JP2019139273A

JP2019139273A - 表示システム

Info

Publication number: JP2019139273A
Application number: JP2018018876A
Authority: JP
Inventors: 岩本　太郎; Taro Iwamoto; 太郎岩本
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2018-02-06
Filing date: 2018-02-06
Publication date: 2019-08-22
Anticipated expiration: 2038-02-06
Also published as: JP7028536B2

Abstract

【課題】自車前方の道路の路面状態の認識が容易な表示システムを提供する。【解決手段】表示システム１００は、自車前方の路面状態を撮像する撮像カメラ１１０を有する。制御部１６０で実行される表示制御プログラム２００は、撮像データに基づいて自車前方の路面の段差、うねり、凹凸等の路面状態を認識する。表示システム１００は、認識された路面状態に基づいて格子状の画像を表示する画像データを作成する。ＨＵＤ１３０は、作成された画像データに基づいた表示を行い、道路の凹凸部がグリッドの歪みとして表示されるグリッド画像を表示する。【選択図】図６

Description

本発明は、ヘッドアップディスプレイを利用した表示制御に関し、特に、道路の路面状態を表示する表示制御に関する。

運転者を支援するための運転支援情報を表示する１つの手段として、ヘッドアップディスプレイ（以下、ＨＵＤと略す）が実用化されている。典型的なＨＵＤは、車内に設置された投射装置からフロントガラスまたはそこに備え付けられたスクリーンに画像を投射し、運転者は、フロントガラス越しの現実空間にあたかも物体が存在するかのような虚像を視認する。ＨＵＤを利用すると、運転者の視線方向に運転支援情報を表示することができるため、車内の液晶ディスプレイ等を見る場合と比較して、運転者の視線移動を減らすことができる。

ＨＵＤに関する技術は、例えば、特許文献１に記載された車両用表示装置がある。特許文献１には、自車の前方の道路形状を容易に把握するためにヘッドアップディスプレイ装置が利用されており、特に、急カーブの道路形状を強調表示することで、運転者に注意を促すものとなっている。

特開２００６−４０２２３号公報

図１１は、従来のディスプレイ装置を例示する図である。表示ディスプレイ１０は、運転者の前面やダッシュボードに備えられた表示媒体であり、スピードメータ１２やタコメータ１４などの車両情報のほか、車両に備えられた車載カメラで撮像された画像１６を表示することができる。車両が日中に走行する場合には、比較的明るい画像１６が表示されるが、夜間走行中は、周囲が暗いため、画像１６が見えにくくなる。車載カメラを暗視カメラ（暗視モード）とすれば、ある程度の明るさの補完が可能であるが、依然として、走行車線の路面状態がわかりづらく、また、前方の車両や障害物との間隔も把握しにくい。

本発明では、上記従来の課題を解決するものであり、自車前方の道路の路面状態の認識が容易な表示システムを提供することを目的とする。

本発明に係る表示システムは、道路を撮像する撮像手段と、前記撮像手段の撮像画像から道路の路面の段差、うねり、凹凸等に関する路面状態を認識する認識手段と、前記路面状態に応じた格子状の画像を生成する生成手段と、自車前方の道路上に前記格子状の画像を投射する投射手段とを有する。

好ましくは、前記格子状の画像は、縦方向の複数の線および横方向の複数の線を含み、前記縦方向の線および前記横方向の線は、道路の路面状態に応じた曲線を含む。好ましくは、前記生成手段は、道路の路面状態に応じた曲線を含む部分が他の部分と表示色が異なるように前記格子状の画像を生成する。好ましくは、前記格子状の画像は、複数の格子点を含み、前記複数の格子点は、道路の路面状態に応じて配置される。好ましくは、前記格子状の画像は、段差、うねり、凹凸等の障害になり得る部分を格子状の線で表し、それ以外の部分を格子点で表す。好ましくは、前記表示システムはさらに、自車周囲の明るさを検出する検出手段を有し、前記投射手段は、前記検出手段により検出された明るさに基づき前記格子状の画像の輝度を調整する。好ましくは、前記検出手段は、自車周囲の明るさに基づき昼間または夜間を判定し、前記投射手段は、昼間走行のとき、前記格子状の画像の輝度を上げ、夜間走行のとき、前記格子状の画像の輝度を下げる。好ましくは、前記表示システムはさらに、前記撮像手段により撮像された画像と前記生成手段により生成された格子状の画像とを重畳して表示する表示手段を含む。

本発明によれば、路面の状態に合わせた格子状の画像を自車前方の道路上に投射するようにしたので、運転者は、前方の路面を直視しながらも、目視では把握しづらい路面状況を把握できるようになる。

本発明の実施例に係る表示システムの構成を示すブロック図である。ＨＵＤの構成の一例を示す図である。表示制御プログラムの機能的な構成を示す図である。表示制御プログラムの動作を具体的に説明する図である。格子画像作成部で作成する画像の変形例を例示する図である。投射画像出力部による画像の表示例を示す図である。表示制御プログラムの動作を示すフロー図である。変形例に係る表示制御プログラム２００Ａの機能的な構成を示す図である。変形例に係る表示制御プログラムの動作を示すフロー図である。液晶ディスプレイにグリッド格子画像を表示する例を示す図である。従来のディスプレイ装置を例示する図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。本発明に係る表示システムは、ＨＵＤに代表される画像投射装置を含み、ＨＵＤにより車両のフロントガラスに画像を投射または投影し、この画像を実空間に重畳させ、運転者に投射画像（または投影画像）の虚像を視認させることができる。

また、本発明に係る表示システムは、車両の周囲を撮像する撮像カメラなどを有し、撮像カメラにより撮像された画像と、ＨＵＤに投射させる画像とを重畳させた複合画像を、液晶ディスプレイ等の表示媒体に表示することもできる。

図１は、本発明の実施例に係る表示システムの構成を示すブロック図である。本実施例に係る表示システム１００は、撮像カメラ１１０、照度センサ１２０、ＨＵＤ１３０、記憶部１４０、Ｉ／Ｆ部１５０、制御部１６０を含んで構成される。

撮像カメラ１１０は、例えば、自車の前方を撮像する撮像カメラ、自車の後方を撮像する撮像カメラを含む。この場合、撮像カメラ１１０は、前方車両や後方車両を撮像できる位置に設置される。撮像カメラ１１０により撮像された画像は、撮像データとして、制御部１６０に提供される。なお、撮像カメラ１１０には、夜間でも路面状態を撮像可能な暗視モード（赤外線カメラなどの機能）が備えられても良い。照度センサ１２０は、車両の周囲の明るさを検出するセンサであり、車両の外装または車内に取り付けられる。

ＨＵＤ１３０は、自車のフロントウィンドウにＨＵＤ表示用の画像を投射し、運転者は、視線方向に投射された画像の虚像を見ることができる。図２は、ＨＵＤの構成の一例を示す図である。ＨＵＤ１３０は、光源１３１、光源１３１からの光を集光する光学系１３２、光学系１３２から入射された光を画像データに基づき変調する光変調手段１３３、光変調手段１３３により変調された画像を投射する投射光学系１３４、投射光学系１３４の光学系（例えば、光軸や焦点距離など）を調整するためのアクチュエータ１３５を含む。

光変調手段１３３は、例えば、液晶デバイス、あるいは複数の可変ミラーが２次元的に配置されたディジタルミラーデバイス（ＤＭＤ）などから構成される。光変調手段１３３は、例えば、制御部１６０で生成された画像データに基づき入射光を変調し、投射画像を生成する。また、Ｉ／Ｆ部１５０を介してナビゲーション装置などの他の装置が接続されている場合には、ナビゲーション装置などから提供された画像データに基づいて、投射画像を生成することも可能である。本実施例では、自車両前方の路面状態に合わせたグリッド表示画像を表示することができる（図４、図５、図６参照）。

投射光学系１３４は、例えば、レンズやミラー等の光学部材を含み、アクチュエータ１３５は、例えば、投射光学系１３４のレンズの位置やミラーの角度等を調整する。投射光学系１３４の焦点距離を可変することで、運転者が見る虚像の位置を変化させることができる。なお、表示システム１００は、複数のＨＵＤ１３０を搭載し、それぞれ拡張現実用の画像を表示するものであってもよい。

記憶部１４０は、表示システム１００にとって必要な情報などを格納する。例えば、ＨＵＤ表示用の画像データを格納したり、その他、表示システム１００を制御するためのプログラムを格納したりすることができる。画像データは、後述する図４ないし図６のグリッド表示画像を生成するためのデータを少なくとも含む。

Ｉ／Ｆ部１５０は、ナビゲーション装置、車内バス、その他の装置との接続を可能にし、制御部１６０は、Ｉ／Ｆ部１５０に接続された装置と表示システム１００との動作を連携させる。例えば、ナビゲーション装置が接続されている場合には、表示システム１００は、ナビゲーション装置から提供された情報に基づき交差点案内の画像や速度情報等を表示することができる。

制御部１６０は、表示システム１００の各部を制御し、好ましい態様では、制御部１６０は、ＲＯＭ、ＲＡＭなどを含むマイクロコントローラ等を含み、表示システム１００の動作を制御するための表示制御プログラムを実行する。

図３は、表示制御プログラムの機能的な構成を示す図である。表示制御プログラム２００は、路面状態認識部２１０、格子画像作成部２２０、投射画像出力部２３０を含む。また、図４は、表示制御プログラムの動作を具体的に説明する図である。

路面状態認識部２１０は、撮像カメラ１１０から自車前方の撮像データを取得し、自車前方の路面状態を認識する。路面状態の認識は、自車が走行する道路の形状を認識するほか、道路上に存在する段差、うねり、凹凸、溝などの形状を認識する。路面状態の認識は、公知の画像解析手法を用いることができ、例えば、特開２０１０−２８７０１５号公報に示されているように、２台のカメラを用いて３次元画像データを取得し、凹凸部を認識することができる。これにより、凹凸の深さや形状、道路の傾斜などの情報を認識することができる。また、撮像データの輝度を画像解析し、路面状態の凹凸や溝を抽出するようにしても良いし、予め記憶部１４０に段差やうねり、凹凸、溝などを記憶しておき、撮像データとのマッチングにより、路面状態を認識しても良いし、撮像データから特徴点を抽出し、路面状態を認識するようにしても良い。さらに、測距センサやミリ波レーダなどの装置を車両に備え、それらの検出結果を取得することにより、障害物までの距離を認識するようにしても良い。

格子画像作成部２２０は、路面状態認識部２１０によって認識された路面状態に基づき、ＨＵＤ１３０で投射する画像の画像データを作成する。図４は、格子画像作成部で作成する画像を例示する図である。路面状態認識部２１０で認識された路面状態が平坦である場合、すなわち、目立った凹凸部や溝が無い場合、格子画像作成部２２０は、図４（Ａ）で示すように、奥行を持った平坦な画像Ｄ１を作成する。画像Ｄ１は、ＨＵＤ１３０の表示によって、あたかも実景の道路Ｒ上に重畳しているように見える画像である。画像Ｄ１の格子間の長さＸ、Ｙは、好ましくは実空間上の距離に基づいて決められており、例えば、自車直前の長さＸ１と奥の長さＸ２は、平面的（２次元的）には、遠近効果により、Ｘ１＞Ｘ２となるが、実空間上では共に同じ長さ（例えば５０ｃｍ）を表している。自車直前の長さＹ１と奥の長さＹ２についても、平面的には、Ｙ１＞Ｙ２となるが、実空間上では共に同じ長さ（例えば１ｍ）を表している。また、格子状の画像Ｄ１は、道路形状に合わせた台形の画像として作成され、格子点同士の間隔に意味を持たない画像であっても良い。

さらに、本実施例に係る格子画像作成部２２０は、路面状態認識部２１０によって認識された道路形状が凹凸や溝を含む場合、これらの障害物を考慮した格子画像の作成を行う。図４（Ｂ）は、凹凸や溝を考慮した画像Ｄ２を示す図である。路面状態認識部２１０によって認識された凸部には、道路Ｒが盛り上がったように歪んだ部分Ｄ２１が含まれ、凹部や溝には、道路Ｒが窪んだように歪んだ部分Ｄ２２が含まれる。Ｄ２１やＤ２２の盛り上がり具合や窪み具合は、路面状態認識部２１０で認識された深さや形状に基づいて作成される。なお、Ｄ２１やＤ２２の歪みをよりはっきりと視認させるため、歪んでいる部分の色を、歪んでいない他の格子部分の色と異なるように画像データを作成しても良い。例えば、Ｄ２１やＤ２２の部分を赤色にし、その他の格子を赤色以外の色とすることができる。

図５は、格子画像作成部で作成する画像の変形例を例示する図である。格子画像作成部２２０は、図５（Ａ）に示すように、複数の格子点を表示する画像データを作成しても良い。また、図５（Ｂ）に示すように、盛り上がり部分の画像Ｄ２１を格子状に表示し、その他の部分を格子点として表示する画像データを作成するようにしても良い。図５（Ｂ）の場合、Ｄ２１の部分を格子点と異なる色で表示することも可能である。

投射画像出力部２３０は、格子画像作成部２２０で作成された画像データをＨＵＤ１３０に提供し、画像の投射を行う。図６は、投射画像出力部による画像の表示例を示す図である。車内に取り付けられたＨＵＤ１３０は、投射画像出力部２３０から提供された画像データを受け取り、画像Ｄ２を表示することができる。なお、投射画像出力部２３０は、提供した画像データに基づく表示画像が、実景上の道路Ｒ２に重畳して見えるように、アクチュエータ１３５に制御信号を送信し、焦点距離を調整する。

図７は、表示制御プログラムの動作を示すフロー図である。なお、表示制御プログラム２００は、ＨＵＤ１３０を使用時に、一定時間ごとや、一定距離走行ごとに繰り返し実行される。表示制御プログラム２００は、まず、路面状態認識部２１０によって、自車前方の路面状態を認識する（Ｓ１００）。次に、格子画像作成部２２０は、Ｓ１００で認識された路面状態に基づき、格子状の画像を表示するための画像データを作成する（Ｓ１０２）。投射画像出力部２３０は、Ｓ１０２で生成された画像データをＨＵＤ１３０に提供し、格子画像を表示する（Ｓ１０４）。

本実施例に係る表示システム１００は、道路の凹凸形状に合わせた画像を表示することができるため、道路上に存在する段差、うねり、凹凸、溝などの形状を瞬時に把握することができ、また、前方の路面を直視しながらも、目視では把握しづらい路面状況を把握できるようになる。

本実施例では、図４および図５に示したように、道路形状に沿ったグリッド画像の表示例を示しているが、凹凸部のみグリッド表示、すなわち、Ｄ２１およびＤ２２の部分だけ表示を行い、その他の道路領域にはグリッド表示を行わない表示形態であっても良い。

次に、本実施例の変形例について説明する。変形例に係る表示システム１００は、上記した本実施例で示した構成、機能等を含むことができる。図８は、変形例に係る表示制御プログラム２００Ａの機能的な構成を示す図である。表示制御プログラム２００Ａは、上記した路面状態認識部２１０、格子画像作成部２２０、投射画像出力部２３０に加え、照度情報取得部２２２、昼夜判定部２２４を含む。照度情報取得部２２２は、照度センサ１２０から照度情報を取得する。昼夜判定部２２４は、照度情報取得部２２２が取得した照度情報に基づき、車両周囲が昼間の明るさ状態なのか、夜間の明るさ状態なのかを判定する。ＨＵＤ１３０による表示は、夜間走行中に明るすぎると、実世界が見えにくくなる可能性があるため、昼夜判定部２２４によって明るさを判定し、昼間の明るさ状態であれば、グリッド画像の輝度を上げるようにする。反対に、夜間の明るさ状態であれば、夜間の走行が想定されるため、グリッド画像の輝度を上げるようにする。昼夜判定部２２４による判定は、例えば、一定の閾値以上の照度が取得された場合には昼間、当該閾値未満の照度が取得された場合には夜間のように判定を行うことができる。なお、昼夜判定部２２４による判定は、実際の昼や夜を判定するものである他、トンネルなど、夜の状態と同じような照度である場合にも、夜と判定され、グリッド画像の輝度を変更することができる。変形例に係る投射画像出力部２３０は、昼夜判定部２２４の判定結果に基づき、ＨＵＤ１３０に制御信号を送信し、光源１３１の輝度を変更する。

図９は、変形例に係る表示制御プログラムの動作を示すフロー図である。Ｓ１００およびＳ１０２は、図７のフローで説明した処理と同様である。変形例に係る表示制御プログラム２００Ａは、投射画像の作成後、照度情報取得部２２２により、照度センサ１２０から提供される情報を取得する（Ｓ１０６）。昼夜判定部２２４は、Ｓ１０６で取得された照度情報に基づき、夜間の明るさか、昼の明るさかを判定する（Ｓ１０８）。夜間の明るさである場合には、投射画像出力部２３０は、低輝度での画像投射を行い（Ｓ１１０）、夜間の明るさでない場合、すなわち、昼間の明るさである場合には、高輝度での画像投射を行う（Ｓ１１２）。

変形例に係る表示システム１００は、車両周囲の照度に基づいて輝度を変更するようにしたので、ＨＵＤ１３０による画像投射が、周囲の明るさによって見えにくくなる、または、見えすぎて実景の邪魔になる、などの問題を軽減することができる。

本実施例（変形例を含む）で説明した表示システム１００は、ＨＵＤ１３０により、画像データを投射する例を示しが、表示システム１００は、他の表示態様として、撮像カメラ１１０が撮像した撮像画像にグリッド状の格子画像を重畳し、液晶ディスプレイなどの平面的な表示媒体に表示を行うようにしても良い。図１０は、液晶ディスプレイにグリッド格子画像を表示する例を示す図である。表示システム１００、あるいは、Ｉ／Ｆ部１５０に接続されるナビゲーション装置等にディスプレイ３００が備えられている場合には、撮像カメラ１１０が撮像した撮像データにグリッド画像を重畳させた複合画像を作成し、当該複合画像をディスプレイ３００に表示することができる。複合画像の生成および表示制御は、制御部１６０で行われる。このようなディスプレイ表示は、ＨＵＤ１３０の表示の代わりに行われても良いし、または、ＨＵＤ１３０の表示と併せて行われても良い。

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００：表示システム１１０：撮像カメラ
１２０：照度センサ１３０：ＨＵＤ
１３１：光源１３２：光学系
１３３：光変調手段１３４：投射光学系
１３５：アクチュエータ１４０：記憶部
１５０：Ｉ／Ｆ部１６０：制御部
２００：表示制御プログラム２１０：路面状態認識部
２２０：格子画像作成部２２２：照度情報取得部
２２４：昼夜判定部２３０：投射画像出力部
３００：ディスプレイ

Claims

道路を撮像する撮像手段と、
前記撮像手段の撮像画像から道路の路面の段差、うねり、凹凸等に関する路面状態を認識する認識手段と、
前記路面状態に応じた格子状の画像を生成する生成手段と、
自車前方の道路上に前記格子状の画像を投射する投射手段と、を有する、表示システム。
前記格子状の画像は、縦方向の複数の線および横方向の複数の線を含み、前記縦方向の線および前記横方向の線は、道路の路面状態に応じた曲線を含む、請求項１に記載の表示システム。
前記生成手段は、道路の路面状態に応じた曲線を含む部分が他の部分と表示色が異なるように前記格子状の画像を生成する、請求項２に記載の表示システム。
前記格子状の画像は、複数の格子点を含み、前記複数の格子点は、道路の路面状態に応じて配置される、請求項１ないし３いずれか１つに記載の表示システム。
前記格子状の画像は、段差、うねり、凹凸等の障害になり得る部分を格子状の線で表し、それ以外の部分を格子点で表す、請求項３または４に記載の表示システム。
前記表示システムはさらに、自車周囲の明るさを検出する検出手段を有し、前記投射手段は、前記検出手段により検出された明るさに基づき前記格子状の画像の輝度を調整する、請求項１ないし５いずれか１つに記載の表示システム。
前記検出手段は、自車周囲の明るさに基づき昼間または夜間を判定し、前記投射手段は、昼間走行のとき、前記格子状の画像の輝度を上げ、夜間走行のとき、前記格子状の画像の輝度を下げる、請求項６に記載の表示システム。
前記表示システムはさらに、前記撮像手段により撮像された画像と前記生成手段により生成された格子状の画像とを重畳して表示する表示手段を含む、請求項１ないし７いずれか１つに記載の表示システム。