JP2015141155A - 虚像表示装置、制御方法、プログラム、及び記憶媒体 - Google Patents

Abstract

【課題】虚像の視認性を好適に確保することが可能な虚像表示装置を提供する。
【解決手段】ヘッドアップディスプレイ２は、光源ユニット４と、コンバイナ９とを有する。光源ユニット４の制御部５５は、前方風景を撮影した前方画像Ｉｍをカメラ３から取得する。また、制御部５５は、前方画像Ｉｍ中に存在する対象背景Ｂｔａｇの見かけ上の移動位置を予測する。そして、制御部５５は、予測された対象背景Ｂｔａｇの見かけ上の移動位置が虚像Ｉｖの表示位置と重なる場合に、虚像Ｉｖの表示位置を変化させる。
【選択図】図５

Description

本発明は、虚像を表示する技術に関する。

従来から、ヘッドアップディスプレイ等において、虚像がその背景にある風景によって見えにくくなるのを防ぐ技術が存在する。例えば、特許文献１には、地図データベース、ＣＣＤカメラ、又は照度センサから得られる情報に基づいて、車外景色の状態を認識し、車外風景に対して虚像の表示が同化しないように、虚像の表示色や透過度を変更するヘッドアップディスプレイが開示されている。

特開平１０−３１１７３２号公報

特許文献１では、現在の車外風景の状態を検出した後に、車外風景に対して虚像の表示が同化しないようにしているため、瞬間的に車外風景と虚像の表示とが同化してしまう場合があった。

本発明は、上記のような課題を解決するためになされたものであり、虚像の視認性を好適に確保することが可能な虚像表示装置を提供することを主な目的とする。

請求項に記載の発明は、移動体の前方風景を撮影した画像を取得する撮影画像取得手段と、前記画像中に存在する背景の見かけ上の移動位置を予測する予測手段と、前記前方風景に重なるように虚像を表示手段に表示させる制御手段と、を有し、前記制御手段は、前記予測手段に予測された前記背景の見かけ上の移動位置が前記虚像の表示位置と重なる場合に、前記虚像の表示位置または、表示の態様を変化させることを特徴とする。

また、請求項に記載の発明は、虚像表示装置が実行する制御方法であって、移動体の前方風景を撮影した画像を取得する撮影画像取得工程と、前記画像中に存在する背景の見かけ上の移動位置を予測する予測工程と、前記前方風景に重なるように虚像を表示手段に表示させる制御工程と、を有し、前記制御工程は、前記予測工程に予測された前記背景の見かけ上の移動位置が前記虚像の表示位置と重なる場合に、前記虚像の表示位置または、表示の態様を変化させることを特徴とする。

また、請求項に記載の発明は、コンピュータが実行するプログラムであって、移動体の前方風景を撮影した画像を取得する撮影画像取得手段と、前記画像中に存在する背景の見かけ上の移動位置を予測する予測手段と、前記前方風景に重なるように虚像を表示手段に表示させる制御手段として前記コンピュータを機能させ、前記制御手段は、前記予測手段に予測された前記背景の見かけ上の移動位置が前記虚像の表示位置と重なる場合に、前記虚像の表示位置または、表示の態様を変化させることを特徴とする。

表示システムの概略構成を示す。 ナビゲーション装置の概略構成を示す。 ヘッドアップディスプレイの概略構成を示す。 光源ユニットの概略構成を示す。 虚像の表示位置調整処理の手順を示すフローチャートである。 （Ａ）は、運転席から視認される前方風景の一例である。（Ｂ）は、（Ａ）の時点においてカメラから供給される前方風景画像の表示例である。 図６の例から所定距離だけ進行した場合のコンバイナの表示を示す。 所定時間後に案内画像が対象背景と重なると判定した後のコンバイナの表示例を示す。 変形例２に係る処理を説明するためのコンバイナの表示例である。 街灯が道路沿いに並べて設置されている道路を走行中の場合のコンバイナの表示例を示す。

本発明の１つの好適な実施形態では、虚像表示装置は、移動体の前方風景を撮影した画像を取得する撮影画像取得手段と、前記画像中に存在する対象背景の見かけ上の移動位置を予測する予測手段と、前記前方風景に重なるように虚像を表示手段に表示させる制御手段と、を有し、前記制御手段は、前記予測手段に予測された前記対象背景の見かけ上の移動位置が前記虚像の表示位置と重なる場合に、前記虚像の表示位置または、表示の態様を変化させる。

上記虚像表示装置は、撮影画像取得手段と、予測手段と、制御手段とを有する。撮影画像取得手段は、移動体の前方風景を撮影した画像を取得する。予測手段は、撮影した画像中に存在する対象背景の見かけ上の移動位置を予測する。ここで、「対象背景」は、予測手段が見かけ上の移動位置を予測する対象とする前方風景中の物体等を指す。制御手段は、前方風景に重なるように虚像を表示手段に表示させる。このとき、制御手段は、予測された対象背景の見かけ上の移動位置が虚像の表示位置と重なる場合に、虚像の表示位置または、表示の態様を変化させる。これにより、虚像表示装置は、虚像の視認性を好適に確保することができる。

上記虚像表示装置の一態様では、前記制御手段は、前記対象背景が前記虚像に重なるのに先立って、前記虚像の表示位置または、表示の態様を変化させる。この態様により、虚像表示装置は、視認性を悪化させるような背景が表示に重なる前に、表示を変化させることができるため、瞬間的にも背景と表示が同化しない。

上記虚像表示装置の他の一態様では、前記予測手段は、輝度が所定値以上である画像領域、または色度が所定範囲内である画像領域を前記対象背景として検出する。この態様により、虚像表示装置は、視認性を悪化させるような前方風景中の物体等を対象背景として好適に検出することができる。

上記虚像表示装置の他の一態様では、前記予測手段は、前記画像を基に、所定時間間隔ごとに前記対象背景の移動方向、移動距離、および前記対象背景の見かけ上の大きさを取得し、取得した複数の前記移動方向、前記移動距離、及び前記大きさに基づき、前記対象背景の見かけ上の移動位置と大きさを予測する。一般に、時間経過に伴って対象背景の移動距離や大きさ等が変化する。従って、この態様により、これらの変化を勘案し、対象背景の移動位置と大きさを高精度に予測することができる。

上記虚像表示装置の他の一態様では、前記予測手段は、前記画像中の消失点と前記対象背景の位置関係とに基づいて、前記対象背景の見かけ上の移動位置を予測する。これにより、虚像表示装置は、対象背景の見かけ上で移動する軌跡の予測を容易に行うことができる。

上記虚像表示装置の他の一態様では、前記制御手段は、前記予測手段により複数の前記対象背景が連続して前記虚像の表示位置と重なる領域を通過することを予測した場合、前記複数の対象背景の全てが当該領域を通過するまで、前記虚像の表示位置または表示の態様を変化させた状態を維持する。これにより、虚像表示装置は、虚像の表示位置又は表示態様が短期間で煩雑に切り替わることを規制し、視認性悪化を抑制することができる。

本発明の他の好適な実施形態では、虚像表示装置が実行する制御方法であって、移動体の前方風景を撮影した画像を取得する撮影画像取得工程と、前記画像中に存在する対象背景の見かけ上の移動位置を予測する予測工程と、前記前方風景に重なるように虚像を表示手段に表示させる制御工程と、を有し、前記制御工程は、前記予測工程に予測された前記対象背景の見かけ上の移動位置が前記虚像の表示位置と重なる場合に、前記虚像の表示位置または、表示の態様を変化させる。虚像表示装置は、この制御方法を実行することで、虚像の視認性を好適に確保することができる。

本発明のさらに別の実施形態では、コンピュータが実行するプログラムであって、移動体の前方風景を撮影した画像を取得する撮影画像取得手段と、前記画像中に存在する対象背景の見かけ上の移動位置を予測する予測手段と、前記前方風景に重なるように虚像を表示手段に表示させる制御手段として前記コンピュータを機能させ、前記制御手段は、前記予測手段に予測された前記対象背景の見かけ上の移動位置が前記虚像の表示位置と重なる場合に、前記虚像の表示位置または、表示の態様を変化させる。コンピュータは、このプログラムを実行することで、虚像の視認性を好適に確保することができる。好適には、上記プログラムは、記憶媒体に記憶される。

以下、図面を参照して本発明の好適な実施例について説明する。

［概略構成］
（１）システム構成
図１は、実施例に係る表示システム１００の構成例を示す。図１に示すように、表示システム１００は、車両Ｖｅに搭載され、ナビゲーション装置１と、ヘッドアップディスプレイ２と、カメラ３とを備える。なお、図１に示す構成に代えて、ヘッドアップディスプレイ２には、ナビゲーション装置１に相当する機能が組み込まれていてもよい。

ナビゲーション装置１は、出発地から目的地までのルート案内を行う機能などを有する。ナビゲーション装置１は、例えば、車両Ｖｅに設置される据え置き型のナビゲーション装置、ＰＮＤ（Ｐｏｒｔａｂｌｅ Ｎａｖｉｇａｔｉｏｎ Ｄｅｖｉｃｅ）、又はスマートフォンなどの携帯端末とすることができる。

ヘッドアップディスプレイ２は、運転を補助する情報を表示する画像（「案内画像」とも呼ぶ。）を生成し、当該案内画像を運転者の目の位置（アイポイント）から虚像として視認させる装置である。ヘッドアップディスプレイ２は、案内画像として、例えば、案内ルートの方向を示す矢印、右左折地点などの案内地点に関する情報、車速などの車両Ｖｅの走行に関する情報、施設の位置を示す情報、前方の方位を示す情報、及び交通法規に関する情報などを表示する。ヘッドアップディスプレイ２には、案内ルートの情報などの案内画像の生成に必要な各種情報がナビゲーション装置１から供給される。

カメラ３は、車両Ｖｅの前方に向けて固定され、所定の間隔ごとに車両Ｖｅの前方を撮影した画像（「前方画像Ｉｍ」とも呼ぶ。）を生成する。カメラ３は、生成した前方画像Ｉｍをヘッドアップディスプレイ２へ供給する。後述するように、ヘッドアップディスプレイ２は、前方画像Ｉｍに基づき、虚像と重ねて表示した場合に虚像の視認性を悪化させる恐れがある背景（「対象背景Ｂｔａｇ」とも呼ぶ。）を検出する。ヘッドアップディスプレイ２は、対象背景Ｂｔａｇとして、例えば外灯や信号灯などの照明物や太陽などの領域を検出する。

なお、ナビゲーション装置１がスマートフォンなどの携帯端末である場合、ナビゲーション装置１は、クレードルなどによって保持されても良い。この場合、ナビゲーション装置１は、クレードルなどを介して、ヘッドアップディスプレイ２と情報の授受を行うこととしても良い。また、ヘッドアップディスプレイ２は、カメラ３から前方画像Ｉｍを直接受信する代わりに、ナビゲーション装置１を介して前方画像Ｉｍを受信してもよい。この場合、カメラ３は、ナビゲーション装置１に前方画像Ｉｍを送信し、ナビゲーション装置１は、前方画像Ｉｍをヘッドアップディスプレイ２に転送する。

（２）ナビゲーション装置の構成
図２は、ナビゲーション装置１の構成を示す。図２に示すように、ナビゲーション装置１は、自立測位装置１０、ＧＰＳ受信機１８、システムコントローラ２０、ディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、通信装置３８、インタフェース３９、表示ユニット４０、音声出力ユニット５０、及び入力装置６０を備える。

自立測位装置１０は、加速度センサ１１、角速度センサ１２及び距離センサ１３を備える。加速度センサ１１は、例えば圧電素子からなり、車両Ｖｅの加速度を検出し、加速度データを出力する。角速度センサ１２は、例えば振動ジャイロからなり、車両Ｖｅの方向変換時における車両Ｖｅの角速度を検出し、角速度データ及び相対方位データを出力する。距離センサ１３は、車両Ｖｅの車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。

ＧＰＳ受信機１８は、複数のＧＰＳ衛星から、測位用データを含む下り回線データを搬送する電波１９を受信する。測位用データは、緯度及び経度情報等から車両Ｖｅの絶対的な位置（「現在位置」とも呼ぶ。）を検出するために用いられる。

システムコントローラ２０は、インタフェース２１、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２３及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２４を含んでおり、ナビゲーション装置１全体の制御を行う。

インタフェース２１は、加速度センサ１１、角速度センサ１２及び距離センサ１３並びにＧＰＳ受信機１８とのインタフェース動作を行う。そして、これらから、車速パルス、加速度データ、相対方位データ、角速度データ、ＧＰＳ測位データ、絶対方位データ等をシステムコントローラ２０に入力する。ＣＰＵ２２は、システムコントローラ２０全体を制御する。ＲＯＭ２３は、システムコントローラ２０を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。ＲＡＭ２４は、入力装置６０を介して使用者により予め設定された経路データ等の各種データを読み出し可能に格納したり、ＣＰＵ２２に対してワーキングエリアを提供したりする。

システムコントローラ２０、ＣＤ−ＲＯＭドライブ又はＤＶＤ−ＲＯＭドライブなどのディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、表示ユニット４０、音声出力ユニット５０及び入力装置６０は、バスライン３０を介して相互に接続されている。

ディスクドライブ３１は、システムコントローラ２０の制御の下、ＣＤ又はＤＶＤといったディスク３３から、音楽データ、映像データなどのコンテンツデータを読み出し、出力する。なお、ディスクドライブ３１は、ＣＤ−ＲＯＭドライブ又はＤＶＤ−ＲＯＭドライブのうち、いずれか一方としてもよいし、ＣＤ及びＤＶＤコンパチブルのドライブとしてもよい。

データ記憶ユニット３６は、例えば、ＨＤＤなどにより構成され、地図データなどのナビゲーション処理に用いられる各種データを記憶するユニットである。地図データは、道路に相当するリンクと、道路の接続部分に相当するノードとにより表された道路データや、各施設に関する施設情報などを含む。

通信装置３８は、例えば、ＦＭチューナやビーコンレシーバ、携帯端末や専用の通信モジュールなどにより構成され、通信用インタフェース３７を介して、ＶＩＣＳ（登録商標、Ｖｅｈｉｃｌｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）センタから配信される渋滞や交通情報などの道路交通情報、その他の情報を受信する。また、通信装置３８は、ＧＰＳ受信機１８から取得した現在位置の情報、自立測位装置１０から取得した車速パルス等の情報及び地図データなど、ナビゲーション処理に用いられる各種情報をヘッドアップディスプレイ２に送信する。

表示ユニット４０は、システムコントローラ２０の制御の下、各種表示データをディスプレイなどの表示装置に表示する。具体的には、システムコントローラ２０は、データ記憶ユニット３６から地図データを読み出す。表示ユニット４０は、システムコントローラ２０によってデータ記憶ユニット３６から読み出された地図データなどを表示画面上に表示する。表示ユニット４０は、バスライン３０を介してＣＰＵ２２から送られる制御データに基づいて表示ユニット４０全体の制御を行うグラフィックコントローラ４１と、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）等のメモリからなり即時表示可能な画像情報を一時的に記憶するバッファメモリ４２と、グラフィックコントローラ４１から出力される画像データに基づいて、液晶、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等のディスプレイ４４を表示制御する表示制御部４３と、ディスプレイ４４とを備える。ディスプレイ４４は、画像表示部として機能し、例えば対角５〜１０インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。

音声出力ユニット５０は、システムコントローラ２０の制御の下、ＣＤ−ＲＯＭドライブ３１又はＤＶＤ−ＲＯＭ３２、若しくはＲＡＭ２４等からバスライン３０を介して送られる音声デジタルデータのＤ／Ａ（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ）変換を行うＤ／Ａコンバータ５１と、Ｄ／Ａコンバータ５１から出力される音声アナログ信号を増幅する増幅器（ＡＭＰ）５２と、増幅された音声アナログ信号を音声に変換して車内に出力するスピーカ５３とを備えて構成されている。

入力装置６０は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。入力装置６０は、車内に搭載された当該車載用電子システムの本体のフロントパネルやディスプレイ４４の周囲に配置される。また、ディスプレイ４４がタッチパネル方式の場合、ディスプレイ４４の表示画面上に設けられたタッチパネルも入力装置６０として機能する。

（３）ヘッドアップディスプレイの構成
図３は、ヘッドアップディスプレイ２の概略構成図である。図３に示すように、本実施例に係るヘッドアップディスプレイ２は、光源ユニット４と、コンバイナ９とを備え、フロントウィンドウ２５、天井部２７、ボンネット２８、及びダッシュボード２９などを備える車両Ｖｅに取り付けられる。

光源ユニット４は、支持部材５ａ、５ｂを介して車室内の天井部２７に設置され、運転を補助する情報を示す案内画像を構成する光を、コンバイナ９に向けて出射することで、コンバイナ９を介して運転者に虚像「Ｉｖ」を視認させる。

コンバイナ９は、光源ユニット４から出射される表示像が投影されると共に、表示像を運転者のアイポイント「Ｐｅ」へ反射することで当該表示像を虚像Ｉｖとして表示させる。そして、コンバイナ９は、天井部２７に設置された支持軸部８を有し、支持軸部８を支軸として回動する。支持軸部８は、例えば、フロントウィンドウ２５の上端近傍の天井部２７、言い換えると運転者用の図示しないサンバイザが設置される位置の近傍に設置される。なお、支持軸部８は、上述のサンバイザに代えて設置されてもよい。コンバイナ９は、本発明における「表示手段」の一例である。

（４）光源ユニットの構成
図４は、光源ユニット４の構成を概略的に示した図である。図４に示すように、光源ユニット３は、光源５４と、制御部５５と、通信部５６とを有する。

光源５４は、例えば赤色、青色及び緑色の各色のレーザ光源を有し、制御部５５の制御に基づき、コンバイナ９に照射させる表示像を構成する光（「表示光」とも呼ぶ。）を出射する。

通信部５６は、制御部５５の制御に基づき、ナビゲーション処理に用いられる各種情報をナビゲーション装置１から受信する。例えば、通信部５６は、ナビゲーション装置１から案内ルートの情報や現在位置の情報などの案内画像の生成に必要な情報を受信する。また、通信部５６は、カメラ３から、所定間隔ごとに前方画像Ｉｍを受信する。

制御部５５は、ＣＰＵ、ＣＰＵが実行する制御プログラムやデータなどを記憶するＲＯＭ、ＣＰＵが動作する際のワークメモリとして各種データが逐次読み書きされるＲＡＭなどを有し、ヘッドアップディスプレイ２の全般的な制御を行う。

制御部５５は、ナビゲーション装置１から送信される情報に基づき、案内画像を生成し、案内画像を構成する表示光を光源５４に出射させる。また、本実施例では、制御部５５は、カメラ３から送信される前方画像Ｉｍに基づき、１又は複数の対象背景Ｂｔａｇを検出する。そして、制御部５５は、案内画像の表示位置と対象背景Ｂｔａｇとが、見かけ上（即ちコンバイナ９上）で重ならないように、案内画像の表示位置を調整する。そして、制御部５５は、本発明における「撮影画像取得手段」、「予測手段」、「制御手段」及びプログラムを実行するコンピュータとして機能する。

［虚像の表示位置調整］
次に、虚像Ｉｖとして視認される案内画像のコンバイナ９上での表示位置の調整方法について説明する。概略的には、制御部５５は、対象背景Ｂｔａｇを検出した場合、対象背景Ｂｔａｇのコンバイナ９上での移動位置を予測し、予測した移動位置が案内画像の表示位置と重なると判断した場合、重なる前に案内画像の表示位置を変更する。これにより、制御部５５は、案内画像の視認性を確保する。

（１）処理フロー
図５は、本実施例に係る虚像Ｉｖの表示位置調整処理の手順を示すフローチャートである。制御部５５は、図５に示すフローチャートの処理を、繰り返し実行する。

まず、制御部５５は、輝度及び色度に基づき、前方画像Ｉｍから対象背景Ｂｔａｇを検出する（ステップＳ１０１）。具体的には、制御部５５は、輝度が所定の閾値（「輝度閾値Ｖｔｈ」とも呼ぶ。）以上、又は、色度が所定範囲（「色度類似範囲ＣＲ」とも呼ぶ。）内である画素の前方画像Ｉｍ中の連結領域を、対象背景Ｂｔａｇとして抽出する。上述の「輝度閾値Ｖｔｈ」及び「色度類似範囲ＣＲ」は、虚像Ｉｖと重なった場合に虚像Ｉｖの視認性が悪化するか否かを勘案して例えば実験等に基づき定められ、制御部５５のメモリ等に記憶される。ステップＳ１０１の詳細については、後述する。

次に、制御部５５は、直前に取得した複数の前方画像Ｉｍに基づき、所定時間後のコンバイナ９での対象背景Ｂｔａｇの位置及び大きさを予測する（ステップＳ１０２）。上述の所定時間は、例えば実験等に基づき予め設定される。この場合、制御部５５は、対象背景Ｂｔａｇが複数存在する場合については、各対象背景Ｂｔａｇについて、所定時間後の位置及び大きさを予測する。ステップＳ１０２の詳細については、後述する。

そして、制御部５５は、対象背景Ｂｔａｇが虚像Ｉｖと重なることが予測されるか否か判定する（ステップＳ１０３）。具体的には、制御部５５は、ステップＳ１０２で予測した対象背景Ｂｔａｇの位置及び大きさに基づき、所定時間後に対象背景Ｂｔａｇと虚像Ｉｖとが重なるか否か判定する。そして、制御部５５は、所定時間後に対象背景Ｂｔａｇが虚像Ｉｖと重なることが予測される場合（ステップＳ１０３；Ｙｅｓ）、虚像Ｉｖの表示位置の調整を行う（ステップＳ１０４）。具体的には、制御部５５は、対象背景Ｂｔａｇと重なるおそれがない位置、即ち対象背景Ｂｔａｇの移動方向から離れた位置に、虚像Ｉｖの表示位置を移動させる。これにより、制御部５５は、対象背景Ｂｔａｇと虚像Ｉｖとが重なるのを予防し、虚像Ｉｖの視認性を好適に確保することができる。

一方、所定時間後に対象背景Ｂｔａｇが虚像Ｉｖと重なることが予測されない場合（ステップＳ１０３；Ｎｏ）、制御部５５は、虚像Ｉｖの表示位置を移動させる必要がないと判断し、フローチャートの処理を終了する。

ここで、ステップＳ１０１で実行する対象背景Ｂｔａｇの検出方法について補足説明する。

制御部５５は、輝度閾値Ｖｔｈを、車両Ｖｅの周囲の明るさに応じて変化させてもよい。この場合、制御部５５は、図示しない照度センサの出力に基づき明るさを検出してもよく、現在の日付や時刻に基づき明るさを推定してもよい。また、好適には、制御部５５は、色度類似範囲ＣＲを、表示させる案内画像に用いる色に応じて変化させてもよい。例えば、制御部５５は、案内画像の表示色を認識し、当該表示色と色空間において近傍となる範囲を、色度類似範囲ＣＲと定める。

また、好適には、制御部５５は、上述の輝度閾値Ｖｔｈ及び色度類似範囲ＣＲに基づき抽出した前方画像Ｉｍ中の画素の連結領域が所定の大きさ（即ち画素数）以上であるか否かの判定をさらに実行するとよい。この場合、制御部５５は、所定の大きさ（即ち画素数）以上の連結領域に限り、対象背景Ｂｔａｇであるとみなす。

次に、ステップＳ１０２の対象背景Ｂｔａｇの位置及び大きさの予測方法の具体例について説明する。

まず、制御部５５は、直前に取得した複数の前方画像Ｉｍをフレームごとに比較し、所定時間間隔（即ち、比較する前方画像Ｉｍの取得間隔）における各対象背景Ｂｔａｇのコンバイナ９上での移動方向、移動距離、及び対象背景Ｂｔａｇの拡大率を算出する。このとき、制御部５５は、比較する前方画像Ｉｍ間での各対象背景Ｂｔａｇの対応関係を把握した後、各対象背景Ｂｔａｇの重心位置を各前方画像Ｉｍで算出し、当該重心位置の変化に基づき、各対象背景Ｂｔａｇの移動方向及び移動距離を認識する。また、制御部５５は、各対象背景Ｂｔａｇを構成する画素数を算出し、当該画素数の増加率を、各対象背景Ｂｔａｇの拡大率として認識する。

次に、制御部５５は、算出したコンバイナ９上での対象背景Ｂｔａｇの移動方向、移動距離、及び拡大率に基づき、現在の対象背景Ｂｔａｇのコンバイナ９上での位置及び大きさから、所定時間後のコンバイナ９での対象背景Ｂｔａｇの位置及び大きさを予測する。なお、制御部５５は、現在の対象背景Ｂｔａｇのコンバイナ９上での位置及び大きさを、例えば、コンバイナ９上での表示位置と前方画像Ｉｍ中での表示位置との対応関係を示すマップ等を参照し、直前に取得した前方画像Ｉｍから認識する。

このとき、好適には、制御部５５は、複数時点における対象背景Ｂｔａｇの移動方向、移動距離、及び拡大率を算出することで、これらの各変化量（即ち微分値）をさらに算出し、所定時間後のコンバイナ９での対象背景Ｂｔａｇの位置及び大きさの予測に用いるとよい。一般に、車速が一定の場合であっても、車両Ｖｅが対象背景Ｂｔａｇに近付くほど、対象背景Ｂｔａｇのコンバイナ９での移動距離や拡大率等が加速度的に変化する。従って、制御部５５は、対象背景Ｂｔａｇの移動方向、移動距離、及び拡大率の各変化量を勘案することで、対象背景Ｂｔａｇの位置及び大きさをより高精度に予測することができる。

（２）表示例
次に、図５のフローチャートの処理を適用したヘッドアップディスプレイ２の表示例について、図６〜図８を参照して説明する。

図６（Ａ）は、運転席から視認される前方風景の一例である。また、図６（Ｂ）は、図６（Ａ）の時点においてカメラ３から制御部５５へ供給される前方画像Ｉｍの表示例である。

図６（Ａ）に示すように、制御部５５は、案内ルートに基づき次の右左折地点で車両Ｖｅが進むべき方向（右方向）及び次の右左折地点までの距離（１５０ｍ）を示す青色の案内画像８１をコンバイナ９の左上に虚像Ｉｖとして表示させている。図６（Ａ）に示す前方風景には、信号機の青灯火９１と、太陽９２とが含まれている。また、制御部５５は、カメラ３より、図６（Ｂ）に示す前方画像Ｉｍを受信する。ここで、制御部５５が受信する前方画像Ｉｍには、信号機の青灯火９１を示す第１表示領域９１Ａと、太陽９２を示す第２表示領域９２Ａとが含まれている。

図６の例では、制御部５５は、案内画像８１が青色であることから、青の近傍色を色度類似範囲ＣＲに定め、かつ、輝度閾値Ｖｔｈを案内画像８１の視認性を悪化させるおそれがある所定の輝度値に定めている。そして、制御部５５は、前方画像Ｉｍ中の第１表示領域９１Ａの各画素の色度が色度類似範囲ＣＲ内にあることから、第１表示領域９１Ａに相当する風景中の信号機の青灯火９１を対象背景Ｂｔａｇとして認識する。また、制御部５５は、前方画像Ｉｍ中の第２表示領域９２Ａの各画素の輝度が輝度閾値Ｖｔｈを超えていることから、第２表示領域９２Ａに相当する風景中の太陽９２を対象背景Ｂｔａｇとして認識する。

図７は、図６の例から所定距離だけ進行した場合のコンバイナ９の表示を示す。図７の例では、車両Ｖｅの進行により、青灯火９１を有する信号機が相対的に車両Ｖｅに近付いている。なお、図７では、説明便宜上、図６での青灯火９１の位置を破線により示している。

制御部５５は、図６で各対象背景Ｂｔａｇの検出後、図５のフローチャートに基づき、所定時間後の各対象背景Ｂｔａｇの位置及び大きさを予測する処理を行う。そして、制御部５５は、青灯火９１及び太陽９２のそれぞれについて、案内画像８１と所定時間後に重なるか否か判定する。

この場合、制御部５５は、所定間隔ごとに得られる前方画像Ｉｍのフレーム間での比較に基づき、コンバイナ９上での青灯火９１の移動方向、移動距離、及び拡大率を算出すると共に、太陽９２の移動方向、移動距離、及び拡大率を算出する。図６、７の例では、青灯火９１は、コンバイナ９の左上方向に加速しながら移動し、かつ、青灯火９１の領域が加速度的に大きくなる。一方、太陽９２は、車両Ｖｅよりもはるか遠方にあるため、コンバイナ９上で殆ど変化しない。

そして、制御部５５は、算出した過去所定回数分の青灯火９１の移動方向、移動距離、及び拡大率に基づき、所定時間後の青灯火９１の位置及び大きさを推定する。同様に、制御部５５は、算出した過去所定回数分の太陽９２の移動方向、移動距離、及び拡大率に基づき、所定時間後の太陽９２の位置及び大きさを推定する。これにより、制御部５５は、対象背景Ｂｔａｇの見た目上の変化が一定でない場合であっても、所定時間後の青灯火９１及び太陽９２の位置及び大きさを高精度に推定する。

図８は、所定時間後に青灯火９１が案内画像８１とコンバイナ９上において重なると判定した後のコンバイナ９の表示例を示す。図８では、説明便宜上、図７での青灯火９１を破線により示している。

制御部５５は、各対象背景Ｂｔａｇの検出後、所定時間後の対象背景Ｂｔａｇである青灯火９１及び太陽９２の位置及び大きさを予測した結果、所定時間後に青灯火９１が案内画像８１と重なると判断する。従って、図８の例では、制御部５５は、青灯火９１及び太陽９２と重なるおそれがない位置であるコンバイナ９の左端中央位置に、案内画像８１の表示位置を移動させる。即ち、制御部５５は、青灯火９１のコンバイナ９上での移動方向から外れた位置に、案内画像８１の表示位置を移動させる。これにより、制御部５５は、青灯火９１と案内画像８１とが重なる前に、案内画像８１の表示位置を移動させて、案内画像８１を好適に運転者に視認させることができる。

以上説明したように、本実施例に係るヘッドアップディスプレイ２は、光源ユニット４と、コンバイナ９とを有する。光源ユニット４の制御部５５は、前方風景を撮影した前方画像Ｉｍをカメラ３から取得する。また、制御部５５は、前方画像Ｉｍ中に存在する対象背景Ｂｔａｇの見かけ上の移動位置を予測する。そして、制御部５５は、予測された対象背景Ｂｔａｇの見かけ上の移動位置が虚像Ｉｖの表示位置と重なる場合に、虚像Ｉｖの表示位置を変化させる。これにより、ヘッドアップディスプレイ２は、虚像Ｉｖの視認性を好適に確保することができる。

［変形例］
以下、上述の実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用してもよい。

（変形例１）
図５のステップＳ１０４で虚像Ｉｖの表示位置を移動させることに代えて、制御部５５は、対象背景Ｂｔａｇと虚像Ｉｖが重なった場合であっても当該虚像Ｉｖを視認できるように、虚像Ｉｖが示す案内画像の表示態様を変えてもよい。

この場合、例えば、制御部５５は、所定時間後に対象背景Ｂｔａｇと重なると判断した虚像Ｉｖが示す案内画像の輝度を高くする。他の例では、制御部５５は、所定時間後に対象背景Ｂｔａｇと重なると判断した虚像Ｉｖが示す案内画像の表示色を、対象背景Ｂｔａｇと同化しにくい色に変化させる。この場合、好適には、制御部５５は、案内画像の表示色を、案内画像の現在の表示色の補色又は前方画像Ｉｍ中の対象背景Ｂｔａｇの表示色の補色に変化させる。このように、本変形例によっても、好適に、虚像Ｉｖの視認性を確保することができる。

（変形例２）
制御部５５は、過去の移動方向、移動距離及び拡大率に基づき、対象背景Ｂｔａｇの位置及び大きさを予測するのに代えて、前方画像Ｉｍの消失点と対象背景Ｂｔａｇとの位置関係に基づき、対象背景Ｂｔａｇの位置及び大きさを予測してもよい。

図９は、本変形例に係る処理を説明するためのコンバイナ９の表示例である。図９では、図６と同一の前方風景がコンバイナ９上に表示されている。

図９の例では、まず、制御部５５は、青灯火９１及び太陽９２を対象背景Ｂｔａｇとして検出した場合、公知技術により前方画像Ｉｍ中の消失点Ｖｐ（図９では道路の左端及び右端の延長線が交差した点）を認識する。そして、制御部５５は、この場合、消失点Ｖｐと各対象背景Ｂｔａｇの両端を結ぶ直線に囲まれた領域Ａｒ１、Ａｒ２を、対象背景Ｂｔａｇがコンバイナ９上で通過する領域（「通過領域」とも呼ぶ。）であると認識する。この場合、領域Ａｒ１は、消失点Ｖｐを通る青灯火９１の接線により区切られたコンバイナ９上の領域であり、領域Ａｒ２は、消失点Ｖｐを通る現在の太陽９２の接線により区切られたコンバイナ９上の領域である。

そして、制御部５５は、消失点Ｖｐに基づき認識した領域Ａｒ１、Ａｒ２と案内画像８１とが重なるか否か判定する。そして、図９では、制御部５５は、通過領域Ａｒ１と案内画像８１とが重なると判断し、案内画像８１の表示位置を移動させるべきであると認識する。その後、制御部５５は、図８と同様に、案内画像８１の表示位置を移動させる。

このように、制御部５５は、前方画像Ｉｍ中の消失点を用いることによっても、対象背景Ｂｔａｇのコンバイナ９上での移動軌跡を好適に予測することができる。

（変形例３）
制御部５５は、複数の対象背景Ｂｔａｇが虚像Ｉｖと重なる同一領域を通過することを予測した場合、これらの全ての対象背景Ｂｔａｇが当該同一領域を通過するまで、虚像Ｉｖの表示位置を変化させた状態を維持してもよい。

図１０は、街灯９３Ａ〜９３Ｃ、９４Ａ〜９４Ｃが道路沿いに並べて設置されている道路を走行中の場合のコンバイナ９の表示例を示す。この例では、制御部５５は、前方画像Ｉｍ中の街灯９３Ａ〜９３Ｃ、９４Ａ〜９４Ｃの各表示領域での輝度が輝度閾値Ｖｔｈ以上であることから、各街灯９３Ａ〜９３Ｃ、９４Ａ〜９４Ｃを対象背景Ｂｔａｇとして検出している。

この場合、まず、制御部５５は、変形例２に基づき、対象背景Ｂｔａｇである街灯９３Ａ〜９３Ｃ、９４Ａ〜９４Ｃに対応する通過領域を認識する。その結果、制御部５５は、街灯９３Ａ〜９３Ｃに対応する通過領域が共通の領域Ａｒ３であり、街灯９４Ａ〜９４Ｃに対応する通過領域が共通の領域Ａｒ４であることを認識する。なお、制御部５５は、複数の対象背景Ｂｔａｇの通過領域が所定割合（例えば９割）以上重なっている場合に、これらが共通の通過領域であると判断してもよい。

そして、制御部５５は、領域Ａｒ３が案内画像８１と重なると判断し、案内画像８１を、通過領域Ａｒ３、Ａｒ４と重ならない位置（図１０ではコンバイナ９の上端中央）に移動させる。

このとき、制御部５５は、最も手前側にある街灯９３Ａが案内画像８１の本来の表示位置（コンバイナ９の左上）を通過した場合であっても、領域Ａｒ３を共通の通過領域とする街灯９３Ｂ，９３Ｃ等の対象背景Ｂｔａｇが存在する限り、変更後の案内画像８１の表示位置を維持する。即ち、制御部５５は、街灯９３Ａが案内画像８１の通常の表示位置を通過した場合であっても、街灯９３Ｂ等が続いて案内画像８１の通常の表示位置を通過することから、案内画像８１の表示位置を元に戻さない。これにより、制御部５５は、虚像Ｉｖの表示位置が短期間で煩雑に切り替わることを規制し、視認性悪化を抑制することができる。

なお、制御部５５は、変形例２によらずに、複数の対象背景Ｂｔａｇがコンバイナ９上の同一領域を通過するか否か判定してもよい。例えば、制御部５５は、重心位置の軌跡が略一致する複数の対象背景Ｂｔａｇが存在する場合に、これらがコンバイナ９上の同一領域を通過すると判断し、これら全ての対象背景Ｂｔａｇが虚像Ｉｖの本来の表示位置と重なる領域を通過するまで、虚像Ｉｖの表示位置を変化させた状態を維持してもよい。

（変形例４）
図３では、ヘッドアップディスプレイ２は、コンバイナ９を有し、コンバイナ９で反射させた光源ユニット４の出射光に基づき運転者に虚像Ｉｖを視認させていた。しかし、本発明が適用可能な構成はこれに限定されない。これに代えて、ヘッドアップディスプレイ２は、コンバイナ９を有さず、フロントガラス２５で反射させた光源ユニット４の出射光に基づき運転者に虚像Ｉｖを視認させてもよい。

また、光源ユニット４の位置は、天井部２７に設置される場合に限定されない。これに代えて、光源ユニット４は、ダッシュボード２９上に設置されたり、ダッシュボード２９の内部に設置されたりしてもよい。ダッシュボード２９上に設置される場合、ダッシュボード２９には、コンバイナ９を設けるか、又はフロントガラス２５に光源ユニット４から直接光を反射させ運転者に虚像Ｉｖを認識させる。ダッシュボード内に設置される場合、ダッシュボード２９には、コンバイナ９又はフロントガラス２５に光を通過させるための開口部が設けられる。

また、表示システム１００は、虚像表示装置として、車両Ｖｅに搭載されるヘッドアップディスプレイ２に代えて、装着用のヘッドマウントディスプレイを有してもよい。この場合、ヘッドマウントディスプレイは、ユーザの歩行時等に、案内画像を虚像Ｉｖとして視認させてもよい。この場合であっても、ヘッドマウントディスプレイは、図５のフローチャートを実行することで、虚像Ｉｖの視認性を好適に確保することができる。

（変形例５）
制御部５５の処理の一部を、システムコントローラ２０が実行してもよい。例えば、ヘッドアップディスプレイ２が表示するための案内画像をシステムコントローラ２０が生成し、ヘッドアップディスプレイ２の光源ユニット４が当該案内画像を受信する態様であってもよい。この場合、システムコントローラ２０は、カメラ３から前方画像Ｉｍを受信し、制御部５５に代えて、図５のフローチャートの処理を実行する。そして、システムコントローラ２０は、図５のステップＳ１０４では、例えば、対象背景Ｂｔａｇと重なると予測した案内画像の表示位置を移動させる旨の指示信号を、光源ユニット４に送信することで、当該案内画像の表示位置を移動させる。

なお、この変形例では、システムコントローラ２０は、本発明における「撮影画像取得手段」、「予測手段」、「制御手段」及びプログラムを実行するコンピュータとして機能する。

また、他の例では、ヘッドアップディスプレイ２は、ナビゲーション装置１の一部又は全部の機能を有してもよい。この場合、光源ユニット４は、例えば、地図データを記憶するメモリやＧＰＳ受信機などの各センサなどを有してもよい。

１ ナビゲーション装置
２ ヘッドアップディスプレイ
４ 光源ユニット
９ コンバイナ
２５ フロントガラス
２８ ボンネット
２９ ダッシュボード
１００ 表示システム

Claims (9)

1. 移動体の前方風景を撮影した画像を取得する撮影画像取得手段と、
   前記画像中に存在する対象背景の見かけ上の移動位置を予測する予測手段と、
   前記前方風景に重なるように虚像を表示手段に表示させる制御手段と、
   を有し、
   前記制御手段は、前記予測手段に予測された前記対象背景の見かけ上の移動位置が前記虚像の表示位置と重なる場合に、前記虚像の表示位置または、表示の態様を変化させることを特徴とする虚像表示装置。
2. 前記制御手段は、前記対象背景が前記虚像に重なるのに先立って、前記虚像の表示位置または、表示の態様を変化させることを特徴とする請求項１に記載の虚像表示装置。
3. 前記予測手段は、輝度が所定値以上である画像領域、または色度が所定範囲内である画像領域を前記対象背景として検出することを特徴とする請求項１または２に記載の虚像表示装置。
4. 前記予測手段は、前記画像を基に、所定時間間隔ごとに前記対象背景の移動方向、移動距離、および前記対象背景の見かけ上の大きさを取得し、取得した複数の前記移動方向、前記移動距離、及び前記大きさに基づき、前記対象背景の見かけ上の移動位置と大きさを予測することを特徴とする請求項１乃至３のいずれか一項に記載の虚像表示装置。
5. 前記予測手段は、前記画像中の消失点と前記対象背景の位置関係とに基づいて、前記対象背景の見かけ上の移動位置を予測することを特徴とする請求項１乃至３のいずれか一項に記載の虚像表示装置。
6. 前記制御手段は、前記予測手段により複数の前記対象背景が連続して前記虚像の表示位置と重なる領域を通過することを予測した場合、前記複数の対象背景の全てが当該領域を通過するまで、前記虚像の表示位置または表示の態様を変化させた状態を維持することを特徴とする請求項１乃至５のいずれか一項に記載の虚像表示装置。
7. 虚像表示装置が実行する制御方法であって、
   移動体の前方風景を撮影した画像を取得する撮影画像取得工程と、
   前記画像中に存在する対象背景の見かけ上の移動位置を予測する予測工程と、
   前記前方風景に重なるように虚像を表示手段に表示させる制御工程と、
   を有し、
   前記制御工程は、前記予測工程に予測された前記対象背景の見かけ上の移動位置が前記虚像の表示位置と重なる場合に、前記虚像の表示位置または、表示の態様を変化させることを特徴とする制御方法。
8. コンピュータが実行するプログラムであって、
   移動体の前方風景を撮影した画像を取得する撮影画像取得手段と、
   前記画像中に存在する対象背景の見かけ上の移動位置を予測する予測手段と、
   前記前方風景に重なるように虚像を表示手段に表示させる制御手段
   として前記コンピュータを機能させ、
   前記制御手段は、前記予測手段に予測された前記対象背景の見かけ上の移動位置が前記虚像の表示位置と重なる場合に、前記虚像の表示位置または、表示の態様を変化させることを特徴とするプログラム。
9. 請求項８に記載のプログラムを記憶したことを特徴とする記憶媒体。

Images