JP2017171226A

JP2017171226A - 表示装置

Info

Publication number: JP2017171226A
Application number: JP2016062078A
Authority: JP
Inventors: 幸恵梅澤; Yukie Umezawa
Original assignee: Nippon Seiki Co Ltd
Current assignee: Nippon Seiki Co Ltd
Priority date: 2016-03-25
Filing date: 2016-03-25
Publication date: 2017-09-28
Anticipated expiration: 2036-03-25
Also published as: JP6610376B2

Abstract

【課題】適切に前方対象を捕捉画像で捉えることができる表示装置を提供する。【解決手段】表示装置は、車両２に搭載され、表示手段が表示した画像を表す表示光を透光部材に投射することで、透光部材の前方に虚像を表示する。表示装置は、先行車Ｗを特定する特定手段と、先行車Ｗと自車２の各々の進行方向を予測する予測手段と、表示手段を制御することで、画像内に、特定手段が特定した先行車Ｗの少なくとも一部と重畳して視認される捕捉画像Ｖａを表示させる表示制御手段と、を備える。表示制御手段は、予測手段が予測した先行車Ｗの進行方向と自車２の進行方向とが一致した場合に、当該一致した進行方向側に捕捉画像Ｖａを拡張して表示させる。【選択図】図７

Description

本発明は、表示装置に関する。

特許文献１には、車両のフロントガラスなどに表示光を投射することで、前景に重畳させるように画像を表示する表示装置が開示されている。特許文献１に開示された表示装置は、車両前方の対象物（前方対象）を囲むように枠状の捕捉画像（同文献では強調画像）を表示することで、先行車などの存在をユーザに報知する。当該捕捉画像は、対象物に対する捕捉画像の位置ずれを考慮して、対象物の外形と間に間隔が保たれた態様で表示され、具体的には、その間隔が鉛直方向よりも水平方向よりも大きく設定されている。

特開２０１０−１２０６１７号公報

特許文献１に記載の技術では、捕捉画像が対象物に対して大きくなりすぎる場合があり、適切に対象物を報知できない場合がある。当該技術では、具体的には、図８に示すように、自車から見ての先行車Ｗ１に対して捕捉画像Ｖ１を重畳表示した場合に、ユーザ（主に自車の運転者）の頭部移動等によって表示位置が移動して、捕捉画像Ｖ２のように見え、他の先行車Ｗ２なども画像の枠内に位置して報知対象のように見えてしまう事態が生じる虞がある。

本発明は、上記実情に鑑みてなされたものであり、適切に前方対象を捕捉画像で捉えることができる表示装置を提供することを目的とする。

上記目的を達成するため、本発明に係る表示装置は、
乗り物に搭載され、表示手段が表示した画像を表す表示光を透光部材に投射することで、前記透光部材の前方に前記画像の虚像を表示する表示装置であって、
前記乗り物の前方にある前方対象を特定する特定手段と、
前記前方対象と前記乗り物の各々の進行方向を予測する予測手段と、
前記表示手段を制御することで、前記画像内に、前記特定手段が特定した前記前方対象の少なくとも一部と重畳して視認される捕捉画像を表示させる表示制御手段と、を備え、
前記表示制御手段は、前記予測手段が予測した前記前方対象の進行方向と前記乗り物の進行方向とが一致した場合に、当該一致した進行方向側に前記捕捉画像を拡張して表示させる、
ことを特徴とする。

本発明によれば、適切に前方対象を捕捉画像で捉えることができる。

本発明の一実施形態に係る車両用表示システムのブロック図である。本発明の一実施形態に係る表示装置の車両への搭載態様を示す図である。本発明の一実施形態に係る表示装置の概略構成図である。本発明の一実施形態に係る捕捉画像変形処理のフローチャートである。（ａ）は先行車予測進行方向決定テーブルの構成例を示す図であり、（ｂ）は自車予測進行方向決定テーブルの構成例を示す図である。（ａ）及び（ｂ）は、どのように捕捉画像の変形量を決定するかを説明するための図である。（ａ）及び（ｂ）は、先行車の進行角度に応じた捕捉画像の変形態様の一例を示す図である。従来の問題点を説明するための図である。

本発明の一実施形態に係る表示装置を、図面を参照して説明する。

本実施形態に係る車両用表示システム１は、図１に示すように、表示装置１００と、情報取得部２００と、を備える。車両用表示システム１は、各部が通信することにより、図２に示すように、車両２に搭乗したユーザ４（主に運転者）に、車両２に関する各種情報（以下、車両情報）を表示する。なお、車両情報は、車両２自体の情報のみならず、車両２の外部情報も含む。

（表示装置１００）
表示装置１００は、図２に示すように、車両２に搭載される（例えば、車両２のインスツルメントパネル内に設置される）。表示装置１００は、車両２のフロントガラス３（ウインドシールド）に表示光Ｌを投射することで、表示光Ｌが表す画像を虚像Ｖとしてフロントガラス３の前方に表示するヘッドアップディスプレイ（ＨＵＤ：Head-Up Display）として構成されている。虚像Ｖとして視認される画像は、車両情報を報知するためのものである。これにより、ユーザ４は、フロントガラス３越しに見える風景と重なって表示される車両情報を視認することができる。

表示装置１００は、図１〜図３に示すように、表示手段１０と、反射手段２０と、筐体３０と、制御手段４０と、調整手段５０と、を備える。

表示手段１０は、制御手段４０の制御の下で、車両情報を報知するための画像を表示する。表示手段１０は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、ＬＣＤを背後から照明するバックライト等から構成されている。表示手段１０は、画像を後述の平面鏡２１に向かって表示する。これにより、画像を表す表示光Ｌが平面鏡２１に向かって射出される。なお、表示手段１０は、有機ＥＬ（Electro-Luminescence）ディスプレイや、ＤＭＤ（Digital Micromirror Device）、反射型及び透過型のＬＣＯＳ（登録商標：Liquid Crystal On Silicon）等で構成されてもよい。

反射手段２０は、平面鏡２１と、凹面鏡２２とから構成されている。平面鏡２１は、例えばコールドミラーからなり、表示手段１０からの表示光Ｌを凹面鏡２２へと反射させる。凹面鏡２２は、表示手段１０から射出されて平面鏡２１で反射した表示光Ｌを拡大しつつ、フロントガラス３へと反射させる。これにより、ユーザ４に視認される虚像Ｖは、表示手段１０に表示されている画像が拡大されたものとなる。なお、本実施形態では、反射手段２０が２枚の鏡で構成される例を示しているが、反射手段２０は、１枚、又は３枚以上の鏡から構成されてもよい。

筐体３０は、表示手段１０、反射手段２０及び調整手段５０を、各々が上述の機能を実現可能な適宜の位置に収容する。なお、制御手段４０の少なくとも一部は、筐体３０の外部にあってもよい。筐体３０は、合成樹脂や金属により遮光性を有して箱状に形成されている。筐体３０には、表示光Ｌの光路を確保する開口部３０ａが設けられている。筐体３０には、開口部３０ａを塞ぐように、透光性カバー３１が取り付けられている。透光性カバー３１は、アクリル等の透光性樹脂から形成されている。

凹面鏡２２で反射した表示光Ｌは、透光性カバー３１を透過して、フロントガラス３へと向かう。このようにして、表示装置１００からは、フロントガラス３に向けて表示光Ｌが射出される。この表示光Ｌがフロントガラス３でユーザ４に向かって反射することで、ユーザ４から見てフロントガラス３の前方に虚像Ｖが表示される。凹面鏡２２は、調整手段５０により回転移動可能に設けられている。

調整手段５０は、モータ（ステッピングモータなど）、凹面鏡２２を回転可能に支持する支持部品、モータの回転動力を凹面鏡２２に伝達するギア機構などから構成される。調整手段５０は、制御手段４０からの制御信号に基づき、凹面鏡２２を図３における時計回り・反時計回りに回転移動させることで、表示光Ｌの光路を変更させる。調整手段５０は、虚像Ｖの表示位置の調整や、表示装置１００の不使用時に外光が表示手段１０に向かって反射することの防止などのために設けられる。なお、調整手段５０は、凹面鏡２２を平行移動させることで、表示光Ｌの光路を変更させてもよい。

制御手段４０は、表示装置１００の全体動作を制御するものであり、図１に示すように、ＣＰＵ（Central Processing Unit）４１と、記憶部４２と、ビデオメモリ４３と、Ｉ／Ｆ（InterFace）４４と、を備える。

なお、表示装置１００には、図示しない電源が接続されており、例えば、車両２のイグニッションのオンに伴って制御手段４０への動作電力が供給される。また、制御手段４０の少なくとも一部は、ＡＳＩＣ（Application Specific Integrated Circuit）などの専用回路によって構成されていてもよい。

記憶部４２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されている。ＲＯＭは、動作プログラム（後述の捕捉画像変形処理を実行するためのプログラムなど）や固定データ（後述の先行車予測進行方向決定テーブルＴＡ１、自車予測進行方向決定テーブルＴＡ２など）を予め記憶する。ＲＡＭは、各種の演算結果などを一時的に記憶する。例えば、ＲＡＭには、後述の捕捉画像変形処理における判別結果や決定結果を示すデータなどが記憶される。

ビデオメモリ４３は、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等から構成され、表示手段１０に表示させる画像のデータ（画像データ）を記憶する。

Ｉ／Ｆ４４は、制御手段４０の外部との間で、各種信号の入出力を可能とする。制御手段４０は、Ｉ／Ｆ４４を介して情報取得部２００とＣＡＮ（Controller Area Network）などにより通信を行う。

ＣＰＵ４１は、記憶部４２のＲＯＭから読み出した動作プログラムや固定データを用いて、表示装置１００の全体動作を制御するための処理を実行する。このときには、ＣＰＵ４１がＲＯＭから固定データを読み出す固定データ読出動作や、ＣＰＵ４１が記憶部４２のＲＡＭに各種データを書き込んで一時記憶させるデータ書込動作、ＣＰＵ４１がＲＡＭに一時記憶されている各種データを読み出すデータ読出動作、ＣＰＵ４１がＩ／Ｆ４４を介して制御手段４０の外部から各種信号の入力を受け付ける受信動作、ＣＰＵ４１がＩ／Ｆ４４を介して制御手段４０の外部へと各種信号を出力する送信動作なども行われる。また、ＣＰＵ４１は内蔵のタイマにより、適宜計時を行う。

また、ＣＰＵ４１は、図示しない表示制御部（グラフィックコントローラ）を介して、ビデオメモリ４３に記憶された画像データに基づき、表示手段１０の表示制御を行う。当該表示制御部は、ＣＰＵ４１からの表示制御指令などに基づき、表示手段１０における表示動作の制御内容を決定する。例えば、表示制御部は、表示手段１０の表示画面に表示させる画像の切換タイミングを決定することなどにより、各種の表示を実行させるための制御を行う。なお、制御手段４０では、表示コンテンツ（虚像Ｖとして視認される画像に含まれる、後述の捕捉画像やその他の報知画像など）毎にレイヤーが割り当てられており、個別の表示制御が可能となっている。

（情報取得部２００）
情報取得部２００は、図１に示すように、前方対象検出手段２１０と、ユーザ検出手段２２０と、ナビゲーションシステム２３０と、ＧＰＳ（Global Positioning System）コントローラ２４０と、ＥＣＵ（Electronic Control Unit）２５０と、を備える。

前方対象検出手段２１０は、車両２の前方を撮像するステレオカメラなどであり、図２に示すように、例えば車両２の室内に設けられている。なお、前方対象検出手段２１０は、車両２の前方を撮像できれば、その配置場所は任意であり、車室外に設けられていてもよい。

前方対象検出手段２１０は、撮像した前方画像のデータ（前方画像データ）をパターンマッチング法などにより画像解析することで、車両２（以下、自車２とも呼ぶ）の前方における各種対象を検出する。そして、前方対象検出手段２１０は、検出した各種対象に関する情報（以下、前方情報）を制御手段４０に出力する。なお、画像解析の少なくとも一部が制御手段４０によって実行され、制御手段４０側で前方対象を検出する（前方情報を生成する）ようにしてもよい。

前方情報は、道路上の物体に関する情報（前方車両や障害物）や、道路形状情報（車線、白線、停止線、横断歩道、道路の幅員、車線数、交差点、カーブ、分岐路等）などである。なお、前方対象検出手段２１０は、撮像された対象と自車２との間の距離を算出することが可能に構成されている。当該算出された距離も前方情報に含まれる。

この実施形態における主な前方情報は、先行車Ｗ（図６（ａ）、図７（ａ）参照）の位置、先行車Ｗのウインカ情報、道路形状情報、先行車Ｗの車線に対する移動量である。先行車Ｗのウインカ情報は、先行車Ｗのウインカ（方向指示灯）が点灯しているか否か、点灯している場合には左右いずれのウインカが点灯しているか等である。

ユーザ検出手段２２０は、ユーザ４を撮像するモノラルカメラなどであり、図２に示すように、たとえば車両２の室内に設けられている。なお、ユーザ検出手段２２０は、ユーザ４の頭部を撮像できれば、その配置場所は任意である。

ユーザ検出手段２２０は、撮像したユーザ４の画像データをパターンマッチング法などにより画像解析することで、ユーザ４の視点位置（視線位置、頭部の位置も含む）と顔の向き（頭部の位置も含む）との少なくともいずれかを含む視認状態を検出する。そして、ユーザ検出手段２２０は、視認状態を示す情報（以下、視認状態情報）を制御手段４０に出力する。

視認状態情報を取得した制御手段４０は、当該情報に基づいて、調整手段５０を制御し凹面鏡２２の角度を調整する。また、視認状態情報に基づいて表示手段１０に表示させる画像の位置や大きさ、形状（歪み補正）を変更してもよい。このようにして、制御手段４０は、ユーザ４の視点位置や顔の向きに合わせて、虚像Ｖの表示位置の調整を実行可能となっている。

ナビゲーションシステム２３０は、地図データを記憶する記憶部を有し、ＧＰＳコントローラ２４０からの位置情報に基づいて、現在位置近傍の地図データを記憶部から読み出し、案内経路を決定する。そして、ナビゲーションシステム２３０は、決定した案内経路に関する情報を制御手段４０に出力する。また、ナビゲーションシステム２３０は、地図データを参照することにより、車両２の前方の施設の名称・種類や、施設と車両２との距離などを示す情報を制御手段４０に出力する。地図データでは、道路形状情報（道路の幅員、車線数、交差点、カーブ、分岐路等）、制限速度などの道路標識に関する規制情報、車線が複数存在する場合の各車線についての情報（どの車線がどこに向かう車線か）などの各種情報が位置データと対応付けられている。ナビゲーションシステム２３０は、これら各種情報（ナビゲーション情報）を制御手段４０に出力可能に構成されている。

ＧＰＳコントローラ２４０は、人工衛星などからＧＰＳ信号を受信し、受信したＧＰＳ信号に基づいて車両２の位置の計算を行う。ＧＰＳコントローラ２４０は、車両２の位置を計算すると、その位置データをナビゲーションシステム２３０に出力する。

ＥＣＵ２５０は、車両２の各部を制御するものであり、車両２に搭載される種々のセンサ（ステアリングセンサ、車速センサ、ウインカの作動状態をウインカレバーからの信号などにより検出するウインカセンサなど）から出力される検出信号を取得し、検出内容を示すデータ（検出情報）を制御手段４０に出力する。ＥＣＵ２５０を介して制御手段４０が取得する状態情報（自車２に関する情報）は、ステアリング角度や、ウインカ情報、車速などである。なお、制御手段４０は、ＥＣＵ２５０を介さずに、各種センサから検出信号を取得し、前記状態情報を演算などにより求めてもよい。

以上の構成からなる車両用表示システム１では、ユーザ４が虚像Ｖを視認可能な範囲（所謂アイボックス）として規定される表示領域に虚像Ｖが表示される。なお、車両用表示システム１では、実景に重畳させて情報を表示するため、虚像Ｖの結像距離は大きめ（例えば、１５ｍ以上）に設定されている。

虚像Ｖとしてユーザ４に視認される画像は、先行車Ｗ（前方車両）、歩行者などの前方対象（実景内に現れる車外の対象物）に重畳するように表示され、対象物の存在をユーザ４に注意喚起する捕捉画像を含む。

捕捉画像は、対象物（前方対象）の少なくとも一部と重畳して視認される画像である。例えば、捕捉画像は、枠を示す枠画像であり、枠内に対象物の少なくとも一部を位置させて表示される。なお、捕捉画像が対象物の少なくとも一部と重畳するとは、枠の外形内に対象物の少なくとも一部が位置することを言う。したがって、捕捉画像が示す枠内領域に対象物が収まっている状態も、対象物が捕捉画像と重畳している状態である。

捕捉画像の表示態様や捕捉画像が捉える前方対象は限定されるものでないが、この実施形態では、枠を示す捕捉画像Ｖａ（図７（ｂ）参照）が前方対象としての先行車Ｗ（図６（ａ）、図７（ａ）参照）を捉える例を説明する。なお、捕捉画像Ｖａの表示態様は、枠を示すという点では図８に示す態様と同様であるが、後述のように場合に応じて変形可能となっているため、必要以上に捕捉画像Ｖａを大きくしなくともよい点が異なる。

捕捉画像Ｖａは、例えば、先行車Ｗに追従するように車両２の速度を制御するアダプティブクルーズコントロール（ＡＣＣ：Adaptive Cruise Control）を使用する際に、特定された先行車Ｗと重畳して表示され、ユーザ４に先行車Ｗを認識させる。制御手段４０は、表示手段１０を制御し、前方対象検出手段２１０によって特定された先行車Ｗを捉える捕捉画像Ｖａを表示させる。

以上の構成からなる表示装置１００は、捕捉画像Ｖａ以外の報知画像を表示することが可能であるが、以下では、主に図４を参照して、本実施形態に特有の捕捉画像変形処理について説明する。例えば、車両２のイグニッションのオンに伴って、表示装置１００に動作電力の供給が開始されると、ＣＰＵ４１が起動する。起動したＣＰＵ４１は、所定の初期化処理を実行した後、捕捉画像変形処理を実行する。

（捕捉画像変形処理）
まず、ＣＰＵ４１は、前方対象検出手段２１０からの前方情報に基づき先行車Ｗの位置を特定し、先行車Ｗを捉える枠画像として視認される捕捉画像Ｖａを表示手段１０に表示させる（ステップＳ１）。

続いて、ＣＰＵ４１は、先行車Ｗの予測進行方向を取得する（ステップＳ２）。具体的には、ＣＰＵ４１は、前方対象検出手段２１０からの前方情報に含まれる先行車Ｗのウインカ情報、道路形状情報、先行車Ｗの移動量などの各パラメータに基づいて、先行車Ｗの予測進行方向を決定・取得する。なお、ここでの予測進行方向は、先行車Ｗが「直進」、「右」、又は「左」するかの想定であり、後述の進行角度とは異なる。次に説明する自車２の予測進行方向についても同様である。例えば、ＣＰＵ４１は、記憶部４２のＲＯＭに予め記憶された先行車予測進行方向決定テーブルＴＡ１を参照して、先行車Ｗの予測進行方向を決定する。

図５（ａ）は、先行車予測進行方向決定テーブルＴＡ１の構成例を示す図である。先行車予測進行方向決定テーブルＴＡ１は、先行車Ｗのウインカ情報、道路形状情報、先行車Ｗの移動量の各パラメータの組み合わせと、先行車Ｗの予測進行方向とが対応づけられて構成されている。ＣＰＵ４１は、このような先行車予測進行方向決定テーブルＴＡ１を参照して、前方対象検出手段２１０から取得した前方情報に含まれる各パラメータの組み合わせに対応した、先行車Ｗの予測進行方向（図示するように「右」、「左」、「直進」など）を決定する。同図における「移動量」の欄は、例えば、先行車Ｗの走行車線に対する連続移動量（所定期間内における移動量）を示し、図示例において、「Ｄ」は走行車線に対する先行車Ｗの幅方向の移動量を示し、「Ｃ」は閾値を示している。この例では、先行車Ｗが走行車線に対して右に移動すると移動量Ｄが増加し、左に移動すると移動量Ｄが減少するように設定されている。そして、移動量Ｄが閾値Ｃの絶対値以下であれば「直進」と見做し、移動量Ｄが正の値をとる閾値Ｃよりも大きければ「右」と見做し、移動量Ｄが負の値をとる閾値Ｃよりも小さければ「左」と見做している。

なお、先行車予測進行方向決定テーブルＴＡ１において、各パラメータの全てを用いる必要はなく、例えばウインカ情報が「右オン」（先行車Ｗの右ウインカが点灯）を示していれば、他のパラメータの値によらず、先行車Ｗの予測進行方向を「右」と決定するなどしてもよい。つまり、各パラメータに優先度を設けてもよい。また、先行車Ｗの移動量の定め方は限定されるものでなく、設計に応じて任意である。

図４に戻って、ステップＳ２に続いてＣＰＵ４１は、自車２の予測進行方向を取得する（ステップＳ３）。具体的には、ＣＰＵ４１は、ＥＣＵ２５０等を介して取得した自車２のウインカ情報、ステアリング角度情報や、ナビゲーションシステム２３０から取得した道路形状情報（ナビゲーション情報に含まれる）などの各パラメータに基づいて、自車２の予測進行方向を決定・取得する。例えば、ＣＰＵ４１は、記憶部４２のＲＯＭに予め記憶された自車予測進行方向決定テーブルＴＡ２を参照して、自車２の予測進行方向を決定する。

図５（ｂ）は、自車予測進行方向決定テーブルＴＡ２の構成例を示す図である。自車予測進行方向決定テーブルＴＡ２は、自車２のウインカ情報、道路形状情報、ステアリング角度の各パラメータの組み合わせと、自車２の予測進行方向とが対応づけられて構成されている。ＣＰＵ４１は、このような自車予測進行方向決定テーブルＴＡ２を参照して、情報取得部２００から取得した各種情報に含まれる各パラメータの組み合わせに対応した、自車２の予測進行方向（図示するように「右」、「左」、「直進」など）を決定する。同図における「ステアリング角度」の欄では、「α」はステアリング角度を示し、「ｃ」は閾値を示している。この例では、ステアリングを右に切ると角度αが増加し、左に切ると角度αが減少するように設定されている。そして、角度αが閾値ｃの絶対値以下であれば「直進」と見做し、角度αが正の値をとる閾値ｃよりも大きければ「右」と見做し、角度αが負の値をとる閾値ｃよりも小さければ「左」と見做している。

なお、自車予測進行方向決定テーブルＴＡ２において、各パラメータの全てを用いる必要はなく、例えばウインカ情報が「右オン」（自車２の右ウインカが点灯）を示していれば、他のパラメータの値によらず、自車２の予測進行方向を「右」と決定するなどしてもよい。つまり、各パラメータに優先度を設けてもよい。また、ステアリング角度の定め方は限定されるものでなく、設計に応じて任意である。また、先行車予測進行方向決定テーブルＴＡ１と同様に、自車２の移動量もパラメータとして用いてもよい。

図４に戻って、ステップＳ３に続いてＣＰＵ４１は、ステップＳ２で取得した先行車Ｗの予測進行方向と、ステップＳ３で取得した自車２の予測進行方向とが一致するかを判別する（ステップＳ４）。両車の予測進行方向が一致しないと判別した場合（ステップＳ４；Ｎｏ）、ＣＰＵ４１は、捕捉画像Ｖａを消去し（ステップＳ８）、ステップＳ１に戻って処理を実行する。

両車の予測進行方向が一致すると判別した場合（ステップＳ４；Ｙｅｓ）、ＣＰＵ４１は、前方対象検出手段２１０から取得した、所定時間前の前方画像と現在の前方画像との差分に基づき、先行車Ｗの進行角度を算出する（ステップＳ５）。併せて、ＣＰＵ４１は、ＥＣＵ２５０などを介して取得したステアリング角度に基づき、自車２の進行角度も算出する。これら進行角度は、例えば、図６（ａ）に示す基準方向Ｂに対しての角度θとして表される。

続いて、ＣＰＵ４１は、ステップＳ５で算出した先行車Ｗの進行角度と自車２の進行角度とに基づいて、捕捉画像Ｖａの変形量を決定し（ステップＳ６）、決定した変形量に応じて捕捉画像Ｖａを変形させる（ステップＳ７）。

ここで、図６（ａ）（ｂ）、図７（ａ）（ｂ）を参照して、捕捉画像Ｖａの変形量の決定手法と、捕捉画像Ｖａの変形について説明する。

図６（ａ）は、先行車Ｗに続いて自車２が交差点を右折する例を示した図である。そして、状況の理解を容易とするため、両車が同じ経路（車線Ｒ１、交差点内Ｒ２、右折後車線Ｒ３）を辿ると共に等速で移動すると仮定した場合における両車の軌跡を、角度θと時間ｔで表したグラフが図６（ｂ）である。直線ＴＲ１は先行車Ｗの軌跡を表し、直線ＴＲ２は自車２の軌跡を表している。両軌跡において傾きを有する箇所は、右折の際に交差点内Ｒ２における円弧状のルートを辿ると仮定している。この場合、θとｔとの関係は一次関数（線形の関係）と見做せる。

図６（ｂ）に示すように、期間Ｔ１は、先行車Ｗ、自車２共に車線Ｒ１を直進中の状態に対応する。続く、期間Ｔ２は、先行車Ｗが右折中（交差点内Ｒ２を走行中）であるが、自車２は車線Ｒ１を直進中である状態に対応する。なお、期間Ｔ２では、両車の予測進行方向は「右」で一致しているものとする。期間Ｔ２においては、自車２に対しての先行車Ｗの進行角度は、徐々に増加し続ける。

ここで、期間Ｔ２における両車の関係の模式図を図７（ａ）に、図７（ａ）に対応させた捕捉画像の模式図を図７（ｂ）に示す。符号Ｖｎは、両車が直進していた際に、先行車Ｗを丁度囲んでいた捕捉画像（直進時捕捉画像Ｖｎという）を表す。先行車Ｗが右折時において、直進時捕捉画像Ｖｎのままでは、先行車Ｗが自車２の運転者から見ると斜めに見えるため、直進時捕捉画像Ｖｎが示す枠から先行車Ｗがはみ出し、適切に先行車Ｗを捉えることができない。また、図８を参照して説明した従来例のように枠画像を水平方向に予め大きく表示してしまうと、やはり先行車Ｗを適切に捉えることができない（前記のように捕捉対象以外まで捉えてしまう虞がある）。

そこで、この実施形態では、図７（ｂ）に示すように、捕捉画像Ｖａを変形して表示する。具体的には、ＣＰＵ４１は、先行車Ｗの進行角度と自車２の進行角度と差分に応じて、捕捉画像Ｖａの変形量を決定する。期間Ｔ２では、先行車Ｗの進行角度を自車２の進行角度で減ずると正の値となり、角度θは時計回りで増加するように設定しているため、捕捉画像Ｖａを図７（ｂ）に示すように、右側に拡張する。例えば、先行車Ｗの進行角度と自車２の進行角度と差分の値と、捕捉画像Ｖａの変形量（拡張量と、後述のように縮小する場合の縮小量も含む）とが、一対一対応の関係で設定されたテーブルをＲＯＭ内に予め記憶し、ＣＰＵ４１は、当該テーブルを参照して変形量を決定すればよい。なお、テーブルによらず演算を行ってもよい。また、先行車Ｗの進行角度に対しての自車２の進行角度の割合に基づいて、捕捉画像Ｖａの変形量を決定する構成としてもよい。

図６（ｂ）に戻って、期間Ｔ３は、両車がともに右折中（交差点内Ｒ２を走行中）である状態に対応する。期間Ｔ４は、先行車Ｗが右折後車線Ｒ３を直進中であるが、自車２が右折中（交差点内Ｒ２を走行中）である状態に対応する。なお、期間Ｔ４では、両車の予測進行方向は「右」で一致しているものとする。期間Ｔ５は、両者がともに右折後車線Ｒ３を直進中の状態に対応する。

図６（ｂ）のグラフからわかるように、期間Ｔ４においては、自車２に対しての先行車Ｗの進行角度は、徐々に減少し続ける。
以上を踏まえると、期間Ｔ２では捕捉画像Ｖａが右側に徐々に拡張していき、期間Ｔ２の終期（期間Ｔ３の始期）でその拡張量が最大となる。一方、期間Ｔ４では徐々にその拡張量が減っていき期間Ｔ４の終期（期間Ｔ５の始期）で拡張量がゼロとなる。期間Ｔ３においては、両車の進行角度の差分が一定であるため、拡張量は最大に保たれる。つまり、期間Ｔ２〜Ｔ４が、捕捉画像Ｖａが拡張表示される拡張表示期間Ｔとなる。なお、捕捉画像Ｖａの右側の拡張という概念は、捕捉画像Ｖａの基準位置の取り方によって表現が異なる場合もある。ユーザ４から見て捕捉画像Ｖａが実際に右側に拡張していると認識されるものに限られない。

以上のように捕捉画像Ｖａの変形量を決定して、決定した変形量に応じて捕捉画像Ｖａを変形させれば、捕捉画像Ｖａは先行車Ｗを適切に捉えたものとすることができ、捕捉画像Ｖａを必要以上に大きく表示せずとも済む。このため、先行車Ｗ以外の前方の物体（隣接車線の他の車など）を誤って示すような事態が生じるのを抑制できる。

ＣＰＵ４１は、以上の捕捉画像変形処理を、例えば車両２のイグニッションがオフされたことに伴い、表示装置１００の電源がオフされるまで繰り返し実行する。

なお、状況の理解を容易とするため、図６（ｂ）のグラフのように仮定したが、両車の軌跡が線形で表すことができなくとも、考え方は同様である。両車の軌跡が高次関数として表される場合であっても、所定のタイミング又は所定の期間内における進行角度の差分などを考えればよい。

また、前記の捕捉画像変形処理では、先行車Ｗと自車２とが共に直進している場合であっても、ステップＳ４でＹｅｓの判定となり、ステップＳ５以降の処理を実行することになるが、この場合は両者の進行角度の差分がゼロまたは微小となるため、捕捉画像Ｖａは変形されないか、変形したとしても微小量の変形となる。なお、両車が直進している場合は、ステップＳ１〜Ｓ３を繰り返し実行するように捕捉画像変形処理を構成してもよい。また、ステップＳ５の進行角度算出処理を、ステップＳ４の判定処理の前に実行し、算出した進行角度に基づいて、先行車Ｗや自車２の予測進行方向を推測するようにしてもよい。このようにすることで、先行車Ｗと自車２との予測進行方向を「右」、「左」といった概略的なものでなく、詳細に予測してもよい。

（１）以上に説明した表示装置１００は、車両２（乗り物の一例）に搭載され、表示手段１０が表示した画像を表す表示光Ｌをフロントガラス３（透光部材の一例）に投射することで、フロントガラス３の前方に虚像Ｖを表示する。表示装置１００は、先行車Ｗ（前方対象の一例）を特定する特定手段と、先行車Ｗと車両（自車）２の各々の進行方向を予測する予測手段と、表示手段１０を制御することで、画像内に、特定手段が特定した先行車Ｗの少なくとも一部と重畳して視認される捕捉画像Ｖａを表示させる表示制御手段（例えばグラフィックコントローラを含む制御手段４０）と、を備える。なお、特定手段及び予測手段は、制御手段４０と、情報取得部２００の少なくとも一部とが協働して実現される。表示制御手段は、予測手段が予測した先行車Ｗの進行方向と自車２の進行方向とが一致した場合に、当該一致した進行方向側に捕捉画像Ｖａを拡張して表示させる。
このようにしたから、前記のように、適切に先行車Ｗ（前方対象の一例）を捕捉画像で捉えることができる。また、以下の（２）〜（６）の構成を適宜有することによって、より良好に先行車Ｗを捕捉画像で捉えることができる。

（２）また、車両２の前方を撮像する撮像手段（例えば前方対象検出手段２１０）を備え、特定手段は、撮像手段が撮像した撮像画像に基づいて先行車Ｗを特定し、予測手段は、少なくとも撮像手段が撮像した撮像画像に基づいて先行車Ｗの進行方向を予測する。

（３）また、所定時間前の前方画像と現在の前方画像との差分（なお、撮像手段によって第１のタイミングで撮像された撮像画像と第２のタイミングで撮像された撮像画像との差分であればよい）に基づいて、先行車Ｗの進行角度を算出する進行角度算出手段と、進行角度算出手段が算出した先行車Ｗの進行角度と、自車２の進行角度とに基づいて、捕捉画像Ｖａを拡張する場合における拡張量を決定する拡張量決定手段と、を備える。表示制御手段は、予測手段が予測した先行車Ｗの進行方向と自車２の進行方向とが一致した場合に、当該一致した進行方向側に捕捉画像Ｖａを、拡張量決定手段によって決定された拡張量で拡張して表示させる。なお、進行角度算出手段及び拡張量決定手段は、例えば、制御手段４０の機能部として実現される。

（４）また、予測手段は、撮像手段が撮像した撮像画像に基づいて、先行車Ｗのウインカの点灯状態を特定し、少なくとも当該点灯状態を用いて先行車Ｗの進行方向を予測する。

（５）また、予測手段は、自車２のステアリング角度と、自車２のウインカの点灯状態との少なくともいずれかを用いて自車２の進行方向を予測する。

（６）また、前記画像を視認するユーザ４の視点位置と顔の向きとの少なくともいずれかを含む視認状態を検出する視認状態検出手段（ユーザ検出手段２２０など）を備え、表示制御手段は、視認状態に応じて捕捉画像Ｖａの表示位置を調整する。このようにしたから、ユーザ４の視点ずれが生じたとしても、適切に先行車Ｗを捕捉画像で捉えることができる。

なお、本発明は以上の実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で、適宜、変更（構成要素の削除も含む）を加えることが可能である。

表示光Ｌの投射対象は、フロントガラス３に限定されず、板状のハーフミラー、ホログラム素子等により構成されるコンバイナであってもよい。

なお、前方対象検出手段２１０として、ステレオカメラなどの可視光線カメラを用いる手法に限られない。前方対象検出手段２１０は、赤外線カメラやミリ波レーザ等の近距離検出用レーダ、超音波等を用いたソナー等を用いて前方状況を検出してもよい。また、前方対象検出手段２１０は、車両２の前方の状況を検出できればよいので、車両２の位置を特定し、車両２が走行する道路に関する情報を取得可能なナビゲーションシステム２３０で構成されていてもよい。また、前方対象検出手段２１０を、道路交通情報通信システムなどの外部通信装置と通信可能な通信手段で構成し、当該外部通信装置から受信した情報に基づいて、車両２の前方の状況を推定してもよい。

また、ユーザ検出手段２２０は、ステレオカメラで構成されてもよいし、可視光線カメラに留まらず赤外線カメラ等で構成されてもよい。

また、前方対象は、先行車Ｗに限られず、歩行者などの他の物体であってもよい。また、表示装置１００は、右折・左折時（右カーブ・左カーブ時も含む）に捕捉画像Ｖａを右ないし左に拡張（変形）するに限られない。例えば、登坂時や下坂時に捕捉画像Ｖａを上ないし下に拡張（変形）する構成としてもよい。また、捕捉画像Ｖａの拡張（変形）は、徐々に決定された拡張量に至るように連続的に拡張（変形）してもよい。これにより、運転者に拡張による心的負荷を掛けずに、違和感のない表示が可能となる。

また、捕捉画像Ｖａは、枠を示す枠画像でなくともよい。ベタ塗りやグラデーション状であって、前方対象を透かして視認可能な態様の画像であってもよい。また、捕捉画像Ｖａの形状も矩形に限られず、円形（楕円形も含む）や、多角形状、モザイク状、所定の物体を模したアイコン状などであってもよい。

表示装置１００が表示する虚像Ｖ（表示手段１０に表示される画像）は、案内経路画像、白線認識画像、運行状態画像、規制画像などを含んでいてもよい。案内経路画像は、車両２の経路誘導をするための画像であり、ナビゲーションシステム２３０からの案内経路に関する情報に基づいて表示される。白線認識画像は、車線の存在を認識させるための画像であり、前方対象検出手段２１０からの情報に基づいて表示される。運行状態画像は、車速、エンジン回転数などの車両２の運行状態を示す画像であり、ＥＣＵ２５０等からの情報に基づいて表示される。規制画像は、制限速度などの規制情報を示す画像であり、ナビゲーションシステム２３０からの規制情報に基づいて表示される。

また、自車２の移動量を算出するに当たって、車速センサからの車速や、加速度センサからの加速度、ジャイロセンサからの角速度など種々の物理量を適宜用いて算出してもよい。

また、先行車Ｗと自車２との間で無線通信が可能となっていれば、先行車Ｗの予測進行方向や進行角度は、先行車Ｗから受信した情報に基づいて決定・算出してもよい。

また、表示装置１００は、例示した自動四輪車としての車両２に搭載されるものに限られない。表示装置１００は、自動二輪車などの他の車両や、車両以外の水上バイク、雪上バイク、船舶、航空機などの車両以外の乗り物に搭載されるものであってもよい。

また、前記の動作プログラムは、予め記憶部４２のＲＯＭに記憶されているものとしたが、着脱自在の記録媒体により配布・提供されてもよい。また、動作プログラムは、表示装置１００と接続された他の機器からダウンロードされるものであってもよい。また、表示装置１００は、他の機器と電気通信ネットワークなどを介して各種データの交換を行うことにより前記の動作プログラムに従う各処理を実行してもよい。

以上の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略した。

１…車両用表示システム
２…車両、３…フロントガラス、４…ユーザ
１００…表示装置
１０…表示手段、２０…反射手段、３０…筐体、５０…調整手段
４０…制御手段
４１…ＣＰＵ、４２…記憶部、４３…ビデオメモリ、４４…Ｉ／Ｆ
２００…情報取得部
２１０…前方対象検出手段（撮像手段の一例）
２２０…ユーザ検出手段（視認状態検出手段の一例）
２３０…ナビゲーションシステム
２４０…ＧＰＳコントローラ
２５０…ＥＣＵ
Ｌ…表示光
Ｖ…虚像
Ｖａ…捕捉画像
Ｗ…先行車

Claims

乗り物に搭載され、表示手段が表示した画像を表す表示光を透光部材に投射することで、前記透光部材の前方に前記画像の虚像を表示する表示装置であって、
前記乗り物の前方にある前方対象を特定する特定手段と、
前記前方対象と前記乗り物の各々の進行方向を予測する予測手段と、
前記表示手段を制御することで、前記画像内に、前記特定手段が特定した前記前方対象の少なくとも一部と重畳して視認される捕捉画像を表示させる表示制御手段と、を備え、
前記表示制御手段は、前記予測手段が予測した前記前方対象の進行方向と前記乗り物の進行方向とが一致した場合に、当該一致した進行方向側に前記捕捉画像を拡張して表示させる、
ことを特徴とする表示装置。
前記乗り物の前方を撮像する撮像手段を備え、
前記特定手段は、前記撮像手段が撮像した撮像画像に基づいて前記前方対象を特定し、
前記予測手段は、少なくとも前記撮像手段が撮像した撮像画像に基づいて前記前方対象の進行方向を予測する、
ことを特徴とする請求項１に記載の表示装置。
前記乗り物の前方を撮像する撮像手段と、
前記撮像手段によって第１のタイミングで撮像された撮像画像と第２のタイミングで撮像された撮像画像との差分に基づいて、前記前方対象の進行角度を算出する進行角度算出手段と、
前記進行角度算出手段が算出した前記前方対象の進行角度と、前記乗り物の進行角度とに基づいて、前記捕捉画像を拡張する場合における拡張量を決定する拡張量決定手段と、を備え、
前記表示制御手段は、前記予測手段が予測した前記前方対象の進行方向と前記乗り物の進行方向とが一致した場合に、当該一致した進行方向側に前記捕捉画像を、前記拡張量決定手段によって決定された拡張量で拡張して表示させる、
ことを特徴とする請求項１に記載の表示装置。
前記乗り物は車両であり、前記前方対象は前記車両の先行車であり、
前記予測手段は、前記撮像手段が撮像した撮像画像に基づいて、前記先行車のウインカの点灯状態を特定し、少なくとも当該点灯状態を用いて前記先行車の進行方向を予測する、
ことを特徴とする請求項２又は３に記載の表示装置。
前記乗り物は車両であり、
前記予測手段は、前記車両のステアリング角度と、前記車両のウインカの点灯状態との少なくともいずれかを用いて前記車両の進行方向を予測する、
ことを特徴とする請求項１〜４のいずれか１項に記載の表示装置。
前記画像を視認するユーザの視点位置と顔の向きとの少なくともいずれかを含む視認状態を検出する視認状態検出手段を備え、
前記表示制御手段は、前記視認状態に応じて前記捕捉画像の表示位置を調整する、
ことを特徴とする請求項１〜５のいずれか１項に記載の表示装置。
前記表示制御手段は、前記捕捉画像を、連続的に拡張して表示させる、
ことを特徴とする請求項１〜６のいずれか１項に記載の表示装置。