JP2021117938A - 画像表示装置、画像表示方法およびプログラム - Google Patents

Abstract

【課題】理想の走行状態と現実の走行状態との違いを運転者に認識させる画像表示装置、画像表示方法およびプログラムを提供する。【解決手段】画像表示装置の制御系２５０は、車両の状態を示す車両情報を取得する車両情報取得部１０と、車両の周辺の状態を示す周辺情報を取得する周辺情報取得部２０と、車両情報と周辺情報と、あらかじめ規定された車両の理想の走行状態を示す理想状態情報と、に基づいて、理想の走行状態を示す第１画像と、現実の走行状態を示す第２画像と、を含む画像を生成する画像生成部４０と、生成された前記画像を出力する表示制御部５０と、を備える。【選択図】図６

Description

本発明は、画像表示装置、画像表示方法およびプログラムに関する。

車両に搭載するヘッドアップディスプレイ（以下、ＨＵＤという）装置の技術開発が進んでいる。このようなＨＵＤ装置については、車両の運転者が、少ない視線移動で警報及び情報を認知できる装置として市場の期待が高まっている。特に、ＡＤＡＳ（Advanced Driving Assistance System）に代表される車載センシング技術の進展に伴い、車両はさまざまな走行環境情報及び車内乗員の情報を取り込むことができるようになっている。車両に搭載するＨＵＤ装置はそれらの情報を運転者に伝える「ＡＤＡＳの出口」としても注目されている。

車両に搭載するＨＵＤ装置は運転者の視点位置から数ｍ先に虚像として画像を表示する。車両に搭載するＨＵＤ装置はこのようにして、当該画像があたかも自車両前方の実空間上に存在するかのように表示することが可能である。このようにあたかも実空間上に存在するかのように見せる技術はＡＲ（Augmented Reality）と呼ばれ、各情報をより運転者に直感的に提示することができるとされている。

例えば、車速が適正速度よりも速い場合に車両の減速を促す情報を表示し、車速が適正速度よりも遅い場合に車両の加速を促す情報を表示する情報表示装置が開示されている。

上述した従来の技術は、理想の走行状態と現実の走行状態との違いを運転者に認識させることはできなかった。

開示の技術は、理想の走行状態と現実の走行状態との違いを運転者に認識させることを目的とする。

開示の技術は、車両の状態を示す車両情報を取得する車両情報取得部と、前記車両の周辺の状態を示す周辺情報を取得する周辺情報取得部と、前記車両情報と前記周辺情報と、あらかじめ規定された前記車両の理想の走行状態を示す理想状態情報と、に基づいて、理想の走行状態を示す第１画像と、現実の走行状態を示す第２画像と、を含む画像を生成する画像生成部と、生成された前記画像を出力する表示制御部と、を備える画像表示装置である。

理想の走行状態と現実の走行状態との違いを運転者に認識させることができる。

ＨＵＤ装置が表示する虚像の一例を示す図である。 ＨＵＤ装置の概略の一例を示す図である。 ＨＵＤ装置の光学系の構成の一例を示す図である。 ＨＵＤ装置の制御系の構成の一例を示す図である。 ＨＵＤ装置及び周辺装置の配置の一例を示す図である。 ＨＵＤ装置の制御系の機能の一例を示す図である。 画像出力処理のフローチャートの一例を示す図である。 画像出力結果の一例を示す図である。 画像出力結果の別の一例を示す図である。 変形例に係る画像出力結果の一例を示す図である。

以下に、図面を参照して、本発明に係る画像表示装置を車両のＨＵＤ（Head−Up Display）装置に適用した実施の形態について説明する。

図１は、ＨＵＤ装置が表示する虚像の一例を示す図である。図２は、ＨＵＤ装置の概略の一例を示す図である。図３は、ＨＵＤ装置の光学系の構成の一例を示す図である。

図２において、本実施形態に係るＨＵＤ装置２００は、例えば、移動体としての走行体である自車両３０１のダッシュボード内に設置される。ダッシュボード内のＨＵＤ装置２００から発せられる画像光である投射光Ｌが光透過部材としてのフロントガラス３０２で反射され、視認者である運転者３００に向かって照射される。

これにより、運転者３００は、後述するルートナビゲーション画像等を虚像Ｇとして視認することができる。なお、フロントガラス３０２の内壁面に光透過部材としてのコンバイナを設置し、コンバイナによって反射する投射光Ｌによって運転者３００に虚像Ｇを視認させるようにしてもよい。

フロントガラス３０２の上部に前方撮影用カメラ１１０及び運転者カメラ１５０が配置される。前方撮影用カメラ１１０は前方を撮影する。前方撮影用カメラ１１０が撮影する前方には、ＨＵＤ装置２００がフロントガラス３０２に表示する表示情報及びその背景が含まれる。

すなわち、前方撮影用カメラ１１０は、フロントガラス３０２に映ったＨＵＤ装置２００が表示する表示情報を撮影するとともに、その背景をフロントガラス３０２越しに撮影する。前方撮影用カメラ１１０がフロントガラス３０２越しに撮影する背景とは、自車両３０１の前方環境（すなわち前方車両、路面等）である。運転者カメラ１５０は運転者３００の視点位置を検出するために運転者３００を撮影する。

運転者３００から虚像Ｇまでの距離は、例えば５ｍ以上になるようにＨＵＤ装置２００の光学系２３０等が設計されている。虚像Ｇまでの距離が５ｍ以上であれば運転者３００は眼球をほとんど輻輳運動させることなく虚像Ｇに焦点を合わせることができる。

図３に示すＨＵＤ装置２００の光学系２３０は、赤色、緑色及び青色のレーザ光源２０１Ｒ、２０１Ｇ及び２０１Ｂと、各レーザ光源に対して設けられるコリメータレンズ２０２、２０３及び２０４と、２つのダイクロイックミラー２０５及び２０６とを含む。

光学系２３０は更に、光量調整部２０７と、光走査部としての光走査装置２０８と、自由曲面ミラー２０９と、光発散部材としてのマイクロレンズアレイ２１０と、光反射部材としての投射ミラー２１１とを含む。

また光源ユニット２２０では、レーザ光源２０１Ｒ、２０１Ｇ及び２０１Ｂ、コリメータレンズ２０２、２０３及び２０４、並びにダイクロイックミラー２０５及び２０６が、光学ハウジングによってユニット化されている。

レーザ光源２０１Ｒ、２０１Ｇ及び２０１ＢとしてＬＤ（半導体レーザ素子）を利用することができる。赤色レーザ光源２０１Ｒから射出される光束の波長は例えば６４０ｎｍであり、緑色レーザ光源２０１Ｇから射出される光束の波長は例えば５３０ｎｍであり、青色レーザ光源２０１Ｂから射出される光束の波長は例えば４４５ｎｍである。

本実施形態に係るＨＵＤ装置２００では、マイクロレンズアレイ２１０上に結像される中間像を自車両３０１のフロントガラス３０２に投射することで、その中間像の拡大画像を運転者３００に虚像Ｇとして視認させる。レーザ光源２０１Ｒ、２０１Ｇ及び２０１Ｂから発せられる各色のレーザ光は、それぞれ、コリメータレンズ２０２、２０３及び２０４で略平行光とされた後、２つのダイクロイックミラー２０５及び２０６によって合成される。

合成されたレーザ光は光量調整部２０７で光量が調整された後、光走査装置２０８のミラーによって偏向されることにより、自由曲面ミラー２０９上を二次元的に走査する。光走査装置２０８によって偏向されることにより自由曲面ミラー２０９上を二次元的に走査する走査光Ｌ'は自由曲面ミラー２０９で反射されて歪みを補正された後、マイクロレンズアレイ２１０に集光され、マイクロレンズアレイ２１０に中間像Ｇ'を描画する。

なお、本実施形態では、中間像Ｇ'の画素（中間像の一点）ごとの光束を個別に発散させて出射する光発散部材としてマイクロレンズアレイ２１０を用いているが、他の光発散部材を用いてもよい。また、中間像Ｇ'の形成方法としては、液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）を利用した方式でもよい。

更にＨＵＤ装置２００は、運転者に警告等を行うための警告画像の輝度を段階的に高めることで警告の度合いを強めるような場合、ＨＵＤ装置２００が表示する虚像Ｇに含まれる各種画像のうちの警告画像の輝度だけを段階的に高めるという表示制御を行う。

光走査装置２０８は、ＭＥＭＳ（Micro Electro Mechanical Systems）等の、公知のアクチュエータ駆動システムでミラーを主走査方向及び副走査方向に傾斜動作させ、ミラーに入射するレーザ光を偏向して自由曲面ミラー２０９を二次元的に走査（ラスタスキャン）する。

ミラーの駆動制御は、レーザ光源２０１Ｒ、２０１Ｇ及び２０１Ｂの発光タイミングに同期して行われる。なお光走査装置２０８は上述した構成に限らず、例えば、互いに直交する２つの軸回りをそれぞれ揺動あるいは回動する２つのミラーを含むミラー系の光走査装置であってもよい。

図４は、ＨＵＤ装置の制御系の構成の一例を示す図である。

図４に示す如く、ＨＵＤ装置２００の制御系２５０は、コンピュータによって構成されており、ＦＰＧＡ（Field Programmable Gate Array）２５１、ＣＰＵ（Central Processing Unit）２５２、ＲＯＭ（Read-Only Memory）２５３、ＲＡＭ（Random Access Memory）２５４、インタフェース（以下、Ｉ／Ｆという）２５５、バスライン２５６、ＬＤドライバ２５７及びＭＥＭＳコントローラ２５８を含む。

ＦＰＧＡ２５１は、ＬＤドライバ２５７を用いて光源ユニット２２０のレーザ光源２０１Ｒ、２０１Ｇ及び２０１Ｂの動作を制御し、ＭＥＭＳコントローラ２５８を用いて光走査装置２０８のＭＥＭＳ２０８ａの動作を制御する。

ＣＰＵ２５２は、ＨＵＤ装置２００の各機能を実現する。ＲＯＭ２５３は、ＣＰＵ２５２がＨＵＤ装置２００の各機能を実現するために実行する画像処理用プログラム等の各種プログラムを記憶している。ＲＡＭ２５４はＣＰＵ２５２のワークエリアとして使用される。

Ｉ／Ｆ２５５は、外部コントローラ等と通信するためのインタフェースであり、例えば、自車両３０１のＣＡＮ（Controller Area Network）を介して、車両ナビゲーション装置４００、各種のセンサ５００等に接続される。

また、Ｉ／Ｆ２５５には、自車両３０１の前方を撮影する前方撮影用カメラ１１０が接続される。前方撮影用カメラ１１０は、フロントガラス３０２にＨＵＤ装置２００が表示する表示情報を撮影するとともに、その背景をフロントガラス３０２越しに撮影する。Ｉ／Ｆ２５５には更に、運転者３００の視点位置を検出するために運転者カメラ１５０が接続される。

制御系２５０は、検出された運転者３００の視点位置に基づいて、前方撮影用カメラ１１０により撮影される表示情報及びその背景の画像に対し画像処理を施すことにより、当該画像を運転者３００の視点位置から見たときの画像に変換する。制御系２５０は、例えば運転者カメラ１５０が撮影した運転者３００の頭部の画像を画像解析することによって、運転者３００の視点位置を検出する。

図５は、ＨＵＤ装置及び周辺装置の配置の一例を示す図である。

本実施形態においては、虚像Ｇによって運転者３００へ提供される運転者提供情報を取得する情報取得部として車両ナビゲーション装置４００、センサ５００等が設けられている。ＨＵＤ装置２００は、表示部の一例である光学系２３０と、制御部の一例である制御系２５０とを含む。

本実施形態に係る車両ナビゲーション装置４００としては、自動車等に搭載される公知の車両ナビゲーション装置を広く利用することができる。車両ナビゲーション装置４００からは、虚像Ｇとして表示させるルートナビゲーション画像を生成するために用いられる情報が出力され、この情報は制御系２５０に入力される。

ルートナビゲーション画像には、例えば、図１に示すように、自車両３０１が走行している道路の車線（走行レーン）の数、次に進路変更（右折、左折、分岐等）すべき地点までの距離、次に進路変更する方向等の情報を示す画像が含まれている。これらの情報が車両ナビゲーション装置４００から制御系２５０に入力される。

その結果、制御系２５０の制御の下、ＨＵＤ装置２００が、走行レーン指示画像７１１、車間距離提示画像７１２、進路指定画像７２１、残り距離画像７２２、交差点等名称画像７２３等のルートナビゲーション画像を虚像Ｇとして上段画像表示領域Ａに表示する。

また、図１に示した画像例では、ＨＵＤ装置２００が下段画像表示領域Ｂに、道路の固有情報（道路名、制限速度等）を示す画像を虚像Ｇとして表示する。この道路の固有情報も、車両ナビゲーション装置４００から制御系２５０に入力される。

その結果、制御系２５０の制御の下、ＨＵＤ装置２００が、当該道路固有情報に対応する道路名表示画像７０１、制限速度表示画像７０２、追い越し禁止表示画像７０３等を虚像として下段画像表示領域Ｂに表示する。

図５のセンサ５００は、自車両３０１の挙動、自車両３０１の状態、自車両３０１の周囲の状況等を示す各種情報を検出するための１又は２以上のセンサを含む。センサ５００からは、虚像Ｇとして表示させる画像を生成するために用いられるセンシング情報が出力され、このセンシング情報は制御系２５０に入力される。

例えば、図１に示した画像例では、自車両３０１の車速を示す車速表示画像７０４（図１の例では「８３ｋｍ／ｈ」という文字画像）を、ＨＵＤ装置２００が虚像として下段画像表示領域Ｂに表示する。すなわち、自車両３０１のＣＡＮ情報に含まれる車速情報がセンサ５００から制御系２５０に入力され、制御系２５０の制御の下、ＨＵＤ装置２００が当該車速を示す文字画像を虚像Ｇとして下段画像表示領域Ｂに表示する。

センサ５００は、自車両３０１の車速を検出するセンサ以外には、例えば、（１）自車両３０１の周囲（前方、側方又は後方）に存在する他車両、歩行者又は建造物（ガードレールや電柱等）との距離を検出するレーザレーダ装置や撮像装置、自車両の外部環境情報（外気温、明るさ、天候等）を検出するためのセンサ、（２）運転者３００の運転動作（ブレーキ操作、アクセル開閉度等）を検出するためのセンサ、（３）自車両３０１の燃料タンク内の燃料残量を検出するためのセンサ、（４）エンジンやバッテリー等の各種車載機器の状態を検出するセンサ等を含んでよい。

センサ５００が検出した情報を制御系２５０へ送ることで、ＨＵＤ装置２００が情報を虚像Ｇとして表示して運転者３００へ提供することができる。

次に、ＨＵＤ装置２００によって表示される虚像Ｇについて説明する。本実施形態におけるＨＵＤ装置２００において、虚像Ｇによって運転者３００へ提供される運転者提供情報は、運転者３００にとって有用な情報であればどのような情報であってもよい。本実施形態では、便宜上、運転者提供情報を受動情報と能動情報とに大別する。

受動情報とは、所定の情報提供条件が満たされたタイミングで運転者３００によって受動的に認知される情報である。したがって、ＨＵＤ装置２００が有する設定タイミングで運転者３００へ提供される情報は受動情報に含まれる。また、情報が提供されるタイミングと提供する情報の内容との間に一定の関係性を有する情報も受動情報に含まれる。

受動情報としては、例えば、運転時の安全性に関わる情報、ルートナビゲーション情報等が挙げられる。運転時の安全性に関わる情報として、自車両３０１と先行車両３５０との車間距離を示す情報（車間距離提示画像７１２）、運転に関わる緊急性のある情報（運転者に緊急操作を指示する緊急操作指示情報等の警告情報あるいは注意喚起情報等）等がある。

また、ルートナビゲーション情報は、予め設定された目的地までの走行ルートを案内するための情報であり、公知の車両ナビゲーション装置によって運転者へ提供される情報と同様の情報であってよい。ルートナビゲーション情報としては、直近の交差点で走行すべき走行レーンを指示する走行レーン指示情報（走行レーン指示画像７１１）や、次に直進方向から進路変更すべき交差点や分岐点での進路変更操作を指示する進路変更操作指示情報等が挙げられる。

進路変更操作指示情報として、交差点等においていずれの進路をとるべきかを指定する進路指定を行う進路指定情報（進路指定画像７２１）、進路変更操作を行う交差点等までの残り距離を示す情報（残り距離画像７２２）、交差点等の名称を示す情報（交差点等名称画像７２３）等がある。

能動情報とは、運転者自らが決めるタイミングで運転者３００によって能動的に認知される情報である。能動情報は、運転者３００の希望するタイミングで運転者へ提供されれば十分な情報であり、例えば、情報が提供されるタイミングと情報の内容との間の関係性が低いか又はそのような関係性が無いような情報は能動情報に含まれる。

能動情報は、運転者３００の希望するタイミングで運転者３００が取得する情報であることから、ある程度の長い期間あるいは常時、表示され続けるような情報である。例えば、自車両３０１が走行している道路の固有情報、自車両３０１の車速情報（車速表示画像７０４）、現在時刻情報等が挙げられる。

道路の固有情報としては、例えば、その道路名を示す情報（道路名表示画像７０１）、その道路の制限速度等の規制内容を示す情報（制限速度表示画像７０２、追い越し禁止表示画像７０３）等、当該道路に関わる情報として運転者３００にとって有用なものが挙げられる。

本実施形態では、このように大別される受動情報と能動情報とを、虚像Ｇを表示可能なそれぞれ対応する表示領域に表示する。具体的には、本実施形態では、ＨＵＤ装置２００が虚像を表示する領域として上下方向に並んだ２つの表示領域を設定する。

これらのうちの上段画像表示領域Ａには主に受動情報に対応する受動情報画像を表示し、下段画像表示領域Ｂには主に能動情報に対応する能動情報画像を表示する。なお、能動情報画像の一部を上段画像表示領域Ａに表示させる場合には、上段画像表示領域Ａに表示される受動情報画像の視認性を優先する態様で能動情報画像を表示する。

また、本実施形態においては、ＨＵＤ装置２００が表示する虚像Ｇとして、立体視を用いて表現された立体視画像を用いる。具体的には、ＨＵＤ装置２００が虚像を表示する上段画像表示領域Ａに表示される車間距離提示画像７１２及び走行レーン指示画像７１１として、遠近法により表現される遠近法画像を用いる。

図６は、ＨＵＤ装置の制御系の機能の一例を示す図である。

制御系２５０は、車両情報取得部１０と、周辺情報取得部２０と、記憶部３０と、画像生成部４０と、表示制御部５０と、を備える。

車両情報取得部１０は、各種のセンサ５００から車両情報を取得する。車両情報は、車両の走行状態を示す情報であって、例えば、車両の速度、加速度、運転操作、燃料タンク内の燃料残量等を含む。なお、前述の車速情報は、車両情報の一例である。

周辺情報取得部２０は、各種のセンサ５００から周辺情報を取得する。周辺情報は、車両の周辺の状態を示す情報であって、例えば、周囲（前方、側方又は後方）に存在する他車両、歩行者、建造物等の大きさ、位置、速度等を含む。

記憶部３０は、制御系の処理に必要な各種の情報を記憶している。具体的には、記憶部３０は、理想状態情報６０を記憶している。理想状態情報６０は、車両の理想的な走行状態を示す情報である。理想状態情報６０は、例えば、車両の速度、自車両と先行車両との間の車間距離、ＴＴＣ（Time-To-Collision）等の値または値の範囲によって安全性等を考慮してあらかじめ設定される。

ＴＴＣは、自車両と先行車両との間の車間距離を相対速度で除した時間である。ＴＴＣの値が大きいほど、安全な走行状態であることを表している。国土交通省の技術指針によれば、ＴＴＣが１．４秒以下であることが自動ブレーキの発動条件となっていることから、例えば、ＴＴＣが２．５秒から３．５秒までの範囲を理想の走行状態であると定義しても良い。

画像生成部４０は、車両情報、周辺情報および理想状態情報に基づいて、虚像として光学系２３０に表示させるための画像を生成する。具体的には、画像生成部４０は、理想の走行状態を示す画像（第１画像）と、現実の走行状態を示す画像（第２画像）と、を含む出力画像を生成する。

より詳細には、画像生成部４０は、理想の走行状態と現実の走行状態との違いを示す値を算出する。そして、画像生成部４０は、算出した値に基づいて、第１画像と第２画像との相対位置および第２画像の表示色を決定し、出力画像を生成する。

表示制御部５０は、光学系２３０を制御して、画像生成部４０が生成した出力画像を光学系２３０に表示させる。

次に、ＨＵＤ装置２００の動作について、図面を参照して説明する。

運転者３００によって自車両３０１が走行を開始すると、ＨＵＤ装置２００の制御系２５０は、画像出力処理を開始する。なお、制御系２５０は、定期的に、例えば１秒ごとに、画像出力処理を実行する。

図７は、画像出力処理のフローチャートの一例を示す図である。

制御系２５０が画像出力処理を開始すると、車両情報取得部１０は、車両情報を取得する（ステップＳ１１）。車両情報には、例えば、自車両３０１の速度が含まれる。

次に、周辺情報取得部２０は、周辺情報を取得する（ステップＳ１２）。周辺情報には、例えば、先行車両の速度、自車両３０１と先行車両との間の車間距離が含まれる。

次に、画像生成部４０は、現実の走行状態を示す値が、理想の走行状態を示す値の範囲内であるか否かを判定する（ステップＳ１３）。

例えば、画像生成部４０は、車両情報に含まれる自車両３０１の速度と、周辺情報に含まれる先行車両の速度と、に基づいて、自車両３０１と先行車両との間の相対速度を算出する。そして、画像生成部４０は、周辺情報に含まれる自車両３０１と先行車両との間の車間距離を、算出された相対速度で除して、現実の走行状態を示す値としてＴＴＣを算出する。

画像生成部４０は、理想状態情報６０を参照して、ＴＴＣが理想の走行状態を示す値の範囲内であるか否かを判定する。例えば、現実の走行状態を示す値がＴＴＣ＝２．０秒であって、理想の走行状態を示す値の範囲が、ＴＴＣが２．５秒から３．５秒までの範囲であるとすると、画像生成部４０は、現実の走行状態を示す値が、理想の走行状態を示す値の範囲内でないと判定する。

画像生成部４０は、現実の走行状態を示す値が、理想の走行状態を示す値の範囲内であると判定すると（ステップＳ１３：Ｙｅｓ）、画像生成部４０は、理想の走行状態であることを示す第２画像を生成する（ステップＳ１４）。理想の走行状態であることを示す第２画像は、例えば、緑色の画像である。

また、画像生成部４０は、現実の走行状態を示す値が、理想の走行状態を示す値の範囲内でないと判定すると（ステップＳ１３：Ｎｏ）、画像生成部４０は、理想の走行状態でないことを示す第２画像を生成する（ステップＳ１５）。理想の走行状態でないことを示す第２画像は、例えば、赤色の画像である。

次に、画像生成部４０は、第１画像を生成する（ステップＳ１６）。そして、画像生成部４０は、現実の走行状態を示す値と理想の走行状態を示す値との差に基づく相対位置を有する第１画像と第２画像とを含む画像を生成する（ステップＳ１７）。

具体的には、画像生成部４０は、理想の走行状態を示す値を決定する。例えば、理想の走行状態を示す値は、理想の走行状態を示す値の範囲の中央値とする。この場合、理想の走行状態を示す値の範囲が、ＴＴＣが２．５秒から３．５秒までの範囲であるとすると、理想の走行状態を示す値は、ＴＴＣ＝３．０秒である。

そして、画像生成部４０は、現実の走行状態を示す値と理想の走行状態を示す値との差分を算出する。例えば、画像生成部４０は、現実の走行状態を示す値がＴＴＣ＝２．０秒であって、理想の走行状態を示す値がＴＴＣ＝３．０秒である場合、３．０秒−２．０秒＝１．０秒という値を算出する。

次に、画像生成部４０は、１．０秒という値に基づいて、第１画像と第２画像との相対位置を決定する。例えば、現実の走行状態を示す値と理想の走行状態を示す値との差が大きいほど、第１画像の上下方向の中心と第２画像の上下方向の中心との間の距離ｈを大きい値とする。

例えば、画像生成部４０は、距離ｈを式（１）に基づいて算出しても良い。

ｈ＝ｗ・｜ｔｂ−ｔａ｜・・・（１）

ここで、ｔａは現実の走行状態を示す値、ｔｂは理想の走行状態を示す値、ｗはあらかじめ規定された係数である。また、ｔｂ≧ｔａの場合には、第１画像を上、第２画像を下とし、ｔｂ＜ｔａの場合には、第１画像を下、第２画像を上とする。

そして、画像生成部４０は、決定した相対位置で、第１画像と第２画像とを配置した画像を生成する。

表示制御部５０は、生成された画像を出力する（ステップＳ１８）。具体的には、表示制御部５０は、光学系２３０を制御して、生成された画像を光学系２３０に表示させる。

図８は、画像出力結果の一例を示す図である。

ＨＵＤ装置２００は、上段画像表示領域Ａに、第１画像１００と第２画像１０１とを表示する。例えば、現実の走行状態を示す値がＴＴＣ＝３．０秒であって、理想の走行状態を示す値がＴＴＣ＝３．０秒である場合、図８に示すように、第１画像１００の上下方向の中心と第２画像１０１の上下方向の中心とが同じ位置に配置され、第１画像１００と第２画像１０１とは、一部重なり合って表示される。

第２画像１０１は、理想の走行状態であることを示す緑色である。

運転者３００は、第１画像１００と第２画像１０１との距離が近く、また第２画像１０１が緑色であることから、理想の走行状態で走行していることを認識することができる。

図９は、画像出力結果の別の一例を示す図である。

例えば、現実の走行状態を示す値がＴＴＣ＝２．０秒であって、理想の走行状態を示す値がＴＴＣ＝３．０秒である場合、図９に示すように、第１画像１００の上下方向の中心と第２画像１０１の上下方向の中心とが距離ｈを隔てて配置される。第２画像１０１は、第１画像１００よりも下方に表示される。

第２画像１０１は、理想の走行状態でないことを示す赤色である。

運転者３００は、第１画像１００と第２画像１０１との距離が離れていて、また第２画像１０１が赤色であることから、理想の走行状態で走行していないことを認識することができる。特に、運転者３００は、距離ｈの大きさに応じて、どの程度、理想の走行状態と離れた走行をしているかを、直感的に認識することができる。

また、ＨＵＤ装置２００は、距離ｈの大きさに応じて、第２画像１０１の大きさを大きく表示しても良い。このようにすれば、危険が近くに迫っていることを運転者３００に認識させることができる。

本実施形態に係るＨＵＤ装置２００によれば、理想の走行状態を示す画像（第１画像１００）と、現実の走行状態を示す画像（第２画像１０１）と、を表示する。これによって、運転者３００は、理想の走行状態と現実の走行状態とを認識することができる。

また、第１画像１００と第２画像１０１との間の距離ｈは、理想の走行状態を示す値と現実の走行状態を示す値との差に応じて決定される。これによって、運転者３００は、現実の走行状態と理想の走行状態とを比較することができる。このことから運転者３００に、自発的な調整を促すことができる。

また、現実の走行状態を示す値が、理想の走行状態を示す値の範囲内にあるか否かによって、第２画像の色が異なる。これによって、運転者３００の注意を喚起することができる。

第２画像１０１は、現実の走行状態を示す値が、理想の走行状態を示す値の範囲内にあるか否かによって、２種類の色となる例を示したが、例えば３種類の色としても良い。

図７に示した画像出力処理のステップＳ１５において、画像生成部４０は、現実の走行状態を示す値ｔａと理想の走行状態を示す値ｔｂとを比較して、ｔｂ≧ｔａの場合には、安全でないことを示す色（例えば赤色）とし、ｔｂ＜ｔａの場合には、安全であってかつ理想でないことを示す色（例えば黄色）として、第２画像１０１を生成しても良い。

図１０は、変形例に係る画像出力結果の一例を示す図である。

例えば、ｔｂ＜ｔａの場合には、第２画像１０１が第１画像１００よりも上に表示される。第２画像１０１は、安全であってかつ理想でないことを示す色（例えば黄色）である。

運転者３００は、第１画像１００と第２画像１０１との距離が離れていて、また第２画像１０１が第１画像１００よりも上に表示され、黄色であることから、理想の走行状態で走行していないものの、安全であることを認識することができる。したがって、運転者３００に、もう少し速度を上げるか、このままの速度を維持するかの自発的な選択を促すことができる。

また、理想状態情報６０は、機械学習の学習効果によって生成されたものでもよい。また、理想の走行状態であるか否かを機械学習にて分類付けすることで、理想状態情報６０を使用しなくてもよい。

ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

また、理想状態情報６０は、ＴＴＣ以外の値によって規定されても良い。例えば、理想状態情報６０は、道路の制限速度や、周辺車両の速度等によって規定されていても良い。その場合、理想状態情報６０は、絶対的な値ではなく、道路の制限速度や、周辺車両の速度等をパラメータとする関数によって定義されていても良い。

また、理想状態情報６０は、複数の値の組み合わせによって規定されていても良い。例えば、理想状態情報６０は、ＴＴＣの値の範囲と、車両の速度の値の範囲と、が規定されていても良い。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡや従来の回路モジュール等のデバイスを含むものとする。

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。

１０ 車両情報取得部
２０ 周辺情報取得部
３０ 記憶部
４０ 画像生成部
５０ 表示制御部
６０ 理想状態情報
１００ 第１画像
１０１ 第２画像
１１０ 前方撮影用カメラ
１５０ 運転者カメラ
２００ ＨＵＤ装置
２３０ 光学系
２５０ 制御系
３０１ 自車両
３０２ フロントガラス
４００ 車両ナビゲーション装置
５００ センサ

特開２０１７−１１７０５０号公報

Claims (8)

1. 車両の状態を示す車両情報を取得する車両情報取得部と、
   前記車両の周辺の状態を示す周辺情報を取得する周辺情報取得部と、
   前記車両情報と前記周辺情報と、あらかじめ規定された前記車両の理想の走行状態を示す理想状態情報と、に基づいて、理想の走行状態を示す第１画像と、現実の走行状態を示す第２画像と、を含む画像を生成する画像生成部と、
   生成された前記画像を出力する表示制御部と、を備える、
   画像表示装置。
2. 前記周辺情報取得部は、前記車両の前方を走行する先行車両の速度または前記車両と前記先行車両との間の車間距離を含む前記周辺情報を取得し、
   前記画像生成部は、前記先行車両の前記速度または、前記車両と前記先行車両との間の前記車間距離に基づいて、前記第１画像と前記第２画像とを含む画像を生成する、
   請求項１に記載の画像表示装置。
3. 前記車両情報は、前記車両の速度を含む前記車両情報を取得し、
   前記理想状態情報は、先行車両との間の車間距離と、先行車両と前記車両との相対速度と、に基づいて算出されるＴＴＣによって、前記車両の理想的な走行状態を示す、
   請求項２に記載の画像表示装置。
4. 前記理想状態情報は、道路の制限速度または周辺車両の速度によって規定される、
   請求項１に記載の画像表示装置。
5. 前記画像生成部は、前記理想状態情報に含まれる理想の走行状態を示す値と、前記車両情報と前記周辺情報とに含まれる現実の走行状態を示す値と、の差分を算出し、算出された前記差分に応じた相対位置を有する前記第１画像と前記第２画像とを含む画像を生成する、
   請求項１から４のいずれか１項に記載の画像表示装置。
6. 前記車両情報と前記周辺情報とに含まれる現実の走行状態を示す値が、前記理想状態情報に含まれる理想の走行状態を示す値の範囲内にあるか否かによって、互いに異なる色を有する前記第２画像を生成する、
   請求項１から５のいずれか１項に記載の画像表示装置。
7. 車両の状態を示す車両情報を取得し、
   前記車両の周辺の状態を示す周辺情報を取得し、
   前記車両情報と前記周辺情報と、あらかじめ規定された前記車両の理想の走行状態を示す理想状態情報と、に基づいて、理想の走行状態を示す第１画像と、現実の走行状態を示す第２画像と、を含む画像を生成し、
   生成された前記画像を出力する、
   画像表示方法。
8. コンピュータに、
   車両の状態を示す車両情報を取得するステップと、
   前記車両の周辺の状態を示す周辺情報を取得するステップと、
   前記車両情報と前記周辺情報と、あらかじめ規定された前記車両の理想の走行状態を示す理想状態情報と、に基づいて、理想の走行状態を示す第１画像と、現実の走行状態を示す第２画像と、を含む画像を生成するステップと、
   生成された前記画像を出力するステップと、
   を実行させるためのプログラム。
   

Images