JP2021121536A - 制御装置、画像表示方法及びプログラム - Google Patents

Abstract

【課題】画像光投射手段によって表示される複数の操作指示画像が示す各操作内容の操作順序を運転者が迷ってしまうような事態を回避することを課題とする。【解決手段】移動体の運転者への操作指示内容を示す操作指示画像を、光透過部材を介して運転者が視認する移動体進行方向前方の所定の表示エリア７００内に表示させるように、該光透過部材へ画像光を投射する画像光投射手段を備えた情報提供装置であって、それぞれ異なる操作指示内容を示す複数の操作指示画像７１１，７２１を、運転者に操作させる操作順序が後になる操作指示内容を示すものほど、前記所定の表示エリア内の上側に表示されるように、前記画像光投射手段を制御する表示制御手段を有する。【選択図】図１

Description

本発明は、情報提供装置、情報提供方法及び情報提供用制御プログラムに関するものである。

この種の情報提供装置としては、運転者を乗せて移動する車両、船舶、航空機、産業用ロボットなどの移動体の運転者に対して情報を提供するための画像を表示するヘッドアップディスプレイ（ＨＵＤ）装置等を利用したものが知られている。

特許文献１には、フロントガラス等（光透過部材）に画像光を投射し、フロントガラスを介して車両（移動体）の運転者が視認する前方風景に重ねて画像を表示させるＨＵＤ装置が開示されている。このＨＵＤ装置では、道路を模式的に表した道路画像の虚像を前方風景内の実際の道路に重ねて表示したり、その道路画像の虚像近傍に道路標識等を表した道路標識画像の虚像を表示したりする。そして、道路画像を遠近法により表現しつつ、自動車が進行するにつれて道路標識画像を徐々に大きくすることにより、その道路標識画像が実際の道路上の特定地点に配置されているかのように運転者に知覚させることができるとしている。

近年、移動体の運転者に対して運転者への操作指示内容を示す操作指示画像（虚像）、例えば予め設定された目的地までのルートを案内するためのルートナビゲーション画像などを表示させるＨＵＤ装置が提案されている。このようなＨＵＤ装置では、虚像を表示させることが可能な所定の表示エリア内に、それぞれ異なる操作指示内容を示す複数の操作指示画像を表示させる場合がある。例えばいくつかの交差点を直進した後に特定の交差点で左折するというルート案内を行うとき、直近の交差点を直進させるための操作指示画像と、前記特定の交差点で左折させるための操作指示画像とを、表示エリア内に同時期に表示させる場合がある。このように複数の操作指示画像を表示させた場合、各操作指示画像が示す操作内容の操作順序を運転者が迷ってしまうような事態をできるだけ回避することが望まれる。

なお、ルートナビゲーション画像に限らず、操作すべきタイミングがそれぞれ異なる操作指示内容を示す複数の操作指示画像を表示させて運転者に複数の操作内容を提供する場合には、同様に、操作内容の操作順序を運転者が迷ってしまうような事態を回避することが望まれる。

上述した課題を解決するために、本発明は、移動体の運転者への操作指示内容を示す操作指示画像を、光透過部材を介して該運転者が視認する移動体進行方向前方の所定の表示エリア内に表示させるように、該光透過部材へ画像光を投射する画像光投射手段を備えた情報提供装置であって、それぞれ異なる操作指示内容を示す複数の操作指示画像を、運転者に操作させる操作順序が後になる操作指示内容を示すものほど、前記所定の表示エリア内の上側に表示されるように、前記画像光投射手段を制御する表示制御手段を有することを特徴とする。

本発明によれば、画像光投射手段によって表示される複数の操作指示画像が示す各操作内容の操作順序を運転者が迷ってしまうような事態を回避しやすいという優れた効果が奏される。

実施形態において、フロントガラス越しに運転者から見る自車両の前方風景に重ねて表示エリアに表示される虚像の一例を示す説明図である。 実施形態における自動車用ＨＵＤ装置を搭載した自動車の構成を模式的に表した模式図である。 同自動車用ＨＵＤ装置の内部構成を模式的に表した模式図である。 同自動車用ＨＵＤ装置における制御系のハードウェアブロック図である。 実施形態における運転者情報提供システムの概略構成を示すブロック図である。 同運転者情報提供システムにおける物体認識装置のハードウェア構成を示す説明図である。 同自動車用ＨＵＤ装置における画像制御装置の主要なハードウェアを示すハードウェアブロック図である。 実施形態における運動視差によって奥行き感を出した虚像の画像処理方法を説明するための説明図である。 直近の交差点で進路変更する状況の画像例を示す説明図である。 （ａ）〜（ｅ）は、先行車両との車間距離に応じて車間距離提示画像が変化する画像例１を示す説明図である。 （ａ）及び（ｂ）は、先行車両との車間距離に応じて車間距離提示画像が変化する画像例２を示す説明図である。 自車両が走行している道路が通学路である場合に通学路警告画像を中段表示領域に表示させた画像例３を示す説明図である。 自車両の進行方向における横断歩道を渡ろうとしている人間を検出した場合に人型警告画像を中段表示領域に表示させた画像例４を示す説明図である。

以下、本発明を、情報提供装置としての自動車用ヘッドアップディスプレイ（ＨＵＤ）装置を含んだ運転者情報提供システムに適用した一実施形態について説明する。
図１は、フロントガラス３０２越しに運転者３００から見る自車両３０１の前方風景に重ねて表示エリア７００に表示される虚像Ｇの一例を示す説明図である。
図２は、本実施形態における自動車用ＨＵＤ装置を搭載した自動車の構成を模式的に表した模式図である。
図３は、本実施形態における自動車用ＨＵＤ装置の内部構成を模式的に表した模式図である。

本実施形態における自動車用ＨＵＤ装置２００は、例えば、移動体としての走行体である自車両３０１のダッシュボード内に設置される。ダッシュボード内の自動車用ＨＵＤ装置２００から発せられる画像光である投射光Ｌが光透過部材としてのフロントガラス３０２で反射され、運転者３００に向かう。これにより、運転者３００は、後述するナビゲーション画像等のＨＵＤ表示画像を虚像として視認することができる。なお、フロントガラス３０２の内壁面に光透過部材としてのコンバイナを設置し、コンバイナによって反射する投射光Ｌによって運転者に虚像を視認させるように構成してもよい。

本実施形態においては、運転者３００から虚像Ｇまでの距離が５ｍ以上となるように、自動車用ＨＵＤ装置２００の光学系等が構成されている。従来の一般的な自動車用ＨＵＤ装置は、運転者３００から虚像Ｇまでの距離が２ｍ程度であった。運転者３００は、通常、車両前方の無限遠点を注視しているか、数十ｍ先の先行車を注視している。このような遠方に焦点を合わせている運転者３００が２ｍ先の虚像Ｇを視認しようとする場合、焦点距離が大きく異なるので、眼球の水晶体を大きく動かす必要がある。そのため、虚像Ｇに焦点を合わせるまでの焦点調整時間が長くなり、虚像Ｇの内容を認識するまでに時間がかかるうえ、運転者３００の眼球が疲労しやすいという不具合が生じる。また、虚像Ｇの内容に運転者が気付きにくく、虚像Ｇによって情報を運転者へ適切に提供することが困難である。

本実施形態のように虚像Ｇまでの距離が５ｍ以上であれば、従来よりも、眼球の水晶体を動かす量が減り、虚像Ｇへの焦点調整時間を短縮して虚像Ｇの内容を早期に認識できるようになり、また運転者３００の眼球の疲労を軽減することができる。更には、虚像Ｇの内容に運転者が気付きやすくなり、虚像Ｇによって情報を運転者へ適切に提供することが容易になる。

自動車用ＨＵＤ装置２００は、ＨＵＤ本体２３０内に、赤色、緑色、青色のレーザー光源２０１Ｒ，２０１Ｇ，２０１Ｂと、各レーザー光源に対して設けられるコリメータレンズ２０２，２０３，２０４と、２つのダイクロイックミラー２０５，２０６と、光量調整部２０７と、光走査手段としての光走査装置２０８と、自由曲面ミラー２０９と、光発散部材としてのマイクロレンズアレイ２１０と、光反射部材としての投射ミラー２１１とから構成されている。本実施形態における光源ユニット２２０は、レーザー光源２０１Ｒ，２０１Ｇ，２０１Ｂ、コリメータレンズ２０２，２０３，２０４、ダイクロイックミラー２０５，２０６が、光学ハウジングによってユニット化されている。

レーザー光源２０１Ｒ，２０１Ｇ，２０１ＢとしてはＬＤ（半導体レーザ素子）を利用することができる。赤色レーザー光源２０１Ｒから射出される光束の波長は例えば６４０ｎｍであり、緑色レーザー光源２０１Ｇから射出される光束の波長は例えば５３０ｎｍであり、青色レーザー光源２０１Ｂから射出される光束の波長は例えば４４５ｎｍである。

本実施形態の自動車用ＨＵＤ装置２００は、マイクロレンズアレイ２１０上に結像される中間像を自車両３０１のフロントガラス３０２に投射することで、その中間像の拡大画像を運転者３００に虚像Ｇとして視認させる。レーザー光源２０１Ｒ，２０１Ｇ，２０１Ｂから発せられる各色レーザー光は、それぞれ、コリメータレンズ２０２，２０３，２０４で略平行光とされ、２つのダイクロイックミラー２０５，２０６により合成される。合成されたレーザー光は、光量調整部２０７で光量が調整された後、光走査装置２０８のミラーによって二次元走査される。光走査装置２０８で二次元走査された走査光Ｌ’は、自由曲面ミラー２０９で反射されて歪みを補正された後、マイクロレンズアレイ２１０に集光され、中間像を描画する。

なお、本実施形態では、中間像の画素（中間像の一点）ごとの光束を個別に発散させて出射する光発散部材として、マイクロレンズアレイ２１０を用いているが、他の光発散部材を用いてもよい。また、中間像Ｇ’の形成方法としては、液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）を利用した方式でもよい。

ただし、大きな虚像Ｇを高い輝度で表示させるには、本実施形態のようにレーザー走査方式が好ましい。
また、液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）などを利用した方式では、虚像Ｇが表示される表示領域内の非画像部分にも僅かながら光が照射され、これを完全に遮断することが難しい。そのため、当該非画像部分を通じた自車両３０１の前方風景の視認性が悪いというデメリットがある。これに対し、本実施形態のようにレーザー走査方式によれば、虚像Ｇの表示領域内の非画像部分については、レーザー光源２０１Ｒ，２０１Ｇ，２０１Ｂを消灯させることにより当該非画像部分に光が照射されるのを完全に遮断することができる。よって、当該非画像部分を通じた自車両３０１の前方風景の視認性が自動車用ＨＵＤ装置２００から照射される光によって低下する事態を回避でき、前方風景の視認性が高いというメリットがある。

更に、運転者に警告等を行うための警告画像の輝度を段階的に高めることで警告の度合いを強めるような場合、表示エリア７００内に表示されている各種画像のうちの警告画像の輝度だけを段階的に高めるという表示制御が必要になる。このように表示エリア７００内の一部画像について部分的に輝度を高めるような表示制御を行う場合も、レーザー走査方式が好適である。液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）などを利用した方式では、表示エリア７００内に表示されている警告画像以外の画像についても輝度が高まってしまい、警告画像とそれ以外の画像との間の輝度差を広げることができず、警告画像の輝度を段階的に高めることで警告の度合いを強めるという効果が十分に得られないからである。

光走査装置２０８は、ＭＥＭＳ（Micro Electro Mechanical Systems）等の公知のアクチュエータ駆動システムでミラーを主走査方向及び副走査方向に傾斜動作させ、ミラーに入射するレーザー光を二次元走査（ラスタスキャン）する。ミラーの駆動制御は、レーザー光源２０１Ｒ，２０１Ｇ，２０１Ｂの発光タイミングに同期して行われる。光走査装置２０８は、本実施形態の構成に限らず、例えば、互いに直交する２つの軸回りをそれぞれ揺動あるいは回動する２つのミラーからなるミラー系で構成してもよい。

図４は、本実施形態の自動車用ＨＵＤ装置２００における制御系のハードウェアブロック図である。
自動車用ＨＵＤ装置２００の制御系は、主に、ＦＰＧＡ２５１、ＣＰＵ２５２、ＲＯＭ２５３、ＲＡＭ２５４、Ｉ／Ｆ２５５、バスライン２５６、ＬＤドライバ２５７、ＭＥＭＳコントローラー２５８を備えている。ＦＰＧＡ２５１は、ＬＤドライバ２５７により、光源ユニット２２０のレーザー光源２０１Ｒ，２０１Ｇ，２０１Ｂを動作制御し、ＭＥＭＳコントローラー２５８により、光走査装置２０８のＭＥＭＳ２０８ａを動作制御する。ＣＰＵ２５２は、自動車用ＨＵＤ装置２００の各機能を制御する。ＲＯＭ２５３は、ＣＰＵ２５２が自動車用ＨＵＤ装置２００の各機能を制御するために実行する画像処理用プログラム等の各種プログラムを記憶している。ＲＡＭ２５４はＣＰＵ２５２のワークエリアとして使用される。Ｉ／Ｆ２５５は、外部コントローラー等と通信するためのインターフェイスであり、例えば、自車両３０１のＣＡＮ（Controller Area Network）を介して、後述の物体認識装置１００、車両ナビゲーション装置４００、各種センサ５００等に接続される。

図５は、本実施形態における運転者情報提供システムの概略構成を示すブロック図である。
本実施形態においては、虚像Ｇによって運転者へ提供する運転者提供情報を取得する情報取得手段として、物体認識装置１００、車両ナビゲーション装置４００、センサ装置５００などが設けられている。本実施形態における自動車用ＨＵＤ装置２００は、主に、画像光投射手段としてのＨＵＤ本体２３０と、表示制御手段としての画像制御装置２５０とから構成される。本実施形態における情報取得手段は自車両３０１に搭載されているが、自車両３０１の外部に設置されている情報取得手段を用いて当該情報取得手段が取得した情報を通信手段を介して入力する構成であってもよい。

図６は、本実施形態における物体認識装置１００のハードウェア構成を示す説明図である。
本実施形態の物体認識装置１００は、自車両３０１の前方領域を撮像領域として撮像する撮像手段としてのステレオカメラ部１１０と、ステレオカメラ部１１０によって撮像した撮像画像データに基づいて撮像領域内に存在する所定の認識対象物を認識する画像処理を実行する画像処理手段としての情報処理部１２０とから構成されている。なお、ステレオカメラ部１１０に代えて、撮像手段としての単眼カメラと測距手段としてのレーザレーダ（ミリ波レーダ）とを組み合わせた構成を採用してもよい。

ステレオカメラ部１１０は、左目用となる第１のカメラ部１１０Ａと、右目用となる第２のカメラ部１１０Ｂとの、２台のカメラ部が平行に組みつけられて構成されている。各カメラ部１１０Ａ，１１０Ｂは、それぞれレンズ１１５、画像センサ１１６、センサコントローラ１１７を備えている。画像センサ１１６は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）で構成されるイメージセンサを用いることができる。センサコントローラ１１７は、画像センサ１１６の露光制御、画像読み出し制御、外部回路との通信および画像データの送信制御等を行う。ステレオカメラ部１１０は、自車両３０１のフロントガラス３０２のルームミラー付近に設置される。

情報処理部１２０は、データバスライン１２１、シリアルバスライン１２２、ＣＰＵ（Central Processing Unit）１２３、ＦＰＧＡ（Field-Programmable Gate Array）１２４、ＲＯＭ（Read Only Memory）１２５、ＲＡＭ（Random Access Memory）１２６、シリアルＩＦ（Interface）１２７、およびデータＩＦ１２８を有している。

ステレオカメラ部１１０は、データバスライン１２１およびシリアルバスライン１２２を介して情報処理部１２０と接続されている。ＣＰＵ１２３は、ステレオカメラ部１１０の各センサコントローラ１１７の制御、情報処理部１２０全体の動作、画像処理等を実行制御する。各カメラ部１１０Ａ，１１０Ｂの画像センサ１１６で撮像された撮像画像の輝度画像データは、データバスライン１２１を介して情報処理部１２０のＲＡＭ１２６に書き込まれる。ＣＰＵ１２３またはＦＰＧＡ１２４からのセンサ露光値の変更制御データ、画像読み出しパラメータの変更制御データ、および各種設定データ等は、シリアルバスライン１２２を介して送受信される。

ＦＰＧＡ１２４は、ＲＡＭ１２６に保存された画像データに対してリアルタイム性が要求される処理、例えばガンマ補正、ゆがみ補正（左右画像の平行化）、ブロックマッチングによる視差演算を行って、視差画像を生成し、ＲＡＭ１８に再度書き込む。ＲＯＭ１２５には、車両や歩行者等の立体物、あるいは、路面上の白線等の車線境界線や路面側部に存在する縁石や中央分離帯などの所定の認識対象物を認識するための認識プログラムが記憶されている。認識プログラムは、画像処理プログラムの一例である。

ＣＰＵ１２３は、データＩＦ１２８を介して、例えば自車両３０１のＣＡＮを介して、車速、加速度、舵角、ヨーレート等のＣＡＮ情報を、センサ装置５００から取得する。そして、ＣＰＵ１２３は、ＲＯＭ１２５に記憶されている認識プログラムに従って、ＲＡＭ１２６に記憶されている輝度画像および視差画像を用いて画像処理を実行し、例えば先行車両３５０や車線境界線等の認識対象物の認識を行う。

認識対象物の認識結果データは、シリアルＩＦ１２７を介して、例えば、画像制御装置２５０、車両走行制御ユニット等の外部機器へ供給される。車両走行制御ユニットは、認識対象物の認識結果データを用いて、自車両３０１のブレーキ制御、速度制御、ステアリング制御などを行い、例えば、予め設定された車間距離を維持するように自車両３０１を先行車両に自動追尾させるクルーズコントロールや、前方の障害物との衝突を回避、軽減するための自動ブレーキ制御などを実現する。

本実施形態における車両ナビゲーション装置４００は、自動車等に搭載される公知の車両ナビゲーション装置を広く利用することができる。車両ナビゲーション装置４００からは、虚像Ｇに表示させるルートナビゲーション画像を生成するために必要な情報が出力され、この情報は画像制御装置２５０に入力される。例えば、図１に示すように、自車両３０１が走行している道路の車線（走行レーン）の数、次に進路変更（右折、左折、分岐等）すべき地点までの距離、次に進路変更する方向などの情報を示す画像が含まれている。これらの情報が車両ナビゲーション装置４００から画像制御装置２５０に入力されることで、画像制御装置２５０の制御の下、自動車用ＨＵＤ装置２００によって、走行レーン指示画像７１１、進路指定画像７２１、残り距離画像７２２、交差点等名称画像７２３などのナビゲーション画像が、表示エリア７００の上段表示領域Ａや中段表示領域Ｂに表示される。

また、図１に示した画像例では、表示エリア７００の下段表示領域Ｃに、道路の固有情報（道路名、制限速度等）を示す画像が表示される。この道路の固有情報も、車両ナビゲーション装置４００から画像制御装置２５０に入力される。画像制御装置２５０は、当該道路固有情報に対応する道路名表示画像７０１、制限速度表示画像７０２、追い越し禁止表示画像７０３等を、自動車用ＨＵＤ装置２００によって表示エリア７００の下段表示領域Ｃに表示させる。

本実施形態におけるセンサ装置５００は、自車両３０１の挙動、自車両３０１の状態、自車両３０１の周囲の状況などを示す各種情報を検出するための１又は２以上のセンサで構成されている。センサ装置５００からは、虚像Ｇとして表示させる画像を生成するために必要なセンシング情報が出力され、このセンシング情報は画像制御装置２５０に入力される。例えば、図１に示した画像例には、自車両３０１の車速を示す車速表示画像７０４（図１では「８３ｋｍ／ｈ」という文字画像）を、表示エリア７００の下段表示領域Ｃに表示させる。そのため、自車両３０１のＣＡＮ情報に含まれる車速情報がセンサ装置５００から画像制御装置２５０に入力され、画像制御装置２５０の制御の下、自動車用ＨＵＤ装置２００によって当該車速を示す文字画像が表示エリア７００の下段表示領域Ｃに表示される。

センサ装置５００は、自車両３０１の車速を検出するセンサ以外にも、例えば、自車両３０１の周囲（前方、側方、後方）に存在する他車両、歩行者、建造物（ガードレールや電柱等）との距離を検出するレーザーレーダー装置や撮像装置、自車両の外部環境情報（外気温、明るさ、天候等）を検出するためのセンサ、運転者３００の運転動作（ブレーキ走査、アクセル開閉度等）を検出するためのセンサ、自車両３０１の燃料タンク内の燃料残量を検出するためのセンサ、エンジンやバッテリー等の各種車載機器の状態を検出するセンサなどが挙げられる。このような情報をセンサ装置５００で検出して画像制御装置２５０へ送ることで、それらの情報を虚像Ｇとして自動車用ＨＵＤ装置２００により表示して運転者３００へ提供することができる。

図７は、画像制御装置２５０の主要なハードウェアを示すハードウェアブロック図である。
画像制御装置２５０は、ＣＰＵ２５１、ＲＡＭ２５２、ＲＯＭ２５３、入力用データＩＦ２５４、および出力用データＩＦ２５５が、データバスラインによって互いに接続されている。入力用データＩＦ２５４には、物体認識装置１００から出力される各種認識結果データ、センサ装置５００から出力されるセンシング情報、車両ナビゲーション装置４００から出力される各種情報などが入力される。出力用データＩＦ２５５からは、自動車用ＨＵＤ装置２００の制御信号等が出力される。ＣＰＵ２５１は、ＲＯＭ２５３等に記憶されている情報提供用制御プログラムなどの各種コンピュータプログラムを実行して、画像制御装置２５０に後述する各種制御や各種処理を行わせる。

次に、自動車用ＨＵＤ装置２００によって表示される虚像Ｇについて説明する。
本実施形態における自動車用ＨＵＤ装置２００において、虚像Ｇによって運転者へ提供する運転者提供情報は、運転者にとって有用な情報であればどのような情報であってもよい。本実施形態では、運転者提供情報を受動情報と能動情報とに大別している。受動情報とは、自動車用ＨＵＤ装置２００の設定タイミングで運転者へ提供されるべき情報であり、例えば、情報が提供されるタイミングと情報の内容との間に一定の関係性をもつ情報が挙げられる。一方、能動情報とは、運転者の希望するタイミングで運転者へ提供されれば十分な情報であり、例えば、情報が提供されるタイミングと情報の内容との間の関係性が低い又は無いような情報である。

受動情報としては、例えば、運転時の安全性に関わる情報、ルートナビゲーション情報などが挙げられる。運転時の安全性に関わる情報としては、例えば、自車両３０１と先行車両３５０との車間距離情報（車間距離提示画像７１２）、運転に関わる緊急性のある情報（警告情報あるいは注意喚起情報等）などが挙げられる。また、ルートナビゲーション情報は、予め設定された目的地までの走行ルートを案内するための情報であり、公知の車両ナビゲーション装置によって運転者へ提供されるものである。ルートナビゲーション情報としては、直近の交差点で走行すべき走行レーンを指示する走行レーン指示情報（走行レーン指示画像７１１）や、次に直進方向から進路変更すべき交差点や分岐点での進路変更操作を指示する進路変更操作指示情報などが挙げられる。進路変更操作指示情報としては、具体的には、当該交差点等においていずれの進路をとるべきかの進路指定を行う進路指定情報（進路指定画像７２１）、その進路変更操作を行う交差点等までの残り距離情報（残り距離画像７２２）、当該交差点等の名称情報（交差点等名称画像７２３）などが挙げられる。

能動情報としては、主に、運転者の希望するタイミングで運転者が取得する情報が挙げられ、そのため、ある程度の長い期間あるいは常時、表示され続けるような情報である。例えば、自車両３０１が走行している道路の固有情報、自車両３０１の車速情報（車速表示画像７０４）、現在時刻情報などが挙げられる。道路の固有情報としては、例えば、その道路名情報（道路名表示画像７０１）、その道路の制限速度等の規制内容情報（制限速度表示画像７０２、追い越し禁止表示画像７０３）、その他当該道路に関わる情報として運転者にとって有用なものが挙げられる。

本実施形態では、このようにして大別される受動情報と能動情報を、虚像Ｇを表示可能な表示エリア７００内のそれぞれ対応する表示領域に表示させる。具体的には、本実施形態では、表示エリア７００を上下方向に３つの表示領域に区分し、そのうちの上段表示領域Ａと中段表示領域Ｂには受動情報に対応する受動情報画像を表示し、下段表示領域Ｃには能動情報に対応する能動情報画像を表示する。なお、能動情報画像の一部を上段表示領域Ａや中段表示領域Ｂに表示させてもよいが、その場合には上段表示領域Ａや中段表示領域Ｂに表示される受動情報画像の視認性を優先するように能動情報画像を表示する。

本実施形態の受動情報には、ルートナビゲーション情報等のように運転者３００への操作指示内容を示す操作指示情報が含まれる。このような操作指示情報を運転者へ提供する場合、通常、直近の操作指示内容を示す操作指示画像だけでなく、その後の操作指示内容を示す操作指示画像も併せて表示させることが、運転者の不安（その後はどのような操作を行うことになるのかが不明であることによる不安）を解消できる点で好ましい。図１に示す例においても、直近の交差点で走行すべき走行レーンを指示する走行レーン指示画像７１１と一緒に、次に直進方向から進路変更すべき交差点や分岐点での進路変更操作を指示する進路変更操作指示画像７２１，７２２，７２３が表示されている。

このように、操作順序が異なる複数の操作指示画像、すなわち、走行レーン指示画像７１１と進路変更操作指示画像７２１，７２２，７２３とを、表示エリア７００内に同時期に表示させる場合、各操作指示画像が示す操作指示内容の操作順序を運転者が迷ってしまうような事態をできるだけ回避することが望まれる。

そこで、本実施形態においては、操作順序が異なる複数の操作指示画像を、運転者に操作させる操作順序が後になる操作指示画像ほど、表示エリア７００内の上側に表示されるように画像表示制御を行っている。すなわち、走行レーン指示画像７１１よりも操作順序が後になる進路変更操作指示画像７２１，７２２，７２３を、当該走行レーン指示画像７１１よりも上側に表示させている。これにより、走行レーン指示画像７１１の操作指示内容と進路変更操作指示画像７２１，７２２，７２３の操作指示内容について、運転者が操作順序を迷ってしまうような事態を回避することができる。これは、次の理由による。

運転中の運転者３００は、通常、進行する自車両３０１の前方に位置する物体は時間の経過により現在位置に向かって近づいてくるという距離の観念を持っている。一方、運転者３００は、未来の出来事は時間の経過により現在時刻に向かって近づいてくるという時間の観念も持っている。進行する自車両３０１の前方に存在する物体は、自車両３０１までの距離が近いほど自車両３０１の位置に到達するまでの時間が早く、自車両３０１までの距離が遠いほど自車両３０１の位置に到達までの時間が遅い。そのため、進行する自車両３０１から前方へ遠く離れた物体は、遠い未来の出来事との間で認知の親和性が高く、進行する自車両３０１の前方近くに位置する物体は、より近い未来の出来事との間で認知の親和性が高い。

この親和性を考慮し、進行する自車両３０１から前方へ遠く離れた物体が視認される位置に重なるように、遠い未来の操作指示画像（操作順序が後になる操作指示内容を示す操作指示画像、すなわち、進路変更操作指示画像７２１，７２２，７２３）を表示させ、進行する自車両３０１の前方近くに位置する物体が視認される位置に重なるように、より近い未来（現在を含む。）の操作指示画像（操作順序が先になる操作指示内容を示す操作指示画像、すなわち、走行レーン指示画像７１１）を表示させれば、これらの操作指示内容の操作順序を運転者に直感的に認知させることができる。

ここで、運転中の運転者３００は、上述したとおり、自車両前方の無限遠点を注視しているか、数十ｍ先を走行している先行車両３５０の背面を注視しているのが通常であり、その注視点は、おおよそ、フロントガラス３０２から見える前方風景の鉛直方向中央近辺である。本実施形態においては、操作順序が異なる走行レーン指示画像７１１と進路変更操作指示画像７２１，７２２，７２３とが表示される表示エリア７００を、フロントガラス３０２から見える前方風景の下部に位置決めしている。よって、走行レーン指示画像７１１と進路変更操作指示画像７２１，７２２，７２３とは、運転者３００の注視点よりも下側で、前方風景に重なるように表示されることになる。運転者３００の注視点よりも下側の前方風景部分は、自車両３０１から遠い地点の物体ほど上側で視認され、自車両３０１に近い地点の物体ほど下側で視認される。

よって、本実施形態においては、走行レーン指示画像７１１よりも操作順序が後になる進路変更操作指示画像７２１，７２２，７２３を、当該走行レーン指示画像７１１よりも上側に表示させている。具体的には、進行する自車両３０１から前方へ遠く離れた物体の視認位置に重なる表示エリア７００の上段表示領域Ａに、操作順序が後になる進路変更操作指示画像７２１，７２２，７２３を表示させ、進行する自車両３０１の前方近くに位置する物体の視認位置に重なる表示エリア７００の中段表示領域Ｂに、操作順序が先になる走行レーン指示画像７１１を表示させている。これにより、上述した認知の親和性の高さから、これらの操作指示内容の操作順序を運転者に直感的に認知させることができ、運転者が操作順序を迷ってしまうような事態を回避することができる。

なお、逆に、この認知の親和性を考慮せずに、例えば、走行レーン指示画像７１１と進路変更操作指示画像７２１，７２２，７２３の表示位置を、本実施形態とは上下逆の位置にしたり、横並びにしたりすると、運転者は、上述した距離の観念及び時間の観念が邪魔して、その操作順序を直感的に認知することが困難となる。

また、この認知の親和性を利用し、本実施形態では、操作順序が同じ操作指示内容に関わる複数の操作指示画像については横並びに配置するようにしている。具体的には、上段表示領域Ａに表示される３つの進路変更操作指示画像７２１，７２２，７２３については、いずれも、次に直進方向から進路変更すべき交差点や分岐点での進路変更操作を指示する進路変更操作指示情報を示すものであるため、上段表示領域Ａ内に横並びで配置している。上述した距離の観念及び時間の観念によれば、同じ上下方向位置に横並びに配置された３つの進路変更操作指示画像７２１，７２２，７２３は、同じ時期の操作指示内容に関する情報であることうを直感的に認知しやすい。よって、進路変更操作指示画像７２１，７２２，７２３の情報を適切に認識することができる。

また、本実施形態においては、表示エリア７００に表示される虚像Ｇとして、立体視を用いて表現された立体視画像を用いている。具体的には、表示エリア７００の中段表示領域Ｂに表示される車間距離提示画像７１２及び走行レーン指示画像７１１として、遠近法により表現される遠近法画像を用いている。

詳しくは、車間距離提示画像７１２を構成する５本の横線の長さを上側に向かうほど短くなるようにして、車間距離提示画像７１２を１つの消失点に向かうように透視図法により作図された遠近法画像としている。特に、本実施形態では、その消失点が運転者の注視点近傍に定まるように車間距離提示画像７１２が表示されることから、運転中の運転者３００に車間距離提示画像７１２の奥行き感を知覚させやすい。また、本実施形態では、更に、横線の太さが上側に向かうほど細くしたり、横線の輝度が上側に向かうほど低くなったりするようにした遠近法画像としている。これによって、運転中の運転者３００には、車間距離提示画像７１２の奥行き感を更に知覚させやすくなる。このとき、レーザー走査方式であれば、上述のように非画像部分の光を完全に遮断できるので、運転者への奥行き感の知覚が他の方式に比べて容易となる効果を奏する。

このような立体視画像を利用して表示エリア７００に表示される虚像Ｇに奥行き感を出すことで、表示エリア７００に表示される画像の上下方向位置と前方風景内の物体までの距離との関連性を運転者が知覚しやすくなる。その結果、上述した認知の親和性がより得られやすくなり、表示エリア７００の中段表示領域Ｂに表示される走行レーン指示画像７１１の操作指示内容の方が、表示エリア７００の上段表示領域Ａに表示される進路変更操作指示画像７２１，７２２，７２３よりも先に操作すべき内容であることを、運転者は直感的に認識しやすくなる。

また、走行レーン指示画像７１１についても、車間距離提示画像７１２と同様、車間距離提示画像７１２の消失点と同様の地点が消失点となるように透視図法により作図されている。ただし、走行レーン指示画像７１１は、運転者へ操作指示内容を提供するという側面を有する。そのため、より奥行き感を出すことよりも、走行レーン指示画像７１１の操作指示内容がより明確に運転者へ提供されることを優先する場合には、例えば、走行レーン指示画像７１１を構成する３つの矢印画像を、その矢印の先端に向かうにつれて輝度が高くなるようにしてもよい。レーザー走査方式は、他の方式に比して、画像領域ごとの輝度調整が容易であり、そのため、輝度の低い領域と高い領域のコントラストを大きくつけることができる。よって、上述のように矢印の先端の輝度を高めて運転者への情報提供を明確に行う場合に有効となる。この場合、走行レーン指示画像７１１は上側に向かうほど輝度が低くなってしまうため、上側に向かうほど輝度を低くする方が奥行き感を出しやすいことから、奥行き感を高めることはできないが、矢印先端の輝度を高めることで、矢印の向きの視認性が高まり、走行レーン指示画像７１１の操作指示内容をより明確に運転者へ提供することが可能となる。なお、この場合であっても、走行レーン指示画像７１１が透視図法により作図されていることから、奥行き感が大きく損なわれるようなことはない。

また、本実施形態では、更に奥行き感を出すため、虚像Ｇを、運動視差により表現される運動視差画像としている。運動視差とは、運転者３００の目の位置（視点）が移動することによって生じる視差を意味する。運動視差による奥行き感は、運転者３００の目の位置が移動するときに、前方風景内における近い物体ほど大きく動き、遠い物体ほど動きが少ないように視認される動きのズレから、運転者３００が各物体までの距離（奥行き感）を知覚するものである。

本実施形態では、図２に示したように、運転者３００の目の位置（視点）を観測するための運転者カメラ１５０が自車両３０１のフロントガラス３０２のルームミラー付近に設置されている。運転者カメラ１５０の設置位置は、運転者３００の上下左右の動きを精度よく取得するため、運転席に座る運転者３００の正中線に近くであるのが好ましい。ただし、運転者３００の視界を遮らないように、例えば上方の位置に配置するのが好ましい。

運転者カメラ１５０は、運転席に座る運転者３００が運転中に頭部を動かすことが想定される範囲を撮像領域として撮像するように設定されている単眼カメラであり、ステレオカメラ部１１０の各カメラ部１１０Ａ，１１０Ｂと同様、レンズ、画像センサ、センサコントローラ等から構成されている。運転者カメラ１５０として、ステレオカメラを用い、運転者の目の位置の前後方向位置も把握するようにしてもよい。

運転者カメラ１５０で撮像された撮像画像の輝度画像データは、画像制御装置２５０に入力される。画像制御装置２５０は、ＣＰＵ２５１がＲＯＭ２５３等に記憶されている情報提供用制御プログラムを実行することにより、運転者カメラ１５０からの輝度画像データに基づき、運転者３００の目の位置を認識する。本実施形態では、簡易的に、運転者カメラ１５０からの輝度画像データに基づいて運転者３００の頭部位置を認識し、その認識結果から運転者３００の目の位置を推定する。運転者３００の頭部位置の認識方法は、一般的な認識処理方法を広く採用することができる。

図８は、本実施形態における運動視差によって奥行き感を出した虚像Ｇの画像処理方法を説明するための説明図である。
図８に示すように、運転者３００の頭部がＤｄだけ移動した場合、運転者３００から近い距離Ｌａに位置する物体Ｏａの視認位置はＤａだけ移動し、運転者３００から遠い距離Ｌｂに位置する物体Ｏｂの視認位置はＤａよりも少ないＤｂだけ移動し、運転者３００から更に遠い距離Ｌｃに位置する物体Ｏｃの視認位置はＤｂよりも更に少ないＤｃだけ移動する。これらの物体Ｏａ，Ｏｂ，Ｏｃ間における視認位置の移動量Ｄａ，Ｄｂ，Ｄｃの違いにより、運転者３００は、物体Ｏａが距離Ｌａだけ離れた位置に存在し、物体Ｏｂが距離Ｌｂだけ離れた位置に存在し、物体Ｏｃが距離Ｌｃだけ離れた位置に存在することを知覚することができる。

本実施形態における虚像Ｇは、運転者３００から距離５ｍの位置に表示されるものであり、虚像Ｇ上におけるいずれの画像部分も、運転者３００から距離５ｍの位置に表示される。本実施形態では、上述した運動視差を用いることによって、虚像Ｇ上における複数の画像部分を互いに異なる距離に表示されているかのように、運転者３００へ知覚させるものである。

具体的には、画像制御装置２５０は、所定の時間間隔で、運転者カメラ１５０で撮像された撮像画像の輝度画像データに基づいて運転者３００の頭部位置を認識する。そして、画像制御装置２５０は、当該時間間隔の間に運転者３００の頭部が移動した運転者頭部移動量Ｄｄを算出する。このとき、距離５ｍに表示される虚像Ｇの視認位置は、Ｄａだけ移動することになる。

本実施形態では、下段表示領域Ｃに表示される画像部分は、表示エリア７００内の表示位置が固定されている。そのため、下段表示領域Ｃに表示される画像部分の視認位置は、虚像Ｇの移動量と同じ移動量Ｄａだけ移動する。よって、下段表示領域Ｃに表示される画像部分は、距離Ｌａ（５ｍ）に表示されているように運転者３００に知覚されることになる。

一方、画像制御装置２５０は、算出した運転者頭部移動量Ｄｄに応じて、虚像Ｇの表示エリア７００のうちの中段表示領域Ｂに表示される画像部分については、表示エリア７００内を運転者の頭部移動方向とは逆方向へＤａ−Ｄｂだけ移動させる。これにより、中段表示領域Ｂに表示される画像部分については、運転者３００から見た視認位置が移動量Ｄｂだけ移動するものになる。その結果、中段表示領域Ｂに表示される画像部分は、距離Ｌｂに表示されているように運転者３００に知覚されることになる。

同様に、画像制御装置２５０は、算出した運転者頭部移動量Ｄｄに応じて、虚像Ｇの表示エリア７００のうちの上段表示領域Ａに表示される画像部分については、表示エリア７００内を運転者の頭部移動方向とは逆方向へＤａ−Ｄｃだけ移動させる。これにより、上段表示領域Ａに表示される画像部分については、運転者３００から見た視認位置が移動量Ｄｃだけ移動するものになる。その結果、上段表示領域Ａに表示される画像部分は、距離Ｌｃに表示されているように運転者３００に知覚されることになる。

以上のようにして、運転者頭部移動量Ｄｄに応じて上段表示領域Ａ及び中段表示領域Ｂに表示される画像部分の視認位置の移動量Ｄｂ，Ｄｃを制御しながら虚像Ｇを投影することにより、運転者３００は、下段表示領域Ｃの画像部分（道路名表示画像７０１、制限速度表示画像７０２、追い越し禁止表示画像７０３等）よりも遠い位置に中段表示領域Ｂの画像部分（走行レーン指示画像７１１、車間距離提示画像７１２等）が表示され、中段表示領域Ｂの画像部分よりも更に遠い位置に上段表示領域Ａの画像部分（進路変更操作指示画像７２１，７２２，７２３等）が表示されているように知覚する。このように、同じ距離に表示される虚像Ｇ上の画像部分を、異なる距離に表示されているかのように運転者３００に知覚させることができるので、虚像Ｇの奥行き感を出すことができる。

特に、本実施形態では、中段表示領域Ｂの画像部分を上下方向へ複数区分し、運転者頭部移動量Ｄｄに応じて区分ごとに移動量を異ならせることにより、中段表示領域Ｂ内の上側に位置する画像部分ほど遠くに表示されるように知覚させている。これにより、中段表示領域Ｂに表示される車間距離提示画像７１２及び走行レーン指示画像７１１について、遠近法による表現だけでなく、運動視差も利用する結果、更に奥行き間を出すことができる。

図９は、直近の交差点で進路変更する状況の画像例を示す説明図である。
直近の交差点で進路変更する状況になったら、図１に示す画像例から、図９に示すような画像例に切り替わる。すなわち、中段表示領域Ｂに表示されていた走行レーン指示画像７１１に代えて、図１に示す画像例で上段表示領域Ａに表示されていた進路指定画像７２１と同様の進路指定画像７１７を、中段表示領域Ｂに表示させる。これは、直近よりも後の操作指示内容が、直近の操作指示内容になったためである。これにより、運転者３００は、次の交差点や分岐点で中段表示領域Ｂに表示された進路指定画像７２１の操作指示内容に従って操作すればよいことを認識することができる。

また、図９に示す画像例では、図１に示す画像例で上段表示領域Ａに表示されていた進路指定画像７２１の位置に、中段表示領域Ｂに表示される進路指定画像７１７に運転者３００の視線を誘導するための下向きマーク画像７２５を表示させる。これにより、運転者３００に、中段表示領域Ｂに表示される進路指定画像７１７を認識させやすくなる。

次に、先行車両３５０との車間距離を認知させる車間距離提示画像７１２の表示制御について説明する。
本実施形態においては、前記物体認識装置１００や前記センサ装置５００によって先行車両３５０との車間距離を認識する。そして、画像制御装置２５０は、その認識結果データ（前方間隔情報）を受け取り、この認識結果データに基づいて中段表示領域Ｂに表示される車間距離提示画像７１２の輝度、色彩、画像形状等を変更する画像表示制御を実行する。本実施形態では、車間距離提示画像７１２の変化によって、これを視認する運転者３００に対し、先行車両３５０との車間距離がどの程度狭まっているのかを知らせる。

〔画像例１〕
図１０（ａ）〜（ｅ）は、先行車両３５０との車間距離に応じて車間距離提示画像７１２が変化する画像例（以下、本画像例を「画像例１」という。）を示す説明図である。
なお、本画像例１では、車両ナビゲーション装置４００に目的地を設定しておらず、ルートナビゲーション情報に係る操作指示画像が表示されていないが、ルートナビゲーション情報に係る操作指示画像を表示する場合でも、同様である。

本画像例１において、先行車両３５０が認識されない場合、画像制御装置２５０は、図１０（ａ）に示すように、中段表示領域Ｂ内に、上側に向かうほど長さが短くかつ輝度が低くなる５本の横線からなる全体的に低輝度の車間距離提示画像７１２を表示させる。このとき、上段表示領域Ａ内には何も表示されない。

また、先行車両３５０が認識され、その先行車両３５０との車間距離が所定の安全距離範囲を超えるほど空いている場合には、画像制御装置２５０は、図１０（ｂ）に示すように、中段表示領域Ｂ内に表示されている車間距離提示画像７１２の輝度を高める表示制御を実施する。更に、本画像例１では、車間距離提示画像７１２の一番下の横線画像に代えて、線の太さを太くし、かつ、その両端を下方外側に向けて延伸させた自車両バンパー画像７１２ａに形状変更させる表示制御を実施する。この自車両バンパー画像は、自車両３０１のフロントバンパーを運転者３００に想起させるものである。また、本画像例１では、更に、上段表示領域Ａ内に、車両背面を模した低輝度の先行車両画像７２４を表示させる。

また、先行車両３５０が認識され、その先行車両３５０との車間距離が所定の安全距離範囲内である場合、画像制御装置２５０は、図１０（ｃ）に示すように、中段表示領域Ｂ内に表示されている車間距離提示画像７１２の輝度と、上段表示領域Ａ内に表示されている先行車両画像７２４の輝度とを、図１０（ｂ）の場合よりも高める表示制御を実施する。更に、本画像例１では、下から２番目の横線画像を自車両バンパー画像７１２ａに変更する表示制御も実施する。これにより、図１０（ｂ）の場合よりも、自車両バンパー画像７１２ａが先行車両画像７２４に近づいた表現となり、運転者３００に対し、自車両３０１が図１０（ｂ）の場合よりも先行車両３５０に近づいたことを認識させることができる。

また、先行車両３５０が認識され、その先行車両３５０との車間距離が所定の安全距離範囲よりも近づいたが、所定の要ブレーキ距離よりは遠い場合、画像制御装置２５０は、図１０（ｄ）に示すように、中段表示領域Ｂ内に表示されている車間距離提示画像７１２の輝度と上段表示領域Ａ内に表示されている先行車両画像７２４の輝度とを、図１０（ｃ）の画像例よりも高める表示制御を実施する。更に、本画像例１では、下から３番目の横線画像を自車両バンパー画像７１２ａに変更する表示制御も実施する。これにより、図１０（ｃ）の場合よりも、自車両バンパー画像７１２ａが先行車両画像７２４に更に近づいた表現となり、運転者３００に対し、自車両３０１が図１０（ｃ）の場合よりも先行車両３５０に更に近づいたことを認識させることができる。

また、先行車両３５０が認識され、その先行車両３５０との車間距離が所定の要ブレーキ距離範囲内まで狭まった場合、画像制御装置２５０は、図１０（ｅ）に示すように、中段表示領域Ｂ内に表示されている車間距離提示画像７１２を、赤色の略台形状中に「ブレーキ！」の文字画像を描いたブレーキ警告画像７１４に変更する表示制御を実施する。このとき、上段表示領域Ａ内に表示されている先行車両画像７２４の輝度を落としたり、画像塗りつぶしを止めたりして、先行車両画像７２４の視認性を低下させることにより、ブレーキ警告画像７１４がより目立つようにするのが好ましい。なお、ブレーキ警告画像が目立つように、上段表示領域Ａ内の先行車両画像７２４を非表示にしてもよい。このとき、レーザー走査方式であれば、非画像部分の光を完全に遮断することができるので、よりブレーキ警告画像を目立たせることができ、警告効果を高めることができる。

なお、上述した所定の安全距離や所定の要ブレーキ距離は、予め決められた固定距離であってもよいが、自車両３０１の車速等に応じて変動する距離であってもよい。

〔画像例２〕
先行車両３５０との車間距離が狭くなったことを運転者３００に気付かせる表現方法としては、上述した画像例１に限らず、例えば、図１１（ａ）及び（ｂ）に示すような画像例（以下、本画像例を「画像例２」という。）が挙げられる。

本画像例２も、図１０（ａ）〜（ｅ）に示した画像例１と同様に、先行車両３５０との車間距離に応じて車間距離提示画像が変化する画像例である。詳しくは、本画像例２の車間距離提示画像７１５は、上述した画像例１における車間距離提示画像７１２の５本の横線に代えて、消失点に向かうように透視図法により作図された台形画像を上下方向に４つに区分したものを用いている。そして、上述した画像例１では、先行車両３５０との距離が狭まるにつれて自車両バンパー画像７１２ａが先行車両画像７２４へ近づくように上方へ移動するのと同様、本画像例２では、先行車両３５０との距離が狭まるにつれて高輝度な台形区分７１５ａが先行車両画像７２４へ近づくように上方へ移動する。なお、図１１（ａ）の画像は、図１０（ｄ）に示す画像に対応しており、先行車両３５０が認識され、その先行車両３５０との車間距離が所定の安全距離範囲よりも近づいたが、所定の要ブレーキ距離よりは遠い場合の例である。

ここで、本画像例２では、車両ナビゲーション装置４００に目的地が設定され、ルートナビゲーション情報に係る操作指示画像が表示される。そのため、先行車両３５０が認識されない状況においては、図１に示した例のように、上段表示領域Ａの左右方向中央付近（消失点の近く）に進路指定画像７２１が表示され、その両側に残り距離画像７２２と交差点等名称画像７２３とがそれぞれ表示される。

このような状況から、先行車両３５０が認識され、上段表示領域Ａ内に先行車両画像７２４を表示させる場合、上段表示領域Ａから進路変更操作指示画像７２１，７２２，７２３をすべて非表示にすることも考えられる。しかしながら、この場合、進路変更操作指示画像７２１，７２２，７２３による操作指示内容（操作順序が後の操作指示内容）が運転者３００へ提供されなくなり、運転者３００に不安を与えるおそれがある。

一方、上段表示領域Ａ内に表示されていた進路変更操作指示画像７２１，７２２，７２３を、上段表示領域Ａとは異なる表示領域へ移動させて表示を継続する場合、運転者は、移動後の進路変更操作指示画像７２１，７２２，７２３を探すのに時間を要するなど、進路変更操作指示画像７２１，７２２，７２３による操作指示内容を運転者３００へ的確に提供できないおそれがある。

本画像例２によれば、進路変更操作指示画像７２１，７２２，７２３が表示されている上段表示領域Ａ内に先行車両画像７２４を表示させる場合でも、進路変更操作指示画像７２１，７２２，７２３を上段表示領域Ａ内に表示させ続ける。よって、上段表示領域Ａ内に先行車両画像７２４を表示させる場合でも、進路変更操作指示画像７２１，７２２，７２３による操作指示内容を運転者３００へ的確に提供することができる。

なお、進路変更操作指示画像７２１，７２２，７２３が表示されている上段表示領域Ａ内に先行車両画像７２４を表示させる場合、進路変更操作指示画像７２１，７２２，７２３のすべてを上段表示領域Ａ内に継続表示させる必要はなく、例えば、交差点等名称画像７２３だけは非表示にするなどしてもよい。

また、本画像例２では、先行車両３５０との車間距離が所定の要ブレーキ距離範囲内まで近づいた場合、画像制御装置２５０は、図１１（ｂ）に示すように、上段表示領域Ａと中段表示領域Ｂとをまたがったブレーキ警告画像７１６を表示させる。このブレーキ警告画像７１６は、上段表示領域Ａ内に表示される先行車両画像７２４を拡大した赤色の画像と本画像例２の車間距離提示画像７１５の全台形区分を赤色で表示した画像とを組み合わせたものである。しかも、本画像例２では、ブレーキ警告画像７１６をより目立たせるため、進路変更操作指示画像７２１，７２２，７２３のすべてを非表示にしている。

〔画像例３〕
また、自車両３０１が走行している道路の交通の禁止、制限、指定に関する情報のうち、特に運転者３００に提供することが好まれる情報を、警告画像として、中段表示領域Ｂに表示するようにしてもよい。例えば、図１２に示す画像例（以下、本画像例を「画像例３」という。）のように、自車両３０１が走行している道路が通学路である場合に、その旨を示す通学路警告画像７１８を中段表示領域Ｂに表示させる。具体的には、画像制御装置２５０は、車両ナビゲーション装置４００から出力される各種情報等から、自車両３０１が走行している道路の固有情報を取得し、取得した道路固有情報が中段表示領域Ｂに表示させる対象情報である場合には、その道路固有情報に対応する警告画像を中段表示領域Ｂに表示させる表示制御を行う。

中段表示領域Ｂは、上述したように、複数の操作指示内容のうち先に操作すべき操作指示内容を示す操作指示画像が表示される領域である。そのため、本画像例３のように、この中段表示領域Ｂに警告画像を表示させることで、運転者は、自車両３０１が現在走行している道路が当該警告画像による交通の禁止、制限、指定がなされていることを直感的に認識することができる。

〔画像例４〕
また、自車両３０１の進行方向における横断歩道を渡ろうとしている人間を検出した場合、その警告画像を中段表示領域Ｂに表示するようにしてもよい。人間は車両にとって最も注意すべき対象の一つであり、直近対応すべき存在だからである。例えば、図１３に示す画像例（以下、本画像例を「画像例４」という。）のように、人型警告画像７１９を中段表示領域Ｂに表示させる。具体的には、画像制御装置２５０は、前記物体認識装置１００や前記センサ装置５００によって自車両前方の人間を認識する。そして、画像制御装置２５０は、その認識結果データを受け取り、この認識結果データに基づいて中段表示領域Ｂに人型警告画像７１９を表示させる表示制御を行う。なお、本画像例４では、上述した画像例３における通学路警告画像７１８も併せて表示されている例となっている。なお、車両以外、例えば船舶に本実施形態の情報提供装置が搭載される場合、人間に代えて自船舶の周辺の他船舶等の表示を行い得る。

以上に説明したものは一例であり、次の態様毎に特有の効果を奏する。
（態様Ａ）
自車両３０１等の移動体の運転者３００への操作指示内容を示す操作指示画像を、フロントガラス３０２等の光透過部材を介して運転者が視認する移動体進行方向前方の所定の表示エリア７００内に表示させるように、該光透過部材へ画像光を投射するＨＵＤ本体２３０等の画像光投射手段を備えた自動車用ＨＵＤ装置２００等の情報提供装置であって、それぞれ異なる操作指示内容を示す走行レーン指示画像７１１と進路変更操作指示画像７２１，７２２，７２３等の複数の操作指示画像を、運転者に操作させる操作順序が後になる操作指示内容を示すものほど、前記所定の表示エリア７００内の上側に表示されるように、前記画像光投射手段を制御する画像制御装置２５０等の表示制御手段を有することを特徴とする。
運転者は、通常、進行する移動体前方に位置する物体は時間の経過により現在位置に向かって近づいてくるという距離の観念と、未来の出来事は時間の経過により現在時刻に向かって近づいてくるという時間の観念とを併せ持っている。そして、進行する移動体の前方に存在する物体は、移動体までの距離が近いほど移動体の位置に到達するまでの時間が早く、移動体までの距離が遠いほど移動体の位置に到達までの時間が遅い。そのため、進行する移動体から遠い位置の物体は遠い未来の出来事との間で認知の親和性が高く、進行する移動体に近い位置の物体はより近い未来の出来事との間で認知の親和性が高い。本態様によれば、この親和性を考慮して、運転者に操作させる操作順序が後になる操作指示内容を示す操作指示画像ほど前記所定の表示エリア内の上側に表示させることから、これらの操作指示画像が示す複数の操作指示内容の操作順序を運転者に直感的に認知させ、その操作順序を運転者が迷ってしまうような事態を回避しやすい。

（態様Ｂ）
前記態様Ａにおいて、前記画像光投射手段は、前記所定の表示エリアが、前記光透過部材を介して運転者が視認する移動体進行方向前方の風景の下部に位置するように、該光透過部材へ画像光を投射することを特徴とする。
光透過部材を介して移動体進行方向の前方風景を視認する運転者３００は、通常、その前方風景の鉛直方向中央近辺を注視点として注視しながら運転を行うことが多い。本態様では、複数の操作指示画像が表示される所定の表示エリア７００が当該前方風景の下部に位置しているので、運転者の注視点よりも鉛直方向下側に複数の操作指示画像が表示されることになる。この位置に表示される複数の操作指示画像が重なる風景部分は、移動体から遠い地点の物体ほど鉛直方向上側で視認され、移動体に近い地点の物体ほど鉛直方向下側で視認される。そのため、当該風景部分中の物体が視認される位置は、移動体の進行により移動体へ近づくにつれて徐々に下側へ変位する。
このような風景部分に複数の操作指示画像を重ねて表示させる場合、本態様のように、運転者に操作させる操作順序が後になる操作指示内容を示す操作指示画像ほど前記所定の表示エリア内の上側に表示させることが、操作順序に関する運転者の迷いを最小限に抑えることができる。これは、上述した認知の親和性を考慮し、進行する移動体から遠い物体が視認される位置に重なるように遠い未来の操作指示内容（操作順序が後になる操作指示内容）を示す操作指示画像を表示させ、進行する移動体に近い物体が視認される位置に重なるように近い未来の操作指示内容（操作順序が先になる操作指示内容）を示す操作指示画像を表示させることができるからである。このように表示させれば、これらの操作指示画像が示す複数の操作指示内容の操作順序を運転者に直感的に認知させることができる。逆に、所定の表示エリア７００が当該前方風景の下部に位置している場合に、例えば、複数の操作指示画像の表示位置を前述の位置とは逆位置にしたり、複数の操作指示画像の表示位置を横並びにしたりすると、運転者は、上述した観念が邪魔して、操作順序を直感的に認知することが困難となる。

（態様Ｃ）
前記態様Ａ又はＢにおいて、前記表示制御手段は、前記画像光投射手段を制御して、立体視を用いて表現された立体視画像で前記複数の操作指示画像を前記所定の表示エリア内に表示させることを特徴とする。
これによれば、複数の操作指示画像を運転者からの距離が同じ地点に表示させる場合でも、当該複数の操作指示画像が異なる距離の地点に表示されているように、運転者に知覚させることができる。よって、これらの操作指示画像が示す複数の操作指示内容の操作順序を、更に、運転者に直感的に認知させることができる。

（態様Ｄ）
前記態様Ｃにおいて、前記立体視画像は、遠近法により表現される遠近法画像を含むことを特徴とする。
これによれば、簡易な方法で、複数の操作指示画像が異なる距離の地点に表示されているように、運転者に知覚させることができる。なお、ここでいう遠近法には、例えば、遠くに向かうものが消失点に向かって見えることを利用した線遠近法や、大気中では遠くのものはぼやけて見えることを利用した空気遠近法などがある。

（態様Ｅ）
前記態様Ｄにおいて、前記遠近法画像は、運転者３００の注視点近傍に消失点を定めて透視図法により作図された画像であることを特徴とする。
これによれば、簡易な方法で、複数の操作指示画像が異なる距離の地点に表示されているように、運転者に知覚させることができる。

（態様Ｆ）
前記態様Ｃ〜Ｅのいずれかの態様において、前記立体視画像は、運動視差により表現される運動視差画像を含むことを特徴とする。
これによれば、複数の操作指示画像が異なる距離の地点に表示されているように、運転者に知覚させやすくできる。

（態様Ｇ）
前記態様Ａ〜Ｆのいずれかの態様において、前記画像光投射手段は、投射する画像光によって前記操作指示画像を虚像Ｇとして前記所定の表示エリア７００内に表示させるものであり、運転者３００から前記虚像Ｇまでの距離が５ｍ以上であることを特徴とする。
上述したように、運転者は遠方に焦点を合わせている運転することが多い。運転者から虚像Ｇまでの距離が５ｍ以上であれば、従来の一般的な距離である２ｍの場合よりも、眼球の水晶体を動かす量が減る。その結果、虚像Ｇへの焦点調整時間を短縮して虚像Ｇによる操作指示画像の操作指示内容を早期に認識できるようになり、また運転者の眼球の疲労を軽減することができる。更には、その操作指示画像に運転者が気付きやすくなることから、操作指示画像の操作指示内容を運転者へ適切に提供することが容易になる。

（態様Ｈ）
前記態様Ａ〜Ｇのいずれかの態様において、前記画像光投射手段は、前記操作指示画像の画像情報に応じた画像光を照射する光源ユニット２２０等の光照射手段から照射した画像光を光走査装置２０８等の光走査手段により二次元走査して前記光透過部材へ投射することにより、前記所定の表示エリア７００内に前記操作指示画像を表示させるものであることを特徴とする。
上述したように、液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）などを利用した方式よりも、大きな虚像Ｇを高い輝度で表示させるのが容易である。また、本態様によれば、虚像Ｇの非画像部分については、光照射手段から画像光照射させないことにより、当該非画像部分の光を完全に無くすことが可能である。よって、当該非画像部分を通じた移動体前方風景の視認性が光照射手段から照射される光によって低下する事態を回避でき、前方風景の視認性が高い。

（態様Ｉ）
前記態様Ａ〜Ｈのいずれかの態様において、前記複数の操作指示画像は、前記移動体の移動ルート上の異なる地点（直近の交差点と、次に直進方向から進路変更すべき交差点や分岐点など）で運転者が操作すべき操作内容を指示する操作指示内容を示すものであることを特徴とする。
これによれば、ルートナビゲーション情報による操作順序の異なる複数の操作指示内容について、その操作順序を運転者が迷ってしまうような事態を回避できる。

（態様Ｊ）
移動体の運転者への操作指示内容を示す操作指示画像を、光透過部材を介して運転者が視認する移動体進行方向前方の風景の下部に位置する所定の表示エリア内に表示させ、かつ、該表示エリア内における非画像部分を通じて運転者が該風景を視認可能なように、該光透過部材へ画像光を投射することにより、前記操作指示内容の情報を運転者へ提供する情報提供方法であって、それぞれ異なる操作指示内容を示す複数の操作指示画像を、運転者に操作させる操作順序が後になる操作指示内容を示すものほど、前記所定の表示エリア内の上側に表示させることを特徴とする。
これによれば、上述した認知の親和性を考慮して、運転者に操作させる操作順序が後になる操作指示内容を示す操作指示画像ほど前記所定の表示エリア内の上側に表示させることから、これらの操作指示画像が示す複数の操作指示内容の操作順序を運転者に直感的に認知させ、その操作順序を運転者が迷ってしまうような事態を回避しやすい。

（態様Ｋ）
移動体の運転者への操作指示内容を示す操作指示画像を、光透過部材を介して運転者が視認する移動体進行方向前方の風景の下部に位置する所定の表示エリア内に表示させ、かつ、該表示エリア内における非画像部分を通じて運転者が該風景を視認可能なように、該光透過部材へ画像光を投射する画像光投射手段を備えた情報提供装置のコンピュータを機能させるための情報提供用制御プログラムであって、それぞれ異なる操作指示内容を示す複数の操作指示画像を、運転者に操作させる操作順序が後になる操作指示内容を示すものほど、前記所定の表示エリア内の上側に表示されるように、前記画像光投射手段を制御する表示制御手段として、前記コンピュータを機能させることを特徴とする。
これによれば、上述した認知の親和性を考慮して、運転者に操作させる操作順序が後になる操作指示内容を示す操作指示画像ほど前記所定の表示エリア内の上側に表示させることから、これらの操作指示画像が示す複数の操作指示内容の操作順序を運転者に直感的に認知させ、その操作順序を運転者が迷ってしまうような事態を回避しやすい。

なお、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。

１００ 物体認識装置
１１０ ステレオカメラ部
１２０ 情報処理部
１５０ 運転者カメラ
２００ 自動車用ＨＵＤ装置
２０１Ｒ，２０１Ｇ，２０１Ｂ レーザー光源
２０７ 光量調整部
２０８ 光走査装置
２０９ 自由曲面ミラー
２１０ マイクロレンズアレイ
２１１ 投射ミラー
２２０ 光源ユニット
２３０ ＨＵＤ本体
２５０ 画像制御装置
３００ 運転者
３０１ 自車両
３０２ フロントガラス
３５０ 先行車両
４００ 車両ナビゲーション装置
５００ センサ装置
７００ 表示エリア
７０１ 道路名表示画像
７０２ 制限速度表示画像
７０３ 追い越し禁止表示画像
７０４ 車速表示画像
７１１ 走行レーン指示画像
７１２，７１５ 車間距離提示画像
７１２ａ 自車両バンパー画像
７１４，７１６ ブレーキ警告画像
７１８ 通学路警告画像
７１９ 人型警告画像
７１７，７２１ 進路指定画像
７２２ 残り距離画像
７２３ 交差点等名称画像
７２４ 先行車両画像
７２５ 下向きマーク画像
Ａ 上段表示領域
Ｂ 中段表示領域
Ｃ 下段表示領域
Ｇ 虚像

特開２０１０−９６８７４号公報

本発明は、制御装置、画像表示方法及びプログラムに関するものである。

従来、運転者を乗せて移動する車両、船舶、航空機、産業用ロボットなどの移動体の運転者に対して情報を提供するための画像を表示するヘッドアップディスプレイ（ＨＵＤ）装置等を利用したものが知られている。

上述した課題を解決するために、本発明は、目視可能な光透過部材を介して、情報を表示する表示手段により、当該情報を表示させる制御手段を備えた制御装置であって、前記制御手段は、移動速度情報を表示させ、前記制御手段は、前記移動速度情報よりも上側に、受動情報を表示させ、前記受動情報のうち、順序が後になる情報ほど、上側に表示させるものである。

本発明によれば、表示手段によって表示される情報が示す内容を運転者が迷ってしまうような事態を回避しやすいという優れた効果が奏される。

Claims (11)

1. 移動体の運転者への操作指示内容を示す操作指示画像を、光透過部材を介して運転者が視認する移動体進行方向前方の所定の表示エリア内に表示させるように、該光透過部材へ画像光を投射する画像光投射手段を備えた情報提供装置であって、
   それぞれ異なる操作指示内容を示す複数の操作指示画像を、運転者に操作させる操作順序が後になる操作指示内容を示すものほど、前記所定の表示エリア内の上側に表示されるように、前記画像光投射手段を制御する表示制御手段を有することを特徴とする情報提供装置。
2. 請求項１に記載の情報提供装置において、
   前記画像光投射手段は、前記所定の表示エリアが、前記光透過部材を介して運転者が視認する移動体進行方向前方の風景の下部に位置するように、該光透過部材へ画像光を投射することを特徴とする情報提供装置。
3. 請求項１又は２に記載の情報提供装置において、
   前記表示制御手段は、前記画像光投射手段を制御して、立体視を用いて表現された立体視画像で前記複数の操作指示画像を前記所定の表示エリア内に表示させることを特徴とする情報提供装置。
4. 請求項３に記載の情報提供装置において、
   前記立体視画像は、遠近法により表現される遠近法画像を含むことを特徴とする情報提供装置。
5. 請求項４に記載の情報提供装置において、
   前記遠近法画像は、運転者の注視点近傍に消失点を定めて透視図法により作図された画像であることを特徴とする情報提供装置。
6. 請求項３乃至５のいずれか１項に記載の情報提供装置において、
   前記立体視画像は、運動視差により表現される運動視差画像を含むことを特徴とする情報提供装置。
7. 請求項１乃至６のいずれか１項に記載の情報提供装置において、
   前記画像光投射手段は、投射する画像光によって前記操作指示画像を虚像として前記所定の表示エリア内に表示させるものであり、
   運転者から前記虚像までの距離が５ｍ以上であることを特徴とする情報提供装置。
8. 請求項１乃至７のいずれか１項に記載の情報提供装置において、
   前記画像光投射手段は、前記操作指示画像の画像情報に応じた画像光を照射する光照射手段から照射した画像光を光走査手段により二次元走査して前記光透過部材へ投射することにより、前記所定の表示エリア内に前記操作指示画像を表示させるものであることを特徴とする情報提供装置。
9. 請求項１乃至８のいずれか１項に記載の情報提供装置において、
   前記複数の操作指示画像は、前記移動体の移動ルート上の異なる地点で運転者が操作すべき操作内容を指示する操作指示内容を示すものであることを特徴とする情報提供装置。
10. 移動体の運転者への操作指示内容を示す操作指示画像を、光透過部材を介して運転者が視認する移動体進行方向前方の所定の表示エリア内に表示させるように、該光透過部材へ画像光を投射することにより、前記操作指示内容の情報を運転者へ提供する情報提供方法であって、
    それぞれ異なる操作指示内容を示す複数の操作指示画像を、運転者に操作させる操作順序が後になる操作指示内容を示すものほど、前記所定の表示エリア内の上側に表示させることを特徴とする情報提供方法。
11. 移動体の運転者への操作指示内容を示す操作指示画像を、光透過部材を介して運転者が視認する移動体進行方向前方の所定の表示エリア内に表示させるように、該光透過部材へ画像光を投射する画像光投射手段を備えた情報提供装置のコンピュータを機能させるための情報提供用制御プログラムであって、
    それぞれ異なる操作指示内容を示す複数の操作指示画像を、運転者に操作させる操作順序が後になる操作指示内容を示すものほど、前記所定の表示エリア内の上側に表示されるように、前記画像光投射手段を制御する表示制御手段として、前記コンピュータを機能させることを特徴とする情報提供用制御プログラム。

Images