JP2016210212A - 情報提供装置、情報提供方法及び情報提供用制御プログラム - Google Patents

Abstract

【課題】視点位置検知手段の検知結果に異常が発生しても、運転者提供情報画像の視認性の確保や運転者に与え得る無用なストレスの低減などを実現する。
【解決手段】移動体３０１の運転者に提供する運転者提供情報画像を表示する画像表示手段２３０を備えた情報提供装置２００であって、前記運転者の視点位置を検知する視点位置検知手段５００と、前記視点位置検知手段の検知結果に応じて前記運転者提供情報画像の表示位置を変化させることにより、該運転者提供情報画像についての運動視差による運転者の知覚距離を変化させる表示制御を行う表示制御手段２５０とを有し、前記表示制御手段は、前記視点位置検知手段の検知結果が所定の異常条件を満たすとき、前記表示制御に代えて所定の異常対応処理を実行する。
【選択図】図９

Description

本発明は、情報提供装置、情報提供方法及び情報提供用制御プログラムに関するものである。

この種の情報提供装置としては、運転者を乗せて移動する車両、船舶、航空機、産業用ロボットなどの移動体の運転者に対して情報を提供するための画像を表示する画像表示手段を利用したものが知られている。

特許文献１には、フロントガラス等（光透過部材）に画像光を投射し、フロントガラスを介して車両（移動体）の運転者が視認する前方風景に重ねて画像を表示させるヘッドアップディスプレイ（ＨＵＤ）装置が開示されている。このＨＵＤ装置は、進行方向を示す矢印、速度、注意や警告などを示す表示オブジェクトを虚像として前方風景に重ねて表示する。このＨＵＤ装置は、運転者を撮像して運転者の片目の位置を検出する位置検出部（視点位置検知手段）を備えており、その検出結果に応じて各表示オブジェクトの虚像内における位置をそれぞれ変動させる処理を行う。この処理では、運転者が頭部を動かして視点位置（片目の位置）が移動したときに各表示オブジェクトの虚像内における移動量を異ならせることで、運動視差により、各表示オブジェクトの奥行き方向の表示位置（主観的奥行き位置）が異なるように運転者に知覚させる。

ところが、このような情報提供装置において、視点位置検知手段の故障、撮像環境等に起因した視点位置検知手段の誤検知などの様々な原因によって、視点位置検知手段の検知結果に異常が発生する場合がある。このように視点位置検知手段の検知結果に異常が発生すると、例えば画像の表示位置が異常に変化するなどして、画像の視認性が低下するだけでなく、運転者に対して無用なストレスを与えるおそれがある。

上述した課題を解決するために、本発明は、移動体の運転者に提供する運転者提供情報を示す運転者提供情報画像を表示する画像表示手段を備えた情報提供装置であって、前記運転者の視点位置を検知する視点位置検知手段と、前記視点位置検知手段の検知結果に応じて前記運転者提供情報画像の表示位置を変化させることにより、該運転者提供情報画像についての運動視差による運転者の知覚距離を変化させる表示制御を行う表示制御手段とを有し、前記表示制御手段は、前記視点位置検知手段の検知結果が所定の異常条件を満たすとき、前記表示制御に代えて所定の異常対応処理を実行することを特徴とする。

本発明によれば、視点位置検知手段の検知結果に異常が発生しても、運転者提供情報画像の視認性の確保や運転者に与え得る無用なストレスの低減などを実現可能となるという優れた効果が奏される。

実施形態において、フロントガラス越しに運転者から見る自車両の前方風景に重ねて表示エリアに表示される虚像の一例を示す説明図である。 実施形態における自動車用ＨＵＤ装置を搭載した自動車の構成を模式的に表した模式図である。 同自動車用ＨＵＤ装置の内部構成を模式的に表した模式図である。 同自動車用ＨＵＤ装置における制御系のハードウェアブロック図である。 実施形態における運転者情報提供システムの概略構成を示すブロック図である。 同運転者情報提供システムにおける物体認識装置のハードウェア構成を示す説明図である。 同自動車用ＨＵＤ装置における画像制御装置の主要なハードウェアを示すハードウェアブロック図である。 実施形態における運動視差によって奥行き感を出した虚像の画像処理方法を説明するための説明図である。 異常対応処理例１における処理の流れを示すフローチャートである。 異常対応処理例２における処理の流れを示すフローチャートである。 異常対応処理例３における処理の流れを示すフローチャートである。

以下、本発明を、情報提供装置としての自動車用ヘッドアップディスプレイ（ＨＵＤ）装置を含んだ運転者情報提供システムに適用した一実施形態について説明する。
図１は、フロントガラス３０２越しに運転者３００から見る自車両３０１の前方風景に重ねて表示エリア７００に表示される虚像Ｇの一例を示す説明図である。
図２は、本実施形態における自動車用ＨＵＤ装置を搭載した自動車の構成を模式的に表した模式図である。
図３は、本実施形態における自動車用ＨＵＤ装置の内部構成を模式的に表した模式図である。

本実施形態における自動車用ＨＵＤ装置２００は、例えば、移動体としての走行体である自車両３０１のダッシュボード内に設置される。ダッシュボード内の自動車用ＨＵＤ装置２００から発せられる画像光である投射光Ｌが光透過部材としてのフロントガラス３０２で反射され、運転者３００に向かう。これにより、運転者３００は、後述するナビゲーション画像等のＨＵＤ表示画像を虚像Ｇとして視認することができる。なお、フロントガラス３０２の内壁面に光透過部材としてのコンバイナを設置し、コンバイナによって反射する投射光Ｌによって運転者に虚像を視認させるように構成してもよい。

本実施形態においては、運転者３００から虚像Ｇまでの距離が５ｍ以上となるように、自動車用ＨＵＤ装置２００の光学系等が構成されている。従来の一般的な自動車用ＨＵＤ装置は、運転者３００から虚像Ｇまでの距離が２ｍ程度であった。運転者３００は、通常、車両前方の無限遠点を注視しているか、数十ｍ先の先行車を注視している。このような遠方に焦点を合わせている運転者３００が２ｍ先の虚像Ｇを視認しようとする場合、焦点距離が大きく異なるので、眼球の水晶体を大きく動かす必要がある。そのため、虚像Ｇに焦点を合わせるまでの焦点調整時間が長くなり、虚像Ｇの内容を認識するまでに時間がかかるうえ、運転者３００の眼球が疲労しやすいという不具合が生じる。また、虚像Ｇの内容に運転者が気付きにくく、虚像Ｇによって情報を運転者へ適切に提供することが困難である。

本実施形態のように虚像Ｇまでの距離が５ｍ以上であれば、従来よりも、眼球の水晶体を動かす量が減り、虚像Ｇへの焦点調整時間を短縮して虚像Ｇの内容を早期に認識できるようになり、また運転者３００の眼球の疲労を軽減することができる。更には、虚像Ｇの内容に運転者が気付きやすくなり、虚像Ｇによって情報を運転者へ適切に提供することが容易になる。

更に、虚像Ｇまでの距離が２ｍ程度である場合、このように近い距離の虚像Ｇに眼球の焦点を合わせようとすると、通常は眼球の輻輳運動が必要になる。輻輳運動は、視認対象までの距離感や奥行き感に大きな影響を与える要因である。本実施形態では、後述するように、虚像Ｇとして表示される画像の知覚距離を運動視差により知覚させる表示制御を実施する。この場合、虚像Ｇに焦点を合わせるために眼球が輻輳運動してしまうと、運動視差による距離感（知覚距離の変化）や奥行き感（知覚距離の違い）を知覚させる効果が薄まってしまい、画像の知覚距離の違いや変化を利用した後述する運転者の情報認知効果を減退させてしまう。

虚像Ｇまでの距離が５ｍ以上であれば、眼球をほとんど輻輳運動させることなく虚像Ｇに焦点を合わせることができる。したがって、運動視差を利用して距離感（知覚距離の変化）や奥行き感（知覚距離の違い）を知覚させる効果が眼球の輻輳運動によって薄まってしまうことが抑制される。よって、画像の距離感や奥行き感を利用した運転者の情報知覚効果を有効に発揮させることができる。

自動車用ＨＵＤ装置２００は、ＨＵＤ本体２３０内に、赤色、緑色、青色のレーザー光源２０１Ｒ，２０１Ｇ，２０１Ｂと、各レーザー光源に対して設けられるコリメータレンズ２０２，２０３，２０４と、２つのダイクロイックミラー２０５，２０６と、光量調整部２０７と、光走査手段としての光走査装置２０８と、自由曲面ミラー２０９と、光発散部材としてのマイクロレンズアレイ２１０と、光反射部材としての投射ミラー２１１とから構成されている。本実施形態における光源ユニット２２０は、レーザー光源２０１Ｒ，２０１Ｇ，２０１Ｂ、コリメータレンズ２０２，２０３，２０４、ダイクロイックミラー２０５，２０６が、光学ハウジングによってユニット化されている。

レーザー光源２０１Ｒ，２０１Ｇ，２０１ＢとしてはＬＤ（半導体レーザ素子）を利用することができる。赤色レーザー光源２０１Ｒから射出される光束の波長は例えば６４０ｎｍであり、緑色レーザー光源２０１Ｇから射出される光束の波長は例えば５３０ｎｍであり、青色レーザー光源２０１Ｂから射出される光束の波長は例えば４４５ｎｍである。

本実施形態の自動車用ＨＵＤ装置２００は、マイクロレンズアレイ２１０上に結像される中間像を自車両３０１のフロントガラス３０２に投射することで、その中間像の拡大画像を運転者３００に虚像Ｇとして視認させる。レーザー光源２０１Ｒ，２０１Ｇ，２０１Ｂから発せられる各色レーザー光は、それぞれ、コリメータレンズ２０２，２０３，２０４で略平行光とされ、２つのダイクロイックミラー２０５，２０６により合成される。合成されたレーザー光は、光量調整部２０７で光量が調整された後、光走査装置２０８のミラーによって二次元走査される。光走査装置２０８で二次元走査された走査光Ｌ’は、自由曲面ミラー２０９で反射されて歪みを補正された後、マイクロレンズアレイ２１０に集光され、中間像を描画する。

なお、本実施形態では、中間像の画素（中間像の一点）ごとの光束を個別に発散させて出射する光発散部材として、マイクロレンズアレイ２１０を用いているが、他の光発散部材を用いてもよい。また、中間像Ｇ’の形成方法としては、液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）を利用した方式でもよい。

ただし、大きな虚像Ｇを高い輝度で表示させるには、本実施形態のようにレーザー走査方式が好ましい。
また、液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）などを利用した方式では、虚像Ｇが表示される表示領域内の非画像部分にも僅かながら光が照射され、これを完全に遮断することが難しい。そのため、当該非画像部分を通じた自車両３０１の前方風景の視認性が悪いというデメリットがある。これに対し、本実施形態のようにレーザー走査方式によれば、虚像Ｇの表示領域内の非画像部分については、レーザー光源２０１Ｒ，２０１Ｇ，２０１Ｂを消灯させることにより当該非画像部分に光が照射されるのを完全に遮断することができる。よって、当該非画像部分を通じた自車両３０１の前方風景の視認性が自動車用ＨＵＤ装置２００から照射される光によって低下する事態を回避でき、前方風景の視認性が高いというメリットがある。

更に、運転者に警告等を行うための警告画像の輝度を段階的に高めることで警告の度合いを強めるような場合、表示エリア７００内に表示されている各種画像のうちの警告画像の輝度だけを段階的に高めるという表示制御が必要になる。このように表示エリア７００内の一部画像について部分的に輝度を高めるような表示制御を行う場合も、レーザー走査方式が好適である。液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）などを利用した方式では、表示エリア７００内に表示されている警告画像以外の画像についても輝度が高まってしまい、警告画像とそれ以外の画像との間の輝度差を広げることができず、警告画像の輝度を段階的に高めることで警告の度合いを強めるという効果が十分に得られないからである。

光走査装置２０８は、ＭＥＭＳ（Micro Electro Mechanical Systems）等の公知のアクチュエータ駆動システムでミラーを主走査方向及び副走査方向に傾斜動作させ、ミラーに入射するレーザー光を二次元走査（ラスタスキャン）する。ミラーの駆動制御は、レーザー光源２０１Ｒ，２０１Ｇ，２０１Ｂの発光タイミングに同期して行われる。光走査装置２０８は、本実施形態の構成に限らず、例えば、互いに直交する２つの軸回りをそれぞれ揺動あるいは回動する２つのミラーからなるミラー系で構成してもよい。

図４は、本実施形態の自動車用ＨＵＤ装置２００における制御系のハードウェアブロック図である。
自動車用ＨＵＤ装置２００の制御系は、主に、ＦＰＧＡ２５１、ＣＰＵ２５２、ＲＯＭ２５３、ＲＡＭ２５４、Ｉ／Ｆ２５５、バスライン２５６、ＬＤドライバ２５７、ＭＥＭＳコントローラー２５８を備えている。ＦＰＧＡ２５１は、ＬＤドライバ２５７により、光源ユニット２２０のレーザー光源２０１Ｒ，２０１Ｇ，２０１Ｂを動作制御し、ＭＥＭＳコントローラー２５８により、光走査装置２０８のＭＥＭＳ２０８ａを動作制御する。ＣＰＵ２５２は、自動車用ＨＵＤ装置２００の各機能を制御する。ＲＯＭ２５３は、ＣＰＵ２５２が自動車用ＨＵＤ装置２００の各機能を制御するために実行する画像処理用プログラム等の各種プログラムを記憶している。ＲＡＭ２５４はＣＰＵ２５２のワークエリアとして使用される。Ｉ／Ｆ２５５は、外部コントローラー等と通信するためのインターフェイスであり、例えば、自車両３０１のＣＡＮ（Controller Area Network）を介して、後述の物体認識装置１００、車両ナビゲーション装置４００、各種センサ５００等に接続される。

図５は、本実施形態における運転者情報提供システムの概略構成を示すブロック図である。
本実施形態においては、虚像Ｇによって運転者へ提供する運転者提供情報を取得する情報取得手段として、物体認識装置１００、車両ナビゲーション装置４００、センサ装置５００などが設けられている。本実施形態における自動車用ＨＵＤ装置２００は、主に、画像表示手段としての画像光投射手段を構成するＨＵＤ本体２３０と、表示制御手段としての画像制御装置２５０とから構成される。本実施形態における情報取得手段は自車両３０１に搭載されているが、自車両３０１の外部に設置されている情報取得手段を用いて当該情報取得手段が取得した情報を通信手段を介して入力する構成であってもよい。

図６は、本実施形態における物体認識装置１００のハードウェア構成を示す説明図である。
本実施形態の物体認識装置１００は、自車両３０１の前方領域を撮像領域として撮像する撮像手段としてのステレオカメラ部１１０と、ステレオカメラ部１１０によって撮像した撮像画像データに基づいて撮像領域内に存在する所定の認識対象物を認識する画像処理を実行する画像処理手段としての情報処理部１２０とから構成されている。なお、ステレオカメラ部１１０に代えて、撮像手段としての単眼カメラと測距手段としてのレーザレーダ（ミリ波レーダ）とを組み合わせた構成を採用してもよい。

ステレオカメラ部１１０は、左目用となる第１のカメラ部１１０Ａと、右目用となる第２のカメラ部１１０Ｂとの、２台のカメラ部が平行に組みつけられて構成されている。各カメラ部１１０Ａ，１１０Ｂは、それぞれレンズ１１５、画像センサ１１６、センサコントローラ１１７を備えている。画像センサ１１６は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）で構成されるイメージセンサを用いることができる。センサコントローラ１１７は、画像センサ１１６の露光制御、画像読み出し制御、外部回路との通信および画像データの送信制御等を行う。ステレオカメラ部１１０は、自車両３０１のフロントガラス３０２のルームミラー付近に設置される。

情報処理部１２０は、データバスライン１２１、シリアルバスライン１２２、ＣＰＵ（Central Processing Unit）１２３、ＦＰＧＡ（Field-Programmable Gate Array）１２４、ＲＯＭ（Read Only Memory）１２５、ＲＡＭ（Random Access Memory）１２６、シリアルＩＦ（Interface）１２７、およびデータＩＦ１２８を有している。

ステレオカメラ部１１０は、データバスライン１２１およびシリアルバスライン１２２を介して情報処理部１２０と接続されている。ＣＰＵ１２３は、ステレオカメラ部１１０の各センサコントローラ１１７の制御、情報処理部１２０全体の動作、画像処理等を実行制御する。各カメラ部１１０Ａ，１１０Ｂの画像センサ１１６で撮像された撮像画像の輝度画像データは、データバスライン１２１を介して情報処理部１２０のＲＡＭ１２６に書き込まれる。ＣＰＵ１２３またはＦＰＧＡ１２４からのセンサ露光値の変更制御データ、画像読み出しパラメータの変更制御データ、および各種設定データ等は、シリアルバスライン１２２を介して送受信される。

ＦＰＧＡ１２４は、ＲＡＭ１２６に保存された画像データに対してリアルタイム性が要求される処理、例えばガンマ補正、ゆがみ補正（左右画像の平行化）、ブロックマッチングによる視差演算を行って、視差画像を生成し、ＲＡＭ１８に再度書き込む。ＲＯＭ１２５には、車両や歩行者等の立体物、あるいは、路面上の白線等の車線境界線や路面側部に存在する縁石や中央分離帯などの所定の認識対象物を認識するための認識プログラムが記憶されている。認識プログラムは、画像処理プログラムの一例である。

ＣＰＵ１２３は、データＩＦ１２８を介して、例えば自車両３０１のＣＡＮを介して、車速、加速度、舵角、ヨーレート等のＣＡＮ情報を、センサ装置５００から取得する。そして、ＣＰＵ１２３は、ＲＯＭ１２５に記憶されている認識プログラムに従って、ＲＡＭ１２６に記憶されている輝度画像および視差画像を用いて画像処理を実行し、例えば先行車両３５０や車線境界線等の認識対象物の認識を行う。

認識対象物の認識結果データは、シリアルＩＦ１２７を介して、例えば、画像制御装置２５０、車両走行制御ユニット等の外部機器へ供給される。車両走行制御ユニットは、認識対象物の認識結果データを用いて、自車両３０１のブレーキ制御、速度制御、ステアリング制御などを行い、例えば、予め設定された車間距離を維持するように自車両３０１を先行車両に自動追尾させるクルーズコントロールや、前方の障害物との衝突を回避、軽減するための自動ブレーキ制御などを実現する。

本実施形態における車両ナビゲーション装置４００は、自動車等に搭載される公知の車両ナビゲーション装置を広く利用することができる。車両ナビゲーション装置４００からは、虚像Ｇに表示させるルートナビゲーション画像を生成するために必要な情報が出力され、この情報は画像制御装置２５０に入力される。例えば、図１に示すように、自車両３０１が走行している道路の車線（走行レーン）の数、次に進路変更（右折、左折、分岐等）すべき地点までの距離、次に進路変更する方向などの情報を示す画像が含まれている。これらの情報が車両ナビゲーション装置４００から画像制御装置２５０に入力されることで、画像制御装置２５０の制御の下、自動車用ＨＵＤ装置２００によって、走行レーン指示画像７１１、車間距離提示画像７１２、進路指定画像７２１、残り距離画像７２２、交差点等名称画像７２３などのナビゲーション画像が、表示エリア７００の上段表示領域Ａに表示される。

また、図１に示した画像例では、表示エリア７００の下段表示領域Ｂに、道路の固有情報（道路名、制限速度等）を示す画像が表示される。この道路の固有情報も、車両ナビゲーション装置４００から画像制御装置２５０に入力される。画像制御装置２５０は、当該道路固有情報に対応する道路名表示画像７０１、制限速度表示画像７０２、追い越し禁止表示画像７０３等を、自動車用ＨＵＤ装置２００によって表示エリア７００の下段表示領域Ｂに表示させる。

本実施形態におけるセンサ装置５００は、自車両３０１の挙動、自車両３０１の状態、自車両３０１の周囲の状況などを示す各種情報を検出するための１又は２以上のセンサで構成されている。センサ装置５００からは、虚像Ｇとして表示させる画像を生成するために必要なセンシング情報が出力され、このセンシング情報は画像制御装置２５０に入力される。例えば、図１に示した画像例には、自車両３０１の車速を示す車速表示画像７０４（図１では「８３ｋｍ／ｈ」という文字画像）を、表示エリア７００の下段表示領域Ｂに表示させる。そのため、自車両３０１のＣＡＮ情報に含まれる車速情報がセンサ装置５００から画像制御装置２５０に入力され、画像制御装置２５０の制御の下、自動車用ＨＵＤ装置２００によって当該車速を示す文字画像が表示エリア７００の下段表示領域Ｂに表示される。

センサ装置５００は、自車両３０１の車速を検出するセンサ以外にも、例えば、自車両３０１の周囲（前方、側方、後方）に存在する他車両、歩行者、建造物（ガードレールや電柱等）との距離を検出するレーザーレーダー装置や撮像装置、自車両の外部環境情報（外気温、明るさ、天候等）を検出するためのセンサ、運転者３００の運転動作（ブレーキ走査、アクセル開閉度等）を検出するためのセンサ、自車両３０１の燃料タンク内の燃料残量を検出するためのセンサ、エンジンやバッテリー等の各種車載機器の状態を検出するセンサなどが挙げられる。このような情報をセンサ装置５００で検出して画像制御装置２５０へ送ることで、それらの情報を虚像Ｇとして自動車用ＨＵＤ装置２００により表示して運転者３００へ提供することができる。

図７は、画像制御装置２５０の主要なハードウェアを示すハードウェアブロック図である。
画像制御装置２５０は、ＣＰＵ２５１、ＲＡＭ２５２、ＲＯＭ２５３、入力用データＩＦ２５４、および出力用データＩＦ２５５が、データバスラインによって互いに接続されている。入力用データＩＦ２５４には、物体認識装置１００から出力される各種認識結果データ、センサ装置５００から出力されるセンシング情報、車両ナビゲーション装置４００から出力される各種情報などが入力される。出力用データＩＦ２５５からは、自動車用ＨＵＤ装置２００の制御信号等が出力される。ＣＰＵ２５１は、ＲＯＭ２５３等に記憶されている情報提供用制御プログラムなどの各種コンピュータプログラムを実行して、画像制御装置２５０に後述する各種制御や各種処理を行わせる。

次に、自動車用ＨＵＤ装置２００によって表示される虚像Ｇについて説明する。
本実施形態における自動車用ＨＵＤ装置２００において、虚像Ｇによって運転者３００へ提供する運転者提供情報は、運転者３００にとって有用な情報であればどのような情報であってもよい。本実施形態では、運転者提供情報を受動情報と能動情報とに大別している。

受動情報とは、所定の情報提供条件が満たされたタイミングで運転者３００によって受動的に認知される情報である。したがって、自動車用ＨＵＤ装置２００の設定タイミングで運転者３００へ提供される情報は受動情報に含まれ、また、情報が提供されるタイミングと情報の内容との間に一定の関係性をもつ情報が受動情報に含まれる。受動情報としては、例えば、運転時の安全性に関わる情報、ルートナビゲーション情報などが挙げられる。運転時の安全性に関わる情報としては、例えば、自車両３０１と先行車両３５０との車間距離情報（車間距離提示画像７１２）、運転に関わる緊急性のある情報（運転者に緊急操作を指示する緊急操作指示情報などの警告情報あるいは注意喚起情報等）などが挙げられる。また、ルートナビゲーション情報は、予め設定された目的地までの走行ルートを案内するための情報であり、公知の車両ナビゲーション装置によって運転者へ提供されるものである。ルートナビゲーション情報としては、直近の交差点で走行すべき走行レーンを指示する走行レーン指示情報（走行レーン指示画像７１１）や、次に直進方向から進路変更すべき交差点や分岐点での進路変更操作を指示する進路変更操作指示情報などが挙げられる。進路変更操作指示情報としては、具体的には、当該交差点等においていずれの進路をとるべきかの進路指定を行う進路指定情報（進路指定画像７２１）、その進路変更操作を行う交差点等までの残り距離情報（残り距離画像７２２）、当該交差点等の名称情報（交差点等名称画像７２３）などが挙げられる。

能動情報とは、運転者自らが決めるタイミングで運転者３００によって能動的に認知される情報である。能動情報は、運転者３００の希望するタイミングで運転者へ提供されれば十分な情報であり、例えば、情報が提供されるタイミングと情報の内容との間の関係性が低い又は無いような情報は、能動情報に含まれる。能動情報は、運転者３００の希望するタイミングで運転者３００が取得する情報であることから、ある程度の長い期間あるいは常時、表示され続けるような情報である。例えば、自車両３０１が走行している道路の固有情報、自車両３０１の車速情報（車速表示画像７０４）、現在時刻情報などが挙げられる。道路の固有情報としては、例えば、その道路名情報（道路名表示画像７０１）、その道路の制限速度等の規制内容情報（制限速度表示画像７０２、追い越し禁止表示画像７０３）、その他当該道路に関わる情報として運転者３００にとって有用なものが挙げられる。

本実施形態では、このようにして大別される受動情報と能動情報を、虚像Ｇを表示可能な表示エリア７００内のそれぞれ対応する表示領域に表示させる。具体的には、本実施形態では、表示エリア７００を上下方向に２つの表示領域に区分し、そのうちの上段表示領域Ａには主に受動情報に対応する受動情報画像を表示し、下段表示領域Ｂには主に能動情報に対応する能動情報画像を表示する。なお、能動情報画像の一部を上段表示領域Ａに表示させる場合には、上段表示領域Ａに表示される受動情報画像の視認性を優先するように能動情報画像を表示する。

また、本実施形態においては、表示エリア７００に表示される虚像Ｇとして、立体視を用いて表現された立体視画像を用いている。具体的には、表示エリア７００の上段表示領域Ａに表示される車間距離提示画像７１２及び走行レーン指示画像７１１として、遠近法により表現される遠近法画像を用いている。

詳しくは、車間距離提示画像７１２を構成する５本の横線の長さを上側に向かうほど短くなるようにして、車間距離提示画像７１２を１つの消失点に向かうように透視図法により作図された遠近法画像としている。特に、本実施形態では、その消失点が運転者３００の注視点近傍に定まるように車間距離提示画像７１２が表示されることから、運転中の運転者３００に車間距離提示画像７１２の奥行き感を知覚させやすい。また、本実施形態では、更に、横線の太さが上側に向かうほど細くしたり、横線の輝度が上側に向かうほど低くなったりするようにした遠近法画像としている。これによって、運転中の運転者３００には、車間距離提示画像７１２の奥行き感を更に知覚させやすくなる。

次に、運動視差を利用して虚像Ｇまでの距離を知覚させて距離感や奥行き感を出す方法について説明する。
本実施形態では、虚像Ｇとして、運動視差により表現される運動視差画像を用いている。運動視差とは、運転者３００の目の位置（視点位置）が移動することによって生じる視差を意味する。運動視差による距離感、奥行き感は、運転者３００の目の位置が移動するときに、前方風景内における近い物体ほど大きく動き、遠い物体ほど動きが少ないように視認される動きのズレから、運転者３００が各物体までの距離感、奥行き感を知覚するものである。

本実施形態では、図２に示したように、運転者３００の目の位置（視点位置）を観測する視点位置検知手段としての運転者カメラ１５０が自車両３０１のフロントガラス３０２のルームミラー付近に設置されている。運転者カメラ１５０の設置位置は、運転者３００の上下左右の動きを精度よく取得するため、運転席に座る運転者３００の正中線に近くであるのが好ましい。ただし、運転者３００の視界を遮らないように、例えば上方の位置に配置するのが好ましい。

運転者カメラ１５０は、運転席に座る運転者３００が運転中に頭部を動かすことが想定される範囲を撮像領域として撮像するように設定されている単眼カメラであり、ステレオカメラ部１１０の各カメラ部１１０Ａ，１１０Ｂと同様、レンズ、画像センサ、センサコントローラ等から構成されている。運転者カメラ１５０として、ステレオカメラを用い、運転者の目の位置の前後方向位置も把握するようにしてもよい。

運転者カメラ１５０で撮像された撮像画像の輝度画像データは、画像制御装置２５０に入力される。画像制御装置２５０は、ＣＰＵ２５１がＲＯＭ２５３等に記憶されている情報提供用制御プログラムを実行することにより、運転者カメラ１５０からの輝度画像データに基づき、運転者３００の目の位置を認識する。本実施形態では、簡易的に、運転者カメラ１５０からの輝度画像データに基づいて運転者３００の頭部位置を認識し、その認識結果から運転者３００の目の位置を推定する。運転者３００の頭部位置の認識方法は、一般的な認識処理方法を広く採用することができる。

例えば、運転者カメラ１５０の画像データから得られる色情報に基づいて運転者３００の顔の色（肌色）を判別し、その肌色画像部分を運転者の頭部位置として認識する方法が挙げられる。この方法では、一般的な顔認識処理を利用することができる。このとき、運転者カメラ１５０の撮像領域（運転者３００の頭部付近）に向けて可視光波長帯の照明光を照射する照明手段を併用することで、撮像環境（外光の強度の違いなど）の影響をあまり受けることなく、一定品質の撮像画像が得られるので、撮像環境の影響を受けることなく安定した認識精度を得ることができる。ただし、可視光波長帯の照明手段を併用する場合には、運転者に眩しいと感じさせないようにするなどの配慮が必要である。

また、運転者カメラ１５０として遠赤外線（赤外光）を撮像する熱映像装置を用いれば、運転者３００の頭部から発せられる遠赤外線を検出した撮像画像（サーモグラフィ）が得られ、その撮像画像から運転者の頭部位置を認識することもできる。

また、運転者カメラ１５０として近赤外線（赤外光）を撮像する赤外線カメラを用いれば、可視光波長帯の外乱光の影響を受けることなく、運転者３００の頭部を撮像した赤外線画像が得られ、運転者の頭部位置を認識することができる。このとき、運転者カメラ１５０の撮像領域（運転者３００の頭部付近）に向けて近赤外光を照射する照明手段を併用することで、撮像環境（外光の強度の違いなど）の影響をあまり受けることなく、一定品質の撮像画像（赤外線画像）が得られるので、撮像環境の影響を受けることなく安定した認識精度を得ることができる。特に、赤外線カメラと赤外光照明手段とを併用する構成においては、運転者に知覚されない赤外光を運転者に照射するので運転者が眩しいと感じることがなく、この点で、可視光波長帯を撮像するカメラと可視光照明手段とを併用する構成と比べて有益である。

また、自車両３０１の運転席に設置される各種センサの検知結果を用いて運転者３００の頭部位置を検知してもよい。例えば、特開２００５−２９０４０号公報等に開示されているように、運転席のシートの前後位置を検知する距離センサ、シートの背もたれの角度を検知する角度センサ、シートの座面や背もたれへの運転者による押圧を検知する圧力センサ、シートのヘッドレストへの運転者の頭部による押圧を検知する圧力センサなどの１又は２以上を用いて、運転者３００の姿勢を推定するなどして、運転者３００の頭部位置を検知する。また、例えば、特開２００６−２１８０８３号公報等に開示されているように、シートのヘッドレストに対して運転者の頭部が接触したことを検出する接触センサや、シートのヘッドレストに対して運転者の頭部が近接したことを非接触で検出する静電容量式センサを用いて、運転者３００の頭部位置を検知する。

図８は、本実施形態における運動視差によって奥行き感を出した虚像Ｇの画像処理方法を説明するための説明図である。
図８に示すように、運転者３００の頭部がＤｄだけ移動した場合、運転者３００から近い距離Ｌａに位置する物体Ｏａの視認位置はＤａだけ移動し、運転者３００から遠い距離Ｌｂに位置する物体Ｏｂの視認位置はＤａよりも少ないＤｂだけ移動し、運転者３００から更に遠い距離Ｌｃに位置する物体Ｏｃの視認位置はＤｂよりも更に少ないＤｃだけ移動する。これらの物体Ｏａ，Ｏｂ，Ｏｃ間における視認位置の移動量Ｄａ，Ｄｂ，Ｄｃの違いにより、運転者３００は、物体Ｏａが距離Ｌａだけ離れた位置に存在し、物体Ｏｂが距離Ｌｂだけ離れた位置に存在し、物体Ｏｃが距離Ｌｃだけ離れた位置に存在することを知覚することができる。

本実施形態における虚像Ｇは、運転者３００から距離５ｍの位置に表示されるものであり、虚像Ｇ上におけるいずれの画像部分も、運転者３００から距離５ｍの位置に表示される。本実施形態では、上述した運動視差を用いることによって、虚像Ｇ上における複数の画像部分を互いに異なる距離に表示されているかのように、運転者３００へ知覚させるものである。

具体的には、画像制御装置２５０は、所定の時間間隔で、運転者カメラ１５０で撮像された撮像画像の輝度画像データに基づいて運転者３００の頭部位置を認識する。本実施形態では、運転者カメラ１５０が撮像する撮像フレームごとの輝度画像データに基づいて運転者３００の頭部位置を認識する。そして、画像制御装置２５０は、当該時間間隔の間に運転者３００の頭部が移動した運転者頭部移動量Ｄｄを算出する。このとき、距離５ｍに表示される虚像Ｇの視認位置は、Ｄａだけ移動することになる。

本実施形態では、下段表示領域Ｂに表示される画像部分は、表示エリア７００内の表示位置が固定されている。そのため、下段表示領域Ｂに表示される画像部分の視認位置は、虚像Ｇの移動量と同じ移動量Ｄａだけ移動する。よって、下段表示領域Ｂに表示される画像部分は、距離Ｌａ（５ｍ）に表示されているように運転者３００に知覚されることになる。

一方、画像制御装置２５０は、算出した運転者頭部移動量Ｄｄに応じて、虚像Ｇの表示エリア７００のうちの上段表示領域Ａに表示される画像部分のうち、走行レーン指示画像７１１や車間距離提示画像７１２については、表示エリア７００内を運転者の頭部移動方向とは逆方向へＤａ−Ｄｂだけ移動させる表示制御（運動視差制御）を実施する。この運動視差制御により、上段表示領域Ａに表示される走行レーン指示画像７１１や車間距離提示画像７１２については、運転者３００から見た視認位置が移動量Ｄｂだけ移動するものになる。その結果、走行レーン指示画像７１１や車間距離提示画像７１２は、距離Ｌｂに表示されているように運転者３００に知覚されることになる。

同様に、画像制御装置２５０は、算出した運転者頭部移動量Ｄｄに応じて、虚像Ｇの表示エリア７００のうちの上段表示領域Ａに表示される画像部分のうち、画像部分のうち、進路指定画像７２１、残り距離画像７２２、交差点等名称画像７２３については、表示エリア７００内を運転者の頭部移動方向とは逆方向へＤａ−Ｄｃだけ移動させる表示制御（運動視差制御）を実施する。この運動視差制御により、上段表示領域Ａに表示される画像部分のうち、進路指定画像７２１、残り距離画像７２２、交差点等名称画像７２３については、運転者３００から見た視認位置が移動量Ｄｃだけ移動するものになる。その結果、画像部分のうち、進路指定画像７２１、残り距離画像７２２、交差点等名称画像７２３は、距離Ｌｃに表示されているように運転者３００に知覚されることになる。

以上のようにして、運転者頭部移動量Ｄｄに応じて上段表示領域Ａに表示される画像部分の視認位置の移動量Ｄｂ，Ｄｃを制御しながら虚像Ｇを投影する運動視差制御により、運転者３００は、下段表示領域Ｂの画像部分（道路名表示画像７０１、制限速度表示画像７０２、追い越し禁止表示画像７０３等）よりも遠い位置に走行レーン指示画像７１１、車間距離提示画像７１２が表示され、更に遠い位置に進路変更操作指示画像７２１，７２２，７２３が表示されているように知覚する。このように、同じ距離に表示される虚像Ｇ上の画像部分を、異なる距離に表示されているかのように運転者３００に知覚させることができるので、虚像Ｇの奥行き感を出すことができる。

次に、運転者カメラ１５０の撮像画像に基づく運転者３００の頭部位置の認識処理に異常が発生した場合の異常対応処理について説明する。
本実施形態においては、上述したとおり、運転者頭部移動量Ｄｄに応じて上段表示領域Ａに表示される画像部分７１１，７１２，７２１，７２２，７２３の視認位置の移動量Ｄｂ，Ｄｃを制御しながら虚像Ｇを投影することにより、運動視差を利用して虚像Ｇの距離感、奥行き感を出す。このとき、運転者頭部移動量Ｄｄは、運転者カメラ１５０からの輝度画像データに基づいて運転者３００の頭部位置を認識した結果から算出されるところ、その認識結果に異常があると、当該画像部分７１１，７１２，７２１，７２２，７２３の視認位置の移動量Ｄｂ，Ｄｃが適切に制御できなくなる。

例えば運転者３００の頭部に強い日光が当たったとき、運転者カメラ１５０の画像センサ上の各受光素子の受光量が飽和して、いわゆる白飛びが発生した輝度画像データが撮像されることがある。このような輝度画像データは、多くの画素が最大値（白色）になってしまい、輝度の違いが得られず、運転者３００の頭部位置の誤認識が発生したり、運転者３００の頭部位置を認識できなかったりする場合がある。このような誤認識あるいは認識不可は、運転者カメラ１５０で自動露光制御が動作しても、すぐには回避することが難しいことが多い。

頭部位置の誤認識が発生すると、例えば、頭部位置を認識するための輝度画像データを得るサンプリング周期（各撮像フレームで頭部位置を認識する場合には撮像フレーム間の時間間隔）に相当する時間内では、直前に認識した頭部位置からは通常は移動し得ないほど離れた別の位置で頭部位置を認識することがある。あるいは、頭部位置の誤認識が発生すると、連続的に得られる頭部位置の認識結果から把握される頭部位置の動きが通常は起こり得ないような動きとなるように、頭部位置が認識されることがある。このように誤認識された頭部位置の認識結果から算出される運転者頭部移動量Ｄｄに応じて、上段表示領域Ａに表示される画像部分７１１，７１２，７２１，７２２，７２３の視認位置の移動量Ｄｂ，Ｄｃが制御されると、もはや運動視差による距離感や奥行き感は得られない。そればかりか、当該画像部分７１１，７１２，７２１，７２２，７２３の表示位置が異常に変化するなどして、当該画像部分の視認性が低下したり、運転中の運転者３００に対して無用なストレスを与えたりする結果を招く。

また、頭部位置の認識不可が発生した場合も、当該画像部分７１１，７１２，７２１，７２２，７２３の表示に異常をきたし、当該画像部分の視認性が低下したり、運転中の運転者３００に対して無用なストレスを与えたりするおそれがある。

そこで、本実施形態においては、運転者カメラ１５０の撮像画像に基づく頭部位置の認識結果に誤認識や認識不可などの異常が発生した場合、そのような認識結果から算出される運転者頭部移動量Ｄｄに応じた画像部分７１１，７１２，７２１，７２２，７２３の視認位置の移動量Ｄｂ，Ｄｃの制御を実行せず、所定の異常対応処理を実行する。

〔異常対応処理例１〕
以下、本実施形態における異常対応処理の一例（以下、本例を「異常対応処理例１」という。）について説明する。
本異常対応処理例１では、運転者カメラ１５０の撮像画像に基づく頭部位置の認識結果が所定の異常条件を満たすときに、上段表示領域Ａに表示される画像部分７１１，７１２，７２１，７２２，７２３の表示位置を直前の表示位置に維持するという異常対応処理を実行する。

図９は、本異常対応処理例１における処理の流れを示すフローチャートである。
画像制御装置２５０は、運転者カメラ１５０からの撮像画像データを入力したら（Ｓ１）、上述したように、運転者カメラ１５０で撮像された撮像画像の輝度画像データに基づいて運転者３００の頭部位置を認識する（Ｓ２）。そして、画像制御装置２５０は、頭部位置が認識できなかった場合（Ｓ３のＹｅｓ）、異常条件を満たすものと判断して、上段表示領域Ａに表示される画像部分７１１，７１２，７２１，７２２，７２３の表示位置を直前の表示位置で維持するという異常対応処理を実行する（Ｓ１２）。これにより、何らかの原因によって運転者の頭部位置が認識不可となっても、当該画像部分の表示位置が異常に変化するなどして、当該画像部分の視認性が低下したり、運転中の運転者３００に対して無用なストレスを与えたりするのを回避することができる。

また、画像制御装置２５０は、頭部位置が認識できた場合（Ｓ３のＮｏ）、次に、認識した頭部位置が規定範囲内であるか否かを判断する（Ｓ４）。これは、運転者カメラ１５０の撮像範囲から外れるような位置や、運転中の運転者３００の頭部位置が通常ではとり得ない位置を、頭部位置として認識してしまった異常な認識結果を抽出するためのものであり、前記規定範囲はこのような異常な認識結果を抽出できる範囲に適宜設定される。そして、画像制御装置２５０は、認識した頭部位置が規定範囲外であると判断した場合（Ｓ４のＮｏ）、異常条件を満たすものと判断して、上段表示領域Ａに表示される画像部分７１１，７１２，７２１，７２２，７２３の表示位置を直前の表示位置で維持するという異常対応処理を実行する（Ｓ１２）。これにより、何らかの原因によって運転者の頭部位置の異常な認識結果が生じても、当該画像部分の視認性が低下したり、運転中の運転者３００に対して無用なストレスを与えたりするのを回避することができる。

また、画像制御装置２５０は、認識した頭部位置が規定範囲内であると判断した場合（Ｓ４のＹｅｓ）、直前の運動視差制御が行われたときの頭部位置の認識結果をＲＡＭ２５２から読み出し、読み出した直前の頭部位置と今回認識した頭部位置との距離を、当該直前の運動視差制御が行われた時点から今回の時点までに運転者の頭部が移動した運転者頭部移動量Ｄｄとして算出する（Ｓ５）。その後、画像制御装置２５０は、算出した運転者頭部移動量Ｄｄが所定の閾値以下であるか否かを判断する（Ｓ６）。これは、異常な高速で移動しなければとり得ない位置を、頭部位置として認識してしまった異常な認識結果を抽出するためのものであり、前記所定の閾値はこのような異常な認識結果を抽出できる値に適宜設定される。

そして、画像制御装置２５０は、算出した運転者頭部移動量Ｄｄが所定の閾値を超えていると判断した場合（Ｓ６のＮｏ）、異常条件を満たすものと判断して、上段表示領域Ａに表示される画像部分７１１，７１２，７２１，７２２，７２３の表示位置を直前の表示位置で維持するという異常対応処理を実行する（Ｓ１２）。これにより、何らかの原因によって運転者の頭部位置の異常な認識結果が生じても、当該画像部分の視認性が低下したり、運転中の運転者３００に対して無用なストレスを与えたりするのを回避することができる。

次に、画像制御装置２５０は、算出した運転者頭部移動量Ｄｄが所定の閾値以下であると判断した場合（Ｓ６のＹｅｓ）、今回の頭部位置の認識結果を含む所定期間内（例えば、直近１０フレーム分）の認識結果を頭部の挙動情報として用い（Ｓ７）、その挙動情報が異常挙動条件を満たすか否かを判断する（Ｓ８）。これは、認識した頭部位置から把握される頭部の挙動が通常では取り得ない挙動を示すことになる場合、これを頭部位置の異常な認識結果として抽出するためのものである。このような異常な挙動としては、例えば、ごく短い周期（例えば１又は２つのフレーム分の周期）で頭部位置が短い距離を往復移動するような挙動が挙げられ、異常挙動条件は、このような異常な挙動を抽出できるような条件に適宜設定される。なお、画像制御装置２５０は、所定期間内（例えば直近１０フレーム分）の頭部位置の認識結果をＲＡＭ２５２に保存しており、挙動情報を作成する際には、これらの認識結果をＲＡＭ２５２から読み出す。

そして、画像制御装置２５０は、生成した挙動情報が所定の異常挙動条件を満たすと判断した場合（Ｓ８のＹｅｓ）、異常条件を満たすものと判断して、上段表示領域Ａに表示される画像部分７１１，７１２，７２１，７２２，７２３の表示位置を直前の表示位置で維持するという異常対応処理を実行する（Ｓ１２）。これにより、何らかの原因によって運転者の頭部位置の異常な認識結果が生じても、当該画像部分の視認性が低下したり、運転中の運転者３００に対して無用なストレスを与えたりするのを回避することができる。

一方、画像制御装置２５０は、生成した挙動情報が所定の異常挙動条件を満たさないと判断した場合には（Ｓ８のＮｏ）、今回の頭部位置の認識結果はいずれの異常条件も満たさない正常な認識結果であると判断する。そして、前記処理ステップＳ５で算出した運転者頭部移動量Ｄｄに応じて、虚像Ｇの表示エリア７００のうちの上段表示領域Ａに表示される画像部分７１１，７１２，７２１，７２２，７２３の画像移動量Ｄｂ，Ｄｃを算出し（Ｓ９）、算出した画像移動量Ｄｂ，Ｄｃに応じて当該画像部分を移動させる表示制御（運動視差制御）を実施する（Ｓ１０）。これにより、上段表示領域Ａに表示される画像部分７１１，７１２，７２１，７２２，７２３については、虚像Ｇの知覚距離よりも離れた距離に表示されているかのように運転者３００に知覚させることができる。なお、頭部位置の正常な認識結果は、ＲＡＭ２５２に保存される（Ｓ１１）。

本異常対応処理例１によれば、今回の頭部位置の認識結果が上述したいずれかの異常条件を満たすと、上段表示領域Ａに表示される画像部分７１１，７１２，７２１，７２２，７２３について、運動視差制御の代わりに、直前の表示位置で維持するという異常対応処理が実行される。これにより、何らかの原因によって、運転者の頭部位置が認識不可となったり、運転者の頭部位置の異常な認識結果が生じたりしても、当該画像部分の視認性が低下したり、運転中の運転者３００に対して無用なストレスを与えたりするのを回避することができる。

なお、例えば、運転者３００の頭部に強い日光が当たる等の一時的な撮像環境の変化に伴って発生する頭部位置の誤認識あるいは認識不可であれば、撮像環境が復帰するなどして、しばらくすると正常な頭部位置の認識結果が得られるようになる。この場合、本異常対応処理例１では、いずれの異常条件も満たさなくなる結果、上段表示領域Ａに表示される画像部分７１１，７１２，７２１，７２２，７２３について、再び運動視差制御が実行
される。

〔異常対応処理例２〕
次に、本実施形態における異常対応処理の他の例（以下、本例を「異常対応処理例２」という。）について説明する。
本異常対応処理例２では、運転者カメラ１５０の撮像画像に基づく頭部位置の認識結果が所定の異常条件を満たすときに、上段表示領域Ａに表示される画像部分７１１，７１２，７２１，７２２，７２３の少なくとも一部について非表示にするという異常対応処理を実行する。上述した異常対応処理例１と同様の処理について適宜省略して説明する。

図１０は、本異常対応処理例２における処理の流れを示すフローチャートである。
本異常対応処理例２においても、上述した異常対応処理例１と同様、今回の頭部位置の認識結果がいずれかの異常条件を満たすと、上段表示領域Ａに表示される画像部分７１１，７１２，７２１，７２２，７２３について、運動視差制御の代わりに、直前の表示位置で維持するという異常対応処理が実行される（Ｓ１〜Ｓ１２）。ただし、本異常対応処理例２では、頭部位置の認識結果が異常条件を満たす状況が規定時間を超えたら（Ｓ２１）、直前の表示位置で維持されている画像部分７１１，７１２，７２１，７２２，７２３の少なくとも一部について非表示にするという異常対応処理を実行する（Ｓ２２）。

このとき、非表示にされる画像部分は、その画像部分によって運転者提供情報を運転者へ提供できなくなることから、例えば、運転者へ運転者提供情報が提供されないことよりも、運転視差の効果が生じていない画像を表示させておくことの方が、不具合が大きい画像部分を非表示にするのが好ましい。例えば、本異常対応処理例２では、車間距離提示画像７１２を非表示にする。

本異常対応処理例２によれば、例えば、頭部位置の誤認識あるいは認識不可の原因が、撮像環境の変化などの一時的なものではなく、運転者カメラ１５０の故障などの継続的なものである場合に、いつまでも運転視差の効果が生じていない画像を表示させておくことによる弊害を回避することができる。

なお、画像部分７１１，７１２，７２１，７２２，７２３を直前の表示位置で維持するという異常対応処理に代えて、画像部分７１１，７１２，７２１，７２２，７２３の少なくとも一部を非表示にするという異常対応処理を実行するようにしてもよい。すなわち、今回の頭部位置の認識結果がいずれかの異常条件を満たしたら、直前の表示位置で維持するという異常対応処理を行うことなく、画像部分７１１，７１２，７２１，７２２，７２３の少なくとも一部を非表示にするという異常対応処理を実行するようにしてもよい。

〔異常対応処理例３〕
次に、本実施形態における異常対応処理の更に他の例（以下、本例を「異常対応処理例３」という。）について説明する。
本異常対応処理例３では、運転者カメラ１５０の撮像画像に基づく頭部位置の認識結果が所定の異常条件を満たすときに、上段表示領域Ａに表示される画像部分７１１，７１２，７２１，７２２，７２３の少なくとも一部について、その表示位置を予め決められた基準位置に変化させるという異常対応処理を実行する。

図１１は、本異常対応処理例３における処理の流れを示すフローチャートである。
本異常対応処理例３においては、今回の頭部位置の認識結果が上述した異常対応処理例１と同様にいずれかの異常条件を満たすと、上述した異常対応処理例１における異常対応処理（直前の表示位置で維持する処理）に代えて、上段表示領域Ａに表示される画像部分７１１，７１２，７２１，７２２，７２３について、その表示位置を予め決められた基準位置に変化させるという異常対応処理を実行する（Ｓ３１）。

基準位置は、簡易的には、例えば、運転席に座る運転者の頭部が位置する最も標準的な位置を、予めＲＯＭ２５３に記憶しておき、これを基準位置として用いてもよい。ただし、運転席のシートの前後位置、シートの背もたれの角度、運転者の身長等の身体的な特徴などに応じて、同じ運転席に座る場合でも運転者３００の頭部位置が異なってくる。よって、例えば、自動車用ＨＵＤ装置２００の起動後、最初に運転者カメラ１５０の撮像画像に基づいて正常に認識した頭部位置をＲＡＭ２５２に保存しておき、これを基準位置として用いるようにしてもよい。

本異常対応処理例３においても、上述した異常対応処理例１と同様、何らかの原因によって、運転者の頭部位置が認識不可となったり、運転者の頭部位置の異常な認識結果が生じたりしても、当該画像部分の視認性が低下したり、運転中の運転者３００に対して無用なストレスを与えたりするのを回避することができる。

なお、本実施形態においては、画像表示手段として、フロントガラス３０２等の光透過部材を介して運転者３００が視認する移動体進行方向前方の所定の表示エリア７００に運転者提供情報画像を表示させるように光透過部材へ画像光を投射する画像光投射手段であるＨＵＤ本体２３０を用いているが、運転席付近のダッシュボード等に配置される液晶ディスプレイや有機ＥＬディスプレイなどのディスプレイ装置に運転者提供情報画像を表示させるものであってもよい。

以上に説明したものは一例であり、次の態様毎に特有の効果を奏する。
（態様Ａ）
自車両３０１等の移動体の運転者３００に提供する各種運転者提供情報を示す走行レーン指示画像７１１、車間距離提示画像７１２、進路指定画像７２１、残り距離画像７２２、交差点等名称画像７２３などの運転者提供情報画像を表示するＨＵＤ本体２３０等の画像表示手段を備えた自動車用ＨＵＤ装置２００等の情報提供装置であって、前記運転者の視点位置を検知する運転者カメラ１５０等の視点位置検知手段と、前記視点位置検知手段の検知結果に応じて前記運転者提供情報画像の表示位置を変化させることにより、該運転者提供情報画像についての運動視差による運転者の知覚距離を変化させる表示制御を行う画像制御装置２５０等の表示制御手段とを有し、前記表示制御手段は、前記視点位置検知手段の検知結果が所定の異常条件を満たすとき、前記表示制御に代えて所定の異常対応処理を実行することを特徴とする。
本態様によれば、視点位置検知手段による検知結果に所定の異常条件を満たすような異常が発生すると、その異常な検知結果に応じて運転者提供情報画像の表示位置を変化させて運動視差による運転者の知覚距離を変化させる表示制御が行われない。したがって、異常な検知結果に基づく表示制御が行われることにより、運転者提供情報画像の表示位置が異常に変化するような事態が発生しない。そして、このように視点位置検知手段による検知結果に異常が発生したときに、適切な内容の異常対応処理を実行することで、運転者による運転者提供情報画像の視認性の確保や、運転者に与え得る無用なストレスの低減などを実現することが可能である。

（態様Ｂ）
前記態様Ａにおいて、前記所定の異常条件は、前記視点位置検知手段が運転者の視点位置を検知できないという条件を含むことを特徴とする。
これによれば、運転者の視点位置が検知不可であっても、運転者提供情報画像の表示位置が異常に変化するような事態が発生せず、適切な内容の異常対応処理が実行されることで、運転者による運転者提供情報画像の視認性の確保や運転者に与え得る無用なストレスの低減などを実現することが可能である。

（態様Ｃ）
前記態様Ａ又はＢにおいて、前記所定の異常条件は、前記視点位置検知手段が検知する運転者の視点位置が、過去に検知した視点位置に対して規定範囲等の所定の視点移動範囲外である視点位置であるという条件を含むことを特徴とする。
これによれば、視点位置検知手段の検知範囲から外れるような位置や、運転中の運転者の視点が通常ではとり得ない位置を、視点位置検知手段が視点位置として誤検知した場合でも、運転者提供情報画像の表示位置が異常に変化するような事態が発生せず、適切な内容の異常対応処理が実行されることで、運転者による運転者提供情報画像の視認性の確保や運転者に与え得る無用なストレスの低減などを実現することが可能である。

（態様Ｄ）
前記態様Ａ〜Ｃのいずれかの態様において、前記所定の異常条件は、前記視点位置検知手段が所定期間内に検知した複数の視点位置が所定の視点異常移動条件を満たすという条件を含むことを特徴とする。
これによれば、運転者の頭部の挙動が通常では取り得ない挙動を示すような視点位置を視点位置検知手段が誤検知した場合でも、運転者提供情報画像の表示位置が異常に変化するような事態が発生せず、適切な内容の異常対応処理が実行されることで、運転者による運転者提供情報画像の視認性の確保や運転者に与え得る無用なストレスの低減などを実現することが可能である。

（態様Ｅ）
前記態様Ａ〜Ｄのいずれかの態様において、前記所定の異常対応処理は、前記視点位置検知手段の検知結果が所定の異常条件を満たす直前の前記運転者提供情報画像の表示位置を維持する処理を含むことを特徴とする。
これによれば、何らかの原因によって、運転者の視点位置が検知不可となったり、運転者の視点位置の誤検知が生じたりしても、運転者提供情報画像の視認性が低下したり、運転中の運転者３００に対して無用なストレスを与えたりするのを回避することができる。

（態様Ｆ）
前記態様Ａ〜Ｅのいずれかの態様において、前記所定の異常対応処理は、前記運転者提供情報画像を非表示にする処理を含むことを特徴とする。
これによれば、何らかの原因によって、運転者の視点位置が検知不可となったり、運転者の視点位置の誤検知が生じたりしても、運転者提供情報画像の視認性が低下したり、運転中の運転者３００に対して無用なストレスを与えたりするのを回避することができる。

（態様Ｇ）
前記態様Ａ〜Ｆのいずれかの態様において、前記所定の異常対応処理は、前記運転者提供情報画像の表示位置を予め決められた基準位置に変化させる処理を含むことを特徴とする。
これによれば、何らかの原因によって、運転者の視点位置が検知不可となったり、運転者の視点位置の誤検知が生じたりしても、運転者提供情報画像の視認性が低下したり、運転中の運転者３００に対して無用なストレスを与えたりするのを回避することができる。

（態様Ｈ）
前記態様Ａ〜Ｇのいずれかの態様において、前記表示制御手段は、前記所定の異常対応処理を実行した後、前記視点位置検知手段の検知結果が所定の異常条件を満たさなくなった場合、該検知結果に応じて前記表示制御を実行することを特徴とする。
これによれば、一時的な原因によって、運転者の視点位置が検知不可となったり、運転者の視点位置の誤検知が生じたりしても、その原因がなくなった後に、再び、運転者提供情報画像の表示位置を変化させて運動視差による運転者の知覚距離を変化させる表示制御を続けることができる。

（態様Ｉ）
前記態様Ａ〜Ｈのいずれかの態様において、前記視点位置検知手段は、前記運転者の頭部を撮像手段により撮像した撮像画像に基づいて該運転者の視点位置を検知するものを含むことを特徴とする。
これによれば、運転者の視点位置を高精度に検知することが可能である。

（態様Ｊ）
前記態様Ｉにおいて、前記撮像手段の撮像領域を照明する照明手段を有することを特徴とする。
これによれば、撮像手段の撮像環境（外光の強度の違いなど）の影響をあまり受けることなく一定品質の撮像画像が得られるので、撮像環境の影響を抑制して安定した視点位置の検知が可能となる。

（態様Ｋ）
前記態様Ｉ又はＪにおいて、前記撮像手段は、赤外光を撮像するカメラであることを特徴とする。
これによれば、運転者の頭部から発せられる遠赤外線を検出した撮像画像（サーモグラフィ）を用いて運転者の視点位置を検知したり、可視光の影響を受けない赤外線画像を用いて運転者の視点位置を検知したりすることが可能となる。

（態様Ｌ）
前記態様Ｉ〜Ｋのいずれかの態様において、前記視点位置検知手段は、前記移動体の運転席に設置されるセンサの検知結果を用いて該運転席の運転者の視点位置を検知するものを含むことを特徴とする。
本態様でも、運転者の視点位置を検知することができる。

（態様Ｍ）
前記態様Ａ〜Ｌのいずれかの態様において、前記画像表示手段は、フロントガラス３０２等の光透過部材を介して運転者３００が視認する移動体進行方向前方の所定の表示エリア７００に前記運転者提供情報画像を表示させるように、該光透過部材へ画像光を投射する画像光投射手段であることを特徴とする。
これによれば、移動体を運転する運転者の視線を移動体進行方向から大きく外すことなく、運転者提供情報画像を運転者に視認させることができる。

（態様Ｎ）
移動体の運転者に提供する運転者提供情報を示す運転者提供情報画像を画像表示手段により表示することで、該運転者提供情報を運転者へ提供する情報提供方法であって、前記運転者の視点位置を検知する視点位置検知工程と、前記視点位置検知工程での検知結果に応じて前記運転者提供情報画像の表示位置を変化させることにより、該運転者提供情報画像についての運動視差による運転者の知覚距離を変化させる表示制御を行う表示制御工程とを有し、前記表示制御工程では、前記視点位置検知工程での検知結果が所定の異常条件を満たすとき、前記表示制御に代えて所定の異常対応処理を実行することを特徴とする。
本態様によれば、視点位置検知手段による検知結果に所定の異常条件を満たすような異常が発生すると、その異常な検知結果に応じて運転者提供情報画像の表示位置を変化させて運動視差による運転者の知覚距離を変化させる表示制御が行われない。したがって、異常な検知結果に基づく表示制御が行われることにより、運転者提供情報画像の表示位置が異常に変化するような事態が発生しない。そして、このように視点位置検知手段による検知結果に異常が発生したときに、適切な内容の異常対応処理を実行することで、運転者による運転者提供情報画像の視認性の確保や、運転者に与え得る無用なストレスの低減などを実現することが可能である。

（態様Ｏ）
移動体の運転者に提供する運転者提供情報を示す運転者提供情報画像を表示する画像表示手段を備えた情報提供装置のコンピュータを機能させるための情報提供用制御プログラムであって、前記運転者の視点位置を検知する視点位置検知手段、及び、前記視点位置検知手段の検知結果に応じて前記運転者提供情報画像の表示位置を変化させることにより、該運転者提供情報画像についての運動視差による運転者の知覚距離を変化させる表示制御を行う表示制御手段として、前記コンピュータを機能させるものであり、前記表示制御手段は、前記視点位置検知手段の検知結果が所定の異常条件を満たすとき、前記表示制御に代えて所定の異常対応処理を実行することを特徴とする。
本態様によれば、視点位置検知手段による検知結果に所定の異常条件を満たすような異常が発生すると、その異常な検知結果に応じて運転者提供情報画像の表示位置を変化させて運動視差による運転者の知覚距離を変化させる表示制御が行われない。したがって、異常な検知結果に基づく表示制御が行われることにより、運転者提供情報画像の表示位置が異常に変化するような事態が発生しない。そして、このように視点位置検知手段による検知結果に異常が発生したときに、適切な内容の異常対応処理を実行することで、運転者による運転者提供情報画像の視認性の確保や、運転者に与え得る無用なストレスの低減などを実現することが可能である。

なお、上述したプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、上述したプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。上述したプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。

１００ 物体認識装置
１１０ ステレオカメラ部
１５０ 運転者カメラ
２００ 自動車用ＨＵＤ装置
２３０ ＨＵＤ本体
２５０ 画像制御装置
３００ 運転者
３０１ 自車両
３０２ フロントガラス
４００ 車両ナビゲーション装置
５００ センサ装置
７００ 表示エリア
７１２ 車間距離提示画像
Ａ 上段表示領域
Ｂ 下段表示領域
Ｇ 虚像

特許第４６８６５８６号公報

Claims (15)

1. 移動体の運転者に提供する運転者提供情報を示す運転者提供情報画像を表示する画像表示手段を備えた情報提供装置であって、
   前記運転者の視点位置を検知する視点位置検知手段と、
   前記視点位置検知手段の検知結果に応じて前記運転者提供情報画像の表示位置を変化させることにより、該運転者提供情報画像についての運動視差による運転者の知覚距離を変化させる表示制御を行う表示制御手段とを有し、
   前記表示制御手段は、前記視点位置検知手段の検知結果が所定の異常条件を満たすとき、前記表示制御に代えて所定の異常対応処理を実行することを特徴とする情報提供装置。
2. 請求項１に記載の情報提供装置において、
   前記所定の異常条件は、前記視点位置検知手段が運転者の視点位置を検知できないという条件を含むことを特徴とする情報提供装置。
3. 請求項１又は２に記載の情報提供装置において、
   前記所定の異常条件は、前記視点位置検知手段が検知する運転者の視点位置が、過去に検知した視点位置に対して所定の視点移動範囲外である視点位置であるという条件を含むことを特徴とする情報提供装置。
4. 請求項１乃至３のいずれか１項に記載の情報提供装置において、
   前記所定の異常条件は、前記視点位置検知手段が所定期間内に検知した複数の視点位置が所定の視点異常移動条件を満たすという条件を含むことを特徴とする情報提供装置。
5. 請求項１乃至４のいずれか１項に記載の情報提供装置において、
   前記所定の異常対応処理は、前記視点位置検知手段の検知結果が所定の異常条件を満たす直前の前記運転者提供情報画像の表示位置を維持する処理を含むことを特徴とする情報提供装置。
6. 請求項１乃至５のいずれか１項に記載の情報提供装置において、
   前記所定の異常対応処理は、前記運転者提供情報画像を非表示にする処理を含むことを特徴とする情報提供装置。
7. 請求項１乃至６のいずれか１項に記載の情報提供装置において、
   前記所定の異常対応処理は、前記運転者提供情報画像の表示位置を予め決められた基準位置に変化させる処理を含むことを特徴とする情報提供装置。
8. 請求項１乃至７のいずれか１項に記載の情報提供装置において、
   前記表示制御手段は、前記所定の異常対応処理を実行した後、前記視点位置検知手段の検知結果が所定の異常条件を満たさなくなった場合、該検知結果に応じて前記表示制御を実行することを特徴とする情報提供装置。
9. 請求項１乃至８のいずれか１項に記載の情報提供装置において、
   前記視点位置検知手段は、前記運転者の頭部を撮像手段により撮像した撮像画像に基づいて該運転者の視点位置を検知するものを含むことを特徴とする情報提供装置。
10. 請求項９に記載の情報提供装置において、
    前記撮像手段の撮像領域を照明する照明手段を有することを特徴とする情報提供装置。
11. 請求項９又は１０に記載の情報提供装置において、
    前記撮像手段は、赤外光を撮像するカメラであることを特徴とする情報提供装置。
12. 請求項９乃至１１のいずれか１項に記載の情報提供装置において、
    前記視点位置検知手段は、前記移動体の運転席に設置されるセンサの検知結果を用いて該運転席の運転者の視点位置を検知するものを含むことを特徴とする情報提供装置。
13. 請求項１乃至１２のいずれか１項に記載の情報提供装置において、
    前記画像表示手段は、光透過部材を介して運転者が視認する移動体進行方向前方の所定の表示エリアに前記運転者提供情報画像を表示させるように、該光透過部材へ画像光を投射する画像光投射手段であることを特徴とする情報提供装置。
14. 移動体の運転者に提供する運転者提供情報を示す運転者提供情報画像を画像表示手段により表示することで、該運転者提供情報を運転者へ提供する情報提供方法であって、
    前記運転者の視点位置を検知する視点位置検知工程と、
    前記視点位置検知工程での検知結果に応じて前記運転者提供情報画像の表示位置を変化させることにより、該運転者提供情報画像についての運動視差による運転者の知覚距離を変化させる表示制御を行う表示制御工程とを有し、
    前記表示制御工程では、前記視点位置検知工程での検知結果が所定の異常条件を満たすとき、前記表示制御に代えて所定の異常対応処理を実行することを特徴とする情報提供方法。
15. 移動体の運転者に提供する運転者提供情報を示す運転者提供情報画像を表示する画像表示手段を備えた情報提供装置のコンピュータを機能させるための情報提供用制御プログラムであって、
    前記運転者の視点位置を検知する視点位置検知手段、及び、
    前記視点位置検知手段の検知結果に応じて前記運転者提供情報画像の表示位置を変化させることにより、該運転者提供情報画像についての運動視差による運転者の知覚距離を変化させる表示制御を行う表示制御手段として、前記コンピュータを機能させるものであり、
    前記表示制御手段は、前記視点位置検知手段の検知結果が所定の異常条件を満たすとき、前記表示制御に代えて所定の異常対応処理を実行することを特徴とする情報提供用制御プログラム。