JP2014099105A - 視線誘導装置及びプログラム - Google Patents

Abstract

【課題】簡易な構成で、煩わしさを感じさせることなく、ドライバの視線を誘目対象物へ誘導することができるようにする。
【解決手段】誘目対象物検出部２２によって、車両の周辺の誘目対象物を検出する。画像生成部２４によって、車両の周辺を撮像した撮像画像における、検出された誘目対象物を表す領域の輝度画像を生成する。そして、表示制御部３２によって、生成された輝度画像を、車両のドライバの視界における誘目対象物に重畳して表示させるようにプロジェクタ１８を制御し、誘目検知部３０によって、ドライバの視線が誘目対象物へ誘導されたことを検知したときに、輝度画像の表示を取り止める。
【選択図】図１

Description

本発明は、視線誘導装置及びプログラムに係り、特に、ドライバの視線を、誘目対象物へ誘導させる視線誘導装置及びプログラムに関する。

従来より、ドライバが前方を向いていない事を検出し、前方の危険物に対する警告表示をドライバの視線方向と前方の間に重畳表示する車両用ヘッドアップディスプレイ装置が知られている（特許文献１）。

先行車両・道路標識・信号等を検出し、これらが強調されて見えるような刺激をウィンドウシールド上に重畳表示する車両用表示装置が知られている（特許文献２）。

画像中で誘目したい位置の輝度を局所的・2次元ガウス関数状に10Hzで変調することで誘目し、視線移動を検出すると変調を止める方法が知られている(非特許文献１)。この方法では、輝度変調幅を変調が検出可能な最小値（しきい値）付近とすることで、無意識に視線が誘導されるようにしている。

ドライバがキャラクターデバイスを見た後、同デバイスの視線を誘目したい方向へ向けることで視線を誘導する情報提供装置が知られている（特許文献３）。また、動物の頭部を模したデバイスを誘目したい方向へ向けることにより視線を誘導する装置が知られている(特許文献４)。

特開２００９−１３７３４１号公報 特開２００５−１８２３０６号公報 特開２０１０−１２７７７９号公報 特開２００９−１３７５６１号公報

Reynold Bailey, et.al. "Subtle gaze direction." ACM Trans. Graph. 28, 4, Article 100 (September 2009).

上記の特許文献１、２に記載の技術は、誘目するための視覚刺激自体が意識に上がる事が前提とされている。このため、危険物の誤検知や安全意識の個人差により煩わしさが生じる、という問題がある。

また、上記の特許文献２に記載の技術では、対象物と強調刺激に重畳ズレが生じると像が二重になり反って視認性を下げてしまう。ズレのない正確な重畳を行うには対象物とドライバ頭部の高精度な位置・姿勢推定が必要となる、という問題がある。

上記の非特許文献１に記載の技術は、輝度変調幅が検出可能なしきい値近傍の狭い範囲に入る場合のみ無意識に視線を誘導できる。その範囲を下回れば誘目されず、逆に上回れば明滅が意識にのぼり煩わしさを生じる。運転場面では、さらに個人や環境の明るさによりしきい値が動的に変化するため適用が難しい、という問題がある。

上記の特許文献３、４に記載の技術では、ドライバが一度デバイスを見る必要がある。このため、前方不注意状態となり危険物への対応が遅れる可能性がある、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、簡易な構成で、煩わしさを感じさせることなく、ドライバの視線を誘目対象物へ誘導することができる視線誘導装置及びプログラムを提供することを目的とする。

上記の目的を達成するために本発明に係る視線誘導装置は、車両の周辺の誘目対象物を検出する検出手段と、前記車両の周辺を撮像した撮像画像における、前記検出手段によって検出された前記誘目対象物を表す領域の空間周波数分布に対応する空間周波数分布を有する画像を生成する画像生成手段と、前記画像生成手段によって生成された画像を、前記車両のドライバの視界における前記誘目対象物に重畳して表示させるように表示手段を制御し、前記ドライバの視線が前記誘目対象物へ誘導されたことを示す予め定められた誘目条件を満足したときに、前記画像の表示を取り止める表示制御手段と、を含んで構成されている。

本発明に係るプログラムは、コンピュータを、車両の周辺の誘目対象物を検出する検出手段、前記車両の周辺を撮像した撮像画像における、前記検出手段によって検出された前記誘目対象物を表す領域の空間周波数分布に対応する空間周波数分布を有する画像を生成する画像生成手段、及び前記画像生成手段によって生成された画像を、前記車両のドライバの視界における前記誘目対象物に重畳して表示させるように表示手段を制御し、前記ドライバの視線が前記誘目対象物へ誘導されたことを示す予め定められた誘目条件を満足したときに、前記画像の表示を取り止める表示制御手段として機能させるためのプログラムである。

本発明によれば、検出手段によって、車両の周辺の誘目対象物を検出する。画像生成手段によって、前記車両の周辺を撮像した撮像画像における、前記検出手段によって検出された前記誘目対象物を表す領域の空間周波数分布に対応する空間周波数分布を有する画像を生成する。

そして、表示制御手段によって、前記画像生成手段によって生成された画像を、前記車両のドライバの視界における前記誘目対象物に重畳して表示させるように表示手段を制御し、前記ドライバの視線が前記誘目対象物へ誘導されたことを示す予め定められた誘目条件を満足したときに、前記画像の表示を取り止める。

このように、検出された前記誘目対象物を表す領域の空間周波数分布に対応する空間周波数分布を有する画像を、車両のドライバの視界における前記誘目対象物に重畳して表示させ、ドライバの視線が誘目対象物へ誘導されたことを示す誘目条件を満足したときに、画像の表示を取り止めることにより、簡易な構成で、煩わしさを感じさせることなく、ドライバの視線を誘目対象物へ誘導することができる。

本発明に係る画像生成手段は、前記車両の周辺を撮像した前記撮像画像における、前記検出手段によって検出された前記誘目対象物を表す領域の輝度を表す輝度画像を、前記誘目対象物を表す領域の空間周波数分布に対応する空間周波数分布を有する画像として生成するようにすることができる。

本発明に係る画像生成手段は、前記検出手段によって検出された前記誘目対象物の種類に応じて予め用意された、前記誘目対象物を表す領域の空間周波数分布に対応する空間周波数分布を有する輝度画像を取得するようにすることができる。

本発明に係る検出手段は、前記車両の周辺の誘目対象物を検出すると共に、前記車両の周辺を撮像した撮像画像における、前記検出手段によって検出された前記誘目対象物を表す領域の空間周波数分布を抽出し、前記画像生成手段は、前記検出手段によって抽出された空間周波数分布に対応する空間周波数分布を有する輝度画像を、前記誘目対象物を表す領域の空間周波数分布に対応する空間周波数分布を有する画像として生成するようにすることができる。

本発明に係る表示制御手段は、前記画像生成手段によって生成された画像を、前記ドライバの視界における前記誘目対象物に重畳して表示させるように前記表示手段を制御するときに、前記画像の輝度を時間的に変調して前記表示手段に表示させるようにすることができる。これによって、画像の重畳表示による誘目性を向上できる。

本発明に係る表示制御手段は、前記画像生成手段によって生成された画像を、ドライバの視界における前記誘目対象物に重畳して表示させるように前記表示手段を制御するときに、前記画像の表示位置を周期的に変化させて前記表示手段に表示させるようにすることができる。これによって、画像の重畳表示による誘目性を向上できる。

本発明に係る表示制御手段は、前記画像生成手段によって生成された画像を、ドライバの視界における前記誘目対象物に重畳して表示させるように表示手段を制御するときに、前記画像を周期的に歪めて前記表示手段に表示させるようにすることができる。これによって、画像の重畳表示による誘目性を向上できる。

本発明に係る視線誘導装置は、前記ドライバの視線方向を計測する視線計測手段と、前記検出手段によって検出された前記誘目対象物の位置と、前記視線計測手段によって計測された前記ドライバの視線方向とに基づいて、前記ドライバが前記誘目対象物を見ているか否かを判定する視線判定手段と、を更に含み、前記表示制御手段は、前記視線判定手段によって前記ドライバが前記誘目対象物を見ていると判定されたときに、前記画像の表示を取り止めるようにすることができる。これによって、煩わしさをより感じさせることなく、ドライバの視線を誘目対象物へ誘導することができる。

本発明に係る検出手段は、前記誘目対象物として、前記車両と衝突の危険がある対象物を検出するようにすることができる。これによって、ドライバの視線を、衝突危険性がある対象物へ誘導することができる。

以上説明したように、本発明の視線誘導装置及びプログラムによれば、検出された前記誘目対象物を表す領域の空間周波数分布に対応する空間周波数分布を有する画像を、車両のドライバの視界における前記誘目対象物に重畳して表示させ、ドライバの視線が誘目対象物へ誘導されたことを示す誘目条件を満足したときに、画像の表示を取り止めることにより、簡易な構成で、煩わしさを感じさせることなく、ドライバの視線を誘目対象物へ誘導することができる、という効果が得られる。

本発明の第１の実施の形態に係る視線誘導装置を示すブロック図である。 実環境に対して画像を重畳表示する様子を示す図である。 視覚情報処理経路を説明するための図である。 （Ａ）オリジナル画像を示す図、（Ｂ）歪みを加えた画像を示す図、及び（Ｃ）歪みを加えた画像を示す図である。 （Ａ）ドライバの視界を示す図、（Ｂ）輝度画像を重畳表示したときのドライバの視界を示す図、及び（Ｃ）輝度画像を重畳表示したときのドライバの視界を示す図である。 自発的な視線移動との比較について説明するための図である。 本発明の第１の実施の形態に係る視線誘導装置における視線誘導処理ルーチンの内容を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。本発明の実施の形態では、ヘッドアップディスプレイやヘッドマウントディスプレイのような光透過性を有する画像表示画面を透過して視認される現実環境の歩行者などの対象物に、コンピュータによって生成された画像を表示画面上において重ねて表示する場合を例に説明する。

図１に示すように、本発明の第１の実施の形態に係る視線誘導装置１０は、道路領域を含む自車両前方を撮像して画像を出力する前方カメラ１２と、車室内のドライバの目領域を含む顔画像を撮影して出力するドライバカメラ１４と、前方カメラ１２及びドライバカメラ１４から得られる画像に基づいて、プロジェクタ１８を制御するコンピュータ１６と、プロジェクタ１８と、ディスプレイ２０とを含んで構成されている。なお、プロジェクタ１８及びディスプレイ２０が、表示手段の一例である。

前方カメラ１２は、車両に搭載され、道路領域を含む自車両前方を撮像して画像を出力する。前方カメラ１２は、自車両前方を撮像し、画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。

ドライバカメラ１４は、ドライバの顔画像を撮像して出力する。ドライバカメラ１４は、ドライバの顔を撮像し、画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。

ディスプレイ２０は、コンピュータ１６によって生成された画像を表示する表示画面である。ディスプレイ２０は、ハーフミラーで構成された光透過性を有する画像表示画面である。図２に示すように、ディスプレイ２０は、ドライバの眼前に配置され、現実環境からの像Ａを透過させる一方、プロジェクタ１８から出射される画像Ｖをドライバに向けて反射させる。ドライバは現実環境の物体の像Ａと、画像Ｖとを同時に視認することができる。ディスプレイ２０は、所謂ヘッドアップディスプレイまたはヘッドマウントディスプレイの形態を有するものであってもよい。

コンピュータ１６は、ＣＰＵと、ＲＡＭと、後述する視線誘導処理ルーチンを実行するためのプログラムを記憶したＲＯＭと、これらを接続するバスとを含んで構成されている。このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、誘目対象物検出部２２と、画像生成部２４と、視線計測部２６と、中心視判定部２８と、誘目検知部３０と、表示制御部３２と、を含んだ構成で表すことができる。

誘目対象物検出部２２は、前方カメラ１２によって撮像された前方画像から、予め定められた誘目対象物（例えば、歩行者）を表す領域を、従来既知の画像処理手法により検出する。

ここで、重畳表示により刺激を与える原理について説明する。

まず、動作原理として、視覚情報処理経路について説明する。図３に示すように、視覚刺激が脳内で処理される経路は大きく２つある。一つは上丘または背側経路を通り、眼球運動の生成に繋がる経路（経路Ａ）であり、もう一つは腹側経路と呼ばれる物体の認知・識別を行う経路（経路Ｂ）である。経路Ａの動作生成は無意識下で行われ、視覚刺激が意識に上るかどうかは経路Ｂにより決まる。

つまり、視覚刺激により誘導された眼球運動であっても、経路Ｂにとって、対象物に対し自発的に視線を移動した場合と同等の刺激であれば、その違いを意識することは難しい。

経路Ｂを構成する腹側経路では、テクスチャ（空間周波数分布）および形状が処理されていると考えられているが、その周辺視野においては形状の歪みやズレに対して感度が低い（参考文献（Jeremy Freeman & Eero P Simoncelli, “Metamers of the ventral stream,” Nature Neuroscience 14, 1195−1201 (2011).）参照）。例えば、図４（Ａ）のオリジナル画像と、図４（Ｂ）、（Ｃ）の変更を加えた画像とは、中心点を注視しているとき、すべて同等に知覚される。また経路Ａと比べ、経路Ｂを構成する腹側経路では、動きや輝度変化に対して感度が低い。よって、周辺視野においてはテクスチャが維持されていれば、形状の歪みやズレ、動きや輝度変化により誘目性を高めることで、意識させずに視線を誘導することができる。この効果は、刺激自体の強度が検出可能しきい値を大きく超えていても生じ得る。なお、図４（Ａ）〜（Ｃ）は、上記参考文献からの引用図である。

そこで、本実施の形態では、周辺視において誘目対象物との識別が困難な刺激を用いることにより、自発的な視線移動との区別が困難で、誘導されたことが強く意識されないようにする。これによって、ドライバにとって煩わしさが生じない。また、周辺視で識別困難な範囲内であれば、刺激強度幅・重畳ズレを許容できる。これによって、高精度な重畳・しきい値推定が不要となる。

本実施の形態では、画像生成部２４により、誘目対象物を表す領域の空間周波数分布に対応する空間周波数分布を有する画像として、図５（Ｂ）に示すような、前方カメラ１２によって撮像された前方画像のうち、誘目対象物検出部２２によって検出された誘目対象物の領域における輝度を表す輝度画像を生成する。このとき、輝度画像の輝度は、環境の明るさに対してマイケルソンコントラストが所望の値となるように決定されることが好ましい。上記の輝度画像を、ドライバの視界において誘目対象物に対して重畳表示することにより、周辺視での画像特徴を維持しながら誘目性を高めた刺激をドライバに対して与えることができる。

視線計測部２６は、従来既知の画像処理手法を用いて、ドライバカメラ１４によって撮像されたドライバの顔画像から、ドライバの視線方向を計測する。

中心視判定部２８は、誘目対象物検出部２２によって検出された誘目対象物について、ドライバが、当該誘目対象物を中心視しているかどうかの判定を行う。具体的には、前方画像における誘目対象物の領域について、ドライバの眼の位置（視線原点）と、前方カメラ１２の設置位置及び撮像方向と、ドライバカメラ１４の設置位置及び撮像方向とに基づいて、誘目対象物に対応する視線方向の範囲を算出する。そして、視線計測部２６によって計測された視線と、誘目対象物に対応する視線方向の範囲との位置関係を調べ、視線が、誘目対象物に対応する視線方向の範囲内に存在している場合には、ドライバが誘目対象物を中心視していると判断する。

誘目検知部３０は、中心視判定部２８による判定結果に基づいて、誘目によりドライバが誘目対象物へ視線を移動させたことを検知する。

表示制御部３２は、画像生成部２４により生成した輝度画像を、誘目対象物が検出された位置に対応する、表示画面上の位置に配置するように、表示用画像を生成する。

表示制御部３２は、中心視判定部２８によってドライバが誘目対象物を中心視していないと判定された場合、生成した表示用画像をプロジェクタ１８に供給する。これによって、プロジェクタ１８は、表示用画像をディスプレイ２０上に投影し、上記図５（Ｂ）に示すように、ドライバの視界において画像生成部２４により生成した輝度画像を誘目対象物と重畳させるように表示させる。

また、表示制御部３２は、誘目検知部３０によって、ドライバが誘目対象物へ視線を移動させたことが検知されると、生成した表示用画像をプロジェクタ１８に供給することを中止し、輝度画像の重畳表示を取り止める。

これによって、輝度画像による刺激が中心視で捉えられる前に輝度画像が消されるため、図６に示すように、自発的な視線移動との区別が困難で、誘導されたことが強く意識されない。

次に、第１の実施の形態に係る視線誘導装置１０の作用について説明する。まず、前方カメラ１２によって、自車両前方の撮像が開始されると共に、ドライバカメラ１４によって、ドライバの顔画像の撮像が開始されると、コンピュータ１６において、図７に示す視線誘導処理ルーチンが繰り返し実行される。

ステップ１００で、前方カメラ１２で撮像された前方画像を取得する。

次に、ステップ１０２で、上記ステップ１００で取得した前方画像から誘目対象物を表す領域の検出処理を行う。

そして、ステップ１０４において、上記ステップ１０２において誘目対象物が検出されたか否かを判定する。誘目対象物が検出されなかった場合には、視線誘導処理ルーチンを終了する。一方、誘目対象物が検出された場合には、ステップ１０６において、上記ステップ１００で取得した前方画像から、上記ステップ１０２で検出された誘目対象物を表す領域を抽出し、抽出された領域の輝度を表す輝度画像を生成する。

そして、ステップ１０８において、上記ステップ１０２で検出された誘目対象物の位置に基づいて輝度画像を配置した表示用画像を生成する。

次のステップ１１０では、ドライバカメラ１４で撮像されたドライバの顔画像を取得する。ステップ１１２では、上記ステップ１１０で取得した顔画像に基づいて、ドライバの視線方向を計測する。

そして、ステップ１１４において、上記ステップ１０２で検出された誘目対象物の位置と、上記ステップ１１２で計測されたドライバの視線方向とに基づいて、ドライバが誘目対象物を中心視しているか否かを判定する。ドライバが誘目対象物を中心視していない場合には、ステップ１１６において、上記ステップ１０８で生成された表示画像を、プロジェクタ１８に出力し、ディスプレイ２０において表示画像を現実環境に対して重畳表示させる。一方、上記ステップ１１４において、ドライバが誘目対象物を中心視している場合には、重畳表示させることなく、視線誘導処理ルーチンを終了する。

次のステップ１１８では、ドライバカメラ１４で撮像されたドライバの顔画像を取得する。ステップ１２０では、上記ステップ１１０で取得した顔画像に基づいて、ドライバの視線方向を計測する。

そして、ステップ１２２において、上記ステップ１０２で検出された誘目対象物の位置と、上記ステップ１２０で計測されたドライバの視線方向とに基づいて、ドライバが誘目対象物を中心視しているか否かを判定する。ドライバが誘目対象物を中心視していない場合には、上記ステップ１１８へ戻る。一方、ドライバが誘目対象物を中心視している場合には、誘目によりドライバの視線が誘目対象物へ移動したと判断し、ステップ１２４において、上記ステップ１０８で生成された表示画像をプロジェクタ１８に出力することを中止し、ディスプレイ２０における表示画像の重畳表示を取り止めて、視線誘導処理ルーチンを終了する。

以上説明したように、本発明の第１の実施の形態の視線誘導装置によれば、検出された誘目対象物を表す領域の輝度画像を、車両のドライバの視界における誘目対象物に重畳して表示させ、ドライバの視線が誘目対象物へ誘導されたことが検知されたときに、輝度画像の表示を取り止めることにより、簡易な構成で、煩わしさを感じさせることなく、ドライバの視線を誘目対象物へ誘導することができる。

誘目対象物の方向に、実風景と重畳されるよう輝度画像を表示することで視線を誘導するが、周辺視において誘導対象物との識別が困難な輝度画像を用いると共に、誘発された視線移動により中心視で輝度画像が捉えられる前に輝度画像を消すことにより、自発的な視線移動との区別が困難となり、輝度画像の表示により誘導されたことが強く意識されない。また、周辺視で識別困難な範囲内であれば、刺激強度幅・重畳ズレを許容できるため、個人差・環境にロバストな視線誘導を行うことができ、また、高精度な位置・姿勢推定なしで視線を誘導することができる。

次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る視線誘導装置の構成は、第１の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。

第２の実施の形態では、誘目対象物を表す領域の輝度画像の代わりに、検出された誘目対象物の種類に応じて予め用意された輝度画像を用いる点が、第１の実施の形態と異なっている。

第２の実施の形態に係る視線誘導装置の誘目対象物検出部２２は、前方カメラ１２によって撮像された前方画像から、予め定められた複数種類の誘目対象物を表す領域を、従来既知の画像処理手法により検出すると共に、検出された誘目対象物の種類（例えば、人、自転車）を検出する。

画像生成部２４は、図５（Ｃ）に示すような、誘目対象物検出部２２によって検出された誘目対象物の種類に応じて予め用意された輝度画像を取得する。なお、当該輝度画像は、当該種類の誘目対象物を表す領域の空間周波数分布に対応する空間周波数分布を有する画像となるように、当該種類の誘目対象物の形状を表した輝度画像を予め用意しておく。また、輝度画像の輝度は、環境の明るさに対してマイケルソンコントラストが所望の値となるように決定されることが好ましい。

また、表示制御部３２は、画像生成部２４により取得した輝度画像を、誘目対象物が検出された位置に対応する、表示画面上の位置に配置するように、表示用画像を生成する。

表示制御部３２は、中心視判定部２８によってドライバが誘目対象物を中心視していないと判定された場合、生成した表示用画像をプロジェクタ１８に供給する。これによって、プロジェクタ１８は、表示用画像をディスプレイ２０上に投影し、上記図５（Ｃ）に示すように、ドライバの視界において画像生成部２４により生成した輝度画像を誘目対象物と重畳させるように表示させる。

なお、第２の実施の形態に係る視線誘導装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、検出された誘目対象物の種類を表す輝度画像を、車両のドライバの視界における誘目対象物に重畳して表示させ、ドライバの視線が誘目対象物へ誘導されたことが検知されたときに、輝度画像の表示を取り止めることにより、簡易な構成で、煩わしさを感じさせることなく、ドライバの視線を誘目対象物へ誘導することができる。

次に、第３の実施の形態について説明する。なお、第３の実施の形態に係る視線誘導装置の構成は、第１の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。

第３の実施の形態では、誘目対象物を表す領域の輝度画像の代わりに、検出された誘目対象物を表す領域の空間周波数分布と類似した分布を持つ、予め用意された輝度画像を用いる点が、第１の実施の形態と異なっている。

第３の実施の形態に係る視線誘導装置の誘目対象物検出部２２は、前方カメラ１２によって撮像された前方画像から、予め定められた誘目対象物を表す領域を、従来既知の画像処理手法により検出すると共に、検出された誘目対象物の領域の空間周波数分布を抽出する。

画像生成部２４は、空間周波数分布が異なる予め用意された複数の輝度画像（例えば、縞状模様の輝度画像）から、誘目対象物検出部２２によって検出された空間周波数分布に類似した空間周波数分布を有する輝度画像を選択する。なお、当該輝度画像の輝度は、マイケルソンコントラストが所望の値となるように決定されることが好ましい。

また、表示制御部３２は、画像生成部２４により選択した輝度画像を、誘目対象物が検出された位置に対応する、表示画面上の位置に配置するように、表示用画像を生成する。

なお、第３の実施の形態に係る視線誘導装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、検出された誘目対象物を表す領域の空間周波数分布に類似する空間周波数分布を有する輝度画像を、車両のドライバの視界における誘目対象物に重畳して表示させ、ドライバの視線が誘目対象物へ誘導されたことが検知されたときに、輝度画像の表示を取り止めることにより、簡易な構成で、煩わしさを感じさせることなく、ドライバの視線を誘目対象物へ誘導することができる。

なお、上記の実施の形態では、予め用意された輝度画像から、誘目対象物検出部２２によって検出された空間周波数分布に類似した空間周波数分布を有する輝度画像を選択する場合を例に説明したが、これに限定されるものではなく、誘目対象物検出部２２によって検出された空間周波数分布を有する輝度画像を生成してもよい。

次に、第４の実施の形態について説明する。なお、第４の実施の形態に係る視線誘導装置の構成は、第１の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。

第４の実施の形態では、重畳表示するための輝度画像の輝度を、時間的に変調させる点が、第１の実施の形態と異なっている。

第４の実施の形態に係る視線誘導装置の画像生成部２４は、誘目対象物を表す領域の空間周波数分布に対応する空間周波数分布を有する画像として、前方カメラ１２によって撮像された前方画像のうち、誘目対象物検出部２２によって検出された誘目対象物の領域における輝度画像を生成する。

表示制御部３２は、画像生成部２４によって生成した輝度画像の輝度を時間的に変調させると共に、輝度が変調された輝度画像を、誘目対象物が検出された位置に対応する、表示画面上の位置に配置するように、表示用画像を繰り返し生成する。

表示制御部３２は、中心視判定部２８によってドライバが誘目対象物を中心視していないと判定された場合、画像生成部２４により繰り返し生成した表示用画像をプロジェクタ１８に供給する。これによって、プロジェクタ１８は、画像生成部２４により繰り返し生成した表示用画像をディスプレイ２０上に投影し、輝度画像の輝度を変調させて重畳表示させる。

なお、第４の実施の形態に係る視線誘導装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、重畳表示する輝度画像の輝度を変調することにより、輝度画像の重畳表示による誘目性を向上できる。

なお、上記の実施の形態では、重畳表示する輝度画像の輝度を変調する場合を例に説明したが、これに限定されるものではなく、重畳表示する輝度画像の位置を周期的にずらすようにしてもよい。例えば、重畳表示する輝度画像の位置を周期的に上下・左右移動してもよいし、人の動きを模して輝度画像の位置を周期的に移動させてもよい。また、重畳表示する輝度画像を周期的に歪めるようにしてもよい。例えば、重畳表示する輝度画像を周期的に上下・左右に歪めてもよいし、人の動きを模して輝度画像を周期的に歪めてもよい。また、上述した輝度画像の輝度の変調、輝度画像の位置の移動、輝度画像の歪みを組み合わせもよい。

また、輝度画像の輝度を周期的に変調させる技術、輝度画像の位置を周期的にずらす技術、輝度画像を周期的に歪める技術を、上記の第２の実施の形態及び第３の実施の形態に適用してもよい。

次に、第５の実施の形態について説明する。なお、第５の実施の形態に係る視線誘導装置の構成は、第１の実施の形態と同様の構成となっているため、同一符号を付して説明を省略する。

第５の実施の形態では、車両と衝突する危険がある物体を、誘目対象物として検出している点が、第１の実施の形態と異なっている。

第５の実施の形態に係る視線誘導装置の誘目対象物検出部２２は、前方カメラ１２によって撮像された前方画像から、予め定められた対象物（例えば、歩行者、自転車、車両）を表す領域を、従来既知の画像処理手法により検出すると共に、検出された対象物の位置、速度を検出する。誘目対象物検出部２２は、検出された対象物について、対象物の位置及び速度と、自車両の速度とに基づいて、従来既知の手法により、衝突危険度(例えば、ＴＴＣ)を算出し、検出された対象物と衝突する危険があるか否かを判定する。誘目対象物検出部２２は、衝突する危険があると判定された対象物を、誘目対象物として検出する。

なお、第５の実施の形態に係る視線誘導装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、車両と衝突の恐れのある対象物に、煩わしさを感じさせることなくドライバの視線を誘導することが出来る。

なお、衝突危険性がある対象物を誘目対象物として検出する技術を、上記の第２の実施の形態〜第４の実施の形態に適用してもよい。

また、上記各実施の形態では、重畳表示を取り止めるときの誘目条件として、ドライバの視線が誘目対象物へ移動したことを検知したこととする場合を例に説明したが、これに限定されるものではない。例えば、重畳表示を開始してから所定時間経過したことを、誘目条件としてもよい。一般に光刺激に対する視線移動の開始には約200msの遅れ時間があるため、輝度画像の重畳表示時間を２００ｍｓ以下の所定時間としてもよい。これによって、視線移動の検知を省略できるため、装置構成を更に簡素化できる。

また、輝度画像を表示する手段としてヘッドアップディスプレイなどを用いる場合を例に説明したが、これに限定されるものではなく、ドライバが装着するメガネのレンズ上に、輝度画像を表示して、実環境に対して重畳表示させるようにしてもよい。

また、前方カメラによって撮像された前方画像から誘目対象物を検出する場合を例に説明したが、これに限定されるものではなく、レーザレーダを用いて、前方から誘目対象物を検出するようにしてもよい。

本発明のプログラムは、記憶媒体に格納して提供するようにしてもよい。

１０ 視線誘導装置
１２ 前方カメラ
１４ ドライバカメラ
１６ コンピュータ
１８ プロジェクタ
２０ ディスプレイ
２２ 誘目対象物検出部
２４ 画像生成部
２６ 視線計測部
２８ 中心視判定部
３０ 誘目検知部
３２ 表示制御部

Claims (10)

1. 車両の周辺の誘目対象物を検出する検出手段と、
   前記車両の周辺を撮像した撮像画像における、前記検出手段によって検出された前記誘目対象物を表す領域の空間周波数分布に対応する空間周波数分布を有する画像を生成する画像生成手段と、
   前記画像生成手段によって生成された画像を、前記車両のドライバの視界における前記誘目対象物に重畳して表示させるように表示手段を制御し、前記ドライバの視線が前記誘目対象物へ誘導されたことを示す予め定められた誘目条件を満足したときに、前記画像の表示を取り止める表示制御手段と、
   を含む視線誘導装置。
2. 前記画像生成手段は、前記車両の周辺を撮像した前記撮像画像における、前記検出手段によって検出された前記誘目対象物を表す領域の輝度を表す輝度画像を、前記誘目対象物を表す領域の空間周波数分布に対応する空間周波数分布を有する画像として生成する請求項１記載の視線誘導装置。
3. 前記画像生成手段は、前記検出手段によって検出された前記誘目対象物の種類に応じて予め用意された、前記誘目対象物を表す領域の空間周波数分布に対応する空間周波数分布を有する輝度画像を取得する請求項１記載の視線誘導装置。
4. 前記検出手段は、前記車両の周辺の誘目対象物を検出すると共に、前記車両の周辺を撮像した撮像画像における、前記検出手段によって検出された前記誘目対象物を表す領域の空間周波数分布を抽出し、
   前記画像生成手段は、前記検出手段によって抽出された空間周波数分布に対応する空間周波数分布を有する輝度画像を、前記誘目対象物を表す領域の空間周波数分布に対応する空間周波数分布を有する画像として生成する請求項１記載の視線誘導装置。
5. 前記表示制御手段は、前記画像生成手段によって生成された画像を、前記ドライバの視界における前記誘目対象物に重畳して表示させるように前記表示手段を制御するときに、前記画像の輝度を時間的に変調して前記表示手段に表示させる請求項１〜請求項４の何れか１項記載の視線誘導装置。
6. 前記表示制御手段は、前記画像生成手段によって生成された画像を、ドライバの視界における前記誘目対象物に重畳して表示させるように前記表示手段を制御するときに、前記画像の表示位置を周期的に変化させて前記表示手段に表示させる請求項１〜請求項４の何れか１項記載の視線誘導装置。
7. 前記表示制御手段は、前記画像生成手段によって生成された画像を、ドライバの視界における前記誘目対象物に重畳して表示させるように表示手段を制御するときに、前記画像を周期的に歪めて前記表示手段に表示させる請求項１〜請求項４の何れか１項記載の視線誘導装置。
8. 前記ドライバの視線方向を計測する視線計測手段と、
   前記検出手段によって検出された前記誘目対象物の位置と、前記視線計測手段によって計測された前記ドライバの視線方向とに基づいて、前記ドライバが前記誘目対象物を見ているか否かを判定する視線判定手段と、を更に含み、
   前記表示制御手段は、前記視線判定手段によって前記ドライバが前記誘目対象物を見ていると判定されたときに、前記画像の表示を取り止める請求項１〜請求項７の何れか１項記載の視線誘導装置。
9. 前記検出手段は、前記誘目対象物として、前記車両と衝突の危険がある対象物を検出する請求項１〜請求項８の何れか１項記載の視線誘導装置。
10. コンピュータを、
    車両の周辺の誘目対象物を検出する検出手段、
    前記車両の周辺を撮像した撮像画像における、前記検出手段によって検出された前記誘目対象物を表す領域の空間周波数分布に対応する空間周波数分布を有する画像を生成する画像生成手段、及び
    前記画像生成手段によって生成された画像を、前記車両のドライバの視界における前記誘目対象物に重畳して表示させるように表示手段を制御し、前記ドライバの視線が前記誘目対象物へ誘導されたことを示す予め定められた誘目条件を満足したときに、前記画像の表示を取り止める表示制御手段
    として機能させるためのプログラム。