JP2015101292A - 視線検出装置、および視線検出方法 - Google Patents

Abstract

【課題】走行の開始前に機器の状態の確認や視線位置の検出処理の校正を行わせることで、安全な走行を確保する。
【解決手段】車両の走行のための機能の種類毎に、機能が正常であるか否かを運転者が確認可能な表示部を設け、この複数の表示部が運転者に確認されたら、車両を走行可能な状態とする。また、このときの視線位置が該表示部の特定位置として検出されるように、視線位置の検出処理を校正する。こうすると、車両の走行を開始させるにあたって、複数の機能が正常であるか否かを運転者に確認させることができ、それと同時に視線検出の精度を高めることができる。この結果、走行開始時の煩わしさを抑制しつつ、安全な走行を確保することが可能となる。
【選択図】図５

Description

本発明は、運転者の視線が到達する視線位置を検出する技術に関する。

コンピューター技術や、無線通信技術、情報処理技術の進歩を背景として、今日の車両には、安全な走行を確保するための様々な機能が搭載されている。例えば、路面の状況に応じてハンドルの操舵角やブレーキ力を制御したり、車両の周囲の状況を監視して障害物などの存在を運転者に知らせたり、周囲の車両やデータセンターと通信して有用な情報を運転者に提示するなど、多くの機能が搭載されている（例えば、特許文献１など）。

また、運転者がこれらの機能を使用するために煩雑なボタン操作が必要となるのでは却って安全の確保に支障が生じ得る。そこで、運転者の視線が到達する視線位置を検出することで、運転者が煩雑なボタン操作をしなくても良いようにした技術も提案されている（例えば、特許文献２など）。

もっとも、如何に安全のための機能を多く搭載したところで、それらの機能を実現する機器の状態が正常であり、且つ、視線位置が正しく検出できなければ安全な走行を確保することはできない。

特開２０１３−１３４５９１号公報 特開２０１３−１４３０１２号公報

しかし、走行の開始前に多くの機器の状態を確認したり、視線位置が正しく検出できるように検出処理を校正したりするのは煩雑であるため、これらの確認や校正をしないまま走行を開始する場合があり、その結果、安全な走行が確保されているとは言い難いという問題があった。

この発明は、従来の技術が有する上述した課題に鑑みてなされたものであり、走行の開始前に機器の状態の確認や視線位置の検出処理の校正を行わせることで、安全な走行を確保する技術の提供を目的とする。

上述した課題を解決するために、本発明の視線検出装置および視線検出方法は、複数の表示部を設け、この複数の表示部が運転者に確認されたら、車両を走行可能な状態とする。また、このときの視線位置が該表示部の特定位置として検出されるように、視線位置の検出処理を校正する。

こうすると、車両の走行を開始させるにあたって、複数の表示部を運転者に確認させることができ、それと同時に視線検出の精度を高めることができる。この結果、走行開始時の煩わしさを抑制しつつ、安全な走行を確保することが可能となる。

また、上述した本発明の視線検出装置においては、複数の表示部は、車両の走行のための機能の種類毎に設けられ、機能が正常であるか否かを示すものであることとしてもよい。

こうすると、車両の走行を開始させるにあたって、複数の機能が正常であるか否かを運転者に確認させることができる。この結果、さらに安全な走行を確保することが可能となる。

また、上述した本発明の視線検出装置においては、エンジンの始動が可能な状態またはシフトレンジを走行レンジに切り換え可能な状態とすることで、車両を走行可能な状態とすることとしてもよい。

エンジンを始動する技術やシフトレンジを走行レンジに切り換える技術は、一般的な車両に用いられている技術であるので、このような一般的に用いられている技術を利用することによって、車両を走行可能な状態とすることを容易に実現することができる。

また、上述した本発明の視線検出装置においては、複数の表示部全てが運転者に確認された後に、校正を行うこととしてもよい。

検出処理の校正を行うには、当然ながら所定の時間を要する。したがって、表示部が運転者に確認されるたびに校正を行うと、車両が走行可能な状態となるまで時間がかかってしまう。この点、本発明は、複数の表示部全てが確認されてから校正を行うので、速やかに走行可能な状態とすることができる。

また、上述した本発明の視線検出装置においては、運転者固有の情報である固有情報を記憶しておき、複数の表示部について予め定められた順序で運転者に確認されたら、固有情報を車両にて利用可能にすることとしてもよい。

こうすると、複数の機能が正常であるか否かを運転者に確認させるのと同時に、固有情報を利用可能にするので、安全な走行を確保しつつも、固有情報が悪用されることを防止することができる。

視線検出装置１０の構成を示す説明図である。 始動点検画面を例示する説明図である。 運転者の目の画像中の瞳孔および角膜反射像を例示する説明図である。 視線位置決定テーブルを例示する説明図である。 ＣＰＵ１１によって実行される始動点検用処理を示すフローチャートである。 ＣＰＵ１１によって実行されるエアバッグアイコン用処理を示すフローチャートである。 視線位置決定テーブルを校正する様子を示す説明図である。 変形例１の始動点検用処理を示すフローチャートである。 変形例２の始動点検用処理を示すフローチャートである。 変形例３の運転席周辺の構成を例示する説明図である。 変形例４の液晶表示器１６の表示画面を例示する説明図である。

以下では、上述した本願発明の内容を明確にするために視線検出装置の実施例について説明する。尚、本実施例の視線検出装置１０は、車両に設けられている。
Ａ．装置構成 ：
図１（ａ）には、視線検出装置１０の構成が示されている。本実施例の視線検出装置１０は、図示されるように、後述する各種処理を実行するＣＰＵ１１、ＣＰＵ１１が実行する処理のプログラム等が記憶されているフラッシュメモリ１２、ＣＰＵ１１の作業領域であるＲＡＭ１３がバス１４を介して接続されている。
また、バス１４には、車両のインストルメントパネルに設けられた液晶表示器１６が、液晶用インターフェース１５を介して接続されている。液晶表示器１６の表示画面には、車両に搭載されているナビゲーションシステムやオーディオシステム、空調システム等に関する内容を表示可能である。
また、バス１４には、近赤外光を用いて撮像する近赤外光カメラ１８や、近赤外光照射用のＬＥＤ（近赤外光ＬＥＤ）１９がカメラ用インターフェース１７を介して接続されている。近赤外光カメラ１８および近赤外光ＬＥＤ１９は、運転席の前方に運転席側を向けて設けられている。近赤外光カメラ１８は、近赤外光ＬＥＤ１９が照射された運転者の目を定期的に（例えば１秒間に３０回）撮影する。このようにして撮影された運転者の目の画像はＲＡＭ１３の所定アドレスに一時的に記憶され、運転者の視線を検出する際に使用される。

図１（ｂ）は、ＣＰＵ１１が有する機能を示すブロック図である。当然ながら、これらの機能は、ＣＰＵ１１がフラッシュメモリ１２に記憶されているプログラムを実行することによって実現される。図１（ｂ）に示すように、本実施例のＣＰＵ１１は次の機能を有する。すなわち、運転者の視線位置を検出するための検出処理を行う検出処理機能１１ａ（検出処理手段）、後述のアイコン（図３参照）毎に、運転者の視線位置がアイコンの表示領域に存在するか否かを判断し、運転者の視線位置がアイコンの表示領域に存在する場合は該アイコンが運転者に確認されたことを記憶する確認済記憶機能１１ｂ（確認済記憶手段）、複数のアイコンについて運転者に確認されたことが記憶されたら、車両を走行可能な状態とする走行可能化機能１１ｃ（走行可能化手段）、アイコンが運転者に確認されたことが記憶された場合の運転者の視線位置が該アイコンの中心位置として検出されるように、上述の検出処理の校正を行う校正機能１１ｄ（校正手段）を有する。

ここで、詳しい説明は省略するが、本実施例の視線検出装置１０が搭載された車両には、安全走行のために必要な複数のシステム（本発明における「車両の走行のための機能」に相当）が搭載されている。例えば、車両が衝突した場合にエアバッグを作動させることで運転者への衝撃を緩和するエアバッグシステムや、エンジンの冷却水の水温を監視する水温監視システム、ガソリン等の燃料の残量を監視する燃料監視システム、車両周囲の障害物の存在を監視する周囲監視システム、交通情報等を受信するための通信システム等が搭載されている。そこで、本実施例の視線検出装置１０は（ＣＰＵ１１は）、エンジンが始動されると上述の各システムから各種センサーの状態やプログラムの実行状態に関する情報を受信して、上述のシステムが正常に稼動しているか否かを運転者に確認させるための画面（以下「始動点検画面」という）を液晶表示器１６に表示させる。

図２は、本実施例の始動点検画面を例示する説明図である。図２（ａ）に示すように、本実施例の始動点検画面には、エアバッグシステムが正常に動作可能であるか否かを示す画像（以下「エアバッグアイコン」という）１６ａ、水温監視システムが正常に動作可能であるか否かを示す画像（以下「水温監視アイコン」という）１６ｂ、燃料監視システムが正常に動作可能であるか否かを示す画像（以下「燃料監視アイコン」という）１６ｃ、周囲監視システムが正常に動作可能であるか否かを示す画像（以下「周囲監視アイコン」という）１６ｄ、通信システムが正常に動作可能であるか否かを示す画像（以下「通信アイコン」という）１６ｅが表示される。
また、本実施例の視線検出装置１０では、始動点検画面が表示された状態で、始動点検画面上における運転者の視線が到達する「視線位置」を検出する。そして、検出された視線位置が、上述した何れかのアイコンが表示されている領域に存在する場合は、運転者がそのアイコンを視認していると判断される。
また、始動点検画面には、各アイコンの中心位置を所定時間続けて視認することを運転者に促す催促画像１６ｒが表示される。そして、何れかのアイコンが運転者に視認されている間は、そのアイコンが視認されていることを示す視認中画像１６ｓ（図２（ａ）中のエアバッグアイコン１６ａを囲む太枠の画像）が表示されると共に、視認時間の経過を示す視認時間画像１６ｔが表示される。そして、図２（ｂ）に示すように、何れかのアイコンを運転者が視認してから所定時間が経過したら視認を終了しても良いことを示す視認終了画像１６ｚ（図２（ｂ）中の視認ＯＫの画像）が表示される。

ここで、本実施例の視線検出装置１０における「視線位置」の検出は、ＣＰＵ１１によって次のように行われる。ＣＰＵ１１は、先ず、近赤外光カメラ１８によって撮像される運転者の目の画像から、エッジ検出等により瞳孔の中心を検出する。併せて、運転者の目の画像から近赤外光ＬＥＤ１９の角膜反射像（いわゆるプルキンエ像）の中心を検出する。
図３は、運転者の目の画像中の瞳孔および角膜反射像を例示する説明図である。運転者の目の画像２０において、角膜反射像２０ａの中心に対する相対的な瞳孔２０ｂの中心の位置（以下「瞳孔相対位置」）は運転者が視認している位置に対応して変化する。例えば、図３（ａ）に示すように運転者が正面を視認している場合、瞳孔２０ｂは角膜反射像２０ａの真上に位置するのに対して、図３（ｂ）に示すように運転者が左方を視認している場合、瞳孔２０ｂは角膜反射像２０ａの右上に位置する。そこで、ＣＰＵ２０１は、瞳孔２０ｂの中心および角膜反射像２０ａの中心を検出したら、角膜反射像２０ａの中心に対する相対的な瞳孔２０ｂの中心の位置（瞳孔相対位置）を演算する。尚、瞳孔相対位置は、目の画像２０中のＸ，Ｙ方向の画素数で示される。
こうして、瞳孔相対位置を演算したら、視線位置決定テーブルを参照して視線位置を検出する。視線位置決定テーブルは、フラッシュメモリ１２の所定アドレスに記憶されている。

図４は、視線位置決定テーブルを例示する説明図である。図４に示すように、視線位置決定テーブルには、瞳孔相対位置が取り得る全ての値ａＸ，ａＹに対応して視線位置ｂＸ，ｂＹが設定されている。ＣＰＵ２０１は、図４に示すような視線位置決定テーブルを参照して、演算した瞳孔相対位置に対応する視線位置を検出する。ここで、瞳孔相対位置に対応する視線位置は、運転者の身体的特徴やその運転者が調節する運転席の位置等に応じて異なることがある。このため、視線位置決定テーブルは、運転者が車両を初めて運転する場合や視線検出装置１０を初期化した場合等に次のようにして生成される。例えば、液晶表示器１６の表示画面上に複数のマーカーを表示して、それぞれのマーカーを運転者に視認させた状態で瞳孔相対位置を演算する。そして、マーカーの位置（すなわち視線位置）と該マーカーを視認させた状態での瞳孔相対位置とを対応付けて記憶する。また、マーカーが存在しない視線位置については、周知の補間処理や補外処理等を行うことによって瞳孔相対位置を演算して記憶する。
以下では、図２を用いて前述した始動点検画面を表示させた状態で、運転者に始動点検を行わせるための処理（始動点検用処理）について説明する。

Ｂ．始動点検用処理 ：
図５は、ＣＰＵ１１によって実行される始動点検用処理を示すフローチャートである。始動点検用処理は、車両のエンジンが起動された後、図２を用いて前述した始動点検画面が液晶表示器１６に表示された状態で開始される。
始動点検用処理を開始すると、ＣＰＵ１１は、図２を用いて前述した各アイコン１６ａ〜１６ｅに関係する処理（エアバッグアイコン用処理、水温監視アイコン用処理、燃料監視アイコン用処理、周囲監視アイコン用処理、通信アイコン用処理）を行う（Ｓ１００〜Ｓ１０８）。これらの処理は、処理の対象となるアイコンが互いに異なるだけであるので、これらの中からエアバッグアイコン用処理を例にとって説明する。

図６は、エアバッグアイコン用処理を示すフローチャートである。エアバッグアイコン用処理を開始すると、ＣＰＵ１１は先ず、運転者の視線位置を検出し、検出した視線位置がエアバッグアイコン１６ａの表示領域に存在するか否か、すなわち、運転者がエアバッグアイコン１６ａ（本発明における「表示部」に相当）を視認しているか否かを判断する（Ｓ２００）。その結果、運転者がエアバッグアイコン１６ａを視認していなければ（Ｓ２００：ｎｏ）、そのまま図５に示すエアバッグアイコン用処理を終了して、図５に示す始動点検用処理に復帰する。
これに対して、運転者がエアバッグアイコン１６ａを視認していれば（Ｓ２００：ｙｅｓ）、今回視線位置を検出するにあたって検出した「瞳孔相対位置」（図３を用いて前述）をエアバッグアイコン１６ａに対応させて記憶する（Ｓ２０２）。本実施例の視線検出装置１０では、運転者がエアバッグアイコン１６ａを視認している間は視線位置を検出するたびに、該視線位置を検出するにあたって演算した「瞳孔相対位置」をＲＡＭ１３の所定アドレスに累積して記憶する（Ｓ２０２の処理、後述のＳ２１２の処理）。この理由については後に説明する。
続いて、運転者がエアバッグアイコン１６ａを視認している時間（視認時間）の計測を開始する（Ｓ２０４）。そして、図２に示すように、エアバッグアイコン１６ａを視認していることを示す視認中画像１６ｓおよび視認時間の経過を示す視認時間画像１６ｔを、液晶表示器１６の始動点検画面に表示する。

次に、エアバッグアイコン１６ａを運転者が視認し始めてから１秒が経過したか否か（視認時間が１秒に達したか否か）を判断する（Ｓ２０８）。視認時間の計測を開始してからすぐは、当然ながら視認時間は１秒に達していないので（Ｓ２０８：ｎｏ）、続いて、運転者の視線位置を検出し、検出した視線位置がエアバッグアイコン１６ａの表示領域に存在するか否か、すなわち、運転者がエアバッグアイコン１６ａを視認し続けているか否かを判断する（Ｓ２１０）。その結果、運転者がエアバッグアイコン１６ａを視認し続けている場合は（Ｓ２１０：ｙｅｓ）、今回視線位置を検出するにあたって検出した「瞳孔相対位置」をエアバッグアイコン１６ａに対応させて記憶する。Ｓ２０２の説明をした際に前述したように、エアバッグアイコン１６ａを運転者が視認している間は視線位置を検出するたびに、該視線位置を検出するにあたって演算した「瞳孔相対位置」をＲＡＭ１３の所定アドレスに累積して記憶する。そして、視認時間が進行している様子を示すべく、視線時間画像１６ｔを更新して液晶表示器１６の始動点検画面に表示する。

上述したＳ２１０〜Ｓ２１４の処理を繰り返しているうちにやがて視認時間が１秒に達したら、エアバッグアイコン１６ａが運転者に確認されたことをＲＡＭ１３の所定アドレスに記憶する（Ｓ２１６）。すなわち、本実施例の視線検出装置１０では、運転者がエアバッグアイコン１６ａを１秒以上視認し続けた場合に、エアバッグアイコン１６ａが運転者に確認されたと判断する。そして、運転者がエアバッグアイコン１６ａを視認している間に記憶された複数の「瞳孔相対位置」を読み出し、これらの平均値を演算する（Ｓ２１８）。
ここで、図２を用いて前述したように、液晶表示器１６の始動点検画面には、アイコンの「中心位置」を所定時間続けて視認することを運転者に促す催促画像１６ｒが表示されている。従って、運転者がエアバッグアイコン１６ａを視認している間における「瞳孔相対位置」は、運転者がエアバッグアイコン１６ａの「中心位置」を視認した状態における「瞳孔相対位置」（以下「中心向き瞳孔相対位置」）であると推定できる。Ｓ２１８の処理では、このような「中心向き瞳孔相対位置」の平均値を求めることで、ノイズ（外れ値）の影響を小さくした「中心向き瞳孔相対位置」を求めることができる。例えば、視認開始時等に視線が定まらない状態で（すなわちエアバッグアイコン１６ａの端部等を視認した状態で）演算された「瞳孔相対位置」がそのまま「中心向き瞳孔相対位置」として求められることを抑制できる。尚、上述した複数の「中心向き瞳孔相対位置」の平均値を演算する以外にも、複数の「中心向き瞳孔相対位置」の中央値や最頻値を演算することで、ノイズの影響を小さくした「中心向き瞳孔相対位置」を求めることとしても良い。

こうして「中心向き瞳孔相対位置」を求めたら（Ｓ２１８）、「中心向き瞳孔相対位置」に基づいて視線位置決定テーブルを校正する処理を行う（Ｓ２２０）。ここで、視線位置決定テーブルは、運転者が車両を初めて運転する場合や視線検出装置１０を初期化した場合等に生成されるものの、周辺の環境等によっては微調整が必要になってくることがある。例えば、運転者が実際にはエアバッグアイコン１６ａの「中心位置」を視認している場合であっても、エアバッグアイコン１６ａの「端部」等のズレた位置を視線位置として検出するようになってしまうことがある。これは、「実際の瞳孔相対位置と視線位置との対応関係」と「視線位置決定テーブルにおける瞳孔相対位置と視線位置との対応関係」との間にズレが生じてしまうためである。
そこで、図７に例示するように、Ｓ２２０の処理ではこれらの対応関係のズレを抑えるべく、視線位置決定テーブルを校正する。すなわち、今回求められた「中心向き瞳孔相対位置」は運転者がエアバッグアイコン１６ａの中心位置を視認している状態で演算される「瞳孔相対位置」と推定できることから、該「瞳孔相対位置」が演算された場合にエアバッグアイコン１６ａの中心位置（本発明における「特定位置」に相当）に対応する視線位置が検出されるように、視線位置決定テーブルの該「瞳孔相対位置」に対応する視線位置をエアバッグアイコン１６ａの中心位置に対応する視線位置に更新する。また、これに連動して、その他の「瞳孔相対位置」に対応する視線位置も、周知の補間処理や補外処理を行うことによって更新する。これにより、運転者が実際に視認している位置と検出される視線位置との間にズレが生じてしまうことを抑えることができる。

こうして、視線位置決定テーブルの校正を行ったら（Ｓ２２０）、図２（ｂ）に示すように、エアバッグアイコン１６ａの視認を終了しても良いことを示す視認終了画像１６ｚを表示する。その後、図６に示すエアバッグアイコン用処理を終了して、図５に示す始動点検用処理に復帰する。尚、エアバッグアイコン１６ａの視認が開始されてから１秒が経過する前に該視認が終了したら（Ｓ２１０：ｎｏ）、エアバッグアイコン１６ａが確認されたことを記憶する処理や、視線位置決定テーブルを校正する処理、視認終了画像１６ｚを表示する処理は行われない（Ｓ２１６〜Ｓ２２２の処理は省略される）。

図５に示す始動点検用処理に復帰したら、エアバッグアイコン用処理（Ｓ１００）に続いて、水温監視アイコン用処理（Ｓ１０２）、燃料監視アイコン用処理（Ｓ１０４）、周囲監視アイコン用処理（Ｓ１０６）、通信アイコン用処理（Ｓ１０８）を実行する。これらのＳ１０２〜Ｓ１０８の処理では、図６を用いて前述したエアバッグアイコン用処理と同様の処理が、処理対象をそれぞれのアイコン１６ｂ〜１６ｅに代えて行われる。すなわち、本実施例の視線検出装置１０では、全てのアイコン１６ａ〜１６ｅについて、運転者に確認されたか否かが判断され、アイコンが運転者に確認されたら、該アイコンが視認されたときに該アイコンの中心位置が視線位置として検出されるように視線位置決定テーブルが校正される。

続いて、全てのアイコン１６ａ〜１６ｅが運転者に確認されたか否かを判断する（Ｓ１１０）。その結果、未だ運転者が確認されていないアイコンがある場合は（Ｓ１１０：ｎｏ）、上述したＳ１００〜Ｓ１０８の処理を繰り返す。これに対して、全てのアイコン１６ａ〜１６ｅが運転者に確認された場合は（Ｓ１１０：ｙｅｓ）、シフトレンジを走行レンジ（いわゆるＤレンジやＲレンジ等）に切り換え可能な状態にする（Ｓ１１２）。つまり、本実施例では、エンジン始動時には、シフトレンジは走行レンジ以外のレンジ（いわゆるＰレンジ等）に入れられており、そこから走行レンジに切り換えることが不可能となっている。例えば、シフトレンジの移動がモーター等のアクチュエーターによって制限されている。そこで、Ｓ１１０の処理では、この制限を解除する等して、シフトレンジを走行レンジに切り換え可能な状態にする。

以上のように、本実施例の視線検出装置１０は、アイコン１６ａ〜１６ｅが運転者に確認されたら、車両を走行可能な状態とする。また、運転者がアイコン１６ａ〜１６ｅを確認したときの「瞳孔相対位置」をそれぞれ記憶しておき、各「瞳孔相対位置」が演算された場合に（すなわちアイコンの中心位置が視認された場合に）各アイコンの中心位置が検出されるように、視線位置決定テーブルを校正する。こうすると、車両の走行を開始させるにあたって、複数のシステムが正常であるか否かを運転者に確認させるのと同時に、視線検出の精度を高めることができる。これらの結果、煩わしさを抑制しつつ、走行開始時からの安全な走行を確保することが可能となる。

また、シフトレンジを走行レンジに切り換える技術は、一般的な車両に用いられている技術であるので、このような一般的に用いられている技術を利用することによって、車両を走行可能な状態とすることを容易に実現することができる。

また、本実施例の視線検出装置１０は、アイコンが運転者に確認されるたびに視線位置決定テーブルの校正を行って、この校正された視線位置決定テーブルを利用して次のアイコンが運転者に視認されているか否かを判断する。したがって、アイコンが運転者に確認されるたびに視認検出精度を高めることができる。

また、本実施例の視線検出装置１０は、アイコンが運転者に視認されている間は視認中画像１６ｓや視認時間画像１６ｔが表示されるので、視認していることが検出されているのか分からず運転者に不安を感じさせてしまうことを防止することができる。

Ｃ．変形例 ：
Ｃ−１．変形例１ ：
上述した実施例では、それぞれのアイコン１６ａ〜１６ｅが確認されるたびに視線位置決定テーブルの校正を行ったが、全てのアイコンが確認されてから視線位置決定テーブルの校正を行ってもよい。

図８は、変形例１の始動点検用処理を示すフローチャートである。変形例１の始動点検用処理を開始すると、ＣＰＵ１１は先ず、エアバッグアイコン用処理を行う（Ｓ３００）。変形例１のエアバッグアイコン用処理では、図６を用いて前述したエアバッグアイコン用処理と一部異なる処理が行われる。すなわち、変形例１のエアバッグアイコン用処理では、図６を用いて前述したノイズの除かれた瞳孔相対位置を演算する処理（Ｓ２１８）や、視線位置決定テーブルを校正する処理（Ｓ２２０）を行わずに、エアバッグアイコン１６ａが確認されたことを記憶したら（Ｓ２１６）、すぐに視認終了画像１６ｚを液晶表示器１６の始動点検画面に表示する（Ｓ２２２）。

こうして、図８に示すエアバッグアイコン用処理を行ったら（Ｓ３００）、続いて、水温監視アイコン用処理（Ｓ３０２）、燃料監視アイコン用処理（Ｓ３０４）、周囲監視アイコン用処理（Ｓ３０６）、通信アイコン用処理（Ｓ３０８）を実行する。これらのＳ３０２〜Ｓ３０８の処理では、上述したエアバッグアイコン用処理（Ｓ３００）と同様の処理が、処理対象をそれぞれのアイコン１６ｂ〜１６ｅに代えて行われる。すなわち、変形例１では、全てのアイコン１６ａ〜１６ｅについて、運転者に確認されたか否かが判断され、アイコンが運転者に確認されたら、すぐに視認終了画像１６ｚを液晶表示器１６の始動点検画面に表示する。

続いて、全てのアイコン１６ａ〜１６ｅが運転者に確認されたか否かを判断する（Ｓ３１０）。その結果、未だ運転者が確認されていないアイコンがある場合は（Ｓ３１０：ｎｏ）、上述したＳ３００〜Ｓ３０８の処理を繰り返す。これに対して、全てのアイコン１６ａ〜１６ｅが運転者に確認された場合は（Ｓ３１０：ｙｅｓ）、シフトレンジを走行レンジに切り換え可能な状態にする（Ｓ３１２）。そして、それぞれのアイコン１６ａ〜１６ｅについてノイズの小さい「中心向き瞳孔相対位置」を演算し（Ｓ３１４、各アイコンについて図６のＳ２１８と同様の処理を行う）、これらの「中心向き瞳孔相対位置」に基づいて視線位置決定テーブルを校正する処理を行う（Ｓ３１６）。この視線位置決定テーブルを校正する処理（Ｓ３１６）では先ず、視線位置決定テーブルにおいて、それぞれの「中心向き瞳孔相対位置」に対応する視線位置を、各アイコンの中心位置に対応する視線位置に更新する。続いて、「中心向き瞳孔相対位置」以外の瞳孔相対位置に対応する視線位置を、周知の補間処理や補外処理等を行うことによって更新する。

以上のような変形例１によれば、アイコン１６ａ〜１６ｅの全てが運転者に確認されるまでは、視線位置決定テーブルの校正を行わないので、前のアイコンについて確認されたか否かを判断してから、次のアイコンについて確認されたか否かを判断するまでの時間を短縮することができる。この結果、アイコンを視認している時間が長くなってしまったり、前のアイコンを視認してから次のアイコンを視認するまでの待ち時間が長くなってしまったりして、運転者に煩わしさを感じさせてしまうことを防止できる。
また、視線位置決定テーブルを校正するに際しては、全てのアイコンについて、「中心向き瞳孔相対位置」に対応する視線位置を更新してから、それ以外の瞳孔相対位置に対応する視線位置を周知の補間処理や補外処理等を行うことによって更新する。したがって、この補間処理や補外処理等の信頼度を高めることができ、ひいては、視線位置の検出精度を高めることが可能となる。

Ｃ−２．変形例２ ：
車両に搭載されている複数のシステムの中には運転者固有の情報である固有情報を利用するシステムが存在する。例えば、ナビゲーションシステムでは住所や電話番号等を固有情報として利用し、オーディオシステムでは楽曲の再生リスト等を固有情報として利用し、通信システムではメールアドレス等を固有情報として利用する。そして、これらの固有情報は、運転者が積極的に設定することで、または、運転者が各システムを利用した結果として、フラッシュメモリ１２（固有情報記憶手段）の所定アドレスに記憶される。

変形例２では、エンジン始動時には、上述したような各システムが固有情報を利用することが制限されている例について説明する。
図９は、変形例２の始動点検用処理を示すフローチャートである。変形例２の始動点検用処理を開始すると、ＣＰＵ１１は先ず、図５のＳ１００〜Ｓ１０８と同様の処理を行う（Ｓ４００〜Ｓ４０８）。そして、全てのアイコンが運転者に確認されたと判断したら（Ｓ４１０：ｙｅｓ）、走行レンジの切り換えが可能な状態にした後（Ｓ４１２）、予め定められた順序でアイコン１６ａ〜１６ｅが確認されたか否かを判断する（Ｓ４１４）。例えば、予め定められた順序として、エアバッグアイコン１６ａ→通信アイコン１６ｅ→周囲監視アイコン１６ｄ→水温監視アイコン１６ｂ→燃料監視アイコン１６ｃの順序がフラッシュメモリ１２に記憶されており、この順序でアイコン１６ａ〜１６ｅが運転者に確認されたか否かを判断する。

その結果、予め定められた順序でアイコン１６ａ〜１６ｅが確認された場合は（Ｓ４１４：ｙｅｓ）、固有情報の利用を許可する制御信号を各システムに向けて送信することで、各システムにおける固有情報の利用が可能な状態とする（Ｓ４１６、利用可能化手段）。各システムは、この制御信号を受信すると、必要な固有情報をフラッシュメモリ１２から読み込んで利用する。

以上のような変形例２によれば、複数のシステムが正常であるか否かを運転者に確認させるのと同時に、固有情報を利用可能にするので、安全な走行を確保しつつも、固有情報が悪用されることを防止することができる。

Ｃ−３．変形例３ ：
上述した実施例では、図２を用いて前述した液晶表示器１６（始動点検画面のアイコン）を確認させることで、運転者に始動点検を行わせると共に視線位置決定テーブルの校正を行うこととした。これに限らず、他の部分を確認させることで、運転者に始動点検を行わせると共に視線位置決定テーブルの校正を行うこととしてもよい。

図１０は、運転席周辺の構成を例示する図である。変形例３では、液晶表示器１６だけでなく、バックミラー３０、サイドミラー３１、各種計器類３２、ハンドル３３、フロントガラスに投影されるヘッドアップディスプレイ３４等の部位を運転者が確認したか否かを判断し、これらを確認した場合にシフトレンジを走行レンジに切り換えることが可能な状態とする。そして、この場合は、各部位を視認した場合の瞳孔相対位置に対応する視線位置が各部位の中心位置に対応する視線位置になるように視線位置決定テーブルを校正する。
尚、変形例３においても、変形例２と同様に、予め定められた順序で各部位が確認されたら、各システムにおける固有情報の利用が可能な状態にすることとしてもよい。

Ｃ−４．変形例４ ：
上述した変形例２では、システムが正常に動作可能であるか否かを示すアイコン１６ａ〜１６ｅが予め定められた順序で確認されたら、固有情報を利用するシステムにおける固有情報の利用を可能にすることとしたが、アイコン１６ａ〜１６ｅに代えて、システムが正常に動作可能であるか否かを示さないアイコンを利用してもよい。例えば、図１１に示すように、液晶表示器１６の表示画面にアイコンＡ〜Ｉを表示して、これらのアイコンが予め定められた順序で視認されたら、固有情報を利用するシステムにおける固有情報の利用を可能にすることとしてもよい。そして、この場合は、アイコンＡ〜Ｉを視認した場合の瞳孔相対位置をアイコンＡ〜Ｉの中心位置に対応する視線位置に更新することで、視線位置決定テーブルを校正する。

以上のような変形例４によれば、運転者が複数のアイコンＡ〜Ｉを予め定められた順序で視認しないと、固有情報を利用することができない。これにより、固有情報が悪用されることを抑制することができる。

以上、実施例および変形例の視線検出装置について説明したが、本発明は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。

例えば、上述した実施例および変形例では、視線位置を検出する処理として、角膜反射像と瞳孔との位置関係（瞳孔相対位置）に基づいて視線位置を検出する処理を採用したが、この他にも、目頭等の特徴点と虹彩との位置関係に基づいて視線位置を検出する処理等の種々の処理を採用してもよい。

また、上述した実施例および変形例では、視線位置を検出する処理として、視線位置決定テーブルを参照して視線位置を検出する処理を採用したが、この他にも、該視線位置決定テーブルを利用せずに所定の関係式を利用して視線位置を検出する処理等の種々の処理を採用してもよい。また、上述した実施例および変形例では、視線位置決定テーブルを校正することで視線位置の検出処理を校正することとしたが、視線位置の検出処理に利用される関係式等を校正することで視線位置の検出処理を校正することとしてもよい。

また、上述した実施例では、全てのアイコン１６ａ〜１６ｅが運転者に確認された場合に、シフトレンジを走行レンジに切り換え可能な状態とすることとしたが、これに代えて、全てのアイコン１６ａ〜１６ｅが運転者に確認された場合に、エンジンの始動が可能な状態とすることとしてもよい。

１０…視線検出装置、 １１…ＣＰＵ、
１１ａ…検出処理機能、 １１ｂ…確認済記憶機能、
１１ｃ…走行可能化機能、 １１ｄ…校正機能、
１２…ＲＯＭ、 １３…ＲＡＭ、
１４…バス、 １５…液晶用インターフェース、
１６…液晶表示器、 １６ａ〜１６ｅ…アイコン、
１７…カメラ用インターフェース、 １８…近赤外光カメラ、
１９…近赤外光ＬＥＤ、 ２０…目の画像、
２０ａ…角膜反射像、 ２０ｂ…瞳孔、
３０…バックミラー、 ３１…サイドミラー、
３２…各種計器類、 ３３…ハンドル、
３４…ヘッドアップディスプレイ

Claims (6)

1. 車両に設けられ、運転者の視線が到達する視線位置を検出する視線検出装置であって、
   前記運転者が確認可能な複数の表示部（１６ａ〜１６ｅ）と、
   前記運転者の前記視線位置を検出するための検出処理を行う検出処理手段（１１ａ）と、
   前記表示部毎に、前記運転者の前記視線位置が前記表示部に存在するか否かを判断し、前記運転者の前記視線位置が前記表示部に存在する場合は該表示部が前記運転者に確認されたことを記憶する確認済記憶手段（１１ｂ、Ｓ２１６）と、
   複数の前記表示部について前記運転者に確認されたことが記憶されたら、前記車両を走行可能な状態とする走行可能化手段（１１ｃ、Ｓ１１２、Ｓ３１２、Ｓ４１２）と、
   前記表示部が前記運転者に確認されたことが記憶された場合の前記運転者の前記視線位置が該表示部の特定位置として検出されるように、前記検出処理の校正を行う校正手段（１１ｄ、Ｓ２２０、Ｓ３１６）と
   を備える視線検出装置。
2. 請求項１に記載の視線検出装置であって、
   複数の前記表示部は、前記車両の走行のための機能の種類毎に設けられ、前記機能が正常であるか否かを示すものである視線検出装置。
3. 請求項１または請求項２に記載の視線検出装置であって、
   前記走行可能化手段は、エンジンの始動が可能な状態またはシフトレンジを走行レンジに切り換え可能な状態とすることで、前記車両を走行可能な状態とする手段である視線検出装置。
4. 請求項１ないし請求項３の何れか一項に記載の視線検出装置であって、
   前記校正手段は、複数の前記表示部全てについて前記運転者に確認されたことが記憶された後に、前記校正を行う手段（１１ｄ、Ｓ３１６）である視線検出装置。
5. 請求項１ないし請求項４の何れか一項に記載の視線検出装置であって、
   前記運転者固有の情報である固有情報を記憶する固有情報記憶手段（１２）と、
   複数の前記表示部について予め定められた順序で、前記運転者に確認されたことが記憶されたら、前記固有情報を前記車両にて利用可能にする利用可能化手段（Ｓ４１６）と
   を備える視線検出装置。
6. 車両に設けられ、運転者の視線が到達する視線位置を検出する視線検出方法であって、
   前記運転者の前記視線位置を検出するための検出処理を行う工程（１１ａ）と、
   前記車両の走行のための機能の種類毎に設けられ前記機能が正常であるか否かを前記運転者が確認可能な表示部（１６ａ〜１６ｅ）毎に、前記運転者の前記視線位置が前記表示部に存在するか否かを判断し、前記運転者の前記視線位置が前記表示部に存在する場合は該表示部が前記運転者に確認されたことを記憶する工程（１１ｂ、Ｓ２１６）と、
   複数の前記表示部について前記運転者に確認されたことが記憶されたら、前記車両を走行可能な状態とする工程（１１ｃ、Ｓ１１２、Ｓ３１２、Ｓ４１２）と、
   前記表示部が前記運転者に確認されたことが記憶された場合の前記運転者の前記視線位置が該表示部の特定位置として検出されるように、前記検出処理の校正を行う工程（１１ｄ、Ｓ２２０、Ｓ３１６）と
   を備える視線検出方法。

Images