JP2017126151A - 視線検出装置および視線検出方法 - Google Patents

Abstract

【課題】短い時間で、運転者が実際に認識している正面を正確に推定することのできる視線検出装置を提供する。
【解決手段】車両の運転者の視線方向を検出する視線方向検出部２０と、視線方向検出部２０による検出結果を、基準方向に対する角度の分布として集計する集計部２１と、車両の走行状態を検出する走行状態検出部２２と、走行状態検出部２２による検出結果に基づいて、車両が所定の走行状態であるか否かを判別する判別部２３と、所定の走行状態であるときに検出された視線方向について集計部２１が集計した結果に基づいて、運転者の正面方向を推定する推定部２４とを備える。
【選択図】図１

Description

本発明は、車両の運転者の視線方向を検出可能な視線検出装置及び視線検出方法に関する。

車両の運転者の視線方向の検出結果に基づいて、脇見などを判別して警告を行ったり、視線方向の動きなどにより所定の制御を行わせる装置の開発が進められつつある。ここで、車両に乗車した運転者の眼球の特性の違いによって、運転者が正面であると認識する方向は個人差があることから、上記警告や制御の基準となる方向と運転者の正面方向にずれが生ずる場合がある。

これに対して、運転開始前に、運転者に複数のマーカーポイントを見るように指示して上記個人差を較正する手法が提案されているが、このような較正動作を運転開始のたびにとらせるのは、運転者にとって煩雑であり実用に向かない。

そこで、特許文献１に記載の視線推定装置においては、運転中の視線方向の推定結果の時系列変化として度数分布を作成し、この度数分布に基づいて、運転者が正面と認識していると仮定される基準正面を推定し、この推定結果（推定した基準正面）を用いて視線方向の推定結果を補正している。

特開２００８−２１０２３９号公報

しかしながら、特許文献１に記載の視線推定装置では、運転状況にかかわらずに視線方向の推定を逐次行っているため、運転者が正面と認識している方向を正しく推定できないおそれがある。すなわち、運転状況としては、平地を直進している状況、坂道を走行している状況、旋回している状況、停止している状況などがあり、例えば、坂道走行では運転者の視線が坂道の奥に向き、旋回走行では視線が旋回先に向くなど、視線が正面方向に向かいにくい状況がある。特許文献１に記載の視線推定装置では、このようないろいろな状況下における視線方向の推定結果が混在した度数分布に基づいて基準正面が推定されるため、運転者が実際に認識している正面とは異なる方向が正面方向であると推定されるおそれがある。これに対して、より多くの運転状況について視線方向の推定を実行して基準正面の推定の精度を上げようとすると、推定結果を算出するまでの時間が長くなってしまうという問題がある。

そこで本発明は、短い時間で、運転者が実際に認識している正面を正確に推定することのできる視線検出装置を提供することを目的としている。また、本発明のさらなる目的は、運転者に対して、運転開始のたびに、較正のための煩雑な動作を強いることのない視線検出装置を提供することにある。

上記課題を解決するために、本発明の視線検出装置は、車両の運転者の視線方向を検出する視線方向検出部と、視線方向検出部による検出結果を、基準方向に対する角度の分布として集計する集計部と、車両の走行状態を検出する走行状態検出部と、走行状態検出部による検出結果に基づいて、車両が所定の走行状態であるか否かを判別する判別部と、所定の走行状態であるときの視線方向について集計部が集計した結果に基づいて、運転者の正面方向を推定する推定部とを備えることを特徴としている。
これにより、運転者が正面またはその付近を見ているような車両の走行状態において正面方向を推定することが可能となるため、推定の精度と信頼性が高まるとともに、推定結果を算出するまでの時間を短く抑えることができる。また、車両の運転中に自動的に推定処理を行うため、運転開始時に煩雑な較正動作を運転者に強いることがない。

本発明の視線検出装置において、視線方向検出部は、車両が所定の走行状態であるときにのみ視線方向を検出することが好ましい。
これにより、集計部による集計処理および推定部による推定処理の演算の負担を減らすことができ、応答性を向上させることができる。

本発明の視線検出装置において、集計部は、車両が所定の走行状態であるときに検出された視線方向について、基準方向に対する角度の分布の集計を行うことが好ましい。
これにより、推定部による推定処理の演算の負担を減らすことができる。また、視線方向の検出は従来の検出装置をそのまま利用することができる。

本発明の視線検出装置において、前記走行状態検出部は、車両の走行速度を検出する速度センサと、車両のピッチ角とヨー角の少なくとも一方を検出する角度センサとを有することが好ましい。さらに、判別部は、速度センサが検出した速度が所定範囲内であり、かつ、角度センサが検出した角度が所定の範囲内にあるとき、車両が所定の走行状態であると判別することが好ましい。
これにより、所定の走行状態として、車両が所定範囲の速度で所定の姿勢で走行していることを検出することができ、これに基づいて、運転者の正面方向を正確かつ迅速に推定することが可能となる。

本発明の視線検出装置において、走行状態検出部は、車両の走行速度を検出する速度センサと、車両の操舵角を検出する操舵角センサとを有することが好ましい。さらに、速度センサが検出した速度が所定範囲内であり、かつ、操舵角センサが検出した操舵角が所定の範囲内にあるとき、車両が所定の走行状態であると判別することが好ましい。
これにより、所定の走行状態として、車両が所定範囲の速度で所定の操舵角範囲内で走行していることを検出することができ、これに基づいて、運転者の正面方向を正確かつ迅速に推定することが可能となる。

本発明の視線検出装置において、運転者を識別する識別部と、識別部によって識別された運転者について、少なくとも推定部による推定結果を運転機会ごとに記憶する記憶部とを備えることが好ましい。
これにより、運転者ごとに正面方向の推定処理を行うことができるため、個人差に対応した、より正確な推定を行うことができる。

また、本発明の視線検出方法は、車両の運転者の視線方向を検出する視線方向検出工程と、車両の走行状態を検出する走行状態検出工程と、視線方向の検出結果を、基準方向に対する角度の分布として集計する集計工程と、走行状態の検出結果に基づいて、車両が所定の走行状態であるか否かを判別する判別工程と、所定の走行状態であるときに検出された視線方向について集計した結果に基づいて、運転者の正面方向を推定する推定工程とを備えることを特徴としている。
これにより、運転者が正面またはその付近を見ているような車両の走行状態において正面方向を推定することが可能となるため、推定の精度と信頼性が高まるとともに、推定結果を算出するまでの時間を短く抑えることができる。また、車両の運転中に自動的に推定処理を行うため、運転開始時に煩雑な較正動作を運転者に強いることがない。

本発明によると、短い時間で、運転者が実際に認識している正面を正確に推定することができ、また、運転者に対して、運転開始のたびに、較正のための煩雑な動作を強いることがない。

本発明の実施形態に係る視線検出装置の構成を示すブロック図である。 本発明の実施形態における視線方向検出部の構成を示すブロック図である。 本発明の実施形態における視線検出の流れを示すフローチャートである。

以下、本発明の実施形態に係る視線検出装置および視線検出方法について図面を参照しつつ詳しく説明する。
まず、図１を参照して視線検出装置の全体構成について説明する。図１は、本実施形態に係る視線検出装置１０の構成を示すブロック図である。
図１に示すように、視線検出装置１０は、視線方向検出部２０と、集計部としての角度分布集計部２１と、走行状態検出部２２と、判別部２３と、推定部としての正面方向推定部２４と、制御部２５と、記憶部２６とを備える。さらに、走行状態検出部２２は、速度センサ２２ａと、角度センサ２２ｂと、操舵角センサ２２ｃとを備える。

視線検出装置１０においては、視線方向検出部２０によって車両の運転者の視線方向が一定時間、例えば０．１秒ごとに検出され、検出された視線方向は、角度分布集計部２１において、予め定めた基準方向に対する角度分布として集計される。ここで、基準方向は、例えば、平地に置かれた車両の前後方向であり、後述の２つのカメラ３２、３４（図２）は光軸が基準方向に対して一定の姿勢で配置される。角度分布集計部２１が集計する角度分布は、例えば０．５度間隔の角度を横軸として、縦軸に測定した視線方向の検出頻度をとって集計する。視線方向検出部２０と角度分布集計部２１は制御部２５によって動作が制御され、視線方向検出部２０による検出結果は制御部２５へ出力され、制御部２５はこのデータを角度分布集計部２１へ送出する。また、視線方向検出部２０においては、検出した左右の眼の視線方向をそのまま出力してもよいが、左右の眼の視線方向を示す角度の差が所定値以上、例えば１度以上である場合は、両者の中間の角度を注視点の方向として算出し、この角度を視線方向として制御部２５へ出力するようにしてもよい。
なお、視線方向検出部２０の構成については後述する。

また、視線検出装置１０においては、走行状態検出部２２によって車両の走行状態が検出され、この検出結果に基づいて、判別部２３において、車両が所定の走行状態であるか否かが判別される。視線検出装置１０においては、判別部２３による判別結果に基づいて、車両が所定の走行状態であるときにのみ、上述の視線方向検出部２０による視線の検出が実行される。

判別部２３は、「車両の走行状態」として、車両が走行しているか否か、ステアリングの操舵角、車両の姿勢などを検出する。判別部２３は制御部２５によって動作が制御され、走行状態検出部２２による検出結果は制御部２５へ出力され、制御部２５はこのデータを判別部２３へ送出する。

車両が走行しているか否かの検出は、速度センサ２２ａが検出する速度に基づいて走行状態検出部２２で行われる。
ステアリングの操舵角は、操舵角センサ２２ｃによって検出される。操舵角センサ２２ｃはステアリングの回転角度を検出するセンサである。
車両の姿勢の検出は、角度センサ２２ｂの検出結果に基づいて走行状態検出部２２で行われる。角度センサ２２ｂは、車両のヨー角とピッチ角を検出するセンサである。ヨー角は、例えばジャイロセンサで検出され、鉛直方向を軸とした左右方向の角度であり、これを検出することによって、車両が旋回して左右に向きを変えたときの旋回角度を検出することができる。ピッチ角は、例えばステアリングに設けたセンサで検出され、鉛直方向に垂直な面内において、車両の幅方向に沿った軸に対する上下方向の角度であり、これを検出することによって、車両が坂道を走行しているときの上下方向の傾斜角度を検出することができる。
また、ＧＰＳ（全地球測位システム）から取得した情報や車両に設置した前方監視カメラ、前照灯の照射方向を制御するための角度センサの検出結果等によって、車両の走行状態を検出することもできる。

判別部２３において判別される「所定の走行状態」は、例えば以下の条件（１）〜（４）を満足する状態である。この状態は、運転者が正面と認識する方向に視線を向けて車両が走行していると想定される。
（１）車両の走行速度が所定範囲、例えば時速３０ｋｍ以上である。
（２）車両のヨー角が所定範囲、例えば基準方向に対して左右にそれぞれ５度以内である。
（３）車両のピッチ角が所定範囲、例えば基準方向に対して上下にそれぞれ１０度以内である。
（４）車両のステアリングの操舵角が所定範囲、例えば、時計回りおよび反時計回りにそれぞれ５度以内である。

正面方向推定部２４は、判別部２３によって所定の走行状態である判別された状態での視線方向について角度分布集計部２１が集計した結果に基づいて、運転者の正面方向を推定する。より具体的には、角度分布集計部２１によって集計された角度分布において、最も頻度の高い角度に対応する方向が運転者の正面方向であるものと推定する。この推定は、運転者の両眼の視線方向に基づいて行っていることから、推定された正面方向は、運転者の両眼の視線方向の消失点に対応する。

正面方向推定部２４は制御部２５によって動作が制御され、正面方向推定部２４による推定結果は制御部２５へ出力され、制御部２５はこのデータを記憶部２６へ保存させる。記憶部２６には、正面方向推定部２４による推定結果のほかに、視線方向検出部２０による検出結果、角度分布集計部２１による集計結果、走行状態検出部２２による検出結果、および、判別部２３による判別結果も保存される。これらのデー
タは、運転者を識別するデータにひもづけて保存される。

運転者の識別は、識別部としての制御部２５における識別処理に基づいて行われ、例えば、車両に装備された入力装置を用いて運転者を識別するための入力操作を行うことにより行う。運転者の識別は、視線方向検出部２０によって抽出した明瞳孔画像などのデータや、視線方向検出部２０によって撮影した顔画像に基づいて、制御部２５が自動的に個人を行うようにしてもよい。

視線方向検出部２０、角度分布集計部２１、走行状態検出部２２、判別部２３、および、正面方向推定部２４から出力されるデータは、運転機会ごとに記憶部２６に保存され、角度分布集計部２１による集計結果、および、正面方向推定部２４による推定結果は、すべてのデータ、または、直近のデータに基づいて随時更新される。

ここで、図２を参照して視線方向検出部について説明する。図２は、本実施形態における視線方向検出部２０の構成を示すブロック図である。
視線方向検出部２０は、図２に示すように、２つの受像装置３０ａ、３０ｂと、演算制御部４０とを備え、車両の車室内の、例えばインストルメントパネルやウインドシールドの上部などに、運転者の顔に向けるように設置される。

２つの受像装置３０ａ、３０ｂは、それぞれが備えるカメラ３２、３４の光軸が所定距離だけ離間するように配置されている。カメラ３２、３４は、撮像素子として、例えばＣＭＯＳ（相補型金属酸化膜半導体）を有している。この撮像素子は運転者の眼を含む顔の画像を取得し、水平方向および垂直方向に配列された複数の画素で光が検出される。

図２に示すように、受像装置３０ａは、第１光源３１と第１カメラ３２とを備え、第１光源３１は複数個のＬＥＤ（発光ダイオード）光源からなる。これらのＬＥＤ光源は、第１カメラ３２のレンズの外側において、レンズを囲むように配置されている。また、受像装置３０ｂは、第２光源３３と第２カメラ３４とを備え、第２光源３３は、複数個のＬＥＤ光源からなる。これらのＬＥＤ光源は、第２カメラ３４のレンズの外側において、レンズを囲むように配置されている。これらのカメラ３２、３４においては、２つの光源３１、３３から出射される検知光の波長に合わせたバンドパスフィルタを配置していることが好ましい。これにより、瞳孔画像抽出部４５における瞳孔画像の抽出や、視線方向算出部５０における視線方向の算出を精度良く行うことができる。

第１光源３１のＬＥＤ光源、および、第２光源３３のＬＥＤ光源は、８００ｎｍ以上１０００ｎｍ以下の赤外光（近赤外光）を出射し、この検知光を運転者の眼に与えることができるように配置されている。特に、８５０ｎｍは、人の眼の眼球内での光吸収率が低い波長であり、この光は眼球の奥の網膜で反射されやすい。

第１カメラ３２と第１光源３１のＬＥＤ光源の光軸間距離は、視線方向検出部２０と運転者としての運転者との距離を考慮して、第１カメラ３２と第２カメラ３４の光軸間距離に対して十分に短くしている。そのため、第１光源３１は第１カメラ３２に対して互いの光軸が略同軸であるとみなすことができる。同様に、第２カメラ３４と第２光源３３のＬＥＤ光源の光軸間距離は、第１カメラ３２と第２カメラ３４の光軸間距離に対して十分に短くしているため、第２光源３３は第２カメラ３４に対して互いの光軸が略同軸であるとみなすことができる。

これに対して、第１カメラ３２と第２カメラ３４の光軸間距離を十分に長くとっているため、第１光源３１および第１カメラ３２の各光軸と、第２光源３３および第２カメラ３４の各光軸とは、同軸ではない。以下の説明においては、上記配置を、２つの部材が略同軸である等と表現し、２つの部材が非同軸である等と表現することがある。

演算制御部４０は、コンピュータのＣＰＵやメモリで構成されており、図２に示す各ブロックによる処理は、予めインストールされたソフトウエアを実行することで行われる。
演算制御部４０には、光源制御部４１、４３と、画像取得部４２、４４と、瞳孔画像抽出部４５と、瞳孔中心算出部４８と、角膜反射光中心検出部４９と、視線方向算出部５０とが設けられている。

光源制御部４１および光源制御部４３は、制御部２５からの指示信号にしたがって、第１光源３１と第２光源３３の点灯・非点灯をそれぞれ制御する。カメラ３２、３４で取得された画像は、フレームごとに画像取得部４２、４４にそれぞれ取得される。

画像取得部４２、４４で取得された画像は、フレームごとに瞳孔画像抽出部４５に読み込まれる。瞳孔画像抽出部４５は、明瞳孔画像検出部４６と暗瞳孔画像検出部４７とを備えている。明瞳孔画像検出部４６では、以下の明瞳孔撮影条件（ａ）のいずれかを満たす、光源とカメラの組み合わせのときの眼の画像が検出され、暗瞳孔画像検出部４７では、以下の暗瞳孔撮影条件（ｂ）のいずれかを満たす、光源とカメラの組み合わせのときの眼の画像が検出される。
（ａ）明瞳孔撮影条件
（ａ−１）第１光源３１の点灯期間に、これと略同軸の第１カメラ３２で画像を取得
（ａ−２）第２光源３３の点灯期間に、これと略同軸の第２カメラ３４で画像を取得
（ｂ）暗瞳孔撮影条件
（ｂ−１）第１光源３１の点灯期間に、これと非同軸の第２カメラ３４で画像を取得
（ｂ−２）第２光源３３の点灯期間に、これと非同軸の第１カメラ３２で画像を取得

＜明瞳孔画像と暗瞳孔画像＞
第１光源３１の波長８５０ｎｍは、運転者の眼の網膜に至る眼球内での吸収率が低いため、この波長の光は網膜で反射されやすい。受像装置３０ａに設けられた第１光源３１が点灯したときに、第１光源３１と略同軸の第１カメラ３２で取得される画像では、網膜で反射された赤外光が瞳孔を通じて検出され、瞳孔が明るく見える。この画像が明瞳孔画像として明瞳孔画像検出部４６で抽出される。これは、受像装置３０ｂに設けられた第２光源３３が点灯したときに、これと略同軸の第２カメラ３４で取得される画像についても同様である。

これに対して、受像装置３０ａに設けられた第１光源３１を点灯したときに、受像装置３０ｂに設けられた第１光源３１と非同軸の第２カメラ３４で画像を取得する場合には、網膜で反射された赤外光が第２カメラ３４にほとんど入射しないため、瞳孔が暗く見える。したがって、この画像は暗瞳孔画像として、暗瞳孔画像検出部４７で抽出される。これは、受像装置３０ｂの第２光源３３が点灯したときに、受像装置３０ａに設けられた非同軸の第１カメラ３２で取得される画像についても同様である。

瞳孔画像抽出部４５では、明瞳孔画像検出部４６で検出された明瞳孔画像から暗瞳孔画像検出部４７で検出された暗瞳孔画像がマイナスされて、瞳孔の形状が明るくなった瞳孔画像信号が生成される。この瞳孔画像信号は、瞳孔中心算出部４８に与えられる。瞳孔中心算出部４８では、瞳孔画像信号が画像処理されて二値化され、瞳孔の形状と面積に対応する部分のエリア画像を算出される。さらに、このエリア画像を含む楕円が抽出され、楕円の長軸と短軸との交点が瞳孔の中心位置として算出される。あるいは、瞳孔画像の輝度分布により瞳孔の中心位置が算出されてもよい。

また、暗瞳孔画像検出部４７で検出された暗瞳孔画像信号は、角膜反射光中心検出部４９に与えられる。暗瞳孔画像信号は、角膜の反射点から反射された反射光による輝度信号が含まれている。角膜の反射点からの反射光はプルキニエ像を結像するものであり、第１カメラ３２の撮像素子では、きわめて小さい面積のスポット画像として取得される。角膜反射光中心検出部４９では、このスポット画像が画像処理されて、角膜の反射点からの反射光の中心が求められる。

瞳孔中心算出部４８で算出された瞳孔中心算出値と角膜反射光中心検出部４９で算出された角膜反射光中心算出値は、視線方向算出部５０に与えられる。視線方向算出部５０では、瞳孔中心算出値と角膜反射光中心算出値とから視線の向きが検出される。

視線方向算出部５０では、瞳孔の中心と、角膜からの反射点の中心との直線距離αが算出される。また瞳孔の中心を原点とするＸ−Ｙ座標が設定され、瞳孔の中心と反射点の中心とを結ぶ線とＸ軸との傾き角度βが算出される。さらに、前記直線距離αと前記傾き角度βとから、視線方向が算出される。算出された視線方向のデータは、視線方向検出部２０による検出結果として制御部２５へ出力される。

＜撮像動作＞
以上の構成の照明撮像装置および視線方向検出部２０においては、所定の周期ごとに、第１光源３１と第２光源３３を交互に発光させる。第１光源３１が点灯している期間に、第１カメラ３２と第２カメラ３４で同時に撮像が行われる。このとき第１カメラ３２で明瞳孔画像が取得され、第２カメラ３４で暗瞳孔画像が取得される。第２光源３３が点灯している期間も、第１カメラ３２と第２カメラ３４で同時に撮像が行われる。このときは、第１カメラ３２で暗瞳孔画像が取得され、第２カメラ３４で明瞳孔画像が取得される。
このときの撮像動作を第１カメラ３２に着目すると、第１光源３１と第２光源３３の発光が交互に切換えられているときに、第１カメラ３２で撮像を継続していることになり、第２カメラ３４に着目すると、第１光源３１と第２光源３３の発光が交互に切換えられているときに、第２カメラ３４が撮像を継続していることになる。

次に、図３を参照して視線検出方法について説明する。図３は、本実施形態における視線検出の流れを示すフローチャートである。
車両が始動され、運転席に運転者が着席すると、運転者の識別処理が開始される。この処理としては、例えば、予め記憶部２６に保存された運転者リストをインストルメントパネルの表示部に表示し、運転者に自分の名前を選択させる。この識別処理によって運転者が特定されると、制御部２５は、過去に行った正面方向の推定結果２４を記憶部２６から読み出し、仮の正面方向として設定する。

つづいて、走行が開始されると走行状態検出部２２が走行状態の検出を開始し、検出結果が制御部２５を経て判別部２３へ送出される（図３のステップＳ１、走行状態検出工程）。判別部２３においては、走行状態検出部２２による検出結果に基づいて、車両が所定の走行状態であるか否かを判別する（ステップＳ２、判別工程）。

判別部２３による判別において、車両が所定の走行状態でなかったとき（ステップＳ２でＮＯ）は、走行状態検出部２２による走行状態の検出（ステップＳ１）を再び行う。
これに対して判別部２３による判別において、車両が所定の走行状態であったとき（ステップＳ２でＹＥＳ）は、制御部２５は、視線方向検出部２０に対して視線方向の検出を指示し、視線方向検出部２０は一定時間ごとに視線方向の検出を行う（ステップＳ３、視線方向検出工程）。視線方向検出部２０による検出結果は制御部２５を経て角度分布集計部２１へ送出され、視線方向の角度分布データとして集計される（ステップＳ４、集計工程）。

走行状態検出部２２は、視線方向検出部２０による視線検出の開始後も走行状態の検出を続けており、その検出の結果、所定の走行状態が継続されているとき（ステップＳ５でＹＥＳ）は、制御部２５は視線方向検出部２０による視線方向の検出を継続させる。一方、車両が所定の走行状態ではなくなったとき（ステップＳ５でＮＯ）は、制御部２５は角度分布集計部２１による集計を終了するか否かを判断する（ステップＳ６）。

角度分布集計部２１による集計の終了は、例えば、視線方向検出部２０による視線方向の検出回数によって行う。この場合は、例えば、検出回数が５０回に達したところで集計を終了する。
集計の条件に達していない場合（ステップＳ６でＮＯ）は、走行状態の検出（ステップＳ１）にもどり、所定の走行状態となったときに視線方向の検出（ステップＳ３）以下の処理を行う。

一方、集計の条件に達していた場合（ステップＳ６でＹＥＳ）、制御部２５は、角度分布集計部２１による集計結果に基づいて正面方向推定部２４に対して正面方向の推定処理を実行させる（ステップＳ７）。正面方向推定部２４による推定処理が終了すると制御部２５は視線検出を終了する。

以下に変形例について説明する。
上記実施形態においては、所定の走行状態であると判別したときにのみ運転者の視線方向を検出し、この検出データに基づいて角度分布の集計を行い、運転者の正面方向を推定していた。これに対して、車両の走行状態にかかわらずに視線方向検出部２０による視線方向の検出を実行し、角度分布集計部２１において所定の走行状態であるときの視線方向のみについて集計を行うようにしてもよい。また、視線方向検出部２０による検出および角度分布集計部２１による集計は車両の走行状態にかかわらずに実行し、正面方向推定部２４において、所定の走行状態であるときの集計結果のみについて運転者の正面方向を推定するようにしてもよい。

上述の実施形態では、瞳孔中心と角膜反射光中心に基づいて視線方向の検出を行ったが、視線方向の検出はこれに限定されず、例えば、運転者の顔画像に基づいて、または、顔画像と顔画像中の眼の画像に基づいて検出してもよい。

上述の実施形態の走行状態検出部２２では、速度センサ２２ａ、角度センサ２２ｂ、および操舵角センサ２２ｃを用いて検出を行っていたが、所定の走行状態の検出は、これらのうちの１つ、または２つのセンサによる検出結果によって行ってもよい。さらに、鉛直方向に垂直な面内において、車両の前後方向に沿った軸に対するロール角を検出するセンサを加えると車両の姿勢がより精度良く検出できるため好ましい。

以上のように構成されたことから、上記実施形態によれば、次の効果を奏する。
（１）運転者が正面またはその付近を見ているような車両の走行状態において正面方向を推定することが可能となるため、正面方向推定部２４による推定の精度と信頼性が高まるとともに、推定結果を算出するまでの時間を短く抑えることができる。
（２）車両の運転中に自動的に推定処理を行うため、運転開始時に煩雑な較正動作を運転者に強いることがない。
（３）上記実施形態のように車両が所定の走行状態であるときにのみ視線方向を検出すると、角度分布集計部２１による集計処理および正面方向推定部２４による推定処理の演算の負担を減らすことができる。
本発明について上記実施形態を参照しつつ説明したが、本発明は上記実施形態に限定されるものではなく、改良の目的または本発明の思想の範囲内において改良または変更が可能である。

以上のように、本発明に係る視線検出装置は、各運転者に対応した正面方向を正確かつ迅速に推定でき、これにより、各種警告や制御を、運転者の個人差に影響されずに適切に実行することができる。

１０ 視線検出装置
２０ 視線方向検出部
２１ 角度分布集計部（集計部）
２２ 走行状態検出部
２２ａ 速度センサ
２２ｂ 角度センサ
２２ｃ 操舵角センサ
２３ 判別部
２４ 正面方向推定部
２５ 制御部
２６ 記憶部
３０ａ、３０ｂ 受像装置
３１ 第１光源
３２ 第１カメラ
３３ 第２光源
３４ 第２カメラ
４０ 演算制御部
４１、４３ 光源制御部
４２、４４ 画像取得部
４５ 瞳孔画像抽出部
４６ 明瞳孔画像検出部
４７ 暗瞳孔画像抽出部
４８ 瞳孔中心算出部
４９ 角膜反射光中心検出部
５０ 視線方向算出部

Claims (9)

1. 車両の運転者の視線方向を検出する視線方向検出部と、
   前記視線方向検出部による検出結果を、基準方向に対する角度の分布として集計する集計部と、
   前記車両の走行状態を検出する走行状態検出部と、
   前記走行状態検出部による検出結果に基づいて、前記車両が所定の走行状態であるか否かを判別する判別部と、
   前記所定の走行状態であるときの前記視線方向について前記集計部が集計した結果に基づいて、前記運転者の正面方向を推定する推定部とを備えることを特徴とする視線検出装置。
2. 前記視線方向検出部は、前記車両が前記所定の走行状態であるときにのみ前記視線方向を検出することを特徴とする請求項１に記載の視線検出装置。
3. 前記集計部は、前記車両が所定の走行状態であるときに検出された前記視線方向について、前記基準方向に対する角度の分布の集計を行うことを特徴とする請求項１または請求項２に記載の視線検出装置。
4. 前記走行状態検出部は、前記車両の走行速度を検出する速度センサと、前記車両のピッチ角とヨー角の少なくとも一方を検出する角度センサとを有することを特徴とする請求項１から請求項３のいずれか１項に記載の視線検出装置。
5. 前記判別部は、前記速度センサが検出した速度が所定範囲内であり、かつ、前記角度センサが検出した角度が所定の範囲内にあるとき、前記車両が前記所定の走行状態であると判別することを特徴とする請求項４に記載の視線検出装置。
6. 前記走状態検出部は、前記車両の走行速度を検出する速度センサと、前記車両の操舵角を検出する操舵角センサとを有することを特徴とする請求項１から請求項５のいずれか１項に記載の視線検出装置。
7. 前記判別部は、前記速度センサが検出した速度が所定範囲内であり、かつ、前記操舵角センサが検出した操舵角が所定の範囲内にあるとき、前記車両が前記所定の走行状態であると判別することを特徴とする請求項６に記載の視線検出装置。
8. 前記運転者を識別する識別部と、前記識別部によって識別された運転者について、少なくとも前記推定部による推定結果を運転機会ごとに記憶する記憶部とを備えることを特徴とする請求項１から請求項７のいずれか１項に記載の視線検出装置。
9. 車両の運転者の視線方向を検出する視線方向検出工程と、
   前記車両の走行状態を検出する走行状態検出工程と、
   前記視線方向の検出結果を、基準方向に対する角度の分布として集計する集計工程と、
   前記走行状態の検出結果に基づいて、前記車両が所定の走行状態であるか否かを判別する判別工程と、
   前記所定の走行状態であるときに検出された前記視線方向について集計した結果に基づいて、前記運転者の正面方向を推定する推定工程とを備えることを特徴とする視線検出方法。

Images