JP2017162233A - 視線検出装置および視線検出方法 - Google Patents

Abstract

【課題】照度変化の大きな環境で用いても、対象者の視線方向を精度よく検出することができる視線検出装置および視線検出方法を提供する。
【解決手段】撮像体（第１カメラ１２および第２カメラ２２）と、角膜反射光中心検出部４２と、瞳孔中心算出部４１と、撮像体で取得した画像に基づいて対象者の虹彩中心を算出する虹彩中心算出部３６と、少なくとも対象者の目を含む周囲の照度を検出する照度検出部５０と、瞳孔中心と虹彩中心の座標の差に基づいて、虹彩中心の座標を補正する虹彩中心補正部４３と、照度検出部により、照度が閾値未満であると検出されたときは角膜反射光中心と瞳孔中心とに基づいて視線方向を算出し、照度が閾値以上であると検出されたときは、角膜反射光中心と、虹彩中心補正部によって補正された補正後虹彩中心とに基づいて視線方向を算出する視線方向算出部４４とを備える。
【選択図】図１

Description

本発明は、対象者の視線方向を検出する視線検出装置および視線検出方法に関する。

角膜反射光中心と瞳孔中心との相対位置によって視線方向を検出する装置は、高照度下では瞳孔が縮小するために瞳孔中心の位置の検出が難しくなり、視線方向を正確に検出することは困難であった。このような現象は、車両内のように、強い外光に晒され、照度変化の大きな環境で使用される視線検出装置において顕著に現れやすかった。これに対して、特許文献１に記載の瞳孔検出装置では、周囲の明暗に応じて瞳孔検出と虹彩検出を切り替えることが提案されている。

特開２００８−６１４９号公報

しかしながら、瞳孔中心と虹彩中心は、対象となる眼球の回転角度に応じて角膜表面からの距離が異なってくるため、特許文献１に記載の瞳孔検出装置のように瞳孔検出と虹彩検出を切り替えるだけでは、視線方向の検出結果に差が生じてしまい、このような検出結果に基づいて精度の高い視線検出を実行するのは困難であった。

そこで本発明は、照度変化の大きな環境で用いても、対象者の視線方向を精度よく検出することができる視線検出装置および視線検出方法を提供することを目的とする。

上記課題を解決するために、本発明の視線検出装置は、対象者の目を含む画像を取得する撮像体と、撮像体で取得した画像に基づいて対象者の角膜反射光中心を検出する角膜反射光中心検出部と、撮像体で取得した画像に基づいて対象者の瞳孔中心を算出する瞳孔中心算出部と、撮像体で取得した画像に基づいて対象者の虹彩中心を算出する虹彩中心算出部と、少なくとも対象者の目を含む周囲の照度を検出する照度検出部と、瞳孔中心と虹彩中心の座標の差に基づいて、虹彩中心の座標を補正する虹彩中心補正部と、照度検出部により、照度が閾値未満であると検出されたときは角膜反射光中心と瞳孔中心とに基づいて視線方向を算出し、照度が閾値以上であると検出されたときは、角膜反射光中心と、虹彩中心補正部によって補正された補正後虹彩中心とに基づいて視線方向を算出する視線方向算出部とを備えることを特徴としている。

本発明の視線検出方法は、対象者の目を含む画像を取得するステップと、撮像体で取得した画像に基づいて対象者の角膜反射光中心を検出する角膜反射光中心検出ステップと、撮像体で取得した画像に基づいて対象者の瞳孔中心を算出する瞳孔中心算出ステップと、撮像体で取得した画像に基づいて対象者の虹彩中心を算出し、瞳孔中心と虹彩中心の座標の差に基づいて、虹彩中心の座標を補正する虹彩中心算出ステップと、少なくとも対象者の目を含む周囲の照度を検出する照度検出ステップと、照度検出ステップにおいて、照度が閾値未満であると検出されたときは角膜反射光中心と瞳孔中心とに基づいて視線方向を算出し、照度が閾値以上であると検出されたときは、角膜反射光中心と、虹彩中心算出ステップで補正された補正後虹彩中心とに基づいて視線方向を算出する視線方向算出ステップとを有することを特徴としている。

本発明の視線検出装置および視線検出方法によれば、照度に応じて視線方向の算出に用いるデータとして瞳孔中心と虹彩中心を切り替え、かつ、対象者の眼球角度に基づいて補正された虹彩中心座標を用いることにより、照度変化の大きな環境であっても、対象者の視線方向を精度良く検出することが可能となる。

本発明の視線検出装置において、虹彩中心補正部による補正に用いる、瞳孔中心と虹彩中心の座標は同一の眼球角度における画像に基づいて算出することが好ましい。
また、虹彩中心補正部による補正に用いる、瞳孔中心と虹彩中心の座標は共通の画像に基づいて算出することが好ましい。
本発明の視線検出方法において、虹彩中心算出ステップは、同一の眼球角度の画像における瞳孔中心と虹彩中心の座標の差に基づいて、虹彩中心の座標を補正することが好ましい。
また、虹彩中心算出ステップは、共通の画像における瞳孔中心と虹彩中心の座標の差に基づいて、虹彩中心の座標を補正することが好ましい。
これにより、視線方向検出の精度をさらに高めることができる。

本発明の視線検出装置および視線検出方法によると、車両内のような照度変化の大きな環境で用いても、対象者の視線方向を精度よく検出することができる。

本発明の実施形態に係る視線検出装置の構成を示すブロック図である。 （Ａ）は対象者の眼球角度を左右に変えたときの瞳孔中心と虹彩中心の座標をそれぞれ示すグラフ、（Ｂ）は（Ａ）に示す瞳孔中心と虹彩中心の座標に基づいて算出した、瞳孔距離と黒目距離の差を示すグラフである。 本発明の実施形態の視線検出方法による画像の取得から視線方向の算出までの流れを示すフローチャートである。

以下、本発明の実施形態に係る視線検出装置および視線検出方法について図面を参照しつつ詳しく説明する。
図１は、本実施形態に係る視線検出装置の構成を示すブロック図である。本実施形態の視線検出装置は、図１に示すように、第１光源１１および第２光源２１と、撮像体としての第１カメラ１２および第２カメラ２２と、照度検出部５０と、演算制御部ＣＣとを備える。この視線検出装置は、自動車の車室内の、例えばインストルメントパネルやウインドシールドの上部などに、対象者としての運転者の顔に向けるように設置される。

第１カメラ１２と第２カメラ２２は、それぞれの光軸が所定距離だけ離間するように配置されている。第１カメラ１２と第２カメラ２２は、撮像素子として、例えばＣＭＯＳ（相補型金属酸化膜半導体）を有している。この撮像素子は、運転者の目を含む顔の画像を取得する。撮像素子では、水平方向及び垂直方向に配列された複数の画素を有し、各画素の位置に配置された受光素子で光が検出される。

第１光源１１は、例えば複数個のＬＥＤ（発光ダイオード）光源からなる。これらのＬＥＤ光源は、例えば、第１カメラ１２のレンズの外側において、それらの光軸とカメラ１２の光軸とが一定の距離だけ離れた円状になるように配置されている。
また、第２光源２１は、第１光源１１と同様に、例えば複数個のＬＥＤ光源からなり、これらのＬＥＤ光源は、第２カメラ２２のレンズの外側において、それらの光軸と第２カメラ２２の光軸とが一定の距離だけ離れた円状になるように配置されている。
なお、カメラ１２、２２においては、光源１１、２１から出射される検出光の波長に合わせたバンドパスフィルタを配置していることが好ましい。これにより、瞳孔画像や虹彩中心の抽出や、視線方向算出部４４における視線方向の算出を精度良く行うことができる。

第１光源１１及び第２光源２１は、点灯することによって、検出光として同じ波長の赤外光、例えば波長が８５０ｎｍの赤外光（近赤外光）を出射し、この検出光を対象者の目に与えることができるように配置されている。ここで、８５０ｎｍは、人の目の眼球内での光吸収率が低い波長であり、この波長の光は眼球の奥の網膜で反射されやすい。

第１カメラ１２と第１光源１１の光軸間距離は、視線検出装置と対象者としての運転者との距離を考慮して、第１カメラ１２と第２カメラ２２の光軸間距離に対して十分に短くしている。そのため、第１光源１１は第１カメラ１２に対して互いの光軸が略同軸であるとみなすことができる。同様に、第２カメラ２２と第２光源２１の光軸間距離は、第１カメラ１２と第２カメラ２２の光軸間距離に対して十分に短くしているため、第２光源２１は第２カメラ２２に対して互いの光軸が略同軸であるとみなすことができる。

これに対して、第１カメラ１２と第２カメラ２２は、互いの光軸間距離を十分に長くしているため、第１光源１１及び第１カメラ１２の各光軸と、第２光源２１及び第２カメラ２２の各光軸とは、同軸ではない。以下の説明においては、上記配置を、２つの部材が略同軸である等と表現し、２つの部材が非同軸である等と表現することがある。

照度検出部５０は、例えば、運転席の周辺に配置したフォトレジスタやフォトダイオードであって、運転者の顔、特に目を含む周囲の照度または光度を測定する。また、視線検出装置または車両に設けた輝度計によって、運転者の顔の輝度を測定し、測定した輝度を照度に代えて用いてもよい。

演算制御部ＣＣは、コンピュータのＣＰＵやメモリで構成されており、図１に示す各ブロックの機能は、予めインストールされたソフトウエアを実行することで演算が行われる。
演算制御部ＣＣには、光源制御部３１と、露光制御部３２と、画像取得部３３と、明瞳孔画像検出部３４と、暗瞳孔画像検出部３５と、虹彩中心算出部３６と、瞳孔中心算出部４１と、角膜反射光中心検出部４２と、虹彩中心補正部４３と、視線方向算出部４４とが設けられている。

光源制御部３１は、露光制御部３２からの指示信号にしたがって、所定の周期ごとに、第１光源１１と第２光源２１から交互に検出光を出射するように制御する。

露光制御部３２は、第１光源１１または第２光源２１からの検出光の出射に同期させるように、所定の露光条件で、第１カメラ１２または第２カメラ２２に撮像を行わせる。

画像取得部３３は、第１カメラ１２または第２カメラ２２で撮像された画像を、フレームごとにそれぞれ取得し、この画像から対象者の眼を含む範囲の画像を切り出す。画像取得部３３で取得された画像は、明瞳孔画像検出部３４と、暗瞳孔画像検出部３５と、虹彩中心算出部３６とにそれぞれ読み込まれる。

明瞳孔画像検出部３４では、以下の明瞳孔撮影条件（ａ）のいずれかを満たす、光源とカメラの組み合わせのときの目の画像が検出され、暗瞳孔画像検出部３５では、以下の暗瞳孔撮影条件（ｂ）のいずれかを満たす、光源とカメラの組み合わせのときの目の画像が検出される。

（ａ）明瞳孔撮影条件
（ａ−１）第１光源１１の点灯期間に、これと略同軸の第１カメラ１２で画像を取得
（ａ−２）第２光源２１の点灯期間に、これと略同軸の第２カメラ２２で画像を取得
（ｂ）暗瞳孔撮影条件
（ｂ−１）第１光源１１の点灯期間に、これと非同軸の第２カメラ２２で画像を取得
（ｂ−２）第２光源２１の点灯期間に、これと非同軸の第１カメラ１２で画像を取得

＜明瞳孔画像と暗瞳孔画像＞
第１光源１１の波長８５０ｎｍは、運転手の網膜に至る眼球内での吸収率が低く、この波長の光は網膜で反射されやすい。第１光源１１が点灯したときに、第１光源１１と略同軸の第１カメラ１２で取得される画像では、網膜で反射された赤外光が瞳孔を通じて検出され、瞳孔が明るく見える。この画像が明瞳孔画像として明瞳孔画像検出部３４で抽出される。これは、第２光源２１が点灯したときに、これと略同軸の第２カメラ２２で取得される画像についても同様である。

これに対して、第１光源１１を点灯したときに、第１光源１１と非同軸の第２カメラ２２で画像を取得する場合には、網膜で反射された赤外光が第２カメラ２２にほとんど入射しないため、瞳孔が暗く見える。したがって、この画像は暗瞳孔画像として、暗瞳孔画像検出部３５で抽出される。これは、第２光源２１が点灯したときに、非同軸の第１カメラ１２で取得される画像についても同様である。

瞳孔中心算出部４１では、明瞳孔画像検出部３４で検出された明瞳孔画像から、暗瞳孔画像検出部３５で検出された暗瞳孔画像がマイナスされて、瞳孔の形状が明るくなった瞳孔画像信号が生成される。この瞳孔画像信号は、画像処理されて二値化され、瞳孔の形状と面積に対応する部分のエリア画像が算出される。さらに、このエリア画像を含む楕円が抽出され、楕円の長軸と短軸との交点が瞳孔の中心位置として算出される。あるいは、瞳孔画像の輝度分布により瞳孔の中心位置が算出されてもよい。

角膜反射光中心検出部４２では、暗瞳孔画像検出部３５で検出された暗瞳孔画像が与えられる。この暗瞳孔画像信号は、角膜の反射点から反射された反射光による輝度信号が含まれている。角膜の反射点からの反射光はプルキニエ像を結像するものであり、きわめて小さい面積のスポット画像となっている。角膜反射光中心検出部４２では、スポット画像が画像処理されて、角膜の反射点からの反射光の中心が求められる。

虹彩中心算出部３６は、画像取得部３３から得た目の画像から、例えば、明瞳孔撮影条件を満たす画像の虹彩（黒目）と白目の反射率の違いを利用して、虹彩部分を楕円状または円形状に抽出し、抽出した図形の中心を算出する。虹彩中心の算出に用いる画像は、明瞳孔画像と暗瞳孔画像のいずれでも良いが、瞳孔中心の算出に用いた明瞳孔画像または暗瞳孔画像と共通の画像を用いることにより、後述の虹彩中心補正部４３による補正を精度良く行うことができ、これによって高精度の視線検出に資することができる。

図２（Ａ）は対象者の眼球角度を左右に変えたときの瞳孔中心と虹彩中心の座標をそれぞれ示すグラフ、図２（Ｂ）は図２（Ａ）に示す瞳孔中心と虹彩中心の座標に基づいて算出した、瞳孔距離と黒目距離（虹彩中心距離）の差、すなわち位置ずれ量を示すグラフである。図２（Ａ）における座標は、鉛直方向を上下方向として、上下方向に垂直な面内に左右方向を設定しており、対象者の正面前方を左右方向の０度、正面に対して眼球を真横に向けたときを９０度としている。

眼球角度が０度のときは瞳孔中心と虹彩中心の座標にずれはないが、眼球角度が大きくなるにつれて、座標にずれが生じ（図２（Ａ））、瞳孔距離と黒目距離（虹彩中心間距離）の差が大きくなる（図２（Ｂ））。このため、虹彩中心補正部４３では、虹彩中心算出部３６で算出した虹彩中心の座標に対して、瞳孔中心算出部４１で算出した瞳孔中心と虹彩中心算出部３６で算出した虹彩中心の座標の差に基づいて補正を行っている。このとき、眼球角度が０度の画像では瞳孔中心と虹彩中心とが重なり瞳孔中心と虹彩中心の座標の差を算出するのが困難なため、眼球角度が０度よりも大きい画像に基づいて虹彩中心の補正を行うことが好ましい。本実施形態の視線検出装置においては、共通の目の画像に基づいて、瞳孔中心算出部４１では瞳孔中心を算出するとともに、虹彩中心算出部３６では虹彩中心を算出している。また、瞳孔中心は、角膜反射光中心とともに視線方向算出部４４における視線方向の算出に用いられており、算出された視線方向は眼球角度に対応している。したがって、同じときに取得した目の画像に基づいて算出した、瞳孔中心と虹彩中心の座標は、そのときの眼球角度、すなわち同一の眼球角度に対応している。このため、両者の座標の差に基づいて、虹彩中心の座標を瞳孔中心の座標に一致するように補正すれば、眼球角度に正確に対応した虹彩中心を得ることが可能となる。

眼球角度に対応した、瞳孔中心と虹彩中心の座標のデータは、対象者を認識するためのＩＤ番号に対応させて演算制御部ＣＣのメモリ（不図示）に記憶させておき、対象者が車両の使用を開始するたびに、携帯電話や腕時計型電子機器等の携帯電子機器から発せられるＩＤ番号の信号やＩＤスイッチ等の操作または視線検出装置に備えられるカメラで取得した顔画像に基づく認証等によって呼び出すようにするとよい。

ここで、図２（Ａ）に示すような、眼球角度を変えたときの瞳孔中心と虹彩中心の座標の測定は、車両の運転中の目の動きに合わせて行ってデータを蓄積させてもよいし、これに加えて、または、これに代えて、運転開始前に、ウインドシールド上のテスト表示を対象者に追跡させ、このときの瞳孔中心と虹彩中心の動きを記録するようにしてもよい。
また、上述の例では、同一の眼球角度における、瞳孔中心と虹彩中心の座標の差に基づいて虹彩中心の座標を補正していたが、補正に用いる座標はこれに限定されず、異なる眼球角度の画像に基づいて補正してもよい。

上述のように瞳孔中心算出部４１で算出された瞳孔中心算出値と、角膜反射光中心検出部４２で算出された角膜反射光中心算出値と、虹彩中心補正部４３で補正された補正後虹彩中心の算出値とは、視線方向算出部４４に与えられる。また、視線方向算出部４４には、照度検出部５０による検出結果も与えられている。

視線方向算出部４４は、照度検出部５０による検出結果に応じて視線方向の算出方法を切り替える。すなわち、照度が閾値未満であると検出されたときは角膜反射光中心と瞳孔中心とに基づいて視線方向を算出し、照度が閾値以上であると検出されたときは、角膜反射光中心と、虹彩中心補正部４３によって補正された補正後虹彩中心とに基づいて視線方向を算出する。ここで、照度の閾値は、これ以上大きくなると、瞳孔が小さくなって、その検出が困難となる値である。このように視線方向の算出方法を切り替えることによって、照度が低い場合は瞳孔中心を用いて、また、照度が高くなって瞳孔が小さくなったとしても補正後虹彩中心を用いて、視線検出を正確に行うことが可能となる。

＜撮像動作＞
図３を参照して、本実施形態の視線検出方法における視線方向の算出の流れについて説明する。図３は、本実施形態の視線検出方法による画像の取得から視線方向の算出までの流れを示すフローチャートである。
まず、光源制御部３１と露光制御部３２の制御によって、第１光源１１と第２光源２１が所定のタイミングで駆動され、これに対応して第１カメラ１２と第２カメラ２２で対象者の顔の画像がそれぞれ撮像される。撮像された画像は画像取得部３３に与えられ、目を含む所定範囲の画像が切り取られる（ステップＳ１）。

画像取得部３３が取得した画像は明瞳孔画像検出部３４と、暗瞳孔画像検出部３５と、虹彩中心算出部３６とへ与えられる。
明瞳孔画像検出部３４では、上記明瞳孔撮影条件（ａ）のいずれかを満たす、光源とカメラの組み合わせのときの目の画像が明瞳孔画像として検出され、暗瞳孔画像検出部３５では、上記暗瞳孔撮影条件（ｂ）のいずれかを満たす、光源とカメラの組み合わせのときの目の画像が暗瞳孔画像として検出される。虹彩中心算出部３６では、例えば、上記明瞳孔撮影条件を満たす画像の虹彩（黒目）と白目の反射率の違いを利用して、虹彩部分を楕円状または円形状に抽出し、抽出した図形の中心が算出することによって虹彩中心が算出される（ステップＳ２）。

さらに、明瞳孔画像検出部３４で検出された明瞳孔画像と、暗瞳孔画像検出部３５で検出された暗瞳孔画像と、は瞳孔中心算出部４１に与えられ、ここで明瞳孔画像から暗瞳孔画像が減算されて瞳孔画像信号が生成される。この瞳孔画像信号は、瞳孔中心算出部４１で画像処理されて二値化され、瞳孔の形状と面積に対応する部分のエリア画像を含む楕円が抽出され、楕円の長軸と短軸との交点が瞳孔の中心位置として算出される。

また、暗瞳孔画像検出部３５で検出された暗瞳孔画像は、角膜反射光中心検出部４２に与えられ、この暗瞳孔画像信号において角膜の反射点から反射された反射光によるスポット画像が画像処理されて、角膜の反射点からの反射光の中心が求められる。

さらにまた、虹彩中心補正部４３では、虹彩中心算出部３６で算出された虹彩中心の座標に対して、瞳孔中心算出部４１で算出した瞳孔中心と虹彩中心算出部３６で算出した虹彩中心の座標の差に基づいて補正を行う。瞳孔中心と虹彩中心の座標の差は、すでに算出・保存されたものを用いる。
以上のように算出した、瞳孔中心、角膜反射光中心、および、補正された補正後虹彩中心のデータは視線方向算出部４４へ出力される。

視線方向算出部４４では、照度検出部５０による検出結果に応じて、視線方向の算出に用いるデータを選択する（ステップＳ３）。
照度が閾値未満である場合（ステップＳ３でＹＥＳ）、視線方向算出部４４は、角膜反射光中心と瞳孔中心の値に基づいて視線方向を算出する（ステップＳ４）。この場合、視線方向の算出後に、視線方向算出部４４は、入力された瞳孔中心と虹彩中心との差を算出し、演算制御部ＣＣのメモリ（不図示）に記憶させる。また、視線方向算出部４４は、角膜反射光中心と瞳孔中心の値に基づいて算出した視線方向から、眼球角度を推定演算し、この結果を、瞳孔中心と虹彩中心との差に対応させて記憶させる。

一方、照度が閾値以上である場合（ステップＳ３でＮＯ）、瞳孔中心の算出が困難であるため、視線方向算出部４４は、虹彩中心補正部４３で補正された補正後虹彩中心と、角膜反射光中心の値に基づいて視線方向を算出する（ステップＳ６）。

以下に変形例について説明する。
（１）上記実施形態では、第１光源１１と第２光源２１から同じ波長の検出光を交互又は同時に出射し、光源と略同軸のカメラで撮影した画像から明瞳孔用画像を検出し、または、光源と非同軸のカメラで撮影した画像から暗瞳孔画像を検出していた。これに対して、第１光源１１からの検出光と第２光源２１からの検出光の波長を異なるものにし、それぞれの光源と略同軸のカメラで対象者の目の画像を取得してもよい。

この場合、第１光源１１と第２光源２１の検出光の波長としては、例えば、一方の光源からの検出光の波長（第１波長）を８５０ｎｍとし、他方の光源からの検出光の波長（第２波長）を第１波長より長い９４０ｎｍとする。ここで、８５０ｎｍが、人の目の眼球内で光吸収率が低く網膜で反射されやすいのに対して、９４０ｎｍは、人の目の眼球内で光吸収率が高い波長であり、網膜で反射されにくい。なお、人の目の眼球内、あるいは網膜上等での光吸収率や光反射率の高低の関係が同様であれば、８５０ｎｍと９４０ｎｍ以外の波長の組み合わせとしてもよい。また、光源とカメラについては、上述の実施形態のように２組設ける形に限定されずに、例えば、カメラは１台として、このカメラに対して略同軸となるように、第１波長の検出光を出射する光源と第２波長の検出光を出射する光源を配置する構成も可能である。

光源からの検出光の波長をこのように設定した場合、波長８５０ｎｍの検出光を与える光源と略同軸のカメラで取得した画像により明瞳孔画像を検出することができ、波長９４０ｎｍの検出光を与える光源と略同軸のカメラで取得した画像により暗瞳孔画像を検出することができる。

（２）光源とカメラについては、上述の実施形態のように２組設ける形に限定されず、例えば、カメラは１台として、このカメラに対して略同軸の光源と非同軸の光源を設ける構成や、光源を１台として、この光源に対して略同軸のカメラと非同軸のカメラを設ける構成も可能である。

以上のように構成されたことから、本実施形態の視線検出装置および視線検出方法によれば、照度に応じて視線方向の算出に用いるデータとして瞳孔中心と虹彩中心を切り替え、かつ、対象者の眼球角度に基づいて補正された補正後虹彩中心座標を用いることにより、照度変化の大きな環境であっても、対象者の視線方向を精度良く検出することが可能となる。
本発明について上記実施形態を参照しつつ説明したが、本発明は上記実施形態に限定されるものではなく、改良の目的または本発明の思想の範囲内において改良または変更が可能である。

以上のように、本発明に係る視線検出装置および視線検出方法は、照度変化の大きな環境においても精度良く視線検出を行うことができる点で有用である。

１１ 第１光源
１２ 第１カメラ
２１ 第２光源
２２ 第２カメラ
３１ 光源制御部
３２ 露光制御部
３３ 画像取得部
３４ 明瞳孔画像検出部
３５ 暗瞳孔画像検出部
３６ 虹彩中心算出部
４１ 瞳孔中心算出部
４２ 角膜反射光中心検出部
４３ 虹彩中心補正部
４４ 視線方向算出部
５０ 照度検出部

Claims (6)

1. 対象者の目を含む画像を取得する撮像体と、
   前記撮像体で取得した画像に基づいて前記対象者の角膜反射光中心を検出する角膜反射光中心検出部と、
   前記撮像体で取得した画像に基づいて前記対象者の瞳孔中心を算出する瞳孔中心算出部と、
   前記撮像体で取得した画像に基づいて前記対象者の虹彩中心を算出する虹彩中心算出部と、
   少なくとも前記対象者の目を含む周囲の照度を検出する照度検出部と、
   前記瞳孔中心と前記虹彩中心の座標の差に基づいて、前記虹彩中心の座標を補正する虹彩中心補正部と、
   前記照度検出部により、前記照度が閾値未満であると検出されたときは前記角膜反射光中心と前記瞳孔中心とに基づいて視線方向を算出し、前記照度が閾値以上であると検出されたときは、前記角膜反射光中心と、前記虹彩中心補正部によって補正された補正後虹彩中心とに基づいて視線方向を算出する視線方向算出部とを備えることを特徴とする視線検出装置。
2. 前記虹彩中心補正部による補正に用いる、前記瞳孔中心と前記虹彩中心の座標は同一の眼球角度における画像に基づいて算出することを特徴とする請求項１に記載の視線検出装置。
3. 前記虹彩中心補正部による補正に用いる、前記瞳孔中心と前記虹彩中心の座標は共通の画像に基づいて算出することを特徴とする請求項１または請求項２に記載の視線検出装置。
4. 対象者の目を含む画像を取得するステップと、
   前記撮像体で取得した画像に基づいて前記対象者の角膜反射光中心を検出する角膜反射光中心検出ステップと、
   前記撮像体で取得した画像に基づいて前記対象者の瞳孔中心を算出する瞳孔中心算出ステップと、
   前記撮像体で取得した画像に基づいて前記対象者の虹彩中心を算出し、前記瞳孔中心と前記虹彩中心の座標の差に基づいて、前記虹彩中心の座標を補正する虹彩中心算出ステップと、
   少なくとも前記対象者の目を含む周囲の照度を検出する照度検出ステップと、
   前記照度検出ステップにおいて、前記照度が閾値未満であると検出されたときは前記角膜反射光中心と前記瞳孔中心とに基づいて視線方向を算出し、前記照度が閾値以上であると検出されたときは、前記角膜反射光中心と、前記虹彩中心算出ステップで補正された補正後虹彩中心とに基づいて視線方向を算出する視線方向算出ステップとを有することを特徴とする視線検出方法。
5. 前記虹彩中心算出ステップは、同一の眼球角度の画像における前記瞳孔中心と前記虹彩中心の座標の差に基づいて、前記虹彩中心の座標を補正する請求項４に記載の視線検出方法。
6. 前記虹彩中心算出ステップは、共通の画像における前記瞳孔中心と前記虹彩中心の座標の差に基づいて、前記虹彩中心の座標を補正する請求項４または請求項５に記載の視線検出方法。

Images