JP2000070225A - 視線検出装置 - Google Patents

Abstract

(57)【要約】 【課題】視線検出装置において瞳孔エッジ部とプルキン
エ像の両方が確実に抽出できなければ眼球回転角を算出
することができず、条件によっては検出に時間がかかっ
たり、検出失敗が多く出て信頼性が低く、使い勝手が悪
いという問題を解決すること。 【解決手段】予めキャリブレーション動作を行うことに
よって得たプルキンエ像の位置、あるいは以前の視線検
出時に検出を成功した最新のプルキンエ像の位置を記憶
して、該記憶値を利用して視線検出を行うことを特徴と
する視線検出装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は視線検出装置に関す
るもので、特に信頼性が高く、高速検出可能な視線検出
装置に関するものである。

【０００２】

【従来の技術】従来、視線検出装置はプルキンエ像を形
成するため眼球を照明するIREDと、照明された眼球の像
を撮像素子へ導くために眼球前部に略45°にダイクロイ
ックミラーを備えた構造を採っている。ダイクロイック
ミラーで反射した眼球像は撮像素子で画像として捉えら
れる。

【０００３】撮像素子から得られる眼球の画像信号から
は先ず、瞳孔エッジ部を抽出することによって瞳孔中心
位置を推定し、さらにプルキンエ像の抽出が行なわれ
る。瞳孔エッジ部もしくはプルキンエ像のどちらか一方
が抽出できなかった場合は再度抽出を行い、両者を抽出
した後に眼球回転角を算出していた。

【０００４】

【発明が解決しようとする課題】しかしながら、上記従
来例では画像信号より瞳孔エッジ部とプルキンエ像の両
方が確実に抽出できなければ眼球回転角を算出すること
ができず、条件によっては検出に時間がかかったり、検
出失敗が多く出て信頼性が低く、使い勝手が悪いという
問題があった。

【０００５】

【課題を解決するための手段】本発明は上記問題に鑑み
てなされたもので、眼球を照明する投光手段と、眼球画
像を取込む撮像手段を備え、かつ眼球に対して前記投光
手段および撮像手段の位置が固定された視線検出装置に
おいて、前記投光手段によって形成されるプルキンエ像
と瞳孔中心との偏差から眼球回転量を算出し視線方向を
検出する際、キャリブレーション時に検出したプルキン
エ像の位置をデフォルトとして記憶し、視線位置を検出
するときには瞳孔位置のみ検出を行ない、プルキンエ像
位置は前記デフォルト値を使用することを特徴としてい
る。検出対象を一つに絞り、プルキンエ像に対しては所
定の既知の関係を利用することによって検出ルーチンの
簡略化、高速化が図れるとともに、検出失敗を少なく
し、装置の信頼性を高めることができる。

【０００６】また、既定回数毎にプルキンエ像を取り、
デフォルト値を適宜新しい記憶値に更新することによっ
て、検出精度の高速化が図れるとともに、精度も十分に
保つことが可能となった。

【０００７】また、本発明では視線検出が成功した最新
のプルキンエ像の位置を記憶し、検出時にプルキンエ像
の検出ができなかった場合には、前記記憶値を使用する
ことを特徴としている。従って、瞳孔エッジ部が抽出で
きてプルキンエ像が抽出できない場合にも眼球回転角の
算出できるため、検出失敗を少なくすることが可能とな
った。

【０００８】プルキンエ像の検出に記憶値を適用すると
きは表示を行えば、眼球の像を完全に検出できたときと
瞳孔のみが検出できたときと区別することができる。さ
らに記憶値を適応する回数を制限することによって、時
間的に古いデータを使用しないようにでき、精度の低下
を防止することができる。

【０００９】

【発明の実施の形態】図1 〜5 は本発明の実施形態1 を
示すものである。図1 は視線検出装置の接続例、図2 お
よび図3 は視線検出器の視線検出部を示す断面図および
背面図である。図中、1 は眼鏡タイプの視線検出器、2
はパソコン、3 はモニタ、4 は視線検出用眼鏡からのデ
ータを変換する変換ボックス、5 は眼球、6 は眼球画像
を撮像素子8 に導く赤外線反射膜を蒸着したダイクロイ
ックミラー、7 は投光手段であるIREDで、眼球を照射し
角膜上にプルキンエ像を形成させるため一つ以上の発光
部を備えている。8 はダイクロイックミラー6 によって
反射した眼球画像を取り込む撮像素子、9 は撮像素子8
に像を結像させる結像レンズである。

【００１０】本発明の視線検出装置は上記説明した様
に、眼球に対して投光手段および撮像手段の位置を固定
された装置となっている。

【００１１】本実施形態の視線検出装置の視線検出原理
は以下の通りである。

【００１２】IRED 7からの光が眼球5 に照射されると角
膜10上にIRED7 の虚像、すなわち図6 に示すプルキンエ
像11が形成される。本実施形態においては精度向上のた
めIRED7 に2 灯用いているため、プルキンエ像11は2 個
生じる。眼球5 の回転に伴い瞳孔中心とプルキンエ像11
の相対位置は変化し、該相対位置を算出することによっ
て眼球５の回転状態が検出される。

【００１３】本発明は、瞳孔中心に比べてプルキンエ像
11の位置変化が非常に少ないという性質を利用すること
を特徴としている。

【００１４】IRED 7によって照明された眼球の像は眼球
光軸に対して45°に配置されたダイクロイックミラー6
により上部に反射される。反射された光は結像レンズ9
によって撮像素子８上に結像され、眼球５の画像が取り
込まれる。

【００１５】取り込まれた眼球画像は図6 に示すような
画像で、該眼球画像から略円形を成す瞳孔12のエッジ部
をポイント抽出する。抽出されたポイントから円近似が
行なわれ、円の中心点が算出される。算出された円の中
心点とプルキンエ像11の相対変位量が眼球回転量となる
ため、視線方向を検出することができる。

【００１６】次に本実施形態の視線検出装置の動作状態
について説明する。図4 はディスプレイ上に視線を表示
するフローチャート、図5 は図4 における視線検出のサ
ブルーチンを示すフローチャートである。

【００１７】図4 で視線検出がスタートすると、ステッ
プ＃2 において装置は視線検出用眼鏡1 により視線検出
を行う。視線検出ののサブルーチンに関しては後述す
る。

【００１８】次にステップ＃3 では、ステップ＃2 にお
いて得られた眼球回転角を視線検出眼鏡1 から排出し、
変換ボックス4 を通じてパーソナルコンピュータ2 へ送
り出す。送り出された眼球の回転角の値とディスプレイ
3 と被験者の位置関係より、ディスプレイ3 上のどの位
置に視線方向があるかをパーソナルコンピュータ2 で計
算し、ステップ＃4 で計算された視線位置をディスプレ
イ3 上に表示する。

【００１９】続くステップ＃5 で視線動作を継続するか
否かを判定し、継続する場合はステップ＃2 へ戻り、終
了する場合はステップ＃6 で終了する。

【００２０】次いで本発明の特徴であるキャリブレーシ
ョン動作を図9 を用いて説明する。図9 はキャリブレー
ション時のサブルーチンを示したものである。キャリブ
レーション動作は眼球5 の動きに個人差があり、測定し
た眼球回転量をそのまま用いただけでは正確な視線位置
を算出できないため行なうもので、具体的には被測定者
毎の誤差を測定することを意味している。本サブルーチ
ンでは異なる2 点を注視したときのデータからキャリブ
レーションを行なう。

【００２１】フローチャートでは、まず、ステップ＃30
2 でキャリブレーション動作に入ったことを示す表示を
行い、ステップ＃303 で第1 の注視点を表示して被測定
者にこの点の注視を促す。

【００２２】続くステップ＃304 で、第1 の注視点を注
視したときの視線検出動作を行う。ステップ＃304 にお
ける視線検出サブルーチンはキャリブレーション動作で
あるため、正確に瞳孔中心とプルキンエ像11を測定する
必要があり、従来例である図13と同様のサブルーチンを
とる。ここでは図13の従来例を参照しながら図9 のフロ
ーの説明を行なう。

【００２３】視線検出は精度を高めるため測定値をある
既定値（本実施例では10）以上取った平均値としてい
る。ステップ＃305 は該測定を行なうためのカウンター
値n の更新を受け持っている。

【００２４】ステップ＃306 では、カウンター値n が既
定値(10)未満であればステップ＃304 へ戻って再び視線
検出動作を行い、既定値(10)に達したところでステップ
＃307 へ移行する。

【００２５】ステップ＃307 では、検出された注視デー
タ1 が十分な精度を持っているかどうかを判断する。判
断は予め既知である注視点の位置を用いて、得られた注
視データ1 がある領域の幅の角度以内に入っているか否
か等の評価尺度で行なうことができる。

【００２６】ステップ＃307 で精度が悪いと判断された
場合はステップ＃316 に移行し、第１の注視の失敗を表
示して再びステップ＃303 に戻り、第１の注視データを
取り直す。精度が十分であると判断された場合はステッ
プ＃308 へ移行する。

【００２７】ステップ＃308 は、注視データ1 を記憶手
段に記憶する動作である。記憶に際してはキャリブレー
ション用の補正データだけでなくプルキンエ像位置のデ
ータも同時に記憶する。これで第1 の注視点に対する測
定が完了する。

【００２８】ステップ＃309 以降は第2 の注視点に対す
る同様の測定を示すものである。ステップ＃309 では第
2 の注視点を表示し被測定者にこの点の注視を促す。

【００２９】続くステップ＃310 で、第2 の注視点を注
視したときの視線検出動作を行う。ステップ＃310 にお
ける視線検出サブルーチンもキャリブレーション動作で
あるため、正確に瞳孔中心とプルキンエ像11を測定する
必要があり、従来例である図13と同様のサブルーチンを
とる。

【００３０】第2 の視線検出でも精度を高めるため測定
値をある既定値（本実施例では10）以上取った平均値と
している。ステップ＃311 は該測定を行なうためのカウ
ンター値n を更新を受け持っている。

【００３１】ステップ＃312 では、カウンター値n が既
定値(10)未満であればステップ＃310 へ戻って再び視線
検出動作を行い、既定値(10)に達したところでステップ
＃313 へ移行する。

【００３２】ステップ＃313 では、検出された注視デー
タ2 が十分な精度を持っているかどうかを判断する。判
断は予め既知である注視点の位置を用いて、得られた注
視データ2 がある領域の幅の角度以内に入っているか否
か等の評価尺度で行なうことができる。

【００３３】ステップ＃313 で精度が悪いと判断された
場合はステップ＃317 に移行し、第2 の注視の失敗を表
示して再びステップ＃309 に戻り、第2 の注視データを
取り直す。精度が十分であると判断された場合はステッ
プ＃314 へ移行する。

【００３４】ステップ＃314 は、注視データ2 を記憶手
段に記憶する動作である。記憶に際してはキャリブレー
ション用の補正データだけでなくプルキンエ像位置のデ
ータも同時に記憶する。これで第2 の注視点に対する測
定が完了する。

【００３５】続くステップ＃315 では、ステップ＃308
で記憶した第1 の注視点のプルキンエ像位置と、ステッ
プ＃314 で記憶した第2 の注視点から得たプルキンエ像
位置のデータの平均を取り、デフォルトとなるプルキン
エ像データを作成し、記憶する。

【００３６】そしてステップ＃316 でサブルーチンをリ
ターンする。以上がキャリブレーション動作である。

【００３７】図５は本発明の実施形態1 の視線検出装置
の視線検出動作を示すフローチャートで、上記キャリブ
レーションを利用したものである。

【００３８】まず、ステップ＃202 でIRED 7を点灯さ
せ、眼球5 を照明すると同時に、撮像素子8 のクリア信
号を“L ”にして撮像素子8 に眼球の像の電荷の蓄積を
始める。

【００３９】ステップ＃203 では、撮像素子8 の蓄積状
態を検知し、蓄積が終了したかどうかをチェックする。
蓄積開始と同時に蓄積状態信号を“L ”にしてAGC 信号
をモニターし、蓄積された電荷の量が所定のレベルに達
すると、蓄積状態信号を“H”にすると同時に電荷転送
信号を所定時間“H ”にして、蓄積された電荷をCCD部
に転送させる。

【００４０】ステップ＃203 で蓄積状態信号の“H ”を
検出すると、蓄積が終了したということでステップ＃20
4 に移行する。また蓄積状態信号の“L ”を検出した場
合は蓄積未終了ということで、もう一度ステップ＃203
を実行する。

【００４１】ステップ＃204 では、撮像素子8 の像信号
を増幅してA/D 変換し、変換したデジタル信号のRAM 格
納を行う。

【００４２】続くステップ＃205 においては、ステップ
＃204 において得られた眼球の情報に基づき、瞳孔のエ
ッジを検出する。エッジの検出は虹彩部の出力平均の半
値に近い出力を生ずる画素を抽出することによって行わ
れる。

【００４３】ステップ＃206 では、ステップ＃205 の処
理中に得られた像のコントラスト値、予測瞳孔径と検出
瞳孔径との差等によって瞳孔径検出結果の信頼性を判断
する。予測瞳孔径とは外界の明るさに応じて収縮、拡大
する瞳孔径の標準的な値である。予測瞳孔径を用いた判
断により、眼球5 の跳躍運動中に蓄積が行われて瞳の像
が不鮮明であった場合や、まつげによる像出力の低下を
瞳孔12と取り違えた場合等の検出異常を排除することが
できる。得られた信号がステップ＃206 で信頼性十分と
判断されたときは、ステップ＃207 へ移行し、信頼性が
不十分と判断されたときは、ステップ＃211 へ移行す
る。

【００４４】信頼性が十分と判断された場合に進むステ
ップ＃207 では、記憶されたプルキンエ像位置の読み出
しを行なう。プルキンエ像の記憶値は前記キャリブレー
ション時にステップ＃315 で得られた位置データがデフ
ォルト値として用いられる。続くステップ＃208 で検出
された瞳孔中心とプルキンエ像位置から眼球の回転角を
演算し、ステップ＃209 でサブルーチンをリターンす
る。

【００４５】一方、ステップ＃206 において瞳孔エッジ
の抽出が信頼性不十分と判定された場合に進むステップ
＃211 では、視線検出不能を表示するフラグ“1 ”をNG
フラグにセットし、ステップ＃209 においてサブルーチ
ンをリターンする。

【００４６】図8 は本発明の実施形態2 のフローチャー
トを示したものである。図5 と同一の番号のステップは
同一の処理を行なうものとする。図8 のフローチャート
ではステップ＃201 から＃205 までが実施形態1 と同一
の流れで実行されるため説明を省略する。

【００４７】ステップ＃206 は瞳孔エッジ部の像の信頼
性判定を行ない、信頼性が不十分と判定された場合はス
テップ＃211 へ、信頼性が十分な場合はステップ＃221
へ移行させる分岐である。

【００４８】瞳孔エッジ検出の信頼性が十分であるとし
てステップ＃221 に進んだ場合は、前回のプルキンエ像
位置を利用するルーチンへの分岐回数をカウントするカ
ウンター値n を更新し、ステップ＃222 でカウンター値
が既定数（本実施例では10）以上かどうかを判定する。
10未満であればステップ＃207 へ進んで従来のデフォル
ト値を使用するルーチンに入り、10に達したときはステ
ップ＃231 へ進んでプルキンエ像データの更新を行うル
ーチンへ進む。

【００４９】ステップ＃207 では前回プルキンエ像検出
を行なった際に記憶されたプルキンエ像位置のデフォル
ト値の読み出しを行ない、続くステップ＃208 ではステ
ップ＃205 で検出された瞳孔中心と前記デフォルト値か
ら眼球の回転角を演算して、ステップ＃209 でサブルー
チンをリターンする。

【００５０】一方、ステップ＃222 でカウンター値が10
に達すると、フローはステップ＃231 に進み、角膜９上
に現われた輝度ピークを検出することによっプルキンエ
像11の抽出を行なう。

【００５１】ステップ＃233 は、ステップ＃231 におい
て抽出したプルキンエ像11の信頼性をチェックし判定す
る分岐である。抽出されたプルキンエ像11それぞれの距
離を算出し、距離がある一定の領域内に存在しているか
等を判定することによって検出を行なうべき１対のプル
キンエ像11を特定する。1 対のプルキンエ像を認識すべ
きところ、図7 に示すようにプルキンエ像11と認識でき
たものが１個しかない場合や、一つも認識できない場合
はステップ＃211 へ分岐する。また検出したプルキンエ
像のコントラストを所定値と比較することによって、メ
ガネ等によるゴースト光がプルキンエ像11と重なった場
合、あるいは、まばたきによってプルキンエ像11が半分
欠けた場合などもステップ＃211 へ分岐する。

【００５２】ステップ＃206 およびステップ＃233 にお
いて、プルキンエ像と瞳孔エッジの抽出が信頼性不十分
と判定とされた場合に分岐するステップ＃211 では視線
検出不能を表わすフラグ“1 ”をNGフラグにセットし、
ステップ＃209 においてサブルーチンをリターンする。

【００５３】正規に1 対のプルキンエ像を検出した場合
はステップ＃234 へ移行して、検出されたプルキンエ像
11の位置を記憶手段に記憶して、プルキンエ像位置のデ
ータを更新する。続くステップ＃208 で、検出された瞳
孔中心と今回検出したプルキンエ像位置から眼球の回転
角を算出した後、ステップ＃209 においてサブルーチン
をリターンする。

【００５４】本実施形態のように既定回数毎にプルキン
エ像を取るようにすると、自動的に新しい記憶値に更新
され、検出の高速化が図れるとともに、精度を保つこと
もできる。

【００５５】図10は本発明の視線検出装置の実施形態3
の視線検出動作を示すフローチャートである。図10にお
いて図5 の実施形態1 のフローと同じ動作については同
じ番号で示してある。

【００５６】ステップ＃201 から＃205 までが実施形態
1 と同一の流れで実行されるため説明を省略する。

【００５７】ステップ＃206 では、ステップ＃205 の処
理中に得られた像のコントラスト値、予測瞳孔径と検出
瞳孔径との差等によって瞳孔径検出結果の信頼性を判断
する。予測瞳孔径とは外界の明るさに応じて収縮、拡大
する瞳孔径の標準的な値である。予測瞳孔径を用いた判
断により、眼球5 の跳躍運動中に蓄積が行われて瞳の像
が不鮮明であった場合や、まつげによる像出力の低下を
瞳孔12と取り違えた場合等の検出異常を排除することが
できる。得られた信号がステップ＃206 で信頼性十分と
判断されたときは、ステップ＃231 へ移行し、信頼性が
不十分と判断されたときは、ステップ＃213 へ移行す
る。

【００５８】次にステップ＃231 では、角膜9 上に現わ
れた輝度ピークを検出することによってプルキンエ像11
の抽出を行う。

【００５９】ステップ＃233 は、ステップ＃231 におい
て抽出したプルキンエ像11の信頼性をチェックし判定す
る分岐である。ステップ＃233 では抽出されたプルキン
エ像11それぞれの距離を算出し、距離がある一定の領域
内に存在しているか等を判定することによって、検出を
行なうべき１対のプルキンエ像11を特定する。1 対のプ
ルキンエ像を認識すべきところ、図7 に示すようにプル
キンエ像11と認識できたものが１個しかない場合や、一
つも認識できない場合などはステップ＃207 へ分岐す
る。また検出したプルキンエ像のコントラストを所定値
と比較することによって、メガネ等によるゴースト光が
プルキンエ像11と重なった場合、あるいは、まばたきに
よってプルキンエ像11が半分欠けた場合などもステップ
＃207 へ分岐する。

【００６０】ステップ＃207 においてステップ＃233 で
検出されたプルキンエ像11の信頼性が低いと判定された
時、前回検出に成功したプルキンエ像11の位置を記憶手
段から呼び出してくるのが本実施形態の特徴である。呼
び出されたプルキンエ像位置と検出された瞳孔から推定
された瞳孔中心位置から、続くステップ＃208 で眼球回
転角を算出し、ステップ＃209 でサブルーチンをリター
ンする。

【００６１】正規に1 対のプルキンエ像を検出した場合
はステップ＃234 へ移行し、ステップ＃231 で抽出され
たプルキンエ像11の位置を記憶手段に記憶し、プルキン
エ像のデータを更新する。続くステップ＃208 で検出さ
れた瞳孔中心とプルキンエ像位置から眼球の回転角を算
出した後、ステップ＃209 においてサブルーチンをリタ
ーンする。

【００６２】このようにして検出した視線方向はディス
プレイ3 上に表示される。表示の際に上記のように記憶
値を呼び出して視線方向を算出した場合、リカバリー動
作を行って算出したということを、ディスプレイ3 上に
同時に表示することも可能である。

【００６３】図11は本発明の視線検出装置の実施形態4
のフローチャートである。図5 あるいは図10と同一番号
のステップは同一の処理を行うものとする。

【００６４】ステップ＃201 から＃206 、続くステップ
＃231 のプルキンエ像の抽出までは実施形態3 と同一の
流れで実行される。

【００６５】ステップ＃233 において、実施形態3 の通
りプルキンエ像11の信頼性判定を行った後、信頼性が十
分と判定された場合はステップ＃234 へ進み、ステップ
＃234 でプルキンエ像11の位置を記憶手段に記憶し、ス
テップ＃208 で眼球の回転角を演算し、ステップ＃209
でサブルーチンをリターンする。

【００６６】また、ステップ＃233 においてプルキンエ
像11の検出の信頼性が不十分であった場合はステップ＃
241 へ移行する。

【００６７】本実施形態は記憶値を参照するルーチンへ
入る回数を規制するためのカウンター値Rcが設定されて
いることを特徴としている。ステップ＃241 へ入るとRc
の値を更新し、ステップ＃242 へ移行する。ステップ＃
242 ではカウンター値Rcを呼び出し、Rcの値が既定値
（本実施例では6 ）未満であった場合はステップ＃207
へ進み、既定値に達している場合はステップ＃213 でNG
信号を出す動作への分岐を行なう。

【００６８】ステップ＃207 に入った場合は、前回検出
が成功した時のプルキンエ像11の位置を記憶手段から呼
び出して、ステップ＃208 に移行する。

【００６９】続くステップ＃208 では、ステップ＃207
で記憶手段から読み出してきたプルキンエ像位置と、ス
テップ＃205 で検出された瞳孔から推定された瞳孔中心
位置から眼球回転角を算出し、ステップ＃209 でサブル
ーチンをリターンする。

【００７０】図12は本発明の実施形態5 を示す視線検出
のサブルーチンのフローチャートで、図9 に示すキャリ
ブレーション機能を利用したものである。

【００７１】本実施形態の基本動作も図10に示す視線検
出のサブルーチンと同様である。本実施形態で特徴とな
っているデフォルト値は図9 で祥述した前記キャリブレ
ーション時に作成した値を用いるため、ステップ＃234
におけるプルキンエ像位置の記憶をする必要がないとい
う点である。その他のフローは実施形態3 と同様で、プ
ルキンエ像11の検出信頼性が低い時にのみ、記憶された
デフォルト値を適用することを特徴となっている。

【００７２】

【発明の効果】以上説明したように、本発明の視線検出
装置は予めキャリブレーション動作を行うことによって
得たプルキンエ像の位置、あるいは視線検出時に検出を
成功した最新のプルキンエ像の位置を記憶して、該記憶
値を利用して視線検出を行うことを特徴としている。該
記憶値を直接使用する場合には視線検出のルーチンが簡
略化され、検出速度を上げることが可能となる。また、
眼球像検出を行ったとき、プルキンエ像の検出ができな
かった場合にも、前記記憶値を使用すれば、瞳孔エッジ
部が抽出できてプルキンエ像が抽出できなくても眼球回
転角の算出が可能となり、検出失敗が少なくできる。

【００７３】プルキンエ像の記憶に関しては、既定回数
毎にプルキンエ像を取ることで、適宜新しい記憶値に更
新することができるため、精度を保つことが可能とな
る。

【００７４】また、記憶値を適応したときには表示を行
うことによって完全に検出できたときと瞳孔のみが検出
できたときと区別でき、さらに記憶値を適応する回数を
制限することによって、時間的に古いデータの使用を防
ぎ、精度の低下を防止することができる。

【図面の簡単な説明】

【図１】本発明の視線検出装置の接続状態を示す図

【図２】本発明の視線検出装置の眼球と検出系の関係を
表す断面図

【図３】本発明の視線検出装置の検出系を眼球側から見
た正面図

【図４】検出された視線データをディスプレイ表示する
フローチャート

【図５】実施形態1 の視線検出のフローチャート

【図６】IREDを投光した時の眼球の画像を示す図

【図７】プルキンエ像が１個欠けた場合の眼球の画像を
示す図

【図８】実施形態2 の視線検出のフローチャート

【図９】プルキンエ像のキャリブレーション動作のフロ
ーチャート

【図１０】実施形態3 の視線検出のフローチャート

【図１１】実施形態4 の視線検出のフローチャート

【図１２】実施形態5 の視線検出のフローチャート

【図１３】従来の実施例を示す視線検出のフローチャー
ト

【符号の説明】

1……視線検出用眼鏡 2……パーソナルコンピュータ 3……ディスプレイ 4……視線コントロールボックス 5……眼球 6……ダイクロイックミラー 7……IRED群 8…… 撮像素子（Y-BASIS） 9……結像レンズ 10……角膜 11……プルキンエ像 12……瞳孔 13……強膜

Claims (13)

【特許請求の範囲】
1. 【請求項１】 眼球に対して投光手段および撮像手段の
   位置が固定され、該眼球を照明して得られる画像より視
   線を検出する視線検出装置において、該眼球画像より瞳
   孔エッジ部を抽出して瞳孔中心位置を決定するととも
   に、該眼球のプルキンエ像を検出する代わりに、予めキ
   ャリブレーション時に決定したプルキンエ像のデータを
   用いて眼球回転量を算出し、視線方向を決定することを
   特徴とする視線検出装置。
2. 【請求項２】 前記キャリブレーション動作を複数の注
   視点に対して行うことを特徴とする請求項１記載の視線
   検出装置。
3. 【請求項３】 前記瞳孔エッジ検出の際、予測瞳孔径を
   用いて得られた瞳孔エッジデータの信頼性を判断するこ
   とを特徴とする請求項１記載の視線検出装置。
4. 【請求項４】 眼球に対して投光手段および撮像手段の
   位置が固定され、該眼球を照明して得られる画像より視
   線を検出する視線検出装置において、該眼球画像より瞳
   孔エッジ部を抽出して瞳孔中心位置を決定するととも
   に、該眼球画像より得られたプルキンエ像、または予め
   デフォルト値として持っているプルキンエ像のデータを
   用いて眼球回転量を算出し、視線方向を決定することを
   特徴とする視線検出装置。
5. 【請求項５】 前記デフォルト値の更新を、該眼球画像
   より既定回数毎にプルキンエ像を検出することによって
   行うことを特徴とする請求項4 記載の視線検出装置。
6. 【請求項６】 前記デフォルト値を該眼球画像のプルキ
   ンエ像抽出の信頼性が不十分である場合に使用すること
   を特徴とする請求項4 記載の視線検出装置。
7. 【請求項７】 該眼球画像より得られたプルキンエ像の
   信頼性が十分な場合は、該プルキンエ像の位置をデフォ
   ルト値として記憶することを特徴とする請求項4 記載の
   視線検出装置。
8. 【請求項８】 前記デフォルト値の使用回数を制限する
   ことを特徴とする請求項4 〜6 記載の視線検出装置。
9. 【請求項９】 前記デフォルト値として予めキャリブレ
   ーション時に決定したプルキンエ像のデータを用いるこ
   とを特徴とする請求項4 記載の視線検出装置。
10. 【請求項１０】 前記デフォルト値を使用した場合に
    は、デフォルト値を使用したことを表示することを特徴
    とする請求項4 〜9 記載の視線検出装置。
11. 【請求項１１】 該眼球像を複数の光源で照明して得る
    ことを特徴とする請求項1 〜10記載の視線検出装置。
12. 【請求項１２】 前記プルキンエ像の信頼性の判断をプ
    ルキンエ像の個数で行うことを特徴とする請求項11記載
    の視線検出装置。
13. 【請求項１３】 前記プルキンエ像の信頼性の判断をプ
    ルキンエ像のコントラストで行うことを特徴とする請求
    項11記載の視線検出装置。