JP2000312664A - 視線検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 多数の発光部を容易に形成すると共に、使用
者に応じた発光部を選択的に発光させて最適な位置から
視線検出の為の投光を行う。 【解決手段】 眼球を照明するための投光手段と、眼球
画像を取込むための撮像手段とを有し、前記投光手段に
よって形成されるプルキンエ像と瞳孔中心との偏差から
眼球回転量を算出して視線方向を検出する視線検出装置
において、前記投光手段３に、マトリックス状の発光素
子を用いるようにしている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、眼球を照明するた
めの投光手段を有する視線検出装置の改良に関するもの
である。

【０００２】

【従来の技術】従来より、投光手段によって形成される
プルキンエ像と瞳孔中心との偏差から眼球回転量を算出
し、視線方向を検出する眼球タイプの視線検出装置が提
案されている。図１１はこの種の眼鏡タイプの視線検出
装置の前記投光手段を具備した部分（視線検出器）の一
部拡大図（全体形状は、後述する図３と同じである）で
あり、１００は投光手段、１０１は使用者の眼球画像を
不図示の撮像素子に導くための赤外線反射膜を蒸着した
ダイクロイックミラーである。

【０００３】上記眼球タイプの視線検出装置において、
前記投光手段としてＩＲＥＤ（赤外線発光素子）を用い
ている。その際、ＩＲＥＤを複数配置して眼鏡の有無や
投光手段の位置によってＩＲＥＤを変更して、適当な位
置にプルキンエ像を形成するようにしていた。

【０００４】また、図１２はカメラのアイピース部に投
光手段を用いて視線検出を行う場合の、アイピースを正
面から見た図であり、１００ａ，１００ｂはそれぞれ対
を成す投光手段である。

【０００５】

【発明が解決しようとする課題】しかしながら、上記従
来例では、図１１，図１２に示すようにＩＲＥＤ素子は
パッケージが大きいために配置できる位置および数に制
約があり、使用者の最適な位置から投光することは難し
く、数を増やすとコストアップにつながり問題となって
いた。

【０００６】（発明の目的）本発明の第１の目的は、多
数の発光部を容易に形成できると共に、使用者に応じた
発光部を選択的に発光させて最適な位置から視線検出の
為に投光することのできる視線検出装置を提供しようと
するものである。

【０００７】本発明の第２の目的は、プルキンエ像形成
に使用する発光部の投光光量を増し、より多くの環境に
おいて視線検出を行うことのできる視線検出装置を提供
しようとするものである。

【０００８】

【課題を解決するための手段】上記第１の目的を達成す
るために、請求項１記載の本発明は、眼球を照明するた
めの投光手段と、眼球画像を取込むための撮像手段とを
有し、前記投光手段によって形成されるプルキンエ像と
瞳孔中心との偏差から眼球回転量を算出して視線方向を
検出する視線検出装置において、前記投光手段に、マト
リックス状の発光素子を用いるようにした視線検出装置
とするものである。

【０００９】また、上記第２の目的を達成するために、
請求項２記載の本発明は、取り込んだ眼球画像に基づい
てマトリックス状の発光素子の複数の発光部のうち、最
適な位置を算出して、プルキンエ像形成に用いる発光部
の輝度を他の発光部の輝度より高輝度にする請求項１記
載の視線検出装置とするものである。

【００１０】

【発明の実施の形態】以下、本発明を図示の実施の形態
に基づいて詳細に説明する。

【００１１】図１〜図３は本発明の実施の第１の形態に
係る図であり、詳しくは、図１及び図２は眼鏡タイプの
視線検出器の断面および背面を示す図であり、図３は眼
鏡タイプの視線検出装置を光学装置に接続した状態を示
す図である。また、図４は投光手段の拡大図である。

【００１２】これらの図において、１は眼球、２は眼球
画像を撮像素子４に導くための赤外線反射膜を蒸着した
ダイクロイックミラー、３は前記眼球１を照射し角膜上
にプルキンエ像を形成するためのマトリックス上の複数
の発光部（ＥＬ素子）を備えた投光手段、４はダイクロ
イックミラー２によって反射させられた眼球画像を取り
込むための撮像素子、５は前記撮像素子４に像を結像さ
せるための結像レンズである。１２は眼球タイプの視線
検出器、１３は使用者（被検者）に対向して配置される
表示装置、１４は視線検出器１２からのデータを変換す
る為のコントロールボックス、１５は視線方向を検出す
る制御手段を有するパーソナルコンピュータである。

【００１３】本実施の形態に係る視線検出装置は、上記
視線検出器１１，変換ボックス１４，パーソナルコンピ
ュータ内の制御手段によって構成される。

【００１４】図５は視線検出する使用者の眼球画像の状
態を示す図であり、同図において、６は虹彩部、７は眼
球の照明光によって生じた角膜反射光であるプルキンエ
像７であり、本実施の形態では投光手段３のマトリック
ス状の複数の発光部のうち２カ所を選択的に投光部とし
て使用する構成にしている為に２個生じている。８は瞳
孔部、９は一般的に白目と呼ばれている部分であるとこ
ろの強膜である。

【００１５】図６は眼鏡使用者の眼球画像を示すであ
り、同図において、１０はゴースト、１１は眼鏡であ
る。

【００１６】次に、図７のフローチャートを用いて、上
記の視線検出装置の概略動作について説明する。

【００１７】ステップ＃１０１より動作を開始し、ステ
ップ＃１０２において、投光手段３のマトリックス状の
複数の発光部のうちどの部分を投光部として選択するか
を決定する。このサブルーチンの詳細に関しては後述す
る。次のステップ＃１０３においては、上記ステップ＃
１０２で選択された発光部を投光部として投光させるこ
とによって視線検出を行う。このサブルーチンに関して
も後述する。続くステップ＃１０４においては、視線検
出が正常に行われたかどうか、つまりＮＧフラグが
“０”であるかを判定し、正常に行われていれば（ＮＧ
フラグ＝０）ステップ＃１０５へ進むが、正常に行われ
ていなければステップ＃１０２に戻り、投光手段３の発
光部の選択をやり直す。

【００１８】ステップ＃１０５においては、ルーチン回
数を示すカウンタ値の初期化を行う。そして、次のステ
ップ＃１０６において、上記ステップ＃１０３において
得られた眼球回転角を視線検出器１２から排出し、この
値を用いて観察面に対してどこに視線位置があるかを算
出する。続くステップ＃１０７においては、算出された
視線位置を図３に示す様に観察面上、あるいは接続され
た観察面以外の表示装置に表示する。そして、ステップ
＃１０８において、視線動作を継続するか否かを判定
し、継続する場合はステップ＃１０３へ戻り、終了する
場合はステップ＃１０９で終了する。

【００１９】次に、図８の投光位置選択のフローチャー
トを用いて、マトリックス状の複数の発光部を有する投
光手段３のどの発光部を投光部として選択するかの動作
について説明する。

【００２０】ステップ＃２０１を介して、まずステップ
＃２０２において、プルキンエ像７が正常に検出できて
いるかを判定する。検出が失敗する場合、ある決められ
た範囲内にプルキンエ像７が２個検出できなかった時
と、瞳孔エッジが十分に検出できなかったの二通りが考
えられ、投光手段３の発光部の選択においてはプルキン
エ像７が正常に検出されるようにすることが主な目的で
ある。プルキンエ像７が正常に検出されていない場合は
ステップ＃２０３へ移行し、とりあえず検出されている
場合はステップ＃２０９へ移行する。

【００２１】ステップ＃２０３においては、ルーチンカ
ウンタｎを１つ進める。そして、次のステップ＃２０４
において、前回の検出結果にゴースト１０があったかど
うか判定する。ゴースト１０があった場合、図６（ａ）
のように眼鏡１１をかけていると推定されるため、通常
よりも外側の位置から投光を行い、図６（ｂ）に示すよ
うにプルキンエ像７がゴースト１０に掛からないように
する必要がある。ゴースト１０が検出された場合はステ
ップ＃２０５に、検出されなかった場合にはステップ＃
２０８に、それぞれ移行する。

【００２２】ステップ＃２０５においては、マトリック
スの周辺部から２点の投光部を選択する。図４に示すよ
うな分割の施された投光手段３において、発光部ａ１〜
ｃ２（ａ１，ａ２，ａ３，ａ２，ｂ２，ｃ２を意味す
る。以下同様の表現とする）と発光部ａ７〜ｃ８を周辺
部としておき、ルーチンカウンタｎが「１」の時は，ま
ず、発光部ａ２とａ７といった最も標準的な位置を点灯
させ、ステップ＃２０６へと移行する。 何度か失敗を
繰り返して投光位置選択のルーチンに入り、ルーチンカ
ウンタｎの値が増えていくと、その都度発光ａ１とａ
８、ｂ２とｂ７というように点灯場所を変更して最適の
点灯場所を探索する。

【００２３】また、ステップ＃２０８においては、マト
リックスの中心部から２点の発光部を投光部として選択
する。図４に示すような分割の施された投光手段３にお
いて、発光部ａ３〜ｃ６を中心部としておき、上記ステ
ップ＃２０５と同様に、ルーチンカウンタｎが「１」の
時は、まず発光部ｂ３とｂ６の最も標準的な位置を点灯
させ、ステップ＃２０６へと移行する。 点灯場所はル
ーチンカウンタ値に応じて変更して最適の点灯場所を探
索する。

【００２４】ステップ＃２０６においては、上記ステッ
プ＃２０５あるいは上記ステップ＃２０８で選択された
投光手段３の発光部の点灯位置を記憶し、このサブルー
チンの動作を終了してメインルーチンへリターンする。

【００２５】また、プルキンエ像７は十分取れている場
合には前述した様にステップ＃２０９へ進み、眼球１ま
での距離と二つのプルキンエ像７の間隔を算出する。そ
して、次のステップ＃２１０において、上記ステップ＃
２０９において算出された値を用いて、現在投光手段３
の発光部の点灯している位置が高い信頼性を得るために
十分な位置であるかを判定する。十分な位置であると判
定すると、発光部の位置の変更はせず現在のままリター
ンする。また、十分な位置でないと判定した場合はステ
ップ＃２１１へ移行する。

【００２６】ステップ＃２１１においては、上記ステッ
プ＃２０９にて算出された値を元により信頼性の高い点
灯位置（発光部の位置）を選択する。例えば、前回点灯
していた場所が、図５の発光部ｂ４，ｂ５であり、プル
キンエ像７の間隔を算出した結果近すぎると判定した場
合、眼球までの距離を考慮して、発光部ｂ３，ｂ６を点
灯するように変更する。そうすることでプルキンエ像７
の間隔を適当な範囲に保ち、精度良く視線検出を行える
ようにする。

【００２７】以上の発光部の位置選択においては、選択
した部分のみを点灯するようにしても良いし、全体を点
灯させて選択部のみを強くする方法をとっても良い。

【００２８】次に、図９の視線検出のフローチャートを
用いて、視線検出動作について説明する。

【００２９】ステップ＃３０１を介して、ステップ＃３
０２において、投光手段３のあらかじめ規定された発光
部を点灯させて眼球１を照明すると同時に、撮像素子４
のクリア信号を“Ｌ”にして電荷の蓄積を始める。そし
て、次のステップ＃３０３において、撮像素子８の蓄積
状態を検知して蓄積が終了したかどうかを調べる。蓄積
開始と同時に蓄積状態信号を“Ｌ”にし、ＡＧＣ信号を
モニターすることによって所定のレベルに達すると、蓄
積状態信号を“Ｈ”にし、同時に電荷転送信号を所定時
間“Ｈ”にして、蓄積された電荷をＣＣＤ部に転送させ
るようになっている。このステップ＃３０３にて蓄積状
態信号が“Ｈ”ならば、蓄積が終了したということでス
テップ＃３０４に移行し、“Ｌ”ならば蓄積未終了とい
うことで、もう一度ステップ＃３０３を実行する。

【００３０】ステップ＃３０４においては、撮像素子８
の像信号の増幅したＡ／Ｄ変換およびそのデジタル信号
を不図示のＲＡＭに格納する。次のステップ＃３０５に
おいては、上記ステップ＃３０４にて得られた眼球の情
報に基づき、瞳孔８のエッジを検出する。これは虹彩部
の出力平均の半値に近い出力を生ずる画素を抽出するこ
とによって行われる。続くステップ＃３０６において
は、上記ステップ＃３０５の処理中に得られた、像のコ
ントラスト値，予測瞳孔径と検出瞳孔径との差等によっ
て、瞳孔径検出結果の信頼性を判定する。前述した予測
瞳孔径とは、外界の明るさに応じて収縮，拡大する瞳孔
径の標準的な値である。すなわち、眼球１の跳躍運動中
に蓄積が行われて、瞳の像が不鮮明であった場合や、ま
つ毛による像出力の低下を瞳孔８と取り違えた場合等を
排除する。信頼性充分と判定したときはステップ＃３０
７へ移行し、信頼性が不十分と判定したときはステップ
＃３１１へ移行する。

【００３１】ステップ＃３０７においては、プルキンエ
像７の抽出を行う。これは角膜上に現われた輝度ピーク
を検出することによって行われる。次のステップ＃３０
８においては、上記ステップ＃３０７にて抽出したプル
キンエ像７から必要な物の選択を行う。抽出されたプル
キンエ像７のそれぞれの距離を算出しその距離がある一
定の領域内に存在しているか等を判定することによっ
て、必要な一対のプルキンエ像７を特定する。プルキン
エ像７と認識できたものが１個しかない場合や、一つも
認識できない場合など、一対のプルキンエ像７が認識で
ない場合はステップ＃３１１へ分岐し、一対の場合はス
テップ＃３０８へ移行する。また、検出したプルキンエ
像７のコントラストを所定値と比較することによって、
眼鏡等によるゴースト光がプルキンエ像７と重なった場
合、あるいは、まばたきによってプルキンエ像７が半分
欠けた場合などもステップ＃３１１へ分岐する。

【００３２】ステップ＃３０９においては、検出された
瞳孔中心とプルキンエ像位置から眼球の回転角を演算
し、次のステップ＃３１０においてこのサブルーチンを
終了し、メインルーチンへリターンする。

【００３３】また、上記ステップ＃３０６およびステッ
プ＃３０８にてプルキンエ像７と瞳孔エッジの抽出が信
頼性不十分と判定した場合、前述したようにステップ＃
３１１へ移行し、ここでは視線検出不能を表すフラグ
“１”をＮＧフラグにセットし、次のステップ＃３１０
においてこのサブルーチンを終了し、メインルーチンへ
リターンする。

【００３４】上記の実施の形態によれば、眼球１を照明
する投光手段３に、図４に示す様に、マトリックス状の
複数の発光部（ＥＬ素子）を用いているので、投光位置
を細かく変更でき、視線検出の測定の信頼性を向上させ
ることができる。

【００３５】また、全体を点灯させて選択した発光部
（図８のステップ＃２１１）のみ輝度を上げるようにし
ているので、眼球１を照明する光量を十分確保すること
ができ、用途を拡大させることができる。

【００３６】（変形例）上記実施の形態では、眼鏡タイ
プの視線検出装置に適用した例を説明しているが、図１
０に示す様に、マトリックス状の複数の発光部より成る
投光手段３を、カメラのアイピース部に用いて視線検出
を行うカメラの視線検出装置にも適用できるものであ
る。

【００３７】

【発明の効果】以上説明したように、本発明によれば、
請求項１記載の本発明によれば、多数の発光部を容易に
形成できると共に、使用者に応じた発光部を選択的に発
光させて最適な位置から視線検出の為に投光することが
できる視線検出装置を提供できるものである。

【００３８】また、請求項２記載の本発明によれば、プ
ルキンエ像形成に使用する発光部の投光光量を増し、よ
り多くの環境において視線検出を行うことができる視線
検出装置を提供できるものである。

【図面の簡単な説明】

【図１】本発明の実施の第１の形態に係る眼鏡タイプの
視線検出器と眼球の関係を示す断面図である。

【図２】図１の眼鏡タイプの視線検出器の検出系を眼球
側から見た正面図である。

【図３】本発明の実施の一形態に係る眼鏡タイプの視線
検出器の接続状態を示す図である。

【図４】図２に示す投光手段を構成するマトリックス状
の複数の発光部を示す図である。

【図５】本発明の実施の一形態において眼球の状態及び
プルキンエ像を示す図である。

【図６】本発明の実施の一形態において眼鏡使用者の眼
球，プルキンエ像，ゴーストの状態を示す図である。

【図７】本発明の実施の一形態における視線検出装置の
一連の動作を示すフローチャートである。

【図８】本発明の実施の一形態において投光手段の投光
位置を変更するための動作を示すフローチャートであ
る。

【図９】本発明の実施の一形態において視線検出動作を
示すフローチャートである。

【図１０】本発明の投光手段をカメラのファインダ部に
適用した例を示す図である。

【図１１】従来の眼鏡タイプの視線検出器の検出系を眼
球側から見た正面図である。

【図１２】従来の投光手段をカメラのファインダ部に適
用した例を示す図である。

【符号の説明】

１ 眼球 ２ ダイクロイックミラー ３ マトリックス状の複数の発光部より成る投光手
段 ４ 撮像素子 ５ 結像レンズ ７ プルキンエ像 ８ 瞳孔 １０ ゴースト １１ 眼鏡 １２ 視線検出器 １４ コントロールボックス １５ パーソナルコンピュータ

Claims (4)

【特許請求の範囲】
1. 【請求項１】 眼球を照明するための投光手段と、眼球
   画像を取込むための撮像手段とを有し、前記投光手段に
   よって形成されるプルキンエ像と瞳孔中心との偏差から
   眼球回転量を算出して視線方向を検出する視線検出装置
   において、 前記投光手段に、マトリックス状の発光素子を用いるよ
   うにしたことを特徴とする視線検出装置。
2. 【請求項２】 取り込んだ眼球画像に基づいてマトリッ
   クス状の発光素子の複数の発光部のうち、最適な位置を
   算出して、プルキンエ像形成に用いる発光部の輝度を他
   の発光部の輝度より高輝度にすることを特徴とする請求
   項１記載の視線検出装置。
3. 【請求項３】 前記マトリックス状の発光素子は、ＥＬ
   素子であることを特徴とする請求項１記載の視線検出装
   置。
4. 【請求項４】 取り込んだ眼球画像に基づいてマトリッ
   クス状の発光素子の複数の発光部のうち、最適な位置を
   算出して、投光に用いる発光部を変更することを特徴と
   する請求項１記載の視線検出装置。