JP2005185431A - 視線検出方法および視線検出装置 - Google Patents

Abstract

【課題】被検者の拘束の少ない状態で視線を正確に検出する検出方法および装置を提供する。
【解決手段】座標系に対する瞳孔の位置を測定するための第１のカメラ１０，１１と、前記座標系の既知の位置に配置され角膜反射点を形成するための光源を備え、瞳孔の中心と角膜反射点間の距離ｒと前記距離ｒの前記座標系の座標軸に対する角度φのデータを取得する第２のカメラ１２とを用いて前記各カメラからの情報により視線方向を演算する演算手段とを用いる被検者の視線検出方法である。
関係式決定段階で、被検者に既知の点に注目させて測定を行い関係式を決定する。
視線決定段階で、被検者を再度測定して、前記関係式を用いて視線を決定する。
【選択図】図２

Description

本発明は、被検者の姿勢の制限を最小にし、さらにマーカを付けたりすることなく視線を検出することができる視線検出方法および視線検出装置に関する。

視線検出方法および視線検出装置は、医療検査とか、マンマシーンインターフェイス（視線入力）等広い応用が期待されているから、数多くの提案が行なわれている。
基本原理は角膜反射点と瞳孔の中心から視線を検出するものが多い。特許文献２記載の発明は前記検出に関連する発明であって、特徴点の検出に向けられたものである。特許文献３記載の発明は角膜の形状を考慮した測定について、詳細な提案が行なわれている。

またすでに提案されている多くの視線検出装置は、主に被検者の頭部を固定するタイプと被検者の頭部に検出装置を取り付ける形式のものが多い。これらは、ともに被検者の普段の行動を著しく阻害し、視線測定において被検者に多大な負担をかけていた。また、最近は、被検者の負担を軽減する意味で非接触タイプが作られるようになってきたが、検出装置が被検者に対して遠隔におかれているだけで、測定範囲が極めて限られており、事実上被検者が動けない状態でしか測定できていない。
被検者の動きの制約をはずす方法として提案されている、画像処理などを使って眼の画像から視線を検出する方法は、画像処理に時間がかかり時間特性が悪いことがあった。
また、顔の検出と同じカメラで視線を検出するため、精度が悪いという欠点もあった。
それを解決するために、特許文献１記載の非接触視線測定装置は、３つのマーカのついたメガネフレームを顔に取り付けるものである。このメガネを取り付けると、一般の視力矯正用の眼鏡が装着できなくなる。また日頃眼鏡をつけていないユーザや被検者にとって、測定用の眼鏡は負担となる。
特開平１０−６６６７８号公報 特開平１１−５６７８２号公報 特開２００２−１０２１７２号公報

本発明の目的は、被検者の姿勢を制限を最小にし、さらにマーカを付けたりすることなく視線を検出することができる視線検出方法および視線検出装置を提供することにある。本発明のさらに他の目的は、前記視線検出方法を実施する視線検出装置を提供することにある。

前記目的を達成するために、本発明による請求項１記載視線検出方法は、
座標系に対する瞳孔の位置を測定するための第１のカメラと、
前記座標系の既知の位置に配置され角膜反射点を形成するための光源を備え、瞳孔の中心と角膜反射点間の距離ｒと前記距離ｒの前記座標系の座標軸に対する角度φのデータを取得する第２のカメラとを用いて前記各カメラからの情報により下記のステップを実行する視線方向を演算する演算手段とを用いる被検者の視線検出方法であって、
前記座標系の既知の一点Ｇに被検者を注目させ、前記第１のカメラにより前記被検者の瞳孔の位置の座標点Ｏに関するデータを取得するステップと、
前記被検者の状態において、前記第２のカメラにより角膜反射点のデータと前記反射点と瞳孔中心Ｐまでの距離ｒと前記座標軸と前記ｒとの傾きφを取得するステップと、
演算手段により前記第２のカメラの基準位置と瞳孔の中心を結ぶ線と前記被検者の視線との角度θを算出するステップと、
前記測定値および算出値に基づいてｒに関連するｒ^* とθの関係を示す式
θ＝ｆ（ｒ^* ）を算出するステップとを含む関係式決定段階とおよび
前記座標系の未知の一点Ｇ’に被検者を注目させ、前記第１のカメラにより前記被検者の瞳孔の位置の座標点Ｏ’に関するデータを取得するステップと、
前記第２のカメラにより角膜反射点のデータと前記反射点と瞳孔中心Ｐまでの距離ｒ’と前記座標軸と前記ｒ’との傾きφ’を取得するステップと、
前記関係式を用いてθ’＝ｆ（ｒ^* ’）を算出し、前記傾きφ’，θ’から未知の一点
Ｇ’を得るステップとを含む視線決定段階と、
から構成されている。

本発明による請求項２記載の方法は、請求項１記載の方法において、ｒ^* はｒそれ自身かｒをＯＰに基づいて補正した値であり，ｒ^* ’はｒ’それ自身かｒ’をＯＰ’に基づいて補正した値としてある。
本発明による請求項３記載の方法は、前記第１のカメラは座標系の水平軸方向に基線を一致して配置されたステレオカメラであり、前記第２カメラの光源は第２のカメラの光軸と実質的に一致する光軸を備えるように構成されている。
本発明による請求項４記載の方法では、ｒ^* とθの関係を示す式θ＝ｆ（ｒ^* ）は、θ＝ｋ×ｒ^* （ただしｋは定数）で与えられる。
本発明による請求項５記載の方法では、前記瞳孔は被検者の何れか一方の瞳孔である。

本発明による請求項６記載の装置は、
座標系に対する瞳孔の位置Ｐを測定するための第１のカメラと、
前記座標系の既知の位置に配置された光源および前記光源で照射された瞳孔の中心と角膜反射点間の距離ｒとｒの前記座標軸に対する角度φのデータを取得する第２のカメラと、
前記座標系の既知の一点Ｇに被検者を注目させ、前記第１のカメラにより前記被検者の瞳孔の位置の座標点Ｐに関するデータを取得し、
前記被検者の状態において、前記第２のカメラにより角膜反射点のデータと前記反射点と瞳孔中心Ｐまでの距離ｒと前記座標軸と前記ｒとの傾きφを取得し、
前記第２のカメラの基準位置と瞳孔の中心を結ぶ線と前記被検者の視線との角度θを算出し、ｒに関連するｒ^* とθの関係を示す式θ＝ｆ（ｒ^* ）を算出し、
前記座標系の未知の一点Ｇ’に被検者を注目させ、前記第１のカメラにより前記被検者の瞳孔の位置の座標点Ｏ’に関するデータを取得し、
前記第２のカメラにより角膜反射点のデータと前記反射点と瞳孔中心Ｐまでの距離ｒ’と前記座標軸と前記ｒ’との傾きφ’を取得し、
前記関係式を用いてｒ’に関連するｒ^* ’からθ’＝ｆ（ｒ^* ’）を算出し、さらに
φ’，θ’から未知の一点Ｇ’を得るステップを実行する演算手段と、
から構成されている。

以上詳しく説明したように、本発明方法は、座標系に対する瞳孔の位置を測定するための第１のカメラと、前記座標系の既知の位置に配置され角膜反射点を形成するための光源を備え、瞳孔の中心と角膜反射点間の距離ｒと前記距離ｒの前記座標軸に対する角度φのデータを取得する第２のカメラとを用いて前記各カメラからの情報により下記のステップを実行する視線方向を演算する演算手段とを用いる被検者の視線検出方法である。
関係式決定段階により、
前記第１のカメラと第２のカメラを用いる測定値および演算装置による算出値に基づいて予め、ｒ（角膜反射点と瞳孔中心間の距離）に関連するｒ^* とθ（第２のカメラと瞳孔の中心を結ぶ線と前記被検者の視線との角度）の関係を示す式θ＝ｆ（ｒ^* ）を算出する。そして、
視線決定段階で前記関係式を用いてθ’＝ｆ（ｒ^* ’）を算出し、前記この段階で測定した傾きφ’，θ’から未知の一点Ｇ’を得る。
したがって、被検者を極端に束縛することなく、視線を測定することができる。
前記関係式決定段階は特定の被検者について行なわれるものであり、その段階で得た関係式を用いて、測定するのであるから、被検者の固体差による測定誤差の発生する余地はない。そのため正確な視線に関するデータが得られる。

以下図面等を参照して、本発明方法について、発明を実施するための最良の形態を詳しく説明する。
図１は、本発明による方法を実施するための装置の実施例の配列を示す概略図である。図４は世界座標系に関連して本発明方法を実施するための装置等の配列を示す斜視図である。
第２のカメラ１２は眼球撮影用であって高倍率のカメラを用いる。このカメラは、この実施例では世界座標系の原点、図４のＯ（０，０）点に配置されている。なお、図４ではカメラ１２の図示を省略してある。
この第２のカメラ１２で取得したデータに基づく角膜反射（点）の位置関係の一例を図１に拡大して示してある。この画像は後述する出力装置により表示される。
第１のカメラ１０，１１は一対のカメラからなる瞳孔の３次元位置検出用のステレオカメラである。
第１のカメラ１０，１１間の距離（基線長は）世界座標系のＸ軸に平行である。
第２のカメラ１２は少なくとも一方の瞳孔に照準され、図１に拡大して示されている。角膜反射点と瞳孔の中心のデータを取得する。
第１のカメラ１０，１１および第２のカメラ１２にはそれぞれ一体的にまたは関連して照明手段（図示せず）が設けられている。

図２は本発明方法を実施するための装置等の構成を示すブロック図である。
第１のカメラ１０，１１および第２のカメラ１２のＣＣＤにより取得された画像出力はインターフェイス１４を介してバスライン２０に接続される。
この実施例では第２のカメラ１２は前記座標系の既知の位置Ｏに配置され角膜反射点を形成するための光源を備え、瞳孔の中心と角膜反射点間の距離ｒと前記距離ｒの前記座標軸に対する角度φのデータを取得する。この実施例においては前記光源からの光の光軸は，第２のカメラ１２の光軸に一致するように設けられている。
第２のカメラ１２は処理装置（ＣＰＵ）２１から供給される信号により駆動装置１６を介して供給され、対象とする眼に照準（向けられて焦点合わせがされている状態）される。操作者は出力装置３１の一部を形成する表示画面に表示される眼の画像（図１参照）を見ながら必要に応じて照準するために入力装置２４を操作する。図示しない各カメラの照明手段は照明制御装置１５からの信号で操作される。
記憶装置２６には、後述する制御を実行するためのプログラムや、演算を行なうためのＲＡＭ領域が設けられている。被検者の画像情報や、演算結果情報、システムの動作情報等は出力インターフェイス３０を介して出力装置３１に出力される。出力装置３１は、画像表示装置プリンタ等を含んでいる。

第１のカメラ１０，１１は前記眼の瞳孔の中心の座標上の３次元位置を検出するために設けられている。第２のカメラ１２は高倍率の視線検出用カメラであって、瞳孔を含む周囲の眼の画像だけを捉える。
前記第１のカメラからの３次元瞳孔位置情報によって２つの眼のうちの１つの眼もしくは２つの眼を追いかける自動追跡制御手段（駆動装置１６）を設けてある。
なお手動でカメラの光軸を合わせることも可能である。後述するように、第１のカメラ１０，１１の出力から得られる３次元瞳孔位置Ｐと第２のカメラ１２の出力から得られる角膜反射像中心の位置と瞳孔中心Ｐから視線ベクトルを求める。

（照明光源について）照明光源は、カメラのレンズの開口の中あるいは近くに配置するもの（以下、内側の光源とする）と、開口から離れた位置に配置するもの（以下、外側の光源とする）を用意することができる。内側の光源による画像においては、瞳孔が顔の瞳孔以外の部分よりも明るく写る傾向がある。特公平７−８２５３９の第１３Ｂ図に関連してこのことが説明されている。
逆に外側の光源によって、瞳孔は瞳孔以外の部分よりも暗く写る傾向がある。同第１３Ｃ図に関連してこのことが説明されている。
内側と外側の光源をビデオ信号に同期させ、交互に点灯させ、得られた前者の画像から後者の画像を実時間で画像差分することによって、瞳孔以外のところは相殺され消え、瞳孔だけが検出しやすくなる。このような光源を各カメラに設ける。

この実施例では、第１および第２のカメラの計３台に光源を取り付けている。
これにより、互いに他のカメラの光源が発射した光が、眼鏡を反射して、眼鏡反射像として画像中に写ることを防ぐために、各カメラに取り付ける光源は互いに中心波長の異なる光源を用い、各波長を中心波長とするバンドパスフィルタをカメラに取り付ける。
その場合に、一般に光源の発光波長域に広がりがある場合は、３種類以上の光源において発光波長がオーバーラップするので、バンドパスフィルタバンドをいくら狭く選んでも、互いのカメラの光源が干渉しあう。これを防ぐために、光源の前に、バンドパスフィルタを設置し、顔に対して発射させる光の波長域を狭め、発光波長域のオーバーラップを極力減らした上で、さらに、各カメラの前には、同カメラの光源前に設置してバンドパスフィルタとほぼ同じ中心波長を持つバンドパスフィルタを設置し、互いの干渉をなくすることができる。

以下図３、図４を参照して、本発明方法を説明する。本発明による視線測定方法は、関係式を決定する関係式決定段階と決定された関係式に基づいて被検者の任意の視線を決定する視線測定段階を備えている。
関係式決定段階はステップ０〜１０を含み、視線測定段階は、ステップ１〜１０を含んでいる。

図４は世界座標系に関連して本発明方法を実施するための装置等の配列および関連する平面等を示している。
〔関係式決定段階〕
（ステップ０）世界座標系に対する各カメラの定位。
世界座標系の原点をＯ（０，０）とし第１のカメラを配置する。
（ステップ１）被検者に既知の一点に注目させる
世界座標系において座標がわかっている１点Ｑ（ｘ_Q ，ｙ_Q ，ｚ_Q ）を被検者に見させる。
（ステップ２）第２のカメラにより被検者の瞳孔中心Ｐの座標位置データの取得
ステレオカメラにより、瞳孔中心の３次元座標Ｐ（ｘ_P ，ｙ_P ，ｚ_P ）を求める。
（ステップ３）｜ＯＰ｜の算出
ベクトルＯＰの方向ベクトル
（ｌ_x ，ｌ_y ，ｌ_z ）＝（ｘ_P −ｘ_O ，ｙ_P −ｙ_O ，ｚ_P −ｚ_O ）とその長さ
｜ＯＰ｜＝〔（ｘ_P −ｘ_O ）² ＋（ｙ_P −ｙ_O ）² ＋（ｚ_P −ｚ_O ）² 〕^1/2
を求める。
（ステップ４）｜ＯＰ｜に垂直でＯをとおる仮想視点平面Ｈの算出
平面Ｈは次の式で与えられる。
（ｌ_x ・ｘ＋ｌ_y ・ｙ＋ｌ_z ・ｚ）−（ｌ_x ・ｘ_O ＋ｌ_y ・ｙ_O ＋ｌ_z ・ｚ_O ）＝０
(1)
（ステップ５）視線を現すベクトルＰＱの算出
視線を表すＰＱの方向ベクトル（ｓ_x ，ｓ_y ，ｓ_z ）は
（ｓ_x ，ｓ_y ，ｓ_z ）＝（ｘ_Q −ｘ_P ，ｙ_Q −ｙ_P ，ｚ_Q −ｚ_P ）であり、直線ＰＱの式は、同直線が、Ｐ（ｘ_P ，ｙ_P ，ｚ_P ）を通ることから次の式で与えられる。
（ｘ−ｘ_P ) ／ｓ_x ＝ (ｙ−ｙ_P ) ／ｓ_y ＝ (ｚ−ｚ_P ）／ｓ_z (2)
で現される。
（ステップ６）直線ＰＱと仮想視点平面Ｈの交点の座標Ｇ（ｘ_G ，ｙ_G ，ｚ_G ）の算出
前述の(2) 式＝ｔと置いたときに求まる（ｘ，ｙ，ｚ）は次の(3) のとおりである。
ｘ＝ｓ_x ｔ＋ｘ_P
ｙ＝ｓ_y ｔ＋ｙ_P (3)
ｚ＝ｓ_z ｔ＋ｚ_P
これを平面Ｈの式に代入すると、
ｔ＝（ｌ_x ² ＋ｌ_y ² ＋ｌ_z ² ）／（ｌ_x ｓ_x ＋ｌ_y ｓ_y ＋ｌ_z ｓ_z ） (4)
と,tが求まる。これを(3) に代入することにより世界座標系における交点
Ｇ（ｘ_G ，ｙ_G ，ｚ_G ）が求まる。
（ステップ７）ベクトルＯＰとベクトルＰＧの角度θの算出
ベクトルＯＰの方向ベクトル（ｌ_x ，ｌ_y ，ｌ_z ）視線ベクトルの方向ベクトルＰＧ （ｓ_G ，ｓ_G ，ｓ_G ）のなす角θを求める。

θ＝ｃｏｓ^-1〔｜ｌ_x ｓ_x ＋ｌ_y ｓ_y ＋ｌ_z ｓ_z ｜
／（ｌ_x ²＋ｌ_y ² ＋ｌ_z ² ）^1/2 ・（ｓ_x ²＋ｓ_y ² ＋ｓ_z ² ）^1/2 〕≧０
(5)
（ステップ８）ｒとφ_a の測定
第１のカメラ（第１のカメラ２０）により角膜反射中心と瞳孔中心座標を取得して、
角膜反射中心と瞳孔中心間の距離ｒと角度φ_a （座標軸に対する）を求める。
視線検出用カメラ（第２のカメラ１２）の画像から検出される角膜反射中心と瞳孔の中心座標をそれぞれ、（ｇ_x ，ｇ_y ） ，（ｐ_x ，ｐ_y ）とするとき、
｜ｒ｜≠０のとき、
｜ｒ｜＝〔（ｐ_x −ｇ_x ）² ＋（ｐ_y −ｇ_y ）² 〕^1/2 (6)
φ_a ＝ｃｏｓ^-1（ｐ_y −ｇ_y ）／｜ｒ｜ (7)
（０≦φ_a ' ≦π） とおいたとき、
ｐ_x ＜ｇ_x のとき、φ_a ＝φ_a ’
ｐ_x ＞ｇ_x のとき、φ_a ＝−φ_a ’
と計算でき被検者がＱを見たとき｜ｒ｜を｜ｒ_Q｜(単位は画素) として求める。
（ステップ９）｜ｒ｜をＯＰにより補正して｜ｒ^* ｜を求める。
第２のカメラ１２では、角膜反射像の中心と瞳孔像の中心を検出して、それらの相対位置関係から視線検出用カメラの光軸と視線とのなす角度を推定する。
この場合、同じ方向を見ていても画像の拡大率が異なれば、角膜反射像の中心と瞳孔像の中心の相対関係が変化してしまうので、画像の拡大率は重要な要素である。この問題を解決するためには、まず、距離と拡大率の関係を予め計測しておき、関係式を求めておく。瞳孔の３次元位置がわかるので、視線検出用カメラと瞳孔までの距離を算出して、関係式を用いて拡大率を計算し、角膜反射像中心と瞳孔中心間の距離を補正する。

（ステップ１０）θと｜ｒ^* ｜から、｜ｒ^* ｜とθ間の関係式ｆを求める。
被検者がＯを見たときのθとｒをそれぞれθ_O と｜ｒ_O ｜とすると、
｜ｒ_O ｜＝０で、｜ｒ^* _O ｜＝０であるから、Ｑを見たときの値θと｜ｒ^* ｜から、
θ＝ｋ ｜ｒ^* ｜ (8)
である線形関係があるとして、係数ｋを求める。
ｋ＝θ_Q ／｜ｒ^* _Q ｜ (9)
また φ_a ＝−φ_a ' (10)
とする。よって、このような係数ｋ（一般的には｜ｒ^* ｜とθ間の関係式ｆ）を求めることで視線の較正をする。
｜ｒ^* ｜は、θの関数であり、φ_a とは独立している。φ_a またはφ_a ’によらずｋが一定であると仮定しているからである。
このことを、さらに図５を参照して説明する。（｜ｒ^* ｜，φ_a ’）から（｜θ｜，φ_a ）への対応付けにおいて、原点は原点に写像し、単に拡大もしくは縮小して左右をひっくり返すだけの写像となる。

前述した関係式決定段階で獲得した関数式を用いる〔視線測定段階〕
（ステップ１）必要に応じて第１のカメラの被検者への照準。
被検者の注目点は、視対象平面の未知Ｑ’（ｘ_Q'，ｙ_Q'，ｚ_Q'）であるとする。
この座標を求めるのが、これからの手続きの目的である。
（ステップ２）瞳孔中心の３次元座標の測定
図５に示すように、第１のカメラ１０，１２被検者の瞳孔中心Ｐ’の座標位置データ
（ｘ_P ，ｙ_P ，ｚ_p ）の測定
（ステップ３）｜ＯＰ’｜の算出
ベクトルＯＰ’の方向ベクトル
（ｌ_x ，ｌ_y ，ｌ_z ）＝（ｘ_P −ｘ_O ，ｙ_P −ｙ_O ，ｚ_P −ｚ_O ）とその長さ
｜ＯＰ’｜＝〔（ｘ_P −ｘ_O ）² ＋（ｙ_P −ｙ_O ）² ＋（ｚ_P −ｚ_O ）² 〕^1/2
を求める。
（ステップ４）第１のカメラにより角膜反射中心と瞳孔中心座標を取得して、距離ｒ’と座標軸に対する角度φ_b を測定する。
｜ｒ’｜≠０のとき
｜ｒ’｜＝〔（ｐ_x −ｇ_x ）² ＋（ｐ_y −ｇ_y ）² 〕^1/2 (6')
φ_b ＝ｃｏｓ^-1（ｐ_y −ｇ_y ）／｜ｒ｜ (7')
（０≦φ_b ' ≦π） とおいたとき、
ｐ_x ＜ｇ_x のとき、φ_b = φ_b '
ｐ_x ＞ｇ_x のとき、φ_b = −φ_b '

（ステップ５）ｒ’を｜ＯＰ’｜により補正してｒ^* ’を求める。
（ステップ６）先の段階で求めた関係式を用いてθ’を求める。
θ’＝ｆ（｜ｒ^* ’｜）＝ｋ｜ｒ^* ’｜
（ステップ７）視線ベクトルＧ’を求める。

仮想視点平面Ｈをｘ’−ｙ’平面とする直交座標系（原点Ｏは絶対座標系と一致）を、図６のようにとる（ｚ’軸は点Ｐを通る）。
平面Ｈのｘ’軸とｙ’軸は、絶対座標系のｘ軸、ｙ軸に対して、水平方向にα、垂直方向にβだけ回転しているものとする。
平面Ｈをｚ’軸方向から見た図が図７左であり、図７右は点Ｏ、点Ｇ’、点Ｐの三点を通る平面を図示したものである。
θとφ_b と｜ＯＰ｜から仮想視点平面Ｈの直交座標系における点Ｇ’を求める。
図７右からわかるように、
｜ＯＧ’｜= ｜ＯＰ｜ｔａｎθ (8)
であり，仮想視点平面Ｈの直交座標系における点Ｇ’（ｘ_G', ｙ_G', ０）のｘ_G', ｙ_G'は、φ_b = φ_b ' とすると、
ｘ_G'＝｜ＯＧ’｜ｃｏｓφ_b ' (9)
ｙ_G'＝｜ＯＧ’｜ｓｉｎφ_b '
で求まる。

（ステップ８）ＰＧ’を求める。
仮想視点平面Ｈの直交座標系においては、点Ｐの座標は( ｜ＯＰ｜, ０，０）であるので、同座標系における視線ベクトルは、ＰからＧ’を結ぶベクトルＰＧ' として，
ＰＧ'=（ｘ_G' ,ｙ_G'−｜ＯＰ｜） (10)
で求まる。これは、仮想視点平面Ｈの直交座標系における視線ベクトルの方向ベクトルでもある。

（ステップ９）視線ベクトルとの方向ベクトルの算出
世界座標系におけるベクトルＯＰの方向ベクトル（ｌ_x ，ｌ_y ，ｌ_z ）は、仮想視点平面Ｈ直交座標系のｚ’座標に一致している。今、仮想視点平面Ｈの直交座標系のｘ’軸を世界座標系のｘ軸に一致するように原点回りに−αだけ回転させた後に、ｙ’軸をｙ軸に一致するように原点回りに−βだけ回転させると、仮想視点平面Ｈの直交座標系と世界座標系は一致する。上記の座標系回転後の仮想視点平面Ｈの直交座標系でのベクトルＰＧ’の方向ベクトルは、世界座標系における視線ベクトルに一致する。ここで、

(11)
で与えられる。この回転により世界座標系の視線ベクトルの方向ベクトル（ｓ_x ，ｓ_y ，ｓ_z ）は次の(12)式で与えられる。

(12)
なお直行座標系と角度の関係を図８に示してある。
（ステップ１０）視点Ｑ’の算出
前のステップで求めた（ｓ_x ，ｓ_y ，ｓ_z ）を用いて、世界座標系における視線の式は（ｘ−ｘ_P ) ／ｓ_x ＝ (ｙ−ｙ_P ) ／ｓ_y ＝ (ｚ−ｚ_P ）／ｓ_z （＝ｔ） (2)
で現される。視対象が平面であり、その式が
ｍ_x ・ｘ＋ｍ_y ・ｙ＋ｍ_z ・ｚ＋ｄ＝０ (13)
で与えられるとき、(11)式と(12)式の交点Ｑ’ｄ あり、これを求める。
(2) 式より、
ｘ＝ｓ_x ｔ＋ｘ_P
ｙ＝ｓ_y ｔ＋ｙ_P (3)
ｚ＝ｓ_z ｔ＋ｚ_P
これを平面Ｈの式に代入すると、

(14)
これを(3) 式に代入して、視点Ｑ’（ｘ_Q'，ｙ_Q'，ｚ_Q'）が求まる。

以上詳しく説明した本発明の実施形態について、種々の変形が期待できる。これらは、本発明の技術的範囲に属するものである。
全カメラは近赤外線に高感度のカメラを使用し、レンズの絞りをできるだけ絞り焦点深度を大きくすることで固定焦点レンズを使用することもできる。
すなわち、頭部が大きく移動してもいつもピントがあっている状態を作り出し、カメラの方向も固定のままでも頭部をいつも撮影できるようにしても良い。

また、第２のカメラ１２については、一般に、大きく拡大するために、狭い距離範囲でしかピントが合わなくなる可能性がある。しかし、用途によっては、手動焦点レンズで間に合う場合がある。それは、ある一時期において、頭部の動きが限られている場合である。例えば、いすに座っているユーザや被検者の場合、座席の位置を設定したら、頭部を大きく動くことはない。この場合は、狭い範囲（１０ｃｍ）程度の範囲でピントがあっていればよいので、ユーザや被検者が手動でレンズの焦点を合わせたり、もしくは電動焦点レンズを手元スイッチやリモコンでピントを一度合わせれば使用できるようになる。また、カメラの向きも、ユーザや被検者が手など体を使って動かしたり、アクチュエータを含むシステムで、手元スイッチやリモコンで眼が写る方向、位置に一度合わせれば視線を計測できることになる。前記のシステムは比較的安価にできる。この場合でも、視線決定において瞳孔の３次元位置は情報として必要となる。

また、頭部が大きく動いている最中も視線を検出する必要がある場合において、手動固定レンズもしくは固定焦点レンズではピントが合わない場合がある場合においては、自動焦点レンズもしくは電動焦点レンズを使用する必要がある。自動焦点レンズは一般にカメラの画像を利用して制御される。画像のコントラストが良い場合には利用できるが、バンドパスフィルタをつけるなどの理由から画像のコントラストが悪い場合には、電動焦点レンズを用いて外部からコントロールすることもできる。

上述の方法では、θと｜r ｜関係に線形性があり、原点を通ることを前提とした。
しかし、一般には、眼球の光学系と視軸とに多少のずれがあるため、被検者がＯを見たときに角膜反射が瞳孔像の中心に現れるとは限らない。すなわち、原点を通らない。高精度の視線検出を行うためには、これを補正する必要がある。方法としては、視線の較正の際に、どこか一点を被検者に見させるだけでなく、被検者がＯを見たときの｜r ｜ とφ' も計測する。すなわち、被検者に最低でもこれら２点を見させて、視線の較正をする必要がある。
この場合、Ｏを見させたときに得られる角膜反射中心−瞳孔中心ベクトルｒ（ずれ成分）がゼロベクトルになるように、他のどこか一点を見たときに得られたｒについてもずらした後に（原点補正）、｜r ｜ とφ' を求め較正を行う。また、実時間視線検出においても、得られるｒに同様に補正を行った後に｜r ｜ とφ' を求め、それを利用し視線を算出する。

本発明は、人間の行動の監視の分野、人間の生活環境または作業環境における視線入力手段として広く利用できる。電子装置の製造の分野、電子計算機の使用環境における利用が予定される。

本発明による方法を実施するための装置の実施例の配列を示す概略図である。瞳孔と角膜反射（点）の位置関係の一例を拡大して示してある。 本発明方法を実施するための装置等の構成を示すブロック図である。 本発明による方法を説明するための流れ図である。 世界座標系に関連して装置等の配列を示す斜視図である。 瞳孔と仮想視点平面の写像〔（ｒ’，φ）と（｜θ｜＝ｋ｜ｒ’｜，−φ）の対応〕を説明するためのグラフである。 視対象平面と仮想視点平面（Ｈ）との関係を説明するための斜視図である。 仮想視点平面（Ｈ）におけるθとφの意味を説明するための図である。 方向ベクトルと角度の関係を示すグラフである。

符号の説明

１０，１１ 第１のカメラ
１２ 第２のカメラ
１４ カメラインターフェイス
１５ 照明制御装置
１６ カメラ駆動装置
２０ バスライン
２２ 処理装置（ＣＰＵ）
２４ 入力装置
２６ 記憶装置
３０ 出力インターフェイス
３１ 出力装置

Claims (6)

1. 座標系に対する瞳孔の位置を測定するための第１のカメラと、
   前記座標系の既知の位置に配置され角膜反射点を形成するための光源を備え、瞳孔の中心と角膜反射点間の距離ｒと前記距離ｒの前記座標系の座標軸に対する角度φのデータを取得する第２のカメラとを用いて前記各カメラからの情報により下記のステップを実行する視線方向を演算する演算手段とを用いる被検者の視線検出方法であって、
   前記座標系の既知の一点Ｇに被検者を注目させ、前記第１のカメラにより前記被検者の瞳孔の位置の座標点Ｏに関するデータを取得するステップと、
   前記被検者の状態において、前記第２のカメラにより角膜反射点のデータと前記反射点と瞳孔中心Ｐまでの距離ｒと前記座標軸と前記ｒとの傾きφを取得するステップと、
   演算手段により前記第２のカメラの基準位置と瞳孔の中心を結ぶ線と前記被検者の視線との角度θを算出するステップと、
   前記測定値および算出値に基づいてｒに関連するｒ^* とθの関係を示す式
   θ＝ｆ（ｒ^* ）を算出するステップとを含む関係式決定段階とおよび
   前記座標系の未知の一点Ｇ’に被検者を注目させ、前記第１のカメラにより前記被検者の瞳孔の位置の座標点Ｏ’に関するデータを取得するステップと、
   前記第２のカメラにより角膜反射点のデータと前記反射点と瞳孔中心Ｐまでの距離ｒ’と前記座標軸と前記ｒ’との傾きφ’を取得するステップと、
   前記関係式を用いてθ’＝ｆ（ｒ^* ’）を算出し、前記傾きφ’，θ’から未知の一点
   Ｇ’を得るステップとを含む視線決定段階と、
   から構成した被検者の視線検出方法。
2. 請求項１記載の方法において、ｒ^* はｒそれ自身かｒをＯＰに基づいて補正した値であり，ｒ^* ’はｒ’それ自身かｒ’をＯＰ’に基づいて補正した値である請求項１記載の被検者の視線検出方法。
3. 前記第１のカメラは座標系の水平軸方向に基線を一致して配置されたステレオカメラであり、前記第２カメラの光源は第２のカメラの光軸と実質的に一致する光軸を備える請求項１記載の被検者の視線検出方法。
4. ｒ^* とθの関係を示す式θ＝ｆ（ｒ^* ）は、θ＝ｋ×ｒ^* （ただしｋは定数）で与えられる請求項１記載の被検者の視線検出方法。
5. 前記瞳孔は被検者の何れか一方の瞳孔である請求項１記載の被検者の視線検出方法。
6. 座標系に対する瞳孔の位置Ｐを測定するための第１のカメラと、
   前記座標系の既知の位置に配置された光源および前記光源で照射された瞳孔の中心と角膜反射点間の距離ｒとｒの前記座標軸に対する角度φのデータを取得する第２のカメラと、
   前記座標系の既知の一点Ｇに被検者を注目させ、前記第１のカメラにより前記被検者の瞳孔の位置の座標点Ｐに関するデータを取得し、
   前記被検者の状態において、前記第２のカメラにより角膜反射点のデータと前記反射点と瞳孔中心Ｐまでの距離ｒと前記座標軸と前記ｒとの傾きφを取得し、
   前記第２のカメラの基準位置と瞳孔の中心を結ぶ線と前記被検者の視線との角度θを算出し、ｒに関連するｒ^* とθの関係を示す式θ＝ｆ（ｒ^* ）を算出し、
   前記座標系の未知の一点Ｇ’に被検者を注目させ、前記第１のカメラにより前記被検者の瞳孔の位置の座標点Ｏ’に関するデータを取得し、
   前記第２のカメラにより角膜反射点のデータと前記反射点と瞳孔中心Ｐまでの距離ｒ’と前記座標軸と前記ｒ’との傾きφ’を取得し、
   前記関係式を用いてｒ’に関連するｒ^* ’からθ’＝ｆ（ｒ^* ’）を算出し、さらに
   φ’，θ’から未知の一点Ｇ’を得るステップを実行する演算手段と、
   から構成した被検者の視線検出装置。

Images