JP2019215688A - 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム - Google Patents

Abstract

【課題】ユーザが意図的にどこかを見なくても自動でキャリブレーションでき、かつ、ユーザ固有のパラメタを安定させることができる視線計測装置を提供する。【解決手段】眼球の光軸を計測する光軸計測手段１２と、表示パネル１４ａに画像を表示する画像表示手段１４と、計測した光軸と表示パネル１４ａとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する特徴点抽出手段１６と、特徴点の分布のピーク位置と交点の位置から、眼球の光軸と視軸のカッパ角を算出して視軸を推定する視軸推定手段１８を備える。特徴点抽出手段では、特徴点が少なくとも１つ存在する画像において、時間経過に伴う複数の探索範囲の各々の特徴点を抽出する。或は、特徴点抽出手段では、複数の画像または動画像において、それぞれの画像における複数の探索範囲の各々の特徴点を抽出する。【選択図】図１

Description

本発明は、自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラムに関するものである。

従来、コンピュータを操作するためのインタフェースの一種として非接触型の視線計測技術がある。この視線計測技術は、カメラと光源を用いて、ユーザの視線をデータとして検出し、検出された視線データを用いてコンピュータの画面上のアイコンなどを操作するものである。この視線計測技術では、ユーザの眼球に赤外線などの光源からの光を照射して眼球を撮影し、撮影した画像の角膜表面における赤外線などの反射光と瞳孔との距離から算出される方向データをユーザの推定視線データとして検出する。

この技術により算出される推定視線データと、実際のユーザの実視線データとの間には、ユーザごとに異なる誤差が生じる。誤差が生じる原因には、眼球形状の個人差、角膜表面での光の屈折、中心窩の位置に関する個人差など様々な要素がある。
そこで、実視線データに対する推定視線データの誤差を補正するために、ユーザ毎の補正用パラメタを予め算出しておき、算出された推定視線データをこの補正用パラメタで補正するキャリブレーションと呼ばれる処理が行われる。
キャリブレーションは、予め定められた複数のマーカを利用者に順に注視させ、それぞれのマーカが注視されたときの推定視線データを検出し、検出された推定視線データと眼球から各マーカへの実際の方向データとの差から補正用パラメタを算出する。

キャリブレーションを行うことにより、ユーザの実際の視線により近い方向データを視線データとして検出することが可能になる。しかし、精度の高い視線データを検出するためには、補正用パラメタを生成する際に利用者に５点から２０点程のマーカを注視させる必要があり、ユーザの負担が大きいといった問題がある。市販の視線計測装置の場合も、計測前に２点から９点を注視するキャリブレーションが必要であった。この問題に鑑みて、キャリブレーションを１点のマーカにまで減少させる技術が開示されている（例えば、特許文献１を参照。）。

特許文献１に開示された技術では、光源の角膜表面での反射光と瞳孔をカメラで撮影することより、眼球画像から角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である眼球の光軸を求める。そして、眼球の光軸と視軸（視線と同等）とのずれを、１点を注視するキャリブレーションで求め、その後に計測した光軸をずれの分だけ、軸をずらすことにより正確に視線を求める。かかる技術では、眼球の内部の中心窩の位置がカメラで外部から撮影できないことから、キャリブレーションの際に注視する点数を１点から減らすことは困難である。

本発明者の一人は、既に、両眼の光軸を計測し、ディスプレイ画面上で左右の眼球の視軸が交差するという拘束条件を付加することにより、ユーザにマーカを注視させる必要がない、すなわち、キャリブレーションが不要（キャリブレーションフリー）な自動キャリブレーションの視線計測装置を提案している（特許文献２を参照）。
特許文献２に開示された視線計測装置は、ディスプレイ画面を見ているユーザについて、光源からの光が反射した眼球画像をカメラで取得し、眼球画像から角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出し、算出した光軸と、中心窩と角膜の曲率中心とを結ぶ軸である視軸との間のずれを算出し、光軸と視軸との間のずれに基づき、光軸をずらして視軸を求め、ユーザの画面上での注視点を画面と視軸の交点として算出するものである。
特許文献２に開示された視線計測装置では、ディスプレイ画面上で眼球の視軸が交差するとしてユーザ固有のパラメタを求めるものがあるが、非常にノイズに敏感であり、実環境でキャリブレーションを行うためには、非常に高い精度で光軸を求める必要があり、実用化が困難であった。

特開２００７−１３６０００号公報 特許第５１６３９８２号公報

上述の如く、ユーザにマーカを注視させる必要がない自動キャリブレーションの視線計測では、ディスプレイ画面上で左右の眼球の視軸が交差することから、ユーザ固有のパラメタを求めるが、非常にノイズに敏感であり、実用化が困難であるといった問題がある。自動キャリブレーションの視線計測は、ユーザにマーカを注視させる必要がなく、ユーザフレンドリーであることから、ノイズに敏感でユーザ固有のパラメタが安定しないという問題を解決し、実用化を目指す必要がある。

かかる状況に鑑みて、本発明は、ユーザが意図的にどこかを見なくても自動でキャリブレーションでき、かつ、ユーザ固有のパラメタを安定させることができる視線計測装置、視線計測方法および視線計測プログラムを提供することを目的とする。

上記課題を解決すべく、本発明の第１の観点の視線計測装置は、眼球の光軸を計測する光軸計測手段と、光軸計測手段との相対位置が既知の表示パネルに画像を表示する画像表示手段と、計測した光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する特徴点抽出手段と、抽出した特徴点の分布のピーク位置と、光軸と表示パネルとの交点の位置とから、眼球の光軸と視軸のカッパ角を算出して視軸を推定する視軸推定手段を備える。

眼球の光軸を計測する光軸計測手段は、既に知られた光軸を計測する手段を用いることができる。例えば、ユーザの前面に２台のカメラと２つの光源を設置し、左右の眼球のそれぞれの瞳孔とそれぞれの角膜表面で反射する各２つの光源反射光から、左右の眼球の角膜曲率半径と、角膜曲率中心と瞳孔中心との距離を取得することにより、角膜曲率中心位置と瞳孔中心位置を算出して光軸を計測することができる。

画像表示手段は、ユーザの前面にある表示パネルに画像を表示するものであり、表示パネルを構成に備える。表示する画像は、ユーザに注視させるマーカではなく、電子メールの表示画面や文書作成ソフトウェアの表示画面、ディスプレイのデスクトップのアイコン表示画面、写真やイラストの画面など、通常、ユーザがコンピュータ端末を取り扱う際に表示されるような画像である。
また、光軸計測手段との位置関係が既知の表示パネルとは、光軸計測手段であるカメラや光源の位置との相対的な位置関係が予め分かっている表示パネルである。例えば、矩形のディスプレイやタブレットＰＣのような表示パネルの周縁部に、光軸計測手段であるカメラと光源が設けられる場合は、光軸計測手段と表示パネルの相対位置が既知といえる。既知でない場合は、光軸計測手段と表示パネルの相対位置が計測できる手段、例えば、カメラや距離センサを用いて、光軸計測手段と表示パネルの相対位置を計測するようにしてもよい。
また、表示パネルは、ユーザの顔に取り付けるゴーグル型の表示パネル、メガネレンズに相当する部分に表示パネルを設けたメガネ型の表示パネルでもよい。ゴーグル型やメガネ型の表示パネルも、同様に、表示パネルの周縁部に、光軸計測手段であるカメラと光源が設けられる。

本発明では、眼の光軸の周囲の探索範囲内に存在する視覚的特徴を利用する。典型的な成人では、視軸（眼球の中心窩と注視点を結ぶ軸）は、眼の光軸から、鼻に向かって水平方向に約４〜５°、垂直方向に約１．５°下にずれていることが知られている。そのため、光軸と表示パネルとの交点の周囲で注視点が存在する可能性がある。
特徴点抽出手段は、計測した光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する表示画像の特徴点を抽出する。具体的には、視軸が光軸から水平方向に約４〜５°、垂直方向に約１．５°下にずれていることに鑑みて、水平方向は、右眼が−７〜３°の範囲、左眼が−３〜７°の範囲とし、垂直方向は、右眼と左眼の双方共に−３〜３°の範囲とし、探索範囲として設定する。探索範囲は、左右それぞれの眼の計測した光軸と表示パネルとの交点を取り囲み、光軸に垂直な面で矩形の範囲で、縦横の長さは眼と表示パネルの距離と上記の角度範囲から決定される。

また、画像の特徴点とは、画像上で、視覚的特徴のある部分であり、１点または領域である。この特徴点がユーザの注視点の候補になる。顕著な特徴点が１箇所であれば、その点が注視点になるが、ある領域に拡がっているものでもよい。後述するように、複数の画像や時間経過に伴う複数の探索範囲の各々の特徴点を抽出し、それらの特徴点の分布のピーク位置を視軸推定に用いる。このように、ユーザにマーカを注視させることなく、通常表示するような自然な画像を見させることにより、自動キャリブレーションを行い、探索範囲内の特徴点（注視点候補）を抽出し、特徴点の分布のピーク位置を注視点とする。

視軸推定手段では、計測した光軸と表示パネルとの交点の位置と、上記の特徴点抽出手段で抽出した特徴点の分布のピーク位置とから、眼球の光軸と視軸のカッパ角を算出して視軸を推定する。カッパ角は、典型的な成人では、眼の光軸から鼻に向かって水平方向に約４〜５°、垂直方向に約１．５°下にずれていることが知られているが、ユーザに依存しバラツキがあり、ユーザ固有のパラメタである。
特徴点抽出手段で特徴点を抽出し、特徴点の分布のピーク位置を注視点と見做し、個々のユーザの右眼、左眼のカッパ角を算出し、計測した光軸を用いて、視軸を推定できる。
このように、自動キャリブレーションでありながら、１つの画像からユーザ固有のパラメタを算出するのではなく、複数の画像や時間経過に伴う複数の探索範囲を用いてユーザ固有のパラメタを算出することができるため、ノイズに対してロバスト性のある視線計測装置を提供することができる。

また、本発明の第２の観点の視線計測装置は、眼球の光軸を計測する光軸計測手段と、光軸計測手段との相対位置が既知のカメラ手段を有し、眼球の前方を撮影する画像取得手段と、計測した光軸とカメラ手段の被写体の位置に仮想的に設けられた仮想パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する特徴点抽出手段と、抽出した特徴点の分布のピーク位置と、光軸と表示パネルとの交点の位置とから、眼球の光軸と視軸のカッパ角を算出して視軸を推定する視軸推定手段を備える。
眼球の前方を撮影したカメラ画像は、眼球からある距離離れた大型ディスプレイに表示した画像と等価になることから、第２の観点の視線計測装置では、表示パネルに画像を表示する画像表示手段に替えて、眼球の前方を撮影する画像取得手段を備え、撮影した前方の画像を、カメラの被写体の位置に仮想的に設けられた仮想パネルにあたかも表示させるとして、計測した光軸と仮想パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する。ここで、仮想パネルの位置は、カメラで撮影する被写体の位置に相当する位置になるが、撮影画像に写った様々な被写体がそれぞれ異なる３次元空間に存在することから、実際のところは、カメラの光軸方向に存在する被写体（焦点距離を合わせた被写体）の位置に相当する位置になる。眼球の前方数ｍの被写体であれば、画像取得手段であるカメラに、赤外線深度センサを搭載することにより、カメラと被写体の距離を計測できる。その場合には、計測した距離だけ眼球から離れた仮想パネルに、撮影した前方の画像を仮想的に表示させるとして、計測した光軸と仮想パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出するとよい。
眼球の前方を撮影したカメラの位置（通常は頭部に固定）と眼球を撮影するカメラの位置との相対位置関係は予め取得できるもの（既知）とする。

本発明の視線計測装置において、特徴点抽出手段では、特徴点が少なくとも１つ存在する画像において、時間経過に伴う複数の探索範囲の各々の特徴点を抽出し、特徴点の分布のピーク位置を算出することでもよい。画像から特徴点を計算するが、時間経過に伴い注視点が移動し光軸も移動すると、探索範囲が移動する。時間経過に伴う複数の探索範囲の各々の特徴点を抽出することにより、特徴点を含む探索範囲の画像を何枚か重ね合わせることができ、重ね合わせたことでできた特徴点の分布のピーク値を注視点として処理する。

本発明の視線計測装置において、特徴点抽出手段では、複数の画像または動画像において、それぞれの画像における複数の探索範囲の各々の特徴点を抽出し、特徴点の分布のピーク位置を算出することでもよい。

本発明の視線計測装置において、特徴点は、視覚性ボトムアップ型注意と視覚性トップダウン型注意の少なくとも何れかをユーザに生じさせるものである。ここで、視覚性ボトムアップ型注意とは、複数の視覚刺激の中で１つの刺激が周囲の刺激と顕著に異なる場合や、視覚刺激が突然出現した場合、ユーザはその視覚刺激に対して注意が受動的に惹きつけられることになる。例えば、表示パネルが単一色の背景で、ソフトウェア起動用のアイコン画像が点在する場合、何れかのアイコン画像に注意が惹きつけられ注視することになる。また、例えば、画像内に、明るい部分や、点滅したり、色や形が変化する部分があれば、その部分に注意が惹きつけられ注視することになる。
画像において、ユーザに視覚性ボトムアップ型注意を生じさせるものは、特徴点となり、注視点の候補にできる。

また、視覚性トップダウン型注意とは、選ぶべき視覚刺激について、事前知識がある場合に、ユーザはその視覚刺激に対して能動的にバイアスがかかり、目的となる視覚刺激に対して注意を向けることになる。例えば、形や色が異なる視覚刺激が混在している画像で、選ぶべき視覚刺激が目立たない状況下であっても、選ぶべき目標の色と形の特徴に注意を向けることによって見出せる。視覚性トップダウン型注意には、顔認識、文字認識、実際に人が見る画像データにおいて、画像内に人が注意を向ける部位はどこかを学習した結果を用いるものを含む。例えば、学習結果から高い確率で注視している物体が含まれる画像を用いて視覚刺激を与えることもできる。画像において、ユーザに視覚性トップダウン型注意を生じさせるものも特徴点となり、注視点の候補にできる。
なお、画像に、視覚性ボトムアップ型注意と、視覚性トップダウン型注意とが混在していてもかまわない。

本発明の視線計測装置において、特徴点抽出手段では、探索範囲内の特徴点の特徴マップを算出し、特徴マップを重ね合わせて単一のサリエンシーマップを算出し、サリエンシーのピーク位置を特徴点の分布のピーク位置とすることでもよい。ここで、サリエンシーとは、視覚刺激が空間的配置によって視覚性ボトムアップ型注意を生じさせる特性のことであり、顕著性のことである。画像において輝度の高い部分はサリエンシーが高いというものではなく、画像全体が明るくて一部に暗い部分があれば、その暗い部分がサリエンシーになる。また、サリエンシーマップとは、特徴点の特徴マップを重ね合わせて単一のマップに計算されたものであり、サリエンシーマップから最もサリエンシーの高い部分が注意を向ける候補として選択される。
特徴マップを単に重ね合わせただけでは、顕著性が高くないものを注視し続けた場合に、正確に視軸を推定できなくなる恐れがある。そこで、画像を物体認識することにより、例えば、視覚性トップダウン型注意のように、人が興味を持ちそうなもの（人の顔や文字など）が、眼球の光軸の傍に存在する画像の特徴マップだけを計算に用いることにより、視軸の推定精度が向上する。さらに、認識物体に対して人が注意を惹く度合いについて予め重みを設定し、認識した物体に応じて特徴マップを重ね合わせる際の重みを変えることでもよい。または、光軸の周囲の探索範囲の画像が、一様な模様の中に１つだけ顕著性が高いものがあるという画像の特徴マップを計算に用いることでもよい。また、動いている物体を視線で追いかけるといった追跡眼球運動を行っている場合だけを計算に用いることでもよい。このように選択的な画像を用いて、特徴マップを重ね合わせることにより、視軸の推定精度を向上できる。

本発明の視線計測装置において、特徴点抽出手段では、計測した右眼の光軸とパネルとの交点の周囲で、右眼の注視点が存在する可能性のある右眼の探索範囲、計測した左眼の光軸とパネルとの交点の周囲で、左眼の注視点が存在する可能性のある左眼の探索範囲、上記の右眼の探索範囲と左眼の探索範囲の重複する範囲内に存在する画像の特徴点を抽出することが好ましい。右眼と左眼の探索範囲の重複範囲内に存在する画像の特徴点を抽出することにより、推定精度を向上できる。

本発明の視線計測装置において、ユーザの眼球を撮影するために配置された少なくとも２台のカメラ手段と２つの光源手段を用いて光軸を計測することが好ましい。
２つの光源手段は、眼球における光源の反射像が互いに分離したものとなるように各々異なる位置に配置され、各々の光源手段の照射光の形状パターン若しくは波長を異なるものとし、何れかのカメラ手段により撮像された眼球画像上における反射像の位置と実際の光源手段の位置とを対応付けすることができるようにする。なお、眼球における光源の反射像が２個である場合は、左右どちらにあるかで、眼球画像上における反射像と実際の光源手段とを対応付けを行うことができる。
光軸を計算するためには、実空間における３次元的な光源位置と、眼球画像上での反射像であるプルキニエ像の位置を対応付ける必要があるが、光源手段が複数存在する場合、光源手段が角膜に複数反射しているが、このような場合は、カメラ手段により撮影されたプルキニエ像と実際の光源手段との対応付けを行なう必要がある。
例えば、照射光の形状を光源毎にユニークなものにより光源手段を判別する。また、光の色（可視光波長のみならず赤外線波長も含む）によって光源手段を判別することでもよい。

次に、本発明の視線計測方法について説明する。
本発明の第１の観点の視線計測方法は、眼球の光軸を計測する光軸計測ステップと、光軸計測手段との相対位置が既知の表示パネルに画像を表示する画像表示ステップと、計測した光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する特徴点抽出ステップと、抽出した特徴点の分布のピーク位置と、光軸と表示パネルとの交点の位置とから、眼球の光軸と視軸のカッパ角を算出して視軸を推定する視軸推定ステップを備える。ここで、光軸計測手段が、例えば、カメラと光源を用いて計測するものであれば、表示パネルは、カメラ又は光源との相対位置が分かればよい。

本発明の第２の観点の視線計測方法は、眼球の光軸を計測する光軸計測ステップと、光軸計測手段との相対位置が既知のカメラ手段で眼球の前方を撮影する画像取得ステップと、計測した光軸とカメラ手段の被写体の位置に仮想的に設けられた仮想パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する特徴点抽出ステップと、抽出した特徴点の分布のピーク位置と、光軸と表示パネルとの交点の位置とから、眼球の光軸と視軸のカッパ角を算出して視軸を推定する視軸推定ステップを備える。

特徴点抽出ステップでは、特徴点が少なくとも１つ存在する画像において、時間経過に伴う複数の探索範囲の各々の特徴点を抽出し、特徴点の分布のピーク位置を算出することでもよい。また、特徴点抽出ステップでは、複数の画像または動画像において、それぞれの画像における複数の探索範囲の各々の特徴点を抽出し、特徴点の分布のピーク位置を算出することでもよい。これらの特徴点抽出ステップにおいて、ユーザに対して画像内で注視する点の制約は設けない。ユーザに過度の負担をかけずに自動キャリブレーションを行える。特徴点は、視覚性ボトムアップ型注意と視覚性トップダウン型注意の少なくとも何れかをユーザに生じさせるものである。

また、特徴点抽出ステップでは、探索範囲内の特徴点の特徴マップを算出し、特徴マップを重ね合わせて単一のサリエンシーマップを算出し、サリエンシーのピーク位置を、特徴点の分布のピーク位置とすることでもよい。
また、特徴点抽出ステップでは、計測した右眼の光軸とパネルとの交点の周囲で、右眼の注視点が存在する可能性のある右眼の探索範囲、計測した左眼の光軸とパネルとの交点の周囲で、左眼の注視点が存在する可能性のある左眼の探索範囲、上記の右眼の探索範囲と左眼の探索範囲の重複する範囲内に存在する画像の特徴点を抽出することが好ましい。

本発明の視線計測プログラムは、本発明の視線計測方法の各ステップを、コンピュータに実行させるためのものである。

本発明の視線計測装置はロボットや乗り物に搭載され、本発明の視線計測プログラムを実行するコンピュータはスマートフォンなどの携帯端末に搭載される。

本発明によれば、ユーザが意図的にどこかを見なくても自動でキャリブレーションでき、かつ、ユーザ固有のパラメタを安定させることができ、ノイズに対するロバスト性を向上できるといった効果がある。

視線計測装置の機能ブロック図（実施例１） 特徴点抽出手段の機能ブロック図 探索範囲の説明図 眼球の形状モデルの説明図 カメラと光源の配置図 光源から出た光線の経路の説明図 １つの経路に着目した図 角膜表面上での屈折の説明図 光源Ｌ_ｉとカメラ中心Ｃ_ｊと角膜曲率中心Ａを通る平面の説明図 探索範囲の説明図 特徴マップの説明図 サリエンシーマップの説明図 探索範囲における特徴点の説明図 右眼と左眼の探索範囲の重複部分の説明図 視線計測方法の処理フロー（実施例２） 特徴点抽出ステップの処理フロー１ 特徴点抽出ステップの処理フロー２ 視線計測装置の機能ブロック図（実施例３） 視線計測方法の処理フロー（実施例４）

以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。

本発明の第１の観点の視線計測装置の構成及び機能について、図１，２に示す機能ブロック図を参照して説明する。図１に示す視線計測装置１は、光軸計測手段１２と、画像表示手段１４と、特徴点抽出手段１６と、視軸推定手段１８を備える。
光軸計測手段１２は、光源手段１０とカメラ手段１１と光軸計測ユニット１２ａから構成される。光軸計測ユニット１２ａは、実空間における３次元的な光源手段１０の位置情報と、カメラ手段１１により撮影されたプルキニエ像（眼球画像上での反射像）の位置を対応付けして光軸を算出するコンピュータである。光軸計測ユニット１２ａから特徴点抽出手段１６へ光軸計測データが伝達される。光源手段１０は、具体的には赤外線ＬＥＤを用い、カメラ手段１１は赤外線カメラを用いる。カメラ手段１１は、ユーザの眼球を撮影できるように配置される。光軸計測手段１２の詳細については後述する。

画像表示手段１４は、表示パネル１４ａと画像表示コントローラ１４ｂから構成される。画像表示コントローラ１４ｂから表示パネル１４ａに画像データが送られ、表示パネル１４ａに画像が表示される。画像表示コントローラ１４ｂから特徴点抽出手段１６へ画像データが伝達される。表示パネルが眼球の光軸に垂直であると仮定すると、眼球から画像データまでの距離は、眼球から表示パネルまでの距離と等しくなり、予め表示パネルの画像表示面のサイズがわかっていると、表示パネルに表示された画像データについて、眼球を基準とした３次元位置を算出することができる。表示パネルが眼球の光軸と垂直と仮定しなくても、例えば、カメラ２台、光源手段２個を用いることにより、角膜曲率中心位置と光軸の向きが求まるため、表示パネルとの姿勢と距離がわかれば、表示パネルの画像の位置は計算できる。なお、表示パネルの表示面が平面ではなく若干湾曲している場合や、表示パネルの表示面が光軸に垂直でない場合には、画像データが眼球の光軸に垂直な平面になるように補正することでもよい。又は、探索範囲の矩形を表示面に合せて変形補正してもよい。

特徴点抽出手段１６は、光軸計測手段１２から光軸計測データが、画像表示手段１４から画像データがそれぞれ伝達される。特徴点抽出手段１６は、図２に示すように、光軸計測データと画像データから画像上の探索範囲を算出する（１６０）。そして、探索範囲内に存在する画像上の特徴点を抽出する（１６２）。さらに、複数の探索範囲について、それらの探索範囲を重ね合せて特徴点の分布を算出する（１６４）。複数の探索範囲は、１つの画像における複数の探索範囲、又は、複数の画像における複数の探索範囲のどちらでもよい。そして、特徴点分布のピーク値を算出し（１６６）、ピーク値を特徴点抽出手段１６から視軸推定手段１８へ伝達する。
ここで、探索範囲について図３を参照して説明する。図３に示すように、眼球３（正確には眼球回転中心４）から距離Ｌだけ前方に離れた位置に、眼球３の光軸２と垂直に表示パネル５があるとし、光軸２と表示パネル５との交点７の周囲に探索範囲６があるならば、眼球を基準とした座標系を用いて、交点の座標位置、探索範囲６の矩形の座標位置、探索範囲内の画像の特徴点の位置（特徴点は１点または領域でもよい）を取得することができる。なお、表示パネル５の画像を斜めから見るように、表示パネル５の表示面が、光軸２に垂直ではなく斜めの姿勢であっても構わない。その場合には、探索範囲６の形状は、矩形ではなく、歪んだ四角形になる。歪んだ四角形のまま特徴点を抽出してもよいし、歪んだ四角形を矩形に補正して特徴点を抽出してもよい。

視軸推定手段１８は、ピーク位置と、光軸と表示面との交点の位置とから、眼球の光軸と視軸のカッパ角を算出して視軸を推定する。
光軸計測、特徴点抽出、視軸推定は、左眼と右眼のそれぞれ行い、左眼と右眼それぞれについてカッパ角を算出して視軸を推定する。

（１）光軸計測手段１２について
眼球の光軸を計測する光軸計測手段１２は、上述のとおり、既に知られた光軸を計測する手段を用いることができるが、例えば、図４に示す眼球の形状モデルを用いたモデルベースのアプローチを用いることができる。眼球の形状モデルベースのアプローチでは、３次元で視線を求めることができ、十分な計測精度を保ったまま、キャリブレーションの簡素化や、頭部移動への対応の実現に有望であり、モデルベースのアプローチにより、キャリブレーションなしで眼球の光軸を求めることができる。眼球の形状モデルでは、角膜は球面と近似され、眼球の網膜上で最も解像度が高い場所は中心窩と呼ばれ、眼球のレンズ中心と角膜曲率中心との距離は無視され同一位置とされる。視線は、中心窩と注視点とを結ぶ線と定義され、角膜曲率中心を通るものとされている。中心窩と角膜曲率中心を結ぶ眼球の軸は、視軸と呼ばれる（視線と視軸は同じ線を表す）。光軸は、眼球の幾何学的な中心軸であり、角膜曲率中心と瞳孔中心を結ぶ線と定義される。ここで、視軸と光軸のなす角は、上述の如く、典型的な成人では、水平方向に約４〜５°、垂直方向に約１．５°下にずれており、ずれ角は個人毎に異なることが知られている。眼球の視軸と光軸のなす角は、カッパ角（κ）と定義される。

図４に示す形状モデルにおける角膜曲率中心の推定について説明する。上述の特許文献２に開示された技術では、図５に示すように、２組のカメラと点光源が表示パネルの周囲に配置されている。例えば、ユーザの正面前方の左右に配置された２個のＬＥＤ光源（ＬＥＤ光源は赤外光線を照射するものを用いる）と、ＬＥＤ光源からの光が反射した眼球画像を取得するカメラ（ＬＥＤ光源が赤外光線を照射する場合、赤外線に感度をもつ赤外線カメラ（infrared camera））が表示パネルの周囲に配置されている。なお、２台のカメラでそれぞれ両眼撮影すればよいが、高解像度で眼球画像を撮るためには、右目用２台、左目用２台の合計４台のカメラを使用することでも構わない。
そして、ユーザが表示パネルの前に位置し、表示パネルの画像を見ている場合には、２つの点光源（Ｌ_０，Ｌ_１）から出た光が、１つの眼球の角膜表面上で反射してカメラのイメージセンサ上に到達する経路は、図６に示すようになる。

図７は、１つの経路に着目した図を示している。以下、アルファベットボールドタイプは、３次元ベクトルを示す。図７に示すように、点光源Ｌ_ｉからの光は、角膜上Ｐ”_ｊｉで反射し、Ｃ_ｊを通り、カメラｊのイメージセンサ上にあるＰ'_ｊｉに達する。図７において、Ｌ_ｉとＣ_ｊとＰ’_ｊｉを含む平面には、角膜は球とモデル化しているので、角膜曲率中心Ａが含まれることになる。Ｌ_ｉとＣ_ｊとＰ’_ｊｉを含む平面は、下記数式１のように表される。ここで、Ｘ（＝（ｘ，ｙ，ｚ）^Ｔ）は、平面上の点を表す。

ｉとｊはそれぞれ０，１をとることから、上記数式１で表される平面は４つ存在することになる。そして、全ての面に角膜曲率中心Ａが含まれることから、これらの面が少なくとも３つ求まれば、角膜曲率中心Ａを求めることができる。つまり、図６に示される２台のカメラの２つのイメージセンサに写っている４つの反射光（Ｐ’_００、Ｐ’_０１、Ｐ’_１０、Ｐ’_１１）のうち、３つの反射光が検出できれば角膜曲率中心Ａを求めることができる。

光軸の計測について説明する。図８は、角膜上での屈折についての説明図である。ここでは、光軸方向を示す単位ベクトルを光軸ベクトルと呼ぶ。図８に示すように、光軸ベクトルｄは角膜曲率中心Ａと瞳孔中心Ｂとカメラｊのレンズ中心Ｃ_ｊを含む面内にある。この面は、下記数式２のように表すことができる。ここで、Ｂ’_ｊは、カメラｊのイメージセンサ上の瞳孔中心位置である。

ｊは０，１をとることから、上記数式２で表される平面は２つ存在し、光軸はこれらの２つの平面の交線となる。光軸ベクトルｄは２つの平面の法線ベクトルに垂直な方向なので、下記数式３のように求められる。これから、光軸は下記数式４として求められる。つまり、角膜曲率中心位置Ａが求まっている時には、２つのカメラで瞳孔が検出できれば、眼球の光軸を計算できる。

ユーザの左右の眼球のそれぞれの瞳孔とそれぞれの角膜表面で反射する各２つの光源反射光から、個人依存のパラメタである左右の眼球の角膜曲率半径Ｒ、角膜曲率中心と瞳孔中心との距離Ｋ、２つの光源反射光の相対位置関係を取得する。
これらのパラメタは、カメラ２台でそれぞれ点光源の反射光を２個検出できている時に算出する。ここで、一方のカメラに２個の反射光、他方のカメラに１個の反射光が検出できている時にも算出でき、そのような時にパラメタを算出してもよい。パラメタＲは、計算上、３平面が求まれば計算できるからであり、パラメタＫは、パラメタＲを求める条件を満たした上で、カメラ２台にそれぞれ瞳孔が検出できた時に計算できるからである。この他、カメラ２台でそれぞれ点光源を２個検出できない状態が続き、算出不可の場合は、人の平均値を用いることも可能である。角膜曲率半径Ｒの平均値は７．８ｍｍ、角膜曲率中心と瞳孔中心との距離Ｋの平均値は４．２ｍｍである。

角膜曲率半径Ｒの導出について説明する。上述の数式１に示す平面の交点として角膜曲率中心Ａを計算する。点光源２個を照射した場合に、カメラ２台で、合わせて３つ以上の光源反射光が撮影された場合にＡを求めることができる。
図９は、点光源Ｌ_ｉとカメラ中心Ｃ_ｊと角膜曲率中心Ａを通る平面である。Ｒの求め方は以下の通りである。まず、Ｒを適当に設定し、角膜の球（Ａを中心とした半径Ｒの球）とＰ’_ｊｉとＣ_ｊを通る直線との交点Ｐ”_ｊｉを求めて、Ｐ”_ｊｉでの入射ベクトル（Ｌ_ｉ−Ｐ”_ｊｉ）と反射ベクトル（Ｃ_ｊ−Ｐ”_ｊｉ）がＰ”_ｊｉでの球の法線ベクトル（Ｐ”_ｊｉ−Ａ）となす角度が等しくなるかどうかを確認する。Ｒを変化させて、これを繰り返し、この反射の関係を満たすようなＲを探索する。Ｒの平均値は、一般に７．８ｍｍであることが知られており、Ｒの値を６ｍｍ〜９ｍｍの範囲で探索するとよい。
上記の計算は、カメラと点光源の組み合わせによって、３〜４パターンの計算が可能である。これらの３〜４パターンから計算した角膜曲率半径の平均値を、最終的なＲの推定値とすると、より安定する。

ここで、角膜曲率中心と瞳孔中心との距離Ｋの導出について説明する。距離Ｋの計算は、角膜曲率中心Ａと角膜曲率半径Ｒが求まっている時のみ可能であり、かつ、瞳孔が両方のカメラで撮れた時のみ可能である。
まず、瞳孔中心位置Ｂを求める。図８より、瞳孔中心から出た光は、角膜表面上のＢ”_ｊで屈折する。Ｂ”_ｊの位置で、カメラから光が来た場合の数式にすると、入射ベクトルは下記数式５で表される。

カメラのレンズ中心を通り、ｖ_ｊの方向ベクトルを持つ直線と、角膜曲率中心Ａと角膜曲率半径Ｒの球との交点として、Ｂ”_ｊの位置を求めることができる。すなわち、下記数式６，７を連立すると求めることができる。ここで、ｔはパラメタである。

Ｂ”_ｊで屈折したベクトルｔ_ｊは、スネルの法則より、下記数式８で求められる。ここで、ｐ＝ｎ_１／ｎ_２であり、ｎ_１は約１、ｎ_２は約１．３３７５である。

下記数式９は、Ｂ”_ｊにおける法線ベクトルである。

瞳孔中心Ｂは、２つのカメラからの光線の交点で求められる。角膜での屈折後のこれらの光線の式は下記数式１０および数式１１の通りである。なお、ｔ、ｓはパラメタである。

以上より、角膜曲率中心Ａと瞳孔中心Ｂとの距離Ｋは、下記数１２により求められる。

（２）画像表示手段１４について
画像表示手段１４は、前述のとおり表示パネルに画像を表示するもので、表示パネルに同じ画像を表示していても、ユーザの視線は動き、ユーザの自由な意思によって注視対象は変動する。例えば、ＰＣのデスクトップ画面において、アイコンが散在していると、ユーザは何れかのアイコンを注視する場合が多い。複数のアイコンのどのアイコンを見ているのかはユーザの自由な意思で決定されるが、光軸の周囲で探索範囲を設定するため、複数のアイコンから注視点候補を見出すことができる。また、ある画像を見るときは、時間経過に伴い注視点が変化する場合がある。この場合であっても、光軸の周囲で探索範囲を設定するため、探索範囲における特徴点を注視点候補とすることができる。このように画像表示手段は、ユーザの前面に配置される表示パネルに、少なくとも１つの特徴点を含む画像を表示させる。

（３）特徴点抽出手段１６について
本実施例における視線計測装置の特徴点抽出手段１６では、探索範囲内の特徴点の特徴マップを算出し、特徴マップを重ね合わせて単一のサリエンシーマップを算出する。そして、サリエンシーのピーク位置を特徴点の分布のピーク位置とする。これについて図を参照しながら説明する。
図１０（１）に示すように、表示パネルに７種のアイコン（プログラムやファイルの種類をシンボル化した小さな絵記号）２０ａ〜２０ｇが表示されているとする。ユーザは、表示パネルの何れかのアイコン２０ａ〜２０ｇに注意が向けられ、注視するかもしれない。ユーザが表示パネルを眺めている際に、上記（１）の光軸計測手段において光軸を計測すると、計測した光軸と表示パネルとの交点の位置が、図１０（２）に示す“＋”（符号２２）であったとする。光軸と表示パネルとの交点２２の周囲で注視点が存在する可能性のある探索範囲は、前述の如く、視軸が光軸から水平方向に約４〜５°、垂直方向に約１．５°下にずれていることに鑑みて、水平方向は、右眼が−７〜３°の範囲、左眼が−３〜７°の範囲とし、垂直方向は、右眼と左眼の双方共に−３〜３°の範囲とし、探索範囲として設定する。図１０（２）の画像内に、右眼の探索範囲２３と、右眼の光軸と表示パネルとの交点２２を示す。ここで、右眼の探索範囲２３は、厳密には矩形ではなく、歪んだ四角形となる。表示パネルの画像が右眼の光軸に垂直な面であれば、探索範囲は矩形になるが、通常、右眼と左眼の両眼で前面の表示パネルの画像を見るので、表示パネルがユーザの正面にあるとしても、右眼の光軸は前方斜め左寄り、左眼の光軸は前方斜め右寄りとなり、表示パネルの画像が右眼の光軸に垂直な面とならないからである。そして、図１０（２）の探索範囲２３の内部に存在する画像の特徴点を抽出することになるが、この画像の場合では、アイコン２０ｅに注意が向けられ注視している可能性が高いと考えられる。すなわち、図１０（２）の場合では、アイコン２１ｅの画像が探索範囲内に存在する特徴点として抽出されることになる。図１０（１）に示す画像が表示パネルに表示されている場合に、時間経過に伴って、ユーザの注視点が変わることがある。

例えば、図１１に示すように、１枚の画像において、ユーザの視線（注視点）が動き、時間経過に伴い４つの探索範囲２３ａ〜２３ｄが現われたとする。それぞれの探索範囲内に存在する特徴点を抽出する。探索範囲２３ａではアイコン２０ｅが特徴点となり、探索範囲２３ｂではアイコン２０ｃが特徴点となり、探索範囲２３ｃではアイコン２０ｂが特徴点となり、探索範囲２３ｄではアイコン２０ｆが特徴点となる。４つの探索範囲２３ａ〜２３ｄのエリアサイズ、探索範囲の画像における光軸・表示パネルとの交点“＋”のオフセット位置（例えば、探索範囲の左下隅を基準とした相対位置）は全て同じであるが、探索範囲２３ａ〜２３ｄの画像における特徴点（アイコン）のオフセット位置は同じとは限らずそれぞれ異なるかもしれない。

図１２（１）に示すように、探索範囲の画像群２４を重ね合せると、図１２（２）に示すように、特徴点分布２５が得られることになる。この特徴点分布２５のピーク位置２６を算出し、ピーク位置２６と光軸・表示パネルとの交点２２との水平方向のずれ量α、垂直方向のずれ量βを算出し、次の視軸推定手段によって視軸を推定する。

図１３は、表示パネルに表示された建物の画像を示している。図１３の画像を眺めると、ユーザは画像に表示された建物で注意が惹かれる部位を注視することになる。先ほどと同様に、右眼の光軸と表示パネルとの交点“＋”が、時間経過に伴い画像内を移動し、７つの注視点があるとする。交点“＋”の周囲の探索範囲３１〜３７を図中に示す。探索範囲３１では、画像の左側の建屋の屋根の上の十字架が特徴点になり得る。また、探索範囲３３では、画像の左側の建屋の扉又は扉横の像が特徴点になり得る。探索範囲３４〜３６では、画像の右側の建屋の窓が特徴点になり得る。探索範囲３７では、画像の右側の建屋の扉が特徴点になり得る。このように１枚の建物の画像において、複数の探索範囲の各々の特徴点を抽出し、特徴点の分布のピーク位置を算出することもできる。また、先ほどの図１０（１）の複数のアイコンが点在しているＰＣのデスクトップ画面の画像と、この図１３の画像の２枚の画像における複数の探索範囲の各々の特徴点を抽出し、特徴点の分布のピーク位置を算出することも可能である。
また、動画像を用いて、それぞれの画像における複数の探索範囲の各々の特徴点を抽出し、特徴点の分布のピーク位置を算出することも可能である。

このように画像内の特徴点を抽出し、特徴点の分布を算出するのに、サリエンシーマップを用いることができる。１枚１枚の画像における１つの探索範囲内の画像の特徴点（輝度の顕著性）の特徴マップを算出し、特徴マップを重ね合わせて単一のサリエンシーマップを算出する。そして、サリエンシーマップにおけるサリエンシーのピーク位置を特徴点の分布のピーク位置にする。

人は、右眼と左眼が同じ物体を注視する傾向があり、右眼の探索範囲と左眼の探索範囲が重複した範囲に、注視点が有る可能性が高い。そのため、右眼の探索範囲と左眼の探索範囲の重複する範囲内に存在する特徴点を抽出することにより、視軸推定の精度を高めることができる。
図１４は、建物の扉の画像を示している。ユーザが図１４の画像を見たときに、扉の上部に視線が向く。右眼の探索範囲Ｚ_Ｒと左眼の探索範囲Ｚ_Ｌの重複範囲Ｚ_Ｏ（図中のハッチング領域）に特徴点が存在している可能性が高いので、この重複範囲内に限定して特徴点を抽出する。

（４）視軸推定手段１８について
上記（１）の光軸計測手段１２で得られた光軸と表示パネルとの交点の位置と、上記（３）の特徴点抽出手段１６で算出した特徴点の分布のピーク位置とから、眼球の光軸と視軸のカッパ角（κ）を算出することができる。カッパ角（κ）はユーザ固有のパラメタであり、計測した光軸からカッパ角（κ）を用いて視軸を推定する。左眼と右眼のそれぞれについてカッパ角を算出して視軸を推定する。

（視線計測装置の評価実験結果について）
視線計測装置の評価実験の結果について説明する。視線計測装置を用いて、眼鏡を着用していない被験者６名の視線計測を行った。実験は、頭部を顎の支えによって固定した状態で、眼から６００ｍｍ離れた表示パネルに表示される３種類の画像を、被験者が３０秒間自由に見る方法により行われた。３種類の画像は、アイコンが点在するデスクトップの画像（図１０（１））、建物の画像（図１３）、扉の画像（図１４）を用いた。その結果、１点キャリブレーションによって決定されたカッパ（κ）角の値に近い値を算出できていることがわかった。特に、アイコンが点在するデスクトップの画像を見る場合に、３種類の画像の中で比較的良い結果が得られた。建物の画像を見た場合は、３種類の画像の中で比較的良くなかったが、それぞれの特徴マップを重ね合わせたサリレンシーマップが曖昧になっていたことが要因と考えられる。

本発明の第１の観点の視線計測方法の一実施態様について説明する。視線計測方法の処理フローについて、図１５〜１７を参照して説明する。
第１の観点の視線計測方法では、図１５に示すように、表示パネルに画像を表示し（画像表示ステップＳ０１）、表示された画像を眺めるユーザの眼球の光軸を計測する（光軸計測ステップＳ０２）。そして、光軸と表示パネルとの交点の周囲の探索範囲内に存在する特徴点を抽出し、特徴点の分布のピーク位置を算出する（特徴点抽出ステップＳ０３）。そして、特徴点の分布のピーク位置と交点の位置から、光軸と視軸のカッパ角を算出し視軸を推定する（視軸推定ステップＳ０４）。

特徴点抽出ステップＳ０３では、図１６に示すように、探索範囲内の特徴点の特徴マップを算出し（Ｓ３０１）、特徴マップを重ね合わせて単一のサリエンシーマップを算出する（Ｓ３０２）。そして、サリエンシーマップにおけるサリエンシーのピーク位置を特徴点の分布のピーク位置にする（Ｓ３０３）。
なお、探索範囲内の特徴点の特徴マップを算出する際には、図１７に示すように、一方（左眼または右眼）の光軸と表示パネルとの交点の周囲の探索範囲を算出し（Ｓ３１１）、他方の光軸とパネルとの交点の周囲の探索範囲を算出して（Ｓ３１２）、右眼の探索範囲と左眼の探索範囲の重複する範囲内に存在する特徴点を抽出し（Ｓ３１３）、特徴マップを算出することでもよい。

本発明の第２の観点の視線計測装置の構成及び機能について、図１８に示す機能ブロック図を参照して説明する。図１８に示す視線計測装置５０は、光軸計測手段１２と、画像取得手段１５と、特徴点抽出手段１６と、視軸推定手段１８を備える。
光軸計測手段１２は、実施例１の視線計測装置と同様、光源手段１０とカメラ手段１１と光軸計測ユニット１２ａから構成され、光軸計測ユニット１２ａから特徴点抽出手段１６へ光軸計測データが伝達される。
画像取得手段１５は、前方撮影カメラ手段１５ａから構成される。前方撮影カメラ手段１５ａは、ユーザの眼球の前方を撮影できるカメラであり、例えば、市販のヘッドマウント型カメラを用いることができる。
特徴点抽出手段１６と視軸推定手段１８は、実施例１の視線計測装置と同様であるが、特徴点抽出手段１６は、前方撮影カメラ手段１５ａから得た画像データを、カメラ手段１５ａの被写体の位置に仮想的に設けられた仮想パネルに投影しているとして、実施例１と同様に、計測した光軸と仮想パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出している。

本発明の第２の観点の視線計測方法の一実施態様について説明する。視線計測方法の処理フローについて、図１９を参照して説明する。
第２の観点の視線計測方法では、図１９に示すように、眼球の前方をカメラで撮影し（画像取得ステップＳ１１）、前方を眺めるユーザの眼球の光軸を計測する（光軸計測ステップＳ１２）。そして、光軸とカメラの被写体の位置に仮想的に設けられた仮想パネルとの交点の周囲の探索範囲内に存在する特徴点を抽出し、特徴点の分布のピーク位置を算出する（特徴点抽出ステップＳ１３）。そして、特徴点の分布のピーク位置と交点の位置から、光軸と視軸のカッパ角を算出し視軸を推定する（視軸推定ステップＳ１４）。眼球の前方を撮影したカメラ画像は、眼球からある距離離れた大型ディスプレイに表示した画像と等価になる。そのため、撮影した前方の画像を、カメラの被写体の位置に仮想的に設けられた仮想パネルにあたかも表示させるとして、計測した光軸と仮想パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する。
特徴点抽出ステップＳ１３の詳細なフローについては、実施例２と同様であり、前述した図１６の処理フローと同じである。

本発明は、様々な視線計測装置、例えば、四肢麻痺患者のコンピュータの入力装置、自動車などの運転者の注意分析装置などに応用可能である。特に、キャリブレーションが必要ないことから、キャリブレーションのための数点の注視が困難な幼児または猿などの動物の視線の計測、不特定多数の人の視線の計測に有効であり、視線計測装置をユビキタスコンピュータやロボットへの搭載が期待される。

１，５０ 視線計測装置
２ 光軸
３ 眼球
４ 眼球回転中心
５ 表示パネル
６ 交点
７ 探索範囲
１０ 光源手段
１１ カメラ手段
１２ 光軸計測手段
１２ａ 光軸計測ユニット
１４ 画像表示手段
１４ａ 表示パネル
１４ｂ 画像表示コントローラ
１５ 画像取得手段
１５ａ 前方撮影カメラ手段
１６ 特徴点抽出手段
１８ 視軸推定手段
２０ａ〜２０ｇ，２１ａ〜２１ｇ アイコン
２２ 光軸と表示パネルとの交点
２３，２３ａ〜２３ｄ，３１〜３７ 探索範囲
２４ 探索範囲の画像群
２５ 特徴点分布
２６ 特徴点分布のピーク位置
Ｌ 眼球と表示パネルとの距離
Ｚ_Ｌ 左眼の探索範囲
Ｚ_Ｒ 右眼の探索範囲
Ｚ_Ｏ 重複範囲

Claims (19)

1. 眼球の光軸を計測する光軸計測手段と、
   光軸計測手段との相対位置が既知の表示パネルに画像を表示する画像表示手段と、
   計測した光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する特徴点抽出手段と、
   前記ピーク位置と前記交点の位置から、眼球の光軸と視軸のカッパ角を算出して視軸を推定する視軸推定手段、
   を備えた視線計測装置。
2. 眼球の光軸を計測する光軸計測手段と、
   光軸計測手段との相対位置が既知のカメラ手段を有し、眼球の前方を撮影する画像取得手段と、
   計測した光軸と前記カメラ手段の被写体の位置に仮想的に設けられた仮想パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する特徴点抽出手段と、
   前記ピーク位置と前記交点の位置から、眼球の光軸と視軸のカッパ角を算出して視軸を推定する視軸推定手段、
   を備えた視線計測装置。
3. 前記特徴点抽出手段では、
   前記特徴点が少なくとも１つ存在する画像において、時間経過に伴う複数の前記探索範囲の各々の前記特徴点を抽出し、特徴点の分布のピーク位置を算出することを特徴とする請求項１又は２に記載の視線計測装置。
4. 前記特徴点抽出手段では、
   複数の画像または動画像において、それぞれの画像における複数の前記探索範囲の各々の前記特徴点を抽出し、特徴点の分布のピーク位置を算出することを特徴とする請求項１又は２に記載の視線計測装置。
5. 前記特徴点は、視覚性ボトムアップ型注意と視覚性トップダウン型注意の少なくとも何れかをユーザに生じさせるものであることを特徴とする請求項１〜４の何れかに記載の視線計測装置。
6. 前記特徴点抽出手段では、
   前記探索範囲内の特徴点の特徴マップを算出し、
   前記特徴マップを重ね合わせて単一のサリエンシーマップを算出し、サリエンシーのピーク位置を、前記特徴点の分布のピーク位置とすることを特徴とする請求項１〜４の何れかに記載の視線計測装置。
7. 前記特徴点抽出手段では、
   計測した右眼の光軸と前記パネルとの交点の周囲で、右眼の注視点が存在する可能性のある右眼の探索範囲、
   計測した左眼の光軸と前記パネルとの交点の周囲で、左眼の注視点が存在する可能性のある左眼の探索範囲、
   上記の右眼の探索範囲と左眼の探索範囲の重複する範囲内に存在する画像の特徴点を抽出することを特徴とする請求項１〜６の何れかに記載の視線計測装置。
8. 前記光軸計測手段は、ユーザの眼球を撮影するために配置された少なくとも２台のカメラ手段と２つの光源手段を用いて光軸を計測することを特徴とする請求項１〜７の何れかに記載の視線計測装置。
9. 眼球の光軸を計測する光軸計測ステップと、
   光軸計測手段との相対位置が既知の表示パネルに画像を表示する画像表示ステップと、
   計測した光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する特徴点抽出ステップと、
   前記ピーク位置と前記交点の位置から、眼球の光軸と視軸のカッパ角を算出して視軸を推定する視軸推定ステップ、
   を備えた視線計測方法。
10. 眼球の光軸を計測する光軸計測ステップと、
    光軸計測手段との相対位置が既知のカメラ手段で眼球の前方を撮影する画像取得ステップと、
    計測した光軸と前記カメラ手段の被写体の位置に仮想的に設けられた仮想パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内に存在する画像の特徴点を抽出し、特徴点の分布のピーク位置を算出する特徴点抽出ステップと、
    前記ピーク位置と前記交点の位置から、眼球の光軸と視軸のカッパ角を算出して視軸を推定する視軸推定ステップ、
    を備えた視線計測方法。
11. 前記特徴点抽出ステップでは、
    前記特徴点が少なくとも１つ存在する画像において、時間経過に伴う複数の前記探索範囲の各々の前記特徴点を抽出し、特徴点の分布のピーク位置を算出することを特徴とする請求項９又は１０に記載の視線計測方法。
12. 前記特徴点抽出ステップでは、
    複数の画像または動画像において、それぞれの画像における複数の前記探索範囲の各々の前記特徴点を抽出し、特徴点の分布のピーク位置を算出することを特徴とする請求項９又は１０に記載の視線計測方法。
13. 前記特徴点抽出ステップにおいて、
    ユーザに対して画像内で注視する点の制約は設けないことを特徴とする請求項９〜１２の何れかに記載の視線計測方法。
14. 前記特徴点は、視覚性ボトムアップ型注意と視覚性トップダウン型注意の少なくとも何れかをユーザに生じさせるものであることを特徴とする請求項９〜１３の何れかに記載の視線計測方法。
15. 前記特徴点抽出ステップでは、
    前記探索範囲内の特徴点の特徴マップを算出し、
    前記特徴マップを重ね合わせて単一のサリエンシーマップを算出し、サリエンシーのピーク位置を、前記特徴点の分布のピーク位置とすることを特徴とする請求項９〜１３の何れかに記載の視線計測方法。
16. 前記特徴点抽出ステップでは、
    計測した右眼の光軸と前記パネルとの交点の周囲で、右眼の注視点が存在する可能性のある右眼の探索範囲、
    計測した左眼の光軸と前記パネルとの交点の周囲で、左眼の注視点が存在する可能性のある左眼の探索範囲、
    上記の右眼の探索範囲と左眼の探索範囲の重複する範囲内に存在する画像の特徴点を抽出することを特徴とする請求項９〜１５の何れかに記載の視線計測方法。
17. 請求項９〜１６の何れかの視線計測方法の各ステップを、コンピュータに実行させるための視線計測プログラム。
18. 請求項１〜８の何れかの視線計測装置が搭載された乗り物。
19. 請求項１７の視線計測プログラムを実行するコンピュータが搭載された携帯端末。