JP2022523306A

JP2022523306A - アイトラッキングデバイスおよび方法

Info

Publication number: JP2022523306A
Application number: JP2021543374A
Authority: JP
Inventors: ワインバーグ，ヤコフ; カシェチェネフスキー，アルバート; イェヘズケル，エレズ; コロゴドスキー，ウリ; ティホネンコフ，イーゴリ; カガン，ジェイコブ
Original assignee: Eyeway Vision Ltd
Current assignee: Eyeway Vision Ltd
Priority date: 2019-01-29
Filing date: 2020-01-27
Publication date: 2022-04-22
Also published as: CN113348487A; IL264530A; WO2020157746A1; IL264530B1; KR20210122271A; US20220100268A1; EP3918571A1; TW202044828A

Abstract

本発明は、アイトラッキング方法およびデバイスに関するものである。この方法は、ユーザの目の少なくとも２の画像を示す画像データを受信するステップと、各画像において、角膜輪部に関連する領域を識別するステップと、輪部構造の幾何学的表現を特定するステップと、少なくとも２の画像の輪部構造の幾何学的表現の三角測量によって、ユーザの目の三次元位置および注視方向（すなわち、目の完全な６自由度）を特定するステップとを備える。
【選択図】図１

Description

本発明は、目の位置および／または視線方向を測定するためのアイトラッキングデバイスおよび方法に関するものである。

本開示の主題の背景技術として関連性があると考えられる文献を以下に示す。
１．米国特許出願第２０１３／１２０７１２号
２．国際公開第９４１８８８３号
３．米国特許出願第２０１４／１８０１６２号
４．米国特許出願第２００１／０３５９３８号
５．ＣｏｎｓｔａｂｌｅＰＡ，ＢａｃｈＭ，ＦｒｉｓｈｍａｎＬＪ，ＪｅｆｆｒｅｙＢＧ，ＲｏｂｓｏｎＡＧ，ＩｎｔｅｒｎａｔｉｏｎａｌＳｏｃｉｅｔｙｆｏｒＣｌｉｎｉｃａｌＥｌｅｃｔｒｏｐｈｙｓｉｏｌｏｇｙｏｆＶｉｓｉｏｎ．ＩＳＣＥＶＳｔａｎｄａｒｄｆｏｒｃｌｉｎｉｃａｌｅｌｅｃｔｒｏ－ｏｃｕｌｏｇｒａｐｈｙ（２０１７ｕｐｄａｔｅ）．ＤｏｃＯｐｈｔｈａｌｍｏｌ．２０１７；１３４（１）：１－９
６．ＭｃＣａｍｙ，Ｍｉｃｈａｅｌ＆Ｃｏｌｌｉｎｓ，Ｎｉａｍｈ＆Ｏｔｅｒｏ－Ｍｉｌｌａｎ，Ｊｏｒｇｅ＆Ａｌ－Ｋａｌｂａｎｉ，Ｍｏｈａｍｍｅｄ＆Ｍａｃｋｎｉｋ，Ｓｔｅｐｈｅｎ＆Ｃｏａｋｌｅｙ，Ｄａｖｉｓ＆Ｔｒｏｎｃｏｓｏ，Ｘｏａｎａ＆Ｂｏｙｌｅ，Ｇｅｒａｒｄ＆Ｎａｒａｙａｎａｎ，Ｖｉｎｏｄｈ＆ＲＷｏｌｆ，Ｔｈｏｍａｓ＆Ｍａｒｔｉｎｅｚ－Ｃｏｎｄｅ，Ｓｕｓａｎａ．（２０１３）．Ｓｉｍｕｌｔａｎｅｏｕｓｒｅｃｏｒｄｉｎｇｓｏｆｏｃｕｌａｒｍｉｃｒｏｔｒｅｍｏｒａｎｄｍｉｃｒｏｓａｃｃａｄｅｓｗｉｔｈａｐｉｅｚｏｅｌｅｃｔｒｉｃｓｅｎｓｏｒａｎｄａｖｉｄｅｏ－ｏｃｕｌｏｇｒａｐｈｙｓｙｓｔｅｍ．ＰｅｅｒＪ．１．ｅ１４．１０．７７１７／ｐｅｅｒｊ．１４

本明細書における上記文献の記載は、それらが本開示の主題の特許性に何らかの形で関連していることを意味するものとして推論されるべきではない。

従来より、リモートアイトラッカーやヘッドマウントアイトラッカーなどの様々なアイトラッキングデバイスや、様々なアイトラッキング方法が知られている。最初のアイトラッカーは、１９世紀末に作成された。しかしながら、それらは作成するのが難しく、被験者に不快感を与えるものであった。眼球運動の測定に役立てるために、特別に設計されたリング、コンタクトレンズおよび吸盤が目に装着された。目の様々な部分から反射した光を検査する最初の写真ベースのアイトラッカーは、２０世紀の初めに導入された。それらは遥かに低侵襲的なものであり、目の研究の新時代が始まった。２０世紀の殆どの期間、研究者は独自のアイトラッカーを作成していたが、コストが高く、入手し難いものであった。市販のアイトラッカーが登場したのは７０年代に入ってからである。５０年代頃から、ミラー付きコンタクトレンズ（正確には吸盤）、コイル付きコンタクトレンズ、電気眼球図記録（ＥＯＧ）［５］、圧電センサ［６］など、現在も使用されている数多くの様々な技術が研究者によって開発された。しかしながら、それらの方法は、その性質上、角度的な眼球運動しかできず、横方向の眼球移動を測定することができない（ミラー、コイル、ＥＯＧは角度しか測定できない）。また、それらのシステムは据え置き型で、ユーザの頭部を安定させる必要があるため、より自然な環境下での眼球運動の研究には適していない。

２０世紀後半には、遥かに低侵襲的な照明および光センサベースのアプローチが主流となった。しかしながら、このアプローチの主な制限は、眼球運動データを抽出するために必要な露光と処理能力のために、カメラが相対的に遅くなることである。位置検知型光検出器（ＰＳＤ）やクワッドベースのアプローチは、２０世紀半ばに開発された。デュアルプルキンエ画像化アイトラッカーシステムは７０年代に開発され、現在も使用されている。しかしながら、デュアルプルキンエ画像化アイトラッカーシステムは、非常に高価で、据え置き型の、重いカメラのない（ＰＳＤベースの）システムであり、録画角度が比較的低い。８０年代以降、カメラセンサとコンピュータ技術の進歩により、アイトラッキング市場は、いわゆるビデオオキュログラフィ（ＶＯＧ）システムが主流となっている。ＶＯＧシステムは、通常、ユーザの目の画像をキャプチャし、キャプチャした画像に基づいて目の特定の特徴を特定する。それらシステムは非侵襲的なものであり、通常、ユーザに障害や不快感を与えないように目に赤外線を照射することに基づいている。これらのシステムの中には、ウェアラブルな小型軽量カメラに依存しているものもあるが、より精密なシステムは、上述したシステムの殆どがそうであるように、据え置き型である。良好な照明（ただし、安全レベル未満）が必要であるという事実と、カメラセンサの露出要件を考慮すると、これらのシステムのフレームレートは制限されている。

瞳孔／角膜反射（第１プルキンエ）を組み合わせたアイトラッカーのアプローチ（据え置き型のハイエンドとウェアラブル型のローエンドの両方）では、多数の赤外線ダイオードで目を照らし、１または複数の（通常はフレームレートを上げるために）カメラで目の表面を画像化し、（目の最も暗い部分として）瞳孔およびダイオードの第１プルキンエ画像をセグメント化する。ＩＲダイオードの第１プルキンエ画像に対する瞳孔の位置の変化は、目の動きを示している。実際の角度を計算するには、ユーザ較正を使用する必要がある。通常、ユーザはシステムを較正するために、既知の経路上を移動するいくつかのターゲットに焦点を合わせる必要がある。

瞳孔の位置が角膜によって歪められること、瞳孔の拡張によって測定精度がさらに低下すること、並びに、角膜からの周囲反射が画像処理アルゴリズムを混乱させることから、この方法の精度と正確さは比較的低い。また、追加の要因として、目の色が違ったり、睫毛が長かったり、コンタクトレンズがあったりすると、画像処理システムがさらに複雑になる。このため、通常、これらのシステムはノイズが多く、角運動の精度は１度未満で、横方向の眼球運動に関する情報は得られない。さらに、頭部に対してシステムが移動した場合は、再較正が必要となる。他にも、網膜を画像化するアプローチ、明るい瞳孔を利用するアプローチ、ＭＲＩ装置を使って眼球運動を調べるアプローチなど、あまり一般的ではないアプローチがいくつかある。これらのアプローチには限界があり、あまり一般的ではない。アイトラッカーやアイトラッキング方法には、一般に、精度、正確性、低遅延性、小型化などが常に求められている。さらに、コンピュータ、自動車、仮想現実メガネなど、様々なデバイスにアイトラッカーが統合されるに連れて、柔軟性に富んだ非常にコンパクトなアイトラッキングデバイスを提供する必要もある。

アイトラッキングシステムでは、相対的な眼球回転を測定するために、特に輪部（強膜と虹彩領域の境界）、または瞳孔と虹彩の境界を追跡することがある。輪部は角膜の屈折力に影響されないため、輪部を追跡することで正確な結果が得られる。さらに、輪部は直線的な平面を形成している。輪部は、虹彩の筋肉間の接続領域を規定するため、輪部の三次元パラメータと目の三次元パラメータとの間には直接的な相関関係がある。残念ながら、輪部はシャープな境界ではなく、角膜と強膜との間の移行ゾーンである。輪部は、いわゆる特徴点やエッジ検出に頼る手法の候補としては不十分であるため、これまでの輪部トラッカーは成功していない。そのため、回転によって変形しているように見える、明確に規定されていないエッジおよび形状によって、ノイズから信号を抽出することが困難になる。その結果、輪部のエッジ検出や特徴点の検出に依存する手法では、必要な精度や正確さが得られない可能性がある。虹彩／強膜の境界のエッジに沿って正確に配置および位置合わせされた光検出器を有する既知の「ピンポイント」の輪部トラッカーを使用すれば、適切なトラッキング応答が可能かもしれないが、そのような位置合わせを提供および／または維持することは、特に異なる患者間の目の幾何学的形状のバラツキを考慮すると、追加のシステムコンポーネントおよび複雑さを追加する。輪部をトラッキングする技術の中には、位置検知型光検出器（ＰＳＤ）として２つの象限検出器のセットに依存するものがある。輪部に囲まれた虹彩は強膜よりも暗いという単純な事実から、虹彩／強膜の領域の境界線、すなわち輪部を検査する１または複数のクワッドで構成されるシステムを構築することができる。目が動くと、虹彩の画像もＰＳＤ上を移動するため、その原因となる目の動きを推定することができる。角膜上でレーザを安定させることができるという事実にもかかわらず、目がどこを見ているかを直接示すことはできず、このデータを得るためにはユーザによる較正が必要となる。また、瞼の動きや睫毛、僅かな照明の変化など、目の手術中に制御できる多くの要因がこのアプローチの精度に影響を与え、目の研究には不向きである。ＰＳＤに基づく輪部トラッカーは、光点の位置の重心を測定する。これは、白い強膜と暗い虹彩との間にコントラストがあるためである。目がシステムに対して動くと、ＰＳＤ上の光点もそれに応じて動く。このようなシステムでは、ＰＳＤ上の同じ場所に虹彩の画像があることを制御するだけで、実際の目の位置を測定することはなく、推定することもできない。

アイトラッキングとは、眼球の運動を追跡し、ユーザがどこを見ているかを判断するプロセスを指している。上述した様々な技術は、眼球運動の規模をほぼ推定し、運動が発生したことを示すことができる。しかしながら、それらは、眼球運動の６つの自由度を測定するものではない。さらに、それらのシステムは、目の視覚的特徴を追跡しない。目の視覚的特徴を追跡する際の問題点の１つは、目の最も特徴的な部分が虹彩にあることである。瞳孔も虹彩も、角膜水晶体によって強く歪められている。この水晶体の形状は人によって異なるため、それらの特徴がどこにあるのかを正確に把握するのは困難である。乱視（角膜の非対称性）は、この問題をさらに複雑にする。輪部（白い強膜と濃い虹彩の境界）は角膜によって歪むことはないが、非常に均一に見え、僅かにぼやけており、古典的な画像処理アルゴリズムで求められるような顕著な特徴はない。このため、当技術分野では、輪部追跡に基づくアイトラッキング技術を提供する必要性がある。本発明者等は、実在する、すなわち直接見える解剖学的特徴または仮想的特徴（すなわち、計算された特徴）に直接対応する識別された安定領域を三角測量することによって、輪部のアイトラッキングを提供できることを見出した。

本発明の広範な態様によれば、アイトラッキング方法が提供され、この方法が、ユーザの目の少なくとも２の画像を示す画像データを受信するステップと、各画像において、角膜輪部に関連する領域を識別するステップと、輪部構造の幾何学的表現を特定するステップと、少なくとも２の画像の輪部構造の幾何学的表現を三角測量することにより、ユーザの目の三次元位置および注視方向（すなわち、目の完全な６自由度）を決定するステップとを備える。輪部は角膜の水晶体に対して一定の関係と近い真円度を維持するため、少なくとも２の画像の輪部構造の幾何学的表現（すなわち、二次元の角膜輪部パラメータ）の三角測量によって、ユーザの目の三次元位置および注視方向を得ることができる。少なくとも２の画像の形状が識別され、照合される。一致する領域までの三次元距離は、三角測量を用いて求めることができる。この分野で一般的に使用されているエピポーラ幾何学的手法を適用して、対応する領域を照合し、任意選択的には三次元角膜輪部パラメータを求めることができる。三次元輪部パラメータに基づいて、ユーザの目の三次元位置および注視方向が割り出される。

これに関連して、一般に、ステレオビジョンのアルゴリズムは、２つの画像間の対応するポイントまたはエッジの一致に依存することを理解されたい。これには２つの基本的なアプローチがある。１つは強度ベースの手法であり、各ラインの強度値の情報が各ピクセルで照合され、強度の差が最小化される。もう１つは特徴ベースの手法であり、ピクセル値のグループとそれらの空間的な分布を使用して情報が抽出される。一般的に使用される特徴は、単純な特徴、例えば、エッジやコーナーの検出器（Ｃａｎｎｙ、Ｈａｒｒｉｓ、ＬｏＧフィルタ）である。一般的に、上述した特徴に依存するアイトラッキングシステムは、角膜上の寄生反射の結果として複数の光検出器の各々で発生する異なるノイズや、角膜水晶体の曲率の結果として虹彩や瞳孔の特徴の歪みなど、いくつかの欠点がある。そのため、特徴ベースの手法に基づくアイトラッキングでは、十分な精度の結果が得られない。また、角膜の反射と目の特徴の照合に基づく方法では、ユーザによる較正が必要になる。輪部のトラッキングに関して、上述したように、輪部は明確に定義された特徴を有していないため、古典的なアプローチでは、三次元の角膜輪部パラメータを提供することができない。本発明の技術は、アイトラッキングデバイスのユーザ較正を必要とすることなく、約１／６度から１／６０度の範囲の精度と正確さを有する正確なアイトラッキングを提供することに留意されたい。

いくつかの実施形態では、本方法が、異なる角度でユーザの目の少なくとも２の画像をキャプチャするステップを含む。

いくつかの実施形態では、輪部構造の幾何学的表現を特定することが、デジタル画像前処理を含む。デジタル画像前処理は、瞳孔方向に基づいて輪部の画像強度勾配マップを計算すること、各画像において、勾配の局所的な方向が実質的に均一である輪部構造の少なくとも１の領域を特定すること、そのような領域のピクセルに重み付けをすることにより輪部構造を示すデータを処理すること、並びに、角膜輪部に関連する一致するピクセルに基づいて輪部構造の幾何学的表現を生成することを含む。

いくつかの実施形態では、本方法が、輪部の中心の３つの座標および輪部平面に対する法線の方向、輪部平面の位置、および輪部のサイズのうちの少なくとも一つを含む三次元輪部パラメータを求めるステップを含む。ユーザの目の三次元位置および注視方向を割り出すことは、三次元輪部パラメータに基づいて行うことができる。

いくつかの実施形態において、本方法が、輪部の半径および／または輪部のねじれ回転を求めるステップをさらに含む。

いくつかの実施形態では、本方法が、反復的なピクセル濾過プロセス（iterative pixel filtration process）を用いて、各画像における初期輪部領域を示す画像データを識別するステップと、初期輪部領域を示すデータを生成するステップとをさらに含む。

いくつかの実施形態では、各画像において、初期輪部領域を示す画像データを識別することが、瞳孔、瞼、強膜、虹彩および睫毛などの目の特徴を示す画像データを識別すること、並びに、解剖学的パラメータに基づいて初期輪部領域を識別することのうちの少なくとも一方を含む。目の特徴を示す画像データの識別は、機械学習を用いて行うことができる。

いくつかの実施形態では、目の特徴を示す画像データの識別が、瞳孔領域に関連するピクセルを識別するために各画像をセグメント化することを含む。

いくつかの実施形態では、本方法が、少なくとも２の瞳孔の幾何学的表現の間で三角測量を実行して三次元瞳孔パラメータを決定するステップと、三次元瞳孔パラメータに基づいて初期輪部領域の位置を推定するステップと、各画像における輪部の初期領域位置を示すデータを生成するステップとをさらに含む。三次元瞳孔パラメータは、各画像における、瞳孔面に対する法線の方向、瞳孔の中心の座標および瞳孔の直径のうちの少なくとも一つを含む。

いくつかの実施形態では、本方法が、三角測量された三次元輪部を処理するステップと、三角測量された輪部領域を画像平面に再投影するステップと、各画像で輪部領域を精密化するステップとをさらに含む。

本発明の別の広範な態様によれば、処理ユニットを備えるアイトラッキングデバイスが提供され、処理ユニットが、ユーザの目を示す少なくとも２の画像を受信し、各画像において角膜輪部に関連する領域を識別し、輪部構造の幾何学的表現を特定し、少なくとも２の画像の輪部構造の幾何学的表現の三角測量によってユーザの目の三次元位置および注視方向を特定するように構成され、かつ動作可能である。処理ユニットは、三次元輪部パラメータに基づいて、ユーザの目の三次元位置および注視方向を求めるように構成され、かつ動作可能である。本発明のアイトラッキングデバイスは、アイトラッキングメガネのようなヘッドマウント型のアイトラッキングデバイス、またはヘルメットに統合されたアイトラッカーであってもよく、また、ヘッドマウント型のディスプレイデバイス、仮想現実メガネ、拡張現実メガネまたは他の頭部装着型デバイスに統合されるものであってもよい。また、アイトラッキングデバイスは、コンピュータ、ディスプレイ、モニタなどの他のデバイスと任意選択的に統合または結合されたリモートアイトラッカーであってもよい。

いくつかの実施形態では、アイトラッキングデバイスが、少なくとも２のイメージャをさらに備え、各イメージャが、異なる角度でユーザの目の少なくとも１の画像をキャプチャするように構成されている。

イメージャは、キャプチャユニットであってもよく、１または複数のカメラ（すなわち、デジタルカメラまたはビデオカメラ）、光センサ、例えばＣＣＤセンサまたはＣＭＯＳセンサなどのイメージセンサを含むことができる。１つのイメージャを使用し、既知の軌道上を既知の速度で高速に移動させることができる。代替的には、ある種のミラーを有する光学画像を使用することも可能である。いくつかの実施形態では、本発明がステレオイメージャを使用して、正確に分かっている相対的オフセットを有する２以上のイメージャを使用する。２以上のイメージャは、同時に、または既知の時間遅れで（例えば、インターレースモードで）画像を撮影することができる。

一般に、処理ユニットは、プロセッサ、コントローラ、マイクロコントローラまたは任意の種類の集積回路であってもよい。アイトラッキングデバイスは、１または複数のレンズ、プリズム、ビームスプリッタ、ミラー、反射器、光ガイド、コリメータなどの任意の光学要素を含む光学系と関連付けることができる。また、アイトラッキングデバイスは、可能な限り分散された照明を生成するように構成された照明源にも関連付けられており、それは好ましくは、目の表面にパターンを作成しないか、または最小限に抑えるものである。アイトラッキングデバイスは、少なくとも２の画像を受信するために、少なくとも２のイメージャの各々とデータ通信する処理ユニットを備える。

本発明の新規技術は、目の２以上の撮影画像を使用し、撮影画像の各々において、反復的なピクセル濾過プロセスによって三次元の角膜輪部パラメータを検出し、それにより、画像から得られた角膜輪部の二次元パラメータの三角測量によって眼球の向きを特定するものである。この新規技術は、画像データ内のユーザの目の輪部の識別に基づいて目の向きを特定するものである。ユーザの目のそれぞれの２以上の画像をキャプチャするために、２以上のイメージャを使用することができる。各イメージャは、異なる角度からユーザの目をキャプチャするように構成されている。各画像は、ユーザの虹彩と、瞳孔、強膜、瞼などの隣接領域および周辺領域を画像化する。輪部領域の三角測量のために、目の複数の画像が、２以上の異なる角度から、好ましくは時間的に近いタイミングで（例えば、同時に）キャプチャされる。

いくつかの実施形態では、処理ユニットが領域検出器を備え、この領域検出器が、ユーザの目を示す少なくとも２の画像の各画像を受信し、各画像において、反復的なピクセル濾過プロセスを使用して、初期輪部領域、好ましくは初期の歪みのない（すなわち、角膜などの眼球光学系自体によって歪められていない）領域／区画（すなわち、実際または仮想の計算された区画）、または目の同じ物理的領域に対応する既知の歪みを有する領域を示す画像データを識別し、初期輪部領域を示すデータを生成するように構成されている。本発明者等は、このように識別された安定領域を三角測量計算に用いることができることを見出した。本発明では、目の同じ物理的領域に対応するこのような安定領域を生成し、それらをステレオ画像上で識別することができる。領域検出器は、瞳孔、瞼、強膜、虹彩、睫毛などの目の特徴を示す画像データを識別すること、および解剖学的パラメータに基づいて初期輪部領域を識別することの少なくとも一方によって、初期輪部領域を示す画像データを識別するように構成されている。これらの領域は、目の特徴（例えば、瞳孔）の幾何学的表現を各画像に投影することによって識別され、その後、それら領域が、異なる角度で撮影された画像間で照合される。画像上のそのような領域のサイズが大きいほど、対応する物理的領域の位置がより正確に三角測量され、その結果、目自体の位置が正確に特定される。領域検出器は、三角測量の実行を可能にする反復的なピクセル濾過プロセスを用いて、眼球上の二次元仮想オブジェクトを定義する関数を生成する。この三角測量により、視線方向に対応する輪部の方向が定義される。輪部パラメータは、変数が三次元空間における剛体の６自由度を表す（ｘ、ｙ、ｚ、α、β、δ）である数式として定義される。具体的には、ｘ、ｙ、ｚは、３つの垂直軸における前／後（サージ）、上／下（ヒーブ）、左／右（スウェイ）の移動による位置の変化を、３つの垂直軸、ヨー（垂直軸）、ピッチ（横軸）、ロール（縦軸）を中心とする回転による向きの変化と組み合わせて定義している。

これに関連して、輪部の寸法は大きく、実質的に角膜によって歪むことがないため、三次元の輪部パラメータを特定することで、そのような歪みのない領域、または目の同じ物理的領域に対応する既知の歪みを有する領域を見付けることができることを理解されたい。しかしながら、前述したように、輪部自体は境界が僅かにぼやけていて明確に定義されておらず、画像毎に見え方が異なっており、そのような照合のアンカーポイントとして機能し得る識別可能な特徴を有していない。そのため、２以上の異なる画像上で輪部の領域自体を照合することは困難である。本発明者等は、輪部領域自体の特徴を照合する代わりに、デジタル画像前処理を実行して、目の同じ物理的領域によく対応する各画像の輪部の三次元パラメータに基づいて、いくつかの仮想領域を計算できることを見出している。デジタル画像前処理には、分類、特徴抽出、マルチスケール信号分析、パターン認識または投影数学変換などの複雑なアルゴリズムの使用が含まれる。仮想領域は、画像が撮影された角度に依存することなく、目の同じ物理的領域に対応している必要がある。このため、領域検出器は、各画像において輪部領域を示す画像データを識別し、輪部領域を示すデータを生成するように構成され、かつ動作可能である。これは、特定の目の特徴に対応する識別された仮想領域と、輪部との間の解剖学的関係を用いて、輪部領域を推定することによって実行することができる。例えば、２つの画像間の瞳孔領域（定義された円形のコントラストを有する領域）の三角測量により、瞳孔の位置と中心を算出し、その後、瞳孔の中心を中心とする一定の半径範囲（例えば、約５．５ｍｍ～６．５ｍｍ）を有する円形の領域として、輪部領域を定義することができる。この半径の範囲は、輪部と瞳孔の中心との間の距離のガウス分布を定義する統計データに基づくものであってもよい。

いくつかの実施形態では、パターン認識ツールを使用して、各画像内の瞳孔のピクセルと瞼のピクセルを識別する。瞳孔の画像ピクセルは、画像内の特定のコントラストにより識別することができる。瞳孔に対応する識別された画像領域は破棄され、瞼の画像領域は、較正データ（各イメージャの距離／角度、瞳孔／輪部の中心、全体的な方向など）を決定するために使用することができる。より具体的には、瞼と推定される輪部領域との間の可能性のある交差に関連するデータ画像が破棄されるため、潜在的な輪部ピクセルの数をさらに減らすことができる。次に、較正データと目の三次元モデルに基づいて、二次元の角膜輪部パラメータが識別される。その後、２以上のキャプチャされた画像の各々において、輪部の境界に位置するピクセルを破棄するために、反復的な濾過プロセスが使用される。輪部構造の幾何学的表現には、リング状または楕円形の構造が含まれる。輪部が円形であると仮定した場合、各画像から得られた輪部の二次元パラメータを用いて、各画像について、完全な輪部リング／楕円構造関数（輪部領域を隠している瞼領域を破棄して再構成したもの）が定義され、各画像から得られた定義された輪部リング／楕円構造の三角測量によって目の向きが特定される。特定の目の特徴に対応する画像データをフィルタリングすることで、特定のピクセルを破棄し、解像度を高めることができる。目の向きを特定できなかった場合は、輪部の領域を増やして輪部に関連するピクセルを潜在的に保持しながら、このプロセスが再度繰り返される。

いくつかの実施形態では、本方法が、先ず、輪部領域を分離して、例えば、画像の各々において（例えば、輪部リングの中央を通る楕円関数のセットを投影することにより）輪部構造の幾何学的表現を見付けるなど、数学的変換を実行するステップと、物理的な目にしっかり位置合わせされた６自由度（６ＤＯＦ）で対応する円を三角測量するステップとを含む。

いくつかの実施形態では、処理ユニットが輪部検出器を備え、この輪部検出器が、輪部領域を示すデータを受信し、各画像に対して輪部認識処理を実行すること、および／または、強度勾配マップの使用を含む数学的変換を実行することなどのデジタル画像前処理によって、輪部構造の幾何学的表現を特定するように構成され、かつ動作可能である。より具体的には、デジタル画像前処理が、輪部領域の画像強度勾配マップを計算すること、勾配の局所的な方向が実質的に均一である輪部構造の少なくとも１の領域を特定すること、そのような領域のピクセルに重み付けをすることにより輪部構造を示すデータを処理すること、並びに、角膜輪部に関連する一致するピクセルに基づいて輪部構造の幾何学的表現を特定することを含むことができる。

より具体的には、輪部領域を推定した後、推定した輪部領域で、リング状の領域が目の表面に投影される。その後、瞳孔、虹彩の大部分、強膜の大部分、瞼の大部分など、画像の殆どのピクセルが破棄され、正常な目の推定される解剖学的特性と、任意選択的には計算された三次元の瞳孔位置に基づいて、潜在的な輪部の位置の周りにリングだけが残される。しかしながら、瞳孔画像の角膜の歪みにより、更なる推定誤差が生じる可能性がある。この歪みは、輪部領域の初期推定の増加に繋がる。

いくつかの実施形態では、領域検出器が、機械学習を用いて目の特徴を示す画像データを識別するように構成されている。反復的なピクセル濾過プロセスは、取得された各画像における輪部領域を識別するための１または複数のニューラルネットワークのトレーニングに使用される。領域検出器は、瞳孔領域に関連するピクセルを識別するために各画像をセグメント化することによって、目の特徴を示す画像データを識別するように構成され、かつ動作可能であってもよい。このため、１または複数のニューラルネットワークを使用して、凡その輪部領域を直接セグメント化することができる。より具体的には、輪部領域を推定するために、瞳孔を追跡することができる。追加的または代替的には、瞳孔を追跡することなく、瞼や強膜などの他の目の特徴の位置を直接推定するためにニューラルネットワークを使用することもできる。ニューラルネットワークは、画像自体に適用することができ、または数学的に変換された画像、すなわち勾配マップに適用することもできる。ニューラルネットワークは、例えば、目の特徴的な特性が予め定義された他のアイトラッキング技術の結果に基づいて、従来の機械学習アルゴリズムでトレーニングすることができる。

いくつかの実施形態では、処理ユニットが、輪部のサイズを求めるように構成され、かつ動作可能である。

いくつかの実施形態では、目の位置の推定を改善するために、識別された瞼領域のピクセルが三角測量される。

いくつかの実施形態では、アイトラッキングデバイスが輪部三角測量器をさらに備え、この輪部三角測量器が、各画像について輪部構造の幾何学的表現を示すデータを受信し、少なくとも２の画像の幾何学的表現の三角測量を実行して三次元輪部パラメータを求めるように構成され、かつ動作可能である。三次元輪部パラメータは、輪部の中心の３つの座標、輪部平面に対する法線の方向、輪部平面の位置、および輪部のサイズのうちの少なくとも一つを含む。輪部三角測量器は、輪部の半径および／または輪部のねじれ回転を求めるように構成され、かつ動作可能であってもよい。

いくつかの実施形態では、輪部三角測量器が、少なくとも２の瞳孔の幾何学的表現の間で三角測量を実行して、三次元瞳孔パラメータを特定するように構成され、三次元瞳孔パラメータが、瞳孔面に対する法線の方向、瞳孔の中心の座標および瞳孔の直径のうちの少なくとも一つを含み、輪部三角測量器が、三次元瞳孔パラメータに基づいて初期角膜輪部領域の位置を推定し、各画像における輪部の初期領域の位置を示すデータを生成する。

いくつかの実施形態では、輪部三角測量器が、三角測量された三次元輪部を処理し、三角測量された輪部領域を画像平面に再投影し、各画像で輪部領域を精密化するように構成されている。

本明細書に開示の主題をよりよく理解し、それが実際にどのように実施され得るのかを例示するために、単なる非限定的な例として、添付の図面を参照しながら、実施形態について説明する。
図１は、本発明のアイトラッキングデバイスの主な機能部分を示す概略ブロック図である。図２は、本発明のアイトラッキング方法の主なステップを示す概略フローチャートである。図３は、異なる角度でキャプチャした目の２つのステレオ画像を示している。図４Ａ～図４Ｄは、本発明のいくつかの実施形態に係る瞳孔検出段階の例である。図５は、本発明のいくつかの実施形態に係る、図３の画像上に例示された目の特徴の検出段階の例である。図６は、本発明のいくつかの実施形態に係る、図３の画像上に例示された輪部円の投影の例である。図７は、本発明のいくつかの実施形態に係るアイトラッキングデバイスの可能な機能部分を例示する概略ブロック図である。図８は、本発明の教示を使用して得られた二次元のアイトラッキング軌跡を示している。図９は、時間の関数としてアジマスおよびピッチに関して、アイトラッキング方向軌跡の２つの角度自由度（すなわち、角度測定）を示している。図１０Ａおよび図１０Ｂは、本発明の教示を使用し得られたアイトラッキング軌跡の５つの自由度を示している。

図１を参照すると、本発明のアイトラッキングデバイスの主な機能部分を示すブロック図が例示されている。アイトラッキングデバイス１００は、ユーザの目を示す少なくとも２の画像を受信し、各画像において角膜輪部に関連する領域を識別し、輪部構造の幾何学的表現を特定し、少なくとも２の画像の輪部構造の幾何学的表現の三角測量によってユーザの目の三次元位置および注視方向を測定するように構成され、かつ動作可能な処理ユニット１０６を備える。これに関連して、上述したように、本発明は、形状（幾何学的表現）を三角測量するが、個々の対応する点またはエッジを三角測量しないことに留意されたい。

処理ユニット１０６は、通常、データ入出力モジュール／ユーティリティ１０６Ａおよび１０６Ｂ、メモリ１０６Ｄ（すなわち、不揮発性のコンピュータ可読媒体）および分析器／データ処理ユーティリティ１０６Ｃなどのユーティリティを特に含むコンピューティング／電子ユーティリティとして構成されている。このため、処理ユニット１０６のユーティリティは、適切な回路によって、かつ／または後述する図２に示す方法２００の動作を実行するように構成されたコンピュータ可読コードを含むソフトウェアおよび／またはハードウェアコンポーネントによって、実行することができる。

本発明の特徴は、以下でより詳細に説明する様々なコンピュータハードウェアコンポーネントを含む、汎用または専用のコンピュータシステムを含むことができる。また、本発明の範囲内の特徴は、コンピュータ実行可能命令、コンピュータ可読命令、またはそれに格納されたデータ構造を実行するための、またはそれを有するコンピュータ可読媒体を含む。そのようなコンピュータ可読媒体は、汎用または専用のコンピュータシステムによってアクセス可能な、任意の利用可能な媒体であってもよい。非限定的な例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、フラッシュディスク、ＣＤ－ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイスなどの物理的な記憶媒体、または、コンピュータ実行可能命令、コンピュータ可読命令またはデータ構造の形式で所望のプログラムコード手段を保持または格納するために使用することができ、汎用または専用のコンピュータシステムによってアクセスすることができる他の媒体を含むことができる。コンピュータ可読媒体は、ワイドエリアネットワーク（ＷＡＮ）、例えばインターネットなどのネットワークを介してコンピュータシステムにダウンロード可能なコンピュータプログラムまたはコンピュータアプリケーションを含むことができる。

本明細書および以下の特許請求の範囲において、「処理ユニット」は、１または複数のソフトウェアモジュール、１または複数のハードウェアモジュールまたはそれらの組合せであり、それらが協働して電子データに対する操作を実行するものと定義される。例えば、処理ユーティリティの定義には、パーソナルコンピュータのハードウェアコンポーネントのほか、パーソナルコンピュータのオペレーティングシステムなどのソフトウェアモジュールも含まれる。モジュールの物理的レイアウトは無関係である。コンピュータシステムは、コンピュータネットワークを介して結合された１または複数のコンピュータを含むことができる。同様に、コンピュータシステムは、内部モジュール（メモリやプロセッサなど）が協働して電子データに対する操作を実行する単一の物理デバイスを含むことができる。任意のコンピュータシステムがモバイルであってもよいが、本明細書で使用される「モバイルコンピュータシステム」という用語または「モバイルコンピュータデバイス」という用語には、特に、ラップトップコンピュータ、ネットブックコンピュータ、携帯電話、スマートフォン、ワイヤレス電話、パーソナルデジタルアシスタント、タッチセンサ式スクリーンを備えたポータブルコンピュータなどが含まれる。処理ユニット１０６は、コンピュータプログラムを実行するプロセッサを内蔵しているか、またはプロセッサが取り付けられている。コンピュータプログラム製品は、１または複数のコンピュータ可読媒体に組み込まれ、それに組み込まれたコンピュータ可読プログラムコードを有するものであってもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であってもよい。本発明の態様に関する操作を実行するためのコンピュータプログラムコードは、１または複数のプログラミング言語の任意の組合せで記述されるものであってもよい。プログラムコードは、完全にユーザのコンピュータ上で実行されるか、スタンドアローンのソフトウェアパッケージとしてユーザのコンピュータ上で一部が実行されるか、一部がユーザのコンピュータ上で一部がリモートコンピュータ上で実行されるか、または完全にリモートコンピュータまたはサーバー上で実行されるものであってもよい。後者の場合、リモートコンピュータが、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されるようにしても、あるいは外部コンピュータに（例えば、インターネットサービスプロバイダを使用してインターネットを介して）接続されるようにしてもよい。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサに提供され、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図の１または複数のブロックで指定された機能／動作を実行するための手段を作成するようなマシンをもたらすことができる。プロセッサの指定された機能は、指定された機能または動作を実行する専用ハードウェアベースのシステム、または専用ハードウェアとコンピュータ命令の組合せによって実装することができる。

アイトラッキングデバイス１００は、少なくとも２のイメージャ１１０を含むことができ、各イメージャは、異なる角度でユーザの目の少なくとも１の画像をキャプチャするように構成されている。各イメージャは、ユーザの虹彩に焦点を当てることができる。これに関連して、本発明の輪部追跡が、各目に対して独立に実行されることに留意されたい。

いくつかの実施形態では、処理ユニット１０６が輪部検出器１０２を備え、この輪部検出器が、輪部領域を示すデータを受信し、デジタル画像前処理によって輪部構造の幾何学的表現（例えば、リング状または楕円形の構造）を特定するように構成され、かつ動作可能となっている。具体的な非限定的な例では、輪部検出器１０２が、各画像上で輪部認識処理を実行し、かつ／または強度勾配マップの使用を含む画像の数学的変換を実行し、その後、変換した画像上で輪部領域認識処理を実行するように構成され、かつ動作可能である。換言すれば、輪部検出器１０２は、画像を強度勾配マップに変換した後、変換した画像上で輪部領域を探索することができる。また、勾配マップの代わりに、または勾配マップに加えて、エントロピーマップを用いることもでき、あるいは画像に対して直接処理を実行することもできる。強度勾配マップが使用される場合、輪部検出器１０２は、輪部領域の画像強度勾配マップを計算し、勾配の局所的な方向が実質的に均一である輪部構造の少なくとも１の領域を識別し、そのような領域のピクセルに重み付けを行って、角膜輪部に関連する一致するピクセルに基づいて輪部構造の幾何学的表現を特定することにより、輪部構造を示すデータを処理することができる。共線性に加えて、輪部の解剖学的形態の知識（すなわち、共線性のベクトルが輪部の中心から放射状に延び、輪部全体が連続していること）を使用することができる。より具体的には、局所的な均一性、すなわち各点の勾配の方向が隣の点とのみ共線的であることを識別することで、輪部構造の領域を特定する。

輪部検出器１０２などの処理ユニット１０６の各モジュールは、特定の数のモジュールに限定されるものではなく、複数の画像を独立して、同時に、または他の方法で処理するように構成されるものであってもよい。輪部三角測量器１０８は、三次元の輪部パラメータを求めるために、少なくとも２の画像における輪部構造の幾何学的表現の三角測量を実行するように構成され、かつ動作可能である。また、輪部三角測量器１０８は、輪部の半径および／または輪部のねじれ回転を求めるように構成され、かつ動作可能であってもよい。三次元輪部パラメータは、輪部の位置および方向の少なくとも５つの自由度を規定する。三次元輪部パラメータは、輪部の平面の位置および／または輪部の平面に対する法線の方向および／または輪部のサイズおよび／または輪部の中心またはそれらの組合せのうちの何れか一つを含む。

いくつかの実施形態では、処理ユニット１０６が領域検出器１０４を備え、この領域検出器が、各ユーザの目を示す少なくとも２の画像の各画像を受信し、反復的なピクセル濾過プロセスを使用することにより各画像内の初期輪部領域を示す画像データを識別し、初期輪部領域を示すデータを生成するように構成され、かつ動作可能である。これは、瞳孔、瞼、強膜、虹彩および睫毛などの目の特徴を示す画像データを識別すること、および／または、解剖学的パラメータに基づいて初期輪部領域を識別することによって実行することができる。より具体的には、初期輪部領域の識別は、瞳孔セグメンテーションおよび瞳孔の三角測量、および／または解剖学的構造に基づく輪部領域の推定、および／または瞼領域の推定、および／または瞼領域を含まない輪部領域の推定を含むことができる。これは、輪部三角測量器１０８によって実行されるものであっても、他の任意の処理モジュールによって実行されるものであってもよい。しかしながら、本発明は、処理ユニット１０６の特定のモジュール構成によって限定されるものではない。処理ユニット１０６は、瞳孔検出器、瞳孔三角測量器および他のモジュールを含むことができる。例えば、目の特徴を示す画像データの識別は、瞳孔セグメンテーションを含むことができる。このため、領域検出器１０４は、初期輪部リングを提供することを目的とした瞳孔検出器であってもよい。これらの領域、瞳孔と輪部の両方が同心であり、同一平面上にあると想定されている。瞳孔セグメンテーションは、瞳孔領域に関連するピクセルを識別するために各画像をセグメント化し、三次元瞳孔パラメータを決定するために少なくとも２の画像間で三角測量を実行し、三次元瞳孔パラメータに基づいて初期角膜輪部領域の位置を推定し、各画像における輪部の初期領域位置を示すデータを生成することによって、実行することができる。三次元瞳孔パラメータは、瞳孔面に対する法線の方向、および／または瞳孔の中心の座標、および／または瞳孔の直径を含む。三次元瞳孔パラメータは、三次元輪部パラメータを推定するために使用され、これにより、さらに精密化することができる初期輪部領域を規定することができる。また、目の特徴を示す画像データの識別は、瞼に関連する画像データが輪部リングの一部を遮るため、瞼の識別と、この画像データのフィルタリングを含むことができる。本発明は、初期輪部を示す画像データを識別する特定の方法に限定されるものではない。初期輪部を示す画像データを識別するために、ニューラルネットワークに基づくアプローチを使用することができる。例えば、輪部領域推定はニューラルネットワークを用いて行うことができるが、瞳孔検出器を用いて古典的なアルゴリズムで瞼領域を推定することもできる。代替的には、輪部領域推定および瞼領域推定を、ニューラルネットワークに基づくアプローチで実行することができる。代替的には、ニューラルネットワークを、瞳孔セグメンテーションにのみ使用することができる。

いくつかの実施形態では、領域検出器１０４が、機械学習を用いて目の特徴を示す画像データを識別するように構成されている。機械学習は、目の特徴に関連する入力データの特性を自己分類／学習することができる。領域検出器１０４は、ニューラルネットワークに基づくデータ認識モデルを使用して、三次元角膜輪部パラメータを予測することができる。ネットワークは、古典的なアプローチのセグメンテーション結果に基づいて、または既存のシステムを使用してトレーニングすることができる。追加的または代替的には、本発明のアイトラッキングデバイスによって得られた三次元角膜輪部パラメータを、ニューラルネットワークのトレーニングに使用することができる。領域検出器１０４によって実行される人工ニューラルネットワーク（ＡＮＮ）などの深層学習ネットワーク（ＤＬＮ）は、一連の画像に基づいて、輪部の表現を生成することができる。例えば、ＤＬＮによって生成された表現は、輪部の配置に関する確率を含むことができる。この表現は、認識分類器を人に適応させるための輪部のモデルを生成するために使用される。

輪部検出器１０２が三次元輪部パラメータを求めた後、領域検出器１０４は、三次元輪部パラメータを受け取って、輪部領域を示すさらに正確なデータを生成することができる。例えば、輪部三角測量器１０８は、三角測量された三次元輪部を処理し、三角測量された輪部領域を画像平面に再投影し、各画像で輪部領域を精密化するように構成されている。

図２を参照すると、本発明のアイトラッキング方法の主なステップを示すフローチャート図が例示されている。アイトラッキングの方法２００は、２０４において、ユーザの目の少なくとも２の画像を示す画像データを受信するステップと、２０６において、各画像において角膜輪部に関連する領域を識別するステップと、２０８において、輪部構造の幾何学的表現を特定するステップと、２１０において、少なくとも２の画像の輪部構造の幾何学的表現の三角測量を実行し、それにより、２１２において、ユーザの目の三次元位置および注視方向を決定するステップとを含む。

いくつかの実施形態では、ステップ２１０が、上述したように三次元輪部パラメータを求めるために、少なくとも２の画像における輪部構造の幾何学的表現の三角測量を実行することを含む。三次元輪部パラメータを求めることは、輪部の半径および／または輪部のねじれ回転を求めることを含むことができる。

いくつかの実施形態では、２１０において少なくとも２の画像における輪部構造の幾何学的表現の三角測量を行った後、本方法２００は、輪部領域を示すさらに正確なデータを生成するために、三次元輪部パラメータを処理することにより、輪部構造の幾何学的表現を特定するステップを含むことができる。

いくつかの実施形態では、本方法２００が、２０２において、異なる角度で各ユーザの目の少なくとも２の画像をキャプチャするステップを含むことができる。

いくつかの実施形態では、２０８において輪部構造の幾何学的表現を特定することが、２１８において、各画像に輪部認識処理を実行するか、または強度勾配マップを使用することを含む画像の数学的変換を実行し、その後、変換した画像に輪部領域認識処理を実行するなどのデジタル画像前処理を含むことができる。２１８におけるデジタル画像前処理のステップは、輪部領域の画像強度勾配マップを計算し、勾配の局所的な方向が実質的に均一である輪部構造の少なくとも１の領域を識別し、そのような領域のピクセルに重み付けを行って、角膜輪部に関連する一致するピクセルに基づいて輪部構造の幾何学的表現を特定することにより輪部構造を示すデータを処理することを含むことができる。より具体的には、デジタル画像前処理は、局所的な均一性、すなわち、各点の勾配の方向がその隣接する点とのみ共線的であることを識別することによって、輪部構造の領域を特定することを含むことができる。上述したように、エントロピーマップを（勾配マップの代わりに、または勾配マップに加えて）強度勾配マップとして使用することができ、あるいは処理を画像上で直接実行することができる。

いくつかの実施形態では、２０６において、各画像における角膜輪部に関連する領域を識別することが、瞳孔、瞼、強膜、虹彩および睫毛などの目の特徴を示す画像データを識別すること、および／または、反復的なピクセル濾過処理を用いて解剖学的パラメータに基づいて初期輪部領域を特定すること、および、初期輪部領域を示すデータを生成することを含むことができる。例えば、瞳孔領域および輪部領域と並行して、瞼領域の推定を実行することができる。本発明は、様々な領域の推定の順序に限定されるものではない。様々な目の特徴領域は、任意の幾何学的形状モデル（例えば、楕円や円）に基づいて特定されるものであってもよい。

いくつかの実施形態では、初期輪部領域を特定することが、瞳孔セグメンテーションおよび瞳孔の三角測量、および／または解剖学的構造に基づく輪部領域の推定、および／または瞼領域の推定、および／または瞼領域を含まない輪部領域の推定を含むことができる。本方法は、瞳孔領域に関連するピクセルを識別するために各画像をセグメント化するステップと、三次元瞳孔パラメータを求めるために少なくとも２の画像間で三角測量を実行するステップと、三次元瞳孔パラメータに基づいて初期角膜輪部領域の位置を推定するステップと、各画像における輪部の初期領域の位置を示すデータを生成するステップとを含むことができる。また、目の特徴を示す画像データを識別することは、瞼に関連する画像データが輪部リングの一部を遮るため、瞼を識別することと、この画像データをフィルタリングすることを含むことができる。上述したように、本発明は、初期輪部を示す画像データを識別する特定の方法に限定されるものではない。初期輪部を示す画像データを識別するために、ニューラルネットワークに基づくアプローチを使用することができる。また、輪部領域推定および瞼領域推定は、ニューラルネットワークベースのアプローチで実行することもできる。また、ニューラルネットワークは、瞳孔セグメンテーションにのみ使用することもできる。

いくつかの実施形態では、機械学習を用いて、目の特徴を示す画像データの識別を実行することができる。三次元角膜輪部パラメータを求める（すなわち、予測する）ことは、ニューラルネットワークに基づくデータ認識モデルを使用することを含むことができる。この方法は、古典的なアプローチのセグメンテーション結果に基づいて、またはトレーニングのための既存のシステムを使用して、ネットワークをトレーニングすることを含むことができる。一連の画像に基づいて輪部の表現を生成することは、人工ニューラルネットワーク（ＡＮＮ）などの深層学習ネットワーク（ＤＬＮ）を使用して達成することができる。例えば、輪部の表現を生成することは、輪部の配置に関する確率を計算すること、および／または輪部のモデルを生成すること、認識分類器を人に適応させることを含むことができる。

図３を参照すると、異なる角度で撮影されたユーザの目の２つのステレオ画像が示されている。

図４Ａ～図４Ｄを参照すると、本発明のいくつかの実施形態に係る瞳孔領域検出のための、図３の２つのステレオ画像のデータ処理の例が示されている。図４Ａは、各画像をセグメント化して、瞳孔領域に関連するピクセルを識別するセグメンテーション段階を示している。図４Ｂに示すように、瞳孔領域に関連しないピクセルは破棄され、解像度が高められる。図４Ｃは、各画像の強度マップに基づく瞳孔境界のセグメンテーションを示している。図４Ｄは、各画像における瞳孔の幾何学的表現（例えば、リング状の形状）の投影に基づいて、瞳孔の境界を精密化したものである。その後、図４Ｄの領域は、画像間で三角測量され、瞳孔の直径、３Ｄ位置および方向が求められる。

図５を参照すると、本発明のいくつかの実施形態に係る、図３の２つのステレオ画像の目の特徴のデータ識別の例が示されている。マークされた領域は、画像強度勾配の局所的な方向が実質的に均一である領域を表している。

図６を参照すると、本発明のいくつかの実施形態に係る、図３の２つのステレオ画像の各画像への楕円関数の投影に基づく輪部認識処理の例が示されている。

図７を参照すると、本発明のアイトラッキングデバイスの可能な機能部分を示すブロック図が例示されている。この具体的な非限定的な例では、アイトラッキングデバイス３００が、本明細書でカム１およびカム２と呼ばれる２つのイメージャを備え、それらが各ユーザの目の少なくとも１の画像を異なる角度でキャプチャするように構成されている。各イメージャは、ユーザの虹彩に焦点を当てている。アイトラッキングデバイス３００は、瞳孔検出器３０２および輪部検出器３０４を含む処理ユニット３１０を備える。瞳孔検出器３０２は、前述した図１に関して規定された領域検出器の具体例である。瞳孔検出器３０２は、複数のモジュールを含み、各ユーザの目を示す少なくとも２の画像の各画像を受信し、各画像内の輪部領域を示す画像データを識別し、輪部領域を示すデータを生成するように構成され、かつ動作可能である。これは、瞳孔領域検出などの目の特徴検出を用いて実行するようにしても、あるいはニューラルネットワークを用いて実行するようにしてもよい。各画像は、瞳孔領域に関連するピクセルを識別するために、セグメンテーションモジュールによってセグメント化される。瞳孔領域に関係のないピクセルは、各画像で破棄され、解像度が高められる。その後、各楕円モジュールＥｌｌは、各画像上の瞳孔領域に対応する楕円曲線を計算し、一致する楕円曲線を見付ける。各画像について、三次元の瞳孔領域を示す三次元方程式が生成される。その後、２つのステレオ画像をキャプチャする２つのイメージャ間の距離が分かっている場合に、２つのステレオ画像の三次元方程式に一致する最初の三角測量が実行され、瞳孔の方向が求められる。これに続いて、輪部の平均的なサイズを使用するとともに、瞳孔と輪部が同心でありかつ同一平面上にあると仮定して、アルゴリズムが、三次元の輪部パラメータ推定をもたらす。この三次元の輪部領域は、図３に示すように、本明細書ではマスク方程式と呼ばれる、各画像に投影される。例えば、輪部領域は、２つの楕円曲線で囲まれる場合がある。マスク方程式は、共線性マップモジュールによって使用され、各画像上の輪部の投影の最初の推定値を与える。また、マスク方程式は重み付けモジュールでも使用される。

三次元の輪部パラメータを求めるために、本明細書で共線性マップと呼ばれる共線性モジュールは、数学的変換を実行する。具体的な非限定的な例では、そのような数学的変換が、瞳孔方向に基づいて輪部の画像強度勾配マップを計算すること、勾配の方向が実質的に均一である輪部構造の少なくとも１の領域を識別すること、そのような領域のピクセルを重み付けすることによって輪部構造を示すデータを処理すること、並びに、角膜輪部に関連する一致するピクセルに基づいて三次元輪部パラメータを求めることを含むことができる。代替的には、そのような数学的変換は、画像のエントロピーを使用することを含むことができる。具体的な非限定的な例では、共線性マップモジュールが、（瞳孔３Ｄパラメータおよび平均輪部サイズから算出された）推定輪部領域によってマスクされた元の画像から、勾配共線性マップを生成する。輪部検出器３０４は、三次元の輪部領域と輪部の方向を示している三次元方程式を受け取る。その後、リング状の領域が各目の画像に投影され、推定される輪部領域が生成される。瞳孔、虹彩の大部分、強膜の大部分、瞼の大部分など、画像の殆どのピクセルは、マスク方程式を使用して破棄され、正常な目の推定される解剖学的特性に基づいて、潜在的な輪部の位置の周りにリングのみが残される。

重み付けモジュールは、共線性マップモジュールに基づいて、各ピクセルに、ピクセルが輪部に属する確率の重み付けを割り当てる。その後、重み付けモジュールは、潜在的な輪部領域を絞り込むために使用され、輪部の一致する楕円の推定を見付けるＥｌｌモジュールへの入力を与える。

第２の三角測量を実行するために、錐体の三角測量または二次推定（線形または非線形）などのいくつかの技術を実行することができる。処理ユニット３１０は、線形または非線形の二次推定を使用して、少なくとも２の画像の輪部構造の幾何学的表現を三角測量することにより、ユーザの目の三次元位置および注視方向を特定するように構成され、かつ動作可能である。この具体的な非限定的な例では、錐体の三角測量を次のように実行することができる。すなわち、各楕円モジュールＥｌｌが、特定の目の特徴に対応する識別された仮想領域（例えば、瞳孔の中心に対応する中心を有する楕円）の間の解剖学的関係を規定する輪部の幾何学的表現の数学的関数／方程式を生成し、各画像について輪部が計算される。各画像の楕円構造が比較され、楕円構造によって規定された円錐の交点が、空間に楕円を規定し、その投影が、２つの画像の楕円構造と一致する。これにより、本明細書では、ｌｉｍｂｕｓＲ、Ｃｘ、Ｃｙ、Ｃｚ、アジマス、ピッチと呼ばれる三次元の輪部パラメータが定義される。これに関連して、本発明では、三次元の輪部パラメータが、ピクセルの三角測量ではなく、楕円の三角測量によって得られることに留意されたい。上述したように、輪部のピクセル三角測量は、異なる画像のピクセル間の対応関係が分からないため（第２の画像のエピポーラ線に沿ったピクセルの殆どが非常に似ているため）、事実上不可能である。古典的なコンピュータビジョンでは、異なる色、コーナー、線の交点またはテクスチャパッチなど、近接したピクセル領域の特別な特徴を使用して、異なる画像のエピポーラ線に沿った２つのピクセル間のマッチングを特徴付けることができる。このような特徴は、一般に広い領域として定義される輪部の大まかな境界のため、輪部領域に欠けており、よって、古典的な自然特徴追跡アルゴリズムを使用することができない。その後、マスクを使用して、目の特徴に関連する領域が破棄される。続いて、反復的なピクセル濾過プロセスを用いて、上記と同じ手順を繰り返し、より正確に輪部領域を定義し、輪部領域のサイズを縮小する。

代替的または追加的には、反復的なピクセル濾過プロセスは、カルマンフィルタなどの線形二次推定、または拡張カルマンフィルタおよびアンセンテッドカルマンフィルタなどの非線形二次推定を使用して実行することができる。カルマンフィルタは、５つの自由度（楕円構造など）の輪部方程式の推定値を、加重平均を用いて、目の予測状態と新しい測定値の平均として生成する。重みは、目の状態の予測の推定される不確実性の尺度である共分散から計算される。加重平均の結果、新しい状態の推定値は、予測状態と測定状態の間に位置し、単独で取得した場合のどちらの状態よりも優れた推定される不確実性を有する。このプロセスは、タイムステップ毎に繰り返され、新しい推定値とその共分散が、次の反復で使用される予測を通知する。

処理の最後に、処理ユニット３１０は、三次元輪部パラメータに基づいて、ユーザの目の三次元位置および注視方向を決定する。

図８を参照すると、本発明の教示を使用して得られた二次元のアイトラッキング位置の軌跡が例示されており、異なる色が軌跡の異なる部分を区別し、すなわち、色が時間とともに変化している。軸Ｘｃ、Ｙｃはミリメートルで測定されている。

図９を参照すると、時間（ミリ秒で測定）の関数としてアジマスおよびピッチに関して、図８のアイトラッキング方向軌跡の２つの角度自由度（すなわち、度で測定される角度測定値）が例示されている。図８、図９、図１０はすべて、同じ記録からのデータを示している。

図１０Ａおよび図１０Ｂを参照すると、図８のアイトラッキング軌跡の５つの自由度が例示されている。より具体的には、図１０Ａは、時間の関数として、アジマスおよびピッチに関して、アイトラッキング方向軌跡の２つの角度自由度（すなわち、度で測定される角度測定値）を示している。図１０Ａは、図９のグラフの一部を拡大したものである。図１０Ｂは、直交座標空間におけるアイトラッキング位置軌跡の三次元自由度を、時間（ミリ秒単位で測定）の関数として示している。

Claims

処理ユニットを備えるアイトラッキングデバイスであって、
前記処理ユニットが、ユーザの目を示す少なくとも２の画像を受信し、各画像において角膜輪部に関連する領域を識別し、輪部構造の幾何学的表現を特定し、少なくとも２の画像の輪部構造の幾何学的表現の三角測量によってユーザの目の三次元位置および注視方向を特定するように構成され、かつ動作可能であることを特徴とするアイトラッキングデバイス。
請求項１に記載のアイトラッキングデバイスにおいて、
前記輪部構造の幾何学的表現が、リング状または楕円形の構造を含むことを特徴とするアイトラッキングデバイス。
請求項１または２に記載のアイトラッキングデバイスにおいて、
少なくとも２のイメージャをさらに備え、各イメージャが、異なる角度でユーザの目の少なくとも１の画像をキャプチャするように構成されていることを特徴とするアイトラッキングデバイス。
請求項１乃至３の何れか一項に記載のアイトラッキングデバイスにおいて、
前記処理ユニットが、輪部領域を示すデータを受信して、デジタル画像前処理により輪部構造の幾何学的表現を特定するように構成されかつ動作可能な輪部検出器を備えることを特徴とするアイトラッキングデバイス。
請求項４に記載のアイトラッキングデバイスにおいて、
各画像について、前記輪部検出器が、デジタル画像前処理のために構成されかつ動作可能であり、前記デジタル画像前処理が、輪部領域の画像強度勾配マップを計算すること、勾配の局所的な方向が実質的に均一である輪部構造の少なくとも１の領域を識別すること、そのような領域のピクセルに重み付けをすることにより輪部構造を示すデータを処理すること、並びに、角膜輪部に関連する一致するピクセルに基づいて輪部構造の幾何学的表現を特定することを含むことを特徴とするアイトラッキングデバイス。
請求項４または５に記載のアイトラッキングデバイスにおいて、
各画像について輪部構造の幾何学的表現を示すデータを受信し、少なくとも２の画像の幾何学的表現の三角測量を実行して三次元輪部パラメータを特定するように構成されかつ動作可能な輪部三角測量器をさらに備えることを特徴とするアイトラッキングデバイス。
請求項６に記載のアイトラッキングデバイスにおいて、
前記処理ユニットが、前記三次元輪部パラメータに基づいて、ユーザの目の三次元位置および注視方向を特定するように構成され、かつ動作可能であることを特徴とするアイトラッキングデバイス。
請求項６または７に記載のアイトラッキングデバイスにおいて、
前記三次元輪部パラメータが、輪部の中心の３つの座標、輪部平面に対する法線の方向、輪部の平面の位置、および輪部のサイズのうち少なくとも一つを含むことを特徴とするアイトラッキングデバイス。
請求項６乃至８の何れか一項に記載のアイトラッキングデバイスにおいて、
前記輪部三角測量器が、輪部の半径および／または輪部のねじれ回転を特定するように構成され、かつ動作可能であることを特徴とするアイトラッキングデバイス。
請求項１乃至９の何れか一項に記載のアイトラッキングデバイスにおいて、
前記処理ユニットが、ユーザの目を示す少なくとも２の画像の各画像を受信し、反復的なピクセル濾過プロセスを使用することにより、各画像の初期輪部領域を示す画像データを識別し、初期輪部領域を示すデータを生成するように構成されかつ動作可能な領域検出器をさらに備えることを特徴とするアイトラッキングデバイス。
請求項１０に記載のアイトラッキングデバイスにおいて、
前記領域検出器が、瞳孔、瞼、強膜、虹彩および睫毛のような目の特徴を示す画像データを識別すること、および解剖学的パラメータに基づいて初期輪部領域を識別することのうちの少なくとも一方により、初期輪部領域を示す画像データを識別するように構成されていることを特徴とするアイトラッキングデバイス。
請求項１１に記載のアイトラッキングデバイスにおいて、
前記領域検出器が、機械学習を用いて目の特徴を示す画像データを識別するように構成されていることを特徴とするアイトラッキングデバイス。
請求項１１または１２に記載のアイトラッキングデバイスにおいて、
前記領域検出器が、瞳孔領域に関連するピクセルを識別するために各画像をセグメント化することによって、目の特徴を示す画像データを識別するように構成され、かつ動作可能であることを特徴とするアイトラッキングデバイス。
請求項１３に記載のアイトラッキングデバイスにおいて、
前記輪部三角測量器が、少なくとも２の瞳孔の幾何学的表現の間で三角測量を実行して三次元瞳孔パラメータを特定するように構成され、前記三次元瞳孔パラメータが、瞳孔面に対する法線の方向、瞳孔の中心の座標および瞳孔の直径のうちの少なくとも一つを含み、前記輪部三角測量器が、前記三次元瞳孔パラメータに基づいて初期角膜輪部領域の位置を推定し、各画像における輪部の初期領域の位置を示すデータを生成するように構成されていることを特徴とするアイトラッキングデバイス。
請求項６乃至１４の何れか一項に記載のアイトラッキングデバイスにおいて、
前記輪部三角測量器が、三角測量された三次元輪部を処理し、三角測量された輪部領域を画像平面に再投影し、各画像で輪部領域を精密化するように構成されていることを特徴とするアイトラッキングデバイス。
アイトラッキングのための方法であって、
ユーザの目の少なくとも２の画像を示す画像データを受信するステップと、
各画像において、角膜輪部に関連する領域を識別するステップと、
輪部構造の幾何学的表現を特定するステップと、
少なくとも２の画像の輪部構造の幾何学的表現の三角測量を実行して、ユーザの目の三次元位置および注視方向を特定するステップとを備えることを特徴とする方法。
請求項１６に記載の方法において、
異なる角度からユーザの目の少なくとも２の画像をキャプチャするステップを含むことを特徴とする方法。
請求項１６または１７に記載の方法において、
前記輪部構造の幾何学的表現を特定することが、デジタル画像前処理を含むことを特徴とする方法。
請求項１８に記載の方法において、
前記デジタル画像前処理が、瞳孔方向に基づいて輪部の画像強度勾配マップを計算すること、各画像において、勾配の局所的な方向が実質的に均一である輪部構造の少なくとも１の領域を特定すること、そのような領域のピクセルに重み付けをすることにより輪部構造を示すデータを処理すること、並びに、角膜輪部に関連する一致するピクセルに基づいて輪部構造の幾何学的表現を生成することを含むことを特徴とする方法。
請求項１９に記載の方法において、
輪部の中心の３つの座標および輪部の方向のうちの少なくとも一つを含む三次元輪部パラメータを特定するステップと、前記三次元輪部パラメータに基づいて、ユーザの目の三次元位置および注視方向を特定するステップとを含むことを特徴とする方法。
請求項２０に記載の方法において、
ユーザの目の三次元位置および注視方向を特定することが、前記三次元輪部パラメータを処理することを含むことを特徴とする方法。
請求項１６乃至２１の何れか一項に記載の方法において、
輪部の半径および／または輪部のねじれ回転を特定するステップをさらに含むことを特徴とする方法。
請求項１６乃至２２の何れか一項に記載の方法において、
前記輪部構造の幾何学的表現が、リング状または楕円形の構造を含むことを特徴とする方法。
請求項１６乃至２３の何れか一項に記載の方法において、
反復的なピクセル濾過プロセスを用いて各画像における初期輪部領域を示す画像データを識別するステップと、前記初期輪部領域を示すデータを生成するステップとをさらに含むことを特徴とする方法。
請求項２４に記載の方法において、
各画像において、初期輪部領域を示す画像データを識別することが、瞳孔、瞼、強膜、虹彩および睫毛のような目の特徴を示す画像データを識別すること、並びに、解剖学的パラメータに基づいて初期輪部領域を識別することのうちの少なくとも一方を含むことを特徴とする方法。
請求項２５に記載の方法において、
目の特徴を示す画像データの識別が、機械学習を用いて行われることを特徴とする方法。
請求項２５または２６に記載の方法において、
目の特徴を示す画像データの識別が、瞳孔領域に関連するピクセルを識別するために各画像をセグメント化することを含むことを特徴とする方法。
請求項２７に記載の方法において、
少なくとも２の瞳孔の幾何学的表現の間で三角測量を実行して三次元瞳孔パラメータを特定するステップであって、前記三次元瞳孔パラメータが、各画像における、瞳孔面に対する法線の方向、瞳孔の中心の座標および瞳孔の直径のうちの少なくとも一つを含む、ステップと、前記三次元瞳孔パラメータに基づいて初期角膜輪部領域の位置を推定するステップと、各画像における輪部の初期領域の位置を示すデータを生成するステップとをさらに含むことを特徴とする方法。
請求項１６乃至２８の何れか一項に記載の方法において、
三角測量された三次元輪部を処理するステップと、三角測量された輪部領域を画像平面に再投影するステップと、各画像で輪部領域を精密化するステップとをさらに含むことを特徴とする方法。