JP2019501720A - 視線追跡のためのシステムおよび装置 - Google Patents

Abstract

定義された動作範囲内での視線追跡のためのシステムおよび装置が提供される。装置は、複合照明源によって作り出された波長範囲内の放射を捕捉することができる少なくとも１つの光学系を含む。装置はまた、複合照明源を生成する照明源の少なくとも１つのセットを含み、照明源のうちの少なくとも１つは、それが装置動作範囲の始まりにおいてユーザの明るい瞳孔応答を確実にするように光学系に対して位置決めされ、および複合照明源サイズは、装置動作範囲の終わりにおいて光学系によって識別されることができる、ユーザの目上のプルキニエ画像を生成するようなものである。装置はまた、少なくとも１つの複合照明源を活動化および非活動化するための照明コントローラと、少なくとも１つの光学系から発生された画像を送信するための信号処理コントローラとを含む。

Description

以下は、視線追跡のためのシステムおよび装置に関する。より詳細には、ハードウェア複雑さが最小限に抑えられた装置の設計、およびそれを組み込んだ視線追跡システムに関する。

関連出願の相互参照
本出願は、参照によりその内容が本明細書に組み込まれている、２０１５年１２月３１日に出願した米国特許仮出願第６２／２７３，６８１号の優先権を主張するものである。

非常に制約されたセッティングにおけるものではあるが、視線の方向を遠隔に決定する能力は、１９６２年に最初に報告された（例えば、非特許文献１参照）。ユーザが１ｆｔ³（０．０２８３ｍ³）のヘッドボックス内で自由に動くことを可能にする遠隔視線追跡および瞳孔測定のための装置は、１９７４年に開示された（例えば、非特許文献２参照）。２つの上述の装置は、ユーザに課される制約、およびそれらの減じられた可搬性を考えれば、研究ツールとしての使用に限定される。

被写体の目の赤外線照明（この関連において能動ＩＲと呼ばれる）の採用によって、視線追跡装置は、明るい瞳孔応答、暗い瞳孔応答として知られているもの、または両方をうまく利用する（例えば、非特許文献３参照）。これは適切な画像処理と併用されて、視線推定プロセスのロバスト性および精度の両方を著しく改善する。

能動ＩＲ照明のもとでの明るい瞳孔応答は、シーンを照明するために用いられる光源がカメラの光軸の近くに位置決めされ、それにより網膜からの逆反射を作り出すように、写真撮影からの赤目効果としてより広く知られているものの、赤外線での等価なものである。写真撮影においてこれは望ましくない効果であるが、能動ＩＲ視線追跡パラダイムにおいてこれは瞳孔の検出可能性を改善する手段である。明るい瞳孔応答は、赤外線照明源をカメラレンズの近くに、または同軸状に（軸上に）位置決めすることによって得られる。逆に暗い瞳孔応答は、赤外線照明源を、撮像デバイスの光軸から最小限の距離離れて（軸外に）位置決めすることによって得られ、明るい瞳孔応答の生成を回避する。

慣例において、視線追跡精度およびロバスト性を確実にするために文献（例えば、非特許文献４参照）において開示されているように、軸上および軸外赤外線照明器の連携が用いられる。この装置セットアップは、既存の商用視線追跡ソリューションのための現在の事実上のソリューションである。軸上および軸外照明器の両方を用いることは、２つの間の切り換えのための制御回路、および連続した画像収集を取り扱うための同期モジュールを必要とする。

軸上のみの手法は一般性が低く、特許文献１において開示されている１つのこのようなシステムおよび方法は、単眼視線追跡に限定され、シーンは目の領域に制約される。この手法の使用は、それの予想されるサイズを所与として、それが画像内で最も明るい物体であるということに依存するので、瞳孔検出を直接的にする。しかし制約された視野（ＦＯＶ）、および明るい瞳孔応答における固有の変動性は、このようなシステムが用いられ得る動作条件を非常に制限する。

上述の制限を軽減しながら、軸上のみのソリューションによってもたらされる小さなフォームファクタをうまく利用した１つのソリューションは、最初に特許文献２において開示された。そうすることにおいてこれは、この簡略化から恩恵を受け得る視線追跡装置の他の特徴を明らかにした。具体的には、視線追跡を行うために必要な照明源の数、およびセンサ分解能を最小にすることである。既存の装置は、機能するために非常に多数の照明源、およびすべての必要な構成要素を撮像するために高分解能センサを、依然として必要とする。１つの複合照明源（例えば単一の軸外光源）からなる装置を述べるときでも、既存の装置は、ユーザの目上の所望の構成要素が画像内で検出可能となることを確実にしようとして、定義された複合光源を生成するために、かなりの数の個々の光源を用いることが理解されるべきである。

米国特許第５，２３１，６７４号明細書 国際公開ＰＣＴ／ＣＡ第２０１４／０５０，２８２号

Ａ．Ｌ． Ｙａｒｂｕｓ． Ｅｙｅ Ｍｏｖｅｍｅｎｔｓ ａｎｄ Ｖｉｓｉｏｎ． Ｎｅｗ Ｙｏｒｋ： Ｐｌｅｎｕｍ， １９６７年 （もとは１９６２年にロシア語で刊行された） Ｊ． Ｍｅｒｃｈａｎｔ， Ｒ． Ｍｏｒｒｉｓｓｅｔｔｅ， ａｎｄ Ｊ．Ｌ． Ｐｏｒｔｅｒｆｉｅｌｄ． Ｒｅｍｏｔｅ ｍｅａｓｕｒｅｍｅｎｔ ｏｆ ｅｙｅ ｄｉｒｅｃｔｉｏｎ ａｌｌｏｗｉｎｇ ｓｕｂｊｅｃｔ ｍｏｔｉｏｎ ｏｖｅｒ ｏｎｅ ｃｕｂｉｃ ｆｏｏｔ ｏｆ ｓｐａｃｅ． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｂｉｏｍｅｄｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ， ＢＭＥ−，１９７４年７月,Ｖｏｌ．２１,Ｎｏ．４：ｐｐ.３０９−３１７ Ｃ． Ｍｏｒｉｍｏｔｏ， Ｍ． Ｆｌｉｃｋｎｅｒ， Ａ． Ａｍｉｒ， ａｎｄ Ｄ． Ｋｏｏｎｓ． Ｐｕｐｉｌ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ｕｓｉｎｇ ｍｕｌｔｉｐｌｅ ｌｉｇｈｔ ｓｏｕｒｃｅｓ． Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＲＪ １０１１７， ＩＢＭ ＵＳ Ｒｅｓｅａｒｃｈ Ｃｅｎｔｅｒｓ （Ｙｏｒｋｔｏｗｎ，Ｓａｎ Ｊｏｓｅ，Ａｌｍａｄｅｎ， ＵＳ）， Ｙｏｒｋｔｏｗｎ Ｈｅｉｇｈｔｓ， １９９８年 Ｙ． Ｅｂｉｓａｗａ． Ｉｍｐｒｏｖｅｄ ｖｉｄｅｏ−ｂａｓｅｄ ｅｙｅ−ｇａｚｅ ｄｅｔｅｃｔｉｏｎ ｍｅｔｈｏｄ． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ ａｎｄ Ｍｅａｓｕｒｅｍｅｎｔ，１９９８年８月，Ｖｏｌ．４７,Ｎｏ．４：ｐｐ.９４８−９５５ Ｂ． Ｗｉｎｎ， Ｄ． Ｗｈｉｔａｋｅｒ， Ｄ． Ｂ． Ｅｌｌｉｏｔｔ， Ｎ． Ｊ． Ｐｈｉｌｌｉｐｓ． Ｆａｃｔｏｒｓ ａｆｆｅｃｔｉｎｇ ｌｉｇｈｔ−ａｄａｐｔｅｄ ｐｕｐｉｌ ｓｉｚｅ ｉｎ ｎｏｒｍａｌ ｈｕｍａｎ ｓｕｂｊｅｃｔｓ． Ｉｎｖｅｓｔ Ｏｐｈｔｈａｌｍｏｌ Ｖｉｓ Ｓｃｉ．，１９９４年３月，Ｖｏｌ．３５,Ｎｏ．３：ｐｐ.１１３２−１１３７

視線追跡システムが用いることを可能にするための十分な細部を依然として含んだ、低分解能画像を提供することができる装置を提供することが以下での目的である。本開示の他の目的は、前記画像において所望の目の構成要素が検出可能であることを確実にするために必要な、最小限の数の照明源を有する装置を定義することである。

一態様において、定義された動作範囲内での視線追跡のための装置が提供される。装置は、複合照明源によって作り出された波長範囲内の放射を捕捉することができる少なくとも１つの光学系を含む。装置はまた、複合照明源を生成する照明源の少なくとも１つのセットを含み、照明源のうちの少なくとも１つは、それが装置の動作範囲の始まりにおいてユーザの明るい瞳孔応答を確実にするように光学系に対して位置決めされ、および複合照明源のサイズは、装置の動作範囲の終わりにおいて光学系によって識別されることができる、ユーザの目上のプルキニエ画像を生成するようなものである。装置はまた、少なくとも１つの複合照明源を活動化および非活動化するための照明コントローラと、少なくとも１つの光学系から発生された画像を送信するための信号処理コントローラとを含む。

次に添付の図面を参照して、実施形態が例としてのみ述べられる。

能動ＩＲ視線追跡において用いられる主な人の目の特徴を示す図である。 入射光ビームが人の目に当たるときに反射が起こるのに従った、４つのプルキニエ画像を示す図である。 開示される装置の実施形態を示す図である。 開示される装置の実施形態を示す図である。 開示される装置の実施形態を示す図である。 開示される装置の他の実施形態を示す図である。 開示される装置の他の実施形態を示す図である。 開示される装置の他の実施形態を示す図である。 明るい瞳孔必要条件を満足するような、装置とユーザの目との間の関係を示す図である。 輝きを分離するために必要な、照明源サイズおよび撮像センサ分解能に対する制約を示す図である。 輝きを分離するために必要な、照明源サイズおよび撮像センサ分解能に対する制約を示す図である。 開示されるシステムおよびその中の装置の実施形態を示す図である。 開示されるシステムおよびその中の装置の他の実施形態を示す図である。

軸上の明るい瞳孔視線追跡の実現可能性は、もたらされる軸上の明るい瞳孔システムおよびユーザ環境が以下のいくつかの判定基準を満たすことに依存する：
・最小実行可能センサ空間分解能、
・照明器サイズ／位置決め、および
・画像品質。

最小実行可能センサ空間分解能
視線追跡システムは、任意の所与の時点において、目の特定の画像特徴を正確に抽出し、それらを用いてユーザの視線の点を推定する能力に依存する。従って用いられるセンサは、全動作範囲全体にわたって所与のシーン内の上記画像特徴を識別できるように、最小限の分解能制約を満たすことが不可欠である。

図１Ａは目１００、およびそれのいくつかの基本的な構成要素を示す。具体的には角膜表面と強膜の間の境界を定義する角膜縁１０４によって境界付けられた虹彩内に、瞳孔１０２が視認可能である。照明源は、この領域｛１０４∪１０２｝内において、角膜上に正反射１０６を生成する。

視線を追跡するための我々の述べられる装置と共に任意の数の画像特徴が用いられ得るが、装置設計は、残りのフィーチャセットに対する画像品質および分解能を保証する、２つの基本的な画像特徴、瞳孔１０４および角膜輝き１０６に焦点を当てる。角膜輝きによって我々は、角膜の前面および後面上のシステムの照明源の反射、他において第１のプルキニエ画像および第２のプルキニエ画像（またはＰ１およびＰ２、図１Ｂを参照）として知られているものを指す。我々はこれらの画像特徴に焦点を当て、なぜならそれらは関心のある最も小さな画像特徴に対応すると想定されるからである。従って瞳孔および角膜輝きを識別できるシステムは、すべての他の画像特徴を分離することができるべきである。これは画像分解能および画像品質制約を通じて達成される。ここでは、画像分解能に焦点が当てられる。

照明源は、人の目の複数の表面上に反射を生成することが留意されるべきである。最も関心のある反射は図１Ｂに示される、プルキニエ画像と呼ばれるものである。プルキニエ画像１（Ｐ１）から画像４（Ｐ４）まで、これらはそれぞれ角膜の前面、角膜の後面、水晶体の前面、および水晶体の後面からの反射に対応する。高い精度をもたらし、他の画像特徴と比べて画像においてより容易に識別可能であるので、４つのプルキニエ画像の種々の組み合わせがほとんどの能動視線追跡システム（すなわち、シーンを照明するために外部照明に依存する受動システムとは対照的に、照明源が用いられる）によって用いられる。直観的に、光が目のこれらの複数の表面を通って伝搬するのに従って、その強度は減少する。従って最初の２つの反射Ｐ１およびＰ２は、通常最も視認可能であり抽出可能である。我々はこれら２つを合わせて呼び、なぜならそれらは通常、我々の定義された装置によって識別できないからである。角膜の前面および後面の屈折特性により、所与の光線の方向において、非常に最小限の偏移が生じる。さらに本システムの低い分解能のため、撮像された反射は通常、Ｐ１およびＰ２の併合から生成される混合の反射に対応する。

瞳孔に関して装置は、定義された動作範囲全体にわたってユーザの瞳孔を検出することができるべきである。これのためには瞳孔直径における変動性が考慮されなければならず、非特許文献５によれば瞳孔は、人口母集団の大多数に対して、直径が２〜８ｍｍの間で変化する。これは角膜を通して上記瞳孔を見ることによって引き起こされる縮小を考慮していない。このために、瞳孔は最も小さいもので直径が約１ｍｍになると想定され得る。次いで瞳孔は、瞳孔からなるピーク、およびバックグラウンドノイズからなる谷を有する１Ｄ正弦波信号としてモデル化され得る。次いで信号は波長が２ｍｍとなり得る。

最小において、関心のある信号は、装置の空間分解能範囲内で弁別可能でなければならず、すなわち信号は画素空間において識別可能でなければならない。ナイキスト−シャノンサンプリング定理によって我々は、サンプリング周波数が信号周波数の２倍より大きい場合にのみ、信号は特性化可能であることが分かる。従ってそれの動作範囲の終わりにおいて、我々の装置の空間分解能（ＳＲ）は最小において以下のようになる。

理論的には正確であるが空間分解能はやはり過度に低くなり得るので、この計算に＊の記号が付加される。信号が撮像システムによって弁別可能であることを確実にするための一般的な指標は、２つではなく少なくとも３つの画素を用いてそれを撮像することである。次いで瞳孔空間分解能制約は以下のように計算され得る。

角膜輝き判定基準に戻ると、これはまたデバイスの動作範囲全体にわたって識別可能でなければならない。ここで特に重要なことは、輝きがユーザの瞳孔のオクルージョンを過度に生じないことである。これを考慮するために、本装置の実施形態は、オクルージョンのもとで瞳孔画像特徴の正確な抽出が実行可能であるように、輝きが各次元に対する瞳孔信号のサイズの２５％を超えないように、照明源サイズを制限することができる。これは、輝き信号と比べて１６倍大きな面積を有する２Ｄ瞳孔信号を表すようになることに留意されたい。この比率は非常に大きいと考えられ得るが、これは正反射をより多く見えるようにし得る、オプティクスにおける未知のものを考慮に入れている。

サンプリング制約を考察するために、角膜輝き１０６は、輝き最大値からなるピーク、および瞳孔強度バックグラウンドからなる谷を有する１Ｄ正弦波信号としてモデル化され得る。照明源は円または正方形の寸法で近似されると仮定し、および角膜からの正反射に近い性質により、これは角膜輝きに対してガウス信号を仮定する。上述の空間分解能制約を繰り返して、我々は輝き信号空間分解能制約を以下のように定義することができる。

図５Ａ, Ｂは、照明源サイズ２０８に対するこれらの制約を示す。図５Ａは、輝きがセンサの単一の画素より小さいので、センサ分解能５００を有する光学系は、輝き１０６を正しく検出することができない状況を示す。図５Ｂは、輝きが上記の距離において画素サイズより著しく大きいので、センサ分解能５００を有する光学系は、輝き１０６を検出することができる状況を示す。

ここで輝きおよび瞳孔制約の間には基本的な差異があり、輝きは点光源反射であるので、我々の装置の光学系の点広がり関数（ＰＳＦ）によって引き起こされる無視できない追加の広がりを含む。さらにそれは反射であるので、過飽和に向かう傾向があり、シーン内の物体と比べて、バックグラウンドに対して、より大きなコントラストを生成するようになる。これらのために、述べられる装置の実施形態は、理論的空間分解能制約を考慮することができ、および画像内で依然として識別可能となるべきである。これは実験的に試験され、その通りであることが見出されている。すなわち信号を増加するようになるＰＳＦの程度を仮定して、理論的最小を用いることができる。別の言い方をすればＰＳＦは、「安全」のための追加の画素を加えるための、上述の「指標」として働くことができる。

角膜輝きのサイズは、照明器のサイズに正比例することが留意されるべきである（これは以下でさらに論じられる）。しかし上述のオクルージョン問題により、本装置の実施形態は、最小空間分解能を定数として固定することができる。我々の装置のこの実施形態に対する、制限する空間分解能制約は輝き信号であることが明らかであるので、我々はシステム空間分解能制約を以下のように示すことができる。

輝き信号空間分解能制約は、より高い輝き−瞳孔オクルージョンを代償として、緩和され得ることが理解されるべきである。述べられる装置の範囲は、この特定の記述によって限定されるべきではない。

照明器サイズ／位置決め
照明器サイズは、選択されたセンサ空間分解能と、明るい瞳孔応答のための位置決め必要条件との２つの判定基準によって制約される。ここで述べられる定義された装置により、システムが視線追跡可能になるためには、これらの制約の両方に合格することが必要になる。

図２Ａ〜Ｃは、述べられる装置２００のいくつかの実施形態を示す。これらのすべては、光学系２０２と、個々の照明源２０４からなる複合照明源との、少なくとも２つの構成要素を含む。複合照明源サイズは２０６によって定義され、これはそれの角膜反射が、動作範囲全体にわたって光学系によって撮像され得ることを確実にする。さらに各照明源と光学系との間の距離２０８は、動作範囲全体にわたって明るい瞳孔応答が存在することを確実にする。

図２Ａにおいて、本装置の非常に簡単な実施形態が述べられる。ここでは複合照明源は、２つの照明源２０４からなり、光学系２０２から、それからのそれらのそれぞれが距離２０８となるように対称的に位置決めされる。これは２０８の２倍の、サイズ２０６の実効的な照明源を生成する。センサに対して対称的に配置された２つの照明源のみを用いることは、明るい瞳孔応答が予想される領域と、輝きが検出され得る距離との間のトレードオフが常に存在することになるので、デバイスの動作範囲に制限を生じる。これらは以下でさらに説明される。

空間分解能制約
選択された最小限の空間分解能（動作範囲の終わりにおける空間分解能）に対して、照明器サイズは角膜輝きが視認可能であり抽出可能となるようでなければならない。前に論じられたように照明器のサイズは、それの角膜反射が、動作範囲の終わりにおいて１つの画素より大きくなることを可能にすることが必要になる。範囲の終わりの空間分解能ＳＲ_min、および動作範囲の終わりＤ_z,maxを所与として、最小照明器サイズは、それがユーザの角膜から生成する正反射を考慮することによって計算され得る。このために角膜は凸面鏡としてモデル化されることができ、正反射は上記鏡からの照明器の実際の画像のサイズと考えられ得る。従って凸面鏡特性を用いて以下となる。

ただしｆ_eyeは我々の目モデルの焦点距離、Ｄ_z,maxは動作範囲の距離最大距離（すなわち鏡からの物体距離）、およびｄ_imageは実際の画像の決定された距離である。我々の焦点距離の符号は重要であり、凸面鏡を扱っているので、ｆ_eyeは負になるべきであることに留意されたい。

最後に角膜輝きのサイズが得られる。

ｈ_{illuminator,sr}はメートル単位での照明器の１つの辺のサイズに対応し、λ_glint,mm ／２はＤ_z,maxにおける予想される輝きサイズとなる。照明器はおおよそ正方形であると仮定され、従ってｈ_{illuminator,sr}は、その軸の両方上の照明器のサイズの妥当な推定である。角膜輝きが検出され得る距離を増加する（および従ってＤ_z,maxを増加する）ために、照明器サイズは増加され得るが、これは輝きが瞳孔上で有することになるオクルージョン効果に影響を及ぼすようになることが留意されるべきである。

「軸上」位置決め制約
上述の空間分解能制約に加えて、照明器位置決めは、明るい瞳孔応答がそれ以下で取得可能となる最大照明器−センサ距離によって制限される。この応答は、照明源光が人の目を通って透過され、脈絡膜および網膜上皮から反射され、および照明源に戻るように透過されることから生じる。明るい瞳孔応答は、照明源が同軸またはほぼ同軸であり、高い割合の照明源光を光学系内に直接透過させるときにのみ顕著となる。照明器がセンサから遠く離れて配置されるのに従って、ユーザの明るい瞳孔応答は弱まる。これは主として図４に示されるように、照明源、目、および光学系の間の角度関係による。

図４は、複合照明源に対して必要とされるものは、光学系からの距離２０８であることを可視化している。明るい瞳孔応答が生じるためには、照明源２０４は光学系２０２に対しておおよそ同軸でなければならない。装置からの、目１００が存在し得るあらゆる距離４００に対して（定義された動作範囲内で）、目１００から照明源２０４および光学系２０２に対して生成される角度４０２は、最小限でなければならない。全人口母集団に対して明るい瞳孔応答を確実にするために必要な角度関係についての大規模な調査はなされていないが、一般的な指標は存在し、同様な発現である赤目効果を避けるための写真撮影上の助言において見出され得る。これに対しては一般に、赤目を得ることを避けるためには、所与の距離において少なくとも３度の角度距離を維持することが推奨される。多数の実験からこの推奨は、おそらく写真家は赤目効果を最大化しようとするのではなく、単に効果を取り除きたいだけであることにより、大き過ぎると思われる。試験を通じて、動作範囲内のすべてのユーザに対して明るい瞳孔応答を確実にするために、角度４０２は動作範囲全体にわたって０．５度未満とするべきであることが決定された。従って所望の動作範囲の始まりＤ_z,minを所与として、明るい瞳孔応答のためにセンサから照明源がとり得る最大距離ｈ_{illuminator,bp}は、以下のように定義され得る。

この発見的方法は明るい瞳孔応答を保証しないが、動作範囲全体にわたって明るい瞳孔応答が明らかとなる、ユーザを最大化しようとするために用いられることに留意されたい。これに影響を及ぼす複数のパラメータ（例えば瞳孔収縮率、外部照明）は、依然として特定のユーザおよびシナリオに対して明るい瞳孔応答を除去し得る。

画像品質
前に述べられたように本装置の実施形態に対して、光学系から抽出されることになる最小の必要なフィーチャは、直径０．５ｍｍの２Ｄ点光源反射である。この状況は、考慮に入れる必要がある２つの問題シナリオを提示する。
・信号を持続的に覆う実際のバックグラウンドは、信号がバックグラウンド内で失われるのに十分に高い。
・入力信号がセンサ上で、そのバックグラウンドと識別できなくなるのに十分なほどに、画素にわたって広がる。

これらによってもたらされる画像品質必要条件は、以下でさらに説明される。

バックグラウンド判定基準
通常ＭＴＦ（変調伝達関数）比は、範囲の上端でピークとなる標準の正弦波信号を想定して計算される。しかし重要なフィーチャはしばしば、より大きな瞳孔反射の信号によって取り囲まれる。従って我々の推定がこれを考慮に入れることを確実にするために、所望のコントラスト比を可能にするように、輝きのピークの周りで必要な実効的な比を計算することができる。サンプルの実施形態は、３：２のコントラスト比を考慮する。

信号の１次元カットオフのピークはインデックス１であり、我々の光学系によって引き起こされる主要な広がりはインデックス０および２において生じると仮定し、我々はインデックス１と２との間の関係に焦点を当てる。我々が望むのは、Ｉ₁とＩ₂との間のコントラストが３：２になることである。さらに我々は強度Ｉ₁が、瞳孔強度Ｉ_Pおよび輝き強度Ｉ_Gからなると予想することができる。最後に強度Ｉ₂は、瞳孔強度Ｉ_P、およびインデックス２に対する輝き強度Ｉ_Gの点広がり効果、ＰＳＦ（Ｄ₁）Ｉ_G（所望のＰＳＦ比に信号を乗算したもの）からなるようになる。従って我々は以下の式を得る。

従って以下を得る。

これは点光源を扱っているので、Ｉ_G≒Ｉ₁と想定することができる。従って述べられるサンプルの実施形態に対して、インデックス２に対するＰＳＦ効果は、０．６６であると計算することができる。すなわち我々のシステムの点広がり関数は、その隣接した画素に、最大で１：０．６６の強度比において広がることになる。

信号広がり判定基準
我々の信号が失われないことを確実にするために、振幅においてそれと等価な正弦波信号が、光学系から抽出され得ることが確実であるべきである。従って全範囲にわたる振幅、および信号のサイズの２倍と等価な波長の正弦波が、我々のシステムによって識別可能でなければならない。ここで我々は、先に述べられた実施形態の空間分解能制約、すなわち

を用いる。

次いで我々のシステムの周波数カットオフは、１ｌｐ／ｍｍ（ミリメートル当たりラインペア）である。従って以下を得る。

この値、およびサンプルのセンサの画素サイズ１．４μｍ²を用いて、最終的な必要条件値が計算される。前の必要条件は対角線として示されるので、画素の対角線サイズ

が用いられることに留意することが重要である。

前に詳しく述べられたように、１画素信号の隣接画素は、信号のピーク値の０．６６（３：２の比）より大きくなるべきではない。従って変調伝達関数（ＭＴＦ）は以下のように計算される。

装置設計
図２Ａに戻ると、我々の複合照明源を２つの光源に制限することは、装置が使用可能な画像を取得するようになる最小と最大距離との間のトレードオフを実施することが明らかである。前者は各照明源の光学系からの距離２０６によって引き起こされ、これは明るい瞳孔応答を確実にする。後者は複合照明源サイズ２０８（固定の分解能を仮定して）によって決定され、これはどこで最小限の空間分解能が満たされるかを定義する。

実際、固定のセンサ分解能を所与として、２つの光源を対称的に位置決めし、所望の動作範囲が満たされ得ることを保証することは不可能である。図２Ａの設計が生じる主な制限は柔軟性に対するものであり、モジュールは動作範囲を保証するために、ｈ_{illuminator,bp}によって定義される照明源距離２０６を用いて設計されなければならない。しかしそうすることは、他の構成によって必要となるであろうものと比べて、著しく大きな必要センサ分解能、または著しく小さなレンズ視野（ＦＯＶ）を意味する。

さらに明確にするために、我々は述べられる装置を設計するためのサンプルの手順を述べる。

１．システムが機能するための所望の動作範囲［Ｄ_z,min，Ｄ_z,max］、および最小限の必要な空間分解能ＳＲ_minを定義する。

２．装置設計に従って、動作範囲を満たすための照明源の位置決めを定義する。

３．最小空間分解能制約ＳＲ_minが満たされるまたはそれを超えることを確実にする、センサとレンズの組み合わせを定義する。

本明細書で述べられる設計は、主としてステップ２を考察することが明らかであろう。図２Ａの設計は、２と３の間に追加のステップを生じ、我々は定義された照明源位置決めを考慮するように、空間分解能制約を更新しなければならない。これは、動作範囲の終わりにおける輝きサイズλ_glint,mmは、それがより小さな複合光源から生成されるので、ずっと小さくなる可能性が高いからである。従ってＳＲ_minは、より小さな予想される輝き信号に従って、再定義されなければならない。

サンプルの手順におけるステップ３はさらに制約され得ることに留意することが有用である。例として、動作範囲全体にわたって所望の最小ヘッドボックスが存在し得る。このような状況においてセンサ分解能は、ＳＲ_minを満たすまたはそれを超えるように著しく増加されることを必要とすることになる。

図２Ｂにおいて複合照明源は、やはり光学系２０２から対称的に位置決めされた、４つの照明源２０４からなる。しかしこの実施形態では、光学系の近くの２つ、およびさらに離れた２つの対称的に位置決めされた光源が存在する。これらはそれぞれ内側および外側光源ペアを定義する。内側光源ペアは、それらの距離２０８によって、動作範囲全体にわたって強い明るい瞳孔応答を確実にし、一方、外側光源ペアは、同じ範囲全体にわたって輝きが検出され得ることを確実にする。この実施形態を用いて、両方の考慮すべき事項が最大化される。正確な位置決めは、内側光源ペアに対してｈ_{illuminator,bp}、外側光源ペアに対してｈ_{illuminator,sr}によって見出され得る。残念ながらこれは、特定の装置のために必要な照明源の数を２倍にし、これは製造コストにより非現実的となり得る。

図２Ｃでは４つの照明源が、光学系から非対称的に位置決めされた２つの照明源２０４によってシミュレートされる。従ってこれらの１つは、動作範囲全体にわたって明るい瞳孔応答を生成するように、光学系２０２から距離２０８に位置決めされる。他の１つは、複合照明源がサイズ２０６となるように位置決めされる。正確な位置決めは図２Ｂのものと同様なやり方で見出されることができ、内側光源はｈ_{illuminator,bp}によって設定され、２つの光源の間の距離はｈ_{illuminator,sr}によって設定される。これは、装置の動作範囲全体にわたって、明るい瞳孔応答および検出可能な輝きを保証するために必要な照明源の数を最小にする。

図３Ａ〜Ｃは、いくつかの代替的装置実装形態を説明している。図３Ａにおいて光学系２０２は、視線追跡以外の目的のために追加の波長を検出することができる、光学系３０２によって置き換えられる。従って例えば照明源に関連付けられた波長範囲のみを検出するのとは対照的に、システムはまた可視スペクトルデータを検出する。これは視線追跡装置が、視線追跡システムとしておよび標準のウェブカメラとしての両方で機能することを可能にする。図３Ｂでは、図２Ｃで述べられたシステムが、可視スペクトル情報を検出することができる光学系３１２に拡張される。従ってそれは、別々の光学系を用いて、図３Ａの装置と同じ目的を果たす。図３Ｃでは複合照明源は、単一の大きな照明源３０４によって定義される。従って単一の照明源はサイズ２０６であり、光学系２０２から距離２０８に位置決めされる。照明源３０４は、例えば高出力、大型ＬＥＤ、またはレーザプロジェクタからなることができる。

図６は、装置ロジック６００を示す。ここで光学系コントローラ６０２は、画像収集を要求し、収集が完了した後にセンサ結果を受け取る。それはさらにシャッタ速度、アナログ信号利得、およびフレームレートなどの光学系パラメータを制御する。信号処理コントローラ６０４は、画像を受け取り、画像が視線推定システム６０８に送出される前に、それに対して必要不可欠な処理を行う。照明源コントローラ６０６は、画像収集のために必要なときに照明源が電源オンされることを確実にする。それの実施形態は、正しい光量がユーザに送られることを確実にするように、実効的な照明源出力電力を制御することができる。この構成要素は、任意選択で光学系コントローラおよび／または視線推定システムに接続される。前者の場合、それは電力消費を最小にするために、画像収集と照明源との間の同期を確実にすることができる。さらにそれは、光学系パラメータを通じてユーザ上の実効的な照明をシミュレートすることができる。これはシステムが、有用な画像を確実にしながら、照明源をできるだけ低く維持することを可能にする。後者の場合、照明源コントローラは、視線推定システム自体から照明変更要求を受け取ることができる。これは視線推定システムが「理想的」画像として定義するものに、画像が常に補正されることを可能にするようになる。

装置の代替的実施形態はさらに、画像差分化を通じた周囲照明減算のために、光学系コントローラ６０２と共に、照明源コントローラ６０６を用いる。この場合装置は、照明源が連続してオンおよびオフを交互に行って、画像を捕捉する。そうすることで「オン」画像は、周囲照明と、述べられる照明源からの照明とを含み、「オフ」画像は、シーンにおける周囲照明のみを含む。次いで画像の各ペアに対して「オン」画像は、「オフ」画像を用いて差分化された状態にあり、それから周囲照明を最小にする画像を生成する。この追加は、周囲照明が捕捉された画像に及ぼす効果を最小にするために用いられることができ、装置がより極端な周囲照明において機能することを可能にする。このような実施形態は、交互の照明源を、画像収集と同期するための制御ロジックを必要とすることが明らかであろう。差分化ロジックは、信号処理コントローラ６０４、視線推定システム６０８、または述べられる装置と視線推定システムとの間の別個のエンティティによって行われ得ることが理解されるべきである。

図７において装置ロジックの他の実施形態が見られる。この場合視線推定システム６０８は、装置ロジック６００内にある。デバイスは、視線情報をオペレーティングシステムまたはアプリケーション７００に直接出力し、すべての計算は装置内でなされる。

図を簡単および明瞭にするために、適切と考えられる場合、参照番号は対応するまたは類似の要素を示すように図の間で繰り返され得る。さらに、本明細書で述べられる例の十分な理解をもたらすために、多数の特定の詳細が記述されている。しかし当業者には本明細書で述べられる例は、これらの特定の詳細がなくても実施され得ることが理解されるであろう。他の場合において、よく知られた方法、手順、および構成要素は、本明細書で述べられる例を不明瞭にしないように、詳しく述べられていない。また説明は、本明細書で述べられる例の範囲を限定するものと考えられるべきではない。

本明細書で用いられる例および対応する図は、説明のためのみであることが理解されるであろう。本明細書で表される原理から逸脱せずに、異なる構成および専門用語が用いられ得る。例えば構成要素およびモジュールは、これらの原理から逸脱せずに追加され、削除され、変更され、または異なる接続を用いて構成され得る。

また、命令を実行する本明細書で例示される任意のモジュールまたは構成要素は、記憶媒体、コンピュータ記憶媒体、または例えば磁気ディスク、光ディスク、またはテープなどのデータ記憶装置（リムーバブルおよび／または非リムーバブル）などのコンピュータ可読媒体を含むまたは他のやり方でそれらへのアクセスを有し得ることが理解されるであろう。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラムモジュール、または他のデータなどの、情報を記憶するための任意の方法または技術において実現された揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含み得る。コンピュータ記憶媒体の例は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、または他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光記憶装置、磁気カセット、磁気テープ、磁気ティスク記憶装置もしくは他の磁気記憶装置、または所望の情報を記憶するために用いられ得る、およびアプリケーション、モジュール、もしくは両方によってアクセスされ得る任意の他の媒体を含む。任意のこのようなコンピュータ記憶媒体は、本明細書で述べられるシステムおよび／またはデバイスの一部、それらのもしくはそれらに関係する、またはそれらにアクセス可能もしくは接続可能な、任意の構成要素とすることができる。本明細書で述べられる任意のアプリケーションまたはモジュールは、このようなコンピュータ可読媒体によって記憶されまたは他のやり方で保持され得る、コンピュータ可読／実行可能命令を用いて実施され得る。

本明細書で述べられるフローチャートおよび図におけるステップまたは動作は、単に例のためである。上記で論じられた原理から逸脱せずに、これらのステップまたは動作に対する多くの変形があり得る。例えばステップは異なる順序で行われることができ、またはステップは追加、削除、または変更され得る。

上記の原理はいくつかの特定の例を参照して述べられたが、それらの様々な変更は、添付の特許請求の範囲に概要が示されるように、当業者には明らかになるであろう。

Claims (13)

1. 定義された動作範囲内での視線追跡のための装置であって、
   ａ．複合照明源によって作り出された波長範囲内の放射を捕捉することができる少なくとも１つの光学系と、
   ｂ．前記複合照明源を生成する照明源の少なくとも１つのセットであって、
   ｉ）前記照明源のうちの少なくとも１つは、前記照明源のうちの前記少なくとも１つが前記装置の動作範囲の始まりにおいてユーザの明るい瞳孔応答を引き起こすように前記光学系に対して位置決めされ、および
   ｉｉ）前記複合照明源のサイズは、前記装置の動作範囲の終わりにおいて前記光学系によって識別されることができる、ユーザの目上のプルキニエ画像を生成するようなものである、照明源の少なくとも１つのセットと、
   ｃ．前記少なくとも１つの複合照明源を活動化および非活動化するための照明コントローラと、
   ｄ．前記少なくとも１つの光学系から発生された画像を送信するための信号処理コントローラと
   を備える装置。
2. 前記動作範囲の始まりは、ユーザが前記照明源による明るい瞳孔応答を示すようになる前記範囲によって定義される請求項１に記載の装置。
3. 前記動作範囲の終わりは、定義された視線追跡方法のために必要な空間分解能を得ることができる前記光学系における前記範囲によって定義される請求項１に記載の装置。
4. 前記複合照明源は、発光ダイオード（ＬＥＤ）、レーザ、およびレーザプロジェクタのいずれかを備える請求項１に記載の装置。
5. 前記少なくとも１つの光学系は、ＲＧＢ−ＩＲセンサを含む請求項１に記載の装置。
6. 前記少なくとも１つの光学系は、単色センサを含む請求項１に記載の装置。
7. 前記単色センサは、前記複合照明源の前記波長範囲内の放射のみを受け入れる請求項５に記載の装置。
8. 前記複合照明源は、前記光学系から非対称的に配置された２つの照明源を備え、前記サイズおよび位置決め制約は維持される請求項１に記載の装置。
9. 前記複合照明源は４つの照明源を備え、
   ａ．前記照明源の２つは、それらが前記装置動作範囲の始まりにおいてユーザの明るい瞳孔応答を生成するように、光軸から対称的に位置決めされ、
   ｂ．前記照明源の２つは、前記装置動作範囲の終わりにおいて前記光学系によって識別されることができる、ユーザの目上のプルキニエ画像を生成するように、それらの間の距離を有して、前記光軸から対称的に位置決めされる
   請求項１に記載の装置。
10. 前記照明コントローラは、前記構成する照明源の放出されるパワーを定義する入力をさらに受け取る請求項１に記載の装置。
11. 前記信号処理コントローラは、変更されることになる画像品質パラメータを定義する入力をさらに受け取り、前記画像パラメータを制御する請求項１に記載の装置。
12. 視線推定方法を行うための処理ユニットをさらに備える請求項１に記載の装置。
13. 請求項１に記載の装置によって提供される画像データであって、ユーザの目の少なくとも１つを備え、
    ａ．前記目は、
    ｉ．明るい瞳孔応答、もしくは
    ｉｉ．角膜輝き、または
    ｉｉｉ．明るい瞳孔応答および角膜輝きを備え、
    ｂ．前記データは、
    ｉ．オンライン、オフライン、オンサイト、もしくはオフサイトでの視線追跡目的、または
    ｉｉ．前記明るい瞳孔応答、前記輝き、もしくは両方を直接または間接に利用する任意の他のアプリケーションのために用いられる
    画像データ。

Images