JP2013528406A - 観察者の視線を追跡するシステム及び方法 - Google Patents

Abstract

対象物を観察する観察者の注視点を追跡するシステムは、前記観察者の目の像を記録するカメラ、発光マーカーを供する手段、及び、前記目の像を解析して、前記目での前記マーカーの反射と、瞳の中心を決定する手段を有する。前記マーカーの角膜反射と前記瞳の中心の相対位置が測定される。前記マーカーは、前記の決定された相対位置に依存して再度位置設定されることで、前記マーカーの角膜反射と前記瞳の中心との間での対応が改善される。

Description

本発明は、対象物を観察する観察者の視線を追跡するシステムに関する。当該システムは、前記観察者の目の像を記録する装置、前記の観察された対象物上に又は該対象物に係る発光マーカーを供する手段、及び、前記像から、前記マーカーの角膜反射と、瞳の中心を決定する手段を有する。

本発明はさらに、対象物を観察する観察者の注視点を追跡する方法に関する。当該方法は、前記観察者の目の像を記録する手順、前記の観察された対象物上に又は該対象物に係る発光マーカーを供する手順、及び、前記像から、前記マーカーの角膜反射と、瞳の中心を決定する手順を有する。

上述の型のシステム及び方法は特許文献1から既知である。

特許文献1では、多数のマーカーが供され、かつ、角膜反射が瞳の中心の閾値となる距離の範囲内で起こるマーカーのうちの少なくとも1つ、又は、瞳の中心近くで角膜反射を有する少なくとも2つのマーカーが特定される。特定された（複数の）マーカーは、対象物での観察者の注視点を示す。

視野角（又は視線とも呼ばれる）の連続測定は、一般に「視線追跡」（gaze tracking）と呼ばれている（通常はより曖昧な「眼球運動追跡」(eye tracking)という語が用いられている）。視線追跡を実行する様々な方法が存在する。ビデオ取り込みは、遠方からそっと視線追跡するための有力な選択肢であることを示してきた。しかし事実上すべての視線追跡システムは、ユーザーに固有な校正を必要とする。その校正後、ユーザーには、ほんのわずかしか頭を動かすことしか許されていない。その結果、これらのシステムは、デスクトップでの利用に限定され、消費者向けの用途には適さない。消費者向けの用途では、ユーザー固有の校正は現実的な選択肢ではない。校正を必要としない視線追跡は、複数の研究機関によって、通常は既存の概念（より多くのカメラ、より多くの処理）に基づいて外挿することによって、広く追求されている。観察者はヒト−成人又は子供−であってよいが、動物であってもよい。

特許文献1は、問題を解決し、かつ校正を必要としないシステム及び方法を供することを試みている。目が光源を凝視している状況では、その角膜での反射は、瞳の中心と一致する。特許文献1のシステム及び方法は、対象物上に多数のマーカーを供する。目の記録された像では、瞳の中心の閾値となる距離の範囲内に角膜反射を有するマーカー、又は、瞳の中心近くで角膜反射を有する多数のマーカーが特定される。これらは、視線の方向を推定するのに用いられる。

しかし既知のシステムは多数の短所を有する。
− 各マーカーはラベル付けされなければならない。この条件のため、マーカーの識別がなされる前に、多数のビデオフレームを解析することが必要となる。これにより、視線追跡における遅延が生じてしまう。眼球の運動性が与えられると、遅延はすぐにモーションアーティファクトを生じさせてしまう。
− 1つのマーカーが用いられる場合、確かめられた視線方向の精度において閾値距離と同程度の不確かさが常に存在する。
− 2つ以上のマーカーが用いられる場合、補間が必要になる。このため、計算能力が必要となり、かつ不確かさが生じてしまう。

米国特許出願公開第2006/0110008号明細書

本発明の目的は、視線追跡の速度及び/又は精度が改善されるシステム並びに方法を供することである。

上記目的のため、当該システムは、マーカーの角膜反射と瞳の中心の相対位置を決定する手段、及び、前記の決定された相対位置に依存して前記マーカーの位置を再設定する手段を有するシステムである。

当該方法は、前記マーカーの角膜反射と瞳の中心の相対位置が決定され、かつ、前記マーカーの位置が、前記の決定された相対位置に依存して再設定される方法である。

本発明のシステム及び方法では、前記マーカーは静的なマーカーではなく、前記マーカーの角膜反射と瞳の中心の相対位置の測定のフィードバックに基づいて再度位置設定されるので、遅延は緩和される。前記マーカーの位置は再設定される。つまり観察される対象物上の前記マーカー、すなわちその対象物に係る前記マーカーの位置は、前記マーカーの角膜反射と前記瞳の中心との対応を改善する−好適には前記マーカーの角膜反射と前記瞳の中心とを略一致させる−ように変化する。前記マーカーの角膜反射と前記瞳の中心とが一致するとき、前記観察される対象物上の前記マーカー、すなわちその対象物に係る前記マーカーの位置は、視線の方向を高精度で示すので、視線の方向を正確に決定することができる。

観察者は、ヒトであってよく、多くの場合においてヒトである。しかし前記観察者は、ヒトではない観察者−たとえば犬や霊長類のような動物の視線を研究するような動物研究においては動物−であってもよい。

当該システム及び方法は、従来技術に対して以下のような利点を供する。
− 当該システム及び方法は、多くの従来の解決法とは対照的に、ユーザーに依存する校正を必要としない。
− 当該システム及び方法は、頭の位置の向きとはほとんど独立な眼球の光学特性に基づき、かつ、異なる個人間で事実上不変である。
− 当該システム及び方法は、既存の視線追跡システムよりもはるかに大きな頭部運動の自由度を可能にする。これは、消費者向けに視線追跡を利用することを可能にする重要なステップである。
− 特許文献1のシステム及び方法に関して、各独立したマーカー又は複数のマーカーからなる群を固有の識別子でラベル付けする必要がない。既知のシステムは、時間的な光変調を利用して、コード長に比例する遅延（フレーム数で表される）を導入する様々な識別子を符号化する。本発明のシステム及び方法はかなり速く応答する。フィードバックシステムは、より速い−通常は1フレームの遅延の範囲内−収束を示した。特許文献1のシステム及び方法と比較して、前記マーカーの角膜反射と前記瞳の中心との対応はかなりかいぜんされうる。それにより不正確が減少する。前記マーカーの角膜反射と前記瞳の中心とを一致させることによって、特許文献1における閾値に起因する不正確さは緩和すなわち抑制される。

本発明によるシステム及び方法は、記録された像中の角膜反射と瞳の中心の決定された相対位置に応じて前記マーカーの位置を再設定する手段を用いる。前記マーカーの適応させるように再度位置設定するには、既知のシステム及び方法よりもある程度複雑な方法及びシステムが必要となるとはいえ、利点は重要である。

本発明の実施例では、当該システムは表示装置を有し、かつ、前記マーカーの位置は前記表示装置に関連付けられる。

前記マーカーの位置を表示装置（たとえばTV又はモニタ）に関連付ける方法は複数存在する。一の方法は、前記表示装置の表示スクリーン上又は該表示スクリーン前方に設けられた透明スクリーン上でマーカーを輝かせることである。あるいはその代わりに、好適実施例では、マーカーを供する手段と前記表示装置が、一の装置に一体化される。

本発明の実施例では、前記表示装置自体は、該表示装置の表示スクリーン上の像中にマーカーを供する手段を有する。

これはたとえば、表示された可視像中のマーカーを隠すことによって実現されてよい。時間的識別、空間的識別、若しくは時空間的識別、及び/又はスペクトル的識別を前記マーカーへ供することで、前記識別に対して調節されたカメラは前記マーカーを検出できるが、前記観察者は検出できない。その結果隠すこと−これは前記マーカーが観察者にとって識別不可能であることを意味する−が実現されうる。

知覚されないマーカーは、ヒトの範囲外の光スペクトル部分でマーカーを用いることによって供されうる。続いて前記マーカーはヒトの目に対して視認不可能となる。赤外(IR)マーカー及び紫外(UV)マーカーはそのようなマーカーの例である。

可視範囲のマーカーでさえも、観察者によって見ることができなければ、検出不可能となりうる。たとえばマーカーは、連続する像を生成することによって供されてよい。前記マーカーはヒト又は動物の目に対しては隠されるが、前記マーカーに対して調節されたカメラに対しては識別可能である。そのような実施例では、前記カメラは時間的識別を有する。

本発明の実施例では、前記マーカーはヒトの目に対して検出可能である。

本発明の実施例では、視線方向に関する直接視認可能な情報をヒトの観察者又は第三者に与えることは有利となりうる。

しかし多くの場合では、振動する挙動を回避するため、前記マーカーは、前記観察者に対して知覚不可能であることが好ましい。前記マーカーが知覚可能である場合、前記観察者の目は前記マーカーを追跡しようとする恐れがある。観察者の視線は前記マーカーへ向けられる恐れがあるので、前記観察者の目は前記マーカーを追跡しようとすることを回避することは困難である。動いているマーカーが当該システムのフィードバックによって眼球の動きに追随し、かつ、前記観察者が前記眼球の運動を知らずに前記眼球は前記マーカーを追跡するので、振動する挙動が起こりうる。しかし必要な場合には、そのような振動する挙動は、測定された注視点(POG)と視認可能な状態で表示されたPOG（典型的にはマウスカーソル）との間に間接的な結合を導入することによって抑制されうる。そのような間接的な結合は、制御工学分野において既知の様々な方法によって実現されて良い。線形の解法の例は、制御ループにおける比例積分微分(PID)要素を用いることである。非線形解法の例は、測定されたPOGと表示されたPOGとの間でのヒステリシスを生成するようにデッドゾーンを用いることである。

前記マーカーを供する手段と前記表示装置は、上述したように一の装置に一体化されてよい。前記マーカーを供する手段と前記表示装置を一の装置に一体化することは、可視情報と前記マーカーとの一致が正確にわかるという利点を有する。

好適例は、IRバックライト及び可視光のバックライトを有する液晶ディスプレイ(LCD)を有するシステムである。よって前記LCD装置は、前記表示スクリーン上の不可視IRマーカーだけではなく可視像をも供することができる。他の例は、多原色表示装置を有するシステムである。係る装置もまた、前記表示スクリーン上に表示された像中にマーカーを供することができる。

本発明の実施例では、前記表示装置は像投影装置である。

あるいはその代わりに、前記マーカーを供する手段と前記表示装置は別離しても良い。前記マーカーを供する手段はたとえば、前記表示装置の像スクリーン前方に設けられた透明シールドによって構成されて良い。前記シールド内部でマーカーが生成されるか、あるいは、前記シールド上にマーカーが投影装置によって投影される。透明シールドが表示スクリーン前方で用いられる好適実施例では、前記透明シールドには、前記表示装置の表示スクリーンに対する前記シールドの位置を決定する手段が供される。

前記マーカーはまた、表示スクリーン上に直接投影されても良い。別個の装置を用いることは、標準的な表示装置が、多くのさらなる調節を行うことなく当該システム内部で利用可能となるという利点を有する。

他の実施例では、当該システムは、前記マーカーを供し、前記マーカーの位置を設定し、かつ、情景上に直接又は情景前方の透明板内で前記マーカーの位置を再設定する手段を有する。係る実施例では、当該システムは表示装置を有していない。係るシステムはたとえば、乗用車又はトラックを運転する人間の焦点の注目位置を監視するのに有用である。たとえば好適実施例では、前記透明板は車両の前方ガラスで、かつ、前方ガラスの内側に不可視のIRマーカーが生成されることで、外側である道路の先へ向かう妨害されない視野が維持される。運転手の視線が追跡される。その追跡が、前記運転手が眠ってしまう又は注意力が失われる危険性にあることを示す場合、前記運転手を警告する警告信号が与えられる。

情景上にマーカーを投影することはたとえば有利となるように、店の窓を介して表示されている商品へ向けられる観察者の視線を追跡するのに用いられて良い。

本発明の実施例では、当該システムは、2つ以上のマーカーを供する手段、及び、前記マーカーと観察者の眼球とを結合させる手段を有する。当該システムのこの実施例の利点は、同時に追跡される観察者の数が増大することでしか遅延が増大しないことである。

鏡面光反射の効果を表している。 眼球が動くときの固定された光源の定常反射を表している。 基本的な視線追跡の構成を表している。 従来の視線追跡システムの典型的な映像を表している。 観察者がマーカーを見るときのマーカーの反射と瞳の中心とが一致する様子を表している。 特許文献1の方法と本願発明に係る方法との差異を表している。 本発明のシステムを表す。 フィードバックに基づくマーカーの運動の基本原理を表している。 瞳の中心を発見する方法を表している。 本発明によるシステムの例を表している。 可視光領域101及び近赤外領域102において広く用いられるLC材料の透過Tの相対強度を波長の関数として表している。 ディスプレイの前方に設けられ、かつ周辺の区分化されたIR照明により照射される導光拡散板の利用に基づく他の実施例を表している。 ウエッジディスプレイ(Wedge display)を有するシステムを表している。 どのようにパターンのマーカー−この例では十字−が眼球内での反射として視認可能であるのかを表している。 マーカーとしての疑無作為IR光パターンを表している。 真の関係の1次（線形）近似として機能する2つの比例定数を推定する手段としての、2つの別個に取得されるIR標的の使用及びそれらIR標的の角膜上での外見を表している。 複数の観察者が存在する方法及びシステムを表している。 投影装置が情景上にIR標的を投影する実施例を表している。 ディスプレイ192の前方での透明OLED板191の使用を概略的に表している。

図1は鏡面光反射の効果を表している。眼球の縁1は眼球2を取り囲んでいる。虹彩4は瞳3を有する。光源の角膜反射は5によって概略的に表されている。

図2は、角膜反射すなわち「輝き(glint)」が固定された光源から生じ、角膜反射は眼球が回転しても略一定の位置を維持する傾向にあるので、視線方向が変化することを表している。固定された光源の反射は、眼球が視線方向を変化させるように回転するときに一定の位置を維持しようとする。’X’の印は、人間が視線方向を変化させる際の移動する瞳の中心を示している。

この相対的に安定した「回転不変な」輝き位置は、映像及びたとえばIR光源を用いる事実上すべての市販された視線追跡システムの基礎を構成する。図3に示された図は、如何にして輝きの投影及び瞳の中心が、係る光線を作図することによって発見されうるのかを表している。Camはカメラを表し、lは光源を表し、cは角膜の中心を表し、pは瞳の中心を表し、rは瞳の中心の屈折を表し、qは光源の反射を表し、Fはカメラの焦点距離を表し、vはカメラ内での瞳の中心の像を表し、uはカメラcam内での光源lの角膜反射の像を表す。

推定された視線方向−ここでは光軸oによって表される−は、1つ以上の輝きの位置に対して取得された瞳の中心の評価に基づく。瞳は基本的に均一な円盤なので、瞳の円盤の−略楕円の−投影から瞳の中心を復元するのにはいくつかの画像処理が必要となる。屈折は、空気と目の中の水の領域との間の界面で起こることに留意して欲しい。図4では、通常のカメラによって観察される目のビデオフレームが示されている。瞳Pでの4つの輝きA,B,C,Dは、ディスプレイの隅の4つのIR LED A’,B’,C’,D’の反射である。モニタMでの推定された視線方向gは図4に示されている。

この方法によって回復可能な視線方向gの精度は比較的高い。しかしこの方法はよく知られた欠点を有する。
− 各輝きの位置に対する瞳の中心の位置を、視線方向又はディスプレイスクリーン上での注視点に変換するのに校正が必要となる。
− 注視点とこの瞳の相対位置との間の関係が静止した光源を仮定しているので、追跡体は頭の位置の変化に対して非常に敏感になる。
− 新しい各個人に対して、生理学上の小さな差異（角膜表面の曲率、光軸に沿った瞳の変異）を処理するのに校正が必要となる。

瞳の中心の投影と光の反射との関係は、注目すべき特性を保持している。目が光源を凝視している状況では、角膜での反射は瞳の中心と一致する。この状況は図5で表されている。この輝きと瞳の中心とが「一致する」ことは自明な状況ではないことに留意して欲しい。目の屈折率の値と角膜表面後方の瞳の変位の大きさが、このような幸運な光学現象を偶然引き起こす。

これは特許文献1のシステム及び方法でもある程度用いられている。既知のシステムは、相対的に多数のマーカーを用いて、瞳の中心の閾値距離の範囲内に存在するマーカーを見つける。

しかし既知のシステム及び方法は多数の課題を有している。

既知のシステムは、時間的な光変調を用いて、コード長に比例する遅延（フレーム数で表される）を導入する様々な識別子を符号化する。

精度は閾値距離によって決定される。いずれか1つは、高精度のために閾値距離を小さくする。このことは、多数のマーカーつまりは大きな遅延を必要とする。あるいは遅延を緩和するために相対的に大きな閾値距離を受け入れる。しかし視線方向を決定する精度は妥協したものとなる。

図6は、特許文献1のシステム及び方法と、本願発明のシステム及び方法との間の差異を表している。左側の計画は、既知のシステム及び方法を表している。右側の計画は、本発明によるシステム及び方法を表している。

既知のシステム及び方法では、マーカーは注視領域を覆う一定のパターンを構成する。図6の左側で概略的に表されている既知のシステムでは、時間的変調−たとえば時間的2値符号化−が、各独立したIRマーカー又はマーカー群をラベル付けするのに用いられている。このことは、n個の異なるIRマーカー又はマーカー群を2値符号化するため、少なくともm=log₂nのコード長が必要であることを意味する。従って、すべての符号化されたIRマーカー又はマーカー群を特定するのにmのビデオフレームが必要となる。

これには複数の欠点が存在する。
− たとえば16×16の固有にラベル付けされたIRマーカーにわたる注視点の追跡は、256の異なる符号化されたラベルの識別を必要とする。そのため相対的に粗く注視点を推定するのに既に8フレームの遅延が必要となる。注視点が微細になればなるほど、より多くのマーカーを使用しなければならず、かつより遅延が大きくなる。
− 眼球の運動性が与えられると、遅延はすぐにモーションアーティファクトを引き起こす。
− 眼球を案内するカーソル制御へ適用される際には、注視点追跡体の応答は遅延を最小にした状態で瞬時に行われなければならない。

図6の右側に概略的に示されている本発明のシステム及び方法は、（複数の）光源の位置が固定されておらず動的に調節可能な点で既知のシステム及び方法とは異なる。「輝きと瞳の一致」を実現するため、移動可能なマーカーが用いられる。それにより動的に移動可能なマーカーの反射は、制御機構によって瞳の中心に保持される。瞳の中心とマーカーの反射の相対位置が検出される。瞳の中心とマーカーの角膜反射の相対位置から、マーカーの新しい位置が計算される。新しい位置は、マーカーの角膜反射が瞳の中心と一致するように計算される。これは、位置の再設定信号Sによって図6において概略的に示されている。位置の再設定信号Sを用いることによって、マーカーの位置は再設定される。「位置の再設定信号」は、マーカーの位置の再設定を可能にする任意の形態のデータであってよいことに留意して欲しい。位置の再設定の結果は、視線方向は常に線に沿っているか、又はマーカーの一瞬の位置に少なくとも非常に近くなる。マーカーの位置は、その反射が瞳の中心と一致するように連続的に移動するため、マーカーの物理的な位置は、注視点と一致するように更新される。フィードバックループが適切に閉じられているとき、システムは注視点の座標を連続的に与える。この注視点の座標は、マーカーの座標と同一又は少なくとも非常に近い。

図7は本発明によるシステムを表している。当該システムは、観察者の視野内に移動可能な発光マーカー74を供する手段73を有する。この光源はマーカーとして機能する。観察者の視野の範囲内でのマーカーの位置は動的に調節可能であって良い。このため、当該システムは、マーカーの位置を適合させる手段(75)を有する。本発明の基本構想の範囲内で、光源は、目によって反射されうる光線を生成する任意の手段である。像データは画像解析器(76)において解析される。画像解析器は、光源の角膜反射(u)と瞳の中心(v)との差異u-v−つまり瞳の中心とマーカーの角膜反射の相対距離についてのデータ−を明確にする。解析器は、マーカーの位置を再設定するためのデータを直接計算するか、あるいは、マーカーの反射と瞳の中心の相対位置についてのデータを供する。そして他の解析器は、相対位置についてのデータに基づいて、マーカーの位置を再設定するためのデータを供する。このデータ（又はこのデータから得られるデータ）は、位置を再設定する信号−つまり−当該システムの系統のさらに下方で−マーカーの位置を再設定するのに用いられる信号−の形態であってよい。信号は、マーカーの位置を適合させる手段に送られることで、角膜反射と瞳の中心との距離が減少する。解析手段と適合手段は制御ユニットC内で結合されて良い。マーカー74が生じさせるシフトΔ−つまり再度の位置設定−は、記録された像中の差異u-vの関数である。マーカーの位置の再設定後に生成された像は再度解析される。マーカーの位置を適合させる処理は、必要であれば、マーカーの角膜反射が妥当な精度の範囲内で瞳の中心と一致するまで繰り返されて良い。この例では、単一のマーカー74が図示されている。本発明の基本構想の範囲内で、2つ以上の移動可能なマーカーが、複数の観察者の注視点を同時に追跡するのに用いられて良い。角膜反射は、観察者のレンズの外側表面での反射である。観察者がコンタクトレンズを装着している場合、コンタクトレンズの外側表面が、観察者のレンズの外側表面を構成するものと考えられる。

本発明は、フィードバック制御システムによってマーカーの位置と注視点との接続を確立することが有利であるという知見に基づいている。制御システムは、角膜でのマーカーの反射が瞳の中心と（略）一致するまでマーカーの位置を調節する。角膜反射の位置と瞳の中心との差異は、マーカーの位置を再設定するのに用いられるフィードバック信号を構成するか、又はその基礎となる。

本発明によるシステムの遅延は、既知のシステムの遅延よりもはるかに小さいことがわかった。また一定の閾値が存在しないためにより正確である。固定されたマーカーの位置の代わりに、マーカーの位置は、マーカーの角膜反射の位置と瞳の中心の相対位置の測定から得られるフィードバック信号に依存して調節される。

本発明のシステム及び方法では、マーカーが瞳の中心と一致するように移動することが可能となるので、遅延は減少する。フィードバックに基づくマーカーの移動の基本原理が図8に表されている。図8は、一連の事象の間での目とIR「ディスプレイ」を表している。ディスプレイのパターンは、反射されたパターンが反映されていることに留意して欲しい。瞳の中心は”x”によって与えられ、マーカーの角膜反射は”+”によって与えられる。

図8Aは最初の位置でのIRマーカーを表している。瞳もまた最初の位置で開始する。

図8Bでは、IRマーカーは、そのIRマーカーの角膜反射が瞳の中心と一致するまで移動している（破線の”+”から実線の”+”まで）。

図8Cでは、観察者は視線の方向を変化させ、かつ、瞳は新しい位置をとる（破線の”x”から実線の”x”まで）。

図8Dでは、IRマーカーは再び、そのIRマーカーの角膜反射と瞳の中心とが一致した状態を維持するように移動することで、再び視線方向が直接的に示される。

本発明は、広範にわたる実施例において用いられて良い。以降では非限定的実施例が与えられる。

多くの例では、簡明を期すために、マーカーは赤外(IR)マーカーとして説明される。IRマーカーの利用が好適実施例を構成しているとはいえ、他の種類の発光マーカー−たとえばUVマーカー又は可視光領域のマーカー−が利用可能であることは明示的に述べられている。

当該システムは以下を含む制御システムを有する。
− マーカー−たとえばIRマーカー−の角膜光反射の位置と瞳の中心の外見上の位置とを比較する位置比較動作（図7では解析手段として図示されている）。
− IRマーカーの反射位置と外見上の瞳の中心位置とが一致するような、IRマーカーの新しい位置を計算する位置計算動作。
− 新たに計算された位置に従ったマーカーの位置の適合。

当該方法及びシステムの範囲内では、フィードバックループが用いられるので、最初の理想的な状態ではない位置の計算は、再度の位置設定後のマーカーの反射が瞳の中心に近づく効果を有するが、最も効率的な方法ではないことに留意して欲しい。よって以降の計算手順は、一致を改善させるためにとられる。好適実施例では、位置計算動作のパラメータは、精度を改善するように計算の微調整が可能である。それにより必要とされる反復手順が可能な限り少なくなる。このため、計算速度が改善され、その結果フィードバックループの遅延が減少する。計算は複数の手順で実行されても良いし、又は一回の動作で実行されても良い。

図9は、瞳の中心を発見する方法を表している。瞳の区分化は、カメラ付近であって、そのカメラの光軸に対して可能な限り近くに設けられる光源を用いることによって容易になる。この解決法は新しくないし、従来の視線追跡において広く用いられているとはいえ、この解決法も新たに提案されたシステムで用いられ得る。

この「同軸照明」が行われているとき、図9に図示されているように網膜が瞳の中で輝くIRの「赤目」効果が発生する。瞳の円盤は、2つの像−同軸照明が行われたものと行われていないもの−の差異から得られる。図9は、それぞれ独立した線の強度プロファイルと共に取り込まれた目の像を概略的に表している。ここで、a)では同軸ではない照明源による照射が行われ、b)では同軸照明源による照明が行われ、c)は像の差分b-aである。瞳の中心の推定は、様々な種類アルゴリズムにより実行されて良い。その中で最も手頃な方法は、瞳の円盤の投影の質量中心を計算することである。

本発明は様々なシステムにおいて様々な方法で実施されて良い。

当該システムは、表示装置及び該表示装置上にマーカーを供する手段を有する。表示装置にマーカーを供する手段は、表示装置と一体化されて良い。マーカーを供する手段は、表示装置と別離しても良い。一体化された装置の例は、表示装置が像だけではなくマーカーをも供するような装置である。別離したマーカーを供する手段の例は、ディスプレイスクリーン上にマーカーを投影する装置、又は、ディスプレイスクリーン前方に設けられた別個の透明シールドを有する装置である。そのシールド内にはIRマーカーが生成されうる。

図10は本発明によるシステムの例を表している。図10に図示されているように、第1実施例は、通常の可視背面光(RGB)に加えて、IR背面光を有するLCD102の利用に基づいている。制御ユニットCを用いた当該システムの実装及び制御は原則として、走査型背面光LCDシステム−具体的にはカラーシーケンシャルLCDシステム−の実装及び制御と同様である。ビデオカメラ(cam)は背面発光システムと同期する。同期することで、背面光は、IRと可視光を交互に繰り返す。可視光の段階では、通常の像が現れる。IR光の段階では、LCDパネル102は、移動可能なIRマーカー103として機能するパターンを表示する。この段階では、カメラ(cam)は、反射されたマーカーと共に目101の像を取り込む。瞳の中心は、たとえば可視光の段階で、前述した方法を用いて得られて良い。実験は、LC材料が、可視光を変調させると同時に近赤外光を変調させることが可能であることを示した。図11は、可視光領域111及び近赤外領域112において広く用いられているLC材料の透過Tの相対強度を波長の関数として表している。開状態におけるLC材料の透過曲線Tは、近赤外光のみならず可視光も透過する。閉状態では、曲線Cによって表されているように、IR光のみならず可視光も透過しない。図11の透過は、LCディスプレイが、IR光を変調させることで、移動するIRマーカーを生成できることを示している。ヒトの目は近赤外光をほとんど視認しないため、IR光源は連続的に発光しても良い。しかし同期することは好ましい。なぜなら同期することで、IRマーカー源からのIR光を、IRマーカー以外の他のIR光反射からより容易に識別する可能性が得られるからである。

カメラcamは像を記録し、制御システムC（又はカメラcam内部の計算器）は、IRマーカーの角膜反射と瞳の中心との差異を計算し、IRマーカーが、瞳の中心と一致するためには、LCD上のどの位置へ移動しなければならないのかが計算され、IRマーカーの位置が再設定され、かつ、必要な場合にはその処理が繰り返される。この例では、マーカーを供する手段は、高度に表示装置と一体化される。

IRマーカーの重ね合わせに係る第2実施例は、可視背面光に加えて、空間的に区分化されたIR背面光を用いる。可視範囲から十分に離れたIR光波長を選ぶことによって、LC材料は、画素の開閉状態によらず、IR光に対して透明となる。その利点は、可視背面光が発光したままで、LCパネルを通常の可視像のみに用いることが可能なことである。ここでIRマーカーの解像度は、区分化されたIR背面光の解像度である。区分化されたIR背面光は、IRマーカーの位置を制御するように制御される。この例でも、マーカーを供する手段は表示手段に一体化されるが、第1実施例ほど高度には一体化されない。あるいはその代わりに、マーカーを供する手段は、LCD装置上の可動ミラーからなるシステムを介してIRビームを投影する投影装置により構成されて良い。この例では、マーカーを供する手段は、表示装置から、よりはるかに離れている。

さらに一の工程へ進むことで、移動可能なIRマーカーが供される透明板が供される。これは、たとえば透明スクリーン上にマーカーを投影することによって行われて良い。よって観察者にとっての像は、透明板を介した視野である。

LCDから開始して、マーカーは以下のようにして供されてよい。

像は、ディスプレイに供されるような像情報に従って表示される。マーカーの位置では、強度（たとえば複数の色のうちの一の強度）はわずかに減少する。次のフレームでは、マーカーの位置での強度は同じ程度に増加する。このような強度の増加と減少が十分高い周波数で実行される場合、ヒトの目は、強度変化に起因するちらつきを知覚することができない。しかしマーカーの周波数に同期されるカメラは、2つの連続する像を減ずることによって、マーカーの位置を発見することができる。この実施例の利点は、十分に高い周波数を有する任意の既存の表示装置内で用いることが可能で、かつ十分に高い周波数を有する任意の既存の表示装置用に用いることが可能なことである。大抵の現状の装置は、そのようなことを実行することができる。IRマーカーを供するためにIR源を供する必要はない。この実施例では、マーカーは視認可能な信号内で隠される。このマーカーは、観察者には識別不可能だが、そのマーカーの時間的識別に対して調節されたカメラには識別可能である。欠点は、略黒色のスクリーン部分では、強度の増減が困難になる恐れがあることである。しかしヒトの目は、スクリーンのこのような部分を最高強度又は少なくとも高強度で注視しようとする。マーカーを発見するのに少なくとも2つのフレームが必要になるという事実は欠点であるが、ディスプレイにははるかに高い像周波数が供される。あるいはその代わりに、マーカーには、観察者には知覚できないが、空間標識に対して調節されたカメラには近くされる標識が供されてよい。

既知の表示装置を用いて隠れたマーカーを供する代替方法は、その表示装置が2つの異なる方法で同一の色を作ることができる場合に可能となる。所謂RGB-W表示装置が知られている。そのような表示装置は、赤、緑、及び青の画素だけではなく白色の画素も有する。このため、像中の白色領域（又は事実上広い範囲の色）を2つの異なる方法で作ることが可能となる。最も単純な例は、白色領域が、赤、緑、及び青の画素の組み合わせにより、並びに、白色画素により作られうる装置である。ヒトの目には、”RGB”による白色領域と「白色」による白色との差異は視認できない。しかしIR領域及び/若しくはUV領域又は可視光スペクトルの特別な領域では、差異は検出可能である。ディスプレイ自体は変わらないし、表示される情報も変わらない。しかし白色光が2つの異なる方法によって作ることができる可能性を利用することによって、カメラ−たとえばIR若しくはUVカメラ又は前方にカラーフィルタを備えた可視光カメラ−にとって視認可能だが観察者には視認不可能なマーカーを像中に供することが可能となる。よってマーカーは、そのスペクトル標識、標識の意味する識別力を有する特徴によって識別可能となる。この実施例はたとえば、テキストを読むヒトである観察者の視線を追跡するのに有利となるように用いられて良い。テキストは、白色背景上の相対的に小さな黒色の文字で構成される。また白色背景上のアニメーション化された図形を追いかけるヒトの目も追跡することができる。同種の方法は、2つの異なる方法で色を供することが可能な任意の装置に用いられて良い。例はたとえば、ハイブリッド時空間カラーディスプレイとも呼ばれる、所謂スペクトルシーケンシャルディスプレイである。これらのディスプレイは、従来のLCDとカラーシーケンシャルLCDとを組み合わせる。係るディスプレイは従来、2つの（広帯域）カラーフィルタ（たとえばマゼンタとシアン）を備えるアドレス指定可能な素子及び2種類の背面光カラーフィールド（たとえばシアンと黄色）を有する。ただし他のカラーフィールドとカラーフィルタの組み合わせが用いられても良い。そのような組み合わせはたとえば以下のようなものである。
(1) マゼンタ及びシアンのカラーフィルタと黄色及び青色のカラーフィールド
(2) マゼンタ及び緑のカラーフィルタと黄色及びシアンのカラーフィールド
他の実施例は、ディスプレイの前方に設けられて周囲の区分化されたIR照明によって照射される導光拡散板の使用に基づく。この実施例は図12に図示されている。ディスプレイ121の前方に設けられて、周辺の区分化されたIR照明装置123によって照明される導光拡散板122が用いられる。透明な拡散導光体122は、その透明な拡散導光体122の背後に位置する像、ディスプレイ、又は情景への自由な視野を妨害することなく、不可視IRマーカーを生成する手段として機能する。少なくとも2つの周辺IR照明装置123を網羅するマーカーを用いることによって、かつ、IRマーカーが位置を移動させる際に相互の強度を徐々に変化させることによって、マーカーの中心は、装置123間の距離よりも短い解像度で回復されうる。よって装置123の数が相対的に少ない一方で、高解像度を供することができる。

この実施例の変化型はウエッジディスプレイの使用に基づく。ウエッジディスプレイは基本的に、連続的な内部反射に基づいて、投影体からの集束光照射野を投影スクリーンへ移送する。それにより光線の幾何学的な完全性は保存される。図13はそのような装置を表している。

図13は、投影光が内部反射によって閉じこめられるので導光体が透明になりうることを示している。光線が臨界角未満の角度で材料界面を交差することで、光照射野は最終的にその導光体から飛び出す。前方拡散体及び後方カバーが存在しない場合、この手法は、後方のディスプレイ又は情景への自由な視野を可能にする半透明ディスプレイに適する。

他の実施例では、IR照明は、蛍光を用いてUV光及び/又は可視光を赤外光に変換することによって実現される。その目的は、周辺IR光が、カメラシステムによる（複数の）IRマーカーの識別性に悪影響を及ぼす状況（典型的には屋外）において、IR光を生成する効率的な方法を得ることである。だんだん明るくなる日光では、IRマーカーからの放出光の強度は増大する。蛍光IR光源は連続背面光と考えることができる。それにより局所的又は広域的なシャッタが、その光強度を変調させるのに用いられて良い。広範囲の（透明）プラスチックに蛍光特性を与えうる蛍光色素の範囲は既知である。この製造物の範囲では、任意の可視光をIR光へ変換する色素も利用可能なものとして存在する。色素はたとえば、透明プラスチックのレーザー溶接のような産業上の用途に用いられる。そのような色素を受動的IR照明体として用いることは、視線追跡においては知られていない。

他の実施例では、IRマーカーは、ユーザーに不可視のIR光のみを放出する投影体（基本的にはビーム発生器）によって投影される。IRマーカーは、通常の表示装置上、又は、情景後方又は情景自体を透明にすることを可能にする十分に拡散する透明スクリーン上に投影される集束像である。

他の実施例では、IRマーカー像及び通常の像は、2つの別個のディスプレイによって生成される。その2つの別個のディスプレイの像は、半透明ミラーと、古典的なテレプロンプタ又はオートキューを用いることによって重ね合わせられる。

図12は、マーカーが点である必要がないことを表している。マーカーは、顕著なものとして識別可能な任意の点、面積、又はパターンであって良い。マーカーは、点、円、十字、又は他のパターンであって良い。

多数のマーカーの作成方法は前述したし、以降でも説明する。以降では「IRマーカー」について言及されるが、マーカーは、可視範囲でもUV範囲でもよいことに留意して欲しい。多くの実施例にとってIRマーカーの利用が好ましいという事実があるので、以降では「IRマーカー」が用いられる。しかし「IRマーカー」は、広義の本発明についての限定を構成するものではない。

IRマーカーの形状は、眼球内でのIRマーカーの反射が、カメラによって容易に取り込まれ、かつ、位置追跡の最終目標のためのコンピュータビジョンアルゴリズムによって容易に検出されるようなものであることが好ましい。しかしIRマーカーの形状は、そのマーカーが生成されて可視像上で重ね合わせられる方法によって限定されても良い。

フィードバックに基づく視線追跡システムの実施例は、点形状のマーカーに基づく。前記点形状のマーカーの反射は、角膜上で点形状の輝きとなる。現状の視線追跡システムのほとんどが点形状のIR源に依拠しているとはいえ、点形状のIR源の反射に基づく位置推定の精度は、センサの分解能によって迅速に制御される。

マーカーには、接続された形状−つまりパターン−が含まれることが好ましい。

接続された形状の実施例は既に図12に示されている。接続された形状の実施例は、図12の例では、各々が目標のディスプレイの全幅又は全高さにまで延びる2本の交差する線で構成される十字形状のパターンの使用に基づいている。この場合、注視点は2本の線の交差点に関連付けられる。十字パターンの利点は、上述の図12の実施例において提案された周辺照明を用いて生成することが可能なことである。図14では、どのように、そのような十字が眼球内での反射として明確に視認可能となるかが示されている。パターンが接続することで、交差座標のさらに細分化された画素の回復が可能となる。

他の実施例は、疑無作為IR光パターンの利用に基づく。単純なパターンは、誤ったパターン検出を生じさせてしまう恐れがあるので、疑無作為IR光パターンが利用されることで、カメラシステムの検出はより確かなものになる可能性がある。

図15はそのような例を示している。そのパターンは無作為に見えるが、擬無作為である。カメラは、パターンを認識して、かつ、そのパターンの範囲内での点−たとえばカメラの重心−を発見することができる。この重心は、「マーカー」の位置を与える。複雑なパターンは、偽パターン認識による問題を回避できる。たとえばカメラ及び/又はマーカー認識アルゴリズムが最初に別なIR源（たとえばランプの反射）をIRマーカーと認識するときに、誤ったパターン認識が存在する恐れがある。そのような誤認識は、IRマーカーの位置の変化の結果をチェックすることによって補正されうる。なぜなら真のIRマーカーは移動する一方で、「誤った」IRマーカーは移動しないからで、そのような「誤った」IRマーカーが、システムの精度又は反応時間を低下させる恐れがあるからである。

他の実施例は、IR標的の既知の空間移動を利用して、現実世界でのIR標的の位置と、角膜上での反射位置との間での関係を解明する。IR標的位置を制御することで最終的に注視点と一致させるフィードバック機構が提案されたので、モデルが存在しなくても、注視点は一般的には連続する反復手順で発見される。各反復手順は、IR標的の新しい位置の反射を示す新しいビデオフレームを必要とする。以降の方法は、反復回数を最小限に減らすことで、応答遅延を最小限に抑制することを意図している。座標と角膜上での反射位置との関係は、角膜の曲率が影響するので、線形（平行又は斜め方向）変換ではない。

図16は、2つの別個に取得されたIR標的と、2つの比例定数を推定する手段として角膜上での反射としての外見を利用する様子を表している。前記利用は、真の関係の1次（線形）近似として機能する。

2つの比例定数は、C_x=Δx_screen/Δx_pupil、C_y=Δy_screen/Δy_pupilと定義されうる。

実験結果は、2つの連続する測定に基づくC_xとC_yの推定が、次の反復における注視点を厳密に一致させるのに十分であることを示した。C_xとC_yのこれまでの差異と個々の値の履歴を維持することによって、大きくて素早い眼球の運動への応答はほぼ瞬時であることが示された。より厳密なモデルは存在しないが、各連続する手順は、ある範囲の既存モデル−たとえば二分法−に基づいてよい。

別の精緻化された実施例では、上述の方法は、実際の標的位置と反射された標的位置の履歴だけではなく、実際の標的位置と反射された標的位置のモデルをも維持するための座標の記憶装置を有する。そのモデルは、現実の座標と反射座標との間の非線形関係を処理し、かつ、フィードバックループにおいて用いられるIRマーカーの最善となる次の位置をより正確に予測する。

本発明は多くの異なる方法で実施されて良い。上述の実施例では、一のマーカーが用いられる。本発明の実施例では、複数の目の対の検出は、複数の観察者が検出されることを示唆する。これは公衆のディスプレイと店の窓に対して典型的な状況である。各追加された観察者の検出の際、当該システムは、追加のマーカーを追加し、かつ、カメラとの同期を更新する。それにより検出及び追跡は、より多くの観察者にわたって素早く割り当てられる。このシステムは図17に表されている。図17のシステムは、IR標的の提示、像の取り込み、及び時分割による視線の推定を行うことによって、複数(N)人の観察者の視線を追跡することを可能にする。矢印は、時系列の順序を表していて、情報の流れを表していないことに留意して欲しい。様々なマーカーが用いられるが、既知のシステムとは根本的な差異が存在することに留意して欲しい。マーカーは移動可能である。各マーカーは、それぞれのフィードバック及びそのマーカーに係る観察者を有する。このシステムの利点は、同時に追跡された観察者が増えたときにしか遅延が増大しないことである。

本発明による方法及びシステムは、多数の用途に用いられて良い。そのような用途とはとりわけ以下のようなものである。

校正不要の視線追跡は、現在の視線追跡システムが適用される従来の分野をはるかに超えて広範な用途の道を開いた。校正が要らないということは、追跡装置に対する頭部の運動が自由になることを意味する。校正が要らないということはまた、視線追跡処理の「迅速な」動作をも意味する。

消費者向け製造物の分野では、校正不要の視線追跡は様々な用途を有しうる。
− 制御（典型的には触知可能な確認ボタンと併用されるマウスカーソル）
＊ 視線追跡装置が十分な精度を与えると仮定すると、様々な研究は、ポイント＆クリック処理にとって、視線の制御は、従来のコンピュータマウスよりも効率的であることを示してきた。本発明の方法及びシステムの反応速度と精度の向上はこの分野において利点を与える。
＊ 固定された装置−たとえば（インターネットが可能な）TV−にとっては、本発明の方法及びシステムは、基本的なポイント＆クリック動作のカーソル制御を安定させる。それにより1つのボタンでのウエブサーフィンが「ソファから」可能となる。
＊ ハンドヘルド装置にとっての解決法は、現在スタイラス又はタッチスクリーンとの相互作用を必要とするそれらの操作を行うのに、他方の手を自由にできることである。多くのハンドヘルド装置は既にカメラを有しているので、本発明はハンドヘルド装置において比較的容易に実装できる。
＊ 装置は「使用者に注意する(attentive)」ように作られて良い。それによりその装置は、その装置を見たときのみ私たちの行為（ボタンを押す又は発声された命令）に応答する。
− 通信
＊ 2つ以上の集まりの間でのビデオ会議においてアイコンタクトを移送する−そのような集まりの多くは会議に参加する各人の注視点を必要とする−様々な方法が存在する。これまでは、既存の視線追跡は、かなり非効率的であることが分かっていた。だから現在のシステムについての上述した限界のため、アイディアは実験室を飛び出すことは決してなかった。本発明のシステム及び方法が多くの集まりに用いられるとき、そのシステム及び方法の速度と精度の増大は、顕著に効率を増大させる。
＊ 我々は、ビデオでの呼び出し中でのアイコンタクトの妥当性に関するユーザーの知見を確認した。

ヘルスケア及び福祉の分野においても、視線追跡は、危険な作業での注意のレベルを監視する確かな方法を与える。
− 制御
＊ 視線はまた、自動車技術の深刻な欠如に悩まされる人たちに対する重要なユーザーインターフェースを手供する。そのような人たちの独立及び幸福のレベルの向上によって生命の質が改善される。
＊ 視線は、病院の手術室での非接触制御を提供する。
− 監視
＊ 本発明は、自動車の運転のような単調で危険な作業中での注意レベルを監視する障害のない方法を供する。例は、移動する認識不可能なIR標的を重ね合わせる媒体として自動車の前方ガラスを用いることによって、トラックの運転手に視覚的な注意を監視する。
＊ たとえば運転又は飛行シミュレータのようなシミュレータ。シミュレータでは、訓練者の視線を迅速かつ正確に監視することができることは大きな利点である。一部のシミュレータでは、たとえばフライトシミュレータ又はF1レースのシミュレータにおいてはシミュレータの速度は最重要である。F1運転手又は飛行士の視線を追跡する迅速かつ信頼性のある方法は最重要である。なぜなら重大な判断は、そのような人たちによって一瞬で行われなければならないからである。
＊ スポーツ：速さが求められるスポーツ−たとえばテニス、スカッシュ、又は接触を伴うスポーツ−では、人間の視線の追跡からかなりのことを学ぶことができる。訓練方法を改善することが可能となる。

小売り及びデジタル記号の分野では、視線追跡は、観察者の注意の焦点に関する価値あるフィードバックを提供するのに用いられ得る。
＊ 現在の視線追跡システムは既に、印刷された広告及びオンライン広告に対する個人の反応を分析する広告代理店にたどり着いた。本発明のシステム及び方法の速度と精度が向上することで、事業分野が顕著に拡大する。
＊ 視線追跡が、視線を向ける眼球の対を数えるだけではなく、その注意の期間も考慮することによって、特定の商業ディスプレイ又はポスターに対する集団的な現実生活の注目度合いを測定するのに適用されている。

本発明は示された種類のディスプレイに限定されない。

本発明の方法及びシステムにおいて有利に用いられ得る他の種類のディスプレイの例は、OLEDディスプレイである。

OLED技術を用いることによって、透明材料板が光を放出することが可能となる。OLED技術は、その材料にIR光を放出させることも可能にする。OLED材料は、可視光に対しては透明のままだが、IR光を放出する。電極を用いることによって、IR OLEDマトリックスを透明層内に作成することができる。IR OLEDマトリックスは、可視光に対して透明でIRにおいてアドレス指定可能な画素を発光させることを除けば、従来のOLEDディスプレイとほぼ同一の機能を果たす。IRマーカーは、IR OLED画素のアクティブグリッドによりアドレス指定される。位置はIR画素の指定に依存して可変である。図19は、ディスプレイ192の前方で透明OLED板191を使用している様子を概略的に表している。OLEDマトリックスは制御装置193によってアドレス指定される。制御装置913は情報Iを受け取る。情報Iは、カメラcamによって取得される像から得られる測定結果に依存する。OLED画素のマトリックスは、透明OLED材料上にIRマーカー194を供する。

ディスプレイ又は情景の前方に設けられうる任意のスクリーンにとっての透明なビュースルースクリーンの利点は、任意の既存のディスプレイ又は情景に用いることができることである。

この透明層は、ディスプレイ前方又は情景前方のスクリーンとして用いられて良い。OLED透明スクリーンを用いることは、OLEDアドレス指定速度が顕著に速くなることで、さらに迅速な視線追跡が可能になるという利点を有する。

本発明は与えられた典型的実施例に限定されない。

たとえば投影されたマーカーが用いられるとき、そのマーカーは、ディスプレイスクリーン上に、観察者が情景を観察する透明スクリーン上に、又は、その情景に直接的に投影されて良い。

図18は、投影体Pが情景上にIR標的−この例ではその情景上の十字の中心によって表されている−を投影する実施例を表している。図18では、標的はシリンダの中心に位置する。カメラも図示されている。カメラは、目の像、より詳細にはIR標的の角膜反射と瞳の中心の像を取り込む。

本発明は、上述したように、2人以上の視線の追跡にも用いられて良い。本発明は同一人の両目の視線方向を追跡するのにも用いられて良い。前記実施例では、像は、左目の像と右目の像が取り込まれ、片目又は両目の角膜反射が測定され、かつ、両目のうちの少なくとも1つについてマーカーが生成される。両目についての実施例では、マーカーが生成され、かつ、両目の視線が独立して監視されて良い。あるいはその代わりに一の目の視線が追跡され、かつ、他の目については、視線の違いが測定又は推定される。用途はたとえば、遊んでいる目の「遊び度合い(laziness)」を定量的に測定する装置である。子供には、2つのカメラを備えた一対のめがねが与えられる。一の小さなカメラは左目の像を取得し、他のカメラは右目の像を取得する。あるいはその代わりにカメラはいずれも、子供からある程度離れていても良い。1つのカメラを用いて両目の像を記録することも可能である。子供には、ビデオゲームで遊んでもらうよう頼む。そのビデオゲームでは、子供は、ある標的を自分の目で追いかけなければならない。子供がカーソルによって対象物を捕まえるか、又は、迷路を介してアニメーション化された図形を導かなければならない。両目の運動が測定される。両目が完全に妨害されないような方法で、アニメーション化された図形の運動に対する目の反応時間が測定されうる。それにより両目の遊び度合いと運動に対する両目の調整の指標が与えられる。子供が楽しめるようにして、目の遊び度合いを定量的に測定することができる。遊んでいる目の処理の進展は、子供に不快感を与えることなく追跡されて良い。

他の用途は、車の前方ガラスを通して外を見ている運転手の両目の運動を監視することである。車の前方ガラス上にはIR標的が供される。通常の警告状態では、両目が働き、運転手の前の道路で何が起こっているのかについての情報を得ようとしてあるパターンの運動を行う。目の収束を測定することも可能である。運転手が疲れているとき、このことは目の運動と両目間での調整に現れ、かつ、運転手に休息を取るように信号が与えられて良い。

両目の視線が追跡されるとき、各目の視線、両目間での視線の差異、及び、両目の平均としての平均視線を決定することが可能である。そのような用途では、マーカー自体は、被観察対象物、道路、又はディスプレイスクリーン上の被観察対象物の一部には投影されない。しかしそのマーカーは依然として、その被観察対象物の位置を表すものとして、その被観察対象物と関連付けられている。視線の方向は、前方ガラス上のマーカーの位置を向いている。

目の対の収束角は、観察者が対象物を見ている距離を推定するのに用いられて良い。これは特に、監視する場合（たとえばトラック運転手の視線又は店の窓を眺める客の監視）において有用である。

当該システムの遅延は、追跡される目の数に依存する。各観察者（の目の対）について1つのマーカーを用いることによって遅延を減少させることができる。

2つの変位ベクトル（各目について1つ）の平均をとることによって、更新ベクトルが得られる。よってマーカーの位置はこの平均によって更新される。観察者の目は（通常の視野を仮定すると）同一位置に向けて収束するので、任意の残差ベクトルは目の対にわたって対称に分布する。更新ベクトルに対する変位ベクトルの大きさは収束と相関する。マーカーを直接見るとき、全てのベクトルはゼロとなる（当該システムが収束したとき）。マーカーの（投影）面よりも離れた位置の対象物を見るときには、水平変位ベクトルは、一の目については負となり、他の目については同様に正となる。

他の用途は、ヒト又は動物の目を超えて、たとえばロボットの場合でのような人口の目を含むものにまで原理を拡張する可能性を有する。赤目効果の原理は、カメラに設けられた具体的なレンズに関わりなく、そのカメラに適用される。他方、光源の反射とカメラの瞳の中心との一致は、ヒトの目と動物の目に存在する細胞組織の具体的な反射率に起因する。そのような一致を維持する特別な光学的配置を設計することは可能であると同時に、所望の光学特性を得ることも可能である。そのような特別なレンズの用途は複数存在する。ロボットで採用される場合には、注視点の検出が可能となる。様々な用途は、レンズの代わりにマーカーとしてこれらのレンズを利用する。ここでは、光学素子は、任意の対象物の表面上にマーカーとして設けられる。それにより対象物表面の向きを確かめ、上述した視線追跡システムにおいて用いられる原理と同一の原理を利用することが可能となる。

まとめると、本発明は以下のように説明することができる。

対象物を観察する観察者の注視点を追跡するシステムは、前記観察者の目の像を記録するカメラと、発光マーカーを供する手段と、前記目の像を分析して、前記目上のマーカーの反射と前記瞳の中心を決定する手段を有する。前記マーカーの角膜反射と前記瞳の中心の相対位置が測定される。前記マーカーの位置は、該マーカーの角膜反射と前記瞳の中心との間での対応を改善するように、前記の決定された相対位置に依存して設定される。

当該方法の簡単な説明は、上述のシステムの説明に対応する。

カメラは像を記録する任意の装置である。

カメラは、他の目的−たとえば通信−で用いられる装置の一部、すなわちそのような通信装置に取り付けられている、一体化されている、又は協働して良い。

分析手段、アドレス指定手段、計算手段等は、ハードウエア及び/又はソフトウエアであってよい。

当該方法及びシステムが用いられる場合、係る手段は、カメラ内若しくはカメラ付近、又は、そのカメラが接続される情景（の付近）の装置内に存在して良い。しかし像データは、マーカーが遠隔制御可能なように、遠隔で分析されても良い。たとえば店内では、複数のカメラが複数の地点を観察し、各地点はたとえば窓のディスプレイであってよい。各地点では、複数の観察者が追跡されて良い。マーカーと瞳の中心との差異の計算及び各マーカーによる移動とそのマーカーを移動させるために送られる信号は、その店内の中心となるコンピュータ上で処理され、さらには国中の様々な店で同一のことが行われる場合には、統括本部の中心となるコンピュータ又は中心となるサーバで行われる。

本発明は、対象物を観察する観察者の視線を追跡するシステムに関する。当該システムは、前記観察者の目の像を記録する装置、前記の観察された対象物上に又は該対象物に係る発光マーカーを供する手段、及び、前記像から、前記マーカーの角膜反射の位置と、瞳の中心の位置を決定する手段を有する。

本発明はさらに、対象物を観察する観察者の注視点を追跡する方法に関する。当該方法は、前記観察者の目の像を記録する手順、前記の観察された対象物上に又は該対象物に係る発光マーカーを供する手順、及び、前記像から、前記マーカーの角膜反射の位置と、瞳の中心の位置を決定する手順を有する。

上記目的のため、当該システムは、マーカーの角膜反射と瞳の中心の位置の差異を決定して差異の信号を供する手段、及び、注視点と一致するように前記マーカーの位置を更新するため、前記差異の信号に依存して前記の観察される対象物上又は該対象物に係る前記マーカーの位置を変化させて、前記マーカーの角膜反射と前記瞳の中心とを一致させる手段を有するシステムである。

当該方法は、前記マーカーの角膜反射と瞳の中心との差異が決定されることで差異の信号が供され、かつ、注視点と一致するように前記マーカーの位置を更新するため、前記の観察される対象物上又は該対象物に係る前記マーカーの位置が、前記差異の信号に依存して前記の観察される対象物上又は該対象物に係る前記マーカーの位置を変化させて、前記マーカーの角膜反射と前記瞳の中心とを一致させる、方法である。

本発明によるシステム及び方法は、記録された像中の角膜反射と瞳の中心の決定された位置の差異に応じて前記マーカーの位置を変化させる手段を用いる。前記マーカーの適応させるように再度位置設定するには、既知のシステム及び方法よりもある程度複雑な方法及びシステムが必要となるとはいえ、利点は重要である。

Claims (18)

1. 対象物を観察する観察者の注視点を追跡するシステムであって：
   前記観察者の目の像を記録する装置；
   前記の観察される対象物上に又は該対象物に係る発光マーカーを供する手段；及び、
   前記像から、前記目での前記マーカーの角膜反射と前記瞳の中心を決定する手段；
   前記マーカーの角膜反射と前記瞳の中心の相対位置を決定する手段；前記の決定された相対位置に依存して前記マーカーの位置を再設定する手段；
   を有するシステム。
2. 表示装置を有する請求項1に記載のシステムであって、前記マーカーの位置が前記表示装置に関連するシステム。
3. 前記表示装置と前記マーカーを供する手段が一の装置に一体化される、請求項2に記載のシステム。
4. 前記表示装置と前記マーカーを供する手段が別個の装置である、請求項2に記載のシステム。
5. 前記マーカーを供する手段が、前記表示装置の像スクリーン前方に設けられた透明シールドを有する、請求項4に記載のシステム。
6. 前記マーカーを供する手段が赤外(IR)マーカーを供する、請求項1乃至5のいずれか一項に記載のシステム。
7. 前記マーカーがパターン形状をとる、請求項1乃至6のいずれか一項に記載のシステム。
8. 前記マーカーを供し、かつ、情景上で直接的に前記マーカーの位置を再設定するか、又は、情景前方の透明板内若しくは該透明板上で前記マーカーの位置を再設定する手段を有する、請求項1に記載のシステム。
9. 前記透明板が自動車の前方ガラスである、請求項8に記載のシステム。
10. 前記透明板が店の窓である、請求項9に記載のシステム。
11. 前記表示装置が、該表示装置の表示スクリーン上に表示される像内にマーカーを供する手段を有する、請求項3に記載のシステム。
12. 前記マーカーがIRマーカーである、請求項11に記載のシステム。
13. 赤外(IR)の背面光及び可視の背面光を有する液晶表示装置を含む、請求項11に記載のシステム。
14. 前記マーカーを供する手段が、マーカーを供する透明OLEDスクリーンを有する、請求項1乃至13のいずれか一項に記載のシステム。
15. 2人以上の観察者に2つ以上のマーカーを供することによって、2人以上の観察者の視線を追跡するように構成される、請求項1乃至14のいずれか一項に記載のシステム。
16. 対象物を観察する観察者の注視点を追跡する方法であって：
    前記観察者の目の像を記録する手順；
    前記の観察される対象物上に又は該対象物に係る発光マーカーを供する手順；及び、
    前記像から、前記目での前記マーカーの角膜反射と前記瞳の中心を決定する手順；
    を有し、
    前記マーカーの角膜反射と前記瞳の中心の相対位置が決定され、かつ
    前記の決定された相対位置に依存して前記マーカーの位置が再設定される、
    方法。
17. 前記マーカーがパターン形状をとる、請求項1 6に記載の方法。
18. 前記マーカーが、透明板内又は該透明板上に供される、請求項1 6又は17に記載の方法。

Images