JP2021082329A - 視標追跡システム - Google Patents

Abstract

【課題】物体上のユーザの注視点を評価するシステム、方法及び視標追跡機を提供する。【解決手段】追跡システムは、第１の座標系と関連する少なくとも１つの視標追跡カメラ１０８、照明光源１３２、少なくとも１つのコンピュータ１３０を備える視標追跡機と、第２の座標系と関連する少なくとも１つの位置決めカメラ１１６、６１６、６１８とを備え、物体の幾何学データが、少なくとも１つのコンピュータにとってアクセス可能な格納デバイスに格納され、少なくとも１つのコンピュータの任意の組合せが、第１の座標系に関するユーザの注視線を判定し、第２の座標系に関する少なくとも１つの視標追跡カメラの位置を判定し、第２の座標系に関する物体の位置を判定し、任意の座標系における注視線および任意の座標系における少なくとも１つの物体の位置に基づいて、注視点を判定する。【選択図】図６Ｂ

Description

本システムおよび本装置は、概して、視標追跡システムに関し、詳細には、可変の空間的配置にシステム要素を有する視標追跡に関する。

［関連特許出願の相互参照］
本特許出願は、２０１５年３月２３日出願の米国特許仮出願第６２／１３６，６４３号の優先権を主張し、その仮出願に関する。その米国仮特許出願は参照によりその全体が本明細書に援用される。

視標追跡は既知の技術であり、その技法および方法が非特許文献１に記載されている。その文献は、目（一方または両方）の画像から注視方向を演算するための当技術分野で知られる様々な方法を説明している。視標追跡技術の使用を開示する他の情報源も利用可能である。

視標追跡デバイスの主な利用例の１つは、表示スクリーン上または他の任意の物体上のユーザの注視点を生成することである。場合によっては、注視される点はこうした表示スクリーン上に表示され、場合によっては、注視点の位置は、機能の起動など他の目的に使用することができる。

こうした目的のための典型的な視標追跡システムは、視標追跡機がディスプレイ上（典型的には、ディスプレイの下側の中心）の固定位置に装着された状態で、表示スクリーンの表面上の注視点を追跡するように設計され、ディスプレイから４０〜１００ｃｍという典型的な距離にいるユーザを追跡するように設計される。したがって、こうした視標追跡機は、視標追跡機から典型的には４０〜１００ｃｍのユーザを追跡するようにも設計される。これら視標追跡機によって、ユーザは典型的なサイズが４０×４０×４０ｃｍ^３の、視標追跡機の頭部ボックス内で自由に動くことが可能になる。

手術室などの様々な用途で、ユーザから１００ｃｍ超の距離にディスプレイを位置決めすることが望ましいことが多い。最大１００ｃｍの位置のユーザを追跡するように設計された視標追跡機は、ユーザから１００ｃｍ超離れたディスプレイに取り付けられると、それ以上ユーザを追跡することができない。

視標追跡機を使用可能であるユーザからの最大距離よりもディスプレイ（または他の任意の観察される物体）がユーザから離れている状況でこうした視標追跡機の使用を可能にするシステムの必要性が長期にわたって感じられる。本発明のシステムは、視標追跡機とディスプレイ（または物体）との間の固定されない空間的関係も可能にし、その結果、一方が他方に関して移動でき、表示スクリーン上の注視点の追跡を引き続き維持する。

一例では、本発明のシステムは、外科的処置においてユーザを助けることが意図される。手術環境の一部の配置では、モニタをさらに遠くに移動させることが望ましくなる程度に、ユーザのすぐ近くの空間に設備を導入することがある。ユーザと、モニタディスプレイの所望の位置との間の距離が、現行の視標追跡機の現在の典型的な範囲よりも大きくなる場合は、これら視標追跡機の適切な使用が損なわれる。

Ａｎｄｒｅｗ Ｄｕｃｈｏｗｓｋｉ著「Ｅｙｅ Ｔｒａｃｋｉｎｇ Ｍｅｔｈｏｄｏｌｏｇｙ：Ｔｈｅｏｒｙ ａｎｄ Ｐｒａｃｔｉｃｅ」ＩＳＢＮ９７８‐１‐８４６２８‐６０８‐７

本発明は、モニタ（または物体）に関して、視標追跡機の固定された位置を自由に移動できるようにし、注視点の追跡を妨げることなくいつでも応用のきく位置決めおよび位置変更を可能にする。本システムは、ユーザの目の動きを追跡するように構成されるカメラおよび関連するコンピュータと、モニタスクリーン（または他の任意の物体）を追跡するように構成されるカメラおよび関連するコンピュータと、システムの動作を制御するように構成される１つまたは複数のコンピュータとを含む。コンピュータの機能は全て、単一のコンピュータにおいて、または任意の数の複数のコンピュータの任意の組合せにおいて取り扱うことができる。コンピュータは、システムを制御することに加えて、ユーザの目の動きを取り込むカメラからのデータを受信し、ユーザの注視線を計算する（または視標追跡機からユーザの注視線を受信する）ように構成され得るか、またはそのように適合された機構を含むことができる。モニタ追跡機は、モニタの空間位置（および特に内部に表示される画像領域）を位置特定および識別することができる。コンピュータは、モニタスクリーン上のユーザの注視点を生成するように、モニタスクリーン領域の注視線の入射点を計算するように構成することができる。一部の例では、いくつかのコンピュータがそのプロセスに参加することができ、コンピュータの計算タスクを複数のコンピュータ間に分割することができる。

こうしたシステムは、ユーザと追跡システムとモニタとの間の柔軟な幾何学的関係を用いて、モニタ表示スクリーン上のユーザの注視点を生成する。本システムは、複数のモニタおよび視標追跡システムを支援することもできる。本システムは、視標追跡機が典型的にはモニタの底部に固定された状態で、モニタスクリーンはユーザの目のすぐ近くにかつ視標追跡機に関して固定されるように配置または位置決めすべきであるという、従来からの認識を変える。本発明によって、モニタスクリーンは今やユーザから大きい距離に位置決めできるので、モニタスクリーンの位置または位置決めが柔軟になる。

本発明の一例では、物体追跡カメラが、物体を追跡するように視標追跡機に関して固定された位置に装着され、物体および視標追跡機のうちの少なくとも一方が、互いに関して移動可能であり、モニタの場合、注視点はディスプレイ上にマークすることができる。

本発明の別の例では、物体追跡カメラが、視標追跡機を追跡ように物体に関して固定された位置に装着され、物体および視標追跡機のうちの少なくとも一方が、互いに関して移動可能であり、モニタの場合、注視点はディスプレイ上にマークすることができる。

本発明のさらに別の例では、物体追跡カメラが、任意の位置に配置され、物体も視標追跡機も追跡するように構成され、物体、物体追跡機、および視標追跡機のうちの少なくとも１つが、互いに関して移動可能であり、モニタの場合、注視点はディスプレイ上にマークすることができる。

本発明はさらに、モニタによって表示できるかまたは室内の様々な位置に配置できるターゲット（基準点）を用いた較正方法を提供する。

本発明は特に、視標追跡機の追跡範囲をカバーするように、ディスプレイを視標追跡機の比較的近くに位置決めすることによって、追跡に用いられるディスプレイの範囲よりも大きい範囲の較正を可能にする。

本発明は特に、視標追跡機の追跡範囲をカバーするように、視標追跡機に関して複数の位置にディスプレイを位置決めすることによって、追跡のために用いられるディスプレイの範囲よりも大きい範囲の較正を可能にする。

室内の様々な位置に表示される較正ターゲットは、部屋中に据えられる特定のターゲット形状と、部屋中に装着される光源と、室内の壁およびキャビネットなど様々な固定された要素上に投影されるターゲットとのうちのいずれかを、１つのタイプのターゲットまたは複数のタイプを混合したターゲットを用いて同時にまたは次々に含むことができる。

本発明は、複数の物体上の注視点を追跡することも提供し、モニタの場合、複数のモニタは全て、１つまたは任意の数の物体（およびモニタ）の注視点の追跡を妨げることなく、異なる位置に位置するかまたは移動可能である。

本発明は、複数の物体追跡機（または物体追跡カメラ）を組み込むシステムおよび方法も提供する。

本発明は、複数の視標追跡機を組む込むシステムおよび方法も提供する。

立体撮像法および従来の三角測量法を用いて、座標系における物体の位置および配向を記述するために３Ｄ座標系を設定することができる。

単一のカメラを用いて、Ｒｏｓｅｎｈａｈｎ，Ｂ．著「Ｆｏｕｎｄａｔｉｏｎｓ ａｂｏｕｔ ２Ｄ‐３Ｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ」と、Ｗｉｋｉｐｅｄｉａ：「ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／３Ｄ＿ｐｏｓｅ＿ｅｓｔｉｍａｔｉｏｎ」と、Ｒｏｓｅｎｈａｈｎ（Ｒｏｓｅｎｈａｈｅｎ），Ｂ．、Ｓｏｍｍｅｒ Ｇ．著「Ａｄａｐｔｉｖｅ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ｄｉｆｆｅｒｅｎｔ ｃｏｒｒｅｃｓｐｏｎｄｉｎｇ ｅｎｔｉｔｉｅｓ」、Ｖａｎ Ｇｏｏｌ，Ｌ．（編）ＤＡＧＭ２００２年、第２４４９巻、第２６５〜２７３頁、Ｓｐｒｉｎｇｅｒ、Ｈｅｉｄｅｌｂｅｒｇ（２００２年）と、Ｄａｎｉｅｌ Ｆ．Ｄｅｍｅｎｔｈｏｎ、Ｌａｒｒｙ Ｓ．Ｄａｖｉｓ著「Ｍｏｄｅｌ‐ｂａｓｅｄ ｏｂｊｅｃｔ ｐｏｓｅ ｉｎ ２５ ｌｉｎｅｓ ｏｆ ｃｏｄｅ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、１９９５年６月、第１５巻、第１版、第１２３〜１４１頁とに記載されるような２Ｄ−３Ｄポーズの方法を用いて、座標系における物体の位置および配向を判定することができる。

本発明の態様によれば、物体上のユーザの注視点を評価するシステムであって、システムは、少なくとも１つの視標追跡カメラおよび少なくとも１つの位置決めカメラであって、互いに関して固定された位置に配置されるように構成される、少なくとも１つの視標追跡カメラおよび少なくとも１つの位置決めカメラと、ユーザの目のうちの少なくとも一方から角膜反射を生成するように構成される、少なくとも１つの光源と、少なくとも１つのコンピュータと、少なくとも１つの物体であって、少なくとも１つの物体の幾何学データが、少なくとも１つのコンピュータにとってアクセス可能な格納デバイスに格納される、少なくとも１つの物体とを備え、少なくとも１つのコンピュータの任意の組合せが、（ａ）少なくとも１つの視標追跡カメラから受信される少なくとも１つの画像に基づいて、座標系に関するユーザの注視線を判定し、（ｂ）少なくとも１つの位置決めカメラから受信される画像に基づいて、座標系に関する少なくとも１つの物体の位置を判定し、（ｃ）注視線、少なくとも１つの物体の位置、および少なくとも１つの物体の幾何学データに基づいて、注視点を判定するように構成される、システムが提供される。

少なくとも１つの物体は少なくとも２つの物体を含むことができ、少なくとも２つの物体は、互いに関して固定された位置に配置されるように構成することができる。

少なくとも１つの物体はモニタとすることができ、モニタは、少なくとも１つのマーカを表示するように構成することができる。

少なくとも１つの位置決めカメラは少なくとも２つの位置決めカメラを含むことができ、少なくとも２つの位置決めカメラは、立体視法を用いて少なくとも１つの物体の位置を判定可能にするように構成することができる。

本発明の別の態様によれば、物体上のユーザの注視点を評価するシステムであって、システムは、少なくとも１つの視標追跡カメラに関して固定される第１の座標系と関連する、少なくとも１つの視標追跡カメラと、ユーザの目のうちの少なくとも一方から角膜反射を生成するように構成される、少なくとも１つの光源と、少なくとも１つのコンピュータと、少なくとも１つの物体であって、少なくとも１つの物体の幾何学データが、少なくとも１つのコンピュータにとってアクセス可能な格納デバイスに格納される、少なくとも１つの物体と、少なくとも１つの物体に関して固定された位置に配置されるように構成される、少なくとも１つの位置決めカメラであって、少なくとも１つの位置決めカメラに関して固定される第２の座標系と関連するように構成される、少なくとも１つの位置決めカメラとを備え、少なくとも１つのコンピュータの任意の組合せが、（ａ）少なくとも１つの視標追跡カメラから受信される少なくとも１つの画像に基づいて、第１の座標系に関するユーザの注視線を判定し、（ｂ）少なくとも１つの位置決めカメラから受信される少なくとも１つの画像に基づいて、第２の座標系に関する少なくとも１つの視標追跡カメラの位置を判定し、そうすることで、一方の座標系の位置を他方の座標系において判定し、（ｃ）任意の座標系の注視線、任意の座標系の少なくとも１つの物体の位置、および少なくとも１つの物体の幾何学データに基づいて、注視点を判定するように構成される、システムが提供される。

少なくとも１つの物体は少なくとも２つの物体を含むことができ、少なくとも２つの物体は、互いに関して固定された位置に配置されるように構成することができる。

少なくとも１つの位置決めカメラは少なくとも２つの位置決めカメラを含むことができ、少なくとも２つの位置決めカメラは、立体視法を用いて少なくとも１つの物体の位置を判定可能にするように構成することができる。

本発明の別の態様によれは、物体上のユーザの注視点を評価するシステムであって、システムは、少なくとも１つの視標追跡カメラに関して固定される第１の座標系と関連する、少なくとも１つの視標追跡カメラ、ユーザの目のうちの少なくとも一方から角膜反射を生成するように構成される光源、および少なくとも１つのコンピュータを備える、視標追跡機と、少なくとも１つの位置決めカメラに関して固定される第２の座標系と関連する、少なくとも１つの位置決めカメラと、少なくとも１つの物体であって、少なくとも１つの物体の幾何学データが、少なくとも１つのコンピュータにとってアクセス可能な格納デバイスに格納される、少なくとも１つの物体とを備え、少なくとも１つのコンピュータの任意の組合せが、（ａ）少なくとも１つの視標追跡カメラから受信される画像に基づいて、第１の座標系に関するユーザの注視線を判定し、（ｂ）少なくとも１つの位置決めカメラから受信される画像に基づいて、第２の座標系に関する少なくとも１つの視標追跡カメラの位置を判定し、そうすることで、一方の座標系の位置を他方の座標系において判定し、（ｃ）少なくとも１つの位置決めカメラからの画像および少なくとも１つの物体の格納される幾何学データに基づいて、第２の座標系に関する少なくとも１つの物体の位置を判定し、（ｄ）任意の座標系における注視線および任意の座標系における少なくとも１つの物体の位置に基づいて、注視点を判定するように構成される、システムが提供される。

第１の位置決めカメラが、少なくとも１つの視標追跡カメラの位置を判定するように構成することができ、第１の位置決めカメラは、第１の位置決めカメラに関して固定される第２の座標系と関連し、第２の位置決めカメラが、少なくとも１つの物体の位置を判定するように構成することができ、第２の位置決めカメラは、第２の位置決めカメラに関して固定される第３の座標系と関連し、少なくとも１つの物体との、少なくとも１つの視標追跡機によって判定される注視線の交点が、第２の座標系と第３の座標系との間の変換に基づいて判定することができる。

少なくとも１つの物体は少なくとも２つの物体を含むことができ、少なくとも２つの物体は、互いに関して固定された位置に配置されるように構成することができる。

少なくとも１つの物体はモニタとすることができ、モニタは、少なくとも１つのマーカを表示するように構成することができる。

少なくとも１つの位置決めカメラは少なくとも２つの位置決めカメラを含むことができ、少なくとも２つの位置決めカメラは、立体視法を用いて少なくとも１つの物体の位置を判定可能にするように構成することができる。

本発明の別の態様によれば、ディスプレイ上のユーザの注視点を追跡するように構成される視標追跡機を較正して使用する方法であって、ディスプレイは、追跡のための視標追跡機に関して、較正位置とは異なる少なくとも１つの位置に位置決めされるように構成され、方法は、ディスプレイを視標追跡機の近くに配置し、そうすることで、視標追跡機の注視範囲によってカバーされる領域全体をカバーするステップと、ディスプレイと視標追跡機との互いに関する位置を判定するステップと、ディスプレイ上に複数のターゲットを表示するステップであって、複数のターゲットはそれぞれ、視標追跡機とディスプレイとの相対的位置に基づいて、第１の座標系におけるこのターゲットのための注視線の較正パラメータを生成し、複数のターゲットは、視標追跡機の注視範囲によってカバーされる領域をカバーする、ステップと、較正データを格納するステップと、ディスプレイおよび視標追跡機のうちの少なくとも一方を、互いに関する較正位置とは異なる利用位置に位置決めするステップと、少なくとも１つの位置決めカメラを利用し、そうすることで、ディスプレイと視標追跡機との互いに関する位置を判定するステップと、較正データに基づいて、第１の座標系における注視線を判定するステップと、位置決めカメラからの少なくとも１つの画像に基づいて判定されるように、ディスプレイと視標追跡機との相対的位置に基づいて、任意の座標系におけるディスプレイとの注視線の交点を判定し、そうすることで、ディスプレイ上に注視点を生成するステップとを含む、方法が提供される。

ディスプレイと視標追跡機との互いに関する位置を判定するステップは、位置決めカメラを用いて行うことができる。

本発明の別の態様によれば、ディスプレイと共に使用するための視標追跡機を較正する方法であって、視標追跡機およびディスプレイは、ディスプレイ上の注視点を追跡するために、少なくとも２つの異なる位置に互いに関して位置決めされるように構成され、方法は、ディスプレイを第１の位置に配置し、そうすることで、視標追跡機の注視範囲によって利用可能な角度の少なくとも一部分をカバーするステップと、ディスプレイと視標追跡機との互いに関する位置を判定するステップと、ディスプレイ上に複数のターゲットを表示するステップであって、複数のターゲットはそれぞれ、視標追跡機とディスプレイとの相対的位置に基づいて、第１の座標系におけるこのターゲットのための注視線の較正パラメータを生成し、複数のターゲットは、ディスプレイの領域の少なくとも一部分をカバーする、ステップと、ディスプレイの別の位置のために上記のステップを少なくとも１回繰り返し、そうすることで、視標追跡機の注視範囲によって利用可能な追加の注視線を較正するステップと、較正データを格納するステップとを含む、方法が提供される。

ディスプレイと視標追跡機との互いに関する位置を判定するステップは、位置決めカメラを用いて行うことができる。

本発明の別の態様によれば、視標追跡機を較正する方法であって、方法は、較正ターゲットに対するユーザの注意を引くステップと、少なくとも１つの位置決めカメラおよび少なくとも１つのコンピュータを利用し、そうすることで、較正ターゲットと視標追跡機の座標系との互いに関する位置を判定するステップと、第１の座標系における較正ターゲットに対する注視線の較正パラメータを判定するステップと、上記のステップを繰り返し、そうすることで、注視範囲および較正ターゲットの分布の所望の部分を生成するステップと、較正データを格納するステップとを含む、方法が提供される。

較正ターゲットは少なくとも１つのＬＥＤを含むことができる。

ユーザの注意を引くステップは、所望のターゲットの少なくとも１つのＬＥＤのうちの少なくとも１つをＯＮにするステップと、他のターゲットの他のＬＥＤをＯＦＦにするステップとを含むことができる。

ターゲットは、ＯＮ／ＯＦＦシーケンスパターン、色、および少なくとも１つのＬＥＤによって定められる形状のいずれかによって区別することができる。

ターゲットの形状は、ターゲットを構成する少なくとも１つのＬＥＤの配置によって判定することができ、その配置は、空間分布、ＯＮ／ＯＦＦシーケンス、および色のいずれかを含む。

較正ターゲットはアイテムを含むことができる。

ユーザの注意を引くステップは、所望のターゲットのアイテムを照明するステップを含むことができる。

ターゲットは、照明光のＯＮ／ＯＦＦシーケンスパターン、色、および形状のいずれかによって区別することができる。

ターゲットは、少なくとも１つのプロジェクタを用いて基板上に投影することができる。

ユーザの注意を引くステップは、所望のターゲットを投影するステップを含むことができる。

ターゲットは、プロジェクタのＯＮ／ＯＦＦシーケンスパターン、画像の色、および画像の形状のうちのいずれかによって区別することができる。

較正の後に、視標追跡機の位置は、少なくとも１つのターゲットが、較正中にターゲットを有しない注視範囲にある位置に収まるように変更することができ、方法はさらに、少なくとも１つのターゲットを用いて較正プロセスを繰り返すステップを含むことができる。

少なくとも１つの位置決めカメラは、ターゲットのうちの少なくとも一部分を取り込むように構成することができる。

コンピュータは、少なくとも１つの位置決めカメラから受信される少なくとも１つの画像、ならびに、少なくとも１つの位置決めカメラによって取り込まれるターゲットのうちの少なくとも一部分、および、少なくとも１つの位置決めカメラによって取り込まれない少なくとも１つのターゲットを含む、ターゲットのうちの少なくとも一部分の空間的配置のデータに基づいて、位置決めカメラによって取り込まれない少なくとも１つのターゲットと視標追跡機の座標系との互いに関する位置を判定するように構成することができる。

本発明の別の態様によれば、視標追跡カメラと、角膜反射を生成するように構成される少なくとも２つの光源とを備える、角膜反射を用いて使用する視標追跡機であって、少なくとも２つの光源の少なくとも第１の光源および第２の光源は、位置が分かれるように構成され、それぞれが少なくとも１つの同じ注視線のための角膜反射を生成するように構成され、第１の光源はＯＮにされるように構成され、第２の光源はＯＦＦにされるように構成され、第１の光源の角膜反射が視標追跡機によって検出不能である場合は、第１の光源はＯＦＦにされるように構成され、第２の光源はＯＮにされるように構成される、視標追跡機が提供される。

本発明をより良く理解するためにかつ本発明を実施できるようにする方法を示すために、ここで単なる一例として添付の図面を参照する。

添付の図面を参照しながら本システムおよび本方法を説明する。図面中の同じ参照番号は様々な図の共通の要素のためである。

図のカメラおよびモニタは、図を参照しながら説明するように、通信を容易にするように、ケーブルによってまたは無線の方法によって、直接的にまたは他の手段によって、コンピュータにまたは互いに接続される。見やすいように、これら接続を図には明確に示さない。接続手段および通信手段は概して当技術分野で知られている。同じ手法が、較正ターゲット、プロジェクタ、モニタなど他の要素とのコンピュータの通信手段、および２以上のアイテム間の他の任意の通信手段に用いられ、これら手段は、記述には存在するが図には必ずしも明示的に示されるとは限らない。

特に図面を詳細に参照すると、示されている詳細が一例であり、本発明の好ましい実施形態の単なる例証的な検討のためのものであり、発明の原理および概念的様相の最も有用かつ容易に理解される記述と考えられるものを提供するために提示されることが強調される。この点で、本発明の基本的な理解に必要とされる以上に詳細に、本発明の構造的詳細を示すつもりはなく、図面と共に行われる説明は、本発明のいくつかの形態が実際にいかに具体化され得るかを当業者に明らかにする。

一例による追跡システムの図である。 一例による追跡システムの図である。 追跡される物体を２つ含む、一例による追跡システムの図である。 複数のアイテムから構築された追跡される物体を含む、一例による追跡システムの図である。 一例による追跡システムの較正の図である。 一例による追跡システムの較正の図である。 立体撮像に基づいた一例による追跡システムの図である。 位置決めカメラが物体アセンブリに含まれる、一例による追跡システムの図である。 １つまたは複数の位置決めカメラがシステムの他の構成要素から独立して装着される、一例による追跡システムの図である。 １つまたは複数の位置決めカメラが視標追跡カメラに関して特定の位置に装着される、一例による追跡システムの図である。 角膜反射光源を複数含む、一例による追跡システムの図である。 視標追跡機を複数含む、一例による追跡システムの図である。

［用語解説］
視線（ｌｉｎｅ ｏｆ ｓｉｇｈｔ）／注視線（ｌｉｎｅ ｏｆ ｇａｚｅ）／注視線（ｇａｚｉｎｇ ｌｉｎｅ）／注視線（ｇａｚｅ ｌｉｎｅ）：ユーザの目およびユーザが見ている点を通って延びる想像線。

注視点（ｇａｚｉｎｇ ｐｏｉｎｔ）／注視点（ｇａｚｅ ｐｏｉｎｔ）：ユーザが見ている点、すなわち、物体の点との注視線の交点。

注視角（ｇａｚｅ ａｎｇｌｅ）：ユーザの瞳孔に頂点を有する角度であり、一方の光線は注視点を通り、他方の光線は視標追跡機のレンズの中心を通る。

視標追跡（ｅｙｅ ｔｒａｃｋｉｎｇ）：ユーザの視線を判定する行為。

視標追跡機（ｅｙｅ ｔｒａｃｋｅｒ）：注視線の計算を可能にするアルゴリズムおよびコンピュータ機能を含む、視標追跡を行うことができる、例えばカメラおよび関連する照明光源などのデバイス。

頭部ボックス（ｈｅａｄ ｂｏｘ）：ユーザの少なくとも一方の目を含むことが意図される空間。

視標追跡機の追跡範囲（ｅｙｅ ｔｒａｃｋｅｒ ｔｒａｃｋｉｎｇ ｒａｎｇｅ）／追跡範囲（ｔｒａｃｋｉｎｇ ｒａｎｇｅ）：追跡できる注視線の全部の組によって定められる立体角。

アイテム（ｉｔｅｍ）：物理的物質から構築される任意の物。

物体（ｏｂｊｅｃｔ）：ユーザの注視の対象物であることが意図されるアイテム。

物体追跡機（ｏｂｊｅｃｔ ｔｒａｃｋｅｒ）：典型的には少なくとも１つのカメラおよび計算機能を含む、物体を追跡することが意図されるシステム。

物体ボックス（ｏｂｊｅｃｔ ｂｏｘ）：注視点が計算される物体を含むことが意図される空間。物体追跡機の少なくとも１つのカメラの視野および少なくとも１つのカメラの空間位置によって境界が定められる。

スクリーン（ｓｃｒｅｅｎ）／ディスプレイ（ｄｉｓｐｌａｙ）：画像、文字、数字、図表要素などを表示するために用いられる２次元領域。

モニタ（ｍｏｎｉｔｏｒ）：スクリーン／ディスプレイを含む３次元アイテム。

モニタ追跡機（ｍｏｎｉｔｏｒ ｔｒａｃｋｅｒ）：典型的には少なくとも１つのカメラおよび何らかの計算機能を含む、モニタを追跡することが意図されるシステム。これは、物体追跡機の特有の実装形態である。

ユーザ（ｕｓｅｒ）：システムを使用する者（オペレータ、内科医、または外科医と呼ぶこともできる）。

（座標系におけるアイテムの）位置（ｐｏｓｉｔｉｏｎ）：座標系におけるアイテムの少なくとも１つの点の座標および座標系に関するアイテムの配向、またはその代わりに、座標系において直線上にないアイテムの少なくとも３つの点の座標。

光（ｌｉｇｈｔ）：可視領域内の放射を含み、可視領域外の放射（赤外光など）も含む、（レンズ、プリズム、およびセンサなど）一般的な電気‐光学構成要素を用いて扱うことができる電磁放射。

視標追跡カメラ（ｅｙｅ ｔｒａｃｋｉｎｇ ｃａｍｅｒａ）：ユーザの一方または両方の目を含む画像を取り込むことが意図されるカメラ。

位置決めカメラ（ｐｏｓｉｔｉｏｎｉｎｇ ｃａｍｅｒａ）：任意の物体およびアイテム（典型的には、モニタ、関連するディスプレイ、および利用可能なときはマーカなど、対象の物体）を含む画像を取り込むことが意図されるカメラ。

［好適な実施形態の詳細な説明］
本明細書の以下の説明は、説明を単純にし一例に集中するために、主としてモニタである物体について行われるが、その説明はどの物体にも当てはまることが理解されよう。説明は、手術室の例も用いて行われるが、本発明は、物体に関して視標追跡を利用するどの環境にも応用可能である。

図１Ａは本発明の実施形態による追跡システムの図である。追跡システム１００は、モニタスクリーン上に注視点を生成するように、（ユーザの）注視線の入射点およびモニタ１０４（および内部に収容されるスクリーン１２４）を計算するように構成される。追跡システム１００は、ユーザ１１２の目を含むボリュームの画像を取り込むように構成される視標追跡カメラ１０８、照明光源１３２、およびコンピュータ１３０を含む。コンピュータ１３０は、カメラ１０８から受信される画像を分析し、座標系、この例では、座標系１４４に関するユーザ１１２の注視線を生成するように構成することができる。カメラ１１６は、物体を、この例ではモニタ１０４を囲繞する空間を追跡するように構成される。カメラ１０８、カメラ１１６、および照明光源１３２は、支持体またはプラットフォーム１２８上に装着される。この例では、座標系１４４は、支持体１２８、カメラ１０８、カメラ１１６、および照明光１３２に関して固定される。照明光源１３２は、例えば視標追跡のための角膜反射など、様々なタスクを支援するように構成することができる。座標系１４４は、カメラ１０８および１１６、照明光源１３２、または支持体１２８のいずれかの座標系でよい。例えば１つまたは複数のカメラに関して不変の任意の座標系が存在することもできる。照明光源１４２を追加することができ、照明光源１４２は、顔の特徴を検出および認識するための顔用の照明光を生成するように構成することができる。照明光源１４２は、例えば、米国アレクサンドリアのＬｕｘａｎｄ，Ｉｎｃ．から市販されるＦａｃｅＳＤＫとすることができる。照明光源１４２は、支持体１２８上に装着できるが、他の位置に装着することもできる。照明光源１５２を追加することができ、照明光源１５２は、十分に照明された物体の画像を生成するためにカメラ１１６の動作を容易にするように、カメラ１１６によって視認可能なモニタ１０４および他の物体を囲繞する空間を照明するように構成することができる。照明光源１５２は、支持体１２８上に装着できるが、他の位置に装着することもできる。カメラ１０８は、ユーザ１１２の目の画像を生成し、その画像をコンピュータ１３０に供給するように構成される。カメラ１０８は座標系１４４において固定されるが、パンおよびチルト機能を有することができる。コンピュータ１３０において行われる画像分析に基づいて、コンピュータ１３０は、使用される場合はパンおよびチルトの既知のパラメータを含む、カメラ１０８の既知の座標系と座標系１４４との間の変換を用いて、座標系１４４に関する注視線を生成することができる。典型的に、ユーザ１１２は、外科的処置を行い、その外科的処置の進行をモニタ１０４のスクリーン１２４上で観察することになるか、またはスクリーン１２４を観察しながら別の行為を行うことになる。

追跡システム１００はカメラ１１６を含み、カメラ１１６は、ユーザにとって対象の物体またはユーザが見ることができる物体を含むことができるボリュームの画像を生成するように構成される。このボリュームは、モニタ１０４、追加のモニタ、およびそのボリューム内に位置する他の物体を含んでよい。カメラ１１６も、カメラ１１６の座標系で与えられる点が、座標系間の既知の変換を用いて座標系１４４でも知ることができるように、座標系１４４の既知の位置で支持体１２８上に装着される。コンピュータ１３０と協働するカメラ１１６は、コンピュータ１３０が座標系１４４に関するモニタ１０４の座標ならびに他のモニタおよび物体の座標を生成することを可能にすることができる。場合によっては、コンピュータ１３０で物体認識アルゴリズムを使用することができ、場合によっては、物体は、コンピュータ１３０のより単純かつ高速の画像認識および画像認識アルゴリズムを支援し、座標系１４４における物体およびそれらの位置情報を識別するように、特定の識別子を備えてよい。一部の例では、コンピュータ１３０は、座標系１４４に関してモニタスクリーン１２４上に表示される画像要素の座標を抽出するように構成することができる。コンピュータ１３０は、モニタスクリーン１２４上に表示される画像を受信しそれを分析し、そうすることで、座標系１４４に関するモニタスクリーン１２４の平面および境界を生成するように構成ことができる。モニタ追跡機は、カメラ１１６によってカバーされるボリュームに存在する物体の、カメラ１１６による視認性を良好にする、追加の照明光源（図１に示さない）を１つまたは複数含むこともできる。

カメラ１０８およびカメラ１１６は、有線のラインまたは無線の通信ラインとすることができる通信ライン１６０を通してコンピュータ１３０と通信するように構成される。有線または無線の通信ラインは長さが限定されず、コンピュータ１３０はどの位置にも配置することができる。照明光源１３２、１４２、および１５２のうちのいずれか１つを、照明光源のうちのいずれか１つの強度を制御するかまたは照明光源のＯＮ／ＯＦＦを切り替えるように構成できるコンピュータ１３０に接続することもできる。手術室の例では、手術台１３６は、典型的にはユーザ１１２と支持体１２８との間に位置する。照明光１４２および１５２はそれぞれ、より高い照明光の強度などの様々なニーズに対処し、影を減らし、不明瞭な物体を克服するように、複数の位置に位置する複数の照明光ユニットから構成することもできる。モニタ１０４もしくは他のモニタ、または対象の物体は、典型的に、ユーザからさらに離れる方向においてカメラ１１６の背後の空間に位置することになる。

座標系１４４は一例として設けられ、カメラ１０８もしくはカメラ１１６の座標系、またはカメラ１０８および１１６に関して固定される他の任意の座標系とすることもできることが理解されよう。カメラは、いずれにしても互いに関して固定された位置に装着することができる。

図１Ｂは図１Ａのシステムの追加の図であり、図では、図１Ｂに示す新たな要素を見やすくし理解しやすくするために、システム１００の構成要素のほとんどを図面から除いた。ここではカメラ１０８がその頭部ボックス１６２と共に示される。頭部ボックス１６２は、カメラ１０８がユーザ１１２の画像を含む画像を取り込むことができ、そうすることで、コンピュータ１３０がそれら画像を用いて座標系１４４に関するユーザ１１２の視線または顔認識データなどの情報を生成できる、ボリュームである。頭部ボックス１６２は、カメラ１０８のセンササイズおよび解像度、カメラ１０８に用いられるレンズの焦点距離、被写界深度、ならびにカメラ１０８の集束能力などのパラメータによって定められる。一部のカメラ構成では、頭部ボックスを拡大するためにズーム、パン、およびチルトを利用可能にすることができる。

物体ボックス１６４は、カメラ１１６が例えばモニタ１０４などの物体の画像を取り込むことができ、そうすることで、コンピュータ１３０がそれら画像を用いて座標系１４４に関するモニタ１０４およびスクリーン１２４の位置などの情報を生成できる、ボリュームである。物体ボックス１６４の寸法は、頭部ボックス１６２の寸法がカメラ１０８のパラメータに応じて変わるのと同じように、カメラ１１６のパラメータに応じて変わる。

追跡システム１００（図１Ａ）の動作を容易にする照明光源１４２および１５２は、支持体１２８上に装着することもできるが、一部の例では、それら照明光源は、天井もしくは壁または他の位置に装着することができるか、あるいはまったく使用しないことが可能である。モニタ１０４は、支持体上に装着するか、カート上に装着するか、手術室の天井に取り付けるか、壁に掛けるか、または移動可能な懸架装置に装着することもできる。カメラ１１６とモニタ１０４（または物体ボックス１６４内の別の追跡される物体）との間の距離は、カメラ１１６の性能および物体上の注視点の位置を判定する際の所望の正確度によってのみ限定される。例えば、その距離は、１．５メートル、２メートル、４メートル、または６メートルとすることができ、実際は任意の距離とすることができる。同じように、カメラ１０８（視標追跡カメラ）とモニタ１０４（または物体ボックス１６４内の追跡される別の物体）との間の距離は、カメラ１１６の性能および物体上の注視点の位置を判定する際の所望の正確度によってのみ限定される。例えば、その距離は、１．５メートル、２メートル、４メートル、または６メートルとすることができ、実際は任意の距離とすることができる。物体ボックスの幅および高さを拡大し、やはりコンピュータ１３０がパンおよびチルトの既知の値を用いて座標系１４４における物体の位置を判定することを可能にし、したがって、カメラ１１６の座標系と座標系１４４との間の座標変換が分かるように、カメラ１０８に関して上述したのと同じようにカメラ１１６によってパンおよびチルトを使用することもできる。カメラ１０８とカメラ１１６との間の距離も、追跡可能な最大注視角など視標追跡機の性能によってのみ限定される任意の距離および任意の相対位置に固定できることが理解されよう。

任意の物体の位置は、一般に、指定の座標系におけるその座標によって定められる。一例では、支持体１２８は、１４４の矢印によって概略的に示される基準座標系を設ける。座標系１４４は、カメラ１０８、カメラ１１６、および照明光源１４２に関して固定される。ユーザおよび他の対象物ならびに手術室内の物体の座標は、座標系１４４のカメラ１０８およびカメラ１１６の既知の位置に基づいた、カメラ１０８およびカメラ１１６の座標系から座標系１４４への座標系の変換によって、座標系１４４において判定することもできる。

追跡可能な２つの物体を示す図２Ａを参照する。座標系１４４はコンピュータ１３０内で実現される。その原点は、支持体１２８に関する任意の位置および任意の配向で実現することができる。この例では、Ｘ軸は、カメラ１０８の光軸に垂直かつ支持体１２８に平行であり、Ｙ軸は、プラットフォーム／支持体１２８に垂直である。

カメラの座標系は、例えば、その原点がイメージセンサの中心にあり、Ｘ軸がセンサラインに平行であり、Ｙ軸がセンサカラムに平行であり、Ｚ軸がレンズを向くものとして判定することができる。座標系１４４におけるカメラ１０８の位置情報は、座標系１４４におけるそのセンサの中心の位置、および（典型的には、センサ平面に垂直なベクトルの方向によって定められる）センサ平面の配向によって判定することができる。頭部ボックス空間内の点の座標は、カメラ１０８によって取り込まれコンピュータ１３０によって生成される画像を用い、レンズ情報および幾何光学を用いることで、カメラ１０８のセンサ上のこれら物体の画像の位置から計算することができる。頭部ボックスに単一のカメラが用いられるときは、点までの距離は、モータ駆動集束レンズの集束情報から、レンズがズーム機能を有する場合はズームレベルまたは倍率情報からも、計算することができる。ユーザの瞳孔の中心の位置を判定するために顔認識アルゴリズムを用いると、座標系１４４における１つまたは２つの瞳孔位置の中心の判定が支援される。

座標系１４４における物体ボックス内の点の位置情報は、同じようにして判定することができる。その場合、瞳孔の代わりに、モニタ１０４のスクリーン領域１２４である有限平面を位置特定することが望ましい場合がある。これは、コンピュータ１３０にモニタのパラメータ情報（寸法、色、特定の特徴）を供給し、リトアニアのヴィリニュスのＮｅｕｒｏｔｅｃｈｎｏｌｏｇｙから入手可能なＳｅｎｔｉＳｉｇｈｔ ＳＤＫなどの物体認識ソフトウェアを用いることによって行うことができる。その実際の寸法がカメラのセンサ情報およびレンズ情報と共にコンピュータ１３０に連絡される、モニタなどの既知の物体の場合、コンピュータ１３０は、座標系１４４におけるモニタ１０４およびスクリーン１２４の位置情報を計算することができる。

図２Ａに示すように、（モニタなどの）物体は、形状、色、光源、および逆反射体のうちのいずれかを有するマーカを備えることもでき、それらマーカは、特定の物体を識別することによって物体認識ソフトウェアをさらに支援し、物体の空間位置の計算を助けるように構成することができる。モニタの場合、マーカは、モニタの表示機能によって供給されるディスプレイ領域上に表示することができる。この特定の例では、モニタ１０４は、モニタ１０４のフレームの角に位置する４つのマーカ２０２、２０４、２０６、および２０８を有する。これらマーカは、上記に説明したマーカのうちのいずれのタイプとすることもできる。コンピュータ１３０は、これらマーカおよびそれらの幾何学的位置（および／または色、形状、サイズ）を格納することができ、モニタ１０４は、（この例ではマーカをちょうど４つ有するので）適切に識別することができる。モニタ１０４の位置情報は、カメラ１１６の取得画像に現れるので４つのマーカ間に描かれる仮想四角形の形状の相対的な幾何形状および寸法から、またはＲｏｓｅｎｈａｈｎ，Ｂ．著「Ｆｏｕｎｄａｔｉｏｎｓ ａｂｏｕｔ ２Ｄ‐３Ｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ」と、Ｗｉｋｉｐｅｄｉａ：「ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／３Ｄ＿ｐｏｓｅ＿ｅｓｔｉｍａｔｉｏｎ」と、Ｒｏｓｅｎｈａｈｎ（Ｒｏｓｅｎｈａｈｅｎ），Ｂ．、Ｓｏｍｍｅｒ Ｇ．：「Ａｄａｐｔｉｖｅ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ｄｉｆｆｅｒｅｎｔ ｃｏｒｒｅｃｓｐｏｎｄｉｎｇ ｅｎｔｉｔｉｅｓ」、Ｖａｎ Ｇｏｏｌ，Ｌ．（編）ＤＡＧＭ ２００２年、第２４４９巻、第２６５〜２７３頁、Ｓｐｒｉｎｇｅｒ、Ｈｅｉｄｅｌｂｅｒｇ（２００２年）と、Ｄａｎｉｅｌ Ｆ．Ｄｅｍｅｎｔｈｏｎ、Ｌａｒｒｙ Ｓ．Ｄａｖｉｓ「Ｍｏｄｅｌ‐ｂａｓｅｄ ｏｂｊｅｃｔ ｐｏｓｅ ｉｎ ２５ ｌｉｎｅｓ ｏｆ ｃｏｄｅ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、１９９５年６月、第１５巻、第１版、第１２３〜１４１頁とに記載されるような２Ｄ−３Ｄポーズ抽出方法を用いることで、抽出することができる。

モニタ２００の例では、角に配置される４つのマーカ２１２、２１４、２１６、および２１８に加えて、追加のマーカ２２０が１つある。こうしたマーカの配置は、このモニタを明白に識別するように物体認識ソフトウェアの使用を容易にし、またコンピュータ１３０に格納され位置計算ソフトウェアが利用可能であるマーカの幾何形状に基づいてその空間位置を生成するために、モニタ２００に固有のものとすることができる。

図２Ｂは、４つのモニタ１０４、２４０、４２２、および２４６が一緒に集まって物体２３０を形成する例を示す。３つのマーカ２３２、２３４、および２３６を用いて、物体２３０を識別し、それをコンピュータ１３０に格納されるこの物体の幾何情報と関連付けることができ、その結果、カメラ１１６によって取り込まれる画像をコンピュータ１３０によって使用して物体を特定の物体２３０として識別することができる。コンピュータ１３０は、物体２３０単独のまたはマーカ２３２、２３４、２３６を含む、格納された幾何情報を用いて、例えば座標系１４４などの所望の座標系における物体２３０の位置を計算することができる。コンピュータ１３０は、コンピュータ１３０に格納される（またはどこか別の場所に格納されコンピュータ１３０によって検索可能な）物体２３０の情報に基づいて、スクリーン１２４、２５０、２５２、および２５６それぞれの座標系１４４における位置を計算することもできる。

モニタは必ずしも図２Ｂの例と同じ配置に位置決めされるとは限らず、モニタは必ずしも同じサイズのものとは限らず、アイテム１０４、２４０、４２２、および２４６はいずれも必ずしもモニタであるとは限らないことが理解されよう。任意の２つ以上のアイテムが、明確な既知の配置において互いに関して位置決めされることによってこうした物体を構成することができ、その物体の情報がコンピュータ１３０に格納され、コンピュータ１３０によって使用されることが可能になる。

追跡システム１００は、機能するためには較正しなければならない。システムの較正によって、（頭部ボックス１６２内に位置する）ユーザ１１２の目から抽出される注視情報と、（物体ボックス１６４内に位置する）ある物体上のユーザの注視点との間のマッピングが生み出される。追跡システム１００の較正は、概して、典型的には追跡システム１００よりもユーザから遠くにあるユーザの正面の空間に、較正ターゲットを設けることによって行われる。こうしたターゲットごとに、ユーザがターゲットを見るときのユーザからの注視情報（典型的には、瞳孔と光源１３２の角膜反射との間の関係、場合によっては、頭部ボックス内の位置も）と関連付けて、座標系１４４におけるそのターゲットの位置が記録され、ユーザの位置も記録される。こうしたターゲットを物体ボックス内の該当する空間にわたって、正確度のために望ましいかもしれないターゲットの密度で広げることによって、所望の空間全体がマッピングされ、較正が完了する。ここで、ユーザ１１２から取った注視情報と、物体ボックスの空間の対応する注視点（および注視線）との間の直接マッピングが存在する。ここで、ユーザ１１２から取得されるいずれの注視情報についても、（較正マッピングによって）記録されたデータを用いて、対応する注視点が判定される。単純な実装形態では、最も近くの格納注視データを検索することができ、関連するターゲットの既知の位置は、注視線が通る点を示すことになる。ユーザの目の既知の位置に関して、注視線は、２つの既知の点を通る線の数式を計算することによって判定される。別の例では、較正中に、以前に記録された同様のデータに関する現在の注視データについて補間パラメータを抽出することができる。これら同様の記録された注視データは、検索されたこの特定の注視データと関連する空間の点を予測する補間値を生み出すために使用できる、対応する注視点を物体ボックス内に有する。より高度な例では、ユーザ１１２から記録される注視データを較正ターゲットの既知の位置にマッピングするために、較正中に線形回帰を行うことができる。次いで、この線形回帰の係数を用いて、ユーザ１１２からのその後の注視データを全て物体ボックス内の注視点に変換することができる。こうした視標追跡の較正方法は、一般に、当技術分野で知られている。

図３Ａは較正概念の図である。図３Ａでは、ターゲットは、モニタ１０４のスクリーン１２４上に表示される十字マーカ３０４である。ターゲット３０４を含む、スクリーン１２４上に表示される画像は、コンピュータ１３０または別の供給源から生成することができる。画像が別の供給源から生成される場合は、その別の供給源がコンピュータ１３０と通信することができ、そうすることで、コンピュータ１３０は、このターゲットまたは別のターゲットの表示を「リクエスト」することができ、コンピュータ１３０は、リクエストされたターゲットが表示されることおよびこのターゲットに関する較正を開始できることも通知される。座標系１４４におけるターゲット３０４の位置は、（位置決めカメラ１１６および物体追跡機機能を用いて）モニタ１０４の位置および情報を知り、スクリーン１２４内のターゲット３０４の位置情報を有することによって、コンピュータ１３０に知られる。コンピュータ１３０は、適切な物体認識ソフトウェアによるカメラ１１６からの画像を用いて、所望のターゲットが表示されることと、スクリーン１２４上のその位置とを検出することもできる。ユーザ１１２がターゲット３０４を注視し、したがって、ユーザの目３１２の位置からターゲット３０４の位置まで注視線３０６が作られる。カメラ１０８は、照明光１３２からの角膜反射を含む、ユーザの目３１２の画像を取り込む。コンピュータ１３０は、その画像から、座標系１４４における目の位置３１２に関して、瞳孔の中心の位置および角膜反射の中心などの視標追跡パラメータを計算する。これは、座標系１４４におけるカメラ１０８のセンサ情報ならびにレンズの集束およびズームのパラメータを用いて行うことができ、そうすることで、座標系１４４における目３１２の３Ｄ位置がコンピュータ１３０に知られるようになる。そのために、立体視法を使用することもでき、以下で説明する。カメラ１１６は、モニタ１０４の画像およびターゲット３０４の画像を含む、その正面の画像を取り込む。コンピュータ１３０は、その画像を使用して、上記に言及した方法のいずれかを用い（例えば、モニタがマーカを有する場合はそれらマーカを用い）、さらにモニタ１０４の格納された既知の幾何形状を用いて、モニタ１０４を識別して、座標系１４４におけるスクリーン１２４の位置を判定する。コンピュータ１３０は、やはりその画像を使用して（例えば、スクリーン１２４と関連する画像領域上で既知のターゲット形状について相互相関方法を用いて）ターゲット画像を識別し、座標系１４４におけるその位置を計算する。座標系１４４におけるモニタスクリーン平面の位置および配向ならびに座標系１４４におけるターゲットの方向によって、コンピュータ１３０が、スクリーン１２４の平面との、カメラ１１６からの視線３１０の交点を計算することが可能になり、したがって、座標系１４４におけるターゲット３０４の３Ｄ位置が識別される。以下で説明するように、マーカまたは物体の幾何形状の代わりにまたはそれと併せて、立体視法をこの目的で用いることもできる。カメラ１０８の画像（座標系１４４における目３１２の位置）から計算されるデータ、およびカメラ１１６の画像（座標系１４４におけるターゲット３０４の位置）から計算されるデータは、座標系１４４における注視線３０６の情報を定める。注視線の情報は、１つの較正点を生成するために、カメラ１０８およびカメラ１１６によって取り込まれる画像から計算されるデータと関連付けて記録および使用することができる。

このプロセスはスクリーン１２４上の様々な位置に表示される追加のターゲットに繰り返されて、スクリーン１２４のサイズによって利用可能な空間の所望のカバー範囲を生成して、任意の点の所望の正確度を支援する。単一の目３１２の位置を参照しながら較正を説明するが、視標追跡アルゴリズムは、典型的には、頭部（および目）の動きを補償することが意図される特徴を含むことが理解されよう。較正は、カメラ１０８の正面の有用なボリューム上に様々な目の位置を含むこともできる。

モニタ１０４が追跡範囲の立体角をカバーしないため較正が視標追跡機の追跡範囲全体をカバーしなかった場合は、ここで、モニタ１０４を物体ボックス１６４内の別の位置に移動することができ、以前に較正されなかった注視線に対して較正を継続することができる（本質的に、モニタ１０４の様々な位置に対して上記に説明した手順を繰り返す）。物体ボックス１６４内の較正の所望のカバー範囲および解像度を生成するように物体ボックス１６４のスパン全体またはその任意の所望の一部分が較正されるまでこのことを繰り返すことができる。

物体ボックス１６４のより大きい部分に較正ターゲットの広がりを生成するように、複数のモニタを様々な位置に配置することができる。

モニタ１０４は、１つの位置においてスクリーン１２４によって追跡範囲の立体角全体をカバーするように、十分にカメラ１１６の近く位置決めすることもできる。モニタを移動することなくこの配置で追跡範囲全体を較正することができる。

較正のためのターゲットを生成するためにモニタ１０４を使用する代わりに、所望の数および分布の較正ターゲットを物体ボックス１６４内に生成するように、ターゲットを室内に分散させることができる。図３Ｂを参照しながら一例を説明する。

図３Ｂでは、部屋の壁のうちの２つが数字表示子３３０および３３２によって示される。室内のキャビネット（または他の任意の家具または物体）が数字表示子３４４によって表される。３２４および３３４など星形の要素が較正ターゲットを表す。較正ターゲットは、同一とすることもでき、任意の所望の形状および色の異なる図形によって別異可能とすることもできる。それらは、異なる色のＬＥＤまたは様々なＯＮ／ＯＦＦシーケンスパターンで動作するＬＥＤなどの光源とすることもでき、時間と共に変化する強度を有することができる。ＬＥＤのクラスタからターゲットを構築することができる。そのクラスタは、任意の空間的分布、ＯＮ／ＯＦＦシーケンス、および配色で配置することができる。ターゲットは、照明光源１５２（図２Ａ）からの光を反射する逆反射体とすることができる。任意の形状、画像、色、ＯＮ／ＯＦＦシーケンス、および輝度で部屋の壁および他の物体に投影することができる。座標系１４４におけるターゲットの位置は、レンズのフォーカス／ズーム情報と組み合わせたカメラ１１６の画像を用いて判定することができる。あるいは、室内のターゲットの幾何学的配置はコンピュータ１３０に供給することができる。カメラ１１６によって取り込まれる画像および較正ターゲットの空間配置の知識を評価することによって、コンピュータ１３０は、座標系１４４における各ターゲットの位置の計算を支援することができる。ターゲットごとの視線の較正は、上記で説明したのと同様に行われる。図３Ｂの部屋に拡散された３２４など、いくつかのターゲットを用いた較正の実行は、モニタスクリーン１２４なしで行うことができる。位置決めカメラ１１６が、ターゲットの任意のサブグループまたはターゲット全てを用いて、較正される注視角範囲をカバーするようにターゲットを取り込むように、視標追跡機を位置決めするだけで十分である。ターゲットは十分な密度になるように分散すべきである。互いの近くにターゲットが増えれば、較正はより正確になる。所与の組のターゲットの正確度を向上するために、視標追跡機は、１つの較正セッションから他のセッションまで移動することができ、そうすることで、位置決めカメラ１１６の視野内のターゲットの新しい位置は前のセッションとは異なり、したがって、較正のより良好な正確度に寄与するために、事実上より高い密度でターゲットが設けられる。このステップは、所望に応じた回数繰り返すことができる。較正のためのターゲットの利用は、説明されるように、装着される位置に関係なくかつ関連する座標系に関係なく、任意の位置決めカメラを用いて行うことができることも理解されよう。

例えば、ターゲットの光源は、コンピュータ１３０に接続されたドライブボックス３４０に接続することができる。ドライブボックス３４０は、コンピュータ１３０によって制御することができ、ターゲットそれぞれの動作パラメータを制御するように構成することができる。

プロジェクタの場合、コンピュータ１３０は、ターゲット画像を部屋の壁、天井、床、および家具のいずれかに投影するか、または特定の時間に特定の図形ターゲットを単純に照明するように、プロジェクタ３４２を制御するためにプロジェクタ３４２に接続することができる。

一方法では、ターゲットの相対的な幾何学データがシステムに知られていないときは、較正のために使用される全ターゲットが、追跡範囲内に、さらに物体ボックス内になければならない。

別の方法では、ターゲットの相対的な幾何学データがシステムに知られているときは、（１）物体追跡機が最小限の数（典型的には、３であるが、特別な配置では、例えば床に対する位置決めカメラの高さおよび角度が固定されるときに、２で十分な場合がある）のターゲットを識別し、（２）システムが、どのターゲットが現在の較正ターゲットとして働いているかを知るだけで十分である。このことから、システムは、物体ボックスの外側にあるが追跡範囲の内側にあるターゲットも較正することができる。較正ターゲットを生成するためにシステムが、例えば、ＬＥＤまたはプロジェクタを使用しているときは、使用中の較正ターゲットはシステムに知られることが可能である。

座標系におけるターゲットの位置を判定するためにポーズ検出技術を用いるときは、各ターゲットの互いに関する位置はシステムに知られる必要があることが理解されよう。これは、ターゲットの位置の設計によって行うことができる。

座標系１４４におけるユーザの目、較正ターゲット、物体のマーカ、および物体のうちのいずれかの位置の検出は、図４に示すような立体視撮像を用いて行うこともできる。カメラ１０８および４０８は、少なくとも部分的に重なる頭部ボックス（図４に示さない）を有する。重なっているボリュームでは、カメラ１０８および４０８からの画像がコンピュータ１３０によって用いられて、各カメラから目３１２までの方向および目までの対応する距離を抽出し、そうすることで、座標系１４４における目の位置が判定される。コンピュータビジョンの三角測量技術による３Ｄ空間における点の位置の抽出は、当技術分野で周知であり、Ｗｉｋｉｐｅｄｉａ（ｗｗｗ．ｗｉｋｉｐｅｄｉａ．ｃｏｍ）の項目「Ｔｒｉａｎｇｕｌａｔｉｏｎ（ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ）」に記載されている。

マーカ、ターゲット物体検出のいずれかが立体撮像と組み合わせて用いられるときは、立体撮像は、上記で言及した技術（画像内の位置、集束、およびポーズ検出の方法など）の代わりに用いるか、またはアイテムの位置の判定に正確度を加えることができる。立体画像が、室内の任意の位置に配置され背景およびユーザを様々な角度で自然に視認する、２つのカメラの使用によって得られるので、立体撮像も、ユーザによって使用できるガラスからの眩しい鏡面反射に対して感受性が低い。

立体視の対を含む２つの画像は、典型的には、同じ面を含むが、画素の位置が異なり、したがって、各面の中心点を対象の点として用いて、基準座標点または基準座標系からそこまでの距離を抽出することができる。これは、既知の立体三角測量の原理および数式を用いて行うことができる。

立体視システムは、本質的に、システム構成要素の重複（少なくともカメラの重複）を含み、その結果、ある一定の環境下では、ガラスからの眩しい鏡面反射を避けるために、一方の構成要素を選択するか、または一方の構成要素に例えば他方の構成要素に対する優先権を与えることができる。

同じ概念が物体の立体視撮像に当てはまる。図１から図４では、カメラ１１６を単独で（または立体視機能のためにカメラ４１６と共に）用いて、２３２などのマーカを有することができるモニタ１０４などの物体の画像を取り込むことができ、コンピュータ１３０は、それら画像を用いて、１４４などの任意の選択される座標系における物体の位置を判定することができる。

ここで、モニタ１０４に（またはモニタ１０４に対して固定されるどこかに）取り付けられた物体追跡機の位置決めカメラ５００を示す図５を参照する。本発明のこの例では、追跡される物体は視標追跡機である。コンピュータ１３０は、直接的なケーブル接続を通してまたは無線で、カメラ５００によって取り込まれる画像を受信することができる。一部の例では、取り込まれる画像は、例えばフラッシュディスクなどの格納媒体にまたは他の任意の方式で、コンピュータ１３０に供給することができる。コンピュータ１３０は、カメラ５００の情報（レンズのパラメータ、センサのパラメータ、およびモニタ１０４に対するセンサの位置）を格納する。モニタ１０４の幾何形状もコンピュータ１３０に格納される。モニタ１０４およびカメラ５００の幾何形状は他の情報と一緒に、カメラ５００およびモニタ１０４に関して固定される座標系５４４に関して生成および格納することができる。カメラ１０８もしくは支持体１２８の座標、または関連する座標系１４４内の（全て互いに固定された関係になるように組み立てられる、支持体アセンブリ、カメラ１０８、および照明光１３２のいずれかの上に位置する）マーカ５０２および５０４も、コンピュータ１３０に格納される。カメラ５００によって取り込まれる画像を用いることによって、コンピュータ１３０は、支持体１２８および視標追跡機アセンブリの位置の情報を用いて、座標系５４４における座標系１４４の相対的な位置を計算することができる。言い換えれば、コンピュータ１３０は、座標系１４４と５４４との間の変換を計算することができる。この情報によって、カメラがモニタ１０４をカバーする必要なしに、スクリーン平面１２４（または任意の既知の物体表面）とのカメラ１０８の画像から計算される注視線の交点は、任意の座標系５４４、１４４、または５４４および１４４のうちの少なくとも一方に対する既知の変換を有する他の任意の座標系において計算することができる。

支持体１２８上に位置する要素が全て必要とされるわけではなく、異なる要素が互いを補完できることが理解されよう。例えば、カメラ１０８のセンサおよび光学部品のパラメータをカメラの外部幾何形状と一緒にコンピュータ１３０に格納することは、物体との注視線の交点判定するために必要な情報全てを供給するために、物体認識ソフトウェアおよびカメラ１０８に関して指定される座標系と一緒に働くことができる。

較正は、較正ターゲットも座標系のうちの１つに含まれ、その結果、注視線および物体との注視線の交点を計算する際に、該当する系の情報を全て使用できるという仮定に基づく。このことは、較正ターゲットが物体の座標系（こうした物体は、例えば、モニタ１０４および座標系５４４である）に関する既知の位置において物体上に表示されるように実行される。しかし、図５の例では、（図３Ｂおよび図４の）３２４などの較正ターゲットは、システムカメラ（１０８および５００）のいずれによっても視認不能でありこれらターゲットの相対的位置がシステムに知られないので、上記の方法のいずれかを用いても座標系１４４または５４４に含まれる道はない。このことを克服し、スクリーン１２４領域によって生成される立体角よりも大きい物体ボックスに対して較正するために、較正サイクルは、所望の物体ボックス寸法がカバーされるまで、較正サイクルごとに異なる位置までモニタ１０４を移動することによって繰り返すことができる。こうした変位は概してＸ−Ｙ方向であるが、Ｚ方向の変位はプロセスに影響しない。位置決めカメラ５００は、支持体１２８アセンブリと関連するマーカの画像を取り込み、座標系１４４と５４４との間の変換を計算するのに必要な情報をコンピュータ１３０に供給する。この情報は、座標系５４４における較正ターゲットの位置と協働して、注視線の較正を支援する。

この例でも、レンズ情報（ズーム、フォーカス）を用いて、座標系５４４における取り込まれた物体の位置を判定することができ、追加のカメラをカメラ５００に追加して、座標系５４４における取り込まれた物体の位置の判定に、立体視の恩恵を利用することができるか、またはポーズ判定方法を用いて、マーカ５０２と５０４との互いに関する位置の少なくとも一部分をコンピュータ１３０によって使用するために、格納データを関連付けることができる。これら方法を前に与えた例のいずれかと共に利用できることが理解されよう。

図６Ａは、視標追跡カメラまたは視標追跡アセンブリなどの構成要素およびモニタなどの物体を取り込むためにカメラ６００が使用される、本発明の追加の例示的な実施形態の図である。図６Ａの例では、カメラ６００は、視標追跡カメラの座標系の位置（または１４４など、視標追跡カメラに固定される座標系の位置）を識別するのに必要なものを含む、モニタ１０４（物体）および支持体１２８上に位置する要素の少なくとも一部を取り込む。カメラ６００によって取り込まれる画像はコンピュータ１３０に伝達される。物体認識またはマーカなどの上記に説明した方法および格納される情報のいずれかを用いることによって、コンピュータ１３０は、カメラ６００の座標系６４４における物体（モニタ１０４）の位置を計算し、座標系６４４における座標系１４４の位置も計算する。実際は、これは、２つの座標系の間の変換を実行する。コンピュータ１３０は、その情報を用いて、物体（この例ではモニタ１０４）との、座標系１４４において与えられる注視線の交点を計算することができる。

物体との注視線の交点の計算のために任意の座標系を選択してよく、上記では座標系６４４が単なる例として選択されることが理解されよう。

物体ボックス内でモニタ１０４を移動させることによって、図５を参照しながら説明したのと同じようにして較正を行うことができる。図６Ａの例では、カメラ６００が、例えば、図３Ｂおよび図４のターゲット３２４など、追加の較正ターゲットを取り込む場合は、こうしたターゲットを上述のように較正のために用いることができる。

例えばカメラ６０２など、カメラをさらに追加することができる。複数のカメラを追加でき、カメラはそれぞれパンおよびチルト機能を有することもできるが、説明は、複数のカメラの使用が類似し当業者によってよく理解される、追加の１つのカメラについて言及する。

カメラ６０２の座標系６４６とカメラ６００の座標系６４４との間の変換は、コンピュータ１３０に知られ、格納されることが可能である。一部の例では、変換は、両カメラによって取り込まれる既知の格納データを用いてコンピュータ１３０によって計算することもできる。一例は、両カメラによってターゲット５０２および５０４を取り込むこととすることができる。コンピュータ１３０に格納されるこれらターゲットの既知の幾何形状を用いて、それらターゲットに関する各カメラの位置を、したがって、座標系６４４と６４６との間の変換を計算することができる。

複数のカメラのうちの全てがカメラの座標系間の変換の計算を支援するために同じアイテムを取り込む必要はない。カメラ６００、６０２、および６０４の座標系間の変換を事前に知る必要もない。これは、カメラによって取り込まれる画像を通して抽出することができる。例えば、カメラ６００は、支持体１２８上に位置する要素を取り込むことができ、カメラ６０２は、支持体１２８および物体１０４上に位置する要素を取り込むことができ、カメラ６０４は、物体１０４上に位置する要素を取り込むことができる。支持体１２８上に位置する要素は両カメラによって共通して見られるので、これら要素がコンピュータ１３０によって用いられて、座標系６４４と６４６との間の変換を計算することができる。カメラ６０２は物体１２８も１０４も取り込むので、カメラ６０２の画像がコンピュータ１３０によって用いられて、座標系６４４と６４８との間の変換を計算することができる。物体１２８を用いた座標系６４４と６４６との間、および物体１０４を用いた座標系６４６と６４８との間の計算される変換によって、座標系６４４と６４８との間の変換の計算が容易になる。座標系６４４、６４６、６４８と座標系１４４との間の変換を、上述のように、例えば、カメラ６００およびコンピュータ１３０によって、支援することもできる。したがって、任意の１つの所望の座標系によって収集された情報全てを用いて、物体との注視線の交点を生成することができる。

複数のカメラを用いて室内の任意の部分または空間全体をカバーすることができ、そうすると、物体が少なくとも１つのカメラによって取り込まれる限り、任意の物体の位置を使用でき、任意の較正ターゲットを使用でき、少なくとも部分的に重なる視野を有する任意のカメラの対を、重なる視野の立体視の恩恵のために使用することができる。

視野が重なる複数のカメラを用いて、カメラの共通の視野に置かれたアイテムの判定の正確度を改善することができる。第１のカメラの視線が室内の人または他の任意の物体によって妨げられ、異なる位置に位置する第２および第３のカメラが他方のカメラからは不明瞭である情報を提供できる場合は、視野が重なる複数のカメラを用いてバックアップを提供することもできる。

ここで、カメラ１１６単独よりも大きい部屋のボリュームを一緒にカバーする物体ボックスを３つ生成するように、位置決めカメラ１１６、６１６、および６１８が様々な方向に向けられた状態で示される例を示す、図６Ｂを参照する。位置決めカメラ１１６、６１６、および６１８は、位置決めカメラ６００、６０２、および６０４と共に使用することもでき、それらなしで使用することもできる（カメラが全て支持体１２８などの１つの基準に関して固定される場合、マーカ５０２および５０４は必要ない）。カメラ１１６、６１６、および６１８は、支持体またはプレート１２８上に位置する要素に関して固定された位置にある配置によって、カメラ６００、６０２、および６０４とは区別される。より一般的な手法では、カメラ１１６、６１６、および６１８は、座標系１４４に関して固定された位置に配置される。したがって、（カメラ６００、６０２、および６０４とは異なり）座標系間の変換が固定され、コンピュータ１３０に格納されるので、カメラ１１６、６１６、および６１８によって、カメラの座標系と座標系１４４との間の変換を計算するステップが必要なくなる。

別のアイテムに関して固定された位置にあってもそうでなくても、位置決めカメラの任意の組合せを使用でき、位置決めカメラおよび視標追跡カメラの数は異なるものとすることができることが理解されよう。

ある一定のユーザは、視覚能力を向上させる眼鏡を装着することある。ユーザは保護眼鏡を装着することが多い。ある一定の角度で照明されるときに、こうした眼鏡は、例えば光源１３２など単一の照明光源によって供給される照明光の鏡面反射を生むことがある。こうした鏡面反射は、視標追跡機１０８の動作を複雑にする恐れがある。こうした複雑さは、異なる角度でユーザ１１２を照明する２以上の光源を用いることによって軽減することができる。

ここで、角膜反射を生成する２以上の光源の使用例を提示する図７を参照する。この例では、前の図に示す光源１３２に加えて、光源７３２など、追加の光源が１つまたは複数設けられる。光源７３２は、カメラ１０８に関して光源１３２とは異なる位置に位置する。光源７３２は、一方の光源１３２が照明するのとは異なる角度で、照明される空間に存在するユーザおよび物体を照明する。カメラ１０８によって取り込まれる角膜反射が検出不能になるかまたは視標追跡のために使用不能になるように、光源１３２からの光が反射（例えば、ユーザ１１２の眼鏡からの鏡面反射）してカメラ１０８に向かう場合は、光源１３２はＯＦＦにすることができ、異なる角度で照明する光源７３２はＯＮにして、ここで視標追跡機に視認可能な角膜反射を用いて視標追跡の継続を支援することができる。概して、異なる角度で配置される２より大きい数の照明光源を使用することができる。２つの光源がそれぞれ１つずつ、注視範囲の少なくとも一部に少なくとも１つの同じ注視線のための角膜反射を生成するようにそれら光源を配置すべきであることが理解されよう。

２以上の光源間の周期的な切り替えも、実現可能な視標追跡機の動作モードである。あるいは、コンピュータ１３０は、視標追跡機の受信不良を検出し、異なる光源間で自動的に切り替えるように構成することができる。光の反射の強度は分極に依存するので、それぞれの光源または少なくとも１つの光源を分極でき、視標追跡機の受信不良の軽減をさらに単純にする。

較正のために、ユーザ１１２がターゲット３３４などのターゲットについて較正を行うときは、較正はまず一方の光源を用いて行い、次いで、他方の光源を用いて行うことができる。２つの光源（または他の任意の数の光源）のそれぞれに、較正マップが生成される。較正プロセスによって１つの較正ターゲットを選択し、選択したターゲットは、光源のうちの少なくともいくつかについて、順次、較正できることが理解される。あるいは、光源を選択し、次いで、較正ターゲットの少なくとも一部を順次、または較正ターゲットおよび光源を混ぜた他の任意の順番で、較正することが可能である。複数の光源を１つのターゲット（ユーザ１１２）で較正するための光源間の切り替えは、特に光源が（赤外光源など）可視領域内にない場合に、ユーザが較正中に光源の切り替えに気づかずに行うことができることが理解されよう。

複数の視標追跡入力ユニットの例を示す図８を参照する。視標追跡入力ユニットの１つは、座標系１４４と関連するプレートまたは支持体１２８上に装着される角膜反射光源１３２を有するカメラ１０８、および頭部ボックス（図示せず、図１Ｂの１６２）である。カメラ１０８は、ライン１６０を介してコンピュータ１３０に接続されるが、無線接続とすることができる。第２の視標追跡入力ユニットは、座標系８４４と関連するプレート８２８上に装着される角膜反射光源８３２を有するカメラ８０８である。カメラ８０８は、対応する頭部ボックス（図示せず）と関連し、ライン８６０を介してコンピュータ１３０に接続される。１つの物体、この例では、その関連する座標系５４４を有するモニタ１０４を示す。

３つの座標系１４４と８４４と５４４との間の変換は、コンピュータ１３０によって計算される。コンピュータ１３０は、モニタ１０４を含む、カメラ１１６によって取り込まれる画像を受信する。モニタ１０４の格納情報を用いて、座標系１４４におけるモニタ１０４の位置を計算するために画像が分析される。座標系１４４における座標系５４４の位置が、知られることになり、座標系１４４と５４４との間の変換は、コンピュータ１３０によって計算することができる。

同じようにして、カメラ８１６によって取り込まれる画像を分析することによって、座標系８４４における座標系５４４の位置をコンピュータ１３０によって計算することができる。ここで、８４４座標系と１４４座標系との間の変換も、両座標系１４４と８４４との間の共通の座標系５４４を用いてコンピュータ１３０によって計算することができる。同様に、３つの座標系１４４、５４４、および８４４のうちの任意の２つの間の座標変換は、コンピュータ１３０によって計算することができる。

こうした適位置の配置によって、ユーザ１１２は、カメラ１０８の頭部ボックスにいるときは座標系１４４、およびカメラ８０８の頭部ボックスにいるときは座標系８４４など、該当する座標系において、ユーザの注視線が計算される間に、カメラ１０８の頭部ボックスの外側でカメラ８０８の頭部ボックスの中に移動することができる。いずれの場合も、注視線は座標系５４４に変換することができ、注視点は、座標系５４４における注視線とスクリーン１２４との交点から抽出することができる。

この例は２つの視標追跡カメラに限定されず、複数のこうした視標追跡カメラを、所望に応じた数の頭部ボックスを生み出すように空間に分散させ、所望に応じて分散させることができることが理解されよう。追跡できる物体の数も限定されない。

視標追跡カメラの数は位置決めカメラの数と等しくする必要がないことも理解されよう。例えば、ユーザの位置が比較的小さいボリューム内に限定される場合は、１つまたは２つの視標追跡カメラが、注視線を取り込むのに必要な空間をカバーすることができ、同時に、物体が図６Ｂに示すように存在できるより大きい空間をカバーするように複数の位置決めカメラを位置決めすることができる。上記の方法の一部または全部を用いて、注視点を計算するように注視情報および物体情報を取得することができる。同じように、ユーザが大きいボリュームを動き回り、物体が小さいボリュームに拘束される場合は、複数の視標追跡カメラを１つまたは２つの位置決めカメラと共に使用することができる。

注視点がモニタなどの表示機能を有する物体上で判定される全ての例で、ディスプレイ表面上の注視点の位置が分かっており、ディスプレイ表面が分かっているので、注視点は、十字マークなど、ある種の図形の重ね合わせを用いてディスプレイ上に表示することができることも理解されよう。また、物体が例えば発光ダイオード（ＬＥＤ：ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）などの他の制御可能な表示部を有する場合、注視点がＬＥＤの近くまたはＬＥＤ上にあるときに、注視点がそこにあることを示すようにそのＬＥＤをオン（またはオフ）にすることができる。

本発明は単に主な例として用いられる外科的処置の用途に限定されないことが理解されよう。説明したシステムおよび方法は、軍事用途、ゲーム、学術研究、および市場調査を含む拡大された範囲で視標追跡から利益を得る可能性があるいくつかの活動に当てはまる。さらに、典型的な動きの制約のせいで以前は視標追跡に適さなかった多数の用途にも、この技術の想像的かつ独創的な使用が拡大し得ることに留意されたい。

このような手術以外の用途では、物体ボックスは、その環境の角度スパンによって画定することができる。較正は、角度スパンの一部のみをカバーするモニタを物体ボックスの様々な位置にシフトし、前に説明したように各位置で較正手順を行うことによって実行できる。このようにして、ユーザは、システムが本質的に、より大きい物体ボックスがより長い較正プロセスを必要とする任意のサイズの物体ボックスを取り囲むことを可能にすることで、いくつかのセッションの較正プロセスを完了することができる。較正されると、システムは、注視点が追跡される物体を注視範囲が含む限り、どこでも、較正された場所または１つもしくは複数の物体に関する他の任意の位置で、働くことができ、上記の説明に従って、位置決めの手法が実装される。

このシナリオでは、その環境は、視標追跡が望まれる任意の部屋または空間、例えば、手術の用途では手術室、軍事用途では戦闘シミュレータ環境、ゲームの用途ではリビングルーム、市場調査の用途にはスーパーマーケットの通路などとすることができる。

本発明は本明細書で上記に特段に提示および説明したものに限定されないことを当業者なら理解するであろう。そうではなく、本発明の範囲は、添付の特許請求の範囲によって定義され、本明細書で上記に説明した様々な特徴の組合せおよび下位組合せ、ならびに上記の説明を読むと当業者なら思いつく変更および修正を含む。

Claims (31)

1. 物体上のユーザの注視点を評価するシステムであって、前記システムは、
   少なくとも１つの視標追跡カメラおよび少なくとも１つの位置決めカメラであって、互いに関して固定された位置に配置されるように構成される、前記少なくとも１つの視標追跡カメラおよび前記少なくとも１つの位置決めカメラと、
   前記ユーザの目のうちの少なくとも一方から角膜反射を生成するように構成される、少なくとも１つの光源と、
   少なくとも１つのコンピュータと、
   少なくとも１つの物体であって、前記少なくとも１つの物体の幾何学データは、前記少なくとも１つのコンピュータにとってアクセス可能な格納デバイスに格納される、前記少なくとも１つの物体と、
   を備え、
   前記少なくとも１つのコンピュータの任意の組合せは、
   （ａ）前記少なくとも１つの視標追跡カメラから受信される少なくとも１つの画像に基づいて、座標系に関する前記ユーザの注視線を判定し、
   （ｂ）前記少なくとも１つの位置決めカメラから受信される画像に基づいて、前記座標系に関する前記少なくとも１つの物体の位置を判定し、
   （ｃ）前記注視線、前記少なくとも１つの物体の位置、および前記少なくとも１つの物体の幾何学データに基づいて、注視点を判定する、
   ように構成される、システム。
2. 前記少なくとも１つの物体は少なくとも２つの物体を含み、前記少なくとも２つの物体は、互いに関して固定された位置に配置されるように構成される、請求項１に記載のシステム。
3. 前記少なくとも１つの物体はモニタであり、前記モニタは、少なくとも１つのマーカを表示するように構成される、請求項１に記載のシステム。
4. 前記少なくとも１つの位置決めカメラは少なくとも２つの位置決めカメラを含み、前記少なくとも２つの位置決めカメラは、立体視法を用いて前記少なくとも１つの物体の位置を判定可能にするように構成される、請求項１に記載のシステム。
5. 物体上のユーザの注視点を評価するシステムであって、前記システムは、
   少なくとも１つの視標追跡カメラに関して固定される第１の座標系と関連する、少なくとも１つの視標追跡カメラと、
   前記ユーザの目のうちの少なくとも一方から角膜反射を生成するように構成される、少なくとも１つの光源と、
   少なくとも１つのコンピュータと、
   少なくとも１つの物体であって、前記少なくとも１つの物体の幾何学データは、前記少なくとも１つのコンピュータにとってアクセス可能な格納デバイスに格納される、前記少なくとも１つの物体と、
   前記少なくとも１つの物体に関して固定された位置に配置されるように構成される、少なくとも１つの位置決めカメラであって、
   前記少なくとも１つの位置決めカメラに関して固定される第２の座標系と関連するように構成される、前記少なくとも１つの位置決めカメラと、
   を備え、
   前記少なくとも１つのコンピュータの任意の組合せは、
   （ａ）前記少なくとも１つの視標追跡カメラから受信される少なくとも１つの画像に基づいて、前記第１の座標系に関する前記ユーザの注視線を判定し、
   （ｂ）前記少なくとも１つの位置決めカメラから受信される少なくとも１つの画像に基づいて、前記第２の座標系に関する前記少なくとも１つの視標追跡カメラの位置を判定し、そうすることで、一方の座標系の位置を他方の座標系において判定し、
   （ｃ）任意の座標系の前記注視線、任意の座標系の前記少なくとも１つの物体の位置、および前記少なくとも１つの物体の幾何学データに基づいて、注視点を判定する、
   ように構成される、システム。
6. 前記少なくとも１つの物体は少なくとも２つの物体を含み、前記少なくとも２つの物体は、互いに関して固定された位置に配置されるように構成される、請求項５に記載のシステム。
7. 前記少なくとも１つの位置決めカメラは少なくとも２つの位置決めカメラを含み、前記少なくとも２つの位置決めカメラは、立体視法を用いて前記少なくとも１つの物体の位置を判定可能にするように構成される、請求項５に記載のシステム。
8. 物体上のユーザの注視点を評価するシステムであって、前記システムは、
   少なくとも１つの視標追跡カメラに関して固定される第１の座標系と関連する、前記少なくとも１つの視標追跡カメラ、前記ユーザの目のうちの少なくとも一方から角膜反射を生成するように構成される光源、および少なくとも１つのコンピュータを備える、視標追跡機と、
   少なくとも１つの位置決めカメラに関して固定される第２の座標系と関連する、前記少なくとも１つの位置決めカメラと、
   少なくとも１つの物体であって、前記少なくとも１つの物体の幾何学データは、前記少なくとも１つのコンピュータにとってアクセス可能な格納デバイスに格納される、少なくとも１つの物体と、
   を備え、
   前記少なくとも１つのコンピュータの任意の組合せは、
   （ａ）前記少なくとも１つの視標追跡カメラから受信される画像に基づいて、前記第１の座標系に関する前記ユーザの注視線を判定し、
   （ｂ）前記少なくとも１つの位置決めカメラから受信される画像に基づいて、前記第２の座標系に関する前記少なくとも１つの視標追跡カメラの位置を判定し、そうすることで、一方の座標系の位置を他方の座標系において判定し、
   （ｃ）前記少なくとも１つの位置決めカメラからの前記画像および前記少なくとも１つの物体の前記格納される前記幾何学データに基づいて、前記第２の座標系に関する前記少なくとも１つの物体の位置を判定し、
   （ｄ）任意の座標系における前記注視線および任意の座標系における前記少なくとも１つの物体の位置に基づいて、注視点を判定する、
   ように構成される、システム。
9. 第１の位置決めカメラは、前記少なくとも１つの視標追跡カメラの位置を判定するように構成され、前記第１の位置決めカメラは、前記第１の位置決めカメラに関して固定される第２の座標系と関連し、第２の位置決めカメラは、前記少なくとも１つの物体の位置を判定するように構成され、前記第２の位置決めカメラは、前記第２の位置決めカメラに関して固定される第３の座標系と関連し、前記少なくとも１つの物体との、前記少なくとも１つの視標追跡機によって判定される注視線の交点は、前記第２の座標系と前記第３の座標系との間の変換に基づいて判定される、請求項８に記載のシステム。
10. 前記少なくとも１つの物体は少なくとも２つの物体を含み、前記少なくとも２つの物体は、互いに関して固定された位置に配置されるように構成される、請求項８に記載のシステム。
11. 前記少なくとも１つの物体はモニタであり、前記モニタは、少なくとも１つのマーカを表示するように構成される、請求項８に記載のシステム。
12. 前記少なくとも１つの位置決めカメラは少なくとも２つの位置決めカメラを含み、前記少なくとも２つの位置決めカメラは、立体視法を用いて前記少なくとも１つの物体の位置を判定可能にするように構成される、請求項８に記載のシステム。
13. ディスプレイ上のユーザの注視点を追跡するように構成される視標追跡機を較正して使用する方法であって、前記ディスプレイは、前記追跡のための前記視標追跡機に関して、較正位置とは異なる少なくとも１つの位置に位置決めされるように構成され、前記方法は、
    前記ディスプレイを前記視標追跡機の近くに配置し、そうすることで、前記視標追跡機の注視範囲によってカバーされる領域全体をカバーするステップと、
    前記ディスプレイと前記視標追跡機との互いに関する位置を判定するステップと、
    前記ディスプレイ上に複数のターゲットを表示するステップであって、前記複数のターゲットはそれぞれ、前記視標追跡機と前記ディスプレイとの相対的位置に基づいて、第１の座標系におけるこのターゲットのための注視線の較正パラメータを生成し、前記複数のターゲットは、前記視標追跡機の前記注視範囲によってカバーされる前記領域をカバーする、ステップと、
    前記較正データを格納するステップと、
    前記ディスプレイおよび前記視標追跡機のうちの少なくとも一方を、互いに関する前記較正位置とは異なる利用位置に位置決めするステップと、
    少なくとも１つの位置決めカメラを利用し、そうすることで、前記ディスプレイと前記視標追跡機との互いに関する位置を判定するステップと、
    前記較正データに基づいて、前記第１の座標系における注視線を判定するステップと、
    前記位置決めカメラからの少なくとも１つの画像に基づいて判定されるように、前記ディスプレイと前記視標追跡機との相対的位置に基づいて、任意の座標系における前記ディスプレイとの前記注視線の交点を判定し、そうすることで、前記ディスプレイ上に前記注視点を生成するステップと、
    を含む、方法。
14. 前記ディスプレイと前記視標追跡機との互いに関する位置を判定するステップは、位置決めカメラを用いて行われる、請求項１３に記載の方法。
15. ディスプレイと共に使用するための視標追跡機を較正する方法であって、前記視標追跡機および前記ディスプレイは、前記ディスプレイ上の注視点を追跡するために、少なくとも２つの異なる位置に互いに関して位置決めされるように構成され、前記方法は、
    前記ディスプレイを第１の位置に配置し、そうすることで、前記視標追跡機の注視範囲によって利用可能な角度の少なくとも一部分をカバーするステップと、
    前記ディスプレイと前記視標追跡機との互いに関する位置を判定するステップと、
    前記ディスプレイ上に複数のターゲットを表示するステップであって、前記複数のターゲットはそれぞれ、前記視標追跡機と前記ディスプレイとの相対的位置に基づいて、第１の座標系におけるこのターゲットのための注視線の較正パラメータを生成し、前記複数のターゲットは、前記ディスプレイの前記領域の少なくとも一部分をカバーする、ステップと、
    前記ディスプレイの別の位置のために上記のステップを少なくとも１回繰り返し、そうすることで、前記視標追跡機の注視範囲によって利用可能な追加の注視線を較正するステップと、
    前記較正データを格納するステップと、
    を含む、方法。
16. 前記ディスプレイと前記視標追跡機との互いに関する位置を判定するステップは、位置決めカメラを用いて行われる、請求項１５に記載の方法。
17. 視標追跡機を較正する方法であって、前記方法は、
    較正ターゲットに対するユーザの注意を引くステップと、
    少なくとも１つの位置決めカメラおよび少なくとも１つのコンピュータを利用し、そうすることで、前記較正ターゲットと前記視標追跡機の座標系との互いに関する位置を判定するステップと、
    第１の座標系における前記較正ターゲットに対する注視線の較正パラメータを判定するステップと、
    上記のステップを繰り返し、そうすることで、注視範囲および較正ターゲットの分布の所望の部分を生成するステップと、
    前記較正データを格納するステップと、
    を含む、方法。
18. 前記較正ターゲットは少なくとも１つのＬＥＤを含む、請求項１７に記載の方法。
19. 前記ユーザの注意を引くステップは、所望のターゲットの前記少なくとも１つのＬＥＤのうちの少なくとも１つをＯＮにするステップと、他のターゲットの他のＬＥＤをＯＦＦにするステップとを含む、請求項１８に記載の方法。
20. ターゲットは、その少なくとも１つのＬＥＤによって定められるＯＮ／ＯＦＦシーケンスパターン、色、および形状のいずれかによって区別される、請求項１８に記載の方法。
21. ターゲットの前記形状は、前記ターゲットを構成する前記少なくとも１つのＬＥＤの配置によって判定され、前記配置は、空間分布、ＯＮ／ＯＦＦシーケンス、および色のいずれかを含む、請求項２０に記載の方法。
22. 前記較正ターゲットはアイテムを含む、請求項１７に記載の方法。
23. 前記ユーザの注意を引くステップは、所望のターゲットのアイテムを照明するステップを含む、請求項２２に記載の方法。
24. ターゲットは、照明光のＯＮ／ＯＦＦシーケンスパターン、色、および形状のいずれかによって区別される、請求項２２に記載の方法。
25. 前記ターゲットは、少なくとも１つのプロジェクタを用いて基板上に投影される、請求項１７に記載の方法。
26. 前記ユーザの注意を引くステップは、所望のターゲットを投影するステップを含む、請求項２２に記載の方法。
27. ターゲットは、前記プロジェクタのＯＮ／ＯＦＦシーケンスパターン、画像の色、および画像の形状のうちのいずれかによって区別される、請求項２６に記載の方法。
28. 前記較正の後に、前記視標追跡機の位置は、少なくとも１つのターゲットが前記較正中にターゲットを有しない前記注視範囲にある位置に収まるように変更され、前記方法はさらに、前記少なくとも１つのターゲットを用いて前記較正プロセスを繰り返すステップを含む、請求項１７に記載の方法。
29. 前記少なくとも１つの位置決めカメラは、前記ターゲットのうちの少なくとも一部分を取り込むように構成される、請求項１７に記載の方法。
30. コンピュータは、前記少なくとも１つの位置決めカメラから受信される少なくとも１つの画像、ならびに、前記少なくとも１つの位置決めカメラによって取り込まれるターゲットのうちの少なくとも一部分、および、前記少なくとも１つの位置決めカメラによって取り込まれない前記少なくとも１つのターゲットを含む、ターゲットのうちの少なくとも一部分の空間的配置のデータに基づいて、前記位置決めカメラによって取り込まれない少なくとも１つのターゲットと前記視標追跡機の座標系との互いに関する位置を判定するように構成される、請求項１７に記載の方法。
31. 視標追跡カメラと、
    角膜反射を生成するように構成される少なくとも２つの光源と、
    を備える、角膜反射を用いて使用する視標追跡機であって、
    前記少なくとも２つの光源の少なくとも第１の光源および第２の光源は、位置が分かれるように構成され、それぞれが少なくとも１つの同じ注視線のための角膜反射を生成するように構成され、
    前記第１の光源はＯＮにされるように構成され、前記第２の光源はＯＦＦにされるように構成され、
    前記第１の光源の前記角膜反射が前記視標追跡機によって検出不能である場合は、前記第１の光源はＯＦＦにされるように構成され、前記第２の光源はＯＮにされるように構成される、
    視標追跡機。
    
    

Images