JP2018084574A - 光学トラッカを有するｎｔｅ表示システムおよび方法 - Google Patents

Abstract

【課題】第１のオブジェクトの位置および向きを追跡するための光学トラッカシステムを提供すること。【解決手段】システムは、空間予測として第１のオブジェクトの予測位置および向きを決定するように構成された予測モジュールと、空間予測に基づいて、基準シンボルの表示コマンドを生成するように構成された表示モジュールと、表示コマンドに基づいて、基準シンボルを表示するように構成された表示ユニットと、表示ユニット上に表示された基準シンボルの画像を、取り込まれた外観として取り込むように構成されたカメラユニットと、カメラユニットに結合され、カメラユニットから画像を受信するように構成されたポジション決定モジュールとを備える。ポジション決定モジュールは、基準シンボルを識別し、基準シンボルの取り込まれた外観に基づいて第１のオブジェクトの位置および向きを決定するように構成される。【選択図】図１

Description

[0001]本発明は一般に、ニア・ツー・アイ（ｎｅａｒ−ｔｏ−ｅｙｅ：ＮＴＥ）表示システムおよび方法に関し、より詳細には、改良された高速かつ高精度の光学トラッカを有するＮＴＥ表示システムおよび方法に関する。

[0002]近年、ニア・ツー・アイ（ＮＴＥ）表示システムが開発され急速に普及しつつある。特定の最終使用環境に応じて、これらのシステムは、ユーザのヘルメットまたはヘッドセットに結合されたＮＴＥ表示ユニットを含んでおり、したがってユーザの頭部の位置および角度方向が変わると共に動く。これにより、頭部のポジション、すなわち位置および／または向きに関わらず、表示される情報がユーザに見えることが可能になる。したがって、トラッキング構成が、１つまたは複数の自由度（たとえば、ｘ、ｙおよびｚ、ならびにピッチ、ヨーおよびロール）で、頭部の位置および向きを決定するように機能して、ＮＴＥ表示システムの全体的機能を有効にすることが認められ得る。既知のトラッキング技術としては、慣性、磁気、超音波、カメラベースの光学システムなどがあるが、多くのそうしたシステムは、比較的に複雑であり、重く、高価であり、かつ／または充分なパフォーマンス能力に欠けることがある。

米国特許第９，４８９，０４５号

Ｄ．ＤｅＭｅｎｔｈｏｎおよびＬ．Ｓ．Ｄａｖｉｓ、「Ｍｏｄｅｌ−Ｂａｓｅｄ Ｏｂｊｅｃｔ Ｐｏｓｅ ｉｎ ２５ Ｌｉｎｅｓ ｏｆ Ｃｏｄｅ（２５行のコードのモデルベース・オブジェクト・ポーズ）」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，１５、１２３〜１４１頁、１９９５年６月 Ｖ．Ｌｅｐｅｔｉｔ、Ｆ．Ｍｏｒｅｎｏ−Ｎｏｇｕｅｒ、およびＰ．Ｆｕａ、「ＥＰｎＰ：Ａｎ Ａｃｃｕｒａｔｅ ０（ｎ） Ｓｏｌｕｔｉｏｎ ｔｏ ｔｈｅ ＰｎＰ Ｐｒｏｂｌｅｍ（ＥＰｎＰ：ＰｎＰ問題の正確な０（ｎ）解）」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｖｏｌ．８１、１５５〜１６６頁

[0003]したがって、改良されたトラッキング能力を有するＮＴＥ表示システムおよび方法を提供することが望ましい。さらに、例示的な実施形態の他の望ましい特徴および特性が、添付の図面ならびに上述の技術分野および背景技術と併せて後述の詳細な説明および添付の特許請求の範囲から明らかになるであろう。

[0004]例示的な実施形態によれば、第１のオブジェクトの位置および向きを追跡するための光学トラッカシステムが提供される。システムは、空間予測として第１のオブジェクトの予測位置および向きを決定するように構成された予測モジュールと、予測モジュールに結合され、空間予測を受信するように構成された表示モジュールであって、空間予測に基づいて、基準シンボルの表示コマンドを生成するように構成された表示モジュールと、予測モジュールに結合され、表示コマンドを受信するように構成された表示ユニットであって、表示コマンドに基づいて、基準シンボルを表示するように構成された表示ユニットと、表示ユニット上に表示された基準シンボルの画像を、取り込まれた外観として取り込むように構成されたカメラユニットと、カメラユニットに結合され、カメラユニットから画像を受信するように構成されたポジション決定モジュールとを備える。ポジション決定モジュールは、基準シンボルを識別し、基準シンボルの取り込まれた外観に基づいて第１のオブジェクトの位置および向きを決定するように構成される。

[0005]別の例示的実施形態によれば、光学トラッカシステムを用いて第１のオブジェクトの位置および向きを追跡するための方法が提供される。方法は、空間予測として第１のオブジェクトの予測位置および向きを決定するステップと、空間予測に基づいて、基準シンボルの表示コマンドを生成するステップと、表示コマンドに基づいて、表示デバイス上に基準シンボルを表示するステップと、表示デバイス上に表示された基準シンボルの画像を、取り込まれた外観として取り込むステップと、画像における基準シンボルを識別するステップと、基準シンボルの取り込まれた外観に基づいて、第１のオブジェクトの位置および向きを決定するステップとを含む。

[0006]さらに別の例示的実施形態によれば、ニア・ツー・アイ表示システムが提供される。ＮＴＥシステムは、第１のオブジェクトの位置および向きを追跡するための光学トラッカシステムを備える。ＮＴＥシステムは、アクティブマトリックス表示デバイスを有し、第１の表示コマンドに基づいて基準シンボルを表示するように構成された第１の表示ユニットと、第１の表示デバイス上に表示された基準シンボルの画像を、取り込まれた外観として取り込むように構成されたカメラユニットと、カメラユニットに結合され、カメラユニットから画像を受信するように構成されたポジション決定モジュールとを備える。ポジション決定モジュールは、基準シンボルを識別し、基準シンボルの取り込まれた外観に基づいて第１のオブジェクトの位置および向きを決定するように構成される。ＮＴＥシステムは、光学トラッカシステムに結合され、第１のオブジェクトの位置および向きに基づいて、第２の表示コマンドを生成するように構成された駆動ユニットと、駆動ユニットに結合され、周囲環境に対して（ｒｅｌａｔｉｖｅ ｔｏ ａ ｓｕｒｒｏｕｎｄｉｎｇ ｅｎｖｉｒｏｎｍｅｎｔ）ユーザによって見られるように、第２の表示コマンドに基づいてシンボル体系（ｓｙｍｂｏｌｏｇｙ）をレンダリングするように構成された第２の表示ユニットとを備える。

[0007]本発明は、同様の数字が同様の要素を表す下記の図面と関連して以下に説明される。

[0008]例示的な実施形態によるＮＴＥシステムの機能ブロック図である。 [0009]例示的な実施形態によるトラッカ表示ユニット上の基準シンボルの第１のビューを示す図である。 [0010]例示的な実施形態によるトラッカ表示ユニット上の基準シンボルの第２のビューを示す図である。 [0011]例示的な実施形態によるトラッカ表示ユニット上の基準シンボルの第３のビューを示す図である。 [0012]例示的な実施形態によるトラッカ表示ユニット上の基準シンボルの第４のビューを示す図である。 [0013]例示的な実施形態によるＮＴＥ表示を提供するための方法のフローチャートである。 [0014]例示的な実施形態による基準シンボルのさらなる例を示す図である。 [0015]別の例示的実施形態によるＮＴＥシステムの部分の機能ブロック図である。 [0016]例示的実施形態によるＮＴＥシステムの変形例の機能ブロック図である。 例示的実施形態によるＮＴＥシステムの変形例の機能ブロック図である。 例示的実施形態によるＮＴＥシステムの変形例の機能ブロック図である。 例示的実施形態によるＮＴＥシステムの変形例の機能ブロック図である。

[0017]以下の詳細な説明は、本質的に単なる例示であり、本発明または本発明の適用および使用を限定するものではない。本明細書で使用される場合、「例示的」という言葉は、例、実例、または例示の役割をすることを意味する。したがって、本明細書で「例示的」として説明されるいずれの実施形態も、他の実施形態に対して好ましいまたは有利であると解釈される必要はない。本明細書で説明されるすべての実施形態は、当業者が本発明を構成または使用することを可能にするために提供される例示的な実施形態であり、特許請求の範囲によって規定される本発明の範囲を限定するものではない。さらに、上述の技術分野、背景技術、発明の概要、または以下の詳細な説明に提示されるいかなる明示的または黙示的な理論にも拘束される意図はない。

[0018]以下に説明される例示的な実施形態において、ニア・ツー・アイ（ＮＴＥ）表示システムおよび方法は、ユーザの頭部の空間特性を追跡してユーザの視覚的パースペクティブ（視点）を決定するように使用されるが、他のオブジェクトおよび身体部位が追跡されてもよい。一般に、本明細書で使用される用語「空間特性」および「ポジション」は、位置および／または向きの値のうちの１つまたは複数を指す。たとえば、空間特性は、三次元空間における、たとえば、デカルト座標系のｘ軸、ｙ軸およびｚ軸に沿った、並進値(ｔｒａｎｓｌａｔｉｏｎａｌ ｖａｌｕｅ)などの位置の値を含むことがある。空間特性はさらに、ピッチ、ヨー、およびロールとして一般的に知られるオイラー角など、向きまたは角度値を含むことがある。方向余弦、極座標表現、または四元数などを含むがそれらに限定されない多数の他の既知の向き表現のいずれかが、代わりに使用されてもよい。１つの例示的な実施形態では、ＮＴＥシステムは、これらの空間特性のうちの６つを考慮に入れ、したがって６自由度（ＤＯＦ）ＮＴＥシステムとみなされることがある。他の実施形態では、ＮＴＥシステムは、これらの空間特性の単体またはサブセットのみを考慮に入れてもよく、または、ＮＴＥシステム内の複数のコンポーネントの間の相対的関係などの追加の自由度を含んでもよい。

[0019]次に図１を参照すると、ニア・ツー・アイ（ＮＴＥ）システム１００の一実施形態の機能ブロック図が示され、ＮＴＥ構造１１０、構造表示ユニット１２０、ＮＴＥ駆動ユニット１３０、ＮＴＥトラッカ制御ユニット１４０、１つまたは複数のカメラユニット１６０、１つまたは複数のトラッカ表示ユニット１７０、および１つまたは複数のデータソース１８０を含む。一般に、ＮＴＥシステム１００は、操縦室などの動作環境１０２内に配置される。１つの例示的な実施形態では、ＮＴＥトラッカ制御ユニット１４０は、カメラユニット１６０およびトラッカ表示ユニット１７０のうちの１つまたは複数と組み合わされて、光学トラッカまたはトラッキングシステム、あるいは光学トラッカとみなされることがある。一般に、システム１００の要素は、有線または無線データバスなどの任意の適切な様式で一緒に結合され得る。ＮＴＥシステム１００は、図１では統合されたシステムとして構成されて表されているが、ＮＴＥシステム１００は、それに限定されず、ＮＴＥシステム１００の１つまたは複数の態様が別個のコンポーネントまたは別のシステムの下位コンポーネントである構成を含むこともできる。また、図１は、説明および記述の容易さのためにＮＴＥシステム１００の単純化された表現を提示しているが、図１は、主題の適用および範囲を何ら限定するものではないことに留意されたい。実際、当業者に認識されるように、ＮＴＥシステム１００は、追加の機能および特徴を提供するために多くの他のデバイス、コンポーネント、および特性を含んでもよい。

[0020]１つの例示的な実施形態では、ＮＴＥシステム１００は、ヘッドアップ・ディスプレイ（ＨＵＤ）として具現化され、その場合、ＮＴＥ構造１１０が、ユーザに着用され、半透明または透明な構造表示ユニット１２０を支持し、構造表示ユニット１２０は、ＮＴＥ駆動ユニット１３０、ＮＴＥトラッカ制御ユニット１４０、およびデータソース１８０からの信号に基づいて、周囲環境に対してユーザによって見られるようにシンボル体系をレンダリングする。シンボル体系は、ユーザによって見ることができるように意図された任意の画像コンテンツを含んでよく、そのシンボル体系の一部または全部は、ＮＴＥ構造１１０のポジションに部分的に基づいて選択または生成され得る。たとえば、シンボルは、周囲環境と等角（ｃｏｎｆｏｒｍａｌ）にレンダリングされ、等角のシンボルが、ヘッドアップ・ディスプレイを通して見られるときに環境内で対応する領域または特徴に重なるようにされてよい。適切な位置にシンボル体系を位置合わせして表示するために、ＮＴＥトラッカ制御ユニット１４０は、トラッカ表示ユニット１７０上に表示された基準シンボルの画像でＮＴＥ構造１１０に取り付けられたカメラユニット１６０に取り込まれた基準シンボルの画像を評価することによって、ＮＴＥ構造１１０の位置および向き、ひいてはユーザのパースペクティブを決定する。動作、特にＮＴＥトラッカ制御ユニット１４０の動作をより詳細に説明する前に、ＮＴＥシステム１００の各コンポーネントを次に紹介する。ＮＴＥシステム１００は、航空機に関連して説明されており、以下で総称的に「ユーザ」または「見る人（ｖｉｅｗｅｒ）」と呼ばれる航空機操縦者によって使用されるが、例示的な実施形態は、軍用の乗り物または携帯デバイス・トラッカなど他のコンテキストで使用されてもよい。

[0021]１つの例示的な実施形態では、ＮＴＥ構造１１０は、ユーザの眼の一方または両方の近くに配置された任意の構造とすることができる。たとえば、ＮＴＥ構造１１０は、一般にユーザに着用され、たとえば、眼鏡、ゴーグル、ヘルメットに取り付けられた画面の形態で着用される。ＮＴＥ構造１１０は、様々な構成および実装形態があり得ることは認識されよう。図１に示された特定の一実施形態では、ＮＴＥ構造１１０は、人間のユーザの頭部に配置されるように構成されたバイザー（ｖｉｓｏｒ）である。

[0022]構造表示ユニット１２０は、ユーザの１つまたは複数の眼の前に配置されるようにＮＴＥ構造１１０によって支持される。構造表示ユニット１２０は、現実世界をユーザが見ることを可能にしながらも仮想画像を表示する任意の適切な表示コンポーネントである。たとえば、構造表示ユニット１２０は、例として、可視のシーンに重畳された仮想画像を提供するために、透明または半透明な画面を介して提示される任意のタイプの投影またはマイクロディスプレイ技術を採用してよい。１つの例示的な実施形態では、構造表示ユニット１２０は、濃霧状態などの視界の悪い条件においても、乗り物操作者によって使用される乗り物外部のシーンの表現的ビューを提供することができる。例示的な技術としては、たとえば、コリメート光学系およびマイクロディスプレイ（たとえば、液晶ディスプレイ（ＬＣＤ）、液晶オンシリコン（ＬＣｏＳ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイなど）を有する光コンバイナなどがある。ユーザが現実世界を見ながら網膜上に画像が直接投影される網膜ディスプレイのような他の技術が採用されてもよい。構造表示ユニット１２０上に表示されたシンボルは、コンバイナを通して見ながら、ユーザに見える仮想画像として現れる。仮想画像は、コンピュータで生成され得るが、画像化センサ、画像伝送、または画像記憶デバイスなどの他のデータソース１８０から少なくとも部分的に到来してもよい。

[0023]ＮＴＥ駆動ユニット１３０は、表示信号を構造表示ユニット１２０に提供して、所望のシンボル体系を生成する、または現実世界の見えるシーンに関連して構造表示ユニット１２０上の適切な位置に要素を表示する。いくつかのタイプのシンボル体系については、構造表示ユニット１２０上のポジションが、たとえば常に特定の場所に、固定されることがある。交通および地形情報などの他のタイプのシンボル体系については、表示要素が、ユーザの現在のパースペクティブに対して相対的な現実世界環境の関数である。したがって、ＮＴＥ駆動ユニット１３０は、トラッカ制御ユニット１４０からの空間特性を使用して、構造表示ユニット１２０上で構造表示ユニット１２０に対して適切なポジションで、このシンボル体系を位置合わせして配置する。

[0024]ＮＴＥ駆動ユニット１３０は、様々なタイプのデータソース１８０（たとえば、ナビゲーションシステム、飛行管理システム、警告システム、および通信ユニット）からの情報に基づいて、構造表示ユニット１２０上に任意の適切なタイプのシンボル体系をレンダリングし得る。たとえば、航空機のコンテキストでは、構造表示ユニット１２０上に提供されるシンボル体系は、交通および／または地形情報、速度、高度、姿勢、ならびに飛行経路および計画情報などを含む、航法または操作シンボル体系を含み得る。

[0025]トラッカ表示ユニット１７０は、ＮＴＥ構造１１０と分離して動作環境１０２内に配置された１つまたは複数の表示デバイスを含む。トラッカ表示ユニット１７０は、少なくとも１つの基準シンボル（または複数の基準シンボル）を含む画像を表示するように機能する。典型的には、トラッカ表示ユニット１７０は、それに表示された画像の少なくとも一部分をカメラユニット１６０が取り込むように、固定された位置に配置される。そうした画像は、より詳細に後述されるように、基準シンボルを含み、基準シンボルから、ＮＴＥトラッカ制御ユニット１４０がユーザの空間特性を導出し得る。いくつかの実施形態では、トラッカ表示ユニット１７０は、やはり後述されるように、基準シンボルの外観を制御するＮＴＥトラッカ制御ユニット１４０から、表示信号を受信することができる。

[0026]一般に、トラッカ表示ユニット１７０は、運用環境１０２内の任意の適切なポジションに配置され得る。図示の実施形態では、トラッカ表示ユニット１７０の一方がユーザの前に配置され、他方のトラッカ表示ユニット１７０がユーザの上方に配置される。いくつかの実施形態では、単一のトラッカ表示ユニット１７０のみが提供されることがある。実際、トラッカ表示ユニット１７０は、特定のポジションが特定の空間特性について利点を有し得るが、カメラユニット１６０の視線を有する任意の場所に配置されてよい。

[0027]より詳細には後で説明される理由により、トラッカ表示ユニット１７０は、アクティブマトリックス表示デバイス、特に、シンボル細部および分離に関する表示安定性およびリソグラフィ精度を提供して精密かつ再現可能なトラッキング結果を達成するアクティブマトリックス表示デバイスとされ得る。リソグラフィ精度は、集積回路および／またはアクティブマトリックスディスプレイの製造で一般的に採用されるような、光学的もしくはＵＶフォトリソグラフィ、電子ビームリソグラフィ、またはイオンビームリソグラフィなどの技法によって達成される、超高精度の精度および再現性を意味すると解釈される。以下に説明される実施形態では、アクティブマトリックストラッカ表示ユニット１７０は、単純な物理的マーキングまたは個別のより大きなＬＥＤエミッタで達成可能な表示を大きく超えるやり方で基準シンボルの表示を可能にする。

[0028]例として、トラッカ表示ユニット１７０は、小さなピクセルサイズ、および拡張領域にわたるサブミクロンまたはより良い精度を有する、アクティブマトリクスＬＣＤおよび／またはアクティブマトリクスＬＥＤディスプレイを含むことができ、そのようなディスプレイは、典型的には、ピクセルパターンとカメラユニット１６０との間に介在する保護層（たとえば、ガラス基板、偏光子など）を有するが、そのような層は表示領域にわたって全体的に一貫しており、それによりトランキング機能を可能にする。さらなる特性は、ガラスおよび／または透明な基板の上または背後において、遠隔で生成および指向された前方または周囲照明を必要とせずに、リソグラフィでパターン形成され、放射性で、背面照光または局所的に前面照光された、単一の拡張された基板上に構築された表示ユニット１７０であり、サブミクロン精度パターン形成、高解像度、高コントラスト、高い局所均一出力輝度／放射輝度、または優れた特徴線形性などを有するものを含み得る。極めて高い２次元精度および安定性に加えて、トラッカ表示ユニット１７０の表面に垂直の軸における安定性および精度が、たとえば、基板材料、厚さ、および／または平坦性の選択によって、所望の程度で制御されることも可能である。熱膨張または均一性が、所望の場合、１つまたは複数の適切な加熱または冷却要素を使用して、適切な監視およびフィードバックによって、制御され得る。

[0029]１つの例示的な実施形態では、トラッカ表示ユニット１７０の一方または両方が、空間特性の決定をサポートするように機能する専用ディスプレイパネルである。他の例示的な実施形態では、トラッカ表示ユニット１７０の一方または両方が、アビオニクス・ヘッドダウン・ディスプレイ（ＨＤＤ）などの、操縦室または環境１０２で既に利用可能である表示機能のためにさらに使用され、それにより、追加のハードウェアの設置をほとんどまたは全くせずに、二重の機能を提供することができる。

[0030]上記のように、カメラユニット１６０は、ユーザに配置されユーザと共に可動なＮＴＥ構造１１０に取り付けられる。典型的には、カメラユニット１６０は、ユーザのパースペクティブがカメラユニット１６０のパースペクティブから容易に導出され得るように、構造１１０上の指定された参照ポジションに配置される。例として、カメラユニット１６０は、コンパクトな高解像度カメラである。いくつかの実施形態では、複数のカメラユニット１６０が利用されてよい。動作中、カメラユニット１６０は、環境１０２の画像、特にトラッカ表示ユニット１７０上に表示された画像を取り込むように機能し、カメラユニット１６０は、これらの画像をトラッカ制御ユニット１４０に提供する。

[0031]トラッカ制御ユニット１４０は、１つまたは複数の機能ユニットまたはモジュール１４２、１４４、および１４６（たとえばソフトウェア、ハードウェア、またはこれらの組み合わせ）を含むようにみなされることもある。例として、モジュール１４２、１４４、および１４６の各々が、プロセッサ１５０およびメモリ１５２によって、またはそれらと共に実装され得る。図示の実施形態では、トラッカ制御ユニット１４０は、ポジション決定モジュール１４２、予測モジュール１４４、および表示モジュール１４６を含む。図１は、１つの例示的な構成を示しており、他の実施形態が、代替的な構成または実装を用いて同様の機能を実行してもよい。後述の説明では、トラッカ制御ユニット１４０は、特定の機能が生じる反復、サイクル、またはフレームで動作するとみなされることがある。一般的に、これらの期間は以下ではフレームと呼ばれる。

[0032]上記に紹介されたように、トラッカ制御ユニット１４０の主要な機能は、構造表示ユニット１２０上に表示されるシンボル体系が精度よく配置され得るように、ユーザのパースペクティブを決定することである。したがって、ポジション決定モジュール１４２は一般に、カメラユニット１６０により提供された画像から基準シンボルを識別し、取り込まれた画像内の基準シンボルの外観から、ＮＴＥ構造１１０の空間特性、ひいてはユーザのパースペクティブを決定するように機能する。トラッカ制御ユニット１４０のさらなる機能は、空間特性の決定を促進するように、トラッカ表示ユニット１７０上の基準シンボルの外観を制御することである。したがって、トラッカ制御ユニット１４０はさらに、次のフレームにおけるユーザの空間特性を予測する予測モジュール１４４と、識別および評価を促進するように、次のフレームにおける基準シンボルの外観を指示する表示モジュール１４６とを含む。これらのモジュール１４２、１４４、１４６の動作に関するさらなる詳細が以下に与えられる。

[0033]上記のように、トラッカ制御ユニット１４０（およびシステム１００の他のコンポーネント）は、コンピュータプロセッサ１５０を用いて実装されてよく、コンピュータプロセッサ１５０は、汎用プロセッサ、連想メモリ、デジタル信号プロセッサ、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、適切なプログラマブルロジックデバイス、ディスクリートゲートもしくはトランジスタロジック、処理コア、ディスクリートハードウェアコンポーネント、またはそれらの任意の組み合わせを含んでよい。実際、ＮＴＥトラッカ制御ユニット１４０は、ＮＴＥトラッカ制御ユニット１４０の動作に関連付けられた機能、技法、および処理タスクまたは方法を実施するように構成され得るコンピュータプロセッサ１５０およびメモリ１５２をさらに含む。メモリ１５２は、コンピュータ可読命令、ファームウェア、およびソフトウェアプログラムを記憶することができ、すべての形態の不揮発性メモリを含むがそれらに限定されない、コンピュータ可読命令の記憶のために使用される任意の適切な媒体において有形に具現され得る。不揮発性メモリは、限定ではなく例として、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスなどの半導体メモリデバイス、内蔵ハードディスクおよびリムーバブルディスクなどの磁気ディスク、光磁気ディスク、ならびにＤＶＤディスクを含む。

[0034]カメラユニット１６０に加えて、ＮＴＥトラッカ制御ユニット１４０は、ポジションおよび向きデータを提供する構造１１０上にある、またはそれと分離した１つまたは複数の追加のセンサから、情報を受信してよい。そのようなセンサは、ＧＰＳセンサ、慣性測定ユニット（ＩＭＵ）センサ、深度センサ、アイトラッキングセンサ、マイク、生体計測センサ、および他のタイプのセンサを含み得る。

[0035]システム１００について紹介したので、次に、ＮＴＥトラッカ制御ユニット１４０の動作のより詳細な説明を行う。動作の比較的単純な例が図２および図３を参照して説明され、図２および図３では、周辺部２０２を有するトラッカ表示ユニット１７０上にレンダリングされた基準シンボル２００の例を示す。

[0036]一般に、基準シンボル２００は、構造の空間特性の変化があったときに外観の変化の観測を可能にするシンボルである。これらの例では、基準シンボル２００は、交差する線からなるグリッドであり、そこで、各交差は、トラッカ制御ユニット１４０によって識別および評価され得る潜在的な基準マーキングを表す。任意の適切な基準シンボルが使用されてよい。しかしながら、一般に、基準シンボル２００は、より詳細に後述されるように、並進効果と配向性効果を区別することを可能にする、図２の高精度のパターン形成された基板またはマスクのような、明確なエッジおよび充分に分離されたマーキングまたは特徴を有することが有益である。基準シンボルは、好ましくは、自己放射性であるか、または局所的に背面照光もしくは前面照光であり、また、可視であっても、赤外線もしくは紫外線などで不可視であってもよい。典型的には、基準シンボルは、後述されるように、ＮＴＥトラッカ制御ユニット１４０による識別および評価を促進するように選択される。

[0037]図２は、第１のパースペクティブからの基準シンボル２００のビューである。図２の特定の例では、トラッカ表示ユニット１７０の周辺部２０２の通常の長方形の性質により示されるように、第１のパースペクティブは、ユーザの原点、中心、またはベースライン・ポジションに対応する。一般に、第１のパースペクティブは、既知の空間特性を有するパースペクティブである。

[0038]この例では、図２は、基準シンボル２００の名目の外観を示す。基準シンボルの名目の外観（または名目の基準シンボル）は、より詳細に後述されるように、ベースラインの外観であり、そこから、ずれを識別および評価して位置または向きの任意の変化を決定し得る。一般に、基準シンボルの名目の外観は、基準シンボル２００について上述された所望の特性を有する、基準シンボルの画像に基づいて、空間特性の導出を促進するように選択される。また、基準シンボル２００は、シンボルの検出に関連した配向または並進の曖昧さを除去する１つまたは複数の対称性を破る（すなわち非対称性の）特徴２１０を含むことが好ましい。図示の特徴２１０は、明確にするために単純化されており、限定することは意図されていない。実際、対称性を破る特徴は、好ましくは、図２のようなグリッド構造全体に含まれ、また、並進および回転の曖昧さを除去するために、交差ごとに異なる。これは特に、基準シンボル２００の一部分のみがカメラユニット１６０により検出される状況に関連する。

[0039]図３は、第２のパースペクティブからの基準シンボルのビューである。第２のパースペクティブは、知られていないパースペクティブ、たとえば、ユーザの動きがあったときに構造１１０およびカメラユニット１６０の移動からもたらされるものに対応する。図３の例では、表示ユニット１７０の周辺部２０２の変形したまたは歪んだ外観によって示されるように、ユーザは、図２と比べて、表示ユニット１７０により近く、左上方から表示ユニット１７０を見ており、少しロールを伴って下方および右を向いている。この動きの結果として、基準シンボル２００の外観も、図２において基準シンボル２００の名目の外観に対して歪められる。

[0040]動作中に、ＮＴＥトラッカ制御ユニット１４０は、カメラユニット１６０から、図３に示されるような第２の知られていないパースペクティブでの基準シンボル２００の画像を受信して、「取り込まれた外観」を有する基準シンボルを含む画像がもたらされる。ＮＴＥトラッカ制御ユニット１４０は、基準シンボル２００の取り込まれた外観に基づいて、カメラユニット１６０（ひいては、構造１１０およびユーザ）の空間特性を決定するために、基準シンボル２００を識別および評価する。

[0041]ＮＴＥトラッカ制御ユニット１４０は、任意の適切な様式で、基準シンボル２００から空間特性を決定することができる。カメラで取り込まれた２Ｄからオブジェクトの３Ｄポースまたはポジションを推定するこの作業は、ＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ−ｎ−Ｐｏｉｎｔ）推定としばしば呼ばれる。技法は、最小データセットを使用する解析的解決法から、多数のサンプルポイントを使用する統計的および反復的解決法に及ぶ。

[0042]１つの例示的な実施形態では、トラッカ制御ユニット１４０のポジション決定モジュール１４２は、カメラユニット１６０から画像を受信し、（たとえば、構造のあり得る動きに応じたポジションおよび向きにおける）知られていない空間特性のパースペクティブからの基準シンボルの取り込まれた外観を、（たとえば、既知のポジションおよび向きにおける）既知の空間特性のパースペクティブからの基準シンボルの名目の外観と比較する。この比較から、ポジション決定モジュール１４２は、相違を識別することができ、これらの相違から、ポジション決定モジュール１４２は、第２の先ほど知られていなかったパースペクティブにおける空間特性を導出することができる。

[0043]ポジション決定モジュール１４２が、空間特性を決定するために多数の技法のうちの任意の１つを実装してよいことは認識されよう。そのような技法またはモデルは、幾何解析、たとえば、三角形分割（ｔｒｉａｎｇｕｌａｔｉｏｎ）、またはポジション決定モジュール１４２に記憶された関係するアルゴリズムなどを含み得る。１つの特定の技法は、Ｄ．ＤｅＭｅｎｔｈｏｎおよびＬ．Ｓ．Ｄａｖｉｓ、「Ｍｏｄｅｌ−Ｂａｓｅｄ Ｏｂｊｅｃｔ Ｐｏｓｅ ｉｎ ２５ Ｌｉｎｅｓ ｏｆ Ｃｏｄｅ（２５行のコードのモデルベース・オブジェクト・ポーズ）」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，１５、１２３〜１４１頁、１９９５年６月に開示され、ここでは「ＰＯＳＩＴ」と呼ばれる。別の技法は、Ｖ．Ｌｅｐｅｔｉｔ、Ｆ．Ｍｏｒｅｎｏ−Ｎｏｇｕｅｒ、およびＰ．Ｆｕａ、「ＥＰｎＰ：Ａｎ Ａｃｃｕｒａｔｅ ０（ｎ） Ｓｏｌｕｔｉｏｎ ｔｏ ｔｈｅ ＰｎＰ Ｐｒｏｂｌｅｍ（ＥＰｎＰ：ＰｎＰ問題の正確な０（ｎ）解）」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｖｏｌ．８１、１５５〜１６６頁、２００９年に記載されている。さらなる例として、画像における基準シンボルの特性を測定して、基準シンボルと画像を取り込むカメラユニット１６０との間の相対的な並進および配向関係を決定するために、標準的三角形分割技法が採用されることがある。一例では、測定値を６つの独立した指標値に凝縮し、凝縮した値を所望のＤＯＦ指標値に変換する適切な変形を適用する。別の例示的な方法では、オーバーサンプリングされたシステムの数値適合を計算し、オーバーサンプリングを使用して、サンプリングされたデータの任意の潜在的ノイズを平均化またはフィルタリングし、冗長性を提供する（たとえば、スプリアス反射もしくは他の状況により、１つもしくは複数のエミッタがブロックされ、もしくは異常な信号レベルに遭遇した場合）、または特定の幾何学的関係の感度（たとえば、空間感度対角度感度）を高める。追加の信号処理方法が、たとえば、測定の時間的特性を含めることによって、抽出されたＤＯＦ指標値を改善するために使用されてもよい。

[0044]１つの例示的な実施形態では、ポジション決定モジュール１４２が、６自由度（ｘ、ｙおよびｚポジション、ならびにピッチ、ヨーおよびロールの向き）を有する空間特性を決定する。さらなる実施形態では、これらの空間特性の一部のみが識別され得る。さらに、必要または所望に応じて、これらの空間特性の派生物、たとえば、速度、加速度、およびジャーク（ｊｅｒｋ）などが導出されてもよい。

[0045]上記のように、図２および図３の例では、基準シンボル２００は、この場合は原点である第１のパースペクティブにおける名目の外観を有する。上の例では、名目の外観は原点に対して固定される。言い換えれば、基準シンボル２００は、トラッカ表示ユニット１７０に対して固定しており、一貫した一定の様式で表示されて、基準シンボル２００が常に、第１のパースペクティブで名目の外観を有し、第２のパースペクティブで歪んだ外観を有するようにされる。基準シンボル２００を生成するためにリソグラフィで作製されたマトリックスディスプレイを使用する利点は、上記に紹介されている。図２および図３に示されるような静止または固定した基準シンボルの場合、１つの代替的な例示的実施形態では、放射または光変調基板上に静止画像をリソグラフィでパターン形成する場合であっても、動的画像生成能力を控えて単純に静止画像を表示する。

[0046]図１を再び参照すると、ＮＴＥトラッカ制御ユニット１４０は、次のフレームにおいてユーザの空間特性を予想するように構成された予測モジュール１４４をさらに含む。これらの特徴空間特性は、以下では「空間予測」と呼ばれる。やはり上述したように、ＮＴＥトラッカ制御ユニット１４０は、表示された基準シンボルの外観を能動的に制御するために、トラッカ表示ユニット１７０にも結合される。特に、ＮＴＥトラッカ制御ユニット１４０の表示モジュール１４６は、空間予測に基づいて、トラッカ表示ユニット１７０上で基準シンボルを調節、方向付け、および配置する表示コマンドを生成する。したがって、ＮＴＥトラッカ制御ユニット１４０はさらに、構造１１０の予測された空間特性を参照して、名目の基準シンボルを生成することができる。言い換えれば、基準シンボルの名目の外観は、特定の固定されたポジションまたは原点に対して固定されず、代わりに、名目の基準シンボルは、後述されるように、構造１００の予測ポジションおよび／または向きに基づいてコンテキストに依存する。

[0047]予測モジュール１４４は、任意の個数のパラメータに基づいて空間予測を生成し得る。たとえば、予測モジュール１４４は、先行の空間特性の傾向または外挿に基づいて、空間予測を決定することができる。一実施形態では、空間予測を生成するために、たとえば、空間特性の直近に測定された変化の一部または全部を現在の空間特性に加えることによって、単純な線形外挿が使用される。他の実施形態では、カルマンフィルタリングおよびその拡張などの既知の技術を含む、二次推定のような高次の技法が使用され得る。空間予測は、最近の測定履歴から推定または導出された動きの高次微分を考慮に入れてもよく、また、動作環境１０２内の典型的ユーザの特徴的な頭部の動きの力学を考慮に入れてもよい。これらの予測モジュールの実施形態のいくつかは２つ以上のフレームからのデータを利用するが、これは限定することを意図していない。別の実施形態では、予測モジュール１４４は、単一の先行フレームの空間特性を次のフレームに対する空間特性として使用する。適切な基準シンボルを用いると、これは、特にフレーム間の空間特性の変化が過剰でない場合、単純であるが非常に効果的であり得る。特定の実施形態では、予測モジュール１４４は、複数の先行フレームにわたる空間特性の変化が小さいときなどに、複数の先行フレームの平均を利用することもでき、空間特性のより大きな変化が検出されたときに、別の推定方法に任意に切り替わることができる。さらに他の実施形態では、予測モジュール１４４は、二次トラッカ機構などの他の入力に基づいて空間予測を生成することができる。

[0048]空間予測からもたらされる基準シンボルの例が図４および図５に示される。図４は、空間予測のパースペクティブからの表示ユニット１７０の画像周辺部４０２内の基準シンボル４００のビューを示す。特にこの実施形態では、基準シンボル４００は、予想された位置および向きから見られまたは取り込まれたときに名目の外観を有するように表示される。空間予測の予想された位置および向きは既知の空間特性を有するが、その空間特性をもたらす動きが予想される。図示されるように、（たとえば、原点のパースペクティブからではなく）空間予測のパースペクティブからユーザが画像を見ているので、画像周辺部４０２が歪められる。しかしながら、基準シンボル４００は、基準シンボル４００を形成するグリッドの規則的な一様の外観によって示されるように、名目の外観を有する。参考のため、図５は、この例ではユーザの現在のパースペクティブまたは予測されたパースペクティブではない、原点のパースペクティブからの表示ユニット１７０の画像周辺部４０２内の同じ基準シンボル４００のビューであり、単に比較のために示されている。このビューでは、基準シンボル４００が、原点ではなく空間予測から名目の外観に関してレンダリングされるので、基準シンボル４００は歪められて見える。

[0049]図１を再び参照すると、空間予測を行って、空間予測に従って基準シンボル（たとえば、図４の基準シンボル４００）を表示したとき、カメラユニット１６０は、ユーザの実際の位置および向きから基準シンボルの画像を取り込む。画像を受信すると、ポジション決定モジュール１４２は、画像から抽出された基準シンボルを識別および評価する。特に、ポジション決定モジュール１４２は、画像における基準シンボルを、既知の空間特性の名目の基準シンボルと比較する。画像における基準シンボルが名目の外観を有する場合、ポジション決定モジュール１４２は、現在の空間特性として空間予測を識別する。取り込まれた画像における基準シンボルが名目と異なる外観を有する場合、ポジション決定モジュール１４２は、相違を識別し、たとえば上述のプロセスと同様に、これらの相違に基づいて現在の空間特性を決定する。

[0050]フレームごとの基準シンボルの能動的制御が特別な利点を実現する。たとえば、各フレームが、最も有利に適合された基準シンボルを可能にし得る。図４および図５の実施形態における能動的制御の結果として、カメラにより取り込まれた基準シンボルが概してフレーム間で同じに見えることになる。シンボルは、実質的に、原点に対して「予め歪められる」または予め変形されるが、予想されたパースペクティブに対して名目的である。予測されたカメラ６ＤＯＦポジションが実際のポジションと異なった場合、名目のパターンから単にずれが存在することになる。この手法は、パターンマッチングおよび解析アルゴリズムを非常に単純化することができる。基準シンボルを能動的に制御することによって、基準ベースのパターン認識に必要とされる幾何形状および関係の範囲が減らされる。幾何学的操作および計算を、取り込まれた画像の「後処理」ではなくシンボルの「前処理」に移動することにより、検出ステップが単純化される。さらなる利点も実現され得る。たとえば、グリッドの周辺部が、理想からの推定されたずれを見出すために使用されてよく、それにより、データのはるかに冗長なセットが、画像から抽出され処理されることが可能になり得る。これは、たとえば、全体的精度を平均化および改善するグリッドの内部または周りの何千ものピクセル位置、ならびに、最小の探索および曖昧さでそれらの各ポイントをどこで探すかを知ることを含み得る。図４では１つのグリッドを示しているが、複数のより小さいシンボルが、エリア上に、たとえば、ディスプレイおよびカメラの現在の視野（ＦＯＶ）の重なりの各隅に分散されてもよい。

[0051]図４と図５の間の最も明らかな差異は基準シンボル４００の向きおよび形状であるが、空間特性を決定する能力を向上するために、外観の他の変化が与えられてもよい。たとえば、位置、サイズ、形状、色、更新レート、および他の特性が、ユーザの空間予測に応じて異なってもよい。具体例として、比較的大きいトラッカ表示ユニット１７０において、基準シンボルは、ユーザの空間予測に最も近い画面上のポジション、またはカメラユニット１６０の視野内に選択された画面上のポジションに配置され得る。しかしながら、適合された色の使用、サブピクセル詳細（ディスプレイとカメラの両方）、モノクロ／狭帯域動作、画像平滑化、またはセンサ帯域制限技法など、他の変形例が提供されてもよい。特定の実施形態では、美的な視覚画質を向上させるために一般的に活用される技術が回避されることがあり、たとえば、トラッキング機能に有用であり得るモアレ効果などの情報を意図的に許容して活用することがある。

[0052]いくつかの実施形態では、トラッカ制御ユニット１４０は、たとえば、ユーザの空間予測に加えて、追加のパラメータに基づいて、トラッカ表示ユニット１７０上に表示基準シンボルを表示することができる。たとえば、基準シンボルは、プラットフォーム、動きの範囲、カメラユニット、および／または表示特性に基づいて選択され得る。

[0053]図２〜図５は、基準シンボルの空間特性、特に向きを変えることの可能な効果の１つが、その名目の形状に対する基準シンボルの見掛けの歪みであることを明示している。たとえば、その１つの辺または面内軸の周りの方形のシンボルの向きを変更することにより、見る人またはカメラユニット１６０からのその距離が増大するため、一方の辺が他方の辺より短く見える見掛けの台形形状になり得る。所定量の向きの差を検出する能力は、いくつかの詳細な因子および考慮事項に依存するが、この単純な例は、本発明のコンテキストでは、トラッカ表示ユニット１７０の特定の好ましい特性の一次推定を得るために使用され得る。幅Ｗで、原点でのカメラユニット１６０から距離Ｄに配置された方形の基準シンボルについて、上述のような向き角度Ａの小さな変化が、台形画像をもたらし、その方形の一辺が対辺よりも、約Ｗ×ｓｉｎ（Ａ）だけ、またはＡが極めて小さくラジアンで測定される場合に約Ｗ×Ａだけカメラに近くなる。この結果、より近い辺は、高さＷの対辺と比べて、Ｗ×（（Ｄ＋ＷＡ）／Ｄ）の高さに見える。したがって、分数変化率は（Ｗ×（ｌ＋ＡＷ／Ｄ）−Ｗ）／Ｗ＝ＡＷ／Ｄである。例として、Ａ、Ｗ、およびＤを５ミリラジアン、２００ｍｍ、および５００ｍｍにそれぞれ設定すると、約１／５００または０．２％の見掛けの変化をもたらす。一般にこのレベルの詳細の解像は、同じまたはそれ未満のピクセル、すなわち、距離Ｗに沿って約５００ピクセル以上のピクセルの使用を示唆し、最小５００×５００の精密で均一間隔のピクセルを有するピクセル化マトリックス表示を暗示する。より大きいピクセル数、たとえば、１０００×１０００、２０００×２０００または４０００×４０００が使用されてよく、それにより、より小さい角度の解像、より小さいトラッカ表示ユニットの使用、より大きいトラッキング距離、ならびに性能および柔軟性の全体的な改善の実現を可能にする。同じ理由により、ピクセルの見掛けの光学的深さおよび厚さが、角度の関数としての実効解像度の低下を最小限にするように、横方向のピクセル寸法よりも実質的に小さくてよい。

[0054]さらなる実施形態では、ＮＴＥトラッカ制御ユニット１４０は、他の因子に基づいて基準シンボルの外観を追加的または代替的に修正するための補償モジュールを含むことができる。補償モジュールは、特に、潜在的な誤差源、たとえば、カメラマッピングの歪み（たとえば、樽型または糸巻形歪み）、平坦性の表示偏差、および／または任意の介在基板もしくは表面を介する屈折効果などに基づいて、基準シンボルの外観を修正することができる。前処理段階のそれらの潜在的誤差を推定および補償することによって、パターンマッチングアルゴリズムでそれらの効果を考慮する必要を実質的に軽減または除去し、それにより、処理の複雑さをかなり低減し得る。レンズの歪みおよび収差、ケラレ、ならびにセンサアライメントは、容易に性能を低下させるおそれがあり、したがって、高精度が必要とされる場合に考慮されるべきである。これらは、前処理段階および後処理段階の一方または両方で、記憶および適用される特徴により、モデル化されまたは別個に特徴付けられ得る。たとえば透明な表示部基板を介する屈折効果が、一般的に理解される。これらは、潜在的なトラッキング範囲にわたって大きく変動し得るが、前処理段階で滑らかに変化して補償に適していることがある。潜在的誤差のさらに別の発生源は、別個に完全に特徴付けることがより難しくなり得るが、調整可能な基準の組み合わせ、ディスプレイマトリクス構造の極度の精度および線形性、ならびに補償モジュールを使用して、トラッキング機能と同時の手法で、そうした効果を検出および調整することが可能である。

[0055]一実施形態では、補償モジュールは、図２〜図５のグリッド線２００および４００のような表示ユニット１７０に表示された検出された線およびシンボルの線形性を別個に検査し、複数のそのような測定値および既知の光線追跡技法を用いて、ディスプレイユニット１７０の平坦性のプロファイルの特性記述を作る。次いで、たとえば多項式ベースの表面平坦性モデルの形態のこの記述は、利用可能にされ、適宜に定期的に更新される。平坦性モデルは、前処理および後処理機能の精度を改善するために使用され得る。表示されたシンボルの調整可能性は、トラッカ出力の正確さおよび精度をさもなければ制限し得るものを完全に特徴付ける能力を高める。補償モジュールは、ポジション決定モジュール１４２による空間特性の決定におけるオーバーサンプリングから生じる統計誤差、残差、またはメリット関数に対するアクセスを有してもよく、それらは、結果の決定を改善するためのフィードバックとして使用され得る。

[0056]前述のように、１つの例示的な実施形態は、ユーザにより直接見ることを意図されたユーザに見えるシンボル体系をさらに提供するために、１つまたは複数のトラッカ表示ユニット１７０を利用してよく、たとえば、見る人の前方ラインの前で少し下に配置された表示ユニット１７０を利用してよい。この実施形態では、トラッカに対するシンボルは、表示領域の隅で静的に配置された基準など、表示ユニット１７０の未使用領域に提示され得る。あるいは、基準シンボルは、ユーザに見えるシンボル体系内に非散乱的に組み込まれてよく、または見る人に提供される同じシンボルであってもよい。この後者の場合、直接信号接続が任意であってよく、カメラベースのトラッカ組立体が、それらのシンボル、特に一貫性のあるまたは予測可能なシンボルを参照することを可能にする。たとえば、高速ＡＭＯＬＥＤまたはＡＭＬＣＤパネルを使用するステレオモニタにおけるように時間変調された、二重可視／ＮＩＲ出力セットなどの、他のカスタム設計も可能である。基準シンボルを他のシンボル体系から分離するために、標準スペクトルフィルタリングおよび／または時間位相に敏感な検出方法が採用されてもよい。

[0057]図６は、本明細書に説明される例示的な実施形態と共に使用するのに適した方法６００の例示的な実施形態を示すフローチャートである。方法６００と関連して行われる様々なタスクが、ソフトウェア、ハードウェア、ファームウェア、またはこれらの任意の組み合わせによって実行され得る。説明のため、方法６００の以下の説明は、先行する図に関連して上述された要素を参照することができる。実際は、方法６００の部分は、説明されたシステムの異なる要素によって行われてもよい。方法６００は、任意の数の追加または代替のタスクを含んでよく、図６に示されるタスクは図示の順序で行われる必要がなく、方法６００は、本明細書に説明されていない追加の機能を有するより包括的な手順または方法に組み込まれてもよいことを認識されたい。さらに、意図される全体的機能がそのままである限り、図６に示されるタスクのうちの１つまたは複数が、方法６００の実施形態から省略されてもよい。

[0058]第１のステップ６０５では、ユーザの現在の空間特性が、トラッカ制御ユニット１４０によって決定されまたは他のやり方で取得される。現在の空間特性は、前述の決定を含む任意の適切な様式で決定されてよい。いくつかの実施形態では、現在の空間特性は、既知の空間特性を用いて原点または他のパースペクティブに対して名目の外観を有する基準シンボルを表示するようにトラッカ表示ユニット１７０に指示することによって決定されることが可能であり、したがって、現在の空間特性は、図２および図３を参照して、たとえば上記に説明された機能と同様に決定され得る。

[0059]ステップ６１０では、ユーザの空間予測が、トラッカ制御ユニット１４０によって次のフレームまたは期間について決定される。ステップ６１５では、表示コマンドが生成され、少なくとも先行の基準シンボルとは異なるいくつかのフレームまたは期間についての基準シンボルをトラッカ表示ユニット１７０に表示する。一例では、基準シンボルの名目の外観が空間予測のパースペクティブからのものであるように基準シンボルが表示される。

[0060]ステップ６２０では、基準シンボルの画像がカメラユニット１６０によって取り込まれる。ステップ６２５では、基準シンボルの取り込まれた外観が解析され、たとえば名目の外観と比較され、ユーザの空間特性を決定する。ステップ６３０では、ＮＴＥ駆動ユニット１３０が、適切なポジションで表示シンボル体系をユーザが見ることができるように、空間特性に基づいて、構造表示ユニット１２０に対する表示コマンドを生成する。

[0061]続いて、方法６００は、ステップ６０５に戻り、したがって、トラッカ制御ユニット１４０が引き続き、基準シンボルの外観を能動的に管理し、ユーザの更新された空間特性を決定する。

[0062]図２〜図５では、追跡された空間特性に基づいてシンボルが有利に修正される基準シンボルの一例を示しているが、多くの他のタイプの基準シンボルが、異なるコンテキストで提供され使用されてもよい。図７は、直接的特徴検出を促進するための例示的な実施形態で実装される基準シンボル７００である。図７では、基準シンボル７００は、回転された実線の方形のネストされた対、またはより一般的には、回転された基準シンボルのネストされた対（もしくはそれより多数のもの）である。目標線ｒ１、ｒ２、ｃ１、ｃ２は、カメラ画像内のピクセルの選択され固定された個々の列および行を表す。画像を受信すると、ＮＴＥトラッカ制御ユニット１４０は、線ｒ１、ｒ２、ｃ１、ｃ２の交点ａ〜ｐおよび基準シンボル７００の方形の１つまたは複数を識別する。これは、期待された近傍で目標線ｒ１、ｒ２、ｃ１、ｃ２を探索して、それらの行および列に沿って画像輝度のピークを突き止めることにより、比較的単純な様式で達成され得る。量子化誤差またはデフォーカスが問題である場合、それらは単純な局所的加重加算技法によって緩和され得る。この基本的例の結果は、ｒ１、ｒ２、ｃ１、ｃ２が予め決定されていて測定されないので、交点に関連付けられた１６個までの測定値のセットである。この値のセットから、ディスプレイ上の点がｈおよびｖの両方で一意に特徴付けられないが、６自由度が抽出され得る。グリッド交差に対する２Ｄ探索を行う、または三角関数を呼び出して斜線もしくは曲線を追跡するのでなく、このような関係を維持することで、単純な線形探索が代わりに使用されるのを可能にする。

[0063]値ｒ１、ｒ２、ｃ１、ｃ２およびａ〜ｐを、追跡された空間特性に変換することは、先に説明されたのと同様の方法を使用して行われ得る。たとえば、シンボル７００の各方形の各隅は、対応する２行の交点を単純に解くことにより容易に突き止められ特徴付けられ得る。点ａおよびｈを通る線は、ｂおよびｃを通る線と交差して、カメラユニット１６０によって取り込まれたシンボル７００内の最も上の隅部を生じる。８つの隅部またはその充分なサブセットから、追跡されるべき空間特性が、対応するメリット関数の非線形最小二乗最小化、代数的、または他のそうした方法のいずれによっても、解決され得る。

[0064]空間特性が再び変化するときにフレームごとの基準シンボルを調整する能力が、性能を最適化する際の柔軟性を提供する。したがって、基準シンボルの生成中に、パースペクティブが変化するときに所望に応じて、見掛けの向き、角度、サイズ、および他の態様が維持されることが可能であり、したがって、動きの効果がフレーム間で充分に小さい場合に、線形または二次近似を使用してものを扱う場合であっても、ＮＴＥトラッカ制御ユニット１４０は、予想された値からのずれを単に探すことが要求される。シンボル内の方形または他の特徴の数は、所望に応じて動的に変動してもよい。さらなる変形例は、線の傾斜を調整して試験点の相対方向感度を変更することを含む。画像化センサ解像度が増大すると、データ転送および解析に必要とされる信号帯域幅も増大する。ここで上述された方法は、カメラユニット１６０の視野または有効領域内で、特定の領域または関心領域に対する強調を可能にする。多くのカメラセンサを用いて、これは、より大きな領域が取り込まれ解析される必要があるときよりも著しく高いフレームレートでの動作を可能にする。合理化された特徴検出および処理と共に、画像取り込みと決定された空間特性の利用可能性との間の待ち時間または遅延が、最小限に維持され得る。

[0065]図８は、別の例示的実施形態によるＮＴＥシステム８００の部分の機能ブロック図である。特に言及されない限り、ＮＴＥシステム８００は、図１のＮＴＥシステム１００と同様であり、構造表示ユニット１２０、ＮＴＥ駆動ユニット１３０、ＮＴＥトラッカ制御ユニット１４０、および１つまたは複数のデータソース１８０などの要素を含み、それらは、ＮＴＥシステム８００の部分を形成し得るが図８には図示されていない。図８では、カメラユニット８６０は、動作環境１０２に対して固定しており、トラッカ表示ユニット８７０は、ＮＴＥ構造１１０に取り付けられ、したがってＮＴＥ表示ユニット１２０に対して固定する。ＮＴＥ構造１１０の空間特性は、逆の関係を除いて、カメラユニット１６０およびトラッカ表示ユニット１７０の前述の場合と同様に追跡される。表示ユニット８７０は、一般に小型で軽量であるが、精密な空間光変調器／ディスプレイの使用は、特徴のサイズおよび精度、線形性、ならびに、ＮＴＥ構造１１０の空間特性または他のコンテキスト依存パラメータに基づいて基準シンボルを調整する能力の点で、個別デバイスまたは受動的基準マーキングより大きな利点をやはり与える。図８の実施形態では、トラッカ表示ユニット８７０は、カメラユニット８６０の視野８６５を充足しない。カメラユニット８６０は、取り込まれた画像の関心エリアまたは領域のサンプリングを可能にする高解像度カメラであることが好ましい。

[0066]図８に関連した別の実施形態は、ハイブリッド光学トラッカシステムと呼ばれることがあるものを形成するように、カメラユニット８６０およびトラッカ表示ユニット８７０と関連して、ＮＴＥ構造１１０に取り付けられた慣性測定ユニット（ＩＭＵ）８９０を含む。このハイブリッドシステムの実施形態において、カメラ８６０および表示ユニット８７０は、参照により本明細書に組み込まれる米国特許第９，４８９，０４５号に記載されているように、ＩＭＵ８９０のための「スナップショット」トゥルーシング（ｔｒｕｔｈｉｎｇ）モードで使用される。この実施形態では、カメラユニット８６０は、当技術分野で使用されている（ローリングシャッターモードと対照される）グローバルシャッターモードを使用することが好ましく、基準シンボル体系が生成され、それにより、同期されたＩＭＵベースの結果と比較される空間特性の非常に精密な決定をもたらすために充分に詳細で迅速なまたは「スナップショット」の収集を定期的に可能にし、ＩＭＵドリフトまたは他の潜在的な誤差源の補正における入力として使用される２つの同期された測定の間の偏差を有する。この高精度な決定は、より長い待ち時間を有する可能性があるが、スナップショット・トゥルーシング動作モードと適合する。他の時間で、たとえば、高精度スナップショットで取り込まれた画像の間で、基準シンボル体系が、合理化された基準パターン認識をサポートするように単純化される、または他の形式で調整されることが可能であり、それにより待ち時間が減少する。１つのそうした実施形態において、予測モジュール１４４は、光学解像度および精度が最適であると期待されるカメラユニット８６０の視野８６５の中心の近くにトラッカ表示ユニット８７０がいつ現れるかを予測し、その時点でスナップショット・トゥルーシング・モードを開始するために使用される。

[0067]図８の実施形態において、カメラユニット１６０および８６０は、それぞれ関連付けられたトラッカ表示ユニット１７０および８７０と共に組み合わされて使用される。これは、複数の有利な点の使用を通して精度の向上をサポートする。基準シンボル体系は、１つまたは複数のカメラがアクティブであり表示されたシンボル体系を取り込むことができるかどうかに基づいて調整されることが可能である。両方がそれらの対応するトラッカ表示ユニットの画像を効果的に取り込んでいるとき、一方のたとえば表示ユニット１７０のための基準シンボル体系は、たとえば、角度空間特性に対する感度を最適化されることができる。そして、表示ユニット８７０のための基準シンボル体系は、組み合わせが、最適な全体的精度および待ち時間を提供するように、並進空間特性を強調するように適合されることができる。他の実施形態では、追加のカメラユニットおよびトラッカ表示ユニットが、信頼性、精度、およびトラッキング範囲を増大するために含まれる。

[0068]調整可能な基準シンボルを提供するために平坦なパネルディスプレイを使用することは、これまで説明された実施形態によって示されるように多くの潜在的利益をもたらす。上述されたコンテキスト依存シンボル体系と共に使用され得る追加の要素が、図９〜図１２を参照して以下で提示される。特に、図９〜図１２は、上述されたＮＴＥシステム１００、８００と共に使用され得る光学変更子（ｏｐｔｉｃａｌ ｍｏｄｉｆｉｅｒ）を示す。一般に、図９〜図１２は、カメラユニット、トラッカ表示ユニット、および光学変更子の例示的な相対的ポジションを示す。特に言及されない限り、以下に説明されるカメラユニットおよびトラッカ表示ユニットは、上述されたように動作し、関連したＮＴＥシステムの他のコンポーネントの説明は明瞭にするために省略される。

[0069]次に図９を参照すると、例示的な実施形態は、トラッカ表示ユニット９７０とカメラユニット９６０との間に光学変更子９７６を含む。本明細書で使用される場合、「光学変更子」という用語は、カメラユニットたとえばカメラユニット９６０によって取り込まれる基準シンボルの見える外観を変更する、表示ユニットたとえば表示ユニット９７０に対して固定された１つまたは複数の光学素子として定義される。「光学変更子」を形成する光学素子は、屈折性、反射性、またはそれらの組み合わせであり得る。図９の実施形態では、光学変更子９７６は、屈折率ｎ＞１を有するガラスなどの屈折性材料によって分離された平行な表面を有する屈折素子であり、たとえば、オプチカルフラットまたは屈折力（ｏｐｔｉｃａｌ ｐｏｗｅｒ）がゼロのレンズを有する。光学変更子９７６の効果は、互いに対して追跡される構造の空間的特性と共に変わる追加的な効果、たとえばポジションの見掛けのシフトを導入することである。図示されるように、光学変更子９７６の存在は、基準点９７４の見掛けのポジションに対して影響しないが、屈折効果が、基準点９８８のポジションの見掛けのシフトを引き起こし、この場合、カメラユニット９６０にとって、それが基準点９７８にあるかのように見えるようにする。同様に、カメラユニット９６０が点９８８から直接出た場合、それは、シフトされたように見える点９７４となる。

[0070]透明な表示部基板における屈折効果が、あり得る誤差源として上述されているが、図９の実施形態は、これらの屈折効果は、トラッカ表示ユニット９７０および光学変更子９７６によって例示される厚い基板を用いて示されるように、有用なデータを実際に提供し得ることを示す。光学変更子９７６は、任意選択で、トラッカ表示ユニット領域全体をカバーする、または図９に示されるように部分的にのみカバーすることができる。光線９８２および９８４は、光学変更子９７６を通過することなく、ディスプレイ９７０からカメラ９６０に直接移動する。幾何形状を知ることは、それらの違いを、画像データを前処理または後処理するための任意のアルゴリズムに含めることを可能とし、小さな６自由度の変化を検出する能力を改善するために使用され得る。例として、挿入図９９２は、２つの直交線９９４を含む基準シンボルがカメラユニット９６０によってどのように取り込まれ得るかを示す。変更子９７６の外側で、線は直接的に取り込まれるが、変更子９７６の存在で、点９８８から点９７８へのシフトに類似して線がシフトされる。詳細なシフトは、基準記号と空間特性の両方に応じて多くの形態をとり得る。特に、基準シンボルを調整する能力を利用して、解析の単純化、精度および正確さの向上、計算の複雑さの低減、またはそれらの組み合わせを行うことができる。

[0071]図１０に別の実施形態が示されており、ここでは、非球面レンズが光学変更子１０７６として設けられる。空隙が、光学変更子１０７６とトラッカ表示ユニット１０７０との間に導入される。光学変更子のレンズの屈折力が、空間特性の影響を拡大する。所与のレンズで達成可能な倍率は、従来の拡大鏡とほぼ同様に、分離を選ぶこと、たとえば、表示位置１０７２または１０７４に表示ユニット１０７０を配置することによって、選択され得る。図示されるように、カメラユニット１０６０は、実質的に無限焦点距離に設置され、対応する光線束１０８６はそれぞれ平行光線を含む。相対的倍率は、屈折または変更された光線束が位置１０７４、１０７２におけるディスプレイならびに表示ユニット１０７０位置で交差する場所の比較によって理解され得る。良く補正された結像レンズを変更子１０７６とする場合、表示ユニット１０７０は、コリメートされたディスプレイとして機能することができ、そこから、コリメートされた基準シンボルがカメラユニット１０６０によって取り込まれる。基準シンボルの倍率により、潜在的な基準シンボルの少なくとも一部分が、カメラユニット１０６０にとって見えないことがある。これは、示された構成において、一般ポジション１０８８以外の基準ポジションの場合に当てはまる。そこで、基準シンボルを調整する能力が、予測モジュール１４４と共同して、拡大された画像のアクセス可能な部分にシンボルを配置することを可能にする。図示された実施形態はまた、光学変更子１０７６をバイパスする光線束１０８２および１０８４を含むが、これは限定することを意図していない。

[0072]図１０の挿入図１０９２は、同様に、カメラユニット１０６０により取り込まれた基準シンボルの例示的なビューを示す。直交線１０９４が直接取り込まれ、対応する修正された線１０９６も取り込まれる。線間の実効オフセットは、空間特性に強く依存し、したがって、基準シンボルの注意深い形成および配置が重要であり、予測空間特性に依存する。

[0073]別の光学変更子１１７６が図１１に示される。光学変更子１１７６は、図９の平坦な光学変更子９７６に類似するが、ここでは、平行な表面からの複数の反射が考慮される。変更子１１７６の表面は、コーティングされてなくてよく、または任意選択で、表面における反射と透過のバランスを調整するコーティングを有してもよい。同様の効果が、空気間隔のある部分反射鏡またはビームスプリッタを使用して達成され得るが、図１１では屈折率ｎ＞１を想定する。図９と同様に、基準位置１１７４は光学素子１１７６によって影響されない。この場合の基準ポジション１１８８は、カメラユニット１１６０に移動する光線１１８６により、複数の見掛けの基準ポジション、たとえばポジション１１７８および１１７６を生じる。光線１１８２および１１８４をオプションとして含めることにより、光学変更子１１７６の存在下で、空間特性の影響を検出および定量化する能力がさらに高められる。

[0074]図１２に、別の例示的な実施形態が示される。ここで、光学変更子１２７６は、トラッカ表示ユニット１２７０に対して固定角度で配置された２つの鏡面反射鏡を含む。カメラユニット１２６０は基準シンボル１２８８の単一の画像を検出するのではなく、基準シンボル１２８８の複数の画像を光線１２８６を介して取り込む。基準シンボル１２８８の位置で表示ユニット１２７０によって放射または変調された光は、光学変更子１２７６により反射された光を含み、所与の構成では、位置１２７８においてシンボル１２８８の見掛けのコピーをもたらす。図９〜図１１と同様に、これらの修正されたおよび／または追加の点は、追加の情報を提供し、それを用いて、取り込まれた結果が前処理または後処理されて空間特性を決定する。光学変更子を含む実施形態のそれぞれは、平面トラッカ表示ユニット９７０、１０７０、１１７０および１２７０のみから入手できるデータを超えるデータを効果的に導入し、そのような複数自由度トラッキングのシナリオにおける小さい変化を識別する能力を向上させる。この実施形態における基準シンボルを修正する能力は、複数の画像１２７８が存在しカメラユニット１２６０に見えるように、システムが基準シンボル１２８８を配置することを可能にする。直線および曲線が基準シンボル１２８８に組み込まれ、シンボル１２８８と画像１２７８との間の関係が取り込まれ解析されることが可能である。

[0075]屈折性、反射性、および組み合わせの要素、ならびに屈折力有りおよび屈折力無しの変更子を含む、いくつかのタイプの光学変更子が示されているが、これらは限定することを意図していない。複数の要素レンズおよび他の構成が使用され得る。「パンケーキウィンドウ」コリメータとして知られるものを作るために、湾曲した鏡面を光学平面内に導入することのように、光学パワーミラーシステムが使用され得る。これらの実施形態のそれぞれは、トラッカシステム能力をさらに拡張し、また、トラッカ表示機能および関連モジュールの使用によって提供される能力を大いに利用することができる。

[0076]本明細書に説明されたシステムおよび方法は、たとえば、精密なジッターフリーの位置合わせ、およびＮＴＥ表示デバイス上の表示要素のレンダリングを可能にする、高精度で、高速で、待ち時間が短く、比較的軽量のトラッキングシステムを提供する。本明細書に論じられた例示的な実施形態は、比較的高い精度および再現性を提供し、それにより、継続的に行う不正確さの認識および補償による精度の向上をさらにもたらす。一般に、アクティブマトリックスディスプレイの使用が、精度、安定性、および視認性の向上を可能にする。たとえば、基準シンボルの能動的管理と併せて、そのようなディスプレイは、検出に関連する不確実性より著しく大きい基準特性の分離を可能にし、それにより、より小さい分離を有する高精度を可能にする。

[0077]本明細書に説明された例示的な実施形態は、第２オブジェクト、たとえば、プラットフォームに関するオブジェクトに対する第１のオブジェクトの向きおよび位置を追跡するために、コンテキスト特有の基準シンボルを活用する。この手法は、高精度、非常に短い待ち時間（たとえばサブミリ秒）、低減されたフォームファクタ、単純化された設置、金属構造の耐性、および低減されたコストを実現する。例示的な実施形態は、移動アクチュエータに移動のフィードバックを提供すること、ならびに、等角画像などのシンボルおよびグラフィックスを含む情報を、パイロットに着用されパイロットの頭部の動きに基づくニア・ツー・アイ・ディスプレイ、航洋船内のディスプレイなどのディスプレイシステム、および、オフサイト管制官たとえば地上管制官によって使用され、ユーザの頭部、場合によっては遠隔のパイロットの頭部の動きに基づくディスプレイに、表示することを含む。多くの他のディスプレイ適用例もトラッキング能力から利益を得ることができる。実施形態は、基準シンボルの継続的な調整を可能にして、たとえば、容易な特徴検出、合理化された解析、並進対配向感度、冗長性、方向感度などについて、トラッカ性能を最適化する。

[0078]本明細書に開示された実施形態に関連して説明された様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせで実装され得ることは、当業者には認識されよう。実施形態および実装形態のいくつかは、機能および／または論理ブロック・コンポーネント（またはモジュール）ならびに様々な処理ステップの点から上記に説明されている。しかしながら、そのようなブロック・コンポーネント（またはモジュール）は、指定された機能を実行するように構成された任意の数のハードウェア、ソフトウェア、および／またはファームウェア・コンポーネントによって実現され得ることを認識されたい。このハードウェアとソフトウェアの交換可能性を明確に示すために、様々な例示的なコンポーネント、ブロック、モジュール、回路、およびステップが、それらの機能の点から概して上記に説明されている。そのような機能がハードウェアとして実装されるかそれともソフトウェアとして実装されるかは、システム全体に課される特定の適用および設計制約に依存する。当業者は、説明された機能を特定の適用ごとに様々な方法で実装し得るが、そのような実装の決定は、本発明の範囲から逸脱するものと解釈されるべきではない。たとえば、システムまたはコンポーネントの実施形態は、１または複数のマイクロプロセッサまたは他の制御デバイスの制御下で様々な機能を実行し得る、様々な集積回路コンポーネント、たとえば、記憶素子、デジタル信号処理素子、論理素子、またはルックアップテーブルなどを利用してよい。加えて、本明細書に説明された実施形態は単に例示的な実装形態であることは、当業者には認識されよう。

[0079]本明細書において、第１および第２などの関係語は、あるエンティティまたはアクションを別のエンティティまたはアクションから区別するためのみに使用されることがあり、そのようなエンティティまたはアクションの間の何らかの実際のそうした関係または順序を必ずしも要求または示唆しない。「第１」、「第２」、「第３」などの序数は、複数のうちの異なる１つを単に表しており、請求項の言葉によって明確に定義されない限り、いかなる順序またはシーケンスも意味しない。請求項のいずれかにおける文章のシーケンスは、請求項の言葉によって特に定義されない限り、プロセスステップがそのようなシーケンスによる時間的または論理的な順序で実行される必要があることを意味しない。プロセスステップは、交換が請求項の言葉と矛盾せず論理的に無意味でない限り、本発明の範囲から逸脱することなく任意の順序で交換されてよい。

[0080]さらに、コンテキストに応じて、異なる要素間の関係を説明する際に使用される「接続する」または「結合される」などの語は、これらの要素間で直接的な物理接続が行われなければならないことを意味しない。たとえば、２つの要素が、１つまたは複数の追加の要素を介して、物理的に、電子的に、論理的に、または任意の他の様式で互いに接続され得る。

[0081]少なくとも１つの例示的な実施形態が本発明の上記の詳細な説明で提示されているが、かなりの数の変形例が存在することを認識されたい。また、この１つまたは複数の例示的な実施形態は例に過ぎず、本発明の範囲、適用可能性、または構成を何ら限定することは意図されていないことを認識されたい。むしろ、上記の詳細な説明は、本発明の例示的な実施形態を実装するための便利な手引きを当業者に提供する。添付の特許請求の範囲に記載される本発明の範囲から逸脱することなく、例示的な実施形態に説明された要素の機能および配置に関して様々な変更がされ得ることは理解される。

１００ ＮＴＥシステム
１０２ 動作環境
１１０ ＮＴＥ構造
１２０ 構造表示ユニット
１３０ ＮＴＥ駆動ユニット
１４０ ＮＴＥトラッカ制御ユニット
１４２ ポジション決定モジュール
１４４ 予測モジュール
１４６ 表示モジュール
１５０ コンピュータプロセッサ
１５２ メモリ
１６０ カメラユニット
１７０ トラッカ表示ユニット
１８０ データソース
２００ 基準シンボル
２０２ 周辺部
２１０ 特徴
４００ 基準シンボル
４０２ 画像周辺部
８００ ＮＴＥシステム
８６０ カメラユニット
８６５ 視野
８７０ トラッカ表示ユニット
８９０ 慣性測定ユニット（ＩＭＵ）
９６０ カメラユニット
９７０ トラッカ表示ユニット
９７４ 基準点
９７６ 光学変更子
９７８ 基準点
９８２ 光線
９８４ 光線
９８８ 基準点
９９４ 直交線
１０６０ カメラユニット
１０７０ トラッカ表示ユニット
１０７２ 表示位置
１０７４ 表示位置
１０７６ 光学変更子
１０８２ 光線束
１０８４ 光線束
１０８６ 光線束
１０８８ 一般ポジション
１０９４ 直交線
１０９６ 修正された線
１１６０ カメラユニット
１１７０ 平面トラッカ表示ユニット
１１７４ 基準位置
１１７６ 光学素子
１１７８ ポジション
１１８２ 光線
１１８４ 光線
１１８６ 光線
１１８８ 基準ポジション
１２６０ カメラユニット
１２７０ トラッカ表示ユニット
１２７６ 光学変更子
１２７８ 位置、画像
１２８６ 光線
１２８８ 基準シンボル

Claims (3)

1. 第１のオブジェクトの位置および向きを追跡するための光学トラッカシステムであって、
   空間予測として前記第１のオブジェクトの予測位置および向きを決定するように構成された予測モジュールと、
   前記予測モジュールに結合され、前記空間予測を受信するように構成された表示モジュールであって、前記空間予測に基づいて、基準シンボルの表示コマンドを生成するように構成された表示モジュールと、
   前記予測モジュールに結合され、前記表示コマンドを受信するように構成された表示ユニットであって、前記表示コマンドに基づいて、前記基準シンボルを表示するように構成された表示ユニットと、
   前記表示ユニット上に表示された前記基準シンボルの画像を、取り込まれた外観として取り込むように構成されたカメラユニットと、
   前記カメラユニットに結合され、前記カメラユニットから前記画像を受信するように構成されたポジション決定モジュールであって、前記基準シンボルを識別し、前記基準シンボルの前記取り込まれた外観に基づいて前記第１のオブジェクトの前記位置および前記向きを決定するように構成されたポジション決定モジュールと
   を備える光学トラッカシステム。
2. 光学トラッカシステムを用いて第１のオブジェクトの位置および向きを追跡するための方法であって、
   空間予測として前記第１のオブジェクトの予測位置および向きを決定するステップと、
   前記空間予測に基づいて、基準シンボルの表示コマンドを生成するステップと、
   前記表示コマンドに基づいて、表示デバイス上に前記基準シンボルを表示するステップであって、前記表示ユニットは、アクティブマトリックス表示デバイスである、ステップと、
   前記表示デバイス上に表示された前記基準シンボルの画像を、取り込まれた外観として取り込むステップと、
   前記画像における前記基準シンボルを識別するステップと、
   前記基準シンボルの前記取り込まれた外観に基づいて、６自由度（ＤＯＦ）で前記第１のオブジェクトの前記位置および前記向きを決定するステップと、
   を含む方法。
3. 第１のオブジェクトの位置および向きを追跡するための光学トラッカシステムであって、
   アクティブマトリックス表示デバイスを備え、第１の表示コマンドに基づいて基準シンボルを表示するように構成された第１の表示ユニット、
   前記第１の表示ユニット上に表示された前記基準シンボルの画像を、取り込まれた外観として取り込むように構成されたカメラユニット、および
   前記カメラユニットに結合され、前記カメラユニットから前記画像を受信するように構成されたポジション決定モジュールであって、前記基準シンボルを識別し、前記基準シンボルの前記取り込まれた外観に基づいて前記第１のオブジェクトの前記位置および前記向きを決定するように構成されたポジション決定モジュール
   を備える光学トラッカシステムと、
   前記光学トラッカシステムに結合され、前記第１のオブジェクトの前記位置および前記向きに基づいて、第２の表示コマンドを生成するように構成された駆動ユニットと、
   前記駆動ユニットに結合され、周囲環境に対してユーザによって見られるように、前記第２の表示コマンドに基づいてシンボル体系をレンダリングするように構成された第２の表示ユニットと
   を備え、前記光学トラッカシステムは、
   空間予測として前記第１のオブジェクトの予測位置および向きを決定するように構成された予測モジュールと、
   前記予測モジュールに結合され、前記空間予測を受信するように構成された表示モジュールであって、前記空間予測に基づいて、前記基準シンボルの前記第１の表示コマンドを生成するように構成された表示モジュールと
   をさらに備える、ニア・ツー・アイ表示システム。

Images