JP2019505926A - 拡張現実のためのシステムおよび方法 - Google Patents

Abstract

拡張現実ディスプレイシステムは、電磁場エミッタを含み、既知の座標系内で既知の磁場を放出する。本システムはまた、電磁センサを含み、既知の磁場から生じる電磁センサにおける磁束に関連するパラメータを測定する。本システムはさらに、深度センサを含み、既知の座標系内の距離を測定する。さらに、本システムは、コントローラを含み、少なくとも部分的に、電磁センサによって測定された磁束および深度センサによって測定された距離に関連するパラメータに基づいて、既知の座標系内の電磁場エミッタに対する電磁センサの姿勢情報を判定する。加えて、本システムは、ディスプレイシステムを含み、少なくとも部分的に、電磁場エミッタに対する電磁センサの姿勢情報に基づいて、仮想コンテンツをユーザに表示する。

Description

（関連出願データ）
本願は、２０１６年２月５日に出願された米国仮特許出願第６２／２９２，１８５号および２０１６年２月２３日に出願された米国仮特許出願第６２／２９８，９９３号に対する優先権の利益を主張するものである。また、本願は、２０１６年３月５日に出願された米国特許出願第１５／０６２，１０４号の一部継続出願であり、これは、２０１５年３月５日に出願された米国仮特許出願第６２／１２８，９９３号および２０１６年２月５日に出願された米国仮特許出願第６２／２９２，１８５号に対する優先権の利益を主張するものである。また、本願は、２０１６年３月１日に出願された米国仮特許出願第６２／３０１，８４７号に関連している。上記出願は、それらの全体が参照により本明細書中に援用される。

本開示は、拡張現実システムの状況において、１つまたはそれを上回るオブジェクトの位置および配向を特定するためのシステムおよび方法に関する。

現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、現実であるように見えるかまたはそのように知覚され得る様式においてユーザに提示される、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進している。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対して透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の視覚化の拡張として、デジタルまたは仮想画像情報の提示を伴う。

例えば、図１を参照すると、拡張現実場面（４）が、描写されており、ＡＲ技術のユーザには、背景における人々、木々、建物およびコンクリートプラットフォーム（１１２０）を特徴とする、実世界の公園のような設定（６）が見える。これらのアイテムに加え、ＡＲ技術のユーザはまた、実世界プラットフォーム（１１２０）上に立っているロボット像（１１１０）と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ（２）とが「見える」と知覚するが、これらの要素（２、１１１０）は、実世界には存在しない。結論から述べると、ヒト視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適かつ自然な感覚で豊かな提示を促進する、ＶＲまたはＡＲ技術を生成することは、困難である。

例えば、頭部装着型ＡＲディスプレイ（またはヘルメット搭載型ディスプレイまたはスマートグラス）は、典型的には、ユーザの頭部に少なくとも緩く結合され、したがって、ユーザの頭部が移動すると、移動し得る。ユーザの頭部の運動が、ディスプレイシステムによって検出される場合、表示されているデータは、頭部姿勢の変化を考慮するように更新されることができる。

実施例として、頭部装着型ディスプレイを装着するユーザが、ディスプレイ上の３次元（３−Ｄ）オブジェクトの仮想表現を視認し、３−Ｄオブジェクトが現れる面積の周囲を歩き回る場合、その３−Ｄオブジェクトは、視点毎に再レンダリングされ、彼らが、実空間を占めるオブジェクトの周囲を歩き回っているような知覚をユーザに与えることができる。頭部装着型ディスプレイが、仮想空間内に複数のオブジェクト（例えば、豊かな仮想世界）を提示するために使用される場合、頭部の姿勢の測定（すなわち、ユーザの頭部の場所および配向）が、ユーザの動的に変化する頭部場所および配向に合致するように場面を再レンダリングし、仮想空間内への没入感の増加を提供するために使用されることができる。

ＡＲシステムでは、頭部の姿勢の検出または計算は、ユーザにとって意味をなす様式において、ディスプレイシステムが、仮想オブジェクトが実世界内の空間を占めるように現れるように、それらをレンダリングすることを促進することができる。加えて、ユーザの頭部またはＡＲシステムと連動したハンドヘルドデバイス（「トーテム」とも称され得る）、触知デバイス、または他の実物理的オブジェクト等の実オブジェクトの位置および／または配向の検出もまた、ディスプレイシステムが、ディスプレイ情報をユーザに提示し、ユーザが、ＡＲシステムのある側面と効率的に相互作用することを可能にすることを促進し得る。ユーザの頭部が、実世界内で動き回るにつれて、仮想オブジェクトは、仮想オブジェクトが実世界に対して安定したまま現れるように、頭部の姿勢の関数として再レンダリングされ得る。少なくともＡＲ用途に関して、物理的オブジェクトと空間的に連動した仮想オブジェクトの設置（例えば、２次元または３次元において物理的オブジェクトに空間的に近接して現れるように提示される）は、些細な問題ではあり得ない。例えば、頭部の移動が、周囲環境の視点からの仮想オブジェクトの設置を有意に複雑にし得る。これは、視点が周囲環境の画像として捕捉され、次いで、エンドユーザに投影もしく表示されるかどうか、またはエンドユーザが周囲環境の視点を直接知覚するかどうかに当てはまり得る。例えば、頭部の移動は、エンドユーザの視野を変化させる可能性が高く、これは、種々の仮想オブジェクトがエンドユーザの視野に表示される場所に対する更新を要求する可能性が高いであろう。加えて、頭部移動は、多種多様な範囲および速度で生じ得る。頭部移動速度は、異なる頭部移動間においてだけではなく、単一頭部移動の範囲内またはそれを横断して変動し得る。例えば、頭部移動速度は、始点から増加し得（例えば、線形または非線形）、終点に到達するにつれて、減少し得、頭部の移動の始点と終点との間のある場所で最大速度を得る。高速頭部移動は、特定の表示または投影技術の能力さえ超え、均一および／または平滑運動としてエンドユーザに現れる画像をレンダリングし得る。

頭部追跡正確度および待ち時間（すなわち、ユーザがその頭部を移動させてから、画像が更新され、ユーザに表示されるまでの経過時間）は、ＶＲおよびＡＲシステムにとって課題となっている。特に、ユーザの視野の実質的部分を仮想要素で充填する、ディスプレイシステムに関して、頭部追跡の正確度が高く、頭部運動の最初の検出からディスプレイによってユーザの視覚系に配信される光の更新までの全体的システム待ち時間が非常に短いことが重要である。待ち時間が長い場合、システムは、ユーザの前庭と視感覚系との間に不整合をもたらし、乗り物酔いまたは３Ｄ酔いにつながり得る、ユーザ知覚シナリオを生成させ得る。システム待ち時間が長い場合、仮想オブジェクトの見掛け場所は、高速頭部運動の間、不安定に現れ得る。

頭部装着型ディスプレイシステムに加え、他のディスプレイシステムもまた、正確かつ短い待ち時間の頭部の姿勢検出から恩恵を受け得る。これらとして、ディスプレイが、ユーザの身体に装着されず、例えば、壁または他の表面上に搭載される、頭部追跡型ディスプレイシステムが挙げられ得る。頭部追跡型ディスプレイは、場面上に窓のように作用し得、ユーザがその頭部を「窓」に対して移動させるにつれて、場面は、ユーザの変化する視点に合致するように、再レンダリングされる。他のシステムとして、頭部装着型ディスプレイが光を実世界上に投影する、頭部装着型投影システムが挙げられる。

加えて、現実的拡張現実体験を提供するために、ＡＲシステムは、ユーザと相互作用するように設計されてもよい。例えば、複数のユーザが、仮想ボールおよび／または他の仮想オブジェクトを用いて、ボールゲームをプレーしてもよい。１人のユーザが、仮想ボールを「キャッチ」し、ボールを別のユーザに投げ返してもよい。別の実施形態では、第１のユーザは、仮想ボールを打つためのトーテム（例えば、ＡＲシステムに通信可能に結合される実際の「バット」）を提供されてもよい。他の実施形態では、仮想ユーザインターフェースは、ユーザが多くのオプションのうちの１つを選択することを可能にするために、ＡＲユーザに提示されてもよい。ユーザは、トーテム、触知デバイス、ウェアラブルコンポーネントを使用し、または単に、仮想画面をタッチし、システムと相互作用してもよい。

ユーザの頭部の姿勢および配向ならびに空間内の実オブジェクトの物理的場所を検出することは、ＡＲシステムが、仮想コンテンツを効果的かつ楽しい様式で表示することを可能にする。しかしながら、これらの能力は、ＡＲシステムにとって重要であるが、達成することが困難である。言い換えると、ＡＲシステムは、実オブジェクト（例えば、ユーザの頭部、トーテム、触知デバイス、ウェアラブルコンポーネント、ユーザの手等）の物理的場所を認識し、実オブジェクトの物理的座標をユーザに表示されている１つまたはそれを上回る仮想オブジェクトに対応する仮想座標に相関させなければならない。これは、１つまたはそれを上回るオブジェクトの位置および配向を高速レートで追跡する非常に正確なセンサならびにセンサ認識システムを要求する。現在のアプローチは、満足のゆく速度または精度規格において位置特定を行わない。

したがって、ＡＲおよびＶＲデバイスの状況において、より優れた位置特定システムの必要がある。

本発明の実施形態は、１人またはそれを上回るユーザのために仮想現実および／または拡張現実相互作用を促進するためのデバイス、システム、および方法に関する。

一実施形態では、拡張現実（ＡＲ）ディスプレイシステムは、既知の磁場を放出するための電磁場エミッタを既知の座標系内に含む。本システムはまた、既知の磁場から生じる電磁センサにおける磁束に関連するパラメータを測定するための電磁センサを含む。本システムはさらに、既知の座標系内の距離を測定するための深度センサを含む。さらに、本システムは、少なくとも部分的に、電磁センサによって測定された磁束および深度センサによって測定された距離に関連するパラメータに基づいて、既知の座標系内の電磁場エミッタに対する電磁センサの姿勢情報を判定するためのコントローラを含む。加えて、本システムは、少なくとも部分的に、電磁場エミッタに対する電磁センサの姿勢情報に基づいて、仮想コンテンツをユーザに表示するためのディスプレイシステムを含む。

１つまたはそれを上回る実施形態では、深度センサは、受動ステレオ深度センサである。

１つまたはそれを上回る実施形態では、深度センサは、能動深度センサである。深度センサは、テクスチャ投影ステレオ深度センサ、構造化光投影ステレオ深度センサ、飛行時間深度センサ、ＬＩＤＡＲ深度センサ、または変調放出深度センサであってもよい。

１つまたはそれを上回る実施形態では、深度センサは、第１の視野（ＦＯＶ）を有する、深度カメラを含む。ＡＲディスプレイシステムはまた、世界捕捉カメラを含んでもよく、世界捕捉カメラは、少なくとも部分的に、第１のＦＯＶと重複する、第２のＦＯＶを有する。ＡＲディスプレイシステムはまた、写真カメラを含んでもよく、写真カメラは、少なくとも部分的に、第１のＦＯＶおよび第２のＦＯＶと重複する、第３のＦＯＶを有する。深度カメラ、世界捕捉カメラ、および写真カメラは、個別の異なる第１、第２、および第３の分解能を有してもよい。深度カメラの第１の分解能は、サブＶＧＡであってもよく、世界捕捉カメラの第２の分解能は、７２０ｐであってもよく、写真カメラの第３の分解能は、２メガピクセルであってもよい。

１つまたはそれを上回る実施形態では、深度カメラ、世界捕捉カメラ、および写真カメラは、個別の第１、第２、および第３の画像を捕捉するように構成される。コントローラは、第２および第３の画像をセグメント化するようにプログラムされてもよい。コントローラは、第２および第３の画像をセグメント化した後、第２および第３の画像を融合し、融合された画像を生成するようにプログラムされてもよい。既知の座標系内の距離を測定することは、深度カメラからの第１の画像を分析することによって、仮説的距離を生成することと、仮説的距離および融合された画像を分析することによって、距離を生成することとを含んでもよい。深度カメラ、世界捕捉カメラ、および写真カメラは、単一統合センサを形成してもよい。

１つまたはそれを上回る実施形態では、ＡＲディスプレイシステムはまた、付加的情報を提供するための付加的位置特定リソースを含む。既知の座標系内の電磁場エミッタに対する電磁センサの姿勢情報は、少なくとも部分的に、電磁センサによって測定された磁束、深度センサによって測定された距離、および付加的位置特定リソースによって提供される付加的情報に関連するパラメータに基づいて判定されてもよい。

１つまたはそれを上回る実施形態では、付加的位置特定リソースは、ＷｉＦｉ送受信機、付加的電磁エミッタ、または付加的電磁センサを含んでもよい。付加的位置特定リソースは、ビーコンを含んでもよい。ビーコンは、放射を放出してもよい。放射は、赤外線放射であってもよく、ビーコンは、赤外線ＬＥＤを含んでもよい。付加的位置特定リソースは、反射体を含んでもよい。反射体は、放射を反射してもよい。

１つまたはそれを上回る実施形態では、付加的位置特定リソースは、セルラーネットワーク送受信機、ＲＡＤＡＲエミッタ、ＲＡＤＡＲ検出器、ＬＩＤＡＲエミッタ、ＬＩＤＡＲ検出器、ＧＰＳ送受信機、既知の検出可能パターンを有するポスタ、既知の検出可能パターンを有するマーカ、慣性測定ユニット、または歪みゲージを含んでもよい。

１つまたはそれを上回る実施形態では、電磁場エミッタは、ＡＲディスプレイシステムのモバイルコンポーネントに結合される。モバイルコンポーネントは、ハンドヘルドコンポーネント、トーテム、ディスプレイシステムを格納する頭部搭載型コンポーネント、胴体装着型コンポーネント、またはベルトパックであってもよい。

１つまたはそれを上回る実施形態では、電磁場エミッタは、電磁場エミッタが既知の位置および既知の配向を有するように、既知の座標系内のオブジェクトに結合される。電磁センサは、ＡＲディスプレイシステムのモバイルコンポーネントに結合されてもよい。モバイルコンポーネントは、ハンドヘルドコンポーネント、トーテム、ディスプレイシステムを格納する頭部搭載型コンポーネント、胴体装着型コンポーネント、またはベルトパックであってもよい。

１つまたはそれを上回る実施形態では、姿勢情報は、既知の座標系内の電磁場エミッタに対する電磁センサの位置および配向を含む。コントローラは、姿勢情報を分析し、既知の座標系内の電磁センサの位置および配向を判定してもよい。

別の実施形態では、拡張現実を表示するための方法は、電磁場エミッタを使用して、既知の座標系内で既知の磁場を放出するステップを含む。本方法はまた、電磁センサを使用して、既知の磁場から生じる電磁センサにおける磁束に関連するパラメータを測定するステップを含む。本方法はさらに、深度センサを使用して、既知の座標系内の距離を測定するステップを含む。さらに、本方法は、少なくとも部分的に、電磁センサを使用して測定された磁束および深度センサを使用して測定された距離に関連するパラメータに基づいて、既知の座標系内の電磁場エミッタに対する電磁センサの姿勢情報を判定するステップを含む。加えて、本方法は、少なくとも部分的に、電磁場エミッタに対する電磁センサの姿勢情報に基づいて、仮想コンテンツをユーザに表示するステップを含む。

１つまたはそれを上回る実施形態では、深度センサは、受動ステレオ深度センサである。

１つまたはそれを上回る実施形態では、深度センサは、能動深度センサである。深度センサは、テクスチャ投影ステレオ深度センサ、構造化光投影ステレオ深度センサ、飛行時間深度センサ、ＬＩＤＡＲ深度センサ、または変調放出深度センサであってもよい。

１つまたはそれを上回る実施形態では、深度センサは、第１の視野（ＦＯＶ）を有する、深度カメラを含む。深度センサはまた、世界捕捉カメラを含んでもよく、世界捕捉カメラは、少なくとも部分的に、第１のＦＯＶと重複する、第２のＦＯＶを有する。深度センサはまた、写真カメラを含んでもよく、写真カメラは、少なくとも部分的に、第１のＦＯＶおよび第２のＦＯＶと重複する、第３のＦＯＶを有する。深度カメラ、世界捕捉カメラ、および写真カメラは、個別の異なる第１、第２、および第３の分解能を有してもよい。深度カメラの第１の分解能は、サブＶＧＡであってもよく、世界捕捉カメラの第２の分解能は、７２０ｐであってもよく、写真カメラの第３の分解能は、２メガピクセルであってもよい。

１つまたはそれを上回る実施形態では、本方法はまた、個別の深度カメラ、世界捕捉カメラ、および写真カメラを使用して、第１、第２、および第３の画像を捕捉するステップを含む。本方法はまた、第２および第３の画像をセグメント化するステップを含んでもよい。本方法はさらに、第２および第３の画像をセグメント化した後、第２および第３の画像を融合し、融合された画像を生成するステップを含んでもよい。既知の座標系内の距離を測定するステップは、深度カメラからの第１の画像を分析することによって、仮説的距離を生成するステップと、仮説的距離および融合された画像を分析することによって、距離を生成するステップとを含んでもよい。深度カメラ、世界捕捉カメラ、および写真カメラは、単一統合センサを形成してもよい。

１つまたはそれを上回る実施形態では、本方法はまた、少なくとも部分的に、電磁センサを使用して測定された磁束、深度センサを使用して測定された距離、および付加的位置特定リソースによって提供された付加的情報に関連するパラメータに基づいて、既知の座標系内の電磁場エミッタに対する電磁センサの姿勢情報を判定するステップを含む。

１つまたはそれを上回る実施形態では、付加的位置特定リソースは、ＷｉＦｉ送受信機、付加的電磁エミッタ、または付加的電磁センサを含んでもよい。付加的位置特定リソースは、ビーコンを含んでもよい。本方法はまた、ビーコンが放射を放出するステップを含んでもよい。放射は、赤外線放射であってもよく、ビーコンは、赤外線ＬＥＤを含んでもよい。付加的位置特定リソースは、反射体を含んでもよい。本方法はまた、反射体が放射を反射するステップを含んでもよい。

１つまたはそれを上回る実施形態では、付加的位置特定リソースは、セルラーネットワーク送受信機、ＲＡＤＡＲエミッタ、ＲＡＤＡＲ検出器、ＬＩＤＡＲエミッタ、ＬＩＤＡＲ検出器、ＧＰＳ送受信機、既知の検出可能パターンを有する、ポスタ、既知の検出可能パターンを有する、マーカ、慣性測定ユニット、または歪みゲージを含んでもよい。

１つまたはそれを上回る実施形態では、電磁場エミッタは、ＡＲディスプレイシステムのモバイルコンポーネントに結合される。モバイルコンポーネントは、ハンドヘルドコンポーネント、トーテム、ディスプレイシステムを格納する頭部搭載型コンポーネント、胴体装着型コンポーネント、またはベルトパックであってもよい。

１つまたはそれを上回る実施形態では、電磁場エミッタは、電磁場エミッタが既知の位置および既知の配向を有するように、既知の座標系内のオブジェクトに結合される。電磁センサは、ＡＲディスプレイシステムのモバイルコンポーネントに結合されてもよい。モバイルコンポーネントは、ハンドヘルドコンポーネント、トーテム、ディスプレイシステムを格納する頭部搭載型コンポーネント、胴体装着型コンポーネント、またはベルトパックであってもよい。

１つまたはそれを上回る実施形態では、姿勢情報は、既知の座標系内の電磁場エミッタに対する電磁センサの位置および配向を含む。本方法はまた、姿勢情報を分析し、既知の座標系内の電磁センサの位置および配向を判定するステップを含んでもよい。

さらに別の実施形態では、拡張現実ディスプレイシステムは、電磁場エミッタに結合される、ハンドヘルドコンポーネントであって、電磁場エミッタは、磁場を放出する、ハンドヘルドコンポーネントを含む。本システムはまた、仮想コンテンツをユーザに表示する、ディスプレイシステムを有する、頭部搭載型コンポーネントを含む。頭部搭載型コンポーネントは、磁場から生じる電磁センサにおける磁束に関連するパラメータを測定する、電磁センサに結合され、既知の座標系内の頭部搭載型コンポーネントの頭部の姿勢は、既知である。本システムはさらに、既知の座標系内の距離を測定する、深度センサを含む。さらに、本システムは、ハンドヘルドコンポーネント、頭部搭載型コンポーネント、および深度センサに通信可能に結合される、コントローラを含む。コントローラは、電磁センサにおける磁束に関連するパラメータを頭部搭載型コンポーネントから、距離を深度センサから受信する。コントローラは、少なくとも部分的に、電磁センサによって測定された磁束および深度センサによって測定された距離に関連するパラメータに基づいて、ハンドヘルドコンポーネントの手の姿勢を判定する。本システムは、少なくとも部分的に、手の姿勢に基づいて、ユーザに表示される仮想コンテンツを修正する。

１つまたはそれを上回る実施形態では、深度センサは、受動ステレオ深度センサである。

１つまたはそれを上回る実施形態では、深度センサは、能動深度センサである。深度センサは、テクスチャ投影ステレオ深度センサ、構造化光投影ステレオ深度センサ、飛行時間深度センサ、ＬＩＤＡＲ深度センサ、または変調放出深度センサであってもよい。

１つまたはそれを上回る実施形態では、深度センサは、第１の視野（ＦＯＶ）を有する、深度カメラを含む。ＡＲディスプレイシステムはまた、世界捕捉カメラを含んでもよく、世界捕捉カメラは、少なくとも部分的に、第１のＦＯＶと重複する、第２のＦＯＶを有する。ＡＲディスプレイシステムはまた、写真カメラを含んでもよく、写真カメラは、少なくとも部分的に、第１のＦＯＶおよび第２のＦＯＶと重複する、第３のＦＯＶを有する。深度カメラ、世界捕捉カメラ、および写真カメラは、個別の異なる第１、第２、および第３の分解能を有してもよい。深度カメラの第１の分解能は、サブＶＧＡであってもよく、世界捕捉カメラの第２の分解能は、７２０ｐであってもよく、写真カメラの第３の分解能は、２メガピクセルであってもよい。

１つまたはそれを上回る実施形態では、深度カメラ、世界捕捉カメラ、および写真カメラは、個別の第１、第２、および第３の画像を捕捉するように構成される。コントローラは、第２および第３の画像をセグメント化するようにプログラムされてもよい。コントローラは、第２および第３の画像をセグメント化した後、第２および第３の画像を融合し、融合された画像を生成するようにプログラムされてもよい。既知の座標系内の距離を測定することは、深度カメラからの第１の画像を分析することによって、仮説的距離を生成することと、仮説的距離および融合された画像を分析することによって、距離を生成することとを含んでもよい。深度カメラ、世界捕捉カメラ、および写真カメラは、単一統合センサを形成してもよい。

１つまたはそれを上回る実施形態では、ＡＲディスプレイシステムはまた、付加的情報を提供するための付加的位置特定リソースを含む。コントローラは、少なくとも部分的に、電磁センサによって測定された磁束、深度センサによって測定された距離、および付加的位置特定リソースによって提供される付加的情報に関連するパラメータに基づいて、ハンドヘルドコンポーネントの手の姿勢を判定する。

１つまたはそれを上回る実施形態では、付加的位置特定リソースは、ＷｉＦｉ送受信機、付加的電磁エミッタ、または付加的電磁センサを含んでもよい。付加的位置特定リソースは、ビーコンを含んでもよい。ビーコンは、放射を放出してもよい。放射は、赤外線放射であってもよく、ビーコンは、赤外線ＬＥＤを含んでもよい。付加的位置特定リソースは、反射体を含んでもよい。反射体は、放射を反射してもよい。

１つまたはそれを上回る実施形態では、付加的位置特定リソースは、セルラーネットワーク送受信機、ＲＡＤＡＲエミッタ、ＲＡＤＡＲ検出器、ＬＩＤＡＲエミッタ、ＬＩＤＡＲ検出器、ＧＰＳ送受信機、既知の検出可能パターンを有する、ポスタ、既知の検出可能パターンを有する、マーカ、慣性測定ユニット、または歪みゲージを含んでもよい。

１つまたはそれを上回る実施形態では、電磁場ハンドヘルドコンポーネントは、トーテムである。手の姿勢情報は、既知の座標系内のハンドヘルドコンポーネントの位置および配向を含んでもよい。

本発明の付加的および他の目的、特徴、および利点が、発明を実施するための形態、図、および請求項で説明される。

図面は、本発明の種々の実施形態の設計および利用を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して同一参照番号によって表されることに留意されたい。本発明の種々の実施形態の前述および他の利点および目的を得る方法をより深く理解するために、上記に簡潔に説明された本発明のより詳細な説明が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的な実施形態のみを描写しており、したがって、その範囲の限定と見なされるものではないことを理解した上で、本発明が、付随の図面の使用を通して付加的具体性および詳細とともに記載され、説明されるであろう。

図１は、一実施形態による、ＡＲシステムのユーザに表示されるＡＲ場面の平面図を図示する。 図２Ａ−２Ｄは、ウェアラブルＡＲデバイスの種々の実施形態を図示する。 図２Ａ−２Ｄは、ウェアラブルＡＲデバイスの種々の実施形態を図示する。 図２Ａ−２Ｄは、ウェアラブルＡＲデバイスの種々の実施形態を図示する。 図２Ａ−２Ｄは、ウェアラブルＡＲデバイスの種々の実施形態を図示する。 図３は、ＡＲシステムの１つまたはそれを上回るクラウドサーバと相互作用するウェアラブルＡＲデバイスの例示的実施形態を図示する。 図４は、電磁追跡システムの例示的実施形態を図示する。 図５は、一例示的実施形態による、センサの位置および配向を判定する例示的方法を図示する。 図６は、電磁追跡システムを有する、ＡＲシステムの例示的実施形態を図示する。 図７は、検出された頭部の姿勢に基づいて仮想コンテンツをユーザに配信する、例示的方法を図示する。 図８は、電磁送信機および電磁センサを有する一実施形態による、ＡＲシステムの種々のコンポーネントの概略図を図示する。 図９Ａ−９Ｆは、制御および急速解放モジュールの種々の実施形態を図示する。 図９Ａ−９Ｆは、制御および急速解放モジュールの種々の実施形態を図示する。 図９Ａ−９Ｆは、制御および急速解放モジュールの種々の実施形態を図示する。 図９Ａ−９Ｆは、制御および急速解放モジュールの種々の実施形態を図示する。 図９Ａ−９Ｆは、制御および急速解放モジュールの種々の実施形態を図示する。 図９Ａ−９Ｆは、制御および急速解放モジュールの種々の実施形態を図示する。 図１０は、ウェアラブルＡＲデバイスの１つの簡略化された実施形態を図示する。 図１１Ａおよび１１Ｂは、頭部搭載型ＡＲシステム上への電磁センサの設置の種々の実施形態を図示する。 図１１Ａおよび１１Ｂは、頭部搭載型ＡＲシステム上への電磁センサの設置の種々の実施形態を図示する。 図１２Ａ−１２Ｅは、電磁センサに結合されるべきフェライト立方体の種々の実施形態を図示する。 図１３Ａ−１３Ｃは、電磁センサのためのデータプロセッサの種々の実施形態を図示する。 図１３Ａ−１３Ｃは、電磁センサのためのデータプロセッサの種々の実施形態を図示する。 図１３Ａ−１３Ｃは、電磁センサのためのデータプロセッサの種々の実施形態を図示する。 図１４は、電磁追跡システムを使用して頭部および手の姿勢を検出する、例示的方法を図示する。 図１５は、電磁追跡システムを使用して頭部および手の姿勢を検出する、別の例示的方法を図示する。 図１６Ａは、深度センサ、電磁送信機、および電磁センサを有する、別の実施形態による、ＡＲシステムの種々のコンポーネントの概略図を図示する。 図１６Ｂは、深度センサ、電磁送信機、および電磁センサを有する、さらに別の実施形態による、ＡＲシステムの種々のコンポーネントおよび種々の視野の概略図を図示する。

図２Ａ−２Ｄを参照すると、いくつかの一般的なコンポーネントオプションが図示されている。図２Ａ−２Ｄの議論に従う、詳細な説明の部分では、種々のシステム、サブシステム、およびコンポーネントが、ヒトＶＲおよび／またはＡＲのための高品質かつ快適に知覚されるディスプレイシステムを提供する目的に対処するために提示される。

図２Ａに示されるように、ＡＲシステムユーザ（６０）は、ユーザの眼の正面に位置付けられるディスプレイシステム（６２）に結合されるフレーム（６４）構造を特徴とする、頭部搭載型コンポーネント（５８）を装着するように描写される。スピーカ（６６）が、描写される構成においてフレーム（６４）に結合され、ユーザの外耳道に隣接して位置付けられる（一実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、立体／成形可能音制御を提供する）。ディスプレイ（６２）は、有線導線または無線コネクティビティ等によって、ローカル処理およびデータモジュール（７０）に動作可能に結合（６８）されてもよく、これは、フレーム（６４）に固定して取り付けられる、図２Ｂの実施形態に示されるようにヘルメットまたは帽子（８０）に固定して取り付けられる、ヘッドホン内に埋め込まれた、図２Ｃの実施形態に示されるようにバックパック式構成においてユーザ（６０）の胴体（８２）に除去可能に取り付けられる、または図２Ｄの実施形態に示されるようにベルト結合式構成においてユーザ（６０）の臀部（８４）に除去可能に取り付けられる等、種々の構成において搭載されてもよい。

ローカル処理およびデータモジュール（７０）は、電力効率の良いプロセッサまたはコントローラならびにフラッシュメモリ等のデジタルメモリを備えてもよく、両方とも、データの処理、キャッシュ、および記憶を補助するために利用されてもよく、そのようなデータは、ａ）画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロ等、フレーム（６４）に動作可能に結合され得る、センサから捕捉される、および／または、ｂ）可能性として、そのような処理または読み出し後、ディスプレイ（６２）への通過のために、遠隔処理モジュール（７２）および／または遠隔データリポジトリ（７４）を使用して、取得および／または処理され得る。ローカル処理およびデータモジュール（７０）は、遠隔モジュール（７２、７４）が、相互に動作可能に結合され、ローカル処理およびデータモジュール（７０）へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、これらの遠隔処理モジュール（７２）および遠隔データリポジトリ（７４）に動作可能に結合（７６、７８）されてもよい。

一実施形態では、遠隔処理モジュール７２は、データおよび／または画像情報を分析および処理するように構成される、１つまたはそれを上回る比較的に高い性能のプロセッサまたはコントローラを備えてもよい。一実施形態では、遠隔データリポジトリ（７４）は、比較的に大規模なデジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成内の他のネットワーキング構成を通して利用可能であってもよい。一実施形態では、全てのデータは、記憶されてもよく、全ての計算は、ローカル処理およびデータモジュール内で行われ、任意の遠隔モジュールから完全に自律的な使用を可能にしてもよい。

ここで図３を参照すると、概略図は、クラウドコンピューティングアセット（４６）とローカル処理アセットとの間の協調を図示し、そのようなローカル処理アセットは、例えば、ユーザの頭部（１２０）に結合される頭部搭載型コンポーネント（５８）およびユーザのベルト（３０８）に結合されるローカル処理およびデータモジュール（７０）内に常駐し得る。したがって、コンポーネント７０はまた、図３に示されるように、「ベルトパック」７０とも称され得る。一実施形態では、１つまたはそれを上回るサーバシステム（１１０）等のクラウド（４６）アセットは、有線または無線ネットワーキング等を介して、（無線は、可動性のために好ましく、有線は、所望され得る特定の高帯域幅または高データ量転送のために好ましい）、直接、前述のように、ユーザの頭部（１２０）およびベルト（３０８）に結合されるプロセッサおよびメモリ構成等のローカルコンピューティングアセットの一方または両方（４０、４２）に動作可能に結合（１１５）される。ユーザにローカルのこれらのコンピューティングアセットは同様に、図８を参照して以下に議論される有線結合（６８）等、有線および／または無線コネクティビティ構成（４４）を介して、相互に動作可能に結合されてもよい。一実施形態では、ユーザの頭部（１２０）に搭載される低慣性および小型サブシステムを維持するために、ユーザとクラウド（４６）との間の一次転送は、ベルト（３０８）に搭載されるサブシステムとクラウドとの間のリンクを介してもよく、頭部搭載型サブシステム（１２０）は、主に、例えば、パーソナルコンピューティング周辺コネクティビティ用途において現在採用されているような超広帯域（「ＵＷＢ」）コネクティビティ等の無線コネクティビティを使用して、ベルトベースのサブシステム（３０８）にデータテザリングされる。

効率的なローカルおよび遠隔の処理の協調ならびに図２Ａに示されるユーザインターフェースまたはユーザディスプレイシステム（６２）またはその変形例等のユーザのための適切なディスプレイデバイスを用いることで、ユーザの現在の実際または仮想の場所に関する１つの世界の側面は、ユーザに転送または「パス（ｐａｓｓ）」され、効率的方式で更新され得る。言い換えると、世界のマップが、ユーザのＡＲシステム上に部分的に常駐し得、かつクラウドリソース内に部分的に常駐し得る記憶場所において、継続的に更新され得る。マップ（「パス可能世界モデル（ｐａｓｓａｂｌｅ ｗｏｒｌｄ ｍｏｄｅｌ）」とも称される）は、ラスタ画像、３−Ｄおよび２−Ｄ点、パラメータ情報、および実世界についての他の情報を備える、大型データベースであってもよい。多くのＡＲユーザが、彼らの実環境についての情報を継続的に捕捉する（例えば、カメラ、センサ、ＩＭＵ等を通して）ほど、マップはより正確かつ完全となる。

前述のような構成を用いることで、クラウドコンピューティングリソース上に常駐し、そこから配信されることができる、１つの世界モデルが存在し、そのような世界は、リアルタイムビデオデータまたは同等物を回送することを試みるために好ましい比較的に低い帯域幅の形態において、１人またはそれを上回るユーザに「パス可能」となり得る。像の近くに立っている人（すなわち、図１に示されるように）の拡張体験は、クラウドベースの世界モデルによって情報提供されてもよく、そのサブセットは、彼らおよび彼らのローカルディスプレイデバイスにパスされ、ビューを完成させてもよい。机上にあるパーソナルコンピュータと同程度に単純であり得る遠隔ディスプレイデバイスに向かって着座している人が、その情報の同一セクションをクラウドから効率的にダウンロードし、それを彼らのディスプレイ上にレンダリングさせることもできる。実際、実際に像の近くに居る公園内に存在する１人の人物は、遠隔に位置する友人と公園内を散歩してもよく、友人は、仮想および拡張現実を通して参加する。本システムは、通りの場所、木々の場所、像の場所を把握する必要があるであろうが、クラウド上のその情報を用いることで、参加する友人は、クラウドから、シナリオの側面をダウンロードし、次いで、実際に公園内に居る人物に対してローカルな拡張現実に沿って歩行を開始することができる。

３−Ｄ点が、環境から捕捉されてもよく、それらの画像または点を捕捉するカメラの姿勢（すなわち、世界に対するベクトルおよび／または原位置情報）が、これらの点または画像が、本姿勢情報と「タグ付けされ」得るかまたは関連付けられ得るように、判定されてもよい。次いで、第２のカメラによって捕捉された点は、第２のカメラの姿勢を判定するために利用されてもよい。言い換えると、第１のカメラからのタグ付けされた画像との比較に基づいて、第２のカメラを配向および／または位置特定することができる。次いで、本知識は、テクスチャを抽出するため、マップを作成するため、および実世界の仮想コピーを作成するために利用されてもよい（その時点で、位置合わせされる２つのカメラが周囲に存在するため）。

したがって、基礎レベルでは、一実施形態では、人物装着型システムは、３−Ｄ点およびその点を生成した２−Ｄ画像の両方を捕捉するために利用されることができ、これらの点および画像は、クラウド記憶および処理リソースに送信されてもよい。それらはまた、内蔵姿勢情報とともにローカルにキャッシュされてもよい（すなわち、タグ付けされた画像をキャッシュする）。したがって、クラウドは、すぐ使える状態の（すなわち、利用可能なキャッシュ内において）タグ付けされた２−Ｄ画像（すなわち、３−Ｄ姿勢とタグ付けされた）を３−Ｄ点とともに有し得る。ユーザが、動的なものを観察している場合、ユーザはまた、クラウドに、運動に関する付加的情報を送信してもよい（例えば、別の人物の顔を見ている場合、ユーザは、顔のテクスチャマップを撮影し、周囲世界がその他の点では基本的に静的であっても、それを最適化された周波数でプッシュすることができる）。オブジェクト認識装置およびパス可能世界モデルに関するさらなる情報は、「Ｓｙｓｔｅｍ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ａｕｇｍｅｎｔｅｄ ａｎｄ ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ」と題された米国特許出願第１４／２０５，１２６号（参照することによって本明細書にその全体として組み込まれる）とともに、Ｍａｇｉｃ Ｌｅａｐ， Ｉｎｃ．（Ｆｏｒｔ Ｌａｕｄｅｒｄａｌｅ， Ｆｌｏｒｉｄａ）によって開発されたもの等の拡張および仮想現実システムに関連する、米国特許出願第１４／６４１，３７６号、米国特許出願第１４／５５５，５８５号、米国特許出願第１４／２１２，９６１号、米国特許出願第１４／６９０，４０１号、米国特許出願第１３／６６３，４６６号、および米国特許出願第１３／６８４，４８９号の付加的開示に見出され得る。

「パス可能世界モデル」を生成するために使用され得る点を捕捉するために、世界に対するユーザの場所、姿勢、および配向を正確に把握することが有用である。より具体的には、ユーザの位置は、ユーザの頭部の姿勢ならびに手の姿勢（ユーザが、ハンドヘルドコンポーネントを握っている、ジェスチャを行っている等の場合）を把握することが重要であり得るため、ある程度の粒度まで位置特定されなければならない。１つまたはそれを上回る実施形態では、ＧＰＳおよび他の位置特定情報が、そのような処理のための入力として利用されてもよい。ユーザの頭部、トーテム、手のジェスチャ、触知デバイス等の非常に正確な位置特定が、適切な仮想コンテンツをユーザに表示するために、重要である。

高精度位置特定を達成するための１つのアプローチは、ユーザのＡＲヘッドセット、ベルトパック、および／または他の補助デバイス（例えば、トーテム、触知デバイス、ゲーム器具等）上に方略的に設置される、電磁センサと結合される電磁場の使用を伴い得る。電磁追跡システムは、典型的には、少なくとも、電磁場エミッタと、少なくとも１つの電磁場センサとを備える。センサは、既知の分布を伴う電磁場を測定してもよい。これらの測定に基づいて、エミッタに対する場センサの位置および配向が、判定される。

ここで図４を参照すると、電磁追跡システムの例示的システム図（例えば、Ｊｏｈｎｓｏｎ ＆ Ｊｏｈｎｓｏｎ Ｃｏｒｐｏｒａｔｉｏｎの子会社であるＢｉｏｓｅｎｓｅ（登録商標）、Ｐｏｌｈｅｍｕｓ（登録商標），Ｉｎｃ．（Ｃｏｌｃｈｅｓｔｅｒ， Ｖｅｒｍｏｎｔ）等の組織によって開発されたもの、Ｓｉｘｅｎｓｅ（登録商標）Ｅｎｔｅｒｔａｉｎｍｅｎｔ， Ｉｎｃ．（Ｌｏｓ Ｇａｔｏｓ， Ｃａｌｉｆｏｒｎｉａ）、および他の追跡装置製造企業によって製造されたもの等）が、図示される。１つまたはそれを上回る実施形態では、電磁追跡システムは、既知の磁場を放出するように構成される電磁場エミッタ４０２を備える。図４に示されるように、電磁場エミッタは、電力供給源（例えば、電流、バッテリ等）に結合され、電力を電磁場エミッタ４０２に提供してもよい。

１つまたはそれを上回る実施形態では、電磁場エミッタ４０２は、磁場を生成する、いくつかのコイル（例えば、相互に垂直に位置付けられ、場をｘ、ｙ、およびｚ方向に生成する、少なくとも３つのコイル）を備える。本磁場は、座標空間を確立するために使用される。これは、システムが、既知の磁場と関連してセンサの位置をマップすることを可能にし、センサの位置および／または配向を判定することに役立つ。１つまたはそれを上回る実施形態では、電磁センサ４０４ａ、４０４ｂ等が、１つまたはそれを上回る実オブジェクトに取り付けられてもよい。電磁センサ４０４は、放出される電磁場を通して電流が誘導され得る、より小さいコイルを備えてもよい。概して、「センサ」コンポーネント（４０４）は、エミッタ（４０２）によって放出される磁場から流入する磁束を捕捉するように位置付けられる／配向される立方体または他の容器等の小型構造内にともに結合される、３つの異なるように配向される（すなわち、相互に対して直交して配向される等）コイルのセット等の小型コイルまたはループを備えてもよい。これらのコイルを通して誘導される電流を比較することによって、かつ相互に対するコイルの相対的な位置および配向を把握することによって、エミッタに対するセンサの相対的な位置および配向が、計算され得る。

電磁追跡センサに動作可能に結合される、コイルおよび慣性測定ユニット（「ＩＭＵ」）コンポーネントの挙動に関する１つまたはそれを上回るパラメータが、電磁場エミッタが結合される座標系に対するセンサ（およびそれが取り付けられるオブジェクト）の位置および／または配向を検出するために、測定されてもよい。当然ながら、本座標系は、実世界内の電磁場エミッタの場所または姿勢を判定するために、世界の座標系に変換されてもよい。１つまたはそれを上回る実施形態では、複数のセンサが、電磁エミッタと連動して使用され、座標空間内のセンサのそれぞれの位置および配向を検出してもよい。

いくつかの実施形態では、頭部の姿勢は、ＡＲシステムの頭部搭載型コンポーネント上のセンサと、頭部搭載型ＡＲシステムを通して捕捉されたセンサデータおよび画像データに基づいて行われるＳＬＡＭ分析とに基づいて既に把握されている場合があることを理解されたい。しかしながら、既知の頭部の姿勢に対するユーザの手（例えば、トーテムのようなハンドヘルドコンポーネント等）の位置を把握することが重要である場合もある。言い換えると、頭部の姿勢に対する手の姿勢を把握することが重要であり得る。いったん頭部（センサが頭部搭載型コンポーネント上に設置されると仮定して）と手との間の関係が把握されると、世界に対する手の場所（例えば、世界座標）が、容易に計算されることができる。

電磁追跡システムは、３つの方向（すなわち、Ｘ、Ｙ、およびＺ方向）において、さらに、２つまたは３つの配向角度において、位置を提供してもよい。１つまたはそれを上回る実施形態では、ＩＭＵの測定は、コイルの測定と比較され、センサの位置および配向を判定してもよい。１つまたはそれを上回る実施形態では、電磁（ＥＭ）データおよびＩＭＵデータは両方とも、カメラ、深度センサ、および他のセンサ等の種々の他のデータ源とともに、位置および配向を判定するために組み合わせられてもよい。本情報は、コントローラ４０６に伝送されてもよい（例えば、無線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等）。１つまたはそれを上回る実施形態では、姿勢（または位置および配向）は、従来のシステムにおいて比較的に高いリフレッシュレートで報告されてもよい。従来、電磁エミッタは、テーブル、手術台、壁、または天井等の比較的に安定した大型オブジェクトに結合され、１つまたはそれを上回るセンサは、医療デバイス、ハンドヘルドゲームコンポーネント、または同等物等のより小型のオブジェクトに結合される。代替として、図６を参照して以下に説明されるように、電磁追跡システムの種々の特徴が、採用され、より安定した大域座標系に対する空間内を移動する２つのオブジェクト間の位置および／または配向における変化またはデルタが追跡され得る、構成を生成してもよい。言い換えると、構成は、図６に示されており、電磁追跡システムの変動が、利用され、頭部搭載型コンポーネントとハンドヘルドコンポーネントとの間の位置および配向デルタを追跡し得る一方、（例えば、ユーザにローカルの室内環境の）大域座標系に対する頭部の姿勢は、システムの頭部搭載型コンポーネントに結合され得る外向き捕捉カメラを使用して、同時位置特定およびマッピング（「ＳＬＡＭ」）技法等によって別様に判定される。

コントローラ４０６は、電磁場エミッタ４０２を制御してもよく、また、データを種々の電磁センサ４０４から捕捉してもよい。システムの種々のコンポーネントは、任意の電気機械的または無線／Ｂｌｕｅｔｏｏｔｈ（登録商標）手段を通して相互に結合されてもよいことを理解されたい。コントローラ４０６はまた、既知の磁場に関するデータと磁場に関連する座標空間に関するデータとを備えてもよい。本情報は、次いで、既知の電磁場に対応する座標空間に関連してセンサの位置および配向を検出するために使用されてもよい。

電磁追跡システムの１つの利点は、最小限の待ち時間および高分解能を伴って非常に正確な追跡結果を生成することができることである。加えて、電磁追跡システムは、必ずしも、光学追跡装置に依拠せず、ユーザの視線内にないセンサ／オブジェクトは、容易に追跡され得る。

電磁場（「ｖ」）の強度は、コイル送信機（例えば、電磁場エミッタ４０２）からの距離ｒの三次関数として低下することを理解されたい。したがって、アルゴリズムは、電磁場エミッタからの距離に基づいて、要求されてもよい。コントローラ４０６は、そのようなアルゴリズムを用いて、電磁場エミッタからの可変距離におけるセンサ／オブジェクトの位置および配向を判定するように構成されてもよい。電磁エミッタから離れて移動するにつれて、電磁場の強度の急減を前提として、正確度、効率、および短待ち時間の観点から、最良結果が、より近い距離において達成され得る。典型的な電磁追跡システムでは、電磁場エミッタは、電流（例えば、差込式電力供給源）によって給電され、電磁場エミッタから半径２０フィート以内に位置するセンサを有する。センサと場エミッタとの間の半径が短いほど、ＡＲ用途を含む多くの用途においてより望ましくあり得る。

ここで図５を参照すると、典型的な電磁追跡システムの機能を説明する例示的フロー図が、簡単に説明される。５０２では、既知の電磁場が、放出される。１つまたはそれを上回る実施形態では、磁場エミッタは、磁場を生成してもよく、各コイルは、電場を一方向（例えば、ｘ、ｙ、またはｚ）に生成させ得る。磁場は、任意の波形を用いて生成されてもよい。１つまたはそれを上回る実施形態では、軸はそれぞれ、若干異なる周波数で発振してもよい。５０４では、電磁場に対応する座標空間が、判定され得る。例えば、図４のコントローラ４０６は、電磁場に基づいて、エミッタの周囲の座標空間を自動的に判定してもよい。５０６では、センサ（既知のオブジェクトに取り付けられ得る）におけるコイルの挙動が、検出され得る。例えば、コイルにおいて誘導される電流が、計算されてもよい。他の実施形態では、コイルの回転または任意の他の定量化可能な挙動が、追跡および測定されてもよい。５０８では、本挙動は、センサおよび／または既知のオブジェクトの位置および配向を検出するために使用されてもよい。例えば、コントローラ４０６は、センサにおけるコイルの挙動を種々の位置または配向に相関させる、マッピングテーブルを参考にしてもよい。これらの計算に基づいて、座標空間内の位置が、センサの配向とともに、判定されてもよい。いくつかの実施形態では、姿勢／場所情報は、センサにおいて判定されてもよい。他の実施形態では、センサは、センサにおいて検出されたデータをコントローラに通信し、コントローラは、マッピングテーブルを参考にし、既知の磁場に対する姿勢情報（例えば、ハンドヘルドコンポーネントに対する座標）を判定してもよい。

ＡＲシステムの状況では、電磁追跡システムの１つまたはそれを上回るコンポーネントは、モバイルコンポーネントの正確な追跡を促進するために、修正される必要があり得る。前述のように、ユーザの頭部の姿勢および配向の追跡は、多くのＡＲ用途において重要である。ユーザの頭部の姿勢および配向の正確な判定は、ＡＲシステムが、正しい仮想コンテンツをユーザに表示することを可能にする。例えば、仮想場面は、実際の建物の背後に隠れているモンスタを含み得る。建物と関連したユーザの頭部の姿勢および配向に応じて、仮想モンスタのビューは、現実的ＡＲ体験が提供されるように修正される必要があり得る。または、トーテム、触知デバイス、または仮想コンテンツと相互作用するある他の手段の位置および／または配向は、ＡＲユーザがＡＲシステムと相互作用することを可能にすることにおいて重要であり得る。例えば、多くのゲーム用途では、ＡＲシステムは、仮想コンテンツと関連した実オブジェクトの位置および配向を検出しなければならない。または、仮想インターフェースを表示するとき、トーテム、ユーザの手、触知デバイス、またはＡＲシステムとの相互作用のために構成される任意の他の実オブジェクトの位置が、システムがコマンド等を理解するために、表示される仮想インターフェースと関連して把握されなければならない。光学追跡および他の方法を含む、従来の位置特定方法は、典型的には、長い待ち時間および低い分解能の問題に悩まされ、レンダリングを多くの拡張現実用途において困難にする。

１つまたはそれを上回る実施形態では、図４および５に関連して議論される、電磁追跡システムは、放出される電磁場に関連して１つまたはそれを上回るオブジェクトの位置および配向を検出するようにＡＲシステムに適合されてもよい。典型的な電磁システムは、大型で嵩張る電磁エミッタ（例えば、図４における４０２）を有する傾向にあって、これは、ＡＲデバイスにとって問題となる。しかしながら、より小型の電磁エミッタ（例えば、ミリメートル範囲内）が、ＡＲシステムの状況において既知の電磁場を放出するために使用されてもよい。

ここで図６を参照すると、電磁追跡システムは、ハンドヘルドコントローラ６０６の一部として組み込まれる電磁場エミッタ６０２とともに、示されるように、ＡＲシステムとともに組み込まれてもよい。１つまたはそれを上回る実施形態では、ハンドヘルドコントローラは、ゲームシナリオにおいて使用されるべきトーテムであってもよい。他の実施形態では、ハンドヘルドコントローラは、触知デバイスであってもよい。さらに他の実施形態では、電磁場エミッタは、単に、ベルトパック７０の一部として組み込まれてもよい。ハンドヘルドコントローラ６０６は、電磁場エミッタ６０２に給電する、バッテリ６１０または他の電力供給源を備えてもよい。電磁場エミッタ６０２はまた、他のコンポーネントに対する電磁場エミッタ６０２の位置および／または配向を判定することを補助するように構成される、ＩＭＵコンポーネント６５０を備える、またはそれに結合されてもよいことを理解されたい。これは、電磁場エミッタ６０２およびセンサ（６０４）の両方がモバイル式である場合、特に重要であり得る。図６の実施形態に示されるように、ベルトパックではなく、ハンドヘルドコントローラ内に電磁場エミッタ６０２を設置することは、電磁場エミッタがベルトパックにおいてリソースを競合するのではなく、むしろ、ハンドヘルドコントローラ６０６においてその独自のバッテリ源を使用することを確実にする。

１つまたはそれを上回る実施形態では、電磁センサ（６０４）は、１つまたはそれを上回るＩＭＵまたは付加的磁束捕捉コイル（６０８）等、他の感知デバイスとともに、ユーザのヘッドセット（５８）上の１つまたはそれを上回る場所に設置されてもよい。例えば、図６に示されるように、センサ（６０４、６０８）は、ヘッドセット（５８）の両側に設置されてもよい。これらのセンサ（６０４、６０８）は、非常に小型（故に、ある場合には、低感度であり得る）に加工されるため、複数のセンサを有することは、効率および精度を改良し得る。

１つまたはそれを上回る実施形態では、１つまたはそれを上回るセンサはまた、ベルトパック（６２０）またはユーザの身体の任意の他の部分上に設置されてもよい。センサ（６０４、６０８）は、無線で、またはＢｌｕｅｔｏｏｔｈ（登録商標）を通して、センサ（６０４、６０８）（および電磁場エミッタ（６０２）によって放出される既知の磁場と関連して、それらが取り付けられるＡＲヘッドセット（５８））の姿勢および配向を判定する、コンピューティング装置（６０７、例えば、コントローラ）と通信してもよい。１つまたはそれを上回る実施形態では、コンピューティング装置（６０７）は、ベルトパック６２０に常駐してもよい。他の実施形態では、コンピューティング装置（６０７）は、ヘッドセット（５８）自体またはさらにハンドヘルドコントローラ（６０６）に常駐してもよい。コンピューティング装置（６０７）は、センサ（６０４、６０８）の測定を受信し、電磁場エミッタ（６０２）によって放出される既知の電磁場に関連してセンサ（６０４、６０８）の位置および配向を判定してもよい。

コンピューティング装置（６０７）は、ひいては、マッピングデータベース（６３２；例えば、パス可能世界モデル、座標空間等）を備え、姿勢を検出し、実オブジェクトおよび仮想オブジェクトの座標を判定してもよく、さらに、１つまたはそれを上回る実施形態では、クラウドリソース（６３０）およびパス可能世界モデルに接続してもよい。マッピングデータベース（６３２）が、センサ（６０４、６０８）の場所座標を判定するために参考にされてもよい。マッピングデータベース（６３２）は、いくつかの実施形態では、ベルトパック（６２０）内に常駐してもよい。図６に描写される実施形態では、マッピングデータベース（６３２）は、クラウドリソース（６３０）上に常駐する。コンピューティング装置（６０７）は、無線でクラウドリソース（６３０）と通信する。判定された姿勢情報は、ＡＲシステムによって収集された点および画像と併せて、次いで、クラウドリソース（６３０）に通信され、次いで、パス可能世界モデル（６３４）に追加されてもよい。

前述のように、従来の電磁エミッタは、ＡＲデバイスにおいて使用するために嵩張り過ぎ得る。したがって、電磁場エミッタは、従来のシステムと比較してより小型のコイルを使用して、コンパクトに加工されてもよい。しかしながら、電磁場の強度が場エミッタからの距離の三次関数として減少することを前提として、電磁センサ６０４と電磁場エミッタ６０２との間の半径が短いほど（例えば、約３〜３．５フィート）、図４に詳述されるもの等の従来のシステムと比較して、電力消費を低減させ得る。

本側面は、１つまたはそれを上回る実施形態では、コントローラ６０６および電磁場エミッタ６０２に給電し得るバッテリ６１０の寿命を延長させるために利用されてもよい。または、他の実施形態では、本側面は、電磁場エミッタ６０２において磁場を生成するコイルのサイズを縮小させるために利用されてもよい。しかしながら、同一の強度の磁場を得るために、電力は、増加される必要があり得る。これは、ハンドヘルドコントローラ６０６においてコンパクトにフィットし得るコンパクトな電磁場エミッタユニット６０２を可能にする。

いくつかの他の変更が、ＡＲデバイスのために電磁追跡システムを使用するときに行われてもよい。この姿勢報告レートは、非常に良好であるが、ＡＲシステムは、さらにより効率的な姿勢報告レートを要求してもよい。この目的を達成するために、ＩＭＵベースの姿勢追跡が、センサ内で使用されてもよい。重要なこととして、ＩＭＵは、姿勢検出プロセスの効率を増加させるために、可能な限り安定したままでなければならない。ＩＭＵは、最大５０〜１００ミリ秒、安定したままであるように加工されてもよい。いくつかの実施形態は、姿勢更新が１０〜２０Ｈｚのレートで報告されることを可能にし得る、外部姿勢推定器モジュールを利用してもよいことを理解されたい（すなわち、ＩＭＵは、経時的にドリフトし得る）。ＩＭＵを合理的なレートに安定して保つことによって、姿勢更新レートは、１０〜２０Ｈｚまで著しく低下され得る（従来のシステムにおけるより高い周波数と比較して）。

電磁追跡システムが、１０％デューティサイクルにおいて起動され得る場合（例えば、１００ミリ秒毎にのみグラウンドトゥルースにピングする）、これは、ＡＲシステムにおける電力を節約する別の方法となるであろう。これは、電磁追跡システムが、１００ミリ秒毎に１０ミリ秒にわたってウェイクアップし、姿勢推定値を生成することを意味するであろう。これは、直接、電力消費節約につながり、ひいては、ＡＲデバイスのサイズ、バッテリ寿命、およびコストに影響を及ぼし得る。

１つまたはそれを上回る実施形態では、デューティサイクルのこの低減は、１つのみではなく、２つのハンドヘルドコントローラ（図示せず）を提供することによって方略的に利用されてもよい。例えば、ユーザは、２つのトーテム等を要求するゲームをプレーしてもよい。または、マルチユーザゲームでは、２人のユーザが、その独自のトーテム／ハンドヘルドコントローラを有し、ゲームをプレーしてもよい。１つではなく、２つのコントローラ（例えば、各手に対して対称的なコントローラ）が、使用されるとき、コントローラは、オフセットデューティサイクルで動作してもよい。同一概念はまた、例えば、マルチプレーヤゲームをプレーしている２人の異なるユーザによって利用されるコントローラにも適用されてもよい。

ここで図７を参照すると、ＡＲデバイスの状況における電磁追跡システムを説明する例示的フロー図が、説明される。７０２では、ハンドヘルドコントローラが、磁場を放出する。７０４では、電磁センサ（ヘッドセット、ベルトパック等上に設置される）が、磁場を検出する。７０６では、ヘッドセット／ベルトの位置および配向は、センサにおけるコイル／ＩＭＵの挙動に基づいて判定される。７０８では、姿勢情報が、コンピューティング装置（例えば、ベルトパックまたはヘッドセットにおける）に伝達される。７１０では、随意に、マッピングデータベース（例えば、パス可能世界モデル）は、実世界座標と仮想世界座標を相関させるために調べられてもよい。７１２では、仮想コンテンツが、ＡＲヘッドセットにおいてユーザに送達されてもよい。前述のフロー図は、例証目的にすぎず、限定として読み取られるべきではないことを理解されたい。

有利には、図６に概略されるものに類似する電磁追跡システムの使用は、姿勢追跡を可能にする（例えば、頭部位置および配向、トーテムおよび他のコントローラの位置および配向）。これは、ＡＲシステムが、光学追跡技法と比較して、より高い正確度およびより短い待ち時間を伴って、仮想コンテンツを投影することを可能にする。

図８を参照すると、多くの感知コンポーネントを特徴とする、システム構成が、図示される。頭部搭載型ウェアラブルコンポーネント（５８）は、ここでは、図９Ａ−９Ｆを参照して以下に説明されるように、制御および急速解放モジュール（８６）もまた特徴とする、物理的マルチコア導線を使用して、ベルトパック等のローカル処理およびデータモジュール（７０）に動作可能に結合（６８）されて示される。ローカル処理およびデータモジュール（７０）は、ここでは、低電力Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線接続によって、ハンドヘルドコンポーネント（６０６）に動作可能に結合（１００）されてもよい。ハンドヘルドコンポーネント（６０６）はまた、低電力Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線接続等によって、直接、頭部搭載型ウェアラブルコンポーネント（５８）に動作可能に結合（９４）されてもよい。概して、ＩＭＵデータが、種々のコンポーネントの座標姿勢検出にパスされる場合、数百または数千サイクル／秒またはより高い範囲内等の高周波数接続が、望ましい。センサ（６０４）および送信機（６０２）ペアリング等による電磁位置特定感知のためには、数十サイクル／秒が、適正であり得る。また、壁（８）等のユーザの周囲の実世界内の固定オブジェクトを表す、大域座標系（１０）も示される。クラウドリソース（４６）はまた、それぞれ、ローカル処理およびデータモジュール（７０）に、頭部搭載型ウェアラブルコンポーネント（５８）に、壁（８）または大域座標系１０に対して固定される他のアイテムに結合され得るリソースに動作可能に結合（４２、４０、８８、９０）されてもよい。壁（８）に結合される、または大域座標系（１０）に対して既知の位置および／または配向を有する、リソースは、Ｗｉ−Ｆｉ送受信機（１１４）、電磁エミッタ（６０２）および／または受信機（６０４）、赤外線ＬＥＤビーコン等の所与のタイプの放射を放出または反射するように構成されるビーコンまたは反射体（１１２）、セルラーネットワーク送受信機（１１０）、ＲＡＤＡＲエミッタまたは検出器（１０８）、ＬＩＤＡＲエミッタまたは検出器（１０６）、ＧＰＳ送受信機（１１８）、既知の検出可能パターン（１２２）を有するポスタまたはマーカ、およびカメラ（１２４）を含んでもよい。頭部搭載型ウェアラブルコンポーネント（５８）は、赤外線カメラ（１２４）のための赤外線エミッタ（１３０）等のカメラ（１２４）検出器を補助するように構成される光エミッタ（１３０）に加え、図示されるような類似コンポーネントを特徴とする。頭部搭載型ウェアラブルコンポーネント（５８）はまた、１つまたはそれを上回る歪みゲージ（１１６）を特徴とし、これは、頭部搭載型ウェアラブルコンポーネント（５８）のフレームまたは機械的プラットフォームに固定して結合され、電磁受信機センサ（６０４）またはディスプレイ要素（６２）等のコンポーネント間のそのようなプラットフォームの偏向を判定するように構成されてもよく、図８に描写される眼鏡様プラットフォーム上の突出部上方の部分等のプラットフォームの薄い部分等においてプラットフォームの屈曲が生じた場合、それを理解することが重要であり得る。頭部搭載型ウェアラブルコンポーネント（５８）はまた、プロセッサ（１２８）と、１つまたはそれを上回るＩＭＵ（１０２）とを特徴とする。コンポーネントはそれぞれ、好ましくは、プロセッサ（１２８）に動作可能に結合される。ハンドヘルドコンポーネント（６０６）およびローカル処理およびデータモジュール（７０）は、類似コンポーネントを特徴とするように図示される。図８に示されるように、そのように多くの感知およびコネクティビティ手段を用いることで、そのようなシステムは、重く、電力を大量に消費し、大型で、かつ比較的に高価である可能性が高い。しかしながら、例証目的のために、そのようなシステムは、非常に高いレベルのコネクティビティ、システムコンポーネント統合、および位置／配向追跡を提供するために利用されてもよい。例えば、そのような構成を用いることで、種々の主要モバイルコンポーネント（５８、７０、６０６）は、Ｗｉ−Ｆｉ、ＧＰＳ、またはセルラー信号三角測量を使用して、大域座標系に対する位置の観点から位置特定されてもよく、ビーコン、電磁追跡（前述のように）、ＲＡＤＡＲ、およびＬＩＤＩＲシステムはさらに、場所および／または配向情報およびフィードバックを提供してもよい。マーカおよびカメラもまた、相対的および絶対的な位置および配向に関するさらなる情報を提供するために利用されてもよい。例えば、頭部搭載型ウェアラブルコンポーネント（５８）に結合されて示されるもの等の種々のカメラコンポーネント（１２４）は、コンポーネント（５８）が他のコンポーネントに対して配向される場所およびその状態を判定するために、同時位置特定およびマッピングプロトコル、すなわち、「ＳＬＡＭ」において利用され得る、データを捕捉するために利用されてもよい。

図９Ａ−９Ｆを参照すると、制御および急速解放モジュール８６の種々の側面が、描写される。図９Ａを参照すると、２つの外側筐体コンポーネントが、機械的掛止を用いて増強され得る磁気結合構成を使用して、ともに結合される。関連付けられたシステムの動作のためのボタン（１３６）が、含まれてもよい。図９Ｂは、ボタン（１３６）および下層上部印刷回路基板（１３８）が示される、部分的切断図を図示する。図９Ｃを参照すると、ボタン（１３６）および下層上部印刷回路基板（１３８）が除去され、メス型接触ピンアレイ（１４０）が、可視である。図９Ｄを参照すると、筐体（１３４）の反対部分が除去され、下側印刷回路基板（１４２）が、可視である。下側印刷回路基板（１４２）が除去され、図９Ｅに示されるように、オス型接触ピンアレイ（１４４）が、可視である。図９Ｆの断面図を参照すると、オス型ピンまたはメス型ピンのうちの少なくとも１つが、各ピンの縦軸に沿って押下され得るように、ばね荷重されるように構成される。ピンは、「ポゴピン」と称され得、概して、銅または金等の非常に伝導性のある材料を含んでいてもよい。組み立てられると、図示される構成は、４６オス型ピンとメス型ピンを噛合させており、アセンブリ全体は、手動で引き離し、ピンアレイ（１４０、１４４）の周縁の周囲に配向された南北磁石を使用して作られた磁気インターフェース１４６の荷重を克服することによって、急速解放式に半分に分断されてもよい。一実施形態では、４６個のポゴピンを圧縮することからの約２ｋｇの荷重が、約４ｋｇの閉鎖維持力と対抗される。アレイ内のピンは、約１．３ｍｍだけ分離されてもよく、ピンは、ツイストペアまたは他の組み合わせ等の種々のタイプの伝導性ラインに動作可能に結合され、ＵＳＢ３．０、ＨＤＭＩ（登録商標）２．０、Ｉ２Ｓ信号、ＧＰＩＯ、およびＭＩＰＩ構成、ならびに一実施形態では、最大約４アンペア／５ボルト用に構成される高電流アナログラインおよび接地をサポートしてもよい。

図１０を参照すると、種々のコンポーネントの重量および大きさを最小限にし、例えば、図１０において特徴付けられているもの（５８）等の比較的にスリムな頭部搭載型コンポーネントに至るようにすることを可能にするために、最小限にされたコンポーネント／特徴セットを有することが有用である。したがって、図８に示される種々のコンポーネントの種々の順列および組み合わせが、利用されてもよい。

図１１Ａを参照すると、電磁感知コイルアセンブリ（６０４、すなわち、筐体に結合される３つの個々のコイル）が、頭部搭載型コンポーネント（５８）に結合されて示される。そのような構成は、付加的幾何学形状を全体的アセンブリに追加し、これは、望ましくない場合がある。図１１Ｂを参照すると、図１１Ａの構成におけるように、コイルをボックスまたは単一筐体内に格納するのではなく、個々のコイルは、図１１Ｂに示されるように、頭部搭載型コンポーネント（５８）の種々の構造の中に統合されてもよい。例えば、ｘ−軸コイル（１４８）が、頭部搭載型コンポーネント（５８）の一部分（例えば、フレームの中心）に設置されてもよい。同様に、ｙ−軸コイル（１５０）が、頭部搭載型コンポーネント（５８；例えば、フレームの左右の底部側面）の別の部分に設置されてもよい。同様に、ｚ−軸コイル１５２が、頭部搭載型コンポーネント（５８）のさらに別の部分（例えば、フレームの左右の上部側面）に設置されてもよい。

図１２Ａ−１２Ｅは、電磁センサに結合され、場感度を増加させるフェライトコアを特徴とするための種々の構成を図示する。図１２Ａを参照すると、フェライトコアは、中実立方体（１２０２）であってもよい。中実立方体（１２０２）は、場感度を増加させることにおいて最も効果的であり得るが、また、図１２Ｂ−１２Ｅに描写される残りの構成と比較して、最も重くなり得る。図１２Ｂを参照すると、複数のフェライトディスク（１２０４）が、電磁センサに結合されてもよい。同様に、図１２Ｃを参照すると、１つの軸空心（１２０６）を伴う中実立方体が、電磁センサに結合されてもよい。図１２Ｃに示されるように、開放空間（すなわち、空心）が、１つの軸に沿って中実立方体内に形成されてもよい。これは、依然として、必要な場感度を提供しながら、立方体の重量を減少させ得る。さらに別の実施形態では、図１２Ｄを参照すると、３つの軸空心（１２０８）を伴う中実立方体が、電磁センサに結合されてもよい。本構成では、中実立方体は、全３つの軸に沿って中空化され、それによって、立方体の重量を著しく減少させる。図１２Ｅを参照すると、プラスチック筐体（１２１０）を伴うフェライトロッドもまた、電磁センサに結合されてもよい。図１２Ｂ−１２Ｅの実施形態は、図１２Ａの中実コア構成より重量が軽く、前述のように、質量を節約するために利用されてもよいことを理解されたい。

図１３Ａ−１３Ｃを参照すると、時分割多重化（「ＴＤＭ」）が、同様に質量を節約するために利用されてもよい。例えば、図１３Ａを参照すると、従来のローカルデータ処理構成が、３コイル電磁受信機センサのために示されており、アナログ電流が、Ｘ、Ｙ、およびＺコイル（１３０２、１３０４、および１３０６）のそれぞれから流入し、前置増幅器（１３０８）の中に流れ、帯域通過フィルタ（１３１０）、ＰＡ（１３１２）、アナログ／デジタルコンバータ（１３１４）を通して、最終的には、デジタル信号プロセッサ（１３１６）の中に流れる。図１３Ｂの送信機構成および図１３Ｃの受信機構成を参照すると、時分割多重化が、各コイルセンサチェーンがその独自の増幅器等を要求しないように、ハードウェアを共有するために利用されてもよい。これは、図１３Ｂに示されるように、ＴＤＭスイッチ（１３２０）を通して達成されてもよく、これは、同一セットのハードウェアコンポーネント（増幅器等）を使用して、複数の送信機および受信機へならびにそこからの信号の処理を促進する。センサ筐体を除去し、多重化し、頭部上のハードウェアを節約することに加え、信号対雑音比が、１つを上回るセットの電磁センサを有することによって増加されてもよく、各セットは、単一のより大きいコイルセットに対して比較的に小さい。また、概して、複数の感知コイルを近接近して有するために必要とされる、低側周波数限界が、帯域幅要件の改良を促進するために改良されてもよい。多重化が、概して、無線周波数信号の受信を時間的に拡散し、概して、より粗悪な信号をもたらすという点において、多重化とのトレードオフが存在する。したがって、より大きいコイル直径が、多重化システムのために要求され得る。例えば、多重化システムが、９ｍｍ辺寸法の立方体のコイルセンサボックスを要求し得る場合、非多重化システムは、類似性能のために、７ｍｍ辺寸法の立方体のコイルボックスのみを要求し得る。したがって、幾何学形状および質量を最小限にする際、トレードオフが存在し得る。

頭部搭載型コンポーネント（５８）等の特定のシステムコンポーネントが２つまたはそれを上回る電磁コイルセンサセットを特徴とする別の実施形態では、システムは、システムの性能を最適化するために、相互に最も近いセンサおよびエミッタ対を選択的に利用するように構成されてもよい。

図１４を参照すると、一実施形態では、ユーザが自身のウェアラブルコンピューティングシステム（１６０）に電源を投入した後、頭部搭載型コンポーネントアセンブリは、ＩＭＵおよびカメラデータ（カメラデータは、例えば、より多くのｒａｗ処理能力が存在し得るベルトパックプロセッサ等のＳＬＡＭ分析のために使用される）の組み合わせを捕捉し、実世界の大域座標系に対する頭部の姿勢（すなわち、位置および配向）を判定および更新してもよい（１６２）。ユーザはまた、ハンドヘルドコンポーネントを能動化し、例えば、拡張現実ゲームをプレーしてもよく（１６４）、ハンドヘルドコンポーネントは、ベルトパックおよび頭部搭載型コンポーネントの一方または両方に動作可能に結合される電磁送信機を備えてもよい（１６６）。送信機からの磁束を捕捉するために、１つまたはそれを上回る電磁場コイル受信機セット（すなわち、３つの異なるように配向される個々のコイルのセット）が、頭部搭載型コンポーネントに結合され、これは、頭部搭載型コンポーネントとハンドヘルドコンポーネント（１６８）との間の位置または配向差（または「デルタ」）を判定するために利用されてもよい。大域座標系に対する姿勢の判定を補助する頭部搭載型コンポーネントと、頭部搭載型コンポーネントに対するハンドヘルドの相対的な場所および配向を判定することを補助するハンドヘルドの組み合わせは、システムが、概して、各コンポーネントが大域座標系に対して位置する場所、したがって、ユーザの頭部の姿勢を判定することを可能にし、ハンドヘルド姿勢は、好ましくは、拡張現実画像の特徴の提示と、ハンドヘルドコンポーネント（１７０）の移動および回転を使用した相互作用とのために、比較的に短い待ち時間で追跡され得る。

図１５を参照すると、図１４のものに幾分類似するが、システムが頭部搭載型コンポーネント（１７２）およびハンドヘルドコンポーネント（１７６、１７８）の両方の姿勢の判定を補助するために利用可能なより多くの感知デバイスおよび構成を有する実施形態が図示されており、これにより、ユーザの頭部の姿勢およびハンドヘルド姿勢が、好ましくは、拡張現実画像の特徴の提示と、ハンドヘルドコンポーネント（１８０）の移動および回転を使用した相互作用とのために、比較的に短い待ち時間において追跡され得る。

具体的には、ユーザが、自身のウェアラブルコンピューティングシステム（１６０）に電源を投入した後、頭部搭載型コンポーネントは、実世界の大域座標系に対する頭部の姿勢を判定および更新するために、ＳＬＡＭ分析のためのＩＭＵおよびカメラデータの組み合わせを捕捉する。システムはさらに、大域座標系の種々の側面または１つまたはそれを上回る移動可能なコンポーネント（１７２）に結び付けられ得る、Ｗｉ−Ｆｉ、セルラー、ビーコン、ＲＡＤＡＲ、ＬＩＤＡＲ、ＧＰＳ、マーカ、および／または他のカメラのような環境内の他の位置特定リソースの存在を検出するように構成されてもよい。

ユーザはまた、ハンドヘルドコンポーネントを能動化し、例えば、拡張現実ゲーム（１７４）をプレーしてもよく、ハンドヘルドコンポーネントは、ベルトパックおよび頭部搭載型コンポーネント（１７６）の一方または両方に動作可能に結合される電磁送信機を備えてもよい。他の位置特定リソースもまた、同様に利用されてもよい。頭部搭載型コンポーネントに結合される１つまたはそれを上回る電磁場コイル受信機セット（例えば、３つの異なるように配向される個々のコイルのセット）が、電磁送信機からの磁束を捕捉するために使用されてもよい。この捕捉された磁束は、頭部搭載型コンポーネントとハンドヘルドコンポーネント（１７８）との間の位置または配向差異（または「デルタ」）を判定するために利用されてもよい。

したがって、ユーザの頭部の姿勢およびハンドヘルド姿勢が、ＡＲコンテンツの提示および／またはハンドヘルドコンポーネント（１８０）の移動または回転を使用したＡＲシステムとの相互作用のために、比較的に短い待ち時間において追跡され得る。

図１６Ａおよび１６Ｂを参照すると、図８のものに類似する構成の種々の側面が、示される。図１６Ａの構成は、ＬＩＤＡＲ（１０６）タイプの深度センサに加え、図１６Ａの構成が、例証目的のために、例えば、ステレオ三角測量式深度センサ（受動ステレオ深度センサ、テクスチャ投影ステレオ深度センサ、または構造化光ステレオ深度センサ等）または飛行時間式深度センサ（ＬＩＤＡＲ深度センサまたは変調放出深度センサ等）のいずれかであり得る、汎用深度カメラまたは深度センサ（１５４）を特徴とするという点において、図８のものと異なる。さらに、図１６Ａの構成は、付加的な前向き「世界」カメラ（１２４、７２０ｐ範囲の分解能が可能なセンサを有するグレースケールカメラであってもよい）ならびに比較的に高い分解能の「写真カメラ」（１５６、例えば、２メガピクセルまたはより高い分解能が可能なセンサを有するフルカラーカメラであってもよい）を有する。図１６Ｂは、図１６Ｂを参照して以下にさらに説明されるように、例証目的のために、図１６Ａの構成の部分的直交図を示す。

図１６Ａおよび前述のステレオ対飛行時間式深度センサに戻って参照すると、これらの深度センサタイプはそれぞれ、本明細書に開示されるようなウェアラブルコンピューティングソリューションとともに採用され得るが、それぞれ、種々の利点および不利点を有する。例えば、多くの深度センサは、黒色表面と光沢表面または反射表面とに関する課題を有する。受動ステレオ深度感知は、深度カメラまたはセンサを用いて深度を計算するために三角測量を得るという比較的に単純な方法であるが、広視野（「ＦＯＶ」）が要求される場合、課題となり得、比較的に有意なコンピューティングリソースを要求し得る。さらに、そのようなセンサタイプは、目下の特定の用途に重要であり得るエッジ検出に関する課題を有し得る。受動ステレオは、無テクスチャ壁、低光状況、および繰り返しパターンに関する課題を有し得る。受動ステレオ深度センサは、Ｉｎｔｅｌ（登録商標）およびＡｑｕｉｆｉ（登録商標）等の製造業者から利用可能である。テクスチャ投影を伴うステレオ（「能動ステレオ」としても知られる）は、受動ステレオに類似するが、テクスチャプロジェクタは、投影パターンを環境上にブロードキャストし、より多くのテクスチャがブロードキャストされるほど、より高い正確度が深度計算のための三角測量において利用可能になる。能動ステレオもまた、比較的に高い算出リソースを要求し、広ＦＯＶが要求されるときに課題を提示し、エッジを検出することにおいて幾分準最適であり得るが、無テクスチャ壁に効果的であるという点、低光において良好であるという点、そして、繰り返しパターンに関する問題を概して有していないという点において、受動ステレオの課題のうちのいくつかに対処する。能動ステレオ深度センサは、Ｉｎｔｅｌ（登録商標）およびＡｑｕｉｆｉ（登録商標）等の製造業者から利用可能である。Ｐｒｉｍｅｓｅｎｓｅ， Ｉｎｃ．（登録商標）によって開発され、商標名Ｋｉｎｅｃｔ（登録商標）下で利用可能なシステム、ならびに、単一カメラ／プロジェクタペアリングおよびプロジェクタを概して利用するＭａｎｔｉｓ Ｖｉｓｉｏｎ，Ｉｎｃ．（登録商標）から利用可能なシステム等の構造化光を伴うステレオは、アプリオリに把握されたドットのパターンをブロードキャストするように構成されるという点において特殊化されている。本質的に、システムは、ブロードキャストされるパターンを把握し、判定されるべき変数が深度であることを把握している。そのような構成は、算出負荷に関して比較的に効率的であり得、広ＦＯＶ要件シナリオならびに他の近傍デバイスからブロードキャストされる周囲光およびパターンを伴うシナリオでは、課題となり得るが、多くのシナリオにおいて非常に効果的かつ効率的であり得る。ＰＭＤ Ｔｅｃｈｎｏｌｏｇｉｅｓ（登録商標），Ａ．Ｇ．およびＳｏｆｔ Ｋｉｎｅｔｉｃ Ｉｎｃ．（登録商標）から利用可能なもの等の変調飛行時間タイプ深度センサを用いることで、エミッタは、振幅変調光の正弦波等の波を送信するように構成されてもよい。いくつかの構成では、近傍に、またはさらに重複して位置付けられ得る、カメラコンポーネントが、カメラコンポーネントのピクセルのそれぞれ上への戻り信号を受信し、深度マッピングが、判定／計算されてもよい。そのような構成は、幾何学形状が比較的にコンパクトであり得、高正確度、および低算出負荷であり得るが、画像分解能（オブジェクトのエッジにおいて等）、多経路誤差（センサが反射性のコーナーまたは光沢性のあるコーナーに照準され、いくつかの深度検出エイリアシングが存在するように、検出器が１つを上回る戻り経路を受信する結果となる等）の観点から課題となり得る。前述のＬＩＤＡＲとも称され得る、直接飛行時間センサが、ＬｕｍｉｎＡＲ（登録商標）およびＡｄｖａｎｃｅｄ Ｓｃｉｅｎｔｉｆｉｃ Ｃｏｎｃｅｐｔｓ， Ｉｎｃ．（登録商標）等の供給業者から利用可能である。これらの飛行時間構成を用いることで、概して、光のパルス（ピコ秒、ナノ秒、またはフェムト秒長の光のパルス等）は、その周囲に配向される世界に注ぐようにこの光ピングとともに送信される。次いで、カメラセンサ上の各ピクセルは、そのパルスが戻って来るのを待機し、光の速度を把握することで、各ピクセルにおける距離が、計算され得る。そのような構成は、変調飛行時間センサ構成の利点（無ベースライン、比較的に広いＦＯＶ、高正確度、比較的に低い算出負荷等）の多くを有し得、そして、数百万ヘルツ等の比較的に高いフレームレートを有し得る。それらはまた、比較的に高価であって、比較的に低い分解能を有し、明るい光に敏感であって、かつ多経路誤差を受けやすい。それらはまた、比較的に大型であって、かつ重くあり得る。

図１６Ｂを参照すると、部分的上面図が、例証目的のために示され、ユーザの眼（１２）と、視野（２８、３０）を伴うカメラ（１４、赤外線カメラ等）と、眼（１２）に向かって指向され、眼追跡、観察、および／または画像捕捉を促進する、光源または放射源（１６、赤外線等）とを特徴とする。３つの外向き世界捕捉カメラ（１２４）が、深度カメラ（１５４）およびそのＦＯＶ（２４）と、写真カメラ（１５６）およびそのＦＯＶ（２６）と同様に、そのＦＯＶ（１８、２０、２２）とともに示される。深度カメラ（１５４）から集められた深度情報は、重複ＦＯＶおよび他の前向きカメラからのデータを使用することによって強化されてもよい。例えば、システムは、深度センサ（１５４）からのサブＶＧＡ画像、世界カメラ（１２４）からの７２０ｐ画像、場合によって、写真カメラ（１５６）からの２メガピクセルカラー画像のようなもので構成され得る。そのような構成は、共通ＦＯＶを共有する５つのカメラを有し、そのうちの３つは、異種可視スペクトル画像を伴い、１つのものは、色を伴い、第３のものは、比較的に低い分解能の深度を伴う。システムは、グレースケールおよびカラー画像においてセグメント化を行い、それらの画像を融合し、比較的に高い分解能の画像をそれらから作成し、いくつかのステレオ対応を得て、深度センサを使用して、ステレオ深度についての仮説的を提供し、ステレオ対応を使用して、深度センサのみから利用可能なものよりも有意に良好であり得る、より精緻化された深度マップを得るように構成されてもよい。そのようなプロセスは、ローカルモバイル処理ハードウェア上で起動されてもよいか、または、可能性として、エリア内の他者からのデータとともに（近傍で相互からテーブルを横断して着座している２人等）クラウドコンピューティングリソースを使用して、起動され、非常に精緻化されたマッピングとなり得る。別の実施形態では、そのような機能性を遂行するために、前述のセンサは全て、１つの統合されたセンサに組み合わせられてもよい。

本発明の種々の例示的実施形態が、本明細書で説明されている。非限定的な意味で、これらの実施例が参照されている。それらは、本発明のより広くて適用可能な側面を例証するように提供されている。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、同等物が置換されてもよい。加えて、特定の状況、材料、物質組成、プロセス、プロセス行為、またはステップを本発明の目的、精神、または範囲に適合させるように、多くの修正が行われてもよい。さらに、当業者によって理解されるように、本明細書で説明および例証される個々の変形例のそれぞれは、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され、またはそれらと組み合わせられ得る、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内にあることを目的としている。

本発明は、本デバイスを使用して行われ得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含んでもよい。そのような提供は、エンドユーザによって行われてもよい。換言すると、「提供する」行為は、本方法において必要なデバイスを提供するために、取得する、アクセスする、接近する、位置付ける、設定する、起動する、電源投入する、または別様に作用するようにエンドユーザに要求するにすぎない。本明細書に記載される方法は、論理的に可能である記載された事象の任意の順序で、ならびに事象の記載された順序で実行されてもよい。

本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記で記載されている。本発明の他の詳細に関して、これらは、上記の参照された特許および公開に関連して理解されるとともに、概して、当業者によって把握または理解され得る。同じことが、一般的または理論的に採用されるような付加的な行為の観点から、本発明の方法ベースの側面に関して当てはまり得る。

加えて、本発明は、種々の特徴を随意に組み込む、いくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるように説明または指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、（本明細書に記載されるか、またはいくらか簡潔にするために含まれないかどうかにかかわらず）均等物が置換されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定値または介在値が、本発明内に包含されることが理解される。

また、本明細書で説明される発明の変形例の任意の随意的な特徴が、独立して、または本明細書で説明される特徴のうちのいずれか１つまたはそれを上回る特徴と組み合わせて、記載および請求され得ることが考慮される。単数形の項目の言及は、複数の同一項目が存在する可能性を含む。より具体的には、本明細書で、およびそれに関連付けられる請求項で使用されるように、「１つの（ａ、ａｎ）」、「該（ｓａｉｄ）」、および「該（ｔｈｅ）」という単数形は、特に別様に記述されない限り、複数の指示対象を含む。換言すると、冠詞の使用は、上記の説明ならびに本開示と関連付けられる請求項で、対象項目の「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意的な要素を除外するように起草され得ることに留意されたい。したがって、この記述は、請求項要素の記載に関連する「だけ」、「のみ」、および同等物等のそのような排他的用語の使用、または「否定的」制限の使用のための先行詞としての機能を果たすことを目的としている。

そのような排他的用語を使用することなく、本開示と関連付けられる請求項での「備える」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質を変換するものと見なすことができるかどうかにかかわらず、任意の付加的な要素の包含を可能にするものとする。本明細書で特に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の有効性を維持しながら、可能な限り広義の一般的に理解されている意味を与えられるものである。

本発明の広さは、提供される実施例および／または本明細書に限定されるものではないが、むしろ本開示と関連付けられる請求項の範囲のみによって限定されるものとする。

本発明の付加的および他の目的、特徴、および利点が、発明を実施するための形態、図、および請求項で説明される。
（項目１）
拡張現実（ＡＲ）ディスプレイシステムであって、
既知の座標系内で既知の磁場を放出する電磁場エミッタと、
電磁センサであって、上記電磁センサは、上記既知の磁場から生じる上記電磁センサにおける磁束に関連するパラメータを測定する電磁センサと、
上記既知の座標系内の距離を測定する深度センサと、
コントローラであって、上記コントローラは、少なくとも部分的に、上記電磁センサによって測定された磁束および上記深度センサによって測定された距離に関連するパラメータに基づいて、上記既知の座標系内の電磁場エミッタに対する上記電磁センサの姿勢情報を判定する、コントローラと、
ディスプレイシステムであって、上記ディスプレイシステムは、少なくとも部分的に、上記電磁場エミッタに対する上記電磁センサの姿勢情報に基づいて、仮想コンテンツをユーザに表示する、ディスプレイシステムと、
を備える、ＡＲディスプレイシステム。
（項目２）
上記深度センサは、受動ステレオ深度センサである、項目１に記載のＡＲディスプレイシステム。
（項目３）
上記深度センサは、能動深度センサである、項目１に記載のＡＲディスプレイシステム。
（項目４）
上記深度センサは、テクスチャ投影ステレオ深度センサである、項目３に記載のＡＲディスプレイシステム。
（項目５）
上記深度センサは、構造化光投影ステレオ深度センサである、項目３に記載のＡＲディスプレイシステム。
（項目６）
上記深度センサは、飛行時間深度センサである、項目３に記載のＡＲディスプレイシステム。
（項目７）
上記深度センサは、ＬＩＤＡＲ深度センサである、項目３に記載のＡＲディスプレイシステム。
（項目８）
上記深度センサは、変調放出深度センサである、項目３に記載のＡＲディスプレイシステム。
（項目９）
上記深度センサは、第１の視野（ＦＯＶ）を有する深度カメラを備える、項目１に記載のＡＲディスプレイシステム。
（項目１０）
世界捕捉カメラをさらに備え、
上記世界捕捉カメラは、少なくとも部分的に、上記第１のＦＯＶと重複する第２のＦＯＶを有する、項目９に記載のＡＲディスプレイシステム。
（項目１１）
写真カメラをさらに備え、
上記写真カメラは、少なくとも部分的に、上記第１のＦＯＶおよび上記第２のＦＯＶと重複する第３のＦＯＶを有する、項目１０に記載のＡＲディスプレイシステム。
（項目１２）
上記深度カメラ、上記世界捕捉カメラ、および上記写真カメラは、個別の異なる第１、第２、および第３の分解能を有する、項目１１に記載のＡＲディスプレイシステム。
（項目１３）
上記深度カメラの第１の分解能は、サブＶＧＡであり、上記世界捕捉カメラの第２の分解能は、７２０ｐであり、上記写真カメラの第３の分解能は、２メガピクセルである、項目１２に記載のＡＲディスプレイシステム。
（項目１４）
上記深度カメラ、上記世界捕捉カメラ、および上記写真カメラは、個別の第１、第２、および第３の画像を捕捉するように構成される、項目１１に記載のＡＲディスプレイシステム。
（項目１５）
上記コントローラは、上記第２および第３の画像をセグメント化するようにプログラムされる、項目１４に記載のＡＲディスプレイシステム。
（項目１６）
上記コントローラは、上記第２および第３の画像をセグメント化した後、上記第２および第３の画像を融合し、融合された画像を生成するようにプログラムされる、項目１５に記載のＡＲディスプレイシステム。
（項目１７）
上記既知の座標系内の距離を測定することは、
上記深度カメラからの第１の画像を分析することによって、仮説的距離を生成することと、
上記仮説的距離および上記融合された画像を分析することによって、上記距離を生成することと、
を含む、項目１６に記載のＡＲディスプレイシステム。
（項目１８）
上記深度カメラ、上記世界捕捉カメラ、および上記写真カメラは、単一統合センサを形成する、項目１１に記載のＡＲディスプレイシステム。
（項目１９）
付加的情報を提供する付加的位置特定リソースをさらに備え、上記既知の座標系内の電磁場エミッタに対する上記電磁センサの姿勢情報は、少なくとも部分的に、上記電磁センサによって測定された磁束、上記深度センサによって測定された距離、および上記付加的位置特定リソースによって提供される付加的情報に関連するパラメータに基づいて判定される、項目１に記載のＡＲディスプレイシステム。
（項目２０）
上記付加的位置特定リソースは、ＷｉＦｉ送受信機を備える、項目１９に記載のＡＲディスプレイシステム。
（項目２１）
上記付加的位置特定リソースは、付加的電磁エミッタを備える、項目１９に記載のＡＲディスプレイシステム。
（項目２２）
上記付加的位置特定リソースは、付加的電磁センサを備える、項目１９に記載のＡＲディスプレイシステム。
（項目２３）
上記付加的位置特定リソースは、ビーコンを備える、項目１９に記載のＡＲディスプレイシステム。
（項目２４）
上記ビーコンは、放射を放出する、項目２３に記載のＡＲディスプレイシステム。
（項目２５）
上記放射は、赤外線放射であり、上記ビーコンは、赤外線ＬＥＤを備える、項目２４に記載のＡＲディスプレイシステム。
（項目２６）
上記付加的位置特定リソースは、反射体を備える、項目１９に記載のＡＲディスプレイシステム。
（項目２７）
上記反射体は、放射を反射する、項目２６に記載のＡＲディスプレイシステム。
（項目２８）
上記付加的位置特定リソースは、セルラーネットワーク送受信機を備える、項目１９に記載のＡＲディスプレイシステム。
（項目２９）
上記付加的位置特定リソースは、ＲＡＤＡＲエミッタを備える、項目１９に記載のＡＲディスプレイシステム。
（項目３０）
上記付加的位置特定リソースは、ＲＡＤＡＲ検出器を備える、項目１９に記載のＡＲディスプレイシステム。
（項目３１）
上記付加的位置特定リソースは、ＬＩＤＡＲエミッタを備える、項目１９に記載のＡＲディスプレイシステム。
（項目３２）
上記付加的位置特定リソースは、ＬＩＤＡＲ検出器を備える、項目１９に記載のＡＲディスプレイシステム。
（項目３３）
上記付加的位置特定リソースは、ＧＰＳ送受信機を備える、項目１９に記載のＡＲディスプレイシステム。
（項目３４）
上記付加的位置特定リソースは、既知の検出可能パターンを有するポスタを備える、項目１９に記載のＡＲディスプレイシステム。
（項目３５）
上記付加的位置特定リソースは、既知の検出可能パターンを有するマーカを備える、項目１９に記載のＡＲディスプレイシステム。
（項目３６）
上記付加的位置特定リソースは、慣性測定ユニットを備える、項目１９に記載のＡＲディスプレイシステム。
（項目３７）
上記付加的位置特定リソースは、歪みゲージを備える、項目１９に記載のＡＲディスプレイシステム。
（項目３８）
上記電磁場エミッタは、ＡＲディスプレイシステムのモバイルコンポーネントに結合される、項目１に記載のＡＲディスプレイシステム。
（項目３９）
上記モバイルコンポーネントは、ハンドヘルドコンポーネントである、項目３８に記載のＡＲディスプレイシステム。
（項目４０）
上記モバイルコンポーネントは、トーテムである、項目３９に記載のＡＲディスプレイシステム。
（項目４１）
上記モバイルコンポーネントは、ディスプレイシステムを格納する頭部搭載型コンポーネントである、項目３８に記載のＡＲディスプレイシステム。
（項目４２）
上記モバイルコンポーネントは、胴体装着型コンポーネントである、項目３８に記載のＡＲディスプレイシステム。
（項目４３）
上記胴体装着型コンポーネントは、ベルトパックである、項目４２に記載のＡＲディスプレイシステム。
（項目４４）
上記電磁場エミッタは、上記電磁場エミッタが既知の位置および既知の配向を有するように、上記既知の座標系内のオブジェクトに結合される、項目１に記載のＡＲディスプレイシステム。
（項目４５）
上記電磁センサは、ＡＲディスプレイシステムのモバイルコンポーネントに結合される、項目４４に記載のＡＲディスプレイシステム。
（項目４６）
上記モバイルコンポーネントは、ハンドヘルドコンポーネントである、項目４５に記載のＡＲディスプレイシステム。
（項目４７）
上記モバイルコンポーネントは、トーテムである、項目４６に記載のＡＲディスプレイシステム。
（項目４８）
上記モバイルコンポーネントは、ディスプレイシステムを格納する頭部搭載型コンポーネントである、項目４５に記載のＡＲディスプレイシステム。
（項目４９）
上記モバイルコンポーネントは、胴体装着型コンポーネントである、項目４５に記載のＡＲディスプレイシステム。
（項目５０）
上記胴体装着型コンポーネントは、ベルトパックである、項目４９に記載のＡＲディスプレイシステム。
（項目５１）
上記姿勢情報は、上記既知の座標系内の電磁場エミッタに対する上記電磁センサの位置および配向を備える、項目１に記載のＡＲディスプレイシステム。
（項目５２）
上記コントローラは、上記姿勢情報を分析し、上記既知の座標系内の上記電磁センサの位置および配向を判定する、項目１に記載のＡＲディスプレイシステム。
（項目５３）
拡張現実を表示するための方法であって、上記方法は、
電磁場エミッタを使用して、既知の座標系内で既知の磁場を放出するステップと、
電磁センサを使用して、上記既知の磁場から生じる上記電磁センサの磁束に関連するパラメータを測定するステップと、
深度センサを使用して、上記既知の座標系内の距離を測定するステップと、
少なくとも部分的に、上記電磁センサを使用して測定された磁束および上記深度センサを使用して測定された距離に関連するパラメータに基づいて、上記既知の座標系内の電磁場エミッタに対する上記電磁センサの姿勢情報を判定するステップと、
少なくとも部分的に、上記電磁場エミッタに対する上記電磁センサの姿勢情報に基づいて、仮想コンテンツをユーザに表示するステップと、
を含む、方法。
（項目５４）
上記深度センサは、受動ステレオ深度センサである、項目５３に記載の方法。
（項目５５）
上記深度センサは、能動深度センサである、項目５３に記載の方法。
（項目５６）
上記深度センサは、テクスチャ投影ステレオ深度センサである、項目５５に記載の方法。
（項目５７）
上記深度センサは、構造化光投影ステレオ深度センサである、項目５５に記載の方法。
（項目５８）
上記深度センサは、飛行時間深度センサである、項目５５に記載の方法。
（項目５９）
上記深度センサは、ＬＩＤＡＲ深度センサである、項目５５に記載の方法。
（項目６０）
上記深度センサは、変調放出深度センサである、項目５５に記載の方法。
（項目６１）
上記深度センサは、第１の視野（ＦＯＶ）を有する深度カメラを備える、項目５３に記載の方法。
（項目６２）
上記深度センサはさらに、世界捕捉カメラを備え、
上記世界捕捉カメラは、少なくとも部分的に、上記第１のＦＯＶと重複する第２のＦＯＶを有する、項目６１に記載の方法。
（項目６３）
上記深度センサはさらに、写真カメラを備え、
上記写真カメラは、少なくとも部分的に、上記第１のＦＯＶおよび上記第２のＦＯＶと重複する第３のＦＯＶを有する、項目６２に記載の方法。
（項目６４）
上記深度カメラ、上記世界捕捉カメラ、および上記写真カメラは、個別の異なる第１、第２、および第３の分解能を有する、項目６３に記載の方法。
（項目６５）
上記深度カメラの第１の分解能は、サブＶＧＡであり、上記世界捕捉カメラの第２の分解能は、７２０ｐであり、上記写真カメラの第３の分解能は、２メガピクセルである、項目６４に記載の方法。
（項目６６）
個別の深度カメラ、世界捕捉カメラ、および写真カメラを使用して、第１、第２、および第３の画像を捕捉するステップをさらに含む、項目６３に記載の方法。
（項目６７）
上記第２および第３の画像をセグメント化するステップをさらに含む、項目６６に記載の方法。
（項目６８）
上記第２および第３の画像をセグメント化した後、上記第２および第３の画像を融合し、融合された画像を生成するステップをさらに含む、項目６７に記載の方法。
（項目６９）
上記既知の座標系内の距離を測定するステップは、
上記深度カメラからの第１の画像を分析することによって、仮説的距離を生成するステップと、
上記仮説的距離および上記融合された画像を分析することによって、上記距離を生成するステップと、
を含む、項目６８に記載の方法。
（項目７０）
上記深度カメラ、上記世界捕捉カメラ、および上記写真カメラは、単一統合センサを形成する、項目６３に記載の方法。
（項目７１）
少なくとも部分的に、上記電磁センサを使用して測定された磁束、上記深度センサを使用して測定された距離、および付加的位置特定リソースによって提供された付加的情報に関連するパラメータに基づいて、上記既知の座標系内の電磁場エミッタに対する上記電磁センサの姿勢情報を判定するステップをさらに含む、項目５３に記載の方法。
（項目７２）
上記付加的位置特定リソースは、ＷｉＦｉ送受信機を備える、項目７１に記載の方法。
（項目７３）
上記付加的位置特定リソースは、付加的電磁エミッタを備える、項目７１に記載の方法。
（項目７４）
上記付加的位置特定リソースは、付加的電磁センサを備える、項目７１に記載の方法。
（項目７５）
上記付加的位置特定リソースは、ビーコンを備える、項目７１に記載の方法。
（項目７６）
上記ビーコンが放射を放出するステップをさらに含む、項目７５に記載の方法。
（項目７７）
上記放射は、赤外線放射であり、上記ビーコンは、赤外線ＬＥＤを備える、項目７６に記載の方法。
（項目７８）
上記付加的位置特定リソースは、反射体を備える、項目７１に記載の方法。
（項目７９）
上記反射体が放射を反射するステップをさらに含む、項目７８に記載の方法。
（項目８０）
上記付加的位置特定リソースは、セルラーネットワーク送受信機を備える、項目７１に記載の方法。
（項目８１）
上記付加的位置特定リソースは、ＲＡＤＡＲエミッタを備える、項目７１に記載の方法。
（項目８２）
上記付加的位置特定リソースは、ＲＡＤＡＲ検出器を備える、項目７１に記載の方法。
（項目８３）
上記付加的位置特定リソースは、ＬＩＤＡＲエミッタを備える、項目７１に記載の方法。
（項目８４）
上記付加的位置特定リソースは、ＬＩＤＡＲ検出器を備える、項目７１に記載の方法。
（項目８５）
上記付加的位置特定リソースは、ＧＰＳ送受信機を備える、項目７１に記載の方法。
（項目８６）
上記付加的位置特定リソースは、既知の検出可能パターンを有するポスタを備える、項目７１に記載の方法。
（項目８７）
上記付加的位置特定リソースは、既知の検出可能パターンを有するマーカを備える、項目７１に記載の方法。
（項目８８）
上記付加的位置特定リソースは、慣性測定ユニットを備える、項目７１に記載の方法。
（項目８９）
上記付加的位置特定リソースは、歪みゲージを備える、項目７１に記載の方法。
（項目９０）
上記電磁場エミッタは、ＡＲディスプレイシステムのモバイルコンポーネントに結合される、項目５３に記載の方法。
（項目９１）
上記モバイルコンポーネントは、ハンドヘルドコンポーネントである、項目９０に記載の方法。
（項目９２）
上記モバイルコンポーネントは、トーテムである、項目９１に記載の方法。
（項目９３）
上記モバイルコンポーネントは、ディスプレイシステムを格納する頭部搭載型コンポーネントである、項目９０に記載の方法。
（項目９４）
上記モバイルコンポーネントは、胴体装着型コンポーネントである、項目９０に記載の方法。
（項目９５）
上記胴体装着型コンポーネントは、ベルトパックである、項目９４に記載の方法。
（項目９６）
上記電磁場エミッタは、上記電磁場エミッタが既知の位置および既知の配向を有するように、上記既知の座標系内のオブジェクトに結合される、項目５３に記載の方法。
（項目９７）
上記電磁センサは、ＡＲディスプレイシステムのモバイルコンポーネントに結合される、項目９６に記載の方法。
（項目９８）
上記モバイルコンポーネントは、ハンドヘルドコンポーネントである、項目９７に記載の方法。
（項目９９）
上記モバイルコンポーネントは、トーテムである、項目９８に記載の方法。
（項目１００）
上記モバイルコンポーネントは、ディスプレイシステムを格納する頭部搭載型コンポーネントである、項目９７に記載の方法。
（項目１０１）
上記モバイルコンポーネントは、胴体装着型コンポーネントである、項目９７に記載の方法。
（項目１０２）
上記胴体装着型コンポーネントは、ベルトパックである、項目１０１に記載の方法。
（項目１０３）
上記姿勢情報は、上記既知の座標系内の電磁場エミッタに対する上記電磁センサの位置および配向を備える、項目５３に記載の方法。
（項目１０４）
上記姿勢情報を分析し、上記既知の座標系内の上記電磁センサの位置および配向を判定するステップをさらに含む、項目５３に記載の方法。
（項目１０５）
拡張現実ディスプレイシステムであって、
電磁場エミッタに結合されるハンドヘルドコンポーネントであって、上記電磁場エミッタは、磁場を放出する、ハンドヘルドコンポーネントと、
仮想コンテンツをユーザに表示するディスプレイシステムを有する頭部搭載型コンポーネントであって、上記頭部搭載型コンポーネントは、上記磁場から生じる電磁センサにおける磁束に関連するパラメータを測定する電磁センサに結合され、既知の座標系内の上記頭部搭載型コンポーネントの頭部の姿勢は、既知である、頭部搭載型コンポーネントと、
上記既知の座標系内の距離を測定する深度センサと、
上記ハンドヘルドコンポーネント、上記頭部搭載型コンポーネント、および上記深度センサに通信可能に結合されるコントローラであって、上記コントローラは、上記電磁センサにおける磁束に関連するパラメータを上記頭部搭載型コンポーネントから受信し、上記距離を上記深度センサから受信する、コントローラと、
を備え、上記コントローラは、少なくとも部分的に、上記電磁センサによって測定された磁束および上記深度センサによって測定された距離に関連するパラメータに基づいて、上記ハンドヘルドコンポーネントの手の姿勢を判定し、
上記システムは、少なくとも部分的に、上記手の姿勢に基づいて、上記ユーザに表示される仮想コンテンツを修正する、
拡張現実ディスプレイシステム。
（項目１０６）
上記深度センサは、受動ステレオ深度センサである、項目１０５に記載のＡＲディスプレイシステム。
（項目１０７）
上記深度センサは、能動深度センサである、項目１０５に記載のＡＲディスプレイシステム。
（項目１０８）
上記深度センサは、テクスチャ投影ステレオ深度センサである、項目１０７に記載のＡＲディスプレイシステム。
（項目１０９）
上記深度センサは、構造化光投影ステレオ深度センサである、項目１０７に記載のＡＲディスプレイシステム。
（項目１１０）
上記深度センサは、飛行時間深度センサである、項目１０７に記載のＡＲディスプレイシステム。
（項目１１１）
上記深度センサは、ＬＩＤＡＲ深度センサである、項目１０７に記載のＡＲディスプレイシステム。
（項目１１２）
上記深度センサは、変調放出深度センサである、項目１０７に記載のＡＲディスプレイシステム。
（項目１１３）
上記深度センサは、第１の視野（ＦＯＶ）を有する深度カメラを備える、項目１０５に記載のＡＲディスプレイシステム。
（項目１１４）
世界捕捉カメラをさらに備え、
上記世界捕捉カメラは、少なくとも部分的に、上記第１のＦＯＶと重複する第２のＦＯＶを有する、項目１１３に記載のＡＲディスプレイシステム。
（項目１１５）
写真カメラをさらに備え、
上記写真カメラは、少なくとも部分的に、上記第１のＦＯＶおよび上記第２のＦＯＶと重複する第３のＦＯＶを有する、項目１１４に記載のＡＲディスプレイシステム。
（項目１１６）
上記深度カメラ、上記世界捕捉カメラ、および上記写真カメラは、個別の異なる第１、第２、および第３の分解能を有する、項目１１５に記載のＡＲディスプレイシステム。
（項目１１７）
上記深度カメラの第１の分解能は、サブＶＧＡであり、上記世界捕捉カメラの第２の分解能は、７２０ｐであり、上記写真カメラの第３の分解能は、２メガピクセルである、項目１１６に記載のＡＲディスプレイシステム。
（項目１１８）
上記深度カメラ、上記世界捕捉カメラ、および上記写真カメラは、個別の第１、第２、および第３の画像を捕捉するように構成される、項目１１５に記載のＡＲディスプレイシステム。
（項目１１９）
上記コントローラは、上記第２および第３の画像をセグメント化するようにプログラムされる、項目１１８に記載のＡＲディスプレイシステム。
（項目１２０）
上記コントローラは、上記第２および第３の画像をセグメント化した後、上記第２および第３の画像を融合し、融合された画像を生成するようにプログラムされる、項目１１９に記載のＡＲディスプレイシステム。
（項目１２１）
上記既知の座標系内の距離を測定することは、
上記深度カメラからの第１の画像を分析することによって、仮説的距離を生成することと、
上記仮説的距離および上記融合された画像を分析することによって、上記距離を生成することと、
を含む、項目１２０に記載のＡＲディスプレイシステム。
（項目１２２）
上記深度カメラ、上記世界捕捉カメラ、および上記写真カメラは、単一統合センサを形成する、項目１１５に記載のＡＲディスプレイシステム。
（項目１２３）
付加的情報を提供する付加的位置特定リソースをさらに備え、上記コントローラは、少なくとも部分的に、上記電磁センサによって測定された磁束、上記深度センサによって測定された距離、および上記付加的位置特定リソースによって提供される付加的情報に関連するパラメータに基づいて、上記ハンドヘルドコンポーネントの手の姿勢を判定する、項目１０５に記載のＡＲディスプレイシステム。
（項目１２４）
上記付加的位置特定リソースは、ＷｉＦｉ送受信機を備える、項目１２３に記載のＡＲディスプレイシステム。
（項目１２５）
上記付加的位置特定リソースは、付加的電磁エミッタを備える、項目１２３に記載のＡＲディスプレイシステム。
（項目１２６）
上記付加的位置特定リソースは、付加的電磁センサを備える、項目１２３に記載のＡＲディスプレイシステム。
（項目１２７）
上記付加的位置特定リソースは、ビーコンを備える、項目１２３に記載のＡＲディスプレイシステム。
（項目１２８）
上記ビーコンは、放射を放出する、項目１２７に記載のＡＲディスプレイシステム。
（項目１２９）
上記放射は、赤外線放射であり、上記ビーコンは、赤外線ＬＥＤを備える、項目１２８に記載のＡＲディスプレイシステム。
（項目１３０）
上記付加的位置特定リソースは、反射体を備える、項目１２３に記載のＡＲディスプレイシステム。
（項目１３１）
上記反射体は、放射を反射する、項目１３０に記載のＡＲディスプレイシステム。
（項目１３２）
上記付加的位置特定リソースは、セルラーネットワーク送受信機を備える、項目１２３に記載のＡＲディスプレイシステム。
（項目１３３）
上記付加的位置特定リソースは、ＲＡＤＡＲエミッタを備える、項目１２３に記載のＡＲディスプレイシステム。
（項目１３４）
上記付加的位置特定リソースは、ＲＡＤＡＲ検出器を備える、項目１２３に記載のＡＲディスプレイシステム。
（項目１３５）
上記付加的位置特定リソースは、ＬＩＤＡＲエミッタを備える、項目１２３に記載のＡＲディスプレイシステム。
（項目１３６）
上記付加的位置特定リソースは、ＬＩＤＡＲ検出器を備える、項目１２３に記載のＡＲディスプレイシステム。
（項目１３７）
上記付加的位置特定リソースは、ＧＰＳ送受信機を備える、項目１２３に記載のＡＲディスプレイシステム。
（項目１３８）
上記付加的位置特定リソースは、既知の検出可能パターンを有するポスタを備える、項目１２３に記載のＡＲディスプレイシステム。
（項目１３９）
上記付加的位置特定リソースは、既知の検出可能パターンを有するマーカを備える、項目１２３に記載のＡＲディスプレイシステム。
（項目１４０）
上記付加的位置特定リソースは、慣性測定ユニットを備える、項目１２３に記載のＡＲディスプレイシステム。
（項目１４１）
上記付加的位置特定リソースは、歪みゲージを備える、項目１２３に記載のＡＲディスプレイシステム。
（項目１４２）
上記ハンドヘルドコンポーネントは、トーテムである、項目１０５に記載のＡＲディスプレイシステム。
（項目１４３）
上記手の姿勢は、上記既知の座標系内の上記ハンドヘルドコンポーネントの位置および配向を備える、項目１０５に記載のＡＲディスプレイシステム。

Claims (143)

1. 拡張現実（ＡＲ）ディスプレイシステムであって、
   既知の座標系内で既知の磁場を放出する電磁場エミッタと、
   電磁センサであって、前記電磁センサは、前記既知の磁場から生じる前記電磁センサにおける磁束に関連するパラメータを測定する電磁センサと、
   前記既知の座標系内の距離を測定する深度センサと、
   コントローラであって、前記コントローラは、少なくとも部分的に、前記電磁センサによって測定された磁束および前記深度センサによって測定された距離に関連するパラメータに基づいて、前記既知の座標系内の電磁場エミッタに対する前記電磁センサの姿勢情報を判定する、コントローラと、
   ディスプレイシステムであって、前記ディスプレイシステムは、少なくとも部分的に、前記電磁場エミッタに対する前記電磁センサの姿勢情報に基づいて、仮想コンテンツをユーザに表示する、ディスプレイシステムと、
   を備える、ＡＲディスプレイシステム。
2. 前記深度センサは、受動ステレオ深度センサである、請求項１に記載のＡＲディスプレイシステム。
3. 前記深度センサは、能動深度センサである、請求項１に記載のＡＲディスプレイシステム。
4. 前記深度センサは、テクスチャ投影ステレオ深度センサである、請求項３に記載のＡＲディスプレイシステム。
5. 前記深度センサは、構造化光投影ステレオ深度センサである、請求項３に記載のＡＲディスプレイシステム。
6. 前記深度センサは、飛行時間深度センサである、請求項３に記載のＡＲディスプレイシステム。
7. 前記深度センサは、ＬＩＤＡＲ深度センサである、請求項３に記載のＡＲディスプレイシステム。
8. 前記深度センサは、変調放出深度センサである、請求項３に記載のＡＲディスプレイシステム。
9. 前記深度センサは、第１の視野（ＦＯＶ）を有する深度カメラを備える、請求項１に記載のＡＲディスプレイシステム。
10. 世界捕捉カメラをさらに備え、
    前記世界捕捉カメラは、少なくとも部分的に、前記第１のＦＯＶと重複する第２のＦＯＶを有する、請求項９に記載のＡＲディスプレイシステム。
11. 写真カメラをさらに備え、
    前記写真カメラは、少なくとも部分的に、前記第１のＦＯＶおよび前記第２のＦＯＶと重複する第３のＦＯＶを有する、請求項１０に記載のＡＲディスプレイシステム。
12. 前記深度カメラ、前記世界捕捉カメラ、および前記写真カメラは、個別の異なる第１、第２、および第３の分解能を有する、請求項１１に記載のＡＲディスプレイシステム。
13. 前記深度カメラの第１の分解能は、サブＶＧＡであり、前記世界捕捉カメラの第２の分解能は、７２０ｐであり、前記写真カメラの第３の分解能は、２メガピクセルである、請求項１２に記載のＡＲディスプレイシステム。
14. 前記深度カメラ、前記世界捕捉カメラ、および前記写真カメラは、個別の第１、第２、および第３の画像を捕捉するように構成される、請求項１１に記載のＡＲディスプレイシステム。
15. 前記コントローラは、前記第２および第３の画像をセグメント化するようにプログラムされる、請求項１４に記載のＡＲディスプレイシステム。
16. 前記コントローラは、前記第２および第３の画像をセグメント化した後、前記第２および第３の画像を融合し、融合された画像を生成するようにプログラムされる、請求項１５に記載のＡＲディスプレイシステム。
17. 前記既知の座標系内の距離を測定することは、
    前記深度カメラからの第１の画像を分析することによって、仮説的距離を生成することと、
    前記仮説的距離および前記融合された画像を分析することによって、前記距離を生成することと、
    を含む、請求項１６に記載のＡＲディスプレイシステム。
18. 前記深度カメラ、前記世界捕捉カメラ、および前記写真カメラは、単一統合センサを形成する、請求項１１に記載のＡＲディスプレイシステム。
19. 付加的情報を提供する付加的位置特定リソースをさらに備え、前記既知の座標系内の電磁場エミッタに対する前記電磁センサの姿勢情報は、少なくとも部分的に、前記電磁センサによって測定された磁束、前記深度センサによって測定された距離、および前記付加的位置特定リソースによって提供される付加的情報に関連するパラメータに基づいて判定される、請求項１に記載のＡＲディスプレイシステム。
20. 前記付加的位置特定リソースは、ＷｉＦｉ送受信機を備える、請求項１９に記載のＡＲディスプレイシステム。
21. 前記付加的位置特定リソースは、付加的電磁エミッタを備える、請求項１９に記載のＡＲディスプレイシステム。
22. 前記付加的位置特定リソースは、付加的電磁センサを備える、請求項１９に記載のＡＲディスプレイシステム。
23. 前記付加的位置特定リソースは、ビーコンを備える、請求項１９に記載のＡＲディスプレイシステム。
24. 前記ビーコンは、放射を放出する、請求項２３に記載のＡＲディスプレイシステム。
25. 前記放射は、赤外線放射であり、前記ビーコンは、赤外線ＬＥＤを備える、請求項２４に記載のＡＲディスプレイシステム。
26. 前記付加的位置特定リソースは、反射体を備える、請求項１９に記載のＡＲディスプレイシステム。
27. 前記反射体は、放射を反射する、請求項２６に記載のＡＲディスプレイシステム。
28. 前記付加的位置特定リソースは、セルラーネットワーク送受信機を備える、請求項１９に記載のＡＲディスプレイシステム。
29. 前記付加的位置特定リソースは、ＲＡＤＡＲエミッタを備える、請求項１９に記載のＡＲディスプレイシステム。
30. 前記付加的位置特定リソースは、ＲＡＤＡＲ検出器を備える、請求項１９に記載のＡＲディスプレイシステム。
31. 前記付加的位置特定リソースは、ＬＩＤＡＲエミッタを備える、請求項１９に記載のＡＲディスプレイシステム。
32. 前記付加的位置特定リソースは、ＬＩＤＡＲ検出器を備える、請求項１９に記載のＡＲディスプレイシステム。
33. 前記付加的位置特定リソースは、ＧＰＳ送受信機を備える、請求項１９に記載のＡＲディスプレイシステム。
34. 前記付加的位置特定リソースは、既知の検出可能パターンを有するポスタを備える、請求項１９に記載のＡＲディスプレイシステム。
35. 前記付加的位置特定リソースは、既知の検出可能パターンを有するマーカを備える、請求項１９に記載のＡＲディスプレイシステム。
36. 前記付加的位置特定リソースは、慣性測定ユニットを備える、請求項１９に記載のＡＲディスプレイシステム。
37. 前記付加的位置特定リソースは、歪みゲージを備える、請求項１９に記載のＡＲディスプレイシステム。
38. 前記電磁場エミッタは、ＡＲディスプレイシステムのモバイルコンポーネントに結合される、請求項１に記載のＡＲディスプレイシステム。
39. 前記モバイルコンポーネントは、ハンドヘルドコンポーネントである、請求項３８に記載のＡＲディスプレイシステム。
40. 前記モバイルコンポーネントは、トーテムである、請求項３９に記載のＡＲディスプレイシステム。
41. 前記モバイルコンポーネントは、ディスプレイシステムを格納する頭部搭載型コンポーネントである、請求項３８に記載のＡＲディスプレイシステム。
42. 前記モバイルコンポーネントは、胴体装着型コンポーネントである、請求項３８に記載のＡＲディスプレイシステム。
43. 前記胴体装着型コンポーネントは、ベルトパックである、請求項４２に記載のＡＲディスプレイシステム。
44. 前記電磁場エミッタは、前記電磁場エミッタが既知の位置および既知の配向を有するように、前記既知の座標系内のオブジェクトに結合される、請求項１に記載のＡＲディスプレイシステム。
45. 前記電磁センサは、ＡＲディスプレイシステムのモバイルコンポーネントに結合される、請求項４４に記載のＡＲディスプレイシステム。
46. 前記モバイルコンポーネントは、ハンドヘルドコンポーネントである、請求項４５に記載のＡＲディスプレイシステム。
47. 前記モバイルコンポーネントは、トーテムである、請求項４６に記載のＡＲディスプレイシステム。
48. 前記モバイルコンポーネントは、ディスプレイシステムを格納する頭部搭載型コンポーネントである、請求項４５に記載のＡＲディスプレイシステム。
49. 前記モバイルコンポーネントは、胴体装着型コンポーネントである、請求項４５に記載のＡＲディスプレイシステム。
50. 前記胴体装着型コンポーネントは、ベルトパックである、請求項４９に記載のＡＲディスプレイシステム。
51. 前記姿勢情報は、前記既知の座標系内の電磁場エミッタに対する前記電磁センサの位置および配向を備える、請求項１に記載のＡＲディスプレイシステム。
52. 前記コントローラは、前記姿勢情報を分析し、前記既知の座標系内の前記電磁センサの位置および配向を判定する、請求項１に記載のＡＲディスプレイシステム。
53. 拡張現実を表示するための方法であって、前記方法は、
    電磁場エミッタを使用して、既知の座標系内で既知の磁場を放出するステップと、
    電磁センサを使用して、前記既知の磁場から生じる前記電磁センサの磁束に関連するパラメータを測定するステップと、
    深度センサを使用して、前記既知の座標系内の距離を測定するステップと、
    少なくとも部分的に、前記電磁センサを使用して測定された磁束および前記深度センサを使用して測定された距離に関連するパラメータに基づいて、前記既知の座標系内の電磁場エミッタに対する前記電磁センサの姿勢情報を判定するステップと、
    少なくとも部分的に、前記電磁場エミッタに対する前記電磁センサの姿勢情報に基づいて、仮想コンテンツをユーザに表示するステップと、
    を含む、方法。
54. 前記深度センサは、受動ステレオ深度センサである、請求項５３に記載の方法。
55. 前記深度センサは、能動深度センサである、請求項５３に記載の方法。
56. 前記深度センサは、テクスチャ投影ステレオ深度センサである、請求項５５に記載の方法。
57. 前記深度センサは、構造化光投影ステレオ深度センサである、請求項５５に記載の方法。
58. 前記深度センサは、飛行時間深度センサである、請求項５５に記載の方法。
59. 前記深度センサは、ＬＩＤＡＲ深度センサである、請求項５５に記載の方法。
60. 前記深度センサは、変調放出深度センサである、請求項５５に記載の方法。
61. 前記深度センサは、第１の視野（ＦＯＶ）を有する深度カメラを備える、請求項５３に記載の方法。
62. 前記深度センサはさらに、世界捕捉カメラを備え、
    前記世界捕捉カメラは、少なくとも部分的に、前記第１のＦＯＶと重複する第２のＦＯＶを有する、請求項６１に記載の方法。
63. 前記深度センサはさらに、写真カメラを備え、
    前記写真カメラは、少なくとも部分的に、前記第１のＦＯＶおよび前記第２のＦＯＶと重複する第３のＦＯＶを有する、請求項６２に記載の方法。
64. 前記深度カメラ、前記世界捕捉カメラ、および前記写真カメラは、個別の異なる第１、第２、および第３の分解能を有する、請求項６３に記載の方法。
65. 前記深度カメラの第１の分解能は、サブＶＧＡであり、前記世界捕捉カメラの第２の分解能は、７２０ｐであり、前記写真カメラの第３の分解能は、２メガピクセルである、請求項６４に記載の方法。
66. 個別の深度カメラ、世界捕捉カメラ、および写真カメラを使用して、第１、第２、および第３の画像を捕捉するステップをさらに含む、請求項６３に記載の方法。
67. 前記第２および第３の画像をセグメント化するステップをさらに含む、請求項６６に記載の方法。
68. 前記第２および第３の画像をセグメント化した後、前記第２および第３の画像を融合し、融合された画像を生成するステップをさらに含む、請求項６７に記載の方法。
69. 前記既知の座標系内の距離を測定するステップは、
    前記深度カメラからの第１の画像を分析することによって、仮説的距離を生成するステップと、
    前記仮説的距離および前記融合された画像を分析することによって、前記距離を生成するステップと、
    を含む、請求項６８に記載の方法。
70. 前記深度カメラ、前記世界捕捉カメラ、および前記写真カメラは、単一統合センサを形成する、請求項６３に記載の方法。
71. 少なくとも部分的に、前記電磁センサを使用して測定された磁束、前記深度センサを使用して測定された距離、および付加的位置特定リソースによって提供された付加的情報に関連するパラメータに基づいて、前記既知の座標系内の電磁場エミッタに対する前記電磁センサの姿勢情報を判定するステップをさらに含む、請求項５３に記載の方法。
72. 前記付加的位置特定リソースは、ＷｉＦｉ送受信機を備える、請求項７１に記載の方法。
73. 前記付加的位置特定リソースは、付加的電磁エミッタを備える、請求項７１に記載の方法。
74. 前記付加的位置特定リソースは、付加的電磁センサを備える、請求項７１に記載の方法。
75. 前記付加的位置特定リソースは、ビーコンを備える、請求項７１に記載の方法。
76. 前記ビーコンが放射を放出するステップをさらに含む、請求項７５に記載の方法。
77. 前記放射は、赤外線放射であり、前記ビーコンは、赤外線ＬＥＤを備える、請求項７６に記載の方法。
78. 前記付加的位置特定リソースは、反射体を備える、請求項７１に記載の方法。
79. 前記反射体が放射を反射するステップをさらに含む、請求項７８に記載の方法。
80. 前記付加的位置特定リソースは、セルラーネットワーク送受信機を備える、請求項７１に記載の方法。
81. 前記付加的位置特定リソースは、ＲＡＤＡＲエミッタを備える、請求項７１に記載の方法。
82. 前記付加的位置特定リソースは、ＲＡＤＡＲ検出器を備える、請求項７１に記載の方法。
83. 前記付加的位置特定リソースは、ＬＩＤＡＲエミッタを備える、請求項７１に記載の方法。
84. 前記付加的位置特定リソースは、ＬＩＤＡＲ検出器を備える、請求項７１に記載の方法。
85. 前記付加的位置特定リソースは、ＧＰＳ送受信機を備える、請求項７１に記載の方法。
86. 前記付加的位置特定リソースは、既知の検出可能パターンを有するポスタを備える、請求項７１に記載の方法。
87. 前記付加的位置特定リソースは、既知の検出可能パターンを有するマーカを備える、請求項７１に記載の方法。
88. 前記付加的位置特定リソースは、慣性測定ユニットを備える、請求項７１に記載の方法。
89. 前記付加的位置特定リソースは、歪みゲージを備える、請求項７１に記載の方法。
90. 前記電磁場エミッタは、ＡＲディスプレイシステムのモバイルコンポーネントに結合される、請求項５３に記載の方法。
91. 前記モバイルコンポーネントは、ハンドヘルドコンポーネントである、請求項９０に記載の方法。
92. 前記モバイルコンポーネントは、トーテムである、請求項９１に記載の方法。
93. 前記モバイルコンポーネントは、ディスプレイシステムを格納する頭部搭載型コンポーネントである、請求項９０に記載の方法。
94. 前記モバイルコンポーネントは、胴体装着型コンポーネントである、請求項９０に記載の方法。
95. 前記胴体装着型コンポーネントは、ベルトパックである、請求項９４に記載の方法。
96. 前記電磁場エミッタは、前記電磁場エミッタが既知の位置および既知の配向を有するように、前記既知の座標系内のオブジェクトに結合される、請求項５３に記載の方法。
97. 前記電磁センサは、ＡＲディスプレイシステムのモバイルコンポーネントに結合される、請求項９６に記載の方法。
98. 前記モバイルコンポーネントは、ハンドヘルドコンポーネントである、請求項９７に記載の方法。
99. 前記モバイルコンポーネントは、トーテムである、請求項９８に記載の方法。
100. 前記モバイルコンポーネントは、ディスプレイシステムを格納する頭部搭載型コンポーネントである、請求項９７に記載の方法。
101. 前記モバイルコンポーネントは、胴体装着型コンポーネントである、請求項９７に記載の方法。
102. 前記胴体装着型コンポーネントは、ベルトパックである、請求項１０１に記載の方法。
103. 前記姿勢情報は、前記既知の座標系内の電磁場エミッタに対する前記電磁センサの位置および配向を備える、請求項５３に記載の方法。
104. 前記姿勢情報を分析し、前記既知の座標系内の前記電磁センサの位置および配向を判定するステップをさらに含む、請求項５３に記載の方法。
105. 拡張現実ディスプレイシステムであって、
     電磁場エミッタに結合されるハンドヘルドコンポーネントであって、前記電磁場エミッタは、磁場を放出する、ハンドヘルドコンポーネントと、
     仮想コンテンツをユーザに表示するディスプレイシステムを有する頭部搭載型コンポーネントであって、前記頭部搭載型コンポーネントは、前記磁場から生じる電磁センサにおける磁束に関連するパラメータを測定する電磁センサに結合され、既知の座標系内の前記頭部搭載型コンポーネントの頭部の姿勢は、既知である、頭部搭載型コンポーネントと、
     前記既知の座標系内の距離を測定する深度センサと、
     前記ハンドヘルドコンポーネント、前記頭部搭載型コンポーネント、および前記深度センサに通信可能に結合されるコントローラであって、前記コントローラは、前記電磁センサにおける磁束に関連するパラメータを前記頭部搭載型コンポーネントから受信し、前記距離を前記深度センサから受信する、コントローラと、
     を備え、前記コントローラは、少なくとも部分的に、前記電磁センサによって測定された磁束および前記深度センサによって測定された距離に関連するパラメータに基づいて、前記ハンドヘルドコンポーネントの手の姿勢を判定し、
     前記システムは、少なくとも部分的に、前記手の姿勢に基づいて、前記ユーザに表示される仮想コンテンツを修正する、
     拡張現実ディスプレイシステム。
106. 前記深度センサは、受動ステレオ深度センサである、請求項１０５に記載のＡＲディスプレイシステム。
107. 前記深度センサは、能動深度センサである、請求項１０５に記載のＡＲディスプレイシステム。
108. 前記深度センサは、テクスチャ投影ステレオ深度センサである、請求項１０７に記載のＡＲディスプレイシステム。
109. 前記深度センサは、構造化光投影ステレオ深度センサである、請求項１０７に記載のＡＲディスプレイシステム。
110. 前記深度センサは、飛行時間深度センサである、請求項１０７に記載のＡＲディスプレイシステム。
111. 前記深度センサは、ＬＩＤＡＲ深度センサである、請求項１０７に記載のＡＲディスプレイシステム。
112. 前記深度センサは、変調放出深度センサである、請求項１０７に記載のＡＲディスプレイシステム。
113. 前記深度センサは、第１の視野（ＦＯＶ）を有する深度カメラを備える、請求項１０５に記載のＡＲディスプレイシステム。
114. 世界捕捉カメラをさらに備え、
     前記世界捕捉カメラは、少なくとも部分的に、前記第１のＦＯＶと重複する第２のＦＯＶを有する、請求項１１３に記載のＡＲディスプレイシステム。
115. 写真カメラをさらに備え、
     前記写真カメラは、少なくとも部分的に、前記第１のＦＯＶおよび前記第２のＦＯＶと重複する第３のＦＯＶを有する、請求項１１４に記載のＡＲディスプレイシステム。
116. 前記深度カメラ、前記世界捕捉カメラ、および前記写真カメラは、個別の異なる第１、第２、および第３の分解能を有する、請求項１１５に記載のＡＲディスプレイシステム。
117. 前記深度カメラの第１の分解能は、サブＶＧＡであり、前記世界捕捉カメラの第２の分解能は、７２０ｐであり、前記写真カメラの第３の分解能は、２メガピクセルである、請求項１１６に記載のＡＲディスプレイシステム。
118. 前記深度カメラ、前記世界捕捉カメラ、および前記写真カメラは、個別の第１、第２、および第３の画像を捕捉するように構成される、請求項１１５に記載のＡＲディスプレイシステム。
119. 前記コントローラは、前記第２および第３の画像をセグメント化するようにプログラムされる、請求項１１８に記載のＡＲディスプレイシステム。
120. 前記コントローラは、前記第２および第３の画像をセグメント化した後、前記第２および第３の画像を融合し、融合された画像を生成するようにプログラムされる、請求項１１９に記載のＡＲディスプレイシステム。
121. 前記既知の座標系内の距離を測定することは、
     前記深度カメラからの第１の画像を分析することによって、仮説的距離を生成することと、
     前記仮説的距離および前記融合された画像を分析することによって、前記距離を生成することと、
     を含む、請求項１２０に記載のＡＲディスプレイシステム。
122. 前記深度カメラ、前記世界捕捉カメラ、および前記写真カメラは、単一統合センサを形成する、請求項１１５に記載のＡＲディスプレイシステム。
123. 付加的情報を提供する付加的位置特定リソースをさらに備え、前記コントローラは、少なくとも部分的に、前記電磁センサによって測定された磁束、前記深度センサによって測定された距離、および前記付加的位置特定リソースによって提供される付加的情報に関連するパラメータに基づいて、前記ハンドヘルドコンポーネントの手の姿勢を判定する、請求項１０５に記載のＡＲディスプレイシステム。
124. 前記付加的位置特定リソースは、ＷｉＦｉ送受信機を備える、請求項１２３に記載のＡＲディスプレイシステム。
125. 前記付加的位置特定リソースは、付加的電磁エミッタを備える、請求項１２３に記載のＡＲディスプレイシステム。
126. 前記付加的位置特定リソースは、付加的電磁センサを備える、請求項１２３に記載のＡＲディスプレイシステム。
127. 前記付加的位置特定リソースは、ビーコンを備える、請求項１２３に記載のＡＲディスプレイシステム。
128. 前記ビーコンは、放射を放出する、請求項１２７に記載のＡＲディスプレイシステム。
129. 前記放射は、赤外線放射であり、前記ビーコンは、赤外線ＬＥＤを備える、請求項１２８に記載のＡＲディスプレイシステム。
130. 前記付加的位置特定リソースは、反射体を備える、請求項１２３に記載のＡＲディスプレイシステム。
131. 前記反射体は、放射を反射する、請求項１３０に記載のＡＲディスプレイシステム。
132. 前記付加的位置特定リソースは、セルラーネットワーク送受信機を備える、請求項１２３に記載のＡＲディスプレイシステム。
133. 前記付加的位置特定リソースは、ＲＡＤＡＲエミッタを備える、請求項１２３に記載のＡＲディスプレイシステム。
134. 前記付加的位置特定リソースは、ＲＡＤＡＲ検出器を備える、請求項１２３に記載のＡＲディスプレイシステム。
135. 前記付加的位置特定リソースは、ＬＩＤＡＲエミッタを備える、請求項１２３に記載のＡＲディスプレイシステム。
136. 前記付加的位置特定リソースは、ＬＩＤＡＲ検出器を備える、請求項１２３に記載のＡＲディスプレイシステム。
137. 前記付加的位置特定リソースは、ＧＰＳ送受信機を備える、請求項１２３に記載のＡＲディスプレイシステム。
138. 前記付加的位置特定リソースは、既知の検出可能パターンを有するポスタを備える、請求項１２３に記載のＡＲディスプレイシステム。
139. 前記付加的位置特定リソースは、既知の検出可能パターンを有するマーカを備える、請求項１２３に記載のＡＲディスプレイシステム。
140. 前記付加的位置特定リソースは、慣性測定ユニットを備える、請求項１２３に記載のＡＲディスプレイシステム。
141. 前記付加的位置特定リソースは、歪みゲージを備える、請求項１２３に記載のＡＲディスプレイシステム。
142. 前記ハンドヘルドコンポーネントは、トーテムである、請求項１０５に記載のＡＲディスプレイシステム。
143. 前記手の姿勢は、前記既知の座標系内の前記ハンドヘルドコンポーネントの位置および配向を備える、請求項１０５に記載のＡＲディスプレイシステム。