JP2022529245A - 電磁追跡のためのセンサ融合 - Google Patents

Abstract

頭部搭載型拡張現実（ＡＲ）デバイスは、装着者の頭部の姿勢またはハンドヘルドユーザ入力デバイスの姿勢を追跡し、３次元ＡＲ環境内の装着者相互作用を有効にすることができる。ユーザ入力デバイス内の姿勢センサ（例えば、慣性測定ユニット）は、ユーザ入力デバイスの姿勢（例えば、位置または配向）に関するデータを提供することができる。電磁（ＥＭ）追跡システムもまた、姿勢データを提供することができる。例えば、ハンドヘルドユーザ入力デバイスは、ＥＭ場を生成する、ＥＭエミッタを含むことができ、頭部搭載型ＡＲデバイスは、ＥＭ場を感知する、ＥＭセンサを含むことができる。

Description

（優先権の主張）
本願は、参照することによって本明細書に組み込まれる、２０１９年４月１５日に出願された、米国仮出願第６２／８３４，０８１号の優先権の利点を請求する。

本開示は、概して、オブジェクトの位置または配向を決定するためのシステムおよび方法に関し、より具体的には、電磁追跡技法と他のセンサ入力を融合させる。

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式で、ユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。

頭部搭載型拡張現実（ＡＲ）デバイスは、装着者の環境内のオブジェクトの３次元仮想表現を提供することが可能であるように、装着者の頭部（または他の身体部分）の姿勢を追跡することができる。電磁（ＥＭ）追跡システムの実施形態は、頭部姿勢または身体ジェスチャを追跡するために使用されることができる。例えば、ハンドヘルドユーザ入力デバイスは、ＥＭエミッタを含むことができ、頭部搭載型ＡＲデバイスは、ＥＭセンサを含むことができる。いくつかの実装では、ＥＭエミッタは、ＥＭセンサによって感知され得るＥＭ場を生成する。センサからのＥＭ情報は、センサの場所および／または配向、それによって、ＡＲデバイスの基準フレーム内の装着者の頭部姿勢を決定するように分析されることができる。姿勢は、ＡＲデバイスの基準フレーム内の３つの空間座標と、３つの角座標とを含む、６自由度（６ＤＯＦ）姿勢であり得る。ＡＲデバイスの基準フレームは、装着者の実世界環境内の固定されたオブジェクトを表す、グローバル（または世界）座標系であり得る。

ＡＲデバイスは、例えば、加速度計、ジャイロスコープ、磁力計、光学センサ、またはカメラ等の姿勢情報を提供する、他のセンサを含むことができる。実施例として、加速度計データは、２回積分され、推定される位置を提供することができる。しかしながら、センサ信号における誤差は、実際の位置に対して推定される位置をドリフトさせ得る。また、センサから推測される位置または配向は、ＡＲデバイスの基準フレーム（例えば、世界座標系）ではなく、センサと関連付けられる基準フレーム内のものであり得る。

電磁追跡システムおよび別のセンサモダリティ（例えば、加速度計、ジャイロスコープ、磁力計）からの出力を融合させ、姿勢誤差を低減させる、または姿勢をＡＲデバイスの基準フレームに変換するための技法の実施例が、本明細書に説明される。カルマンフィルタまたは他のタイプのデータ融合技法が、出力を融合させるために使用されることができる。

センサ融合技法は、ＡＲまたはＶＲ用途に限定されず、他の実装でも、異なるモダリティのセンサ（例えば、加速度計およびＥＭ追跡デバイス）が使用される、任意のオブジェクトの姿勢決定に適用されることができる。例えば、センサ融合技法は、手術室内の医療デバイスおよび計器を追跡するために適用されることができる。

本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の詳細な説明のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。

図１は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、拡張現実シナリオの例証を描写する。

図２Ａ－２Ｄは、ウェアラブルシステムの実施例を図式的に図示する。 図２Ａ－２Ｄは、ウェアラブルシステムの実施例を図式的に図示する。 図２Ａ－２Ｄは、ウェアラブルシステムの実施例を図式的に図示する。 図２Ａ－２Ｄは、ウェアラブルシステムの実施例を図式的に図示する。

図３は、クラウドコンピューティングアセットとローカル処理アセットとの間の協調を図式的に図示する。

図４は、電磁（ＥＭ）追跡システムの例示的系統図を図式的に図示する。

図５は、ＥＭ追跡システムの実施形態の例示的機能を説明する、フローチャートである。

図６は、ＡＲシステムとともに組み込まれる、ＥＭ追跡システムの実施例を図式的に図示する。

図７は、ＡＲデバイスのコンテキストにおけるＥＭ追跡システムの実施例の機能を説明する、フローチャートである。

図８は、ＡＲシステムの実施形態のコンポーネントの実施例を図式的に図示する。

図９Ａおよび９Ｂは、頭部搭載型ディスプレイに結合されるＥＭ感知コイルの実施例を図式的に図示する。 図９Ａおよび９Ｂは、頭部搭載型ディスプレイに結合されるＥＭ感知コイルの実施例を図式的に図示する。

図９Ｃおよび９Ｄは、複数のＥＭセンサを伴う例示的頭部搭載型ヘッドセットを図式的に図示する。 図９Ｃおよび９Ｄは、複数のＥＭセンサを伴う例示的頭部搭載型ヘッドセットを図式的に図示する。

図９Ｅおよび９Ｆは、複数のＥＭエミッタを伴う例示的コントローラを図式的に図示する。 図９Ｅおよび９Ｆは、複数のＥＭエミッタを伴う例示的コントローラを図式的に図示する。

図１０および１１は、頭部搭載型ＡＲシステム内のＥＭ追跡システムを用いた姿勢追跡の実施例を図示する、フローチャートである。 図１０および１１は、頭部搭載型ＡＲシステム内のＥＭ追跡システムを用いた姿勢追跡の実施例を図示する、フローチャートである。

図１２は、ハンドヘルドユーザ入力デバイス上のＩＭＵからの入力を受け取り、ＡＲシステムと関連付けられる世界フレーム内のデバイスの姿勢（例えば、位置または配向）を提供し得る、慣性ナビゲーションシステム（ＩＮＳ）の実施例を図式的に図示する、ブロック図である。

図１３Ａ－１３Ｃは、拡張現実ディスプレイシステムと併用可能なセンサ融合システムの実施例を図式的に図示する、ブロック図である。 図１３Ａ－１３Ｃは、拡張現実ディスプレイシステムと併用可能なセンサ融合システムの実施例を図式的に図示する、ブロック図である。 図１３Ａ－１３Ｃは、拡張現実ディスプレイシステムと併用可能なセンサ融合システムの実施例を図式的に図示する、ブロック図である。

図１４は、ウェアラブルシステムのためのハンドヘルドユーザ入力デバイスの姿勢を計算するための方法の実施例を図示する、フローチャートである。

図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。

（ＡＲ、ＶＲ、および位置特定システムの概要）
図１では、拡張現実場面（４）が、描写されており、ＡＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム（１１２０）を特徴とする、実世界公園状設定（６）が見える。これらのアイテムに加え、ＡＲ技術のユーザはまた、実世界プラットフォーム（１１２０）上に立っているロボット像（１１１０）と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ（２）とが「見える」と知覚するが、これらの要素（２、１１１０）は、実世界には存在しない。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適で、自然な感覚で、かつ豊かな提示を促進する、ＶＲまたはＡＲ技術を生産することは、困難である。

例えば、頭部装着型ＡＲディスプレイ（またはヘルメット搭載型ディスプレイまたはスマートグラス）は、典型的には、ユーザの頭部に少なくとも緩く結合され、したがって、ユーザの頭部が移動すると、移動し得る。ユーザの頭部の運動が、ディスプレイシステムによって検出される場合、表示されているデータは、頭部姿勢の変化を考慮するように更新されることができる。

実施例として、頭部装着型ディスプレイを装着するユーザが、ディスプレイ上の３次元（３Ｄ）オブジェクトの仮想表現を視認し、３Ｄオブジェクトが現れる面積の周囲を歩き回る場合、その３Ｄオブジェクトは、視点毎に再レンダリングされ、彼らが、実空間を占有するオブジェクトの周囲を歩き回っているような知覚をユーザに与えることができる。頭部装着型ディスプレイが、仮想空間内に複数のオブジェクト（例えば、豊かな仮想世界）を提示するために使用される場合、頭部の姿勢の測定（例えば、ユーザの頭部の場所および配向）が、ユーザの動的に変化する頭部場所および配向に合致するように場面を再レンダリングし、仮想空間内への没入感の増加を提供するために使用されることができる。

ＡＲシステムでは、頭部の姿勢の検出または計算は、ユーザにとって意味をなす様式において、ディスプレイシステムが実世界内の空間を占有するように現れるように、仮想オブジェクトをレンダリングすることを促進することができる。加えて、ユーザの頭部またはＡＲシステムと連動したハンドヘルドデバイス（「トーテム」とも称され得る）、触知デバイス、または他の実際の物理的オブジェクト等の実オブジェクトの位置および／または配向の検出もまた、ディスプレイシステムが、表示情報をユーザに提示し、ユーザが、ＡＲシステムのある側面と効率的に相互作用することを可能にすることを促進し得る。ユーザの頭部が、実世界内で動き回るにつれて、仮想オブジェクトは、仮想オブジェクトが実世界に対して安定したまま現れるように、頭部の姿勢の関数として再レンダリングされ得る。少なくともＡＲ用途に関して、物理的オブジェクトと空間的に連動した仮想オブジェクトの設置（例えば、２または３次元において物理的オブジェクトに空間的に近接して現れるように提示される）は、些細な問題ではあり得ない。例えば、頭部の移動が、周囲環境のビュー内の仮想オブジェクトの設置を有意に複雑にし得る。これは、ビューが周囲環境の画像として捕捉され、次いで、エンドユーザに投影または表示されるかどうか、またはエンドユーザが周囲環境のビューを直接知覚するかどうかに当てはまる。例えば、頭部の移動は、エンドユーザの視野を変化させる可能性が高く、これは、種々の仮想オブジェクトがエンドユーザの視野に表示される場所に対する更新を要求する可能性が高いであろう。加えて、頭部移動は、多種多様な範囲および速度で生じ得る。頭部移動速度は、異なる頭部移動間においてだけではなく、単一頭部移動の範囲内またはそれを横断しても変動し得る。例えば、頭部移動速度は、最初に、始点から増加し得（例えば、線形または非線形に）、終点に到達するにつれて、減少し得、頭部の移動の始点と終点との間のある場所で最大速度を得る。高速頭部移動は、特定の表示または投影技術の能力さえ超え、均一および／または平滑運動としてエンドユーザに現れる画像をレンダリングし得る。

頭部追跡正確度および待ち時間（例えば、ユーザがその頭部を移動させた時間から、画像が更新され、ユーザに表示された時間までの経過時間）は、ＶＲおよびＡＲシステムにとって課題となっている。特に、ユーザの視野の実質的部分を仮想要素で充填する、ディスプレイシステムに関して、頭部追跡の正確度が高く、頭部運動の最初の検出からディスプレイによってユーザの視覚系に送達される光の更新までの全体的システム待ち時間が非常に短い場合、有利である。待ち時間が長い場合、システムは、ユーザの前庭と視感覚系との間に不整合をもたらし、乗り物酔いまたは３Ｄ酔いにつながり得る、ユーザ知覚シナリオを生成させ得る。システム待ち時間が長い場合、仮想オブジェクトの見掛け場所は、高速頭部運動の間、不安定に現れ得る。

頭部装着型ディスプレイシステムに加え、他のディスプレイシステムもまた、正確かつ短い待ち時間の頭部の姿勢検出から恩恵を受け得る。これらとして、ディスプレイが、ユーザの身体上に装着されないが、例えば、壁または他の表面上に搭載される、頭部追跡型ディスプレイシステムが挙げられる。頭部追跡型ディスプレイは、場面上で窓のように作用し得、ユーザがその頭部を「窓」に対して移動させるにつれて、場面は、ユーザの変化する視点に合致するように、再レンダリングされる。他のシステムとして、頭部装着型ディスプレイが光を実世界上に投影する、頭部装着型投影システムが挙げられる。

加えて、現実的拡張現実体験を提供するために、ＡＲシステムは、ユーザと相互作用するように設計されてもよい。例えば、複数のユーザが、仮想ボールおよび／または他の仮想オブジェクトを用いて、ボールゲームをプレーしてもよい。１人のユーザが、仮想ボールを「キャッチ」し、ボールを別のユーザに投げ返してもよい。いくつかの実施形態では、第１のユーザは、仮想ボールを打つためのトーテム（例えば、ＡＲシステムに通信可能に結合される実際のバット）を提供されてもよい。いくつかの実施形態では、仮想ユーザインターフェースは、ユーザが多くのオプションのうちの１つを選択することを可能にするために、ＡＲユーザに提示されてもよい。ユーザは、トーテム、触知デバイス、ウェアラブルコンポーネントを使用し、または単に、仮想画面をタッチし、システムと相互作用してもよい。

ユーザの頭部の姿勢および配向を検出することと、空間内の実オブジェクトの物理的場所を検出することは、ＡＲシステムが、仮想コンテンツを効果的かつ享受可能な様式で表示することを可能にする。しかしながら、これらの能力は、ＡＲシステムにとって重要であるが、達成することが困難である。換言すると、ＡＲシステムは、実オブジェクト（例えば、ユーザの頭部、トーテム、触知デバイス、ウェアラブルコンポーネント、ユーザの手等）の物理的場所を認識し、実オブジェクトの物理的座標をユーザに表示されている１つ以上の仮想オブジェクトに対応する仮想座標に相関させなければならない。これは、概して、１つ以上のオブジェクトの位置および配向を高速レートで追跡する非常に正確なセンサおよびセンサ認識システムを要求する。現在のアプローチは、満足のゆく速度または精度規格において位置特定を行わない。

したがって、ＡＲおよびＶＲデバイスのコンテキストにおいて、より優れた位置特定システムの必要がある。
（例示的ＡＲおよびＶＲシステムおよびコンポーネント）

図２Ａ－２Ｄを参照すると、いくつかの一般的コンポーネントオプションが、図示される。図２Ａ－２Ｄの議論に従う、詳細な説明の部分では、種々のシステム、サブシステム、およびコンポーネントが、ヒトＶＲおよび／またはＡＲのための高品質かつ快適に知覚されるディスプレイシステムを提供する目的に対処するために提示される。

図２Ａに示されるように、ＡＲシステムユーザ（６０）は、ユーザの眼の正面に位置付けられるディスプレイシステム（６２）に結合されるフレーム（６４）構造を特徴とする、頭部搭載型コンポーネント（５８）を装着するように描写される。スピーカ（６６）が、描写される構成においてフレーム（６４）に結合され、ユーザの外耳道に隣接して位置付けられる（一実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）。ディスプレイ（６２）は、有線導線または無線コネクティビティ等によって、ローカル処理およびデータモジュール（７０）に動作可能に結合（６８）され、これは、フレーム（６４）に固定して取り付けられる、図２Ｂの実施形態に示されるように、ヘルメットまたは帽子（８０）に固定して取り付けられる、ヘッドホンに内蔵される、図２Ｃの実施形態に示されるように、リュック式構成においてユーザ（６０）の胴体（８２）に除去可能に取り付けられる、または図２Ｄの実施形態に示されるように、ベルト結合式構成においてユーザ（６０）の腰部（８４）に除去可能に取り付けられる等、種々の構成において搭載されてもよい。

ローカル処理およびデータモジュール（７０）は、電力効率の良いプロセッサまたはコントローラおよびフラッシュメモリ等のデジタルメモリを含んでもよく、その両方とも、ａ）画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット（加速度計およびジャイロスコープまたは磁力計を含み得る）、加速度計、コンパス、ジャイロスコープ、または磁力計、またはＧＰＳユニット、無線デバイス等、フレーム（６４）に動作可能に結合され得る、センサから捕捉されるデータ、および／またはｂ）可能性として、処理または読出後にディスプレイ（６２）への通過のために、遠隔処理モジュール（７２）および／または遠隔データリポジトリ（７４）を使用して、入手および／または処理され得る、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。ローカル処理およびデータモジュール（７０）は、有線または無線通信リンク等を介して、遠隔モジュール（７２、７４）が、相互に動作可能に結合され、ローカル処理およびデータモジュール（７０）へのリソースとして利用可能であるように、これらの遠隔処理モジュール（７２）および遠隔データリポジトリ（７４）に動作可能に結合（７６、７８）されてもよい。

一実施形態では、遠隔処理モジュール（７２）は、データおよび／または画像情報を分析および処理するように構成される、１つ以上の比較的に高性能なプロセッサまたはコントローラを備えてもよい。一実施形態では、遠隔データリポジトリ（７４）は、比較的に大規模なデジタルデータ記憶設備を含んでもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。一実施形態では、全てのデータが、記憶されてもよく、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、任意の遠隔モジュールからの完全に自律的な使用を可能にしてもよい。

ここで図３を参照すると、概略図は、例えば、ユーザの頭部（１２０）に結合される頭部搭載型コンポーネント（５８）およびユーザのベルト（３０８）に結合されるローカル処理およびデータモジュール（７０）内に常駐し得る、クラウドコンピューティングアセット（４６）とローカル処理アセットとの間の協調を図示する（したがって、コンポーネント７０はまた、図３に示されるように、「ベルトパック」７０とも称され得る）。一実施形態では、１つ以上のサーバシステム（１１０）等のクラウド（４６）アセットは、有線または無線ネットワーキング等を介して（無線は、モバイル式のために好ましく、有線は、所望され得る、ある高帯域幅または高データ量転送のために好ましい）、直接、上記に記載されるように、ユーザの頭部（１２０）およびベルト（３０８）に結合されるプロセッサおよびメモリ構成等のローカルコンピューティングアセットの一方または両方（４０、４２）に動作可能に結合（１１５）される。ユーザにローカルのこれらのコンピューティングアセットは同様に、図８を参照して以下に議論される有線結合（６８）等、有線および／または無線コネクティビティ構成（４４）を介して、相互に動作可能に結合されてもよい。一実施形態では、ユーザの頭部（１２０）に搭載される低慣性および小型サブシステムを維持するために、ユーザとクラウド（４６）との間の一次転送は、ベルト（３０８）に搭載されるサブシステムとクラウドとの間のリンクを介してもよく、頭部搭載型サブシステム（１２０）は、主に、例えば、パーソナルコンピューティング周辺コネクティビティ用途において現在採用されるような超広帯域（「ＵＷＢ」）コネクティビティ等の無線コネクティビティを使用して、ベルトベースのサブシステム（３０８）にデータテザリングされる。

効率的ローカルおよび遠隔処理協調および図２Ａに示されるユーザインターフェースまたはユーザディスプレイシステム（６２）またはその変形例等のユーザのための適切なディスプレイデバイスを用いることで、ユーザの現在の実際または仮想場所に関する１つの世界の側面は、ユーザに転送または「パス」され、効率的方式で更新され得る。換言すると、世界のマップが、ユーザのＡＲシステム上に部分的に常駐し、かつクラウドリソース内に部分的に常駐し得る記憶場所において、持続的に更新され得る。マップ（「パス可能世界モデル」とも称される）は、ラスタ画像、３Ｄおよび２Ｄ点、パラメータ情報、および実世界についての他の情報を含む、大型データベースであってもよい。ますます多くのＡＲユーザが、その実環境についての情報を持続的に捕捉するにつれて（例えば、カメラ、センサ、ＩＭＵ等を通して）、マップは、ますます正確かつ完全となる。

上記に記載されるような構成を用いることで、クラウドコンピューティングリソース上に常駐し、そこから配信され得る、１つの世界モデルが存在し、そのような世界は、リアルタイムビデオデータまたは同等物の回送を試みるために好ましい比較的に低帯域幅形態において、１人以上のユーザに「パス可能」となり得る。像の近くに立っている人（例えば、図１に示されるように）の拡張体験は、クラウドベースの世界モデルによって情報提供されてもよく、そのサブセットは、彼らおよび彼らのローカルディスプレイデバイスにパスされ、ビューを完成させてもよい。机上にあるパーソナルコンピュータと同程度に単純であり得る、遠隔ディスプレイデバイスに向かって着座している人が、その情報の同一セクションをクラウドから効率的にダウンロードし、それをそのディスプレイ上にレンダリングさせることができる。実際、実際に像の近くに居る公園内に存在する１人の人物は、遠隔に位置する友人と公園内を散歩してもよく、友人は、仮想および拡張現実を通して参加する。システムは、通りの場所、木々の場所、像の場所を把握する必要があるであろうが、クラウド上のその情報を用いることで、参加する友人は、クラウドから、シナリオの側面をダウンロードし、次いで、実際に公園内に居る人物に対してローカルな拡張現実に沿って歩行を開始することができる。

３次元（３Ｄ）点が、環境から捕捉されてもよく、それらの画像または点を捕捉するカメラの姿勢（例えば、世界に対するベクトルおよび／または原位置情報）が、これらの点または画像が、本姿勢情報と「タグ付けされる」、または関連付けられ得るように、決定されてもよい。次いで、第２のカメラによって捕捉された点が、第２のカメラの姿勢を決定するために利用されてもよい。換言すると、第１のカメラからのタグ付けされた画像との比較に基づいて、第２のカメラを配向および／または位置特定することができる。次いで、本知識は、テクスチャを抽出する、マップを作成する、および実世界の仮想コピーを作成するために利用されてもよい（その時点で、位置合わせされる２つのカメラが周囲に存在するため）。

したがって、基礎レベルでは、一実施形態では、人物装着型システムは、３Ｄ点およびその点を生産した２Ｄ画像の両方を捕捉するために利用されることができ、これらの点および画像は、クラウド記憶および処理リソースに送信されてもよい。それらはまた、内蔵姿勢情報とともにローカルでキャッシュされてもよい（すなわち、タグ付けされた画像をキャッシュする）。したがって、クラウドは、すぐ使える状態の（すなわち、利用可能なキャッシュ内において）タグ付けされた２Ｄ画像（例えば、３Ｄ姿勢とタグ付けされた）を３Ｄ点とともに有し得る。ユーザが、動的なものを観察している場合、また、クラウドに、運動に関する付加的情報を送信してもよい（例えば、別の人物の顔を見ている場合、ユーザは、顔のテクスチャマップを撮影し、周囲世界がその他の点では基本的に静的であっても、それを最適化された周波数でプッシュすることができる）。オブジェクト認識装置およびパス可能世界モデルに関するさらなる情報は、「Ｓｙｓｔｅｍ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ａｕｇｍｅｎｔｅｄ ａｎｄ ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ」と題された米国特許公開第２０１４／０３０６８６６号（参照することによって本明細書にその全体として組み込まれる）とともに、Ｍａｇｉｃ Ｌｅａｐ， Ｉｎｃ．（Ｐｌａｎｔａｔｉｏｎ， Ｆｌｏｒｉｄａ）によって開発されたもの等の拡張および仮想現実システムに関連する、以下の付加的開示、すなわち、米国特許公開第２０１５／０１７８９３９号、米国特許公開第２０１５／０２０５１２６号、米国特許公開第２０１４／０２６７４２０号、米国特許公開第２０１５／０３０２６５２号、米国特許公開第２０１３／０１１７３７７号、および米国特許公開第２０１３／０１２８２３０号（それぞれ、参照することによってその全体として本明細書に組み込まれる）に見出され得る。

ＧＰＳおよび他の位置特定情報が、そのような処理のための入力として利用されてもよい。ユーザの頭部、トーテム、手のジェスチャ、触知デバイス等の高度に正確な位置特定は、適切な仮想コンテンツをユーザに表示するために有利であり得る。

頭部搭載型デバイス（５８）は、デバイスの装着者の眼の正面に位置付け可能なディスプレイを含んでもよい。ディスプレイは、ライトフィールドディスプレイを含んでもよい。ディスプレイは、複数の深度平面において画像を装着者に提示するように構成されてもよい。ディスプレイは、回折要素を伴う平面導波管を含んでもよい。本明細書に開示される実施形態のいずれかと併用可能なディスプレイ、頭部搭載型デバイス、および他のＡＲコンポーネントの実施例は、米国特許公開第２０１５／００１６７７７号に説明される。米国特許公開第２０１５／００１６７７７号は、参照することによってその全体として本明細書に組み込まれる。
電磁位置特定の実施例

高精度位置特定を達成するための１つのアプローチは、ユーザのＡＲヘッドセット、ベルトパック、および／または他の補助デバイス（例えば、トーテム、触知デバイス、ゲーム器具等）上に方略的に設置される、ＥＭセンサと結合される電磁場（ＥＭ）の使用を伴い得る。ＥＭ追跡システムは、典型的には、少なくとも、ＥＭ場エミッタ（時として、概して、伝送機またはエミッタと称されることもある）と、少なくとも１つのＥＭ場センサ（時として、概して、受信機またはセンサと称されることもある）とを含む。ＥＭエミッタは、ＡＲヘッドセットの装着者の環境内の既知の空間（および／または時間的）分布を有する、ＥＭ場を生成する。ＥＭ場センサは、センサの場所において生成されたＥＭ場を測定する。これらの測定および生成されたＥＭ場の分布の知識に基づいて、エミッタに対する電磁場センサの姿勢（例えば、位置および／または配向）が、決定され得る。故に、センサが取り付けられるオブジェクトの姿勢が、決定され得る。

ＥＭ追跡は、ＡＲ、ＶＲ、医学、スポーツ、製造、およびゲームにおける用途を含む、複数の分野内のオブジェクトの位置特定および追跡のための有望なアプローチであり得る。光学結像技法を使用するいくつかの他の方法と比べたＥＭ位置特定の可能性として考えられる利点は、ＥＭ追跡が、（例えば、第１のオブジェクトが第２のオブジェクトの正面にあり、結像システムのビューから第２のオブジェクトを少なくとも部分的に遮断する）オクルージョンの存在下でオブジェクトを位置特定し得ることである。ＥＭ追跡はまた、良好な動的応答時間ももたらすことができ、時として、カメラ方法を伴って実装される、複雑な画像処理およびコンピュータビジョン技法の実施を要求しない場合がある。カメラベースの追跡システムは、それらの高い算出作業負荷のために専用アルゴリズムおよびハードウェアを要求し得、また、高速運動力学およびオクルージョンに対するロバスト性が欠け得る。ＡＲおよびＶＲ用途では、プロセッサ（例えば、ローカル処理およびデータモジュール７０）が、多くの算出上集約的なタスク（例えば、図１を参照して説明されるように、仮想コンテンツをユーザにレンダリングすること）を実施するとともに、リアルタイムでこれらのタスクの多くを実施する。したがって、プロセッサによって実施されるタスクの算出複雑性を削減することは、ＡＲおよびＶＲ用途において有利であり得、ＥＭ追跡システムの使用もまた、プロセッサからタスクをオフロードすることに有利であり得る。

ここで図４を参照すると、ＥＭ追跡システムの例示的系統図（例えば、Ｊｏｈｎｓｏｎ ＆ Ｊｏｈｎｓｏｎ Ｃｏｒｐｏｒａｔｉｏｎの子会社であるＢｉｏｓｅｎｓｅ、Ｐｏｌｈｅｍｕｓ， Ｉｎｃ．（Ｃｏｌｃｈｅｓｔｅｒ， Ｖｅｒｍｏｎｔ）等の組織によって開発されたもの、Ｓｉｘｅｎｓｅ Ｅｎｔｅｒｔａｉｎｍｅｎｔ， Ｉｎｃ．（Ｌｏｓ Ｇａｔｏｓ， Ｃａｌｉｆｏｒｎｉａ）、および他の追跡装置製造企業によって製造されたもの等）が、図示される。１つ以上の実施形態では、ＥＭ追跡システムは、既知の磁場を放出するように構成される、ＥＭエミッタ４０２（時として、ＥＭ場エミッタまたは単にエミッタと称され得る）を含む。図４に示されるように、ＥＭエミッタは、電力供給源（例えば、電流、バッテリ等）に結合され、電力をエミッタ４０２に提供してもよい。

１つ以上の実施形態では、ＥＭエミッタ４０２は、磁場を生成する、いくつかのコイル（例えば、相互に垂直に位置付けられ、場をＸ、Ｙ、およびＺ方向に生産する、少なくとも３つのコイル）を備える。本磁場は、座標空間（例えば、Ｘ－Ｙ－Ｚデカルト座標空間）を確立するために使用される。これは、システムが、既知の磁場と関連してセンサの位置（例えば、（Ｘ，Ｙ，Ｚ）位置）をマップすることを可能にし、センサの位置および／または配向を決定することに役立つ。１つ以上の実施形態では、ＥＭセンサ４０４ａ、４０４ｂ等が、１つ以上の実オブジェクトに取り付けられてもよい。ＥＭセンサ４０４（時として、ＥＭ場センサまたは単にセンサと称され得る）は、電流が放出されるＥＭ場を通して誘発され得る、より小さいコイルを含んでもよい。概して、「センサ」コンポーネント（４０４）は、エミッタ（４０２）によって放出される磁場から流入する磁束を捕捉するように位置付けられる／配向される立方体または他の容器等の小型構造内にともに結合される、３つの異なるように配向される（例えば、相互に対して直交して配向される等）コイルのセット等の小型コイルまたはループを含んでもよく、これらのコイルを通して誘発される電流を比較することによって、かつ相互に対するコイルの相対的位置および配向を把握することによって、エミッタに対するセンサの相対的位置および配向が、計算され得る。

ＥＭ追跡センサに動作可能に結合される、コイルおよび慣性測定ユニット（「ＩＭＵ」）コンポーネントの挙動に関する１つ以上のパラメータが、ＥＭエミッタが結合される座標系に対するセンサ（およびそれが取り付けられるオブジェクト）の位置および／または配向を検出するために、測定されてもよい。１つ以上の実施形態では、複数のセンサが、ＥＭエミッタと連動して使用され、座標空間内のセンサのそれぞれの位置および配向を検出してもよい。ＥＭ追跡システムは、３つの方向（すなわち、Ｘ、Ｙ、およびＺ方向）において、さらに、２つまたは３つの配向角度（例えば、ヨー、ピッチ、およびロール）において、位置を提供してもよい。例えば、ＥＭ追跡システムは、３つの空間座標（例えば、Ｘ、Ｙ、およびＺ）と、３つの配向角度（例えば、ヨー、ピッチ、およびロール）とを含む、６自由度（６ＤＯＦ）姿勢を決定してもよい。１つ以上の実施形態では、ＩＭＵの測定は、コイルの測定と比較され、センサの位置および配向を決定してもよい。１つ以上の実施形態では、ＥＭデータおよびＩＭＵデータは両方とも、カメラ、深度センサ、および他のセンサ等の種々の他のデータ源とともに、位置および配向を決定するために組み合わせられてもよい。本情報は、コントローラ４０６に伝送されてもよい（例えば、無線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等）。１つ以上の実施形態では、姿勢（または位置および配向）は、従来のシステムにおいて比較的に高リフレッシュレートで報告されてもよい。従来、ＥＭエミッタは、テーブル、手術台、壁、または天井等の比較的に安定した大型オブジェクトに結合され、１つ以上のセンサは、医療デバイス、ハンドヘルドゲームコンポーネント、または同等物等のより小型のオブジェクトに結合される。代替として、図６を参照して以下に説明されるように、ＥＭ追跡システムの種々の特徴が、採用され、より安定したグローバル座標系に対する空間内を移動する２つのオブジェクト間の位置および／または配向における変化またはデルタが追跡され得る、構成を生産してもよい。換言すると、構成は、図６に示されており、ＥＭ追跡システムの変形例が、利用され、頭部搭載型コンポーネントとハンドヘルドコンポーネントとの間の位置および配向デルタを追跡し得る一方、（例えば、ユーザにローカルの室内環境の）グローバル座標系に対する頭部の姿勢は、システムの頭部搭載型コンポーネントに結合され得る外向き捕捉カメラを使用して、同時位置特定およびマッピング（「ＳＬＡＭ」）技法等によって別様に決定される。

コントローラ４０６は、ＥＭ場発生器４０２を制御してもよく、また、データを種々のＥＭセンサ４０４から捕捉してもよい。システムの種々のコンポーネントは、任意の電気機械的または無線／Ｂｌｕｅｔｏｏｔｈ（登録商標）手段を通して相互に結合されてもよいことを理解されたい。コントローラ４０６はまた、既知の磁場および磁場に関連する座標空間に関するデータを含んでもよい。本情報は、次いで、既知のＥＭ場に対応する座標空間に関連してセンサの位置および配向を検出するために使用される。

ＥＭ追跡システムの１つの利点は、最小限の待ち時間および高分解能を伴って非常に正確な追跡結果を生産することができることである。加えて、ＥＭ追跡システムは、必ずしも、光学追跡装置に依拠せず、ユーザの視線内にないセンサ／オブジェクトは、容易に追跡され得る。

ＥＭ場の強度は、コイル伝送機（例えば、ＥＭエミッタ４０２）からの距離（「ｒ」）の三次関数として低下することを理解されたい。したがって、アルゴリズムは、ＥＭエミッタからの距離に基づいて、使用されてもよい。コントローラ４０６は、そのようなアルゴリズムを用いて、ＥＭエミッタからの可変距離におけるセンサ／オブジェクトの位置および配向（例えば、６ＤＯＦ姿勢）を決定するように構成されてもよい。センサがＥＭエミッタから離れて移動するにつれて、ＥＭ場の強度の急減を前提として、正確度、効率、および短待ち時間の観点から、最良結果が、より近い距離において達成され得る。典型的ＥＭ追跡システムでは、ＥＭエミッタは、電流（例えば、差込式電力供給源）によって電力供給され、ＥＭエミッタから半径２０フィート以内に位置するセンサを有する。センサとエミッタとの間の半径が短いほど、ＡＲ用途を含む、多くの用途においてより望ましくあり得る。

ここで図５を参照すると、典型的電磁追跡システムの機能を説明する例示的フロー図が、簡単に説明される。５０２では、既知のＥＭ場が、放出される。１つ以上の実施形態では、磁場エミッタは、磁場を生成してもよく、各コイルは、電場を一方向（例えば、Ｘ、Ｙ、またはＺ）に生成させ得る。磁場は、恣意的波形を伴って生成されてもよい。１つ以上の実施形態では、軸のそれぞれに沿った磁場成分は、他の方向に沿った他の磁場成分と若干異なる周波数で発振してもよい。５０４では、ＥＭ場に対応する座標空間が、決定され得る。例えば、図４の制御４０６は、ＥＭ場に基づいて、エミッタの周囲の座標空間を自動的に決定してもよい。５０６では、センサ（既知のオブジェクトに取り付けられ得る）におけるコイルの挙動が、検出され得る。例えば、コイルにおいて誘発される電流が、計算されてもよい。いくつかの実施形態では、コイルの回転または任意の他の定量化可能挙動が、追跡および測定されてもよい。５０８では、本挙動は、センサおよび／または既知のオブジェクトの位置または配向を検出するために使用されてもよい。例えば、コントローラ４０６は、センサにおけるコイルの挙動を種々の位置または配向に相関させる、マッピングテーブルを参考にしてもよい。これらの計算に基づいて、座標空間内の位置が、センサの配向とともに、決定されてもよい。図５のフローチャート内のブロックの順序は、限定的ではなくて例証的であることを意図している。例えば、ブロック５０６は、いくつかの実施形態では、ブロック５０４が実施される前に実施されることができる。

ＡＲシステムのコンテキストでは、ＥＭ追跡システムの１つ以上のコンポーネントは、モバイルコンポーネントの正確な追跡を促進するために、修正される必要があり得る。上記に記載されるように、ユーザの頭部の姿勢および配向の追跡は、多くのＡＲ用途において望ましくあり得る。ユーザの頭部の姿勢および配向の正確な決定は、ＡＲシステムが、正しい仮想コンテンツをユーザに表示することを可能にする。例えば、仮想場面は、実際の建物の背後に隠れているモンスタを含み得る。建物と関連したユーザの頭部の姿勢および配向に応じて、仮想モンスタのビューは、現実的ＡＲ体験が提供されるように修正される必要があり得る。または、トーテム、触知デバイス、または仮想コンテンツと相互作用するある他の手段の位置および／または配向は、ＡＲユーザがＡＲシステムと相互作用することを可能にする際に重要であり得る。例えば、多くのゲーム用途では、ＡＲシステムは、仮想コンテンツと関連した実オブジェクトの位置および配向を検出しなければならない。または、仮想インターフェースを表示するとき、トーテム、ユーザの手、触知デバイス、またはＡＲシステムとの相互作用のために構成される任意の他の実オブジェクトの位置が、システムがコマンド等を理解するために、表示される仮想インターフェースと関連して把握され得る。光学追跡および他の方法を含む、従来の位置特定方法は、典型的には、長待ち時間および低分解能問題に悩まされ、仮想コンテンツのレンダリングを多くの拡張現実用途において困難にする。

１つ以上の実施形態では、図４および５に関連して議論される、ＥＭ追跡システムは、放出されるＥＭ場に関連して１つ以上のオブジェクトの位置および配向を検出するようにＡＲシステムに適合されてもよい。典型的ＥＭシステムは、大型かつ嵩張るＥＭエミッタ（例えば、図４における４０２）を有する傾向にあって、これは、頭部搭載型ＡＲデバイスにとって問題となる。しかしながら、より小型の電磁エミッタ（例えば、ミリメートル範囲内）が、ＡＲシステムのコンテキストにおいて既知のＥＭ場を放出するために使用されてもよい。

ここで図６を参照すると、ＥＭ追跡システム６００は、ハンドヘルドコントローラ６０６の一部として組み込まれるＥＭエミッタ６０２とともに、示されるように、ＡＲシステムとともに組み込まれてもよい。コントローラ６０６は、ＡＲヘッドセット（またはベルトパック７０）に対して独立して移動可能であることができる。例えば、ユーザは、コントローラ６０６をその手の中に保持することができる、またはコントローラは、ユーザの手または腕に搭載され得る（例えば、指輪またはブレスレットとして、またはユーザによって装着される手袋の一部として）。１つ以上の実施形態では、ハンドヘルドコントローラは、ゲームシナリオにおいて使用されるため、または豊かなユーザ体験をＡＲ環境内で提供するため、またはユーザがＡＲシステムと相互作用することを可能にするためのトーテムであってもよい（例えば、多自由度コントローラ）。いくつかの実施形態では、ハンドヘルドコントローラは、触知デバイスであってもよい。いくつかの実施形態では、ＥＭエミッタは、単に、ベルトパック７０の一部として組み込まれてもよい。コントローラ６０６は、ＥＭエミッタ６０２に電力供給する、バッテリ６１０または他の電力供給源を含んでもよい。ＥＭエミッタ６０２はまた、他のコンポーネントに対するＥＭエミッタ６０２の位置および／または配向の決定を補助するように構成される、ＩＭＵコンポーネント６５０を含む、またはそれに結合されてもよいことを理解されたい。これは、エミッタ６０２およびセンサ（６０４）の両方がモバイル式である場合、特に有利であり得る。ＩＭＵ６５０は、いくつかの実施形態では、加速度計と、ジャイロスコープとを備えてもよい。図６の実施形態に示されるように、ベルトパックではなく、ハンドヘルドコントローラ内にＥＭエミッタ６０２を設置することは、ＥＭエミッタがベルトパックにおいてリソースを競合するのではなく、むしろ、コントローラ６０６においてその独自のバッテリ源を使用することを確実にすることに役立つ。いくつかの実施形態では、ＥＭエミッタ６０２は、ＡＲヘッドセット５８上に配置されることができ、センサ６０４は、コントローラ６０６またはベルトパック７０上に配置されることができる。

１つ以上の実施形態では、ＥＭセンサ６０４は、１つ以上のＩＭＵまたは付加的磁束捕捉コイル（６０８）等、他の感知デバイスとともに、ユーザのヘッドセット上の１つ以上の場所に設置されてもよい。例えば、図６に示されるように、センサ（６０４、６０８）は、ヘッドセット（５８）の片側または両側に設置されてもよい。これらのセンサは、非常に小型（故に、ある場合には、低感度であり得る）に加工されるため、複数のセンサを有することは、効率および精度を改良し得る。１つ以上の実施形態では、１つ以上のセンサはまた、ベルトパック７０またはユーザの身体の任意の他の部分上に、またはコントローラ６０６内に設置されてもよい。センサ（６０４、６０８）は、無線でまたはＢｌｕｅｔｏｏｔｈ（登録商標）を通してセンサ（およびそれが取り付けられるＡＲヘッドセット）の姿勢および配向を決定する、コンピューティング装置と通信してもよい。いくつかの実施形態では、コンピューティング装置は、ベルトパック７０に常駐してもよい。いくつかの実施形態では、コンピューティング装置は、ヘッドセット自体またはさらにコントローラ６０６に常駐してもよい。コンピューティング装置は、ひいては、マッピングデータベース（例えば、パス可能世界モデル、座標空間等）を含み、姿勢を検出し、実オブジェクトおよび仮想オブジェクトの座標を決定してもよく、さらに、１つ以上の実施形態では、クラウドリソースおよびパス可能世界モデルに接続してもよい。

上記に説明されるように、従来のＥＭエミッタは、ＡＲデバイスにおいて使用するために嵩張りすぎ得る。したがって、ＥＭエミッタは、従来のシステムと比較してより小型のコイルを使用して、コンパクトに加工されてもよい。しかしながら、ＥＭ場の強度がエミッタからの距離の三次関数として減少することを前提として、ＥＭセンサ６０４とＥＭエミッタ６０２との間の半径が短いほど（例えば、約３～３．５フィート）、図４に詳述されるもの等の従来のシステムと比較して、電力消費を低減させ得る。

本側面は、１つ以上の実施形態では、コントローラ６０６およびＥＭエミッタ６０２のいずれかに電力供給し得る、バッテリ６１０の寿命を延長させるために利用されてもよい。いくつかの実施形態では、本側面は、ＥＭエミッタ６０２において磁場を生成するコイルのサイズを縮小させるために利用されてもよい。しかしながら、同一の強度の磁場を得るために、電力は、増加される必要があり得る。これは、コントローラ６０６においてコンパクトにフィットし得る、コンパクトなＥＭエミッタユニット６０２を可能にする。

いくつかの他の変更が、ＡＲデバイスのためにＥＭ追跡システム６００を使用するときに行われてもよい。本姿勢報告率は、非常に良好であるが、ＡＲシステムは、さらにより効率的な姿勢報告率を要求し得る。この目的を達成するために、ＩＭＵベースの姿勢追跡が、（加えて、または代替として）センサ内で使用されてもよい。有利なこととして、ＩＭＵは、姿勢検出プロセスの効率を増加させるために、可能な限り安定したままであり得る。ＩＭＵは、最大５０～１００ミリ秒、安定したままであるように加工されてもよい。いくつかの実施形態は、姿勢更新が１０～２０Ｈｚのレートで報告されることを可能にし得る、外部姿勢推定器モジュールを利用してもよいことを理解されたい（例えば、ＩＭＵは、経時的にドリフトし得る）。ＩＭＵを合理的比率に安定して保つことによって、姿勢更新レートは、１０～２０Ｈｚまで著しく低下され得る（従来のシステムにおけるより高い周波数と比較して）。

ＥＭ追跡システム６００が、例えば、１０％デューティサイクルにおいて起動され得る場合（例えば、１００ミリ秒毎にのみグラウンドトゥルースのためにピングする）、これは、ＡＲシステムにおける電力を節約する別の方法となるであろう。これは、ＥＭ追跡システムが、１００ミリ秒毎に１０ミリ秒にわたってウェイクアップし、姿勢推定値を生成することを意味するであろう。これは、直接、電力消費節約につながり、ひいては、ＡＲデバイスのサイズ、バッテリ寿命、およびコストに影響を及ぼし得る。

１つ以上の実施形態では、デューティサイクルの本低減は、１つのみではなく、２つのハンドヘルドコントローラ（図示せず）を提供することによって方略的に利用されてもよい。例えば、ユーザは、２つのトーテム等を要求する、ゲームをプレーしてもよい。または、マルチユーザゲームでは、２人のユーザが、その独自のトーテム／ハンドヘルドコントローラを有し、ゲームをプレーしてもよい。１つではなく、２つのコントローラ（例えば、手毎の対称コントローラ）が、使用されるとき、コントローラは、オフセットデューティサイクルで動作してもよい。同一概念はまた、例えば、マルチプレーヤゲームをプレーしている２人の異なるユーザによって利用されるコントローラにも適用されてもよい。

ここで図７を参照すると、ＡＲデバイスのコンテキストにおける電磁追跡システム６００を説明する例示的フロー図が、説明される。７０２では、ＥＭエミッタを含有する、ポータブル（例えば、ハンドヘルド）コントローラが、磁場を放出する。７０４では、ＥＭセンサ（ヘッドセット、ベルトパック等上に設置される）が、磁場を検出する。７０６では、ヘッドセット／ベルトの姿勢（例えば、位置または配向）は、センサにおけるコイル／ＩＭＵの挙動に基づいて決定される。姿勢は、６ＤＯＦ姿勢を含み得る、または６つ全てよりも少ない自由度（例えば、１つ以上の空間座標または１つ以上の配向角度）を有し得る。７０８では、姿勢情報が、コンピューティング装置（例えば、ベルトパックまたはヘッドセットにおける）に伝達される。７１０では、随意に、マッピングデータベース（例えば、パス可能世界モデル）は、実世界座標（例えば、ヘッドセット／ベルトの姿勢に関して決定される）と仮想世界座標を相関させるために参考にされてもよい。７１２では、仮想コンテンツは、ＡＲヘッドセットにおいてユーザに送達され、ユーザに表示されてもよい（例えば、本明細書に説明されるライトフィールドディスプレイを介して）。上記に説明されるフロー図は、例証目的にすぎず、限定として読み取られるべきではないことを理解されたい。

有利なこととして、図６に概略されるものに類似するＥＭ追跡システムの使用は、低遅延姿勢追跡を可能にする（例えば、頭部位置または配向、トーテム、ベルトパック、および他のコントローラの位置および配向）。これは、ＡＲシステムが、光学追跡技法と比較して、より高い正確度およびより短い待ち時間を伴って、仮想コンテンツを投影することを可能にする（少なくとも部分的に、決定された姿勢に基づいて）。

図８を参照すると、多くの感知コンポーネントを特徴とする、拡張現実システム構成が、図示される。頭部搭載型ウェアラブルコンポーネント（５８）は、ここでは、制御および急速解除モジュール（８６）もまた特徴とする、物理的マルチコア導線を使用して、ベルトパック等のローカル処理およびデータモジュール（７０）に動作可能に結合（６８）されて示される。制御および急速解除モジュール（８６）は、関連付けられるシステムの動作のためのボタン、例えば、オン／オフボタンおよび上／下音量制御を含むことができる。モジュール（８６）の対向端が、図８に示されるように、ローカル処理およびデータモジュール（７０）とディスプレイ（６２）との間に延設される電気導線に接続されてもよい。

ローカル処理およびデータモジュール（７０）は、ここでは、低電力Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線接続によって、ハンドヘルドコンポーネント／コントローラ（６０６）に動作可能に結合（１００）される。コンポーネント（６０６）はまた、低電力Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線接続等によって、直接、頭部搭載型ウェアラブルコンポーネント（５８）に動作可能に結合（９４）されてもよい。概して、ＩＭＵデータが、種々のコンポーネントの座標姿勢検出に通過される場合、数百または数千サイクル／秒またはより高い範囲内等、高周波数接続が、望ましい。センサ（６０４）および伝送機（６０２）ペアリング等によるＥＭ位置特定感知のためには、数十サイクル／秒が、適正であり得る。また、壁（８）等のユーザの周囲の実世界内の固定オブジェクトを表す、グローバル（または、世界とも称される）座標系（１０）も示される。

クラウドリソース（４６）はまた、それぞれ、ローカル処理およびデータモジュール（７０）に、頭部搭載型ウェアラブルコンポーネント（５８）に、壁（８）またはグローバル座標系（１０）に対して固定される他のアイテムに結合され得るリソースに動作可能に結合（４２、４０、８８、９０）されてもよい。壁（８）に結合される、またはグローバル座標系（１０）に対して既知の位置および／または配向を有する、リソースは、無線送受信機（１１４）、ＥＭエミッタ（６０２）および／または受信機（６０４）、赤外線ＬＥＤビーコン等の所与のタイプの放射線を放出または反射させるように構成されるビーコンまたは反射体（１１２）、セルラーネットワーク送受信機（１１０）、ＲＡＤＡＲエミッタまたは検出器（１０８）、ＬＩＤＡＲエミッタまたは検出器（１０６）、ＧＰＳ送受信機（１１８）、既知の検出可能パターン（１２２）を有するポスタまたはマーカ、およびカメラ（１２４）を含んでもよい。

頭部搭載型ウェアラブルコンポーネント（５８）は、赤外線カメラ（１２４）のための赤外線エミッタ（１３０）等のカメラ（１２４）検出器を補助するように構成される光エミッタ（１３０）に加え、図示されるような類似コンポーネントを特徴とする。頭部搭載型ウェアラブルコンポーネント（５８）はまた、１つ以上の歪曲ゲージ（１１６）を特徴とし、これは、頭部搭載型ウェアラブルコンポーネント（５８）のフレームまたは機械的プラットフォームに固定して結合され、ＥＭ受信機センサ（６０４）またはディスプレイ要素（６２）等のコンポーネント間のそのようなプラットフォームの偏向を決定するように構成されてもよく、図８に描写される眼鏡様プラットフォーム上の突出部の上方の部分等のプラットフォームの薄い部分等においてプラットフォームの屈曲が生じた場合、それを理解することが重要であり得る。

頭部搭載型ウェアラブルコンポーネント（５８）はまた、プロセッサ（１２８）と、１つ以上のＩＭＵ（１０２）とを特徴とする。コンポーネントはそれぞれ、好ましくは、ハードウェアコントローラ、ハードウェアマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）等を含み得る、プロセッサ（１２８）に動作可能に結合される。コンポーネント（６０６）およびローカル処理およびデータモジュール（７０）は、類似コンポーネントを特徴とするように図示される。図８に示されるように、そのように多くの感知およびコネクティビティ手段を用いることで、そのようなシステムは、重く、電力を大量に消費し、大型で、かつ比較的に高価である可能性が高い。しかしながら、例証目的のために、そのようなシステムは、非常に高レベルのコネクティビティ、システムコンポーネント統合、および位置／配向追跡を提供するために利用されてもよい。例えば、そのような構成を用いることで、種々の主要モバイルコンポーネント（５８、７０、６０６）は、Ｗｉ－Ｆｉ、ＧＰＳ、またはセルラー信号三角測量を使用して、グローバル座標系に対する位置の観点から位置特定されてもよく、ビーコン、ＥＭ追跡（本明細書に説明されるように）、ＲＡＤＡＲ、およびＬＩＤＩＲシステムはさらに、場所および／または配向情報およびフィードバックを提供してもよい。マーカおよびカメラもまた、相対および絶対位置および配向に関するさらなる情報を提供するために利用されてもよい。例えば、頭部搭載型ウェアラブルコンポーネント（５８）に結合されて示されるもの等の種々のカメラコンポーネント（１２４）は、コンポーネント（５８）が他のコンポーネントに対して配向される場所およびその状態を決定するために、同時位置特定およびマッピングプロトコル、すなわち、「ＳＬＡＭ」において利用され得る、データを捕捉するために利用されてもよい。

いくつかの実施形態では、ＬＩＤＡＲ（１０６）タイプの深度センサに加えて、またはその代替として、システムは、例えば、ステレオ三角測量式深度センサ（受動ステレオ深度センサ、テクスチャ投影ステレオ深度センサ、または構造化光ステレオ深度センサ等）または飛行時間式深度センサ（ＬＩＤＡＲ深度センサまたは変調放出深度センサ等）のいずれかであり得る、汎用深度カメラまたは深度センサを含む。さらに、システムは、付加的前向き「世界」カメラ（１２４、７２０ｐ範囲の分解能が可能なセンサを有する、グレースケールカメラであり得る）および比較的に高分解能の「写真カメラ」（例えば、２メガピクセル以上の高い分解能が可能なセンサを有する、フルカラーカメラであり得る）を含んでもよい。
（ＡＲシステム内の例示的電磁感知コンポーネント）

図９Ａを参照すると、ＥＭ感知コイルアセンブリ（６０４、例えば、筐体に結合される３つの個々のコイル）が、頭部搭載型コンポーネント（５８）に結合されて示される。そのような構成は、付加的幾何学形状を全体的アセンブリに追加し、これは、望ましくない場合がある。図９Ｂを参照すると、図９Ａの構成におけるように、コイルをボックスまたは単一筐体６０４内に格納するのではなく、個々のコイルは、図９Ｂに示されるように、頭部搭載型コンポーネント（５８）の種々の構造の中に統合されてもよい。図９Ｂは、Ｘ－軸コイル（１４８）、Ｙ－軸コイル（１５０）、およびＺ－軸コイル（１５２）のための頭部搭載型ディスプレイ５８上の場所の実施例を示す。したがって、感知コイルは、頭部搭載型ディスプレイ（５８）上またはそれを中心として空間的に分散され、ＥＭ追跡システムによって、ディスプレイ（５８）の位置特定および／または配向の所望の空間分解能または正確度を提供し得る。

図９Ｂを再び参照すると、分散センサコイル構成が、ＡＲデバイス５８に関して示される。ＡＲデバイス５８は、本明細書に説明されるように、６自由度（６ＤＯＦ）追跡のためにウェアラブルコンポーネント（５８）に結合され得る、Ｘ、Ｙ、Ｚの方向毎に１つずつ、３つの直交感知コイルを含有する、筐体等の単一のＥＭセンサデバイス（６０４）を有することができる。また、上記のように、そのようなデバイスは、図９Ｂに示されるように、ウェアラブルコンポーネント（５８）の異なる場所において取り付けられた３つのサブ部分（例えば、コイル）を伴って、分解されてもよい。さらなる設計代替物を提供するために、各個々のセンサコイルは、任意の所与の直交方向のための全体的磁束が、直交方向毎に単一のコイルによってではなく、同様に配向されたコイルの群によって捕捉されるように、その群と置換されてもよい。換言すると、直交方向毎に１つのコイルではなく、より小型のコイルの群が、利用されてもよく、それらの信号が、その直交方向のための信号を形成するように集約されてもよい。頭部搭載型コンポーネント（５８）等の特定のシステムコンポーネントが、２つ以上のＥＭコイルセンサセットを特徴とする、いくつかの実施形態では、システムは、システムの性能を改良または最適化するために相互に最も近い（例えば、１ｃｍ、２ｃｍ、３ｃｍ、４ｃｍ、５ｃｍ、または１０ｃｍ以内）センサおよびエミッタ対合を選択的に利用するように構成されてもよい。いくつかの実施形態では、ＥＭエミッタおよびＥＭセンサは、異なるように配列されることができる。例えば、ＥＭエミッタは、頭部搭載型コンポーネント（５８）内または上に配置されることができ、ＥＭセンサは、コントローラ（６０６）またはベルトパック（７０）内または上に配置されることができる。別の実施例として、ＥＭセンサは、頭部搭載型コンポーネント（５８）内または上に配置されることができ、ＥＭエミッタは、コントローラ（６０６）またはベルトパック（７０）内または上に配置されることができる。さらに別の実施例として、ＥＭエミッタは、ベルト（７０）内または上に配置されることができ、ＥＭセンサは、コントローラ（６０６）または頭部搭載型コンポーネント（５８）内または上に配置されることができる。

ＥＭ追跡更新は、ポータブルシステムのための電力の観点から比較的に「高価」であり得、非常に高頻度の更新が可能ではない場合がある。「センサ融合」構成では、ＩＭＵ等の別のセンサからのより頻繁に更新される位置特定情報が、光学センサ（例えば、カメラまたは深度カメラ）等の別のセンサからのデータとともに組み合わせられ得、これは、比較的に高い頻度にある場合とそうではない場合がある。これらの入力の全てを融合することの要点は、ＥＭシステムにより低い要求を課し得、より迅速な更新を提供する。本明細書に説明されるように、いくつかの実施形態では、センサ融合技法は、ＩＭＵ（または他のセンサ）データとＥＭ追跡データを融合し、または組み合わせ、ハンドヘルドコンポーネントまたは頭部搭載型コンポーネントの姿勢のロバストな推定を提供するステップを含むことができる。

図９Ｃおよび９Ｄは、１つを上回るＥＭセンサ６０４Ｃ、６０４Ｄを伴う、例示的ヘッドセットを図示する。図９Ｅおよび９Ｆは、１つを上回るＥＭエミッタ６０２Ｅ、６０２Ｆを伴う、例示的ハンドヘルドコントローラを図示する。ＥＭ追跡システムによって生成された姿勢検出の正確度を改良するために等、実装に応じて、ＥＭセンサおよび／またはＥＭエミッタの量は、変動し得る。例えば、２つのＥＭセンサ６０４Ｃを伴う、ヘッドセット（例えば、図９Ｃ）は、１つのＥＭエミッタ、２つのＥＭエミッタ６０２Ｅ（例えば、図９Ｅ）、３つのＥＭエミッタ６０２Ｆ（例えば、図９Ｆ）、またはそれよりも多くのＥＭエミッタを伴う、コントローラと併用されてもよい。同様に、３つの（または任意の他の数量の）ＥＭセンサ６０４Ｄを伴う、ヘッドセット（例えば、図９Ｄ）は、１つのＥＭエミッタ、２つのＥＭエミッタ６０２Ｅ（例えば、図９Ｅ）、３つのＥＭエミッタ６０２Ｆ（例えば、図９Ｆ）、またはそれよりも多くのＥＭエミッタを伴う、コントローラと併用されてもよい。

ヘッドセットの異なる側上に複数のＥＭセンサを伴う、実施形態（例えば、図９Ｃ）は、金属歪曲の影響を低減させ得る。例えば、いくつかの実装では、ＥＭセンサ６０４Ｃからの入力は、ＥＭエミッタ６０２を伴うコントローラを基準として、近接度または位置に基づいて加重されてもよい。例えば、ＥＭエミッタ６０２を伴う、コントローラが、ユーザの右にある場合、ヘッドセットの右側上のＥＭセンサ６０４は、コントローラとあまり直接的ではない通信チャネルを有する、他のＥＭセンサ（例えば、ヘッドセットの左側または中央上のＥＭセンサ６０４）より高い加重された入力を有してもよい。

複数のＥＭセンサの使用はさらに、ＥＭエミッタとＥＭセンサとの間のＥＭ信号の干渉によって引き起こされ得る、歪曲を定量的に監視するために使用可能なデータを提供し得る。例えば、既知の場所におけるヘッドセット上の２つのＥＭセンサと、コントローラ上の１つのＥＭエミッタとを用いると、ＥＭセンサとＥＭエミッタとの間の２つの分解される位置ベクトルが、三角形を形成するために使用されることができる。ＥＭセンサ間の本「感知される」変位は、例えば、ヘッドセットのモデル内の「既知の」ＥＭセンサ位置と比較されてもよい。歪曲の本定量的推定値は、次いで、「予期される歪曲」（例えば、クリーン環境内のヘッドセットとコントローラとの間で測定された歪曲影響）および「環境歪曲」（例えば、予期される歪曲を取り去った後、残っている歪曲の量）のインジケーション等のフィードバックをユーザ、ソフトウェアアプリケーション等に提供するために使用されてもよい。類似加重および歪曲計算が、他の量のエミッタおよびセンサを有する構成において決定されてもよい。
（ユーザ頭部姿勢または手姿勢のＥＭ追跡の実施例）

図１０を参照すると、一実施形態では、ユーザがそのウェアラブルコンピューティングシステム（１６０）に電源を投入後、頭部搭載型コンポーネントアセンブリは、ＩＭＵおよびカメラデータ（カメラデータは、例えば、より多くの未加工処理能力が存在し得る、ベルトパックプロセッサ等のＳＬＡＭ分析のために使用される）またはＥＭ追跡システムデータの組み合わせを捕捉し、実世界グローバル座標系（１６２；実世界グローバル座標系１０の実施例は、図８に示される）に対する頭部の姿勢（例えば、位置または配向）を決定および更新してもよい。ユーザはまた、ハンドヘルドコンポーネントをアクティブ化し、例えば、拡張現実ゲーム（１６４）をプレーしてもよく、ハンドヘルドコンポーネントは、ベルトパックおよび頭部搭載型コンポーネント（１６６）の一方または両方に動作可能に結合されるＥＭ伝送機を含んでもよい。頭部搭載型コンポーネントに結合される１つ以上のＥＭ場コイル受信機セット（例えば、セットは、３つの異なるように配向される個々のコイルである）が、伝送機から磁束を捕捉し、これは、頭部搭載型コンポーネントとハンドヘルドコンポーネント（１６８）との間の位置または配向差（または「デルタ」）を決定するために利用されてもよい。グローバル座標系に対する姿勢の決定を補助する頭部搭載型コンポーネントと、頭部搭載型コンポーネントに対するハンドヘルドの相対的場所および配向の決定を補助するハンドヘルドの組み合わせは、システムが、概して、各コンポーネントがグローバル座標系に対して位置する場所、したがって、ユーザの頭部の姿勢を決定することを可能にし、ハンドヘルド姿勢は、好ましくは、拡張現実画像特徴の提示と、ハンドヘルドコンポーネント（１７０）の移動および回転を使用した相互作用とのために、比較的に短待ち時間で追跡され得る。

図１１を参照すると、図１０のものに幾分類似するが、ユーザの頭部の姿勢およびハンドヘルド姿勢が、好ましくは、拡張現実画像特徴の提示と、ハンドヘルドコンポーネント（１８０）の移動および回転を使用した相互作用とのために、比較的に短待ち時間において追跡され得るように、システムが頭部搭載型コンポーネント（１７２）およびハンドヘルドコンポーネント（１７６、１７８）の両方の姿勢の決定を補助するために利用可能なより多くの感知デバイスおよび構成を有する、実施形態が、図示される。

種々の実装では、拡張現実デバイスは、１つ以上のコンピュータビジョン技法を実装し、システムの環境内のオブジェクト、ユーザジェスチャを識別する、または本明細書で使用または説明される他のコンピュータビジョンプロシージャを実施するように構成される、コンピュータビジョンシステムを含むことができる。例えば、下記に説明されるように、コンピュータビジョンシステムは、外向きに面したカメラ１２４によって撮影されるユーザ入力デバイス／コントローラ６０６の画像を分析し、電磁追跡システムにおけるＥＭ歪曲を補償する際に使用するためのデバイスの姿勢（例えば、位置または配向）を決定することができる。コンピュータビジョン技法の非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器、カルマンフィルタ、拡張カルマンフィルタ、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。
（電磁位置特定の概要）

ＥＭ位置特定は、１つ以上のＥＭエミッタによる磁場の励起に由来する、１つ以上のＥＭセンサによって測定される、磁場結合に基づく。磁場を励起する２つの一般的な方法が存在する。一方は、パルス交流（ＡＣ）場に基づき、他方は、パルス直流（ＤＣ）場に基づく。現在、ＡＣ ＥＭ場を利用するＥＭ追跡システムが、雑音にあまり敏感ではない傾向があるため、より一般的である。図９Ａおよび９Ｂを参照して説明されるように、６ＤＯＦ位置特定に関して、ＥＭセンサ（例えば、ＥＭセンサ６０４）およびＥＭエミッタ（例えば、ＥＭエミッタ６０２）はそれぞれ、（例えば、個別のＸ、Ｙ、Ｚ軸に沿って）３つの直交整合コイルを含むことができる。本構成を使用する多くの用途では、ＥＭエミッタ６０２内のエミッタコイル電流は、連続的に（例えば、Ｘにおいて、次いで、Ｙにおいて、次いで、Ｚにおいて）パルス状であり、結果として生じた磁場は、ＥＭセンサ６０４内の各センサコイル内で電流を誘発し、これは、次いで、エミッタコイルに対するセンサコイル、したがって、ＥＭエミッタ６０２に対するＥＭセンサ６０４の位置または配向を決定するために使用される。

以下の理論展開によって拘束または限定されるわけではないが、ＥＭ位置特定のためのＥＭモデルが、ここで提示されるであろう。本モデルでは、ＥＭエミッタ６０２内のエミッタコイルによって生成される磁場は、同等の磁気双極子場（ＥＭエミッタ６０２内のエミッタコイルのサイズがエミッタコイルとセンサコイルとの間の距離よりも小さいときに、正確である傾向がある）であると仮定される。双極子場は、距離の逆３乗として、ＥＭエミッタ６０２とＥＭセンサ６０４との間の距離の増加に伴って減少する。

６ＤＯＦ位置特定のための方程式は、オイラー角変換（または四元数）を使用し、ＥＭエミッタ６０２に対するＥＭセンサ６０４の位置および配向を説明することができる。ＥＭセンサ６０４によって感知されるＥＭ場は、行列方程式によって表され得る。

式中、Ｆは、３×３ＥＭ場行列であり、ｃは、任意の所与のコイル構成に関する定数（例えば、ワイヤのループの数、ループの面積、およびセンサ利得の積に比例する）であり、ｒは、ＥＭエミッタ６０２とＥＭセンサ６０４との間の距離であり、Ｔは、ＥＭエミッタ６０２に対するＥＭセンサ６０４の３自由度（３ＤＯＦ）配向を表す３×３回転行列であり、Ｐは、ＥＭエミッタ６０２に対するＥＭセンサ６０４の位置を表す３×３回転行列であり、Ｋは、［１，－１／２，－１／２］に比例する対角要素を伴う３×３対角行列であり、Ｅは、対角要素がＥＭエミッタ６０２の３つの直交エミッタコイルによって測定されるＥＭ場の強度を表す、３×３対角行列である。行列Ｐは、以下によって、方位角θおよびピッチφの観点から表され得る。

式中、ｒｏｔｙは、Ｙ軸の周囲の３×３回転行列であり、ｒｏｔｚは、Ｚ軸の周囲の３×３回転行列である。

行列の要素は、三角関数を伴うため、方程式（１）は、実際には、６つの未知数（３つの位置変数および３つの配向変数）を伴う、連立同時非線形方程式であって、これは、同時に解法され（例えば、反復数値技法を介して）、ＥＭエミッタ６０２に対するＥＭセンサ６０４の６ＤＯＦ姿勢を取得することができる。上記に説明される方法からの位置および配向は、グローバル基準フレームに対するＥＭセンサコイルの設置のため、異なる基準フレームに変換される必要があり得る。本フレーム（または基準フレーム）は、時として、世界フレーム（または世界基準フレームまたは世界またはグローバル座標系）と呼ばれる。世界座標系１０の実施例は、図８を参照して説明される。いくつかの実装では、世界座標系１０は、ＡＲデバイスがユーザによってオンにされると、例えば、ユーザの初期頭部姿勢が決定されると、確立される。世界フレームの原点は、環境内の任意の点に設定されることができ、例えば、その中でユーザがデバイスを動作させている、部屋の角が、原点（例えば、デカルト系内の座標（０，０，０）を伴う）として設定され得る。
（拡張現実システムのためのセンサ融合の概要）

図１２は、ハンドヘルドユーザ入力デバイス（例えば、図６および８を参照して説明される、ハンドヘルドコントローラ／トーテム６０６）上のＩＭＵ６５０からの入力を受け取り、ＡＲシステム２００と関連付けられる世界フレーム（例えば、世界座標系１０）内のトーテムの６ＤＯＦ姿勢（例えば、位置および配向）を提供し得る、慣性ナビゲーションシステム（ＩＮＳ）１２０２の実施例のためのブロック図である。ＡＲシステム２００は、例えば、図７、１０、および１１におけるフローチャートを参照して説明されるように、６ＤＯＦ姿勢を利用することができる。

本明細書に説明されるように、トーテムＩＭＵ６５０は、コンポーネントの中でもとりわけ、加速度計と、ジャイロスコープとを含むことができる。加速度計は、トーテムの基準フレーム内で測定された時間の関数として、加速ａ（ｔ）を提供する。ジャイロスコープは、トーテムの基準フレーム内で測定された時間の関数として、角速度ω（ｔ）を提供する。

ＩＮＳ１２０２は、加速データを２回積分し、トーテム６０６の位置を取得し、角速度を１回積分し、トーテム６０６の角配向（例えば、オイラー角または四元数として表される）を取得する、ハードウェアプロセッサを含むことができる。例えば、トーテム６０６の位置ｘ（ｔ）は、以下のように記述され得る。

式中、ｘ_０およびｖ_０は、それぞれ、時間ｔ＝０におけるトーテムの初期位置および速度を表す、積分定数である。トーテム６０６の配向θ（ｔ）は、以下のように記述され得る。

式中、θ_０は、時間ｔ＝０におけるトーテムの初期角配向を表す、積分定数である。

方程式（３）および（４）を実装するとき、いくつかの課題が存在する。第１に、ＡＲシステム２００の世界基準フレーム内のトーテム６０６の初期位置、配向、および角配向は、概して、既知ではない。したがって、積分定数ｘ_０、ｖ_０、およびθ_０は、初期時間（例えば、ｔ＝０）におけるＩＭＵの基準フレームの位置および配向をＡＲシステム２００の世界基準フレームにリンクさせるために、付加的情報または他のセンサからの入力を伴わずに、決定することが困難であり得る。２つの基準フレーム間の本リンクは、初期時間（例えば、ｔ＝０）におけるＡＲシステム２００の世界基準フレームに対するトーテムの位置間のオフセットを表すため、時として、本明細書では、オフセットと称され得る。

トーテムＩＭＵ６５０からのデータは、概して、誤差、非線形性、および雑音を受ける。例えば、加速度計またはジャイロスコープからの出力は、真の加速または角速度からオフセットされる、バイアスを有し得る。いくつかのセンサに関して、バイアスは、時間、温度、センサの配向、電源電圧等の関数であり得る。したがって、バイアス（未知）は、未知の様式において経時的に変化し得る。センサが、最初に、較正され、センサ内に存在するバイアスを除去する場合でも、バイアスは、経時的に発展する傾向にあるであろう。

加速度計およびジャイロスコープデータにおける誤差は、それぞれ、方程式（３）および（４）から決定される位置および配向のドリフトにつながり得る。方程式（３）における２つの積分のため、加速度計データにおける誤差は、時間に伴って二次的に増加する、決定された位置におけるドリフトにつながる。方程式（４）における単一積分のため、ジャイロスコープデータにおける誤差は、時間に伴って線形に増加する、決定された配向におけるドリフトにつながる。未補正の場合、これらのドリフトは、決定された位置および配向を実際の位置および配向から実質的に逸脱させ得る。

下記に説明されるであろうように、トーテムＩＭＵ６５０への付加的センサからの入力は、ＩＭＵデータ（例えば、加速度計データおよびジャイロスコープデータ）と融合され、ドリフトを低減させ、トーテムの位置および配向をＡＲシステム２００の世界基準フレームにリンクさせることができる。例えば、カルマンフィルタ等のセンサ融合アルゴリズムが、センサ誤差状態および基準フレームオフセットのモデルとともに、センサデータ入力を融合させるために使用されることができる。例えば、カルマンフィルタは、ＡＲシステム２００の世界基準フレーム内のトーテムの初期姿勢に関するセンサバイアス、雑音、およびオフセットの存在下、トーテムの姿勢のロバストな予測を提供することができる。下記に説明される実施形態は、カルマンフィルタを利用するが、他の統計的フィルタまたは確率論的データ融合技法も、使用されることができる。例えば、カルマンフィルタは、拡張カルマンフィルタ、アンセンテッドカルマンフィルタ、または任意の他の種々のカルマンフィルタを含むことができる。確率論的データ融合技法は、マルコフモデル、ベイズフィルタリング、線形二次推定等を含むことができる。さらに、トーテムの６ＤＯＦ姿勢（例えば、位置および配向）を推定する観点から説明されるが、これは、要件ではなく、他の実施形態では、センサ融合システムは、３ＤＯＦ姿勢（例えば、位置または配向）を推定することができる。

例証的実施例として、トーテムの初期速度ｖ_０がゼロである場合、トーテムの位置に関するモデルは、以下のように記述され得る。

式中、ｏｆｆｓｅｔ_ｘは、ＡＲシステム２００の世界基準フレームと加速度計基準フレーム（恣意的に選定された座標原点に対する）との間の位置誤差の推定値であり、ε（ｔ）は、加速度計出力におけるバイアスを補正するための誤差状態推定値である。類似方程式が、角配向θ（ｔ）に関して以下のように記述され得る。

式中、ｏｆｆｓｅｔ_θは、ＡＲシステム２００の世界基準フレームとジャイロスコープ基準フレーム（恣意的に選定された座標原点に対する）との間の角度誤差の推定値であり、δ（ｔ）は、ジャイロスコープ出力（角速度）におけるバイアスを補正するための誤差状態推定値である。カルマンフィルタ（または他の適切なフィルタ）は、下記にさらに説明されるであろうように、誤差状態の推定値（例えば、ｏｆｆｓｅｔｓ、εおよびδ）を提供することができる。
（センサ融合のための例示的システム）

図１３Ａは、例えば、図２Ａ－２Ｄ、６、または８を参照して説明されるようなＡＲシステム２００と併用可能なセンサ融合システム１３００の実施例を図式的に図示する、ブロック図である。センサ融合システム１３００の実施形態は、図１２を参照して上記に説明される課題のいくつかまたは全てに対処する。

センサ融合システム１３００は、複数のタイプのセンサからのセンサデータを受信および融合するように構成される、慣性ナビゲーションシステム（ＩＮＳ）１３０２を含む。例えば、図１３Ａに示されるように、ＩＮＳ１３０２は、トーテムＩＭＵ６５０、ＥＭ追跡システム６００、および加えて、または随意に、他のセンサ６５１から入力データを受信することができる。本明細書に説明されるように、トーテムＩＭＵ６５０は、コンポーネントの中でもとりわけ、加速度計と、ジャイロスコープとを含むことができる。他のセンサ６５１は、コンポーネントの中でもとりわけ、磁力計と、光学センサとを含むことができる（例えば、外向きに面したまたは内向きに面したカメラ内に）。

ＥＭ追跡システム６００の実施形態は、図６－１１を参照して上記に説明される。例えば、トーテム６０６は、ＥＭ場を放出する、ＥＭエミッタ６０２を含むことができ、頭部搭載型ＡＲヘッドセット５８は、放出されたＥＭ場を測定し、ＥＭエミッタ６０２に対するＥＭセンサ６０４の姿勢（３ＤＯＦまたは６ＤＯＦ）を計算する、ＥＭセンサ６０４を含むことができる。例えば、６ＤＯＦ姿勢は、方程式（１）を参照して上記に説明される、ＥＭ場行列Ｆから計算されることができる。

他の実装では、ＥＭエミッタ６０２は、ＡＲヘッドセット５８内に配置されることができ、ＥＭセンサ６０４は、トーテム６０６内に配置されることができる。例えば、図９Ａおよび９Ｂを参照する、ＥＭセンサおよびエミッタの種々の配列の説明を参照されたい。

センサ融合システム１３００は、トーテム姿勢に関する誤差状態を推定し得る、カルマンフィルタ１３０４を含む（例えば、方程式（５）および（６）を参照して説明されるように）。カルマンフィルタ１３０４は、トーテムＩＭＵ６５０が挙動するはずである方法に関するモデル（例えば、バイアス、雑音等を伴わない）を利用して、これらのモデルをセンサ（例えば、トーテムＩＭＵ６５０、ＥＭ追跡システム６００、および（随意に）他のセンサ６５１）からの実際の測定値と比較することができる。カルマンフィルタ１３０４は、モデルと測定値との間の差異を使用して、トーテム姿勢のより良好な推定値を提供する。例えば、カルマンフィルタ１３０４は、誤差状態を生成するために、トーテム姿勢の現在の状態の推定値を予測し、本状態を融合されているセンサ（例えば、ＩＭＵ６５０、ＥＭ追跡システム６００、および（随意に）他のセンサ６５１）からのデータと比較することができる。誤差状態の知識は、トーテム姿勢の状態を更新するために使用されることができる（例えば、方程式（５）および（６）を介して）。上記に述べられたように、カルマンフィルタ１３０４の使用は、要件ではなく、他の実施形態では、例えば、マルコフモデル、ベイズフィルタリング、線形二次推定等の他の統計的フィルタまたは確率論的データ融合技法も、使用されることができる。

ＩＮＳ１３０２は、トーテムＩＭＵ６５０のみからまたはＥＭ追跡システム６００のみからの入力を使用する、姿勢推定より統計的に正確である傾向にある、トーテム姿勢の推定値を提供するために、カルマンフィルタを使用して、トーテムＩＭＵおよびＥＭ追跡システム（および随意に、任意の他のセンサ６５１）からの入力を融合させる。例えば、カルマンフィルタ１３０４は、トーテム姿勢のドリフト（例えば、センサバイアス、雑音等に起因する）を補正し、ＡＲシステム２００の世界基準フレームに対するオフセットを調節することができる。

故に、センサ融合システム１３００は、ＡＲシステム２００の世界基準フレーム内のトーテム姿勢（例えば、３ＤＯＦまたは６ＤＯＦ）を決定し、本トーテム姿勢をＡＲシステム２００に提供することができる。ＡＲシステム２００は、ＡＲシステム２００の世界基準フレーム内のトーテム姿勢を使用して、例えば、仮想コンテンツをＡＲシステムのユーザに送達することができる（例えば、図７、１０、１１参照）。センサ融合技法は、トーテム姿勢のより正確かつロバストな推定値を提供し、それによって、ユーザへの仮想コンテンツの改良された送達およびＡＲシステム２００の改良されたユーザ体験につながる。

図１３Ｂおよび１３Ｃは、センサ融合システム１３００の付加的例証的特徴を提供する。方程式（１）を参照して上記に説明されるように、ＥＭ追跡システム６００は、ＥＭセンサ６０４によって測定されたＥＭ場行列１３２２を使用して、トーテム姿勢を決定する。測定されたＥＭ場行列１３２２は、Ｆによって示される３×３行列であって、９つの成分を有する。図１３Ｂでは、測定されたＥＭ場行列１３２２は、予期されるトーテム姿勢の本システムの推定値を表す、予測されるＥＭ場行列１３２４と比較される。比較は、予測されるＥＭ場行列１３２４と測定されたＥＭ場行列１３２２との間の差異１３２８を含むことができる。予測および測定されたＥＭ場行列１３２４、１３２２間の比較は、カルマンフィルタ１３０４によって使用される誤差状態の推定値を提供する。例えば、予測および測定されたＥＭ場行列１３２４、１３２２間の差異が、比較的に小さいとき、センサバイアスまたは雑音に起因する、ドリフトは、それほど多くない場合があり、ＩＮＳ１３０２によるトーテム姿勢の決定は、比較的に正確であり得る。ドリフトが蓄積するにつれて、予測および測定されたＥＭ場行列１３２４、１３２２間の差異は、増加し得、カルマンフィルタ１３０４は、トーテム姿勢１３１０の正確度を復元するように作用する。図１３Ｂにおける破線１３２８によって示されるように、世界フレーム１３１０内のトーテム姿勢の現在の値は、トーテム６０６があることが予期される場所に関する予測の中にフィードバックされることができる。カルマンフィルタ１３０４は、したがって、トーテムＩＭＵ６５０およびＥＭ追跡システム６００（および随意に、他のセンサ６５１）からの入力を融合させることによって、世界フレーム１３１０内のトーテム姿勢の改良または最適決定を提供するように再帰的に機能する。

図１３Ｃは、予測されるＥＭ場行列１３２４がセンサ融合システム１３００によって決定され得る方法の実施例を図示する。図１３Ｃでは、ＥＭエミッタ６０２は、「ＴＸ」（伝送機の省略形）と標識され、ＥＭセンサ６０４は、「ＲＸ」（受信機の省略形）と標識される。図１３Ｃにおけるブロック図は、ＥＭエミッタ６０２およびＥＭセンサ６０４によって行われる測定がＡＲシステム２００の世界基準フレームに変換され得る方法の実施例を図示する。本実施例では、ＥＭエミッタ６０２は、トーテム６０６（例えば、図６参照）内に位置することが想定され、ＥＭセンサ６０４は、ＡＲヘッドセット５８（例えば、図９Ａ参照）内に位置することが想定される。ＥＭエミッタ６０２およびＥＭセンサ６０４の本配列は、限定ではなく、他の実施形態では、図１３Ｃを参照して説明される処理は、他の配列（例えば、ＡＲヘッドセット５８内のＥＭエミッタ６０２およびトーテム６０６内のＥＭセンサ６０４）のために修正され得る。

ブロック１３４２では、システム１３００は、ＡＲシステム２００の世界基準フレーム内のＡＲヘッドセット５８の姿勢を示す、頭部姿勢データにアクセスする。図８を参照して上記に説明されるように、ＩＭＵ１０２または外向きに面した世界カメラ１２４等のＡＲヘッドセット５８内のセンサは、ヘッドセット５８の姿勢を決定するために使用されることができる。例えば、カメラ１２４は、データを捕捉するために利用されてもよく、これは、同時位置特定およびマッピングプロトコルまたは「ＳＬＡＭ」において利用され、ＡＲヘッドセット５８がある場所およびシステム２００または世界内の他のコンポーネントに対して配向される状態を決定し得る。ＡＲヘッドセット５８の姿勢（例えば、位置および配向）は、ＡＲヘッドセット５８に対する基点原点９００を基準とすることができる。例えば、図９Ａに図式的に示されるように、基点原点９００は、例えば、実質的に一対の外向きに面した世界カメラ間にある、ヘッドセット５８の中心の近くの点にあってもよい。

図９Ａから分かるように、ＥＭセンサ６０４は、ＡＲヘッドセット５８の基点原点９００に位置せず、変位９０２によって、原点から変位され得る（二重矢印として示される）。したがって、ＥＭセンサ６０４によって行われる測定は、本変位９０２のため、基点原点９００に対するＡＲヘッドセット５８の姿勢を表し得ない。基点原点９００に対するＥＭセンサ６０４の変位は、センサ融合システム１３００によって、図１３Ｃのブロック１３４４において記憶されることができ、これは、「ＲＸ付帯性質」と標識される。ＥＭセンサ６０４によって行われる測定を調節し、ＡＲシステム２００の世界基準フレーム内のＡＲヘッドセット５８の位置を反映させるために、図１３Ｃのブロック１３４４では、ＲＸ付帯性質（例えば、変位９０２）が、ＥＭセンサ６０４測定に適用されることができる。ブロック１３４６の出力は、ＡＲシステム２００の世界基準フレーム内のＥＭセンサ６０４の姿勢（例えば、位置および配向）（図１３Ｃでは、「世界フレーム内のＲＸ」として標識される）である。

図１３Ｃの下側部分に目を向けると、類似プロシージャが、ＡＲシステム２００の世界基準フレーム内のＥＭエミッタ６０２の姿勢（図１３Ｃでは、「世界フレーム内のＴＸ」として標識される）を決定するために使用されてもよい。ＥＭセンサ６０４がＡＲヘッドセット５８の基点原点から変位されるのと同様に、ＥＭエミッタ６０２も、ＡＲシステム２００の世界基準フレーム内のトーテム６０６の位置を表す、基点原点６６０から変位され得る。図６に示される実施例に戻ると、トーテム６０６は、変位６６２によって、ＥＭエミッタ６０２の位置から変位される、基点原点６６０を含む。トーテム６０６の基点原点６６０は、任意の好適な場所、例えば、トーテム６０６の質量中心またはトーテム６０６の立体中心に選択されることができる。

トーテム６０６の基点原点６６０に対するＥＭエミッタ６０２の変位は、センサ融合システム１３００によって、図１３Ｃのブロック１３５４において記憶されることができ、これは、「ＴＸ付帯性質」と標識される。ＡＲシステム２００の世界基準フレーム内のトーテム６０６の基点原点６６０の場所を把握するために、ブロック１３１０（図１３Ｂ参照）からのトーテム姿勢データが、使用されることができる。ＥＭエミッタ６０２を調節し、ＡＲシステム２００の世界基準フレーム内のトーテム６０６の位置を反映させるために、ＴＸ付帯性質（例えば、変位６６２）および基点原点６６０のトーテム姿勢が、図１３Ｃのブロック１３５６において適用されることができる。事実上、世界フレーム１３１０内のトーテム姿勢は、ＡＲシステム２００の世界基準フレーム内のトーテム６０６の基点原点６６０の位置および配向を提供し、ＴＸ付帯性質１３５４は、ＥＭエミッタ６０２が基点原点６６０から変位され得るという事実を調節する。

ブロック１３５６の出力は、したがって、ＡＲシステム２００の世界基準フレーム内のＥＭエミッタ６０２の姿勢（例えば、位置および配向）（「図１３Ｃでは、世界フレーム内のＴＸ」として標識される）である。故に、プロシージャにおける本点において、ＥＭセンサ６０４（ＲＸ）およびＥＭエミッタ６０２（ＴＸ）の両方の予測される姿勢が、同一基準フレーム、すなわち、ＡＲシステム２００の世界基準フレーム内で決定される。

「ＴＸ→ＲＸリゾルバ」と標識されたブロック１３４８では、ＥＭセンサ６０４に対するＥＭエミッタ６０２の相対的姿勢が、決定されることができる。相対的姿勢は、ＥＭエミッタ６０２とＥＭセンサ６０４との間の距離ｒと、ＥＭエミッタ６０２に対するＥＭセンサ６０４の角配向（例えば、方位角およびピッチ角）とを含んでもよい。

ブロック１３５２では、ＥＭエミッタ６０２およびＥＭセンサ６０４の相対的姿勢が、ＥＭエミッタ６０２とＥＭセンサ６０４との間のその特定の相対的姿勢に関して生じることが予測されるであろう、ＥＭ場行列１３２４の値を決定するために使用されることができる。例えば、予測されるＥＭ場行列１３２４は、距離ｒおよび配向角度（例えば、方位角およびピッチ）が相対的姿勢から決定されるため、方程式（１）および（２）から計算されることができる。

したがって、図１３Ｃにおけるブロック１３２４の出力は、ＥＭ場行列に関する予測を提供し、これは、図１３Ｂを参照して説明されるように、実際に測定されたＥＭ場行列１３２２と比較されることができる。該当する場合、予測および測定されたＥＭ場行列間の差異が、カルマンフィルタ１３０４によって使用され、世界フレーム１３１０内のトーテム姿勢を更新するためにＩＮＳ１３０２によって使用される誤差状態推定値を提供することができる。

図１３Ｃは、ＥＭエミッタ６０２が、トーテム６０６内または上に配置され、ＥＭセンサ６０４が、頭部搭載型ウェアラブルディスプレイ５８内または上に配置される、例示的システムに関する予測されるＥＭ場行列１３２４の計算を図示する。これは、例証の目的のためのものであって、限定ではない。他の実装では、ＥＭエミッタ６０２は、頭部搭載型ウェアラブルディスプレイ５８内または上に配置されてもよく、ＥＭセンサ６０４は、トーテム６０６内または上に配置されてもよい。そのような実装では、ＲＸ付帯性質は、トーテム６０６の基点位置に対するＥＭセンサ６０４の変位を含んでもよく、ＴＸ付帯性質は、頭部搭載型ディスプレイ５８の基点位置に対するＥＭエミッタ６０２の変位を含んでもよい。

センサ融合システム１３００のいくつかの実装では、トーテムＩＭＵ６５０は、約２５０Ｈｚで動作する。ＩＮＳ１３０２は、ＩＭＵデータを積分する一方、カルマンフィルタ１３０４からの誤差状態推定値を適用し、世界フレーム１３１０内のトーテム姿勢を決定する。例えば、ＩＮＳ１３０２は、方程式（５）および（６）を評価してもよい。ＥＭ追跡システム６００は、ＩＭＵ６５０と異なるレート（例えば、２４０Ｈｚ）で動作してもよい。ＥＭ追跡システム６００からの新しいデータが、取得される度に、図１３Ｂ／１３Ｃを参照して説明されるプロシージャが、実施され、測定および予測されるＥＭ場行列をカルマンフィルタ１３０４に供給することができる。本プロセスは、更新された世界－フレームトーテム姿勢をＡＲシステム２００にリアルタイムで提供するために、新しいＩＭＵ６５０またはＥＭ追跡システム６００データが取得されるにつれて、反復されてもよい。センサ融合システム１３００の使用は、有利なこととして、ＡＲシステム２００が、低減された待ち時間、改良された性能（例えば、トーテム姿勢は、よりロバストかつ正確であろうため）を伴って動作することを可能にし、それによって、改良されたユーザ体験を提供し得る。
（初期化）

ＡＲシステム２００が、始動（またはリブート）されると、センサ融合システム１３００は、初期化されてもよい。例えば、初期トーテム姿勢は、ＥＭ追跡システム６００によって、測定されたＥＭ場行列１３２２から計算されてもよい。センサ積分およびフィルタリングが、進むにつれて、推定されるトーテム姿勢が、カルマンフィルタ１３０４によって実施される最適化によって、正確度において改良され得る。ある場合には、初期トーテム姿勢を測定されたＥＭ場行列１３２２から決定するステップは、トーテム６０６が向いている方向（例えば、それが向いている半球）に関する曖昧性をもたらし得る。いくつかの実装では、本曖昧性を解決するために、融合システム１３００のための２つのスレッドが、並行して開始され、各スレッドは、トーテム６０６が半球のうちの１つに向いていると仮定する。スレッドのうちの１つは、正しい半球を有し、スレッドのうちの１つは、正しくない半球を有するであろう。センサ融合システム１３００が、起動されるにつれて、正しくない半球を仮定したスレッドは、本スレッドによって推定される姿勢が真のトーテム姿勢からますます多く発散し始めるであろうため、容易に決定され得る。その時点で、本スレッドは、終了されることができ、センサ融合システム１３００は、初期トーテム姿勢に関する正しい半球を仮定した１つのみのスレッドを伴って進む。本技法は、有利なこととして、正しい半球を迅速に識別し、実践において、あまり算出上需要が要求されるものではない。
誤差検出

トーテム６０６は、典型的には、ユーザの手に保持され、したがって、トーテム６０６とＡＲヘッドセット５８との間の距離は、典型的には、近似的に、ユーザの腕の長さを超えない。センサ融合システム１３００のいくつかの実施形態は、トーテム６０６とＡＲヘッドセット５８との間の推定される距離が閾値距離（例えば、典型的ヒトの腕長に匹敵する）を超えるかどうかをチェックする、誤差プロトコルを実装する。例えば、ＴＸ→ＲＸリゾルバブロック１３４８は、ＥＭセンサ６０４（典型的には、ＡＲヘッドセット５８内に配置される）とＥＭエミッタ６０２（典型的には、トーテム６０６内に配置される）との間の距離を計算することができ、距離が、閾値距離を超える場合、融合システム１３００は、誤差が生じている可能性が高いことを決定することができる。誤差が、検出される場合、融合システム１３００は、例えば、システムを再初期化する等の補正アクションを行うことができる。
（ユーザ入力デバイスの姿勢を計算するための例示的方法）

図１４は、ウェアラブルシステム２００のためのハンドヘルドユーザ入力デバイス／コントローラ／トーテム６０６の姿勢を計算するための方法１４００の実施例を図示する、フローチャートである。方法１４００は、図１３Ａ－１３Ｃを参照して説明されるＩＮＳ１３０２によって実施されてもよい。

ブロック１４１０では、方法１４００は、ハンドヘルドユーザ入力デバイス６０６と関連付けられる、姿勢センサからの姿勢データにアクセスする。姿勢センサは、ＩＭＵ、加速度計、ジャイロスコープ、磁力計、光学センサ、またはそれらの組み合わせを含んでもよい。ブロック１４２０では、方法１４００は、ハンドヘルドユーザ入力デバイス６０６と関連付けられる、ＥＭ追跡システム６００と関連付けられる、ＥＭ追跡データにアクセスする。ＥＭ追跡データは、方程式（１）を参照して説明されるＥＭ場行列Ｆを含んでもよい。

ブロック１４３０では、方法１４００は、データ融合技法を適用し、姿勢データとＥＭ追跡データを組み合わせる。データ融合技法は、カルマンフィルタ（または、例えば、拡張またはアンセンテッドカルマンフィルタ等の任意の種々のカルマンフィルタ）、マルコフモデル、ベイズ推定器、線形二次推定、ニューラルネットワーク、機械学習アルゴリズム等を含んでもよい。データ融合技法は、誤差状態を計算し、姿勢センサから出力された姿勢データのバイアス、雑音、非線形性、誤差等を補正してもよい。

ブロック１４４０では、方法１４００は、ＡＲシステム２００の環境と関連付けられる、世界基準フレーム内のハンドヘルドユーザ入力デバイス６０６の姿勢を決定する。世界基準フレームの実施例は、図８を参照して説明される世界座標系１０である。姿勢は、６ＤＯＦ姿勢または３ＤＯＦ姿勢であることができる。

ブロック１４５０では、姿勢は、仮想コンテンツをウェアラブルシステム２００のユーザに提示する、またはハンドヘルドユーザ入力デバイスとの便宜的ユーザ相互作用を提供するために使用されてもよい。例えば、図１０および１１を参照して説明されるように、世界座標系に対する姿勢を決定することを補助する、頭部搭載型ディスプレイ５８と、頭部搭載型ディスプレイ５８に対するハンドヘルドユーザ入力デバイス６０６の相対的場所および配向を決定することを補助する、ハンドヘルドユーザ入力デバイス６０６の組み合わせは、システム２００が、概して、各コンポーネントが世界基準フレームに対してある場所、したがって、ユーザの頭部姿勢を決定することを可能にすることができ、ハンドヘルド姿勢は、好ましくは、拡張現実画像特徴の提示およびハンドヘルドコンポーネントの移動および回転を使用した相互作用のために、比較的に短待ち時間で追跡され得る。したがって、方法１４００の実施形態は、ウェアラブルデバイス２００のユーザのために、短待ち時間性能および改良されたユーザ体験を提供することができる。
（付加的考慮点）

センサ融合技術のある実施形態が、ウェアラブルディスプレイシステムのコンポーネント（例えば、ＡＲまたはＶＲコンテキストにおいて頭部姿勢または身体姿勢を追跡するためのＩＭＵおよびＥＭセンサ）に関するリアルタイム姿勢決定の文脈において説明されるが、これは、限定ではなく例証のためである。センサ融合技術の実施形態が、他の用途で他のデバイスと併用されることができ、一般に、任意の姿勢決定システムに適用されることができる。例えば、センサ融合技術は、医療または外科的環境において使用され、それによって、医療または外科的手技の間に使用される医療器具の改良された位置または配向を提供するために使用されることができる。

本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。

さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。さらに、ＥＭ追跡を使用する姿勢推定は、典型的には、ＡＲまたはＶＲ環境においてリアルタイムで行われる必要があり、ハードウェア処理が、姿勢推定タスクを実施し、享受できるユーザ体験を提供するために要求される。

コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。

本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、本明細書に提供される例証的実施例に追加される、そこから削除される、修正される、または別様にそこから変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそこから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。

本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。

本発明は、対象デバイスを使用して実施され得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含んでもよい。そのような提供は、エンドユーザによって実施されてもよい。換言すると、「提供する」行為は、単に、エンドユーザが、本主題の方法において必要なデバイスを取得する、それにアクセスする、それに接近する、それを位置付ける、それを設定する、それをアクティブ化する、それに電源を入れる、または別様にそれを提供するように作用することを要求する。本明細書に列挙される方法は、論理的に可能な列挙されたイベントの任意の順序およびイベントの列挙された順序で行われてもよい。

本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。

とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つ以上の実施形態に対していかようにも要求されること、または１つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを合意することを意図されない。用語「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」、「～を含む（ｉｎｃｌｕｄｉｎｇ）」、「～を有する（ｈａｖｉｎｇ）」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術的および科学的用語は、請求項の妥当性を維持されながら、可能な限り広義に一般的に理解される意味として与えられるべきである。

本明細書で使用されるように、項目のリスト「～のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。

同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (30)

1. ウェアラブルシステムであって、
   頭部搭載型ディスプレイと、
   慣性測定ユニット（ＩＭＵ）を備えるハンドヘルドユーザ入力デバイスと、
   電磁（ＥＭ）追跡システムであって、
   前記ハンドヘルドユーザ入力デバイス内または上に配置されるＥＭエミッタであって、前記ＥＭエミッタは、ＥＭ場を生成するように構成される、ＥＭエミッタと、
   前記頭部搭載型ディスプレイ内または上に配置されるＥＭセンサであって、前記ＥＭセンサは、前記ＥＭ場を感知するように構成される、ＥＭセンサと
   を備え、前記ＥＭエミッタに対する前記ＥＭセンサの推定される姿勢と関連付けられるＥＭ場行列を出力するように構成される、ＥＭ追跡システムと、
   ハードウェアプロセッサであって、前記ハードウェアプロセッサは、
   前記ＩＭＵからのＩＭＵデータにアクセスすることであって、前記ＩＭＵデータは、前記ハンドヘルドユーザ入力デバイスと関連付けられる基準フレーム内の前記ハンドヘルドユーザ入力デバイスの推定される姿勢を表す、ことと、
   前記ＥＭ追跡システムから前記ＥＭ場行列にアクセスすることと、
   前記ウェアラブルシステムの環境と関連付けられる世界基準フレーム内の前記ハンドヘルドユーザ入力デバイスの予測される姿勢を表す予測されるＥＭ場行列を計算することと、
   少なくとも部分的に、前記ＥＭ場行列および前記予測されるＥＭ場行列に基づいて、誤差状態を生成することであって、前記誤差状態は、前記ＩＭＵ内のバイアスまたは雑音または前記ハンドヘルドユーザ入力デバイスの基準フレームと前記世界基準フレームとの間のオフセットのうちの少なくとも１つを表す、ことと、
   前記誤差状態に基づいて、カルマンフィルタを前記ＩＭＵデータに適用することと、
   前記カルマンフィルタを使用して、前記世界基準フレーム内の前記ハンドヘルドユーザ入力デバイスの姿勢を決定することと
   を行うようにプログラムされる、ハードウェアプロセッサと
   を備える、ウェアラブルシステム。
2. 前記ＩＭＵは、加速度計またはジャイロスコープのうちの少なくとも１つを備える、請求項１に記載のウェアラブルシステム。
3. 前記予測されるＥＭ場行列を計算するために、前記ハードウェアプロセッサは、
   前記世界基準フレーム内の前記ＥＭエミッタ姿勢に関する推定値を計算することと、
   前記世界基準フレーム内の前記ＥＭセンサ姿勢に関する推定値を計算することと、
   前記世界基準フレーム内の前記ＥＭエミッタ姿勢と前記世界基準フレーム内の前記ＥＭセンサ姿勢との間の相対的姿勢を計算することと
   を行うようにプログラムされる、請求項１または請求項２に記載のウェアラブルシステム。
4. 前記世界基準フレーム内の前記ＥＭエミッタ姿勢に関する推定値を計算するために、前記ハードウェアプロセッサは、
   前記世界基準フレーム内の前記ハンドヘルドユーザ入力デバイスの姿勢にアクセスすることと、
   前記ハンドヘルドユーザ入力デバイスの基点位置に対する前記ＥＭエミッタの位置を調節するように構成されるＥＭ伝送機付帯性質を適用することと
   を行うようにプログラムされる、請求項３に記載のウェアラブルシステム。
5. 前記ＥＭ伝送機付帯性質は、前記ＥＭエミッタの位置と前記ハンドヘルドユーザ入力デバイスの基点位置との間の変位を備える、請求項４に記載のウェアラブルシステム。
6. 前記世界基準フレーム内の前記ＥＭセンサに関する推定値を計算するために、前記ハードウェアプロセッサは、
   前記頭部搭載型ディスプレイに関する姿勢に関する推定値にアクセスすることと、
   前記頭部搭載型ディスプレイの基点位置に対する前記ＥＭセンサの位置を調節するように構成される、ＥＭ受信機付帯性質を適用することと
   を行うようにプログラムされる、請求項３－５のいずれか１項に記載のウェアラブルシステム。
7. 前記ＥＭ受信機付帯性質は、前記ＥＭセンサの位置と前記頭部搭載型ディスプレイの基点位置との間の変位を備える、請求項６に記載のウェアラブルシステム。
8. 前記ハードウェアプロセッサはさらに、
   前記ＥＭ追跡システムから決定される姿勢に基づいて、前記ハンドヘルドユーザ入力デバイスの予測される姿勢を計算すること、または
   前記ハンドヘルドユーザ入力デバイスの配向における曖昧性を解決すること
   のうちの１つ以上のものを含む初期化プロシージャを実施するようにプログラムされる、請求項１－７のいずれか１項に記載のウェアラブルシステム。
9. 前記ハンドヘルドユーザ入力デバイスの配向における曖昧性を解決するために、前記ハードウェアプロセッサは、
   前記ハンドヘルドユーザ入力デバイスの初期配向が第１の半球内に位置する第１のスレッドを実行することであって、前記第１のスレッドは、前記世界基準フレーム内の前記ハンドヘルドユーザ入力デバイスの姿勢の第１の推定値を決定する、ことと、
   前記ハンドヘルドユーザ入力デバイスの前記初期配向が前記第１の半球と反対の第２の半球内に位置する第２のスレッドを実行し、前記第２のスレッドは、前記世界基準フレーム内の前記ハンドヘルドユーザ入力デバイスの姿勢の第２の推定値を決定することと
   を行うようにプログラムされる、請求項８に記載のウェアラブルシステム。
10. 前記ハードウェアプロセッサは、それぞれ、前記第１の推定値または前記第２の推定値が、前記ハンドヘルドユーザ入力デバイスの真の姿勢から発散するとき、前記第１のスレッドまたは前記第２のスレッドのいずれかの実行を終了するようにプログラムされる、請求項９に記載のウェアラブルシステム。
11. 前記ハードウェアプロセッサは、誤差検出ルーチンを実施するようにプログラムされ、誤差の決定に応答して、前記システムは、補正アクションを実施する、請求項１－１０のいずれか１項に記載のウェアラブルシステム。
12. 前記誤差検出ルーチンは、前記ＥＭエミッタと前記ＥＭセンサとの間の距離が閾値距離を超えることを決定することを含む、請求項１１に記載のウェアラブルシステム。
13. 前記補正アクションは、前記システムを再初期化することを含む、請求項１１または請求項１２に記載のウェアラブルシステム。
14. 前記ハードウェアプロセッサはさらに、
    前記頭部搭載型ディスプレイを介して、仮想コンテンツを前記ウェアラブルシステムのユーザに提示する、または
    少なくとも部分的に、前記ハンドヘルドユーザ入力デバイスの移動または回転に基づいて、前記ウェアラブルシステムの環境との相互作用を有効にする
    ようにプログラムされる、請求項１－１３のいずれか１項に記載のウェアラブルシステム。
15. ウェアラブルシステムであって、
    頭部搭載型ディスプレイと、
    慣性測定ユニット（ＩＭＵ）を備えるハンドヘルドユーザ入力デバイスと、
    電磁（ＥＭ）追跡システムであって、
    ＥＭ場を生成するように構成される１つ以上のＥＭエミッタと、
    前記ＥＭ場を感知するように構成される１つ以上のＥＭセンサと
    を備え、前記ＥＭ追跡システムは、前記１つ以上のＥＭエミッタに対する前記１つ以上のＥＭセンサの推定される姿勢と関連付けられるＥＭ場行列を出力するように構成される、ＥＭ追跡システムと、
    慣性ナビゲーションシステム（ＩＮＳ）であって、
    前記ＩＭＵからのＩＭＵデータにアクセスすることと、
    前記ＥＭ追跡システムからの前記ＥＭ場行列にアクセスすることと、
    データ融合アルゴリズムを前記ＩＭＵデータおよび前記ＥＭ場行列に適用し、前記ウェアラブルシステムと関連付けられる世界フレーム内の前記ハンドヘルドユーザ入力デバイスの予測される姿勢を生成することと
    を行うように構成される、ＩＮＳと
    を備える、ウェアラブルシステム。
16. 前記１つ以上のＥＭエミッタは、前記ハンドヘルドユーザ入力デバイス内または上に配置され、前記１つ以上のＥＭセンサは、前記頭部搭載型ディスプレイ内または上に配置される、請求項１５に記載のウェアラブルシステム。
17. 前記１つ以上のＥＭセンサは、前記頭部搭載型ディスプレイの左側上に位置付けられる第１のＥＭセンサと、前記頭部搭載型ディスプレイの右側上に位置付けられる第２のＥＭセンサとを備える、請求項１５または請求項１６に記載のウェアラブルシステム。
18. 前記ＥＭ場行列は、前記第１のＥＭセンサと関連付けられる第１の加重と、前記第２のＥＭセンサと関連付けられる第２の加重とに基づいて決定される、請求項１７に記載のウェアラブルシステム。
19. 前記加重は、前記センサと前記ハンドヘルドユーザ入力デバイスとの間の個別の距離に基づいて決定される、請求項１８に記載のウェアラブルシステム。
20. 前記データ融合アルゴリズムは、カルマンフィルタを備える、請求項１５または請求項１６に記載のウェアラブルシステム。
21. 前記ＩＮＳは、前記ＥＭ場行列と前記ハンドヘルドユーザ入力デバイスの予測される姿勢を表す予測されるＥＭ場行列の比較に基づいて、誤差状態を生成するように構成される、請求項１５－１９のいずれか１項に記載のウェアラブルシステム。
22. 前記予測される姿勢は、６自由度姿勢を備える、請求項１５－１８のいずれか１項に記載のウェアラブルシステム。
23. ウェアラブルシステムのためのハンドヘルドユーザ入力デバイスの姿勢を計算する方法であって、前記方法は、
    コンピュータハードウェアを備える慣性ナビゲーションシステム（ＩＮＳ）の制御下で、
    前記ハンドヘルドユーザ入力デバイスと関連付けられる姿勢センサからの姿勢データにアクセスすることと、
    前記ハンドヘルドユーザ入力デバイスと関連付けられるＥＭ追跡システムと関連付けられる電磁（ＥＭ）追跡データにアクセスすることと、
    データ融合技法を適用し、前記姿勢データと前記ＥＭ追跡データを組み合わせることと、
    前記ウェアラブルシステムの環境と関連付けられる基準フレーム内の前記ハンドヘルドユーザ入力デバイスの姿勢を決定することと
    を含む、方法。
24. 前記姿勢センサは、慣性測定ユニットを備える、請求項２３に記載の方法。
25. 前記姿勢センサは、加速度計、ジャイロスコープ、磁力計、または光学センサを備える、請求項２３または請求項２４に記載の方法。
26. 前記ＥＭ追跡システムは、ＥＭエミッタと、ＥＭセンサとを備える、請求項２３－２５のいずれか１項に記載の方法。
27. 前記ＥＭエミッタは、前記ユーザ入力デバイス内または上に配置される、請求項２６に記載の方法。
28. 前記データ融合技法は、カルマンフィルタを備える、請求項２３－２７のいずれか１項に記載の方法。
29. 請求項２０－２５のいずれか１項に記載の方法を実施するように構成される、ＩＮＳ。
30. ウェアラブルシステムであって、
    前記ハンドヘルドユーザ入力デバイスと、
    前記ＥＭ追跡システムと、
    請求項２６に記載のＩＮＳと、
    を備える、ウェアラブルシステム。

Images