JP2022553202A - 視覚的慣性オドメトリのための重力推定およびバンドル調整 - Google Patents

視覚的慣性オドメトリのための重力推定およびバンドル調整 Download PDF

Info

Publication number
JP2022553202A
JP2022553202A JP2022522895A JP2022522895A JP2022553202A JP 2022553202 A JP2022553202 A JP 2022553202A JP 2022522895 A JP2022522895 A JP 2022522895A JP 2022522895 A JP2022522895 A JP 2022522895A JP 2022553202 A JP2022553202 A JP 2022553202A
Authority
JP
Japan
Prior art keywords
head device
wearable head
imu
error
inertial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022522895A
Other languages
English (en)
Other versions
JP7565349B2 (ja
Inventor
ユー－シャン フアン，
エバン グレゴリー レバイン，
イゴール ナポルスキフ，
ドミニク ミヒャエル カスパー，
ニクエサ， マヌエル キム サンチェス
セルジュ シマ，
ベンジャミン ラングマン，
アシュウィン スワミナサン，
マルティン ゲオルク ツァーネアト，
ブラジェイ マレク ツプリンスキ，
ジョアン アントニオ ペレイラ ファロ，
クリストフ トブラー，
オミード ガセマリザーデ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2022553202A publication Critical patent/JP2022553202A/ja
Application granted granted Critical
Publication of JP7565349B2 publication Critical patent/JP7565349B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
    • G01P15/08—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses with conversion into electric or magnetic values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P7/00—Measuring speed by integrating acceleration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本開示の実施例は、仮想コンテンツをウェアラブル頭部デバイス上に提示するためのシステムおよび方法を説明する。いくつかの実施形態では、ウェアラブル頭部デバイスの状態が、再投影誤差と関連付けられる、低減された加重に基づいて、総誤差を最小限にすることによって決定される。ウェアラブル頭部デバイスの決定された状態を反映させる、ビューは、ウェアラブル頭部デバイスのディスプレイを介して、提示される。いくつかの実施形態では、ウェアラブル頭部デバイスが、ウェアラブル頭部デバイスのセンサを介して受信された、画像データと、ウェアラブル頭部デバイスの第１のＩＭＵおよび第２のＩＭＵを介して受信された、慣性データとに基づいて、第１の予備積分項および第２の予備積分項を計算する。

Description

（関連出願の相互参照）
本願は、その開示全体が、あらゆる目的のために、参照することによって本明細書に組み込まれる、２０１９年１０月１８日に出願された、米国仮出願第６２／９２３，３１７号、および２０２０年９月９日に出願された、米国仮出願第６３／０７６，２５１号の利益を主張する。
本開示は、一般に、視覚的情報をマッピングおよび表示するためのシステムおよび方法に関し、特に、複合現実環境内で視覚的情報をマッピングおよび表示するためのシステムおよび方法に関する。
仮想環境は、コンピューティング環境において普遍的であって、ビデオゲーム（仮想環境が、ゲーム世界を表し得る）、マップ（仮想環境が、ナビゲートされるべき地形を表し得る）、シミュレーション（仮想環境が、実環境をシミュレートし得る）、デジタルストーリーテリング（仮想キャラクタが、仮想環境内で相互に相互作用し得る）、および多くの他の用途において使用を見出している。現代のコンピュータユーザは、概して、快適に仮想環境を知覚し、それと相互作用する。しかしながら、仮想環境を伴うユーザの体験は、仮想環境を提示するための技術によって限定され得る。例えば、従来のディスプレイ（例えば、２Ｄディスプレイ画面）およびオーディオシステム（例えば、固定スピーカ）は、人を引き付け、現実的で、かつ没入型の体験を作成するように、仮想環境を実現することが不可能であり得る。
仮想現実（「ＶＲ」）、拡張現実（「ＡＲ」）、複合現実（「ＭＲ」）、および関連技術（集合的に、「ＸＲ」）は、ＸＲシステムのユーザにコンピュータシステム内のデータによって表される仮想環境に対応する感覚情報を提示する能力を共有する。本開示は、ＶＲ、ＡＲ、およびＭＲシステム間の特異性を考慮する（但し、いくつかのシステムは、一側面（例えば、視覚的側面）では、ＶＲとしてカテゴリ化され、同時に、別の側面（例えば、オーディオ側面）では、ＡＲまたはＭＲとしてカテゴリ化され得る）。本明細書で使用されるように、ＶＲシステムは、少なくとも１つの側面においてユーザの実環境を置換する、仮想環境を提示する。例えば、ＶＲシステムは、ユーザに、仮想環境のビューを提示し得る一方、同時に、光遮断頭部搭載型ディスプレイ等を用いて、実環境のそのビューを不明瞭にする。同様に、ＶＲシステムは、ユーザに、仮想環境に対応するオーディオを提示し得る一方、同時に、実環境からのオーディオを遮断する（減衰させる）。
ＶＲシステムは、ユーザの実環境を仮想環境と置換することから生じる、種々の短所を被り得る。１つの短所は、仮想環境内のユーザの視野が、（仮想環境ではなく）実環境内におけるその平衡および配向を検出する、その内耳の状態にもはや対応しなくなるときに生じ得る、乗り物酔いを感じることである。同様に、ユーザは、自身の身体および四肢（そのビューは、ユーザが実環境内において「地に足が着いている」と感じるために依拠するものである）が直接可視ではない場合、ＶＲ環境内において失見当識を被り得る。別の短所は、特に、ユーザを仮想環境内に没入させようとする、リアルタイム用途において、完全３Ｄ仮想環境を提示しなければならない、ＶＲシステムに課される算出負担（例えば、記憶、処理力）である。同様に、そのような環境は、ユーザが、仮想環境内のわずかな不完全性にさえ敏感である傾向にあって、そのいずれも、仮想環境内のユーザの没入感を破壊し得るため、没入していると見なされるために、非常に高水準の現実性に到達する必要があり得る。さらに、ＶＲシステムの別の短所は、システムのそのような用途が、実世界内で体験する、種々の光景および音等の実環境内の広範囲の感覚データを利用することができないことである。関連短所は、実環境内の物理的空間を共有するユーザが、仮想環境内で直接見る、または相互に相互作用することが不可能であり得るため、ＶＲシステムが、複数のユーザが相互作用し得る、共有環境を作成することに苦戦し得ることである。
本明細書で使用されるように、ＡＲシステムは、少なくとも１つの側面において実環境に重複またはオーバーレイする、仮想環境を提示する。例えば、ＡＲシステムは、表示される画像を提示する一方、光が、ディスプレイを通してユーザの眼の中に通過することを可能にする、透過性頭部搭載型ディスプレイ等を用いて、ユーザに、実環境のユーザのビュー上にオーバーレイされる仮想環境のビューを提示し得る。同様に、ＡＲシステムは、ユーザに、仮想環境に対応するオーディオを提示し得る一方、同時に、実環境からのオーディオを混合させる。同様に、本明細書で使用されるように、ＭＲシステムは、ＡＲシステムと同様に、少なくとも１つの側面において実環境に重複またはオーバーレイする、仮想環境を提示し、加えて、ＭＲシステム内の仮想環境が、少なくとも１つの側面において実環境と相互作用し得ることを可能にし得る。例えば、仮想環境内の仮想キャラクタが、実環境内の照明スイッチを切り替え、実環境内の対応する電球をオンまたはオフにさせてもよい。別の実施例として、仮想キャラクタが、実環境内のオーディオ信号に反応してもよい（顔の表情等を用いて）。実環境の提示を維持することによって、ＡＲおよびＭＲシステムは、ＶＲシステムの前述の短所のうちのいくつかを回避し得る。例えば、ユーザにおける乗り物酔いは、実環境からの視覚的キュー（ユーザ自身の身体を含む）が、可視のままであり得、そのようなシステムが、没入型であるために、ユーザに、完全に実現された３Ｄ環境を提示する必要がないため、低減される。さらに、ＡＲおよびＭＲシステムは、実世界感覚入力（例えば、景色、オブジェクト、および他のユーザのビューおよび音）を利用して、その入力を拡張させる、新しい用途を作成することができる。
実環境に重複またはオーバーレイする、仮想環境を提示することは、困難であり得る。例えば、仮想環境と実環境を混合することは、仮想環境内のオブジェクトが実環境内のオブジェクトと競合しないように、実環境の複合的かつ完全な理解を要求し得る。さらに、実環境内の一貫性と対応する、仮想環境内の持続性を維持することが望ましくあり得る。例えば、物理的テーブル上に表示される仮想オブジェクトは、ユーザが、視線を逸らし、動き回り、次いで、物理的テーブルに視線を戻す場合でも、同一場所に現れることが望ましくあり得る。本タイプの没入感を達成するために、オブジェクトが実世界内に存在する場所およびユーザが実世界内に存在する場所の正確かつ精密な推定値を展開することが、有益であり得る。
本開示の実施例は、仮想コンテンツをウェアラブル頭部デバイス上に提示するためのシステムおよび方法を説明する。例えば、重力推定およびバンドル調整を伴う、視覚的慣性オドメトリを実施するためのシステムおよび方法が、開示される。いくつかの実施形態では、第１の位置における第１の特徴を示す、第１のセンサデータが、ウェアラブル頭部デバイスのセンサを介して受信される。第２の位置における第１の特徴を示す、第２のセンサデータが、センサを介して受信される。慣性測定値は、ウェアラブル頭部デバイス上の慣性測定ユニットを介して受信さる。速度が、慣性測定値に基づいて決定される。第１の特徴の第３の位置が、第１の位置および速度に基づいて、推定される。再投影誤差が、第３の位置および第２の位置に基づいて決定される。再投影誤差と関連付けられる、加重が、低減される。ウェアラブル頭部デバイスの状態が、決定される。状態を決定するステップは、総誤差を最小限にするステップを含み、総誤差は、再投影誤差と関連付けられる、低減された加重に基づく。ウェアラブル頭部デバイスの決定された状態を反映させる、ビューが、ウェアラブル頭部デバイスのディスプレイを介して、提示される。
いくつかの実施形態では、ウェアラブル頭部デバイスは、ウェアラブル頭部デバイスのセンサを介して、画像データを受信する。ウェアラブル頭部デバイスは、第１の慣性測定ユニット（ＩＭＵ）および第２のＩＭＵを介して、それぞれ、第１および第２の慣性データを受信する。ウェアラブル頭部デバイスは、画像データおよび慣性データに基づいて、第１の予備積分項および第２の予備積分項を計算する。ウェアラブル頭部デバイスは、第１および第２の予備積分項に基づいて、デバイスの位置を推定する。デバイスの位置に基づいて、ウェアラブル頭部デバイスは、仮想コンテンツを提示する。
図１Ａ－１Ｃは、本開示の１つまたはそれを上回る実施形態による、例示的複合現実環境を図示する。 図１Ａ－１Ｃは、本開示の１つまたはそれを上回る実施形態による、例示的複合現実環境を図示する。 図１Ａ－１Ｃは、本開示の１つまたはそれを上回る実施形態による、例示的複合現実環境を図示する。 図２Ａ－２Ｄは、本開示の１つまたはそれを上回る実施形態による、例示的複合現実システムのコンポーネントを図示する。 図２Ａ－２Ｄは、本開示の１つまたはそれを上回る実施形態による、例示的複合現実システムのコンポーネントを図示する。 図２Ａ－２Ｄは、本開示の１つまたはそれを上回る実施形態による、例示的複合現実システムのコンポーネントを図示する。 図２Ａ－２Ｄは、本開示の１つまたはそれを上回る実施形態による、例示的複合現実システムのコンポーネントを図示する。
図３Ａは、本開示の１つまたはそれを上回る実施形態による、例示的複合現実ハンドヘルドコントローラを図示する。
図３Ｂは、本開示の１つまたはそれを上回る実施形態による、例示的補助ユニットを図示する。
図４は、本開示の１つまたはそれを上回る実施形態による、例示的複合現実システムのための例示的機能的ブロック図を図示する。
図５は、本開示の１つまたはそれを上回る実施形態による、視覚的慣性オドメトリのための例示的パイプラインを図示する。
図６Ａ－６Ｂは、本開示の１つまたはそれを上回る実施形態による、視覚的慣性オドメトリのための例示的グラフを図示する。
図７Ａ－７Ｂは、本開示の１つまたはそれを上回る実施形態による、バンドル調整を実施するための例示的決定プロセスを図示する。 図７Ａ－７Ｂは、本開示の１つまたはそれを上回る実施形態による、バンドル調整を実施するための例示的決定プロセスを図示する。
図８は、本開示の１つまたはそれを上回る実施形態による、独立型重力推定のための例示的グラフを図示する。
図９は、本開示の１つまたはそれを上回る実施形態による、例示的ＩＭＵ構成を図示する。
図１０は、本開示の１つまたはそれを上回る実施形態による、例示的ＩＭＵ構成を図示する。
図１１は、本開示の１つまたはそれを上回る実施形態による、ＳＬＡＭ算出の例示的グラフ表現を図示する。
図１２は、本開示の１つまたはそれを上回る実施形態による、仮想コンテンツを提示するための例示的プロセスを図示する。
詳細な説明
実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面を参照する。他の実施例も、使用されることができ、構造変更が、開示される実施例の範囲から逸脱することなく、行われることができることを理解されたい。
複合現実環境
全ての人々と同様に、複合現実システムのユーザは、実環境内に存在する、すなわち、「実世界」の３次元部分と、そのコンテンツの全てとが、ユーザによって知覚可能である。例えば、ユーザは、通常の人間の感覚、すなわち、視覚、聴覚、触覚、味覚、嗅覚を使用して、実環境を知覚し、実環境内で自身の身体を移動させることによって、実環境と相互作用する。実環境内の場所は、座標空間内の座標として説明されることができる。例えば、座標は、緯度、経度、および海抜に対する高度、基準点から３つの直交次元における距離、または他の好適な値を含むことができる。同様に、ベクトルは、座標空間内の方向および大きさを有する、量を説明することができる。
コンピューティングデバイスは、例えば、デバイスと関連付けられるメモリ内に、仮想環境の表現を維持することができる。本明細書で使用されるように、仮想環境は、３次元空間の算出表現である。仮想環境は、任意のオブジェクトの表現、アクション、信号、パラメータ、座標、ベクトル、またはその空間と関連付けられる他の特性を含むことができる。いくつかの実施例では、コンピューティングデバイスの回路（例えば、プロセッサ）は、仮想環境の状態を維持および更新することができる。すなわち、プロセッサは、第１の時間ｔ０において、仮想環境と関連付けられるデータおよび／またはユーザによって提供される入力に基づいて、第２の時間ｔ１における仮想環境の状態を決定することができる。例えば、仮想環境内のオブジェクトが、時間ｔ０において、第１の座標に位置し、あるプログラムされた物理的パラメータ（例えば、質量、摩擦係数）を有し、ユーザから受信された入力が、力がある方向ベクトルにおいてオブジェクトに印加されるべきであることを示す場合、プロセッサは、運動学の法則を適用し、基本力学を使用して、時間ｔ１におけるオブジェクトの場所を決定することができる。プロセッサは、仮想環境について既知の任意の好適な情報および／または任意の好適な入力を使用して、時間ｔ１における仮想環境の状態を決定することができる。仮想環境の状態を維持および更新する際、プロセッサは、仮想環境内の仮想オブジェクトの作成および削除に関連するソフトウェア、仮想環境内の仮想オブジェクトまたはキャラクタの挙動を定義するためのソフトウェア（例えば、スクリプト）、仮想環境内の信号（例えば、オーディオ信号）の挙動を定義するためのソフトウェア、仮想環境と関連付けられるパラメータを作成および更新するためのソフトウェア、仮想環境内のオーディオ信号を生成するためのソフトウェア、入力および出力をハンドリングするためのソフトウェア、ネットワーク動作を実装するためのソフトウェア、アセットデータ（例えば、仮想オブジェクトを経時的に移動させるためのアニメーションデータ）を適用するためのソフトウェア、または多くの他の可能性を含む、任意の好適なソフトウェアを実行することができる。
ディスプレイまたはスピーカ等の出力デバイスは、仮想環境のいずれかまたは全ての側面をユーザに提示することができる。例えば、仮想環境は、ユーザに提示され得る、仮想オブジェクト（無有生オブジェクト、人々、動物、光等の表現を含み得る）を含んでもよい。プロセッサは、仮想環境のビュー（例えば、原点座標、視軸、および錐台を伴う、「カメラ」に対応する）を決定し、ディスプレイに、そのビューに対応する仮想環境の視認可能場面をレンダリングすることができる。任意の好適なレンダリング技術が、本目的のために使用されてもよい。いくつかの実施例では、視認可能場面は、仮想環境内のいくつかの仮想オブジェクトのみを含み、ある他の仮想オブジェクトを除外してもよい。同様に、仮想環境は、ユーザに１つまたはそれを上回るオーディオ信号として提示され得る、オーディオ側面を含んでもよい。例えば、仮想環境内の仮想オブジェクトは、オブジェクトの場所座標から生じる音を生成してもよい（例えば、仮想キャラクタが、発話する、または音効果を生じさせ得る）、または仮想環境は、特定の場所と関連付けられる場合とそうではない場合がある、音楽キューまたは周囲音と関連付けられてもよい。プロセッサは、「聴取者」座標に対応するオーディオ信号、例えば、仮想環境内の音の合成に対応し、聴取者座標において聴取者によって聞こえるであろうオーディオ信号をシミュレートするように混合および処理される、オーディオ信号を決定し、ユーザに、１つまたはそれを上回るスピーカを介して、オーディオ信号を提示することができる。
仮想環境は、算出構造としてのみ存在するため、ユーザは、直接、通常の感覚を使用して、仮想環境を知覚することができない。代わりに、ユーザは、例えば、ディスプレイ、スピーカ、触覚的出力デバイス等によって、ユーザに提示されるように、間接的にのみ、仮想環境を知覚することができる。同様に、ユーザは、直接、仮想環境に触れる、それを操作する、または別様に、それと相互作用することができないが、入力データを、入力デバイスまたはセンサを介して、デバイスまたはセンサデータを使用して、仮想環境を更新し得る、プロセッサに提供することができる。例えば、カメラセンサは、ユーザが仮想環境のオブジェクトを移動させようとしていることを示す、光学データを提供することができ、プロセッサは、そのデータを使用して、仮想環境内において、適宜、オブジェクトを応答させることができる。
複合現実システムは、ユーザに、例えば、透過型ディスプレイおよび／または１つまたはそれを上回るスピーカ（例えば、ウェアラブル頭部デバイスの中に組み込まれ得る）を使用して、実環境および仮想環境の側面を組み合わせる、複合現実環境（「ＭＲＥ」）を提示することができる。いくつかの実施形態では、１つまたはそれを上回るスピーカは、頭部搭載型ウェアラブルユニットの外部にあってもよい。本明細書で使用されるように、ＭＲＥは、実環境および対応する仮想環境の同時表現である。いくつかの実施例では、対応する実および仮想環境は、単一座標空間を共有する。いくつかの実施例では、実座標空間および対応する仮想座標空間は、変換行列（または他の好適な表現）によって相互に関連する。故に、単一座標（いくつかの実施例では、変換行列とともに）は、実環境内の第１の場所と、また、仮想環境内の第２の対応する場所とを定義し得、その逆も同様である。
ＭＲＥでは、（例えば、ＭＲＥと関連付けられる仮想環境内の）仮想オブジェクトは、（例えば、ＭＲＥと関連付けられる実環境内の）実オブジェクトに対応し得る。例えば、ＭＲＥの実環境が、実街灯柱（実オブジェクト）をある場所座標に含む場合、ＭＲＥの仮想環境は、仮想街灯柱（仮想オブジェクト）を対応する場所座標に含んでもよい。本明細書で使用されるように、実オブジェクトは、その対応する仮想オブジェクトとともに組み合わせて、「複合現実オブジェクト」を構成する。仮想オブジェクトが対応する実オブジェクトに完璧に合致または整合することは、必要ではない。いくつかの実施例では、仮想オブジェクトは、対応する実オブジェクトの簡略化されたバージョンであることができる。例えば、実環境が、実街灯柱を含む場合、対応する仮想オブジェクトは、実街灯柱と概ね同一高さおよび半径の円筒形を含んでもよい（街灯柱が略円筒形形状であり得ることを反映する）。仮想オブジェクトをこのように簡略化することは、算出効率を可能にすることができ、そのような仮想オブジェクト上で実施されるための計算を簡略化することができる。さらに、ＭＲＥのいくつかの実施例では、実環境内の全ての実オブジェクトが、対応する仮想オブジェクトと関連付けられなくてもよい。同様に、ＭＲＥのいくつかの実施例では、仮想環境内の全ての仮想オブジェクトが、対応する実オブジェクトと関連付けられなくてもよい。すなわち、いくつかの仮想オブジェクトが、任意の実世界対応物を伴わずに、ＭＲＥの仮想環境内にのみ存在し得る。
いくつかの実施例では、仮想オブジェクトは、時として著しく、対応する実オブジェクトのものと異なる、特性を有してもよい。例えば、ＭＲＥ内の実環境は、緑色の２本の枝が延びたサボテン、すなわち、とげだらけの無有生オブジェクトを含み得るが、ＭＲＥ内の対応する仮想オブジェクトは、人間の顔特徴および無愛想な態度を伴う、緑色の２本の腕の仮想キャラクタの特性を有してもよい。本実施例では、仮想オブジェクトは、ある特性（色、腕の数）において、その対応する実オブジェクトに類似するが、他の特性（顔特徴、性格）において、実オブジェクトと異なる。このように、仮想オブジェクトは、創造的、抽象的、誇張された、または架空の様式において、実オブジェクトを表す、または挙動（例えば、人間の性格）をそうでなければ無生物である実オブジェクトに付与する潜在性を有する。いくつかの実施例では、仮想オブジェクトは、実世界対応物を伴わない、純粋に架空の創造物（例えば、おそらく、実環境内の虚空に対応する場所における、仮想環境内の仮想モンスタ）であってもよい。
ユーザに、実環境を不明瞭にしながら、仮想環境を提示する、ＶＲシステムと比較して、ＭＲＥを提示する、複合現実システムは、仮想環境が提示される間、実環境が知覚可能なままであるであるという利点をもたらす。故に、複合現実システムのユーザは、実環境と関連付けられる視覚的およびオーディオキューを使用して、対応する仮想環境を体験し、それと相互作用することが可能である。実施例として、ＶＲシステムのユーザは、本明細書中に述べられるように、ユーザは、直接、仮想環境を知覚する、またはそれと相互作用しない可能性があるため、仮想環境内に表示される仮想オブジェクトを知覚する、またはそれと相互作用することに苦戦し得るが、ＭＲシステムのユーザは、その自身の実環境内の対応する実オブジェクトが見え、聞こえ、触れることによって、仮想オブジェクトと相互作用することが直感的および自然であると見出し得る。本レベルの相互作用は、ユーザの仮想環境との没入感、つながり、および関与の感覚を向上させ得る。同様に、実環境および仮想環境を同時に提示することによって、複合現実システムは、ＶＲシステムと関連付けられる負の心理学的感覚（例えば、認知的不協和）および負の物理的感覚（例えば、乗り物酔い）を低減させることができる。複合現実システムはさらに、実世界の我々の体験を拡張または改変し得る用途に関する多くの可能性をもたらす。
図１Ａは、ユーザ１１０が複合現実システム１１２を使用する、例示的な実環境１００を図示する。複合現実システム１１２は、ディスプレイ（例えば、透過型ディスプレイ）および１つまたはそれを上回るスピーカと、例えば、本明細書中に説明されるような１つまたはそれを上回るセンサ（例えば、カメラ）とを備えてもよい。示される実環境１００は、その中にユーザ１１０が立っている、長方形の部屋１０４Ａと、実オブジェクト１２２Ａ（ランプ）、１２４Ａ（テーブル）、１２６Ａ（ソファ）、および１２８Ａ（絵画）とを備える。部屋１０４Ａはさらに、場所座標１０６を備え、これは、実環境１００の原点と見なされ得る。図１Ａに示されるように、その原点を点１０６（世界座標）に伴う、環境／世界座標系１０８（ｘ－軸１０８Ｘ、ｙ－軸１０８Ｙ、およびｚ－軸１０８Ｚを備える）は、実環境１００のための座標空間を定義し得る。いくつかの実施形態では、環境／世界座標系１０８の原点１０６は、複合現実システム１１２の電源がオンにされた場所に対応してもよい。いくつかの実施形態では、環境／世界座標系１０８の原点１０６は、動作の間、リセットされてもよい。いくつかの実施例では、ユーザ１１０は、実環境１００内の実オブジェクトと見なされ得る。同様に、ユーザ１１０の身体部分（例えば、手、足）は、実環境１００内の実オブジェクトと見なされ得る。いくつかの実施例では、その原点を点１１５（例えば、ユーザ／聴取者／頭部座標）に伴う、ユーザ／聴取者／頭部座標系１１４（ｘ－軸１１４Ｘ、ｙ－軸１１４Ｙ、およびｚ－軸１１４Ｚを備える）は、その上に複合現実システム１１２が位置する、ユーザ／聴取者／頭部のための座標空間を定義し得る。ユーザ／聴取者／頭部座標系１１４の原点１１５は、複合現実システム１１２の１つまたはそれを上回るコンポーネントに対して定義されてもよい。例えば、ユーザ／聴取者／頭部座標系１１４の原点１１５は、複合現実システム１１２の初期較正等の間、複合現実システム１１２のディスプレイに対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、ユーザ／聴取者／頭部座標系１１４空間と環境／世界座標系１０８空間との間の変換を特性評価することができる。いくつかの実施形態では、左耳座標１１６および右耳座標１１７が、ユーザ／聴取者／頭部座標系１１４の原点１１５に対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、左耳座標１１６および右耳座標１１７とユーザ／聴取者／頭部座標系１１４空間との間の変換を特性評価することができる。ユーザ／聴取者／頭部座標系１１４は、ユーザの頭部または頭部搭載型デバイスに対する、例えば、環境／世界座標系１０８に対する場所の表現を簡略化することができる。同時位置特定およびマッピング（ＳＬＡＭ）、ビジュアルオドメトリ、または他の技法を使用して、ユーザ座標系１１４と環境座標系１０８との間の変換が、リアルタイムで決定および更新されることができる。
図１Ｂは、実環境１００に対応する、例示的な仮想環境１３０を図示する。示される仮想環境１３０は、実長方形部屋１０４Ａに対応する仮想長方形部屋１０４Ｂと、実オブジェクト１２２Ａに対応する仮想オブジェクト１２２Ｂと、実オブジェクト１２４Ａに対応する仮想オブジェクト１２４Ｂと、実オブジェクト１２６Ａに対応する仮想オブジェクト１２６Ｂとを備える。仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂと関連付けられるメタデータは、対応する実オブジェクト１２２Ａ、１２４Ａ、１２６Ａから導出される情報を含むことができる。仮想環境１３０は、加えて、仮想モンスタ１３２を備え、これは、実環境１００内の任意の実オブジェクトに対応しない。実環境１００内の実オブジェクト１２８Ａは、仮想環境１３０内の任意の仮想オブジェクトに対応しない。その原点を点１３４（持続的座標）に伴う、持続的座標系１３３（ｘ－軸１３３Ｘ、ｙ－軸１３３Ｙ、およびｚ－軸１３３Ｚを備える）は、仮想コンテンツのための座標空間を定義し得る。持続的座標系１３３の原点１３４は、実オブジェクト１２６Ａ等の１つまたはそれを上回る実オブジェクトと相対的に／それに対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現は、持続的座標系１３３空間と環境／世界座標系１０８空間との間の変換を特性評価することができる。いくつかの実施形態では、仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２はそれぞれ、持続的座標系１３３の原点１３４に対するその自身の持続的座標点を有してもよい。いくつかの実施形態では、複数の持続的座標系が存在してもよく、仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２はそれぞれ、１つまたはそれを上回る持続的座標系に対するその自身の持続的座標点を有してもよい。
図１Ａおよび１Ｂに関して、環境／世界座標系１０８は、実環境１００および仮想環境１３０の両方のための共有座標空間を定義する。示される実施例では、座標空間は、その原点を点１０６に有する。さらに、座標空間は、同一の３つの直交軸（１０８Ｘ、１０８Ｙ、１０８Ｚ）によって定義される。故に、実環境１００内の第１の場所および仮想環境１３０内の第２の対応する場所は、同一座標空間に関して説明されることができる。これは、同一座標が両方の場所を識別するために使用され得るため、実および仮想環境内の対応する場所を識別および表示するステップを簡略化する。しかしながら、いくつかの実施例では、対応する実および仮想環境は、共有座標空間を使用する必要がない。例えば、いくつかの実施例では（図示せず）、行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現は、実環境座標空間と仮想環境座標空間との間の変換を特性評価することができる。
図１Ｃは、同時に、実環境１００および仮想環境１３０の側面をユーザ１１０に複合現実システム１１２を介して提示する、例示的なＭＲＥ１５０を図示する。示される実施例では、ＭＲＥ１５０は、同時に、ユーザ１１０に、実環境１００からの実オブジェクト１２２Ａ、１２４Ａ、１２６Ａ、および１２８Ａ（例えば、複合現実システム１１２のディスプレイの透過性部分を介して）と、仮想環境１３０からの仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２（例えば、複合現実システム１１２のディスプレイアクティブディスプレイ部分を介して）とを提示する。本明細書中に記載されるように、原点１０６は、ＭＲＥ１５０に対応する座標空間のための原点として作用し得、座標系１０８は、座標空間のためのｘ－軸、ｙ－軸、およびｚ－軸を定義する。
示される実施例では、複合現実オブジェクトは、座標空間１０８内の対応する場所を占有する、対応する対の実オブジェクトおよび仮想オブジェクト（すなわち、１２２Ａ／１２２Ｂ、１２４Ａ／１２４Ｂ、１２６Ａ／１２６Ｂ）を備える。いくつかの実施例では、実オブジェクトおよび仮想オブジェクトは両方とも、同時に、ユーザ１１０に可視であってもよい。これは、例えば、仮想オブジェクトが対応する実オブジェクトのビューを拡張させるように設計される情報を提示する、インスタンスにおいて望ましくあり得る（仮想オブジェクトが古代の損傷された彫像の欠けた部分を提示する、博物館用途等）。いくつかの実施例では、仮想オブジェクト（１２２Ｂ、１２４Ｂ、および／または１２６Ｂ）は、対応する実オブジェクト（１２２Ａ、１２４Ａ、および／または１２６Ａ）をオクルードするように、表示されてもよい（例えば、ピクセル化オクルージョンシャッタを使用する、アクティブピクセル化オクルージョンを介して）。これは、例えば、仮想オブジェクトが対応する実オブジェクトのための視覚的置換として作用する、インスタンスにおいて望ましくあり得る（無生物実オブジェクトが「生きている」キャラクタとなる、双方向ストーリーテリング用途等）。
いくつかの実施例では、実オブジェクト（例えば、１２２Ａ、１２４Ａ、１２６Ａ）は、必ずしも、仮想オブジェクトを構成するとは限らない、仮想コンテンツまたはヘルパデータと関連付けられてもよい。仮想コンテンツまたはヘルパデータは、複合現実環境内の仮想オブジェクトの処理またはハンドリングを促進することができる。例えば、そのような仮想コンテンツは、対応する実オブジェクトの２次元表現、対応する実オブジェクトと関連付けられるカスタムアセットタイプ、または対応する実オブジェクトと関連付けられる統計的データを含み得る。本情報は、不必要な算出オーバーヘッドを被ることなく、実オブジェクトに関わる計算を可能にする、または促進することができる。
いくつかの実施例では、本明細書中に説明される提示はまた、オーディオ側面を組み込んでもよい。例えば、ＭＲＥ１５０では、仮想モンスタ１３２は、モンスタがＭＲＥ１５０の周囲を歩き回るにつれて生成される、足音効果等の１つまたはそれを上回るオーディオ信号と関連付けられ得る。本明細書中に説明されるように、複合現実システム１１２のプロセッサは、ＭＲＥ１５０内の全てのそのような音の混合および処理された合成に対応するオーディオ信号を算出し、複合現実システム１１２内に含まれる１つまたはそれを上回るスピーカおよび／または１つまたはそれを上回る外部スピーカを介して、オーディオ信号をユーザ１１０に提示することができる。
例示的な複合現実システム
例示的な複合現実システム１１２は、ディスプレイ（接眼ディスプレイであり得る、左および右透過型ディスプレイと、ディスプレイからの光をユーザの眼に結合するための関連付けられるコンポーネントとを備え得る）と、左および右スピーカ（例えば、それぞれ、ユーザの左および右耳に隣接して位置付けられる）と、慣性測定ユニット（ＩＭＵ）（例えば、頭部デバイスのつるのアームに搭載される）と、直交コイル電磁受信機（例えば、左つる部品に搭載される）と、ユーザから離れるように配向される、左および右カメラ（例えば、深度（飛行時間）カメラ）と、ユーザに向かって配向される、左および右眼カメラ（例えば、ユーザの眼移動を検出するため）とを備える、ウェアラブル頭部デバイス（例えば、ウェアラブル拡張現実または複合現実頭部デバイス）を含むことができる。しかしながら、複合現実システム１１２は、任意の好適なディスプレイ技術および任意の好適なセンサ（例えば、光学、赤外線、音響、ＬＩＤＡＲ、ＥＯＧ、ＧＰＳ、磁気）を組み込むことができる。加えて、複合現実システム１１２は、ネットワーキング特徴（例えば、Ｗｉ－Ｆｉ能力）を組み込み、他の複合現実システムを含む、他のデバイスおよびシステムと通信してもよい。複合現実システム１１２はさらに、バッテリ（ユーザの腰部の周囲に装着されるように設計されるベルトパック等の補助ユニット内に搭載されてもよい）と、プロセッサと、メモリとを含んでもよい。複合現実システム１１２のウェアラブル頭部デバイスは、ユーザの環境に対するウェアラブル頭部デバイスの座標セットを出力するように構成される、ＩＭＵまたは他の好適なセンサ等の追跡コンポーネントを含んでもよい。いくつかの実施例では、追跡コンポーネントは、入力をプロセッサに提供し、同時位置特定およびマッピング（ＳＬＡＭ）および／またはビジュアルオドメトリアルゴリズムを実施してもよい。いくつかの実施例では、複合現実システム１１２はまた、ハンドヘルドコントローラ３００、および／または本明細書中にさらに説明されるように、ウェアラブルベルトパックであり得る補助ユニット３２０を含んでもよい。
図２Ａ－２Ｄは、ＭＲＥ（ＭＲＥ１５０に対応し得る）または他の仮想環境をユーザに提示するために使用され得る、例示的な複合現実システム２００（複合現実システム１１２に対応し得る）のコンポーネントを図示する。図２Ａは、例示的複合現実システム２００内に含まれるウェアラブル頭部デバイス２１０２の斜視図を図示する。図２Ｂは、ユーザの頭部２２０２上に装着されるウェアラブル頭部デバイス２１０２の上面図を図示する。図２Ｃは、ウェアラブル頭部デバイス２１０２の正面図を図示する。図２Ｄは、ウェアラブル頭部デバイス２１０２の例示的接眼レンズ２１１０の縁視図を図示する。図２Ａ－２Ｃに示されるように、例示的ウェアラブル頭部デバイス２１０２は、例示的な左接眼レンズ（例えば、左透明導波管セット接眼レンズ）２１０８と、例示的な右接眼レンズ（例えば、右透明導波管セット接眼レンズ）２１１０とを含む。各接眼レンズ２１０８および２１１０は、それを通して実環境が可視となる、透過性要素と、実環境に重複するディスプレイ（例えば、画像毎に変調された光を介して）を提示するためのディスプレイ要素とを含むことができる。いくつかの実施例では、そのようなディスプレイ要素は、画像毎に変調された光の流動を制御するための表面回折光学要素を含むことができる。例えば、左接眼レンズ２１０８は、左内部結合格子セット２１１２と、左直交瞳拡張（ＯＰＥ）格子セット２１２０と、左出射（出力）瞳拡張（ＥＰＥ）格子セット２１２２とを含むことができる。同様に、右接眼レンズ２１１０は、右内部結合格子セット２１１８と、右ＯＰＥ格子セット２１１４と、右ＥＰＥ格子セット２１１６とを含むことができる。画像毎に変調された光は、内部結合格子２１１２および２１１８、ＯＰＥ２１１４および２１２０、およびＥＰＥ２１１６および２１２２を介して、ユーザの眼に転送されることができる。各内部結合格子セット２１１２、２１１８は、光をその対応するＯＰＥ格子セット２１２０、２１１４に向かって偏向させるように構成されることができる。各ＯＰＥ格子セット２１２０、２１１４は、光をその関連付けられるＥＰＥ２１２２、２１１６に向かって下方に漸次的に偏向させ、それによって、形成されている射出瞳を水平に延在させるように設計されることができる。各ＥＰＥ２１２２、２１１６は、その対応するＯＰＥ格子セット２１２０、２１１４から受信された光の少なくとも一部を、接眼レンズ２１０８、２１１０の背後に定義される、ユーザアイボックス位置（図示せず）に外向きに漸次的に再指向し、アイボックスに形成される射出瞳を垂直に延在させるように構成されることができる。代替として、内部結合格子セット２１１２および２１１８、ＯＰＥ格子セット２１１４および２１２０、およびＥＰＥ格子セット２１１６および２１２２の代わりに、接眼レンズ２１０８および２１１０は、ユーザの眼への画像毎に変調された光の結合を制御するための格子および／または屈折および反射性特徴の他の配列を含むことができる。
いくつかの実施例では、ウェアラブル頭部デバイス２１０２は、左つるのアーム２１３０と、右つるのアーム２１３２とを含むことができ、左つるのアーム２１３０は、左スピーカ２１３４を含み、右つるのアーム２１３２は、右スピーカ２１３６を含む。直交コイル電磁受信機２１３８は、左こめかみ部品またはウェアラブル頭部ユニット２１０２内の別の好適な場所に位置することができる。慣性測定ユニット（ＩＭＵ）２１４０は、右つるのアーム２１３２またはウェアラブル頭部デバイス２１０２内の別の好適な場所に位置することができる。ウェアラブル頭部デバイス２１０２はまた、左深度（例えば、飛行時間）カメラ２１４２と、右深度カメラ２１４４とを含むことができる。深度カメラ２１４２、２１４４は、好適には、ともにより広い視野を網羅するように、異なる方向に配向されることができる。
図２Ａ－２Ｄに示される実施例では、画像毎に変調された光２１２４の左源は、左内部結合格子セット２１１２を通して、左接眼レンズ２１０８の中に光学的に結合されることができ、画像毎に変調された光２１２６の右源は、右内部結合格子セット２１１８を通して、右接眼レンズ２１１０の中に光学的に結合されることができる。画像毎に変調された光２１２４、２１２６の源は、例えば、光ファイバスキャナ、デジタル光処理（ＤＬＰ）チップまたはシリコン上液晶（ＬＣｏＳ）変調器等の電子光変調器を含む、プロジェクタ、または側面あたり１つまたはそれを上回るレンズを使用して、内部結合格子セット２１１２、２１１８の中に結合される、マイクロ発光ダイオード（μＬＥＤ）またはマイクロ有機発光ダイオード（μＯＬＥＤ）パネル等の発光型ディスプレイを含むことができる。入力結合格子セット２１１２、２１１８は、画像毎に変調された光２１２４、２１２６の源からの光を、接眼レンズ２１０８、２１１０のための全内部反射（ＴＩＲ）に関する臨界角を上回る角度に偏向させることができる。ＯＰＥ格子セット２１１４、２１２０は、伝搬する光をＴＩＲによってＥＰＥ格子セット２１１６、２１２２に向かって下方に漸次的に偏向させる。ＥＰＥ格子セット２１１６、２１２２は、ユーザの眼の瞳孔を含む、ユーザの顔に向かって、光を漸次的に結合する。
いくつかの実施例では、図２Ｄに示されるように、左接眼レンズ２１０８および右接眼レンズ２１１０はそれぞれ、複数の導波管２４０２を含む。例えば、各接眼レンズ２１０８、２１１０は、複数の個々の導波管を含むことができ、それぞれ、個別の色チャネル（例えば、赤色、青色、および緑色）専用である。いくつかの実施例では、各接眼レンズ２１０８、２１１０は、複数のセットのそのような導波管を含むことができ、各セットは、異なる波面曲率を放出される光に付与するように構成される。波面曲率は、例えば、ユーザの正面のある距離（例えば、波面曲率の逆数に対応する距離）に位置付けられる仮想オブジェクトを提示するように、ユーザの眼に対して凸面であってもよい。いくつかの実施例では、ＥＰＥ格子セット２１１６、２１２２は、各ＥＰＥを横断して出射する光のＰｏｙｎｔｉｎｇベクトルを改変することによって凸面波面曲率をもたらすために、湾曲格子溝を含むことができる。
いくつかの実施例では、表示されるコンテンツが３次元である知覚を作成するために、立体視的に調節される左および右眼画像は、画像毎に光変調器２１２４、２１２６および接眼レンズ２１０８、２１１０を通して、ユーザに提示されることができる。３次元仮想オブジェクトの提示の知覚される現実性は、仮想オブジェクトが立体視左および右画像によって示される距離に近似する距離に表示されるように、導波管（したがって、対応する波面曲率）を選択することによって向上されることができる。本技法はまた、立体視左および右眼画像によって提供される深度知覚キューと人間の眼の自動遠近調節（例えば、オブジェクト距離依存焦点）との間の差異によって生じ得る、一部のユーザによって被られる乗り物酔いを低減させ得る。
図２Ｄは、例示的ウェアラブル頭部デバイス２１０２の右接眼レンズ２１１０の上部からの縁視図を図示する。図２Ｄに示されるように、複数の導波管２４０２は、３つの導波管２４０４の第１のサブセットと、３つの導波管２４０６の第２のサブセットとを含むことができる。導波管２４０４、２４０６の２つのサブセットは、異なる波面曲率を出射する光に付与するために異なる格子線曲率を特徴とする、異なるＥＰＥ格子によって区別されることができる。導波管２４０４、２４０６のサブセットのそれぞれ内において、各導波管は、異なるスペクトルチャネル（例えば、赤色、緑色、および青色スペクトルチャネルのうちの１つ）をユーザの右眼２２０６に結合するために使用されることができる。（図２Ｄには図示されないが、左接眼レンズ２１０８の構造は、右接眼レンズ２１１０の構造に類似する。）
図３Ａは、複合現実システム２００の例示的なハンドヘルドコントローラコンポーネント３００を図示する。いくつかの実施例では、ハンドヘルドコントローラ３００は、把持部分３４６と、上部表面３４８に沿って配置される、１つまたはそれを上回るボタン３５０とを含む。いくつかの実施例では、ボタン３５０は、例えば、カメラまたは他の光学センサ（複合現実システム２００の頭部ユニット（例えば、ウェアラブル頭部デバイス２１０２）内に搭載され得る）と併せて、ハンドヘルドコントローラ３００の６自由度（６ＤＯＦ）運動を追跡するための光学追跡標的として使用するために構成されてもよい。いくつかの実施例では、ハンドヘルドコントローラ３００は、ウェアラブル頭部デバイス２１０２に対する位置または配向等の位置または配向を検出するための追跡コンポーネント（例えば、ＩＭＵまたは他の好適なセンサ）を含む。いくつかの実施例では、そのような追跡コンポーネントは、ハンドヘルドコントローラ３００のハンドル内に位置付けられてもよく、および／またはハンドヘルドコントローラに機械的に結合されてもよい。ハンドヘルドコントローラ３００は、ボタンの押下状態、またはハンドヘルドコントローラ３００の位置、配向、および／または運動（例えば、ＩＭＵを介して）のうちの１つまたはそれを上回るものに対応する、１つまたはそれを上回る出力信号を提供するように構成されることができる。そのような出力信号は、複合現実システム２００のプロセッサへの入力として使用されてもよい。そのような入力は、ハンドヘルドコントローラの位置、配向、および／または移動（さらに言うと、コントローラを保持するユーザの手の位置、配向、および／または移動）に対応し得る。そのような入力はまた、ユーザがボタン３５０を押下したことに対応し得る。
図３Ｂは、複合現実システム２００の例示的な補助ユニット３２０を図示する。補助ユニット３２０は、エネルギーを提供し、システム２００を動作するためのバッテリを含むことができ、プログラムを実行し、システム２００を動作させるためのプロセッサを含むことができる。示されるように、例示的補助ユニット３２０は、補助ユニット３２０をユーザのベルトに取り付ける等のためのクリップ２１２８を含む。他の形状因子も、補助ユニット３２０のために好適であって、ユニットをユーザのベルトに搭載することを伴わない、形状因子を含むことも明白となるであろう。いくつかの実施例では、補助ユニット３２０は、例えば、電気ワイヤおよび光ファイバを含み得る、多管式ケーブルを通して、ウェアラブル頭部デバイス２１０２に結合される。補助ユニット３２０とウェアラブル頭部デバイス２１０２との間の無線接続もまた、使用されることができる。
いくつかの実施例では、複合現実システム２００は、１つまたはそれを上回るマイクロホンを含み、音を検出し、対応する信号を複合現実システムに提供することができる。いくつかの実施例では、マイクロホンは、ウェアラブル頭部デバイス２１０２に取り付けられる、またはそれと統合されてもよく、ユーザの音声を検出するように構成されてもよい。いくつかの実施例では、マイクロホンは、ハンドヘルドコントローラ３００および／または補助ユニット３２０に取り付けられる、またはそれと統合されてもよい。そのようなマイクロホンは、環境音、周囲雑音、ユーザまたは第三者の音声、または他の音を検出するように構成されてもよい。
図４は、本明細書中に説明される複合現実システム２００（図１に関する複合現実システム１１２に対応し得る）等の例示的な複合現実システムに対応し得る、例示的な機能ブロック図を示す。図４に示されるように、例示的ハンドヘルドコントローラ４００Ｂ（ハンドヘルドコントローラ３００（「トーテム」）に対応し得る）は、トーテム／ウェアラブル頭部デバイス６自由度（６ＤＯＦ）トーテムサブシステム４０４Ａを含み、例示的ウェアラブル頭部デバイス４００Ａ（ウェアラブル頭部デバイス２１０２に対応し得る）は、トーテム／ウェアラブル頭部デバイス６ＤＯＦサブシステム４０４Ｂを含む。実施例では、６ＤＯＦトーテムサブシステム４０４Ａおよび６ＤＯＦサブシステム４０４Ｂは、協働し、ウェアラブル頭部デバイス４００Ａに対するハンドヘルドコントローラ４００Ｂの６つの座標（例えば、３つの平行移動方向におけるオフセットおよび３つの軸に沿った回転）を決定する。６自由度は、ウェアラブル頭部デバイス４００Ａの座標系に対して表されてもよい。３つの平行移動オフセットは、そのような座標系内におけるＸ、Ｙ、およびＺオフセット、平行移動行列、またはある他の表現として表されてもよい。回転自由度は、ヨー、ピッチ、およびロール回転のシーケンスとして、回転行列として、四元数として、またはある他の表現として表されてもよい。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａ、ウェアラブル頭部デバイス４００Ａ内に含まれる、１つまたはそれを上回る深度カメラ４４４（および／または１つまたはそれを上回る非深度カメラ）、および／または１つまたはそれを上回る光学標的（例えば、本明細書中に説明されるようなハンドヘルドコントローラ４００Ｂのボタン３５０またはハンドヘルドコントローラ４００Ｂ内に含まれる専用光学標的）は、６ＤＯＦ追跡のために使用されることができる。いくつかの実施例では、ハンドヘルドコントローラ４００Ｂは、本明細書中に説明されるようなカメラを含むことができ、ウェアラブル頭部デバイス４００Ａは、カメラと併せた光学追跡のための光学標的を含むことができる。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａおよびハンドヘルドコントローラ４００Ｂはそれぞれ、３つの直交して配向されるソレノイドのセットを含み、これは、３つの区別可能な信号を無線で送信および受信するために使用される。受信するために使用される、コイルのそれぞれ内で受信される３つの区別可能な信号の相対的大きさを測定することによって、ハンドヘルドコントローラ４００Ｂに対するウェアラブル頭部デバイス４００Ａの６ＤＯＦが、決定され得る。加えて、６ＤＯＦトーテムサブシステム４０４Ａは、改良された正確度および／またはハンドヘルドコントローラ４００Ｂの高速移動に関するよりタイムリーな情報を提供するために有用である、慣性測定ユニット（ＩＭＵ）を含むことができる。
いくつかの実施例では、例えば、座標系１０８に対するウェアラブル頭部デバイス４００Ａの移動を補償するために、座標をローカル座標空間（例えば、ウェアラブル頭部デバイス４００Ａに対して固定される座標空間）から慣性座標空間（例えば、実環境に対して固定される座標空間）に変換することが必要になり得る。例えば、そのような変換は、ウェアラブル頭部デバイス４００Ａのディスプレイが、ディスプレイ上の固定位置および配向（例えば、ディスプレイの右下角における同一位置）ではなく仮想オブジェクトを実環境に対する予期される位置および配向に提示し（例えば、ウェアラブル頭部デバイスの位置および配向にかかわらず、前方に面した実椅子に着座している仮想人物）、仮想オブジェクトが実環境内に存在する（かつ、例えば、ウェアラブル頭部デバイス４００Ａが偏移および回転するにつれて、実環境内に不自然に位置付けられて現れない）という錯覚を保存するために必要であり得る。いくつかの実施例では、座標空間間の補償変換が、座標系１０８に対するウェアラブル頭部デバイス４００Ａの変換を決定するために、ＳＬＡＭおよび／またはビジュアルオドメトリプロシージャを使用して、深度カメラ４４４からの画像を処理することによって決定されることができる。図４に示される実施例では、深度カメラ４４４は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６に結合され、画像をブロック４０６に提供することができる。ＳＬＡＭ／ビジュアルオドメトリブロック４０６実装は、本画像を処理し、次いで、頭部座標空間と別の座標空間（例えば、慣性座標空間）との間の変換を識別するために使用され得る、ユーザの頭部の位置および配向を決定するように構成される、プロセッサを含むことができる。同様に、いくつかの実施例では、ユーザの頭部姿勢および場所に関する情報の付加的源が、ＩＭＵ４０９から取得される。ＩＭＵ４０９からの情報は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６からの情報と統合され、改良された正確度および／またはユーザの頭部姿勢および位置の高速調節に関する情報をよりタイムリーに提供することができる。
いくつかの実施例では、深度カメラ４４４は、ウェアラブル頭部デバイス４００Ａのプロセッサ内に実装され得る、手のジェスチャトラッカ４１１に、３Ｄ画像を供給することができる。手のジェスチャトラッカ４１１は、例えば、深度カメラ４４４から受信された３Ｄ画像を手のジェスチャを表す記憶されたパターンに合致させることによって、ユーザの手のジェスチャを識別することができる。ユーザの手のジェスチャを識別する他の好適な技法も、明白となるであろう。
いくつかの実施例では、１つまたはそれを上回るプロセッサ４１６は、ウェアラブル頭部デバイスの６ＤＯＦヘッドギヤサブシステム４０４Ｂ、ＩＭＵ４０９、ＳＬＡＭ／ビジュアルオドメトリブロック４０６、深度カメラ４４４、および／または手のジェスチャトラッカ４１１からのデータを受信するように構成されてもよい。プロセッサ４１６はまた、制御信号を６ＤＯＦトーテムシステム４０４Ａに送信し、そこから受信することができる。プロセッサ４１６は、ハンドヘルドコントローラ４００Ｂがテザリングされない実施例等では、無線で、６ＤＯＦトーテムシステム４０４Ａに結合されてもよい。プロセッサ４１６はさらに、オーディオ／視覚的コンテンツメモリ４１８、グラフィカル処理ユニット（ＧＰＵ）４２０、および／またはデジタル信号プロセッサ（ＤＳＰ）オーディオ空間化装置４２２等の付加的コンポーネントと通信してもよい。ＤＳＰオーディオ空間化装置４２２は、頭部関連伝達関数（ＨＲＴＦ）メモリ４２５に結合されてもよい。ＧＰＵ４２０は、画像毎に変調された光の左源４２４に結合される、左チャネル出力と、画像毎に変調された光の右源４２６に結合される、右チャネル出力とを含むことができる。ＧＰＵ４２０は、例えば、図２Ａ－２Ｄに関して本明細書中に説明されるように、立体視画像データを画像毎に変調された光の源４２４、４２６に出力することができる。ＤＳＰオーディオ空間化装置４２２は、オーディオを左スピーカ４１２および／または右スピーカ４１４に出力することができる。ＤＳＰオーディオ空間化装置４２２は、プロセッサ４１９から、ユーザから仮想音源（例えば、ハンドヘルドコントローラ３２０を介して、ユーザによって移動され得る）への方向ベクトルを示す入力を受信することができる。方向ベクトルに基づいて、ＤＳＰオーディオ空間化装置４２２は、対応するＨＲＴＦを決定することができる（例えば、ＨＲＴＦにアクセスすることによって、または複数のＨＲＴＦを補間することによって）。ＤＳＰオーディオ空間化装置４２２は、次いで、決定されたＨＲＴＦを仮想オブジェクトによって生成された仮想音に対応するオーディオ信号等のオーディオ信号に適用することができる。これは、複合現実環境内の仮想音に対するユーザの相対的位置および配向を組み込むことによって、すなわち、その仮想音が実環境内の実音である場合に聞こえるであろうもののユーザの予期に合致する仮想音を提示することによって、仮想音の信憑性および現実性を向上させることができる。
図４に示されるようないくつかの実施例では、プロセッサ４１６、ＧＰＵ４２０、ＤＳＰオーディオ空間化装置４２２、ＨＲＴＦメモリ４２５、およびオーディオ／視覚的コンテンツメモリ４１８のうちの１つまたはそれを上回るものは、補助ユニット４００Ｃ（本明細書中に説明される補助ユニット３２０に対応し得る）内に含まれてもよい。補助ユニット４００Ｃは、バッテリ４２７を含み、そのコンポーネントを給電し、および／または電力をウェアラブル頭部デバイス４００Ａまたはハンドヘルドコントローラ４００Ｂに供給してもよい。そのようなコンポーネントを、ユーザの腰部に搭載され得る、補助ユニット内に含むことは、ウェアラブル頭部デバイス４００Ａのサイズおよび重量を限定することができ、これは、ひいては、ユーザの頭部および頸部の疲労を低減させることができる。
図４は、例示的な複合現実システムの種々のコンポーネントに対応する要素を提示するが、これらのコンポーネントの種々の他の好適な配列も、当業者に明白となるであろう。例えば、補助ユニット４００Ｃと関連付けられているような図４に提示される要素は、代わりに、ウェアラブル頭部デバイス４００Ａまたはハンドヘルドコントローラ４００Ｂと関連付けられ得る。さらに、いくつかの複合現実システムは、ハンドヘルドコントローラ４００Ｂまたは補助ユニット４００Ｃを完全に無くしてもよい。そのような変更および修正は、開示される実施例の範囲内に含まれるものとして理解されるべきである。
同時位置特定およびマッピング
仮想コンテンツが実コンテンツに対応するように、仮想コンテンツを複合現実環境内に表示することは、困難であり得る。例えば、図１Ｃにおける仮想オブジェクト１２２Ｂを実オブジェクト１２２Ａと同一場所に表示することが望ましくあり得る。そうすることは、複合現実システム１１２のいくつかの能力を伴い得る。例えば、複合現実システム１１２は、実環境１０４Ａおよび実環境１０４Ａ内の実オブジェクト（例えば、ランプ１２２Ａ）の３次元マップを作成してもよい。複合現実システム１１２はまた、実環境１０４Ａ内のその場所（実環境内のユーザの場所に対応し得る）を確立してもよい。複合現実システム１１２はさらに、実環境１０４Ａ内のその配向（実環境内のユーザの配向に対応し得る）を確立してもよい。複合現実システム１１２はまた、実環境１０４Ａに対するその移動、例えば、線形および／または角速度および線形および／または角加速（実環境に対するユーザの移動に対応し得る）を確立してもよい。ＳＬＡＭは、ユーザ１１０が、部屋１０４Ａを動き回り、実オブジェクト１２２Ａから視線を逸らし、実オブジェクト１２２Ａに視線を戻す場合でも、仮想オブジェクト１２２Ｂを実オブジェクト１２２Ａと同一場所に表示するための１つの方法であり得る。
さらに、正確であるが、算出上効率的かつ短待ち時間様式において、ＳＬＡＭを起動することが望ましくあり得る。本明細書で使用されるように、待ち時間は、複合現実システムのコンポーネントの位置または配向の変化（例えば、ウェアラブル頭部デバイスの回転）と複合現実システム内に表されるようなその変化の反映（例えば、ウェアラブル頭部デバイスのディスプレイに提示される視野の表示角度）との間の時間遅延を指し得る。算出非効率性および／または長待ち時間は、複合現実システム１１２を用いたユーザの体験に悪影響を及ぼし得る。例えば、ユーザ１１０が、部屋１０４Ａを見回す場合、仮想オブジェクトが、ユーザの運動および／または長待ち時間の結果として、「微振動」するように現れ得る。正確度は、没入型の複合現実環境を生産するために不可欠であり得、そうでなければ、実コンテンツと競合する、仮想コンテンツは、ユーザに、仮想コンテンツと実コンテンツとの間の違いを思い出させ、ユーザの没入感を減少させ得る。さらに、ある場合には、待ち時間は、一部のユーザにとって、乗り物酔い、頭痛、または他の負の物理的体験をもたらし得る。算出非効率性は、複合現実システム１１２が、限定された電源（例えば、バッテリ）に依存する、モバイルシステムである、実施形態では、問題の悪化を引き起こし得る。本明細書に説明されるシステムおよび方法は、より正確であって、算出上効率的であって、および／またはより短い待ち時間のＳＬＡＭの結果として、改良されたユーザ体験を生産することができる。
視覚的慣性オドメトリ
図５は、バンドル調整および独立型重力推定を使用する、視覚的慣性オドメトリ（「ＶＩＯ」）のための例示的パイプラインを図示する。ステップ５０４では、１つまたはそれを上回るセンサ５０２からのセンサ入力が、処理されることができる。いくつかの実施形態では、センサ５０２は、ＩＭＵであることができ、ステップ５０４においてＩＭＵ入力を処理するステップは、ＩＭＵ測定値を予備積分するステップを含むことができる。ＩＭＵ測定値を予備積分するステップは、単一の相対的運動制約をＩＭＵから取得される一連の慣性測定値から決定するステップを含むことができる。ＩＭＵ測定値を予備積分し、一連の慣性測定値全体を積分する算出複雑性を低減させることが望ましくあり得る。例えば、ビデオ記録内で捕捉されたシーケンシャルフレーム（また、キーフレームでもあり得る）間で収集された慣性測定値は、ＩＭＵによって辿られる、経路全体についてのデータを含み得る。キーフレームは、時間（例えば、前のキーフレーム選択以降の時間）、識別される特徴（例えば、前のキーフレームと比較して、十分な新しい識別される特徴を有する）、または他の基準に基づいて特別に選択される、フレームであり得る。しかしながら、いくつかの実施形態では、ＶＩＯ方法は、（例えば、第１のフレームにおける）開始点と、（例えば、第２のフレームにおける）終了点とについてのデータのみを必要とし得る。いくつかの実施形態では、ＶＩＯ方法は、現在の時点（例えば、直近のフレーム）と、前の状態（例えば、前のフレーム）とについてのデータのみを必要とし得る。ＶＩＯ算出は、慣性測定値データを予備積分し、（例えば、第１のフレームから第２のフレームまでの）単一の相対的運動制約を生産することによって、簡略化され得る。予備積分された慣性測定値はさらに、他の予備積分された慣性測定値と、測定値の両方のセットを横断して予備積分を繰り返す必要なく、組み合わせられ得る。これは、例えば、キーフレーム間の慣性測定値が、予備積分されるが、キーフレームがもはや使用されるべきではないことが後に決定されるとき（例えば、冗長または陳腐化したものとして削除されたため、または最適化が、最初に、第１のキーフレームのサブセット上で実施され、次いで、第１の最適化の結果を再使用しながら、異なるキーフレームのセット上で実施される場合）、有用であり得る。例えば、フレーム１とフレーム２との間の慣性測定値が、すでに予備積分されており、フレーム２とフレーム３との間の慣性測定値が、すでに予備積分されている場合、予備積分された測定の両方のセットが、フレーム２が最適化から除去される場合、新しい予備積分を実施せずに、組み合わせられることができる。また、これは、任意の数のフレームを横断して実施され得ることが検討される。
いくつかの実施形態では、ステップ５０４は、カメラフレーム内で識別される特徴を追跡するステップを含むことができ、カメラフレームは、センサ５０２からのセンサ入力であることができる。例えば、各画像は、コンピュータビジョンアルゴリズムを通してフィードされ、画像内の特徴（例えば、角および縁）を識別することができる。隣接または近接近するフレームが、相互に比較され、フレームを横断して、特徴間の対応を決定することができる（例えば、１つの特定の角が、２つの隣接するフレーム内で識別されることができる）。いくつかの実施形態では、隣接性は、時間的隣接性（例えば、連続して捕捉されたフレーム）および／または空間的隣接性（例えば連続して捕捉されていない場合がある、類似特徴を捕捉する、フレーム）を指し得る。いくつかの実施形態では、対応する特徴は、識別される特徴の所与の半径内で検索されることができる。検索半径は、固定またはフレーム間の速度の関数であることができる（例えば、ＩＭＵによって測定された線形加速を積分することによって計算される）。
ステップ５０６では、ＶＩＯ算出が、起動されることができる。ＶＩＯは、ＳＬＡＭにおいて使用するための環境内の特徴を観察、追跡、および位置特定するための方法であり得る。ＶＩＯは、複数のタイプのセンサからの情報ストリームを含むことができる。例えば、ＶＩＯは、視覚的センサ（例えば、１つまたはそれを上回るカメラ）および慣性センサ（例えば、ＩＭＵ）からの情報ストリームを含むことができる。ＶＩＯの一例示的方法では、移動する複合現実システム（例えば、複合現実システム１１２、２００）上に搭載されるカメラが、複数の画像（例えば、ビデオ記録内のフレーム）を記録／捕捉することができる。各画像は、コンピュータビジョンアルゴリズムを通してフィードされ、画像内の特徴（例えば、角および縁）を識別することができる。隣接または近接近するフレームが、相互に比較され、フレームを横断して、特徴間の対応を決定することができる（例えば、１つの特定の角が、２つのシーケンシャルフレーム内で識別されることができる）。いくつかの実施形態では、３次元マップが、（例えば、立体視画像から）構築されることができ、識別される特徴は、３次元マップ内に位置することができる。
いくつかの実施形態では、ＩＭＵセンサからの慣性情報は、１つまたはそれを上回るカメラからの視覚的情報と結合され、フレームを横断して、識別される特徴の予期される位置を照合および／または予測することができる。例えば、２つの捕捉されたフレーム間で集められたＩＭＵデータは、線形加速および／または角速度を含み得る。ＩＭＵが、１つまたはそれを上回るカメラ（例えば、両方が、ウェアラブル頭部デバイスに内蔵される）に結合される、実施形態では、ＩＭＵデータは、１つまたはそれを上回るカメラに関する移動を決定することができる。本情報は、３次元マップ内のその推定される場所に基づいて、および１つまたはそれを上回るカメラの移動に基づいて、捕捉された画像内において、識別される特徴が見られ得る、場所を推定するために使用されることができる。いくつかの実施形態では、３次元マップ内の識別される特徴の新しく推定される位置は、２次元画像上に投影され、１つまたはそれを上回るカメラが識別される特徴を捕捉し得る方法を再現することができる。識別される特徴の推定される場所の本投影は、次いで、異なる画像（例えば、後続フレーム）と比較されることができる。推定される場所の投影と観察される場所との間の差異は、識別される特徴に関する再投影誤差であり得る。
ＩＭＵもまた、ＶＩＯ最適化に対する誤差に寄与し得る。例えば、センサ雑音は、ＩＭＵデータ内の誤差に寄与し得る。ＩＭＵセンサ出力はまた、ＩＭＵの物理的性質（例えば、温度または機械的応力）の関数であり得る、バイアス（例えば、移動を伴わない場合でも存在し得る、記録される測定値内のオフセット）を含み得る。いくつかの実施形態では、ＩＭＵデータにおける誤差は、ＩＭＵデータを経時的に積分する結果として、蓄積し得る。再投影誤差はまた、３次元マップ内の識別される特徴の場所の不正確な推定値の関数であり得る。例えば、識別される特徴の元々仮定される位置が、正しくない場合、移動後のその特徴に関して新しく推定される位置もまた、正しくなくなり得、その結果、２次元画像上への新しく推定される位置の投影もまた、正しくなくなり得る。ＶＩＯ最適化は、再投影誤差およびＩＭＵ誤差を含み得る、全体的誤差を最小限にすることが望ましくあり得る。
図６Ａ－６Ｂは、ＶＩＯ算出の例示的グラフを図示する。例示的グラフは、視覚的に、いくつかの変数の関数の非線形因子分解を描写し得る。例えば、変数（例えば、６０２ａおよび６０２ｂ）は、円形ノードとして表され得、変数の関数（例えば、因子とも呼ばれる、６０４、６０６、および６１０ａ）は、正方形ノードとして表され得る。各因子は、任意の結び付けられた変数の関数であり得る。描写される実施形態では、ノード６０２ａおよび６０２ｂは、ｔ＝１において捕捉された画像と関連付けられるデータを表し得る。ｔ＝２において捕捉された画像およびｔ＝３において捕捉された画像と関連付けられるデータも同様に、例示的実施形態内に表示される。ノード６０２ａは、加速測定値を経時的に積分することによって取得され得る、バイアス（例えば、ＩＭＵバイアス）および速度を含む、可変情報を表し得る。ノード６０２ａは、カメラがある画像を捕捉したときの時間ｔ＝１における、ＩＭＵのバイアスおよびＩＭＵに添着されたカメラの速度を表し得る。ノード６０２ｂは、時間ｔ＝１における、姿勢推定値を表し得る。姿勢推定値は、（ＶＩＯの結果であり得る）３次元空間内のカメラの位置および配向の推定値を含むことができる。ノード６０４は、時間ｔ＝１における、ｎ点透視（「ＰｎＰ」）項を表し得る。ＰｎＰ項は、３次元空間内の識別される特徴の位置および配向（例えば、画像内で識別されたオブジェクトの角）の推定値を含むことができる。ノード６０６は、時間ｔ＝１と時間ｔ＝２との間で捕捉されたＩＭＵ測定値を含むことができる。ノード６０６におけるＩＭＵ測定値は、随意に、予備積分され、算出負荷を低減させることができる。ノード６０８は、実環境に関する重力推定値を表し得る。重力推定値は、ＩＭＵからの慣性測定値に基づく、重力の推定される方向（例えば、ベクトル）のインジケーションを含むことができる。
ノード６１０ａおよび６１０ｂは、周辺化事前分布を含むことができる。いくつかの実施形態では、周辺化事前分布は、いくつかまたは全ての以前に捕捉されたフレームについての周辺化された情報を含むことができる。いくつかの実施形態では、周辺化事前分布は、いくつかまたは全ての前のカメラ状態（姿勢データを含み得る）、重力推定値、および／またはＩＭＵ付帯性質の推定値を含有することができる。いくつかの実施形態では、周辺化事前分布は、前の視覚的および／または慣性測定値への状態の依存性を捕捉し得る、情報行列を含むことができる。いくつかの実施形態では、周辺化事前分布は、ある線形化点に残余誤差を保持する、１つまたはそれを上回る誤差ベクトルを含むことができる。いくつかの理由から、周辺化事前分布を使用することが、有益であり得る。１つの利点は、周辺化項が、最適化が所定の限界を有しない場合、最適化問題が固定された数の変数を有することを可能にし得ることであり得る。例えば、ＶＩＯは、ユーザがＶＩＯを起動させて複合現実システムを使用し得る時間長に応じて、任意の数のフレーム上で起動されてもよい。ＶＩＯ最適化は、したがって、数千ものフレームを最適化することを要求し得、これは、ポータブルシステムの算出限界を超え得る。周辺化事前分布は、最適化問題が、はるかに少ない変数（例えば、３つの変数：周辺化事前分布および２つの直近のフレーム）を用いて算出し得るように、いくつかまたは全ての前のフレームについての情報を単一項内に提供することができる。別の利点は、周辺化事前分布が、前のフレームの長履歴を考慮し得ることである。例えば、算出限界は、最近のフレーム（例えば、３つの直近のフレーム）のみが最適化され得ることを要求し得る。結果として、最適化は、１つのフレーム内に導入される誤差が順方向に伝搬され続け得る、ドリフトに悩まされ得る。多くの前のフレームの情報に近似する、周辺化事前分布は、単一フレームによって導入される誤差を被りにくくあり得る。いくつかの実施形態では、周辺化事前分布６１０ａは、時間ｔ＝１に先立って捕捉された全てのフレームからの情報に近似し得る。
図６Ｂは、ｔ＝１において捕捉されたフレームおよびｔ＝１において捕捉されたフレームと関連付けられるデータが、周辺化事前分布６１０ａについてのデータと、ｔ＝１において捕捉された新しく周辺化されたフレームについてのデータとを含み得る、周辺化事前分布ノード６１０ｂの中に周辺化される、例示的実施形態を図示する。いくつかの実施形態では、ＶＩＯは、前のフレームを周辺化する、周辺化事前分布に加え、例えば、２つのフレームのスライディングウィンドウサイズを利用することができる。新しいフレームが、ＶＩＯ最適化（誤差を最小限にし得る）に追加されるにつれて、最も古いフレームは、周辺化事前分布項の中に周辺化されることができる。任意のサイズのスライディングウィンドウが、使用されることができ、より大きいウィンドウサイズは、より正確なＶＩＯ推定を生産することができ、より小さいウィンドウサイズは、より効率的ＶＩＯ計算を生産することができる。いくつかの実施形態では、ＶＩＯ最適化は、ＰｎＰ項を表す、ノード（例えば、ノード６０４）を固定し、姿勢（または状態）推定値、重力推定値、慣性測定値、および／またはＩＭＵ付帯性質（ノード６０２ａ内に含まれ得る）を表す、ノードのみを最適化することができる。状態推定は、速度推定およびバイアス推定に加え、姿勢推定を含むことができる。
いくつかの実施形態では、状態のＶＩＯ推定値に因子分解される、各フレームは、関連付けられる加重を有することができる。例えば、誤差を最小限にすることは、多くの識別される特徴が、最適化においてより重く加重される、フレームをもたらし得る。誤差は、視覚的情報（例えば、再投影誤差）および／または慣性情報（例えば、ＩＭＵバイアス）から生じ得るため、多数の識別される特徴を伴うフレームは、著しく重く加重され、それによって、最小限化プロセスの間、慣性測定値相対的加重を減少させ得る。フレームの加重のスケーリングを、そのようなスケーリングが、比較によって、ＩＭＵデータの加重を低減させ得るため、およびスケーリングが、１つのフレームに対して他のフレームに対してよりはるかに多くの加重を割り当て得るため、識別される特徴に伴って減衰させることが望ましくあり得る。加重スケーリングを減衰させる１つのソリューションは、各識別される特徴の加重をフレーム内の全ての識別される特徴の全ての加重の和の平方根によって除算することである。各減衰された再投影誤差は、次いで、ＶＩＯ最適化において最小限にされ、それによって、視覚的情報のスケーリングをより多くの識別される特徴に伴って減衰させることができる。
いくつかの実施形態では、各識別される特徴は、識別される特徴内の信頼度と関連付けられる加重を有することができる。例えば、識別される特徴と、前のフレーム内の対応する特徴の観察と、フレーム間の推定される運動とに基づく、その予期される場所との間の再投影誤差が、加重され得る（例えば、より大きい再投影誤差は、より低い加重を割り当てられ得る）。別の実施例では、再投影誤差は、画像内の測定された再投影誤差の分布に基づいて、誤対応として、計算から除去されることができる。例えば、最高１０％の再投影誤差が、誤対応として、計算から排除されることができるが、動的閾値を含む、任意の閾値は、使用されることができる。
いくつかの実施形態では、複合現実システム（例えば、複合現実システム１１２、２００）が、静的であって、移動していない場合、周辺化事前分布が更新される方法を修正することが望ましくあり得る。例えば、複合現実システムが、テーブル上に設定されるが、起動し続けている場合、特徴および慣性測定値を観察し続け得、これは、繰り返される測定に起因して、状態推定における過信頼度につながり得る。したがって、複合現実システムがある閾値時間量にわたって静的であることが検出される場合、周辺化事前分布における情報行列（不確実性を含み得る）の更新を停止することが望ましくあり得る。静的位置は、ＩＭＵ測定値（例えば、雑音範囲外の有意な測定値を記録しない）から、視覚的情報（例えば、フレームが識別される特徴内の無移動を示し続ける）から、または他の好適な方法で決定されることができる。いくつかの実施形態では、周辺化事前分布の他の成分（例えば、誤差ベクトル、状態の推定）は、更新され続けることができる。
バンドル調整および重力推定
図５に戻って参照すると、キーリグ挿入が、ステップ５０８において、決定されることができる。キーリグの使用は、算出負荷を増加させずに、より長いタイムフレームにわたって、より疎のデータにつながり得るため、重力推定、バンドル調整、および／またはＶＩＯのために、キーリグを使用することが、有益であり得る。いくつかの実施形態では、キーリグは、ある時間において捕捉されたものであり得る、マルチカメラシステム（例えば、２つまたはそれを上回るカメラを伴う、ＭＲシステム）からのキーフレームのセットであることができる。いくつかの実施形態では、キーリグは、キーフレームであることができる。キーリグは、任意の基準に基づいて、選択されることができる。例えば、キーリグは、キーリグ間の経過時間に基づいて、時間ドメインにおいて選択されることができる（例えば、０．５秒毎に１つのフレームが、キーリグとして選択されることができる）。別の実施例では、キーリグは、識別される特徴に基づいて、空間ドメインにおいて選択されることができる（例えば、フレームは、前のキーリグと比較して、十分に類似または異なる特徴を有する場合、キーリグとして選択されることができる）。キーリグは、メモリに記憶および保存されることができる。
いくつかの実施形態では、稠密キーリグ挿入（重力推定のために有用であり得る）が、実施されることができる（例えば、標準的キーリグ挿入が、著しく疎のデータを提供する場合）。いくつかの実施形態では、閾値条件が、稠密キーリグ挿入が実施される前に満たされ得る。１つの閾値条件は、ＶＩＯ最適化が、依然として、重力入力を受け取っているかどうかであり得る。別の閾値条件は、閾値時間量（例えば、０．５秒）が最後のキーリグが挿入された以降に経過したかどうかであり得る。例えば、慣性測定値は、ＩＭＵ誤差（例えば、バイアスまたはドリフト）の結果として、短時間長にわたってのみ有効であり得、したがって、慣性測定値が収集される（随意に、予備積分される）とき、キーリグ間の時間量を限定することが望ましくあり得る。別の閾値条件は、直近のキーリグ候補と直近のキーリグとの間に十分な運動が存在するかどうかであり得る（すなわち、全ての変数を観察可能にするために十分な運動を有することが望ましくあり得る）。別の閾値条件は、最も新しいキーリグ候補が、十分に高品質であるかどうかであり得る（例えば、新しいキーリグ候補が、再投影正対応と再投影誤対応の十分に高比率を有するかどうか）。これらの閾値条件のいくつかまたは全ては、稠密キーリグ挿入の前に要求され得、他の閾値条件も同様に、使用されてもよい。
ステップ５１０では、キーリグバッファが、維持されることができる。キーリグバッファは、挿入されたキーリグを記憶するように構成される、メモリを含むことができる。いくつかの実施形態では、キーリグは、関連付けられる慣性測定値データ（例えば、未加工慣性測定値または予備積分された慣性測定値）および／または（例えば、キーリグが捕捉されたときの）関連付けられるタイムスタンプとともに記憶されることができる。また、キーリグ間の時間間隙が、慣性測定値を予備積分するための有効性を維持するために十分に短いかどうかも決定されることができる。時間間隙が十分に短くないことが決定される場合、バッファは、不良推定（例えば、不良重力推定）を回避するために、リセットされ得る。キーリグおよび関連付けられるデータは、データベース５１１内に記憶されることができる。
ステップ５１２では、バンドル調整が、実施されることができる。バンドル調整は、フレームを横断して識別される特徴の繰り返される観察に基づいて、カメラ姿勢、状態、特徴位置、および／または他の変数の推定値を最適化し、（例えば、識別される特徴の位置の）推定の正確度および信頼度を増加させることができる。同一の識別される特徴が、複数回、観察され得るが、各観察は、誤差（例えば、ＩＭＵバイアス、特徴検出不正確度、カメラ較正誤差、算出簡略化等）の結果として、他の観察と一致しない場合がある。したがって、入力観察の誤差を最小限にしながら、識別される特徴の複数の観察を使用して、３次元マップ内の識別される特徴の可能性が高い位置を推定することが望ましくあり得る。バンドル調整は、（例えば、３０個のキーリグの）スライディングウィンドウにわたって、フレーム（またはキーリグ）を最適化するステップを含み得る。これは、固定遅れ平滑化と称され得、過去の誤差を蓄積し得る、カルマンフィルタの使用より正確であり得る。いくつかの実施形態では、バンドル調整は、視覚的慣性バンドル調整であることができ、バンドル調整は、視覚的データ（例えば、カメラからの画像）と、慣性データ（例えば、ＩＭＵからの測定値）とに基づく。バンドル調整は、ＶＩＯによって生成された３次元マップより正確であり得る、識別される特徴の３次元マップを出力することができる。バンドル調整は、ＶＩＯ推定が、フレーム毎ベースで実施され得、バンドル調整が、キーリグあたりベースで実施され得るため、ＶＩＯ推定より正確であり得る。いくつかの実施形態では、バンドル調整は、ＭＲシステムの位置および／または配向（ユーザの位置および／または配向に近似し得る）に加え、マップ点（例えば、識別される特徴）を最適化することができる。いくつかの実施形態では、ＶＩＯ推定は、ＭＲシステムの位置および／または配向のみを最適化し得る（例えば、ＶＩＯ推定が、マップ点を固定入力としてとり得るため）。キーリグを利用することは、入力データが、算出負荷を増加させずに、より長いタイムフレームに及ぶことを可能にすることができ、これは、正確度の増加をもたらし得る。いくつかの実施形態では、バンドル調整は、ＶＩＯと比較してより正確な推定を可能にする（より最適化されたフレームに起因して）、より強力なプロセッサ上で遠隔で実施されてもよい。
いくつかの実施形態では、バンドル調整は、視覚的誤差（例えば、再投影誤差）および／または慣性誤差（例えば、前のキーリグおよび次のキーリグへの移動に基づいて、識別される特徴の位置の推定値から生じる誤差）を含み得る、誤差を最小限にするステップを含み得る。誤差を最小限にするステップは、誤差の二乗平均平方根を識別し、全ての誤差の最低平均二乗平均平方根を達成するために、推定値を最適化することによって行われることができる。また、他の最小限化方法も、使用されてもよいことが検討される。いくつかの実施形態では、個々の測定値は、個々の加重を割り当てられることができる（例えば、測定値は、測定値の正確度における信頼度に基づいて、加重されることができる）。例えば、１つを上回るカメラから捕捉された画像からの測定値は、各カメラの品質に従って、加重されることができる（例えば、より高い品質のカメラは、より多くの加重を伴って、測定値を生産し得る）。別の実施例では、測定値は、測定値が記録された時間におけるセンサの温度に従って、加重されることができる（例えば、センサは、規定された温度範囲内で最適に性能を発揮し得、したがって、その温度範囲内で得られた測定値は、より重く加重され得る）。いくつかの実施形態では、深度センサ（例えば、ＬＩＤＡＲ、飛行時間カメラ等）が、視覚的および慣性測定値に加え、情報を提供することができる。深度情報もまた、深度情報と関連付けられる誤差も最小限にすることによって、バンドル調整内に含まれることができる（例えば、深度情報が、視覚的および慣性情報から構築される推定される３次元マップと比較されるとき）。いくつかの実施形態では、大域的バンドル調整が、（例えば、キーリグの代わりに）バンドル調整出力を入力として使用して実施され、正確度をさらに改良することができる。
図７Ａは、バンドル調整を実施するための例示的決定プロセスを図示する。ステップ７０２では、新しいキーリグが、最適化のためのスライディングウィンドウに追加されることができる。ステップ７０４では、スライディングウィンドウ内の各キーリグ間の時間インターバルが、評価されることができる。時間インターバルのいずれも、ある静的または動的時間閾値（例えば、０．５秒）を上回らない場合、視覚的慣性バンドル調整が、ステップ７０６において、データベース７０５からの慣性測定値と、データベース７１２からのキーリグ（画像であり得る）とを使用して、実施されることができる。データベース７０５およびデータベース７１２は、同一データベースまたは別個のデータベースであることができる。いくつかの実施形態では、シーケンシャルキーリグ間の少なくとも１つの時間インターバルが、ある静的または動的時間閾値を上回る場合、空間バンドル調整が、ステップ７１０において、実施されることができる。時間インターバルが、静的または動的時間閾値を上回る場合、ＩＭＵ測定値のみが、短期間にわたる積分のために有効であり得るため（例えば、センサ雑音および／またはドリフトに起因して）、慣性測定値を除外することが、有益であり得る。空間バンドル調整は、随意に、視覚的慣性バンドル調整と異なるキーリグのセットに依拠してもよい。例えば、スライディングウィンドウは、ある時間またはあるキーリグの数に固定された状態から、空間ドメインに固定された状態に変化してもよい（例えば、スライディングウィンドウは、ある移動の量に固定される）。ステップ７０８では、最も古いキーリグは、スライディングウィンドウから除去されることができる。
図７Ｂは、バンドル調整を実施するための例示的決定プロセスを図示する。ステップ７２０では、新しいキーリグが、最適化のために、スライディングウィンドウに追加されることができる。ステップ７２２では、時間的に直近のキーリグが、キーリグ７３０のデータベースから読み出されることができる。例えば、最も直近で捕捉されたキーリグ（例えば、関連付けられるタイムスタンプに基づいて）の数（例えば、５）が、読み出されてもよい。ステップ７２４では、各読み出されたキーリグ間の時間インターバルが、静的または動的閾値（例えば、０．５秒）を下回るかどうかが決定されることができる。捕捉されたキーリグ間の各インターバルが、静的または動的閾値を下回る場合、視覚的慣性バンドル調整は、ステップ７２６において、実施されてもよく、これは、キーリグからの視覚的情報に加え、慣性測定値を利用してもよい。捕捉されたキーリグ間の少なくとも１つの時間インターバルが、静的または動的閾値を上回る場合、ステップ７２８では、空間的に近接するキーリグが、データベース７３０から読み出されてもよい。例えば、最も新しいキーリグ内の識別される特徴に対応する、閾値数の識別される特徴を伴う、キーリグが、読み出されることができる。ステップ７２８では、空間バンドル調整が、実施されてもよく、これは、キーリグからの視覚的情報を使用してもよく、バンドル調整に関する慣性情報を使用しなくてもよい。
他の決定プロセスもまた、バンドル調整を実施するために使用されることができる。例えば、ステップ７０４および／または７２４では、シーケンシャルキーリグ間の任意の時間インターバルが、静的または動的閾値時間を超えるかどうかが決定されることができる。少なくとも１つの時間インターバルが、閾値を超えると決定される場合、慣性測定値は、２つの関連キーリグ間で無視されることができるが、依然として、時間インターバル閾値に準拠する、全ての残りのキーリグのために使用されることができる。別の実施例では、時間インターバルが、閾値を超えると決定される場合、１つまたはそれを上回る付加的キーリグが、２つの関連キーリグ間に挿入されることができ、視覚的慣性バンドル調整が、実施されることができる。いくつかの実施形態では、キーリグバッファ内またはデータベース５１１および／または７３０内に記憶される、キーリグは、バンドル調整の結果で更新されることができる。
図５に戻って参照すると、ステップ５１４では、独立型重力推定が、実施されることができる。ステップ５１４において実施される独立型重力推定は、例えば、より強力なプロセッサ上で、またはより長いタイムフレームにわたって、実施され、付加的変数（例えば、フレームまたはキーリグ）にわたる最適化を可能にし得るため、ステップ５０６において決定されたＶＩＯ重力推定より正確であり得る。独立型重力推定は、キーリグ（キーフレームを備えることができる）を利用して、重力（例えば、ベクトル）を推定することができ、これは、ＳＬＡＭおよび／またはＶＩＯのために使用され得る。キーリグは、それらが、より長い期間にわたって、算出限界を超えずに、独立型重力推定が実施されることを可能にし得るため、有益であり得る。例えば、３０秒にわたる独立型重力推定は、１秒にわたる独立型重力推定より正確であり得るが、３０秒推定は、ビデオが３０ｆｐｓで記録された場合、９００枚のフレームを最適化することを要求し得る。キーリグは、重力推定が６０フレームを最適化することのみを要求し得るように、より疎のインターバル（例えば、２回／秒）において取得されることができる。いくつかの実施形態では、独立型重力推定のために使用される、キーリグは、稠密キーリグ挿入（ステップ５０８において実施され得る）の結果であり得る。重力推定値はまた、単純フレームを利用することができる。実コンテンツに対応する、仮想コンテンツの表示をアンカするための重力の方向を推定することが望ましくあり得る。例えば、不良重力推定値は、仮想コンテンツが実コンテンツに対して傾斜されて現れることにつながり得る。ＩＭＵは、重力を含み得る、慣性測定値を提供し得るが、慣性測定値はまた、全ての他の運動（例えば、実際の運動または雑音）を含み得、これは、重力ベクトルを不明瞭にし得る。
図８は、独立型重力推定の例示的グラフを図示する。例示的グラフは、視覚的に、いくつかの変数の関数の非線形因子分解を描写し得る。例えば、変数（例えば、８０２ａおよび８０２ｂ）は、円形ノードとして表され得、変数の関数（例えば、因子とも呼ばれる、８０４）は、正方形ノードとして表され得る。各因子は、任意の結び付けられた変数の関数であり得る。ノード８０２ａおよび８０２ｂは、時間ｉ＝０において捕捉された画像と関連付けられるデータを表し得る。ノード８０２ａは、ＩＭＵ測定値における誤差の推定値であり得る、ＩＭＵ状態を表す、データを含むことができる。ＩＭＵ状態は、ＶＩＯ方法から出力されることができる。ノード８０２ｂは、特定のキーリグと関連付けられるキーリグ姿勢を表す、データを含むことができる。キーリグ姿勢は、バンドル調整の出力に基づくことができる。ノード８０４は、ＩＭＵ項縁を含むことができ、これは、予備積分された慣性移動を含むことができる。ノード８０４はまた、他の結び付けられるノードを相互に関連させる、誤差関数を定義し得る。ノード８０６は、ＩＭＵ付帯性質（複合現実システムに対するＩＭＵの精度および配向に対応し得る）を表す、データを含むことができ、ノード８０８は、重力推定値を含むことができる。重力推定最適化は、ノード８０４における誤差関数を最小限にするステップを含むことができる。いくつかの実施形態では、キーリグ姿勢およびＩＭＵ付帯性質（例えば、ノード８０２ｂおよび８０６）に関連するノードは、固定されることができる、ＩＭＵ状態および重力（例えば、ノード８０２ａおよび８０８）に関連するノードは、最適化されることができる。
図５に戻って参照すると、ステップ５１５では、独立型重力推定およびバンドル調整からの結果が、ＶＩＯ出力に適用されることができる。例えば、ＶＩＯ重力推定値と独立型重力推定値との間の差異および／またはＶＩＯ姿勢推定値とバンドル調整姿勢推定値との間の差異が、変換行列によって表され得る。変換行列は、ＶＩＯ姿勢推定値および／または周辺化事前分布の姿勢推定値に適用されることができる。いくつかの実施形態では、変換行列の回転成分が、ＶＩＯおよび／またはＶＩＯの重力推定値によって推定される状態に適用されることができる。いくつかの実施形態では、独立型重力推定値は、生成されたマップが、大きすぎる状態になる場合、ＶＩＯ重力推定値を補正するために適用され得ない（すなわち、独立型重力推定値が、多すぎるフレームに適用される必要がある場合、算出上実行不可能であり得る）。いくつかの実施形態では、グループ５１６内のブロックは、グループ５１８内のブロックと別個の場所で実施されることができる。例えば、グループ５１６は、電力効率的プロセッサと、ディスプレイとを含み得る、ウェアラブル頭部デバイスで実施されることができる。グループ５１８は、より強力なプロセッサを含み得る、取り付けられたデバイス（例えば、腰部装着可能デバイス）で実施されることができる。ユーザが仮想コンテンツのために短待ち時間視覚的フィードバックを有し得るように、ほぼリアルタイムで、ある計算（例えば、グループ５１６内のもの）を実施することが望ましくあり得る。また、より正確かつ算出上高価な計算並列および後方伝搬補正を実施し、仮想コンテンツの長期正確度を維持することが望ましくあり得る。
二重ＩＭＵ ＳＬＡＭ
いくつかの実施形態では、２つまたはそれを上回るＩＭＵが、ＳＬＡＭ計算のために使用されることができる。第２のＩＭＵの追加は、ＳＬＡＭ算出の正確度を改良することができ、これは、ジッタおよび／またはドリフトを仮想コンテンツ内に殆どもたらし得ない。ＳＬＡＭ算出における第２のＩＭＵの追加はまた、マップ点と関連付けられる情報が、より正確なＳＬＡＭ算出のために十分ではあり得ない（例えば、低テクスチャ（例えば、１つの色における平坦壁等の幾何学的または視覚的特徴を欠いている壁）、低光量、低光量および低テクスチャ）、状況において有利であり得る。いくつかの実施例では、ドリフトに関して１４～１９％およびジッタに関して１０～２０％の低減が、ＳＬＡＭを算出するための、１つのＩＭＵの使用と比較して、２つのＩＭＵを使用して、達成され得る。ドリフトおよびジッタは、実際の位置（例えば、複合現実環境内のオブジェクトの実際の位置）に対して弧分単位で測定され得る。
いくつかの実施形態では、第２のＩＭＵは、低光量または低テクスチャ状況で使用されてもよく、第２のＩＭＵは、複合現実環境の照明および／またはテクスチャが十分である、状況では使用されなくてもよい。いくつかの実施形態では、複合現実システムのセンサからの１つまたはそれを上回る視覚的メトリックおよび情報が、複合現実環境の照明および／またはテクスチャが十分である（例えば、十分なテクスチャが、複合現実環境のオブジェクトから決定される、複合現実環境内の十分な照明が、決定される）かどうかを決定するために使用される。例えば、ＭＲシステムのセンサが、複合現実環境と関連付けられる、照明および／またはテクスチャ情報を捕捉するために使用されてもよく、捕捉された情報は、照明および／またはテクスチャ閾値と比較され、照明および／またはテクスチャが十分であるかどうかを決定してもよい。照明および／またはテクスチャが、十分ではないと決定される場合、第２のＩＭＵが、本明細書に開示されるように、予備積分項計算（例えば、より良好な正確度のため、潜在的ジッタおよび／またはドリフトを低減させるため）のために使用されてもよい。いくつかの実施形態では、１つのＩＭＵを用いた算出および２つのＩＭＵを用いた算出は、比較され、算出間の差異が、閾値内である場合、ＳＬＡＭ算出のために１つのＩＭＵを使用することが、これらのインスタンスでは、十分であり得る。例示的利点として、複合現実環境の照明および／またはテクスチャが十分であると決定される、状況において、１つのＩＭＵを使用する能力は、電力消費を低減させ、算出時間を短縮させ得る。
いくつかの実施形態では、第２のＩＭＵは、同一値の反復測定が得られることを有効にし得、これは、測定された値における信頼度を増加させ得る。例えば、第１のＩＭＵは、第１の角速度を測定し得、第２のＩＭＵは、同時に、第２の角速度を測定し得る。
第１のＩＭＵおよび第２のＩＭＵは、同一剛体（例えば、剛体は、無視可能な変形を被る、剛体は、ウェアラブル頭部デバイスのフレームであってもよい）に結合されてもよい。第１のＩＭＵと関連付けられる第１の角速度および第２のＩＭＵと関連付けられる第２の角速度は両方とも、同一グラウンドトゥルース角速度の測定値であり得る。いくつかの実施形態では、同一値の反復測定は、各個々の測定値における雑音をキャンセリングすることによって、グラウンドトゥルース値のより正確な推定値を生産することができる。いくつかの実施形態では、２つのＩＭＵを同一剛体に結合することは、本明細書に説明されるように、２ＩＭＵシステムにおいて、ＳＬＡＭ算出を促進し得る。短待ち時間は、ＳＬＡＭ計算にとって非常に重要であり得るため、付加的データの正確度利得を保存しながら、算出上効率的様式において、付加的慣性情報を組み込む、システムおよび方法を開発することが望ましくあり得る。
図９は、いくつかの実施形態による、複合現実システム内の例示的ＩＭＵ構成を図示する。いくつかの実施形態では、ＭＲシステム９００（ＭＲシステム１１２、２００に対応し得る）は、ＩＭＵ９０２ａと、ＩＭＵ９０２ｂとを含むように構成されることができる。いくつかの実施形態では、ＩＭＵ９０２ａおよび９０２ｂは、ＩＭＵの速度が結合されるように、複合現実システムに剛性に結合される（例えば、複合現実システムのフレームに取り付けられる）。例えば、２つの速度間の関係が、個別のＩＭＵ位置と関連付けられる角速度およびベクトル等の既知の値を使用して、算出されてもよい。本明細書に説明されるように、２つの速度が結合されるＩＭＵを備える、システムは、有利なこととして、概して、特に、複合現実環境における低光量および／または低テクスチャ状況において、１つのＩＭＵシステムと比較して、より良好な算出正確度を観察しながら、システムと関連付けられる予備積分項の算出の複雑性を低減させ得る。
いくつかの実施形態では、ＭＲシステム９００は、ＩＭＵ９０２ａが、可能な限り、カメラ９０４ａに近接し、ＩＭＵ９０２ｂが、可能な限り、カメラ９０４ｂに近接するように構成されることができる。いくつかの実施形態では、カメラ９０４ａおよび９０４ｂは、ＳＬＡＭのために使用されることができる（例えば、カメラ９０４ａおよび９０４ｂは、オブジェクト／縁認識および／またはＶＩＯの視覚的成分のために使用されることができる）。ＳＬＡＭカメラによって被られる移動を正確に追跡するように（例えば、ＳＬＡＭカメラの移動に関する代用として、ＩＭＵの移動を使用することによって）、ＩＭＵが、可能な限り、ＳＬＡＭカメラに近接するように、ＭＲシステム９００を構成することが望ましくあり得る。
図１０は、いくつかの実施形態による、複合現実システム内の例示的ＩＭＵ構成を図示する。いくつかの実施形態では、２つのＩＭＵセンサ（例えば、ＩＭＵ１００２およびＩＭＵ１００４）は、概して、２つのＩＭＵ項縁および／または予備積分項を提供することができる。例えば、ＩＭＵ１００２と関連付けられる、予備積分項の成分は、方程式（１）、（２）、および（３）によって表され得、式中、
Figure 2022553202000002
 は、ＩＭＵ１００２に対応する、四元数（ＭＲシステムの回転および／または配向を表し得る）を表し得、
Figure 2022553202000003
 は、点Ｗ（ＭＲシステム上に存在する、および／またはＭＲシステムの中心であり得る）を中心としてＩＭＵ１００２によって測定される、角速度を表し得、
Figure 2022553202000004
 は、点Ｗに対するＩＭＵ１００２における、線形速度を表し得、
Figure 2022553202000005
 は、点Ｗに対するＩＭＵ１００２における、線形加速を表し得、
Figure 2022553202000006
 は、点Ｗに対するＩＭＵ１００２の場所を表し得る。
Figure 2022553202000007
同様に、方程式（４）、（５）、および（６）は、ＩＭＵ１００４と関連付けられる、予備積分項の成分を表し得る。
Figure 2022553202000008
ｔおよびΔｔが、特定の時間における、個別のＩＭＵの回転、角速度、および角加速を説明するために使用されるが、異なる数量は、正確に同時には捕捉され得ないことを理解されたい。例えば、ハードウェアタイミングに起因して、２つのＩＭＵ間のデータ捕捉またはサンプリング間には、遅延が存在し得る（例えば、２００ｍｓ）。これらのインスタンスでは、ＭＲシステムは、２つのＩＭＵ間のデータのセットを同期させ、本遅延を考慮し得る。別の実施例として、異なる数量と関連付けられる、ＩＭＵデータが、本システムの同一クロックサイクルの間の異なる時間において、サンプリングまたは捕捉され得る。クロックサイクルの周期は、システムのタイミング分解能要件によって決定されてもよい。
いくつかの実施形態では、方程式（１）－（６）に関する解が、第１および第２のＩＭＵと関連付けられる予備積分項を算出するために解法され得る。例えば、解は、連立方程式の解と関連付けられる誤差を低減させるために、回帰分析（例えば、最小二乗法）または他の好適な方法を使用してもよい。
いくつかの実施形態では、ＩＭＵ１００２と関連付けられる予備積分項およびＩＭＵ１００４と関連付けられる予備積分項は、ＩＭＵ１００２およびＩＭＵ１００４が相互に剛性に結合される（例えば、ＭＲシステム９００に対応し得る、剛体１００６を介して）場合、運動学的に制約され得る。これらのインスタンスでは、方程式（１）－（６）と関連付けられる、変数は、本結合に起因して、低減され得る。いくつかの実施形態では、ＩＭＵ１００２とＩＭＵ１００４との間の剛性結合は、両方の予備積分項が同一変数内に表されることを可能にすることができる。方程式（７）は、（剛性結合に起因する）ＩＭＵ１００２において測定された変数とＩＭＵ１００４において測定された変数との間の関係を表し得、式中、
Figure 2022553202000009
 は、ＩＭＵ１００２とＩＭＵ１００４との間の位置関係（例えば、ベクトル）を表し得、ωは、複合現実システムと関連付けられる角速度（例えば、ＩＭＵ１００２と関連付けられる角速度、ＩＭＵ１００４と関連付けられる角速度、ＩＭＵ１００２およびＩＭＵ１００４と関連付けられる平均角速度、本システムと関連付けられる雑音低減された角速度、本システムと関連付けられるバイアス除去された角速度）を表し得る。
Figure 2022553202000010
ＩＭＵ１００２とＩＭＵ１００４との間の運動学的関係を使用して、方程式（８）、（９）、および（１０）が、ＩＭＵ１００４に関する予備積分項の成分として、方程式（４）、（５）、および（６）に取って代わり得る。
Figure 2022553202000011
上記に例示されるように、ＩＭＵ１００２およびＩＭＵ１００４を剛性に結合することによって、２つのＩＭＵ間の関係が、導出され得（例えば、方程式（７）を使用して）、ＩＭＵ予備積分項と関連付けられる、ＩＭＵ方程式のセット（例えば、方程式（４）、（５）、および（６））は、有利なこととして、（例えば、方程式（８）、（９）、および（１０）に）簡略化され、概して、１ＩＭＵシステムと比較して、より良好な算出正確度を観察しながら、２つのＩＭＵと関連付けられる予備積分項の算出の複雑性を低減させることができる。
方程式（４）、（５）、および（６）は、第１のＩＭＵの観点から簡略化されるが、方程式（１）、（２）、および（３）は、代わりに、類似計算を実施するように簡略化されてもよい（例えば、第２のＩＭＵの観点から）ことを理解されたい。ＩＭＵ１００２と関連付けられる、角速度が、方程式（８）、（９）、および（１０）で使用されるが、複合現実システムと関連付けられる、異なる角速度が、予備積分項を計算するために使用されてもよいことを理解されたい。例えば、ＩＭＵ１００２とＩＭＵ１００４との間の平均角速度が、方程式（８）、（９）、および（１０）で使用されてもよい。
ＭＲシステムに結合するＩＭＵ（例えば、ＩＭＵ９０２ａ、ＩＭＵ９０２ｂ、ＩＭＵ１００２、ＩＭＵ１００４）の剛性は、経時的に変化し得る。例えば、ＩＭＵをＭＲシステムのフレームに取り付けるために使用される機構は、塑性または非弾性変形を被り得る。これらの変形は、２つのＩＭＵ間の数学的関係に影響を及ぼし得る。具体的には、これらの変形は、方程式（７）の正確度と、方程式（７）から導出される、第１のＩＭＵ（例えば、ＩＭＵ９０２ａ、ＩＭＵ１００２）と関連付けられる方程式のセットと第２のＩＭＵ（例えば、ＩＭＵ９０２ｂ、ＩＭＵ１００４）と関連付けられる方程式のセットとの間の関係の正確度とに影響を及ぼし得る。これらの変形は、ＩＭＵと関連付けられる、予備積分項の正確度にも影響を及ぼし得る。いくつかの実施形態では、ＩＭＵの位置は、ＳＬＡＭ算出に先立って、較正されてもよい。例えば、ＳＬＡＭ算出に先立って、ＩＭＵの現在の位置（例えば、ＭＲシステムのセンサを使用することによって取得される）は、所定の値（例えば、既知のＩＭＵ位置、理想的ＩＭＵ位置、製造されたＩＭＵ位置）と比較されてもよく、差異（例えば、オフセット）が、ＳＬＡＭ算出において考慮されてもよい（例えば、方程式（７）における差異を除去する）。ＳＬＡＭ算出に先立って、ＩＭＵを較正し、ＩＭＵ結合における潜在的変形を考慮することによって、予備積分項およびＳＬＡＭ算出と関連付けられる、正確度は、有利なこととして、増加され得る。
図１１は、いくつかの実施形態による、ＳＬＡＭの例示的グラフ表現を図示する。図１１におけるグラフ表現は、いくつかの変数の関数の非線形因子分解を描写し得る。例えば、変数（例えば、１１１０、１１１２、１１１４、１１１６、および１１２２）は、円形ノードとして表され得、変数の関数（例えば、因子とも呼ばれる、１１０２、１１１８、および１１２０）は、正方形ノードとして表され得る。各因子は、任意の（または全ての）結び付けられる変数の関数であり得る。
いくつかの実施形態では、状態１１０２は、時間ｔ＝１における、システム状態（例えば、ＭＲシステムの状態）および／またはシステム状態における任意の変数を表し得る。同様に、状態１１０４は、時間ｔ＝２における、システム状態および／またはシステム状態における任意の変数を表し得、状態１１０６は、時間ｔ＝３における、システム状態および／またはシステム状態における任意の変数を表し得る。システム状態は、その時点で捕捉されたキーリグに対応し得る。システム状態は、状態内の１つまたはそれを上回る変数の状態を含む（および／またはそれによって定義される）ことができる。例えば、状態１１０２は、ＰｎＰ項１１０８を含むことができる。いくつかの実施形態では、状態１１０２は、姿勢推定１１１０を含むことができる。いくつかの実施形態では、状態１１０２は、第１の（および／または左）ＩＭＵ（ＩＭＵ９０２ａまたはＩＭＵ１００２に対応し得る）のバイアス項１１１２を含むことができる。いくつかの実施形態では、バイアス項１１１２は、線形加速度計およびジャイロスコープに関するバイアス値を含むことができる。いくつかの実施形態では、バイアス項１１１２は、個々の測定軸に対応する、線形加速度計およびジャイロスコープ毎のバイアス値を含むことができる。いくつかの実施形態では、状態１１０２は、第２の（および／または右）ＩＭＵ（ＩＭＵ９０２ｂまたはＩＭＵ１００４に対応し得る）のバイアス項１１１４を含むことができる。バイアス項１１１４は、バイアス項１１１２と類似する対応するバイアス値を含むことができる。いくつかの実施形態では、状態１１０２は、速度項１１１６を含むことができる。速度項１１１６は、本システムの角速度を含むことができる。いくつかの実施形態では、本システムが、実質的に剛体である場合、角速度は、第１のＩＭＵと関連付けられる角速度、第２のＩＭＵと関連付けられる角速度、第１および第２のＩＭＵと関連付けられる平均角速度、本システムと関連付けられる雑音低減された角速度、および本システムと関連付けられるバイアス除去された角速度のうちの１つであり得る。いくつかの実施形態では、速度項１１１６は、本システム内の１つまたはそれを上回る場所に対応する、１つまたはそれを上回る線形速度値（例えば、本システム内の各ＩＭＵにおける線形速度値）を含むことができる。いくつかの実施形態では、状態１１０２は、ステートレス項１１２２を含むことができる。ステートレス項１１２２は、特定の状態に依存し得ない、１つまたはそれを上回る変数を含むことができる。例えば、ステートレス項１１２２は、重力変数を含むことができ、これは、重力の推定される方向を含み得る。いくつかの実施形態では、ステートレス項１１２２は、ＩＭＵ付帯性質（例えば、ＭＲシステム９００内のＩＭＵ９０４ａまたはＩＭＵ１００２および／または９０４ｂまたは１００４の相対的位置）を含むことができる。
いくつかの実施形態では、２つの予備積分項が、２つのシステム状態を相互に関連させることができる。例えば、予備積分項１１１８および予備積分項１１２０は、状態１１０２を状態１１０４に関連させることができる。いくつかの実施形態では、予備積分項１１１８（ＩＭＵ９０４ａまたはＩＭＵ１００２に対応し得る）および予備積分項１１２０（ＩＭＵ９０４ｂまたはＩＭＵ１００４に対応し得る）は、同一の変数のセットの関数であり得る。非線形最適化計算の本構造化は、いくつかの利点を提供することができる。例えば、第２の予備積分項（図８における単一ＩＭＵを使用する、非線形因子分解と比較して）は、第２の予備積分項が、本明細書に説明されるように、第１の予備積分項に運動学的に制約され得るため、算出電力の比例増加を要求し得ない。しかしながら、第２のＩＭＵからのデータの追加は、単一ＩＭＵ因子分解と比較して、ジッタおよび／またはドリフトにおける改良をもたらし得る。
図１２は、いくつかの実施形態による、仮想コンテンツを提示するための例示的プロセスを図示する。簡潔にするために、図９－１１に関して説明される方法のステップと関連付けられる実施例は、再び、ここでは説明されないであろう。ステップ１２０２では、画像データが、受信されることができる（例えば、ＭＲシステムのセンサを介して）。画像データは、写真および／または視覚的特徴（例えば、縁）を備えることができる。
ステップ１２０４では、第１の慣性データが、第１の慣性測定ユニット（例えば、ＩＭＵ９０２ａ、ＩＭＵ１００２）を介して受信されることができ、第２の慣性データが、第２の慣性測定ユニット（例えば、ＩＭＵ９０２ｂ、ＩＭＵ１００４）を介して受信されることができる。いくつかの実施形態では、第１の慣性測定ユニットおよび第２の慣性測定ユニットは、剛体を介して、ともに結合されることができる。剛体は、通常使用下で変形しないように構成される、物体であることができる（例えば、堅性プラスチック、金属等から成る）。第１の慣性データおよび／または第２の慣性データは、１つまたはそれを上回る線形加速測定値（例えば、３つの測定軸のそれぞれに沿った３つの測定値）および／または１つまたはそれを上回る角速度測定値（例えば、３つの測定軸のそれぞれに沿った３つの測定値）を含むことができる。いくつかの実施形態では、第１の慣性データおよび／または第２の慣性データは、線形速度測定値および／または角加速測定値を含むことができる。
ステップ１２０６では、第１の予備積分項および第２の予備積分項が、画像データ、第１の慣性データ、および第２の慣性データに基づいて、計算されることができる。いくつかの実施形態では、第１の予備積分項および第２の予備積分項は、非線形に関連する変数および関数のグラフ最適化を使用して、計算されることができる。例えば、図１１に描写される因子グラフが、第１の予備積分項（例えば、予備積分項１１１８）および第２の予備積分項（例えば、予備積分項１１２０）を計算するために使用されることができる。いくつかの実施形態では、因子グラフを最適化し、および／または因子グラフ内の関数を計算するステップは、その他を最適化しながら、いくつかの変数を固定するステップを伴い得る。
ステップ１２０８では、ウェアラブル頭部デバイスの位置が、第１の予備積分項および第２の予備積分項に基づいて、推定されることができる。いくつかの実施形態では、位置が、非線形に関連する変数および関数のグラフ最適化を使用して、推定されることができる。例えば、図１１に描写される因子グラフが、位置を推定するために使用されることができる（例えば、姿勢項１１１０）。いくつかの実施形態では、因子グラフを最適化し、および／または因子グラフ内の関数を計算するステップは、その他を最適化しながら、いくつかの変数を固定するステップを伴い得る。
ステップ１２１０では、仮想コンテンツが、位置に基づいて、提示されることができる。いくつかの実施形態では、仮想コンテンツは、本明細書に説明されるように、ウェアラブル頭部デバイスの１つまたはそれを上回る透過型ディスプレイを介して、提示されることができる。いくつかの実施形態では、ＭＲシステムは、位置に基づいて、ユーザの視野を推定し得る。仮想コンテンツがユーザの視野内にあることが決定される場合、仮想コンテンツは、ユーザに提示されることができる。
いくつかの実施形態では、キーリグが、時間インターバルによって分離される。例えば、図６Ａ、６Ｂ、８、および１１に関して説明されるように、隣接するキーリグ（例えば、ｔ＝０およびｔ＝１、ｔ＝１およびｔ＝２等、ｉ＝０およびｉ＝１、ｉ＝１およびｉ＝２等、変数１１０２および１１０４の関数、変数１１０４および１１０６の関数等）が、個別の時間インターバルによって分離される。個別の時間インターバルは、異なってもよい（例えば、キーリグが生成された時間が、本システムによって決定されてもよい）。いくつかの実施例では、キーリグ間の時間インターバが、最大時間インターバル（例えば、５秒）を上回るとき、視覚的慣性バンドル調整のために予備積分（例えば、ノード６０６、ノード８０４、予備積分項１１１８、１１２０）を使用する利点は、低減され得る（例えば、隣接するキーリグが最大時間インターバル未満のときに予備積分を使用することと比較して、低減された正確度、隣接するキーリグが最大時間インターバルを上回るときに予備積分を使用しないことと比較して、低減された正確度）。したがって、予備積分の利点が低減されるとき、バンドル調整のために予備積分を使用しないことが望ましくあり得る。
いくつかの実施形態では、本システム（例えば、複合現実システム１１２、複合現実システム２００、図４における複合現実システム、複合現実システム９００）は、キーリグ間の時間インターバルが最大時間インターバル（例えば、５秒）を上回るかどうかを決定する。本決定に基づいて、本システムは、隣接するキーリグに対応するバンドル調整のために、予備積分を使用するかどうかを決定する。例示的利点として、バンドル調整正確度が、予備積分があまり正確ではないとき（例えば、隣接するキーリグ間の時間インターバルが最大時間インターバルを上回るとき）に予備積分を使用しないことによって、最適化される（例えば、隣接するキーリグが最大時間インターバルを上回るときに予備積分を使用することと比較して改良された正確度、隣接するキーリグが最大時間インターバルを上回り、加重が調節されないときに予備積分を使用することと比較して改良された正確度）。いくつかの実施形態では、別の例示的利点として、予備積分があまり正確ではないとき、予備積分を使用しないことによって、バンドル調整正確度が、任意の加重調節を伴わずに、かつコンピューティング時間およびリソース必要性を低減させずに、最適化され得る。
いくつかの実施形態では、時間インターバルが最大時間インターバルを上回らないことの決定に従って、本システムは、バンドル調整のために、予備積分を使用する。例えば、時間インターバルが、最大時間インターバルを上回らないとき、視覚的慣性バンドル調整が、本明細書に説明されるように、実施される。
いくつかの実施形態では、時間インターバルが最大時間インターバルを上回ることの決定に従って、本システムは、バンドル調整のために、予備積分を使用しない。例えば、時間インターバルが、最大時間インターバルを上回るとき、空間バンドル調整が、本明細書に説明されるように、実施される（例えば、視覚的慣性バンドル調整の代わりに）。本ステップを含む、方法は、ハイブリッド視覚的慣性バンドル調整として知られ得る。別の実施例として、時間インターバルが、最大時間インターバルを上回るとき、視覚的慣性バンドル調整が、実施されるが、対応する予備積分項（例えば、ノード６０６、ノード８０４、予備積分項１１１８、１１２０）は、図６Ａ、６Ｂ、８、および１１に関して説明されるように、グラフに追加されない。本ステップを含む、方法は、部分的視覚的慣性バンドル調整として知られ得る。
図１１および二重ＩＭＵに関して本明細書に説明される技法および方法はまた、他の点に適用されることができる。例えば、二重ＩＭＵデータは、図６Ａ－６Ｂに関して説明される、ＶＩＯ方法で使用されることができる。二重ＩＭＵデータはまた、図８に関して説明される重力推定方法のために使用されることができる。例えば、第２の予備積分項は、図６Ａ－６Ｂおよび／または図８におけるグラフ最適化および各ＩＭＵのバイアスのための変数に追加されることができる。
グラフ最適化（例えば、図６Ａ－６Ｂ、８、および／または１１に描写される最適化）は、１つまたはそれを上回る変数値を含む、可変ノードを描写し得るが、変数ノード内の変数値は、１つまたはそれを上回る個々のノードとして表され得ることが検討される。本明細書に説明される技法および方法は、二重ＩＭＵグラフ最適化構造を開示するが、類似技法および方法は、他のＩＭＵ構成（３つのＩＭＵ、４つのＩＭＵ、１０のＩＭＵ等）のためにも使用されることができることが検討される。例えば、グラフ最適化モデルは、各ＩＭＵに対応する、姿勢推定、１つまたはそれを上回るバイアス項（に対応する、各ＩＭＵ）、速度、重力方向、および１つまたはそれを上回るＩＭＵ付帯値の関数であり得る、ＩＭＵ毎の予備積分項を含んでもよい。
開示される実施例は、付随の図面を参照して完全に説明されたが、種々の変更および修正が、当業者に明白となるであろうことに留意されたい。例えば、１つまたはそれを上回る実装の要素は、組み合わせられ、削除され、修正され、または補完され、さらなる実装を形成してもよい。そのような変更および修正は、添付の請求項によって定義されるような開示される実施例の範囲内に含まれるものとして理解されるべきである。

Claims (20)

  1. 方法であって、
    ウェアラブル頭部デバイスのセンサを介して、第１の位置における第１の特徴を示す第１のセンサデータを受信することと、
    前記センサを介して、第２の位置における前記第１の特徴を示す第２のセンサデータを受信することと、
    前記ウェアラブル頭部デバイス上の慣性測定ユニット（ＩＭＵ）を介して、慣性測定値を受信することと、
    前記慣性測定値に基づいて、速度を決定することと、
    前記第１の位置および前記速度に基づいて、前記第１の特徴の第３の位置を推定することと、
    前記第３の位置および前記第２の位置に基づいて、再投影誤差を決定することと、
    前記再投影誤差と関連付けられる加重を低減させることと、
    前記ウェアラブル頭部デバイスの状態を決定することであって、前記状態を決定することは、総誤差を最小限にすることを含み、前記総誤差は、前記再投影誤差と関連付けられる前記低減された加重に基づく、ことと、
    前記ウェアラブル頭部デバイスのディスプレイを介して、前記ウェアラブル頭部デバイスの決定された状態を反映させるビューを提示することと
    を含む、方法。
  2. 前記再投影誤差と関連付けられる加重は、識別される特徴の数量に基づいて低減される、請求項１に記載の方法。
  3. 前記再投影誤差と関連付けられる加重を低減させることは、前記再投影誤差が統計的誤対応を備えるかどうかを決定することを含む、請求項１に記載の方法。
  4. 前記総誤差はさらに、前記慣性測定ユニットからの誤差に基づく、請求項１に記載の方法。
  5. 前記ウェアラブル頭部デバイスの移動が閾値を下回るかどうかを決定することと、
    前記ウェアラブル頭部デバイスの移動が前記閾値を下回らないことの決定に従って、情報行列を更新することと、
    前記ウェアラブル頭部デバイスが前記閾値を下回ることの決定に従って、前記情報行列を更新しないことと
    をさらに含む、請求項１に記載の方法。
  6. 前記慣性測定値を予備積分することをさらに含む、請求項１に記載の方法。
  7. 前記ウェアラブル頭部デバイス上の第２のＩＭＵを介して、第２の慣性測定値を受信することと、
    前記第２の慣性測定値を予備積分することと
    をさらに含む、請求項６に記載の方法。
  8. 前記第１のセンサデータは、第１の時間に受信され、
    予備積分される前記慣性測定値は、前記第１の時間と第２の時間との間の前記ウェアラブル頭部デバイスの移動と関連付けられ、前記方法はさらに、
    前記第１の時間と前記第２の時間との間の時間インターバルが最大時間インターバルを上回るかどうかを決定することと、
    前記時間インターバルが前記最大時間インターバルを上回らないことの決定に従って、前記予備積分された慣性測定値を使用することと、
    前記時間インターバルが前記最大時間インターバルを上回ることの決定に従って、前記予備積分された慣性測定値を使用しないことと
    を含む、請求項６に記載の方法。
  9. 前記ウェアラブル頭部デバイスの更新された状態に基づいて、補正を前記状態に適用することをさらに含む、請求項１に記載の方法。
  10. システムであって、
    ウェアラブル頭部デバイスのセンサと、
    前記ウェアラブル頭部デバイスの慣性測定ユニットと、
    前記ウェアラブル頭部デバイスのディスプレイと、
    １つまたはそれを上回るプロセッサであって、前記１つまたはそれを上回るプロセッサは、
    前記ウェアラブル頭部デバイスのセンサを介して、第１の位置における第１の特徴を示す第１のセンサデータを受信することと、
    前記センサを介して、第２の位置における前記第１の特徴を示す第２のセンサデータを受信することと、
    前記ウェアラブル頭部デバイス上の慣性測定ユニットを介して、慣性測定値を受信することと、
    前記慣性測定値に基づいて、速度を決定することと、
    前記第１の位置および前記速度に基づいて、前記第１の特徴の第３の位置を推定することと、
    前記第３の位置および前記第２の位置に基づいて、再投影誤差を決定することと、
    前記再投影誤差と関連付けられる加重を低減させることと、
    前記ウェアラブル頭部デバイスの状態を決定することであって、前記状態を決定することは、総誤差を最小限にすることを含み、前記総誤差は、前記再投影誤差と関連付けられる前記低減された加重に基づく、ことと、
    前記ウェアラブル頭部デバイスのディスプレイを介して、前記ウェアラブル頭部デバイスの決定された状態を反映させるビューを提示することと、
    を含む方法を実行するように構成される、１つまたはそれを上回るプロセッサと
    を備える、システム。
  11. 前記再投影誤差と関連付けられる加重は、識別される特徴の数量に基づいて低減される、請求項１０に記載のシステム。
  12. 前記再投影誤差と関連付けられる加重を低減させることは、前記再投影誤差が統計的誤対応を備えるかどうかを決定することを含む、請求項１０に記載のシステム。
  13. 前記総誤差はさらに、前記慣性測定ユニットからの誤差に基づく、請求項１０に記載のシステム。
  14. 前記方法はさらに、
    前記ウェアラブル頭部デバイスの移動が閾値を下回るかどうかを決定することと、
    前記ウェアラブル頭部デバイスの移動が前記閾値を下回らないことの決定に従って、情報行列を更新することと、
    前記ウェアラブル頭部デバイスが前記閾値を下回ることの決定に従って、前記情報行列を更新しないことと
    を含む、請求項１０に記載のシステム。
  15. 前記方法はさらに、前記慣性測定値を予備積分することを含む、請求項１０に記載のシステム。
  16. 前記方法はさらに、
    前記ウェアラブル頭部デバイス上の第２のＩＭＵを介して、第２の慣性測定値を受信することと、
    前記第２の慣性測定値を予備積分することと
    を含む、請求項１５に記載のシステム。
  17. 前記第１のセンサデータは、第１の時間に受信され、
    予備積分される前記慣性測定値は、前記第１の時間と第２の時間との間の前記ウェアラブル頭部デバイスの移動と関連付けられ、
    前記方法はさらに、
    前記第１の時間と前記第２の時間との間の時間インターバルが最大時間インターバルを上回るかどうかを決定することと、
    前記時間インターバルが前記最大時間インターバルを上回らないことの決定に従って、前記予備積分された慣性測定値を使用することと、
    前記時間インターバルが前記最大時間インターバルを上回ることの決定に従って、前記予備積分された慣性測定値を使用しないことと
    を含む、請求項１５に記載のシステム。
  18. 前記方法はさらに、前記ウェアラブル頭部デバイスの更新された状態に基づいて、補正を前記状態に適用することを含む、請求項１０に記載のシステム。
  19. 非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、１つまたはそれを上回るプロセッサによって実行されると、前記１つまたはそれを上回るプロセッサに、
    ウェアラブル頭部デバイスのセンサを介して、第１の位置における第１の特徴を示す第１のセンサデータを受信することと、
    前記センサを介して、第２の位置における前記第１の特徴を示す第２のセンサデータを受信することと、
    前記ウェアラブル頭部デバイス上の慣性測定ユニットを介して、慣性測定値を受信することと、
    前記慣性測定値に基づいて、速度を決定することと、
    前記第１の位置および前記速度に基づいて、前記第１の特徴の第３の位置を推定することと、
    前記第３の位置および前記第２の位置に基づいて、再投影誤差を決定することと、
    前記再投影誤差と関連付けられる加重を低減させることと、
    前記ウェアラブル頭部デバイスの状態を決定することであって、前記状態を決定することは、総誤差を最小限にすることを含み、前記総誤差は、前記再投影誤差と関連付けられる前記低減された加重に基づく、ことと、
    前記ウェアラブル頭部デバイスのディスプレイを介して、前記ウェアラブル頭部デバイスの決定された状態を反映させるビューを提示することと
    を含む方法を実行させる、非一過性コンピュータ可読媒体。
  20. 前記方法はさらに、前記慣性測定値を予備積分することを含む、請求項２０に記載の非一過性コンピュータ可読媒体。
JP2022522895A 2019-10-18 2020-10-16 視覚的慣性オドメトリのための重力推定およびバンドル調整 Active JP7565349B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962923317P 2019-10-18 2019-10-18
US62/923,317 2019-10-18
US202063076251P 2020-09-09 2020-09-09
US63/076,251 2020-09-09
PCT/US2020/056163 WO2021077024A1 (en) 2019-10-18 2020-10-16 Gravity estimation and bundle adjustment for visual-inertial odometry

Publications (2)

Publication Number Publication Date
JP2022553202A true JP2022553202A (ja) 2022-12-22
JP7565349B2 JP7565349B2 (ja) 2024-10-10

Family

ID=75492147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022522895A Active JP7565349B2 (ja) 2019-10-18 2020-10-16 視覚的慣性オドメトリのための重力推定およびバンドル調整

Country Status (5)

Country Link
US (3) US11328475B2 (ja)
EP (1) EP4046138A4 (ja)
JP (1) JP7565349B2 (ja)
CN (1) CN114830182A (ja)
WO (1) WO2021077024A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113632030A (zh) 2018-12-27 2021-11-09 奇跃公司 用于虚拟现实和增强现实的系统和方法
WO2021077024A1 (en) * 2019-10-18 2021-04-22 Magic Leap, Inc. Gravity estimation and bundle adjustment for visual-inertial odometry
CN116210021A (zh) 2020-05-29 2023-06-02 奇跃公司 确定角加速度
US20220148268A1 (en) * 2020-11-10 2022-05-12 Noderix Teknoloji Sanayi Ticaret Anonim Sirketi Systems and methods for personalized and interactive extended reality experiences
US11886245B2 (en) * 2021-05-06 2024-01-30 Microsoft Technology Licensing, Llc Estimating runtime-frame velocity of wearable device
US11716456B2 (en) * 2021-05-21 2023-08-01 Microsoft Technology Licensing, Llc Autocalibrated near-eye display
CN114440877B (zh) * 2022-01-26 2023-05-23 北京航空航天大学 一种异步多相机视觉惯性里程计定位方法
US12034909B2 (en) * 2022-09-16 2024-07-09 Movella Holdings B.V. Any pose motion capture calibration methods and apparatus

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4852988A (en) 1988-09-12 1989-08-01 Applied Science Laboratories Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6491391B1 (en) 1999-07-02 2002-12-10 E-Vision Llc System, apparatus, and method for reducing birefringence
CA2316473A1 (en) 1999-07-28 2001-01-28 Steve Mann Covert headworn information display or data display or viewfinder
CA2362895A1 (en) 2001-06-26 2002-12-26 Steve Mann Smart sunglasses or computer information display built into eyewear having ordinary appearance, possibly with sight license
DE10132872B4 (de) 2001-07-06 2018-10-11 Volkswagen Ag Kopfmontiertes optisches Durchsichtssystem
US20030030597A1 (en) 2001-08-13 2003-02-13 Geist Richard Edwin Virtual display apparatus for mobile activities
CA2388766A1 (en) 2002-06-17 2003-12-17 Steve Mann Eyeglass frames based computer display or eyeglasses with operationally, actually, or computationally, transparent frames
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7347551B2 (en) 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7500747B2 (en) 2003-10-09 2009-03-10 Ipventure, Inc. Eyeglasses with electrical components
US8965460B1 (en) 2004-01-30 2015-02-24 Ip Holdings, Inc. Image and augmented reality based networks using mobile devices and intelligent electronic glasses
CN102068237A (zh) 2004-04-01 2011-05-25 威廉·C·托奇 监控眼睛运动的系统及方法、控制计算装置的系统及方法
WO2006076499A1 (en) 2005-01-13 2006-07-20 Analog Devices, Inc. Five degree of freedom inertial measurement unit
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US9658473B2 (en) 2005-10-07 2017-05-23 Percept Technologies Inc Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US7931520B2 (en) 2009-02-03 2011-04-26 Funderbolt Studios Inc. Toy disk wheels and accessories therefore
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
US20180144649A1 (en) 2010-06-07 2018-05-24 Affectiva, Inc. Smart toy interaction using image analysis
US8531355B2 (en) 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US20120078570A1 (en) 2010-09-29 2012-03-29 Apple Inc. Multiple accelerometer system
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
JP5965596B2 (ja) 2011-07-27 2016-08-10 オリンパス株式会社 画像処理システム、情報処理装置及びプログラム
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US20130077147A1 (en) 2011-09-22 2013-03-28 Los Alamos National Security, Llc Method for producing a partially coherent beam with fast pattern update rates
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
US9274338B2 (en) 2012-03-21 2016-03-01 Microsoft Technology Licensing, Llc Increasing field of view of reflective waveguide
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
CN104903818B (zh) 2012-12-06 2018-12-14 谷歌有限责任公司 眼睛跟踪佩戴式设备和使用方法
EP2951811A4 (en) 2013-01-03 2016-08-17 Meta Co DIGITAL EYES FOR EXTRAMISSIVE SPATIAL IMAGING, PROCESSES AND SYSTEMS FOR VIRTUAL OR ENLARGED VISIBILITY, MANIPULATION, PRODUCTION OR INTERACTION WITH OBJECTS, MATERIALS, OR OTHER UNITS
US20140195918A1 (en) 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
US10274287B2 (en) 2013-05-09 2019-04-30 Shooting Simulator, Llc System and method for marksmanship training
US10102666B2 (en) 2015-06-12 2018-10-16 Google Llc Electronic display stabilization for head mounted display
US10191561B2 (en) 2015-06-15 2019-01-29 Facebook Technologies, Llc Tracking controllers of a virtual reality system
KR102501752B1 (ko) 2015-09-21 2023-02-20 삼성전자주식회사 헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 이를 위한 장치
KR20170062876A (ko) 2015-11-30 2017-06-08 삼성전자주식회사 헤드 마운트 장치 및 이에 탈부착 가능한 장치
US10176641B2 (en) 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
US10099122B2 (en) 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking
CN206096621U (zh) 2016-07-30 2017-04-12 广州数娱信息科技有限公司 一种增强型虚拟现实感知设备
KR102529137B1 (ko) 2016-08-22 2023-05-03 매직 립, 인코포레이티드 딥 러닝 센서들을 갖는 증강 현실 디스플레이 디바이스
US10317214B2 (en) * 2016-10-25 2019-06-11 Massachusetts Institute Of Technology Inertial odometry with retroactive sensor calibration
US20180293756A1 (en) 2016-11-18 2018-10-11 Intel Corporation Enhanced localization method and apparatus
US11295458B2 (en) 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
US20180319495A1 (en) 2017-05-05 2018-11-08 Pinnacle Vista, LLC Relay drone method
EP3428760B1 (en) * 2017-07-12 2021-03-10 Trifo, Inc. Mapping optimization in autonomous and non-autonomous platforms
US10839547B2 (en) 2017-09-28 2020-11-17 Samsung Electronics Co., Ltd. Camera pose determination and tracking
KR102440358B1 (ko) 2017-10-12 2022-09-05 한화디펜스 주식회사 관성 기반 항법 장치 및 상대사전적분에 따른 관성 기반 항법 방법
US10970425B2 (en) 2017-12-26 2021-04-06 Seiko Epson Corporation Object detection and tracking
US10444932B2 (en) 2018-01-25 2019-10-15 Institute For Information Industry Virtual space positioning method and apparatus
US11210804B2 (en) * 2018-02-23 2021-12-28 Sony Group Corporation Methods, devices and computer program products for global bundle adjustment of 3D images
JP2020020631A (ja) * 2018-07-31 2020-02-06 セイコーエプソン株式会社 姿勢推定方法、姿勢推定装置及び移動体
US10819968B2 (en) 2018-07-31 2020-10-27 Intel Corporation Neural network based patch blending for immersive video
US10861225B2 (en) 2018-08-10 2020-12-08 Intel Corporation Neural network processing for multi-object 3D modeling
CN113632030A (zh) 2018-12-27 2021-11-09 奇跃公司 用于虚拟现实和增强现实的系统和方法
WO2021077024A1 (en) 2019-10-18 2021-04-22 Magic Leap, Inc. Gravity estimation and bundle adjustment for visual-inertial odometry
CN116210021A (zh) 2020-05-29 2023-06-02 奇跃公司 确定角加速度

Also Published As

Publication number Publication date
WO2021077024A1 (en) 2021-04-22
JP7565349B2 (ja) 2024-10-10
US20240185510A1 (en) 2024-06-06
US20220230382A1 (en) 2022-07-21
CN114830182A (zh) 2022-07-29
US20210118218A1 (en) 2021-04-22
US11935180B2 (en) 2024-03-19
EP4046138A1 (en) 2022-08-24
EP4046138A4 (en) 2022-12-07
US11328475B2 (en) 2022-05-10

Similar Documents

Publication Publication Date Title
JP7565349B2 (ja) 視覚的慣性オドメトリのための重力推定およびバンドル調整
JP7445720B2 (ja) 拡張現実のためのシステムおよび方法
US11778398B2 (en) Reverberation fingerprint estimation
JP2023068152A (ja) 複合現実のための二重聴取者位置
KR20160021126A (ko) 공유된 홀로그램 객체 및 사적 홀로그램 객체
KR20160012139A (ko) 홀로그램 앵커링 및 동적 포지셔닝 기법
US12056273B2 (en) Determining angular acceleration
EP3011412A1 (en) Concurrent optimal viewing of virtual objects
JP2023527561A (ja) 表面の適切な衝突
JP2023100820A (ja) 空間コンピューティングのための写実的キャラクタ構成
JP7558268B2 (ja) 非均一ステレオレンダリング
JP2024512211A (ja) Ｌｉｄａｒ同時位置特定およびマッピング

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240930