JP2021534491A - クロスリアリティシステム - Google Patents

クロスリアリティシステム Download PDF

Info

Publication number
JP2021534491A
JP2021534491A JP2021507660A JP2021507660A JP2021534491A JP 2021534491 A JP2021534491 A JP 2021534491A JP 2021507660 A JP2021507660 A JP 2021507660A JP 2021507660 A JP2021507660 A JP 2021507660A JP 2021534491 A JP2021534491 A JP 2021534491A
Authority
JP
Japan
Prior art keywords
map
processor
pcf
head
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021507660A
Other languages
English (en)
Other versions
JP7445642B2 (ja
JPWO2020036898A5 (ja
Inventor
ロバート ブレイク テイラー，
アヌシュ モハン，
ジェレミー ドウェイン ミランダ，
ラファエル ドミンゴス トーレス，
ダニエル オルシャンスキー，
アリ シャーロクニー，
エラン ゲンデルマン，
サミュエル エー． ミラー，
ジェハンギール タジク，
アシュウィン スワミナサン，
ロメシュ アガルワル，
プラティーク シンガル，
ジョエル デイビッド ホルダー，
シュアン ジャオ，
シッダルタ チョーダリー，
ヘルダー トシロウ スズキ，
ヒラル ホナル バロット，
マイケル ハロルド リーベナウ，
クリスチャン イヴァン ロバート ムーア，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2021534491A publication Critical patent/JP2021534491A/ja
Publication of JPWO2020036898A5 publication Critical patent/JPWO2020036898A5/ja
Priority to JP2023193577A priority Critical patent/JP2024009071A/ja
Application granted granted Critical
Publication of JP7445642B2 publication Critical patent/JP7445642B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

拡張現実視認システムが、説明される。ローカルコンテンツのローカル座標フレームが、世界座標フレームに変換される。さらなる変換が、頭部座標フレームに行われ、さらなる変換が、眼の全ての瞳孔位置を含む、カメラ座標フレームに行われる。１人以上のユーザが、別個のセッションにおいて、視認システムと相互作用し得る。規準マップが、利用可能である場合、先行マップが、ユーザの視認デバイス上にダウンロードされる。視認デバイスは、次いで、別のマップを生成し、後続マップを規準マップに対して位置特定する。

Description

（関連出願の相互参照）
本願は、参照することによってその全体として本明細書に組み込まれる、２０１８年８月１３日に出願され、「ＶＩＥＷＩＮＧ ＤＥＶＩＣＥ ＯＲ ＶＩＥＷＩＮＧ ＤＥＶＩＣＥＳ ＨＡＶＩＮＧ ＯＮＥ ＯＲ ＭＯＲＥ ＣＯＯＲＤＩＮＡＴＥ ＦＲＡＭＥ ＴＲＡＮＳＦＯＲＭＥＲＳ」と題された、米国仮特許出願第６２／７１８，３５７号の優先権および利点を主張する。本特許出願はまた、参照することによってその全体として本明細書に組み込まれる、２０１８年１０月５日に出願され、「ＣＯＯＲＤＩＮＡＴＥ ＦＲＡＭＥ ＰＲＯＣＥＳＳＩＮＧ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ」と題された、米国仮特許出願第６２／７４２，２３７号の優先権および利点を主張する。本特許出願はまた、参照することによってその全体として本明細書に組み込まれる、２０１９年３月１日に出願され、「ＭＥＲＧＩＮＧ Ａ ＰＬＵＲＡＬＩＴＹ ＯＦ ＩＮＤＩＶＩＤＵＡＬＬＹ ＭＡＰＰＥＤ ＥＮＶＩＲＯＮＭＥＮＴＳ」と題された、米国仮特許出願第６２／８１２，９３５号の優先権および利点を主張し、参照することによってその全体として本明細書に組み込まれる、２０１９年３月８日に出願され、「ＶＩＥＷＩＮＧ ＤＥＶＩＣＥ ＯＲ ＶＩＥＷＩＮＧ ＤＥＶＩＣＥＳ ＨＡＶＩＮＧ ＯＮＥ ＯＲ ＭＯＲＥ ＣＯＯＲＤＩＮＡＴＥ ＦＲＡＭＥ ＴＲＡＮＳＦＯＲＭＥＲＳ」と題された、米国仮特許出願第６２／８１５，９５５号の優先権および利点を主張する。本特許出願はまた、参照することによってその全体として本明細書に組み込まれる、２０１９年６月２８日に出願され、「ＲＡＮＫＩＮＧ ＡＮＤ ＭＥＲＧＩＮＧ Ａ ＰＬＵＲＡＬＩＴＹ ＯＦ ＥＮＶＩＲＯＮＭＥＮＴ ＭＡＰＳ」と題された、米国仮特許出願第６２／８６８，７８６号の優先権および利点を主張する。本特許出願はまた、参照することによってその全体として本明細書に組み込まれる、２０１９年７月５日に出願され、「ＲＡＮＫＩＮＧ ＡＮＤ ＭＥＲＧＩＮＧ Ａ ＰＬＵＲＡＬＩＴＹ ＯＦ ＥＮＶＩＲＯＮＭＥＮＴ ＭＡＰＳ」と題された、米国仮特許出願第６２／８７０，９５４号の優先権および利点を主張する。本特許出願はまた、参照することによってその全体として本明細書に組み込まれる、２０１９年８月８日に出願され、「Ａ ＶＩＥＷＩＮＧ ＳＹＳＴＥＭ」と題された、米国仮特許出願第６２／８８４，１０９号の優先権および利点を主張する。
本願は、概して、クロスリアリティシステムに関する。
コンピュータは、ヒューマンユーザインターフェースを制御し、ユーザによって知覚されるにつれて、ＸＲ環境の一部または全部がコンピュータによって生成される、Ｘリアリティ（ＸＲまたはクロスリアリティ）環境を作成し得る。これらのＸＲ環境は、ＸＲ環の一部または全部が、部分的に、環境を説明するデータを使用して、コンピュータによって生成され得る、仮想現実（ＶＲ）、拡張現実（ＡＲ）、および複合現実（ＭＲ）環境であり得る。本データは、例えば、ユーザが、物理的世界の一部として、感知または知覚し、仮想オブジェクトと相互作用し得るようにレンダリングされ得る、仮想オブジェクトを説明し得る。ユーザは、例えば、頭部搭載型ディスプレイデバイス等のユーザインターフェースデバイスを通してレンダリングおよび提示されているデータの結果として、これらの仮想オブジェクトを体験し得る。データは、ユーザに見えるように表示され得る、またはユーザに聞こえるように再生される、オーディオを制御し得る、または触知的（または触覚的）インターフェースを制御し、ユーザが、仮想オブジェクトを感じるにつれて、ユーザが感知または知覚する、タッチ感覚を体験することを可能にし得る。
ＸＲシステムは、科学的可視化、医療訓練、工学設計、およびプロトタイプ化、遠隔操作およびテレプレゼンス、および個人的娯楽の分野に及ぶ、多くの用途のために有用であり得る。ＡＲおよびＭＲは、ＶＲと対照的に、物理的世界の実オブジェクトと関連して、１つ以上のオブジェクトを含む。実オブジェクトと相互作用する、仮想オブジェクトの体験は、概して、ＸＲシステムを使用する際、ユーザの享受を向上させ、また、物理的世界が改変され得る様子についての現実的かつ容易に理解可能な情報を提示する、種々の用途のための可能性を広げる。
ＸＲシステムは、システムのユーザの周囲の物理的世界を「メッシュ」として表し得る。メッシュは、複数の相互接続された三角形によって表され得る。各三角形は、各三角形が表面の一部を表すように、物理的世界内のオブジェクトの表面上の点を継合する縁を有する。色、テクスチャ、または他の性質等の表面の部分についての情報が、三角形内に関連付けられて記憶され得る。動作時、ＸＲシステムは、画像情報を処理し、メッシュを作成または更新するように、点および表面を検出し得る。
本願の側面は、Ｘリアリティ（クロスリアリティまたはＸＲ）場面を提供するための方法および装置に関する。本明細書に説明される技法は、ともに、別個に、または任意の好適な組み合わせにおいて、使用されてもよい。
いくつかの実施形態は、第１のプロセッサと、第１のプロセッサに接続される、第１のコンピュータ可読媒体と、第１のコンピュータ可読媒体上に記憶される、第１の原点座標フレームと、コンピュータ可読媒体上に記憶される、第１の目的地座標フレームと、ローカルコンテンツを表すデータを受信する、第１のデータチャネルと、第１のプロセッサによって実行可能であって、ローカルコンテンツの位置付けを第１の原点座標フレームから第１の目的地座標フレームに変換する、第１の座標フレーム変換器と、ローカルコンテンツの位置付けを第１の原点座標フレームから第１の目的地座標フレームに変換後、ローカルコンテンツを第１のユーザに表示するように適合される、第１のディスプレイシステムとを含む、第１のＸＲデバイスを含む、ＸＲシステムに関する。
いくつかの実施形態は、第１の原点座標フレームを記憶するステップと、第１の目的地座標フレームを記憶するステップと、ローカルコンテンツを表すデータを受信するステップと、ローカルコンテンツの位置付けを第１の原点座標フレームから第１の目的地座標フレームに変換するステップと、ローカルコンテンツの位置付けを第１の原点座標フレームから第１の目的地座標フレームに変換後、ローカルコンテンツを第１のユーザに表示するステップとを含む、視認方法に関する。
いくつかの実施形態は、複数のアンカを有する規準マップである、第１のマップを記憶する、マップ記憶ルーチンであって、第１のマップの各アンカは、座標のセットを有する、マップ記憶ルーチンと、実オブジェクトの場所を検出するように位置付けられる、実オブジェクト検出デバイスと、実オブジェクト検出デバイスに接続され、実オブジェクトの場所に基づいて、第２のマップのアンカを検出する、アンカ識別システムであって、第２のマップの各アンカは、座標のセットを有する、アンカ識別システムと、規準マップおよび第２のマップに接続され、第２のマップの第１のアンカを規準マップの第１のアンカにマッチングさせ、第２のマップの第２のアンカを規準マップの第２のアンカにマッチングさせることによって、第２のマップを規準マップに対して位置特定するように実行可能である、位置特定モジュールとを含む、ＸＲシステムに関する。
いくつかの実施形態は、複数のアンカを有する規準マップである、第１のマップを記憶するステップであって、規準マップの各アンカは、座標のセットを有する、ステップと、実オブジェクトの場所を検出するステップと、実オブジェクトの場所に基づいて、第２のマップのアンカを検出するステップであって、第２のマップの各アンカは、座標のセットを有する、ステップと、第２のマップの第１のアンカを第１のマップの第１のアンカにマッチングさせ、第２のマップの第２のアンカを規準マップの第２のアンカにマッチングさせることによって、第２のマップを規準マップに対して位置特定するステップとを含む、視認方法に関する。
いくつかの実施形態は、プロセッサと、プロセッサに接続される、コンピュータ可読媒体と、コンピュータ可読媒体上の複数の規準マップと、各個別の規準マップと関連付けられるコンピュータ可読媒体上の個別の規準マップ識別子であって、相互に異なり、規準マップを一意に識別する、規準マップ識別子と、コンピュータ可読媒体上にあって、プロセッサによって実行可能であって、位置識別子をＸＲデバイスから受信し、記憶する、位置検出器と、コンピュータ可読媒体上にあって、プロセッサによって実行可能であって、位置識別子と規準マップ識別子を比較し、第１のフィルタリングされた選択を形成する、１つ以上の規準マップを決定する、第１のフィルタと、コンピュータ可読媒体上にあって、プロセッサによって実行可能であって、第１のフィルタリングされた選択に基づいて、規準マップのうちの１つ以上のものをＸＲデバイスに伝送する、マップ伝送機とを有し得る、サーバを含む、ＸＲシステムに関する。
いくつかの実施形態は、複数の規準マップをコンピュータ可読媒体上に記憶するステップであって、各規準マップは、個別の規準マップと関連付けられる個別の規準マップ識別子を有し、規準マップ識別子は、相互に異なり、規準マップを一意に識別する、ステップと、コンピュータ可読媒体に接続される、プロセッサを用いて、位置識別子をＸＲデバイスから受信し、記憶するステップと、プロセッサを用いて、位置識別子と規準マップ識別子を比較し、第１のフィルタリングされた選択を形成する、１つ以上の規準マップを決定するステップと、プロセッサを用いて、第１のフィルタリングされた選択に基づいて、複数の規準マップをＸＲデバイスに伝送するステップとを含む、視認方法に関する。
いくつかの実施形態は、プロセッサと、プロセッサに接続される、コンピュータ可読媒体と、コンピュータ可読媒体上にあって、プロセッサによって実行可能であって、画像の複数の特徴を受信し、各特徴を個別の数列に変換する、多層知覚ユニットと、コンピュータ可読媒体上にあって、プロセッサによって実行可能であって、各数列の最大値を画像を表すグローバル特徴列に組み合わせる、最大プールユニットとを含む、ＸＲシステムに関する。
いくつかの実施形態は、プロセッサを用いて、画像の複数の特徴を受信するステップと、プロセッサを用いて、各特徴を個別の数列に変換するステップと、プロセッサを用いて、各数列の最大値を画像を表すグローバル特徴列に組み合わせるステップとを含む、視認方法に関する。
いくつかの実施形態は、コンピューティングシステムを動作させ、データベース内に記憶される１つ以上の環境マップを識別し、ユーザによって装着されるデバイスによって収集されたセンサデータに基づいて算出された追跡マップとマージする方法であって、デバイスは、追跡マップを算出する間、コンピュータネットワークへのアクセスポイントの信号を受信し、アクセスポイントとの通信の特性に基づいて、追跡マップの少なくとも１つのエリア属性を決定するステップと、少なくとも１つのエリア属性に基づいて、追跡マップの地理的場所を決定するステップと、決定された地理的場所に対応するデータベース内に記憶される環境マップのセットを識別するステップと、追跡マップおよび環境マップのセットの環境マップと関連付けられるネットワークアクセスポイントの１つ以上の識別子の類似性に基づいて、環境マップのセットをフィルタリングするステップと、追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性に基づいて、環境マップのセットをフィルタリングするステップと、追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づいて、環境マップのセットをフィルタリングするステップとを含む、方法に関する。
いくつかの実施形態は、複数のユーザデバイスが使用されたエリアを示す、エリア識別を記憶する、ユーザデータベースであって、エリア識別は、使用時にユーザデバイスによって検出された無線ネットワークのパラメータを備える、ユーザデータベースと、複数のユーザデバイスによって供給されるデータおよび関連付けられるメタデータから構築された複数の環境マップを記憶する、マップデータベースであって、関連付けられるメタデータは、そこからマップが構築されたデータを供給した、複数のユーザデバイスのエリア識別から導出されたエリア識別を備え、エリア識別は、そこからマップが構築されたデータを供給した、ユーザデバイスによって検出された無線ネットワークのパラメータを備える、マップデータベースと、クラウドコンピューティング環境内の少なくとも１つのプロセッサによって実行されると、メッセージを、ユーザデバイスによって検出された無線ネットワークのパラメータを備える、複数のユーザデバイスから受信し、ユーザデバイスのためのエリア識別子を算出し、受信されたパラメータおよび／または算出されたエリア識別子に基づいて、ユーザデータベースを更新し、環境マップのための要求を複数のユーザデバイスから受信し、環境マップを要求するユーザデバイスと関連付けられるエリア識別子を決定し、少なくとも部分的に、エリア識別子に基づいて、環境マップのセットをマップデータベースから識別し、環境マップのセットをフィルタリングし、フィルタリングされた環境マップのセットをユーザデバイスに伝送する、コンピュータ実行可能命令を記憶する、非一過性コンピュータ記憶媒体とを含み、環境マップのセットをフィルタリングするステップは、そこから環境マップのための要求が生じた、ユーザデバイスによって検出された無線ネットワークのパラメータと、環境マップのセット内の環境マップのためのマップデータベース内の無線ネットワークのパラメータとの類似性に基づく、センサを備える複数のユーザデバイスとの通信のために構成される、拡張現実システムのためのクラウドコンピューティング環境に関する。
いくつかの実施形態は、実世界オブジェクトの複数の表面を検出する、実オブジェクト検出デバイスと、実オブジェクト検出デバイスに接続され、実世界オブジェクトに基づいて、マップを生成する、アンカ識別システムと、マップに基づいて、第１のＰＣＦを生成し、第１のＰＣＦとマップを関連付ける、持続座標フレーム（ＰＣＦ）生成システムと、それぞれ、第１および第２のＸＲデバイス上にある、第１および第２の記憶媒体と、第１のＰＣＦを、それぞれ、第１および第２のＸＲデバイスの第１および第２の記憶媒体内に記憶する、第１および第２のＸＲデバイスの少なくとも第１および第２のプロセッサとを含む、ＸＲシステムに関する。
いくつかの実施形態は、少なくとも１つの検出デバイスを用いて、実世界オブジェクトの複数の表面を検出するステップと、少なくとも１つのプロセッサを用いて、実世界オブジェクトに基づいて、マップを生成するステップと、少なくとも１つのプロセッサを用いて、マップに基づいて、第１のＰＣＦを生成するステップと、少なくとも１つのプロセッサを用いて、第１のＰＣＦとマップを関連付けるステップと、第１および第２のＸＲデバイスの少なくとも第１および第２のプロセッサを用いて、第１のＰＣＦを、それぞれ、第１および第２のＸＲデバイスの第１および第２の記憶媒体内に記憶するステップとを含む、視認方法に関する。
いくつかの実施形態は、第１のＸＲデバイスプロセッサと、第１のＸＲデバイスプロセッサに接続される、第１のＸＲデバイス記憶デバイスと、第１のＸＲデバイスプロセッサによって実行可能であって、持続姿勢をサーバからダウンロードする、ダウンロードシステムと、第１のＸＲデバイスプロセッサによって実行可能であって、持続姿勢に基づいて、ＰＣＦを第１のＸＲデバイスの第１の記憶デバイスから読み出す、ＰＣＦ読出器と、第１のＸＲデバイスプロセッサによって実行可能であって、第１の記憶デバイスから読み出されたＰＣＦに基づいて、座標フレームを計算する、座標フレーム計算機とを含む、第１のＸＲデバイスプロセッサ上の命令のセットとを含み得る、第１のＸＲデバイスを含む、ＸＲシステムに関する。
いくつかの実施形態は、第１のＸＲデバイスの第１のＸＲデバイスプロセッサを用いて、持続姿勢をサーバからダウンロードするステップと、第１のＸＲデバイスプロセッサを用いて、持続姿勢に基づいて、ＰＣＦを第１のＸＲデバイスの第１の記憶デバイスから読み出すステップと、第１のＸＲデバイスプロセッサを用いて、第１の記憶デバイスから読み出されたＰＣＦに基づいて、座標フレームを計算するステップとを含む、視認方法に関する。
いくつかの実施形態は、サーバプロセッサと、サーバプロセッサに接続される、サーバ記憶デバイスと、サーバのサーバプロセッサを用いて実行可能であって、マップと関連付けられた第１のＰＣＦをサーバのサーバ記憶デバイス上に記憶する、マップ記憶ルーチンと、サーバプロセッサを用いて、サーバプロセッサを用いて実行可能であって、マップおよび第１のＰＣＦを第１のＸＲデバイスに伝送する、マップ伝送機とを含み得る、サーバを含む、視認方法に関する。本発明はまた、サーバのサーバプロセッサを用いて、マップと関連付けられた第１のＰＣＦをサーバのサーバ記憶デバイス上に記憶するステップと、サーバのサーバプロセッサを用いて、マップおよび第１のＰＣＦを第１のＸＲデバイスに伝送するステップとを含む、視認方法を提供する。
いくつかの実施形態は、ＸＲデバイスのプロセッサによって、ユーザの頭部に固着される頭部搭載型フレーム上の捕捉デバイスを用いて、環境の表面を捕捉し、表面に対する頭部搭載型フレームの配向を決定することによって、頭部姿勢の追跡に入るステップと、プロセッサによって、表面に対する頭部搭載型フレームの配向決定不能に起因して、頭部姿勢が喪失されたかどうかを決定するステップと、頭部姿勢が、喪失された場合、プロセッサによって、姿勢復元モードに入り、表面に対する頭部搭載型フレームの配向を決定することによって、頭部姿勢を確立するステップとを含む、視認方法に関する。
添付の図面は、縮尺通りに描かれることを意図していない。図面では、種々の図に図示される、各同じまたはほぼ同じコンポーネントは、同様の数字で表される。明確性の目的のために、全てのコンポーネントが、全ての図面において標識されているわけではない。
図１は、いくつかの実施形態による、クロスリアリティ（ＸＲ）システムを図示する、概略図である。
図２は、いくつかの実施形態による、図１のＸＲシステムの第１のＸＲデバイスのブロック図である。
図３は、いくつかの実施形態による、例えば、ローカルＸＲコンテンツを正しくレンダリングするための、目的地座標フレームへの原点座標フレームの変換を図示する、概略図である。
図４は、いくつかの実施形態による、瞳孔ベースの座標フレームを図示する、上部平面図である。
図５は、いくつかの実施形態による、全ての瞳孔位置を含む、カメラ座標フレームを図示する、上部平面図である。
図６は、いくつかの実施形態による、付加的第２のＸＲデバイスを含む、図１のＸＲシステムのブロック図である。
図７は、いくつかの実施形態による、図２のディスプレイシステムの概略図である。
図８は、いくつかの実施形態による、図２の第１のＸＲデバイスによって生成され得る、３次元の第１のローカル追跡マップ（マップ１）の２次元表現である。
図９は、いくつかの実施形態による、マップ１を第１のＸＲデバイスから図６のサーバにアップロードするステップを図示する、ブロック図である。
図１０は、いくつかの実施形態による、図６のＸＲシステムを図示する、概略図であって、第１のユーザが第１のセッションを終了した後に、第２のユーザがＸＲシステムの第２のＸＲデバイスを使用して第２のセッションを開始したことを示す。
図１１Ａは、いくつかの実施形態による、図１０の第２のＸＲデバイスのための新しいセッションを図示する、ブロック図である。
図１１Ｂは、いくつかの実施形態による、図１０の第２のＸＲデバイスのための追跡マップの作成を図示する、ブロック図である。
図１１Ｃは、いくつかの実施形態による、規準マップをサーバから図１０の第２のＸＲデバイスにダウンロードするステップを図示する、ブロック図である。
図１１Ｄは、いくつかの実施形態による、持続座標フレーム（ＰＣＦ）およびＰＣＦに結び付けられるＸＲコンテンツの作成を図示する、ブロック図である。
図１２は、いくつかの実施形態による、図１０の第２のＸＲデバイスによって生成され得る、第２の追跡マップ（マップ２）を、規準マップに対して位置特定するための位置特定試行を図示する、概略図である。
図１３は、いくつかの実施形態による、マップ２のアンカと関連付けられるＸＲコンテンツとともにさらに展開され得る、図１２の第２の追跡マップ（マップ２）を、規準マップに対して位置特定するための位置特定試行を図示する、概略図である。
図１４Ａ−１４Ｂは、いくつかの実施形態による、規準マップに対する図１３のマップ２の位置特定成功を図示する、概略図である。 図１４Ａ−１４Ｂは、いくつかの実施形態による、規準マップに対する図１３のマップ２の位置特定成功を図示する、概略図である。
図１５は、いくつかの実施形態による、アンカまたは複数のアンカを図１４Ａの規準マップから図１３のマップ２の中に含むことによって生成された規準マップを図示する、概略図である。
図１６は、いくつかの実施形態による、第２のＸＲデバイス上でのマップ２のさらなる拡張を伴う、図１５の規準マップを図示する、概略図である。
図１７は、いくつかの実施形態による、マップ２を第２のＸＲデバイスからサーバにアップロードするステップを図示する、ブロック図である。
図１８は、いくつかの実施形態による、マップ２と規準マップをマージするステップを図示する、ブロック図である。
図１９は、いくつかの実施形態による、サーバから第１および第２のＸＲデバイスへの新しい規準マップの伝送を図示する、ブロック図である。
図２０は、いくつかの実施形態による、マップ２の２次元表現と、マップ２に参照される、第２のＸＲデバイスの頭部座標フレームとを図示する、ブロック図である。
図２１は、いくつかの実施形態による、２次元における、６自由度で生じ得る、頭部座標フレームの調節を図示する、ブロック図である。
図２２は、いくつかの実施形態による、音がマップ２のアンカに対して位置特定される、第２のＸＲデバイス上の規準マップを図示する、ブロック図である。
図２３および２４は、いくつかの実施形態による、第１のユーザが第１のセッションを終了し、第１のユーザがＸＲシステムを使用して第２のセッションを開始したときの、ＸＲシステムの使用を図示する、斜視図およびブロック図である。 図２３および２４は、いくつかの実施形態による、第１のユーザが第１のセッションを終了し、第１のユーザがＸＲシステムを使用して第２のセッションを開始したときの、ＸＲシステムの使用を図示する、斜視図およびブロック図である。
図２５および２６は、いくつかの実施形態による、３人のユーザが同一セッション内でＸＲシステムを同時に使用するときの、ＸＲシステムの使用を図示する、斜視図およびブロック図である。 図２５および２６は、いくつかの実施形態による、３人のユーザが同一セッション内でＸＲシステムを同時に使用するときの、ＸＲシステムの使用を図示する、斜視図およびブロック図である。
図２７は、いくつかの実施形態による、サーバ上に記憶される規準マップの緯度および経度を表す、２次元図を図示する、ブロック図である。
図２８は、いくつかの実施形態による、サーバによるＸＲデバイスへの伝送のための規準マップを選択するための一連のフィルタを図示する、概略図である。
図２９Ａ−２９Ｃは、いくつかの実施形態による、画像および／またはマップのグローバル特徴列を生成するためのシステムを図示する、ブロック図である。 図２９Ａ−２９Ｃは、いくつかの実施形態による、画像および／またはマップのグローバル特徴列を生成するためのシステムを図示する、ブロック図である。 図２９Ａ−２９Ｃは、いくつかの実施形態による、画像および／またはマップのグローバル特徴列を生成するためのシステムを図示する、ブロック図である。
図２９Ｄは、いくつかの実施形態による、ニューラルネットワークを訓練する方法を図示する、ブロック図である。
図３０は、いくつかの実施形態による、簡略化された拡張現実（ＡＲ）場面の実施例を図示する、スケッチである。
図３１は、いくつかの実施形態による、視覚的オクリュージョン、物理学的ベースの相互作用、および環境推測を含む、例示的世界再構築ユースケースを示す、例示的簡略化されたＡＲ場面のスケッチである。
図３２は、いくつかの実施形態による、物理的世界と相互作用するＡＲコンテンツの体験を提供するように構成される、ＡＲシステム内のデータフローを図示する、概略図である。
図３３は、いくつかの実施形態による、ＡＲディスプレイシステムの実施例を図示する、概略図である。
図３４Ａは、いくつかの実施形態による、ユーザが物理的世界環境を通して移動するにつれてＡＲコンテンツをレンダリングする、ＡＲディスプレイシステムを装着しているユーザを図示する、概略図である。
図３４Ｂは、いくつかの実施形態による、視認光学系アセンブリおよび付帯コンポーネントを図示する、概略図である。
図３５Ａは、いくつかの実施形態による、世界再構築システムを使用するＡＲシステムを図示する、概略図である。
図３５Ｂは、いくつかの実施形態による、パス可能世界を図示する、概略図である。
図３６は、いくつかの実施形態による、例示的環境マップである。
図３７は、いくつかの実施形態による、複数の環境マップをランク付けし、マージするように構成される、ＡＲシステムを図示する、概略図である。
図３８は、いくつかの実施形態による、複数のランク付けされた環境マップを選択する方法を図示する、フローチャートである。
図３９は、いくつかの実施形態による、図３７のＡＲシステムの例示的マップランク付け部分を図示する、概略図である。
図４０Ａは、いくつかの実施形態による、追跡マップ（ＴＭ）およびデータベース内の環境マップのエリア属性の実施例を図示する、概略図である。
図４０Ｂは、いくつかの実施形態による、図３８の地理的場所フィルタリングのための追跡マップ（ＴＭ）の地理的場所を決定する実施例を図示する、概略図である。
図４１は、いくつかの実施形態による、図３８の地理的場所フィルタリングの実施例を図示する、概略図である。
図４２は、いくつかの実施形態による、図３８のＷｉ−Ｆｉ ＢＳＳＩＤフィルタリングの実施例を図示する、概略図である。
図４３は、いくつかの実施形態による、図３８の位置特定の実施例を図示する、概略図である。
図４４は、いくつかの実施形態による、部屋と、部屋内の種々のエリアのために確立される、キーフレームとを図示する、概略図である。
図４５は、いくつかの実施形態による、キーフレームに基づく、持続姿勢の確立を図示する、概略図である。
図４６は、いくつかの実施形態による、持続姿勢に基づく、持続座標フレーム（ＰＣＦ）の確立を図示する、概略図である。
図４７は、いくつかの実施形態による、ＰＣＦを確立および使用する方法を図示する、フローチャートである。
図４８Ａ−４８Ｉは、図４７のＰＣＦを確立および使用する実施例を図示する、概略図である。 図４８Ａ−４８Ｉは、図４７のＰＣＦを確立および使用する実施例を図示する、概略図である。 図４８Ａ−４８Ｉは、図４７のＰＣＦを確立および使用する実施例を図示する、概略図である。 図４８Ａ−４８Ｉは、図４７のＰＣＦを確立および使用する実施例を図示する、概略図である。 図４８Ａ−４８Ｉは、図４７のＰＣＦを確立および使用する実施例を図示する、概略図である。 図４８Ａ−４８Ｉは、図４７のＰＣＦを確立および使用する実施例を図示する、概略図である。 図４８Ａ−４８Ｉは、図４７のＰＣＦを確立および使用する実施例を図示する、概略図である。 図４８Ａ−４８Ｉは、図４７のＰＣＦを確立および使用する実施例を図示する、概略図である。 図４８Ａ−４８Ｉは、図４７のＰＣＦを確立および使用する実施例を図示する、概略図である。
図４９は、いくつかの実施形態による、頭部姿勢を復元およびリセットする方法を図示する、フローチャートである。
図５０は、いくつかの実施形態による、本発明のシステム内でアプリケーションを見出し得る、コンピュータの形態における機械のブロック図である。
図５１−５３は、いくつかの実施形態による、少なくとも部分的に、深層キーフレーム（ＤＫＦ）分析に基づいて、使用されるべきマップを決定する実施例を図示する、ブロック図である。 図５１−５３は、いくつかの実施形態による、少なくとも部分的に、深層キーフレーム（ＤＫＦ）分析に基づいて、使用されるべきマップを決定する実施例を図示する、ブロック図である。 図５１−５３は、いくつかの実施形態による、少なくとも部分的に、深層キーフレーム（ＤＫＦ）分析に基づいて、使用されるべきマップを決定する実施例を図示する、ブロック図である。
本明細書に説明されるものは、Ｘリアリティ（ＸＲまたはクロスリアリティ）場面を提供するための方法および装置である。現実的ＸＲ体験を複数のユーザに提供するために、ＸＲシステムは、実オブジェクトに関連して仮想オブジェクトの場所を正しく相関させるために、ユーザの物理的周囲を把握しなければならない。ＸＲシステムは、場面の環境マップを構築し得、これは、ＸＲシステムのユーザによって装着されるＸＲデバイスの一部であるセンサを用いて収集された、画像および深度情報から作成され得る。
本発明者らは、持続環境マップが、作成され、記憶され、ＸＲシステムの複数のユーザのいずれかによって読み出されることを可能にすることによって、ＸＲシステムを動作させ、より没入型のユーザ体験のためのＸＲ場面を提供するための技法を実現し、その真価を認めた。そのような持続環境マップは、ＸＲ体験を向上させる、１つ以上の機能を有効にし得る。例えば、ユーザによって装着されるウェアラブルデバイスは、オンにされた後、クラウド記憶装置等の持続記憶装置から、以前に作成および記憶された、適切な環境マップを読み出してもよい。その以前に記憶されたマップは、ユーザが存在していた以前の時間または複数の時間に、ユーザのウェアラブルデバイス上のセンサを用いて収集された環境についてのデータに基づき得る。持続マップを読み出すことは、ウェアラブルデバイス上のセンサを用いた物理的世界の走査を伴わずに、ウェアラブルデバイスの使用を有効にし得る。代替として、または加えて、ユーザは、物理的世界の新しい領域に進入することに応じて、同様に、適切な環境マップを読み出してもよい。
マルチユーザＸＲシステムでは、１人のユーザによってアクセスされる持続環境マップは、別のユーザによって作成および記憶されていてもよく、および／または持続環境マップによって表される物理的世界の少なくとも一部内に以前に存在した、複数のユーザによって装着されるウェアラブルデバイス上のセンサによって収集された物理的世界についてのデータを集約することによって、構築されていてもよい。
さらに、物理的世界についてのデータを複数のユーザ間で共有することは、仮想コンテンツの共有ユーザ体験を有効にし得る。同一持続環境マップへのアクセスを有する、２つのＸＲデバイスは両方とも、例えば、持続環境マップに対して位置特定されてもよい。いったん位置特定されると、ユーザデバイスは、基準によって規定された場所を有する、仮想コンテンツを、その場所をユーザデバイスによって維持されるフレームまたは基準に平行移動させることによって、持続環境マップにレンダリングしてもよい。ユーザデバイスは、本ローカル基準フレームを使用して、ユーザデバイスのディスプレイを制御し、仮想コンテンツを規定された場所内にレンダリングしてもよい。
これらおよび他の可能性として考えられる機能をサポートするために、ＸＲシステムは、ユーザデバイス上のセンサを用いて収集された物理的世界についてのデータに基づいて、１つ以上の持続環境マップを展開、維持、および使用する、コンポーネントを含んでもよい。これらのコンポーネントは、ＸＲシステムを横断して分散されてもよく、一部は、例えば、ユーザデバイスの頭部搭載型部分上で動作する。他のコンポーネントは、ローカルまたはパーソナルエリアネットワークを経由して頭部搭載型部分に結合される、ユーザと関連付けられるコンピュータ上で動作してもよい。さらにその他は、広域ネットワークを経由してアクセス可能な１つ以上のサーバ等、遠隔場所で動作してもよい。
これらのコンポーネントは、例えば、１つ以上のユーザデバイスによって収集された物理的世界についての情報から、持続環境マップとして記憶されるために十分な品質である情報を識別し得る、コンポーネントを含んでもよい。下記により詳細に説明される、そのようなコンポーネントの実施例は、図６におけるＰＣＦ統合ユニット１３００である。
別の実施例として、これらのコンポーネントは、ユーザデバイスによって読み出され、使用され得る、適切な持続環境マップを決定することを補助し得る、コンポーネントを含んでもよい。下記により詳細に説明される、そのようなコンポーネントの実施例は、マップランク付けコンポーネントである。そのようなコンポーネントは、例えば、入力をユーザデバイスから受信し、その中でデバイスが動作中である、物理的世界の領域を表す可能性が高い、１つ以上の持続環境マップを識別してもよい。マップランク付けコンポーネントは、例えば、仮想コンテンツをレンダリングする、環境についてのデータを集める、または他のアクションを実施する際、そのローカルデバイスによって使用されるべき持続環境マップを選択することを補助し得る。マップランク付けコンポーネントは、代替として、または加えて、物理的世界についての付加的情報が１つ以上のユーザデバイスによって収集されるにつれて、更新されるべき持続環境マップを識別することを補助し得る。
他のコンポーネントは、アプリケーションプログラミングインターフェース（ＡＰＩ）であってもよい。持続環境マップを構築および維持する、プラットフォームは、１つ以上のＡＰＩを提供し、別個に作成されたアプリケーションが物理的世界についての情報を取得することを可能にしてもよい。
さらに他のコンポーネントは、１つの基準フレームに関連して捕捉または説明される情報を別の基準フレームの中に平行移動されるように変換する、変換であってもよい。例えば、センサは、そのセンサから読み取られたデータが、装着者の頭部姿勢に対する物理的世界内のオブジェクトの場所を示すように、頭部搭載型ディスプレイに取り付けられてもよい。１つ以上の変換が、その場所情報を持続環境マップと関連付けられる座標フレームに関連させるように適用されてもよい。同様に、持続環境マップの座標フレーム内に表されるとき、仮想オブジェクトがレンダリングされるべき場所を示す、データは、ユーザの頭部上のディスプレイの基準フレーム内にあるように１つ以上の変換を受けてもよい。下記により詳細に説明されるように、複数のそのような変換が存在してもよい。これらの変換は、それらが分散型システム内で効率的に更新および／または適用され得るように、ＸＲシステムのコンポーネントを横断してパーティション化されてもよい。
いくつかの実施形態では、マップ情報は、ユーザ間およびアプリケーションを含む分散型コンポーネント間で容易に共有され得るように表されてもよい。物理的世界についての情報は、例えば、物理的世界内で認識される特徴を表す、１つ以上のアンカを伴う、座標フレームとして表されてもよい。そのようなマップは、それらが効率的に処理および転送され得るように、疎隔され、物理的世界についての利用可能な情報の全て未満を提供してもよい。
いくつかの実施形態では、持続環境マップは、複数のユーザデバイスによって収集された情報から構築されてもよい。ＸＲデバイスは、種々の場所および時間においてシステムのユーザによって装着されるＸＲデバイスのセンサによって収集された情報を用いて、別個の追跡マップ（ＴＭ）を構築してもよい。各ＴＭは、それぞれ、環境内の実オブジェクトと関連付けられ得る、点を含んでもよい。潜在的に、入力を供給し、持続環境マップを作成および維持するステップに加え、ＴＭは、場面内のユーザの運動を追跡するために使用され、ＸＲシステムが、ＴＭに基づいて、個別のユーザの頭部姿勢を推定することを可能にしてもよい。
環境マップの作成と頭部姿勢の推定との間の本共依存性は、有意な課題を構成する。実質的処理が、同時に、環境マップを作成し、頭部姿勢を推定するために要求され得る。待ち時間は、ＸＲ体験をユーザにとってあまり没入型ではないものにするため、処理は、オブジェクトが場面内を移動する（例えば、カップをテーブル上で移動させる）につれて、かつユーザが場面内を移動するにつれて、迅速に遂行されなければならない。他方では、ＸＲデバイスの重量は、ユーザが快適に装着するために軽量であるべきであるため、ＸＲデバイスは、限定された算出リソースを提供し得る。したがって、算出リソースの欠如は、より多くのセンサを用いて補償されることができない。さらに、より多くのセンサおよびより多くの算出リソースは、熱につながり、これは、ＸＲデバイスの変形を生じさせ得る。
本発明者らは、１ｋＨｚの周波数における頭部姿勢の推定、３０Ｈｚで動作する４つのビデオグラフィックアレイ（ＶＧＡ）カメラ等の算出リソースの低使用量、１ｋＨｚで動作する１つの慣性測定ユニット（ＩＭＵ）、単一の高度ＲＩＳＣ機械（ＡＲＭ）コアの算出電力、１ＧＢ未満のメモリ、および１００Ｍｂｐ未満のネットワーク帯域幅等、より没入型のユーザ体験のために、ＸＲシステムを動作させ、ＸＲ場面を提供するための技法を実現し、その真価を認めた。これらの技法は、環境マップを生成および維持し、頭部姿勢を推定するために要求される処理を低減させ、かつ低算出オーバーヘッドを伴ってデータを提供および消費するステップに関する。
これらの技法は、ＸＲシステムが、（１）環境の連続画像間の区別可能な点のパッチベースの追跡（フレーム／フレーム追跡）と、（２）現在の画像の着目点と対応する着目点の既知の実世界場所の記述子ベースのマップのマッチング（マップ／フレーム追跡）との両方を活用し得るように、ハイブリッド追跡を含んでもよい。フレーム／フレーム追跡では、ＸＲシステムは、実世界環境の捕捉された画像間の角等の特定の着目点（顕著な点）を追跡することができる。例えば、ディスプレイシステムは、前の画像内に含まれていた（例えば、その中に位置していた）、現在の画像内の視覚的着目点の場所を識別することができる。本識別は、例えば、測光誤差最小限化プロセスを使用して遂行されてもよい。マップ／フレーム追跡では、ＸＲシステムは、着目点の実世界場所（例えば、３次元座標）を示す、マップ情報にアクセスし、現在の画像内に含まれる着目点をマップ情報に示される着目点にマッチングさせることができる。着目点に関する情報は、記述子としてマップデータベース内に記憶される。ＸＲシステムは、次いで、マッチングされた視覚的特徴に基づいて、その姿勢を計算することができる。米国特許第出願第１６／２２１，０６５号は、ハイブリッド追跡を説明し、参照することによってその全体として本明細書に組み込まれる。
これらの技法は、マッピングされた点の集合およびキーフレームを用いて疎マップを構築する、および／またはマップをブロックに分割し、ブロックによる更新を有効にすること等によって、マップを構築するときに処理される、データの量を低減させるステップを含み得る。マッピングされた点は、環境内の実オブジェクトの３次元（３Ｄ）世界再構築物と関連付けられてもよい。キーフレームは、カメラ捕捉データから選択された情報を含んでもよい。米国特許第出願第１６／５２０，５８２号は、位置特定マップを決定および／または評価するステップを説明し、参照することによってその全体として本明細書に組み込まれる。
これらの技法は、１つ以上のセッションを横断して、実空間内の１つ以上の座標系に基づいて動的マップを作成し、例えば、アプリケーションプログラミングインターフェース（ＡＰＩ）を介して、ＸＲアプリケーションにエクスポーズされ得る、持続座標フレーム（ＰＣＦ）を疎マップにわたって生成し、いくつかの実施形態では、深層キーフレーム分析を使用して、１つ以上のＸＲデバイスによって作成された複数のマップをランク付けおよびマッピングし、頭部姿勢を復元およびリセットするステップを含み得る。
本明細書に説明される技法は、拡張現実場面を提供する、限定された算出リソースを伴う、ウェアラブルまたはポータブルデバイスを含む、多くのタイプのデバイスとともに、かつ多くのタイプの場面のために、ともにまたは別個に使用されてもよい。
座標フレーム
本明細書に説明されるものは、仮想コンテンツを視認する眼の場所から独立して、ＸＲシステムを使用して仮想コンテンツを提供するための方法および装置である。従来、仮想コンテンツは、表示システムの任意の運動に応じて、再レンダリングされる。例えば、ディスプレイシステムを装着しているユーザが、ディスプレイ上の３次元（３Ｄ）オブジェクトの仮想表現を視認し、３Ｄオブジェクトが現れるエリアの周囲を歩き回る場合、３Ｄオブジェクトは、ユーザが実空間を占有する、オブジェクトの周囲を歩き回っているという知覚を有するように、視点毎に再レンダリングされるべきである。しかしながら、再レンダリングは、システムの有意な算出リソースを消費し、待ち時間に起因して、アーチファクトを生じさせる。
本発明者らは、頭部姿勢（例えば、ＸＲシステムを装着しているユーザの場所および配向）が、ユーザの頭部内の眼回転から独立して、仮想コンテンツをレンダリングするために使用され得ることを認識し、その真価を認めた。いくつかの実施形態では、場面の動的マップが、ユーザの頭部内の眼回転から独立して、および／または、例えば、高速算出集約的動作の間に生成された熱によって生じるセンサ変形から独立して、動的マップと相互作用する仮想コンテンツが、ロバストにレンダリングされ得るように、１つ以上のセッションを横断して、実空間内の複数の座標フレームに基づいて生成されてもよい。いくつかの実施形態では、複数の座標フレームの構成は、第１のユーザによって装着される第１のＸＲデバイスおよび第２のユーザによって装着される第２のＸＲデバイスが、場面内の共通場所を認識することを可能にし得る。いくつかの実施形態では、複数の座標フレームの構成は、第１および第２のＸＲデバイスを装着している第１および第２のユーザが、場面の同一場所内の仮想コンテンツを視認することを可能にし得る。
いくつかの実施形態では、追跡マップが、世界座標フレーム内に構築されてもよく、これは、世界原点を有してもよい。世界原点は、ＸＲデバイスが電源投入されるときの、ＸＲデバイスの第１の姿勢であってもよい。世界原点は、ＸＲアプリケーションの開発者が余剰作業を伴わずに重力整合を得ることができるように、重力に整合されてもよい。異なる追跡マップが、追跡マップが、異なるセッションにおける同一ＸＲデバイスおよび／または異なるユーザによって装着される異なるＸＲデバイスによって捕捉され得るため、異なる世界座標フレーム内に構築されてもよい。いくつかの実施形態では、ＸＲデバイスのセッションは、本デバイスを電源オンにしてから開始し、電源オフにするまで続いてもよい。いくつかの実施形態では、ＸＲデバイスは、頭部座標フレームを有してもよく、これは、頭部原点を有してもよい。頭部原点は、画像が撮影されるときの、ＸＲデバイスの現在の姿勢であってもよい。世界座標フレームおよび頭部座標フレームの頭部姿勢の間の差異は、追跡ルートを推定するために使用されてもよい。
いくつかの実施形態では、ＸＲデバイスは、カメラ座標フレームを有してもよく、これは、カメラ原点を有してもよい。カメラ原点は、ＸＲデバイスの１つ以上のセンサの現在の姿勢であってもよい。本発明者らは、カメラ座標フレームの構成が、ユーザの頭部内の眼回転から独立して、仮想コンテンツのロバストな表示を有効にすることを認識し、その真価を認めた。本構成はまた、例えば、動作の間に生成された熱に起因するセンサ変形から独立して、仮想コンテンツのロバストな表示を有効にする。
いくつかの実施形態では、ＸＲデバイスは、ユーザが、その頭部に固着させ得、ユーザの各眼の正面に１つずつ、２つの導波管を含み得る、頭部搭載可能フレームを伴う、頭部ユニットを有してもよい。導波管は、実世界オブジェクトからの周囲光が、導波管を通して透過し得、ユーザに実世界オブジェクトが見え得るように、透明であり得る。各導波管は、プロジェクタから投影された光をユーザの個別の眼に透過させ得る。投影された光は、画像を眼の網膜上に形成し得る。眼の網膜は、したがって、周囲光および投影された光を受光する。ユーザには、同時に、実世界オブジェクトと、投影された光によって作成される、１つ以上の仮想オブジェクトとが見え得る。いくつかの実施形態では、ＸＲデバイスは、ユーザの周囲の実世界オブジェクトを検出する、センサを有してもよい。これらのセンサは、例えば、実世界オブジェクトの場所を識別するために処理され得る、画像を捕捉する、カメラであってもよい。
いくつかの実施形態では、ＸＲシステムは、仮想コンテンツを世界座標フレーム内に結び付けることとは対照的に、ローカル座標フレームを仮想コンテンツに割り当ててもよい。そのような構成は、仮想コンテンツが、持続座標フレーム（ＰＣＦ）等のより持続的なフレーム位置に結び付けられることを可能にする。いくつかの実施形態では、頭部姿勢セッションが終了すると、ローカル座標フレームは、世界座標フレームに変換されてもよい。いくつかの実施形態では、世界座標フレームは、現在のローカル座標フレームに対して位置特定されている、前のセッションのマップの原点であってもよい。オブジェクトの場所が変化すると、ＸＲデバイスは、環境マップの変化を検出し、ユーザによって装着される頭部ユニットの移動を実世界オブジェクトに対して決定してもよい。
図１は、いくつかの実施形態による、ＸＲシステム１０を図示する。ＸＲシステムは、第１のユーザ１４．１によって装着される、第１のＸＲデバイス１２．１と、テーブル１６の形態における実オブジェクトと、ネットワーク１８と、サーバ２０とを含んでもよい。
図示される実施例では、第１のＸＲデバイス１２．１は、頭部ユニット２２と、ベルトパック２４と、ケーブル接続２６とを含む。第１のユーザ１４．１は、頭部ユニット２２をその頭部に、頭部ユニット２２から遠隔のベルトパック２４をその腰部上に固着させる。ケーブル接続２６は、頭部ユニット２２をベルトパック２４に接続する。頭部ユニット２２は、第１のユーザ１４．１にテーブル１６等の実オブジェクトが見えることを可能にしたまま、仮想オブジェクトまたは複数のオブジェクトを第１のユーザ１４．１に表示するために使用される、技術を含む。ベルトパック２４は、主に、第１のＸＲデバイス１２．１の処理および通信能力を含む。いくつかの実施形態では、処理および通信能力は、ベルトパック２４が、除去され得る、またはリュック等の別のデバイス内に位置し得るように、全体的または部分的に、頭部ユニット２２内に常駐してもよい。
図示される実施例では、ベルトパック２４は、無線接続を介して、ネットワーク１８に接続される。サーバ２０は、ネットワーク１８に接続され、ローカルコンテンツを表すデータを保持する。ベルトパック２４は、ローカルコンテンツを表すデータをサーバ２０からネットワーク１８を介してダウンロードする。ベルトパック２４は、ケーブル接続２６を介して、データを頭部ユニット２２に提供する。頭部ユニット２２は、光源、例えば、レーザ光源または発光ダイオード（ＬＥＤ）光源と、光を誘導する、導波管とを有する、ディスプレイを含んでもよい。
いくつかの実施形態では、第１のユーザ１４．１は、頭部ユニット２２をその頭部に、ベルトパック２４をその腰部に搭載してもよい。ベルトパック２４は、画像データをネットワーク１８を経由してサーバ２０からダウンロードしてもよい。第１のユーザ１４．１には、頭部ユニット２２のディスプレイを通して、テーブル１６が見え得る。頭部ユニット２２の一部を形成する、プロジェクタは、画像データをベルトパック２４から受信し、画像データに基づいて、光を生成してもよい。光は、頭部ユニット２２のディスプレイの一部を形成する導波管のうちの１つ以上のものを通して進行してもよい。光は、次いで、導波管から出射し、第１のユーザ１４．１の眼の網膜上に伝搬してもよい。プロジェクタは、第１のユーザ１４．１の眼の網膜上に複製される、パターンにおいて光を生成してもよい。第１のユーザ１４．１の眼の網膜上に当たる光は、第１のユーザ１４．１が画像を導波管の背後の事前に選択された深度において知覚するように、選択された被写界深度を有してもよい。加えて、第１のユーザ１４．１の両眼は、第１のユーザ１４．１の脳が３次元画像または複数の画像を頭部ユニット２２からの選択された距離において知覚するように、若干異なる画像を受信してもよい。図示される実施例では、第１のユーザ１４．１は、仮想コンテンツ２８をテーブル１６の上方において知覚する。仮想コンテンツ２８および第１のユーザ１４．１からのその場所および距離の割合は、仮想コンテンツ２８を表すデータと、仮想コンテンツ２８を第１のユーザ１４．１に表示するために使用される、種々の座標フレームとによって決定される。
図示される実施例では、仮想コンテンツ２８は、図面の視点から不可視であって、第１のＸＲデバイス１２．１の使用を通して第１のユーザ１４．１に可視である。仮想コンテンツ２８は、最初に、視覚データ内のデータ構造およびベルトパック２４内のアルゴリズムとして常駐し得る。データ構造は、次いで、頭部ユニット２２のプロジェクタがデータ構造に基づいて光を生成するとき、光として露見し得る。仮想コンテンツ２８は、第１のユーザ１４．１の正面の３次元空間内に存在しないが、仮想コンテンツ２８は、依然として、例証目的のために、３次元空間内の図１において表されることを理解されたい。３次元空間内のコンピュータデータの可視化は、１人以上のユーザによって知覚されるレンダリングを促進するデータ構造が、ベルトパック２４内のデータ構造の中で相互に関連する方法を図示するために、本説明において使用され得る。
図２は、いくつかの実施形態による、第１のＸＲデバイス１２．１のコンポーネントを図示する。第１のＸＲデバイス１２．１は、頭部ユニット２２と、例えば、レンダリングエンジン３０と、種々の座標系３２と、種々の原点および目的地座標フレーム３４と、種々の原点／目的地座標フレーム変換器３６とを含む、視覚データおよびアルゴリズムの一部を形成する、種々のコンポーネントとを含んでもよい。
頭部ユニット２２は、頭部搭載可能フレーム４０と、ディスプレイシステム４２と、実オブジェクト検出カメラ４４と、移動追跡カメラ４６と、慣性測定ユニット４８とを含んでもよい。
頭部搭載可能フレーム４０は、図１における第１のユーザ１４．１の頭部に固着可能である、形状を有してもよい。ディスプレイシステム４２、実オブジェクト検出カメラ４４、移動追跡カメラ４６、および慣性測定ユニット４８は、頭部搭載可能フレーム４０に搭載され、したがって、頭部搭載可能フレーム４０とともに移動し得る。
座標系３２は、ローカルデータシステム５２と、世界フレームシステム５４と、頭部フレームシステム５６と、カメラフレームシステム５８とを含んでもよい。
ローカルデータシステム５２は、データチャネル６２と、ローカルフレーム決定ルーチン６４と、ローカルフレーム記憶命令６６とを含んでもよい。データチャネル６２は、内部ソフトウェアルーチン、外部ケーブルまたは無線周波数受信機等のハードウェアコンポーネント、または開放されるポート等のハイブリッドコンポーネントであってもよい。データチャネル６２は、仮想コンテンツを表す画像データ６８を受信するように構成されてもよい。
ローカルフレーム決定ルーチン６４は、データチャネル６２に接続されてもよい。ローカルフレーム決定ルーチン６４は、ローカル座標フレーム７０を決定するように構成されてもよい。いくつかの実施形態では、ローカルフレーム決定ルーチンは、実世界オブジェクトまたは実世界場所に基づいて、ローカル座標フレームを決定してもよい。いくつかの実施形態では、ローカル座標フレームは、頭部姿勢セッションの初期化時の原点に基づいてもよい。いくつかの実施形態では、ローカル座標フレームは、本デバイスがブートアップされた場所に位置してもよい、または頭部姿勢がブートセッションの間に喪失された場合、新しいある場所であり得る。いくつかの実施形態では、ローカル座標フレームは、頭部姿勢セッションの開始時の原点であってもよい。いくつかの実施形態では、仮想コンテンツはまた、関連付けられるコンテンツ座標フレームを有してもよい。いくつかの実施形態では、コンテンツ座標フレームは、ブラウザウィンドウの底部縁に対する上部縁、キャラクタの頭または足、仮想コンテンツを包囲する、プリズムまたは境界ボックスの外側表面上のノード、または仮想コンテンツの対面方向およびそれを用いて仮想コンテンツを設置すべき場所（例えば、設置ノードまたはアンカノード等のノード）を定義する、座標フレームを設置するための任意の他の好適な場所等に基づいてもよい。
ローカルフレーム記憶命令６６は、ローカルフレーム決定ルーチン６４に接続されてもよい。当業者は、ソフトウェアモジュールおよびルーチンが、サブルーチン、コール等を通して、相互に「接続」されることを理解するであろう。ローカルフレーム記憶命令６６は、ローカル座標フレーム７０をローカル座標フレーム７２として原点および目的地座標フレーム３４内に記憶してもよい。いくつかの実施形態では、原点および目的地座標フレーム３４は、仮想コンテンツがセッション間で持続するために、操作または変換され得る、１つ以上の座標フレームであってもよい。いくつかの実施形態では、セッションは、ＸＲデバイスのブートアップとシャットダウンとの間の時間周期であってもよい。２つのセッションは、単一ＸＲデバイスに関する２回の始動およびシャットダウン周期であってもよい、または２つの異なるＸＲデバイスに関する始動およびシャットダウンであってもよい。
いくつかの実施形態では、原点および目的地座標フレーム３４は、第１のユーザのＸＲデバイスおよび第２のユーザのＸＲデバイスが共通場所を認識するために要求される１つ以上の変換の際に関わる座標フレームであってもよい。いくつかの実施形態では、目的地座標フレームは、第１および第２のユーザが同一場所における仮想コンテンツを視認するために、標的座標フレームに適用される一連の算出および変換の出力であってもよい。
レンダリングエンジン３０は、データチャネル６２に接続されてもよい。レンダリングエンジン３０は、レンダリングエンジン３０が、少なくとも部分的に、画像データ６８に基づいて、仮想コンテンツをレンダリングし得るように、画像データ６８をデータチャネル６２から受信してもよい。
ディスプレイシステム４２は、レンダリングエンジン３０に接続されてもよい。ディスプレイシステム４２は、画像データ６８を可視光に変換する、コンポーネントを含んでもよい。可視光は、眼毎に１つの２つのパターンを形成してもよい。可視光は、図１における第１のユーザ１４．１の眼に入射し得、第１のユーザ１４．１の眼の網膜上で検出され得る。
実オブジェクト検出カメラ４４は、画像を頭部搭載可能フレーム４０の異なる側から捕捉し得る、１つ以上のカメラを含んでもよい。移動追跡カメラ４６は、画像を頭部搭載可能フレーム４０の側面上で捕捉する、１つ以上のカメラを含んでもよい。１つ以上のカメラの１つのセットが、実オブジェクト検出カメラ４４および移動追跡カメラ４６を表す、１つ以上のカメラの２つのセットの代わりに使用されてもよい。いくつかの実施形態では、カメラ４４、４６は、画像を捕捉してもよい。
いくつかの実施形態では、カメラ４４、４６によって捕捉された画像は、１つ以上のキーフレーム（例えば、図１１Ｄにおけるキーフレーム１、２）に算出されてもよい。キーフレームは、カメラ姿勢に対応してもよい。キーフレームは、カメラ姿勢において捕捉された１つ以上のカメラ画像を含んでもよい。いくつかの実施形態では、ＸＲシステムは、カメラ姿勢において捕捉されたカメラ画像の一部を有用ではないと決定し、したがって、その部分をキーフレーム内に含まなくてもよい。したがって、キーフレームを使用して、新しい画像と場面のより早期の知識を整合させることは、ＸＲシステムの算出リソースの使用を低減させる。いくつかの実施形態では、キーフレームは、ある方向／角度を伴う場所における、画像、すなわち、画像データであってもよい。いくつかの実施形態では、キーフレームは、そこから１つ以上のマップ点が観察され得る、場所および方向であってもよい。いくつかの実施形態では、キーフレームは、ＩＤを伴う座標フレームであってもよい。米国特許第出願第１５／８７７，３５９号は、キーフレームを説明し、参照することによってその全体として本明細書に組み込まれる。
慣性測定ユニット４８は、頭部ユニット２２の移動を検出するために使用される、いくつかのデバイスを含んでもよい。慣性測定ユニット４８は、重力センサと、１つ以上の加速度計と、１つ以上のジャイロスコープとを含んでもよい。慣性測定ユニット４８のセンサは、組み合わせて、少なくとも３つの直交方向および約少なくとも３つの直交軸において、頭部ユニット２２の移動を追跡する。
図示される実施例では、世界フレームシステム５４は、世界表面決定ルーチン７８と、世界フレーム決定ルーチン８０と、世界フレーム記憶命令８２とを含む。世界表面決定ルーチン７８は、実オブジェクト検出カメラ４４に接続される。世界表面決定ルーチン７８は、実オブジェクト検出カメラ４４によって捕捉された画像に基づいて、画像および／またはキーフレームを受信し、画像を処理し、画像内の表面を識別する。深度センサ（図示せず）は、表面までの距離を決定してもよい。表面は、したがって、そのサイズ、形状、および実オブジェクト検出カメラからの距離を含む、３次元におけるデータによって表される。
いくつかの実施形態では、世界表面決定ルーチン７８は、１つ以上のキーフレームを持続姿勢（例えば、図１１Ｄにおける持続姿勢１、２）に変換してもよい。持続姿勢は、ルーチン７８の出力であってもよい。いくつかの実施形態では、持続姿勢は、１つ以上の関連付けられるキーフレームを有する、座標場所および／または方向であってもよい。いくつかの実施形態では、持続姿勢は、ユーザが、ある距離、例えば、３メートル進行した後、自動的に作成されてもよい。いくつかの実施形態では、持続姿勢は、位置特定の間、基準点として作用してもよい。いくつかの実施形態では、世界表面決定ルーチン７８によって決定されたデータは、パス可能世界（例えば、物理的世界内の実オブジェクトの変化に伴って記憶および更新され得る、物理的世界内の実オブジェクトのデジタル表現）内に記憶されてもよい。
いくつかの実施形態では、パス可能世界は、それぞれ、対応する世界座標フレームを含み得る、１つ以上の規準マップを備える、またはそれから作成されてもよい。規準マップは、追跡マップ（ＴＭ）（例えば、図４０ＡにおけるＴＭ１１０２）として生じ得、これは、ＴＭのセッションが終了した後、規準マップに変換され得る。いくつかの実施形態では、ＴＭは、ＸＲデバイスの頭部姿勢疎マップであってもよい。いくつかの実施形態では、ＸＲデバイスは、異なる時間においてＸＲデバイスによって、または他のＸＲデバイスによって捕捉された付加的ＴＭとマージするために、１つ以上のＴＭをクラウドに送信してもよい。
いくつかの実施形態では、持続フレーム決定ルーチン８０は、世界表面決定ルーチン７８に接続されてもよく、持続座標フレーム（ＰＣＦ）８４を決定してもよい。ＰＣＦは、複数のＰＣＦアンカ（例えば、図１１ＤにおけるＰＣＦアンカ１−５）を含んでもよい。新しいＰＣＦアンカは、異なるＰＣＦアンカ間で許容される、事前に定義された距離に基づいて決定されてもよい。世界表面決定ルーチン７８は、パス可能世界内に、ＰＣＦを構成し得る、ＰＣＦアンカを記憶してもよい。いくつかの実施形態では、世界フレーム決定ルーチン８０は、ユーザが、所定の距離、例えば、５メートル進行すると、１つ以上の持続姿勢をＰＣＦアンカに変換してもよい。いくつかの実施形態では、ＰＣＦアンカは、例えば、パス可能世界内において、１つ以上の世界座標フレーム８６と関連付けられてもよい。いくつかの実施形態では、世界座標フレーム８６は、原点および目的地座標フレーム３４内に記憶されてもよい。
いくつかの実施形態では、仮想コンテンツ自体のコンテンツ座標フレーム（すなわち、その実世界場所から独立して仮想コンテンツに結び付けられる、座標フレーム）は、１つ以上のＰＣＦアンカと関連付けられてもよい。本発明者らは、仮想コンテンツとＰＣＦアンカを関連付けることは、直接、世界座標フレームに対して測定されることとは対照的に、仮想コンテンツにより持続的なフレーム位置を与え得ることを認識し、その真価を認めた。例えば、仮想ランプが、テーブル上に設置される場合、テーブル上には、経時的に実質的に変化しない、仮想ランプの相対的位置付けのための設置入力を提供する、複数のデータ点が存在し得る。対照的に、世界マップが、ある配向および位置の関数として作成され、ユーザが、位置または配向を変化させ、したがって、新しい世界座標フレームを余儀なくする場合、仮想ランプは、新しい世界フレームに調節するのではなく、同一ローカル座標フレームを利用し続け得、これは、ジッタまたは位置偏移をランプの外観に導入し得る。
いくつかの実施形態では、持続フレーム記憶命令８２は、持続フレーム決定ルーチン８０に接続され、持続座標フレーム８４を持続フレーム決定ルーチン８０から受信してもよい。いくつかの実施形態では、持続フレーム記憶命令８２は、持続座標フレーム８４を、ローカルでデータベース内に、および／またはクラウド内に記憶してもよい（例えば、セキュリティ設定に依存し得る）。
頭部フレームシステム５６は、頭部フレーム決定ルーチン９０と、頭部フレーム記憶命令９２とを含んでもよい。頭部フレーム決定ルーチン９０は、移動追跡カメラ４６および慣性測定ユニット４８に接続されてもよい。頭部フレーム決定ルーチン９０は、移動追跡カメラ４６および慣性測定ユニット４８からのデータを使用して、頭部座標フレーム９４を計算してもよい。例えば、慣性測定ユニット４８は、頭部ユニット２２に対する重力の方向を決定する、重力センサを有してもよい。移動追跡カメラ４６は、頭部フレーム決定ルーチン９０によって使用され、頭部座標フレーム９４を精緻化する、画像を継続的に捕捉してもよい。頭部ユニット２２は、図１における第１のユーザ１４．１がその頭部を移動させると移動する。移動追跡カメラ４６および慣性測定ユニット４８は、頭部フレーム決定ルーチン９０が頭部座標フレーム９４を更新し得るように、データを頭部フレーム決定ルーチン９０に持続的に提供してもよい。
頭部フレーム記憶命令９２は、頭部フレーム決定ルーチン９０に接続され、頭部座標フレーム９４を頭部フレーム決定ルーチン９０から受信してもよい。頭部フレーム記憶命令９２は、頭部座標フレーム９４を頭部座標フレーム９６として原点および目的地座標フレーム３４の中に記憶してもよい。頭部フレーム記憶命令９２は、頭部フレーム決定ルーチン９０が頭部座標フレーム９４を再計算すると、更新された頭部座標フレーム９４を頭部座標フレーム９６として繰り返し記憶してもよい。いくつかの実施形態では、頭部座標フレームは、ローカル座標フレーム７２に対するウェアラブルＸＲデバイス１２．１の場所であってもよい。
カメラフレームシステム５８は、カメラ固有性質９８を含んでもよい。カメラ固有性質９８は、その設計および製造の特徴である、頭部ユニット２２の寸法を含んでもよい。カメラ固有性質９８は、原点および目的地座標フレーム３４内に記憶される、カメラ座標フレーム１００を計算するために使用されてもよい。
いくつかの実施形態では、カメラ座標フレーム１００は、図１における第１のユーザ１４．１の左眼の全ての瞳孔位置を含んでもよい。左眼が、左から右または上下に移動すると、左眼の瞳孔位置は、カメラ座標フレーム１００内に位置する。加えて、右眼の瞳孔位置は、右眼のためのカメラ座標フレーム１００内に位置する。いくつかの実施形態では、カメラ座標フレーム１００は、画像が撮影されると、ローカル座標フレームに対するカメラの場所を含んでもよい。
原点／目的地座標フレーム変換器３６は、ローカル／世界座標変換器１０４と、世界／頭部座標変換器１０６と、頭部／カメラ座標変換器１０８とを含んでもよい。ローカル／世界座標変換器１０４は、ローカル座標フレーム７２を受信し、ローカル座標フレーム７２を世界座標フレーム８６に変換してもよい。世界座標フレーム８６へのローカル座標フレーム７２の変換は、世界座標フレーム８６内で世界座標フレーム１１０に変換されるローカル座標フレームとして表され得る。
世界／頭部座標変換器１０６は、世界座標フレーム８６から頭部座標フレーム９６に変換してもよい。世界／頭部座標変換器１０６は、世界座標フレーム１１０に変換されるローカル座標フレームを頭部座標フレーム９６に変換してもよい。変換は、頭部座標フレーム９６内の頭部座標フレーム１１２に変換されるローカル座標フレームとして表され得る。
頭部／カメラ座標変換器１０８は、頭部座標フレーム９６からカメラ座標フレーム１００に変換してもよい。頭部／カメラ座標変換器１０８は、頭部座標フレーム１１２に変換されるローカル座標フレームをカメラ座標フレーム１００内のカメラ座標フレーム１１４に変換されるローカル座標フレームに変換してもよい。カメラ座標フレーム１１４に変換されるローカル座標フレームは、レンダリングエンジン３０の中に取り込まれてもよい。レンダリングエンジン３０は、カメラ座標フレーム１１４に変換されるローカル座標フレームに基づいて、ローカルコンテンツ２８を表す画像データ６８をレンダリングしてもよい。
図３は、種々の原点および目的地座標フレーム３４の空間表現である。ローカル座標フレーム７２、世界座標フレーム８６、頭部座標フレーム９６、およびカメラ座標フレーム１００が、図内に表される。いくつかの実施形態では、ＸＲコンテンツ２８と関連付けられるローカル座標フレームは、仮想コンテンツの位置および回転を定義し得（例えば、ノードおよび対面方向を提供し得）、これは、次いで、仮想コンテンツが実世界内に設置され、したがって、仮想コンテンツがユーザによって視認され得るとき、ローカルおよび／または世界座標フレームおよび／またはＰＣＦに変換されてもよい。各カメラは、片眼の全ての瞳孔位置を包含する、その独自のカメラ座標フレーム１００を有してもよい。参照番号１０４Ａおよび１０６Ａは、それぞれ、図２におけるローカル／世界座標変換器１０４、世界／頭部座標変換器１０６、および頭部／カメラ座標変換器１０８によって行われる、変換を表す。
図４は、いくつかの実施形態による、頭部座標フレームからカメラ座標フレームに変換するためのカメラレンダリングプロトコルを描写する。図示される実施例では、片眼に関する瞳孔は、位置ＡからＢに移動する。定常として現れることが意図される仮想オブジェクトは、瞳孔の位置に応じて、２つの位置ＡまたはＢのうちの１つにおける深度平面上に投影されるであろう（カメラが瞳孔をその座標フレームとして使用するように構成されると仮定して）。その結果、頭部座標フレームに変換される瞳孔座標フレームを使用することは、眼が位置Ａから位置Ｂに移動するにつれて、ジッタを定常仮想オブジェクト内に生じさせるであろう。本状況は、ビュー依存ディスプレイまたは投影と称される。
図５に描写されるように、カメラ座標フレーム（例えば、ＣＲ）が、位置付けられ、全ての瞳孔位置を包含するが、オブジェクト投影は、ここでは、瞳孔位置ＡおよびＢにかかわらず、一貫するであろう。頭部座標フレームは、ＣＲフレームに変換し、これは、ビュー独立ディスプレイまたは投影と称される。画像再投影が、仮想コンテンツに適用され、眼位置の変化を考慮してもよいが、しかしながら、レンダリングは、依然として、同一位置にあるため、ジッタは、最小限にされる。
図６に描写されるように、第１のＸＲデバイス１２．１と同一場面内にあり得る、第２のＸＲデバイス１２．２は、持続座標フレーム（ＰＣＦ）統合ユニット１３００と、画像データ６８を生成する、アプリケーション１３０２と、フレーム埋込生成器３０８とを含んでもよい。いくつかの実施形態では、マップダウンロードシステム１２６、アンカ識別システム１２８、マップ２、位置特定モジュール１３０、規準マップ組込器１３２、規準マップ１３３、およびマップ発行器１３６は、パス可能世界ユニット１３０４にグループ化されてもよい。ＰＣＦ統合ユニット１３００は、パス可能世界ユニット１３０４および第２のＸＲデバイス１２．２の他のコンポーネントに接続され、ＰＣＦアンカの読出、生成、使用、アップロード、およびダウンロードを可能にしてもよい。ＰＣＦアンカによって構成される、座標フレームは、変化する世界、例えば、人々が場面の内外に移動し、ドア等のオブジェクトが、場面に対して移動する、世界内において、より多くの持続性を有効にし、より少ない記憶空間および伝送レートを要求し、場面をマッピングするために、個々のＰＣＦアンカおよび相互に対するその関係および／またはＰＣＦアンカの統合されたコンステレーションの使用を可能にし得る。
いくつかの実施形態では、ＰＣＦ統合ユニット１３００は、第２のＸＲデバイス１２．２の記憶ユニット上のデータ記憶装置内に以前に記憶されたＰＣＦアンカ１３０６と、ＰＣＦ追跡器１３０８と、持続姿勢入手器１３１０と、ＰＣＦ確認器１３１２と、ＰＣＦ生成システム１３１４と、座標フレーム計算機１３１６と、持続姿勢計算機１３１８と、追跡マップおよび持続姿勢変換器１３２０、持続姿勢およびＰＣＦ変換器１３２２、およびＰＣＦおよび画像データ変換器１３２４を含む、３つの変換器とを含んでもよい。
いくつかの実施形態では、ＰＣＦ追跡器１３０８は、アプリケーション１３０２によって選択可能である、オンプロンプトおよびオフプロンプトを有してもよい。アプリケーション１３０２は、第２のＸＲデバイス１２．２のプロセッサによって実行可能であって、例えば、仮想コンテンツを表示してもよい。アプリケーション１３０２は、オンプロンプトを介して、ＰＣＦ追跡器１３０８をオンに切り替える、コールを有してもよい。ＰＣＦ追跡器１３０８は、ＰＣＦ追跡器１３０８がオンに切り替えられると、ＰＣＦアンカを生成してもよい。アプリケーション１３０２は、オフプロンプトを介して、ＰＣＦ追跡器１３０８をオフに切り替え得る、後続コールを有してもよい。ＰＣＦ追跡器１３０８は、ＰＣＦ追跡器１３０８がオフに切り替えられると、ＰＣＦ生成を終了する。
いくつかの実施形態では、サーバ２０は、規準マップ１２０と関連付けられて以前に保存された、複数の持続姿勢１３３２および複数のＰＣＦアンカ１３３０を含んでもよい。マップ伝送機１２２は、規準マップ１２０を、持続姿勢１３３２および／またはＰＣＦアンカ１３３０とともに、第２のＸＲデバイス１２．２に伝送してもよい。持続姿勢１３３２およびＰＣＦアンカ１３３０は、規準マップ１３３と関連付けられて、第２のＸＲデバイス１２．２上に記憶されてもよい。マップ２が、規準マップ１３３に対して位置特定すると、持続姿勢１３３２およびＰＣＦアンカ１３３０は、マップ２と関連付けられて記憶されてもよい。
いくつかの実施形態では、持続姿勢入手器１３１０は、マップ２のための持続姿勢を入手してもよい。ＰＣＦ確認器１３１２は、持続姿勢入手器１３１０に接続されてもよい。ＰＣＦ確認器１３１２は、持続姿勢入手器１３１０によって読み出された持続姿勢に基づいて、ＰＣＦアンカをＰＣＦアンカ１３０６から読み出してもよい。ＰＣＦ確認器１３１２によって読み出されたＰＣＦアンカは、ＰＣＦアンカに基づいて画像表示のために使用される、ＰＣＦアンカの初期グループを形成してもよい。
いくつかの実施形態では、アプリケーション１３０２は、付加的ＰＣＦアンカが生成されることを要求し得る。例えば、ユーザが、以前にマッピングされていないエリアに移動する場合、アプリケーション１３０２は、ＰＣＦ追跡器１３０８をオンに切り替えてもよい。ＰＣＦ生成システム１３１４は、ＰＣＦ追跡器１３０８に接続され、マップ２が拡張し始めるにつれて、マップ２に基づいて、ＰＣＦアンカの生成を開始してもよい。ＰＣＦ生成システム１３１４によって生成されたＰＣＦアンカは、ＰＣＦベースの画像表示のために使用され得る、ＰＣＦアンカの第２のグループを形成してもよい。
座標フレーム計算機１３１６は、ＰＣＦ確認器１３１２に接続されてもよい。ＰＣＦ確認器１３１２がＰＣＦアンカを読み出した後、座標フレーム計算機１３１６は、頭部座標フレーム９６を呼び出し、第２のＸＲデバイス１２．２の頭部姿勢を決定してもよい。座標フレーム計算機１３１６はまた、持続姿勢計算機１３１８を呼び出してもよい。持続姿勢計算機１３１８は、フレーム埋込生成器３０８に直接または間接的に接続されてもよい。いくつかの実施形態では、フレーム埋込生成器３０８は、グローバル特徴列３１６を出力してもよく、これは、画像のためのデータ表現（例えば、フレームまたはキーフレーム）として使用されてもよい。いくつかの実施形態では、画像／フレームは、前のキーフレームからの閾値距離、例えば、３メートルが、進行された後、キーフレームと指定されてもよい。持続姿勢計算機１３１８は、複数の、例えば、３つのキーフレームに基づいて、持続姿勢を生成してもよい。いくつかの実施形態では、持続姿勢は、本質的に、複数のキーフレームの座標フレームの平均であってもよい。
追跡マップおよび持続姿勢変換器１３２０は、マップ２および持続姿勢計算機１３１８に接続されてもよい。追跡マップおよび持続姿勢変換器１３２０は、マップ２を持続姿勢に変換し、マップ２に対する原点における持続姿勢を決定してもよい。
持続姿勢およびＰＣＦ変換器１３２２は、追跡マップおよび持続姿勢変換器１３２０およびさらにＰＣＦ確認器１３１２およびＰＣＦ生成システム１３１４に接続されてもよい。持続姿勢およびＰＣＦ変換器１３２２は、持続姿勢（それに対して追跡マップが変換された）をＰＣＦ確認器１３１２およびＰＣＦ生成システム１３１４からのＰＣＦアンカに変換し、持続姿勢に対するＰＣＦを決定してもよい。
ＰＣＦおよび画像データ変換器１３２４は、持続姿勢およびＰＣＦ変換器１３２２およびデータチャネル６２に接続されてもよい。ＰＣＦおよび画像データ変換器１３２４は、ＰＣＦを画像データ６８に変換する。レンダリングエンジン３０は、ＰＣＦおよび画像データ変換器１３２４に接続され、ＰＣＦアンカに対する画像データ６８をユーザに表示してもよい。
ＰＣＦ統合ユニット１３００は、ＰＣＦアンカ１３０６内でＰＣＦ生成システム１３１４を用いて生成される、付加的ＰＣＦアンカを記憶してもよい。ＰＣＦアンカ１３０６は、持続姿勢に対して記憶されてもよい。マップ発行器１３６は、マップ発行器１３６が、マップ２をサーバ２０に伝送し、マップ発行器１３６がまた、マップ２と関連付けられるＰＣＦおよび持続姿勢をサーバ２０に伝送するとき、ＰＣＦアンカ１３０６およびＰＣＦアンカ１３０６と関連付けられる持続姿勢を読み出し得る。サーバ２０のマップ記憶ルーチン１１８が、マップ２を記憶するとき、マップ記憶ルーチン１１８はまた、第２の視認デバイス１２．２によって生成された持続姿勢およびＰＣＦアンカを記憶してもよい。マップマージアルゴリズム１２４は、それぞれ、規準マップ１２０と関連付けられ、持続姿勢１３３２およびＰＣＦアンカ１３３０内に記憶される、マップ２の持続姿勢およびＰＣＦアンカとともに、規準マップ１２０を作成してもよい。
第１のＸＲデバイス１２．１は、第２のＸＲデバイス１２．２のＰＣＦ統合ユニット１３００に類似する、ＰＣＦ統合ユニットを含んでもよい。マップ伝送機１２２が、規準マップ１２０を第１のＸＲデバイス１２．１に伝送するとき、マップ伝送機１２２は、規準マップ１２０と関連付けられ、第２のＸＲデバイス１２．２から生じる、持続姿勢１３３２およびＰＣＦ１３３０を伝送してもよい。第１のＸＲデバイス１２．１は、ＰＣＦアンカおよび持続姿勢を第１のＸＲデバイス１２．１の記憶デバイス上のデータ記憶装置内に記憶してもよい。第１のＸＲデバイス１２．１は、次いで、ＰＣＦアンカに対する画像表示のために、第２のＸＲデバイス１２．２から生じる持続姿勢およびＰＣＦアンカを利用してもよい。加えて、または代替として、第１のＸＲデバイス１２．１は、上記に説明されるように、第２のＸＲデバイス１２．２に類似する様式において、ＰＣＦアンカおよび持続姿勢を読み出し、生成し、利用し、アップロードし、ダウンロードしてもよい。
図４４は、部屋のために生成される、キーフレームを図示する。図示される実施例では、第１のキーフレームＫＦ１は、部屋の左壁上のドアのために生成される。第２のキーフレームＫＦ２は、部屋の床、左壁、および右壁が衝合する、角内のエリアのために生成される。第３のキーフレームＫＦ３は、部屋の右壁上の窓のエリアのために生成される。第４のキーフレームＫＦ４は、壁の床上のラグの縁端におけるエリアのために生成される。第５のキーフレームＫＦ５は、ユーザに最も近いラグのエリアのために生成される。
図４５は、ユーザの環境内の持続姿勢ＰＰ１およびＰＰ２を図示する。いくつかの実施形態では、新しい持続姿勢が、本デバイスが進行された閾値距離を測定すると、および／またはアプリケーションが新しい持続姿勢を要求すると、作成される。いくつかの実施形態では、閾値距離は、３メートル、５メートル、２０メートル、または任意の他の好適な距離であってもよい。より小さい閾値距離（例えば、１ｍ）を選択することは、より多数のＰＰが、より大きい閾値距離と比較して、作成および管理され得るため、算出負荷の増加をもたらし得る。より大きい閾値距離（例えば、４０ｍ）を選択することは、より少数のＰＰが作成され、より少ないＰＣＦが作成される結果をもたらし、ＰＣＦアンカに結び付けられた仮想コンテンツが、ＰＣＦアンカから比較的に大距離（例えば、３０ｍ）離れ、アンカから仮想コンテンツまでの距離の増加に伴って誤差が増加し得ることを意味するため、仮想コンテンツ設置誤差の増加をもたらし得る。
いくつかの実施形態では、ＰＰは、新しいセッションの開始時に作成されてもよい。本初期ＰＰは、ゼロと見なされ得、閾値距離に等しい半径を有する、円形の中心として可視化され得る。本デバイスが、円形の周に到達し、いくつかの実施形態では、アプリケーションが、新しいＰＰを要求すると、新しいＰＰは、本デバイスの現在の場所（閾値距離）に設置されてもよい。いくつかの実施形態では、新しいＰＰは、本デバイスが、既存のＰＰを本デバイスの新しい位置からの閾値距離内に見出すことが可能である場合、閾値距離に作成されないであろう。いくつかの実施形態では、新しいＰＰが、作成されると、デバイスは、最も近いキーフレームのうちの１つ以上のものをＰＰに結び付ける。いくつかの実施形態では、キーフレームに対するＰＰの場所は、ＰＰが作成された時点での本デバイスの場所に基づいてもよい。いくつかの実施形態では、ＰＰは、アプリケーションがＰＰを要求しない限り、本デバイスが閾値距離を進行しても作成されないであろう。
いくつかの実施形態では、アプリケーションは、アプリケーションがユーザに表示するための仮想コンテンツを有するとき、ＰＣＦをデバイスから要求してもよい。アプリケーションからのＰＣＦ要求は、ＰＰ要求をトリガしてもよく、新しいＰＰは、本デバイスが閾値距離を進行した後に作成されるであろう。図４５は、最も近いキーフレーム（例えば、ＫＦ１、ＫＦ２、およびＫＦ３）を結び付けさせ得る、第１の持続姿勢ＰＰ１を図示する。図４５はまた、最も近いキーフレーム（例えば、ＫＦ４およびＫＦ５）を結び付けさせ得る、第２の持続姿勢ＰＰ２を図示する。
図４６は、ＰＰ１およびＰＰ２を含み得る、ＰＣＦアンカを図示する。上記に説明されるように、ＰＣＦは、ＰＣＦに対する画像データを表示するために使用されてもよい。いくつかの実施形態では、各ＰＣＦは、別の座標フレーム（例えば、世界座標フレーム）内の座標と、記述子とを有してもよい。いくつかの実施形態では、ＰＣＦアンカの種々のコンステレーションは、組み合わせられ、持続様式において、より少ないデータおよびより少ないデータの伝送を要求する、実世界を表してもよい。
図４７は、いくつかの実施形態による、持続座標フレームを確立および使用する方法４７００を図示する。方法４７００は、ＸＲデバイスの１つ以上のセンサを使用して、場面についての画像を捕捉するステップ（行為４７０２）から開始してもよい。複数のカメラが、使用されてもよく、１つのカメラが、複数の画像を生成してもよい。方法４７００は、特徴を捕捉された画像から抽出するステップ（４７０４）と、抽出された特徴に関する記述子を生成するステップ（行為４７０６）と、記述子に基づいて、キーフレームを生成するステップ（行為４７０８）と、キーフレームに基づいて、持続姿勢を生成するステップ（行為４７１０）とを含んでもよい。いくつかの実施形態では、キーフレームは、画像のそれぞれのものに基づいて生成されてもよく、全てのカメラの全ての画像のキーフレームの平均は、持続姿勢を生成するために使用されてもよい。方法４７００は、持続姿勢に基づいて、アンカを生成するステップ（行為４７１２）を含んでもよい。アンカは、１つ以上の持続姿勢を含んでもよい。方法４７００は、ＸＲデバイスによって表示されるべき仮想コンテンツの画像データとアンカのうちの少なくとも１つを関連付けるステップ（行為４７１４）を含んでもよい。
図４８Ａ−４８Ｉは、ＸＲデバイス間のデータ共有を有効にし得る、持続座標フレームを確立および使用する実施例を図示する、概略図である。図４８Ａは、規準マップに対して位置特定されていない、個別のローカル追跡マップ４８０４Ａ、４８０４Ｂを伴う、２人のユーザ４８０２Ａ、４８０２Ｂを示す。個々のユーザに関する原点４８０６Ａ、４８０６Ｂは、その個別のエリア内の座標系（例えば、世界座標系）によって描写される。いくつかの実施形態では、ＴＭ４８０２Ａは、持続姿勢（ＰＰ）４８０８Ａを含んでもよく、ＴＭ４８０２Ｂは、ＰＰ４８０８Ｂを含んでもよい。図４８Ｂは、個別のユーザ４８０２Ａ、４８０２Ｂによって装着されるＸＲデバイスが、ＰＰ４８０８Ａ、４９０８Ｂに基づいて、ローカルＰＣＦアンカ４８１０Ａ、４８１０Ｂを作成し得ることを示す。図４８Ｃは、持続コンテンツ４８１２（例えば、仮想コンテンツ）が、ここで、ＰＣＦアンカ４８１０Ａ、４８１０Ｂに結び付けられ得ることを示す。図４８Ｄは、例えば、クラウドからの規準マップ１８１４が、両方のデバイスによって受信されることを示す。図４８Ｅは、両方のデバイスが個別のデバイス上において規準マップ４８１４に対して位置特定することを示す。図４８Ｆは、各デバイスが、個別のデバイス上のローカルＰＣＦアンカ（例えば、ＰＣＦアンカ４８１０Ａ、４８１０Ｂ）と規準マップ上の個別の持続姿勢（例えば、ＰＰ４８１８Ａ、４８１８Ｂ）との間の結び付き（例えば、結び付き４８１６Ａ、４８１６Ｂ）を作成することを示す。図４８Ｇは、規準マップからローカル追跡マップへの持続姿勢のスナップショットを示す。図から分かるように、ローカル追跡マップは、持続姿勢を介して相互に接続される。図４８Ｈは、ユーザ４８０２Ａによって装着されるデバイス上のＰＣＦアンカ４８１０Ａが、ユーザ４８０２Ｂによって装着されるデバイス内でアクセス可能であることを示す。図４８Ｉは、マップが全て、最終的に、マージし得、ＰＣＦが、接続されたコンステレーション内で「合体」し得ることを示す。
マッピングおよび位置特定
図６は、いくつかの実施形態による、第１のＸＲデバイス１２．１と、第２のＸＲデバイス１２．２およびサーバ２０の視覚データおよびアルゴリズムとをさらに詳細に図示する。図示されないが、第１のＸＲデバイス１２．１は、第２のＸＲデバイス１２．２と同一に構成されてもよい。
サーバ２０は、マップ記憶ルーチン１１８と、規準マップ１２０と、マップ伝送機１２２と、マップマージアルゴリズム１２４とを有してもよい。
図示される実施例では、第１のＸＲデバイス１２．１は、ローカル追跡マップ（以降、「マップ１」と称される）を生成し、マップ記憶ルーチン１１８は、マップ１を第１のＸＲデバイス１２．１から受信する。マップ記憶ルーチン１１８は、次いで、マップ１をサーバ２０の記憶デバイス上に規準マップ１２０として記憶する。
第２のＸＲデバイス１２．２は、マップダウンロードシステム１２６と、アンカ識別システム１２８と、位置特定モジュール１３０と、規準マップ組込器１３２と、ローカルコンテンツ位置付けシステム１３４と、マップ発行器１３６とを含む。
使用時、マップ伝送機１２２は、規準マップ１２０を第２のＸＲデバイス１２．２に送信し、マップダウンロードシステム１２６は、規準マップ１２０を規準マップ１３３としてサーバ２０からダウンロードし、記憶する。
アンカ識別システム１２８は、世界表面決定ルーチン７８に接続される。アンカ識別システム１２８は、世界表面決定ルーチン７８によって検出されたオブジェクトに基づいて、アンカを識別する。アンカ識別システム１２８は、アンカを使用して、第２のマップ（マップ２）を生成する。サイクル１３８によって示されるように、アンカ識別システム１２８は、アンカを識別し続け、マップ２を更新し続ける。アンカの場所は、世界表面決定ルーチン７８によって提供されるデータに基づいて、３次元データとして記録される。世界表面決定ルーチン７８は、画像を実オブジェクト検出カメラ４４から、深度データを深度センサ１３５から受信し、表面の場所および深度センサ１３５からのその相対的距離を決定する。
位置特定モジュール１３０は、規準マップ１３３およびマップ２に接続される。位置特定モジュール１３０は、マップ２を規準マップ１３３に対して位置特定するように繰り返し試みる。規準マップ組込器１３２は、規準マップ１３３およびマップ２に接続される。位置特定モジュール１３０が、マップ２を規準マップ１３３に対して位置特定すると、規準マップ組込器１３２は、規準マップ１３３をマップ２のアンカの中に組み込む。マップ２は、次いで、規準マップ内に含まれる欠測データで更新される。
ローカルコンテンツ位置付けシステム１３４は、マップ２に接続される。ローカルコンテンツ位置付けシステム１３４は、例えば、ユーザが世界座標フレーム内の特定の場所においてローカルコンテンツを位置特定し得る、システムであってもよい。ローカルコンテンツ自体が、次いで、マップ２の１つのアンカに結び付けられる。ローカル／世界座標変換器１０４は、ローカルコンテンツ位置付けシステム１３４の設定に基づいて、ローカル座標フレームを世界座標フレームに変換する。レンダリングエンジン３０、ディスプレイシステム４２、およびデータチャネル６２の機能は、図２を参照して説明されている。
マップ発行器１３６は、マップ２をサーバ２０にアップロードする。サーバ２０のマップ記憶ルーチン１１８は、次いで、マップ２をサーバ２０の記憶媒体内に記憶する。
マップマージアルゴリズム１２４は、マップ２と規準マップ１２０をマージする。２つを上回るマップ、例えば、３つまたは４つのマップが、記憶されているとき、マップマージアルゴリズム１２４は、全てのマップを規準マップ１２０にマージし、新しい規準マップ１２０をレンダリングする。マップ伝送機１２２は、次いで、新しい規準マップ１２０を、新しい規準マップ１２０によって表されるエリア内のあらゆるデバイス１２．１および１２．２に伝送する。本デバイス１２．１および１２．２が、その個別のマップを規準マップ１２０に対して位置特定すると、規準マップ１２０は、奨励マップとなる。
図７は、ディスプレイシステム４２をさらに詳細に図示する。ディスプレイシステム４２は、レンダリングエンジン３０に接続され、視覚データおよびアルゴリズムの一部を形成する、立体視分析器１４４を含む。
ディスプレイシステム４２はさらに、左および右プロジェクタ１６６Ａおよび１６６Ｂと、左および右導波管１７０Ａおよび１７０Ｂとを含む。左および右プロジェクタ１６６Ａおよび１６６Ｂは、電力供給源に接続される。各プロジェクタ１６６Ａおよび１６６Ｂは、画像データが個別のプロジェクタ１６６Ａまたは１６６Ｂに提供されるための個別の入力を有する。個別のプロジェクタ１６６Ａまたは１６６Ｂは、給電されると、２次元パターンにおける光を生成し、光をそこから発出する。左および右導波管１７０Ａおよび１７０Ｂは、それぞれ、光を左および右プロジェクタ１６６Ａおよび１６６Ｂから受光するように位置付けられる。左および右導波管１７０Ａおよび１７０Ｂは、透明導波管である。
使用時、ユーザは、頭部搭載可能フレーム４０をその頭部に搭載する。頭部搭載可能フレーム４０のコンポーネントは、例えば、ユーザの頭部の背面の周囲に巻着する、ストラップ（図示せず）を含んでもよい。左および右導波管１７０Ａおよび１７０Ｂは、次いで、ユーザの左および右眼２２０Ａおよび２２０Ｂの正面に位置する。
レンダリングエンジン３０は、それが受信する画像データを立体視分析器１４４の中に取り込む。画像データは、図１におけるローカルコンテンツ２８の３次元画像データである。画像データは、複数の仮想平面上に投影される。立体視分析器１４４は、画像データを分析し、各深度平面上への投影のために、画像データに基づいて、左および右画像データセットを決定する。左および右画像データセットは、３次元において投影され、ユーザに深度の知覚を与える、２次元画像を表す、データセットである。
立体視分析器１４４は、左および右画像データセットを左および右プロジェクタ１６６Ａおよび１６６Ｂに取り込む。左および右プロジェクタ１６６Ａおよび１６６Ｂは、次いで、左および右光パターンを作成する。ディスプレイシステム４２のコンポーネントは、平面図に示されるが、左および右パターンは、正面立面図に示されるとき、２次元パターンであることを理解されたい。各光パターンは、複数のピクセルを含む。例証目的のために、ピクセルのうちの２つからの光線２２４Ａおよび２２６Ａが、左プロジェクタ１６６Ａから出射し、左導波管１７０Ａに入射するように示される。光線２２４Ａおよび２２６Ａは、左導波管１７０Ａの側から反射する。光線２２４Ａおよび２２６Ａは、左導波管１７０Ａ内で左から右に内部反射を通して伝搬することが示されるが、光線２２４Ａおよび２２６Ａはまた、屈折性および反射性システムを使用して、紙面に向かう方向にも伝搬することを理解されたい。
光線２２４Ａおよび２２６Ａは、左光導波管１７０Ａから瞳孔２２８Ａを通して出射し、次いで、左眼２２０Ａの瞳孔２３０Ａを通して左眼２２０Ａに入射する。光線２２４Ａおよび２２６Ａは、次いで、左眼２２０Ａの網膜２３２Ａ上に当たる。このように、左光パターンは、左眼２２０Ａの網膜２３２Ａ上に当たる。ユーザは、網膜２３２Ａ上に形成されるピクセルが、ユーザが左眼２２０Ａに対向する左導波管１７０Ａの側上のある距離にあるように知覚する、ピクセル２３４Ａおよび２３６Ａであるという知覚を与えられる。深度知覚は、光の焦点距離を操作することによって作成される。
同様に、立体視分析器１４４は、右画像データセットを右プロジェクタ１６６Ｂに取り込む。右プロジェクタ１６６Ｂは、右光パターンを伝送し、これは、光線２２４Ｂおよび２２６Ｂの形態におけるピクセルによって表される。光線２２４Ｂおよび２２６Ｂは、右導波管１７０Ｂ内で反射し、瞳孔２２８Ｂを通して出射する。光線２２４Ｂおよび２２６Ｂは、次いで、右眼２２０Ｂの瞳孔２３０Ｂを通して入射し、右眼２２０Ｂの網膜２３２Ｂ上に当たる。光線２２４Ｂおよび２２６Ｂのピクセルは、右導波管１７０Ｂの背後のピクセル１３４Ｂおよび２３６Ｂとして知覚される。
網膜２３２Ａおよび２３２Ｂ上に作成されたパターンは、左および右画像として個々に知覚される。左および右画像は、立体視分析器１４４の機能に起因して、相互から若干異なる。左および右画像は、ユーザの脳内で３次元レンダリングとして知覚される。
述べられたように、左および右導波管１７０Ａおよび１７０Ｂは、透明である。眼２２０Ａおよび２２０Ｂに対向する左および右導波管１７０Ａおよび１７０Ｂ側上のテーブル１６等の実在のオブジェクトからの光は、左および右導波管１７０Ａおよび１７０Ｂを通して投影され、網膜２３２Ａおよび２３２Ｂ上に当たることができる。
図８は、第１のＸＲデバイス１２．１上のマップ１およびローカルコンテンツ（コンテンツ１２３およびコンテンツ４５６）を図示する。マップ１は、いくつかのアンカ（アンカａ−アンカｄ）を含む。第１のＸＲデバイス１２．１の視点から、アンカａは、一例として、（０，０，０）のＸ、Ｙ、およびＺ座標を有し、アンカｂは、（−１，０，０）のＸ、Ｙ、およびＺ座標を有する。コンテンツ１２３は、アンカａと関連付けられる。本実施例では、コンテンツ１２３は、（１，０，０）のアンカａに対するＸ、Ｙ、およびＺ関係を有する。コンテンツ４５６は、アンカｂに対する関係を有する。本実施例では、コンテンツ４５６は、アンカｂに対する（１，０，０）のＸ、Ｙ、およびＺ関係を有する。マップ１はまた、原点（原点１）を有する。
図９では、第１のＸＲデバイス１２．１は、マップ１をサーバ２０にアップロードする。サーバ２０は、ここでは、マップ１に基づく、規準マップを有する。第１のＸＲデバイス１２．１は、本段階では空である、規準マップを有する。サーバ２０は、議論の目的のために、いくつかの実施形態では、マップ１以外の他のマップを含まない。マップは、第２のＸＲデバイス１２．２上に記憶されていない。
第１のＸＲデバイス１２．１はまた、そのＷｉ−Ｆｉシグネチャデータをサーバ２０に伝送する。サーバ２０は、Ｗｉ−Ｆｉシグネチャデータを使用して、過去に、サーバ２０または他のサーバに接続されていた他のデバイスから集められた知能とともに、記録されていたそのような他のデバイスのＧＰＳ場所に基づいて、第１のＸＲデバイス１２．１の大まかな場所を決定してもよい。
第１のＸＲデバイス１２．１は、ここで、第１のセッション（図１参照）を終了してもよく、サーバ２０から接続解除してもよい。
図１０および１１Ａは、第２のユーザ１４．２による第２のセッションの開始を示す。第１のユーザ１４．１は、第１のユーザ１４．１による第１のセッションが終了したため、想像線で示される。第２のＸＲデバイス１２．２は、オブジェクトを記録し始める。可変粒度を伴う種々のシステムが、第２のＸＲデバイス１２．２による第２のセッションが第１のＸＲデバイス１２．１による第１のセッションの同一近傍内にあることを決定するために、サーバ２０によって使用されてもよい。例えば、Ｗｉ−Ｆｉシグネチャデータ、全地球測位システム（ＧＰＳ）測位データ、Ｗｉ−Ｆｉシグネチャデータに基づくＧＰＳデータ、または場所を示す任意の他のデータが、その場所を記録するために、第１および第２のＸＲデバイス１２．１および１２．２内に含まれてもよい。代替として、第２のＸＲデバイス１２．２によって識別されるアンカは、マップ１のアンカと類似性を示し得る。
図１１Ｂに示されるように、第２のＸＲデバイスは、ブートアップし、画像１１１０等のデータを１つ以上のカメラ４４、４６から収集し始める。図１１Ｄに示されるように、いくつかの実施形態では、ＸＲデバイス（例えば、第２のＸＲデバイス１２．２）は、１つ以上の画像１１１０を収集し、画像処理を実施し、１つ以上の特徴／着目点１１２０を抽出してもよい。各特徴は、記述子１１３０に変換されてもよい。いくつかの実施形態では、記述子１１３０は、結び付けられた関連付けられる画像の位置および方向を有し得る、キーフレーム１１４０を説明するために使用されてもよい。１つ以上のキーフレーム１１４０は、前の持続姿勢１１５０からの閾値距離、例えば、３メートル後に自動的に生成され得る、単一持続姿勢１１５０に対応してもよい。１つ以上の持続姿勢１１５０は、所定の距離後、例えば、５メートル毎に自動的に生成され得る、単一ＰＣＦ１１６０に対応してもよい。経時的に、ユーザが、ユーザの環境を動き回り続け、ＸＲデバイスが、画像１１１０等のより多くのデータを収集し続けるにつれて、付加的ＰＣＦアンカ（例えば、ＰＣＦアンカ４，５およびＰＣＦアンカ３）が、作成され得る。アプリケーション、すなわち、２つの１１８０は、ＸＲデバイス上で起動され、ユーザへの提示のために、仮想コンテンツ１１７０をＸＲデバイスに提供してもよい。仮想コンテンツは、関連付けられるコンテンツ座標フレームを有してもよく、これは、１つ以上のＰＣＦアンカに対して設置されてもよい。図１１Ｂに示されるように、第２のＸＲデバイス１２．２は、３つのＰＣＦアンカを作成する。いくつかの実施形態では、第２のＸＲデバイス１２．２は、サーバ上２０に記憶される１つ以上の規準マップに対して位置特定するように試みてもよい。いくつかの実施形態では、図１１Ｃに示されるように、第２のＸＲデバイス１２．２は、規準マップ１２０をサーバ２０からダウンロードしてもよい。第２のＸＲデバイス１２．２上のマップ１は、アンカａ−ｄと、原点１とを含む。いくつかの実施形態では、サーバ２０は、種々の場所のための複数の規準マップを有してもよく、第２のＸＲデバイス１２．２が第１のセッションの間の第１のＸＲデバイス１２．１の近傍と同じ近傍内にあることを決定し、第２のＸＲデバイス１２．２に、その近傍に関する規準マップを送信してもよい。
図１２は、第２のＸＲデバイス１２．２が、マップ２を生成する目的のためのアンカの識別を開始することを示す。第２のＸＲデバイス１２．２は、単一アンカ、すなわち、ＰＣＦ１，２のみ識別している。第２のＸＲデバイス１２．２のためのＰＣＦ１，２のＸ、Ｙ、およびＺ座標は、（１，１，１）であり得る。マップ２は、その独自の原点（原点２）を有し、これは、現在の頭部姿勢セッションのためのデバイス２の頭部姿勢に基づいてもよい。いくつかの実施形態では、第２のＸＲデバイス１２．２は、マップ２を規準マップに対して位置特定するように直ちに試みてもよい。いくつかの実施形態では、マップ２は、システムが２つのマップ間の任意または十分な重複を認識しないため、規準マップ（マップ１）に対して位置特定することが不可能である場合がある（すなわち、位置特定が失敗し得る）。いくつかの実施形態では、システムは、ローカルマップと規準マップとの間のアンカ／ＰＣＦ比較に基づいて、位置特定してもよい。いくつかの実施形態では、システムは、ローカルマップと規準マップとの間の持続姿勢比較に基づいて、位置特定してもよい。いくつかの実施形態では、システムは、ローカルマップと規準マップとの間のキーフレーム比較に基づいて、位置特定してもよい。
図１３は、第２のＸＲデバイス１２．２がマップ２のさらなるアンカ（ＰＣＦ１，２、ＰＣＦ３、ＰＣＦ４，５）を識別した後のマップ２を示す。第２のＸＲデバイス１２．２は、再び、マップ２を規準マップに対して位置特定するように試みる。マップ２は、規準マップの少なくとも一部と重複するように拡張されたため、位置特定試行は、成功するであろう。いくつかの実施形態では、ローカル追跡マップ、マップ２、および規準マップ間の重複は、ＰＣＦ／アンカ、持続姿勢、キーフレーム、または任意の他の好適な中間または派生構築物によって表されてもよい。
さらに、第２のＸＲデバイス１２．２は、コンテンツ１２３およびコンテンツ４５６をマップ２のＰＣＦ１，２およびＰＣＦ３に関連付けている。コンテンツ１２３は、（１，０，０）のＰＣＦ１，２に対するＸ、Ｙ、およびＺ座標を有する。
同様に、マップ２内のＰＣＦ３に対するコンテンツ４５６のＸ、Ｙ、およびＺ座標も、（１，０，０）である。
図１４Ａおよび１４Ｂは、規準マップに対するマップ２の位置特定成功を図示する。マップ１４１０の重複エリア／体積／セクションは、マップ１および規準マップとの共通部分を表す。マップ２は、位置特定する前に、ＰＣＦ３および４，５を作成し、規準マップは、マップ２が作成される前に、アンカａおよびｃを作成したため、異なるアンカ／ＰＣＦが、実空間（例えば、異なるマップ）内の同一体積を表すために作成された。
図１５に示されるように、第２のＸＲデバイス１２．２は、規準マップからのアンカａ−ｄを含むように、マップ２を拡張させる。アンカａ−ｄの含有は、規準マップに対するマップ２の位置特定を表す。いくつかの実施形態では、ＸＲシステムは、最適化ステップを実施し、１４１０内のＰＣＦ、すなわち、ＰＣＦ３およびＰＣＦ４，５等の複製アンカ／ＰＣＦを重複エリアから除去してもよい。マップ２が位置特定した後、コンテンツ４５６およびコンテンツ１２３等の仮想コンテンツの設置は、更新されたマップ２内の最も近い更新されたアンカ／ＰＣＦに対することになるだろう。仮想コンテンツは、コンテンツのための変化されたＰＣＦ結び付けにもかかわらず、かつマップ２のための更新されたアンカにもかかわらず、ユーザに対して同一実世界場所内に現れる。
図１６に示されるように、第２のＸＲデバイス１２．２は、さらなるアンカ（アンカｅ、ｆ、ｇ、およびｈ）が第２のＸＲデバイス１２．２によって識別されるにつれて、例えば、ユーザが実世界を歩き回るにつれて、マップ２を拡張させ続ける。また、マップ１は、図１５および１６において拡張されていないことに留意されたい。
図１７を参照すると、第２のＸＲデバイス１２．２は、マップ２をサーバ２０にアップロードする。サーバ２０は、マップ２とともに、規準マップを記憶する。いくつかの実施形態では、マップ２は、第２のＸＲデバイス１２．２のためのセッションが終了すると、サーバ２０にアップロードされてもよい。
サーバ２０内の規準マップは、ここでは、アンカｉを含み、これは、第１のＸＲデバイス１２．１上のマップ１内に含まれない。サーバ２０上の規準マップは、第３のＸＲデバイス（図示せず）が、マップをサーバ２０にアップロードし、そのようなマップが、アンカｉを含むと、アンカｉを含むように拡張され得る。
図１８では、サーバ２０は、マップ２と規準マップをマージし、新しい規準マップを形成する。サーバ２０は、アンカａ−ｄが規準マップおよびマップ２と共通であることを決定する。サーバは、アンカｅ−ｈおよびＰＣＦ１，２をマップ２から含むように、規準マップを拡張させ、新しい規準マップを形成する。第１および第２のＸＲデバイス１２．１および１２．２上の規準マップは、マップ１に基づき、古くなる。
図１９では、サーバ２０は、新しい規準マップを第１および第２のＸＲデバイス１２．１および１２．２に伝送する。いくつかの実施形態では、これは、第１のＸＲデバイス１２．１および第２のデバイス１２．２が、異なるまたは新しいまたは後続セッションの間、位置特定しようと試みるときに生じ得る。第１および第２のＸＲデバイス１２．１および１２．２は、上記に説明されるように、その個別のローカルマップ（それぞれ、マップ１およびマップ２）を新しい規準マップに対して位置特定するステップに進む。
図２０に示されるように、頭部座標フレーム９６または「頭部姿勢」は、マップ２内のアンカに関連する。いくつかの実施形態では、マップの原点、すなわち、原点２は、セッションの開始時における第２のＸＲデバイス１２．２の頭部姿勢に基づく。アンカが、セッションの間に作成されるにつれて、アンカは、ローカル座標フレーム、すなわち、原点２に対して設置される。マップ２のアンカは、世界座標フレームに対する持続座標フレームとしての役割を果たし、世界座標フレームは、前のセッションのローカル座標フレーム（例えば、図８におけるマップ１の原点１）であってもよい。世界座標フレームから頭部座標フレーム９６への変換は、図２を参照して前述されている。図２０に示される頭部座標フレーム９６は、マップ２のアンカに対する特定の座標位置にあって、マップ２に対して特定の角度にある、２つの直交軸のみを有する。しかしながら、頭部座標フレーム９６は、マップ２のアンカに対するある３次元場所内にあって、３次元空間内の３つの直交軸を有することを理解されたい。
図２１では、頭部座標フレーム９６は、マップ２のアンカに対して移動している。頭部座標フレーム９６は、第２のユーザ１４．２がその頭部を移動させたため、移動している。ユーザは、その頭部を６自由度（６ｄｏｆ）において移動させることができる。頭部座標フレーム９６は、したがって、６ｄｏｆ、すなわち、図２０におけるその前の場所から３次元において、そしてマップ２のアンカに対する約３つの直交軸において移動することができる。頭部座標フレーム９６は、それぞれ、図２における実オブジェクト検出カメラ４４および慣性測定ユニット４８が、実オブジェクトおよび頭部ユニット２２の運動を検出すると、調節される。頭部姿勢追跡に関するさらなる情報は、「Ｅｎｈａｎｃｅｄ Ｐｏｓｅ Ｄｅｔｅｒｍｉｎａｔｉｏｎ ｆｏｒ Ｄｉｓｐｌａｙ Ｄｅｖｉｃｅ」と題された米国特許第出願第１６／２２１，０６５号に開示され、参照することによってその全体として本明細書に組み込まれる。
図２２は、音が１つ以上のアンカと関連付けられてもよいことを示す。ユーザは、例えば、立体音を伴うヘッドホンまたはイヤホンを装着し得る。ヘッドホンを通した音の場所が、従来の技法を使用してシミュレートされることができる。音の場所は、ユーザがその頭部を左に回転させると、音の場所が右に回転し、したがって、ユーザが実世界内の同一場所から生じる音を知覚するように、定常位置に位置してもよい。本実施例では、音の場所は、音１２３および音４５６によって表される。議論の目的のために、図２２は、その分析において、図１６に類似する。第１および第２のユーザ１４．１および１４．２が、同一または異なる時間において、同一部屋内に位置するとき、彼らは、実世界内の同一場所から生じる音１２３および音４５６を知覚する。
図２３および２４は、上記に説明される技術のさらなる実装を図示する。第１のユーザ１４．１は、図１を参照して説明されるように、第１のセッションを開始した。図２３に示されるように、第１のユーザ１４．１は、想像線によって示されるように、第１のセッションを終了した。第１のセッションの終了時、第１のＸＲデバイス１２．１は、マップ１をサーバ２０にアップロードした。第１のユーザ１４．１は、今度は、第１のセッションの後の時間において、第２のセッションを開始した。第１のＸＲデバイス１２．１は、マップ１が第１のＸＲデバイス１２．１上にすでに記憶されているため、マップ１をサーバ２０からダウンロードしない。マップ１が、喪失される場合、第１のＸＲデバイス１２．１は、マップ１をサーバ２０からダウンロードする。第１のＸＲデバイス１２．１は、次いで、上記に説明されるように、マップ２のためのアンカを構築し、マップ１に対して位置特定し、規準マップをさらに展開するステップに進む。マップ２は、次いで、上記に説明されるように、ローカルコンテンツ、頭部座標フレーム、ローカル音等を関連させるために使用される。
図２５および２６を参照すると、また、１人を上回るユーザが同一セッションにおいてサーバと相互作用することが可能性として考えられ得る。本実施例では、第１のユーザ１４．１および第２のユーザ１４．２に、第３のＸＲデバイス１２．３を伴う第３のユーザ１４．３が加わっている。各ＸＲデバイス１２．１、１２．２、および１２．３は、それぞれ、その独自のマップ、すなわち、マップ１、マップ２、およびマップ３を生成し始める。ＸＲデバイス１２．１、１２．２、および１２．３が、マップ１、２、および３を展開し続けるにつれて、マップは、サーバ２０に漸次的にアップロードされる。サーバ２０は、マップ１、２、および３をマージし、規準マップを形成する。規準マップは、次いで、サーバ２０からＸＲデバイス１２．１、１２．２、および１２．３のそれぞれのものに伝送される。
規準マップフィルタリングおよび位置特定のための複数の規準マップおよびキーフレーム
図２７は、サーバ２０のコンピュータ可読媒体上のデータ記憶装置内に記憶される、複数の規準マップ１２０を示す。各規準マップ１２０は、それと関連付けられる複数の規準マップ識別子を有する。これらの規準マップ識別子は、経度および緯度の範囲によって表される、惑星である地球上のエリアを含む。規準マップ識別子はまた、グローバル特徴列を含む。
規準マップ１２０は、地球の表面上に存在し得るため、２次元パターンにおいて地理的に図示される。経度および緯度は、相互に異なり、規準マップを一意に識別する。サーバ２０は、経度および緯度を含む、位置データ、Ｗｉ−Ｆｉフィンガプリント、および個別の視認デバイス１２．１または１２．２によって撮影された画像の特徴を受信する、位置検出器を有する。位置検出器は、次いで、位置識別子を記憶する。全ての視認デバイスが、サーバ２０に、位置識別子として経度および緯度を提供するわけではない。しかしながら、視認デバイスは、通常、Ｗｉ−Ｆｉフィンガプリントおよび画像特徴を位置識別子として含むであろう。
図２８は、規準マップ１２０と、上記に説明されるように、サーバ２０が、視認デバイスに送信される１つ以上のマップを決定するために実行し、その後、視認デバイス上での位置特定３０６が続く、近傍エリアフィルタ３００、Ｗｉ−Ｆｉフィンガプリントフィルタ３０２、およびキーフレームフィルタ３０４を含む、一連のフィルタとを図示する。
規準マップ１２０は、数千の規準マップ等、多くの規準マップを有してもよい。いくつかの実施形態では、帯域幅制限に起因して、全ての規準マップを視認デバイスに送信することが不可能であり得る。
いくつかの実施形態では、近傍エリアフィルタ３００は、視認デバイスから受信された位置識別子の経度および緯度を含む、その経度および緯度を網羅する、少なくとも１つのマッチング規準マップ１２０を、少なくとも１つのマップがその経度および緯度に存在する限り、選択し得る。いくつかの実施形態では、近傍エリアフィルタ３００は、マッチング規準マップに隣接する経度および緯度を網羅する、少なくとも１つの近傍規準マップをさらに選択する。いくつかの実施形態では、近傍エリアフィルタ３００は、複数のマッチング規準マップおよび複数の近傍規準マップを選択してもよい。近傍エリアフィルタ３００は、例えば、規準マップの数を、数千から、例えば、１３０に低減させ、第１のフィルタリングされた選択を形成してもよい。いくつかの実施形態では、近傍エリアフィルタ３００は、規準マップ１２０の数を低減させるように構成されてもよい。言い換えると、近傍エリアフィルタ３００に取り込まれる、規準マップの数は、近傍エリアフィルタ３００から取り出される規準マップの数を上回ってもよい。
いくつかの実施形態では、Ｗｉ−Ｆｉフィンガプリントフィルタ３０２は、第２のフィルタを形成する。Ｗｉ−Ｆｉフィンガプリントフィルタ３０２は、位置識別子の一部として視認デバイスから受信されたＷｉ−Ｆｉフィンガプリントに基づいて、緯度および経度を決定する。Ｗｉ−Ｆｉフィンガプリントフィルタ３０２は、次いで、Ｗｉ−Ｆｉフィンガプリントフィルタ３０２からの緯度および経度と規準マップ１２０の緯度および経度を比較し、近傍エリアフィルタ３００によって確立される第１のフィルタリングされた選択内の第２のフィルタリングされた選択を形成する、１つ以上の規準マップを決定する。第２のフィルタリングされた選択は、例えば、規準マップの数を、第２のフィルタリングされた選択外の第１のフィルタリングされた選択に基づいて、任意の規準マップを含まない、第２の選択を形成する、５０の規準マップに低減させてもよい。本実施例では、第１のフィルタリングされた選択は、したがって、１３０の規準マップを含み、第２のフィルタリングされた選択は、１３０の規準マップのうちの５０を含み、１３０の規準マップの残りの８０を含まない。
キーフレームフィルタ３０４は、規準マップの数を、例えば、５つの規準マップにさらに低減させる。キーフレームフィルタ３０４は、視認デバイスによって捕捉された画像によって表されるデータと規準マップ１２０を表すデータを比較する、コンピュータビジョンフィルタであってもよい。キーフレームフィルタ３０４は、したがって、出力として、第２のフィルタリングされた選択に続いて識別された５０の規準マップのうちの５つのみを含む、第３のフィルタリングされた選択を提供する。マップ伝送機１２２は、次いで、第３のフィルタリングされた選択に基づいて、１つ以上の規準マップを視認デバイスに伝送する。視認デバイスは、本実施例およびいくつかの実施形態では、５つの規準マップを受信し、３０６において、全ての５つの規準マップに対して位置特定するように試みる。
図２９Ａ−２９Ｃは、いくつかの実施形態では、サーバ２０（または視認デバイス１２．１および１２．２のうちの１つ）内で使用され、初期サイズ（例えば、７６，８００バイト）から最終サイズ（例えば、２５６バイト／１ビット）までの画像の一意かつ低減されたデータ表現を生成し得る、フレーム埋込生成器３０８を図示する。いくつかの実施形態では、フレーム埋込生成器は、キーフレームまたはフレームであり得る、画像のためのデータ表現を生成するように構成されてもよい。いくつかの実施形態では、フレーム埋込生成器３０８は、特定の場所および配向における画像を一意の２５６バイト数列に変換するように構成されてもよい。視認デバイスによって撮影された画像３２０は、視認デバイスによって処理され、画像３２０内の特徴３２４を検出してもよく（例えば、深層疎特徴方法を使用して）、各特徴３２２は、３２の数の列３２６によって表されてもよい。特徴３２２は、ブロック３１０によってともに示される。例えば、ｎ＝１００の特徴が存在し得、各特徴は、３２の数の列によって表される。
いくつかの実施形態では、フレーム埋込生成器３０８は、多層パーセプトロンユニット３１２と、最大（ｍａｘ）プールユニット３１４とを含んでもよい。いくつかの実施形態では、多層パーセプトロン（ＭＬＰ）ユニット３１２は、ニューラルネットワークを備え得る、多層パーセプトロンを備えてもよい。いくつかの実施形態では、ＭＬＰユニット３１２は、行列乗算を実施するように構成されてもよい。多層パーセプトロンユニット３１２は、画像３２０の複数の特徴３２２を受信し、各特徴を２５６の数の個別の数列に変換する。本実施例では、１００の特徴が存在してもよく、各特徴は、２５６の数のバイトサイズによって表される。行列は、本実施例では、１００の水平行および２５６の垂直列を有するように作成されてもよい。各行は、一部は、より小さく、一部は、より大きい、大きさが変動する、一連の２５６の数を有する。いくつかの実施形態では、ＭＬＰの出力は、ｎ×２５６の行列３２８であってもよく、ｎは、画像から抽出された特徴の数を表す。
いくつかの実施形態では、ＭＬＰは、ニューラルネットワークを備えてもよく、これは、例えば、モデルパラメータを決定するための訓練相と、使用相とを有してもよい。いくつかの実施形態では、ＭＬＰは、図２９Ｄに図示されるように訓練されてもよい。入力訓練データは、３つのセット内にデータを備えてもよく、３つのセットは、１）クエリ画像と、２）正のサンプルと、３）負のサンプルとを備える。クエリ画像は、基準画像と見なされ得る。正のサンプルは、クエリ画像に類似する、画像を備えてもよい。例えば、いくつかの実施形態では、類似するとは、同一オブジェクトをクエリおよび正のサンプル画像の両方内に有することであるが、異なる角度から視認され得る。いくつかの実施形態では、類似するとは、同一オブジェクトをクエリおよび正のサンプル画像の両方内に有することであるが、他の画像に対して（例えば、左、右、上、下に）偏移されるオブジェクトを有し得る。負のサンプルは、クエリ画像と類似しない、画像を備えてもよい。例えば、いくつかの実施形態では、異なるとは、オブジェクトをクエリ画像内に有するが、サンプル画像内に有していないことであり得る。いくつかの実施形態では、異なるとは、オブジェクトの大部分（例えば、＞５０％または＞７５％）をクエリ画像内に有するが、同一オブジェクトの小部分（例えば、＜１０％、１％）のみを負のサンプル内に有することであり得る。いくつかの実施形態では、特徴（例えば、疎特徴）が、入力訓練データ内の画像から抽出されてもよく、記述子に変換されてもよい。いくつかの実施形態では、深層疎特徴（ＤＳＦ）プロセスが、米国特許出願第１６／１９０，９４８号に説明されるように、記述子（例えば、ＤＳＦ記述子、特徴記述子）を生成するために使用されてもよい。いくつかの実施形態では、ＤＳＦ記述子は、ｎ×３２寸法である。記述子は、次いで、モデル／ＭＬＰを通して通過され、２５６バイト出力を作成してもよい。いくつかの実施形態では、モデル／ＭＬＰは、図２９Ａ−２９Ｃに説明されるＭＬＰであってもよい。ＭＬＰモデルから出力された２５６バイトは、次いで、トリプレットマージン損失モジュールに送信されてもよい（かつＭＬＰニューラルネットワークの使用相の間ではなく、訓練相の間のみ使用されてもよい）。いくつかの実施形態では、トリプレットマージン損失モジュールは、クエリ画像から出力された２５６バイトと正のサンプルから出力された２５６バイトとの間の差異を最小限にし、クエリ画像から出力された２５６バイトと負のサンプルから出力された２５６バイトとの間の差異を最大限にするように構成されてもよい。いくつかの実施形態では、訓練相は、複数のトリプレット入力画像を学習プロセス（例えば、ＭＬＰ、モデル）の中にフィードし、モデルパラメータを決定するステップを含んでもよい。
最大プールユニット３１４は、各列を分析し、個別の列内の最大数を決定する。最大プールユニット３１４は、数の各列の最大値を２５６の数のグローバル特徴列３１６に組み合わせる。グローバル特徴列３１６は、比較的に少ないメモリを占有し、容易に検索可能である、比較的に小数である。したがって、カメラからの各オリジナルフレームを分析せずに、画像を検索することが可能であって、また、完全フレームの代わりに、２５６バイトを記憶するようにより安価である。
いくつかの実施形態では、図２８におけるキーフレームフィルタ３０４は、規準マップ１２０のグローバル特徴列３１６および視認デバイスによって捕捉された画像（例えば、ユーザのためのローカル追跡マップの一部であり得る、画像）に基づくグローバル特徴列３１６に基づいて、規準マップ１２０をフィルタリングしてもよい。図２７における規準マップ１２０のそれぞれのものは、したがって、それと関連付けられる１つ以上のグローバル特徴列３１６を有する。いくつかの実施形態では、グローバル特徴列３１６は、視認デバイスが、画像または特徴詳細をサーバ２０に提出し、サーバ２０が、画像または特徴詳細を処理し、規準マップ１２０のためのグローバル特徴列３１６を生成するときに入手されてもよい。いくつかの実施形態では、サーバ２０は、視認デバイスによって捕捉されたライブ／新しい／現在の画像の特徴詳細を受信してもよく、サーバ２０は、ライブ画像のためのグローバル特徴列３１６を生成し、ライブグローバル特徴列３１６に基づいて、規準マップ１２０をフィルタリングしてもよい。いくつかの実施形態では、グローバル特徴列は、ローカル視認デバイス上で生成されてもよい。いくつかの実施形態では、グローバル特徴列は、遠隔で、例えば、クラウドまたはサーバ２０上で生成されてもよい。いくつかの実施形態では、視認デバイスは、１つ以上の画像を撮影し、図２９Ｃに図示されるプロセスを実行し、グローバル特徴列３１６をローカル追跡マップに結び付けられてもよい。いくつかの実施形態では、グローバル特徴列３１６は、ローカルデバイスまたはクラウド上のローカル追跡マップまたは規準マップ内のフレームまたはキーフレームのデータ表現であってもよい。
いくつかの実施形態では、サーバ２０は、フィルタリングされた規準マップとともに、フィルタリングされた規準マップと関連付けられるグローバル特徴列３１６を視認デバイスに伝送してもよい。いくつかの実施形態では、視認デバイスが、その追跡マップを規準マップに対して位置特定すると、ローカル追跡マップのグローバル特徴列３１６と規準マップのグローバル特徴列のマッチングによってそれを行い得る。
マップのランク付けおよびマージ
本明細書に説明されるものは、複数の環境マップ（例えば、規準マップ）をＸリアリティ（ＸＲ）システム内でランク付けおよびマージするための方法および装置である。現実的ＸＲ体験をユーザに提供するために、ＸＲシステムは、実オブジェクトに関連して仮想オブジェクトの場所を正しく相関させるために、ユーザの物理的周囲を把握しなければならない。ユーザの物理的周囲についての情報は、ユーザの場所に関する環境マップから取得されてもよい。環境マップは、ＸＲシステムのユーザによって装着されるＸＲデバイスの一部である、センサを用いて収集された画像および深度情報から作成されてもよい。環境マップは、種々の場所および時間においてシステムのユーザによって装着されるセンサによって収集された情報を用いて構築されてもよい。各環境マップは、それぞれ、環境内の実オブジェクトの３次元（３Ｄ）世界再構築物と関連付けられる、マッピングされた点を含んでもよい。
本発明者らは、ＸＲシステムが、複数のユーザによって収集された実／物理的世界の環境マップ効率的共有を有効にすることによって、それらのユーザが同一または異なる時間に世界内に存在するかどうかにかかわらず、実および／または仮想コンテンツを備える、同一世界を共有する複数のユーザに、向上されたＸＲ体験を提供し得ることを認識し、その真価を認めた。しかしながら、そのようなシステムを提供する際、有意な課題が存在する。そのようなシステムは、複数のユーザによって生成された複数のマップを記憶し得、および／またはシステムは、異なる時間に生成された複数のマップを記憶し得る。例えば、上記に説明されるように、位置特定等の以前に生成されたマップを用いて実施され得る動作に関して、実質的処理が、同一世界（例えば、同一実世界場所）の関連環境マップをＸＲシステム内で収集された全ての環境マップから識別するために要求され得る。図８−２６に説明されるもの等のいくつかの実施形態では、デバイスが、例えば、位置特定のためにアクセスし得る、少数の環境マップのみが存在し得る。例えば、上記の図２７−２９Ｃに関連して説明されるようないくつかの実施形態では、デバイスがアクセスし得る、多数の環境マップが存在し得る。本発明者らは、環境マップの関連性を、例えば、図２８における全ての規準マップ１２０の母集団等のあらゆる可能性として考えられる環境マップから迅速かつ正確にランク付けする技法を認識し、その真価を認めた。高ランク付けマップは、次いで、仮想オブジェクトをユーザディスプレイ上にユーザの周囲の物理的世界と現実的に相互作用するようにレンダリングする、またはそのユーザによって収集されたマップデータと記憶されたマップをマージし、より大きいまたはより正確なマップを作成するため等、さらなる処理のために、選択されてもよい。
いくつかの実施形態では、物理的世界内のある場所におけるユーザのためのタスクに関連する、記憶されたマップが、複数の基準に基づいて、記憶されたマップをフィルタリングすることによって識別されてもよい。それらの基準は、その場所におけるユーザのウェアラブルデバイスによって生成された追跡マップと、例えば、図２７−２９Ｃに関して上記に説明されるようなデータベース内に記憶される候補環境マップの比較を示してもよい。比較は、マップを生成するデバイスによって検出されたＷｉ−Ｆｉフィンガプリント等のマップと関連付けられる、メタデータ、および／またはマップを形成する間、それに対してデバイスが接続されるＢＳＳＩＤのセットに基づいて実施されてもよい。比較はまた、マップの圧縮または解凍されたコンテンツに基づいて実施されてもよい。圧縮された表現に基づく比較は、例えば、図２９Ａ−２９Ｃに説明されるような、例えば、マップコンテンツから算出されたベクトルの比較によって実施されてもよい。解凍されたマップに基づく比較は、例えば、追跡マップを記憶されたマップに対して位置特定する、またはその逆によって実施されてもよい。複数の比較が、考慮のために、候補マップの数を低減させるために必要とされる算出時間に基づく順序に実施されてもよく、より少ない算出を伴う比較は、より多くの算出を要求する他の比較より先に実施される。
本明細書に説明される技法は、ＸＲ場面を提供する限定された算出リソースを伴う、ウェアラブルまたはポータブルデバイスを含む、多くのタイプのデバイスを用いて、および多くのタイプの場面のために、ともにまたは別個に使用されてもよい。いくつかの実施形態では、技法は、ＸＲシステムの一部を形成する、１つ以上のサービスによって実装されてもよい。
図３０および３１は、そのような場面を図示する。例証目的のために、ＡＲシステムが、ＸＲシステムの実施例として使用される。図３２−３５は、本明細書に説明される技法に従って動作し得る、１つ以上のプロセッサと、メモリと、センサと、ユーザインターフェースとを含む、例示的ＡＲシステムを図示する。
図３０を参照すると、屋外ＡＲ場面３５４が、描写され、ＡＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム３５８を特徴とする、物理的世界公園状設定３５６が見える。これらのアイテムに加え、ＡＲ技術のユーザはまた、物理的世界コンクリートプラットフォーム３５８上に立っているロボット像３５７と、それによってマルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ３５２とが「見える」と知覚するが、これらの要素（例えば、アバタキャラクタ３５２およびロボット像３５７）は、物理的世界内には存在しない。ヒト視知覚および神経系の極端な複雑性に起因して、他の仮想または物理的世界画像要素の中への仮想画像要素の快適で、自然のように感じる、豊かな提示を促進する、ＡＲ技術を生産することは、困難である。
そのようなＡＲ場面は、ユーザの周囲の物理的世界表面のデジタル表現を構築および更新し得る、世界再構築コンポーネントを含む、システムを用いて達成され得る。本表現は、レンダリングをオクルードするため、仮想オブジェクトを設置するため、物理学ベースの相互作用において、および仮想キャラクタ経路計画およびナビゲーションのため、またはその中で物理的世界についての情報が使用される、他の動作のために使用されてもよい。図３１は、いくつかの実施形態による、視覚的オクルージョン４０２と、物理学ベースの相互作用４０４と、環境推測４０６とを含む、例示的世界再構築ユースケースを示す、屋内ＡＲ場面４００の別の実施例を描写する。
例示的場面４００は、壁と、壁の片側上の本棚と、部屋の角における床置きランプと、床と、ソファと、床上のコーヒーテーブルとを有する、居間である。これらの物理的アイテムに加え、ＡＲ技術のユーザはまた、ソファの背後の壁上の画像、ドアを通して飛んで来た鳥、本棚から外を覗いているシカ、およびコーヒーテーブル上に設置された風車の形態における装飾品等の仮想オブジェクトを知覚する。壁上の画像に関して、ＡＲ技術は、壁の表面だけではなく、また、仮想オブジェクトを正しくレンダリングするために画像をオクルードする、ランプ形状等の部屋内のオブジェクトおよび表面についての情報も要求する。飛んで来た鳥に関して、ＡＲ技術は、オブジェクトおよび表面を回避する、または鳥が衝突する場合、跳ね返るように、現実的物理学を用いて鳥をレンダリングするために、部屋の周囲の全てのオブジェクトおよび表面についての情報を要求する。シカに関して、ＡＲ技術は、シカを設置すべき場所を算出するために、床またはコーヒーテーブル等の表面についての情報を要求する。風車に関して、システムは、テーブルと別個のオブジェクトであることを識別し得、それが移動可能であることを決定し得る一方、棚の角または壁の角は、定常であると決定され得る。そのような特異性は、種々の動作のそれぞれにおいて使用または更新される場面の部分に関する決定において使用されてもよい。
場面は、視覚、聴覚、および／または触覚を含む、１つ以上のユーザ感知を刺激し得る、ユーザインターフェースを含む、複数のコンポーネントを含む、システムを介して、ユーザに提示されてもよい。加えて、システムは、場面の物理的部分内のユーザの位置および／または運動を含む、場面の物理的部分のパラメータを測定し得る、１つ以上のセンサを含んでもよい。さらに、システムは、メモリ等の関連付けられるコンピュータハードウェアを伴う、１つ以上のコンピューティングデバイスを含んでもよい。これらのコンポーネントは、単一デバイスの中に統合されてもよい、または複数の相互接続されるデバイスを横断して分散されてもよい。いくつかの実施形態では、これらのコンポーネントのいくつかまたは全ては、ウェアラブルデバイスの中に統合されてもよい。
図３２は、いくつかの実施形態による、物理的世界５０６と相互作用するＡＲコンテンツの体験を提供するように構成される、ＡＲシステム５０２を描写する。ＡＲシステム５０２は、ディスプレイ５０８を含んでもよい。図示される実施形態では、ディスプレイ５０８は、ユーザが、一対のゴーグルまたは眼鏡のように、ディスプレイをその眼にわたって装着し得るように、ヘッドセットの一部としてユーザによって装着されてもよい。ディスプレイの少なくとも一部は、ユーザがシースルー現実５１０を観察し得るように、透明であってもよい。シースルー現実５１０は、ＡＲシステム５０２の現在の視点内の物理的世界５０６の部分に対応し得、これは、ユーザは、ＡＲシステムのディスプレイおよびセンサの両方を組み込む、ヘッドセットを装着し、物理的世界についての情報を入手している場合のユーザの視点に対応し得る。
ＡＲコンテンツはまた、シースルー現実５１０上にオーバーレイされる、ディスプレイ５０８上に提示されてもよい。ＡＲコンテンツとシースルー現実５１０との間の正確な相互作用をディスプレイ５０８上で提供するために、ＡＲシステム５０２は、物理的世界５０６についての情報を捕捉するように構成される、センサ５２２を含んでもよい。
センサ５２２は、深度マップ５１２を出力する、１つ以上の深度センサを含んでもよい。各深度マップ５１２は、それぞれ、深度センサに対する特定の方向における物理的世界５０６内の表面までの距離を表し得る、複数のピクセルを有してもよい。未加工深度データが、深度センサから生じ、深度マップを作成し得る。そのような深度マップは、深度センサが新しい画像を形成し得るほど高速に更新され得、これは、数百または数千回／秒であり得る。しかしながら、そのデータは、雑音が多くかつ不完全であって、図示される深度マップ上に黒色ピクセルとして示される、穴を有し得る。
システムは、画像センサ等の他のセンサを含んでもよい。画像センサは、他の方法において物理的世界を表すように処理され得る、単眼または立体視情報を入手してもよい。例えば、画像は、世界再構築コンポーネント５１６内で処理され、物理的世界内のオブジェクトの接続される部分を表す、メッシュを作成してもよい。例えば、色および表面テクスチャを含む、そのようなオブジェクトについてのメタデータも同様に、センサを用いて入手され、世界再構築物の一部として記憶されてもよい。
システムはまた、物理的世界に対するユーザの頭部姿勢についての情報を入手してもよい。いくつかの実施形態では、センサ５２２は、頭部姿勢５１４を算出および／または決定するために使用され得る、慣性測定ユニットを含んでもよい。深度マップのための頭部姿勢５１４は、例えば、６自由度（６ＤｏＦ）を伴う、深度マップを捕捉するセンサの現在の視点を示し得るが、頭部姿勢５１４は、画像情報を物理的世界の特定の部分に関連させる、またはユーザの頭部上に装着されるディスプレイの位置を物理的世界に関連させる等の他の目的のために使用されてもよい。いくつかの実施形態では、頭部姿勢情報は、画像内のオブジェクトの分析から等、ＩＭＵ以外の方法で導出されてもよい。
世界再構築コンポーネント５１６は、深度マップ５１２および頭部姿勢５１４およびセンサからの任意の他のデータを受信し、そのデータを再構築物５１８の中に統合してもよい。再構築物５１８は、センサデータより完全かつより雑音が少なくあり得る。世界再構築コンポーネント５１６は、経時的複数の視点からのセンサデータの空間および時間的平均を使用して、再構築物５１８を更新してもよい。
再構築物５１８は、例えば、ボクセル、メッシュ、平面等を含む、１つ以上のデータフォーマットにおいて、物理的世界の表現を含んでもよい。異なるフォーマットは、物理的世界の同一部分の代替表現を表し得る、または物理的世界の異なる部分を表し得る。図示される実施例では、再構築物５１８の左側には、物理的世界の一部が、グローバル表面として提示され、再構築物５１８の右側には、物理的世界の一部が、メッシュとして提示される。
再構築物５１８は、再構築物によって表される物理的世界の一部についての情報を提供する、マップとして使用される、またはそれに処理されてもよい。マップは、縁および／または平面等の特徴点および／または構造の場所を示してもよい。加えて、マップは、そこから点または構造がユーザに観察可能である、ユーザの姿勢についての情報を含んでもよく、これは、いくつかの実施形態では、キーフレームまたはキーリグと呼ばれ得る。図示される実施形態では、マップは、その中に単一ウェアラブルデバイスのユーザが存在する、物理的世界の一部を表す。物理的世界のその部分を特徴付けるコンテンツと組み合わせて、マップは、メタデータを含んでもよい。メタデータ、例えば、マップを形成するために使用されるセンサ情報の捕捉時間を示してもよい。メタデータは、代替として、または加えて、マップを形成するために使用される情報の捕捉時間におけるセンサの場所を示してもよい。場所は、直接、ＧＰＳチップからの情報等を用いて、または間接的に、センサデータが収集されていた間の１つ以上の無線アクセスポイントから受信された信号の強度を示す、Ｗｉ−Ｆｉシグネチャ等を用いて、および／またはセンサデータが収集された間にそれに対してユーザデバイスが接続した無線アクセスポイントのＢＳＳＩＤを用いて、表されてもよい。
再構築物５１８は、オクルージョン処理または物理学ベースの処理のための物理的世界の表面表現の生産等、ＡＲ機能のために使用されてもよい。本表面表現は、ユーザが移動する、または物理的世界内のオブジェクトが変化するにつれて、変化してもよい。再構築物５１８の側面は、例えば、他のコンポーネントによって使用され得る、世界座標内の変化するグローバル表面表現を生産する、コンポーネント５２０によって使用されてもよい。
ＡＲコンテンツは、本情報に基づいて、ＡＲアプリケーション５０４等によって生成されてもよい。ＡＲアプリケーション５０４は、例えば、視覚的オクルージョン、物理学ベースの相互作用、および環境推測等の物理的世界についての情報に基づいて、１つ以上の機能を実施する、ゲームプログラムであってもよい。これは、世界再構築コンポーネント５１６によって生産された再構築物５１８から異なるフォーマットにおけるデータにクエリすることによって、これらの機能を実施してもよい。いくつかの実施形態では、コンポーネント５２０は、物理的世界の着目領域内の表現が変化すると、更新を出力するように構成されてもよい。その着目領域、例えば、ユーザの視野内の一部等、システムのユーザの近傍内の物理的世界の一部に近似するように設定される、またはユーザの視野内に入るように投影（予測／決定）されてもよい。
ＡＲアプリケーション５０４は、本情報を使用して、ＡＲコンテンツを生成および更新してもよい。ＡＲコンテンツの仮想部分は、シースルー現実５１０と組み合わせて、ディスプレイ５０８上に提示され、現実的ユーザ体験を作成してもよい。
いくつかの実施形態では、ＡＲ体験は、ウェアラブルディスプレイシステムを通して、ユーザに提供されてもよい。図３３は、ウェアラブルディスプレイシステム５８０（以降、「システム５８０」と称される）の実施例を図示する。システム５８０は、頭部搭載型ディスプレイデバイス５６２（以降、「ディスプレイデバイス５６２」と称される）と、ディスプレイデバイス５６２の機能をサポートする、種々の機械および電子モジュールおよびシステムとを含む。ディスプレイデバイス５６２は、フレーム５６４に結合されてもよく、これは、ディスプレイシステムのユーザまたは視認者５６０（以降、「ユーザ５６０」と称される）によって装着可能であって、ディスプレイデバイス５６２をユーザ５６０の眼の正面に位置付けるように構成される。種々の実施形態によると、ディスプレイデバイス５６２は、シーケンシャルディスプレイであってもよい。ディスプレイデバイス５６２は、単眼または両眼であってもよい。いくつかの実施形態では、ディスプレイデバイス５６２は、図３２におけるディスプレイ５０８の実施例であってもよい。
いくつかの実施形態では、スピーカ５６６が、フレーム５６４に結合され、ユーザ５６０の外耳道に近接して位置付けられる。いくつかの実施形態では、示されない、別のスピーカが、ユーザ５６０の別の外耳道に隣接して位置付けられ、ステレオ／調節可能音制御を提供する。ディスプレイデバイス５６２は、有線導線または無線コネクティビティ５６８等によって、ローカルデータ処理モジュール５７０に動作可能に結合され、これは、フレーム５６４に固定して取り付けられる、ユーザ５６０によって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ５６０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載されてもよい。
ローカルデータ処理モジュール５７０は、プロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを含んでもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。データは、ａ）画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ等のセンサ（例えば、フレーム５６４に動作可能に結合される、または別様にユーザ５６０に取り付けられ得る）から捕捉された、および／またはｂ）可能性として、処理または読出後にディスプレイデバイス５６２への通過のために、遠隔処理モジュール５７２および／または遠隔データリポジトリ５７４を使用して入手および／または処理された、データを含む。
ローカルデータ処理モジュール５７０は、それぞれ、有線または無線通信リンク等を介して、通信リンク５７６、５７８によって、遠隔処理モジュール５７２および遠隔データリポジトリ５７４に、これらの遠隔モジュール５７２、５７４が、相互に動作可能に結合され、ローカルデータ処理モジュール５７０へのリソースとして利用可能であるように、動作可能に結合されてもよい。いくつかの実施形態では、図３２における世界再構築コンポーネント５１６は、少なくとも部分的に、ローカルデータ処理モジュール５７０内に実装されてもよい。例えば、ローカルデータ処理モジュール５７０は、少なくとも部分的に、データの少なくとも一部に基づいて、コンピュータ実行可能命令を実行し、物理的世界表現を生成するように構成されてもよい。
いくつかの実施形態では、処理は、ローカルおよび遠隔プロセッサを横断して分散されてもよい。世界再構築コンポーネント５１６に関して、例えば、ローカル処理が、そのユーザのデバイス上のセンサを用いて収集されたセンサデータに基づいて、マップ（例えば、追跡マップ）をユーザデバイス上に構築するために使用されてもよい。そのようなマップは、そのユーザのデバイス上のアプリケーションによって使用されてもよい。加えて、以前に作成された環境マップ（例えば、世界マップおよび／または規準マップ）は、遠隔データリポジトリ５７４内に記憶されてもよい。好適な記憶された環境マップが、利用可能である場合、追跡マップの代わりに、またはそれに加え、使用されてもよい。環境マップは、ユーザデバイス上にロードされ、ユーザデバイスが、場所の走査および走査の間に入手されたセンサデータからの追跡マップの構築と関連付けられる遅延を伴わずに、仮想コンテンツをレンダリングすることを可能にし得る。代替として、または加えて、追跡マップは、以前に記憶された環境マップとマージされ、それらの環境マップを拡張させる、またはその品質を改良してもよい。好適な以前に作成された環境マップが利用可能であるか、および／または追跡マップと１つ以上の記憶された環境マップをマージするかどうかを決定するための処理は、ローカルデータ処理モジュール５７０または遠隔処理モジュール５７２内で行われてもよい。
いくつかの実施形態では、ローカルデータ処理モジュール５７０は、データおよび／または画像情報を分析および処理するように構成される、１つ以上のプロセッサ（例えば、グラフィック処理ユニット（ＧＰＵ））を含んでもよい。いくつかの実施形態では、ローカルデータ処理モジュール５７０は、単一プロセッサ（例えば、シングルコアまたはマルチコアＡＲＭプロセッサ）を含んでもよい、これは、ローカルデータ処理モジュール５７０の算出予算を限定するが、より小型のデバイスを有効にするであろう。いくつかの実施形態では、世界再構築コンポーネント５１６は、単一ＡＲＭコアの残りの算出予算が、例えば、メッシュの抽出等の他の使用のためにアクセスされ得るように、単一高度ＲＩＳＣ機械（ＡＲＭ）コアより少ない算出予算を使用して、物理的世界表現をリアルタイムで非所定の空間上に生成してもよい。
いくつかの実施形態では、遠隔データリポジトリ５７４は、デジタルデータ記憶設備を含んでもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータは、記憶され、全ての算出は、ローカルデータ処理モジュール５７０内で実施され、遠隔モジュールからの完全に自律的使用を可能にする。いくつかの実施形態では、全てのデータは、記憶され、全てまたは大部分の算出は、遠隔データリポジトリ５７４内で実施され、より小さいデバイスを可能にする。世界再構築物は、例えば、全体または部分的に、本リポジトリ５７４内に記憶されてもよい。
その中にデータが、遠隔で記憶され、ネットワークを経由してアクセス可能である、実施形態では、データは、拡張現実システムの複数のユーザによって共有されてもよい。例えば、ユーザデバイスは、その追跡マップをアップロードしてもよく、これは、環境マップのデータベース内に記憶されてもよい。いくつかの実施形態では、追跡マップのアップロードは、セッションの終了時に生じる。いくつかの実施形態では、追跡マップのアップロードは、持続的に、半持続的に、断続的に、事前に定義された時間において、前のアップロードから事前に定義された周期後、またはあるイベントによってトリガされると、生じ得る。任意のユーザデバイスによってアップロードされた追跡マップは、そのユーザデバイスまたは任意の他のユーザデバイスからのデータに基づくかどうかにかかわらず、以前に記憶された環境マップを拡張または改良するために使用されてもよい。同様に、ユーザデバイスにダウンロードされた環境マップは、そのユーザデバイスまたは任意の他のユーザデバイスからのデータに基づいてもよい。このように、高品質環境マップが、ＡＲシステムを用いたその体験を改良するために、ユーザに容易に利用可能であり得る。
いくつかの実施形態では、ローカルデータ処理モジュール５７０は、バッテリ５８２に動作可能に結合される。いくつかの実施形態では、バッテリ５８２は、市販のバッテリ等のリムーバブル電源である。他の実施形態では、バッテリ５８２は、リチウムイオンバッテリである。いくつかの実施形態では、バッテリ５８２は、ユーザ５６０が、電源に繋がれ、リチウムイオンバッテリを充電する必要なく、またはシステム５８０をシャットオフし、バッテリを交換する必要なく、より長い時間周期にわたってシステム５８０を動作させ得るように、システム５８０の非動作時間の間、ユーザ５６０によって充電可能な内部リチウムイオンバッテリと、リムーバブルバッテリとの両方を含む。
図３４Ａは、ユーザ５３０が物理的世界環境５３２（以降、「環境５３２」と称される）を通して移動するにつれてＡＲコンテンツをレンダリングする、ＡＲディスプレイシステムを装着している、ユーザ５３０を図示する。ユーザ５３０は、ＡＲディスプレイシステムを位置５３４に位置付け、ＡＲディスプレイシステムは、マッピングされた特徴または指向性オーディオ入力との姿勢関係等、位置５３４に対するパス可能世界（例えば、物理的世界内の実オブジェクトの変化に伴って記憶および更新され得る、物理的世界内の実オブジェクトのデジタル表現）の周囲情報を記録する。位置５３４は、データ入力５３６に対して集約され、少なくともパス可能世界モジュール５３８によって処理され、これは、例えば、図３３の遠隔処理モジュール５７２上の処理によって実装されてもよい。いくつかの実施形態では、パス可能世界モジュール５３８は、世界再構築コンポーネント５１６を含んでもよい。図３５Ｂは、いくつかの実施形態による、ＰＷのコンポーネントアーキテクチャを描写する。
パス可能世界モジュール５３８は、データ入力５３６から決定されるように、少なくとも部分的に、ＡＲコンテンツ５４０が物理的世界内に設置され得る場所および方法を決定する。ＡＲコンテンツは、ユーザインターフェースを介して、物理的世界の表現およびＡＲコンテンツの両方を提示することによって、物理的世界内に「設置」され、ＡＲコンテンツは、物理的世界内のオブジェクトと相互作用しているかのようにレンダリングされ、物理的世界内のオブジェクトは、ＡＲコンテンツが、適切なとき、それらのオブジェクトのユーザのビューを不明瞭にしているかのように提示される。いくつかの実施形態では、ＡＲコンテンツは、固定要素５４２（例えば、テーブル）の一部を再構築物（例えば、再構築物５１８）から適切に選択し、ＡＲコンテンツ５４０の形状および位置を決定することによって、設置されてもよい。実施例として、固定要素は、テーブルであってもよく、仮想コンテンツは、そのテーブル上に現れるように位置付けられてもよい。いくつかの実施形態では、ＡＲコンテンツは、現在の視野または推定される将来的視野であり得る、視野５４４内の構造の中に設置されてもよい。いくつかの実施形態では、ＡＲコンテンツは、物理的世界のマッピングされた（例えば、メッシュ）モデル５４６に対して持続されてもよい。
描写されるように、固定要素５４２は、ユーザ５３０にそれが見える度に、システムが固定要素５４２にマッピングする必要なく、ユーザ５３０が固定要素５４２上にコンテンツを知覚し得るように、パス可能世界モジュール５３８内に記憶され得る、物理的世界内の任意の固定要素のためのプロキシ（例えば、デジタルコピー）としての役割を果たす。固定要素５４２は、したがって、前のモデル化セッションからの、または別個のユーザから決定される、マッピングされたものであるが、それにもかかわらず、複数のユーザによる将来的参照のためにパス可能世界モジュール５３８上に記憶される、メッシュモデルであってもよい。したがって、パス可能世界モジュール５３８は、環境５３２を以前にマッピングされた環境から認識し、ユーザ５３０のデバイスが環境５３２の全部または一部を最初にマッピングすることなく、ＡＲコンテンツを表示し、算出プロセスおよびサイクルを節約し、任意のレンダリングされたＡＲコンテンツの待ち時間を回避し得る。
物理的世界のマッピングされたメッシュモデル５４６は、ＡＲディスプレイシステムによって作成されてもよく、ＡＲコンテンツ５４０と相互作用し、表示するための適切な表面およびメトリックは、完全または部分的に、再マッピングまたはモデル化する必要なく、ユーザ５３０または他のユーザによる将来的読出のために、パス可能世界モジュール５３８内にマッピングおよび記憶されることができる。いくつかの実施形態では、データ入力５３６は、パス可能世界モジュール５３８に、１つ以上の固定要素のうちのどの固定要素５４２が利用可能であるかどうか、固定要素５４２上に最後に設置されたＡＲコンテンツ５４０、およびその同一コンテンツを表示すべきかどうか（そのようなＡＲコンテンツは、ユーザが特定のパス可能世界モデルを視認しているかどうかにかかわらず、「持続」コンテンツである）を示すための、地理的場所、ユーザ識別、および現在のアクティビティ等の入力である。
オブジェクトが固定されていると見なされる（例えば、台所のテーブル）、実施形態においてさえ、パス可能世界モジュール５３８は、物理的世界の変化の可能性を考慮するために随時更新されてもよい。固定されたオブジェクトのモデルは、非常に低周波数で更新されてもよい。物理的世界内の他のオブジェクトは、移動している、または別様に固定されていると見なされないものであり得る（例えば、台所の椅子）。ＡＲ場面を現実的感覚でレンダリングするために、ＡＲシステムは、これらの非固定オブジェクトの位置を、固定オブジェクトを更新するために使用されるものよりはるかに高い周波数で更新してもよい。物理的世界内のオブジェクトの全ての正確な追跡を有効にするために、ＡＲシステムは、１つ以上の画像センサを含む、複数のセンサから情報を引き出してもよい。
図３４Ｂは、視認光学系アセンブリ５４８および付帯コンポーネントの概略例証である。いくつかの実施形態では、２つの眼追跡カメラ５５０が、ユーザの眼５４９に向かって指向され、眼形状、眼瞼オクルージョン、瞳孔方向、およびユーザの眼５４９上の閃光等、ユーザの眼５４９のメトリックを検出する。いくつかの実施形態では、センサのうちの１つは、飛行時間センサ等の深度センサ５５１であって、信号を世界に放出し、近隣のオブジェクトからのそれらの信号の反射を検出し、所与のオブジェクトまでの距離を決定してもよい。深度センサは、例えば、オブジェクトが、それらのオブジェクトの運動またはユーザの姿勢の変化のいずれかの結果として、ユーザの視野に進入したかどうかを迅速に決定し得る。しかしながら、ユーザの視野内のオブジェクトの位置についての情報は、代替として、または加えて、他のセンサを用いて収集されてもよい。深度情報は、例えば、立体視的画像センサまたはプレノプティックセンサから取得されてもよい。
いくつかの実施形態では、世界カメラ５５２は、周辺より広いビューを記録し、環境５３２をマッピングし、ＡＲコンテンツに影響を及ぼし得る、入力を検出する。いくつかの実施形態では、世界カメラ５５２および／またはカメラ５５３は、グレースケールおよび／またはカラー画像センサであってもよく、これは、グレースケールおよび／またはカラー画像フレームを固定される時間インターバルにおいて出力してもよい。カメラ５５３はさらに、ユーザの視野内の物理的世界画像を具体的時間において捕捉してもよい。フレームベースの画像センサのピクセルは、その値が不変である場合でも、反復的にサンプリングされてもよい。世界カメラ５５２、カメラ５５３、および深度センサ５５１はそれぞれ、５５４、５５５、および５５６の個別の視野を有し、図３４Ａに描写される物理的世界環境５３２等の物理的世界場面からのデータを収集および記録する。
慣性測定ユニット５５７は、視認光学系アセンブリ５４８の移動および配向を決定してもよい。いくつかの実施形態では、各コンポーネントは、少なくとも１つの他のコンポーネントに動作可能に結合される。例えば、深度センサ５５１は、ユーザの眼５４９が見ている実際の距離に対する測定された遠近調節の確認として、眼追跡カメラ５５０に動作可能に結合される。
視認光学系アセンブリ５４８は、図３４Ｂに図示されるコンポーネントのうちのいくつかを含んでもよく、図示されるコンポーネントの代わりに、またはそれに加え、コンポーネントを含んでもよいことを理解されたい。いくつかの実施形態では、例えば、視認光学系アセンブリ５４８は、４つの代わりに、２つの世界カメラ５５２を含んでもよい。代替として、または加えて、カメラ５５２および５５３は、その完全視野の可視光画像を捕捉する必要はない。視認光学系アセンブリ５４８は、他のタイプのコンポーネントを含んでもよい。いくつかの実施形態では、視認光学系アセンブリ５４８は、１つ以上の動的視覚センサ（ＤＶＳ）を含んでもよく、そのピクセルは、光強度の相対的変化が閾値を超えることに非同期して応答してもよい。
いくつかの実施形態では、視認光学系アセンブリ５４８は、飛行時間情報に基づく深度センサ５５１を含まなくてもよい。いくつかの実施形態では、例えば、視認光学系アセンブリ５４８は、１つ以上のプレノプティックカメラを含んでもよく、そのピクセルは、入射光の光強度および角度を捕捉してもよく、そこから深度情報が、決定されることができる。例えば、プレノプティックカメラは、透過性回折マスク（ＴＤＭ）でオーバーレイされた画像センサを含んでもよい。代替として、または加えて、プレノプティックカメラは、角度感知ピクセルおよび／または位相検出自動焦点ピクセル（ＰＤＡＦ）および／またはマイクロレンズアレイ（ＭＬＡ）を含有する、画像センサを含んでもよい。そのようなセンサは、深度センサ５５１の代わりに、またはそれに加え、深度情報源としての役割を果たし得る。
また、図３４Ｂにおけるコンポーネントの構成は、実施例として図示されることを理解されたい。視認光学系アセンブリ５４８は、任意の好適な構成を伴うコンポーネントを含んでもよく、これは、ユーザに、特定のセットのコンポーネントのために実践的な最大視野を提供するように設定されてもよい。例えば、視認光学系アセンブリ５４８が、１つの世界カメラ５５２を有する場合、世界カメラは、側面の代わりに、視認光学系アセンブリの中心領域内に設置されてもよい。
視認光学系アセンブリ５４８内のセンサからの情報は、システム内のプロセッサのうちの１つ以上のものに結合されてもよい。プロセッサは、ユーザに仮想コンテンツが物理的世界内のオブジェクトと相互作用するように知覚させるようにレンダリングされ得る、データを生成してもよい。そのレンダリングは、物理的および仮想オブジェクトの両方を描写する、画像データを生成するステップを含め、任意の好適な方法において実装されてもよい。他の実施形態では、物理的および仮想コンテンツは、ユーザが物理的世界を透かし見る、ディスプレイデバイスの不透明度を変調させることによって、１つの場面に描写されてもよい。不透明度は、仮想オブジェクトの外観を作成し、ユーザに仮想オブジェクトによってオクルードされる物理的世界内のオブジェクトが見えないように遮断するように、制御されてもよい。いくつかの実施形態では、画像データは、仮想コンテンツがユーザインターフェースを通して視認されるとき、物理的世界と現実的に相互作用するように、ユーザによって知覚されるように修正され得る（例えば、コンテンツをクリッピングし、オクルージョンを考慮する）、仮想コンテンツのみを含んでもよい。コンテンツがユーザに提示される方法にかかわらず、物理的世界のモデルが、仮想オブジェクトの形状、位置、運動、および可視性を含む、物理的オブジェクトによって影響され得る、仮想オブジェクトの特徴が、正しく算出され得るように、要求される。いくつかの実施形態では、モデルは、物理的世界の再構築物、例えば、再構築物５１８を含んでもよい。
そのモデルは、ユーザのウェアラブルデバイス上のセンサから収集されたデータから作成されてもよい。但し、いくつかの実施形態では、モデルは、複数のユーザによって収集されたデータから作成されてもよく、これは、全てのユーザから遠隔のコンピューティングデバイス内に集約されてもよい（かつ「クラウド内」にあってもよい）。
モデルは、少なくとも部分的に、世界再構築システム、例えば、図３５Ａにさらに詳細に描写される図３２の世界再構築コンポーネント５１６によって作成されてもよい。世界再構築コンポーネント５１６は、物理的世界の一部のための表現を生成、更新、および記憶し得る、知覚モジュール６６０を含んでもよい。いくつかの実施形態では、知覚モジュール６６０は、センサの再構築範囲内の物理的世界の一部を複数のボクセルとして表し得る。各ボクセルは、物理的世界内の所定の体積の３Ｄ立方体に対応し、表面情報を含み、ボクセルによって表される体積内に表面が存在するかどうかを示し得る。ボクセルは、その対応する体積が、物理的オブジェクトの表面を含むと決定されている、空であると決定されている、またはセンサを用いてまだ測定されていない、したがって、その値が未知であるかどうかを示す、値を割り当てられてもよい。空または未知であると決定されたボクセルを示す値は、明示的に記憶される必要はなく、ボクセルの値は、空または未知であると決定されたボクセルに関する情報を記憶しないことを含め、任意の好適な方法において、コンピュータメモリ内に記憶されてもよいことを理解されたい。
持続される世界表現のための情報を生成することに加え、知覚モジュール６６０は、ＡＲシステムのユーザの周囲の領域の変化のインジケーションを識別し、出力してもよい。そのような変化のインジケーションは、持続される世界の一部として記憶される立体データへの更新をトリガする、またはＡＲコンテンツを生成し、ＡＲコンテンツを更新する、コンポーネント６０４をトリガする等、他の機能をトリガしてもよい。
いくつかの実施形態では、知覚モジュール６６０は、符号付き距離関数（ＳＤＦ）モデルに基づいて、変化を識別してもよい。知覚モジュール６６０は、例えば、深度マップ６６０ａおよび頭部姿勢６６０ｂ等のセンサデータを受信し、次いで、センサデータをＳＤＦモデル６６０ｃに融合させるように構成されてもよい。深度マップ６６０ａは、直接、ＳＤＦ情報を提供してもよく、画像は、ＳＤＦ情報に到着するように処理されてもよい。ＳＤＦ情報は、その情報を捕捉するために使用されるセンサからの距離を表す。それらのセンサは、ウェアラブルユニットの一部であり得るため、ＳＤＦ情報は、ウェアラブルユニットの視点、したがって、ユーザの視点から物理的世界を表し得る。頭部姿勢６６０ｂは、ＳＤＦ情報が物理的世界内のボクセルに関連されることを可能にし得る。
いくつかの実施形態では、知覚モジュール６６０は、知覚範囲内にある、物理的世界の一部のための表現を生成、更新、および記憶してもよい。知覚範囲は、少なくとも部分的に、センサの再構築範囲に基づいて決定されてもよく、これは、少なくとも部分的に、センサの観察範囲の限界に基づいて決定されてもよい。具体的実施例として、アクティブＩＲパルスを使用して動作する、アクティブ深度センサは、ある距離の範囲にわたって確実に動作し、数センチメートルまたは数十センチメートル〜数メートルであり得る、センサの観察範囲を作成し得る。
世界再構築コンポーネント５１６は、知覚モジュール６６０と相互作用し得る、付加的モジュールを含んでもよい。いくつかの実施形態では、持続される世界モジュール６６２は、知覚モジュール６６０によって入手されたデータに基づいて、物理的世界のための表現を受信してもよい。持続される世界モジュール６６２はまた、物理的世界の種々のフォーマットの表現を含んでもよい。いくつかの実施形態では、物理的世界の表現は、画像、画像からの特徴、特徴の記述子、キーフレーム／キーリグ、持続姿勢、ＰＣＦ、および／またはグローバル特徴列であってもよい。例えば、ボクセル等の立体メタデータ６６２ｂが、メッシュ６６２ｃおよび平面６６２ｄとともに記憶されてもよい。いくつかの実施形態では、深度マップ等の他の情報も、保存され得る。
いくつかの実施形態では、知覚モジュール６６０は、例えば、メッシュ６６０ｄ、平面、および意味論６６０ｅを含む、種々のフォーマットにおける、物理的世界のための表現を生成する、モジュールを含んでもよい。これらのモジュールは、表現が生成された時点の１つ以上のセンサの知覚範囲内のデータおよび以前の時間に捕捉されたデータおよび持続される世界モジュール６６２内の情報に基づいて、表現を生成してもよい。いくつかの実施形態では、これらのコンポーネントは、深度センサを用いて捕捉された深度情報に作用してもよい。しかしながら、ＡＲシステムは、視覚センサを含んでもよく、単眼または両眼視覚情報を分析することによって、そのような表現を生成してもよい。
いくつかの実施形態では、これらのモジュールは、物理的世界の領域に作用してもよい。それらのモジュールは、物理的世界のサブ領域を、知覚モジュール６６０がそのサブ領域内の物理的世界の変化を検出すると、更新するようにトリガされてもよい。そのような変化は、例えば、ＳＤＦモデル６６０ｃ内の新しい表面を検出することによって、またはサブ領域を表す十分な数のボクセルの値の変化等の他の基準によって、検出されてもよい。
世界再構築コンポーネント５１６は、物理的世界の表現を知覚モジュール６６０から受信し得る、コンポーネント６６４を含んでもよい。物理的世界についての情報は、例えば、アプリケーションからの使用要求に従って、これらのコンポーネントによってプル配信されてもよい。いくつかの実施形態では、情報は、事前に識別された領域の変化または知覚範囲内の物理的世界表現の変化のインジケーション等を介して、使用コンポーネントにプッシュ配信されてもよい。コンポーネント６６４は、例えば、視覚的オクルージョン、物理学ベースの相互作用、および環境推測のための処理を実施する、ゲームプログラムおよび他のコンポーネントを含んでもよい。
コンポーネント６６４からのクエリに応答して、知覚モジュール６６０は、物理的世界のための表現を１つ以上のフォーマットにおいて送信してもよい。例えば、コンポーネント６６４が、使用が視覚的オクルージョンまたは物理学ベースの相互作用のためのものであることを示すとき、知覚モジュール６６０は、表面の表現を送信してもよい。コンポーネント６６４が、使用が環境推測のためのものであることを示すとき、知覚モジュール６６０は、物理的世界のメッシュ、平面、および意味論を送信してもよい。
いくつかの実施形態では、知覚モジュール６６０は、フォーマット情報をコンポーネント６６４に提供する、コンポーネントを含んでもよい。そのようなコンポーネントの実施例は、レイキャスティングコンポーネント６６０ｆであってもよい。使用コンポーネント（例えば、コンポーネント６６４）は、例えば、特定の視点からの物理的世界についての情報をクエリしてもよい。レイキャスティングコンポーネント６６０ｆは、その視点からの視野内の物理的世界データの１つ以上の表現から選択してもよい。
前述の説明から理解されるはずであるように、知覚モジュール６６０またはＡＲシステムの別のコンポーネントは、データを処理し、物理的世界の一部の３Ｄ表現を作成してもよい。処理されるべきデータは、少なくとも部分的に、カメラ錐台および／または深度画像に基づいて、３Ｄ再構築体積の一部を間引く、平面データを抽出および持続させる、近傍系の一貫性を維持しながらローカル更新を可能にするブロックにおいて、３Ｄ再構築データを捕捉し、持続させ、更新する、オクルージョンデータが１つ以上の深度データソースの組み合わせから導出される、オクルージョンデータをそのような場面を生成するアプリケーションに提供する、および／または多段階メッシュ簡略化を実施することによって、低減され得る。
世界再構築システムは、物理的世界の複数の視点からのセンサデータを経時的に統合してもよい。センサの姿勢（例えば、位置および配向）は、センサを含むデバイスが移動されるにつれて、追跡されてもよい。センサのフレーム姿勢およびそれが他の姿勢に関連する方法が、把握されるにつれて、物理的世界のこれらの複数の視点はそれぞれ、単一の組み合わせられた再構築物にともに融合されてもよい。再構築物は、空間および時間的平均（すなわち、経時的複数の視点からのデータの平均）または任意の他の好適な方法を使用することによって、オリジナルセンサデータより完全かつ雑音が少なくなり得る。
再構築物は、例えば、ライブ深度データ等の未加工データ、ボクセル等の融合された立体データ、およびメッシュ等の算出されたデータを含む、異なるレベルの精巧さのデータを含有してもよい。
パス可能世界（ＰＷ）（例えば、ＰＷ５３８）は、少なくとも部分的に、複数のユーザによって装着されるＡＲデバイスの世界再構築システムによって再構築されたデータに基づいて作成される、環境マップを含んでもよい。ＡＲ体験のセッションの間、個々のＡＲデバイス（図３３に関連して上記に説明されるウェアラブルデバイス等）は、追跡マップ（ＴＭ）を作成してもよい。いくつかの実施形態では、追跡マップは、環境を走査するＡＲデバイスの頭部姿勢の疎マップおよびその環境内で検出されたオブジェクトについての情報を含んでもよい。ＡＲデバイスは、追跡マップをクラウドに送信し、例えば、クラウド内に記憶される環境マップから選択された環境マップとマージしてもよい。いくつかの実施形態では、選択された環境マップは、マージするために、クラウドからＡＲデバイスに送信されてもよい。
環境マップは、個別のマップを作成するために処理された再構築データによって表される物理的世界の一部についての情報を提供してもよい。図３６は、いくつかの実施形態による、例示的環境マップ７００を描写する。環境マップ７００は、点７０２によって表される対応する物理的世界内の再構築された物理的オブジェクトの平面図７０６を含んでもよい。環境マップ７００はまた、追跡ルート７１０を含んでもよく、それに沿って点７０２に関するデータを収集するデバイスが、進行される。追跡ルート７１０は、キーリグ７０４を含んでもよく、これは、ＡＲデバイスが再構築データおよび頭部姿勢および／または画像データ等の関連付けられるメタデータをアップロードした場所を表し得る。いくつかの実施形態では、キーリグはまた、キーフレームと呼ばれ得る。図示される実施例では、環境マップは、２つの追跡ルート７１０ａおよび７１０ｂを含み、これは、環境マップ７００が、２つの追跡マップをマージすることによって作成されることを示し得、すなわち、一方は、追跡ルート７１０ａに沿って作成され、他方は、追跡ルート７１０ｂに沿って作成される。いくつかの実施形態では、２つの追跡マップは、同時に２つの異なるＡＲデバイス、異なる時間における２つの異なるＡＲデバイス、または異なる時間における同一ＡＲデバイスによって作成されてもよい。いくつかの実施形態では、２つの追跡マップは、１つのＡＲデバイスによって作成され、それぞれ、指定されるエリア範囲内でアクセス可能であり得る、２つのネットワークアクセスポイントを通して、クラウドにアップロードされてもよい。
環境マップは、例えば、ＡＲデバイスのローカル記憶装置および遠隔記憶装置を含む、例えば、環境マップの記憶場所に応じて、複数のフォーマットのいずれかを有してもよい。例えば、遠隔記憶装置内のマップは、ローカル記憶装置内のマップより高い分解能を有してもよい。より高い分解能マップを遠隔記憶装置からローカル記憶装置に送信するために、マップは、ダウンサンプリングまたは別様に適切なフォーマットに変換されてもよい。いくつかの実施形態では、遠隔記憶装置からの高分解能マップのスライスまたは一部が、ローカル記憶装置に送信され、スライスまたは一部は、ダウンサンプリングされない。
環境マップのデータベースは、新しい追跡マップが作成されると、更新されてもよい。データベース内の潜在的に非常に多数の環境マップのうちのどれが更新されるべきかを決定するために、更新するステップは、新しい追跡マップに関連するデータベース内に記憶される１つ以上の環境マップを効率的に選択するステップを含んでもよい。選択された１つ以上の環境マップは、関連性によってランク付けされてもよく、最高ランク付けマップのうちの１つ以上のものが、より高いランク付けされた選択された環境マップと新しい追跡マップをマージし、１つ以上の更新された環境マップを作成するために処理するために選択されてもよい。
図３７は、いくつかの実施形態による、１つ以上の環境マップをランク付けおよびマージするように構成される、ＡＲシステム８００を描写する。ＡＲシステムは、ＡＲデバイスのパス可能世界モデル８０２を含んでもよい。パス可能世界モデル８０２を取り込むための情報は、ＡＲデバイス上のセンサから生じてもよく、これは、プロセッサ８０４（例えば、ローカルデータ処理モジュール５７０）内に記憶される、センサデータをマップに変換するための処理のいくつかまたは全てを実施し得る、コンピュータ実行可能命令を含んでもよい。そのようなマップは、ＡＲデバイスが領域内で動作する際にセンサデータが収集されるにつれて構築され得るような追跡マップであってもよい。その追跡マップとともに、エリア属性が、追跡マップが表すエリアを示すように供給されてもよい。これらのエリア属性は、緯度および経度として提示される座標または場所を表すためにＡＲシステムによって使用されるＩＤ等の地理的場所識別子であってもよい。代替として、または加えて、エリア属性は、そのエリアに関して一意である高尤度を有する、測定された特性であってもよい。エリア属性は、例えば、エリア内で検出された無線ネットワークのパラメータから導出されてもよい。いくつかの実施形態では、エリア属性は、ＡＲシステムが近隣にある、および／または接続される、アクセスポイントの一意のアドレスと関連付けられてもよい。例えば、エリア属性は、５Ｇ基地局／ルータ、Ｗｉ−Ｆｉルータ、および同等物のＭＡＣアドレスまたは基本サービスセット識別子（ＢＳＳＩＤ）と関連付けられてもよい。
図３７の実施例では、追跡マップは、環境の他のマップとマージされてもよい。マップランク付け部分８０６は、追跡マップをデバイスＰＷ８０２から受信し、マップデータベース８０８と通信し、マップデータベース８０８から選択された環境マップを選択およびランク付けする。より高いランク付けされる選択されたマップは、マップマージ部分８１０に送信される。
マップマージ部分８１０は、マージ処理をマップランク付け部分８０６から送信されるマップ上で実施してもよい。マージ処理は、追跡マップとランク付けされたマップのいくつかまたは全てをマージし、新しいマージされたマップをパス可能世界モデル８１２に伝送するステップを伴ってもよい。パス可能世界モデル８１２は、クラウドモデルであってもよく、これは、複数のＡＲデバイスによって共有されてもよい。パス可能世界モデル８１２は、それらの環境マップをマップデータベース８０８内に記憶する、または別様にそれへのアクセスを有してもよい。いくつかの実施形態では、以前に算出された環境マップが、更新されると、そのマップ以前のバージョンは、古くなったマップをデータベースから除去するように、削除されてもよい。いくつかの実施形態では、以前に算出された環境マップが、更新されると、そのマップの以前のバージョンは、アーカイブされ、環境の以前のバージョンの読出／閲覧を有効にしてもよい。いくつかの実施形態では、許可が、ある読取／書込アクセスを有するＡＲシステムのみが、マップの以前のバージョンの削除／アーカイブをトリガし得るように設定されてもよい。
１つ以上のＡＲデバイス／システムによって供給される追跡マップから作成されたこれらの環境マップは、ＡＲシステム内のＡＲデバイスによってアクセスされてもよい。マップランク付け部分８０６はまた、環境マップをＡＲデバイスに供給する際に使用されてもよい。ＡＲデバイスは、その現在の場所に関する環境マップを要求するメッセージを送信してもよく、マップランク付け部分８０６は、要求側デバイスに関連する環境マップを選択およびランク付けするために使用されてもよい。
いくつかの実施形態では、ＡＲシステム８００は、マージされたマップをクラウドＰＷ８１２から受信するように構成される、ダウンサンプリング部分８１４を含んでもよい。クラウドＰＷ８１２から受信され、マージされたマップは、クラウドのための記憶フォーマットであってもよく、これは、稠密情報を含み得る。ダウンサンプリング部分８１４は、クラウドフォーマットマップをＡＲデバイス上への記憶のために好適なフォーマットにダウンサンプリングするように構成されてもよい。デバイスフォーマットマップは、ＡＲデバイスの限定されたローカル演算能力および記憶空間に適応するように疎隔されてもよい。
「Ｍｅｒｇｉｎｇ ａ Ｐｌｕｒａｌｉｔｙ ｏｆ Ｉｎｄｉｖｉｄｕａｌｌｙ Ｍａｐｐｅｄ Ｅｎｖｉｒｏｎｍｅｎｔｓ」と題された米国仮特許出願第６２／８１２，９３５号は、環境マップをマージする例示的方法および装置を説明する。米国出願第６２／８１２，９３５号の出願バージョンのコピーは、付属として添付され、あらゆる目的のために、参照することによってその全体として本明細書に組み込まれる。その出願に説明されるような技法が、環境マップをマージするために使用されてもよい。
図３８は、いくつかの実施形態による、１つ以上のランク付けされた環境マップを選択する方法９００を図示する、フローチャートである。図示される実施形態では、ランク付けするステップは、追跡マップを作成する、ユーザのＡＲデバイスのために実施される。故に、追跡マップは、環境マップをランク付けする際に使用するために利用可能である。追跡マップが利用不可能である、実施形態では、追跡マップに明示的に依拠しない、環境マップの選択およびランク付けするステップの部分のいくつかまたは全てが、使用されてもよい。
本方法９００は、行為９０２から開始し得、追跡マップが形成された場所の近傍の環境マップのデータベースからのマップのセット（時として、規準マップとも称される）が、アクセスされ、次いで、ランク付けのためにフィルタリングされ得る。加えて、行為９０２では、その中でユーザのＡＲデバイスが動作しているエリアに関する、少なくとも１つのエリア属性が、決定される。ユーザのＡＲデバイスが追跡マップを構築している、シナリオでは、エリア属性は、それにわたって追跡マップが作成される、エリアに対応し得る。具体的実施例として、エリア属性は、ＡＲデバイスが追跡マップを算出していた間にアクセスポイントからコンピュータネットワークに受信された信号に基づいて、算出されてもよい。
図３９は、いくつかの実施形態による、ＡＲシステム８００の例示的マップランク付け部分８０６を描写する。マップランク付け部分８０６は、ＡＲデバイスの一部およびクラウド等の遠隔コンピューティングシステムの一部を含み得るため、クラウドコンピューティング環境であってもよい。マップランク付け部分８０６は、方法９００の少なくとも一部を実施するように構成されてもよい。
図４０Ａは、いくつかの実施形態による、追跡マップ（ＴＭ）１１０２およびデータベース内の環境マップＣＭ１−ＣＭ４のエリア属性ＡＡ１−ＡＡ８の実施例を描写する。図示されるように、環境マップは、複数のエリア属性に関連付けられてもよい。エリア属性ＡＡ１−ＡＡ８は、追跡マップ１１０２を算出するＡＲデバイスによって検出された無線ネットワークのパラメータ、例えば、それに対してＡＲデバイスが接続される、ネットワークの基本サービスセット識別子（ＢＳＳＩＤ）、および／または、例えば、ネットワークタワー１１０４を通して無線ネットワークに受信されるアクセスポイントの信号の強度を含んでもよい。無線ネットワークのパラメータは、Ｗｉ−Ｆｉおよび５ＧＮＲを含む、プロトコルに準拠してもよい。図９に図示される実施例では、エリア属性は、その中でユーザＡＲデバイスが、センサデータを収集し、追跡マップを形成した、エリアのフィンガプリントである。
図４０Ｂは、いくつかの実施形態による、追跡マップ１１０２の決定された地理的場所１１０６の実施例を描写する。図示される実施例では、決定された地理的場所１１０６は、重心点１１１０と、重心点の周囲を囲むエリア１１０８とを含む。本願の地理的場所の決定は、図示されるフォーマットに限定されないことを理解されたい。決定された地理的場所は、例えば、異なるエリア形状を含む、任意の好適なフォーマットを有してもよい。本実施例では、地理的場所は、エリア属性を地理的場所に関連させるデータベースを使用して、エリア属性から決定される。データベースは、市販されており、例えば、緯度および経度として表され、本動作のために使用され得る、Ｗｉ−Ｆｉフィンガプリントを場所に関連させる、データベースである。
図３８の実施形態では、環境マップを含有する、マップデータベースはまた、マップによって網羅される緯度および経度を含む、それらのマップに関する場所データを含んでもよい。行為９０２における処理は、そのデータベースから、追跡マップのエリア属性に関して決定された同一緯度および経度を網羅する、環境マップのセットを選択するステップを伴ってもよい。
行為９０４は、行為９０２においてアクセスされる環境マップのセットの第１のフィルタリングである。行為９０２では、環境マップは、追跡マップの地理的場所との近接度に基づいて、セット内に留保される。本フィルタリングステップは、追跡マップとセット内の環境マップと関連付けられる緯度および経度を比較することによって実施されてもよい。
図４１は、いくつかの実施形態による、行為９０４の実施例を描写する。各エリア属性は、対応する地理的場所１２０２を有してもよい。環境マップのセットは、追跡マップの決定された地理的場所と重複する地理的場所を有する、少なくとも１つのエリア属性を伴う、環境マップを含んでもよい。図示される実施例では、識別された環境マップのセットは、それぞれ、追跡マップ１１０２の決定された地理的場所と重複する地理的場所を有する、少なくとも１つのエリア属性を有する、環境マップＣＭ１、ＣＭ２、およびＣＭ４を含む。エリア属性ＡＡ６と関連付けられる、環境マップＣＭ３は、追跡マップの決定された地理的場所外にあるため、セット内に含まれない。
他のフィルタリングステップもまた、最終的に処理される（マップマージのため、またはパス可能世界情報をユーザデバイスに提供するため等）セット内の環境マップの数を低減させる／ランク付けするために、環境マップのセット上で実施されてもよい。方法９００は、追跡マップおよび環境マップのセットの環境マップと関連付けられるネットワークアクセスポイントの１つ以上の識別子の類似性に基づいて、環境マップのセットをフィルタリングするステップ（行為９０６）を含んでもよい。マップの形成の間、センサデータを収集し、マップを生成する、デバイスは、Ｗｉ−Ｆｉまたは類似無線通信プロトコル等を通して、ネットワークアクセスポイントを通して、ネットワークに接続され得る。アクセスポイントは、ＢＳＳＩＤによって識別され得る。ユーザデバイスは、エリアを通して移動し、データを収集し、マップを形成するにつれて、複数の異なるアクセスポイントに接続し得る。同様に、複数のデバイスが、マップを形成するための情報を供給するとき、本デバイスは、異なるアクセスポイントを通して接続されている場合があり、したがって、同様にその理由から、マップを形成する際に使用される複数のアクセスポイントが存在し得る。故に、マップと関連付けられる複数のアクセスポイントが存在し得、アクセスポイントのセットは、マップの場所のインジケーションであり得る。
いくつかの実施形態では、ネットワークアクセスポイントの１つ以上の識別子の類似性に基づいて、環境マップのセットをフィルタリングするステップは、環境マップのセット内に、ネットワークアクセスポイントの１つ以上の識別子に基づいて、追跡マップの少なくとも１つのエリア属性との最高Ｊａｃｃａｒｄ類似性を伴う環境マップを留保するステップを含んでもよい。図４２は、いくつかの実施形態による、行為９０６の実施例を描写する。図示される実施例では、エリア属性ＡＡ７と関連付けられるネットワーク識別子は、追跡マップ１１０２に関する識別子として決定され得る。行為９０６後の環境マップのセットは、ＡＡ７とのより高いＪａｃｃａｒｄ類似性内のエリア属性を有し得る、環境マップＣＭ２と、同様にエリア属性ＡＡ７を含む、環境マップＣＭ４とを含む。環境マップＣＭ１は、ＡＡ７との最低Ｊａｃｃａｒｄ類似性を有するため、セット内に含まれない。
行為９０２−９０６における処理は、マップと関連付けられるメタデータに基づいて、マップデータベース内に記憶されるマップのコンテンツに実際にアクセスすることなく、実施されてもよい。他の処理は、マップのコンテンツにアクセスするステップを伴ってもよい。行為９０８は、メタデータに基づいてフィルタリング後にサブセット内に残っている環境マップにアクセスするステップを示す。本行為は、後続動作がアクセスされるコンテンツを用いて実施され得る場合、プロセスにおけるより早い段階または後の段階のいずれかで実施されてもよいことを理解されたい。
本方法９００は、追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性に基づいて、環境マップのセットをフィルタリングするステップ（行為９１０）を含んでもよい。追跡マップおよび環境マップのコンテンツを表すメトリックは、マップのコンテンツから算出された値のベクトルを含んでもよい。メトリックは、行為９０８において読み出されたマップから算出されてもよい、または事前に算出され、それらのマップと関連付けられるメタデータとして記憶されてもよい。いくつかの実施形態では、追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性に基づいて、環境マップのセットをフィルタリングするステップは、環境マップのセット内に、追跡マップの特性のベクトルと環境マップのセット内の環境マップを表すベクトルとの間に最小ベクトル距離を伴う環境マップを留保するステップを含んでもよい。
本方法９００は、追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づいて、環境マップのセットをさらにフィルタリングするステップ（行為９１２）を含んでもよい。マッチング度は、位置特定プロセスの一部として決定されてもよい。非限定的実施例として、位置特定は、それらが物理的世界の同一部分を表し得るほど十分に類似する、追跡マップおよび環境マップ内の重要点を識別することによって実施されてもよい。いくつかの実施形態では、重要点は、特徴、特徴記述子、キーフレーム／キーリグ、持続姿勢、および／またはＰＣＦであってもよい。追跡マップ内の重要点のセットは、次いで、環境マップ内の重要点のセットとの最良適合を生産するように整合され得る。対応する重要点間の平均二乗距離が、算出され得、追跡マップの特定の領域に関する閾値を下回る場合、追跡マップおよび環境マップが物理的世界の同一領域を表すことのインジケーションとして使用される。
いくつかの実施形態では、追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づいて、環境マップのセットをフィルタリングするステップは、環境マップのセットの環境マップ内にもまた表される、追跡マップによって表される物理的世界の体積を算出するステップと、環境マップのセット内に、セットのフィルタリング除去された環境マップより大きい算出された体積を伴う環境マップを留保するステップとを含んでもよい。図４３は、いくつかの実施形態による、行為９１２の実施例を描写する。図示される実施例では、行為９１２後の環境マップのセットは、追跡マップ１１０２のエリアとマッチングされるエリア１４０２を有する、環境マップＣＭ４を含む。環境マップＣＭ１は、追跡マップ１１０２のエリアとマッチングされるエリアを有していないため、セット内に含まれない。
いくつかの実施形態では、環境マップのセットは、行為９０６、行為９１０、および行為９１２の順序でフィルタリングされてもよい。いくつかの実施形態では、環境マップのセットは、行為９０６、行為９１０、および行為９１２に基づいて、フィルタリングされてもよく、これは、最低から最高へとフィルタリングを実施するために要求される処理に基づく順序で実施され得る。
本方法９００は、環境マップのセットおよびデータをロードするステップ（行為９１４）を含んでもよい。
図示される実施例では、ユーザデータベースは、ＡＲデバイスが使用されたエリアを示す、エリア識別を記憶する。エリア識別は、エリア属性であってもよく、これは、使用時にＡＲデバイスによって検出された無線ネットワークのパラメータを含み得る。マップデータベースは、ＡＲデバイスによって供給されるデータおよび関連付けられるメタデータから構築された複数の環境マップを記憶する。関連付けられるメタデータは、そこから環境マップが構築されたデータを供給した、ＡＲデバイスのエリア識別から導出されるエリア識別を含んでもよい。ＡＲデバイスは、メッセージをＰＷモジュールに送信し、新しい追跡マップが作成される、または作成中であることを示してもよい。ＰＷモジュールは、ＡＲデバイスに関するエリア識別子を算出し、受信されたパラメータおよび／または算出されたエリア識別子に基づいて、ユーザデータベースを更新する。ＰＷモジュールはまた、環境マップを要求するＡＲデバイスと関連付けられるエリア識別子を決定し、エリア識別子に基づいて、マップデータベースから環境マップのセットを識別し、環境マップのセットをフィルタリングし、フィルタリングされた環境マップのセットをＡＲデバイスに伝送してもよい。いくつかの実施形態では、ＰＷモジュールは、例えば、追跡マップの地理的場所、追跡マップおよび環境マップのセットの環境マップと関連付けられるネットワークアクセスポイントの１つ以上の識別子の類似性、追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性、および追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度を含む、１つ以上の基準に基づいて、環境マップのセットをフィルタリングしてもよい。
いくつかの実施形態のいくつかの側面がこれまで説明されたが、種々の改変、修正、および改良が、当業者に容易に想起されるであろうことを理解されたい。
一実施例として、実施形態は、拡張（ＡＲ）環境に関連して説明される。本明細書に説明される技法の一部または全部は、ＭＲ環境、より一般的には、他のＸＲ環境およびＶＲ環境内に適用されてもよいことを理解されたい。
別の実施例として、実施形態は、ウェアラブルデバイス等のデバイスに関連して説明される。本明細書に説明される技法の一部または全部は、ネットワーク（クラウド等）、離散アプリケーション、および／またはデバイス、ネットワーク、および離散アプリケーションの任意の好適な組み合わせを介して実装されてもよいことを理解されたい。
さらに、図３８は、候補マップをフィルタリングし、高ランク付けマップのセットをもたらすために使用され得る、基準の実施例を提供する。他の基準が、説明される基準の代わりに、またはそれに加え、使用されてもよい。例えば、複数の候補マップが、あまり望ましくないマップをフィルタリング除去するために使用されるメトリックの類似値を有する場合、候補マップの特性が、候補マップとして留保される、またはフィルタリング除去されるマップを決定するために使用されてもよい。例えば、より大きいまたはより稠密候補マップは、より小さい候補マップより優先されてもよい。いくつかの実施形態では、図２７−２８は、図３７−３９に説明されるシステムおよび方法の全部または一部を説明し得る。
図５１−５３は、いくつかの実施形態による、少なくとも部分的に、深層キーフレーム（ＤＫＦ）分析に基づいて、使用されるべきマップを決定するステップの実施例を説明する。ＤＫＦ分析は、ＸＲデバイスによって生成されたＴＭに基づいて、ＸＲデバイスによって使用されるべき環境マップを決定し、および／またはユーザに関する現在の頭部姿勢（例えば、ユーザの頭部の位置および／または配向）を決定するためのプロセスの一部であってもよい。いくつかの実施形態では、ＤＫＦ分析は、好適な深層学習技法を採用し、ＴＭのキーフレームをニューラルネットワーク等の深層学習アーキテクチャへの入力として提供することによって、使用されるべき好適な環境マップを予測または別様に決定する。いくつかの実施形態では、ＤＫＦ分析は、規準マップ（ＣＭ）とも称される、環境マップをランク付けするためのプロセスの一部として使用される。例えば、ＣＭは、ＴＭと候補として分析されている各ＣＭとの間のＤＫＦ記述子の類似度に基づいて、ランク付けされることができる。図５３の実施例に示されるように、ＤＫＦ分析は、地理的場所フィルタリングが、（例えば、第１の）上位レベル分析として実施される、Ｗｉ−ＦｉＢＳＳＩＤフィルタリングが、次のレベルとして実施され、ＤＫＦ分析は、ＣＭをランク付けするための第３の（例えば、最終）レベルとして実施される、ＣＭを選択するための階層（例えば、マルチレベル）分析の一部であることができる。最高ランク付けされたＣＭまたはＣＭのセットは、ＸＲデバイスに提供され、使用および／またはさらに分析されてもよい。ランク付け分析は、クラウド内で実施されてもよい（例えば、図５１−５３の実施例に示されるように、ＳＰＩＦＦ分析モジュールを使用して）。各レベルでは、候補ＣＭのセットは、ＤＫＦに基づく最下レベル分析後、単一マップ（またはマップのサブセット）が残るまで、フィルタリング（例えば、低減）されることができる。図５１に示されるマップランク付けモジュールは、ランク付けを実施し、結果を、上記に説明される、マップマージモジュールに渡してもよい。
米国特許出願第１６／５２０，５８２号および米国仮特許出願第６２／７０２，８２９号は、参照することによって本明細書に組み込まれ、マップ品質に基づくマップ共有、同時可視性グラフィカルマップサニタイゼーション、およびカメラ画像からの位置特定可能マップの作成のさらなる詳細を説明する。
頭部姿勢追跡復元およびリセット
図４９は、いくつかの実施形態による、頭部姿勢を復元および／またはリセットするための視認方法の側面を図示する。図示される実施例では、行為１４００において、視認デバイスが、電源投入される。行為１４１０では、電源投入されることに応答して、新しいセッションが、開始される。いくつかの実施形態では、新しいセッションは、頭部姿勢を確立するステップを含んでもよい。ユーザの頭部に固着される、頭部搭載型フレーム上の１つ以上の捕捉デバイスが、最初に、環境の画像を捕捉し、次いで、表面を画像から決定することによって、環境の表面を捕捉する。表面データはまた、重力センサからのデータと組み合わせられ、頭部姿勢を確立する。
行為１４２０では、視認デバイスのプロセッサが、頭部姿勢の追跡のためのルーチンに入る。捕捉デバイスは、ユーザがその頭部を移動させるにつれて、環境の表面を捕捉し、表面に対する頭部搭載型フレームの配向を決定し続ける。
行為１４３０では、プロセッサが、頭部姿勢が喪失されたかどうかを決定する。頭部姿勢は、低特徴入手をもたらし得る、あまりに多くの反射性表面、低光量、何もない壁、屋外等、「エッジ」ケースに起因して、または移動し、マップの一部を形成する、群集等、動的ケースのため、喪失された状態になり得る。１４３０におけるルーチンは、頭部姿勢が喪失されたかどうかを決定するための十分な時間を可能にするために、ある時間量、例えば、１０秒が経過することを可能にする。頭部姿勢が喪失されていない場合、プロセッサは、１４２０に戻り、再び、頭部姿勢の追跡に入る。
頭部姿勢が、行為１４３０において喪失された場合、プロセッサは、１４４０において、頭部姿勢を復元するためのルーチンに入る。頭部姿勢が、低光量に起因して喪失された場合、以下のメッセージ等のメッセージが、視認デバイスのディスプレイを通してユーザに表示される。
システムが、低光量条件を検出中です。より光の多いエリアに移動してください。
システムは、十分な光が利用可能であるかどうかと、頭部姿勢が復元され得るかどうかとを監視し続けるであろう。システムは、代替として、表面の低テクスチャが頭部姿勢を喪失させていることを決定し得、その場合、ユーザは、表面の捕捉を改良するための提案として、以下のプロンプトがディスプレイ内に与えられる。
システムは、微細なテクスチャを伴う十分な表面を検出することができません。表面のテクスチャが粗くなく、テクスチャがより精緻化されたエリアに移動してください。
行為１４５０では、プロセッサは、頭部姿勢復元が失敗したかどうかを決定するためのルーチンに入る。頭部姿勢復元が失敗していない（すなわち、頭部姿勢復元が成功した）場合、プロセッサは、再び、頭部姿勢の追跡に入ることによって、行為１４２０に戻る。Ｉｆ頭部姿勢復元が失敗した場合、プロセッサは、行為１４１０に戻り、新しいセッションを確立する。新しいセッションの一部として、全てのキャッシュされたデータは、無効化され、以降、頭部姿勢は、新しく確立される。
図５０は、コンピュータシステム１９００の例示的形態における機械の略図表現を示し、機械に本明細書で議論される方法論のうちの任意の１つ以上のものを実施させるための命令のセットが、いくつかの実施形態に従って実行されてもよい。代替実施形態では、機械は、独立型デバイスとして動作する、または他の機械に接続（例えば、ネットワーク化）されてもよい。さらに、単一機械のみが、図示されるが、用語「機械」はまた、個々にまたはともに、命令のセット（または複数のセット）を実行し、本明細書で議論される方法論のうちの任意の１つ以上のものを実施する、機械の任意の集合を含むものと捉えられるものとする。
例示的コンピュータシステム１９００は、プロセッサ１９０２（例えば、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、または両方）と、メインメモリ１９０４（例えば、読取専用メモリ（ＲＯＭ）、フラッシュメモリ、動的ランダムアクセスメモリ（ＤＲＡＭ）例えば、同期ＤＲＡＭ（ＳＤＲＡＭ）またはＲａｍｂｕｓ ＤＲＡＭ（ＲＤＲＡＭ）等）と、静的メモリ１９０６（例えば、フラッシュメモリ、静的ランダムアクセスメモリ（ＳＲＡＭ）等）とを含み、これらは、バス１９０８を介して相互に通信する。
コンピュータシステム１９００はさらに、ディスクドライブユニット１９１６と、ネットワークインターフェースデバイス１９２０とを含んでもよい。
ディスクドライブユニット１９１６は、その上に本明細書に説明される方法論または機能のうちの任意の１つ以上のものを具現化する、１つ以上の命令のセット１９２４（例えば、ソフトウェア）が記憶される、機械可読媒体１９２２を含む。ソフトウェアはまた、コンピュータシステム１９００、メインメモリ１９０４、およびプロセッサ１９０２によるその実行の間、完全にまたは少なくとも部分的に、メインメモリ１９０４内および／またはプロセッサ１９０２内に常駐し、同様に機械可読媒体を構成してもよい。
ソフトウェアはさらに、ネットワーク１８を経由して、ネットワークインターフェースデバイス１９２０を介して、伝送または受信されてもよい。
コンピュータシステム１９００は、プロジェクタを駆動し、光を生成するために使用される、ドライバチップ１９５０を含む。ドライバチップ１９５０は、その独自のデータ記憶装置１９６０と、その独自のプロセッサ１９６２とを含む。
機械可読媒体１９２２が、例示的実施形態では、単一媒体であるように示されるが、用語「機械可読媒体」は、１つ以上の命令のセットを記憶する、単一媒体または複数の媒体（例えば、集中型または分散型データベースおよび／または関連付けられるキャッシュおよびサーバ）を含むものと捉えられるべきである。用語「機械可読媒体」はまた、機械による実行のための命令のセットを記憶、エンコーディング、または搬送することが可能であって、機械に、本発明の方法論のうちの任意の１つ以上のものを実施させる、任意の媒体を含むものと捉えられるものとする。用語「機械可読媒体」は、故に、限定ではないが、ソリッドステートメモリ、光学および磁気媒体、および搬送波信号を含むものと捉えられるものとする。
いくつかの実施形態のいくつかの側面がこれまで説明されたが、種々の改変、修正、および改良が、当業者に容易に想起されるであろうことを理解されたい。
一実施例として、実施形態は、拡張（ＡＲ）環境に関連して説明される。本明細書に説明される技法の一部または全部は、ＭＲ環境、またはより一般的には、他のＸＲ環境およびＶＲ環境内に適用されてもよいことを理解されたい。
別の実施例として、実施形態は、ウェアラブルデバイス等のデバイスに関連して説明される。本明細書に説明される技法の一部または全部は、ネットワーク（クラウド等）、離散アプリケーション、および／またはデバイス、ネットワーク、および離散アプリケーションの任意の好適な組み合わせを介して実装されてもよいことを理解されたい。
さらに、図３８は、候補マップをフィルタリングし、高ランク付けマップのセットをもたらすために使用され得る、基準の実施例を提供する。他の基準が、説明される基準の代わりに、またはそれに加え、使用されてもよい。例えば、複数の候補マップが、あまり望ましくないマップをフィルタリング除去するために使用されるメトリックの類似値を有する場合、候補マップの特性が、候補マップとして留保される、またはフィルタリング除去されるマップを決定するために使用されてもよい。例えば、より大きいまたはより稠密候補マップは、より小さい候補マップより優先されてもよい。
そのような改変、修正、および改良は、本開示の一部であることが意図され、本開示の精神および範囲内であると意図される。さらに、本開示の利点が示されるが、本開示の全ての実施形態が、全ての説明される利点を含むわけではないことを理解されたい。いくつかの実施形態は、本明細書およびいくつかの事例において有利として説明される任意の特徴を実装しなくてもよい。故に、前述の説明および図面は、一例にすぎない。
本開示の前述の実施形態は、多数の方法のいずれかにおいて実装されることができる。例えば、実施形態は、ハードウェア、ソフトウェア、またはそれらの組み合わせを使用して実装されてもよい。ソフトウェア内に実装されるとき、ソフトウェアコードが、単一コンピュータ内に提供される、または複数のコンピュータ間に分散されるかどうかにかかわらず、任意の好適なプロセッサまたはプロセッサの集合上で実行されることができる。そのようなプロセッサは、いくつか挙げると、ＣＰＵチップ、ＧＰＵチップ、マイクロプロセッサ、マイクロコントローラ、またはコプロセッサ等、当技術分野において公知の市販の集積回路コンポーネントを含む、集積回路コンポーネント内の１つ以上のプロセッサとともに、集積回路として実装されてもよい。いくつかの実施形態では、プロセッサは、ＡＳＩＣ等のカスタム回路内に、またはプログラマブル論理デバイスを構成することから生じる半カスタム回路内に実装されてもよい。さらなる代替として、プロセッサは、市販、半カスタム、またはカスタムかどうかにかかわらず、より大きい回路または半導体デバイスの一部であってもよい。具体的実施例として、いくつかの市販のマイクロプロセッサは、１つまたはそれらのコアのサブセットがプロセッサを構成し得るように、複数のコアを有する。但し、プロセッサは、任意の好適なフォーマットにおける回路を使用して実装されてもよい。
さらに、コンピュータは、ラックマウント式コンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、またはタブレットコンピュータ等のいくつかの形態のうちのいずれかで具現化され得ることを理解されたい。加えて、コンピュータは、携帯情報端末（ＰＤＡ）、スマートフォン、または任意の好適な携帯用または固定電子デバイスを含む、概してコンピュータと見なされないが好適な処理能力を伴う、デバイスで具現化されてもよい。
また、コンピュータは、１つ以上の入力および出力デバイスを有してもよい。これらのデバイスは、とりわけ、ユーザインターフェースを提示するために使用されることができる。ユーザインターフェースを提供するために使用され得る、出力デバイスの実施例は、出力の視覚的提示のためのプリンタまたはディスプレイ画面、または出力の可聴提示のためのスピーカまたは他の音生成デバイスを含む。ユーザインターフェースのために使用され得る、入力デバイスの実施例は、キーボード、およびマウス、タッチパッド、およびデジタル化タブレット等のポインティングデバイスを含む。別の実施例として、コンピュータは、発話認識を通して、または他の可聴フォーマットにおいて、入力情報を受信してもよい。図示される実施形態では、入力／出力デバイスは、コンピューティングデバイスと物理的に別個として図示される。しかしながら、いくつかの実施形態では、入力および／または出力デバイスは、プロセッサと同一ユニットまたはコンピューティングデバイスの他の要素の中に物理的に統合されてもよい。例えば、キーボードは、タッチスクリーン上のソフトキーボードとして実装され得る。いくつかの実施形態では、入力／出力デバイスは、コンピューティングデバイスから完全に接続解除され、無線接続を通して機能的に統合されてもよい。
そのようなコンピュータは、企業ネットワークまたはインターネット等、ローカル面積ネットワークまたは広域ネットワークとしての形態を含む、任意の好適な形態の１つ以上のネットワークによって相互接続されてもよい。そのようなネットワークは、任意の好適な技術に基づいてもよく、任意の好適なプロトコルに従って動作してもよく、無線ネットワーク、有線ネットワーク、または光ファイバネットワークを含んでもよい。
また、本明細書で概説される種々の方法およびプロセスは、種々のオペレーティングシステムまたはプラットフォームのうちのいずれか１つを採用する、１つ以上のプロセッサ上で実行可能である、ソフトウェアとしてコード化されてもよい。加えて、そのようなソフトウェアは、いくつかの好適なプログラミング言語および／またはプログラミングまたはスクリプト作成ツールのうちのいずれかを使用して、書き込まれてもよく、また、フレームワークまたは仮想マシン上で実行される実行可能機械言語コードまたは中間コードとしてコンパイルされてもよい。
本側面では、本開示は、１つ以上のコンピュータまたは他のプロセッサ上で実行されるときに、上記で議論される種々の実施形態を実装する方法を行う、１つ以上のプログラムで符号化される、コンピュータ可読記憶媒体（または複数のコンピュータ可読媒体）（例えば、コンピュータメモリ、１つ以上のフロッピー（登録商標）ディスク、コンパクトディスク（ＣＤ）、光学ディスク、デジタルビデオディスク（ＤＶＤ）、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイまたは他の半導体デバイス内の回路構成、または他の有形コンピュータ記憶媒体）として具現化されてもよい。前述の実施例から明白なように、コンピュータ可読記憶媒体は、非一過性形態においてコンピュータ実行可能命令を提供するために十分な時間の間、情報を留保し得る。そのようなコンピュータ可読記憶媒体または複数の媒体は、前述のように、その上に記憶される１つまたは複数のプログラムが、本開示の種々の側面を実装するように１つ以上の異なるコンピュータまたは他のプロセッサ上にロードされ得るように、トランスポータブルであることができる。本明細書で使用されるように、用語「コンピュータ可読記憶媒体」は、製造（すなわち、製造品）または機械と見なされ得るコンピュータ可読媒体のみを包含する。いくつかの実施形態では、本開示は、伝搬信号等のコンピュータ可読記憶媒体以外のコンピュータ可読媒体として具現化されてもよい。
用語「プログラム」または「ソフトウェア」は、前述のように、本開示の種々の側面を実装するようにコンピュータまたは他のプロセッサをプログラムするために採用され得る、任意のタイプのコンピュータコードまたはコンピュータ実行可能命令のセットを指すために、一般的意味において本明細書で使用される。加えて、本実施形態の一側面によると、実行されると、本開示の方法を行う、１つ以上のコンピュータプログラムは、単一のコンピュータまたはプロセッサ上に常駐する必要はないが、本開示の種々の側面を実装するように、いくつかの異なるコンピュータまたはプロセッサの間でモジュール様式において分散され得ることを理解されたい。
コンピュータ実行可能命令は、１つ以上のコンピュータまたは他のデバイスによって実行される、プログラムモジュール等の多くの形態であってもよい。概して、プログラムモジュールは、特定のタスクを行う、または特定の抽象データタイプを実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む。典型的には、プログラムモジュールの機能性は、種々の実施形態では、所望に応じて、組み合わせられる、または分散されてもよい。
また、データ構造は、任意の好適な形態でコンピュータ可読媒体に記憶されてもよい。例証を簡単にするために、データ構造は、データ構造内の場所を通して関係付けられるフィールドを有することが示されてもよい。そのような関係は、同様に、フィールド間の関係を伝えるコンピュータ可読媒体内の場所を伴うフィールドのために記憶装置を割り当てることによって、達成されてもよい。しかしながら、ポインタ、タグ、またはデータ要素間の関係を確立する他の機構の使用を通すことを含む、任意の好適な機構が、データ構造のフィールド内の情報の間の関係を確立するために使用されてもよい。
本開示の種々の側面は、単独で、組み合わせて、または前述の実施形態に具体的に議論されない種々の配列において使用されてもよく、したがって、その用途は、前述の説明に記載される、または図面に図示されるコンポーネントの詳細および配列に限定されない。例えば、一実施形態に説明される側面は、他の実施形態に説明される側面と任意の様式で組み合わせられてもよい。
また、本開示は、その実施例が提供されている、方法として具現化されてもよい。方法の一部として行われる作用は、任意の好適な方法で順序付けられてもよい。故に、例証的実施形態では、連続作用として示されるが、いくつかの作用を同時に行うことを含み得る、作用が図示されるものと異なる順序で行われる、実施形態が構築されてもよい。
請求項要素を修飾するための請求項における「第１の」、「第２の」、「第３の」等の順序の用語の使用は、単独では、別の要素と比べた１つの請求項要素のいかなる優先順位、先行、または順序、または方法の行為が行われる時間順序も含意しないが、順序の用語は、請求項要素を区別するために、（順序の用語の使用のためであるが）ある名前を有する１つの請求項要素と、同一の名前を有する別の要素を区別する標識としてのみ使用される。
また、本明細書で使用される語句および専門用語は、説明目的のためのものであって、限定と見なされるべきではない。本明細書の「〜を含む」、「〜を備える」、または「〜を有する」、「〜を含有する」、「〜を伴う」、およびその変形の使用は、その後列挙されたアイテムおよびその均等物および付加的アイテムを包含することを意味する。

Claims (125)

  1. 座標フレーム変換
    ＸＲシステムであって、
    第１のＸＲデバイスであって、前記第１のＸＲデバイスは、
    第１のプロセッサと、
    前記第１のプロセッサに接続される第１のコンピュータ可読媒体と、
    前記第１のコンピュータ可読媒体上に記憶される第１の原点座標フレームと、
    前記コンピュータ可読媒体上に記憶される第１の目的地座標フレームと、
    ローカルコンテンツを表すデータを受信する第１のデータチャネルと、
    第１の座標フレーム変換器であって、前記第１の座標フレーム変換器は、前記ローカルコンテンツの位置付けを前記第１の原点座標フレームから前記第１の目的地座標フレームに変換するように、前記第１のプロセッサによって実行可能である、第１の座標フレーム変換器と、
    第１のディスプレイシステムであって、前記第１のディスプレイシステムは、前記ローカルコンテンツの位置付けを前記第１の原点座標フレームから前記第１の目的地座標フレームに変換後、ローカルコンテンツを第１のユーザに表示するように適合される、第１のディスプレイシステムと
    を含む、第１のＸＲデバイス
    を備える、ＸＲシステム。
  2. 前記第１のＸＲデバイスはさらに、
    実オブジェクトの位置付けを検出する第１の実オブジェクト検出デバイスと、
    第１の世界表面決定ルーチンであって、前記第１の世界表面決定ルーチンは、前記実オブジェクトの表面上の少なくとも１つの点の位置付けを識別するように、前記第１のプロセッサによって実行可能である、第１の世界表面決定ルーチンと、
    第１の世界フレーム決定ルーチンであって、前記第１の世界フレーム決定ルーチンは、前記少なくとも１つの点に基づいて、第１の世界座標フレームを計算するように、前記第１のプロセッサによって実行可能であり、前記第１の原点および第１の目的地座標フレームのうちの１つは、前記第１の世界座標フレームである、第１の世界フレーム決定ルーチンと、
    第１の世界フレーム記憶命令であって、前記第１の世界フレーム記憶命令は、前記世界座標フレームを前記コンピュータ可読媒体上に記憶するように、前記第１のプロセッサによって実行可能である、第１の世界フレーム記憶命令と
    を含む、請求項１に記載のＸＲシステム。
  3. 前記第１の実オブジェクト検出デバイスは、カメラである、請求項２に記載のＸＲシステム。
  4. 前記第１の実オブジェクト検出デバイスは、複数の実オブジェクトの位置付けを検出する、請求項２に記載のＸＲシステム。
  5. 前記第１の世界表面決定ルーチンは、前記実オブジェクトの表面上の複数の点の位置付けを識別する、請求項２に記載のＸＲシステム。
  6. 前記第１の世界フレーム決定ルーチンは、前記複数の点に基づいて、前記第１の世界座標フレームを計算する、請求項５に記載のＸＲシステム。
  7. 前記第１のＸＲデバイスはさらに、
    第１の頭部搭載可能フレームと、
    第１の頭部フレーム決定ルーチンであって、前記第１の頭部フレーム決定ルーチンは、前記第１の頭部搭載可能フレームの移動に応じて変化する第１の頭部座標フレームを計算するように、前記第１のプロセッサによって実行可能であり、前記第１の原点および第１の目的地座標フレームのうちの１つは、前記第１の頭部座標フレームである、第１の頭部フレーム決定ルーチンと、
    第１の頭部フレーム記憶命令であって、前記第１の頭部フレーム記憶命令は、前記第１の頭部座標フレームを前記第１のコンピュータ可読媒体上に記憶するように、前記第１のプロセッサによって実行可能である、第１の頭部フレーム記憶命令と
    を含む、請求項２に記載のＸＲシステム。
  8. 前記第１の座標フレーム変換器は、前記第１の世界座標フレームを前記第１の頭部座標フレームに変換する第１の世界／頭部座標変換器である、請求項７に記載のＸＲシステム。
  9. 前記第１のＸＲデバイスはさらに、
    前記第１の頭部搭載可能フレームに固着され、前記第１の頭部搭載可能フレームの移動を検出する第１の慣性測定ユニットを含み、前記第１の頭部フレーム決定ルーチンは、前記第１の慣性測定ユニットの測定に基づいて、前記第１の頭部座標フレームを計算する、請求項７に記載のＸＲシステム。
  10. 前記第１のデバイスはさらに、
    前記第１の頭部搭載可能フレームに固着され、前記第１の頭部搭載可能フレームの移動を検出する第１の移動追跡カメラを含み、前記第１の頭部フレーム決定ルーチンは、前記第１の移動追跡カメラによって捕捉された画像に基づいて、前記第１の頭部座標フレームを計算する、請求項７に記載のＸＲシステム。
  11. 前記第１のＸＲデバイスはさらに、
    第１のローカルフレーム決定ルーチンであって、前記第１のローカルフレーム決定ルーチンは、前記ローカルコンテンツの第１のローカル座標フレームを計算するように、前記第１のプロセッサによって実行可能であり、前記第１の原点および第１の目的地座標フレームのうちの１つは、前記ローカル座標フレームである、第１のローカルフレーム決定ルーチンと、
    第１のローカルフレーム記憶命令であって、前記第１のローカルフレーム記憶命令は、前記ローカル座標フレームを前記コンピュータ可読媒体上に記憶するように、前記第１のプロセッサによって実行可能である、第１のローカルフレーム記憶命令と
    を含む、請求項２に記載のＸＲシステム。
  12. 前記第１の座標フレーム変換器は、前記第１のローカル座標フレームを前記第１の世界座標フレームに変換する第１のローカル／世界座標変換器である、請求項１１に記載のＸＲシステム。
  13. 前記第１のＸＲデバイスはさらに、
    前記第１のコンピュータ可読媒体上に記憶される第１のカメラフレームを含み、前記第１のカメラフレームは、前記第１の頭部搭載可能フレームに対して移動する眼の複数の眼位置を含み、前記第１の座標フレーム変換器は、前記第１の頭部座標フレームを前記第１のカメラ座標フレームに変換する第１の頭部／カメラ座標変換器である、請求項１に記載のＸＲシステム。
  14. 視認方法であって、
    第１の原点座標フレームを記憶することと、
    第１の目的地座標フレームを記憶することと、
    ローカルコンテンツを表すデータを受信することと、
    ローカルコンテンツの位置付けを前記第１の原点座標フレームから前記第１の目的地座標フレームに変換することと、
    前記ローカルコンテンツの位置付けを前記第１の原点座標フレームから前記第１の目的地座標フレームに変換後、前記ローカルコンテンツを第１のユーザに表示することと
    を含む、方法。
    規準マップ
  15. ＸＲシステムであって、
    複数のアンカを有する規準マップである第１のマップを記憶するマップ記憶ルーチンであって、前記第１のマップの各アンカは、座標のセットを有する、マップ記憶ルーチンと、
    実オブジェクトの場所を検出するように位置付けられる実オブジェクト検出デバイスと、
    前記実オブジェクト検出デバイスに接続され、前記実オブジェクトの場所に基づいて、第２のマップのアンカを検出するアンカ識別システムであって、前記第２のマップの各アンカは、座標のセットを有する、アンカ識別システムと、
    位置特定モジュールであって、前記位置特定モジュールは、前記規準マップおよび前記第２のマップに接続され、前記第２のマップの第１のアンカを前記規準マップの第１のアンカにマッチングさせ、前記第２のマップの第２のアンカを前記規準マップの第２のアンカにマッチングさせることによって、前記第２のマップを前記規準マップに対して位置特定するように実行可能である、位置特定モジュールと
    を備える、ＸＲシステム。
  16. 実オブジェクト検出デバイスは、実オブジェクト検出カメラである、請求項１５に記載のＸＲシステム。
  17. 前記規準マップおよび前記第２のマップに接続され、前記規準マップの第３のアンカを前記第２のマップに組み込むように実行可能である規準マップ組込器をさらに備える、請求項１５に記載のＸＲシステム。
  18. ＸＲデバイスであって、前記ＸＲデバイスは、
    頭部ユニットであって、
    頭部搭載可能フレームであって、前記実オブジェクト検出デバイスは、前記頭部搭載可能フレームに搭載される、頭部搭載可能フレームと、
    ローカルコンテンツの画像データを受信するデータチャネルと、
    前記データチャネルに接続され、前記ローカルコンテンツを前記規準マップの１つのアンカに関連させるように実行可能であるローカルコンテンツ位置付けシステムと、
    前記ローカルコンテンツ位置付けシステムに接続され、前記ローカルコンテンツを表示するディスプレイシステムと
    を備える、頭部ユニット
    を含む、ＸＲデバイス
    をさらに備える、請求項１５に記載のＸＲシステム。
  19. 前記ローカルコンテンツのローカル座標フレームを前記第２のマップの世界座標フレームに変換するローカル／世界座標変換器をさらに備える、請求項１８に記載のＸＲシステム。
  20. 前記第２のマップのアンカに基づいて、第１の世界座標フレームを計算する第１の世界フレーム決定ルーチンと、
    前記世界座標フレームを記憶する第１の世界フレーム記憶命令と、
    前記頭部搭載可能フレームの移動に応じて変化する頭部座標フレームを計算する頭部フレーム決定ルーチンと、
    前記第１の頭部座標フレームを記憶する頭部フレーム記憶命令と、
    前記世界座標フレームを前記頭部座標フレームに変換する世界／頭部座標変換器と
    をさらに備える、請求項１８に記載のＸＲシステム。
  21. 前記頭部座標フレームは、前記頭部搭載可能フレームが移動すると、前記世界座標フレームに対して変化する、請求項２０に記載のＸＲシステム。
  22. 前記第２のマップの少なくとも１つのアンカに関連する少なくとも１つの音要素をさらに備える、請求項１８に記載のＸＲシステム。
  23. 前記第１および第２のマップは、前記ＸＲデバイスによって作成される、請求項１８に記載のＸＲシステム。
  24. 第１および第２のＸＲデバイスであって、各ＸＲデバイスは、
    頭部ユニットであって、
    頭部搭載可能フレームであって、前記実オブジェクト検出デバイスは、前記頭部搭載可能フレームに搭載される、頭部搭載可能フレームと、
    ローカルコンテンツの画像データを受信するデータチャネルと、
    前記データチャネルに接続され、前記ローカルコンテンツを前記規準マップの１つのアンカに関連させるように実行可能であるローカルコンテンツ位置付けシステムと、
    前記ローカルコンテンツ位置付けシステムに接続され、前記ローカルコンテンツを表示するディスプレイシステムと
    を備える、頭部ユニット
    を含む、第１および第２のＸＲデバイス
    をさらに備える、請求項１５に記載のＸＲシステム。
  25. 前記第１のＸＲデバイスは、前記第１のマップのためのアンカを作成し、前記第２のＸＲデバイスは、前記第２のマップのためのアンカを作成し、前記位置特定モジュールは、前記第２のＸＲデバイスの一部を形成する、請求項２４に記載のＸＲシステム。
  26. 前記第１および第２のマップは、それぞれ、第１および第２のセッションにおいて作成される、請求項２５に記載のＸＲシステム。
  27. 前記第１および第２のマップは、同一セッションにおいて作成される、請求項２５に記載のＸＲシステム。
  28. サーバと、
    前記ＸＲデバイスの一部を形成し、前記第１のマップをネットワークを経由してサーバからダウンロードするマップダウンロードシステムと
    をさらに備える、請求項１８に記載のＸＲシステム。
  29. 前記位置特定モジュールは、前記第２のマップを前記規準マップに対して位置特定するように繰り返し試みる、請求項１５に記載のＸＲシステム。
  30. 前記第２のマップを前記ネットワークを経由して前記サーバにアップロードするマップ発行器をさらに備える、請求項１５に記載のＸＲシステム。
  31. 前記規準マップは、前記サーバ上に記憶され、
    前記第２のマップと前記規準マップをマージする前記サーバ上のマップマージアルゴリズムと、
    前記第２のマップが前記規準マップとマージされた後、前記規準マップを伝送するマップ伝送機と
    をさらに備える、請求項１５に記載のＸＲシステム。
  32. 視認方法であって、
    複数のアンカを有する規準マップである第１のマップを記憶することであって、前記規準マップの各アンカは、座標のセットを有する、ことと、
    実オブジェクトの場所を検出することと、
    前記実オブジェクトの場所に基づいて、第２のマップのアンカを検出することであって、前記第２のマップの各アンカは、座標のセットを有する、ことと、
    前記第２のマップの第１のアンカを前記第１のマップの第１のアンカにマッチングさせ、前記第２のマップの第２のアンカを前記規準マップの第２のアンカにマッチングさせることによって、前記第２のマップを前記規準マップに対して位置特定することと
    を含む、方法。
    規準マップフィルタリング
  33. ＸＲシステムであって、
    サーバであって、
    プロセッサと、
    前記プロセッサに接続されるコンピュータ可読媒体と、
    前記コンピュータ可読媒体上の複数の規準マップと、
    各個別の規準マップと関連付けられる前記コンピュータ可読媒体上の個別の規準マップ識別子であって、前記規準マップ識別子は、相互に異なり、前記規準マップを一意に識別する、規準マップ識別子と、
    位置検出器であって、前記位置検出器は、前記コンピュータ可読媒体上にあり、位置識別子をＸＲデバイスから受信し、記憶するように、前記プロセッサによって実行可能である、位置検出器と、
    第１のフィルタであって、前記第１のフィルタは、前記コンピュータ可読媒体上にあり、前記位置識別子と前記規準マップ識別子を比較し、第１のフィルタリングされた選択を形成する１つ以上の規準マップを決定するように、前記プロセッサによって実行可能である、第１のフィルタと、
    マップ伝送機であって、前記マップ伝送機は、前記コンピュータ可読媒体上にあり、前記第１のフィルタリングされた選択に基づいて、前記規準マップのうちの１つ以上のものを前記ＸＲデバイスに伝送するように、前記プロセッサによって実行可能である、マップ伝送機と
    を有する、サーバ
    を備える、ＸＲシステム。
  34. 前記規準マップ識別子はそれぞれ、経度および緯度を含み、前記位置識別子は、経度および緯度を含む、請求項３３に記載のＸＲシステム。
  35. 前記第１のフィルタは、近傍エリアフィルタであり、前記近傍エリアフィルタは、前記位置識別子の経度および緯度を含む経度および緯度を網羅する少なくとも１つのマッチング規準マップと、前記第１のマッチング規準マップに隣接する経度および緯度を網羅する少なくとも１つの近傍マップとを選択する、請求項３４に記載のＸＲシステム。
  36. 前記位置識別子は、ＷｉＦｉフィンガプリントを含み、
    第２のフィルタであって、前記第２のフィルタは、ＷｉＦｉフィンガプリントフィルタであり、前記コンピュータ可読媒体上にあり、前記プロセッサによって、
    前記ＷｉＦｉフィンガプリントに基づいて、緯度および経度を決定することと、
    前記ＷｉＦｉフィンガプリントフィルタからの緯度および経度と前記規準マップの緯度および経度を比較し、前記第１のフィルタリングされた選択内の第２のフィルタリングされた選択を形成する１つ以上の規準マップを決定することであって、前記マップ伝送機は、前記第２の選択に基づいて、１つ以上の規準マップを伝送し、前記第２の選択外の前記第１の選択に基づく規準マップを伝送しない、ことと
    を行うように実行可能である、第２のフィルタ
    をさらに備える、請求項３５に記載のＸＲシステム。
  37. 前記第１のフィルタは、ＷｉＦｉフィンガプリントフィルタであり、前記ＷｉＦｉフィンガプリントフィルタは、前記コンピュータ可読媒体上にあり、前記プロセッサによって、
    前記ＷｉＦｉフィンガプリントに基づいて、緯度および経度を決定することと、
    前記ＷｉＦｉフィンガプリントフィルタからの緯度および経度と前記規準マップの緯度および経度を比較し、前記第１のフィルタリングされた選択を形成する１つ以上の規準マップを決定することと
    を行うように実行可能である、請求項３３に記載のＸＲシステム。
  38. 多層知覚ユニットであって、前記多層知覚ユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、画像の複数の特徴を受信し、各特徴を個別の数列に変換する、多層知覚ユニットと、
    最大プールユニットであって、前記最大プールユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、各数列の最大値を前記画像を表すグローバル特徴列に組み合わせ、各規準マップは、前記グローバル特徴列のうちの少なくとも１つを有し、前記ＸＲデバイスから受信された前記位置識別子は、前記多層知覚ユニットおよび前記最大プールユニットによって、前記画像のグローバル特徴列を決定するために進展される前記ＸＲデバイスによって捕捉された画像の特徴を含む、最大プールユニットと、
    キーフレームフィルタであって、前記キーフレームフィルタは、前記画像のグローバル特徴列と前記規準マップのグローバル特徴列を比較し、前記第２のフィルタリングされた選択内の第３のフィルタリングされた選択を形成する１つ以上の規準マップを決定し、前記マップ伝送機は、前記第３の選択に基づいて、１つ以上の規準マップを伝送し、前記第３の選択外の前記第２の選択に基づく規準マップを伝送しない、キーフレームフィルタと
    をさらに備える、請求項３６に記載のＸＲシステム。
  39. 多層知覚ユニットであって、前記多層知覚ユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、画像の複数の特徴を受信し、各特徴を個別の数列に変換する、多層知覚ユニットと、
    最大プールユニットであって、前記最大プールユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、各数列の最大値を前記画像を表すグローバル特徴列に組み合わせ、各規準マップは、前記グローバル特徴列のうちの少なくとも１つを有し、前記ＸＲデバイスから受信された前記位置識別子は、前記多層知覚ユニットおよび前記最大プールユニットによって、前記画像のグローバル特徴列を決定するために進展される前記ＸＲデバイスによって捕捉された画像の特徴を含む、最大プールユニットと
    をさらに備え、
    前記第１のフィルタは、前記画像のグローバル特徴列と前記規準マップのグローバル特徴列を比較し、１つ以上の規準マップを決定するキーフレームフィルタである、請求項３３に記載のＸＲシステム。
  40. ＸＲデバイスであって、前記ＸＲデバイスは、
    頭部ユニットであって、
    頭部搭載可能フレームであって、前記実オブジェクト検出デバイスは、前記頭部搭載可能フレームに搭載される、頭部搭載可能フレームと、
    ローカルコンテンツの画像データを受信するデータチャネルと、
    ローカルコンテンツ位置付けシステムであって、前記ローカルコンテンツ位置付けシステムは、前記データチャネルに接続され、前記ローカルコンテンツを前記規準マップの１つのアンカに関連させるように実行可能である、ローカルコンテンツ位置付けシステムと、
    ディスプレイシステムであって、前記ディスプレイシステムは、前記ローカルコンテンツ位置付けシステムに接続され、前記ローカルコンテンツを表示する、ディスプレイシステムと
    を備える、頭部ユニット
    を含む、ＸＲデバイス
    をさらに備える、請求項３３に記載のＸＲシステム。
  41. 前記ＸＲデバイスは、
    複数のアンカを有する規準マップである第１のマップを記憶するマップ記憶ルーチンであって、前記第１のマップの各アンカは、座標のセットを有する、マップ記憶ルーチンと、
    実オブジェクトの場所を検出するように位置付けられる実オブジェクト検出デバイスと、
    前記実オブジェクト検出デバイスに接続され、前記実オブジェクトの場所に基づいて、第２のマップのアンカを検出するアンカ識別システムであって、前記第２のマップの各アンカは、座標のセットを有する、アンカ識別システムと、
    位置特定モジュールであって、前記位置特定モジュールは、前記規準マップおよび前記第２のマップに接続され、前記第２のマップの第１のアンカを前記規準マップの第１のアンカにマッチングさせ、前記第２のマップの第２のアンカを前記規準マップの第２のアンカにマッチングさせることによって、前記第２のマップを前記規準マップに対して位置特定するように実行可能である、位置特定モジュールと
    を含む、請求項４０に記載のＸＲシステム。
  42. 実オブジェクト検出デバイスは、実オブジェクト検出カメラである、請求項４１に記載のＸＲシステム。
  43. 前記規準マップおよび前記第２のマップに接続され、前記規準マップの第３のアンカを前記第２のマップに組み込むように実行可能である規準マップ組込器をさらに備える、請求項４１に記載のＸＲシステム。
  44. 視認方法であって、
    複数の規準マップをコンピュータ可読媒体上に記憶することであって、各規準マップは、前記個別の規準マップと関連付けられる個別の規準マップを有し、前記規準マップ識別子は、相互に異なり、前記規準マップを一意に識別する、ことと、
    前記コンピュータ可読媒体に接続されるプロセッサを用いて、位置識別子をＸＲデバイスから受信し、記憶することと、
    前記プロセッサを用いて、前記位置識別子と前記規準マップ識別子を比較し、第１のフィルタリングされた選択を形成する１つ以上の規準マップを決定することと、
    前記プロセッサを用いて、前記第１のフィルタリングされた選択に基づいて、複数の前記規準マップを前記ＸＲデバイスに伝送することと
    を含む、方法。
    キーフレーム
  45. ＸＲシステムであって、
    プロセッサと、
    前記プロセッサに接続されるコンピュータ可読媒体と、
    多層知覚ユニットであって、前記多層知覚ユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、画像の複数の特徴を受信し、各特徴を個別の数列に変換する、多層知覚ユニットと、
    最大プールユニットであって、前記最大プールユニットは、前記コンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、各数列の最大値を前記画像を表すグローバル特徴列に組み合わせる、最大プールユニットと
    を備える、ＸＲシステム。
  46. 前記コンピュータ可読媒体上の複数の規準マップであって、各規準マップは、それと関連付けられる前記グローバル特徴列のうちの少なくとも１つを有する、複数の規準マップと、
    位置検出器であって、前記位置検出器は、前記コンピュータ可読媒体上にあり、前記画像のグローバル特徴列を決定するために、前記多層知覚ユニットおよび前記最大プールユニットによって処理されるＸＲデバイスによって捕捉された画像の特徴を前記ＸＲデバイスから受信するように、前記プロセッサによって実行可能である、位置検出器と、
    キーフレームフィルタであって、前記キーフレームフィルタは、前記画像のグローバル特徴列と前記規準マップのグローバル特徴列を比較し、フィルタリングされた選択の一部を形成する１つ以上の規準マップを決定する、キーフレームフィルタと、
    マップ伝送機であって、前記マップ伝送機は、前記コンピュータ可読媒体上にあり、前記フィルタリングされた選択に基づいて、前記規準マップのうちの１つ以上のものを前記ＸＲデバイスに伝送するように、前記プロセッサによって実行可能である、マップ伝送機と
    をさらに備える、請求項４５に記載のＸＲシステム。
  47. ＸＲデバイスであって、前記ＸＲデバイスは、
    頭部ユニットであって、
    頭部搭載可能フレームであって、前記実オブジェクト検出デバイスは、前記頭部搭載可能フレームに搭載される、頭部搭載可能フレームと、
    ローカルコンテンツの画像データを受信するデータチャネルと、
    ローカルコンテンツ位置付けシステムであって、前記ローカルコンテンツ位置付けシステムは、前記データチャネルに接続され、前記ローカルコンテンツを前記規準マップの１つのアンカに関連させるように実行可能である、ローカルコンテンツ位置付けシステムと、
    ディスプレイシステムであって、前記ディスプレイシステムは、前記ローカルコンテンツ位置付けシステムに接続され、前記ローカルコンテンツを表示する、ディスプレイシステムと
    を備える、頭部ユニット
    を含む、ＸＲデバイス
    をさらに備える、請求項４５に記載のＸＲシステム。
  48. ＸＲデバイスであって、前記ＸＲデバイスは、
    頭部ユニットであって、
    頭部搭載可能フレームであって、前記実オブジェクト検出デバイスは、前記頭部搭載可能フレームに搭載される、頭部搭載可能フレームと、
    ローカルコンテンツの画像データを受信するデータチャネルと、
    ローカルコンテンツ位置付けシステムであって、前記ローカルコンテンツ位置付けシステムは、前記データチャネルに接続され、前記ローカルコンテンツを前記規準マップの１つのアンカに関連させるように実行可能である、ローカルコンテンツ位置付けシステムと、
    前記ローカルコンテンツ位置付けシステムに接続され、前記ローカルコンテンツを表示するディスプレイシステムであって、前記マッチングさせることは、前記第２のマップのグローバル特徴列を前記規準マップのグローバル特徴列にマッチングさせることによって実行される、ディスプレイシステムと
    を備える、頭部ユニット
    を含む、ＸＲデバイス
    をさらに備える、請求項４７に記載のＸＲシステム。
  49. 視認方法であって、
    プロセッサを用いて、画像の複数の特徴を受信することと、
    前記プロセッサを用いて、各特徴を個別の数列に変換することと、
    前記プロセッサを用いて、各数列の最大値を前記画像を表すグローバル特徴列に組み合わせることと
    を含む、方法。
    ランク付けおよびマージマップ（第‘８２３号から）
  50. コンピューティングシステムを動作させ、データベース内に記憶される１つ以上の環境マップを識別し、ユーザによって装着されるデバイスによって収集されたセンサデータに基づいて算出された追跡マップとマージする方法であって、前記デバイスは、前記追跡マップを算出する間、コンピュータネットワークへのアクセスポイントの信号を受信し、前記方法は、
    前記アクセスポイントとの通信の特性に基づいて、前記追跡マップの少なくとも１つのエリア属性を決定することと、
    前記少なくとも１つのエリア属性に基づいて、前記追跡マップの地理的場所を決定することと、
    前記決定された地理的場所に対応する前記データベース内に記憶される環境マップのセットを識別することと、
    前記追跡マップおよび環境マップのセットの環境マップと関連付けられるネットワークアクセスポイントの１つ以上の識別子の類似性に基づいて、環境マップのセットをフィルタリングすることと、
    前記追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性に基づいて、環境マップのセットをフィルタリングすることと、
    前記追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づいて、環境マップのセットをフィルタリングすることと
    を含む、方法。
  51. 前記ネットワークアクセスポイントの１つ以上の識別子の類似性に基づいて、環境マップのセットをフィルタリングすることは、環境マップのセット内に、前記ネットワークアクセスポイントの１つ以上の識別子に基づいて、前記追跡マップの少なくとも１つのエリア属性との最高Ｊａｃｃａｒｄ類似性を伴う環境マップを留保することを含む、請求項５０に記載の方法。
  52. 前記追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性に基づいて、環境マップのセットをフィルタリングすることは、環境マップのセット内に、前記追跡マップの特性のベクトルと環境マップのセット内の環境マップを表すベクトルとの間に最小ベクトル距離を伴う環境マップを留保することを含む、請求項５０に記載の方法。
  53. 前記追跡マップおよび前記環境マップのコンテンツを表すメトリックは、前記マップのコンテンツから算出された値のベクトルを含む、請求項５０に記載の方法。
  54. 前記追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づいて、環境マップのセットをフィルタリングすることは、
    環境マップのセットの環境マップ内にもまた表される前記追跡マップによって表される物理的世界の体積を算出することと、
    環境マップのセット内に、前記セットからフィルタリング除去された環境マップより大きい算出された体積を伴う環境マップを留保することと
    を含む、請求項５０に記載の方法。
  55. 環境マップのセットは、
    最初に、前記１つ以上の識別子の類似性に基づいて、
    続いて、コンテンツを表す前記メトリックの類似性に基づいて、
    続いて、前記追跡マップの一部と前記環境マップの一部との間のマッチング度に基づいて、
    フィルタリングされる、請求項５０に記載の方法。
  56. 前記１つ以上の識別子の類似性と、
    コンテンツを表す前記メトリックの類似性と、
    前記追跡マップの一部と前記環境マップの一部との間のマッチング度と
    に基づく環境マップのセットのフィルタリングは、前記フィルタリングを実施するために要求される処理に基づく順序で実施される、
    請求項５０に記載の方法。
  57. 環境マップは、
    前記１つ以上の識別子の類似性と、
    コンテンツを表す前記メトリックの類似性と、
    前記追跡マップの一部と前記環境マップの一部との間のマッチング度と
    に基づく環境マップのセットのフィルタリングに基づいて選択され、
    情報は、前記選択された環境マップから前記ユーザデバイス上にロードされる、
    請求項５０に記載の方法。
  58. 環境マップは、
    前記１つ以上の識別子の類似性と、
    コンテンツを表す前記メトリックの類似性と、
    前記追跡マップの一部と前記環境マップの一部との間のマッチング度と、
    に基づく環境マップのセットのフィルタリングに基づいて選択され、
    前記追跡マップは、前記選択された環境マップとマージされる、
    請求項５０に記載の方法。
  59. センサを備える複数のユーザデバイスとの通信のために構成される拡張現実システムのためのクラウドコンピューティング環境であって、
    前記複数のユーザデバイスが使用されたエリアを示すエリア識別を記憶するユーザデータベースであって、前記エリア識別は、使用時にユーザデバイスによって検出された無線ネットワークのパラメータを備える、ユーザデータベースと、
    前記複数のユーザデバイスによって供給されるデータおよび関連付けられるメタデータから構築された複数の環境マップを記憶するマップデータベースであって、前記関連付けられるメタデータは、そこから前記マップが構築されたデータを供給した前記複数のユーザデバイスのエリア識別から導出されたエリア識別を備え、前記エリア識別は、そこから前記マップが構築されたデータを供給したユーザデバイスによって検出された無線ネットワークのパラメータを備える、マップデータベースと、
    コンピュータ実行可能命令を記憶する非一過性コンピュータ記憶媒体であって、前記コンピュータ実行可能命令は、前記クラウドコンピューティング環境内の少なくとも１つのプロセッサによって実行されると、
    メッセージを、ユーザデバイスによって検出された無線ネットワークのパラメータを備える前記複数のユーザデバイスから受信し、前記ユーザデバイスのためのエリア識別子を算出し、前記受信されたパラメータおよび／または前記算出されたエリア識別子に基づいて、前記ユーザデータベースを更新することと、
    環境マップのための要求を前記複数のユーザデバイスから受信し、前記環境マップを要求するユーザデバイスと関連付けられるエリア識別子を決定し、少なくとも部分的に、前記エリア識別子に基づいて、環境マップのセットを前記マップデータベースから識別し、環境マップのセットをフィルタリングし、前記フィルタリングされた環境マップのセットを前記ユーザデバイスに伝送することと
    を行い、
    環境マップのセットをフィルタリングすることは、そこから前記環境マップのための要求が生じた、ユーザデバイスによって検出された無線ネットワークのパラメータと、環境マップのセット内の環境マップのための前記マップデータベース内の無線ネットワークのパラメータとの類似性に基づく、
    非一過性コンピュータ記憶媒体と
    を備える、クラウドコンピューティング環境。
  60. 前記コンピュータ実行可能命令はさらに、前記クラウドコンピューティング環境内の少なくとも１つのプロセッサによって実行されると、追跡マップを環境マップを要求するユーザデバイスから受信するように構成され、
    環境マップのセットをフィルタリングすることはさらに、前記追跡マップおよび環境マップのセットの環境マップのコンテンツを表すメトリックの類似性に基づく、
    請求項５９に記載のクラウドコンピューティング環境。
  61. 前記コンピュータ実行可能命令はさらに、前記クラウドコンピューティング環境内の少なくとも１つのプロセッサによって実行されると、追跡マップを環境マップを要求するユーザデバイスから受信するように構成され、
    環境マップのセットをフィルタリングすることはさらに、前記追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づく、
    請求項５９に記載のクラウドコンピューティング環境。
  62. 前記無線ネットワークのパラメータは、それに前記ユーザデバイスが接続されるネットワークの基本サービスセット識別子（ＢＳＳＩＤ）を備える、請求項５９に記載のクラウドコンピューティング環境。
  63. 無線ネットワークのパラメータの類似性に基づいて、環境マップのセットをフィルタリングすることは、前記環境マップを要求するユーザデバイスと関連付けられるユーザデータベース内に記憶される複数のＢＳＳＩＤと、前記環境マップのセットの環境マップと関連付けられるマップデータベース内に記憶されるＢＳＳＩＤとの類似性を算出することを含む、請求項６２に記載のクラウドコンピューティング環境。
  64. 前記エリア識別子は、経度および緯度によって、地理的場所を示す、請求項５９に記載のクラウドコンピューティング環境。
  65. エリア識別子を決定することは、前記ユーザデータベースからのエリア識別子にアクセスすることを含む、請求項５９に記載のクラウドコンピューティング環境。
  66. エリア識別子を決定することは、前記複数のユーザデバイスから受信されたメッセージ内のエリア識別子を受信することを含む、請求項５９に記載のクラウドコンピューティング環境。
  67. 前記無線ネットワークのパラメータは、Ｗｉ−Ｆｉおよび５ＧＮＲを含むプロトコルに準拠する、請求項５９に記載のクラウドコンピューティング環境。
  68. 前記コンピュータ実行可能命令はさらに、前記クラウドコンピューティング環境内の少なくとも１つのプロセッサによって実行されると、追跡マップをユーザデバイスから受信するように構成され、
    環境マップのセットをフィルタリングすることはさらに、前記追跡マップの一部と環境マップのセットの環境マップの一部との間のマッチング度に基づく、
    請求項５９に記載のクラウドコンピューティング環境。
  69. 前記コンピュータ実行可能命令はさらに、前記クラウドコンピューティング環境内の少なくとも１つのプロセッサによって実行されると、
    追跡マップをユーザデバイスから受信し、前記追跡マップを供給するユーザデバイスに基づいて、前記追跡マップと関連付けられるエリア識別子を決定することと、
    少なくとも部分的に、前記追跡マップと関連付けられるエリア識別子に基づいて、第２の環境マップのセットを前記マップデータベースから選択することと、
    前記受信された追跡マップに基づいて、前記マップデータベースを更新することであって、前記更新することは、前記受信された追跡マップと前記第２の環境マップのセット内の１つ以上の環境マップをマージすることを含む、ことと
    を行うように構成される、請求項５９に記載のクラウドコンピューティング環境。
  70. 前記コンピュータ実行可能命令はさらに、前記クラウドコンピューティング環境内の少なくとも１つのプロセッサによって実行されると、前記受信された追跡マップの一部と前記第２の環境マップのセットの環境マップの一部との間のマッチング度に基づいて、前記第２の環境マップのセットをフィルタリングするように構成され、
    前記追跡マップと前記第２の環境マップのセット内の１つ以上の環境マップをマージすることは、前記追跡マップと前記フィルタリングされた第２の環境マップのセット内の１つ以上の環境マップをマージすることを含む、
    請求項６９に記載のクラウドコンピューティング環境。
    ＰＣＦ共有
  71. ＸＲシステムであって、
    実世界オブジェクトの複数の表面を検出する実オブジェクト検出デバイスと、
    アンカ識別システムであって、前記アンカ識別システムは、前記実オブジェクト検出デバイスに接続され、前記実世界オブジェクトに基づいてマップを生成する、アンカ識別システムと、
    ＰＣＦ生成システムであって、前記ＰＣＦ生成システムは、前記マップに基づいて、第１のＰＣＦを生成し、前記第１のＰＣＦと前記マップを関連付ける、ＰＣＦ生成システムと、
    第１および第２の記憶媒体であって、前記第１および第２の記憶媒体は、それぞれ、第１および第２のＸＲデバイス上にある、第１および第２の記憶媒体と、
    前記第１および第２のＸＲデバイスの少なくとも第１および第２のプロセッサであって、前記第１のＰＣＦを、それぞれ、前記第１および第２のＸＲデバイスの第１および第２の記憶媒体内に記憶する、前記第１および第２のＸＲデバイスの少なくとも第１および第２のプロセッサと
    を備える、ＸＲシステム。
  72. キーフレーム生成器であって、前記キーフレーム生成器は、複数のカメラ画像を複数の個別のキーフレームに変換するように、前記少なくとも１つのプロセッサによって実行可能である、キーフレーム生成器と、
    持続姿勢計算機であって、前記持続姿勢計算機は、前記複数のキーフレームを平均することによって持続姿勢を生成するように、前記少なくとも１つのプロセッサによって実行可能である、持続姿勢計算機と、
    追跡マップおよび持続姿勢変換器であって、前記追跡マップおよび持続姿勢変換器は、追跡マップを前記持続姿勢に変換し、前記追跡マップに対する原点における前記持続姿勢を決定するように、前記少なくとも１つのプロセッサによって実行可能である、追跡マップおよび持続姿勢変換器と、
    持続姿勢およびＰＣＦ変換器であって、前記持続姿勢およびＰＣＦ変換器は、前記持続姿勢を前記第１のＰＣＦに変換し、前記持続姿勢に対する前記第１のＰＣＦを決定するように、前記少なくとも１つのプロセッサによって実行可能である、持続姿勢およびＰＣＦ変換器と、
    ＰＣＦおよび画像データ変換器であって、前記ＰＣＦおよび画像データ変換器は、前記第１のＰＣＦを画像データに変換するように、前記少なくとも１つのプロセッサによって実行可能である、ＰＣＦおよび画像データ変換器と、
    前記第１のＰＣＦに対する前記画像データを前記ユーザに表示するディスプレイデバイスと
    をさらに備える、請求項７１に記載のＸＲシステム。
  73. 前記検出デバイスは、前記第１のＸＲデバイスプロセッサに接続される前記第１のＸＲデバイスの検出デバイスである、請求項７１に記載のＸＲシステム。
  74. 前記マップは、前記第１のＸＲデバイス上の第１のマップであり、前記第１のマップを生成するプロセッサは、前記第１のＸＲデバイスの第１のＸＲデバイスプロセッサである、請求項７２に記載のＸＲシステム。
  75. 前記第１のＰＣＦを生成するプロセッサは、前記第１のＸＲデバイスの第１のＸＲデバイスプロセッサである、請求項７４に記載のＸＲシステム。
  76. 前記第１のＰＣＦと前記第１のマップを関連付けるプロセッサは、前記第１のＸＲデバイスの第１のＸＲデバイスプロセッサである、請求項７５に記載のＸＲシステム。
  77. 前記第１のＸＲデバイスプロセッサによって実行可能であるアプリケーションと、
    第１のＰＣＦ追跡器であって、前記第１のＰＣＦ追跡器は、前記第１のＸＲデバイスプロセッサによって実行可能であり、前記第１のＰＣＦ追跡器を前記アプリケーションからオンに切り替えるためのオンプロンプトを含み、前記第１のＰＣＦ追跡器は、前記第１のＰＣＦ追跡器がオンに切り替えられる場合のみ、前記第１のＰＣＦを生成する、第１のＰＣＦ追跡器と
    をさらに備える、請求項７６に記載のＸＲシステム。
  78. 前記第１のＰＣＦ追跡器は、前記第１のＰＣＦ追跡器を前記アプリケーションからオフに切り替えるためのオフプロンプトを有し、前記第１のＰＣＦ追跡器は、前記第１のＰＣＦ追跡器がオフに切り替えられると、第１のＰＣＦ生成を終了すること
    をさらに含む、請求項７７に記載のＸＲシステム。
  79. マップ発行器であって、前記マップ発行器は、前記第１のＰＣＦをサーバに伝送するように、前記第１のＸＲデバイスプロセッサによって実行可能である、マップ発行器と、
    マップ記憶ルーチンであって、前記マップ記憶ルーチンは、前記第１のＰＣＦを前記サーバの記憶デバイス上に記憶するように、前記サーバのサーバプロセッサによって実行可能である、マップ記憶ルーチンと、
    前記サーバのサーバプロセッサを用いて、前記第１のＰＣＦを前記第２のＸＲデバイスに伝送することと、
    マップダウンロードシステムであって、前記マップダウンロードシステムは、前記第１のＰＣＦを前記サーバからダウンロードするように、前記第２のＸＲデバイスの第２のＸＲデバイスプロセッサによって実行可能である、マップダウンロードシステムと
    をさらに備える、請求項７６に記載のＸＲシステム。
  80. 前記第２のＸＲデバイスプロセッサによって実行可能であるアプリケーションと、
    第２のＰＣＦ追跡器であって、前記第２のＰＣＦ追跡器は、前記第２のＸＲデバイスプロセッサによって実行可能であり、前記第２のＰＣＦ追跡器を前記アプリケーションからオンに切り替えるためのオンプロンプトを含み、前記第２のＰＣＦ追跡器は、前記第２のＰＣＦ追跡器がオンに切り替えられる場合のみ、第２のＰＣＦを生成する、第２のＰＣＦ追跡器と
    をさらに備える、請求項７９に記載のＸＲシステム。
  81. 前記第２のＰＣＦ追跡器は、前記第２のＰＣＦ追跡器を前記アプリケーションからオフに切り替えるためのオフプロンプトを有し、前記第２のＰＣＦ追跡器は、前記第２のＰＣＦ追跡器がオフに切り替えられると、第２のＰＣＦ生成を終了すること
    をさらに含む、請求項８０に記載のＸＲシステム。
  82. マップ発行器をさらに備え、前記マップ発行器は、前記第２のＰＣＦを前記サーバに伝送するように、前記第２のＸＲデバイスプロセッサによって実行可能である、請求項７９に記載のＸＲシステム。
  83. 持続姿勢入手器であって、前記持続姿勢入手器は、持続姿勢を前記サーバからダウンロードするように、前記第１のＸＲデバイスプロセッサによって実行可能である、持続姿勢入手器と、
    ＰＣＦ確認器であって、前記ＰＣＦ確認器は、前記持続姿勢に基づいて、ＰＣＦを前記第１のＸＲデバイスの第１の記憶デバイスから読み出すように、前記第１のＸＲデバイスプロセッサによって実行可能である、ＰＣＦ確認器と、
    座標フレーム計算機であって、前記座標フレーム計算機は、前記第１の記憶デバイスから読み出された前記ＰＣＦに基づいて、座標フレームを計算するように、前記第１のＸＲデバイスプロセッサによって実行可能である、座標フレーム計算機と
    をさらに備える、請求項７６に記載のＸＲシステム。
  84. 視認方法であって、
    少なくとも１つの検出デバイスを用いて、実世界オブジェクトの複数の表面を検出することと、
    少なくとも１つのプロセッサを用いて、前記実世界オブジェクトに基づいて、マップを生成することと、
    少なくとも１つのプロセッサを用いて、前記マップに基づいて、第１のＰＣＦを生成することと、
    前記少なくとも１つのプロセッサを用いて、前記第１のＰＣＦと前記マップを関連付けることと、
    第１および第２のＸＲデバイスの少なくとも第１および第２のプロセッサを用いて、前記第１のＰＣＦを、それぞれ、前記第１および第２のＸＲデバイスの第１および第２の記憶媒体内に記憶することと
    を含む、方法。
  85. 前記少なくとも１つのプロセッサを用いて、複数のカメラ画像を複数の個別のキーフレームに変換することと、
    前記少なくとも１つのプロセッサを用いて、前記複数のキーフレームを平均することによって、持続姿勢を生成することと、
    前記少なくとも１つのプロセッサを用いて、追跡マップを前記持続姿勢に変換し、前記追跡マップに対する原点における前記持続姿勢を決定することと、
    前記少なくとも１つのプロセッサによって、前記持続姿勢を前記第１のＰＣＦに変換し、前記持続姿勢に対する前記第１のＰＣＦを決定することと、
    前記少なくとも１つのプロセッサを用いて、前記第１のＰＣＦを画像データに変換することと、
    ディスプレイデバイスを用いて、前記第１のＰＣＦに対する前記画像データを前記ユーザに表示することと
    をさらに含む、請求項８４に記載の視認方法。
  86. 前記検出デバイスは、前記第１のＸＲデバイスプロセッサに接続される前記第１のＸＲデバイスの検出デバイスである、請求項８４に記載の視認方法。
  87. 前記マップは、前記第１のＸＲデバイス上の第１のマップであり、前記第１のマップを生成するプロセッサは、前記第１のＸＲデバイスの第１のＸＲデバイスプロセッサである、請求項８５に記載の視認方法。
  88. 前記第１のＰＣＦを生成するプロセッサは、前記第１のＸＲデバイスの第１のＸＲデバイスプロセッサである、請求項８７に記載の視認方法。
  89. 前記第１のＰＣＦと前記第１のマップを関連付けるプロセッサは、前記第１のＸＲデバイスの第１のＸＲデバイスプロセッサである、請求項８８に記載の視認方法。
  90. 前記第１のＸＲデバイスプロセッサを用いて、アプリケーションを実行することと、
    前記第１のＸＲデバイスプロセッサを用いて、前記アプリケーションからのオンプロンプトで、第１のＰＣＦ追跡器をオンに切り替えることであって、前記第１のＰＣＦ追跡器は、前記第１のＰＣＦ追跡器がオンに切り替えられる場合のみ、前記第１のＰＣＦを生成する、ことと、
    をさらに含む、請求項８９に記載の視認方法。
  91. 前記第１のＸＲデバイスプロセッサを用いて、前記アプリケーションからのオフプロンプトで、前記第１のＰＣＦ追跡器をオフに切り替えることであって、前記第１のＰＣＦ追跡器は、前記第１のＰＣＦ追跡器がオフに切り替えられると、第１のＰＣＦ生成を終了すること
    をさらに含む、請求項９０に記載の視認方法。
  92. 前記第１のＸＲデバイスプロセッサを用いて、前記第１のＰＣＦをサーバに伝送することと、
    前記サーバのサーバプロセッサを用いて、前記第１のＰＣＦを前記サーバの記憶デバイス上に記憶することと、
    前記サーバのサーバプロセッサを用いて、前記第１のＰＣＦを前記第２のＸＲデバイスに伝送することと、
    前記第２のＸＲデバイスの第２のＸＲデバイスプロセッサを用いて、前記第１のＰＣＦを前記サーバから受信することと
    をさらに含む、請求項８９に記載の視認方法。
  93. 前記第２のＸＲデバイスプロセッサを用いて、アプリケーションを実行することと、
    前記第２のＸＲデバイスプロセッサを用いて、前記アプリケーションからのオンプロンプトで、第２のＰＣＦ追跡器をオンに切り替えることであって、前記第２のＰＣＦ追跡器は、前記第２のＰＣＦ追跡器がオンに切り替えられる場合のみ、第２のＰＣＦを生成する、ことと
    をさらに含む、請求項９２に記載の視認方法。
  94. 前記第１のＸＲデバイスプロセッサを用いて、前記アプリケーションからのオフプロンプトで、前記第２のＰＣＦ追跡器をオフに切り替えることであって、前記第２のＰＣＦ追跡器は、前記第２のＰＣＦ追跡器がオフに切り替えられると、第２のＰＣＦ生成を終了すること
    をさらに含む、請求項９３に記載の視認方法。
  95. 前記第２のＸＲデバイスプロセッサを用いて、前記第２のＰＣＦを前記サーバにアップロードすること
    をさらに含む、請求項９２に記載の視認方法。
  96. 前記第１のＸＲデバイスプロセッサを用いて、持続姿勢を前記サーバから決定することと、
    前記第１のＸＲデバイスプロセッサを用いて、前記持続姿勢に基づいて、ＰＣＦを前記第１のＸＲデバイスの第１の記憶デバイスから読み出すことと、
    前記第１のＸＲデバイスプロセッサを用いて、前記第１の記憶デバイスから読み出された前記ＰＣＦに基づいて、座標フレームを計算することと
    をさらに含む、請求項８９に記載の視認方法。
    ＰＣＦダウンロード
  97. ＸＲシステムであって、
    第１のＸＲデバイスであって、
    第１のＸＲデバイスプロセッサと、
    前記第１のＸＲデバイスプロセッサに接続される第１のＸＲデバイス記憶デバイスと、
    前記第１のＸＲデバイスプロセッサ上の命令のセットであって、
    ダウンロードシステムであって、前記ダウンロードシステムは、持続姿勢をサーバからダウンロードするように、前記第１のＸＲデバイスプロセッサによって実行可能である、ダウンロードシステムと、
    ＰＣＦ読出器であって、前記ＰＣＦ読出器は、前記持続姿勢に基づいて、ＰＣＦを前記第１のＸＲデバイスの第１の記憶デバイスから読み出すように、前記第１のＸＲデバイスプロセッサによって実行可能である、ＰＣＦ読出器と、
    座標フレーム計算機であって、前記座標フレーム計算機は、前記第１の記憶デバイスから読み出された前記ＰＣＦに基づいて、座標フレームを計算するように、前記第１のＸＲデバイスプロセッサによって実行可能である、座標フレーム計算機と
    を含む、命令のセットと
    を含む、第１のＸＲデバイス
    を備える、ＸＲシステム。
  98. 視認方法であって、
    第１のＸＲデバイスの第１のＸＲデバイスプロセッサを用いて、持続姿勢をサーバからダウンロードすることと、
    前記第１のＸＲデバイスプロセッサを用いて、前記持続姿勢に基づいて、ＰＣＦを前記第１のＸＲデバイスの第１の記憶デバイスから読み出すことと、
    前記第１のＸＲデバイスプロセッサを用いて、前記第１の記憶デバイスから読み出された前記ＰＣＦに基づいて、座標フレームを計算することと
    を含む、方法。
    ＰＣＦサーバ
  99. 視認方法であって、
    サーバであって、
    サーバプロセッサと、
    前記サーバプロセッサに接続されるサーバ記憶デバイスと、
    マップ記憶ルーチンであって、前記マップ記憶ルーチンは、マップと関連付けられた前記第１のＰＣＦを前記サーバのサーバ記憶デバイス上に記憶するように、前記サーバのサーバプロセッサを用いて実行可能である、マップ記憶ルーチンと、
    マップ伝送機であって、前記マップ伝送機は、前記サーバプロセッサを用いて、前記マップおよび前記第１のＰＣＦを第１のＸＲデバイスに伝送するように、サーバプロセッサを用いて実行可能である、マップ伝送機と
    を含む、サーバ
    を備える、方法。
  100. 視認方法であって、
    前記サーバのサーバプロセッサを用いて、マップと関連付けられた前記第１のＰＣＦを前記サーバのサーバ記憶デバイス上に記憶することと、
    前記サーバのサーバプロセッサを用いて、前記マップおよび前記第１のＰＣＦを第１のＸＲデバイスに伝送することと
    を含む、方法。
    頭部姿勢復元およびリセット
  101. 視認方法であって、
    ＸＲデバイスのプロセッサによって、ユーザの頭部に固着される頭部搭載型フレーム上の捕捉デバイスを用いて、環境の表面を捕捉し、前記表面に対する前記頭部搭載型フレームの配向を決定することによって、頭部姿勢の追跡に入ることと、
    前記プロセッサによって、前記表面に対する前記頭部搭載型フレームの配向決定不能に起因して、頭部姿勢が喪失されたかどうかを決定することと、
    頭部姿勢が、喪失された場合、前記プロセッサによって、姿勢復元モードに入り、前記表面に対する前記頭部搭載型フレームの配向を決定することによって、前記頭部姿勢を確立することと
    を含む、方法。
  102. 前記頭部姿勢が、喪失されていない場合、前記プロセッサによって、頭部姿勢の追跡に入る、請求項１０１に記載の視認方法。
  103. 姿勢復元は、
    前記プロセッサによって、表面の捕捉を改良するための提案とともに、メッセージを前記ユーザに表示することを含む、
    請求項１０１に記載の視認方法。
  104. 前記提案は、光を増加させることおよびテクスチャを精緻化することのうちの少なくとも１つである、請求項１０３に記載の視認方法。
  105. 前記プロセッサによって、復元が失敗したかどうかを決定することと、
    復元が、失敗した場合、前記プロセッサによって、頭部姿勢を確立することを含む新しいセッションを開始することと
    をさらに含む、請求項１０１に記載の視認方法。
  106. プロセッサによって、新しいセッションが開始されるであろうことのメッセージを前記ユーザに表示することをさらに含む、請求項１０５に記載の視認方法。
  107. 頭部姿勢が、喪失されていない場合、前記プロセッサによって、頭部姿勢の追跡に入ることをさらに含む、請求項１０１に記載の視認方法。
  108. ユーザによって携行可能な電子システムであって、
    場面内の１つ以上の物理的オブジェクトについての画像を捕捉するように構成される１つ以上のセンサであって、前記画像は、第１の座標フレーム内にある、１つ以上のセンサと、
    コンピュータ実行可能命令を実行し、仮想コンテンツを前記場面内にレンダリングするように構成されるアプリケーションであって、前記アプリケーションは、前記仮想コンテンツの表示が、前記ユーザの頭部内の眼回転および／または前記１つ以上のセンサの変形から独立するように、仮想コンテンツを前記第１の座標フレームと異なる第２の座標フレーム内に表示する、アプリケーションと
    を備える、電子システム。
  109. 前記第１の座標フレームは、世界原点を有する世界座標フレームであり、
    前記世界原点は、前記電子システムが前記画像を捕捉するために電源投入されるときの前記電子システムの第１の姿勢である、
    請求項１０８に記載の電子システム。
  110. 前記第２の座標フレームは、カメラ原点を有するカメラ座標フレームであり、
    前記カメラ原点は、少なくとも部分的に、前記電子システムの寸法と、前記画像を捕捉するときの前記電子システムの１つ以上のセンサの１つ以上の姿勢とに基づいて決定される、
    請求項１０８に記載の電子システム。
  111. コンピュータ実行可能命令を実行し、前記仮想コンテンツを前記アプリケーションに提供するように構成される少なくとも１つのプロセッサであって、前記コンピュータ実行可能命令は、
    少なくとも部分的に、前記場面内の１つ以上の物理的オブジェクトに基づいて、前記仮想コンテンツのためのローカル座標フレームを決定することと、
    前記ローカル座標フレーム内の仮想コンテンツについての画像データを前記第２の座標フレーム内の仮想コンテンツについての画像データに変換することと
    を行うための命令を備える、少なくとも１つのプロセッサ
    を備える、請求項１０８に記載の電子システム。
  112. 前記ローカル座標フレームは、少なくとも部分的に、前記仮想コンテンツを包囲するプリズムまたは境界ボックスの外側表面上の１つ以上のノードに基づいて決定される、請求項１０８に記載の電子システム。
  113. 前記ローカル座標フレーム内の仮想コンテンツについての画像データを前記第２の座標フレーム内の仮想コンテンツについての画像データに変換することは、
    前記ローカル座標フレーム内の仮想コンテンツについての画像データを前記第１の座標フレーム内の仮想コンテンツについての画像データに変換することと、
    前記第１の座標フレーム内の仮想コンテンツについての画像データを前記第２の座標フレーム内の仮想コンテンツについての画像データに変換することと
    を含む、請求項１１１に記載の電子システム。
  114. 前記第１の座標フレーム内の仮想コンテンツについての画像データを前記第２の座標フレーム内の仮想コンテンツについての画像データに変換することは、
    前記第１の座標フレーム内の仮想コンテンツについての画像データを頭部座標フレーム内の仮想コンテンツについての画像データに変換することと、
    前記頭部座標フレーム内の仮想コンテンツについての画像データを前記第２の座標フレーム内の仮想コンテンツについての画像データに変換することと
    を含み、
    前記頭部座標フレームは、少なくとも部分的に、前記画像を捕捉するときの前記電子システムの１つ以上のセンサの１つ以上の姿勢に基づいて決定された頭部原点を有する、
    請求項１１１に記載の電子システム。
  115. 前記コンピュータ実行可能命令は、
    前記ＰＣＦが、前記世界座標フレームと異なるが、それと関連付けられるように、少なくとも部分的に、前記場面内の前記１つ以上の物理的オブジェクトを中心として捕捉された画像に基づいて、持続座標フレーム（ＰＣＦ）を決定するための命令
    を備える、請求項１１１に記載の電子システム。
  116. コンピューティングシステムを動作させ、仮想オブジェクトを、１つ以上の物理的オブジェクトを備える場面内にレンダリングする方法であって、前記方法は、
    前記場面を中心とする複数の画像をユーザによって装着される第１のデバイスの１つ以上のセンサから捕捉することと、
    少なくとも部分的に、前記複数の画像に基づいて、１つ以上の持続姿勢を算出することと、
    前記複数の画像の情報が、前記持続座標フレームを介して、前記第１のデバイスおよび／または第２のデバイス上で起動する１つ以上のアプリケーションによって、異なる時間にアクセスされ得るように、少なくとも部分的に、前記算出された１つ以上の持続姿勢に基づいて、持続座標フレームを生成することと
    を含む、方法。
  117. 少なくとも部分的に、前記複数の画像に基づいて、前記１つ以上の持続姿勢を算出することは、
    １つ以上の特徴を前記複数の画像のそれぞれから抽出することと、
    前記１つ以上の特徴毎に、記述子を生成することと、
    少なくとも部分的に、前記記述子に基づいて、前記複数の画像毎に、キーフレームを生成することと、
    少なくとも部分的に、前記１つ以上のキーフレームに基づいて、前記１つ以上の持続姿勢を生成することと
    を含む、請求項１１６に記載の方法。
  118. 少なくとも部分的に、前記算出された１つ以上の持続姿勢に基づいて、前記持続座標フレームを生成することは、
    前記第１のデバイスが前記複数の画像が捕捉された場所から所定の距離を進行すると、前記持続座標フレームを生成すること
    を含む、請求項１１６に記載の方法。
  119. 前記所定の距離は、前記デバイスの算出リソースの消費および前記仮想オブジェクトの設置誤差の両方が、前記１つ以上の持続姿勢を生成するために制御されるように、２〜２０メートルである、請求項１１８に記載の方法。
  120. 前記第１のデバイスが電源投入されると、初期持続姿勢を生成することと、
    前記第１のデバイスが、円形の中心としての前記初期持続姿勢および閾値距離に等しい半径を伴う、円形の周に到達すると、前記第１のデバイスの現在の場所において第１の持続姿勢を生成することと
    を含む、請求項１１７に記載の方法。
  121. 前記円形は、第１の円形であり、
    前記方法はさらに、前記デバイスが、円形の中心としての前記第１の持続姿勢および前記閾値距離の２倍に等しい半径を伴う第２の円形の周に到達すると、前記第１のデバイスの現在の場所で第２の持続姿勢を生成することを含む、
    請求項１２０に記載の方法。
  122. 前記第１のデバイスが、既存の持続姿勢を前記第１のデバイスの現在の位置からの前記閾値距離内に見出すとき、前記第１の持続姿勢は、生成されない、請求項１２０に記載の方法。
  123. 前記第１のデバイスは、前記第１の持続姿勢に、前記第１の持続姿勢までの所定の距離内にある前記複数のキーフレームのうちの１つ以上のものを結び付ける、請求項１２０に記載の方法。
  124. 前記第１のデバイス上で起動するアプリケーションが持続姿勢を要求しないとき、前記第１の持続姿勢は、生成されない、請求項１２０に記載の方法。
  125. ユーザによって携行可能な電子システムであって、
    場面内の１つ以上の物理的オブジェクトについての画像を捕捉するように構成される１つ以上のセンサと、
    コンピュータ実行可能命令を実行し、仮想コンテンツを前記場面内にレンダリングするように構成されるアプリケーションと、
    コンピュータ実行可能命令を実行し、前記仮想コンテンツについての画像データを前記アプリケーションに提供するように構成される少なくとも１つのプロセッサであって、前記コンピュータ実行可能命令は、
    少なくとも部分的に、前記捕捉された画像に基づいて、持続座標フレームを生成するための命令を備える、
    少なくとも１つのプロセッサと
    を備える、電子システム。
JP2021507660A 2018-08-13 2019-08-12 クロスリアリティシステム Active JP7445642B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023193577A JP2024009071A (ja) 2018-08-13 2023-11-14 クロスリアリティシステム

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US201862718357P 2018-08-13 2018-08-13
US62/718,357 2018-08-13
US201862742237P 2018-10-05 2018-10-05
US62/742,237 2018-10-05
US201962812935P 2019-03-01 2019-03-01
US62/812,935 2019-03-01
US201962815955P 2019-03-08 2019-03-08
US62/815,955 2019-03-08
US201962868786P 2019-06-28 2019-06-28
US62/868,786 2019-06-28
US201962870954P 2019-07-05 2019-07-05
US62/870,954 2019-07-05
US201962884109P 2019-08-07 2019-08-07
US62/884,109 2019-08-07
PCT/US2019/046240 WO2020036898A1 (en) 2018-08-13 2019-08-12 A cross reality system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023193577A Division JP2024009071A (ja) 2018-08-13 2023-11-14 クロスリアリティシステム

Publications (3)

Publication Number Publication Date
JP2021534491A true JP2021534491A (ja) 2021-12-09
JPWO2020036898A5 JPWO2020036898A5 (ja) 2022-08-12
JP7445642B2 JP7445642B2 (ja) 2024-03-07

Family

ID=69525776

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021507660A Active JP7445642B2 (ja) 2018-08-13 2019-08-12 クロスリアリティシステム
JP2023193577A Pending JP2024009071A (ja) 2018-08-13 2023-11-14 クロスリアリティシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023193577A Pending JP2024009071A (ja) 2018-08-13 2023-11-14 クロスリアリティシステム

Country Status (5)

Country Link
US (2) US10957112B2 (ja)
EP (1) EP3837674A4 (ja)
JP (2) JP7445642B2 (ja)
CN (1) CN112805750B (ja)
WO (1) WO2020036898A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024010220A1 (ko) * 2022-07-06 2024-01-11 삼성전자 주식회사 거리 센서 활성화 방법 및 전자 장치

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10140392B1 (en) 2017-06-29 2018-11-27 Best Apps, Llc Computer aided systems and methods for creating custom products
US10254941B2 (en) 2017-06-29 2019-04-09 Best Apps, Llc Computer aided systems and methods for creating custom products
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
EP3837674A4 (en) 2018-08-13 2022-05-18 Magic Leap, Inc. CROSS REALITY SYSTEM
JP7503542B2 (ja) 2018-10-05 2024-06-20 マジック リープ， インコーポレイテッド 任意の場所における場所特有の仮想コンテンツのレンダリング
US10867081B2 (en) 2018-11-21 2020-12-15 Best Apps, Llc Computer aided systems and methods for creating custom products
US10922449B2 (en) 2018-11-21 2021-02-16 Best Apps, Llc Computer aided systems and methods for creating custom products
US11625806B2 (en) * 2019-01-23 2023-04-11 Qualcomm Incorporated Methods and apparatus for standardized APIs for split rendering
GB2582657B (en) * 2019-03-29 2021-09-15 Sony Interactive Entertainment Inc User tracking system using a camera mounted on the user and an external camera
US11748445B1 (en) * 2019-04-30 2023-09-05 Apple Inc. Techniques for managing feature maps
US11470017B2 (en) * 2019-07-30 2022-10-11 At&T Intellectual Property I, L.P. Immersive reality component management via a reduced competition core network component
WO2021019723A1 (ja) * 2019-07-31 2021-02-04 日本電信電話株式会社 複合現実空間共有システム、共有情報管理サーバ、複合現実端末、複合現実空間共有方法および共有情報管理プログラム
JP2022551735A (ja) 2019-10-15 2022-12-13 マジック リープ， インコーポレイテッド 無線フィンガプリントを用いたクロスリアリティシステム
WO2021076754A1 (en) 2019-10-15 2021-04-22 Magic Leap, Inc. Cross reality system with localization service
JP2022551734A (ja) 2019-10-15 2022-12-13 マジック リープ， インコーポレイテッド 複数のデバイスタイプをサポートするクロスリアリティシステム
EP4052086A4 (en) * 2019-10-31 2023-11-15 Magic Leap, Inc. EXTENDED REALITY SYSTEM PROVIDING QUALITY INFORMATION ABOUT PERSISTENT COORDINATE FRAMES
WO2021096931A1 (en) 2019-11-12 2021-05-20 Magic Leap, Inc. Cross reality system with localization service and shared location-based content
JP2023504570A (ja) 2019-12-09 2023-02-03 マジック リープ， インコーポレイテッド 仮想コンテンツの簡略化されたプログラミングを伴うクロスリアリティシステム
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
WO2021130982A1 (ja) * 2019-12-26 2021-07-01 日本電気株式会社 情報処理装置、制御方法及び記憶媒体
US20230089061A1 (en) * 2020-02-05 2023-03-23 Maxell, Ltd. Space recognition system, space recognition method, information terminal, and server apparatus
CN115398484A (zh) 2020-02-13 2022-11-25 奇跃公司 具有用于定位的地理定位信息优先级的交叉现实系统
WO2021163300A1 (en) 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system with map processing using multi-resolution frame descriptors
CN115427758A (zh) 2020-02-13 2022-12-02 奇跃公司 具有精确共享地图的交叉现实系统
CN115461787A (zh) 2020-02-26 2022-12-09 奇跃公司 具有快速定位的交叉现实系统
WO2021173390A1 (en) * 2020-02-27 2021-09-02 Qsinx Management Llc Connecting spatially distinct settings
WO2021178221A1 (en) 2020-03-03 2021-09-10 Best Apps, Llc Computer aided systems and methods for creating custom products
US11688073B2 (en) * 2020-04-14 2023-06-27 Samsung Electronics Co., Ltd. Method and system for depth map reconstruction
US11900547B2 (en) 2020-04-29 2024-02-13 Magic Leap, Inc. Cross reality system for large scale environments
US11514203B2 (en) * 2020-05-18 2022-11-29 Best Apps, Llc Computer aided systems and methods for creating custom products
US11493764B2 (en) * 2020-06-04 2022-11-08 Htc Corporation Method for dynamically displaying real-world scene, electronic device, and computer readable medium
CN111815779A (zh) * 2020-06-29 2020-10-23 浙江商汤科技开发有限公司 对象展示方法及装置、定位方法及装置以及电子设备
SE2030252A1 (en) * 2020-08-13 2022-02-14 Nagoon AB Method performed by a computer system for creation of augmented reality experiences and connection of these to the real world
CN114190922B (zh) * 2020-09-18 2023-04-21 四川大学 Tms头动检测方法
WO2022074294A1 (en) * 2020-10-06 2022-04-14 Nokia Technologies Oy Network-based spatial computing for extended reality (xr) applications
EP4015996A1 (en) * 2020-12-17 2022-06-22 Siemens Aktiengesellschaft Method for generating a map for augmented reality devices in an industrial facility
US11615594B2 (en) 2021-01-21 2023-03-28 Samsung Electronics Co., Ltd. Systems and methods for reconstruction of dense depth maps
US12028507B2 (en) * 2021-03-11 2024-07-02 Quintar, Inc. Augmented reality system with remote presentation including 3D graphics extending beyond frame
WO2023026700A1 (ja) * 2021-08-26 2023-03-02 株式会社Ｎｔｔドコモ 表示制御装置
WO2023052485A1 (en) * 2021-09-30 2023-04-06 Siemens Aktiengesellschaft Processing a picture section with an augmented reality device
EP4160521A1 (en) * 2021-09-30 2023-04-05 Siemens Aktiengesellschaft Processing a picture section with an augmented reality device
CA3239769A1 (en) * 2021-12-03 2023-06-08 Giridhar Murali System and methods for validating imagery pipelines
US11682180B1 (en) * 2021-12-09 2023-06-20 Qualcomm Incorporated Anchoring virtual content to physical surfaces
EP4336458A1 (de) * 2022-09-08 2024-03-13 Viewlicity GmbH Verfahren und systeme zum betreiben einer anzeigeeinrichtung einer simulation
US20240196161A1 (en) * 2022-12-08 2024-06-13 Meta Platforms Technologies, Llc Systems and methods of using wireless signatures
WO2024124371A1 (en) * 2022-12-12 2024-06-20 Nokia Shanghai Bell Co., Ltd. Mechanism and procedure for discovering ue pose of xr service on ran side

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110254950A1 (en) * 2008-10-09 2011-10-20 Isis Innovation Limited Visual tracking of objects in images, and segmentation of images
JP2013141049A (ja) * 2010-03-24 2013-07-18 Hitachi Ltd 世界座標系データベースを利用したサーバ及び端末
US20140267234A1 (en) * 2013-03-15 2014-09-18 Anselm Hook Generation and Sharing Coordinate System Between Users on Mobile
US20150049201A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Automatic calibration of scene camera for optical see-through head mounted display
JP2015079490A (ja) * 2013-10-04 2015-04-23 キヤノン株式会社 フレームを選択する方法、装置、及びシステム
US20160148433A1 (en) * 2014-11-16 2016-05-26 Eonite, Inc. Systems and methods for augmented reality preparation, processing, and application
JP2017529635A (ja) * 2014-06-14 2017-10-05 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想および拡張現実を作成する方法およびシステム

Family Cites Families (157)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100483806B1 (ko) 2002-07-18 2005-04-20 한국과학기술원 예제동작을 이용한 영상기반 동작복원방법
US20050228849A1 (en) 2004-03-24 2005-10-13 Tong Zhang Intelligent key-frame extraction from a video
US10809071B2 (en) 2017-10-17 2020-10-20 AI Incorporated Method for constructing a map while performing work
US7542034B2 (en) 2004-09-23 2009-06-02 Conversion Works, Inc. System and method for processing video images
US7583858B2 (en) 2004-10-12 2009-09-01 Eastman Kodak Company Image processing based on direction of gravity
US20080303787A1 (en) 2005-10-21 2008-12-11 Zheng Yu Brian Touch Screen Apparatus And Methods
CA2659672A1 (en) 2006-06-26 2008-01-03 Icosystem Corporation Methods and systems for interactive customization of avatars and other animate or inanimate items in video games
US8781162B2 (en) 2011-01-05 2014-07-15 Ailive Inc. Method and system for head tracking and pose estimation
US20080090659A1 (en) 2006-10-12 2008-04-17 Maximino Aguilar Virtual world event notification from a persistent world game server in a logically partitioned game console
JP4292426B2 (ja) 2007-05-15 2009-07-08 ソニー株式会社 撮像装置および撮像データ補正方法
SG183690A1 (en) 2007-08-06 2012-09-27 Trx Systems Inc Locating, tracking, and/or monitoring personnel and/or assets both indoors and outdoors
US9812096B2 (en) 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
US20100208033A1 (en) 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US8839121B2 (en) 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
KR20100138725A (ko) 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
US9119027B2 (en) 2009-10-06 2015-08-25 Facebook, Inc. Sharing of location-based content item in social networking service
US8185596B2 (en) 2010-02-22 2012-05-22 Samsung Electronics Co., Ltd. Location-based communication method and system
US8600803B1 (en) 2010-05-18 2013-12-03 Google Inc. Incentivizing behavior to address pricing, tax, and currency issues in an online marketplace for digital goods
KR101686171B1 (ko) 2010-06-08 2016-12-13 삼성전자주식회사 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법
WO2012006578A2 (en) 2010-07-08 2012-01-12 The Regents Of The University Of California End-to-end visual recognition system and methods
JP5960796B2 (ja) 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US8526368B2 (en) 2011-05-17 2013-09-03 Qualcomm Incorporated Wi-Fi access point characteristics database
US20120314031A1 (en) 2011-06-07 2012-12-13 Microsoft Corporation Invariant features for computer vision
US9082214B2 (en) 2011-07-01 2015-07-14 Disney Enterprises, Inc. 3D drawing system for providing a real time, personalized, and immersive artistic experience
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
WO2013029674A1 (en) 2011-08-31 2013-03-07 Metaio Gmbh Method of matching image features with reference features
US8243102B1 (en) 2011-10-12 2012-08-14 Google Inc. Derivative-based selection of zones for banded map display
US20130141419A1 (en) * 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
US8977021B2 (en) 2011-12-30 2015-03-10 Mako Surgical Corp. Systems and methods for customizing interactive haptic boundaries
US9530221B2 (en) 2012-01-06 2016-12-27 Pelco, Inc. Context aware moving object detection
US9310882B2 (en) 2012-02-06 2016-04-12 Sony Computer Entertainment Europe Ltd. Book object for augmented reality
US9386297B2 (en) 2012-02-24 2016-07-05 Casio Computer Co., Ltd. Image generating apparatus generating reconstructed image, method, and computer-readable recording medium
US9293118B2 (en) * 2012-03-30 2016-03-22 Sony Corporation Client device
KR20130110907A (ko) 2012-03-30 2013-10-10 삼성전자주식회사 가상 현실과 증강 현실을 이용한 원격 제어 장치 및 방법
US9122321B2 (en) 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
WO2013167864A1 (en) * 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
US9311750B2 (en) 2012-06-05 2016-04-12 Apple Inc. Rotation operations in a mapping application
US9310559B2 (en) 2012-06-11 2016-04-12 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
GB2506338A (en) 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
US8829409B2 (en) 2012-10-10 2014-09-09 Thermo Fisher Scientific Inc. Ultra-high speed imaging array with orthogonal readout architecture
US9349072B2 (en) 2013-03-11 2016-05-24 Microsoft Technology Licensing, Llc Local feature based image compression
CN105188516B (zh) 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
WO2014169238A1 (en) 2013-04-11 2014-10-16 Digimarc Corporation Methods for object recognition and related arrangements
US9154919B2 (en) 2013-04-22 2015-10-06 Alcatel Lucent Localization systems and methods
EP2808842B1 (en) * 2013-05-31 2017-08-16 Technische Universität München An apparatus and method for tracking and reconstructing three-dimensional objects
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9406137B2 (en) 2013-06-14 2016-08-02 Qualcomm Incorporated Robust tracking using point and line features
US9329682B2 (en) 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
WO2014202258A1 (en) 2013-06-21 2014-12-24 National University Of Ireland, Maynooth A method for mapping an environment
US9779548B2 (en) 2013-06-25 2017-10-03 Jordan Kent Weisman Multiuser augmented reality system
US9646384B2 (en) 2013-09-11 2017-05-09 Google Technology Holdings LLC 3D feature descriptors with camera pose information
CN110542938B (zh) 2013-11-27 2023-04-18 奇跃公司 虚拟和增强现实系统与方法
CN106171012B (zh) 2013-12-20 2020-01-17 英特尔公司 用于低功率室内定位的Wi-Fi扫描调度和功率适应
US10586395B2 (en) 2013-12-30 2020-03-10 Daqri, Llc Remote object detection and local tracking using visual odometry
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9830679B2 (en) 2014-03-25 2017-11-28 Google Llc Shared virtual reality
WO2015155628A1 (en) 2014-04-07 2015-10-15 Eyeways Systems Ltd. Apparatus and method for image-based positioning, orientation and situational awareness
US9754167B1 (en) * 2014-04-17 2017-09-05 Leap Motion, Inc. Safety for wearable virtual reality devices via object detection and tracking
WO2015161307A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Systems and methods for augmented and virtual reality
GB2526263B (en) 2014-05-08 2019-02-06 Sony Interactive Entertainment Europe Ltd Image capture method and apparatus
US10068373B2 (en) 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
CN104143212A (zh) 2014-07-02 2014-11-12 惠州Tcl移动通信有限公司 基于穿戴设备的增强现实方法及系统
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US20190347865A1 (en) 2014-09-18 2019-11-14 Google Inc. Three-dimensional drawing inside virtual reality environment
US20200252233A1 (en) 2014-09-24 2020-08-06 James Thomas O'Keeffe System and method for user profile enabled smart building control
US10719727B2 (en) 2014-10-01 2020-07-21 Apple Inc. Method and system for determining at least one property related to at least part of a real environment
US10139471B2 (en) 2014-12-04 2018-11-27 Here Global B.V. Supporting a collaborative collection of data
US10335677B2 (en) 2014-12-23 2019-07-02 Matthew Daniel Fuchs Augmented reality system with agent device for viewing persistent content and method of operation thereof
US9685005B2 (en) 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US9852546B2 (en) 2015-01-28 2017-12-26 CCP hf. Method and system for receiving gesture input via virtual control objects
US20160300389A1 (en) 2015-04-08 2016-10-13 Exactigo, Inc. Correlated immersive virtual simulation for indoor navigation
US9467718B1 (en) 2015-05-06 2016-10-11 Echostar Broadcasting Corporation Apparatus, systems and methods for a content commentary community
KR101725478B1 (ko) 2015-05-21 2017-04-11 주식회사 맥스트 3d 점군 인식 기반의 증강 현실 출력 방법과 이를 수행하기 위한 장치 및 시스템
US20160381118A1 (en) 2015-06-23 2016-12-29 Microsoft Technology Licensing, Llc Extracting and formatting content from web-resources
WO2017039308A1 (en) * 2015-08-31 2017-03-09 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
ES2920837T3 (es) 2015-09-10 2022-08-10 Oriient New Media Ltd Navegar, seguir y posicionar los dispositivos móviles en zonas sin GPS o con GPS inexacto con la generación automática de mapas
CA2941893C (en) 2015-09-14 2020-02-25 The Toronto-Dominion Bank Connected device-based property evaluation
US20170094227A1 (en) 2015-09-25 2017-03-30 Northrop Grumman Systems Corporation Three-dimensional spatial-awareness vision system
JP6944441B2 (ja) 2015-09-25 2021-10-06 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ３次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム
GB201517101D0 (en) 2015-09-28 2015-11-11 Univ Essex Entpr Ltd Mixed-reality system
US10471355B2 (en) * 2015-10-21 2019-11-12 Sharp Kabushiki Kaisha Display system, method of controlling display system, image generation control program, and computer-readable storage medium
US9706366B2 (en) 2015-11-06 2017-07-11 International Business Machines Corporation WiFi-fingerprint based indoor localization map
US10254845B2 (en) 2016-01-05 2019-04-09 Intel Corporation Hand gesture recognition for cursor control
US10523865B2 (en) 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
JP2019505926A (ja) * 2016-02-05 2019-02-28 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 拡張現実のためのシステムおよび方法
WO2017143303A1 (en) 2016-02-17 2017-08-24 Meta Company Apparatuses, methods and systems for sharing virtual elements
US10373380B2 (en) 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
JP6776609B2 (ja) 2016-02-22 2020-10-28 デクセリアルズ株式会社 異方性導電フィルム
US20180122143A1 (en) 2016-03-15 2018-05-03 Sutherland Cook Ellwood, JR. Hybrid photonic vr/ar systems
US10115234B2 (en) 2016-03-21 2018-10-30 Accenture Global Solutions Limited Multiplatform based experience generation
US10802147B2 (en) 2016-05-18 2020-10-13 Google Llc System and method for concurrent odometry and mapping
US10586391B2 (en) 2016-05-31 2020-03-10 Accenture Global Solutions Limited Interactive virtual reality platforms
CA3033344A1 (en) 2016-08-11 2018-02-15 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
IL307594A (en) 2016-08-22 2023-12-01 Magic Leap Inc Virtual, augmented and mixed reality systems and methods
US10162362B2 (en) 2016-08-29 2018-12-25 PerceptIn, Inc. Fault tolerance to provide robust tracking for autonomous positional awareness
US10007868B2 (en) 2016-09-19 2018-06-26 Adobe Systems Incorporated Font replacement based on visual similarity
US10354129B2 (en) 2017-01-03 2019-07-16 Intel Corporation Hand gesture recognition for virtual reality and augmented reality devices
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
WO2018139773A1 (ko) 2017-01-25 2018-08-02 한국과학기술연구원 무선 환경 변화에 강인한 slam 방법 및 장치
US10460489B2 (en) 2017-03-15 2019-10-29 Facebook, Inc. Visual editor for designing augmented-reality effects and configuring scaling parameters
EP3596542B1 (en) 2017-03-17 2024-01-17 Magic Leap, Inc. Technique for recording augmented reality data
US11017592B2 (en) 2017-03-30 2021-05-25 Magic Leap, Inc. Centralized rendering
US10600252B2 (en) 2017-03-30 2020-03-24 Microsoft Technology Licensing, Llc Coarse relocalization using signal fingerprints
US9754397B1 (en) 2017-04-07 2017-09-05 Mirage Worlds, Inc. Systems and methods for contextual augmented reality sharing and performance
CN111133365B (zh) 2017-05-01 2023-03-31 奇跃公司 内容到空间3d环境的匹配
WO2018222756A1 (en) 2017-05-30 2018-12-06 Ptc Inc. Object initiated communication
CN109145927A (zh) 2017-06-16 2019-01-04 杭州海康威视数字技术股份有限公司 一种对形变图像的目标识别方法及装置
JP6585665B2 (ja) * 2017-06-29 2019-10-02 ファナック株式会社 仮想オブジェクト表示システム
US10503955B2 (en) 2017-08-29 2019-12-10 Synaptics Incorporated Device with improved circuit positioning
WO2019046774A1 (en) 2017-09-01 2019-03-07 Memorial Sloan Kettering Cancer Center SYSTEMS AND METHODS FOR GENERATING 3D MEDICAL IMAGES BY SCANNING A WHOLE TISSUE BLOCK
US10546387B2 (en) 2017-09-08 2020-01-28 Qualcomm Incorporated Pose determination with semantic segmentation
US10685456B2 (en) 2017-10-12 2020-06-16 Microsoft Technology Licensing, Llc Peer to peer remote localization for devices
CN111344716B (zh) 2017-11-14 2024-07-19 奇跃公司 经由单应性变换适应的全卷积兴趣点检测和描述
WO2019118886A1 (en) 2017-12-15 2019-06-20 Magic Leap, Inc. Enhanced pose determination for display device
CN111684495A (zh) 2017-12-22 2020-09-18 奇跃公司 用于在混合现实系统中管理和显示虚拟内容的方法和系统
US11237004B2 (en) 2018-03-27 2022-02-01 Uatc, Llc Log trajectory estimation for globally consistent maps
US10838574B2 (en) 2018-04-09 2020-11-17 Spatial Systems Inc. Augmented reality computing environments—workspace save and load
US10803671B2 (en) 2018-05-04 2020-10-13 Microsoft Technology Licensing, Llc Authoring content in three-dimensional environment
US10812711B2 (en) 2018-05-18 2020-10-20 Samsung Electronics Co., Ltd. Semantic mapping for low-power augmented reality using dynamic vision sensor
CN110515452B (zh) 2018-05-22 2022-02-22 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
US10706629B2 (en) 2018-06-15 2020-07-07 Dell Products, L.P. Coordinate override in virtual, augmented, and mixed reality (xR) applications
US11182614B2 (en) 2018-07-24 2021-11-23 Magic Leap, Inc. Methods and apparatuses for determining and/or evaluating localizing maps of image display devices
EP3837674A4 (en) 2018-08-13 2022-05-18 Magic Leap, Inc. CROSS REALITY SYSTEM
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
CN112889118A (zh) 2018-09-04 2021-06-01 阿克提雅有限公司 用于确定一个或多个用户的血压的系统
JP7503542B2 (ja) 2018-10-05 2024-06-20 マジック リープ， インコーポレイテッド 任意の場所における場所特有の仮想コンテンツのレンダリング
US10854007B2 (en) 2018-12-03 2020-12-01 Microsoft Technology Licensing, Llc Space models for mixed reality
US20200211290A1 (en) 2018-12-26 2020-07-02 Lg Electronics Inc. Xr device for providing ar mode and vr mode and method for controlling the same
EP3895416A4 (en) 2019-03-27 2022-03-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. THREE-DIMENSIONAL LOCATION USING LIGHT DEPTH IMAGERY
US11151792B2 (en) 2019-04-26 2021-10-19 Google Llc System and method for creating persistent mappings in augmented reality
US10748302B1 (en) 2019-05-02 2020-08-18 Apple Inc. Multiple user simultaneous localization and mapping (SLAM)
US20200364937A1 (en) 2019-05-16 2020-11-19 Subvrsive, Inc. System-adaptive augmented reality
US11010921B2 (en) 2019-05-16 2021-05-18 Qualcomm Incorporated Distributed pose estimation
US11145083B2 (en) 2019-05-21 2021-10-12 Microsoft Technology Licensing, Llc Image-based localization
US20200380263A1 (en) 2019-05-29 2020-12-03 Gyrfalcon Technology Inc. Detecting key frames in video compression in an artificial intelligence semiconductor solution
US10854012B1 (en) 2019-05-29 2020-12-01 Dell Products, L.P. Concealing loss of distributed simultaneous localization and mapping (SLAM) data in edge cloud architectures
US10852828B1 (en) 2019-07-17 2020-12-01 Dell Products, L.P. Automatic peripheral pairing with hand assignments in virtual, augmented, and mixed reality (xR) applications
US10936874B1 (en) 2019-08-13 2021-03-02 Dell Products, L.P. Controller gestures in virtual, augmented, and mixed reality (xR) applications
KR20190104928A (ko) 2019-08-22 2019-09-11 엘지전자 주식회사 Xr 디바이스 및 xr 디바이스 제어 방법
US11270515B2 (en) 2019-09-04 2022-03-08 Qualcomm Incorporated Virtual keyboard
CN114222960A (zh) 2019-09-09 2022-03-22 苹果公司 用于计算机生成现实的多模态输入
JP2022551734A (ja) 2019-10-15 2022-12-13 マジック リープ， インコーポレイテッド 複数のデバイスタイプをサポートするクロスリアリティシステム
JP2022551735A (ja) 2019-10-15 2022-12-13 マジック リープ， インコーポレイテッド 無線フィンガプリントを用いたクロスリアリティシステム
WO2021076754A1 (en) 2019-10-15 2021-04-22 Magic Leap, Inc. Cross reality system with localization service
EP4052086A4 (en) 2019-10-31 2023-11-15 Magic Leap, Inc. EXTENDED REALITY SYSTEM PROVIDING QUALITY INFORMATION ABOUT PERSISTENT COORDINATE FRAMES
WO2021096931A1 (en) 2019-11-12 2021-05-20 Magic Leap, Inc. Cross reality system with localization service and shared location-based content
JP2023504570A (ja) 2019-12-09 2023-02-03 マジック リープ， インコーポレイテッド 仮想コンテンツの簡略化されたプログラミングを伴うクロスリアリティシステム
CN115398484A (zh) 2020-02-13 2022-11-25 奇跃公司 具有用于定位的地理定位信息优先级的交叉现实系统
EP4104144A4 (en) 2020-02-13 2024-06-05 Magic Leap, Inc. MIXED REALITY SYSTEM FOR LARGE-SCALE ENVIRONMENTS
CN115427758A (zh) 2020-02-13 2022-12-02 奇跃公司 具有精确共享地图的交叉现实系统
WO2021163300A1 (en) 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system with map processing using multi-resolution frame descriptors
CN115461787A (zh) 2020-02-26 2022-12-09 奇跃公司 具有快速定位的交叉现实系统
US11900547B2 (en) 2020-04-29 2024-02-13 Magic Leap, Inc. Cross reality system for large scale environments

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110254950A1 (en) * 2008-10-09 2011-10-20 Isis Innovation Limited Visual tracking of objects in images, and segmentation of images
JP2013141049A (ja) * 2010-03-24 2013-07-18 Hitachi Ltd 世界座標系データベースを利用したサーバ及び端末
US20140267234A1 (en) * 2013-03-15 2014-09-18 Anselm Hook Generation and Sharing Coordinate System Between Users on Mobile
US20150049201A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Automatic calibration of scene camera for optical see-through head mounted display
JP2015079490A (ja) * 2013-10-04 2015-04-23 キヤノン株式会社 フレームを選択する方法、装置、及びシステム
JP2017529635A (ja) * 2014-06-14 2017-10-05 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想および拡張現実を作成する方法およびシステム
US20160148433A1 (en) * 2014-11-16 2016-05-26 Eonite, Inc. Systems and methods for augmented reality preparation, processing, and application

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024010220A1 (ko) * 2022-07-06 2024-01-11 삼성전자 주식회사 거리 센서 활성화 방법 및 전자 장치

Also Published As

Publication number Publication date
JP7445642B2 (ja) 2024-03-07
WO2020036898A1 (en) 2020-02-20
US11386629B2 (en) 2022-07-12
CN112805750A (zh) 2021-05-14
EP3837674A4 (en) 2022-05-18
CN112805750B (zh) 2024-09-27
US10957112B2 (en) 2021-03-23
EP3837674A1 (en) 2021-06-23
US20210209859A1 (en) 2021-07-08
JP2024009071A (ja) 2024-01-19
US20200090407A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
JP7445642B2 (ja) クロスリアリティシステム
US11257294B2 (en) Cross reality system supporting multiple device types
US11995782B2 (en) Cross reality system with localization service
JP2023504570A (ja) 仮想コンテンツの簡略化されたプログラミングを伴うクロスリアリティシステム
JP2023514206A (ja) 大規模環境のためのクロスリアリティシステム
JP2023514205A (ja) 正確な共有マップを伴うクロスリアリティシステム
JP2023515524A (ja) 高速位置特定を伴うクロスリアリティシステム
JP2023501952A (ja) 持続座標フレームについての品質情報を伴うクロスリアリティシステム
JP2023504775A (ja) 位置特定サービスおよび共有場所ベースのコンテンツを伴うクロスリアリティシステム
JP2022551735A (ja) 無線フィンガプリントを用いたクロスリアリティシステム
JP2023514208A (ja) マルチ分解能フレーム記述子を使用したマップ処理を伴うクロスリアリティシステム
CN115244493B (zh) 用于大规模环境重建的交叉现实系统
JP7526169B2 (ja) クロスリアリティシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220803

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240226

R150 Certificate of patent or registration of utility model

Ref document number: 7445642

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150