JP2022526977A - 複合現実システムを用いて仮想３次元空間内のウェブページを管理および表示すること - Google Patents

複合現実システムを用いて仮想３次元空間内のウェブページを管理および表示すること Download PDF

Info

Publication number
JP2022526977A
JP2022526977A JP2021559089A JP2021559089A JP2022526977A JP 2022526977 A JP2022526977 A JP 2022526977A JP 2021559089 A JP2021559089 A JP 2021559089A JP 2021559089 A JP2021559089 A JP 2021559089A JP 2022526977 A JP2022526977 A JP 2022526977A
Authority
JP
Japan
Prior art keywords
web page
browser engine
universe
virtual
browser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021559089A
Other languages
English (en)
Other versions
JP7440532B2 (ja
JPWO2020206313A5 (ja
Inventor
イー ファン，
ジェネビーブ マック，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2022526977A publication Critical patent/JP2022526977A/ja
Publication of JPWO2020206313A5 publication Critical patent/JPWO2020206313A5/ja
Priority to JP2024021089A priority Critical patent/JP2024059715A/ja
Application granted granted Critical
Publication of JP7440532B2 publication Critical patent/JP7440532B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577—Optimising the visualization of content, e.g. distillation of HTML documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/027—Arrangements and methods specific for the display of internet documents

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

開示されるものは、エクステンデッドリアリティシステムを用いて、仮想３次元（３Ｄ）空間内のウェブページおよびウェブリソースを管理および表示するための方法、システム、および製造品である。これらの技法は、ウェブページまたはそのためのウェブページパネルのための３Ｄ変換のための入力を受信する。入力に応答して、エクステンデッドリアリティシステムのプロセッサに結合される、ブラウザエンジンは、少なくとも部分的に、ウェブページまたはウェブページパネルの３Ｄ変換に基づいて、ウェブページまたはウェブページパネルのための３Ｄ変換データを決定し、３Ｄ変換は、仮想３Ｄ空間内のウェブページまたはそのためのウェブページパネルの３Ｄ位置、回転、またはスケールの変化を備える。ユニバースブラウザエンジンは、少なくとも部分的に、３Ｄ変換データに基づいて、ウェブページのコンテンツを仮想３Ｄ空間内に提示し得る。

Description

（著作権表示）
本特許文書の開示の一部は、著作権保護を受けるべき資料を含有する。本特許文書または本特許開示を誰が複写しても、それが特許商標局の特許ファイルまたは記録に現れる通りである限りでは異議はないが、その他の場合には、いかなる著作権も全て保有する。
現代のコンピューティング時代では、インターネットは、インターネットプロトコルスイートを通して、多数のリソースを世界中のデバイスに提供する。例えば、ワールドワイドウェブ（または単に、ウェブ）は、ユーザが、ウェブブラウザを使用し、例えば、ウェブページを閲覧する、ウェブリソースにアクセスすること等を行い得るように、ハイパーリンクおよび統一資源ロケータ（ＵＲＬ）によって、相互接続されたドキュメント、サービス、リソース等を提供する。
ウェブページは、典型的には、２次元（２Ｄ）定常ウィンドウ内に表示される。ウェブページ、ウェブリソース等の本平面表現は、ウェブサイト設計等に関する限界を課し、故に、限定されたユーザ体験および有用性を提供する。いくつかのエンティティは、いくつかの限定されたウェブページの透視ビューをコンピュータディスプレイ画面上に提示する、ＭｉｃｒｏｓｏｆｔのＳｕｒｆＣｕｂｅ、Ｍｏｏｔｏｏｌｓの３Ｄブラウザ（または３ＤＢ）等、いわゆる、３次元（３Ｄ）ブラウザを想定および作成している。但し、これらの、いわゆる、「３Ｄブラウザ」は、コンテンツを透視ビューにおいて２次元ディスプレイ画面上にレンダリングし、したがって、レンダリングされるコンテンツは、透視ビューを伴うが、それでもなお、平面ビューに提示され、単に、ある程度の３次元効果を有するように現れるだけである。これらの３Ｄブラウザは、したがって、実際には、従来の２Ｄウェブページによって課される限界に対処しない、それを軽減しない、または緩和させない。いくつかの旧来の技法は、ブラウザが、面内で回転することを可能にする。例えば、これらの旧来の技法は、ブラウザウィンドウを、その中で開かれた全てのウェブページとともに、ブラウザの平面ビューの法線方向に対して回転させ得る。但し、これらの旧来の技法は、２次元ディスプレイにだけではなく、また、ブラウザウィンドウ全体（故に、開いているウェブページ）の回転に限定される、したがって、各ウェブページを、個々に、かつ面内および面外様式の両方において、回転させる能力を欠いている。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」（ＶＲ）、「拡張現実」（ＡＲ）体験、および／または「複合現実」体験（以降、集合的に、「複合現実」および／または「ＭＲ」と称される）のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式で、ユーザに提示される。ＶＲシナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う一方、ＡＲまたはＭＲシナリオは、典型的には、デジタルまたは仮想画像（例えば、仮想コンテンツ）が実世界の一部であるように現れ得るように、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。しかしながら、ＭＲは、仮想コンテンツをコンテキスト的に有意義な方法において統合し得る一方、ＡＲは、そうではない場合がある。
複合現実技術の用途は、例えば、ゲーム、軍事訓練、シミュレーションベースの訓練等から、生産性およびコンテンツ作成および管理に拡張している。複合現実システムは、現実のように現れる、またはそのようなものとして知覚される、仮想オブジェクトを作成する能力を有する。そのような能力は、インターネット技術に適用されると、ウェブリソースの使用が、もはやウェブページの平面の２次元表現によって限定されないように、インターネットの能力およびユーザ体験をさらに拡張および向上させ得る。
したがって、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するための方法、システム、およびコンピュータプログラム製品の必要がある。
開示されるものは、１つ以上の実施形態では、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するための方法、システム、および製造品である。いくつかの実施形態は、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するための方法を対象とする。
いくつかの実施形態では、これらの技法は、ウェブページまたはそのためのウェブページパネルのための３Ｄ変換のための入力を受信する。入力に応答して、エクステンデッドリアリティシステムのプロセッサに結合される、ブラウザエンジンは、少なくとも部分的に、ウェブページまたはウェブページパネルの３Ｄ変換に基づいて、ウェブページまたはウェブページパネルのための３Ｄ変換データを決定し、３Ｄ変換は、仮想３Ｄ空間内のウェブページまたはそのためのウェブページパネルの３Ｄ位置、回転、またはスケールの変化を備える。ユニバースブラウザエンジンは、少なくとも部分的に、３Ｄ変換データに基づいて、ウェブページのコンテンツを仮想３Ｄ空間内に提示してもよい。
これらの実施形態のうちのいくつかでは、ブラウザエンジンはさらに、仮想３Ｄ空間内に表示されるべきウェブページを識別し、仮想３Ｄ空間は、プリズムである、またはそれを含む。ブラウザエンジンはさらに、３Ｄ変換データを、ブラウザエンジンによってアクセス可能な非一過性コンピュータ可読媒体内に記憶する。３Ｄ変換データは、ブラウザエンジンからユニバースブラウザエンジンに伝送されてもよい。
いくつかの実施形態では、これらの技法はさらに、随意に、ウェブページまたはウェブページをホストするウェブサイトから、ウェブページのための３Ｄ変換のための入力を受信し、ウェブページの境界は、仮想３Ｄ空間内に表示または抑制されるように構成可能なウェブブラウザによって制約される。ウェブページのための３Ｄ変換のための入力は、代替として、随意に、ユーザから受信されてもよく、ウェブページの境界は、仮想３Ｄ空間内に表示または抑制されるように構成可能なウェブブラウザによって制約される。加えて、または代替として、ウェブページまたはウェブページパネルのための３Ｄ変換のための入力は、ウェブページのコードから識別されてもよく、ウェブページの開発者が、ブラウザエンジンによって表示されるべきウェブページの３Ｄ位置、回転、またはスケールを制約する。
加えて、または代替として、３Ｄ変換データは、ブラウザエンジンからユニバースブラウザエンジンに伝送されてもよく、ウェブページまたはそのためのウェブページパネルの３Ｄ位置、回転、またはスケールの変化は、ユニバースブラウザエンジンにおいて受信されてもよい。すぐ上の実施形態のうちのいくつかでは、ユニバースブラウザエンジンはさらに、３Ｄ変換データを更新された３Ｄ変換データに更新し、ブラウザエンジンにアクセス可能な３Ｄ変換データと、更新された３Ｄ変換データを同期させてもよい。
エクステンデッドリアリティシステムによってウェブページのために作成される、仮想３Ｄ空間内に３次元境界を有する、仮想３次元ボリュームは、部分的または全体的に、１つ以上の挙動タイプに基づいて、識別または生成されてもよく、これらの技法はさらに、ブラウザエンジンを初期化し、ブラウザエンジンのための一意の識別子を決定する。ブラウザエンジンのためのリスナインスタンスは、次いで、ユニバースブラウザエンジンに登録されてもよい。
ユニバースブラウザエンジンはさらに、仮想３次元ボリュームとリスナインスタンスを関連付けてもよい。仮想３次元ボリュームはまた、ブラウザエンジンに割り当てられてもよく、仮想３次元ボリュームは、次いで、少なくとも、シーングラフ構造を使用することによって、仮想３Ｄ空間内に位置付けられる、または設置されてもよい。
いくつかの実施形態は、ウェブページのコンテンツへのユーザの関心を示す、第１のユーザ入力を受信する。第１のユーザ入力に応答して、少なくとも、ブラウザエンジンは、コンテンツを生成するために実行されてもよく、仮想３次元ボリュームが、コンテンツをその中にレンダリングするために、仮想３次元空間内で決定されてもよい。これらの実施形態のうちのいくつかでは、ウェブページまたはそのためのウェブページパネルのための３Ｄ変換を示す、第２のユーザ入力が、受信されてもよく、コンテンツは、少なくとも部分的に、第２のユーザ入力に基づいて、仮想３次元ボリュームの中にレンダリングされてもよい。
加えて、または代替として、変換ツリー構造および変換ツリー構造内のノードは、ウェブページのために識別されてもよく、ノードが変換ツリー構造内に親ノードを有するかどうかの決定が、行われてもよく、３Ｄ変換データは、ウェブページまたはウェブページパネルのためのブラウザエンジンから受信されてもよく、３Ｄ位置または回転入力が、ウェブページのために、ユニバースブラウザエンジンから受信されてもよい。
これらの実施形態のうちのいくつかでは、ユニバースブラウザエンジンは、少なくとも部分的に、３Ｄ位置、回転、またはスケール入力に基づいて、ウェブページまたはウェブページパネルのための更新された３Ｄ位置、回転、またはスケールを決定し、ブラウザエンジンによってアクセス可能な３Ｄ位置、回転、またはスケールデータと、更新された３Ｄ位置、回転、またはスケールデータを同期させてもよい。
更新された３Ｄ位置、回転、またはスケールデータを決定するために、ウェブページの親の１つ以上の変換が、識別されてもよく、ウェブページのための１つ以上の変換特性もまた、少なくとも部分的に、３Ｄ位置、回転、またはスケール入力に基づいて、識別されてもよく、３Ｄ位置、回転、またはスケール入力が、ウェブページのために識別されてもよい。
すぐ上の実施形態のうちのいくつかでは、これらの技法は、少なくとも部分的に、３Ｄ位置、回転、またはスケール入力、ウェブページまたはそのためのウェブページパネルの親の１つ以上の変換、またはウェブページまたはそのためのウェブページパネルのための１つ以上の変換特性のうちの１つ以上のものに基づいて、ウェブページまたはそのためのウェブページパネルのための変換のセットを決定する。更新された３Ｄ位置、回転、またはスケールデータは、変換のセットをウェブページまたはそのためのウェブページパネルに適用することによって、決定されてもよい。いくつかの実施形態では、３Ｄ変換は、ウェブページまたはそのためのウェブページパネルの配向のみを修正することに限定される。
いくつかの実施形態は、本明細書に開示される方法、プロセス、またはサブプロセスのいずれかを実施するために呼び出され得る、ハードウェアシステムを対象とする。ハードウェアシステムは、いくつかの実施形態では、本明細書に開示される方法、プロセス、またはサブプロセスのいずれかを実施するための実行の１つ以上のスレッドを実行する、少なくとも１つのプロセッサまたは少なくとも１つのプロセッサコアを有する、複合現実システムを含んでもよい。ハードウェアシステムはさらに、１つ以上の形態の非一過性機械可読記憶媒体またはデバイスを含み、一時的にまたは持続的に、種々のタイプのデータまたは情報を記憶してもよい。ハードウェアシステムのいくつかの例示的モジュールまたはコンポーネントが、下記のシステムアーキテクチャ概要の節に見出され得る。
いくつかの実施形態は、少なくとも１つのプロセッサまたは少なくとも１つのプロセッサコアによって実行されると、少なくとも１つのプロセッサまたは少なくとも１つのプロセッサコアに、本明細書に開示される方法、プロセス、またはサブプロセスのいずれかを実施させる、その上に記憶される命令のシーケンスを有する、非一過性機械アクセス可能記憶媒体を含む、製造品を対象とする。非一過性機械可読記憶媒体のいくつかの例示的形態もまた、下記のシステムアーキテクチャ概要の節に見出され得る。
図面は、本発明の種々の実施形態の設計および可用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して類似参照番号によって表されることに留意されたい。本発明の種々の実施形態の上記に列挙されたおよび他の利点および目的を取得するための方法をより深く理解するために、上記に簡単に説明された本発明のさらなる詳細が、付随の図面に図示される、その具体的実施形態を参照することによって与えられるであろう。これらの図面が、本発明の典型的な実施形態のみを描写し、したがって、その範囲の限定と見なされないことを理解した上で、本発明は、付随の図面の使用を通して、付加的特異性および詳細を伴って、説明および解説されるであろう。
図１Ａは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するために、ウェブサイトと相互作用する、簡略化されたシステムの高レベルブロック図を図示する。
図１Ｂは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するために、ウェブサイトと相互作用する、簡略化されたシステムの別の高レベルブロック図を図示する。
図１Ｃ－１Ｅは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示する際に使用され得る、例示的ブラウザエンジンおよびユニバースブラウザエンジンのためのさらなる詳細なブロック図を図示する。 図１Ｃ－１Ｅは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示する際に使用され得る、例示的ブラウザエンジンおよびユニバースブラウザエンジンのためのさらなる詳細なブロック図を図示する。 図１Ｃ－１Ｅは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示する際に使用され得る、例示的ブラウザエンジンおよびユニバースブラウザエンジンのためのさらなる詳細なブロック図を図示する。
図１Ｆは、１つ以上の実施形態における、ユニバースブラウザプリズムの実施例を図示する。
図１Ｇ－１Ｉは、いくつかの実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示する、いくつかの簡略化された実施例の投影されたビューを図示する。 図１Ｇ－１Ｉは、いくつかの実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示する、いくつかの簡略化された実施例の投影されたビューを図示する。 図１Ｇ－１Ｉは、いくつかの実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示する、いくつかの簡略化された実施例の投影されたビューを図示する。
図１Ｊ－１Ｌは、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示する、３つの簡略化された実施例を図示する。 図１Ｊ－１Ｌは、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示する、３つの簡略化された実施例を図示する。 図１Ｊ－１Ｌは、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示する、３つの簡略化された実施例を図示する。
図１Ｍは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するための例示的ユーザ物理的環境およびシステムアーキテクチャを図示する。
図１Ｎは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するためのシステムアーキテクチャを図示する。
図１Ｏは、１つ以上の実施形態における、プリズムの実施例を図示する。
図１Ｐは、１つ以上の実施形態における、ウェブページを表示し、ウェブページパネルの位置および／または回転データをデフォルトにリセットするためのブラウザの初期化の実施例を図示する。
図１Ｑは、１つ以上の実施形態における、ＧＥＴ要求を用いた、ウェブページパネルの位置および／または回転データの決定の実施例を図示する。
図１Ｒは、１つ以上の実施形態における、ＳＥＴ要求を用いた、ウェブページパネルの位置および／または回転データの決定の実施例を図示する。
図１Ｓは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するために、ウェブサイトと相互作用する、簡略化されたシステムの別の高レベルブロック図を図示する。
図１Ｔは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するために、ウェブサイトと相互作用する、簡略化されたシステムの別の高レベルブロック図を図示する。
図１Ｕ－１Ｗは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示する際に使用され得る、例示的ブラウザエンジンおよびユニバースブラウザエンジンのための種々の詳細なブロック図を図示する。 図１Ｕ－１Ｗは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示する際に使用され得る、例示的ブラウザエンジンおよびユニバースブラウザエンジンのための種々の詳細なブロック図を図示する。 図１Ｕ－１Ｗは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示する際に使用され得る、例示的ブラウザエンジンおよびユニバースブラウザエンジンのための種々の詳細なブロック図を図示する。
図１Ｘは、１つ以上の実施形態における、ＳＥＴ要求を用いた、ウェブページパネルの配向データの決定の実施例を図示する。
図１Ｙは、いくつかの実施形態における、仮想３Ｄ空間内のウェブページパネルの３Ｄ配向更新のための例示的フローを図示する。
図１Ｚは、ユニバースブラウザエンジンからブラウザエンジンへのウェブページ変換更新のための例示的フローを図示する。
図１ＡＡは、いくつかの実施形態における、仮想３Ｄ空間（例えば、プリズム）内のウェブページパネルの３Ｄ配向更新のための例示的フロー内のユニバースブラウザエンジン（１２６Ｙ）の一部を図示する。
図１ＡＢ－１ＡＣは、いくつかの実施形態における、イベントディスパッチフローのための例示的高レベルフロー図を図示する。 図１ＡＢ－１ＡＣは、いくつかの実施形態における、イベントディスパッチフローのための例示的高レベルフロー図を図示する。
図２Ａは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するプロセスのための高レベルブロック図を図示する。
図２Ｂは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するプロセスのためのさらなる詳細なブロック図を図示する。
図２Ｃは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するために利用され得る、ユニバースプリズムを作成するための高レベルブロック図を図示する。
図２Ｄは、いくつかの実施形態による、ユニバースブラウザプリズム内でウェブページを開き、設置するための高レベルブロック図を図示する。
図２Ｅは、１つ以上の実施形態における、ユニバースブラウザプリズム内でソフトウェアオブジェクトを変換するための、高レベルブロック図を図示する。
図２Ｆは、いくつかの実施形態による、図２Ｅに図示される、ブロック図の一部についてのさらなる詳細を図示する。
図２Ｇ－２Ｉは、いくつかの実施形態における、種々の変換ツリーおよびグループツリーを図示する。 図２Ｇ－２Ｉは、いくつかの実施形態における、種々の変換ツリーおよびグループツリーを図示する。 図２Ｇ－２Ｉは、いくつかの実施形態における、種々の変換ツリーおよびグループツリーを図示する。
図２Ｊは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するプロセスのための高レベルブロック図を図示する。
図２Ｋは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するプロセスのためのさらなる詳細なブロック図を図示する。
図２Ｌは、１つ以上の実施形態における、ユニバースブラウザプリズム内のソフトウェアオブジェクトを変換するための高レベルブロック図を図示する。
図２Ｍは、いくつかの実施形態による、図２Ｌに図示される、ブロック図の一部についてのさらなる詳細を図示する。
図２Ｎは、いくつかの実施形態における、例示的レンダリングプロセスおよび例示的ブラウザプロセスの簡略化された高レベルアーキテクチャアーキテクチャ略図を図示する。
図３は、その上に複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するための方法が、実装され得る、コンピュータ化されたシステムを図示する。
以下の説明では、ある具体的詳細が、種々の開示される実施形態の完全な理解を提供するために記載される。しかしながら、当業者は、実施形態が、これらの具体的詳細のうちの１つ以上のものを伴わずに、または他の方法、コンポーネント、材料等を用いて、実践されてもよいことを認識するであろう。他のインスタンスでは、コンピュータシステム、サーバコンピュータ、および／または通信ネットワークと関連付けられる、周知の構造は、実施形態の説明を不必要に曖昧にすることを回避するために、示されていない、または詳細に説明されていない。
文脈によって別様に要求されない限り、続く明細書および請求項全体を通して、単語「ｃｏｍｐｒｉｓｅ（～を備える）」および「ｃｏｍｐｒｉｓｅｓ（～を備える）」および「ｃｏｍｐｒｉｓｉｎｇ（～を備える）」等のその変形例は、非制限的包含的意味において、「限定ではないが、～を含む」ものとして解釈されるものとすることに留意されたい。
さらに、本明細書全体を通して、「一実施形態」または「ある実施形態」の言及は、実施形態に関連して説明される特定の特徴、構造、または特性が、少なくとも一実施形態に含まれることを意味することに留意されたい。したがって、本明細書全体を通した種々の場所における、語句「一実施形態では」または「ある実施形態では」の表出は、必ずしも、全て同一実施形態を参照するわけではない。さらに、特定の特徴、構造、または特性は、１つ以上の実施形態では、任意の好適な様式において組み合わせられてもよい。さらに、本明細書および添付の請求項で使用されるように、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈によって別様に明確に記載されない限り、複数の参照を含む。また、用語「または」は、概して、文脈によって別様に明確に記載されない限り、「および／または」を含む、その意味において採用されることに留意されたい。
種々の技法は、種々の実施形態では、仮想現実（「ＶＲ」）、拡張現実（「ＡＲ」）、複合現実（「ＭＲ」）、および／またはエクステンデッドリアリティ（「ＸＲ」）システム（集合的に、「ＸＲシステム」と称される）を用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示することを対象とする。
これらの種々の実施形態では、ＶＲシステムは、仮想現実またはコンピュータシミュレートされた現実内で没入型の体験を提供するように考案および構成される。仮想現実システムは、例えば、現実ヘッドセットを使用して、シミュレートされたものであるが、実環境を複製する、または想像上の世界を作成する、現実的音、画像、および他の感覚を生成する、コンピュータ技術を採用する。ＡＲシステムは、その要素が、音、ビデオ、グラフィック、または感覚データ（例えば、ＧＰＳデータ等）等のコンピュータ生成感覚入力によって拡張（または補完）される、物理的実世界環境のライブ、直接、または間接ビューを提供するように考案および構成される。拡張現実は、物理的実世界環境の上に存在するため、本明細書に説明されるＡＲシステムは、ユーザがユーザの通常生活内で与えられるものと同程度の自由度を提供する。本明細書に説明されるＭＲシステムは、ハイブリッド現実を提供し、実および仮想世界をマージし、物理的およびデジタルオブジェクトが、共存し、リアルタイムまたはほぼリアルタイム（例えば、信号伝送、処理時間における時間差等を考慮するために）で相互作用する、新しい環境および可視化を生産する。本明細書に提供されるＭＲシステムは、新しい画像が、少なくともある程度、物理的世界内に実際にあるものと相互作用することが可能であるような方法において、新しい画像を実空間内に提供する。説明されるＭＲシステムの特性のうちの１つは、合成コンテンツおよび実世界コンテンツが、リアルタイムまたはほぼリアルタイムで（例えば、信号伝送、処理時間における時間差等を考慮するために）、相互に反応することが可能であることである。本明細書に提供されるエクステンデッドリアリティまたはＸＲシステムは、コンピュータ技術およびデバイス（例えば、ウェアラブル電子機器等）によって生成される、あらゆるまたはほぼあらゆる現実および仮想の組み合わせられた環境およびヒューマンマシン相互作用を提供する。本明細書に提供されるエクステンデッドリアリティシステムは、ＡＲシステム、ＶＲシステム、およびＭＲシステムのようなあらゆるまたはほぼあらゆる描写形態を提供するように考案および／または構成される。いくつかの実施形態では、用語「ＸＲ」は、全３つの現実（ＡＲ、ＶＲ、ＭＲ）を１つの用語下で合体させる、包括語として使用される。
いくつかの実施形態では、本システムは、少なくとも、複合現実装置と、ブラウザエンジンと、ユニバースブラウザエンジンとを含み、ウェブサイトと相互作用する。これらの実施形態のうちのいくつかでは、ウェブサイトの開発者は、本明細書に説明される１つ以上の実施形態に関するアプリケーションプログラミングインターフェース（ＡＰＩ）のセットを、ウェブサイトのコードの中に組み込んでもよく、ＡＰＩの本セットは、ブラウザと通信し、ウェブページの位置および回転を取得および設定する。開発者は、開発者が、エンドユーザに、ＡＰＩの本セットを通して知覚することを所望するであろう、位置および回転データ（例えば、ｘ－、ｙ－、およびｚ－座標）をウェブページの３次元空間内に設定してもよい。
いくつかの他の実施形態では、ＡＰＩの前述のセット内のいくつかまたは全てのＡＰＩは、ウェブページの画像データを仮想コンテンツとしてユーザの眼に投影する、複合現実システムの一部である、ブラウザエンジンおよび／またはユニバースブラウザエンジン内にホストされる、またはそれによってローカルで参照されてもよい。ＡＰＩの本セットは、例えば、ウェブページのための３次元位置データを設定および取得する、第１のＡＰＩと、ウェブページのための３次元回転データを設定および取得する、第２のＡＰＩとを含んでもよい。用語「ウェブページ」および「ウェブページパネル」は、本願では、同義的に使用され得るが、厳密には、ウェブページパネルは、ウェブページまたはその一部がそのコンテンツを表示するためのブラウザウィンドウ内の２および／または３次元領域を含むことに留意されたい。
例示的ユースケースは、複合現実システムのユーザが、ブラウザを開き、ウェブサイトのＵＲＬまたは検索基準を指定されたフィールド内で打ち込む、シナリオを含む。本明細書に説明される種々の実施形態は、ユニバースブラウザエンジンが、ブラウザエンジンと連動して機能し、特定のウェブページのためのＨＴＭＬコードに基づいて、仮想３次元空間内の個々のウェブページの回転および／または位置を調節することを可能にする。
より具体的には、前述の実施例では、ユーザが、ユーザの複合現実システム内でブラウザを立ち上げると、ブラウザは、ウェブサイトとユニバースエンジンとの間の中間体として作用する。ブラウザエンジンは、いくつかの実施形態では、記憶された位置および回転データを使用することによって、要求されるウェブページのための位置および回転データ（例えば、ｘ－、ｙ－、およびｚ－座標）を更新する。これらの実施形態のうちのいくつかでは、ユニバースブラウザエンジンは、ウェブページパネルの位置および回転データをブラウザエンジン内に記憶してもよい（ウェブページを表示するために）。Ｃｈｒｏｍｉｕｍ’ｓ Ｂｌｉｎｋが、ブラウザエンジンとして使用される、ある実施例では、ユニバースブラウザエンジンは、位置および回転データをＲｅｎｄｅｒＷｉｄｇｅｔクラス内に記憶してもよい。
ブラウザエンジンを用いて、位置および回転データを記憶する目的のうちの１つは、ブラウザが、例えば、位置および／または回転データをユニバースブラウザから取得することからのさらなる遅延を伴わずに、ウェブサイトを形成するウェブページを位置付けるおよび／または回転させるための要求に応答して、本最も最近キャッシュされた位置および回転データをウェブサイトに迅速に通信し得ることである。ＲｅｎｄｅｒＷｉｄｇｅｔは、Ｃｈｒｏｍｉｕｍプロジェクト、ＷｅｂＫｉｔ等内のクラスであって、抽象インターフェース（例えば、仮想３次元空間内の２次元ウィンドウまたは３次元ボリューム）を複合現実ディスプレイ内に実装し、入力イベントを受信し、コンテンツをその中にペイントまたはレンダリングする。
ウェブページの開発者が、ウェブページのための位置および回転データをすでに設定している、いくつかの実施形態では、ブラウザエンジンは、ウェブページのための位置および回転データが、レンダリングされるように設定し、位置および回転データを、複合現実システムの一部であって、ユーザとインターフェースをとる、ユニバースブラウザエンジンにパスしてもよい。ブラウザエンジンおよびユニバースブラウザエンジンは、位置および回転データを同期させてもよい。ブラウザエンジンは、次いで、関数コールを呼び出し、位置および回転データを使用することによって、ウェブページをレンダリングしてもよい。
いくつかの実施形態では、ユーザはさらに、例えば、ディスプレイ上のウェブページまたはウェブページパネルと関連付けられる、位置付けハンドルおよび／または回転ハンドルを操作することにより、例えば、３次元仮想空間内のディスプレイ（例えば、後により詳細に説明されるであろう、プリズム）上のウェブページパネルまたはさらにウェブページを再位置付けおよび／または回転させることによって、ウェブページパネルを操作してもよい。これらの実施形態では、ユーザは、ウェブページの位置および／または回転を事実上変化させ、ユニバースブラウザエンジンはまた、新しい位置および／または回転データをブラウザエンジンと同期させてもよい。
いくつかの実施形態では、複合現実システムは、ブラウザエンジンによって所望のウェブページをレンダリングする前に、プレースホルダ（例えば、部分的または完全境界を伴う、中実または半透明境界ボックスまたは透明境界ボックス）を仮想３次元空間内に表示してもよい。いくつかの他の実施形態では、所望のウェブページのミニビューが、ウェブページの完全レンダリングの前に、最初に、仮想３次元空間に提示されてもよい。さらにいくつかの他の実施形態では、ウェブページは、開発者またはエンドユーザのいずれかによる、任意の変更が、ウェブページの位置および／または回転を変化させるために実施される前に、仮想３次元空間内に、３次元座標とともに、完全にレンダリングおよび表示されてもよい。
種々の実施形態が、ここで、当業者が本発明を実践することを可能にするように、本発明の例証的実施例として提供される、図面を参照して、詳細に説明されるであろう。着目すべきこととして、下記の図および実施例は、本発明の範囲を限定することを意味するものではない。本発明のある要素は、部分的または完全に、公知のコンポーネント（または方法またはプロセス）を使用して実装され得る場合、本発明の理解のために必要なそのような公知のコンポーネント（または方法またはプロセス）のそれらの部分のみが、説明され、そのような公知のコンポーネント（または方法またはプロセス）の他の部分の詳細な説明は、本発明を不明瞭にしないように、省略されるであろう。さらに、種々の実施形態は、例証として本明細書で参照されるコンポーネントの現在および将来的公知の均等物を包含する。
図１Ａは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するために、ウェブサイトと相互作用する、簡略化されたシステムの高レベルブロック図を図示する。より具体的には、ユニバースブラウザエンジン１０６Ａが、ウェブページの位置および回転データをブラウザエンジン１０４Ａに伝送し、そのようなデータをブラウザエンジン１０４Ａ内に記憶し得る。ユニバースブラウザエンジン（例えば、１０６Ａ）は、ラップトップまたはデスクトップコンピュータのディスプレイ画面上に表示される２Ｄウィンドウを管理するためにラップトップまたはデスクトップコンピュータ上で起動する、２Ｄウィンドウマネージャに類似する、３Ｄウィンドウマネージャとしての役割を果たし得る。
ユニバースブラウザエンジンと連動して機能する、ユニバースブラウザエンジンまたはアプリケーション（例えば、１０６Ａ）はまた、複合現実システムを介して、ユーザのランドスケープ内の仮想コンテンツの生成、設置、および表示を管理する。ブラウザエンジン１０４Ａが、ウェブサイト１０２Ａのウェブページまたはその中のコンテンツを表示するために初期化すると（例えば、ユーザが、ブラウザを立ち上げると）、ブラウザ１０２Ａは、ウェブサイトが、位置および回転データをクライアントのブラウザに設定し、位置および回転データをクライアントブラウザ（１０８Ａ）から取得することの両方を行うようにコーディングされる、ＡＰＩのセットを組み込むようにコーディングされるとき、ウェブページの位置および回転データが、ブラウザエンジン１０４Ａによってレンダリングされるように設定してもよい。
いくつかの実施形態では、ユニバースブラウザエンジンは、３Ｄウィンドウマネージャの機能を提供し、表示されるべき仮想コンテンツ（例えば、方法および場所）、およびより詳細に説明されるであろう、プリズムがエクステンデッドリアリティシステムのために生成されるべき方法および場所を管理する。例えば、ユニバースブラウザエンジンは、持続機能性を提供してもよい。非限定的実施例として、ユーザの台所のカウンタ上に設置されたエンティティ（例えば、ソフトウェアアプリケーションまたはそのインスタンス、仮想オブジェクト等）は、ユーザがエンティティの設置を変化させない限り、かつそれまで、台所のカウンタ上に現れ得る。ユーザは、いくつかの実施形態では、システムが、オン／オフにされる度に、またはユーザが、部屋から退出し、戻って来る度に、エンティティを再び立ち上げる必要がなくてもよい。これらの実施形態では、ユニバースブラウザエンジンは、プリズム情報またはデータをパス可能世界内に記憶し、ユニバースブラウザエンジンは、ユーザが、エクステンデッドリアリティシステムを使用し、ユーザの台所内のエンティティアプリケーションに近接近する度に、ユーザの台所上に設置されたエンティティを再開してもよい。
ユニバースブラウザエンジンはまた、ユニバースブラウザエンジンを含む、ＸＲシステムのユーザに対して、ソフトウェアアプリケーション（またはそのインスタンス）の状態を維持または変化させてもよい。例えば、アプリケーションは、任意の明示的ユーザアクションを要求せずに、自動的に、開始、中断／一時停止、および／または再開してもよい。これは、アプリケーションの動作状態を変化させるために、ユーザ相互作用（例えば、ユーザが「閉じる」ボタンをクリックする）が要求される、２Ｄウィンドウマネージャと対照的である。本側面は、アプリケーションの状態を変化させるために、ユーザ相互作用（例えば、ユーザがアプリケーションの「閉じる」ボタンをクリックする）を要求する、他のウィンドウマネージャとも異なる。また、他のウィンドウと異なり、３Ｄプリズム（またはさらに、その中にプリズムが常駐する、３Ｄ仮想空間）は、双方向およびプライベートの両方であってもよい。例えば、ユニバースブラウザエンジンは、プリズム（または３Ｄ仮想空間）のプライバシおよび双方向特徴の両方を有効にしてもよい。対照的に、従来のウィンドウは、双方向またはプライベートのいずれかであって、双方向およびプライベートの両方であることができない。
ブラウザエンジンは、多くの場合、ＨＴＭＬおよび／またはウェブページの他のリソースをユーザのデバイス（例えば、複合現実ヘッドセット）上の双方向視覚的表現に変換すること等のタスクを実施する、ウェブブラウザのソフトウェアコンポーネントである。以下の説明は、ＣｈｒｏｍｉｕｍまたはＣｈｒｏｍｉｕｍベースのブラウザを参照し得るが、他のブラウザ（例えば、ＭｏｚｉｌｌａのＦｉｒｅｆｏｘ、ＡｐｐｌｅのＳａｆａｒｉ、ＭｉｃｒｏｓｏｆｔのＥｄｇｅおよびＩｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ、ＧｏｏｇｌｅのＣｈｒｏｍｅ、Ｏｐｅｒａ、３Ｄブラウザ等）もまた、検討され、その個別のブラウザエンジンに対応する、異なるブラウザと完全に等しい効果を伴う、技法にも適用される（例えば、ＭｏｚｉｌｌａのためのＧｅｃｋｏ、ＳａｆａｒｉのためのＷｅｂＫｉｔ、ＣｈｒｏｍｉｕｍのためのＢｌｉｎｋ、Ｃｈｒｏｍｉｕｍベースのブラウザ、ＭｉｃｒｏｓｏｆｔのＥｄｇｅ、およびＯｐｅｒａ、およびＩｎｔｅｒｎｅｔ ＥｘｐｌｏｒｅｒのためのＴｒｉｄｅｎｔ等）
ブラウザエンジン１０４Ａは、直上で述べられたブラウザまたは任意のカスタムブラウザ（例えば、３Ｄブラウザ）等の任意の公的に入手可能なブラウザを含んでもよい。ブラウザエンジン１０４Ａの機能のうちの１つは、例えば、ウェブページのための位置および回転データを用いて、ＨＴＭＬドキュメントおよびウェブページの他のリソースをユーザのデバイス上の双方向視覚的表現に変換する、ウェブサイトまたはユニバースブラウザエンジン１０６Ａのいずれかによって提供される位置および回転データを使用して、視覚的表現のためのグラフィカル座標を計算する、プリズム（またはその一部）をペイントまたはレンダリングすること等を含む、機能を提供することである。
本明細書に説明されるウェブページを管理および表示するための１つ以上の実施形態に関するＡＰＩの本セットは、ポータブルオペレーティングシステムインターフェース（ＰＯＳＩＸ）ＡＰＩ規格に準拠し、プラットフォームまたはオペレーティングシステムから独立して、空間コンピューティング機能性を提供する、ＡＰＩを含んでもよい。ＡＰＩの本セットは、上記で前述されるように、いくつかの実施形態では、ウェブサイトのコードの中に組み込まれてもよく、および／またはいくつかの他の実施形態では、複合現実システム上に常駐する、オペレーティングシステムまたはソフトウェアアプリケーションの一部の中に統合されてもよい。
ＡＰＩの本セットは、ウェブサイト１０２Ａと、ブラウザエンジン１０４Ａと、ユニバースブラウザエンジン１０６Ａとの間で位置および回転データを設定および取得するだけではなく、また、オペレーティングシステムとソフトウェアアプリケーションとの間のランタイム層および１つ以上の３Ｄエンジンとも併せて（またはオペレーティングシステムサービス層とソフトウェアアプリケーションとの間では、より精密に）機能する。本ランタイム層は、ライブラリ、アプリケーション、サービス等を含み、下層複合現実システムのための高度なグラフィカルユーザインターフェース、および３次元平行移動および回転変換、材料および骨格３Ｄモデルアニメーションを伴う３Ｄモデル、２Ｄスプライトアニメーション、空間コンピューティングのための高忠実性空間化テキストレンダリング、２Ｄおよびサウンドフィールドオーディオ、２Ｄおよび立体視ビデオ、剛体衝突物理学、リアルタイム粒子ＦＸ、入力イベントおよび触知制御、手のジェスチャ、発話認識および発話／テキスト変換、オブジェクト、照明、陰影、および実世界オクルージョンをレンダリングするためのリアルタイム空間コンピューティング技術等の種々のコンピューティング機能性を提供する（単独で、または３Ｄエンジンと併せてのいずれかで）。
例えば、本ランタイム層は、仮想オブジェクト、ブラウザウィンドウ、レンダリングされたウェブページ等、または任意のその属性（例えば、ディスプレイ座標、サイズ、形状、遠近感、照明効果等）が、ユーザによって現実またはほぼ現実であるように現れる、またはそのように知覚されるように、仮想３次元空間内に表示される、例えば、プリズム（後に説明されるであろう）、仮想オブジェクト、ブラウザウィンドウ、レンダリングされたウェブページ等に適用され得る、３次元平行移動および回転変換のセットを含んでもよい。これらの変換についてのさらなる詳細は、下記の図２Ｅ－２Ｉを参照して後に説明されるであろう。
図１Ａに戻ると、ＡＰＩのセットを用いて、ウェブサイト１０２Ａは、ブラウザエンジン１０４Ａから位置および／または回転要求を送信してもよい（１１２Ａ）。この場合、ブラウザエンジン１０４Ａは、直近の位置および回転データをウェブサイトに伝送してもよい（１１４Ａ）。上記に説明されるように、ユニバースブラウザエンジン１０６Ａは、ブラウザエンジン１０４Ａが、例えば、そのような位置および回転データをユニバースブラウザエンジン１０６Ａから取得することからの付加的遅延を伴わずに、ウェブサイト１０２Ａからのそのような要求に応答し得るように、ブラウザエンジン１０４Ａ内に、またはそれを用いて（例えば、ブラウザエンジン１０４Ａによってアクセス可能なキャッシュ内に）、位置および回転データを記憶してもよい。
最新位置および回転データをウェブサイト１０２Ａに返すことに加え（１１４Ａ）、ブラウザエンジン１０４Ａは、位置および回転データを、単独で、またはレンダリングされたウェブページとともにのいずれかで、ユニバースブラウザエンジン１０６Ａに伝送してもよい（１１０Ａ）。ユニバースブラウザエンジン１０６Ａは、部分的または全体的に、１１０Ａを介して受信された位置および回転データに基づいて、プリズム（またはそのより小さい仮想３Ｄボリューム）を作成または識別し、ユニバースブラウザエンジン１０６Ａは、位置および回転データ（１１６Ａ）をブラウザエンジン（１０４Ａ）と同期させる。ユニバースブラウザエンジン１０６Ａは、ブラウザエンジン１０４Ａをコールし、その本来の機能、ライブラリ、および／またはＡＰＩ（例えば、ＣｈｒｏｍｉｕｍまたはＷｅｂＫｉｔにおけるＲｅｎｄｅｒＷｉｄｇｅｔ、ＯｐｅｎＧＬ ＡＰＩ、ＯｐｅｎＧＬ ＥＳ２．０ＡＰＩ等、Ａｌｍｏｓｔ Ｎａｔｉｖｅ Ｇｒａｐｈｉｃｓ Ｌａｙｅｒ Ｅｎｇｉｎｅ、Ｄｉｒｅｃｔ３Ｄ ＡＰＩ、ＷｅｂＧＬ、Ｇｆｘ ＡＰＩ等、またはそれらの任意の組み合わせ）を呼び出し、表示のために、位置および回転データに基づいて、ウェブページのコンテンツをプリズムまたはその一部内にレンダリングしてもよい。
いくつかの実施形態では、ユニバースブラウザエンジンは、オペレーティングシステムスタック内のオペレーティングシステムコアおよびオペレーティングシステムサービスの上方で起動される、１つ以上の３Ｄエンジンを呼び出し、３Ｄコンテンツをレンダリングしてもよい。これらの１つ以上の３Ｄエンジンは、３Ｄおよび／または２Ｄグラフィックのための任意のカスタム３Ｄエンジンである、グラフィック処理ユニット（ＧＰＵ）の抽象化層を提供する、商業的または公的に入手可能な３Ｄエンジン（例えば、Ｕｎｒｅａｌ Ｅｎｇｉｎｅ４、Ｕｎｒｅａｌ Ｅｎｇｉｎｅ３、ＣｒｙＥｎｇｉｎｅ Ｖ、Ｕｎｉｔｙ ３Ｄ、Ｓｏｕｒｃｅ Ｅｎｇｉｎｅ、Ｓｏｕｒｃｅ Ｅｎｇｉｎｅ２等）を含んでもよい。これらの実施形態のうちのいくつかでは、複合現実システムは、３Ｄエンジン全体を組み込む必要はない。むしろ、複合現実システムは、レンダリングエンジンまたはレンダリングＡＰＩ、物理法則をエミュレートするための物理学エンジン、ＪａｖａＳｃｒｉｐｔ（登録商標）スクリプト等のスクリプトを解析および実行するためのスクリプトエンジン、メモリ管理モジュール、および／またはスレッドモジュール等のより小さい部分を組み込んでもよい。いくつかの実施形態では、本明細書に説明される複合現実システムは、２Ｄコンテンツをレンダリングするためのレンダラと、３Ｄグラフィックをレンダリングするための別個のレンダラとを呼び出してもよい。
ユーザはさらに、複合現実システムを通して、仮想３Ｄ空間内に表示されるウェブページの位置および／または回転を改変してもよい。例えば、ユーザは、それぞれ、表示されるウェブページ、そのためのプレースホルダ、またはウェブページのミニプレビューバージョンを位置付け、回転させることと関連付けられる、ソフトウェアハンドルを握持することによって、表示されるウェブページ、そのためのプレースホルダ、またはウェブページのミニプレビューバージョンを自由に移動および／または回転させてもよい。ウェブページの位置および／または回転データは、したがって、修正され、ユニバースブラウザエンジン１０６Ａはさらに、位置および／または回転データをブラウザエンジン１０４Ａと同期させてもよい（１１６Ａ）。その時点で、ブラウザエンジン１０４Ａは、次いで、オリジナル位置および／または回転データと本修正された位置および／または回転データを置換する。
図１Ｂは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するために、ウェブサイトと相互作用する、簡略化されたシステムの別の高レベルブロック図を図示する。より具体的には、図１Ｂは、いくつかの実施形態における、ウェブページのためのブラウザパネル１０２Ｂと、ブラウザエンジン１０４Ｂと、ユニバースブラウザエンジン１０６Ｂとの間の相互作用と、ブラウザ１０２Ｂ、ブラウザエンジン１０４Ｂ、およびユニバースブラウザエンジン１０６Ｂによって実施される、個別のタスクおよび機能とを図示する。ブラウザまたはウェブブラウザは、ウェブリソース（例えば、個々のウェブページ、画像、ビデオ等）が、統一資源ロケータによって識別され、ウェブブラウザが、これらのウェブリソースをウェブサーバから読み出し、それらをユーザのデバイス上に表示することを可能にする、ワールドワイドウェブに関する情報にアクセスするためのソフトウェアアプリケーションである。ブラウザエンジンは、ＨＴＭＬおよび／またはウェブページの他のリソースをユーザのデバイス（例えば、複合現実ヘッドセット）上の双方向視覚的表現に変換すること等のタスクを実施する、ウェブブラウザのソフトウェアコンポーネントである。本明細書に説明される種々の実施形態は、開発者およびユーザが、少なくとも、ＡＰＩの前述のセットと、複合現実システムと、ソフトウェアアプリケーションおよびライブラリ（例えば、ユニバースブラウザエンジン）とを使用することによって、インターネットコンテンツを管理および表示し、ウェブリソースを利用するために、任意の公的または商業的に利用可能なブラウザおよびその個別のエンジンを活用する。
ウェブサイトは、着目ウェブページまたはウェブページのパネルのための位置、回転、および／またはスケールデータを設定し得（１０２Ｂ）、現在のウェブページの現在の位置、回転、および／またはスケールをさらに要求し得る（１０２Ｂ）。ウェブページの開発者が、ある位置、回転、および／またはスケールデータを含む、ある様式において、着目ウェブページを提示することを所望している場合がある、いくつかの実施形態では、ウェブサイトはさらに、そのような位置、回転、および／またはスケールデータをブラウザに送信してもよい（１０２Ｂ）。
いくつかの実施形態では、ブラウザが、コンテンツをインターネットから表示するために立ち上げられると、ブラウザは、初期化し、ウェブサイトのウェブページまたはその中のコンテンツをレンダリングおよび表示する（１０４Ｂ）。ブラウザはまた、ブラウザエンジンによってレンダリングされるべきウェブページの位置および回転データを送信し得る（１０４Ｂ）。例えば、ウェブサイトが、位置および回転データをクライアントのブラウザに設定し、位置および回転データをクライアントブラウザから取得することの両方を行うようにコーディングされる、ＡＰＩの前述のセットを組み込むようにコーディングされるとき、ブラウザは、本位置および回転データをウェブサイトから受信し、ウェブパネルがコンテンツをウェブサイトから表示するために、位置および回転データを設定してもよい。
ブラウザは、ウェブページのためのウェブパネルのための変換、位置データ、および／または回転データをリセットしてもよい（１０４Ｂ）。例えば、ブラウザは、ウェブページパネルのための３Ｄ変換（例えば、３Ｄ平行移動変換、３Ｄ回転変換、および／または３Ｄスケーリング変換）をデフォルト値または状態にリセットしてもよい。デフォルト値または状態は、一実施形態では、レンダラ（例えば、ＷｅｂＫｉｔおよびＣｈｒｏｍｉｕｍのためのＲｅｎｄｅｒＷｉｄｇｅｔ）によってアクセス可能な非一過性メモリ（例えば、キャッシュメモリ）内に記憶されてもよい。ブラウザは、位置および／または回転要求をウェブサイトからそのブラウザエンジンに中継してもよい（１０４Ｂ）。ブラウザエンジンは、複合現実システム内に常駐する、ウェブサイトとユニバースブラウザエンジンとの間の中間体として作用する。ウェブページの位置および回転データパネルが、前述の非一過性メモリ内に記憶される、いくつかの実施形態では、ブラウザまたはそのブラウザエンジンは、例えば、ユニバースブラウザエンジンからのそのようなデータを取得することからの付加的遅延を伴わずに、ウェブサイトからの位置および／または回転要求に迅速に応答し得る。ブラウザエンジンによってアクセス可能な本位置および回転データは、ウェブサイトまたはブラウザがデータまたはその一部を変化させるとき、同期されてもよい。加えて、または代替として、ブラウザエンジンによってアクセス可能な本位置および回転データは、ブラウザによって、初期化およびリセットされてもよい。いくつかの実施形態では、本位置および回転データは、位置および回転データのためのウェブサイトの要求（１０２Ｂ参照）によって更新されてもよい。ブラウザエンジンが、位置および／または回転データをウェブサイトから受信する、いくつかの実施形態では、ブラウザエンジンはさらに、データをブラウザにパスしてもよい。
ブラウザはまた、単独で、またはレンダリングされたコンテンツ（例えば、ウェブページ）とともにのいずれかで、位置および回転データをユニバースブラウザエンジン（１０４Ｂ）に送信してもよい。ユニバースブラウザエンジンは、少なくとも部分的に、ブラウザエンジンからの位置および回転データに基づいて、レンダリングされたウェブページを表示するために、実世界３Ｄ空間に対応し得る、仮想３Ｄ空間内に仮想境界を有する、３Ｄ仮想ボリューム（例えば、プリズム）を作成してもよい。加えて、または代替として、いくつかの実施形態は、ユーザに、複合現実システムによって作成された仮想３Ｄ空間内にレンダリングされたウェブページ（またはコンテンツ）を操作する能力を提供してもよい。
ユーザは、したがって、変換の新しいセットがレンダリングされたウェブページに適用される必要があるように、仮想３Ｄ空間内にレンダリングされたウェブページを移動および／または回転させてもよい。複合現実システムのオペレーティングシステムは、ランタイム層および３Ｄエンジンを含み、少なくとも部分的に、ブラウザエンジンから受信された位置および回転データに基づいて、変換の新しいセットをレンダリングされたウェブページに適用してもよい。変換の新しいセットが、適用された後、ユニバースブラウザエンジンはまた、新しい位置および回転データをブラウザエンジン（１０６Ｂ）に返信し、その中の前の位置および回転データを更新してもよい。
ブラウザが、初期化すると、またはユーザが、レンダリングされたウェブページを操作し、故に、位置および／または回転データを変化させると、ブラウザエンジンは、位置および回転データを、利用可能である場合、ユニバースブラウザエンジンから受信し得る（１０４Ｂ）。ブラウザエンジンは、したがって、非一過性メモリ（例えば、キャッシュ）内に記憶される位置および／または回転データを、ユニバースブラウザエンジンから受信され、例えば、キャッシュメモリ内に記憶される、リフレッシュされた位置および／または回転データで更新し得る（１０４Ｂ）。ブラウザエンジンはまた、ウェブページパネルのための位置および回転データを設定してもよい（１０４Ｂ）。ウェブページの開発者が、ウェブページの位置および回転を設定している（例えば、開発者が、オンラインチェスゲームを表示するウェブページの回転を設定している）、ある実施例では、ブラウザはまた、ウェブサイトから受信された位置および回転データに従って、ウェブページパネルの位置および回転データを設定してもよい。
加えて、ブラウザエンジンは、ユニバースブラウザエンジンが、複合現実システムを介してレンダリングされたウェブページを提示するための仮想３Ｄ空間（例えば、プリズム）を決定し得る（例えば、新しいものを作成する、または既存のものから識別することによって）ように、位置および回転データをユニバースブラウザエンジンに送信してもよい（１０４Ｂ）。ユーザが、レンダリングされたウェブページをさらに操作する能力を提供される、いくつかの実施形態では、ブラウザエンジンは、レンダリングされたウェブページの位置および回転データをユニバースブラウザエンジンに提供してもよく、これは、ひいては、ユーザがレンダリングされたウェブページを操作するためのソフトウェアハンドルを提供し、対応する変換を実施し、ユーザの操作に応答してもよい。
ユニバースブラウザエンジンはまた、１０６Ｂにおいて、ユーザが、仮想３Ｄ空間（例えば、１つ以上のプリズム）内のウェブページおよび他のコンテンツおよび／またはリソースを管理および表示するための高度なグラフィカルユーザインターフェースおよび機能性を提供するために、オペレーティングシステム、オペレーティングシステムサービス、ランタイムアプリケーションおよびライブラリのセット、１つ以上の３Ｄエンジン、および複合現実システムのアプリケーションのスイートを含む、またはそれと連動して機能する。例えば、ユニバースブラウザエンジンの機能のうちの１つは、ウェブページ（または他の仮想コンテンツ）の位置および回転データをブラウザエンジンに提供することである（１０４Ｂ）。ユニバースブラウザエンジンはまた、直近の位置および／または回転データが、ブラウザエンジンにプッシュされる（ユニバースブラウザエンジンから）、またはユニバースブラウザエンジンからプルされ得る（ブラウザエンジンによって）ように、直近の位置および／または回転データをブラウザエンジンと同期させる（１０６Ｂ）。
図１Ｃ－１Ｅは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示する際に使用され得る、例示的ブラウザエンジンおよびユニバースブラウザエンジンのためのさらなる詳細なブロック図を図示する。より具体的には、図１Ｃは、いくつかの実施形態における、仮想３Ｄ空間（例えば、プリズム）内のウェブページパネルの３Ｄ位置および／または回転データを設定するための簡略化された擬似コードを図示する。これらの実施形態では、擬似コードは、Ｃｈｒｏｍｉｕｍのためのコードの類似セットに基づくが、他のウェブブラウザのためのコードもまた、検討され、完全に等しい効果を伴って、本明細書に説明される技法に適用されることができる。
例えば、ブラウザエンジン１００Ｃは、１０２Ｃにおいて、Ｗｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．３ＤＰｏｓｉｔｉｏｎａｎｄ／ｏｒＷｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．３ＤＲｏｔａｔｉｏｎを実行し、ユニバースブラウザエンジン内のウェブページパネルの３Ｄ位置および／または回転データを設定するためのプロセスを初期化してもよい。Ｗｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．３ＤＰｏｓｉｔｉｏｎおよびＷｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．３ＤＲｏｔａｔｉｏｎは、例えば、ＯｐｅｎＧＬ Ｍａｔｈｅｍａｔｉｃｓ（ＧＬＭ）（または任意の他の数学ライブラリ）を利用して、部分的または全体的に、２Ｄまたは３Ｄ空間内の２Ｄおよび３Ｄエンティティのための３Ｄ位置データ、３Ｄ回転データ、スケール、および１つ以上の変換に基づいて、ウェブページパネルの位置データを設定および取得してもよい（例えば、擬似コード「ｇｌｍ：：ｖｅｃ３ｏｌｄ＿ｐｏｓ（０．０ｆ）」、「ｇｌｍ：：ｑｕａｔｒｏｔａｔｉｏｎ（ｇｌｍ：：ｖｅｃ３（０．０ｆ））」、「ｇｌｍ：：ｖｅｃ３ｓｃａｌｅ（１．０ｆ）」、および「ｇｌｍ：：ｍａｔ４ｔｒａｎｓｆｏｒｍ＝ｗｅｂ＿ｃｏｎｔａｉｎｅｒ＿－＞ｇｅｔＣｕｒｒｅｎｔＶｏｌｕｍｅＴｒａｎｓｆｏｒｍ（）」によって）および回転データ（例えば、擬似コード「ｇｌｍ：：ｖｅｃ３ｐｏｓｉｔｉｏｎ（０．０ｆ）」、「ｇｌｍ：：ｑｕａｔｏｌｄ＿ｒｏｔ（ｇｌｍ：：ｖｅｃ３（０．０ｆ））」、「ｇｌｍ：：ｖｅｃ３ｓｃａｌｅ（１．０ｆ）」、および「ｇｌｍ：：ｍａｔ４ｔｒａｎｓｆｏｒｍ＝ｗｅｂ＿ｃｏｎｔａｉｎｅｒ＿－＞ｇｅｔＣｕｒｒｅｎｔＶｏｌｕｍｅＴｒａｎｓｆｏｒｍ（）”」によって）。擬似コード、プログラミング言語、および種々のクラス、変数等の名称は、本願では、例証および解説目的のために使用され、同じまたは実質的に類似目的を果たす、任意の他の好適なプログラミング言語、名称等もまた、検討され、また、そのような目的を達成するために使用されてもよいことに留意されたい。
ブラウザエンジン１００Ｃはさらに、１０４Ｃにおいて、ウェブページパネルの位置データおよび／または回転データ（図示せず）を設定および取得するために、ＶｉｒｔｕａｌＷｏｒｌｄ：：Ｓｅｔ３ＤＰｏｓｉｔｉｏｎを実行してもよく、ＶｉｒｔｕａｌＷｏｒｌｄは、インプロセスである、フレームのためのＢｌｉｎｋ（Ｃｈｒｏｍｉｕｍのためのブラウザエンジン）内のクラスである。図１Ｃは、回転データではなく、位置データを設定および決定する実施例を図示し、回転データを設定および決定することは、対応するコードを用いて、同じまたは実質的に類似様式において行われてもよいことに留意されたい。いくつかの実施形態では、ブラウザエンジンはまた、他のレンダラプロセス内に常駐する、プロキシのためのＲｅｍｏｔｅＤｏｍＷｉｎｄｏｗ（ドキュメントオブジェクトまたはウィジェットを有していない）を含んでもよい。構成概念ＶｉｒｔｕａｌＷｏｒｌｄ：：３ＤＰｏｓｉｔｉｏｎは、例えば、Ｇｆｘ（ＣＳＥ２０２１１のための単純グラフィックライブラリ）またはＧｆｘ－ｒｓ等の低レベルグラフィック抽象化層（例えば、「ｇｆｘ：：Ｐｏｉｎｔ３ｆｐｏｓ（ｘ－ｃｏｏｒｄｉｎａｔｅ， ｙ－ｃｏｏｒｄｉｎａｔｅ， ｚ－ｃｏｏｒｄｉｎａｔｅ）」、「ｇｆｘ：：Ｐｏｉｎｔ３ｆ ｒｏｔ（ｘ－ｒｏｔａｔｉｏｎ， ｙ－ｒｏｔａｔｉｏｎ， ｚ－ｒｏｔａｔｉｏｎ）」、「ｇｆｘ：：Ｐｏｉｎｔ３Ｆ ｒｏｔ＝ｌｏｃａｌ＿ｆｒａｍｅ＿ｃｌｉｅｎｔ－＞ＧｅｔＶｉｒｔｕａｌＷｏｒｌｄＲｏｔａｔｉｏｎ（）」、または「ｇｆｘ：：Ｐｏｉｎｔ３Ｆｆｌａｔ＿ｒｏｔ｛－Ｍ＿ＰＩ＿２，０．０ｆ， ０．０ｆ｝」等を介して）を使用して、位置および／または回転データを取得および設定してもよい。
ブラウザエンジン１００Ｃはさらに、ＬｏｃａｌＦｒａｍｅＣｌｉｅｎｔＩｍｐｌ：：Ｓｅｔ３ＤＰｏｓｉｔｉｏｎ（１０６Ｃ）、ＲｅｎｄｅｒＦｒａｍｅＩｍｐｌ：Ｓｅｔ３ＤＰｏｓｉｔｉｏｎ（１０８Ｃ）を実行し、プロセス間通信（ＩＰＣ）メッセージ－ＦｒａｍｅＨｏｓｔＭｓｇ＿Ｓｅｔ３ＤＰｏｓｉｔｉｏｎを送信してもよい。構成概念ＲｅｎｄｅｒＦｒａｍｅＩｍｐｌ：Ｓｅｔ３ＤＰｏｓｉｔｉｏｎは、ＲｅｎｄｅｒＷｉｄｇｅｔ：：Ｓｅｔ３ＤＰｏｓｉｔｉｏｎをコールし、ＩＰＣメッセージを送信するために使用されてもよい。構成概念ＬｏｃａｌＦｒａｍｅＣｌｉｅｎｔＩｍｐｌ：：Ｓｅｔ３ＤＰｏｓｉｔｉｏｎは、Ｃ＋＋ＬｏｃａｌＦｒａｍｅＣｌｉｅｎｔＩｍｐｌ．ｃｐｐから導出され、例えば、ＧｆｘまたはＧｆｘ－ｒｓ等の低レベルグラフィック抽象化層および位置および回転データを使用して、クライアントフレームのための位置および／または回転を設定および取得する。ＬｏｃａｌＦｒａｍｅＣｌｉｅｎｔＩｍｐｌ：：Ｓｅｔ３ＤＰｏｓｉｔｉｏｎは、以下の擬似コードを用いて、ウェブページパネルの位置および回転データを取得および設定するために実装されてもよい。
Figure 2022526977000002
構成概念ＲｅｎｄｅｒＦｒａｍｅＩｍｐｌ：：Ｓｅｔ３ＤＰｏｓｉｔｉｏｎは、Ｃ＋＋ＲｅｎｄｅｒＦｒａｍｅＩｍｐｌ．ｃｐｐから導出され、Ｇｆｘおよび位置および／または回転データに基づいて、レンダラ（例えば、ＣｈｒｏｍｉｕｍベースのブラウザのためのＲｅｎｄｅｒＷｉｄｇｅｔ）を呼び出し、フレームをブラウザエンジン（例えば、ＣｈｒｏｍｉｕｍベースのブラウザのためのＢｌｉｎｋ）に戻すように構成される。ブラウザエンジン１００Ｃはまた、１１２Ｃにおいて、ＲｅｎｄｅｒＷｉｄｇｅｔ：：Ｓｅｔ３ＤＰｏｓｉｔｉｏｎを実行することによって、レンダラを呼び出し、３Ｄ位置および回転データ（例えば、ウェブページの開発者によって設定される位置および回転データ）に従って、着目ウェブページのコンテンツを「ペイント」またはレンダリングしてもよい。より具体的には、レンダラプロセスＲｅｎｄｅｒＷｉｄｇｅｔは、グルーインターフェース（例えば、ＷｅｂＷｉｄｇｅｔＤｅｌｅｇａｔｅ）を使用して、抽象インターフェースをグルーインターフェース内に実装してもよい。本抽象インターフェースは、例えば、２Ｄウィンドウまたは３Ｄボリュームをディスプレイ空間内に含み、入力イベントを受信し、コンテンツをその中にレンダリングしてもよい。補助ディスプレイアイテム（例えば、オプションのリストを示す上／下矢印を伴う選択ボックス、タブ、ポップアップウィンドウ、ナビゲーションコマンド等）がレンダリングされるべき、これらの実施形態のうちのいくつかでは、ブラウザエンジン１００Ｃはさらに、そのようなディスプレイアイテムのために、別のレンダリングプロセス（例えば、ＲｅｎｄｅｒＶｉｅｗ）を実行してもよい。
ＣｈｒｏｍｉｕｍまたはＣｈｒｏｍｉｕｍベースのブラウザが使用される、いくつかの実施形態では、ブラウザエンジン１００Ｃは、そのレンダリングシステム（「ビュー」）を使用して、ウェブページをレンダリングし、ユーザインターフェースは、レンダリング、レイアウト、およびイベントハンドリングに関与する、「ビュー」と呼ばれる、コンポーネントのツリーとして構築される。コンポーネントのツリー内の各ビューは、その独自の境界を有し、ユーザインターフェースの異なるコンポーネントを表し、ウィジェット（本来の２Ｄウィンドウまたは３Ｄボリューム）は、そのようなツリーのルートに位置する。いくつかの実施形態は、位置および位置データを用いて、仮想３Ｄ空間（または２Ｄウィンドウ）を作成し、仮想３Ｄ空間（または２Ｄウィンドウ）をＲｏｏｔＶｉｅｗにパスし、次いで、イベントをツリーの中に伝搬する。いくつかのディスプレイアイテムは、本来のウィジェットを表示およびサイズ調整するための方法を把握する、特殊な種類のビュー内にホストされる、オペレーティングシステムの制御を使用して、レンダリングされてもよい。これらのディスプレイアイテムは、例えば、ボタン、テーブル、ラジオボタン、チェックボックス、テキストフィールド、他の制御等を含む。コンポーネントのそのようなツリーについてのさらなる詳細は、図２Ｇ－２Ｉを参照して下記に説明される。
ブラウザエンジンはさらに、少なくとも部分的に、位置および回転データに基づいて、「ｄｅｌｅｇａｔｅ＿－＞Ｓｅｔ３ＤＰｏｓｉｔｉｏｎ（ｐｏｓｉｔｉｏｎ）」および「ｄｅｌｅｇａｔｅ＿－＞Ｓｅｔ３ＤＰｏｓｉｔｉｏｎ（ｐｏｓｉｔｉｏｎ）」を使用する、ＷｅｂＣｏｎｔｅｎｔｓＩｍｐｌ：：ＯｎＳｅｔ３ＤＰｏｓｉｔｉｏｎ（１１４Ｃ）、ＣｅｆＢｒｏｗｓｅｒＨｏｓｔＩｍｐｌ：：Ｓｅｔ３ＤＰｏｓｉｔｉｏｎ（１１６Ｃ）を実行する。ブラウザエンジンはさらに、ＣＥＦ（Ｃｈｒｏｍｉｕｍ Ｅｍｂｅｄｄｅｄ Ｆｒａｍｅｗｏｒｋ）とユニバースブラウザエンジンとの間のカスタム相互作用を可能にする、ユニバースブラウザエンジン特有インターフェースを用いて、ＣｅｆＵｎｉｖｅｒｓｅＢｒｏｗｓｅｒＥｎｇｉｎｅＰｒｉｖａｔｅＨａｎｄｌｅｒ：：ＯｎＳｅｔ３ＤＷｅｂＰａｇｅＰｏｓｉｔｉｏｎ（１１８Ｃ）を実行する。ＣＥＦベースのアプリケーションは、ＣＥＦを初期化し、ＣＥＦメッセージループを起動するためのエントリポイント、プロセス特有のコールバックをハンドリングするためのＣＥＦＡｐｐ派生クラス、ブラウザ－インスタンス特有のコールバック（例えば、ブラウザ寿命、コンテキストメニュー、ダイアログ、ディスプレイ通知、ドラッグイベント、注目イベント、キーボードイベント等に関するコールバック）をハンドリングするためのＣＥＦＣｌｉｅｎｔ派生クラス、ＣｅｆＢｒｏｗｓｅｒＨｏｓｔ：：ＣｒｅａｔｅＢｒｏｗｓｅｒ（）によって作成された１つ以上のＣＥＦＢｒｏｗｓｅｒインスタンス等のコンポーネントを含んでもよい。
ブラウザエンジン１００Ｃはさらに、構成概念ＣｅｆＢｒｏｗｓｅｒＨｏｓｔＩｍｐｌ：：Ｓｅｔ３ＤＰｏｓｉｔｉｏｎ（１１６Ｃ）およびＣｅｆＢｒｏｗｓｅｒＨｏｓｔＩｍｐｌ：：Ｓｅｔ３ＤＲｏｔａｔｉｏｎを実行し、ハンドラを決定してもよい（例えば、「ＣｅｆＲｅｆＰｔｒ＜ＣｅｆＵｎｉｖｅｒｓｅＢｒｏｗｓｅｒＥｎｇｉｎｅＰｒｉｖａｔｅＨａｎｄｌｅｒ＞ｈａｎｄｌｅｒ＝ｃｌｉｅｎｔ＿－＞ＧｅｔＵｎｉｖｅｒｓｅＢｒｏｗｓｅｒＥｎｇｉｎｅＰｒｉｖａｔｅＨａｎｄｌｅｒ（）」および「ｈａｎｄｌｅｒ－＞ＯｎＳｅｔＶｉｒｔｕａｌＷｅｂＰａｇｅＰｏｓｉｔｉｏｎ（ｔｈｉｓ， ｐｏｓｉｔｉｏｎ．ｘ（）， ｐｏｓｉｔｉｏｎ．ｙ（）， ｐｏｓｉｔｉｏｎ．ｚ（））」、「ｈａｎｄｌｅｒ－＞ＯｎＳｅｔＶｉｒｔｕａｌＷｅｂＰａｇｅＲｏｔａｔｉｏｎ（ｔｈｉｓ， ｒｏｔａｔｉｏｎ．ｘ（）， ｒｏｔａｔｉｏｎ．ｙ（）， ｒｏｔａｔｉｏｎ．ｚ（））を用いて）。ブラウザエンジンはまた、パブリック関数ＣｅｆＵｎｉｖｅｒｓｅＢｒｏｗｓｅｒＥｎｇｉｎｅＰｒｉｖａｔｅＨａｎｄｌｅｒ：：ＯｎＳｅｔ３ＤＷｅｂＰａｇｅＰｏｓｉｔｉｏｎおよびＣｅｆＵｎｉｖｅｒｓｅＢｒｏｗｓｅｒＥｎｇｉｎｅＰｒｉｖａｔｅＨａｎｄｌｅｒ：：ＯｎＳｅｔ３ＤＷｅｂＰａｇｅＲｏｔａｔｉｏｎを実行し、ウェブページパネルの３Ｄ位置および回転を設定してもよい。
ユニバースブラウザエンジン１２６Ｃは、ブラウザエンジン１００Ｃから受信された３Ｄ位置および回転データを用いて、ＣｌｉｅｎｔＨａｎｄｌｅｒ：：ＯｎＳｅｔ３ＤＷｅｂＰａｇｅＰｏｓｉｔｉｏｎおよびＣｌｉｅｎｔＨａｎｄｌｅｒ：：ＯｎＳｅｔ３ＤＷｅｂＰａｇｅＲｏｔａｔｉｏｎ（１２０Ｃ）、Ｂｒｏｗｓｅｒ：：ＯｎＳｅｔ３ＤＷｅｂＰａｇｅＰｏｓｉｔｉｏｎおよびＢｒｏｗｓｅｒ：：ＯｎＳｅｔ３ＤＷｅｂＰａｇｅＲｏｔａｔｉｏｎ（１２２Ｃ）、およびＢｒｏｗｓｅｒＷｉｎｄｏｗ：：ＯｎＳｅｔ３ＤＷｅｂＰａｇｅＰｏｓｉｔｉｏｎａｎｄＢｒｏｗｓｅｒＷｉｎｄｏｗ：：ＯｎＳｅｔ３ＤＷｅｂＰａｇｅＲｏｔａｔｉｏｎ（１２４Ｃ）を実行してもよい。ＣｌｉｅｎｔＨａｎｄｌｅｒは、ルールを定義するための手段（例えば、ブラウザ内で評価され、往復遅延または待ち時間を低減させ得る、宣言条件およびアクション）を提供するために、サーバへのコールバックを必要とせずに、ブラウザ内で起動する、イベントハンドラを含む。ＣｌｉｅｎｔＨａｎｄｌｅｒはまた、ＧＬＭ（ＯｐｅｎＧＬ Ｍａｔｈｅｍａｔｉｃｓ）を使用して、仮想３Ｄ空間（例えば、プリズム）内のウェブページ位置および回転を設定することを委任してもよい。
図１Ｄは、図１Ｃにおける前述のブロックのうちのいくつかの間の通信を図示し、ブラウザエンジン１００Ｃにおいて、仮想３Ｄ空間（例えば、プリズム）内の３Ｄ位置および／または回転データをユニバースブラウザエンジン１２６Ｃから取得する方法を図示する。下向き矢印は、実行のシーケンスおよび／または実行結果のパスを示し、上向き矢印は、値の戻りを示す。
これらの実施形態では、ブラウザエンジン１００Ｃは、上記の図１Ｃを参照して説明されるものと同様に、１０２Ｃにおいて、Ｗｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．３ＤＰｏｓｉｔｉｏｎおよび／またはＷｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．３ＤＲｏｔａｔｉｏｎを実行し、ユニバースブラウザエンジン内でウェブページパネルの３Ｄ位置および／または回転データを設定するためのプロセスを初期化してもよい。さらに、ブラウザエンジン１００Ｃはさらに、１０４Ｃにおいて、ウェブページパネルの位置データおよび／または回転データ（図示せず）を設定および取得するために、ＶｉｒｔｕａｌＷｏｒｌｄ：：Ｓｅｔ３ＤＰｏｓｉｔｉｏｎを実行してもよく、ＶｉｒｔｕａｌＷｏｒｌｄは、プラットフォームのＸＲデバイスのうちの１つを表す、クラスである。図１Ｄは、回転データではなく、位置データを設定および決定する実施例を図示し、回転データを設定および決定することは、対応するコードを用いて、同じまたは実質的に類似様式において行われてもよいことに留意されたい。
図１Ｃに図示されるブラウザエンジン１００Ｃと異なり、図１Ｄにおけるブラウザエンジン１００Ｃはさらに、ＬｏｃａｌＦｒａｍｅＣｌｉｅｎｔＩｍｐｌ：：Ｇｅｔ３ＤＰｏｓｉｔｉｏｎ（１０２Ｄ）およびＲｅｎｄｅｒＦｒａｍｅＩｍｐｌ：Ｓｅｔ３ＤＰｏｓｉｔｉｏｎ（１０４Ｄ）を実行してもよい。図１Ｃの説明と同様に、構成概念ＲｅｎｄｅｒＦｒａｍｅＩｍｐｌ：Ｇｅｔ３ＤＰｏｓｉｔｉｏｎは、ＲｅｎｄｅｒＷｉｄｇｅｔ：：Ｇｅｔ３ＤＰｏｓｉｔｉｏｎをコールし、ＩＰＣメッセージを送信し、および／またはＶｉｒｔｕａｌＷｏｒｌｄ：：３ＤＰｏｓｉｔｉｏｎに対する値を返し、位置および／または配向データを返すために使用されてもよい。図１ＣにおけるＬｏｃａｌＦｒａｍｅＣｌｉｅｎｔＩｍｐｌ：：Ｇｅｔ３ＤＰｏｓｉｔｉｏｎのような構成概念ＬｏｃａｌＦｒａｍｅＣｌｉｅｎｔＩｍｐｌ：：Ｇｅｔ３ＤＰｏｓｉｔｉｏｎは、Ｃ＋＋ＬｏｃａｌＦｒａｍｅＣｌｉｅｎｔＩｍｐｌ．ｃｐｐから導出され、例えば、ＧｆｘまたはＧｆｘ－ｒｓ等の低レベルグラフィック抽象化層を位置および回転データとして使用して、クライアントフレームのための位置および／または回転を設定および取得してもよい。
図１ＣにおけるＲｅｎｄｅｒＷｉｄｇｅｔ：：Ｓｅｔ３ＤＰｏｓｉｔｉｏｎのように、ブラウザエンジン１００Ｃはまた、１０６Ｄにおいて、ＲｅｎｄｅｒＷｉｄｇｅｔ：：Ｇｅｔ３ＤＰｏｓｉｔｉｏｎを実行することによって、レンダラを呼び出し、位置および／または配向データ（例えば、ウェブページの位置および／または配向データ）をＲｅｎｄｅｒＦｒａｍｅＩｍｐｌ：：Ｇｅｔ３ＤＰｏｓｉｔｉｏｎ（１０４Ｄ）に返し、さらに、３Ｄ位置および回転データ（例えば、ウェブページの開発者によって設定される位置および回転データ）に従って、着目ウェブページのコンテンツを「ペイント」またはレンダリングしてもよい。いくつかの実施形態では、レンダラプロセスＲｅｎｄｅｒＷｉｄｇｅｔは、グルーインターフェース（例えば、ＷｅｂＷｉｄｇｅｔＤｅｌｅｇａｔｅ）を使用して、抽象インターフェースをグルーインターフェース内に実装してもよい。本抽象インターフェースは、例えば、２Ｄウィンドウまたは３Ｄボリュームをディスプレイ空間内に含み、入力イベントを受信し、コンテンツをその中にレンダリングしてもよい。補助ディスプレイアイテム（例えば、オプションのリストを示す上／下矢印を伴う選択ボックス、タブ、ポップアップウィンドウ、ナビゲーションコマンド等）がレンダリングされるべき、これらの実施形態のうちのいくつかでは、ブラウザエンジン１００Ｃはさらに、そのようなディスプレイアイテムのために、別のレンダリングプロセス（例えば、ＲｅｎｄｅｒＶｉｅｗ）を実行してもよい。
図１Ｅは、いくつかの実施形態における、ブラウザエンジンとユニバースブラウザエンジンとの間で３Ｄ位置および回転データを同期させるための擬似コードを伴う、簡略化されたブロック図を図示する。例えば、仮想３Ｄ空間内のウェブページは、修正され得る（例えば、仮想３Ｄ空間内でウェブページを移動および回転させた、ユーザによって）。図１Ｅにおけるブロック図は、ウェブページの直近の３Ｄ位置および回転データがブラウザエンジン１００Ｅとユニバースブラウザエンジン１２６Ｅとの間で同期される、方法を図示する。図１Ｅはまた、ユニバースブラウザエンジン１２６Ｅが、ブラウザの初期化に応じて、位置および回転データをブラウザエンジン１００Ｅに送信する、実施形態を図示し得る。
図１Ｅに図示されるように、ユニバースブラウザエンジン１２６Ｅは、初期化されると（１２０Ｅ）、またはウェブページの修正された３Ｄ位置および／または回転データ（図示せず）の受信に応じて、ウェブページのボリューム、レンダリングされたブラウザ、および／またはプリズムの変換をリセットしてもよい（１２２Ｅ）。３Ｄ位置および回転データは、次いで、ブラウザエンジン１００Ｅにパスされ、ブラウザエンジン１００Ｅは、ＣｅｆＢｒｏｗｓｅｒＶｉｅｗ：：ＵｐｄａｔｅＣａｃｈｅｄ３ＤＰｏｓｉｔｉｏｎおよびＣｅｆＢｒｏｗｓｅｒＶｉｅｗ：：ＵｐｄａｔｅＣａｃｈｅｄ３ＤＲｏｔａｔｉｏｎを実行する（１０２Ｅ）。ブラウザエンジン１００Ｅはさらに、ＲｅｎｄｅｒＷｉｄｇｅｔＨｏｓｔＩｍｐｌ：：ＵｐｄａｔｅＣａｃｈｅｄ３ＤＰｏｓｉｔｉｏｎおよびＲｅｎｄｅｒＷｉｄｇｅｔＨｏｓｔＩｍｐｌ：：ＵｐｄａｔｅＣａｃｈｅｄ３ＤＲｏｔａｔｉｏｎを実行し、位置および／または回転データをユニバースブラウザエンジン１２６Ｅからの直近の位置および／または回転データで更新する。
いくつかの実施形態では、ユニバースブラウザエンジン１２６Ｅはまた、１２１Ｅにおいて、ウェブコンテンツ変換が変更されているかどうかをチェックしてもよい。ユニバースブラウザエンジン１２６Ｅは、ヘッダファイル－「ｖｏｉｄ ＣｈｅｋＩｆＷｅｂＣｏｎｔｅｎｔＴｒａｎｓｆｏｒｍＣｈａｎｇｅｄ（）；」内に対応するクラス定義を伴う、以下の例示的コード／擬似コードを実行し、ウェブコンテンツ変換が変更されているかどうかを決定してもよい。
Figure 2022526977000003
上記の実施例では、「ｃｅｆ＿ｗｉｎｄｏｗ」が、存在しない場合、いくつかの実施形態は、付加的動作を実施せずに、変換の初期化されない値を留保する。さらに、コードセグメント「ｉｆ（ｓｔｄ：：ａｂｓ（ｐＤｉｆｆ［ｉ］）＞０．０００１ｆ）．．．」は、関連変換が有意に変化しているかどうかを決定するための条件付きステートメントを示す。
ユニバースブラウザエンジンは、システム（例えば、ＡＲシステム）によるカーソル位置確認応答が、実際のカーソル位置と同一または異なるかどうかを決定し、クラス定義「ｖｉｒｔｕａｌ ｖｏｉｄ ＵｐｄａｔｅＬｏｏｐ（ｆｌｏａｔ／＊ｄｅｌｔａ＊”）；」を伴う仮想３次元空間内のステージおよび３Ｄボリュームを更新してもよい。
Figure 2022526977000004
いくつかの実施形態では、閾値が、更新が、前述の２つのカーソル位置間の相違が閾値を下回るときに実施されないであろうように、「デルタ」に関して決定されてもよい。いくつかの実施形態は、「ｃｏｎｔｅｎｔ＿ｖｉｅｗ＿－＞ＣｈｅｃｋＩｆＷｅｂＣｏｎｔｅｎｔＴｒａｎｓｆｏｒｍＣｈａｎｇｅｄ（）；」を用いて、ノード変換変化をプールし、ステージおよび分離したボリューム位置を更新する。
ブラウザエンジン１００Ｅはさらに、ＩＰＣ（プロセス間通信）メッセージ（例えば、ＶｉｅｗＭｓｇ＿ＵｐｄａｔｅＣａｃｈｅｄ３ＤＰｏｓｉｔｉｏｎ、ＶｉｅｗＭｓｇ＿ＵｐｄａｔｅＣａｃｈｅｄ３ＤＲｏｔａｔｉｏｎ等）を送信し、ＲｅｎｄｅｒＷｉｄｇｅｔ：：ＯｎＵＰｄａｔｅＣａｃｈｅｄ３ＤＰｏｓｉｔｉｏｎおよびＲｅｎｄｅｒＷｉｄｇｅｔ：：ＯｎＵＰｄａｔｅＣａｃｈｅｄ３ＤＲｏｔａｔｉｏｎ（１０８Ｅ）およびＲｅｎｄｅｒＷｉｄｇｅｔ：：Ｓｅｔ３ＤＰｏｓｉｔｉｏｎおよびＲｅｎｄｅｒＷｉｄｇｅｔ：：Ｓｅｔ３ＤＲｏｔａｔｉｏｎ（１１０Ｅ）を実行する。
いくつかの実施形態では、ユニバースブラウザエンジン１２６Ｅは、３Ｄ位置および回転データを、ブラウザエンジン１００Ｅによってアクセス可能な非一過性コンピュータ可読媒体（例えば、キャッシュメモリ）内に記憶してもよい。ユニバースブラウザエンジン１２６Ｅおよびブラウザエンジン１００Ｅは、したがって、仮想３Ｄ空間内のウェブページパネルの位置および／または回転が修正される度に同期される。ウェブページがロードを開始する度に、ＲｅｎｄｅｒＷｉｄｇｅｔ内の位置および回転変数を初期化およびリセットするために、ウェブページパネルの変換は、デフォルトにリセットされ、ＲｅｎｄｅｒＷｉｄｇｅｔ内の記憶された値は、同様に更新されるであろう。
図１Ｆは、１つ以上の実施形態における、ユニバースブラウザプリズムの簡略化された実施例を図示する。本実施例では、２つのユニバースブラウザプリズム（または単に、プリズム）１００Ｆおよび１０２Ｆが、複合現実デバイスを装着しているユーザ１０４Ｆのために、仮想３Ｄ空間内で作成される。プリズム１００Ｆおよび１０２Ｆは、直角プリズムとして現れるが、プリズムは、任意の形状およびサイズ（例えば、円柱、立方体、球体、四面体等、またはさらに不規則的３Ｄボリューム）であってもよいことに留意されたい。
プリズムは、仮想コンテンツが、その中にレンダリングおよび表示される、３次元立体空間である。プリズムは、エクステンデッドリアリティシステムによって提供される仮想３Ｄ空間内に存在し、エクステンデッドリアリティシステムによって提供される仮想３Ｄ空間は、いくつかの実施形態では、１つを上回るプリズムを含んでもよい。いくつかの実施形態では、１つ以上のプリズムは、実世界（例えば、ユーザの環境）内に設置され、したがって、プリズムのための１つ以上の実世界場所を提供してもよい。これらの実施形態のうちのいくつかでは、１つ以上のプリズムは、１つ以上のオブジェクト（例えば、物理的オブジェクト、仮想オブジェクト等）、１つ以上の２次元表面（例えば、物理的オブジェクトの表面、仮想オブジェクトの表面等）、および／または１つ以上の１次元点（例えば、物理的オブジェクトの頂点、仮想オブジェクトの表面等）に対して、実世界内に設置されてもよい。いくつかの実施形態では、単一ソフトウェアアプリケーションは、１つを上回るプリズムに対応してもよい。いくつかの実施形態では、単一アプリケーションは、単一プリズムに対応する。
いくつかの実施形態では、プリズムは、いくつかの実施形態における、エクステンデッドリアリティシステムのユーザの現在の場所のためのマルチアプリケーションシーングラフのサブツリーを表し得る。ユーザの現在の場所に以前に展開された１つ以上のプリズムを読み出すことは、１つ以上のプリズムに関するインスタンスデータを外部データベース、例えば、（例えば、クラウド環境内のパス可能世界モデルを記憶する、データベース）から読み出し、ローカルデータベース（例えば、外部に記憶されるパス可能世界モデルのより小さい部分を備える、内部パス可能世界モデルデータベース）を１つ以上のプリズムに関するインスタンスデータで再構成することを含んでもよい
これらの実施形態のうちのいくつかでは、プリズムに関するインスタンスデータは、プリズムを定義する、１つ以上のプリズムプロパティのデータ構造を含む。プリズムプロパティは、例えば、場所、配向、範囲幅、範囲高さ、範囲深度、アンカタイプ、および／またはアンカ位置のうちの少なくとも１つを備えてもよい。加えて、または代替として、プリズムに関するインスタンスデータは、アプリケーションによってプリズムの中に以前にレンダリングされた仮想コンテンツの状態情報等の１つ以上のアプリケーション特有プロパティのキー／値ペアを含んでもよい。いくつかの実施形態では、データは、外部データベースが必要とされないように、ローカルで全体的に記憶されてもよい。
プリズムは、いくつかの実施形態では、作成に応じて、固定および／または調節可能境界を伴う、３Ｄ境界空間を含むが、より低い次元を有する、退化された３Ｄプリズムもまた、検討される。プリズムは、生成されると、ＸＲシステムの仮想３Ｄ空間および／またはユーザの環境内の場所または実世界内のいずれかの任意の場所に位置付けられてもよい（例えば、ユニバースブラウザエンジンまたはそのインスタンスによって）。プリズムの境界は、少なくとも部分的に、プリズム内にレンダリングされるべきコンテンツのサイズまたは範囲に基づいて、システム（例えば、ユニバースブラウザエンジン）によって、ユーザによって、および／またはウェブページの開発者によって定義されてもよい。いくつかの実施形態では、ＸＲシステム（例えば、そのユニバースブラウザエンジン）のみが、ＸＲシステム上のプリズムの境界を作成および／または調節してもよい。プリズムの境界は、いくつかの実施形態では、表示されてもよい（例えば、グラフィック的に強調解除された様式において）。いくつかの他の実施形態では、プリズムの境界は、表示されない。
プリズムの境界は、その中に仮想コンテンツおよび／またはレンダリングされたコンテンツが作成され得る、空間を定義する。プリズムの境界はまた、いくつかの実施形態では、ウェブページパネルが移動および回転され得る、場所および量を制約してもよい。例えば、ウェブページパネルが、ウェブページパネルの少なくとも一部がプリズムの外側に来るように、位置付けられる、回転される、および／またはスケーリングされることになるとき、本システム（例えば、ユニバースブラウザエンジン）は、そのような位置付け、回転、および／またはスケーリングを防止してもよい。
いくつかの実施形態では、本システムは、ウェブページパネルを、いくつかの実施形態における、オリジナルの位置付け、回転、またはスケーリング要求に応答して、オリジナル位置、回転、またはスケールに最も近いまたは近い、次の可能性として考えられる位置に位置付け、回転させ、および／またはスケーリングしてもよい。これらの実施形態のうちのいくつかでは、本システムは、本次の可能性として考えられる位置、回転、またはスケールの残影画像またはフレームを示し、随意に、オリジナル位置、回転、またはスケールは、ウェブページパネルの少なくとも一部がプリズムの外側に来る結果をもたらし得ることを示す、メッセージを表示してもよい。
アプリケーションは、少なくとも部分的に、ユニバースブラウザエンジンを介して、グラフィックをプリズムの中にレンダリングしてもよい。いくつかの実施形態では、ユニバースブラウザエンジンは、シーングラフをレンダリングし、および／またはプリズムの位置付け、回転、スケール等の完全制御を有する。さらに、ユニバースブラウザエンジンは、１つ以上のプリズムを、壁、表面等の物理的オブジェクトに結び付け、プリズムを、本明細書に説明される複数のＸＲシステムユーザ間で共有され得る、パス可能世界に登録する能力を提供してもよい。
加えて、または代替として、ユニバースブラウザエンジンは、複数のＸＲシステムユーザ間でのコンテンツの共有を制御してもよい。いくつかの実施形態では、ユニバースブラウザエンジンはまた、プリズムを管理してもよい。例えば、ユニバースブラウザエンジンは、プリズムを作成し、１つ以上の物理的オブジェクトに対する位置付けおよび／またはスナッピングルールを管理し、ユーザインターフェース制御（例えば、「閉じる」ボタン、アクションバー、ナビゲーションパネル等）を提供し、プリズムの記録またはデータ（例えば、どのアプリケーションがどのプリズムを所有または呼び出すか、プリズムを設置すべき場所、プリズムがアンカされる方法－身体中心、世界固定等）を追跡してもよい。
いくつかの実施形態では、プリズム挙動は、部分的または全体的に、１つ以上のアンカに基づいてもよい。いくつかの実施形態では、プリズム挙動は、部分的に、位置付け、回転、および／またはスケーリング（例えば、ユーザ相互作用を通した、ウェブページコンテンツまたはプリズム自体のユーザ設置、ウェブページパネルの開発者による位置付け、回転、および／またはスケーリング等）および／または身体動態（例えば、ビルボード表示、身体中心、遅延頭部固定等）に基づいてもよい。プリズムは、いくつかの実施形態では、３Ｄ仮想空間内で移動してもよい。これらの実施形態のうちのいくつかでは、ユニバースブラウザエンジンは、プリズムの移動（例えば、ユーザ／身体中心へのビルボード表示、遅延ビルボード表示、移動時の揺動、衝突バウンス等）を追跡し、プリズムの移動を管理してもよい。
加えて、または代替として、ブラウザ、ウェブページパネル、および任意の他の仮想コンテンツを含む、プリズムは、対応する変換をプリズムに適用することによって、多くの異なる方法において変換されてもよい。例えば、プリズムは、仮想３Ｄ空間内で移動、回転、スケーリング、および／またはモーフィングされることができる。いくつかの実施形態では、変換のセットが、ウェブページ、ウェブページパネル、ブラウザウィンドウ、およびプリズム等の変換のために提供される。いくつかの実施形態では、機能性のセットを有する、プリズムが、自動的に作成されてもよい。機能性のセットは、いくつかの実施形態では、例えば、プリズムのために許容される最小および／または最大サイズ、および／またはプリズムをサイズ変更するためのアスペクト比を備えてもよい。機能性のセットは、仮想または物理的３Ｄ空間環境内のプリズムとオブジェクト（例えば、仮想オブジェクト、物理的オブジェクト等）との間の関連付けを備えてもよい。付加的仮想コンテンツが、１つ以上の付加的プリズムの中にレンダリングされてもよく、各仮想コンテンツは、いくつかの実施形態では、別個のプリズムの中にレンダリングされてもよい、またはいくつかの他の実施形態では、２つ以上の仮想コンテンツが、同一プリズムの中にレンダリングされてもよい。
プリズムは、いくつかの実施形態では、完全に透明であって、したがって、ユーザに不可視であってもよい、またはいくつかの他の実施形態では、半透明であって、したがって、ユーザに可視であってもよい。ブラウザウィンドウ内に表示される、従来のウェブページと異なり、ブラウザウィンドウは、仮想３Ｄ空間内に示す、またはそこから隠すように、構成可能であってもよい（例えば、ユニバースブラウザエンジンを介して）。いくつかの実施形態では、ブラウザウィンドウは、隠され、したがって、ユーザに不可視であってもよいが、いくつかのブラウザ制御（例えば、ナビゲーション、アドレスバー、ホームアイコン、リロードアイコン、ブックマークバー、ステータスバー等）は、依然として、仮想３Ｄ空間内でユーザに可視であってもよい。これらのブラウザ制御は、いくつかの実施形態では、対応するウェブページとともに、平行移動、回転、変換されるように表示されてもよい、またはいくつかの他の実施形態では、対応するウェブページから独立して表示されてもよい。
いくつかの実施形態では、プリズムは、仮想３Ｄ空間内の他のプリズムと重複しなくてもよい。プリズムは、異なるソフトウェアアプリケーションが、相互に、および／またはオプションのリストから選択された１つ以上のアプリケーション特有特徴と適切に相互作用することを確実にするための１つ以上の普遍的特徴を備えてもよい。
いくつかの実施形態では、プリズムの頂点（１０６Ｆ）が、ユーザが、その中で仮想オブジェクトまたはレンダリングされたウェブページが、平行移動または回転され得る、プリズムの区切りを認知するように、強調解除された様式（例えば、低減された明度等）でユーザに表示されてもよい。例えば、ウェブページまたはウェブページパネルの一部がプリズムによって定義された区切り外に該当するように、ウェブページまたはウェブページパネルが、平行移動または回転される、いくつかの実施形態では、本システムは、それにかかわらず、依然として、プリズム内にある、ウェブページまたはウェブページパネルの残りの部分を表示するが、プリズムの区切りの外側に該当する、ウェブページの部分を表示しなくてもよい。いくつかの他の実施形態では、複合現実システムは、ウェブページまたはウェブページパネル全体が、自由に平行移動、回転、または変換されるが、プリズムの境界の区切りに従い得るように、ウェブページまたはウェブページパネルの平行移動、回転、および変換を限る。
図１Ｆに図示されるように、仮想３Ｄ空間は、１つ以上のプリズムを含んでもよい。さらに、プリズムはまた、いくつかの実施形態では、プリズムが、１つ以上の他のプリズムの親と見なされ得るように、１つ以上の他のプリズムを含むことができる。これらの実施形態のうちのいくつかでは、プリズムツリー構造が、構築されてもよく、各ノードは、プリズムを表し、２つの接続されるノード間の縁は、これらの２つの接続されるノード間の親－子関係を表す。２つのプリズムは、相互に重複するように、またはさらに、一方のプリズムを他方のプリズム内に全体的に含ませるように、移動されることができる。２つのプリズム間の包含的関係は、これらの２つのプリズム間に親子関係が存在することを示す場合とそうではない場合があるが、複合現実システムは、ユーザが、２つのプリズム間の親－子関係を規定するように構成されることができる。さらに、第１のプリズムは、親－子関係が存在するために、第２のプリズム内に全体的に含まれる必要がある場合とそうではない場合がある。いくつかの実施形態では、全ての子プリズムは、親プリズムおよびその子プリズムが、ともに変換、平行移動、回転されるように、親プリズムに適用されている、または適用されることになる、変換、平行移動、および回転を継承する。
図１Ｇ－１Ｉは、いくつかの実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示する、いくつかの簡略化された実施例の投影されたビューを図示する。図１Ｇは、物理的環境内の床１１６Ｇの上方の物理的オブジェクト（例えば、机）１１８Ｇに対する、物理的ユーザの環境１１４Ｇ内に作成される、３Ｄ直角プリズム１００Ｇの側面図を図示する。複合現実システムは、本明細書に説明される種々の技法を適用し、ウェブページ１０６Ｇをプリズム１００Ｇ内に表示してもよい。
上記に説明されるように、ウェブブラウザウィンドウのディスプレイは、図１Ｇにおいて抑制され、したがって、ブラウザウィンドウは、ユーザ１１４Ｇに不可視である。ブラウザの制御（１０４Ｇ）は、それにかかわらず、ユーザ１１４Ｇがブラウザの挙動を制御するために、ユーザに表示されてもよい。加えて、アプリケーションの名称または他の識別（例えば、ブラウザの名称、ウェブページの名称または識別等）１０２Ｇもまた、プリズム１００Ｇ内または外のいずれかにレンダリングされてもよい。いくつかの実施形態では、１０２Ｇは、プリズム１００Ｇとある関係（例えば、固定された相対的場所または親－子関係等）を伴う、別個のプリズム内に含有されてもよい。
複合現実ヘッドセット１１５Ｇを用いて、ユーザは、複合現実ヘッドセット１１５Ｇを介してユーザ１１４Ｇの眼に投影される、ウェブページ１０６Ｇおよびブラウザ制御１０４Ｇ等の仮想コンテンツを視認することを可能にされる。複合現実システムまたはそのコンポーネント（例えば、ユニバースブラウザエンジン）はさらに、ユーザが、仮想３Ｄ空間内のプリズム１００Ｇ、ブラウザウィンドウ（隠蔽される）、ウェブページ１０６Ｇ、制御１０４Ｇ等を平行移動、回転、スケーリング、および変換するために、平行移動ハンドル１１２Ｇ、回転ハンドル１０８Ｇおよび１１０Ｇ、スケールハンドル（図示せず）、または１つ以上の他の変換ハンドル（図示せず）を提供してもよい。
図１Ｈは、ユーザ１１４Ｇが、図１Ｇにおけるウェブページおよび制御を下向きかつ第１の傾けられる配向（１０２Ｈおよび１０４Ｈ）に移動および回転させる、シナリオを図示する。ウェブページおよび制御は、プリズム１００Ｇ内で完全３６０度方式において、別個またはともに、移動、回転、変換されてもよく、図１Ｈは、ウェブページおよび制御が、ともに移動および回転されることを図示する。例えば、ウェブページおよび制御を下方に移動させ、上方に傾斜させるのではなく、ウェブページおよび制御は、上方に移動され、下向きに回転され、図１Ｈにおける１０６Ｈおよび１０８Ｈとして示される構成に終着してもよい。
図１Ｉは、複合現実ヘッドセット１１５Ｇを装着しているユーザ１１４Ｇが、ウェブページ１０４Ｉおよび制御１０２Ｉが、机１１８Ｇの上部に静止して現れるように、図１Ｇにおけるウェブページおよび制御を下向きかつ第１の配向（１０２Ｉおよび１０４Ｉ）に移動および回転させる、シナリオを図示する。ユーザ１１４Ｇはまた、ウェブページ１０８Ｉおよび制御１０６Ｉが、ユーザ１１４Ｇの上方に着座して現れるように、ウェブページおよび制御を上向きに第２の配向（１０６Ｉおよび１０８Ｉ）に移動させてもよい。ウェブページおよび制御は、プリズム１００Ｇ内で完全３６０度方式において、別個またはともに、移動、回転、変換されてもよく、図１Ｉは、ウェブページ（１０４Ｉおよび１０８Ｉ）および制御が、ともに移動および回転され得る（１０６Ｉおよび１０２Ｉ）ことを図示する。図１Ｉはさらに、制御１０４Ｇが、ユーザ１１４Ｇによって別個に操作され得る、構成を図示する。
図１Ｊ－１Ｌは、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示する、３つの簡略化された実施例を図示する。図１Ｊは、３Ｄ仮想空間内でウェブページを管理および表示するための本明細書に説明される種々の技法の用途の実動実施例を図示する。本実施例では、開発者１０２Ｊは、チェスボード１０４Ｊが、複合現実システムによってユーザの眼に投影されると、開発者またはユーザ１０２Ｊの視野１０６Ｊ内の正しい目線で机またはテーブル（図示せず）上に着座して現れるように、チェスボード１０４Ｊを回転および移動させるように、ウェブページをコーディングしてもよい。
本実施例はさらに、チェスボードの平面ウェブページビュー（または他の３Ｄ透視ビュー）が、仮想３Ｄ空間内でユーザ１０２Ｊに元々提示されている、シナリオを図示し得る。ユーザ１０２Ｊは、本明細書に説明される技法を使用して、例えば、位置付けおよび回転ハンドル（図示せず）を操作することによって、ウェブページ１０４Ｊを所望の位置および／または配向に移動および／または回転させてもよい。ウェブページおよびそのウェブサイトによって提供される、ウェブリソース（例えば、プレーヤ毎に、１６個のチェスの駒）を用いることで、複合現実システムは、ユーザ１０２Ｊが、ユーザの手、トーテム、またはコントローラ（１０８Ｊ）のいずれかを使用して、ユーザ１０２Ｊが所望するにつれて、位置付けられ、および／または回転されている、仮想３Ｄのチェスの駒をチェスボード１０４Ｊ上に設置することを可能にし得る。本実施例では、ウェブページ、ブラウザウィンドウ、およびプリズムの境界は、抑制され（例えば、隠され）、これらの境界は、ユーザに不可視であることに留意されたい。本実施例では、親－子関係が、仮想３Ｄのチェスの駒が、ウェブページ内に表示されるチェスボード１０４Ｊとともに変換、平行移動、および回転されるように、チェスボード１０４Ｊ（親）とチェスの駒１１０Ｊ（子）の仮想３Ｄモデルとの間に作成されてもよい。
図１Ｋは、本３Ｄ仮想空間内のウェブページを管理および表示するための明細書に説明される種々の技法の用途の別の実動実施例を図示する。本実施例では、開発者１０２Ｊは、マップ１０４Ｊが、複合現実システムによって建築者の眼に投影されると、建築者１０２Ｊの視野１０６Ｊ内の正しい目線（例えば、水平）内の机またはテーブル（図示せず）上に着座して現れるように、開発計画の近隣を示すマップ１０４Ｍを回転および移動させるように、ウェブページをコーディングしてもよい。
加えて、開発者１０２Ｊは、本明細書に説明される技法を使用して、ウェブページ１０４Ｊ（故に、その中に表示されるマップ）を所望の位置および／または配向に移動および／または回転させてもよい。開発者は、開発者の手、トーテム、またはコントローラ（１０４Ｋ）を使用することにより、３Ｄの仮想オフィスビル１０６Ｋをマップ内の正しい場所上に移動および回転させることによって、開発者によって構築される、または他のリソースから提供される、オフィスビル１０６Ｋの仮想３Ｄモデルを位置付けてもよい。開発者はさらに、木々１１２Ｋ、オフィスビル１０８Ｋ、車両１１０Ｋ等の他の仮想３Ｄモデルをマップ上に取り込み、計画展開または３Ｄナビゲーションのための仮想３Ｄ計画または３Ｄマップを構築してもよい。
少なくともいくつかの仮想オブジェクトがマップ上に取り込まれると、開発者はさらに、マップを示す、ウェブページを回転させてもよい。例えば、オフィスビル１０８Ｋがマップ上に取り込まれると、これらの２つのオフィスビル１０８Ｋは、マップの一部に対して開発者のビューを遮断し得る。本実施例では、開発者はさらに、開発者がさらに、他の仮想オブジェクトを遮断された部分上に取り込むために、遮断された部分が、開発者に暴露されるように、マップを回転させてもよい。図１Ｊに図示される実施例と同様に、親－子関係がまた、仮想オブジェクトが、ウェブページ内に表示されるマップ１０２Ｋとともに、変換、平行移動、および回転されるように、マップ１０２Ｋ（親）と仮想３Ｄオブジェクト１０６Ｋ、１０８Ｋ、および１１０Ｋ（子）との間に作成されてもよい。
図１Ｌは、３Ｄ仮想空間内のウェブページを管理および表示するための本明細書に説明される種々の技法の用途の別の実動実施例を図示する。本実施例では、複合現実ヘッドセット（図示せず）を装着しているユーザ１０２Ｌは、ユーザの視野１０４Ｌ内に、例えば、ブラウザのブックマークツールバーからレンダリングされる、または本明細書に説明される複合現実システムのユニバースブラウザエンジンによって提供され得る、ウェブサイトアイコン１０６Ｌの随意のアレイまたは立ち上げパッド（またはランチャ）を含む、プリズム１００Ｌを提示されてもよい。ユーザは、例えば、手のジェスチャ、音声コマンド等を介して、個別のアイコンを用いて、対応するウェブサイトのホームウェブページを立ち上げてもよい。
本実施例はさらに、ユーザが、主に、図１Ｋに図示され、上記に説明されるように、開発者の手、トーテム、またはコントローラ１２２Ｌを用いて、３Ｄ仮想オブジェクト（例えば、１２４Ｌ）を取り込むことによって、仮想開発計画または３Ｄマップ１０８Ｌ上で作業し得ることを図示する。ユーザ１０２Ｌはまた、いくつかの他のウェブページ（例えば、ストリーミングビデオウェブページ１１０Ｌ、オンライン辞書ウェブページ１１２Ｌ、ソーシャルメディアウェブページ１１４Ｌ、オンラインｗｉｋｉウェブページ１１６Ｌ、電子メールクライアント１１８Ｌ等）を開き、さらに、本明細書に説明される技法を使用することによって、これらのウェブページをプリズム１００Ｌ内のユーザの所望の位置および配向に操作および配列してもよい。
図１Ｊ－１Ｌに図示される実施例から分かり得るように、種々の仮想コンテンツが、仮想３Ｄ空間内の対応するウェブページの移動および回転に起因して、複数の深度面または焦点面を横断して表示されてもよい。本明細書に説明される複合現実システムは、複数の深度面または焦点面とその可変焦点化機構を併用することによって、これらの仮想コンテンツをレンダリングする能力を提供する。複合現実システムについてのさらなる詳細は、本願の第１の段落で参照される米国特許出願に説明される。
図１Ｍは、１つ以上の実施形態における、例示的ユーザ物理的環境と、複合現実システムを用いて、仮想３Ｄ内のウェブページおよびウェブリソースを管理および表示するためのシステムアーキテクチャとを図示する。代表的環境１００は、頭部搭載型システム１６０を通してユーザ１０３によって視認されるようなユーザのランドスケープ１１０を含む。ユーザのランドスケープ１１０は、ユーザ設置コンテンツが実世界の上部に合成され得る、世界の３Ｄビューである。代表的環境１００はさらに、ネットワーク（図示せず）に動作可能に結合されるプロセッサ１７０を介して、ユニバースアプリケーションまたはユニバースブラウザエンジン１３０にアクセスすることを含む。
プロセッサ１７０は、頭部搭載型システム１６０と別個の隔離されたコンポーネントとして示されるが、代替実施形態では、プロセッサ１７０は、頭部搭載型システム１６０の１つ以上のコンポーネントと統合されてもよく、および／または、例えば、コンピューティングネットワーク（図示せず）および外部記憶デバイス１５０にアクセスするためのネットワーク等の代表的環境１００内の他のシステムコンポーネントの中に統合されてもよい。いくつかの実施形態では、プロセッサ１７０は、ネットワークに接続されなくてもよい。プロセッサ１７０は、頭部搭載型システム１６０、ローカル記憶デバイス１３７、アプリケーション１４０、コンピューティングネットワーク、および／または外部記憶デバイス１５０から受信されたビデオ、オーディオ、および／または他のデータ（例えば、深度カメラデータ）等の情報を受信および処理するためのソフトウェア（例えば、ユニバースアプリケーションまたはユニバースブラウザエンジン１３０）とともに構成されてもよい。
ユニバースアプリケーションまたはユニバースブラウザエンジン１３０は、例えば、デスクトップコンピュータのディスプレイ画面上に表示される２Ｄウィンドウを管理するためのデスクトップコンピュータ上で起動する２Ｄウィンドウマネージャに類似する、３Ｄウィンドウマネージャであってもよい。しかしながら、ユニバースアプリケーションまたはユニバースブラウザエンジン１３０（以降、簡略化のために、「ユニバース」と称され得る）は、３Ｄ空間環境内への仮想コンテンツ１１５の作成、設置、および表示、およびユーザのランドスケープ１１０内に表示される複数の仮想コンテンツ１１５間の相互作用を管理する。アプリケーション１４０からの仮想コンテンツ１１５は、以降、プリズム１１３と称され得る、境界されたボリュームおよび／または３Ｄウィンドウ等の１つ以上の３Ｄウィンドウディスプレイ管理ユニットの内側において、ユーザ１０３に提示される。
境界されたボリューム／３Ｄウィンドウ／プリズム１１３は、空間内に位置付けられ、配向され得る、空間の長方形、立方体、円筒形、または任意の他の形状ボリュームであってもよい。プリズム１１３は、コンテンツ（例えば、仮想コンテンツ）がその中にレンダリング／表示されるための境界を有する、立体ディスプレイ空間であってもよく、境界は、表示されない。いくつかの実施形態では、境界は、表示されてもよい。プリズム１１３は、標準的基礎レベルの相互作用およびアプリケーションのコンテンツおよびその設置の制御を提示してもよい。プリズム１１３は、マルチアプリケーションシーングラフのサブツリーを表してもよく、これは、ユニバースブラウザエンジン１３０の内側に内蔵されてもよい、またはユニバースラウザエンジンの外部であるが、それによってアクセスされてもよい。シーングラフは、ベクトルベースのグラフィック、編集アプリケーション、および現代のゲーム用ソフトウェアによって一般に使用される、一般的データ構造であって、これは、グラフィカルシーンの論理、および多くの場合（必ずしもではないが）、空間表現を配列する。シーングラフは、コンテンツが、位置付けられ、その構造内で相互に対して変換される方法を定義する、データ構造と見なされ得る。アプリケーション１４０は、コンテンツをその中に設置するためのプリズム１１３のインスタンスを与えられる。アプリケーションは、相対的設置アルゴリズムおよび恣意的変換を使用して、２Ｄ／３Ｄコンテンツをプリズム１１３内にレンダリングし得るが、ユニバースラウザエンジン（１３０）は、依然として、最終的には、コンテンツ抽出等の総合的相互作用パターンの管理を担い得る。複数のアプリケーションが、ユニバースブラウザエンジン（１３０）に、プリズム１１３を介して、プリズム１１３を分離するプロセス境界をレンダリングし得る。アプリケーションプロセスあたりｎ数の境界されたボリューム／プリズム１１３が存在し得るが、これは、明示的に、アプリケーション毎に１つのみのプロセスが境界されたボリューム／プリズム１１３毎に起動し得る、ｎ：１関係であるが、それぞれ、その独自の境界されたボリューム／プリズム１１３を伴って起動する、ｍ数のプロセスが存在してもよい。
ユニバースブラウザエンジン（１３０）は、２Ｄおよび／または３Ｄコンテンツのためのプリズム／分散型シーングラフアプローチを使用して動作する。ユニバースブラウザエンジンのシーングラフの一部は、レンダリングするためのアプリケーション毎に留保される。アプリケーション、例えば、ランチャメニュー、ランドスケープ、または身体中心アプリケーションゾーン（全て下記により詳細に説明される）との各相互作用は、マルチアプリケーションシーングラフを通して行われてもよい。各アプリケーションは、シーングラフのサブツリーを表す、１～Ｎ個の直角プリズムを配分されてもよい。プリズムは、クライアント側アプリケーションによって配分されず、代わりに、例えば、ユーザが、コントローラ上のボタンをクリックすることによって、新しいアプリケーションをランドスケープ内に開くとき、ユニバースブラウザエンジン（１３０）の内側のユーザの相互作用を通して作成される。いくつかの実施形態では、アプリケーションは、プリズムをユニバースブラウザエンジン（１３０）から要求し得るが、要求は、否認され得る。いくつかの実施形態では、アプリケーションが、新しいプリズムを要求し、許可される場合、アプリケーションは、新しいプリズムのみをその他のプリズムのうちの１つに対して変換し得る。
ユニバースブラウザエンジン（１３０）は、アプリケーション１４０からの仮想コンテンツ１１５をプリズム１１３と呼ばれるオブジェクト内に備える。各アプリケーションプロセスまたはインスタンスは、その仮想コンテンツをその独自の個々のプリズム１１３またはプリズムのセットの中にレンダリングしてもよい。ユニバースブラウザエンジン（１３０）は、プリズム１１３が表示される、時として、ランドスケープと呼ばれる、世界空間を管理する。いくつかの実施形態では、ユニバースブラウザエンジン（１３０）は、アプリケーションを壁および表面に結び付け、プリズムを空間内の恣意的場所に設置し、それらを複合現実システムの世界データベースに登録し、および／または複合現実システムの複数のユーザ間でのコンテンツの共有を制御するための能力を提供する。
いくつかの実施形態では、プリズム１１３の目的は、挙動およびコンテンツのレンダリングおよび表示の制御を提供することである。ウィンドウが、２Ｄウィンドウ内の２Ｄコンテンツの場所、メニュー構造、および表示を定義するために使用され得る、２Ｄディスプレイと同様に、３Ｄ仮想ディスプレイでは、プリズムは、複合現実システム（例えば、ユニバースブラウザエンジン（１３０））が、例えば、コンテンツ場所、３Ｄウィンドウ挙動、および／またはメニュー構造に関連する制御を３Ｄコンテンツの表示の周囲にラップすることを可能にする。例えば、制御は、少なくとも、仮想コンテンツをユーザのランドスケープ１１０内の特定の場所に設置すること、仮想コンテンツをランドスケープ１１０から除去すること、仮想コンテンツをコピーするおよび／またはコピーを異なる場所に設置すること等を含んでもよい。いくつかの実施形態では、プリズムは、ユーザによって、かつユーザによってのみ、作成および破棄されてもよい。これは、提供されるインターフェースの乱用を制御することに役立ち、ユーザがユーザのコンテンツの制御を維持することに役立てるために明示的に行われてもよい。
加えて、いくつかの実施形態では、アプリケーション１４０は、そのボリュームがランドスケープ内に設置された場所を把握せず、それらが存在することのみを把握する。いくつかの実施形態では、アプリケーションは、１つ以上のプリズムを要求してもよく、要求は、許可される場合とそうではない場合がある。新しいプリズムが、作成された後、ユーザは、位置を変化させてもよく、および／またはアプリケーションは、新しいプリズムをアプリケーションと関連付けられた現在の既存のプリズムに対して自動的に位置付けてもよい。いくつかの実施形態では、ユニバースブラウザエンジンのサービスを利用して、３Ｄコンテンツ（例えば、合成された３Ｄコンテンツ）をユニバースブラウザエンジンプロセスの中にレンダリングする、各アプリケーション１４０は、最初に、リスナをユニバースブラウザエンジンに登録することが要求されてもよい。本リスナは、アプリケーション１４０に、ユーザ移動およびそれらのプリズムとのユーザ相互作用に基づいて、レンダリングプリズムの作成および破棄を知らせるために使用されてもよい。リスナは、メッセージをプロセス間通信システムから受信する、インターフェースオブジェクトである。例えば、Ａｎｄｒｏｉｄ（登録商標）オペレーティングシステムでは、リスナは、Ａｎｄｒｏｉｄ Ｂｉｎｄｅｒインターフェースを通してメッセージを受信する、オブジェクトである。しかしながら、任意のＩＰＣシステムが、Ｂｉｎｄｅｒが常時使用されないように使用されてもよい。
いくつかの実施形態では、プリズムは、以下の相互作用、すなわち、（１）ユーザが、コンテンツを抽出可能ノード（下記でさらに開示される）から抽出した、（２）ユーザが、アプリケーションをランチャから開始した、（３）ユーザが、ユーザが見るための許可を有する、アプリケーションの設置されたインスタンスを含む、近傍のパス可能世界マップタイルをダウンロードした、（４）ユーザが、パス可能世界オブジェクト認識装置インフラストラクチャが、所与のアプリケーションがそのためのコンテンツをレンダリングしなければならないことを検出した、オブジェクトを含む、近傍のパス可能世界マップタイルをダウンロードした、および／または（５）ユーザは、異なるアプリケーション内でハンドリングされなければならない、ディスパッチを別のアプリケーションからトリガしたことのうちから作成されてもよい。いくつかの実施形態では、パス可能世界モデルは、ユーザが、ユーザの世界の断片（例えば、周囲環境、相互作用等）を別のユーザに効果的にパスすることを可能にする。
抽出可能コンテンツは、入力デバイスを使用して、プリズムから外に引き出され、ランドスケープ内に設置され得る、プリズムの内側のコンテンツ（限定ではないが、アイコン、３Ｄアイコン、テキストディスプレイ内の単語、および／または画像を含む）である。例えば、プリズムは、販売のためのランニング用シューズを示す、ウェブページを表示する場合がある。ランニング用シューズを抽出するために、シューズは、入力デバイスを用いて、選択され、「引き出される」ことができる。新しいプリズムが、シューズを表す３Ｄモデルを用いて作成され、そのプリズムは、オリジナルプリズムから外に、ユーザに向かって移動するであろう。任意の他のプリズムのように、ユーザは、入力デバイスを使用して、シューズを含有する新しいプリズムをランドスケープの３Ｄ空間内で移動、拡大、収縮、または回転させてもよい。抽出可能ノードは、抽出され得るものとしてタグ付けされている、プリズムのシーングラフ内のノードである。ユニバースブラウザエンジンでは、コンテンツを抽出することは、抽出可能ノードを選択し、入力デバイスを使用して、コンテンツをプリズムから外に引き出すことを意味する。本引き出しを開始するための入力は、６自由度ポインティングデバイスを抽出可能コンテンツに照準し、入力デバイス上のトリガを引動させることであり得る。
各ユーザの個別の個々の複合現実システム（例えば、複合現実デバイス）は、ユーザが、環境を通して通過する、またはその中に内在するにつれて、情報を捕捉し、これは、パス可能世界モデルを生産するための複合現実システムプロセスである。パス可能世界に関するさらなる詳細は、２０１４年３月１１日に出願され、「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＡＵＧＭＥＮＴＥＤ ＡＮＤ ＶＩＲＴＵＡＬ ＲＥＡＬＩＴＹ」と題された、米国特許出願第１４／２０５，１２６号（参照することによって前述に組み込まれている）に説明される。個々の複合現実システムは、パス可能世界モデルを、クラウドと称される、共通または共有データ集合に通信またはパスしてもよい。個々の複合現実システムは、直接またはクラウドを介してのいずれかにおいて、パス可能世界モデルを他のユーザに通信またはパスしてもよい。パス可能世界モデルは、本質的に、少なくともユーザの視野を包含する、情報を効率的に通信またはパスする能力を提供する。一実施形態では、本システムは、パス可能世界を作成するために、姿勢および配向情報および上記に説明される収集された３Ｄ点を使用する。
いくつかの実施形態では、パス可能世界モデルは、ユーザがコンテンツ（例えば、仮想および／または物理的コンテンツ）と実世界を統合する能力を可能にする。パス可能世界システムは、クラウドネットワーク、パス可能世界モデル、オブジェクト認識装置のセット、およびデータベース（例えば、外部データベース１５０）に接続することが可能である、１つ以上の複合現実システムまたは複合現実ユーザデバイスを含んでもよい。パス可能世界モデルは、情報を複合現実ユーザデバイスから受信し、また、データをネットワークを通してそれらに伝送するように構成されてもよい。例えば、ユーザからの入力に基づいて、パス可能世界の断片は、１人のユーザから別のユーザにパスされてもよい。パス可能世界モデルは、それに基づいて、複合現実システムが、仮想世界をクラウド上に構築、更新、および増強し、仮想世界の断片を種々のユーザに効果的にパスすることが可能である、画像の集合、点、および他の情報（例えば、実世界情報）と見なされ得る。例えば、複合現実ユーザデバイスから収集された実世界点のセットが、パス可能世界モデル内で収集されてもよい。種々のオブジェクト認識装置が、パス可能世界モデルを通してクローリングし、オブジェクト、タグ画像等を認識し、意味論情報をオブジェクトに結び付けてもよい。パス可能世界モデルは、データベースを使用して、その世界の知識を増強し、意味論情報を結び付け、パス可能世界と関連付けられたデータを記憶してもよい。
ユーザに可視であるが、その制御アプリケーションが現在インストールされていない、プリズムの場合、ユニバースブラウザエンジンは、それと相互作用されると、ユーザにそのアプリケーションのためのアプリケーションストアページをリダイレクトする、そのアプリケーションのための一時的プレースホルダをレンダリングしてもよい。いくつかの実施形態では、プリズムは、類似相互作用、すなわち、（１）ユーザが、パス可能世界マップタイルから、アプリケーションの設置されたインスタンスが揮発性メモリからアンロードされる（すなわち、除去される）まで十分に遠ざかった、（２）ユーザが、アプリケーションの設置されたインスタンスを破棄した、および／または（３）アプリケーションは、プリズムが閉じられることを要求したことで破棄されてもよい。
いくつかの実施形態では、アプリケーションのためのプリズムが、可視ではない、および／またはロードされていない場合、それらのプリズムと関連付けられたプロセスは、一時停止または終了されてもよい。いったんそのアプリケーションのための設置されたプリズムが、再び可視となると、プロセスは、再開されてもよい。プリズムはまた、隠蔽されてもよいが、いくつかの実施形態では、これは、ユニバースブラウザエンジンおよびユーザの要請を受けてのみ発生してもよい。いくつかの実施形態では、複数のプリズムが、同一の正確な場所に設置されてもよい。そのような実施形態では、ユニバースブラウザエンジンは、設置されたプリズムの１つのインスタンスのみを一度に１つの場所に示し、ユーザがその場所内の次の可視要素（例えば、プリズム）に「スワイプ」する等のユーザ相互作用が検出されるまで、プリズム（およびその関連付けられたコンテンツ）の可視性を隠蔽することによって、レンダリングを管理してもよい。
いくつかの実施形態では、各プリズム１１３は、プリズム１１３のプロパティにアクセスし、メッシュ、テクスチャ、動画等の共有リソースのためのシーングラフサブツリー内にコンテンツを登録するための方法を用いて、ボリュームリスナインターフェースを介して、アプリケーション１４０にエクスポーズされてもよい。いくつかの実施形態では、アプリケーション１４０は、所与のプリズム１１３が３Ｄ空間内に設置される場所を把握しないため、ボリュームリスナインターフェースは、アクセッサメソッドを、例えば、手中心、ランドスケープ内に固定、身体中心等、所与のプリズムがユニバースブラウザエンジン内に存在する場所を定義することに役立つ、ヒントのセットに提供してもよい。これらのプロパティは、加えて、プリズムの予期される挙動を規定し、ユーザ、アプリケーション１４０、またはユニバースブラウザエンジンのいずれかによって、限定された方式で制御されてもよい。所与のプリズムは、アプリケーションが所有する別のプリズムに対して位置付けられることができる。アプリケーションは、そのアプリケーションからのプリズムが設置されている間、プリズムがともにスナップすべき（その境界ボリュームの両側が接する）ことを規定することができる。加えて、プリズムは、キー／値データ記憶のためのＡＰＩを提供してもよい。これらのキー／値ペアのうちのいくつかは、権限が付与されたアプリケーションによってのみ書込可能である。
いくつかの実施形態では、アプリケーション１４０は、ユーザのランドスケープ１１０内においてユーザ１０３に表示されるべきコンテンツを提供する、クライアントソフトウェアアプリケーションである。例えば、アプリケーション１４０は、ビデオストリーミングアプリケーションであってもよく、ビデオデータは、２Ｄ平面表面上に表示されるようにユーザにストリーミングされてもよい。別の実施例として、アプリケーション１４０は、ユーザにとって穏やかで幸せかつ安らかであった過去の時間周期を示し得る、物理的オブジェクトの３Ｄ結像を提供する、Ｈａｌｃｙｏｎアプリケーションであってもよい。アプリケーション１４０は、ユーザがユーザのランドスケープ１１０内に含むことを所望し得る、コンテンツを提供する。ユニバースブラウザエンジンは、プリズム１１３を介して、アプリケーション１４０によって生成されたコンテンツの設置および管理を管理する。
非没入型のアプリケーションが、ユーザのランドスケープ１１０内で実行される／立ち上げられると、そのコンテンツ（例えば、仮想コンテンツ）は、プリズム１１３の内側にレンダリングされる。非没入型のアプリケーションは、コンテンツを、１つ以上の他のアプリケーションと同時に、共有３Ｄ環境内に起動および／または表示することが可能である、アプリケーションであってもよい。仮想コンテンツは、プリズム内に含有されてもよいが、ユーザは、依然として、例えば、オブジェクト上にかざす、それをクリックする等、仮想コンテンツと相互作用してもよい。プリズム１１３はまた、アプリケーション１４０の表示されるコンテンツを境界してもよく、したがって、異なるアプリケーション１４０は、相互またはユーザのランドスケープ１１０内の他のオブジェクトに干渉しない。プリズム１１３はまた、ユーザの視野外またはそこからあまりに遠く離れている、アプリケーション１４０からの仮想コンテンツを中断、一時停止、および／または最小限にするために有用な抽象化を提供してもよい。
プリズム１１３は、別のプリズムへのスナップまたはアンカを含め、ユーザのランドスケープ１１０内の種々のオブジェクトにアンカされる／結び付けられる／ピン固定されてもよい。例えば、仮想コンテンツ１１５（例えば、ビデオストリーミングアプリケーションからのビデオ１１５ａ）を表示する、プリズム１１３ａは、垂直壁１１７ａにアンカされてもよい。別の実施例として、Ｈａｌｃｙｏｎアプリケーションからの３Ｄツリー１１５ｂを表示する、プリズム１１３ｂは、図１では、テーブル１１７ｂにアンカされるように示される。さらに、プリズム１１３は、ユーザ１０３に対してアンカされてもよく（例えば、身体中心）、仮想コンテンツ１１５を表示する、プリズム１１３は、ユーザの身体が移動するにつれて、プリズム１１３がユーザの身体の移動に対して移動するように、ユーザの身体にアンカされてもよい。身体中心コンテンツは、ユーザに追従し、ユーザと位置的に一致したままである、平面、メッシュ等のアプリケーションコンテンツであってもよい。例えば、ユーザに追従するが、ランドスケープ１１０ではなく、ユーザの背骨に対して存在する、小ダイアログボックスである。加えて、プリズム１１３はまた、ユーザのランドスケープ１１０内に表示される、仮想ディスプレイモニタ等の仮想オブジェクトにアンカされてもよい。プリズム１１３は、下記に開示される、異なる方法においてアンカされてもよい。
ユニバースブラウザエンジンは、ユーザのためのプリズム１１３のプロパティおよび特性を記憶するために、ローカルデータベース１３７を含んでもよい。記憶されたプリズム情報は、ユーザのランドスケープ１１０内でユーザによってアクティブ化される、プリズムを含んでもよい。ローカルデータベース１３７は、クラウドまたは外部記憶設備内に常駐し得る、外部データベース１５０に動作可能に結合されてもよい。外部データベース１５０は、ユーザおよび他のユーザの複合現実環境についての情報を維持する、持続的データベースであってもよい。
例えば、ユーザが、新しいアプリケーションを立ち上げ、仮想コンテンツをユーザの物理的環境内に表示するにつれて、ローカルデータベース１３７は、ユニバースブラウザエンジンによって作成され、特定の場所に設置される、プリズムに対応する情報を記憶してもよく、アプリケーション１４０は、コンテンツをユーザのランドスケープ１１０内に表示されるようにプリズム１１３の中にレンダリングしてもよい。ローカルデータベース１３７内に記憶される、プリズム１１３、仮想コンテンツ１１５、およびアプリケーション１４０に対応する情報は、持続的記憶のために、外部データベース１５０と同期されてもよい。
いくつかの実施形態では、持続的記憶は、複合現実システムがオフにされると、ローカルデータベース１３７内に記憶されるデータが、消去される、削除される、または非持続性となり得るため、重要であり得る。したがって、ユーザが、複合現実システムをオンにすると、ユニバースブラウザエンジンは、複合現実システムがオフにされることに先立って、外部データベース１５０と同期し、ユーザ１０３およびユーザのランドスケープ１１０に対応するローカルデータベース１３７のインスタンスを読み出してもよい。ローカルデータベース１３７は、外部データベース１５０のインスタンスであってもよく、ローカルデータベース１３７のインスタンスは、ユーザ１０３およびユーザの現在の環境に関連する情報を含む。外部データベース１５０は、加えて、他のユーザ、複数のユーザ、経時的に同一ユーザ、および／または他の環境のローカルデータベースのインスタンスを記憶してもよい。外部データベース１５０は、仮想コンテンツを複合現実システムの複数のユーザ間で管理および共有するために使用される、情報を含有してもよい一方、ローカルデータベース１３７は、ユーザ１０３に対応する情報を記憶および維持する。
ユニバースブラウザエンジンは、アプリケーション１４０が仮想コンテンツ１１５をユーザのランドスケープ１１０上にレンダリングする必要がある度に、アプリケーション１４０のためのプリズム１１３を作成してもよい。いくつかの実施形態では、ユニバースブラウザエンジンによって作成されたプリズム１１３は、アプリケーション１４０が、表示のために、仮想コンテンツをレンダリングすることに焦点を当てることを可能にする一方、ユニバースブラウザエンジンは、アプリケーション１４０によってプリズムの境界内に表示される仮想コンテンツ１１５を有するプリズム１１３の設置および表示を作成および管理することに焦点を当てる。
ユーザのランドスケープ１１０内に表示される、アプリケーション１４０によってレンダリングされた各仮想コンテンツ１１５は、単一プリズム１１３内に表示されてもよい。例えば、アプリケーション１４０が、２つの仮想コンテンツ（例えば、１１５ａおよび１１５ｂ）をユーザのランドスケープ１１０内に表示されるようにレンダリングする必要がある場合、アプリケーション１４０は、２つの仮想コンテンツ１１５ａおよび１１５ｂをレンダリングしてもよい。仮想コンテンツ１１５は、レンダリングされた仮想コンテンツのみを含むため、ユニバースブラウザエンジンは、それぞれ、仮想コンテンツ１１５ａおよび１１５ｂのそれぞれに対応するためのプリズム１１３ａおよび１１３ｂを作成してもよい。プリズム１１３は、仮想コンテンツ１１５の３Ｄウィンドウ管理プロパティおよび特性を含み、ユニバースブラウザエンジンが、プリズム１１３の内側の仮想コンテンツ１１５およびユーザのランドスケープ１１０内へのプリズム１１３の設置および表示を管理することを可能にしてもよい。
ユニバースブラウザエンジンは、ユーザ１０３が複合現実デバイスをオンにするとユーザ１０３に見える、第１のアプリケーションであってもよい。ユニバースブラウザエンジンは、少なくとも、（１）ユーザの世界ランドスケープをレンダリングすること、（２）平面アプリケーションの２Ｄウィンドウ管理および３Ｄウィンドウ（例えば、プリズム）管理、（３）アプリケーションランチャメニューを表示および実行すること、（４）ユーザが仮想コンテンツをユーザのランドスケープ１１０の中に設置することを可能にすること、および／または（５）ユーザのランドスケープ１１０内のプリズム１１３のディスプレイの異なる状態を管理することに関与してもよい。
頭部搭載型システム１６０は、ユーザ１０３の眼の正面に位置付けられる、ディスプレイシステム（例えば、ユーザインターフェース）と、頭部搭載型システムに結合され、ユーザの外耳道に隣接して位置付けられる、スピーカと、ユーザ感知システムと、環境感知システムと、プロセッサと（全て示されてない）を含む、複合現実頭部搭載型システムであってもよい。頭部搭載型システム１６０は、ユーザ１０３に、デジタル世界と相互作用し、それを体験するためのディスプレイシステム（例えば、ユーザインターフェース）を提示する。そのような相互作用は、ユーザおよびデジタル世界と、代表的環境１００とインターフェースをとる１人以上の他のユーザと、デジタルおよび物理的世界内のオブジェクトとを伴ってもよい。
ユーザインターフェースは、ユーザインターフェースを通して、ユーザ入力を介して、仮想コンテンツを視認する、選択する、位置付ける、および管理することを含んでもよい。ユーザインターフェースは、触覚的インターフェースデバイス、キーボード、マウス、ジョイスティック、運動捕捉コントローラ、光学追跡デバイス、オーディオ入力デバイス、スマートフォン、タブレット、または頭部搭載型システム１６０のうちの少なくとも１つまたはそれらの組み合わせであってもよい。触覚的インターフェースデバイスは、人間が身体感覚および移動を通してコンピュータと相互作用することを可能にする、デバイスである。触覚的とは、アクションを実施する、またはコンピューティングデバイス上で処理するための触知的フィードバックまたは他の身体感覚を包含する、人間とコンピュータの相互作用技術のタイプを指す。
触覚的コントローラの実施例は、トーテム（図示せず）であってもよい。いくつかの実施形態では、トーテムは、ヘッドセット１６０に対するその位置および配向を追跡する、ハンドヘルドコントローラである。本実施例では、トーテムは、ユーザが、トーテムを上または下に移動させることによって、（球状シェル上の）高度および方位角においてプリズムを移動させ得る、６自由度（６ＤＯＦまたは自由度）コントローラであってもよい。いくつかの実施形態では、オブジェクトをより近くまたはより遠くに移動させるために、ユーザは、トーテム上のジョイスティックを使用して、プリズムを「押動」または「引動」させてもよい、または、単に、トーテムを前方または後方に移動させてもよい。これは、シェルの半径を変化させる効果を有し得る。いくつかの実施形態では、トーテム上の２つのボタンは、プリズムを拡大または収縮させ得る。いくつかの実施形態では、トーテム自体を回転させることは、プリズムを回転させ得る。他のトーテム操作および構成が、使用されてもよく、上記に説明される実施形態に限定されるべきではない。
ユーザ感知システムは、ある特徴、特性、または頭部搭載型システム１６０を装着しているユーザ１０３に関連する情報を検出するように動作可能である、１つ以上のセンサ１６２を含んでもよい。例えば、いくつかの実施形態では、センサ１６２は、例えば、以下、すなわち、縮瞳／散瞳、各瞳孔の角度測定／位置付け、真球度、（眼形状が経時的に変化するにつれた）眼形状、および他の解剖学的データのうちの１つ以上のもの等のユーザ１０３のリアルタイム光学特性／測定を検出することが可能なカメラまたは光学検出／走査回路を含んでもよい。本データは、頭部搭載型システム１６０によってユーザの視認体験を向上させるために使用され得る、情報（例えば、ユーザの視覚的集光点）を提供してもよい、またはそれを計算するために使用されてもよい。
環境感知システムは、データをユーザのランドスケープ１１０から取得するための１つ以上のセンサ１６４を含んでもよい。センサ１６４によって検出されたオブジェクトまたは情報は、入力として、頭部搭載型システム１６０に提供されてもよい。いくつかの実施形態では、本入力は、仮想世界とのユーザ相互作用を表し得る。例えば、机（例えば、テーブル１８８）上の仮想キーボードを視認している、ユーザ（例えば、ユーザ１０３）が、ユーザが仮想キーボード上でタイプしているかのように、その指を用いて、ジェスチャし得る。指移動の運動は、センサ１６４によって捕捉され、頭部搭載型システム１６０に、入力として提供されてもよく、入力は、仮想世界を変化させる、または新しい仮想オブジェクトを作成するために使用されてもよい。
センサ１６４は、例えば、概して、例えば、持続的および／または断続的に投影された赤外線構造化光を通して、シーン情報を捕捉および解釈するために、外向きに面したカメラまたはスキャナを含んでもよい。環境感知システムは、静的オブジェクト、動的オブジェクト、人々、ジェスチャおよび種々の照明、大気および音響条件等を含む、ローカル環境からの１つ以上の要素を検出および登録することによって、ユーザ１０３の周囲のユーザのランドスケープ１１０の１つ以上の要素をマッピングするために使用されてもよい。したがって、いくつかの実施形態では、環境感知システムは、ローカルコンピューティングシステム（例えば、プロセッサ１７０）に内蔵され、センサ１６４によって検出された１つ以上のオブジェクトまたは情報をデジタル的に再構築するように動作可能である、画像ベースの３Ｄ再構築ソフトウェアを含んでもよい。
いくつかの実施形態では、環境感知システムは、以下、すなわち、運動捕捉データ（ジェスチャ認識を含む）、深度感知、顔認識、オブジェクト認識、一意のオブジェクト特徴認識、音声／オーディオ認識および処理、音響源位置特定、雑音低減、赤外線または類似レーザ投影、およびモノクロおよび／またはカラーＣＭＯＳセンサ（または他の類似センサ）、視野センサ、および種々の他の光学向上センサのうちの１つ以上のものを提供する。環境感知システムは、上記に議論されるもの以外の他のコンポーネントを含んでもよいことを理解されたい。
上記に述べられたように、プロセッサ１７０は、いくつかの実施形態では、頭部搭載型システム１６０の他のコンポーネントと統合される、代表的環境１００のシステムの他のコンポーネントと統合されてもよい、または図１に示されるように、隔離されたデバイス（ウェアラブルまたはユーザ１０３から別個）であってもよい。プロセッサ１７０は、物理的有線接続を通して、または、例えば、モバイルネットワーク接続（セルラー電話およびデータネットワークを含む）、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または任意の他の無線接続プロトコル等の無線接続を通して、頭部搭載型システム１６０の種々のコンポーネントに接続されてもよい。プロセッサ１７０は、メモリモジュール、統合および／または付加的グラフィック処理ユニット、無線および／または有線インターネットコネクティビティ、およびソース（例えば、コンピューティングネットワークおよび頭部搭載型システム１６０からのユーザ感知システムおよび環境感知システム）からのデータを画像およびオーディオデータに変換することが可能なコーデックおよび／またはファームウェアを含んでもよく、画像／ビデオおよびオーディオは、ユーザインターフェース（図示せず）を介して、ユーザ１０３に提示されてもよい。
プロセッサ１７０は、頭部搭載型システム１６０の種々のコンポーネントのためのデータ処理および頭部搭載型システム１６０とユニバースブラウザエンジン、外部データベース１５０等のソフトウェアアプリケーションとの間のデータ交換をハンドリングする。例えば、プロセッサ１７０は、ユーザ１０３と、ソフトウェアアプリケーションを含む、コンピューティングネットワークとの間のデータストリーミングをバッファおよび処理するために使用され、それによって、平滑で、連続し、かつ高忠実性のユーザ体験をもたらしてもよい。プロセッサ１７０は、プログラムコード命令のセットを実行するように構成されてもよい。プロセッサ１７０は、プログラムコード命令のセットを保持するためのメモリを含んでもよく、その中で、プログラムコード命令のセットは、仮想コンテンツを立体ディスプレイ空間内に表示することによって、仮想コンテンツを利用可能な３Ｄ表示可能空間のサブセット内に表示するためのプログラムコードを備え、立体ディスプレイ空間の境界は、表示されない。いくつかの実施形態では、プロセッサは、動作可能に結合される、２つ以上のプロセッサであってもよい。
いくつかの実施形態では、複合現実システムは、プリズムに、アプリケーションによるディスプレイカスタマイズの構成のために事前に承認されたオプションのリストからの普遍特徴およびアプリケーション選択／アプリケーション特有特徴を割り当てるように構成されてもよい。例えば、普遍特徴は、異なるアプリケーションがともに良好に相互作用することを確実にする。普遍特徴のいくつかの実施例は、最大／最小サイズ、非重複プリズム（衝突挙動からの一時的重複を除外する）、プリズムの境界の外側でのコンテンツの非表示、アプリケーションがセンサまたは感知可能情報にアクセスすることを所望する場合、アプリケーションがユーザからの許可を必要とすることを含んでもよい。アプリケーション選択／アプリケーション特有特徴は、最適化されたアプリケーション体験をもたらす。
アプリケーション選択／アプリケーション特有特徴は、最大／最小サイズ（システムからの限界内）、デフォルトサイズ（システムからの限界内）、身体動態のタイプ（例えば、下記に議論される、非固定／世界固定、ビルボード表示、エッジビルボード表示、追従／消極的頭部固定、外部センサに基づく追従、フェーディング）、子プリズムスポーン場所、子頭部姿勢ハイライト、子プリズム関係挙動、表面上挙動、独立変換制御、リサイジング対スケーリング、アイドル状態タイムアウト、衝突挙動、アプリケーションにアクセスするための許可／パスワード等を含んでもよい。別の実施形態では、複合現実システムは、仮想コンテンツを１つ以上のプリズムの中に表示するように構成されてもよく、１つ以上のプリズムは、いくつかの実施形態では、相互に重複しない。
いくつかの実施形態では、１つ以上のプリズムは、具体的相互作用を提供するために、重複してもよい。いくつかの実施形態では、１つ以上のプリズムは、重複してもよいが、同一アプリケーションからの他のプリズムとのみ重複する。別の実施形態では、複合現実システムは、少なくとも部分的に、ユーザに対するプリズムの相対的位置および場所に基づいて、プリズムの状態を変化させるように構成されてもよい。別の実施形態では、複合現実システムは、アプリケーション内のコンテンツ作成を管理し、別個のアプリケーション内のコンテンツディスプレイを管理するように構成されてもよい。別の実施形態では、複合現実システムは、コンテンツをプリズムの中に提供し、同時に、プリズムを複合現実環境内に設置するであろう、アプリケーションを開くように構成されてもよい。
いくつかの実施形態では、複合現実システムは、場所、配向、および範囲データを仮想コンテンツをプリズム内に表示するためのプリズムに割り当てるように構成されてもよく、仮想コンテンツは、３Ｄ仮想コンテンツである。いくつかの実施形態では、複合現実システムは、ランチャアプリケーションを複合現実環境内の実世界オブジェクトにピン固定するように構成されてもよい。いくつかの実施形態では、複合現実システムは、挙動タイプを各プリズムに割り当てるように構成されてもよく、挙動タイプは、世界固定、ビルボード表示、エッジビルボード表示、追従頭部固定、外部センサに基づく追従、またはフェーディング（下記により詳細に説明される）のうちの少なくとも１つを備える。いくつかの実施形態では、複合現実システムは、ランチャアプリケーションの設置された場所に特有の最も使用されるコンテンツまたはアプリケーションを識別し、その結果、アプリケーションを、例えば、最も頻繁に使用されるものから最も使用されないものに並べ替えるように構成されてもよい。別の実施形態では、複合現実システムは、お気に入りアプリケーションを設置されたランチャアプリケーションに表示するように構成されてもよく、お気に入りアプリケーションは、少なくとも部分的に、設置されたランチャの場所に対するコンテキストに基づく。
図１Ｎは、１つ以上の実施形態による、複合現実システムを用いて、３次元空間内のウェブページおよびウエブリソースを管理および表示するためのシステムアーキテクチャを示す。システム１００Ｎは、ユニバースまたはユニバースブラウザエンジン１３０と、アプリケーション１４０と、アイコングリッドアプリケーション１６０Ｎと、ステータスバーアプリ１７０Ｎと、ソーシャルパネルアプリ１８０Ｎと、ストアパネルアプリ１９０Ｎとを含む。これらのアプリケーションは、基本レベルのアプリケーションをシステム１００Ｎ上に表し得る、しかしながら、いくつかの実施形態では、より多いまたはより少ないアプリケーションが、システム１００Ｎの一部であってもよい。
上記の図１Ｍに議論されるように、ユニバースブラウザエンジンは、従来のコンピュータデスクトップシステム等内の２Ｄウィンドウを管理する、２Ｄウィンドウマネージャに類似する、３Ｄウィンドウ（例えば、プリズム）マネージャと見なされ得る。図１Ｎは、図１Ｍからのユニバースブラウザエンジンのさらなる詳細を提供し得る。ここでは、ユニバースブラウザエンジン１３０はまた、ユニバースサーバ１０５Ｎと、ローダボリューム１１０Ｎと、二次ＵＩボリューム１２０Ｎと、ユニバースクライアント１２５Ｎと、ランチャアプリケーション１３０と、ユニバースサーバ１０５Ｎとを含んでもよい。ユニバースサーバ１０５Ｎは、マルチ並列処理のためのマルチスレッド式処理環境内のユニバースブラウザエンジンの処理スレッドであってもよい。
ローダボリューム１１０Ｎは、ユニバースブラウザエンジンが、仮想コンテンツをユーザのランドスケープ１１０内に表示するためのプリズムを作成する間、ユーザに表示される、プレースホルダボリュームである。例えば、ユニバースブラウザエンジンが、プリズムを設定し、仮想コンテンツをプリズムの中にレンダリングするためのアプリケーションを開始する間、ユーザが、ユーザのランドスケープ１１０内の特定の場所、例えば、ユーザのランドスケープ１１０の垂直壁上に表示するためのアプリケーションを選択すると、ユニバースブラウザエンジンは、ローダボリューム１１０Ｎをプレースホルダボリュームとしてのデフォルトアイコンとともに表示し、ユーザに、ユニバースブラウザエンジンが表示のためのプリズムを設定中であることを示してもよい。いったんアプリケーションが、仮想コンテンツをユーザのランドスケープ内への表示のためにプリズムの中にレンダリングすることを終了すると、ローダボリューム１１０Ｎは、レンダリングされた仮想コンテンツを含有する、実際のプリズムと置換される。
いくつかの実施形態では、ユニバースブラウザエンジンが、仮想コンテンツを表示するためのアプリケーションを開始する間、ユーザ１０３は、ローダボリューム１１０Ｎを所望の異なる場所に移動させてもよい。いくつかの実施形態では、ユーザは、ローダボリューム１１０Ｎを、最初に選択されたローダボリューム／プリズムの場所と異なる、場所に移動させてもよい。いったんユニバースブラウザエンジンが、プリズムを作成することを終了し、アプリケーションが、仮想コンテンツをプリズムの中にレンダリングすると、ユニバースブラウザエンジンは、ローダボリューム１１０Ｎを置換してもよく、ユーザが、ローダボリューム１１０Ｎを設置する度に、プリズムは、仮想コンテンツを表示してもよい。
二次ＵＩボリューム１２０Ｎは、プリズム（例えば、その「親プリズム」）が作成されると作成され得る、別のプリズムである。二次ＵＩボリューム１２０Ｎは、ユーザのために、プリズムの普遍インターフェースを提供する。例えば、二次ＵＩボリューム１２０Ｎは、二次ＵＩボリューム１２０Ｎが、プリズムを管理する（例えば、閉じる／除去する、共有する、追従する、プリズムのコンテンツのスクリーンショットを撮影する等）ための機構を提供するため、ウィンドウ装飾と見なされ得る。プリズムが、作成されると、プリズムがランチャの一部ではない（ランチャアプリケーションが、二次ＵＩボリュームを有していなくてもよい）場合、二次ＵＩボリューム１２０Ｎが、プリズムのために作成されてもよい。二次ＵＩボリューム１２０Ｎは、ユーザがプリズムと相互作用し、それを管理するために、閉じる／除去する、共有する、追従する、スクリーンショット等のグラフィカルユーザインターフェースアイコンを表示するための空間／ボリュームを提供する。二次ＵＩボリューム１２０Ｎは、親プリズムに関連付けられ、親プリズムとグループ化されてもよい。二次ＵＩボリューム１２０Ｎ寿命は、それが関連付けられる親プリズム寿命が終了すると、終了する。
いくつかの実施形態では、二次ＵＩボリューム１２０Ｎは、少なくとも３つの状態、すなわち、（１）親プリズムの焦点がずれているとき、何も表示しない、（２）親プリズムが合焦しているとき、コンポーネントの「可視名」を表示する、および（３）具体的ユーザ相互作用、例えば、ハンドヘルドコントローラ（例えば、トーテムまたは他の好適なユーザ相互作用コントローラ）のホームボタンがある秒数にわたって保持されたことが検出されると、アプリケーションメニューオプションアイコンの「カルーセル」を表示することであって、カルーセルは、アイコンの集合を表示し、そのうちの１つは、プリズムを閉じるための大「Ｘ」アイコンであってもよいことを有してもよい。いくつかの実施形態では、二次ＵＩボリューム１２０Ｎは、その親プリズムを介して、入力を受信する。換言すると、親プリズムは、二次ＵＩボリューム１２０Ｎが、そのカルーセルを表示するかどうか、したがって、親プリズムが、ユーザ入力を二次ＵＩにリダイレクトするかどうかを決定してもよい。二次ＵＩボリューム１２０Ｎのカルーセルは、下記に開示される。
いくつかの実施形態では、ランチャは、複合現実システムのためのデフォルト「ホーム」メニューであってもよい。ランチャは、コンテンツの複数のパネルをシステムステータスバーとともにまとめてもよい。各パネルは、異なるコンテンツタイプを表してもよい。アプリケーションは、ランチャから引き出され、迅速な復帰のために、ランドスケープの中にピン固定されてもよい。ランチャ自体も、場所毎のカスタマイズおよび／または迅速アクセスのために、ランドスケープの中に設置されてもよい。
ランチャ１３０Ｎは、ユーザに、新しいアプリケーションをユーザのランドスケープ１１０の中に立ち上げる能力を提供する。ランチャ１３０Ｎは、パネルと呼ばれる、一連の身体中心プリズムから成る、アプリケーションであってもよい。パネルは、垂直および水平にスクロール可能であってもよく、ユーザは、例えば、スワイプ運動を用いて、パネル間で切り替えてもよい。いくつかの実施形態では、１つのパネル（例えば、中心パネル）が、一度に可視であってもよく、その２つの近傍パネルが、プレースホルダパネルとしてその側面において可視である。ユーザが、次のパネルにスワイプすると、プレースホルダパネルは、拡張し、完全パネルを示してもよい。パネルは、アイコングリッドアプリケーション１６０Ｎと、ソーシャルパネル１８０Ｎと、ストアパネル１９０Ｎとを含んでもよい。いくつかの実施形態では、ユーザが、次のパネルにスワイプすると、パネル自体は、移動または変化しないが、代わりに、異なるパネル内のコンテンツ（例えば、アイコン）が、中心パネル（例えば、アクティブパネル）内および外に動画化されてもよい。さらに、アプリケーションは、下記にさらに議論される、場所毎のカスタマイズのために、ランチャ１３０Ｎから引き出され、ユーザのランドスケープ１１０の中にピン固定されてもよい。
いくつかの実施形態では、アプリケーション１４０（図１Ｍ）は、各アプリケーション１４０上の一元型レンダリングサービスクライアント１５０Ｎを介して、ユニバースブラウザエンジンと通信してもよい。一元型レンダリングサービスクライアント１５０Ｎは、ユニバースブラウザエンジン１３０内のユニバースサーバ１０５Ｎと通信してもよい。一元型レンダリングサービスクライアント１５０Ｎは、ユーザのランドスケープ内への表示のためのコンテンツを生成する、アプリケーション１４０および他のアプリケーションが、ユニバースサーバ１５０Ｎを介してユニバースブラウザエンジンと通信することを可能にする、一元型レンダリングシステムのクライアントサービスであってもよい。
ユニバースサーバ１５０Ｎは、ユニバースブラウザエンジンが、ユーザのランドスケープ内に表示されるためのユニバースブラウザエンジンコンテンツを提供する、アプリケーションと通信することを可能にする、一元型レンダリングシステムのサービスを備えてもよい。いくつかの実施形態では、通信は、データをレンダリングする以上のこと、例えば、データを入力する、セキュリティ権限を要求する、仮想キーボードの表示または非表示を要求すること等を備えてもよい。
いくつかの実施形態では、一元型レンダリングシステムは、複数のアプリケーションから単一ディスプレイ上（例えば、複合現実システムにおけるユーザのランドスケープ内）に表示されるためのグラフィカルデータを受信するためのハードウェアおよびソフトウェアリソース専用のシステムであってもよい。一元型レンダリングシステムは、複数のアプリケーション１４０からのグラフィカルデータをシーングラフ等の「一元型」データ構造に組み合わせ、これは、ディスプレイに、複数のアプリケーションからのグラフィカルデータを現実的および効率的様式において反映させるシーンをレンダリングするために使用され得る。一元型レンダリングシステムを達成するために、いくつかの実施形態では、アプリケーションは、クライアントプリズム（例えば、図１Ｎからのクライアントプリズム１１５Ｎ）と呼ばれる、プリズムのローカル表現に変更を行ってもよい。これらの変更は、次いで、ユニバースサーバ１０５Ｎに送信され、サーバプリズム内に記憶されてもよい。一元型レンダリングシステムは、次いで、更新されたデータをサーバプリズム内にレンダリングしてもよい。一元型レンダリングシステムは、以降、「Ｃａｌｉ」または「Ｋａｌｉ」システムと称され得る。ユニバースブラウザエンジンは、例えば、ユニバースブラウザエンジンが実世界内のプリズムを管理し得るため、Ｃａｌｉサーバの拡張バージョンと見なされ得る。
いくつかの実施形態では、ユニバースブラウザエンジンのための仮想コンテンツ（例えば、図１Ｍにおける１１５ａまたは１１５ｂ、図１Ｏにおける１１５）を作成する、各アプリケーション１４０は、個別のアプリケーション１４０のそれぞれ上にインストールされる、一元型レンダリングサービスクライアント１５０Ｎ（以降、「Ｃａｌｉクライアント」と称され得る）を介して、一元型レンダリングシステムおよびユニバースブラウザエンジンと通信する。さらなる情報は、「ＣＥＮＴＲＡＬＩＺＥＤ ＲＥＮＤＥＲＩＮＧ」と題され、２０１７年３月３０日に出願され、参照することによってその全体として本明細書に組み込まれる、関連米国仮特許出願第６２／４７９，１３４号に開示され得る。一元型レンダリングシステムは、複数の異なるアプリケーションからの仮想コンテンツが適切に分析および処理されることを確実にし、必要な場合、仮想コンテンツが現実的様式においてユーザに表示されることを確実にすることによって、ユーザの体験を改良する。いくつかの実施形態では、ユニバースブラウザエンジンは、プリズムを管理すること等の付加的機能性を伴う、Ｃａｌｉサーバのインスタンスである。いくつかの実施形態では、クライアントプリズムは、クライアントボリュームのインスタンスであって、サーバプリズムは、サーバボリュームのインスタンスであって、アプリケーションオプションディスプレイをもたらす、プリズムがそのコンテンツをロードする間、ローダボリュームを表示する、他のプリズムと衝突させる、および変換ツリーの一部となる能力等、付加的機能性を伴う。
クライアントプリズム１１５Ｎ－ａおよびクライアントプリズム１１５Ｎ－ｂは、アプリケーション１４０によって生成され、ユーザのランドスケープ内に表示されるためにＣａｌｉクライアント１１５Ｎ－ａによってユニバースサーバ１０５Ｎに送信される、仮想コンテンツを備える。いくつかの実施形態では、アプリケーション１４０が、仮想コンテンツ１１５Ｎ－ａおよび１１５Ｎ－ｂに変更を行うにつれて、仮想コンテンツへの変更は、クライアントプリズム１１５Ｎからユニバースサーバ１０５Ｎに通信され、その情報は、対応するサーバプリズムデータ構造（例えば、図１Ｍ－１Ｎにおける１１３ａまたは１１３ｂまたは図１Ｏにおける１１３）内のユニバースブラウザエンジンの内側に記憶される。いくつかの実施形態では、アプリケーション１４０は、仮想コンテンツ１１５Ｎ－ａが表示されるユーザのランドスケープ内の場所を把握しない。ユニバースブラウザエンジンは、クライアントプリズム１１５Ｎ－ａに関連付けられた対応するサーバプリズム１１３ａを介して、仮想コンテンツ１１５Ｎ－ａの表示場所を管理してもよい（例えば、一元型レンダリングシステムによって処理された後の仮想コンテンツ１１５ａ）。
アプリケーション１４０は、ユニバースサーバ１０５Ｎにアクセスすることによって、新しいプリズムを要求してもよい。いくつかの実施形態では、ユニバースサーバ１０５Ｎは、ユーザのランドスケープ１１０内への表示のために仮想コンテンツを提供する、アプリケーションからの一元型レンダリングサービスクライアント１５０Ｎと通信する、ユニバースブラウザエンジン内のソフトウェアモジュールであってもよい。例えば、ユーザが、アプリケーションを立ち上げ、アプリケーションからの仮想コンテンツをユーザのランドスケープ内に表示することを所望するとき、アプリケーションは、ユーザのランドスケープ内にアンカされ得るプリズム内に表示されるための仮想コンテンツを、一元型レンダリングサービスクライアントを介して、ユニバースブラウザエンジンに、すなわち、アプリケーションから、ユニバースブラウザエンジン上のユニバースブラウザエンジン一元型レンダリングサービスに提供してもよい。
いくつかの実施形態では、アイコングリッドアプリケーション１６０Ｎは、最近のアプリケーションセクション（図示せず）および／または一般的アプリケーションセクション（図示せず）を備えてもよい。一般的アプリケーションセクションは、複合現実システム上にインストールされる各アプリケーションを表す、アイコンを備える。一般的アプリケーションセクションは、最初に、パッケージマネージャ（図示せず）へのコールが取り込まれ、インストールされたパッケージのリストを決定し得る。アイコンは、アプリケーション毎に、各パッケージ内に追加される。パッケージマネージャが、ユニバースブラウザエンジンに、パッケージインストールおよびアンインストールを通知すると、アイコングリッドアプリケーション１６０Ｎは、適宜、そのアイコンを調節する。パッケージマネージャサービスは、アプリケーションのインストールを管理し、その名称、アイコングラフィック、セキュリティ許可、実行可能ファイル、およびデータファイル等のそれらのアプリケーションについての情報を維持する。
最近のアイコンセクションは、最初に、ディスク上のログから再構築され、次いで、他のサービスからのコールによって更新されてもよい。パッケージ名は、ライフサイクルサービスが、ランチャに、アプリケーション開始イベントを通知すると、パッケージマネージャが、ランチャに、パッケージアンインストールイベントを通知すると、ディスクにログ付けされ得る。ユーザは、アイコンを選定し、立ち上げる、またはアイコンを抽出し、ランドスケープの中に設置することによって、アイコングリッドアプリケーション２６０と相互作用してもよい。
ライフサイクルサービスは、アプリケーションの開始、停止、スリープへの移行、およびウェイクアップのプロセスを管理する、一元型サービスであってもよい。ライフサイクルサービスはまた、アプリケーションが予想外に終了（クラッシュ）するときを把握する。これらのイベントのいずれかが発生すると、サービスのリスナは、通知され、ユニバースブラウザエンジンは、リスナのうちの１つである。ユニバースブラウザエンジンは、本サービスにアクセスし、アプリケーションを開始、停止、スリープ、およびウェイクアップする。いくつかの実施形態では、ライフサイクルサービスは、複合現実システム内で起動するアプリケーションプロセスのライフサイクルを制御するためのアプリケーションプログラミングインターフェース（ＡＰＩ）を提供する。ライフサイクルサービスは、新しいプロセスをスポーンし、許可のセットを用いて、アプリケーションバイナリを起動し、ＡＰＩをアプリケーションによって実装される所定のインターフェース上にコールし、そのライフサイクルを制御してもよい。ライフサイクルサービスはまた、リスナインターフェースを提供し、それを通して、他のモジュールは、開始／停止／一時停止／再開されるアプリケーションを追跡してもよい。ライフサイクルサービスは、ランチャまたはユニバースブラウザエンジンと別個のプログラムであってもよい。いくつかの実施形態では、ライフサイクルサービスは、ミドルウェアであってもよい。
いくつかの実施形態では、図１Ｎに示されるように、アイコングリッドアプリケーション１６０Ｎは、一元型レンダリングサービスクライアント２５０ｂと、クライアントプリズム１１５Ｎ－ｃとを備える。上記に議論されるように、いくつかの実施形態では、コンテンツをユーザのランドスケープ内に表示する、アプリケーションは、ユニバースサーバ１０５Ｎと通信する、一元型レンダリングサービスクライアント１５０Ｎを介して、そのコンテンツをユニバースブラウザエンジンに送信してもよい。ここでは、ランチャメニューのために複合現実システム上にインストールされたアプリケーションのアイコンを提供する、アイコングリッドアプリケーション１６０Ｎは、ユーザのランドスケープ内への表示のためのコンテンツを提供する、同様に任意の他のアプリケーションである。しかしながら、いくつかの実施形態では、アイコングリッドアプリケーション内のアイコンは、ユーザによって選択されると、ユニバースブラウザエンジンに、新しいアプリケーションを立ち上げ、始動させるように命令してもよく、その時点で、新しいアプリケーションは、ユニバースブラウザエンジンに、アプリケーションが新しいプリズムの中に表示されるためのコンテンツを提供し得るように、新しいプリズムを作成する（例えば、ユニバースサーバ１０５Ｎを通して）ことを要求してもよい。アプリケーションが、すでに実行している場合、ユニバースブラウザエンジンは、アプリケーションに、新しいプリズムを開くように要求してもよい。
ステータスバーアプリケーション１７０Ｎは、複合現実システムのためのステータスインジケータを備える。ステータスインジケータおよびステータスバーアプリケーション１７０Ｎは、ユーザによって調節可能ではない場合がある。ステータスインジケータは、最初に、Ｗｉ－Ｆｉサービスを動作および維持するための第１のサービス、Ｂｌｕｅｔｏｏｔｈ（登録商標）サービスを維持するための第２のサービス、およびステータスのための第３のサービスにクエリすることによって、取り込まれてもよい。これらのサービスが、ステータスバーアプリケーション１７０Ｎに、更新されたステータスを通知すると、ステータスバーは、適宜、調節してもよい。ステータスバーは、それらがシステム内の任意の場所から迅速かつ効率的に反応し得る、ユーザ迅速グランサブル情報を提供する。いくつかの実施形態では、ステータスバーは、ランチャの上方に表示されてもよい。ステータスバー内の４つの主要なセクションは、（１）グローバル検索、（２）通知、（３）迅速設定、および（４）電源であってもよい。音楽、電話、共有等、付加的一時的セクションが、必要に応じて、ステータスバーに追加されてもよい。
ユーザが、ランチャメニュー内にあるとき、ステータスバーは、グランサブルアイコンに簡約される。ユーザが、上部までスワイプすると、動画をトリガし得、ステータスバーは、拡張し得る。ステータスバーは、ユーザが、ランチャパネルを通して、左および右にスワイプし得る間、ランチャの上方に留まり得る。ステータスバーが、ハイライトされると、拡張し、前方に動画化し得る。サブ選択ハイライトが、デフォルトによって、例えば、グローバル検索上の左に現れ得る。より緊急コンテンツ（例えば、最近の通知、低バッテリ等）を有する、他のセクションが存在する場合、サブ選択ハイライトが、代わりに、そのセクション上に現れ得る。
ソーシャルパネルアプリケーション１８０Ｎは、ユーザが相互作用し得る、一連の連絡先から成ってもよい。ソーシャルパネルは、最初に、利用可能な連絡先のための連絡先サービスへのコールを取り込まれてもよい。各連絡先は、ソーシャルパネルに追加され、ユーザにアイコンとして表示されてもよい。ソーシャルパネルアプリケーション２８０が、新しい連絡先、更新された連絡先、除去された連絡先イベントを受信すると、ソーシャルパネルアプリケーション１８０Ｎは、適宜、その連絡先情報を調節してもよい。ユーザは、連絡先アイコンをクリックし、オプションメニューを利用可能な種々の連絡先プロバイダとともにポップアップさせることによって、連絡先アイコンと相互作用してもよい。ユーザが、プロバイダを選択すると、ランチャアプリケーションは、連絡先の情報を用いて、関連付けられたアプリケーションを開始してもよい。
ストアパネルアプリケーション１９０Ｎは、ユーザが、複合現実システムのためのアプリケーション１４０を検索、ダウンロード、およびインストールすることを可能にしてもよい。ユーザが、アプリケーションをダウンロードおよびインストールすることを要求すると、ランチャアプリケーション１３０Ｎは、ユーザの識別を識別照合サービス（図示せず）を用いて照合してもよく、次いで、パッケージマネージャを用いて、アプリケーションをインストールしてもよい。ライフサイクルサービスは、ユーザがアプリケーションをパネルから開始する場合、呼び出されてもよい。いくつかの実施形態では、ランチャ内の各パネルは、１つのランチャアプリケーションとしての代わりに、別個のアプリケーションとして機能してもよい。
いくつかの実施形態では、ユニバースクライアント１２５Ｎは、ユニバースブラウザエンジンに特有のコンテンツをレンダリングする。ユニバースサーバ１０５Ｎは、第三者アプリケーションをレンダリングしない。これは、プリズム内のコンテンツが、ユニバースサーバ１０５Ｎではなく、ユニバースクライアント１２５Ｎによってのみレンダリングされ得るためである。したがって、無限遠プリズム、ローダボリューム／プリズム、および／または二次ＵＩ（ユーザインターフェース）プリズムをレンダリングするために、サーバのためのそれらの特定のタイプのコンテンツをレンダリングするための作業が、ユニバースクライアント１２５Ｎに委任される必要があり得る。無限遠プリズムは、例えば、２つのプリズムが衝突するとき、ユニバースによって、付加的グラフィックをプリズムの周囲にレンダリングするために使用されてもよい。無限遠プリズムは、下記にさらに議論される。ローダプリズムおよび二次ＵＩプリズムでは、ユニバースサーバ１０５Ｎとユニバースクライアント１２５Ｎとの間に、ある機能性を協調させるための具体的通信が存在し得る。
例えば、ユニバースサーバ１０５Ｎは、アプリケーションがロードを終了したことを伝えられ得る。ユニバースサーバ１０５Ｎは、次いで、クライアント側ローダプリズムに、アプリケーションを現在ロードされていることを通知してもよい。ローダプリズムは、動画を示すことによって、アプリケーションがロードを終了したことのイベントに反応する必要があるであろう。いったんクライアント側ローダプリズムが、動画を示すことを終了すると、ローダプリズムは、ユニバースサーバ１０５Ｎに、動画化を終了したことを通知してもよい。次いで、ユニバースサーバ１０５Ｎは、ローダプリズムを退けさせ、ローダプリズムを破棄し、ローダプリズムの代わりに、アプリプリズムをレンダリングされた動画で表示することによって、ローダプリズムが動画化を終了したことの通知に反応し得る。開示された内容は、単に、ユニバースクライアント１２５Ｎが機能し得る方法の一実施例である。当業者は、ユニバースクライアント１２５Ｎがユニバースブラウザエンジン１３０を補助し得るときの他の実施例が存在し得ることを理解し得る。
図１Ｏは、１つ以上の実施形態による、ユニバースブラウザプリズムの実施例を示す。アプリケーションコンテンツは、プリズムと呼ばれる、１つ以上の境界ボリュームの内側においてユーザに提示される。上記に議論されるように、非没入型のアプリケーションが、複合現実システム内で実行されるとき、そのコンテンツは、プリズムの内側にレンダリングされる。プリズムのプロパティおよび特性は、ユニバースブラウザエンジンがユーザのランドスケープ内のプリズムを一貫して管理することを可能にする。
プリズム１１３のボリューム空間は、図１Ｏにおける破線で示されるように、クリアかつ決定的境界を有してもよい。境界は、プリズム１１３の境界内にのみ表示されるための仮想コンテンツ１１５のための境界ボリュームを提供する。プリズムの境界は、プリズム内に表示されるアプリケーションからのコンテンツが、プリズム外およびユーザのランドスケープの中にオーバーフローする、すなわち、はみ出ないように防止する。プリズム１１３の境界は、ユーザにプリズム１１３内に表示される仮想コンテンツ１１５が見えるとき、ユーザに表示されなくてもよい。これは、ユーザのランドスケープ内への３Ｄコンテンツの現実的表示を維持するために、仮想コンテンツ１１５を境界するプリズムの境界を示さないことが重要であるため、重要な特徴である。当業者は、仮想コンテンツが、より現実的方法において、ユーザのランドスケープ内に表示されるように、仮想コンテンツ１１５の周囲にラップする、プリズムの境界を表示しないことの重要性を理解する。２Ｄウィンドウとは対照的に、２Ｄウィンドウの境界線および境界は、概して、表示され、したがって、２Ｄウィンドウを表示するコンピュータのユーザは、１つの２Ｄウィンドウ内のコンテンツと別の２Ｄウィンドウからのコンテンツを明確に区別し得る。しかしながら、いくつかの実施形態では、例えば、１つ以上のアプリケーションに関する問題をトラブルシュートすることに役立てるために、プリズムの境界を少なくとも一時的に表示することが有利であり得る。
アプリケーションは、ユニバースブラウザエンジンによって、コンテンツをその中に設置するためのプリズム１１３のインスタンスを与えられる。アプリケーションは、相対的設置アルゴリズムおよび／または恣意的変換を使用して、２Ｄおよび／または３Ｄコンテンツをプリズム１１３内にレンダリングしてもよいが、ユニバースブラウザエンジンは、依然として、最終的には、コンテンツ抽出等の総合的相互作用パターンの管理を担う。複数のアプリケーションは、プリズム１１３を介して、ユニバースブラウザエンジンに、プリズムを分離するプロセス境界をレンダリングし得る。
ユニバースブラウザエンジン内に配分される各プリズムは、調節され得る、関連付けられたキー／値プロパティのセットを有し、挙動の種々のビットを決定する、または所与のプリズムが存在する理由についての情報を伝達してもよい。いくつかのプロパティは、通常アプリケーションに関しては、読取専用であるが、プライベートＡＰＩを伴うアプリケーションに関して、これらのプロパティは、書込可能である。プリズム１１３は、プリズムプロパティ１１０Ｏと、アプリケーション特有プロパティ１２０Ｏと、仮想コンテンツ１１５とを備えてもよい。加えて、いくつかのプリズム１１３は、ユーザに付加的プリズム管理オプションを提供するための二次ＵＩボリューム１３０Ｏを備える。しかしながら、いくつかの実施形態では、プリズムは、例えば、これらの他のタイプのプリズム（例えば、ランチャメニュープリズム）が、二次ＵＩボリューム１３０Ｏによって提供される特徴を要求し得ないため、二次ＵＩボリューム１３０Ｏを有していなくてもよい。プリズムの境界のように、二次ＵＩボリューム１３０Ｏは、同様に、ユーザに表示されなくてもよい。ユーザが、プリズムに変更を行うことを所望すると、ユーザは、プリズムのＵＩ制御を二次ＵＩボリュームのボリューム空間内に表示する、アプリケーションオプションメニューを表示するための要求を開始してもよい。
それらが保持する、アプリケーションに応じて、プリズムは、そのコンテンツのための適切なフィードバックおよび挙動を与えるために、異なるプロパティを要求し得る。アプリケーションデベロッパは、そのアプリケーションを作成するとき、そのプリズムのためのいくつかの事前にプログラムされたオプションから選択してもよく、したがって、そのコンテンツは、その選好に基づいて、正しく表され得る。下記は、これらのオプションのうちのいくつかの実施例である。
プリズムプロパティ１１０Ｏは、少なくとも部分的に、プリズムを定義し、ユニバースブラウザエンジンが、ユーザのランドスケープ内のプリズムを管理および維持することを可能にする。例えば、プリズムプロパティ１１０Ｏは、デフォルトサイズ、最大サイズ、最小サイズ、アンカ／設置タイプ（例えば、ビルボード表示等に対するオプション）、アンカタイプに対する所与のプリズムの挙動、アンカ場所、子プリズムスポーン場所、子頭部姿勢ハイライト、表面上挙動、独立変換制御、リサイジング対リスケーリングインジケータ、アイドル状態タイムアウト変数等のうちの１つ以上のものを含んでもよい。プリズムプロパティ１１０Ｏは、ユニバースブラウザエンジンに、ユーザのランドスケープ内のそれぞれおよび全てのプリズムを追跡および管理する能力をもたらす。単一アプリケーションにユーザのランドスケープ内に表示される仮想コンテンツ管理させることは、ユーザのランドスケープ内に表示されるコンテンツが一貫し、かつ信頼性がある様式において表示されることを保証する。プリズムプロパティ１１０Ｏのうちのいくつかはさらに、下記に開示される。
最大、最小、およびデフォルトサイズ：アプリケーションは、アプリケーションデベロッパによって規定された上側および下側境界を有してもよい（随意に、ユニバースブラウザエンジンからの付加的限界を伴う）。加えて、アプリケーションデベロッパは、アプリケーションが最初に立ち上げられるとき、デフォルトサイズを有してもよい。
移動シーケンスの間のビルボード表示するためのオプション：あるオブジェクト（例えば、平面にあるコンテンツ）は、移動シーケンスの間、ユーザに向かってビルボード表示を行い、視認性およびより少ない管理を促すことは、道理にかなっている。例えば、平面表面上に表示されるあるコンテンツは、具体的場所および／またはオブジェクトに対して位置付けられ得るが、その配向は、平面表面上に表示されるコンテンツが、常時、平面表面上に表示されるコンテンツを視認するユーザの方向に面するように、自動的に算出される。他の随意の身体動態挙動も、同様に、これに追加され得る。
子プリズムスポーン場所：プリズムは、子をスポーンし、フレキシブルなレイアウトを作成してもよい。アプリケーションデベロッパは、その中に子が親プリズムに対してスポーンし得る、場所の応答性範囲を決定することが可能であるべきである。子頭部姿勢ハイライト：アプリケーションは、子プリズム上の頭部姿勢ハイライトが別個のハイライトとして取り扱われ得るかどうか、または１つのユニットとして全ての子／親プリズムをハイライトし続けるかどうかを選定することが可能であり得る。
子プリズム関係挙動：プリズムは、その子プリズムが、平行移動、回転、およびスケーリングにおいて、それらにアンカされ得るかどうかを決定し、また、子プリズムが主要なプリズムを遮断するであろうかどうかを選定してもよい。
表面上挙動：プリズムは、表面にスナップされ、その表面にクエリし、それらがサイズ／スケール変化を所望するかどうかを決定してもよい。表面が、空間を有する場合、プリズムは、表面の全てまたはあるパーセンテージに適合するようにリサイジングし、ユーザの視野（ＦＯＶ）に組み入れてもよい。
独立変換制御：アプリケーションは、その平行移動、回転、およびスケーリングの独立制御を要求してもよい。これは、アプリケーションが、それ自体を移動および変換することを可能にし得る。
リサイジング対スケーリング：いくつかのアプリケーションは、そのコンテンツのみをスケーリングする代わりに、その境界をリサイジングするように選定してもよい。これは、より多くのコンテンツがその境界内に表示されるように適応し得る。これは、既存のコンピュータ２Ｄウィンドウのように機能し得る。
アイドル状態タイムアウト：アプリケーションは、そのアイドル状態になるまでにかかる時間を選定することが可能であり得る。これは、アプリケーションが、視野外にある場合でも、コンテンツを再生し続けることを所望し得る状況をハンドリングし得る。例えば、ライブビデオを表示する、アプリケーションは、ユーザが一時的に目を逸らす場合でも、コンテンツを表示し、オーディオを再生し続けることを所望してもよい。
アプリケーション特有プロパティ１２０Ｏは、プリズム毎にアプリケーション特有状態情報を記憶する、キー／値ペアのリストであってもよい。キー／値ペアのリストは、アプリケーションに特有であって、キー／値ペアは、プリズム内に表示またはレンダリングされている、アプリケーションのコンテンツの状態情報を提供する。キー／値ペアのリストは、プリズムの中にレンダリングするアプリケーションに応じて、プリズム毎に異なってもよい。例えば、アプリケーションが、ビデオストリーミングアプリケーションである場合、いくつかのキー／値ペアは、ビデオ名、ビデオの視聴最大時間、ビデオを表示するためのアスペクト比等を含んでもよい。
プリズムプロパティ１１０Ｏおよびアプリケーション特有プロパティ１２０Ｏの両方が、プリズム毎に、ローカルデータベース１３７のデータ構造内に記憶されてもよい。プリズムデータは、ユーザは、複合現実システムを動作させ、プリズムと相互作用している間、常に更新される。上記に議論されるように、ローカルデータベース１３７のプリズムインスタンスデータは、周期的ベースで外部データベース１５０と同期することによって、持続されてもよい。いくつかの実施形態では、ローカルデータベース１３７および外部データベース１５０は、近リアルタイムで同期されてもよい。
ユーザが、ユニバースブラウザエンジン内のアプリケーションを立ち上げるとき、ユーザは、プリズムをランチャメニューから外に引き出し、結果として生じるボリュームを空間の中に設置してもよい。アプリケーションアイコンをクリックする等のアプリケーションを立ち上げる他の方法も、使用されてもよい。いくつかの実施形態では、ユーザは、コントローラ／入力デバイス（例えば、トーテム）を上または下に移動させることによって、プリズムを（球状シェル上の）高度および方位角に移動させてもよい。オブジェクトをより近くまたはより遠くに移動させるために、ユーザは、トーテム上のジョイスティックを使用して、プリズムを「押動」または「引動」させてもよい、またはユーザの指をトーテムのタッチセンサ式部分にわたってスライドさせてもよい。これは、シェルの半径を変化させる効果を有する。いくつかの実施形態では、トーテム上の２つのボタンは、プリズムを拡大または収縮させ得る。最後に、トーテム自体を回転させることは、プリズムを回転させ得る。これは、トーテムが６自由度（ＤＯＦ）を有し得ると仮定する。これは、例えば、ＶＲ絵画アプリケーションにおいて使用される種類の制御と一致するが、トーテムは、任意の好適なユーザ入力デバイスであり得る。
いくつかの実施形態では、プリズムは、それらが他のプリズムと完全または部分的に交差するようにそれ自体が設置されることを可能にし得ない。プリズムは全く交差し得ないか、または正確に同一場所（アンカ点）に内在しない／能動的に表示され得ないかのいずれかであるが、プリズムは、下記に議論されるように、物理学目的のために、わずかのみ重複し得ることを例外とする。１つを上回るプリズムが、正確に同一場所に設置される場合、アクティブアプリケーションは、表示されてもよく、正確に同一場所にアンカされる他のアプリケーションは、隠蔽されてもよい。ユーザは、例えば、ボリューム内に表示されるドットによって、複数のアプリケーションがある場所に存在することが分かり得る。例えば、３つのプリズム／アプリケーションが、特定のスポットに存在する場合、３つのドットが存在し得る。ユーザが、３つのうちのアプリケーション＃２を視認する場合、第２のドットが、明化され得る一方、他のドットは、暗化され得る。ユーザは、次いで、異なるアプリケーションを通して、スワイプまたはスクロールしてもよい。グラフィックは、切り替わってもよく、ドットは、更新され（例えば、アクティブドットを明化することによって）、現在アクティブであるアプリケーションを示してもよい。
いくつかの実施形態では、いくつかのプリズムは、同一アンカ場所に共同設置されてもよい。一見すると、これは、奇妙に思え得る。アプリケーションをユーザのランドスケープ内に設置するために利用可能なあらゆる３Ｄ空間の中で、それらを同一スポット内に設置する理由とは？例えば、仮想ボードゲームをプレーするためのユーザのお気に入りの場所は、台所のテーブル上であり得る。朝、ユーザは、朝食を食べている間、「Ｔｉｃｋｅｔ Ｔｏ Ｒｉｄｅ」をプレーすることを好み得る。しかし、ユーザが、仕事から帰宅時、ユーザは、「Ｒｉｓｋ」をコンピュータと対戦することを好み得る。ユーザは、同一スポット内に位置する、複数のボードゲームを有し、必要時、それらを切り替え得る。
いくつかの実施形態では、プリズムは、空間内の恣意的場所に設置されてもよい。この場合、プリズムは、立方体／長方形ボリュームの中心点によってアンカされてもよい。しかし、（例えば、設置の間）プリズムが、ランドスケープ内の水平表面の近傍に移動される場合、プリズムは、表面にスナップするように試み得る。アンカ点は、次いで、プリズムの底部平面の中心となり得る。同様に、プリズムが、垂直表面（例えば、壁）に向かって移動される場合、それにスナップするように試み得、アンカ点は、垂直表面の隣にある、プリズムの側面となり得る。
アンカ点の目的は、プリズムがアンカされる表面を相互に貫通しないように、プリズムを設置することであり得る。アンカ点はまた、アンカされるオブジェクトとともに移動してもよい。複数のプリズムが、同一場所を共有するとき、その場所は、アンカ点であり得、その個別のボリュームの中心点ではない。アプリケーションは、それらが位置する場所を把握せず、把握する必要がないが、アプリケーションは、その個別のプリズムに尋ね、個別のプリズムがアンカされている方法を確認してもよい。アプリケーションはまた、有効であるアンカタイプを規定してもよい。例えば、Ｈａｌｃｙｏｎを垂直表面にアンカすることは、道理にかなっていない。
アプリケーションのためのコンテンツ（グラフィック）は全て、プリズムのボリューム内に含有されてもよい。ユニバースブラウザエンジンは、プリズム外に延在するグラフィックを自動的にマスクアウトしてもよい。アプリケーションは、世界内の他のアプリケーションについて把握していないため、ユニバースブラウザエンジンは、異なるアプリケーションの異なるプリズム間で発生する、相互作用を管理してもよい。
プリズムを設置するためのユーザインターフェース設計は、プリズムが設置状態において移動されている間、プリズムが物理的方法において上下揺するように要求してもよい（紐上のオブジェクトのように）。異なるアプリケーションが所望することになる物理的挙動の種類を予測することを試みる代わりに、プリズムは、設置されている間、移動情報をアプリケーションにフィードしてもよい（バインダインターフェースを通して）。アプリケーションは、次いで、適切に挙動し得る。
また、それらが設置されるにつれて、プリズム間にも物理的挙動が存在してもよい。これは、アプリケーションの物性実装をオーバライドし得、アプリケーションは、移動データの受信を停止し得る。プリズムは、最初に、交差に抵抗し得る。ユーザが、２つのプリズムを同一場所の中に押動させ続ける場合、プリズムは、交差するプリズムのアンカ場所にスナップし得る。これは、弾力があって（例えば、相互に相互作用する石鹸の泡に類似する）、物理学に大まかに基づくように行われ得る。
オーディオエミッタが、子ノードとしてアプリケーションのシーングラフ内に設置されてもよい。これらのノードは、ルートノード変換にローカルであってもよい。したがって、プリズムは、移動されてもよく、プリズムの移動は、アプリケーションがオーディオノードの変換を更新することを要求しない。ユニバースブラウザエンジンは、オーディオエミッタから世界空間への最終変換に関与し得る。プリズムはまた、オーディオノードをその境界に制約することに関与し得る。アプリケーションは、オーディオをその個別のプリズム外の点から放出し得ない。
いくつかの実施形態では、オーディオを空間化することが望ましくない場合がある。例えば、ユーザが、仮想テレビ（ＴＶ）を壁上に設置し、ＴＶ画像上に合焦する場合、ＴＶのオーディオは、修正を伴わずに、ユーザに提供されてもよい。これは、より良好なオーディオ体験をユーザに提供する可能性が高い。周囲音の場合、オーディオ信号は、空間情報をすでに有する。音は、ＴＶに対する最適場所に設置された仮想スピーカから放出されてもよい。
いくつかの実施形態では、ユーザによるオーディオ強度を制御するためのボタン押下に応じて、ユニバースブラウザエンジンは、頭部姿勢をチェックし、ユーザが見ているプリズムを決定し、音量アップまたは音量ダウンイベントを対応するプリズムに送信してもよい。プリズムは、その情報をプリズム内で起動されているアプリケーションに転送してもよく、アプリケーションは、それを解釈する方法を決定し得る。ランドスケープ内に合焦されているアプリケーションが存在しない場合、音量ボタン設定は、グローバル音量を調節してもよい。
いくつかの実施形態では、従来の２Ｄウィンドウとプリズム１１３との間の１つの差異は、２Ｄウィンドウでは、２Ｄウィンドウの境界を設定する境界線が、２Ｄウィンドウの境界線外のコンテンツから離れてコンテンツを２Ｄウィンドウ内に含有するための具体的境界線を提供するために、ユーザによって見えるように意図されることである。しかしながら、いくつかの実施形態では、３Ｄウィンドウ（例えば、プリズム１１３）の境界線は、不可視であるように意図される。ユーザに、全てのプリズムの輪郭（例えば、境界線）が見え得る場合、「現実」であるような錯覚を破壊し、その境界線が表示されるプリズム内に表示される仮想コンテンツは、現実である代わりに、コンピューティング／デジタル／仮想コンテンツのように現れるであろう。いくつかの実施形態では、境界線は、例えば、必要に応じて、ユーザ操作を有効にするために表示されてもよい。
別の差異は、２Ｄウィンドウが、一般に、ユーザによって制御および／またはと相互作用されるように意図されることである。例えば、閉じるボタンは、常時、従来の２Ｄウィンドウの右上角に現れ得る、またはメニューバーは、２Ｄウィンドウの上部境界線に表示され得る。しかしながら、プリズムでは、ユーザは、概して、プリズムおよびその境界と相互作用しない。代わりに、二次メニュー（例えば、アプリオプションメニュー）が、ユーザがオプションのリストからプリズムを制御および管理／操作するために、一時的にプルダウンされ得る。
さらに、２Ｄウィンドウは、その周囲から独立する。例えば、コンピュータ画面上に表示される内容は、ユーザが画面を移動させる場合、自動的に変化しない。しかしながら、プリズムは、実世界とのコンテキスト内に設置される必要がある。例えば、各プリズムは、（１）壁、テーブル等の実環境内のオブジェクト、（２）プリズムがアンカするための背景またはキャンバスを提供するために作成された仮想オブジェクト、および／または（３）ユーザに対して、実世界の中に設置されてもよい。いくつかの実施形態では、プリズムは、パス可能世界および実世界とのコンテキスト内に設置されてもよい。
なおもさらに、いくつかの実施形態では、プリズムは、相互に重複／相互貫通することを可能にされ得ないが、プリズムが物理学目的のためにわずかのみ重複し得ることを例外とする。例えば、いくつかの実施形態では、２つ以上のプリズム内の仮想コンテンツが、衝突するとき、仮想コンテンツは、それらが相互に衝突するように現れるとき、２つの仮想コンテンツ間でバウンスを示すように現れてもよい。ここでは、プリズムは、２つの仮想コンテンツ間のバウンスの効果を作成するために、わずかのみ重複してもよい。いくつかの実施形態では、２つ以上のプリズムのための境界ボックスが、衝突するとき、プリズム、故に、プリズムのコンテンツは、バウンスするように現れてもよい。
しかしながら、コンピュータ上の２Ｄウィンドウは、重複し、多くの場合、２Ｄウィンドウは、相互の上にカスケード表示され、ユーザのビューから相互を隠蔽し得る。いくつかの実施形態では、２つのプリズムが、ユーザのランドスケープ１１０内の同一場所にアンカされる場合、プリズムのうちの１つは、表示され得る一方、他のプリズムは、ディスプレイから最小限にされ、アイコンまたはテキストまたは画像（または任意の他の視覚的インジケータ）が、ユーザに、別のプリズムが正確に同一場所にアンカされていることを示すために表示される。いくつかの実施形態では、無限遠プリズムが、付加的グラフィックを、例えば、それらが衝突するとき、プリズムの周囲にレンダリングするために実装されてもよい。いくつかの実施形態では、無限遠プリズムは、その境界が無限遠に設定される、プリズムであってもよい。
例えば、２つのプリズムが、衝突するほど近接する場合、ユニバースブラウザエンジンは、光彩を２つのプリズム間の空間の領域内にレンダリングしてもよい。これらの例外をハンドリングするために、ユニバースブラウザエンジンは、２つのプリズム、ユーザの視野全体（ユーザに現在見え得る内容）、ユーザの動眼視野全体（動き回る場合、ユーザに見え得る内容）等の周囲の／それを囲繞する全ての空間を包含し得る、無限遠プリズムを作成してもよい。これは、ユニバースブラウザエンジンが、グラフィックを２つのプリズム間の任意の場所に引き出すことを可能にし得る。いくつかの実施形態では、無限遠プリズムは、いかようにも、衝突しない、または相互作用し得ない。いくつかの実施形態では、無限遠プリズムは、二次ＵＩ等を有していない。いくつかの実施形態では、ユニバースブラウザエンジンのみが、無限遠プリズムへのアクセスを有してもよい。無限遠プリズムは、ユニバースブラウザエンジン初期化時に作成されてもよく、ユニバースブラウザエンジンがシャットダウンするまで、常時存在してもよい。第２の実施例では、無限遠プリズムは、キャラクタ（例えば、アバタ、パーソナルアシスタント、蝶、動物等）を他のランドスケープアプリ間で移動させ、例えば、各アプリケーションの内容および／またはアプリケーションの使用方法をユーザに説明するために有用であり得る。
図１Ｐは、１つ以上の実施形態における、ウェブページを表示し、ウェブページパネルの位置および／または回転データをデフォルトにリセットするためのブラウザの初期化の実施例を図示する。本実施例では、ブラウザ（１０４Ｐ）は、初期化し、着目ウェブページをロードする（１０２Ｐ）。ブラウザ（１０４Ｐ）は、１５８Ｐにおいて、デフォルト位置および回転データをブラウザエンジン（１０４Ｐ）に伝送する、ユニバースブラウザエンジン（１０６Ｐ）と連動して機能する。ユニバースブラウザエンジン（１０６Ｐ）はさらに、１５６Ｐにおいて、ウェブページのためのウェブページパネルの位置および回転データをリセットする。ブラウザエンジン（１０４Ｐ）は、１６０Ｐにおいて、デフォルト位置および回転データをユニバースブラウザエンジンから受信し、デフォルト位置および回転データを非一過性コンピュータ可読媒体（１０８Ｐ）内に記憶する。
図１Ｑは、１つ以上の実施形態における、ＧＥＴ要求を用いた、ウェブページパネルの位置および／または回転データの決定の実施例を図示する。本実施例では、着目ウェブページ（１０２Ｑ）が、１０８Ｑにおいて、例えば、ユーザの入力に応答して、またはあるイベント等によってトリガされる、ブラウザによってウェブページをロードすることに応じて、ウェブページパネルのための位置および回転データを取得するための要求をブラウザまたはブラウザエンジン（１０４Ｑ）に発行するようにコーディングされ得るときに該当する。ブラウザまたはブラウザエンジン（１０４Ｑ）は、１１０Ｑにおいて、位置および／または回転データを非一過性コンピュータ可読媒体（１０６Ｑ）から取得してもよい。ブラウザまたはブラウザエンジン（１０４Ｑ）は、次いで、１１２Ｑにおいて、非一過性コンピュータ可読媒体（１０６Ｑ）からの本位置および／または回転データをウェブページに返してもよい。
図１Ｒは、１つ以上の実施形態における、ＳＥＴ要求を用いた、ウェブページパネルの位置および／または回転データの決定の実施例を図示する。本実施例では、着目ウェブページ（１０２Ｒ）が、１５２Ｒにおいて、ブラウザによってウェブページをロードすることに応じて、ウェブページパネルのための位置および回転データを設定するための要求をブラウザまたはブラウザエンジン（１０４Ｒ）に発行するようにコーディングされ得るときに該当する。位置および／または回転データの受信に応じて、ブラウザまたはブラウザエンジン（１０４Ｒ）は、１５４Ｒにおいて、非一過性コンピュータ可読記憶媒体１０８Ｒ（例えば、キャッシュ）内に以前に記憶された位置および／または回転データを更新してもよい。
ブラウザまたはブラウザエンジン（１０４Ｒ）はさらに、１５６Ｒにおいて、受信された位置および／または回転データを、ＳＥＴ要求とともに、ユニバースブラウザエンジン（１０６Ｒ）にパスしてもよい。ブラウザまたはブラウザエンジン（１０４Ｒ）は、次いで、非一過性コンピュータ可読媒体（１０８Ｒ）からの本位置および／または回転データをウェブページに返してもよい。ＳＥＴ要求を充足させるために、ユニバースブラウザエンジン１０６Ｒは、１１０Ｒにおいて、ＳＥＴ要求とともに受信され、１５８Ｒに伝送される、位置および／または回転データを使用することによって、ウェブページパネルの位置および／または回転データを設定してもよい。
図１Ｓ－１Ｘおよび２Ｊ－２Ｍを参照して説明される実施形態のうちの少なくともいくつかは、ウェブページ開発者が、ウェブページの位置ではなく、ウェブページの配向（例えば、１つ以上の軸を中心とした回転）を操作（例えば、設定、調節等）することを可能にするための技術を提供する。これらの実施形態のうちのいくつかでは、開発者は、ウェブページを、ユーザの基準フレームに対して、水平配向または垂直配向（それらの間の任意の他の角度ではなく）に設定するように限定される。いくつかの他の実施形態では、開発者は、ウェブページを水平配向または垂直配向およびそれらの間の任意の他の所定の角度に設定するように限定され得る。これらのウェブページの位置の操作は、例えば、本明細書に説明されるユニバースブラウザエンジンによって提供され得るが、ウェブページ開発者には提供されない。これらの実施形態では、ウェブページは、例えば、本明細書に説明されるユニバースブラウザエンジンによって決定された位置から開始する。ウェブページの開発者へのウェブページの配向を操作する能力の提供、および、例えば、ユニバースブラウザエンジンによる、ウェブページの位置および配向の両方を操作する能力を用いることで、これらの実施形態はまた、本明細書に提供されるＸＲシステムのユーザが、ウェブページの位置および配向の両方を操作することを可能にする技術を提供し得る。
より具体的には、図１Ｓは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するために、ウェブサイトと相互作用する、簡略化されたシステムの高レベルブロック図を図示する。より具体的には、ユニバースブラウザエンジン１０６Ｓは、ウェブページの配向データをブラウザエンジン１０４Ｓに伝送し、そのようなデータをブラウザエンジン１０４Ｓ内に記憶し得る。ユニバースブラウザエンジン（例えば、１０６Ｓ）は、ラップトップまたはデスクトップコンピュータのディスプレイ画面上に表示される２Ｄウィンドウを管理するためにラップトップまたはデスクトップコンピュータ上で起動する、２Ｄウィンドウマネージャに類似する、３Ｄウィンドウマネージャとしての役割を果たし得る。ユニバースブラウザエンジンと連動して機能する、ユニバースブラウザアプリケーションはまた、複合現実システムを介して、ユーザのランドスケープ内の仮想コンテンツの生成、設置、および表示を管理する。ブラウザエンジン１０４Ｓが、ウェブサイト１０２Ｓのウェブページまたはその中のコンテンツを表示するために、初期化すると（例えば、ユーザが、ブラウザを立ち上げる、またはウェブサイトをロード／訪問すると）、ブラウザ１０２Ｓは、ウェブサイトが、配向データをクライアントのブラウザに設定し、クライアントブラウザ（１０８Ｓ）からの配向データを取得することの両方を行うようにコーディングされる、ＡＰＩのセットを組み込むようにコーディングされているとき、ウェブページの配向データがブラウザエンジン１０４Ｓによってレンダリングされるように設定してもよい。
ブラウザエンジンは、多くの場合、ＨＴＭＬおよび／またはウェブページの他のリソースをユーザのデバイス（例えば、複合現実ヘッドセット）上の双方向視覚的表現に変換すること等のタスクを実施する、ウェブブラウザのソフトウェアコンポーネントである。以下の説明は、ＣｈｒｏｍｉｕｍまたはＣｈｒｏｍｉｕｍベースのブラウザを参照し得るが、他のブラウザ（例えば、ＭｏｚｉｌｌａのＦｉｒｅｆｏｘ、ＡｐｐｌｅのＳａｆａｒｉ、ＭｉｃｒｏｓｏｆｔのＥｄｇｅおよびＩｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ、ＧｏｏｇｌｅのＣｈｒｏｍｉｕｍ、Ｏｐｅｒａ、３Ｄブラウザ等）もまた、検討され、本技法は、完全に等しい効果を伴って、その個別のブラウザエンジン（例えば、ＭｏｚｉｌｌａのためのＧｅｃｋｏ、ＳａｆａｒｉのためのＷｅｂＫｉｔ、ＣｈｒｏｍｉｕｍのためのＢｌｉｎｋ、Ｃｈｒｏｍｉｕｍベースのブラウザ、ＭｉｃｒｏｓｏｆｔのＥｄｇｅ、およびＯｐｅｒａ、およびＩｎｔｅｒｎｅｔ ＥｘｐｌｏｒｅｒのためのＴｒｉｄｅｎｔ等）に対応する、異なるブラウザに適用される。
ブラウザエンジン１０４Ｓは、直上に述べられたブラウザまたは任意のカスタムブラウザ（例えば、３Ｄブラウザ）等の任意の公的に入手可能なブラウザを含んでもよい。ブラウザエンジン１０４Ｓの機能のうちの１つは、例えば、ウェブページのための配向データを用いて、ＨＴＭＬドキュメントおよびウェブページの他のリソースをユーザのデバイス上の双方向視覚的表現に変換する、ウェブサイトまたはユニバースブラウザエンジン１０６Ｓのいずれかによって提供される配向データを使用して、視覚的表現のためのグラフィカル座標を計算する、プリズム（またはその一部）をペイントまたはレンダリングすること等を含む、機能を提供することである。
本明細書に説明されるウェブページを管理および表示するための１つ以上の実施形態に関するＡＰＩの本セットは、ポータブルオペレーティングシステムインターフェース（ＰＯＳＩＸ）ＡＰＩ規格に準拠し、プラットフォームまたはオペレーティングシステムから独立して、空間コンピューティング機能性を提供する、ＡＰＩを含んでもよい。ＡＰＩの本セットは、いくつかの実施形態では、上記に前述されるようなウェブサイトのコードの中に組み込まれてもよく、および／またはいくつかの他の実施形態では、複合現実システム上に常駐する、オペレーティングシステムまたはソフトウェアアプリケーションの一部の中に統合されてもよい。
ＡＰＩの本セットは、ウェブサイト１０２Ｓと、ブラウザエンジン１０４Ｓと、ユニバースブラウザエンジン１０６Ｓとの間で配向データを設定および取得するだけではなく、また、オペレーティングシステムとソフトウェアアプリケーションとの間のランタイム層および１つ以上の３Ｄエンジンとも併せて（またはオペレーティングシステムサービス層とソフトウェアアプリケーションとの間では、より精密に）機能する。本ランタイム層は、ライブラリ、アプリケーション、サービス等を含み、下層複合現実システムのための高度なグラフィカルユーザインターフェース、および３次元平行移動および回転変換、材料および骨格３Ｄモデルアニメーションを伴う３Ｄモデル、２Ｄスプライトアニメーション、空間コンピューティングのための高忠実性空間化テキストレンダリング、２Ｄおよびサウンドフィールドオーディオ、２Ｄおよび立体視ビデオ、剛体衝突物理学、リアルタイム粒子ＦＸ、入力イベントおよび触知制御、手のジェスチャ、発話認識および発話／テキスト変換、オブジェクト、照明、陰影、および実世界オクルージョンをレンダリングするためのリアルタイム空間コンピューティング技術等の種々のコンピューティング機能性を提供する（単独で、または３Ｄエンジンと併せてのいずれかで）。
例えば、本ランタイム層は、仮想オブジェクト、ブラウザ ウィンドウ、レンダリングされたウェブページ等、または任意のその属性（例えば、ディスプレイ座標、サイズ、形状、遠近感、照明効果等）が、ユーザによって現実またはほぼ現実であるように現れる、またはそのように知覚されるように、仮想３次元空間内に表示される、例えば、プリズム（後に説明されるであろう）、仮想オブジェクト、ブラウザウィンドウ、レンダリングされたウェブページ等に適用され得る、３次元平行移動および回転変換のセットを含んでもよい。
図１Ｓに戻ると、ＡＰＩのセットを用いて、ウェブサイト１０２Ｓは、ブラウザエンジン１０４Ｓから配向のための要求を送信してもよい（１１２Ｓ）。この場合、ブラウザエンジン１０４Ｓは、直近の配向データをウェブサイトに伝送してもよい（１１４Ｓ）。上記に説明されるように、ユニバースブラウザエンジン１０６Ｓは、ブラウザエンジン１０４Ｓが、例えば、そのような配向データをユニバースブラウザエンジン１０６Ｓから取得することからの付加的遅延を伴わずに、ウェブサイト１０２Ｓからのそのような要求に応答し得るように、ブラウザエンジン１０４Ｓ内に、またはそれを用いて（例えば、ブラウザエンジン１０４Ｓによってアクセス可能なキャッシュ内に）、配向データを記憶してもよい。
最新配向データをウェブサイト１０２Ｓに返すことに加え（１１４Ｓ）、ブラウザエンジン１０４Ｓは、配向データ（１１０Ｓ）を、単独で、またはレンダリングされたウェブページとともにのいずれかで、ユニバースブラウザエンジン１０６Ｓに伝送してもよい。ユニバースブラウザエンジン１０６Ｓは、１１０Ｓを介して受信された配向データに基づいて、プリズム（またはそのより小さいボリューム）を作成または識別し、ユニバースブラウザエンジン１０６Ｓは、配向データ（１１６Ｓ）をブラウザエンジン（１０４Ｓ）と同期させる。ユニバースブラウザエンジン１０６Ｓは、ブラウザエンジン１０４Ｓをコールし、その本来の機能、ライブラリ、および／またはＡＰＩ（例えば、ＣｈｒｏｍｉｕｍまたはＷｅｂＫｉｔにおけるＲｅｎｄｅｒＷｉｄｇｅｔ、ＯｐｅｎＧＬ ＡＰＩ、ＯｐｅｎＧＬ ＥＳ２．０ＡＰＩ等、Ａｌｍｏｓｔ Ｎａｔｉｖｅ Ｇｒａｐｈｉｃｓ Ｌａｙｅｒ Ｅｎｇｉｎｅ、Ｄｉｒｅｃｔ３Ｄ ＡＰＩ、ＷｅｂＧＬ、Ｇｆｘ ＡＰＩ等、またはそれらの任意の組み合わせ）を呼び出し、表示のために、配向データに基づいて、ウェブページのコンテンツをプリズムまたはその一部内にレンダリングしてもよい。
いくつかの実施形態では、ユニバースブラウザエンジン１０６Ｓは、オペレーティングシステムスタック内のオペレーティングシステムコアおよびオペレーティングシステムサービスの上方で起動される、１つ以上の３Ｄエンジンを呼び出し、３Ｄコンテンツをレンダリングしてもよい。これらの１つ以上の３Ｄエンジンは、３Ｄおよび／または２Ｄグラフィックのための任意のカスタム３Ｄエンジンである、グラフィック処理ユニット（ＧＰＵ）の抽象化層を提供する、商業的または公的に入手可能な３Ｄエンジン（例えば、Ｕｎｒｅａｌ Ｅｎｇｉｎｅ４、Ｕｎｒｅａｌ Ｅｎｇｉｎｅ３、ＣｒｙＥｎｇｉｎｅ Ｖ、Ｕｎｉｔｙ ３Ｄ Ｓｏｕｒｃｅ Ｅｎｇｉｎｅ、Ｓｏｕｒｃｅ Ｅｎｇｉｎｅ２等）を含んでもよい。これらの実施形態のうちのいくつかでは、複合現実システムは、３Ｄエンジン全体を組み込む必要はない。むしろ、複合現実システムは、レンダリングエンジンまたはレンダリングＡＰＩ、物理法則をエミュレートするための物理学エンジン、ＪａｖａＳｃｒｉｐｔ（登録商標）スクリプト等のスクリプトを解析および実行するためのスクリプトエンジン、メモリ管理モジュール、および／またはスレッドモジュール等のより小さい部分を組み込んでもよい。いくつかの実施形態では、本明細書に説明される複合現実システムは、２Ｄコンテンツをレンダリングするためのレンダラと、３Ｄグラフィックをレンダリングするための別個のレンダラとを呼び出してもよい。
ユーザはさらに、複合現実システムを通して、仮想３Ｄ空間内に表示されるウェブページの配向を改変してもよい。例えば、ユーザは、それぞれ、表示されるウェブページ、そのためのプレースホルダ、またはウェブページのミニプレビューバージョンを配向することと関連付けられる、ソフトウェアハンドルを握持することによって、表示されるウェブページ、そのためのプレースホルダ、またはウェブページのミニプレビューバージョンを自由に移動および／または回転させてもよい。ウェブページの配向データは、したがって、修正され、ユニバースブラウザエンジン１０６Ｓはさらに、配向データをブラウザエンジン１０４Ｓと同期させてもよい（１１６Ｓ）。その時点で、ブラウザエンジン１０４Ｓは、次いで、オリジナル配向データと本修正された配向データを置換する。
図１Ｓ－１Ｘおよび２Ｊ－２Ｍを参照して説明されるいくつかの実施形態では、ウェブページまたはそのパネルの配向データは、いくつかの実施形態では、位置付けおよび配向データの両方を含み得るが、配向データは、いくつかの他の実施形態では、位置付けデータではなく、配向のみを含み得ることに留意されたい。さらに、配向データは、配向データが、位置付けデータおよび配向データの両方を含む、それらの実施形態では、位置付けデータ、配向データのいずれか、または位置付けおよび配向データの両方を指し得ることに留意されたい。配向データが、配向データ（例えば、１つ以上の軸を中心とした回転）のみを含む、いくつかの実施形態では、これらの実施形態は、ウェブページ開発者に、ウェブページの位置ではなく、配向を操作（例えば、設定、変更等）する能力を提供する。いくつかの実施形態では、ウェブページの開発者は、例えば、Ｗｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．ＰｏｓｉｔｉｏｎおよびＷｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．ｒｏｔａｔｉｏｎを使用し、ウェブページパネルの現在の位置および回転を取得してもよく、開発者はさらに、例えば、Ｗｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．Ｐｏｓｉｔｉｏｎ＝ｎｅｗＤｏｍＰｏｉｎｔ（ｘ，ｙ，ｚ）およびＷｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．ｒｏｔａｔｉｏｎ＝ｎｅｗＤｏｍＰｏｉｎｔ（ｘ，ｙ，ｚ）を使用して、それぞれ、位置および回転を設定してもよい。
図１Ｔは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するために、ウェブサイトと相互作用する、簡略化されたシステムの別の高レベルブロック図を図示する。より具体的には、図１Ｔは、いくつかの実施形態における、ウェブページのためのブラウザパネル１０２Ｔと、ブラウザエンジン１０４Ｔと、ユニバースブラウザエンジン１０６Ｔとの間の相互作用と、ブラウザ１０２Ｔ、ブラウザエンジン１０４Ｔ、およびユニバースブラウザエンジン１０６Ｔによって実施される個別のタスクおよび機能とを図示する。ブラウザまたはウェブブラウザは、ウェブリソース（例えば、個々のウェブページ、画像、ビデオ等）が、統一資源ロケータによって識別され、ウェブブラウザが、これらのウェブリソースをウェブサーバから読み出し、それらをユーザのデバイス上に表示することを可能にする、ワールドワイドウェブに関する情報にアクセスするためのソフトウェアアプリケーションである。
ブラウザエンジン（例えば、１０４Ｔ）は、ＨＴＭＬおよび／またはウェブページの他のリソースをユーザのデバイス（例えば、複合現実ヘッドセット）上の双方向視覚的表現に変換すること等のタスクを実施する、ウェブブラウザのソフトウェアコンポーネントである。本明細書に説明される種々の実施形態は、開発者およびユーザが、少なくとも、ＡＰＩの前述のセットと、複合現実システムと、ソフトウェアアプリケーションおよびライブラリ（例えば、ユニバースブラウザエンジン）とを使用することによって、インターネットコンテンツを管理および表示し、ウェブリソースを利用するために、任意の公的または商業的に利用可能なブラウザおよびその個別のエンジンを活用する。
ウェブサイトは、着目ウェブページまたはウェブページのパネルのための配向データを設定し得（１０２Ｔ）、現在のウェブページの現在の配向をさらに要求し得る（１０２Ｔ）。ウェブページの開発者が、ある配向データを含む、ある様式において、着目ウェブページを提示することを所望している場合がある、いくつかの実施形態では、ウェブサイトはさらに、そのような配向データをブラウザに送信してもよい（１０２Ｔ）。
いくつかの実施形態では、ブラウザが、コンテンツをインターネットから表示するために立ち上げられる、または初期化されると、ブラウザは、初期化し、ウェブサイトのウェブページまたはその中のコンテンツをレンダリングおよび表示する（１０４Ｔ）。ブラウザはまた、ブラウザエンジンによってレンダリングされるべきウェブページの配向データを送信してもよい（１０４Ｔ）。例えば、ウェブサイトが、配向データをクライアントのブラウザに設定し、配向データをクライアントブラウザから取得することの両方を行うようにコーディングされる、ＡＰＩの前述のセットを組み込むようにコーディングされるとき、ブラウザは、本配向データをウェブサイトから受信し、ウェブパネルがコンテンツをウェブサイトから表示するために、配向データを設定してもよい。
ブラウザは、ウェブページのためのウェブパネルのための変換、配向データをリセットしてもよい（１０４Ｔ）。例えば、ブラウザは、ウェブページパネルのための３Ｄ変換（例えば、３Ｄ平行移動変換、３Ｄ回転変換、および／または３Ｄスケーリング変換）をデフォルト値または状態にリセットしてもよい。デフォルト値または状態は、一実施形態では、レンダラ（例えば、ＷｅｂＫｉｔおよびＣｈｒｏｍｉｕｍのためのＲｅｎｄｅｒＷｉｄｇｅｔ）によってアクセス可能な非一過性メモリ（例えば、キャッシュメモリ）内に記憶されてもよい。ブラウザは、配向のための要求をウェブサイトからそのブラウザエンジンに中継してもよい（１０４Ｔ）。ブラウザエンジンは、エクステンデッドリアリティ（ＸＲ）システム内に常駐する、ウェブサイトとユニバースブラウザエンジンとの間の中間体として作用する。
ウェブページパネルの配向データが、前述の非一過性メモリ内に記憶される、いくつかの実施形態では、ブラウザまたはそのブラウザエンジンは、例えば、ユニバースブラウザエンジンからのそのようなデータを取得することからの付加的遅延を伴わずに、ウェブサイトからの配向データのための要求に迅速に応答し得る。ブラウザエンジンによってアクセス可能な本配向データは、ウェブサイトまたはブラウザがデータまたはその一部を変化させるとき、同期されてもよい。加えて、または代替として、ブラウザエンジンによってアクセス可能な本配向データは、ブラウザによって、初期化およびリセットされてもよい。いくつかの実施形態では、本配向データは、配向データのためのウェブサイトの要求（１０２Ｔ参照）によって更新されてもよい。ブラウザエンジンが、配向データをウェブサイトから受信する、いくつかの実施形態では、ブラウザエンジンはさらに、データをブラウザにパスしてもよい。
ブラウザはまた、単独で、またはレンダリングされたコンテンツ（例えば、ウェブページ）とともにのいずれかで、配向データをユニバースブラウザエンジン（１０４Ｔ）に送信してもよい。ユニバースブラウザエンジンは、少なくとも部分的に、ブラウザエンジンからの配向データに基づいて、レンダリングされたウェブページを表示するために、３Ｄ仮想ボリューム（例えば、プリズム）を作成してもよい。加えて、または代替として、いくつかの実施形態は、ユーザに、エクステンデッドリアリティ（ＸＲ）システムによって作成された仮想３Ｄ空間内にレンダリングされたウェブページ（またはコンテンツ）を操作する能力を提供してもよい。
ユーザは、したがって、変換の新しいセットがレンダリングされたウェブページに適用される必要があるように、仮想３Ｄ空間内にレンダリングされたウェブページを移動および／または回転させてもよい。エクステンデッドリアリティシステムのオペレーティングシステムは、ランタイム層および３Ｄエンジンを含み、少なくとも部分的に、ブラウザエンジンから受信された配向データに基づいて、1つ以上の変換の新しいセットをレンダリングされたウェブページに適用してもよい。1つ以上の変換の新しいセットが、適用された後、ユニバースブラウザエンジンはまた、新しい配向データをブラウザエンジンに返信し（１０６Ｔ）、その中の前の配向データを更新してもよい。
ブラウザが、初期化すると、またはユーザが、レンダリングされたウェブページを操作し、故に、配向データを変化させると、ブラウザエンジンは、配向データを、利用可能である場合、ユニバースブラウザエンジンから受信し得る（１０４Ｔ）。ブラウザエンジンは、したがって、非一過性メモリ（例えば、キャッシュ）内に記憶される配向データを、ユニバースブラウザエンジンから受信され（１０４Ｔ）、例えば、キャッシュメモリ内に記憶される、リフレッシュされた配向データで更新し得る。ブラウザエンジンはまた、ウェブページパネルのための配向データを設定してもよい（１０４Ｔ）。ウェブページの開発者が、ウェブページの配向を設定している（例えば、開発者が、オンラインチェスゲームを表示するウェブページの位置および／または回転を設定している）、ある実施例では、ブラウザはまた、ウェブサイトから受信された配向データに従って、ウェブページパネルの配向データを設定してもよい。
ユーザが、プリズム内に表示されるウェブページパネルの位置を改変することを可能にされる、いくつかの実施形態では、ユニバースブラウザエンジンは、非一過性メモリ（例えば、キャッシュ）内に記憶される位置データを、ウェブページパネルの位置のユーザ操作に基づいて、例えば、キャッシュメモリ内に記憶される、位置データで更新してもよい。ユニバースブラウザエンジンはまた、ウェブページパネルのための位置データを設定してもよい（１０４Ｔ）。
加えて、ブラウザエンジンは、ユニバースブラウザエンジンが、エクステンデッドリアリティシステムを介してレンダリングされたウェブページを提示するために、仮想３Ｄ空間（例えば、プリズム）を決定し得る（例えば、新しいものを作成する、または既存のものから識別することによって）ように、配向データをユニバースブラウザエンジンに送信してもよい（１０４Ｔ）。ユーザが、レンダリングされたウェブページをさらに操作する能力を提供される、いくつかの実施形態では、ブラウザエンジンは、レンダリングされたウェブページの配向データをユニバースブラウザエンジンに提供してもよく、これは、ひいては、ユーザがレンダリングされたウェブページを操作するためのソフトウェアハンドルを提供し、対応する変換を実施し、ユーザの操作に応答してもよい。
ユニバースブラウザエンジンはまた、１０６Ｔにおいて、ユーザが、仮想３Ｄ空間（例えば、１つ以上のプリズム）内のウェブページおよび他のコンテンツおよび／またはリソースを管理および表示するための高度なグラフィカルユーザインターフェースおよび機能性を提供するために、オペレーティングシステム、１つ以上のオペレーティングシステムサービス、１つ以上のランタイムアプリケーションおよびライブラリのセット、１つ以上の３Ｄエンジン、およびエクステンデッドリアリティシステムのアプリケーションのスイートを含む、またはそれと連動して機能してもよい。例えば、ユニバースブラウザエンジンの機能のうちの１つは、ウェブページの（または他の仮想コンテンツ）の配向データ（および／または位置データ）をブラウザエンジン（１０４Ｔ）に提供することである。ユニバースブラウザエンジンはまた、直近の配向データが、ブラウザエンジンにプッシュされる（ユニバースブラウザエンジンから）、またはユニバースブラウザエンジンからプルされ得る（ブラウザエンジンによって）ように、直近の配向データ（および／または位置データ）を、ブラウザエンジンと同期させる（１０６Ｂ）。
図１Ｕ－１Ｗは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示する際に使用され得る、例示的ブラウザエンジンおよびユニバースブラウザエンジンのさらなる詳細なブロック図を図示する。より具体的には、図１Ｕは、いくつかの実施形態における、仮想３Ｄ空間（例えば、プリズム）内のウェブページパネルの３Ｄ配向データを設定するための簡略化された擬似コードを図示する。これらの実施形態では、擬似コードは、Ｃｈｒｏｍｉｕｍのためのコードの類似セットに基づくが、他のウェブブラウザのためのコードもまた、検討され、完全に等しい効果を伴って、本明細書に説明される技法に適用されることができる。
例えば、ブラウザエンジン１００Ｕは、１０２Ｕにおいて、Ｗｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．Ｏｒｉｅｎｔａｔｉｏｎを実行し、ユニバースブラウザエンジン内のウェブページパネルの配向データを設定するためのプロセスを初期化する。いくつかの実施形態では、Ｗｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．Ｏｒｉｅｎｔａｔｉｏｎは、例えば、ＯｐｅｎＧＬ Ｍａｔｈｅｍａｔｉｃｓ（ＧＬＭ）（または任意の他の数学ライブラリ）またはＣＳＥ２０２１１（Ｇｆｘ）のための単純グラフィックライブラリを利用して、部分的または全体的に、２Ｄまたは３Ｄ空間内の２Ｄおよび３Ｄエンティティのための配向データおよび１つ以上の変換に基づいて、ウェブページパネルの配向データを設定および取得してもよい（例えば、擬似コード「ｇｌｍ：：ｖｅｃ３ｏｌｄ＿ｐｏｓ（０．０ｆ）」、「ｇｌｍ：：ｑｕａｔ ｒｏｔａｔｉｏｎ（ｇｌｍ：：ｖｅｃ３（０．０ｆ））」、「ｇｌｍ：：ｖｅｃ３ ｓｃａｌｅ（１．０ｆ）」、およびＧＬＭにおける「ｇｌｍ：：ｍａｔ４ ｔｒａｎｓｆｏｒｍ＝ｗｅｂ＿ｃｏｎｔａｉｎｅｒ＿－＞ｇｅｔＣｕｒｒｅｎｔＶｏｌｕｍｅＴｒａｎｓｆｏｒｍ（）」または「ｇｆｘ：：Ｐｏｉｎｔ３Ｆ ｒｏｔ＝ｌｏｃａｌ＿ｆｒａｍｅ＿ｃｌｉｅｎｔ－＞ＧｅｔＶｉｒｔｕａｌＷｏｒｌｄＲｏｔａｔｉｏｎ（）」、またはＧｆｘにおける「ｇｆｘ：：Ｐｏｉｎｔ３Ｆ ｆｌａｔ＿ｒｏｔ｛－Ｍ＿ＰＩ＿２，０．０ｆ， ０．０ｆ｝」によって）。ウェブページ開発者が、ウェブページパネルの位置ではなく、０度～９０度の回転のみを選定するように操作（例えば、設定、改変等）することを可能にされる、いくつかの他の実施形態では、Ｗｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．Ｏｒｉｅｎｔａｔｉｏｎは、ブラウザエンジン内に列挙されるタイプ（「ｅｎｕｍ」）として定義される、入力（例えば、ストリング「ｆｌａｔ」または「ｕｐｒｉｇｈｔ」）を受け取り得る。これらの実施形態のうちのいくつかでは、ユニバースブラウザエンジンは、列挙されるタイプの入力をＧＬＭタイプに変換し、データをウェブページパネルに設定してもよい。例えば、入力が平坦ウェブページパネルを示す、ある場合には、ウェブページパネルの回転は、｛－Ｍ＿ＰＩ＿２，０．０ｆ， ０．０ｆ｝に設定され得る。別の実施例として、入力が、直立ウェブページパネルを示す、ある場合には、ウェブページパネルの回転は、｛０，０，０｝に設定され得る。擬似コード、プログラミング言語、および種々のクラス、変数等の名称は、本願では、例証および解説目的のために使用され、同じまたは実質的に類似目的を果たす、任意の他の好適なプログラミング言語、名称等もまた、検討され、また、そのような目的を達成するために使用されてもよいことに留意されたい。以下は、関数宣言を含むためにヘッダファイルの一部内に実装される、前述の説明のための例示的コードセグメントであるが、他の類似または均等物実装もまた、検討されており、したがって、使用され得ることに留意されたい。
Figure 2022526977000005
ブラウザエンジン１００Ｕはさらに、ＬｏｃａｌＦｒａｍｅＣｌｉｅｎｔＩｍｐｌ：：ＳｅｔＯｒｉｅｎｔａｔｉｏｎ（１０６Ｕ）（またはＬｏｃａｌＦｒａｍｅＣｌｉｅｎｔ＊）、ＲｅｎｄｅｒＦｒａｍｅＩｍｐｌ：ＳｅｔＯｒｉｅｎｔａｔｉｏｎ（１０８Ｕ）を実行し、上記に説明されるように、または本明細書に説明されるＶｉｒｔｕａｌＷｏｒｌｄ：：ｓｅｔＯｒｉｅｎｔａｔｉｏｎ、ＲｅｎｄｅｒＦｒａｍｅＨｏｓｔ＊、ＷｅｂＬｏｃａｌＦｒａｍｅＩｍｐｌ＊とともに、プロセス間通信（ＩＰＣ）メッセージ－ＦｒａｍｅＨｏｓｔＭｓｇ＿ＳｅｔＯｒｉｅｎｔａｔｉｏｎを送信してもよい。構成概念ＲｅｎｄｅｒＦｒａｍｅＩｍｐｌ：ＳｅｔＯｒｉｅｎｔａｔｉｏｎは、ＲｅｎｄｅｒＷｉｄｇｅｔ：：ＳｅｔＯｒｉｅｎｔａｔｉｏｎをコールし、ＩＰＣメッセージを送信するために使用されてもよい。構成概念ＬｏｃａｌＦｒａｍｅＣｌｉｅｎｔＩｍｐｌ：：ＳｅｔＯｒｉｅｎｔａｔｉｏｎは、Ｃ＋＋ＬｏｃａｌＦｒａｍｅＣｌｉｅｎｔＩｍｐｌ．ｃｐｐから導出され、例えば、ＧｆｘまたはＧｆｘ－ｒｓ等の低レベルグラフィック抽象化層および配向データを使用して、クライアントフレームのための配向データを設定および取得する。
構成概念ＲｅｎｄｅｒＦｒａｍｅＩｍｐｌ：：ＳｅｔＯｒｉｅｎｔａｔｉｏｎは、Ｃ＋＋ＲｅｎｄｅｒＦｒａｍｅＩｍｐｌ．ｃｐｐから導出され、Ｇｆｘおよび配向データに基づいて、レンダラ（例えば、ＲｅｎｄｅｒＷｉｄｇｅｔ ｆｏｒ Ｃｈｒｏｍｉｕｍベースのブラウザ）を呼び出し、フレームをブラウザエンジン（例えば、ＣｈｒｏｍｉｕｍベースのブラウザのためのＢｌｉｎｋ）に返信するように構成されてもよい。ブラウザエンジン１００Ｕはまた、１１２Ｕにおいて、少なくとも、ＲｅｎｄｅｒＷｉｄｇｅｔ：：ＳｅｔＯｒｉｅｎｔａｔｉｏｎを実行することによって、レンダラまたはレンダリングプロセスを呼び出し、ウェブページパネルのためのＲｅｎｄｅｒＷｉｄｇｅｔクラス内に記憶される配向データ（例えば、キャッシュメモリ内に記憶される配向値）を更新してもよい。別個のコンテンツレンダリングプロセスがさらに、実行またはトリガされ、１つ以上のプロセス（例えば、１つ以上のレンダリング機能）によって、３Ｄ配向データに従って、着目ウェブページのコンテンツを「ペイント」またはレンダリングするように実行してもよい。より具体的には、レンダラプロセスＲｅｎｄｅｒＷｉｄｇｅｔは、グルーインターフェース（例えば、ＷｅｂＷｉｄｇｅｔＤｅｌｅｇａｔｅ）を使用して、抽象インターフェースをグルーインターフェース内に実装してもよい。本抽象インターフェースは、例えば、２Ｄウィンドウまたは３Ｄボリュームをディスプレイ空間内に含み、入力イベントを受信し、コンテンツをその中にレンダリングしてもよい。補助ディスプレイアイテム（例えば、オプションのリストを示す上／下矢印を伴う選択ボックス、タブ、ポップアップウィンドウ、ナビゲーションコマンド等）がレンダリングされるべき、これらの実施形態のうちのいくつかでは、ブラウザエンジン１００Ｕはさらに、そのようなディスプレイアイテムのために、別のレンダリングプロセス（例えば、ＲｅｎｄｅｒＶｉｅｗ）を実行してもよい。
前述のヘッダファイルは、下記に列挙されるようないくつかの例示的コードを用いて拡張され得るが、他の類似または均等物コードもまた、検討されており、したがって、類似目的を達成するために使用されてもよい。
Figure 2022526977000006
Figure 2022526977000007
Figure 2022526977000008
Figure 2022526977000009
以下の節は、フレームをレンダリングするためのいくつかの例示的コードを含むが、他の類似または均等物コードもまた、検討されており、したがって、類似目的を達成するために使用されてもよい。
Figure 2022526977000010
以下は、配向を取得するためのいくつかの例示的コードを含むが、他の類似または均等物実装もまた、検討されており、したがって、使用され得ることに留意されたい。
Figure 2022526977000011
以下は、配向を設定するためのいくつかの例示的コードを含むが、他の類似または均等物実装もまた、検討されており、したがって、使用され得ることに留意されたい。
Figure 2022526977000012
ＣｈｒｏｍｉｕｍまたはＣｈｒｏｍｉｕｍベースのブラウザが使用される、いくつかの実施形態では、ブラウザエンジン１００Ｕは、そのレンダリングシステム（「ビュー」）を使用して、ウェブページをレンダリングし、ユーザインターフェースは、レンダリング、レイアウト、およびイベントハンドリングに関与する、「ビュー」と呼ばれる、コンポーネントのツリーとして構築される。コンポーネントのツリー内の各ビューは、その独自の境界を有し、ユーザインターフェースの異なるコンポーネントを表し、ウィジェット（本来の２Ｄウィンドウまたは３Ｄボリューム）は、そのようなツリーのルートに位置する。
いくつかの実施形態は、配向データを用いて、仮想３Ｄ空間（または２Ｄウィンドウ）を作成し、仮想３Ｄ空間（または２Ｄウィンドウ）をＲｏｏｔＶｉｅｗにパスし、次いで、イベントをツリーの中に伝搬する。いくつかのディスプレイアイテムは、本来のウィジェットを表示およびサイズ調整するための方法を把握する、特殊な種類のビュー内にホストされる、オペレーティングシステムの制御を使用して、レンダリングされてもよい。これらのディスプレイアイテムは、例えば、ボタン、テーブル、ラジオボタン、チェックボックス、テキストフィールド、他の制御等を含む。コンポーネントのそのようなツリーについてのさらなる詳細は、図２Ｇ－２Ｉを参照して下記に説明される。
ブラウザエンジンはさらに、少なくとも部分的に、配向データに基づいて、「ｄｅｌｅｇａｔｅ＿－＞ＳｅｔＯｒｉｅｎｔａｔｉｏｎ（ｏｒｉｅｎｔａｔｉｏｎ）」および「ｄｅｌｅｇａｔｅ＿－＞ＳｅｔＯｒｉｅｎｔａｔｉｏｎ（ｏｒｉｅｎｔａｔｉｏｎ）」を使用する、ＷｅｂＣｏｎｔｅｎｔｓＩｍｐｌ：：ＯｎＳｅｔＯｒｉｅｎｔａｔｉｏｎ（１１４Ｕ）、ＣｅｆＢｒｏｗｓｅｒＨｏｓｔＩｍｐｌ：：ＳｅｔＯｒｉｅｎｔａｔｉｏｎ（１１６Ｕ）を実行してもよい。ブラウザエンジンはさらに、ＣＥＦ（Ｃｈｒｏｍｉｕｍ Ｅｍｂｅｄｄｅｄ Ｆｒａｍｅｗｏｒｋ）とユニバースブラウザエンジンとの間のカスタム相互作用を可能にする、ユニバースブラウザエンジン特有インターフェースを用いて、ＣｅｆＵｎｉｖｅｒｓｅＢｒｏｗｓｅｒＥｎｇｉｎｅＰｒｉｖａｔｅＨａｎｄｌｅｒ：：ＯｎＳｅｔＰａｇｅＯｒｉｅｎｔａｔｉｏｎ（１１８Ｕ）を実行する。ＣＥＦベースのアプリケーションは、ＣＥＦを初期化し、ＣＥＦメッセージループを起動するためのエントリポイント、プロセス特有のコールバックをハンドリングするためのＣＥＦＡｐｐ派生クラス、ブラウザ－インスタンス特有のコールバック（例えば、ブラウザ寿命、コンテキストメニュー、ダイアログ、ディスプレイ通知、ドラッグイベント、注目イベント、キーボードイベント等に関するコールバック）をハンドリングするためのＣＥＦＣｌｉｅｎｔ派生クラス、ＣｅｆＢｒｏｗｓｅｒＨｏｓｔ：：ＣｒｅａｔｅＢｒｏｗｓｅｒ（）によって作成された１つ以上のＣＥＦＢｒｏｗｓｅｒインスタンス等のコンポーネントを含んでもよい。
ブラウザエンジン１００Ｕはさらに、構成概念ＣｅｆＢｒｏｗｓｅｒＨｏｓｔＩｍｐｌ：：ＳｅｔＯｒｉｅｎｔａｔｉｏｎ（１１６Ｕ）およびＣｅｆＢｒｏｗｓｅｒＨｏｓｔＩｍｐｌ：：ＳｅｔＯｒｉｅｎｔａｔｉｏｎを実行し（例えば、ブラウザホスト実装内で）、ハンドラを決定してもよい（例えば、「ＣｅｆＲｅｆＰｔｒ＜ＣｅｆＵｎｉｖｅｒｓｅＢｒｏｗｓｅｒＥｎｇｉｎｅＰｒｉｖａｔｅＨａｎｄｌｅｒ＞ｈａｎｄｌｅｒ＝ｃｌｉｅｎｔ＿－＞ＧｅｔＵｎｉｖｅｒｓｅＢｒｏｗｓｅｒＥｎｇｉｎｅＰｒｉｖａｔｅＨａｎｄｌｅｒ（）」および「ｈａｎｄｌｅｒ－＞ＯｎＳｅｔＰａｇｅＯｒｉｅｎｔａｔｉｏｎ（ｔｈｉｓ， ｏｒｉｅｎｔａｔｉｏｎ）」を用いて）。配向は、ｖｅｃｔｏｒ３タイプである場合とそうではない場合があることに留意されたい。例えば、配向は、「ｆｌａｔ」、「ｕｐｒｉｇｈｔ」等の列挙されるタイプ（「ｅｎｕｍ」）であってもよい。配向が、ｖｅｃｔｏｒ３タイプである、いくつかの実施形態では、「ｈａｎｄｌｅｒ－＞ＯｎＳｅｔＰａｇｅＯｒｉｅｎｔａｔｉｏｎ（ｔｈｉｓ， ｏｒｉｅｎｔａｔｉｏｎ．ｘ（）， ｏｒｉｅｎｔａｔｉｏｎ．ｙ（）， ｏｒｉｅｎｔａｔｉｏｎ．ｚ（））」が、使用されてもよい。ブラウザエンジンはまた、パブリック関数ＣｅｆＵｎｉｖｅｒｓｅＢｒｏｗｓｅｒＥｎｇｉｎｅＰｒｉｖａｔｅＨａｎｄｌｅｒ：：ＯｎＳｅｔＰａｇｅＯｒｉｅｎｔａｔｉｏｎを実行し、ウェブページパネルの３Ｄ配向を設定してもよい。
ユニバースブラウザエンジン１２６Ｕは、ブラウザエンジン１００Ｕから受信された３Ｄ配向データを用いて、ＣｌｉｅｎｔＨａｎｄｌｅｒ：：ＯｎＳｅｔＰａｇｅＯｒｉｅｎｔａｔｉｏｎ（１２０Ｕ）、Ｂｒｏｗｓｅｒ：：ＯｎＳｅｔＰａｇｅＯｒｉｅｎｔａｔｉｏｎ（１２２Ｕ）、およびＢｒｏｗｓｅｒＷｉｎｄｏｗ：：ＯｎＳｅｔＰａｇｅＯｒｉｅｎｔａｔｉｏｎおよびＢｒｏｗｓｅｒＷｉｎｄｏｗ：：ＯｎＳｅｔＰａｇｅＯｒｉｅｎｔａｔｉｏｎ（１２４Ｕ）を実行してもよい。ＣｌｉｅｎｔＨａｎｄｌｅｒは、ルールを定義するための手段（例えば、ブラウザ内で評価され、往復遅延または待ち時間を低減させ得る、宣言条件およびアクション）を提供するために、サーバへのコールバックを必要とせずに、ブラウザ内で起動する、イベントハンドラを含む。ＣｌｉｅｎｔＨａｎｄｌｅｒはまた、ＧＬＭ（ＯｐｅｎＧＬ Ｍａｔｈｅｍａｔｉｃｓ）を使用して、仮想３Ｄ空間（例えば、プリズム）内のウェブページ配向を設定することを委任してもよい。
図１Ｖは、図１Ｖにおける前述のブロックのうちのいくつかの間の通信を図示し、ブラウザエンジン１００Ｖにおいて、仮想３Ｄ空間（例えば、プリズム）内の３Ｄ配向データをユニバースブラウザエンジン１２６Ｃから取得する方法を図示する。下向き矢印は、実行のシーケンスおよび／または実行結果のパスを示し、上向き矢印は、値の戻りを示す。
これらの実施形態では、ブラウザエンジン１００Ｖは、上記の図１Ｕを参照して説明されるものと同様に、１０２Ｖにおいて、Ｗｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．Ｏｒｉｅｎｔａｔｉｏｎを実行し、ユニバースブラウザエンジン内でウェブページパネルの３Ｄ配向データを設定するためのプロセスを初期化してもよい。図１Ｖは、別のタイプの配向データではなく、１つのタイプの配向（例えば、位置データでではなく、回転データ）を設定および決定する実施例を図示し、本別のタイプの配向データを設定および決定することは、対応するコードを用いて、同じまたは実質的に類似様式において行われてもよいことに留意されたい。
図１Ｕに図示されるブラウザエンジン１００Ｕと異なり、図１Ｖにおけるブラウザエンジン１００Ｃはさらに、ＬｏｃａｌＦｒａｍｅＣｌｉｅｎｔＩｍｐｌ：：ＧｅｔＯｒｉｅｎｔａｔｉｏｎ（１０６Ｖ）およびＲｅｎｄｅｒＦｒａｍｅＩｍｐｌ：ＧｅｔＯｒｉｅｎｔａｔｉｏｎ（１０８Ｖ）を実行してもよい。図１Ｕの説明と同様に、構成概念ＲｅｎｄｅｒＦｒａｍｅＩｍｐｌ：ＧｅｔＯｒｉｅｎｔａｔｉｏｎ（１０８Ｖ）は、ＲｅｎｄｅｒＷｉｄｇｅｔ：：ＧｅｔＯｒｉｅｎｔａｔｉｏｎ（１１２Ｖ）をコールし、値をＷｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ：：ｏｒｉｅｎｔａｔｉｏｎに返し、配向データを返すために使用されてもよい。図１ＵにおけるＬｏｃａｌＦｒａｍｅＣｌｉｅｎｔＩｍｐｌ：：ＧｅｔＯｒｉｅｎｔａｔｉｏｎのような構成概念ＬｏｃａｌＦｒａｍｅＣｌｉｅｎｔＩｍｐｌ：：ＧｅｔＯｒｉｅｎｔａｔｉｏｎは、Ｃ＋＋ＬｏｃａｌＦｒａｍｅＣｌｉｅｎｔＩｍｐｌ．ｃｐｐから導出され、例えば、ＧｆｘまたはＧｆｘ－ｒｓ等の低レベルグラフィック抽象化層および配向データを使用して、クライアントフレームのための配向を設定および取得してもよい。
図１ＵにおけるＲｅｎｄｅｒＷｉｄｇｅｔ：：ＳｅｔＯｒｉｅｎｔａｔｉｏｎのように、ブラウザエンジン１００Ｖはまた、１０６Ｖにおいて、ＲｅｎｄｅｒＷｉｄｇｅｔ：：ＧｅｔＯｒｉｅｎｔａｔｉｏｎを実行することによって、配向データにクエリし、配向データ（例えば、ウェブページの配向データ）をＲｅｎｄｅｒＦｒａｍｅＩｍｐｌ：：ＧｅｔＯｒｉｅｎｔａｔｉｏｎ（１０４Ｖ）に返し、さらに、配向データを、Ｗｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．Ｏｒｉｅｎｔａｔｉｏｎコールをトリガする、ウェブページに返してもよい。いくつかの実施形態では、レンダラプロセスＲｅｎｄｅｒＷｉｄｇｅｔは、グルーインターフェース（例えば、ＷｅｂＷｉｄｇｅｔＤｅｌｅｇａｔｅ）を使用して、抽象インターフェースをグルーインターフェース内に実装してもよい。本抽象インターフェースは、例えば、２Ｄウィンドウまたは３Ｄボリュームをディスプレイ空間内に含み、入力イベントを受信し、コンテンツをその中にレンダリングしてもよい。補助ディスプレイアイテム（例えば、オプションのリストを示す上／下矢印を伴う選択ボックス、タブ、ポップアップウィンドウ、ナビゲーションコマンド等）がレンダリングされるべき、これらの実施形態のうちのいくつかでは、ブラウザエンジン１００Ｖはさらに、そのようなディスプレイアイテムのために、別のレンダリングプロセス（例えば、ＲｅｎｄｅｒＶｉｅｗ）を実行してもよい。
図１Ｗは、いくつかの実施形態における、ブラウザエンジンとユニバースブラウザエンジンとの間で３Ｄ配向データを同期させるための擬似コードを伴う、簡略化されたブロック図を図示する。例えば、仮想３Ｄ空間内のウェブページは、修正され得る（例えば、仮想３Ｄ空間内でウェブページを移動および回転させた、ユーザによって）。図１Ｗにおけるブロック図は、ウェブページの直近の３Ｄ配向データが、ブラウザエンジン１００Ｗとユニバースブラウザエンジン１２６Ｗとの間で同期される、方法を図示する。図１Ｗはまた、ユニバースブラウザエンジン１２６Ｗが、ブラウザの初期化に応じて、配向データをブラウザエンジン１００Ｗに送信する、実施形態を図示し得る。
図１Ｗに図示されるように、ユニバースブラウザエンジン１２６Ｗは、初期化されると（１２０Ｗ）、またはウェブページの修正された３Ｄ配向データ（図示せず）の受信に応じて、ウェブページのボリューム、レンダリングされたブラウザ、および／またはプリズム（１２２Ｗ）の変換をリセットしてもよい。３Ｄ配向データは、次いで、ブラウザエンジン１００Ｗにパスされ、ブラウザエンジン１００Ｗは、ＣｅｆＢｒｏｗｓｅｒＶｉｅｗ：：ＵｐｄａｔｅＣａｃｈｅｄＯｒｉｅｎｔａｔｉｏｎ（１０２Ｗ）を実行する。ブラウザエンジン１００Ｗはさらに、ＲｅｎｄｅｒＷｉｄｇｅｔＨｏｓｔＩｍｐｌ：：ＵｐｄａｔｅＣａｃｈｅｄＯｒｉｅｎｔａｔｉｏｎを実行し、配向データをユニバースブラウザエンジン１２６Ｗからの直近の配向データで更新する。
ブラウザエンジン１００Ｗはさらに、ＩＰＣ（プロセス間通信）メッセージ（例えば、ＶｉｅｗＭｓｇ＿ＵｐｄａｔｅＣａｃｈｅｄＯｒｉｅｎｔａｔｉｏｎ、ＶｉｅｗＭｓｇ＿ＵｐｄａｔｅＣａｃｈｅｄＯｒｉｅｎｔａｔｉｏｎ等）を送信し、ＲｅｎｄｅｒＷｉｄｇｅｔ：：ＯｎＵＰｄａｔｅＣａｃｈｅｄＯｒｉｅｎｔａｔｉｏｎ（１０８Ｗ）およびＲｅｎｄｅｒＷｉｄｇｅｔ：：ＳｅｔＯｒｉｅｎｔａｔｉｏｎ（１１０Ｗ）を実行する。
いくつかの実施形態では、ユニバースブラウザエンジン１２６Ｗは、３Ｄ配向データをブラウザエンジン１００Ｗによってアクセス可能な非一過性コンピュータ可読媒体（例えば、キャッシュメモリ）内に記憶してもよい。ユニバースブラウザエンジン１２６Ｗおよびブラウザエンジン１００Ｗは、したがって、仮想３Ｄ空間内のウェブページパネルの配向が修正される度に、同期される。ウェブページがロードを開始する度に、ＲｅｎｄｅｒＷｉｄｇｅｔ内の配向変数を初期化およびリセットするために、ウェブページパネルの変換は、デフォルトにリセットされ、ＲｅｎｄｅｒＷｉｄｇｅｔ内の記憶された値は、同様に更新されるであろう。
図１Ｘは、１つ以上の実施形態における、ＳＥＴ要求を用いた、ウェブページパネルの配向データの決定の実施例を図示する。本実施例では、着目ウェブページ（１０２Ｘ）が、１５２Ｘにおいて、ブラウザによってウェブページをロードすることに応じて、ウェブページパネルのための配向データを設定するための要求をブラウザまたはブラウザエンジン（１０４Ｘ）に発行するようにコーディングされ得るときに該当する。配向データの受信に応じて、ブラウザまたはブラウザエンジン（１０４Ｘ）は、１５４Ｘにおいて、非一過性コンピュータ可読記憶媒体１０８Ｘ（例えば、キャッシュ）内に以前に記憶された配向データを更新してもよい。
ブラウザまたはブラウザエンジン（１０４Ｘ）はさらに、１５６Ｘにおいて、受信された配向データを、ＳＥＴ要求とともに、ユニバースブラウザエンジン（１０６Ｘ）にパスしてもよい。ＳＥＴ要求を充足させるために、ユニバースブラウザエンジン１０６Ｘは、１１０Ｘにおいて、ＳＥＴ要求とともに受信され、１５８Ｘに伝送される、配向データを使用することによって、ウェブページパネルの配向データを設定してもよい。
図１Ｙ－１ＡＡは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示する際に使用され得る、例示的ブラウザエンジンおよびユニバースブラウザエンジンのさらなる詳細なブロック図を図示する。より具体的には、図１Ｙは、いくつかの実施形態における、仮想３Ｄ空間（例えば、プリズム）内のウェブページパネルの３Ｄ配向更新のための例示的フローを図示する。これらの実施形態では、例示的フローは、Ｃｈｒｏｍｉｕｍのためのコードの類似セットに基づくが、他のウェブブラウザのコードもまた、検討され、完全に等しい効果を伴って、本明細書に説明される技法に適用されることができる。ＢｒｏｗｓｅｒＷｉｎｄｏｗでは、ウェブコンテンツ平面が、入力配向値を用いて更新された後、ＣｏｎｔｅｎｔＶｉｅｗ：：ＯｎＰａｇｅＯｒｉｅｎｔａｔｉｏｎＣｈａｎｇｅｄが、コールされるであろう。さらに、ＣＥＦを通して、イベントが、ページ配向変更が完了されたことを通知するためにディスパッチされるであろう。ＪａｖａＳｃｒｉｐｔ（登録商標）が使用される、いくつかの実施形態では、ユニバースブラウザエンジン１２６Ｙは、ページ配向イベントをリッスンし、コールバックをコールしてもよい。
図１Ｙは、ブラウザエンジン１００Ｙからユニバースブラウザエンジン１２６Ｙへのウェブページ変換更新のための例示的フローを図示する。例示的フローは、上記に説明される図１Ｃに図示されるものに類似する。より具体的には、ブラウザエンジン１００Ｙは、ＪａｖａＳｃｒｉｐｔ（登録商標）関数コール「Ｗｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．Ｏｒｉｅｎｔａｔｉｏｎ」を呼び出し、または実行し、図１Ｙに図示されるプロセスフローを初期化してもよい。ブラウザエンジン１００Ｙ側では、
図１ＣにおけるＷｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．３ＤＰｏｓｉｔｉｏｎおよびＷｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．３ＤＲｏｔａｔｉｏｎのように、図１Ｙにおける「Ｗｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．Ｏｒｉｅｎｔａｔｉｏｎ」および／または「ＶｉｒｔｕａｌＷｏｒｌｄ」等のプロセスは、例えば、ＯｐｅｎＧＬＭａｔｈｅｍａｔｉｃｓ（ＧＬＭ）（または任意の他の数学ライブラリ）を利用して、部分的または全体的に、２Ｄまたは３Ｄ空間内の２Ｄおよび３Ｄエンティティのための３Ｄ位置データ、３Ｄ回転データ、スケール、および１つ以上の変換に基づいて、ウェブページパネルの位置データを設定および取得してもよい（例えば、擬似コード「ｇｌｍ：：ｖｅｃ３ｏｌｄ＿ｐｏｓ（０．０ｆ）」、「ｇｌｍ：：ｑｕａｔｒｏｔａｔｉｏｎ（ｇｌｍ：：ｖｅｃ３（０．０ｆ））」、「ｇｌｍ：：ｖｅｃ３ｓｃａｌｅ（１．０ｆ）」、および「ｇｌｍ：：ｍａｔ４ｔｒａｎｓｆｏｒｍ＝ｗｅｂ＿ｃｏｎｔａｉｎｅｒ＿－＞ｇｅｔＣｕｒｒｅｎｔＶｏｌｕｍｅＴｒａｎｓｆｏｒｍ（）」によって）および回転データ（例えば、擬似コード「ｇｌｍ：：ｖｅｃ３ｐｏｓｉｔｉｏｎ（０．０ｆ）」、「ｇｌｍ：：ｑｕａｔｏｌｄ＿ｒｏｔ（ｇｌｍ：：ｖｅｃ３（０．０ｆ））」、「ｇｌｍ：：ｖｅｃ３ｓｃａｌｅ（１．０ｆ）」、および「ｇｌｍ：：ｍａｔ４ｔｒａｎｓｆｏｒｍ＝ｗｅｂ＿ｃｏｎｔａｉｎｅｒ＿－＞ｇｅｔＣｕｒｒｅｎｔＶｏｌｕｍｅＴｒａｎｓｆｏｒｍ（）”」によって）。
擬似コード、プログラミング言語、および種々のクラス、変数等の名称は、本願では、例証および解説目的のために使用され、同じまたは実質的に類似目的を果たす、任意の他の好適なプログラミング言語、名称等もまた、検討され、また、そのような目的を達成するために使用されてもよいことに留意されたい。加えて、さらに、図１Ｙは、ウェブページパネルの配向（例えば、回転）のみを設定することを図示するが、位置変更、スケール変更等の他のウェブページパネル変換もまた、類似技法を使用して組み込まれ得ることに留意されたい。
ブラウザエンジン１００Ｃはさらに、図１Ｙでは、ウェブページパネルの位置、回転、および／またはスケールデータ（図示せず）を設定および取得するために、図１ＣにおけるＶｉｒｔｕａｌＷｏｒｌｄ：：Ｓｅｔ３ＤＰｏｓｉｔｉｏｎに類似する、ＶｉｒｔｕａｌＷｏｒｌｄ：：ｓｅｔＯｒｉｅｎｔａｔｉｏｎを実行してもよい。
ブラウザエンジン１２６Ｙはさらに、図１Ｙに図示される、ＬｏｃａｌＦｒａｍｅＣｌｉｅｎｔＩｍｐｌ：：ＳｅｔＰａｇｅＯｒｉｅｎｔａｔｉｏｎ、ＲｅｎｄｅｒＦｒａｍｅＩｍｐｌ：：ＳｅｔＰａｇｅＯｒｉｅｎｔａｔｉｏｎ、およびＲｅｎｄｅｒＷｉｄｇｅｔ：：ＳｅｔＲｏｔａｔｉｏｎを実行してもよい。ブラウザエンジン１００Ｙは、例えば、図１Ｙに図示される、ＳｅｎｄＩＰＣＭｅｓｓａｇｅ：：ＦｒａｍｅＨｏｓｔＭｓｇ＿ＳｅｔＰａｇｅＯｒｉｅｎｔａｔｉｏｎを実行する、または呼び出すことによって、メッセージ（例えば、プロセス間通信（ＩＰＣ）メッセージ）を送信してもよい。構成概念ＲｅｎｄｅｒＦｒａｍｅＩｍｐｌ：ＳｅｔＰａｇｅＯｒｉｅｎｔａｔｉｏｎは、関数ＲｅｎｄｅｒＷｉｄｇｅｔ：：ＳｅｔＯｒｉｅｎｔａｔｉｏｎをコールし、ＳｅｎｄＩＰＣＭｅｓｓａｇｅ：：ＦｒａｍｅＨｏｓｔＭｓｇ＿ＳｅｔＰａｇｅＯｒｉｅｎｔａｔｉｏｎを介して、ＩＰＣメッセージを送信するために使用されてもよい。構成概念ＬｏｃａｌＦｒａｍｅＣｌｉｅｎｔＩｍｐｌ：：ＳｅｔＰａｇｅＯｒｉｅｎｔａｔｉｏｎは、Ｃ＋＋ＬｏｃａｌＦｒａｍｅＣｌｉｅｎｔＩｍｐｌ．ｃｐｐから導出され、例えば、ＧｆｘまたはＧｆｘ－ｒｓ等の低レベルグラフィック抽象化層および位置および回転データを使用して、クライアントフレームのための位置および／または回転を設定および取得する。ＬｏｃａｌＦｒａｍｅＣｌｉｅｎｔＩｍｐｌ：：ＳｅｔＰａｇｅＯｒｉｅｎｔａｔｉｏｎは、以下の擬似コードを用いて、ウェブページパネルの配向データを取得および設定するために実装されてもよい。
Figure 2022526977000013
構成概念ＲｅｎｄｅｒＦｒａｍｅＩｍｐｌ：：ＳｅｔＰａｇｅＯｒｉｅｎｔａｔｉｏｎは、Ｃ＋＋ＲｅｎｄｅｒＦｒａｍｅＩｍｐｌ．ｃｐｐから導出され、レンダラ（例えば、ＣｈｒｏｍｉｕｍベースのブラウザのためのＲｅｎｄｅｒＷｉｄｇｅｔ）および位置および／または回転データを呼び出し、フレームをブラウザエンジン（例えば、ＣｈｒｏｍｉｕｍベースのブラウザのためのＢｌｉｎｋ）に返信するように構成されてもよい。
ブラウザエンジン１００Ｙはまた、ＲｅｎｄｅｒＷｉｄｇｅｔ：：ＳｅｔＲｏｔａｔｉｏｎを実行することによって、レンダラを呼び出し、３Ｄ位置、回転、および／またはスケールデータ（例えば、ウェブページパネルの開発者によって設定される位置および回転データ）に従って、着目ウェブページを「ペイント」またはレンダリングしてもよい。より具体的には、レンダラプロセスＲｅｎｄｅｒＷｉｄｇｅｔは、グルーインターフェース（例えば、ＷｅｂＷｉｄｇｅｔＤｅｌｅｇａｔｅ）を使用して、抽象インターフェースをグルーインターフェース内に実装してもよい。本抽象インターフェースは、例えば、２Ｄウィンドウまたは３Ｄボリュームをディスプレイ空間内に含み、入力イベントを受信し、コンテンツをその中にレンダリングしてもよい。補助ディスプレイアイテム（例えば、オプションのリストを示す、上／下矢印を伴う選択ボックス、タブ、ポップアップウィンドウ、ナビゲーションコマンド等）がレンダリングされるべき、これらの実施形態のうちのいくつかでは、ブラウザエンジン１００Ｙはさらに、そのようなディスプレイアイテムのために、別のレンダリングプロセス（例えば、ＲｅｎｄｅｒＶｉｅｗ）を実行してもよい。
ＣｈｒｏｍｉｕｍまたはＣｈｒｏｍｉｕｍベースのブラウザが使用される、いくつかの実施形態では、ブラウザエンジン１００Ｙは、そのレンダリングシステム（「ビュー」）を使用して、ウェブページをレンダリングし、ユーザインターフェースは、レンダリング、レイアウト、およびイベントハンドリングに関与する、「ビュー」と呼ばれる、コンポーネントのツリーとして構築される。コンポーネントのツリー内の各ビューは、その独自の境界を有し、ユーザインターフェースの異なるコンポーネントを表し、ウィジェット（本来の２Ｄウィンドウまたは３Ｄボリューム）は、そのようなツリーのルートに位置する。いくつかの実施形態は、位置および位置データを用いて、仮想３Ｄ空間（または２Ｄウィンドウ）を作成し、仮想３Ｄ空間（または２Ｄウィンドウ）をＲｏｏｔＶｉｅｗにパスし、次いで、イベントをツリーの中に伝搬する。いくつかのディスプレイアイテムは、本来のウィジェットを表示およびサイズ調整するための方法を把握する、特殊な種類のビュー内にホストされる、オペレーティングシステムの制御を使用して、レンダリングされてもよい。これらのディスプレイアイテムは、例えば、ボタン、テーブル、ラジオボタン、チェックボックス、テキストフィールド、他の制御等を含む。コンポーネントのそのようなツリーについてのさらなる詳細は、図２Ｇ－２Ｉを参照して下記に説明される。
ブラウザエンジンはさらに、少なくとも部分的に、位置、回転、および／またはスケールデータに基づいて、ＷｅｂＣｏｎｔｅｎｔｓＩｍｐｌ：：ＯｎＳｅｔＰａｇｅＯｒｉｅｎｔａｔｉｏｎおよびＣｅｆＢｒｏｗｓｅｒＨｏｓｔＩｍｐｌ：：ＳｅｔＰａｇｅＯｒｉｅｎｔａｔｉｏｎを実行する。
ブラウザエンジン１００Ｙはさらに、ＣｅｆＰｒｉｖａｔｅＨａｎｄｌｅｒ：：ＯｎＳｅｔＰａｇｅＯｒｉｅｎｔａｔｉｏｎを実行し、ＣＥＦ（Ｃｈｒｏｍｉｕｍ Ｅｍｂｅｄｄｅｄ Ｆｒａｍｅｗｏｒｋ）とユニバースブラウザエンジンとの間のカスタム相互作用を可能にする、ユニバースブラウザエンジン（１２６Ｙ）特有インターフェースと通信する。ＣＥＦベースのアプリケーションは、ＣＥＦを初期化し、ＣＥＦメッセージループを起動するためのエントリポイント、プロセス特有のコールバックをハンドリングするためのＣＥＦＡｐｐ派生クラス、ブラウザ－インスタンス特有のコールバック（例えば、ブラウザ寿命、コンテキストメニュー、ダイアログ、ディスプレイ通知、ドラッグイベント、注目イベント、キーボードイベント等に関するコールバック）をハンドリングするためのＣＥＦＣｌｉｅｎｔ派生クラス、ＣｅｆＢｒｏｗｓｅｒＨｏｓｔ：：ＣｒｅａｔｅＢｒｏｗｓｅｒ（）によって作成された１つ以上のＣＥＦＢｒｏｗｓｅｒインスタンス等のコンポーネントを含んでもよい。
図１Ｚは、ユニバースブラウザエンジン１２６Ｙからブラウザエンジン１００Ｙへのウェブページ変換更新のための例示的フローを図示する。ユニバースブラウザエンジン１２６Ｙが、ウェブページ変換が生じたことを決定すると、ブラウザエンジン１００Ｙは、以下の例示的コードおよびヘッダファイル内の宣言「ｖｉｒｔｕａｌｖｏｉｄＯｎＭＬＰａｇｅＯｒｉｅｎｔａｔｉｏｎＣｈａｎｇｅｄ（）＝０；」を用いて、「ＣｅｆＢｒｏｗｓｅｒＶｉｅｗ：：ＯｎＰａｇｅＯｒｉｅｎｔａｔｉｏｎＣｈａｎｇｅｄ」を実行してもよい。ブラウザエンジンがウェブページ変換を認知すると、ブラウザエンジン１００Ｙはさらに、対応するヘッダファイル内の宣言「ｖｏｉｄ ＯｎＭＬＰａｇｅＯｒｉｅｎｔａｔｉｏｎＣｈａｎｇｅｄ（）ｏｖｅｒｒｉｄｅ；ｖｏｉｄ ＯｎＭＬＰａｇｅＯｒｉｅｎｔａｔｉｏｎＣｈａｎｇｅｄ（）ｏｖｅｒｒｉｄｅ；」を用いて、「ＣｅｆＢｒｏｗｓｅｒＶｉｅｗＩｍｐｌ：：ＯｎＰａｇｅＯｒｉｅｎｔａｔｉｏｎＣｈａｎｇｅｄ」を実行する、または呼び出してもよい。
Figure 2022526977000014
ブラウザエンジン１００Ｙは、次いで、ウェブページ変換が生じたことが決定されると、ホスト実装のために、以下の例示的コードと対応するヘッダファイル内の「ｖｉｒｔｕａｌ ｖｏｉｄ ＯｎＭＬＰａｇｅＯｒｉｅｎｔａｔｉｏｎＣｈａｎｇｅｄ（）＝０；」を併用して、「ＲｅｎｄｅｒＢｒｏｗｓｅｒＶｉｅｗＩｍｐｌ：：ＯｎＰａｇｅＯｒｉｅｎｔａｔｉｏｎＣｈａｎｇｅｄ」および「ＲｅｎｄｅｒＷｉｄｇｅｔＨｏｓｔＩｍｐｌ：：ＯｎＰａｇｅＯｒｉｅｎｔａｔｉｏｎＣｈａｎｇｅｄ」を実行してもよい。
Figure 2022526977000015
ブラウザエンジン１００Ｙは、次いで、「ＳｅｎｄＭｅｓｓａｇｅ：：ＶｉｅｗＭｓｇ＿ＰａｇｅＯｒｉｅｎｔａｔｉｏｎＣｈａｎｇｅｄ」を実行し、または呼び出し、以下の例示的コードを使用することによって、メッセージ（例えば、プロセス間メッセージまたはＩＰＣ）を送信してもよい。
Figure 2022526977000016
いったんウェブページ変換が変化したことが決定されると、ブラウザエンジンは、以下の例示的コードおよび対応するヘッダファイル内の「６９８ＩＰＣ＿ＭＥＳＳＡＧＥ＿ＨＡＮＤＬＥＲ（ＶｉｅｗＭｓｇ＿ＭＬＰａｇｅＯｒｉｅｎｔａｔｉｏｎＣｈａｎｇｅｄ， ＯｎＭＬＰａｇｅＯｒｉｅｎｔａｔｉｏｎＣｈａｎｇｅｄ）」を有する、「ＲｅｎｄｅｒＷｉｄｇｅｔ：：ＯｎＰａｇｅＯｒｉｅｎｔａｔｉｏｎＣｈａｎｇｅｄ」を実行してもよい。
Figure 2022526977000017
ブラウザエンジン１００Ｙはさらに、「Ｄｏｃｕｍｅｎｔ：：ＤｉｓｐａｔｃｈＥｖｅｎｔ」を実行し、ウェブページ変換のためのイベントをディスパッチしてもよい。ＪａｖａＳｃｒｉｐｔ（登録商標）「ｄｏｃｕｍｅｎｔ．ａｄｄＥｖｅｎｔＬｉｓｔｅｎｅｒ（“ｐａｇｅｏｒｉｅｎｔａｉｏｎ，ｃａｌｌｂａｃｋ）」は、位置の変化、回転、および／またはスケール（ウェブページ変換）が、ブラウザエンジン１００Ｙの側で完了したことを示す、コールバックを開始する。
図１ＡＡは、いくつかの実施形態における、仮想３Ｄ空間（例えば、プリズム）内のウェブページパネルの３Ｄ配向更新のためのユニバースブラウザエンジン（１２６Ｙ）の一部を例示的フローにおいて図示する。ブラウザエンジン（例えば、１００Ｙ）からのウェブページパネル変換（例えば、ウェブページパネルの位置、配向、またはスケールの変化）の受信に応じて、ユニバースブラウザエンジン１２６Ｙはさらに、構成概念ＣｌｉｅｎｔＨａｎｄｌｅｒ：：ＯｎＳｅｔＰａｇｅＯｒｉｅｎｔａｔｉｏｎ（１０２ＡＡ）を実行し、ハンドラを決定してもよい（例えば、「ＣｅｆＲｅｆＰｔｒ＜ＣｅｆＵｎｉｖｅｒｓｅＢｒｏｗｓｅｒＥｎｇｉｎｅＰｒｉｖａｔｅＨａｎｄｌｅｒ＞ｈａｎｄｌｅｒ＝ｃｌｉｅｎｔ＿－＞ＧｅｔＵｎｉｖｅｒｓｅＢｒｏｗｓｅｒＥｎｇｉｎｅＰｒｉｖａｔｅＨａｎｄｌｅｒ（）」および「ｈａｎｄｌｅｒ－＞ＯｎＳｅｔＶｉｒｔｕａｌＷｅｂＰａｇｅＰｏｓｉｔｉｏｎ（ｔｈｉｓ， ｐｏｓｉｔｉｏｎ．ｘ（）， ｐｏｓｉｔｉｏｎ．ｙ（）， ｐｏｓｉｔｉｏｎ．ｚ（））」、「ｈａｎｄｌｅｒ－＞ＯｎＳｅｔＶｉｒｔｕａｌＷｅｂＰａｇｅＲｏｔａｔｉｏｎ（ｔｈｉｓ， ｒｏｔａｔｉｏｎ．ｘ（）， ｒｏｔａｔｉｏｎ．ｙ（）， ｒｏｔａｔｉｏｎ．ｚ（））”を用いて）。
ユニバースブラウザエンジン１２６Ｙはさらに、ブラウザエンジン１００Ｙから受信された３Ｄ位置、回転、および／またはスケールデータを用いて、Ｂｒｏｗｓｅｒ：：ＯｎＳｅｔＰａｇｅＯｒｉｅｎｔａｔｉｏｎ（１０４ＡＡ）およびＢｒｏｗｓｅｒＷｉｎｄｏｗ：：ＯｎＳｅｔＰａｇｅＯｒｉｅｎｔａｔｉｏｎを実行してもよい。ＣｌｉｅｎｔＨａｎｄｌｅｒは、ルールを定義するための手段（例えば、ブラウザ内で評価され、往復遅延または待ち時間を低減させ得る、宣言条件およびアクション）を提供するために、サーバへのコールバックを必要とせずに、ブラウザ内で起動する、イベントハンドラを含む。ＣｌｉｅｎｔＨａｎｄｌｅｒはまた、ＧＬＭ（ＯｐｅｎＧＬ Ｍａｔｈｅｍａｔｉｃｓ）を使用して、仮想３Ｄ空間（例えば、プリズム）内のウェブページ位置および回転を設定することを委任してもよい。
図１ＡＢ－１ＡＣは、いくつかの実施形態における、イベントディスパッチフローのための例示的高レベルフロー図を図示する。より具体的には、図１ＡＢ－１ＡＣに図示されるイベントディスパッチフローは、ＳｙｎｃｈｒｏｎｉｚｅＶｉｓｕａｌＰｒｏｐｅｒｔｉｅｓを通して進む。さらに、ＢｒｏｗｓｅｒＷｉｎｄｏｗＢａｓｅ：：ＲｅｎｄｅｒＬｏｏｐが、周期的に、または繰り返し、ウェブページ平面の変換（例えば、位置、回転、および／またはスケール等）が変化したかどうかを決定するためにチェックする。ＢｒｏｗｓｅｒＷｉｎｄｏｗＢａｓｅ：：ＲｅｎｄｅｒＬｏｏｐが、ウェブページ平面の変換が変化したことを決定する場合、変化された変換イベントは、ＪａｖａＳｃｒｉｐｔ（登録商標）ドキュメントに伝搬されるであろう。
いくつかの実施形態では、以下の例示的コードが、対応するヘッダファイル内のクラス定義「ｖｉｒｔｕａｌ ｖｏｉｄ ＵｐｄａｔｅＬｏｏｐ（ｆｌｏａｔ／＊ｄｅｌｔａ＊／）；」とともに、ユニバースブラウザエンジン（１２６ＡＢ）のためのＢｒｏｗｓｅｒＷｉｎｄｏｗＢａｓｅ：：ＵｐｄａｔｅＬｏｏｐ（１０２ＡＢ）のために使用されてもよい。
Figure 2022526977000018
いくつかの実施形態では、以下の例示的コードがまた、対応するヘッダファイル内のクラス定義「ｖｉｒｔｕａｌ ｖｏｉｄ ＵｐｄａｔｅＬｏｏｐ（ｆｌｏａｔ／＊ｄｅｌｔａ＊／）；」とともに、ユニバースブラウザエンジン（１２６ＡＢ）のためのＢｒｏｗｓｅｒＷｉｎｄｏｗＢａｓｅ：：ＵｐｄａｔｅＬｏｏｐ（１０２ＡＢ）のために実行され、または呼び出され、ウェブノード変換変化をポーリングし、ステージおよび分離されたボリューム位置を更新された状態に保ってもよい。
Figure 2022526977000019
いくつかの実施形態では、以下の例示的コードが、対応するヘッダファイル内のクラス定義「ｖｏｉｄ ＣｈｅｃｋＩｆＷｅｂＣｏｎｔｅｎｔＴｒａｎｓｆｏｒｍＣｈａｎｇｅｄ（）；」とともに、ユニバースブラウザエンジン（１２６ＡＢ）のためのＷｅｂＣｏｎｔｅｎｔｓＶｉｅｗ：：ＣｈｅｃｋＷＥｂＣｏｎｔｅｎｔＴｒａｎｓｆｏｒｍＣｈａｎｇｅｄ（１０４ＡＢ）のために使用されてもよい。
Figure 2022526977000020
関数ＣＥＦＷｉｎｄｏｗ（１０６ＡＢ）は、対応するヘッダファイル内の「ｖｉｒｔｕａｌ ｖｏｉｄ ＷｅｂＣｏｎｔｅｎｔＴｒａｎｓｆｏｒｍＣｈａｎｇｅｄ（）＝０；」に対応し得る。さらに、ブラウザエンジン１００ＡＢはさらに、ウェブコンテンツ変換（例えば、位置、回転、および／またはスケール）が変化したことが決定されるとき、対応するヘッダファイル内の「ｖｏｉｄ ＯｎＷｅｂＣｏｎｔｅｎｔＴｒａｎｓｆｏｒｍＣｈａｎｇｅｄ（）ｏｖｅｒｒｉｄｅ；」とともに、以下の例示的コードを用いて、関数ＲｅｎｄｅｒＷｉｄｇｅｔＨｏｓｔＶｉｅｗＡｕｒａ：：ＯｎＷｅｂＣｏｎｔｅｎｔＴｒａｎｓｆｏｒｍＣｈａｎｇｅｄ（）（１１４Ｂ）を実行してもよい。
Figure 2022526977000021
さらに、ブラウザエンジン１００ＡＢはさらに、ウェブコンテンツ変換（例えば、位置、回転、および／またはスケール）が変化したことが決定されるとき、対応するヘッダファイル内の「ｖｏｉｄ ＷｅｂＣｏｎｔｅｎｔＴｒａｎｓｆｏｒｍＣｈａｎｇｅｄＷｅｂＣｏｎｔｅｎｔ（）；」とともに、以下の例示的コードを用いて、Ｗｉｄｇｅｔ関数（１０８ＡＢ）を実行してもよい。
Figure 2022526977000022
さらに、ブラウザエンジン１００ＡＢはさらに、ウェブコンテンツ変換（例えば、位置、回転、および／またはスケール）が変化したことが決定されるとき、対応するヘッダファイル内の「ｖｏｉｄ ＷｅｂＣｏｎｔｅｎｔＴｒａｎｓｆｏｒｍＣｈａｎｇｅｄ（） ｏｖｅｒｒｉｄｅ；」とともに、以下の例示的コードを用いて、関数ＤｅｓｋｔｏｐＮａｔｉｖｅＷｉｄｇｅｔＡｕｒａ：：ＷｅｂＣｏｎｔｅｎｔＴｒａｎｓｆｏｒｍＣｈａｎｇｅｄ（）（１１０ＡＢ）を実行してもよい。
Figure 2022526977000023
さらに、ブラウザエンジン１００ＡＢはさらに、ウェブコンテンツ変換（例えば、位置、回転、および／またはスケール）が変化したことが決定されるとき、対応するヘッダファイル内の「ｖｏｉｄ ＷｅｂＣｏｎｔｅｎｔＴｒａｎｓｆｏｒｍＣｈａｎｇｅｄ（） ｏｖｅｒｒｉｄｅ；」とともに、以下の例示的コードを用いて、関数ＤｅｓｋｔｏｐＷｉｎｄｏｗＴｒｅｅＨｏｓｔＶｉｒｔｕａｌＷｏｒｌｄ：：ＷｅｂＣｏｎｔｅｎｔＴｒａｎｓｆｏｒｍＣｈａｎｇｅｄ（）（１１２ＡＢ）を実行してもよい。
Figure 2022526977000024
ブラウザエンジン（１００ＡＢ）は、いくつかの実施形態では、主要なフレームをサポートするウィジェットのためのＲｅｎｄｅｒＷｉｄｇｅｔ機能を実行してもよい。いくつかの他の実施形態では、ブラウザエンジン（１００ＡＢ）は、遠隔の主要なフレームをサポートするウィジェットのためのＲｅｎｄｅｒＶｉｅｗ機能を呼び出してもよい。以下の例示的コードは、例えば、１１６ＡＢおよび１１８ＡＢにおける関数ＲｅｎｄｅｒＷｉｄｇｅｔのために使用されてもよい。以下の例示的コードにおける「ＳｅｔＩｓＦｕｌｌｓｃｒｅｅｎ（ｐａｒａｍｓ．ｉｓ＿ｆｕｌｌｓｃｒｅｅｎ＿ｇｒａｎｔｅｄ）；」は、ビューポートサイズを変化させずに、フル画面モードを有効にすることに留意されたい。
Figure 2022526977000025
Figure 2022526977000026
Figure 2022526977000027
Figure 2022526977000028
さらに、ブラウザエンジン１００ＡＢはさらに、ウェブコンテンツ変換（例えば、位置、回転、および／またはスケール）が変化したことが決定されるとき、対応するヘッダファイル内の「ｖｏｉｄ ＳｅｎｄＰａｇｅＯｒｉｅｎｔａｔｉｏｎＣｈａｎｇｅＥｖｅｎｔ（）ｏｖｅｒｒｉｄｅ；」とともに、以下の例示的コードを用いて、関数ＷｅｂＬｏｃａｌＦｒａｍｅＩｍｐｌ（１２０ＡＢ）を実行してもよい。
Figure 2022526977000029
ブラウザエンジン１００ＡＢは、「ドキュメント」機能（１２２ＡＢ）を実行し、イベントをディスパッチし、ページ配向変化が完了されたことを通知してもよい。加えて、または代替として、ブラウザエンジン１００ＡＢは、ＪａｖａＳｃｒｉｐｔ（登録商標）機能「Ｄｏｃｕｍｅｎｔ．ａｄｄＥｖｅｎｔＬｉｓｔｅｎｅｒ」を実行し、ページ配向変化イベントをリッスンしてもよい（１２４ＡＢ）。
図２Ａは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するプロセスのための高レベルブロック図を図示する。これらの実施形態では、ブラウザエンジンは、２０２Ａにおいて、ウェブページのための３次元（３Ｄ）変換（例えば、位置、回転、またはスケールの変化）のための入力を受信し得る。いくつかの実施形態では、入力は、着目ウェブページの提示を要求する複合現実システムのユーザ、またはウェブページがある様式（例えば、位置、配向／回転、またはスケール）で提示されることを好む、したがって、コーディングする、ウェブページ開発者による入力を含んでもよい。いくつかの他の実施形態では、入力は、位置および回転データのための要求を含んでもよい。例えば、位置および回転データ（またはさらにいくつかの実施形態では、スケールデータ）のための要求は、いくつかの実施形態では、着目ウェブページのウェブサイトによって発行されてもよい。例えば、ウェブページの開発者は、アプリケーションプログラミングインターフェース（例えば、上記に説明されるＷｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．３ＤＰｏｓｉｔｉｏｎ ＡＰＩおよびＷｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．３ＤＲｏｔａｔｉｏｎ ＡＰＩ）を着目ウェブページのコードの中に組み込んでもよい。
直上で説明されるように、入力は、いくつかの実施形態では、例えば、仮想３Ｄ空間内に提示されるとき、ウェブページを、ある位置に、および／またはある回転を伴って、表すことを好む、開発者から生じ得る。これらまたは他の実施形態のうちのいくつかでは、入力は、複合現実システムによって作成された仮想３Ｄ空間内での、あるウェブページ、以前に訪問された同一ウェブページ、または同一ウェブサイトからの、または随意に、他のウェブサイト等からの他のウェブページのユーザの操作から生じ得る。例えば、ウェブページは、ユーザのために、開かれ、仮想３Ｄ空間内に表示され得、ユーザは、仮想３Ｄ空間内のウェブページの位置および／または回転を調節してもよい。これらの実施形態のうちのいくつかでは、類似技法がさらに、ウェブページのためのウェブブラウザまたはその中にウェブページがレンダリングされるプリズムを操作するために適用されてもよい。ユーザは、ウェブページ表現を仮想３Ｄ空間内で自由に位置付け、回転させてもよく、そのような位置付けおよび回転の唯一の制約は、プリズムの境界を含む。いくつかの実施形態では、そのような位置および回転はまた、随意に、ウェブページ表現および仮想オブジェクトが、現実のように現れる、またはそのように知覚されるように、ウェブページ表現と仮想３Ｄ空間内の１つ以上の他の物理的および／または仮想オブジェクトとの間の衝突および／または重複動態によって制約されてもよい。
ブラウザエンジン（例えば、Ｂｌｉｎｋ、Ｇｅｃｋｏ、ＷｅｂＫｉｔ、Ｔｒｉｄｅｎｔ等）は、独立型コンピュータプログラムではない。むしろ、ブラウザエンジンは、ウェブページのリソース（例えば、ＨＴＭＬドキュメント等）を双方向視覚的表現に変換する、ウェブブラウザのソフトウェアコンポーネントである。ブラウザエンジンのために一般に使用される、他の用語は、例えば、カスケードスタイルシート（ＣＳＳ）内のルールに基づいて、視覚的表現のためのグラフィカル座標を計算することによる、レイアウトエンジン、レンダリングエンジン等を含む。
その名前が示唆するように、ブラウザエンジンは、ウェブページのためのレイアウトおよびレンダリングを実施し、セキュリティポリシを施行し、ページスクリプトにエクスポーズされる、ＤＯＭ（ドキュメントオブジェクトモデル）データ構造を実装する。ブラウザエンジンはまた、ハイパーリンクおよびウェブフォームをハンドリングしてもよい。いくつかの実施形態では、ブラウザエンジンは、ＪａｖａＳｃｒｉｐｔ（登録商標）コードの実行のために、別の専用スクリプトエンジンを利用する。ウェブブラウザのための少なくとも前述の機能を実施することに加え、ブラウザエンジンはまた、電子メールクライアント、ソフトウェアアプリケーションのための他のフレームワーク（例えば、ＧｏｏｇｌｅのＥｌｅｃｔｒｏｎ Ｆｒａｍｅｗｏｒｋ）等の他のソフトウェアプログラムのための同じまたは実質的に類似機能を実施してもよい。
ブラウザエンジンは、２０４Ａにおいて、位置および回転データを決定し、３Ｄ位置および／または回転要求に応答してもよい。いくつかの実施形態では、ブラウザエンジンは、直近の位置および回転データをブラウザエンジンによってアクセス可能な非一過性コンピュータ可読媒体（例えば、キャッシュメモリ）内に記憶してもよい。そのような位置および回転データは、位置および／または回転データが修正される（例えば、仮想３Ｄ空間内に表示されるウェブページをさらに移動、回転、または変換させる、ユーザによって）度に、複合現実システムのユニバースブラウザエンジンによって送信されてもよい。
ウェブブラウザが、ウェブページをレンダリングおよび表示するために初期化すると、そのブラウザエンジンは、そのような位置および／または回転要求に、例えば、ブラウザエンジンによってアクセス可能なキャッシュメモリ（例えば、Ｃｈｒｏｍｉｕｍベースのブラウザ内のＲｅｎｄｅｒＷｉｄｇｅｔクラス内）内に記憶される、位置および回転データで応答してもよい。いったん位置および／または回転データが、修正されると、ブラウザエンジンは、その記憶された位置および／または回転データを、更新された位置および／または回転データでリフレッシュする、またはユニバースブラウザエンジンからの位置および／または回転データに更新してもよい。直近の位置および回転データを用いることで、ブラウザエンジンは、ウェブページのコンテンツをレンダリングし（例えば、ＲｅｎｄｅｒＷｉｄｇｅｔクラスをコールすることによって）、例えば、直近の位置および回転データと、レンダリングされたコンテンツのレイアウトを統制するルール（例えば、カスケードスタイルシート）とを使用して、レンダリングされたコンテンツのためのグラフィカル座標を計算してもよい。
複合現実システムのユニバースブラウザエンジンは、２０６Ａにおいて、ひいては、１つ以上の複合現実ソフトウェアモジュールおよび／またはハードウェア機構を呼び出し、ウェブページを仮想３Ｄ空間内に表示する、ブラウザエンジンを呼び出してもよい。例えば、仮想３Ｄ空間内（例えば、プリズム内）へのウェブページの回転および位置付けに応じて、ウェブページの仮想３Ｄ表現は、複数の深度面または複数の焦点面を横断して及び得る。複合現実システムは、例えば、その切替可能な焦点面または可変焦点化機構を利用して、３Ｄ位置および回転データに基づいて、ウェブページの仮想３Ｄ表現をレンダリングしてもよい。複合現実システムについてのさらなる詳細は、本願の第１の段落に参照される米国特許出願に説明される。いくつかの実施形態では、複合現実機構の本呼出は、ブラウザ（例えば、Ｃｈｒｏｍｉｕｍ）および／またはブラウザエンジン（例えば、ＣｈｒｏｍｉｕｍのためのＢｌｉｎｋ）を介して行われてもよい。例えば、ブラウザ（またはそのブラウザエンジン）は、位置および／または回転データ（またはさらに随意に、スケールデータ）をウェブページパネルに適用し、複合現実機構を呼び出し、仮想３Ｄコンテンツを表示してもよい。
図２Ｂは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するプロセスのためのさらなる詳細なブロック図を図示する。ウェブページを開くための命令（例えば、ユーザがリンクをクリックすることによって、ユーザが検索基準を検索フィールド内に打ち込むことによって、ウェブサイトのためのＵＲＬを打ち込むことによって等）に応答して、ウェブブラウザまたはウェブページパネルは、２０２Ｂにおいて、立ち上げられる。ユニバースブラウザエンジンは、位置および回転データが、非一過性コンピュータ可読媒体（例えば、キャッシュ）内に記憶され得る、または非一過性コンピュータ可読媒体内の位置および回転データが、リフレッシュされ得るように、位置および回転データをウェブブラウザのブラウザエンジンに送信してもよい。ブラウザエンジンは、次いで、受信された位置および回転データを、例えば、ブラウザエンジンによってアクセス可能なキャッシュメモリ内にキャッシュまたは記憶してもよい。位置および回転データが、ブラウザエンジンによってアクセス可能な非一過性コンピュータ可読メモリ（例えば、キャッシュ）内に記憶されている、いくつかの実施形態では、非一過性コンピュータ可読メモリ内に記憶される、記憶された位置および回転データは、ユニバースブラウザエンジンからの位置および回転データによって初期化されてもよい。
ウェブページは、２０４Ｂにおいて、随意に、位置および回転要求をブラウザエンジンに送信してもよい。例えば、ウェブページの開発者は、ウェブページが、初期化に応じて、またはその直後、位置および／または回転要求をブラウザエンジンに送信するように、アプリケーションプログラミングインターフェース（ＡＰＩ）のセット（例えば、上記に説明されるＷｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．３ＤＰｏｓｉｔｉｏｎ ＡＰＩおよびＷｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．３ＤＲｏｔａｔｉｏｎ ＡＰＩ）をウェブページのコードの中に組み込んでもよい。ウェブページの開発者が、ウェブページをある位置および／または回転で表すことを所望し得る、いくつかの実施形態では、ウェブページはまた、ＡＰＩのセットを利用して、位置および回転データをブラウザエンジンに通信することによって、位置および回転データを設定してもよい。これらの実施形態のうちのいくつかでは、ウェブページは、ユーザ入力（例えば、ユーザがリンクをクリックする、ユーザが検索基準を検索フィールド内に打ち込む、ユーザがウェブサイトのためのＵＲＬを打ち込む等）に応答して、ブラウザエンジンからウェブページペーンの位置および／または回転データを取得してもよい。
ウェブページからの随意の位置および／または回転要求に応答して、ブラウザエンジンは、２０６Ｂにおいて、要求に、例えば、複合現実システムのユニバースブラウザエンジンからのそのような位置および回転データを取得することからのさらなる遅延を伴わずに、ブラウザエンジンによってアクセス可能な非一過性コンピュータ可読媒体内に記憶される直近の位置および回転データで応答してもよい。直近の位置および回転データが、利用不可能である場合（例えば、初めて初期化された複合現実システムに関して、または他の理由から）、ブラウザエンジンは、ウェブページからのそのような要求に、デフォルト位置および回転データで応答してもよい。
ブラウザエンジンはまた、２０８Ｂにおいて、位置および回転データをユニバースブラウザエンジンに伝送してもよい。例えば、いくつかの実施形態は、ユーザに、仮想３Ｄ空間内のウェブページの表現を位置付け、および／または回転させる能力を提供してもよい。ＧＥＴ要求が受信される、いくつかの実施形態では、ブラウザエンジンは、非一過性コンピュータ可読媒体（例えば、キャッシュ）内に記憶されている、位置および回転データを、ウェブページに返す。ユニバースブラウザエンジンは、位置および回転データをウェブブラウザのブラウザエンジンから受信し、複合現実システムの他のモジュール（例えば、上記に説明されるランタイム層、オペレーティングシステムサービス層、１つ以上の３Ｄエンジン、または１つ以上のソフトウェアアプリケーション等）および他のハードウェアおよびそのソフトウェアコンポーネントを呼び出し、ユーザが、仮想３Ｄ空間（例えば、プリズム）内のウェブページの表現を自由に位置付け、および／または回転させることを可能にする。いくつかの実施形態では、２０６Ｂは、ウェブページが位置および／または回転データを取得する（「ＧＥＴ」）と実行され、２０８Ｂは、ウェブページが位置および／または回転データを決定する（「ＳＥＴ」）と実行される。
ユニバースブラウザエンジンは、いくつかの実施形態では、２１０Ｂにおいて、ブラウザエンジンからの位置および回転データの受信に応じて、ウェブページのための位置および回転データを更新する。ＳＥＴ要求が、新しい位置および／または回転データのために受信される、いくつかの他の実施形態では、新しい位置および／または回転データは、ブラウザエンジンのための非一過性コンピュータ可読媒体（例えば、キャッシュ）内に記憶されてもよく、さらに、ユニバースブラウザエンジンにパスされてもよい。ユニバースブラウザエンジンはさらに、位置および／または回転データが更新されたかどうかを決定する。例えば、ユーザによるウェブページ表現の任意の位置付けおよび回転は、位置および／または回転データを修正し得る。ユニバースブラウザエンジンが、位置および／または回転データが変化したことを決定する場合、ユニバースブラウザエンジンは、２１２Ｂにおいて、位置および／または回転データを更新し、位置および／または回転データの最新バージョンをブラウザエンジンに送信してもよい。ブラウザエンジンは、次いで、ひいては、非一過性コンピュータ可読媒体（例えば、キャッシュ）内に記憶される位置および／または回転データを、位置および／または回転データの最新バージョンとともに記憶してもよい。
位置および／または回転データの最新バージョンの受信に応じて、ブラウザエンジンはさらに、いくつかの実施形態では、ウェブページのコンテンツのグラフィカル座標を計算し、ウェブページのコンテンツをレンダリングしてもよい。ウェブページパネルは、次いで、少なくとも部分的に、位置および／または回転データの最新バージョンに基づいて、平行移動、回転、スケーリング、または別様に変換されてもよい。ブラウザエンジンは、これらの実施形態では、２１４Ｂにおいて、次いで、レンダリングされたコンテンツをユニバースブラウザエンジンにパスしてもよく、これは、ひいては、複合現実システムの種々のソフトウェアおよびハードウェアモジュールを呼び出し、レンダリングされたコンテンツの表現を仮想３Ｄ空間内に生成し、レンダリングされたコンテンツの表現を、仮想３Ｄ空間内の平行移動、回転、スケーリング、または別様に変換されたウェブページパネル内でユーザに表示する。
いくつかの他の実施形態では、ブラウザエンジンは、ブラウザエンジンのキャッシュ内に記憶される位置および回転データを用いて、ウェブページのコンテンツをレンダリングし、レンダリングされたコンテンツおよび位置および回転データをユニバースブラウザエンジンに伝送する。ユニバースブラウザエンジンは、レンダリングされたコンテンツをソフトウェアオブジェクトとして取り扱い、ユーザが、ウェブページのレンダリングされたコンテンツを位置付け、および／または回転させることを可能にする。いったんユーザが、ウェブページ表現の位置および／または回転を決定すると、ユニバースブラウザエンジンは、位置および回転データを更新し、例えば、変換およびレンダリングモジュールを呼び出し、ソフトウェアオブジェクトのためのウェブページの更新された表現を仮想３Ｄ空間内に生成し、ウェブページの更新された表現をユーザに提示する。これらの実施形態のうちのいくつかでは、複合現実システムは、ユーザが仮想３Ｄ空間内のウェブページの位置および／または回転を変化させる間、ユーザの操作とウェブページの表示との間に知覚可能な遅れを伴わずに、ほぼリアルタイム方式で、ウェブページを仮想３Ｄ空間内に表示し得る（２１４Ｂ）。
図２Ｃは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するために利用され得る、ユニバースプリズムを識別または作成するための高レベルブロック図を図示する。上記に説明されるように、プリズムは、１つ以上の３次元行列とともに平行移動、回転、および／または変換され得る、境界を伴う、３次元空間を含む。プリズムを定義する、３次元空間はまた、低減された次元であってもよい。例えば、プリズムは、３次元空間から低減された２次元（またはさらに１次元）面積を含んでもよい。図２Ｃに図示される、これらの実施形態では、プリズムは、２０２Ｃにおいて、部分的または全体的に、ユーザの１つ以上の挙動タイプ、プリズム、またはプリズム内にレンダリングされるべきコンテンツに基づいて、識別（既存の場合）または作成されてもよい。
いくつかの実施形態では、これらの１つ以上の挙動タイプは、例えば、世界固定、ビルボード表示、エッジビルボード表示、追従頭部固定、外部センサに基づく追従、またはフェーディング等を含む。ビルボード表示タイプの挙動は、ユーザ、ユーザの頭部、および／またはユーザの眼の移動シーケンスの間、ユーザに向かって（例えば、向かって面して）ビルボード表示し、仮想オブジェクトの視認性を向上させ、かつ移動シーケンスにおいて仮想オブジェクトおよび／またはプリズムを管理するユーザの労力を低減させるような方法において、あるオブジェクトを表示することにより実用的である、ルール、制約、要件、または選好を含む。例えば、平面仮想オブジェクト（例えば、ある情報を表示するウェブページ）は、平面仮想オブジェクトが、ユーザの移動シーケンスの間、ユーザに面するように、平面仮想オブジェクトを物理的環境に対してプリズム内で自動的に平行移動、回転、および／または変換させることによって、位置付けられ、配向され得る。プリズムは、したがって、２０２Ｃにおいて、本タイプの挙動に適応するように作成または識別されてもよい。
エッジビルボード表示タイプの挙動は、ユーザが、ある事前に定義された斜め角度において、仮想コンテンツを視認するであろう場合、またはそのとき、複合現実システムのユーザに向かって、平行移動、回転、または変換を開始するが、仮想コンテンツは、そのような平行移動、回転、または変換が、斜め視認角度によってトリガされる前は、定常のままである。世界固定タイプの挙動は、ユーザまたは仮想オブジェクトの任意の動的側面に適応せずに、プリズムを固定する。
追従頭部固定タイプの挙動では、１つ以上の仮想オブジェクト（例えば、ウェブページパネル、ウェブブラウザのための制御等）は、これらの１つ以上の仮想オブジェクトが、ユーザの頭部に対して固定されて現れ、したがって、ユーザの頭部移動とともに移動するような方法において、平行移動、回転、および／または変換され得る。同様に、追従身体固定タイプの挙動、追従眼固定タイプの挙動、および１つ以上の外部センサに基づく追従も存在し得る。そのような１つ以上の仮想オブジェクトを表示するためのプリズムは、これらのタイプの挙動に適応するために、識別（既存の場合）または新しく作成されてもよい（非既存の場合）。
フェーディングタイプの挙動では、仮想オブジェクトは、規定された距離において、分解または消失し始め得る（例えば、複合現実システムが、仮想オブジェクトのレンダリングを停止する）。いくつかの実施形態では、仮想オブジェクトは、平滑にフェーディングアウトする一方、仮想オブジェクトは、いくつかの他の実施形態では、急激に消失する。別のタイプの挙動は、別のプリズムの、仮想空間内のアンカ場所等の別のオブジェクトに対するプリズムの挙動を含む。例えば、プリズムは、物理的オブジェクト（例えば、壁、机、床、天井等）の表面の上部に生成または設置され得る。
関係タイプの挙動は、別のプリズムに関連したプリズムの挙動を含む。例えば、第２のプリズムが、第１のプリズムと子－親関係を維持するために生成または設置され得、第１のプリズムは、第２のプリズムの親である。これらの２つのプリズムは、同一変換を用いて、平行移動、回転、および／または変換され得る。そのような親－子プリズムの実施例は、親プリズムが、平行移動、回転、または変換されると、子プリズムもまた、親プリズムとともに、平行移動、回転、または変換するように、ウェブページのための親プリズムと、ウェブブラウザ制御のための子プリズムとを含み得るが、これらの２つのプリズムはまた、上記に説明されるように、独立して、平行移動、回転、および／または変換されてもよい。
別のタイプの挙動は、衝突および重複挙動を含む。本タイプの挙動は、衝突の発生に応じて、２つのプリズムが相互に重複し得るかどうか等、２つのプリズムが挙動する方法を統制する。例えば、本タイプは、２つのプリズム間の衝突を許可または防止し、かつ許可される場合、これらの２つのプリズム間で可能にされる重複の量を決め得る。衝突および重複が、本タイプの挙動によって防止され得る、いくつかの実施形態では、ユーザは、１つ以上のプリズムを平行移動、回転、または変換し続けることによって（例えば、プリズムを操作し続けることによって、衝突／重複についてのメッセージを無視することによって等）、そのようなルールをオーバライドしてもよく、複合現実システムは、したがって、そのようなルールのオーバライドを考慮し、プリズムが相互に衝突または重複することを可能にしてもよい。プリズムは、したがって、少なくとも部分的に、前述のタイプの挙動に基づいて、識別または生成されてもよい。
ウェブブラウザおよびそのブラウザエンジンは、２０４Ｃから開始されてもよい。ウェブブラウザは、新しいアプリケーションを開く、検索基準を打ち込む、ＵＲＬを打ち込む、またはクリックする（手のジェスチャを用いて、コントローラを使用して、音声コマンドを用いて、等）、ランチャとの相互作用等、ユーザアクションまたはユニバースブラウザエンジンとの相互作用に応答して、開始されてもよく、ウェブブラウザおよびウェブエンジンは、２０４Ｃにおいて、サービスを用いて開始されてもよい。
ユニバースブラウザエンジンは、プリズムと、随意に、２Ｄおよび／または３Ｄコンテンツのための分散型シーングラフとを使用して、また、ウェブページのコンテンツをレンダリングするためのブラウザエンジン（および随意に、複合現実システムのランタイム層、１つ以上の３Ｄエンジン、ライブラリ等の他のサービス）を使用して、動作する。分散型シーングラフは、ベクトルベースのグラフィック、編集アプリケーション、およびゲーム用ソフトウェア等によって使用され得る、データ構造であって、例えば、相対的設置アルゴリズムおよび／または恣意的変換を使用して、グラフィカル場面の論理表現（および随意に、空間表現）を配列する。シーングラフは、コンテンツがその構造内で相互に対して配列および変換される方法を定義し得る。
加えて、１つを上回るソフトウェアアプリケーション（例えば、ウェブブラウザ、電子メールクライアント等）も、同様にユニバースブラウザエンジンによって管理される、仮想３Ｄ空間の中にレンダリングされてもよい。１つ以上のプリズムは、ソフトウェアアプリケーション毎に配分され得るため、ソフトウェアアプリケーションのためのこれらの１つ以上のプリズムは、分散型シーングラフのサブツリーを構成し得る。さらに、プリズムは、ユーザアクションまたは相互作用を介して、またはアプリケーションによって作成されてもよい。例えば、ソフトウェアアプリケーションが、プリズムの生成を要求し得るが、ユニバースブラウザエンジンが、そのような要求を拒否してもよい。任意の他の具体的ソフトウェアコンポーネントではなく、ユニバースブラウザエンジンが、プリズムの管理および生成に関与する。ウェブブラウザ（またはそのブラウザエンジン）の一意の識別が、２０６Ｃにおいて、例えば、パッケージマネージャサービスによって決定されてもよい。同様に、ユニバースブラウザエンジンもまた、ウェブブラウザ（またはそのブラウザエンジン）の一意の識別を決定してもよい。
そのためにプリズムが作成または設置されることになる、ウェブブラウザ（またはそのブラウザエンジン）は、２０８Ｃにおいて、リスナをユニバースブラウザエンジンに登録してもよい。リスナは、メッセージまたは通信を受信する、インターフェースオブジェクトを含む。例えば、リスナは、ＩＰＣ（プロセス間通信）メッセージを、またはＡｎｄｒｏｉｄ（登録商標）システムの場合、Ａｎｄｒｏｉｄ Ｂｉｎｄｅｒインターフェースから受信してもよい。リスナは、ウェブブラウザ（またはそのブラウザエンジン）に、部分的または全体的に、プリズムに対するユーザの移動または相互作用に基づいて、プリズムの生成および破壊を知らせるために使用されてもよい。
ユニバースブラウザエンジンは、次いで、２１０Ｃにおいて、プリズムとリスナを関連付け、２１２Ｃにおいて、前述の一意の識別を使用することによって、プリズムをウェブブラウザ（またはそのブラウザエンジン）に割り当ててもよい。ユニバースブラウザエンジンは、次いで、２１４Ｃにおいて、前述のシーングラフを使用することによって、プリズムを複合現実システムの３Ｄ仮想空間または３Ｄ表示可能空間内に設置してもよい。いくつかの実施形態では、ユニバースブラウザエンジンは、部分的に、３Ｄ仮想または表示可能空間の中にレンダリングされることになる、ウェブページ（またはウェブページパネル）の位置および回転データに基づいて、プリズムを３Ｄ空間内に設置してもよい。
図２Ｄは、いくつかの実施形態による、ウェブページを開き、ユニバースブラウザプリズム内に設置するための高レベルブロック図を図示する。これらの実施形態では、複合現実システムは、２０２Ｄにおいて、インターネットからのコンテンツへのユーザの関心を示す、第１のユーザ入力を受信し得る。第１のユーザ入力は、例えば、コンテンツをインターネット上の抽出可能ノード（例えば、そのウェブページ内に抽出可能コンテンツを提供するウェブサイト）から抽出するためのユーザのアクションを含んでもよい。第１のユーザ入力は、ソフトウェアアプリケーション（例えば、ウェブブラウザ、電子メールクライアント等）を開始する、ユーザアクションまたは相互作用（例えば、コントローラをクリックすることによって、手のジェスチャによって、音声コマンドを介して等）を含んでもよい。第１のユーザ入力はまた、ユーザが、別のソフトウェアアプリケーションからのディスパッチをトリガすることを含んでもよく、ディスパッチは、異なるアプリケーションによってハンドリングされなければならない。例えば、ユーザは、ソーシャルメディアページ内のリンクをクリックしてもよく（コントローラを用いて、手のジェスチャを介して、または音声コマンドを使用して）、リンクは、ウェブブラウザによってハンドリングされることになる。
第１のユーザ入力に応答して、ソフトウェアアプリケーション（例えば、ウェブブラウザ）が、２０４Ｄにおいて、立ち上げられ、着目コンテンツを生成し得る。例えば、ユニバースブラウザエンジンが、ユーザが、検索基準を、複合現実システムによって生成され仮想３Ｄ空間内にも提供される、検索フィールド内に打ち込むことに応答して、ウェブブラウザ（およびそのブラウザエンジン）を立ち上げ得る。プリズムが、２０６Ｄにおいて、着目コンテンツを表示するために決定され得る。例えば、ユニバースブラウザエンジンは、第１のユーザ入力に応答して、着目コンテンツを表示するために、既存のプリズムを決定する、または新しいプリズムを生成し得る。
着目コンテンツのミニプレビューが、随意に、２０８Ｄにおいて、仮想３Ｄ空間内に、詳細を殆ど伴わずに、または判別可能／読みやすい詳細を全く伴わずに、生成されてもよい。いくつかの実施形態では、ミニプレビュープリズムが、２０８Ｄにおいて、生成され、ユーザに表示されてもよく、ミニプレビュープリズムは、着目コンテンツのミニプレビューを含む場合とそうではない場合がある。コンテンツのミニプレビューおよび／またはミニプレビュープリズムは、ユーザが、ミニプレビューコンテンツまたはミニプレビュープリズムを再位置付け、回転、および／または変換させるべきかどうかを決定し得るように、着目コンテンツがレンダリングされる前に、生成され、ユーザに提示されてもよい。
第２のユーザ入力が、２１０Ｄにおいて受信され得る。第２のユーザ入力は、プリズム、ミニプレビュープリズム、コンテンツ、またはミニプレビューコンテンツが、平行移動、回転、および／または変換されるべきかどうかと、該当する場合、プリズム、ミニプレビュープリズム、コンテンツ、またはミニプレビューコンテンツが、平行移動、回転、および／または変換されるべき量とを示す。例えば、ユニバースブラウザエンジンは、ユーザが、プリズムまたは着目コンテンツを平行移動、回転、および／または変換させるであろうかどうかを決定してもよい。決定が、肯定である場合、ユニバースブラウザエンジンはさらに、少なくとも部分的に、第２のユーザ入力（例えば、ユーザが、コンテンツまたはウェブページを新しい位置および新しい配向に移動および回転させる）に基づいて、そのような平行移動、回転、および／または変換の範囲を決定してもよい。
上記に説明されるように、ユニバースブラウザエンジンは、ブラウザエンジンと連動して機能し、着目コンテンツが完全にレンダリングされる前に、最初に、ミニプレビュープリズムまたはウェブページのミニプレビューをユーザに表示してもよい。いったんユーザが、ミニプレビューコンテンツまたはミニプレビュープリズムの平行移動、回転、および／または変換を終了すると、新しい位置および回転データが、ブラウザエンジンに返信されてもよく、これは、ひいては、グラフィカル座標を計算し、着目コンテンツを、少なくとも計算されたグラフィカル座標を用いてレンダリングする。いくつかの他の実施形態では、ユニバースブラウザエンジンおよびブラウザエンジンは、着目コンテンツをレンダリングし、ユーザに表示し、ユーザは、続いて、レンダリングされた着目コンテンツを平行移動、回転、および／または変換させてもよい。ユニバースブラウザエンジンは、同様に、平行移動、回転、および／または変換から生じる新しい位置および／または回転データをブラウザエンジンに返信し、これは、ひいては、その記憶された位置および／または回転データを更新する。着目コンテンツは、次いで、２１２Ｄにおいて、少なくとも部分的に、第２のユーザ入力に基づいてプリズム内に表示されてもよい。
図２Ｅは、１つ以上の実施形態における、ユニバースブラウザプリズム内のソフトウェアオブジェクトを変換するための高レベルブロック図を図示する。ウェブページまたはウェブページパネルが、２０２Ｅにおいて、変換ツリー構造から識別され得る。変換ツリー構造は、複数のノードを有する、シーングラフを含んでもよく、各ノードは、プリズムに対応する、移動可能ローカル空間を提供する。プリズムはまた、部分的または全体的に、変換ツリー構造内のプリズムに関する階層構造に基づいて、１つ以上の変換を受けるべき変換ツリー構造内のノードであってもよい。
変換ツリー構造はまた、プリズムではない、ノードを含んでもよい。むしろ、これらのノードは、コンテンツをグループ化するために使用されてもよい、または中間変換（例えば、スケーリング、平行移動、回転等）として使用されてもよい。例えば、ノードのグループは、変換のセットが、１つのノードに適用されると、グループ内の残りのノードもまた、ノードとともに変換されるように、同一変換のセットを受け得る。
２０２Ｅにおいて識別されたウェブページの１つ以上の親が、２０４Ｅにおいて、変換ツリー構造から識別され得る。変換ツリー構造内のノードは、ゼロ以上の子ノードを有し得るが、最大で１つの親を有し得る。いくつかの実施形態では、プリズムは、対応する変換ツリー構造内にヌル親およびゼロ子を伴って、初期化されてもよい。本変換ツリー構造は、続いて、続いてプリズムの中にレンダリングされる、コンテンツに基づいて、より多くのノードとともに取り込まれてもよい。変換ツリー構造内の親ノードの子ノードは、親ノードが受ける、変換を継承する。
いくつかの実施形態では、変換ツリー構造内のルートノードは、ルートノード変換に対応し、これは、プリズムの変換に適用されると、ルートノード変換にローカルのノードの変換を更新することを要求しない。例えば、オーディオコンテンツを表すノードは、オーディオ信号が、プリズム内に制約され、プリズムが変換されるときでも、プリズムの外側のから放出するように知覚されないように、ルートノード変換にローカルであってもよい。いくつかの実施形態では、子ノードは、その親ノードを変化させ得るが、子ノードは、子ノードが、その親ノードの変化を開始するために、異なる変換のセットを受けるために所望または要求されない限り、変化後、その現在の位置または配向を変化させない。例えば、ユーザに面した子プリズムは、その親プリズムを新しい親プリズムに変化させ得る。それにもかかわらず、変化は、子プリズムが、変化後も、ユーザに面し続けるように、子プリズムの位置および回転を変化させない。
ユニバースブラウザエンジンが、２０６Ｅにおいて、ウェブページまたはウェブページパネルの位置および／または回転データをブラウザエンジンから受信し得る。そのような位置および／または回転データは、いくつかの実施形態では、単独で、またはいくつかの他の実施形態では、他のデータの一部として（例えば、ブラウザエンジンによってレンダリングされたウェブページの一部として）、直接、ブラウザエンジンから、位置および／または回転データとして受信されてもよい。ユニバースブラウザエンジンは、ユーザが、ウェブページまたはそのパネルを操作（例えば、平行移動、回転、および／または変換）することを可能にするように、ウェブページの位置および回転データをブラウザエンジンから受信する。
上記に説明されるように、ユニバースブラウザエンジンは、３Ｄ空間環境内の仮想コンテンツの作成、設置、および表示を管理するが、ユニバースブラウザエンジンは、いくつかの実施形態では、ブラウザエンジンが、そのような位置および／または回転データをユニバースブラウザエンジンから要求することによって、さらに遅延を伴わずに、ウェブページからの位置および／または回転要求に迅速に応答し得るように、位置および回転データをブラウザエンジン内（例えば、ブラウザエンジンによってアクセス可能なキャッシュメモリ内）に記憶してもよい。いくつかの他の実施形態では、ユニバースブラウザエンジンはまた、位置および回転データを、ユニバースブラウザエンジンによってアクセス可能な別の非一過性コンピュータ可読媒体内に記憶してもよく、位置および回転データの２つのコピーは、位置および／または回転データが変化する度に同期される。
ユニバースブラウザエンジンはさらに、２０８Ｅにおいて、ウェブページのための位置および／または回転入力を受信し得る。例えば、ユーザは、ウェブページまたはそのパネルを平行移動、回転、および／または変換させ、したがって、ウェブページのための位置および／または回転データのための入力を提供し得る。ユニバースブラウザエンジンは、２１０Ｅにおいて、少なくとも部分的に、２０８Ｅにおいて受信された位置および／または回転入力に基づいて、ウェブページまたはその一部（例えば、ウェブページのための制御、サブパネル等）のための位置および／または回転データを決定し得る。ウェブページまたはその一部（例えば、ウェブページのより小さい部分）は、別様に明示的に説明されない限り、本願では同義的に使用され得ることに留意されたい。位置および／または回転入力が、ウェブページ（またはそのパネル）の位置および／または回転データを修正するため、ユニバースブラウザエンジンは、２１２Ｅにおいて、その位置および／または回転データと、ブラウザエンジン内に記憶された対応するデータを同期させ得る。いくつかの実施形態では、ユニバースブラウザエンジンは、位置および回転データ全体をブラウザエンジンと同期させる。いくつかの他の実施形態では、ユニバースブラウザエンジンは、その位置および回転データに対する変化を追跡し、その独自の位置および回転データとブラウザエンジン内の対応するデータとの間のデルタのみを同期させる。
ブラウザエンジンは、更新された位置および／または回転データをユニバースブラウザエンジンから受信し、レンダリングされるべきコンテンツのグラフィカル座標を計算し、レンダラプロセス（例えば、ＢｌｉｎｋまたはＷｅｂＫｉｔのためのＲｅｎｄｅｒＷｉｄｇｅｔ）を呼び出すことによって、コンテンツをレンダリングする。ユニバースブラウザエンジンは、次いで、２１４Ｅにおいて、ブラウザエンジンおよび複合現実システムと連動して機能し、少なくともウェブページの位置および回転データを使用して、レンダリングされたコンテンツをプリズム内に表示し得る。
図２Ｆは、いくつかの実施形態による、図２Ｅに図示されるブロック図の一部についてのさらなる詳細を図示する。より具体的には、図２Ｆは、２１０Ｅにおいて、部分的または全体的に、図２Ｅの２０８Ｅにおいて受信された位置および／または回転入力に基づいて、ウェブページのための回転および／または回転データを決定することについてのさらなる詳細を図示する。これらの実施形態では、変換のセットが、随意に、２０２Ｆにおいて、該当する場合、ウェブページの親に関して、識別され得る。いくつかの他の実施形態では、ブラウザエンジンは、位置および／または回転データを識別し得、ユニバースブラウザエンジンは、２０２Ｆにおいて、位置および／または回転データを、ウェブページの親（またはその一部）の変換のセットを識別せずに、直接、位置および／または回転データ単独の形態において、または他のデータ（例えば、レンダリングされたウェブページ）の一部としてのいずれかで、ブラウザエンジンから識別し得る。変換のセットの変換特性が、２０４Ｆにおいて、部分的または全体的に、２０８Ｅにおいて受信された位置および／または回転入力に基づいて、ウェブページのために識別され得る。変換特性は、例えば、ウェブページのための所望または要求される変換（例えば、ウェブページの開発者によって想定される、所望または要求される変換）、ウェブページを表すノードの親、ウェブページまたはその中にウェブページがレンダリングされるプリズムの挙動のタイプ、その中にウェブページがレンダリングされるプリズムの特性（例えば、範囲、衝突特性、重複／交点特性等）、またはそれらの任意の組み合わせを含んでもよい。
いくつかの実施形態では、位置および／または回転入力は、変換ツリー構造内のウェブページを表す、ノードに関する親－子関係の変化を含んでもよい。例えば、位置および／または回転入力は、ウェブページのためのノードの親を変化させ得る。一般に、親ノードに適用される変換のセットはまた、親ノードの子ノードにも適用される。いくつかの実施形態では、子ノードの親を変化させることは、必ずしも、子ノードに適用される変換を変化させるとは限らない。例えば、ウェブページが、追従頭部固定（または追従眼固定）タイプの挙動で提示される場合、ウェブページを表す子ノードの親を変化させることは、親ノードに適用される変換の親セットが、本タイプの挙動によってオーバライドされ得るため、ウェブページに適用される変換のセットを変化させない場合がある。
ウェブページのための位置および／または回転入力が、２０６Ｆにおいて、識別され得る。例えば、ユーザは、２０６Ｆにおいて、ウェブページまたはそのパネルを平行移動、回転、および／または変換させ、したがって、ウェブページのための位置および／または回転入力を提供し得る。上記に説明されるように、位置および／または回転入力は、変換ツリー構造のノード構造の変化を含んでもよい。例えば、ウェブページを表すノードが、その親および／または子として、１つ以上のノードに追加される、またはそこから除去され得る。
ウェブページを表すノードの親を変化させることは、ウェブページを表すノードに適用される変換のセットを変化させる場合とそうではない場合がある。例えば、世界変換が、変換ツリー構造内の全てのノードに適用される、いくつかの実施形態では、ウェブページを表すノードの親を変化させることは、それにもかかわらず、ノードおよび変換ツリー構造内の他のノードに適用される、世界変換を変化させない場合がある。別の実施例として、ウェブページが、追従頭部固定挙動タイプに従って、ユーザに面して提示されるべき場合、本挙動タイプは、これらの１つ以上の他の変換が、ノードに適用されないように、追従頭部固定挙動タイプに干渉し得る、１つ以上の他の変換をオーバライドし得る。
ウェブページのための変換のセットが、２０８Ｆにおいて、少なくとも部分的に、例えば、位置および／または回転入力、親のための変換のセット、または２０４Ｆにおいて識別されたウェブページのための変換特性のうちの１つ以上のものに基づいて、決定され得る。いくつかの実施形態では、変換ツリー構造内のウェブページを表すノードは、仮想３Ｄ空間内のウェブページ（またはそのパネル）の範囲、ウェブページのための１つ以上のローカル変換、ウェブページの回転を統制する３Ｄ回転行列、ローカル変換に対応するスケーリング係数、ウェブページの位置ベクトル、１つ以上のローカル／世界変換、またはローカル／世界スケールのうちの１つ以上のものを含む、またはそれに対応してもよい。
ローカル変換は、変換ツリー構造内のウェブページを表すノードの親ノードに適用される、変換を含む。ウェブページを表すノードが、親ノードを有していない、いくつかの実施形態では、世界変換（一般的またはデフォルト空間から、その中にウェブページがレンダリングされる、ローカルプリズムい）が、ローカル変換に割り当てられてもよい。ノードが、上記に説明される複数の要素（例えば、複数の変換）を含む、またはそれに対応する、いくつかの実施形態では、ローカル変換が、これらの複数の要素を連続的に適用することによって、決定されてもよい。例えば、ウェブページのノードが、平行移動変換、スケーリング変換、および回転変換を受ける場合、ローカル変換は、以下の象徴的表現、すなわち、ローカル変換＝平行移動＊回転行列＊スケーリングであると決定される。本ローカル変換は、ウェブページに適用されると、スケーリング係数に従って、ウェブページをスケーリングし（例えば、３つの軸間の非均一スケーリングが、サポートされ得る）、回転行列に従って、スケーリングされたウェブページを回転させ、次いで、平行移動行列に従って、スケーリングされ、回転されたウェブページを移動させる。
いくつかの実施形態では、ＯｐｅｎＧＬ Ｍａｔｈｅｍａｔｉｃｓ（ＧＬＭ）が、ウェブページのための変換を遂行するために使用され得るが、他の数学ライブラリはまた、それを遂行するために使用されてもよい。以下の例示的コードは、ウェブページの変換を遂行するためのＧＬＭの使用を実証する。
Figure 2022526977000030
上記のコードでは、「ＴｒａｎｓｆｏｒｍＮｏｄｅ：：ｇｅｔＣｕｒｒｅｎｔＶｏｌｕｍｅＴｒａｎｓｆｏｒｍ（）」が、ウェブページパネルの変換を取得するために使用され得、他のコードセグメントが、ウェブページパネルの変換を設定するために使用され得る。加えて、以下の例示的コードが、ウェブページパネルの変換を位置および回転に分解するために使用され得るが、他の類似または均等物実装もまた、検討されており、また、同じまたは実質的に類似目的を達成するために使用され得ることに留意されたい。
Figure 2022526977000031
２０８Ｆにおいて決定されたウェブページのための変換のセットを用いることで、ウェブページ（またはそのパネル）のための位置および回転データが、２１０Ｆにおいて、変換のセットをウェブページに適用することによって決定され得る。位置および回転データを用いることで、ブラウザエンジンは、レンダリングされるべきコンテンツのグラフィカル座標を計算し、レンダラ（例えば、ＲｅｎｄｅｒＷｉｄｇｅｔまたは他のレンダラ）を呼び出し、コンテンツをレンダリングし得る。レンダリングされたコンテンツは、次いで、２１２Ｆにおいて、全体または部分的に、位置および回転データに基づいて、プリズム内に表示され得る。
図２Ｇ－２Ｉは、任意のノードが、任意の様式においてグループ化され得、対応する変換が、ノードのそのようなグループ化から生じる親－子関係に依存し得る、実施形態を図示する。図２Ｇ－２Ｉに図示されるこれらの実施例は、いくつかの実施形態では、種々の変換ツリーを含み、ツリーをグループ化し、および／または新しいグループを作成する。例えば、図２Ｇにおける変換ツリー２００Ｇに関して、本実施形態は、現在、別個の変換ツリーである、ノードＡ（２０２Ｇ）およびノードＥ（２１０Ｇ）をともにグループ化することを図示する。決定が、最初に、ノードＡ（２０２Ｇ）またはノードＥ（２１０Ｇ）が、すでにグループ内にあるかどうかに関して行われ得る。現在、ノードＡ（２０２Ｇ）またはノードＥ（２１０Ｇ）のいずれも、グループ－親を有しておらず、したがって、いずれも、グループ内にない。したがって、グループルートが、作成されてもよい。
図２Ｈでは、グループルート２０２Ｈを有する、グループツリー１０２２が、作成される。ノードＡ（２０２Ｇ）およびノードＥ（２１０Ｇ）のグループ親が、図２Ｈに描写されるように、グループルート２０２Ｈに割り当てられる。さらに、決定が、ノードＥ（２１０Ｇ）がノードＡ（２０２Ｇ）の先祖（または親）であるかどうかを決定するために行われる。ノードＥ（２１０Ｇ）は、ノードＡ（２０２Ｇ）が親を有していないため、ノードＡ（２０２Ｇ）の先祖ではない。加えて、別の決定が、ノードＡ（２０２Ｇ）がノードＥ（２１０Ｇ）の先祖（または親）であるかどうかを決定するために行われ得る。同様に、ノードＡ（２０２Ｇ）は、ノードＥ（２１０Ｅ）が親を有していないため、ノードＥ（２１０Ｇ）の先祖ではない。
図２Ｉは、本開示のいくつかの実施形態による、サンプル計算を図示する。いくつかの実施形態では、グループ内に属するノードに直接適用される、任意の変換は、グループをそれとともに変換し得る。グループノードに行われる間接変換は、グループを変換させ得ない。例えば、親ノードが、グループ内になく、その子が、グループ内にあって、親が、変換される場合、子のグループ内のノードは、子の変換が変化する場合でも、それとともに変換しない。グループ全体の移動が所望される場合、親は、グループに追加されるべきである。グループに適用するための変換を計算するために、使用するための変換は、グループルートの各直系の子に適用されなければならない。
図２Ｉに描写されるような所与の変換ツリー２００Ｇおよびグループツリー２００Ｈに関して、本実施形態は、変換をノードＡ（２０２Ｇ）に適用する。ノードＡ（２０２Ｇ）は、グループツリー２００Ｈ内に属するため、ノードＣ（２０６Ｇ）、Ｄ（２０８Ｇ）、およびＥ（２１０Ｇ）は、ノードＡ（２０２Ｇ）とともに変換されることが予期される。加えて、グループ内に属さない、ノードＢ（２０４Ｇ）もまた、ノードＡ（２０２Ｇ）の子であるため、グループとともに変換しなければならない。ノードＡ（２０２Ｇ）の新世界行列は、Ｍａｗ’として示され得、Ｍａｗ’は、「ｍａｔｒｉｘ ａ ｗｏｒｌｄ ｎｅｗ」を表す。ノードＡ（２０２Ｇ）の旧世界行列は、Ｍａｗとして示され得、Ｍａｗは、「ｍａｔｒｉｘ ａ ｗｏｒｌｄ ｏｌｄ」を表す。Ｍａｗ’を得るためにノードＡ（２０２Ｇ）に適用するための行列は、Ｍｇｗとして示され得、Ｍｇｗは、「ｍａｔｒｉｘ ｇｒｏｕｐ ｗｏｒｌｄ」を表す。目標のうちの１つは、ノードＡの世界行列に適用されると、ノードＡの新しい行列に等しくなるであろう、グループルート（Ｍｇｗ）に設定するための行列を決定することである。本同一行列は、グループルートの他の直系の子にも適用され得る。
図２Ｊは、１つ以上の実施形態における、エクステンデッドリアリティシステムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するプロセスのための高レベルブロック図を図示する。これらの実施形態では、ブラウザエンジンは、２０２Ｊにおいて、ウェブページのための３次元（３Ｄ）配向のための入力を受信し得る。いくつかの実施形態では、入力は、着目ウェブページの提示を要求する、複合現実システムのユーザ、またはウェブページがある様式で提示されることを好む、したがって、コーディングする、ウェブページ開発者による、入力を含んでもよい。いくつかの他の実施形態では、入力は、配向データのための要求を含んでもよい。例えば、配向データ（例えば、いくつかの実施形態では、位置付けデータ、回転データ、および／またはさらにスケールデータ）のための要求が、いくつかの実施形態では、着目ウェブページのウェブサイトによって発行され得る。例えば、ウェブページの開発者は、アプリケーションプログラミングインターフェース（例えば、上記に説明されるＷｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．Ｏｒｉｅｎｔａｔｉｏｎ ＡＰＩ）を着目ウェブページのコードの中に組み込んでもよい。
直上で説明されるように、入力は、いくつかの実施形態では、例えば、仮想３Ｄ空間内に提示されるとき、ウェブページを、ある配向（例えば、ある回転）で表すことを好む、開発者から生じ得る。これらまたは他の実施形態のうちのいくつかでは、入力は、複合現実システムによって作成された仮想３Ｄ空間内での、あるウェブページ、以前に訪問された同一ウェブページ、または同一ウェブサイトからの、または随意に、他のウェブサイト等からの他のウェブページのユーザの操作から生じ得る。
例えば、ウェブページは、ユーザのために、開かれ、仮想３Ｄ空間内に表示され得、ユーザは、仮想３Ｄ空間内のウェブページの配向を調節してもよい。これらの実施形態のうちのいくつかでは、類似技法がさらに、ウェブページのためのウェブブラウザまたはその中にウェブページがレンダリングされるプリズムを操作するために適用されてもよい。ユーザは、例えば、ユニバースブラウザエンジンおよび／またはウェブページ開発者によって提供されるように、仮想３Ｄ空間内のウェブページ表現の配向を自由に調節してもよく、そのような配向操作に関する制約は、例えば、プリズムの境界、許容可能配向値、許容可能配向範囲等を含む。いくつかの実施形態では、そのような配向はまた、随意に、ウェブページ表現および仮想オブジェクトが、現実のように現れる、またはそのように知覚されるように、ウェブページ表現と仮想３Ｄ空間内の１つ以上の他の物理的および／または仮想オブジェクトとの間の衝突および／または重複動態によって制約されてもよい。
ブラウザエンジン（例えば、Ｂｌｉｎｋ、Ｇｅｃｋｏ、ＷｅｂＫｉｔ、Ｔｒｉｄｅｎｔ等）は、独立型コンピュータプログラムではない。むしろ、ブラウザエンジンは、ウェブページのリソース（例えば、ＨＴＭＬドキュメント等）を双方向視覚的表現に変換する、ウェブブラウザのソフトウェアコンポーネントである。ブラウザエンジンのために一般に使用される、他の用語は、例えば、カスケードスタイルシート（ＣＳＳ）内のルールに基づいて、視覚的表現のためのグラフィカル座標を計算することによる、レイアウトエンジン、レンダリングエンジン等を含む。
その名前が示唆するように、ブラウザエンジンは、ウェブページのためのレイアウトおよびレンダリングを実施し、セキュリティポリシを施行し、ページスクリプトにエクスポーズされる、ＤＯＭ（ドキュメントオブジェクトモデル）データ構造を実装する。ブラウザエンジンはまた、ハイパーリンクおよびウェブフォームをハンドリングしてもよい。いくつかの実施形態では、ブラウザエンジンは、ＪａｖａＳｃｒｉｐｔ（登録商標）コードの実行のために、別の専用スクリプトエンジンを利用する。ウェブブラウザのための少なくとも前述の機能を実施することに加え、ブラウザエンジンはまた、電子メールクライアント、ソフトウェアアプリケーションのための他のフレームワーク（例えば、ＧｏｏｇｌｅのＥｌｅｃｔｒｏｎ Ｆｒａｍｅｗｏｒｋ）等の他のソフトウェアプログラムのための同じまたは実質的に類似機能を実施してもよい。
ブラウザエンジンは、２０４Ｊにおいて、配向データを決定し、３Ｄ配向または３Ｄ配向操作のための要求に応答してもよい。いくつかの実施形態では、ブラウザエンジンは、直近の配向データをブラウザエンジンによってアクセス可能な非一過性コンピュータ可読媒体（例えば、キャッシュメモリ）内に記憶してもよい。そのような配向データは、配向データが修正される（例えば、仮想３Ｄ空間内に表示されるウェブページをさらに移動、回転、または変換させる、ユーザによって）度に、複合現実システムのユニバースブラウザエンジンによって送信されてもよい。
ウェブブラウザが、ウェブページをレンダリングおよび表示するために初期化すると、そのブラウザエンジンは、配向のためのそのような要求に、例えば、ブラウザエンジンによってアクセス可能なキャッシュメモリ（例えば、Ｃｈｒｏｍｉｕｍベースのブラウザ内のＲｅｎｄｅｒＷｉｄｇｅｔクラス内）内に記憶される、配向データで応答してもよい。いったん配向データが、修正されると、ブラウザエンジンは、その記憶された配向データを、更新された配向データでリフレッシュする、またはユニバースブラウザエンジンからの配向データに更新してもよい。直近の配向データを用いることで、ブラウザエンジンは、ウェブページのコンテンツをレンダリングし（例えば、ＲｅｎｄｅｒＷｉｄｇｅｔクラスをコールすることによって）、例えば、直近の配向データと、レンダリングされたコンテンツのレイアウトを統制するルール（例えば、カスケードスタイルシート）とを使用して、レンダリングされたコンテンツのためのグラフィカル座標を計算してもよい。
複合現実システムのユニバースブラウザエンジンは、２０６Ｊにおいて、ひいては、１つ以上の複合現実ソフトウェアモジュールおよび／またはハードウェア機構を呼び出し、ウェブページを仮想３Ｄ空間内に表示する、ブラウザエンジンを呼び出してもよい。例えば、仮想３Ｄ空間内（例えば、プリズム内）へのウェブページの配向に応じて、ウェブページの仮想３Ｄ表現は、複数の深度面または複数の焦点面を横断して及び得る。エクステンデッドリアリティシステムは、例えば、その切替可能な焦点面または可変焦点化機構を利用して、３Ｄ配向データに基づいて、ウェブページの仮想３Ｄ表現をレンダリングしてもよい。
エクステンデッドリアリティシステムについてのさらなる詳細は、本願の第１の段落に参照される米国特許出願に説明される。いくつかの実施形態では、複合現実機構の本呼出は、ブラウザ（例えば、Ｃｈｒｏｍｉｕｍ）および／またはブラウザエンジン（例えば、ＣｈｒｏｍｉｕｍのためのＢｌｉｎｋ）を介して行われてもよい。例えば、ブラウザ（またはそのブラウザエンジン）は、配向データ（またはさらに随意に、スケールデータ）をウェブページパネルに適用し、複合現実機構を呼び出し、仮想３Ｄコンテンツを表示してもよい。
図２Ｋは、１つ以上の実施形態における、複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するプロセスのためのさらなる詳細なブロック図を図示する。ウェブページを開くための命令（例えば、ユーザがリンクをクリックすることによって、ユーザが検索基準を検索フィールド内に打ち込むことによって、ウェブサイトのためのＵＲＬを打ち込むことによって等）に応答して、ウェブブラウザまたはウェブページパネルは、２０２Ｋにおいて、立ち上げられる。
ユニバースブラウザエンジンは、配向データが、非一過性コンピュータ可読媒体（例えば、キャッシュ）内に記憶され得る、または非一過性コンピュータ可読媒体内の配向データが、リフレッシュされ得るように、配向データをウェブブラウザのブラウザエンジンに送信してもよい。ブラウザエンジンは、次いで、受信された配向データを、例えば、ブラウザエンジンによってアクセス可能なキャッシュメモリ内にキャッシュまたは記憶してもよい。配向データが、ブラウザエンジンによってアクセス可能な非一過性コンピュータ可読メモリ（例えば、キャッシュ）内に記憶されている、いくつかの実施形態では、非一過性コンピュータ可読メモリ内に記憶される、記憶された配向データは、ユニバースブラウザエンジンからの配向データによって初期化されてもよい。
ウェブページは、随意に、２０４Ｋにおいて、配向要求をブラウザエンジンに送信してもよい。例えば、ウェブページの開発者は、ウェブページが、初期化に応じて、またはその直後、配向データ要求をブラウザエンジンに送信するように、アプリケーションプログラミングインターフェース（ＡＰＩ）のセット（例えば、上記に説明されるＷｉｎｄｏｗ．ＶｉｒｔｕａｌＷｏｒｌｄ．Ｏｒｉｅｎｔａｔｉｏｎ ＡＰＩ）をウェブページのコードの中に組み込んでもよい。ウェブページの開発者が、ウェブページをある配向で表すことを所望し得る、いくつかの実施形態では、ウェブページはまた、ＡＰＩのセットを利用して、配向データをブラウザエンジンに通信することによって、配向データを設定してもよい。これらの実施形態のうちのいくつかでは、ウェブページは、ユーザ入力（例えば、ユーザがリンクをクリックする、ユーザが検索基準を検索フィールド内に打ち込む、ユーザがウェブサイトのためのＵＲＬを打ち込む等）に応答して、ブラウザエンジンからウェブページペーンの配向データを取得してもよい。
ウェブページを表示するウェブページからの随意の配向要求に応答して、ブラウザエンジンは、２０６Ｋにおいて、要求に、例えば、複合現実システムのユニバースブラウザエンジンからのそのような配向データを取得することからのさらなる遅延を伴わずに、ブラウザエンジンによってアクセス可能な非一過性コンピュータ可読媒体内に記憶される直近の配向データで応答してもよい。直近の配向データが、利用不可能である場合（例えば、初めて初期化された複合現実システムに関して、または他の理由から）、ブラウザエンジンは、ウェブページからのそのような要求に、デフォルト配向データで応答してもよい。
ブラウザエンジンはまた、２０８Ｋにおいて、配向データをユニバースブラウザエンジンに伝送してもよい。例えば、いくつかの実施形態は、ユーザに、仮想３Ｄ空間内のウェブページの表現を配向する能力を提供してもよい。ＧＥＴ要求が受信される、いくつかの実施形態では、ブラウザエンジンは、非一過性コンピュータ可読媒体（例えば、キャッシュ）内に記憶されている、配向データを、ウェブページに返す。
ユニバースブラウザエンジンは、配向データをウェブブラウザのブラウザエンジンから受信し、複合現実システムの他のモジュール（例えば、上記に説明されるランタイム層、オペレーティングシステムサービス層、１つ以上の３Ｄエンジン、または１つ以上のソフトウェアアプリケーション等）および他のハードウェアおよびそのソフトウェアコンポーネントを呼び出し、ユーザが、仮想３Ｄ空間（例えば、プリズム）内のウェブページの表現のための３Ｄ配向を自由に調節することを可能にする。いくつかの実施形態では、２０６Ｋは、ウェブページが配向データを取得する（「ＧＥＴ」）と実行され、２０８Ｋは、ウェブページが配向データを決定する（「ＳＥＴ」）と実行される。
ユニバースブラウザエンジンは、いくつかの実施形態では、２１０Ｋにおいて、ブラウザエンジンからの配向データの受信に応じて、ウェブページのための配向データを更新する。ＳＥＴ要求が、新しい配向データのために受信される、いくつかの他の実施形態では、新しい配向データは、ブラウザエンジンのための非一過性コンピュータ可読媒体（例えば、キャッシュ）内に記憶されてもよく、さらに、ユニバースブラウザエンジンにパスされてもよい。ユニバースブラウザエンジンはさらに、配向データが更新されたかどうかを決定する。
例えば、ユーザによるウェブページ表現の任意の配向は、配向データを修正し得る。ユニバースブラウザエンジンが、配向データが変化したことを決定する場合、ユニバースブラウザエンジンは、２１２Ｋにおいて、配向データを更新し、配向データの最新バージョンをブラウザエンジンに送信してもよい。ブラウザエンジンは、次いで、ひいては、非一過性コンピュータ可読媒体（例えば、キャッシュ）内に記憶される配向データを、配向データの最新バージョンとともに記憶してもよい。
配向データの最新バージョンの受信に応じて、ブラウザエンジンはさらに、いくつかの実施形態では、ウェブページのコンテンツのグラフィカル座標を計算し、ウェブページのコンテンツをレンダリングしてもよい。ウェブページパネルは、次いで、少なくとも部分的に、配向データの最新バージョンに基づいて、平行移動、回転、スケーリング、または別様に変換されてもよい。ブラウザエンジンは、これらの実施形態では、次いで、２１４Ｋにおいて、次いで、レンダリングされたコンテンツをユニバースブラウザエンジンにパスしてもよく、これは、ひいては、複合現実システムの種々のソフトウェアおよびハードウェアモジュールを呼び出し、レンダリングされたコンテンツの表現を仮想３Ｄ空間内に生成し、レンダリングされたコンテンツの表現を、仮想３Ｄ空間内の平行移動、回転、スケーリング、または別様に変換されたウェブページパネル内でユーザに表示する。
いくつかの他の実施形態では、ブラウザエンジンは、ブラウザエンジンのキャッシュ内に記憶される配向データを用いて、ウェブページのコンテンツをレンダリングし、レンダリングされたコンテンツおよび配向データをユニバースブラウザエンジンに伝送する。ユニバースブラウザエンジンは、レンダリングされたコンテンツをソフトウェアオブジェクトとして取り扱い、ユーザが、ウェブページのレンダリングされたコンテンツの３Ｄ配向を調節することを可能にする。
いったんユーザが、ウェブページ表現の配向を決定すると、ユニバースブラウザエンジンは、配向データを更新し、例えば、変換およびレンダリングモジュールを呼び出し、ソフトウェアオブジェクトのためのウェブページの更新された表現を仮想３Ｄ空間内に生成し、ウェブページの更新された表現をユーザに提示する。これらの実施形態のうちのいくつかでは、複合現実システムは、ユーザが仮想３Ｄ空間内のウェブページの位置および／または回転を変化させる間、ユーザの操作とウェブページの表示との間に知覚可能な遅れを伴わずに、ほぼリアルタイム方式で、ウェブページを仮想３Ｄ空間内に表示し得る（２１４Ｋ）。
図２Ｌは、１つ以上の実施形態における、ユニバースブラウザプリズム内でソフトウェアオブジェクトを変換するための高レベルブロック図を図示する。ウェブページまたはウェブページパネルは、２０２Ｌにおいて、変換ツリー構造から識別され得る。変換ツリー構造は、複数のノードを有する、シーングラフを含んでもよく、各ノードは、プリズムに対応する、移動可能ローカル空間を提供する。プリズムはまた、部分的または全体的に、変換ツリー構造内のプリズムに関する階層構造に基づいて、１つ以上の変換を受けるべき変換ツリー構造内のノードであってもよい。
変換ツリー構造はまた、プリズムではない、ノードを含んでもよい。むしろ、これらのノードは、コンテンツをグループ化するために使用されてもよい、または中間変換（例えば、スケーリング、平行移動、回転等）として使用されてもよい。例えば、ノードのグループは、変換のセットが、１つのノードに適用されると、グループ内の残りのノードもまた、ノードとともに変換されるように、同一変換のセットを受け得る。
２０２Ｌにおいて識別されたウェブページの１つ以上の親が、２０４Ｌにおいて、変換ツリー構造から識別され得る。変換ツリー構造内のノードは、ゼロ以上の子ノードを有し得るが、最大で１つの親を有し得る。いくつかの実施形態では、プリズムは、対応する変換ツリー構造内にヌル親およびゼロ子を伴って、初期化されてもよい。本変換ツリー構造は、続いて、続いてプリズムの中にレンダリングされる、コンテンツに基づいて、より多くのノードとともに取り込まれてもよい。変換ツリー構造内の親ノードの子ノードは、親ノードが受ける、変換を継承する。
いくつかの実施形態では、変換ツリー構造内のルートノードは、ルートノード変換に対応し、これは、プリズムの変換に適用されると、ルートノード変換にローカルのノードの変換を更新することを要求しない。例えば、オーディオコンテンツを表すノードは、オーディオ信号が、プリズム内に制約され、プリズムが変換されるときでも、プリズムの外側から放出するように知覚されないように、ルートノード変換にローカルであってもよい。
いくつかの実施形態では、子ノードは、その親ノードを変化させ得るが、子ノードは、子ノードが、その親ノードの変化を開始するために、異なる変換のセットを受けるために所望または要求されない限り、変化後、その現在の位置または配向を変化させない。例えば、ユーザに面した子プリズムは、その親プリズムを新しい親プリズムに変化させ得る。それにもかかわらず、変化は、子プリズムが、変化後も、ユーザに面し続けるように、子プリズムの位置および回転を変化させない。
ユニバースブラウザエンジンが、２０６Ｌにおいて、ウェブページまたはウェブページパネルの配向データをブラウザエンジンから受信し得る。そのような配向データは、いくつかの実施形態では、単独で、またはいくつかの他の実施形態では、他のデータの一部として（例えば、ブラウザエンジンによってレンダリングされたウェブページの一部として）、直接、ブラウザエンジンから、配向データとして受信されてもよい。ユニバースブラウザエンジンは、ユーザが、ウェブページまたはそのパネルを操作（例えば、平行移動、回転、および／または変換）することを可能にするように、ウェブページの配向データをブラウザエンジンから受信する。
上記に説明されるように、ユニバースブラウザエンジンは、３Ｄ空間環境内の仮想コンテンツの作成、設置、および表示を管理するが、ユニバースブラウザエンジンは、いくつかの実施形態では、ブラウザエンジンが、そのような配向データをユニバースブラウザエンジンから要求することによって、さらに遅延を伴わずに、ウェブページからの配向要求に迅速に応答し得るように、配向データをブラウザエンジン内（例えば、ブラウザエンジンによってアクセス可能なキャッシュメモリ内）に記憶してもよい。いくつかの他の実施形態では、ユニバースブラウザエンジンはまた、配向データを、ユニバースブラウザエンジンによってアクセス可能な別の非一過性コンピュータ可読媒体内に記憶してもよく、配向データの２つのコピーは、配向データが変化する度に同期される。
ユニバースブラウザエンジンはさらに、２０８Ｌにおいて、ウェブページのための配向入力を受信し得る。例えば、ユーザは、ウェブページまたはそのパネルを平行移動、回転、および／または変換させ、したがって、ウェブページのための配向データのための入力を提供し得る。ユニバースブラウザエンジンは、２１０Ｌにおいて、少なくとも部分的に、２０８Ｌにおいて受信された配向入力に基づいて、ウェブページまたはその一部（例えば、ウェブページのための制御、サブパネル等）のための配向データを決定し得る。ウェブページまたはその一部（例えば、ウェブページのより小さい部分）は、別様に明示的に説明されない限り、本願では同義的に使用され得ることに留意されたい。
配向入力が、ウェブページ（またはそのパネル）の配向データを修正するため、ユニバースブラウザエンジンは、２１２Ｌにおいて、その配向データと、ブラウザエンジン内に記憶された対応するデータを同期させ得る。いくつかの実施形態では、ユニバースブラウザエンジンは、配向データ全体をブラウザエンジンと同期させる。いくつかの他の実施形態では、ユニバースブラウザエンジンは、その配向データに対する変化を追跡し、その独自の配向データとブラウザエンジン内の対応するデータとの間のデルタのみを同期させる。
ブラウザエンジンは、更新された配向データをユニバースブラウザエンジンから受信し、レンダリングされるべきコンテンツのグラフィカル座標を計算し、レンダラプロセス（例えば、ＢｌｉｎｋまたはＷｅｂＫｉｔのためのＲｅｎｄｅｒＷｉｄｇｅｔ）を呼び出すことによって、コンテンツをレンダリングする。ユニバースブラウザエンジンは、次いで、２１４Ｌにおいて、ブラウザエンジンおよび複合現実システムと連動して機能し、少なくともウェブページの配向データを使用して、レンダリングされたコンテンツをプリズム内に表示し得る。
図２Ｍは、いくつかの実施形態による、図２Ｌに図示されるブロック図の一部についてのさらなる詳細を図示する。より具体的には、図２Ｍは、２１０Ｌにおいて、部分的または全体的に、図２Ｌの２０８Ｌにおいて受信された配向入力に基づいて、ウェブページのための配向データを決定することについてのさらなる詳細を図示する。これらの実施形態では、変換のセットは、随意に、２０２Ｍにおいて、該当する場合、ウェブページの親に関して、識別され得る。いくつかの他の実施形態では、ブラウザエンジンは、配向データを識別し得、およびユニバースブラウザエンジンは、２０２Ｍにおいて、配向データを、ウェブページの親（またはその一部）の変換のセットを識別せずに、直接、配向データ単独の形態において、または他のデータ（例えば、レンダリングされたウェブページ）の一部としてのいずれかで、ブラウザエンジンから識別し得る。
変換のセットの変換特性が、２０４Ｍにおいて、部分的または全体的に、２０８Ｌにおいて受信された配向入力に基づいて、ウェブページのために識別され得る。変換特性は、例えば、ウェブページのための所望または要求される変換（例えば、ウェブページの開発者によって想定される、所望または要求される変換）、ウェブページを表すノードの親、ウェブページまたはその中にウェブページがレンダリングされるプリズムの挙動のタイプ、その中にウェブページがレンダリングされるプリズムの特性（例えば、範囲、衝突特性、重複／交点特性等）、またはそれらの任意の組み合わせを含んでもよい。
いくつかの実施形態では、配向入力は、変換ツリー構造内のウェブページを表す、ノードに関する親－子関係の変化を含んでもよい。例えば、配向入力は、ウェブページのためのノードの親を変化させ得る。一般に、親ノードに適用される変換のセットはまた、親ノードの子ノードにも適用される。いくつかの実施形態では、子ノードの親を変化させることは、必ずしも、子ノードに適用される変換を変化させるとは限らない。例えば、ウェブページが、追従頭部固定（または追従眼固定）タイプの挙動で提示される場合、ウェブページを表す子ノードの親を変化させることは、親ノードに適用される変換の親セットが、本タイプの挙動によってオーバライドされ得るため、ウェブページに適用される変換のセットを変化させない場合がある。
ウェブページのための配向入力が、２０６Ｍにおいて、識別され得る。例えば、ユーザは、２０６Ｍにおいて、ウェブページまたはそのパネルを平行移動、回転、および／または変換させ、したがって、ウェブページのための配向入力を提供し得る。上記に説明されるように、配向入力は、変換ツリー構造のノード構造の変化を含んでもよい。例えば、ウェブページを表すノードが、その親および／または子として、１つ以上のノードに追加される、またはそこから除去され得る。
ウェブページを表すノードの親を変化させることは、ウェブページを表すノードに適用される変換のセットを変化させる場合とそうではない場合がある。例えば、世界変換が、変換ツリー構造内の全てのノードに適用される、いくつかの実施形態では、ウェブページを表すノードの親を変化させることは、それにもかかわらず、ノードおよび変換ツリー構造内の他のノードに適用される、世界変換を変化させない場合がある。別の実施例として、ウェブページが、追従頭部固定挙動タイプに従って、ユーザに面して提示されるべき場合、本挙動タイプは、これらの１つ以上の他の変換が、ノードに適用されないように、追従頭部固定挙動タイプに干渉し得る、１つ以上の他の変換をオーバライドし得る。
ウェブページのための変換のセットが、２０８Ｍにおいて、少なくとも部分的に、例えば、配向入力、親のための変換のセット、または２０４Ｍにおいて識別されたウェブページのための変換特性のうちの１つ以上のものに基づいて、決定され得る。いくつかの実施形態では、変換ツリー構造内のウェブページを表すノードは、仮想３Ｄ空間内のウェブページ（またはそのパネル）の範囲、ウェブページのための１つ以上のローカル変換、ウェブページの回転を統制する３Ｄ回転行列、ローカル変換に対応するスケーリング係数、ウェブページの配向ベクトル（ウェブページの位置付けられるおよび／または配向を示す配向ベクトル）、１つ以上のローカル／世界変換、またはローカル／世界スケールのうちの１つ以上のものを含む、またはそれに対応してもよい。
ローカル変換は、変換ツリー構造内のウェブページを表すノードの親ノードに適用される、変換を含む。ウェブページを表すノードが、親ノードを有していない、いくつかの実施形態では、世界変換（一般的またはデフォルト空間から、その中にウェブページがレンダリングされる、ローカルプリズム）が、ローカル変換に割り当てられてもよい。ノードが、上記に説明される複数の要素（例えば、複数の変換）を含む、またはそれに対応する、いくつかの実施形態では、ローカル変換が、これらの複数の要素を連続的に適用することによって、決定されてもよい。
例えば、ウェブページのノードが、平行移動変換、スケーリング変換、および回転変換を受ける場合、ローカル変換は、以下の象徴的表現、すなわち、ローカル変換＝平行移動＊回転行列＊スケーリングであると決定され得る。本ローカル変換は、ウェブページに適用されると、スケーリング係数に従って、ウェブページをスケーリングし（例えば、３つの軸間の非均一スケーリングが、サポートされ得る）、回転行列に従って、スケーリングされたウェブページを回転させ、次いで、平行移動行列に従って、スケーリングされ、回転されたウェブページを移動させる。
いくつかの実施形態では、ＯｐｅｎＧＬ Ｍａｔｈｅｍａｔｉｃｓ（ＧＬＭ）が、ウェブページのための変換を遂行するために使用され得るが、他の数学ライブラリはまた、それを遂行するために使用されてもよい。以下の擬似コードは、ウェブページの変換を遂行するためのＧＬＭの使用を実証する。
Figure 2022526977000032
２０８Ｍにおいて決定されたウェブページのための変換のセットを用いることで、ウェブページ（またはそのパネル）のための配向データが、２１０Ｍにおいて、変換のセットをウェブページに適用することによって決定され得る。配向データを用いることで、ブラウザエンジンは、レンダリングされるべきコンテンツのグラフィカル座標を計算し、レンダラ（例えば、ＲｅｎｄｅｒＷｉｄｇｅｔまたは他のレンダラ）を呼び出し、コンテンツをレンダリングし得る。レンダリングされたコンテンツは、次いで、２１２Ｍにおいて、全体または部分的に、配向データに基づいて、プリズム内に表示され得る。
図２Ｎは、いくつかの実施形態における、例示的レンダリングプロセスおよび例示的ブラウザプロセスの簡略化された高レベルアーキテクチャアーキテクチャ略図を図示する。これらの実施形態では、レンダリングプロセス２０２Ｎは、ウェブページ２０４Ｎのインスタンスと、ウェブブラウザレンダラ２０６Ｎのインスタンスとを含む。ウェブブラウザレンダラは、いくつかの実施形態では、ウェブページパネルの現在の位置および／または回転データを、例えば、キャッシュメモリ内にキャッシュし得る。ウェブブラウザレンダラ２０６Ｎは、２１８Ｎにおいて、現在の位置および／または回転データをウェブページ２０４Ｎに返し得る。ウェブページはまた、２１６Ｎにおいて、位置および／または回転データをウェブブラウザレンダラ２０６Ｎから取得し得る。さらに、ウェブページはまた、２１４Ｎにおいて、ウェブブラウザレンダラ２０６Ｎのための位置および／または回転データを設定し得る。
ウェブブラウザレンダラ２０６Ｎは、ブラウザ２１０Ｍに動作可能に結合され、位置および／または回転を設定するために、通信（例えば、１つ以上のプロセス間通信またはＩＰＣメッセージ）をウェブブラウザ２１０Ｍに送信し得る。例えば、ウェブブラウザレンダラ２０６Ｎは、２２０Ｎにおいて、ウェブページパネルの３Ｄ位置を設定するために、ＦｒａｍｅＨｏｓｔＭｓｇ＿ＳｅｔＶｉｒｔｕａｌＰｏｓｉｔｉｏｎをブラウザエンジン２１０Ｎに送信し得、および／またはウェブページパネルの３Ｄ回転を設定するために、ＦｒａｍｅＨｏｓｔＭｓｇ＿ＳｅｔＶｉｒｔｕａｌＲｏｔａｔｉｏｎをブラウザエンジン２１０Ｎに送信し得る。さらに、ブラウザエンジン２１０Ｎはまた、ウェブページパネルの位置および／または回転データを更新するために、通信（例えば、１つ以上のプロセス間通信またはＩＰＣメッセージ）をウェブブラウザレンダラ２０６Ｎに送信し得る。例えば、ブラウザエンジン２１０ＮＮは、２２２Ｎにおいて、キャッシュされたウェブページパネルの３Ｄ位置を更新するために、ＶｉｅｗＭｓｇ＿ＵｐｄａｔｅＣａｃｈｅｄＶｉｒｔｕａｌＰｏｓｉｔｉｏｎをウェブブラウザレンダラ２０６Ｎに送信し得、および／またはキャッシュされたウェブページパネルの３Ｄ回転を更新するために、ＶｉｅｗＭｓｇ＿ＵｐｄａｔｅＣａｃｈｅｄＶｉｒｔｕａｌＲｏｔａｔｉｏｎをブラウザレンダラ２０６Ｎに送信し得る。
ブラウザエンジン２１０Ｎはまた、２２４Ｎにおいて、ユニバースブラウザエンジン２１２Ｎに動作可能に結合され、ウェブページパネルのための位置および／または回転データを設定し得る。ユニバースブラウザエンジン２１２Ｎはまた、２２６Ｎにおいて、ウェブページパネルの位置および／または回転データを初期化または更新し、ウェブページパネルの位置および／または回転データをブラウザエンジン２１０Ｎに通信し得る。例えば、ユーザは、ウェブページパネルの位置および／または回転を変化させてもよい。ウェブページのパネルの位置および／または回転のユーザ操作に応答して、ユニバースブラウザエンジン２１２Ｎは、２２６Ｎにおいて、ウェブページパネルの位置および／または回転データをブラウザエンジン２１０Ｎに送信し得る。別の実施例として、ユニバースブラウザエンジン２１２Ｎは、２２６Ｎにおいて、ある位置および回転データを用いて、ウェブページパネルを初期化し、本位置および回転データをブラウザエンジン２１０Ｎに通信し得る。
システムアーキテクチャ概要
図３は、その上に複合現実システムを用いて、３次元仮想空間内のウェブページおよびウェブリソースを管理および表示するための方法が、実装され得る、コンピュータ化されたシステムを図示する。コンピュータシステム３００は、プロセッサ３０７、システムメモリ３０８（例えば、ＲＡＭ）、静的記憶デバイス３０９（例えば、ＲＯＭ）、ディスクドライブ３１０（例えば、磁気または光学）、通信インターフェース３１４（例えば、モデムまたはＥｔｈｅｒｎｅｔ（登録商標）カード）、ディスプレイ３１１（例えば、ＣＲＴまたはＬＣＤ）、入力デバイス３１２（例えば、キーボード）、およびカーソル制御（図示せず）等の相互接続サブシステムおよびデバイスである、情報を通信するためのバス３０６または他の通信モジュールを含む。例証的コンピューティングシステム３００は、インターネットを介して、普遍的オンデマンドベースで、構成可能コンピュータ処理リソース（例えば、コンピュータネットワーク、サーバ、記憶装置、アプリケーション、サービス等）およびデータの共有プールを他のコンピュータおよびデバイスに提供する、インターネットベースのコンピューティングプラットフォームを含んでもよい。例えば、コンピューティングシステム３００は、いくつかの実施形態では、クラウドコンピューティングプラットフォームを含んでもよい、またはその一部であってもよい。
一実施形態によると、コンピュータシステム３００は、１つ以上のプロセッサまたはプロセッサコア３０７が、システムメモリ３０８内に含有される１つ以上の命令の１つ以上のシーケンスを実行することによって、具体的動作を実施する。そのような命令は、システムメモリ３０８の中に、静的記憶デバイス３０９またはディスクドライブ３１０等の別のコンピュータ可読／使用可能記憶媒体から読み取られてもよい。代替実施形態では、有線回路網が、本発明を実装するためのソフトウェア命令の代わりに、またはそれと組み合わせて、使用されてもよい。したがって、本発明の実施形態は、ハードウェア回路網および／またはソフトウェアの任意の具体的組み合わせに限定されない。一実施形態では、用語「論理」は、本発明の全部または一部を実装するために使用される、ソフトウェアまたはハードウェアの任意の組み合わせを意味するものとする。
先行段落に説明されるような種々のアクションまたはプロセスは、１つ以上のプロセッサ、１つ以上のプロセッサコア、またはそれらの組み合わせ３０７を使用することによって実施されてもよく、１つ以上のプロセッサ、１つ以上のプロセッサコア、またはそれらの組み合わせは、１つ以上のスレッドを実行する。例えば、決定、識別、同期、グラフィカル座標の計算、レンダリング、変換、平行移動、回転、ソフトウェアオブジェクトの生成、設置、割当、関連付け等の種々の行為は、１つ以上のプロセッサ、１つ以上のプロセッサコア、またはそれらの組み合わせによって実施されてもよい。
本明細書で使用されるような用語「コンピュータ可読記憶媒体」または「コンピュータ使用可能記憶媒体」は、実行のために、プロセッサ３０７に命令を提供することに関与する、任意の非一過性媒体を指す。そのような媒体は、限定ではないが、不揮発性媒体および揮発性媒体を含む、多くの形態をとり得る。不揮発性媒体は、例えば、ディスクドライブ３１０等の光学または磁気ディスクを含む。揮発性媒体は、システムメモリ３０８等の動的メモリを含む。一般的形態のコンピュータ可読記憶媒体は、例えば、電気機械的ディスクドライブ（フロッピー（登録商標）ディスク、フレキシブルディスク、またはハードディスク等）、フラッシュベース、ＲＡＭベース（ＳＲＡＭ、ＤＲＡＭ、ＳＤＲＡＭ、ＤＤＲ、ＭＲＡＭ等）、または任意の他のソリッドステートドライブ（ＳＳＤ）、磁気テープ、任意の他の磁気または磁気光学媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、孔のパターンを伴う任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、またはそこからコンピュータが読み取り得る、任意の他の媒体を含む。
本発明のある実施形態では、本発明を実践するための命令のシーケンスの実行は、単一コンピュータシステム３００によって実施される。他の実施形態によると、通信リンク３１５（例えば、ＬＡＮ、ＰＴＳＮ、または無線ネットワーク）によって結合される、２つ以上のコンピュータシステム３００が、相互に協調して、本発明を実践するための命令のシーケンスを実施してもよい。
コンピュータシステム３００は、プログラム（例えば、アプリケーションコード）を含む、メッセージ、データ、および命令を、通信リンク３１５および通信インターフェース３１４を通して、伝送および受信してもよい。受信されたプログラムコードは、受信されるにつれて、プロセッサ３０７によって実行され、および／または後の実行のために、ディスクドライブ３１０または他の不揮発性記憶装置内に記憶されてもよい。ある実施形態では、コンピュータシステム３００は、データ記憶システム３３１、例えば、コンピュータシステム３００によって容易にアクセス可能なデータベース３３２を含む、データ記憶システム３３１と連動する。コンピュータシステム３００は、データインターフェース３３３を通して、データ記憶システム３３１と通信する。バス３０６（例えば、メモリバス、システムバス、データバス等）に結合される、データインターフェース３３３は、種々のタイプの信号情報、例えば、命令、メッセージ、およびデータを表す、データストリームを含む、電気、電磁、または光学信号を伝送および受信する。本発明の実施形態では、データインターフェース３３３の機能は、通信インターフェース３１４によって実施されてもよい。
いくつかの実施形態は、メモリ内に記憶され、プロセッサによって実行されると、プロセッサに、行為のセットを実施させる、その上に記憶される命令のシーケンスを有する、非一過性コンピュータ可読媒体を対象とし、行為のセットは、ブラウザエンジンにおいて、ウェブページまたはそのためのウェブページパネルのための３次元（３Ｄ）変換のための入力を受信することと、入力に応答して、少なくとも、エクステンデッドリアリティシステムのマイクロプロセッサに結合される、ブラウザエンジンによって、少なくとも部分的に、ウェブページまたはそのためのウェブページパネルの３Ｄ変換に基づいて、ウェブページのための３Ｄ変換データを決定することであって、３Ｄ変換は、ウェブページまたはそのためのウェブページパネルの３Ｄ位置、回転、またはスケールの変化を備える、ことと、少なくとも、エクステンデッドリアリティシステムのブラウザエンジンに結合される、ユニバースブラウザエンジンによって、少なくとも部分的に、３Ｄ変換データに基づいて、ウェブページのコンテンツを仮想３Ｄ空間内に提示することとを含む。
これらの実施形態のうちのいくつかでは、行為のセットはさらに、ブラウザエンジンにおいて、仮想３Ｄ空間内に表示されるべきウェブページを識別することであって、仮想３Ｄ空間は、仮想３次元ボリュームを有する、ことと、ブラウザエンジンによって、３Ｄ変換データをブラウザエンジンによってアクセス可能な非一過性コンピュータ可読媒体内に記憶することと、ブラウザエンジンからの３Ｄ変換データをユニバースブラウザエンジンに伝送することとを含む。
すぐ上の実施形態のうちのいくつかでは、行為のセットはさらに、ブラウザエンジンからの３Ｄ変換データをユニバースブラウザエンジンに伝送することと、ユニバースブラウザエンジンにおいて、ウェブページまたはそのためのウェブページパネルの３Ｄ位置、回転、またはスケールの変化を受信することと、ユニバースブラウザエンジンによって、３Ｄ変換データを更新された３Ｄ変換データに更新し、ブラウザエンジンにアクセス可能な３Ｄ変換データと、更新された３Ｄ変換データを同期させることとを含む。
加えて、または代替として、行為のセットはさらに、ウェブページまたはウェブページをホストするウェブサイトから、ウェブページのための３Ｄ変換のための入力を受信することであって、ウェブページの境界は、仮想３Ｄ空間内で表示または抑制されるように構成可能である、ウェブブラウザアプリケーションインスタンスによって制約される、こと、ユーザから、ウェブページのための３Ｄ変換のための入力を受信することであって、ウェブページの境界は、仮想３Ｄ空間内で表示または抑制されるように構成可能である、ウェブブラウザによって制約される、こと、またはウェブページのコードから、ウェブページのための３Ｄ変換のための入力を識別することであって、ウェブページの開発者は、ブラウザエンジンによって表示されるべきウェブページの３Ｄ位置、回転、またはスケールを制約する、ことのうちの少なくとも１つを含む。
いくつかの実施形態では、行為のセットはさらに、ウェブページまたはそのためのウェブページパネルのための変換ツリー構造および変換ツリー構造内のノードを識別することと、ノードが変換ツリー構造内に親ノードを有するかどうかを決定することと、ブラウザエンジンから、ウェブページまたはウェブページパネルのための３Ｄ位置、回転、またはスケールデータを受信することと、ウェブページまたはウェブページパネルのための３Ｄ位置、回転、またはスケール入力をユニバースブラウザエンジンから受信することとを含む。
加えて、または代替として、行為のセットはさらに、ブラウザエンジンにおいて、ウェブページまたはウェブページパネルの３Ｄ位置、回転、またはスケールに関するデータをウェブサイトから受信することと、ブラウザエンジンからユニバースブラウザエンジンに、ウェブページまたはウェブページパネルの３Ｄ位置、回転、またはスケールに関するデータまたは３Ｄ変換データを伝送することとを含む。
すぐ上の実施形態のうちのいくつかでは、行為のセットはさらに、ユニバースブラウザエンジンにおいて、既存のプリズムを決定する、または新しいプリズムを仮想３Ｄ空間内に生成することと、ユニバースブラウザエンジンにおいて、データまたは３Ｄ変換データを更新された３Ｄ変換データに修正することと、ブラウザエンジンによって決定された３Ｄ変換データと更新された３Ｄ変換データを同期させることとを含む。
前述の明細書では、本発明は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広い精神および範囲から逸脱することなく、そこに行われてもよいことが、明白となるであろう。例えば、上記に説明されるプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本発明の範囲または動作に影響を及ぼすことなく、変更されてもよい。明細書および図面は、故に、限定的ではなく、例証的意味と見なされるべきである。

Claims (36)

  1. コンピュータ実装方法であって、
    ブラウザエンジンにおいて、ウェブページまたはそのためのウェブページパネルのための３次元（３Ｄ）変換のための入力を受信することと、
    少なくとも、エクステンデッドリアリティシステムのマイクロプロセッサに結合される前記ブラウザエンジンによって、前記入力に応答して、少なくとも部分的に、前記ウェブページまたはそのためのウェブページパネルの前記３Ｄ変換に基づいて、前記ウェブページのための３Ｄ変換データを決定することであって、前記３Ｄ変換は、前記ウェブページまたはそのためのウェブページパネルの３Ｄ位置、回転、またはスケールの変化を備える、ことと、
    少なくとも、前記エクステンデッドリアリティシステムのブラウザエンジンに結合されるユニバースブラウザエンジンによって、少なくとも部分的に、前記３Ｄ変換データに基づいて、前記ウェブページのコンテンツを仮想３Ｄ空間内に提示することと
    を含む、コンピュータ実装方法。
  2. 前記ブラウザエンジンにおいて、前記仮想３Ｄ空間内に表示されるべきウェブページを識別することであって、前記仮想３Ｄ空間は、仮想３次元ボリュームを有する、ことと、
    前記ブラウザエンジンによって、前記３Ｄ変換データを前記ブラウザエンジンによってアクセス可能な非一過性コンピュータ可読媒体内に記憶することと、
    前記ブラウザエンジンからの前記３Ｄ変換データを前記ユニバースブラウザエンジンに伝送することと
    をさらに含む、請求項１に記載のコンピュータ実装方法。
  3. 前記ウェブページまたは前記ウェブページをホストするウェブサイトから、前記ウェブページのための３Ｄ変換のための入力を受信することであって、前記ウェブページの境界は、前記仮想３Ｄ空間内で表示または抑制されるように構成可能であるウェブブラウザアプリケーションインスタンスによって制約される、こと、または
    ユーザから、前記ウェブページのための３Ｄ変換のための入力を受信することであって、前記ウェブページの境界は、前記仮想３Ｄ空間内で表示または抑制されるように構成可能である前記ウェブブラウザによって制約される、こと、または
    前記ウェブページのコードから、前記ウェブページのための３Ｄ変換のための入力を識別することであって、前記ウェブページの開発者は、前記ブラウザエンジンによって表示されるべき前記ウェブページの３Ｄ位置、回転、またはスケールを制約する、こと
    をさらに含む、請求項２に記載のコンピュータ実装方法。
  4. 前記ブラウザエンジンからの前記３Ｄ変換データを前記ユニバースブラウザエンジンに伝送することと、
    前記ユニバースブラウザエンジンにおいて、前記ウェブページまたはそのためのウェブページパネルの３Ｄ位置、回転、またはスケールの変化を受信することと
    をさらに含む、請求項２に記載のコンピュータ実装方法。
  5. 前記ブラウザエンジンにおいて、前記ウェブページまたは前記ウェブページパネルの３Ｄ位置、回転、またはスケールに関するデータをウェブサイトから受信することと、
    前記ブラウザエンジンから前記ユニバースブラウザエンジンに、前記ウェブページまたは前記ウェブページパネルの３Ｄ位置、回転、またはスケールに関するデータまたは３Ｄ変換データを伝送することと
    をさらに含む、請求項２に記載のコンピュータ実装方法。
  6. 前記ユニバースブラウザエンジンにおいて、既存のプリズムを決定するか、または新しいプリズムを前記仮想３Ｄ空間内に生成することと、
    前記ユニバースブラウザエンジンにおいて、前記データまたは前記３Ｄ変換データを更新された３Ｄ変換データに修正することと、
    前記ブラウザエンジンによって決定された前記３Ｄ変換データと前記更新された３Ｄ変換データとを同期させることと
    をさらに含む、請求項５に記載のコンピュータ実装方法。
  7. 前記ユニバースブラウザエンジンによって、少なくとも、前記３Ｄ変換データを更新された３Ｄ変換データに修正することによって、前記３Ｄ変換データを更新することと、
    前記ブラウザエンジンにアクセス可能である前記３Ｄ変換データと、前記ユニバースブラウザエンジンによって更新される前記更新された３Ｄ変換データとを同期させることと
    をさらに含む、請求項４に記載のコンピュータ実装方法。
  8. 部分的または全体的に、１つ以上の挙動タイプに基づいて、前記ウェブページまたは前記ウェブページパネルのために前記エクステンデッドリアリティシステムによって作成された前記仮想３Ｄ空間内に、３次元境界を有する仮想３次元ボリュームを識別または生成することと、
    前記ブラウザエンジンを初期化することと、
    前記ブラウザエンジンのための一意の識別子を決定することと、
    前記ブラウザエンジンのためのリスナインスタンスを前記ユニバースブラウザエンジンに登録することと
    をさらに含む、請求項１に記載のコンピュータ実装方法。
  9. 前記ユニバースブラウザエンジンによって、前記仮想３次元ボリュームと前記リスナインスタンスとを関連付けることと、
    前記仮想３次元ボリュームを前記ブラウザエンジンに割り当てることと、
    少なくとも、シーングラフ構造を、少なくとも、使用することによって、前記仮想３Ｄ空間内の仮想３次元ボリュームを位置付けることと
    をさらに含む、請求項８に記載のコンピュータ実装方法。
  10. 前記ウェブページのコンテンツへのユーザの関心を示す第１のユーザ入力を受信することと、
    前記第１のユーザ入力に応答して、少なくとも、前記コンテンツを生成するためのブラウザエンジンを実行することと、
    その中に前記コンテンツがレンダリングされるべき前記仮想３Ｄ空間内の仮想３次元ボリュームを決定することと
    をさらに含む、請求項１に記載のコンピュータ実装方法。
  11. 前記ウェブページまたはそのためのウェブページパネルのための３Ｄ変換を示す第２のユーザ入力を受信することと、
    少なくとも部分的に、前記第２のユーザ入力に基づいて、前記コンテンツを前記仮想３Ｄ空間内の仮想３次元ボリュームの中にレンダリングすることと
    をさらに含む、請求項１０に記載のコンピュータ実装方法。
  12. 前記ウェブページまたはそのためのウェブページパネルのための変換ツリー構造および前記変換ツリー構造内のノードを識別することと、
    前記ノードが前記変換ツリー構造内に親ノードを有するかどうかを決定することと、
    前記ブラウザエンジンから、前記ウェブページまたは前記ウェブページパネルのための３Ｄ変換データを受信することと、
    前記ウェブページまたは前記ウェブページパネルのための３Ｄ位置、回転、またはスケール入力を前記ユニバースブラウザエンジンから受信することと
    をさらに含む、請求項１に記載のコンピュータ実装方法。
  13. 前記ユニバースブラウザエンジンにおいて、少なくとも部分的に、前記３Ｄ位置、回転、またはスケール入力に基づいて、前記ウェブページまたはそのためのウェブページパネルのための更新された３Ｄ位置、回転、またはスケールを決定することと、
    前記ブラウザエンジンによってアクセス可能な前記３Ｄ位置、回転、またはスケールデータと、前記更新された３Ｄ位置、回転、またはスケールデータとを同期させることと
    をさらに含む、請求項１２に記載のコンピュータ実装方法。
  14. 前記更新された３Ｄ位置、回転、またはスケールデータを決定することは、
    前記ウェブページの親の１つ以上の変換を識別することと、
    少なくとも部分的に、前記３Ｄ位置、回転、またはスケール入力に基づいて、前記ウェブページのための１つ以上の変換特性を識別することと、
    前記ウェブページまたは前記ウェブページパネルのための３Ｄ位置、回転、またはスケール入力を識別することと
    を含む、請求項１３に記載のコンピュータ実装方法。
  15. 前記更新された３Ｄ位置または回転データを決定することは、
    少なくとも部分的に、前記３Ｄ位置、回転、またはスケール入力、前記ウェブページまたはそのためのウェブページパネルの親の１つ以上の変換、または前記ウェブページまたはそのためのウェブページパネルのための１つ以上の変換特性のうちの１つ以上のものに基づいて、前記ウェブページまたはそのためのウェブページパネルのための変換のセットを決定することと、
    変換のセットを前記ウェブページまたはそのためのウェブページパネルに適用することによって、前記更新された３Ｄ位置、回転、またはスケールデータを決定することと
    を含む、請求項９に記載のコンピュータ実装方法。
  16. 前記３Ｄ変換は、前記ウェブページまたはそのためのウェブページパネルの配向のみを修正することに限定される、請求項１に記載のコンピュータ実装方法。
  17. システムであって、
    少なくとも１つのプロセッサと、
    非一過性コンピュータアクセス可能記憶媒体であって、前記非一過性コンピュータアクセス可能記憶媒体は、プログラムコードをその上に記憶しており、前記プログラムコードは、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
    ブラウザエンジンにおいて、ウェブページのための３次元（３Ｄ）変換のための入力を受信することと、
    少なくとも、エクステンデッドリアリティシステムのマイクロプロセッサに結合される前記ブラウザエンジンによって、前記入力に応答して、少なくとも部分的に、前記ウェブページまたはそのためのウェブページパネルの前記３Ｄ変換に基づいて、前記ウェブページのための３Ｄ変換データを決定することであって、前記３Ｄ変換は、前記ウェブページまたはそのためのウェブページパネルの３Ｄ位置、回転、またはスケールの変化を備える、ことと、
    少なくとも、前記エクステンデッドリアリティシステムのブラウザエンジンに結合されるユニバースブラウザエンジンによって、少なくとも部分的に、前記３Ｄ変換データに基づいて、前記ウェブページのコンテンツを仮想３Ｄ空間内に提示することと
    を行わせる、非一過性コンピュータアクセス可能記憶媒体と
    を備える、システム。
  18. 前記少なくとも１つのプロセッサはさらに、少なくともさらに、
    前記ブラウザエンジンにおいて、前記仮想３次元（３Ｄ）空間内に表示されるべきウェブページを識別することであって、前記仮想３Ｄ空間は、仮想３次元ボリュームを有する、ことと、
    前記ブラウザエンジンによって、前記３Ｄ変換データを前記ブラウザエンジンによってアクセス可能な非一過性コンピュータ可読媒体内に記憶することと、
    前記ブラウザエンジンからの前記３Ｄ変換データを前記ユニバースブラウザエンジンに伝送することと
    を行わせるための前記プログラムコードを実行する、請求項１７に記載のシステム。
  19. 前記少なくとも１つのプロセッサはさらに、少なくともさらに、
    前記ウェブページまたは前記ウェブページをホストするウェブサイトから、前記ウェブページのための３Ｄ変換のための入力を受信することであって、前記ウェブページの境界は、前記仮想３Ｄ空間内で表示または抑制されるように構成可能であるウェブブラウザアプリケーションインスタンスによって制約される、こと、または
    ユーザから、前記ウェブページのための３Ｄ変換のための入力を受信することであって、前記ウェブページの境界は、前記仮想３Ｄ空間内で表示または抑制されるように構成可能である前記ウェブブラウザによって制約される、こと、または
    前記ウェブページのコードから、前記ウェブページのための３Ｄ変換のための入力を識別することであって、前記ウェブページの開発者は、前記ブラウザエンジンによって表示されるべき前記ウェブページの３Ｄ位置、回転、またはスケールを制約する、こと
    を行わせるための前記プログラムコードを実行する、請求項１８に記載のシステム。
  20. 前記少なくとも１つのプロセッサはさらに、少なくともさらに、
    前記ブラウザエンジンからの前記３Ｄ変換データを前記ユニバースブラウザエンジンに伝送することと、
    前記ユニバースブラウザエンジンにおいて、前記ウェブページまたはそのためのウェブページパネルの３Ｄ位置、回転、またはスケールの変化を受信することと
    を行わせるための前記プログラムコードを実行する、請求項１８に記載のシステム。
  21. 前記少なくとも１つのプロセッサはさらに、少なくともさらに、
    前記ブラウザエンジンにおいて、前記ウェブページまたは前記ウェブページパネルの３Ｄ位置、回転、またはスケールに関するデータをウェブサイトから受信することと、
    前記ブラウザエンジンから前記ユニバースブラウザエンジンに、前記ウェブページまたは前記ウェブページパネルの３Ｄ位置、回転、またはスケールに関するデータまたは３Ｄ変換データを伝送することと
    を行わせるための前記プログラムコードを実行する、請求項１８に記載のシステム。
  22. 前記少なくとも１つのプロセッサはさらに、少なくともさらに、
    前記ユニバースブラウザエンジンにおいて、既存のプリズムを決定し、または新しいプリズムを前記仮想３Ｄ空間内に生成することと、
    前記ユニバースブラウザエンジンにおいて、前記データまたは前記３Ｄ変換データを更新された３Ｄ変換データに修正することと、
    前記ブラウザエンジンによって決定された前記３Ｄ変換データと前記更新された３Ｄ変換データとを同期させることと
    を行わせるための前記プログラムコードを実行する、請求項２１に記載のシステム。
  23. 前記少なくとも１つのプロセッサはさらに、少なくともさらに、
    前記ユニバースブラウザエンジンによって、前記３Ｄ変換データを更新された３Ｄ変換データに更新することと、
    前記ブラウザエンジンにアクセス可能な前記３Ｄ変換データと、前記更新された３Ｄ変換データとを同期させることと
    を行わせるための前記プログラムコードを実行する、請求項２０に記載のシステム。
  24. 前記少なくとも１つのプロセッサはさらに、
    部分的または全体的に、１つ以上の挙動タイプに基づいて、前記ウェブページまたは前記ウェブページパネルのために前記エクステンデッドリアリティシステムによって作成された前記仮想３Ｄ空間内に、３次元境界を有する仮想３次元ボリュームを識別または生成することと、
    前記ブラウザエンジンを初期化することと、
    前記ブラウザエンジンのための一意の識別子を決定することと、
    前記ブラウザエンジンのためのリスナインスタンスを前記ユニバースブラウザエンジンに登録することと
    を行わせるための前記プログラムコードを実行する、請求項１８に記載のシステム。
  25. 前記少なくとも１つのプロセッサはさらに、
    前記ユニバースブラウザエンジンによって、前記仮想３次元ボリュームと前記リスナインスタンスとを関連付けることと、
    前記仮想３次元ボリュームを前記ブラウザエンジンに割り当てることと、
    少なくとも、シーングラフ構造を、少なくとも、使用することによって、前記仮想３次元ボリュームを前記仮想３Ｄ空間内に位置付けることと
    を行わせるための前記プログラムコードを実行する、請求項２４に記載のシステム。
  26. 前記少なくとも１つのプロセッサはさらに、
    前記ウェブページのコンテンツへのユーザの関心を示す第１のユーザ入力を受信することと、
    前記第１のユーザ入力に応答して、少なくとも、前記コンテンツを生成するためのブラウザエンジンを実行することと、
    その中に前記コンテンツがレンダリングされるべき前記仮想３Ｄ空間内の仮想３次元ボリュームを決定することと
    を行わせるための前記プログラムコードを実行する、請求項１８に記載のシステム。
  27. 前記少なくとも１つのプロセッサはさらに、
    前記ウェブページまたはそのためのウェブページパネルのための３Ｄ変換を示す第２のユーザ入力を受信することと、
    少なくとも部分的に、前記第２のユーザ入力に基づいて、前記コンテンツを前記仮想３Ｄ空間内の仮想３次元ボリュームの中にレンダリングすることと
    を行わせるための前記プログラムコードを実行する、請求項２６に記載のシステム。
  28. 前記少なくとも１つのプロセッサはさらに、
    前記ウェブページまたはそのためのウェブページパネルのための変換ツリー構造および前記変換ツリー構造内のノードを識別することと、
    前記ノードが前記変換ツリー構造内に親ノードを有するかどうかを決定することと、
    前記ブラウザエンジンから、前記ウェブページまたはそのためのウェブページパネルのための３Ｄ位置、回転、またはスケールデータを受信することと、
    前記ウェブページまたは前記ウェブページパネルのための３Ｄ位置、回転、またはスケール入力を前記ユニバースブラウザエンジンから受信することと
    を行わせるための前記プログラムコードを実行する、請求項１８に記載のシステム。
  29. 前記少なくとも１つのプロセッサはさらに、
    前記ユニバースブラウザエンジンにおいて、少なくとも部分的に、前記３Ｄ位置、回転、またはスケール入力に基づいて、前記ウェブページまたはそのためのウェブページパネルのための更新された３Ｄ位置、回転、またはスケールを決定することと、
    前記ブラウザエンジンによってアクセス可能な前記３Ｄ位置、回転、またはスケールデータと、前記更新された３Ｄ位置、回転、またはスケールデータとを同期させることと
    を行わせるための前記プログラムコードを実行する、請求項２８に記載のシステム。
  30. 前記少なくとも１つのプロセッサはさらに、
    前記ウェブページの親の１つ以上の変換を識別することと、
    少なくとも部分的に、前記３Ｄ位置、回転、またはスケール入力に基づいて、前記ウェブページのための１つ以上の変換特性を識別することと、
    前記ウェブページまたはそのためのウェブページパネルのための３Ｄ位置、回転、またはスケール入力を識別することと
    を行わせるための前記プログラムコードを実行する、請求項２９に記載のシステム。
  31. 前記少なくとも１つのプロセッサはさらに、
    少なくとも部分的に、前記３Ｄ位置、回転、またはスケール入力、前記ウェブページまたはそのためのウェブページパネルの親の１つ以上の変換、または前記ウェブページまたはそのためのウェブページパネルのための１つ以上の変換特性のうちの１つ以上のものに基づいて、前記ウェブページまたはそのためのウェブページパネルのための変換のセットを決定することと、
    少なくとも、変換のセットを前記ウェブページまたはそのためのウェブページパネルに適用することによって、前記更新された３Ｄ位置、回転、またはスケールデータを決定することと
    を行わせるための前記プログラムコードを実行する、請求項２９に記載のシステム。
  32. 前記３Ｄ変換は、前記ウェブページまたはそのためのウェブページパネルの配向のみを修正することに限定される、請求項１７に記載のシステム。
  33. エクステンデッドリアリティシステムであって、
    少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに結合されるブラウザエンジンと、
    前記少なくとも１つのプロセッサおよび前記ブラウザエンジンに結合されるユニバースブラウザエンジンと、
    非一過性コンピュータアクセス可能記憶媒体であって、前記非一過性コンピュータアクセス可能記憶媒体は、プログラムコードをその上に記憶しており、前記プログラムコードは、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
    前記ブラウザエンジンにおいて、ウェブサイトから、前記エクステンデッドリアリティシステム上へのウェブページの提示に関する１つ以上の要求を受信することと、
    前記ユニバースブラウザエンジンにおいて、前記エクステンデッドリアリティシステムによって提供される仮想３Ｄ空間内に表示されるべきウェブページまたはそのためのウェブページパネルの３Ｄ（３次元）変換を設定するための要求を受信することと、
    前記ユニバースブラウザエンジンにおいて、前記ウェブページまたは前記ウェブページパネルの前記３Ｄ変換を設定するための要求に応答して、３Ｄ変換データを決定することと
    を行わせる、非一過性コンピュータアクセス可能記憶媒体と
    を備える、エクステンデッドリアリティシステム。
  34. 前記非一過性コンピュータアクセス可能記憶媒体はさらに、前記少なくとも１つのプロセッサによって実行されると、さらに、前記少なくとも１つのプロセッサに、
    前記３Ｄ変換データを前記ユニバースブラウザエンジンと前記ブラウザエンジンとの間で同期させることと、
    前記ブラウザエンジンから、前記３Ｄ変換データの少なくとも一部を前記ウェブサイトに伝送することと
    を行わせる前記プログラムコードをその上に記憶する、請求項３４に記載のエクステンデッドリアリティシステム。
  35. 前記ブラウザエンジンはさらに、３Ｄ位置、回転、またはスケールデータを前記ウェブサイトから受信するように構成され、前記ユニバースブラウザエンジンはさらに、前記３Ｄ位置、回転、またはスケールデータ、または前記３Ｄ位置、回転、またはスケールデータを修正された３Ｄ位置、回転、またはスケールデータに修正する前記ブラウザエンジンからの修正された３Ｄ位置、回転、またはスケールデータを受信するように構成され、前記ユニバースブラウザエンジンはさらに、既存のプリズムを決定するか、または新しいプリズムを前記エクステンデッドリアリティシステムによって提供される前記仮想３Ｄ空間内に生成するように構成される、請求項３４に記載のエクステンデッドリアリティシステム。
  36. 前記１つ以上の要求は、前記ウェブページのための現在の３Ｄ位置、回転、またはスケールが、前記エクステンデッドリアリティシステムによってレンダリングおよび表示されるための第１の要求、または前記ウェブページのための異なる３Ｄ位置、回転、またはスケールが、前記エクステンデッドリアリティシステムによってレンダリングおよび表示されるように設定するための第２の要求を備える、請求項３４に記載のエクステンデッドリアリティシステム。
JP2021559089A 2019-04-03 2020-04-03 複合現実システムを用いて仮想３次元空間内のウェブページを管理および表示すること Active JP7440532B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024021089A JP2024059715A (ja) 2019-04-03 2024-02-15 複合現実システムを用いて仮想３次元空間内のウェブページを管理および表示すること

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962828917P 2019-04-03 2019-04-03
US62/828,917 2019-04-03
US202062976254P 2020-02-13 2020-02-13
US62/976,254 2020-02-13
PCT/US2020/026656 WO2020206313A1 (en) 2019-04-03 2020-04-03 Managing and displaying webpages in a virtual three-dimensional space with a mixed reality system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024021089A Division JP2024059715A (ja) 2019-04-03 2024-02-15 複合現実システムを用いて仮想３次元空間内のウェブページを管理および表示すること

Publications (3)

Publication Number Publication Date
JP2022526977A true JP2022526977A (ja) 2022-05-27
JPWO2020206313A5 JPWO2020206313A5 (ja) 2023-04-10
JP7440532B2 JP7440532B2 (ja) 2024-02-28

Family

ID=72662457

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021559089A Active JP7440532B2 (ja) 2019-04-03 2020-04-03 複合現実システムを用いて仮想３次元空間内のウェブページを管理および表示すること
JP2024021089A Pending JP2024059715A (ja) 2019-04-03 2024-02-15 複合現実システムを用いて仮想３次元空間内のウェブページを管理および表示すること

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024021089A Pending JP2024059715A (ja) 2019-04-03 2024-02-15 複合現実システムを用いて仮想３次元空間内のウェブページを管理および表示すること

Country Status (5)

Country Link
US (2) US11386623B2 (ja)
EP (1) EP3948747A4 (ja)
JP (2) JP7440532B2 (ja)
CN (1) CN113711174A (ja)
WO (1) WO2020206313A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US11151770B2 (en) * 2019-09-23 2021-10-19 Facebook Technologies, Llc Rendering images using declarative graphics server
US11095855B2 (en) * 2020-01-16 2021-08-17 Microsoft Technology Licensing, Llc Remote collaborations with volumetric space indications
US11645819B2 (en) 2021-03-11 2023-05-09 Quintar, Inc. Augmented reality system for viewing an event with mode based on crowd sourced images
US11657578B2 (en) 2021-03-11 2023-05-23 Quintar, Inc. Registration for augmented reality system for viewing an event
US11527047B2 (en) 2021-03-11 2022-12-13 Quintar, Inc. Augmented reality system for viewing an event with distributed computing
US12003806B2 (en) * 2021-03-11 2024-06-04 Quintar, Inc. Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
CN113791687B (zh) * 2021-09-15 2023-11-14 咪咕视讯科技有限公司 Vr场景中的交互方法、装置、计算设备及存储介质
WO2023102139A1 (en) * 2021-12-02 2023-06-08 Apple Inc. User interface modes for three-dimensional display
CN114237398B (zh) * 2021-12-16 2024-04-16 深圳须弥云图空间科技有限公司 基于虚幻引擎生成房间小地图的方法及装置、存储介质
US11836205B2 (en) * 2022-04-20 2023-12-05 Meta Platforms Technologies, Llc Artificial reality browser configured to trigger an immersive experience
US20230377279A1 (en) * 2022-05-19 2023-11-23 Disney Enterprises, Inc. Space and content matching for augmented and mixed reality
US11755180B1 (en) 2022-06-22 2023-09-12 Meta Platforms Technologies, Llc Browser enabled switching between virtual worlds in artificial reality
US20240071002A1 (en) * 2022-08-30 2024-02-29 Rovi Guides, Inc. Systems and methods for pinning content items to locations in an augmented reality display based on user preferences
CN115359154B (zh) * 2022-10-19 2023-01-24 成都华栖云科技有限公司 一种新型高效的html5网页动画帧精确合成方法及系统
US11935195B1 (en) * 2022-12-13 2024-03-19 Astrovirtual, Inc. Web browser derived content including real-time visualizations in a three-dimensional gaming environment
CN117608410B (zh) * 2024-01-17 2024-05-31 山东五纬数字科技有限公司 一种3d虚拟数字人的交互系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001142604A (ja) * 1999-09-22 2001-05-25 Xerox Corp オブジェクト検証方法及び拡張現実感ディスプレイシステム
US20170286385A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Ink in an Electronic Document
US20180144556A1 (en) * 2016-11-18 2018-05-24 Zspace, Inc. 3D User Interface - 360-degree Visualization of 2D Webpage Content
US20180225885A1 (en) * 2013-10-01 2018-08-09 Aaron Scott Dishno Zone-based three-dimensional (3d) browsing

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5923318A (en) 1996-04-12 1999-07-13 Zhai; Shumin Finger manipulatable 6 degree-of-freedom input device
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6629065B1 (en) 1998-09-30 2003-09-30 Wisconsin Alumni Research Foundation Methods and apparata for rapid computer-aided design of objects in virtual reality and other environments
US9208270B2 (en) 2000-08-02 2015-12-08 Comsol Ab System and method for establishing bidirectional links between multiphysics modeling and design systems
US7043695B2 (en) 2000-09-19 2006-05-09 Technion Research & Development Foundation Ltd. Object positioning and display in virtual environments
US7343278B2 (en) 2002-10-22 2008-03-11 Artoolworks, Inc. Tracking a surface in a 3-dimensional scene using natural visual features of the surface
US20070074125A1 (en) 2005-09-26 2007-03-29 Microsoft Corporation Preview information for web-browsing
US7595810B2 (en) 2006-03-22 2009-09-29 Apple Inc. Methods of manipulating a screen space of a display device
US20090028142A1 (en) 2007-07-25 2009-01-29 Schmidt Brian K Streaming data content in a network
US8245241B2 (en) 2007-10-02 2012-08-14 International Business Machines Corporation Arrangements for interactivity between a virtual universe and the world wide web
US10872322B2 (en) 2008-03-21 2020-12-22 Dressbot, Inc. System and method for collaborative shopping, business and entertainment
US20160077677A1 (en) 2008-05-20 2016-03-17 Israel Valdes Apparatus and method for user configurable content
US8924862B1 (en) 2008-09-05 2014-12-30 Cisco Technology, Inc. Optimizing desktop sharing for wireless clients during networked collaboration
KR101082487B1 (ko) 2010-01-29 2011-11-11 키위플 주식회사 객체 인식시스템 및 이를 이용하는 객체 인식 방법
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20120212484A1 (en) 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
US9069577B2 (en) 2010-11-23 2015-06-30 Apple Inc. Grouping and browsing open windows
KR20160084502A (ko) 2011-03-29 2016-07-13 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
US9354899B2 (en) 2011-04-18 2016-05-31 Google Inc. Simultaneous display of multiple applications using panels
WO2012160057A1 (en) 2011-05-23 2012-11-29 Lego A/S Generation of building instructions for construction element models
US8912979B1 (en) 2011-07-14 2014-12-16 Google Inc. Virtual window in head-mounted display
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9069455B2 (en) 2012-06-22 2015-06-30 Microsoft Technology Licensing, Llc 3D user interface for application entities
US20130342572A1 (en) 2012-06-26 2013-12-26 Adam G. Poulos Control of displayed content in virtual environments
US9292085B2 (en) 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
WO2014031899A1 (en) 2012-08-22 2014-02-27 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
US9461876B2 (en) * 2012-08-29 2016-10-04 Loci System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction
US9070194B2 (en) 2012-10-25 2015-06-30 Microsoft Technology Licensing, Llc Planar surface detection
US9407824B2 (en) 2012-11-01 2016-08-02 Google Inc. Multi-directional content capture on mobile devices
KR101984915B1 (ko) 2012-12-03 2019-09-03 삼성전자주식회사 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템
US9317972B2 (en) 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
AU2014204252B2 (en) 2013-01-03 2017-12-14 Meta View, Inc. Extramissive spatial imaging digital eye glass for virtual or augmediated vision
US20140200863A1 (en) 2013-01-11 2014-07-17 The Regents Of The University Of Michigan Monitoring proximity of objects at construction jobsites via three-dimensional virtuality in real-time
US20140225922A1 (en) 2013-02-11 2014-08-14 Rocco A. Sbardella System and method for an augmented reality software application
JP2014157466A (ja) 2013-02-15 2014-08-28 Sony Corp 情報処理装置及び記憶媒体
GB201303707D0 (en) 2013-03-01 2013-04-17 Tosas Bautista Martin System and method of interaction for mobile devices
IL308285A (en) 2013-03-11 2024-01-01 Magic Leap Inc System and method for augmentation and virtual reality
US20140267228A1 (en) 2013-03-14 2014-09-18 Microsoft Corporation Mapping augmented reality experience to various environments
NZ712192A (en) 2013-03-15 2018-11-30 Magic Leap Inc Display system and method
US20140282274A1 (en) 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a gesture performed with at least two control objects
US20150277699A1 (en) 2013-04-02 2015-10-01 Cherif Atia Algreatly Interaction method for optical head-mounted display
KR20140133361A (ko) 2013-05-10 2014-11-19 삼성전자주식회사 디스플레이 장치 및 그 ui 화면 제공 방법
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9129430B2 (en) 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
JP6147861B2 (ja) 2013-09-06 2017-06-14 株式会社マーズフラッグ 情報処理装置、検索サーバ、ウェブサーバ及びコンピュータプログラム
KR101512084B1 (ko) * 2013-11-15 2015-04-17 한국과학기술원 가상현실 기반의 3차원 웹 검색 인터페이스를 제공하는 웹 검색 시스템 및 그 제공 방법
US9411422B1 (en) 2013-12-13 2016-08-09 Audible, Inc. User interaction with content markers
US20150185825A1 (en) 2013-12-30 2015-07-02 Daqri, Llc Assigning a virtual user interface to a physical object
US20150206343A1 (en) 2014-01-17 2015-07-23 Nokia Corporation Method and apparatus for evaluating environmental structures for in-situ content augmentation
US9201578B2 (en) 2014-01-23 2015-12-01 Microsoft Technology Licensing, Llc Gaze swipe selection
KR102184402B1 (ko) 2014-03-06 2020-11-30 엘지전자 주식회사 글래스 타입의 이동 단말기
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20150302651A1 (en) 2014-04-18 2015-10-22 Sam Shpigelman System and method for augmented or virtual reality entertainment experience
US9361732B2 (en) 2014-05-01 2016-06-07 Microsoft Technology Licensing, Llc Transitions between body-locked and world-locked augmented reality
US10156967B2 (en) 2014-05-31 2018-12-18 Apple Inc. Device, method, and graphical user interface for tabbed and private browsing
US20160027214A1 (en) 2014-07-25 2016-01-28 Robert Memmott Mouse sharing between a desktop and a virtual world
US9734634B1 (en) * 2014-09-26 2017-08-15 A9.Com, Inc. Augmented reality product preview
US10726593B2 (en) 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
JP5767386B1 (ja) 2014-12-15 2015-08-19 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
US10335677B2 (en) * 2014-12-23 2019-07-02 Matthew Daniel Fuchs Augmented reality system with agent device for viewing persistent content and method of operation thereof
US20160300392A1 (en) 2015-04-10 2016-10-13 VR Global, Inc. Systems, media, and methods for providing improved virtual reality tours and associated analytics
WO2016176511A1 (en) * 2015-04-29 2016-11-03 Data Cocoon LLC Tessellated data visualization system
WO2016203792A1 (ja) 2015-06-15 2016-12-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN107924412B (zh) 2015-08-18 2022-04-12 三星电子株式会社 用于对网页加书签的方法和系统
US10057078B2 (en) 2015-08-21 2018-08-21 Samsung Electronics Company, Ltd. User-configurable interactive region monitoring
WO2017062289A1 (en) 2015-10-08 2017-04-13 Pcms Holdings, Inc. Methods and systems of automatic calibration for dynamic display configurations
KR102641655B1 (ko) 2015-10-20 2024-02-27 매직 립, 인코포레이티드 3차원 공간에서 가상 객체들 선택
US20170256096A1 (en) 2016-03-07 2017-09-07 Google Inc. Intelligent object sizing and placement in a augmented / virtual reality environment
US10373381B2 (en) 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
US10268266B2 (en) 2016-06-29 2019-04-23 Microsoft Technology Licensing, Llc Selection of objects in three-dimensional space
EP3479160A4 (en) 2016-06-30 2020-03-25 Magic Leap, Inc. ESTIMATE OF THE POSE IN A 3D SPACE
IL303843B2 (en) 2016-08-11 2024-06-01 Magic Leap Inc Automatic positioning of a virtual object in three-dimensional space
IL294635B2 (en) 2016-10-05 2024-02-01 Magic Leap Inc Surface modeling systems and methods
US11290572B2 (en) * 2016-11-07 2022-03-29 Constructive Labs System and method for facilitating sharing of virtual three-dimensional space
US10599823B2 (en) 2016-11-18 2020-03-24 Invensense, Inc. Systems and methods for coordinating applications with a user interface
US20180150204A1 (en) 2016-11-30 2018-05-31 Google Inc. Switching of active objects in an augmented and/or virtual reality environment
WO2018176006A1 (en) 2017-03-24 2018-09-27 Inmentis, Llc Social media system with navigable, artificial-intelligence-based graphical user interface and artificial-intelligence-driven search
US10304251B2 (en) 2017-06-15 2019-05-28 Microsoft Technology Licensing, Llc Virtually representing spaces and objects while maintaining physical properties
US10719870B2 (en) 2017-06-27 2020-07-21 Microsoft Technology Licensing, Llc Mixed reality world integration of holographic buttons in a mixed reality device
US20190005724A1 (en) 2017-06-30 2019-01-03 Microsoft Technology Licensing, Llc Presenting augmented reality display data in physical presentation environments
US10444975B2 (en) 2017-07-18 2019-10-15 Google Llc Graphical icon manipulation
US10803663B2 (en) 2017-08-02 2020-10-13 Google Llc Depth sensor aided estimation of virtual reality environment boundaries

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001142604A (ja) * 1999-09-22 2001-05-25 Xerox Corp オブジェクト検証方法及び拡張現実感ディスプレイシステム
US20180225885A1 (en) * 2013-10-01 2018-08-09 Aaron Scott Dishno Zone-based three-dimensional (3d) browsing
US20170286385A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Ink in an Electronic Document
US20180144556A1 (en) * 2016-11-18 2018-05-24 Zspace, Inc. 3D User Interface - 360-degree Visualization of 2D Webpage Content

Also Published As

Publication number Publication date
EP3948747A1 (en) 2022-02-09
EP3948747A4 (en) 2022-07-20
WO2020206313A1 (en) 2020-10-08
US11386623B2 (en) 2022-07-12
JP7440532B2 (ja) 2024-02-28
US20200320794A1 (en) 2020-10-08
JP2024059715A (ja) 2024-05-01
CN113711174A (zh) 2021-11-26
US20220292788A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
JP7440532B2 (ja) 複合現実システムを用いて仮想３次元空間内のウェブページを管理および表示すること
US11830151B2 (en) Methods and system for managing and displaying virtual content in a mixed reality system
US11875162B2 (en) Computer-generated reality platform for generating computer-generated reality environments
US11425220B2 (en) Methods, systems, and computer program products for implementing cross-platform mixed-reality applications with a scripting framework
US20230333864A1 (en) Management framework for mixed reality devices
US10306292B2 (en) Method and system for transitioning between a 2D video and 3D environment
JP2017526030A (ja) 仮想環境内の相互作用を提供するための方法とシステム
US20220276765A1 (en) Augment Orchestration in An Artificial Reality Environment
Barbera et al. A pipeline for the implementation of immersive experience in cultural heritage sites in sicily
Cho et al. LOTUS: composing a multi-user interactive tiled display virtual environment
US20240192973A1 (en) Artificial Reality Simulation for Augment Manipulation Controls on a Two-Dimensional Interface
US20240211092A1 (en) Systems and methods of virtualized systems on electronic devices
WO2024039782A1 (en) Url access to assets within an artificial reality universe on both 2d and artificial reality interfaces
Taylor et al. Creating Your App Using HoloToolkit

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230331

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230331

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240215

R150 Certificate of patent or registration of utility model

Ref document number: 7440532

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150