JP2023093763A - 空間的３ｄ環境に対するコンテンツのマッチング - Google Patents

空間的３ｄ環境に対するコンテンツのマッチング Download PDF

Info

Publication number
JP2023093763A
JP2023093763A JP2023076383A JP2023076383A JP2023093763A JP 2023093763 A JP2023093763 A JP 2023093763A JP 2023076383 A JP2023076383 A JP 2023076383A JP 2023076383 A JP2023076383 A JP 2023076383A JP 2023093763 A JP2023093763 A JP 2023093763A
Authority
JP
Japan
Prior art keywords
content
user
elements
environment
attributes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023076383A
Other languages
English (en)
Inventor
バストフ デニス
Bastov Denys
ング－ソウ－ヒン ビクター
Ng-Thow-Hing Victor
ザーロン ラインハート ベンジャミン
Zaaron Reinhardt Benjamin
ゾロタレフ レオニード
Zolotarev Leonid
ペレット ヤニック
Pellet Yannick
マルチェンコ アレクセイ
Marchenko Aleksei
エベレット ミーニー ブライアン
Everett Meaney Brian
コールマン シェルトン マーク
Coleman Shelton Marc
アン ゲイマン メーガン
Ann Geiman Megan
エー． ゴッチャー ジョン
A Gotcher John
ショーン ボーグ マシュー
Schon Bogue Matthew
バラスブラマニャム シヴァクマール
Balasubramanyam Shivakumar
エドワード ルーディガー ジェフリー
Edward Ruediger Jeffrey
チャールズ ルンドマーク デイビッド
Charles Lundmark David
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2023093763A publication Critical patent/JP2023093763A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2542—Management at additional data server, e.g. shopping server, rights management server for selling goods, e.g. TV shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

【課題】空間的３Ｄ環境に対するコンテンツのマッチングの提供。【解決手段】本開示は、コンテンツを空間的３Ｄ環境内に表示するためのシステムおよび方法に関する。コンテンツ要素を空間的に編成された３Ｄ環境内の表面にマッチングさせるためのシステムおよび方法。本方法は、コンテンツを受信するステップと、コンテンツ内の１つ以上の要素を識別するステップと、１つ以上の表面を決定するステップと、１つ以上の要素を１つ以上の表面にマッチングさせるステップと、１つ以上の要素を仮想コンテンツとして１つ以上の表面上に表示するステップとを含む。【選択図】図１１

Description

本開示は、コンテンツを空間的３Ｄ環境内に表示するためのシステムおよび方法に関する。
コンテンツを視認するための典型的方法は、コンテンツをディスプレイデバイスのディスプレイ画面（例えば、コンピュータ、スマートフォン、タブレット等のモニタ）上に表示するであろう、アプリケーションを開くことである。ユーザは、アプリケーションをナビゲートし、コンテンツを視認するであろう。通常、ユーザが、ディスプレイのディスプレイ画面を見ているとき、コンテンツがアプリケーション内およびディスプレイデバイスのディスプレイ画面上に表示される方法に関して、固定フォーマッティングが存在する。
仮想現実（ＶＲ）、拡張現実（ＡＲ）、および／または複合現実（ＭＲ）システム（以降、集合的に、「複合現実」システムと称される）を用いる場合、アプリケーションは、コンテンツを空間的３次元（３Ｄ）環境内に表示するであろう。コンテンツをディスプレイ画面上に表示するための従来のアプローチは、空間的３Ｄ環境において使用されるとき、あまり良好に作用しない。１つの理由は、従来のアプローチを用いる場合、ディスプレイデバイスのディスプレイエリアが、コンテンツが表示されるディスプレイ画面の画面エリアに限定された２Ｄ媒体であるためである。その結果、従来のアプローチは、コンテンツをディスプレイ画面の画面エリア内に編成および表示する方法のみを把握するように構成される。対照的に、空間的３Ｄ環境は、ディスプレイ画面の画面エリアの厳密な限局に限定されない。したがって、従来のアプローチは、従来のアプローチが、必ずしも、コンテンツを表示するための空間的３Ｄ環境を利用する機能性または能力を有しているわけではないため、空間的３Ｄ環境において使用されるとき、準最適に性能を発揮し得る。
したがって、コンテンツを空間的３Ｄ環境内に表示するための改良されたアプローチの必要性が存在する。
背景の節において議論される主題は、単に、背景の節におけるその記述の結果として、従来技術と仮定されるべきではない。同様に、背景の節において記述された、または背景の節の主題と関連付けられた問題および問題の原因の理解は、従来技術において以前に認識されていると仮定されるべきではない。背景の節における主題は、単に、それ自体もまた開示であり得る、異なるアプローチを表し得る。
本開示の実施形態は、情報を空間的に編成された３Ｄ環境内に表示するための改良された本システムおよび方法を提供する。本方法は、コンテンツを受信するステップと、コンテンツ内の要素を識別するステップと、周囲表面を決定するステップと、識別された要素を周囲表面にマッチングさせるステップと、要素を仮想コンテンツとして周囲表面上に表示するステップとを含む。本開示の付加的実施形態は、コンテンツを仮想現実または拡張現実システムのユーザにプッシュ配信するための改良された本システムおよび方法を提供する。
一実施形態では、本方法は、コンテンツを受信するステップを含む。本方法はまた、コンテンツ内の１つ以上の要素を識別するステップを含む。本方法はさらに、１つ以上の表面を決定するステップを含む。さらに、本方法は、１つ以上の要素を１つ以上の表面にマッチングさせるステップを含む。加えて、本方法は、１つ以上の要素を仮想コンテンツとして１つ以上の表面上に表示するステップを含む。
１つ以上の実施形態では、コンテンツは、プル配信コンテンツまたはプッシュ配信コンテンツのうちの少なくとも１つを含む。１つ以上の要素を識別するステップは、１つ以上の要素毎に、１つ以上の属性を決定するステップを含んでもよい。１つ以上の属性は、優先順位属性、配向属性、アスペクト比属性、寸法属性、面積属性、相対的視認位置属性、色属性、コントラスト属性、位置タイプ属性、マージン属性、コンテンツのタイプ属性、焦点属性、可読性インデックス属性、または設置するための表面のタイプ属性のうちの少なくとも１つを含む。１つ以上の要素毎に、１つ以上の属性を決定するステップは、コンテンツ内の明示的インジケーションに基づく。
１つ以上の実施形態では、１つ以上の要素毎に、１つ以上の属性を決定するステップは、コンテンツ内の１つ以上の要素の場所に基づく。本方法はさらに、１つ以上の要素を１つ以上の論理構造の中に記憶するステップを含む。１つ以上の論理構造は、順序付けられたアレイ、階層テーブル、ツリー構造、または論理グラフ構造のうちの少なくとも１つを含む。１つ以上の表面は、物理的表面または仮想表面のうちの少なくとも１つを含む。１つ以上の表面を決定するステップは、環境を解析し、１つ以上の表面のうちの少なくとも１つを決定するステップを含む。
１つ以上の実施形態では、１つ以上の表面を決定するステップは、未加工センサデータを受信するステップと、未加工センサデータを簡略化し、簡略化されたデータを生産するステップと、簡略化されたデータに基づいて、１つ以上の仮想表面を作成するステップとを含む。１つ以上の表面は、１つ以上の仮想表面を含む。未加工センサデータを簡略化するステップは、未加工センサデータをフィルタリングし、フィルタリングされたデータを生産するステップと、フィルタリングされたデータをポイントクラウド点別に１つ以上のグループの中にグループ化するステップとを含む。簡略化されたデータは、１つ以上のグループを含む。１つ以上の仮想表面を作成するステップは、１つ以上のグループのそれぞれを順に処理し、１つ以上の実世界表面を決定するステップと、１つ以上の実世界表面に基づいて、１つ以上の仮想表面を作成するステップとを含む。
１つ以上の実施形態では、１つ以上の表面を決定するステップは、１つ以上の表面毎に、１つ以上の属性を決定するステップを含む。１つ以上の属性は、優先順位属性、配向属性、アスペクト比属性、寸法属性、面積属性、相対的視認位置属性、色属性、コントラスト属性、位置タイプ属性、マージン属性、コンテンツのタイプ属性、焦点属性、可読性インデックス属性、または設置するための表面のタイプ属性のうちの少なくとも１つを含む。本方法はまた、１つ以上の表面を１つ以上の論理構造の中に記憶するステップを含む。１つ以上の要素を１つ以上の表面にマッチングさせるステップは、１つ以上の要素を優先順位化するステップと、１つ以上の要素の要素毎に、要素の１つ以上の属性と１つ以上の表面のそれぞれの１つ以上の属性を比較するステップと、要素の１つ以上の属性および１つ以上の表面のそれぞれの１つ以上の属性に基づいて、マッチングスコアを計算するステップと、最高マッチングスコアを有する最良マッチング表面を識別するステップとを含む。加えて、１つ以上の要素毎に、要素と最良マッチング表面との間の関連付けを記憶するステップを含む。
１つ以上の実施形態では、１つの要素は、１つ以上の表面にマッチングされる。さらに、１つ以上の表面の各表面をユーザに表示するステップを含む。加えて、表示される１つ以上の表面からの勝利表面を示すユーザ選択を受信するステップを含む。さらに、ユーザ選択から、勝利表面の表面属性をユーザ選好データ構造内に保存するステップを含む。コンテンツは、コンテンツプロバイダからデータストリーミングされる。１つ以上の要素は、複合現実デバイスを通して、ユーザに表示される。
１つ以上の実施形態では、本方法はさらに、少なくとも部分的に、ユーザの変化した視野に基づいて、１つ以上の要素を表示するための１つ以上の付加的表面オプションを表示するステップを含む。１つ以上の付加的表面オプションの表示は、少なくとも部分的に、変化した視野に対応する時間閾値に基づく。１つ以上の付加的表面オプションの表示は、少なくとも部分的に、頭部姿勢変化閾値に基づく。
１つ以上の実施形態では、本方法はまた、１つ以上の要素の表示をマッチングされていた１つ以上の表面上にオーバーライドするステップを含む。１つ以上の要素の表示を１つ以上の表面上にオーバーライドするステップは、少なくとも部分的に、履歴上頻繁に使用された表面に基づく。本方法はさらに、少なくとも部分的に、ユーザが異なる表面に移動されることになる１つ以上の表面に表示される特定の要素を選択することに基づいて、１つ以上の表面上に表示される１つ以上の要素を異なる表面に移動させるステップを含む。異なる表面に移動される特定の要素は、ユーザによって少なくとも視認可能である。
１つ以上の実施形態では、本方法は、加えて、第１の視野から第２の視野へのユーザの視野の変化に応答して、１つ以上の要素の表示を新しい表面上にゆっくりと移動させ、第２の視野へのユーザの視野変化に追従させるステップを含む。１つ以上の要素は、コンテンツをユーザの第２の視野の真正面に移動させることのユーザから受信された確認に応じてのみ、ユーザの第２の視野の真正面に移動し得る。本方法は、少なくとも部分的に、ユーザが第１の場所から第２の場所に移動することに基づいて、第１の場所における１つ以上の表面上への１つ以上の要素の表示を一時停止し、第２の場所における１つ以上の他の表面上への１つ以上の要素の表示を再開するステップを含む。１つ以上の要素の表示を一時停止するステップは、少なくとも部分的に、ユーザが第１の場所から第２の場所に移動中である、または移動したことの決定に基づいて、自動で行われる。１つ以上の要素の表示の再開は、少なくとも部分的に、１つ以上の他の表面の識別および第２の場所における１つ以上の要素とのマッチングに基づいて、自動で行われる。
１つ以上の実施形態では、１つ以上の表面を決定するステップは、１つ以上の要素を表示するために、１つ以上の仮想オブジェクトを識別するステップを含む。１つ以上の仮想オブジェクトを識別するステップは、少なくとも部分的に、好適な表面の欠如を示す、１つ以上のセンサから受信されたデータに基づく。１つ以上の要素の要素は、ＴＶチャンネルである。ユーザは、ユーザに表示される１つ以上のアイテムまたはサービスを購入することによって表示される１つ以上の要素の要素と相互作用する。
１つ以上の実施形態では、本方法はまた、第１の場所から第２の場所への環境の変化を検出するステップと、第２の場所における１つ以上の付加的表面を決定するステップと、第１の場所に現在表示されている１つ以上の要素を１つ以上の付加的表面にマッチングさせるステップと、１つ以上の要素を仮想コンテンツとして第２の場所における１つ以上の付加的表面上に表示するステップとを含む。１つ以上の付加的表面の決定は、環境の変化が時間的閾値を超えた後に開始される。ユーザは、第１の場所に表示されているアクティブコンテンツを一時停止し、アクティブコンテンツを第２の場所において表示されるように再開し、アクティブコンテンツは、ユーザが第１の場所におけるアクティブコンテンツを一時停止した場所と同一相互作用点において再開する。
１つ以上の実施形態では、本方法はまた、ユーザが第１の場所を離れるにつれて、第１の場所に表示されたコンテンツと関連付けられた場所からユーザに送達されている空間化オーディオをユーザの頭部の中心に指向されるオーディオ仮想スピーカに遷移させるステップと、ユーザの頭部の中心に指向されるオーディオ仮想スピーカから１つ以上の要素を第２の場所に表示する１つ以上の付加的表面からユーザに送達される空間化オーディオに遷移させるステップとを含む。
別の実施形態では、コンテンツを複合現実システムのユーザにプッシュ配信するための方法は、１つ以上の利用可能な表面をユーザの環境から受信するステップを含む。本方法はまた、１つの利用可能な表面の寸法にマッチングさせる１つ以上のコンテンツを１つ以上の利用可能な表面から識別するステップを含む。本方法はさらに、１つ以上のコンテンツの１つ以上の制約と１つの利用可能な表面の１つ以上の表面制約を比較することに基づいて、スコアを計算するステップを含む。さらに、本方法は、コンテンツを最高スコアを有する１つ以上のコンテンツから選択するステップを含む。さらに、本方法は、選択されたコンテンツと１つの利用可能な表面の１対１マッチングを記憶するステップを含む。さらに、利用可能な表面上において、ユーザに、選択されたコンテンツを表示するステップを含む。
１つ以上の実施形態では、ユーザの環境は、ユーザの個人宅である。ユーザの環境からの１つ以上の利用可能な表面は、ユーザの焦点ビューエリアの周辺である。１つ以上のコンテンツは、広告である。広告は、特定の環境に位置するユーザの特定のグループに標的化される。１つ以上のコンテンツは、アプリケーションからの通知である。アプリケーションは、ソーシャルメディアアプリケーションである。１つ以上のコンテンツの１つ以上の制約の制約のうちの１つは、配向である。選択されたコンテンツは、３Ｄコンテンツである。
別の実施形態では、拡張現実（ＡＲ）ディスプレイシステムは、１つ以上のセンサと、外向きに向いたカメラを備える、１つ以上のカメラとを含む、頭部搭載型システムを含む。本システムはまた、プログラムコード命令のセットを実行するためのプロセッサを含む。さらに、本システムは、プログラムコード命令のセットを保持するためのメモリであって、プログラムコード命令のセットは、コンテンツを受信するステップを実施するためのプログラムコードを備える、メモリを含む。プログラムコードはまた、コンテンツ内の１つ以上の要素を識別するステップを実施する。さらに、プログラムコードはまた、１つ以上の表面を決定するステップを実施する。加えて、プログラムコードはまた、１つ以上の要素を１つ以上の表面にマッチングさせるステップを実施する。さらに、プログラムコードはまた、１つ以上の要素を仮想コンテンツとして１つ以上の表面上に表示するステップを実施する。
１つ以上の実施形態では、コンテンツは、プル配信コンテンツまたはプッシュ配信コンテンツのうちの少なくとも１つを含む。１つ以上の要素を識別するステップは、コンテンツを解析し、１つ以上の要素を識別するステップを含む。１つ以上の要素を識別するステップは、１つ以上の要素毎に、１つ以上の属性を決定するステップを含む。加えて、プログラムコードはまた、１つ以上の要素を１つ以上の論理構造の中に記憶するステップを実施する。１つ以上の表面は、物理的表面または仮想表面のうちの少なくとも１つを含む。１つ以上の表面を決定するステップは、環境を解析し、１つ以上の表面のうちの少なくとも１つを決定するステップを含む。
１つ以上の実施形態では、１つ以上の表面を決定するステップは、未加工センサデータを受信するステップと、未加工センサデータを簡略化し、簡略化されたデータを生産するステップと、簡略化されたデータに基づいて、１つ以上の仮想表面を作成するステップとを含み、１つ以上の表面は、１つ以上の仮想表面を含む。１つ以上の表面を決定するステップは、１つ以上の表面毎に、１つ以上の属性を決定するステップを含む。加えて、プログラムコードはまた、１つ以上の表面を１つ以上の論理構造の中に記憶するステップを実施する。
１つ以上の実施形態では、１つ以上の要素を１つ以上の表面にマッチングさせるステップは、１つ以上の要素を優先順位化するステップと、１つ以上の要素の要素毎に、要素の１つ以上の属性と１つ以上の表面のそれぞれの１つ以上の属性を比較するステップと、要素の１つ以上の属性および１つ以上の表面のそれぞれの１つ以上の属性に基づいて、マッチングスコアを計算するステップと、最高マッチングスコアを有する最良マッチング表面を識別するステップとを含む。１つの要素は、１つ以上の表面にマッチングされる。コンテンツは、コンテンツプロバイダからデータストリーミングされる。
１つ以上の実施形態では、プログラムコードはまた、少なくとも部分的に、ユーザの変化した視野に基づいて、１つ以上の要素を表示するための１つ以上の表面オプションを表示するステップを実施する。プログラムコードはまた、１つ以上の要素の表示をマッチングされていた１つ以上の表面上にオーバーライドするステップを実施する。プログラムコードはまた、少なくとも部分的に、ユーザが異なる表面に移動されることになる１つ以上の表面に表示される特定の要素を選択することに基づいて、１つ以上の表面上に表示される１つ以上の要素を異なる表面に移動させるステップを実施する。プログラムコードはまた、第１の視野から第２の視野へのユーザの視野の変化に応答して、１つ以上の要素の表示を新しい表面上にゆっくりと移動させ、第２の視野へのユーザの視野変化に追従させるステップを実施する。
１つ以上の実施形態では、プログラムコードはまた、少なくとも部分的に、ユーザが第１の場所から第２の場所に移動することに基づいて、第１の場所における１つ以上の表面上への１つ以上の要素の表示を一時停止し、第２の場所における１つ以上の他の表面上への１つ以上の要素の表示を再開するステップを実施する。１つ以上の表面を決定するステップは、１つ以上の要素を表示するために、１つ以上の仮想オブジェクトを識別するステップを含む。１つ以上の要素の要素は、ＴＶチャンネルである。
１つ以上の実施形態では、ユーザは、ユーザに表示される１つ以上のアイテムまたはサービスを購入することによって表示される１つ以上の要素の要素と相互作用する。プログラムコードはまた、第１の場所から第２の場所への環境の変化を検出するステップと、第２の場所における１つ以上の付加的表面を決定するステップと、第１の場所に現在表示されている１つ以上の要素を１つ以上の付加的表面にマッチングさせるステップと、１つ以上の要素を仮想コンテンツとして第２の場所における１つ以上の付加的表面上に表示するステップとを実施する。
別の実施形態では、拡張現実（ＡＲ）ディスプレイシステムは、１つ以上のセンサと、外向きに向いたカメラを備える、１つ以上のカメラとを含む、頭部搭載型システムを含む。本システムはまた、プログラムコード命令のセットを実行するためのプロセッサを含む。本システムはさらに、プログラムコード命令のセットを保持するためのメモリであって、プログラムコード命令のセットは、１つ以上の利用可能な表面をユーザの環境から受信するステップを実施するためのプログラムコードを備える、メモリを含む。プログラムコードはまた、１つの利用可能な表面の寸法にマッチングさせる１つ以上のコンテンツを１つ以上の利用可能な表面から識別するステップを実施する。プログラムコードはさらに、１つ以上のコンテンツの１つ以上の制約と１つの利用可能な表面の１つ以上の表面制約を比較することに基づいて、スコアを計算するステップを実施する。プログラムコードは、加えて、コンテンツを最高スコアを有する１つ以上のコンテンツから選択するステップを実施する。さらに、プログラムコードは、選択されたコンテンツと１つの利用可能な表面の１対１マッチングを記憶するステップを実施する。プログラムコードはまた、利用可能な表面上において、ユーザに、選択されたコンテンツを表示するステップを実施する。
１つ以上の実施形態では、ユーザの環境は、ユーザの個人宅である。ユーザの環境からの１つ以上の利用可能な表面は、ユーザの焦点ビューエリアの周辺である。１つ以上のコンテンツは、広告である。１つ以上のコンテンツは、アプリケーションからの通知である。１つ以上のコンテンツの１つ以上の制約の制約のうちの１つは、配向である。選択されたコンテンツは、３Ｄコンテンツである。
別の実施形態では、２Ｄコンテンツを分解するためのコンピュータ実装方法は、コンテンツ内の１つ以上の要素を識別するステップを含む。本方法はまた、１つ以上の周囲表面を識別するステップを含む。本方法はさらに、１つ以上の要素を１つ以上の周囲表面にマッピングするステップを含む。さらに、本方法は、１つ以上の要素を仮想コンテンツとして１つ以上の表面上に表示するステップを含む。
１つ以上の実施形態では、コンテンツは、ウェブページである。１つ以上の要素の要素は、ビデオである。１つ以上の周囲表面は、物理的環境内の物理的表面または物理的環境内に物理的に位置しない仮想オブジェクトを含む。仮想オブジェクトは、マルチスタック仮想オブジェクトである。識別された１つ以上の要素の第１の結果のセットおよび識別された１つ以上の周囲表面の第２の結果のセットは、記憶デバイス内のデータベーステーブル内に記憶される。記憶デバイスは、ローカル記憶デバイスである。データベーステーブルは、表面ＩＤ、幅寸法、高さ寸法、配向記述、および基準フレームに対する位置を含む、識別された１つ以上の周囲表面の結果を記憶する。
１つ以上の実施形態では、コンテンツ内の１つ以上の要素を識別するステップは、属性を要素の場所に対応するタグから識別するステップと、ヒントを１つ以上の要素に関するタグから抽出するステップと、１つ以上の要素を記憶するステップとを含む。１つ以上の周囲表面を識別するステップは、ユーザの現在の周囲表面を識別するステップと、ユーザの姿勢を決定するステップと、周囲表面の寸法を識別するステップと、１つ以上の周囲表面を記憶するステップとを含む。１つ以上の要素を１つ以上の周囲表面にマッピングするステップは、マッピングのために、候補周囲表面を識別するための事前に定義されたルールをルックアップするステップと、１つ以上の要素毎に、最良適合表面を選定するステップとを含む。１つ以上の周囲表面上への１つ以上の要素の表示は、拡張現実デバイスによって実施される。
別の実施形態では、コンテンツのコンテンツ要素を空間的３周囲表面（３Ｄ）環境にマッチングさせる方法は、コンテンツ構造化プロセス、環境構造化プロセスおよび合成するプロセスを含む。
１つ以上の実施形態では、コンテンツ構造化プロセスが、コンテンツを読み取り、アクセス性のために、コンテンツを論理／階層構造の中に編成および／または記憶する。コンテンツ構造化プロセスは、コンテンツを受信するための解析器を含む。解析器は、受信されたコンテンツを解析し、コンテンツ要素を受信されたコンテンツから識別する。解析器は、属性を識別／決定し、コンテンツ要素毎に、論理／階層構造の中に記憶する。
１つ以上の実施形態では、環境構造化プロセスは、環境関連データを解析し、表面を識別する。環境構造化プロセスは、１つ以上のセンサ、コンピュータビジョン処理ユニット（ＣＶＰＵ）、知覚フレームワーク、および環境解析器を含む。１つ以上のセンサは、実世界表面に関する未加工データ（例えば、環境からのオブジェクトおよび構造のポイントクラウド）をＣＶＰＵに提供する。ＣＶＰＵは、未加工データを簡略化および／またはフィルタリングする。ＣＶＰＵは、下流プロセスによって表面を抽出／識別／決定するために、残りのデータを距離および平面性別にグループポイントクラウド点の中に改変する。知覚フレームワークは、グループポイントクラウド点をＣＶＰＵから受信し、環境データを環境解析器のために準備する。知覚フレームワークは、構造／表面／平面を作成／決定し、１つ以上のデータ記憶装置に取り込む。環境解析器は、知覚フレームワークからの環境データを解析し、環境内の表面を決定する。環境解析器は、オブジェクト認識を使用して、知覚フレームワークから受信された環境データに基づいて、オブジェクトを識別する。
１つ以上の実施形態では、合成プロセスが、解析器（例えば、論理構造内に記憶されるコンテンツ要素のテーブル）からのコンテンツ要素を環境解析器（例えば、論理構造内に記憶される表面のテーブル）からの環境からの表面とマッチングさせ、環境の表面上にレンダリング／マッピング／表示されるべきコンテンツ要素を決定する。合成プロセスは、マッチングモジュール、レンダリングモジュール、仮想オブジェクト作成モジュール、表示モジュール、および受信モジュールを含む。
１つ以上の実施形態では、マッチングモジュールは、論理構造内に記憶されるコンテンツ要素を論理構造内に記憶される表面とペアリング／マッチングさせる。マッチングモジュールは、コンテンツ要素の属性と表面の属性を比較する。マッチングモジュールは、類似および／または対向属性を共有するコンテンツ要素および表面に基づいて、コンテンツ要素を表面にマッチングさせる。マッチングモジュールは、ユーザ選好、システム選好、および／またはパス可能選好等の１つ以上の選好データ構造にアクセスしてもよく、１つ以上の選好データ構造をマッチングプロセスにおいて使用してもよい。マッチングモジュールは、少なくとも部分的に、コンテンツベクトル（例えば、配向属性）、頭部姿勢ベクトル（例えば、表面ではないＶＲ／ＡＲデバイスの属性）、または１つ以上の表面の面法線ベクトルのうちの少なくとも１つに基づいて、１つのコンテンツ要素を１つ以上の表面にマッチングさせる。結果は、さらなる処理のために、キャッシュメモリまたは持続的記憶装置内に記憶されてもよい。結果は、マッチングをインベントリ化するために、テーブル内に編成および記憶されてもよい。
１つ以上の実施形態では、随意の仮想オブジェクト作成モジュールが、コンテンツ要素を表示するために仮想オブジェクトを作成することが最適選択肢であることの決定に基づいて、コンテンツ要素を表示するために仮想オブジェクトを作成し、仮想オブジェクトは、仮想平面表面である。コンテンツ要素を表示するために仮想オブジェクトを作成するステップは、特定のセンサまたは複数のセンサのセンサから受信されたデータまたは特定のセンサまたは複数のセンサからのセンサ入力の欠如に基づいてもよい。複数のセンサ（カメラまたは深度センサ等）の環境中心センサから受信されたデータは、ユーザの現在の物理的環境に基づいて、好適な表面の欠如を示す、またはそのようなセンサは、表面の存在を全く決定することができない。
１つ以上の実施形態では、レンダリングモジュールが、コンテンツ要素を個別のマッチングされた表面にレンダリングし、マッチングされた表面は、実表面および／または仮想表面を含む。レンダリングモジュールは、コンテンツ要素を正確な縮尺でレンダリングし、マッチングされた表面に適合させる。第１の部屋内で表面（実および／または仮想）にマッチングされたコンテンツ要素は、ユーザが第１の部屋から第２の部屋に移動するときでも、第１の部屋内の表面にマッチングされたままである。第１の部屋内の表面にマッチングされたコンテンツ要素は、第２の部屋内の表面にマッピングされない。ユーザが第１の部屋に戻るにつれて、第１の部屋内の表面にレンダリングされるコンテンツ要素は、表示を再開し、オーディオ再生および／または再生時間等の他の特徴は、ユーザが部屋から退出しなかった場合と同様に、再生をシームレスに再開するであろう。
１つ以上の実施形態では、第１の部屋内の表面にマッチングされたコンテンツ要素は、ユーザが、第１の部屋から退出し、第２の部屋に入室すると、第２の部屋内の表面にマッチングされる。第１の部屋内の表面にマッチングされた第１のセットのコンテンツ要素は、第１の部屋内の表面にマッチングされたままである一方、第１の部屋内の表面にマッチングされた第２のセットのコンテンツ要素は、ＡＲシステムを実装するデバイスとともに、第２の部屋に移動してもよい。第２のセットのコンテンツ要素は、デバイスが第１の部屋から第２の部屋に進むにつれて、デバイスとともに移動する。コンテンツ要素が第１のセットまたは第２のセット内にあるかどうかを決定するステップは、少なくとも部分的に、コンテンツ要素の属性、コンテンツ要素がマッチングされる、第１の部屋内の１つ以上の表面の属性、ユーザ選好、システム選好、および／またはパス可能世界選好のうちの少なくとも１つに基づく。コンテンツ要素は、ユーザが表面の近接度内に存在しないとき、またはユーザが表面の視界内に存在しないとき、ある表面にマッチングされてもよいが、その表面にレンダリングされない。
いくつかの実施形態では、コンテンツ要素は、一度に上位３つの表面全ての上に表示される。ユーザは、表面を上位３つの表面から好ましい表面として選択してもよい。コンテンツ要素は、コンテンツ要素が２つの他の表面上に表示され得ることのユーザへのインジケーションとともに、一度に上位３つの表面の１つのみ上に表示される。ユーザは、次いで、他の表面オプションを通してナビゲートしてもよく、各表面オプションがユーザによってアクティブ化されるにつれて、コンテンツ要素は、アクティブ化される表面上に表示されてもよい。ユーザは、次いで、表面を表面オプションから好ましい表面として選択してもよい。
いくつかの実施形態では、ユーザは、トーテムを用いてチャンネルを標的化し、トーテム上のトリガを押下し、チャンネルを選択し、トリガをある時間周期（例えば、約１秒）にわたって保持し、トーテムを移動させ、抽出されたＴＶチャンネルを表示するための環境内の所望の場所を識別し、トリガをトーテム上で押下し、抽出されたＴＶチャンネルを環境内の所望の場所に設置することによって、テレビのためのチャンネルを抽出する。所望の場所は、ＴＶチャンネルを表示するために好適な表面である。プリズムが、プリズム内にロードおよび表示される選択されたチャンネルコンテンツとともに、所望の場所に作成される。トーテムを移動させ、抽出されたＴＶチャンネルを表示するための環境内の所望の場所を識別する間、映像が、ユーザに表示される。映像は、チャンネルを例証する単一画像、チャンネルのプレビューを例証する１つ以上の画像、またはチャンネルの現在のコンテンツを例証するビデオストリームのうちの少なくとも１つであってもよい。
いくつかの実施形態では、方法は、ユーザの第１の視野を識別するステップと、コンテンツを表示するための１つ以上の表面オプションを生成するステップと、ユーザの第１の視野から第２の視野に変化させるステップと、第２の視野に対応するコンテンツを表示するための１つ以上の付加的表面オプションを生成するステップ、第１の視野に対応する１つ以上の表面オプションおよび第２の視野に対応する１つ以上の付加的表面オプションを提示するステップ、ユーザが第２の視野内で見ている間、第１の視野に対応する表面上にコンテンツを表示するためのユーザからの選択を受信するステップと、インジケーションを第１の視野の方向に表示し、ユーザが選択された表面オプションを視認するために第１の視野に戻るように示される方向をナビゲートすべきであることをユーザに示すステップとを含む。
いくつかの実施形態では、方法は、コンテンツをユーザの第１の視野内の第１の表面上に表示するステップを含み、第１の視野は、第１の頭部姿勢に対応する。本方法はまた、時間閾値を超える時間周期にわたって、第１の視野から第２の視野への変化を決定するステップと、ユーザがコンテンツの表示場所を第１の視野内の第１の表面から第２の視野内の１つ以上の表面オプションに変化させるためのオプションを表示するステップとを含む。第２の視野は、第２の頭部姿勢に対応する。いくつかの実施形態では、システムは、いったんユーザの視野が第１の視野から第２の視野に変化すると、ユーザがコンテンツの表示場所を変化させるためのオプションを直ちに表示する。位置の変化を有する、第１の頭部姿勢および第２の頭部姿勢は、頭部姿勢変化閾値を上回る。
いくつかの実施形態では、方法は、コンテンツを１つ以上の第１の表面上にレンダリングおよび表示するステップを含み、コンテンツを視認するユーザは、第１の頭部姿勢を有する。本方法はまた、ユーザが第１の頭部姿勢から第２の頭部姿勢に変化させたことに応答して、コンテンツを１つ以上の第２の表面上にレンダリングするステップを含み、コンテンツを視認するユーザは、第２の頭部姿勢を有する。本方法はさらに、ユーザに、コンテンツの表示場所を１つ以上の第１の表面から１つ以上の第２の表面に変化させるためのオプションを提供するステップを含む。頭部姿勢変化が対応する頭部姿勢変化閾値を上回るとき、ユーザに、表示場所を変化させるためのオプションが提供される。頭部姿勢変化閾値は、９０度を上回る。頭部姿勢変化は、閾値を上回る時間周期にわたって維持される。頭部姿勢変化は、頭部姿勢変化閾値未満であるとき、コンテンツの表示場所を変化させるためのオプションは、提供されない。
いくつかの実施形態では、方法は、ユーザが第１の場所から第２の場所に移動するにつれて、ユーザによって視認可能な表面のリストを評価するステップを含み、表面のリストは、ユーザがコンテンツを検索または選択する必要なく、ユーザの環境の中にプッシュ配信され得る、あるコンテンツのタイプを表示するために適している。本方法はまた、あるタイプのプッシュ配信コンテンツが表示され得る時間および場所を示す、ユーザの選好属性を決定するステップを含む。本方法はさらに、選好属性に基づいて、プッシュ配信コンテンツを１つ以上の表面上に表示するステップを含む。
別の実施形態では、コンテンツを拡張現実システムのユーザにプッシュ配信するための方法は、１つ以上の表面の属性に対応する、１つ以上の表面を決定するステップを含む。本方法はまた、少なくとも部分的に、１つの表面属性に基づいて、１つ以上の表面にマッチングする、１つ以上のコンテンツ要素を受信するステップを含む。本方法はさらに、少なくとも部分的に、コンテンツ要素の属性が１つ以上の表面の属性にマッチングする程度に基づいて、マッチングスコアを計算するステップを含み、マッチングスコアは、１～１００のスケールに基づき、１００のスコアは、最高スコアであって、１のスコアは、最低スコアである。本方法は、加えて、コンテンツ要素を最高マッチングスコアを有する１つ以上のコンテンツ要素から選択するステップを含む。さらに、本方法は、コンテンツ要素と表面のマッチングを記憶するステップを含む。加えて、本方法は、コンテンツ要素をマッチングされた表面上にレンダリングするステップを含む。
１つ以上の実施形態では、コンテンツ要素は、通知を含み、マッチングスコアは、特定の表面とのマッチングとは対照的に、通知される必要があるコンテンツ要素の優先順位を示し得る属性に基づいて計算される。好ましいコンテンツ要素を選択するステップは、競合をコンテンツ要素の属性が表面の属性にマッチングする程度に基づかせるものである。コンテンツ要素は、コンテンツタイプに基づいて選択され、コンテンツタイプは、３Ｄコンテンツおよび／またはソーシャルメディアコンタクトからの通知である。
いくつかの実施形態では、ウェブリンクのための３Ｄプレビューを生成するための方法は、ウェブリンクのための３Ｄプレビューを新しいＨＴＭＬタグおよびウェブページに関連付けられたプロパティのセットとして表すステップを含む。本方法はまた、３Ｄモデルをオブジェクトおよび／または表面として規定し、３Ｄプレビューをレンダリングするステップを含む。本方法はさらに、３Ｄプレビューを生成し、３Ｄプレビューを３Ｄモデル上にロードするステップを含む。３Ｄモデルは、２Ｄウェブページの中にエッチングされる３Ｄボリュームである。
本明細書に説明および図示される個々の実施形態はそれぞれ、他のいくつかの実施形態のいずれかのコンポーネントおよび特徴から容易に分離される、またはそれと組み合わせられ得る、離散コンポーネントおよび特徴を有する。
本発明は、例えば、以下を提供する。
（項目１）
方法であって、
コンテンツを受信することと、
前記コンテンツ内の１つ以上の要素を識別することと、
１つ以上の表面を決定することと、
前記１つ以上の要素を前記１つ以上の表面にマッチングさせることと、
前記１つ以上の要素を仮想コンテンツとして前記１つ以上の表面上に表示することと
を含む、方法。
（項目２）
前記コンテンツは、プル配信コンテンツまたはプッシュ配信コンテンツのうちの少なくとも１つを含む、項目１に記載の方法。
（項目３）
前記１つ以上の要素を識別することは、前記コンテンツを解析し、前記１つ以上の要素を識別することを含む、項目１に記載の方法。
（項目４）
前記１つ以上の要素を識別することは、前記１つ以上の要素毎に、１つ以上の属性を決定することを含む、項目１に記載の方法。
（項目５）
前記１つ以上の属性は、優先順位属性、配向属性、アスペクト比属性、寸法属性、面積属性、相対的視認位置属性、色属性、コントラスト属性、位置タイプ属性、マージン属性、コンテンツのタイプ属性、焦点属性、可読性インデックス属性、または設置するための表面のタイプ属性のうちの少なくとも１つを含む、項目４に記載の方法。
（項目６）
前記１つ以上の要素毎に、前記１つ以上の属性を決定することは、前記コンテンツ内の明示的インジケーションに基づく、項目４に記載の方法。
（項目７）
前記１つ以上の要素毎に、前記１つ以上の属性を決定することは、前記コンテンツ内の前記１つ以上の要素の場所に基づく、項目４に記載の方法。
（項目８）
前記１つ以上の要素を１つ以上の論理構造の中に記憶することをさらに含む、項目１に記載の方法。
（項目９）
前記１つ以上の論理構造は、順序付けられたアレイ、階層テーブル、ツリー構造、または論理グラフ構造のうちの少なくとも１つを含む、項目８に記載の方法。
（項目１０）
前記１つ以上の表面は、物理的表面または仮想表面のうちの少なくとも１つを含む、項目１に記載の方法。
（項目１１）
前記１つ以上の表面を決定することは、環境を解析し、前記１つ以上の表面のうちの少なくとも１つを決定することを含む、項目１に記載の方法。
（項目１２）
前記１つ以上の表面を決定することは、
未加工センサデータを受信することと、
前記未加工センサデータを簡略化し、簡略化されたデータを生産することと、
前記簡略化されたデータに基づいて、１つ以上の仮想表面を作成することと
を含み、
前記１つ以上の表面は、前記１つ以上の仮想表面を含む、項目１に記載の方法。
（項目１３）
前記未加工センサデータを簡略化することは、
前記未加工センサデータをフィルタリングし、フィルタリングされたデータを生産することと、
前記フィルタリングされたデータをポイントクラウド点別に１つ以上のグループの中にグループ化することと
を含み、
前記簡略化されたデータは、前記１つ以上のグループを含む、項目１２に記載の方法。（項目１４）
前記１つ以上の仮想表面を作成することは、
前記１つ以上のグループのそれぞれを順に処理し、１つ以上の実世界表面を決定することと、
前記１つ以上の実世界表面に基づいて、前記１つ以上の仮想表面を作成することと
を含む、項目１３に記載の方法。
（項目１５）
前記１つ以上の表面を決定することは、前記１つ以上の表面毎に、１つ以上の属性を決定することを含む、項目１に記載の方法。
（項目１６）
前記１つ以上の属性は、優先順位属性、配向属性、アスペクト比属性、寸法属性、面積属性、相対的視認位置属性、色属性、コントラスト属性、位置タイプ属性、マージン属性、コンテンツのタイプ属性、焦点属性、可読性インデックス属性、または設置するための表面のタイプ属性のうちの少なくとも１つを含む、項目１５に記載の方法。
（項目１７）
前記１つ以上の表面を１つ以上の論理構造の中に記憶することをさらに含む、項目１に記載の方法。
（項目１８）
前記１つ以上の要素を前記１つ以上の表面にマッチングさせることは、
前記１つ以上の要素を優先順位化することと、
前記１つ以上の要素の要素毎に、
前記要素の１つ以上の属性と前記１つ以上の表面のそれぞれの１つ以上の属性を比較することと、
前記要素の１つ以上の属性および前記１つ以上の表面のそれぞれの１つ以上の属性に基づいて、マッチングスコアを計算することと、
最高マッチングスコアを有する最良マッチング表面を識別することと
を含む、項目１に記載の方法。
（項目１９）
前記１つ以上の要素毎に、
前記要素と前記最良マッチング表面との間の関連付けを記憶することをさらに含む、項目１８に記載の方法。
（項目２０）
１つの要素は、１つ以上の表面にマッチングされる、項目１に記載の方法。
（項目２１）
前記１つ以上の表面の各表面をユーザに表示することと、
表示される前記１つ以上の表面からの勝利表面を示すユーザ選択を受信することと、
前記ユーザ選択から、前記勝利表面の表面属性をユーザ選好データ構造内に保存することと
をさらに含む、項目２０に記載の方法。
（項目２２）
前記コンテンツは、コンテンツプロバイダからデータストリーミングされる、項目１に記載の方法。
（項目２３）
前記１つ以上の要素は、複合現実デバイスを通して、ユーザに表示される、項目１に記載の方法。
（項目２４）
少なくとも部分的に、ユーザの変化した視野に基づいて、前記１つ以上の要素を表示するための１つ以上の付加的表面オプションを表示することをさらに含む、項目１に記載の方法。
（項目２５）
前記１つ以上の付加的表面オプションの表示は、少なくとも部分的に、前記変化した視野に対応する時間閾値に基づく、項目２４に記載の方法。
（項目２６）
前記１つ以上の付加的表面オプションの表示は、少なくとも部分的に、頭部姿勢変化閾値に基づく、項目２４に記載の方法。
（項目２７）
前記１つ以上の要素の表示をマッチングされていた前記１つ以上の表面上にオーバーライドすることをさらに含む、項目１に記載の方法。
（項目２８）
前記１つ以上の要素の表示を前記１つ以上の表面上にオーバーライドすることは、少なくとも部分的に、履歴上頻繁に使用された表面に基づく、項目２７に記載の方法。
（項目２９）
少なくとも部分的に、ユーザが異なる表面に移動されることになる前記１つ以上の表面に表示される特定の要素を選択することに基づいて、前記１つ以上の表面上に表示される前記１つ以上の要素を異なる表面に移動させることをさらに含む、項目１に記載の方法。（項目３０）
前記異なる表面に移動される特定の要素は、ユーザによって少なくとも視認可能である、項目２９に記載の方法。
（項目３１）
第１の視野から第２の視野へのユーザの視野の変化に応答して、前記１つ以上の要素の表示を新しい表面上にゆっくりと移動させ、前記第２の視野への前記ユーザの視野変化に追従させることをさらに含む、項目１に記載の方法。
（項目３２）
前記１つ以上の要素は、前記コンテンツを前記ユーザの第２の視野の真正面に移動させることの前記ユーザから受信された確認に応じてのみ、前記ユーザの第２の視野の真正面に移動し得る、項目３１に記載の方法。
（項目３３）
少なくとも部分的に、ユーザが前記第１の場所から前記第２の場所に移動することに基づいて、第１の場所における前記１つ以上の表面上への前記１つ以上の要素の表示を一時停止し、第２の場所における１つ以上の他の表面上への前記１つ以上の要素の表示を再開することをさらに含む、項目１に記載の方法。
（項目３４）
前記１つ以上の要素の表示を一時停止することは、少なくとも部分的に、前記ユーザが前記第１の場所から前記第２の場所に移動中である、または移動したことの決定に基づいて、自動で行われる、項目３３に記載の方法。
（項目３５）
前記１つ以上の要素の表示の再開は、少なくとも部分的に、前記１つ以上の他の表面の識別および前記第２の場所における前記１つ以上の要素とのマッチングに基づいて、自動で行われる、項目３３に記載の方法。
（項目３６）
前記１つ以上の表面を決定することは、前記１つ以上の要素を表示するために、１つ以上の仮想オブジェクトを識別することを含む、項目１に記載の方法。
（項目３７）
前記１つ以上の仮想オブジェクトを識別することは、少なくとも部分的に、好適な表面の欠如を示す、１つ以上のセンサから受信されたデータに基づく、項目３６に記載の方法。
（項目３８）
前記１つ以上の要素の要素は、ＴＶチャンネルである、項目１に記載の方法。
（項目３９）
ユーザは、ユーザに表示される１つ以上のアイテムまたはサービスを購入することによって表示される前記１つ以上の要素の要素と相互作用する、項目１に記載の方法。
（項目４０）
第１の場所から第２の場所への環境の変化を検出することと、
前記第２の場所における１つ以上の付加的表面を決定することと、
前記第１の場所に現在表示されている前記１つ以上の要素を前記１つ以上の付加的表面にマッチングさせることと、
前記１つ以上の要素を仮想コンテンツとして前記第２の場所における前記１つ以上の付加的表面上に表示することと
をさらに含む、項目１に記載の方法。
（項目４１）
前記１つ以上の付加的表面の決定は、前記環境の変化が時間的閾値を超えた後に開始される、項目４０に記載の方法。
（項目４２）
ユーザは、前記第１の場所に表示されているアクティブコンテンツを一時停止し、前記アクティブコンテンツを前記第２の場所において表示されるように再開し、前記アクティブコンテンツは、前記ユーザが前記第１の場所における前記アクティブコンテンツを一時停止した場所と同一相互作用点において再開する、項目４０に記載の方法。
（項目４３）
前記ユーザが前記第１の場所を離れるにつれて、前記第１の場所に表示されたコンテンツと関連付けられた場所からユーザに送達されている空間化オーディオを前記ユーザの頭部の中心に指向されるオーディオ仮想スピーカに遷移させることと、
前記ユーザの頭部の中心に指向される前記オーディオ仮想スピーカから前記１つ以上の要素を前記第２の場所に表示する前記１つ以上の付加的表面からユーザに送達される空間化オーディオに遷移させることと
をさらに含む、項目４０に記載の方法。
（項目４４）
コンテンツを複合現実システムのユーザにプッシュ配信するための方法であって、前記方法は、
１つ以上の利用可能な表面をユーザの環境から受信することと、
１つの利用可能な表面の寸法にマッチングさせる１つ以上のコンテンツを前記１つ以上の利用可能な表面から識別することと、
前記１つ以上のコンテンツの１つ以上の制約と前記１つの利用可能な表面の１つ以上の表面制約を比較することに基づいて、スコアを計算することと、
コンテンツを最高スコアを有する前記１つ以上のコンテンツから選択することと、
前記選択されたコンテンツと前記１つの利用可能な表面の１対１マッチングを記憶することと、
前記利用可能な表面上において、ユーザに、前記選択されたコンテンツを表示することと
を含む、方法。
（項目４５）
ユーザの環境は、前記ユーザの個人宅である、項目４４に記載の方法。
（項目４６）
前記ユーザの環境からの前記１つ以上の利用可能な表面は、前記ユーザの焦点ビューエリアの周辺である、項目４４に記載の方法。
（項目４７）
前記１つ以上のコンテンツは、広告である、項目４４に記載の方法。
（項目４８）
前記広告は、特定の環境に位置するユーザの特定のグループに標的化される、項目４７に記載の方法。
（項目４９）
前記１つ以上のコンテンツは、アプリケーションからの通知である、項目４４に記載の方法。
（項目５０）
前記アプリケーションは、ソーシャルメディアアプリケーションである、項目４９に記載の方法。
（項目５１）
前記１つ以上のコンテンツの１つ以上の制約の制約のうちの１つは、配向である、項目４４に記載の方法。
（項目５２）
前記選択されたコンテンツは、３Ｄコンテンツである、項目４４に記載の方法。
（項目５３）
拡張現実（ＡＲ）ディスプレイシステムであって、
頭部搭載型システムであって、
１つ以上のセンサと、
外向きに向いたカメラを備える１つ以上のカメラと
を備える、頭部搭載型システムと、
プログラムコード命令のセットを実行するためのプロセッサと、
前記プログラムコード命令のセットを保持するためのメモリであって、前記プログラムコード命令のセットは、
コンテンツを受信することと、
前記コンテンツ内の１つ以上の要素を識別することと、
１つ以上の表面を決定することと、
前記１つ以上の要素を前記１つ以上の表面にマッチングさせることと、
前記１つ以上の要素を仮想コンテンツとして前記１つ以上の表面上に表示することと、
を実施するためのプログラムコードを備える、メモリと
を備える、システム。
（項目５４）
前記コンテンツは、プル配信コンテンツまたはプッシュ配信コンテンツのうちの少なくとも１つを含む、項目５３に記載のシステム。
（項目５５）
前記１つ以上の要素を識別することは、前記コンテンツを解析し、前記１つ以上の要素を識別することを含む、項目５３に記載のシステム。
（項目５６）
前記１つ以上の要素を識別することは、前記１つ以上の要素毎に、１つ以上の属性を決定することを含む、項目５３に記載のシステム。
（項目５７）
前記１つ以上の要素を１つ以上の論理構造の中に記憶するためのプログラムコードをさらに備える、項目５３に記載のシステム。
（項目５８）
前記１つ以上の表面は、物理的表面または仮想表面のうちの少なくとも１つを含む、項目５３に記載のシステム。
（項目５９）
前記１つ以上の表面を決定することは、環境を解析し、前記１つ以上の表面のうちの少なくとも１つを決定することを含む、項目５３に記載のシステム。
（項目６０）
前記１つ以上の表面を決定することは、
未加工センサデータを受信することと、
前記未加工センサデータを簡略化し、簡略化されたデータを生産することと、
前記簡略化されたデータに基づいて、１つ以上の仮想表面を作成することと
を含み、
前記１つ以上の表面は、前記１つ以上の仮想表面を含む、項目５３に記載のシステム。（項目６１）
前記１つ以上の表面を決定することは、前記１つ以上の表面毎に、１つ以上の属性を決定することを含む、項目５３に記載のシステム。
（項目６２）
前記１つ以上の表面を１つ以上の論理構造の中に記憶するためのプログラムコードをさらに備える、項目５３に記載のシステム。
（項目６３）
前記１つ以上の要素を前記１つ以上の表面にマッチングさせることは、
前記１つ以上の要素を優先順位化することと、
前記１つ以上の要素の要素毎に、
前記要素の１つ以上の属性と前記１つ以上の表面のそれぞれの１つ以上の属性を比較することと、
前記要素の１つ以上の属性および前記１つ以上の表面のそれぞれの１つ以上の属性に基づいて、マッチングスコアを計算することと、
最高マッチングスコアを有する最良マッチング表面を識別することと
を含む、項目５３に記載のシステム。
（項目６４）
１つの要素は、１つ以上の表面にマッチングされる、項目５３に記載のシステム。
（項目６５）
前記コンテンツは、コンテンツプロバイダからデータストリーミングされる、項目５３に記載のシステム。
（項目６６）
少なくとも部分的に、前記ユーザの変化した視野に基づいて、前記１つ以上の要素を表示するための１つ以上の表面オプションを表示するためのプログラムコードをさらに備える、項目５３に記載のシステム。
（項目６７）
前記１つ以上の要素の表示をマッチングされていた前記１つ以上の表面上にオーバーライドするためのプログラムコードをさらに備える、項目５３に記載のシステム。
（項目６８）
少なくとも部分的に、ユーザが異なる表面に移動されることになる前記１つ以上の表面に表示される特定の要素を選択することに基づいて、前記１つ以上の表面上に表示される前記１つ以上の要素を異なる表面に移動させるためのプログラムコードをさらに備える、項目５３に記載のシステム。
（項目６９）
第１の視野から第２の視野へのユーザの視野の変化に応答して、前記１つ以上の要素の表示を新しい表面上にゆっくりと移動させ、前記第２の視野への前記ユーザの視野変化に追従させるためのプログラムコードをさらに備える、項目５３に記載のシステム。
（項目７０）
少なくとも部分的に、ユーザが前記第１の場所から前記第２の場所に移動することに基づいて、第１の場所における前記１つ以上の表面上への前記１つ以上の要素の表示を一時停止し、第２の場所における１つ以上の他の表面上への前記１つ以上の要素の表示を再開するためのプログラムコードをさらに備える、項目５３に記載のシステム。
（項目７１）
前記１つ以上の表面を決定することは、前記１つ以上の要素を表示するために、１つ以上の仮想オブジェクトを識別することを含む、項目５３に記載のシステム。
（項目７２）
前記１つ以上の要素の要素は、ＴＶチャンネルである、項目５３に記載のシステム。
（項目７３）
前記ユーザは、ユーザに表示される１つ以上のアイテムまたはサービスを購入することによって表示される前記１つ以上の要素の要素と相互作用する、項目５３に記載のシステム。
（項目７４）
第１の場所から第２の場所への環境の変化を検出することと、
前記第２の場所における１つ以上の付加的表面を決定することと、
前記第１の場所に現在表示されている前記１つ以上の要素を前記１つ以上の付加的表面にマッチングさせることと、
前記１つ以上の要素を仮想コンテンツとして前記第２の場所における前記１つ以上の付加的表面上に表示することと
を行うためのプログラムコードをさらに備える、項目５３に記載のシステム。
（項目７５）
拡張現実（ＡＲ）ディスプレイシステムであって、
頭部搭載型システムであって、
１つ以上のセンサと、
外向きに向いたカメラを備える１つ以上のカメラと
を備える、頭部搭載型システムと、
プログラムコード命令のセットを実行するためのプロセッサと、
前記プログラムコード命令のセットを保持するためのメモリであって、前記プログラムコード命令のセットは、
１つ以上の利用可能な表面をユーザの環境から受信することと、
１つの利用可能な表面の寸法にマッチングさせる１つ以上のコンテンツを前記１つ以上の利用可能な表面から識別することと、
前記１つ以上のコンテンツの１つ以上の制約と前記１つの利用可能な表面の１つ以上の表面制約を比較することに基づいて、スコアを計算することと、
コンテンツを最高スコアを有する前記１つ以上のコンテンツから選択することと、
前記選択されたコンテンツと前記１つの利用可能な表面の１対１マッチングを記憶することと、
前記利用可能な表面上において、ユーザに、前記選択されたコンテンツを表示することと
を実施するためのプログラムコードを備える、メモリと
を備える、システム。
（項目７６）
ユーザの環境は、前記ユーザの個人宅である、項目７５に記載のシステム。
（項目７７）
前記ユーザの環境からの前記１つ以上の利用可能な表面は、前記ユーザの焦点ビューエリアの周辺である、項目７５に記載のシステム。
（項目７８）
前記１つ以上のコンテンツは、広告である、項目７５に記載のシステム。
（項目７９）
前記１つ以上のコンテンツは、アプリケーションからの通知である、項目７５に記載のシステム。
（項目８０）
前記１つ以上のコンテンツの１つ以上の制約の制約のうちの１つは、配向である、項目７５に記載のシステム。
（項目８１）
前記選択されたコンテンツは、３Ｄコンテンツである、項目７５に記載のシステム。
本開示の特徴、目的、および利点のさらなる詳細は、発明を実施するための形態、図面、および請求項において、下記に説明される。前述の一般的説明および以下の詳細な説明は両方とも、例示的かつ説明的であって、本開示の範囲に関する限定であると意図されるものではない。
図面は、本開示の種々の実施形態の設計および有用性を図示する。図は、縮尺通りに描かれておらず、類似構造または特徴の要素は、図全体を通して、同様の参照番号によって表されることに留意されたい。本開示の種々の実施形態の前述および他の利点および目的を取得するための方法をより深く理解するために、上記で簡単に説明された本開示のより詳細な説明が、添付の図面に図示される、その具体的実施形態を参照することによって与えられるであろう。これらの図面は、本開示の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされるものではないという理解の下、本開示は、添付の図面の使用を通して、付加的具体性および詳細を伴って、説明および解説されるであろう。
図１Ａ－１Ｂは、いくつかの実施形態による、コンテンツのコンテンツ要素を空間的３次元（３Ｄ）環境にマッチングさせる、例示的システムおよびコンピュータ実装方法を図示する。 図１Ａ－１Ｂは、いくつかの実施形態による、コンテンツのコンテンツ要素を空間的３次元（３Ｄ）環境にマッチングさせる、例示的システムおよびコンピュータ実装方法を図示する。
図２Ａ－２Ｅは、いくつかの実施形態による、コンテンツ要素を空間的３次元（３Ｄ）環境内の表面にマッチングさせるための実施例を図示する。 図２Ａ－２Ｅは、いくつかの実施形態による、コンテンツ要素を空間的３次元（３Ｄ）環境内の表面にマッチングさせるための実施例を図示する。 図２Ａ－２Ｅは、いくつかの実施形態による、コンテンツ要素を空間的３次元（３Ｄ）環境内の表面にマッチングさせるための実施例を図示する。 図２Ａ－２Ｅは、いくつかの実施形態による、コンテンツ要素を空間的３次元（３Ｄ）環境内の表面にマッチングさせるための実施例を図示する。 図２Ａ－２Ｅは、いくつかの実施形態による、コンテンツ要素を空間的３次元（３Ｄ）環境内の表面にマッチングさせるための実施例を図示する。
図３Ａ－３Ｂは、いくつかの実施形態による、光および色条件に調節されたウェブコンテンツの実施例を図示する。 図３Ａ－３Ｂは、いくつかの実施形態による、光および色条件に調節されたウェブコンテンツの実施例を図示する。
図４は、いくつかの実施形態による、コンテンツ要素を３Ｄ環境内に表示されることになる表面に整合させるための方法を図示する、フロー図である。
図５は、いくつかの実施形態による、コンテンツ内の要素を識別するための方法を図示する、フロー図である。
図６は、いくつかの実施形態による、表面をユーザの環境から決定するための方法を図示する、フロー図である。
図７Ａ－７Ｂは、いくつかの実施形態による、コンテンツからの要素を表面にマッチングさせるための種々の方法を図示する、フロー図である。 図７Ａ－７Ｂは、いくつかの実施形態による、コンテンツからの要素を表面にマッチングさせるための種々の方法を図示する、フロー図である。
図７Ｃは、いくつかの実施形態による、コンテンツをコンテンツがディスプレイ表面内に続いて表示される作業エリアに移動させるユーザの実施例を図示する。
図８は、いくつかの実施形態による、マッチングスコア方法論を図示する。
図９は、いくつかの実施形態による、世界場所コンテキストのＡＰＩ提供場所特有コンテキストの実施例を図示する。
図１０は、いくつかの実施形態による、コンテンツをＶＲ／ＡＲシステムのユーザにプッシュ配信するための方法を図示する、フロー図である。
図１１は、いくつかの実施形態による、コンテンツ要素を表面にマッチング／表示するための拡張現実環境を図示する。
図１２は、いくつかの実施形態による、コンテンツ要素を表面にマッチング／表示するための拡張現実環境を図示する。
図１３Ａ－１３Ｂは、いくつかの実施形態による、例示的両面ウェブページを図示する。
図１４Ａ－１４Ｂは、いくつかの実施形態による、コンテンツからのコンテンツ要素を記憶するための異なる構造の実施例を示す。 図１４Ａ－１４Ｂは、いくつかの実施形態による、コンテンツからのコンテンツ要素を記憶するための異なる構造の実施例を示す。
図１５は、いくつかの実施形態による、ユーザのローカル環境から識別される表面のインベントリを記憶するためのテーブルの実施例を示す。
図１６は、いくつかの実施形態による、ウェブリンクのための例示的３Ｄプレビューを示す。
図１７は、いくつかの実施形態による、ウェブページの中にエッチングされる３Ｄボリュームを有するウェブページの実施例を示す。
図１８は、いくつかの実施形態による、表面へのコンテンツ要素のマッチング／マッピングを記憶するためのテーブルの実施例を示す。
図１９は、いくつかの実施形態による、表面にマッチングされたコンテンツ要素を含む、環境の実施例を示す。
図２０Ａ－２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。 図２０Ａ－２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。 図２０Ａ－２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。 図２０Ａ－２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。 図２０Ａ－２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。 図２０Ａ－２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。 図２０Ａ－２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。 図２０Ａ－２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。 図２０Ａ－２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。 図２０Ａ－２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。 図２０Ａ－２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。 図２０Ａ－２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。 図２０Ａ－２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。 図２０Ａ－２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。 図２０Ａ－２０Ｏは、いくつかの実施形態による、コンテンツ要素のための動的環境マッチングプロトコルの実施例を図示する。
図２１は、いくつかの実施形態による、環境変化の間のオーディオ遷移を図示する。
図２２は、本開示の実施形態を実装するために好適な例証的コンピューティングシステムのブロック図である。
種々の実施形態が、ここで、当業者が本開示を実践することを可能にするように本開示の例証的実施例として提供される、図面を参照して、詳細に説明されるであろう。留意すべきこととして、下記の図および実施例は、本開示の範囲を限定することを意味するものではない。本開示のある要素が、公知のコンポーネント（または方法またはプロセス）を使用して、部分的または完全に実装され得る場合、本開示の理解のために必要である、そのような公知のコンポーネント（または方法またはプロセス）のその部分のみ、説明され、そのような公知のコンポーネント（または方法またはプロセス）の他の部分の詳細な説明は、本開示を曖昧にしないように省略されるであろう。さらに、種々の実施形態は、例証として本明細書に参照されるコンポーネントの現在および将来的に公知の均等物を包含する。
本開示の実施形態は、コンテンツまたはコンテンツ要素を空間的に編成された３Ｄ環境内に表示する。例えば、コンテンツまたはコンテンツ要素は、プッシュ配信コンテンツ、プル配信コンテンツ、ファーストパーティコンテンツ、およびサードパーティコンテンツを含み得る。プッシュ配信コンテンツは、サーバ（例えば、コンテンツデザイナ）がクライアント（「例えば、ユーザ）に送信する、コンテンツであって、初期要求は、サーバから生じる。プッシュ配信コンテンツの実施例は、（ａ）株価通知、ニュースフィード等の種々のアプリケーションからの通知、（ｂ）例えば、ソーシャルメディアアプリケーション、電子メール更新、および同等物からの更新および通知等の優先されるコンテンツ、および／または（ｃ）広範な標的グループおよび／または具体的標的グループおよび同等物を標的とする広告を含み得る。プル配信コンテンツは、クライアント（例えば、ユーザ）がサーバ（例えば、コンテンツデザイナ）から要求する、コンテンツであって、初期要求は、クライアントから生じる。プル配信コンテンツの実施例は、（ａ）ユーザが、例えば、ブラウザを使用することによって要求される、ウェブページ、（ｂ）ユーザが、例えば、ビデオおよび／またはオーディオストリーミングアプリケーション等のデータストリーミングアプリケーションを使用することによって要求される、コンテンツプロバイダからのストリーミングデータ、および／または（ｃ）ユーザが要求／アクセス／クエリし得る、任意のデジタルフォーマッティングを含み得る。ファーストパーティコンテンツは、クライアントが所有／使用する任意のデバイス（例えば、携帯電話、タブレット、カメラ、頭部搭載型ディスプレイデバイス、および同等物等のクライアントデバイス）上でクライアント（例えば、ユーザ）によって生成される、コンテンツである。ファーストパーティコンテンツの実施例は、写真、ビデオ、および同等物を含む。サードパーティコンテンツは、クライアントではないパーティ（例えば、テレビネットワーク、映画ストリーミングサービスプロバイダ、ユーザ以外の他者によって作成されたウェブページ、および／またはユーザによって生成されていない任意のデータ）によって生成される、コンテンツである。サードパーティコンテンツの実施例は、ユーザ以外の他者によって生成されたウェブページ、１つ以上のソースから受信されたデータ／オーディオ／ビデオストリームおよび関連付けられたコンテンツ、ユーザ以外の他者によって生成された任意のデータ、および同等物を含み得る。
コンテンツは、頭部搭載型システム上のウェブページおよび／またはアプリケーション、モバイルデバイス（例えば、携帯電話）、タブレット、テレビ、サーバ、および同等物から生じ得る。いくつかの実施形態では、コンテンツは、ラップトップコンピュータ、デスクトップコンピュータ、コンテンツへのリンクを伴う、電子メールアプリケーション、コンテンツへの参照またはリンクを含む、電子メッセージ、および同等物等の別のアプリケーションまたはデバイスから受信されてもよい。以下の詳細な説明は、コンテンツとして、ウェブページの実施例を含む。しかしながら、コンテンツは、任意のコンテンツであってもよく、本明細書に開示される原理が、適用されるであろう。
ブロック図
図１Ａは、いくつかの実施形態による、コンテンツのコンテンツ要素を空間的３次元（３Ｄ）環境にマッチングさせる例示的システムおよびコンピュータ実装方法を図示する。システム１００は、コンテンツ構造化プロセス１２０と、環境構造化プロセス１６０と、合成プロセス１４０とを含む。システム１００またはその一部は、頭部搭載型ディスプレイデバイス等のデバイス上に実装されてもよい。
コンテンツ構造化プロセス１２０は、コンテンツ１１０を読み取り、コンテンツ１１０を論理構造の中に編成／記憶し、コンテンツ１１０をアクセス可能にし、コンテンツ要素をコンテンツ１１０からプログラム上より抽出しやすくする、プロセスである。コンテンツ構造化プロセス１２０は、解析器１１５を含む。解析器１１５は、コンテンツ１１０を受信する。例えば、解析器１１５は、コンテンツ１１０をエンティティ（例えば、コンテンツ設計者）から受信する。エンティティは、例えば、アプリケーションであってもよい。エンティティは、システム１００の外部にあってもよい。コンテンツ１１０は、例えば、上記に説明されるように、プッシュ配信コンテンツ、プル配信コンテンツ、ファーストパーティコンテンツ、および／またはサードパーティコンテンツであってもよい。外部ウェブサーバは、コンテンツ１１０が要求されると、コンテンツ１１０をサービス提供してもよい。解析器１１５は、コンテンツ１１０を解析し、コンテンツ１１０のコンテンツ要素を識別する。解析器１１５は、コンテンツ１１０をインベントリ化するために、コンテンツ要素を識別し、続いて、コンテンツのテーブル等の論理構造内に編成および記憶してもよい。コンテンツのテーブルは、例えば、ドキュメントツリーまたはグラフ等のツリー構造および／または関係データベーステーブル等のデータベーステーブルであってもよい。
解析器１１５は、コンテンツ要素毎に、属性を識別／決定および記憶してもよい。コンテンツ要素のそれぞれの属性は、コンテンツ１１０のコンテンツ設計者によって明示的に示されてもよい、または、例えば、コンテンツ１１０内のコンテンツ要素の場所に基づいて、解析器１１５によって決定または推測されてもよい。例えば、コンテンツ要素のそれぞれの属性は、相互に対するコンテンツ１１０内のコンテンツ要素の場所に基づいて、解析器１１５によって決定または推測されてもよい。コンテンツ要素の属性は、下記にさらに詳細に説明される。解析器１１５は、全てのコンテンツ要素のリストとともに、コンテンツ１１０から解析される個別の属性を生成してもよい。コンテンツ要素を解析および記憶後、解析器１１５は、関連付けられた優先順位（例えば、最高から最低）に基づいて、コンテンツ要素を順序付けてもよい。
コンテンツ要素を論理構造内に編成および記憶することのいくつかの利点は、いったんコンテンツ要素が、論理構造の中に編成および記憶されると、システム１００は、コンテンツ要素にクエリし、それを操作し得ることである。例えば、ノードを有するツリー構造として表される、階層／論理構造では、ノードが削除される場合、削除されたノード下の全てのものも、同様に削除され得る。同様に、ノードが移動される場合、ノード下の全てのものも、それとともに移動し得る。
環境構造化プロセス１６０は、環境関連データを解析し、表面を識別する、プロセスである。環境構造化プロセス１６０は、センサ１６２と、コンピュータビジョン処理ユニット（ＣＶＰＵ）１６４と、知覚フレームワーク１６６と、環境解析器１６８とを含んでもよい。センサ１６２は、処理するために、実世界表面に関する未加工データ（例えば、環境からのオブジェクトおよび構造のポイントクラウド）をＣＶＰＵ１６４に提供する。センサ１６２の実施例は、全地球測位システム（ＧＰＳ）、無線信号センサ（ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等）、カメラ、深度センサ、加速度計三回対称軸および角速度センサ三回対称軸を含む、慣性測定ユニット（ＩＭＵ）、磁力計、レーダ、気圧計、高度計、加速度計、露光計、ジャイロスコープ、および／または同等物を含んでもよい。
ＣＶＰＵ１６４は、未加工データを簡略化またはフィルタリングする。いくつかの実施形態では、ＣＶＰＵ１６４は、雑音を未加工データからフィルタリング除去し、簡略化された未加工データを生産してもよい。いくつかの実施形態では、ＣＶＰＵ１６４は、未加工データおよび／または簡略化された未加工データから、使用され得ない、および／または現在の環境走査タスクに関連し得ないデータをフィルタリング除去し、フィルタリングされたデータを生産してもよい。ＣＶＰＵ１６４は、残りのデータをグループポイントクラウド点の中に距離および平面性別に改変し、下流における表面の抽出／識別／決定をより容易にしてもよい。ＣＶＰＵ１６４は、さらなる処理のために、処理された環境データを知覚フレームワーク１６６に提供する。
知覚フレームワーク１６６は、グループポイントクラウド点をＣＶＰＵ１６４から受信し、環境データを環境解析器１６８のために準備する。知覚フレームワーク１６６は、構造／表面／平面（例えば、表面のリスト）を作成／決定し、例えば、外部データベース、ローカルデータベース、専用ローカル記憶装置、ローカルメモリ、および同等物等の１つ以上のデータ記憶装置に取り込む。例えば、知覚フレームワーク１６６は、ＣＶＰＵ１６４から受信された全てのグループ化されたポイントクラウド点を順に処理し、実世界表面に対応する仮想構造／表面／平面を作成／決定する。仮想平面は、仮想的に構築された長方形（例えば、レンダリングパイプライン内で２つの三角形に分割される）を作成する、４つの頂点（グループ化されたポイントクラウド点からピックアップされる）であってもよい。知覚フレームワーク１６６によって作成／決定された構造／表面／平面は、環境データと称される。実世界表面にわたってレンダリングおよび重畳されると、仮想表面は、実質的にその対応する１つ以上の実世界表面にわたって置かれる。いくつかの実施形態では、仮想表面は、完全にその対応する１つ以上の実世界表面にわたって置かれる。知覚フレームワーク２８６は、仮想表面と対応する実世界表面の１対１または１対多のマッチン／マッピングを維持してもよい。１対１または１対多のマッチング／マッピングは、クエリするために使用されてもよい。知覚フレームワーク２８６は、環境が変化すると、１対１または１対多のマッチング／マッピングを更新してもよい。
環境解析器１６８は、知覚フレームワーク１６６からの環境データを解析し、環境内の表面を決定する。環境解析器１６８は、オブジェクト認識を使用して、知覚フレームワーク１６６から受信された環境データに基づいて、オブジェクトを識別してもよい。オブジェクト認識に関するさらなる詳細は、「ＰＬＡＮＡＲ ＷＡＶＥＧＵＩＤＥ ＡＰＰＡＲＡＴＵＳ ＷＩＴＨ ＤＩＦＦＲＡＣＴＩＯＮ ＥＬＥＭＥＮＴ（Ｓ） ＡＮＤ ＳＹＳＴＥＭ ＥＭＰＬＯＹＩＮＧ ＳＡＭＥ」と題された米国特許第９，６７１，５６６号および「ＵＳＩＮＧ ＯＢＪＥＣＴ ＲＥＣＯＧＮＩＺＥＲＳ ＩＮ ＡＮ ＡＵＧＭＥＮＴＥＤ ＯＲ ＶＩＲＵＴＡＬ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭ」と題された米国特許第数９，７６１，０５５号（参照することによって組み込まれる）に説明される。環境解析器１６８は、表面をインベントリ化するための表面のテーブル等の論理構造内に表面を編成および記憶してもよい。表面のテーブルは、例えば、順序付けられたアレイ、階層テーブル、ツリー構造、論理グラフ構造、および／または同等物であってもよい。一実施例では、順序付けられたアレイは、良好な適合表面が決定されるまで、線形に反復されてもよい。一実施例では、具体的パラメータ（例えば、最大表面積）によって順序付けられたツリー構造に関して、最良適合表面は、ツリー内の各表面が要求されるエリアより小さいまたはより大きいかどうかを持続的に比較することによって決定されてもよい。一実施例では、論理グラフデータ構造では、最良適合表面は、関連隣接性パラメータ（例えば、視認者からの距離）に基づいて検索されてもよい、または具体的表面要求に関する迅速検索を伴うテーブルを有する。
上記に説明されるデータ構造は、環境解析器１６８がランタイム時に決定された表面に対応するデータを記憶し（必要とされる場合、環境変化に基づいて、データを更新し）、表面マッチングを処理し、任意の他のアルゴリズムを起動させる、場所であり得る。一実施形態では、環境解析器１６８に関して上記に説明されるデータ構造は、データがより持続的に記憶される場所ではなくてもよい。データは、データを受信および処理するとき、ランタイムメモリＲＡＭ、外部データベース、ローカルデータベース、および同等物であり得る、知覚フレームワーク１６６によってより持続的に記憶されてもよい。表面を処理する前に、環境解析器１６８は、表面データを持続的記憶装置から受信し、論理データ構造にそれらから取り込み、次いで、マッチングアルゴリズムを論理データ構造上で起動してもよい。
環境解析器１６８は、表面毎に、属性を決定および記憶してもよい。表面のそれぞれの属性は、解析器１１５からのコンテンツのテーブル内のコンテンツ要素の属性に対して有意義であり得る。表面の属性は、下記にさらに詳細に説明される。環境解析器１６８は、全ての表面のリストとともに、環境から解析される個別の属性を生成してもよい。表面を解析および記憶後、環境解析器１６８は、関連付けられた優先順位（例えば、最高から最低）に基づいて、表面を順序付けてもよい。表面の関連付けられた優先順位は、環境解析器１６８が、表面データを持続的記憶装置から受信し、論理データ構造にそれらから取り込むときに確立されてもよい。例えば、論理データ構造が、バイナリ検索ツリーを含む場合、記憶装置からの表面（通常の列挙されるリストで受信される）毎に、環境解析器１６８は、最初に、優先順位を計算し（例えば、表面の１つ以上の属性に基づいて）、次いで、表面を論理データ構造の中のその適切な場所に挿入してもよい。環境解析器１６８は、ポイントクラウドを通して解析し、点の近接度／空間内の関係に基づいて、表面および／または平面を抽出してもよい。例えば、環境解析器１６８は、水平および垂直平面を抽出し、サイズを平面に関連付けてもよい。
コンテンツ構造化プロセス１２０は、コンテンツ１１０を通して解析し、コンテンツ要素を論理構造の中に編成する。環境構造化プロセス１６０は、データをセンサ１６２からのデータを通して解析し、環境からの表面を論理構造の中に編成する。コンテンツ要素を含む論理構造および表面を含む論理構造が、マッチングおよび操作のために使用される。コンテンツ要素を含む論理構造は、表面を含む論理構造と（タイプが）異なり得る。
合成プロセス１４０は、解析器１１５（例えば、論理構造内に記憶されるコンテンツ要素のテーブル）からのコンテンツ要素と環境解析器１６８（例えば、論理構造内に記憶される表面のテーブル）からの環境からの表面をマッチングさせ、どのコンテンツ要素がどの環境の表面上にレンダリング／マッピング／表示されるべきかを決定する、プロセスである。いくつかの実施形態では、図１Ａに図示されるように、合成プロセス１４０は、マッチングモジュール１４２と、レンダリングモジュール１４６と、随意の仮想オブジェクト作成モジュール１４４とを含んでもよい。いくつかの実施形態では、図１Ｂに図示されるように、合成プロセス１４０はさらに、表示モジュール１４８と、受信モジュール１５０とを含んでもよい。
マッチングモジュール１４２は、論理構造内に記憶されるコンテンツ要素を論理構造内に記憶される表面にペアリング／マッチングさせる。マッチングは、コンテンツ要素と表面（例えば、１つのコンテンツ要素と１つの表面、１つのコンテンツ要素と２つ以上の表面、２つ以上のコンテンツ要素と１つの表面等）の１対１または１対多のマッチングであってもよい。いくつかの実施形態では、マッチングモジュール１４２は、コンテンツ要素を表面の一部にペアリング／マッチングさせてもよい。いくつかの実施形態では、マッチングモジュール１４２は、１つ以上のコンテンツ要素を１つの表面にペアリング／マッチングさせてもよい。マッチングモジュール１４２は、コンテンツ要素の属性と表面の属性を比較する。マッチングモジュール１４２は、類似および／または対向属性を共有するコンテンツ要素および表面に基づいて、コンテンツ要素を表面にマッチングさせる。論理構造内に記憶されるコンテンツ要素のそのような編成されたインフラストラクチャおよび論理構造内に記憶される表面を有することは、マッチングルール、ポリシ、および制約が、容易に作成、更新、および実装され、マッチングモジュール１４２によって実施されるマッチングプロセスをサポートおよび改良することを可能にする。
マッチングモジュール１４２は、ユーザ選好、システム選好、および／またはパス可能選好等の１つ以上の選好データ構造にアクセスしてもよく、１つ以上の選好データ構造をマッチングプロセスにおいて使用してもよい。ユーザ選好は、例えば、過去のアクションに基づく集約選好に基づく、モデルであってもよく、特定のコンテンツ要素タイプに特有であってもよい。システム選好は、１つのコンテンツ要素に関して、上位２つ以上の表面を含んでもよく、ユーザは、その２つ以上の表面を通してナビゲートし、好ましい表面を選択する能力を有し得る。上位２つ以上の表面は、ユーザ選好および／またはパス可能選好に基づいてもよい。パス可能選好は、クラウドデータベースから読み出されてもよく、パス可能選好は、例えば、他のユーザ、類似ユーザ、全てのユーザ、類似環境、コンテンツ要素タイプ、および／または同等物のグループ化に基づく、モデルであってもよい。パス可能選好データベースは、消費者データ（例えば、集約消費者データ、消費者試験データ等）を事前に取り込まれ、大規模データセット（例えば、ユーザのデータセット）が蓄積される前でさえ、合理的マッチングを提供し得る。
マッチングモジュール１４２は、少なくとも部分的に、コンテンツベクトル（例えば、配向属性）、頭部姿勢ベクトル（例えば、表面ではない、ＶＲ／ＡＲデバイスの属性）、および１つ以上の表面の面法線ベクトルに基づいて、１つのコンテンツ要素を１つ以上の表面にマッチングさせる。コンテンツベクトル、頭部姿勢ベクトル、および面法線ベクトルは、下記に詳細に説明される。
マッチングモジュール１４２は、コンテンツ要素と表面（例えば、１つのコンテンツ要素と１つの表面、１つのコンテンツ要素と２つ以上の表面、２つ以上のコンテンツ要素と１つの表面等）の少なくとも１対１または１対多のマッチング／マッピングを有する、マッチング結果を生成する。結果は、さらなる処理のために、キャッシュメモリまたは持続的記憶装置内に記憶されてもよい。結果は、マッチングをインベントリ化するために、テーブル内に編成および記憶されてもよい。
いくつかの実施形態では、マッチングモジュール１４２は、マッチング結果を生成してもよく、１つのコンテンツ要素は、コンテンツ要素が複数の表面のうちの任意の１つ上にレンダリングおよび表示され得るように、複数の表面にマッチング／マッピングされてもよい。例えば、コンテンツ要素は、５つの表面にマッチング／マッピングされてもよい。ユーザは、次いで、５つの表面からある表面をコンテンツ要素が次いで表示されるべき好ましい表面として選択してもよい。いくつかの実施形態では、マッチングモジュール１４２は、マッチング結果を生成してもよく、１つのコンテンツ要素は、複数の表面の上位３つにマッチング／マッピングされてもよい。
いくつかの実施形態では、ユーザが、好ましい表面を選定または選択すると、ユーザによって行われる選択は、システム１００が表面に対するコンテンツ要素のより正確かつ精密な推奨を行い得るように、ユーザ選好を更新してもよい。
マッチングモジュール１４２が、全てのコンテンツ要素を少なくとも１つの表面にマッチングさせる、またはコンテンツ要素を破棄する（例えば、他の表面へのマッピングのために、または好適なマッチングを見出さない）場合、合成プロセス１４０は、レンダリングモジュール１４６に進んでもよい。いくつかの実施形態では、マッチング表面を有していないコンテンツ要素に関して、マッチングモジュール１４２は、コンテンツ要素と仮想表面のためのマッチング／マッピングを作成してもよい。いくつかの実施形態では、マッチングモジュール１４２は、マッチング表面を有していないコンテンツ要素を閉じてもよい。
随意の仮想オブジェクト作成モジュール１４４は、仮想平面表面等のコンテンツ要素を表示するための仮想オブジェクトを作成してもよい。マッチングモジュール１４２のマッチングプロセスの間、仮想表面は、あるコンテンツ要素を表示するための随意の表面であり得ることが決定され得る。本決定は、環境解析器１６８によって決定されたテクスチャ属性、占有属性、および／または他の表面の属性および／または解析器１１５によって決定されたコンテンツ要素の属性に基づいてもよい。表面のテクスチャ属性および占有属性は、下記に詳細に説明される。例えば、マッチングモジュール１４２は、テクスチャ属性および／または占有属性が潜在的表面に関する不適格属性であり得ることを決定し得る。マッチングモジュール１４２は、少なくとも、テクスチャ属性および／または占有属性に基づいて、コンテンツ要素が、代替として、代わりに、仮想表面上に表示され得ることを決定し得る。仮想表面の位置は、１つ以上の（実）表面の位置に対するものであってもよい。例えば、仮想表面の位置は、１つ以上の（実）表面の位置から離れたある距離にあってもよい。いくつかの実施形態では、マッチングモジュール１４２は、好適な（実）表面が存在しないことを決定し得る、またはセンサ１６２は、任意の表面を全く検出しない場合があり、したがって、仮想オブジェクト作成モジュール１４４は、コンテンツ要素を表示するための仮想表面を作成してもよい。
いくつかの実施形態では、コンテンツ要素を表示するための仮想オブジェクトを作成するステップは、センサ１６２の特定のセンサまたは複数のセンサから受信されたデータまたは特定のセンサまたは複数のセンサからのセンサ入力の欠如に基づいてもよい。センサ１６２（カメラまたは深度センサ等）の環境中心センサから受信されたデータは、ユーザの現在の物理的環境に基づいて、好適な表面の欠如を示し得る、またはそのようなセンサは、表面の存在を全く判別することができない場合がある（例えば、高度に吸収性表面は、深度センサの品質に応じて、表面識別を困難にし得る、またはコネクティビティの欠如が、表面情報を提供し得るある共有可能マップへのアクセスを阻ませる）。
いくつかの実施形態では、環境解析器１６８が、ある時間フレーム内にデータをセンサ１６２または知覚フレームワーク１６６から受信しない場合、環境解析器１６８は、好適な表面が存在しないことを受動的に決定し得る。いくつかの実施形態では、センサ１６２は、環境中心センサが表面を決定することができないことを能動的に確認し得、そのような決定を環境解析器１６８またはレンダリングモジュール１４６にパスし得る。いくつかの実施形態では、環境構造化１６０が、環境解析器１６８による受動的決定またはセンサ１６２による能動的確認のいずれかによって、合成プロセス１４０に提供するための表面を有していない場合、合成プロセス１４０は、仮想表面を作成する、または記憶モジュール１５２から等の記憶または登録された表面にアクセスしてもよい。いくつかの実施形態では、環境解析器１６８は、デバイス独自のセンサ１６２からの入力を伴わずに、ホットスポットまたはサードパーティ知覚フレームワークまたは記憶モジュール等から、表面データを直接受信してもよい。
いくつかの実施形態では、ＧＰＳ等のあるセンサは、ユーザが、例えば、開放空間の公園または浜辺等のコンテンツ要素を表示するための好適な表面を有していない場所に存在することを決定し得る、またはデータを提供する唯一のセンサが、マッピング情報を提供せず、代わりに、配向情報を提供するもの（磁力計等）である。いくつかの実施形態では、あるタイプのディスプレイコンテンツ要素は、ユーザの物理的環境内で利用可能ではない場合がある、または検出不可能である、表示表面のタイプを要求し得る。例えば、ユーザは、ユーザのホテルの部屋からある場所まで歩いて行くべき方向を表示する、マップを視認することを所望し得る。ユーザがその場所までナビゲートするにつれて、ユーザが道筋マップのビューを維持するために、ＡＲシステムは、センサ１６２から受信されたデータ（または受信されないこと）に基づいて、ユーザがホテル内のユーザの部屋の開始位置から道筋マップ上の目的地場所まで道筋マップを持続的に視認することを可能にするであろう、環境解析器１６８によって利用可能または検出可能な適正な表面が存在し得ないため、道筋マップを表示するために、仮想表面または画面等の仮想オブジェクトを作成することを検討する必要があり得る。例えば、ユーザは、ネットワークコネクティビティが限定または遮断され得る、エレベータに乗り込む、ホテルから出る、コンテンツ要素を表示するための利用可能な表面が存在し得ない、または雑音が多すぎてセンサが所望の表面を正確に検出することができない、公園等の開放エリアを歩行する必要があり得る。本実施例では、表示されるべきコンテンツと、ネットワークコネクティビティの欠如または好適な表示表面の欠如（例えば、ユーザの現在の場所のＧＰＳデータに基づいて）を含み得る、潜在的問題とに基づいて、ＡＲシステムは、環境解析器１６８がセンサ１６２から受信された情報を使用して好適な表示表面を見出すことに依拠することとは対照的に、コンテンツ要素を表示するために仮想オブジェクトを作成することが最良であり得ると決定してもよい。いくつかの実施形態では、コンテンツ要素を表示するために作成される仮想オブジェクトは、プリズムであってもよい。プリズムに関するさらなる詳細は、２０１７年１２月２２日に出願され、「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＭＡＮＡＧＩＮＧ ＡＮＤ ＤＩＳＰＬＡＹＩＮＧ ＶＩＲＴＵＡＬ ＣＯＮＴＥＮＴ ＩＮ Ａ ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＳＹＳＴＥＭ」と題された共同所有の米国仮特許出願第６２／６１０，１０１号（参照することによって全体として組み込まれる）に説明される。当業者は、コンテンツ要素を（実）表面上に表示することとは対照的に、コンテンツ要素を表示するための仮想表面を作成することがより有益であり得るときのより多くの実施例を理解し得る。
レンダリングモジュール１４６は、コンテンツ要素をそのマッチングされた表面にレンダリングする。マッチングされた表面は、実表面および／または仮想表面を含んでもよい。いくつかの実施形態では、マッチングは、コンテンツ要素と表面との間で行われるが、マッチングは、完璧なマッチングではなくてもよい。例えば、コンテンツ要素は、１０００×５００の２Ｄエリアを要求し得る。しかしながら、最良マッチング表面は、９００×４５０の寸法を有し得る。一実施例では、レンダリングモジュール１４６は、１０００×５００コンテンツ要素をレンダリングし、９００×４５０表面に最良適合させてもよく、これは、例えば、アスペクト比を一定に保ちながらのコンテンツ要素のスケーリングを含んでもよい。別の実施例では、レンダリングモジュール１４６は、１０００×５００コンテンツ要素をクロッピングし、９００×４５０表面内に適合させてもよい。
いくつかの実施形態では、システム１００を実装するデバイスは、移動し得る。例えば、システム１００を実装するデバイスは、第１の部屋から第２の部屋に移動し得る。
いくつかの実施形態では、第１の部屋内の表面（実および／または仮想）にマッチングされたコンテンツ要素は、第１の部屋内の表面にマッチングされたままであってもよい。例えば、システム１００を実装するデバイスは、第１の部屋から第２の部屋に移動し得、第１の部屋内の表面にマッチングされるコンテンツ要素は、第２の部屋内の表面にマッチングされず、したがって、その上にレンダリングされないであろう。バイスが、次いで、第２の部屋から第１の部屋に移動することになる場合、第１の部屋内の表面にマッチングされたコンテンツ要素は、第１の部屋内の対応する表面にレンダリング／その上に表示されるであろう。いくつかの実施形態では、コンテンツは、第１の部屋内のレンダリングを継続するであろうが、デバイスの視野外となるであろうため、表示されないが、オーディオ再生または再生の時間等のある特徴は、デバイスがマッチングされたコンテンツを視野内に有する状態に戻ったとき、レンダリングがシームレスに再開するであろうように（ユーザが映画を従来のＴＶ上で再生している状態で部屋を離れた場合と同様の効果）、動作を継続するであろう。
いくつかの実施形態では、第１の部屋内の表面にマッチングされたコンテンツ要素は、第２の部屋内の表面にマッチングされてもよい。例えば、システム１００を実装するデバイスは、第１の部屋から第２の部屋に移動し得、デバイスが第２の部屋内に存在した後、環境構造化プロセス１６０および合成プロセス１４０が、生じ／起動／実行し得、コンテンツ要素は、第２の部屋内の表面（実および／または仮想）にマッチングされてもよい。
いくつかの実施形態では、第１の部屋内の表面にマッチングされたいくつかのコンテンツ要素は、第１の部屋内に留まってもよい一方、第１の部屋内の表面にマッチングされた他のコンテンツ要素は、第２の部屋に移動してもよい。例えば、第１の部屋内の表面にマッチングされた第１のセットのコンテンツ要素は、第１の部屋内の表面にマッチングされたまままであってもよい一方、第１の部屋内の表面にマッチングされた第２のセットのコンテンツ要素は、システム１００を実装するデバイスとともに、第２の部屋に移動してもよい。第２のセットのコンテンツ要素は、デバイスが第１の部屋から第２の部屋に進むにつれて、デバイスとともに移動してもよい。コンテンツ要素が第１のセットまたは第２のセット内にあるかどうかは、コンテンツ要素の属性、コンテンツ要素がマッチングされる第１の部屋内の１つ以上の表面の属性、ユーザ選好、システム選好、および／またはパス可能世界選好に基づいて決定されてもよい。これらの種々のシナリオの基礎となるものは、マッチングおよびレンダリングが排他的であり得ることである。すなわち、コンテンツは、表面にマッチングされてもよいが、レンダリングされない。これは、ユーザデバイスが表面に常にマッチングさせる必要はなく、選択的レンダリングがマッチングされた表面における視認コンテンツの再開時の待ち時間を短縮させ得るため、コンピューティングサイクルおよび電力を節約し得る。
図１Ｂは、いくつかの実施形態による、コンテンツのコンテンツ要素を空間的３Ｄ環境にマッチングさせる例示的システムおよびコンピュータ実装方法を図示する。システム１０５は、図１Ａと同様に、コンテンツ構造化プロセス１２０と、環境構造化プロセス１６０と、合成プロセス１４０とを含む。図１Ｂの合成プロセス１４０は、表示モジュール１４８および受信モジュール１５０を含む、付加的モジュールを含む。
上記に述べられたように、マッチングモジュール１４２は、マッチング結果を生成してもよく、１つのコンテンツ要素は、コンテンツ要素が複数の表面のうちの任意の１つ上にレンダリングおよび表示され得るように、複数の表面にマッチング／マッピングされてもよい。表示モジュール１４８は、コンテンツ要素、またはコンテンツ要素の輪郭、またはコンテンツ要素の低減された分解能バージョン（本明細書ではそれぞれ、「候補ビュー」と称される）を、複数の表面上または単一表面の複数の部分内に表示する。いくつかの実施形態では、複数の表面ディスプレイは、ユーザに一度に単一候補ビューのみが見え、付加的候補ビューオプションを通して１つずつサイクリングまたはスクロールさせ得るように、連続的である。いくつかの実施形態では、全ての候補ビューが、同時に表示され、ユーザは、単一候補ビューを選択する（音声コマンド、ハードウェアインターフェースへの入力、眼追跡等によって）。受信モジュール１５０は、複数の表面の表面上の１つの候補ビューの選択をユーザから受信する。選択された候補ビューは、好ましい表面と称され得る。好ましい表面は、将来的マッチングが、受信モジュール１５０からマッチングモジュール１４２への情報フロー１５６または記憶モジュール１５２からマッチングモデル１４２への情報フロー１５４によって示されるように、コンテンツ要素を表面にマッチングさせるとき、そのような選好から利点を享受し得るように、ユーザ選好またはパス可能選好として記憶モジュール１５２内に保存されてもよい。情報フロー１５６は、数回の反復後、いくつかの実施形態によると、ユーザ選好がシステムおよび／またはパス可能選好より優先し始め得るような反復プロセスであってもよい。比較として、情報フロー１５４は、その瞬間のユーザ、または同一環境に進入する、またはコンテンツをその中に表示することを所望する、他のユーザに、常時、マッチング優先順位を与えられるであろうように、固定出力であってもよい。システムおよび／またはパス可能選好は、ユーザ選好に優先し得るが、より多くの情報フロー１５６が、図１Ａのシステム１００または図１Ｂの１０５のユーザの使用にわたって継続するにつれて、ユーザ選好は、自然学習プロセスアルゴリズムを通して、システムによって優先され始め得る。したがって、いくつかの実施形態では、コンテンツ要素は、そうでなければマッチングモジュール１４２にコンテンツ要素を他の場所に設置させるであろう、他の表面または環境入力の可用性にかかわらず、好ましい表面上にレンダリング／表示するであろう。同様に、情報フロー１５４は、その環境内に一度も存在したことがなく、第１のユーザが有する好ましい表面への反復情報フロー１５６を構築していない、第２のユーザのために、好ましい表面とのレンダリング／表示マッチングを規定してもよい。
有利には、センサデータおよび仮想モデルが、概して、短期コンピュータメモリ内に記憶されるにつれて、好ましい表面を記憶する、持続的記憶モジュールは、コンテンツ設置セッション間にデバイスシャットダウンが存在した場合、合成プロセス１４０を通してより迅速にサイクリングし得る。例えば、センサ１６２が、第１のセッションにおいて、コンテンツをマッチングさせるために、深度情報を収集し、環境構造化１６０を通して、仮想メッシュ再構成を作成し、システムシャットダウンがその環境データを記憶するランダムアクセスメモリを空にする場合、システムは、次のマッチングセッションのために、再開時に、環境構造化パイプラインを繰り返す必要があるであろう。しかしながら、コンピューティングリソースが、記憶モジュール１５２によって保存されているため、環境構造化プロセス１６０の完全反復を伴わずに、マッチング１４２が、好ましい表面情報で更新される。
いくつかの実施形態では、コンテンツ要素は、一度に上位３つの表面全ての上に表示されてもよい。ユーザは、次いで、ある表面を上位３つの表面から好ましい表面として選択してもよい。いくつかの実施形態では、コンテンツ要素は、コンテンツ要素が２つの他の表面上にも表示され得ることのユーザへのインジケーションとともに、一度に上位３つの表面の１つのみの上に表示されてもよい。ユーザは、次いで、他の表面オプションを通してナビゲートしてもよく、各表面オプションがユーザによってアクティブ化されるにつれて、コンテンツ要素は、アクティブ化された表面上に表示されてもよい。ユーザは、次いで、ある表面を表面オプションから好ましい表面として選択してもよい。
図２Ａ－２Ｅは、ユーザの物理的環境１１０５内の３つの可能性として考えられる場所にマッチングされる、コンテンツ要素（例えば、コンピュータ、スマートフォン、タブレット、テレビ、ウェブブラウザ、画面等のモニタ）を描写する。図２Ａは、視認場所提案２１４によって示されるように、コンテンツ要素が３つの可能性として考えられる場所にマッチング／マッピングされている様子を示す。視認場所提案２１４内の左手側上に表示される３つの白色ドットは、３つのディスプレイ場所が存在し得ることを示す。「ｘ」を伴う第４の白色ドットは、視認場所提案２１４を閉じ、ユーザが「ｘ」を選定するとき、選択／ハイライトされたディスプレイ場所に基づいて、好ましいディスプレイ場所の選択を示すための閉じるボタンであり得る。ディスプレイ場所２１２ａは、左手側上の３つの白色ドットのハイライトされた第１の白色ドットによって示されるように、コンテンツ要素を表示するための第１のオプションである。図２Ｂは、ディスプレイ場所２１２ｂが、左手側上の３つの白色ドットのハイライトされた第２の白色ドットによって示されるように、コンテンツ要素を表示するための第２のオプションである、同一ユーザ環境１１０５を示す。図２Ｃは、ディスプレイ場所２１２ｃが、左手側上の３つの白色ドットのハイライトされた第３の白色ドットによって示されるように、コンテンツ要素を表示するための第３のオプションである、同一ユーザ環境１１０５を示す。当業者は、ユーザが選定するための表示オプションを示すための他のアプローチも存在し得、図２Ａ－２Ｃに図示される実施例が、単に、一実施例であることを理解し得る。例えば、別のアプローチは、一度に全ての表示オプションを表示し、ユーザに、ＶＲ／ＡＲデバイスを使用して（例えば、コントローラ、視線等を介して）、好ましいオプションを選択させることであってもよい。
ＡＲシステムは、仮想コンテンツが投影し得る、ある視野を有し、そのような視野が、典型的には、ヒトの全視野の潜在性未満であることを理解されたい。ヒトは、概して、１１０～１２０度の自然視野を有することができ、いくつかの実施形態では、ＡＲシステム２２４の表示視野は、図２Ｄに描写されるように、本潜在性未満であって、表面候補２１２ｃが、ユーザの自然視野内にあるが、デバイスの視野外であり得ることを意味する（例えば、システムは、コンテンツをその表面上にレンダリングすることが可能であるが、実際には、コンテンツを表示しないであろう）。いくつかの実施形態では、視野属性（属性は、下記にさらに説明される）が、表面に割り当てられ、表面がデバイスの表示野のために表示されるコンテンツをサポートすることが可能であるかどうかを示す。いくつかの実施形態では、ディスプレイの視野外の表面は、上記に説明されるように、オプションを表示するためにユーザに提示されない。
いくつかの実施形態では、デフォルト位置２１２が、図２Ｅに描写されるように、仮想表面として、事前に規定された距離（デバイスのディスプレイシステムのある焦点距離仕様等）におけるユーザの真正面にある。ユーザは、次いで、デフォルト位置２１２を、頭部姿勢またはジェスチャまたはセンサ１６２によって測定された他の入力手段等によって、環境内の所望の位置（例えば、記憶装置２８５からの登録された場所または合成プロセス１４０からのマッチングされた表面のいずれか）に調節してもよい。いくつかの実施形態では、デフォルト位置は、ユーザが環境を通して移動するにつれて、デフォルト位置２１２がユーザの視野（本実施形態では、ディスプレイの表示野と同一である）と実質的に同一部分内に留まるように、ユーザに対して固定されたままであってもよい。
図２Ｅはまた、実施例として、仮想ＴＶと関連付けられた３つのＴＶアプリケーションプレビュー（例えば、ＴＶ Ａｐｐ１、ＴＶ Ａｐｐ２、ＴＶ Ａｐｐ３）を有する、仮想テレビ（ＴＶ）をデフォルト位置２１２に図示する。３つのＴＶアプリケーションは、異なるＴＶチャンネル／ＴＶコンテンツプロバイダに対応する、異なるＴＶチャンネルまたは異なるＴＶアプリケーションに対応してもよい。ユーザは、仮想ＴＶの下方に示される個別のＴＶアプリケーション／チャンネルを選択することによって、ＴＶ再生のための単一チャンネルを抽出してもよい。ユーザは、（ａ）トーテムを用いて、チャンネルを標的化し、（ｂ）トーテム上のトリガを押下し、チャンネルを選択し、トリガをある時間周期（例えば、約１秒）にわたって保持し、（ｃ）トーテムを移動させ、抽出されたＴＶチャンネルを表示するための環境内の所望の場所を識別し、（ｄ）トーテム上のトリガを押下し、抽出されたＴＶチャンネルを環境内の所望の場所に設置することによって、ＴＶのためのチャンネルを抽出してもよい。仮想コンテンツを選択するステップはさらに、２０１５年１０月２０日に優先権を主張し、「ＳＥＬＥＣＴＩＮＧ ＶＩＲＴＵＡＬ ＯＢＪＥＣＴＳ ＩＮ Ａ ＴＨＲＥＥ－ＤＩＭＥＮＳＩＯＮＡＬ ＳＰＡＣＥ」と題された米国特許出願第１５／２９６，８６９号（それぞれの内容は、参照することによって本明細書に組み込まれる）に説明される。
所望の場所は、ＴＶチャンネルを表示するために好適な表面または本開示の教示に従って識別された他の表面であってもよい。いくつかの実施形態では、新しいプリズムが、新しいプリズム内にロードおよび表示される選択されたチャンネルコンテンツとともに、所望の場所に作成されてもよい。トーテムに関するさらなる詳細は、「ＰＬＡＮＡＲ ＷＡＶＥＧＵＩＤＥ ＡＰＰＡＲＡＴＵＳ ＷＩＴＨ ＤＩＦＦＲＡＣＴＩＯＮ ＥＬＥＭＥＮＴ（Ｓ） ＡＮＤ ＳＹＳＴＥＭ ＥＭＰＬＯＹＩＮＧ ＳＡＭＥ」と題された米国特許第９，６７１，５６６号（参照することによって全体として組み込まれる）に説明される。いくつかの実施形態では、３つのＴＶアプリケーションは、チャンネルコンテンツの動的または静的描写を表示することによって、個別のチャンネル上で再生されている内容を見るための小開口である、「チャンネルプレビュー」であってもよい。いくつかの実施形態では、（ｃ）トーテムを移動させ、抽出されたＴＶチャンネルを表示するための環境内の所望の場所を識別する間、映像が、ユーザに示されてもよい。映像は、例えば、チャンネルを例証する単一画像、チャンネルのプレビューを例証する１つ以上の画像、チャンネルの現在のコンテンツを例証するビデオストリーム、および同等物であってもよい。ビデオストリームは、例えば、低分解能または高分解能であってもよく、利用可能なリソースおよび／または帯域幅の関数として、（分解能、フレームレート等が）変動してもよい。
図２Ａ－２Ｅは、コンテンツ（例えば、仮想コンテンツとしての要素）をユーザおよび／またはデバイス（例えば、特定の頭部姿勢に基づく）のオリジナル視野内に表示するための異なる表示オプションを図示する。いくつかの実施形態では、ユーザおよび／またはデバイスの視野は、変化し得る（例えば、ユーザがその頭部をある視野から別の視野に移動させる）。変化した視野の結果、コンテンツを表示するための付加的表面オプションが、少なくとも部分的に、ユーザの視野の変化（例えば、頭部姿勢の変化）に基づいて、ユーザに利用可能になってもよい。コンテンツを表示するための付加的表面オプションはまた、少なくとも部分的に、ユーザおよび／またはデバイスのオリジナル視野内で元々利用可能ではないが、ユーザの視野の変化に基づいて、現時点でユーザに可視である、他の表面に基づいて、利用可能になってもよい。したがって、図２Ａ－２Ｄの視認場所オプション２１４はまた、コンテンツを表示するための付加的オプションを描写してもよい。例えば、図２Ａ－２Ｄは、３つの表示オプションを描写する。ユーザの視野が変化につれて、より多くの表示オプションは、利用可能になってもよく、これは、付加的表示オプションを示すためのより多くのドットを表示する視認場所オプション２１４をもたらし得る。同様に、新しい視野が、より少ない表面オプションを有する場合、視認場所オプション２１４は、コンテンツが新しい視野に表示されるために利用可能ないくつかの表示オプションを示すために、３つ未満のドットを表示してもよい。したがって、ユーザの変化した視野に基づいて、コンテンツを表示するための１つ以上の付加的表面オプションが、選択のためにユーザに表示されてもよく、変化した視野は、ユーザの頭部姿勢および／またはデバイスの変化に対応する。
いくつかの実施形態では、ユーザおよび／またはデバイスは、第１の視野を有し得る。第１の視野は、コンテンツを表示するための表面オプションを生成するために使用され得る。例えば、第１の視野内の３つの表面オプションが、コンテンツ要素を表示するために利用可能であり得る。ユーザは、次いで、その視野を第１の視野から第２の視野に変化し得る。第２の視野は、次いで、コンテンツを表示するために付加的表面オプションを生成するために使用され得る。例えば、第２の視野内の２つの表面オプションが、コンテンツ要素を表示するために利用可能であり得る。第１の視野内の表面と第２の視野内の表面との間には、合計５つの表面オプションが存在し得る。５つの表面オプションは、ユーザに、視認場所提案として表示されてもよい。ユーザが、第２の視野内を見ており、第１の視野内の視認場所提案を選択する場合、ユーザは、ユーザに選択された表面オプション／視認場所を視認するために第１の視野に戻るように示される方向にナビゲートすべきであることを示す、第１の視野の方向におけるインジケーション（例えば、矢印、光彩等）を受信し得る。
いくつかの実施形態では、ユーザは、第１の視野内の第１の表面上に表示されるコンテンツを視認し得る。第１の視野は、関連付けられた第１の頭部姿勢を有し得る。ユーザがその視野を第１の視野から第２の視野に変化させる場合、ある時間周期後、システムは、ユーザに、コンテンツの表示場所を第１の視野内の第１の表面から第２の視野内の１つ以上の表面オプションに変化させるためのオプションを提供してもよい。第２の視野は、関連付けられた第２の頭部姿勢を有し得る。いくつかの実施形態では、システムは、いったんユーザの視野が、第１の視野から第２の視野に、したがって、ユーザおよび／またはデバイスの第１の頭部姿勢からユーザおよび／またはデバイスの第２の頭部姿勢に変化され、第１の頭部姿勢および第２の頭部姿勢が、頭部姿勢変化閾値を上回る位置の変化を有すると、ユーザに、コンテンツを移動させるためのオプションを直ちに提供してもよい。いくつかの実施形態では、ユーザが第２の視野、したがって、第２の頭部姿勢の状態のままである時間閾値（例えば、５秒）が、システムがユーザにコンテンツの表示場所を変化させるためのオプションを提供するかどうかを決定してもよい。いくつかの実施形態では、システムがコンテンツの表示場所を変化させるためのオプションを提供するようにトリガするための視野の変化は、対応する頭部姿勢変化閾値未満（例えば、第１の視野、したがって、第１の頭部姿勢の方向に対して任意の方向に９０度未満）等の若干の変化であってもよい。いくつかの実施形態では、頭部姿勢の変化は、システムがユーザにコンテンツの表示場所を変化させるためのオプションを提供する前に、頭部姿勢変化閾値を上回ってもよい（例えば、任意の方向に９０度を上回る）。したがって、変化した視野に基づく、コンテンツを表示するための１つ以上の付加的表面オプションは、少なくとも部分的に、変化した視野に対応する時間閾値に基づいて表示されてもよい。いくつかの実施形態では、ユーザの変化した視野に基づいて、コンテンツを表示するための１つ以上の付加的表面オプションは、少なくとも部分的に、頭部姿勢変化閾値に基づいて表示されてもよい。
いくつかの実施形態では、システムは、コンテンツを視認するユーザが第１の頭部姿勢を有する、１つ以上の第１の表面上に、コンテンツをレンダリング／表示してもよい。コンテンツを視認するユーザは、そのおよび／またはデバイスの頭部姿勢を第１の頭部姿勢から第２の頭部姿勢に変化させ得る。頭部姿勢の変化に応答して、システムは、コンテンツを視認するユーザが第２の頭部姿勢を有する、１つ以上の第２の表面上に、コンテンツをレンダリング／表示してもよい。いくつかの実施形態では、システムは、ユーザに、コンテンツのレンダリング／表示場所を１つ以上の第１の表面から１つ以上の第２の表面に変化させるためのオプションを提供してもよい。いくつかの実施形態では、システムは、いったんユーザの頭部姿勢が、第１の頭部姿勢から第２の頭部姿勢に変化すると、ユーザに、コンテンツを移動させるためのオプションを直ちに提供してもよい。いくつかの実施形態では、システムは、頭部姿勢変化が対応する頭部姿勢変化閾値（例えば、９０度）を上回る場合、ユーザに、コンテンツのレンダリング／表示場所を変化させるためのオプションを提供してもよい。いくつかの実施形態では、システムは、頭部姿勢変化が閾値時間周期（例えば、５秒）にわたって維持される場合、ユーザに、コンテンツのレンダリング／表示場所を変化させるためのオプションを提供してもよい。いくつかの実施形態では、コンテンツのレンダリング／表示場所を変化させるためのオプションを提供するようにシステムをトリガするための頭部姿勢の変化は、対応する頭部姿勢変化閾値未満（例えば、９０度未満）等の若干の変化であってもよい。
属性
一般的属性
上記に述べられたように、解析器１１５は、コンテンツ要素毎に、属性を識別／決定および記憶してもよく、環境解析器１６８は、表面毎に、属性を決定および記憶してもよい。コンテンツ要素の属性は、コンテンツ１１０のコンテンツ設計者によって明示的に示されてもよい、または解析器１１５によって決定または別様に推測されてもよい。表面の属性は、環境解析器１６８によって決定されてもよい。
コンテンツ要素および表面の両方が有し得る属性は、例えば、配向、アスペクト比、寸法、エリア（例えば、サイズ）、相対的視認位置、色、コントラスト、可読性インデックス、および／または時間を含む。これらの属性に関するさらなる詳細が、下記に提供される。当業者は、コンテンツ要素および表面が付加的属性を有してもよいことを理解し得る。
コンテンツ要素および表面に関して、配向属性は、配向を示す。配向値は、垂直、水平、および／または具体的角度（例えば、水平に関して０度、垂直に関して９０度、または角度付けられた配向に関して０～９０度の間の任意の場所）を含んでもよい。具体的角度配向属性は、度またはラジアン単位で規定／決定されてもよい、またはｘ－軸またはｙ－軸に対して規定／決定されてもよい。いくつかの実施形態では、傾斜された表面は、例えば、ある傾角角度で流動するコンテンツの水流を表示し、異なる芸術的作品を示すために定義されてもよい。いくつかの実施形態では、コンテンツ要素に関して、アプリケーションのナビゲーションバーが、水平配向であるが、特定の角度において傾斜されるように定義されてもよい。
コンテンツ要素および表面に関して、アスペクト比属性は、アスペクト比を示す。アスペクト比属性は、例えば、４：３または１６：９比率として規定されてもよい。コンテンツ要素は、コンテンツ要素のアスペクト比属性および対応する１つ以上の表面に基づいて、スケーリングされてもよい。いくつかの実施形態では、システムは、他のコンテンツ要素の属性（例えば、寸法および／または面積）に基づいて、コンテンツ要素（例えば、ビデオ）のアスペクト比を決定し、決定されたアスペクト比に基づいて、コンテンツ要素をスケーリングしてもよい。いくつかの実施形態では、システムは、他の表面の属性に基づいて、表面のアスペクト比を決定してもよい。
アスペクト比属性内には、コンテンツ要素のコンテンツ設計者がコンテンツ要素が維持または変化されるための特定のアスペクト比を推奨するために使用し得る、特定のプロパティが存在し得る。一実施例では、本特定のプロパティが、「維持」または類似キーワードまたは語句に設定される場合、コンテンツ要素のアスペクト比は、維持される（すなわち、変化されない）であろう。一実施例では、本特定の属性が、例えば、「自由」または類似キーワードまたは語句に設定される場合、コンテンツ要素のアスペクト比は、変化され（例えば、スケーリングまたはその他）、例えば、コンテンツ要素がマッチングされる１つ以上の表面のアスペクト比にマッチングさせてもよい。アスペクト比属性のデフォルト値は、コンテンツ要素のオリジナルアスペクト比を維持するためのものであってもよく、アスペクト比属性のデフォルト値は、コンテンツ設計者がコンテンツ要素のアスペクト比属性のためのある他の値またはキーワードを指定する場合、および／またはシステムがアスペクト比属性がコンテンツ要素を１つ以上の表面により良好にマッチングさせるように上書きされるべきであることを決定する場合、上書きされてもよい。
コンテンツ要素および表面に関して、寸法属性は、寸法を示す。コンテンツ要素の寸法属性は、ピクセル（例えば、８００ピクセル×６００ピクセル）の関数として、コンテンツ要素の寸法を示してもよい。表面の寸法属性は、メートル（例えば、０．８メートル×０．６メートル）または任意の他の測定単位の関数として、表面の寸法を示してもよい。表面の寸法属性は、表面の測定可能範囲を示してもよく、測定可能範囲は、長さ、範疇、深度、および／または高さを含んでもよい。コンテンツ要素に関して、寸法属性は、コンテンツ要素を表示するための表面のある形状および外部サイズを提案するように、コンテンツ設計者によって規定されてもよい。
コンテンツ要素および表面に関して、面積属性は、面積またはサイズを示す。コンテンツ要素の面積属性は、ピクセル（例えば、４８０，０００平方ピクセル）の関数として、コンテンツ要素の面積を示してもよい。エリア表面の属性は、メートル（例えば、４８平方メートル）または任意の他の測定単位の関数として、表面の面積を示してもよい。表面に関して、面積は、ユーザによって知覚される知覚面積であってもよい、または絶対面積であってもよい。知覚面積は、コンテンツ要素がユーザのより近くに表示されるとき、コンテンツ要素は、より小さいサイズであるように知覚され、コンテンツ要素がユーザからより遠くに離れているとき、コンテンツ要素は、依然として、同一の特定のサイズであるようにユーザによって知覚されるように、適宜、拡大され、コンテンツ要素がユーザのより近くに来るとき、その逆も同様であり得るように、ユーザからの表示されるコンテンツ要素の角度および距離とともに増加される絶対面積によって定義されてもよい。絶対面積は、環境内の表示されるコンテンツ要素からの距離にかかわらず、単に、例えば、平方メートルによって定義されてもよい。
コンテンツ要素および表面に関して、相対的視認位置属性は、ユーザの頭部姿勢ベクトルに対する位置に関する。頭部姿勢ベクトルは、ユーザによって装着される頭部搭載型デバイスの位置および配向の組み合わせであってもよい。位置は、環境および／またはユーザ感知システムから受信された情報を使用して実世界座標系内で追跡される、ユーザの頭部上に装着されているデバイスの固定点であってもよい。ユーザの頭部姿勢ベクトルの配向成分は、頭部搭載型デバイスにローカルの３次元デバイス座標系と３次元実世界座標系との間の関係によって定義されてもよい。デバイス座標系は、３つの直交方向、すなわち、デバイスを通したユーザの前方の通視線に近似する、前向きに向いた視認方向、デバイスの直立方向、およびデバイスの右方向によって定義されてもよい。他の基準方向はまた、選定されてもよい。環境および／またはユーザ感知システム内のセンサによって取得される情報は、実世界座標系に対するローカル座標系の配向を決定するために使用されてもよい。
デバイス座標系をさらに例証するために、ユーザが、デバイスを装着しており、上下逆に吊架されている場合、そのユーザおよびデバイスに関する直立方向は、実際には、地面に向かって向いている方向（例えば、重力の下向き方向）である。しかしながら、ユーザの視点から、デバイスの相対的直立方向は、依然として、ユーザの直立方向と整合する。例えば、ユーザが、上下逆に吊架されてる間、典型的上／下左／右方式で本を読んでいる場合、ユーザは、正常に立っており、上下逆に吊架されていない、他者によって、実世界座標系からは、本を上下逆に保持しているように見られるであろうが、ユーザの視点に近似する、ローカルデバイス座標系に対しては、本は、直立に配向されている。
コンテンツ要素に関して、相対的視認位置属性は、コンテンツ要素が頭部姿勢ベクトルに対して表示されるべき位置を示し得る。表面に関して、相対的視認位置属性は、ユーザの頭部姿勢ベクトルに対する環境内の表面の位置を示し得る。前向きに向いた視認方向ベクトル等の頭部姿勢ベクトルの成分ベクトルもまた、表面の相対的視認位置属性を決定するための、および／またはコンテンツ要素に関する相対的視認位置属性を決定するための基準として使用されてもよいことを理解されたい。例えば、コンテンツ設計者は、検索バー等のコンテンツ要素が、常時、ユーザの頭部姿勢ベクトルに対してユーザの左または右に最大３０度であるべきであって、ユーザが左または右に３０度を上回って移動する場合、検索バーが、依然として、ユーザの頭部姿勢ベクトルの左または右に３０度以内であるように、調節されるべきであることを示してもよい。いくつかの実施形態では、コンテンツは、瞬間的に調節される。いくつかの実施形態では、コンテンツは、いったん時間閾値が満たされると調節される。例えば、ユーザが、左または右に３０度を上回って移動すると、検索バーは、５秒の時間閾値が経過した後に調節されるべきである。
相対的視認角度が、ユーザの頭部姿勢ベクトルに対してある角度または角度範囲を維持するように規定されてもよい。例えば、ビデオ等のコンテンツ要素は、ビデオがユーザの前向きに向いた視認ベクトルに略直交する表面上に表示されるべきであることを示す、相対的視認位置属性を有し得る。ユーザが、壁等の表面の正面に立っており、真正面を見ている場合、ユーザの前向きに向いた視認ベクトルに対する壁の相対的視認位置属性は、コンテンツ要素の相対的視認位置属性要件を満たし得る。しかしながら、ユーザが床を見下ろしている場合、壁の相対的視認位置属性は、変化し、床の相対的視認位置属性は、コンテンツ要素の相対的視認位置属性要件をより良好に満たす。そのようなシナリオでは、コンテンツ要素は、壁ではなく、床上に投影されるように移動されてもよい。いくつかの実施形態では、相対的視認位置属性は、ユーザからの深度または距離であってもよい。いくつかの実施形態では、相対的視認位置属性は、ユーザの現在の視認位置に対する相対的位置であってもよい。
コンテンツ要素および表面に関して、色属性は、色を示す。コンテンツ要素に関して、色属性は、１つ以上の色、色が変化され得るかどうか、不透明度、および同等物を示してもよい。表面に関して、色属性は、１つ以上の色、色勾配、および同等物を示してもよい。色属性は、可読性および／またはコンテンツ要素の知覚／コンテンツ要素が表面上で知覚されるであろう方法と関連付けられてもよい。いくつかの実施形態では、コンテンツ設計者は、コンテンツ要素の色を、例えば、白色または明色として定義してもよい。いくつかの実施形態では、コンテンツ設計者は、システムがコンテンツ要素（例えば、企業のロゴ）の色を変化させることを所望しない場合がある。これらの実施形態では、システムは、コンテンツ要素が表示される１つ以上の表面の背景を変化させ、可読性のために必要なコントラストを作成してもよい。
コンテンツ要素および表面に関して、コントラスト属性は、コントラストを示す。コンテンツ要素に関して、コントラスト属性は、現在のコントラスト、コントラストが変化され得るかどうか、コントラストが変化され得る方法に関する方向、および同等物を示してもよい。表面に関して、コントラスト属性は、現在のコントラストを示してもよい。コントラスト選好属性は、可読性および／またはコンテンツ要素の知覚／コンテンツ要素が表面上で知覚されるであろう方法と関連付けられてもよい。いくつかの実施形態では、コンテンツ設計者は、コンテンツ要素が表面の背景に対して高コントラストを伴って表示されることを所望する場合がある。例えば、コンテンツ要素のあるバージョンは、コンピュータ、スマートフォン、タブレット等のモニタ上で、黒色背景上の白色テキストとして、ウェブページ内に提示されてもよい。白色壁が、同様に白色であるテキストコンテンツ要素を表示するようにマッチングされてもよい。いくつかの実施形態では、システムは、テキストコンテンツ要素をより暗い色（例えば、黒色）に変化させ、コントラストを提供し、コントラスト属性を満たしてもよい。
いくつかの実施形態では、システムは、表面の背景色を変化させ、色および／またはコントラストを提供し、コンテンツ要素を変化させずに、色および／またはコントラスト属性を満たしてもよい。システムは、仮想表面を（実）表面の場所に作成することによって、（実）表面の背景色を変化させてもよく、仮想表面の色は、所望される背景色である。例えば、ロゴの色が変化されるべきではない場合、システムは、表面の背景色を変化させ、色コントラストを提供し、ロゴを保存しながら、色および／またはコントラスト選好属性を満たすことによって、適正なコントラストを提供してもよい。
コンテンツ要素および表面に関して、可読性インデックス属性は、可読性メトリックを示してもよい。コンテンツ要素に関して、可読性インデックス属性は、コンテンツ要素に関して維持されるべき可読性メトリックを示す。コンテンツ要素に関して、システムは、可読性インデックス属性を使用して、他の属性に関する優先順位を決定してもよい。例えば、システムは、可読性インデックスがコンテンツ要素に関して「高」である場合、これらの属性に関する優先順位を「高」に設定してもよい。いくつかの実施例では、コンテンツ要素が、合焦されており、適正なコントラストが存在する場合でも、システムは、可読性インデックス属性に基づいて、コンテンツ要素をスケーリングし、可読性メトリックが維持されることを確実にしてもよい。いくつかの実施形態では、特定のコンテンツ要素に関する高可読性インデックス属性値は、特定のコンテンツ要素の優先順位が「高」に設定される場合、他のコンテンツ要素に関する他の明示的属性を率先または優先させてもよい。表面に関して、可読性インデックス属性は、表面上に表示される場合、テキストを含むコンテンツ要素がユーザによって知覚されるであろう方法を示し得る。
テキスト視認性は、純粋なＶＲ環境にとって、解決が困難な問題である。本問題は、実世界色、明度、照明、反映、および他の能力が、ＡＲデバイスによってレンダリングされたテキストを読み取るユーザ能力に直接影響を及ぼすため、ＡＲ環境内では、さらにより複雑になる。例えば、ウェブブラウザによってレンダリングされたウェブコンテンツは、主に、テキスト駆動され得る。実施例として、ＪａｖａＳｃｒｉｐｔ（登録商標） ＡＰＩ（例えば、現在のＷ３Ｃ Ｃａｍｅｒａ ＡＰＩの新しい拡張子を介して）のセットは、コンテンツ設計者に、現在の世界パレットおよびフォントおよび背景色のためのコントラスト代替パレットを提供し得る。ＪａｖａＳｃｒｉｐｔ（登録商標） ＡＰＩのセットは、コンテンツ設計者が、実単語配色に従って、ウェブコンテンツ配色を調節し、コンテンツコントラストおよびテキスト視認性（例えば、可読性）を改良するための一意の能力を提供し得る。コンテンツ設計者は、ウェブコンテンツに関するより良好な視認性を提供するようにフォント色を設定することによって、本情報を使用し得る。これらのＡＰＩは、本情報をリアルタイムで追跡するために使用されてもよく、したがって、ウェブページは、環境の光変化に対して、適宜、そのコントラストおよび配色を調節してもよい。例えば、図３Ａは、ウェブコンテンツ３１３が、少なくとも、ウェブコンテンツ３１３のテキストが明配色で表示され、暗い実世界環境に対して読みやすくなるように調節することによって、暗い実世界環境の光および色条件に対して調節される様子を図示する。図３Ａに図示されるように、ウェブコンテンツ３１３内のテキストは、明色を有し、ウェブコンテンツ３１３内の背景は、暗色を有する。図３Ｂは、ウェブコンテンツ３１５が、少なくとも、ウェブコンテンツ３１５のテキストが暗配色で表示され、明るい実世界環境に対して読みやすくなるように調節することによって、明るい実世界環境の光および色条件に対して調節される様子を図示する。図３Ｂに図示されるように、ウェブコンテンツ３１５内のテキストは、暗色を有し、ウェブコンテンツ３１３内の背景は、明色を有する。当業者は、例えば、ウェブコンテンツ３１３（例えば、より暗い背景およびより明るいテキスト）またはウェブコンテンツ３１５（例えば、より明るい背景およびより暗いテキスト）の背景色等の他の要因もまた、テキストが、より少なくとも部分的に、実世界環境の光および色条件に基づいて、読みやすくなり得るように、色のコントラストを提供するために、調節されてもよいことを理解し得る。
コンテンツ要素に関して、時間属性は、コンテンツ要素が表示されるべき時間を示す。時間属性は、短（例えば、５秒未満）、中（例えば、５秒～３０秒）、長（例えば、３０秒を上回る）であってもよい。いくつかの実施形態では、時間属性は、無限であってもよい。時間属性が、無限である場合、コンテンツ要素は、閉じられ、および／または他の別のコンテンツ要素がロードされるまで、留まり得る。いくつかの実施形態では、時間属性は、入力の関数であってもよい。一実施例では、コンテンツ要素が、記事である場合、時間属性は、ユーザが記事の最後に到達したことを示す入力の関数であって、閾値時間周期にわたってそこに留まってもよい。一実施例では、コンテンツ要素が、ビデオである場合、時間属性は、ユーザがビデオの最後に到達したことを示す、入力の関数であってもよい。
表面に関して、時間属性は、表面が利用可能となるであろう時間を示す。時間属性は、短（例えば、５秒未満）、中（例えば、５秒～３０秒）、長（例えば、３０秒を上回る）であってもよい。いくつかの実施形態では、時間属性は、無限であってもよい。いくつかの実施形態では、時間属性は、例えば、センサ１６２からのセンサ入力の関数であってもよい。センサ１６２、例えば、ＩＭＵ、加速度計、ジャイロスコープ、および同等物からのセンサ入力が、デバイスの視野に対する表面の可用性を予測するために使用されてもよい。一実施例では、ユーザが、歩行している場合、ユーザの近傍の表面は、短時間属性を有し得、ユーザから少し離れた表面は、中時間属性を有し得、距離が離れた表面は、長時間属性を有し得る。一実施例では、ユーザが、長椅子上でじっと座ったままである場合、ユーザの正面の壁は、閾値を上回るデータの変化がセンサ１６２から受信されるまで、無限時間属性を有し得、その後、ユーザの正面の壁の時間属性は、無限から別の値に変化してもよい。
コンテンツ要素属性
コンテンツ要素は、例えば、優先順位、表面のタイプ、位置タイプ、マージン、コンテンツのタイプ、および／または焦点属性等のコンテンツ要素に特有の属性を有してもよい。これらの属性に関するさらなる詳細が、下記に提供される。当業者は、コンテンツ要素が付加的属性を有してもよいことを理解し得る。
優先順位属性は、コンテンツ要素（例えば、ビデオ、写真、またはテキスト）に関する優先順位値を示す。優先順位値は、高、中、または低優先順位、例えば、０～１００に及ぶ数値、および／または要求または要求されないインジケータを含んでもよい。いくつかの実施形態では、優先順位値は、コンテンツ要素自体に関して規定されてもよい。いくつかの実施形態では、優先順位値は、具体的属性に関して規定されてもよい。例えば、コンテンツ要素に関する可読性インデックス属性は、高に設定され、コンテンツ設計者が強調をコンテンツ要素の可読性上に設置していることを示してもよい。
表面のタイプ属性または「表面タイプ」属性は、コンテンツ要素がマッチングされるべき表面のタイプを示す。表面タイプ属性は、あるコンテンツ要素がある場所内および／またはある表面上に設置されるべきかどうか等の意味論に基づいてもよい。いくつかの実施例では、コンテンツ設計者は、特定のコンテンツ要素を窓または絵画にわたって表示しないように提案してもよい。いくつかの実施例では、コンテンツ設計者は、常時、特定のコンテンツ要素をユーザの実質的に正面の最大垂直表面上に表示することを提案してもよい。
位置タイプ属性は、コンテンツ要素の位置を示す。位置タイプ属性は、動的または固定されてもよい。動的位置タイプは、例えば、コンテンツ要素が、ユーザの手が移動すると、コンテンツ要素がユーザの手とともに動的に移動するように、ユーザの手に添着されると仮定してもよい。固定位置タイプは、例えば、コンテンツ要素が、表面、環境内の具体的位置、またはユーザの身体または頭部／視認位置に対する仮想世界に対して固定されると仮定し、その実施例は、以下により詳細に説明される。
用語「固定」にはまた、（ａ）世界固定、（ｂ）オブジェクト／表面固定、（ｃ）身体固定、および（ｄ）頭部固定等の異なるレベルが存在し得る。（ａ）世界固定に関して、コンテンツ要素は、世界に対して固定される。例えば、ユーザが世界内で動き回る場合、コンテンツ要素は、移動せず、世界に対する場所に固定されたままである。（ｂ）オブジェクト／表面固定に関して、コンテンツ要素は、オブジェクトまたは表面が移動される場合、コンテンツ要素がオブジェクトまたは表面とともに移動するように、オブジェクトまたは表面に固定される。例えば、コンテンツ要素は、ユーザが保持しているメモ帳に固定されてもよい。この場合、コンテンツは、メモ帳の表面に固定されたオブジェクトであって、適宜、メモ帳とともに移動する。（ｃ）身体固定に関して、コンテンツ要素は、ユーザの身体に対して固定される。ユーザが、その身体を移動させる場合、コンテンツ要素は、ユーザとともに移動し、ユーザの身体に対して固定位置を維持する。（ｄ）頭部固定に関して、コンテンツ要素は、ユーザの頭部または姿勢に対して固定される。ユーザが、その頭部を回転させる場合、コンテンツ要素は、ユーザの頭部移動に対して移動するであろう。また、ユーザが歩行する場合、コンテンツ要素もまた、ユーザの頭部に対して移動するであろう。
マージン（またはパディング）属性は、コンテンツ要素の周囲のマージンを示す。マージン属性は、他のコンテンツ要素に対するコンテンツ要素の場所を説明する、レイアウト属性である。例えば、マージン属性は、コンテンツ要素境界から別のコンテンツ要素の最近傍許容可能境界までの距離を表す。いくつかの実施形態では、距離は、ｘ、ｙ、ｚ座標ベースのマージンであって、コンテンツ要素境界の頂点または他の指定される場所から測定されてもよい。いくつかの実施形態では、距離は、極座標ベースのマージンであって、コンテンツ要素の中心またはコンテンツ要素の頂点等の他の指定される場所から測定されてもよい。いくつかの実施形態では、マージン属性は、コンテンツ要素からコンテンツ要素の内側の実際のコンテンツまでの距離を定義する。いくつかの実施形態では、分解されるコンテンツ要素等に関して、マージン属性は、マージンがコンテンツ要素とマッチングされた表面との間のオフセットとしての役割を果たすように、分解されるコンテンツ要素がマッチングされる表面の境界に対して維持されるべきマージンの量を表す。いくつかの実施形態では、マージン属性は、コンテンツ要素自体から抽出されてもよい。
コンテンツのタイプ属性または「コンテンツタイプ」属性は、コンテンツ要素に関するタイプを示す。コンテンツタイプは、対応するメディアへの参照および／またはリンクを含んでもよい。例えば、コンテンツタイプ属性は、コンテンツ要素を画像、ビデオ、音楽ファイル、テキストファイル、ビデオ画像、３Ｄ画像、３Ｄモデル、コンテナコンテンツ（例えば、コンテナ内にラッピングされ得る、任意のコンテンツ）、広告、および／またはコンテンツ設計者定義レンダリングキャンバス（例えば、２Ｄキャンバスまたは３Ｄキャンバス）として規定してもよい。コンテンツ設計者定義レンダリングキャンバスは、例えば、ゲーム、レンダリング、マップ、データ可視化、および同等物を含んでもよい。広告コンテンツタイプは、ユーザが、特定のコンテンツ要素またはその近傍に合焦するとき、ユーザに提示されるべき音または広告を定義する、属性を含んでもよい。広告は、（ａ）鳴音等の聴覚的、（ｂ）ビデオ／画像／テキスト等の視覚的、および／または（ｃ）ユーザのコントローラまたはヘッドセットおよび同等物における振動等の触覚的インジケータであってもよい。
焦点属性は、コンテンツ要素が合焦されるべきどうかを示す。いくつかの実施形態では、焦点は、ユーザおよびコンテンツ要素が表示される表面からの距離の関数であってもよい。コンテンツ要素に関する焦点属性が、常時、合焦されるように設定される場合、システムは、ユーザがコンテンツ要素からどんなに遠く離れても、コンテンツ要素を合焦されたままに保つ。コンテンツ要素に関する焦点属性が、規定されない場合、システムは、ユーザがコンテンツ要素からある距離にあるとき、コンテンツを合焦外にしてもよい。これは、例えば、寸法属性、面積属性、相対的視認位置属性、および同等物等の他のコンテンツ要素の属性に依存し得る。
表面属性
表面は、例えば、表面輪郭、テクスチャ、および／または占有属性等の表面に特有の属性を有してもよい。これらの属性に関するさらなる詳細が、下記に提供される。当業者は、表面が付加的属性を有してもよいことを理解し得る。
いくつかの実施形態では、環境解析器１６８は、１つおよび／または全ての表面に関する面法線ベクトル、配向ベクトル、および／または直立ベクトル等の表面輪郭属性（および関連付けられた属性）を決定してもよい。３Ｄの場合、点Ｐにおける表面に対する面法線、または単に、法線は、点Ｐにおける表面に対する接線平面と垂直なベクトルである。用語「法線」はまた、形容詞、すなわち、平面に対して法線の線、力に対する法線成分、法線ベクトル、および同等物として使用されてもよい。
上記に議論される、ユーザおよび頭部姿勢ベクトルの少なくとも１つの成分を囲繞する環境表面の面法線ベクトルは、表面のある属性（例えば、サイズ、テクスチャ、アスペクト比等）が、あるコンテンツ要素（例えば、ビデオ、３次元モデル、テキスト等）を表示するために理想的であり得るが、そのような表面が、ユーザの頭部姿勢ベクトルの少なくとも１つの成分ベクトルによって近似されるにつれて、ユーザの通視線に対して対応する面法線の不良位置付けを有し得るため、マッチングモジュール１４２にとって重要であり得る。面法線ベクトルとユーザの頭部姿勢ベクトルを比較することによって、そうでなければ表示されるコンテンツにとって適切であり得る表面は、不適格にされる、またはフィルタリングされてもよい。
例えば、表面の面法線ベクトルは、ユーザの頭部姿勢ベクトルと実質的に同一方向にあり得る。これは、ユーザおよび表面が、相互に向かってではなく、同一方向に面していることを意味する。例えば、ユーザの前方方向が、北に面する場合、北に向いている法線ベクトルを有する表面がユーザの背面に面するか、またはユーザが表面の背面に面しているかのいずれかである。ユーザが、表面がユーザに背を向けているため、表面を見ることができない場合、その特定の表面は、そうでなければ提示され得るその表面に関する有益な属性値であるにもかかわらず、コンテンツを表示するための最適表面ではなくなるであろう。
ユーザの前向きに向いた視認方向に近似する、デバイスの前向きに向いた視認ベクトルと、面法線ベクトルとの間の比較は、数値を提供してもよい。例えば、ドット積関数が、２つのベクトルを比較し、２つのベクトル間の相対的角度を説明する数値関係を決定するために使用されてもよい。そのような計算は、１～－１の数をもたらし得、より負の値は、ユーザが表面上に設置された仮想コンテンツを快適に見ることが可能であるであろうように、表面がユーザの前向きに向いた視認方向に直交するように近接するため、視認のためにより好ましい相対的角度に対応する。したがって、識別された面法線ベクトルに基づいて、良好な表面選択のための特性は、コンテンツがユーザの前向きに向いた視認ベクトルに向かって面する表面上に表示されるべきであるように、ユーザの頭部姿勢ベクトルまたはその成分に対するものであってもよい。制約が、頭部姿勢ベクトル成分と面法線成分との間の容認可能関係上に課されてもよいことを理解されたい。例えば、ユーザの前向きに向いた視認ベクトルとの負のドット積をもたらす全ての表面は、コンテンツ表示のために検討され得るように選択されてもよい。コンテンツに応じて、容認可能範囲に影響を及ぼす、コンテンツプロバイダまたはアルゴリズムまたはユーザ選好が、考慮されてもよい。ビデオがユーザの前方方向に対して略法線に表示される必要がある、インスタンスでは、より小さいドット積出力の範囲が、可能にされ得る。当業者は、多くの設計オプションが、他の表面属性、ユーザ選好、コンテンツ属性、および同等物に応じて可能性として考えられることを理解されるであろう。
いくつかの実施形態では、表面は、サイズおよび場所および頭部姿勢視点から、優れた適合であり得るが、表面は、表面がテクスチャ属性および／または占有属性等の属性を含み得るため、選択のための良好なオプションではない場合がある。テクスチャ属性は、提示するための清潔かつクリアな表面の単純外観を提示のために理想的ではない雑然とした表面に変化させ得る、材料および／または設計を含み得る。例えば、煉瓦壁は、コンテンツを表示するために理想的な大規模な開けた面積を有し得る。しかしながら、煉瓦壁内の赤色の積層された煉瓦のため、システムは、煉瓦壁を、直接その上にコンテンツを表示するために望ましくないと見なし得る。これは、表面のテクスチャが、煉瓦とモルタルとの間としての粗度変動およびコンテンツとのより強いコントラスト複雑性を誘発し得る非中立赤色を有するためである。別の望ましくないテクスチャ実施例は、背景設計パターンおよび色だけではなく、表面粗度変動を作成する吹き出しまたは非均一アプリケーション等の不完全性に関する壁紙設計を有する、表面を含み得る。いくつかの実施形態では、壁紙設計は、コンテンツを壁紙上に直接表示することがコンテンツを好ましいビューに表示することになり得ない、非常に多くのパターンおよび／または色を含み得る。占有属性は、付加的コンテンツを表面が占有されていることを示す値を有する特定の表面に表示することが、新しいコンテンツが占有しているコンテンツにわたって表示されない、またはその逆である結果をもたらし得るように、表面が別のコンテンツによって現在占有されていることを示し得る。いくつかの実施形態では、占有属性は、表面を占有する小実世界欠陥またはオブジェクトの存在に留意させる。そのような占有する実世界オブジェクトは、センサ群１６２内の深度センサにとって判別不能であるが、センサ１６２内のカメラによって顕著であり得る、無視可能である表面積のアイテム（亀裂または釘等）を含み得る。他の占有する実世界オブジェクトは、その上に配置される表面に伴って低テクスチャ変動を有する、壁から吊架されている写真またはポスターを含み得、いくつかのセンサ１６２によって表面と異なると区別されない場合があるが、１６２のカメラは、認識し得、占有属性は、適宜、表面を更新し、表面が「空キャンバス」であるというシステムによる決定を除外する。
いくつかの実施形態では、コンテンツは、その相対的位置が（実）表面に関連する、仮想表面上に表示されてもよい。例えば、表面を示すテクスチャ属性が、単純／清潔ではなく、および／または占有属性が、表面が占有されていることを示す場合、コンテンツは、例えば、マージン属性公差内の（実）表面の正面の仮想表面上に表示されてもよい。いくつかの実施形態では、コンテンツ要素に関するマージン属性は、テクスチャ属性および／または表面の占有属性の関数である。
フロー
コンテンツ要素と表面のマッチング（概要）
図４は、いくつかの実施形態による、コンテンツ要素を表面にマッチングさせるための方法を図示する、フロー図である。本方法は、４１０において、コンテンツを受信するステップと、４２０において、コンテンツ内のコンテンツ要素を識別するステップと、４３０において、表面を決定するステップと、４４０において、コンテンツ要素を表面内にマッチングさせるステップと、４５０において、コンテンツ要素を仮想コンテンツとしてマッチングされた表面上にレンダリングするステップとを含む。解析器１１５は、コンテンツ１１０を受信する４１０。解析器１１５は、コンテンツ１１０内のコンテンツ要素を識別する４２０。解析器１１５は、コンテンツ要素毎に、属性を識別／決定および記憶してもよい。環境解析器１６８は、環境内の表面を決定する４３０。環境解析器１６８は、表面毎に、属性を決定および記憶してもよい。いくつかの実施形態では、環境解析器１６８は、環境内の表面を持続的に決定する４３０。いくつかの実施形態では、環境解析器１６８は、解析器１１５がコンテンツ１１０を受信し４１０、および／またはコンテンツ１１０内のコンテンツ要素を識別する４２０につれて、環境内の表面を決定する４３０。マッチングモジュール１４２は、コンテンツ要素の属性および表面の属性に基づいて、コンテンツ要素を表面にマッチングさせる４４０。レンダリングモジュール１４６は、コンテンツ要素をそのマッチングされた表面にレンダリングする４５０。記憶モジュール１５２は、将来におけるコンテンツ要素をその表面上に設置するためのユーザ指定等による将来的使用のために、表面を登録する。いくつかの実施形態では、記憶モジュール１５２は、知覚フレームワーク１６６内にあってもよい。
コンテンツ内のコンテンツ要素の識別
図５は、いくつかの実施形態による、コンテンツ内のコンテンツ要素を識別するための方法を図示する、フロー図である。図５は、いくつかの実施形態による、図４の４２０におけるコンテンツ内の要素を識別するステップを開示する詳細なフローである。本方法は、図４の４２０におけるコンテンツ内の要素を識別するステップと同様に、５１０において、コンテンツ内のコンテンツ要素を識別するステップを含む。本方法は、属性を識別／決定する次のステップ５２０に進む。例えば、属性は、コンテンツの場所に関するタグから識別／決定されてもよい。例えば、コンテンツ設計者は、コンテンツを設計および構成しながら、属性（上記に説明される）を使用してコンテンツ要素を表示する場所および方法を定義してもよい。属性は、相互に対する特定の場所におけるコンテンツ要素の場所に関連してもよい。いくつかの実施形態では、属性を識別／決定するステップ５２０は、属性を推測するステップを含んでもよい。例えば、コンテンツ要素のそれぞれの属性は、相互に対するコンテンツ内のコンテンツ要素の場所に基づいて、決定または推測されてもよい。ヒント／タグを各コンテンツ要素から抽出するステップが、５３０において実施される。ヒントまたはタグは、コンテンツのコンテンツ設計者によって提供される、フォーマッティングヒントまたはフォーマッティングタグであってもよい。コンテンツ要素に関する代替表示形態をルックアップ／検索するステップが、５４０において実施される。あるフォーマッティングルールが、特定の視認デバイス上に表示されるコンテンツ要素に関して規定されてもよい。例えば、あるフォーマッティングルールは、ウェブページ上の画像に関して規定されてもよい。システムは、代替表示形態にアクセスしてもよい。識別されたコンテンツ要素を記憶するステップが、５５０において実施される。本方法は、コンテンツ要素を表面にマッチングさせるために合成プロセス１４０において使用されるために、識別された要素を非一過性記憶媒体の中に記憶してもよい。いくつかの実施形態では、コンテンツ要素は、一過性記憶媒体内に記憶されてもよい。
環境内の表面の決定
図６は、いくつかの実施形態による、ユーザの環境から表面を決定するための方法を図示する、フロー図である。図６は、図４の４３０における表面を決定するステップを開示する例示的詳細なフローである。図６は、６１０において、表面を決定するステップから開始する。６１０において表面を決定するステップは、環境の深度情報をセンサ１６２の深度センサから収集するステップと、再構成および／または表面分析を実施するステップとを含んでもよい。いくつかの実施形態では、センサ１６２は、点のマップを提供し、システム１００は、点間の一連の接続される頂点を再構成し、環境を表す仮想メッシュを作成する。いくつかの実施形態では、平面抽出または分析が、実施され、共通表面または表面の内容（例えば、壁、天井等）の解釈を示す、メッシュプロパティを決定する。本方法は、６２０において、ユーザの姿勢を決定する次のステップに進み、これは、頭部姿勢ベクトルをセンサ１６２から決定するステップを含んでもよい。いくつかの実施形態では、センサ１６２は、慣性測定ユニット（ＩＭＵ）データを収集し、ユーザ上のデバイスの回転を決定する。いくつかの実施形態では、センサ１６２は、カメラ画像を収集し、実世界に対するユーザ上のデバイスの位置を決定する。いくつかの実施形態では、頭部姿勢ベクトルが、ＩＭＵおよびカメラ画像データの一方または両方から導出される。６２０においてユーザの姿勢を決定するステップは、ユーザの姿勢が表面に関連するユーザに関する視点を提供するであろうため、表面を識別するための重要なステップである。６３０において、本方法は、表面の属性を決定する。各表面は、対応する属性とタグ付けおよびカテゴリ化される。本情報は、コンテンツ要素および表面をマッチングさせるときに使用されるであろう。いくつかの実施形態では、図１からのセンサ１６２は、処理するために、未加工データをＣＶＰＵ１６４に提供し、ＣＶＰＵ１６４は、環境解析器１６８のためのデータを準備するために、処理されたデータを知覚フレームワーク１６６に提供する。環境解析器１６８は、知覚フレームワーク１６６からの環境データを解析し、環境内の表面および対応する属性を決定する。６４０において、本方法は、抽出された要素を特定の表面にマッチング／マッピングするために、合成プロセス／マッチング／マッピングルーチンによって使用されるように、表面のインベントリを非一過性記憶媒体の中に記憶する。非一過性記憶媒体は、データ記憶デバイスを含んでもよい。決定された表面は、下記に説明される図１５に開示されるテーブル等の特定のテーブル内に記憶されてもよい。いくつかの実施形態では、識別された表面は、一過性記憶媒体内に記憶されてもよい。いくつかの実施形態では、６４０における記憶するステップは、コンテンツ要素の将来的マッチングのために、表面を好ましい表面として指定するステップを含む。
コンテンツ要素と表面のマッチング（詳細）
図７Ａ－７Ｂは、コンテンツ要素を表面にマッチングさせるための種々の方法を図示する、フロー図である。
図７Ａは、いくつかの実施形態による、コンテンツ要素を表面にマッチングさせるための方法を図示する、フロー図を描写する。図７Ａは、図４の４４０におけるコンテンツ要素を表面にマッチングさせるステップを開示する詳細なフローである。
７１０において、本方法は、識別されたコンテンツ要素がコンテンツ設計者によって提供されるヒントを含有するどうかを決定する。コンテンツ設計者は、コンテンツ要素を最良に表示するための場所に関するヒントを提供してもよい。
いくつかの実施形態では、これは、３Ｄ環境が利用可能である場合、既存のタグ要素（例えば、ＨＴＭＬタグ要素）を使用して、コンテンツ要素が表示され得る方法をさらに定義することによって遂行されてもよい。別の実施例として、コンテンツ設計者は、３Ｄ画像が、２Ｄ画像の代わりに、特定のコンテンツ要素のためのリソースとして利用可能であることを述べる、ヒントを提供してもよい。例えば、２Ｄ画像の場合、コンテンツ設計者は、基本タグを提供して、コンテンツ要素のためのリソースを識別することに加え、他の頻繁に使用されないタグを提供し、２Ｄ画像に対応する３Ｄ画像を含む、リソースを識別し、加えて、３Ｄ画像が使用される場合、それをユーザのビューの正面に顕著に表示するためのヒントを提供してもよい。いくつかの実施形態では、コンテンツ設計者は、コンテンツをレンダリングするディスプレイデバイスが３Ｄ画像を活用するための３Ｄ表示機能性を有し得ない場合、単に、本付加的「ヒント」を２Ｄ画像のためのリソースに提供してもよい。
７２０において、本方法は、コンテンツ設計者によって提供されるヒントを使用すべきか、またはコンテンツ要素を表面にマッチング／マッピングするための事前に定義されたルールのセットを使用すべきであるかどうかを決定する。いくつかの実施形態では、特定のコンテンツ要素に関して、コンテンツ設計者によって提供されるヒントが存在しない場合、本システムおよび方法は、事前に定義されたルールのセットを使用して、特定のコンテンツ要素を表面にマッチング／マッピングするための最良方法を決定してもよい。いくつかの実施形態では、コンテンツ設計者によって提供されるコンテンツ要素に関するヒントが存在し得るときでも、本システムおよび方法は、コンテンツ要素を表面にマッチング／マッピングするための事前に定義されたルールのセットを使用することが最良であり得ることを決定してもよい。例えば、コンテンツプロバイダが、ビデオコンテンツを水平表面上に表示するためのヒントを提供するが、システムが、ビデオコンテンツを垂直表面上に表示するための事前に定義されたルールに関して設定されている場合、事前に定義されたルールが、ヒントをオーバーライドしてもよい。いくつかの実施形態では、本システムおよび方法は、コンテンツ設計者によって提供されるヒントが十分であって、したがって、ヒントを使用して、コンテンツ要素を表面にマッチング／マッピングすることを決定してもよい。最終的には、コンテンツ要素を表面にマッチング／マッピングするために、コンテンツ設計者によって提供されるヒントを使用すべきか、または事前に定義されたルールを使用すべきであるかどうかを決定することは、システムの最終決定による。
７３０において、システムが、コンテンツ設計者によって提供されるヒントを利用する場合、本システムおよび方法は、ヒントを分析し、少なくとも部分的に、ヒントに基づいて、特定のコンテンツ要素を表示するために使用され得る、識別された周囲表面を含む、論理構造を検索する。
７４０において、本システムおよび方法は、最良適合アルゴリズムを起動し、提供されるヒントに基づいて、特定のコンテンツ要素に関する最良適合表面を選定する。最良適合アルゴリズムは、例えば、直接ビューを提案する特定のコンテンツ要素に関するヒントを得て、ユーザおよび／またはデバイスの現在の視野に対する正面および中心である表面を識別しようとしてもよい。
７５０において、本システムおよび方法は、コンテンツ要素と表面のマッチングを有する、マッチング結果を記憶する。テーブルが、コンテンツ要素をそのそれぞれのマッチング／マッピングされた表面上に表示するためにディスプレイアルゴリズムによって使用されるように非一過性記憶媒体内に記憶されてもよい。
図７Ｂは、いくつかの実施形態による、コンテンツ要素からの要素を表面にマッチング／マッピングするための方法を図示する、フロー図を描写する。図７Ｂは、図１の種々の要素を参照して図４のステップ４４０に開示されるように、論理構造内に記憶されるコンテンツ要素と論理構造内に記憶される表面のマッチング／マッピングを図示する、フローである。
７１５において、図１からのコンテンツ構造化プロセス１２０から生じる論理構造内に記憶されるコンテンツ要素は、関連付けられた優先順位に基づいて順序付けられる。いくつかの実施形態では、コンテンツ設計者は、コンテンツ要素毎に、優先順位属性を定義してもよい。コンテンツ設計者が、コンテンツ要素毎に優先順位を設定し、あるコンテンツ要素が環境内で顕著に表示されることを確実にすることは、有益であり得る。いくつかの実施形態では、コンテンツ構造化プロセス１２０は、例えば、コンテンツ設計者がコンテンツ要素に関する優先順位を定義していない場合、コンテンツ要素に関する優先順位を決定してもよい。いくつかの実施形態では、システムは、いずれのコンテンツ要素も開発者提供優先順位属性を有していない場合、表面配向のドット積関数をデフォルト優先順位属性にするであろう。
７２５において、コンテンツ要素の属性が、表面の属性と比較され、コンテンツ要素にマッチングする表面が存在するかどうかを識別し、最良マッチング表面を決定する。例えば、最高関連付け優先順位（例えば、図１４Ａに関して下記にさらに詳細に説明されるように、「主」または親要素ＩＤ）を伴うコンテンツ要素から開始し、システムは、コンテンツ要素の属性と表面の属性を比較し、最良マッチング表面を識別し、次いで、第２の最高関連付け優先順位を伴うコンテンツ要素等に進み、したがって、コンテンツ要素を含む論理構造を順次トラバースしてもよい。
７３５において、マッチングスコアが、コンテンツ要素の属性が対応する最良マッチング表面の属性にマッチングする程度に基づいて計算される。当業者は、多くの異なるスコア化アルゴリズムおよびモデルがマッチングスコアを計算するために使用されてもよいことを理解し得る。例えば、いくつかの実施形態では、スコアは、コンテンツ要素の属性値と表面の属性値の単純総和である。図８は、種々のマッチングスコア方法論を図示する。
図８は、下記の図１４Ａ－１４Ｂにさらに詳細に説明される論理構造内にあり得るような属性を伴う、３つの仮説上のコンテンツ要素および３つの仮説上の表面を描写する。要素Ａは、テクスチャまたは色より重く表面選択に関してドット積配向表面関係に関する選好を有し得、要素Ｂは、平滑テクスチャに関する選好を有し得るが、マルチカラーコンテンツであって、コントラスト制約を殆ど有しておらず、色を優先化せず、要素Ｃは、仮想絵画であってもよく、他の属性より高い色属性に関する選好を有し得る。当業者は、コンテンツ要素構造内の値が、コンテンツ自体を反映させ得る（例えば、要素Ｃは、色に高い加重をかける）、または所望の表面属性を反映させ得る（例えば、要素Ｂは、レンダリングするためにより平滑な表面を好む）ことを理解されるであろう。さらに、数値として描写されるが、色視野内の明示的色または部屋内／ユーザに対する精密なサイズまたは位置等の他の属性値も、当然ながら、可能性として考えられる。
７４５において、最高マッチングスコアを有する表面が、識別される。図８に図示される総和実施例に戻ると、要素Ａは、表面ＡおよびＣに関して最高スコアであって、要素Ｂは、表面Ｂに関して最高スコアであって、要素Ｃは、表面Ｃに関して最高スコアである。そのような例証的実施例では、システムは、要素Ａを表面Ａに、要素Ｂを表面Ｂに、要素Ｃを表面Ｃにレンダリングしてもよい。要素Ａは、表面ＡおよびＣに関して等しくスコア化されるが、表面Ｃに関する要素Ｃの最高スコアは、要素Ａの表面Ａへの割当をプロンプトする。言い換えると、システムは、マッチングスコアの２回目の総和を反復し、コンテンツ要素および最高集約マッチングスコアを生産する表面の組み合わせを決定する。図８におけるドット積に関するサンプル数は、客観的測定ではなく、属性値を反映させることに留意されたい。例えば、－１ドット積結果は、好ましい数学的関係であるが、負の数を方程式の中に導入することを回避するために、表面属性は、表面属性に関して、－１ドット積関係を正の１としてスコア化する。
いくつかの実施形態では、７４５における最高スコアの識別は、表面リストが評価されるにつれて、最高マッチングスコアを有する表面をマーキングし、以前にマーキングされた表面をマーキングしないことによって、または最高マッチングスコアおよび最高マッチングスコアを有する表面へのリンクを追跡することによって、または表面にマッチングされる全てのコンテンツ要素の最高マッチングスコアを追跡することによってのいずれかによって行われる。一実施形態では、いったん十分なマッチングスコアを伴う表面が識別されると、表面リストから除去され、したがって、さらなる処理から除外されてもよい。一実施形態では、いったん最高マッチングスコアを有する表面が識別されると、コンテンツ要素にマッチングされていることのインジケーションとともに、表面リスト内に留まってもよい。本実施形態では、いくつかの表面は、単一コンテンツ要素とマッチングされてもよく、それぞれのマッチングスコア毎が、記憶されてもよい。
いくつかの実施形態では、周囲表面リストからの各表面が評価されるにつれて、マッチングスコアが、１つずつ計算され、マッチングが、決定され（例えば、コンテンツ要素の列挙された属性の８０％以上のものが、マッチングを構成する表面によってサポートされる）、該当する場合、個別の表面を最良マッチングとしてマーキングし、次の表面に継続し、次の表面が、より良好なマッチングである場合、それを最良マッチングとしてマーキングする。いったん全ての表面がコンテンツ要素に関して評価されると、表面は、依然として、その表面を前提として最良マッチングである、最良マッチングとしてマーキングされたままである。いくつかの実施形態では、最高マッチングスコアは、良好なマッチングとして適格であるために、所定の閾値を上回る必要があり得る。例えば、最良マッチング表面が、わずか４０％マッチングであることが決定され（サポートされる属性の数または標的マッチングスコアのパーセントのいずれかによって）、良好なマッチングとして適格であるための閾値が、７５％を上回る場合、ユーザの環境からの表面に依拠することとは対照的に、コンテンツ要素を表示するための仮想オブジェクトを作成することが最良であり得る。これは、特に、ユーザの環境が、例えば、浜辺、海洋、および空以外の識別不可能表面を伴わない、浜辺であるときに当てはまり得る。当業者は、本プロセスのために定義され得る、多くの異なるマッチング／マッピングアルゴリズムが存在し、これが、単に、多くの異なるタイプのアルゴリズムの一実施例にすぎないことを理解し得る。
７５０において、マッチング／マッピング結果が、上記に開示されるように記憶される。一実施形態では、表面が、７４５において、表面リストから除去される場合、記憶されるマッチングは、最終と見なされ得る。一実施形態では、表面が、７４５において、表面リスト内に留まり、いくつかの表面が、単一コンテンツ要素にマッチングされる場合、アルゴリズムが、衝突コンテンツ要素および表面上で起動され、衝突を取り除き、１対多のマッチングまたは多対１のマッチングの代わりに、１対１のマッチングを有するようにしてもよい。高優先順位コンテンツ要素が、表面にマッチングされない場合、高優先順位コンテンツ要素は、仮想表面にマッチング／マッピングされてもよい。低優先順位コンテンツ要素が、表面にマッチングされない場合、レンダリングモジュール１４６は、低優先順位コンテンツ要素をレンダリングしないことを選定してもよい。マッチング結果は、下記に説明される図１８に開示されるテーブル等の特定のテーブル内に記憶されてもよい。
図７Ａに戻って参照すると、７６０において、所定のルールを使用することが進めるべき方法であると決定されたと仮定すると、本方法は、コンテンツ要素と表面のマッチングルールを含有するデータベースにクエリし、特定のコンテンツ要素に関して、コンテンツ要素をマッチングさせるために考慮されるべき表面のタイプを決定する。７７０において、事前に定義されたルールのセットが、最良適合アルゴリズムを起動し、１つ以上の表面を、コンテンツ要素に関する最良適合である、利用可能な候補表面から選定してもよい。少なくとも部分的に、最良適合アルゴリズムに基づいて、候補表面の全てのうち、特定のものが、その属性がコンテンツ要素の属性と最良にマッチングする、表面であるため、コンテンツ要素が特定の表面にマッチング／マッピングされるべきことが決定される。いったんコンテンツ要素および表面のマッチングが、７５０において、決定されると、本方法は、コンテンツ要素と表面に関するマッチング結果を、上記に説明されるように、非一過性記憶媒体内のテーブル内に記憶する。
いくつかの実施形態では、ユーザは、マッチングされた表面をオーバーライドしてもよい。例えば、ユーザは、表面が、マッチングアルゴリズムによって、コンテンツに関する最適表面であると決定されるときでも、コンテンツを表示するための表面をオーバーライドすべき場所を選定してもよい。いくつかの実施形態では、ユーザは、ある表面をシステムによって提供される１つ以上の表面オプションから選択してもよく、１つ以上の表面オプションは、準最適表面である、表面を含んでもよい。システムは、ユーザに、１つ以上の表示表面オプションを提示してもよく、表示表面オプションは、ユーザの物理的環境内の物理的表面、ユーザの物理的環境内のコンテンツを表示するための仮想表面、および／または仮想画面を含んでもよい。いくつかの実施形態では、記憶された画面（例えば、仮想画面）は、ユーザによって、コンテンツを表示するために選択されてもよい。例えば、ユーザが現在位置する特定の物理的環境に関して、ユーザは、あるコンテンツのタイプ（例えば、ビデオ）をあるタイプの表面（例えば、デフォルト画面サイズを有する記憶された画面、ユーザからの場所等）上に表示するための選好を有し得る。記憶された画面は、履歴上頻繁に使用された表面であってもよい、または記憶された画面は、あるコンテンツのタイプを表示するためにユーザのプロファイルまたは選好設定内で識別された記憶された画面であってもよい。したがって、１つ以上の要素の表示を１つ以上の表面上にオーバーライドするステップは、少なくとも部分的に、履歴上頻繁に使用された表面および／または記憶された画面に基づいてもよい。
図７Ｃは、ユーザがコンテンツ７８０を第１の表面からユーザに利用可能な任意の表面上に移動させる可能であり得る、実施例を図示する。例えば、ユーザは、コンテンツ７８０を第１の表面から第２の表面（すなわち、垂直壁７９５）上に移動させることが可能であり得る。垂直壁７９５は、作業エリア７８４を有してもよい。垂直壁７９５の作業エリア７８４は、例えば、環境解析器１６８によって決定されてもよい。作業エリア７８４は、コンテンツ７８０が、例えば、他のコンテンツ／オブジェクトによって妨げられずに表示され得る、表示表面７８２を有してもよい。表示表面７８２は、例えば、環境解析器１６８によって決定されてもよい。図７Ｃに図示される実施例では、作業エリア７８４は、写真フレームおよびランプを含み、これは、表示表面７８２によって図示されるように、作業エリア７８４の表示表面を作業エリア７８４全体より小さくさせ得る。垂直壁７９５へのコンテンツの移動（例えば、移動７８６ａ－７８６ｃ）は、コンテンツ７８０を表示表面７８２の中心、作業エリア７８４の中、および／または垂直壁７９５への完璧な設置である必要がない場合がある。代わりに、コンテンツは、コンテンツを垂直壁に移動させるためのユーザのジェスチャに基づいて、垂直壁７９５の周辺作業空間の少なくとも一部（例えば、作業エリア７８４および／または表示表面７８２）内に移動されてもよい。コンテンツ７８０が、垂直壁７９５、作業エリア７８４、および／または表示表面７８２内に入る限り、システムは、コンテンツ７８０を表示表面７８２内に表示するであろう。
いくつかの実施形態では、周辺作業空間は、標的表示表面（例えば、表示表面７８２）を封入する、抽象的境界である。いくつかの実施形態では、ユーザのジェスチャは、少なくとも一部が表示表面７８２の周辺作業空間内にあるように、コンテンツ７８０を第１の表面において選択し、コンテンツ７８０を移動させるためのトーテム／コントローラ７９０による選択であってもよい。コンテンツ７８０は、次いで、表示表面７８２の輪郭および配向を整合させてもよい。仮想コンテンツを選択するステップはさらに、２０１５年１０月２０日に優先権を請求し、「ＳＥＬＥＣＴＩＮＧ ＶＩＲＴＵＡＬ ＯＢＪＥＣＴＳ
ＩＮ Ａ ＴＨＲＥＥ－ＤＩＭＥＮＳＩＯＮＡＬ ＳＰＡＣＥ」と題された米国特許出願第１５／２９６，８６９号に説明され、コンテンツを選択された表面に整合させるステップはさらに、２０１６年８月１１日に優先権を請求し、「ＡＵＴＯＭＡＴＩＣ ＰＬＡＣＥＭＥＮＴ ＯＦ Ａ ＶＩＲＴＵＡＬ ＯＢＪＥＣＴ ＩＮ Ａ ＴＨＲＥＥ－ＤＩＭＥＮＳＩＯＮＡＬ ＳＰＡＣＥ」と題された米国特許出願第１５／６７３，１３５号（それぞれの内容は、参照することによって本明細書に組み込まれる）に説明される。
いくつかの実施形態では、ユーザのジェスチャは、（ａ）第１の表面からのコンテンツの選択、（ｂ）第１の表面から第２の表面へのコンテンツの移動、および（ｃ）第２の表面におけるコンテンツの設置のインジケーションを含み得る、手のジェスチャであってもよい。いくつかの実施形態では、第１の表面から第２の表面へのコンテンツの移動は、第２の表面の具体的部分に対するものである。いくつかの実施形態では、コンテンツは、第２の表面に設置されると、第２の表面に適合／それを充填する（例えば、適合、充填するようにスケーリングされる等）。いくつかの実施形態では、第２の表面に設置されたコンテンツは、第１の表面にあったときのサイズを維持する。これらの実施形態では、第２の表面は、第１の表面より大きくてもよく、および／または第２の表面は、コンテンツを表示するために必要とされるサイズより大きくてもよい。ＡＲシステムは、コンテンツをユーザがコンテンツを表示するように示した第２の表面またはその近傍の位置に表示してもよい。言い換えると、第１の表面から第２の表面へのコンテンツの移動は、システムがコンテンツを第２の表面の作業可能空間全体の中に完璧に設置することを要求しなくてもよい。コンテンツは、少なくとも、ユーザによって少なくとも視認可能である第２の表面の第１の周辺エリアに終着することのみ必要とし得る。
環境駆動コンテンツ
これまで開示されたものは、環境内のコンテンツ要素を表示すべき場所のコンテンツ駆動であった。言い換えると、ユーザは、ユーザの環境の中に表示されるための種々のコンテンツ（例えば、ウェブページからのプル配信コンテンツ）を選択し得る。しかしながら、いくつかの実施形態では、環境が、少なくとも部分的に、ユーザの環境および／または環境内の表面に基づいて、ユーザに表示されるコンテンツを駆動し得る。例えば、表面のリストが、常に、センサ１６２からのデータに基づいて、環境解析器１６８によって評価されている。表面のリストは、ユーザが、ある環境から別の環境に移動する、または環境内を動き回るにつれて、常に、環境解析器１６８によって評価されているため、ユーザがコンテンツを検索する、またはその上で選択する必要なく、ユーザの環境の中にプッシュ配信（例えば、プッシュ配信コンテンツ）され得、ウェブページから生じ得ない、あるコンテンツのタイプを表示するために適している場合がある、新しい／付加的表面が、利用可能になり得る。例えば、あるタイプのプッシュ配信コンテンツは、（ａ）株価通知、ニュースフィード等の種々のアプリケーションからの通知、（ｂ）例えば、ソーシャルメディアアプリケーション、電子メール更新、および同等物からの更新および通知等の優先順位化されたコンテンツ、および／または（ｃ）広標的グループおよび／または具体的標的グループおよび同等物を標的化する広告を含んでもよい。これらのタイプのプッシュ配信コンテンツはそれぞれ、広告をその最も効果的形態で表示するために、例えば、サイズ、寸法、配向、および同等物等の関連付けられた属性を有してもよい。環境に応じて、ある表面は、これらの環境駆動コンテンツ（例えば、プッシュ配信コンテンツ）が表示される機会を提示し得る。いくつかの実施形態では、プル配信コンテンツは、最初に、環境内の表面にマッチング／マッピングされてもよく、プッシュ配信コンテンツは、そこにマッチング／マッピングされたプル配信コンテンツを有していない、環境内の任意の表面にマッチング／マッピングされてもよい。
プッシュ配信コンテンツタイプの実施例として広告を挙げ、種々の寸法および配向を有する多くの表面が存在し得る環境内に、ユーザが存在するシナリオを検討する。ある広告は、ある寸法および配向を有する表面上および特定の場所（例えば、自宅、仕事場、野球場、食料品店、および同等物等の地理的場所、および環境内のある物理的アイテム／製品の正面等のアイテム場所）において最良に表示され得る。これらの状況では、システムは、プッシュ配信コンテンツのデータベースを通して検索し、環境の表面と最良にマッチングされ得るプッシュ配信コンテンツを決定してもよい。マッチングが、見出される場合、コンテンツは、特定の場所におけるマッチングされた表面上に表示されてもよい。いくつかの実施形態では、システムは、表面のリストを広告サーバに提供し、これは、内蔵論理を使用して、プッシュ配信コンテンツを決定する。
表示されるためのオンライン広告のために利用可能な空間を有する、ウェブページウィンドウ上の部分を決定するために、ユーザが視認するウェブページのレイアウトに依拠する、従来のオンライン広告と異なり、本開示は、環境内の表面を識別し、例えば、広告等のあるプッシュ配信コンテンツのための候補表面を決定する、環境解析器１６８を含む。
いくつかの実施形態では、ユーザは、あるタイプのプッシュ配信コンテンツが表示され得る時間および場所に関して、選好属性を規定してもよい。例えば、ユーザは、ある人々または団体からの高優先順位コンテンツをユーザの正面の表面上に顕著に表示させる一方、広告等の他のタイプのプッシュ配信コンテンツをユーザの一次焦点ビューエリアに対してより小さい表面周辺上に表示させる、選好属性を示してもよく、ユーザの一次焦点ビューエリアは、ユーザの一次焦点ビューエリアの側方にある、周辺ビューとは対照的に、ユーザが視認している方向に向かって略前方のビューのエリアである。いくつかの実施形態では、ユーザが選択する、高優先順位コンテンツ要素（例えば、プッシュ配信コンテンツとは対照的に、プル配信コンテンツ）は、ユーザの環境内（例えば、ユーザの焦点視認エリア内）の最も顕著な表面上に表示される一方、ユーザの焦点視認エリアの周辺の他の非マッチング／非マッピング表面は、プッシュ配信コンテンツのために利用可能であってもよい。
いくつかの実施形態では、世界場所コンテキストＡＰＩが、場所アウェアコンテンツを作成するために、コンテンツ設計者／ウェブ開発者／広告主に提供されてもよい。世界場所コンテキストＡＰＩは、ユーザが現在存在する特定の場所に特有のローカルコンテキストを説明する能力のセットを提供し得る。世界場所コンテキストＡＰＩは、具体的種類の部屋（例えば、居間、ジム、オフィス、台所）、種々の場所からユーザによって実行される具体的クエリ（例えば、ユーザは、居間から映画、ジムから音楽、台所からレシピ等を検索する傾向にある）、および種々の場所でユーザによって使用される具体的サービスおよびアプリケーション（例えば、メールクライアントは、オフィスから使用され、Ｎｅｔｆｌｉｘは、居間から使用される）の識別を含み得る、場所コンテキスト情報を提供してもよい。コンテンツ設計者は、世界場所コンテキストに対するあるアクションをコンテンツ要素の属性として関連付けてもよい。
コンテンツプロバイダは、場所特有のコンテンツを提供するために、本情報とともに、検索履歴、オブジェクト認識装置、およびアプリケーションデータを使用してもよい。例えば、ユーザが、台所において検索を起動する場合、広告および検索結果は、検索エンジンが、ユーザがユーザの台所から検索を起動していることを把握するであろうため、主に、食物関連となるであろう。世界場所コンテキストＡＰＩによって提供される情報は、部屋または場所毎の正確な情報を提供し得、これは、地理的場所より正確にし、ジオフェンシングよりコンテキストアウェアにする。図９は、世界場所コンテキストＡＰＩが場所特有のコンテキストを提供するために使用され得る方法の実施例である。実施例として、ユーザの台所９０５は、ユーザの現在の物理的場所内のある表面上に表示される、場所特有のコンテンツ９１５ａ、９１５ｂ、および／または９１５ｃを含み得る。コンテンツ９１５ａは、特定の食事に関するレシピであってもよく、コンテンツ９１５ｂは、食事の広告であってもよく、および／または９１５ｃは、台所内で用意するための食事の提案であってもよい。
図１０は、コンテンツをＶＲ／ＡＲシステムのユーザにプッシュ配信するための方法１０００の実施例である。１０１０において、１つ以上の表面およびその属性が、決定される。１つ以上の表面が、環境構造化プロセス１６０から決定され得、環境解析器１６８は、環境データを解析し、環境内の表面を決定し、表面を論理構造内に編成および記憶する。ユーザの環境は、ユーザの個人宅、住居内の具体的部屋、ユーザの仕事場所、および同等物等の表面に関する場所属性を担持し得る。１つ以上の表面は、ユーザの焦点ビューエリアの周辺にあってもよい。いくつかの実施形態では、１つ以上の表面は、ユーザが通知されることを所望し得るプッシュ配信コンテンツ（例えば、当局エンティティからの緊急通知、ホワイトリスト化されたアプリケーション／通知等）に応じて、ユーザの焦点ビューエリア内にあってもよい。表面の次元は、２Ｄおよび／または３Ｄ次元であってもよい。
１０２０において、１つ以上の表面にマッチングする、１つ以上のコンテンツ要素が、受信される。いくつかの実施形態では、コンテンツ要素または単一コンテンツ要素を受信するステップは、少なくとも１つの表面属性に基づく。例えば、「台所」の場所属性は、食物アイテムに対応するコンテンツ要素がプッシュ配信されるようにプロンプトしてもよい。別の実施例では、ユーザは、第１のコンテンツ要素を第１の表面上で鑑賞している場合があり、そのコンテンツ要素は、ある表面属性を伴う表面が利用可能である場合のみ、第２の表面上に表示するであろう、子コンテンツ要素を有する。
１０３０において、マッチングスコアが、コンテンツ要素の属性が表面の属性にマッチングする程度に基づいて計算される。いくつかの実施形態では、スコア化は、１～１００のスケールに基づいてもよく、１００のスコアは、最高スコアであって、１のスコアは、最低スコアである。当業者は、多くの異なるスコア化アルゴリズムおよびモデルがマッチングスコアを計算するために使用されてもよいことを理解し得る。いくつかの実施形態では、コンテンツ要素が、通知を含む場合、属性に基づいて計算されるマッチングスコアは、特定の表面とのマッチングとは対照的に、通知される必要があるコンテンツ要素の優先順位を示してもよい。例えば、コンテンツ要素が、ソーシャルメディアアプリケーションからの通知であるとき、スコアは、ソーシャルメディアコンテンツの属性および表面の属性に基づくマッチングスコアとは対照的に、ユーザのソーシャルメディアアカウント内でユーザによって定義された通知の優先順位レベルに基づいてもよい。
いくつかの実施形態では、ユーザが、その環境内で比較的に定常であるとき、表面のリストは、あまり変化し得ない。しかしながら、ユーザが運動中であるとき、表面のリストは、ユーザが進行する速度に応じて、非常に急速に変化し得る。動的状況では、ユーザがコンテンツを完全に視認することが可能であるために十分に長く定常ではあり得ないことが決定される場合、低マッチングスコアが、計算され得る。ユーザがコンテンツ全体を視認する十分な時間を有するかどうかの本決定は、コンテンツ設計者によって定義された属性であってもよい。
１０４０において、最高マッチングスコアを有するコンテンツ要素が、選択される。ユーザに表示される可能性が高いであろう競合コンテンツ要素（例えば、広告）が存在するとき、競合コンテンツを通してソートし、好ましいコンテンツ要素をピックアップするための要件が存在し得る。ここでは、好ましいコンテンツ要素を選択するための実施例として、１つのオプションは、競合をコンテンツ要素の属性が表面の属性にマッチングする程度に基づかせることである。別の実施例として、勝者は、少なくとも部分的に、コンテンツ要素プロバイダがプッシュ配信コンテンツを表示するために支払いを所望し得る金額に基づいて、選択されてもよい。いくつかの実施形態では、好ましいコンテンツ要素は、コンテンツタイプ（例えば、３Ｄコンテンツまたはソーシャルメディアコンタクトからの通知）に基づいて、選択されてもよい。
１０５０において、好ましいコンテンツと対応する表面のマッチング／マッピングは、キャッシュメモリまたは持続的メモリ内に記憶されてもよい。マッチングの記憶は、ユーザが運動中であって、環境が変化する状況では、ユーザが戻る際、ユーザの環境のある履歴を維持可能であることが重要であり得るため、重要であり得る。マッチング／マッピングは、図１８に開示されるテーブル等のテーブル内に記憶されてもよい。１０６０において、コンテンツは、対応する表面上にレンダリングされる。マッチングは、コンテンツ要素と表面の１対１または１対多のマッチング／マッピングであってもよい。
開示されたのは、環境内に表示するためにコンテンツを分解するための本システムおよび方法である。加えて、本システムおよび方法はまた、コンテンツを仮想現実または拡張現実システムのユーザの表面にプッシュ配信してもよい。
ウェブページ
図１１を参照すると、環境１１００は、本明細書に説明されるプロセス（例えば、ユーザの物理的環境１１０５内の表面上に表示されるようにウェブページ内のコンテンツからのコンテンツ要素をマッチングさせる）を実装するための物理的環境およびシステムを表す。環境１１００の代表的物理的環境およびシステムは、ユーザ１１０８によって頭部搭載型システム１１６０を通して視認されるようなユーザの物理的環境１１０５を含む。環境１１００の代表的システムはさらに、ネットワーク１１２０に動作可能に結合されるウェブブラウザ１１１０を介して、コンテンツ（例えば、ウェブページ）にアクセスするステップを含む。いくつかの実施形態では、コンテンツへのアクセスは、ビデオストリーミングアプリケーション等のアプリケーション（図示せず）を介してもよく、ビデオストリームは、アクセスされているコンテンツであってもよい。いくつかの実施形態では、ビデオストリーミングアプリケーションは、スポーツ組織であってもよく、ストリーミングされているコンテンツは、実際のライブ試合、概要、まとめ／ハイライト、ボックススコア、実況、チーム統計、プレーヤ統計、関連ビデオ、ニュースフィード、製品情報、および同等物であってもよい。
ネットワーク１１２０は、インターネット、内部ネットワーク、プライベートクラウドネットワーク、パブリッククラウドネットワーク等であってもよい。ウェブブラウザ１１１０はまた、ネットワーク１１２０を介して、プロセッサ１１７０に動作可能に結合される。プロセッサ１１７０は、頭部搭載型システム１１６０と別個の隔離されたコンポーネントとして示されるが、代替実施形態では、プロセッサ１１７０は、頭部搭載型システム１１６０の１つ以上のコンポーネントと統合されてもよい、および／または、例えば、ネットワーク１１２０等の環境１１００内の他のシステムコンポーネントの中に統合され、コンピューティングネットワーク１１２５および記憶デバイス１１３０にアクセスしてもよい。プロセッサ１１７０は、頭部搭載型システム１１６０、ローカル記憶デバイス１１４０、ウェブブラウザ１１１０、コンピューティングネットワーク１１２５、および記憶デバイス１１３０から受信されたビデオ、オーディオ、およびコンテンツ等の情報を受信および処理するためのソフトウェア１１５０とともに構成されてもよい。ソフトウェア１１５０は、ネットワーク１１２０を介して、コンピューティングネットワーク１１２５および記憶デバイス１１３０と通信してもよい。ソフトウェア１１５０は、プロセッサ１１７０上にインストールされてもよい、または別の実施形態では、ソフトウェアの特徴および機能性は、プロセッサ１１７０の中に統合されてもよい。プロセッサ１１７０はまた、ユーザ１１０８の近傍の外部記憶デバイス上に遠隔で記憶される情報に依拠せず、迅速アクセスのために、プロセッサ１１７０によって使用される情報を記憶するために、ローカル記憶デバイス１１４０とともに構成されてもよい。他の実施形態では、プロセッサ１１７０は、頭部搭載型システム１１６０と統合されてもよい。
ユーザの物理的環境１１０５は、ユーザが動き回り、ユーザの物理的環境１１０５を頭部搭載型システム１１６０を通して視認するにつれたユーザ１１０８の物理的周囲である。例えば、図１を参照すると、ユーザの物理的環境１１０５は、２つの壁（例えば、主壁１１８０および側壁１１８４であって、主壁および側壁は、ユーザのビューに対する）と、テーブル１１８８とを伴う、部屋を示す。主壁１１８０上には、黒色実線によって描写される、長方形表面１１８２が存在し、あるコンテンツを投影するための候補表面であり得る、物理的境界を伴う物理的表面を示す（例えば、壁または窓から吊架される、またはそこに取り付けられる、絵画等）。側壁１１８４上には、黒色実線によって描写される、第２の長方形表面１１８６が存在し、物理的境界を伴う物理的表面を示す（例えば、壁または窓から吊架される、またはそこに取り付けられる、絵画等）。テーブル１１８８上には、異なるオブジェクトが存在し得る。１）あるコンテンツが記憶および表示され得る、仮想Ｒｏｌｏｄｅｘ１１９０、２）あるコンテンツを投影するための物理的境界を伴う物理的表面を表す、黒色実線によって描写される、水平表面１１９２、および３）例えば、あるコンテンツが記憶および表示され得る、スタックされた仮想新聞を表す、黒色点線によって描写される、仮想正方形表面１１９４の複数のスタック。当業者は、上記に説明される物理的境界が、それらがすでに表面を離散視認セクションに分割しており、それ自体が表面属性であり得るため、コンテンツ要素を設置するために有用であるが、適格表面を認識するために必要ではないことを理解するであろう。
ウェブブラウザ１１１０はまた、インターネットからまたはイントラネット／プライベートネットワーク内のブログページを表示してもよい。加えて、ウェブブラウザ１１１０はまた、デジタルコンテンツを表示する、任意の技術であってもよい。デジタルコンテンツは、例えば、ウェブページ、ブログ、デジタル写真、ビデオ、ニュース記事、ニュースレター、または音楽を含んでもよい。コンテンツは、ネットワーク１１２０を介してユーザ１１０８によってアクセス可能である、記憶デバイス１１３０内に記憶されてもよい。いくつかの実施形態では、コンテンツはまた、ストリーミングコンテンツ、例えば、ライブビデオフィードまたはライブオーディオフィードであってもよい。記憶デバイス１１３０は、例えば、データベース、ファイルシステム、持続的メモリデバイス、フラッシュドライブ、キャッシュ等を含んでもよい。いくつかの実施形態では、コンテンツ（例えば、ウェブページ）を含有するウェブブラウザ１１１０は、コンピューティングネットワーク１１２５を介して表示される。
コンピューティングネットワーク１１２５は、記憶デバイス１１３０にアクセスし、ウェブページをウェブブラウザ１１１０上に表示するために、コンテンツを読み出し、記憶する。いくつかの実施形態では、ローカル記憶デバイス１１４０は、ユーザ１１０８に関心があるコンテンツを提供してもよい。ローカル記憶デバイス１１４０は、例えば、フラッシュドライブ、キャッシュ、ハードドライブ、データベース、ファイルシステム等を含んでもよい。ローカル記憶デバイス１１４０内に記憶される情報は、最近アクセスされたコンテンツまたは３Ｄ空間内に最近表示されたコンテンツを含んでもよい。ローカル記憶デバイス１１４０は、コンテンツを３Ｄ空間環境（例えば、ユーザの物理的環境１１０５内の３Ｄ表面）上に表示するためのコンテンツを分解することに役立てるために、あるコンテンツをソフトウェア１１５０にローカルで提供することによって、環境１１００のシステムに対する性能の改良を可能にする。
ソフトウェア１１５０は、非一過性コンピュータ可読媒体内に記憶されるソフトウェアプログラムを含み、ユーザの物理的環境１１０５内に表示されるためのコンテンツを分解する機能を実施する。ソフトウェア１１５０は、プロセッサ１１７０上で起動してもよく、プロセッサ１１７０は、ユーザ１１０８にローカルで取り付けられてもよい、またはいくつかの他の実施形態では、ソフトウェア１１５０およびプロセッサ１１７０は、頭部搭載型システム１１６０内に含まれてもよい。いくつかの実施形態では、ソフトウェア１１５０の特徴および機能の一部は、ユーザ１１０８から遠隔のコンピューティングネットワーク１１２５上で記憶および実行されてもよい。例えば、いくつかの実施形態では、コンテンツを分解するステップは、コンピューティングネットワーク１１２５上で生じ生じてもよく、分解の結果は、記憶デバイス１１３０内に記憶されてもよく、分解されたコンテンツを提示するためのユーザのローカル環境の表面のインベントリ化は、プロセッサ１１７０内で生じてもよく、表面のインベントリおよびマッチング／マッピングは、ローカル記憶デバイス１１４０内に記憶される。一実施形態では、コンテンツを分解し、ローカル表面をインベントリ化し、コンテンツの要素をローカル表面にマッチング／マッピングし、コンテンツの要素を表示するプロセスは全て、プロセッサ１１７０およびソフトウェア１１５０内でローカルで生じてもよい。
頭部搭載型システム１１６０は、ユーザインターフェースと、ユーザ感知システムと、環境感知システムと、プロセッサと（全て示されない）を含む、仮想現実（ＶＲ）または拡張現実（ＡＲ）頭部搭載型システム（例えば、複合現実デバイス）であってもよい。頭部搭載型システム１１６０は、ユーザ１１０８に、デジタル世界と相互作用し、それを体験するためのインターフェースを提示する。そのような相互作用は、ユーザおよびデジタル世界、環境１１００とインターフェースをとる１人以上の他のユーザ、およびデジタルおよび物理的世界内のオブジェクトを伴ってもよい。
ユーザインターフェースは、コンテンツを受信するステップと、ユーザインターフェースを通したユーザ入力によって、コンテンツ内の要素を選択するステップとを含んでもよい。ユーザインターフェースは、触知インターフェースデバイス、キーボード、マウス、ジョイスティック、運動捕捉コントローラ、光学追跡デバイス、およびオーディオ入力デバイスのうちの少なくとも１つまたはその組み合わせであってもよい。触知インターフェースデバイスは、ヒトが身体感覚および移動を通してコンピュータと相互作用することを可能にする、デバイスである。触知とは、アクションを実施するための触覚的フィードバックまたは他の身体感覚を包含する、またはコンピューティングデバイス上で処理する、あるタイプのヒト－コンピュータ相互作用技術を指す。
ユーザ感知システムは、頭部搭載型システム１１６０を装着しているユーザ１１０８に関連するある特徴、特性、または情報を検出するように動作可能である、１つ以上のセンサ１１６２を含んでもよい。例えば、いくつかの実施形態では、センサ１１６２は、例えば、以下、すなわち、縮瞳／散瞳、各瞳孔の角度測定／位置付け、球形度、眼形状（眼形状が経時的に変化するにつれた）、および他の解剖学的データのうちの１つ以上のもの等のユーザ１１０８のリアルタイム光学特性／測定を検出することが可能なカメラまたは光学検出／走査回路を含んでもよい。本データは、ユーザの視認体験を向上させるために頭部搭載型システム１１６０によって使用され得る、情報（例えば、ユーザの視覚的集光点）を提供する、またはそれを計算するために使用されてもよい。
環境感知システムは、データをユーザの物理的環境１１０５から取得するための１つ以上のセンサ１１６４を含んでもよい。センサ１１６４によって検出されたオブジェクトまたは情報は、頭部搭載型システム１１６０への入力として提供されてもよい。いくつかの実施形態では、本入力は、仮想世界とのユーザ相互作用を表してもよい。例えば、机（例えば、テーブル１１８８）上の仮想キーボードを視認するユーザ（例えば、ユーザ１１０８）は、ユーザが仮想キーボード上でタイプしているかのように、その指を用いてジェスチャしてもよい。指移動の運動は、センサ１１６４によって捕捉され、頭部搭載型システム１１６０に入力として提供されてもよく、入力は、仮想世界を変化させる、または新しい仮想オブジェクトを作成するために使用されてもよい。
センサ１１６４は、例えば、持続的および／または断続的に投影された赤外線構造化光を通して場面情報を解釈するために、例えば、略外向きに向いたカメラまたはスキャナを含んでもよい。環境感知システムは、静的オブジェクト、動的オブジェクト、人々、ジェスチャ、および種々の照明、大気、および音響条件を含む、ローカル環境を検出および登録することによって、ユーザ１１０８の周囲のユーザの物理的環境１１０５の１つ以上の要素をマッチング／マッピングするために使用されてもよい。したがって、いくつかの実施形態では、環境感知システムは、ローカルコンピューティングシステム（例えば、プロセッサ１１７０）に内蔵され、センサ１１６４によって検出された１つ以上のオブジェクトまたは情報をデジタル的に再構成するように動作可能である、画像ベースの３Ｄ再構成ソフトウェアを含んでもよい。
一例示的実施形態では、環境感知システムは、以下、すなわち、運動捕捉データ（ジェスチャ認識を含む）、深度感知、顔認識、オブジェクト認識、一意のオブジェクト特徴認識、音声／オーディオ認識および処理、音響源位置特定、雑音低減、赤外線または類似レーザ投影、およびモノクロおよび／またはカラーＣＭＯＳセンサ（または他の類似センサ）、視野センサ、および種々の他の光学向上センサのうちの１つ以上のものを提供する。環境感知システムは、上記に議論されるもの以外の他のコンポーネントを含んでもよいことを理解されたい。
上記に述べられたように、プロセッサ１１７０は、いくつかの実施形態では、頭部搭載型システム１１６０の他のコンポーネントと統合される、環境１１００のシステムの他のコンポーネントと統合されてもよい、または図１に示されるように、隔離されたデバイス（ウェアラブルまたはユーザ１１０８から分離する）であってもよい。プロセッサ１１７０は、物理的有線接続を通して、または、例えば、モバイルネットワーク接続（セルラー電話およびデータネットワークを含む）、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または任意の他の無線接続プロトコル等の無線接続を通して、頭部搭載型システム１１６０の種々のコンポーネントに接続されてもよい。プロセッサ１１７０は、メモリモジュール、統合および／または付加的グラフィック処理ユニット、無線および／または有線インターネットコネクティビティ、およびソース（例えば、コンピューティングネットワーク１１２５および頭部搭載型システム１１６０からのユーザ感知システムおよび環境感知システム）からのデータを画像およびオーディオデータに変換することが可能なコーデックおよび／またはファームウェアを含んでもよく、画像／ビデオおよびオーディオは、ユーザインターフェース（図示せず）を介して、ユーザ１１０８に提示されてもよい。
プロセッサ１１７０は、頭部搭載型システム１１６０の種々のコンポーネントのためのデータ処理および頭部搭載型システム１１６０とウェブブラウザ１１１０およびコンピューティングネットワーク１１２５によって表示またはアクセスされるウェブページからのコンテンツとの間のデータ交換をハンドリングする。例えば、プロセッサ１１７０は、ユーザ１１０８とコンピューティングネットワーク１１２５との間のデータストリーミングをバッファおよび処理し、それによって、平滑、連続、かつ高忠実性のユーザ体験を可能にするために使用されてもよい。
ウェブページからのコンテンツをコンテンツ要素に分解し、３Ｄ環境内の表面上に表示されるように要素をマッチング／マッピングするステップは、知的および論理的様式で遂行されてもよい。例えば、コンテンツ解析器１１５は、ドキュメントオブジェクトモデル（ＤＯＭ）解析器であって、コンテンツの要素は、アクセス可能であって、プログラム上操作／抽出しやすくなるように、入力（例えば、全体ＨＴＭＬページ）を受信し、入力内の種々のコンテンツ要素を分解し、分解されたコンテンツ要素を論理構造内に記憶してもよい。所定のルールのセットが、例えば、ウェブページ内で識別されたあるタイプの要素／コンテンツを設置すべき場所を推奨、提案、または規定するために利用可能であってもよい。例えば、コンテンツ要素のあるタイプは、１つ以上の要素を記憶および表示するために扱いやすい物理的または仮想オブジェクト表面にマッチング／マッピングされる必要があり得る、１つ以上のコンテンツ要素を有し得る一方、他のタイプのコンテンツ要素は、ウェブページ内の主ビデオまたは主記事等の単一オブジェクトであってもよく、その場合、単一オブジェクトは、単一オブジェクトをユーザに表示するために最も意味をなす表面にマッチング／マッピングされてもよい。いくつかの実施形態では、単一オブジェクトは、単一コンテンツオブジェクトがユーザの環境内の表面（例えば、仮想表面または物理的表面）上に表示され得るようなビデオアプリケーションからストリーミングされるビデオであってもよい。
図１２の環境１２００は、ウェブブラウザ１１１０およびユーザの物理的環境１１０５によって表示またはアクセスされるコンテンツ（例えば、ウェブページ）を描写する。矢印頭部を伴う点線は、ユーザの物理的環境１１０５にマッチング／マッピングされ、その上に表示される、コンテンツ（例えば、ウェブページ）からの要素（例えば、特定のタイプのコンテンツ）を描写する。コンテンツからのある要素は、ウェブ設計者ヒントまたは事前に定義されたブラウザルールのいずれかに基づいて、ユーザの物理的環境１１０５内のある物理的または仮想オブジェクトにマッチング／マッピングされる。
実施例として、ウェブブラウザ１１１０によってアクセスまたは表示されるコンテンツは、複数のタブを有するウェブページであってもよく、現在のアクティブタブ１２６０が、表示され、二次タブ１２５０は、現在のところ、ウェブブラウザ１１１０上での表示に応じて選択されるまで、隠蔽される。アクティブタブ１２６０内に表示されるものは、典型的には、ウェブページである。本特定の実施例では、アクティブタブ１２６０は、主ビデオ１２２０と、ユーザコメント１２３０と、提案されるビデオ１２４０とを含む、ＹＯＵＴＵＢＥ（登録商標）ページを表示する。本例示的図１２に描写されるように、主ビデオ１２２０は、垂直表面１１８２上に表示されるようにマッチング／マッピングされてもよく、ユーザコメント１２３０は、水平表面１１９２上に表示されるようにマッチング／マッピングされてもよく、提案されるビデオ１２４０は、垂直表面１１８２と異なる垂直表面１１８６上に表示されるようにマッチング／マッピングされてもよい。加えて、二次タブ１２５０は、仮想Ｒｏｌｏｄｅｘ１１９０上またはそのものとして、および／またはマルチスタック仮想オブジェクト１１９４上に表示されるようにマッチング／マッピングされてもよい。いくつかの実施形態では、二次タブ１２５０内の具体的コンテンツは、マルチスタック仮想オブジェクト１１９４内に記憶されてもよい。他の実施形態では、二次タブ１２５０内に常駐するコンテンツ全体が、マルチスタック仮想オブジェクト１１９４上に記憶および／または表示されてもよい。同様に、仮想Ｒｏｌｏｄｅｘ１１９０は、二次タブ１２５０からの具体的コンテンツを含有してもよい、または仮想Ｒｏｌｏｄｅｘ１１９０は、二次タブ１２５０内に常駐するコンテンツ全体を含有してもよい。
いくつかの実施形態では、ウェブブラウザ１１１０のコンテンツ要素（例えば、二次タブ１２５０内のウェブページのコンテンツ要素）は、ユーザの物理的環境１１０５内の両面平面ウィンドウ仮想オブジェクト（図示せず）上に表示されてもよい。例えば、平面ウィンドウ仮想オブジェクトの第１の側（例えば、正面側）上に表示されるのは、ウェブページの一次コンテンツであってもよく、平面ウィンドウ仮想オブジェクトの第２の側（例えば、背面側）上に表示されるのは、一次コンテンツに関連する、余剰コンテンツ等の付加的情報であってもよい。実施例として、小売店ウェブページ（例えば、ＢＥＳＴＢＵＹ）が、第１の側上に表示されてもよく、クーポンおよびディスカウントのセットが、第２の側上に表示されてもよい。ディスカウント情報は、第２の側に関する更新であって、ユーザは、第１の側上でブラウジングしている対象の現在のコンテキストを反映させてもよい（例えば、第２の側では、ラップトップまたは家電のみがディスカウントされる）。
いくつかのウェブページは、ウェブブラウザ１１１０内で視認されるとき、複数ページに及び得る。ウェブブラウザ１１１０内で視認されるとき、そのようなウェブページは、ウェブブラウザ１１１０内をスクロールすることによって、またはウェブブラウザ１１１０内の複数のページをナビゲートすることによって、視認され得る。ウェブブラウザ１１１０からのそのようなウェブページをユーザの物理的環境１１０５にマッチング／マッピングするとき、そのようなウェブページは、両面ウェブページとしてマッチング／マッピングされてもよい。図１３Ａ－１３Ｂは、いくつかの実施形態による、例示的両面ウェブページを図示する。図１３Ａは、スムージードリンクを示す一方、図１３Ｂは、原材料およびスムージーを作るための指示を含む、スムージードリンクの例示的背面側／第２の側を図示する。いくつかの実施形態では、主壁１１８０の正面側は、両面ウェブページの第１の側を含んでもよく、主壁１１８０の背面側は、両面ウェブページの第２の側を含んでもよい。本実施例では、ユーザ１１０８は、両面ウェブページの両側を見るために、主壁１１８０の周囲を歩き回る必要があるであろう。いくつかの実施形態では、主壁１１８０の正面側は、両面ウェブページの両側を含んでもよい。本実施例では、ユーザ１１０８は、ユーザ入力を介して、両面ウェブページの２つの側間をトグルしてもよい。両面ウェブページは、ユーザ入力に応答して、第１の側から第２の側にフリップされるように現れてもよい。両面ウェブページは、ウェブブラウザ１１１０内で視認されるとき、複数のページに及ぶ、ウェブページから生成されるように説明されるが、両面ウェブページは、任意のウェブページまたはその一部または複数部分から生成されてもよい。ＶＲおよび／またはＡＲシステムは、既存のコンテンツ（例えば、二次タブ１２５０またはウェブページ）の中に追加され、レンダリングモジュールがコンテンツを両面２Ｄブラウザ平面ウィンドウ仮想オブジェクト上にレンダリングするために利用可能にし得る、使用が容易なＨＴＭＬプロパティのセットを提供してもよい。実施例は、両面平面ウィンドウ仮想オブジェクトを説明するが、仮想オブジェクトは、任意の数の側（Ｎ個の面）を有してもよい。実施例は、コンテンツを両面平面ウィンドウ仮想オブジェクト上に表示するステップを説明するが、コンテンツ要素は、実オブジェクトの複数の表面（例えば、ドアの正面側およびドアの背面側）上にあってもよい。
垂直表面１１８２は、窓ガラスまたは写真フレーム等の部屋（ユーザの物理的環境１１０５として描写される）の主壁１１８０上にすでにあり得る、任意のタイプの構造であってもよい。いくつかの実施形態では、垂直表面１１８２は、頭部搭載型システム１１６０が、ユーザ１１０８が主ビデオ１２２０を視認するために適切な垂直表面１１８２のフレームの最適サイズを決定する、開けた壁であってもよい。垂直表面１１８２のサイズの本決定は、少なくとも部分的に、主壁１１８０からのユーザ１１０８の距離、主ビデオ１２２０のサイズおよび寸法、主ビデオ１２２０の品質、被覆されていない壁空間の量、および／または主壁１１８０を見ているときのユーザの姿勢に基づいてもよい。例えば、主ビデオ１２２０の品質が、高精細である場合、垂直表面１１８２のサイズは、主ビデオ１２２０の品質が垂直表面１１８２によって悪影響を及ぼされないであろうため、より大きくてもよい。しかしながら、主ビデオ１２２０のビデオ品質が、不良品質である場合、大垂直表面１１８２を有することは、ビデオ品質を大幅に損なわせ得、その場合、本開示の方法およびシステムは、ピクシレーションからの不良ビデオ品質を最小限にするために、より小さくなるように垂直表面１１８２内に表示されるコンテンツをリサイズする／その表示方法を再定義してもよい。
垂直表面１１８６は、垂直表面１１８２のように、ユーザの物理的環境１１０５内の隣接する壁（例えば、側壁１１８４）上の垂直表面である。いくつかの実施形態では、ユーザ１１０８の配向に基づいて、側壁１１８４および垂直表面１１８６は、上り勾配上に傾けられた表面であるように現れてもよい。上り勾配上に傾けられた表面は、垂直および水平表面に加え、あるタイプの表面の配向であってもよい。ＹＯＵＴＵＢＥ（登録商標）ウェブページからの提案されるビデオ１２４０は、側壁１１８４上の垂直表面１１８６上に設置され、ユーザ１１０８が、単に、その頭部を、本実施例では、若干右に移動させることによって、提案されるビデオを視認可能となることを可能にする。
仮想Ｒｏｌｏｄｅｘ１１９０は、頭部搭載型システム１１６０によって作成され、ユーザ１１０８に表示される、仮想オブジェクトである。仮想Ｒｏｌｏｄｅｘ１１９０は、ユーザ１１０８が仮想ページのセットを通して双方向にサイクリングするための能力を有してもよい。仮想Ｒｏｌｏｄｅｘ１１９０は、ウェブページ全体を含有してもよい、または個々の記事またはビデオまたはオーディオを含有してもよい。本実施例に示されるように、仮想Ｒｏｌｏｄｅｘ１１９０は、二次タブ１２５０からのコンテンツの一部を含有してもよい、またはいくつかの実施形態では、仮想Ｒｏｌｏｄｅｘ１１９０は、二次タブ１２５０のページ全体を含有してもよい。ユーザ１１０８は、単に、仮想Ｒｏｌｏｄｅｘ１１９０内の特定のタブ上に合焦することによって、仮想Ｒｏｌｏｄｅｘ１１９０内のコンテンツを通して双方向にサイクリングさせてもよく、頭部搭載型システム１１６０内の１つ以上のセンサ（例えば、センサ１１６２）は、ユーザ１１０８の眼焦点を検出し、適宜、仮想Ｒｏｌｏｄｅｘ１１９０内のタブを通してサイクリングさせ、ユーザ１１０８のために関連情報を取得するであろう。いくつかの実施形態では、ユーザ１１０８は、仮想Ｒｏｌｏｄｅｘ１１９０からの関連情報を選定し、頭部搭載型システム１１６０に、関連情報を利用可能な周囲表面またはユーザ１１０８に近接近する仮想ディスプレイ（図示せず）等のさらに別の仮想オブジェクトのいずれか上に表示するように命令してもよい。
マルチスタック仮想オブジェクト１１９４は、仮想Ｒｏｌｏｄｅｘ１１９０と同様に、ユーザ１１０８が、ブックマークした、将来的視認のために保存した、またはオープン（すなわち、非アクティブ）タブを有する、１つ以上のタブからのコンテンツ全体または種々のウェブページまたはタブからの特定のコンテンツに及ぶ、コンテンツを含有してもよい。マルチスタック仮想オブジェクト１１９４はまた、新聞の実世界スタックに類似する。マルチスタック仮想オブジェクト１１９４内の各スタックは、特定の新聞記事、ページ、雑誌の号、レシピ等に関連してもよい。当業者は、コンテンツソースからのコンテンツ要素またはコンテンツを設置するための表面を提供する本同一目的を遂行するために、複数のタイプの仮想オブジェクトが存在し得ることを理解し得る。
当業者は、ウェブブラウザ１１１０によってアクセスまたは表示されるコンテンツが、単なるウェブページ以上であってもよいことを理解し得る。いくつかの実施形態では、コンテンツは、写真アルバムからの写真、映画からのビデオ、ＴＶ番組、ＹＯＵＴＵＢＥ（登録商標）ビデオ、双方向フォーム等であってもよい。さらに他の実施形態では、コンテンツは、電子ブックまたは本を表示する任意の電子手段であってもよい。最後に、他の実施形態では、コンテンツが、概して、情報が現在提示されている方法によるため、コンテンツは、まだ説明されていない他のタイプのコンテンツであってもよい。電子デバイスが、コンテンツを消費し得る場合、コンテンツは、頭部搭載型システム１１６０によって使用され、コンテンツを分解し、３Ｄ設定（例えば、ＡＲ）内に表示することができる。
いくつかの実施形態では、アクセスされたコンテンツをマッチング／マッピングするステップは、コンテンツ（例えば、ブラウザからの）を抽出するステップと、それを表面上に掲載するステップとを含んでもよく（コンテンツがもはやブラウザ内になく、表面上にのみあるように）、いくつかの実施形態では、マッチング／マッピングするステップは、コンテンツ（例えば、ブラウザからの）を複製するステップと、それを表面上に掲載するステップとを含むことができる（コンテンツがブラウザ内および表面上の両方にあるように）。
コンテンツを分解するステップは、インターネットおよびコンピュータ関連技術の領域内に存在する、技術的問題である。ウェブページ等のデジタルコンテンツは、ＨＴＭＬ等のあるタイプのプログラミング言語を使用して構成され、コンピュータプロセッサおよび技術的コンポーネントに、ウェブページ内の要素をユーザのための画面上に表示する場所および方法を命令する。上記に議論されるように、ウェブ設計者は、典型的には、２Ｄキャンバス（例えば、画面）の限界内で作業し、要素（例えば、コンテンツ）を２Ｄキャンバス内に設置および表示する。ＨＴＭＬタグは、ＨＴＭＬドキュメントまたはＨＴＭＬドキュメント内の一部がフォーマッティングされる方法を決定するために使用される。いくつかの実施形態では、（抽出または複製された）コンテンツは、ＨＴＭＬタグ参照を維持することができ、いくつかの実施形態では、ＨＴＭＬタグ参照は、再定義されてもよい。
本実施例に関して図４を簡単に参照すると、４１０においてコンテンツを受信するステップは、頭部搭載型システム１１６０の使用を伴い、デジタルコンテンツを検索してもよい。４１０においてコンテンツを受信するステップはまた、ネットワーク１１２０に接続されるサーバ（例えば、記憶デバイス１１３０）上のデジタルコンテンツにアクセスするステップを含んでもよい。４１０においてコンテンツを受信するステップは、ユーザ１１０８に関心があるウェブページに関して、インターネットをブラウジングするステップを含んでもよい。いくつかの実施形態では、４１０においてコンテンツを受信するステップは、コンテンツをインターネット上で検索するために、ユーザ１１０８によって与えられる音声アクティブ化コマンドを含んでもよい。例えば、ユーザ１１０８は、デバイス（例えば、頭部搭載型システム１１６０）と相互作用してもよく、ユーザ１１０８は、ビデオを検索するためのコマンドを発し、次いで、ビデオの名称およびビデオの簡単な説明を述べることによって、特定のビデオを検索するようにデバイスに求めることによって、特定のビデオをインターネット上で検索する。デバイスは、次いで、インターネットを検索し、ビデオを２Ｄブラウザ上に引き出し、デバイスの２Ｄブラウザ上に表示されるにつれて、ユーザ１１０８がビデオを見ることを可能にしてもよい。ユーザ１１０８は、次いで、ビデオが、ユーザ１１０８が空間的３Ｄ環境内で視認することを所望するであろうビデオであることを確認してもよい。
いったんコンテンツが、受信されると、本方法は、４２０においてコンテンツ内のコンテンツ要素を識別し、ユーザ１１０８に表示するためにコンテンツ内のコンテンツ要素をインベントリ化する。コンテンツ内のコンテンツ要素は、例えば、ウェブページ上に投稿されたビデオ、記事、およびニュースレター、ソーシャルメディアウェブサイト上のコメントおよび投稿、ブログ投稿、種々のウェブサイト上に投稿された写真、オーディオブック等を含んでもよい。コンテンツ（例えば、ウェブページ）内のこれらの要素は、コンテンツに関するスクリプト内のＨＴＭＬタグによって判別可能であってもよく、さらに、特定の要素が設置される場所、ある場合には、要素が表示されるべき時間および方法を定義するためにコンテンツ設計者によって提供される属性を有する、ＨＴＭＬタグまたはＨＴＭＬ様タグを備えてもよい。いくつかの実施形態では、本開示の方法およびシステムは、これらのＨＴＭＬタグおよび属性をコンテンツ設計者によって提供されるヒントおよび提案として利用し、４４０におけるマッチング／マッピングプロセスを補助し、要素を３Ｄ設定内で表示すべき場所および方法を決定するであろう。例えば、下記は、コンテンツ設計者（例えば、ウェブページ開発者）によって提供される例示的ＨＴＭＬウェブページコードである。
コンテンツ設計者によって提供される例示的ＨＴＭＬウェブページコード
Figure 2023093763000002
Figure 2023093763000003
コンテンツ設計者によって提供される例示的ＨＴＭＬウェブページコードは、主ビデオをウェブページ上に表示すべき方法に関する選好および推奨（または提案）されるビデオを表示すべき方法に関する選好を含む。選好は、１つ以上の属性としてタグ内で伝達されてもよい。コンテンツ要素に関する例示的属性は、上記および下記に説明される。属性は、上記に説明されるように、決定または推測されてもよい。特に、本ＨＴＭＬウェブページコードは、「スタイル」のタグを使用して、主ビデオを表示する方法を規定し、「垂直」のタイプ値を使用して、ビデオを表示するための垂直表面を指定する。加えて、「スタイル」タグ内では、コンテンツ設計者によって提供される付加的ヒントが、ウェブページ（例えば、主ビデオ）内のどのＨＴＭＬ要素／コンテンツがどの潜在的表面積にマッチング／マッピングされるべきかを優先順位化するために使用するためのマッチングアルゴリズムのための「優先順位」選好属性を含んでもよい。例示的ＨＴＭＬウェブページコードでは、優先順位は、垂直平面レイアウトを有するビデオに関して、１００の値に設定され、本実施例では、より高い優先順位値は、より高い優先順位を示す。加えて、本実施例では、選好属性が、コンテンツ設計者によって、スタック内の提案されるビデオを「水平」のタイプ値を有するスタックレイアウト内に設置するように示され、スタックされたオブジェクト（例えば、この場合、別の提案されるビデオに関連して提案されるビデオ）間の距離は、２０ｃｍであるべきである。
いくつかの実施形態では、例えば、＜ｍｌ－ｃｏｎｔａｉｎｅｒ＞等のタグは、解析器（例えば、解析器１１５）が、タグ内で規定された属性を解釈し、コンテンツ要素が３Ｄ空間環境内に表示されるべき場所および方法を決定することが可能であり得るように、コンテンツ設計者がコンテンツ要素が環境（例えば、３Ｄ空間環境）内に表示されるべき場所および方法に関する具体的選好属性（例えば、ヒント）を提供することを可能にし得る。具体的選好属性は、コンテンツ要素に関する表示選好を定義するための１つ以上の属性を含んでもよい。属性は、上記に説明される属性のいずれかを含んでもよい。
当業者は、コンテンツ設計者によって定義されたこれらの提案、ヒント、および／または属性が、例えば、コンテンツ要素を３Ｄ空間環境内に表示するための類似プロパティを示し得る、＜ｍｌ－ｃｏｎｔａｉｎｅｒ＞等のタグ内に定義されてもよいことを理解し得る。加えて、当業者はまた、コンテンツ設計者が任意の組み合わせにおいて属性を規定してもよいことを理解し得る。本明細書に開示される実施形態は、解析器（例えば、解析器１１５）、またはウェブページのコンテンツを分析し、コンテンツ要素をコンテンツ内に最良に表示するための方法および場所を決定するための他の類似技術の使用によって、所望の表示結果を解釈してもよい。
本実施例に関して図５を簡単に参照すると、５１０においてコンテンツ内の要素を識別するステップは、図４の４２０においてコンテンツ内の要素を識別するステップに類似してもよい。本方法は、５２０において、属性をコンテンツの場所に関するタグから識別するための次のステップに進む。上記に議論されるように、コンテンツ設計者は、ウェブページを設計および構成する際、ウェブページ内のコンテンツ要素と各コンテンツ要素を表示すべき場所および方法を定義するためのＨＴＭＬタグを関連付けてもよい。これらのＨＴＭＬタグはまた、ウェブページの特定の部分上のコンテンツ要素の場所に関する属性を含んでもよい。頭部搭載型システム１１６０が、システムの他のコンポーネントを検出し、それと協調し、特定の要素が表示され得る場所に関する入力として使用するであろうものは、これらのＨＴＭＬタグおよびその属性である。いくつかの実施形態では、例えば、＜ｍｌ－ｃｏｎｔａｉｎｅｒ＞等のタグは、３Ｄ空間環境内のコンテンツ要素の表示選好属性を提案するためにコンテンツ設計者によって規定された属性を含んでもよく、タグは、コンテンツ要素と関連付けられる。
ヒントまたはタグを各要素から抽出するステップは、５３０において実施される。ヒントまたはタグは、典型的には、ウェブページのコンテンツ設計者によって提供される、フォーマッティングヒントまたはフォーマッティングタグである。上記に議論されるように、コンテンツ設計者は、例えば、「ウェブページ開発者によって提供される例示的ＨＴＭＬウェブページコード」に示されるように、ＨＴＭＬタグの形態で命令またはヒントを提供し、ウェブブラウザ１１１０に、コンテンツ要素をページまたは画面の特定の部分に表示するように命令してもよい。いくつかの実施形態では、コンテンツ設計者は、付加的ＨＴＭＬタグ属性を使用して、付加的フォーマッティングルールを定義してもよい。例えば、ユーザが、具体的色（例えば、赤色）に関して低減された感度を有する場合、赤色を表示せず、代わりに、別の色を使用する、または垂直表面上に表示される選好を有するビデオが、垂直表面上に表示されることができない場合、代替として、ビデオを別の（物理的）表面上に表示する、または仮想表面を作成し、ビデオを仮想表面上に表示する。下記は、ＨＴＭＬページを通して解析し、ヒント／タグをＨＴＭＬページ内の各要素から抽出するためにブラウザ内に実装される例示的ＨＴＭＬページ解析器である。
ブラウザ内に実装される例示的ＨＴＭＬページ解析器
Figure 2023093763000004
Figure 2023093763000005
Figure 2023093763000006
例示的ＨＴＭＬページ解析器は、特定のコンテンツ要素に関する表示選好属性を提供するために使用されるＨＴＭＬタグを含有するＨＴＭＬページが解析および識別および／または抽出／複製され得る方法を示す。例示的ＨＴＭＬページ解析器に開示されるように、コンテンツ要素は、開示されるサンプルコードを使用して解析されることができる。種々の要素名および値を使用したあるＨＴＭＬタグが、ＨＴＭＬページ解析器によって識別／抽出され（例えば、ＭＬ．ｌａｙｏｕｔ、ＭＬ．ｃｏｎｔａｉｎｅｒ等）、特定の要素が３Ｄ環境内でユーザに表示されるべき方法を決定してもよい（例えば、コンテンツ要素を特定の表面にマッチングさせることによって）。
コンテンツ要素のための代替表示形態をルックアップ／検索するステップは、５４０において実施される。あるフォーマッティングルールが、特定の視認デバイス上に表示されるコンテンツ要素に関して規定されてもよい。例えば、あるフォーマッティングルールは、ウェブページ上の画像に関して規定されてもよい。システムは、代替表示形態にアクセスしてもよい。例えば、ウェブブラウザ１１１０が、画像の３Ｄバージョン（またはより一般的には、３Ｄアセットまたは３Ｄメディア）を表示することが可能である場合、ウェブページ設計者は、付加的タグを設置する、または特定のタグのある属性を定義し、ウェブブラウザ１１１０が、画像が画像の代替バージョン（例えば、画像の３Ｄバージョン）を有し得ることを認識することを可能にしてもよい。ウェブブラウザ１１１０は、次いで、３Ｄ対応ブラウザに表示されるための画像の代替バージョン（例えば、画像の３Ｄバージョン）にアクセスしてもよい。
いくつかの実施形態では、ウェブページ内の３Ｄ画像は、３Ｄ環境内の表面上に表示されるためにウェブページから抽出可能ではない、またはコピーされない場合がある。これらの実施形態では、３Ｄ画像は、３Ｄ画像が回転、光輝等するように現れる、ユーザの３Ｄ環境内に表示されてもよく、ユーザは、３Ｄ画像と相互作用するが、３Ｄ画像を含むウェブページ内でのみ相互作用し得る。これらの実施形態では、３Ｄ画像が、ウェブページから抽出またはコピーされなかったため、３Ｄ画像の表示は、ウェブページ内に表示される。この場合、ウェブページ全体が、抽出され、ユーザの３Ｄ環境内に表示され、例えば、３Ｄ画像等のウェブページ内のいくつかのコンテンツ要素は、ウェブページから抽出またはコピーされないが、ウェブページの残りに対して３Ｄで現れ得、ウェブページ内で相互作用可能であり得る。
いくつかの実施形態では、ウェブページ内の３Ｄ画像は、ウェブページからコピーされるが、抽出されない場合がある。これらの実施形態では、３Ｄ画像は、３Ｄ画像が回転、光輝等するように現れる、ユーザの３Ｄ環境内に表示されてもよく、ユーザは、３Ｄ画像を含むウェブページ内のみだけではなく、また、３Ｄ画像のコピーを含むウェブページ外の３Ｄ環境内でも、３Ｄ画像と相互作用し得る。ウェブページは、３Ｄ画像と同じように現れ、ウェブページ外には、３Ｄ画像のコピーが存在する。
いくつかの実施形態では、ウェブページ内の３Ｄ画像は、ウェブページから抽出され得る。これらの実施形態では、３Ｄ画像は、３Ｄ画像が回転、光輝等するように現れる、ユーザの３Ｄ環境内に表示されてもよく、ユーザは、３Ｄ画像がウェブページから抽出されるにつれて、３Ｄ画像と相互作用するが、ウェブページ外のみで相互作用し得る。３Ｄ画像が、ウェブページから抽出されたため、３Ｄ画像は、３Ｄ環境のみに、ウェブページを伴わずに表示される。これらの実施形態では、ウェブページは、３Ｄ画像がウェブページから抽出された後、再構成されてもよい。例えば、抽出されることに先立って３Ｄ画像が存在したウェブページ内のブランクセクションを含む、ウェブページのあるバージョンが、ユーザに提示されてもよい。
前述の実施形態および実施例は、ウェブページ内の３Ｄ画像に関して説明されるが、当業者は、説明が任意のコンテンツ要素にも同様に適用され得ることを理解し得る。
識別されたコンテンツ要素を記憶するステップは、５５０において実施される。本方法は、合成プロセス１４０において使用され、コンテンツ要素を表面にマッチングさせるために、識別された要素を非一過性記憶媒体の中に記憶してもよい。非一過性記憶媒体は、記憶デバイス１１３０またはローカル記憶デバイス１１４０等のデータ記憶デバイスを含んでもよい。コンテンツ要素は、下記に説明される図１４Ａに開示されるテーブル等の特定のテーブル内に記憶されてもよい。いくつかの実施形態では、コンテンツ要素は、例えば、下記に説明される図１４Ｂに開示されるようなツリー構造として表される、階層構造内に記憶されてもよい。いくつかの実施形態では、コンテンツ要素は、一過性記憶媒体内に記憶されてもよい。
図１４Ａ－１４Ｂは、いくつかの実施形態による、コンテンツから分解されたコンテンツ要素を記憶するための異なる構造の実施例を示す。図１４Ａでは、要素テーブル１４００は、図５の５１０におけるコンテンツ内のコンテンツ要素を識別するステップの結果をデータベース内に記憶し得る、例示的テーブルである。要素テーブル１４００は、例えば、要素識別（ＩＤ）１４１０と、コンテンツ要素に関する選好属性インジケータ１４２０（例えば、優先順位属性、配向属性、位置タイプ属性、コンテンツタイプ属性、表面タイプ属性、および同等物、またはいくつかのそれらの組み合わせ）と、特定のコンテンツ要素が親コンテンツ要素内に含まれる場合の親要素ＩＤ１４３０、コンテンツ要素が子コンテンツ要素を含有し得る場合の子コンテンツ要素ＩＤ１４４０と、コンテンツ要素を表示するために使用される表面または仮想オブジェクトにコンテンツ要素の複数のバージョンを表示することと互換性を持たせる必要性を保証し得る、複数のエンティティをコンテンツ要素が含有するかどうかを示すための複数エンティティインジケータ１４５０とを含む、コンテンツ内の１つ以上のコンテンツ要素についての情報を含む。親コンテンツ要素は、サブコンテンツ要素（例えば、子コンテンツ要素）を含有し得る、コンテンツ内のコンテンツ要素／オブジェクトである。例えば、１２２０（例えば、主ビデオ１２２０）の値を有する要素ＩＤは、１２６０（例えば、アクティブタブ１２６０）の親要素ＩＤ値を有し、これは、主ビデオ１２２０がアクティブタブ１２６０の子コンテンツ要素であることを示す。または換言すると、主ビデオ１２２０は、アクティブタブ１２６０内に含まれる。同一実施例を継続すると、主ビデオ１２２０は、子要素ＩＤ１２３０（例えば、ユーザコメント１２３０）を有し、これは、ユーザコメント１２３０が主ビデオ１２２０と関連付けられることを示す。当業者は、要素テーブル１４００が関係データベースまたは任意のタイプのデータベース内のテーブルであってもよいことを理解し得る。加えて、要素テーブル１４００は、図５の５１０におけるコンテンツ内のコンテンツ要素を識別するステップの結果を含有する、コンピュータメモリ（例えば、キャッシュ）内のアレイであってもよい。
要素テーブル１４００内の行１４６０の各行は、ウェブページ内からのコンテンツ要素に対応する。要素ＩＤ１４１０は、コンテンツ要素（例えば、要素ＩＤ）毎に一意の識別子を含有する、列である。いくつかの実施形態では、コンテンツ要素の一意性は、要素ＩＤ１４１０列およびテーブル内の別の列（例えば、コンテンツ設計者によって識別される１つを上回る選好属性が存在する場合、選好属性１４２０列）の組み合わせとして定義されてもよい。選好属性１４２０は、その値が、少なくとも部分的に、コンテンツ設計者によってその中に定義され、図５の５３０におけるヒントまたはタグを各コンテンツ要素から抽出するステップに開示されるように、本システムおよび方法によって識別される、タグおよび属性に基づいて決定され得る、列である。他の実施形態では、選好属性１４２０列は、少なくとも部分的に、所定のルールに基づいて決定され、あるコンテンツのタイプ要素が環境内で表示されるべき場所を規定してもよい。これらの所定のルールは、コンテンツ要素を環境内に最良に設置すべき場所を決定するための提案を本システムおよび方法に提供し得る。
親要素ＩＤ１４３０は、現在の行内の本特定のコンテンツ要素がその中に表示される、またはそれに関連する、親コンテンツ要素の要素ＩＤを含有する、列である。特定のコンテンツ要素は、内蔵される、ページの別のコンテンツ要素内に設置される、またはウェブページ上の別のコンテンツ要素に関連してもよい。例えば、本実施形態では、要素ＩＤ１４１０列の第１のエントリは、図１２の主ビデオ１２２０に対応する要素ＩＤ１２２０の値を記憶する。主ビデオ１２２０に対応する選好属性１４２０列内の値は、タグおよび／または属性に基づいて決定され、図示されるように、本コンテンツ要素がユーザの物理的環境１１０５の「主」場所に設置されるべきであるということである。ユーザ１１０８の現在の場所に応じて、その主場所は、ユーザ１１０８が現在見ている居間内の壁または台所内のコンロの上のフードであってもよい、または広開放空間内に存在する場合、主ビデオ１２２０が投影され得る、ユーザ１１０８の通視線の正面に投影される、仮想オブジェクトであってもよい。コンテンツ要素がユーザ１１０８に表示される方法に関するさらなる情報は、発明を実施するための形態の他の場所に開示されるであろう。本実施例を継続すると、親要素ＩＤ１４３０列は、図１２のアクティブタブ１２６０に対応する要素ＩＤ１２６０の値を記憶する。したがって、主ビデオ１２２０は、アクティブタブ１２６０の子である。
子要素ＩＤ１４４０は、現在の行内の本特定のコンテンツ要素が表示されている、またはそれに関連する、子コンテンツ要素の要素ＩＤを含有する、列である。ウェブページ内の特定のコンテンツ要素は、内蔵される、別のコンテンツ要素内に設置される、または別のコンテンツ要素に関連してもよい。本実施例を継続すると、子要素ＩＤ１４４０列は、図１２のユーザコメント１２３０に対応する要素ＩＤ１２３０の値を記憶する。
多重エンティティインジケータ１４５０は、要素を表示するために使用される表面または仮想オブジェクトにコンテンツ要素の複数のバージョンを表示することと互換性を持たせる必要性を保証し得る、多重エンティティをコンテンツ要素が含有するかどうかを示す、列である（例えば、コンテンツ要素は、ユーザコメント１２３０であってもよく、主ビデオ１２２０に関して、利用可能な１つを上回るコメントが存在してもよい）。本実施例を継続すると、多重エンティティインジケータ１４５０列は、「Ｎ」の値を記憶し、主ビデオ１２２０が複数の主ビデオをアクティブタブ１２６０内に有していない、またはそれに対応していない（例えば、主ビデオ１２２０の複数のバージョンが「存在しない」）ことを示す。
本実施例を継続すると、要素ＩＤ１４１０列の第２のエントリは、図１２のユーザコメント１２３０に対応する要素ＩＤ１２３０の値を記憶する。ユーザコメント１２３０に対応する選好属性１４２０列内の値は、「水平」の選好を示し、ユーザコメント１２３０がユーザの物理的環境１１０５内のいずれかの場所の水平表面上に設置されるべきであることを示す。上記に議論されるように、水平表面は、ユーザの物理的環境１１０５内の利用可能な水平表面に基づいて決定されるであろう。いくつかの実施形態では、ユーザの物理的環境１１０５は、水平表面を有していない場合があり、その場合、本開示の本システムおよび方法は、水平表面を伴う仮想オブジェクトを識別／作成し、ユーザコメント１２３０を表示してもよい。本実施例を継続すると、親要素ＩＤ１４３０列は、図１２の主ビデオ１２２０に対応する値要素ＩＤ１２２０を記憶し、多重エンティティインジケータ１４５０列は、「Ｙ」の値を記憶し、ユーザコメント１２３０が１つを上回る値（例えば、１つを上回るユーザコメント）を含有し得ることを示す。
要素テーブル１４００内の残りの行は、ユーザ１１０８に関心のある残りのコンテンツ要素に関する情報を含有する。当業者は、５１０におけるコンテンツ内のコンテンツ要素を識別するステップの結果を記憶することが、いったん本分析がコンテンツ上で実施されると、別のユーザが同一コンテンツに関心がある場合のコンテンツの将来的分析のための本システムおよび方法によって留保され得るため、コンピュータ自体の機能を改良することを理解し得る。本特定のコンテンツを分解するための本システムおよび方法は、以前にすでに完了されているため、回避されてもよい。
いくつかの実施形態では、要素テーブル１４００は、記憶デバイス１１３０内に記憶されてもよい。他の実施形態では、要素テーブル１４００は、最近視認されたコンテンツへの迅速アクセスのために、または最近視認されたコンテンツへの可能性として考えられる再訪問のために、ローカル記憶デバイス１１４０内に記憶されてもよい。さらに他の実施形態では、要素テーブル１４００は、ユーザ１１０８から遠隔に位置する記憶デバイス１１３０およびユーザ１１０８にローカルで位置するローカル記憶デバイス１１４０の両方に記憶されてもよい。
図１４Ｂでは、ツリー構造１４０５は、図５の５１０におけるコンテンツ内の要素を識別するステップの結果をデータベースの中に記憶するために使用され得る、例示的論理構造である。コンテンツ要素をツリー構造内に記憶することは、種々のコンテンツが相互に階層関係を有するとき、有利であり得る。ツリー構造１４０５は、親ノード－ウェブページ主タブノード１４１５と、第１の子ノード－主ビデオノード１４２５と、第２の子ノード－提案されるビデオノード１４４５とを含む。第１の子ノード－主ビデオノード１４２５は、子ノード－ユーザコメントノード１４３５を含む。ユーザコメントノード１４３５は、ウェブページ主タブノード１４１５の孫である。実施例として、図１２を参照すると、ウェブページ主タブノード１４１５は、ウェブページ主タブ１２６０であってもよく、主ビデオノード１４２５は、主ビデオ１２２０であってもよく、ユーザコメントノード１４３５は、ユーザコメント１２３０であってもよく、提案されるビデオノード１４４５は、提案されるビデオ１２４０であってもよい。ここでは、コンテンツ要素のツリー構造編成は、種々のコンテンツ要素間の階層関係を示す。コンテンツ要素を論理構造のツリー構造タイプ内に編成および記憶することが有利であり得る。例えば、主ビデオ１２２０が、特定の表面上に表示されている場合、システムが、ユーザコメント１２３０が主ビデオ１２２０の子コンテンツであることを把握することが有用であり得、ユーザがユーザコメント１２３０と主ビデオ１２２０との間の関係を容易に見て理解し得るように、ユーザコメント１２３０を主ビデオ１２２０に比較的に近接して表示し、および／またはユーザコメント１２３０を主ビデオ１２２０の近傍の表面上に表示することが有益であり得る。いくつかの実施形態では、ユーザが主ビデオ１２２０を隠すまたは閉じることを決定する場合、ユーザコメント１２３０を隠すまたは閉じることが可能であることが有益であり得る。いくつかの実施形態では、ユーザが主ビデオ１２２０を異なる表面に移動させることを決定する場合、ユーザコメント１２３０を別の表面に移動させることが可能であることが有益であり得る。システムは、親ノード－主ビデオノード１４２５および子ノード－ユーザコメントノード１４３５の両方を同時に移動させることによって、ユーザが主ビデオ１２２０を移動させるとき、ユーザコメント１２３０を移動させてもよい。
図４に戻ると、本方法は、４３０において、表面を決定するステップを継続する。ユーザ１１０８は、ユーザの物理的環境１１０５を頭部搭載型システム１１６０を通して視認し、頭部搭載型システム１１６０が、壁、テーブル、絵画、窓枠、コンロ、冷蔵庫、ＴＶ等の周囲表面を捕捉および識別することを可能にしてもよい。頭部搭載型システム１１６０は、頭部搭載型システム１１６０上のセンサおよびカメラのため、または任意の他のタイプの類似デバイスを用いて、ユーザの物理的環境１１０５内の実オブジェクトを認知する。いくつかの実施形態では、頭部搭載型システム１１６０は、ユーザの物理的環境１１０５内で観察される実オブジェクトを記憶デバイス１１３０またはローカル記憶デバイス１１４０内に記憶される仮想オブジェクトとマッチングさせ、そのような仮想オブジェクトとともに利用可能な表面を識別してもよい。実オブジェクトは、ユーザの物理的環境１１０５内で識別されたオブジェクトである。仮想オブジェクトは、ユーザの物理的環境内に物理的に存在しないが、仮想オブジェクトがユーザの物理的環境内に存在するかのように現れるようにユーザに表示され得る、オブジェクトである。例えば、頭部搭載型システム１１６０は、ユーザの物理的環境１１０５内でテーブルの画像を検出してもよい。テーブル画像は、記憶デバイス１１３０またはローカル記憶デバイス１１４０における比較およびマッチングのために、３Ｄポイントクラウドオブジェクトに低減されてもよい。（例えば、テーブルの）実オブジェクトおよび３Ｄポイントクラウドオブジェクトのマッチングが、検出される場合、本システムおよび方法は、テーブルを表す３Ｄポイントクラウドオブジェクトが水平表面を有するように定義されるため、テーブルを水平表面を有すると識別するであろう。
いくつかの実施形態では、仮想オブジェクトは、抽出されたオブジェクトであってもよく、抽出されたオブジェクトは、ユーザの物理的環境１１０５内で識別されたが、物理的オブジェクト自体上で行われることが可能ではないであろう、付加的処理および関連付けが、抽出されたオブジェクトに対して行われ得るように（例えば、物理的オブジェクトの色を変化させ、物理的オブジェクトの特定の特徴をハイライトするため等）、物理的オブジェクトの場所内の仮想オブジェクトとしてユーザに表示される、物理的オブジェクトであってもよい。加えて、抽出されたオブジェクトは、コンテンツ（例えば、ブラウザからのウェブページ）から抽出され、ユーザ１１０８に表示される、仮想オブジェクトであってもよい。例えば、ユーザ１１０８は、ユーザの物理的環境１１０５内で表示されるために、ウェブページ上に表示される長椅子等のオブジェクトを選定してもよい。システムは、選定されたオブジェクト（例えば、長椅子）を認識し、抽出されたオブジェクト（例えば、長椅子）がユーザの物理的環境１１０５内に物理的に存在するかのように、抽出されたオブジェクト（例えば、長椅子）をユーザ１１０８に表示してもよい。加えて、仮想オブジェクトはまた、ユーザの物理的環境１１０５内に物理的に存在しないが、コンテンツを表示する視点から、あるコンテンツをユーザに提示するための理想的表示表面であり得る、コンテンツを表示するための表面（例えば、あるコンテンツを視認するためにユーザに近接近する透明ディスプレイ画面）を有する、オブジェクトを含んでもよい。
図６を簡単に参照すると、本方法は、６１０において、表面を決定するステップから開始する。本方法は、６２０において、ユーザの姿勢を決定する次のステップに進み、これは、頭部姿勢ベクトルを決定するステップを含んでもよい。６２０においてユーザの姿勢を決定するステップは、ユーザの姿勢がユーザの物理的環境１１０５内のオブジェクトに関連してユーザ１１０８のための視点を提供するであろうため、ユーザの現在の周囲を識別するために重要なステップである。例えば、図１１に戻って参照すると、ユーザ１１０８は、頭部搭載型システム１１６０を使用して、ユーザの物理的環境１１０５を観察している。６２０においてユーザの姿勢（すなわち、頭部姿勢ベクトルおよび／または世界に対する原点位置情報）を決定するステップは、頭部搭載型システム１１６０が、例えば、（１）地面に関連してユーザ１１０８が存在する高さ、（２）ユーザ１１０８が、部屋を動き回り、その画像を捕捉するために、その頭部を回転させる必要がある、角度、および（３）ユーザ１１０８と、テーブル１１８８、主壁１１８０、および側壁１１８４との間の距離を理解することに役立つであろう。加えて、ユーザ１１０８の姿勢もまた、垂直表面１１８２および１８６とともに、ユーザの物理的環境１１０５内の他の表面を観察するとき、頭部搭載型システム１１６０の角度を決定する際に有用である。
６３０において、本方法は、表面の属性を決定する。ユーザの物理的環境１１０５内の各表面は、対応する属性とタグ付けおよびカテゴリ化される。いくつかの実施形態では、ユーザの物理的環境１１０５内の各表面はまた、対応する寸法および／または配向属性とタグ付けおよびカテゴリ化される。本情報は、少なくとも部分的に、表面の寸法属性、表面の配向属性、ユーザ１１０８が特定の表面から離れている距離、およびコンテンツ要素に関して表示される必要がある情報のタイプに基づいて、コンテンツ要素を表面にマッチングさせる際に有用であろう。例えば、ビデオは、小寸法を伴って離れた壁上に表示される場合、記事のテキストサイズが小さすぎてユーザが見ることができない、豊富な情報を含有し得る、ブログまたは記事より離れて示されることができる。いくつかの実施形態では、図１Ｂからのセンサ１６２は、処理するために、未加工データをＣＶＰＵ１６４に提供し、ＣＶＰＵ１６４は、環境解析器１６８のためのデータを準備するために、処理されたデータを知覚フレームワーク１６６に提供する。環境解析器１６８は、知覚フレームワーク１６６からの環境データを解析し、環境内の表面を決定する。
６４０において、本方法は、抽出された要素を特定の表面にマッチング／マッピングするために合成プロセス／マッチング／マッピングルーチンによって使用されるために、表面のインベントリを非一過性記憶媒体の中に記憶する。非一過性記憶媒体は、記憶デバイス１１３０またはローカル記憶デバイス１１４０等のデータ記憶デバイスを含んでもよい。識別された表面は、下記に説明される図１５に開示されるテーブル等の特定のテーブル内に記憶されてもよい。いくつかの実施形態では、識別された表面は、一過性記憶媒体内に記憶されてもよい。
図１５は、いくつかの実施形態による、ユーザのローカル環境から識別された表面のインベントリを記憶する、テーブルの実施例を示す。表面テーブル１５００は、周囲表面および属性プロセスを識別するステップの結果をデータベース内に記憶し得る、例示的テーブルである。表面テーブル１５００は、例えば、表面ＩＤ１５１０と、幅１５２０と、高さ１５３０と、配向１５４０と、実または仮想インジケータ１５５０と、多重性１５６０と、位置１５７０と、ユーザ１５８０に対するドット積相対的表面配向とを含む、データ列を有する、ユーザの物理的環境１１０５内の表面についての情報を含む。表面テーブル１５００は、各表面の他の属性を表す、付加的列を有してもよい。当業者は、表面テーブル１５００が関係データベースまたは任意のタイプのデータベース内のテーブルであってもよいことを理解し得る。加えて、表面テーブル１５００は、図４の４３０において表面を決定するステップの結果を記憶する、コンピュータメモリ（例えば、キャッシュ）内のアレイであってもよい。
表面テーブル１５００内の行１５９０の各行は、ユーザの物理的環境１１０５からの表面またはユーザの物理的環境１１０５内でユーザ１１０８に表示され得る仮想表面に対応してもよい。表面ＩＤ１５１０は、一意の識別子を含有し、特定の表面（例えば、表面ＩＤ）を一意に識別する、列である。特定の表面の寸法は、幅１５２０および高さ１５３０列内に記憶される。
配向１５４０は、ユーザ１１０８に対する表面の配向（例えば、垂直、水平等）を示す、列である。実／仮想１５５０は、特定の表面が、頭部搭載型システム１１６０を使用してユーザ１１０８によって知覚されるようなユーザの物理的環境１１０５内の実表面／オブジェクト上に位置するかどうか、または特定の表面が、頭部搭載型システム１１６０によって生成され、ユーザの物理的環境１１０５内で表示されるであろう、仮想表面／オブジェクト上に位置するかどうかを示す、列である。頭部搭載型システム１１６０は、ユーザの物理的環境１１０５が、十分な表面を含有しない、マッチングスコア分析に基づいて十分に適切な表面を含有し得ない、または頭部搭載型システム１１６０が、ユーザ１１０８が表示することを所望するコンテンツの量を表示するために十分な表面を検出し得ない状況のために、仮想表面／オブジェクトを生成する必要があり得る。これらの実施形態では、頭部搭載型システム１１６０は、表示のために識別されたあるタイプの要素を表示するために適切な表面寸法を有し得る、既存の仮想オブジェクトのデータベースから検索してもよい。データベースは、記憶デバイス１１３０またはローカル記憶デバイス１１４０からのものであってもよい。いくつかの実施形態では、仮想表面は、ユーザの実質的に正面に作成される、またはユーザおよび／またはデバイスの実世界の一次視野をオクルードしないように、頭部搭載型システム１１６０の前方ベクトルからオフセットされる。
多重性１５６０は、表面／オブジェクトが要素の複数のバージョンを表示することと互換性があるかどうかを示す、列である（例えば、要素は、図１２の二次タブ１２５０であってもよく、特定のウェブブラウザ１１１０に関して、１つを上回る二次（すなわち、非アクティブ）タブ（例えば、タブあたり１つのウェブページ）が存在してもよい。多重性１５６０列が、図１２の仮想Ｒｏｌｏｄｅｘ１１９０に対応する１１９０の値を記憶する表面ＩＤ列の第４のエントリおよび図１２のマルチスタック仮想オブジェクト１１９４に対応する１１９４の値を記憶する表面ＩＤ列の第５のエントリの場合のように、「多重性」の値を有する場合、本システムおよび方法は、非アクティブタブの場合のように、要素の複数のバージョンを有し得る要素が存在する場合、これらが、複数のバージョンに適応し得る表面のタイプであることを把握するであろう。
位置１５７０は、基準または参照点のフレームに対する物理的表面の位置を示す、列である。物理的表面の位置は、図１５における位置１５７０の列ヘッダに示されるように、表面の中心であると事前決定されてもよい。他の実施形態では、位置は、表面の別の参照点（例えば、表面の正面、背面、上面、または底面）であると事前決定されてもよい。位置情報は、基準または参照点のあるフレームに対する物理的表面の中心からのベクトルおよび／または位置情報として表され得る。表面テーブル１５００内の位置を表すために、いくつかの方法が存在し得る。例えば、表面テーブル１５００内の表面ＩＤ１１９４に関する位置の値は、ベクトル情報および基準フレーム情報（例えば、添字「フレーム」）を例証するように要約において表される。ｘ，ｙ，ｚは、各空間寸法内の３Ｄ座標であって、フレームは、３Ｄ座標が対する基準フレームを示す。
例えば、表面ＩＤ１１８６は、表面１１８６の中心の位置が実世界原点に対して（１．３、２．３、１．３）であることを示す。別の実施例として、表面ＩＤ１１９２は、表面１１９２の中心の位置がユーザ基準フレームに対して（ｘ，ｙ，ｚ）であることを示し、表面ＩＤ１１９０は、表面１１９０の中心の位置が別の表面１１８２に対して（ｘ，ｙ，ｚ）であることを示す。基準フレームは、現在使用されている基準フレームを明確にするために重要である。基準フレームとしての実世界原点の場合、これは、概して、静的基準フレームである。しかしながら、基準フレームがユーザ基準フレームである、他の実施形態では、ユーザは、基準フレームを移動させ得、その場合、平面（またはベクトル情報）は、ユーザが移動する場合、ユーザに伴って移動および変化され得、ユーザ基準フレームが、基準フレームとして使用される。いくつかの実施形態では、表面毎の基準フレームは、同一（例えば、ユーザ基準フレーム）であってもよい。他の実施形態では、表面テーブル１５００内に記憶される表面に関する基準フレームは、表面（例えば、ユーザ基準フレーム、世界基準フレーム、部屋内の別の表面またはオブジェクト等）に応じて、異なってもよい。
本実施例では、表面テーブル１５００内に記憶される値は、図１２のユーザの物理的環境１１０５内で識別された物理的表面（例えば、垂直表面１１８２および１１８６および水平表面１１９２）および仮想表面（例えば、仮想Ｒｏｌｏｄｅｘ１１９０およびマルチスタック仮想オブジェクト１１９４）を含有する。例えば、本実施形態では、表面ＩＤ１５１０列の第１のエントリは、図１２の垂直表面１１８２に対応する表面ＩＤ１１８２の値を記憶する。幅１５２０列内の幅値および高さ１５３０列内の高さ値は、垂直表面１１８２の幅および高さに対応し、それぞれ、垂直表面１１８２が４８インチ（Ｗ）×３６インチ（Ｈ）の寸法を有することを示す。同様に、配向１５４０列内の配向値は、垂直表面１１８２が「垂直」の配向を有することを示す。加えて、実／仮想１５５０列内の実／仮想値は、垂直表面１１８２が「Ｒ」（例えば、実）表面であることを示す。多重性１５６０列内の多重性値は、垂直表面１１８２が「単一」（例えば、単一コンテンツのみを保持することができる）ことを示す。最後に、１５７０列内の位置は、（２．５、２．３、１．２）ｕｓｅｒのベクトル情報を用いて、ユーザ１１０８に対する垂直表面１１８２の位置を示す。
表面テーブル１５００内の残りの行は、ユーザの物理的環境１１０５内の残りの表面に関する情報を含有する。当業者は、図４の４３０において表面を決定するステップの結果を記憶することが、いったん本分析が周囲表面上で実施されると、別のユーザまたは同一ユーザ１１０８が同一物理的環境１１０５内に存在するが、異なるコンテンツに関心がある場合のユーザの周囲表面の将来的分析のために、頭部搭載型システム１１６０によって留保され得るため、コンピュータ自体の機能を改良することを理解し得る。４３０において表面を決定するための処理ステップは、これらの処理ステップが以前にすでに完了されているため、回避されてもよい。唯一の差異として、少なくとも部分的に、異なるコンテンツを伴う要素を識別する要素テーブル１４００に基づいて、利用可能な付加的または異なる仮想オブジェクトを識別するステップを含んでもよい。
いくつかの実施形態では、表面テーブル１５００は、記憶デバイス１１３０内に記憶される。他の実施形態では、表面テーブル１５００は、最近視認されたコンテンツへの迅速アクセスのために、または最近視認されたコンテンツへの可能性として考えられる再訪問のために、ユーザ１１０８のローカル記憶デバイス１１４０内に記憶される。さらに他の実施形態では、表面テーブル１５００は、ユーザ１１０８から遠隔に位置する記憶デバイス１１３０およびユーザ１１０８のローカルに位置するローカル記憶デバイス１１４０の両方に記憶されてもよい。
図４に戻ると、本方法は、４４０において、４２０においてコンテンツ内のコンテンツ要素を識別するステップから識別されたコンテンツ要素および４３０において表面を決定するステップから決定された表面の組み合わせを使用して、いくつかの実施形態では、付加的表面としての仮想オブジェクトを使用して、コンテンツ要素を表面にマッチングさせるステップを継続する。コンテンツ要素を表面にマッチングさせるステップは、複数の要因を伴ってもよく、そのうちのいくつかは、上記に議論される例示的ＨＴＭＬページ解析器等のＨＴＭＬページ解析器を使用することによって、コンテンツ設計者によって定義されたＨＴＭＬタグ要素を介してコンテンツ設計者によって提供されるヒントを分析するステップを含んでもよい。他の要因は、ＡＲブラウザ、ＡＲインターフェース、および／またはクラウド記憶装置によって提供されるようなあるコンテンツにマッチング／マッピングすべき方法および場所の事前に定義されたルールのセットから選択するステップを含んでもよい。
図７Ａを簡単に参照すると、これは、いくつかの実施形態による、コンテンツ要素を表面にマッチングさせるための方法を図示する、フロー図を描写する。７１０において、本方法は、識別されたコンテンツ要素がコンテンツ設計者によって提供されるヒントを含有するかどうかを決定する。コンテンツ設計者は、コンテンツ要素を最良に表示するための場所に関するヒントを提供してもよい。例えば、図１２の主ビデオ１２２０は、アクティブタブ１２６０内のウェブページ上に表示されるビデオであってもよい。コンテンツ設計者は、ヒントを提供し、主ビデオ１２２０がユーザ１１０８の直接ビュー内の平坦垂直表面上に最良に表示されることを示してもよい。
いくつかの実施形態では、ウェブリンクに関する３Ｄプレビューは、新しいＨＴＭＬタグおよびウェブページに関連付けられたプロパティのセットとして表され得る。図１６は、いくつかの実施形態による、ウェブリンクに関する例示的３Ｄプレビューを示す。コンテンツ設計者は、新しいＨＴＭＬプロパティを使用して、レンダリングされるための関連付けられた３Ｄプレビューを有するウェブリンクを規定してもよい。随意に、コンテンツ設計者／ウェブ開発者は、３Ｄウェブプレビューをレンダリングするために使用されるための３Ｄモデルを規定してもよい。コンテンツ設計者／ウェブ開発者が、ウェブプレビューをレンダリングするために使用されるための３Ｄモデルを規定する場合、ウェブコンテンツ画像は、３Ｄモデルに対するテクスチャとして使用されてもよい。ウェブページは、受信されてもよい。あるリンクタグに関して規定されたプレビュープロパティが存在する場合、第１のレベルのウェブページが、読み出されてもよく、プレビュープロパティに基づいて、３Ｄプレビューが、生成され、コンテンツ設計者によって規定された３Ｄモデルまたはデフォルト３Ｄモデル（例えば、球体１６１０）上にロードされてもよい。３Ｄプレビューは、ウェブリンクに関して説明されるが、３Ｄプレビューは、他のコンテンツタイプのために使用されてもよい。当業者は、コンテンツ設計者が、特定のコンテンツ要素が本明細書に開示されたもの以外の３Ｄ環境内に設置されるべき場所に関するヒントを提供し得る、多くの他の方法が存在し、これらが、コンテンツ設計者が、ウェブページのコンテンツのあるまたは全てのコンテンツ要素を表示するためのヒントを提供し得る、異なる方法のいくつかの実施例であることを理解し得る。
別の実施形態では、タグ規格（例えば、ＨＴＭＬタグ規格）は、新しいタグ（例えば、ＨＴＭＬタグ）または上記に議論されるコンテンツ設計者によって提供される例示的ウェブページ内等にヒントを提供するための類似マークアップ言語の作成を含んでもよい。タグ規格が、これらのタイプの付加的タグを含む場合、本方法およびシステムのある実施形態は、これらのタグを活用し、さらに、識別されたコンテンツ要素と識別された表面のマッチング／マッピングを提供するであろう。
例えば、ウェブコンポーネントのセットが、コンテンツ設計者／ウェブ開発者が、ウェブページの要素を作成するために使用するための新しいＨＴＭＬタグとしてエクスポーズされてもよく、これは、２Ｄウェブページから突出する３Ｄボリュームまたは２Ｄウェブページの中にエッチングされる３Ｄボリュームとして現れるであろう。図１７は、ウェブページ（例えば、１７１０）の中にエッチングされる３Ｄボリュームを有する、ウェブページの実施例を示す。これらの３Ｄボリュームは、ウェブ制御（例えば、ボタン、ハンドル、ジョイスティック）を含んでもよく、これは、ウェブページ上に設置され、ユーザが、ウェブ制御を操作し、ウェブページ内に表示されるコンテンツを操作することを可能にするであろう。当業者は、コンテンツ要素が３Ｄ環境内に最良に表示されるべき方法に関するヒントをさらに提供するために修正または採用され得る、ＨＴＭＬ以外の多くの他の言語が存在し、新しいＨＴＭＬタグ規格が、単に、そのような目標を達成するための１つの方法であることを理解し得る。
７２０において、本方法は、コンテンツ設計者によって提供されるヒントを使用すべきか、またはコンテンツ要素を表面にマッチング／マッピングするための事前に定義されたルールのセットを使用すべきであるかどうかを決定する。７３０において、コンテンツ設計者によって提供されるヒントを使用することが進めるべき方法であると決定される場合、本システムおよび方法は、ヒントを分析し、少なくとも部分的に、ヒント（例えば、図１５の表面テーブル１５００にクエリする）に基づいて特定のコンテンツ要素を表示するために使用され得る識別された周囲表面を含む、論理構造を検索する。
７４０において、本システムおよび方法は、最良適合アルゴリズムを起動し、提供されるヒントに基づいて、特定のコンテンツ要素に関する最良適合表面を選定する。最良適合アルゴリズム、例えば、特定のコンテンツ要素に関するヒントを得て、環境内のユーザ１１０８に対する正面および中心である表面を識別することを試み得る。例えば、図１２の主ビデオ１２２０は、主ビデオ１２２０が、アクティブタブ１２６０内の図１４Ａの要素テーブル１４００の選好属性１４２０列内の「主」の選好値を有し、垂直表面１１８２が、ユーザ１１０８の直接ビュー内の表面であって、主ビデオ１２２０を表示するための最適サイズ寸法を有するため、垂直表面１１８２にマッチング／マッピングされる。
７５０において、本システムおよび方法は、コンテンツ要素と表面のマッチングを有する、マッチング結果を記憶する。テーブルは、ディスプレイアルゴリズムによって使用され、コンテンツ要素をそのそれぞれのマッチング／マッピングされた表面上に表示するために、非一過性記憶媒体内に記憶されてもよい。非一過性記憶媒体は、記憶デバイス１１３０またはローカル記憶デバイス１１４０等のデータ記憶デバイスを含んでもよい。マッチング結果は、下記の図１８に開示されるテーブル等の特定のテーブル内に記憶されてもよい。
図１８は、いくつかの実施形態による、コンテンツ要素と表面のマッチングを記憶するためのテーブルの実施例を示す。マッチング／マッピングテーブル１８００は、コンテンツ要素と表面をマッチングさせるプロセスの結果をデータベースの中に記憶する、例示的テーブルである。マッチング／マッピングテーブル１８００は、例えば、コンテンツ要素（例えば、要素ＩＤ）およびコンテンツ要素がマッチング／マッピングされた表面（例えば、表面ＩＤ）についての情報を含む。当業者は、マッチング／マッピングテーブル１８００が、関係データベースまたは任意のタイプのデータベースまたは記憶媒体内に記憶されるテーブルであってもよいことを理解し得る。加えて、マッチング／マッピングテーブル１８００は、図４の４４０においてコンテンツ要素を表面にマッチングさせるステップの結果を含有する、コンピュータメモリ（例えば、キャッシュ）内のアレイであってもよい。
マッチング／マッピングテーブル１８００の各行は、ユーザの物理的環境１１０５内の１つ以上の表面またはユーザ１１０８に表示される仮想表面／オブジェクトのいずれかにマッチングされるコンテンツ要素に対応し、仮想表面／オブジェクトは、ユーザの物理的環境１１０５内の表面／オブジェクトであるように現れる。例えば、本実施形態では、要素ＩＤ列の第１のエントリは、主ビデオ１２２０に対応する要素ＩＤ１２２０の値を記憶する。主ビデオ１２２０に対応する表面ＩＤ列内の表面ＩＤ値は、垂直表面１１８２に対応する１１８２である。このように、主ビデオ１２２０は、垂直表面１１８２にマッチング／マッピングされる。同様に、ユーザコメント１２３０は、水平表面１１９２にマッチング／マッピングされ、提案されるビデオ１２４０は、垂直表面１１８６にマッチング／マッピングされ、二次タブ１２５０は、仮想Ｒｏｌｏｄｅｘ１１９０にマッチング／マッピングされる。マッチング／マッピングテーブル１８００内の要素ＩＤは、図１４Ａの要素テーブル１４００内に記憶される要素ＩＤに関連付けられてもよい。マッチング／マッピングテーブル１８００内の表面ＩＤは、図１５の表面テーブル１５００内に記憶される表面ＩＤに関連付けられてもよい。
図７Ａに戻ると、７６０において、所定のルールを使用することが進めるべき方法であると決定されたと仮定すると、本方法は、コンテンツ要素と表面のマッチング／マッピングルールを含有するデータベースにクエリし、ウェブページ内の特定のコンテンツ要素に関して、コンテンツ要素をマッチング／マッピングするために検討されるべき表面のタイプを決定する。例えば、図１２からの主ビデオ１２２０に関して返されるルールは、主ビデオ１２２０が垂直表面にマッチング／マッピングされるべきであることを示し得、したがって、表面テーブル１５００を検索後、複数の候補表面が、明らかにされる（例えば、垂直表面１１８２および１１８６および仮想Ｒｏｌｏｄｅｘ１１９０）。７７０において、事前に定義されたルールのセットは、最良適合アルゴリズムを起動し、利用可能な候補表面から、これは、本主ビデオ１２２０のための最良適合である、表面を選定し得る。少なくとも部分的に、最良適合アルゴリズムに基づいて、候補表面の全てのうち、垂直表面１１８２が、ユーザ１１０８の直接通視線内にある表面であって、垂直表面１１８２が、ビデオを表示するために最良寸法を有するため、主ビデオ１２２０が垂直表面１１８２にマッチング／マッピングされるべきであると決定される。いったん１つ以上の要素のマッチング／マッピングが、７５０において決定されると、本方法は、上記に説明されるように、要素と表面テーブルのマッチング／マッピング内のコンテンツ要素に関するマッチング／マッピング結果を非一過性記憶媒体内に記憶する。
図４に戻ると、本方法は、４５０において、コンテンツ要素を仮想コンテンツとしてマッチングされた表面上にレンダリングするステップを継続する。頭部搭載型システム１１６０は、情報を表示するためのミニプロジェクタ（図示せず）等の１つ以上のディスプレイデバイスを頭部搭載型システム１１６０内に含んでもよい。１つ以上の要素は、４４０においてマッチングされたような個別のマッチングされた表面上に表示される。頭部搭載型システム１１６０を使用して、ユーザ１１０８は、個別のマッチング／マッピングされた表面上のコンテンツを見るであろう。当業者は、コンテンツ要素が、種々の表面（物理的または仮想）上に物理的に取り付けられるように現れるように表示されるが、現実には、コンテンツ要素は、実際に、ユーザ１１０８によって知覚されるような物理的表面上に投影され、仮想オブジェクトの場合、仮想オブジェクトは、仮想オブジェクトの個別の表面上に取り付けられるように現れるように表示されることを理解し得る。当業者は、ユーザ１１０８が、その頭部を方向転換させる、または上下を見るとき、頭部搭載型システム１１６０内のディスプレイデバイスが、コンテンツ要素をその個別の表面に添着されたまま保ち続け、さらに、コンテンツが、マッチング／マッピングされた表面に添着されているという知覚をユーザ１１０８に提供し得ることを理解し得る。他の実施形態では、ユーザ１１０８は、ユーザ１１０８の頭部、手、眼、または音声によって行われる運動によって、ユーザの物理的環境１１０５のコンテンツを変化させ得る。
アプリケーション
図１９は、いくつかの実施形態による、表面にマッチングされたコンテンツ要素を含む、環境１９００の実施例を示す。
本実施例に関して図４を簡単に参照すると、解析器１１５が、コンテンツ１１０をアプリケーションから受信する４１０。解析器１１５は、コンテンツ１１０内のコンテンツ要素を識別する４２０。本実施例では、解析器１１５は、ビデオパネル１９０２、ハイライトパネル１９０４、ｒｅｐｌａｙ１９０６、グラフィック統計１９０８、テキスト統計１９１０、およびソーシャルメディアニュースフィード１９１２を識別する。
環境解析器１６８は、環境内の表面を決定する４３０。本実施例では、環境解析器１６８は、第１の垂直表面１９３２、第２の垂直表面１９３４、第１のオットマンの上部１９３６、第２のオットマンの上部１９３８、および第２のオットマンの正面１９４０を決定する。環境解析器１６８は、環境内の付加的表面を決定してもよい。しかしながら、本実施例では、付加的表面は、標識されない。いくつかの実施形態では、環境解析器１６８は、環境内の表面を持続的に決定する４３０。いくつかの実施形態では、環境解析器１６８は、解析器１１５がコンテンツ１１０を受信し４１０、および／またはコンテンツ１１０内のコンテンツ要素を識別する４２０につれて環境内の表面を決定する４３０。
マッチングモジュール１４２は、コンテンツ要素の属性および表面の属性に基づいて、コンテンツ要素を表面にマッチングさせる４４０。本実施例では、マッチングモジュール１４２は、ビデオパネル１９０２を第１の垂直表面１９３２に、ハイライトパネル１９０４を第２の垂直表面１９３４に、リプレイ１９０６を第１のオットマンの上部１９３６に、グラフィック統計１９０８を第２のオットマンの上部１９３８に、テキスト統計１９１０を第２のオットマンの正面１９４０にマッチングさせる。
随意の仮想オブジェクト作成モジュール１４４は、コンテンツ要素を表示するための仮想オブジェクトを作成してもよい。マッチングモジュール１４２のマッチングプロセスの間、仮想表面は、あるコンテンツ要素を表示するための随意の表面であってもよいことが決定され得る。本実施例では、随意の仮想オブジェクト作成モジュール１４４は、仮想表面１９４２を作成する。ソーシャルメディアニュースフィード１９１２は、仮想表面１９４２にマッチングされる。レンダリングモジュール１４６は、コンテンツ要素をそのマッチングされた表面にレンダリングする４５０。結果として生じる図１９は、アプリケーションを起動している頭部搭載型ディスプレイデバイスのユーザが、レンダリングモジュール１４６をコンテンツ要素をそのマッチングされた表面にレンダリング４５０後に見るであろう内容を図示する。
動的環境
いくつかの実施形態では、環境１９００は、動的である。すなわち、環境自体が、変化しており、オブジェクトが、ユーザおよび／またはデバイスの視野内外に移動し、新しい表面を作成するか、またはユーザが、新しい環境に移動しながら、以前にマッチングされた表面がもはや前の合成プロセス１４０の結果下で適格ではないようなコンテンツ要素を受信するかのいずれかである。例えば、図１９におけるように、環境１９００内でバスケットボールの試合を観賞する間、ユーザは、台所に歩いて行き得る。
図２０Ａ－２０Ｅは、ユーザ移動の関数としての環境の変化を描写するが、当業者は、以下の技法が静的ユーザを中心として変化する環境にも適用されることを理解するであろう。図２０Ａでは、ユーザは、本開示全体を通して説明されるような合成プロセス１４０後、コンテンツの空間化ディスプレイを鑑賞している。図２０Ｂは、ユーザがその中に没入され、付加的表面がユーザに有効になり得る、より大きい環境を図示する。
ユーザが、図２０Ｃに描写されるように、１つの部屋から別の部屋に移動するにつれて、最初に図２０Ａにおいて表示のためにレンダリングされたコンテンツがもはや合成プロセス１４０のマッチングを満たさないことが容易に明白である。いくつかの実施形態では、センサ１６２は、システムにユーザの環境の変化をプロンプトする。環境の変化は、深度センサデータの変化（図２０Ｃの左側上の部屋が、コンテンツが表示のために最初にレンダリングされた図２０Ｃの右の部屋と異なる新しい仮想メッシュ構造を生産する）、頭部姿勢データの変化（ＩＭＵが、現在の環境に関する閾値を超える運動変化を生産する、または頭部搭載型システム上のカメラが、ユーザおよび／またはデバイスの視野内で新しいオブジェクトの捕捉を開始する）であってもよい。いくつかの実施形態では、環境の変化は、新しい合成プロセス１４０を開始し、以前にマッチングされ、および／または現在レンダリングおよび表示しているコンテンツ要素に関する新しい表面を見出す。いくつかの実施形態では、時間的閾値を超える環境の変化が、新しい合成プロセス１４０を開始し、以前にマッチングされ、および／または現在レンダリングおよび表示しているコンテンツ要素に関する新しい表面を見出す。時間的閾値は、環境データへのわずかな中断に関する無駄なコンピューティングサイクルを排除する（単に、頭部を方向転換させ、別のユーザと話す、またはユーザがすぐに戻ってくるような環境からの短時間の退出等）。
いくつかの実施形態では、ユーザが、図２０Ｄの部屋２００２に進入するにつれて、合成プロセス１４０は、部屋２０１４にマッチングされていたアクティブコンテンツ２００２と新しい表面をマッチングさせる。いくつかの実施形態では、アクティブコンテンツ２００２は、現時点で、部屋２０１２および２０１４の両方において、アクティブコンテンツであるが、部屋２０１２のみに表示される（図２０Ｄにおける部屋２０１４内のアクティブコンテンツ２００２の出現は、アクティブコンテンツ２００２が依然としてレンダリングされているが、ユーザに表示されないことを描写する）。
このように、ユーザは、部屋２０１２と２０１４との間で歩行し得るが、合成プロセス１４０は、マッチングプロトコルを継続的に繰り返す必要はない。いくつかの実施形態では、部屋２０１４内のアクティブコンテンツ２００２は、ユーザが部屋２０１２に位置する間、アイドルまたはスリープ状態に設定され、同様に、ユーザが部屋２０１４に戻る場合、部屋２０１２内のアクティブコンテンツは、アイドルまたはスリープ状態にされる。故に、ユーザは、動的にその環境を変化させるにつれて、コンテンツの消費を自動的に継続し得る。
いくつかの実施形態では、ユーザは、部屋２０１４内でアクティブコンテンツ２００２を一時停止し、部屋２０１２に進入し、部屋２０１４内で一時停止した場所と同一相互作用点において、同一コンテンツを再開してもよい。故に、ユーザは、動的にその環境を変化させるにつれて、コンテンツの消費を自動的に再開し得る。
アイドルまたはスリープ状態は、コンテンツ要素が実施する出力の程度において特徴付けられ得る。アクティブコンテンツは、コンテンツのフレームがそのマッチングされた表面に関して継続して更新する、オーディオ出力がマッチングされた表面場所と関連付けられた仮想スピーカを継続する等のように、レンダリングされたコンテンツ要素の完全容量を有し得る。アイドルまたはスリープ状態は、本機能性のうちのいくつかを低減させ得る。いくつかの実施形態では、アイドルまたはスリープ状態のオーディオ出力は、音量を低減させる、またはミュート状態に入る。いくつかの実施形態では、レンダリングサイクルは、より少ないフレームが生成されるように減速される。そのようなより低速のフレームレートは、コンピューティング電力を全体的に節約するが、アイドルまたはスリープ状態がアクティブ状態に戻る（ユーザがアイドルまたはスリープ状態コンテンツ要素が動作していた部屋に戻る等）場合、コンテンツ要素消費を再開する際、わずかな待ち時間を導入し得る。
図２０Ｅは、単にアイドルまたはスリープ状態に変化せず、異なる環境内でコンテンツ要素をレンダリングすることの停止を描写する。図２０Ｅでは、部屋２０１４内のアクティブコンテンツは、中止している。いくつかの実施形態では、レンダリングの中止のためのトリガは、ビデオストリームのチャンネルをバスケットボールの試合から映画に変化させる等、コンテンツ要素を１つから別のソースに変化させることである。いくつかの実施形態では、アクティブコンテンツは、いったんセンサ１６２が新しい環境を検出し、新しい合成プロセス１４０が開始すると、レンダリングを直ちに中止する。
いくつかの実施形態では、第１の場所における第１の表面上にレンダリングおよび表示されるコンテンツは、例えば、少なくとも部分的に、第１の場所から第２の場所へのユーザの移動に基づいて、一時停止され、次いで、続いて、第２の場所における第２の表面上で再開されてもよい。例えば、第１の場所（例えば、居間）における第１の表面上に表示されるコンテンツを鑑賞しているユーザが、第１の場所から第２の場所（例えば、台所）に物理的に移動し得る。第１の場所における第１の表面上のコンテンツのレンダリングおよび／または表示は、ユーザが第１の場所から第２の場所に物理的に移動したことの決定に応じて（例えば、センサ１６２に基づいて）、一時停止されてもよい。いったんユーザが第２の場所の中に移動すると、ＡＲシステムのセンサ（例えば、センサ１６２）は、ユーザが新しい環境／場所の中に移動したことを検出し得、環境解析器１６８は、第２の場所における新しい表面を識別することを開始してもよく、次いで、コンテンツを第２の場所における第２の表面上で表示することを再開してもよい。いくつかの実施形態では、コンテンツは、ユーザが第１の場所から第２の場所に移動する間、第１の場所における第１の表面上にレンダリングされ続けてもよい。いったんユーザが、例えば、閾値時間周期（例えば、３０秒）にわたって、第２の場所に存在すると、コンテンツは、第１の場所における第１の表面上にレンダリングされることを停止してもよく、第２の場所における第２の表面上にレンダリングされてもよい。いくつかの実施形態では、コンテンツは、第１の場所における第１の表面および第２の場所における第２の表面の両方上にレンダリングされてもよい。
いくつかの実施形態では、第１の場所における第１の表面でのコンテンツのレンダリングおよび／または表示を一時停止するステップは、ユーザが第１の場所から第２の場所に物理的に移動したことに応答して、自動で行われてもよい。ユーザの物理的移動の検出は、コンテンツの自動一時停止をトリガしてもよく、ユーザの物理的移動のトリガは、少なくとも部分的に、閾値を超える慣性測定ユニット（ＩＭＵ）、またはユーザが、例えば、第１の場所と関連付けられ得る所定のエリア外に移動した、または移動中であることの位置インジケーション（例えば、ＧＰＳ）に基づいてもよい。コンテンツは、いったん第２の表面が、例えば、環境解析器１６８によって識別され、コンテンツにマッチングされると、第２の場所における第２の表面上にレンダリングおよび／または表示することを自動で再開してもよい。いくつかの実施形態では、コンテンツは、少なくとも部分的に、ユーザによる第２の表面の選択に基づいて、第２の表面上でレンダリングおよび／または表示を再開してもよい。いくつかの実施形態では、環境解析器１６８は、特定の時間フレーム（例えば、１０秒毎に）内でリフレッシュし、ユーザおよび／またはデバイスの視野内の表面が変化した、および／またはユーザの物理的場所が変化したかどうかを決定してもよい。ユーザが新しい場所に移動した（例えば、ユーザが第１の場所から第２の場所に移動した）ことが決定される場合、環境解析器１６８は、第２の表面上でコンテンツのレンダリングおよび／または表示を再開するために、第２の場所内の新しい表面を識別することを開始してもよい。いくつかの実施形態では、第１の表面上にレンダリングおよび／または表示されるコンテンツは、単に、ユーザが視野を変化させることがあるため（例えば、ユーザが、第１の場所における別の人物を一時的に見て、例えば、会話を有する）、自動的に直ちに一時停止され得ない。いくつかの実施形態では、コンテンツのレンダリングおよび／または表示は、ユーザの変化した視野が閾値を超える場合、自動的に一時停止されてもよい。例えば、ユーザが、閾値を超える時間周期にわたって、頭部姿勢、したがって、対応する視野を変化させる場合、コンテンツの表示は、自動的に一時停止されてもよい。いくつかの実施形態では、コンテンツは、ユーザが第１の場所から離れたことに応答して、コンテンツを第１の場所における第１の表面上でレンダリングおよび／または表示することを自動で一時停止してもよく、コンテンツは、ユーザが第１の場所に物理的に（再）進入することに応答して、第１の場所における第１の表面上でのレンダリングおよび／または表示を自動で再開してもよい。
いくつかの実施形態では、ユーザおよび／またはユーザの頭部搭載型デバイスの視野が、変化するにつれて、特定の表面上のコンテンツは、ユーザの視野の変化にゆっくりと追従してもよい。例えば、コンテンツは、ユーザの直接視野内にあってもよい。ユーザが視野を変化させる場合、コンテンツは、位置を変化させ、視野変化に追従してもよい。いくつかの実施形態では、コンテンツは、変化した視野の直接視野内の表面上に直ちに表示されなくてもよい。代わりに、視野の変化に対するコンテンツの変化に若干の待ち時間が存在し得、コンテンツ場所の変化は、視野の変化にゆっくりと追従するように現れてもよい
図２０Ｆ－２０Ｉは、特定の表面上に表示されるコンテンツがコンテンツを現在鑑賞しているユーザの視野の変化にゆっくりと追従し得る実施例を図示する。図２０Ｆでは、ユーザ１１０８は、部屋内の長椅子上に着座した位置に存在し、コンテンツの空間化ディスプレイを鑑賞しており、着座位置は、例えば、主壁１１８０に向かって面したユーザおよび／またはユーザの頭部搭載型デバイスの第１の頭部姿勢を有する。図２０Ｆに図示されるように、コンテンツの空間化ディスプレイは、第１の頭部姿勢を介して、主壁１１８０の第１の場所（例えば、長方形表面１１８２）に表示される。図２０Ｇは、ユーザ１１０８が、長椅子上の位置を着座位置から臥位位置に変化させる様子を図示し、臥位位置は、例えば、主壁１１８０の代わりに、側壁１１８４に向かって面した第２の頭部姿勢を有する。長方形表面１１８２上に表示されるコンテンツは、時間閾値および／または頭部姿勢変化閾値が満たされる／超えるまで、長方形表面１１８２においてレンダリング／表示を継続してもよい。図２０Ｈは、コンテンツがゆっくりとユーザに追従し得る様子を図示し、移動は、単一更新とは対照的に、側壁１１８５に向かって面した第２の頭部姿勢に対応する新しい場所にわずかずつの離散インクリメント位置を伴い、例えば、ユーザ１１０８が着座位置から臥位位置に変化した後のある時点後（例えば、ある時間閾値後）、第１の表示オプション／表面２０２０において表示するように現れる。第１の表示オプション／表面２０２０は、ユーザ１１０８の直接視野内で利用可能な最適表面が存在しないため、第２の頭部姿勢に対応する視野内の仮想ディスプレイ画面／表面であってもよい。図２０Ｉは、コンテンツがまた、側壁１１８４の長方形表面１１８６において、第２の表示オプション／表面に表示され得る様子を図示する。上記に開示されるように、いくつかの実施形態では、ユーザ１１０８は、ユーザ１１０８および／またはデバイスの視野の変化に基づいて、コンテンツを表示するための表示オプション（例えば、第１の表示オプション２０２０または第２の長方形表面１１８６）を選定するための表示オプションを提供されてもよい。
いくつかの実施形態では、例えば、ユーザは、第１の視野内のユーザの真正面に表示されるコンテンツを鑑賞し得る。ユーザは、その頭部を９０度左に方向転換させ、第２の視野を約３０秒にわたって維持し得る。第１の視野内のユーザの真正面に表示されたコンテンツは、１回目として、第１の視野に対して第２の視野に向かって３０度移動させ、ある時間閾値（例えば、５秒）が経過後、ユーザにゆっくりと追従することによって、第２の視野へとユーザにゆっくりと追従してもよい。ＡＲシステムは、２回目として、コンテンツがここで第２の視野から３０度のみ背後に表示され得るように、コンテンツをさらに３０度移動させ、第２の視野へとユーザに追従してもよい。
図２０Ｊ－２０Ｎは、いくつかの実施形態による、ユーザおよび／またはユーザのデバイスの第１の視野から第２の視野へとユーザにゆっくりと追従する、コンテンツを図示する。図２０Ｊは、表面（例えば、仮想表面または物理的環境内の実際の表面）上に表示されるコンテンツ２０３４を視認するユーザ２０３０の上面図を図示する。コンテンツ２０３４全体が、ユーザ２０３０の真正面に表示され、ユーザおよび／またはユーザのデバイスの第１の頭部姿勢位置におけるユーザ２０３０および／またはデバイスの第１の視野２０３８内に完全にあるように、ユーザ２０３０は、コンテンツ２０３４を視認する。図２０Ｋは、実施例として、図２０Ｊに図示される第１の頭部姿勢位置に対して約４５度右（例えば、時計回り方向）に回転する、ユーザ２０３０の上面図を図示する。コンテンツ２０３４の一部（例えば、破線によって描写されるように）は、もはやユーザ２０３０および／またはデバイスの視野内にない一方、コンテンツ２０３４の一部（例えば、実線によって描写されるように）は、依然として、ユーザ２０３０にレンダリング／表示されている。
図２０Ｌは、図２０Ｊに図示される第１の頭部姿勢位置に対する右（例えば、時計回り方向）への第２の頭部姿勢位置の９０度における回転の完了時のユーザ２０３０の上面図を図示する。コンテンツ２０３４は、コンテンツ２０３４が完全にユーザ２０３０および／またはデバイスの視野２０３８外にあるため、もはやユーザ２０３０に可視ではない（例えば、コンテンツ２０３４の周囲の破線によって描写されるように）。コンテンツ２０３４もまた、ゆっくりと移動したことに留意されたい。ゆっくりとした移動は、コンテンツ２０３４が、図２０Ｊ／２０Ｋに図示されるそのオリジナル位置から移動し、第２の頭部姿勢位置に追いつき得る時間およびその量に関して、待ち時間と相関する。
図２０Ｍは、コンテンツ２０３４の一部が第２の頭部姿勢位置におけるユーザ２０３０および／またはデバイスの視野２０３８内にあるように（例えば、コンテンツ２０３４の一部を包含する実線によって描写されるように）、コンテンツ２０３４がゆっくりと移動し、新しい位置に表示される様子を図示する。図２０Ｎは、コンテンツ２０３４が、そのゆっくりとした移動を完了し、ユーザの第２の頭部姿勢位置に完全に追い付いた様子を図示する。コンテンツ２０３４は、コンテンツ２０３４全体を包含する実線によって示されるように、完全にユーザ２０３０および／またはデバイスの視野２０３８内にある。当業者は、ユーザが、視野を第１の視野からコンテンツがもはや視認可能ではない第２の視野に変化させたが、ユーザが、コンテンツが直接第２の視野内に表示されることを所望しない場合があることを理解し得る。代わりに、ユーザは、例えば、システムが、ユーザに、ユーザが、コンテンツがユーザの第２の視野に対してユーザの真正面に表示されることを所望するかどうかを選定するようにプロンプトするまで、ユーザの真正面に表示されずに、コンテンツを第２の視野（例えば、新しい視野）へとユーザにゆっくりと追従させる、またはユーザがユーザに視認可能に周辺に表示さるコンテンツと関わるまで、単に、コンテンツをユーザに視認可能に周辺に表示させたままにすることを所望し得る。言い換えると、いくつかの実施形態では、コンテンツ／要素を１つ以上の表面上に表示するステップは、第１の視野から第２の視野へのユーザの視野の変化に応答して移動されてもよく、コンテンツ／要素は、第１の視野から第２の視野へのユーザの視野の変化にゆっくりと追従する。さらに、いくつかの実施形態では、コンテンツは、コンテンツを第２の視野の真正面に移動させるためのユーザから受信された確認に応じてのみ、第２の視野の真正面に移動してもよい。
いくつかの実施形態では、ユーザは、（ａ）ＡＲシステムを介してユーザに表示される抽出されたコンテンツ要素を視認し、（ｂ）抽出されたコンテンツ要素と相互作用してもよい。いくつかの実施形態では、ユーザは、抽出されたコンテンツ内に表示されるアイテム／サービスを購入することによって、抽出されたコンテンツと相互作用してもよい。いくつかの実施形態では、２Ｄウェブページと相互作用するユーザによって行われるオンライン購入と同様に、ＡＲシステムは、ユーザが、ＡＲシステム内の表面および／または仮想オブジェクト（例えば、プリズムまたは仮想ディスプレイ画面）上に表示される抽出されたコンテンツと相互作用し、実施例として、ＡＲシステムの表面および／または仮想オブジェクト上に表示される抽出されたコンテンツ内に提示されるアイテムおよび／またはサービスの電子購入を行うことを可能にし得る。
いくつかの実施形態では、ユーザは、表示されるコンテンツ要素内のアイテムをさらに選択し、選択されたアイテムをユーザの物理的環境内の異なる表面および／または異なる仮想オブジェクト（例えば、プリズム）上に設置することによって、抽出されたコンテンツ要素と相互作用してもよい。例えば、ユーザは、実施例として、（ａ）トーテムを用いて、ギャラリー内のコンテンツ要素を標的化し、（ｂ）トーテム上のトリガを押下し、コンテンツ要素を選択し、ある時間周期（例えば、約１秒）にわたって保持し、（ｃ）トーテムをユーザの物理的環境内の所望の場所に移動させ、および（ｄ）トーテム上のトリガを押下し、コンテンツ要素を所望の場所に設置し、コンテンツ要素のコピーが所望の場所にロードおよび表示されることによって、画像、ビデオ、および／またはモデル等のコンテンツ要素をギャラリーから抽出してもよい。いくつかの実施形態では、コンテンツ要素のプレビューが、視覚的フィードバックとして、ユーザが、コンテンツ要素を選択し、ある時間周期にわたってトリガを保持する結果として、作成および表示され、コンテンツのプレビューは、コンテンツ要素の場所において使用するためのコンテンツ要素の完全分解能バージョンを作成するステップがリソース集約的であり得るため、作成される。いくつかの実施形態では、コンテンツ要素は、ユーザが抽出されたコンテンツ要素をユーザの物理的環境内の所望の場所に設置するにつれて、全体として、視覚的フィードバックのためにコピー／抽出および表示される。
図２０Ｏは、抽出されたコンテンツを視認し、抽出されたコンテンツ２０５０および２０５４と相互作用するユーザの実施例を図示する。ユーザ２０４０は、センサ１１６２が抽出されたコンテンツを表示するために好適な表示表面を検出することが不可能であったため（例えば、本棚のため）、抽出されたコンテンツ２０４４ａ－２０４４ｄを仮想表示表面上で視認してもよい。代わりに、抽出されたコンテンツ２０４４ａ－ｄは、複数の仮想表示表面／画面上に表示される。抽出されたコンテンツ２０４４ａは、オーディオヘッドホンを販売するオンラインウェブサイトである。抽出されたコンテンツ２０４４ｂは、運動靴を販売するオンラインウェブサイトである。抽出されたコンテンツ２０４４ｃ／２０４４ｄは、家具を販売するオンライン家具ウェブサイトである。抽出されたコンテンツ２０４４ｄは、抽出されたコンテンツ２０４４ｃから表示される特定のアイテム（例えば、椅子２０５４）の詳細図を含んでもよい。ユーザ２０４０は、特定のアイテムを表示される抽出されたコンテンツから選定し、抽出されたアイテムをユーザの物理的環境（例えば、椅子２０５４）内に設置することによって、抽出されたコンテンツと相互作用してもよい。いくつかの実施形態では、ユーザ２０４０は、抽出されたコンテンツに表示される特定のアイテム（例えば、運動靴２０５０）を購入することによって、抽出されたコンテンツと相互作用してもよい。
図２１は、そのような環境変化の間のオーディオ遷移を図示する。部屋２０１４内のアクティブコンテンツは、例えば、空間化オーディオをユーザに部屋２０１４内のコンテンツ要素と関連付けられた場所から送達する、仮想スピーカ２１２２を有してもよい。ユーザが、部屋２０１２に遷移するにつれて、仮想スピーカは、オーディオをユーザの頭部の中心における仮想スピーカ２１２４に位置付け、指向することによって、ユーザに追従し得（従来のヘッドホンとほぼ同一方法）、仮想スピーカ２１２２からのオーディオ再生を中止する。合成プロセス１４０が、コンテンツ要素を部屋２０１２内の表面にマッチングさせるにつれて、オーディオ出力は、仮想スピーカ２１２４から仮想スピーカ２１２６に偏移し得る。オーディオ出力は、この場合、環境遷移の間、コンテンツ要素、少なくともオーディオ出力成分の一定消費を維持する。いくつかの実施形態では、オーディオコンポーネントは、常時、ユーザの頭部の中心における仮想スピーカであって、空間化オーディオ仮想スピーカの位置を調節する必要性を省く。
システムアーキテクチャ概要
図２２は、本開示の実施形態を実装するために好適な例証的コンピューティングシステム２２００のブロック図である。コンピューティングシステム２２００は、プロセッサ２２０７、システムメモリ２２０８（例えば、ＲＡＭ）、静的記憶デバイス２２０９（例えば、ＲＯＭ）、ディスクドライブ２２１０（例えば、磁気または光学）、通信インターフェース２２１４（例えば、モデムまたはＥｔｈｅｒｎｅｔ（登録商標）カード）、ディスプレイ２２１１（例えば、ＣＲＴまたはＬＣＤ）、入力デバイス２２１２（例えば、キーボードおよびマウス）等のサブシステムおよびデバイスを相互接続する、情報を通信するためのバス２２０６または他の通信機構を含む。
本開示の一実施形態によると、コンピューティングシステム２２００は、プロセッサ２２０７がシステムメモリ２２０８内に含有される１つ以上の命令の１つ以上のシーケンスを実行することによって、具体的動作を実施する。そのような命令は、システムメモリ２２０８中に、静的記憶デバイス２２０９またはディスクドライブ２２１０等の別のコンピュータ可読／使用可能媒体から読み取られてもよい。代替実施形態では、有線回路が、ソフトウェア命令の代わりに、またはそれと組み合わせて使用され、本開示を実装してもよい。したがって、本開示の実施形態は、ハードウェア回路および／またはソフトウェアの任意の具体的組み合わせに限定されない。一実施形態では、用語「論理」は、本開示の全部または一部を実装するために使用される、ソフトウェアまたはハードウェアの任意の組み合わせを意味するものとする。
用語「コンピュータ可読媒体」または「コンピュータ使用可能媒体」は、本明細書で使用されるように、実行のための命令をプロセッサ２２０７に提供することに関わる、任意の媒体を指す。そのような媒体は、限定ではないが、不揮発性媒体および揮発性媒体を含む、多くの形態をとってもよい。不揮発性媒体は、例えば、ディスクドライブ２２１０等の光学または磁気ディスクを含。揮発性媒体は、システムメモリ２２０８等の動的メモリを含む。
共通形態のコンピュータ可読媒体は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュ－ＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、またはそこからコンピュータが読み取ることができる任意の他の媒体を含む。
本開示のある実施形態では、本開示を実践するための命令のシーケンスの実行は、単一コンピューティングシステム２２００によって実施される。本開示の他の実施形態によると、通信リンク２２１５（例えば、ＬＡＮ、ＰＴＳＮ、または無線ネットワーク）によって結合される２つ以上のコンピューティングシステム２２００は、相互に協調して、本開示を実践するために要求される命令のシーケンスを実施してもよい。
コンピューティングシステム２２００は、通信リンク２２１５および通信インターフェース２２１４を通して、プログラム（すなわち、アプリケーションコード）を含む、メッセージ、データ、および命令を伝送および受信してもよい。受信されたプログラムコードは、受信されるにつれて、プロセッサ２２０７によって実行され、および／または後の実行のために、ディスクドライブ２２１０または他の不揮発性記憶装置内に記憶されてもよい。コンピューティングシステム２２００は、データインターフェース２２３３を通して、外部記憶デバイス２２３１上のデータベース２２３２と通信してもよい。
前述の明細書では、本開示は、その具体的実施形態を参照して説明された。しかしながら、本開示のより広範な精神および範囲から逸脱することなく、種々の修正および変更がそこに行われてもよいことが明白であろう。例えば、上記に説明されるプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本開示の範囲または動作に影響を及ぼすことなく、変更されてもよい。明細書および図面は、故に、限定的意味ではなく、例証的意味と見なされるべきである。

Claims (20)

  1. コンテンツの複数のコンテンツ要素を空間的３次元（３Ｄ）環境にマッチングさせる方法であって、
    コンテンツを解析することによってコンテンツを分解することを含むコンテンツ構造化プロセスであって、これにより、前記コンテンツから複数のコンテンツ要素を識別する、コンテンツ構造化プロセスと、
    環境を解析することを含む環境構造化プロセスであって、これにより、前記環境から少なくとも１つの表面を識別する、環境構造化プロセスと、
    前記複数のコンテンツ要素と前記少なくとも１つの表面を含む複数の表面とをそれぞれマッチングさせることと、前記複数のコンテンツ要素を前記マッチングされた複数の表面上にそれぞれレンダリングおよび表示することとを含む合成プロセスと
    を含む方法。
  2. 前記コンテンツを解析することは、前記コンテンツの属性を識別し、前記コンテンツの前記属性を前記複数のコンテンツ要素のそれぞれに対する論理構造の中に記憶することを含む、請求項１に記載の方法。
  3. 前記環境を解析することは、前記環境コンテンツの属性を識別し、前記環境コンテンツの前記属性を前記少なくとも１つの表面のそれぞれに対する前記論理構造の中に記憶することを含む、請求項２に記載の方法。
  4. 前記複数のコンテンツ要素と前記複数の表面とをマッチングさせることは、前記複数のコンテンツ要素の属性と前記複数の表面の属性とをそれぞれ比較することを含む、請求項３に記載の方法。
  5. 前記複数のコンテンツ要素は、類似の属性または反対の属性を共有する前記複数のコンテンツ要素および前記複数の表面に基づいて、前記複数の表面にそれぞれマッチングされる、請求項４に記載の方法。
  6. 前記論理構造は、順序付けられたアレイ、階層テーブル、ツリー構造、論理グラフ構造のうちの１つを含む、請求項２に記載の方法。
  7. 前記論理構造は、ツリー構造を含み、前記ツリー構造は、親コンテンツ要素が割り当てられている親ノードと、前記親ノードにリンクされており、かつ、少なくとも別の子コンテンツ要素が割り当てられている少なくとも１つの子ノードとを有し、前記親コンテンツ要素および前記少なくとも１つの子コンテンツ要素は、相互に対する前記複数の表面の近接度に基づいて、前記複数の表面にマッチングされる、請求項６に記載の方法。
  8. 前記マッチングされた複数の表面は、少なくとも１つの仮想表面をさらに含む、請求項１に記載の方法。
  9. 前記複数のコンテンツ要素を前記複数の表面上にそれぞれレンダリングすることは、前記コンテンツ要素を前記それぞれのマッチングされた表面にスケーリングすることを含む、請求項１に記載の方法。
  10. 第１の部屋において前記複数の表面にマッチングされた前記複数のコンテンツ要素のうちの少なくともいくつかは、ユーザが前記第１の部屋から出て第２の部屋に入ると、前記第２の部屋において複数の表面にマッチングされる、請求項１に記載の方法。
  11. 前記合成プロセスは、前記複数の表面のうちの１つが前記複数のコンテンツ要素のうちの１つに対して好適でないことを決定し、仮想表面を作成し、前記１つのコンテンツコンテンツ要素と前記仮想表面とをマッチングさせ、前記１つのコンテンツ要素を前記仮想表面上にレンダリングする、請求項１に記載の方法。
  12. 前記コンテンツは、ウェブページである、請求項１に記載の方法。
  13. 前記ウェブページは、両面ウェブページであり、前記複数の表面は、物理的構造の対向する表面を含み、前記複数のコンテンツ要素のうちの２つは、前記両面ウェブページの対向側に配置され、前記複数のコンテンツ要素のうちの前記２つは、前記構造の前記対向する表面とマッチングされ、前記物理的構造の前記対向する表面上にレンダリングされる、請求項１に記載の方法。
  14. 前記合成プロセスは、前記複数のコンテンツ要素のうちの１つを表示するために複数の候補表面オプションをユーザに表示することと、前記１つのコンテンツ要素を、前記表示された複数の候補表面のうち前記ユーザによって選択された１つの候補画面に対応する前記表面にマッチングさせることとをさらに含む、請求項１に記載の方法。
  15. 前記複数の候補表面オプションは、前記ユーザの視野内に配置され、前記合成プロセスは、前記ユーザの前記視野が付加的な候補表面オプションが配置されている新しい視野に変化すると、前記１つのコンテンツ要素を表示するために、前記付加的な候補表面オプションを前記ユーザに表示することをさらに含む、請求項１４に記載の方法。
  16. 前記方法は、前記視野と前記新しい視野との間での頭部姿勢の変化を感知することをさらに含み、前記付加的な候補表面オプションは、前記感知された頭部姿勢の変化が頭部姿勢の閾値を超えた場合に前記ユーザに表示されるのみである、請求項１５に記載の方法。
  17. 前記複数の候補表面は、前記ユーザに同時に表示される、請求項１４に記載の方法。
  18. 前記複数の候補表面は、前記ユーザに順々に表示される、請求項１４に記載の方法。
  19. 前記合成プロセスは、前記コンテンツ要素の候補ビューを前記複数の候補表面オプションに表示することをさらに含む、請求項１４に記載の方法。
  20. 前記合成プロセスは、好ましい候補表面オプションとして前記１つのコンテンツ要素を表示するために、前記ユーザによって選択された前記候補表面オプションを記憶することと、続いて複数のコンテンツ要素と複数の表面とをマッチングさせるときに、前記好ましい候補表面オプションを優先することとをさらに含む、請求項１４に記載の方法。
JP2023076383A 2017-05-01 2023-05-04 空間的３ｄ環境に対するコンテンツのマッチング Pending JP2023093763A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762492292P 2017-05-01 2017-05-01
US62/492,292 2017-05-01
US201762610108P 2017-12-22 2017-12-22
US62/610,108 2017-12-22
US201862644377P 2018-03-16 2018-03-16
US62/644,377 2018-03-16
JP2022143449A JP7277064B2 (ja) 2017-05-01 2022-09-09 空間的３ｄ環境に対するコンテンツのマッチング

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022143449A Division JP7277064B2 (ja) 2017-05-01 2022-09-09 空間的３ｄ環境に対するコンテンツのマッチング

Publications (1)

Publication Number Publication Date
JP2023093763A true JP2023093763A (ja) 2023-07-04

Family

ID=63916781

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019559343A Active JP7141410B2 (ja) 2017-05-01 2018-05-01 空間的３ｄ環境に対するコンテンツのマッチング
JP2022143449A Active JP7277064B2 (ja) 2017-05-01 2022-09-09 空間的３ｄ環境に対するコンテンツのマッチング
JP2023076383A Pending JP2023093763A (ja) 2017-05-01 2023-05-04 空間的３ｄ環境に対するコンテンツのマッチング

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2019559343A Active JP7141410B2 (ja) 2017-05-01 2018-05-01 空間的３ｄ環境に対するコンテンツのマッチング
JP2022143449A Active JP7277064B2 (ja) 2017-05-01 2022-09-09 空間的３ｄ環境に対するコンテンツのマッチング

Country Status (9)

Country Link
US (4) US10930076B2 (ja)
EP (1) EP3619688A1 (ja)
JP (3) JP7141410B2 (ja)
KR (3) KR102432283B1 (ja)
CN (2) CN116203731A (ja)
AU (2) AU2018261328B2 (ja)
CA (1) CA3060209A1 (ja)
IL (2) IL301087A (ja)
WO (1) WO2018204419A1 (ja)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102432283B1 (ko) * 2017-05-01 2022-08-11 매직 립, 인코포레이티드 콘텐츠를 공간 3d 환경에 매칭
US11682045B2 (en) * 2017-06-28 2023-06-20 Samsung Electronics Co., Ltd. Augmented reality advertisements on objects
US10712899B2 (en) * 2017-10-17 2020-07-14 Microsoft Technology Licensing, Llc Human-machine interface tethered to a user position in a three-dimensional VR or AR environment
US10586360B2 (en) * 2017-11-21 2020-03-10 International Business Machines Corporation Changing view order of augmented reality objects based on user gaze
WO2019126238A1 (en) 2017-12-22 2019-06-27 Magic Leap, Inc. Methods and system for managing and displaying virtual content in a mixed reality system
US10699485B2 (en) * 2018-01-04 2020-06-30 Universal City Studios Llc Systems and methods for textual overlay in an amusement park environment
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
EP4213104A1 (en) 2018-02-22 2023-07-19 Magic Leap, Inc. Browser for mixed reality systems
EP3756079A4 (en) 2018-02-22 2021-04-28 Magic Leap, Inc. OBJECT GENERATION WITH PHYSICAL MANIPULATION
WO2019164514A1 (en) * 2018-02-23 2019-08-29 Google Llc Transitioning between map view and augmented reality view
USD886836S1 (en) 2018-05-01 2020-06-09 Magic Leap, Inc. Display panel or portion thereof with graphical user interface
CN112219205B (zh) 2018-06-05 2022-10-25 奇跃公司 内容到空间3d环境的匹配
WO2019236344A1 (en) * 2018-06-07 2019-12-12 Magic Leap, Inc. Augmented reality scrollbar
US20190378334A1 (en) * 2018-06-08 2019-12-12 Vulcan Inc. Augmented reality portal-based applications
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US10996831B2 (en) 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
CN116300091A (zh) * 2018-07-23 2023-06-23 奇跃公司 用于使用位置向量解析半球模糊度的方法和系统
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
JP7445642B2 (ja) 2018-08-13 2024-03-07 マジック リープ， インコーポレイテッド クロスリアリティシステム
US10930049B2 (en) * 2018-08-27 2021-02-23 Apple Inc. Rendering virtual objects with realistic surface properties that match the environment
US11348316B2 (en) * 2018-09-11 2022-05-31 Apple Inc. Location-based virtual element modality in three-dimensional content
US11004270B2 (en) 2018-09-11 2021-05-11 Houzz, Inc. Virtual item placement system
US11104454B2 (en) * 2018-09-24 2021-08-31 The Boeing Company System and method for converting technical manuals for augmented reality
JP2022512600A (ja) 2018-10-05 2022-02-07 マジック リープ， インコーポレイテッド 任意の場所における場所特有の仮想コンテンツのレンダリング
US10997630B2 (en) * 2018-12-20 2021-05-04 Rovi Guides, Inc. Systems and methods for inserting contextual advertisements into a virtual environment
US11475092B2 (en) * 2018-12-21 2022-10-18 Home Box Office, Inc. Preloaded content selection graph validation
US11644940B1 (en) * 2019-01-31 2023-05-09 Splunk Inc. Data visualization in an extended reality environment
US11853533B1 (en) 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
US10940387B2 (en) * 2019-03-15 2021-03-09 Disney Enterprises, Inc. Synchronized augmented reality gameplay across multiple gaming environments
JP7300287B2 (ja) 2019-03-20 2023-06-29 任天堂株式会社 画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法
JP7286760B2 (ja) * 2019-04-09 2023-06-05 マクセル株式会社 ヘッドマウント情報処理装置
WO2020220208A1 (en) * 2019-04-29 2020-11-05 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for object positioning and image-guided surgery
JP7311643B2 (ja) 2019-06-21 2023-07-19 マジック リープ， インコーポレイテッド モード式ウィンドウを介したセキュアな認可
US11494953B2 (en) * 2019-07-01 2022-11-08 Microsoft Technology Licensing, Llc Adaptive user interface palette for augmented reality
US11222460B2 (en) * 2019-07-22 2022-01-11 Scale AI, Inc. Visualization techniques for data labeling
CN110674618A (zh) * 2019-09-03 2020-01-10 北京达佳互联信息技术有限公司 一种内容展示方法、装置、设备及介质
DE112020000573T5 (de) * 2019-09-25 2021-12-02 Apple Inc. Anzeigen von darstellungen von umgebungen
WO2021061349A1 (en) * 2019-09-27 2021-04-01 Apple Inc. Controlling representations of virtual objects in a computer-generated reality environment
CN114616534A (zh) 2019-10-15 2022-06-10 奇跃公司 具有无线指纹的交叉现实系统
CN114600064A (zh) 2019-10-15 2022-06-07 奇跃公司 具有定位服务的交叉现实系统
JP2023504775A (ja) 2019-11-12 2023-02-07 マジック リープ， インコーポレイテッド 位置特定サービスおよび共有場所ベースのコンテンツを伴うクロスリアリティシステム
WO2021113322A1 (en) * 2019-12-06 2021-06-10 Magic Leap, Inc. Dynamic browser stage
EP4073763A4 (en) 2019-12-09 2023-12-27 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH SIMPLIFIED PROGRAMMING OF VIRTUAL CONTENT
JP6758473B1 (ja) * 2019-12-25 2020-09-23 株式会社ドワンゴ オブジェクト管理システム、オブジェクト管理方法、およびオブジェクト管理プログラム
US11194952B2 (en) * 2020-01-30 2021-12-07 Leap Tools, Inc. Systems and methods for product visualization using a single-page application
WO2021152394A1 (en) * 2020-01-30 2021-08-05 Leap Tools, Inc. Systems and methods for product visualization using a single-page application
US10817648B1 (en) * 2020-01-30 2020-10-27 Leap Tools Inc. Systems and methods for product visualization using a single-page application
JP7455985B2 (ja) 2020-02-10 2024-03-26 マジック リープ， インコーポレイテッド 複合現実環境における３次元コンテナに対する身体中心コンテンツ位置付け
JP2023514205A (ja) 2020-02-13 2023-04-05 マジック リープ， インコーポレイテッド 正確な共有マップを伴うクロスリアリティシステム
US11830149B2 (en) 2020-02-13 2023-11-28 Magic Leap, Inc. Cross reality system with prioritization of geolocation information for localization
CN115398314A (zh) 2020-02-13 2022-11-25 奇跃公司 使用多分辨率帧描述符进行地图处理的交叉现实系统
US11363247B2 (en) * 2020-02-14 2022-06-14 Valve Corporation Motion smoothing in a distributed system
CN115461787A (zh) 2020-02-26 2022-12-09 奇跃公司 具有快速定位的交叉现实系统
US11875539B2 (en) * 2020-03-16 2024-01-16 Samsung Electronics Co., Ltd. Partial access metadata for video-based point cloud compression data
USD997953S1 (en) * 2020-04-17 2023-09-05 Magic Leap, Inc. Display panel with a graphical user interface
CN115803788A (zh) 2020-04-29 2023-03-14 奇跃公司 用于大规模环境的交叉现实系统
US20210390778A1 (en) * 2020-06-10 2021-12-16 Nvidia Corporation Environment generation using one or more neural networks
CN111880648B (zh) * 2020-06-19 2022-01-28 华为技术有限公司 一种三维元素的操纵方法和终端
JP2022015647A (ja) * 2020-07-09 2022-01-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像表示方法
KR20220012073A (ko) 2020-07-22 2022-02-03 삼성전자주식회사 가상 사용자 인터랙션을 수행하기 위한 방법 및 그 장치
CN111949173B (zh) * 2020-07-31 2022-02-15 广州启量信息科技有限公司 一种全景vr画面切换方法、装置、终端设备及存储介质
CN114554243B (zh) * 2020-11-26 2023-06-20 腾讯科技（深圳）有限公司 点云媒体的数据处理方法、装置、设备及存储介质
KR102517919B1 (ko) * 2020-12-07 2023-04-04 한국과학기술원 3차원 공간에서 광고 구분을 위한 광고 표식을 제공하는 방법 및 장치
US20220188545A1 (en) * 2020-12-10 2022-06-16 International Business Machines Corporation Augmented reality enhanced situational awareness
JP2024506630A (ja) 2021-02-08 2024-02-14 サイトフル コンピューターズ リミテッド 生産性のためのエクステンデッド・リアリティ
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
US20220345793A1 (en) * 2021-04-27 2022-10-27 Rovi Guides, Inc. Systems and methods for generating interactive 360-degree content
KR102386822B1 (ko) * 2021-04-30 2022-04-14 인하대학교 산학협력단 산업용 확장현실 컨텐츠 플랫폼에서 다중 사용자를 위한 업무 할당 및 컨텐츠 저작 방법 및 장치
US11978158B2 (en) * 2021-07-27 2024-05-07 Raytheon Company Determining minimum region for finding planar surfaces
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US11928756B2 (en) 2021-09-22 2024-03-12 Google Llc Geographic augmented reality design for low accuracy scenarios
TWI777801B (zh) * 2021-10-04 2022-09-11 邦鼎科技有限公司 擴增實境的顯示方法
US20230139635A1 (en) * 2021-11-03 2023-05-04 Tencent America LLC Method for streaming dynamic 5g ar/mr experience to 5g devices with updatable scenes
US11966572B2 (en) * 2021-11-16 2024-04-23 Figma, Inc. Commenting feature for graphic design systems
WO2023095935A1 (ko) * 2021-11-23 2023-06-01 이은령 증강현실 콘텐츠 서비스를 제공하는 시스템 및 서비스 제공 방법
US20230168786A1 (en) * 2021-11-30 2023-06-01 Verizon Patent And Licensing Inc. Methods and Systems for Location-Based Accessing of Predesignated Data Payloads Using Extended Reality
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US11887151B2 (en) 2022-02-14 2024-01-30 Korea Advanced Institute Of Science And Technology Method and apparatus for providing advertisement disclosure for identifying advertisements in 3-dimensional space
US11868583B2 (en) * 2022-03-28 2024-01-09 Google Llc Tangible six-degree-of-freedom interfaces for augmented reality
KR20240030345A (ko) * 2022-08-30 2024-03-07 네이버랩스 주식회사 기 설정된 커스텀 영역에 사용자 단말이 위치함에 기반하여 사용자 단말에 가상 현실 콘텐츠를 표시하는 방법 및 장치
KR102642665B1 (ko) * 2023-07-11 2024-03-04 주식회사 비브스튜디오스 가상 카메라를 조정하는 방법

Family Cites Families (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5923318A (en) 1996-04-12 1999-07-13 Zhai; Shumin Finger manipulatable 6 degree-of-freedom input device
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6629065B1 (en) 1998-09-30 2003-09-30 Wisconsin Alumni Research Foundation Methods and apparata for rapid computer-aided design of objects in virtual reality and other environments
US9208270B2 (en) 2000-08-02 2015-12-08 Comsol Ab System and method for establishing bidirectional links between multiphysics modeling and design systems
US7043695B2 (en) 2000-09-19 2006-05-09 Technion Research & Development Foundation Ltd. Object positioning and display in virtual environments
US7343278B2 (en) * 2002-10-22 2008-03-11 Artoolworks, Inc. Tracking a surface in a 3-dimensional scene using natural visual features of the surface
JP2007058332A (ja) 2005-08-22 2007-03-08 Canon Inc オブジェクト操作装置及びオブジェクト操作方法
US20070074125A1 (en) 2005-09-26 2007-03-29 Microsoft Corporation Preview information for web-browsing
US7595810B2 (en) 2006-03-22 2009-09-29 Apple Inc. Methods of manipulating a screen space of a display device
US20080115081A1 (en) 2006-11-09 2008-05-15 Microsoft Corporation Enhanced windows management feature
US20090028142A1 (en) * 2007-07-25 2009-01-29 Schmidt Brian K Streaming data content in a network
US8245241B2 (en) 2007-10-02 2012-08-14 International Business Machines Corporation Arrangements for interactivity between a virtual universe and the world wide web
US10872322B2 (en) 2008-03-21 2020-12-22 Dressbot, Inc. System and method for collaborative shopping, business and entertainment
JP5368547B2 (ja) 2008-04-05 2013-12-18 ソーシャル・コミュニケーションズ・カンパニー 共有仮想エリアコミュニケーション環境ベースの装置および方法
US9952673B2 (en) 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
US20160077677A1 (en) 2008-05-20 2016-03-17 Israel Valdes Apparatus and method for user configurable content
US8924862B1 (en) 2008-09-05 2014-12-30 Cisco Technology, Inc. Optimizing desktop sharing for wireless clients during networked collaboration
KR101082487B1 (ko) * 2010-01-29 2011-11-11 키위플 주식회사 객체 인식시스템 및 이를 이용하는 객체 인식 방법
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20120212484A1 (en) 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
US9069577B2 (en) 2010-11-23 2015-06-30 Apple Inc. Grouping and browsing open windows
EP2691936A1 (en) * 2011-03-29 2014-02-05 Qualcomm Incorporated Modular mobile connected pico projectors for a local multi-user collaboration
US9354899B2 (en) 2011-04-18 2016-05-31 Google Inc. Simultaneous display of multiple applications using panels
CA2836505C (en) 2011-05-23 2018-10-30 Lego A/S Generation of building instructions for construction element models
US8912979B1 (en) 2011-07-14 2014-12-16 Google Inc. Virtual window in head-mounted display
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
WO2013049248A2 (en) 2011-09-26 2013-04-04 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display
US9734633B2 (en) 2012-01-27 2017-08-15 Microsoft Technology Licensing, Llc Virtual environment generating system
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9069455B2 (en) 2012-06-22 2015-06-30 Microsoft Technology Licensing, Llc 3D user interface for application entities
US20130342572A1 (en) 2012-06-26 2013-12-26 Adam G. Poulos Control of displayed content in virtual environments
US9292085B2 (en) 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
US20150206349A1 (en) * 2012-08-22 2015-07-23 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
US9461876B2 (en) 2012-08-29 2016-10-04 Loci System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction
US9070194B2 (en) * 2012-10-25 2015-06-30 Microsoft Technology Licensing, Llc Planar surface detection
US9407824B2 (en) * 2012-11-01 2016-08-02 Google Inc. Multi-directional content capture on mobile devices
KR101984915B1 (ko) * 2012-12-03 2019-09-03 삼성전자주식회사 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템
US9317972B2 (en) * 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
CA2896985A1 (en) 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass for virtual or augmediated vision
US20140200863A1 (en) 2013-01-11 2014-07-17 The Regents Of The University Of Michigan Monitoring proximity of objects at construction jobsites via three-dimensional virtuality in real-time
US20140225922A1 (en) 2013-02-11 2014-08-14 Rocco A. Sbardella System and method for an augmented reality software application
JP2014157466A (ja) 2013-02-15 2014-08-28 Sony Corp 情報処理装置及び記憶媒体
GB201303707D0 (en) * 2013-03-01 2013-04-17 Tosas Bautista Martin System and method of interaction for mobile devices
CN105188516B (zh) 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
US20140267228A1 (en) 2013-03-14 2014-09-18 Microsoft Corporation Mapping augmented reality experience to various environments
CN108427504B (zh) * 2013-03-15 2021-06-11 奇跃公司 显示系统和方法
US20140282274A1 (en) 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a gesture performed with at least two control objects
US20150277699A1 (en) * 2013-04-02 2015-10-01 Cherif Atia Algreatly Interaction method for optical head-mounted display
KR20140133361A (ko) 2013-05-10 2014-11-19 삼성전자주식회사 디스플레이 장치 및 그 ui 화면 제공 방법
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9129430B2 (en) 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
US10861224B2 (en) 2013-07-23 2020-12-08 Hover Inc. 3D building analyzer
JP6147861B2 (ja) 2013-09-06 2017-06-14 株式会社マーズフラッグ 情報処理装置、検索サーバ、ウェブサーバ及びコンピュータプログラム
US20180225885A1 (en) 2013-10-01 2018-08-09 Aaron Scott Dishno Zone-based three-dimensional (3d) browsing
KR101512084B1 (ko) 2013-11-15 2015-04-17 한국과학기술원 가상현실 기반의 3차원 웹 검색 인터페이스를 제공하는 웹 검색 시스템 및 그 제공 방법
US9354778B2 (en) 2013-12-06 2016-05-31 Digimarc Corporation Smartphone-based methods and systems
US9411422B1 (en) * 2013-12-13 2016-08-09 Audible, Inc. User interaction with content markers
US20150185825A1 (en) 2013-12-30 2015-07-02 Daqri, Llc Assigning a virtual user interface to a physical object
US20150206343A1 (en) * 2014-01-17 2015-07-23 Nokia Corporation Method and apparatus for evaluating environmental structures for in-situ content augmentation
US9201578B2 (en) 2014-01-23 2015-12-01 Microsoft Technology Licensing, Llc Gaze swipe selection
KR102184402B1 (ko) 2014-03-06 2020-11-30 엘지전자 주식회사 글래스 타입의 이동 단말기
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20150302651A1 (en) * 2014-04-18 2015-10-22 Sam Shpigelman System and method for augmented or virtual reality entertainment experience
US9361732B2 (en) 2014-05-01 2016-06-07 Microsoft Technology Licensing, Llc Transitions between body-locked and world-locked augmented reality
US10296663B2 (en) * 2014-05-13 2019-05-21 Atheer, Inc. Method for moving and aligning 3D objects in a plane within the 2D environment
US20150331240A1 (en) * 2014-05-15 2015-11-19 Adam G. Poulos Assisted Viewing Of Web-Based Resources
US10156967B2 (en) 2014-05-31 2018-12-18 Apple Inc. Device, method, and graphical user interface for tabbed and private browsing
WO2015192117A1 (en) 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US20160027214A1 (en) * 2014-07-25 2016-01-28 Robert Memmott Mouse sharing between a desktop and a virtual world
US9734634B1 (en) 2014-09-26 2017-08-15 A9.Com, Inc. Augmented reality product preview
US10726593B2 (en) 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
JP5767386B1 (ja) * 2014-12-15 2015-08-19 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
US10335677B2 (en) 2014-12-23 2019-07-02 Matthew Daniel Fuchs Augmented reality system with agent device for viewing persistent content and method of operation thereof
US10255302B1 (en) * 2015-02-27 2019-04-09 Jasmin Cosic Systems, methods, apparatuses, and/or interfaces for associative management of data and inference of electronic resources
US20160300392A1 (en) 2015-04-10 2016-10-13 VR Global, Inc. Systems, media, and methods for providing improved virtual reality tours and associated analytics
WO2016176511A1 (en) 2015-04-29 2016-11-03 Data Cocoon LLC Tessellated data visualization system
JP6780642B2 (ja) 2015-06-15 2020-11-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP3113106A1 (en) * 2015-07-02 2017-01-04 Nokia Technologies Oy Determination of environmental augmentation allocation data
KR20170005602A (ko) 2015-07-06 2017-01-16 삼성전자주식회사 증강현실 및 가상현실의 통합적 제공 방법 및 이를 사용하는 전자 장치
WO2017030306A1 (en) 2015-08-18 2017-02-23 Samsung Electronics Co., Ltd. Method and system for bookmarking a webpage
US10057078B2 (en) 2015-08-21 2018-08-21 Samsung Electronics Company, Ltd. User-configurable interactive region monitoring
US10318225B2 (en) 2015-09-01 2019-06-11 Microsoft Technology Licensing, Llc Holographic augmented authoring
EP3360029B1 (en) * 2015-10-08 2019-11-13 PCMS Holdings, Inc. Methods and systems of automatic calibration for dynamic display configurations
EP3862852A1 (en) 2015-10-20 2021-08-11 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
TWI567691B (zh) 2016-03-07 2017-01-21 粉迷科技股份有限公司 立體空間的場景編輯方法與系統
US20170256096A1 (en) * 2016-03-07 2017-09-07 Google Inc. Intelligent object sizing and placement in a augmented / virtual reality environment
EP4327769A2 (en) 2016-03-12 2024-02-28 Philipp K. Lang Devices and methods for surgery
US10373381B2 (en) 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
US10268266B2 (en) 2016-06-29 2019-04-23 Microsoft Technology Licensing, Llc Selection of objects in three-dimensional space
JP7011608B2 (ja) 2016-06-30 2022-01-26 マジック リープ， インコーポレイテッド ３次元空間内の姿勢推定
US10489978B2 (en) 2016-07-26 2019-11-26 Rouslan Lyubomirov DIMITROV System and method for displaying computer-based content in a virtual or augmented environment
IL310337A (en) 2016-08-11 2024-03-01 Magic Leap Inc Automatic positioning of a virtual object in 3D space
WO2018052966A1 (en) 2016-09-16 2018-03-22 Zimmer, Inc. Augmented reality surgical technique guidance
CN116310218A (zh) 2016-10-05 2023-06-23 奇跃公司 表面建模系统和方法
US11290572B2 (en) 2016-11-07 2022-03-29 Constructive Labs System and method for facilitating sharing of virtual three-dimensional space
US10271043B2 (en) 2016-11-18 2019-04-23 Zspace, Inc. 3D user interface—360-degree visualization of 2D webpage content
US10599823B2 (en) 2016-11-18 2020-03-24 Invensense, Inc. Systems and methods for coordinating applications with a user interface
US20180150204A1 (en) 2016-11-30 2018-05-31 Google Inc. Switching of active objects in an augmented and/or virtual reality environment
WO2018176010A2 (en) 2017-03-24 2018-09-27 Inmentis, Llc Social media system with navigable, artificial-intelligence-based graphical user interface with broadcasting
US11086396B2 (en) * 2017-03-31 2021-08-10 Sony Interactive Entertainment LLC Depth-keying of web content
KR102432283B1 (ko) * 2017-05-01 2022-08-11 매직 립, 인코포레이티드 콘텐츠를 공간 3d 환경에 매칭
US10339714B2 (en) * 2017-05-09 2019-07-02 A9.Com, Inc. Markerless image analysis for augmented reality
US10304251B2 (en) 2017-06-15 2019-05-28 Microsoft Technology Licensing, Llc Virtually representing spaces and objects while maintaining physical properties
US10719870B2 (en) 2017-06-27 2020-07-21 Microsoft Technology Licensing, Llc Mixed reality world integration of holographic buttons in a mixed reality device
US20190005724A1 (en) * 2017-06-30 2019-01-03 Microsoft Technology Licensing, Llc Presenting augmented reality display data in physical presentation environments
US10444975B2 (en) 2017-07-18 2019-10-15 Google Llc Graphical icon manipulation
US10803663B2 (en) 2017-08-02 2020-10-13 Google Llc Depth sensor aided estimation of virtual reality environment boundaries
WO2019126238A1 (en) 2017-12-22 2019-06-27 Magic Leap, Inc. Methods and system for managing and displaying virtual content in a mixed reality system
EP3756079A4 (en) 2018-02-22 2021-04-28 Magic Leap, Inc. OBJECT GENERATION WITH PHYSICAL MANIPULATION

Also Published As

Publication number Publication date
CN111133365A (zh) 2020-05-08
IL270249B1 (en) 2023-04-01
WO2018204419A1 (en) 2018-11-08
JP7141410B2 (ja) 2022-09-22
CA3060209A1 (en) 2018-11-08
IL301087A (en) 2023-05-01
US20210304503A1 (en) 2021-09-30
EP3619688A4 (en) 2020-03-11
JP7277064B2 (ja) 2023-05-18
JP2020520498A (ja) 2020-07-09
CN116203731A (zh) 2023-06-02
AU2018261328A1 (en) 2019-11-07
IL270249B2 (en) 2023-08-01
US20240096038A1 (en) 2024-03-21
KR102432283B1 (ko) 2022-08-11
US11373376B2 (en) 2022-06-28
CN111133365B (zh) 2023-03-31
US11875466B2 (en) 2024-01-16
EP3619688A1 (en) 2020-03-11
US10930076B2 (en) 2021-02-23
AU2022271460B2 (en) 2023-11-16
US20220335695A1 (en) 2022-10-20
AU2022271460A1 (en) 2022-12-22
KR20220115824A (ko) 2022-08-18
KR20230108352A (ko) 2023-07-18
IL270249A (ja) 2019-12-31
US20180315248A1 (en) 2018-11-01
JP2022168142A (ja) 2022-11-04
AU2018261328B2 (en) 2022-08-25
KR20190141758A (ko) 2019-12-24
KR102555443B1 (ko) 2023-07-12

Similar Documents

Publication Publication Date Title
JP7277064B2 (ja) 空間的３ｄ環境に対するコンテンツのマッチング
JP7136931B2 (ja) 空間３ｄ環境へのコンテンツのマッチング
US20230100461A1 (en) Content discovery refresh
US11621997B2 (en) Dynamically assigning storage locations for messaging system data
US11294538B2 (en) Timeline media content navigation system
JP6681921B2 (ja) 統計データ提供方法及び統計データ提供装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230504