詳細な説明
A.緒言
仮想および拡張現実環境は、部分的に、環境を説明する、データを使用して、コンピュータによって生成される。本データは、例えば、それを用いてユーザが感知および相互作用し得る、種々のオブジェクトを説明し得る。これらのオブジェクトの実施例は、ユーザが見るためにレンダリングおよび表示される、オブジェクトと、ユーザが聞くために再生される、オーディオと、ユーザが感じるための触覚的(または触知)フィードバックとを含む。ユーザは、種々の視覚的、聴覚的、および触覚的方法を通して、仮想および拡張現実環境を感知し、それと相互作用し得る。
仮想または拡張現実(AR)システムは、多くの用途に有用であり得、科学的可視化、医学および軍事訓練、工学設計およびプロトタイピング、遠隔操作およびテレプレゼンス、およびパーソナルエンターテインメントの分野に及ぶ。拡張現実は、仮想現実と対照的に、物理的世界の実オブジェクトに関連して1つまたはそれを上回る仮想オブジェクトを備える。そのような体験は、拡張現実システムを用いたユーザの体験および享受性を大幅に向上させ、また、ユーザが実オブジェクトおよび仮想オブジェクトを同時に体験することを可能にする、種々の用途に関する門戸を開放する。
しかしながら、そのようなシステムを提供する際、有意な課題が存在する。現実的拡張現実体験をユーザに提供するために、ARシステムは、常時、実オブジェクトに関連して仮想オブジェクトの場所を正しく相関させるために、ユーザの物理的周囲を把握しなければならない。さらに、ARシステムはユーザの頭部、身体等に関連して仮想オブジェクトを位置付ける方法を正しく把握しなければならない。これは、常時、世界に関連してユーザの位置の広範な知識を要求する。加えて、これらの機能は、有利なこととして、コスト(例えば、エネルギーコスト等)が、低く保たれながら、速度および性能が維持されるような様式において実施されるべきである。
したがって、現実的拡張現実体験をユーザに提供するための改良されたシステムの必要がある。
B.ウェアラブルシステムの3Dディスプレイの実施例
ウェアラブルシステム(本明細書では、拡張現実(AR)システムとも称される)は、2Dまたは3D仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、VR、AR、またはMR環境を提示し得る、ウェアラブルデバイス上に実装されることができる。ウェアラブルデバイスは、頭部搭載型デバイス(HMD)であることができ、これは、ARデバイス(ARD)と同義的に使用される。さらに、本開示の目的のために、用語「AR」は、用語「MR」と同義的に使用される。
図1は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図1では、MR場面100が、描写され、MR技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム120を特徴とする、実世界公園状設定110が見える。これらのアイテムに加え、MR技術のユーザはまた、実世界プラットフォーム120上に立っているロボット像130と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ140とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
3Dディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
VR、AR、およびMR体験は、複数の深度面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度面毎に異なってもよく(例えば、場面またはオブジェクトの若干異なる提示を提供する)、視認者の眼によって別個に集束され、それによって、異なる深度面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
図2は、ウェアラブルシステム200の実施例を図示し、これは、AR/VR/MR場面を提供するように構成されることができ、本明細書に説明される例示的ウェイポイントシステムの実施形態を含むことができる。ウェアラブルシステム200はまた、ARシステム200と称され得る。ウェアラブルシステム200は、ディスプレイ220と、ディスプレイ220の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ220は、ユーザ、装着者、または視認者210によって装着可能である、フレーム230に結合されてもよい。ディスプレイ220は、ユーザ210の眼の正面に位置付けられることができる。ディスプレイ220は、AR/VR/MRコンテンツをユーザに提示することができる。ディスプレイ220は、ユーザの頭部上に装着される、頭部搭載型ディスプレイを備えることができる。いくつかの実施形態では、スピーカ240が、フレーム230に結合され、ユーザの外耳道に隣接して位置付けられる(いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音制御を提供する)。ディスプレイ220は、環境からオーディオストリームを検出し、周囲音を捕捉するために、オーディオセンサ(例えば、マイクロホン)232を含むことができる。示されない1つまたはそれを上回る他のオーディオセンサが、ステレオ音受信を提供するために位置付けられることができる。ステレオ音受信は、音源の場所を決定するために使用されることができる。ウェアラブルシステム200は、音声または発話認識をオーディオストリームに実施することができる。
ウェアラブルシステム200は、ユーザの周囲の環境内の世界を観察する、外向きに向いた結像システム464(図4に示される)を含むことができる。ウェアラブルシステム200はまた、ユーザの眼移動を追跡することができる、内向きに向いた結像システム462(図4に示される)を含むことができる。内向きに向いた結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡し得る。内向きに向いた結像システム462は、フレーム230に取り付けられてもよく、内向きに向いた結像システムによって入手された画像情報を処理し、例えば、ユーザ210の眼の瞳孔直径または配向、眼の移動、または眼姿勢を決定し得る、処理モジュール260または270と電気通信してもよい。
実施例として、ウェアラブルシステム200は、外向きに向いた結像システム464または内向きに向いた結像システム462を使用して、ユーザの姿勢の画像を入手することができる。画像は、静止画像、ビデオのフレーム、またはビデオであってもよい。
ディスプレイ220は、有線導線または無線接続等によって、フレーム230に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ210に除去可能に取り付けられる(例えば、リュック式構成において、ベルト結合式構成において)等、種々の構成において搭載され得る、ローカルデータ処理モジュール260に動作可能に結合されることができる(250)。
ローカル処理およびデータモジュール260は、ハードウェアプロセッサおよび不揮発性メモリ(例えば、フラッシュメモリ)等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシング、および記憶を補助するために利用され得る。データは、a)画像捕捉デバイス(例えば、内向きに向いた結像システムおよび/または外向きに向いた結像システム内のカメラ)、オーディオセンサ(例えば、マイクロホン)、慣性測定ユニット(IMU)、加速度計、コンパス、全地球測位システム(GPS)ユニット、無線デバイス、またはジャイロスコープ等の(例えば、フレーム230に動作可能に結合される、または別様にユーザ210に取り付けられ得る)センサから捕捉されるデータ、またはb)可能性として処理または読出後にディスプレイ220への通過のために、遠隔処理モジュール270または遠隔データリポジトリ280を使用して入手または処理されるデータを含んでもよい。ローカル処理およびデータモジュール260は、これらの遠隔モジュールがローカル処理およびデータモジュール260へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク262または264によって遠隔処理モジュール270または遠隔データリポジトリ280に動作可能に結合されてもよい。加えて、遠隔処理モジュール270および遠隔データリポジトリ280は、相互に動作可能に結合されてもよい。
遠隔処理モジュール270は、データまたは画像情報を分析および処理するように構成される、1つまたはそれを上回るプロセッサを含んでもよい。遠隔データリポジトリ280は、デジタルデータ記憶設備を含むことができ、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。データが、記憶されることができ、算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にすることができる。
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動と遠近調節の組み合わせに起因して、オブジェクトを3次元として知覚し得ると考えられる。相互に対する2つの眼の輻輳・開散運動移動(例えば、眼の視線を収束させ、オブジェクトを固視するための相互に向かった、またはそこから離れる瞳孔の回転移動)は、眼の水晶体の合焦(または「遠近調節」)と緊密に関連付けられる。正常条件下、焦点を1つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼の水晶体の焦点の変化または眼の遠近調節は、「遠近調節-輻輳・開散運動反射」として知られる関係下、輻輳・開散運動の整合変化を自動的に同一距離に生じさせるであろう。同様に、輻輳・開散運動の変化が、正常条件下、遠近調節の合致する変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な合致を提供するディスプレイシステムが3次元画像のより現実的かつ快適なシミュレーションを形成し得る。
図3は、複数の深度面を使用して3次元画像をシミュレートするためのアプローチの側面を図示する。図3を参照すると、z-軸上の眼302および304からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼302および304によって遠近調節される。眼302および304は、特定の遠近調節された状態をとり、オブジェクトをz-軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度面に対して遠近調節された状態にあるときに合焦するように、関連付けられる焦点距離を有する、深度面306のうちの特定の1つと関連付けられると言え得る。3次元画像が、眼302および304毎に、画像の異なる提示を提供することによって、また、深度面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされることができる。例証を明確にするために、別個であるものとして示されるが、眼302および304の視野は、例えば、z-軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるものとして示されるが、深度面の等高線は、深度面内の全ての特徴が特定の遠近調節された状態における眼と合焦するように、物理的空間内で湾曲され得ることを理解されたい。理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。
C.導波管スタックアセンブリ
図4は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム400は、複数の導波管432b、434b、436b、438b、4400bを使用して、3次元知覚を眼/脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ480を含む。ウェアラブルシステム400は、図2のウェアラブルシステム200に対応することができ、図4は、そのウェアラブルシステム200のいくつかの部分をより詳細に図式的に示す。例えば、導波管アセンブリ480は、図2のディスプレイ220の中に統合されることができる。
図4を継続して参照すると、導波管アセンブリ480はまた、複数の特徴458、456、454、452を導波管の間に含んでもよい。特徴458、456、454、452は、レンズであってもよい。特徴458、456、454、452は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい(例えば、クラッディング層または空気間隙を形成するための構造)。
導波管432b、434b、436b、438b、440bまたは複数のレンズ458、456、454、452は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度面と関連付けられてもよく、その深度面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス420、422、424、426、428は、それぞれ、眼410に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管440b、438b、436b、434b、432bの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス420、422、424、426、428の出力表面から出射し、導波管440b、438b、436b、434b、432bの対応する入力縁の中に投入される。光の単一ビーム(例えば、コリメートされたビーム)が、各導波管の中に投入され、特定の導波管と関連付けられる深度面に対応する特定の角度(および発散量)において眼410に向かって指向される、クローン化されるコリメートされたビームの場全体を出力してもよい。
画像投入デバイス420、422、424、426、428は、それぞれ、それぞれが対応する導波管440b、438b、436b、434b、432bの中への投入のための画像情報を生成する、離散ディスプレイであることができる。加えて、または代替として、画像投入デバイス420、422、424、426、428は、例えば、1つまたはそれを上回る光学導管(光ファイバケーブル等)を介して、画像情報を画像投入デバイス420、422、424、426、428のそれぞれに送り得る、単一の多重化されたディスプレイの出力端であることができる。
コントローラ460が、スタックされた導波管アセンブリ480および画像投入デバイス420、422、424、426、428の動作を制御する。コントローラ460は、導波管440b、438b、436b、434b、432bへの画像情報のタイミングおよび提供を調整する、プログラミング(例えば、非一過性コンピュータ可読媒体内の命令)を含むことができる。コントローラ460は、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ460は、いくつかの実施形態では、処理モジュール260または270(図2に図示される)の一部であってもよい。
導波管440b、438b、436b、434b、432bは、全内部反射(TIR)によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管440b、438b、436b、434b、432bはそれぞれ、主要上部表面および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状(例えば、湾曲)を有してもよい。図示される構成では、導波管440b、438b、436b、434b、432bはそれぞれ、各個別の導波管内で伝搬する光を導波管から外に再指向し、画像情報を眼410に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素440a、438a、436a、434a、432aを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内を伝搬する光が光再指向要素に衝打する場所に出力されることができる。光抽出光学要素(440a、438a、436a、434a、432a)は、例えば、反射または回折光学特徴であってもよい。説明の容易性および図面の明確性のために、導波管440b、438b、436b、434b、432bの底部主要表面に配置されて図示されるが、光抽出光学要素440a、438a、436a、434a、432aは、上部または底部主要表面に配置されてもよい、または導波管440b、438b、436b、434b、432bの容積内に直接配置されてもよい。光抽出光学要素440a、438a、436a、434a、432aは、透明基板に取り付けられ、導波管440b、438b、436b、434b、432bを形成する、材料の層内に形成されてもよい。導波管440b、438b、436b、434b、432bは、材料のモノリシック片であってもよく、光抽出光学要素440a、438a、436a、434a、432aは、材料のその部品の表面上および/またはその内部に形成されてもよい。
図4を継続して参照すると、本明細書に議論されるように、各導波管440b、438b、436b、434b、432bは、光を出力し、特定の深度面に対応する画像を形成するように構成されることができる。例えば、眼の最近傍の導波管432bは、そのような導波管432bの中に投入されるにつれて、コリメートされた光を眼410に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の導波管434bは、眼410に到達し得る前に、第1のレンズ452(例えば、負のレンズ)を通して通過する、コリメートされた光を送出するように構成されてもよい。第1のレンズ452は、眼/脳が、その次の上方の導波管434bから生じる光を光学無限遠から眼410に向かって内向きにより近い第1の焦点面から生じるものとして解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第3の上方の導波管436bは、眼410に到達する前に、その出力光を第1のレンズ452および第2のレンズ454の両方を通して通過させる。第1および第2のレンズ452および454の組み合わせられた屈折力は、眼/脳が、第3の導波管436bから生じる光が次の上方の導波管434bからの光であったよりも光学無限遠から人物に向かって内向きにさらにより近い第2の焦点面から生じるものとして解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管層(例えば、導波管438b、440b)およびレンズ(例えば、レンズ456、458)も同様に構成され、スタック内の最高導波管440bを用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ480の他側の世界470から生じる光を視認/解釈するとき、レンズ458、456、454、452のスタックを補償するために、補償レンズ層430が、スタックの上部に配置され、下方のレンズスタック458、456、454、452の集約力を補償してもよい。そのような構成は、利用可能な導波管/レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい(例えば、動的または電気活性ではない)。加えて、または代替として、一方または両方とも、電気活性特徴を使用して動的であってもよい。
図4を継続して参照すると、光抽出光学要素440a、438a、436a、434a、432aは、光をその個別の導波管から再指向し、かつ導波管と関連付けられる特定の深度面のための適切な発散またはコリメーション量を用いて本光を出力することの両方のために構成されてもよい。その結果、異なる関連付けられる深度面を有する導波管は、関連付けられる深度面に応じて、異なる量の発散を伴う光を出力する、異なる構成の光抽出光学要素を有してもよい。本明細書に議論されるように、光抽出光学要素440a、438a、436a、434a、432aは、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素440a、438a、436a、434a、432aは、立体ホログラム、表面ホログラム、または回折格子であってもよい。回折格子等の光抽出光学要素は、2015年6月25日に公開された米国特許公開第2015/0178939号(参照することによってその全体として本明細書に組み込まれる)に説明される。
いくつかの実施形態では、光抽出光学要素440a、438a、436a、434a、432aは、回折パターンを形成する回折特徴、すなわち、「回折光学要素」(本明細書では、「DOE」とも称される)である。好ましくは、DOEは、ビームの光の一部のみが、DOEの各交点で眼410に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼304に向かって非常に均一パターンの出射放出となることができる。
1つまたはそれを上回るDOEは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なDOEは、微小液滴がホスト媒体内に回折パターンを備える、ポリマー分散液晶の層を備えてもよく、微小液滴の屈折率は、ホスト材料の屈折率に実質的に合致するように切り替えられることができる(その場合、パターンは、入射光を著しく回折させない)、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられることができる(その場合、パターンは、入射光を能動的に回折させる)。
深度面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である1つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間された深度面の数は、減少された瞳孔サイズに伴って減少され得る。例えば、視認者は、一方の深度面から他方の深度面への眼の遠近調節を調節することなく、第1の深度面および第2の深度面の両方の詳細を1つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの2つの深度面は、同時に、遠近調節を変化させることなく、別の瞳孔サイズにおいてユーザにとって十分に合焦し得る。
ディスプレイシステムは、瞳孔サイズまたは配向の決定に基づいて、または特定の瞳孔サイズまたは配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、2つの導波管と関連付けられる2つの深度面間を区別不能である場合、コントローラ460(ローカル処理およびデータモジュール260であり得る)は、これらの導波管のうちの1つへの画像情報の提供を停止するように構成またはプログラムされることができる。有利なこととして、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのDOEがオンおよびオフ状態間で切替可能である実施形態では、DOEは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされ得る。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。出射ビームサイズは、可変開口を使用して変動されてもよい。
ウェアラブルシステム400は、世界470の一部を結像する、外向きに向いた結像システム464(例えば、デジタルカメラ)を含むことができる。世界470の本部分は、世界カメラの視野(FOV)と称され得、結像システム464は、時として、FOVカメラとも称される。世界カメラのFOVは、視認者210のFOVと同一である場合とそうではない場合があり、これは、視認者210が所与の時間に知覚する、世界470の一部を包含する。例えば、いくつかの状況では、世界カメラのFOVは、ウェアラブルシステム400の視認者210の視野より大きくあり得る。視認者による視認または結像のために利用可能な領域全体は、動眼視野(FOR)と称され得る。FORは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚することができるため、ウェアラブルシステム400を囲繞する4πステラジアンの立体角を含んでもよい。他のコンテキストでは、装着者の移動は、より抑制されてもよく、それに応じて、装着者のFORは、より小さい立体角に接し得る。外向きに向いた結像システム464から得られた画像は、ユーザによって行われるジェスチャ(例えば、手または指のジェスチャ)を追跡し、ユーザの正面における世界470内のオブジェクトを検出する等のために、使用されることができる。
ウェアラブルシステム400は、オーディオセンサ232、例えば、マイクロホンを含み、周囲音を捕捉することができる。上記に説明されるように、1つまたはそれを上回る他のオーディオセンサが、発話源の場所の決定に有用なステレオ音受信を提供するために位置付けられることができる。オーディオセンサ232は、別の実施例として、指向性マイクロホンを備えることができ、これはまた、オーディオ源が位置する場所に関するそのような有用な指向性情報を提供することができる。ウェアラブルシステム400は、発話源を位置特定する際、または特定の瞬間におけるアクティブ話者を決定するため等に、外向きに向いた結像システム464およびオーディオセンサ230の両方からの情報を使用することができる。例えば、ウェアラブルシステム400は、単独で、または話者の反射された画像(例えば、鏡に見られるように)と組み合わせて、音声認識を使用し、話者の識別を決定することができる。別の実施例として、ウェアラブルシステム400は、指向性マイクロホンから入手された音に基づいて、環境内の話者の位置を決定することができる。ウェアラブルシステム400は、発話認識アルゴリズムを用いて、話者の位置から生じる音を解析し、発話のコンテンツを決定し、音声認識技法を使用して、話者の識別(例えば、名称または他の人口統計情報)を決定することができる。
ウェアラブルシステム400はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに向いた結像システム466(例えば、デジタルカメラ)を含むことができる。内向きに向いた結像システム466は、眼410の画像を捕捉し、眼304の瞳孔のサイズまたは配向を決定するために使用されてもよい。内向きに向いた結像システム466は、ユーザが見ている方向(例えば、眼姿勢)を決定する際に使用するため、またはユーザのバイオメトリック識別のため(例えば、虹彩識別を介して)、画像を得るために使用されることができる。少なくとも1つのカメラが、眼毎に、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。単一眼410のみの瞳孔直径または配向(例えば、対の眼あたり単一カメラのみを使用して)が、決定され、ユーザの両眼に関して類似すると仮定され得る。内向きに向いた結像システム466によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム400によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。加えて、または代替として、ウェアラブルシステム400は、IMU、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢(例えば、頭部位置または頭部配向)を決定してもよい。
ウェアラブルシステム400は、ユーザが、コマンドをコントローラ460に入力し、ウェアラブルシステム400と相互作用し得る、ユーザ入力デバイス466を含むことができる。例えば、ユーザ入力デバイス466は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度(DOF)コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド(Dパッド)、ワンド、触知デバイス、トーテム(例えば、仮想ユーザ入力デバイスとして機能する)等を含むことができる。マルチDOFコントローラは、コントローラの一部または全部の可能性として考えられる平行移動(例えば、左/右、前方/後方、または上/下)または回転(例えば、ヨー、ピッチ、またはロール)におけるユーザ入力を感知することができる。平行移動をサポートする、マルチDOFコントローラは、3DOFと称され得る一方、平行移動および回転をサポートする、マルチDOFコントローラは、6DOFと称され得る。ユーザは、指(例えば、親指)を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム400に提供してもよい(例えば、ユーザ入力をウェアラブルシステム400によって提供されるユーザインターフェースに提供するために)。ユーザ入力デバイス466は、ウェアラブルシステム400の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス466は、ウェアラブルシステム400と有線または無線通信することができる。
図5は、導波管によって出力された出射ビームの実施例を示す。1つの導波管が、図示されるが、導波管アセンブリ480内の他の導波管も、同様に機能してもよく、導波管アセンブリ480は、複数の導波管を含むことを理解されたい。光520が、導波管432bの入力縁432cにおいて導波管432bの中に投入され、TIRによって導波管432b内を伝搬する。光520がDOE432aに衝突する点において、光の一部が、出射ビーム510として導波管から出射することができる。出射ビーム510は、略平行として図示されるが、それらはまた、導波管432bと関連付けられる深度面に応じて、ある角度で眼410に伝搬するように再指向されてもよい(例えば、発散出射ビーム形成)。略平行出射ビームは、光を外部結合し、眼410から遠距離(例えば、光学無限遠)における深度面に設定されるように現れる画像を形成する光抽出光学要素を伴う、導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットが、より発散する、出射ビームパターンを出力してもよく、これは、眼410がより近い距離に遠近調節し、網膜上に合焦させることを要求し、光学無限遠より眼410に近い距離からの光として脳によって解釈されるであろう。
図6は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される制御サブシステムとを含む、光学システムを示す、概略図である。光学システムは、導波管装置と、光を導波管装置にまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含むことができる。光学システムは、多焦点立体、画像、またはライトフィールドを生成するために使用されることができる。光学システムは、1つまたはそれを上回る一次平面導波管632a(1つだけが図6に示される)と、一次導波管632aのうちの少なくともいくつかのそれぞれと関連付けられる、1つまたはそれを上回るDOE632bとを含むことができる。平面導波管632bは、図4を参照して議論される導波管432b、434b、436b、438b、440bに類似することができる。光学システムは、分散導波管装置を採用し、光を第1の軸(図6の図では、垂直またはY-軸)に沿って中継し、第1の軸(例えば、Y-軸)に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管622bと、分散平面導波管622bと関連付けられる少なくとも1つのDOE622a(二重破線によって図示される)とを含んでもよい。分散平面導波管622bは、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管632bと類似する、または同じであり得る。同様に、少なくとも1つのDOE622aは、少なくともいくつかの点において、DOE632aと類似する、または同じであり得る。例えば、分散平面導波管622bまたはDOE622aは、それぞれ、一次平面導波管632bまたはDOE632aと同一材料から成ってもよい。図6に示される光学ディスプレイシステム600の実施形態は、図2に示されるウェアラブルシステム200の中に統合されることができる。
中継され、射出瞳が拡張された光は、分散導波管装置から1つまたはそれを上回る一次平面導波管632bの中に光学的に結合され得る。一次平面導波管632bは、好ましくは、第1の軸に直交する、第2の軸(例えば、図6の図では、水平またはX-軸)に沿って、光を中継することができる。着目すべきこととして、第2の軸は、第1の軸に対して非直交軸であることができる。一次平面導波管632bは、その第2の軸(例えば、X-軸)に沿って、光の有効射出瞳を拡張させる。例えば、分散平面導波管622bは、光を垂直またはY-軸に沿って中継および拡張させ、光を水平またはX-軸に沿って中継および拡張させ得る、一次平面導波管632bにその光を通過させることができる。
光学システムは、単一モード光ファイバ640の近位端の中に光学的に結合され得る、1つまたはそれを上回る着色光源(例えば、赤色、緑色、および青色レーザ光)610を含んでもよい。光ファイバ640の遠位端は、圧電材料の中空管642を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー644として、管642から突出する。圧電管642は、4つの象限電極(図示せず)と関連付けられることができる。電極は、例えば、管642の外側、外面または外周、または直径に鍍着されてもよい。コア電極(図示せず)もまた、管642のコア、中心、内周、または内径に位置してもよい。
例えば、ワイヤ660を介して電気的に結合される、駆動電子機器650は、対向する対の電極を駆動し、圧電管642を独立して2つの軸において屈曲させる。光ファイバ644の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ644の直径、長さ、および材料性質に依存し得る。圧電管642をファイバカンチレバー644の第1の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー644は、振動させられ、大偏向を通して掃引し得る。
2つの軸において共振振動を刺激することによって、ファイバカンチレバー644の先端は、2次元(2-D)走査を充填するエリア内において2軸方向に走査される。光源610の強度をファイバカンチレバー644の走査と同期して変調させることによって、ファイバカンチレバー644から発せられる光が、画像を形成することができる。そのような設定の説明は、米国特許公開第2014/0003762号(参照することによってその全体として本明細書に組み込まれる)に提供されている。
光学結合器サブシステムのコンポーネントは、走査ファイバカンチレバー644から発せられる光をコリメートすることができる。コリメートされた光は、鏡面表面648によって、少なくとも1つの回折光学要素(DOE)622aを含有する、狭分散平面導波管622bの中に反射されることができる。コリメートされた光は、TIRによって分散平面導波管622bに沿って(図6の図に対して)垂直に伝搬し、そうすることによって、DOE622aと繰り返し交差することができる。DOE622aは、好ましくは、低回折効率を有する。これは、光の一部(例えば、10%)をDOE622aとの交点の各点においてより大きい一次平面導波管632bの縁に向かって回折させ、TIRを介して、光の一部を分散平面導波管622bの長さを辿ってそのオリジナル軌道上で継続させることができる。
DOE622aとの交点の各点において、付加的光が、一次導波管632bの入口に向かって回折されることができる。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管622b内のDOE622aによって垂直に拡張されることができる。分散平面導波管622bから外部結合される、本垂直拡張された光は、一次平面導波管632bの縁に入射することができる。
一次導波管632bに入射する光は、TIRを介して、一次導波管632bに沿って(図6の図に対して)水平に伝搬することができる。光は、複数の点においてDOE632aと交差するにつれて、TIRを介して、一次導波管632bの長さの少なくとも一部に沿って水平に伝搬する。DOE632aは、有利なこととして、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。DOE632aは、有利なこととして、ビームの光の一部のみが、DOE632aの各交点で視認者の眼に向かって偏向される一方、光の残りが、TIRを介して、一次導波管632bを通して伝搬し続けるように、低回折効率(例えば、10%)を有し得る。
伝搬する光とDOE632aとの間の交点の各点において、光の一部は、一次導波管632bの隣接面に向かって回折され、光がTIRから逃散し、一次導波管632bの面から発せられることを可能にする。DOE632aの半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形(例えば、曲率を付与する)し、かつビームを設計される焦点レベルにマッチングする角度に操向することの両方を行うことができる。
故に、これらの異なる経路は、異なる角度におけるDOE632aの多重度、焦点レベル、または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管632bの外部で結合させることができる。射出瞳における異なる充填パターンは、有利なこととして、複数の深度面を伴うライトフィールドディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット(例えば、3層)が、個別の色(例えば、赤色、青色、緑色)を生成するために採用されてもよい。したがって、例えば、第1の3つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第1の焦点深度において生成するために採用されてもよい。第2の3つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第2の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル3Dまたは4Dカラー画像ライトフィールドを生成するために採用されてもよい。
D.ウェアラブルシステムの他のコンポーネント
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、1つまたはそれを上回る触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ(例えば、仮想オブジェクト、仮想ツール、他の仮想構造)に触れると、圧力またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ(例えば、ドラゴン)の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい(例えば、ユーザウェアラブルグローブ)。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、1つまたはそれを上回る物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、無生物オブジェクト、例えば、金属またはプラスチック片、壁、テーブルの表面の形態をとってもよいある実装では、トーテムは、実際には、任意の物理的入力構造(例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ)を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの1つまたはそれを上回る表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの1つまたはそれを上回る表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、いずれの物理的キーまたはトラックパッドまたはセンサも有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス466(図4に示される)は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカまたは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムまたは他のユーザと相互作用してもよい。
本開示のウェアラブルデバイス、HMD、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第2015/0016777号(参照することによってその全体として本明細書に組み込まれる)に説明される。
E.ウェブページ分解
仮想現実、拡張現実、および/または複合現実システム(以降、集合的に、「複合現実」システムと称される)では、3次元環境は、ユーザへのコンテンツの表示のために提供される。2Dコンテンツをブラウザ内に表示するための従来のアプローチは、3D環境内で使用されるとき、あまり良好に機能しない。これの1つの理由は、従来の2Dウェブブラウザでは、ディスプレイデバイスの表示エリアが、コンテンツを表示する、モニタの画面エリアに限定されるためである。結果として、従来のブラウザは、そのモニタ表示エリア内でコンテンツを編成および表示する方法のみを把握するように構成される。対照的に、3D環境は、モニタ表示エリアの厳密な範囲に限定されない。したがって、従来の2Dブラウザは、従来のブラウジング技術が、コンテンツを表示するために3D環境を利用するための機能性または能力を有していないため、3D環境内で使用されるとき、準最適に機能を発揮する。
例えば、ユーザが、複合現実機器を使用しており、異なる物理的場所と関連付けられる、複数のブラウザウィンドウを設置しているときの状況を検討する。例えば、ユーザは、第1のブラウザウィンドウを第1の部屋内に開いており、第2のブラウザウィンドウを第2の部屋に存在しながら開いている場合がある。従来の2Dベースのブラウザは、所与のモニタエリアの表示に限定されるため、これは、従来のブラウザが、物理的に遠隔のウィンドウの概念を理解する技術さえ有しておらず、まして、本状況を複数の物理的場所に複数のウィンドウを開いた状態でハンドリングする能力など有しておらず、ユーザが、事実上、これらの複数のウィンドウを視認、ナビゲート、および使用することを不可能にすることを意味する。
したがって、ブラウジング技術を3D環境内に実装するための改良されたアプローチの必要性が存在する。
本開示の実装は、2Dウェブページを空間的に編成された3D環境内に表示されるように分解する。2Dウェブページは、頭部搭載型システム、モバイルデバイス(例えば、携帯電話)、タブレット、テレビ、アプリケーション、および同等物のウェブブラウザ上に生じ得る。いくつかの実装では、2Dウェブページは、ラップトップコンピュータ、デスクトップコンピュータ、2Dウェブページへのリンクを伴う、電子メールアプリケーション、2Dウェブページへのリンクを参照する、または含む、電子メッセージ、および同等物等の別のアプリケーションまたはデバイスから受信されてもよい。
図7を参照すると、環境700は、物理的環境と、下記に説明されるプロセス(例えば、ユーザの物理的環境705内の3D表面上に表示されるように、ウェブページからの2Dコンテンツを分解する、または認証、すなわち、アプリケーションのための、またはモード式ブラウザウィンドウを提供するための認証を提供する)を実装するためのシステムとを表す。環境100の代表的物理的環境およびシステムは、ユーザ708によって頭部搭載型システム760を通して視認されるようなユーザの物理的環境705を含む。環境100の代表的システムはさらに、ネットワーク720に動作可能に結合される、ウェブブラウザ710を介して、2Dコンテンツ(例えば、ウェブページ)にアクセスするステップを含む。ネットワーク720は、インターネット、内部ネットワーク、プライベートクラウドネットワーク、パブリッククラウドネットワーク等であってもよい。ウェブブラウザ710はまた、ネットワーク720を介して、プロセッサ770に動作可能に結合される。プロセッサ770は、頭部搭載型システム760と別個の隔離されたコンポーネントとして示されるが、代替実装では、プロセッサ770は、頭部搭載型システム760の1つまたはそれを上回るコンポーネントと統合されてもよく、および/または例えば、ネットワーク720等の環境100内の他のシステムコンポーネントの中に統合され、コンピューティングネットワーク725および記憶デバイス730にアクセスしてもよい。プロセッサ770は、頭部搭載型システム760から受信されたビデオ、オーディオ、およびコンテンツ等の情報を受信および処理するためのソフトウェア750と、ローカル記憶デバイス740と、ウェブブラウザ710と、コンピューティングネットワーク725と、記憶デバイス730とともに構成されてもよい。ソフトウェア750は、ネットワーク720を介して、コンピューティングネットワーク725および記憶デバイス730と通信してもよい。ソフトウェア750は、プロセッサ770上にインストールされてもよい、または別の実装では、ソフトウェアの特徴および機能性は、プロセッサ770の中に統合されてもよい。プロセッサ770はまた、ユーザ708の近傍から外部記憶デバイス上に遠隔で記憶される情報に依拠せずに、迅速なアクセスのために、プロセッサ770によって使用されるための情報を記憶するためのローカル記憶デバイス740とともに構成されてもよい。他の実装では、プロセッサ770は、頭部搭載型システム760内に統合されてもよい。
ユーザの物理的環境705は、ユーザが、動き回り、頭部搭載型システム760を通して、ユーザの物理的環境705を視認するにつれた、ユーザ708の物理的周囲である。例えば、図7を参照すると、ユーザの物理的環境705は、2つの壁(例えば、主壁780および側壁784であって、主壁および側壁は、ユーザのビューに対するものである)と、テーブル788とを伴う、部屋を示す。主壁780上には、ある2Dコンテンツをその上に投影するための候補表面であり得る、黒色実線によって描写され、物理的境界線を伴う、物理的表面(例えば、壁または窓に吊架される、またはそこに取り付けられる、絵画等)を示す、矩形表面782が存在する。側壁784上には、黒色実線によって描写され、物理的境界線を伴う、物理的表面(例えば、壁または窓に吊架される、またはそこに取り付けられる、絵画等)を示す、第2の矩形表面786が存在する。テーブル788上には、異なるオブジェクト、すなわち、1)ある2Dコンテンツが、記憶および表示され得る、仮想Rolodex790と、2)黒色実線によって描写され、ある2Dコンテンツをその上に投影するための、物理的境界線を伴う、物理的表面を表す、水平表面792と、3)黒色点線によって描写され、例えば、ある2Dコンテンツが、記憶および表示され得る、スタックされた仮想新聞を表す、仮想正方形表面794の複数のスタックとが存在し得る。
ウェブブラウザ710はまた、インターネットからの、またはイントラネットまたはプライベートネットワーク内のブログページを表示してもよい。加えて、ウェブブラウザ710はまた、デジタル2Dコンテンツを表示する、任意の技術であってもよい。2Dコンテンツは、例えば、ウェブページ、ブログ、デジタル写真、ビデオ、ニュース記事、ニュース文字、または音楽を含んでもよい。2Dコンテンツは、ユーザ708によって、ネットワーク720を介してアクセス可能である、記憶デバイス730内に記憶されてもよい。いくつかの実装では、2Dコンテンツはまた、ストリーミングコンテンツ、例えば、ライブビデオフィードまたはライブオーディオフィードであってもよい。記憶デバイス730は、例えば、データベース、ファイルシステム、持続的メモリデバイス、フラッシュドライブ、キャッシュ等を含んでもよい。いくつかの実装では、2Dコンテンツ(例えば、ウェブページ)を含有する、ウェブブラウザ710は、コンピューティングネットワーク725を介して表示される。
コンピューティングネットワーク725は、ウェブブラウザ710上のウェブページ内に表示するために、記憶デバイス730にアクセスし、2Dコンテンツを読み出し、記憶する。いくつかの実装では、ローカル記憶デバイス740は、着目2Dコンテンツをユーザ708に提供してもよい。ローカル記憶デバイス740は、例えば、フラッシュドライブ、キャッシュ、ハードドライブ、データベース、ファイルシステム等を含んでもよい。ローカル記憶デバイス740内に記憶される情報は、3D空間内で最近アクセスされた2Dコンテンツまたは最近表示されたコンテンツを含んでもよい。ローカル記憶デバイス740は、2Dコンテンツを分解し、2Dコンテンツを3D空間環境(例えば、ユーザの物理的環境705内の3D表面)上に表示することに役立つために、あるコンテンツをローカルでソフトウェア750に提供することによって、環境100のシステムに対する性能の改良を可能にする。
ソフトウェア750は、非一過性コンピュータ可読媒体内に記憶され、ユーザの物理的環境705内に表示されるように2Dコンテンツを分解する機能を実施する、ソフトウェアプログラムを含む。ソフトウェア750は、プロセッサ770上で起動されてもよく、プロセッサ770は、ユーザ708にローカルで取り付けられてもよい、またはいくつかの他の実装では、ソフトウェア750およびプロセッサ770は、頭部搭載型システム760内に含まれてもよい。いくつかの実装では、ソフトウェア750の特徴および機能の一部は、ユーザ708から遠隔のコンピューティングネットワーク725上で記憶および実行されてもよい。例えば、いくつかの実装では、2Dコンテンツを分解するステップは、コンピューティングネットワーク725上で生じてもよく、分解の結果は、記憶デバイス730内に記憶されてもよく、分解された2Dコンテンツをその上に提示するためのユーザのローカル環境の表面のインベントリ化は、プロセッサ770内で生じてもよく、表面のインベントリおよびマッピングが、ローカル記憶デバイス740内に記憶される。1つの実装では、2Dコンテンツを分解し、ローカル表面をインベントリ化し、2Dコンテンツの要素とローカル表面をマッピングし、2Dコンテンツの要素を表示するプロセスは全て、プロセッサ770およびソフトウェア750内でローカルで生じてもよい。
頭部搭載型システム760は、ユーザインターフェースと、ユーザ感知システムと、環境感知システムと、プロセッサとを含む(全て図示せず)、仮想現実(VR)または拡張現実(AR)頭部搭載型システムであってもよい。頭部搭載型システム760は、ユーザ708に、デジタル世界と相互作用し、それを体験するためのインターフェースを提示する。そのような相互作用は、ユーザおよびデジタル世界と、環境100とインターフェースをとる1人またはそれを上回る他のユーザと、デジタルおよび物理的世界内のオブジェクトとを伴ってもよい。
ユーザインターフェースは、2Dコンテンツを受信するステップと、ユーザインターフェースを通したユーザ入力によって、2Dコンテンツ内の要素を選択するステップとを含んでもよい。ユーザインターフェースは、触知インターフェースデバイス、キーボード、マウス、ジョイスティック、運動捕捉コントローラ、光学追跡デバイス、およびオーディオ入力デバイスのうちの少なくとも1つ、またはそれらの組み合わせであってもよい。触知インターフェースデバイスは、ヒトが、身体感覚および移動を通して、コンピュータと相互作用することを可能にする、デバイスである。触知は、触覚フィードバックまたはコンピューティングデバイス上でアクションまたはプロセスを実施するための他の身体感覚を包含する、ヒトとコンピュータの相互作用技術のタイプを指す。いくつかの実装では、制御インターフェースは、例えば、ユーザ入力をシステムに提供し、システムが対応するコマンドを実行することによって応答することによって、ユーザが、MRディスプレイシステムと相互作用し得るように、ユーザインターフェースであってもよい。
ユーザ感知システムは、頭部搭載型システム760を装着しているユーザ708に関連する、ある特徴、特性、または情報を検出するように動作可能である、1つまたはそれを上回るセンサ762を含んでもよい。例えば、いくつかの実装では、センサ762は、例えば、以下、すなわち、縮瞳/散瞳、各瞳孔の角度測定/測位、球形度、眼形状(眼形状は、経時的に変化するため)、および他の解剖学的データのうちの1つまたはそれを上回るもの等のユーザ708のリアルタイム光学特性/測定を検出することが可能なカメラまたは光学検出/走査回路網を含んでもよい。本データは、ユーザの視認体験を向上させるために頭部搭載型システム760によって使用され得る、情報(例えば、ユーザの視覚的焦点)を提供する、またはそれを計算するために使用されてもよい。
環境感知システムは、ユーザの物理的環境705からのデータを取得するための1つまたはそれを上回るセンサ764を含んでもよい。センサ764によって検出されたオブジェクトまたは情報は、頭部搭載型システム760への入力として提供されてもよい。いくつかの実装では、本入力は、仮想世界とのユーザ相互作用を表し得る。例えば、机(例えば、テーブル788)上の仮想キーボードを視認する、ユーザ(例えば、ユーザ708)は、その指を用いて、ユーザが仮想キーボードをタイプしているかのようにジェスチャを行ってもよい。指移動の運動は、センサ764によって捕捉され、頭部搭載型システム760に入力として提供されてもよく、入力は、仮想世界を変化させる、または新しい仮想オブジェクトを作成するために使用されてもよい。
センサ764は、例えば、持続的および/または断続的に投影された赤外線構造化光を通して、例えば、概して、場面情報を解釈するための外向きに向いたカメラまたはスキャナを含んでもよい。環境感知システムは、静的オブジェクト、動的オブジェクト、人々、ジェスチャ、および種々の照明、大気、および音響条件を含む、ローカル環境を検出および検知することによって、ユーザ708の周囲のユーザの物理的環境705の1つまたはそれを上回る要素をマッピングするために使用されてもよい。したがって、いくつかの実装では、環境感知システムは、ローカルコンピューティングシステム(例えば、プロセッサ770)に内蔵され、1つまたはそれを上回るオブジェクトまたはセンサ764によって検出された情報をデジタル的に再構築するように動作可能である、画像ベースの3D再構築ソフトウェアを含んでもよい。
一例示的実装では、環境感知システムは、以下、すなわち、運動捕捉データ(ジェスチャ認識を含む)、深度感知、顔認識、オブジェクト認識、一意のオブジェクト特徴認識、音声/オーディオ認識および処理、音響ソース位置特定、雑音低減、赤外線または類似レーザ投影、およびモノクロおよび/またはカラーCMOSセンサ(または他の類似センサ)、視野センサ、および種々の他の光学向上センサのうちの1つまたはそれを上回るものを提供する。環境感知システムは、上記に議論されるもの以外の他のコンポーネントを含んでもよいことを理解されたい。
上記に述べられたように、プロセッサ770は、いくつかの実装では、頭部搭載型システム760の他のコンポーネントと統合される、環境100のシステムの他のコンポーネントと統合されてもよい、または図7に示されるように、隔離されたデバイス(装着可能またはユーザ708と別個)であってもよい。プロセッサ770は、物理的有線接続を通して、または、例えば、モバイルネットワーク接続(セルラー電話およびデータネットワークを含む)、Wi-Fi、Bluetooth(登録商標)、または任意の他の無線接続プロトコル等の無線接続を通して、頭部搭載型システム760の種々のコンポーネントに接続されてもよい。プロセッサ770は、メモリモジュール、統合および/または付加的グラフィック処理ユニット、無線および/または有線インターネットコネクティビティ、およびソース(例えば、コンピューティングネットワーク725および頭部搭載型システム760からのユーザ感知システムおよび環境感知システム)からのデータを画像およびオーディオデータに変換すことが可能なコーデックおよび/またはファームウェアを含んでもよく、画像/ビデオおよびオーディオは、ユーザインターフェース(図示せず)を介して、ユーザ708に提示されてもよい。
プロセッサ770は、頭部搭載型システム760の種々のコンポーネントのためのデータ処理および頭部搭載型システム760とウェブブラウザ710およびコンピューティングネットワーク725によって表示またはアクセスされるウェブページからの2Dコンテンツとの間のデータ交換をハンドリングする。例えば、プロセッサ770は、ユーザ708とコンピューティングネットワーク725との間でデータストリーミングをバッファおよび処理し、それによって、平滑、持続的、かつ高忠実性ユーザ体験を有効にするために使用されてもよい。
ウェブページからの2Dコンテンツを要素に分解し、要素を3D環境内の表面上に表示されるようにマッピングするステップは、知的および論理様式において遂行され得る。所定のルールのセットが、2Dコンテンツ/ウェブページ内で識別されたあるタイプの要素/コンテンツを設置すべき場所を推奨、提案、または規定するために利用可能であり得る。例えば、あるタイプの2Dコンテンツ要素は、1つまたはそれを上回る要素を記憶および表示するために扱いやすい、物理的または仮想オブジェクト表面にマッピングされる必要があり得る、1つまたはそれを上回るコンテンツ要素を有し得る一方、他のタイプの2Dコンテンツ要素は、ウェブページ内の主要なビデオまたは主要な記事等の単一オブジェクトであってもよく、その場合、単一オブジェクトは、単一オブジェクトをユーザに表示するために最も合理的である、表面にマッピングされてもよい。
図8は、いくつかの実装による、ユーザの3D環境への2Dコンテンツの要素の例示的マッピングを図示する。環境800は、ウェブブラウザ710によって表示またはアクセスされる、2Dコンテンツ(例えば、ウェブページ)と、ユーザの物理的環境705とを描写する。矢印頭部を伴う、点線は、ユーザの物理的環境705上にマッピングおよび表示される、2Dコンテンツ(例えば、ウェブページ)からの要素(例えば、特定のタイプのコンテンツ)を描写する。2Dコンテンツからのある要素は、ウェブ設計者ヒントまたは事前に定義されたブラウザルールのいずれかに基づいて、ユーザの物理的環境705内のある物理的または仮想オブジェクトにマッピングされる。
実施例として、ウェブブラウザ710によってアクセスまたは表示される、2Dコンテンツは、複数のタブを有する、ウェブページであってもよく、現在のアクティブタブ860は、表示され、二次タブ850は、ウェブブラウザ710上に表示するために選択されるまで、現時点では、隠蔽されている。アクティブタブ860内に表示されるものは、典型的には、ウェブページである。本特定の実施例では、アクティブタブ860は、主要なビデオ820と、ユーザ注解230と、提案されるビデオ840とを含む、YOUTUBE(登録商標)ページを表示する。本例示の図8に描写されるように、主要なビデオ820は、垂直表面782上に表示するためにマッピングされてもよく、ユーザ注解230は、水平表面792上に表示するためにマッピングされてもよく、提案されるビデオ840は、垂直表面782と異なる垂直表面786上に表示するためにマッピングされてもよい。加えて、二次タブ850は、仮想Rolodex790上および/またはマルチスタック仮想オブジェクト794上に表示するためにマッピングされてもよい。いくつかの実装では、二次タブ850内の具体的コンテンツは、マルチスタック仮想オブジェクト794内に記憶されてもよい。他の実装では、二次タブ850内に常駐するコンテンツ全体は、マルチスタック仮想オブジェクト794上に記憶および/または表示されてもよい。同様に、仮想Rolodex790は、二次タブ850からの具体的コンテンツを含有してもよい、または仮想Rolodex790は、二次タブ850内に常駐するコンテンツ全体を含有してもよい。
垂直表面782は、窓ガラスまたは写真フレーム等、部屋(ユーザの物理的環境705として描写される)の主壁780上に既に存在し得る、任意のタイプの構造であってもよい。いくつかの実装では、垂直表面782は、空壁であってもよく、頭部搭載型システム760は、ユーザ708が主要なビデオ820を視認するために適切である、垂直表面782のフレームの最適サイズを決定する。垂直表面782のサイズの本決定は、少なくとも部分的に、ユーザ708の主壁780からの距離、主要なビデオ820のサイズおよび寸法、主要なビデオ820の品質、非被覆壁空間の量、および/または主壁780を見ているときのユーザの姿勢に基づいてもよい。例えば、主要なビデオ820の品質が、高精細である場合、垂直表面782のサイズは、主要なビデオ820の品質が垂直表面782によって悪影響を受けないであろうため、より大きくてもよい。しかしながら、主要なビデオ820のビデオ品質が、不良品質である場合、大垂直表面782を有することは、ビデオ品質を著しく妨害し得、その場合、本開示の方法およびシステムは、ピクシレーションからの不良ビデオ品質を最小限にするようにより小さく垂直表面782をサイズ変更/再定義してもよい。
垂直表面786は、垂直表面782のように、ユーザの物理的環境705内の隣接する壁(例えば、側壁784)上の垂直表面である。いくつかの実装では、ユーザ708の配向に基づいて、側壁784および垂直表面786は、勾配で傾けられた表面であるように現れてもよい。勾配で傾けられた表面は、垂直および水平表面に加えた、表面の配向のタイプであり得る。YOUTUBE(登録商標)ウェブページからの提案されるビデオ840は、側壁784上の垂直表面786上に設置され、本実施例では、単に、その頭部を若干右に移動させることによって、ユーザ708が、提案されるビデオを視認することが可能であることを可能にしてもよい。
仮想Rolodex790は、頭部搭載型システム760によって作成され、ユーザ708に表示される、仮想オブジェクトである。仮想Rolodex790は、ユーザ708が、仮想ページのセットを通して、双方向に巡回させる能力を有してもよい。仮想Rolodex790は、ウェブページ全体を含有してもよい、または個々の記事またはビデオまたはオーディオを含有してもよい。本実施例に示されるように、仮想Rolodex790は、二次タブ850からのコンテンツの一部を含有してもよい、またはいくつかの実装では、仮想Rolodex790は、二次タブ850のページ全体を含有してもよい。ユーザ708は、単に、仮想Rolodex790内の特定のタブに合焦することによって、仮想Rolodex790内のコンテンツを通して、双方向に巡回させてもよく、頭部搭載型システム760内の1つまたはそれを上回るセンサ(例えば、センサ762)が、ユーザ708の眼焦点を検出し、仮想Rolodex790内のタブを通して巡回させ、故に、ユーザ708のための関連情報を取得する。いくつかの実装では、ユーザ708は、仮想Rolodex790からの関連情報を選定し、頭部搭載型システム760に、利用可能な周囲表面上またはユーザ708に近接近する仮想ディスプレイ(図示せず)等のさらに別の仮想オブジェクト上のいずれかに、関連情報を表示するように命令してもよい。
マルチスタック仮想オブジェクト794は、仮想Rolodex790と同様に、1つまたはそれを上回るタブからの完全コンテンツ、またはユーザ708がブックマークしている、将来的閲覧のために保存している、または開いている(例えば、非アクティブタブ)、種々のウェブページまたはタブからの特定のコンテンツに及ぶ、コンテンツを含有してもよい。マルチスタック仮想オブジェクト794はまた、実世界の新聞のスタックに類似する。マルチスタック仮想オブジェクト794内の各スタックは、特定の新聞記事、ページ、雑誌記事、レシピ等に関連してもよい。当業者は、2Dコンテンツ要素または2Dコンテンツソースからのコンテンツを設置するための表面を提供する、本同一の目的を遂行するために、複数のタイプの仮想オブジェクトが存在することを理解し得る。
当業者は、ウェブブラウザ710によってアクセスまたは表示される、2Dコンテンツが、単なるウェブページ以上のものであり得ることを理解し得る。いくつかの実装では、2Dコンテンツは、写真アルバムからの写真、映画からのビデオ、YOUTUBE(登録商標)ビデオからのTV番組、双方向形態等であってもよい。さらに他の実装では、2Dコンテンツは、電子書籍または書籍を表示する任意の電子手段であってもよい。最後に、他の実装では、2Dコンテンツは、2Dコンテンツが、概して、情報が現在提示される方法であるため、まだ説明されていない、他のタイプのコンテンツであってもよい。電子デバイスが、2Dコンテンツを取り込み得る場合、2Dコンテンツは、頭部搭載型システム760によって、2Dコンテンツを分解し、3D設定(例えば、AR)内に表示するために使用されることができる。
いくつかの実装では、アクセスされる2Dコンテンツをマッピングするステップは、2Dコンテンツを抽出する(例えば、ブラウザから)ステップと、それを表面上に載上するステップと(コンテンツが、もはやブラウザ内になく、表面上にのみあるように)を含んでもよく、いくつかの実装では、マッピングは、コンテンツを複製する(例えば、ブラウザから)ステップと、それを表面上に載上するステップと(コンテンツが、ブラウザ上および表面上の両方にあるように)を含むことができる。
F.境界されたボリューム内のウェブコンテンツ
いくつかの実装では、抽出されたウェブコンテンツは、ユーザの3D空間環境内の境界されたボリュームの中に設置されることができる。有利なこととして、コンテンツの設置を境界されたボリューム内に制限することは、ユーザが、その環境内のコンテンツの設置のより良好な制御を有することを可能にすることができる。いくつかの実施例では、コンテンツは、ウェブブラウザアプリケーションの一部であり得る、ブラウザタイルの周囲のボリュームを参照して設置されることができる。図9Aは、3D空間のボリューム904内の例示的ブラウザタイル902を図示する。
ブラウザタイル902は、ウェブページ、ウェブドメインと関連付けられるコンテンツ、または非ウェブベースのテキストまたはグラフィカル情報のいくつかまたは全て等の2Dコンテンツを表示することができる。例えば、ブラウザタイル902は、グラフィックまたはテキスト等のコンテンツにアクセスするためのグラフィカルインターフェースを含むことができる。ブラウザタイル902は、複数のウィンドウまたはタブ機能性、ユーザが以前に相互作用したコンテンツをナビゲートするための戻るおよび進む双方向特徴、現在視認されているコンテンツをリフレッシュするためのリフレッシュ双方向特徴、コンテンツのロードをキャンセルするためのキャンセル双方向特徴、プリセットコンテンツに戻るためのホーム双方向特徴、コンテンツのローカルまたはウェブ場所を入力するためのナビゲーション特徴、またはローカルまたはウェブベースのコンテンツを検索するための検索特徴等のウェブブラウザの1つまたはそれを上回る側面を含むことができる。いくつかの実施例では、ブラウザタイル902は、上記に説明されるもの等のウェブブラウザの1つまたはそれを上回る側面と併せて表示される、2Dコンテンツを含むことができる。
ARシステムは、ユーザが、ブラウザタイル902および/またはブラウザタイル902内に表示されるコンテンツと相互作用することを可能にし得る。例えば、ARシステムは、ユーザ姿勢、ジェスチャ、またはユーザ入力デバイスの作動を通して、ブラウザタイル902を移動または操作させることのインジケーションを受信してもよい。ARシステムは、対応して、ブラウザタイル902を移動または操作させることによって、応答してもよい。いくつかの実施例では、ブラウザタイル902を移動または操作させるための関連ユーザ姿勢は、手の運動、身体の位置付け、同等物、またはそれらのある組み合わせを含むことができる。別の実施例では、ARシステムは、ユーザ姿勢またはユーザ入力デバイスの作動を通して、ブラウザタイル902内に表示されるコンテンツまたはブラウザタイル902と関連付けられる他のコンテンツを操作させることのインジケーションを受信してもよい。ARシステムは、例えば、コンテンツを通したスクロール、新しいコンテンツを探すためのクリックスルー、コンテンツの選択、コンテンツの削除、コンテンツの抽出、コンテンツの入力、同等物、またはそれらのある組み合わせによって、対応して、ブラウザタイルと関連付けられるコンテンツを操作させることによって、応答してもよい。操作は、ブラウザタイル902内に含まれ得る、1つまたはそれを上回るブラウザ特徴と相互作用することを含むことができる。例えば、操作は、情報をアドレスまたは検索特徴の中に入力すること、コンテンツをロードする、またはロードを中止すること、または他の双方向特徴と相互作用する結果としての他の操作によって、コンテンツを探すことを含むことができる。
ARシステムは、ブラウザタイル902を3D空間のボリューム904内に表示してもよい。ボリューム904は、ユーザの3D環境のサブセットを含んでもよい。下記に説明されるように、ボリューム904は、静的または操作可能であってもよい。例えば、ボリューム904は、ユーザインジケーションを介して、および/またはARシステムによって自動的に、拡張、低減、または別様に変換されてもよい。
ARシステムは、ブラウザタイル902内に表示される2Dコンテンツと関連付けられる、3Dコンテンツ906を表示してもよい。図9Bは、ボリューム904内に3Dコンテンツ906を伴う、例示的ブラウザタイル902を図示する。3Dコンテンツ906は、1つまたはそれを上回る仮想オブジェクトを含むことができる。
いくつかの実施形態では、3Dコンテンツは、1つまたはそれを上回るプリズムを含んでもよく、これは、概して、複合現実コンテンツと関連付けられる、コンテナ、エリア、またはボリュームを説明し、これは、3Dオブジェクトの表現等の複数の仮想コンテンツアイテムを含有してもよい。プリズム内に境界されたコンテンツは、その中にコンテンツが境界される、プリズムを制御または設置することによって、ユーザの環境内で制御または設置されてもよい。仮想オブジェクトは、本明細書で使用されるように、プリズムである、またはそれを含んでもよい。プリズムの種々の特性、使用、および実装は、2019年6月27日に公開された、米国特許公開第2019/0197785号(参照することによってその全体として本明細書に組み込まれる)に説明される。
仮想オブジェクトは、ブラウザタイル902内に表示される、2Dコンテンツと関連付けられることができる。例えば、2Dコンテンツは、家具企業に関するウェブサイトであることができ、仮想オブジェクトは、ウェブサイト上に説明される、家具の3D仮想表現であることができる。いくつかの実施例では、仮想オブジェクトは、ブラウザタイル902上に表示されるグラフィックの場所と関連付けられる、3Dボリューム904内の場所等、ブラウザタイル902の近傍に表示されることができる。例えば、2Dコンテンツは、長椅子の2D表現を含むことができる。3Dコンテンツは、長椅子の3D表現を含むことができる。いくつかの実施例では、ARシステムは、ブラウザタイル902から外に延在する、長椅子(または他の3Dコンテンツ)の表現等、長椅子の2D表現の正面に、またはその代わりに、長椅子の3D表現を表示してもよい。
仮想オブジェクトの設置およびサイズは、ユーザによって変動または修正されてもよい。例えば、ARシステムは、ブラウザタイル902に対するボリューム904内のデフォルト場所に基づいて、仮想オブジェクトを設置してもよい。いくつかの実施例では、ARシステムは、回転、スケーリング、移動、より複雑なアニメーション、同等物、またはそれらのある組み合わせ等の変換を1つまたはそれを上回る仮想オブジェクトに適用してもよい。
図10Aおよび10Bに図示されるように、仮想オブジェクトのディスプレイは、3Dボリューム1002の境界に制限され得る。例えば、ARシステムは、ユーザまたは実行可能命令等によって、仮想オブジェクト906の一部をボリューム1002の境界の外側に表示するための命令を受信し得る。ARシステムは、仮想オブジェクト906を表示しない、または仮想オブジェクト906の一部を表示しないことを決定し得る。加えて、または代替として、下記に議論されるように、ARシステムは、例えば、仮想オブジェクト906の位置、ボリューム、配向、および/または場所を調節することによって、仮想オブジェクト906を包含するように、3Dボリューム1002をサイズ変更または再配向することができる。
一実施例では、図10Aに図示されるように、仮想オブジェクト906Aは、仮想オブジェクト906の部分1004が、3Dボリューム1002の境界の外側に該当するように設置、定寸、または配向され得る。部分1004が、3Dボリューム1002または仮想オブジェクト906Aの閾値ボリュームまたは閾値パーセンテージ、または仮想オブジェクト906Aまたは3Dボリューム1002と関連付けられる他の閾値を超える場合、ARシステムは、仮想オブジェクト906Aの全体を表示しないことを決定してもよい。部分1004が、閾値を下回る場合、ARシステムは、全体または部分的に、仮想オブジェクト906Aを表示することを決定してもよい。例えば、ARシステムは、3Dボリューム1002内に該当する、仮想オブジェクト906の部分1006を表示してもよい。別の実施例では、ARシステムは、3Dボリューム1002の外側に該当する場合でも、仮想オブジェクト906A全体を表示してもよい。
別の実施例では、図10Bに図示されるように、仮想オブジェクト906Bは、仮想オブジェクト906Bの中心1008が、3Dボリューム1002の外側に該当するように設置、定寸、および/または配向され得る。仮想オブジェクト906の中心1008が、3Dボリューム1002の外側に該当する場合、ARシステムは、仮想オブジェクト906Bの全体を表示しないことを決定してもよい。別の実施例では、ARシステムは、3Dボリューム1002内に該当する、仮想オブジェクト906Bの一部を表示することを決定してもよい。
G.例示的な境界されたボリューム
いくつかの実施例では、ARシステムは、ユーザの環境内の空間(ステージとも称される)の3Dボリュームを定義してもよい。図11に図示されるように、3Dボリューム1102は、その中にコンテンツ1104が、作成、表示、または操作され得る、空間のエリアを含むことができる。
いくつかの実施例では、ボリューム1102は、デフォルトサイズまたは形状を有してもよい。デフォルトサイズは、所定のサイズに設定されてもよい、コンテンツ1104のサイズに対して設定されてもよい、ユーザの環境または視野に対して設定されてもよい、または別の要因に基づいて設定されてもよい。
例えば、デフォルトサイズは、0.75メートル、0.8メートル、0.86メートル、1メートル、または他のサイズの辺を有する、直方体であってもよい。別の実施例では、デフォルトサイズは、1,000ピクセル、1,100ピクセル、1,120ピクセル、1,200ピクセル、または他のサイズの辺を有する、直方体であってもよい。有利なこととして、所定の寸法のセットに基づいてデフォルトサイズを設定することは、ボリューム1102をサイズ変更する必要なく、より大きいコンテンツを可能にすることができる。
別の実施例では、デフォルトサイズは、少なくとも1次元においてコンテンツ1104より大きい、パーセンテージであってもよい。例えば、ボリューム1102は、コンテンツ1104より20%広く、20%高くてもよく、ボリューム904の深度(または範疇)は、ボリューム1102の幅と同等であってもよい。別の実施例では、ボリューム1102は、コンテンツ1104より10%広く、同一高さであってもよい。別の実施例では、ボリューム1102は、コンテンツ1104より50%広く、100%高くてもよい。しかしながら、他の実施例もまた、可能性として考えられる。有利なこととして、コンテンツ1104のサイズに基づいて、デフォルトサイズを設定することは、コンテンツ1104に関連する新しいコンテンツのより小さくかつより集束された設置を可能にすることができる。例えば、コンテンツ1104は、ウェブドメインへのアクセスを可能にする、ブラウザタイルであることができる。ウェブドメインは、新しいコンテンツの設置を要求してもよい。ウェブドメインのサイズに対するデフォルトサイズを定義することは、ブラウザタイルの近くのウェブドメインに関連する小コンテンツの設置を可能にすることができる。
いくつかの実施例では、デフォルトサイズは、ボリューム1102がユーザの視野(FOV)のパーセンテージを充填するように、ユーザの視野に対するものであってもよい。例えば、ボリューム1102は、FOVの10%、25%、50%、100%、150%、または他のパーセンテージ量であってもよい。
ボリューム1102の形状は、立方体、直方体、球体、回転楕円体、角錐、円柱、それらのある組み合わせ、同等物、または他の形状等の任意の3D形状であることができる。いくつかの実施例では、ボリューム1102の形状は、コンテンツ1104と相補的形状であってもよい。例えば、コンテンツ1104は、直方体形状を有する、ブラウザタイルであってもよい。ボリューム1102は、次いで、直方体形状を有してもよい。別の実施例では、コンテンツ1104は、長椅子または人物等のより複雑な幾何学的形状であってもよい。ボリューム1102は、コンテンツ1104の幾何学的形状を概略する、形状であってもよい。加えて、または代替として、ボリューム1102は、コンテンツ1104を包含するための寸法を伴う、球状または直方体形状であってもよい。
いくつかの実施例では、ボリューム1102は、コンテンツ1104の1つまたはそれを上回る性質に基づいて、デフォルト寸法を有してもよい。例えば、コンテンツ1104は、ブラウザタイルであってもよい。ボリューム1102は、ブラウザタイルがユーザ入力を伴わずに移動しないように設計されるため、ブラウザタイルに比較的に近い、寸法を有してもよい。別の実施例では、コンテンツ1104は、ユーザの環境の周囲を飛行するように構成される、仮想オブジェクト(例えば、蝶)であってもよい。ボリューム1102は、コンテンツ1104が動き回ることを可能にするために、ユーザのFOVの大パーセンテージを包含する、寸法を有してもよい。
いくつかの実施例では、ボリュームは、静的ボリュームであってもよい。他の実施例では、ボリュームは、操作可能または変化可能であってもよい。図12A1および12A2に図示されるように、ボリューム1203は、1つまたはそれを上回るコンテンツ1204、1206の断片を包含するように拡張してもよい。図12A1は、ボリューム1202の斜視図1200を図示し、図12A2は、上下図1201を図示し、これは、変化可能であってもよい。例えば、ボリューム1203の初期サイズは、ブラウザタイルに対するデフォルトサイズであってもよい。ユーザは、ブラウザタイル1204を使用して、ウェブドメインと相互作用してもよい。ウェブドメインは、ARシステムが、関連コンテンツ1206をユーザの環境内に表示するように要求する、または別様に、ARシステムに表示させてもよい。結果として、ARシステムは、ボリューム1203を1つまたはそれを上回る方向において拡張させ、図12A2に示されるように、関連コンテンツ1206を包含し、コンテンツ1206を表示する、ボリューム1202Bに到達してもよい(例えば、そのようになり得る)。
ボリュームは、定義された範囲を使用して、拡張またはサイズ変更されてもよい。図12B1および12B2は、範囲を使用した例示的拡張を図示する。範囲は、ブラウザタイル等のコンテンツの断片からの距離の定義された量を含むことができる。いくつかの実施例では、コンテンツの断片が、サイズ変更される場合、コンテンツの断片の周囲の1つまたはそれを上回る範囲は、同一のままであることができる一方、コンテンツの周囲のボリュームは、サイズ変更される。例えば、ARシステムは、いくつかのピクセルを1つまたはそれを上回る寸法内に定義し、ユーザの環境内でボリュームをコンテンツ1224の周囲に追加してもよい(図12B1における1224Aおよび図12B2における1224Bとして示される)。いくつかの実施例では、範囲は、左に100ピクセル、右に100ピクセル、下に150ピクセル、左に250ピクセル、および/または正面に200ピクセルを含むことができる。しかしながら、寸法または範囲の他の組み合わせも、可能性として考えられる。範囲は、要求する当事者、ユーザ、またはARシステムによって定義され得る。
別の実施例では、ARシステムは、ボリュームの1つまたはそれを上回る寸法のパーセンテージ変化を定義してもよい。例えば、ARシステムは、幅を左に20%、下に10%、および上に50%、または寸法またはパーセンテージの他の組み合わせだけ増加させてもよい。図12B1および12B2に図示される実施例では、ARシステムは、定義された範囲1222のセットを利用して、ボリューム1205Aをボリューム1205Bに拡張させる。例えば、定義された範囲1222は、100ピクセル等のいくつかのピクセルであってもよい。ARシステムは、最初に、コンテンツ1224Aのボリュームに対応するボリューム1205A+コンテンツ1224Aのボリュームの1つまたはそれを上回る側上の範囲をサイズ決定してもよい。コンテンツ1224Aのボリュームのコンテンツ1224Bのボリュームへのサイズ変更後、ARシステムは、同一範囲を保ち、ボリューム1205Bに拡張させてもよく、これは、コンテンツ1224Bのボリューム+コンテンツ1224Bのボリュームの1つまたはそれを上回る側上の範囲を含む。いくつかの実施例では、コンテンツは、ブラウザタイルを含むことができ、サイズ変更は、ブラウザタイルまたはブラウザタイルと関連付けられるウェブページのサイズ変更に対応し得る。
下記に議論されるように、ARシステムは、ユーザ入力および第三者要求または他の要因のうちの1つまたはそれを上回るものに基づいて、ボリューム1205Aの寸法を制御してもよい。例えば、ウェブドメイン等の第三者が、新しいコンテンツを表示する際に、ボリューム1205Aを自動的に拡張させないように防止するために、ARシステムは、許可のセットのステータスを決定してもよく、これは、ユーザ入力を含んでもよい。有利なこととして、本プロセスは、ユーザまたはARシステムが、ユーザの環境内の空間の使用のより良好な制御を付与することを可能にすることができるが、依然として、第三者がコンテンツまたはボリュームのための最適化されたサイズ決定を推奨することを可能にする。
H.例示的サイズ変更認証プロセス
いくつかの実施例では、ARシステムは、認証プロセスを通して、ボリュームのサイズ変更を制御してもよい。図13Aは、認証プロセスを含み得る、例示的サイズ変更プロセス1300を図示する、フローチャートである。図13Bは、サイズ変更プロセス1300における1つまたはそれを上回るステップの一部または結果であり得る、例示的ステップのセットを示す。
図13Aを参照すると、ブロック1302では、ARシステムは、サイズ変更要求を受信してもよい。サイズ変更要求は、アプリケーション、ウェブドメイン、第三者、または他のソースからの、図13Bに示されるようなボリューム1324をサイズ変更するための要求を含むことができる。ボリューム1324をサイズ変更するステップは、1つまたはそれを上回る方向において、ボリューム1324の中心、ボリューム1324内のコンテンツ1322の中心、またはユーザの3D環境内の別の点等のボリューム1324内の点から、ボリューム1324を拡張または収縮させるステップを含むことができる。サイズ変更要求は、ボリューム1324の1つまたはそれを上回る寸法の変化のパーセンテージまたは量を含むことができる。例えば、変化量は、メートル単位の量、ピクセルの数、または他の量を含むことができる。いくつかの実施例では、変化量は、ボリューム1324内の追加されるコンテンツのサイズまたは設置に基づくことができる。例えば、ユーザは、ボリューム1324内に表示されるブラウザアプリケーションを介して、ウェブドメインと相互作用してもよい。ウェブドメインは、ユーザ相互作用に基づいて、3Dコンテンツをユーザの3D環境内に表示することを要求してもよい。ウェブドメインは、3Dボリューム1324が追加されるコンテンツを包含するように、ボリューム1324内の3Dコンテンツの所望のサイズおよび設置に基づいて、サイズ変更要求を送信してもよい(またはARシステムは、例えば、ウェブドメインコンテンツに基づいて、サイズ変更要求を自動的に開始してもよい)。
ブロック1304では、ARシステムは、サイズ変更が認可されているかどうかを決定してもよい。例えば、ARシステムは、ユーザが、要求されるサイズへのボリューム1324のサイズの変化を認可する、または認可しているかどうかを決定してもよい。ARシステムは、ユーザに、要求の認可ステータスをチェックする、要求者の認可ステータスをチェックするためのプロンプトを表示することによって、それらのある組み合わせによって、または別の方法によって、本決定を行ってもよい。
プロンプトをユーザに表示することによって、認可を決定するために、ARシステムは、サイズ変更要求に関してユーザ入力を要求する、グラフィックまたはテキストをグラフィック表示してもよい。例えば、図13Bに示されるように、ARシステムは、ボリューム1324をサイズ変更するための許可を要求するためのグラフィック1328を出力してもよい。グラフィック1328は、ユーザ入力のためのテキストおよび/または1つまたはそれを上回る双方向コンポーネントを含むことができる。例えば、グラフィック1328は、ステージのサイズ変更を可能にするかどうかに関するユーザへのプロンプトを含むことができる。加えて、または代替として、グラフィック1328は、「はい」ボタンまたは「いいえ」ボタン等の1つまたはそれを上回るボタン、またはユーザ入力を承認するための他の双方向コンポーネントを含むことができる。ARシステムは、加えて、または代替として、ボリューム1324の提案される新しいサイズを例証するために、1つまたはそれを上回る一時的線1326を表示してもよい。1つまたはそれを上回る一時的線1326は、矢印、線、または距離の他のインジケーションを含んでもよい。線1326は、コンテンツ1322の現在の境界(またはコンテンツを含有する、プリズムの現在の境界)またはステージ1324の現在の境界から開始し、ステージ1324の新しい提案される境界まで延在してもよい。いくつかの実施例では、線は、いったんユーザ入力が受信されると、除去されてもよい。一時的線に加えて、または代替として、ARシステムは、例えば、ボリューム1324の提案される境界の輪郭を表示する、またはボリューム1324の提案されるサイズの追加されるボリュームに陰影を施すことによって、ボリューム1324の提案される境界を表示してもよい。サイズ変更が、例えば、サイズ変更要求のユーザ承認によって、認可される場合、ARシステムは、ステージ1324をサイズ変更してもよい。サイズ変更が、認可されない場合、ARシステムは、ステージをサイズ変更しなくてもよい。例えば、ARシステムは、コンテンツ1322と同一または類似ボリュームのステージ1323を表示してもよい。
要求の認可ステータスをチェックすることによって、認可を決定するために、ARシステムは、ユーザが、サイズ変更を以前に認可しているかどうかを決定してもよい。例えば、ユーザは、全てのサイズ変更要求、または特定の相互作用セッションの間、いくつかのサイズ変更要求を認可している場合がある。例えば、ウェブセッションの間、ユーザは、6つの方向のそれぞれにおいて、100ピクセルのボリューム拡張を認可している場合がある。しかしながら、ARシステムは、コンテンツを設置するとき、6つの方向のそれぞれにおいて、25ピクセルだけボリュームを拡張している場合がある。ARシステムは、次いで、現在のサイズ変更要求が、6つの方向のそれぞれにおいて、元々認可された100ピクセルの境界内に該当するかどうかを決定してもよい。サイズ変更が、以前に認可された限界内に該当する場合、ARシステムは、ブロック1306において、ステージをサイズ変更してもよい。ARシステムが、サイズ変更が限界内にないことを見出す場合、ARシステムは、サイズ変更を否認する、またはユーザにサイズ変更を認可するためのプロンプトを表示してもよい。加えて、または代替として、ARシステムは、サイズ変更が閾値変化(例えば、デフォルト閾値変化またはユーザ定義された閾値変化)内に該当するかどうかをチェックすることによって、認可ステータスを決定してもよい。閾値変化が、閾値量を下回る場合、ARシステムは、サイズ変更を認可してもよい。閾値変化が、閾値変化を超える場合、ARシステムは、サイズ変更を否認する、またはユーザにサイズ変更を認可するためのプロンプトを表示してもよい。
要求者の認可ステータスをチェックすることによって認可を決定するために、ARシステムは、ユーザが、一般に、限定された時間周期の間、および/またはある境界内で、要求者がボリューム1324をサイズ変更することを可能にしているかどうかを決定してもよい。例えば、要求者は、ARシステムが全てのサイズ変更要求を承認するであろうような信頼された要求者であり得る。別の実施例では、要求者は、ARシステムが、時間、ボリューム変化、および/または他のパラメータに関して設定された限界内でサイズ変更要求を承認するであろうような限定された認可を有することができる。例えば、ユーザが、ウェブドメイン等の要求者が、ウェブセッションの間、ボリューム1324をサイズ変更することを認可している場合、ARシステムは、ウェブセッションの間、ボリュームをサイズ変更してもよい。しかしながら、ユーザが、ウェブドメインから離れるようにナビゲートする場合、ARシステムは、ボリュームをサイズ変更しない、またはユーザにサイズ変更することを認可することをプロンプトしてもよい。
ブロック1306では、ARシステムは、ステージをサイズ変更してもよい。サイズ変更は、図12Aおよび12Bに関して説明されるもの等の1つまたはそれを上回るプロセスを含むことができる。図13Bを参照すると、ARシステムは、パーセンテージ変化を使用して、範囲を用いて、または別の方法によって、ボリューム1324をサイズ変更することができる。いくつかの実施例では、ARシステムは、サイズ変更に応じて、ボリューム1324の輪郭を表示しなくてもよい。いくつかの実施例では、ARシステムは、サイズ変更に応じて、ボリューム1324の輪郭を表示してもよい。
ブロック1308では、ARシステムは、ステージをリフレッシュすべきかどうかを決定してもよい。ARシステムは、1つまたはそれを上回るリフレッシュ条件に基づいて、ステージがリフレッシュされるべきであることを決定してもよい。リフレッシュ条件は、コンテンツの1つまたはそれを上回る状態、コンテンツのソース(ウェブドメインまたはアプリケーション等)、ARシステム、サイズ変更認可、または他の関連条件を含むことができる。例えば、ARシステムは、サイズ変更認可が終了しているかどうか、またはユーザがもはや要求者からのコンテンツと相互作用していないとき等、サイズ変更がもはや関連しないかどうかを決定してもよい。いくつかの実施例では、リフレッシュは、ユーザが、サイズ変更を要求した、ウェブドメインから離れるように移動するときに生じてもよい。例えば、ユーザは、ユーザの環境内に製品を表示するためにサイズ変更を要求した、買物サイトから、ニュースウェブサイトに切り替えてもよい。別の実施例では、リフレッシュは、ウェブセッションが終了したとき、または新しいウェブセッションが開始したときに生じてもよい。別の実施例では、リフレッシュは、アプリケーションの開始または再開に応じて、生じてもよい。別の実施例では、ステージのサイズは、ユーザが相互作用する、コンテンツまたはアプリケーションに依存する、またはそれに結び付けられ得る。ユーザが、その独自のステージサイズ要件を用いて、別のアプリケーションを開始する、またはコンテンツをロードする場合、ARシステムは、ステージをリフレッシュしてもよい。ARシステムが、リフレッシュが生じたことを決定する場合、ARシステムは、ブロック1310において、ボリューム1324をリセットしてもよい。ARシステムが、リフレッシュが生じたことを決定しない場合、ARシステムは、ボリューム1324の現在のサイズを使用し続けてもよい。
ブロック1310では、ARシステムは、ボリューム1324を前のサイズに設定してもよい。例えば、ARシステムは、ボリューム1324を、サイズ変更要求に先立ってARシステムによって使用されていたサイズに設定することができる。いくつかの実施例では、前のサイズは、ブラウザタイルまたは他のコンテンツのサイズ+1つまたはそれを上回る寸法におけるいくつかの範囲等のボリューム1324のデフォルトサイズを含むことができる。他の実施例では、前のサイズは、デフォルトサイズではない、サイズを含むことができる。
I.例示的ページ回転
いくつかの実施例では、ARシステムは、ボリュームをサイズ変更して、ブラウザタイル内のウェブページの回転等のコンテンツ回転に適応してもよい。図14Aは、ブラウザタイル内のウェブページを回転させるための例示的回転プロセス1400を図示し、図14Bは、ブラウザタイル内のウェブページのボリューム回転サイズ変更の実施例を図示する。
図14Aを参照すると、ブロック1402では、ARシステムは、回転要求を受信してもよい。回転要求は、ユーザまたは第三者アプリケーションからの、ユーザの3D環境内に表示されるコンテンツの1つまたはそれを上回るコンポーネントを回転させるための要求を含むことができる。例えば、図14Bに図示されるように、ARシステムは、ウェブページ1428をブラウザタイル1424内に表示してもよい。ウェブページは、最初に、垂直配向に表示されてもよい。ユーザ、第三者、またはアプリケーションは、ウェブページが、水平配向に配向されることを要求し得る。他の実施例では、ARシステムは、複数のコンテンツを表示してもよい。ARシステムは、そのコンテンツの1つまたはそれを上回る断片をユーザの3D環境内で再配向または再位置特定するための要求を受信してもよい。
図14Aを継続して参照すると、ブロック1404では、ARシステムは、ユーザの3D環境内のコンテンツの新しい配向を決定することができる。例えば、ARシステムは、ユーザの姿勢および/または回転要求に基づいて、新しい配向を識別することができる。任意の数の配向も、可能性として考えられる。いくつかの実施例では、新しい配向は、水平、垂直、対角線、x、y、またはz軸の周囲の回転、同等物、またはそれらのある組み合わせであってもよい。例えば、ユーザが、ブラウザタイル等のコンテンツを見ている場合、ユーザは、コンテンツがユーザの視線の方向に向いている(例えば、それと垂直である)ようなブラウザタイル配向においてコンテンツを要求し得る。別の実施例では、図14Bに図示されるように、コンテンツは、ブラウザタイル1424内のウェブページ1428であることができ、ユーザは、ウェブページ1428を垂直配向1401から水平配向1403に再配向することを要求し得る。
ブロック1406では、ARシステムは、新しい配向に基づいて、新しいボリュームサイズを決定することができる。例えば、図14B1に図示されるように、ARシステムは、ボリューム1422Aをサイズ変更し、新しい配向におけるページ1428に適応することができる。新しいボリューム1422Bは、1つまたはそれを上回る寸法において、同一、より大きい、またはより小さい長さを含むことができる。例えば、図14B1および14B2に示される実施例では、ボリュームの高さhおよび幅wは、(例えば、ボリューム1422Aおよびボリューム1422B内では)同一のままであり得るが、深度dは、ボリューム1422B内のページ1428の高さに増加され得る。しかしながら、他のサイズ変更もまた、可能性として考えられる。
ブロック1408では、ARシステムは、サイズ変更認可を決定することができる。サイズ変更認可は、サイズ変更要求がユーザまたはARシステムによって認可されているかどうかを決定するための1つまたはそれを上回るステップを含むことができる。例えば、サイズ変更認可は、図13Aを参照して説明されるサイズ変更プロセス1300の1つまたはそれを上回るステップを含むことができる。いくつかの実施例では、ARシステムは、ユーザに、サイズ変更または配向が認可されているかどうかを決定するようにプロンプトを表示してもよい。ARシステムが、サイズ変更が認可されていることを決定する場合、ARシステムは、ブロック1410において、ボリュームをサイズ変更してもよい。サイズ変更が、認可されていない場合、ARシステムは、ボリュームをサイズ変更しなくてもよい、または新しいコンテンツ配向を表示しなくてもよい。
ブロック1410では、ARシステムは、サイズ変更認可に基づいて、ボリュームをサイズ変更することができる。サイズ変更は、図12Aおよび12Bに関して説明されるもの等の1つまたはそれを上回るプロセスを含むことができる。図14Bに適用されるように、例えば、ARシステムは、パーセンテージ変化を使用して、範囲を用いて、または別の方法によって、ボリューム1422をサイズ変更することができる。いくつかの実施例では、ARシステムは、ボリューム1422からのサイズ変更後、ボリューム1422Aの輪郭を表示しなくてもよい。いくつかの実施例では、ARシステムは、所定の時間周期にわたって、および/または特定のユーザ相互作用が生じるまで等、ボリューム1422からのサイズ変更に応じて、ボリューム1422Aの輪郭を表示してもよい。
ブロック1412では、ARシステムは、コンテンツを、新しい配向において、サイズ変更されたボリューム内に表示することができる。コンテンツは、コンテンツの位置がサイズ変更されたボリューム1422A内に該当するように、要求される配向において表示されてもよい。
J.例示的コンテンツハンドリング
いくつかの実施例では、ARシステムは、そのコンテンツのいくつかまたは全てが、その中にコンテンツが設置されることを可能にされる、空間の定義されたボリュームの境界の外側に該当する、ユーザの3D環境内にコンテンツを位置付ける、または設置するための要求を受信し得る。図15Aは、そのようなコンテンツを設置するための例示的コンテンツハンドリングプロセス1500を図示し、図15Bは、ボリュームが、サイズ変更されるときと、ボリュームが、サイズ変更されないときの、コンテンツハンドリングの実施例を図示する。
図15Aを参照すると、ブロック1502では、ARシステムは、コンテンツ設置要求を受信してもよい。コンテンツ設置要求は、図15Bに図示されるように、アプリケーション、ウェブドメイン、第三者、または他のソースからの、コンテンツ1526をユーザの3D環境のエリア内に設置するための要求を含むことができる。コンテンツ設置要求は、コンテンツ1526の座標および/または寸法を含むことができる。座標は、ボリューム1522、ユーザ、および/またはユーザの3D環境内の別の原点を参照することができる。いくつかの実施例では、要求は、ボリューム1522の外側のコンテンツ1526のいくつかまたは全ての設置を含むことができる。いくつかの実施例では、要求は、ボリューム1522の内側のコンテンツ1526のいくつかまたは全ての設置を含むことができる。例えば、ユーザは、ボリューム1522内に表示されるブラウザアプリケーションを介して、ウェブドメインと相互作用してもよい。ウェブドメインは、ユーザ相互作用に基づいて、コンテンツ1524をボリューム1522内に表示することを要求してもよい。加えて、または代替として、ウェブドメインは、ボリューム1522内のコンテンツ1524の所望のサイズおよび設置に基づいて、コンテンツ設置要求を送信してもよい。
ブロック1506では、ARシステムは、コンテンツの一部が、コンテンツ設置要求に基づいて、ボリュームの境界の外側に該当するであろうかどうかを決定してもよい。例えば、図15Bの状況1501に図示されるように、ARシステムは、コンテンツ1526を全体的にボリューム1522の境界の外側に設置するための要求を受信し得る。しかしながら、他の状況も、可能性として考えられる。
別の実施例では、ARシステムは、コンテンツ1526の一部をボリューム1522の境界の外側に設置するための要求を受信し得る。いくつかの実施例では、ARシステムは、その部分が、ボリューム1522の閾値ボリュームまたは閾値パーセンテージが、またはコンテンツ1524、1526、および/または3Dボリューム1522と関連付けられる、他の閾値を超える場合、コンテンツ1526がボリューム1522の境界の外側に該当することを決定し得る。いくつかの実施例では、閾値は、ボリュームの5%、ボリュームの10%、または任意の他のパーセンテージを含むことができる。いくつかの実施例では、閾値は、10ピクセル、15ピクセル、または任意の他のピクセルの数を含むことができる。ARシステムが、コンテンツがボリューム境界の内側に該当することを決定する場合、ARシステムは、ブロック1518において、コンテンツをボリューム内に表示してもよい。ARシステムが、コンテンツがボリューム境界の外側に該当することを決定する場合、ARシステムは、ブロック1508において、ボリュームをサイズ変更するかどうかを決定してもよい。
ブロック1508では、ARシステムは、ボリュームをサイズ変更するかどうかを決定してもよい。例えば、ARシステムは、サイズ変更認可のステータスに基づいて、コンテンツをサイズ変更するかどうかを決定することができる。サイズ変更認可は、サイズ変更要求がユーザまたはARシステムによって認可されているかどうかを決定するための1つまたはそれを上回るステップを含むことができる。例えば、サイズ変更認可は、図13Aを参照して説明される、サイズ変更プロセス1300の1つまたはそれを上回るステップを含むことができる。いくつかの実施例では、ARシステムは、サイズ変更または配向が認可されているかどうかを決定するためのプロンプトをユーザに表示してもよい。ARシステムが、サイズ変更が認可されていることを決定する場合、ARシステムは、ブロック1516において、ボリュームをサイズ変更してもよい。サイズ変更が、認可されていない場合、ARシステムは、ブロック1510において、コンテンツをコピーするかどうかを決定してもよい。
ブロック1516では、ARシステムは、ボリュームをサイズ変更してもよい。サイズ変更は、図12Aおよび12Bに関して説明されるもの等の1つまたはそれを上回るプロセスを含むことができる。図15Bを参照すると、例えば、ARシステムは、パーセンテージ変化を使用して、範囲を用いて、または別の方法によって、ボリューム1522をサイズ変更し、ボリューム1522Aに拡張させることができる。いくつかの実施例では、ARシステムは、ボリューム1522からサイズ変更後、ボリューム1522Aの輪郭を表示しなくてもよい。いくつかの実施例では、ARシステムは、ボリューム1522からサイズ変更後、ボリューム1522Aの輪郭を表示してもよい。いったんARシステムが、ボリュームをサイズ変更すると、ARシステムは、状況1503において、図15Bに図示されるように、サイズ変更されたボリューム1522A内の要求される位置にコンテンツを表示してもよい。
ブロック1510では、ARシステムは、コンテンツをコピーするかどうかを決定してもよい。コピーが、行われ、設置されるべきかどうかを決定するために、ARシステムは、ユーザがコンテンツ1526のコピーをボリューム1522の境界の外側に表示することを認可しているかどうかを決定してもよい。コピー認可は、コピーがユーザまたはARシステムによって認可されているかどうかを決定するための1つまたはそれを上回るステップを含むことができる。いくつかの実施例では、ARシステムは、コンテンツ1526をコピーし、ボリューム1522の外側の要求される設置に表示することが、認可されているかどうかを決定するためのプロンプトをユーザに表示してもよい。ユーザが、プロンプトに応答して、コピーの承認を示す場合、ARシステムは、コピーが認可されていることを決定し、ブロック1514において、コンテンツのコピーをボリューム1522の外側に表示してもよい。ユーザが、コピーが承認されていないことを示す場合、ARシステムは、ブロック1512において、要求される設置場所にコンテンツのコピーを表示しないことを決定してもよい。
コンテンツのコピーは、発信側要求者と関連付けられるメタデータを含有する場合とそうではない場合があり、要求者がコピーと関連付けられる1つまたはそれを上回るパラメータを制御することを可能にする場合とそうではない場合がある、コンテンツ1526の視覚的表現を含むことができる。例えば、コピーは、ウェブドメイン等のコンテンツ1526を発信する当事者が、移動、アニメーション、または表現の他の側面を制御することを可能にせずに、コンテンツ1526の視覚的表現を含むことができる。別の実施例では、コピーは、要求者に接続されるメタデータ、ハイパーリンク、アニメーション、または要求者と関連付けられる、他のデータ等を含む、コンテンツ1526の表現を含むことができる。
ブロック1512では、ARシステムは、図15Bの状況1501に図示されるように、コンテンツ1526のいくつかまたは全てを隠蔽する、または表示しなくてもよい。例えば、コンテンツ1526は、コンテンツ1526の中心が3Dボリューム1522の外側に該当するように設置、定寸、または配向されることができる。コンテンツ1526の中心が、3Dボリューム1522の外側に該当する場合、ARシステムは、コンテンツ1526の全体を表示しないことを決定してもよい。別の実施例では、ARシステムは、3Dボリューム1522内に該当する、コンテンツ1526の一部を表示することを決定してもよい。
K.付加的実施例
本明細書に説明されるシステム、方法、およびデバイスはそれぞれ、いくつかの側面を有するが、そのうちのいずれの単一の1つだけが、その望ましい属性に関与するわけではない。本開示の範囲を限定することなく、いくつかの非限定的特徴が、ここで、簡単に議論されるであろう。以下の段落は、本明細書に説明されるデバイス、システム、および方法の種々の例示的実装を説明する。
実施例1:仮想コンテンツを3次元(3D)空間環境内に表示するためのディスプレイシステムであって、仮想コンテンツをディスプレイシステムのユーザの眼に提示するように構成される、頭部搭載型ディスプレイと、頭部搭載型ディスプレイと通信する、回路網であって、3Dウェブベースのコンテンツにアクセスするための要求を受信し、3Dウェブベースのコンテンツを表示するためのユーザの3D空間環境内の場所、3Dコンテンツの配向、または3Dコンテンツの寸法のうちの少なくとも1つを含む、3Dウェブベースのコンテンツと関連付けられる、パラメータを識別し、パラメータに基づいて、3Dコンテンツがユーザの3D空間環境の認可された部分内に表示され得るかどうかを決定し、3Dコンテンツが3D空間環境の認可された部分内に表示され得ないことの決定に応答して、認可された部分をサイズ変更し、サイズ変更された認可された部分内における3Dコンテンツの表示を可能にするように構成される、回路網とを備える、ディスプレイシステム。
実施例2:回路網は、ブラウザタイルを3D空間環境内に表示するように構成され、3D空間環境の認可された部分は、ブラウザタイルの幅を上回る、幅と、ブラウザタイルの高さを上回る、高さと、ブラウザタイルの深度を上回る、深度とを備える、実施例1に記載のディスプレイシステム。
実施例3:回路網は、ブラウザタイルを認可された部分内に表示するように構成される、実施例1または2のうちのいずれか1項に記載のディスプレイシステム。
実施例4:3Dコンテンツが認可された部分内に表示され得るかどうかを決定するために、回路網は、閾値量の3Dコンテンツが認可された部分内に表示され得るかどうかを決定するように構成される、実施例1-3のうちのいずれか1項に記載のディスプレイシステム。
実施例5:回路網は、3Dコンテンツが3D空間環境の認可された部分内に表示され得ることの決定に応答して、3Dコンテンツを認可された部分内に表示するように構成される、実施例1-4のうちのいずれか1項に記載のディスプレイシステム。
実施例6:認可された部分をサイズ変更するために、回路網は、サイズ変更認可ステータスを決定し、サイズ変更認可ステータスに基づいて、認可された部分をサイズ変更するように構成される、実施例1-5のうちのいずれか1項に記載のディスプレイシステム。
実施例7:サイズ変更認可ステータスを決定するために、回路網は、ユーザ入力に基づいて、認可を識別するように構成される、実施例1-6のうちのいずれか1項に記載のディスプレイシステム。
実施例8:3Dウェブベースのコンテンツは、ウェブドメインと関連付けられ、サイズ変更認可ステータスを決定するために、回路網は、ウェブドメインが認可された要求者であるかどうかに基づいて、認可を識別するように構成される、実施例1-7のうちのいずれか1項に記載のディスプレイシステム。
実施例9:サイズ変更認可ステータスは、3Dウェブベースのコンテンツと関連付けられるウェブドメインへのアクセスの現在のセッションの間、認可された部分をサイズ変更するための認可を備える、実施例1-8のうちのいずれか1項に記載のディスプレイシステム。
実施例10:認可された部分をサイズ変更するために、回路網は、認可された部分の幅を少なくとも1つの方向に第1の量だけ増加させ、認可された部分の高さを少なくとも1つの方向に第2の量だけ増加させ、認可された部分の深度を少なくとも1つの方向に第3の量だけ増加させるように構成される、実施例1-9のうちのいずれか1項に記載のディスプレイシステム。
実施例11:回路網は、認可された部分と関連付けられる、リフレッシュ条件を決定し、認可された部分のサイズをデフォルトサイズに設定するように構成される、実施例1-10のうちのいずれか1項に記載のディスプレイシステム。
実施例12:リフレッシュ条件は、3Dウェブベースのコンテンツと関連付けられない、ウェブドメインとのユーザ相互作用と、3Dウェブベースのコンテンツの表示を中止するためのユーザからのインジケーションとのうちの少なくとも1つを含む、実施例11に記載のディスプレイシステム。
実施例13:仮想コンテンツを3次元(3D)空間環境内に表示するためのディスプレイシステムであって、
仮想コンテンツをディスプレイシステムのユーザの眼に提示するように構成される、頭部搭載型ディスプレイと、頭部搭載型ディスプレイと通信する、回路網であって、コンテンツにアクセスするための要求を受信し、第1の配向において、コンテンツをユーザの3D空間環境の認可された部分内に表示し、第2の配向において、コンテンツをユーザの3D空間環境内に表示するための要求を受信し、第2の配向において、コンテンツがユーザの3D空間環境の認可された部分内に表示され得るかどうかを決定し、第2の配向において、コンテンツがユーザの3D空間環境の認可された部分内に表示され得ないことの決定に応答して、認可された部分をサイズ変更し、第2の配向において、サイズ変更された認可された部分内にコンテンツの表示を可能にするように構成される、回路網とを備える、ディスプレイシステム。
実施例14:コンテンツは、ウェブページを備える、実施例13に記載のディスプレイシステム。
実施例15:回路網は、コンテンツを3D空間環境内の仮想ブラウザタイルの中に表示するように構成され、3D空間環境の認可された部分は、仮想ブラウザタイルの幅を上回る、幅と、仮想ブラウザタイルの高さを上回る、高さと、仮想ブラウザタイル深度を上回る、深度とを備える、実施例13または14に記載のディスプレイシステム。
実施例16:回路網は、仮想ブラウザタイルを認可された部分内に表示するように構成される、実施例15に記載のディスプレイシステム。
実施例17:コンテンツが認可された部分内に表示され得るかどうかを決定するために、回路網は、閾値量のコンテンツが認可された部分内に表示され得るかどうかを決定するように構成される、実施例13-16のうちのいずれか1項に記載のディスプレイシステム。
実施例18:回路網は、第2の配向において、コンテンツが3D空間環境の認可された部分内に表示され得ることの決定に応答して、第2の配向において、コンテンツを認可された部分内に表示するように構成される、実施例13-17のうちのいずれか1項に記載のディスプレイシステム。
実施例19:認可された部分をサイズ変更するために、回路網は、サイズ変更認可ステータスを決定し、サイズ変更認可ステータスに基づいて、認可された部分をサイズ変更するように構成される、実施例13-18のうちのいずれか1項に記載のディスプレイシステム。
実施例20:サイズ変更認可ステータスを決定するために、回路網は、ユーザ入力に基づいて、認可を識別するように構成される、実施例13-19のうちのいずれか1項に記載のディスプレイシステム。
実施例21:コンテンツは、ウェブドメインと関連付けられ、サイズ変更認可ステータスを決定するために、回路網は、ウェブドメインが認可された要求者であるかどうかに基づいて、認可を識別するように構成される、実施例13-20のうちのいずれか1項に記載のディスプレイシステム。
実施例22:サイズ変更認可ステータスは、3Dコンテンツと関連付けられるウェブドメインへのアクセスの現在のセッションの間、認可された部分をサイズ変更するための認可を備える、実施例13-21のうちのいずれか1項に記載のディスプレイシステム。
実施例23:認可された部分をサイズ変更するために、回路網は、認可された部分の幅を少なくとも1つの方向に第1の量だけ増加させ、認可された部分の高さを少なくとも1つの方向に第2の量だけ増加させ、認可された部分の深度を少なくとも1つの方向に第3の量だけ増加させるように構成される、実施例13-22のうちのいずれか1項に記載のディスプレイシステム。
実施例24:回路網は、認可された部分と関連付けられる、リフレッシュ条件を決定し、認可された部分のサイズをデフォルトサイズに設定するように構成される、実施例13-23のうちのいずれか1項に記載のディスプレイシステム。
実施例25:リフレッシュ条件は、コンテンツと関連付けられない、ウェブドメインとのユーザ相互作用と、コンテンツの表示を中止するためのユーザからのインジケーションとのうちの少なくとも1つを含む、実施例24に記載のディスプレイシステム。
実施例26:仮想コンテンツを3次元(3D)空間環境内に表示するためのディスプレイシステムであって、仮想コンテンツをディスプレイシステムのユーザの眼に提示するように構成される、頭部搭載型ディスプレイと、頭部搭載型ディスプレイと通信する、回路網であって、3Dコンテンツにアクセスするための要求を受信し、3Dコンテンツを表示するためのユーザの3D空間環境内の場所、3Dコンテンツの配向、および3Dコンテンツの寸法のうちの少なくとも1つを含む、3Dコンテンツと関連付けられる、パラメータを識別し、パラメータに基づいて、3Dコンテンツがユーザの3D空間環境の認可された部分内に表示され得るかどうかを決定し、3Dコンテンツが3D空間環境の認可された部分内に表示され得ないことの決定に応答して、3Dコンテンツの表現を3D空間環境内の場所に表示するように構成される、回路網とを備える、ディスプレイシステム。
実施例27:回路網は、ブラウザタイルを3D空間環境内に表示するように構成され、3D空間環境の認可された部分は、ブラウザタイルの幅を上回る、幅と、ブラウザタイルの高さを上回る、高さと、ブラウザタイルの深度を上回る、深度とを備える、実施例26に記載のディスプレイシステム。
実施例28:回路網は、ブラウザタイルを認可された部分内に表示するように構成される、実施例26または27のうちのいずれか1項に記載のディスプレイシステム。
実施例29:3Dコンテンツが認可された部分内に表示され得るかどうかを決定するために、回路網は、閾値量の3Dコンテンツが認可された部分内に表示され得るかどうかを決定するように構成される、実施例26-28のうちのいずれか1項に記載のディスプレイシステム。
実施例30:回路網は、3Dコンテンツが3D空間環境の認可された部分内に表示され得ることの決定に応答して、3Dコンテンツを認可された部分内に表示するように構成される、実施例26-28のうちのいずれか1項に記載のディスプレイシステム。
上記の実施例のいずれかは、任意の好適な組み合わせにおいて組み合わせられてもよい。
L.用語
本明細書で議論されるシステムおよび方法の理解を促進するために、いくつかの用語が、下記に説明される。下記に説明される用語および本明細書で使用される他の用語は、提供される説明、用語の通常および慣例意味、および/または個別の用語に関する任意の他の含意される意味を含むと解釈されるべきであって、そのような構造は、用語の文脈と一致する。したがって、下記の説明は、これらの用語の意味を限定するものではなく、例示的説明を提供するのみである。
プリズム:複合現実コンテンツと関連付けられる、コンテナ、エリア、またはボリューム。例えば、プリズムは、ユーザによって選択可能な複数の仮想コンテンツアイテムを含有してもよい。プリズムは、アプリケーションが立ち上げられると、スポーンしてもよく、次いで、兄弟または子プリズムをスポーンし、フレキシブルなレイアウトを作成してもよい。プリズム内のアプリケーションは、典型的には、第1のプリズムの近接度内にあって、ユーザによって容易に発見可能である、これらの階層プリズムが現れるであろう場所を制御するように構成されてもよい。
プリズムは、フィードバックをユーザに提供してもよい。いくつかの実施形態では、フィードバックは、プリズムが頭部姿勢を用いて標的化されるとき、ユーザにのみ表示される、タイトルであってもよい。いくつかの実施形態では、フィードバックは、プリズムの周囲の光彩であってもよい。プリズム光彩(および/または他のプリズムフィードバック)はまた、ユーザにどのプリズムが共有されているかのフィードバックを与えるために、共有する際に使用されてもよい。
コントローラ:トーテム等のハンドヘルドコントローラ。
コントローラ軸:コントローラが向いている方向を定義する、コントローラから延在する軸。
頭部姿勢:慣性測定ユニット(IMU)、加速度計、ジャイロスコープ等のセンサを使用して決定される、頭部位置および/または頭部配向。頭部姿勢の方向に延在する、頭部姿勢光線は、仮想オブジェクトと相互作用するために使用されてもよい。例えば、ユーザが、プリズムまたはオブジェクトに向いている、またはそれを見ているとき、オブジェクトまたはプリズムは、ユーザの頭部姿勢光線によって交差される。
焦点:双方向オブジェクトが選択されることを可能にする、プリズム等のオブジェクトの特性。
入力焦点:オブジェクトのカーソルをアクティブシステムカーソルとしてリフレッシュおよびレンダリングさせる、プリズムまたはアプリケーション等のオブジェクトの特性。いくつかの実装では、複数の焦点オブジェクトが存在することができるが、入力焦点を伴うものは、1つのみである。
ブラウザタイル:ウェブベースのコンテンツをナビゲートする、表示する、または別様に、それと相互作用するために使用され得る、コンテンツウィンドウのタイプ。ブラウザタイルは、操作され、それと相互作用され得る、2Dまたは3Dオブジェクトとして、ユーザの3D環境内に表示されることができる。
3Dコンテンツ:ユーザの3D環境内に表示され得る、仮想オブジェクト。3Dコンテンツは、静的である、アニメーション化される、操作可能である、または別様に、相互作用されることができる。3Dコンテンツは、例えば、ブラウザタイルを使用して、ウェブドメインまたはウェブページとのユーザ相互作用によって生成される、ウェブベースのコンテンツを含むことができる。
コンテンツボリューム(またはコンテンツステージ):コンテンツボリュームは、その中で3Dコンテンツが表示または操作され得る、ユーザの環境を伴う、空間のボリュームを含むことができる。
M.他の考慮点
本明細書に説明される、または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、動画またはビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたはアプリケーションを提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能(例えば、論理または算術)またはステップを実装するための1つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、本明細書に提供される例証的実施例に追加される、そこから削除される、修正される、または別様にそこから変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそこから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
本プロセス、方法、およびシステムは、ネットワーク(または分散)コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、パーソナルエリアネットワーク(PAN)、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装または実施形態に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装または実施形態の文脈において本明細書に説明されるある特徴はまた、単一の実装または実施形態における組み合わせにおいて実装されることができる。逆に、単一の実装または実施形態の文脈において説明される種々の特徴もまた、複数の実装または実施形態において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの1つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
とりわけ、「~できる(can)」、「~し得る(could)」、「~し得る(might)」、「~し得る(may)」、「例えば(e.g.)」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、またはステップが、1つまたはそれを上回る実施形態に対していかようにも要求されること、または1つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを含意することを意図するものではない。用語「~を備える(comprising)」、「~を含む(including)」、「~を有する(having)」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され(およびその排他的意味において使用されず)、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの1つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「a」、「an」、および「the」は、別様に規定されない限り、「1つまたはそれを上回る」または「少なくとも1つ」を意味するように解釈されるべきである。
本明細書で使用されるように、項目のリスト「のうちの少なくとも1つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「A、B、またはCのうちの少なくとも1つ」は、A、B、C、AおよびB、AおよびC、BおよびC、およびA、B、およびCを網羅することが意図される。語句「X、Y、およびZのうちの少なくとも1つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がX、Y、またはZのうちの少なくとも1つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Xのうちの少なくとも1つ、Yのうちの少なくとも1つ、およびZのうちの少なくとも1つがそれぞれ存在するように要求することを示唆することを意図するものではない。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で1つまたはそれを上回る例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、1つまたはそれを上回る付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。