JP2022549853A - 共有空間内の個々の視認 - Google Patents

Abstract

複合現実仮想環境は、提示者によって選択可能な多重ビューモードの使用を通して、複数のユーザ間で共有可能である。複数のユーザが、美術館内の美術品、自動車、生物学的試料、化学化合物等の教育目的のために使用されるもの等、共通仮想オブジェクトを視認することを所望し得る。仮想オブジェクトは、仮想部屋において、任意の数のユーザに提示されてもよい。提示は、仮想オブジェクトと関連付けられる情報を通して複数の参加者（例えば、生徒）を導く、提示者（例えば、ある生徒のクラスの教師）によって制御されてもよい。異なる視認モードの使用は、個々のユーザに、共有視認空間内に存在しているにもかかわらず、異なる仮想コンテンツが見える、または代替として、共有空間内の異なる場所において、同一仮想コンテンツが見えることを可能にする。

Description

（著作権表示）
本特許文書の開示の一部は、著作権保護の対象となる資料を含む。著作権者は、特許商標庁の特許ファイルまたは記録に見られるような、特許文書または特許開示の任意の者によるファクシミリ複製に異議を唱えないが、それ以外の場合は全ての著作権を留保する。

本開示は、複合現実、結像、および可視化システムを含む、仮想現実および拡張現実に関し、より具体的には、仮想コンテンツを表示し、それと相互作用するためのシステムおよび方法に関する。

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、および「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実（ＶＲ）シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、コンピュータ生成仮想画像情報の提示を伴う。拡張現実（ＡＲ）シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としての仮想画像情報の提示を伴う。複合現実（ＭＲ）は、その中に物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用し得る、拡張現実のタイプである。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。

本明細書に説明される主題の１つまたはそれを上回る実装の詳細が、付随の図面および下記の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。

図１は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。

図２は、ウェアラブルシステムの実施例を図式的に図示する。

図３は、ウェアラブルシステムの例示的コンポーネントを図式的に図示する。

図４は、画像情報をユーザに出力するためのウェアラブルデバイスの導波管スタックの実施例を図式的に図示する。

図５は、仮想ユーザインターフェースと相互作用する例示的プロセスを図示する、フローチャートである。

図６Ａは、アバタ処理およびレンダリングシステムを備え得る、ウェアラブルシステムの別の実施例のブロック図である。

図６Ｂは、アバタ処理およびレンダリングシステムの例示的コンポーネントを図示する、ブロック図である。

図７は、ウェアラブルシステムの中への種々の入力を含む、ウェアラブルシステムの実施例のブロック図である。

図８は、認識されるオブジェクトに関連して仮想コンテンツをレンダリングする例示的プロセスを図示する、フローチャートである。

図９Ａは、複数のウェアラブルシステム間の相互作用を協調させる、システムのコンポーネントを図式的に図示する。

図９Ｂは、例示的テレプレゼンスセッションを図示する。

図１０は、ウェアラブルシステムのユーザによって知覚されるようなアバタの実施例を図示する。

図１１は、ユーザ入力モードの組み合わせを使用して仮想オブジェクトを選択する、実施例を図示する。

図１２は、複数のユーザが、提示者に利用可能な種々のビューモードに従って、美術館オブジェクトと相互作用することを可能にするように構成される、例示的ウェルカム画面ユーザインターフェースを図示する。

図１３Ａ－１３Ｄは、提示者（および／またはある実装では、参加者）によって実施され得る、例示的操作を図示する。 図１３Ａ－１３Ｄは、提示者（および／またはある実装では、参加者）によって実施され得る、例示的操作を図示する。 図１３Ａ－１３Ｄは、提示者（および／またはある実装では、参加者）によって実施され得る、例示的操作を図示する。 図１３Ａ－１３Ｄは、提示者（および／またはある実装では、参加者）によって実施され得る、例示的操作を図示する。

図１４は、ユーザがビューモードを選択することを可能にする、コントローラおよび関連付けられるビュー選択メニューの実施例を図示する。

図１５Ａは、通常ビューモードにおける、仮想オブジェクト（例えば、像）を図示する。

図１５Ｂは、パネルマーカが、ポインタがパネルマーカ上に設置され、コントローラのトリガが押下されること等によって選択された後の、通常ビューモードを図示する。

図１５Ｃは、パネルが選択されている状態における、像の一部のズームインビューを図示する。

図１５Ｄは、パネルおよび発光マーカが像の回転に関連して回転された状態における、像の一部の略側面ビューのさらなるズームインビューを示す。

図１６は、例えば、グループビューアイコンを使用して選択され得る、グループビューモードが選択された状態における、仮想部屋を図示する。

図１７は、例えば、個人ビューアイコンを使用して選択され得る、個人モードが選択された状態における、仮想部屋を図示する。

図１８Ａは、教室ビューの一実施例である、位置追跡ビューを図示する。

図１８Ｂは、教室ビューモードの別の実施例である、スタジアムビューモードを図示する。

図１９は、共有視認部屋内のビューモード間の変更を図示する、概念的ブロック図である。

図２０Ａおよび２０Ｂは、ビューモードを変更する際に実施され得る、サーバと、提示者（例えば、サーバに対するクライアントデバイス）と、参加者（例えば、サーバに対する別のクライアントデバイス）との間の例示的データ通信フローを図示する。

図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実装を図示するために提供され、本開示の範囲を限定することを意図するものではない。

詳細な説明
概要
仮想アバタは、ＡＲ／ＶＲ／ＭＲ環境内の実際または架空の人物または創造物または擬人化されたオブジェクトの仮想表現であってもよい。例えば、仮想アバタは、実オブジェクト、例えば、美術館内のオブジェクトの仮想表現であってもよい。その中で２人のＡＲ／ＶＲ／ＭＲユーザが相互に相互作用する、テレプレゼンスセッションの間、視認者は、別のユーザのアバタを視認者の環境内で知覚し、それによって、他のユーザの存在の有形感覚を視認者の環境内に作成することができる。アバタはまた、共有仮想環境内において、ユーザが、相互に相互作用し、ともに物事を行うための方法を提供することができる。例えば、オンラインクラスに出席する生徒は、仮想教室内の他の生徒または教師のアバタを知覚し、彼らと相互作用することができる。別の実施例として、ＡＲ／ＶＲ／ＭＲ環境内でゲームをプレーしているユーザは、ゲーム内の他のプレーヤのアバタを視認し、彼らと相互作用してもよい。

いくつかの実装では、複数のユーザが、共通仮想オブジェクトを視認することを所望し得る。例えば、美術館内の美術品、自動車、生物学的試料、化学化合物等の教育目的のために使用される、仮想オブジェクトが、複数の参加者（例えば、生徒）による分析、視認、および／または相互作用のために、提示者（例えば、ある生徒のクラスの教師）によって選択されてもよい。下記にさらに議論されるように、そのようなグループのための異なる視認モードを提供する、実装は、提示者等のユーザが、複数の参加者の視認体験をカスタマイズすることを可能にする。そのような共有コンテンツ体験は、仮想オブジェクトが部屋内に現実的かつ知覚的に存在するように感じられ得るように、シネマ技法を活用することによって、空間コンピューティングを利用してもよい。本提示ツールは、仮想オブジェクトの一部と関連付けられる、場面のアニメーション、視覚的効果、および音効果（例えば、像の身体の中に彫られる、マーキング）を空間コンピューティング内に含んでもよい。有利なこととして、異なる視認モードの使用は、個々のユーザに、共有視認空間内に存在しているにもかかわらず、異なる仮想コンテンツが見える、または代替として、共有空間内の異なる場所において、同一仮想コンテンツが見えることを可能にする。

開示されるシステムおよび方法の実装は、改良されたアバタおよびウェアラブルシステムのユーザとユーザの環境内のアバタとの間のより現実的相互作用を提供し得る。本開示における実施例は、ヒト形状のアバタをアニメーション化することを説明するが、類似技法はまた、動物、架空の生物、オブジェクト等にも適用されることができる。
ウェアラブルシステムの３Ｄディスプレイの実施例

図２を参照して下記に議論される実施例等のウェアラブルシステム（本明細書では、拡張現実（ＡＲ）システムとも称される）は、仮想オブジェクトの２Ｄまたは３Ｄ画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムの少なくとも一部は、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示し得る、ウェアラブルデバイス上に実装されることができる。ウェアラブルデバイスは、ＡＲデバイス（ＡＲＤ）と同義的に使用されることができる。さらに、本開示の目的のために、用語「ＡＲ」は、用語「ＭＲ」と同義的に使用される。

図１は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図１では、ＭＲ環境１００が、描写され、ＭＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＭＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。

ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。

図２は、ウェアラブルシステム２００の実施例を図示し、これは、ＡＲ／ＶＲ／ＭＲ場面を提供するように構成されることができる。ウェアラブルシステム２００はまた、ＡＲシステム２００またはウェアラブルシステム２００と称され得る。ウェアラブルシステム２００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ２２０は、フレーム２３０に結合されてもよく、これは、ユーザ、装着者、または視認者２１０によって装着可能である。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ディスプレイ２２０は、ＡＲ／ＶＲ／ＭＲコンテンツをユーザに提示することができる。ディスプレイ２２０は、ユーザの頭部上に装着される、頭部搭載型ディスプレイ（ＨＭＤ）を備えることができる。

いくつかの実装では、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実装では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）。ディスプレイ２２０は、環境からオーディオストリームを検出し、および／または周囲音を捕捉するために、オーディオセンサ（例えば、マイクロホン）を含むことができる。いくつかの実装では、示されない１つまたはそれを上回る他のオーディオセンサが、ステレオ音受信を提供するために位置付けられる。ステレオ音受信は、音源の場所を決定するために使用されることができる。ウェアラブルシステム２００は、音声または発話認識をオーディオストリームに実施することができる。

ウェアラブルシステム２００は、ユーザの周囲の環境内の世界を観察する、外向きに向いた結像システム４６４（図４に示される）を含むことができる。ウェアラブルシステム２００はまた、ユーザの眼移動を追跡し得る、内向きに向いた結像システム４６２（図４に示される）を含むことができる。内向きに向いた結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡することができる。内向きに向いた結像システム４６２は、フレーム２３０に取り付けられてもよく、内向きに向いた結像システムによって入手された画像情報を処理し、例えば、ユーザ２１０の眼の瞳孔直径または配向、眼の移動、または眼姿勢を決定し得る、処理モジュール２６０および／または２７０と電気通信してもよい。内向きに向いた結像システム４６２は、１つまたはそれを上回るカメラまたは他の結像デバイスを含んでもよい。例えば、少なくとも１つのカメラは、各眼を結像するために使用されてもよい。カメラによって入手された画像は、眼毎に、別個に、瞳孔サイズまたは眼姿勢を決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために使用されてもよい。

実施例として、ウェアラブルシステム２００は、外向きに向いた結像システム４６４または内向きに向いた結像システム４６２を使用して、ユーザの姿勢の画像を入手することができる。画像は、静止画像、ビデオのフレーム、またはビデオであってもよい。

ディスプレイ２２０は、有線導線または無線接続等によって、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載され得る、ローカルデータ処理モジュール２６０に動作可能に結合されることができる（２５０）。

ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、（ａ）画像捕捉デバイス（例えば、内向きに向いた結像システムおよび／または外向きに向いた結像システム内のカメラ）、オーディオセンサ（例えば、マイクロホン）、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、またはジャイロスコープ等の（例えば、フレーム２３０に動作可能に結合される、または別様にユーザ２１０に取り付けられ得る）センサから捕捉されるデータ、または（ｂ）可能性として、処理または読出後にディスプレイ２２０への通過のために、遠隔処理モジュール２７０または遠隔データリポジトリ２８０を使用して入手または処理されるデータを含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク２６２または２６４によって、遠隔処理モジュール２７０または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２７０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。

いくつかの実装では、遠隔処理モジュール２７０は、データまたは画像情報を分析および処理するように構成される、１つまたはそれを上回るプロセッサを備えてもよい。いくつかの実装では、遠隔データリポジトリ２８０は、デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実装では、全てのデータが、記憶され、全ての算出（例えば、本明細書に開示されるＡＲプロセス）が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。他の実装では、本明細書に開示されるあるＡＲプロセスの算出の一部または全部は、ネットワーク接続されたサーバ等において、遠隔で実施される。
ウェアラブルシステムの例示的コンポーネント

図３は、ウェアラブルシステムの例示的コンポーネントを図式的に図示する。図３は、ディスプレイ２２０と、フレーム２３０とを含む、ウェアラブルシステム２００を示す。引き伸ばし図２０２は、ウェアラブルシステム２００の種々のコンポーネントを図式的に図示する。ある実装では、図３に図示されるコンポーネントのうちの１つまたはそれを上回るものは、ディスプレイ２２０の一部であることができる。種々のコンポーネントは、単独で、または組み合わせて、ウェアラブルシステム２００のユーザまたはユーザの環境と関連付けられる種々のデータ（例えば、聴覚的または視覚的データ等）を収集することができる。他の実装では、ウェアラブルシステムは、ウェアラブルシステムが使用される用途に応じて、付加的またはより少ないコンポーネントを含んでもよい。なお、図３は、種々のコンポーネントのうちのいくつかと、ウェアラブルシステムを通して収集、分析、および記憶され得る、データのタイプの基本概念とを提供する。

図３の実施例では、ディスプレイ２２０は、ユーザの頭部または筐体またはフレーム２３０に搭載され得る、ディスプレイレンズ２２６を備えることができる。ディスプレイレンズ２２６は、フレーム２３０によって、ユーザの眼３０２、３０４の正面に位置付けられる、１つまたはそれを上回る透明ミラーを備えてもよく、投影された光３８を眼３０２、３０４の中にバウンスさせ、ビーム成形を促進しながら、また、ローカル環境からの少なくとも一部の光の透過を可能にするように構成されてもよい。投影された光ビーム３８の波面は、投影された光の所望の焦点距離と一致するように屈曲または集束されてもよい。図示されるように、２つの広視野マシンビジョンカメラ１６（世界カメラとも称される）が、フレーム２３０に結合され、ユーザの周囲の環境を結像することができる。これらの世界カメラ１６は、二重捕捉式可視光／非可視（例えば、赤外線）光カメラであることができる。カメラ３１６は、図４に示される外向きに向いた結像システム４６４の一部であってもよい。世界カメラ１６によって入手された画像は、姿勢プロセッサ３６によって処理されることができる。例えば、姿勢プロセッサ３６は、１つまたはそれを上回るオブジェクト認識装置７０８（例えば、図７に示される）を実装し、ユーザまたはユーザの環境内の別の人物の姿勢を識別する、またはユーザの環境内の物理的オブジェクトを識別することができる。

姿勢プロセッサ３６は、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、またはＡＲＭプロセッサ（高度縮小命令セット機械）等の１つまたはそれを上回るプロセッサを含んでもよく、これは、リアルタイムまたは近リアルタイムユーザ頭部姿勢を世界カメラ１６から出力された広視野画像情報から計算するように構成されてもよい。頭部姿勢プロセッサ３６は、ハードウェアプロセッサであることができ、図２に示されるローカル処理およびデータモジュール２６０の一部として実装されることができる。

図３を継続して参照すると、光３８を眼３０２、３０４の中に投影するように構成される、ディスプレイミラーおよび光学系を伴う、一対の走査式レーザ成形波面（例えば、深度のために）光プロジェクタモジュール１８が、示される。描写される図はまた、ユーザの眼３０２、３０４を追跡し、レンダリングおよびユーザ入力をサポート可能であるように構成される、赤外線光（発光ダイオード「ＬＥＤ」等）とペアリングされる、２つの小型赤外線カメラ２４を示す。カメラ２４は、図４に示される、内向きに向いた結像システム４６２の一部であってもよい。

ウェアラブルシステム２００はさらに、センサアセンブリ３９を特徴とすることができ、これは、Ｘ、Ｙ、およびＺ軸加速度計能力および／または磁気コンパスおよびＸ、Ｙ、およびＺ軸ジャイロスコープ能力を備え、好ましくは、２００Ｈｚまたはそれを上回るもの等の比較的に高周波数でデータを提供し得る。センサアセンブリ３９は、図２Ａを参照して説明される、ＩＭＵの一部であってもよい。

ウェアラブルシステムはまた、１つまたはそれを上回る深度センサ２３４を含むことができる。深度センサ２３４は、環境内のオブジェクトとウェアラブルデバイスとの間の距離を測定するように構成されることができる。深度センサ２３４は、レーザスキャナ（例えば、ライダ）、超音波深度センサ、および／または深度感知カメラを含んでもよい。カメラ３１６が深度感知能力を有する、ある実装では、カメラ１６はまた、深度センサ２３４と見なされ得る。

図３の実施例では、センサ姿勢プロセッサ３２が、デジタルおよび／またはアナログ処理を実行し、姿勢をセンサアセンブリ３９からのジャイロスコープ、コンパス、または加速度計データから導出するように構成される。センサ姿勢プロセッサ３２は、図２に示される、ローカル処理およびデータモジュール２６０の一部であってもよい。

ウェアラブルシステム２００はまた、図３に示されるように、例えば、ＧＰＳ３７（全地球測位システム）等の測位システムを含み、姿勢および測位分析を補助することができる。加えて、ＧＰＳはさらに、ユーザの環境についての遠隔ベース（例えば、クラウドベース）の情報を提供してもよい。本情報は、ユーザの環境内のオブジェクトまたは情報を認識するために使用されてもよい。

ウェアラブルシステムは、ＧＰＳ３７および遠隔コンピューティングシステム（例えば、遠隔処理モジュール２７０、別のユーザのＡＲＤ等）によって入手されたデータを組み合わせてもよく、これは、ユーザの環境についてのより多くの情報を提供することができる。一実施例として、ウェアラブルシステムは、ＧＰＳデータに基づいて、ユーザの場所を決定し、ユーザの場所と関連付けられる仮想オブジェクトを含む、世界マップを読み出すことができる（例えば、遠隔処理モジュール２７０と通信することによって）。別の実施例として、ウェアラブルシステム２００は、世界カメラ１６（図４に示される外向きに向いた結像システム４６４の一部であってもよい）を使用して、環境を監視することができる。世界カメラ１６によって入手された画像に基づいて、ウェアラブルシステム２００は、環境内のオブジェクトを検出することができる（例えば、図７に示される１つまたはそれを上回るオブジェクト認識装置７０８を使用することによって）。ウェアラブルシステムはさらに、ＧＰＳ３７によって入手されたデータを使用して、検出されたオブジェクトを解釈する、例えば、オブジェクトがキャラクタと関連付けられることを決定すること等ができる。

ウェアラブルシステム２００はまた、レンダリングエンジン３４を備えてもよく、これは、世界のユーザのビューのために、ユーザにローカルなレンダリング情報を提供し、スキャナの動作およびユーザの眼の中への結像を促進するように構成されることができる。レンダリングエンジン３３４は、ハードウェアプロセッサ（例えば、中央処理ユニットまたはグラフィック処理ユニット等）によって実装されてもよい。いくつかの実装では、レンダリングエンジンは、ローカル処理およびデータモジュール２６０の一部である。レンダリングエンジン３４は、ウェアラブルシステム２００の他のコンポーネントに通信可能に結合されることができる（例えば、有線または無線リンクを介して）。例えば、レンダリングエンジン３４は、通信リンク２７４を介して、眼カメラ２４に結合され、および／または通信リンク２７２を介して、投影サブシステム１８（網膜走査ディスプレイに類似する様式において、走査レーザ配列を介して、光をユーザの眼３０２、３０４の中に投影することができる）に結合されることができる。レンダリングエンジン３４はまた、それぞれ、リンク１０５および９４を介して、例えば、センサ姿勢プロセッサ３２および画像姿勢プロセッサ３６等の他の処理ユニットと通信することができる。

カメラ２４（例えば、小型赤外線カメラ）は、眼姿勢を追跡し、レンダリングおよびユーザ入力をサポートするために利用されてもよい。いくつかの例示的眼姿勢は、ユーザが見ている場所または合焦させている深度（例えば、眼の輻輳・開散運動を用いて推定されてもよい）を含んでもよい。ＧＰＳ３７、ジャイロスコープ、コンパス、および／または加速度計は、大まかなまたは高速姿勢推定を提供するために利用されてもよい。カメラ３１６のうちの１つまたはそれを上回るものは、画像および姿勢を入手することができ、これは、関連付けられるクラウドコンピューティングリソースからのデータと併せて、ローカル環境をマッピングし、ユーザビューを他者と共有するために利用されてもよい。

図３に描写される例示的コンポーネントは、例証目的のためだけのものである。複数のセンサおよび他の機能モジュールが、例証および説明の容易性のために、ともに示される。いくつかの実装は、これらのセンサまたはモジュールの１つのみまたはサブセットを含んでもよい。さらに、これらのコンポーネントの場所は、図３に描写される位置に限定されない。いくつかのコンポーネントは、ベルト搭載型コンポーネント、ハンドヘルドコンポーネント、またはヘルメットコンポーネント等、他のコンポーネントに搭載される、またはその中に格納されてもよい。一実施例として、画像姿勢プロセッサ３６、センサ姿勢プロセッサ３２、およびレンダリングエンジン３４は、ベルトパック内に位置付けられ、超広帯域、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信を介して、または有線通信を介して、ウェアラブルシステムの他のコンポーネントと通信するように構成されてもよい。描写されるフレーム２３０は、好ましくは、ユーザによって頭部搭載可能かつ装着可能である。しかしながら、ウェアラブルシステム２００のいくつかのコンポーネントは、ユーザの身体の他の部分上に装着されてもよい。例えば、スピーカ２４０が、ユーザの耳の中に挿入され、および／またはその近傍に位置付けられ、音をユーザに提供してもよい。

ユーザの眼３０２、３０４の中への光３８の投影に関して、いくつかの実装では、カメラ２４は、一般に、眼の焦点の位置または「焦点深度」と一致する、ユーザの眼の中心が幾何学的に輻輳される場所を測定するために利用されてもよい。眼が輻輳する全ての点の３次元表面は、「単視軌跡」と称され得る。焦点距離は、有限数の深度をとり得る、または無限に変動し得る。輻輳・開散運動距離から投影された光は、対象の眼３０２、３０４に集束されるように現れる一方、輻輳・開散運動距離の正面または背後の光は、ぼかされる。本開示のウェアラブルシステムおよび他のディスプレイシステムの実施例はまた、米国特許公開第２０１６／０２７０６５６号（参照することによってその全体として本明細書に組み込まれる）に説明される。

ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。オブジェクトの視認者は、輻輳・開散運動と遠近調節の組み合わせに起因して、オブジェクトを３次元として知覚し得る。相互に対する２つの眼の輻輳・開散運動移動（例えば、眼の視線を収束させ、オブジェクトを固視するための相互に向かった、またはそこから離れる瞳孔の回転移動）は、眼の水晶体の合焦（または「遠近調節」）と緊密に関連付けられる。通常条件下、焦点を１つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼の水晶体の焦点の変化または眼の遠近調節は、「遠近調節－輻輳・開散運動反射」として知られる関係下、同一距離への輻輳・開散運動の合致する変化を自動的に生じさせるであろう。同様に、輻輳・開散運動の変化は、通常条件下、遠近調節の合致する変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な合致を提供するディスプレイシステムが、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。

３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。

約０．７ミリメートル未満のビーム直径を伴う、空間的にコヒーレントな光は、典型的には、眼が合焦している場所にかかわらず、ヒトの眼によって正しく解決されることができる。したがって、適切な焦点深度の錯覚を作成するために、眼の輻輳・開散運動が、カメラ２４を用いて追跡されてもよく、レンダリングエンジン３４および投影サブシステム１８は、単視軌跡上またはそれに近接する全てのオブジェクトを合焦させてレンダリングし、全ての他のオブジェクトを可変程度に焦点をずらしてレンダリングするために利用されてもよい（例えば、意図的に作成されたぼけを使用して）。１つの実装では、ディスプレイ２２０は、ユーザに、約６０フレーム／秒またはそれを上回るフレームレートでレンダリングする。上記に説明されるように、カメラ２４は、眼追跡のために利用されてもよく、ソフトウェアは、輻輳・開散運動幾何学形状だけではなく、また、ユーザ入力としての役割を果たすための焦点場所キューも取り上げるように構成されてもよい。そのようなディスプレイシステムは、昼間または夜間の使用のために好適な明度およびコントラストを用いて構成されてもよい。

いくつかの実装では、ディスプレイシステムは、視覚的オブジェクト整合のために約２０ミリ秒未満の待ち時間、約０．１度未満の角度整合、および約１弧分の分解能を有し、これは、理論によって限定されるわけではないが、ヒトの眼のほぼ限界であると考えられる。ディスプレイシステム２２０は、位置特定システムと統合されてもよく、これは、ＧＰＳ要素、光学追跡、コンパス、加速度計、または他のデータソースを伴い、位置および姿勢決定を補助し得る。位置特定情報は、関連世界のユーザのビュー内における正確なレンダリングを促進するために利用されてもよい（例えば、そのような情報は、ウェアラブルシステムが実世界に対してそれがある場所を把握することを促進するであろう）。

いくつかの実装では、ウェアラブルシステム２００は、ユーザの眼の遠近調節に基づいて、仮想オブジェクトの１つまたはそれを上回る画像（また、本明細書では、「仮想画像」とも称される）を表示するように構成される。ユーザに画像が投影されている場所に合焦させるように強制する、従来の３Ｄディスプレイアプローチと異なり、いくつかの実装では、ウェアラブルシステムは、投影された仮想コンテンツの焦点を自動的に変動させ、ユーザに提示される１つまたはそれを上回る画像のより快適な視認を可能にするように構成される。例えば、ユーザの眼が、１メートルの現在の焦点を有する場合、画像は、ユーザの焦点と一致するように投影されてもよい。ユーザが、焦点を３メートルに偏移させる場合、画像は、新しい焦点と一致するように投影される。したがって、ユーザに所定の焦点を強制するのではなく、いくつかの実装のウェアラブルシステム２００は、ユーザの眼がより自然な様式において機能することを可能にする。

そのようなウェアラブルシステム２００は、仮想現実デバイスに対して典型的に観察される、眼精疲労、頭痛、および／または他の生理学的症状の発生率を排除または低減させ得る。これを達成するために、ウェアラブルシステム２００の種々の実装は、１つまたはそれを上回る可変焦点要素（ＶＦＥ）を通して、仮想画像を可変焦点距離に投影するように構成される。１つまたはそれを上回る実装では、３Ｄ知覚は、画像をユーザから固定された焦点面に投影する、多面焦点システムを通して達成されてもよい。他の実装は、可変平面焦点を採用し、焦点面は、ユーザの焦点の現在の状態と一致するように、ｚ－方向に往復して移動される。

多面焦点システムおよび可変平面焦点システムの両方において、ウェアラブルシステム２００は、眼追跡を採用し、ユーザの眼の輻輳・開散運動を決定し、ユーザの現在の焦点を決定し、仮想画像を決定された焦点に投影してもよい。いくつかの実装では、ウェアラブルシステム２００は、ファイバスキャナまたは他の光生成源を通して、網膜を横断して、可変焦点の光ビームをラスタパターンで可変に投影する、光変調器を備える。したがって、画像を可変焦点距離に投影するウェアラブルシステム２００のディスプレイの能力は、ユーザがオブジェクトを３Ｄにおいて視認するための遠近調節を容易にするだけではなく、また、米国特許公開第２０１６／０２７０６５６号（参照することによってその全体として本明細書に組み込まれる）にさらに説明されるように、ユーザの眼球異常を補償するために使用されてもよい。いくつかの実装では、空間光変調器は、種々の光学コンポーネントを通して、画像をユーザに投影してもよい。例えば、以下にさらに説明されるように、空間光変調器は、画像を１つまたはそれを上回る導波管上に投影してもよく、これは、次いで、画像をユーザに伝送する。
例示的導波管スタックアセンブリ

図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含む。いくつかの実装では、ウェアラブルシステム４００は、図２のウェアラブルシステム２００に対応し得、図４は、ウェアラブルシステム２００のいくつかの部分をより詳細に図式的に示し、ある他のコンポーネントを示さない。例えば、いくつかの実装では、導波管アセンブリ４８０は、図２のディスプレイ２２０の中に統合されてもよい。

図４を継続して参照すると、導波管アセンブリ４８０はまた、複数の特徴４５８、４５６、４５４、４５２を導波管の間に含んでもよい。いくつかの実装では、特徴４５８、４５６、４５４、４５２は、レンズであってもよい。他の実装では、特徴４５８、４５６、４５４、４５２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、空気間隙を形成するためのクラッディング層または構造）。

導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂ、および／または複数のレンズ４５８、４５６、４５４、４５２は、種々のレベルの波面曲率または光線発散を用いて、画像情報を眼に送信するように構成されてもよい。（例えば、眼４１０からの）導波管の位置は、異なる深度面と関連付けられてもよく、その深度面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、眼４１０に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に画像情報を投入するために利用されてもよい。本実施例では、光は、画像投入デバイス４２０、４２２、４２４、４２６、４２８の出力表面から出射し、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの対応する入力縁の中に投入される。いくつかの実装では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられる深度面に対応する特定の角度（および発散量）において眼４１０に向かって指向される、クローン化されるコリメートされたビームの場全体を出力してもよい。

いくつかの実装では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、対応する導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中への投入のための画像情報をそれぞれ生成する、離散ディスプレイである。いくつかの実装では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、例えば、１つまたはそれを上回る光学導管（光ファイバケーブル等）を介して、画像情報を画像投入デバイス４２０、４２２、４２４、４２６、４２８のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。

コントローラ４６０が、スタックされた導波管アセンブリ４８０および画像投入デバイス４２０、４２２、４２４、４２６、４２８の動作を制御する。コントローラ４６０は、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂへの画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実装では、コントローラ４６０は、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ４６０は、いくつかの実装では、処理モジュール２６０または２７０（図２に図示される）の一部であってもよい。

導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、主要上部表面および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、各個別の導波管内で伝搬する光を導波管から外に再指向し、画像情報を眼４１０に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光抽出光学要素（４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａ）は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確性にするために、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの底部主要表面に配置されて図示されるが、いくつかの実装では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、上部または底部主要表面に配置されてもよい、または導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの容積内に直接配置されてもよい。いくつかの実装では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、透明基板に取り付けられ、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂを形成する、材料の層内に形成されてもよい。いくつかの実装では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、材料のモノリシック片であってもよく、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、その材料片の表面上および／または内部に形成されてもよい。

図４の実施例を継続して参照すると、本明細書に議論されるように、各導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、光を出力し、特定の深度面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管４３２ｂは、そのような導波管４３２ｂの中に投入されるにつれて、コリメートされた光を眼４１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の導波管４３４ｂは、眼４１０に到達し得る前に、第１のレンズ４５２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ４５２は、眼／脳が、その次の導波管４３４ｂから生じる光を光学無限遠から眼４１０に向かって内向きにより近い第１の焦点面から生じるものとして解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管４３６ｂは、眼４１０に到達する前に、その出力光を第１のレンズ４５２および第２のレンズ４５４の両方を通して通過させる。第１および第２のレンズ４５２および４５４の組み合わせられた屈折力は、眼／脳が、第３の導波管４３６ｂから生じる光が次の上方の導波管４３４ｂからの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるものとして解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。

他の導波管層（例えば、導波管４３８ｂ、４４０ｂ）およびレンズ（例えば、レンズ４５６、４５８）も同様に構成され、スタック内の最高導波管４４０ｂを用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ４８０の他側の世界４７０から生じる光を視認／解釈するとき、レンズ４５８、４５６、４５４、４５２のスタックを補償するために、補償レンズ層４３０が、スタックの上部に配置され、下方のレンズスタック４５８、４５６、４５４、４５２の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的または電気活性ではない）。いくつかの代替実装では、一方または両方とも、電気活性特徴を使用して動的であってもよい。

図４を継続して参照すると、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、導波管と関連付けられる特定の深度面のために、光をそれらの個別の導波管から外に再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。結果として、異なる関連付けられる深度面を有する導波管が、関連付けられる深度面に応じて、異なる量の発散を伴って光を出力する、光抽出光学要素の異なる構成を有してもよい。いくつかの実装では、本明細書に議論されるように、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、立体ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明される。

いくつかの実装では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、回折パターンを形成する回折特徴または「回折光学要素」（本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみがＤＯＥの各交差部で眼４１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼３０４に向かって非常に均一なパターンの出射放出となることができる。

いくつかの実装では、１つまたはそれを上回るＤＯＥは、それらが能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であり得る。例えば、切替可能なＤＯＥは、微小液滴がホスト媒体内に回折パターンを備える、ポリマー分散液晶の層を備えてもよく、微小液滴の屈折率は、ホスト材料の屈折率に実質的に合致するように切り替えられることができる（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折させる）。

いくつかの実装では、深度面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間された深度面の数は、減少された瞳孔サイズに伴って減少され得る。例えば、視認者は、一方の深度面から他方の深度面への眼の遠近調節を調節することなく、第１の深度面および第２の深度面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度面は、同時に、遠近調節を変化させることなく、別の瞳孔サイズにおいてユーザにとって十分に合焦し得る。

いくつかの実装では、ディスプレイシステムは、瞳孔サイズまたは配向の決定に基づいて、または特定の瞳孔サイズまたは配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられる２つの深度面間を区別不能である場合、コントローラ４６０（ローカル処理およびデータモジュール２６０の実装であり得る）は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされることができる。有利なこととして、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンおよびオフ状態間で切替可能である実装では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。

いくつかの実装では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実装では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実装では、出射ビームサイズは、可変開口を使用して変動されてもよい。

ウェアラブルシステム４００は、世界４７０の一部を結像する、外向きに向いた結像システム４６４（例えば、デジタルカメラ）を含むことができる。世界４７０の本部分は、世界カメラの視野（ＦＯＶ）と称され得、結像システム４６４は、時として、ＦＯＶカメラとも称される。世界カメラのＦＯＶは、視認者２１０のＦＯＶと同一である場合とそうではない場合があり、これは、視認者２１０が所与の時間に知覚する、世界４７０の一部を包含する。例えば、いくつかの状況では、世界カメラのＦＯＶは、ウェアラブルシステム４００の視認者２１０のＦＯＶより大きくあり得る。視認者による視認または結像のために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚することができるため、ウェアラブルシステム４００を囲繞する４πステラジアンの立体角を含んでもよい。他のコンテキストでは、装着者の移動は、より抑制されてもよく、それに応じて、装着者のＦＯＲは、より小さい立体角に接し得る。外向きに向いた結像システム４６４から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、ユーザの正面における世界４７０内のオブジェクトを検出する等のために、使用されることができる。

ウェアラブルシステム４００は、オーディオセンサ、例えば、マイクロホンを含み、周囲音を捕捉することができる。上記に説明されるように、いくつかの実装では、１つまたはそれを上回る他のオーディオセンサが、発話源の場所の決定に有用なステレオ音受信を提供するために位置付けられることができる。オーディオセンサは、別の実施例として、指向性マイクロホンを備えることができ、これはまた、オーディオ源が位置する場所に関するそのような有用な指向性情報を提供することができる。ウェアラブルシステム４００は、発話源を位置特定する際、または特定の瞬間におけるアクティブ話者を決定するために等、外向きに向いた結像システム４６４およびオーディオセンサの両方からの情報を使用することができる。例えば、ウェアラブルシステム４００は、単独で、または話者の反射された画像（例えば、鏡に見られるように）と組み合わせて、音声認識を使用して、話者の識別を決定することができる。別の実施例として、ウェアラブルシステム４００は、指向性マイクロホンから入手された音に基づいて、環境内の話者の位置を決定することができる。ウェアラブルシステム４００は、発話認識アルゴリズムを用いて、話者の位置から生じる音を解析し、発話のコンテンツを決定し、音声認識技法を使用して、話者の識別（例えば、名前または他の人口統計情報）を決定することができる。

ウェアラブルシステム４００はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに向いた結像システム４６２（例えば、デジタルカメラ）を含むことができる。内向きに向いた結像システム４６２は、眼４１０の画像を捕捉し、眼３０４の瞳孔のサイズおよび／または配向を決定するために使用されてもよい。内向きに向いた結像システム４６２は、ユーザが見ている方向（例えば、眼姿勢）を決定する際に使用するため、またはユーザのバイオメトリック識別のため（例えば、虹彩識別を介して）、画像を得るために使用されることができる。いくつかの実装では、少なくとも１つのカメラが、眼毎に、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実装では、単一眼４１０のみの瞳孔直径または配向（例えば、対の眼あたり単一カメラのみを使用して）が、決定され、ユーザの両眼に関して類似すると仮定される。内向きに向いた結像システム４６２によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム４００によって使用され得る、ユーザの眼姿勢または気分を決定するために分析されてもよい。ウェアラブルシステム４００はまた、ＩＭＵ、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を決定してもよい。

ウェアラブルシステム４００は、ユーザが、コマンドをコントローラ４６０に入力し、ウェアラブルシステム４００と相互作用し得る、ユーザ入力デバイス４６６を含むことができる。例えば、ユーザ入力デバイス４６６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。マルチＤＯＦコントローラは、コントローラの一部または全部の可能性として考えられる平行移動（例えば、左／右、前方／後方、または上／下）または回転（例えば、ヨー、ピッチ、またはロール）におけるユーザ入力を感知することができる。平行移動をサポートする、マルチＤＯＦコントローラは、３ＤＯＦと称され得る一方、平行移動および回転をサポートする、マルチＤＯＦコントローラは、６ＤＯＦと称され得る。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム４００に提供してもよい（例えば、ユーザ入力をウェアラブルシステム４００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス４６６は、ウェアラブルシステム４００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス４６６は、ウェアラブルシステム４００と有線または無線通信することができる。
ウェアラブルシステムの他のコンポーネント

多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、１つまたはそれを上回る触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。

ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、１つまたはそれを上回る物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、無有生オブジェクト、例えば、金属またはプラスチック片、壁、テーブルの表面の形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの１つまたはそれを上回る表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの１つまたはそれを上回る表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、いずれの物理的キーまたはトラックパッドまたはセンサも有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス４６６（図４に示される）は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカまたは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実装であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムまたは他のユーザと相互作用してもよい。

本開示のウェアラブルデバイス、ＨＭＤ、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明される。
ウェアラブルシステムとのユーザ相互作用の例示的プロセス

図５は、仮想ユーザインターフェースと相互作用するための方法５００の実施例のプロセスフロー図である。方法５００は、本明細書に説明されるウェアラブルシステムによって実施されてもよい。方法５００の実装は、ウェアラブルシステムによって使用され、ウェアラブルシステムのＦＯＶ内の人物またはドキュメントを検出することができる。

ブロック５１０では、ウェアラブルシステムは、特定のＵＩを識別してもよい。ＵＩのタイプは、ユーザによって事前決定されてもよい。ウェアラブルシステムは、ユーザ入力（例えば、ジェスチャ、視覚的データ、オーディオデータ、感覚データ、直接コマンド等）に基づいて、特定のＵＩが取り込まれる必要があることを識別してもよい。ＵＩは、システムの装着者がドキュメントを装着者に提示するユーザを観察している（例えば、旅行者検問所において）、セキュリティシナリオに特有であることができる。ブロック５２０では、ウェアラブルシステムは、仮想ＵＩのためのデータを生成してもよい。例えば、範囲、一般的構造、ＵＩの形状等と関連付けられるデータが、生成されてもよい。加えて、ウェアラブルシステムは、ウェアラブルシステムがＵＩをユーザの物理的場所に関連して表示し得るように、ユーザの物理的場所のマップ座標を決定してもよい。例えば、ＵＩが、身体中心である場合、ウェアラブルシステムは、リングＵＩがユーザの周囲に表示され得る、または平面ＵＩが壁上またはユーザの正面に表示され得るように、ユーザの物理的立ち位置の座標、頭部姿勢、または眼姿勢を決定してもよい。本明細書に説明されるセキュリティコンテキストでは、ＵＩは、装着者が、旅行者および旅行者のドキュメントを見ながら、ＵＩを容易に視認し得るように、ＵＩがドキュメントをシステムの装着者に提示している旅行者を囲繞しているかのように表示されてもよい。ＵＩが、手中心である場合、ユーザの手のマップ座標が、決定されてもよい。これらのマップ点は、ＦＯＶカメラ、感覚入力を通して受信されたデータ、または任意の他のタイプの収集されたデータを通して、導出されてもよい。

ブロック５３０では、ウェアラブルシステムは、データをクラウドからディスプレイに送信してもよい、またはデータは、ローカルデータベースからディスプレイコンポーネントに送信されてもよい。ブロック５４０では、ＵＩは、送信されたデータに基づいて、ユーザに表示される。例えば、ライトフィールドディスプレイは、仮想ＵＩをユーザの眼の一方または両方の中に投影することができる。いったん仮想ＵＩが作成されると、ウェアラブルシステムは、単に、ブロック５５０において、より多くの仮想コンテンツを仮想ＵＩ上に生成するためのユーザからのコマンドを待機してもよい。例えば、ＵＩは、ユーザの身体またはユーザの環境内の人物（例えば、旅行者）の身体の周囲の身体中心リングであってもよい。ウェアラブルシステムは、次いで、コマンド（ジェスチャ、頭部または眼移動、音声コマンド、ユーザ入力デバイスからの入力等）を待機してもよく、それが認識される場合（ブロック５６０）、コマンドと関連付けられる仮想コンテンツは、ユーザに表示されてもよい（ブロック５７０）。
複合現実におけるアバタレンダリングの実施例

ウェアラブルシステムは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されたＦＯＶ画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点（２Ｄ点または３Ｄ点等）のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第１のユーザの世界モデルは、第２のユーザが第１のユーザを囲繞する世界を体験し得るように、（例えば、クラウドネットワーク等のネットワークを経由して）第２のユーザに通信されることができる。

図６Ａは、ウェアラブルシステムの別の実施例のブロック図であって、これは、複合現実環境内へのアバタ処理およびレンダリングシステム６９０を備えることができる。ウェアラブルシステム６００は、図２に示されるウェアラブルシステム２００の一部であってもよい。本実施例では、ウェアラブルシステム６００は、マップ６２０を備えることができ、これは、マップデータベース７１０（図７に示される）内のデータの少なくとも一部を含んでもよい。マップは、部分的に、ウェアラブルシステム上にローカルで常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所（例えば、クラウドシステム内）に常駐してもよい。姿勢プロセス６１０は、ウェアラブルコンピューティングアーキテクチャ（例えば、処理モジュール２６０またはコントローラ４６０）上で実行され、マップ６２０からのデータを利用して、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を決定してもよい。姿勢データは、ユーザが、システムを体験し、世界内で動作するにつれてオンザフライで収集されたデータから、算出されてもよい。データは、画像、センサ（慣性測定ユニット等、これは、概して、加速度計と、ジャイロスコープコンポーネントとを備える）からのデータ、および実または仮想環境内のオブジェクトと関連する表面情報を含んでもよい。

疎点表現は、同時位置特定およびマッピング（例えば、入力が画像／視覚専用である構成を指す、ＳＬＡＭまたはｖＳＬＡＭ）プロセスの出力であってもよい。本システムは、種々のコンポーネントが存在する世界内の場所だけではなく、世界が成る内容も見出すように構成されることができる。姿勢は、マップの取込およびマップからのデータの使用を含む、多くの目標を達成する、構築ブロックであり得る。

一実装では、疎点位置は、それだけでは完全に適正ではあり得ず、さらなる情報が、多焦点ＡＲ、ＶＲ、またはＭＲ体験を生産するために必要とされ得る。概して、深度マップ情報を指す、稠密表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、ステレオ６４０と称される、プロセスから算出されてもよく、深度情報は、三角測量または飛行時間感知等の技法を使用して決定される。画像情報およびアクティブパターン（アクティブプロジェクタを使用して作成された赤外線パターン等）、画像カメラから入手された画像、または手のジェスチャ／トーテム６５０が、ステレオプロセス６４０への入力としての役割を果たし得る。有意な量の深度マップ情報が、ともに融合され得、そのうちの一部は、表面表現とともに要約され得る。例えば、数学的に定義可能な表面は、効率的（例えば、大点群と比較して）であって、ゲームエンジンのような他の処理デバイスへの理解しやすい入力であり得る。したがって、ステレオプロセス（例えば、深度マップ）６４０の出力は、融合プロセス６３０において組み合わせられてもよい。姿勢６１０も同様に、本融合プロセス６３０への入力であってもよく、融合６３０の出力は、マップ取込プロセス６２０への入力となる。サブ表面は、トポグラフィマッピングにおけるように、相互に接続し、より大きい表面を形成し得、マップは、点および表面の大規模ハイブリッドとなる。

複合現実プロセス６６０における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図６Ａに描写される実装では、ゲームパラメータが、入力され、システムのユーザが、種々の場所における１匹またはそれを上回るモンスタ、種々の条件下で死にかけている、または逃げているモンスタ（ユーザがモンスタを射撃する場合等）、種々の場所における壁または他のオブジェクト、および同等物を伴った状態で、モンスタバトルゲームをプレーしていることを決定し得る。世界マップは、オブジェクトの場所に関する情報またはオブジェクトの意味論情報（例えば、オブジェクトが、平坦または丸いかどうか、水平または垂直であるか、テーブルまたはランプであるかどうか等の分類）を含んでもよく、世界マップは、複合現実への別の有益な入力であり得る。世界に対する姿勢も同様に、入力となり、ほぼあらゆる双方向システムに対して重要な役割を担う。

ユーザからの制御または入力は、ウェアラブルシステム６００への別の入力である。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、感覚入力等を含むことができる。動き回る、またはゲームをプレーするために、例えば、ユーザは、自らが所望する内容に関して、ウェアラブルシステム６００に命令する必要があり得る。単に、自らを空間内で移動させる以外にも利用され得る、種々の形態のユーザ制御が存在する。一実装では、トーテム（例えば、ユーザ入力デバイス）または玩具銃等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。本システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行っている相互作用の種類を理解するように構成されるであろう（例えば、トーテムまたはオブジェクトが、銃である場合、本システムは、場所および配向と、ユーザが、トリガまたは他の感知されるボタンまたは要素（アクティビティがカメラのいずれかの視野内にないときでも、生じている内容を決定することを補助し得る、ＩＭＵ等のセンサを装備し得る）をクリックしているかどうかとを理解するように構成されてもよい）。

手のジェスチャの追跡または認識もまた、入力情報を提供し得る。ウェアラブルシステム６００は、ボタン押下、左または右、停止、握持、保持のジェスチャ等に関して、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、１つの構成では、ユーザは、非ゲーム用環境において電子メールまたはカレンダをフリップする、または「フィストバンプ」を別の人物またはプレーヤと行うことを所望し得る。ウェアラブルシステム６００は、動的である場合とそうではない場合がある、最小量の手のジェスチャを活用するように構成されてもよい。例えば、ジェスチャは、停止のために手を開く、ＯＫのためのサムズアップ、非ＯＫのためのサムズダウン、または指向性コマンドのための右または左または上／下への手のフリップのような単純静的ジェスチャであってもよい。

眼追跡は、別の入力である（例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲にレンダリングする）。一実装では、眼の輻輳・開散運動が、三角測量を使用して、決定されてもよく、次いで、その特定の人物に関して開発された輻輳・開散運動／遠近調節モデルを使用して、遠近調節が、決定されてもよい。眼追跡は、眼カメラによって実施され、眼視線（例えば、片眼または両眼の方向または配向）を決定することができる。他の技法は、例えば、眼の近傍に設置された電極による電位の測定（例えば、電気眼球図記録）等の眼追跡のために使用されることができる。

発話追跡は、単独で、または他の入力（例えば、トーテム追跡、眼追跡、ジェスチャ追跡等）と組み合わせて使用され得る、別の入力であり得る。発話追跡は、単独で、または組み合わせて、発話認識、音声認識を含んでもよい。システム６００は、オーディオストリームを環境から受信する、オーディオセンサ（例えば、マイクロホン）を含むことができる。システム６００は、発話している人物（例えば、発話が、ＡＲＤの装着者または別の人物または音声（例えば、環境内のラウドスピーカによって伝送される記録された音声）からのものであるかどうか）を決定するための音声認識技術と、話されている内容を決定するための発話認識技術とを組み込むことができる。ローカルデータおよび処理モジュール２６０または遠隔処理モジュール２７０は、例えば、隠れマルコフモデル、動的時間伸縮法（ＤＴＷ）ベースの発話認識、ニューラルネットワーク、ディープフィードフォワードおよび再帰ニューラルネットワーク等の深層学習アルゴリズム、エンドツーエンド自動発話認識、機械学習アルゴリズム（図７を参照して説明される）、または音響モデル化または言語モデル化を使用する、他のアルゴリズム等の種々の発話認識アルゴリズムを適用することによって、マイクロホンからのオーディオデータ（または、例えば、ユーザによって鑑賞されているビデオストリーム等の別のストリーム内のオーディオデータ）を処理し、発話のコンテンツを識別することができる。

ローカルデータおよび処理モジュール２６０または遠隔処理モジュール２７０はまた、音声認識アルゴリズムを適用することができ、これは、話者が、ウェアラブルシステム６００のユーザ２１０またはユーザが会話している別の人物であるかどうか等、話者の識別を識別することができる。いくつかの例示的音声認識アルゴリズムは、周波数推定、隠れマルコフモデル、ガウス混合物モデル、パターンマッチングアルゴリズム、ニューラルネットワーク、行列表現、ベクトル量子化、話者ダイアライゼーション、決定ツリー、および動的時間伸縮法（ＤＴＷ）技法を含むことができる。音声認識技法はまた、コホートモデルおよび世界モデル等のアンチ話者技法を含むことができる。スペクトル特徴が、話者特性を表す際に使用されてもよい。ローカルデータおよび処理モジュールまたは遠隔データ処理モジュール２７０は、図７を参照して説明される、種々の機械学習アルゴリズムを使用して、音声認識を実施することができる。

ウェアラブルシステムの実装は、ＵＩを介したこれらのユーザ制御または入力を使用することができる。ＵＩ要素（例えば、制御、ポップアップウィンドウ、吹き出し、データエントリフィールド等）は、例えば、情報、例えば、オブジェクトのグラフィックまたは意味論情報のディスプレイを閉じるために使用されることができる。

カメラシステムに関して、図６Ａに示される例示的ウェアラブルシステム６００は、３つの対のカメラ、すなわち、ユーザの顔の側面に配列される、一対の相対的広ＦＯＶまたは受動ＳＬＡＭカメラと、ステレオ結像プロセス６４０をハンドリングし、また、ユーザの顔の正面における手のジェスチャおよびトーテム／オブジェクト追跡を捕捉するために、ユーザの顔の正面に配向される、異なる対のカメラとを含むことができる。ＦＯＶカメラおよびステレオプロセス６４０のための対のカメラは、外向きに向いた結像システム４６４（図４に示される）の一部であってもよい。ウェアラブルシステム６００は、眼ベクトルおよび他の情報を三角測量するために、ユーザの眼に向かって配向される、眼追跡カメラ（図４に示される内向きに向いた結像システム４６２の一部であってもよい）を含むことができる。ウェアラブルシステム６００はまた、１つまたはそれを上回るテクスチャ加工された光プロジェクタ（赤外線（ＩＲ）プロジェクタ等）を備え、テクスチャを場面の中に投入してもよい。

ウェアラブルシステム６００は、アバタ処理およびレンダリングシステム６９０を備えることができる。アバタ処理およびレンダリングシステム６９０は、コンテキスト情報に基づいて、アバタを生成、更新、アニメーション化、およびレンダリングするように構成されることができる。アバタ処理およびレンダリングシステム６９０の一部または全部は、単独で、または組み合わせて、ローカル処理およびデータモジュール２６０または遠隔処理モジュール２７０の一部として実装されることができる。種々の実装では、複数のアバタ処理およびレンダリングシステム６９０（例えば、異なるウェアラブルデバイス上に実装されるように）が、仮想アバタ６７０をレンダリングするために使用されることができる。例えば、第１のユーザのウェアラブルデバイスは、第１のユーザの意図を決定するために使用されてもよい一方、第２のユーザのウェアラブルデバイスは、アバタの特性を決定し、第１のユーザのウェアラブルデバイスから受信された意図に基づいて、第１のユーザのアバタをレンダリングすることができる。第１のユーザのウェアラブルデバイスおよび第２のユーザのウェアラブルデバイス（または他のそのようなウェアラブルデバイス）は、例えば、図９Ａおよび９Ｂを参照して説明されるであろうように、ネットワークを介して、通信することができる。

図６Ｂは、例示的アバタ処理およびレンダリングシステム６９０を図示する。例示的アバタ処理およびレンダリングシステム６９０は、単独で、または組み合わせて、３Ｄモデル処理システム６８０と、コンテキスト情報分析システム６８８と、アバタ自動スケーラ６９２と、意図マッピングシステム６９４と、解剖学的構造調節システム６９８と、刺激応答システム６９６とを備えることができる。システム６９０は、アバタ処理およびレンダリングのための機能性を図示するように意図され、限定することを意図するものではない。例えば、ある実装では、これらのシステムのうちの１つまたはそれを上回るものは、別のシステムの一部であってもよい。例えば、コンテキスト情報分析システム６８８の一部は、個々に、または組み合わせて、アバタ自動スケーラ６９２、意図マッピングシステム６９４、刺激応答システム６９６、または解剖学的構造調節システム６９８の一部であってもよい。

コンテキスト情報分析システム６８８は、図２および３を参照して説明される、１つまたはそれを上回るデバイスセンサに基づいて、環境およびオブジェクト情報を決定するように構成されることができる。例えば、コンテキスト情報分析システム６８８は、ユーザまたはユーザのアバタの視認者の外向きに向いた結像システム４６４によって入手された画像を使用して、環境およびユーザの環境のオブジェクト（物理的または仮想オブジェクトを含む）またはその中にユーザのアバタがレンダリングされる環境を分析することができる。コンテキスト情報分析システム６８８は、単独で、または場所データまたは世界マップ（例えば、マップ６２０、７１０、９１０）から入手されたデータと組み合わせて、そのような画像を分析し、環境内のオブジェクトの場所およびレイアウトを決定することができる。コンテキスト情報分析システム６８８はまた、仮想アバタ６７０を現実的にアニメーション化するために、ユーザまたはヒト全般の生物学的特徴にアクセスすることができる。例えば、コンテキスト情報分析システム６８８は、違和感曲線を生成することができ、これは、ユーザのアバタの身体の一部（例えば、頭部）が、ユーザの身体の他の部分に対して違和感のある（または非現実的）位置にないように（例えば、アバタの頭部は、２７０度方向転換されない）、アバタに適用されることができる。ある実装では、１つまたはそれを上回るオブジェクト認識装置７０８（図７に示される）は、コンテキスト情報分析システム６８８の一部として実装されてもよい。

アバタ自動スケーラ６９２、意図マッピングシステム６９４、および刺激応答システム６９６、および解剖学的構造調節システム６９８は、コンテキスト情報に基づいて、アバタの特性を決定するように構成されることができる。アバタのいくつかの例示的特性は、サイズ、外観、位置、配向、移動、姿勢、表現等を含むことができる。アバタ自動スケーラ６９２は、ユーザがアバタを不快な姿勢で見る必要がないように、アバタを自動的にスケーリングするように構成されることができる。例えば、アバタ自動スケーラ６９２は、ユーザが、それぞれ、アバタを見下ろす、またはアバタを見上げる必要がないように、アバタのサイズを増加または減少させ、アバタをユーザの眼の高さに持って来ることができる。意図マッピングシステム６９４は、アバタがその中にレンダリングされる環境に基づいて、ユーザの相互作用の意図を決定し、（正確なユーザ相互作用ではなく）意図をアバタにマッピングすることができる。例えば、第１のユーザの意図は、テレプレゼンスセッションにおいて第２のユーザと通信することであり得る（例えば、図９Ｂ参照）。典型的には、２人が、通信するとき、相互に向かい合う。第１のユーザのウェアラブルシステムの意図マッピングシステム６９４は、テレプレゼンスセッションの間に存在するそのような対面意図を決定することができ、第１のユーザのウェアラブルシステムに、第２のユーザのアバタを第１のユーザに向かってレンダリングさせることができる。第２のユーザが、物理的に方向転換しようとする場合、第２のユーザのアバタを方向転換された位置にレンダリングする代わりに（第２のユーザのアバタの背面を第１のユーザに対してレンダリングさせるであろう）、第１のユーザの意図マッピングシステム６９４は、第２のアバタの顔を第１のユーザに対してレンダリングし続けることができ、これは、テレプレゼンスセッションの推測される意図（例えば、本実施例では、対面意図）である。

刺激応答システム６９６は、環境内の関心オブジェクトを識別し、関心オブジェクトに対するアバタの応答を決定することができる。例えば、刺激応答システム６９６は、アバタの環境内の音源を識別し、音源を見るようにアバタを自動的に方向転換させることができる。刺激応答システム６９６はまた、閾値終了条件を決定することができる。例えば、刺激応答システム６９６は、音源が消失した後またはある時間周期が経過した後、アバタをそのオリジナル姿勢に戻させることができる。

解剖学的構造調節システム６９８は、生物学的特徴に基づいて、ユーザの姿勢を調節するように構成されることができる。例えば、解剖学的構造調節システム６９８は、違和感曲線に基づいて、ユーザの頭部とユーザの胴体との間またはユーザの上半身と下半身との間の相対的位置を調節するように構成されることができる。

３Ｄモデル処理システム６８０は、仮想アバタ６７０をアニメーション化し、ディスプレイ２２０にレンダリングさせるように構成されることができる。３Ｄモデル処理システム６８０は、仮想キャラクタ処理システム６８２と、移動処理システム６８４とを含むことができる。仮想キャラクタ処理システム６８２は、ユーザの３Ｄモデルを生成および更新するように構成されることができる（仮想アバタを作成およびアニメーション化するため）。移動処理システム６８４は、例えば、アバタの姿勢を変化させることによって、アバタをユーザの環境内で移動させることによって、またはアバタの顔の表情をアニメーション化することによって等、アバタをアニメーション化するように構成されることができる。本明細書にさらに説明されるであろうように、仮想アバタは、リギング技法を使用して、アニメーション化されることができる。いくつかの実装では、アバタは、２つの部分、すなわち、仮想アバタの外向き外観をレンダリングするために使用される表面表現（例えば、変形可能メッシュ）と、メッシュをアニメーション化するために相互接続された関節の階層セット（例えば、コア骨格）とにおいて表される。いくつかの実装では、仮想キャラクタ処理システム６８２は、表面表現を編集または生成するように構成されることができる一方、移動処理システム６８４は、アバタを移動させる、メッシュを変形させる等によって、アバタをアニメーション化するために使用されることができる。
ユーザの環境をマッピングする実施例

図７は、ＭＲ環境７００の実施例のブロック図である。ＭＲ環境７００は、入力（例えば、ユーザのウェアラブルシステムからの視覚的入力７０２、室内カメラ等の定常入力７０４、種々のセンサからの感覚入力７０６、ユーザ入力デバイス４６６からのジェスチャ、トーテム、眼追跡、ユーザ入力等）を、１つまたはそれを上回るユーザウェアラブルシステム（例えば、ウェアラブルシステム２００またはディスプレイシステム２２０）または定常室内システム（例えば、室内カメラ等）から受信するように構成されてもよい。ウェアラブルシステムは、種々のセンサ（例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、ＧＰＳセンサ、内向きに向いた結像システム、外向きに向いた結像システム等）を使用して、ユーザの環境の場所および種々の他の属性を決定することができる。本情報はさらに、異なる視点からの画像または種々のキューを提供し得る、部屋内の定常カメラからの情報で補完されてもよい。カメラ（室内カメラおよび／または外向きに向いた結像システムのカメラ等）によって入手された画像データは、マッピング点のセットに低減されてもよい。

１つまたはそれを上回るオブジェクト認識装置７０８が、受信されたデータ（例えば、点の集合）を通してクローリングし、点を認識またはマッピングし、画像をタグ付けし、マップデータベース７１０を用いて、意味論情報をオブジェクトに結び付けることができる。マップデータベース７１０は、経時的に収集された種々の点およびその対応するオブジェクトを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク（例えば、ＬＡＮ、ＷＡＮ等）を通して相互に接続され、クラウドにアクセスすることができる。

本情報およびマップデータベース内の点集合に基づいて、オブジェクト認識装置７０８ａ－７０８ｎは、環境内のオブジェクトを認識してもよい。例えば、オブジェクト認識装置は、顔、人物、窓、壁、ユーザ入力デバイス、テレビ、ドキュメント（例えば、本明細書におけるセキュリティ実施例において説明されるような旅券、運転免許証、パスポート）、ユーザの環境内の他のオブジェクト等を認識することができる。１つまたはそれを上回るオブジェクト認識装置が、ある特性を伴うオブジェクトのために特殊化されてもよい。例えば、オブジェクト認識装置７０８ａは、顔を認識するために使用されてもよい一方、別のオブジェクト認識装置は、ドキュメントを認識するために使用されてもよい。

オブジェクト認識は、種々のコンピュータビジョン技法を使用して実施されてもよい。例えば、ウェアラブルシステムは、外向きに向いた結像システム４６４（図４に示される）によって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識（例えば、人物またはドキュメント）、オブジェクト姿勢推定、顔認識（例えば、環境内の人物またはドキュメント上の画像から）、学習、インデックス化、運動推定、または画像分析（例えば、写真、署名、識別情報、旅行情報等のドキュメント内の印を識別する）等を実施することができる。１つまたはそれを上回るコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ－Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ－Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ－Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ－ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。

オブジェクト認識は、加えて、または代替として、種々の機械学習アルゴリズムによって実施されることができる。いったん訓練されると、機械学習アルゴリズムは、ＨＭＤによって記憶されることができる。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ－平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ、すなわち、深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｎｅｒａｌｉｚａｔｉｏｎ等）、または他の機械学習アルゴリズムを含む。いくつかの実装では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶することができる。ベースモデルは、開始点として使用され、データタイプ（例えば、テレプレゼンスセッション内の特定のユーザ）、データセット（例えば、テレプレゼンスセッション内のユーザの取得される付加的画像のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実装では、ウェアラブルＨＭＤは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。

マップデータベース内の本情報および点の集合に基づいて、オブジェクト認識装置７０８ａ－７０８ｎは、オブジェクトを認識し、オブジェクトを意味論情報で補完し、生命をオブジェクトに与えてもよい。例えば、オブジェクト認識装置が、点のセットがドアであることを認識する場合、システムは、いくつかの意味論情報を結び付けてもよい（例えば、ドアは、ヒンジを有し、ヒンジを中心として９０度移動を有する）。オブジェクト認識装置が、点のセットが鏡であることを認識する場合、システムは、鏡が、部屋内のオブジェクトの画像を反射させ得る、反射表面を有するという意味論情報を結び付けてもよい。意味論情報は、本明細書に説明されるように、オブジェクトのアフォーダンスを含むことができる。例えば、意味論情報は、オブジェクトの法線を含んでもよい。システムは、ベクトルを割り当てることができ、その方向は、オブジェクトの法線を示す。経時的に、マップデータベースは、システム（ローカルで常駐し得る、または無線ネットワークを通してアクセス可能であり得る）が、より多くのデータを世界から蓄積するにつれて成長する。いったんオブジェクトが認識されると、情報は、１つまたはそれを上回るウェアラブルシステムに伝送されてもよい。例えば、ＭＲ環境７００は、Ｃａｌｉｆｏｒｎｉａで発生している場面についての情報を含んでもよい。環境７００は、Ｎｅｗ Ｙｏｒｋにおける１人またはそれを上回るユーザに伝送されてもよい。ＦＯＶカメラおよび他の入力から受信されたデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第２のユーザに正確に「パス」され得るように、種々の画像から収集された点をマッピングし、オブジェクトを認識すること等ができる。環境７００はまた、位置特定目的のために、トポロジマップを使用してもよい。

図８は、認識されたオブジェクトに関連して仮想コンテンツをレンダリングする方法８００の実施例のプロセスフロー図である。方法８００は、仮想場面がウェアラブルシステムのユーザに提示され得る方法を説明する。ユーザは、その場面から地理的に遠隔に存在してもよい。例えば、ユーザは、Ｎｅｗ Ｙｏｒｋに存在し得るが、Ｃａｌｉｆｏｒｎｉａで現在起こっている場面を視認することを所望し得る、またはＣａｌｉｆｏｒｎｉａに存在する友人と散歩に行くことを所望し得る。

ブロック８１０では、ウェアラブルシステムは、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスおよびマップデータベース内にすでに保有されている知識を通して達成されてもよい。ユーザのＦＯＶカメラ、センサ、ＧＰＳ、眼追跡等が、ブロック８１０において、情報をシステムに伝達する。システムは、ブロック８２０において、本情報に基づいて、疎点を決定してもよい。疎点は、ユーザの周囲における種々のオブジェクトの配向および位置を表示および理解する際に使用され得る、姿勢データ（例えば、頭部姿勢、眼姿勢、身体姿勢、または手のジェスチャ）を決定する際に使用されてもよい。オブジェクト認識装置７０８ａ－７０８ｎは、ブロック８３０において、これらの収集された点を通してクローリングし、マップデータベースを使用して、１つまたはそれを上回るオブジェクトを認識してもよい。本情報は、次いで、ブロック８４０において、ユーザの個々のウェアラブルシステムに伝達されてもよく、所望の仮想場面が、ブロック８５０において、適宜、ユーザに表示されてもよい。例えば、所望の仮想場面（例えば、ＣＡにおけるユーザ）が、Ｎｅｗ Ｙｏｒｋにおけるユーザの種々のオブジェクトおよび他の周囲に関連して、適切な配向、位置等において表示されてもよい。
複数のウェアラブルシステム間の例示的通信

図９Ａは、相互に相互作用する複数のユーザデバイスを描写する、全体的システム図を図式的に図示する。コンピューティング環境９００は、ユーザデバイス９３０ａ、９３０ｂ、９３０ｃを含む。ユーザデバイス９３０ａ、９３０ｂ、および９３０ｃは、ネットワーク９９０を通して、相互に通信することができる。ユーザデバイス９３０ａ－９３０ｃはそれぞれ、ネットワークインターフェースを含み、ネットワーク９９０を介して、遠隔コンピューティングシステム９２０（また、ネットワークインターフェース９７１を含んでもよい）と通信することができる。ネットワーク９９０は、ＬＡＮ、ＷＡＮ、ピアツーピアネットワーク、無線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または任意の他のネットワークであってもよい。コンピューティング環境９００はまた、１つまたはそれを上回る遠隔コンピューティングシステム９２０を含むことができる。遠隔コンピューティングシステム９２０は、クラスタ化され、異なる地理的場所に位置する、サーバコンピュータシステムを含んでもよい。ユーザデバイス９３０ａ、９３０ｂ、および９３０ｃは、ネットワーク９９０を介して、遠隔コンピューティングシステム９２０と通信してもよい。

遠隔コンピューティングシステム９２０は、遠隔データリポジトリ９８０を含んでもよく、これは、具体的ユーザの物理および／または仮想世界についての情報を維持することができる。データ記憶装置９８０は、ユーザ、ユーザの環境（例えば、ユーザの環境の世界マップ）、またはユーザのアバタの構成に関連する情報を記憶することができる。遠隔データリポジトリは、図２に示される遠隔データリポジトリ２８０の実装であってもよい。遠隔コンピューティングシステム９２０はまた、遠隔処理モジュール９７０を含んでもよい。遠隔処理モジュール９７０は、図２に示される遠隔処理モジュール９７０の実装であってもよい。遠隔処理モジュール９７０は、１つまたはそれを上回るプロセッサを含んでもよく、これは、ユーザデバイス（９３０ａ、９３０ｂ、９３０ｃ）および遠隔データリポジトリ９８０と通信することができる。プロセッサは、ユーザデバイスおよび他の源から取得される情報を処理することができる。いくつかの実装では、処理または記憶の少なくとも一部は、ローカル処理およびデータモジュール２６０（図２に示されるように）によって提供されることができる。遠隔コンピューティングシステム９２０は、所与のユーザが、具体的ユーザ自身の物理的および／または仮想世界についての情報を別のユーザと共有することを可能にしてもよい。

ユーザデバイスは、単独で、または組み合わせて、ウェアラブルデバイス（ＨＭＤまたはＡＲＤ等）、コンピュータ、モバイルデバイス、または任意の他のデバイスであってもよい。例えば、ユーザデバイス９３０ｂおよび９３０ｃは、図２に示されるウェアラブルシステム２００（または図４に示されるウェアラブルシステム４００）の実装であってもよく、これは、ＡＲ／ＶＲ／ＭＲコンテンツを提示するように構成されることができる。

ユーザデバイスのうちの１つまたはそれを上回るものは、図４に示されるユーザ入力デバイス４６６と併用されることができる。ユーザデバイスは、ユーザおよびユーザの環境についての情報を取得することができる（例えば、図４に示される外向きに向いた結像システム４６４を使用して）。ユーザデバイスおよび／または遠隔コンピューティングシステム９２０（図９Ａ）は、ユーザデバイスから取得される情報を使用して、画像、点、および他の情報の集合を構築、更新、および建造することができる。例えば、ユーザデバイスは、入手された未加工情報を処理し、さらなる処理のために、処理された情報を遠隔コンピューティングシステム９２０に送信してもよい。ユーザデバイスはまた、処理のために、未加工情報を遠隔コンピューティングシステム９２０に送信してもよい。ユーザデバイスは、処理された情報を遠隔コンピューティングシステム９２０から受信し、ユーザに投影させる前に、最終処理を提供してもよい。ユーザデバイスはまた、取得された情報を処理し、処理された情報を他のユーザデバイスに渡してもよい。ユーザデバイスは、入手された情報を処理しながら、遠隔データリポジトリ１２８０と通信してもよい。複数のユーザデバイスおよび／または複数のサーバコンピュータシステムが、入手された画像の構築および／または処理に関与してもよい。

物理的世界に関する情報は、経時的に展開されてもよく、異なるユーザデバイスによって収集される情報に基づいてもよい。仮想世界のモデルはまた、経時的に展開され、異なるユーザの入力に基づいてもよい。そのような情報およびモデルは、時として、本明細書では、世界マップまたは世界モデルと称され得る。図６および７を参照して説明されるように、ユーザデバイスによって入手された情報は、世界マップ９１０を構築するために使用されてもよい。世界マップ９１０は、図６Ａに説明されるマップ６２０の少なくとも一部を含んでもよい。種々のオブジェクト認識装置（例えば、７０８ａ、７０８ｂ、７０８ｃ…７０８ｎ）が、オブジェクトおよびタグ画像を認識するため、および意味論情報をオブジェクトに付加するために使用されてもよい。これらのオブジェクト認識装置はまた、図７に説明される。

遠隔データリポジトリ９８０は、データを記憶し、世界マップ９１０の構造を促進するために使用されることができる。ユーザデバイスは、ユーザの環境についての情報を常に更新し、世界マップ９１０についての情報を受信することができる。世界マップ９１０は、ユーザまたは別の人物によって作成されてもよい。本明細書に議論されるように、ユーザデバイス（例えば、９３０ａ、９３０ｂ、９３０ｃ）および遠隔コンピューティングシステム９２０は、単独で、または組み合わせて、世界マップ９１０を構築および／または更新してもよい。例えば、ユーザデバイスは、遠隔処理モジュール９７０および遠隔データリポジトリ９８０と通信してもよい。ユーザデバイスは、ユーザおよびユーザの環境についての情報を入手または処理してもよい。遠隔処理モジュール９７０は、遠隔データリポジトリ９８０およびユーザデバイス（例えば、９３０ａ、９３０ｂ、９３０ｃ）と通信し、ユーザおよびユーザの環境についての情報を処理してもよい。遠隔コンピューティングシステム９２０は、例えば、ユーザの画像を選択的にクロッピングする、ユーザの背景を修正する、仮想オブジェクトをユーザの環境に追加する、ユーザの発話に補助情報で注釈を付ける等、ユーザデバイス（例えば、９３０ａ、９３０ｂ、９３０ｃ）によって入手された情報を修正することができる。遠隔コンピューティングシステム９２０は、処理された情報を同一または異なるユーザデバイスに送信することができる。
テレプレゼンスセッションの実施例

図９Ｂは、個別のウェアラブルシステムの２人のユーザがテレプレゼンスセッションを行っている、実施例を描写する。２人のユーザ（本実施例では、Ａｌｉｃｅ９１２およびＢｏｂ９１４と命名される）が、本図に示される。２人のユーザは、その個別のウェアラブルデバイス９０２および９０４を装着しており、これは、テレプレゼンスセッションにおいて他のユーザの仮想アバタを表すために、図２を参照して説明される、ＨＭＤ（例えば、ウェアラブルシステム２００のディスプレイデバイス２２０）を含むことができる。２人のユーザは、ウェアラブルデバイスを使用して、テレプレゼンスセッションを行うことができる。２人のユーザを分離する、図９Ｂにおける垂直線は、Ａｌｉｃｅ９１２およびＢｏｂ９１４が、テレプレゼンスを介して彼らが通信する間、２つの異なる場所に存在し得る（但し、その必要はない）（例えば、Ａｌｉｃｅは、Ａｔｌａｎｔａにおけるそのオフィス内に存在し得る一方、Ｂｏｂは、Ｂｏｓｔｏｎの屋外に存在する）ことを図示するように意図されることに留意されたい。

図９Ａを参照して説明されるように、ウェアラブルデバイス９０２および９０４は、相互または他のユーザデバイスおよびコンピュータシステムと通信してもよい。例えば、Ａｌｉｃｅのウェアラブルデバイス９０２は、例えば、ネットワーク９９０（図９Ａに示される）を介して、Ｂｏｂのウェアラブルデバイス９０４と通信してもよい。ウェアラブルデバイス９０２および９０４は、ユーザの環境および環境内の移動（例えば、個別の外向きに向いた結像システム４６４または１つまたはそれを上回る場所センサを介して）および発話（例えば、個別のオーディオセンサを介して）を追跡することができる。ウェアラブルデバイス９０２および９０４はまた、内向きに向いた結像システム４６２によって入手されたデータに基づいて、ユーザの眼移動または視線を追跡することができる。いくつかの状況では、ウェアラブルデバイスはまた、ユーザが反射性表面の近傍に存在する場合、ユーザの顔の表情または他の身体移動（例えば、腕または脚部移動）を捕捉または追跡することができ、外向きに向いた結像システム４６４は、ユーザの反射された画像を取得し、ユーザの顔の表情または他の身体移動を観察することができる。

ウェアラブルデバイスは、第１のユーザおよび環境の入手された情報を使用して、第２のユーザのウェアラブルデバイスによってレンダリングされ、第２のユーザの環境内における第１のユーザの存在の有形感覚を作成するであろう、仮想アバタをアニメーション化することができる。例えば、ウェアラブルデバイス９０２および９０４および遠隔コンピューティングシステム９２０は、単独で、または組み合わせて、Ｂｏｂのウェアラブルデバイス９０４による提示のために、Ａｌｉｃｅの画像または移動を処理してもよい、またはＡｌｉｃｅのウェアラブルデバイス９０２による提示のために、Ｂｏｂの画像または移動を処理してもよい。本明細書にさらに説明されるように、アバタは、例えば、ユーザの意図、ユーザの環境またはその中にアバタがレンダリングされる環境、またはヒトの他の生物学的特徴等のコンテキスト情報に基づいて、レンダリングされることができる。

実施例は、２人のみのユーザを参照するが、本明細書に説明される技法は、２人のユーザに限定されるべきではない。ウェアラブルデバイス（または他のテレプレゼンスデバイス）を使用する、複数のユーザ（例えば、２人、３人、４人、５人、６人、またはそれを上回る）が、テレプレゼンスセッションに参加してもよい。特定のユーザのウェアラブルデバイスは、テレプレゼンスセッションの間、その特定のユーザに、他のユーザのアバタを提示することができる。さらに、本図における実施例は、環境内に立っているユーザを示すが、ユーザは、立っているように要求されない。ユーザのいずれかは、テレプレゼンスセッションの間、立っている、座っている、膝をついている、横になっている、歩いている、または走っている、または任意の位置または移動状態にあってもよい。ユーザはまた、本明細書の実施例に説明される以外の物理的環境内に存在してもよい。ユーザは、テレプレゼンスセッションを行っている間、別個の環境内に存在してもよい、または同一環境内に存在してもよい。全てのユーザが、テレプレゼンスセッションにおいて、その個別のＨＭＤを装着することが要求されるわけではない。例えば、Ａｌｉｃｅ９１２は、ウェブカメラおよびコンピュータ画面等の他の画像入手およびディスプレイデバイスを使用してもよい一方、Ｂｏｂ９１４は、ウェアラブルデバイス９０４を装着する。
仮想アバタの実施例

図１０は、ウェアラブルシステムのユーザによって知覚されるようなアバタの実施例を図示する。図１０に示される例示的アバタ１０００は、部屋内の物理的植物の背後に立っている、Ａｌｉｃｅ９１２（図９Ｂに示される）のアバタであることができる。アバタは、例えば、サイズ、外観（例えば、肌色、顔色、髪型、衣類、しわ、ほくろ、しみ、にきび、えくぼ等の顔特徴）、位置、配向、移動、姿勢、表情等の種々の特性を含むことができる。これらの特性は、アバタと関連付けられるユーザに基づいてもよい（例えば、Ａｌｉｃｅのアバタ１０００は、実際の人物Ａｌｉｃｅ９１２の一部または全部の特性を有してもよい）。本明細書にさらに説明されるように、アバタ１０００は、コンテキスト情報に基づいて、アニメーション化されることができ、これは、アバタ１０００の特性のうちの１つまたはそれを上回るものに対する調節を含むことができる。概して、人物（例えば、Ａｌｉｃｅ）の物理的外観を表すように本明細書に説明されるが、これは、限定ではなく、例証のためのものである。Ａｌｉｃｅのアバタは、Ａｌｉｃｅ以外の別の実際または架空のヒト、擬人化されたオブジェクト、創造物、または任意の他の実際または架空の表現の外観を表し得る。さらに、図１０における植物は、物理的である必要はなく、ウェアラブルシステムによってユーザに提示される植物の仮想表現であり得る。また、図１０に示されるもの以外の付加的または異なる仮想コンテンツも、ユーザに提示され得る。
仮想キャラクタのためのリギングシステムの実施例

ヒトアバタ等のアニメーション化された仮想キャラクタが、全体的または部分的に、コンピュータグラフィック内にポリゴンメッシュとして表されることができる。ポリゴンメッシュ、または略して、単に、「メッシュ」は、モデル化された３次元空間内の点の集合である。メッシュは、その表面が仮想キャラクタ（またはその一部）の身体または形状を定義する、多角形オブジェクトを形成することができる。メッシュは、任意の数の点を含むことができるが（利用可能なコンピューティングパワーによって課され得る、実践的限界内において）、より多くの点を伴うより細かいメッシュは、概して、実在の人々、動物、オブジェクト等により近似し得る、より細かい詳細を伴うより現実的仮想キャラクタを描写することが可能である。図１０は、アバタ１０００の眼の周囲のメッシュ１０１０の実施例を示す。

メッシュ内の各点は、モデル化された３次元空間内の座標によって定義されることができる。モデル化された３次元空間は、例えば、（ｘ，ｙ，ｚ）座標によってアドレス指定されるデカルト空間であることができる。メッシュ内の点は、ポリゴンの頂点であって、これは、多角形オブジェクトを構成する。各ポリゴンは、多角形オブジェクトの表面、すなわち、面を表し、頂点の順序付けられたセットによって定義され、各ポリゴンの辺は、頂点の順序付けられたセットを接続する、直線縁である。ある場合には、メッシュ内のポリゴン頂点は、それらが必ずしも３Ｄグラフィック内において同一平面にあるわけではないという点で、幾何学的ポリゴンと異なり得る。加えて、メッシュ内のポリゴンの頂点は、共線形であり得、その場合、ポリゴンは、ゼロ面積を有する（縮退ポリゴンと称される）。

いくつかの実装では、メッシュは、３頂点ポリゴン（すなわち、略して、三角形または「三角」）または４頂点ポリゴン（すなわち、略して、四辺形または「四角」）から成る。しかしながら、高次ポリゴンもまた、いくつかのメッシュでは使用されることができる。メッシュは、直接コンテンツ作成（ＤＣＣ）アプリケーション（例えば、主に、３Ｄコンピュータグラフィックを作成および操作するために設計される、Ｍａｙａ（Ａｕｔｏｄｅｓｋ， Ｉｎｃ．から利用可能）またはＨｏｕｄｉｎｉ（Ｓｉｄｅ Ｅｆｆｅｃｔｓ Ｓｏｆｔｗａｒｅ Ｉｎｃ．から利用可能）等のアプリケーション）では、典型的には、四角ベースである一方、メッシュは、リアルタイムアプリケーションでは、典型的には、三角ベースである。

仮想キャラクタをアニメーション化するために、そのメッシュは、その頂点の一部または全部を種々の瞬間における空間内の新しい位置に移動させることによって、変形されることができる。変形は、大規模移動（例えば、四肢の移動）および微細移動（例えば、顔移動）の両方を表すことができる。これらおよび他の変形は、実世界モデル（例えば、身体移動、関節運動、顔のゆがみ、表情等を実施する、実際のヒトの写真測量走査）、芸術指向的展開（実世界サンプリングに基づいてもよい）、それらの組み合わせ、または他の技法に基づくことができる。コンピュータグラフィックの初期の段階では、メッシュ変形は、頂点のための新しい位置を独立して設定することによって手動で遂行され得たが、現代のメッシュのサイズおよび複雑性を前提として、典型的には、自動化されたシステムおよびプロセスを使用して変形を生産することが望ましい。これらの変形を生産するための制御システム、プロセス、および技法は、リギング、または単に、「リグ」と称される。図６Ｂの例示的アバタ処理およびレンダリングシステム６９０は、３Ｄモデル処理システム６８０を含み、これは、リギングを実装することができる。

仮想キャラクタのためのリギングは、骨格系を使用して、メッシュ変形を補助することができる。骨格系は、関節の集合を含み、これは、メッシュのための関節運動の点に対応する。リギングのコンテキストでは、関節は、解剖学的意味において使用されるときのこれらの用語間の差異にもかかわらず、時として、「ボーン」とも称される。骨格系内の関節は、関節に適用され得る、変換に従って、相互に対して移動または別様に変化することができる。変換は、空間内の平行移動または回転および他の動作を含むことができる。関節は、相互に対して階層関係（例えば、親－子関係）を割り当てられることができる。これらの階層関係は、ある関節が、別の関節からの変換または他の特性を継承することを可能にすることができる。例えば、骨格系内の子関節は、子関節を親関節とともに移動させるように、その親関節に割り当てられた変換を継承することができる。

仮想キャラクタのための骨格系は、適切な位置における関節を用いて、かつ適切な局所回転軸、自由度等を用いて、定義され、所望のセットのメッシュ変形が行われることを可能にすることができる。いったん骨格系が、仮想キャラクタのために定義されると、各関節は、「スキニング」と呼ばれるプロセスにおいて、メッシュ内の種々の頂点に及ぼす影響の量を割り当てられることができる。これは、骨格系内の関節毎に、加重値を各頂点に割り当てることによって行われることができる。変換が、任意の所与の関節に適用されると、その影響下の頂点は、その個別の加重値に依存し得る量だけ、その関節変換に基づいて、自動的に移動または別様に改変されることができる。

リグは、複数の骨格系を含むことができる。１つのタイプの骨格系は、コア骨格（低次骨格とも称される）であって、これは、仮想キャラクタの大規模移動を制御するために使用され得る。例えば、ヒトアバタの場合、コア骨格は、ヒトの解剖学的骨格に類似し得る。リギング目的のためのコア骨格は、解剖学的に正しい骨格に正確にマッピングされ得ないが、類似配向および移動性質を伴う類似場所における関節のサブセットを有し得る。

上記に簡単に述べられたように、関節の骨格系は、例えば、関節間の親－子関係を伴う、階層であることができる。変換（例えば、位置および／または配向の変化）が、骨格系内の特定の関節に適用されると、同一変換が、同一階層内の全ての他のより低いレベルの関節に適用されることができる。例えば、ヒトアバタのためのリグの場合、コア骨格は、アバタの肩、肘、および手首のための別個の関節を含んでもよい。これらのうち、肩関節は、階層内で最高レベルを割り当てられてもよい一方、肘関節は、肩関節の子として割り当てられることができ、手首関節は、肘関節の子として割り当てられることができる。故に、特定の平行移動および／または回転変換が、肩関節に適用されると、同一変換がまた、肩と同一方法において平行移動および／または回転されるように、肘関節および手首関節にも適用されることができる。

その名称の含蓄にもかかわらず、リグ内の骨格系は、必ずしも、解剖学的骨格を表す必要はない。リギングでは、骨格系は、メッシュの変形を制御するために使用される、様々な階層を表すことができる。例えば、髪は、階層連鎖内の一連の関節として表され得、アバタの顔のゆがみに起因する、皮膚の動き（笑顔、眉を顰める、笑う、発話する、瞬目等の表情を表し得る）は、顔リグによって制御される一連の顔関節によって表され得、筋肉変形は、関節によってモデル化されることができ、衣類の動きは、関節のグリッドによって表され得る。

仮想キャラクタのためのリグは、複数の骨格系を含むことができ、そのうちのいくつかは、その他の移動を駆動し得る。低次骨格系は、１つまたはそれを上回る高次骨格系を駆動するものである。逆に言えば、高次骨格系は、低次骨格系によって駆動または制御されるものである。例えば、キャラクタのコア骨格の移動は、アニメータによって手動で制御され得るが、コア骨格は、ひいては、高次骨格系の移動を駆動または制御することができる。例えば、高次ヘルパ関節（物理的骨格内の解剖学的類似物を有していなくてもよい）が、コア骨格の移動から生じる、メッシュ変形を改良するために提供されることができる。高次骨格系内のこれらおよび他の関節に適用される変換は、低次骨格に適用される変換からアルゴリズム的に導出されてもよい。高次骨格は、例えば、筋肉、皮膚、脂肪、衣類、髪、または任意の他の骨格系を表すことができ、これは、直接アニメーション制御を要求しない。

すでに議論されたように、変換は、メッシュ変形を行うために、骨格系内の関節に適用されることができる。リギングのコンテキストでは、変換は、３Ｄ空間内の１つまたはそれを上回る所与の点を受け取り、１つまたはそれを上回る新しい３Ｄ点の出力を生産する、機能を含む。例えば、変換は、関節を定義する、１つまたはそれを上回る３Ｄ点を受け取ることができ、変換された関節を規定する、１つまたはそれを上回る新しい３Ｄ点を出力することができる。関節変換は、例えば、平行移動成分、回転成分、およびスケール成分を含むことができる。

平行移動は、点のセットの配向またはサイズの変化を伴わずに、モデル化された３Ｄ空間内で１つまたはそれを上回る規定された点のセットを規定された量だけ移動させる、変換である。回転は、規定された量だけ、モデル化された３Ｄ空間内で１つまたはそれを上回る規定された点のセットを規定された軸を中心として回転させる（例えば、メッシュ内の全ての点をｚ－軸を中心として４５度回転させる）、変換である。アフィン変換（または６自由度（ＤＯＦ）変換）は、平行移動および回転のみを含むものである。アフィン変換の適用は、そのサイズを変化させずに（但し、配向は、変化することができる）、空間内の１つまたはそれを上回る点のセットを移動させることであると見なされ得る。

一方、スケール変換は、その個別の座標を規定された値だけスケーリングすることによって、モデル化された３Ｄ空間内の１つまたはそれを上回る規定された点を修正するものである。これは、点の変換されたセットのサイズおよび／または形状を変化させる。均一スケール変換は、同一量だけ各座標をスケーリングする一方、非均一スケール変換は、規定された点の（ｘ，ｙ，ｚ）座標を独立してスケーリングすることができる。非均一スケール変換は、例えば、筋肉作用から生じ得るもの等の収縮および伸展効果を提供するために使用されることができる。さらに別のタイプの変換は、剪断変換である。剪断変換は、軸からのその座標の距離に基づいて、異なる量だけ点の座標を平行移動させることによって、モデル化された３Ｄ空間内の１つまたはそれを上回る規定された点のセットを修正するものである。

変換が、関節に適用され、それを移動させると、その関節の影響下の頂点もまた、移動される。これは、メッシュの変形をもたらす。上記に議論されるように、加重を割り当て、各関節が各頂点に及ぼす影響を定量化するプロセスは、スキニング（または時として、「加重ペインティング」または「スキン加重」）と呼ばれる。加重は、典型的には、０（無影響を意味する）と１（完全影響を意味する）との間の値である。メッシュ内のいくつかの頂点は、単一関節によってのみ影響され得る。その場合、それらの頂点は、その関節のために、１の加重値を割り当てられ、その位置は、その他ではなく、その具体的関節に割り当てられた変換に基づいて変化される。メッシュ内の他の頂点は、複数の関節によって影響され得る。その場合、別個の加重が、影響を及ぼす関節の全てのために、それらの頂点に割り当てられ、頂点毎の加重の和は、１に等しい。これらの頂点の位置は、その影響を及ぼす関節の全てに割り当てられる変換に基づいて、変化される。

メッシュ内の頂点の全てのための加重割当を行うことは、特に、関節の数が増加するにつれて、極度に労働集約的となり得る。関節に適用される変換に応答して、加重を平衡し、所望のメッシュ変形を達成することは、高度に訓練された専門家にとってさえ非常に困難であり得る。リアルタイムアプリケーションの場合、タスクは、多くのリアルタイムシステムがまた、具体的頂点に加重され得る、関節の数（概して、８つまたはより少ない）に関する限界を強いるという事実によって、さらに複雑になり得る。そのような限界は、典型的には、グラフィック処理ユニット（ＧＰＵ）内の効率の目的のために課される。

用語「スキニング」はまた、骨格系内の関節に適用される変換に基づいて、割り当てられた加重を使用して、メッシュを実際に変形させるプロセスを指す。例えば、一連のコア骨格関節変換が、アニメータによって、所望のキャラクタ移動（例えば、走っている動きまたはダンスステップ）を生産するように規定され得る。変換が、関節のうちの１つまたはそれを上回るものに適用されると、新しい位置が、変換された関節の影響下の頂点のために計算される。任意の所与の頂点のための新しい位置は、典型的には、その特定の頂点に影響を及ぼす、全ての関節変換の加重平均として算出される。本加重平均を算出するために使用される、多くのアルゴリズムが存在するが、最も一般的であって、かつその単純性および制御の容易性に起因して、大部分のリアルタイムアプリケーションにおいて使用されるものは、線形ブレンドスキニング（ＬＢＳ）である。線形ブレンドスキニングでは、頂点毎の新しい位置が、それに関してその頂点が非ゼロ加重を有する、各関節変換を使用して計算される。次いで、これらの関節変換のそれぞれから生じる、新しい頂点座標が、関節毎のその頂点に割り当てられる個別の加重に比例して平均される。実際は、ＬＢＳに対する周知の限界が存在し、高品質リグを作成する際の作業の多くは、これらの限界を見出し、克服することに費やされる。多くのヘルパ関節システムが、本目的のために具体的に設計される。

骨格系に加え、「ブレンドシェイプ」はまた、リギングにおいて、メッシュ変形を生産するためにも使用されることができる。ブレンドシェイプ（時として、「モーフ標的」または単に「形状」とも呼ばれる）は、メッシュ内の頂点のセットに適用される変形であって、セット内の各頂点は、加重に基づいて、規定された量だけ規定された方向に移動する。セット内の各頂点は、具体的ブレンドシェイプのためのその独自のカスタム運動を有し得、セット内の頂点を同時に移動させることは、所望の形状を生成するであろう。ブレンドシェイプ内の頂点毎のカスタム運動は、「デルタ」によって規定されることができ、これは、その頂点に適用されるＸＹＺ運動の量および方向を表す、ベクトルである。ブレンドシェイプは、例えば、顔変形を生産し、いくつかの可能性のみを挙げると、眼、唇、眉、鼻、えくぼ等を移動させるために使用されることができる。

ブレンドシェイプは、芸術指向的方法においてメッシュを変形させるために有用である。それらは、正確な形状がモデルの走査からスカルピングまたは捕捉され得るにつれて、大量の制御をもたらす。しかし、ブレンドシェイプの利点は、ブレンドシェイプ内の全ての頂点のためのデルタを記憶する必要があることを代償とする。細かいメッシュおよび多くのブレンドシェイプを伴うアニメーション化されたキャラクタに関して、デルタデータの量は、有意となり得る。

各ブレンドシェイプは、ブレンドシェイプ加重を使用することによって、規定された程度まで適用されることができる。これらの加重は、典型的には、０（ブレンドシェイプは、全く適用されない）から１（ブレンドシェイプが、完全にアクティブである）に及ぶ。例えば、キャラクタの眼を移動させるためのブレンドシェイプは、眼を小量だけ移動させるための小加重を伴って適用されることができる、またはより大きい眼移動を作成するための大加重を伴って適用されることができる。

リグは、相互に組み合わせて、所望の複雑な変形を達成するために、複数のブレンドシェイプに適用されてもよい。例えば、笑顔を生産するために、リグは、口角を引っ張り、上唇を持ち上げ、下唇を下げ、および眼、眉、鼻、およびえくぼを移動させるために、ブレンドシェイプを適用してもよい。２つまたはそれを上回るブレンドシェイプを組み合わせることからの所望の形状は、組み合わせ形状（または単に、「コンボ」）として知られる。

２つのブレンドシェイプを組み合わせて適用することから生じ得る、１つの問題は、ブレンドシェイプが、同一頂点のうちのいくつかに作用し得ることである。両ブレンドシェイプが、アクティブであるとき、結果は、二重変換または「離脱モデル」と呼ばれる。これに対するソリューションは、典型的には、補正ブレンドシェイプである。補正ブレンドシェイプは、中立点に対する所望の変形を表すのではなく、現在適用されている変形に対する所望の変形を表す、特殊ブレンドシェイプである。補正ブレンドシェイプ（または単に、「補正」）は、それらが補正するブレンドシェイプの加重に基づいて、適用されることができる。例えば、補正ブレンドシェイプのための加重は、補正ブレンドシェイプの適用をトリガする、下層ブレンドシェイプの加重に比例するように行われることができる。

補正ブレンドシェイプはまた、スキニング異常を補正する、または変形の品質を改良するために使用されることができる。例えば、関節が、具体的筋肉の運動を表し得るが、単一変換として、皮膚、脂肪、および筋肉の全ての非線形挙動を表すことができない。筋肉がアクティブ化するにつれて、補正または一連の補正を適用することは、より魅力的かつ説得力のある変形をもたらし得る。

リグは、層内に構築され、より低次かつ単純な層は、多くの場合、高次層を駆動する。これは、骨格系およびブレンドシェイプ変形の両方に適用される。例えば、すでに述べられたように、アニメーション化された仮想キャラクタのためのリギングは、低次骨格系によって制御される、高次骨格系を含んでもよい。制約、論理システム、および姿勢ベースの変形を含む、低次骨格に基づいて、高次骨格またはブレンドシェイプを制御するための多くの方法が存在する。

制約は、典型的には、特定のオブジェクトまたは関節変換が、別の関節またはオブジェクトに適用される変換の１つまたはそれを上回る成分を制御する、システムである。多くの異なるタイプの制約が、存在する。例えば、照準制約は、標的変換の回転を変化させ、具体的方向または具体的オブジェクトに向ける。親制約は、対の変換間の仮想親－子関係として作用する。位置制約は、変換を具体的点または具体的オブジェクトに制約する。配向制約は、変換をオブジェクトの具体的回転に制約する。

論理システムは、入力のセットを前提として、いくつかの出力を生産する、数学的方程式のシステムである。これらは、学習されるのではなく、規定される。例えば、あるブレンドシェイプ値が、２つの他のブレンドシェイプの積として定義され得る（これは、組み合わせまたはコンボ形状として知られる補正形状の実施例である）。

姿勢ベースの変形もまた、高次骨格系またはブレンドシェイプを制御するために使用されることができる。骨格系の姿勢は、その骨格系内の全ての関節のための変換（例えば、回転および平行移動）の集合によって定義される。姿勢はまた、骨格系内の関節のサブセットのためにも定義されることができる。例えば、腕姿勢が、肩、肘、および手首関節に適用される変換によって定義され得る。姿勢空間デフォーマ（ＰＳＤ）は、特定の姿勢と定義された姿勢との間の１つまたはそれを上回る「距離」に基づいて、その姿勢のための変形出力を決定するために使用される、システムである。これらの距離は、姿勢のうちの１つが他のものと異なる程度を特性評価する、メトリックであることができる。ＰＳＤは、姿勢補間ノードを含むことができ、これは、例えば、関節回転（姿勢を定義する）のセットを入力パラメータとして受け取り、ひいては、正規化された姿勢毎の加重を出力し、ブレンドシェイプ等のデフォーマを駆動する。姿勢補間ノードは、放射基底関数（ＲＢＦ）を用いたものを含む、種々の方法において実装されることができる。ＲＢＦは、関数の機械学習された数学的近似を実施することができる。ＲＢＦは、入力およびその関連付けられる予期される出力のセットを使用して、訓練されることができる。訓練データは、例えば、関節変換（特定の姿勢を定義する）およびそれらの姿勢に応答して適用されるべき対応するブレンドシェイプの複数のセットであり得る。いったん関数が、学習されると、新しい入力（例えば、姿勢）が、与えられることができ、その予期される出力が、効率的に算出されることができる。ＲＢＦは、人工ニューラルネットワークの亜種である。ＲＢＦは、より低いレベルの成分の状態に基づいて、リグのより高いレベルの成分を駆動するために使用されることができる。例えば、コア骨格の姿勢は、より高いレベルにおいて、ヘルパ関節および補正を駆動することができる。

これらの制御システムは、ともに連鎖化され、複雑な挙動を実施することができる。実施例として、眼リグは、水平および垂直回転のための２つの「見回し」値を含有し得る。これらの値は、いくつかの論理を通して通過され、眼関節変換の正確な回転を決定することができ、これは、ひいては、眼瞼の形状を変化させ、眼の位置に合致させる、ブレンドシェイプを制御する、ＲＢＦへの入力として使用され得る。これらの形状のアクティブ化値は、付加的論理等を使用して、顔の表情の他の成分を駆動するために使用され得る。

リギングシステムの目標は、典型的には、単純なヒトが理解可能な制御システムに基づいて、魅力的かつ高忠実性の変形を生産するための機構を提供することである。リアルタイムアプリケーションの場合、目標は、典型的には、最終品質に対して可能な限り少ない妥協点をもたらしながら、例えば、ＶＲ／ＡＲ／ＭＲウェアラブルシステム２００上で、リアルタイムで起動されるために十分に単純である、リギングシステムを提供することである。いくつかの実装では、３Ｄモデル処理システム６８０は、（ＶＲ／ＡＲ／ＭＲシステムのユーザと）双方向的であって、ユーザの環境内で適切なコンテキストアバタ挙動（例えば、意図ベースの挙動）を提供するように、リギングシステムを実行し、複合現実環境１００内でアバタをリアルタイムでアニメーション化する。

図１１は、ユーザ入力モードの組み合わせを使用して仮想オブジェクトを選択する実施例を図示する。場面１４００ａでは、ウェアラブルシステムは、ユーザ１４１０に、正方形１４２２、円形１４２４、および三角形１４２６によって表される、複数の仮想オブジェクトを提示することができる。ユーザ１４１０は、場面１４００ｂに図示されるように、頭部姿勢を使用して、仮想オブジェクトと相互作用することができる。これは、頭部姿勢入力モードの実施例である。

頭部姿勢入力モードは、仮想オブジェクト標的または選択するための円錐キャスティングを伴ってもよい。例えば、ウェアラブルシステムは、円錐１４３０をユーザの頭部から仮想オブジェクトに向かって投射することができる。ウェアラブルシステムは、仮想オブジェクトのうちの１つまたはそれを上回るものが、錐体の体積内に該当するかどうかを検出し、ユーザが選択することを意図するオブジェクトを識別することができる。本実施例では、錐体１４３０は、円形１４２４および三角形１４２６と交差する。したがって、ウェアラブルシステムは、ユーザが円形１４２４または三角形１４２６のいずれかを選択することを意図することを決定することができる。しかしながら、錐体１４３０は、円形１４２４および三角形１４２６の両方と交差するため、ウェアラブルシステムは、頭部姿勢入力単独に基づいて、標的仮想オブジェクトが円形１４２４または三角形１４２６かどうかを確認することが不可能である場合がある。

場面１４００ｃでは、ユーザ１４１０は、トーテム（例えば、ハンドヘルド遠隔制御デバイス）等のユーザ入力デバイス４６６を手動で配向することによって、仮想オブジェクトと相互作用することができる。これは、ジェスチャ入力モードの実施例である。本場面では、ウェアラブルシステムは、円形１４２４または正方形１４２２のいずれかが、これらの２つのオブジェクトがユーザ入力デバイス４６６が向いている方向にあるため、標的であることが意図されることを決定することができる。本実施例では、ウェアラブルシステムは、ユーザ入力デバイス４６６の位置または配向を検出することによって（例えば、ユーザ入力デバイス４６６内のＩＭＵを介して）、またはユーザ入力デバイス４６６から生じる円錐キャスティングを実施することによって、ユーザ入力デバイス４６６の方向を決定することができる。円形１４２４および正方形１４２２は両方とも、標的仮想オブジェクトのための候補であるため、ウェアラブルシステムは、高信頼度レベルを伴って、ジェスチャ入力モードのみに基づいて、ユーザが実際に選択することを所望するオブジェクトのうちの１つを確認することができない。

場面１４００ｄでは、ウェアラブルシステムは、マルチモード式ユーザ入力を使用して、標的仮想オブジェクトを決定することができる。例えば、ウェアラブルシステムは、円錐キャスティング（頭部姿勢入力モード）と、ユーザ入力デバイス（ジェスチャ入力モード）の配向とから取得された結果の両方を使用して、標的仮想オブジェクトを識別することができる。本実施例では、円形１４２４は、円錐キャスティングからの結果と、ユーザ入力デバイスから取得される結果との両方内で識別された候補である。したがって、ウェアラブルシステムは、高信頼度を伴って、これらの２つの入力モードを使用して、標的仮想オブジェクトが円形１４２４であることを決定することができる。場面１４００ｄにさらに図示されるように、ユーザは、音声コマンド１４４２（「それを移動させて」として図示される）を与えることができ、これは、標的仮想オブジェクトと相互作用するための第３の入力モード（すなわち、音声）の実施例である。ウェアラブルシステムは、単語「それ」と標的仮想オブジェクト、単語「移動させて」と実行されるべきコマンドを関連付けることができ、故に、円形１４２４を移動させることができる。しかしながら、音声コマンド１４４２自体（ユーザ入力デバイス４６６または円錐キャスティング１４３からインジケーションを伴わない）は、ウェアラブルシステムが、単語「それ」と関連付けられるオブジェクトを把握し得ないため、混乱をウェアラブルシステムに生じさせ得る。

有利なこととして、いくつかの実施形態では、複数の入力モードを受け取り、仮想オブジェクトを識別し、それと相互作用することによって、入力モード毎に要求される精度の量は、低減され得る。例えば、円錐キャスティングは、円錐がユーザからより遠く離れるにつれて、円錐の直径が増加するため、離れたレンダリング平面におけるオブジェクトを指摘することが不可能である場合がある。他の実施例として、ユーザは、入力デバイスを特定の配向に保持し、標的オブジェクトに向かって向け、特定の語句またはペースで発話し、正しい音声入力を確実にする必要があり得る。しかしながら、音声入力と、（頭部姿勢または入力デバイスを使用したジェスチャのいずれかからの）円錐キャスティングからの結果を組み合わせることによって、ウェアラブルシステムは、依然として、入力（例えば、円錐キャスティングまたは音声入力）のいずれかが精密であることを要求せずに、標的仮想オブジェクトを識別することができる。例えば、円錐キャスティングが、複数のオブジェクト（例えば、場面１４００ｂ、１４００ｃを参照して説明されるように）を選択しても、音声入力が、選択を絞り込む（例えば、選択に関する信頼度スコアを増加させる）ことに役立ち得る。例えば、円錐キャスティングは、３つのオブジェクトを捕捉し得、そのうち、第１のオブジェクトは、ユーザの右にあって、第２のオブジェクトは、ユーザの左にあって、第３のオブジェクトは、ユーザのＦＯＶの中心にある。ユーザは、「右端のオブジェクトを選択する」と発することによって、選択を絞り込むことができる。別の実施例として、２つの同じような形状のオブジェクトがユーザのＦＯＶ内に存在し得る。ユーザが正しいオブジェクトを選択するために、ユーザは、音声コマンドを介して、さらなる説明をオブジェクトに与える必要があり得る。例えば、「正方形オブジェクトを選択する」と発するのではなく、ユーザは、「赤色の正方形オブジェクトを選択する」と発する必要があり得る。しかしながら、円錐キャスティングを用いると、音声コマンドは、精密である必要はなくてもよい。例えば、ユーザは、正方形オブジェクトのうちの１つを見て、「正方形オブジェクトを選択する」またはさらに「オブジェクトを選択する」と発することができる。ウェアラブルシステムは、ユーザの視線方向と一致する、正方形オブジェクトを自動的に選択することができ、ユーザの視線方向にない、正方形オブジェクトを選択しないであろう。

いくつかの実施形態では、本システムは、入力モードの組み合わせのための選好の階層を有してもよい。例えば、ユーザは、その頭部が向いている方向を見る傾向にあり、したがって、眼視線および頭部姿勢は、相互に類似する、情報を提供し得る。頭部姿勢と眼視線の組み合わせは、組み合わせが、眼視線単独または頭部姿勢単独の使用と比較して、あまり余剰情報を提供しないため、あまり好ましくない場合がある。故に、本システムは、モード式入力の選好の階層を使用して、概して重複する情報ではなく、対比情報を提供する、モード式入力を選択してもよい。いくつかの実施形態では、階層は、頭部姿勢および音声を一次モード式入力として使用し、その後、眼視線およびジェスチャが続くものである。

故に、本明細書にさらに説明されるように、マルチモード式入力に基づいて、本システムは、ユーザの環境内の種々のオブジェクトに関する、各そのようなオブジェクトが標的オブジェクトであることの信頼度スコアを計算することができる。本システムは、標的オブジェクトとして、最高信頼度スコアを有する、環境内の特定のオブジェクトを選択することができる。
共有コンテンツ視認

いくつかの実装では、複数のユーザが、共通仮想オブジェクトを視認することを所望し得る。例えば、美術館内の美術品、自動車、生物学的試料、化学化合物等の教育目的のために使用される、仮想オブジェクトが、提示者（例えば、ある生徒のクラスの教師）によって、複数の参加者（例えば、生徒）による分析、視認、および／または相互作用のために選択されてもよい。下記にさらに議論されるように、そのようなグループのための異なる視認モードを提供する、実装は、提示者等のユーザが、複数の参加者の視認体験をカスタマイズすることを可能にする。そのような共有コンテンツ体験は、仮想オブジェクトが、現実的かつ知覚的に、部屋内に存在するように感じ得るように、シネマ技法を活用することによって、空間コンピューティングを利用してもよい。本提示ツールは、空間コンピューティング内の仮想オブジェクトの一部と関連付けられる、場面のアニメーション、視覚的効果、および音効果（例えば、像の身体の中に彫られる、マーキング）を含んでもよい。有利なこととして、異なる視認モードの使用は、個々のユーザに、共有視認空間内に存在しているにもかかわらず、異なる仮想コンテンツが見える、または代替として、共有空間内の異なる場所において、同一仮想コンテンツが見えることを可能にする。

ある例示的実装では、アバタ処理およびレンダリングシステム６９０（例えば、図６Ｂ）が、ビューモードを決定し、仮想場面と関連付けられる、複数のウェアラブルシステムに通信する。ビューモードは、ウェアラブルシステムの個別のユーザに、ウェアラブルシステム毎に同一である、仮想オブジェクトと関連付けられる仮想場面の共有部分、個々のユーザによってカスタマイズ可能である、仮想オブジェクトと関連付けられる、仮想場面の個々の部分、または共有と個々のコンテンツのある組み合わせを表示する、モードを含んでもよい。いくつかの実装では、第１のビューモードは、詳細ビューの位置がユーザ毎にカスタマイズされるように、仮想オブジェクトと関連付けられる情報の詳細ビュー（例えば、パネル）をウェアラブルシステムの個々のユーザの現在の頭部姿勢に対してある場所に表示する。第２のビューモードは、詳細ビューを仮想オブジェクトを基準とした別の場所に表示するために利用可能であり得る。

いくつかの実装では、仮想場面の共有部分は、全てのユーザのために固定された実世界場所にあって、仮想場面の個々の部分は、ユーザの対応する異なる実世界場所において、各個々のユーザに対して位置付けられる。各ウェアラブルシステムは、ユーザが、仮想場面内の他のユーザの移動に影響を及ぼさずに、仮想場面の共有部分内で仮想的に移動することを可能にするように構成されてもよい。

いくつかの実施形態では、共有視認環境にアクセスする、ユーザは、ユーザが、提示者（例えば、教師）、参加者（例えば、生徒）、または鑑賞者（例えば、視認専用モードまたは完全または部分的機能性を伴う来場者）であるかどうか等のユーザの役割を識別することが要求され得る。図１２は、提示者に利用可能な種々のビューモードに従って、複数のユーザが、美術館オブジェクトと相互作用することを可能にするように構成される、美術館へのウェルカム画面を描写する、例示的ユーザインターフェースを図示する。本実施例では、いったんユーザが、彼らが、提示者、参加者、または鑑賞者であるかどうかを選択すると、彼らは、例えば、美術館の芸術品または美術品等の１つまたはそれを上回る仮想オブジェクトを含む、仮想環境にトランスポートされ得る。いくつかの実施形態では、あるユーザの役割は、仮想環境にアクセスするための証明書を要求し得る。例えば、ユーザが、提示者役割を選択する場合、ユーザが実際に提示者（例えば、ある生徒のクラスの教師）であることを確認する、証明書が、ユーザが他のユーザの視認能力を制御することを可能にされる前に、要求され得る。

いくつかの実装では、提示者（例えば、教師）は、ある部屋に参加し、またはそれを作成し、仮想オブジェクト（例えば、部屋内の像）を操作し、および／またはその音声および／またはアクションを全ての他のユーザにブロードキャストすることが可能であろう。いくつかの実装では、部屋は、仮想環境が他のユーザに可視であるために、少なくとも１人の提示者を有しなければならない。参加者（例えば、いくつかの実装では、生徒）として参加する、ユーザは、参加者の環境内の仮想オブジェクト（例えば、像）（例えば、像は、生徒の寮の部屋の台所の床上に立っているように現れてもよい）を視認し、かつ提示者のアクションが見え、提示者の音声が聞こえることが可能であろう。参加者は、「いいね」を他のユーザにブロードキャストし、および／または、直接、提示者および／またはクラス全体等の１人またはそれを上回るユーザに発話することを可能にされてもよい。鑑賞者は、参加者と同一能力を有してもよい、または鑑賞者は、異なる能力を割り当てられてもよい。例えば、いくつかの実装では、鑑賞者は、参加者と異なる証明書を提供することが要求され得る。いくつかの実施形態では、鑑賞者は、視認専用モードに限定されてもよい。いくつかの実施形態では、鑑賞者は、視認者と同一機能性を有してもよいが、視認者は、個人情報（例えば、名前、個人選好、および／または訪問履歴等）を含む、プロファイルを有することが要求され得る一方、鑑賞者は、プロファイルを有することが要求されなくてもよい。

いくつかの実装では、提示者は、仮想部屋内のユーザの全てのビューを制御する。他の実装では、参加者は、その個々のビューにおいてある程度の自律性を与えられる。例えば、参加者は、彼らが、個々の基準に基づいて、そのグローバルビューの個人的サブセット（例えば、個人、グループ、または教室ビュー）としてのグローバルビュー（例えば、通常ビューモードまたはグループビューモード）の吹き出しを有することが可能であるように、仮想オブジェクトのビュー内でカスタマイズされた拡大を開始することを可能にされてもよい。したがって、いくつかの実装では、参加者は、実際には、メイングループビュー（全ての他のユーザと同一である）およびユーザが独立して制御するより小さいカスタマイズされたビュー等、並行してアクティブ化される、仮想オブジェクトの２つまたはそれを上回るビューを有してもよい。いくつかの実装では、個々のユーザによって視認される、仮想コンテンツは、特定のユーザのためにカスタマイズされる。

例証目的のために、下記に議論される、ある実施例は、ある生徒のクラス（例えば、参加者のグループ）および教師（例えば、提示者）による、像の視認を参照する。しかしながら、本特定の実装を参照する、本明細書で議論されるシステムおよび方法は、他の環境内の、ユーザの異なるグループによる、および同一または類似ビューモードを伴う、他のオブジェクトの視認にも等しく適用可能である。したがって、特定の仮想オブジェクト（例えば、像または他の美術館の美術品）を視認する特定のユーザ（例えば、生徒）の議論は、任意の他の仮想オブジェクトを視認する任意の可能性として考えられるユーザの議論を含むものと解釈されるべきである。

いくつかの実装では、仮想部屋に参加する、各ユーザは、名前および／または他の識別情報を提供するように求められる、または情報は、ウェアラブルシステムによってすでに記憶されている、ユーザのプロファイル情報から自動的にアクセスされてもよい。ユーザは、次いで、仮想オブジェクト（例えば、提示者がある生徒のクラスへの表示のために選択している、像）をユーザの環境内に設置するように指示され得る。これは、例えば、ユーザが、その環境を見回し、コントローラを接地面に向け（または他のデバイスまたはジェスチャ）、仮想オブジェクトが位置付けられるべき場所を示すことによって、実施されてもよい。いったん仮想オブジェクトのための好適な場所が、識別されると、ユーザは、トリガボタンを保持し、仮想オブジェクトをその場所に設置することができる。本明細書のいずれかの場所に議論されるように、仮想オブジェクトの設置は、平坦表面の配向および平坦表面の開放面積等のいくつかの要因に基づいて、制限され得る。例えば、生徒参加者は、像をオフィスの椅子上に設置することは可能にされ得ないが、像を生徒の台所内の広平坦水平表面上に設置することは可能にされるであろう。

いったん提示者が、ある部屋に参加すると、セッションは、公式に開始され、全てのユーザには、提示者の声が聞こえ、その姿が見え、かつ提示者のアバタから放出する線によって示され得る、提示者が指している場所が見えることが可能であるであろう。いくつかの実装では、いったん提示者が、ある部屋に進入すると、その音声は、全てのユーザにブロードキャストされるであろう。音声入力は、一方向性として（例えば、生徒は、提示者に話しかけることができない）、または双方向通信のための変動する権利を伴って（例えば、生徒は、生徒が発話することを要求した後、教師によって発話することが認可されること等に応答して、提示者および／または生徒のグループ全体に話しかけることを可能にされてもよい）、構成されてもよい。

提示者に関して、いくつかの実施形態では、提示者のウェアラブルデバイスのコントローラは、セッション内のアイテムを選択するために使用可能である、ポインタおよびツールとして作用してもよい。例えば、コントローラは、あるアイテムに向けられ、トリガが、相互作用のために、そのアイテムを選択するように押下されてもよい。いくつかの実装では、提示者のポインタおよび全ての提示者アクションは、部屋内の他のユーザによって視認可能である。いくつかの実施形態では、提示者は、一時的に、移動およびアクションのブロードキャストを一時停止することを可能にされてもよい。
例示的仮想オブジェクト操作

実装に応じて、仮想オブジェクトの種々の操作が、可能性として考えられる。例えば、第１のセットの操作は、２次元芸術作品のために提供されてもよい一方、別のセットの操作は、３次元芸術作品のために提供される。仮想オブジェクトの操作は、提示者にのみ利用可能であってもよい、またはいくつかの実装では、１人またはそれを上回る参加者または鑑賞者が、一時的または恒久的に、仮想オブジェクトを操作する権利を提供されてもよい。例えば、教師は、生徒が、仮想オブジェクトを操作し、概念の理解を示し得るように、一時的仮想オブジェクト回転権利を生徒に提供してもよい。

図１３Ａ－１３Ｄは、提示者（および／またはある実装では、参加者）によって実施され得る、例示的操作を図示する。図１３Ａは、像１３１０の回転操作を図示する。本実施例では、提示者は、コントローラを像の底部の周囲に位置する矢印１３２０に向けることによって、像１３１０を回転させることが可能である。上記に述べられたように、提示者による像の回転はまた、全ての他のユーザにとっての像の回転を生じさせるであろう。

図１３Ｂは、提示者がユーザに表示されるべき像の付加的詳細および／または像の一部に関する外部データを生じさせることを可能にする、パネル選択アクションを図示する。本実施例では、提示者によって見られる仮想部屋は、ビューのためにアクティブ化され得る、異なるパネルを表す、マーカを含む。図１３Ｂの実施例では、パネルマーカ１３２２は、パネルが利用可能な像の面積上に白色円形として可視化される。提示者は、ポインタを所望のマーカ１３２２上に移動させ、次いで、トリガを押下し（または他のアクティブ化コマンドを提供し）、パネルをアクティブ化してもよい。パネルの選択に応答して、パネルと関連付けられる情報は、像から外におけるコンテンツのアニメーション等を介して、全てのユーザに自動的に表示される。パネルは、アニメーション、音、ビネット、モデル等の任意のタイプのコンテンツを備えてもよい。図１３Ｂの実施例では、パネル１３３０が、パネルマーカ１３２２ａの選択によってアクティブ化されており、部屋内のユーザ（例えば、提示者および複数の参加者および／または鑑賞者）の全てによって視認可能である。本実施例では、青色発光マーカが、選択されたパネルマーカとパネルとの間の関連付けを例証するために、選択されたパネルマーカ１３２２ａからパネル１３３０に向かって延在している。

図１３Ｃは、パネル１３３０と、それぞれ、パネル１３３０のコンテンツの異なる部分と関連付けられる、いくつかの関連付けられる発光マーカ１３４０とを図示する。いくつかの実装では、発光マーカ１３４０は、パネルマーカ１３２２の選択に応じて、直ちに表示され、これは、色または形状を変更し、その選択ステータスを示し得る。いくつかの実装では、発光マーカ１３４０は、像１３１０を横断して見られる、異なるビネットと関連付けられる。提示者は、ポインタを特定の発光マーカ１３４０の上部にホバリングさせ、コントローラ上のトリガを押下し、パネル１３３０の一部としての表示のために、関連付けられるビネットを選択してもよい。有利なこととして、提示者が、パネルと関連付けられるコンテンツの一部を選択するにつれて、部屋内の他のユーザは、並行して、同一コンテンツを提供される。

図１３Ｄは、像１３１０の別のビューを図示し、パネル１３５０が、像１３１０からオフセットされ、発光マーカ１３５２が、像の一部に関連する付加的コンテンツを提供するための選択のために利用可能である。

いくつかの実装では、提示者および／または１人またはそれを上回る認可されたユーザは、種々のディスプレイ設定を仮想部屋内に提案してもよい。例えば、いくつかの実装では、提示者は、コントローラを像から離れるように移動させ、トリガを押下し、像の異なるコントラスト状態間での切替を開始してもよい。同様に、他のコントローラ入力、ジェスチャ、音声コマンド等も、他の視覚的設定を更新するために使用されてもよい。

いくつかの実装では、ユーザは、ホームボタンを押下し、次いで、「退出」を選択することによって、仮想部屋から退出することが可能である。仮想部屋は、いったん提示者が、部屋から出ると、部屋内の全ての他のユーザもまた、セッションから自動的に退出されるように構成されてもよい。
例示的パネルビューモード

種々のパネルビューモードが、共有仮想部屋の異なる実装において利用可能である。これらの複数のパネルビューは、一連のコンテンツを同時に視認する、同一共有空間内の多数の人々に関わる衝突を低減させ得る。例えば、過去からの物語を描写する、微細にエッチングされた描画で被覆される、像等、ユーザがビューを拡大することを所望するであろう、仮想オブジェクトでは、ユーザは、典型的には、パネルの非常に近くまで歩いて行き、それらを読み取る必要があるであろう。しかしながら、これは、教室または講義状況では、生徒が、着席しており、像が、部屋の正面に設置されている場合、非常に困難となる。したがって、複数のパネルビューが、種々のグループサイズおよび状況に適応するために提供されてもよい。いくつかの実装では、提示者は、パネルビューの選択の制御を有する、唯一のユーザである一方、参加者は、選択されたパネルおよび／または仮想オブジェクトを中心としてナビゲートすることを可能にされてもよい。パネルのアクティブ化（または「パネルアクティブ化」）は、ユーザが、像をデフォルトまたは通常状態から、パネルを３つの視認モードのいずれかに段階化し得る、中間状態を開始する。いくつかの実装では、パネルが、アクティブ化されると、本システムは、全てのユーザの頭部姿勢情報を位置特定し、オフセット計算に従って、パネルをレンダリングし、および／またはコンテンツを個別のユーザの座標空間内の床に係留する、ユーザビュー同期ルーチンを実行する。

いくつかの実施形態では、提示者のみが、パネルビューを変更することを認可される一方、他の実施形態では、ある他のユーザ（例えば、参加者および／または鑑賞者）が、あるビューモード変更を実施することが認可されてもよい。いくつかの実装では、参加者（例えば、生徒）は、「いいね」アイコン上にホバリングし、そのコントローラトリガを押下し、彼らが提示の特定の部分を気に入ったことを示すことが可能である。例えば、いくつかの実施形態では、各仮想オブジェクト、パネル、および／またはビネットは、参加者および／または鑑賞者によって選択され得る、「いいね」または「いまいち」ボタンまたはアイコン等の利用可能な関連付けられる参加者フィードバックオプションを有してもよい。

図１４は、ユーザがパネルのビューモードを選択することを可能にする、コントローラ１４１１および関連付けられるビュー選択メニュー１４２０の実施例を図示する。実施形態に応じて、利用可能なビューは、異なってもよく、ある実装では、あるビューは、カスタマイズ可能であってもよい。いくつかの実装では、ビューは、通常ビュー、グループビュー、および個人ビューを含み、これはそれぞれ、下記でさらに詳細に議論される。これらのビューは、図１４に図示されるもの等のメニュー１４２０を使用して選択され、通常ビューアイコン１４７２、グループビューアイコン１４７４、または個人ビューアイコン１４７６を選択してもよい。いくつかの実装では、メニュー１４２０等のビュー変更メニューは、コントローラ１４１１のタッチパッドにタッチすることに応答して、ユーザに提示される。ユーザは、次いで、その親指を左または右に移動させ、所望のビューモードをハイライトし、依然として、タッチパッドにタッチしながら、トリガを押下し、所望のビューモードを選択してもよい。いくつかの実装では、仮想メニュー１４２０が表示された状態で（タッチパッド押下等に応答して）、タッチパッドのある象限を押下することは、事前に選択されるような最も近いＵＩオプションをもたらし、タッチパッドを解放することは、ＵＩメニューを消失させるであろう。いくつかの実装では、例えば、ジェスチャまたは音声コマンド等の他の入力またはコマンドが、ビュー間で切り替えるために使用されてもよい。

通常ビューアイコン１４７２を使用して選択され得る、通常ビューモードは、全てのパネルがアクティブ化解除され、および／または仮想オブジェクトの中に後退された状態で、仮想オブジェクトを表示する。通常ビューモードは、視認セッションが開始されるとアクティブになる、デフォルトモードであってもよく、セッションの間の通常ビューモードの選択は、そのオリジナル状態に戻るように仮想オブジェクトをリセットしてもよい。例えば、任意の回転またはパネル選択は、通常ビューモードが選択されると、リセットされてもよい。

図１５Ａは、通常ビューモードにおける像１３１０を図示する。通常ビューモードは、若干突出される、選択されたパネルを表示し、ユーザが、場面アニメーションを像の身体に近くで再生することを可能にする。通常ビューモードは、１人のみのユーザ（例えば、提示者）がセッション内に存在し、彼らが仮想コンテンツを自分だけで体験することを所望するときに有利であり得る。図１５Ａの実施例では、パネルマーカ１３２２ａが、像１３１０上に、ユーザによって（例えば、提示者によって）制御される、ポインタ１５１０とともに示される。図１５Ａの実施例では、パネルはまだ、像１３１０と別個に表示されるためにアクティブ化されていない。

図１５Ｂは、ポインタ１５１０がパネルマーカ１３２２ａ上に設置され、コントローラのトリガが押下されること等によってパネルマーカ１３２２ａが選択された後の、通常ビューモードを図示する。パネルマーカ１３２２ａの選択は、像１３１０からオフセットされてレンダリングされる、パネル１５２０のレンダリングを開始している。例えば、パネルは、ホバリング時、０．０１ｍ、選択されると、０．１５ｍ、像からオフセットされてもよい。パネルマーカ１３２２ａが、選択されると、複数の発光マーカ１３４０もまた、視認可能であって、これは、個別の発光マーカ１３４０と関連付けられる像の面積に関するさらなる情報を提供するように選択されてもよい。

図１５Ｃおよび１５Ｄは、本明細書で議論される操作を介して可能性として考えられる、像および発光マーカ１３４０の異なるビューを図示する。図１５Ｃは、例えば、パネル１５２０が選択された状態における（パネルマーカ１３２２の選択によって）、像の一部のズームインビューを図示する。本実装では、パネル１５２０は、重複され、像１３１０からオフセットされ、像１３１０の特徴のより詳しい精査を可能にする。図１５Ｄは、パネル１５２０および発光マーカ１３４０が像１３１０の回転に関連して回転された状態における、像１３１０の一部の実質的に側面図のさらなるズームインビューを示す。像１３１０の任意の他の操作が、実施されるにつれて、任意の選択されたパネルおよび関連付けられるマーカの類似操作もまた、適用されてもよい。したがって、ユーザは、表示され得る、パネル選択または他の情報をリセットせずに、仮想オブジェクトを操作することが可能である。

図１６は、グループビューモードが選択された状態における、仮想部屋を図示し、これは、例えば、グループビューアイコン１４７４を使用して選択されてもよい。グループビューモードでは、選択されたパネルは、サイズがスケールアップされ、仮想オブジェクトの上方に（またはその傍に、またはそれに隣接して）示される。例えば、特定の実装では、グループビューは、１．５の値だけパネルをスケールアップし、それを像の身体の中心から１．８４４ｍ上方に、かつ０．３５前方にレンダリングし、パネルは、ユーザが選択している、像の配向に対して、固定された方向に面する。グループビューモードは、小聴衆のために、特に、聴衆が同一物理的空間内にともに存在する場合、最適であり得る。提示者は、任意のビューモード（例えば、通常ビューモードまたは個人ビューモード）のいずれかからグループビューモードに入ることを選択してもよい。いくつかの実装では、パス可能世界の更新は、像を最初に同一共有物理的空間内に設置する、ユーザが、像の初期配向を定義することを可能にし、ローカル空間に参加する、全ての他の新しいユーザに、その配向が見えるであろう。いくつかの実装では、提示者によって行われる像の操作は、パネルの表示に影響を及ぼさない。例えば、参加者によって見られるパネルは、提示者が像を回転させる場合、回転しなくてもよい。いくつかの実装では、本システムは、像のいくつかまたは全ての操作がまた、パネル上で実施され得るように構成されてもよい。

図１７は、個人モードが選択された状態における、仮想部屋を図示し、これは、例えば、個人ビューアイコン１４７６を使用して選択されてもよい。個人ビューモードは、パネル１５２０の拡大ビューをその個々のヘッドセットの正面に提示する。本モードでは、参加者はそれぞれ、個々に、パネル１５２０を移動させ、パネルの異なるビューを取得してもよい。提示者にはまた、パネル１５２０の拡大ビューが見えるが、個々の参加者のパネルは見えないであろう。発光マーカが、提示者によって選択されると、その選択は、部屋内の全てのユーザにストリーミングされるであろう。したがって、個々のビューは、セッション中、各生徒の真正面に、提示者によって選択される、パネルと関連付けられる付加的コンテンツを含む、パネルをテレポートする。いったん設置されると、パネルは、ユーザがそこから離れるように歩き得る場合、ユーザに追従せずに、演壇のように作用する。いくつかの実施形態では、ユーザには、ユーザの個々のパネルのみが見え、他の参加者または提示者の個々のパネルは見えないであろう。全てのユーザには、依然として、同一実世界場所における共有仮想コンテンツ（例えば、部屋の正面における像）が見え得る。本モードは、大聴衆のために最適であり得、したがって、参加者は、パネル上の場面アニメーションを見るために、像の近傍に移動または集まる必要はない。

いくつかの実装では、提示者は、通常ビューモードまたはグループビューモードのいずれかから個人ビューモードに入ることを選択してもよく、同様に、それらのビューモードのいずれかに個人ビューモードから戻ってもよい。いくつかの実施形態では、任意のビューモードが、任意の他のビューモードから選択されてもよい。個人ビューモードは、セッション中、提示者に対して、自信（提示者）を含む、全てのユーザを識別し、選択されたパネルを全てのユーザの前方にレンダリングしてもよい。特定の実装では、個人ビューモードの選択は、パネルを、例えば、ユーザの頭部姿勢から０．７５ｍ前方、０．１５ｍ下方に、かつ－２０度ピッチ、１８０度ヨーだけ回転されて等、ユーザの現在の頭部姿勢に対してオフセットされた場所に設置する。任意の他の好適なオフセットも、使用されてもよい。したがって、いくつかの実装では、パネルは、いったんパネルがユーザの頭部姿勢情報を位置特定すると、オフセット値に従って、パネルをレンダリングし、コンテンツを座標空間に係留するように、ユーザのビューと同期する。いったん係留されると、ユーザは、そこから離れるように歩き得るが、それは、そこに留まる。他の実装では、パネルの他の設置および特性が、個人ビューモードにおいて、自動的に適用されてもよい。提示者が、パネルを個人ビューモードから外れさせると、次いで、本情報は、リセットされる。いくつかの実装では、パネルは、提示者が像を回転させる場合、回転しない。

いくつかの実装では、１つまたはそれを上回る教室ビューが、提示者等に利用可能である。これらの教室ビューは、提示者が、参加者および／または鑑賞者が仮想オブジェクトと相互作用する様子を視認および監視することを可能にする。教室ビューは、コントローラ上の突起を押下する、音声コマンドを提供する、特定のジェスチャを実施する、および／または任意の他の所定の入力等の種々の入力を通して、選択可能であってもよい。

図１８Ａは、教室ビューの一実施例である、位置追跡ビューを図示する。本ビューでは、提示者は、参加者を、彼らが環境を動き回るにつれて、リアルタイムで見ることが可能である。したがって、参加者ヘッドセットの（像または他の仮想オブジェクトに対する）位置および回転は、球体アバタ１８１０（例えば、１８１０Ａ、１８１０Ｂ、１８１０Ｃ）の移動によって見られるであろう。いくつかの実装では、位置追跡ビューは、ユーザの頭部視線方向を示すように修正されてもよく、これはさらに、提示者が、球体アバタ１８１０から延在する光線または線を通して、参加者が視認している対象を監視することを可能にする。図１８Ａの実施例では、頭部視線ビューは、視線方向インジケータ１８２０が提示者に可視であるようにアクティブ化される。したがって、図１８Ａの実施例では、頭部視線インジケータ１８２０Ａは、球体アバタ１８１０Ａと関連付けられるユーザの視線方向を示し、頭部視線インジケータ１８２０Ｂは、球体アバタ１８１０Ｂと関連付けられるユーザの視線方向を示し、頭部視線インジケータ１８２０Ｃは、球体アバタ１８１０Ｃと関連付けられるユーザの視線方向を示す。いくつかの実装では、球体アバタは、頭部視線インジケータ１８２０の代替として、またはそれに加え、視線方向インジケータ１８３０を含むように修正されてもよい。図１８Ａの実施例では、視線方向インジケータ１８３０Ｃは、球体アバタ１８１０Ｃと関連付けられるユーザの視線方向を示すように示される。これらの視線インジケータは、提示者（および／または他のユーザ）が、提示に集中していない可能性がある、ユーザを識別することを可能にする。他の実装では、個々のユーザによって選定され得るカスタムアバタまたはユーザの頭部および顔のアバタ等の他のアバタが、使用されてもよい。加えて、視線方向の他のインジケータが、双方向仮想環境内で使用されてもよい。いくつかの実施形態では、視線ベクトルは、１つまたはそれを上回る内向きに向いた眼カメラ（例えば、図４の内向きに向いた結像システム４６２等）からのデータに基づいてもよい。

図１８Ｂは、スタジアムビューモードを図示し、これは、教室ビューモードの別の実施例である。本ビューでは、参加者のアバタは、参加者および仮想部屋のより整然としたビューのために、グリッド状フォーマット等にスタックされる。本ビューは、提示者が全てのアクティブ参加者が１つの集結された場所において見えることを所望するとき、有用であり得る。いくつかの実施形態では、提示者は、本ビューを見ることが可能である、唯一のユーザであって、本ビューの選択は、参加者の体験に影響を及ぼさないであろう（例えば、参加者は、該当する場合の、提示者が視認している、教室ビューを把握することはないであろう）。図１８Ｂの実施例では、３人の参加者のアイコン１８１０Ａ、１８１０Ｂ、１８１０Ｃが、グリッドパターンにおいて配列され、像１３１０は、複合現実環境内で視認可能であり続ける。スタジアムビューモードは、像１３１０の周囲の円形または半円形等、参加者アバタの他の配列も可能にし得る。
例示的システムおよび動作方法

図１９は、共有視認部屋内のビューモード間の変更を図示する、概念的ブロック図である。付加的またはより少ない視認モードが、異なる実装では、可能性として考えられ得るが、図１９は、通常ビューモード１９２０、グループビューモード１９４０、および個人ビューモード１９５０を図示する。いくつかの実装では、１つまたはそれを上回る教室ビューモードが、ビューモード１９２０、１９４０、１９５０のいずれかからアクセス可能である。

図１９の実施例を参照すると、アプリケーションが、提示者が提示のために仮想部屋にログインするとき等のブロック１９１０から開始する。１人またはそれを上回る参加者および／または鑑賞者が、すでに仮想部屋内に存在し、提示者による提示のアクティブ化を待機している場合がある。通常ビューモード１９２０が、最初に、同一仮想オブジェクトをユーザのそれぞれに表示するために使用される。提示者は、次いで、通常ビューモードにおいて、パネル１９３０をアクティブ化することが可能である（例えば、図１５参照）。パネルがアクティブ化された状態で、提示者は、ビュー選択メニュー（例えば、図１４のメニュー１４２０）をアクティブ化し、異なるビューモードのアクティブ化を開始してもよい。図１９に示されるように、提示者は、グループビューモード１９４０または個人ビューモード１９５０のいずれかに遷移することが可能であり得る。いったん提示者が、ビューモード１９４０または１９５０のいずれかを選択すると、参加者のディスプレイはそれぞれ、その選択されたビューモードに自動的に変換される。提示者は、同一ビュー選択メニューを使用して、ビューモード１９４０と１９５０との間で移動することができる。

グループビューモード１９４０および個人ビューモード１９５０から、提示者は、通常ビューモード１９２０に戻り、仮想オブジェクトに対する操作をリセットし、パネルを選択解除することができる。そこから、提示者は、別のパネルを選択し、種々のビューモード間で遷移する類似プロセスを実施することができる。

図２０Ａおよび２０Ｂは、通常ビューモードから個人ビューモード（図２０Ａ）またはグループビューモード（図２０Ｂ）に変更する際に実施され得る、サーバ２０１５と、提示者２０１０（例えば、サーバに対するクライアントデバイス）と、参加者２０２０（例えば、サーバに対する別のクライアントデバイス）との間の例示的データ通信フローを図示する。例えば、１つの実装では、サーバ２０１５は、システム９２０が、サーバ２０１５を参照して本明細書で議論される機能性を実施するように構成されるように、図９Ａの遠隔コンピューティングシステム９２０と対応する。例えば、サーバ２０１５は、参加者の複数のウェアラブルデバイス等の任意のインターネットアクセス可能デバイスにアクセス可能である、クラウド環境で動作してもよい。本実施例では、提示者２０１０は、ユーザ９３０Ｃ（図９Ａ）と対応し得、参加者２０２０は、ユーザ９３０Ｂ（図９Ａ）と対応し得る。他の実装では、コンピューティングデバイスおよびシステムの他の配列が、本明細書で議論される共同視認部屋動作を実装するために使用されてもよい。実施形態に応じて、図２０Ａおよび２０Ｂの方法は、より少ないまたは付加的アクションを含んでもよく、アクションは、図示されるものと異なる順序で実施されてもよい。例えば、いくつかの実装では、あるアクションは、実施されなくてもよい。

図２０Ａを参照すると、通常ビューモード（またはグループビューモード）における視認部屋では、アクション１において、個人ビューモードに切り替えるための提示者の入力が、クライアント側に打ち込まれ、クライアントデバイス２０１０が、「Ｃｈａｎｇｅｖｉｅｗ［ｖｉｅｗＩＤ＝Ｉｎｄｉｖｉｄｕａｌ］」メッセージをそれ自体に送信する。例えば、情報は、ユーザの現在の頭部姿勢に対して位置付けられるように、パネルをレンダリングするべき場所を示してもよい。例えば、パネルの位置は、ユーザの頭部姿勢から固定されたオフセット前方（例えば、０．５ｍ、０．７５ｍ、１．０ｍ、１．５ｍ等）および固定されたオフセット下方（例えば、０．１ｍ、０．１５ｍ、０．３ｍ等）に設定されてもよい。いくつかの実装では、情報はまた、（例えば、－３０度、－２０度、－１０度等）パネルを回転させ、（例えば、１５５度、１８０度、２１５度等）ヨーを調節する等のために、パネル回転パラメータを示してもよい。

次に、アクション２において、「ＩｎｄｉｖｉｄｕａｌＶｉｅｗＣｈａｎｇｅｄ」メッセージが、サーバ２０１５に伝送され、提示者がビューモードを個人に変更したことを示す。次に、アクション３において、サーバ２０１５は、「Ｃｈａｎｇｅｖｉｅｗ［ｖｉｅｗＩＤ＝Ｉｎｄｉｖｉｄｕａｌ］」メッセージを参加者（クライアント）２０２０に伝送する。アクション４において、参加者（クライアント）デバイス２０２０は、サーバメッセージを受信し、「Ｃｈａｎｇｅｖｉｅｗ［ｖｉｅｗＩＤ＝Ｉｎｄｉｖｉｄｕａｌ］」メッセージをそれ自体に送信し、個人ビューモードへの変更を開始する。詳細な個々のビュー情報（例えば、参加者の現在の頭部姿勢に基づいて参加者のためのパネルを位置付けるため）を示す、ビュー変更メッセージ（例えば、Ｃｈａｎｇｅｖｉｅｗ［ｖｉｅｗＩＤ＝Ｉｎｄｉｖｉｄｕａｌ］）は、上記のアクション１および２において提示者（クライアント）２０１０によって使用される、ビュー変更メッセージと同じであってもよい。代替として、いくつかの実装では、個々のビュー情報は、提示者２０１０および参加者２０２０に関して異なってもよい。

図２０Ｂを参照すると、通常ビューモード（または個人ビューモード）における視認部屋では、アクション５において、グループビューモードに切り替えるための提示者の入力が、クライアント側に打ち込まれ、クライアントデバイス２０１０は、「Ｃｈａｎｇｅｖｉｅｗ［ｖｉｅｗＩＤ＝Ｇｒｏｕｐ］」メッセージをそれ自体に送信する。例えば、選択されたパネルを所定の量（例えば、１５０％、２００％、３００％等）だけスケールアップし、パネルを仮想オブジェクトの中心から（例えば、像身体の胸部から）仮想オブジェクトの所定の距離（例えば、１ｍ、１．８４４ｍ、２ｍ、３ｍ、４ｍ等）だけ上方に、および／または仮想オブジェクトの所定の距離（例えば、０．１ｍ、０．２ｍ、０．３ｍ、０．３５ｍ、０．５ｍ、１．０ｍ等）だけ前方にレンダリングするための情報が、クライアントデバイス２０１０によって処理される。

次に、アクション６において、「ＧｒｏｕｐＶｉｅｗＣｈａｎｇｅｄ」メッセージが、サーバ２０１５に伝送され、提示者がビューモードをグループに変更したことを示す。次に、アクション７において、サーバ２０１５は、「Ｃｈａｎｇｅｖｉｅｗ［ｖｉｅｗＩＤ＝Ｇｒｏｕｐ］」メッセージを参加者（クライアント）２０２０に伝送する。８において、参加者（クライアント）デバイス２０２０は、サーバメッセージを受信し、「Ｃｈａｎｇｅｖｉｅｗ［ｖｉｅｗＩＤ＝Ｇｒｏｕｐ］」メッセージをそれ自体に送信し、グループビューモードへの変更を開始する。詳細なグループビュー情報（例えば、パネルのスケーリング、パネルを仮想オブジェクトの上方にレンダリングするための位置、および／または仮想オブジェクトからのオフセット距離）を示す、ビュー変更メッセージ（例えば、Ｃｈａｎｇｅｖｉｅｗ［ｖｉｅｗＩＤ＝Ｇｒｏｕｐ］）は、上記のアクション５および６において提示者（クライアント）２０１０によって使用される、グループビュー情報と同じであってもよい。代替として、いくつかの実装では、グループビュー情報は、提示者２０１０および参加者２０２０に関して異なってもよい。

いくつかの実装では、パネルビューは、直接、パス可能世界データを使用しなくてもよく、ユーザの頭部姿勢情報にのみ依拠してもよい。そのような実装では、パス可能世界データは、ユーザが仮想オブジェクト（例えば、像）をその空間内に設置するときのアプリケーションの開始時にのみ使用されてもよい。
例示的実装

本明細書に説明されるシステム、方法、およびデバイスはそれぞれ、いくつかの側面を有するが、そのうちの単一の１つのみが、その望ましい属性に関与するわけではない。本開示の範囲を限定することなく、いくつかの非限定的特徴が、ここで、簡単に議論されるであろう。以下の段落は、本明細書に説明されるデバイス、システム、および方法の種々の例示的実装を説明する。１つまたはそれを上回るコンピュータのシステムが、動作時、本システムにアクションを実施させる、ソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせをシステム上にインストールさせることによって、特定の動作またはアクションを実施するように構成されることができる。１つまたはそれを上回るコンピュータプログラムが、データ処理装置によって実行されると、本装置にアクションを実施させる、命令を含むことによって、特定の動作またはアクションを実施するように構成されることができる。

１つの一般的側面は、仮想オブジェクトを含む仮想環境と関連付けられる、複数のウェアラブルシステムを決定するステップであって、複数のウェアラブルシステムは、他のウェアラブルシステムのビューを更新することが認可される、第１のウェアラブルシステムを含む、ステップを含む、方法を含む。本方法はまた、第１のウェアラブルシステムが、提示者に、仮想オブジェクトに関するマルチメディアコンテンツのパネルと関連付けられる、パネル選択面積を含む、仮想オブジェクトのビューを描写し、提示者によるパネル選択面積の選択が、パネルの表示を仮想オブジェクトを基準とした第１の場所に生じさせることを含んでもよい。本方法はまた、第１のウェアラブルシステムからのビュー変更入力を検出するステップを含んでもよい。本方法はまた、ビュー変更入力が個人ビューモードを示すことの決定に応答して、視認環境と関連付けられるウェアラブルシステムのそれぞれに、ウェアラブルシステムの出力を更新し、パネルをウェアラブルシステムのユーザの現在の頭部姿勢に対して第２の場所に表示するための命令を伝送するステップを含んでもよい。本方法はまた、ビュー変更入力がグループビューモードを示すことの決定に応答して、視認環境と関連付けられるウェアラブルシステムのそれぞれに、ウェアラブルシステムの出力を更新し、パネルを仮想オブジェクトを基準とした第３の場所に表示するための命令を伝送するステップを含んでもよい。本側面の他の実施形態は、対応するコンピュータシステム、装置、およびそれぞれ、本方法のアクションを実施するように構成される、１つまたはそれを上回るコンピュータ記憶デバイス上に記録される、コンピュータプログラムを含む。

実装は、以下の特徴のうちの１つまたはそれを上回るものを含んでもよい。第１のウェアラブルシステム上の音声入力が、複数のウェアラブルシステムのそれぞれにブロードキャストされる、方法。本方法はさらに、提示者による仮想オブジェクトの回転に応答して、複数のウェアラブルシステムのディスプレイ内において、仮想オブジェクトの回転を自動的に開始するステップを含む。本方法はさらに、ビュー変更入力が、教室ビューモードを示すことの決定に応答して、第１のウェアラブルシステムの視認環境を更新し、複数のウェアラブルシステムと関連付けられる複数のアバタを含めるステップを含む。仮想環境内の複数のアバタの場所が、リアルタイムで更新され、したがって、提示者が、ウェアラブルシステムのユーザの移動を視認する、方法。複数のアバタが、提示者によって視認可能な仮想環境内にあるパターンで配列される、方法。アバタの視線方向が、提示者の視認環境内に視覚的に示される、方法。視線方向が、アバタ上のマーキングを用いて視覚的に示される、方法。視線方向が、アバタから決定された視線方向に外向きに延在する線を用いて視覚的に示される、方法。本方法はさらに、第１のウェアラブルシステムを介して、ビューメニューを提示者に提示するステップであって、ビューメニューは、ビュー変更入力と関連付けられる、選択可能オプションを含む、ステップを含む。パネルが、個別のコンテンツと関連付けられる、１つまたはそれを上回る発光マーカを含む、方法。発光マーカが、着色円形として可視である、方法。第１のウェアラブルシステムが、提示者が、仮想オブジェクトを回転させるための入力を提供することを可能にするように構成される、方法。仮想オブジェクトを基準とした第１の場所は、第１の距離だけ仮想オブジェクトから離れるようにオフセットされる、方法。パネルが、グループビューモードにおいて拡大される、方法。仮想オブジェクトを基準とした第３の場所が、第１の距離を上回る第２の距離だけ仮想オブジェクトから離れるようにオフセットされる、方法。第３の場所が、仮想オブジェクトの上方にある、方法。個人ビューモードにある、各ウェアラブルシステムが、個々のユーザによってのみ視認可能である、パネルの個々のビューを表示する、方法。第１のウェアラブルシステムが、第１のユーザと相互作用し、第１のユーザからのビュー変更入力を受信するように構成される、ハンドヘルドコントローラに結合される、方法。説明される技法の実装は、ハードウェア、方法、またはプロセス、またはコンピュータアクセス可能媒体上のコンピュータソフトウェアを含んでもよい。

１つの一般的側面は、仮想オブジェクトを含む仮想場面と関連付けられる、複数のウェアラブルシステムを決定し、ウェアラブルシステムはそれぞれ、ウェアラブルシステムの個別のユーザに、（ｉ）ウェアラブルシステム毎に同一である、仮想オブジェクトと関連付けられる、仮想場面の共有部分と、（ｉｉ）個々のユーザによってカスタマイズ可能である、仮想オブジェクトと関連付けられる、仮想場面の個々の部分とを描写する、方法を含む。本方法はまた、ウェアラブルシステムのうちの少なくとも１つが、仮想場面のビューモードを変更するための入力を受信するように構成され、ビューモードが、共有部分および個々の部分のそれぞれ内に含まれる、仮想場面の部分を定義することを含んでもよい。本方法はまた、現在選択されているビューモードに従って、ウェアラブルシステムのそれぞれと、仮想場面情報を電子的に通信するステップを含んでもよい。本側面の他の実施形態は、対応するコンピュータシステム、装置、およびそれぞれ、本方法のアクションを実施するように構成される、１つまたはそれを上回るコンピュータ記憶デバイス上に記録される、コンピュータプログラムを含む。

実装は、以下の特徴のうちの１つまたはそれを上回るものを含んでもよい。ビューモードが、少なくとも、仮想オブジェクトと関連付けられる情報の詳細ビューをウェアラブルシステムのユーザの現在の頭部姿勢に対して第１の場所に表示する、第１のビューモードと、詳細ビューを仮想オブジェクトを基準とした第２の場所に表示する、第２のビューモードとを含む、方法。詳細ビューが、仮想オブジェクト上に表示される詳細ビュー選択アイテムの選択に応答して表示される、方法。詳細ビューが、仮想オブジェクト上に表示される詳細ビュー選択アイテムの選択に応答して表示される、方法。仮想オブジェクトと関連付けられる第２の情報の第２の詳細ビューが、仮想オブジェクト上に表示される第２の詳細ビュー選択アイテムの選択に応答して表示される、方法。詳細ビューが、第２の詳細ビューが表示のために選択されると、もはや表示されない、方法。詳細ビューが、パネルを含む、方法。詳細ビューが、仮想場面の個々の部分内に含まれ、個々のユーザによってカスタマイズ可能である、方法。グループビューモードでは、詳細ビューが、仮想場面の共有部分内に含まれ、ウェアラブルシステム毎に同一である、方法。仮想場面の共有部分が、全てのユーザのために固定された実世界場所にあって、仮想場面の個々の部分が、ユーザの対応する異なる実世界場所において、各個々のユーザに対して位置付けられる、方法。各ウェアラブルシステムが、ユーザが、仮想場面内の他のユーザの移動に影響を及ぼさずに、仮想場面の共有部分内で仮想的に移動することを可能にするように構成される、方法。仮想場面の個々の部分が、特定のウェアラブルシステムのユーザによってのみ可視および操作可能である、方法。ウェアラブルシステムのうちの少なくとも１つが、仮想オブジェクトの操作がウェアラブルシステムのそれぞれによって表示されるように、仮想オブジェクトを操作するように構成される、方法。ウェアラブルシステムがそれぞれ、個別のユーザに、仮想場面と組み合わせて、ユーザの実世界環境の少なくとも部分的ビューを提供するように構成される、方法。説明される技法の実装は、ハードウェア、方法、またはプロセス、またはコンピュータアクセス可能媒体上のソフトウェアコンピュータを含んでもよい。
付加的考慮点

本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。

さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、アニメーションまたはビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。

コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。

本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、本明細書に提供される例証的実施例に追加される、そこから削除される、修正される、または別様にそこから変更されることができる。いくつかの実装では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、いずれの特定のシーケンスにも限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実装に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証目的のためであり、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。

本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。

本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実装に必要または必須ではない。

とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実装がある特徴、要素、またはステップを含む一方、他の実装がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つまたはそれを上回る実装に対していかようにも要求されること、または１つまたはそれを上回る実装が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実装において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを含意することを意図するものではない。用語「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」、「～を含む（ｉｎｃｌｕｄｉｎｇ）」、「～を有する（ｈａｖｉｎｇ）」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つまたはそれを上回る」または「少なくとも１つ」を意味するように解釈されるべきである。

本明細書で使用されるように、項目のリスト「～のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実装が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図するものではない。

同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つまたはそれを上回る例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つまたはそれを上回る付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (66)

1. コンピュータ化された方法であって、前記方法は、コンピューティングシステムによって実施され、前記コンピューティングシステムは、１つまたはそれを上回るハードウェアコンピュータプロセッサと、１つまたはそれを上回る非一過性コンピュータ可読記憶デバイスとを有し、前記１つまたはそれを上回る非一過性コンピュータ可読記憶デバイスは、前記コンピュータ化された方法を実施するために、前記コンピューティングシステムによって実行可能なソフトウェア命令を記憶しており、前記方法は、
   仮想オブジェクトを含む仮想環境と関連付けられる複数のウェアラブルシステムを決定することであって、前記複数のウェアラブルシステムは、複数の参加者ウェアラブルシステムと、前記参加者ウェアラブルシステムのビューを更新することが認可される提示者ウェアラブルシステムとを含み、
   前記提示者ウェアラブルシステムは、提示者に、前記仮想オブジェクトに関連するマルチメディアコンテンツのパネルと関連付けられるパネル選択面積を含む前記仮想オブジェクトのビューを描写し、前記提示者による前記パネル選択面積の選択は、前記仮想オブジェクトを基準として、前記マルチメディアコンテンツのパネルの表示を第１の場所に生じさせる、ことと、
   前記提示者ウェアラブルシステムからのビュー変更入力を検出することと、
   前記ビュー変更入力が個人ビューモードを示すことの決定に応答して、前記参加者ウェアラブルシステムのそれぞれに、前記参加者ウェアラブルシステムの出力を更新し、前記個別の参加者ウェアラブルシステムの現在の頭部姿勢に対して、前記マルチメディアコンテンツのパネルを第２の場所に表示するための命令を伝送すること、または
   前記ビュー変更入力がグループビューモードを示すことの決定に応答して、前記参加者ウェアラブルシステムのそれぞれに、前記参加者ウェアラブルシステムの出力を更新し、前記仮想オブジェクトを基準として、前記マルチメディアコンテンツのパネルを第３の場所に表示するための命令を伝送することと
   を含む、コンピュータ化された方法。
2. 前記提示者ウェアラブルシステム上の音声入力は、前記参加者ウェアラブルシステムのそれぞれにブロードキャストされる、請求項１に記載の方法。
3. 前記提示者による前記仮想オブジェクトの回転に応答して、前記参加者ウェアラブルシステムのディスプレイ内で前記仮想オブジェクトの回転を自動的に開始することをさらに含む、請求項１または請求項２に記載の方法。
4. 前記ビュー変更入力が、教室ビューモードを示すことの決定に応答して、前記参加者ウェアラブルシステムのそれぞれに、前記参加者ウェアラブルシステムの出力を更新し、対応する複数の前記参加者ウェアラブルシステムと関連付けられる複数のアバタを含めるための命令を伝送することをさらに含む、請求項１－３のいずれか１項に記載の方法。
5. 前記仮想環境内の前記複数のアバタの場所は、リアルタイムで更新され、前記提示者ウェアラブルシステムに、前記参加者ウェアラブルシステムの移動を表示させる、請求項４に記載の方法。
6. 前記複数のアバタは、前記提示者ウェアラブルシステム内に表示される仮想環境内にあるパターンで配列される、請求項４または請求項５に記載の方法。
7. 前記アバタの視線方向は、前記提示者ウェアラブルシステム内に表示される視認環境内に視覚的に示される、請求項４－６のいずれか１項に記載の方法。
8. 前記視線方向は、前記アバタ上のマーキングを用いて視覚的に示される、請求項７に記載の方法。
9. 前記視線方向は、前記アバタから前記決定された視線方向に外向きに延在する線を用いて視覚的に示される、請求項７または請求項８に記載の方法。
10. 前記提示者ウェアラブルシステムの出力を更新し、ビュー変更入力と関連付けられる選択可能オプションを含むビューメニューを表示することをさらに含む、請求項１－９のいずれか１項に記載の方法。
11. 前記マルチメディアコンテンツのパネルは、個別のコンテンツと関連付けられる１つまたはそれを上回る発光マーカを含む、請求項１－１０のいずれか１項に記載の方法。
12. 前記発光マーカは、着色円形として可視である、請求項１１に記載の方法。
13. 前記提示者ウェアラブルシステムは、前記提示者が、前記仮想オブジェクトを回転させるための入力を提供することを可能にするように構成される、請求項１－１２のいずれか１項に記載の方法。
14. 前記仮想オブジェクトを基準とした前記第１の場所は、第１の距離だけ前記仮想オブジェクトから離れるようにオフセットされる、請求項１－１３のいずれか１項に記載の方法。
15. 前記マルチメディアコンテンツのパネルは、前記グループビューモードにおいて拡大される、請求項１－１４のいずれか１項に記載の方法。
16. 前記仮想オブジェクトを基準とした前記第３の場所は、前記第１の距離を上回る第２の距離だけ前記仮想オブジェクトから離れるようにオフセットされる、請求項１－１５のいずれか１項に記載の方法。
17. 前記第３の場所は、前記仮想オブジェクトの上方にある、請求項１に記載の方法。
18. 前記個人ビューモードにおける各参加者ウェアラブルシステムは、前記個々のユーザによってのみ視認可能な前記マルチメディアコンテンツのパネルの個々のビューを表示する、請求項１－１７のいずれか１項に記載の方法。
19. 前記提示者ウェアラブルシステムは、前記提示者と相互作用し、前記提示者からの前記ビュー変更入力を受信するように構成されるハンドヘルドコントローラと通信する、請求項１－１８のいずれか１項に記載の方法。
20. コンピュータ化された方法であって、前記方法は、コンピューティングシステムによって実施され、前記コンピューティングシステムは、１つまたはそれを上回るハードウェアコンピュータプロセッサと、１つまたはそれを上回る非一過性コンピュータ可読記憶デバイスとを有し、前記１つまたはそれを上回る非一過性コンピュータ可読記憶デバイスは、前記コンピュータ化された方法を実施するために、前記コンピューティングシステムによって実行可能なソフトウェア命令を記憶しており、前記方法は、
    仮想オブジェクトを含む仮想場面と関連付けられる複数のウェアラブルシステムを決定することであって、前記ウェアラブルシステムはそれぞれ、（ｉ）ウェアラブルシステム毎に同一である前記仮想オブジェクトと関連付けられる前記仮想場面の共有部分と、（ｉｉ）前記個々のユーザによってカスタマイズ可能である前記仮想オブジェクトと関連付けられる前記仮想場面の個々の部分とを描写し、
    前記ウェアラブルシステムのうちの少なくとも１つは、前記仮想場面のビューモードを変更するための入力を受信するように構成され、前記ビューモードは、前記共有部分および個々の部分のうちの１つまたはそれを上回るもの内に含まれる前記仮想場面の部分を定義する、ことと、
    現在選択されているビューモードに従って、前記ウェアラブルシステムのそれぞれと、仮想場面情報を電子的に通信することと
    を含む、コンピュータ化された方法。
21. 前記ビューモードは、少なくとも、
    前記仮想オブジェクトと関連付けられる情報の詳細ビューの表示を個別のウェアラブルシステムの現在の頭部姿勢に対して異なる場所に生じさせる第１のビューモードと、
    前記詳細ビューの表示を前記ウェアラブルシステムのそれぞれ内の前記仮想オブジェクトを基準とした第２の場所に生じさせる第２のビューモードと
    を含む、請求項２０に記載の方法。
22. 前記詳細ビューは、前記仮想オブジェクト上に表示される詳細ビュー選択アイテムの選択に応答して表示される、請求項２１に記載の方法。
23. 前記詳細ビュー選択アイテムの選択は、提示者ウェアラブルシステムによって実施される、請求項２２に記載の方法。
24. 前記仮想オブジェクトと関連付けられる第２の情報の第２の詳細ビューは、前記仮想オブジェクト上に表示される第２の詳細ビュー選択アイテムの選択に応答して表示される、請求項２１－２２のいずれか１項に記載の方法。
25. 前記詳細ビューは、前記第２の詳細ビューが表示のために選択されると、もはや表示されない、請求項２４に記載の方法。
26. 前記詳細ビューは、パネルを備える、請求項２１－２５のいずれか１項に記載の方法。
27. 前記仮想場面の共有部分は、全てのユーザのために固定された実世界場所にあり、前記仮想場面の個々の部分は、前記ユーザの対応する異なる実世界場所における各個々のユーザに対して位置付けられる、請求項２２－２６のいずれか１項に記載の方法。
28. 各ウェアラブルシステムは、前記ユーザが、前記仮想場面内の他のユーザの移動に影響を及ぼさずに、前記仮想場面の共有部分内で仮想的に移動することを可能にするように構成される、請求項２２－２７のいずれか１項に記載の方法。
29. 前記仮想場面の個々の部分は、前記特定のウェアラブルシステムのユーザによってのみ可視および操作可能である、請求項２２－２８のいずれか１項に記載の方法。
30. 前記詳細ビューは、前記仮想場面の個々の部分内に含まれ、前記個々のユーザによってカスタマイズ可能である、請求項２１－２９のいずれか１項に記載の方法。
31. 前記第２のビューモードでは、前記詳細ビューは、前記仮想場面の共有部分内に含まれ、ウェアラブルシステム毎に同一である、請求項２１－３０のいずれか１項に記載の方法。
32. 前記ウェアラブルシステムのうちの少なくとも１つは、前記仮想オブジェクトの操作が前記ウェアラブルシステムのそれぞれによって表示されるように、前記仮想オブジェクトを操作するように構成される、請求項２２－３１のいずれか１項に記載の方法。
33. 前記ウェアラブルシステムはそれぞれ、個別のユーザに、前記仮想場面と組み合わせて、前記ユーザの実世界環境の少なくとも部分的ビューを提供するように構成される、請求項２２－３２のいずれか１項に記載の方法。
34. コンピューティングシステムであって、
    ハードウェアコンピュータプロセッサと、
    非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、その上に記憶されるソフトウェア命令を有しており、前記ソフトウェア命令は、前記コンピューティングシステムに、
    仮想オブジェクトを含む仮想環境と関連付けられる複数のウェアラブルシステムを決定することであって、前記複数のウェアラブルシステムは、複数の参加者ウェアラブルシステムと、前記参加者ウェアラブルシステムのビューを更新することが認可される提示者ウェアラブルシステムとを含み、
    前記提示者ウェアラブルシステムは、提示者に、前記仮想オブジェクトに関連するマルチメディアコンテンツのパネルと関連付けられるパネル選択面積を含む前記仮想オブジェクトのビューを描写し、前記提示者による前記パネル選択面積の選択は、前記仮想オブジェクトを基準として、前記マルチメディアコンテンツのパネルの表示を第１の場所に生じさせる、ことと、
    前記提示者ウェアラブルシステムからのビュー変更入力を検出することと、
    前記ビュー変更入力が個人ビューモードを示すことの決定に応答して、前記参加者システムのそれぞれに、前記参加者ウェアラブルシステムの出力を更新し、前記マルチメディアコンテンツのパネルを前記個別の参加者ウェアラブルシステムの現在の頭部姿勢に対して第２の場所に表示するための命令を伝送すること、または
    前記ビュー変更入力がグループビューモードを示すことの決定に応答して、前記参加者ウェアラブルシステムのそれぞれに、前記参加者ウェアラブルシステムの出力を更新し、前記仮想オブジェクトを基準として、前記マルチメディアコンテンツのパネルを第３の場所に表示するための命令を伝送することと
    を含む動作を実施させるために、前記ハードウェアコンピュータプロセッサによって実行可能である、非一過性コンピュータ可読媒体と
    を備える、コンピューティングシステム。
35. 前記提示者ウェアラブルシステム上の音声入力は、前記参加者ウェアラブルシステムのそれぞれにブロードキャストされる、請求項３４に記載のコンピューティングシステム。
36. 前記命令はさらに、前記コンピューティングシステムに、
    前記提示者による前記仮想オブジェクトの回転に応答して、前記参加者ウェアラブルシステムのディスプレイ内で前記仮想オブジェクトの回転を自動的に開始させる、請求項３４または請求項３５に記載のコンピューティングシステム。
37. 前記命令はさらに、前記コンピューティングシステムに、
    前記ビュー変更入力が、教室ビューモードを示すことの決定に応答して、前記参加者ウェアラブルシステムのそれぞれに、前記参加者ウェアラブルシステムの出力を更新し、対応する複数の前記参加者ウェアラブルシステムと関連付けられる複数のアバタを含めるための命令を伝送させる、請求項３４－３６のいずれか１項に記載のコンピューティングシステム。
38. 前記仮想環境内の前記複数のアバタの場所は、リアルタイムで更新され、前記提示者ウェアラブルシステムに、前記参加者ウェアラブルシステムの移動を表示させる、請求項３７に記載のコンピューティングシステム。
39. 前記複数のアバタは、前記提示者ウェアラブルシステム内に表示される仮想環境内にあるパターンで配列される、請求項３７または請求項３８に記載のコンピューティングシステム。
40. 前記アバタの視線方向は、前記提示者ウェアラブルシステム内に表示される視認環境内に視覚的に示される、請求項３７－３９のいずれか１項に記載のコンピューティングシステム。
41. 前記視線方向は、前記アバタ上のマーキングを用いて視覚的に示される、請求項４０に記載のコンピューティングシステム。
42. 前記視線方向は、前記アバタから前記決定された視線方向に外向きに延在する線を用いて視覚的に示される、請求項４０または請求項４１に記載のコンピューティングシステム。
43. 前記命令はさらに、前記コンピューティングシステムに、
    前記提示者ウェアラブルシステムの出力を更新し、ビュー変更入力と関連付けられる選択可能オプションを含むビューメニューを表示させる、請求項３４－４２のいずれか１項に記載のコンピューティングシステム。
44. 前記マルチメディアコンテンツのパネルは、個別のコンテンツと関連付けられる１つまたはそれを上回る発光マーカを含む、請求項３４－４３のいずれか１項に記載のコンピューティングシステム。
45. 前記発光マーカは、着色円形として可視である、請求項４４に記載のコンピューティングシステム。
46. 前記提示者ウェアラブルシステムは、前記提示者が、前記仮想オブジェクトを回転させるための入力を提供することを可能にするように構成される、請求項３４－４５のいずれか１項に記載のコンピューティングシステム。
47. 前記仮想オブジェクトを基準とした前記第１の場所は、第１の距離だけ前記仮想オブジェクトから離れるようにオフセットされる、請求項３４－４６のいずれか１項に記載のコンピューティングシステム。
48. 前記マルチメディアコンテンツのパネルは、前記グループビューモードにおいて拡大される、請求項３４－４７のいずれか１項に記載のコンピューティングシステム。
49. 前記仮想オブジェクトを基準とした前記第３の場所は、前記第１の距離を上回る第２の距離だけ前記仮想オブジェクトから離れるようにオフセットされる、請求項３４－４８のいずれか１項に記載のコンピューティングシステム。
50. 前記第３の場所は、前記仮想オブジェクトの上方にある、請求項３４－４９のいずれか１項に記載のコンピューティングシステム。
51. 前記個人ビューモードにおける各参加者ウェアラブルシステムは、前記個々のユーザによってのみ視認可能な前記マルチメディアコンテンツのパネルの個々のビューを表示する、請求項３４－５０のいずれか１項に記載のコンピューティングシステム。
52. 前記提示者ウェアラブルシステムは、提示者と相互作用し、前記提示者からの前記ビュー変更入力を受信するように構成されるハンドヘルドコントローラと通信する、請求項３４－５１のいずれか１項に記載のコンピューティングシステム。
53. コンピューティングシステムであって、
    ハードウェアコンピュータプロセッサと、
    非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、その上に記憶されるソフトウェア命令を有しており、前記ソフトウェア命令は、前記コンピューティングシステムに、
    仮想オブジェクトを含む仮想場面と関連付けられる複数のウェアラブルシステムを決定することであって、前記ウェアラブルシステムはそれぞれ、（ｉ）ウェアラブルシステム毎に同一である前記仮想オブジェクトと関連付けられる前記仮想場面の共有部分と、（ｉｉ）前記個々のユーザによってカスタマイズ可能である前記仮想オブジェクトと関連付けられる前記仮想場面の個々の部分とを描写し、
    前記ウェアラブルシステムのうちの少なくとも１つは、前記仮想場面のビューモードを変更するための入力を受信するように構成され、前記ビューモードは、前記共有部分および個々の部分のうちの１つまたはそれを上回るもの内に含まれる前記仮想場面の部分を定義する、ことと、
    現在選択されているビューモードに従って、前記ウェアラブルシステムのそれぞれと、仮想場面情報を電子的に通信することと
    を含む動作を実施させるために、前記ハードウェアコンピュータプロセッサによって実行可能である、非一過性コンピュータ可読媒体と
    を備える、コンピューティングシステム。
54. 前記ビューモードは、少なくとも、
    前記仮想オブジェクトと関連付けられる情報の詳細ビューの表示を個別のウェアラブルシステムの現在の頭部姿勢に対して異なる場所に生じさせる第１のビューモードと、
    前記詳細ビューの表示を前記ウェアラブルシステムのそれぞれ内の前記仮想オブジェクトを基準とした第２の場所に生じさせる第２のビューモードと
    を含む、請求項５３に記載のコンピューティングシステム。
55. 前記詳細ビューは、前記仮想オブジェクト上に表示される詳細ビュー選択アイテムの選択に応答して表示される、請求項５４に記載のコンピューティングシステム。
56. 前記詳細ビューは、前記仮想オブジェクト上に表示される詳細ビュー選択アイテムの選択に応答して表示される、請求項５４に記載のコンピューティングシステム。
57. 前記仮想オブジェクトと関連付けられる第２の情報の第２の詳細ビューは、前記仮想オブジェクト上に表示される第２の詳細ビュー選択アイテムの選択に応答して表示される、請求項５４－５６のいずれか１項に記載のコンピューティングシステム。
58. 前記詳細ビューは、前記第２の詳細ビューが表示のために選択されると、もはや表示されない、請求項５７に記載のコンピューティングシステム。
59. 前記詳細ビューは、パネルを備える、請求項５４－５８のいずれか１項に記載のコンピューティングシステム。
60. 前記仮想場面の共有部分は、全てのユーザのために固定された実世界場所にあり、前記仮想場面の個々の部分は、前記ユーザの対応する異なる実世界場所における各個々のユーザに対して位置付けられる、請求項５３－５９のいずれか１項に記載のコンピューティングシステム。
61. 各ウェアラブルシステムは、前記ユーザが、前記仮想場面内の他のユーザの移動に影響を及ぼさずに、前記仮想場面の共有部分内で仮想的に移動することを可能にするように構成される、請求項５３－６０のいずれか１項に記載のコンピューティングシステム。
62. 前記仮想場面の個々の部分は、前記特定のウェアラブルシステムのユーザによってのみ可視および操作可能である、請求項５３－６１のいずれか１項に記載のコンピューティングシステム。
63. 前記詳細ビューは、前記仮想場面の個々の部分内に含まれ、前記個々のユーザによってカスタマイズ可能である、請求項５４－６２のいずれか１項に記載のコンピューティングシステム。
64. 前記第２のビューモードでは、前記詳細ビューは、前記仮想場面の共有部分内に含まれ、ウェアラブルシステム毎に同一である、請求項５４－６３のいずれか１項に記載のコンピューティングシステム。
65. 前記ウェアラブルシステムのうちの少なくとも１つは、前記仮想オブジェクトの操作が前記ウェアラブルシステムのそれぞれによって表示されるように、前記仮想オブジェクトを操作するように構成される、請求項５３－６４のいずれか１項に記載のコンピューティングシステム。
66. 前記ウェアラブルシステムはそれぞれ、個別のユーザに、前記仮想場面と組み合わせて、前記ユーザの実世界環境の少なくとも部分的ビューを提供するように構成される、請求項５３－６５のいずれか１項に記載のコンピューティングシステム。

Images