JP2022516221A - Ａｒ／ｖｒ環境におけるユーザ注意のオーディオインジケータ - Google Patents

Abstract

拡張現実／仮想現実（ＡＲ／ＶＲ）システムにおける、ユーザに別のユーザからの注意について通知する方法が提供される。本方法は、ＡＲ／ＶＲシステムの第１のユーザに対して第１の電子ディスプレイ上で第１の画像を表示することと、ＡＲ／ＶＲシステムの第２のユーザまたは第１の画像中の第２のユーザのアバターに対する第１のユーザの視線を検出すると、第１のユーザを第２のユーザに対してより可聴にするように、第１のユーザから第２のユーザへのオーディオ通信チャネルのパラメータを変更することによって、第２のユーザに第１のユーザの視線について通知することとを含む。【選択図】図１

Description

本開示は、視覚ディスプレイおよびディスプレイシステムに関し、詳細には、ウェアラブルディスプレイおよびそれらのための方法に関する。

ウェアラブルディスプレイは、ユーザに仮想画像を提示するために、あるいは動的情報、データ、または仮想オブジェクトで現実世界画像を拡張するために使用され得る。仮想現実（ＶＲ）風景または拡張現実（ＡＲ）風景は、体験を向上させ、ユーザによって観測された現実オブジェクトに仮想オブジェクトを整合させるために、３次元であり得る。シミュレートされたまたは拡張された環境への没入のより良好な体験を提供するために、空間におけるユーザの眼の位置および視線方向、および／または向きがリアルタイムで追跡され得、ユーザの頭部の向きおよび視線方向に応じて、表示される風景が動的に調整され得る。

ウェアラブルディスプレイは、ユーザ間のソーシャル対話をシミュレートまたは拡張するために使用され得る。たとえば、仮想会議アプリケーションでは、仮想会議室中のアバターによって表されるユーザが、互いに話すこと、ユーザのグループに情報を提示することなどによって、互いと対話し得る。ソーシャル集会イベントのＡＲ／ＶＲシミュレーションの１つの欠点は、ユーザが、ＡＲ／ＶＲ環境により、孤立しているまたは方向感覚を失っている（ｄｉｓｏｒｉｅｎｔｅｄ）と感じ、ユーザ間のソーシャルコンタクトがあまり簡単でなくなり得ることである。

本明細書で開示される方法およびシステムは、ユーザがＡＲ／ＶＲ環境中の（１つまたは複数の）他のユーザの注意を引きつけることを可能にするために採用され得る。ＡＲ／ＶＲシステムは、異なるユーザによって着用されるべき複数のウェアラブルディスプレイと、コントローラとを含み得る。ウェアラブルディスプレイは、各々、ユーザに対してＶＲ画像を表示するための、ならびに／または観測された外部世界をＡＲ像および記号で拡張するための視覚ディスプレイモジュールと、ユーザの視線方向、輻輳、眼の拡張などのパラメータをリアルタイムで決定するための視標追跡（ｅｙｅ－ｔｒａｃｋｉｎｇ）システムと、他のユーザとのオーディオ通信のためのオーディオシステムとを含み得る。コントローラは、リモートまたは分散コンピューティングシステムと、コントローラをウェアラブルディスプレイに接続する通信ネットワークとを含み得、したがって、ウェアラブルディスプレイはコントローラと通信可能に連結される。本明細書で使用されるＡＲ／ＶＲという用語は、ＡＲシステムと、ＶＲシステムと、複合現実（ＭＲ）システムを含む、それらの任意の組合せとを含む。ＡＲ／ＶＲシステムの例が以下でさらに与えられる。

特定のユーザのウェアラブルディスプレイが、システムの（１つまたは複数の）他のユーザを表す画像を示し得る。本方法は、ＡＲ／ＶＲシステムのユーザが、システムの別のユーザがそのユーザを見ているときに気づくことを可能にする。スクリーン上に表されるユーザは、遠くに位置し、特定のウェアラブルディスプレイを着用しているユーザにとって可視でないことがあり、アバターによって表され得る。いくつかのＡＲ実施形態では、ユーザは、ユーザのＡＲヘッドセットを通して他のユーザを直接観察し得る。

本開示によれば、拡張現実／仮想現実（ＡＲ／ＶＲ）システムのウェアラブルディスプレイにおける方法が提供される。本方法は、ウェアラブルディスプレイを使用して、ＡＲ／ＶＲシステムの第２のユーザに対してオーディオを鳴らすことであって、オーディオが、ＡＲ／ＶＲシステムの第１のユーザから発生し、第１のユーザから第２のユーザへのオーディオ通信チャネルのパラメータを有し、パラメータが、第１のユーザを第２のユーザに対してより可聴にするように、第１の値から第２の値に変更される、オーディオを鳴らすことを含む。パラメータは、プロセッサが、第１のユーザの視標追跡データを処理するための命令を実行することなどによって、第２のユーザ、または第１のユーザに対して表示される画像中の第２のユーザのアバターに向けられた、第１のユーザの視線が検出されたとき、変更される。

パラメータは、プロセッサが、第１のユーザの眼が少なくともあらかじめ定められた時間間隔の間第２のユーザまたは第２のユーザのアバターを見たと決定するための命令を実行したとき、第１の値から第２の値に変更され得る。

パラメータは、第２のユーザに対する第１のユーザの視線方向が検出されたとき、第１の値から第２の値に変更され得る。この場合、パラメータは、第２のユーザに対する第１のユーザの視線輻輳または第１のユーザの瞳孔拡張のうちの少なくとも１つが検出されたとき、第１の値から第２の値に変更され得る。

パラメータは、第１のユーザの視線の前に第１の値を有していることがある。

パラメータは、第１のユーザの視線方向または視線輻輳のうちの少なくとも１つが規則的な時間間隔でプロセッサによって決定されたとき、第１の値から第２の値に変更され得る。

パラメータは、視線が少なくともあらかじめ定められた時間間隔の間はずされ（ｗｉｔｈｄｒａｗ）たとき、第１の値に戻され得る。

本開示によれば、命令を記憶した非一時的メモリであって、命令は、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、ウェアラブルディスプレイを使用して、ＡＲ／ＶＲシステムの第２のユーザに対してオーディオを鳴らすことであって、オーディオが、ＡＲ／ＶＲシステムの第１のユーザから発生し、第１のユーザから第２のユーザへのオーディオ通信チャネルのパラメータを有し、パラメータが、第１のユーザを第２のユーザに対してより可聴にするように、第１の値から第２の値に変更される、オーディオを鳴らすことを行わせる、非一時的メモリが提供される。パラメータは、プロセッサが、第１のユーザの視標追跡データを処理するための命令を実行することなどによって、第２のユーザ、または第１のユーザに対して表示される画像中の第２のユーザのアバターに向けられた、第１のユーザの視線が検出されたとき、変更される。

パラメータは、プロセッサが、第１のユーザの眼が少なくともあらかじめ定められた時間間隔の間第２のユーザまたは第２のユーザのアバターを見たと決定するための命令を実行したとき、第１の値から第２の値に変更され得る。

パラメータは、第２のユーザに対する第１のユーザの視線方向が検出されたとき、第１の値から第２の値に変更され得る。この場合、パラメータは、第２のユーザに対する第１のユーザの視線輻輳または第１のユーザの瞳孔拡張のうちの少なくとも１つが検出されたとき、第１の値から第２の値に変更され得る。

パラメータは、第１のユーザの視線の前に第１の値を有していることがある。

パラメータは、第１のユーザの視線方向または視線輻輳のうちの少なくとも１つが規則的な時間間隔でプロセッサによって決定されたとき、第１の値から第２の値に変更され得る。

パラメータは、視線が少なくともあらかじめ定められた時間間隔の間はずされたとき、第１の値に戻され得る。

本開示によれば、視標追跡システムと、第１のユーザに対して第１の画像を表示するための第１の電子ディスプレイと、マイクロフォンとを備える、第１のウェアラブルディスプレイと、第２のユーザに対して第２の画像を表示するための第２の電子ディスプレイと、スピーカーとを備える、第２のウェアラブルディスプレイと、第１のウェアラブルディスプレイおよび第２のウェアラブルディスプレイに通信可能に連結されたコントローラとを備える、ＡＲ／ＶＲシステムがさらに提供される。コントローラは、本ＡＲ／ＶＲシステムの第１のユーザから第２のユーザへのオーディオ通信チャネルを確立することと、第１の画像を表示するために第１のウェアラブルディスプレイにデータを提供することとを行うように構成される。コントローラは、第１のウェアラブルディスプレイから、第１のユーザの視標検出および追跡に関係するデータを受信することと、第２のユーザ、または第１の画像中の第２のユーザのアバターに向けられた、第１のユーザの視線を識別することとを行うように構成された注意モニタを含む。コントローラは、視線を検出すると、第１のユーザを第２のユーザに対してより可聴にするように、オーディオ通信チャネルのパラメータを第１の値から第２の値に変更するように構成される。

注意モニタは、第１のユーザの眼が少なくともあらかじめ定められた時間間隔の間第２のユーザまたは第１の画像中の第２のユーザのアバターを見ると決定するように構成され得る。

注意モニタは、第１のユーザの視線方向を決定するように構成され得る。この場合、注意モニタは、第１のユーザの視線輻輳または瞳孔拡張のうちの少なくとも１つを決定するように構成され得る。

パラメータは、オーディオ通信チャネルのピークオーディオ周波数、オーディオ通信チャネルのスペクトル幅、またはラウドネスのうちの少なくとも１つを含み得る。

注意モニタは、経時的に第１のユーザの視線を監視することと、視線が少なくともあらかじめ定められた時間間隔の間はずされたとき、パラメータを第１の値に戻すこととを行うように構成され得る。

次に、図面に関して例示的な実施形態が説明される。

本開示による、ＡＲ／ＶＲシステムのブロック図である。 図１のＡＲ／ＶＲシステムにおける方法のフローチャートである。 図１のオーディオ通信チャネルのスペクトル応答関数を示す図である。 図１のＡＲ／ＶＲシステムの注意モニタのための例示的な方法のフローチャートである。 眼鏡フォームファクタニアアイ拡張現実（ＡＲ）／仮想現実（ＶＲ）ウェアラブルディスプレイ実施形態の等角図である。 図５ＡのＡＲ／ＶＲウェアラブルディスプレイの側面断面図である。 本開示のヘッドマウントディスプレイヘッドセットの等角図である。 図６Ａのヘッドセットを含む仮想現実システムのブロック図である。 スクリーンを凝視する眼の概略図である。 一実施形態による、図１のＡＲ／ＶＲシステムのための例示的なネットワーク環境のブロック図である。 本開示の方法を実装するためのコンピュータシステムのブロック図である。

本教示は、様々な実施形態および例に関して説明されるが、本教示は、そのような実施形態に限定されるものではない。見方を変えれば、本教示は、当業者によって諒解されるように、様々な代替形態および等価物を包含する。本開示の原理、態様、および実施形態、ならびにそれらの特定の例を具陳する、本明細書のすべての記述は、それらの構造的等価物と機能的等価物の両方を包含するものとする。加えて、そのような等価物は、現在知られている等価物、ならびに将来において開発される等価物、すなわち、構造にかかわらず、同じ機能を実施する開発された要素の両方を含むものとする。

本明細書で使用される、「第１の」、「第２の」などの用語は、別段明示的に述べられていない限り、順序を暗示するものではなく、むしろ、ある要素を別の要素と区別するものである。同様に、方法ステップの順序は、別段明示的に述べられていない限り、方法ステップの実行の順番を暗示しない。「複数（ｐｌｕｒａｌｉｔｙ）」という用語は、「２つまたはそれ以上」を意味するために本明細書で使用され、「含む（ｉｎｃｌｕｄｅ）」という単語は、「含む、備える（ｃｏｍｐｒｉｓｅ）」という単語と同じ意味で使用される。

図１を参照すると、ＡＲ／ＶＲシステム１００は、ユーザのアン（１１１）およびボブ（１１２）など、２つまたはそれ以上のユーザの対話を可能にする。システム１００は、ネットワークを介して２つまたはそれ以上のウェアラブルディスプレイ１２８（アンのウェアラブルディスプレイ）および１２６（ボブのウェアラブルディスプレイ）と接続されるコントローラ１５２を含む。各ウェアラブルディスプレイ１２６、１２８は、電子ディスプレイとオーディオシステムとを含み、すなわち、アンのウェアラブルディスプレイ１２８は、電子ディスプレイ１２１とオーディオシステム１９１とを含み、ボブのウェアラブルディスプレイ１２６は、電子ディスプレイ１２２とオーディオシステム１９２とを含む。オーディオシステム１９１、１９２は、各々、スピーカー１９３またはマイクロフォン１９４のうちの少なくとも１つを含み得る。コントローラ１５２から受信されたデータを使用して、画像および音が伝達される。また、コントローラ１５２は、アンからボブに向けられた第１のオーディオ通信チャネル１７１と、ボブからアンに向けられた第２のオーディオ通信チャネル１７２とを確立する。第１のオーディオ通信チャネル１７１および第２のオーディオ通信チャネル１７２は、アンとボブとの間の双方向通信チャネルの一部であり得、および／または、アンと、ボブと、もしいれば、他のユーザとの間の多方向通信チャネルの一部であり得る。さらに、コントローラ１５２は、サウンドトラック、バックグラウンドミュージック、自動告知など、他の音を生成し得る。

アンのウェアラブルディスプレイ１２８によって生成された画像は、広角カメラによってキャプチャされた画像を含み得るか、または、完全にＶＲ生成された画像を含み得る。ＶＲ生成画像は、複数のユーザを表し得、特に、ボブを表す画像１３６を含み得る。本明細書では、ボブを表す画像１３６は、ボブのアバター１３６と呼ばれる。ボブのアバター１３６は、静止画像または動画像、アイコン、グラフィック表現、アニメーション画像などであり得る。いくつかのＡＲ実施形態では、アンは、外部世界の直接ビューを可能にする外光を透過しながら、現実ビューをコンピュータ生成グラフィックスおよび他のコンピュータ生成画像で拡張する、ＡＲヘッドセットを通してボブを直接見得る。そのような実施形態では、ボブの現実世界ビューは、キュー、記号などで拡張され得る。同じことが、アン、ならびに任意の他のユーザ、ならびに、互いに他のユーザを表す画像、すなわち、他のユーザのアバター１３１、１３２、および１３６について成り立つ。いくつかのＡＲ実施形態では、同じシーン中に配置された仮想アバターおよび現実の人々が存在し得る。さらに、ユーザは、フォンによってダイヤルインすることができ、ダイヤルインしたユーザを表すアバターを配置することによって、シーン中に配置され得る。

図２は、本開示による、オーディオキューを提示するための方法のフローチャートである。方法は、ＡＲ／ＶＲシステムの第１のユーザから第２のユーザへのオーディオ通信チャネルを確立すること（２２５）と、ＡＲ／ＶＲシステムの第１のユーザに対して第１の電子ディスプレイ上で第１の画像を表示すること（２３０）とを含む。図１に示されている例では、第１のユーザ１１１はアンであり、第１の電子ディスプレイはアンの電子ディスプレイ１２１であり、画像１３６はボブを表す。

図１をさらに参照すると、ＡＲ／ＶＲシステム１００の第１のウェアラブルディスプレイ１２８は、第１のユーザの眼に関するデータを収集し、取得されたデータを（図１中で１６１Ａおよび１６１Ｂとして示されている）注意モニタ１６１に提供する、視標追跡システム１４２を含む。好ましくは、第２のウェアラブルディスプレイ１２６も視標追跡システムを含み、したがって、アンは、同様に、ボブの視線を通知され得る。

注意モニタ１６１は、アンのウェアラブルディスプレイ１２８などのウェアラブルディスプレイ内の１つまたは複数のローカル部１６１Ｂを含み、コントローラ１５２内の中央部１６１Ａを含む、機能ブロックである。ユーザロケーションにおけるローカル部１６１Ｂ、または中央ロケーションにおける中央部１６１Ａのいずれかによって、何らかの機能性が実装され得る。注意モニタ１６１は、コンピュータ可読記憶媒体に記憶され、（１つまたは複数の）ハードウェアプロセッサによって実行される、命令で実装され得る。

注意モニタ１６１は、アンが、ボブを見る、たとえば、ＡＲアプリケーションにおいてボブを直接見るのか、ＶＲアプリケーションにおいてボブのアバター１３６を見るのかを識別するために、視標追跡システム１４２によって取得された情報と、電子ディスプレイ１２１上に現在表示されている画像に関係する情報とを同期させる。図１では、線１７０は、アンがボブのアバター１３６を見るときのアンの視線の特定の方向を指示する。

この例では、アンは、ボブのアバター１３６を見る。アンは、別のユーザを表す画像１３２に自分の注意をシフトし得る。注意モニタ１６１は、電子ディスプレイ１２１に提供される画像を形成するために使用された初期情報に基づいて、画像１３６と画像１３２とを区別し得る。注意モニタ１６１は、電子ディスプレイ１２１のどの部分が特定のユーザの画像によって占有されるかを識別する情報を有する。ＡＲアプリケーションでは、各ＡＲヘッドセットは、各ユーザが３Ｄ空間においてどこに位置するかを、ＡＲ／ＶＲシステム１００がリアルタイムで決定することを可能にする、位置センサーまたは位置インジケータを装備し得る。様々なユーザについての３Ｄ空間における視線方向および／または輻輳と一緒に、この情報は、各ユーザについて、どの１つまたは複数の他のユーザがその特定のユーザをおそらく見ているかを、ＡＲ／ＶＲシステム１００がリアルタイムで決定することを可能にする。たとえば、ボブが現実世界ロケーションＡにおり、アンが３Ｄ空間における同じ現実世界ロケーションＡを偶然見る場合、ＡＲ／ＶＲシステム１００は、アンがボブを見ていると決定し得る。

ＡＲ／ＶＲシステム１００の別のユーザに向けられた、あるユーザの視線の持続時間を識別する目的で、注意モニタ１６１は、ボブまたはボブのアバター１３６に対するアンの視線の継続時間を計算し得る。視線持続時間は、あらかじめ定められた時間間隔中の、ボブのアバター１３６などの特定の画像に対する、あるいはＡＲアプリケーションにおける特定の人または３Ｄ空間ロケーションに対する、無中断連続視線として定義され得る。視線検出条件が、少なくともあらかじめ定められた時間間隔Ｔ１の間特定の画像を観察することとして構成され得る。視線検出条件が満たされたとき、視線の発生が検出される。

したがって、図２の方法は、視線、たとえば、第２のユーザ（ボブ）、または第１のユーザ（この場合、アン）に対して第１の電子ディスプレイ１２１上で表示される第１の画像中の第２のユーザのアバター（ボブのアバター１３６）のほうへの、線１７０によって表される、第１のユーザ（アン）の視線を検出すること（２３５）をさらに含む。検出すること２３５は、視標追跡ユニット、たとえば視標追跡システム１４２によって第１のユーザの眼の移動を追跡することを含み得る。検出することは、視線持続時間が、あらかじめ定められたしきい値時間量よりも長いという条件を含み得る。検出することは、第１のユーザの瞳孔拡張のようないくつかの眼の特性をも考慮に入れ得る。拡張された瞳孔は、高いレベルの注意を指示し得る。注意モニタ１６１は、あるユーザが少なくとも所定のしきい値時間量の間別のユーザに注意を払うと決定したとき、別のユーザは通知され得る。たとえば、モニタ１６１が、アンから、ボブに関係する画像１３６のほうへの視線１７０を検出したとき、コントローラ１５２はボブに通知し得る。

方法は、通知２４０をさらに含む。通知２４０は、第１のユーザ１１１（アン）を第２のユーザ１１２（ボブ）に対してより可聴にするように、第１のユーザ１１１から第２のユーザ１１２への第１のオーディオ通信チャネル１７１のパラメータを変更することを含み得る。パラメータは、第１のデフォルト値、たとえばすべてのユーザにとって共通の値から、第２の異なる値に変更される。パラメータは、たとえばオーディオ信号レベル、すなわち、アンがボブに話すときのアンの音声のラウドネスを含み得る。これは、ボブ、さらに言えば、任意の他のユーザの注意を得ることをより容易にすることによって、ＡＲ／ＶＲシステム１００の様々なユーザ間のソーシャル対話を容易にし得る。

第１のユーザの音声を第２のユーザに対してより可聴にまたはわかるようにするパラメータは、視線検出２３５時に修正され得る。たとえば、パラメータは、オーディオ通信チャネルのスペクトル形状に関係し得る。図１をさらに参照しながら図３を参照すると、第１の通信チャネル１７１（図１）は、ＡＲ／ＶＲシステム１００のすべてのユーザにとって共通であり得るデフォルトスペクトル応答関数３００（図３）を有する。デフォルトスペクトル応答関数３００は、第１のピークオーディオ周波数３０２および第１のスペクトル幅３０４を特徴とし得る。第２のユーザ１１２への第１のユーザ１１１の視線を検出する２３５と、コントローラ１５２は、第１の通信チャネル１７１を、第２のより高いピークオーディオ周波数３１２および第２のより狭いスペクトル幅３１４を特徴とする修正されたスペクトル応答関数３１０を有するように、変更する。修正されたスペクトル応答関数３１０は、たとえば第１のユーザ１１１が所定の時間量の間第２のユーザ１１２を凝視するとき、音声をよりシャープに聞こえるようにし、したがって、第２のユーザ１１２によってより容易にわかるようにする。

いくつかの実施形態では、ユーザの音声を異なるように聞こえるようにするために、ユーザの音声のピッチをリアルタイムで変更すること、ユーザの咽喉のモデル化された音響パラメータをリアルタイムで変更することなどを行うために、周波数シフト技法が適用され得る。第１のユーザの音声を強調するために、第１のユーザのスピーチのいくつかの周波数がブロックされ得、および／または、背景音が低減され得る。さらに、いくつかの実施形態では、アクティブ（電子）外部雑音抑圧／雑音消去が採用され得、特定のユーザが見られるとき、雑音消去は、オンにされるか、またはより大きい効果のために増加され得る。また、コントローラ１５２は、ユーザの隣に位置する人々の音声を、特に、これらの人々が、ユーザにではなく互いに話している場合、抑圧するように構成され得る。

通知は、任意選択的に、記号、視覚キュー、テキスト、シンボル、および／または、ボブのディスプレイ１２２上でボブに対して表示されるアンの画像に追加される色、コントラスト、輝度、輪郭など、アンのアバター１３１の何らかの修正など、視覚情報をも含み得る。視覚キューは、ボブのＡＲヘッドセットによって提供される人工画像または特徴を表し得る。好ましくは、視覚キューは、あらかじめ定められ、容易にわかるものであるが、視覚キューは、適度に微細のままであり得る。視覚キューの目的は、第２のユーザに対するまたは第２のユーザのほうへの第１のユーザの識別された視線に応答して、第２のユーザの注意を第１のユーザに引きつけることを容易にすることである。

方法は、リアルタイムで実施され得る。ＡＲ／ＶＲシステム１００は、ユーザの眼がスクリーンの異なるエリア間でシフトするにつれて、規則的な時間間隔で、更新された視標追跡情報を受信することができ、ディスプレイシステムは、更新された視標追跡情報に基づいて、ユーザが見ているスクリーンにおける点である、注視点（ｐｏｉｎｔ ｏｆ ｒｅｇａｒｄ）、すなわち視線点を算出することができる。好ましくは、視線方向および視線輻輳によって表される注視点は、あらかじめ定められた規則的な時間間隔で識別される。上記で説明されたように、第２のユーザは、第１のユーザの視線が確実に検出されるとすぐに、すなわち視線が所定の時間量の間発生している場合、通知される。次いで、システムは、第１のユーザ１１１の視線を監視し続ける。視線はずし条件（ｇａｚｅ ｗｉｔｈｄｒａｗａｌ ｃｏｎｄｉｔｉｏｎ）が、あらかじめ定められた時間間隔Ｔ２未満の間第２のユーザを見続けることとして構成され得る。２つの時間間隔、すなわち、Ｔ１（視線の検出のしきい値時間）とＴ２（視線をはずす）とは等しく、すなわち、Ｔ１＝Ｔ２であり得るが、必ずしも等しいとは限らない。注意モニタ１６１はまた、アイコンタクトの持続時間を快適な継続時間に限定する目的で、ユーザの眼および／または頭部の自然な移動を検出するように構成され得る。言い換えれば、第１のユーザは、短い間、床を見ること、自分の頭部を左右に振ることなどを行い得る。注意モニタ１６１は、第１のユーザと第２のユーザとの間のオーディオ通信チャネルのパラメータを変更することなしに、「短いはずし時間（ｂｒｉｅｆ ｗｉｔｈｄｒａｗａｌ ｔｉｍｅ）」Ｔ３の間のそのような移動を可能にするように構成され得る。しかしながら、視線はずし条件が満たされたとき、第１のオーディオ通信チャネル１７１のパラメータは元の（第１の）値に戻される。

最終的に、第１のユーザ１１１は、第２のユーザ１１２に自分の注意を戻し得る。視線検出条件が満たされたとき、第１のオーディオ通信チャネル１７１のパラメータは、再び第２の値に変更され得るか、または、たとえば、第１のユーザの音声を、見られているユーザにとってなお一層わかるようにするために選択された、異なる第３の値に変更され得る。本明細書では、オーディオパラメータの第２の値または第３の値は注意を指示し、第１の（デフォルト）値は注意の欠如を指示し得る。

第２のユーザのボブ（１１２）の視点から、方法は、ボブのウェアラブルディスプレイを使用して、ボブの注意に宛てられたオーディオを鳴らすことを含む。オーディオは、アンから発生し、アン（第１のユーザ１１１）からボブ（第２のユーザ、１１２）へのオーディオ通信チャネル１７１のパラメータを有する。上記で説明されたように、パラメータは、アン（第１のユーザ１１１）をボブ（第２のユーザ１１２）に対してより可聴にするように、第１の値から第２の値に変更される。これは、プロセッサが、アンの視標追跡データを処理するための命令を実行したことによって、ボブ、またはアンの電子ディスプレイ１２１上でアンに表示される画像中のボブのアバター１３６に向けられた、アンの視線が検出されたとき、起こる。パラメータは、プロセッサが、第１のユーザ１１１（アン）の眼が少なくともあらかじめ定められた時間間隔の間第２のユーザ１１２（ボブ）または第２のユーザのアバター１３６を見たと決定するための命令を実行したとき、第１の値から第２の値に変更され得る。いくつかの実施形態では、オーディオパラメータの変更は、第２のユーザ１１１に対する第１のユーザの視線方向、輻輳、瞳孔拡張などが検出されたとき、行われ得る。第１のユーザの視線方向または視線輻輳のうちの少なくとも１つは、規則的な時間間隔でプロセッサによって決定され得、視線がはずされたとき、第１の値に戻され得る。

いくつかの実施形態では、シーン中の人の存在を決定するために、ならびに年齢および性別に基づいてその人の音声ピッチを予測するために、顔認識が使用され得る。ＶＲアプリケーションでは、各ユーザについて、オーディオプロファイルが提供され得、オーディオプロファイルに基づいてスペクトルフィルタ処理が適用されて、スピーチ検出可能性を最適化し得る。さらに、いくつかのアプリケーションでは、各ユーザの聴覚周波数応答が、たとえばユーザ自身のヘッドセットを使用して聴力検査を実施することによって、決定され得る。測定された聴覚周波数応答は、本明細書で説明されるように、ユーザによるスピーチ検出可能性を向上させるために、および／またはその特定のユーザを見ている（１つまたは複数の）他のユーザによる通信のオーディオチャネルをハイライトするために、ユーザにオーディオ信号を提供するとき、考慮され得る。

図４は、第２のユーザ１１２のほうへの第１のユーザ１１１の視線の存在または不在を検出するための、注意モニタ１６１によって採用される例示的な方法４００のフローチャートである。初期に（４０２）、視線ステータスは、いいえである。間隔タイマーが開始され（４０４）、注視点が検出される（４０６）。注視点が第２の人の画像内にある（４０８）場合、観察タイマーが増分される（４１０）。注視点が第２の人の画像内にない場合、および間隔タイマーが＜Ｔ１である（４１２）場合、プロセスは、注視点を検出すること（４０６）に戻る。いいえの場合、視線ステータスは決定される（４１４）。視線がなく、観察タイマーが＜Ｘ＊Ｔ１である（４１６）場合、プロセスは間隔タイマーを再開する（４０４）。観察タイマーが＞Ｘ＊Ｔ１である（４１８）場合、視線ステータスは、はいであり（４２０）、第２のユーザは視線変更を通知される（４２２）。視線が残存し、観察タイマーが＞Ｙ＊Ｔ１である場合、プロセスは、同じく間隔タイマーを再開する（４０４）。観察タイマーが＜Ｙ＊Ｔ１である場合、視線ステータスは、いいえであり（４２４）、第２のユーザは視線変更を通知される（４２２）。ユーザの視線は経時的に連続的に監視され得る。本明細書では、ＸおよびＹは、プロセスパラメータ＞１である。第１の電子ディスプレイ１２１上で表される他のユーザのほうへの第１のユーザ１１１の可能な視線が、同様の様式で考慮され得る。もちろん、（１つまたは複数の）他の方法が採用され得、特に、視線の存在または不在を決定するために、スライディング時間ウィンドウが使用され得る。

第１のユーザ１１１および第２のユーザ１１２は、それらのユーザの視線が視標追跡デバイスによってキャプチャされ得るような、人々であり得る。しかしながら、第１のユーザによって払われる注意を通知される第２のユーザ１１２はまた、機械、コンピュータ、またはロボットであり得る。

図５Ａおよび図５Ｂを参照すると、ニアアイＡＲ／ＶＲディスプレイ５００は、ウェアラブルディスプレイ１２６、１２８の一実施形態である。ニアアイＡＲ／ＶＲディスプレイ５００の本体またはフレーム５０２は、示されているように、一対の眼鏡のフォームファクタを有する。ディスプレイ５０４はディスプレイアセンブリ５０６を含み（図５Ｂ）、ディスプレイアセンブリ５０６は、アイボックス５１０に、すなわち、良い品質の画像がユーザの眼５１２に提示され得る幾何学的エリアに、画像光５０８を提供する。ディスプレイアセンブリ５０６は、各眼のための別個のニアアイＡＲ／ＶＲディスプレイモジュール、または両方の眼のための１つのＡＲ／ＶＲディスプレイモジュールを含み得る。

ディスプレイアセンブリ５０６の電子ディスプレイは、たとえば、および限定はしないが、液晶ディスプレイ（ＬＣＤ）、有機発光ディスプレイ（ＯＬＥＤ）、無機発光ディスプレイ（ＩＬＥＤ）、アクティブマトリックス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイ、透明有機発光ダイオード（ＴＯＬＥＤ）ディスプレイ、プロジェクタ、またはそれらの組合せを含み得る。ディスプレイによって生成された画像をユーザの眼に伝達するための導波路構造が提供され得る。ＡＲアプリケーションでは、透明または半透明導波路構造が、ディスプレイアセンブリ５０６にわたって広がり得る。導波路は、選択的反射体と回折格子とを含み得る。導波路は、瞳孔複製（ｐｕｐｉｌ－ｒｅｐｌｉｃａｔｉｎｇ）導波路セクションをも含み得る。

ニアアイＡＲ／ＶＲディスプレイ５００は、ユーザの眼５１２の視線方向および／または輻輳角をリアルタイムで決定するための視標追跡システム５１４をも含み得る。決定された、視線方向および視線輻輳角はまた、画角および眼の位置に応じて、視覚的アーティファクトのリアルタイム補償のために使用され得る。さらに、決定された、輻輳および視線角は、ユーザとの対話、オブジェクトをハイライトすること、オブジェクトを前景に持ってくること、追加のオブジェクトまたはポインタを動的に作成することなどのために使用され得る。ニアアイコヒーレントＡＲ／ＶＲディスプレイ５００は、オーディオシステム５２０をも含む。オーディオシステム５２０は、小さいスピーカーまたはヘッドフォン、および／あるいはマイクロフォンを含み得る。

図６Ａを参照すると、ＨＭＤ６００は、ＡＲ／ＶＲ環境へのより大きい程度の没入のためのユーザの顔を囲むＡＲ／ＶＲウェアラブルディスプレイシステムの一例である。ＨＭＤ６００の機能は、コンピュータ生成された像で物理的現実世界の環境のビューを拡張すること、および／または、完全に仮想３Ｄ像を生成することである。ＨＭＤ６００は、前面本体６０２と、バンド６０４とを含み得る。前面本体６０２は、信頼できるおよび快適な様式でのユーザの眼の前への配置のために構成され、バンド６０４は、ユーザの頭部上で前面本体６０２を固定するために伸張され得る。ディスプレイシステム６８０は、ユーザにＡＲ／ＶＲ像を提示するために、前面本体６０２中に配設され得る。前面本体６０２の側面６０６は、不透明であるか、または透明であり得る。

いくつかの実施形態では、前面本体６０２は、ロケータ６０８と、ＨＭＤ６００の加速度を追跡するための慣性測定ユニット（ＩＭＵ）６１０と、ＨＭＤ６００の位置を追跡するための位置センサー６１２とを含む。ＩＭＵ６１０は、ＨＭＤ６００の動きに応答して１つまたは複数の測定信号を生成する位置センサー６１２のうちの１つまたは複数から受信された測定信号に基づいて、ＨＭＤ６００の位置を指示するデータを生成する電子デバイスである。位置センサー６１２の例は、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、動きを検出する別の好適なタイプのセンサー、ＩＭＵ６４０の誤差補正のために使用されるタイプのセンサー、またはそれらの何らかの組合せを含む。位置センサー６１２は、ＩＭＵ６１０の外部に、ＩＭＵ６１０の内部に、またはそれらの何らかの組合せで位置し得る。

ロケータ６０８は、仮想現実システムが、ＨＭＤ６００全体のロケーションおよび向きを追跡することができるように、仮想現実システムの外部撮像デバイスによって追跡される。ＩＭＵ６１０および位置センサー６１２によって生成された情報は、ＨＭＤ６００の位置および向きの追跡精度改善のために、ロケータ６０８を追跡することによって取得された位置および向きと比較され得る。正確な位置および向きは、ユーザが、３Ｄ空間において移動し、回転するので、適切な仮想風景をユーザに提示するために重要である。

ＨＭＤ６００は、ＨＭＤ６００の一部または全部の周囲のローカルエリアの深度情報を記述するデータをキャプチャする、深度カメラアセンブリ（ＤＣＡ）６１１をさらに含み得る。そのために、ＤＣＡ６１１は、レーザーレーダー（ＬＩＤＡＲ）、または同様のデバイスを含み得る。深度情報は、３Ｄ空間におけるＨＭＤ６００の位置および向きの決定のより良好な精度のために、ＩＭＵ６１０からの情報と比較され得る。

ＨＭＤ６００は、リアルタイムでユーザの眼の向きおよび位置を決定するための視標追跡システム６１４をさらに含み得る。視標追跡システム６１４は、両方の眼を照らす赤外線照明器のアレイと、赤外光と可視光とを分離するためのホットミラーと、照明器からの反射（グリント）を用いて両方の眼の画像を取得する視標追跡カメラとを含み得る。眼の瞳孔の位置に対するグリントの位置を比較することによって、眼の位置および向きが決定され得る。眼の取得された位置および向きはまた、ＨＭＤ６００が、ユーザの視線方向を決定することと、それに応じてディスプレイシステム６８０によって生成された画像を調整することとを可能にする。一実施形態では、輻輳、すなわち、ユーザの眼視線の収束角が決定される。決定された、視線方向および視線輻輳角はまた、画角および眼の位置に応じて、視覚的アーティファクトのリアルタイム補償のために使用され得る。さらに、決定された、輻輳および視線角は、ユーザとの対話、オブジェクトをハイライトすること、オブジェクトを前景に持ってくること、追加のオブジェクトまたはポインタを作成することなどのために使用され得る。たとえば、前面本体６０２に組み込まれた小さいスピーカーのセットおよび／またはマイクロフォンを含む、オーディオシステム６４４が提供され得る。

図６Ｂを参照すると、ＡＲ／ＶＲシステム６５０は、図６ＡのＨＭＤ６００と、様々なＡＲ／ＶＲアプリケーション、セットアップおよび較正手順、３Ｄビデオなどを記憶する外部コンソール６９０と、コンソール６９０を動作させ、および／またはＡＲ／ＶＲ環境と対話するための入出力（Ｉ／Ｏ）インターフェース６１５とを含む。ＨＭＤ６００は、物理的ケーブルを用いてコンソール６９０に「テザリング」されるか、またはＢｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉなど、ワイヤレス通信リンクを介してコンソール６９０に接続され得る。関連するＩ／Ｏインターフェース６１５を各々有する、複数のＨＭＤ６００があり得、各ＨＭＤ６００および（１つまたは複数の）Ｉ／Ｏインターフェース６１５はコンソール６９０と通信する。代替構成では、異なるおよび／または追加の構成要素が、ＡＲ／ＶＲシステム６５０中に含まれ得る。加えて、図６Ａおよび図６Ｂに示されている構成要素のうちの１つまたは複数に関して説明される機能性は、いくつかの実施形態では、図６Ａおよび図６Ｂに関して説明されるものとは異なる様式で構成要素の間で分散され得る。たとえば、コンソール６１５の機能性の一部または全部がＨＭＤ６００によって提供され得、その逆も同様である。ＨＭＤ６００は、そのような機能性を達成することが可能な処理モジュールを提供され得る。

図６Ａを参照しながら上記で説明されたように、ＨＭＤ６００は、眼の位置および向きを追跡する、視線角および収束角を決定するなどのための視標追跡システム６１４（図６Ｂ）と、３Ｄ空間におけるＨＭＤ６００の位置および向きを決定するためのＩＭＵ６１０と、外部環境をキャプチャするためのＤＣＡ６１１と、ＨＭＤ６００の位置を独立して決定するための位置センサー６１２と、ユーザに対してＡＲ／ＶＲコンテンツを表示するためのディスプレイシステム６８０とを含み得る。ディスプレイシステム６８０は、（図６Ｂ）電子ディスプレイ６２５を含み、たとえば、および限定はしないが、液晶ディスプレイ（ＬＣＤ）、有機発光ディスプレイ（ＯＬＥＤ）、無機発光ディスプレイ（ＩＬＥＤ）、アクティブマトリックス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイ、透明有機発光ダイオード（ＴＯＬＥＤ）ディスプレイ、プロジェクタ、またはそれらの組合せを含む。ディスプレイシステム６８０は、光学ブロック６３０をさらに含み、光学ブロック６３０の機能は、電子ディスプレイ６２５によって生成された画像をユーザの眼に伝達することである。ディスプレイシステム６８０は、光学ブロック６３０の一部であり得る、可変焦点モジュール６３５をさらに含み得る。可変焦点モジュール６３５の機能は、たとえば、輻輳調節矛盾（ｖｅｒｇｅｎｃｅ－ａｃｃｏｍｍｏｄａｔｉｏｎ ｃｏｎｆｌｉｃｔ）を補償すること、特定のユーザの視覚障害を補正すること、光学ブロック６３０の収差をオフセットすることなどのために、光学ブロック６３０の焦点を調整することである。

Ｉ／Ｏインターフェース６１５は、ユーザがアクション要求を送り、コンソール６９０から応答を受信することを可能にするデバイスである。アクション要求は、特定のアクションを実施するための要求である。たとえば、アクション要求は、画像データまたはビデオデータのキャプチャを開始または終了するための命令、あるいはアプリケーション内で特定のアクションを実施するための命令であり得る。Ｉ／Ｏインターフェース６１５は、キーボード、マウス、ゲームコントローラ、またはアクション要求を受信し、そのアクション要求をコンソール６９０に通信するための任意の他の好適なデバイスなど、１つまたは複数の入力デバイスを含み得る。Ｉ／Ｏインターフェース６１５によって受信されたアクション要求は、コンソール６９０に通信され、コンソール６９０は、そのアクション要求に対応するアクションを実施する。いくつかの実施形態では、Ｉ／Ｏインターフェース６１５は、Ｉ／Ｏインターフェース６１５の初期位置に対するＩ／Ｏインターフェース６１５の推定位置を指示する較正データをキャプチャするＩＭＵを含む。いくつかの実施形態では、Ｉ／Ｏインターフェース６１５は、コンソール６９０から受信された命令に従って、ユーザに触覚フィードバックを提供し得る。たとえば、アクション要求が受信されたときに触覚フィードバックが提供され得るか、またはコンソール６９０がアクションを実施するときに、コンソール６９０が、Ｉ／Ｏインターフェース６１５に命令を通信して、Ｉ／Ｏインターフェース６１５が触覚フィードバックを生成することを引き起こす。

コンソール６９０は、ＩＭＵ６１０とＤＣＡ６１１と視標追跡システム６１４とＩ／Ｏインターフェース６１５とのうちの１つまたは複数から受信された情報に従って、処理するためのコンテンツをＨＭＤ６００に提供し得る。図６Ｂに示されている例では、コンソール６９０は、アプリケーションストア６５５と、追跡モジュール６６０と、ＶＲエンジン６６５とを含む。コンソール６９０のいくつかの実施形態は、図６Ｂに関して説明されるものとは異なるモジュールまたは構成要素を有し得る。同様に、以下でさらに説明される機能は、図６Ａおよび図６Ｂに関して説明されるものとは異なる様式でコンソール６９０の構成要素の間で分散され得る。

アプリケーションストア６５５は、コンソール６９０が実行するための１つまたは複数のアプリケーションを記憶し得る。アプリケーションは、プロセッサによって実行されたとき、ユーザへの提示のためのコンテンツを生成する命令のグループである。アプリケーションによって生成されたコンテンツは、ＨＭＤ６００またはＩ／Ｏインターフェース６１５の移動を介してユーザから受信された入力に応答したものであり得る。アプリケーションの例は、ゲームアプリケーション、プレゼンテーションおよび会議アプリケーション、ビデオ再生アプリケーション、または他の好適なアプリケーションを含む。

追跡モジュール６６０は、１つまたは複数の較正パラメータを使用してＡＲ／ＶＲシステム６５０を較正し得、ＨＭＤ６００またはＩ／Ｏインターフェース６１５の位置を決定する際の誤差を低減するように、１つまたは複数の較正パラメータを調整し得る。また、追跡モジュール６６０によって実施される較正は、ＨＭＤ６００中のＩＭＵ６１０および／または、もしあれば、Ｉ／Ｏインターフェース６１５中に含まれるＩＭＵから受信された情報を考慮する。加えて、ＨＭＤ６００の追跡が失われた場合、追跡モジュール６６０は、ＡＲ／ＶＲシステム６５０の一部または全部を再較正し得る。

追跡モジュール６６０は、ＨＭＤ６００またはＩ／Ｏインターフェース６１５の移動、ＩＭＵ６１０、またはそれらの何らかの組合せを追跡し得る。たとえば、追跡モジュール６６０は、ＨＭＤ６００からの情報に基づいて、ローカルエリアのマッピングにおいてＨＭＤ６００の基準点の位置を決定し得る。追跡モジュール６６０はまた、ＨＭＤ６００の基準点の位置、またはＩ／Ｏインターフェース６１５の基準点の位置を、それぞれ、ＨＭＤ６００の位置を指示するＩＭＵ６１０からのデータを使用して、またはＩ／Ｏインターフェース６１５の位置を指示するＩ／Ｏインターフェース６１５中に含まれるＩＭＵからのデータを使用して決定し得る。さらに、いくつかの実施形態では、追跡モジュール６６０は、位置またはＨＭＤ６００を指示するＩＭＵ６１０からのデータの部分、ならびにＤＣＡ６１１からのローカルエリアの表現を使用して、ＨＭＤ６００の将来のロケーションを予測し得る。追跡モジュール６６０は、ＨＭＤ６００またはＩ／Ｏインターフェース６１５の推定または予測された将来の位置をＶＲエンジン６６５に提供する。

ＶＲエンジン６６５は、ＨＭＤ６００から受信された情報に基づいて、ＨＭＤ６００の一部または全部の周囲のエリア（「ローカルエリア」）の３Ｄマッピングを生成し得る。いくつかの実施形態では、ＶＲエンジン６６５は、深度を算出する際に使用される技法に関連する、ＤＣＡ６１１から受信された情報に基づいて、ローカルエリアの３Ｄマッピングのための深度情報を決定する。様々な実施形態では、ＶＲエンジン６６５は、深度情報を使用して、ローカルエリアのモデルを更新し、更新されたモデルに部分的に基づいて、コンテンツを生成し得る。

ＶＲエンジン６６５は、ＡＲ／ＶＲシステム６５０内でアプリケーションを実行し、追跡モジュール６６０から、ＨＭＤ６００の位置情報、加速度情報、速度情報、予測された将来の位置、またはそれらの何らかの組合せを受信する。受信された情報に基づいて、ＶＲエンジン６６５は、ユーザへの提示のためにＨＭＤ６００に提供すべきコンテンツを決定する。たとえば、受信された情報が、ユーザが左を見ていることを指示する場合、ＶＲエンジン６６５は、仮想環境において、またはローカルエリアを追加のコンテンツで拡張する環境において、ユーザの移動を反映する、ＨＭＤ６００のためのコンテンツを生成する。加えて、ＶＲエンジン６６５は、Ｉ／Ｏインターフェース６１５から受信されたアクション要求に応答して、コンソール６９０上で実行しているアプリケーション内でアクションを実施し、そのアクションが実施されたというフィードバックをユーザに提供する。提供されるフィードバックは、ＨＭＤ６００を介した視覚または可聴フィードバック、あるいはＩ／Ｏインターフェース６１５を介した触覚フィードバックであり得る。

いくつかの実施形態では、視標追跡システム６１４から受信された視標追跡情報（たとえば、ユーザの眼の向き）に基づいて、ＶＲエンジン６６５は、電子ディスプレイ６２５上でのユーザへの提示のために、ＨＭＤ６００に提供されたコンテンツの解像度を決定する。ＶＲエンジン６６５は、ユーザの視線の中心窩領域において、電子ディスプレイ６２５上の最大ピクセル解像度を有するコンテンツをＨＭＤ６００に提供し得る。ＶＲエンジン６６５は、電子ディスプレイ６２５の他の領域において、より低いピクセル解像度を提供し、したがって、ＡＲ／ＶＲシステム６５０の電力消費を少なくし、ユーザの視覚体験を損なうことなしにコンソール６９０のコンピューティングリソースを節約し得る。いくつかの実施形態では、ＶＲエンジン６６５はさらに、視標追跡情報を使用して、オブジェクトが電子ディスプレイ６２５上で表示されるところを調整して、輻輳調節矛盾を防ぎ、ならびに／または光学的ひずみおよび収差をオフセットすることができる。

図７は、図１の視線ベクトル１７０に対応する視線ベクトル７０６によって指示される方向にあるスクリーン７０４を凝視する、ユーザの眼７０２を示す。図７は、スクリーン上の中心窩領域７０８をさらに示す。注意モニタモジュール１６１（図１）は、眼が見ている方向を表す、視線ベクトルを決定する。いくつかの実施形態では、注意モニタモジュール１６１は、眼球中心（図７中のＡ）と、角膜中心（Ｃ）と、瞳孔（Ｅ）と、角膜中心と瞳孔中心との間の距離（ｈ）とを含む、眼に関連する複数の眼の特性に基づいて、視線ベクトルを決定する。一実施形態では、視標追跡システム１４２は、これらの眼の特性を推定し、その推定を視標追跡情報の一部として注意モニタモジュール１６１に送る。別の実施形態では、モジュール１６１は、視標追跡システム１４２から眼の角度の向きを受信し、角回転に基づいて眼のモデルに回転を適用することによって、これらの眼の特性を生成する。他の実施形態では、注意モニタモジュール１６１は、視標追跡システム１４２から眼の中心窩軸を受信し、中心窩軸の方向を視線ベクトル３０６として使用する。視線ベクトル７０６を決定した後に、モジュール１６１は、視線ベクトル７０６とスクリーン７０４との交点を算出することによって、注視点７１４を決定する。他の実施形態では、注視点７１４は、他の手段によって算出される。

別の実施形態では、２つの視線ベクトルが、ユーザの２つの眼について別個に決定され、ウェアラブルディスプレイ１２８は、２つの視線ベクトルの収束に基づいてユーザの焦点深度を決定する。この実施形態では、ウェアラブルディスプレイ１２８は、第１のユーザが、特定のオブジェクトまたはユーザに自分の眼を集中させるのか、スクリーンに注意を払うことなしにただ自分の眼を休ませるのかを決定するために、焦点深度と、シーン中のオブジェクトの深度値との間の深度の差（以下、深度差と呼ぶ）を決定する。

図８は、本開示の方法が実装され得る、ＡＲ／ＶＲシステム１００の一例を提供する。ＡＲ／ＶＲシステム１００は、ネットワーク８５５と、コントローラ１５２を含む１つまたは複数のサーバ８５０と、デバイス８２０および８２１によって示されている複数のユーザデバイス、たとえばウェアラブルディスプレイ１２８または１２６とを備える。（１つまたは複数の）サーバ８５０は、画像を表示するためにユーザデバイスにデータを提供し、ユーザ音声を伝達し、ユーザアクティビティを監視し、ユーザに、（１つまたは複数の）他のユーザによってそのユーザに払われる注意を通知する。ネットワーク８５５は、サーバ８５０とユーザデバイス８２０および８２１との間の通信のための手段を提供する。ネットワーク８５５は、インターネット、モバイルデバイスキャリアネットワークなどのワイヤレスまたはワイヤードネットワーク、あるいは、サーバとクライアントとの間の通信のために使用され得る任意の他のネットワークであり得る。ユーザデバイス８２０および８２１はＨＭＤであり得、各々は、デスクトップコンピュータ、あるいはモバイルデバイス、たとえば、モバイルフォン、セルフォン、スマートフォン、携帯情報端末、ノートブックコンピュータ、タブレットコンピュータ、ラップトップコンピュータ、カメラ、ビデオカメラ、またはハンドヘルドゲームコンソールなど、任意の好適なコンピューティングデバイスを含み得る。

図９は、例示的なコンピュータシステム９００を示す。特定の実施形態では、１つまたは複数のコンピュータシステム９００は、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施する。特定の実施形態では、１つまたは複数のコンピュータシステム９００は、本明細書で説明または示される機能性を提供する。特定の実施形態では、１つまたは複数のコンピュータシステム９００上で稼働しているソフトウェアは、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施するか、あるいは本明細書で説明または示される機能性を提供する。特定の実施形態は、１つまたは複数のコンピュータシステム９００の１つまたは複数の部分を含む。

本開示は、任意の好適な数のコンピュータシステム９００を企図する。本開示は、任意の好適な物理的形態をとるコンピュータシステム９００を企図する。限定としてではなく例として、コンピュータシステム９００は、組込み型コンピュータシステム、システムオンチップ（ＳＯＣ）、（たとえば、コンピュータオンモジュール（ＣＯＭ）またはシステムオンモジュール（ＳＯＭ）などの）シングルボードコンピュータシステム（ＳＢＣ）、デスクトップコンピュータシステム、ラップトップまたはノートブックコンピュータシステム、対話型キオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、あるいはこれらのうちの２つまたはそれ以上の組合せであり得る。適切な場合、コンピュータシステム９００は、１つまたは複数のコンピュータシステム９００を含むか、単一または分散型であるか、複数のロケーションにわたるか、複数のマシンにわたるか、複数のデータセンターにわたるか、あるいは１つまたは複数のネットワーク中の１つまたは複数のクラウド構成要素を含み得るクラウド中に常駐し得る。適切な場合、１つまたは複数のコンピュータシステム９００は、実質的な空間的または時間的制限なしに、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施し得る。限定としてではなく一例として、１つまたは複数のコンピュータシステム９００は、リアルタイムでまたはバッチモードで、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施し得る。１つまたは複数のコンピュータシステム９００は、適切な場合、異なる時間においてまたは異なるロケーションにおいて、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施し得る。

特定の実施形態では、コンピュータシステム９００は、プロセッサ９０２と、非一時的メモリ９０４と、ストレージ９０６と、入出力（Ｉ／Ｏ）インターフェース９０８と、通信インターフェース９１０と、バス９１２とを含む。本開示は、特定の構成において特定の数の特定の構成要素を有する特定のコンピュータシステムを説明し、示すが、本開示は、任意の好適な構成において任意の好適な数の任意の好適な構成要素を有する任意の好適なコンピュータシステムを企図する。

特定の実施形態では、プロセッサ９０２は、コンピュータプログラムを作り上げる命令など、命令を実行するためのハードウェアを含む。限定としてではなく一例として、命令を実行するために、プロセッサ９０２は、内部レジスタ、内部キャッシュ、非一時的メモリ９０４、またはストレージ９０６から命令を取り出し（またはフェッチし）、それらの命令を復号および実行し、次いで、内部レジスタ、内部キャッシュ、非一時的メモリ９０４、またはストレージ９０６に１つまたは複数の結果を書き込み得る。特定の実施形態では、プロセッサ９０２は、データ、命令、またはアドレスのための１つまたは複数の内部キャッシュを含み得る。本開示は、特定のプロセッサを説明し、示すが、本開示は任意の好適なプロセッサを企図する。

特定の実施形態では、非一時的メモリ９０４は、プロセッサ９０２が実行するための命令、またはプロセッサ９０２が動作する対象のデータを記憶するためのメインメモリを含む。限定としてではなく一例として、コンピュータシステム９００は、ストレージ９０６または（たとえば、別のコンピュータシステム９００などの）別のソースからメモリ９０４に命令をロードし得る。プロセッサ９０２は、次いで、メモリ９０４から内部レジスタまたは内部キャッシュに命令をロードし得る。命令を実行するために、プロセッサ９０２は、内部レジスタまたは内部キャッシュから命令を取り出し、それらの命令を復号し得る。命令の実行中またはその後に、プロセッサ９０２は、（中間結果または最終結果であり得る）１つまたは複数の結果を内部レジスタまたは内部キャッシュに書き込み得る。プロセッサ９０２は、次いで、非一時的メモリ９０４にそれらの結果のうちの１つまたは複数を書き込み得る。

特定の実施形態では、プロセッサ９０２は、１つまたは複数の内部レジスタまたは内部キャッシュ中の、あるいは（ストレージ９０６または他の場所とは対照的な）メモリ９０４中の命令のみを実行し、１つまたは複数の内部レジスタまたは内部キャッシュ中の、あるいは（ストレージ９０６または他の場所とは対照的な）メモリ９０４中のデータのみに対して動作する。（アドレスバスおよびデータバスを各々含み得る）１つまたは複数のメモリバスが、プロセッサ０２をメモリ９０４に連結し得る。バス９１２は、以下で説明されるように、１つまたは複数のメモリバスを含み得る。特定の実施形態では、１つまたは複数のメモリ管理ユニット（ＭＭＵ）が、プロセッサ９０２とメモリ９０４との間に常駐し、プロセッサ９０２によって要求されるメモリ９０４へのアクセスを容易にする。本開示は、特定のメモリを説明し、示すが、本開示は任意の好適なメモリを企図する。

特定の実施形態では、ストレージ９０６は、データまたは命令のための大容量ストレージを含む。ストレージ９０６は、適切な場合、リムーバブルまたは非リムーバブル（すなわち、固定）媒体を含み得る。ストレージ９０６は、適切な場合、コンピュータシステム９００の内部または外部にあり得る。特定の実施形態では、ストレージ９０６は、不揮発性ソリッドステートメモリである。適切な場合、ストレージ９０６は、１つまたは複数のストレージ９０６を含み得る。本開示は、特定のストレージを説明し、示すが、本開示は任意の好適なストレージを企図する。

特定の実施形態では、Ｉ／Ｏインターフェース９０８は、コンピュータシステム９００と１つまたは複数のＩ／Ｏデバイスとの間の通信のための１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。コンピュータシステム９００は、適切な場合、これらのＩ／Ｏデバイスのうちの１つまたは複数を含み得る。これらのＩ／Ｏデバイスのうちの１つまたは複数は、人とコンピュータシステム９００との間の通信を可能にし得る。限定としてではなく一例として、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカー、スチールカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なＩ／Ｏデバイス、またはこれらのうちの２つまたはそれ以上の組合せを含み得る。Ｉ／Ｏデバイスは１つまたは複数のセンサーを含み得る。本開示は、任意の好適なＩ／Ｏデバイスと、それらのＩ／Ｏデバイスのための任意の好適なＩ／Ｏインターフェース９０８とを企図する。適切な場合、Ｉ／Ｏインターフェース９０８は、プロセッサ９０２がこれらのＩ／Ｏデバイスのうちの１つまたは複数を駆動することを可能にする１つまたは複数のデバイスまたはソフトウェアドライバを含み得る。Ｉ／Ｏインターフェース９０８は、適切な場合、１つまたは複数のＩ／Ｏインターフェース９０８を含み得る。本開示は、特定のＩ／Ｏインターフェースを説明し、示すが、本開示は任意の好適なＩ／Ｏインターフェースを企図する。

特定の実施形態では、通信インターフェース９１０は、コンピュータシステム９００と、１つまたは複数の他のコンピュータシステム９００または１つまたは複数のネットワークとの間の（たとえば、パケットベース通信などの）通信のための１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。限定としてではなく一例として、通信インターフェース９１０は、イーサネットまたは他のワイヤベースネットワークと通信するためのネットワークインターフェースコントローラ（ＮＩＣ）またはネットワークアダプタ、あるいはＷｉ－Ｆｉネットワークなどのワイヤレスネットワークと通信するためのワイヤレスＮＩＣ（ＷＮＩＣ）またはワイヤレスアダプタを含み得る。本開示は、任意の好適なネットワークと、そのネットワークのための任意の好適な通信インターフェース９１０とを企図する。本開示は、特定の通信インターフェースを説明し、示すが、本開示は任意の好適な通信インターフェースを企図する。

特定の実施形態では、バス９１２は、コンピュータシステム９００の構成要素を互いに結合する、ハードウェア、ソフトウェア、またはその両方を含む。本開示は、特定のバスを説明し、示すが、本開示は任意の好適なバスまたは相互接続を企図する。

本明細書では、コンピュータ可読記憶媒体への言及は、１つまたは複数の非一時的、有形、コンピュータ可読記憶媒体所有構造を包含する。限定としてではなく一例として、コンピュータ可読記憶媒体は、適切な場合、（たとえば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）などの）半導体ベースまたは他の集積回路（ＩＣ）、ハードディスク、ＨＤＤ、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスク、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ホログラフィック記憶媒体、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカード、セキュアデジタルドライブ、あるいは別の好適なコンピュータ可読記憶媒体、あるいはこれらのうちの２つまたはそれ以上の組合せを含み得る。本明細書では、コンピュータ可読記憶媒体への言及は、米国特許法第１０１条に基づく特許保護の対象とならない媒体を除外する。本明細書では、コンピュータ可読記憶媒体への言及は、米国特許法第１０１条に基づく特許保護の対象とならない限り、（電気信号または電磁信号自体を伝搬することなどの）信号送信の一時的形態を除外する。コンピュータ可読非一時的記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性との組合せであり得る。

本開示は、任意の好適なストレージを実装する１つまたは複数のコンピュータ可読記憶媒体を企図する。特定の実施形態では、コンピュータ可読記憶媒体は、適切な場合、（たとえば、１つまたは複数の内部レジスタまたはキャッシュなど）プロセッサ９０２の１つまたは複数の部分、メモリ９０４の１つまたは複数の部分、ストレージ９０６の１つまたは複数の部分、またはこれらの組合せを実装する。特定の実施形態では、コンピュータ可読記憶媒体は、ＲＡＭまたはＲＯＭを実装する。特定の実施形態では、コンピュータ可読記憶媒体は、揮発性または永続的メモリを実装する。特定の実施形態では、１つまたは複数のコンピュータ可読記憶媒体はソフトウェアを具現する。本明細書では、ソフトウェアへの言及は、適切な場合、１つまたは複数のアプリケーション、バイトコード、１つまたは複数のコンピュータプログラム、１つまたは複数の実行ファイル、１つまたは複数の命令、論理、機械コード、１つまたは複数のスクリプト、またはソースコードを包含し得、その逆も同様である。特定の実施形態では、ソフトウェアは、１つまたは複数のアプリケーションプログラミングインターフェース（ＡＰＩ）を含む。本開示は、任意の好適なプログラミング言語またはプログラミング言語の任意の好適な組合せで書かれた、または場合によっては表現された、任意の好適なソフトウェアを企図する。特定の実施形態では、ソフトウェアは、ソースコードまたはオブジェクトコードとして表現される。

本開示は、本明細書で説明される特定の実施形態によって、範囲が限定されるべきではない。実際は、上記の説明および添付の図面から、本明細書で説明されるものに加えて、他の様々な実施形態および修正が当業者に明らかになろう。したがって、そのような他の実施形態および修正は、本開示の範囲内に入るものとする。さらに、本開示は、特定の目的のための特定の環境における特定の実装形態のコンテキストにおいて、本明細書で説明されたが、本開示の有用性がそれに限定されないこと、および、本開示が、任意の数の目的のための任意の数の環境において有益に実装され得ることを、当業者は認識されよう。したがって、以下に記載する特許請求の範囲は、本明細書で説明される本開示の全幅および全趣旨に鑑みて解釈されるべきである。

Claims (15)

1. ＡＲ／ＶＲシステムのウェアラブルディスプレイにおける方法であって、前記方法は、
   前記ウェアラブルディスプレイを使用して、前記ＡＲ／ＶＲシステムの第２のユーザに対してオーディオを鳴らすことであって、前記オーディオが、前記ＡＲ／ＶＲシステムの第１のユーザから発生し、前記第１のユーザから前記第２のユーザへのオーディオ通信チャネルのパラメータを有し、前記パラメータが、前記第１のユーザを前記第２のユーザに対してより可聴にするように、第１の値から第２の値に変更される、オーディオを鳴らすこと
   を含み、
   プロセッサが、前記第１のユーザの視標追跡データを処理するための命令を実行することによって、前記第２のユーザ、または前記第１のユーザに対して表示される画像中の前記第２のユーザのアバターに向けられた、前記第１のユーザの視線が検出された、
   方法。
2. 前記パラメータは、前記プロセッサが、前記第１のユーザの眼が少なくともあらかじめ定められた時間間隔の間前記第２のユーザまたは前記第２のユーザのアバターを見たと決定するための命令を実行したとき、前記第１の値から前記第２の値に変更される、請求項１に記載の方法。
3. 前記パラメータは、前記第２のユーザに対する前記第１のユーザの視線方向が検出されたとき、前記第１の値から前記第２の値に変更され、および、任意選択的に、
   前記パラメータは、前記第２のユーザに対する前記第１のユーザの視線輻輳または前記第１のユーザの瞳孔拡張のうちの少なくとも１つが検出されたとき、前記第１の値から前記第２の値に変更される、
   請求項１に記載の方法。
4. 前記パラメータが、前記第１のユーザの前記視線の前に前記第１の値を有した、請求項１に記載の方法。
5. 前記パラメータは、前記第１のユーザの視線方向または視線輻輳のうちの少なくとも１つが規則的な時間間隔で前記プロセッサによって決定されたとき、前記第１の値から前記第２の値に変更され、および／あるいは、
   前記パラメータは、前記視線が少なくともあらかじめ定められた時間間隔の間はずされたとき、前記第１の値に戻される、
   請求項１に記載の方法。
6. 命令を記憶した非一時的メモリであって、前記命令は、１つまたは複数のプロセッサによって実行されたとき、前記１つまたは複数のプロセッサに、ウェアラブルディスプレイを使用して、ＡＲ／ＶＲシステムの第２のユーザに対してオーディオを鳴らすことであって、前記オーディオが、前記ＡＲ／ＶＲシステムの第１のユーザから発生し、前記第１のユーザから前記第２のユーザへのオーディオ通信チャネルのパラメータを有し、前記パラメータが、前記第１のユーザを前記第２のユーザに対してより可聴にするように、第１の値から第２の値に変更される、オーディオを鳴らすことを行わせ、
   プロセッサが、前記第１のユーザの視標追跡データを処理するための命令を実行することによって、前記第２のユーザ、または前記第１のユーザに対して表示される画像中の前記第２のユーザのアバターに向けられた、前記第１のユーザの視線が検出された、
   非一時的メモリ。
7. 前記パラメータは、前記プロセッサが、前記第１のユーザの眼が少なくともあらかじめ定められた時間間隔の間前記第２のユーザまたは前記第２のユーザのアバターを見たと決定するための命令を実行したとき、前記第１の値から前記第２の値に変更される、請求項６に記載の非一時的メモリ。
8. 前記パラメータは、前記第２のユーザに対する前記第１のユーザの視線方向が検出されたとき、前記第１の値から前記第２の値に変更され、および、任意選択的に、
   前記パラメータは、前記第２のユーザに対する前記第１のユーザの視線輻輳または前記第１のユーザの瞳孔拡張のうちの少なくとも１つが検出されたとき、前記第１の値から前記第２の値に変更される、
   請求項６に記載の非一時的メモリ。
9. 前記パラメータが、前記第１のユーザの前記視線の前に前記第１の値を有した、請求項６に記載の非一時的メモリ。
10. 前記パラメータは、前記第１のユーザの視線方向または視線輻輳のうちの少なくとも１つが規則的な時間間隔で前記１つまたは複数のプロセッサによって決定されたとき、前記第１の値から前記第２の値に変更され、および／あるいは、
    前記パラメータは、前記視線が少なくともあらかじめ定められた時間間隔の間はずされたとき、前記第１の値に戻される、
    請求項６に記載の非一時的メモリ。
11. ＡＲ／ＶＲシステムであって、
    視標追跡システムと、第１のユーザに対して第１の画像を表示するための第１の電子ディスプレイと、マイクロフォンとを備える、第１のウェアラブルディスプレイと、
    第２のユーザに対して第２の画像を表示するための第２の電子ディスプレイと、スピーカーとを備える、第２のウェアラブルディスプレイと、
    前記第１のウェアラブルディスプレイおよび前記第２のウェアラブルディスプレイに通信可能に連結され、前記ＡＲ／ＶＲシステムの前記第１のユーザから前記第２のユーザへのオーディオ通信チャネルを確立することと、前記第１の画像を表示するために前記第１のウェアラブルディスプレイにデータを提供することとを行うように構成された、コントローラであって、前記コントローラが、前記第１のウェアラブルディスプレイから、前記第１のユーザの視標追跡に関係するデータを受信することと、前記第２のユーザ、または前記第１の画像中の前記第２のユーザのアバターに向けられた、前記第１のユーザの視線を識別することとを行うように構成された注意モニタを備え、前記コントローラが、前記視線を検出すると、前記第１のユーザを前記第２のユーザに対してより可聴にするように、前記オーディオ通信チャネルのパラメータを第１の値から第２の値に変更するように構成された、コントローラと
    を備える、ＡＲ／ＶＲシステム。
12. 前記注意モニタは、前記第１のユーザの眼が少なくともあらかじめ定められた時間間隔の間前記第２のユーザまたは前記第１の画像中の前記第２のユーザのアバターを見ると決定するように構成された、請求項１１に記載のＡＲ／ＶＲシステム。
13. 前記注意モニタが、前記第１のユーザの視線方向を決定するように構成され、および、任意選択的に、
    前記注意モニタが、前記第１のユーザの視線輻輳または瞳孔拡張のうちの少なくとも１つを決定するように構成された、
    請求項１１に記載のＡＲ／ＶＲシステム。
14. 前記パラメータが、前記オーディオ通信チャネルのピークオーディオ周波数、前記オーディオ通信チャネルのスペクトル幅、またはラウドネスのうちの少なくとも１つを含む、請求項１１に記載のＡＲ／ＶＲシステム。
15. 前記注意モニタは、経時的に前記第１のユーザの前記視線を監視することと、前記視線が少なくともあらかじめ定められた時間間隔の間はずされたとき、前記パラメータを前記第１の値に戻すこととを行うように構成された、請求項１１に記載のＡＲ／ＶＲシステム。
    

Images