JP2022515978A - Ａｒ／ｖｒ環境におけるユーザ注意の視覚インジケータ - Google Patents

Abstract

拡張現実／仮想現実（ＡＲ／ＶＲ）システムにおける、ユーザに別のユーザからの注意について通知する方法が提供される。本方法は、ＡＲ／ＶＲシステムの第１のユーザに対して第１の電子ディスプレイ上で第１の画像を表示することと、ＡＲ／ＶＲシステムの第２のユーザまたは第１の画像中の第２のユーザのアバターに対する第１のユーザの視線を検出すると、第２のユーザに対して第２の電子ディスプレイ上で第２の画像を表示することによって、第２のユーザに第１のユーザの視線について通知することであって、第２の画像が第１のユーザの視線の視覚キューを有する、第２のユーザに第１のユーザの視線について通知することとを含む。【選択図】図１

Description

本開示は、視覚ディスプレイおよびディスプレイシステムに関し、詳細には、ウェアラブルディスプレイおよびそれらのための方法に関する。

ウェアラブルディスプレイは、ユーザに仮想画像を提示するために、あるいは動的情報、データ、または仮想オブジェクトで現実世界画像を拡張するために使用され得る。仮想現実（ＶＲ）風景または拡張現実（ＡＲ）風景は、体験を向上させ、ユーザによって観測された現実オブジェクトに仮想オブジェクトを整合させるために、３次元であり得る。シミュレートされたまたは拡張された環境への没入のより良好な体験を提供するために、空間におけるユーザの眼の位置および視線方向、および／または向きがリアルタイムで追跡され得、ユーザの頭部の向きおよび視線方向に応じて、表示される風景が動的に調整され得る。

ウェアラブルディスプレイは、ユーザ間のソーシャル対話をシミュレートまたは拡張するために使用され得る。たとえば、仮想会議アプリケーションでは、仮想会議室中のアバターによって表されるユーザが、互いに話すこと、ユーザのグループに情報を提示することなどによって、互いと対話し得る。ソーシャル集会イベントのＡＲ／ＶＲシミュレーションの１つの欠点は、ユーザが、ＡＲ／ＶＲ環境により、孤立しているまたは方向感覚を失っている（ｄｉｓｏｒｉｅｎｔｅｄ）と感じ、ユーザ間のソーシャルコンタクトがあまり簡単でなくなり得ることである。

本明細書で開示される方法およびシステムは、ユーザがＡＲ／ＶＲ環境中の（１つまたは複数の）他のユーザの注意を引きつけることを可能にするために採用され得る。ＡＲ／ＶＲシステムは、異なるユーザによって着用されるべき複数のウェアラブルディスプレイと、コントローラとを含み得る。ウェアラブルディスプレイは、各々、ユーザに対してＶＲ画像を表示するための、ならびに／または観測された外部世界をＡＲ像および記号で拡張するための視覚ディスプレイモジュールと、ユーザの視線方向、輻輳、眼の拡張などのパラメータをリアルタイムで決定するための視標追跡（ｅｙｅ－ｔｒａｃｋｉｎｇ）システムと、他のユーザとのオーディオ通信のためのオーディオシステムとを含み得る。コントローラは、リモートまたは分散コンピューティングシステムと、コントローラをウェアラブルディスプレイに接続する通信ネットワークとを含み得、したがって、ウェアラブルディスプレイはコントローラと通信可能に連結される。本明細書で使用されるＡＲ／ＶＲという用語は、ＡＲシステムと、ＶＲシステムと、複合現実（ＭＲ）システムを含む、それらの任意の組合せとを含む。ＡＲ／ＶＲシステムの例が以下でさらに与えられる。

特定のユーザのウェアラブルディスプレイが、システムの（１つまたは複数の）他のユーザを表す画像を示し得る。本方法は、ＡＲ／ＶＲシステムのユーザが、システムの別のユーザがそのユーザを見るときに気づくことを可能にする。スクリーン上に表されるユーザは、遠くに位置し、特定のウェアラブルディスプレイを着用しているユーザにとって可視でないことがあり、アバターによって表され得る。いくつかのＡＲ実施形態では、ユーザは、ユーザのＡＲヘッドセットを通して他のユーザを直接観察し得る。

本発明の第１の態様によれば、拡張現実／仮想現実（ＡＲ／ＶＲ）システムのウェアラブルディスプレイにおける方法であって、本方法が、ウェアラブルディスプレイを使用して、ＡＲ／ＶＲシステムの第２のユーザに対して画像を表示することであって、画像が、第２のユーザまたは第２のユーザのアバターに向けられた、ＡＲ／ＶＲシステムの第１のユーザの視線の視覚キューを含む、画像を表示することを含み、プロセッサが、第１のユーザの視標追跡データを処理するための命令を実行することによって、第２のユーザまたは第２のユーザのアバターに向けられた、第１のユーザの視線が検出された、方法が提供される。

本発明の一実施形態によれば、視覚キューを含む画像は、プロセッサが、第１のユーザの眼が少なくともあらかじめ定められた時間間隔の間第２のユーザまたは第２のユーザのアバターを見たと決定するための命令を実行したとき、表示される。

本発明の一実施形態によれば、視覚キューを含む画像は、第２のユーザに対する第１のユーザの視線方向が検出されたとき、表示されるか、あるいは、視覚キューを含む画像は、第２のユーザに対する第１のユーザの視線輻輳または第１のユーザの瞳孔拡張のうちの少なくとも１つが検出されたとき、表示される。

本発明の一実施形態によれば、画像は、第１のユーザの視線の前に視覚キューが存在しない。

本発明の一実施形態によれば、視覚キューを含む画像は、第１のユーザの視線方向または視線輻輳のうちの少なくとも１つが規則的な時間間隔で１つまたは複数のプロセッサによって決定されたとき、第２のユーザに対して表示される。

本発明の一実施形態によれば、視線が少なくともあらかじめ定められた時間間隔の間はずされたとき、視覚キューを削除するように画像を修正すること。

本発明の第２の態様によれば、命令を記憶した非一時的メモリであって、命令は、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、ＡＲ／ＶＲシステムのウェアラブルディスプレイを使用して、ＡＲ／ＶＲシステムの第２のユーザに対して画像を表示することであって、画像が、第２のユーザまたは第２のユーザのアバターに向けられた、ＡＲ／ＶＲシステムの第１のユーザの視線の視覚キューを含む、画像を表示することを行わせ、プロセッサが、第１のユーザの視標追跡データを処理するための命令を実行することによって、第２のユーザまたは第２のユーザのアバターに向けられた、第１のユーザの視線が検出された、非一時的メモリが提供される。

本発明の一実施形態によれば、視覚キューを含む画像は、命令を実行する１つまたは複数のプロセッサが、第１のユーザの眼が少なくともあらかじめ定められた時間間隔の間第２のユーザまたは第２のユーザのアバターを見たと決定したとき、表示される。

本発明の一実施形態によれば、視覚キューを含む画像は、第２のユーザに対する第１のユーザの視線方向が検出されたとき、表示されるか、あるいは、視覚キューを含む画像は、第２のユーザに対する第１のユーザの視線輻輳または第１のユーザの瞳孔拡張のうちの少なくとも１つが検出されたとき、表示される。

本発明の一実施形態によれば、画像は、第１のユーザの視線の前に視覚キューが存在しない。

本発明の一実施形態によれば、画像は、視線が少なくともあらかじめ定められた時間間隔の間はずされたとき、視覚キューを削除するように修正される。

本発明の第３の態様によれば、
視標追跡システムと第１のユーザに対して第１の画像を表示するための第１の電子ディスプレイとを備える第１のウェアラブルディスプレイと、
第２のユーザに対して第２の画像を表示するための第２の電子ディスプレイを備える第２のウェアラブルディスプレイと、
第１のウェアラブルディスプレイおよび第２のウェアラブルディスプレイに通信可能に連結され、第１の画像を表示するために第１のウェアラブルディスプレイにデータを提供することを行うように構成された、コントローラであって、コントローラが、第１のウェアラブルディスプレイから、第１のユーザの視標追跡に関係するデータを受信することと、第２のユーザまたは第１の画像中の第２のユーザのアバターに向けられた、第１のユーザの視線を識別することとを行うように構成された注意モニタを備え、コントローラが、視線を検出すると、第２のユーザに対して第２の画像を表示するために第２のウェアラブルディスプレイにデータを提供することであって、第２の画像が第１のユーザの視線の視覚キューを含む、データを提供することを行うように構成された、コントローラと
を備える、ＡＲ／ＶＲシステムがさらに提供される。

本発明の一実施形態によれば、注意モニタは、第１のユーザの眼が少なくともあらかじめ定められた時間間隔の間第２のユーザまたは第１の画像中の第２のユーザのアバターを見ると決定するように構成されるか、あるいは、注意モニタは、第１のユーザの視線方向を決定するように構成されるか、あるいは、注意モニタは、第１のユーザの視線輻輳を決定するように構成されるか、あるいは、注意モニタは、第１のユーザの視線方向、視線輻輳、または瞳孔拡張のうちの少なくとも１つを規則的な時間間隔で決定するように構成される。

本発明の一実施形態によれば、注意モニタは、経時的に第１のユーザの視線を監視することと、視線が少なくともあらかじめ定められた時間間隔の間はずされたとき、視覚キューを削除するように第２の画像を修正することとを行うように構成される。

次に、図面に関して例示的な実施形態が説明される。

本開示による、ＡＲ／ＶＲシステムのブロック図である。 図１のＡＲ／ＶＲシステムにおける方法のフローチャートである。 図２の方法の一実施形態を示す図である。 図１のＡＲ／ＶＲシステムの注意モニタのための例示的な方法のフローチャートである。 眼鏡フォームファクタニアアイ拡張現実（ＡＲ）／仮想現実（ＶＲ）ウェアラブルディスプレイ実施形態の等角図である。 図５ＡのＡＲ／ＶＲウェアラブルディスプレイの側面断面図である。 本開示のヘッドマウントディスプレイヘッドセットの等角図である。 図６Ａのヘッドセットを含む仮想現実システムのブロック図である。 スクリーンを凝視する眼の概略図である。 一実施形態による、図１のＡＲ／ＶＲシステムのための例示的なネットワーク環境のブロック図である。 本開示の方法を実装するためのコンピュータシステムのブロック図である。

本教示は、様々な実施形態および例に関して説明されるが、本教示は、そのような実施形態に限定されるものではない。見方を変えれば、本教示は、当業者によって諒解されるように、様々な代替形態および等価物を包含する。本開示の原理、態様、および実施形態、ならびにそれらの特定の例を具陳する、本明細書のすべての記述は、それらの構造的等価物と機能的等価物の両方を包含するものとする。加えて、そのような等価物は、現在知られている等価物、ならびに将来において開発される等価物、すなわち、構造にかかわらず、同じ機能を実施する開発された要素の両方を含むものとする。

本明細書で使用される、「第１の」、「第２の」などの用語は、別段明示的に述べられていない限り、順序を暗示するものではなく、むしろ、ある要素を別の要素と区別するものである。同様に、方法ステップの順序は、別段明示的に述べられていない限り、方法ステップの実行の順番を暗示しない。「複数（ｐｌｕｒａｌｉｔｙ）」という用語は、「２つまたはそれ以上」を意味するために本明細書で使用され、「含む（ｉｎｃｌｕｄｅ）」という単語は、「含む、備える（ｃｏｍｐｒｉｓｅ）」という単語と同じ意味で使用される。

図１を参照すると、ＡＲ／ＶＲシステム１００は、ユーザのアン（１１１）およびボブ（１１２）など、２つまたはそれ以上のユーザの対話を可能にする。システム１００は、ネットワークを介して２つまたはそれ以上のウェアラブルディスプレイ１２８（アンのウェアラブルディスプレイ）および１２６（ボブのウェアラブルディスプレイ）と接続されるコントローラ１５２を含む。各ウェアラブルディスプレイ１２６、１２８は、電子ディスプレイを含み、すなわち、アンのウェアラブルディスプレイ１２８は電子ディスプレイ１２１を含み、ボブのウェアラブルディスプレイ１２６は電子ディスプレイ１２２を含む。コントローラ１５２から受信されたデータを使用して、画像が形成される。

アンのウェアラブルディスプレイ１２８によって生成された画像は、広角カメラによってキャプチャされた画像を含み得るか、または、完全にＶＲ生成された画像を含み得る。ＶＲ生成画像は、複数のユーザを表し得、特に、ボブを表す画像１３６を含み得る。本明細書では、ボブを表す画像１３６は、ボブのアバター１３６と呼ばれる。ボブのアバター１３６は、静止画像または動画像、アイコン、グラフィック表現、アニメーション画像などであり得る。ＡＲ実施形態では、アンは、外部世界の直接ビューを可能にする外光を透過しながら、現実ビューをコンピュータ生成グラフィックスおよび他のコンピュータ生成画像で拡張する、ＡＲヘッドセットを通してボブを直接見得る。そのような実施形態では、ボブの現実世界ビューは、注意キュー、たとえば外側グロー（ｏｕｔｅｒ ｇｌｏｗ）、記号などで拡張され得る。同じことが、他のユーザ、ならびに、互いに他のユーザを表す画像、すなわち、他のユーザのアバター１３１、１３２、および１３６について成り立つ。いくつかのＡＲ実施形態では、同じシーン中に配置された仮想アバターおよび現実の人々が存在し得る。さらに、ユーザは、フォンによってダイヤルインすることができ、ダイヤルインしたユーザを表すアバターを配置することによって、シーン中に配置され得る。

図２は、本開示による、視覚キューを提示するための方法のフローチャートである。方法は、ＡＲ／ＶＲシステムの第１のユーザに対して第１の電子ディスプレイ上で第１の画像を表示すること（２３０）を含む。図１に示されている例では、第１のユーザ１１１はアンであり、第１の電子ディスプレイはアンの電子ディスプレイ１２１であり、画像１３６はボブを表す。

図１をさらに参照すると、ＡＲ／ＶＲシステム１００の第１のウェアラブルディスプレイ１２８は、第１のユーザの眼に関するデータを収集し、取得されたデータを（図１中で１６１Ａおよび１６１Ｂとして示されている）注意モニタ１６１に提供する、視標追跡システム１４２を含む。好ましくは、第２のウェアラブルディスプレイ１２６も視標追跡システムを含み、したがって、アンは、同様に、ボブの視線を通知され得る。

注意モニタ１６１は、アンのウェアラブルディスプレイ１２８などのウェアラブルディスプレイ内の１つまたは複数のローカル部１６１Ｂを含み、コントローラ１５２内の中央部１６１Ａを含む、機能ブロックである。ユーザロケーションにおけるローカル部１６１Ｂ、または中央ロケーションにおける中央部１６１Ａのいずれかによって、何らかの機能性が実装され得る。注意モニタ１６１は、コンピュータ可読記憶媒体に記憶され、（１つまたは複数の）ハードウェアプロセッサによって実行される、命令で実装され得る。

注意モニタ１６１は、アンが、ボブを見る、たとえば、ＡＲアプリケーションにおいてボブを直接見るのか、ＶＲアプリケーションにおいてボブのアバター１３６を見るのかを識別するために、視標追跡システム１４２によって取得された情報と、電子ディスプレイ１２１上に現在表示されている画像に関係する情報とを同期させる。図１では、線１７０は、アンがボブのアバター１３６を見るときのアンの視線の特定の方向を指示する。

この例では、アンは、ボブのアバター１３６を見る。アンは、別のユーザを表す画像１３２に自分の注意をシフトし得る。注意モニタ１６１は、電子ディスプレイ１２１に提供される画像を形成するために使用された初期情報に基づいて、画像１３６と画像１３２とを区別し得る。注意モニタ１６１は、電子ディスプレイ１２１のどの部分が特定のユーザの画像によって占有されるかを識別する情報を有する。ＡＲアプリケーションでは、各ＡＲヘッドセットは、各ユーザが３Ｄ空間においてどこに位置するかを、ＡＲ／ＶＲシステム１００がリアルタイムで決定することを可能にする、位置センサーまたは位置インジケータを装備し得る。様々なユーザについての３Ｄ空間における視線方向および／または輻輳と一緒に、この情報は、各ユーザについて、どの１つまたは複数の他のユーザがその特定のユーザをおそらく見ているかを、ＡＲ／ＶＲシステム１００がリアルタイムで決定することを可能にする。たとえば、ボブが現実世界ロケーションＡにおり、アンが３Ｄ空間における同じ現実世界ロケーションＡを偶然見る場合、ＡＲ／ＶＲシステム１００は、アンがボブを見ていると決定し得る。

ＡＲ／ＶＲシステム１００の別のユーザに向けられた、あるユーザの視線の持続時間を識別する目的で、注意モニタ１６１は、ボブまたはボブのアバター１３６に対するアンの視線の継続時間を計算し得る。視線持続時間は、あらかじめ定められた時間間隔中の、ボブのアバター１３６などの特定の画像に対する、あるいはＡＲアプリケーションにおける特定の人または３Ｄ空間ロケーションに対する、無中断連続視線として定義され得る。視線検出条件が、少なくともあらかじめ定められた時間間隔Ｔ１の間特定の画像を観察することとして構成され得る。視線検出条件が満たされたとき、視線の発生が検出される。

図２をさらに参照すると、方法は、視線を検出すること（２３５）をさらに含む。検出すること２３５は、第２のユーザ（ボブ）、または第１のユーザ（この場合、アン）に対して第１の電子ディスプレイ１２１上で表示される第１の画像中の第２のユーザのアバター（ボブのアバター１３６）のほうへの第１のユーザ（アン）の視線１７０を検出することを含む。検出すること２３５は、視標追跡ユニット、たとえば視標追跡システム１４２によって第１のユーザの眼の移動を追跡することを含み得る。検出することは、視線持続時間が、あらかじめ定められたしきい値時間量よりも長いという条件を含み得る。検出することは、第１のユーザの瞳孔拡張のようないくつかの眼の特性をも考慮に入れ得る。拡張された瞳孔は、高いレベルの注意を指示し得る。同様に、注意モニタ１６１は、あるユーザが別のユーザに注意を払うと決定したとき、別のユーザは通知される。たとえば、モニタ１６１が、アンから、ボブに関係する画像１３６のほうへの視線１７０を検出したとき、コントローラ１５２はボブに通知する。

図２をさらに参照すると、方法は、通知２４０をさらに含む。通知２４０は、第１のユーザの視線を検出すると、ＡＲ／ＶＲシステム１５０の第２のユーザに対して第２の電子ディスプレイ１２２上で第２の画像を表示することを含み得る。第２の画像は、第２のユーザ１１２または第２のユーザのアバターに向けられた、第１のユーザ１１１による凝視を指示する視覚キューまた記号を有する。図１に示されている例では、通知ステップ２４０は、ボブの電子ディスプレイ１２２上で画像を表示することを含み、その画像は、第１のユーザ１１１（アン）を表す画像１３１に近接した視覚キュー１８０を有する。

通知は、記号、視覚キュー、テキスト、シンボル、および／または、ボブのディスプレイ１２２上でボブに対して表示されるアンの画像に追加される色、コントラスト、輝度、輪郭など、アンのアバター１３１の何らかの修正など、任意の視覚情報を含み得る。視覚キューは、ボブのＡＲヘッドセットによって提供される人工画像または特徴を表し得る。図１では、視覚キューは、アンのアバター１３１の近くの感嘆符１８０である。視覚キューの他の非限定的な例は、アンのアバター１３１の振動、アンのアバター１３１の微光またはグローなどを含む。視覚キューは、凝視しているユーザの画像に近接しているか、画像上にあるか、あるいはグローまたは移動など、画像の改変であり得る。好ましくは、視覚キューは、あらかじめ定められ、容易にわかるものであるが、視覚キューは、適度に微細のままであり得る。視覚キューの目的は、第２のユーザに対するまたは第２のユーザのほうへの第１のユーザの識別された視線に応答して、第２のユーザの注意を第１のユーザに引きつけることである。いくつかの実施形態では、記号は、ディスプレイ上のテキスト、さらには音声通知であり得る。

第２のユーザ、ボブ１１２の視点から、方法は、ＡＲ／ＶＲシステム１００のウェアラブルディスプレイ１２６を使用して、ボブに対して画像を表示することを含み、その画像は、第２のユーザまたは第２のユーザのアバターに向けられた、システムの第１のユーザ、アン１１１の視線の視覚キューを有する。プロセッサが、第１のユーザの視標追跡データを処理するための命令を実行することによって、ウェアラブルディスプレイを通して第２のユーザに向けられた、またはウェアラブルディスプレイ１２８のスクリーン１２１上の第２のユーザのアバターに向けられた、第１のユーザの視線が検出された。視覚キューは、命令を実行するプロセッサが、第１のユーザの眼が少なくともあらかじめ定められた時間間隔の間第２のユーザまたは第２のユーザのアバターを見ていると決定したとき、表示され得る。視覚キューは、第２のユーザに対する第１のユーザの視線方向が検出されたとき、および／または、第２のユーザに対する第１のユーザの視線輻輳が検出されたとき、表示され得る。視線方向および／または視線輻輳は、規則的な時間間隔でプロセッサによって決定され得る。方法は、視線がはずされたとき、視覚キューを削除するように画像を修正することを含み得る。好ましくは、第２のユーザに対して表示される画像は、第２のユーザまたは第２のユーザのアバターに向けられた、第１のユーザの視線が検出される前に、視覚キューが存在しない。

方法は、ユーザに、そのユーザのディスプレイ上で表されるいくつかの他のユーザの同時の注意（ｃｏｎｃｕｒｒｅｎｔ ａｔｔｅｎｔｉｏｎ）を通知するために使用され得る。図３を参照すると、第２のユーザのボブ１１２は、自分のディスプレイ１２２上に５つの画像を有し、システムは、上記で説明されたように、３人の人々の視線によって識別された、それらの人々の厳密な注意（ｃｌｏｓｅ ａｔｔｅｎｔｉｏｎ）を検出した。視覚キュー１８０、１８１、１８２は、ボブのディスプレイ１２２上で提供される。視覚キューの各々は、特定のユーザまたはそのユーザの画像の隣に／それに極めて近接して配設されるか、あるいは（画像の軽微な修正を表す、グローまたは振動などのキューの場合）画像またはアバター上に直接配設され得る。視覚キューは、ユーザのうちの１つのみを識別し、そのキューがどの特定のユーザを指すかを明確にするために、特定のユーザを表す画像について提供されるか、または同じスクリーン上の他のユーザを表す画像よりもその画像の近くに提供され得る。たとえば、システムは、ディスプレイ上で同時に表される他のユーザの頭部のいずれよりも特定のユーザの頭部の近くにキューを提供するように制約され得る。

方法は、リアルタイムで実施され得る。ＡＲ／ＶＲシステム１００は、ユーザの眼がスクリーンの異なるエリア間でシフトするにつれて、規則的な時間間隔で、更新された視標追跡情報を受信することができ、ディスプレイシステムは、更新された視標追跡情報に基づいて、ユーザが見ているスクリーンにおける点である、注視点（ｐｏｉｎｔ ｏｆ ｒｅｇａｒｄ）、すなわち視線点を算出することができる。好ましくは、視線方向および視線輻輳によって表される注視点は、あらかじめ定められた規則的な時間間隔で識別される。上記で説明されたように、第２のユーザは、第１のユーザの視線が検出されるとすぐに通知される。次いで、システムは、第１のユーザ１１１の視線を監視し続ける。第１のユーザ１１１の注意が他の場所に移動したとき、前に検出された視線を指示する視覚キューは消滅し得る。視線はずし条件（ｇａｚｅ ｗｉｔｈｄｒａｗａｌ ｃｏｎｄｉｔｉｏｎ）が、あらかじめ定められた時間間隔Ｔ２未満の間第２のユーザ１１２を見続けることとして構成され得る。２つの時間間隔、すなわち、Ｔ１（視線の検出のしきい値時間）とＴ２（視線をはずす）とは等しく、すなわち、Ｔ１＝Ｔ２であり得るが、必ずしも等しいとは限らない。注意モニタ１６１はまた、アイコンタクトの持続時間を快適な継続時間に限定する目的で、ユーザの眼および／または頭部の自然な移動を検出するように構成され得る。言い換えれば、第１のユーザは、短い間、床を見ること、自分の頭部を左右に振ることなどを行い得る。注意モニタ１６１は、注意の（１つまたは複数の）視覚キューを削除することなしに、「短いはずし時間（ｂｒｉｅｆ ｗｉｔｈｄｒａｗａｌ ｔｉｍｅ）」Ｔ３の間のそのような移動を可能にするように構成され得る。視線はずし条件が満たされたとき、第２のディスプレイ１２２において表示される画像は、視覚キュー１８０が消滅するように、変化する。

最終的に、第１のユーザ１１１は、第２のユーザ１１２に自分の注意を戻し得る。視線検出条件が満たされたとき、第１のユーザ１１１の画像に関する視覚キューが第２のディスプレイ上に現れる。本明細書では、視覚キューは注意を指示し、キューの不在は注意の欠如を指示する。したがって、視覚キューは、視線が再び検出される直前に、少なくともあらかじめ定められた時間間隔、たとえば、Ｔ１／２の間存在しない。

図４は、第２のユーザ１１２のほうへの第１のユーザ１１１の視線の存在または不在を検出するための、注意モニタ１６１によって採用される例示的な方法４００のフローチャートである。初期に（４０２）、視線ステータスは、いいえである。間隔タイマーが開始され（４０４）、注視点が検出される（４０６）。注視点が第２の人の画像内にある（４０８）場合、観察タイマーが増分される（４１０）。注視点が第２の人の画像内にない場合、および間隔タイマーが＜Ｔ１である（４１２）場合、プロセスは、注視点を検出すること（４０６）に戻る。いいえの場合、視線ステータスは決定される（４１４）。この例では、視線検出条件は、時間間隔Ｔ１の少なくともあらかじめ定められた部分Ｘの間特定の画像を観察することとして構成され、視線はずし条件は、時間間隔Ｔ２のあらかじめ定められた部分Ｙ未満の間特定の画像を観察することとして構成される。視線がなく、観察タイマーが＜Ｘ＊Ｔ１である（４１６）場合、プロセスは間隔タイマーを再開する（４０４）。観察タイマーが＞Ｘ＊Ｔ１である（４１８）場合、視線ステータスは、はいであり（４２０）、第２のユーザは視線変更を通知される（４２２）。視線が残存し、観察タイマーが＞Ｘ＊Ｔ１である場合、プロセスは、同じく間隔タイマーを再開する（４０４）。観察タイマーが＜Ｘ＊Ｔ１である場合、視線ステータスは、いいえであり（４２４）、第２のユーザは視線変更を通知される（４１８）。ユーザの視線は経時的に連続的に監視され得る。

説明の目的で、Ｔ１＝Ｔ２であり、第１の電子ディスプレイ１２１上で表される他のユーザのほうへの第１のユーザ１１１の可能な視線が考慮されない。もちろん、他の方法が採用され得、特に、スライディング時間ウィンドウが使用され得る。

第１のユーザ１１１および第２のユーザ１１２は、それらのユーザの視線が視標追跡デバイスによってキャプチャされ得るような、人々であり得る。しかしながら、第１のユーザによって払われる注意を通知される第２のユーザ１１２はまた、機械、コンピュータ、またはロボットであり得る。

図５Ａおよび図５Ｂを参照すると、ニアアイＡＲ／ＶＲディスプレイ５００は、ウェアラブルディスプレイ１２６、１２８の一実施形態である。ニアアイＡＲ／ＶＲディスプレイ５００の本体またはフレーム５０２は、示されているように、一対の眼鏡のフォームファクタを有する。ディスプレイ５０４はディスプレイアセンブリ５０６を含み（図５Ｂ）、ディスプレイアセンブリ５０６は、アイボックス５１０に、すなわち、良い品質の画像がユーザの眼５１２に提示され得る幾何学的エリアに、画像光５０８を提供する。ディスプレイアセンブリ５０６は、各眼のための別個のニアアイＡＲ／ＶＲディスプレイモジュール、または両方の眼のための１つのＡＲ／ＶＲディスプレイモジュールを含み得る。

ディスプレイアセンブリ５０６の電子ディスプレイは、たとえば、および限定はしないが、液晶ディスプレイ（ＬＣＤ）、有機発光ディスプレイ（ＯＬＥＤ）、無機発光ディスプレイ（ＩＬＥＤ）、アクティブマトリックス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイ、透明有機発光ダイオード（ＴＯＬＥＤ）ディスプレイ、プロジェクタ、またはそれらの組合せを含み得る。ディスプレイによって生成された画像をユーザの眼に伝達するための導波路構造が提供され得る。ＡＲアプリケーションでは、透明または半透明導波路構造が、ディスプレイアセンブリ５０６にわたって広がり得る。導波路は、選択的反射体と回折格子とを含み得る。導波路は、瞳孔複製（ｐｕｐｉｌ－ｒｅｐｌｉｃａｔｉｎｇ）導波路セクションをも含み得る。ニアアイＡＲ／ＶＲディスプレイ５００は、ユーザの眼５１２の視線方向および／または輻輳角をリアルタイムで決定するための視標追跡システム５１４をも含み得る。決定された、視線方向および視線輻輳角はまた、画角および眼の位置に応じて、視覚的アーティファクトのリアルタイム補償のために使用され得る。さらに、決定された、輻輳および視線角は、ユーザとの対話、オブジェクトをハイライトすること、オブジェクトを前景に持ってくること、追加のオブジェクトまたはポインタを動的に作成することなどのために使用され得る。さらに、ニアアイコヒーレントＡＲ／ＶＲディスプレイ５００は、小さいスピーカーまたはヘッドフォン、および／あるいはマイクロフォンなど、オーディオシステムを含み得る。部屋の中の人々のロケーションおよび／または方向を認識するために、ディスプレイアセンブリ上のステレオマイクロフォンが使用され得る。いくつかの実施形態では、シーン中の人の存在を決定するために顔認識が使用され得、その目的で、同時位置特定およびマッピング（ＳＬＡＭ）カメラまたはインターネット接続された（ＩｏＴ）カメラが採用され得る。

図６Ａを参照すると、ＨＭＤ６００は、ＡＲ／ＶＲ環境へのより大きい程度の没入のためのユーザの顔を囲むＡＲ／ＶＲウェアラブルディスプレイシステムの一例である。ＨＭＤ６００の機能は、コンピュータ生成された像で物理的現実世界の環境のビューを拡張すること、および／または、完全に仮想３Ｄ像を生成することである。ＨＭＤ６００は、前面本体６０２と、バンド６０４とを含み得る。前面本体６０２は、信頼できるおよび快適な様式でのユーザの眼の前への配置のために構成され、バンド６０４は、ユーザの頭部上で前面本体６０２を固定するために伸張され得る。ディスプレイシステム６８０は、ユーザにＡＲ／ＶＲ像を提示するために、前面本体６０２中に配設され得る。前面本体６０２の側面６０６は、不透明であるか、または透明であり得る。

いくつかの実施形態では、前面本体６０２は、ロケータ６０８と、ＨＭＤ６００の加速度を追跡するための慣性測定ユニット（ＩＭＵ）６１０と、ＨＭＤ６００の位置を追跡するための位置センサー６１２とを含む。ＩＭＵ６１０は、ＨＭＤ６００の動きに応答して１つまたは複数の測定信号を生成する位置センサー６１２のうちの１つまたは複数から受信された測定信号に基づいて、ＨＭＤ６００の位置を指示するデータを生成する電子デバイスである。位置センサー６１２の例は、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、動きを検出する別の好適なタイプのセンサー、ＩＭＵ６１０の誤差補正のために使用されるタイプのセンサー、またはそれらの何らかの組合せを含む。位置センサー６１２は、ＩＭＵ６１０の外部に、ＩＭＵ６１０の内部に、またはそれらの何らかの組合せで位置し得る。

ロケータ６０８は、仮想現実システムが、ＨＭＤ６００全体のロケーションおよび向きを追跡することができるように、仮想現実システムの外部撮像デバイスによって追跡される。ＩＭＵ６１０および位置センサー６１２によって生成された情報は、ＨＭＤ６００の位置および向きの追跡精度改善のために、ロケータ６０８を追跡することによって取得された位置および向きと比較され得る。正確な位置および向きは、ユーザが、３Ｄ空間において移動し、回転するので、適切な仮想風景をユーザに提示するために重要である。

ＨＭＤ６００は、ＨＭＤ６００の一部または全部の周囲のローカルエリアの深度情報を記述するデータをキャプチャする、深度カメラアセンブリ（ＤＣＡ）６１１をさらに含み得る。そのために、ＤＣＡ６１１は、レーザーレーダー（ＬＩＤＡＲ）、または同様のデバイスを含み得る。深度情報は、３Ｄ空間におけるＨＭＤ６００の位置および向きの決定のより良好な精度のために、ＩＭＵ６１０からの情報と比較され得る。

ＨＭＤ６００は、リアルタイムでユーザの眼の向きおよび位置を決定するための視標追跡システム６１４をさらに含み得る。視標追跡システム６１４は、両方の眼を照らす赤外線照明器のアレイと、赤外光と可視光とを分離するためのホットミラーと、照明器からの反射（グリント）を用いて両方の眼の画像を取得する視標追跡カメラとを含み得る。眼の瞳孔の位置に対するグリントの位置を比較することによって、眼の位置および向きが決定され得る。眼の取得された位置および向きはまた、ＨＭＤ６００が、ユーザの視線方向を決定することと、それに応じてディスプレイシステム６８０によって生成された画像を調整することとを可能にする。一実施形態では、輻輳、すなわち、ユーザの眼視線の収束角が決定される。決定された、視線方向および視線輻輳角はまた、画角および眼の位置に応じて、視覚的アーティファクトのリアルタイム補償のために使用され得る。さらに、決定された、輻輳および視線角は、ユーザとの対話、オブジェクトをハイライトすること、オブジェクトを前景に持ってくること、追加のオブジェクトまたはポインタを作成することなどのために使用され得る。たとえば、前面本体６０２に組み込まれた小さいスピーカーのセットおよび／またはマイクロフォンを含む、オーディオシステムも提供され得る。

図６Ｂを参照すると、ＡＲ／ＶＲシステム６５０は、図６ＡのＨＭＤ６００と、様々なＡＲ／ＶＲアプリケーション、セットアップおよび較正手順、３Ｄビデオなどを記憶する外部コンソール６９０と、コンソール６９０を動作させ、および／またはＡＲ／ＶＲ環境と対話するための入出力（Ｉ／Ｏ）インターフェース６１５とを含む。ＨＭＤ６００は、物理的ケーブルを用いてコンソール６９０に「テザリング」されるか、またはＢｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉなど、ワイヤレス通信リンクを介してコンソール６９０に接続され得る。関連するＩ／Ｏインターフェース６１５を各々有する、複数のＨＭＤ６００があり得、各ＨＭＤ６００および（１つまたは複数の）Ｉ／Ｏインターフェース６１５はコンソール６９０と通信する。代替構成では、異なるおよび／または追加の構成要素が、ＡＲ／ＶＲシステム６５０中に含まれ得る。加えて、図６Ａおよび図６Ｂに示されている構成要素のうちの１つまたは複数に関して説明される機能性は、いくつかの実施形態では、図６Ａおよび図６Ｂに関して説明されるものとは異なる様式で構成要素の間で分散され得る。たとえば、コンソール６１５の機能性の一部または全部がＨＭＤ６００によって提供され得、その逆も同様である。ＨＭＤ６００は、そのような機能性を達成することが可能な処理モジュールを提供され得る。

図６Ａを参照しながら上記で説明されたように、ＨＭＤ６００は、眼の位置および向きを追跡する、視線角および収束角を決定するなどのための視標追跡システム６１４（図６Ｂ）と、３Ｄ空間におけるＨＭＤ６００の位置および向きを決定するためのＩＭＵ６１０と、外部環境をキャプチャするためのＤＣＡ６１１と、ＨＭＤ６００の位置を独立して決定するための位置センサー６１２と、ユーザに対してＡＲ／ＶＲコンテンツを表示するためのディスプレイシステム６８０とを含み得る。ディスプレイシステム６８０は、（図６Ｂ）電子ディスプレイ６２５を含み、たとえば、および限定はしないが、液晶ディスプレイ（ＬＣＤ）、有機発光ディスプレイ（ＯＬＥＤ）、無機発光ディスプレイ（ＩＬＥＤ）、アクティブマトリックス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイ、透明有機発光ダイオード（ＴＯＬＥＤ）ディスプレイ、プロジェクタ、またはそれらの組合せを含む。ディスプレイシステム６８０は、光学ブロック６３０をさらに含み、光学ブロック６３０の機能は、電子ディスプレイ６２５によって生成された画像をユーザの眼に伝達することである。光学ブロックは、様々なレンズ、たとえば、屈折レンズ、フレネルレンズ、回折レンズ、能動または受動パンチャラトナムベリー位相（ＰＢＰ：Ｐａｎｃｈａｒａｔｎａｍ－Ｂｅｒｒｙ ｐｈａｓｅ）レンズ、液体レンズ、液晶レンズなど、瞳孔複製導波路、格子構造、コーティングなどを含み得る。ディスプレイシステム６８０は、光学ブロック６３０の一部であり得る、可変焦点モジュール６３５をさらに含み得る。可変焦点モジュール６３５の機能は、たとえば、輻輳調節矛盾（ｖｅｒｇｅｎｃｅ－ａｃｃｏｍｍｏｄａｔｉｏｎ ｃｏｎｆｌｉｃｔ）を補償すること、特定のユーザの視覚障害を補正すること、光学ブロック６３０の収差をオフセットすることなどのために、光学ブロック６３０の焦点を調整することである。

Ｉ／Ｏインターフェース６１５は、ユーザがアクション要求を送り、コンソール６９０から応答を受信することを可能にするデバイスである。アクション要求は、特定のアクションを実施するための要求である。たとえば、アクション要求は、画像データまたはビデオデータのキャプチャを開始または終了するための命令、あるいはアプリケーション内で特定のアクションを実施するための命令であり得る。Ｉ／Ｏインターフェース６１５は、キーボード、マウス、ゲームコントローラ、またはアクション要求を受信し、そのアクション要求をコンソール６９０に通信するための任意の他の好適なデバイスなど、１つまたは複数の入力デバイスを含み得る。Ｉ／Ｏインターフェース６１５によって受信されたアクション要求は、コンソール６９０に通信され、コンソール６９０は、そのアクション要求に対応するアクションを実施する。いくつかの実施形態では、Ｉ／Ｏインターフェース６１５は、Ｉ／Ｏインターフェース６１５の初期位置に対するＩ／Ｏインターフェース６１５の推定位置を指示する較正データをキャプチャするＩＭＵを含む。いくつかの実施形態では、Ｉ／Ｏインターフェース６１５は、コンソール６９０から受信された命令に従って、ユーザに触覚フィードバックを提供し得る。たとえば、アクション要求が受信されたときに触覚フィードバックが提供され得るか、またはコンソール６９０がアクションを実施するときに、コンソール６９０が、Ｉ／Ｏインターフェース６１５に命令を通信して、Ｉ／Ｏインターフェース６１５が触覚フィードバックを生成することを引き起こす。

コンソール６９０は、ＩＭＵ６１０とＤＣＡ６１１と視標追跡システム６１４とＩ／Ｏインターフェース６１５とのうちの１つまたは複数から受信された情報に従って、処理するためのコンテンツをＨＭＤ６００に提供し得る。図６Ｂに示されている例では、コンソール６９０は、アプリケーションストア６５５と、追跡モジュール６６０と、ＶＲエンジン６６５とを含む。コンソール６９０のいくつかの実施形態は、図６Ｂに関して説明されるものとは異なるモジュールまたは構成要素を有し得る。同様に、以下でさらに説明される機能は、図６Ａおよび図６Ｂに関して説明されるものとは異なる様式でコンソール６９０の構成要素の間で分散され得る。

アプリケーションストア６５５は、コンソール６９０が実行するための１つまたは複数のアプリケーションを記憶し得る。アプリケーションは、プロセッサによって実行されたとき、ユーザへの提示のためのコンテンツを生成する命令のグループである。アプリケーションによって生成されたコンテンツは、ＨＭＤ６００またはＩ／Ｏインターフェース６１５の移動を介してユーザから受信された入力に応答したものであり得る。アプリケーションの例は、ゲームアプリケーション、プレゼンテーションおよび会議アプリケーション、ビデオ再生アプリケーション、または他の好適なアプリケーションを含む。

追跡モジュール６６０は、１つまたは複数の較正パラメータを使用してＡＲ／ＶＲシステム６５０を較正し得、ＨＭＤ６００またはＩ／Ｏインターフェース６１５の位置を決定する際の誤差を低減するように、１つまたは複数の較正パラメータを調整し得る。また、追跡モジュール６６０によって実施される較正は、ＨＭＤ６００中のＩＭＵ６１０および／または、もしあれば、Ｉ／Ｏインターフェース６１５中に含まれるＩＭＵから受信された情報を考慮する。加えて、ＨＭＤ６００の追跡が失われた場合、追跡モジュール６６０は、ＡＲ／ＶＲシステム６５０の一部または全部を再較正し得る。

追跡モジュール６６０は、ＨＭＤ６００またはＩ／Ｏインターフェース６１５の移動、ＩＭＵ６１０、またはそれらの何らかの組合せを追跡し得る。たとえば、追跡モジュール６６０は、ＨＭＤ６００からの情報に基づいて、ローカルエリアのマッピングにおいてＨＭＤ６００の基準点の位置を決定し得る。追跡モジュール６６０はまた、ＨＭＤ６００の基準点の位置、またはＩ／Ｏインターフェース６１５の基準点の位置を、それぞれ、ＨＭＤ６００の位置を指示するＩＭＵ６１０からのデータを使用して、またはＩ／Ｏインターフェース６１５の位置を指示するＩ／Ｏインターフェース６１５中に含まれるＩＭＵからのデータを使用して決定し得る。さらに、いくつかの実施形態では、追跡モジュール６６０は、位置またはＨＭＤ６００を指示するＩＭＵ６１０からのデータの部分、ならびにＤＣＡ６１１からのローカルエリアの表現を使用して、ＨＭＤ６００の将来のロケーションを予測し得る。追跡モジュール６６０は、ＨＭＤ６００またはＩ／Ｏインターフェース６１５の推定または予測された将来の位置をＶＲエンジン６６５に提供する。

ＶＲエンジン６６５は、ＨＭＤ６００から受信された情報に基づいて、ＨＭＤ６００の一部または全部の周囲のエリア（「ローカルエリア」）の３Ｄマッピングを生成し得る。いくつかの実施形態では、ＶＲエンジン６６５は、深度を算出する際に使用される技法に関連する、ＤＣＡ６１１から受信された情報に基づいて、ローカルエリアの３Ｄマッピングのための深度情報を決定する。様々な実施形態では、ＶＲエンジン６６５は、深度情報を使用して、ローカルエリアのモデルを更新し、更新されたモデルに部分的に基づいて、コンテンツを生成し得る。

ＶＲエンジン６６５は、ＡＲ／ＶＲシステム６５０内でアプリケーションを実行し、追跡モジュール６６０から、ＨＭＤ６００の位置情報、加速度情報、速度情報、予測された将来の位置、またはそれらの何らかの組合せを受信する。受信された情報に基づいて、ＶＲエンジン６６５は、ユーザへの提示のためにＨＭＤ６００に提供すべきコンテンツを決定する。たとえば、受信された情報が、ユーザが左を見ていることを指示する場合、ＶＲエンジン６６５は、仮想環境において、またはローカルエリアを追加のコンテンツで拡張する環境において、ユーザの移動を反映する、ＨＭＤ６００のためのコンテンツを生成する。加えて、ＶＲエンジン６６５は、Ｉ／Ｏインターフェース６１５から受信されたアクション要求に応答して、コンソール６９０上で実行しているアプリケーション内でアクションを実施し、そのアクションが実施されたというフィードバックをユーザに提供する。提供されるフィードバックは、ＨＭＤ６００を介した視覚または可聴フィードバック、あるいはＩ／Ｏインターフェース６１５を介した触覚フィードバックであり得る。

いくつかの実施形態では、視標追跡システム６１４から受信された視標追跡情報（たとえば、ユーザの眼の向き）に基づいて、ＶＲエンジン６６５は、電子ディスプレイ６２５上でのユーザへの提示のために、ＨＭＤ６００に提供されたコンテンツの解像度を決定する。ＶＲエンジン６６５は、ユーザの視線の中心窩領域において、電子ディスプレイ６２５上の最大ピクセル解像度を有するコンテンツをＨＭＤ６００に提供し得る。ＶＲエンジン６６５は、電子ディスプレイ６２５の他の領域において、より低いピクセル解像度を提供し、したがって、ＡＲ／ＶＲシステム６５０の電力消費を少なくし、ユーザの視覚体験を損なうことなしにコンソール６９０のコンピューティングリソースを節約し得る。いくつかの実施形態では、ＶＲエンジン６６５はさらに、視標追跡情報を使用して、オブジェクトが電子ディスプレイ６２５上で表示されるところを調整して、輻輳調節矛盾を防ぎ、ならびに／または光学的ひずみおよび収差をオフセットすることができる。

図７は、図１の視線ベクトル１７０に対応する視線ベクトル３０６によって指示される方向にあるスクリーン３０４を凝視する、ユーザの眼３０２を示す。図７は、スクリーン上の中心窩領域３０８をさらに示す。注意モニタモジュール１６１（図１）は、眼が見ている方向を表す、視線ベクトルを決定する。いくつかの実施形態では、注意モニタモジュール１６１は、眼球中心（図７中のＡ）と、角膜中心（Ｃ）と、瞳孔（Ｅ）と、角膜中心と瞳孔中心との間の距離（ｈ）とを含む、眼に関連する複数の眼の特性に基づいて、視線ベクトルを決定する。一実施形態では、視標追跡システム１４２は、これらの眼の特性を推定し、その推定を視標追跡情報の一部として注意モニタモジュール１６１に送る。別の実施形態では、モジュール１６１は、視標追跡システム１４２から眼の角度の向きを受信し、角回転に基づいて眼のモデルに回転を適用することによって、これらの眼の特性を生成する。他の実施形態では、注意モニタモジュール１６１は、視標追跡システム１４２から眼の中心窩軸を受信し、中心窩軸の方向を視線ベクトル３０６として使用する。視線ベクトル３０６を決定した後に、モジュール１６１は、視線ベクトル３０６とスクリーン３０４との交点を算出することによって、注視点３１４を決定する。他の実施形態では、注視点３１４は、他の手段によって算出される。

別の実施形態では、２つの視線ベクトルが、ユーザの２つの眼について別個に決定され、ウェアラブルディスプレイ１２８は、２つの視線ベクトルの収束に基づいてユーザの焦点深度を決定する。この実施形態では、ウェアラブルディスプレイ１２８は、第１のユーザが、特定のオブジェクトまたはユーザに自分の眼を集中させるのか、スクリーンに注意を払うことなしにただ自分の眼を休ませるのかを決定するために、焦点深度と、シーン中のオブジェクトの深度値との間の深度の差（以下、深度差と呼ぶ）を決定する。

図８は、本開示の方法が実装され得る、ＡＲ／ＶＲシステム１００の一例を提供する。ＡＲ／ＶＲシステム１００は、ネットワーク８５５と、コントローラ１５２を含む１つまたは複数のサーバ８５０と、デバイス８２０および８２１によって示されている複数のユーザデバイス、たとえばウェアラブルディスプレイ１２８または１２６とを備える。（１つまたは複数の）サーバ８５０は、画像を表示するためにユーザデバイスにデータを提供し、ユーザアクティビティを監視し、ユーザに、（１つまたは複数の）他のユーザによってそのユーザに払われる注意を通知する。ネットワーク８５５は、サーバ８５０とユーザデバイス８２０および８２１との間の通信のための手段を提供する。ネットワーク８５５は、インターネット、モバイルデバイスキャリアネットワークなどのワイヤレスまたはワイヤードネットワーク、あるいは、サーバとクライアントとの間の通信のために使用され得る任意の他のネットワークであり得る。ユーザデバイス８２０および８２１はＨＭＤであり得、各々は、デスクトップコンピュータ、あるいはモバイルデバイス、たとえば、モバイルフォン、セルフォン、スマートフォン、携帯情報端末、ノートブックコンピュータ、タブレットコンピュータ、ラップトップコンピュータ、カメラ、ビデオカメラ、またはハンドヘルドゲームコンソールなど、任意の好適なコンピューティングデバイスを含み得る。

図９は、例示的なコンピュータシステム７００を示す。特定の実施形態では、１つまたは複数のコンピュータシステム７００は、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施する。特定の実施形態では、１つまたは複数のコンピュータシステム７００は、本明細書で説明または示される機能性を提供する。特定の実施形態では、１つまたは複数のコンピュータシステム７００上で稼働しているソフトウェアは、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施するか、あるいは本明細書で説明または示される機能性を提供する。特定の実施形態は、１つまたは複数のコンピュータシステム７００の１つまたは複数の部分を含む。

本開示は、任意の好適な数のコンピュータシステム７００を企図する。本開示は、任意の好適な物理的形態をとるコンピュータシステム７００を企図する。限定としてではなく例として、コンピュータシステム７００は、組込み型コンピュータシステム、システムオンチップ（ＳＯＣ）、（たとえば、コンピュータオンモジュール（ＣＯＭ）またはシステムオンモジュール（ＳＯＭ）などの）シングルボードコンピュータシステム（ＳＢＣ）、デスクトップコンピュータシステム、ラップトップまたはノートブックコンピュータシステム、対話型キオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、あるいはこれらのうちの２つまたはそれ以上の組合せであり得る。適切な場合、コンピュータシステム７００は、１つまたは複数のコンピュータシステム７００を含むか、単一または分散型であるか、複数のロケーションにわたるか、複数のマシンにわたるか、複数のデータセンターにわたるか、あるいは１つまたは複数のネットワーク中の１つまたは複数のクラウド構成要素を含み得るクラウド中に常駐し得る。適切な場合、１つまたは複数のコンピュータシステム７００は、実質的な空間的または時間的制限なしに、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施し得る。限定としてではなく一例として、１つまたは複数のコンピュータシステム７００は、リアルタイムでまたはバッチモードで、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施し得る。１つまたは複数のコンピュータシステム７００は、適切な場合、異なる時間においてまたは異なるロケーションにおいて、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施し得る。

特定の実施形態では、コンピュータシステム７００は、プロセッサ７０２と、非一時的メモリ７０４と、ストレージ７０６と、入出力（Ｉ／Ｏ）インターフェース７０８と、通信インターフェース７１０と、バス７１２とを含む。本開示は、特定の構成において特定の数の特定の構成要素を有する特定のコンピュータシステムを説明し、示すが、本開示は、任意の好適な構成において任意の好適な数の任意の好適な構成要素を有する任意の好適なコンピュータシステムを企図する。

特定の実施形態では、プロセッサ７０２は、コンピュータプログラムを作り上げる命令など、命令を実行するためのハードウェアを含む。限定としてではなく一例として、命令を実行するために、プロセッサ７０２は、内部レジスタ、内部キャッシュ、非一時的メモリ７０４、またはストレージ７０６から命令を取り出し（またはフェッチし）、それらの命令を復号および実行し、次いで、内部レジスタ、内部キャッシュ、非一時的メモリ７０４、またはストレージ７０６に１つまたは複数の結果を書き込み得る。特定の実施形態では、プロセッサ７０２は、データ、命令、またはアドレスのための１つまたは複数の内部キャッシュを含み得る。本開示は、特定のプロセッサを説明し、示すが、本開示は任意の好適なプロセッサを企図する。

特定の実施形態では、非一時的メモリ７０４は、プロセッサ７０２が実行するための命令、またはプロセッサ７０２が動作する対象のデータを記憶するためのメインメモリを含む。限定としてではなく一例として、コンピュータシステム７００は、ストレージ７０６または（たとえば、別のコンピュータシステム７００などの）別のソースからメモリ７０４に命令をロードし得る。プロセッサ７０２は、次いで、メモリ７０４から内部レジスタまたは内部キャッシュに命令をロードし得る。命令を実行するために、プロセッサ７０２は、内部レジスタまたは内部キャッシュから命令を取り出し、それらの命令を復号し得る。命令の実行中またはその後に、プロセッサ７０２は、（中間結果または最終結果であり得る）１つまたは複数の結果を内部レジスタまたは内部キャッシュに書き込み得る。プロセッサ７０２は、次いで、非一時的メモリ７０４にそれらの結果のうちの１つまたは複数を書き込み得る。

特定の実施形態では、プロセッサ７０２は、１つまたは複数の内部レジスタまたは内部キャッシュ中の、あるいは（ストレージ７０６または他の場所とは対照的な）メモリ７０４中の命令のみを実行し、１つまたは複数の内部レジスタまたは内部キャッシュ中の、あるいは（ストレージ７０６または他の場所とは対照的な）メモリ７０４中のデータのみに対して動作する。（アドレスバスおよびデータバスを各々含み得る）１つまたは複数のメモリバスが、プロセッサ０２をメモリ７０４に結合し得る。バス７１２は、以下で説明されるように、１つまたは複数のメモリバスを含み得る。特定の実施形態では、１つまたは複数のメモリ管理ユニット（ＭＭＵ）が、プロセッサ７０２とメモリ７０４との間に常駐し、プロセッサ７０２によって要求されるメモリ７０４へのアクセスを容易にする。本開示は、特定のメモリを説明し、示すが、本開示は任意の好適なメモリを企図する。

特定の実施形態では、ストレージ７０６は、データまたは命令のための大容量ストレージを含む。ストレージ７０６は、適切な場合、リムーバブルまたは非リムーバブル（すなわち、固定）媒体を含み得る。ストレージ７０６は、適切な場合、コンピュータシステム７００の内部または外部にあり得る。特定の実施形態では、ストレージ７０６は、不揮発性ソリッドステートメモリである。適切な場合、ストレージ７０６は、１つまたは複数のストレージ７０６を含み得る。本開示は、特定のストレージを説明し、示すが、本開示は任意の好適なストレージを企図する。

特定の実施形態では、Ｉ／Ｏインターフェース７０８は、コンピュータシステム７００と１つまたは複数のＩ／Ｏデバイスとの間の通信のための１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。コンピュータシステム７００は、適切な場合、これらのＩ／Ｏデバイスのうちの１つまたは複数を含み得る。これらのＩ／Ｏデバイスのうちの１つまたは複数は、人とコンピュータシステム７００との間の通信を可能にし得る。限定としてではなく一例として、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカー、スチールカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なＩ／Ｏデバイス、またはこれらのうちの２つまたはそれ以上の組合せを含み得る。Ｉ／Ｏデバイスは１つまたは複数のセンサーを含み得る。本開示は、任意の好適なＩ／Ｏデバイスと、それらのＩ／Ｏデバイスのための任意の好適なＩ／Ｏインターフェース７０８とを企図する。適切な場合、Ｉ／Ｏインターフェース７０８は、プロセッサ７０２がこれらのＩ／Ｏデバイスのうちの１つまたは複数を駆動することを可能にする１つまたは複数のデバイスまたはソフトウェアドライバを含み得る。Ｉ／Ｏインターフェース７０８は、適切な場合、１つまたは複数のＩ／Ｏインターフェース７０８を含み得る。本開示は、特定のＩ／Ｏインターフェースを説明し、示すが、本開示は任意の好適なＩ／Ｏインターフェースを企図する。

特定の実施形態では、通信インターフェース７１０は、コンピュータシステム７００と、１つまたは複数の他のコンピュータシステム７００または１つまたは複数のネットワークとの間の（たとえば、パケットベース通信などの）通信のための１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。限定としてではなく一例として、通信インターフェース７１０は、イーサネットまたは他のワイヤベースネットワークと通信するためのネットワークインターフェースコントローラ（ＮＩＣ）またはネットワークアダプタ、あるいはＷｉ－Ｆｉネットワークなどのワイヤレスネットワークと通信するためのワイヤレスＮＩＣ（ＷＮＩＣ）またはワイヤレスアダプタを含み得る。本開示は、任意の好適なネットワークと、そのネットワークのための任意の好適な通信インターフェース７１０とを企図する。本開示は、特定の通信インターフェースを説明し、示すが、本開示は任意の好適な通信インターフェースを企図する。

特定の実施形態では、バス７１２は、コンピュータシステム７００の構成要素を互いに結合する、ハードウェア、ソフトウェア、またはその両方を含む。本開示は、特定のバスを説明し、示すが、本開示は任意の好適なバスまたは相互接続を企図する。

本明細書では、コンピュータ可読記憶媒体への言及は、１つまたは複数の非一時的、有形、コンピュータ可読記憶媒体所有構造を包含する。限定としてではなく一例として、コンピュータ可読記憶媒体は、適切な場合、（たとえば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）などの）半導体ベースまたは他の集積回路（ＩＣ）、ハードディスク、ＨＤＤ、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスク、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ホログラフィック記憶媒体、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカード、セキュアデジタルドライブ、あるいは別の好適なコンピュータ可読記憶媒体、あるいはこれらのうちの２つまたはそれ以上の組合せを含み得る。本明細書では、コンピュータ可読記憶媒体への言及は、米国特許法第１０１条に基づく特許保護の対象とならない媒体を除外する。本明細書では、コンピュータ可読記憶媒体への言及は、米国特許法第１０１条に基づく特許保護の対象とならない限り、（電気信号または電磁信号自体を伝搬することなどの）信号送信の一時的形態を除外する。コンピュータ可読非一時的記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性との組合せであり得る。

本開示は、任意の好適なストレージを実装する１つまたは複数のコンピュータ可読記憶媒体を企図する。特定の実施形態では、コンピュータ可読記憶媒体は、適切な場合、（たとえば、１つまたは複数の内部レジスタまたはキャッシュなど）プロセッサ７０２の１つまたは複数の部分、メモリ７０４の１つまたは複数の部分、ストレージ７０６の１つまたは複数の部分、またはこれらの組合せを実装する。特定の実施形態では、コンピュータ可読記憶媒体は、ＲＡＭまたはＲＯＭを実装する。特定の実施形態では、コンピュータ可読記憶媒体は、揮発性または永続的メモリを実装する。特定の実施形態では、１つまたは複数のコンピュータ可読記憶媒体はソフトウェアを具現する。本明細書では、ソフトウェアへの言及は、適切な場合、１つまたは複数のアプリケーション、バイトコード、１つまたは複数のコンピュータプログラム、１つまたは複数の実行ファイル、１つまたは複数の命令、論理、機械コード、１つまたは複数のスクリプト、またはソースコードを包含し得、その逆も同様である。特定の実施形態では、ソフトウェアは、１つまたは複数のアプリケーションプログラミングインターフェース（ＡＰＩ）を含む。本開示は、任意の好適なプログラミング言語またはプログラミング言語の任意の好適な組合せで書かれた、または場合によっては表現された、任意の好適なソフトウェアを企図する。特定の実施形態では、ソフトウェアは、ソースコードまたはオブジェクトコードとして表現される。

本開示は、本明細書で説明される特定の実施形態によって、範囲が限定されるべきではない。実際は、上記の説明および添付の図面から、本明細書で説明されるものに加えて、他の様々な実施形態および修正が当業者に明らかになろう。したがって、そのような他の実施形態および修正は、本開示の範囲内に入るものとする。さらに、本開示は、特定の目的のための特定の環境における特定の実装形態のコンテキストにおいて、本明細書で説明されたが、本開示の有用性がそれに限定されないこと、および、本開示が、任意の数の目的のための任意の数の環境において有益に実装され得ることを、当業者は認識されよう。したがって、以下に記載する特許請求の範囲は、本明細書で説明される本開示の全幅および全趣旨に鑑みて解釈されるべきである。

Claims (15)

1. ＡＲ／ＶＲシステムのウェアラブルディスプレイにおける方法であって、前記方法は、
   前記ウェアラブルディスプレイを使用して、前記ＡＲ／ＶＲシステムの第２のユーザに対して画像を表示することであって、前記画像が、前記第２のユーザまたは前記第２のユーザのアバターに向けられた、前記ＡＲ／ＶＲシステムの第１のユーザの視線の視覚キューを含む、画像を表示すること
   を含み、
   プロセッサが、前記第１のユーザの視標追跡データを処理するための命令を実行することによって、前記第２のユーザまたは前記第２のユーザの前記アバターに向けられた、前記第１のユーザの前記視線が検出された、
   方法。
2. 前記視覚キューを含む前記画像は、前記プロセッサが、前記第１のユーザの眼が少なくともあらかじめ定められた時間間隔の間前記第２のユーザまたは前記第２のユーザのアバターを見たと決定するための命令を実行したとき、表示される、請求項１に記載の方法。
3. 前記視覚キューを含む前記画像は、前記第２のユーザに対する前記第１のユーザの視線方向が検出されたとき、表示されるか、あるいは、前記視覚キューを含む前記画像は、前記第２のユーザに対する前記第１のユーザの視線輻輳または前記第１のユーザの瞳孔拡張のうちの少なくとも１つが検出されたとき、表示される、請求項１に記載の方法。
4. 前記画像が、前記第１のユーザの前記視線の前に前記視覚キューが存在しない、請求項１に記載の方法。
5. 前記視覚キューを含む前記画像は、前記第１のユーザの視線方向または視線輻輳のうちの少なくとも１つが規則的な時間間隔で前記プロセッサによって決定されたとき、前記第２のユーザに対して表示される、請求項１に記載の方法。
6. 前記視線が少なくともあらかじめ定められた時間間隔の間はずされたとき、前記視覚キューを削除するように前記画像を修正することをさらに含む、請求項１に記載の方法。
7. 命令を記憶した非一時的メモリであって、前記命令は、１つまたは複数のプロセッサによって実行されたとき、前記１つまたは複数のプロセッサに、ＡＲ／ＶＲシステムのウェアラブルディスプレイを使用して、前記ＡＲ／ＶＲシステムの第２のユーザに対して画像を表示することであって、前記画像が、前記第２のユーザまたは前記第２のユーザのアバターに向けられた、前記ＡＲ／ＶＲシステムの第１のユーザの視線の視覚キューを含む、画像を表示することを行わせ、
   プロセッサが、前記第１のユーザの視標追跡データを処理するための命令を実行することによって、前記第２のユーザまたは前記第２のユーザの前記アバターに向けられた、前記第１のユーザの前記視線が検出された、
   非一時的メモリ。
8. 前記視覚キューを含む前記画像は、前記命令を実行する前記１つまたは複数のプロセッサが、前記第１のユーザの眼が少なくともあらかじめ定められた時間間隔の間前記第２のユーザまたは前記第２のユーザのアバターを見たと決定したとき、表示される、請求項７に記載の非一時的メモリ。
9. 前記視覚キューを含む前記画像は、前記第２のユーザに対する前記第１のユーザの視線方向が検出されたとき、表示されるか、あるいは、前記視覚キューを含む前記画像は、前記第２のユーザに対する前記第１のユーザの視線輻輳または前記第１のユーザの瞳孔拡張のうちの少なくとも１つが検出されたとき、表示される、請求項７に記載の非一時的メモリ。
10. 前記画像が、前記第１のユーザの前記視線の前に前記視覚キューが存在しない、請求項７に記載の非一時的メモリ。
11. 前記視覚キューを含む前記画像は、前記第１のユーザの視線方向または視線輻輳のうちの少なくとも１つが規則的な時間間隔で前記１つまたは複数のプロセッサによって決定されたとき、前記第２のユーザに対して表示される、請求項７に記載の非一時的メモリ。
12. 前記画像は、前記視線が少なくともあらかじめ定められた時間間隔の間はずされたとき、前記視覚キューを削除するように修正される、請求項７に記載の非一時的メモリ。
13. 視標追跡システムと第１のユーザに対して第１の画像を表示するための第１の電子ディスプレイとを備える第１のウェアラブルディスプレイと、
    第２のユーザに対して第２の画像を表示するための第２の電子ディスプレイを備える第２のウェアラブルディスプレイと、
    前記第１のウェアラブルディスプレイおよび前記第２のウェアラブルディスプレイに通信可能に連結され、前記第１の画像を表示するために前記第１のウェアラブルディスプレイにデータを提供することを行うように構成された、コントローラであって、前記コントローラが、前記第１のウェアラブルディスプレイから、前記第１のユーザの視標追跡に関係するデータを受信することと、前記第２のユーザまたは前記第１の画像中の前記第２のユーザのアバターに向けられた、前記第１のユーザの視線を識別することとを行うように構成された注意モニタを備え、前記コントローラが、前記視線を検出すると、前記第２のユーザに対して前記第２の画像を表示するために前記第２のウェアラブルディスプレイにデータを提供することであって、前記第２の画像が前記第１のユーザの前記視線の視覚キューを含む、データを提供することを行うように構成された、コントローラと
    を備える、ＡＲ／ＶＲシステム。
14. 前記注意モニタは、前記第１のユーザの眼が少なくともあらかじめ定められた時間間隔の間前記第２のユーザまたは前記第１の画像中の前記第２のユーザのアバターを見ると決定するように構成されるか、あるいは、前記注意モニタが、前記第１のユーザの視線方向を決定するように構成されるか、あるいは、前記注意モニタが、前記第１のユーザの視線輻輳を決定するように構成されるか、あるいは、前記注意モニタが、前記第１のユーザの視線方向、視線輻輳、または瞳孔拡張のうちの少なくとも１つを規則的な時間間隔で決定するように構成された、請求項１３に記載のＡＲ／ＶＲシステム。
15. 前記注意モニタは、経時的に前記第１のユーザの前記視線を監視することと、前記視線が少なくともあらかじめ定められた時間間隔の間はずされたとき、前記視覚キューを削除するように前記第２の画像を修正することとを行うように構成された、請求項１３に記載のＡＲ／ＶＲシステム。
    

Images