JP2022515978A - Ar/vr環境におけるユーザ注意の視覚インジケータ - Google Patents
Ar/vr環境におけるユーザ注意の視覚インジケータ Download PDFInfo
- Publication number
- JP2022515978A JP2022515978A JP2021530089A JP2021530089A JP2022515978A JP 2022515978 A JP2022515978 A JP 2022515978A JP 2021530089 A JP2021530089 A JP 2021530089A JP 2021530089 A JP2021530089 A JP 2021530089A JP 2022515978 A JP2022515978 A JP 2022515978A
- Authority
- JP
- Japan
- Prior art keywords
- user
- image
- sight
- line
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 47
- 230000008569 process Effects 0.000 claims description 7
- 230000010344 pupil dilation Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 abstract description 6
- 230000003190 augmentative effect Effects 0.000 abstract description 5
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 37
- 238000003860 storage Methods 0.000 description 31
- 230000009471 action Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 15
- 239000013598 vector Substances 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 210000003128 head Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 229920001621 AMOLED Polymers 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 208000029436 dilated pupil Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
拡張現実/仮想現実(AR/VR)システムにおける、ユーザに別のユーザからの注意について通知する方法が提供される。本方法は、AR/VRシステムの第1のユーザに対して第1の電子ディスプレイ上で第1の画像を表示することと、AR/VRシステムの第2のユーザまたは第1の画像中の第2のユーザのアバターに対する第1のユーザの視線を検出すると、第2のユーザに対して第2の電子ディスプレイ上で第2の画像を表示することによって、第2のユーザに第1のユーザの視線について通知することであって、第2の画像が第1のユーザの視線の視覚キューを有する、第2のユーザに第1のユーザの視線について通知することとを含む。【選択図】図1
Description
本開示は、視覚ディスプレイおよびディスプレイシステムに関し、詳細には、ウェアラブルディスプレイおよびそれらのための方法に関する。
ウェアラブルディスプレイは、ユーザに仮想画像を提示するために、あるいは動的情報、データ、または仮想オブジェクトで現実世界画像を拡張するために使用され得る。仮想現実(VR)風景または拡張現実(AR)風景は、体験を向上させ、ユーザによって観測された現実オブジェクトに仮想オブジェクトを整合させるために、3次元であり得る。シミュレートされたまたは拡張された環境への没入のより良好な体験を提供するために、空間におけるユーザの眼の位置および視線方向、および/または向きがリアルタイムで追跡され得、ユーザの頭部の向きおよび視線方向に応じて、表示される風景が動的に調整され得る。
ウェアラブルディスプレイは、ユーザ間のソーシャル対話をシミュレートまたは拡張するために使用され得る。たとえば、仮想会議アプリケーションでは、仮想会議室中のアバターによって表されるユーザが、互いに話すこと、ユーザのグループに情報を提示することなどによって、互いと対話し得る。ソーシャル集会イベントのAR/VRシミュレーションの1つの欠点は、ユーザが、AR/VR環境により、孤立しているまたは方向感覚を失っている(disoriented)と感じ、ユーザ間のソーシャルコンタクトがあまり簡単でなくなり得ることである。
本明細書で開示される方法およびシステムは、ユーザがAR/VR環境中の(1つまたは複数の)他のユーザの注意を引きつけることを可能にするために採用され得る。AR/VRシステムは、異なるユーザによって着用されるべき複数のウェアラブルディスプレイと、コントローラとを含み得る。ウェアラブルディスプレイは、各々、ユーザに対してVR画像を表示するための、ならびに/または観測された外部世界をAR像および記号で拡張するための視覚ディスプレイモジュールと、ユーザの視線方向、輻輳、眼の拡張などのパラメータをリアルタイムで決定するための視標追跡(eye-tracking)システムと、他のユーザとのオーディオ通信のためのオーディオシステムとを含み得る。コントローラは、リモートまたは分散コンピューティングシステムと、コントローラをウェアラブルディスプレイに接続する通信ネットワークとを含み得、したがって、ウェアラブルディスプレイはコントローラと通信可能に連結される。本明細書で使用されるAR/VRという用語は、ARシステムと、VRシステムと、複合現実(MR)システムを含む、それらの任意の組合せとを含む。AR/VRシステムの例が以下でさらに与えられる。
特定のユーザのウェアラブルディスプレイが、システムの(1つまたは複数の)他のユーザを表す画像を示し得る。本方法は、AR/VRシステムのユーザが、システムの別のユーザがそのユーザを見るときに気づくことを可能にする。スクリーン上に表されるユーザは、遠くに位置し、特定のウェアラブルディスプレイを着用しているユーザにとって可視でないことがあり、アバターによって表され得る。いくつかのAR実施形態では、ユーザは、ユーザのARヘッドセットを通して他のユーザを直接観察し得る。
本発明の第1の態様によれば、拡張現実/仮想現実(AR/VR)システムのウェアラブルディスプレイにおける方法であって、本方法が、ウェアラブルディスプレイを使用して、AR/VRシステムの第2のユーザに対して画像を表示することであって、画像が、第2のユーザまたは第2のユーザのアバターに向けられた、AR/VRシステムの第1のユーザの視線の視覚キューを含む、画像を表示することを含み、プロセッサが、第1のユーザの視標追跡データを処理するための命令を実行することによって、第2のユーザまたは第2のユーザのアバターに向けられた、第1のユーザの視線が検出された、方法が提供される。
本発明の一実施形態によれば、視覚キューを含む画像は、プロセッサが、第1のユーザの眼が少なくともあらかじめ定められた時間間隔の間第2のユーザまたは第2のユーザのアバターを見たと決定するための命令を実行したとき、表示される。
本発明の一実施形態によれば、視覚キューを含む画像は、第2のユーザに対する第1のユーザの視線方向が検出されたとき、表示されるか、あるいは、視覚キューを含む画像は、第2のユーザに対する第1のユーザの視線輻輳または第1のユーザの瞳孔拡張のうちの少なくとも1つが検出されたとき、表示される。
本発明の一実施形態によれば、画像は、第1のユーザの視線の前に視覚キューが存在しない。
本発明の一実施形態によれば、視覚キューを含む画像は、第1のユーザの視線方向または視線輻輳のうちの少なくとも1つが規則的な時間間隔で1つまたは複数のプロセッサによって決定されたとき、第2のユーザに対して表示される。
本発明の一実施形態によれば、視線が少なくともあらかじめ定められた時間間隔の間はずされたとき、視覚キューを削除するように画像を修正すること。
本発明の第2の態様によれば、命令を記憶した非一時的メモリであって、命令は、1つまたは複数のプロセッサによって実行されたとき、1つまたは複数のプロセッサに、AR/VRシステムのウェアラブルディスプレイを使用して、AR/VRシステムの第2のユーザに対して画像を表示することであって、画像が、第2のユーザまたは第2のユーザのアバターに向けられた、AR/VRシステムの第1のユーザの視線の視覚キューを含む、画像を表示することを行わせ、プロセッサが、第1のユーザの視標追跡データを処理するための命令を実行することによって、第2のユーザまたは第2のユーザのアバターに向けられた、第1のユーザの視線が検出された、非一時的メモリが提供される。
本発明の一実施形態によれば、視覚キューを含む画像は、命令を実行する1つまたは複数のプロセッサが、第1のユーザの眼が少なくともあらかじめ定められた時間間隔の間第2のユーザまたは第2のユーザのアバターを見たと決定したとき、表示される。
本発明の一実施形態によれば、視覚キューを含む画像は、第2のユーザに対する第1のユーザの視線方向が検出されたとき、表示されるか、あるいは、視覚キューを含む画像は、第2のユーザに対する第1のユーザの視線輻輳または第1のユーザの瞳孔拡張のうちの少なくとも1つが検出されたとき、表示される。
本発明の一実施形態によれば、画像は、第1のユーザの視線の前に視覚キューが存在しない。
本発明の一実施形態によれば、画像は、視線が少なくともあらかじめ定められた時間間隔の間はずされたとき、視覚キューを削除するように修正される。
本発明の第3の態様によれば、
視標追跡システムと第1のユーザに対して第1の画像を表示するための第1の電子ディスプレイとを備える第1のウェアラブルディスプレイと、
第2のユーザに対して第2の画像を表示するための第2の電子ディスプレイを備える第2のウェアラブルディスプレイと、
第1のウェアラブルディスプレイおよび第2のウェアラブルディスプレイに通信可能に連結され、第1の画像を表示するために第1のウェアラブルディスプレイにデータを提供することを行うように構成された、コントローラであって、コントローラが、第1のウェアラブルディスプレイから、第1のユーザの視標追跡に関係するデータを受信することと、第2のユーザまたは第1の画像中の第2のユーザのアバターに向けられた、第1のユーザの視線を識別することとを行うように構成された注意モニタを備え、コントローラが、視線を検出すると、第2のユーザに対して第2の画像を表示するために第2のウェアラブルディスプレイにデータを提供することであって、第2の画像が第1のユーザの視線の視覚キューを含む、データを提供することを行うように構成された、コントローラと
を備える、AR/VRシステムがさらに提供される。
視標追跡システムと第1のユーザに対して第1の画像を表示するための第1の電子ディスプレイとを備える第1のウェアラブルディスプレイと、
第2のユーザに対して第2の画像を表示するための第2の電子ディスプレイを備える第2のウェアラブルディスプレイと、
第1のウェアラブルディスプレイおよび第2のウェアラブルディスプレイに通信可能に連結され、第1の画像を表示するために第1のウェアラブルディスプレイにデータを提供することを行うように構成された、コントローラであって、コントローラが、第1のウェアラブルディスプレイから、第1のユーザの視標追跡に関係するデータを受信することと、第2のユーザまたは第1の画像中の第2のユーザのアバターに向けられた、第1のユーザの視線を識別することとを行うように構成された注意モニタを備え、コントローラが、視線を検出すると、第2のユーザに対して第2の画像を表示するために第2のウェアラブルディスプレイにデータを提供することであって、第2の画像が第1のユーザの視線の視覚キューを含む、データを提供することを行うように構成された、コントローラと
を備える、AR/VRシステムがさらに提供される。
本発明の一実施形態によれば、注意モニタは、第1のユーザの眼が少なくともあらかじめ定められた時間間隔の間第2のユーザまたは第1の画像中の第2のユーザのアバターを見ると決定するように構成されるか、あるいは、注意モニタは、第1のユーザの視線方向を決定するように構成されるか、あるいは、注意モニタは、第1のユーザの視線輻輳を決定するように構成されるか、あるいは、注意モニタは、第1のユーザの視線方向、視線輻輳、または瞳孔拡張のうちの少なくとも1つを規則的な時間間隔で決定するように構成される。
本発明の一実施形態によれば、注意モニタは、経時的に第1のユーザの視線を監視することと、視線が少なくともあらかじめ定められた時間間隔の間はずされたとき、視覚キューを削除するように第2の画像を修正することとを行うように構成される。
次に、図面に関して例示的な実施形態が説明される。
本教示は、様々な実施形態および例に関して説明されるが、本教示は、そのような実施形態に限定されるものではない。見方を変えれば、本教示は、当業者によって諒解されるように、様々な代替形態および等価物を包含する。本開示の原理、態様、および実施形態、ならびにそれらの特定の例を具陳する、本明細書のすべての記述は、それらの構造的等価物と機能的等価物の両方を包含するものとする。加えて、そのような等価物は、現在知られている等価物、ならびに将来において開発される等価物、すなわち、構造にかかわらず、同じ機能を実施する開発された要素の両方を含むものとする。
本明細書で使用される、「第1の」、「第2の」などの用語は、別段明示的に述べられていない限り、順序を暗示するものではなく、むしろ、ある要素を別の要素と区別するものである。同様に、方法ステップの順序は、別段明示的に述べられていない限り、方法ステップの実行の順番を暗示しない。「複数(plurality)」という用語は、「2つまたはそれ以上」を意味するために本明細書で使用され、「含む(include)」という単語は、「含む、備える(comprise)」という単語と同じ意味で使用される。
図1を参照すると、AR/VRシステム100は、ユーザのアン(111)およびボブ(112)など、2つまたはそれ以上のユーザの対話を可能にする。システム100は、ネットワークを介して2つまたはそれ以上のウェアラブルディスプレイ128(アンのウェアラブルディスプレイ)および126(ボブのウェアラブルディスプレイ)と接続されるコントローラ152を含む。各ウェアラブルディスプレイ126、128は、電子ディスプレイを含み、すなわち、アンのウェアラブルディスプレイ128は電子ディスプレイ121を含み、ボブのウェアラブルディスプレイ126は電子ディスプレイ122を含む。コントローラ152から受信されたデータを使用して、画像が形成される。
アンのウェアラブルディスプレイ128によって生成された画像は、広角カメラによってキャプチャされた画像を含み得るか、または、完全にVR生成された画像を含み得る。VR生成画像は、複数のユーザを表し得、特に、ボブを表す画像136を含み得る。本明細書では、ボブを表す画像136は、ボブのアバター136と呼ばれる。ボブのアバター136は、静止画像または動画像、アイコン、グラフィック表現、アニメーション画像などであり得る。AR実施形態では、アンは、外部世界の直接ビューを可能にする外光を透過しながら、現実ビューをコンピュータ生成グラフィックスおよび他のコンピュータ生成画像で拡張する、ARヘッドセットを通してボブを直接見得る。そのような実施形態では、ボブの現実世界ビューは、注意キュー、たとえば外側グロー(outer glow)、記号などで拡張され得る。同じことが、他のユーザ、ならびに、互いに他のユーザを表す画像、すなわち、他のユーザのアバター131、132、および136について成り立つ。いくつかのAR実施形態では、同じシーン中に配置された仮想アバターおよび現実の人々が存在し得る。さらに、ユーザは、フォンによってダイヤルインすることができ、ダイヤルインしたユーザを表すアバターを配置することによって、シーン中に配置され得る。
図2は、本開示による、視覚キューを提示するための方法のフローチャートである。方法は、AR/VRシステムの第1のユーザに対して第1の電子ディスプレイ上で第1の画像を表示すること(230)を含む。図1に示されている例では、第1のユーザ111はアンであり、第1の電子ディスプレイはアンの電子ディスプレイ121であり、画像136はボブを表す。
図1をさらに参照すると、AR/VRシステム100の第1のウェアラブルディスプレイ128は、第1のユーザの眼に関するデータを収集し、取得されたデータを(図1中で161Aおよび161Bとして示されている)注意モニタ161に提供する、視標追跡システム142を含む。好ましくは、第2のウェアラブルディスプレイ126も視標追跡システムを含み、したがって、アンは、同様に、ボブの視線を通知され得る。
注意モニタ161は、アンのウェアラブルディスプレイ128などのウェアラブルディスプレイ内の1つまたは複数のローカル部161Bを含み、コントローラ152内の中央部161Aを含む、機能ブロックである。ユーザロケーションにおけるローカル部161B、または中央ロケーションにおける中央部161Aのいずれかによって、何らかの機能性が実装され得る。注意モニタ161は、コンピュータ可読記憶媒体に記憶され、(1つまたは複数の)ハードウェアプロセッサによって実行される、命令で実装され得る。
注意モニタ161は、アンが、ボブを見る、たとえば、ARアプリケーションにおいてボブを直接見るのか、VRアプリケーションにおいてボブのアバター136を見るのかを識別するために、視標追跡システム142によって取得された情報と、電子ディスプレイ121上に現在表示されている画像に関係する情報とを同期させる。図1では、線170は、アンがボブのアバター136を見るときのアンの視線の特定の方向を指示する。
この例では、アンは、ボブのアバター136を見る。アンは、別のユーザを表す画像132に自分の注意をシフトし得る。注意モニタ161は、電子ディスプレイ121に提供される画像を形成するために使用された初期情報に基づいて、画像136と画像132とを区別し得る。注意モニタ161は、電子ディスプレイ121のどの部分が特定のユーザの画像によって占有されるかを識別する情報を有する。ARアプリケーションでは、各ARヘッドセットは、各ユーザが3D空間においてどこに位置するかを、AR/VRシステム100がリアルタイムで決定することを可能にする、位置センサーまたは位置インジケータを装備し得る。様々なユーザについての3D空間における視線方向および/または輻輳と一緒に、この情報は、各ユーザについて、どの1つまたは複数の他のユーザがその特定のユーザをおそらく見ているかを、AR/VRシステム100がリアルタイムで決定することを可能にする。たとえば、ボブが現実世界ロケーションAにおり、アンが3D空間における同じ現実世界ロケーションAを偶然見る場合、AR/VRシステム100は、アンがボブを見ていると決定し得る。
AR/VRシステム100の別のユーザに向けられた、あるユーザの視線の持続時間を識別する目的で、注意モニタ161は、ボブまたはボブのアバター136に対するアンの視線の継続時間を計算し得る。視線持続時間は、あらかじめ定められた時間間隔中の、ボブのアバター136などの特定の画像に対する、あるいはARアプリケーションにおける特定の人または3D空間ロケーションに対する、無中断連続視線として定義され得る。視線検出条件が、少なくともあらかじめ定められた時間間隔T1の間特定の画像を観察することとして構成され得る。視線検出条件が満たされたとき、視線の発生が検出される。
図2をさらに参照すると、方法は、視線を検出すること(235)をさらに含む。検出すること235は、第2のユーザ(ボブ)、または第1のユーザ(この場合、アン)に対して第1の電子ディスプレイ121上で表示される第1の画像中の第2のユーザのアバター(ボブのアバター136)のほうへの第1のユーザ(アン)の視線170を検出することを含む。検出すること235は、視標追跡ユニット、たとえば視標追跡システム142によって第1のユーザの眼の移動を追跡することを含み得る。検出することは、視線持続時間が、あらかじめ定められたしきい値時間量よりも長いという条件を含み得る。検出することは、第1のユーザの瞳孔拡張のようないくつかの眼の特性をも考慮に入れ得る。拡張された瞳孔は、高いレベルの注意を指示し得る。同様に、注意モニタ161は、あるユーザが別のユーザに注意を払うと決定したとき、別のユーザは通知される。たとえば、モニタ161が、アンから、ボブに関係する画像136のほうへの視線170を検出したとき、コントローラ152はボブに通知する。
図2をさらに参照すると、方法は、通知240をさらに含む。通知240は、第1のユーザの視線を検出すると、AR/VRシステム150の第2のユーザに対して第2の電子ディスプレイ122上で第2の画像を表示することを含み得る。第2の画像は、第2のユーザ112または第2のユーザのアバターに向けられた、第1のユーザ111による凝視を指示する視覚キューまた記号を有する。図1に示されている例では、通知ステップ240は、ボブの電子ディスプレイ122上で画像を表示することを含み、その画像は、第1のユーザ111(アン)を表す画像131に近接した視覚キュー180を有する。
通知は、記号、視覚キュー、テキスト、シンボル、および/または、ボブのディスプレイ122上でボブに対して表示されるアンの画像に追加される色、コントラスト、輝度、輪郭など、アンのアバター131の何らかの修正など、任意の視覚情報を含み得る。視覚キューは、ボブのARヘッドセットによって提供される人工画像または特徴を表し得る。図1では、視覚キューは、アンのアバター131の近くの感嘆符180である。視覚キューの他の非限定的な例は、アンのアバター131の振動、アンのアバター131の微光またはグローなどを含む。視覚キューは、凝視しているユーザの画像に近接しているか、画像上にあるか、あるいはグローまたは移動など、画像の改変であり得る。好ましくは、視覚キューは、あらかじめ定められ、容易にわかるものであるが、視覚キューは、適度に微細のままであり得る。視覚キューの目的は、第2のユーザに対するまたは第2のユーザのほうへの第1のユーザの識別された視線に応答して、第2のユーザの注意を第1のユーザに引きつけることである。いくつかの実施形態では、記号は、ディスプレイ上のテキスト、さらには音声通知であり得る。
第2のユーザ、ボブ112の視点から、方法は、AR/VRシステム100のウェアラブルディスプレイ126を使用して、ボブに対して画像を表示することを含み、その画像は、第2のユーザまたは第2のユーザのアバターに向けられた、システムの第1のユーザ、アン111の視線の視覚キューを有する。プロセッサが、第1のユーザの視標追跡データを処理するための命令を実行することによって、ウェアラブルディスプレイを通して第2のユーザに向けられた、またはウェアラブルディスプレイ128のスクリーン121上の第2のユーザのアバターに向けられた、第1のユーザの視線が検出された。視覚キューは、命令を実行するプロセッサが、第1のユーザの眼が少なくともあらかじめ定められた時間間隔の間第2のユーザまたは第2のユーザのアバターを見ていると決定したとき、表示され得る。視覚キューは、第2のユーザに対する第1のユーザの視線方向が検出されたとき、および/または、第2のユーザに対する第1のユーザの視線輻輳が検出されたとき、表示され得る。視線方向および/または視線輻輳は、規則的な時間間隔でプロセッサによって決定され得る。方法は、視線がはずされたとき、視覚キューを削除するように画像を修正することを含み得る。好ましくは、第2のユーザに対して表示される画像は、第2のユーザまたは第2のユーザのアバターに向けられた、第1のユーザの視線が検出される前に、視覚キューが存在しない。
方法は、ユーザに、そのユーザのディスプレイ上で表されるいくつかの他のユーザの同時の注意(concurrent attention)を通知するために使用され得る。図3を参照すると、第2のユーザのボブ112は、自分のディスプレイ122上に5つの画像を有し、システムは、上記で説明されたように、3人の人々の視線によって識別された、それらの人々の厳密な注意(close attention)を検出した。視覚キュー180、181、182は、ボブのディスプレイ122上で提供される。視覚キューの各々は、特定のユーザまたはそのユーザの画像の隣に/それに極めて近接して配設されるか、あるいは(画像の軽微な修正を表す、グローまたは振動などのキューの場合)画像またはアバター上に直接配設され得る。視覚キューは、ユーザのうちの1つのみを識別し、そのキューがどの特定のユーザを指すかを明確にするために、特定のユーザを表す画像について提供されるか、または同じスクリーン上の他のユーザを表す画像よりもその画像の近くに提供され得る。たとえば、システムは、ディスプレイ上で同時に表される他のユーザの頭部のいずれよりも特定のユーザの頭部の近くにキューを提供するように制約され得る。
方法は、リアルタイムで実施され得る。AR/VRシステム100は、ユーザの眼がスクリーンの異なるエリア間でシフトするにつれて、規則的な時間間隔で、更新された視標追跡情報を受信することができ、ディスプレイシステムは、更新された視標追跡情報に基づいて、ユーザが見ているスクリーンにおける点である、注視点(point of regard)、すなわち視線点を算出することができる。好ましくは、視線方向および視線輻輳によって表される注視点は、あらかじめ定められた規則的な時間間隔で識別される。上記で説明されたように、第2のユーザは、第1のユーザの視線が検出されるとすぐに通知される。次いで、システムは、第1のユーザ111の視線を監視し続ける。第1のユーザ111の注意が他の場所に移動したとき、前に検出された視線を指示する視覚キューは消滅し得る。視線はずし条件(gaze withdrawal condition)が、あらかじめ定められた時間間隔T2未満の間第2のユーザ112を見続けることとして構成され得る。2つの時間間隔、すなわち、T1(視線の検出のしきい値時間)とT2(視線をはずす)とは等しく、すなわち、T1=T2であり得るが、必ずしも等しいとは限らない。注意モニタ161はまた、アイコンタクトの持続時間を快適な継続時間に限定する目的で、ユーザの眼および/または頭部の自然な移動を検出するように構成され得る。言い換えれば、第1のユーザは、短い間、床を見ること、自分の頭部を左右に振ることなどを行い得る。注意モニタ161は、注意の(1つまたは複数の)視覚キューを削除することなしに、「短いはずし時間(brief withdrawal time)」T3の間のそのような移動を可能にするように構成され得る。視線はずし条件が満たされたとき、第2のディスプレイ122において表示される画像は、視覚キュー180が消滅するように、変化する。
最終的に、第1のユーザ111は、第2のユーザ112に自分の注意を戻し得る。視線検出条件が満たされたとき、第1のユーザ111の画像に関する視覚キューが第2のディスプレイ上に現れる。本明細書では、視覚キューは注意を指示し、キューの不在は注意の欠如を指示する。したがって、視覚キューは、視線が再び検出される直前に、少なくともあらかじめ定められた時間間隔、たとえば、T1/2の間存在しない。
図4は、第2のユーザ112のほうへの第1のユーザ111の視線の存在または不在を検出するための、注意モニタ161によって採用される例示的な方法400のフローチャートである。初期に(402)、視線ステータスは、いいえである。間隔タイマーが開始され(404)、注視点が検出される(406)。注視点が第2の人の画像内にある(408)場合、観察タイマーが増分される(410)。注視点が第2の人の画像内にない場合、および間隔タイマーが<T1である(412)場合、プロセスは、注視点を検出すること(406)に戻る。いいえの場合、視線ステータスは決定される(414)。この例では、視線検出条件は、時間間隔T1の少なくともあらかじめ定められた部分Xの間特定の画像を観察することとして構成され、視線はずし条件は、時間間隔T2のあらかじめ定められた部分Y未満の間特定の画像を観察することとして構成される。視線がなく、観察タイマーが<X*T1である(416)場合、プロセスは間隔タイマーを再開する(404)。観察タイマーが>X*T1である(418)場合、視線ステータスは、はいであり(420)、第2のユーザは視線変更を通知される(422)。視線が残存し、観察タイマーが>X*T1である場合、プロセスは、同じく間隔タイマーを再開する(404)。観察タイマーが<X*T1である場合、視線ステータスは、いいえであり(424)、第2のユーザは視線変更を通知される(418)。ユーザの視線は経時的に連続的に監視され得る。
説明の目的で、T1=T2であり、第1の電子ディスプレイ121上で表される他のユーザのほうへの第1のユーザ111の可能な視線が考慮されない。もちろん、他の方法が採用され得、特に、スライディング時間ウィンドウが使用され得る。
第1のユーザ111および第2のユーザ112は、それらのユーザの視線が視標追跡デバイスによってキャプチャされ得るような、人々であり得る。しかしながら、第1のユーザによって払われる注意を通知される第2のユーザ112はまた、機械、コンピュータ、またはロボットであり得る。
図5Aおよび図5Bを参照すると、ニアアイAR/VRディスプレイ500は、ウェアラブルディスプレイ126、128の一実施形態である。ニアアイAR/VRディスプレイ500の本体またはフレーム502は、示されているように、一対の眼鏡のフォームファクタを有する。ディスプレイ504はディスプレイアセンブリ506を含み(図5B)、ディスプレイアセンブリ506は、アイボックス510に、すなわち、良い品質の画像がユーザの眼512に提示され得る幾何学的エリアに、画像光508を提供する。ディスプレイアセンブリ506は、各眼のための別個のニアアイAR/VRディスプレイモジュール、または両方の眼のための1つのAR/VRディスプレイモジュールを含み得る。
ディスプレイアセンブリ506の電子ディスプレイは、たとえば、および限定はしないが、液晶ディスプレイ(LCD)、有機発光ディスプレイ(OLED)、無機発光ディスプレイ(ILED)、アクティブマトリックス有機発光ダイオード(AMOLED)ディスプレイ、透明有機発光ダイオード(TOLED)ディスプレイ、プロジェクタ、またはそれらの組合せを含み得る。ディスプレイによって生成された画像をユーザの眼に伝達するための導波路構造が提供され得る。ARアプリケーションでは、透明または半透明導波路構造が、ディスプレイアセンブリ506にわたって広がり得る。導波路は、選択的反射体と回折格子とを含み得る。導波路は、瞳孔複製(pupil-replicating)導波路セクションをも含み得る。ニアアイAR/VRディスプレイ500は、ユーザの眼512の視線方向および/または輻輳角をリアルタイムで決定するための視標追跡システム514をも含み得る。決定された、視線方向および視線輻輳角はまた、画角および眼の位置に応じて、視覚的アーティファクトのリアルタイム補償のために使用され得る。さらに、決定された、輻輳および視線角は、ユーザとの対話、オブジェクトをハイライトすること、オブジェクトを前景に持ってくること、追加のオブジェクトまたはポインタを動的に作成することなどのために使用され得る。さらに、ニアアイコヒーレントAR/VRディスプレイ500は、小さいスピーカーまたはヘッドフォン、および/あるいはマイクロフォンなど、オーディオシステムを含み得る。部屋の中の人々のロケーションおよび/または方向を認識するために、ディスプレイアセンブリ上のステレオマイクロフォンが使用され得る。いくつかの実施形態では、シーン中の人の存在を決定するために顔認識が使用され得、その目的で、同時位置特定およびマッピング(SLAM)カメラまたはインターネット接続された(IoT)カメラが採用され得る。
図6Aを参照すると、HMD600は、AR/VR環境へのより大きい程度の没入のためのユーザの顔を囲むAR/VRウェアラブルディスプレイシステムの一例である。HMD600の機能は、コンピュータ生成された像で物理的現実世界の環境のビューを拡張すること、および/または、完全に仮想3D像を生成することである。HMD600は、前面本体602と、バンド604とを含み得る。前面本体602は、信頼できるおよび快適な様式でのユーザの眼の前への配置のために構成され、バンド604は、ユーザの頭部上で前面本体602を固定するために伸張され得る。ディスプレイシステム680は、ユーザにAR/VR像を提示するために、前面本体602中に配設され得る。前面本体602の側面606は、不透明であるか、または透明であり得る。
いくつかの実施形態では、前面本体602は、ロケータ608と、HMD600の加速度を追跡するための慣性測定ユニット(IMU)610と、HMD600の位置を追跡するための位置センサー612とを含む。IMU610は、HMD600の動きに応答して1つまたは複数の測定信号を生成する位置センサー612のうちの1つまたは複数から受信された測定信号に基づいて、HMD600の位置を指示するデータを生成する電子デバイスである。位置センサー612の例は、1つまたは複数の加速度計、1つまたは複数のジャイロスコープ、1つまたは複数の磁力計、動きを検出する別の好適なタイプのセンサー、IMU610の誤差補正のために使用されるタイプのセンサー、またはそれらの何らかの組合せを含む。位置センサー612は、IMU610の外部に、IMU610の内部に、またはそれらの何らかの組合せで位置し得る。
ロケータ608は、仮想現実システムが、HMD600全体のロケーションおよび向きを追跡することができるように、仮想現実システムの外部撮像デバイスによって追跡される。IMU610および位置センサー612によって生成された情報は、HMD600の位置および向きの追跡精度改善のために、ロケータ608を追跡することによって取得された位置および向きと比較され得る。正確な位置および向きは、ユーザが、3D空間において移動し、回転するので、適切な仮想風景をユーザに提示するために重要である。
HMD600は、HMD600の一部または全部の周囲のローカルエリアの深度情報を記述するデータをキャプチャする、深度カメラアセンブリ(DCA)611をさらに含み得る。そのために、DCA611は、レーザーレーダー(LIDAR)、または同様のデバイスを含み得る。深度情報は、3D空間におけるHMD600の位置および向きの決定のより良好な精度のために、IMU610からの情報と比較され得る。
HMD600は、リアルタイムでユーザの眼の向きおよび位置を決定するための視標追跡システム614をさらに含み得る。視標追跡システム614は、両方の眼を照らす赤外線照明器のアレイと、赤外光と可視光とを分離するためのホットミラーと、照明器からの反射(グリント)を用いて両方の眼の画像を取得する視標追跡カメラとを含み得る。眼の瞳孔の位置に対するグリントの位置を比較することによって、眼の位置および向きが決定され得る。眼の取得された位置および向きはまた、HMD600が、ユーザの視線方向を決定することと、それに応じてディスプレイシステム680によって生成された画像を調整することとを可能にする。一実施形態では、輻輳、すなわち、ユーザの眼視線の収束角が決定される。決定された、視線方向および視線輻輳角はまた、画角および眼の位置に応じて、視覚的アーティファクトのリアルタイム補償のために使用され得る。さらに、決定された、輻輳および視線角は、ユーザとの対話、オブジェクトをハイライトすること、オブジェクトを前景に持ってくること、追加のオブジェクトまたはポインタを作成することなどのために使用され得る。たとえば、前面本体602に組み込まれた小さいスピーカーのセットおよび/またはマイクロフォンを含む、オーディオシステムも提供され得る。
図6Bを参照すると、AR/VRシステム650は、図6AのHMD600と、様々なAR/VRアプリケーション、セットアップおよび較正手順、3Dビデオなどを記憶する外部コンソール690と、コンソール690を動作させ、および/またはAR/VR環境と対話するための入出力(I/O)インターフェース615とを含む。HMD600は、物理的ケーブルを用いてコンソール690に「テザリング」されるか、またはBluetooth(登録商標)、Wi-Fiなど、ワイヤレス通信リンクを介してコンソール690に接続され得る。関連するI/Oインターフェース615を各々有する、複数のHMD600があり得、各HMD600および(1つまたは複数の)I/Oインターフェース615はコンソール690と通信する。代替構成では、異なるおよび/または追加の構成要素が、AR/VRシステム650中に含まれ得る。加えて、図6Aおよび図6Bに示されている構成要素のうちの1つまたは複数に関して説明される機能性は、いくつかの実施形態では、図6Aおよび図6Bに関して説明されるものとは異なる様式で構成要素の間で分散され得る。たとえば、コンソール615の機能性の一部または全部がHMD600によって提供され得、その逆も同様である。HMD600は、そのような機能性を達成することが可能な処理モジュールを提供され得る。
図6Aを参照しながら上記で説明されたように、HMD600は、眼の位置および向きを追跡する、視線角および収束角を決定するなどのための視標追跡システム614(図6B)と、3D空間におけるHMD600の位置および向きを決定するためのIMU610と、外部環境をキャプチャするためのDCA611と、HMD600の位置を独立して決定するための位置センサー612と、ユーザに対してAR/VRコンテンツを表示するためのディスプレイシステム680とを含み得る。ディスプレイシステム680は、(図6B)電子ディスプレイ625を含み、たとえば、および限定はしないが、液晶ディスプレイ(LCD)、有機発光ディスプレイ(OLED)、無機発光ディスプレイ(ILED)、アクティブマトリックス有機発光ダイオード(AMOLED)ディスプレイ、透明有機発光ダイオード(TOLED)ディスプレイ、プロジェクタ、またはそれらの組合せを含む。ディスプレイシステム680は、光学ブロック630をさらに含み、光学ブロック630の機能は、電子ディスプレイ625によって生成された画像をユーザの眼に伝達することである。光学ブロックは、様々なレンズ、たとえば、屈折レンズ、フレネルレンズ、回折レンズ、能動または受動パンチャラトナムベリー位相(PBP:Pancharatnam-Berry phase)レンズ、液体レンズ、液晶レンズなど、瞳孔複製導波路、格子構造、コーティングなどを含み得る。ディスプレイシステム680は、光学ブロック630の一部であり得る、可変焦点モジュール635をさらに含み得る。可変焦点モジュール635の機能は、たとえば、輻輳調節矛盾(vergence-accommodation conflict)を補償すること、特定のユーザの視覚障害を補正すること、光学ブロック630の収差をオフセットすることなどのために、光学ブロック630の焦点を調整することである。
I/Oインターフェース615は、ユーザがアクション要求を送り、コンソール690から応答を受信することを可能にするデバイスである。アクション要求は、特定のアクションを実施するための要求である。たとえば、アクション要求は、画像データまたはビデオデータのキャプチャを開始または終了するための命令、あるいはアプリケーション内で特定のアクションを実施するための命令であり得る。I/Oインターフェース615は、キーボード、マウス、ゲームコントローラ、またはアクション要求を受信し、そのアクション要求をコンソール690に通信するための任意の他の好適なデバイスなど、1つまたは複数の入力デバイスを含み得る。I/Oインターフェース615によって受信されたアクション要求は、コンソール690に通信され、コンソール690は、そのアクション要求に対応するアクションを実施する。いくつかの実施形態では、I/Oインターフェース615は、I/Oインターフェース615の初期位置に対するI/Oインターフェース615の推定位置を指示する較正データをキャプチャするIMUを含む。いくつかの実施形態では、I/Oインターフェース615は、コンソール690から受信された命令に従って、ユーザに触覚フィードバックを提供し得る。たとえば、アクション要求が受信されたときに触覚フィードバックが提供され得るか、またはコンソール690がアクションを実施するときに、コンソール690が、I/Oインターフェース615に命令を通信して、I/Oインターフェース615が触覚フィードバックを生成することを引き起こす。
コンソール690は、IMU610とDCA611と視標追跡システム614とI/Oインターフェース615とのうちの1つまたは複数から受信された情報に従って、処理するためのコンテンツをHMD600に提供し得る。図6Bに示されている例では、コンソール690は、アプリケーションストア655と、追跡モジュール660と、VRエンジン665とを含む。コンソール690のいくつかの実施形態は、図6Bに関して説明されるものとは異なるモジュールまたは構成要素を有し得る。同様に、以下でさらに説明される機能は、図6Aおよび図6Bに関して説明されるものとは異なる様式でコンソール690の構成要素の間で分散され得る。
アプリケーションストア655は、コンソール690が実行するための1つまたは複数のアプリケーションを記憶し得る。アプリケーションは、プロセッサによって実行されたとき、ユーザへの提示のためのコンテンツを生成する命令のグループである。アプリケーションによって生成されたコンテンツは、HMD600またはI/Oインターフェース615の移動を介してユーザから受信された入力に応答したものであり得る。アプリケーションの例は、ゲームアプリケーション、プレゼンテーションおよび会議アプリケーション、ビデオ再生アプリケーション、または他の好適なアプリケーションを含む。
追跡モジュール660は、1つまたは複数の較正パラメータを使用してAR/VRシステム650を較正し得、HMD600またはI/Oインターフェース615の位置を決定する際の誤差を低減するように、1つまたは複数の較正パラメータを調整し得る。また、追跡モジュール660によって実施される較正は、HMD600中のIMU610および/または、もしあれば、I/Oインターフェース615中に含まれるIMUから受信された情報を考慮する。加えて、HMD600の追跡が失われた場合、追跡モジュール660は、AR/VRシステム650の一部または全部を再較正し得る。
追跡モジュール660は、HMD600またはI/Oインターフェース615の移動、IMU610、またはそれらの何らかの組合せを追跡し得る。たとえば、追跡モジュール660は、HMD600からの情報に基づいて、ローカルエリアのマッピングにおいてHMD600の基準点の位置を決定し得る。追跡モジュール660はまた、HMD600の基準点の位置、またはI/Oインターフェース615の基準点の位置を、それぞれ、HMD600の位置を指示するIMU610からのデータを使用して、またはI/Oインターフェース615の位置を指示するI/Oインターフェース615中に含まれるIMUからのデータを使用して決定し得る。さらに、いくつかの実施形態では、追跡モジュール660は、位置またはHMD600を指示するIMU610からのデータの部分、ならびにDCA611からのローカルエリアの表現を使用して、HMD600の将来のロケーションを予測し得る。追跡モジュール660は、HMD600またはI/Oインターフェース615の推定または予測された将来の位置をVRエンジン665に提供する。
VRエンジン665は、HMD600から受信された情報に基づいて、HMD600の一部または全部の周囲のエリア(「ローカルエリア」)の3Dマッピングを生成し得る。いくつかの実施形態では、VRエンジン665は、深度を算出する際に使用される技法に関連する、DCA611から受信された情報に基づいて、ローカルエリアの3Dマッピングのための深度情報を決定する。様々な実施形態では、VRエンジン665は、深度情報を使用して、ローカルエリアのモデルを更新し、更新されたモデルに部分的に基づいて、コンテンツを生成し得る。
VRエンジン665は、AR/VRシステム650内でアプリケーションを実行し、追跡モジュール660から、HMD600の位置情報、加速度情報、速度情報、予測された将来の位置、またはそれらの何らかの組合せを受信する。受信された情報に基づいて、VRエンジン665は、ユーザへの提示のためにHMD600に提供すべきコンテンツを決定する。たとえば、受信された情報が、ユーザが左を見ていることを指示する場合、VRエンジン665は、仮想環境において、またはローカルエリアを追加のコンテンツで拡張する環境において、ユーザの移動を反映する、HMD600のためのコンテンツを生成する。加えて、VRエンジン665は、I/Oインターフェース615から受信されたアクション要求に応答して、コンソール690上で実行しているアプリケーション内でアクションを実施し、そのアクションが実施されたというフィードバックをユーザに提供する。提供されるフィードバックは、HMD600を介した視覚または可聴フィードバック、あるいはI/Oインターフェース615を介した触覚フィードバックであり得る。
いくつかの実施形態では、視標追跡システム614から受信された視標追跡情報(たとえば、ユーザの眼の向き)に基づいて、VRエンジン665は、電子ディスプレイ625上でのユーザへの提示のために、HMD600に提供されたコンテンツの解像度を決定する。VRエンジン665は、ユーザの視線の中心窩領域において、電子ディスプレイ625上の最大ピクセル解像度を有するコンテンツをHMD600に提供し得る。VRエンジン665は、電子ディスプレイ625の他の領域において、より低いピクセル解像度を提供し、したがって、AR/VRシステム650の電力消費を少なくし、ユーザの視覚体験を損なうことなしにコンソール690のコンピューティングリソースを節約し得る。いくつかの実施形態では、VRエンジン665はさらに、視標追跡情報を使用して、オブジェクトが電子ディスプレイ625上で表示されるところを調整して、輻輳調節矛盾を防ぎ、ならびに/または光学的ひずみおよび収差をオフセットすることができる。
図7は、図1の視線ベクトル170に対応する視線ベクトル306によって指示される方向にあるスクリーン304を凝視する、ユーザの眼302を示す。図7は、スクリーン上の中心窩領域308をさらに示す。注意モニタモジュール161(図1)は、眼が見ている方向を表す、視線ベクトルを決定する。いくつかの実施形態では、注意モニタモジュール161は、眼球中心(図7中のA)と、角膜中心(C)と、瞳孔(E)と、角膜中心と瞳孔中心との間の距離(h)とを含む、眼に関連する複数の眼の特性に基づいて、視線ベクトルを決定する。一実施形態では、視標追跡システム142は、これらの眼の特性を推定し、その推定を視標追跡情報の一部として注意モニタモジュール161に送る。別の実施形態では、モジュール161は、視標追跡システム142から眼の角度の向きを受信し、角回転に基づいて眼のモデルに回転を適用することによって、これらの眼の特性を生成する。他の実施形態では、注意モニタモジュール161は、視標追跡システム142から眼の中心窩軸を受信し、中心窩軸の方向を視線ベクトル306として使用する。視線ベクトル306を決定した後に、モジュール161は、視線ベクトル306とスクリーン304との交点を算出することによって、注視点314を決定する。他の実施形態では、注視点314は、他の手段によって算出される。
別の実施形態では、2つの視線ベクトルが、ユーザの2つの眼について別個に決定され、ウェアラブルディスプレイ128は、2つの視線ベクトルの収束に基づいてユーザの焦点深度を決定する。この実施形態では、ウェアラブルディスプレイ128は、第1のユーザが、特定のオブジェクトまたはユーザに自分の眼を集中させるのか、スクリーンに注意を払うことなしにただ自分の眼を休ませるのかを決定するために、焦点深度と、シーン中のオブジェクトの深度値との間の深度の差(以下、深度差と呼ぶ)を決定する。
図8は、本開示の方法が実装され得る、AR/VRシステム100の一例を提供する。AR/VRシステム100は、ネットワーク855と、コントローラ152を含む1つまたは複数のサーバ850と、デバイス820および821によって示されている複数のユーザデバイス、たとえばウェアラブルディスプレイ128または126とを備える。(1つまたは複数の)サーバ850は、画像を表示するためにユーザデバイスにデータを提供し、ユーザアクティビティを監視し、ユーザに、(1つまたは複数の)他のユーザによってそのユーザに払われる注意を通知する。ネットワーク855は、サーバ850とユーザデバイス820および821との間の通信のための手段を提供する。ネットワーク855は、インターネット、モバイルデバイスキャリアネットワークなどのワイヤレスまたはワイヤードネットワーク、あるいは、サーバとクライアントとの間の通信のために使用され得る任意の他のネットワークであり得る。ユーザデバイス820および821はHMDであり得、各々は、デスクトップコンピュータ、あるいはモバイルデバイス、たとえば、モバイルフォン、セルフォン、スマートフォン、携帯情報端末、ノートブックコンピュータ、タブレットコンピュータ、ラップトップコンピュータ、カメラ、ビデオカメラ、またはハンドヘルドゲームコンソールなど、任意の好適なコンピューティングデバイスを含み得る。
図9は、例示的なコンピュータシステム700を示す。特定の実施形態では、1つまたは複数のコンピュータシステム700は、本明細書で説明または示される1つまたは複数の方法の1つまたは複数のステップを実施する。特定の実施形態では、1つまたは複数のコンピュータシステム700は、本明細書で説明または示される機能性を提供する。特定の実施形態では、1つまたは複数のコンピュータシステム700上で稼働しているソフトウェアは、本明細書で説明または示される1つまたは複数の方法の1つまたは複数のステップを実施するか、あるいは本明細書で説明または示される機能性を提供する。特定の実施形態は、1つまたは複数のコンピュータシステム700の1つまたは複数の部分を含む。
本開示は、任意の好適な数のコンピュータシステム700を企図する。本開示は、任意の好適な物理的形態をとるコンピュータシステム700を企図する。限定としてではなく例として、コンピュータシステム700は、組込み型コンピュータシステム、システムオンチップ(SOC)、(たとえば、コンピュータオンモジュール(COM)またはシステムオンモジュール(SOM)などの)シングルボードコンピュータシステム(SBC)、デスクトップコンピュータシステム、ラップトップまたはノートブックコンピュータシステム、対話型キオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末(PDA)、サーバ、タブレットコンピュータシステム、あるいはこれらのうちの2つまたはそれ以上の組合せであり得る。適切な場合、コンピュータシステム700は、1つまたは複数のコンピュータシステム700を含むか、単一または分散型であるか、複数のロケーションにわたるか、複数のマシンにわたるか、複数のデータセンターにわたるか、あるいは1つまたは複数のネットワーク中の1つまたは複数のクラウド構成要素を含み得るクラウド中に常駐し得る。適切な場合、1つまたは複数のコンピュータシステム700は、実質的な空間的または時間的制限なしに、本明細書で説明または示される1つまたは複数の方法の1つまたは複数のステップを実施し得る。限定としてではなく一例として、1つまたは複数のコンピュータシステム700は、リアルタイムでまたはバッチモードで、本明細書で説明または示される1つまたは複数の方法の1つまたは複数のステップを実施し得る。1つまたは複数のコンピュータシステム700は、適切な場合、異なる時間においてまたは異なるロケーションにおいて、本明細書で説明または示される1つまたは複数の方法の1つまたは複数のステップを実施し得る。
特定の実施形態では、コンピュータシステム700は、プロセッサ702と、非一時的メモリ704と、ストレージ706と、入出力(I/O)インターフェース708と、通信インターフェース710と、バス712とを含む。本開示は、特定の構成において特定の数の特定の構成要素を有する特定のコンピュータシステムを説明し、示すが、本開示は、任意の好適な構成において任意の好適な数の任意の好適な構成要素を有する任意の好適なコンピュータシステムを企図する。
特定の実施形態では、プロセッサ702は、コンピュータプログラムを作り上げる命令など、命令を実行するためのハードウェアを含む。限定としてではなく一例として、命令を実行するために、プロセッサ702は、内部レジスタ、内部キャッシュ、非一時的メモリ704、またはストレージ706から命令を取り出し(またはフェッチし)、それらの命令を復号および実行し、次いで、内部レジスタ、内部キャッシュ、非一時的メモリ704、またはストレージ706に1つまたは複数の結果を書き込み得る。特定の実施形態では、プロセッサ702は、データ、命令、またはアドレスのための1つまたは複数の内部キャッシュを含み得る。本開示は、特定のプロセッサを説明し、示すが、本開示は任意の好適なプロセッサを企図する。
特定の実施形態では、非一時的メモリ704は、プロセッサ702が実行するための命令、またはプロセッサ702が動作する対象のデータを記憶するためのメインメモリを含む。限定としてではなく一例として、コンピュータシステム700は、ストレージ706または(たとえば、別のコンピュータシステム700などの)別のソースからメモリ704に命令をロードし得る。プロセッサ702は、次いで、メモリ704から内部レジスタまたは内部キャッシュに命令をロードし得る。命令を実行するために、プロセッサ702は、内部レジスタまたは内部キャッシュから命令を取り出し、それらの命令を復号し得る。命令の実行中またはその後に、プロセッサ702は、(中間結果または最終結果であり得る)1つまたは複数の結果を内部レジスタまたは内部キャッシュに書き込み得る。プロセッサ702は、次いで、非一時的メモリ704にそれらの結果のうちの1つまたは複数を書き込み得る。
特定の実施形態では、プロセッサ702は、1つまたは複数の内部レジスタまたは内部キャッシュ中の、あるいは(ストレージ706または他の場所とは対照的な)メモリ704中の命令のみを実行し、1つまたは複数の内部レジスタまたは内部キャッシュ中の、あるいは(ストレージ706または他の場所とは対照的な)メモリ704中のデータのみに対して動作する。(アドレスバスおよびデータバスを各々含み得る)1つまたは複数のメモリバスが、プロセッサ02をメモリ704に結合し得る。バス712は、以下で説明されるように、1つまたは複数のメモリバスを含み得る。特定の実施形態では、1つまたは複数のメモリ管理ユニット(MMU)が、プロセッサ702とメモリ704との間に常駐し、プロセッサ702によって要求されるメモリ704へのアクセスを容易にする。本開示は、特定のメモリを説明し、示すが、本開示は任意の好適なメモリを企図する。
特定の実施形態では、ストレージ706は、データまたは命令のための大容量ストレージを含む。ストレージ706は、適切な場合、リムーバブルまたは非リムーバブル(すなわち、固定)媒体を含み得る。ストレージ706は、適切な場合、コンピュータシステム700の内部または外部にあり得る。特定の実施形態では、ストレージ706は、不揮発性ソリッドステートメモリである。適切な場合、ストレージ706は、1つまたは複数のストレージ706を含み得る。本開示は、特定のストレージを説明し、示すが、本開示は任意の好適なストレージを企図する。
特定の実施形態では、I/Oインターフェース708は、コンピュータシステム700と1つまたは複数のI/Oデバイスとの間の通信のための1つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。コンピュータシステム700は、適切な場合、これらのI/Oデバイスのうちの1つまたは複数を含み得る。これらのI/Oデバイスのうちの1つまたは複数は、人とコンピュータシステム700との間の通信を可能にし得る。限定としてではなく一例として、I/Oデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカー、スチールカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なI/Oデバイス、またはこれらのうちの2つまたはそれ以上の組合せを含み得る。I/Oデバイスは1つまたは複数のセンサーを含み得る。本開示は、任意の好適なI/Oデバイスと、それらのI/Oデバイスのための任意の好適なI/Oインターフェース708とを企図する。適切な場合、I/Oインターフェース708は、プロセッサ702がこれらのI/Oデバイスのうちの1つまたは複数を駆動することを可能にする1つまたは複数のデバイスまたはソフトウェアドライバを含み得る。I/Oインターフェース708は、適切な場合、1つまたは複数のI/Oインターフェース708を含み得る。本開示は、特定のI/Oインターフェースを説明し、示すが、本開示は任意の好適なI/Oインターフェースを企図する。
特定の実施形態では、通信インターフェース710は、コンピュータシステム700と、1つまたは複数の他のコンピュータシステム700または1つまたは複数のネットワークとの間の(たとえば、パケットベース通信などの)通信のための1つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。限定としてではなく一例として、通信インターフェース710は、イーサネットまたは他のワイヤベースネットワークと通信するためのネットワークインターフェースコントローラ(NIC)またはネットワークアダプタ、あるいはWi-Fiネットワークなどのワイヤレスネットワークと通信するためのワイヤレスNIC(WNIC)またはワイヤレスアダプタを含み得る。本開示は、任意の好適なネットワークと、そのネットワークのための任意の好適な通信インターフェース710とを企図する。本開示は、特定の通信インターフェースを説明し、示すが、本開示は任意の好適な通信インターフェースを企図する。
特定の実施形態では、バス712は、コンピュータシステム700の構成要素を互いに結合する、ハードウェア、ソフトウェア、またはその両方を含む。本開示は、特定のバスを説明し、示すが、本開示は任意の好適なバスまたは相互接続を企図する。
本明細書では、コンピュータ可読記憶媒体への言及は、1つまたは複数の非一時的、有形、コンピュータ可読記憶媒体所有構造を包含する。限定としてではなく一例として、コンピュータ可読記憶媒体は、適切な場合、(たとえば、フィールドプログラマブルゲートアレイ(FPGA)または特定用途向けIC(ASIC)などの)半導体ベースまたは他の集積回路(IC)、ハードディスク、HDD、ハイブリッドハードドライブ(HHD)、光ディスク、光ディスクドライブ(ODD)、光磁気ディスク、光磁気ドライブ、フロッピーディスク、フロッピーディスクドライブ(FDD)、磁気テープ、ホログラフィック記憶媒体、ソリッドステートドライブ(SSD)、RAMドライブ、セキュアデジタルカード、セキュアデジタルドライブ、あるいは別の好適なコンピュータ可読記憶媒体、あるいはこれらのうちの2つまたはそれ以上の組合せを含み得る。本明細書では、コンピュータ可読記憶媒体への言及は、米国特許法第101条に基づく特許保護の対象とならない媒体を除外する。本明細書では、コンピュータ可読記憶媒体への言及は、米国特許法第101条に基づく特許保護の対象とならない限り、(電気信号または電磁信号自体を伝搬することなどの)信号送信の一時的形態を除外する。コンピュータ可読非一時的記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性との組合せであり得る。
本開示は、任意の好適なストレージを実装する1つまたは複数のコンピュータ可読記憶媒体を企図する。特定の実施形態では、コンピュータ可読記憶媒体は、適切な場合、(たとえば、1つまたは複数の内部レジスタまたはキャッシュなど)プロセッサ702の1つまたは複数の部分、メモリ704の1つまたは複数の部分、ストレージ706の1つまたは複数の部分、またはこれらの組合せを実装する。特定の実施形態では、コンピュータ可読記憶媒体は、RAMまたはROMを実装する。特定の実施形態では、コンピュータ可読記憶媒体は、揮発性または永続的メモリを実装する。特定の実施形態では、1つまたは複数のコンピュータ可読記憶媒体はソフトウェアを具現する。本明細書では、ソフトウェアへの言及は、適切な場合、1つまたは複数のアプリケーション、バイトコード、1つまたは複数のコンピュータプログラム、1つまたは複数の実行ファイル、1つまたは複数の命令、論理、機械コード、1つまたは複数のスクリプト、またはソースコードを包含し得、その逆も同様である。特定の実施形態では、ソフトウェアは、1つまたは複数のアプリケーションプログラミングインターフェース(API)を含む。本開示は、任意の好適なプログラミング言語またはプログラミング言語の任意の好適な組合せで書かれた、または場合によっては表現された、任意の好適なソフトウェアを企図する。特定の実施形態では、ソフトウェアは、ソースコードまたはオブジェクトコードとして表現される。
本開示は、本明細書で説明される特定の実施形態によって、範囲が限定されるべきではない。実際は、上記の説明および添付の図面から、本明細書で説明されるものに加えて、他の様々な実施形態および修正が当業者に明らかになろう。したがって、そのような他の実施形態および修正は、本開示の範囲内に入るものとする。さらに、本開示は、特定の目的のための特定の環境における特定の実装形態のコンテキストにおいて、本明細書で説明されたが、本開示の有用性がそれに限定されないこと、および、本開示が、任意の数の目的のための任意の数の環境において有益に実装され得ることを、当業者は認識されよう。したがって、以下に記載する特許請求の範囲は、本明細書で説明される本開示の全幅および全趣旨に鑑みて解釈されるべきである。
Claims (15)
- AR/VRシステムのウェアラブルディスプレイにおける方法であって、前記方法は、
前記ウェアラブルディスプレイを使用して、前記AR/VRシステムの第2のユーザに対して画像を表示することであって、前記画像が、前記第2のユーザまたは前記第2のユーザのアバターに向けられた、前記AR/VRシステムの第1のユーザの視線の視覚キューを含む、画像を表示すること
を含み、
プロセッサが、前記第1のユーザの視標追跡データを処理するための命令を実行することによって、前記第2のユーザまたは前記第2のユーザの前記アバターに向けられた、前記第1のユーザの前記視線が検出された、
方法。 - 前記視覚キューを含む前記画像は、前記プロセッサが、前記第1のユーザの眼が少なくともあらかじめ定められた時間間隔の間前記第2のユーザまたは前記第2のユーザのアバターを見たと決定するための命令を実行したとき、表示される、請求項1に記載の方法。
- 前記視覚キューを含む前記画像は、前記第2のユーザに対する前記第1のユーザの視線方向が検出されたとき、表示されるか、あるいは、前記視覚キューを含む前記画像は、前記第2のユーザに対する前記第1のユーザの視線輻輳または前記第1のユーザの瞳孔拡張のうちの少なくとも1つが検出されたとき、表示される、請求項1に記載の方法。
- 前記画像が、前記第1のユーザの前記視線の前に前記視覚キューが存在しない、請求項1に記載の方法。
- 前記視覚キューを含む前記画像は、前記第1のユーザの視線方向または視線輻輳のうちの少なくとも1つが規則的な時間間隔で前記プロセッサによって決定されたとき、前記第2のユーザに対して表示される、請求項1に記載の方法。
- 前記視線が少なくともあらかじめ定められた時間間隔の間はずされたとき、前記視覚キューを削除するように前記画像を修正することをさらに含む、請求項1に記載の方法。
- 命令を記憶した非一時的メモリであって、前記命令は、1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに、AR/VRシステムのウェアラブルディスプレイを使用して、前記AR/VRシステムの第2のユーザに対して画像を表示することであって、前記画像が、前記第2のユーザまたは前記第2のユーザのアバターに向けられた、前記AR/VRシステムの第1のユーザの視線の視覚キューを含む、画像を表示することを行わせ、
プロセッサが、前記第1のユーザの視標追跡データを処理するための命令を実行することによって、前記第2のユーザまたは前記第2のユーザの前記アバターに向けられた、前記第1のユーザの前記視線が検出された、
非一時的メモリ。 - 前記視覚キューを含む前記画像は、前記命令を実行する前記1つまたは複数のプロセッサが、前記第1のユーザの眼が少なくともあらかじめ定められた時間間隔の間前記第2のユーザまたは前記第2のユーザのアバターを見たと決定したとき、表示される、請求項7に記載の非一時的メモリ。
- 前記視覚キューを含む前記画像は、前記第2のユーザに対する前記第1のユーザの視線方向が検出されたとき、表示されるか、あるいは、前記視覚キューを含む前記画像は、前記第2のユーザに対する前記第1のユーザの視線輻輳または前記第1のユーザの瞳孔拡張のうちの少なくとも1つが検出されたとき、表示される、請求項7に記載の非一時的メモリ。
- 前記画像が、前記第1のユーザの前記視線の前に前記視覚キューが存在しない、請求項7に記載の非一時的メモリ。
- 前記視覚キューを含む前記画像は、前記第1のユーザの視線方向または視線輻輳のうちの少なくとも1つが規則的な時間間隔で前記1つまたは複数のプロセッサによって決定されたとき、前記第2のユーザに対して表示される、請求項7に記載の非一時的メモリ。
- 前記画像は、前記視線が少なくともあらかじめ定められた時間間隔の間はずされたとき、前記視覚キューを削除するように修正される、請求項7に記載の非一時的メモリ。
- 視標追跡システムと第1のユーザに対して第1の画像を表示するための第1の電子ディスプレイとを備える第1のウェアラブルディスプレイと、
第2のユーザに対して第2の画像を表示するための第2の電子ディスプレイを備える第2のウェアラブルディスプレイと、
前記第1のウェアラブルディスプレイおよび前記第2のウェアラブルディスプレイに通信可能に連結され、前記第1の画像を表示するために前記第1のウェアラブルディスプレイにデータを提供することを行うように構成された、コントローラであって、前記コントローラが、前記第1のウェアラブルディスプレイから、前記第1のユーザの視標追跡に関係するデータを受信することと、前記第2のユーザまたは前記第1の画像中の前記第2のユーザのアバターに向けられた、前記第1のユーザの視線を識別することとを行うように構成された注意モニタを備え、前記コントローラが、前記視線を検出すると、前記第2のユーザに対して前記第2の画像を表示するために前記第2のウェアラブルディスプレイにデータを提供することであって、前記第2の画像が前記第1のユーザの前記視線の視覚キューを含む、データを提供することを行うように構成された、コントローラと
を備える、AR/VRシステム。 - 前記注意モニタは、前記第1のユーザの眼が少なくともあらかじめ定められた時間間隔の間前記第2のユーザまたは前記第1の画像中の前記第2のユーザのアバターを見ると決定するように構成されるか、あるいは、前記注意モニタが、前記第1のユーザの視線方向を決定するように構成されるか、あるいは、前記注意モニタが、前記第1のユーザの視線輻輳を決定するように構成されるか、あるいは、前記注意モニタが、前記第1のユーザの視線方向、視線輻輳、または瞳孔拡張のうちの少なくとも1つを規則的な時間間隔で決定するように構成された、請求項13に記載のAR/VRシステム。
- 前記注意モニタは、経時的に前記第1のユーザの前記視線を監視することと、前記視線が少なくともあらかじめ定められた時間間隔の間はずされたとき、前記視覚キューを削除するように前記第2の画像を修正することとを行うように構成された、請求項13に記載のAR/VRシステム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862785642P | 2018-12-27 | 2018-12-27 | |
US62/785,642 | 2018-12-27 | ||
US16/512,952 | 2019-07-16 | ||
US16/512,952 US11022794B2 (en) | 2018-12-27 | 2019-07-16 | Visual indicators of user attention in AR/VR environment |
PCT/US2019/067729 WO2020139738A1 (en) | 2018-12-27 | 2019-12-20 | Visual indicators of user attention in ar/vr environment |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022515978A true JP2022515978A (ja) | 2022-02-24 |
Family
ID=71123864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021530089A Pending JP2022515978A (ja) | 2018-12-27 | 2019-12-20 | Ar/vr環境におけるユーザ注意の視覚インジケータ |
Country Status (5)
Country | Link |
---|---|
US (1) | US11022794B2 (ja) |
JP (1) | JP2022515978A (ja) |
KR (1) | KR20210107784A (ja) |
CN (1) | CN113272765A (ja) |
WO (1) | WO2020139738A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11262588B2 (en) | 2020-03-10 | 2022-03-01 | Magic Leap, Inc. | Spectator view of virtual and physical objects |
CN112363615A (zh) * | 2020-10-27 | 2021-02-12 | 上海影创信息科技有限公司 | 多用户vr/ar交互系统、方法及计算机可读存储介质 |
CN117178245A (zh) * | 2021-04-01 | 2023-12-05 | 苹果公司 | 凝视和头部姿态交互 |
US11644895B1 (en) * | 2021-10-08 | 2023-05-09 | Synaptics Incorporated | Attention cues for head-mounted display (HMD) |
US12032737B2 (en) * | 2022-08-22 | 2024-07-09 | Meta Platforms Technologies, Llc | Gaze adjusted avatars for immersive reality applications |
WO2024165421A1 (en) * | 2023-02-09 | 2024-08-15 | Sony Group Corporation | Apparatus and method for guiding a viewing direction of a user, and user equipment |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0730877A (ja) * | 1993-07-12 | 1995-01-31 | Oki Electric Ind Co Ltd | 多地点間マルチメディア通信会議システム |
US5500671A (en) * | 1994-10-25 | 1996-03-19 | At&T Corp. | Video conference system and method of providing parallax correction and a sense of presence |
US8875026B2 (en) | 2008-05-01 | 2014-10-28 | International Business Machines Corporation | Directed communication in a virtual environment |
JP5208810B2 (ja) | 2009-02-27 | 2013-06-12 | 株式会社東芝 | 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム |
EP2508945B1 (en) * | 2011-04-07 | 2020-02-19 | Sony Corporation | Directional sound capturing |
US20130241805A1 (en) * | 2012-03-15 | 2013-09-19 | Google Inc. | Using Convergence Angle to Select Among Different UI Elements |
CN105188516B (zh) | 2013-03-11 | 2017-12-22 | 奇跃公司 | 用于增强和虚拟现实的系统与方法 |
US20160027218A1 (en) | 2014-07-25 | 2016-01-28 | Tom Salter | Multi-user gaze projection using head mounted display devices |
US9818225B2 (en) | 2014-09-30 | 2017-11-14 | Sony Interactive Entertainment Inc. | Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space |
US9451210B1 (en) | 2015-12-10 | 2016-09-20 | Google Inc. | Directing communications using gaze interaction |
US10162651B1 (en) * | 2016-02-18 | 2018-12-25 | Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville | Systems and methods for providing gaze-based notifications |
US10466474B2 (en) * | 2016-08-04 | 2019-11-05 | International Business Machines Corporation | Facilitation of communication using shared visual cue |
US20180095636A1 (en) * | 2016-10-04 | 2018-04-05 | Facebook, Inc. | Controls and Interfaces for User Interactions in Virtual Spaces |
US10269177B2 (en) * | 2016-10-06 | 2019-04-23 | Google Llc | Headset removal in virtual, augmented, and mixed reality using an eye gaze database |
US20180196506A1 (en) * | 2016-12-28 | 2018-07-12 | Colopl, Inc. | Information processing method and apparatus, information processing system, and program for executing the information processing method on computer |
US10325396B2 (en) | 2017-02-14 | 2019-06-18 | Linden Research, Inc. | Virtual reality presentation of eye movement and eye contact |
US10521013B2 (en) * | 2018-03-01 | 2019-12-31 | Samsung Electronics Co., Ltd. | High-speed staggered binocular eye tracking systems |
-
2019
- 2019-07-16 US US16/512,952 patent/US11022794B2/en active Active
- 2019-12-20 WO PCT/US2019/067729 patent/WO2020139738A1/en active Application Filing
- 2019-12-20 CN CN201980086851.3A patent/CN113272765A/zh active Pending
- 2019-12-20 KR KR1020217023296A patent/KR20210107784A/ko active Search and Examination
- 2019-12-20 JP JP2021530089A patent/JP2022515978A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US11022794B2 (en) | 2021-06-01 |
US20200209624A1 (en) | 2020-07-02 |
CN113272765A (zh) | 2021-08-17 |
WO2020139738A1 (en) | 2020-07-02 |
KR20210107784A (ko) | 2021-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11022794B2 (en) | Visual indicators of user attention in AR/VR environment | |
JP6730286B2 (ja) | 拡張現実視野オブジェクトフォロワー | |
US10990171B2 (en) | Audio indicators of user attention in AR/VR environment | |
CN106489171B (zh) | 立体图像显示器 | |
US11188148B2 (en) | User interaction in head-mounted display with eye tracking | |
KR102575470B1 (ko) | 이미지 디스플레이를 제어하기 위한 디스플레이 디바이스의 추적의 사용 | |
JP2023507867A (ja) | 人工現実コンテンツの可変焦点ディスプレイを有する人工現実システム | |
CN110569750A (zh) | 一种用于视线检测校准的方法和计算设备 | |
JP2017516250A (ja) | 世界固定表示品質のフィードバック | |
WO2014043119A1 (en) | Augmented reality information detail | |
EP3759576B1 (en) | A high-speed staggered binocular eye tracking systems | |
CN109478096A (zh) | 显示通信 | |
US11949949B2 (en) | Content generation based on audience engagement | |
JP2023536064A (ja) | 交互サンプリングを使用した眼追跡 | |
EP4328715A1 (en) | Headset adjustment | |
CN117480469A (zh) | 眼睛模型注册 | |
EP2887639A1 (en) | Augmented reality information detail | |
US11763517B1 (en) | Method and device for visualizing sensory perception | |
US12008720B1 (en) | Scene graph assisted navigation | |
WO2024064909A2 (en) | Methods, systems, and computer program products for alignment of a wearable device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221004 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231212 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240702 |