JP2023121761A - 3次元空間内の仮想オブジェクトの選択 - Google Patents
3次元空間内の仮想オブジェクトの選択 Download PDFInfo
- Publication number
- JP2023121761A JP2023121761A JP2023097014A JP2023097014A JP2023121761A JP 2023121761 A JP2023121761 A JP 2023121761A JP 2023097014 A JP2023097014 A JP 2023097014A JP 2023097014 A JP2023097014 A JP 2023097014A JP 2023121761 A JP2023121761 A JP 2023121761A
- Authority
- JP
- Japan
- Prior art keywords
- user
- objects
- virtual
- interactable
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 183
- 230000003993 interaction Effects 0.000 claims description 92
- 230000008859 change Effects 0.000 claims description 54
- 230000004044 response Effects 0.000 claims description 41
- 230000000977 initiatory effect Effects 0.000 claims description 22
- 230000003190 augmentative effect Effects 0.000 claims description 13
- 125000001475 halogen functional group Chemical group 0.000 claims description 8
- 238000012790 confirmation Methods 0.000 claims description 3
- 210000003128 head Anatomy 0.000 description 95
- 230000036544 posture Effects 0.000 description 79
- 238000003384 imaging method Methods 0.000 description 52
- 230000008569 process Effects 0.000 description 47
- 230000003287 optical effect Effects 0.000 description 30
- 238000012545 processing Methods 0.000 description 24
- 210000001747 pupil Anatomy 0.000 description 24
- 230000033001 locomotion Effects 0.000 description 22
- 238000000605 extraction Methods 0.000 description 15
- 230000004308 accommodation Effects 0.000 description 14
- 230000009471 action Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 12
- 230000007704 transition Effects 0.000 description 10
- 241000283153 Cetacea Species 0.000 description 8
- 238000005266 casting Methods 0.000 description 8
- 238000013500 data storage Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 239000000835 fiber Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 241000406668 Loxodonta cyclotis Species 0.000 description 6
- 230000004424 eye movement Effects 0.000 description 6
- 230000009191 jumping Effects 0.000 description 6
- 210000003813 thumb Anatomy 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000011049 filling Methods 0.000 description 3
- 210000003811 finger Anatomy 0.000 description 3
- 244000144992 flock Species 0.000 description 3
- 230000004886 head movement Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 241000699666 Mus <mouse, genus> Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000001556 precipitation Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000008521 reorganization Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 208000036366 Sensation of pressure Diseases 0.000 description 1
- 230000002350 accommodative effect Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013124 brewing process Methods 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 230000008045 co-localization Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Abstract
【課題】好適な3次元空間内の仮想オブジェクトの選択を提供すること。【解決手段】ウェアラブルシステムを使用して3次元空間内の仮想オブジェクトと相互作用するためのシステムおよび方法が、開示される。ウェアラブルシステムは、ユーザが、ユーザ入力デバイスおよび姿勢を使用して、仮想オブジェクトと相互作用することを可能にするようにプログラムされることができる。ウェアラブルシステムはまた、ユーザの環境内の仮想オブジェクトのレイアウト等のコンテキスト情報を自動的に判定し、コンテキスト情報に基づいて、ユーザ入力モードを切り替えることができる。【選択図】図12
Description
(関連出願の相互参照)
本願は、米国仮出願第62/244,115号、出願日2015年10月20日、発明の名称“USER APPLICATIONS, INTERFACES, AND EXPERIENCES WITH AUGMENTED REALITY DISPLAY DEVICES”、米国仮出願第62/301,422号、出願日2016年2月29日、発明の名称 “SELECTING VIRTUAL OBJECTS IN 3D SPACE”、および第62/316,179号、出願日2016年3月31日、発明の名称“SELECTING VIRTUAL OBJECTS IN 3D SPACE”に対する35 U.S.C.§119(e)の下での優先権を主張するものである。上記仮出願の全ては、その全体が参照により本明細書中に援用される。
本願は、米国仮出願第62/244,115号、出願日2015年10月20日、発明の名称“USER APPLICATIONS, INTERFACES, AND EXPERIENCES WITH AUGMENTED REALITY DISPLAY DEVICES”、米国仮出願第62/301,422号、出願日2016年2月29日、発明の名称 “SELECTING VIRTUAL OBJECTS IN 3D SPACE”、および第62/316,179号、出願日2016年3月31日、発明の名称“SELECTING VIRTUAL OBJECTS IN 3D SPACE”に対する35 U.S.C.§119(e)の下での優先権を主張するものである。上記仮出願の全ては、その全体が参照により本明細書中に援用される。
本開示は、仮想現実、拡張現実、および混合現実イメージングおよび可視化システムに関し、特に、3次元(3D)空間内の仮想オブジェクトと相互作用するためのシステムに関する。
現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、本物であるように見える、またはそのように知覚され得る様式でユーザに提示される、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進している。仮想現実または「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対して透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化の拡張としてデジタルまたは仮想画像情報を伴う。複合現実または「MR」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒト視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適かつ自然な感覚で豊かな提示を促進する、VR、AR、またはMR技術を生成することは、困難である。本明細書に開示されるシステムおよび方法は、VR、AR、およびMR技術に関連する種々の課題に対処する。
いくつかの実施形態では、ウェアラブルデバイスのためのユーザ入力モードを変更するためのシステムが、開示される。本システムは、3次元(3D)ビューをユーザに提示するように構成される、ウェアラブルデバイスのディスプレイシステムであって、3Dビューは、相互作用可能オブジェクトを備える、ディスプレイシステムと、ユーザ入力を受信するように構成される、ユーザ入力デバイスと、ユーザの姿勢と関連付けられたデータを取得するように構成される、センサと、ユーザ入力デバイスと通信する、ハードウェアプロセッサとを備えることができる。ハードウェアプロセッサは、相互作用可能オブジェクトと相互作用するための現在のユーザ入力モードが、第1のユーザ入力モードであるかまたは第2のユーザ入力モードであるかを判定し、第1のユーザ入力モードは、少なくとも部分的に、ユーザの姿勢に基づき、第2のユーザ入力モードは、少なくとも部分的に、ユーザ入力デバイスからのユーザ入力に基づくようにプログラムされることができる。現在のユーザ入力モードが第1のユーザ入力モードであることの判定に応答して、ハードウェアプロセッサは、センサを使用して、ユーザの姿勢を監視し、ディスプレイシステムを介して、少なくとも部分的に、監視される姿勢に基づいて、第1のユーザ入力モードと関連付けられた第1の形状における焦点インジケータをユーザの姿勢に関連する方向に提示し、第1のインジケーションを受信し、第2のユーザ入力モードに切り替え、第1のインジケーションに応答して、現在のユーザ入力モードを第2のユーザ入力モードに切り替えることができる。現在のユーザ入力モードが第2のユーザ入力モードであることの判定に応答して、ハードウェアプロセッサは、ユーザ入力デバイスからのユーザ入力を監視し、ディスプレイシステムを介して、少なくとも部分的に、監視される入力に基づいて、第2のユーザ入力モードと関連付けられた第2の形状における焦点インジケータを提示し、第2のインジケーションを受信し、第1のユーザ入力モードに切り替え、第2のインジケーションに応答して、現在のユーザ入力モードを第1のユーザ入力モードに切り替えることができる。
ある実施形態では、ウェアラブルデバイスのためのユーザ入力モードを変更するための方法が、開示される。本方法は、コンピュータプロセッサを備えるウェアラブルデバイスの制御下で行われてもよい。ウェアラブルデバイスは、ユーザの動眼視野(FOR)内の相互作用可能オブジェクトとのユーザ相互作用を可能にするように構成されることができ、FORは、ウェアラブルデバイスのディスプレイシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を備える。本方法は、ユーザの姿勢を判定するステップと、ディスプレイシステムを介して、標的相互作用可能オブジェクトと関連付けられた第1の焦点インジケータをユーザの姿勢に関連する方向に表示するステップであって、標的相互作用可能オブジェクトは、複数の仮想オブジェクトを備える、ステップと、標的相互作用可能オブジェクトの選択を受信するステップと、ユーザ入力モードを姿勢からユーザ入力デバイス上での手のジェスチャに切り替えるためのオプションをユーザに提示するステップと、ディスプレイシステムを介して、複数の仮想オブジェクトを表示するステップと、ユーザがユーザ入力モードを姿勢からユーザ入力デバイス上での手のジェスチャに切り替えたことの判定に応答して、ディスプレイシステムを介して、複数の仮想オブジェクトのうちの標的仮想オブジェクトと関連付けられた第2の焦点インジケータを表示するステップと、少なくとも部分的に、ユーザ入力デバイスからのユーザ入力に基づいて、第2の焦点インジケータを更新するステップとを含む。
いくつかの実施形態では、3次元(3D)空間内に位置する仮想オブジェクトを選択するためのウェアラブルシステムおよび方法が、開示される。ウェアラブルシステムは、仮想オブジェクトを3D空間内に提示するように構成される、ディスプレイシステムと、相互作用可能オブジェクトを3D空間内に記憶するように構成される、非一過性データ記憶と、ユーザの姿勢を判定するように構成される、センサと、ディスプレイシステム、データ記憶装置、およびセンサと通信するようにプログラムされる、ハードウェアプロセッサとを備えることができる。ウェアラブルシステムおよび方法は、少なくとも部分的に、センサから受信されたデータに基づいて、ユーザの姿勢を判定し、少なくとも部分的に、ユーザの姿勢に基づいて、ユーザの視野(FOV)を判定し、FOVは、ユーザによって所与の時間に知覚されたユーザの環境の一部を備え、FOV内の相互作用可能オブジェクトのグループを識別し、少なくとも部分的に、ユーザの姿勢に基づいて、FOV内の標的相互作用可能オブジェクトを識別し、標的相互作用可能オブジェクトと関連付けられた選択イベントを開始することができる。
本明細書に説明される主題の1つまたはそれを上回る実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
本発明は、例えば、以下を提供する。
(項目1)
ウェアラブルデバイスのためのユーザ入力モードを変更するためのシステムであって、
3次元(3D)ビューをユーザに提示するように構成される、ウェアラブルデバイスのディスプレイシステムであって、前記3Dビューは、相互作用可能オブジェクトを備える、ウェアラブルデバイスのディスプレイシステムと、
ユーザ入力を受信するように構成される、ユーザ入力デバイスと、
前記ユーザの姿勢と関連付けられたデータを取得するように構成される、センサと、
前記ユーザ入力デバイスと通信する、ハードウェアプロセッサであって、
前記相互作用可能オブジェクトと相互作用するための現在のユーザ入力モードが、第1のユーザ入力モードであるかまたは第2のユーザ入力モードであるかを判定することであって、
前記第1のユーザ入力モードは、少なくとも部分的に、前記ユーザの姿勢に基づいており、
前記第2のユーザ入力モードは、少なくとも部分的に、前記ユーザ入力デバイスからのユーザ入力に基づいている、ことと、
前記現在のユーザ入力モードが前記第1のユーザ入力モードであることの判定に応答して、
前記センサを使用して、前記ユーザの姿勢を監視することと、
前記ディスプレイシステムを介して、少なくとも部分的に、前記監視される姿勢に基づいて、前記第1のユーザ入力モードと関連付けられた第1の形状における焦点インジケータを前記ユーザの姿勢に関連する方向に提示することと、
第1のインジケーションを受信し、前記第2のユーザ入力モードに切り替えることと、
前記第1のインジケーションに応答して、前記現在のユーザ入力モードを前記第2のユーザ入力モードに切り替えることと、
前記現在のユーザ入力モードが前記第2のユーザ入力モードであることの判定に応答して、
前記ユーザ入力デバイスからのユーザ入力を監視することと、
前記ディスプレイシステムを介して、少なくとも部分的に、前記監視される入力に基づいて、前記第2のユーザ入力モードと関連付けられた第2の形状における焦点インジケータを提示することと、
第2のインジケーションを受信し、前記第1のユーザ入力モードに切り替え、
前記第2のインジケーションに応答して、前記現在のユーザ入力モードを前記第1のユーザ入力モードに切り替えることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
(項目2)
前記プロセッサはさらに、
少なくとも部分的に、前記ユーザの姿勢に基づいて、前記ユーザの視野(FOV)を判定することであって、前記FOVは、前記ユーザによって所与の時間に知覚された前記ユーザの環境の一部を備える、ことと、
前記FOVと関連付けられたコンテキスト情報を判定することであって、前記コンテキスト情報は、前記FOV内の前記相互作用可能オブジェクトのレイアウト、前記FOVのサイズ、前記ユーザのFOV内の前記相互作用可能オブジェクトのうちの1つまたはそれを上回るもののサイズのうちの少なくとも1つを備える、ことと、
少なくとも部分的に、前記コンテキスト情報に基づいて、前記第1のユーザ入力モードから前記第2のユーザ入力モードにまたは前記第2のユーザ入力モードから前記第1のユーザ入力モードに切り替えるためのオプションを提示することと
を行うようにプログラムされる、項目1に記載のシステム。
(項目3)
前記オプションを提示するために、前記プロセッサは、前記現在のユーザ入力モードが前記第1のユーザ入力モードにあるとき、前記第2の形状における前記焦点インジケータを提示し、前記現在のユーザ入力モードが前記第2のユーザ入力モードにあるとき、前記第1の形状における前記焦点インジケータを提示するようにプログラムされる、項目3に記載のシステム。
(項目4)
前記第1のインジケーションは、前記ユーザの姿勢における変化を備え、前記第2のインジケーションは、前記ユーザ入力デバイスの作動を備える、項目1に記載のシステム。
(項目5)
前記ユーザの姿勢は、頭部姿勢、眼姿勢、足姿勢、または身体姿勢のうちの少なくとも1つを備える、または前記センサは、内向きに面したイメージングシステム、外向きに面したイメージングシステム、または慣性測定ユニットのうちの少なくとも1つを備える、または前記ディスプレイシステムは、前記相互作用可能オブジェクトのうちの1つまたはそれを上回るものを複数の深度平面に表示するように構成される、ライトフィールドディスプレイを備える、項目1-4のいずれか1項に記載のシステム。
(項目6)
ウェアラブルデバイスのためのユーザ入力モードを変更するための方法であって、
コンピュータプロセッサを備えるウェアラブルデバイスの制御下であって、前記ウェアラブルデバイスは、ユーザの動眼視野(FOR)内の相互作用可能オブジェクトとのユーザ相互作用を可能にするように構成され、前記FORは、前記ウェアラブルデバイスのディスプレイシステムを介して前記ユーザによって知覚可能な前記ユーザの周囲の環境の一部を備える、ウェアラブルデバイスの制御下で、
ユーザの姿勢を判定するステップと、
前記ディスプレイシステムを介して、標的相互作用可能オブジェクトと関連付けられた第1の焦点インジケータを前記ユーザの姿勢に関連する方向に表示するステップであって、前記標的相互作用可能オブジェクトは、複数の仮想オブジェクトを備える、ステップと、
前記標的相互作用可能オブジェクトの選択を受信するステップと、
前記ユーザ入力モードを姿勢からユーザ入力デバイス上での手のジェスチャに切り替えるためのオプションを前記ユーザに提示するステップと、
前記ディスプレイシステムを介して、前記複数の仮想オブジェクトを表示するステップと、
前記ユーザが前記ユーザ入力モードを姿勢から前記ユーザ入力デバイス上での手のジェスチャに切り替えたことの判定に応答して、前記ディスプレイシステムを介して、前記複数の仮想オブジェクトのうちの標的仮想オブジェクトと関連付けられた第2の焦点インジケータを表示するステップと、
少なくとも部分的に、前記ユーザ入力デバイスからのユーザ入力に基づいて、前記第2の焦点インジケータを更新するステップと
を含む、方法。
(項目7)
前記オプションは、前記標的相互作用可能オブジェクトの選択または前記複数の仮想オブジェクトまたは前記標的相互作用可能オブジェクトと関連付けられたコンテキスト情報に応答して提示される、項目6に記載の方法。
(項目8)
前記コンテキスト情報は、前記複数の仮想オブジェクトの密度を備え、前記ユーザ入力モードを姿勢からユーザ入力デバイス上での手のジェスチャに切り替えるためのオプションは、前記複数の仮想オブジェクトの密度が閾値密度を超えることの判定に応答して提示されるステップを含む、項目7に記載の方法。
(項目9)
前記第2の焦点インジケータを更新するステップは、前記第2の焦点インジケータを前記標的仮想オブジェクトから前記複数の仮想オブジェクトのうちの別の仮想オブジェクトに移行するステップを含む、項目6に記載の方法。
(項目10)
選択イベントを前記標的仮想オブジェクト上で開始するステップをさらに含み、前記選択イベントは、前記標的仮想オブジェクトと関連付けられたメニューを開くステップまたは前記標的仮想オブジェクトを選択するインジケーションを受信するステップのうちの少なくとも1つを備える、項目6に記載の方法。
(項目11)
前記標的仮想オブジェクトは、少なくとも部分的に、前記ユーザの姿勢に少なくとも部分的に基づいて、識別される、項目6-10のいずれか1項に記載の方法。
(項目12)
前記複数の仮想オブジェクトは、天気アプリケーションまたは天文学アプリケーションのうちの少なくとも1つを備え、前記天気アプリケーションの選択に応答して、前記ウェアラブルデバイスは、前記ユーザの環境内のオブジェクト上に重畳された仮想天気情報を表示するようにプログラムされ、前記天文学アプリケーションの選択に応答して、前記ウェアラブルデバイスは、前記ユーザの環境上に重畳された3次元仮想惑星を備える相互作用可能惑星系を表示するようにプログラムされる、項目6に記載の方法。
(項目13)
3次元(3D)空間内に位置する仮想オブジェクトを選択するためのウェアラブルシステムであって、
仮想オブジェクトを3D空間内に提示するように構成される、ディスプレイシステムと、
相互作用可能オブジェクトを前記3D空間内に記憶するように構成される、非一過性データ記憶と、
ユーザの姿勢を判定するように構成される、センサと、
前記ディスプレイシステム、前記データ記憶、および前記センサと通信するようにプログラムされる、ハードウェアプロセッサであって、
少なくとも部分的に、前記センサから受信されたデータに基づいて、前記ユーザの姿勢を判定することと、
少なくとも部分的に、前記ユーザの姿勢に基づいて、前記ユーザの視野(FOV)を判定することであって、前記FOVは、前記ユーザによって所与の時間に知覚された前記ユーザの環境の一部を備える、ことと、
前記FOV内の相互作用可能オブジェクトのグループを識別することと、
少なくとも部分的に、前記ユーザの姿勢に基づいて、前記FOV内の標的相互作用可能オブジェクトを識別することと、
前記標的相互作用可能オブジェクトと関連付けられた選択イベントを開始することと
を行う、ハードウェアプロセッサと
を備える、ウェアラブルシステム。
(項目14)
前記相互作用可能オブジェクトのグループは、データ構造内に記憶され、各相互作用可能オブジェクトと関連付けられたインデックスは、少なくとも部分的に、前記3D空間内の前記相互作用可能オブジェクトの位置に基づいて、判定される、項目13に記載のウェアラブルシステム。
(項目15)
前記標的相互作用可能オブジェクト上での選択イベントの開始に応答して、前記ウェアラブルシステムのプロセッサは、2次元(2D)インターフェース内に、前記3D空間内の前記標的相互作用可能オブジェクトの閾値範囲内の仮想オブジェクトを提示するようにプログラムされる、項目13に記載のウェアラブルシステム。
(項目16)
前記2Dインターフェースは、ユーザ入力デバイスを介して相互作用可能である、項目15に記載のウェアラブルシステム。
(項目17)
前記FOV内の標的相互作用可能オブジェクトを識別するために、前記プロセッサは、
前記ユーザの姿勢に基づいて、前記ユーザの視線の経路を判定し、前記視線の経路と交差する相互作用可能オブジェクトを前記標的相互作用可能オブジェクトとして選択するステップ、または
前記ユーザのFOV内の最左または最右相互作用可能オブジェクトを前記標的相互作用可能オブジェクトとして選択するステップであって、前記最左または前記最右相互作用可能オブジェクトは、少なくとも部分的に、前記相互作用可能オブジェクトのグループと関連付けられたインデックスに基づいて選択される、ステップ、
のうちの少なくとも1つを行うように構成される、項目13に記載のウェアラブルシステム。
(項目18)
前記プロセッサは、ユーザ入力デバイスからの入力の受信または前記ユーザの姿勢の変化の検出のうちの少なくとも1つに応答して、前記選択イベントを開始するように構成される、項目13に記載のウェアラブルシステム。
(項目19)
前記プロセッサはさらに、前記標的相互作用可能オブジェクトと関連付けられた焦点インジケータを提示するように構成される、項目13-19のいずれか1項に記載のウェアラブルシステム。
(項目20)
前記ユーザの場所と関連付けられたデータを取得するように構成される、ジオロケーションセンサをさらに備え、前記標的相互作用可能オブジェクトは、天気アプリケーションを備え、前記天気アプリケーションは、
前記ジオロケーションセンサによって取得されたデータに基づいて、前記ユーザの場所を判定することと、
遠隔コンピューティングデバイスと通信し、前記ユーザの場所に基づいて、天気データを取得することと、
前記天気データと関連付けられた仮想要素を生成することと、
前記仮想要素を前記ユーザの3D空間内に重畳することと
を行うようにプログラムされる、項目13に記載のウェアラブルシステム。
本発明は、例えば、以下を提供する。
(項目1)
ウェアラブルデバイスのためのユーザ入力モードを変更するためのシステムであって、
3次元(3D)ビューをユーザに提示するように構成される、ウェアラブルデバイスのディスプレイシステムであって、前記3Dビューは、相互作用可能オブジェクトを備える、ウェアラブルデバイスのディスプレイシステムと、
ユーザ入力を受信するように構成される、ユーザ入力デバイスと、
前記ユーザの姿勢と関連付けられたデータを取得するように構成される、センサと、
前記ユーザ入力デバイスと通信する、ハードウェアプロセッサであって、
前記相互作用可能オブジェクトと相互作用するための現在のユーザ入力モードが、第1のユーザ入力モードであるかまたは第2のユーザ入力モードであるかを判定することであって、
前記第1のユーザ入力モードは、少なくとも部分的に、前記ユーザの姿勢に基づいており、
前記第2のユーザ入力モードは、少なくとも部分的に、前記ユーザ入力デバイスからのユーザ入力に基づいている、ことと、
前記現在のユーザ入力モードが前記第1のユーザ入力モードであることの判定に応答して、
前記センサを使用して、前記ユーザの姿勢を監視することと、
前記ディスプレイシステムを介して、少なくとも部分的に、前記監視される姿勢に基づいて、前記第1のユーザ入力モードと関連付けられた第1の形状における焦点インジケータを前記ユーザの姿勢に関連する方向に提示することと、
第1のインジケーションを受信し、前記第2のユーザ入力モードに切り替えることと、
前記第1のインジケーションに応答して、前記現在のユーザ入力モードを前記第2のユーザ入力モードに切り替えることと、
前記現在のユーザ入力モードが前記第2のユーザ入力モードであることの判定に応答して、
前記ユーザ入力デバイスからのユーザ入力を監視することと、
前記ディスプレイシステムを介して、少なくとも部分的に、前記監視される入力に基づいて、前記第2のユーザ入力モードと関連付けられた第2の形状における焦点インジケータを提示することと、
第2のインジケーションを受信し、前記第1のユーザ入力モードに切り替え、
前記第2のインジケーションに応答して、前記現在のユーザ入力モードを前記第1のユーザ入力モードに切り替えることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
(項目2)
前記プロセッサはさらに、
少なくとも部分的に、前記ユーザの姿勢に基づいて、前記ユーザの視野(FOV)を判定することであって、前記FOVは、前記ユーザによって所与の時間に知覚された前記ユーザの環境の一部を備える、ことと、
前記FOVと関連付けられたコンテキスト情報を判定することであって、前記コンテキスト情報は、前記FOV内の前記相互作用可能オブジェクトのレイアウト、前記FOVのサイズ、前記ユーザのFOV内の前記相互作用可能オブジェクトのうちの1つまたはそれを上回るもののサイズのうちの少なくとも1つを備える、ことと、
少なくとも部分的に、前記コンテキスト情報に基づいて、前記第1のユーザ入力モードから前記第2のユーザ入力モードにまたは前記第2のユーザ入力モードから前記第1のユーザ入力モードに切り替えるためのオプションを提示することと
を行うようにプログラムされる、項目1に記載のシステム。
(項目3)
前記オプションを提示するために、前記プロセッサは、前記現在のユーザ入力モードが前記第1のユーザ入力モードにあるとき、前記第2の形状における前記焦点インジケータを提示し、前記現在のユーザ入力モードが前記第2のユーザ入力モードにあるとき、前記第1の形状における前記焦点インジケータを提示するようにプログラムされる、項目3に記載のシステム。
(項目4)
前記第1のインジケーションは、前記ユーザの姿勢における変化を備え、前記第2のインジケーションは、前記ユーザ入力デバイスの作動を備える、項目1に記載のシステム。
(項目5)
前記ユーザの姿勢は、頭部姿勢、眼姿勢、足姿勢、または身体姿勢のうちの少なくとも1つを備える、または前記センサは、内向きに面したイメージングシステム、外向きに面したイメージングシステム、または慣性測定ユニットのうちの少なくとも1つを備える、または前記ディスプレイシステムは、前記相互作用可能オブジェクトのうちの1つまたはそれを上回るものを複数の深度平面に表示するように構成される、ライトフィールドディスプレイを備える、項目1-4のいずれか1項に記載のシステム。
(項目6)
ウェアラブルデバイスのためのユーザ入力モードを変更するための方法であって、
コンピュータプロセッサを備えるウェアラブルデバイスの制御下であって、前記ウェアラブルデバイスは、ユーザの動眼視野(FOR)内の相互作用可能オブジェクトとのユーザ相互作用を可能にするように構成され、前記FORは、前記ウェアラブルデバイスのディスプレイシステムを介して前記ユーザによって知覚可能な前記ユーザの周囲の環境の一部を備える、ウェアラブルデバイスの制御下で、
ユーザの姿勢を判定するステップと、
前記ディスプレイシステムを介して、標的相互作用可能オブジェクトと関連付けられた第1の焦点インジケータを前記ユーザの姿勢に関連する方向に表示するステップであって、前記標的相互作用可能オブジェクトは、複数の仮想オブジェクトを備える、ステップと、
前記標的相互作用可能オブジェクトの選択を受信するステップと、
前記ユーザ入力モードを姿勢からユーザ入力デバイス上での手のジェスチャに切り替えるためのオプションを前記ユーザに提示するステップと、
前記ディスプレイシステムを介して、前記複数の仮想オブジェクトを表示するステップと、
前記ユーザが前記ユーザ入力モードを姿勢から前記ユーザ入力デバイス上での手のジェスチャに切り替えたことの判定に応答して、前記ディスプレイシステムを介して、前記複数の仮想オブジェクトのうちの標的仮想オブジェクトと関連付けられた第2の焦点インジケータを表示するステップと、
少なくとも部分的に、前記ユーザ入力デバイスからのユーザ入力に基づいて、前記第2の焦点インジケータを更新するステップと
を含む、方法。
(項目7)
前記オプションは、前記標的相互作用可能オブジェクトの選択または前記複数の仮想オブジェクトまたは前記標的相互作用可能オブジェクトと関連付けられたコンテキスト情報に応答して提示される、項目6に記載の方法。
(項目8)
前記コンテキスト情報は、前記複数の仮想オブジェクトの密度を備え、前記ユーザ入力モードを姿勢からユーザ入力デバイス上での手のジェスチャに切り替えるためのオプションは、前記複数の仮想オブジェクトの密度が閾値密度を超えることの判定に応答して提示されるステップを含む、項目7に記載の方法。
(項目9)
前記第2の焦点インジケータを更新するステップは、前記第2の焦点インジケータを前記標的仮想オブジェクトから前記複数の仮想オブジェクトのうちの別の仮想オブジェクトに移行するステップを含む、項目6に記載の方法。
(項目10)
選択イベントを前記標的仮想オブジェクト上で開始するステップをさらに含み、前記選択イベントは、前記標的仮想オブジェクトと関連付けられたメニューを開くステップまたは前記標的仮想オブジェクトを選択するインジケーションを受信するステップのうちの少なくとも1つを備える、項目6に記載の方法。
(項目11)
前記標的仮想オブジェクトは、少なくとも部分的に、前記ユーザの姿勢に少なくとも部分的に基づいて、識別される、項目6-10のいずれか1項に記載の方法。
(項目12)
前記複数の仮想オブジェクトは、天気アプリケーションまたは天文学アプリケーションのうちの少なくとも1つを備え、前記天気アプリケーションの選択に応答して、前記ウェアラブルデバイスは、前記ユーザの環境内のオブジェクト上に重畳された仮想天気情報を表示するようにプログラムされ、前記天文学アプリケーションの選択に応答して、前記ウェアラブルデバイスは、前記ユーザの環境上に重畳された3次元仮想惑星を備える相互作用可能惑星系を表示するようにプログラムされる、項目6に記載の方法。
(項目13)
3次元(3D)空間内に位置する仮想オブジェクトを選択するためのウェアラブルシステムであって、
仮想オブジェクトを3D空間内に提示するように構成される、ディスプレイシステムと、
相互作用可能オブジェクトを前記3D空間内に記憶するように構成される、非一過性データ記憶と、
ユーザの姿勢を判定するように構成される、センサと、
前記ディスプレイシステム、前記データ記憶、および前記センサと通信するようにプログラムされる、ハードウェアプロセッサであって、
少なくとも部分的に、前記センサから受信されたデータに基づいて、前記ユーザの姿勢を判定することと、
少なくとも部分的に、前記ユーザの姿勢に基づいて、前記ユーザの視野(FOV)を判定することであって、前記FOVは、前記ユーザによって所与の時間に知覚された前記ユーザの環境の一部を備える、ことと、
前記FOV内の相互作用可能オブジェクトのグループを識別することと、
少なくとも部分的に、前記ユーザの姿勢に基づいて、前記FOV内の標的相互作用可能オブジェクトを識別することと、
前記標的相互作用可能オブジェクトと関連付けられた選択イベントを開始することと
を行う、ハードウェアプロセッサと
を備える、ウェアラブルシステム。
(項目14)
前記相互作用可能オブジェクトのグループは、データ構造内に記憶され、各相互作用可能オブジェクトと関連付けられたインデックスは、少なくとも部分的に、前記3D空間内の前記相互作用可能オブジェクトの位置に基づいて、判定される、項目13に記載のウェアラブルシステム。
(項目15)
前記標的相互作用可能オブジェクト上での選択イベントの開始に応答して、前記ウェアラブルシステムのプロセッサは、2次元(2D)インターフェース内に、前記3D空間内の前記標的相互作用可能オブジェクトの閾値範囲内の仮想オブジェクトを提示するようにプログラムされる、項目13に記載のウェアラブルシステム。
(項目16)
前記2Dインターフェースは、ユーザ入力デバイスを介して相互作用可能である、項目15に記載のウェアラブルシステム。
(項目17)
前記FOV内の標的相互作用可能オブジェクトを識別するために、前記プロセッサは、
前記ユーザの姿勢に基づいて、前記ユーザの視線の経路を判定し、前記視線の経路と交差する相互作用可能オブジェクトを前記標的相互作用可能オブジェクトとして選択するステップ、または
前記ユーザのFOV内の最左または最右相互作用可能オブジェクトを前記標的相互作用可能オブジェクトとして選択するステップであって、前記最左または前記最右相互作用可能オブジェクトは、少なくとも部分的に、前記相互作用可能オブジェクトのグループと関連付けられたインデックスに基づいて選択される、ステップ、
のうちの少なくとも1つを行うように構成される、項目13に記載のウェアラブルシステム。
(項目18)
前記プロセッサは、ユーザ入力デバイスからの入力の受信または前記ユーザの姿勢の変化の検出のうちの少なくとも1つに応答して、前記選択イベントを開始するように構成される、項目13に記載のウェアラブルシステム。
(項目19)
前記プロセッサはさらに、前記標的相互作用可能オブジェクトと関連付けられた焦点インジケータを提示するように構成される、項目13-19のいずれか1項に記載のウェアラブルシステム。
(項目20)
前記ユーザの場所と関連付けられたデータを取得するように構成される、ジオロケーションセンサをさらに備え、前記標的相互作用可能オブジェクトは、天気アプリケーションを備え、前記天気アプリケーションは、
前記ジオロケーションセンサによって取得されたデータに基づいて、前記ユーザの場所を判定することと、
遠隔コンピューティングデバイスと通信し、前記ユーザの場所に基づいて、天気データを取得することと、
前記天気データと関連付けられた仮想要素を生成することと、
前記仮想要素を前記ユーザの3D空間内に重畳することと
を行うようにプログラムされる、項目13に記載のウェアラブルシステム。
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。
(概観)
AR/VR/MRデバイスの使用を用いることで、ユーザは、仮想ユーザインターフェースを使用して、3次元(3D)空間内のオブジェクトを標的化および選択することを所望し得る。例えば、ユーザは、アイテムに物理的に接近する、それを握持する、またはそれに触れる等、身体姿勢を使用して、仮想オブジェクトを選択してもよい。ユーザはまた、仮想光線またはビームを用いて、オブジェクトをポインティングし、クリックすることによって、仮想オブジェクトを選択してもよい。しかし、これらの技法は、ユーザが選択を達成するためにその姿勢を静止して保持することが要求され得るため、疲労を生じさせ得、かつオブジェクトを精密に選択することが困難であり得る。
AR/VR/MRデバイスの使用を用いることで、ユーザは、仮想ユーザインターフェースを使用して、3次元(3D)空間内のオブジェクトを標的化および選択することを所望し得る。例えば、ユーザは、アイテムに物理的に接近する、それを握持する、またはそれに触れる等、身体姿勢を使用して、仮想オブジェクトを選択してもよい。ユーザはまた、仮想光線またはビームを用いて、オブジェクトをポインティングし、クリックすることによって、仮想オブジェクトを選択してもよい。しかし、これらの技法は、ユーザが選択を達成するためにその姿勢を静止して保持することが要求され得るため、疲労を生じさせ得、かつオブジェクトを精密に選択することが困難であり得る。
本開示は、これらの問題の一部または全部に対処する、ウェアラブルシステムの実施例を提供する。一実施例として、ユーザは、その頭部を移動させ、オブジェクトのグループに眼を向けてもよい。ユーザの視野の中心の最近傍のオブジェクトは、潜在的標的オブジェクトとしてハイライトされることができ、ユーザは、ユーザ入力デバイス(例えば、タッチスクリーン上でスワイプすることによって)を作動し、ハイライトをあるオブジェクトから別のオブジェクトに移行させることができる。ユーザは、ユーザ入力デバイスを再び作動させることによって(例えば、タッチスクリーンに触れることによって)、標的オブジェクトの選択を確認することができる。いったん選択されると、ARユーザインターフェースは、ユーザが、選択された標的オブジェクトに付加的アクションを行うことを可能にしてもよい(例えば、オブジェクトと関連付けられたメニューの表示またはそこからの選択、標的オブジェクトが現れるゲームと関連付けられたアクションを行う等)。本技法は、疲労を軽減させながら、ユーザが関心のあるオブジェクトを選択するために特に有利であり得る。これは、頭部姿勢を精密に制御することが困難であるためである。ウェアラブルシステムは、ユーザの頭部姿勢に基づいて、着目オブジェクトを予備的に識別する一方、ユーザが、手のジェスチャを使用して、オブジェクトを精密に選択することを可能にすることができる。
いくつかの実装では、相互作用可能オブジェクトは、複数の仮想オブジェクトを含んでもよい。例えば、仮想ユーザインターフェース平面は、例えば、ビデオストリーミングアプリケーション、仮想授業アプリケーション、天気アプリケーション、ゲームアプリケーション、天文学アプリケーション等、複数の仮想アプリケーションを含んでもよい。ウェアラブルシステムは、相互作用可能オブジェクトの特性に基づいて、異なるユーザ入力モードをサポートしてもよい。例えば、相互作用可能オブジェクトが、ユーザインターフェース平面(サイズが大型であり得る)であるとき、ウェアラブルシステムは、ユーザが、姿勢を使用して、それと相互作用することを可能にしてもよい。一方、相互作用可能オブジェクトが、比較的に小型であるとき、ウェアラブルシステムは、代わりに、ユーザ入力デバイスをデフォルト入力モードとして設定し、ユーザが、仮想オブジェクトと精密に相互作用することを可能にしてもよい。これらの実装は、大型のオブジェクトの移動および標的化が、ユーザの移動にあまり精度を要求しない場合がある一方、小型のオブジェクトの移動および選択が、ユーザが精密に標的化することを要求し得るため、有利であり得る。
ウェアラブルシステムはまた、コンテキスト情報に基づいて、ユーザ入力モードを判定することができる。例えば、ウェアラブルシステムは、ユーザの環境内の仮想オブジェクトのレイアウトを判定することができる。ウェアラブルシステムが、ユーザの視線方向に仮想オブジェクトの高密度クラスタを検出すると、ウェアラブルシステムは、ユーザに、入力制御を頭部制御から手の制御に切り替えるオプションを与えてもよい。このように、ユーザは、仮想オブジェクトとより精密に相互作用することができる。別の実施例として、ARシステムは、オブジェクトの配向(例えば、垂直または水平)を検出し、ユーザのための適切な相互作用(例えば、ユーザの正面に垂直に現れるテレビアプリケーションの音量制御またはユーザのデスク上に水平に現れる仮想キーボードのタイピング制御)を提供してもよい。
ウェアラブルシステムは、ユーザが、例えば、ネットワークを介して、ユーザの環境の世界マップをパスする、またはウェアラブルシステム間で仮想コンテンツを通信する(または仮想コンテンツをアップデートする)ことによって、仮想コンテンツを他者(同様にウェアラブルシステムを装着している)と共有することを可能にすることができる。
(3Dディスプレイの実施例)
図1は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図1では、MR場面100は、描写され、MR技術のユーザには、人々、木々、背景内の建物、およびコンクリートプラットフォーム120を特徴とする、実世界公園状設定110が見える。これらのアイテムに加え、MR技術のユーザはまた、実世界プラットフォーム120上に立っているロボット像130と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ140とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
図1は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図1では、MR場面100は、描写され、MR技術のユーザには、人々、木々、背景内の建物、およびコンクリートプラットフォーム120を特徴とする、実世界公園状設定110が見える。これらのアイテムに加え、MR技術のユーザはまた、実世界プラットフォーム120上に立っているロボット像130と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ140とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
3Dディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましくあり得る。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって判定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定なイメージング、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
VR、AR、およびMR体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なってもよく(例えば、場面またはオブジェクトの若干異なる提示を提供する)、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
図2は、ウェアラブルシステム200の実施例を図示する。ウェアラブルシステム200は、ディスプレイ220と、ディスプレイ220の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ220は、ユーザ、装着者、または視認者210によってウェアラブルである、フレーム230に結合されてもよい。ディスプレイ220は、ユーザ210の眼の正面に位置付けられることができる。ディスプレイ220は、AR/VR/MRコンテンツをユーザに提示することができる。ディスプレイ220は、ユーザの頭部に装着される、頭部搭載型ディスプレイ(HMD)を提示することができる。いくつかの実施形態では、スピーカ240が、フレーム230に結合され、ユーザの外耳道に隣接して位置付けられる(いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音響制御を提供する)。
ウェアラブルシステム200は、ユーザの周囲の環境内の世界を観察する、外向きに面したイメージングシステム464(図4に示される)を含むことができる。ウェアラブルシステム200はまた、ユーザの眼移動を追跡することができる、内向きに面したイメージングシステム462(図4に示される)を含むことができる。内向きに面したイメージングシステムは、一方の眼の移動または両方の眼の移動のいずれかを追跡することができる。内向きに面したイメージングシステム462は、フレーム230に取り付けられてもよく、内向きに面したイメージングシステムによって取得された画像情報を処理し、例えば、ユーザ210の眼、眼の移動、または眼姿勢の瞳孔直径または配向を判定し得る、処理モジュール260または270と電気通信してもよい。
実施例として、ウェアラブルシステム200は、外向きに面したイメージングシステム464または内向きに面したイメージングシステム462を使用して、ユーザの姿勢の画像を取得することができる。画像は、静止画像、ビデオのフレームまたはビデオ、その組み合わせ、または同等物であってもよい。
ディスプレイ220は、有線導線または無線接続等によって、フレーム230に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ210に(例えば、バックパック式構成において、ベルト結合式構成において)可撤式に取り付けられる等、種々の構成において搭載され得る、ローカルデータ処理モジュール260に動作可能に結合される(250)。
ローカル処理およびデータモジュール260は、ハードウェアプロセッサおよび不揮発性メモリ(例えば、フラッシュメモリ)等のデジタルメモリを備えてもよく、その両方は、データの処理、キャッシング、および記憶を補助するために利用され得る。データは、a)画像捕捉デバイス(例えば、内向きに面したイメージングシステムおよび/または外向きに面したイメージングシステム内のカメラ)、マイクロホン、慣性測定ユニット(IMU)、加速度計、コンパス、全地球測位システム(GPS)、無線デバイス、またはジャイロスコープ等の(例えば、フレーム230に動作可能に結合される、または別様にユーザ210に取り付けられ得る)センサから捕捉されるデータ、または、b)場合によってはそのような処理または読出後にディスプレイ220への伝達のために、遠隔処理モジュール270および/または遠隔データリポジトリ280を使用して取得または処理されるデータを含んでもよい。ローカル処理およびデータモジュール260は、これらの遠隔モジュールがローカル処理およびデータモジュール260へのリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク262または264によって遠隔処理モジュール270または遠隔データリポジトリ280に動作可能に結合されてもよい。加えて、遠隔処理モジュール280および遠隔データリポジトリ280は、相互に動作可能に結合されてもよい。
いくつかの実施形態では、遠隔処理モジュール270は、データおよび/または画像情報を分析および処理するように構成される、1つまたはそれを上回るプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ280は、デジタルデータ記憶設備を備え得、これは、「クラウド」リソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動(vergence)および遠近調節(accommodation)の組み合わせに起因して、オブジェクトを3次元として知覚し得ると考えられる。相互に対する2つの眼の輻輳・開散運動(すなわち、眼の視線を収束させ、オブジェクト上に固定させるための、相互に向かった、または、そこから離れるような瞳孔の回転運動)は、眼の水晶体の集束(または「遠近調節」)と密接に関連付けられる。通常条件下では、眼の水晶体の焦点を変更する、または眼を遠近調節し、1つのオブジェクトから異なる距離における別のオブジェクトに焦点を変更することは、「遠近調節-輻輳・開散運動反射」として知られる関係下、自動的に、輻輳・開散運動における合致する変化を同一距離に生じさせるであろう。同様に、輻輳・開散運動における変化は、通常条件下、遠近調節における合致する変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な合致を提供するディスプレイシステムは、3次元画像のより現実的かつ快適なシミュレーションを形成し得る。
図3は、複数の深度平面を使用して3次元画像をシミュレートするためのアプローチの側面を図示する。図3を参照すると、z-軸上の眼302および304からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼302および304によって遠近調節される。眼302および304は、特定の遠近調節された状態をとり、オブジェクトをz-軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面に対して遠近調節された状態にあるとき、合焦するように、関連付けられた焦点距離を有して、深度平面306のうちの特定の1つと関連付けられると言え得る。いくつかの実施形態では、3次元画像は、眼302および304毎に、画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼302および304の視野は、例えば、z-軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の輪郭は、深度平面内の全ての特徴が特定の遠近調節された状態において眼と合焦するように、物理的空間内で湾曲されてもよいことを理解されたい。理論によって限定されるわけではないが、人間の眼は、典型的には、深度知覚を提供するために、有限数深度面を解釈し得ると考えられる。その結果、知覚される深度の高度に真実味のあるシミュレーションが、これらの限定された数の深度面のそれぞれに対応する画像の異なる表現を眼に提供することによって達成され得る。
(導波管スタックアセンブリ)
図4は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム400は、複数の導波管432b、434b、436b、438b、400bを使用して、3次元知覚を眼/脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ480を含む。いくつかの実施形態では、ウェアラブルシステム400は、図2のウェアラブルシステム200に対応してもよく、図4は、ウェアラブルシステム200のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ480は、図2のディスプレイ220の中に統合されてもよい。
図4は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム400は、複数の導波管432b、434b、436b、438b、400bを使用して、3次元知覚を眼/脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ480を含む。いくつかの実施形態では、ウェアラブルシステム400は、図2のウェアラブルシステム200に対応してもよく、図4は、ウェアラブルシステム200のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ480は、図2のディスプレイ220の中に統合されてもよい。
図4を継続して参照すると、導波管アセンブリ480はまた、複数の特徴458、456、454、452を導波管の間に含んでもよい。いくつかの実施形態では、特徴458、456、454、452は、レンズであってもよい。他の実施形態では、特徴458、456、454、452は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい(例えば、空気間隙を形成するためのクラッディング層または構造)。
導波管432b、434b、436b、438b、440bまたは複数のレンズ458、456、454、452は、種々のレベルの波面曲率または光線発散を伴って、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス420、422、424、426、428は、それぞれ、眼410に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管440b、438b、436b、434b、432bの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス420、422、424、426、428の出力表面から出射し、導波管440b、438b、436b、434b、432bの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム(例えば、コリメートされたビーム)が、各導波管の中に投入され、特定の導波管と関連付けられる深度面に対応する特定の角度(および発散量)において眼410に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。
いくつかの実施形態では、画像投入デバイス420、422、424、426、428は、それぞれ、それぞれの対応する導波管440b、438b、436b、434b、432bの中に投入するための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス420、422、424、426、428は、例えば、1つまたはそれを上回る光学導管(光ファイバケーブル等)を介して、画像情報を画像投入デバイス420、422、424、426、428のそれぞれにパイピングし得る、単一の多重化されたディスプレイの出力端である。
コントローラ460が、スタックされた導波管アセンブリ480および画像投入デバイス420、422、424、426、428の動作を制御する。コントローラ460は、導波管440b、438b、436b、434b、432bへの画像情報のタイミングおよび提供を調整する、プログラミング(例えば、非一過性コンピュータ可読媒体内の命令)を含む。いくつかの実施形態では、コントローラ460は、単一一体型デバイスまたは有線または無線通信チャンネルによって接続される分散型システムであってもよい。コントローラ460は、いくつかの実施形態では、処理モジュール260または270(図2に図示される)の一部であってもよい。
導波管440b、438b、436b、434b、432bは、全内部反射(TIR)によって、光を各個別の導波管内で伝搬させるように構成されてもよい。導波管440b、438b、436b、434b、432bはそれぞれ、主要上部および底部表面と、それらの主要上部と底部表面との間に延在する縁とを伴う、平面である、または別の形状(例えば、湾曲)を有してもよい。図示される構成では、導波管440b、438b、436b、434b、432bはそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から、画像情報を眼410に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素440a、438a、436a、434a、432aを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所に出力される。光抽出光学要素(440a、438a、436a、434a、432a)は、例えば、反射または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管440b、438b、436b、434b、432bの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素440a、438a、436a、434a、432aは、上部または底部主要表面に配置されてもよい、または直接導波管440b、438b、436b、434b、432bの容積内に配置されてもよい。いくつかの実施形態では、光抽出光学要素440a、438a、436a、434a、432aは、透明基板に取り付けられ、導波管440b、438b、436b、434b、432bを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管440b、438b、436b、434b、432bは、モノリシック材料片であってもよく、光抽出光学要素440a、438a、436a、434a、432aは、その材料片の表面上および/または内部に形成されてもよい。
図4を継続して参照すると、本明細書に議論されるように、各導波管440b、438b、436b、434b、432bは、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管432bは、そのような導波管432bの中に投入されるにつれて、コリメートされた光を眼410に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の導波管434bは、眼410に到達し得る前に、第1のレンズ452(例えば、負のレンズ)を通して通過する、コリメートされた光を送出するように構成されてもよい。第1のレンズ452は、眼/脳が、その次の導波管434bから生じる光が光学無限遠から眼410に向かって内向きにより近い第1の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第3の導波管436bは、眼410に到達する前に、その出力光を第1のレンズ452および第2のレンズ454の両方を通して通過させる。第1および第2のレンズ452および454の組み合わせられた屈折力は、眼/脳が、第3の導波管436bから生じる光が次の導波管434bからの光であった光学無限遠から人物に向かって内向きにさらにより近い第2の焦点面から生じるように解釈するように、波面曲率の別の増分量を生成するように構成されてもよい。
他の導波管層(例えば、導波管438b、440b)およびレンズ(例えば、レンズ456、458)も同様に、スタック内の最高導波管440bを用いて、人物に最も近い焦点面を表す集約焦点パワーのために、その出力をそれと眼との間のレンズの全てを通して送出するように構成される。スタックされた導波管アセンブリ480の他側の世界470から生じる光を視認/解釈するとき、レンズ458、456、454、452のスタックを補償するために、補償レンズ層430が、スタックの上部に配置され、下方のレンズスタック458、456、454、452の集約パワーを補償してもよい。そのような構成は、利用可能な導波管/レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい(例えば、動的または電気アクティブではない)。いくつかの代替実施形態では、いずれかまたは両方とも、電気アクティブ特徴を使用して、動的であってもよい。
図4を継続して参照すると、光抽出光学要素440a、438a、436a、434a、432aは、光をその個別の導波管から再指向し、かつ導波管と関連付けられた特定の深度平面のための適切な発散またはコリメーション量を用いて本光を出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じた異なる発散量を用いて光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素440a、438a、436a、434a、432aは、具体的角度において光を出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素440a、438a、436a、434a、432aは、体積ホログラム、表面ホログラム、および/または回折格子であってもよい。回折格子等の光抽出光学要素は、2015年6月25日に公開された米国特許公開第2015/0178939号(参照することによってその全体として本明細書に組み込まれる)に説明される。
いくつかの実施形態では、光抽出光学要素440a、438a、436a、434a、432aは、回折パターンを形成する回折特徴、すなわち、「回折光学要素」(本明細書では、「DOE」とも称される)である。好ましくは、DOEは、ビームの光の一部のみが、DOEの各交差点を用いて、眼410に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼304に向かって非常に均一な出射放出パターンとなることができる。
いくつかの実施形態では、1つまたはそれを上回るDOEは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なDOEは、微小液滴がホスト媒体中に回折パターンを構成する、ポリマー分散液晶の層を備えてもよく、微小液滴の屈折率は、ホスト材料と実質的に合致する屈折率に切り替えられることができる(その場合、パターンは、入射光を著しく回折しない)、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられることができる(その場合、パターンは、入射光を能動的に回折する)。
いくつかの実施形態では、深度平面または被写界深度の数および分布は、視認者の眼の瞳孔サイズまたは配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である1つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第1の深度平面および第2の深度平面の両方の詳細を1つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの2つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに合焦するには十分であり得る。
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズおよび/または配向の判定に基づいて、または特定の瞳孔サイズ/または配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、2つの導波管と関連付けられた2つの深度平面間を区別不能である場合、コントローラ460は、これらの導波管のうちの1つへの画像情報の提供を停止するように構成またはプログラムされてもよい。有利には、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのDOEがオンおよびオフ状態間で切替可能である実施形態では、DOEは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの判定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
ウェアラブルシステム400は、世界470の一部をイメージングする、外向きに面したイメージングシステム464(例えば、デジタルカメラ)を含むことができる。世界470の本部分は、視野(FOV)と称され得、イメージングシステム464は、時として、FOVカメラとも称される。視認者による視認またはイメージングのために利用可能な領域全体は、動眼視野(FOR)と称され得る。FORは、装着者が、その身体、頭部、または眼を移動させ、空間内の実質的に任意の方向を知覚するため、ウェアラブルシステム400を囲繞する4πステラジアンの立体角を含んでもよい。他の状況では、装着者の移動は、より抑制されてもよく、それに応じて、装着者のFORは、より小さい立体角に接し得る。外向きに面したイメージングシステム464から得られた画像は、ユーザによって行われるジェスチャ(例えば、手または指のジェスチャ)を追跡し、ユーザの正面における世界470内のオブジェクトを検出する等のために、使用されることができる。
ウェアラブルシステム400はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに面したイメージングシステム466(例えば、デジタルカメラ)を含むことができる。内向きに面したイメージングシステム466は、眼410の画像を捕捉し、眼304の瞳孔のサイズまたは配向を判定するために使用されてもよい。内向きに面したイメージングシステム466は、ユーザが見ている方向(例えば、眼姿勢)を判定する際にため使用するため、またはユーザのバイオメトリック識別のため(例えば、虹彩識別を介して)、画像を得るために使用されることができる。いくつかの実施形態では、少なくとも1つのカメラが、眼毎に、独立して、各眼の瞳孔サイズまたは眼姿勢を別個に判定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、単一眼410のみの瞳孔直径または配向(例えば、対の眼あたり単一カメラのみを使用して)が、判定され、ユーザの両眼に関して類似すると仮定される。内向きに面したイメージングシステム466によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム400によって使用され得る、ユーザの眼姿勢または気分を判定するために分析されてもよい。ウェアラブルシステム400はまた、IMU、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢(例えば、頭部位置または頭部配向)を判定してもよい。
ウェアラブルシステム400は、ユーザが、コマンドをコントローラ460に入力し、ウェアラブルシステム400と相互作用し得る、ユーザ入力デバイス466を含むことができる。例えば、ユーザ入力デバイス466は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度(DOF)コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド(Dパッド)、ワンド、触知デバイス、トーテム(例えば、仮想ユーザ入力デバイスとして機能する)等を含むことができる。ある場合には、ユーザは、指(例えば、親指)を使用して、タッチセンサ式入力デバイスを押下またはその上でスワイプし、入力をウェアラブルシステム400に提供してもよい(例えば、ユーザ入力をウェアラブルシステム400によって提供されるユーザインターフェースに提供するために)。ユーザ入力デバイス466は、ウェアラブルシステム400の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス466は、ウェアラブルシステム400と有線または無線通信することができる。
図5は、導波管によって出力された出射ビームの実施例を示す。1つの導波管が、図示されるが、導波管アセンブリ480内の他の導波管も、同様に機能してもよく、導波管アセンブリ480は、複数の導波管を含むことを理解されたい。光520が、導波管432bの入力縁432cにおいて導波管432bの中に投入され、TIRによって導波管432b内を伝搬する。光520がDOE432aに衝突する点において、光の一部が、出射ビーム510として導波管から出射する。出射ビーム510は、略平行として図示されるが、それらはまた、導波管432bと関連付けられた深度平面に応じて、ある角度で眼410に伝搬するように再指向されてもよい(例えば、発散出射ビームを形成する)。略平行出射ビームは、光を外部結合し、眼410から長距離(例えば、光学無限遠)において深度平面上に設定されるように現れる画像を形成する光抽出光学要素を伴う、導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットは、眼410がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼410に近い距離からの光として脳によって解釈されるであろう、より多く発散する出射ビームパターンを出力してもよい。
図6は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される制御サブシステムとを含む、光学システムを示す、概略図である。光学システムは、導波管装置と、光を導波管装置にまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含むことができる。光学システムは、多焦点立体、画像、またはライトフィールドを生成するために使用されることができる。光学システムは、1つまたはそれを上回る一次平面導波管632a(1つのみのが図6に示される)と、一次導波管632aの少なくともいくつかのそれぞれと関連付けられた1つまたはそれを上回るDOE632bとを含むことができる。平面導波管632bは、図4を参照して議論される導波管432b、434b、436b、438b、440bに類似することができる。光学システムは、分散導波管装置を採用し、光を第1の軸(図6の図では、垂直またはY-軸)に沿って中継し、第1の軸(例えば、Y-軸)に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管622bと、分散平面導波管622bと関連付けられた少なくとも1つのDOE622a(二重破線によって図示される)とを含んでもよい。分散平面導波管622bは、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管632bと類似または同じであってもよい。同様に、少なくとも1つのDOE622aは、少なくともいくつかの点において、DOE632aと類似または同じであってもよい。例えば、分散平面導波管622bまたはDOE622aは、それぞれ、一次平面導波管632bまたはDOE632aと同一材料から成ってもよい。図6に示される光学ディスプレイシステム600の実施形態は、図2に示されるウェアラブルシステム200の中に統合されることができる。
中継され、射出瞳が拡張された光は、分散導波管装置から1つまたはそれを上回る一次平面導波管632bの中に光学的に結合され得る。一次平面導波管632bは、好ましくは、第1の軸に直交する、第2の軸(例えば、図6の図では、水平またはX-軸)に沿って、光を中継することができる。着目すべきこととして、第2の軸は、第1の軸に対して非直交軸であることができる。一次平面導波管632bは、その第2の軸(例えば、X-軸)に沿って、光の有効射出瞳を拡張させる。例えば、分散平面導波管622bは、光を垂直またはY-軸に沿って中継および拡張させ、光を水平またはX-軸に沿って中継および拡張させ得る、一次平面導波管632bにその光を通過させることができる。
光学システムは、単一モード光ファイバ640の近位端の中に光学的に結合され得る、1つまたはそれを上回る着色光源(例えば、赤色、緑色、および青色レーザ光)610を含んでもよい。光ファイバ640の遠位端は、圧電材料の中空管642を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー644として、管642から突出する。圧電管642は、4つの象限電極(図示せず)と関連付けられることができる。電極は、例えば、管642の外側、外側表面または外側周縁、または直径に鍍着されてもよい。コア電極(図示せず)もまた、管642のコア、中心、内側周縁、または内径に位置してもよい。
例えば、ワイヤ660を介して電気的に結合される、駆動電子機器650は、対向する対の電極を駆動し、圧電管642を独立して2つの軸において屈曲させる。光ファイバ644の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ644の直径、長さ、および材料性質に依存し得る。圧電管642をファイバカンチレバー644の第1の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー644は、振動させられ、大偏向を通して掃引し得る。
2つの軸において共鳴振動を刺激することによって、ファイバカンチレバー644の先端は、2次元(2-D)走査を充填する面積内において2軸方向に走査される。光源610の強度をファイバカンチレバー644の走査と同期して変調させることによって、ファイバカンチレバー644から発せられる光は、画像を形成する。そのような設定の説明は、米国特許公開第2014/0003762号(参照することによってその全体として本明細書に組み込まれる)に提供されている。
光学結合器サブシステムのコンポーネントは、走査ファイバカンチレバー644から発せられる光をコリメートすることができる。コリメートされた光は、鏡付き表面648によって、少なくとも1つの回折光学要素(DOE)622aを含有する、狭分散平面導波管622bの中に反射されることができる。コリメートされた光は、TIRによって分散平面導波管622bに沿って(図6の図に対して)垂直に伝搬し、そうすることによって、DOE622aと繰り返し交差する。DOE622aは、好ましくは、低回折効率を有する。これは、光の一部(例えば、10%)をDOE622aとの交差点の各点においてより大きい一次平面導波管632bの縁に向かって回折させ、光の一部をTIRを介して分散平面導波管622bの長さを辿ってそのオリジナル軌道上で継続させる。
DOE622aとの交差点の各点において、付加的光が、一次導波管632bの入口に向かって回折されることができる。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管622b内のDOE4によって垂直に拡張されることができる。分散平面導波管622bから外部結合された本垂直に拡張された光は、一次平面導波管632bの縁に進入することができる。
一次導波管632bに進入する光は、TIRを介して、一次導波管632bに沿って(図6の図に対して)水平に伝搬することができる。光は、複数の点においてDOE632aと交差するにつれて、TIRを介して、一次導波管632bの長さの少なくとも一部に沿って水平に伝搬する。DOE632aは、有利には、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。DOE632aは、有利には、ビームの光の一部のみが、DOE632aの各交差点において視認者の眼に向かって偏向される一方、光の残りが、TIRを介して、一次導波管632bを通して伝搬し続けるように、低回折効率(例えば、10%)を有し得る。
伝搬する光とDOE632aとの間の交差点の各点において、光の一部は、一次導波管632bの隣接面に向かって回折され、光がTIRから逃散し、一次導波管632bの面から発せられることを可能にする。いくつかの実施形態では、DOE632aの半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形(例えば、曲率を付与する)することと、ビームを設計される焦点レベルに合致する角度に操向することとの両方を行う。
それに応じて、これらの異なる経路は、異なる角度におけるDOE632aの多重度、焦点レベル、および/または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管632bの外部で結合させることができる。射出瞳における異なる充填パターンは、有利には、複数の深度平面を伴うライトフィールドディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット(例えば、3層)が、個別の色(例えば、赤色、青色、緑色)を生成するために採用されてもよい。したがって、例えば、第1の3つの隣接する層のセットが、赤色、青色および緑色光を第1の焦点深度において生成するために採用されてもよい。第2の3つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第2の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル3Dまたは4Dカラー画像ライトフィールドを生成するために採用されてもよい。
(ウェアラブルシステムの他のコンポーネント)
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、1つまたはそれを上回る触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ(例えば、仮想オブジェクト、仮想ツール、他の仮想構造)に触れると、圧力および/またはテクスチャの感覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ(例えば、ドラゴン)の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい(例えば、ユーザウェアラブルグローブ)。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、1つまたはそれを上回る触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ(例えば、仮想オブジェクト、仮想ツール、他の仮想構造)に触れると、圧力および/またはテクスチャの感覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ(例えば、ドラゴン)の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい(例えば、ユーザウェアラブルグローブ)。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする、1つまたはそれを上回る物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、例えば、金属またはプラスチック片、壁、テーブルの表面等、無生物オブジェクトの形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造(例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ)を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザに対してトーテムの1つまたはそれを上回る表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの1つまたはそれを上回る表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、いかなる物理的キーまたはトラックパッドまたはセンサを有していない。しかしながら、ウェアラブルシステムは、仮想キーボードまたは仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス466(図4に示される)は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカまたは仮想スイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムおよび/または他のユーザと相互作用してもよい。
本開示のウェアラブルデバイス、HMD、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第2015/0016777号(参照することによってその全体として本明細書に組み込まれる)に説明されている。
(例示的ウェアラブルシステム、環境、およびインターフェース)
ウェアラブルシステムは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されたFOV画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点(2D点または3D点等)のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第1のユーザの世界モデルは、第2のユーザが第1のユーザを囲繞する世界を体験し得るように、(例えば、クラウドネットワーク等のネットワークを経由して)第2のユーザに通信されることができる。
ウェアラブルシステムは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されたFOV画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点(2D点または3D点等)のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第1のユーザの世界モデルは、第2のユーザが第1のユーザを囲繞する世界を体験し得るように、(例えば、クラウドネットワーク等のネットワークを経由して)第2のユーザに通信されることができる。
図7は、MR環境700の実施例のブロック図である。MR環境700は、入力(例えば、ユーザのウェアラブルシステムからの視覚的入力702、室内カメラ等の定常入力704、種々のセンサからの感覚入力706、ユーザ入力デバイス504からのジェスチャ、トーテム、眼追跡、ユーザ入力等)を1人またはそれを上回るユーザウェアラブルシステム(例えば、ウェアラブルシステム200またはディスプレイシステム220)または定常室内システム(例えば、室内カメラ等)から受信するように構成されてもよい。ウェアラブルシステムは、種々のセンサ(例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、GPSセンサ、内向きに面したイメージングシステム、外向きに面したイメージングシステム等)を使用して、ユーザの環境の場所および種々の他の属性を判定することができる。本情報はさらに、異なる視点からの画像または種々のキューを提供し得る、部屋内の定常カメラからの情報で補完されてもよい。カメラ(室内カメラまたは外向きに面したイメージングシステムのカメラ等)によって取得された画像データは、マッピング点のセットに低減されてもよい。
1つまたはそれを上回るオブジェクト認識装置708が、受信されたデータ(例えば、点の集合)を通してクローリングし、点を認識またはマッピングし、画像をタグ付けし、マップデータベース710を用いて、意味論情報をオブジェクトに結び付けることができる。マップデータベース710は、経時的に収集された種々の点およびその対応するオブジェクトを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク(例えば、LAN、WAN等)を通して相互に接続され、クラウドにアクセスすることができる。
マップデータベース内の本情報および点の集合に基づいて、オブジェクト認識装置708a-708nは、オブジェクトを認識し、オブジェクトを意味論情報で補完し、命をオブジェクトに与えてもよい。例えば、オブジェクト認識装置が、点のセットがドアであることを認識する場合、システムは、いくつかの意味論情報を結び付けてもよい(例えば、ドアは、ヒンジを有し、ヒンジを中心として90度移動を有する)。オブジェクト認識装置が、点のセットが鏡であることを認識する場合、システムは、鏡が、部屋内のオブジェクトの画像を反射させ得る、反射表面を有するという意味論情報を結び付けてもよい。経時的に、マップデータベースは、システム(ローカルに常駐し得る、または無線ネットワークを通してアクセス可能であり得る)がより多くのデータを世界から蓄積するにつれて成長する。いったんオブジェクトが認識されると、情報は、1つまたはそれを上回るウェアラブルシステムに伝送されてもよい。例えば、MR環境700は、Californiaで生成している場面についての情報を含んでもよい。環境700は、New Yorkにおける1人またはそれを上回るユーザに伝送されてもよい。FOVカメラおよび他の入力から受信されたデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第2のユーザに正確に「パス」され得るように、種々の画像から収集された点をマッピングし、オブジェクトを認識すること等ができる。環境700はまた、場所特定目的のために、トポロジマップを使用してもよい。
図8は、認識されたオブジェクトに関連して仮想コンテンツをレンダリングする方法800の実施例のプロセスフロー図である。方法800は、仮想場面がウェアラブルシステムのユーザに表され得る方法を説明する。ユーザは、その場面から地理的に遠隔に存在してもよい。例えば、ユーザは、New Yorkに存在し得るが、Californiaで現在起こっている場面を視認することを所望し得る、またはCaliforniaに存在する友人と散歩に行くことを所望し得る。
ブロック810では、ARシステムは、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスおよびマップデータベース内にすでに保有されている知識を通して達成されてもよい。ユーザのFOVカメラ、センサ、GPS、眼追跡等が、ブロック810において、情報をシステムに伝達する。システムは、ブロック820において、本情報に基づいて、大まかな点を判定してもよい。大まかな点は、ユーザの周囲における種々のオブジェクトの配向および位置を表示および理解する際に使用され得る、姿勢データ(例えば、頭部姿勢、眼姿勢、身体姿勢、または手のジェスチャ)を判定する際に使用されてもよい。オブジェクト認識装置708a-708nは、ブロック830において、これらの収集された点を通してクローリングし、マップデータベースを使用して、1つまたはそれを上回るオブジェクトを認識してもよい。本情報は、次いで、ブロック840において、ユーザの個々のウェアラブルシステムに伝達されてもよく、所望の仮想場面が、ブロック850において、適宜、ユーザに表示されてもよい。例えば、所望の仮想場面(例えば、CAにおけるユーザ)が、New Yorkにおけるユーザの種々のオブジェクトおよび他の周囲に関連して、適切な配向、位置等において表示されてもよい。
図9は、ウェアラブルシステムの別の実施例のブロック図である。本実施例では、ウェアラブルシステム900は、世界に関するマップデータを含み得る、マップを備える。マップは、部分的に、ウェアラブルシステム上にローカルに常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所(例えば、クラウドシステム内)に常駐してもよい。姿勢プロセス910が、ウェアラブルコンピューティングアーキテクチャ(例えば、処理モジュール260またはコントローラ460)上で実行され、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を判定するために、マップからのデータを利用してもよい。姿勢データは、ユーザが、システムを体験し、その世界内で動作するにつれて、オンザフライで収集されたデータから算出されてもよい。データは、実または仮想環境内のオブジェクトに関する画像、センサ(概して、加速度計およびジャイロスコープコンポーネントを備える、慣性測定ユニット等)からのデータ、および表面情報を備えてもよい。
大まかな点表現は、同時場所特定およびマッピング(入力が画像/視覚のみである構成を指す、SLAMまたはV-SLAM)プロセスの出力であってもよい。システムは、世界内の種々のコンポーネントの場所だけではなく、世界が成っているものを見出すように構成されることができる。姿勢は、マップを埋めることおよびマップからのデータを使用することを含め、多くの目標を達成する、構築ブロックであってもよい。
一実施形態では、大まかな点位置は、それ自体では完全に適正であり得ず、さらなる情報が、多焦点AR、VR、またはMR体験を生成するために必要とされ得る。概して深度マップ情報を指す、稠密表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、立体視940と称されるプロセスから算出されてもよく、深度情報は、三角測量または飛行時間感知等の技法を使用して判定される。画像情報およびアクティブパターン(アクティブプロジェクタを使用して生成される赤外線パターン等)が、立体視プロセス940への入力としての役割を果たし得る。有意な量の深度マップ情報が、ともに融合されてもよく、このうちのいくつかは、表面表現を用いて要約されてもよい。例えば、数学的に定義可能な表面は、ゲームエンジンのような他の処理デバイスへの効率的(例えば、大規模点クラウドと比較して)かつ摘要可能な入力であってもよい。したがって、立体視プロセス(例えば、深度マップ)940の出力は、融合プロセス930において組み合わせられてもよい。姿勢は、同様に、本融合プロセス930への入力であってもよく、融合930の出力は、マッププロセス920を埋めるための入力となる。サブ表面が、トポグラフィマッピング等において相互に接続し、より大きい表面を形成してもよく、マップは、点および表面の大規模ハイブリッドとなる。
複合現実プロセス960における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図9に描写される実施形態では、ゲームパラメータは、システムのユーザが1匹またはそれを上回るモンスタと種々の場所においてモンスタバトルゲームをプレーしていること、モンスタが死んでいる、種々の条件下で逃げている(ユーザがモンスタを撃つ場合等)、種々の場所における壁または他のオブジェクト、および同等物を判定するための入力であってもよい。世界マップは、複合現実に対する別の有用な入力となる、そのようなオブジェクトが相互に対して存在する場所に関する情報を含んでもよい。世界に対する姿勢は、同様に、入力となり、ほぼあらゆる双方向システムに対して重要な役割を果たす。
ユーザからの制御または入力は、ウェアラブルシステム900への別の入力である。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、感覚入力等を含むことができる。動き回るまたはゲームをプレーするために、例えば、ユーザは、ウェアラブルシステム900に、何をしたいかに関して命令する必要があり得る。空間内で自ら移動するだけではなく、利用され得る種々の形態のユーザ制御が、存在する。一実施形態では、トーテム(例えば、ユーザ入力デバイス)、または玩具銃等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行っている相互作用の種類を理解するように構成されるであろう(例えば、トーテムまたはオブジェクトが、銃である場合、システムは、場所および配向だけではなく、ユーザが、そのようなアクティビティがカメラのいずれかの視野内にないときでも、何が起こっているかの判定を補助し得る、IMU等のセンサを装備し得る、トリガまたは他の感知ボタンまたは要素をクリックしているかどうかも理解するように構成されてもよい。)
手のジェスチャ追跡または認識もまた、入力情報を提供してもよい。ウェアラブルシステム900は、ボタン押下のため、左または右、停止、握持、保持等をジェスチャするために、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、1つの構成では、ユーザは、非ゲーム環境において電子メールまたはカレンダを通してフリップする、または別の人物または演奏者と「フィストバンプ」を行うことを所望し得る。ウェアラブルシステム900は、動的であり得る、またはそうではない場合がある、最小量の手のジェスチャを活用するように構成されてもよい。例えば、ジェスチャは、停止を示すために手を広げる、OKを示すために親指を上げる、OKではないことを示すために親指を下げる、または指向性コマンドを示すために左右または上下に手をフリップする等、単純な静的ジェスチャであってもよい。
眼追跡は、別の入力である(例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲においてレンダリングする)。一実施形態では、眼の輻輳・開散運動が、三角測量を使用して判定されてもよく、次いで、その特定の人物のために開発された輻輳・開散運動/遠近調節モデルを使用して、遠近調節が、判定されてもよい。
カメラシステムに関して、図9に示される例示的ウェアラブルシステム900は、3つの対のカメラ、すなわち、ユーザの顔の両側に配列される相対的広FOVまたは受動SLAM対のカメラと、ユーザの正面に配向され、立体視イメージングプロセス940をハンドリングし、また、ユーザの顔の正面の手のジェスチャおよびトーテム/オブジェクトの軌道を捕捉するための異なる対のカメラとを含むことができる。ステレオプロセス940に対するFOVカメラおよび対のカメラは、外向きに面したイメージングシステム464(図4に示される)の一部であってもよい。ウェアラブルシステム900は、眼ベクトルおよび他の情報を三角測量するために、ユーザの眼に向かって配向される眼追跡カメラ(図4に示される内向きに面したイメージングシステム462の一部であってもよい)を含むことができる。ウェアラブルシステム900はまた、1つまたはそれを上回るテクスチャ化光プロジェクタ(赤外線(IR)プロジェクタ等)を備え、テクスチャを場面の中に投入してもよい。
図10は、ウェアラブルシステムへのユーザ入力を判定するための方法1000の実施例のプロセスフロー図である。本実施例では、ユーザは、トーテムと相互作用してもよい。ユーザは、複数のトーテムを有してもよい。例えば、ユーザは、ソーシャルメディアアプリケーションのための指定される1つのトーテム、ゲームをプレーするための別のトーテム等を有してもよい。ブロック1010では、ウェアラブルシステムは、トーテムの運動を検出してもよい。トーテムの移動は、外向きに面したシステムを通して認識されてもよい、またはセンサ(例えば、触知グローブ、画像センサ、手トラックデバイス、眼追跡カメラ、頭部姿勢センサ等)を通して検出されてもよい。
少なくとも部分的に、検出されたジェスチャ、眼姿勢、頭部姿勢、またはトーテムを通した入力に基づいて、ウェアラブルシステムは、ブロック1020において、基準フレームに対するトーテム(またはユーザの眼または頭部またはジェスチャ)の位置、配向、および/または移動を検出する。基準フレームは、それに基づいてウェアラブルシステムがトーテム(またはユーザ)の移動をアクションまたはコマンドに変換する、マップ点のセットであってもよい。ブロック1030では、トーテムとのユーザの相互作用が、マッピングされる。基準フレーム1020に対するユーザ相互作用のマッピングに基づいて、システムは、ブロック1040において、ユーザ入力を判定する。
例えば、ユーザは、トーテムまたは物理的オブジェクトを前後に移動させ、仮想ページを捲り、次のページに移動する、または1つのユーザインターフェース(UI)ディスプレイ画面から別のUI画面に移動することを示してもよい。別の実施例として、ユーザは、ユーザのFOR内の異なる実または仮想オブジェクトを見るために、その頭部または眼を移動させてもよい。特定の実または仮想オブジェクトにおけるユーザの視線が、閾値時間より長い場合、その実または仮想オブジェクトは、ユーザ入力として選択されてもよい。いくつかの実装では、ユーザの眼の輻輳・開散運動が、追跡されることができ、遠近調節/輻輳・開散運動モデルが、ユーザが合焦している深度平面に関する情報を提供する、ユーザの眼の遠近調節状態を判定するために使用されることができる。いくつかの実装では、ウェアラブルシステムは、レイキャスティング技法を使用して、ユーザの頭部姿勢または眼姿勢の方向に沿っている実または仮想オブジェクトを判定することができる。種々の実装では、レイキャスティング技法は、実質的に殆ど横幅を伴わない細い光線束を投じる、または実質的横幅を伴う光線(例えば、円錐または円錐台)を投じることを含むことができる。
ユーザインターフェースは、本明細書に説明されるようなディスプレイシステム(図2におけるディスプレイ220等)によって投影されてもよい。それはまた、1つまたはそれを上回るプロジェクタ等の種々の他の技法を使用して表示されてもよい。プロジェクタは、画像をキャンバスまたは球体等の物理的オブジェクト上に投影してもよい。ユーザインターフェースとの相互作用は、システムの外部またはシステムの一部の1つまたはそれを上回るカメラを使用して(例えば、内向きに面したイメージングシステム462または外向きに面したイメージングシステム464を使用して)追跡されてもよい。
図11は、仮想ユーザインターフェースと相互作用するための方法1100の実施例のプロセスフロー図である。方法1100は、本明細書に説明されるウェアラブルシステムによって行われてもよい。
ブロック1110では、ウェアラブルシステムは、特定のUIを識別してもよい。UIのタイプは、ユーザによって与えられてもよい。ウェアラブルシステムは、特定のUIがユーザ入力(例えば、ジェスチャ、視覚的データ、オーディオデータ、感覚データ、直接コマンド等)に基づいてポピュレートされる必要があることを識別してもよい。ブロック1120では、ウェアラブルシステムは、仮想UIのためのデータを生成してもよい。例えば、UIの境界、一般的構造、形状等と関連付けられたデータが、生成されてもよい。加えて、ウェアラブルシステムは、ウェアラブルシステムがユーザの物理的場所に関連してUIを表示し得るように、ユーザの物理的場所のマップ座標を判定してもよい。例えば、UIが、身体中心である場合、ウェアラブルシステムは、リングUIがユーザの周囲に表示され得る、または平面UIが壁上またはユーザの正面に表示され得るように、ユーザの物理的立ち位置、頭部姿勢、または眼姿勢の座標を判定してもよい。UIが、手中心の場合、ユーザの手のマップ座標が、判定されてもよい。これらのマップ点は、FOVカメラ、感覚入力を通して受信されたデータ、または任意の他のタイプの収集されたデータを通して導出されてもよい。
ブロック1130では、ウェアラブルシステムは、データをクラウドからディスプレイに送信してもよい、またはデータは、ローカルデータベースからディスプレイコンポーネントに送信されてもよい。ブロック1140では、UIは、送信されたデータに基づいて、ユーザに表示される。例えば、ライトフィールドディスプレイは、仮想UIをユーザの眼の一方または両方の中に投影することができる。いったん仮想UIが生成されると、ウェアラブルシステムは、ブロック1150において、単に、ユーザからのコマンドを待機し、より多くの仮想コンテンツを仮想UI上に生成してもよい。例えば、UIは、ユーザの身体の周囲の身体中心リングであってもよい。ウェアラブルシステムは、次いで、コマンド(ジェスチャ、頭部または眼移動、ユーザ入力デバイスからの入力等)を待機してもよく、認識される場合(ブロック1160)、コマンドと関連付けられた仮想コンテンツが、ユーザに表示されてもよい(ブロック1170)。実施例として、ウェアラブルシステムは、複数のステムトラックをミックスする前に、ユーザの手のジェスチャを待機してもよい。
ARシステム、UI、およびユーザ体験(UX)の付加的実施例は、米国特許公開第2015/0016777号(参照することによってその全体として本明細書に組み込まれる)に説明されている。
(動眼視野(FOR)および視野(FOV)内の例示的オブジェクト)
図12は、視野(FOV)内の仮想オブジェクトおよび動眼視野(FOR)内の仮想オブジェクトの実施例を図式的に図示する。図4を参照して議論されるように、FORは、ウェアラブルシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を備える。図12では、FOR1200は、ウェアラブルシステムを介して、ユーザによって知覚され得る、オブジェクトのグループ(例えば、1210、1220、1230、1242、および1244)を含有することができる。ユーザのFOR1200内のオブジェクトは、仮想および/または物理的オブジェクトであってもよい。例えば、ユーザのFOR1200は、椅子、ソファ、壁等の物理的オブジェクトを含んでもよい。仮想オブジェクトは、例えば、削除されたファイルのためのゴミ箱、コマンドを入力するための端末、ファイルまたはディレクトリにアクセスするためのファイルマネージャ、アイコン、メニュー、オーディオまたはビデオストリーミングのためのアプリケーション、オペレーティングシステムからの通知等のオペレーティングシステムオブジェクトを含んでもよい。仮想オブジェクトはまた、例えば、アバタ、ゲーム内の仮想オブジェクト、グラフィックまたは画像等、アプリケーション内のオブジェクトを含んでもよい。いくつかの仮想オブジェクトは、オペレーティングシステムオブジェクトおよびアプリケーション内のオブジェクトの両方であることができる。いくつかの実施形態では、ウェアラブルシステムは、仮想要素を既存の物理的オブジェクトに追加することができる。例えば、ウェアラブルシステムは、部屋内のテレビと関連付けられた仮想メニューを追加してもよく、仮想メニューは、ユーザに、ウェアラブルシステムを使用して、テレビをオンにする、またはチャンネルを変更するためのオプションを与えてもよい。
図12は、視野(FOV)内の仮想オブジェクトおよび動眼視野(FOR)内の仮想オブジェクトの実施例を図式的に図示する。図4を参照して議論されるように、FORは、ウェアラブルシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を備える。図12では、FOR1200は、ウェアラブルシステムを介して、ユーザによって知覚され得る、オブジェクトのグループ(例えば、1210、1220、1230、1242、および1244)を含有することができる。ユーザのFOR1200内のオブジェクトは、仮想および/または物理的オブジェクトであってもよい。例えば、ユーザのFOR1200は、椅子、ソファ、壁等の物理的オブジェクトを含んでもよい。仮想オブジェクトは、例えば、削除されたファイルのためのゴミ箱、コマンドを入力するための端末、ファイルまたはディレクトリにアクセスするためのファイルマネージャ、アイコン、メニュー、オーディオまたはビデオストリーミングのためのアプリケーション、オペレーティングシステムからの通知等のオペレーティングシステムオブジェクトを含んでもよい。仮想オブジェクトはまた、例えば、アバタ、ゲーム内の仮想オブジェクト、グラフィックまたは画像等、アプリケーション内のオブジェクトを含んでもよい。いくつかの仮想オブジェクトは、オペレーティングシステムオブジェクトおよびアプリケーション内のオブジェクトの両方であることができる。いくつかの実施形態では、ウェアラブルシステムは、仮想要素を既存の物理的オブジェクトに追加することができる。例えば、ウェアラブルシステムは、部屋内のテレビと関連付けられた仮想メニューを追加してもよく、仮想メニューは、ユーザに、ウェアラブルシステムを使用して、テレビをオンにする、またはチャンネルを変更するためのオプションを与えてもよい。
仮想オブジェクトは、3次元(3D)、2次元(2D)、または1次元(1D)オブジェクトであってもよい。例えば、図16に図式的に図示されるように、仮想オブジェクトは、3Dコーヒーマグカップ1636(物理的コーヒーメーカーのための仮想制御を表してもよい)であってもよい。仮想オブジェクトはまた、掛け時計1634(ユーザの現在の時間を表示する)の2Dグラフィカル表現であってもよい。いくつかの実装では、1つまたはそれを上回る仮想オブジェクトは、別の仮想オブジェクト内に表示されてもよい(またはそれと関連付けられる)。例えば、図13を参照すると、仮想コーヒーマグカップ1636は、ユーザインターフェース平面1514の内側に示されるが、仮想コーヒーマグカップは、本2D平面仮想空間内に3Dであるように現れる。
ユーザのFOR内のオブジェクトは、図9を参照して説明されるような世界マップの一部であることができる。オブジェクトと関連付けられたデータ(例えば、場所、意味情報、性質等)が、例えば、アレイ、リスト、ツリー、ハッシュ、グラフ等の種々のデータ構造内に記憶されることができる。各記憶されたオブジェクトのインデックスは、適用可能である場合、例えば、オブジェクトの場所によって判定されてもよい。例えば、データ構造は、基準位置からのオブジェクトの距離等の単一座標によって、オブジェクトをインデックス化してもよい(例えば、基準位置の左または右までの距離、基準位置の上部または底部からの距離、または基準位置からの深度)。基準位置は、ユーザの位置(ユーザの頭部の位置等)に基づいて判定されてもよい。基準位置はまた、ユーザの環境内の仮想または物理的オブジェクト(標的相互作用可能オブジェクト等)の位置に基づいて判定されてもよい。このように、ユーザの環境内の3D空間は、2Dユーザインターフェースの中に畳み込まれてもよく、仮想オブジェクトは、基準位置からのオブジェクトの距離に従って配列される。
FOR1200内では、ユーザが所与の時間に知覚する世界の部分は、FOV1250と称される(例えば、FOV1250は、ユーザが現在見ているFORの部分を包含してもよい)。図12では、FOV1250は、破線1252によって図式的に図示される。ウェアラブルシステムのユーザは、オブジェクト1242、オブジェクト1244、およびオブジェクト1230の一部等、FOV1250内の複数のオブジェクトを知覚することができる。FOVは、ウェアラブルデバイスのディスプレイのサイズまたは光学特性に依存することができる。例えば、ARディスプレイは、ユーザがディスプレイの特定の部分を通して見るとき、AR機能性のみを提供する、光学を含んでもよい。FOV1250は、例えば、スタックされた導波管アセンブリ480(図4)または平面導波管600(図6)等、ARディスプレイを通して見ているとき、ユーザによって知覚可能な立体角に対応してもよい。
ユーザの姿勢(例えば、頭部姿勢または眼姿勢)が変化するにつれて、FOV1250も、対応して、変化し、FOV1250内のオブジェクトもまた、変化し得る。例えば、マップ1210は、最初に、図12では、ユーザのFOVの外側にある。ユーザが、マップ1210に向かって見る場合、マップ1210は、ユーザのFOV1250の中に移動してもよく、(例えば)オブジェクト1230は、ユーザのFOV1250の外側に移動してもよい。本明細書に説明されるであろうように、ウェアラブルシステムは、FOR1200内のオブジェクトおよびFOV1250内のオブジェクトを追跡してもよい。
(相互作用可能オブジェクトの実施例)
図12では、ユーザは、ユーザのFOR1200内のオブジェクトのサブセットと相互作用することができる。本オブジェクトのサブセットは、時として、相互作用可能オブジェクトと称され得る。いくつかの実装では、相互作用可能オブジェクトは、ユーザの環境内の全てのオブジェクト(仮想および物理的)を包含してもよい一方、他の実装では、相互作用可能オブジェクトは、ユーザの環境内のオブジェクトの一部のみを含んでもよい。
図12では、ユーザは、ユーザのFOR1200内のオブジェクトのサブセットと相互作用することができる。本オブジェクトのサブセットは、時として、相互作用可能オブジェクトと称され得る。いくつかの実装では、相互作用可能オブジェクトは、ユーザの環境内の全てのオブジェクト(仮想および物理的)を包含してもよい一方、他の実装では、相互作用可能オブジェクトは、ユーザの環境内のオブジェクトの一部のみを含んでもよい。
ウェアラブルシステムは、ユーザのFOV1250内にある、相互作用可能オブジェクトのサブグループ(例えば、1242、1244、および1230)を識別することができる。FOV内の相互作用可能オブジェクトのサブグループは、ユーザが現在それらを知覚しており、それらを選択する(例えば、それらを移動させる、それらをアクティブ化する、それらについての情報を得る等)ことができるため、時として、選択可能オブジェクトとも称される。本明細書に議論されるように、ユーザがその身体、頭部、または眼を移動させると、ユーザのFOVは、変化することができる。一般に、いくつかのオブジェクトは、FOV内に留まり、いくつかのオブジェクトは、FOVの内側から外側に移動し(もはや選択可能ではない)、FOVの外側にあった他のオブジェクトは、FOVの中に移動する(選択可能なる)であろう。それに応じて、ウェアラブルシステムは、ユーザの身体、頭部、または眼姿勢に基づいて、FOV内の相互作用可能オブジェクトのサブグループを更新することができる。
ウェアラブルシステムは、ユーザのFOV内の標的相互作用可能オブジェクトを識別してもよい。標的相互作用可能オブジェクトは、ユーザが相互作用することを所望するオブジェクトまたはウェアラブルシステムがユーザが相互作用するであろうことを予期するオブジェクト(例えば、ユーザが見ている相互作用可能オブジェクトまたはユーザのFOVの中心の最近傍の相互作用可能オブジェクト)であってもよい。標的相互作用可能オブジェクトは、オブジェクトの場所、ユーザの選好、またはユーザの姿勢等、種々のルールを使用して識別されることができる。例えば、ウェアラブルシステムは、FOVの中心に最も近いオブジェクトを標的相互作用可能オブジェクトであると選定することができる。ウェアラブルシステムはまた、ユーザのFOV内の最左オブジェクトまたは最右オブジェクトを標的相互作用可能オブジェクトであると選定することができる。別の実施例として、ウェアラブルシステムは、単独で、またはIMUと組み合わせて、内向きに面したイメージングシステム462(図4に示される)を使用して、ユーザの視線の方向を判定することができる。ウェアラブルシステムは、ユーザの視線の方向と衝突するオブジェクトを標的相互作用可能オブジェクトとして識別することができる。
いくつかの実装では、ARシステムは、相互作用可能オブジェクトの法線がユーザに面するように、標的相互作用可能オブジェクトを自動的に配向することができる。例えば、仮想TV画面は、最初に、部屋の天井に向かって上向きに面してもよい。いったんARシステムが、ユーザが仮想TV画面に向かって見ていることを判定すると、ARシステムは、仮想TV画面がユーザに面するように、仮想TV画面を自動的に回転させることができる。
(焦点インジケータの実施例)
ウェアラブルシステムは、ユーザが標的相互作用可能オブジェクトをより容易に知覚することができるように、焦点インジケータを標的相互作用可能オブジェクトに割り当ててもよい。焦点インジケータは、ユーザに表示されることができる。例えば、焦点インジケータは、後光、色、知覚されるサイズまたは深度の変化(例えば、選択されたときに標的オブジェクトをより近くにおよび/またはより大きく現せさせる)、またはユーザの注意を引き出す他の視覚的効果を備えることができる。焦点インジケータはまた、振動、リングトーン、ビープ等の可聴または触知効果を含むことができる。
ウェアラブルシステムは、ユーザが標的相互作用可能オブジェクトをより容易に知覚することができるように、焦点インジケータを標的相互作用可能オブジェクトに割り当ててもよい。焦点インジケータは、ユーザに表示されることができる。例えば、焦点インジケータは、後光、色、知覚されるサイズまたは深度の変化(例えば、選択されたときに標的オブジェクトをより近くにおよび/またはより大きく現せさせる)、またはユーザの注意を引き出す他の視覚的効果を備えることができる。焦点インジケータはまた、振動、リングトーン、ビープ等の可聴または触知効果を含むことができる。
いくつかの実施形態では、ウェアラブルシステムは、最初に、本明細書に説明されるルールに基づいて、オブジェクトを標的相互作用可能オブジェクトとして識別し、ユーザの姿勢における変化に基づいて、標的相互作用可能オブジェクトを別のオブジェクトに変更してもよい。その結果、焦点インジケータは、ユーザがその姿勢を変化させるにつれて、1つのオブジェクトから他のオブジェクトに移動してもよい。
ウェアラブルシステムはまた、ユーザの現在の位置に対応する、カーソルを表示してもよい。カーソルは、幾何学的円錐、光線のビーム、十字線、矢印、卵形、円形、多角形、または他の1D、2D、または3D形状等の種々の形状をとってもよい。カーソルは、焦点インジケータと同一形態で提示されてもよい。例えば、カーソルは、焦点インジケータと同一の視覚的効果、オーディオ効果、または触知効果を有してもよい。実施例として、カーソルは、ユーザの頭部位置に対応する、十字線であってもよい。別の実施例として、カーソルは、ユーザ入力デバイスと関連付けられた現在の位置に対応する、矢印の形状を有してもよい。ユーザがその姿勢を変化させる、またはユーザ入力デバイスを作動させるにつれて、カーソルは、それに応じて移動することができる。カーソルは、ユーザが移動するにつれて、1つまたはそれを上回るオブジェクトまたはユーザの環境内の空空間を指示してもよい。例えば、図16を参照すると、ARシステムは、位置1620から位置1624または位置1622から位置1620等、仮想ユーザインターフェース1514上のカーソルを移動させることができる。
ウェアラブルシステムは、焦点インジケータに加え、またはその代替として、カーソルを提示することができる。例えば、図15では、ウェアラブルシステムは、十字線(ユーザの視線の方向に対応することができる)を表示するか、または薄青色後光を焦点インジケータとして提供するかのいずれか、または両方を仮想オブジェクト1514上で行うことができる。いくつかの実装では、カーソルは、焦点インジケータの実施形態である。例えば、ユーザが仮想オブジェクトを見つめているとき、ウェアラブルシステムは、仮想オブジェクトの周囲の後光、十字線オブジェクト、またはオブジェクト上の矢印を提示してもよい。これらの視覚的インジケーションは、ユーザが相互作用することに関心がある標的オブジェクトおよびユーザの現在の位置の両方を表してもよい。
(相互作用可能オブジェクトとの例示的相互作用)
ユーザは、ウェアラブルシステムを通して、ユーザのFOR1200内の相互作用可能オブジェクト、特に、ユーザの現在のFOV1250内の相互作用可能オブジェクトと相互作用することができる。例えば、仮想オブジェクト1230は、経時的に株価の変化を示す、グラフであってもよい。仮想オブジェクト1230を選択することによって、ユーザは、仮想オブジェクト1230と相互作用し、例えば、株価情報を得る、株を購入または販売する、企業についての情報を得る等を行ってもよい。これらの相互作用を行うために、ウェアラブルシステムは、ユーザが種々のアクション(例えば、株価情報を得る)を行うことを可能にすることができる、仮想オブジェクトと関連付けられたメニュー、ツールバー等を表示してもよい。
ユーザは、ウェアラブルシステムを通して、ユーザのFOR1200内の相互作用可能オブジェクト、特に、ユーザの現在のFOV1250内の相互作用可能オブジェクトと相互作用することができる。例えば、仮想オブジェクト1230は、経時的に株価の変化を示す、グラフであってもよい。仮想オブジェクト1230を選択することによって、ユーザは、仮想オブジェクト1230と相互作用し、例えば、株価情報を得る、株を購入または販売する、企業についての情報を得る等を行ってもよい。これらの相互作用を行うために、ウェアラブルシステムは、ユーザが種々のアクション(例えば、株価情報を得る)を行うことを可能にすることができる、仮想オブジェクトと関連付けられたメニュー、ツールバー等を表示してもよい。
ユーザは、例えば、オブジェクトを選択する、オブジェクトを移動させる、オブジェクトと関連付けられたメニューまたはツールバーを開く、または新しい選択可能オブジェクトのセットを選定する等によって、種々の技法を使用してそのFOV内のオブジェクトと相互作用することができる。ユーザは手のジェスチャを使用して、オブジェクトと相互作用し、例えば、マウスをクリックする、タッチパッド上でタップする、タッチスクリーン上でスワイプする、容量ボタン上にかざす、または触れる、キーボードまたはゲームコントローラ上(例えば、5方向Dパッド)のキーを押下する、ジョイスティック、ワンド、またはトーテムをオブジェクトに向かって指示する、リモコン上のボタンを押下する、またはユーザ入力デバイスとの他の相互作用等によって、ユーザ入力デバイス(例えば、図4におけるユーザ入力デバイス466参照)を作動させてもよい。ユーザはまた、例えば、ある時間周期にわたってオブジェクトを注視する、または腕を用いて指示する、足をタップする、閾値時間間隔の間、ある回数にわたって眼を瞬きさせる等、頭部、眼、手、足、または他の身体姿勢を使用して、相互作用可能オブジェクトと相互作用してもよい。ユーザ入力デバイス上での手のこれらのジェスチャおよびユーザの姿勢は、ARシステムに、例えば、ユーザインターフェース動作が行われる(標的相互作用可能オブジェクトと関連付けられたメニューが表示される、ゲーム内のアバタ上でゲーム動作が行われる等)、選択イベントを開始させることができる。
選択イベントの開始に応じて、ARシステムは、本明細書に説明されるルールを使用して、焦点インジケータをユーザのFOV内の標的相互作用可能オブジェクトに割り当てることができる。例えば、図12では、ARシステムは、FOVの中央点に最も近いため、焦点インジケータをオブジェクト1244に割り当ててもよい。
選択イベントの間、ユーザは、本明細書に説明される種々の手のジェスチャを使用して、標的相互作用可能オブジェクトを変更することができる。例えば、図12では、ユーザは、タッチスクリーン上で左向きにスワイプさせることができ、これは、ARシステムに、標的相互作用可能オブジェクトをオブジェクト1244からオブジェクト1230に変更させることができる。ARシステムはまた、それに応じて、可視焦点インジケータをオブジェクト1244からオブジェクト1230に移行することができる。
いくつかの実装では、手のジェスチャは、ARシステムに、ユーザのFOV内の選択可能オブジェクトのリストを更新させてもよい。例えば、図12では、ユーザが、右向きにスワイプすると、ARシステムは、オブジェクト1210をユーザのFOVの中に移動させ、オブジェクト1230をユーザのFOVから移動させることができる。ARシステムはまた、選択可能オブジェクトの新しいグループに基づいて、標的相互作用可能オブジェクトを更新してもよい。例えば、オブジェクト1210がFOVの中に移動された後、システムは、標的相互作用可能オブジェクトをオブジェクト1244からオブジェクト1242に変更してもよい。
ユーザは、本明細書で議論される手のジェスチャまたは姿勢を使用して、標的相互作用可能オブジェクトの選択を確認することができる。標的相互作用可能オブジェクトの選択を確認するユーザのアクションは、選択イベントを開始するために使用されたものと同一または異なるアクションであってもよい。ARシステムは、ユーザが選択を確認するとき、例えば、焦点インジケータの色、明るさ、または形状を変更することによって、焦点インジケータを変化させてもよい。
ユーザは、標的相互作用可能オブジェクト上で一連のユーザインターフェース動作の選択を行うことができる。これらの動作は、時として、相互作用イベントと称され得る。相互作用イベントは、例えば、相互作用可能オブジェクトのサイズ調整、相互作用可能オブジェクトのメニューの表示、メニューのブラウジング、メニュー上でのアイテムの選択、アイテムの検索、ゲームのプレー、ビデオの鑑賞、電話会議の実施、標的相互作用可能オブジェクトのプレビュー等を備えることができる。相互作用イベントは、選択イベントと並行して、または連続して、生じてもよい。いくつかの実装では、相互作用イベントは、選択イベントの一部であってもよい。
いくつかの実施形態では、いったん選択イベントが開始されると、ウェアラブルシステムは、ユーザのFOVが選択イベントが開始された後も変化する場合でも、ウェアラブルシステムがユーザのFOV内の選択可能オブジェクトのグループの更新を停止するであろうように、ユーザのFOVを「ロック」してもよい。いくつかの実装では、ユーザは、依然として、ユーザ入力デバイスの作動または姿勢の変化を通して、焦点インジケータをユーザのFOV内の選択可能オブジェクト間で移行させることができる。
選択イベントは、ユーザ入力またはウェアラブルシステムとの他の相互作用によって終了されることができる。例えば、選択イベントは、標的相互作用可能オブジェクトの選択を確認する、相互作用イベントを開始する、ユーザ入力デバイスを作動させ、選択イベントを終了する、選択イベントを終了する効果を有する、頭部または身体姿勢における変化を判定する等によって、終了されることができる。
(手のジェスチャを使用した3D空間内の仮想オブジェクトの選択の実施例)
ユーザは、ユーザ入力デバイスを作動させることによって、相互作用可能オブジェクトを標的化および選択してもよい。図13Aは、ユーザ入力デバイス1300のタッチスクリーン1310上のタッチジェスチャを用いた相互作用可能オブジェクトの選択の実施例である。ユーザ入力デバイスは、図4に示されるユーザ入力デバイス466の実施形態であってもよい。タッチジェスチャは、ウェアラブルシステムをトリガし、焦点インジケータをユーザのFOV内の標的相互作用可能オブジェクトに割り当てることができる。タッチジェスチャもまた、単独で、または組み合わせて、ウェアラブルシステムに、選択イベントを開始させる、相互作用イベントを開始させる、選択イベントを終了させる、相互作用イベントを終了させる、標的相互作用可能オブジェクトの選択を確認させる等を行わせることができる。
ユーザは、ユーザ入力デバイスを作動させることによって、相互作用可能オブジェクトを標的化および選択してもよい。図13Aは、ユーザ入力デバイス1300のタッチスクリーン1310上のタッチジェスチャを用いた相互作用可能オブジェクトの選択の実施例である。ユーザ入力デバイスは、図4に示されるユーザ入力デバイス466の実施形態であってもよい。タッチジェスチャは、ウェアラブルシステムをトリガし、焦点インジケータをユーザのFOV内の標的相互作用可能オブジェクトに割り当てることができる。タッチジェスチャもまた、単独で、または組み合わせて、ウェアラブルシステムに、選択イベントを開始させる、相互作用イベントを開始させる、選択イベントを終了させる、相互作用イベントを終了させる、標的相互作用可能オブジェクトの選択を確認させる等を行わせることができる。
図13Bは、ユーザ入力デバイス上での手のジェスチャを用いた選択可能オブジェクトのフィルタ処理の実施例である。ユーザは、ユーザ入力デバイス1300上の経路に沿ってスワイプしてもよい。例えば、図13Bにおける矢印1314によって示されるように、ユーザは、タッチスクリーン1310上の右に向かって経路に沿ってスワイプしてもよい。任意のタイプの経路が、使用されることができる(例えば、入力デバイスに対して水平、垂直、対角線、または他の軌道)、または任意のタイプの方向が、使用されることができる(例えば、左または右、上または下等)。
スワイプジェスチャは、ウェアラブルシステムに、可視焦点インジケータを1つのオブジェクトから他のオブジェクトに移動させることができる。図12に示される実施例を参照すると、ユーザが、右向きにスワイプすると(図13Bにおける実施例に示されるように)、ARシステムは、焦点インジケータをオブジェクト1244からオブジェクト1242に移行することができる。いくつかの実施形態では、スワイプジェスチャは、ARシステムに、ユーザのFOV内の選択可能オブジェクトのリストを更新させることができる。例えば、ユーザが右向きスワイプすると、ARシステムは、オブジェクト1210をユーザのFOVの中に移動させ、オブジェクト1230をユーザのFOVから移動させることができる。可視焦点インジケータを受信するオブジェクトはまた、それに応じて更新されることができる(例えば、オブジェクト1244から1242に)。
スワイプジェスチャは、タッチジェスチャ(図13Aを参照して説明される)および頭部姿勢(図14を参照して説明される)と組み合わせて使用され、FORまたはFOV内の3D仮想オブジェクトをフィルタ処理および選択してもよい。本明細書に議論されるように、ユーザはまた、他のジェスチャまたは移動を使用して、選択可能オブジェクトのセットを変更し、標的相互作用可能オブジェクトを変更してもよい。
(頭部姿勢を使用した3D空間内の仮想オブジェクトの選択の実施例)
図14は、頭部姿勢のための座標系の実施例である。頭部1410は、複数の自由度を有してもよい。頭部1410が異なる方向に向かって移動するにつれて、頭部姿勢は、自然静止方向1420に対して変化するであろう。図14における座標系は、頭部の自然静止状態1420に対して頭部姿勢を測定するために使用され得る、3つの角度自由度(例えば、ヨー、ピッチ、およびロール)を示す。図14に図示されるように、頭部1410は、順方向および逆方向に傾斜する(例えば、ピッチ)、左および右に旋回させる(例えば、ヨー)、横方向に傾斜させる(例えば、ロール)ことができる。他の実装では、頭部姿勢を測定するための他の技法または角度表現も、使用されることができ、例えば、任意の他のタイプのオイラー角系である。
図14は、頭部姿勢のための座標系の実施例である。頭部1410は、複数の自由度を有してもよい。頭部1410が異なる方向に向かって移動するにつれて、頭部姿勢は、自然静止方向1420に対して変化するであろう。図14における座標系は、頭部の自然静止状態1420に対して頭部姿勢を測定するために使用され得る、3つの角度自由度(例えば、ヨー、ピッチ、およびロール)を示す。図14に図示されるように、頭部1410は、順方向および逆方向に傾斜する(例えば、ピッチ)、左および右に旋回させる(例えば、ヨー)、横方向に傾斜させる(例えば、ロール)ことができる。他の実装では、頭部姿勢を測定するための他の技法または角度表現も、使用されることができ、例えば、任意の他のタイプのオイラー角系である。
ウェアラブルシステムは、本明細書に説明される(図2、4、および7等を参照して)種々のセンサを使用して、ユーザの頭部姿勢を判定することができる。例えば、ウェアラブルシステムは、IMUまたは内向きに面したイメージングシステムを使用して、ユーザの頭部姿勢または眼姿勢を計算することができる。ウェアラブルシステムは、これらのセンサによって取得されたデータを使用して、標的相互作用可能オブジェクトを識別することができる。例えば、標的相互作用可能オブジェクトは、ユーザの視線の方向と衝突する、オブジェクトであってもよい。ウェアラブルシステムは、標的相互作用可能オブジェクトを識別し、ある方向に向かって延在される視線に基づいて、可視焦点インジケータを標的相互作用可能オブジェクトに割り当てることができる(例えば、焦点インジケータは、ユーザが閾値時間より長くオブジェクトを見ている場合、標的オブジェクトに割り当てられる)。
ウェアラブルシステムは、例えば、選択イベントの間のロール、ヨー、またはピッチ等、頭部姿勢における変化に基づいて、標的相互作用可能オブジェクトとなるオブジェクトを判定および更新することができる。例えば、図12を参照すると、ユーザが、その頭部1410を左向きに旋回させると、標的相互作用可能オブジェクトは、オブジェクト1244からオブジェクト1230等のその近隣オブジェクトに更新されてもよい。いくつかの実装では、ウェアラブルシステムは、焦点インジケータをオブジェクト1244からオブジェクト1230に移行して、本更新を反映することができる。
ウェアラブルシステムはまた、頭部姿勢における変化に基づいて、ユーザのFOV内の選択可能オブジェクトのリストを更新することができる。例えば、ユーザは、頭部1410を右向きに旋回させてもよく、これは、ウェアラブルシステムに、オブジェクト1230をユーザのFOVから移動させ、オブジェクト1210をユーザのFOV1250の中に移動させることができる。標的相互作用可能オブジェクトはまた、本明細書に説明されるルールを使用して、それに応じて更新されることができる。
ユーザは、頭部姿勢または眼姿勢の種々の変化を使用して、複数の平面間で切り替えてもよい。ユーザはまた、頭部姿勢または眼姿勢の変動を使用して、選択イベントを開始する、標的相互作用可能オブジェクトの選択を確認する、相互作用イベントを開始する、相互作用イベントの間、標的相互作用可能オブジェクトと相互作用する、選択イベントを終了する、またはユーザインターフェースと他の相互作用を行ってもよい。
いくつかの実装では、ウェアラブルシステムは、ユーザがその深度平面においてのみ仮想オブジェクトと相互作用し得るように、ある深度平面をユーザの頭部移動に関連付けることができる。例えば、ウェアラブルシステムは、ユーザの頭部位置に対応するカーソル(例えば、十字線)をある深度平面に設定することができる。その結果、ユーザが、その頭部を移動させるにつれて、カーソルは、設定された深度平面内で移行され、ユーザは、他の仮想オブジェクトが異なる深度平面に存在する場合でも、設定された深度平面におけるオブジェクト間で選択することができる。いくつかの実装では、深度平面は、仮想ユーザインターフェースを伴ってもよい。ウェアラブルシステムは、ユーザが標的ユーザインターフェース平面内の仮想オブジェクトと相互作用し得るように、十字線を標的仮想ユーザインターフェースの深度平面に設定することができる。
(頭部姿勢とユーザ入力デバイス上での手のジェスチャの組み合わせを用いた例示的相互作用)
ユーザはまた、ユーザの姿勢とユーザの手のジェスチャの組み合わせを使用して、仮想オブジェクトを選択することができる。実施例として、ユーザは、ユーザのFOV内の仮想オブジェクトのグループを知覚することができる。本仮想オブジェクトのグループは、本明細書に説明される選択可能オブジェクトの実施形態であってもよい。仮想オブジェクトのグループは、図2、4-6を参照して説明されるライトフィールドディスプレイを使用して提示されてもよい。ライトフィールドディスプレイは、いくつかの仮想オブジェクトが別の仮想オブジェクトの正面に現れ得るように、異なる深度平面における仮想オブジェクトをユーザに投影することができる。
ユーザはまた、ユーザの姿勢とユーザの手のジェスチャの組み合わせを使用して、仮想オブジェクトを選択することができる。実施例として、ユーザは、ユーザのFOV内の仮想オブジェクトのグループを知覚することができる。本仮想オブジェクトのグループは、本明細書に説明される選択可能オブジェクトの実施形態であってもよい。仮想オブジェクトのグループは、図2、4-6を参照して説明されるライトフィールドディスプレイを使用して提示されてもよい。ライトフィールドディスプレイは、いくつかの仮想オブジェクトが別の仮想オブジェクトの正面に現れ得るように、異なる深度平面における仮想オブジェクトをユーザに投影することができる。
ウェアラブルシステムは、現在ユーザのFOV内にある、仮想オブジェクトのアレイを維持することができる。ウェアラブルシステムは、ユーザの環境内の仮想オブジェクトの位置を仮想オブジェクトのためのアレイインデックスとして使用してもよい。例えば、ウェアラブルシステムは、x-y-z座標(例えば図6に示される、x-y-z座標)内の仮想オブジェクトのy-値をオブジェクトのためのアレイインデックスとして使用することができる。他の実施形態では、ウェアラブルシステムは、単独で、またはy-値と組み合わせて、x-値またはz-値を使用して、仮想オブジェクトのアレイインデックスを判定することができる。
ユーザが、その頭部またはその視線の方向を移動させるにつれて、ユーザのFOV内に現れる仮想オブジェクトのグループは、変化してもよい。ウェアラブルシステムはまた、それに応じて、アレイを更新することができる。いくつかの実装では、ウェアラブルシステムは、ユーザが選択イベントを開始すると、アレイを使用して、仮想オブジェクトをユーザのFOR内に維持し、FOV内の仮想オブジェクトのグループを識別することができる。
ユーザは、ユーザ入力デバイスを作動させることによって、選択イベントをユーザのFOV内の仮想オブジェクト上で開始することができる。選択イベントの開始に応じて、ウェアラブルシステムは、ユーザのFOV内の仮想オブジェクトの全て(または一部)を含む、ユーザインターフェースを提示することができる。いくつかの実装では、ウェアラブルシステムは、仮想ユーザインターフェースメニュー等の「隠れ仮想オブジェクト」または仮想オブジェクトについてのある情報等を表示することができる。「隠れ仮想オブジェクト」は、選択イベントの開始に応じて知覚可能になってもよいが、選択イベンの開始に先立って、またはその後、隠されている。
いくつかの実施形態では、選択イベントの開始に応じて、ウェアラブルシステムは、ユーザのFOV内の仮想オブジェクトの位置を変化させてもよい。例えば、ウェアラブルシステムは、全ての仮想オブジェクトが実質的に同一深度平面に現れるように、遠隔オブジェクトをユーザにより近づける、または近傍オブジェクトをユーザから離れるように移動させることができる。いくつかの実装では、ウェアラブルシステムは、仮想オブジェクトがユーザのFOVのサイズに適合し得るように、仮想オブジェクトのサイズを変化(増加または減少)させることができる。加えて、または代替として、ウェアラブルシステムは、仮想オブジェクトの一部(仮想電子メールアプリケーションのコンテンツの代わりに、アイコンを示す等)をユーザに示すことができる。
ウェアラブルシステムはまた、選択イベントの開始に応じて、ユーザのFOV内の仮想オブジェクトを複数の深度平面の中にまとめることができる。各深度平面は、仮想ユーザインターフェースと関連付けられてもよい。
ウェアラブルシステムは、仮想オブジェクトのアレイインデックスを使用して、仮想オブジェクトを1つまたはそれを上回るユーザインターフェース上に配列することができる。例えば、ウェアラブルシステムは、そのy-軸値がある範囲内にある仮想オブジェクトを同一ユーザインターフェース上にまとめて提示することができる。加えて、または代替として、ウェアラブルシステムは、ユーザの姿勢に基づいて、仮想オブジェクトを深度平面上に配列することができる。例えば、ユーザの視線の方向における複数の仮想オブジェクトが存在し得る場合、それらがユーザの環境内の異なる深度平面にあるため、ウェアラブルシステムは、選択イベントの開始に応じて、これらの仮想オブジェクトをユーザのFOVの内側に提示する一方、他の仮想オブジェクトをユーザのFOVの外側に設置することができる。ユーザは、図12および13を参照して説明される技法を使用して、仮想オブジェクトをFOVの内外に移動させることができる。
ウェアラブルシステムは、標的相互作用可能オブジェクトを識別し、標的相互作用可能オブジェクトを示す焦点インジケータを提示することができる。ウェアラブルシステムは、標的相互作用可能オブジェクトの近傍の仮想オブジェクトを再編成し、ユーザのFOV内の再編成された仮想オブジェクトを提示することができる。例えば、図12を参照すると、ウェアラブルシステムは、基準位置(標的相互作用可能オブジェクトの位置等)からの仮想オブジェクトの距離に基づいて、標的相互作用可能オブジェクトの近傍の仮想オブジェクトのグループを識別することができる。ウェアラブルシステムは、アレイインデックスx-y-z座標(図6に示される)内の値、または標的相互作用可能オブジェクトからの距離等に基づいて、これらの仮想オブジェクトの位置を再編成することができる。図12に示されるように、オブジェクト1242、1244、および1230は、ユーザのFOR内に異なる初期位置を有してもよい。例えば、オブジェクト1242は、オブジェクト1244より高くに(例えば、ユーザの部屋の天井のより近くに)位置付けられてもよく、オブジェクト1244よりユーザから離れてもよい。オブジェクト1230の初期位置は、ユーザのFOR内のオブジェクト1244より低くてもよい(例えば、ユーザの部屋の床により近い)。ウェアラブルシステムが、オブジェクト1244を標的相互作用可能オブジェクトとして識別すると、ウェアラブルシステムは、y-軸値に基づいて、ユーザの3D空間を2Dユーザインターフェースの中に「畳み込む」ことができ、より大きいy-軸値を伴うオブジェクトは、ユーザのFOVの左側に位置付けられる。それに応じて、FOV1250内では、仮想オブジェクト1242は、仮想オブジェクト1230の左である、仮想オブジェクト1244の左に現れる。他の実施例では、仮想オブジェクトの再編成のための異なる技法が、使用されてもよい。例えば、FOV1250は、3D空間内の仮想オブジェクトの2D投影を示してもよい。図12に説明されるように、ユーザは、手のジェスチャを使用して、焦点インジケータをFOV内のオブジェクト間で移行させることができる。ユーザはまた、手のジェスチャを使用して、標的相互作用可能オブジェクトを変更することができ、これは、新しい標的相互作用可能オブジェクトの近傍の仮想オブジェクトの再編成に基づいて、ウェアラブルシステムにFOV内の仮想オブジェクトの別のセットを提示させ得る。ウェアラブルシステムが、複数のユーザインターフェースを異なる深度平面に提示するように構成される場合、ユーザはまた、手のジェスチャを使用して、複数の深度平面間で焦点インジケータを移行させ、ユーザインターフェースを切り替えることができる。いくつかの実施形態では、ウェアラブルシステムは、仮想オブジェクトがもはやユーザのFOV内にないとき、再編成に先立って、仮想オブジェクトの位置をそのオリジナル位置に復元してもよい。いくつかの状況では、再編成された仮想オブジェクトを提示する仮想ユーザインターフェースは、ユーザが選択イベントを標的相互作用可能オブジェクト上で開始した後に生成されてもよい。複数のユーザインターフェースとの相互作用に関する付加的詳細はさらに、図15を参照して説明される。
(コンテキスト情報に基づくユーザ相互作用の実施例)
ウェアラブルシステムは、コンテキスト情報に基づいて、ユーザの相互作用のモード(例えば、姿勢またはユーザ入力デバイス上での手のジェスチャ)を自動的に選択または推奨することができる。コンテキスト情報は、オブジェクトのタイプ(例えば、物理的または仮想)、オブジェクトのレイアウト(例えば、オブジェクトの密度、オブジェクトの場所およびサイズ等)、ユーザの特性、または環境内のオブジェクトとのユーザの現在の相互作用、組み合わせ、または同等物を含むことができる。例えば、レイキャスティング(図10を参照して説明される)の間、ウェアラブルシステムは、ユーザが相互に近接して位置する複数の仮想オブジェクトを見ていることを検出し得る。ウェアラブルシステムは、ユーザのFOV内の仮想オブジェクトの密度を計算することができる。密度がある閾値を超えると、ウェアラブルシステムは、ユーザに、ユーザ相互作用のモードを切り替えることを推奨することができる。例えば、密度がある閾値を超える(オブジェクトが相互に非常に近接して位置することを示す)と、ウェアラブルシステムは、オブジェクトとのより精密な相互作用を可能にするように、ユーザ相互作用のモードを頭部姿勢からユーザ入力デバイス上での手のジェスチャに切り替えることができる。別の実施例として、密度がある閾値を下回って降下する(オブジェクトが相互から離れていることを示す)と、ウェアラブルシステムは、ユーザ相互作用のモードをユーザ入力デバイス上での手のジェスチャから頭部姿勢に切り替えることができる。これらの実装は、頭部位置が正確に制御することが困難であり得、ユーザが、その頭部を正確に位置付け、高密度にクラスタ化されたオブジェクトと相互作用しようとするとき、ユーザを疲労させ得るため、特に有利であり得る。一方、ユーザ入力デバイス上での手のジェスチャは、ユーザの位置のより精緻化された制御を提供し得るが、ユーザが、低密度に位置するオブジェクトを選択するために、長距離にわたってその手を移動させる必要があるとき、ユーザを疲労させ得る。
ウェアラブルシステムは、コンテキスト情報に基づいて、ユーザの相互作用のモード(例えば、姿勢またはユーザ入力デバイス上での手のジェスチャ)を自動的に選択または推奨することができる。コンテキスト情報は、オブジェクトのタイプ(例えば、物理的または仮想)、オブジェクトのレイアウト(例えば、オブジェクトの密度、オブジェクトの場所およびサイズ等)、ユーザの特性、または環境内のオブジェクトとのユーザの現在の相互作用、組み合わせ、または同等物を含むことができる。例えば、レイキャスティング(図10を参照して説明される)の間、ウェアラブルシステムは、ユーザが相互に近接して位置する複数の仮想オブジェクトを見ていることを検出し得る。ウェアラブルシステムは、ユーザのFOV内の仮想オブジェクトの密度を計算することができる。密度がある閾値を超えると、ウェアラブルシステムは、ユーザに、ユーザ相互作用のモードを切り替えることを推奨することができる。例えば、密度がある閾値を超える(オブジェクトが相互に非常に近接して位置することを示す)と、ウェアラブルシステムは、オブジェクトとのより精密な相互作用を可能にするように、ユーザ相互作用のモードを頭部姿勢からユーザ入力デバイス上での手のジェスチャに切り替えることができる。別の実施例として、密度がある閾値を下回って降下する(オブジェクトが相互から離れていることを示す)と、ウェアラブルシステムは、ユーザ相互作用のモードをユーザ入力デバイス上での手のジェスチャから頭部姿勢に切り替えることができる。これらの実装は、頭部位置が正確に制御することが困難であり得、ユーザが、その頭部を正確に位置付け、高密度にクラスタ化されたオブジェクトと相互作用しようとするとき、ユーザを疲労させ得るため、特に有利であり得る。一方、ユーザ入力デバイス上での手のジェスチャは、ユーザの位置のより精緻化された制御を提供し得るが、ユーザが、低密度に位置するオブジェクトを選択するために、長距離にわたってその手を移動させる必要があるとき、ユーザを疲労させ得る。
図15および16は、コンテキスト情報に基づいたユーザ相互作用のモードの変更の実施例を提供する。図15は、頭部姿勢を用いた相互作用可能オブジェクトとの相互作用の実施例を図示する。図16は、ユーザ入力デバイス上での手のジェスチャを用いた相互作用可能オブジェクトとの相互作用の実施例を図示する。図16に示されるユーザ入力デバイス1610は、図4に説明されるユーザ入力デバイス466の実施形態であってもよい。
図15では、ユーザのFORは、仮想ユーザインターフェース1512、1514、および1516等の相互作用可能オブジェクトを含む。いくつかの実装では、仮想ユーザインターフェース1512、1514、および1516は、他の仮想オブジェクト(1D、2D、または3D)を仮想ユーザインターフェース平面内に含む、平面オブジェクトであってもよい。仮想ユーザインターフェース1512、1514、および1516は、大サイズを有し、相互に隣接して高密度に位置しない。その結果、ウェアラブルシステムは、仮想ユーザインターフェースを選択するために、ユーザがユーザ入力デバイス上で長距離を移動させる必要がないため、頭部移動がユーザ相互作用の最適モードであり得ることを判定してもよい。ウェアラブルシステムは、レイキャスティング技法を使用して、ユーザが仮想ユーザインターフェース1514を現在見ていることを識別してもよい。ユーザは、選択イベントを仮想ユーザインターフェース1514上で開始し、ユーザインターフェース1514内のオブジェクトと相互作用してもよい。図16に示されるように、仮想ユーザインターフェース1514は、例えば、仮想TV画面1632、仮想コーヒーカップ1636、仮想掛け時計1634、カメラアプリケーション1652、天気アプリケーション1638、および音楽アプリケーション等、複数の仮想オブジェクトを含むことができる。
(コンテキスト情報に基づくユーザ相互作用のモードの推奨の実施例)
実施例として、図16では、ウェアラブルシステムは、仮想TV1632、仮想掛け時計1634、仮想コーヒーマグカップ1636、および天気アプリケーション1638間の相対的位置を判定することができる。これらの4つのオブジェクトは、相互に近接するため、ウェアラブルシステムが、ユーザの現在の位置が位置1620にあることを判定すると、ウェアラブルシステムは、ユーザに、頭部姿勢から手制御に切り替えることを所望するかどうかのオプションを提示してもよい。
実施例として、図16では、ウェアラブルシステムは、仮想TV1632、仮想掛け時計1634、仮想コーヒーマグカップ1636、および天気アプリケーション1638間の相対的位置を判定することができる。これらの4つのオブジェクトは、相互に近接するため、ウェアラブルシステムが、ユーザの現在の位置が位置1620にあることを判定すると、ウェアラブルシステムは、ユーザに、頭部姿勢から手制御に切り替えることを所望するかどうかのオプションを提示してもよい。
一方、オブジェクト1652(カメラアプリケーション)は、他のオブジェクトをその近傍に有していない。それに応じて、ウェアラブルシステムは、ユーザ入力デバイスを使用してオブジェクト1652と相互作用するオプションを提供しなくてもよい。しかし、ユーザは、依然として、頭部姿勢および眼姿勢等の姿勢を使用して、オブジェクト1652と相互作用してもよい。
ユーザは、ユーザ入力デバイスを使用して、または身体姿勢を変更することによって(頭部の点頭等)、ユーザ相互作用のモードの切替を確認することができる。ユーザ相互作用のモードが、ユーザ入力デバイスに切り替えられると、ユーザは、ユーザ入力デバイス1610を作動させ、仮想オブジェクトと相互作用することができる。例えば、ユーザは、ユーザ入力デバイス1610上の経路に沿ってスワイプすることができ、これは、カーソルを位置1620から位置1624に移行させる。同様に、ユーザは、ユーザ入力デバイス1610を作動させることができ、これは、カーソル(矢印の形状であってもよい)を位置1620から1622に移動させる。これらの実施例に加え、ユーザは、ユーザ入力デバイス1610上の任意のタイプの経路(例えば、入力デバイスに対して水平、垂直、または対角線)または任意のタイプの方向(例えば、左または右、上または下等)に沿ってスワイプしてもよい。
カーソルが位置1624にあるとき、カーソルの一部は、仮想TV画面1632と重複する。ユーザは、ユーザ入力デバイス1610を作動させ(例えば、タッチスクリーンをクリックすることによって)、仮想TV画面1632を選択してもよい。ウェアラブルシステムが、仮想TV画面1632の選択を受信すると、ウェアラブルシステムは、TV画面と関連付けられた1つまたはそれを上回る仮想メニュー(例えば、仮想メニュー1642aおよび1642b)を表示してもよい。例えば、仮想メニューは、例えば、音調の調節、ビデオアプリケーション(例えば、映画またはテレビストリーミングサービス)の選定、電話会議の開始の選定等のオプションを含んでもよい。
(コンテキスト情報に基づくユーザ相互作用モードの自動的切替の実施例)
ウェアラブルシステムはまた、ユーザ相互作用のモードを自動的に切り替えることができる。例えば、ユーザ相互作用のモードは、ユーザが仮想ユーザインターフェース平面1512、1514、1516間で選択するとき、頭部姿勢に設定されてもよい。いったんユーザが、仮想ユーザインターフェース平面を選択すると、ユーザ相互作用のモードは、ユーザ入力デバイス上での手のジェスチャに自動的に変更されてもよい(図16に示されるように)。別の実施例として、ユーザ相互作用のモードは、オブジェクトが十分に低密度であるとき、またはオブジェクトのレイアウトがある基準を満たすとき(オブジェクト間に遮蔽が存在しないとき等)、身体姿勢に設定されることができる。ウェアラブルシステムは、オブジェクトが高密度に位置するとき、またはオブジェクトのレイアウトがもはや基準を満たさないとき(1つのオブジェクトが別のオブジェクトを遮蔽するとき等)、ユーザ相互作用のモードをユーザ入力デバイス上での手のジェスチャに自動的に変更することができる。
ウェアラブルシステムはまた、ユーザ相互作用のモードを自動的に切り替えることができる。例えば、ユーザ相互作用のモードは、ユーザが仮想ユーザインターフェース平面1512、1514、1516間で選択するとき、頭部姿勢に設定されてもよい。いったんユーザが、仮想ユーザインターフェース平面を選択すると、ユーザ相互作用のモードは、ユーザ入力デバイス上での手のジェスチャに自動的に変更されてもよい(図16に示されるように)。別の実施例として、ユーザ相互作用のモードは、オブジェクトが十分に低密度であるとき、またはオブジェクトのレイアウトがある基準を満たすとき(オブジェクト間に遮蔽が存在しないとき等)、身体姿勢に設定されることができる。ウェアラブルシステムは、オブジェクトが高密度に位置するとき、またはオブジェクトのレイアウトがもはや基準を満たさないとき(1つのオブジェクトが別のオブジェクトを遮蔽するとき等)、ユーザ相互作用のモードをユーザ入力デバイス上での手のジェスチャに自動的に変更することができる。
ウェアラブルシステムは、2D空間内のオブジェクトの相対的位置に加えて、または代替として、3D空間内のオブジェクトの相対的位置を検討することができる。例えば、ユーザインターフェース1514は、2Dユーザインターフェースの代わりに、3Dユーザインターフェースであってもよい。図16に示されるように、天気アプリケーション1638が、コーヒーマグカップアプリケーション1636よりユーザから離れた深度平面内に位置してもよい。ユーザの視線の方向が位置1620にあるとき、ウェアラブルシステムは、音楽アプリケーション1654が仮想掛け時計1634より離れて現れ得る場合でも、ユーザの視線の方向と交差する、2つの仮想オブジェクト(仮想掛け時計1634および音楽アプリケーション1654)を検出してもよい。本情報に基づいて、ウェアラブルシステムは、オブジェクトが相互に十分に近いことを判定してもよい。それに応じて、ウェアラブルシステムは、ユーザ相互作用のモードを手のジェスチャに自動的に切り替える、またはユーザが手のジェスチャに切り替えるオプションを促してもよい。
(コンテキスト情報に基づく他の例示的ユーザインターフェース特徴)
いくつかの実装では、ウェアラブルシステムは、ユーザが手のジェスチャに切り替えたとき、仮想オブジェクトの高密度クラスタを1つまたはそれを上回る固定された深度平面に再位置付けしてもよい。図12、13A-13Bを参照して説明されるように、ユーザは、固定された深度平面内の仮想オブジェクトを選択する、または手のジェスチャを使用して深度平面を切り替えることができる。本実装は、それぞれ3D空間内の若干異なる深度平面に位置する仮想オブジェクト間をナビゲートすることによって生じるユーザ入力デバイス上の煩雑動作を低減させるため、特に有利であり得る。
いくつかの実装では、ウェアラブルシステムは、ユーザが手のジェスチャに切り替えたとき、仮想オブジェクトの高密度クラスタを1つまたはそれを上回る固定された深度平面に再位置付けしてもよい。図12、13A-13Bを参照して説明されるように、ユーザは、固定された深度平面内の仮想オブジェクトを選択する、または手のジェスチャを使用して深度平面を切り替えることができる。本実装は、それぞれ3D空間内の若干異なる深度平面に位置する仮想オブジェクト間をナビゲートすることによって生じるユーザ入力デバイス上の煩雑動作を低減させるため、特に有利であり得る。
ウェアラブルシステムは、ユーザ相互作用のモードが1つの方法から別の方法に変更すると、単独で、または組み合わせて、焦点インジケータまたはカーソルを変化させることができる。例えば、ウェアラブルシステムは、ユーザがユーザ相互作用のモードを頭部姿勢からユーザ入力デバイス上での手のジェスチャ(およびその逆)に変更すると、焦点インジケータの色を変化させてもよい。別の実施例では、ウェアラブルシステムは、焦点インジケータの外観を十字線形状から矢印形状(図16に示される)に変化させ、入力制御を頭部姿勢からユーザ入力デバイス上での手のジェスチャに変更するオプションを示してもよい。
いくつかの実装では、焦点インジケータまたはカーソルにおける変化は、単独で、または組み合わせて、ユーザ相互作用のモードを変更するためのオプションが利用可能になったことを示すために使用されてもよい。例えば、ユーザが、ユーザ入力デバイス上での手のジェスチャを使用して、低密度に位置付けられたオブジェクトのグループと相互作用する間、ウェアラブルシステムは、焦点インジケータの外観を矢印から十字線に変化させ、頭部姿勢を使用する相互作用のオプションが利用可能であることを示すことができる。ユーザは、例えば、ユーザ入力デバイスを作動させる(ユーザ入力デバイスをタップする等)、または身体姿勢を変化させる(その頭部の点頭等)ことによって、手のジェスチャから頭部姿勢への変更を確認することができる。別の実施例として、ウェアラブルシステムは、焦点インジケータとしてのユーザ入力デバイス上に振動を提供し、ユーザ相互作用の代替モードが利用可能になったことを示すことができる。
実施例は、1つのオブジェクトの選択を参照して説明されるが、ウェアラブルシステムは、複数の標的オブジェクトを識別し、複数の標的オブジェクトを選択するように構成されてもよい。ARシステムは、選択イベントを標的相互作用可能オブジェクトのサブグループ上で再帰的に行うように構成されてもよい。例えば、ARシステムは、レイキャスティング(図10に説明される)における仮想円錐と衝突する、いくつかの標的オブジェクトを識別してもよい。標的オブジェクトは、相互作用可能オブジェクトを含んでもよい。ARシステムは、これらの標的オブジェクトを拡大し、ユーザが、本明細書に説明される姿勢および/または手のジェスチャを使用して、これらの標的オブジェクト内で選択することを可能にすることができる。さらに、実施例は、頭部姿勢とユーザ入力デバイス上での手のジェスチャとの間の変更を参照して説明されるが、類似技法もまた、ユーザ相互作用の他のモード間で切り替えるために使用されることができる。例えば、ウェアラブルシステムは、類似技法を採用して、単独で、または組み合わせて、ユーザ相互作用のモードを身体姿勢、手のジェスチャ、頭部姿勢、足姿勢、眼姿勢等間で変更してもよい。
(相互作用イベントの実施例)
ユーザは、ユーザが相互作用可能オブジェクトを選択した後、相互作用イベントをそのFOV内の相互作用可能オブジェクト上で開始することができる。いくつかの実装では、仮想オブジェクトは、物理的オブジェクトに対応してもよい。その結果、ユーザが、相互作用イベントを仮想オブジェクト上で行うと、仮想オブジェクトは、物理的オブジェクトと通信し、それによって、ユーザが、仮想ユーザインターフェースを介して、物理的オブジェクトと相互作用することを可能にしてもよい。例えば、図16における3Dコーヒーマグカップ1636は、ユーザの環境内のコーヒーマシンと通信してもよい。3Dコーヒーマグカップ1636に示される水位は、コーヒー生成進行度を表してもよい。実施例として、水位は、最初に、コーヒーマシンがアイドルであるため、不可視であってもよい。ユーザは、3Dコーヒーマグカップ1636を選択し、相互作用イベントを開始することができ、これは、ウェアラブルシステムに、命令をユーザの台所内のコーヒーマシンに送信させ、コーヒーの淹出を開始させる。淹出プロセスの間、3Dコーヒーマグカップ1636内の水位は、コーヒーマシンがより多くのコーヒーを生成するにつれて徐々に増加してもよい。コーヒーマシンが、淹出を終了すると、ウェアラブルシステムは、3Dコーヒーマグカップ1636が一杯であることを示してもよい。いくつかの実装では、ウェアラブルシステムはまた、焦点インジケータ(音または後光等)を3Dコーヒーマグカップ上に提供して、コーヒーの淹出を終了したことを示してもよい。
ユーザは、ユーザが相互作用可能オブジェクトを選択した後、相互作用イベントをそのFOV内の相互作用可能オブジェクト上で開始することができる。いくつかの実装では、仮想オブジェクトは、物理的オブジェクトに対応してもよい。その結果、ユーザが、相互作用イベントを仮想オブジェクト上で行うと、仮想オブジェクトは、物理的オブジェクトと通信し、それによって、ユーザが、仮想ユーザインターフェースを介して、物理的オブジェクトと相互作用することを可能にしてもよい。例えば、図16における3Dコーヒーマグカップ1636は、ユーザの環境内のコーヒーマシンと通信してもよい。3Dコーヒーマグカップ1636に示される水位は、コーヒー生成進行度を表してもよい。実施例として、水位は、最初に、コーヒーマシンがアイドルであるため、不可視であってもよい。ユーザは、3Dコーヒーマグカップ1636を選択し、相互作用イベントを開始することができ、これは、ウェアラブルシステムに、命令をユーザの台所内のコーヒーマシンに送信させ、コーヒーの淹出を開始させる。淹出プロセスの間、3Dコーヒーマグカップ1636内の水位は、コーヒーマシンがより多くのコーヒーを生成するにつれて徐々に増加してもよい。コーヒーマシンが、淹出を終了すると、ウェアラブルシステムは、3Dコーヒーマグカップ1636が一杯であることを示してもよい。いくつかの実装では、ウェアラブルシステムはまた、焦点インジケータ(音または後光等)を3Dコーヒーマグカップ上に提供して、コーヒーの淹出を終了したことを示してもよい。
別の実施例として、ウェアラブルシステムは、相互作用イベントの間、ユーザの環境内の物理的オブジェクトと関連付けられた仮想コンテンツを提示することができる。図16では、ユーザは、天気アプリケーション1638を選択し、相互作用イベントを天気アプリケーション1638上で開始することができる。図17は、天気アプリケーション1638との例示的相互作用イベントを図示する。本実施例では、ウェアラブルシステムのユーザは、その自宅の外に居てもよく、遠くの嵐雲1710および竜巻1720等の物理的オブジェクトを知覚することができる。ユーザはまた、道路1730、車両1732、および建物1734等の他の物理的オブジェクトも知覚することができる。
ウェアラブルシステムは、ユーザの環境の画像を分析することによって、ユーザの場所を識別することができる。ユーザが、相互作用イベントを天気アプリケーション1638(図16に示される)上で開始すると、ウェアラブルシステムは、ユーザのFOR内の物理的オブジェクト上に重畳されたAR/MR場面1700を提示することができる。ウェアラブルシステムは、ジオロケーションセンサ(例えば、全地球測位システム(GPS)センサ)を使用して、ユーザの場所およびユーザの近傍の天気についての情報(例えば、ユーザが視認している嵐雲1710および竜巻1720の存在)を判定することができる。いくつかの実装では、ウェアラブルシステムはまた、外向きに面したイメージングシステムを使用して、ユーザの環境の画像を取得することができる。ウェアラブルシステムは、単独で、または組み合わせて、外向きに面したイメージングシステム464、内向きに面したイメージングシステム462、またはIMU(図4に説明される)等のセンサを使用して、ユーザが嵐1710および竜巻1720に向かって見ていることを判定することができる。
ウェアラブルシステムは、ネットワーク(有線または無線)と通信し、嵐についての情報にアクセスし、例えば、嵐注意報1750の有無および持続時間、竜巻の速度1754、天気予報1762(例えば、時間の関数として、温度、降水確率)、嵐の方向1756(例えば、時間の関数として、嵐の位置)、予期される雨量1766等の情報をユーザに仮想コンテンツとして表示することができる。本情報は、情報の少なくとも一部が嵐雲1710または竜巻1720の場所またはその近傍で知覚されるように、テキストまたはグラフィックを介して、ユーザに提示されることができる(例えば、仮想コンテンツは、物理的コンテンツ上に重畳されるように現れることができる)。例えば、図17に示されるように、矢印1752は、嵐(例えば、竜巻)の方向を示し、それらが3Dであるように現れ、ウェアラブルシステムのユーザの視点から竜巻1720上またはその周囲に重畳される。風速1754は、方向矢印1752の近傍に提示されることができる。ウェアラブルシステムは、装着者に、例えば、気温予報1762、雨が現在降っている、または降ることが予期される場所(例えば、嵐雲1710の下方の斜破線1764を介して示される)、予期される降水量(参照番号1766を用いて示されるように)、嵐内の風の方向1752および速度1754(例えば、竜巻1720の異なる高度において)等の嵐についての他の情報も提示することができる。
ウェアラブルシステムは、ウェアラブルシステムのユーザに対して、ユーザからの適切な距離(例えば、嵐1710および竜巻1720上またはその近傍)に現れ、適切に定寸、成形、またはスケーリングされるように(例えば、図17に図式的に示されるように)、ライトフィールドディスプレイ(図4-6に示される)を使用して、現実的3D仮想コンテンツ1750、1752、1754、1756、1762、1764、1766を提示することができる。
ウェアラブルシステムはまた、2人またはそれを上回るユーザが、相互作用可能オブジェクトと相互作用することを可能にすることができる。両ユーザは、その個別のウェアラブルシステム(その頭部搭載型デバイス等)を装着してもよい。図18は、3D仮想オブジェクトと相互作用する複数のユーザの例示的ユーザ体験を図示する。本実施例では、ユーザは、ウェアラブルデバイス1852を装着している。ユーザは、ウェアラブルデバイス1852を通して仮想コンテンツ1800を知覚することができる。本実施例では、仮想コンテンツは、天文学的オブジェクト1810(例えば、星、または他の場合には、銀河系、惑星、星雲、または太陽系)を含むことができる。仮想コンテンツ1800についての情報は、仮想コンテンツ上またはそれに隣接して現れるように表示されることができる。例えば、星または惑星1830の軌道1820、星座、近傍の星等が、天文学的オブジェクト1810の近傍に表示されることができる。ウェアラブルシステムは、ユーザインターフェースを、姿勢またはユーザ入力デバイスを使用して、異なるアクションが選択され得る(例えば、ジェスチャによって)仮想メニュー1832または仮想入力特徴1840にアクセスし得る装着者に提示することができる。例えば、図18に示されるように、仮想メニュー1832は、装着者が、表示されている仮想コンテンツ1800のプロファイルを編集/削除または保存することを可能にしてもよい。プロファイルは、装着者(または別の認可されるユーザ)が、異なる時間または場所において仮想コンテンツにアクセスすることを可能にすることができる。別の仮想メニューは、ユーザが、仮想コンテンツと相互作用し、表示されている仮想コンテンツを修正することを可能にしてもよい。例えば、図18に示されるように、ユーザ入力要素1840は、装着者が、「惑星を追加する」ことを可能にすることができる(例えば、仮想ボタン1840の位置において装着者の指を「押下」する等のジェスチャを用いて仮想ボタン1840を選択することによって)。選択後、装着者は、機能性にアクセスし(例えば、仮想メニュー、仮想ドロップダウンボックス等を介して)、惑星の名称、直径、温度、または距離等の情報を用いて、惑星プロファイルを作成することが可能になってもよい。選択後、付加的仮想コンテンツ(本実施例では、付加的惑星)が、装着者に表示されることができる。
ウェアラブルシステムは、ユーザが、例えば、ネットワークを介して、ユーザの環境の世界マップをパスする、または仮想コンテンツをウェアラブルシステム間で通信する(または仮想コンテンツを更新する)ことによって、仮想コンテンツを他者と共有することを可能にすることができることができる。例えば、図18に示されるように、ウェアラブルシステム200を装着している別のユーザ1850は、第1のユーザによって共有および操作されている仮想コンテンツを視認することができる。両ユーザは、相互および仮想コンテンツと相互作用する体験を享受することができる。天文学的オブジェクト1810が、本実施例では使用されるが、仮想コンテンツ1800は、任意のタイプのコンテンツであることができる。例えば、百科事典が、アクセスされ、1つまたはそれを上回る主題に関するコンテンツが、表示および共有されてもよい(仮想テキスト、仮想画像、音等とともに)。仮想コンテンツを共有するユーザのグループは、仮想コンテンツを視認するために、同一場所に物理的に存在する必要がなく、多くのユーザ(例えば、2、3、4、5、10、100人、またはそれを上回る)が、実質的に同時に、共有仮想コンテンツを視認することができる。
実施例は、仮想惑星系および天気アプリケーションを参照して説明されるが、それらの実施例は、限定ではない。本明細書に説明される技法はまた、相互作用可能仮想コンテンツをAR/MR/VR環境内に提示する、他のアプリケーションにも適用されることができる。例えば、ウェアラブルシステムは、衣類のショッピングアプリケーションを含むようにプログラムされることができる。ユーザが百貨店に居る間、アプリケーションは、百貨店と関連付けられたデータベースにアクセスし、衣類の情報またはラックを識別することができる。アプリケーションは、アクセスされた情報を百貨店内の物理的衣類上に重畳された仮想コンテンツ上に提示することができる。
(姿勢およびユーザ入力デバイスの組み合わせを使用した仮想オブジェクトの選択の例示的プロセス)
図19は、姿勢とユーザ入力デバイス上での手のジェスチャの組み合わせを使用して仮想オブジェクトを選択するための例示的プロセスを図示する。プロセス1900は、本明細書に説明されるウェアラブルシステム(例えば、HMD)によって(例えば、処理モジュール260、270の一方または両方によって)行われることができる。ウェアラブルシステムは、ユーザ入力デバイス(例えば、図4におけるユーザ入力デバイス466参照)と、外向きに面したイメージングシステム(例えば、図4における外向きに面したイメージングシステム464参照)および内向きに面したイメージングシステム(例えば、図4における内向きに面したイメージングシステム462参照)等の種々のイメージングシステムとを含んでもよい。
図19は、姿勢とユーザ入力デバイス上での手のジェスチャの組み合わせを使用して仮想オブジェクトを選択するための例示的プロセスを図示する。プロセス1900は、本明細書に説明されるウェアラブルシステム(例えば、HMD)によって(例えば、処理モジュール260、270の一方または両方によって)行われることができる。ウェアラブルシステムは、ユーザ入力デバイス(例えば、図4におけるユーザ入力デバイス466参照)と、外向きに面したイメージングシステム(例えば、図4における外向きに面したイメージングシステム464参照)および内向きに面したイメージングシステム(例えば、図4における内向きに面したイメージングシステム462参照)等の種々のイメージングシステムとを含んでもよい。
ブロック1910では、ウェアラブルシステムは、ユーザのFOR内の相互作用可能オブジェクトを識別することができる。相互作用可能オブジェクトは、アレイ等のデータ構造を使用して、例えば、遠隔データリポジトリ280(図2に示される)内に記憶されてもよい。ユーザのFOR内の相互作用可能オブジェクトは、ユーザのFOR内の全てのオブジェクトのサブセットであることができる。ウェアラブルシステムは、外向きに面したイメージングシステム462および他のセンサ(IMUおよびGPS等)を使用して、ユーザの場所を判定し、本場所情報を使用して、ユーザの環境内の相互作用可能オブジェクトを判定することができる。
ブロック1920では、ウェアラブルシステムは、本明細書に説明されるセンサを使用して、ユーザの姿勢を測定することができる。ウェアラブルシステムは、内向きに面したイメージングシステム462を使用して、ユーザの方向を識別することができる。
ブロック1930では、ウェアラブルシステムは、ユーザの視線の方向に基づいて、ユーザのFOV内の相互作用可能オブジェクトを識別することができる。FOVはまた、レイキャスティングを使用して、ユーザの視線の方向と交差する相互作用可能オブジェクトを判定することができる。いくつかの実装では、ユーザのFOV内の相互作用可能オブジェクトは、選択可能オブジェクトと称され得る。ウェアラブルシステムは、選択可能オブジェクトの位置を使用して、選択可能オブジェクトをアレイ内に記憶することができる。例えば、ウェアラブルシステムは、x-軸値(例えば、図6におけるx-y-z座標参照)に基づいて、選択可能オブジェクト(および/または相互作用可能オブジェクト)をインデックス化することができる。ウェアラブルシステムは、x-軸値に基づいてオブジェクトをソートし、選択可能オブジェクトを1Dまたは2DビューにおいてユーザのFOV内に左から右に提示することができる。
いくつかの実装では、ウェアラブルシステムは、選択可能オブジェクトのためだけの別個のアレイを有していなくてもよい。これらの実装では、ウェアラブルシステムは、例えば、選択可能オブジェクトのアレイインデックス(ユーザのFOVに基づいて判定される)を使用して、選択可能オブジェクトを相互作用可能オブジェクトのアレイから識別し、読み出すことができる。
しかしながら、いくつかの実施形態では、ウェアラブルシステムは、2つのアレイを維持してもよく、1つのアレイは、ユーザのFOR内の相互作用可能オブジェクトのためのものである一方、別のアレイは、ユーザのFOV内の選択可能オブジェクトのためのものである。例えば、相互作用可能オブジェクトのためのアレイは、遠隔データリポジトリ280(図2に示される)内に保たれてもよい一方、選択可能オブジェクトのためのアレイは、ウェアラブルシステムのローカルのデータ記憶内に保たれてもよい。本実装は、ウェアラブルシステムのローカル記憶装置およびデータ処理容量が限定され得る一方、遠隔データリポジトリがより大きいデータ記憶装置およびより強力なデータ処理容量を有し得るため、有利であり得る。全ての相互作用可能オブジェクトのサブセットのみをウェアラブルシステムのローカル記憶に保つことによって、ウェアラブルシステムのハードウェア要件を低減させ、ウェアラブルシステム内のデータオーバーフローの可能性を減少させ得る。
相互作用可能オブジェクトが、ユーザのFOV内に存在しない場合、ウェアラブルシステムは、ブロック1910に戻ることができる。ウェアラブルシステムは、ユーザの姿勢を持続的に監視し、ユーザのFOVを更新し、ユーザのFOV内の相互作用可能オブジェクトのリストを持続的に判定することができる。
ブロック1940では、ウェアラブルシステムは、ユーザが選択イベントをユーザのFOV内のオブジェクト上で開始することを所望するかどうかを判定することができる。ウェアラブルシステムは、単独で、または組み合わせて、例えば、長時間にわたるオブジェクトの注視、点頭等のユーザの頭部姿勢、またはユーザ入力デバイスからの入力等の種々のインジケーションに基づいて、そのような判定を行うことができる。ウェアラブルシステムが、ユーザがオブジェクトの選択を所望するインジケーションを受信する場合、ウェアラブルシステムは、ユーザが、本明細書に説明される種々の手のジェスチャを使用して、選択可能オブジェクトと相互作用することを可能にしてもよい。例えば、ユーザは、ユーザ入力デバイス上の軌道に沿ってスワイプし、選択可能オブジェクトをブラウジングする、またはユーザ入力デバイスをクリックし、選択可能オブジェクトを選択することができる。
選択イベントの開始は、ウェアラブルシステムに、ユーザのFOV内の標的相互作用可能オブジェクトを識別させ(ブロック1940において)、焦点インジケータを標的相互作用可能オブジェクトに割り当てさせてもよい(ブロック1950において)。標的相互作用可能オブジェクトは、FOVの左または右側のオブジェクトであってもよい。可視焦点インジケータはまた、中心におけるオブジェクトが標的相互作用可能オブジェクトであるとき、FOVの中心においてオブジェクト上に設置されてもよい。ウェアラブルシステムはまた、3D眼追跡を使用して、ユーザの眼姿勢の方向を判定し、可視焦点インジケータをユーザの眼姿勢の方向と交差するオブジェクト上に設置してもよい。
ブロック1960では、ユーザは、本明細書に説明される種々のジェスチャを使用して、焦点インジケータを別のオブジェクトに移行することができる。標的相互作用可能オブジェクトは、それに応じて、他のオブジェクトに更新されることができる。例えば、ユーザは、焦点インジケータをその現在の位置からその近隣オブジェクトに移動させることができ、その結果、標的相互作用可能オブジェクトは、近隣オブジェクトに更新される。
いくつかの実施形態では、これらのジェスチャは、ウェアラブルシステムに、仮想オブジェクトをユーザのFOV内の経路に沿って移動させてもよい(可視焦点インジケータ自体を移行する代わりに)。例えば、図12を参照すると、ユーザが、タッチパッド上で左向きにスワイプすると、オブジェクト1230を完全にFOVの中に移動させる一方、オブジェクト1242の位置を左向きにシフトさせる効果を有してもよい。
図20は、姿勢とユーザ入力デバイス上での手のジェスチャの組み合わせを使用して仮想オブジェクトと相互作用するための例示的プロセスを図示する。プロセス2000は、本明細書に説明されるウェアラブルシステムによって行われることができる。
ブロック2010では、ウェアラブルシステムは、ユーザのFOR内の相互作用可能オブジェクトのグループを判定することができる。相互作用可能オブジェクトのグループは、ユーザの環境内のオブジェクトのサブセットであることができる。相互作用可能オブジェクトは、仮想オブジェクトおよび/または物理的オブジェクトであることができる。いくつかの実施形態では、ARシステムは、仮想要素を既存の物理的オブジェクトに追加することができる。例えば、ARシステムは、仮想メニューを部屋内のテレビに追加してもよく、仮想メニューは、ユーザに、ARシステムを使用してテレビをオンにするオプションを与えてもよい。
図12を参照して説明されるように、ARシステムは、相互作用可能オブジェクトおよび相互作用可能オブジェクトと関連付けられた情報を種々のデータ構造内に記憶してもよい。オブジェクトの場所は、オブジェクトと関連付けられた情報を記憶するためのインデックスとして使用されてもよい。
ブロック2020では、ウェアラブルシステムは、ユーザの姿勢を判定することができる。ユーザの姿勢は、単独で、または組み合わせて、頭部、眼、足、または他の身体姿勢であってもよい。ウェアラブルシステムは、例えば、内向きに面したイメージングシステム462、ユーザ入力デバイス466上で受信された入力、または外向きに面したイメージングシステム464等の図4に示される種々のセンサを使用して、ユーザの姿勢を判定することができる。
ブロック2030では、ウェアラブルシステムは、ユーザの姿勢に基づいて、ユーザのFOVを判定することができる。FOVは、ユーザによって所与の時間に知覚されたFORの一部を備えることができる。ユーザのFOVに基づいて、ブロック2040では、ARシステムは、ユーザのFOV内の相互作用可能オブジェクトのサブグループを判定することができる。本相互作用可能オブジェクトのサブグループは、時として、選択可能オブジェクトとも称される。ユーザのFOVが変化するにつれて、ユーザのFOV内の選択可能オブジェクトもまた、変化する。
ブロック2050では、ウェアラブルシステムは、相互作用可能オブジェクトのサブグループからの標的相互作用可能オブジェクトの選択を受信する。ウェアラブルシステムは、最初に、図12を参照して説明されるように、種々のルール(ユーザのFOVに対する標的相互作用可能オブジェクトの場所等)に基づいて、標的相互作用可能オブジェクトを選定することができる。ARシステムは、焦点インジケータを標的相互作用可能オブジェクトに割り当てることができる。可視焦点インジケータは、ユーザのFOVが変化するにつれて、1つのオブジェクトから他のオブジェクトに移動してもよい。
いくつかの実施形態では、ウェアラブルシステムは、ユーザがユーザ入力デバイスを作動させた後、標的相互作用可能オブジェクトを識別することができる。ユーザは、図12-13を参照して説明される種々の手のジェスチャを使用して、ユーザ入力デバイスを作動させることができる。これらの手のジェスチャは、ウェアラブルシステムをトリガし、焦点インジケータをユーザのFOV内の標的相互作用可能オブジェクトに割り当てることができる。いくつかの実装では、ARシステムが、標的相互作用可能オブジェクトの選択をユーザから受信すると、ARシステムは、ユーザのFOVが変化する間、ユーザのFOV内の選択可能オブジェクトのグループの更新を停止してもよい。ユーザは、依然として、相互作用可能オブジェクトをブラウジングする、または可視焦点インジケータをそのFOV内の1つのオブジェクトから他のオブジェクトに移行させることができる。
ブロック2070では、ユーザは、選択イベントを標的相互作用可能オブジェクト上で開始することを決定してもよい。選択イベントは、本明細書に説明される姿勢およびジェスチャを使用して、開始されることができる。いくつかの実施形態では、選択イベントの開始は、ウェアラブルシステムをトリガし、可視焦点インジケータを標的相互作用可能オブジェクトに割り当ててもよい。ウェアラブルシステムは、ユーザのFOVが、ユーザの姿勢における変化に伴って変化し得る場合でも、ユーザのFOV内の選択可能オブジェクトのグループの更新を停止してもよい。ユーザは、本明細書に説明されるジェスチャを使用して、可視焦点インジケータをユーザのFOV内の1つのオブジェクトから他のオブジェクトに移行してもよい。例えば、ユーザは、タッチパッド上の軌道(左および右等)に沿ってスワイプしてもよく、これは、ウェアラブルシステムに、可視焦点インジケータを1つのオブジェクトからその最近傍近隣に移動させることができる。
いくつかの実装では、ユーザは、選択イベントの間または後、相互作用イベントを開始してもよい。相互作用イベントはまた、選択イベントの一部であってもよい。例えば、図12を参照して説明されるように、相互作用イベントは、相互作用可能オブジェクトのサイズ調整、相互作用可能オブジェクトのメニューの表示、メニューのブラウジング、メニュー上のアイテムの選択、アイテムの検索、ゲームのプレー、ビデオの鑑賞、電話会議の実施等を備えることができる。ユーザは、本明細書に説明される種々の姿勢およびジェスチャを使用して、相互作用イベントに参加することができる。ユーザはまた、本明細書で議論される姿勢およびジェスチャを使用して、標的相互作用可能オブジェクトの選択を確認してもよい。
(コンテキスト情報に基づくオブジェクトとの相互作用の例示的プロセス)
図21は、コンテキスト情報に基づいて、入力制御を頭部姿勢から手のジェスチャに切り替えるための例示的プロセスを図示する。プロセス2100は、本明細書に説明されるウェアラブルシステムによって(例えば、処理モジュール260、270の一方または両方によって)行われることができる。
図21は、コンテキスト情報に基づいて、入力制御を頭部姿勢から手のジェスチャに切り替えるための例示的プロセスを図示する。プロセス2100は、本明細書に説明されるウェアラブルシステムによって(例えば、処理モジュール260、270の一方または両方によって)行われることができる。
ウェアラブルシステムは、ユーザの現在の位置を示すカーソルを表示することができる。カーソルは、ユーザの頭部位置に対応する十字線であることができる。ユーザが移動するにつれて、カーソルは、標的相互作用可能オブジェクトに移動されてもよい。ユーザは、単独で、または組み合わせて、姿勢、ユーザ入力デバイス上での手のジェスチャを使用して、標的相互作用可能オブジェクトを選択することができる。プロセス2100では、ユーザは、最初に、頭部姿勢を使用して、オブジェクトと相互作用してもよい。ブロック2110では、ウェアラブルシステムは、ユーザが標的相互作用可能オブジェクトを選択したかどうかを判定することができる。標的相互作用可能オブジェクトは、2D平面仮想ユーザインターフェースであってもよい。ユーザが標的相互作用可能オブジェクトを選択していない場合、プロセスは、ブロック2190において終了する。いくつかの実施形態では、ウェアラブルシステムは、ユーザが移動するにつれて、ユーザの現在の位置を持続的に判定することができる。ウェアラブルシステムは、ユーザの頭部姿勢に基づいて、ユーザのFOV内の他の標的相互作用可能オブジェクトも識別することができる。
ブロック2120に示されるように、ウェアラブルシステムが、2D平面仮想ユーザインターフェース等の標的相互作用可能オブジェクトの選択を受信すると、ウェアラブルシステムは、焦点インジケータを標的相互作用可能オブジェクトに割り当ててもよい。例えば、ウェアラブルシステムは、後光を標的相互作用可能オブジェクトの周囲に表示し、標的相互作用可能オブジェクトが3D空間内に浮かんでいるように現れるように、標的相互作用可能オブジェクトをユーザにより近づけることができる。ウェアラブルシステムはまた、カーソル(頭部位置に対応する)の法線および深度を標的相互作用可能オブジェクトの法線および深度と同一となるように設定することができる。その結果、ユーザは、頭部姿勢を使用して、標的相互作用可能オブジェクト内の仮想オブジェクトと継続して相互作用してもよい。
ブロック2130では、ウェアラブルシステムは、ユーザの相互作用と関連付けられたコンテキストを識別することができる。例えば、ウェアラブルシステムは、ユーザのFOV内の仮想オブジェクト(または物理的オブジェクト)のレイアウトを判定することができる。
ブロック2140では、ウェアラブルシステムが、レイアウトがあるパターンを満たす(1つの仮想オブジェクトが別の仮想オブジェクトによって遮蔽されている等)、または密度がある閾値を超えることを判定する場合、ウェアラブルシステムは、ユーザに、入力制御のモードを切り替えるためのオプションを提供してもよい。実施例として、ウェアラブルシステムは、ユーザに、頭部姿勢からユーザ入力デバイスに相互作用モードを切り替えるためのオプションを提供してもよい。
ブロック2142に示されるように、ユーザが、切り替えないことを選定する場合、ユーザは、依然として、頭部姿勢を使用して、相互作用可能オブジェクトを標的化および選択することができる。プロセスは、ブロック2190において終了する。
ユーザが、入力制御を手のジェスチャに切り替えることを選定する場合、ブロック2150では、ユーザは、ユーザ入力デバイスを作動させ、仮想オブジェクトと相互作用することができる。ブロック2160では、ウェアラブルシステムは、2D平面仮想ユーザインターフェース上のUI要素等の標的仮想オブジェクトのユーザの選択を受信することができる。例えば、図16を参照すると、ユーザは、天気アプリケーション1638、コーヒー生成アプリケーション1636等を選択することができる。ユーザが、ブロック2160において、標的仮想オブジェクトを選択しない場合、ユーザは、ブロック6150に示されるように、ユーザ入力デバイスを継続して作動させてもよい。
ウェアラブルシステムは、選択イベントまたは相互作用イベントを選択された仮想オブジェクト上で開始することができる。例えば、ウェアラブルシステムは、焦点インジケータを選択された仮想オブジェクト上に提供することができる。ウェアラブルシステムはまた、選択された仮想オブジェクトと関連付けられたVR/AR/MR場面を提示することができる。例えば、ウェアラブルシステムは、ユーザが相互作用し得る、場面1700(図17に示される)および1800(図18に示される)を提示することができる。
ブロック2180では、ウェアラブルシステムは、ユーザが選択イベントまたは相互作用イベントを完了したかどうかを判定することができる。ウェアラブルシステムが、ユーザが標的仮想オブジェクトとの相互作用を終了したことを判定する場合、プロセス2100は、ブロック2190において終了する。いくつかの実施形態では、ブロック2190では、ウェアラブルシステムは、ユーザインターフェース制御のモードを手のジェスチャから頭部姿勢に戻るように切り替えることができる。
図22は、コンテキスト情報に基づいて、ユーザ相互作用のモードを切り替えるための例示的プロセスを図示する。プロセス2200は、本明細書に説明されるウェアラブルシステムによって(例えば、処理モジュール260、270の一方または両方によって)行われることができる。
ブロック2210では、ウェアラブルシステムは、相互作用可能オブジェクトと相互作用するためにユーザが使用する、現在の入力モードを判定することができる。現在の入力モードは、姿勢またはユーザ入力デバイス上での手のジェスチャであってもよい。
ブロック2220では、ウェアラブルシステムは、ユーザのFOV内のオブジェクトのレイアウト、ユーザのFOV内のオブジェクトの密度、ユーザのFOV内のオブジェクトの特性(サイズ、位置、オブジェクトタイプ等)等のコンテキスト情報を判定することができる。
コンテキスト情報に基づいて、ウェアラブルシステムは、ブロック2230において、現在のユーザ入力モードを変更するためのオプションを提示することができる。例えば、ユーザが、頭部姿勢を使用して、オブジェクトと相互作用する間、ウェアラブルシステムは、ウェアラブルシステムがユーザの視線の方向におけるオブジェクトの高密度グループを識別すると、ユーザ入力モードをユーザ入力デバイスに変更するためのオプションを提示することができる。別の実施例として、ウェアラブルシステムは、ウェアラブルシステムがオブジェクトが低密度に位置することを判定すると、現在のユーザ入力モードをユーザ入力デバイスから頭部姿勢に変更するためのオプションを提供することができる。
別の実施例として、ウェアラブルシステムは、ユーザが、姿勢を使用して、ユーザインターフェース平面(他の仮想オブジェクトを含んでもよい)と相互作用する一方、ユーザ入力デバイスを使用して、ユーザインターフェース要素(ユーザインターフェース平面内のアプリケーション等)と相互作用することを可能にしてもよい。その結果、ウェアラブルシステムが、ユーザがユーザインターフェース平面を選択したことを検出すると、ウェアラブルシステムは、ユーザ入力モードを頭部姿勢からユーザ入力デバイスに変更してもよい。一方、ユーザがユーザインターフェース要素との相互作用を終了すると、ウェアラブルシステムは、ユーザ入力モードをユーザ入力デバイスから頭部姿勢に変更してもよい。
いくつかの実装では、焦点インジケータ(カーソルを含む)の外観が、異なるユーザ入力モードに基づいて、変化されてもよい。例えば、ウェアラブルシステムは、十字線を使用して、ユーザが頭部姿勢を使用してオブジェクトと相互作用することを示す一方、矢印を使用して、ユーザがユーザ入力デバイスを使用してオブジェクトと相互作用することを示してもよい。いくつかの実装では、ウェアラブルシステムは、焦点インジケータの外観を変化させ、ユーザ入力モードを切り替えるためのオプションが利用可能であることを示すことができる。例えば、ウェアラブルシステムは、最初に、ユーザが頭部姿勢と相互作用するとき、十字線を表示してもよい。ウェアラブルシステムが、オブジェクトの高密度グループを検出するとき、ウェアラブルシステムは、矢印(十字線の代わりに)を表示し、ユーザがユーザ入力モードをユーザ入力デバイスに切り替えることができることを示してもよい。しかしながら、ユーザが、オブジェクトの高密度グループから離れるように移動すると、ウェアラブルシステムは、焦点インジケータを矢印から十字線に戻るように変化させてもよい。
ブロック2240では、ユーザは、新しいユーザ入力モードのためのオプションを選択することができる。例えば、ユーザは、ユーザ入力デバイスを作動させ、ユーザ入力モードを頭部姿勢からユーザ入力デバイス上での手のジェスチャに変更することを所望することを確認することができる。ウェアラブルシステムは、それに応じて、現在のユーザ入力モードを新しく選択されたモードに更新することができる。ウェアラブルシステムはまた、焦点インジケータを新しく選択されたモードと関連付けられたものに更新してもよい。
図23は、仮想オブジェクトのグループを備える相互作用可能オブジェクトと相互作用する例示的プロセスを図示する。プロセス2300は、本明細書に説明されるウェアラブルシステムによって(例えば、処理モジュール260、270の一方または両方によって)行われることができる。ウェアラブルシステムは、ユーザ入力デバイス466(図4に示される)、ライトフィールドディスプレイ(図2または4-6を参照して説明される)、外向きに面したイメージングシステム464(図4に示される)および内向きに面したイメージングシステム462(図4に示される)等の種々のセンサを含んでもよい。
ブロック2310では、ウェアラブルシステムは、ユーザの姿勢を判定する。姿勢は、頭部、眼、足、または他の身体姿勢等であってもよい。ウェアラブルシステムは、例えば、内向きに面したイメージングシステム462、外向きに面したイメージングシステム464(図10を参照して説明されるFOVカメラ等)、IMU等、種々のセンサを使用して、ユーザの姿勢を判定することができる。
ウェアラブルシステムは、ユーザのFOR内の相互作用可能オブジェクトのグループを判定することができる。例えば、ウェアラブルシステムは、ユーザの環境内のオブジェクトの情報を備える、ユーザの環境のマップにアクセスすることができる。ブロック6230では、ウェアラブルシステムは、相互作用可能オブジェクトのグループから標的相互作用可能オブジェクトを判定することができる。標的相互作用可能オブジェクトは、ユーザの姿勢に基づいて、判定されてもよい。例えば、標的相互作用可能オブジェクトは、ユーザの視線の方向と交差するオブジェクトであってもよい。ユーザの姿勢が変化するにつれて、標的相互作用可能オブジェクトもまた、変化してもよい。
ブロック2330では、ウェアラブルシステムは、標的相互作用可能オブジェクトの選択を受信することができる。ユーザは、単独で、または組み合わせて、ユーザ入力デバイスを作動させる、姿勢を変更することによって、標的相互作用可能オブジェクトを選択することができる。ブロック2340に示されるように、ウェアラブルシステムは、標的相互作用可能オブジェクトの選択を受信した後(ブロック6250に示されるように)、焦点インジケータを標的相互作用可能オブジェクトに割り当てることができる。
いくつかの実装では、1つまたはそれを上回る仮想オブジェクトはさらに、標的相互作用可能オブジェクト内に表示されてもよい。例えば、仮想ユーザインターフェースは、天気アプリケーション、ビデオストリーミングアプリケーション等のユーザインターフェース要素を含んでもよい。ブロック2350では、ウェアラブルシステムは、選択された標的相互作用可能オブジェクトと関連付けられた仮想オブジェクトのグループを判定することができる。ユーザは、頭部姿勢および手のジェスチャを使用して、仮想オブジェクトのグループと相互作用することができる。例えば、ユーザは、姿勢または手のジェスチャを使用して、仮想オブジェクトのグループ内の仮想オブジェクトを選択することができる。ユーザはまた、ビデオゲームのプレー、VR/AR/MR場面の視認、または選択された仮想オブジェクトとの他のユーザインターフェース相互作用等の相互作用イベントを開始することができる。
いくつかの実施形態では、ウェアラブルシステムは、ユーザが標的相互作用可能オブジェクトを選択すると、相互作用のモードを姿勢からユーザ入力デバイスに変更してもよい。例えば、ユーザは、最初に、頭部姿勢を使用して、その環境内の相互作用可能オブジェクトを標的化および選択してもよい。いったんユーザが、標的相互作用可能オブジェクトを選択すると、ウェアラブルシステムは、ユーザが、ユーザ入力デバイスを使用して、標的相互作用可能オブジェクト内の仮想オブジェクトと相互作用し得るように、入力モードを頭部姿勢からユーザ入力デバイスに変更することができる。いったんユーザが、仮想オブジェクトとの相互作用を終了すると、ウェアラブルシステムは、ユーザが、その環境内の他の相互作用可能オブジェクトを継続して標的化し、それと相互作用し得るように、入力モードを頭部姿勢に戻るように変更してもよい。ある実装では、ウェアラブルシステムは、ユーザが入力制御のモードを切り替えるためのオプションを提供することができる。例えば、ユーザが、標的相互作用可能オブジェクトを選択後、頭部姿勢から手のジェスチャに切り替えないことを決定する場合、ユーザは、頭部姿勢を使用して、標的相互作用可能オブジェクト内の仮想オブジェクトと継続して相互作用することができる。
(付加的ユーザインターフェース体験)
(ARおよびMR視覚的体験の付加的実施例)
上記に説明されるように、ウェアラブルシステム(頭部搭載型ディスプレイ等)は、物理的世界上に重畳された3D仮想オブジェクトを提示するように構成されることができる。例えば、ウェアラブルデバイスのユーザは、学校の体育館に居て、ローカルの物理的環境および物理的オブジェクト(例えば、体育館および体育館内で着座または起立している生徒)を知覚するだけではなく、また、物理的世界(例えば、学校の体育館)上に重畳された仮想オブジェクトを知覚してもよい。仮想オブジェクトは、水しぶきによって囲繞される飛び上がるクジラを含んでもよい。例えば、ユーザは、クジラが、学校の体育館の床から現れ、体育館を部分的に横断して飛び上がり、床上の大きな水しぶきの中に着水し、次いで、消失するという体験を知覚することができる。本実施例では、ウェアラブルシステムは、領域のサブ領域から(例えば、体育館の床から)発生するよう装着者によって知覚されように、飛び上がるクジラの画像を表示するために、装着者が視認している外界内の領域の寸法(例えば、本実施例では、体育館のサイズ)を判定し、飛び上がるクジラおよび水しぶきが現実的かつ生きているようにユーザに現れるように、図4-6に説明されるライトフィールドディスプレイを使用することができる。いくつかの実装では、ウェアラブルシステムは、ユーザ(例えば、図2に示されるスピーカ240を介して)に、ユーザに表示される画像に伴う、飛び上がるクジラの音を提示することができる。ARシステムは、(加えて、または代替として)テキストまたはグラフィック等の付加的仮想コンテンツをユーザによって視認される場面上に表示することができる。例えば、ARシステムは、仮想クジラが体育館の床から飛び上がるように見える前、間、または後、クジラについての情報(クジラのタイプ、年齢、習性等)を装着者に表示し得る。
(ARおよびMR視覚的体験の付加的実施例)
上記に説明されるように、ウェアラブルシステム(頭部搭載型ディスプレイ等)は、物理的世界上に重畳された3D仮想オブジェクトを提示するように構成されることができる。例えば、ウェアラブルデバイスのユーザは、学校の体育館に居て、ローカルの物理的環境および物理的オブジェクト(例えば、体育館および体育館内で着座または起立している生徒)を知覚するだけではなく、また、物理的世界(例えば、学校の体育館)上に重畳された仮想オブジェクトを知覚してもよい。仮想オブジェクトは、水しぶきによって囲繞される飛び上がるクジラを含んでもよい。例えば、ユーザは、クジラが、学校の体育館の床から現れ、体育館を部分的に横断して飛び上がり、床上の大きな水しぶきの中に着水し、次いで、消失するという体験を知覚することができる。本実施例では、ウェアラブルシステムは、領域のサブ領域から(例えば、体育館の床から)発生するよう装着者によって知覚されように、飛び上がるクジラの画像を表示するために、装着者が視認している外界内の領域の寸法(例えば、本実施例では、体育館のサイズ)を判定し、飛び上がるクジラおよび水しぶきが現実的かつ生きているようにユーザに現れるように、図4-6に説明されるライトフィールドディスプレイを使用することができる。いくつかの実装では、ウェアラブルシステムは、ユーザ(例えば、図2に示されるスピーカ240を介して)に、ユーザに表示される画像に伴う、飛び上がるクジラの音を提示することができる。ARシステムは、(加えて、または代替として)テキストまたはグラフィック等の付加的仮想コンテンツをユーザによって視認される場面上に表示することができる。例えば、ARシステムは、仮想クジラが体育館の床から飛び上がるように見える前、間、または後、クジラについての情報(クジラのタイプ、年齢、習性等)を装着者に表示し得る。
別の実施例として、ウェアラブルシステムのユーザは、小売市場内に居てもよい。ユーザは、環境内の実際の物理的人々および市場を歩き回る宇宙飛行士の画像を含む仮想コンテンツを視認することができる。仮想コンテンツは、ウェアラブルシステムのディスプレイのFOV内に重畳されてもよい。
ウェアラブルシステムは、物理的世界の画像を修正し、MR体験をユーザに提供することができる。例えば、ユーザには、v-編隊で飛んでいる物理的鳥の群れが見え得る。外向きに面したイメージングシステム(例えば、図4に示される)は、本物理的コンテンツを捕捉することができ、ウェアラブルシステムは、それを処理し、v-編隊で飛んでいる鳥の群れを識別することができる。ウェアラブルシステムは、群れに、編隊内またはその近傍を飛んでいる仮想オブジェクト(例えば、本実施例では、ドラゴン)を追加する、またはそれと1羽の(またはそれを上回る)鳥を置換することができる。別の実施例として、ウェアラブルシステムは、ビーチに浮かんでいる、またはその上を飛んでいる仮想オブジェクト(例えば、仮想クジラ)を物理的浜辺のユーザのビューに追加することができる。現実的画像を異なる距離に現れるように提示するライトフィールドディスプレイの能力は、ウェアラブルディスプレイシステムが、装着者の近傍またはそこから離れるようにクジラの画像を提示することを可能にする。いくつかの実装では、ウェアラブルシステムは、仮想コンテンツが仮想陰影を有するよう現れるように、陰影マッピング技法を使用することができ、これはまた、ウェアラブルシステムによって表示される仮想コンテンツをより現実的なものにし得る。
いくつかの実装では、ウェアラブルシステムのユーザは、仮想画像のシーケンスをAR/MR環境内で知覚することができる。例えば、ユーザは、そのカップのように丸めた手を見ているとする。小型のゾウ等の仮想オブジェクトが、ユーザが仮想オブジェクトがユーザのカップのように丸めた手内に存在するよう知覚するように、ウェアラブルシステムのディスプレイによって表示されてもよい。ウェアラブルシステムは、外向きに面したイメージングシステムを使用して、装着者の手(および手の後の任意の背景)を含む領域等の環境の領域をイメージングすることができる。ウェアラブルシステムは、仮想コンテンツ(例えば、ゾウ)がスケーリングされ得、コンテンツが視認されている全体的領域の特定のサブ領域(例えば、手)内の適切なサイズおよび距離に現れるように、装着者の手までの距離を判定することができる。ウェアラブルシステムは、装着者がゾウを装着者の手内に保持しているように場面を現れさせることができる。ゾウの位置は、時間的シーケンスの前半と比較して、時間的シーケンスにおいてゾウがユーザのより近くに現れ得るように、画像毎に変化してもよい。飛び跳ねるゾウの画像は、音(例えば、音声、音楽)を伴うことができる。
(仮想オブジェクトとの相互作用の付加的実施例)
仮想ユーザインターフェースとのユーザ相互作用の実施例として、ウェアラブルシステムのユーザは、人々が踊っている物理的部屋内の仮想オブジェクトを知覚し、それと相互作用することができる。本実施例では、ユーザは、ディスクジョッキー(DJ)であってもよく、ウェアラブルシステムは、DJに、DJの手の移動(例えば、ジェスチャ)によって操作され得る、仮想UIを表示することができる。仮想UIは、DJがUIと相互作用することを可能にする、仮想コンテンツを含むことができる。本実施例では、仮想UIは、踊っている人に再生される音を制御し得る、DJオーディオ制御システムであるように構成されることができる。UIは、ジェスチャを介してDJによって調節され得る、ダイヤル(例えば、ジョグシャトルダイヤル)、スイッチ、スライダ、ボタン、またはターンテーブル等のユーザ入力特徴を含むことができる。仮想UIは、音レベルグラフィックまたはイコライザ等の出力特徴を含むことができる。出力特徴は、音レベルまたはオーディオミックスがDJによって変更されるにつれて、リアルタイムで応答することができる。ウェアラブルシステムの外向きに面したイメージングシステムは、DJの手および腕をイメージングし、DJのジェスチャ(例えば、手または指移動)を判定することができる。判定されたジェスチャに応答して、ウェアラブルシステムは、例えば、音量の増減、音楽のフェーディングまたはパニング、音楽の混合等によって、オーディオを調節することができる。
仮想ユーザインターフェースとのユーザ相互作用の実施例として、ウェアラブルシステムのユーザは、人々が踊っている物理的部屋内の仮想オブジェクトを知覚し、それと相互作用することができる。本実施例では、ユーザは、ディスクジョッキー(DJ)であってもよく、ウェアラブルシステムは、DJに、DJの手の移動(例えば、ジェスチャ)によって操作され得る、仮想UIを表示することができる。仮想UIは、DJがUIと相互作用することを可能にする、仮想コンテンツを含むことができる。本実施例では、仮想UIは、踊っている人に再生される音を制御し得る、DJオーディオ制御システムであるように構成されることができる。UIは、ジェスチャを介してDJによって調節され得る、ダイヤル(例えば、ジョグシャトルダイヤル)、スイッチ、スライダ、ボタン、またはターンテーブル等のユーザ入力特徴を含むことができる。仮想UIは、音レベルグラフィックまたはイコライザ等の出力特徴を含むことができる。出力特徴は、音レベルまたはオーディオミックスがDJによって変更されるにつれて、リアルタイムで応答することができる。ウェアラブルシステムの外向きに面したイメージングシステムは、DJの手および腕をイメージングし、DJのジェスチャ(例えば、手または指移動)を判定することができる。判定されたジェスチャに応答して、ウェアラブルシステムは、例えば、音量の増減、音楽のフェーディングまたはパニング、音楽の混合等によって、オーディオを調節することができる。
別の実施例として、ウェアラブルシステムのユーザは、患者に手術を行っている医師とともに、手術室を視認することができる。ウェアラブルシステムは、ユーザに、手術を受けている患者の解剖学的構造または臓器(心臓等)を表示する仮想コンテンツを提示することができる。仮想臓器の配向および位置は、ジェスチャ(例えば、装着者が心臓の仮想画像に到達し、それを握持または移動させることを介して)またはユーザ入力デバイスを介して調節されることができる。仮想臓器は、心臓の理想化(例えば、教科書画像)または患者の心臓の実際の画像(例えば、外科手術の間に撮影された、または外科手術に先立って事前にマッピングされた)を表すことができる。ウェアラブルシステムのライトフィールドディスプレイ能力(図4-6に説明される)は、装着者が臓器の3D画像を視認することを可能にする。いくつかの実装では、ユーザは、環境内のオブジェクト(仮想および/または物理的オブジェクト)と相互作用するために、環境(例えば、手術室)内に物理的に存在する必要がない。ユーザは、例えば、医師と通信する(例えば、スピーカを介して)、または仮想臓器の仮想画像と相互作用すること等によって、医師のアバタまたは手術室の外観と相互作用することができる。
ユーザはまた、ウェアラブルシステムを使用して、教育的仮想コンテンツを視認し、それと相互作用することができる。本実施例では、教育的仮想コンテンツは、ポインタを保持し、教育的授業の一部として装着者に表示されるグラフィック(例えば、数字)を指示する、アバタ(例えば、生徒に魅力的であって、かつ怖がらせないように設計された創造物)を含むことができる。ウェアラブルシステムと通信する教育的システムは、教育的授業の一部として装着者に提示されるための教育的仮想コンテンツを生成および配信することができる。仮想コンテンツは、テキスト、画像、ビデオ、グラフィック、および音を含むことができる。例えば、アバタは、数学の授業を生徒に説明することができる(例えば、4×5=?)。ある場合には、ウェアラブルシステムは、周囲環境内の音、例えば、生徒の音声を受信することができる、マイクロホンを含む。生徒は、質問を尋ねることができ、ウェアラブルシステム(または教育的システム)は、音声認識技術を使用して、質問を電子フォーマットに変換することができ、教育的システムは、応答をウェアラブルシステムに返信することができる。例えば、アバタは、質問に回答する、仮想コンテンツの異なる部分を指示して(例えば、ワンドを用いて)、回答を説明する等によって、生徒の質問に応答し得る。
別のAR体験では、ウェアラブルシステム(HMD等)のユーザは、物理的オブジェクト(例えば、別の人物および家)および仮想エンターテインメントディスプレイを視認することができる。仮想エンターテインメントディスプレイは、スポーツイベントの提示(本実施例では、バスケットボールの試合)を示す。仮想エンターテインメントディスプレイは、ウェアラブルシステムのユーザに、観戦されている試合または他の試合(例えば、得点、実況中継、試合の再現、プレーヤ統計、順位等)についての情報を提示することができる。仮想エンターテインメントディスプレイは、3Dとして現れることができ、ユーザが、ディスプレイの周囲を移動し、仮想エンターテインメントディスプレイの異なる側(異なるコンテンツ、異なるゲーム、異なるスポーツ、またはさらに異なるエンターテインメントジャンル(例えば、映画)をディスプレイの異なる側に表示することができる)を見ることを可能にする。スポーツイベントは、スポーツイベントが生じるにつれて、リアルタイムでユーザに提示されてもよい。これは、ユーザがスポーツイベントに物理的に存在しない場合でも、ユーザに、スポーツイベントと相互作用する能力を提供する。特定のユーザは、ジェスチャまたはユーザ入力デバイスを使用することによって、仮想エンターテインメントディスプレイを制御してもよい。ある場合には、単一ユーザが、仮想エンターテインメントディスプレイの制御を有する一方、他のユーザは、ディスプレイ上のアクションを鑑賞することができるが、表示されているコンテンツを改変することはできない。他の実装では、仮想エンターテインメントディスプレイは、複数のユーザのアクションの結果として作成または更新されたコンテンツを提示することができる。
(複数のユーザ間の付加的例示的相互作用)
あるグループの人物がそれぞれ、ウェアラブルデバイスを装着するとき、ユーザは、AR/VR/MR環境内で別のユーザと相互作用することができる。例えば、グループ内の人々は、装着しているウェアラブルデバイスを介して、仮想コンテンツ(画像、ビデオ、音、テキスト等を含むことができる)を享受する、それと相互作用する、それを共有する、またはそれを操作する(例えば、ジェスチャを介して)ことができる。
あるグループの人物がそれぞれ、ウェアラブルデバイスを装着するとき、ユーザは、AR/VR/MR環境内で別のユーザと相互作用することができる。例えば、グループ内の人々は、装着しているウェアラブルデバイスを介して、仮想コンテンツ(画像、ビデオ、音、テキスト等を含むことができる)を享受する、それと相互作用する、それを共有する、またはそれを操作する(例えば、ジェスチャを介して)ことができる。
そのようなユーザ相互作用は、仮想ゲーム内で生じてもよい。プレーヤがゲーム内で相互に関わるにつれて、ウェアラブルデバイスは、仮想コンテンツおよび音をウェアラブルデバイスのユーザに提示することができる。本実施例では、ユーザは、物理的オブジェクト(例えば、ベッド、テーブル、窓、およびゲームの別のプレーヤ404)を伴う部屋を知覚することができる。ユーザはまた、他のプレーヤの周囲を飛んでいる、火を吹くドラゴンを知覚することができる。プレーヤの一方または両方は、ジェスチャ(例えば、手またはアームジェスチャ)、トーテム(例えば、ワンド)、またはコントローラまたはインターフェース(物理的または仮想)によって、ドラゴンの位置、移動、およびアクション(例えば、火を吹くかどうか)を制御してもよい。ある場合には、他のプレーヤは、部屋内に物理的に存在せず、物理的に存在するようにウェアラブルデバイスのユーザに表示される(例えば、テレプレゼンスを介して)。例えば、ウェアラブルデバイスは、ゲームをプレーする際、他のプレーヤのアバタ(仮想子供の形態等)を提示することができる。子供のアバタ(およびドラゴン)は、ウェアラブルシステムまたは別のゲーム用システムによって生成され、装着者への表示のために、ウェアラブルシステムに通信されることができる。子供のアバタは、他のプレーヤの実際の外観の表現であってもよい、または他のプレーヤがウェアラブルのユーザによって知覚されるように選定した形態として選択されてもよい。他のプレーヤは、ヒトプレーヤまたは機械プレーヤであることができる。他の実施例では、1人を上回るプレーヤが、装着者の環境内に現れることができる(例えば、部屋内、部屋外に居て、窓を通して見ている等)。画像を装着者から異なる距離(例えば、異なる深度平面)にあるように提示するライトフィールドディスプレイ(例えば、図4-6を参照して説明されるライトフィールドディスプレイ等)の能力は、ゲームの現実性およびプレー性を大幅に向上させることができる。ドラゴンに加え、ウェアラブルデバイスは、随意に、他の情報(例えば、テキストまたはグラフィック)をユーザ(例えば、ゲームプレー統計またはステータス)に表示することができる。
図7を参照して説明されるように、ウェアラブルデバイスは、物理的または仮想環境のマップおよび環境内のオブジェクトを別のウェアラブルデバイスにパスすることができる。例えば、ウェアラブルデバイスは、ユーザの部屋のマップおよび部屋内の仮想オブジェクトを別のユーザのウェアラブルデバイスにパスすることができる。それに応じて、ユーザは、同一環境内に居るように、仮想オブジェクトと相互作用することができる。
(付加的実施形態)
第1の側面では、仮想コンテンツを視認するための方法であって、ユーザの視野内の領域に関連する領域データにアクセスするステップと、領域データを分析し、仮想コンテンツが表示されることになる領域のサブ領域を識別するステップと、領域データおよびサブ領域データに部分的に基づいて、仮想コンテンツにアクセスする、またはそれを生成するステップと、ユーザによって視認されると、仮想コンテンツが領域のサブ領域内または上に配置されるよう現れるように、仮想コンテンツを表示するステップとを含む、方法。
第1の側面では、仮想コンテンツを視認するための方法であって、ユーザの視野内の領域に関連する領域データにアクセスするステップと、領域データを分析し、仮想コンテンツが表示されることになる領域のサブ領域を識別するステップと、領域データおよびサブ領域データに部分的に基づいて、仮想コンテンツにアクセスする、またはそれを生成するステップと、ユーザによって視認されると、仮想コンテンツが領域のサブ領域内または上に配置されるよう現れるように、仮想コンテンツを表示するステップとを含む、方法。
第2の側面では、識別されたサブ領域は、領域内の物理的オブジェクトを備える、側面1に記載の方法。
第3の側面では、領域データは、ユーザの視野内の領域の画像の分析から得られる、側面1または側面2に記載の方法。
第4の側面では、仮想コンテンツは、新しく受信された領域データまたはサブ領域データに部分的に基づいて修正される、側面1から3のいずれか1項に記載の方法。
第5の側面では、ユーザ入力を受信するステップと、少なくとも部分的に、ユーザ入力に基づいて、付加的仮想コンテンツにアクセスする、またはそれを生成するステップと、付加的仮想コンテンツを表示するステップとをさらに含む、側面1から4のいずれか1項に記載の方法。
第6の側面では、サブ領域は、ユーザの近傍の領域の一部を備える、側面1から5のいずれか1項に記載の方法。
第7の側面では、仮想コンテンツと相互作用するための方法であって、仮想コンテンツにアクセスする、またはそれを生成するステップと、仮想コンテンツをユーザの視野内に表示するステップと、仮想コンテンツと関連付けられた仮想ユーザインターフェースを表示するステップと、ユーザ入力を受信するステップと、ユーザ入力と仮想ユーザインターフェースのユーザ入力特徴と関連付けられた機能を関連付けるステップと、機能を行うステップとを含む、方法。
第8の側面では、受信されたユーザ入力に部分的に基づいて、仮想コンテンツを操作または修正するステップをさらに含む、側面7に記載の方法。
第9の側面では、ユーザ入力は、ジェスチャである、側面7から8のいずれか1項に記載の方法。
第10の側面では、ユーザ入力は、ユーザの眼の移動である、側面7から9のいずれか1項に記載の方法。
第11の側面では、仮想コンテンツは、教育的コンテンツまたはエンターテインメントコンテンツを備える、側面7から10のいずれか1項に記載の方法。
第12の側面では、仮想コンテンツまたは仮想ユーザインターフェースは、ユーザによって知覚されるとき、3次元であるように現れる、側面7から11のいずれか1項に記載の方法。
第13の側面では、仮想ユーザインターフェースのユーザ入力特徴は、ダイヤル、スイッチ、スライダ、またはボタンを備える、側面7から12のいずれか1項に記載の方法。
第14の側面では、仮想ユーザインターフェースは、仮想ユーザインターフェースの機能性に関連する情報を表示するように構成される、出力特徴を備える、側面7から13のいずれか1項に記載の方法。
第15の側面では、出力特徴は、リアルタイムで更新される、側面14に記載の方法。
第16の側面では、情報を拡張現実環境内に表示する方法であって、ユーザの場所を判定するステップと、ユーザの視野内の物理的オブジェクトを識別するステップと、少なくとも部分的に、識別された物理的オブジェクトに関連する情報に基づいて、場所または識別された物理的オブジェクトにアクセスする、またはそれを生成するステップと、情報に基づいて、仮想コンテンツを生成するステップと、情報がユーザに物理的オブジェクトと関連付けられて現れるように、仮想コンテンツを表示するステップとを含む、方法。
第17の側面では、仮想コンテンツは、テキスト、画像、グラフィック、またはビデオを備える、側面16に記載の方法。
第18の側面では、表示される仮想コンテンツと関連付けられたオーディオを再生するステップをさらに含む、側面16または側面17に記載の方法。
第19の側面では、少なくとも部分的に、ユーザ入力に基づいて、付加的仮想コンテンツを表示するステップをさらに含む、側面16から18のいずれか1項に記載の方法。
第20の側面では、命令が実行されると、ハードウェアプロセッサが側面1から19のいずれか1項に記載の方法を行うように、実行可能命令でプログラムされる、ハードウェアプロセッサ。
第21の側面では、側面20に記載のハードウェアプロセッサと、画像をウェアラブルディスプレイシステムのユーザの眼に提供するように構成される、ディスプレイとを備える、ウェアラブルディスプレイシステム。
第22の側面では、ディスプレイは、ライトフィールドディスプレイを備える、側面21に記載のウェアラブルディスプレイシステム。
第23の側面では、ディスプレイは、画像を複数の深度平面に表示するように構成される、側面21または側面22に記載のウェアラブルディスプレイシステム。
第24の側面では、物理的オブジェクトを備える領域の画像を捕捉するように構成される、画像捕捉デバイスをさらに備え、ウェアラブルディスプレイシステムは、ユーザによって知覚される仮想コンテンツを物理的オブジェクトのうちの1つまたはそれを上回るものと関連付けられるよう表示するように構成される、側面21から23のいずれか1項に記載のウェアラブルディスプレイシステム。
第25の側面では、3次元(3D)空間内に位置する仮想オブジェクトを選択するための方法であって、コンピュータハードウェアを備える拡張現実(AR)システムの制御下であって、ARシステムは、ユーザの動眼視野(FOR)内の相互作用可能オブジェクトとのユーザ相互作用を可能にするように構成され、FORは、ARシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を備える、ARシステムの制御下で、ユーザのFOR内の相互作用可能オブジェクトのグループを判定するステップと、ユーザの姿勢を判定するステップと、少なくとも部分的に、ユーザの姿勢に基づいて、ユーザの視野(FOV)を判定するステップであって、FOVは、ユーザによって所与の時間に知覚されたFORの一部を備える、ステップと、ユーザの姿勢またはFOVにおける変化に基づいて、ユーザのFOV内に位置する相互作用可能オブジェクトのサブグループを更新するステップと、標的相互作用可能オブジェクトの選択を相互作用可能オブジェクトのサブグループから受信するステップと、選択イベントを標的相互作用可能オブジェクト上で開始するステップとを含む、方法。
第26の側面では、相互作用可能オブジェクトのグループをデータ構造内に記憶するステップをさらに含む、側面25に記載の方法。
第27の側面では、相互作用可能オブジェクトのグループ内の各相互作用可能オブジェクトは、少なくとも部分的に、ユーザのFOV内の相互作用可能オブジェクトの場所に基づいて、データ構造内に表される、側面26に記載の方法。
第28の側面では、場所は、ユーザのFOVの縁からの距離を備える、側面27に記載の方法。
第29の側面では、標的相互作用可能オブジェクトの選択を相互作用可能オブジェクトのサブグループから受信するステップは、第1の入力をユーザデバイスから受信するステップと、第1の入力に応答して、標的相互作用可能オブジェクトを相互作用可能オブジェクトのサブグループから識別するステップとを含む、側面25に記載の方法。
第30の側面では、第2の入力をユーザデバイスから受信するステップと、第2の入力に応答して、相互作用イベントを標的相互作用可能オブジェクト上で開始するステップとをさらに含む、側面25に記載の方法。
第31の側面では、標的相互作用可能オブジェクトは、ユーザのFOVの中央点に最も近い相互作用可能オブジェクトのサブグループ内の相互作用可能オブジェクトである、側面30に記載の方法。
第32の側面では、標的相互作用可能オブジェクトは、ユーザのFOV内の相互作用可能オブジェクトのサブグループ内の最左または最右相互作用可能オブジェクトである、側面30に記載の方法。
第33の側面では、相互作用イベントを開始するステップは、標的相互作用可能オブジェクトのサイズ調整、標的相互作用可能オブジェクトのメニューの表示、標的相互作用可能オブジェクトのメニューのブラウジング、メニュー上の第1のアイテムの選択、データベース内の第2のアイテムの検索、標的相互作用可能オブジェクトと関連付けられたビデオゲームのプレー、ビデオの鑑賞、または電話会議の実施のうちの1つまたはそれを上回るものを含む、側面30-32のいずれか1項に記載の方法。
第34の側面では、標的相互作用可能オブジェクトの選択を受信するステップは、ユーザの姿勢に基づいて、ユーザの視線の経路を判定し、ユーザの視線の経路と交差するオブジェクトを標的相互作用可能オブジェクトとして選択することによって行われる、側面25に記載の方法。
第35の側面では、可視焦点インジケータを標的相互作用可能オブジェクトに割り当てるステップをさらに含む、側面25-34のいずれか1項に記載の方法。
第36の側面では、可視焦点インジケータは、ハイライト、後光背光、色変化、サイズ変化、または標的相互作用可能オブジェクトの知覚された深度における変化を備える、側面35に記載の方法。
第37の側面では、選択イベントを開始するステップは、標的相互作用可能オブジェクトを標的相互作用可能オブジェクトになる異なる相互作用可能オブジェクトに変更するステップ、標的相互作用可能オブジェクトと関連付けられたメニューを開くステップ、またはユーザから標的相互作用可能オブジェクトを選択する確認を受信するステップのうちの1つまたはそれを上回るものを含む、側面25に記載の方法。
第38の側面では、相互作用可能オブジェクトのグループは、仮想オブジェクトを備える、側面25-37のいずれか1項に記載の方法。
第39の側面では、ユーザの姿勢は、眼姿勢を備える、側面25-38のいずれか1項に記載の方法。
第40の側面では、ユーザの姿勢は、頭部姿勢を備える、側面25-39のいずれか1項に記載の方法。
第41の側面では、3次元(3D)空間内に位置する仮想オブジェクトを選択するための拡張現実(AR)システムであって、ディスプレイシステムと、ネットワークインターフェースと、ネットワークインターフェースおよびディスプレイシステムと通信し、ユーザのFOR内の相互作用可能オブジェクトのグループを判定し、ユーザの姿勢を判定し、少なくとも部分的に、ユーザの姿勢に基づいて、ユーザの視野(FOV)を判定し、FOVは、ユーザによって所与の時間に知覚されたFORの一部を備え、ユーザの姿勢またはFOVにおける変化に基づいて、ユーザのFOV内に位置する相互作用可能オブジェクトのサブグループを更新し、標的相互作用可能オブジェクトの選択を相互作用可能オブジェクトのサブグループから受信し、選択イベントを標的相互作用可能オブジェクト上で開始するように構成される、コンピュータプロセッサとを備える、システム。
第42の側面では、コンピュータプロセッサはさらに、相互作用可能オブジェクトのグループをデータ構造内に記憶するように構成される、側面41に記載のシステム。
第43の側面では、相互作用可能オブジェクトのグループ内の1つまたはそれを上回る相互作用可能オブジェクトは、少なくとも部分的に、ユーザのFOV内の相互作用可能オブジェクトの場所に基づいて、データ構造内に表される、側面42に記載のシステム。
第44の側面では、場所は、ユーザのFOVの縁からの距離を備える、側面43に記載のシステム。
第45の側面では、標的相互作用可能オブジェクトの選択を相互作用可能オブジェクトのサブグループから受信するように構成される、コンピュータプロセッサは、第1の入力をユーザデバイスから受信し、第1の入力に応答して、標的相互作用可能オブジェクトを相互作用可能オブジェクトのサブグループから識別することを含む、側面41-44のいずれか1項に記載のシステム。
第46の側面では、標的相互作用可能オブジェクトは、ユーザのFOVの中央点に最も近い相互作用可能オブジェクトのサブグループ内の相互作用可能オブジェクトである、側面41-45のいずれか1項に記載のシステム。
第47の側面では、標的相互作用可能オブジェクトは、ユーザのFOV内の相互作用可能オブジェクトのサブグループ内の最左または最右相互作用可能オブジェクトである、側面41-45のいずれか1項に記載のシステム。
第48の側面では、標的相互作用可能オブジェクトの選択を相互作用可能オブジェクトのサブグループから受信するように構成される、コンピュータプロセッサは、ユーザの姿勢に基づいて、ユーザの視線の経路を判定し、ユーザの視線の経路と交差するオブジェクトを標的相互作用可能オブジェクトとして選択することを含む、側面41-47に記載のシステム。
第49の側面では、コンピュータプロセッサはさらに、可視焦点インジケータを標的相互作用可能オブジェクトに割り当てるように構成される、側面41-48のいずれか1項に記載のシステム。
第50の側面では、可視焦点インジケータは、ハイライト、後光背光、色変化、サイズ変化、または標的相互作用可能オブジェクトの知覚された深度における変化を備える、側面49に記載のシステム。
第51の側面では、選択イベントを開始するように構成される、コンピュータプロセッサは、標的相互作用可能オブジェクトを標的相互作用可能オブジェクトになる異なる相互作用可能オブジェクトに変更すること、標的相互作用可能オブジェクトと関連付けられたメニューを開くこと、またはユーザから標的相互作用可能オブジェクトを選択する確認を受信することのうちの1つまたはそれを上回るものを含む、側面41-50に記載のシステム。
第52の側面では、相互作用可能オブジェクトのグループは、仮想オブジェクトを備える、側面41-51のいずれか1項に記載の方法。
第53の側面では、ユーザの姿勢は、眼姿勢を備える、側面41-52のいずれか1項に記載の方法。
第54の側面では、ユーザの姿勢は、頭部姿勢を備える、側面51-53のいずれか1項に記載の方法。
第55の側面では、3次元(3D)空間内の仮想オブジェクトと相互作用するためのシステムであって、複数の相互作用可能オブジェクトを表示するための拡張現実ディスプレイと、ユーザ入力デバイスと、ユーザの姿勢を判定するように構成される、1つまたはそれを上回るセンサと、1つまたはそれを上回るプロセッサであって、1つまたはそれを上回るプロセッサは、仮想オブジェクトを選択するために、第1のユーザ入力モードと第2のユーザ入力モードとの間で切り替えるように構成され、第1のユーザ入力モードは、少なくとも部分的に、ユーザの姿勢に基づき、第2のユーザ入力モードは、少なくとも部分的に、ユーザ入力デバイスからの信号に基づき、さらに、システムが第1のユーザ入力モードで動作している間、ユーザの姿勢を監視し、少なくとも部分的に、監視される姿勢に基づいて、第1のユーザ入力モードと関連付けられた第1の焦点インジケータをユーザの姿勢に関連する方向に表示し、第2のユーザ入力モードに切り替えるためのインジケーションを受信し、インジケーションはさらに、標的相互作用可能オブジェクトの選択を示し、システムが第2のユーザ入力モードで動作している間、ユーザ入力デバイスからのユーザ入力を監視し、少なくとも部分的に、監視されるユーザ入力に基づいて、第2のユーザ入力モードと関連付けられた第2の焦点インジケータを表示するように構成される、1つまたはそれを上回るプロセッサとを備える、システム。
第56の側面では、第1の焦点インジケータは、第1の形状におけるカーソルを備え、第2の焦点インジケータは、第2の形状におけるカーソルを備える、側面55に記載のシステム。
第57の側面では、第1の形状は、十字線を備え、第2の形状は、矢印を備える、側面56に記載のシステム。
第58の側面では、1つまたはそれを上回るプロセッサはさらに、第1の焦点インジケータまたは第2の焦点インジケータの場所と関連付けられたコンテキスト情報を判定し、少なくとも部分的に、コンテキスト情報に基づいて、異なるユーザ入力モードに切り替えるためのオプションを表示するように構成される、側面55に記載のシステム。
第59の側面では、標的相互作用可能オブジェクトは、1つまたはそれを上回る仮想オブジェクトを備える、側面55-58のいずれか1項に記載のシステム。
第60の側面では、ユーザの姿勢は、頭部姿勢、眼姿勢、または身体姿勢のうちの少なくとも1つを備える、側面55-59のいずれか1項に記載のシステム。
第61の側面では、ユーザ入力デバイスは、親指パッド、トラックパッド、Dパッド、またはタッチスクリーンである、側面55-60のいずれか1項に記載のシステム。
第62の側面では、3次元(3D)空間内に位置する相互作用可能オブジェクトを選択するための方法であって、コンピュータハードウェアを備える拡張現実(AR)システムの制御下であって、ARシステムは、ユーザの動眼視野(FOR)内の相互作用可能オブジェクトとのユーザ相互作用を可能にするように構成され、FORは、ARシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を備え、ARシステムは、ユーザ入力デバイスをさらに備える、ARシステムの制御下で、ユーザのFOR内の仮想オブジェクトと関連付けられた相互作用可能オブジェクトのグループを判定するステップと、ユーザの姿勢を判定するステップと、少なくとも部分的に、ユーザの姿勢に基づいて、相互作用可能オブジェクトのグループから標的相互作用可能オブジェクトを判定するステップと、焦点インジケータと選択された標的相互作用可能オブジェクトを関連付けるステップと、少なくとも部分的に、ユーザ入力デバイスの入力に基づいて、選択イベントを選択された標的表面上で開始するステップとを含む、方法。
第63の側面では、標的相互作用可能オブジェクトを判定するステップは、レイキャスティングによって行われる、側面62に記載の方法。
第64の側面では、レイキャスティングは、光線束を投じるステップを含む、側面63に記載の方法。
第65の側面では、レイキャスティングは、実質的横方向幅を伴う光線を投じるステップを含む、側面63に記載の方法。
第66の側面では、焦点インジケータは、ユーザに可視である、側面62に記載の方法。
第67の側面では、焦点インジケータをユーザに表示するステップをさらに含む、側面66に記載の方法。
第68の側面では、少なくとも部分的に、ユーザの姿勢に基づいて、ユーザの視野(FOV)を判定するステップであって、FOVは、ユーザによって所与の時間に知覚されたFORの一部を備える、ステップと、視野(FOV)内の1つまたはそれを上回る相互作用可能オブジェクトのコンテキスト情報にアクセスするステップと、少なくとも部分的に、コンテキスト情報に基づいて、ユーザ入力モードのための1つまたはそれを上回るオプションを提供するステップとをさらに含む、側面62に記載の方法。
第69の側面では、ユーザ入力モードのためのオプションの選択を受信するステップと、現在のユーザ入力モードを判定するステップと、現在のユーザ入力モードが選択されたオプションと異なることの判定に応答して、現在のユーザ入力モードを選択されたオプションに更新するステップとをさらに含む、側面68に記載の方法。
第70の側面では、焦点インジケータを更新し、現在のユーザ入力モードが変更されたことを示すステップをさらに含む、側面69に記載の方法。
第71の側面では、ユーザ入力モードは、ユーザの姿勢またはユーザ入力デバイスのうちの1つまたはそれを上回るものを含む、側面70に記載の方法。
第72の側面では、相互作用可能オブジェクトのグループは、1つまたはそれを上回る仮想ユーザインターフェース平面を備える、側面62-71のいずれか1項に記載の方法。
第73の側面では、ユーザの姿勢は、眼姿勢、頭部姿勢、または身体姿勢のうちの少なくとも1つを備える、側面62-72のいずれか1項に記載の方法。
第74の側面では、3次元(3D)環境内の仮想オブジェクトと相互作用するための方法であって、コンピュータハードウェアを備える拡張現実(AR)システムの制御下であって、ARシステムは、ユーザの動眼視野(FOR)内の相互作用可能オブジェクトとのユーザ相互作用を可能にするように構成され、FORは、ARシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を備え、ARシステムは、ユーザ入力デバイスをさらに備える、ARシステムの制御下で、ユーザの姿勢を判定するステップと、標的相互作用可能オブジェクトと関連付けられた第1の焦点インジケータをユーザの姿勢に関連する方向に表示するステップであって、標的相互作用可能オブジェクトは、複数の仮想オブジェクトを備える、ステップと、標的相互作用可能オブジェクトの選択を受信するステップと、複数の仮想オブジェクトを表示するステップと、標的仮想オブジェクトと関連付けられた第2の焦点インジケータを表示するステップと少なくとも部分的に、ユーザ入力デバイスからの入力に基づいて、第2の焦点インジケータを更新するステップとを含む、方法。
第75の側面では、第1の焦点インジケータは、第1の形状におけるカーソルを備え、第2の焦点インジケータは、第2の形状におけるカーソルを備える、側面74に記載の方法。
第76の側面では、第1の形状は、十字線を備え、第2の形状は、矢印を備える、側面75に記載の方法。
第77の側面では、ユーザの姿勢は、頭部姿勢、眼姿勢、または身体姿勢のうちの少なくとも1つを備える、側面74-76のいずれか1項に記載の方法。
第78の側面では、ユーザ入力デバイスは、親指パッド、トラックパッド、Dパッド、またはタッチスクリーンである、側面74-77のいずれか1項に記載の方法。
第79の側面では、3次元(3D)空間内の仮想オブジェクトと相互作用するための方法であって、コンピュータハードウェアを備える拡張現実(AR)システムの制御下であって、ARシステムは、ユーザの動眼視野(FOR)内の相互作用可能オブジェクトとのユーザ相互作用を可能にするように構成され、FORは、ARシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を備え、ARシステムは、ユーザ入力デバイスをさらに備える、ARシステムの制御下で、ARシステムが第1のユーザ入力モードであって、少なくとも部分的に、ユーザの姿勢に基づく、第1のユーザ入力モードで動作している間、ユーザの姿勢を監視するステップと、少なくとも部分的に、監視される姿勢に基づいて、第1のユーザ入力モードと関連付けられた第1の焦点インジケータをユーザの姿勢に関連する方向に表示するステップと、第2のユーザ入力モードに切り替えるためのインジケーションを受信するステップであって、インジケーションはさらに、標的相互作用可能オブジェクトの選択を示す、ステップと、ARシステムが、第2のユーザ入力モードであって、少なくとも部分的に、ユーザ入力デバイスからの信号に基づく、第2のユーザ入力モードで動作している間、ユーザ入力デバイスからのユーザ入力を監視するステップと、少なくとも部分的に、監視されるユーザ入力に基づいて、第2のユーザ入力モードと関連付けられた、第2の焦点インジケータを表示するステップとを含む、方法。
第80の側面では、第1の焦点インジケータは、第1の形状におけるカーソルを備え、第2の焦点インジケータは、第2の形状におけるカーソルを備える、側面79に記載の方法。
第81の側面では、第1の形状は、十字線を備え、第2の形状は、矢印を備える、側面80に記載の方法。
第82の側面では、第1の焦点インジケータまたは第2の焦点インジケータの場所と関連付けられたコンテキスト情報を判定するステップと、少なくとも部分的に、コンテキスト情報に基づいて、異なるユーザ入力モードに切り替えるためのオプションを表示するステップとをさらに含む、側面79に記載の方法。
第83の側面では、標的相互作用可能オブジェクトは、1つまたはそれを上回る仮想オブジェクトを備える、側面79-82のいずれか1項に記載の方法。
第84の側面では、ユーザの姿勢は、頭部姿勢、眼姿勢、または身体姿勢のうちの少なくとも1つを備える、側面79-83のいずれか1項に記載の方法。
第85の側面では、ユーザ入力デバイスは、親指パッド、トラックパッド、Dパッド、またはタッチスクリーンである、側面79-84のいずれか1項に記載の方法。
第86の側面では、側面62-85のいずれか1項に記載の方法を行うようにプログラムされる、コンピュータハードウェアを備える、拡張現実デバイス。
第87の側面では、ウェアラブルデバイスのためのユーザ入力モードを変更するためのシステムであって、3次元(3D)ビューをユーザに提示するように構成される、ウェアラブルデバイスのディスプレイシステムであって、3Dビューは、相互作用可能オブジェクトを備える、ウェアラブルデバイスのディスプレイシステムと、ユーザ入力を受信するように構成される、ユーザ入力デバイスと、ユーザの姿勢と関連付けられたデータを取得するように構成される、センサと、ユーザ入力デバイスと通信する、ハードウェアプロセッサであって、相互作用可能オブジェクトと相互作用するための現在のユーザ入力モードが、第1のユーザ入力モードであるかまたは第2のユーザ入力モードであるかを判定し、第1のユーザ入力モードは、少なくとも部分的に、ユーザの姿勢に基づき、第2のユーザ入力モードは、少なくとも部分的に、ユーザ入力デバイスからのユーザ入力に基づき、現在のユーザ入力モードが第1のユーザ入力モードであることの判定に応答して、センサを使用して、ユーザの姿勢を監視し、ディスプレイシステムを介して、少なくとも部分的に、監視される姿勢に基づいて、第1のユーザ入力モードと関連付けられた第1の形状における焦点インジケータをユーザの姿勢に関連する方向に提示し、第1のインジケーションを受信し、第2のユーザ入力モードに切り替え、第1のインジケーションに応答して、現在のユーザ入力モードを第2のユーザ入力モードに切り替え、現在のユーザ入力モードが第2のユーザ入力モードであることの判定に応答して、ユーザ入力デバイスからのユーザ入力を監視し、ディスプレイシステムを介して、少なくとも部分的に、監視される入力に基づいて、第2のユーザ入力モードと関連付けられた第2の形状における焦点インジケータを提示し、第2のインジケーションを受信し、第1のユーザ入力モードに切り替え、第2のインジケーションに応答して、現在のユーザ入力モードを第1のユーザ入力モードに切り替えるようにプログラムされる、プロセッサとを備える、システム。
第88の側面では、ユーザの姿勢は、頭部姿勢、眼姿勢、足姿勢、または身体姿勢のうちの少なくとも1つを備える、またはセンサは、内向きに面したイメージングシステム、外向きに面したイメージングシステム、または慣性測定ユニットのうちの少なくとも1つを備える、またはディスプレイシステムは、相互作用可能オブジェクトのうちの1つまたはそれを上回るものを複数の深度平面に表示するように構成される、ライトフィールドディスプレイを備える、側面87に記載のシステム。
第89の側面では、プロセッサはさらに、少なくとも部分的に、ユーザの姿勢に基づいて、ユーザの視野(FOV)を判定し、FOVは、ユーザによって所与の時間に知覚されたユーザの環境の一部を備え、FOVと関連付けられたコンテキスト情報を判定し、コンテキスト情報は、FOV内の相互作用可能オブジェクトのレイアウト、FOVのサイズ、ユーザのFOV内の相互作用可能オブジェクトのうちの1つまたはそれを上回るもののサイズのうちの少なくとも1つを備え、少なくとも部分的に、コンテキスト情報に基づいて、第1のユーザ入力モードから第2のユーザ入力モードに、または、第2のユーザ入力モードから第1のユーザ入力モードに切り替えるためのオプションを提示するようにプログラムされる、側面87-88のいずれか1項に記載のシステム。
第90の側面では、オプションを提示するために、プロセッサは、現在のユーザ入力モードが第1のユーザ入力モードにあるとき、第2の形状における焦点インジケータを提示し、現在のユーザ入力モードが第2のユーザ入力モードにあるとき、第1の形状における焦点インジケータを提示するようにプログラムされる、側面89に記載のシステム。
第91の側面では、第1のインジケーションは、ユーザの姿勢における変化を備え、第2のインジケーションは、ユーザ入力デバイスの作動を備える、側面87-90のいずれか1項に記載のシステム。
第92の側面では、ウェアラブルデバイスのためのユーザ入力モードを変更するための方法であって、コンピュータプロセッサを備えるウェアラブルデバイスの制御下であって、ウェアラブルデバイスは、ユーザの動眼視野(FOR)内の相互作用可能オブジェクトとのユーザ相互作用を可能にするように構成され、FORは、ウェアラブルデバイスのディスプレイシステムを介してユーザによって知覚可能なユーザの周囲の環境の一部を備える、ウェアラブルデバイスの制御下で、ユーザの姿勢を判定するステップと、ディスプレイシステムを介して、標的相互作用可能オブジェクトと関連付けられた第1の焦点インジケータをユーザの姿勢に関連する方向に表示するステップであって、標的相互作用可能オブジェクトは、複数の仮想オブジェクトを備える、ステップと、標的相互作用可能オブジェクトの選択を受信するステップと、ユーザ入力モードを姿勢からユーザ入力デバイス上での手のジェスチャに切り替えるためのオプションをユーザに提示するステップと、ディスプレイシステムを介して、複数の仮想オブジェクトを表示するステップと、ユーザがユーザ入力モードを姿勢からユーザ入力デバイス上での手のジェスチャに切り替えたことの判定に応答して、ディスプレイシステムを介して、複数の仮想オブジェクトのうちの標的仮想オブジェクトと関連付けられた第2の焦点インジケータを表示するステップと、少なくとも部分的に、ユーザ入力デバイスからのユーザ入力に基づいて、第2の焦点インジケータを更新するステップとを含む、方法。
第93の側面では、オプションは、標的相互作用可能オブジェクトの選択または複数の仮想オブジェクトまたは標的相互作用可能オブジェクトと関連付けられたコンテキスト情報に応答して提示される、側面92に記載の方法。
第94の側面では、コンテキスト情報は、複数の仮想オブジェクトの密度を備え、ユーザ入力モードを姿勢からユーザ入力デバイス上での手のジェスチャに切り替えるためのオプションは、複数の仮想オブジェクトの密度が閾値密度を超えることの判定に応答して提示される、側面93に記載の方法。
第95の側面では、標的仮想オブジェクトは、少なくとも部分的に、ユーザの姿勢に基づいて、識別される、側面92-94のいずれか1項に記載の方法。
第96の側面では、第2の焦点インジケータを更新するステップは、第2の焦点インジケータを標的仮想オブジェクトから複数の仮想オブジェクトのうちの別の仮想オブジェクトに移行するステップを含む、側面92-95のいずれか1項に記載の方法。
第97の側面では、選択イベントを標的仮想オブジェクト上で開始するステップをさらに備え、選択イベントは、標的仮想オブジェクトと関連付けられたメニューを開くステップまたは標的仮想オブジェクトを選択するインジケーションを受信するステップのうちの少なくとも1つをさらに含む、側面92-96のいずれか1項に記載の方法。
第98の側面では、複数の仮想オブジェクトは、天気アプリケーションまたは天文学アプリケーションのうちの少なくとも1つを備え、天気アプリケーションの選択に応答して、ウェアラブルデバイスは、ユーザの環境内のオブジェクト上に重畳された仮想天気情報を表示するようにプログラムされ、天文学アプリケーションの選択に応答して、ウェアラブルデバイスは、ユーザの環境上に重畳された3次元仮想惑星を備える相互作用可能惑星系を表示するようにプログラムされる、側面92-97のいずれか1項に記載の方法。
第99の側面では、3次元(3D)空間内に位置する仮想オブジェクトを選択するためのウェアラブルシステムであって、仮想オブジェクトを3D空間内に提示するように構成される、ディスプレイシステムと、相互作用可能オブジェクトを3D空間内に記憶するように構成される、非一過性データ記憶と、ユーザの姿勢を判定するように構成される、センサと、ディスプレイシステム、データ記憶、およびセンサと通信し、少なくとも部分的に、センサから受信されたデータに基づいて、ユーザの姿勢を判定し、少なくとも部分的に、ユーザの姿勢に基づいて、ユーザの視野(FOV)を判定し、FOVは、ユーザによって所与の時間に知覚されたユーザの環境の一部を備え、FOV内の相互作用可能オブジェクトのグループを識別し、少なくとも部分的に、ユーザの姿勢に基づいて、FOV内の標的相互作用可能オブジェクトを識別し、標的相互作用可能オブジェクトと関連付けられた選択イベントを開始するようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルシステム。
第100の側面では、相互作用可能オブジェクトのグループは、データ構造内に記憶され、各相互作用可能オブジェクトと関連付けられたインデックスは、少なくとも部分的に、3D空間内の相互作用可能オブジェクトの位置に基づいて、判定される、側面99に記載のウェアラブルシステム。
第101の側面では、標的相互作用可能オブジェクト上での選択イベントの開始に応答して、ウェアラブルシステムのプロセッサは、2次元(2D)インターフェース内に、3D空間内の標的相互作用可能オブジェクトの閾値範囲内の仮想オブジェクトを提示するようにプログラムされる、側面99-100のいずれか1項に記載のウェアラブルシステム。
第102の側面では、2Dインターフェースは、ユーザ入力デバイスを介して相互作用可能である、側面101に記載のウェアラブルシステム。
第103の側面では、FOV内の標的相互作用可能オブジェクトを識別するために、プロセッサは、ユーザの姿勢に基づいて、ユーザの視線の経路を判定し、視線の経路と交差する相互作用可能オブジェクトを標的相互作用可能オブジェクトとして選択するステップ、またはユーザのFOV内の最左または最右相互作用可能オブジェクトを標的相互作用可能オブジェクトとして選択するステップであって、最左または最右相互作用可能オブジェクトは、少なくとも部分的に、相互作用可能オブジェクトのグループと関連付けられたインデックスに基づいて選択される、ステップのうちの少なくとも1つを行うように構成される、側面99-102のいずれか1項に記載のウェアラブルシステム。
第104の側面では、プロセッサは、ユーザ入力デバイスからの入力の受信またはユーザの姿勢の変化の検出のうちの少なくとも1つに応答して、選択イベントを開始するように構成される、側面99-103のいずれか1項に記載のウェアラブルシステム。
第105の側面では、プロセッサはさらに、標的相互作用可能オブジェクトと関連付けられた焦点インジケータを提示するように構成される、側面99-104のいずれか1項に記載のウェアラブルシステム。
第106の側面では、ユーザの場所と関連付けられたデータを取得するように構成される、ジオロケーションセンサをさらに備え、標的相互作用可能オブジェクトは、ジオロケーションセンサによって取得されたデータに基づいて、ユーザの場所を判定し、遠隔コンピューティングデバイスと通信し、ユーザの場所に基づいて、天気データを取得し、天気データと関連付けられた仮想要素を生成し、仮想要素をユーザの3D空間内に重畳するようにプログラムされる、天気アプリケーションを備える、側面99-105のいずれか1項に記載のウェアラブルシステム。
(結論)
本明細書に説明される、および/または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
本明細書に説明される、および/または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能(例えば、論理または算術)またはステップを実装するための1つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行に、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
本プロセス、方法、およびシステムは、ネットワーク(または分散)コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、パーソナルエリアネットワーク(PAN)、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいてアクションするものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの1つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
とりわけ、「~できる(can)」、「~し得る(could)」、「~し得る(might)」、「~し得る(may)」、「例えば(e.g.,)」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および/またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および/またはステップが、1つまたはそれを上回る実施形態に対していかようにも要求されること、または1つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および/またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「~を備える」、「~を含む」、「~を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され(およびその排他的意味において使用されず)、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの1つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「a」、「an」、および「the」は、別様に規定されない限り、「1つまたはそれを上回る」または「少なくとも1つ」を意味するように解釈されるべきである。
本明細書で使用されるように、項目のリスト「のうちの少なくとも1つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「A、B、またはCのうちの少なくとも1つ」は、A、B、C、AおよびB、AおよびC、BおよびC、およびA、B、およびCを網羅することが意図される。語句「X、Y、およびZのうちの少なくとも1つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がX、Y、またはZのうちの少なくとも1つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Xのうちの少なくとも1つ、Yのうちの少なくとも1つ、およびZのうちの少なくとも1つがそれぞれ存在するように要求することを示唆することを意図されない。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される必要はない、または、全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で1つまたはそれを上回る例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、1つまたはそれを上回る付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。
Claims (14)
- 3次元(3D)空間内に位置する仮想オブジェクトを選択するための方法であって、前記方法は、
コンピュータハードウェアを備える拡張現実(AR)システムであって、前記ARシステムは、ユーザの視野(FOV)内の相互作用可能オブジェクトとのユーザ相互作用を可能にするように構成される、ARシステムの制御下で、
前記ユーザの前記FOV内の相互作用可能オブジェクトのグループを判定することと、
前記相互作用可能オブジェクトのサブグループから、標的相互作用可能オブジェクトを、前記標的相互作用可能オブジェクトの相対的位置に基づいて識別することであって、前記標的相互作用可能オブジェクトの前記相対的位置は、前記相互作用可能オブジェクトのサブグループのうちの他のオブジェクトに対して、前記ユーザのFOVの中央点に最も近い、前記ユーザのFOV内で最左、および/または前記ユーザのFOV内で最右のうちの少なくとも1つを含む、ことと、
選択イベントを前記標的相互作用可能オブジェクト上で開始することと
を行うことを含む、方法。 - 前記相互作用可能オブジェクトのグループをデータ構造内に記憶することをさらに含む、請求項1に記載の方法。
- 前記データ構造内に記憶された前記相互作用可能オブジェクトのグループ内の各相互作用可能オブジェクトのインデックスは、少なくとも部分的に、対応する相互作用可能オブジェクトの場所に基づいて判定される、請求項2に記載の方法。
- 前記場所は、基準位置からの前記相互作用可能オブジェクトのグループ内の各相互作用可能オブジェクトの距離を備える、請求項3に記載の方法。
- 前記相互作用可能オブジェクトのサブグループからの前記標的相互作用可能オブジェクトの選択を受信することをさらに含む、請求項1に記載の方法。
- 前記相互作用可能オブジェクトのサブグループからの前記標的相互作用可能オブジェクトの前記選択を受信することは、
第1の入力をユーザデバイスから受信することと、
前記第1の入力を受信することに応答して、前記標的相互作用可能オブジェクトを前記相互作用可能オブジェクトのサブグループから識別することと
を含む、請求項1に記載の方法。 - 第2の入力を前記ユーザデバイスから受信することと、
前記第2の入力を受信することに応答して、相互作用イベントを前記標的相互作用可能オブジェクト上で開始することと
をさらに含む、請求項6に記載の方法。 - 前記相互作用イベントを開始することは、
前記標的相互作用可能オブジェクトをサイズ調整すること、
前記標的相互作用可能オブジェクトのメニューを表示すること、
前記標的相互作用可能オブジェクトの前記メニューをブラウジングすること、
前記メニュー上の第1のアイテムを選択すること、
データベース内の第2のアイテムを検索すること、
前記標的相互作用可能オブジェクトと関連付けられたビデオゲームをプレーすること、
ビデオを鑑賞すること、または
電話会議を実施すること
のうちの1つ以上を含む、請求項7に記載の方法。 - 前記標的相互作用可能オブジェクトの前記選択を受信することは、
前記ユーザの前記姿勢に基づいて、前記ユーザの視線の経路を判定することと、
前記ユーザの視線の前記経路と交差するオブジェクトを前記標的相互作用可能オブジェクトとして選択することと
を含む、請求項5に記載の方法。 - 可視焦点インジケータを前記標的相互作用可能オブジェクトに割り当てることをさらに含む、請求項1に記載の方法。
- 前記可視焦点インジケータは、ハイライト、後光背光、色変化、サイズ変化、または前記標的相互作用可能オブジェクトの知覚された深度における変化のうちの少なくとも1つを備える、請求項10に記載の方法。
- 前記選択イベントを開始することは、
前記標的相互作用可能オブジェクトを前記標的相互作用可能オブジェクトになる異なる相互作用可能オブジェクトに変更すること、
前記標的相互作用可能オブジェクトと関連付けられたメニューを開くこと、または
前記ユーザから前記標的相互作用可能オブジェクトを選択する確認を受信すること
のうちの1つ以上を含む、請求項1に記載の方法。 - 前記相互作用可能オブジェクトのグループは、仮想オブジェクトを備える、請求項1に記載の方法。
- 前記ユーザの前記姿勢は、眼姿勢または頭部姿勢を備える、請求項1に記載の方法。
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562244115P | 2015-10-20 | 2015-10-20 | |
US62/244,115 | 2015-10-20 | ||
US201662301422P | 2016-02-29 | 2016-02-29 | |
US62/301,422 | 2016-02-29 | ||
US201662316179P | 2016-03-31 | 2016-03-31 | |
US62/316,179 | 2016-03-31 | ||
JP2018519943A JP6831840B2 (ja) | 2015-10-20 | 2016-10-18 | 3次元空間内の仮想オブジェクトの選択 |
JP2021012808A JP7296995B2 (ja) | 2015-10-20 | 2021-01-29 | 3次元空間内の仮想オブジェクトの選択 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021012808A Division JP7296995B2 (ja) | 2015-10-20 | 2021-01-29 | 3次元空間内の仮想オブジェクトの選択 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023121761A true JP2023121761A (ja) | 2023-08-31 |
Family
ID=58524174
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018519943A Active JP6831840B2 (ja) | 2015-10-20 | 2016-10-18 | 3次元空間内の仮想オブジェクトの選択 |
JP2021012808A Active JP7296995B2 (ja) | 2015-10-20 | 2021-01-29 | 3次元空間内の仮想オブジェクトの選択 |
JP2023097014A Pending JP2023121761A (ja) | 2015-10-20 | 2023-06-13 | 3次元空間内の仮想オブジェクトの選択 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018519943A Active JP6831840B2 (ja) | 2015-10-20 | 2016-10-18 | 3次元空間内の仮想オブジェクトの選択 |
JP2021012808A Active JP7296995B2 (ja) | 2015-10-20 | 2021-01-29 | 3次元空間内の仮想オブジェクトの選択 |
Country Status (10)
Country | Link |
---|---|
US (5) | US10521025B2 (ja) |
EP (2) | EP3365724B1 (ja) |
JP (3) | JP6831840B2 (ja) |
KR (2) | KR102641655B1 (ja) |
CN (2) | CN108369345B (ja) |
AU (2) | AU2016341196B2 (ja) |
CA (1) | CA3002369A1 (ja) |
IL (3) | IL258705B (ja) |
NZ (1) | NZ741866A (ja) |
WO (1) | WO2017070121A1 (ja) |
Families Citing this family (129)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6684559B2 (ja) * | 2015-09-16 | 2020-04-22 | 株式会社バンダイナムコエンターテインメント | プログラムおよび画像生成装置 |
CA3002369A1 (en) | 2015-10-20 | 2017-04-27 | Magic Leap, Inc. | Selecting virtual objects in a three-dimensional space |
EP3417307A4 (en) * | 2016-02-18 | 2019-09-11 | Edx Technologies, Inc. | SYSTEMS AND METHODS FOR AUGMENTED REALITY DISPLAYS OF NETWORKS |
US10048751B2 (en) * | 2016-03-31 | 2018-08-14 | Verizon Patent And Licensing Inc. | Methods and systems for gaze-based control of virtual reality media content |
US10586391B2 (en) * | 2016-05-31 | 2020-03-10 | Accenture Global Solutions Limited | Interactive virtual reality platforms |
WO2018005692A1 (en) | 2016-06-28 | 2018-01-04 | Against Gravity Corp . | Systems and methods for detecting collaborative virtual gestures |
WO2018009844A1 (en) * | 2016-07-07 | 2018-01-11 | Google Llc | Methods and apparatus to determine objects to present in virtual reality environments |
CA3031771A1 (en) | 2016-07-25 | 2018-02-01 | Magic Leap, Inc. | Imaging modification, display and visualization using augmented and virtual reality eyewear |
US10678397B2 (en) * | 2016-09-26 | 2020-06-09 | Htc Corporation | Method for providing demonstration information in simulation environment, and associated simulation system |
WO2018090056A2 (en) * | 2016-11-14 | 2018-05-17 | Taqtile | Cross-platform multi-modal virtual collaboration and holographic maps |
KR102563846B1 (ko) | 2016-11-16 | 2023-08-03 | 매직 립, 인코포레이티드 | 머리-장착 디스플레이 시스템들을 위한 다해상도 디스플레이 어셈블리 |
JP6996115B2 (ja) * | 2017-05-29 | 2022-01-17 | セイコーエプソン株式会社 | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 |
JP2018097141A (ja) * | 2016-12-13 | 2018-06-21 | 富士ゼロックス株式会社 | 頭部装着型表示装置、仮想物体表示システム |
US11644669B2 (en) | 2017-03-22 | 2023-05-09 | Magic Leap, Inc. | Depth based foveated rendering for display systems |
IL269432B2 (en) | 2017-03-24 | 2023-10-01 | Magic Leap Inc | Safe accumulation and transfer of iris codes |
JP6714280B2 (ja) * | 2017-03-28 | 2020-06-24 | 株式会社ノーニューフォークスタジオ | 情報処理システム、情報処理方法、情報処理プログラム |
EP4220258A1 (en) | 2017-04-19 | 2023-08-02 | Magic Leap, Inc. | Multimodal task execution and text editing for a wearable system |
JP7141410B2 (ja) | 2017-05-01 | 2022-09-22 | マジック リープ, インコーポレイテッド | 空間的3d環境に対するコンテンツのマッチング |
WO2019005622A1 (en) | 2017-06-30 | 2019-01-03 | Pcms Holdings, Inc. | METHOD AND APPARATUS FOR GENERATING AND DISPLAYING 360-DEGREE VIDEO BASED ON FOLLOW-UP OF THE LOOK AND PHYSIOLOGICAL MEASUREMENTS |
US20190019011A1 (en) * | 2017-07-16 | 2019-01-17 | Tsunami VR, Inc. | Systems and methods for identifying real objects in an area of interest for use in identifying virtual content a user is authorized to view using an augmented reality device |
CN107396086A (zh) * | 2017-07-28 | 2017-11-24 | 歌尔科技有限公司 | 基于vr头戴设备播放视频的方法及vr头戴设备 |
US20190043241A1 (en) * | 2017-08-03 | 2019-02-07 | Facebook, Inc. | Generating animations on a social-networking system |
US10943399B2 (en) | 2017-08-28 | 2021-03-09 | Microsoft Technology Licensing, Llc | Systems and methods of physics layer prioritization in virtual environments |
US10366291B2 (en) | 2017-09-09 | 2019-07-30 | Google Llc | Systems, methods, and apparatus for providing image shortcuts for an assistant application |
CN109557677A (zh) * | 2017-09-26 | 2019-04-02 | 歌尔科技有限公司 | 显示设备和方法 |
US11861136B1 (en) * | 2017-09-29 | 2024-01-02 | Apple Inc. | Systems, methods, and graphical user interfaces for interacting with virtual reality environments |
CN107678551B (zh) * | 2017-10-19 | 2021-12-28 | 京东方科技集团股份有限公司 | 手势识别方法和装置、电子设备 |
CN107908278B (zh) * | 2017-10-20 | 2020-04-28 | 华为技术有限公司 | 一种虚拟现实vr界面生成的方法和装置 |
US10678333B2 (en) * | 2017-11-14 | 2020-06-09 | Verizon Patent And Licensing Inc. | Methods and systems for presenting haptically perceptible virtual objects |
US10671238B2 (en) * | 2017-11-17 | 2020-06-02 | Adobe Inc. | Position-dependent modification of descriptive content in a virtual reality environment |
KR20230108356A (ko) | 2017-12-22 | 2023-07-18 | 매직 립, 인코포레이티드 | 혼합 현실 시스템에서 가상 콘텐츠를 관리하고 디스플레이하기위한 방법들 및 시스템 |
CN108319363A (zh) * | 2018-01-09 | 2018-07-24 | 北京小米移动软件有限公司 | 基于vr的产品展示方法、装置及电子设备 |
KR20200108857A (ko) | 2018-01-17 | 2020-09-21 | 매직 립, 인코포레이티드 | 디스플레이와 사용자의 눈들 사이의 정합을 결정하기 위한 디스플레이 시스템들 및 방법들 |
IL275822B2 (en) | 2018-01-17 | 2024-02-01 | Magic Leap Inc | Eye center for determining rotation, choosing depth plane and processing camera position in display systems |
US11114199B2 (en) | 2018-01-25 | 2021-09-07 | Mako Surgical Corp. | Workflow systems and methods for enhancing collaboration between participants in a surgical procedure |
US10540941B2 (en) | 2018-01-30 | 2020-01-21 | Magic Leap, Inc. | Eclipse cursor for mixed reality displays |
US11567627B2 (en) | 2018-01-30 | 2023-01-31 | Magic Leap, Inc. | Eclipse cursor for virtual content in mixed reality displays |
EP3756079A4 (en) | 2018-02-22 | 2021-04-28 | Magic Leap, Inc. | OBJECT GENERATION WITH PHYSICAL MANIPULATION |
JP7112502B2 (ja) | 2018-02-22 | 2022-08-03 | マジック リープ, インコーポレイテッド | 複合現実システムのためのブラウザ |
CN112136094A (zh) | 2018-03-16 | 2020-12-25 | 奇跃公司 | 用于显示系统的基于深度的凹式渲染 |
US10408972B1 (en) * | 2018-04-20 | 2019-09-10 | Adam Baker | System and method for lightning strike prediction and warning |
US10861242B2 (en) | 2018-05-22 | 2020-12-08 | Magic Leap, Inc. | Transmodal input fusion for a wearable system |
CN112219205B (zh) | 2018-06-05 | 2022-10-25 | 奇跃公司 | 内容到空间3d环境的匹配 |
US11157159B2 (en) | 2018-06-07 | 2021-10-26 | Magic Leap, Inc. | Augmented reality scrollbar |
US11243083B2 (en) * | 2018-06-11 | 2022-02-08 | International Business Machines Corporation | Implementing route generation with augmented reality |
US11733824B2 (en) * | 2018-06-22 | 2023-08-22 | Apple Inc. | User interaction interpreter |
US10852853B2 (en) * | 2018-06-28 | 2020-12-01 | Dell Products L.P. | Information handling system touch device with visually interactive region |
US10795502B2 (en) | 2018-06-28 | 2020-10-06 | Dell Products L.P. | Information handling system touch device with adaptive haptic response |
US10664101B2 (en) | 2018-06-28 | 2020-05-26 | Dell Products L.P. | Information handling system touch device false touch detection and mitigation |
US10761618B2 (en) | 2018-06-28 | 2020-09-01 | Dell Products L.P. | Information handling system touch device with automatically orienting visual display |
US10817077B2 (en) | 2018-06-28 | 2020-10-27 | Dell Products, L.P. | Information handling system touch device context aware input tracking |
US10635199B2 (en) | 2018-06-28 | 2020-04-28 | Dell Products L.P. | Information handling system dynamic friction touch device for touchscreen interactions |
US11169601B2 (en) * | 2018-07-12 | 2021-11-09 | Toyota Research Institute, Inc. | Methods and systems for determining teleoperating user intent via eye tracking |
CN111198609A (zh) * | 2018-11-16 | 2020-05-26 | 广东虚拟现实科技有限公司 | 交互显示方法、装置、电子设备及存储介质 |
WO2020023542A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Display systems and methods for determining registration between a display and eyes of a user |
US10665206B2 (en) | 2018-07-30 | 2020-05-26 | Honeywell International Inc. | Method and system for user-related multi-screen solution for augmented reality for use in performing maintenance |
CN109144349A (zh) * | 2018-08-07 | 2019-01-04 | 西交利物浦大学 | 一种虚拟、增强或混合现实头显运动方向识别方法及系统 |
CN109407935A (zh) * | 2018-09-14 | 2019-03-01 | 歌尔科技有限公司 | 一种虚拟现实显示控制方法、装置和系统 |
WO2020059277A1 (ja) * | 2018-09-20 | 2020-03-26 | 富士フイルム株式会社 | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
JP7365355B2 (ja) * | 2018-10-09 | 2023-10-19 | 古野電気株式会社 | 映像生成装置及び映像生成方法 |
WO2020081677A2 (en) * | 2018-10-17 | 2020-04-23 | Meta View, Inc. | Systems and methods to provide a mobile computing platform as a physical interface tool for an interactive space |
CN111309142A (zh) | 2018-12-11 | 2020-06-19 | 托比股份公司 | 用于切换显示设备的输入模态的方法和设备 |
KR102174039B1 (ko) * | 2018-12-12 | 2020-11-04 | 한국광기술원 | 증강현실을 이용하여 어디에서도 파일을 편집할 수 있는 장치 및 방법 |
CN109766006B (zh) * | 2019-01-02 | 2021-02-05 | 京东方科技集团股份有限公司 | 虚拟现实场景的显示方法、装置及设备 |
TWI707251B (zh) | 2019-01-03 | 2020-10-11 | 晶翔機電股份有限公司 | 用於依靠一穿戴裝置而與一虛擬實境互動的操作方法及其操作裝置 |
US11320911B2 (en) * | 2019-01-11 | 2022-05-03 | Microsoft Technology Licensing, Llc | Hand motion and orientation-aware buttons and grabbable objects in mixed reality |
JP7440532B2 (ja) | 2019-04-03 | 2024-02-28 | マジック リープ, インコーポレイテッド | 複合現実システムを用いて仮想3次元空間内のウェブページを管理および表示すること |
US10978019B2 (en) | 2019-04-15 | 2021-04-13 | XRSpace CO., LTD. | Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium |
EP3734416A1 (en) * | 2019-04-30 | 2020-11-04 | XRSpace CO., LTD. | Head mounted display system capable of indicating a tracking unit to track a hand gesture or a hand movement of a user or not, related method and related non-transitory computer readable storage medium |
EP3734415A1 (en) * | 2019-04-30 | 2020-11-04 | XRSpace CO., LTD. | Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium |
WO2020236827A1 (en) | 2019-05-20 | 2020-11-26 | Magic Leap, Inc. | Systems and techniques for estimating eye pose |
USD962981S1 (en) | 2019-05-29 | 2022-09-06 | Magic Leap, Inc. | Display screen or portion thereof with animated scrollbar graphical user interface |
CN110164440B (zh) * | 2019-06-03 | 2022-08-09 | 交互未来(北京)科技有限公司 | 基于捂嘴动作识别的语音交互唤醒电子设备、方法和介质 |
CN110276840B (zh) | 2019-06-21 | 2022-12-02 | 腾讯科技(深圳)有限公司 | 多虚拟角色的控制方法、装置、设备及存储介质 |
JP2021005157A (ja) * | 2019-06-25 | 2021-01-14 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置および画像処理方法 |
CN110308794A (zh) * | 2019-07-04 | 2019-10-08 | 郑州大学 | 具有两种显示模式的虚拟现实头盔及显示模式的控制方法 |
US20220301217A1 (en) * | 2019-07-05 | 2022-09-22 | Magic Leap, Inc. | Eye tracking latency enhancements |
KR102252110B1 (ko) * | 2019-08-07 | 2021-05-17 | 한국과학기술연구원 | 중첩된 가상 오브젝트의 용이하고 정확한 선택을 지원하는 사용자 인터페이스 장치 및 이의 제어 방법 |
US10943388B1 (en) * | 2019-09-06 | 2021-03-09 | Zspace, Inc. | Intelligent stylus beam and assisted probabilistic input to element mapping in 2D and 3D graphical user interfaces |
US11176745B2 (en) | 2019-09-20 | 2021-11-16 | Facebook Technologies, Llc | Projection casting in virtual environments |
US11086406B1 (en) | 2019-09-20 | 2021-08-10 | Facebook Technologies, Llc | Three-state gesture virtual controls |
US10991163B2 (en) * | 2019-09-20 | 2021-04-27 | Facebook Technologies, Llc | Projection casting in virtual environments |
US11189099B2 (en) | 2019-09-20 | 2021-11-30 | Facebook Technologies, Llc | Global and local mode virtual object interactions |
US11170576B2 (en) | 2019-09-20 | 2021-11-09 | Facebook Technologies, Llc | Progressive display of virtual objects |
US11086476B2 (en) * | 2019-10-23 | 2021-08-10 | Facebook Technologies, Llc | 3D interactions with web content |
US11493989B2 (en) * | 2019-11-08 | 2022-11-08 | Magic Leap, Inc. | Modes of user interaction |
KR20210063928A (ko) | 2019-11-25 | 2021-06-02 | 삼성전자주식회사 | 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법 |
US11175730B2 (en) | 2019-12-06 | 2021-11-16 | Facebook Technologies, Llc | Posture-based virtual space configurations |
EP4073689A4 (en) | 2019-12-09 | 2022-12-14 | Magic Leap, Inc. | SYSTEMS AND PROCEDURES FOR THE OPERATION OF A USER IDENTIFICATION-BASED HEAD-MOUNTED DISPLAY |
US11475639B2 (en) | 2020-01-03 | 2022-10-18 | Meta Platforms Technologies, Llc | Self presence in artificial reality |
CN111246014B (zh) * | 2020-01-13 | 2021-04-06 | 维沃移动通信有限公司 | 通话方法、头戴式设备及介质 |
US11354026B1 (en) * | 2020-01-28 | 2022-06-07 | Apple Inc. | Method and device for assigning an operation set |
JP2021162993A (ja) * | 2020-03-31 | 2021-10-11 | ソニーグループ株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
CN111459288B (zh) * | 2020-04-23 | 2021-08-03 | 捷开通讯(深圳)有限公司 | 一种运用头控实现语音输入的方法和装置 |
US11257280B1 (en) | 2020-05-28 | 2022-02-22 | Facebook Technologies, Llc | Element-based switching of ray casting rules |
US11256336B2 (en) | 2020-06-29 | 2022-02-22 | Facebook Technologies, Llc | Integration of artificial reality interaction modes |
KR20220003254A (ko) * | 2020-07-01 | 2022-01-10 | 삼성전자주식회사 | 증강 현실을 제공하는 전자 장치 및 그 방법 |
JP2023536064A (ja) | 2020-07-23 | 2023-08-23 | マジック リープ, インコーポレイテッド | 交互サンプリングを使用した眼追跡 |
US11176755B1 (en) | 2020-08-31 | 2021-11-16 | Facebook Technologies, Llc | Artificial reality augments and surfaces |
US11227445B1 (en) | 2020-08-31 | 2022-01-18 | Facebook Technologies, Llc | Artificial reality augments and surfaces |
US11178376B1 (en) | 2020-09-04 | 2021-11-16 | Facebook Technologies, Llc | Metering for display modes in artificial reality |
US11816759B1 (en) * | 2020-09-24 | 2023-11-14 | Apple Inc. | Split applications in a multi-user communication session |
US11562528B2 (en) | 2020-09-25 | 2023-01-24 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
US20220101002A1 (en) * | 2020-09-30 | 2022-03-31 | Kyndryl, Inc. | Real-world object inclusion in a virtual reality experience |
TWI761976B (zh) * | 2020-09-30 | 2022-04-21 | 幻景啟動股份有限公司 | 互動系統 |
US10989783B1 (en) * | 2020-10-26 | 2021-04-27 | Listen Technologies Corporation | False positive immunity in beacon systems, and related systems, methods, and devices |
EP4244821A1 (en) * | 2020-11-10 | 2023-09-20 | Noderix Teknoloji Sanayi Ticaret Anonim Sirketi | Systems and methods for personalized and interactive extended reality experiences |
US11113893B1 (en) | 2020-11-17 | 2021-09-07 | Facebook Technologies, Llc | Artificial reality environment with glints displayed by an extra reality device |
EP4195005A1 (en) * | 2020-12-17 | 2023-06-14 | Samsung Electronics Co., Ltd. | Electronic device and operation method of electronic device |
US11461973B2 (en) | 2020-12-22 | 2022-10-04 | Meta Platforms Technologies, Llc | Virtual reality locomotion via hand gesture |
US11409405B1 (en) | 2020-12-22 | 2022-08-09 | Facebook Technologies, Llc | Augment orchestration in an artificial reality environment |
KR20220091141A (ko) * | 2020-12-23 | 2022-06-30 | 삼성전자주식회사 | 센서 어레이를 포함하는 전자 장치 및 그 제어 방법 |
US11954242B2 (en) | 2021-01-04 | 2024-04-09 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
CN113673292A (zh) * | 2021-01-14 | 2021-11-19 | 南方科技大学 | 一种电容成像传感器及手势形态感知方法 |
US11294475B1 (en) | 2021-02-08 | 2022-04-05 | Facebook Technologies, Llc | Artificial reality multi-modal input switching model |
US11804040B2 (en) * | 2021-03-17 | 2023-10-31 | Qualcomm Incorporated | Keypoint-based sampling for pose estimation |
WO2022220459A1 (en) * | 2021-04-14 | 2022-10-20 | Samsung Electronics Co., Ltd. | Method and electronic device for selective magnification in three dimensional rendering systems |
JP2022163813A (ja) * | 2021-04-15 | 2022-10-27 | キヤノン株式会社 | 装着型の情報端末、その制御方法及びプログラム |
US11295503B1 (en) | 2021-06-28 | 2022-04-05 | Facebook Technologies, Llc | Interactive avatars in artificial reality |
US11762952B2 (en) | 2021-06-28 | 2023-09-19 | Meta Platforms Technologies, Llc | Artificial reality application lifecycle |
US20230082420A1 (en) * | 2021-09-13 | 2023-03-16 | Qualcomm Incorporated | Display of digital media content on physical surface |
US11798247B2 (en) | 2021-10-27 | 2023-10-24 | Meta Platforms Technologies, Llc | Virtual object structures and interrelationships |
US11748944B2 (en) | 2021-10-27 | 2023-09-05 | Meta Platforms Technologies, Llc | Virtual object structures and interrelationships |
WO2023075894A1 (en) * | 2021-11-01 | 2023-05-04 | Microsoft Technology Licensing, Llc. | Real-time gestures in shared electronic canvases |
US11893205B2 (en) | 2021-11-01 | 2024-02-06 | Microsoft Technology Licensing, Llc | Real-time gestures in shared electronic canvases |
US20230259199A1 (en) * | 2022-02-15 | 2023-08-17 | Google Llc | Selection of real-world objects using a wearable device |
US20240062484A1 (en) * | 2022-08-16 | 2024-02-22 | Perfect Mobile Corp. | Systems and methods for rendering an augmented reality object with adaptive zoom feature |
US11947862B1 (en) * | 2022-12-30 | 2024-04-02 | Meta Platforms Technologies, Llc | Streaming native application content to artificial reality devices |
US11861030B1 (en) * | 2023-08-17 | 2024-01-02 | Datchat, Inc. | Technology platform for providing secure group-based access to sets of digital assets |
Family Cites Families (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
US6776480B2 (en) | 2001-07-18 | 2004-08-17 | Sola International Holdings, Ltd. | Spectacle frames for shaped lenses defined by monoformal carrier surfaces |
US6885363B2 (en) | 2002-05-09 | 2005-04-26 | Gateway, Inc. | Pointing device dwell time |
USD514570S1 (en) | 2004-06-24 | 2006-02-07 | Microsoft Corporation | Region of a fingerprint scanning device with an illuminated ring |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
JP4895352B2 (ja) * | 2006-02-07 | 2012-03-14 | 任天堂株式会社 | 対象選択プログラム、対象選択装置、対象選択システム、および対象選択方法 |
US20080211771A1 (en) | 2007-03-02 | 2008-09-04 | Naturalpoint, Inc. | Approach for Merging Scaled Input of Movable Objects to Control Presentation of Aspects of a Shared Virtual Environment |
WO2010118292A1 (en) * | 2009-04-09 | 2010-10-14 | Dynavox Systems, Llc | Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods |
US20100265182A1 (en) * | 2009-04-20 | 2010-10-21 | Microsoft Corporation | Context-based state change for an adaptive input device |
US20100325572A1 (en) * | 2009-06-23 | 2010-12-23 | Microsoft Corporation | Multiple mouse character entry |
KR101647722B1 (ko) * | 2009-11-13 | 2016-08-23 | 엘지전자 주식회사 | 영상표시장치 및 그 동작방법 |
US8884984B2 (en) * | 2010-10-15 | 2014-11-11 | Microsoft Corporation | Fusing virtual content into real content |
US20120113223A1 (en) | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
KR101997852B1 (ko) | 2010-12-24 | 2019-10-01 | 매직 립, 인코포레이티드 | 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템 |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
WO2012154620A2 (en) | 2011-05-06 | 2012-11-15 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
US8912979B1 (en) * | 2011-07-14 | 2014-12-16 | Google Inc. | Virtual window in head-mounted display |
WO2013028813A1 (en) * | 2011-08-23 | 2013-02-28 | Microsoft Corporation | Implicit sharing and privacy control through physical behaviors using sensor-rich devices |
US8942913B2 (en) * | 2011-09-20 | 2015-01-27 | Infosys Limited | System and method for on-road traffic density analytics using video stream mining and statistical techniques |
EP2760363A4 (en) | 2011-09-29 | 2015-06-24 | Magic Leap Inc | TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION |
US20130104085A1 (en) | 2011-10-21 | 2013-04-25 | Digital Artforms, Inc. | Systems and methods for human-computer interaction using a two handed interface |
EP3974041A1 (en) | 2011-10-28 | 2022-03-30 | Magic Leap, Inc. | System and method for augmented and virtual reality |
CN107664847B (zh) | 2011-11-23 | 2021-04-06 | 奇跃公司 | 三维虚拟和增强现实显示系统 |
EP2841991B1 (en) | 2012-04-05 | 2020-01-08 | Magic Leap, Inc. | Wide-field of view (fov) imaging devices with active foveation capability |
US9798457B2 (en) * | 2012-06-01 | 2017-10-24 | Microsoft Technology Licensing, Llc | Synchronization of media interactions using context |
EP2859403B1 (en) | 2012-06-11 | 2022-10-19 | Magic Leap, Inc. | Multiple depth plane three-dimensional display using a wave guide reflector array projector |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
WO2014043196A1 (en) | 2012-09-11 | 2014-03-20 | Magic Leap, Inc | Ergonomic head mounted display device and optical system |
US9310611B2 (en) * | 2012-09-18 | 2016-04-12 | Qualcomm Incorporated | Methods and systems for making the use of head-mounted displays less obvious to non-users |
KR102507206B1 (ko) | 2013-01-15 | 2023-03-06 | 매직 립, 인코포레이티드 | 초고해상도 스캐닝 섬유 디스플레이 |
WO2014129105A1 (ja) | 2013-02-22 | 2014-08-28 | ソニー株式会社 | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ制御プログラム |
KR20230173231A (ko) * | 2013-03-11 | 2023-12-26 | 매직 립, 인코포레이티드 | 증강 및 가상 현실을 위한 시스템 및 방법 |
NZ735754A (en) | 2013-03-15 | 2019-04-26 | Magic Leap Inc | Display system and method |
US9335547B2 (en) * | 2013-03-25 | 2016-05-10 | Seiko Epson Corporation | Head-mounted display device and method of controlling head-mounted display device |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US9329682B2 (en) | 2013-06-18 | 2016-05-03 | Microsoft Technology Licensing, Llc | Multi-step virtual object selection |
US20140376773A1 (en) * | 2013-06-21 | 2014-12-25 | Leap Motion, Inc. | Tunable operational parameters in motion-capture and touchless interface operation |
US10228242B2 (en) | 2013-07-12 | 2019-03-12 | Magic Leap, Inc. | Method and system for determining user input based on gesture |
US9437170B1 (en) * | 2013-08-12 | 2016-09-06 | Roberto Quevedo Montesdeoca | Systems and methods for augmented reality display |
WO2015057994A1 (en) | 2013-10-16 | 2015-04-23 | Kaji Masamune | Virtual or augmented reality headsets having adjustable interpupillary distance |
CN109298526B (zh) * | 2013-11-27 | 2021-09-07 | 奇跃公司 | 虚拟和增强现实系统与方法 |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
US9244539B2 (en) * | 2014-01-07 | 2016-01-26 | Microsoft Technology Licensing, Llc | Target positioning with gaze tracking |
JP6509883B2 (ja) | 2014-01-31 | 2019-05-08 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 多焦点表示システムおよび方法 |
US10386636B2 (en) | 2014-01-31 | 2019-08-20 | Magic Leap, Inc. | Multi-focal display system and method |
US10303324B2 (en) * | 2014-02-10 | 2019-05-28 | Samsung Electronics Co., Ltd. | Electronic device configured to display three dimensional (3D) virtual space and method of controlling the electronic device |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
AU2015297036B2 (en) | 2014-05-09 | 2017-09-28 | Google Llc | Systems and methods for discerning eye signals and continuous biometric identification |
USD759657S1 (en) | 2014-05-19 | 2016-06-21 | Microsoft Corporation | Connector with illumination region |
KR102193052B1 (ko) | 2014-05-30 | 2020-12-18 | 매직 립, 인코포레이티드 | 가상 또는 증강 현실 장치로 가상 콘텐츠 디스플레이를 생성하기 위한 방법들 및 시스템들 |
USD752529S1 (en) | 2014-06-09 | 2016-03-29 | Comcast Cable Communications, Llc | Electronic housing with illuminated region |
USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
US10101803B2 (en) * | 2015-08-26 | 2018-10-16 | Google Llc | Dynamic switching and merging of head, gesture and touch input in virtual reality |
CA3002369A1 (en) | 2015-10-20 | 2017-04-27 | Magic Leap, Inc. | Selecting virtual objects in a three-dimensional space |
USD805734S1 (en) | 2016-03-04 | 2017-12-26 | Nike, Inc. | Shirt |
USD794288S1 (en) | 2016-03-11 | 2017-08-15 | Nike, Inc. | Shoe with illuminable sole light sequence |
-
2016
- 2016-10-18 CA CA3002369A patent/CA3002369A1/en active Pending
- 2016-10-18 JP JP2018519943A patent/JP6831840B2/ja active Active
- 2016-10-18 IL IL258705A patent/IL258705B/en unknown
- 2016-10-18 CN CN201680074220.6A patent/CN108369345B/zh active Active
- 2016-10-18 KR KR1020187014283A patent/KR102641655B1/ko active IP Right Grant
- 2016-10-18 US US15/296,869 patent/US10521025B2/en active Active
- 2016-10-18 WO PCT/US2016/057554 patent/WO2017070121A1/en active Application Filing
- 2016-10-18 NZ NZ741866A patent/NZ741866A/en unknown
- 2016-10-18 AU AU2016341196A patent/AU2016341196B2/en active Active
- 2016-10-18 EP EP16858075.1A patent/EP3365724B1/en active Active
- 2016-10-18 KR KR1020247006073A patent/KR20240028564A/ko active Search and Examination
- 2016-10-18 IL IL307648A patent/IL307648A/en unknown
- 2016-10-18 EP EP21165266.4A patent/EP3862852A1/en active Pending
- 2016-10-18 IL IL293873A patent/IL293873B2/en unknown
- 2016-10-18 CN CN202110417965.0A patent/CN113220116A/zh active Pending
-
2019
- 2019-11-13 US US16/682,794 patent/US11175750B2/en active Active
-
2021
- 2021-01-29 JP JP2021012808A patent/JP7296995B2/ja active Active
- 2021-11-12 US US17/454,793 patent/US11507204B2/en active Active
- 2021-12-09 AU AU2021282503A patent/AU2021282503C1/en not_active Expired - Fee Related
-
2022
- 2022-11-04 US US17/981,311 patent/US11733786B2/en active Active
-
2023
- 2023-06-13 JP JP2023097014A patent/JP2023121761A/ja active Pending
- 2023-07-03 US US18/346,722 patent/US20230350504A1/en active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7296995B2 (ja) | 3次元空間内の仮想オブジェクトの選択 | |
JP7209041B2 (ja) | 姿勢および複数のdofコントローラを用いた3d仮想オブジェクトとの相互作用 | |
JP7123148B2 (ja) | 複合現実ディスプレイにおける仮想コンテンツのための掩蔽カーソル | |
JP7118007B2 (ja) | 視野周辺の視覚的背光 | |
CN113196209A (zh) | 在任何位置渲染位置特定的虚拟内容 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230613 |