CN111771179A - 用于确定显示器与用户的眼睛之间的配准的显示系统和方法 - Google Patents
用于确定显示器与用户的眼睛之间的配准的显示系统和方法 Download PDFInfo
- Publication number
- CN111771179A CN111771179A CN201980014647.0A CN201980014647A CN111771179A CN 111771179 A CN111771179 A CN 111771179A CN 201980014647 A CN201980014647 A CN 201980014647A CN 111771179 A CN111771179 A CN 111771179A
- Authority
- CN
- China
- Prior art keywords
- eye
- user
- display
- volume
- display system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 131
- 210000001508 eye Anatomy 0.000 claims abstract description 812
- 238000012545 processing Methods 0.000 claims description 87
- 230000000007 visual effect Effects 0.000 claims description 46
- 210000003128 head Anatomy 0.000 claims description 42
- 210000004087 cornea Anatomy 0.000 claims description 38
- 238000003384 imaging method Methods 0.000 claims description 36
- 238000004891 communication Methods 0.000 claims description 22
- 230000004044 response Effects 0.000 claims description 22
- 210000001061 forehead Anatomy 0.000 claims description 17
- 238000009877 rendering Methods 0.000 abstract description 127
- 230000000694 effects Effects 0.000 abstract description 3
- 210000001747 pupil Anatomy 0.000 description 132
- 230000003287 optical effect Effects 0.000 description 99
- 238000004422 calculation algorithm Methods 0.000 description 38
- 230000006978 adaptation Effects 0.000 description 33
- 230000008569 process Effects 0.000 description 32
- 238000001514 detection method Methods 0.000 description 30
- 210000001331 nose Anatomy 0.000 description 25
- 238000010606 normalization Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 15
- 238000000605 extraction Methods 0.000 description 14
- 210000001525 retina Anatomy 0.000 description 13
- 230000004438 eyesight Effects 0.000 description 11
- 230000015556 catabolic process Effects 0.000 description 10
- 238000006731 degradation reaction Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 10
- 230000008447 perception Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000010168 coupling process Methods 0.000 description 7
- 238000005859 coupling reaction Methods 0.000 description 7
- 238000002347 injection Methods 0.000 description 7
- 239000007924 injection Substances 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 7
- 230000000284 resting effect Effects 0.000 description 7
- 230000029777 axis specification Effects 0.000 description 6
- 210000000744 eyelid Anatomy 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 230000004308 accommodation Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 5
- 230000004434 saccadic eye movement Effects 0.000 description 5
- 210000002159 anterior chamber Anatomy 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 206010019233 Headaches Diseases 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 210000000720 eyelash Anatomy 0.000 description 3
- 231100000869 headache Toxicity 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000008649 adaptation response Effects 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000004418 eye rotation Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 210000003786 sclera Anatomy 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000014616 translation Effects 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 241000284156 Clerodendrum quadriloculare Species 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 208000036366 Sensation of pressure Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000004470 vergence movement Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
- A61B3/111—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring interpupillary distance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/40—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
- G02B2027/0174—Head mounted characterised by optical features holographic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
Abstract
可穿戴设备可包括用于渲染看起来位于显示器的用户的周围环境中的三维(3D)虚拟对象的头戴式显示器(HMD)。HMD和用户的一只或多只眼睛的相对位置可不在期望的位置以接收或配准由HMD输出的图像信息。例如，HMD到眼睛的对准针对不同的用户而变化并且可随时间变化(例如，当给定的用户四处移动时或随着HMD滑动或以其他方式移位时)。可穿戴设备可确定HMD和用户的眼睛之间的相对位置或对准方式。基于该相对位置，可穿戴设备可确定其是否正确地适配到用户，可向用户提供关于适配的质量的反馈，并且可采取措施来减小或最小化任何未对准的影响。
Description
相关申请的交叉引用
本申请要求2018年3月16日提交的题为“DISPLAY SYSTEMS AND METHODS FORDETERMINING REGISTRATION BETWEEN A DISPLAY AND A USER'S EYES(用于确定显示器和用户的眼睛之间的配准的显示系统和方法)”的美国临时专利申请62/644321、2018年1月17日提交的题为“EYE CENTER OF ROTATION DETERMINATION,DEPTH PLANE SELECTION,ANDRENDER CAMERA POSITIONING IN DISPLAY SYSTEMS(显示系统中的眼睛中心旋转确定、深度平面选择和渲染相机定位)”的美国临时专利申请62/618559、以及2018年7月24日提交的题为“EYE CENTER OF ROTATION DETERMINATION,DEPTH PLANE SELECTION,AND RENDERCAMERA POSITIONING IN DISPLAY SYSTEMS(显示系统中的眼睛中心旋转确定、深度平面选择和渲染相机定位)”的美国临时专利申请62/702849的优先权。上述申请中的每一个均通过引用整体并入本文。
本申请通过引用并入以下每个专利申请和出版物的全部：2014年11月27日提交的美国申请号14/555585，2015年7月23日公开为美国公开号2015/0205126；2015年4月18日提交的美国申请号14/690401，2015年10月22日公开为美国公开号2015/0302652；2014年3月14日提交的美国申请号14/212,961，现为2016年8月16日发布的美国专利9,417,452；2014年7月14日提交的美国申请号14/331218，2015年10月29日公开为美国公开号2015/0309263；美国专利公开号2016/0270656；2015年6月25日公开的美国专利公开号2015/0178939；美国专利公开号2015/0016777；美国专利申请号15/274823；美国专利申请号15/296,869；2017年9月27日提交的美国专利申请号15/717747；2017年4月26日提交的美国专利申请号15/497726；2017年2月23日公开的美国专利公开号2017/0053165；2017年2月23日公开的美国专利公开号2017/0053166；2016年11月2日提交的美国申请号15/341,760，于2017年5月4日公开为美国公开号2017/0122725；2016年11月2日提交的美国申请号15/341822，于2017年5月4日公开为美国公开号2017/0124928；2018年1月17日提交的美国临时专利申请号62/618559；以及2018年3月14日提交的美国临时专利申请号62/642761。
技术领域
本公开涉及包括虚拟现实和增强现实显示系统的显示系统，并且更具体地，涉及用于评估显示器在用户上的适配(fit)的系统和方法。
背景技术
现代的计算和显示技术已经促进了用于所谓的“虚拟现实”、“增强现实”或“混合现实”体验的系统的发展，其中，以它们看起来是真实的或者可被感知为是真实的方式向用户呈现数字再现的图像或其一部分。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，而对其他实际现实世界视觉输入不透明；增强现实或“AR”场景通常涉及数字或虚拟图像信息的呈现，以作为对用户周围现实世界的可视化增强；混合现实或“MR”与融合现实世界和虚拟世界有关，以产生物理和虚拟对象共存并实时交互的新环境。事实证明，人类的视觉感知系统非常复杂，产生促进虚拟图像元素尤其其他虚拟或现实图像元素的舒适、感觉自然、丰富的呈现的VR、AR或MR技术是具有挑战性的。本文公开的系统和方法解决了与VR、AR和MR技术有关的各种挑战。
发明内容
公开了混合现实系统中的配准观察和响应的各种示例。
在一些实施例中，提供了一种用于将光投射到用户的眼睛以显示虚拟图像内容的显示系统。该显示系统包括：被配置为支撑在用户的头部上的框架；设置在该框架上的头戴式显示器，该显示器被配置为将光投射到用户的眼睛中以显示具有不同波前发散量的虚拟图像内容以呈现看起来在不同时间段位于不同深度的虚拟图像内容；被配置为对用户的眼睛成像的一个或多个眼睛跟踪相机；以及与该显示器和该一个或多个眼睛跟踪相机通信的处理电子器件。该处理电子器件被配置为：基于通过该一个或多个眼睛跟踪相机获得的眼睛的图像来确定眼睛的位置；确定该眼睛的位置是否在头戴式显示系统的显示配准体积内；以及基于确定该眼睛的位置是否在显示配准体积内来提供通知，其中，该通知至少指示该显示器和该眼睛未被正确配准。
在一些其他实施例中，一种显示系统被配置为将光投射到用户的眼睛以显示虚拟图像内容。该显示系统包括：被配置为支撑在用户的头部上的框架；设置在该框架上的头戴式显示器，该显示器被配置为将光投射到用户的眼睛中以显示具有不同波前发散量的虚拟图像内容以呈现看起来在不同时间段位于不同深度的虚拟图像内容；被配置为对用户的眼睛成像的一个或多个眼睛跟踪相机；以及与该显示器和该一个或多个眼睛跟踪相机通信的处理电子器件。该处理电子器件被配置为：基于通过该一个或多个眼睛跟踪相机获得的眼睛的图像来确定眼睛的位置；确定该眼睛的位置是否在该头戴式显示系统的视体积之外大于第一阈值距离；以及响应于确定该眼睛的位置在头戴式显示系统的视体积之外大于第一阈值距离，向用户提供指示该显示器和该眼睛未正确配准的反馈，以用于输出。
在一些其他实施例中，提供了一种用于将光投射到用户的眼睛以显示虚拟图像内容的显示系统。该显示系统包括：被配置为支撑在用户的头部上的框架；设置在该框架上的头戴式显示器，该显示器被配置为将光投射到用户的眼睛中以显示具有不同波前发散量的虚拟图像内容以呈现看起来在不同时间段位于不同深度的虚拟图像内容；被配置为对用户的眼睛成像的一个或多个眼睛跟踪相机；以及与该显示器和该一个或多个眼睛跟踪相机通信的处理电子器件。该处理电子器件被配置为：确定由头戴式显示器投射的光是否被用户的眼睛正确地配准，并且如果头戴式显示器没有被正确地调整为适配用户以配准显示系统投射的光，则向用户提供反馈。
在其他实施例中，提供了一种用于通过用户的眼睛评估来自头戴式显示系统的虚拟图像内容的配准的方法。该方法包括：确定眼睛的第一位置；确定眼睛的第一位置是否在头戴式显示系统的显示配准体积内，其中，该显示配准体积是与相对于用户的眼睛正确适配头戴式显示系统相关联的假想体积；以及基于确定该眼睛的位置是否在显示配准体积内来提供通知，其中，该通知至少指示该显示器和该眼睛未被正确配准。
下面列举实施例的附加示例。
示例1.一种被配置为将光投射到用户的眼睛以显示虚拟图像内容的显示系统，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
设置在所述框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以显示具有不同波前发散量的虚拟图像内容，以呈现看起来在不同时间段位于不同深度的虚拟图像内容；
一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛成像；以及
与所述显示器和所述一个或多个眼睛跟踪相机通信的处理电子器件，所述处理电子器件被配置为：
基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像来确定所述眼睛的位置；
确定所述眼睛的所述位置是否在所述头戴式显示系统的显示配准体积内；以及
基于确定所述眼睛的所述位置是否在所述显示配准体积内来提供通知，其中，所述通知至少指示所述显示器和所述眼睛未被正确配准。
示例2.根据示例1所述的显示系统，其中，所述处理电子器件还被配置为：在确定所述眼睛的所述位置在所述显示配准体积之外时，向所述用户提供所述头戴式显示器未被正确地调整以适配所述用户的反馈，其中，所述反馈是基于确定所述眼睛的所述位置是否在所述显示配准体积内而提供的所述通知。
示例3.根据示例1所述的显示系统，还包括至少一个可互换适配件，其可拆卸地安装到所述框架并被配置为调整所述框架的适配。
示例4.根据示例3所述的显示系统，其中，所述可互换适配件包括可互换鼻梁，其被配置为调整所述框架在所述框架和所述用户的鼻梁之间的适配。
示例5.根据示例3或4所述的显示系统，其中，所述可互换适配件包括可互换前额垫，其被配置为调整所述框架在所述框架和所述用户的前额之间的适配。
示例6.根据示例3至5中任一项所述的显示系统，其中，所述可互换适配件包括可互换后部垫，其被配置为调整所述框架在所述框架和所述用户的头部的后部之间的适配。
示例7.根据示例2至6中任一项所述的显示系统，其中，所述处理电子器件还被配置为使得提供所述通知包括：向所述用户提供所述头戴式显示器未被正确地调整为适配所述用户的反馈，包括向所述用户提供建议以将当前安装的可互换适配件换成另一个可互换适配件。
示例8.根据示例1至7中任一项所述的显示系统，还包括：相对于所述用户的眼睛设置在所述框架上以照亮所述用户的眼睛的一个或多个光源，所述一个或多个眼睛跟踪相机使用来自所述一个或多个光源的光来形成所述眼睛的图像。
示例9.根据示例8所述的显示系统，其中，所述一个或多个光源包括：相对于所述用户的眼睛设置在所述框架上以照亮所述用户的眼睛的至少两个光源。
示例10.根据示例8至9中任一项所述的显示系统，其中，所述一个或多个光源包括红外光发射器。
示例11.根据示例8至10中任一项所述的显示系统，其中，一个或多个光源在所述眼睛上形成一个或多个闪光，并且所述处理电子器件被配置为基于所述一个或多个闪光确定角膜的位置。
示例12.根据示例1至11中任一项所述的显示系统，其中，所述眼睛的所述位置是所述眼睛的旋转中心的位置。
示例13.根据示例1至11中任一项所述的显示系统，其中，角膜具有与其相关联的具有曲率中心的角膜球，并且所述处理电子器件被配置为确定所述角膜球的所述曲率中心的位置。
示例14.根据示例1所述的显示系统，其中，所述处理电子器件被配置为通过提供使所述显示器相对于所述显示器的其他像素提高所述显示器的多个像素的亮度的指令来提供所述通知，其中，所述具有提高的亮度的所述多个像素包括预期在未正确配准下经历被感知调暗的像素。
示例15.一种被配置为将光投射到用户的眼睛以显示虚拟图像内容的显示系统，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
设置在所述框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以显示具有不同波前发散量的虚拟图像内容，以呈现看起来在不同时间段位于不同深度的虚拟图像内容；
一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛成像；以及
与所述显示器和所述一个或多个眼睛跟踪相机通信的处理电子器件，所述处理电子器件被配置为：
基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像来确定所述眼睛的位置；
确定所述眼睛的所述位置是否在所述头戴式显示系统的视体积之外大于第一阈值距离；以及
响应于确定所述眼睛的所述位置在所述头戴式显示系统的所述视体积之外大于所述第一阈值距离，向所述用户提供指示所述显示器和所述眼睛未被正确配准的反馈以用于输出。
示例16.根据示例15所述的显示系统，其中，所述处理电子器件被配置为通过至少以下操作来确定所述眼睛的所述位置是否在视体积之外大于所述第一阈值距离：
确定所述眼睛的所述位置距离目镜是否小于第二阈值距离；以及
响应于确定所述眼睛的所述位置距离所述头戴式显示系统小于所述第二阈值距离，向所述用户提供指示所述显示器和所述眼睛未被正确配准的反馈以用于输出。
示例17.根据示例15所述的显示系统，其中，所述处理电子器件被配置为通过至少以下操作来确定所述眼睛的所述位置是否在视体积之外大于所述第一阈值距离：
确定所述眼睛的所述位置距离所述目镜是否大于第二阈值距离；以及
响应于确定所述眼睛的所述位置距离所述头戴式显示系统大于所述第二阈值距离，向所述用户提供指示所述显示器和所述眼睛未被正确配准的反馈以用于输出。
示例18.根据示例15所述的显示系统，其中，所述处理电子器件被配置为通过至少以下操作来确定所述眼睛的所述位置是否在视体积之外大于所述第一阈值距离：
确定所述眼睛的所述位置是否在所述眼睛跟踪相机的视场的子空间之外大于第二阈值距离；以及
响应于确定所述眼睛的所述位置在所述眼睛跟踪相机的所述视体积的所述子空间之外大于所述第二阈值距离，向所述用户提供指示所述显示器和所述眼睛未被正确配准的反馈以用于输出。
示例19.根据示例15所述的显示系统，其中，所述头戴式显示器的所述视体积是期望表示由所述头戴式显示器呈现的虚拟图像内容的每个像素的光穿过的体积。
示例20.一种被配置为将光投射到用户的眼睛以显示虚拟图像内容的显示系统，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
设置在所述框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以显示具有不同波前发散量的虚拟图像内容，以呈现看起来在不同时间段位于不同深度的虚拟图像内容；
一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛成像；以及
与所述显示器和所述一个或多个眼睛跟踪相机通信的处理电子器件，所述处理电子器件被配置为：
确定由头戴式显示器投射的所述光是否被所述用户的所述眼睛正确配准；以及
如果所述头戴式显示器未被正确调整以适配所述用户以配准由所述显示系统投射的所述光，则向所述用户提供反馈。
示例21.根据示例20所述的显示系统，还包括至少一个可互换适配件，其可拆卸地安装到所述框架并被配置为调整所述框架的适配。
示例22.根据示例21所述的显示系统，其中，所述可互换适配件包括可互换鼻梁，其被配置为调整所述框架在所述框架和所述用户的鼻梁之间的适配。
示例23.根据示例20或22所述的显示系统，其中，所述可互换适配件包括可互换前额垫，其被配置为调整所述框架在所述框架和所述用户的前额之间的适配。
示例24.根据示例20至23中任一项所述的显示系统，其中，所述可互换适配件包括可互换后部垫，其被配置为调整所述框架在所述框架和所述用户的所述头部的后部之间的适配。
示例25.根据示例20至24中任一项所述的显示系统，其中，所述处理电子器件还被配置为使得向所述用户提供所述头戴式显示器未被正确地调整为适配所述用户的反馈包括向所述用户提供建议，以将当前安装的可互换适配件换成另一个可互换适配件。
示例26.一种用于通过用户的眼睛评估来自头戴式显示系统的虚拟图像内容的配准的方法，所述方法包括：
确定所述眼睛的第一位置；
确定所述眼睛的所述第一位置是否在所述头戴式显示系统的显示配准体积内，其中，所述显示配准体积是与所述头戴式显示系统相对于所述用户的眼睛正确适配相关联的假想体积；以及
基于确定所述眼睛的所述位置是否在所述显示配准体积内提供通知，其中，所述通知至少指示所述显示器和所述眼睛未被正确配准。
示例27.根据示例26所述的方法，其中，所述头戴式显示系统包括眼睛跟踪相机，其中，确定所述眼睛的所述第一位置包括利用所述眼睛跟踪相机对所述用户的所述眼睛进行成像。
示例28.根据示例27所述的方法，其中，所述眼睛的所述第一位置是所述眼睛的旋转中心的位置，并且还包括：基于所述眼睛跟踪相机对所述眼睛的成像来计算所述眼睛的旋转中心。
示例29.根据示例26所述的方法，其中，所述头戴式显示系统被配置为将光投射到所述眼睛中以在所述用户的所述视场中显示虚拟图像内容，并且还包括：显示所述可穿戴系统已被正确适配的指示。
示例30.根据示例26至29中任一项所述的方法，还包括：通过所述头戴式显示系统随着时间自动跟踪所述眼睛的所述旋转中心，并在所述眼睛的所述旋转中心移动到所述配准显示体积之外时通知所述用户。
示例31.根据示例26或29所述的方法，还包括：
确定所述眼睛的第二位置；
确定所述眼睛的所述第二位置在所述显示配准体积内；以及
响应于确定所述眼睛的所述第二位置在所述显示配准体积内，向所述用户提供指示所述可穿戴系统被正确适配到所述用户的附加反馈。
示例32.根据示例26至31中任一项所述的方法，其中，当所述用户的所述眼睛不在所述显示配准体积内时，所述头戴式显示系统的至少一些像素被调暗或对所述用户是不可见的。
示例33.根据示例26至32中任一项所述的方法，还包括：当所述眼睛的所述位置在所述显示配准体积之外时，改变所述头戴式显示系统的视场，
其中，所述头戴式显示系统包括当所述眼睛的所述位置在所述显示配准体积内时具有第一视场的至少一个显示器；其中，当所述眼睛的所述位置在所述显示配准体积之外时，所述显示器具有第二视场，并且其中，所述第二视场小于所述第一视场。
示例34.根据示例33所述的方法，其中，提供所述通知包括在所述第二视场内向所述用户提供反馈。
示例35.根据示例26至34中任一项所述的方法，其中，所述可穿戴系统包括至少一个可互换适配件，并且所述方法还包括：
向所述用户提供指示所述可穿戴系统未被正确适配到所述用户的通知，
其中，所述通知包括对所述用户的建议或指示，以用替代的可互换适配件替换当前安装的可互换适配件。
示例36.根据示例35所述的方法，其中，所述可互换适配件包括选自以下中的至少一个适配件：鼻梁垫、前额垫和后部垫，所述后部垫位于所述可穿戴系统与用户的头部的后部之间。
示例37.根据示例36所述的方法，其中，所述可穿戴系统包括至少一个可互换鼻梁垫，所述方法还包括：确定所述头戴式系统的显示器相对于所述眼睛太低，并且其中，向所述用户提供所述通知包括提示所述用户安装更大的鼻梁垫。
示例38.根据示例26至37中任一项所述的方法，还包括：
标识由于所述眼睛的所述第一位置在所述显示配准体积之外而所述用户被预期感知为被调暗的所述头戴式显示系统的显示器的多个像素；以及
相对于所述显示器中的其他像素提高所述显示器的所述多个像素的亮度以减轻所预期的调暗。
示例39.一种被配置为将光投射到用户的眼睛以显示虚拟图像内容的显示系统，所述显示系统包括：
被配置为支撑在所述用户的头部上的框架；
设置在所述框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以显示由虚拟渲染相机渲染的具有不同波前发散量的虚拟图像内容以呈现看起来在不同时间段位于不同深度的虚拟图像内容；
被配置为对所述用户的眼睛成像的一个或多个眼睛跟踪相机；以及
与所述显示器和所述一个或多个眼睛跟踪相机通信的处理电子器件，所述处理电子器件被配置为：
基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像，确定距所述眼睛所在的所述显示器的距离，以及
基于所述确定的距离，调整所述虚拟渲染相机的焦距(focal length)。
示例40.一种被配置为将光投射到用户的眼睛上以显示虚拟图像内容的显示系统，所述显示系统包括：
被配置为支撑在所述用户的头部上的框架；
设置在所述框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以显示具有不同波前发散量的虚拟图像内容以呈现看起来在不同时间段位于不同深度的虚拟图像内容；
被配置为对所述用户的眼睛成像的一个或多个眼睛跟踪相机；以及
与所述显示器和所述一个或多个眼睛跟踪相机通信的处理电子器件，所述处理电子器件被配置为：
基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像，确定所述眼睛相对于所述显示器的位置；
基于所述眼睛相对于所述显示器的所述位置，确定期望所述用户感知为被调暗的虚拟图像内容的像素量；以及
基于所述确定的像素量来控制所述显示器的操作。
示例41.根据示例40所述的显示系统，其中，所述处理电子器件被配置为基于所述眼睛相对于所述显示器的所述位置，确定所述用户不被预期感知为被调暗的虚拟图像内容的像素量。
示例42.根据示例40或41所述的显示系统，其中，所述处理电子器件被配置为通过以下操作控制所述显示器的操作：
基于所述眼睛相对于所述显示器的所述位置，提高所述用户被预期感知为被调暗的所述虚拟图像内容的像素的亮度。
示例43.根据示例40-42中的任一项所述的显示系统，其中，虚拟图像内容的所述像素量包括像素的百分比。
示例44.根据示例40-43中的任一项所述的显示系统，其中，所述处理电子器件被配置为将虚拟图像内容的所述像素量与一个或多个阈值进行比较，并响应于确定虚拟图像内容的所述像素量超过一个或多个阈值，向所述用户提供指示所述显示器和所述眼睛未被正确配准的反馈，以用于输出。
示例45.一种被配置为将光投射到用户的眼睛以显示虚拟图像内容的显示系统，所述显示系统包括：
被配置为支撑在所述用户的头部上的框架；
设置在所述框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以显示具有不同波前发散量的虚拟图像内容，以呈现看起来在不同时间段位于不同深度的虚拟图像内容；
被配置为对所述用户的眼睛成像的一个或多个眼睛跟踪相机；以及
与所述显示器和所述一个或多个眼睛跟踪相机通信的处理电子器件，所述处理电子器件被配置为：
基于一个或多个参数限定相对于所述显示器的配准体积；
基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像，确定所述眼睛的位置；
确定所述眼睛的所述位置是否在所述头戴式显示系统的所述配准体积内；以及
基于确定所述眼睛的所述位置是否在所述显示配准体积内来控制所述显示器的操作。
示例46.根据示例45的显示系统，其中，所述一个或多个参数包括在所述显示系统上运行的应用的类型。
示例47.根据示例45-46中的任一项所述的显示系统，其中，所述一个或多个参数包括所述头戴式显示器的一个或多个物理参数。
示例48.根据示例45-47中的任一项所述的显示系统，其中，所述头戴式显示器的所述一个或多个物理参数包括以下各项中的一项或多项：显示器视场、显示表面尺寸、所述显示器的形状、所述显示器的外壳、所述显示器赋予表示虚拟图像内容的光的光功率量。
示例49.根据示例45-48中的任一项所述的显示系统，其中，所述处理电子器件被配置为通过向所述用户呈现至少指示所述显示器和所述眼睛未被正确配准的虚拟图像内容来控制所述显示器的操作。
示例50.根据示例15所述的显示系统，其中，所述处理电子器件被配置为通过至少以下操作来确定所述眼睛的所述位置是否在所述视体积之外大于所述第一阈值距离：
确定所述眼睛的所述位置是否在所述头戴式显示器的外壳的所述视体积的子空间之外大于第二阈值距离；以及
响应于确定所述眼睛的所述位置在所述头戴式显示器的所述外壳的所述视体积的所述子空间之外大于所述第二阈值距离，向所述用户提供指示所述显示器和所述眼睛未被正确配准的反馈，以用于输出。
示例52.根据示例15所述的显示系统，其中，所述处理电子器件还被配置为：
标识在所述显示系统上运行的应用；以及
基于所标识的应用确定所述第一阈值距离。
本说明书中描述的主题的一个或多个实施方式的细节在附图和以下描述中阐述。根据说明书、附图和权利要求书，其他特征、方面和优点将变得显而易见。该概述或以下详细描述均不旨在限定或限制本发明主题的范围。
附图说明
图1描绘了具有某些虚拟现实对象以及由人观看的某些物理对象的混合现实场景的图示。
图2示意性地示出了可穿戴系统的示例。
图3示意性地示出了可穿戴系统的示例部件。
图4示意性地示出了用于向用户输出图像信息的可穿戴设备的波导堆叠的示例。
图5示意性地示出了眼睛的示例。
图6是包括眼睛跟踪系统的可穿戴系统的示意图。
图7A是可包括眼睛跟踪系统的可穿戴系统的框图。
图7B是可穿戴系统中的渲染控制器的框图。
图7C是头戴式显示系统中的配准观察器的框图。
图8A是示出眼睛的角膜球的眼睛的示意图。
图8B示出了由眼睛跟踪相机检测到的示例角膜闪光。
图8C-8E示出了通过可穿戴系统中的眼睛跟踪模块定位用户的角膜中心的示例阶段。
图9A-9C示出了眼睛跟踪图像的坐标系的示例归一化。
图9D-9G示出了通过可穿戴系统中的眼睛跟踪模块定位用户的瞳孔中心的示例阶段。
图10示出了包括眼睛的光轴和视轴以及眼睛的旋转中心的眼睛的示例。
图11是用于在渲染内容中使用眼睛跟踪并提供关于可穿戴设备中的配准的反馈的方法的示例的过程流程图。
图12A和图12B示出了显示元件相对于用户的眼睛的标称位置，并且示出了用于描述显示元件和用户的眼睛相对于彼此的位置的坐标系。
图13A和13B示出了在头戴式显示系统中显示元件相对于用户的眼睛的标称定位和定位公差。
图13C和图13D示出了显示配准体积和用户的眼睛观看来自显示器的内容。
图14示出了针对用户的眼睛相对于显示器的各种位置的显示器的感知调暗的示例。
图15A和15B是头戴式显示系统的分解透视图，该头戴式显示系统具有诸如后部垫、前额垫和鼻梁垫之类的可互换件，以调整显示系统的头戴式显示器对于不同用户的适配。
图16是用于观察配准并提供关于与头戴式显示系统的配准的反馈的方法的示例的过程流程图。
图17A-17H示出了由显示器投射的光场的视图以及光场的相交可如何部分地限定显示配准体积。
图18示出了由显示器投射的光场的俯视图以及光场的相交可如何部分地限定显示配准体积。
图19A示出了从头戴式显示系统的显示器壳体导出的配准体积。
图19B示出了头戴式显示系统的显示器壳体和显示器的叠加配准体积。
图19C示出了从图19B的叠加配准体积导出的总配准体积。
在所有附图中，参考标号可被重复使用以指示参考元件之间的对应关系。提供附图是为了说明本文描述的示例实施例，而无意于限制本公开的范围。
具体实施方式
显示系统的显示部分可包括头戴式显示器(HMD)，该头戴式显示器可显示三维(3D)虚拟对象，使得该对象看起来位于用户的周围环境内。结果，用户可以以类似于现实世界对象的方式来感知3D虚拟对象。
HMD可通过将空间调制的光输出给用户来显示图像，其中，光对应于虚拟对象。空间调制的光可包含图像信息，可称为图像光。为了被用户感知，图像光从HMD行进到用户的眼睛，传播通过瞳孔，并落到眼睛的视网膜上。应当理解，如果对于图像的图像光的全部或部分没有进入眼睛的瞳孔和/或没有落到眼睛的视网膜上，则观看者将看不到图像或图像的质量可能会劣化。如本文所使用的，配准涉及显示器和用户的眼睛的相对定位。例如，当用户的眼睛和显示器彼此相对定位以使所需数量的图像光进入眼睛时，可以说显示器已被正确配准。可对显示设备中的配准观察器(例如，计算机程序)进行编程，以监控显示器是否被正确配准或定位成使眼睛从显示器接收图像光。
为了例如通过使用户的眼睛定位成接收图像光来向用户正确显示内容，用户的眼睛可能需要位于相对于HMD的特定区域或空间体积内。该体积可被称为显示配准体积。如果用户的眼睛在显示配准体积之外，则显示质量可能会劣化(例如，可存在调暗和/或显示的内容无法到达用户的眼睛)。各种因素可组合起来以确定用户的眼睛相对于HMD的位置，从而确定用户的眼睛是否位于所需显示配准体积内。作为示例，用户之间的解剖学变化(anatomical variation)可意味着头戴式显示器以将他们的眼睛放在显示配准体积之外的方式适配某些用户。作为另一个示例，HMD可能不会牢固地固定在用户的头上，并且可随着时间的推移在用户的头上移动，特别是在用户四处移动时。作为特定示例，HMD可能会滑落用户的鼻子或相对于用户的眼睛之间的线(眼间轴)倾斜，结果，由于显示器相对于用户的眼睛的移动，HMD可能无法提供所需的虚拟内容(例如，没有一些不希望的劣化)。
本文描述的各种系统和技术至少部分针对解决与显示器的正确配准有关的问题，以允许观看者按需观看图像内容。在一些实施例中，头戴式显示系统可被配置为确定用户的眼睛的位置。然后，显示系统可确定该眼睛的位置是否在头戴式显示系统的显示配准体积内。确定眼睛的位置可包括确定与眼睛相关联的表示性指针体积的位置，例如，眼睛的旋转中心。确定眼睛的位置是否在显示配准体积内可包括确定眼睛的旋转中心是否在显示配准体积内。如本文所讨论的，可使用被配置为对眼睛成像的面向内部的成像系统来确定眼睛的旋转中心。另外，在一些实施例中，显示配准体积是与头戴式显示系统相对于用户的眼睛的正确适配相关联的假想体积。例如，显示配准体积可以是由从输出图像光的头戴式显示系统的表面的投射所限定的体积。更具体地，显示配准体积可以是从基部向顶部逐渐变细的三维几何形状。显示配准体积的基部的形状可至少部分地由显示器的几何形状限定，并且显示配准体积的深度(即，在z轴上从基部到顶部的距离)可至少部分由显示器的视场(FOV)定义。例如，弧形或圆形显示器(例如，图像光从其向观看者输出的表面上的区域的形状)可产生锥形显示配准体积，而多边形显示器可产生金字塔形显示配准体积。作为附加示例，具有较大FOV的显示器可产生具有比具有较小FOV的显示器更小的深度的显示配准体积。在一些实施例中，显示配准体积可具有截头圆锥或截头金字塔形的总体形状。例如，显示配准体积可具有平截头体(例如，诸如矩形金字塔形的金字塔形的平截头体)的总体形状。
在一些实施例中，头戴式显示系统的面向内部的成像系统可获取用户的面部的图像，包括他们的眼睛。面向内部的成像系统可以是眼睛跟踪系统，其可安装在头戴式显示器的框架上。头戴式显示系统可分析图像以确定用户的眼睛和HMD的相对位置，以及用户的每只眼睛的位置是否在该眼睛的显示配准体积之内。基于该信息，头戴式显示系统可通知用户调整HMD的适配。例如，该通知可告知用户该设备已经滑动并且需要调整或建议以进行HMD的调整。在至少一些实施例中，头戴式显示系统可采取步骤来减轻由于HMD对用户的未对准而导致的任何显示劣化，例如通过在否则会因未对准而被调暗的区域中提高向用户输出的亮度或光或通过移动虚拟内容。因此，HMD的这种实施例可帮助用户正确地适配HMD并减轻由于HMD的不正确适配而引起的问题，诸如当HMD相对于用户的头部滑动、移动或倾斜时。在一些实施例中，将意识到，显示系统可被配置为通知用户未对准并且还采取步骤来减轻由未对准引起的显示劣化。在一些其他实施例中，显示系统可不向用户提供通知；相反，该通知可仅仅是显示系统内的指令或标志，这些指令或标志触发显示系统进行动作以减轻由未对准引起的图像劣化。
有利地，可利用从面向内部的成像系统获取的图像和关于由显示系统存储或可访问的显示配准体积的信息来自动执行配准分析。结果，可在首先使用HMD时以及可选地还在HMD的连续使用过程中校正HMD的适配，以确保在使用头戴式显示系统时高水平的图像质量。
因此，本文提供了用于观察头戴式显示系统的配准并响应于所观察到的配准采取动作的系统和方法的各种实施方式。
可穿戴系统的3D显示的示例
现在将参考附图，在附图中，相同的附图标记始终指代相同的部分。除非另有说明，否则附图是示意性的，不一定按比例绘制。
可穿戴系统(在本文中也称为头戴式显示系统或增强现实(AR)系统)可被配置为向用户呈现2D或3D虚拟图像。图像可以是静止图像、视频的帧、或视频、或组合等。可穿戴系统的至少一部分可以被实现在可穿戴设备上，该可穿戴设备可以单独或组合地为用户交互来呈现VR、AR或MR环境。可穿戴设备可以互换地用作AR设备(ARD)。此外，出于本公开的目的，术语“AR”与术语“MR”可互换使用。
图1描绘了具有某些虚拟现实对象以及由人观看的某些物理对象的混合现实场景的图示。在图1中，描绘了MR场景100，其中，MR技术的用户看到现实世界的公园状的设置110，其特征在于背景中的人、树、建筑物、以及混凝土平台120。除了这些项目之外，MR技术的用户还感知到他“看到”了站在现实世界平台120上的机器人雕像130，以及飞行的卡通状的化身角色140，似乎是大黄蜂的化身，即使这些元素在现实世界中不存在。
为了使3D显示器产生真实的深度感，更具体地说，产生表面深度的模拟感，可能希望显示器的视野中的每个点都生成与其虚拟深度相对应的适应性响应。如果对显示点的适应性响应不符合该点的虚拟深度(如由双目深度会聚提示和立体视觉确定)，则人眼可能会遇到适应冲突，从而导致成像不稳定、有害的眼睛疲劳、头痛、以及缺乏适应信息的情况下几乎完全缺乏表面深度(surface depth)。
可以通过具有显示器的显示系统来提供VR、AR和MR体验，在该显示器中，将与多个深度平面相对应的图像提供给观看者。图像对于每个深度平面可能是不同的(例如，提供场景或对象的稍有不同的呈现)，并且可能会被观看者的眼睛分别聚焦，从而有助于基于眼睛所需的适应向用户提供深度提示，为位于不同深度平面上的场景或基于观察不同深度平面上的不同图像特征失焦而聚焦不同图像特征。如本文其他地方所讨论的，这样的深度提示提供了对深度的可信感知。
图2示出了可被配置为提供AR/VR/MR场景的可穿戴系统200的示例。可穿戴系统200也可以称为AR系统200。可穿戴系统200包括显示器220以及支持显示器220的功能的各种机械和电子模块和系统。显示器220可以耦合到可由用户、穿戴者或观看者210穿戴的框架230。显示器220可以位于用户210的眼睛的前面。显示器220可以向用户呈现AR/VR/MR内容。因为显示器220可以被配置为佩戴在用户210的头部上，所以它也可以被称为头戴式显示器(HMD)，并且包括显示器220的可穿戴系统200也可以被称为头戴式显示系统。
在一些实施例中，扬声器240耦合到框架230并且邻近用户的耳道定位(在一些实施例中，未示出的另一个扬声器可以邻近用户的另一耳道定位，以提供立体声/可塑造声音控制)。显示器220可以包括用于检测来自环境的音频流并捕获环境声音的音频传感器(例如，麦克风)232。在一些实施例中，未示出的一个或多个其他音频传感器被定位为提供立体声接收。立体声接收可以用来确定声源的位置。可穿戴系统200可以对音频流执行声音或语音识别。
可穿戴系统200可以包括面向外部的成像系统464(图4所示)，该成像系统464观察用户周围的环境中的世界。可穿戴系统200还可以包括可用于跟踪用户的眼睛移动的面向内部的成像系统462(图4所示)。面向内部的成像系统可以跟踪一只眼睛的移动或两只眼睛的移动。面向内部的成像系统462可以附接到框架230，并且可以与处理模块260或270电连通，处理模块260或270可以处理由面向内部的成像系统获取的图像信息以确定例如用户210的眼睛的瞳孔直径或定向、眼睛移动或眼睛姿势。面向内部的成像系统462可以包括一个或多个相机。例如，至少一个相机可以用于对每只眼睛成像。相机获取的图像可以用于分别确定每只眼睛的瞳孔大小或眼睛姿势，从而允许将图像信息呈现给每只眼睛以动态地适应该只眼睛。
作为示例，可穿戴系统200可以使用面向外部的成像系统464或面向内部的成像系统462来获取用户的姿势的图像。图像可以是静止图像、视频的帧、或视频。
显示器220可以例如通过有线引线或无线连接250可操作地耦合到本地数据处理模块260，该本地数据处理模块260可以以各种配置安装，例如，固定地附接到框架230、固定地附接到用户穿戴的头盔或帽子上、嵌入耳机中、或以其他方式可拆卸地附接到用户210(例如，以背包式配置、皮带耦合式配置)。
本地处理和数据模块260可以包括硬件处理器以及数字存储器(例如，非易失性存储器(例如，闪存))，两者均可以用于协助处理、缓存和存储数据。数据可以包括：a)从传感器(其可以例如可操作地耦合到框架230或以其他方式附接到用户210)捕获的数据，例如图像捕获设备(例如，面向内部的成像系统或面向外部的成像系统中的相机)、音频传感器(例如，麦克风)、惯性测量单元(IMU)、加速度计、指南针、全球定位系统(GPS)单元、无线电设备或陀螺仪；或b)使用远程处理模块270或远程数据存储库280获取或处理的数据，可能在这样的处理或检索之后传递给显示器220。本地处理和数据模块260可以通过通信链路262或264(例如，经由有线或无线通信链路)可操作地耦合到远程处理模块270或远程数据存储库280，使得这些远程模块可用作本地处理和数据模块260的资源。此外，远程处理模块280和远程数据存储库280可以可操作地彼此耦合。
在一些实施例中，远程处理模块270可以包括被配置为分析和处理数据或图像信息的一个或多个处理器。在一些实施例中，远程数据存储库280可以是数字数据存储设施，其可以通过互联网或“云”资源配置中的其他网络配置来使用。在一些实施例中，所有数据被存储并且所有计算在本地处理和数据模块中执行，从而允许来自远程模块的完全自主的使用。
可穿戴系统的示例组件
图3示意性地示出了可穿戴系统的示例组件。图3示出了可穿戴系统200，其可包括显示器220和框架230。分解图202示意性地示出了可穿戴系统200的各个组件。在某些实施方式中，图3所示的组件中的一个或多个可以是显示器220的一部分。单独或组合的各种组件可以收集与可穿戴系统200的用户或用户的环境相关联的各种数据(例如，音频或视觉数据)。应当理解，取决于对其使用可穿戴系统的应用，其他实施例可以具有更多或更少的组件。尽管如此，图3提供了各种组件中的一些以及可以通过可穿戴系统收集、分析和存储的数据的类型的基本思想。
图3示出了可以包括显示器220的示例可穿戴系统200。显示器220可以包括可以安装到用户的头部或外壳或框架230的显示透镜226，该显示透镜226与框架230相对应。显示透镜226可以包括一个或多个透明镜，该透明镜由外壳230定位在用户的眼睛302、304的前面，并且可被配置为将投射的光338弹射到眼睛302、304中并促进光束整形，同时还允许透射至少一些来自本地环境的光。投射的光束338的波前(wavefront)可以被弯曲或聚焦以与投射的光的期望焦距一致。如图所示，两个广视野机器视觉相机316(也称为世界相机)可以耦合到外壳230以对用户周围的环境成像。这些相机316可以是双重捕获可见光/不可见(例如，红外)光相机。相机316可以是图4中所示的面向外部的成像系统464的一部分。由世界相机316获取的图像可以由姿势处理器336处理。例如，姿势处理器336可以实现一个或多个对象识别器708(例如，图7所示)以标识用户或在用户的环境中的另一个人的姿势或标识在用户的环境中的物理对象。
继续参考图3，示出了具有显示镜和光学器件的一对光投影仪模块(例如，扫描激光成形波阵面(例如，对于深度)光投影仪模块)，其被配置为将光338投射到眼睛302、304中。所描绘的视图还示出了与红外光源326(例如，发光二极管“LED”)配对的两个微型红外相机324，其被配置为能够跟踪用户的眼睛302、304以支持渲染和用户输入。相机324可以是图4所示的面向内部的成像系统462的一部分。可穿戴系统200的特征还在于传感器组件339，该传感器组件339可包括X、Y和Z轴加速度计能力以及磁指南针以及X、Y和Z轴陀螺仪能力，优选地以相对较高的频率(例如，200Hz)提供数据。传感器组件339可以是参考图2A描述的IMU的一部分。所描绘的系统200还可以包括头部姿势处理器336，诸如ASIC(专用集成电路)、FPGA(现场可编程门阵列)或ARM处理器(高级简化指令集机器)，其可被配置为根据从捕获设备316输出的宽视野图像信息来计算实时或近实时用户头部姿势。头部姿势处理器336可以是硬件处理器，并且可以被实现为图2A中所示的本地处理和数据模块260的一部分。
可穿戴系统还可以包括一个或多个深度传感器234。深度传感器234可被配置为测量环境中的对象到可穿戴设备之间的距离。深度传感器234可包括激光扫描仪(例如，激光雷达)、超声深度传感器、或深度感测相机。在某些实施方式中，在相机316具有深度感测能力的情况下，相机316也可以被认为是深度传感器234。
还示出了处理器332，其被配置为执行数字或模拟处理以根据来自传感器组件339的陀螺仪、指南针或加速度计数据导出姿势。处理器332可以是图2中所示的本地处理和数据模块260的一部分。如图3所示的可穿戴系统200还可以包括诸如GPS 337(全球定位系统)之类的定位系统，以辅助姿势和定位分析。另外，GPS可以进一步提供关于用户的环境的基于远程的(例如，基于云的)信息。此信息可用于识别用户的环境中的对象或信息。
可穿戴系统可以组合由GPS 337和远程计算系统(例如，远程处理模块270、另一个用户的ARD等)获取的数据，该数据可以提供有关用户的环境的更多信息。作为一个示例，可穿戴系统可以基于GPS数据确定用户的位置，并检索包括与用户的位置相关联的虚拟对象的世界地图(例如，通过与远程处理模块270通信)。作为另一个示例，可穿戴系统200可以使用世界相机316(其可以是图4所示的面向外部的成像系统464的一部分)来监控环境。基于由世界相机316获取的图像，可穿戴系统200可以检测环境中的对象(例如，通过使用图7所示的一个或多个对象识别器708)。可穿戴系统可以进一步使用由GPS 337获取的数据来解释角色。
可穿戴系统200还可包括渲染引擎334，该渲染引擎334可被配置为提供用户本地的渲染信息，以促进扫描仪的操作和成像到用户的眼睛中，以供用户观看世界。渲染引擎334可以由硬件处理器(例如，中央处理单元或图形处理单元)实现。在一些实施例中，渲染引擎是本地处理和数据模块260的一部分。渲染引擎334可以可通信地(例如，经由有线或无线链路)耦合到可穿戴系统200的其他组件。例如，渲染引擎334可以经由通信链路274耦合到眼睛相机324，并且可以经由通信链路272耦合到投射子系统318(其可以以类似于视网膜扫描显示器的方式经由扫描的激光布置将光投射到用户的眼睛302、304中)。渲染引擎334还可以分别经由链路276和294与其他处理单元通信，例如，传感器姿势处理器332和图像姿势处理器336。
相机324(例如，微型红外相机)可以用来跟踪眼睛的姿势以支持渲染和用户输入。一些示例眼睛姿势可以包括用户正在看的地方、或他或她正聚焦的深度(这可以通过眼睛聚散(vergence)来估计)。GPS 337、陀螺仪、指南针和加速度计339可用于提供粗略或快速的姿势估计。相机316中的一个或多个可以获取图像和姿势，这些图像和姿势与来自关联的云计算资源的数据一起可以用于映射本地环境并与其他用户共享用户视图。
图3所示的示例组件仅用于说明目的。为了便于说明和描述，一起显示了多个传感器和其他功能模块。一些实施例可以仅包括这些传感器或模块中的一个或子集。此外，这些组件的位置不限于图3所示的位置。某些组件可安装到其他组件或容纳在其他组件中，例如，皮带安装组件、手持组件或头盔组件。作为一个示例，图像姿势处理器336、传感器姿势处理器332和渲染引擎334可以被放置在皮带包中，并且被配置为经由无线通信(例如，超宽带、Wi-Fi、蓝牙等)或经由有线通信与可穿戴系统的其他组件通信。所描绘的外壳230优选地是用户可头戴的和可穿戴的。但是，可穿戴系统200的某些组件可能会穿戴到用户的身体的其他部分。例如，扬声器240可以被插入用户的耳朵中以向用户提供声音。
关于光338到用户的眼睛302、304中的投射，在一些实施例中，相机324可以用于测量用户的眼睛的中心在几何上被聚散到的位置，这通常与眼睛的焦点位置或“焦深”一致。眼睛聚散到的所有点的三维表面可以称为“双眼单视界(horopter)”。焦距可以具有有限量的深度，或者可以无限变化。从聚散距离投射的光似乎聚焦到了受试者眼睛302、304，而在聚散距离之前或之后的光却变得模糊了。在美国专利公开号2016/0270656(其全部内容通过引用合并于此)中也描述了本公开的可穿戴设备和其他显示系统的示例。
人的视觉系统是复杂的，并且提供对深度的真实感是具有挑战性的。由于组合了聚散(vergence)和适应，对象的观看者可以将对象感知为三维。两只眼睛相对于彼此的聚散移动(即，瞳孔相向或远离彼此的滚动移动以收敛眼睛的视线以固定在对象上)与眼睛晶状体的聚焦(或“适应”)紧密相关联。在正常情况下，在称为“适应－聚散反射”(accommodation-vergence reflex)的关系下，改变眼睛晶状体的焦点或适应眼睛以将焦点从一个对象变化为不同距离的另一对象，将自动导致在相同距离上的聚散的匹配变化。同样，在正常情况下，聚散的改变将触发适应的匹配变化。在适应和聚散之间提供更好匹配的显示系统可以形成更逼真和舒适的三维图像模拟。
人眼可以正确地分辨出光束直径小于约0.7毫米的空间相干光，而无论眼睛聚焦在何处。因此，为了产生适当的焦深的错觉，可以用相机324跟踪眼睛聚散，并且可以利用渲染引擎334和投射子系统318来将所有对象渲染聚焦在双眼单视界上或附近，以及将所有其他对象以不同程度的失焦(例如，使用故意创建的模糊)。优选地，系统220以大约每秒60帧或更高的帧速率向用户渲染。如上所述，优选地，相机324可以用于眼睛跟踪，并且软件可被配置为不仅拾取聚散几何形状，而且拾取焦点位置提示以用作用户输入。优选地，这种显示系统配置有适合白天或晚上使用的亮度和对比度。
在一些实施例中，显示系统优选地具有小于约20毫秒的视觉对象对准延迟，小于约0.1度的角度对准和约1弧分的分辨率，这不受理论限制地被认为大约是人眼的极限。显示系统220可以与定位系统集成在一起，该定位系统可以涉及GPS元件、光学跟踪、指南针、加速度计或其他数据源，以帮助确定位置和姿势；定位信息可用于促进用户观看相关世界时的准确渲染(例如，此类信息将有助于眼镜了解它们相对于现实世界的位置)。
在一些实施例中，可穿戴系统200被配置为基于用户的眼睛的适应来显示一个或多个虚拟图像。在一些实施例中，不同于迫使用户聚焦在图像被投射的地方的现有3D显示方法，可穿戴系统被配置为自动变化投射的虚拟内容的焦点，以允许更舒适地观看呈现给用户的一个或多个图像。例如，如果用户的眼睛当前焦点为1m，则可以投射图像以使其与用户的焦点一致。如果用户将焦点移至3m，则投射图像以使其与新焦点一致。因此，一些实施例的可穿戴系统200不是迫使用户达到预定的焦点，而是允许用户的眼睛以更自然的方式起作用。
这样的可穿戴系统200可以消除或减少通常关于虚拟现实设备观察到的眼睛压力、头痛和其他生理症状的发生。为了实现这一点，可穿戴系统200的各种实施例被配置为通过一个或多个可变聚焦元件(VFE)以变化的焦距投射虚拟图像。在一个或多个实施例中，可以通过多平面聚焦系统来实现3D感知，该多平面聚焦系统在远离用户的固定焦平面上投射图像。其他实施例采用可变平面焦点，其中，焦平面在z方向上前后移动，以与用户的当前焦点状态一致。
在多平面聚焦系统和可变平面聚焦系统中，可穿戴系统200都可以使用眼睛跟踪来确定用户的眼睛的聚散，确定用户的当前聚焦以及以确定的聚焦投射虚拟图像。在其他实施例中，可穿戴系统200包括光调制器，该光调制器通过光纤扫描仪或其他光产生源以可变的方式以不同的焦点以光栅图案跨视网膜投射光束。因此，如在美国专利公开号2016/0270656中进一步描述的(其全部内容通过引用合并于此)，可穿戴系统200的显示器以变化的焦距投射图像的能力不仅使用户轻松适应以观看3D对象，而且还可以用于补偿用户眼部异常。在一些其他实施例中，空间光调制器可以通过各种光学组件将图像投射到用户。例如，如下文进一步所述，空间光调制器可将图像投射到一个或多个波导上，波导然后将图像发送给用户。
波导堆叠组件
图4示出了用于向用户输出图像信息的波导堆叠的示例。可穿戴系统400包括波导的堆叠或堆叠的波导组件480，其可以被用于使用多个波导432b、434b、436b、438b、4400b向眼睛/大脑提供三维感知。在一些实施例中，可穿戴系统400可以对应于图2的可穿戴系统200，图4示意性地更详细地示出了该可穿戴系统200的一些部分。例如，在一些实施例中，波导组件480可以集成到图2的显示器220中。
继续参考图4，波导组件480还可在波导之间包括多个特征458、456、454、452。在一些实施例中，特征458、456、454、452可以是透镜。在其他实施例中，特征458、456、454、452可以不是透镜。而是，它们可以简单地是间隔件(例如，用于形成气隙的包层或结构)。
波导432b、434b、436b、438b、440b或多个透镜458、456、454、452可被配置为以各种级别的波前曲率或光线发散将图像信息发送到眼睛。每个波导级别可以与特定的深度平面相关联，并且可被配置为输出与该深度平面相对应的图像信息。图像注入设备420、422、424、426、428可被用于将图像信息注入波导440b、438b、436b、434b、432b，每个波导可被配置为将入射光分布在每个相应的波导上，以向眼睛410输出。光离开图像注入设备420、422、424、426、428的输出表面，并且被注入到波导440b、438b、436b、434b、432b的对应输入边缘中。在一些实施例中，可以将单个光束(例如，准直光束)注入每个波导中，以输出克隆的准直光束的整个视野，该准直光束以对应于与特定波导相关联的深度平面的特定角度(和发散量)指向眼睛410。
在一些实施例中，图像注入设备420、422、424、426、428是分立的显示器，其各自产生图像信息以分别注入到对应的波导440b、438b、436b、434b、432b中。在一些其他实施例中，图像注入设备420、422、424、426、428是单个多路复用显示器的输出端，其可以例如经由一个或多个光导管(例如，光纤电缆)将图像信息输送到图像注入设备420、422、424、426、428中的每一个。
控制器460控制堆叠的波导组件480和图像注入设备420、422、424、426、428的操作。控制器460包括编程(例如，非暂时性计算机可读介质中的指令)，该编程调制定时和向波导440b、438b、436b、434b、432b提供图像信息。在一些实施例中，控制器460可以是单个集成设备，或者是通过有线或无线通信信道连接的分布式系统。在一些实施例中，控制器460可以是处理模块260或270(在图2中示出)的一部分。
波导440b、438b、436b、434b、432b可被配置为通过全内反射(TIR)在每个相应波导内传播光。波导440b、438b、436b、434b、432b每个可以是平面的或具有另一种形状(例如，弯曲的)，并且可以具有主要的顶部和底部表面以及在那些主要的顶部和底部表面之间延伸的边缘。在所示的配置中，波导440b、438b、436b、434b、432b可各自包括光提取光学元件440a、438a、436a、434a、432a，光提取光学元件440a、438a、436a、434a、432a被配置为通过使光重定向、在各个波导内传播从而从波导中提取光以将图像信息输出到眼睛410。提取的光也可以称为出耦合光，并且光提取光学元件也可以称为出耦合光学元件。提取的光束由波导在波导中传播的光撞击光重定向元件的位置处输出。光提取光学元件(440a、438a、436a、434a、432a)可以例如是反射或衍射光学特征。虽然为了便于描述和绘图清楚起见，示出了设置在波导440b、438b、436b、434b、432b的底部主表面上，但是在一些实施例中，光提取光学元件440a、438a、436a、434a、432a可以设置在顶部主表面或底部主表面上，或者可以直接设置在波导440b、438b、436b、434b、432b的体积中。在一些实施例中，光提取光学元件440a、438a、436a、434a、432a可以形成在材料层中，该材料层附接到透明基板上以形成波导440b、438b、436b、434b、432b。在一些其他实施例中，波导440b、438b、436b、434b、432b可以是单片材料，并且光提取光学元件440a、438a、436a、434a、432a可以形成在该片材料的表面上或内部中。
继续参考图4，如本文所述，每个波导440b、438b、436b、434b、432b被配置为输出光以形成与特定深度平面相对应的图像。例如，最靠近眼睛的波导432b可被配置为将注入到这种波导432b中的准直光传送到眼睛410。准直光可以表示光学无限远焦平面。下一个上行(up)波导434b可被配置为在准直光到达眼睛410之前发出通过第一透镜452(例如，负透镜)的准直光。第一透镜452可被配置为产生轻微的凸波前曲率，从而眼睛/大脑将来自该下一上行波导434b的光解释为来自第一焦平面，该第一焦平面从光学无限远处向内更靠近朝向眼睛410。类似地，第三上行波导436b在到达眼睛410之前将其输出光通过第一透镜452和第二透镜454。第一透镜452和第二透镜454的组合光功率可被配置为产生另一增量的波前曲率，使得眼睛/大脑将来自第三波导436b的光解释为来自第二焦平面，该第二焦平面比来自下一个上行波导434b的光从光学无穷远向内更靠近人。
其他波导层(例如，波导438b、440b)和透镜(例如，透镜456、458)被类似地配置，堆叠中的最高波导440b通过其与眼睛之间的所有透镜发送其输出，用于表示最靠近人的焦平面的聚合(aggregate)焦度。在观看/解释来自堆叠波导组件480的另一侧上的世界470的光时，为了补偿透镜堆叠458、456、454、452，可以在堆叠的顶部设置补偿透镜层430，以补偿下面的透镜堆叠458、456、454、452的聚合焦度。(补偿透镜层430和堆叠的波导组件480整体上可被配置为使得来自世界470的光以与初始被堆叠的波导组件480接收时的光具有的基本相同的发散(或准直)级别被传送到眼睛410)。这样的配置提供与可用的波导/透镜对一样多的感知焦平面。波导的光提取光学元件和透镜的聚焦方面都可以是静态的(例如，不是动态的或电激励的)。在一些替代实施例中，其中一个或两者在使用电激励特征时可以是动态的。
继续参考图4，光提取光学元件440a、438a、436a、434a、432a可被配置为既将光重定向到其各自的波导之外，又对于与波导相关联的特定深度平面以适当的发散或准直量输出该光。结果，具有不同相关联的深度平面的波导可以具有光提取光学元件的不同配置，该光提取光学元件根据相关联的深度平面以不同的发散量输出光。在一些实施例中，如本文所讨论的，光提取光学元件440a、438a、436a、434a、432a可以是体积或表面特征，其可被配置为以特定角度输出光。例如，光提取光学元件440a、438a、436a、434a、432a可以是体积全息图、表面全息图和/或衍射光栅。在2015年6月25日公开的美国专利公开No.2015/0178939中描述了诸如衍射光栅的光提取光学元件，其通过引用全部并入在此。
在一些实施例中，光提取光学元件440a、438a、436a、434a、432a是形成衍射图案或衍射光学元件(在本文中也称为“DOE”)的衍射特征。优选地，DOE具有相对较低的衍射效率，使得通过与DOE的每次交互，光束的仅一部分光朝着眼睛410偏转，而其余部分则通过全内反射继续移动通过波导。携带图像信息的光因此可以被分成多个相关的出射光束，该出射光束在多个位置处离开波导，并且该结果对于在波导内反弹的该特定准直光束是朝向眼睛304的相当均匀图案的出射发射。
在一些实施例中，一个或多个DOE可以在它们主动衍射的“开启”状态和它们不明显衍射的“关闭”状态之间切换。例如，可切换的DOE可以包括聚合物分散液晶层，其中，微滴(microdrop)在主体介质(host medium)中包含衍射图案，并且微滴的折射率可以切换为与主体材料的折射率基本匹配(在这种情况下，该图案不会明显衍射入射光)，或者可以将微滴切换到与主体介质的折射率不匹配的折射率(在这种情况下，该图案会主动衍射入射光)。
在一些实施例中，深度平面或景深的数量和分布可以基于观看者的眼睛的瞳孔大小或定向动态地变化。景深可能与观看者的瞳孔大小成反比。结果，随着观看者眼睛的瞳孔大小减小，景深增加，使得由于该平面的位置超出眼睛的焦深而无法辨认的平面可能变得可辨认，并且随着瞳孔大小的减小和景深的相应增加表现为更聚焦。同样，随着瞳孔大小减小，可以减少用于向观看者呈现不同图像的间隔开的深度平面的数量。例如，在处于一个瞳孔大小下，不将眼睛的适应性从一个深度平面调整到另一个深度平面，则观看者可能无法清楚地感知第一深度平面和第二深度平面两者的细节。但是，这两个深度平面可以在不改变适应性的情况下，对于处于另一瞳孔大小的用户同时充分地聚焦。
在一些实施例中，显示系统可以基于对瞳孔大小或定向的确定，或者基于接收到指示特定瞳孔大小或定向的电信号，来改变接收图像信息的波导的数量。例如，如果用户的眼睛不能区分与两个波导相关联的两个深度平面，则控制器460(其可以是本地处理和数据模块260的实施例)可以被配置或编程为停止向这些波导之一提供图像信息。有利地，这可以减少系统上的处理负担，从而增加系统的响应性。在波导的DOE可在开启和关闭状态之间切换的实施例中，当波导确实接收到图像信息时，DOE可被切换为关闭状态。
在一些实施例中，可能希望使出射光束满足直径小于观看者眼睛的直径的条件。但是，鉴于观看者瞳孔大小的可变性，满足此条件可能是具有挑战性的。在一些实施例中，通过响应于观看者的瞳孔大小的确定而改变出射光束的大小，在宽范围的瞳孔大小上满足该条件。例如，随着瞳孔大小的减小，出射光束的大小也可以减小。在一些实施例中，可以使用可变孔径来改变出射光束的大小。
可穿戴系统400可以包括对世界470的一部分进行成像的面向外部的成像系统464(例如，数码相机)。世界470的这一部分可以称为世界相机的视野(FOV)，成像系统464有时被称为FOV相机。世界相机的FOV可以与观看者210的FOV相同或不同，观看者210的FOV包含观看者210在给定时间感知的世界470的一部分。例如，在某些情况下，世界相机的FOV可以大于可穿戴系统400的观看者210的观看者210。可用于观看者观看或成像的整个区域可以被称为能视场(field of regard(FOR))。FOR可以包括围绕可穿戴系统400的立体角的4π球面度，因为穿戴者可以移动他的身体、头部或眼睛以感知空间中的基本上任何方向。在其他上下文中，穿戴者的移动可能会更受限制，并且因此穿戴者的FOR可能会对向较小的立体角。从面向外部的成像系统464获得的图像可以用于跟踪用户做出的手势(例如，手或手指手势)，检测用户面前的世界470中的对象等等。
可穿戴系统400可以包括音频传感器232(例如，麦克风)以捕获环境声音。如上所述，在一些实施例中，可以定位一个或多个其他音频传感器以提供对确定语音源的位置有用的立体声接收。作为另一个示例，音频传感器232可以包括定向麦克风，该定向麦克风还可以提供关于音频源位于何处的有用的定向信息。可穿戴系统400可以在定位语音源时使用来自面向外部的成像系统464和音频传感器230的信息，或者在特定时间确定有源说话者等。例如，可穿戴系统400可以单独使用语音识别或组合扬声器的反射图像(例如，在镜子中看到的)，以确定说话者的标识。作为另一个示例，可穿戴系统400可以基于从定向麦克风获取的声音来确定说话者在环境中的位置。可穿戴系统400可以使用语音识别算法解析来自说话者的位置的声音，以确定语音的内容，并使用语音识别技术来确定说话者的标识(例如，姓名或其他人口统计信息)。
可穿戴系统400还可以包括面向内部的成像系统466(例如，数字相机)，其观测用户的移动，例如，眼睛移动和面部移动。面向内部的成像系统466可以用于捕获眼睛410的图像以确定眼睛304的瞳孔的大小和/或定向。面向内部的成像系统466可以用于获取图像以用于确定用户正在看的方向(例如，眼睛姿势)或用于对用户进行生物特征标识(例如，经由虹膜标识)。在一些实施例中，每只眼睛可以利用至少一个相机，以独立地确定每只眼睛的瞳孔大小或眼睛姿势，从而允许为每只眼睛呈现图像信息动态地适合该眼睛。在一些其他实施例中，仅确定单只眼睛410的瞳孔直径或定向(例如，每双眼睛仅使用单个相机)，并且认为该瞳孔直径或定向对于用户的两只眼睛是相似的。可以分析由面向内部的成像系统466获得的图像以确定用户的眼睛姿势或情绪，可穿戴系统400可以使用该眼睛姿势或情绪来确定应该向用户呈现哪些音频或视觉内容。可穿戴系统400还可以使用诸如IMU、加速度计、陀螺仪等的传感器来确定头部姿势(例如，头部位置或头部定向)。
可穿戴系统400可以包括用户输入设备466，用户可以通过该用户输入设备466向控制器460输入命令以与可穿戴系统400交互。例如，用户输入设备466可以包括触控板、触摸屏、游戏杆、多自由度(DOF)控制器、电容感测设备、游戏控制器、键盘、鼠标、方向板(D-pad)、棒、触觉设备、图腾(totem)(例如，充当虚拟用户输入设备)等等。多DOF控制器可以感测控制器的某些或所有可能的平移(例如，左/右、前/后、或上/下)或旋转(例如，偏航、俯仰或滚动)中的用户输入。支持平移移动的多DOF控制器可以称为3DOF，而支持平移和旋转的多DOF控制器可以称为6DOF。在一些情况下，用户可以使用手指(例如，拇指)在触敏输入设备上按下或滑动以向可穿戴系统400提供输入(例如，向由可穿戴系统400提供的用户接口提供用户输入)。用户输入设备466可以在可穿戴系统400的使用过程中被用户的手握住。用户输入设备466可以与可穿戴系统400进行有线或无线通信。
可穿戴系统的其他组件
在许多实施方式中，除了上述可穿戴系统的组件之外或作为替代，可穿戴系统可以包括其他组件。可穿戴系统可以例如包括一个或多个触觉设备或组件。触觉设备或组件可操作以向用户提供触感。例如，当触摸虚拟内容(例如，虚拟对象、虚拟工具、其他虚拟构造物)时，触觉设备或组件可以提供压力或纹理的触感。触感可以复制虚拟对象所表示的物理对象的感觉，或者可以复制虚拟内容所表示的想象的对象或角色(例如，龙)的感觉。在一些实施方式中，用户可以穿戴触觉设备或组件(例如，用户可穿戴的手套)。在一些实施方式中，触觉设备或组件可以由用户持有。
例如，可穿戴系统可以包括用户可操纵的一个或多个物理对象，以允许输入或与可穿戴系统交互。这些物理对象在本文中可以称为图腾。一些图腾可以采取无生命对象的形式，例如，一块金属或塑料、墙壁、桌子表面。在某些实施方式中，图腾实际上可能没有任何物理输入结构(例如，按键、触发器、操纵杆、轨迹球、摇杆开关)。相反，图腾可以简单地提供物理表面，并且可穿戴系统可以渲染用户接口，以便对用户看起来在图腾的一个或多个表面上。例如，可穿戴系统可以使计算机键盘和触控板的图像渲染为看起来驻留在图腾的一个或多个表面上。例如，可穿戴系统可以使虚拟计算机键盘和虚拟触控板渲染为看起来在用作图腾的薄铝矩形板的表面上。矩形板本身可能没有任何物理按键、触控板或传感器。但是，可穿戴系统可以将用户操作或交互或者触摸矩形板检测为通过虚拟键盘或虚拟触控板进行的选择或输入。用户输入设备466(图4中所示)可以是图腾的一个实施例，它可以包括触控板、触摸板、触发器、操纵杆、轨迹球、摇杆或虚拟开关、鼠标、键盘、多自由度控制器、或其他物理输入设备。用户可以单独或与姿势结合使用图腾来与可穿戴系统或其他用户进行交互。
在美国专利公开No.2015/0016777中描述了本公开的与可穿戴设备、HMD和显示系统一起使用的触觉设备和图腾的示例，其全部内容通过引用并入本文。
眼睛图像的示例
图5示出了具有眼睑504、巩膜508(眼睛的“白色”)、虹膜512和瞳孔516的眼睛500的图像。曲线516a示出了瞳孔516和虹膜512之间的瞳孔边界，并且曲线512a示出了虹膜512和巩膜508之间的边缘边界。眼睑504包括上眼睑504a和下眼睑504b。示出了处于自然静止(resting)姿势的眼睛500(例如，其中，用户的脸部和凝视都朝向用户正前方的远处对象而定向)。眼睛500的自然静止姿势可由自然静止方向520指示，该方向是当处于自然静止姿势时与眼睛500的表面正交的方向(例如，直接在图5中示出的眼睛500的平面之外)，并且在此示例中，位于瞳孔516的中心。
当眼睛500移动以朝着不同的对象看时，眼睛姿势将相对于自然静止方向520发生变化。当前的眼睛姿势可以参考眼睛姿势方向520来确定，该当前的眼睛姿势是与眼睛的表面正交(并且位于瞳孔516的中心)但朝向眼睛当前所指向的对象的方向而定向。参考图5中所示的示例坐标系，眼睛500的姿势可以被表达为两个角度参数，其指示眼睛的眼睛姿势方向524的方位角偏转(azimuthal deflection)和顶角偏转(zenithal deflection)，均相对于眼睛的自然静止方向520。为了说明的目的，这些角度参数可以被表示为θ(从基准方位角(fiducial azimuth)确定的方位角偏转)和φ(顶角偏转，有时也称为极角偏转(polardeflection))。在一些实施方式中，在眼睛姿势的确定中可以包括眼睛围绕眼睛姿势方向524的角度滚动，并且可在以下分析中包括角度滚动。在其他实施方式中，用于确定眼睛姿势的其他技术可以使用例如俯仰、偏航和可选地滚动系统。
可使用任何适当的过程从视频获得眼睛图像，例如，使用可从一个或多个连续帧中提取图像的视频处理算法。可使用多种眼睛跟踪技术根据眼睛图像确定眼睛的姿势。例如，可通过考虑角膜对所提供的光源的透镜作用来确定眼睛姿势。任何合适的眼睛跟踪技术都可用于在本文所述的眼睑形状估计技术中确定眼睛姿势。
眼睛跟踪系统的示例
图6示出了包括眼睛跟踪系统的可穿戴或头戴式显示系统600的示意图。在至少一些实施例中，头戴式显示系统600可包括位于头戴式单元602中的部件和位于非头戴式单元604中的部件。非头戴式单元604可以是例如皮带式部件、手持式部件、背包中的部件、远程部件等。将头戴式显示系统600的一些部件并入非头戴式单元604中可帮助减少头戴式单元602的尺寸、重量、复杂性和成本。在一些实施方式中，被描述为由头戴式单元602和/或非头戴式604的一个或多个部件执行的一些或全部功能可通过头戴式显示系统600中其他地方包括的一个或多个部件来提供。例如，可通过非头戴式单元604的CPU 616提供与头戴式单元602的CPU 612相关联的以下描述的一些或全部功能，反之亦然。在一些示例中，可通过头戴式显示系统600的外围设备来提供一些或所有这样的功能。此外，在一些实施方式中，可通过一个或多个云计算设备或其他远程计算设备以类似于上面参考图2所述的方式来提供一些或所有这样的功能。
如图6所示，头戴式显示系统600可包括眼睛跟踪系统，该眼睛跟踪系统包括捕获用户的眼睛610的图像的相机324。如果需要，眼睛跟踪系统还可包括光源326a和326b(诸如发光二极管“LED”)。光源326a和326b可产生闪光(即，在由相机324捕获的眼睛的图像中出现的被用户的眼睛反射走)。光源326a和326b相对于相机324的位置可以是已知的，并且因此，相机324所捕获的图像内的闪光的位置可用于跟踪用户的眼睛(如下面结合图7-11将更详细地讨论的)。在至少一个实施例中，可存在与用户的一只眼睛610相关联的一个光源326和一个相机324。在另一实施例中，可存在与用户的每只眼睛610相关联的一个光源326和一个相机324。在其他实施例中，可存在与用户的一只或每只眼睛610相关联的一个或多个相机324和一个或多个光源326。作为一个特定示例，可存在与用户的每只眼睛610相关联的两个光源326a和326b以及一个或多个相机324。作为另一示例，可存在与用户的每只眼睛610相关联的三个或更多个光源(例如，光源326a和326b)以及一个或多个相机324。
眼睛跟踪模块614可从眼睛跟踪相机324接收图像，并且可分析图像以提取各条信息。作为示例，眼睛跟踪模块614可检测用户的眼睛姿势、用户的眼睛相对于眼睛跟踪相机324(和相对于头戴式单元602)的三维位置、用户的一只或两只眼睛610聚焦的方向、用户的聚散深度(即，距用户的深度，在该深度处用户正在聚焦)、用户的瞳孔的位置、用户的角膜和角膜球(cornea sphere)的位置、用户的每只眼睛的旋转中心、以及用户的每只眼睛的视角中心(center of perspective)。眼睛跟踪模块614可使用下面结合图7-11描述的技术来提取这样的信息。如图6所示，眼睛跟踪模块614可以是使用头戴式单元602中的CPU 612实现的软件模块。
来自眼睛跟踪模块614的数据可被提供给可穿戴系统中的其他部件。例如，这样的数据可被发送到非头戴式单元604中的部件，例如包括用于光场渲染控制器618和配准观察器620的软件模块的CPU 616，配准观察器620可被配置为评估头戴式显示系统600的显示器是否与用户的眼睛正确地配准。
渲染控制器618可使用来自眼睛跟踪模块614的信息来调整由渲染引擎622(例如，可以是GPU 621中的软件模块并且可向显示器220提供图像的渲染引擎)向用户显示的图像。作为示例，渲染控制器618可基于用户的旋转中心或视角中心来调整显示给用户的图像。特别地，渲染控制器618可使用关于用户的视角中心的信息来模拟渲染相机(即，从用户的视角模拟收集图像)，并且可基于模拟的渲染相机来调整显示给用户的图像。
“渲染相机”，有时也称为“针孔透视相机”(或简称为“透视相机”)或“虚拟针孔相机”(或简称为“虚拟相机”)，是用于在渲染可能来自虚拟世界中的对象数据库的虚拟图像内容中所使用的模拟相机。对象可具有相对于用户或穿戴者并且可能相对于围绕用户或穿戴者的环境中的真实对象的位置和朝向。换句话说，渲染相机可表示渲染空间内的透视图，用户或穿戴者将从该透视图观看渲染空间的3D虚拟内容(例如，虚拟对象)。渲染相机可由渲染引擎管理，以基于要呈现给眼睛的虚拟对象的数据库来渲染虚拟图像。可渲染虚拟图像，就像从用户或穿戴者的视角拍摄一样。例如，虚拟图像可被渲染为好像被具有特定内在参数集(例如，焦距、相机像素大小、主点坐标、偏斜/失真参数等)以及特定外在参数集(例如，相对于虚拟世界的平移分量和旋转分量)的针孔相机(对应于“渲染相机”)捕获一样。从具有渲染相机的位置和取向(例如，渲染相机的外在参数)的这种相机的视角拍摄虚拟图像。因此，系统可定义和/或调整内在和外在渲染相机参数。例如，该系统可定义特定外在渲染相机参数集，使得可以渲染虚拟图像，就像从具有相对于用户或穿戴者的眼睛的特定位置的相机的视角捕获虚拟图像一样，以提供看起来像从用户或穿戴者的视角来看的图像。该系统随后可动态地即时(on-the-fly)调整外在渲染相机参数，以便维持与特定位置的配准。类似地，可定义内在渲染相机参数并随时间动态调整。在一些实施方式中，图像被渲染为好像是从相机的视角捕获的，该相机具有在相对于用户或穿戴者的眼睛的特定位置(例如，视角中心或旋转中心或别处)处的光圈(例如，针孔)。
在一些实施例中，系统可针对用户的左眼来创建或动态地重新定位和/或重新定向一个渲染相机，以及针对用户的右眼的另一渲染相机，因为用户的眼睛在物理上彼此分开并且，因此始终如一定位在不同的位置。因此，在至少一些实施方式中，从与观看者的左眼相关联的渲染相机的视角渲染的虚拟内容可通过头戴式显示器(例如，头戴式单元602)左侧的目镜呈现给用户，以及从与用户的右眼相关联的渲染相机的视角渲染的虚拟内容可通过这种头戴式显示器右侧的目镜呈现给用户。在题为“METHODS AND SYSTEMS FORDETECTING AND COMBINING STRUCTURAL FEATURES IN 3D RECONSTRUCTION(用于在3D重建中检测和组合结构特征的方法和系统)”的美国专利申请No.15/274,823中提供了讨论在渲染过程中创建、调整和使用渲染相机的更多细节，其出于所有目的通过引用整体明确地并入本文。
在一些示例中，系统600的一个或多个模块(或部件)(例如，光场渲染控制器618、渲染引擎622等)可基于用户的头部和眼睛的位置和取向(例如，分别基于头部姿势和眼睛跟踪数据确定的)确定渲染相机在渲染空间内的位置和取向。也就是说，系统600可有效地将用户的头部和眼睛的位置和取向映射到3D虚拟环境内的特定位置和角度位置，将渲染相机放置和定向在3D虚拟环境内的特定位置和角度位置，以及为用户渲染虚拟内容，就像由渲染相机捕获的一样。在题为“SELECTING VIRTUAL OBJECTS IN A THREE-DIMENSIONALSPACE(在三维空间中选择虚拟对象)”的美国专利申请No.15/296,869中提供了讨论现实世界到虚拟世界映射过程的更多细节，其出于所有目的通过引用整体明确地并入本文。作为示例，渲染控制器618可通过选择在任何给定时间利用哪个深度平面(或多个深度平面)来显示图像来调整显示图像的深度。在一些实施方式中，可通过调整一个或多个内在渲染相机参数来执行这种深度平面切换。
配准观察器620可使用来自眼睛跟踪模块614的信息来标识头戴式单元602是否正确地定位在用户的头部上。作为示例，眼睛跟踪模块614可提供眼睛位置信息，诸如用户的眼睛的旋转中心的位置，该信息指示用户的眼睛相对于相机324和头戴式单元602的三维位置，并且眼睛跟踪模块614可使用该位置信息来确定显示器220在用户的视场中是否被正确对准，或者头戴式单元602(或头戴式受话器(headset))是否已经滑动或与用户的眼睛未对准。作为示例，配准观察器620能够确定：是否头戴式单元602已经沿用户的鼻梁向下滑落，从而将显示器220从用户的眼睛向远处和下面移动(这可能是不希望的)；是否头戴式单元602已经沿用户的鼻梁向上移动，从而将显示器220从用户的眼睛向近处和向上移动；是否头戴式单元602已经相对于用户的鼻梁向左或向右移动，是否头戴式单元602已经抬高到用户的鼻梁上方，或者是否头戴式单元602已经以这些或其他方式从期望的位置或位置范围移开。通常，配准观察器620能够确定总体上头戴式单元602以及尤其是显示器220是否被正确地定位在用户的眼睛前面。换句话说，配准观察器620可确定显示系统220中的左显示器是否与用户的左眼正确地对准，并且显示系统220中的右显示器是否与用户的右眼正确地对准。配准观察器620可通过确定头戴式单元602是否被定位和定向在相对于用户的眼睛的位置和/或取向的期望范围内来确定头戴式单元602是否被正确地定位。
在至少一些实施例中，配准观察器620可以告警、消息或其他内容形式生成用户反馈。可将这样的反馈提供给用户以告知用户头戴式单元602的任何未对准，以及关于如何校正未对准的可选反馈(诸如以特定方式调整头戴式单元602的建议)。
在2017年9月27日提交的美国专利申请No.15/717,747(代理人案号MLEAP.052A2)中描述了可由配准观察器620使用的示例配准观察和反馈技术，其全文通过引用并入本文。
眼睛跟踪模块的示例
在图7A中示出了示例眼睛跟踪模块614的详细框图。如图7A所示，眼睛跟踪模块614可包括各种不同的子模块，可提供各种不同的输出，并且可利用各种可用数据来跟踪用户的眼睛。作为示例，眼睛跟踪模块614可利用可用数据，包括眼睛跟踪外在和内在参数(extrinsics and intrinsics)，诸如眼睛跟踪相机324相对于光源326和头戴式单元602的几何布置；假设的眼睛尺寸704，诸如用户的角膜曲率中心与用户的眼睛的平均旋转中心之间的典型距离约为4.7mm，或用户的旋转中心与视角中心之间的典型距离；以及每用户的校准数据706，诸如特定用户的瞳孔间距离。2017年4月26日提交的美国专利申请No.15/497,726(代理人案案号MLEAP.023A7)中描述了眼睛跟踪模块614可采用的外在参数、内在参数和其他信息的附加示例，其全文通过引用并入本文。
图像预处理模块710可从眼睛相机(诸如眼睛相机324)接收图像，并且可对接收到的图像执行一个或多个预处理(即，调节)操作。作为示例，图像预处理模块710可对图像应用高斯模糊，可对图像进行下采样到较低的分辨率，可应用非锐化掩模，可应用边缘锐化算法，或者可应用其他合适的滤波器来帮助对来自眼睛相机324的图像中的闪光、瞳孔或其他特征的后期检测、定位和标记。图像预处理模块710可应用低通滤波器或形态滤波器(例如开口滤波器)，这些滤波器可去除诸如来自瞳孔边界516a(参见图5)的高频噪声，从而去除了可能妨碍瞳孔和闪光确定的噪声。图像预处理模块710可将预处理后的图像输出给瞳孔标识模块712以及闪光检测和标记模块714。
瞳孔标识模块712可从图像预处理模块710接收预处理的图像，并且可标识那些图像中包括用户的瞳孔的区域。在一些实施例中，瞳孔标识模块712可在来自相机324的眼睛跟踪图像中确定用户的瞳孔的位置的坐标或中心或形心(centroid)的坐标。在至少一些实施例中，瞳孔标识模块712可标识眼睛跟踪图像中的轮廓(例如，瞳孔虹膜边界的轮廓)，标识轮廓矩(即，形心)，应用爆炸形(starburst)瞳孔检测和/或Canny边缘检测算法，基于强度值拒绝异常值，标识子像素边界点，校正眼睛相机扭曲(即，由眼睛相机324捕获的图像中的扭曲)，应用随机抽样一致(RANSAC)迭代算法以将椭圆适配到眼睛跟踪图像中的边界，对图像应用跟踪滤波器，以及标识用户瞳孔形心的子像素图像坐标。瞳孔标识模块712可向闪光检测和标记模块714输出瞳孔标识数据，该瞳孔标识数据可指示预处理图像模块712的哪些区域被标识为示出了用户的瞳孔。瞳孔标识模块712可向闪光检测模块714提供每个眼睛跟踪图像内用户的瞳孔的2D坐标(即，用户的瞳孔的形心的2D坐标)。在至少一些实施例中，瞳孔标识模块712还可向坐标系归一化模块718提供相同种类的瞳孔标识数据。
瞳孔标识模块712可利用的瞳孔检测技术在2017年2月23日公开的美国专利公开号2017/0053165和2017年2月23日公开的美国专利公开号2017/0053166中进行了描述，其每个全部内容均通过引用整体并入本文。
闪光检测和标记模块714可从模块710接收预处理的图像，并且从模块712接收瞳孔标识数据。闪光检测模块714可使用该数据在示出用户的瞳孔的预处理图像的区域内检测和/或标识闪光(即，来自光源326的光从用户的眼睛的反射走)。作为示例，闪光检测模块714可搜索眼睛跟踪图像内的明亮区域(有时在本文中称为“团迹(blob)”或局部强度最大值)，其在用户的瞳孔附近。在至少一些实施例中，闪光检测模块714可重新缩放(例如，放大)瞳孔椭圆以包含附加的闪光。闪光检测模块714可按大小和/或强度过滤闪光。闪光检测模块714还可确定眼睛跟踪图像内的每个闪光的2D位置。在至少一些示例中，闪光检测模块714可确定闪光相对于用户的瞳孔的2D位置，其也可称为瞳孔闪光矢量。闪光检测和标记模块714可标记闪光并将带有标记的闪光的预处理图像输出给3D角膜中心估计模块716。闪光检测和标记模块714还可传递数据，例如来自模块710的预处理图像和来自模块712的瞳孔标识数据。
由诸如模块712和714之类的模块执行的瞳孔和闪光检测可使用任何合适的技术。作为示例，可将边缘检测应用于眼睛图像以标识闪光和瞳孔。边缘检测可通过各种边缘检测器、边缘检测算法或滤波器来应用。例如，可将Canny边缘检测器应用于图像，以检测诸如图像的线条中的边缘。边缘可包括沿着线定位的对应于局部最大导数的点。例如，可使用Canny边缘检测器来定位瞳孔边界516a(参见图5)。在确定了瞳孔的位置的情况下，可使用各种图像处理技术来检测瞳孔116的“姿势”。确定眼睛图像的眼睛姿势也可称为检测眼睛图像的眼睛姿势。姿势也可称为凝视、指向方向或眼睛的取向。例如，瞳孔可能正在向左看向对象，并且瞳孔的姿势可被分类为向左姿势。可使用其他方法来检测瞳孔或闪光的位置。例如，可使用Canny边缘检测器将同心环放置在眼睛图像中。作为另一个示例，可使用积分微分算子来找到虹膜的瞳孔或角膜缘边界。例如，可使用Daugman积分微分算子、Hough变换、或其他虹膜分割技术以返回估计瞳孔或虹膜的边界的曲线。
3D角膜中心估计模块716可从模块710、712、714接收包括检测到的闪光数据和瞳孔标识数据的预处理图像。3D角膜中心估计模块716可使用这些数据来估计用户的角膜的3D位置。在一些实施例中，3D角膜中心估计模块716可估计眼睛的角膜曲率中心或用户的角膜球的3D位置，即，具有通常与用户的角膜共同延伸的表面部分的假想球的中心。3D角膜中心估计模块716可将指示角膜球和/或用户的角膜的估计的3D坐标的数据提供给坐标系归一化模块718、光轴确定模块722和/或光场渲染控制器618。3D角膜中心估计模块716的操作的更多细节在本文中结合图8A-8E提供。2017年4月26日提交的美国专利申请No.15/497,726(代理人案号MLEAP.023A7)(其全部内容通过引用合并于此)中讨论了用于估计眼睛特征(例如角膜或角膜球)的位置的技术，其可由本公开的可穿戴系统中的3D角膜中心估计模块716和其他模块使用。
坐标系归一化模块718可可选地(如其虚线轮廓所示)被包括在眼睛跟踪模块614中。坐标系归一化模块718可从3D角膜中心估计模块716接收指示用户的角膜的中心(和/或用户的角膜球的中心)的估计的3D坐标，并且还可从其他模块接收数据。坐标系归一化模块718可归一化眼睛相机坐标系，这可帮助补偿可穿戴设备的滑动(例如，头戴式部件从其在用户的头部上的正常静止位置的滑动，这可由配准观察器620标识)。坐标系归一化模块718可旋转坐标系以将坐标系的z轴(即，聚散深度轴)与角膜中心(例如，如3D角膜中心估计模块716所指示的)对准，并且可平移相机中心(即，坐标系的原点)到距角膜中心的预定距离(诸如30毫米)处(即，模块718可取决于是否确定眼睛相机324比预定距离更近或更远而放大或缩小眼睛跟踪图像)。通过该归一化过程，眼睛跟踪模块614能够在眼睛跟踪数据中建立一致的取向和距离，而相对独立于用户的头上的头戴式受话器定位的变化。坐标系归一化模块718可向3D瞳孔中心定位器模块720提供角膜的中心(和/或角膜球)的3D坐标、瞳孔标识数据和预处理的眼睛跟踪图像。坐标系归一化模块718的操作的更多细节结合图9A-9C在此提供。
3D瞳孔中心定位器模块720可在归一化或非归一化坐标系中接收数据，包括用户的角膜(和/或角膜球)的中心的3D坐标、瞳孔位置数据和预处理的眼睛跟踪图像。3D瞳孔中心定位器模块720可分析此类数据以确定用户的瞳孔的中心在归一化或非归一化的眼睛相机坐标系中的3D坐标。3D瞳孔中心定位器模块720可基于以下在三个维度上确定用户的瞳孔的位置：瞳孔形心的2D位置(如模块712所确定的)、角膜中心的3D位置(如模块716所确定的)、假设的眼睛尺寸704(例如，典型用户的角膜球的大小以及从角膜中心到瞳孔中心的典型距离)以及眼睛的光学特性(例如，角膜的折射率(相对于空气的折射率)或这些的任意组合。3D瞳孔中心定位器模块720的操作的更多细节在本文中结合图9D-9G提供。在2017年4月26日提交的美国专利申请No.15/497,726(代理人案卷号MLEAP.023A7)中讨论了本公开的可穿戴系统中的3D瞳孔中心定位器模块720和其他模块可利用的用于估计诸如瞳孔之类的眼睛特征的位置的技术，其全文通过引用并入本文。
光轴确定模块722可从模块716和720接收数据，该数据指示用户的角膜和用户的瞳孔的中心的3D坐标。基于这样的数据，光轴确定模块722可标识从角膜中心的位置(即，从角膜球的中心)到用户的瞳孔的中心的矢量，其可定义用户的眼睛的光轴。作为示例，光轴确定模块722可将指定用户的光轴的输出提供给模块724、728、730和732。
旋转中心(CoR)估计模块724可从模块722接收数据，该数据包括用户的眼睛的光轴的参数(即，指示光轴在与头戴式单元602具有已知关系的坐标系中的方向的数据)。CoR估计模块724可估计用户的眼睛的旋转中心(即，当用户的眼睛向左、向右、向上和/或向下旋转时，用户的眼睛围绕其旋转的点)。尽管眼睛可能无法围绕奇异点(singular point)完美旋转，但假设奇异点可能就足够了。在至少一些实施例中，CoR估计模块724可通过从瞳孔的中心(由模块720标识)或角膜的曲率中心(由模块716标识)沿着光轴(由模块722标识)向视网膜移动特定距离，来估计眼睛的旋转中心。该特定距离可以是假设的眼睛尺寸704。作为一个示例，角膜的曲率中心与CoR之间的特定距离可以是大约4.7mm。可基于任何相关数据(包括用户的年龄、性别、视力处方、其他相关特征等)为特定用户更改此距离。
在至少一些实施例中，CoR估计模块724可细化其对用户的每只眼睛的旋转中心随时间的估计。举例来说，随着时间的流逝，用户最终将旋转眼睛(看向其他地方，看向更近的东西，看向更远的东西、或某个时候向左、向右、向上或向下看)，导致其每只眼睛的光轴发生偏移。CoR估计模块724然后可分析由模块722标识的两个(或更多)光轴，并定位那些光轴的3D相交点。CoR估计模块724然后可确定旋转中心位于那个3D相交点。这样的技术可提供旋转中心的估计，其准确性随着时间的推移而提高。可采用各种技术来提高CoR估计模块724的准确性以及所确定的左眼和右眼的CoR位置。作为示例，CoR估计模块724可通过找到针对各种不同的眼睛姿势随时间而确定的光轴的平均相交点来估计CoR。作为附加示例，模块724可过滤随时间推移所估计的CoR位置或对其求平均，可计算随时间推移所估计的CoR位置的移动平均值，和/或可应用卡尔曼滤波器以及眼睛和眼睛跟踪系统的已知动力学来估计随时间推移的CoR位置。作为特定示例，模块724可计算所确定的光轴相交点和假设的CoR位置(例如距眼睛的角膜曲率中心4.7mm)的加权平均值，使得确定的CoR可从假设的CoR位置(即，在眼睛的角膜曲率中心后4.7mm处)随时间推移缓慢漂移至用户的眼睛内的稍有不同的位置，因为获得了用户的眼睛跟踪数据，从而使得能够每用户细化CoR位置。
瞳孔间距离(IPD)估计模块726可从CoR估计模块724接收数据，该数据指示用户的左眼和右眼的旋转中心的估计3D位置。IPD估计模块726然后可通过测量用户的左眼和右眼的旋转中心之间的3D距离来估计用户的IPD。通常，当用户注视光学无限远时(即，用户的眼睛的光轴基本上彼此平行)，用户的左眼的估计CoR和用户的右眼的估计CoR之间的距离可大致等于用户的瞳孔的中心之间的距离，这是瞳孔间距离(IPD)的典型定义。用户的IPD可由可穿戴系统中的各种部件和模块使用。例如，可将用户的IPD提供给配准观察器620，并用于评估可穿戴设备与用户的眼睛对准的程度(例如，根据用户的IPD，左和右显示器透镜是否根据用户的IPD正确间隔开了)。作为另一个示例，可将用户的IPD提供给聚散深度估计模块728，并用于确定用户的聚散深度。模块726可采用各种技术，例如结合CoR估计模块724所讨论的技术，以提高估计的IPD的准确性。作为示例，IPD估计模块724可应用滤波、随时间求平均、包括假设的IPD距离的加权平均、卡尔曼滤波器等，作为以准确的方式估计用户的IPD的一部分。
聚散深度估计模块728可从眼睛跟踪模块614中的各个模块和子模块接收数据(如结合图7A所示)。具体地，聚散深度估计模块728可采用指示以下的数据瞳孔中心的估计3D位置(例如，如上文所述的模块720所提供)、一个或多个确定的光轴参数(例如，如上文所述的模块722所提供)、旋转中心的估计3D位置(例如，如上文所述的模块724所提供)、估计的IPD(例如，旋转中心的估计3D位置之间的欧几里得(Euclidean)距离)(例如，如上文所述的模块726所提供)，和/或一个或多个确定的光轴和/或视轴参数(例如，如由下面描述的模块722和/或模块730所提供)。聚散深度估计模块728可检测或以其他方式获得用户的聚散深度的度量，该度量可以是距用户的距离，在该距离处用户的眼睛在聚焦。例如，当用户注视他们前方三英尺处的对象时，用户的左眼和右眼的聚散深度为三英尺；以及当用户注视着远处的风景时(即，用户的眼睛的光轴基本彼此平行，使得用户的瞳孔的中心之间的距离可大致等于用户的左眼和右眼的旋转中心之间的距离)，用户的左眼和右眼的聚散深度为无穷大。在一些实施方式中，聚散深度估计模块728可利用指示用户的瞳孔的估计中心的数据(例如，如由模块720提供的那样)来确定用户的瞳孔的估计中心之间的3D距离。聚散深度估计模块728可通过将瞳孔中心之间的这种确定的3D距离与估计的IPD(例如，旋转中心的估计3D位置之间的欧几里得距离)进行比较来获得聚散深度的量度(例如，如以上所述的模块726所指示的)。除了瞳孔中心之间的3D距离和估计的IPD之外，聚散深度估计模块728可利用已知的、假设的、估计的和/或确定的几何形状来计算聚散深度。作为示例，模块728可在三角计算中组合瞳孔中心之间的3D距离、估计的IPD和3D CoR位置，以估计(即，确定)用户的聚散深度。实际上，根据估计的IPD对瞳孔中心之间这样确定的3D距离进行评估可用于指示用户当前的聚焦深度相对于光学无限远的度量。在一些示例中，聚散深度估计模块728可简单地接收或访问指示用户的瞳孔的估计中心之间的估计的3D距离的数据，以便获得这种聚散深度的度量。在一些实施例中，聚散深度估计模块728可通过比较用户的左和右光轴来估计聚散深度。特别地，聚散深度估计模块728可通过定位距用户的距离来估计聚散深度，在该距离处用户的左和右光轴相交(或者用户的左和右光轴在例如水平面的平面上的投射相交)。通过将零深度设置为用户的左和右光轴被用户的IPD分开的深度，模块728可在该计算中利用用户的IPD。在至少一些实施例中，聚散深度估计模块728可通过将眼睛跟踪数据与已知或导出的空间关系一起进行三角测量来确定聚散深度。
在一些实施例中，聚散深度估计模块728可基于用户的视轴(而不是他们的光轴)的交点来估计用户的聚散深度，这可提供对用户聚焦的距离的更准确的指示。在至少一些实施例中，眼睛跟踪模块614可包括光轴到视轴映射模块730。如结合图10在进一步细节中讨论的，用户的光轴和视轴通常不对准。视轴是一个人观看时所沿的轴，而光轴是由该人的晶状体和瞳孔的中心定义的，并且可穿过该人的视网膜的中心。特别地，用户的视轴通常由用户的中央凹(fovea)的位置定义，该位置可能会偏移用户的视网膜的中心，从而导致光轴和视轴不同。在这些实施例中的至少一些实施例中，眼睛跟踪模块614可包括光轴到视轴映射模块730。光轴到视轴映射模块730可校正用户的光轴和视轴之间的差异，并向可穿戴系统中的其他部件(例如，聚散深度估计模块728和光场渲染控制器618)提供关于用户的视轴的信息。在一些示例中，模块730可使用假设的眼睛尺寸704，包括在光轴和视轴之间向内(经鼻地，朝向用户的鼻子)大约5.2°的典型偏移。换句话说，模块730可将用户的左光轴(经鼻地)向鼻子向右移位5.2°，并且将用户的右光轴(经鼻地)向鼻子向左移位5.2°，以便估计用户的左和右光轴的方向。在其他示例中，模块730可在将光轴(例如，如上述模块722所指示的)映射到视轴中时利用每用户校准数据706。作为附加的示例，模块730可使用户的光轴经鼻地在4.0°至6.5°之间移位、在4.5°至6.0°之间移位、在5.0°至5.4°之间移位等等，或者由这些值中的任何一个形成的任何范围。在一些布置中，模块730可至少部分地基于特定用户的特征(例如，他们的年龄、性别、视力处方或其他相关特征)来应用移位，和/或可至少部分地基于针对特定用户的校准过程来应用移位(即，以确定特定用户的光-视轴偏移)。在至少一些实施例中，模块730还可移位左和右光轴的原点以对应于用户的CoP(由模块732确定)而不是对应于用户的CoR。
(当提供时)可选的视角中心(CoP)估计模块732可估计用户的左和右视角中心(CoP)的位置。CoP可以是可穿戴系统的有用位置，并且在至少一些实施例中，是瞳孔正前方的位置。在至少一些实施例中，CoP估计模块732可基于用户的瞳孔中心的3D位置、用户的角膜曲率中心的3D位置或这样的合适的数据或任何组合来估计用户的左和右视角中心的位置。作为示例，用户的CoP可在角膜曲率中心前方大约5.01mm(即，在朝向眼睛的角膜并且沿着光轴的方向上距角膜球中心5.01mm)并且可沿光轴或视轴在用户的角膜的外表面后方约2.97mm处。用户的视角中心可在他们的瞳孔的中心正前方。例如，用户的CoP可距用户的瞳孔小于大约2.0mm，距用户的瞳孔小于大约1.0mm，或者距用户的瞳孔小于大约0.5mm，或者这些值之间的任何范围。作为另一个示例，视角中心可对应于眼睛的前房(anteriorchamber)内的位置。作为其他示例，CoP可在1.0mm与2.0mm之间，大约1.0mm，在0.25mm与1.0mm之间，在0.5mm与1.0mm之间，或者在0.25mm与0.5mm之间。
本文描述的视角中心(作为渲染相机的针孔的潜在期望位置和用户的眼睛中的解剖位置)可以是用于减少和/或消除不期望的视差偏移的位置。特别地，用户的眼睛的光学系统非常近似于由透镜前面的针孔形成的理论系统，投射到屏幕上，且针孔、透镜和屏幕大致分别对应于用户的瞳孔/虹膜、晶状体和视网膜。此外，可期望当距用户的眼睛不同距离的两个点光源(或对象)围绕针孔的开口刚性旋转(例如，沿等于他们距针孔的开口的距离的曲率半径旋转)时，几乎没有或没有视差偏移。因此，似乎CoP应该位于眼睛的瞳孔的中心(并且在某些实施例中可使用这种CoP)。但是，人眼除晶状体和瞳孔的针孔外，还包括角膜，该角膜向传播到视网膜的光赋予附加的光焦度。因此，在此段中描述的理论系统中，针孔的解剖等同物可以是位于用户的眼睛的角膜的外表面与用户的眼睛的瞳孔或虹膜的中心之间的用户的眼睛区域。例如，针孔的解剖等同物可对应于用户的眼睛的前房内的区域。由于本文讨论的各种原因，可能需要将CoP设置为用户的眼睛的前房内的此类位置。
如上所述，眼睛跟踪模块614可向可穿戴系统中的其他部件(诸如光场渲染控制器618和配准观察器620)提供数据，诸如左眼和右眼旋转中心(CoR)的估计3D位置、聚散深度、左眼和右眼光轴、用户的眼睛的3D位置、用户的左和右角膜曲率中心的3D位置、用户左和右瞳孔中心的3D位置、用户左和右视角中心的3D位置、用户的IPD等。眼睛跟踪模块614还可包括检测并生成与用户的眼睛的其他方面相关联的数据的其他子模块。作为示例，眼睛跟踪模块614可包括每当用户眨眼时提供标志或其他告警的眨眼(blink)检测模块，以及每当用户的眼睛扫视(即，快速将焦点移至另一点)时提供标志或其他告警的扫视检测模块。
渲染控制器的示例
在图7B中示出了示例光场渲染控制器618的详细框图。如图6和7B所示，渲染控制器618可从眼睛跟踪模块614接收眼睛跟踪信息，并且可提供输出给渲染引擎622，渲染引擎622可生成要显示的图像以供可穿戴系统的用户观看。作为示例，渲染控制器618可接收关于聚散深度、左眼和右眼旋转中心(和/或视角中心)以及其他眼睛数据(诸如眨眼数据、扫视数据等)的信息。
深度平面选择模块750可接收聚散深度信息，并且基于这样的数据可使渲染引擎622向用户提供内容，其中，该内容看起来位于特定的深度平面上(即，在特定的距离适应或焦距)。如结合图4所讨论的，可穿戴系统可包括由多个波导形成的多个离散的深度平面，每个深度平面以变化的波前曲率水平传送图像信息。在一些实施例中，可穿戴系统可包括一个或多个可变深度平面，例如以随时间变化的波前曲率水平传送图像信息的光学元件。在这些和其他实施例中，深度平面选择模块750可部分基于用户的聚散深度，使渲染引擎622以所选深度向用户传送内容(即，使渲染引擎622引导显示器220切换深度平面)。在至少一些实施例中，深度平面选择模块750和渲染引擎622可在不同深度处渲染内容，并且还生成和/或提供深度平面选择数据给诸如显示器220之类的显示硬件。诸如显示器220之类的显示硬件可响应于由诸如深度平面选择模块750和渲染引擎622之类的模块生成和/或提供的深度平面选择数据(其可以是控制信号)来执行电学深度平面切换。
通常，可期望深度平面选择模块750选择与用户的当前聚散深度匹配的深度平面，从而向用户提供准确的适应提示。然而，也可期望以谨慎且不引人注目的方式切换深度平面。作为示例，可期望避免在深度平面之间过度切换和/或可期望在用户不太可能注意到该切换时(例如在眨眼或眼睛扫视期间)切换深度平面。
滞后(hysteresis)带交叉检测模块752可帮助避免深度平面之间的过度切换，特别是当用户的聚散深度在两个深度平面之间的中点或过渡点处波动时。特别地，模块752可使深度平面选择模块750在其深度平面的选择中表现出滞后。作为示例，模块752可仅在用户的聚散深度超过第一阈值之后才使深度平面选择模块750从第一更远的深度平面切换到第二更近的深度平面。类似地，模块752可仅在用户的聚散深度超过了离用户比第一阈值更远的第二阈值之后才使深度平面选择模块750(其继而可引导诸如显示器220的显示器)切换到第一更远的深度平面。在第一阈值和第二阈值之间的重叠区域中，模块750可使深度平面选择模块750保持当前选择的任何深度平面作为所选深度平面，从而避免深度平面之间的过度切换。
眼部事件检测模块750可从图7A的眼睛跟踪模块614接收其他眼睛数据，并且可使深度平面选择模块750延迟一些深度平面切换，直到发生眼部事件。作为示例，眼部事件检测模块750可使深度平面选择模块750延迟计划的深度平面切换，直到检测到用户眨眼为止；可从眼睛跟踪模块614中的眨眼检测部件接收数据，该数据指示用户当前何时眨眼；以及作为响应，可使深度平面选择模块750在眨眼事件期间执行计划的深度平面切换(例如通过使模块750引导显示器220在眨眼事件期间执行深度平面切换)。在至少一些实施例中，可穿戴系统能够在眨眼事件期间将内容移位到新的深度平面上，使得用户不太可能感知到该移位。作为另一示例，眼部事件检测模块750可延迟计划的深度平面切换，直到检测到眼睛扫视。如结合眨眼所讨论的那样，这样的布置可促进深度平面的离散移位。
如果需要，即使在没有眼部事件的情况下，深度平面选择模块750可在执行深度平面切换之前将计划的深度平面切换延迟有限的时间段。类似地，当用户的聚散深度基本上在当前选择的深度平面之外时(即，当用户的聚散深度已经超过预定阈值时，该阈值超出了深度平面切换的常规阈值)，深度平面选择模块750可执行深度平面切换，即使没有眼部事件也是如此。这些设置可帮助确保眼部事件检测模块754不会无限期地延迟深度平面切换，并且在存在较大的适应误差时也不会延迟深度平面切换。
渲染相机控制器758可向渲染引擎622提供指示用户的左眼和右眼在哪里的信息。然后，渲染引擎622可通过在用户的左眼和右眼的位置处模拟相机并基于模拟的相机的视角生成内容来生成内容。如上所述，渲染相机是用于渲染可能来自虚拟世界中的对象数据库的虚拟图像内容中使用的模拟相机。对象可具有相对于用户或穿戴者并且可能相对于用户或穿戴者周围的环境中的真实对象的位置和取向。渲染相机可被包括在渲染引擎中，以基于要呈现给眼睛的虚拟对象的数据库来渲染虚拟图像。可渲染虚拟图像，就像从用户或穿戴者的视角拍摄的一样。例如，虚拟图像可被渲染为好像被具有光圈、透镜和检测器的相机(对应于“渲染相机”)所捕获的一样，该检测器观看虚拟世界中的对象。从具有“渲染相机”的位置的这种相机的视角拍摄虚拟图像。例如，虚拟图像可被渲染为好像是从具有相对于用户或穿戴者的眼睛的特定位置的相机的视角捕获的一样，从而提供看起来是从用户或穿戴者的视角来看的图像。在一些实施方式中，图像被渲染为好像是从具有在相对于用户或穿戴者的眼睛的特定位置(例如，本文或其他地方所讨论的视角中心或旋转中心)处的光圈的相机的视角所捕获的。
渲染相机控制器758可基于由CoR估计模块724确定的左眼和右眼旋转中心(CoR)和/或基于由CoP估计模块732确定的左眼和右眼的视角中心(CoP)来确定左相机和右相机的位置。在一些实施例中，渲染相机控制器758可基于各种因素在CoR和CoP位置之间切换。作为示例，渲染相机控制器758可在各种模式下，始终将渲染相机配准到CoR位置，始终将渲染相机配准到CoP位置，在以下之间触发(toggle)或离散地切换：基于各种因素随时间推移将渲染相机配准到CoR位置以及将渲染相机配准到CoP位置，或基于各种因素随时间动态地将渲染相机沿CoR和CoP位置之间的光(或视)轴配准到不同位置范围中的任意位置。CoR和CoP位置可可选地通过平滑过滤器756(在用于渲染相机定位的任何前述模式中)，该平滑过滤器756可随着时间对CoR和CoP位置进行平均以减少这些位置中的噪声并防止渲染模拟渲染相机中的抖动。
在至少一些实施例中，渲染相机可被模拟为针孔相机，其中，针孔设置在由眼睛跟踪模块614标识的估计的CoR或CoP的位置处。当CoP偏移CoR时，无论何时渲染相机的位置基于用户的CoP，渲染相机的位置及其针孔都会随着用户的眼睛的旋转而移位。相反，无论何时渲染相机的位置基于用户的CoR，渲染相机的针孔的位置都不随眼睛旋转而移动，尽管在一些实施例中，渲染相机(其在针孔后面)可随眼睛旋转而移动。在渲染相机的位置基于用户的CoR的其他实施例中，渲染相机可能不会随用户的眼睛移动(即，旋转)。
配准观察器的示例
在图7C中示出了示例配准观察器620的框图。如图6、图7A和图7C所示，配准观察器620可从眼睛跟踪模块614(图6和7A)接收眼睛跟踪信息。作为示例，配准观察器620可接收关于用户的左眼和右眼旋转中心的信息(例如，用户的左眼和右眼旋转中心的三维位置，其可在共同的坐标系上或具有与头戴式显示系统600共同的参考框架)。作为其他示例，配准观察器620可接收显示外在参数、适配公差和眼睛跟踪有效指示符。显示器外在参数可包括关于显示器(例如，图2的显示器200)的信息，例如显示器的视场、一个或多个显示表面的尺寸、以及显示表面相对于头戴式显示系统600的位置。适配公差可包括关于显示配准体积的信息，该信息可指示在影响显示性能之前用户的左眼和右眼可从标称位置移动多远。另外，适配公差可指示根据用户的眼睛的位置所期望的显示性能影响量。
如图7C所示，配准观察器620可包括3D位置适配模块770。位置适配模块770可获取并分析各条数据，包括例如左眼旋转中心3D位置(例如，左CoR)、右眼旋转中心3D位置(例如，右CoR)、显示外在参数和适配公差。3D位置适配模块770可确定用户的左眼和右眼距各自的左眼和右眼标称位置有多远(例如，可计算左3D误差和右3D误差)，并且可提供误差距离(例如，左3D误差和右3D误差)给设备3D适配模块772。
3D位置适配模块770还可将误差距离与显示器外在参数和适配公差进行比较，以确定用户的眼睛是否在标称体积、部分劣化的体积(例如，其中显示器220的性能被部分劣化的体积)内，或者处于完全劣化或几乎完全劣化的体积中(例如，其中显示器220基本上不能向用户的眼睛提供内容的体积)。在至少一些实施例中，3D位置适配模块770或3D适配模块772可提供定性描述HMD对用户的适配的输出，例如图7C中所示的适配质量输出。作为示例，模块770可提供指示HMD在用户上的当前适配是良好、一般(marginal)还是失败的输出。良好适配可对应于使用户能够观看至少一定百分比的图像(例如90％)的适配，一般适配可使用户能够观看至少较低百分比的图像(例如80％)的适配，而失败适配可以是用户只能看到甚至更低百分比的图像的适配。
作为另一示例，3D位置适配模块770和/或设备3D适配模块772可计算可见面积度量，其可以是由显示器220显示的对用户可见的图像的总面积(或像素)的百分比。模块770和772可通过以下来计算可见面积度量：评估用户的左眼和右眼相对于显示器220的位置(例如，其可基于用户的眼睛的旋转中心)并且使用一个或多个模型(例如，数学或几何模型)、一个或多个查表或其他技术或这些技术与其他技术的组合以根据用户的眼睛的位置确定对用户可见的图像的百分比。另外，模块770和772可根据用户的眼睛的位置来确定期望显示器220显示的图像的哪些区域或部分对于用户是可见的。
配准观察器620也可包括设备3D适配模块772。模块772可从3D位置适配模块770接收数据，并且还可接收眼睛跟踪有效指示符，该指示符可由眼睛跟踪模块614提供并可指示是否眼睛跟踪系统当前正在跟踪用户的眼睛的位置或者眼睛跟踪数据是否不可用或处于误差状况(例如，被确定为不可靠)。如果需要，设备3D适配模块772可根据眼睛跟踪有效数据的状态来修改从3D位置适配模块770接收的适配数据的质量。例如，如果来自眼睛跟踪系统的数据被指示为不可用或有误差，则设备3D适配模块772可提供关于存在误差的通知和/或不向用户提供有关适配质量或适配误差的输出。
在至少一些实施例中，配准观察器620可向用户提供关于适配质量以及误差的性质和大小的细节的反馈。作为示例，头戴式显示系统可在校准或适配过程期间向用户提供反馈(例如，作为设置过程的一部分)，并且可在操作期间提供反馈(例如，如果适配由于滑动而劣化，则配准观察器620可提示用户重新调整头戴式显示系统)。在一些实施例中，可自动地(例如，在使用头戴式显示系统期间)执行配准分析，并且可在没有用户输入的情况下提供反馈。这些仅是说明性示例。
使用眼睛跟踪系统定位用户的角膜的示例
图8A是示出眼睛的角膜球的眼睛的示意图。如图8A所示，用户的眼睛810可具有角膜812、瞳孔822和晶状体820。角膜812可具有近似球形，如由角膜球814所示。角膜球814可具有中心点816(也称为角膜中心)和半径818。用户的眼睛的半球形角膜可围绕角膜中心816弯曲。
图8B-8E示出了使用3D角膜中心估计模块716和眼睛跟踪模块614来定位用户的角膜中心816的示例。
如图8B所示，3D角膜中心估计模块716可接收包括角膜闪光854的眼睛跟踪图像852。然后3D角膜中心估计模块716可在眼睛相机坐标系850中模拟眼睛相机324和光源326的已知3D位置(其可基于眼睛跟踪外在参数和内在参数数据库702中的数据、假设的眼睛尺寸数据库704、和/或每用户校准数据706)，以便在眼睛相机坐标系中投射光线856。在至少一些实施例中，眼睛相机坐标系850可使其原点在眼睛跟踪相机324的3D位置处。
在图8C中，3D角膜中心估计模块716在第一位置模拟角膜球814a(其可基于来自数据库704的假设的眼睛尺寸)和角膜曲率中心816a。3D角膜中心估计模块716然后可检查以查看角膜球814a是否将正确地将来自光源326的光反射到闪光位置854。如图8C中所示，第一位置不匹配，因为光线860a不与光源326相交。
类似地，在图8D中，3D角膜中心估计模块716在第二位置模拟角膜球814b和角膜曲率中心816b。然后，3D角膜中心估计模块716检查以查看角膜球814b是否正确地将来自光源326的光反射到闪光位置854。如图8D中所示，第二位置也不匹配。
如图8E所示，3D角膜中心估计模块716最终能够确定角膜球的正确位置是角膜球814c和角膜曲率中心816c。3D角膜中心估计模块716通过检查来自光源326的光将正确地反射离开角膜球并由相机324成像在图像852上的闪光854的正确位置来确认所示出的位置正确。通过该布置和已知光源326、相机324的3D位置以及相机的光学特性(焦距等)的情况下，3D角膜中心估计模块716可确定角膜曲率中心816的3D位置(相对于可穿戴系统)。
至少结合图8C-8E在本文描述的过程可有效地是迭代、重复或优化过程，以标识用户的角膜中心的3D位置。这样，可使用多种技术(例如，迭代技术、优化技术等)中的任何一种来有效且快速地修剪或减少可能位置的搜索空间。此外，在一些实施例中，系统可包括两个、三个、四个或更多个光源，例如光源326，并且所有这些光源中的一些可设置在不同的位置，从而导致多个闪光，例如位于图像852上的不同位置的闪光854以及具有不同原点和方向的多条光线(例如光线856)。这样的实施例可增强3D角膜中心估计模块716的准确性，因为模块716可试图标识角膜位置，该角膜位置导致一些或所有闪光和光线在它们各自的光源和它们各自在图像852上的位置之间被正确地反射。换句话说，并且在这些实施例中，可在图8B-8E的3D角膜位置确定(例如，迭代、优化技术等)过程中依赖一些或全部光源的位置。
归一化眼睛跟踪图像的坐标系的示例
图9A-9C示出了通过诸如图7A的坐标系归一化模块718之类的可穿戴系统中的部件对眼睛跟踪图像的坐标系的示例归一化。相对于用户的瞳孔位置对眼睛跟踪图像的坐标系进行归一化可补偿可穿戴系统相对于用户的脸部的滑动(即，头戴式受话器滑动)，并且这种归一化可在眼睛跟踪图像与用户的眼睛之间建立一致的取向和距离。
如图9A所示，坐标系归一化模块718可接收用户的角膜旋转中心的估计的3D坐标900，并且可接收诸如图像852之类的非归一化的眼睛跟踪图像。作为示例，眼睛跟踪图像852和坐标900可处于基于眼睛跟踪相机324的位置的非归一化的坐标系850中。
作为第一归一化步骤，如图9B所示坐标系归一化模块718可将坐标系850旋转为旋转坐标系902，以使该坐标系的z轴(即，聚散深度轴)可与坐标系的原点和角膜曲率中心坐标900之间的矢量对准。特别地，坐标系归一化模块718可将眼睛跟踪图像850旋转为旋转的眼睛跟踪图像904，直到用户的角膜曲率中心的坐标900垂直于旋转图像904的平面为止。
作为第二归一化步骤，如图9C所示，坐标系归一化模块718可将旋转的坐标系902转换成归一化坐标系910，使得角膜曲率中心坐标900是距归一化坐标系910的原点的标准归一化距离906。特别地，坐标系归一化模块718可将旋转的眼睛跟踪图像904转换成归一化的眼睛跟踪图像912。在至少一些实施例中，标准归一化距离906可以是大约30毫米。如果需要，可在第一归一化步骤之前执行第二归一化步骤。
使用眼睛跟踪系统定位用户的瞳孔形心的示例
图9D-9G示出了使用3D瞳孔中心定位器模块720和眼睛跟踪模块614来定位用户的瞳孔中心(即，如图8A所示的用户的瞳孔822的中心)的示例。
如图9D所示，3D瞳孔中心定位器模块720可接收归一化的眼睛跟踪图像912，其包括瞳孔形心913(即，由瞳孔标识模块712标识的用户的瞳孔的中心)。然后，3D瞳孔中心定位器模块720可模拟眼睛相机324的归一化3D位置910，以通过瞳孔形心913在归一化坐标系910中投射光线914。
在图9E中，3D瞳孔中心定位器模块720可基于来自3D角膜中心估计模块716的数据(并且如结合图8B-8E更详细地讨论的)来模拟诸如具有曲率中心900的角膜球901的角膜球。作为示例，可基于结合图8E标识的曲率中心816c的位置并且基于图9A-9C的归一化过程将角膜球901定位在归一化坐标系910中。另外，如图9E所示，3D瞳孔中心定位器模块720可标识光线914(即，归一化坐标系910的原点和用户的瞳孔的归一化位置之间的光线)与模拟角膜之间的第一交点916。
如图9F所示，3D瞳孔中心定位器模块720可基于角膜球901确定瞳孔球918。瞳孔球918可与角膜球901共享共同的曲率中心，但是具有较小的半径。3D瞳孔中心定位器模块720可基于角膜中心与瞳孔中心之间的距离来确定角膜中心900与瞳孔球918之间的距离(即瞳孔球918的半径)。在一些实施例中，瞳孔中心和角膜曲率中心之间的距离可从图7A的假设眼睛尺寸704、从眼睛跟踪外在参数和内在参数数据库702、和/或从每用户校准数据706确定。在其他实施例中，可从图7A的每用户校准数据706确定瞳孔中心和角膜曲率中心之间的距离。
如图9G所示，3D瞳孔中心定位器模块720可基于各种输入来定位用户的瞳孔中心的3D坐标。作为示例，3D瞳孔中心定位器模块720可利用瞳孔球918的3D坐标和半径、在模拟角膜球901和与归一化眼睛跟踪图像912中的瞳孔形心913相关联的光线914之间的交点916的3D坐标、有关角膜的折射率的信息、以及其他相关信息(例如空气的折射率(其可存储在眼睛跟踪外在参数和内在参数数据库702中))来确定用户的瞳孔的中心的3D坐标。特别地，3D瞳孔中心定位器模块720可在模拟中基于空气(大约1.00的第一折射率)和角膜材料(大约1.38的第二折射率)之间的折射差将光线916弯曲成折射光线922。在考虑到由角膜引起的折射之后，3D瞳孔中心定位器模块720可确定折射光线922与瞳孔球918之间的第一交点920的3D坐标。3D瞳孔中心定位器模块720可确定用户的瞳孔中心920为位于折射光线922与瞳孔球918之间的大约第一交点920处。通过这种布置，3D瞳孔中心定位器模块720可确定归一化坐标系910中瞳孔中心920(相对于可穿戴系统)的3D位置。如果需要，可穿戴系统可将瞳孔中心920的坐标非归一化为原始眼睛相机坐标系850。瞳孔中心920可与角膜曲率中心900一起使用，以使用光轴确定模块722尤其确定用户的光轴，并通过聚散深度估计模块728确定用户的聚散深度。
光轴与视轴之间的差异的示例
如结合图7A的光学到视觉映射模块730所讨论的，用户的光轴和视轴通常不对准，部分原因是用户的视轴由他们的中央凹限定，并且中央凹通常不在人的视网膜的中心。因此，当一个人希望将注意力集中在特定对象上时，该人将其视轴与该对象对准，以确保来自该对象的光落在其中央凹上，而其光轴(由其瞳孔的中心和其角膜的曲率中心限定)实际上是与该对象稍微偏移的。图10是眼睛1000的示例，其示出了该眼睛的光轴1002、该眼睛的视轴1004、以及这些轴之间的偏移。另外，图10示出了眼睛的瞳孔中心1006、眼睛的角膜曲率中心1008、和眼睛的平均旋转中心(CoR)1010。在至少一些人群中，眼睛的角膜曲率中心1008可位于前方约4.7mm处，如由眼睛的平均旋转中心(CoR)1010的尺寸1012所指示的。此外，眼睛的视角中心1014可位于眼睛的角膜曲率中心1008前面约5.01毫米，在用户的角膜的外表面1016后面约2.97mm、和/或用户的瞳孔中心1006正前方(例如，对应于眼睛1000的前房内的位置)。作为另外的示例，尺寸1012可在3.0mm与7.0mm之间，在4.0mm与6.0mm之间，在4.5mm与5.0mm之间，或者在4.6mm与4.8mm之间，或者在任何值之间的任何范围以及与这些范围中的任何一个范围内任何值。眼睛的视角中心(CoP)1014对于可穿戴系统可以是有用的位置，因为在至少一些实施例中，在CoP处配准渲染相机可帮助减少或消除视差伪像。
图10还示出了人眼1000内的这样的位置，渲染相机的针孔可与之对准。如图10所示，渲染相机的针孔可沿着人眼1000的光轴1002或视轴1004与位置1014对准，该位置比人眼1000的(a)瞳孔或虹膜1006的中心以及(b)角膜曲率中心1008更靠近角膜的外表面。例如，如图10所示，可沿着人眼1000的光轴1002将渲染相机的针孔与位置1014配准，该位置1014在角膜1016的外表面后约2.97毫米处并且在角膜曲率中心1008前约5.01毫米处。可将渲染相机的针孔的位置1014和/或位置1014所对应的人眼1000的解剖区域视为表示人眼1000的视角中心。如图10中所示的人眼1000的光轴1002表示穿过角膜曲率中心1008和瞳孔或虹膜1006中心的最直接线。人眼1000的视轴1004与光轴1002不同，因为它表示从人眼1000的中央凹延伸到瞳孔或虹膜1006的中心的线。
基于眼睛跟踪渲染内容和检查配准的示例过程
图11是用于在渲染内容中使用眼睛跟踪并提供关于可穿戴设备中的配准的反馈的示例方法1100的过程流程图。方法1100可由本文描述的可穿戴系统执行。方法1100的实施例可由可穿戴系统用来基于来自眼睛跟踪系统的数据来渲染内容并提供关于配准的反馈(即，可穿戴设备对用户的适配)。
在框1110处，可穿戴系统可捕获用户的一只或两只眼睛的图像。可穿戴系统可使用一个或多个眼睛相机324来捕获眼睛图像，如至少在图3的示例中所示示出。如果需要的话，可穿戴系统还可包括一个或多个光源326，该光源326被配置为将IR光照射在用户的眼睛上并在由眼睛相机324捕获的眼睛图像中产生对应的闪光。如本文所讨论的，闪光可由眼睛跟踪模块614用来导出关于用户的眼睛的各条信息，包括眼睛看向哪里。
在框1120处，可穿戴系统可检测在框1110中捕获的眼睛图像中的闪光和瞳孔。作为示例，框1120可包括由闪光检测和标记模块714处理眼睛图像以标识眼睛图像中的闪光的二维位置以及由瞳孔标识模块712处理眼睛图像以标识眼睛图像中瞳孔的二维位置。
在框1130处，可穿戴系统可估计用户的左和右角膜相对于可穿戴系统的三维位置。作为示例，可穿戴系统可估计用户的左和右角膜的曲率中心的位置以及这些曲率中心与用户的左和右角膜之间的距离。框1130可涉及本文至少结合图7A和8A-8E描述的标识曲率中心的位置的3D角膜中心估计模块716。
在框1140处，可穿戴系统可估计用户的左和右瞳孔中心相对于可穿戴系统的三维位置。作为示例，可穿戴系统和3D瞳孔中心定位器模块720尤其可估计用户的左和右瞳孔中心的位置，如至少结合图7A和9D-9G描述的作为框1140的一部分。
在框1150处，可穿戴系统可估计用户的左和右旋转中心(CoR)相对于可穿戴系统的三维位置。作为示例，可穿戴系统和CoR估计模块724尤其可估计用户的左眼和右眼的CoR的位置，如至少结合图7A和10所描述的。作为特定示例，可穿戴系统可通过沿着光轴从角膜的曲率中心向视网膜返回来找到眼睛的CoR。
在框1160处，可穿戴系统可从眼睛跟踪数据中估计用户的IPD、聚散深度、视角中心(CoP)、光轴、视轴和其他所需属性。作为示例，IPD估计模块726可通过比较左和右CoR的3D位置来估计用户的IPD，聚散深度估计模块728可通过找到左和右光轴的交点(或接近交点)或左和右视轴的交点来估计用户的深度，光轴确定模块722可随时间标识左和右光轴，光轴到视轴映射模块730可随时间标识左和右视轴，CoP估计模块732可标识左和右视角中心，作为框1160的一部分。
在框1170处，可穿戴系统可部分地基于在框1120-1160中标识的眼睛跟踪数据来渲染内容，并且可可选地提供关于配准的反馈(即，可穿戴系统对用户的头部的适配)。作为示例，可穿戴系统可标识渲染相机的合适位置，然后基于渲染相机的位置为用户生成内容，如结合图7B的光场渲染控制器618和渲染引擎622所讨论的。作为另一个示例，可穿戴系统可确定它是否正确地适配到用户，或者相对于用户已经从其正确的位置滑落，并且可向用户提供指示设备的适配是否需要调整的可选反馈，如结合配准观察器620所讨论的和结合图16的框1608所讨论的。在一些实施例中，如结合图16的框1610所讨论的，可穿戴系统可基于不正确或不那么理想的配准来调整渲染的内容，以尝试减少、最小化或补偿不正确或未配准的影响。
设备配准的概述
为了使本文所述的可穿戴系统200输出高感知图像质量的图像，可穿戴系统200的显示器220(图2)优选地正确地适配至用户(例如，相对于用户的头部进行定位和定向，使得系统200的输入和输出与用户的头部的对应部分正确地对接，并且使得该设备稳定且穿戴和使用舒适)。作为示例，为了使显示器220向用户的眼睛提供视觉内容，显示器220优选地位于用户的眼睛前面，并且取决于显示器220的相关特性，用户的眼睛优选地位于特定的体积内(参见例如与图13A和13B相关联的进一步讨论)。作为另外的示例，扬声器240优选地位于用户的耳朵附近、其上或之中，以向用户提供高质量的音频内容，音频传感器(例如，麦克风)232优选地位于特定区域中以从用户接收声音，面向内部的成像系统462(其可包括一个或多个相机324和一个或多个红外光源326)优选地被正确地放置在一个位置和取向上，以获得用户的眼睛的清晰、无障碍的图像(其可成为眼睛跟踪系统的一部分)。这些仅仅是可穿戴系统200优选地正确地适配用户的各种原因的示例。
为了确保可穿戴系统200被正确地与用户配准，可穿戴系统200可包括诸如图6的配准观察器620的配准观察器。在一些实施例中，正确配准的可穿戴系统200包括显示器，该显示器被定位成使得用户的一只或两只眼睛能够接收足够的图像光以基本上看到由可穿戴显示系统200的显示器220提供的整个视场。例如，正确配准的显示器可允许在显示器的视场的约80％或更高、约85％或更高、约90％或更高、或约95％或更高的范围内观看图像，具有80％或更高、约85％或更高、约90％或更高、或约95％或更高的亮度均匀性。将理解的是，当显示器正在遍及整个视场显示相同的内容时，亮度均匀性可等于显示器的整个视场上100％乘以最小亮度除以最大亮度(100％×Lmin/Lmax)。
配准观察器620可使用各种传感器来确定可穿戴系统200如何适配在用户上(例如，如果可穿戴系统200的显示器220正确地定位在用户上)。作为示例，配准观察器620可使用面向内部的成像系统462(其可包括眼睛跟踪系统)来确定如何相对于用户特别是相对于用户的眼睛、耳朵、嘴巴或与可穿戴系统200对接的其他部分，来对可穿戴系统200的相关部分进行空间定向。
配准观察器620可协助校准过程，针对特定用户的可穿戴系统200的这种初始或后续配置或设置。作为示例，配准观察器620可在针对该特定用户在可穿戴系统200的配置或设置期间向用户提供反馈。附加地或替代地，配准观察器620可连续地或间歇地监控可穿戴系统200在用户上的配准，以在使用期间检查持续的正确配准，并且可即时(on the fly)提供用户反馈。配准观察器620可提供用户反馈，或作为配置过程的一部分或作为在使用期间的配准监控的一部分，该用户反馈指示何时可穿戴系统200被正确配准以及何时可穿戴系统200未被正确配准。配准观察器620还可提供关于用户可如何校正任何未配准并实现正确配准的特定建议。作为示例，配准观察器620可推荐用户在检测到可穿戴设备的滑动之后(例如，沿着用户的鼻梁向下)向后推可穿戴设备，可推荐用户调整可穿戴设备的一些可调整部件(例如，如本文结合图15A和15B所述)，等等。
配准坐标系的示例
图12A-12B示出了示例眼睛位置坐标系，该示例眼睛位置坐标系可用于定义用户的左眼和右眼相对于本文所述的可穿戴系统的显示器的三维位置。作为示例，坐标系可包括轴X、Y和Z。坐标系的轴z可对应于深度，例如用户的眼睛所在的平面与显示器220所在的平面之间的距离(例如，垂直于用户的面部正面的平面的方向)。坐标系的轴x可对应于左右方向，诸如用户左眼和右眼之间的距离。坐标系的轴y可对应于上下方向，其可以是当用户直立时的垂直方向。
图12A示出了用户的眼睛1200和显示表面1202(其可以是图2的显示器220的一部分)的侧视图，而图12B示出了用户的眼睛1200和显示表面1202的俯视图。显示表面1202可位于用户的眼睛前面，并且可将图像光输出给用户的眼睛。作为示例，显示表面1202可包括一个或多个出耦合光元件、有源或像素显示元件，并且可以是波导堆叠的一部分，诸如图4的堆叠波导组件480。在一些实施例中，显示表面1202可以是平面的。在一些其他实施例中，显示表面1202可具有其他拓扑(例如，弯曲的)。应当理解，显示表面1202可以是显示器的物理表面，或者仅仅是平面或其他假想表面，从该平面或其他假想表面，图像光被理解为从显示器220传播到用户的眼睛。
如图12A所示，用户的眼睛1200可具有偏移标称位置1206的实际位置1204，并且显示表面1202可处于位置1214。图12A还示出了用户的眼睛1200的角膜顶点1212。用户的视线(例如，他们的光轴和/或视轴)可基本上沿着实际位置1204和角膜顶点1212之间的线。如图12A和图12B中所示，实际位置1204可从标称位置1206偏移z-偏移1210、y-偏移1208和x-偏移1209。标称位置1206可表示针对用户的眼睛1200相对于显示表面1202的优选位置(有时称为设计位置，其通常可在所需的体积内居中)。随着用户的眼睛1200远离标称位置1206移动，显示表面1202的性能可能会劣化，如本文结合例如图14所讨论的。
另外，将理解，渲染相机的默认位置可以是标称位置1206。如本文中所讨论的，显示系统可被配置为从虚拟渲染相机的视角渲染内容。结果，渲染相机的各种参数(例如焦距)可影响提供给用户的内容的外观。例如，焦距可确定呈现给用户的虚拟内容的放大率和大小。因此，不同的焦距可与不同的深度平面相关联。
在一些实施例中，默认情况下，渲染相机的透镜可定位在标称位置1206处，标称位置1206被假设为对应于旋转中心，在此可将其理解为该示例中的点1204。然而，旋转中心1204从标称位置1206的偏移可导致不期望的观看者不适。例如，将认识到，放大误差可在每眼睛基础上发生，并且虚拟内容可看起来比预期的更大或更小。在一种场景中，如果渲染相机的焦距比预期的短(例如，由于用户的眼睛的旋转中心位于标称位置的后面，而没有补偿渲染空间中的这种位移或偏移)，则虚拟内容可看起来比预期的更小。类似地，如果渲染相机的焦距比预期的更长(例如，由于用户的眼睛的旋转中心位于标称位置的前面，但没有补偿渲染空间中的这种位移或偏移)，则虚拟内容可能看起来比预期的更大。如果每只眼睛的这种放大率误差不同(例如，由于一只眼睛的旋转中心位于标称位置的后面，而用户另一只眼睛的旋转中心位于标称位置的前面，而没有正确补偿渲染空间中的这些偏移)，相同虚拟对象的感知的大小可能逐眼睛不同。大小上的这种差异可导致用户感到某种程度的不适(例如，试图调和双眼尺寸上的差异会引起潜在的眼睛疲劳和/或头痛)。
在一些实施例中，可基于默认位置1206(为旋转中心假设的位置)与旋转中心1204的实际位置之间的z轴偏移来确定渲染相机的焦距。例如，如果旋转中心位于标称位置的后面，则可减小渲染相机的焦距(例如，减小偏移量)。另一方面，如果旋转中心位于标称位置的前面，则可增加焦距(例如，增加偏移量)。
另外，在一些实施例中，还可基于系统正在使用的深度平面来计算渲染相机的焦距。例如，在一些实施例中，可假设渲染相机的光学器件遵循薄透镜方程(1/o+1/i＝1/f)，其中，o是物距(例如，在其上呈现内容的深度平面)，i是常数(例如，从旋转中心到用户的视网膜的距离)，f是焦距。如本文所讨论的，在其上呈现内容的深度平面与用户具有设定的距离。结果，由于已知数量o和i，因此可通过求解f来确定焦距。在一些实施方式中，可结合本文中描述的一个或多个操作来执行渲染相机焦距调整，例如以上参考图11所描述的步骤1170和下文中参考图16更详细地描述的步骤1610。在2018年1月17日提交的题为“EYECENTER OF ROTATION DETERMINATION,DEPTH PLANE SELECTION,AND RENDER CAMERAPOSITIONING IN DISPLAY SYSTEMS(显示系统中的眼睛旋转中心确定、深度平面选择和渲染相机定位)”的美国临时专利申请62/618559以及在2018年7月24日提交的题为“EYECENTER OF ROTATION DETERMINATION,DEPTH PLANE SELECTION,AND RENDER CAMERAPOSITIONING IN DISPLAY SYSTEMS(显示系统中的眼睛旋转中心确定、深度平面选择和渲染相机定位)”的美国临时专利申请62/702849中提供了可在本文中描述的一个或多个系统采用的附加渲染相机调整方案的示例，上述临时专利申请全文通过引用并入本文。
继续参考图12A，将认识到，与用户的眼睛1200相关联的点或体积可用于表示本文的配准分析中的用户的眼睛的位置。表示点或体积可以是与眼睛1200相关联的任何点或体积，并且优选地被一致地使用。例如，该点或体积可在眼睛1200上或之中，或者可远离眼睛1200放置。在一些实施例中，该点或体积是眼睛1200的旋转中心。旋转中心可如本文中所描述的那样确定，并且由于其大致对称地布置在眼睛1200内的各个轴上并且允许与光轴对准的单个显示配准体积被用于分析，因此可具有简化配准分析的优点。
图12A还示出了显示表面1202可位于用户的视域下方的中心(当用户笔直向前看时沿y轴看，他们的光轴与地面平行)并且可倾斜(相对于y轴)。特别地，显示表面1202可被设置在用户的视域下方一些位置，使得当眼睛1200在位置1206时，用户将不得不以大约角度1216向下看以看着显示表面1202的中心。这可促进与显示表面1202的更自然且舒适的交互，特别是当观看以较短深度(或距用户的距离)渲染的内容时，因为用户可更舒适地观看在视域下方而不是视域上方的内容。此外，显示表面1202可例如以角度1218(相对于y轴)倾斜，使得当用户注视显示表面1202的中心(例如，注视稍微用户视域以下)时，显示表面1202通常垂直于用户的视线。在至少一些实施例中，显示表面1202也可相对于用户的眼睛的标称位置向左或向右偏移(例如，沿x轴)。作为示例，左眼显示表面可向右偏移并且右眼显示表面可向左偏移(例如，显示表面1202可朝彼此偏移)，使得用户的视线当聚焦在小于无限远的某个距离处时命中显示表面的中心，这可能会增加在可穿戴设备上的典型使用过程中的用户舒适度。
显示配准体积的示例
图13A-13B示出了示例显示配准体积1302a。显示配准体积1302a可表示眼睛1200所在的空间体积，以便从显示设备接收图像光。在一些实施例中，优选地定位用户的眼睛的旋转中心，使得眼睛配准或接收来自显示设备的图像信息。在一些实施例中，当用户的眼睛的旋转中心位于显示配准体积1302a内时，用户能够以高亮度均匀性看到由显示设备输出的整个图像。例如，如本文所述，正确配准的显示器可允许在显示器的视场上约80％或更多、约85％或更多、约90％或更多、或约95％或更多看到图像，具有80％或更高、约85％或更高、约90％或更高、或约95％或更高的亮度均匀性。换句话说，具有“良好”配准的显示器(例如，由图7C的模块772确定)可具有90％或更高的亮度均匀性，具有“一般”配准的显示器可具有80％或更高的亮度均匀性，并且具有“失败”配准的显示器可具有小于80％的亮度均匀性。
如本文中也描述的，旋转中心1204可用作用于参考和确定用户的眼睛的三维位置的便利参考点。可使用本文所述的技术来确定用户的每只眼睛的旋转中心，例如通过沿着用户的光轴从角膜的曲率中心向旋转中心(CoR)返回。但是，通常，在本文所述的过程和系统中可利用与用户的眼睛相关联的任何期望参考点。显示配准体积1203可表示其中显示表面1202能够在接近全潜在操作的空间的体积(例如，没有显示表面1202的性能的结合图15A和15B描述的类型的明显劣化)。如果用户的眼睛(例如，用户的眼睛的旋转中心1204)不在配准体积1302a内，则用户可能会体验到性能劣化，并且显示表面1202提供的某些或全部内容可能会部分调暗或对用户完全不可见。
如图13A所示，配准体积1302a可具有截头锥体的形状，其是金字塔的上部被通常通过平行于其底部的平面切除之后而保留的一部分。换句话说，配准体积1302a当用户的眼睛更靠近显示表面1202时可沿x轴和y轴较大(参见例如图12A和12B)，并且当用户的眼睛距离显示表面1202较远时可沿x轴和y轴较小。截头锥体是其中剪切平面(例如，在该处剪切掉原始形状的一部分的线)平行于体积的底部的截断的示例。通常，配准体积例如体积1302a可采取以任何方式截断的体积的形状，诸如通过一个或多个非平行剪切平面(例如，如图13B所示)或通过一个或多个非平面剪切。
配准体积的尺寸可取决于显示表面1202和可穿戴系统的其他元件的具体实施方式。例如，图13B示出配准体积1302b可相对于显示表面1202成角度。在图13B的示例中，配准体积1302b的最靠近显示表面1202的部分可与显示表面1202成一定角度，从而当用户的眼睛在该体积的前部(最靠近显示表面1202的z位置)垂直(沿y方向)移动时，用户的眼睛将需要远离显示表面(沿z轴)移动以保持在配准体积1302b内。在一些实施例中，配准体积1302b的形状可基于眼睛跟踪系统的能力，该眼睛跟踪系统可能无法在图13B的成角度的体积1302b之外跟踪用户的眼睛。
配准体积的尺寸和形状还可取决于显示器220的各个部分的特性，显示器220可包括显示表面1202。作为示例，显示器220可以是具有以下的光场显示器：一个或多个波导(其可堆叠并可为用户提供多个聚散提示)、从图像注入设备接收光并将光耦合到波导中的入耦合元件、光分布元件(有时称为设置在波导上将光分配到出耦合元件的正交光瞳扩展器(OPE))、以及将光引向观看者的眼睛的出耦合元件(有时称为出射光瞳扩展器(EPE))。在一些实施例中，如本文所述，显示表面1202是从显示系统输出具有图像信息的光以在用户的眼睛中形成图像的表面或表面的一部分。例如，显示表面1202可以是波导表面上由出耦合元件或EPE限定的区域，而显示表面1202的周长是由出耦合元件或EPE限定的区域的周长。至少结合2018年3月14日提交的美国临时专利申请号62/642,761的图9A-9C还描述了光场显示器以及这种显示器的部件的进一步示例和细节，其全部内容通过引用合并于此。
在一些实施例中，配准体积1302a的x尺寸可跨越大约3.0mm、3.0mm、3.5mm、4.0mm、4.5mm、4.7mm、5.0mm、5.5mm或6.0mm；或可小于3.0mm；或沿体积的背面大于6.0mm(例如，沿z轴距显示表面的最大距离)。类似地，配准体积1302a的y尺寸可跨越大约2.5mm、3.0mm、3.5mm、3.9mm、4.0mm、4.5mm、5.0mm、5.5mm或6.0mm；或可小于2.5mm；或沿着体积的背面大于6.0mm。在标称x和y位置处，配准体积1302a的z尺寸可跨越大约7.0mm、7.5mm、8.0mm、8.5mm、9.0mm、9.5mm、10.0mm、10.5mm或11.0mm；或小于7.0mm；或大于11.0mm。在体积的前面的x和y尺寸可更大。作为示例，在体积的前面的配准体积的x和y尺寸可以是大约7.0mm、7.5mm、8.0mm、8.5mm、8.9mm、9.0mm、9.5mm、10.0mm、10.0mm、10.5mm、11.0mm、11.4mm、11.5mm、12.0mm或12.5mm；或小于7.0mm；或大于12.5mm。作为具体示例，配准体积的尺寸可包括大约9mm的z尺寸；体积后面的x尺寸大约为4.7mm，体积前面的x尺寸为大约11.4mm；体积后面的y尺寸大约为3.9mm，体积前面的y尺寸大约为8.9mm。
在至少一些实施例中，可存在多个配准体积，诸如体积1302b和1304，每个配准体积与不同的最小显示性能级别相关联。举例来说，图13B的体积1304可以小于体积1302，并且可表示在其中用户以100％的亮度均匀性感知显示表面1202提供的所有内容的体积，而较大的体积1302b可表示在其中用户以100％的亮度均匀性感知显示表面1202提供的内容的至少90％的体积。因此，在一些实施例中，显示系统可被配置为确定用户的眼睛是否在显示器的配准或视体积之内，和/或可被配置为确定用户的眼睛是否在距配准体积的阈值距离之内。例如，在一些实施例中，较小的体积1304可被认为是基线配准体积或视体积，并且较大的体积1302b的边界可被认为是从配准体积划分出可接受的阈值距离。在一些实施例中，如果显示系统确定眼睛的位置在显示系统的视体积之外大于阈值距离，则显示系统可被配置为向用户提供指示显示器和眼睛未被正确配准的反馈，以用于输出和/或采取措施来减轻由未配准引起的显示劣化，如本文所讨论的。
在一些实施例中，可至少部分基于当前正在运行或将在系统上运行的应用来确定显示配准体积。例如，当运行其中仅一部分视场用于显示虚拟内容的应用(例如，其中阅读材料可只占据显示器的视场的一部分(例如，中央部分)的基于阅读的应用)时，显示系统可使用较大的显示配准体积(例如，体积1302b)。结果，由于未配准，用户在视场外围感知图像内容的能力的损失在运行这种基于阅读的应用时可能无法感知被，因为该应用可能不会在外围呈现内容。结果，较大的显示配准体积可被用于例如减少当这种图像配准可不影响由在显示系统上运行的应用所呈现的内容时给用户的关于未配准的不必要的通知。类似地，在另一个示例中，当运行其中预期头戴式显示器相对于用户的眼睛移位的应用(例如面向运动的应用或需要相对较高水平的用户参与和/或身体活动的其他应用)时，显示系统可使用较大的显示配准体积(例如，体积1302b)。在这样的应用中，可考虑关于未配准的通知，例如，分散注意力或以其他方式损害用户体验；提供更大的显示配准体积减少显示系统将为用户生成此类修改的可能性。在一些其他实施例中，当运行其中希望在显示器的整个视场上或在视场的外围部分提供内容的应用时，可利用较小的显示配准体积(例如，体积1304)。此类应用可包括沉浸式游戏应用，其中，内容在整个显示器视场中显示。在一些实施方式中，可基于其他因素来确定显示配准体积，其他因素包括用户偏好、用户视觉处方、系统的操作条件等。
图13C和13D示出了示例显示配准体积，其被配置为使用眼睛的旋转中心作为指示眼睛相对于用户的眼睛和显示表面的位置的参考点。特别地，图13C示出了在用户的眼睛1200内的显示配准体积(例如配准体积1302b)的示例性定位。在图13C的示例中，眼睛1200的旋转中心1204在配准体积1302b内大致居中。另外，配准体积1302b被示出为具有大约9mm的深度的示例尺寸，并且在深度轴的中点处具有大约3.5mm的宽度和3mm的高度。如本文所讨论的，配准体积的尺寸可变化并且可与可穿戴系统的各个部件的特性有关。图13C还示出了眼睛结构1340，其可以是眼睛1200的晶状体或瞳孔。
图13D示出了较大的环境，其中，用户的眼睛1200通常位于配准体积1302b内并且正在通过显示表面1202看虚拟内容1350。如本文中所讨论的，诸如虚拟内容1350的虚拟内容可提供给用户，具有与比显示表面1202的深度更大的深度相关联的聚散和适应提示。换句话说，虚拟内容1350对于用户来说，用眼睛1200看起来比显示器1202距离用户更大的距离。在图13D的示例中示出了这样的布置。
继续参考图13D，将认识到，显示配准体积1302b可以是具有由从显示表面1202的周边到眼睛1200内的点的投射所限定的边界的假想体积。例如，该投射可限定金字塔，并且显示配准体积1302b可以是该金字塔的截头锥体。因此，沿着光轴上面对显示表面1202的平面，显示配准体积1302b的横截面形状类似于由显示表面1202的周边所形成的形状。例如，如图所示，在显示表面1202是正方形的情况下，显示配准体积1302b的横截面形状也是正方形。另外，还如图所示，在显示表面1202的中心在用户的视域以下的情况下，截头锥体也可倾斜成使得显示配准体积1302b的前部的中心也在用户的视域以下。将理解的是，在一些实施例中，显示表面1202的相关周边是在其上输出图像光或显示内容的显示器的区域的周边。显示配准体积1302b的边界可在相同坐标系中定义，在该坐标系中映射了诸如眼睛1200的旋转中心1204的各种特征，从而允许在显示配准体积1302b与这些各种特征之间进行比较。
在一些实施例中，眼睛的旋转中心1204在限定显示配准体积1302b的截头锥体内居中。然而，应当理解，眼睛的旋转中心1204的标称位置和/或截头锥体的整体形状可凭经验确定或使用除从显示表面1202投射以外的标准来选择，使得显示系统能够正确配准显示器并提供关于配准质量和即使不理想也可接受的配准级别的准确反馈。
各种配准位置处的显示性能的示例
图14示出了显示表面1202的性能可如何随用户的眼睛1200的位置而变化。如图所示，来自显示表面1202的光线可成一定角度被引导到眼睛，使得来自显示表面1202的边缘的光线朝着眼睛1200向内传播。因此，锥体1202'表示由显示表面1202输出给眼睛1200以形成图像的光锥。
因此，当显示表面1202相对于眼睛1200移位时，与视场的各个部分相对应的像素的出射光瞳(exit pupil)不会到达眼睛1200的视网膜，并且图像在该视场的那些部分显得调暗。眼睛的旋转中心的位置1204a、1204b、1204c和1204d相对于旋转中心的理想位置1204'有效地移位了；显示表面1202相对于眼睛1200的运动可导致眼睛的旋转中心可能移动到显示表面1202的显示配准体积1302a、1304、1302b(图13A和13B)的外部。如所讨论的，可将显示配准体积绑定到显示表面1202，例如，可通过来自显示表面1202的投射来限定显示配准体积。因此，随着显示表面1202相对眼睛1200移动，显示配准体积1302a、1302b(图13A和13B)也是如此。图14示出了用户的眼睛的旋转中心的各种位置(例如，位置1204a、1204b、1204c和1204d)，显示表面1202的相对位置以及用户如何在各个位置上感知由显示表面1202提供的内容的表示(例如，表示1400a、1400b、1400c和1400d)。
在示例1400a中，用户的眼睛的旋转中心可在位置1204a处，该位置可在诸如配准体积1300b之类的配准体积(例如，其中由于眼睛1200在其视网膜上接收由显示表面1202输出的几乎所有图像光导致图像质量高的体积)内居中。表示1400a可表示当用户的眼睛位于位置1204a时用户对由显示表面1202提供的内容的感知(或观看)。如表示1400a所示，显示表面1202上的基本上所有内容的亮度是均匀的，并且可处于或接近全亮度水平。
在示例1400b中，用户的眼睛的旋转中心可在位置1204b处，该位置可在诸如体积1304(图13B)之类的优选显示配准体积之外，但在诸如体积1302b(例如，其中显示性能仅略有劣化的体积)的次要配准体积内。表示1400b可表示当用户的眼睛的旋转中心在位置1204b时用户对由显示表面1202提供的内容的感知(或观看)。如表示1400b所示，由于用户的眼睛相对于显示表面1202未配准，沿显示表面1202右侧的图像的部分1402可能会有感知到的降低的亮度(例如50％亮度)。
在示例1400c中，用户的眼睛的旋转中心可在位置1204c处，该位置可在诸如体积1302b(图13B)的第二配准体积的外部(或外部边缘上)。表示1400c可表示当用户的眼睛的旋转中心在位置1204c时用户对由显示表面1202提供的内容的感知(或观看)。如表示1400c所示，沿着显示的图像的边缘的部分1406，由于未配准，用户感知可能会完全(或几乎完全)调暗，并且因此用户看不到它。在其中显示器的一些像素低于感知的亮度水平的布置中，显示器可提供减小的视场(例如，用户可能无法感知显示器原本能够呈现的整个视场)。另外，在暗部分1406和表示的其余部分之间可存在图像的具有逐渐减小的亮度的带或部分1404。
在示例1400d中，用户的眼睛的旋转中心可在位置1204d处，该位置可完全在所期望的配准体积之外。表示1400d可表示当用户的眼睛的旋转中心在位置1204d时用户对由显示表面1202提供的内容的感知(或观看)。如表示1400d所示，由于明显的未配准，图像的大部分1410对用户可显得完全(或几乎完全)暗，并且图像的实质部分1408可显得被调暗。
如本文中所讨论的，将了解，显示系统可被配置为增加显示器的视场的由于未对准而经历调暗的部分的光输出或感知的亮度。例如，在确定存在未配准时，如本文中所讨论的，显示系统可以以标志或指令的形式提供用于显示器的通知，针对预期由于未配准而会经历调暗的像素增加输出给用户的光的量。例如，在示例1400b中，表示部分1402中的图像信息的像素可使其感知亮度提高，以减轻预期由于未配准而导致的感知亮度降低。
将会意识到，随着较高水平的未配准，增强亮度以补偿调暗的能力会减弱。例如，在示例1400d中，由于眼睛1200没有从区域1410中的像素接收任何光，所以区域1410可以是暗的。因此，虽然增强的亮度可减轻由于部分1402(示例1400b)中的未配准引起的调暗，但是增强的亮度可能不能减轻显示器的部分1410(示例1400d)中的调暗，在该部分1410中，未配准使得眼睛根本无法接收光。部分1410大于部分14，并且作为近似，预期要调暗的部分的尺寸可指示提高亮度是否有效；也就是说，如果预期要调暗的部分的尺寸(例如，像素数量)足够大，则在某些实施例中，可假设未配准足够大，以至于提高亮度对于大多数这些像素都无效。结果，在一些实施例中，显示系统可被配置为比较预期要调暗的部分中的像素数量，并且如果该数量超过阈值，则向用户提供指示显示器和眼睛没有正确配准的反馈。
用于可穿戴系统的可互换适配件的示例
图15A和15B示出了可穿戴系统220的分解透视图，可穿戴系统220可包括可互换适配件。特别地，图15A示出了可穿戴系统200可如何包括诸如垫1500a、1500b和1500c之类的可互换后部垫；而图15B示出了系统200如何可包括诸如垫1502的可互换前额垫和诸如垫1504的可互换鼻梁垫。这些可互换垫可用于为个体用户调整可穿戴系统200的适配，这些个体用户可具有变化的解剖学属性(例如，显示器220和框架230如何适配各种不同用户)。作为示例，具有相对较小的头部的用户可受益于将相对较大的后部垫1500a、1500b和1500c附接到框架230，而具有相对较大的头部的用户通过附接相对较小的后部垫或甚至省去后部垫可获得更好的结果(例如，更好的光学性能和框架300在他们的头上的稳定性)。类似地，鼻子和/或前额突出的用户可受益于较小的前额垫1502和/或鼻梁垫1504；而鼻子和/或前额不那么突出的用户可受益于较大的前额垫1502和/或鼻梁垫1504。这些仅是示例性示例，通常确定可互换护垫组以使之最适配任何特定用户可能很复杂。如本文所述，显示系统可向用户显示通知，该通知指示可能需要不同的可互换适配件以向用户提供显示器的正确配准。
参考图15A，可穿戴系统可包括一个或多个壳体开口1510。壳体开口1510可以是框架230中的开口，并且如果期望的话，可以可选地包括透镜或其他结构，例如用于机械保护显示器的波导的透光结构。壳体开口1510中的透镜可以是透明的(例如，完全或几乎完全透明)，或者可以是部分不透明的(例如，以减少穿过开口1510的环境光的水平)。框架230中的开口尽管在图15A中示出为大致圆形，其可具有任何期望的形状。
观察设备配准的示例过程
图16是用于观察设备配准并提供关于配准或补偿可穿戴设备中的未配准的反馈的示例性方法1600的流程图。方法1600可由本文描述的可穿戴系统执行。方法1600的实施例可由可穿戴系统用来基于来自眼睛跟踪系统的数据提供关于配准的反馈(即，可穿戴设备对用户的适配)，并调整显示器以尝试补偿适配误差(例如，未配准)。
在框1602，可穿戴系统可获得适配公差。适配公差可包括与诸如体积1302a、1302b或1304之类的显示配准体积相关联的信息。特别地，适配公差可包括与用户的眼睛相对于可穿戴设备的标称(例如，正常)位置相关联的信息，并且可以包括与标称位置的差异如何影响设备性能相关联的信息。作为一个示例，适配公差可包括关于可穿戴设备能够妨碍用户至少一定期望性能量(例如，在显示器中的任何像素上不超过50％的调暗)的标称位置范围的信息。
在框1604，可穿戴系统可获得配准数据。配准数据可包括可穿戴系统的各个部件与用户的相关联部分之间的空间关系。作为示例，配准数据可包括以下的一个或多个：用户的左眼相对于可穿戴系统的左眼显示器的三维位置；用户的右眼相对于右眼显示器的3D位置；以及用户的耳朵相对于可穿戴系统的音频输出(例如，扬声器、耳机、头戴式受话器等)的3D位置。可穿戴系统可使用任何合适的机制来获取配准数据。作为示例，可穿戴系统可使用图3所示类型的眼睛跟踪相机324(或其他相机，其可以是也可以不是面向内部的相机)来捕获用户的一只或两只眼睛的图像来确定用户的眼睛和可穿戴系统的相对位置。作为其他示例，可穿戴系统可包括深度传感器、压力传感器、温度传感器、光传感器、音频传感器或其他传感器，以测量或获取诸如可穿戴设备相对于用户的位置之类的配准数据。
在框1606处，可穿戴系统可确定适配特性。举例来说，可穿戴系统可确定用户的左眼是否位于左眼配准体积(例如，左眼的体积1302a、1302b或1304中的一个)内以及用户的右眼是否位于右眼配准体积(例如右眼的体积1302a、1302b或1304中的一个)内。框1606还可涉及确定用户的眼睛(或其他身体部位)距离其标称位置多远。作为示例，在框1606中，可穿戴系统可确定用户的至少一只眼睛在其各自的显示配准体积之外，用户的眼睛在其显示配准体积之外多少以及在哪个方向上。在框1608和1610中，可有益地利用关于未配准的方向和大小的信息(例如，配准体积或标称位置与用户的眼睛或其他身体部位的实际位置之间的距离)。
在框1608处，可穿戴系统可向用户(或某个其他实体)提供关于在框1608中确定的适配特性的反馈。作为示例，如果可穿戴系统在框1606中确定可穿戴设备相对于用户的眼睛太低，则可穿戴系统可在框1608向用户提供通知，该通知建议用户使用适当的鼻梁垫1504(例如，如果以前没有附接鼻梁垫，则添加鼻梁垫，或将现有鼻梁垫换成更大或更高的鼻梁垫)。相反，如果可穿戴设备确定其相对于用户的眼睛而言过高，则系统可向用户提供建议，以使用较小的鼻梁垫或完全移除该垫(如果设计为不带垫的可穿戴设备)。作为其他示例，可穿戴系统可向用户提供反馈，建议对诸如垫1502的前额垫、诸如垫1500a-1500c的后部垫的改变，对可穿戴系统的其他可调整部件的改变，对用户如何穿戴可穿戴系统的改变(例如，在相对于用户的特定方向移动或旋转系统的指令)。通常，可基于用户的眼睛相对于显示器的位置或其他度量(例如由系统标识的可见图像部分)来生成用户反馈。作为示例，当系统确定用户的眼睛在配准体积之上时，系统可向用户推荐用户沿着他们的鼻梁向上推可穿戴设备，以校正未配准。
可使用任何合适的设备来提供用户反馈。作为示例，可通过可穿戴设备中的显示器或外部显示器呈现的视频或通过可穿戴设备或外部设备呈现的音频来提供用户反馈。在各种实施例中，可穿戴设备可提供交互式指南，以帮助用户以相对直观的方式获得正确的配准。作为示例，可穿戴设备可显示两个虚拟目标，一个表示用户的眼睛的位置，另一个表示标称配准位置。然后，当用户四处移动可穿戴设备并调整其适配时，用户可感知其调整如何影响配准，并且用户可快速直观地实现正确的配准。
在其中由作为可穿戴设备的一部分的诸如显示器的输出设备提供用户反馈的布置中，可穿戴设备可以以确保用户能够感知反馈的方式向用户提供反馈。作为示例，考虑图14的表示1400d。在这样的示例中，可穿戴系统可将用户反馈移动到被用户感知的所显示的图像的部分中，在图14的示例1400d中，移动到例如显示器的左半部中，而不是显示器的不可见的右半部。
在一些实施例中，本文描述的类型的反馈可被提供给零售环境中的销售人员，并且该反馈可通过网络被传达给销售人员的计算机或移动设备。
在框1608处，可穿戴系统可调整其输出和输入以补偿未校正的适配误差。在一些实施例中，仅在用户响应于反馈未能校正适配误差之后才执行框1608。在其他实施例中，可执行框1608，直到用户校正适配误差为止。在一些实施例中，每当用户决定继续以适配误差使用可穿戴系统时，可执行框1608。在一些实施例中，可省略框1608。
作为示例，在框1608中，可穿戴系统可通过以下来调整其输出和输入：调整显示的图像的一部分(例如，以补偿由图14所示类型的未配准引起的调暗)、通过调整麦克风输入(例如，当用户离麦克风太远时提高麦克风增益，或当用户离麦克风太近时降低麦克风增益)、通过调整扬声器输出(例如，当用户离可穿戴设备中的扬声器太近或太远时提高或调低扬声器音量)等。作为一个特定示例，可穿戴系统可选择性地提高图像的各部分(例如图14的部分1402、1404或1408)的亮度，以试图减少未配准引起的调暗。在一些其他实施例中，可穿戴系统可识别出图像的某些部分(诸如图14的部分1406或1410)对用户不可见，并且可减少那些区域中的光输出以减少可穿戴系统的能量消耗。例如，在图像的不同部分可具有专用的、选择性激活的光源或光源的一部分的配置中，与图像的看不见的部分相关联的一个或多个光源或光源的一部分的光输出可减少或关闭。
标识显示配准体积的示例
图17A-17H示出了由显示器投射的光场以及光场的交点可如何部分地限定显示配准体积的视图。图18示出了由显示器投射的重叠光场以及光场的交点可如何部分地限定显示配准体积的俯视图。如图17A-17H和18所示，显示配准体积的大小和形状可部分取决于显示器(其可以是图2的显示器220)的几何形状以及出耦合的光传播出显示器的角度(例如，传播出显示器的波导)。将理解的是，光被输出的角度可限定显示器的FOV；相对于法线的较大角度提供较大的FOV。在一些实施例中，显示表面可输出足够大的角度以提供期望的FOV。
图17A-17H和图18示出了显示器220，其可以是光场显示器，其包括诸如波导1701、入耦合元件1702、正交光瞳扩展器(OPE)1704和出射光瞳扩展器(EPE)1706(可形成显示表面1202，其也在包括图12A-14的各种其他图中示出)的元件。作为示例，入耦合元件1702可接收来自图像源的光并且将光耦合到波导1701中。波导1701可将光传送到OPE 1704，OPE1704可提供光瞳扩展并将光引导到EPE 1706，EPE 1706(可设置在显示表面1202上)提供进一步的光瞳扩展并将光传送到用户的眼睛。至少结合于2018年3月14日提交的美国临时专利申请号62/642,761的图9A-9C还描述了光场显示器以及这种显示器的部件的进一步示例和细节，其全部内容通过引用合并于此。
图17A示出了其中显示器220在光学无限远和显示器的FOV的最右边区域(例如，最右边像素)投射与虚拟图像内容相关联的光1710的示例。相比之下，图17B示出了其中显示器220在光学无限远处以及显示器的FOV的最左区域(例如，最左像素)投射与对象相关联的光1712的示例。图17C示出了图17A的光1710和图17B的光1712的重叠区域1714。区域1714可以是水平配准体积。特别地，当用户的眼睛位于图17C的区域1714内时，用户能够感知在FOV的最右区域(如图17A中所示)和FOV的最左区域(如图17B中所示)的对象(例如，显示器220能够向用户提供来自所述对象的光)。
图17D-F示出了除了垂直方向外与图17A-17E这些示例相似的示例。特别地，图17D示出了其中显示器220在光学无限远处以及显示器的FOV的最底部区域(例如，最底部像素)投射与对象相关联的光1716的示例，而图17E示出了其中显示器220在光学无限远处以及显示器的FOV的最顶部区域(例如，最底部像素)投射与对象相关联的光1718的示例。类似地，图17F示出了图17D的光1716和图17E的光1718的重叠区域1720。区域1720可以是垂直配准体积。特别地，当用户的眼睛位于图17F的区域1720内时，用户能够感知在FOV的最底部区域(如图17D中所示)和FOV的最顶部区域(如图17E中所示)处的对象(例如，显示器220能够向用户提供来自所述对象的光)。
图17G和17H示出了图17C的区域1714和图17F的区域1720的交点(作为区域1722)。特别地，图17G示出了其中来自显示器220的FOV的四个角处的对象的光重叠的区域1722。图17H仅示出区域1722的轮廓。显而易见，当用户的眼睛位于区域1722内时，用户能够感知在显示器的FOV内任何地方的对象(例如，显示器220能够向用户提供来自所述对象的光)。在一些实施例中，显示器220的配准体积可被理解为是头戴式显示器的视体积，表示由头戴式显示器呈现的虚拟图像内容的每个像素的光预期通过该视体积。
在一些实施例中，在保持其他属性(例如显示器尺寸)恒定的同时增加显示器220的FOV(水平、垂直或其组合)可具有缩小相关配准体积(例如，水平体积1714、垂直体积1720或组合配准体积1722)的效果。作为示例，考虑图17A-C和水平FOV和配准体积1714。显示器220的水平FOV的增加意味着来自右侧水平边缘上的对象的光1710以更锐角度(例如，从法线到显示表面1202的更大角度)被显示表面1202(例如，EPE 1706)投射。类似地，来自左侧水平边缘上的对象的光1712以更锐角投射。因此，从图17C的角度来看，水平配准体积1714的顶点随着水平FOV的增加而朝向显示表面1202移动，从而使体积1714缩小。在一些实施例中，类似的考虑可应用于垂直FOV和垂直配准体积以及整个FOV和整个配准体积。
图18示出了包括显示表面1202的显示器220的俯视图，显示表面1202可具有矩形形状和特定的FOV以及由显示器产生的光线。一般而言，图18的显示器220的配准体积可以是体积1802，其在图18的俯视图中显示为三角形。体积1802可表示由图17A-17G所示的光形成的各种光场重叠的体积。如果用户的眼睛位于体积1802的外部(例如，在体积1804中)，则可看到来自显示器220的至少某些部分的光场的光将无法到达用户的眼睛，从而导致FOV的一部分被部分或完全调暗。
应当注意，显示器和配准体积的侧视图将具有与图18所示的外观几乎相同的外观(至少对于矩形显示器而言)，尽管在所示出的显示器220的尺寸将是显示器220的高度而不是其宽度，并且所示出的FOV将是图18所示的垂直FOV而不是水平FOV。因此，体积1802实际上可具有某种金字塔形状。在其他实施例中，显示器可具有非矩形形状，诸如圆形、椭圆形、自由形状或任何其他期望的形状。在这样的实施例中，可通过在相关FOV处投射光场并标识那些光场相交的位置(其可对应于体积1802)以及光场不相交的位置(其可对应于体积1804)来确定对应的配准体积。
如本文中所讨论的，金字塔的“底部”可被截断(这可有助于将用户的眼睛从显示器移开，使得当正确配准时用户的睫毛不会影响显示器)，金字塔的“顶部”也可被截断(这可有助于减少噪声在用户的眼睛的位置确定中的影响，否则可能会在金字塔形配准体积的“顶部”迅速移入和移出配准)。应当理解，“顶部”靠近体积1802的顶点，而底部靠近波导1701。当用户的眼睛位于配准体积1802之外的区域1804中时，用户可能感知到显示器220的一些或所有像素的调暗，如本文所讨论的(例如，参见图14)。
通常，出于各种原因，可以以任何数量的方式来调整(例如，截断或以其他方式减少)配准体积。作为示例，配准体积可被截断，使得该体积与显示器220具有最小距离，以防止用户的睫毛或眼睑影响显示器220。因此，在一些实施例中，显示系统(例如，显示系统的处理电子器件)可被配置为通过至少部分地确定一只眼睛或两只眼睛距离显示器220是否小于最小阈值距离(例如最小允许距离)来确定用户的眼睛是否在配准体积1802内。如果确定眼睛是在距离显示器小于最小阈值的距离处，则显示系统可将该结果解释为意味着眼睛在配准体积1802之外，并且因此，显示器和眼睛未正确配准。结果，如本文所讨论的，显示系统可向用户提供指示配准不正确的反馈，和/或可被配置为采取措施来减轻由未配准引起的显示劣化。在一些实施方式中，这样的最小阈值距离可在一维或多维上变化。例如，最小阈值距离可沿着z轴线性变化，该距离是距标称位置和/或显示器的表面的距离的函数。
作为确定眼睛是否在距显示器220的最小距离之内的补充或替代，在一些实施例中，显示系统(例如，显示系统的处理电子器件)可被配置为通过至少部分地确定一只或两只眼睛距离显示器220是否大于最大阈值距离来确定用户的眼睛是否在配准体积1802内。将理解最大阈值距离可对应于上面提到的金字塔1802的“顶部”被截断处的距离。如果确定眼睛在距离显示器是大于最大阈值距离处，则显示系统可将该结果解释为意味着眼睛在配准体积1802之外，并且因此，显示器和眼睛未正确配准。结果，如本文所讨论的，显示系统可向用户提供指示配准不正确的反馈，和/或可被配置为采取措施来减轻由未配准引起的显示劣化。
除了确定眼睛是否在距显示器220的最小距离之内和/或超出最大距离之外或作为替代，可穿戴系统还可具有眼睛跟踪系统，包括诸如图6的相机324和光源326之类的元件，该眼睛跟踪系统仅当用户的眼睛在眼睛跟踪体积之内时才可跟踪用户的眼睛，该眼睛跟踪体积可与显示配准体积不完全重叠。在一些实施例中，眼睛跟踪系统的相机可具有包含显示配准体积的视场。因此，显示配准体积可被视为相机的视场的子空间或一部分。该显示系统可被配置为确定用户的眼睛是否在该子空间内，或是否在距该子空间的阈值距离内(当由相机成像时)。如果眼睛在子空间内或在距子空间的阈值距离内，则显示系统可将该结果解释为意味着眼睛在显示配准体积内。如果眼睛在子空间之外或在距主体的阈值距离之外，则显示系统可将该结果解释为意味着眼睛在显示配准体积之外。如果显示系统确定眼睛在显示配准体积之外，则显示系统可被配置为向用户提供指示显示器和眼睛没有正确配准的反馈，以用于输出，和/或可被配置为采用措施减轻由于未配准引起的显示劣化，如本文所讨论的。
壳体配准体积和系统配准体积的示例
图19A示出了示例壳体配准体积1900。来自周围环境的光穿过显示器的框架或壳体中的开口到达用户。应当理解，显示器的框架或壳体可从某些角度阻挡某些环境光到达用户的眼睛。结果，类似于显示配准体积，并且壳体配准体积1900可表示用户的眼睛定位在其中的空间体积，以便接收来自外部环境的光以通过显示器的壳体或框架获得可用的整个视场。在一些实施例中，用户的眼睛的旋转中心优选地位于壳体配准体积1900内，以使得眼睛以对应于全部可用视场的角度从外部环境接收光。在一些实施例中，当用户的眼睛的旋转中心位于壳体配准体积1900内时，用户能够看到他们周围的世界的可接受部分。正确地将用户的眼睛配准到可穿戴系统(例如，通过在壳体配准体积1900内提供旋转中心)可帮助减少用户将无法看到其路径上的障碍的可能性，可为用户提供重叠以促进双目视觉的左和右视场，和/或可为用户提供更舒适的视觉体验。
如图19A所示，可参考壳体开口1510部分地或全部地确定壳体配准体积1900，壳体开口1510可以是可穿戴系统的框架230中的开口(或透镜)，如先前结合图15A所讨论的。壳体配准体积1900例如可具有圆锥形，其底面由壳体开口1510的形状和尺寸限定。圆锥形最靠近壳体开口1510的部分以及最远离壳体开口1510的部分可被截断(例如，从壳体配准体积1900中排除)，这可帮助将用户的眼睛从显示器和壳体开口1510移开，使得用户的睫毛在正确配准时不会影响显示器，并且可帮助减少噪声在用户的眼睛的位置确定中的影响，否则可能会迅速移入或移出圆锥形配准体积的“顶部”处的小体积中的配准。在一些实施例中，显示系统可被配置为确定用户的眼睛(例如，眼睛的旋转中心)是否在壳体配准体积1900内，并且如果用户的眼睛在配准体积1900之外，则提供未配准通知。
图19B示出了叠加在图1900的壳体配准体积1900(与壳体开口1510相关联)上的图13A的显示配准体积1302a(与显示表面1202相关联)。在至少一些实施例中，可期望用户的眼睛的旋转中心位于图19A的壳体配准体积1900和诸如图13A的显示配准体积1302a(或本文讨论的任何其他显示配准体积)的显示配准体积内。当用户的眼睛位于壳体和显示配准体积内时，用户可能能够从显示设备接收图像信息(显示设备提供完整的视场)，同时还能够观看由壳体提供的外部环境的整个视场。
图19C示出了组合的配准体积1902的示例，其中，组合的配准体积1902中的每个点都位于壳体和显示配准体积之内(例如，在位移配准体积1302a和壳体配准体积1900内)。如图19B和19C所示，并且在至少一些实施例中，显示配准体积1302a通常可小于壳体配准体积1900(例如，壳体配准体积1900可仅在显示配准体积1302a的拐角处较小)。在这样的实施例中，组合的配准体积1902可具有类似于具有圆角的截断金字塔的形状，如图19C所示。在一些实施例中，显示系统可被配置为确定用户的眼睛(例如，眼睛的旋转中心)是在壳体配准体积1900内、显示配准体积1204内，还是在壳体配准体积1900和显示配准体积1204两者之内。如果用户的眼睛在所分析的特定体积之外，则显示系统可被配置为如果用户的眼睛在所分析的配准体积(例如，壳体配准体积1900、显示配准体积1204、或壳体配准体积1900和显示配准体积1204两者)之外则提供未配准的通知。
例如，在一些实施例中，可分析由壳体配准体积1900和显示配准体积1204限定的组合的重叠配准体积，以确定用户的眼睛是否在该组合的配准体积内。在一些实施例中，这可被理解为是壳体的配准或视体积的一部分或子空间，该壳体也可被称为外壳。显示系统可被配置为确定用户的眼睛是否在该子空间内(或子空间外部的可接受阈值距离)。如果显示系统确定眼睛的位置在显示器外壳的视体积的子空间之外大于阈值距离，则它可向用户提供指示显示器和眼睛未正确配准的反馈。
在周围环境中检测对象的计算机视觉
如上所讨论的，显示系统可被配置为检测用户周围的环境中的对象或特性。如本文所讨论的，可使用包括各种环境传感器(例如，相机、音频传感器、温度传感器等)的各种技术来完成检测。
在一些实施例中，可使用计算机视觉技术来检测环境中存在的对象。例如，如本文所公开的，显示系统的面向前的相机可被配置为对周围环境成像，并且显示系统可被配置为对图像执行图像分析以确定对象在周围环境中的存在。显示系统可分析由面向外部的成像系统获取的图像以执行场景重建、事件检测、视频跟踪、对象识别、对象姿势估计、学习、索引、运动估计、或图像恢复等。作为其他示例，该显示系统可被配置为执行面部和/或眼睛识别以确定在用户的视场中面部和/或人眼的存在和位置。可使用一种或多种计算机视觉算法来执行这些任务。计算机视觉算法的非限制性示例包括：尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、定向FAST和旋转BRIEF(ORB)、二进制鲁棒不变可扩展关按键点(BRISK)、快速视网膜关按键点(FREAK)、Viola-Jones算法、Eigenfaces方法、Lucas-Kanade算法、Horn-Schunk算法、均值漂移(Mean-shift)算法、视觉同时定位和地图构建(vSLAM)技术、顺序贝叶斯估计器(例如，卡尔曼滤波器、扩展卡尔曼滤波器等)、光束法平差(bundleadjustment)、自适应阈值(和其他阈值技术)、迭代最近点(ICP)、半全局匹配(SGM)、半全局块匹配(SGBM)、特征点直方图、各种机器学习算法(例如，支持矢量机、k最近邻算法、朴素贝叶斯、神经网络(包括卷积或深度神经网络)、或其他有监督/无监督模型等)，等等。
这些计算机视觉技术中的一个或多个也可与从其他环境传感器(例如，麦克风)获取的数据一起使用，以检测和确定由传感器检测到的对象的各种特性。
如本文中所讨论的，可基于一个或多个标准来检测周围环境中的对象。当显示系统使用计算机视觉算法或使用从一个或多个传感器组件(其可以是或可不是显示系统的一部分)接收到的数据检测到周围环境中存在或缺乏标准时，显示系统可随后发信号通知对象的存在。
机器学习
各种机器学习算法可用于学习标识周围环境中对象的存在。一旦训练后，机器学习算法可由显示系统存储。机器学习算法的一些示例可包括：有监督或无监督的机器学习算法、包括回归算法(例如，普通最小二乘回归)、基于实例的算法(例如，学习矢量量化)、决策树算法(例如，分类和回归树)、贝叶斯算法(例如，朴素贝叶斯)、聚类算法(例如，k-均值聚类)、关联规则学习算法(例如，先验算法)、人工神经网络算法(例如，感知器)、深度学习算法(例如，深度玻尔兹曼机、或深度神经网络)、降维算法(例如，主要成分分析)、整体算法(例如，堆叠泛化)和/或其他机器学习算法。在一些实施例中，可以为各个数据集定制各个模型。例如，可穿戴设备可以生成或存储基本模型。基本模型可以用作起点以生成特定于数据类型(例如，特定用户)、数据集(例如，获得的附加图像的集合)、有条件情况或其他变化的附加模型。在一些实施例中，显示系统可被配置为利用多种技术来生成用于分析聚合数据的模型。其他技术可以包括使用预定义的阈值或数据值。
用于检测对象的标准可包括一个或多个阈值条件。如果对由环境传感器获取的数据的分析指示通过了阈值条件，则显示系统可提供指示检测到周围环境中对象存在的信号。阈值条件可涉及定量和/或定性测量。例如，阈值条件可包括与反射和/或对象存在于环境中的可能性相关联的分数或百分比。显示系统可将根据环境传感器的数据计算出的分数与阈值分数进行比较。如果分数高于阈值水平，则显示系统可检测到反射和/或对象的存在。在一些其他实施例中，如果分数低于阈值，则显示系统可发信号通知环境中对象的存在。在一些实施例中，阈值条件可基于用户的情绪状态和/或用户与周围环境的交互来确定。
在一些实施例中，阈值条件、机器学习算法、或计算机视觉算法可专用于特定环境。例如，在诊断环境中，计算机视觉算法可专用于检测对刺激的某些响应。作为另一个示例，如本文所讨论的，显示系统可执行面部识别算法和/或事件跟踪算法以感测用户对刺激的反应。
将会意识到，本文描述和/或附图中描绘的每个过程、方法和算法可以体现在由一个或多个被配置为执行专门的和特定的计算机指令的物理计算系统、硬件计算机处理器、专用电路和/或电子硬件中以及全部或部分地由其自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如服务器)或专用计算机、专用电路等。代码模块可被编译并链接到可执行程序中、安装在动态链接库中，或者可以用解释性编程语言来编写。在一些实施例中，特定的操作和方法可以由特定于给定功能的电路执行。
此外，本公开的功能的某些实施例在数学上、计算上或技术上都足够复杂，以致于可能需要专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)来执行功能，例如由于所涉及计算的量或复杂性，或为了实质上实时地提供结果。例如，视频可以包括许多帧，每个帧具有数百万个像素，并且需要专门编程的计算机硬件来处理视频数据，以在商业上合理的时间量内提供所需的图像处理任务或应用。
代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上，例如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储设备、它们和/或类似存储器的组合等。在一些实施例中，非暂时性计算机可读介质可以是本地处理和数据模块(140)、远程处理模块(150)和远程数据存储库(160)中的一个或多个的一部分。方法和模块(或数据)还可以作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)在各种计算机可读传输介质(包括基于无线的和基于有线的/电缆的介质)上发送，并且可以采用多种形式(例如作为单个或多路复用模拟信号的一部分，或作为多个离散数字分组或帧)。所公开的过程或过程步骤的结果可以永久地或以其他方式存储在任何类型的非暂时性有形计算机存储器中，或者可以经由计算机可读传输介质进行传递。
本文描述的和/或在附图中描绘的流程图中的任何过程、框、状态、步骤或功能应被理解为潜在地表示代码模块、代码段或代码部分，其包括用于在流程中实现特定功能(例如逻辑或算术)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能可以组合、重新布置、添加到本文提供的说明性示例、从本文提供的说明性示例中删除、修改或以其他方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行本文描述的一些或全部功能。本文描述的方法和过程也不限于任何特定的顺序，并且与之相关的框、步骤或状态可以以适当的其他顺序(例如串行、并行或以某些其他方式)来执行。可以将任务或事件添加到所公开的示例实施例中或从中删除。此外，本文描述的实施例中的各种系统组件的分离是出于说明的目的，并且不应被理解为在所有实施例中都需要这种分离。应当理解，所描述的程序组件、方法和系统通常可以被集成在一起在单个计算机产品中或包装到多个计算机产品中。
其他考虑
本文描述和/或附图中描绘的每个过程、方法和算法可以体现在由一个或多个被配置为执行专门的和特定的计算机指令的物理计算系统、硬件计算机处理器、专用电路和/或电子硬件中以及全部或部分地由其自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如服务器)或专用计算机、专用电路等。代码模块可被编译并链接到可执行程序中、安装在动态链接库中，或者可以用解释性编程语言来编写。在一些实现中，特定的操作和方法可以由特定于给定功能的电路执行。
此外，本公开的功能的某些实现在数学上、计算上或技术上都足够复杂，以致于可能需要专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)来执行功能，例如由于所涉及计算的量或复杂性，或为了实质上实时地提供结果。例如，动画或视频可以包括许多帧，每个帧具有数百万个像素，并且需要专门编程的计算机硬件来处理视频数据，以在商业上合理的时间量内提供所需的图像处理任务或应用。
代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上，例如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储设备、它们和/或类似存储器的组合等。方法和模块(或数据)也可以作为生成的数据信号(例如作为载波或其他模拟或数字传播信号的一部分)在包括基于无线的和基于有线/电缆的介质的各种计算机可读传输介质上进行发送，并且可以采用多种形式(例如作为单个或多路复用模拟信号的一部分，或作为多个离散数字分组或帧)。所公开的过程或过程步骤或动作的结果可以永久地或以其他方式存储在任何类型的非暂时性有形计算机存储器中，或者可以经由计算机可读传输介质进行传递。
本文描述的和/或在附图中描绘的流程图中的任何过程、框、状态、步骤或功能应被理解为潜在地表示代码模块、代码段或代码部分，其包括用于在流程中实现特定功能(例如逻辑或算术)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能可以组合、重新布置、添加到本文提供的说明性示例、从本文提供的说明性示例中删除、修改或以其他方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行本文描述的一些或全部功能。本文描述的方法和过程也不限于任何特定的顺序，并且与之相关的框、步骤或状态可以以适当的其他顺序(例如串行、并行或以某些其他方式)来执行。可以将任务或事件添加到所公开的示例实施例中或从中删除。此外，本文描述的实现中的各种系统组件的分离是出于说明的目的，并且不应被理解为在所有实现中都需要这种分离。应当理解，所描述的程序组件、方法和系统通常可以被集成在一起在单个计算机产品中或包装到多个计算机产品中。许多实现变型是可能的。
可以在网络(或分布式)计算环境中实现过程、方法和系统。网络环境包括企业范围的计算机网络、企业内网、局域网(LAN)、广域网(WAN)、个人区域网(PAN)、云计算网络、众包计算网络、互联网和万维网。该网络可以是有线或无线网络或任何其他类型的通信网络。
本公开的系统和方法各自具有若干创新方面，其中，没有一个对本文公开的期望属性负有单独责任或要求。上述的各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合旨在落入本公开的范围内。对本公开中描述的实现的各种修改对于本领域技术人员而言是显而易见的，并且在不脱离本公开的精神或范围的情况下，本文中定义的一般原理可以应用于其他实现。因此，权利要求书无意限于本文中所示的实现，而是应被赋予与本文中所揭示的本发明、原理及新颖特征一致的最广范围。
在本说明书中在单独的实现的上下文中描述的某些特征也可以在单个实现中组合实现。相反，在单个实现的上下文中描述的各种特征也可以分别在多个实现中或以任何合适的子组合来实现。而且，尽管以上可以将特征描述为以某些组合起作用并且甚至最初如此宣称，但是在某些情况下可以从组合中切除所要求保护的组合中的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变体。对于每个实施例，没有单个特征或一组特征是必要的或必不可少的。
这里使用的条件语言，尤其例如“能够”、“会”、“可能”、“可以”、“例如”等，除非另有明确说明，否则在所使用的上下文中理解为通常意在传达某些实施例包括而其他实施例不包括某些特征、元素和/或步骤。因此，这样的条件语言通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或没有作者输入或提示的情况下决定这些特征、元素和/或步骤是否在任何特定实施例中被包括或将被执行的逻辑。术语“包括”、“包含”、“具有”等是同义词，以开放式方式包含地使用，并且不排除附加要素、特征、动作、操作等。而且，术语“或”以其包含的含义使用(而不是以其排他的含义使用)，因此例如在用于连接元素列表时，术语“或”表示列表中的一个、一些或全部元素。另外，在本申请和所附权利要求书中使用的“一”、“一个”和“该”应被解释为表示“一个或多个”或“至少一个”，除非另有说明。
如本文所使用的，指代项目列表中的“至少一个”的短语是指那些项目的任何组合，包括单个成员。例如，“A、B或C中的至少一个”旨在涵盖：A、B、C、A和B、A和C、B和C以及A、B和C。除非另外特别说明，否则诸如短语“X、Y和Z中的至少一个”之类的词语应与上下文一起理解，该上下文通常用于传达项目、术语等可以是X、Y或Z中的至少一个。因此，这种联合语言通常不旨在暗示某些实施例要求X中的至少一个、Y中的至少一个和Z中的至少一个存在。
类似地，尽管可以以特定顺序在附图中描绘操作，但是要认识到，不需要以所示的特定顺序或相继顺序来执行这样的操作，或者不需要执行所有示出的操作来实现理想的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其他操作可以结合在示意性示出的示例方法和过程中。例如，可以在任何所示操作之前、之后、同时或之间执行一个或多个附加操作。另外，在其他实现中，操作可以重新布置或重新排序。在某些情况下，多任务和并行处理可能是有利的。此外，在上述实现中的各种系统组件的分离不应被理解为在所有实现中都需要这种分离，并且应当理解，所描述的程序组件和系统通常可以集成在单个软件产品中或打包到多个软件产品中。另外，其他实现在所附权利要求的范围内。在某些情况下，可以以不同的顺序执行权利要求中记载的动作，并且仍然实现期望的结果。
Claims (40)
1.一种被配置为将光投射到用户的眼睛以显示虚拟图像内容的显示系统，所述显示系统包括：
框架，其被配置为被支撑在所述用户的头部；
被设置在所述框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以显示具有不同波前发散量的虚拟图像内容，以呈现看起来在不同时间段位于不同深度的虚拟图像内容；
一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛成像；以及
与所述显示器和所述一个或多个眼睛跟踪相机通信的处理电子器件，所述处理电子器件被配置为：
基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像来确定所述眼睛的位置；
确定所述眼睛的所述位置是否在所述头戴式显示系统的显示配准体积内；以及
基于确定所述眼睛的所述位置是否在所述显示配准体积内来提供通知，其中，所述通知至少指示所述显示器和所述眼睛未被正确配准。
2.根据权利要求1所述的显示系统，其中，所述处理电子器件还被配置为：在确定所述眼睛的所述位置在所述显示配准体积之外时，向所述用户提供所述头戴式显示器未被正确地调整以适配所述用户的反馈，其中，所述反馈是基于确定所述眼睛的所述位置是否在所述显示配准体积内而提供的所述通知。
3.根据权利要求1所述的显示系统，还包括至少一个可互换适配件，其可拆卸地被安装到所述框架并被配置为调整所述框架的适配。
4.根据权利要求3所述的显示系统，其中，所述可互换适配件包括可互换鼻梁，其被配置为在所述框架和所述用户的鼻梁之间调整所述框架的适配。
5.根据权利要求3所述的显示系统，其中，所述可互换适配件包括可互换前额垫，其被配置为在所述框架和所述用户的前额之间调整所述框架的适配。
6.根据权利要求3所述的显示系统，其中，所述可互换适配件包括可互换后部垫，其被配置为在所述框架和所述用户的头部的后部之间调整所述框架的适配。
7.根据权利要求3所述的显示系统，其中，所述处理电子器件还被配置为使得提供所述通知包括：向所述用户提供所述头戴式显示器未被正确地调整为适配所述用户的反馈，其包括向所述用户提供将当前安装的可互换适配件换成另一个可互换适配件的建议。
8.根据权利要求1所述的显示系统，还包括一个或多个光源，所述一个或多个光源相对于所述用户的眼睛被设置在所述框架上以照亮所述用户的眼睛，所述一个或多个眼睛跟踪相机使用来自所述一个或多个光源的光来形成所述眼睛的图像。
9.根据权利要求8所述的显示系统，其中，所述一个或多个光源包括：相对于所述用户的眼睛被设置在所述框架上以照亮所述用户的眼睛的至少两个光源。
10.根据权利要求8所述的显示系统，其中，所述一个或多个光源包括红外光发射器。
11.根据权利要求8所述的显示系统，其中，一个或多个光源在所述眼睛上形成一个或多个闪光，并且所述处理电子器件被配置为基于所述一个或多个闪光确定角膜的位置。
12.根据权利要求8所述的显示系统，其中，所述眼睛的所述位置是所述眼睛的旋转中心的位置。
13.根据权利要求1所述的显示系统，其中，角膜与具有曲率中心的角膜球相关联，并且所述处理电子器件被配置为确定所述角膜球的所述曲率中心的位置。
14.根据权利要求1所述的显示系统，其中，所述处理电子器件被配置为通过提供使所述显示器相对于所述显示器的其他像素提高所述显示器的多个像素的亮度的指令来提供所述通知，其中，具有提高的亮度的所述多个像素包括被预期在不正确配准下经历可感知调暗的像素。
15.一种被配置为将光投射到用户的眼睛以显示虚拟图像内容的显示系统，所述显示系统包括：
框架，其被配置为被支撑在所述用户的头部；
被设置在所述框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以显示具有不同波前发散量的虚拟图像内容，以呈现看起来在不同时间段位于不同深度的虚拟图像内容；
一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛成像；以及
与所述显示器和所述一个或多个眼睛跟踪相机通信的处理电子器件，所述处理电子器件被配置为：
基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像来确定所述眼睛的位置；
确定所述眼睛的所述位置是否在所述头戴式显示系统的视体积之外大于第一阈值距离；以及
响应于确定所述眼睛的所述位置在所述头戴式显示系统的所述视体积之外大于所述第一阈值距离，向所述用户提供指示所述显示器和所述眼睛未被正确配准的反馈以用于输出。
16.根据权利要求15所述的显示系统，其中，所述处理电子器件被配置为通过至少以下操作来确定所述眼睛的所述位置是否在视体积之外大于所述第一阈值距离：
确定所述眼睛的所述位置距离目镜是否小于第二阈值距离；以及
响应于确定所述眼睛的所述位置距离所述头戴式显示系统小于所述第二阈值距离，向所述用户提供指示所述显示器和所述眼睛未被正确配准的反馈以用于输出。
17.根据权利要求15所述的显示系统，其中，所述处理电子器件被配置为通过至少以下操作来确定所述眼睛的所述位置是否在视体积之外大于所述第一阈值距离：
确定所述眼睛的所述位置距离所述目镜是否大于第二阈值距离；以及
响应于确定所述眼睛的所述位置距离所述头戴式显示系统大于所述第二阈值距离，向所述用户提供指示所述显示器和所述眼睛未被正确配准的反馈以用于输出。
18.根据权利要求15所述的显示系统，其中，所述处理电子器件被配置为通过至少以下操作来确定所述眼睛的所述位置是否在视体积之外大于所述第一阈值距离：
确定所述眼睛的所述位置是否在所述眼睛跟踪相机的视场的子空间之外大于第二阈值距离；以及
响应于确定所述眼睛的所述位置在所述眼睛跟踪相机的所述视体积的所述子空间之外大于所述第二阈值距离，向所述用户提供指示所述显示器和所述眼睛未被正确配准的反馈以用于输出。
19.根据权利要求15所述的显示系统，其中，所述头戴式显示器的所述视体积是表示由所述头戴式显示器呈现的虚拟图像内容的每个像素的光被期望穿过的体积。
20.根据权利要求15所述的显示系统，其中，所述处理电子器件被配置为通过至少以下操作来确定所述眼睛的所述位置是否在所述视体积之外大于所述第一阈值距离：
确定所述眼睛的所述位置是否在所述头戴式显示器的外壳的所述视体积的子空间之外大于第二阈值距离；以及
响应于确定所述眼睛的所述位置在所述头戴式显示器的所述外壳的所述视体积的所述子空间之外大于所述第二阈值距离，向所述用户提供指示所述显示器和所述眼睛未被正确配准的反馈以用于输出。
21.根据权利要求15所述的显示系统，其中，所述处理电子器件还被配置为：
标识在所述显示系统上运行的应用；以及
基于所标识的应用确定所述第一阈值距离。
22.一种被配置为将光投射到用户的眼睛以显示虚拟图像内容的显示系统，所述显示系统包括：
框架，其被配置为被支撑在所述用户的头部；
被设置在所述框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以显示具有不同波前发散量的虚拟图像内容，以呈现看起来在不同时间段位于不同深度的虚拟图像内容；
一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛成像；以及
与所述显示器和所述一个或多个眼睛跟踪相机通信的处理电子器件，所述处理电子器件被配置为：
确定由头戴式显示器投射的所述光是否被所述用户的所述眼睛正确配准；以及
如果所述头戴式显示器未被正确调整以适配所述用户以配准由所述显示系统投射的所述光，则向所述用户提供反馈。
23.根据权利要求22所述的显示系统，还包括至少一个可互换适配件，其可拆卸地被安装到所述框架并被配置为调整所述框架的适配。
24.根据权利要求23所述的显示系统，其中，所述可互换适配件包括可互换鼻梁，其被配置为在所述框架和所述用户的鼻梁之间调整所述框架的适配。
25.根据权利要求23所述的显示系统，其中，所述可互换适配件包括可互换前额垫，其被配置为在所述框架和所述用户的前额之间调整所述框架的适配。
26.根据权利要求23所述的显示系统，其中，所述可互换适配件包括可互换后部垫，其被配置为在所述框架和所述用户的所述头部的后部之间调整所述框架的适配。
27.根据权利要求23所述的显示系统，其中，所述处理电子器件还被配置为使得向所述用户提供所述头戴式显示器未被正确地调整为适配所述用户的反馈包括向所述用户提供将当前安装的可互换适配件换成另一个可互换适配件的建议。
28.一种用于由用户的眼睛来评估来自头戴式显示系统的虚拟图像内容的配准的方法，所述方法包括：
确定所述眼睛的第一位置；
确定所述眼睛的所述第一位置是否在所述头戴式显示系统的显示配准体积内，其中，所述显示配准体积是与所述头戴式显示系统相对于所述用户的眼睛的正确适配相关联的假想体积；以及
基于确定所述眼睛的所述位置是否在所述显示配准体积内来提供通知，其中，所述通知至少指示所述显示器和所述眼睛未被正确配准。
29.根据权利要求28所述的方法，其中，所述头戴式显示系统包括眼睛跟踪相机，其中，确定所述眼睛的所述第一位置包括利用所述眼睛跟踪相机对所述用户的所述眼睛进行成像。
30.根据权利要求29所述的方法，其中，所述眼睛的所述第一位置是所述眼睛的旋转中心的位置，并且所述方法还包括：基于所述眼睛跟踪相机对所述眼睛的成像来计算所述眼睛的旋转中心。
31.根据权利要求28所述的方法，其中，所述头戴式显示系统被配置为将光投射到所述眼睛中以在所述用户的所述视场中显示虚拟图像内容，并且所述方法还包括：显示所述可穿戴系统已被正确适配的指示。
32.根据权利要求28所述的方法，还包括：通过所述头戴式显示系统随着时间自动跟踪所述眼睛的所述旋转中心，并在所述眼睛的所述旋转中心移动到所述配准显示体积之外时通知所述用户。
33.根据权利要求28所述的方法，还包括：
确定所述眼睛的第二位置；
确定所述眼睛的所述第二位置在所述显示配准体积内；以及
响应于确定所述眼睛的所述第二位置在所述显示配准体积内，向所述用户提供指示所述可穿戴系统被正确适配到所述用户的附加反馈。
34.根据权利要求28所述的方法，其中，当所述用户的所述眼睛不在所述显示配准体积内时，所述头戴式显示系统的至少一些像素被调暗或对所述用户是不可见的。
35.根据权利要求28所述的方法，还包括：当所述眼睛的所述位置在所述显示配准体积之外时，改变所述头戴式显示系统的视场，
其中，所述头戴式显示系统包括至少一个显示器，当所述眼睛的所述位置在所述显示配准体积内时，所述显示器具有第一视场，其中，当所述眼睛的所述位置在所述显示配准体积之外时，所述显示器具有第二视场，并且其中，所述第二视场小于所述第一视场。
36.根据权利要求35所述的方法，其中，提供所述通知包括：在所述第二视场内向所述用户提供反馈。
37.根据权利要求28所述的方法，其中，所述可穿戴系统包括至少一个可互换适配件，并且所述方法还包括：
向所述用户提供指示所述可穿戴系统未被正确适配到所述用户的通知，
其中，所述通知包括对所述用户的用可替代的可互换适配件替换当前安装的可互换适配件的建议或指示。
38.根据权利要求37所述的方法，其中，所述可互换适配件包括选自以下中的至少一个适配件：鼻梁垫，前额垫，以及后部垫，所述后部垫位于所述可穿戴系统与用户的头部的后部之间。
39.根据权利要求38所述的方法，其中，所述可穿戴系统包括至少一个可互换鼻梁垫，所述方法还包括：确定所述头戴式系统的显示器相对于所述眼睛太低，并且其中，向所述用户提供所述通知包括提示所述用户安装更大的鼻梁垫。
40.根据权利要求28所述的方法，还包括：
标识由于所述眼睛的所述第一位置在所述显示配准体积之外而所述用户被预期感知为被调暗的所述头戴式显示系统的显示器的多个像素；以及
相对于所述显示器中的其他像素提高所述显示器的所述多个像素的亮度以减轻所预期的调暗。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862618559P | 2018-01-17 | 2018-01-17 | |
| US62/618,559 | 2018-01-17 | ||
| US201862644321P | 2018-03-16 | 2018-03-16 | |
| US62/644,321 | 2018-03-16 | ||
| US201862702849P | 2018-07-24 | 2018-07-24 | |
| US62/702,849 | 2018-07-24 | ||
| PCT/US2019/014086 WO2019143864A1 (en) | 2018-01-17 | 2019-01-17 | Display systems and methods for determining registration between a display and a user's eyes |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111771179A true CN111771179A (zh) | 2020-10-13 |
Family
ID=67213314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980014647.0A Pending CN111771179A (zh) | 2018-01-17 | 2019-01-17 | 用于确定显示器与用户的眼睛之间的配准的显示系统和方法 |
Country Status (9)
| Country | Link |
|---|---|
| US (3) | US10917634B2 (zh) |
| EP (2) | EP3740847B1 (zh) |
| JP (2) | JP7291708B2 (zh) |
| KR (1) | KR20200108857A (zh) |
| CN (1) | CN111771179A (zh) |
| AU (1) | AU2019209950A1 (zh) |
| CA (1) | CA3088116A1 (zh) |
| IL (2) | IL311004A (zh) |
| WO (1) | WO2019143864A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634127A (zh) * | 2020-12-22 | 2021-04-09 | 天津大学 | 一种无监督立体图像重定向方法 |
Families Citing this family (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018067357A2 (en) | 2016-10-05 | 2018-04-12 | Magic Leap, Inc. | Periocular test for mixed reality calibration |
| JP2018061621A (ja) * | 2016-10-11 | 2018-04-19 | オプトス ピーエルシー | 眼底画像撮影装置、眼底画像撮影方法、及び眼底画像撮影プログラム |
| US10984237B2 (en) * | 2016-11-10 | 2021-04-20 | Neurotrack Technologies, Inc. | Method and system for correlating an image capturing device to a human user for analyzing gaze information associated with cognitive performance |
| CN111133362B (zh) | 2017-10-22 | 2021-12-28 | 鲁姆斯有限公司 | 采用光具座的头戴式增强现实设备 |
| AU2019209930B2 (en) | 2018-01-17 | 2023-08-03 | Magic Leap, Inc. | Eye center of rotation determination, depth plane selection, and render camera positioning in display systems |
| WO2019143864A1 (en) | 2018-01-17 | 2019-07-25 | Magic Leap, Inc. | Display systems and methods for determining registration between a display and a user's eyes |
| KR20200140822A (ko) * | 2018-04-06 | 2020-12-16 | 에씰로 앙터나시오날 | 가상 이미지를 생성하도록 구성된 머리 장착형 장치의 커스터마이징 방법 |
| US11762207B2 (en) * | 2018-06-29 | 2023-09-19 | Magic Leap, Inc. | Head mounted audio-visual display system |
| EP4339899A2 (en) | 2018-07-13 | 2024-03-20 | Magic Leap, Inc. | Systems and methods for display binocular deformation compensation |
| CN112689869A (zh) | 2018-07-24 | 2021-04-20 | 奇跃公司 | 用于确定显示器与用户的眼睛之间的配准的显示系统和方法 |
| TWI683136B (zh) * | 2019-01-03 | 2020-01-21 | 宏碁股份有限公司 | 視訊穿透式頭戴顯示器及其控制方法 |
| US11334154B2 (en) | 2019-01-25 | 2022-05-17 | Magic Leap, Inc. | Eye-tracking using images having different exposure times |
| FR3093215B1 (fr) * | 2019-02-22 | 2021-08-27 | Fogale Nanotech | Procédé et dispositif de surveillance de l’environnement d’un robot |
| US11756259B2 (en) * | 2019-04-17 | 2023-09-12 | Rakuten Group, Inc. | Display controlling device, display controlling method, program, and non-transitory computer-readable information recording medium |
| US11181973B2 (en) * | 2019-05-09 | 2021-11-23 | Apple Inc. | Techniques related to configuring a display device |
| WO2020236827A1 (en) | 2019-05-20 | 2020-11-26 | Magic Leap, Inc. | Systems and techniques for estimating eye pose |
| US11153512B1 (en) | 2019-05-29 | 2021-10-19 | Facebook Technologies, Llc | Imaging and display with ellipsoidal lensing structure |
| US11353698B1 (en) | 2019-05-29 | 2022-06-07 | Facebook Technologies, Llc | Dual Purkinje imaging with ellipsoidal lensing structure |
| WO2020261279A1 (en) | 2019-06-27 | 2020-12-30 | Lumus Ltd. | Apparatus and methods for eye tracking based on eye imaging via a light-guide optical element |
| US11156829B2 (en) * | 2019-07-29 | 2021-10-26 | Facebook Technologies, Llc | Pupil expander cailibration |
| US11064188B2 (en) * | 2019-07-29 | 2021-07-13 | Htc Corporation | Driving method for calculating interpupillary distance and related head-mounted device |
| CN113316738A (zh) * | 2019-08-06 | 2021-08-27 | 松下知识产权经营株式会社 | 显示装置 |
| CN112419986A (zh) * | 2019-08-20 | 2021-02-26 | Oppo广东移动通信有限公司 | 头戴式显示设备的图像显示方法、装置及系统 |
| CN114341781A (zh) * | 2019-09-09 | 2022-04-12 | 苹果公司 | 使用定向光源的基于闪光的注视跟踪 |
| IL269809B (en) * | 2019-10-03 | 2021-12-01 | Eyejets Ltd | A compact retinal scanning device for tracking pupil movements of a user's eye and its applications |
| US11228745B2 (en) * | 2019-11-26 | 2022-01-18 | Varjo Technologies Oy | Display apparatus and method of correcting image distortion therefor |
| US11269181B2 (en) * | 2019-12-09 | 2022-03-08 | Magic Leap, Inc. | Systems and methods for operating a head-mounted display system based on user identity |
| US11375180B2 (en) * | 2019-12-10 | 2022-06-28 | Yousseff El Moumni | Video engine for generating an enhanced impression of depth based upon two-dimensioned video content |
| CN110927973A (zh) * | 2019-12-16 | 2020-03-27 | Oppo广东移动通信有限公司 | 显示装置 |
| CN110933390B (zh) * | 2019-12-16 | 2022-01-07 | Oppo广东移动通信有限公司 | 基于图像投影的显示方法及装置 |
| CN113010125B (zh) | 2019-12-20 | 2024-03-19 | 托比股份公司 | 方法、计算机程序产品和双目式头戴装置控制器 |
| CA3163674A1 (en) * | 2019-12-25 | 2021-07-01 | Lumus Ltd. | Optical systems and methods for eye tracking based on redirecting light from eye using an optical arrangement associated with a light-guide optical element |
| US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
| CN115380308A (zh) * | 2020-03-09 | 2022-11-22 | Oppo广东移动通信有限公司 | 实现vSLAM系统的自适应特征检测的方法和系统 |
| JP2023518421A (ja) * | 2020-03-20 | 2023-05-01 | マジック リープ， インコーポレイテッド | 網膜結像および追跡のためのシステムおよび方法 |
| JP2023536064A (ja) | 2020-07-23 | 2023-08-23 | マジック リープ， インコーポレイテッド | 交互サンプリングを使用した眼追跡 |
| EP3984016A4 (en) | 2020-08-14 | 2023-09-06 | HES IP Holdings, LLC | SYSTEMS AND METHODS FOR SUPERIMPOSING A VIRTUAL IMAGE ON A REAL-TIME IMAGE |
| US11410580B2 (en) | 2020-08-20 | 2022-08-09 | Facebook Technologies, Llc. | Display non-uniformity correction |
| CN114616511A (zh) * | 2020-09-03 | 2022-06-10 | 海思智财控股有限公司 | 改善双眼视觉的系统与方法 |
| CN116420104A (zh) | 2020-09-30 | 2023-07-11 | 海思智财控股有限公司 | 用于虚拟实境及扩增实境装置的虚拟影像显示系统 |
| EP3985483A1 (en) * | 2020-10-19 | 2022-04-20 | Carl Zeiss Vision International GmbH | Computer-implemented method for determining a position of a center of rotation of an eye using a mobile device, mobile device and computer program |
| KR20220063467A (ko) * | 2020-11-10 | 2022-05-17 | 삼성전자주식회사 | 디스플레이를 포함하는 웨어러블 전자 장치 |
| US11733773B1 (en) | 2020-12-29 | 2023-08-22 | Meta Platforms Technologies, Llc | Dynamic uniformity correction for boundary regions |
| US11681363B2 (en) | 2021-03-29 | 2023-06-20 | Meta Platforms Technologies, Llc | Waveguide correction map compression |
| WO2022246018A1 (en) | 2021-05-19 | 2022-11-24 | Lumus Ltd. | Active optical engine |
| US11754846B2 (en) | 2022-01-21 | 2023-09-12 | Meta Platforms Technologies, Llc | Display non-uniformity correction |
| US11710212B1 (en) * | 2022-01-21 | 2023-07-25 | Meta Platforms Technologies, Llc | Display non-uniformity correction |
| WO2023238197A1 (ja) * | 2022-06-06 | 2023-12-14 | 株式会社ソニー・インタラクティブエンタテインメント | 仮想現実コンテンツ表示システムおよび仮想現実コンテンツ表示方法 |
Family Cites Families (133)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
| US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
| US5844656A (en) * | 1996-11-07 | 1998-12-01 | Xybernaut Corporation | Head mounted display with adjustment components |
| JPH11155152A (ja) | 1997-11-21 | 1999-06-08 | Canon Inc | 三次元形状情報入力方法及び装置及び画像入力装置 |
| TW487892B (en) * | 1999-08-31 | 2002-05-21 | Shimadzu Corp | Head display |
| US6529331B2 (en) | 2001-04-20 | 2003-03-04 | Johns Hopkins University | Head mounted display with full field of view and high resolution |
| US6771423B2 (en) * | 2001-05-07 | 2004-08-03 | Richard Geist | Head-mounted virtual display apparatus with a near-eye light deflecting element in the peripheral field of view |
| US20030030597A1 (en) * | 2001-08-13 | 2003-02-13 | Geist Richard Edwin | Virtual display apparatus for mobile activities |
| JP2003307774A (ja) | 2002-04-17 | 2003-10-31 | Canon Inc | 視線検出機能付き光学機器 |
| US7306337B2 (en) * | 2003-03-06 | 2007-12-11 | Rensselaer Polytechnic Institute | Calibration-free gaze tracking under natural head movement |
| US8248458B2 (en) * | 2004-08-06 | 2012-08-21 | University Of Washington Through Its Center For Commercialization | Variable fixation viewing distance scanned light displays |
| US20060250322A1 (en) * | 2005-05-09 | 2006-11-09 | Optics 1, Inc. | Dynamic vergence and focus control for head-mounted displays |
| ES2341285T3 (es) | 2005-07-19 | 2010-06-17 | Nektar Therapeutics | Metodo para preparar maleimidas polimericas. |
| US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
| US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
| US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| JP4379409B2 (ja) | 2005-11-08 | 2009-12-09 | ソニー株式会社 | 撮像装置、および情報処理方法、並びにコンピュータ・プログラム |
| US20070273983A1 (en) | 2006-05-26 | 2007-11-29 | Hebert Raymond T | Devices, methods, and systems for image viewing |
| US7542210B2 (en) * | 2006-06-29 | 2009-06-02 | Chirieleison Sr Anthony | Eye tracking head mounted display |
| US8406479B2 (en) | 2006-07-14 | 2013-03-26 | Panasonic Corporation | Visual axis direction detection device and visual line direction detection method |
| EP2078229A2 (en) * | 2006-11-02 | 2009-07-15 | Sensics, Inc. | Systems and methods for a head-mounted display |
| US8066372B2 (en) | 2007-10-23 | 2011-11-29 | Mcgill University | Binocular vision assessment and/or therapy |
| IL196078A (en) * | 2007-12-20 | 2014-09-30 | Raytheon Co | Imaging system |
| US8223113B2 (en) | 2007-12-26 | 2012-07-17 | Sharp Laboratories Of America, Inc. | Methods and systems for display source light management with variable delay |
| DE102009010467A1 (de) | 2009-02-26 | 2010-09-09 | Carl Zeiss Vision Gmbh | Verfahren und Vorrichtung zur Bestimmung der Augendrehpunktlage |
| US20190302882A1 (en) | 2009-04-01 | 2019-10-03 | Tobii Ab | Visual display with illuminators for gaze tracking |
| WO2011018655A2 (en) * | 2009-08-13 | 2011-02-17 | Bae Systems Plc | Head up display system |
| US20110075257A1 (en) | 2009-09-14 | 2011-03-31 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | 3-Dimensional electro-optical see-through displays |
| US20120212484A1 (en) | 2010-02-28 | 2012-08-23 | Osterhout Group, Inc. | System and method for display content placement using distance and location information |
| US20120249797A1 (en) | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
| WO2012014121A2 (en) | 2010-07-26 | 2012-02-02 | Koninklijke Philips Electronics N.V. | Ironing board assembly with configurable ironing surface |
| US8941559B2 (en) | 2010-09-21 | 2015-01-27 | Microsoft Corporation | Opacity filter for display device |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| KR101997845B1 (ko) | 2010-12-24 | 2019-10-01 | 매직 립, 인코포레이티드 | 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템 |
| US10156722B2 (en) * | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
| CN107656615B (zh) | 2011-05-06 | 2021-09-14 | 奇跃公司 | 大量同时远程数字呈现世界 |
| KR101824501B1 (ko) * | 2011-05-19 | 2018-02-01 | 삼성전자 주식회사 | 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법 |
| CN103380625A (zh) | 2011-06-16 | 2013-10-30 | 松下电器产业株式会社 | 头戴式显示器及其位置偏差调整方法 |
| US20130022220A1 (en) * | 2011-07-20 | 2013-01-24 | Google Inc. | Wearable Computing Device with Indirect Bone-Conduction Speaker |
| US8629815B2 (en) * | 2011-08-09 | 2014-01-14 | Google Inc. | Laser alignment of binocular head mounted display |
| US9213163B2 (en) | 2011-08-30 | 2015-12-15 | Microsoft Technology Licensing, Llc | Aligning inter-pupillary distance in a near-eye display system |
| US9025252B2 (en) | 2011-08-30 | 2015-05-05 | Microsoft Technology Licensing, Llc | Adjustment of a mixed reality display for inter-pupillary distance alignment |
| EP2760363A4 (en) | 2011-09-29 | 2015-06-24 | Magic Leap Inc | TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION |
| US20130083003A1 (en) | 2011-09-30 | 2013-04-04 | Kathryn Stone Perez | Personal audio/visual system |
| US8879801B2 (en) | 2011-10-03 | 2014-11-04 | Qualcomm Incorporated | Image-based head position tracking method and system |
| EP2583618B1 (en) * | 2011-10-22 | 2017-12-06 | Alcon Pharmaceuticals Ltd. | Apparatus for monitoring one or more parameters of the eye |
| EP3666352B1 (en) | 2011-10-28 | 2021-12-01 | Magic Leap, Inc. | Method and device for augmented and virtual reality |
| US8929589B2 (en) | 2011-11-07 | 2015-01-06 | Eyefluence, Inc. | Systems and methods for high-resolution gaze tracking |
| US8611015B2 (en) * | 2011-11-22 | 2013-12-17 | Google Inc. | User interface |
| CN104094197B (zh) * | 2012-02-06 | 2018-05-11 | 索尼爱立信移动通讯股份有限公司 | 利用投影仪的注视追踪 |
| JP6028357B2 (ja) | 2012-03-22 | 2016-11-16 | ソニー株式会社 | ヘッドマウントディスプレイ及び手術システム |
| KR102028732B1 (ko) | 2012-04-05 | 2019-10-04 | 매직 립, 인코포레이티드 | 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들 |
| US20130285885A1 (en) * | 2012-04-25 | 2013-10-31 | Andreas G. Nowatzyk | Head-mounted light-field display |
| US20130286053A1 (en) * | 2012-04-25 | 2013-10-31 | Rod G. Fleck | Direct view augmented reality eyeglass-type display |
| US9514538B2 (en) * | 2012-05-25 | 2016-12-06 | National University Corporation Shizuoka University | Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method |
| US9001427B2 (en) | 2012-05-30 | 2015-04-07 | Microsoft Technology Licensing, Llc | Customized head-mounted display device |
| US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| US20130339433A1 (en) | 2012-06-15 | 2013-12-19 | Duke University | Method and apparatus for content rating using reaction sensing |
| US9317971B2 (en) | 2012-06-29 | 2016-04-19 | Microsoft Technology Licensing, Llc | Mechanism to give holographic objects saliency in multiple spaces |
| KR20150054967A (ko) | 2012-09-11 | 2015-05-20 | 매직 립, 인코포레이티드 | 인체공학적 헤드 마운티드 디스플레이 디바이스 및 광학 시스템 |
| US8860634B2 (en) | 2012-10-11 | 2014-10-14 | Sony Computer Entertainment Europe Limited | Head mountable display |
| US20140146394A1 (en) * | 2012-11-28 | 2014-05-29 | Nigel David Tout | Peripheral display for a near-eye display device |
| WO2014113506A1 (en) | 2013-01-15 | 2014-07-24 | Magic Leap, Inc. | Ultra-high resolution scanning fiber display |
| US9699433B2 (en) | 2013-01-24 | 2017-07-04 | Yuchen Zhou | Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye |
| US9727991B2 (en) * | 2013-03-01 | 2017-08-08 | Microsoft Technology Licensing, Llc | Foveated image rendering |
| CN105188516B (zh) | 2013-03-11 | 2017-12-22 | 奇跃公司 | 用于增强和虚拟现实的系统与方法 |
| KR102271198B1 (ko) | 2013-03-15 | 2021-06-29 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
| US9264803B1 (en) | 2013-06-05 | 2016-02-16 | Google Inc. | Using sounds for determining a worn state of a wearable computing device |
| US10019057B2 (en) | 2013-06-07 | 2018-07-10 | Sony Interactive Entertainment Inc. | Switching mode of operation in a head mounted display |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US20140375540A1 (en) | 2013-06-24 | 2014-12-25 | Nathan Ackerman | System for optimal eye fit of headset display device |
| US9256987B2 (en) | 2013-06-24 | 2016-02-09 | Microsoft Technology Licensing, Llc | Tracking head movement when wearing mobile device |
| CN105492957B (zh) | 2013-06-27 | 2019-09-24 | Cy 视觉公司 | 采用成对眼镜形式的图像显示设备 |
| US10345903B2 (en) | 2013-07-30 | 2019-07-09 | Microsoft Technology Licensing, Llc | Feedback for optic positioning in display devices |
| US10073518B2 (en) | 2013-08-19 | 2018-09-11 | Qualcomm Incorporated | Automatic calibration of eye tracking for optical see-through head mounted display |
| EP4321915A3 (en) * | 2013-10-16 | 2024-05-01 | Magic Leap, Inc. | Virtual or augmented reality headsets having adjustable interpupillary distance |
| CN107219628B (zh) | 2013-11-27 | 2020-05-01 | 奇跃公司 | 虚拟和增强现实系统与方法 |
| US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| US8958158B1 (en) | 2013-12-03 | 2015-02-17 | Google Inc. | On-head detection for head-mounted display |
| US9651784B2 (en) | 2014-01-21 | 2017-05-16 | Osterhout Group, Inc. | See-through computer display systems |
| KR102207799B1 (ko) | 2014-01-31 | 2021-01-26 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
| CN110376743B (zh) | 2014-01-31 | 2022-03-04 | 奇跃公司 | 多焦点显示系统和方法 |
| US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| US11138793B2 (en) | 2014-03-14 | 2021-10-05 | Magic Leap, Inc. | Multi-depth plane display system with reduced switching between depth planes |
| US9529428B1 (en) * | 2014-03-28 | 2016-12-27 | Amazon Technologies, Inc. | Using head movement to adjust focus on content of a display |
| AU2015297035B2 (en) | 2014-05-09 | 2018-06-28 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
| KR102193052B1 (ko) | 2014-05-30 | 2020-12-18 | 매직 립, 인코포레이티드 | 가상 또는 증강 현실 장치로 가상 콘텐츠 디스플레이를 생성하기 위한 방법들 및 시스템들 |
| US9719871B2 (en) | 2014-08-09 | 2017-08-01 | Google Inc. | Detecting a state of a wearable device |
| US9626936B2 (en) * | 2014-08-21 | 2017-04-18 | Microsoft Technology Licensing, Llc | Dimming module for augmented and virtual reality |
| US9808185B2 (en) | 2014-09-23 | 2017-11-07 | Fitbit, Inc. | Movement measure generation in a wearable electronic device |
| US20160131902A1 (en) | 2014-11-12 | 2016-05-12 | Anthony J. Ambrus | System for automatic eye tracking calibration of head mounted display device |
| US9681804B2 (en) * | 2015-01-12 | 2017-06-20 | X Development Llc | Hybrid lens system for head wearable display |
| JP2016149660A (ja) | 2015-02-13 | 2016-08-18 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| JP6887953B2 (ja) | 2015-03-16 | 2021-06-16 | マジック リープ，インコーポレイティド | 健康を損う疾病を診断して治療する方法及びシステム |
| JP6483514B2 (ja) | 2015-04-28 | 2019-03-13 | 京セラ株式会社 | ウェアラブル装置、制御方法及び制御プログラム |
| WO2016203654A1 (ja) | 2015-06-19 | 2016-12-22 | 日立マクセル株式会社 | ヘッドマウントディスプレイ装置およびそれを用いた視覚補助方法 |
| US20170285343A1 (en) * | 2015-07-13 | 2017-10-05 | Mikhail Belenkii | Head worn display with foveal and retinal display |
| CN112836664A (zh) | 2015-08-21 | 2021-05-25 | 奇跃公司 | 使用眼睛姿态测量的眼睑形状估计 |
| CN108135467A (zh) | 2015-08-21 | 2018-06-08 | 奇跃公司 | 眼睑形状估计 |
| CN108292040B (zh) | 2015-09-30 | 2020-11-06 | 索尼互动娱乐股份有限公司 | 优化头戴式显示器屏幕上的内容定位的方法 |
| JP6831840B2 (ja) | 2015-10-20 | 2021-02-17 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | ３次元空間内の仮想オブジェクトの選択 |
| US10338677B2 (en) * | 2015-10-28 | 2019-07-02 | Microsoft Technology Licensing, Llc | Adjusting image frames based on tracking motion of eyes |
| US9652896B1 (en) | 2015-10-30 | 2017-05-16 | Snap Inc. | Image based tracking in augmented reality systems |
| KR20170051013A (ko) * | 2015-11-02 | 2017-05-11 | 엘지전자 주식회사 | 테더링 형 hmd 및 그 hmd의 제어 방법 |
| WO2017079333A1 (en) | 2015-11-04 | 2017-05-11 | Magic Leap, Inc. | Light field display metrology |
| US10025060B2 (en) * | 2015-12-08 | 2018-07-17 | Oculus Vr, Llc | Focus adjusting virtual reality headset |
| EP3400478B1 (en) | 2016-01-07 | 2023-08-16 | Magic Leap, Inc. | Virtual and augmented reality systems and methods having unequal numbers of component color images distributed across depth planes |
| KR102567431B1 (ko) | 2016-01-19 | 2023-08-14 | 매직 립, 인코포레이티드 | 눈 이미지 수집, 선택 및 결합 |
| IL302656A (en) * | 2016-02-11 | 2023-07-01 | Magic Leap Inc | Multi-depth planar display system with limited change between depth planes |
| US10115205B2 (en) | 2016-03-11 | 2018-10-30 | Facebook Technologies, Llc | Eye tracking system with single point calibration |
| US10908279B2 (en) * | 2016-03-11 | 2021-02-02 | Facebook Technologies, Llc | Ultrasound/radar for eye tracking |
| CN113589529A (zh) | 2016-03-25 | 2021-11-02 | 奇跃公司 | 虚拟和增强现实系统和方法 |
| JP2019519859A (ja) | 2016-06-29 | 2019-07-11 | シーイング マシーンズ リミテッド | 視線追跡を実行するシステム及び方法 |
| US10139644B2 (en) * | 2016-07-01 | 2018-11-27 | Tilt Five, Inc | Head mounted projection display with multilayer beam splitter and color correction |
| CN114495249A (zh) | 2016-07-14 | 2022-05-13 | 奇跃公司 | 使用角膜曲率的虹膜边界估计 |
| US10409368B2 (en) * | 2016-07-27 | 2019-09-10 | Fove, Inc. | Eye-gaze detection system, displacement detection method, and displacement detection program |
| US10425636B2 (en) * | 2016-10-03 | 2019-09-24 | Microsoft Technology Licensing, Llc | Automatic detection and correction of binocular misalignment in a display device |
| EP3305176A1 (en) | 2016-10-04 | 2018-04-11 | Essilor International | Method for determining a geometrical parameter of an eye of a subject |
| WO2018067357A2 (en) | 2016-10-05 | 2018-04-12 | Magic Leap, Inc. | Periocular test for mixed reality calibration |
| GB2557175A (en) | 2016-11-17 | 2018-06-20 | Nokia Technologies Oy | Method for multi-camera device |
| US10395111B2 (en) * | 2016-12-01 | 2019-08-27 | Varjo Technologies Oy | Gaze-tracking system and method |
| SG11201907370XA (en) * | 2017-02-12 | 2019-09-27 | Lemnis Tech Pte Ltd | Methods, devices and systems for focus adjustment of displays |
| US11494986B2 (en) | 2017-04-20 | 2022-11-08 | Samsung Electronics Co., Ltd. | System and method for two dimensional application usage in three dimensional virtual reality environment |
| EP3420887A1 (en) | 2017-06-30 | 2019-01-02 | Essilor International | Method for determining the position of the eye rotation center of the eye of a subject, and associated device |
| CN109752849B (zh) * | 2017-11-03 | 2021-05-18 | 宏达国际电子股份有限公司 | 头戴式显示装置 |
| CN109752848B (zh) * | 2017-11-06 | 2021-08-17 | 宏达国际电子股份有限公司 | 头戴式显示装置 |
| AU2019209930B2 (en) * | 2018-01-17 | 2023-08-03 | Magic Leap, Inc. | Eye center of rotation determination, depth plane selection, and render camera positioning in display systems |
| WO2019143864A1 (en) | 2018-01-17 | 2019-07-25 | Magic Leap, Inc. | Display systems and methods for determining registration between a display and a user's eyes |
| US11145096B2 (en) | 2018-03-07 | 2021-10-12 | Samsung Electronics Co., Ltd. | System and method for augmented reality interaction |
| CN112689869A (zh) | 2018-07-24 | 2021-04-20 | 奇跃公司 | 用于确定显示器与用户的眼睛之间的配准的显示系统和方法 |
| CN114424147A (zh) | 2019-07-16 | 2022-04-29 | 奇跃公司 | 利用一个或多个眼睛跟踪相机确定眼睛旋转中心 |
| KR20230040346A (ko) | 2020-07-15 | 2023-03-22 | 매직 립, 인코포레이티드 | 비구면 각막 모델을 사용한 눈 추적 |
-
2019
- 2019-01-17 WO PCT/US2019/014086 patent/WO2019143864A1/en unknown
- 2019-01-17 KR KR1020207022017A patent/KR20200108857A/ko active Search and Examination
- 2019-01-17 CN CN201980014647.0A patent/CN111771179A/zh active Pending
- 2019-01-17 US US16/251,017 patent/US10917634B2/en active Active
- 2019-01-17 AU AU2019209950A patent/AU2019209950A1/en not_active Abandoned
- 2019-01-17 EP EP19741593.8A patent/EP3740847B1/en active Active
- 2019-01-17 EP EP24155344.5A patent/EP4339692A2/en active Pending
- 2019-01-17 IL IL311004A patent/IL311004A/en unknown
- 2019-01-17 IL IL275824A patent/IL275824B1/en unknown
- 2019-01-17 JP JP2020536814A patent/JP7291708B2/ja active Active
- 2019-01-17 CA CA3088116A patent/CA3088116A1/en active Pending
-
2022
- 2022-03-28 US US17/706,429 patent/US11880033B2/en active Active
-
2023
- 2023-04-24 JP JP2023070734A patent/JP2023083526A/ja active Pending
- 2023-11-28 US US18/521,613 patent/US20240094528A1/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634127A (zh) * | 2020-12-22 | 2021-04-09 | 天津大学 | 一种无监督立体图像重定向方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7291708B2 (ja) | 2023-06-15 |
| US20220221934A1 (en) | 2022-07-14 |
| EP3740847A1 (en) | 2020-11-25 |
| CA3088116A1 (en) | 2019-07-25 |
| EP3740847A4 (en) | 2021-10-20 |
| US10917634B2 (en) | 2021-02-09 |
| IL275824B1 (en) | 2024-04-01 |
| JP2021511564A (ja) | 2021-05-06 |
| IL311004A (en) | 2024-04-01 |
| JP2023083526A (ja) | 2023-06-15 |
| AU2019209950A1 (en) | 2020-07-09 |
| EP4339692A2 (en) | 2024-03-20 |
| US20240094528A1 (en) | 2024-03-21 |
| US11880033B2 (en) | 2024-01-23 |
| US20190222830A1 (en) | 2019-07-18 |
| KR20200108857A (ko) | 2020-09-21 |
| EP3740847B1 (en) | 2024-03-13 |
| IL275824A (en) | 2020-08-31 |
| WO2019143864A1 (en) | 2019-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11880033B2 (en) | Display systems and methods for determining registration between a display and a user's eyes | |
| US11290706B2 (en) | Display systems and methods for determining registration between a display and a user's eyes | |
| US11880043B2 (en) | Display systems and methods for determining registration between display and eyes of user | |
| JP7443332B2 (ja) | ユーザカテゴリ化による多深度平面ディスプレイシステムのための深度平面選択 | |
| US11822718B2 (en) | Display systems and methods for determining vertical alignment between left and right displays and a user's eyes | |
| CN114424147A (zh) | 利用一个或多个眼睛跟踪相机确定眼睛旋转中心 | |
| CN115053270A (zh) | 用于基于用户身份来操作头戴式显示系统的系统和方法 | |
| CN116033864A (zh) | 使用非球形角膜模型的眼睛跟踪 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |