CN114424147A - 利用一个或多个眼睛跟踪相机确定眼睛旋转中心 - Google Patents
利用一个或多个眼睛跟踪相机确定眼睛旋转中心 Download PDFInfo
- Publication number
- CN114424147A CN114424147A CN202080064342.3A CN202080064342A CN114424147A CN 114424147 A CN114424147 A CN 114424147A CN 202080064342 A CN202080064342 A CN 202080064342A CN 114424147 A CN114424147 A CN 114424147A
- Authority
- CN
- China
- Prior art keywords
- eye
- user
- center
- display
- display system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004418 eye rotation Effects 0.000 title description 5
- 238000012545 processing Methods 0.000 claims abstract description 340
- 238000009877 rendering Methods 0.000 claims abstract description 160
- 238000004891 communication Methods 0.000 claims abstract description 41
- 210000001508 eye Anatomy 0.000 claims description 1483
- 210000003128 head Anatomy 0.000 claims description 45
- 238000003384 imaging method Methods 0.000 abstract description 51
- 239000013598 vector Substances 0.000 description 187
- 238000000034 method Methods 0.000 description 176
- 210000001747 pupil Anatomy 0.000 description 109
- 230000003287 optical effect Effects 0.000 description 102
- 210000004087 cornea Anatomy 0.000 description 85
- 238000005286 illumination Methods 0.000 description 80
- 230000008569 process Effects 0.000 description 49
- 238000004422 calculation algorithm Methods 0.000 description 41
- 230000000007 visual effect Effects 0.000 description 33
- 238000001514 detection method Methods 0.000 description 31
- 238000000605 extraction Methods 0.000 description 24
- 230000008859 change Effects 0.000 description 17
- 230000033001 locomotion Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 238000013507 mapping Methods 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 10
- 230000004438 eyesight Effects 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000010606 normalization Methods 0.000 description 8
- 210000001525 retina Anatomy 0.000 description 8
- 230000004308 accommodation Effects 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 230000000284 resting effect Effects 0.000 description 7
- 238000002347 injection Methods 0.000 description 6
- 239000007924 injection Substances 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 210000002159 anterior chamber Anatomy 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 230000004424 eye movement Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000029777 axis specification Effects 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000004434 saccadic eye movement Effects 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- VCGRFBXVSFAGGA-UHFFFAOYSA-N (1,1-dioxo-1,4-thiazinan-4-yl)-[6-[[3-(4-fluorophenyl)-5-methyl-1,2-oxazol-4-yl]methoxy]pyridin-3-yl]methanone Chemical compound CC=1ON=C(C=2C=CC(F)=CC=2)C=1COC(N=C1)=CC=C1C(=O)N1CCS(=O)(=O)CC1 VCGRFBXVSFAGGA-UHFFFAOYSA-N 0.000 description 3
- CYJRNFFLTBEQSQ-UHFFFAOYSA-N 8-(3-methyl-1-benzothiophen-5-yl)-N-(4-methylsulfonylpyridin-3-yl)quinoxalin-6-amine Chemical compound CS(=O)(=O)C1=C(C=NC=C1)NC=1C=C2N=CC=NC2=C(C=1)C=1C=CC2=C(C(=CS2)C)C=1 CYJRNFFLTBEQSQ-UHFFFAOYSA-N 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- XGVXKJKTISMIOW-ZDUSSCGKSA-N simurosertib Chemical compound N1N=CC(C=2SC=3C(=O)NC(=NC=3C=2)[C@H]2N3CCC(CC3)C2)=C1C XGVXKJKTISMIOW-ZDUSSCGKSA-N 0.000 description 3
- KVCQTKNUUQOELD-UHFFFAOYSA-N 4-amino-n-[1-(3-chloro-2-fluoroanilino)-6-methylisoquinolin-5-yl]thieno[3,2-d]pyrimidine-7-carboxamide Chemical compound N=1C=CC2=C(NC(=O)C=3C4=NC=NC(N)=C4SC=3)C(C)=CC=C2C=1NC1=CC=CC(Cl)=C1F KVCQTKNUUQOELD-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- 206010019233 Headaches Diseases 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 201000009310 astigmatism Diseases 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 231100000869 headache Toxicity 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 210000003786 sclera Anatomy 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000014616 translation Effects 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 241000284156 Clerodendrum quadriloculare Species 0.000 description 1
- 206010065042 Immune reconstitution inflammatory syndrome Diseases 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 208000036366 Sensation of pressure Diseases 0.000 description 1
- 208000004350 Strabismus Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000002350 accommodative effect Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 210000000695 crystalline len Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000004470 vergence movement Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种显示系统可以包括头戴式显示器，该头戴式显示器被配置为将光投射到用户的眼睛中从而以不同量的发散和准直来显示虚拟图像内容。显示系统可以包括面向内成像系统，该面向内成像系统可能包括对用户的眼睛和在其上的闪烁进行成像的多个相机和处理电子器件，该处理电子器件与面向内成像系统通信并且被配置为使用从闪烁图像导出的角膜数据来获得对用户的眼睛的旋转中心的估计。显示系统可以利用定位在所述眼睛的旋转中心的确定位置处的渲染相机来渲染虚拟图像内容。
Description
相关申请的交叉引用
本申请要求于2019年7月16日提交的美国临时专利申号62/874,867的优先权，该申请题为“EYE CENTER OF ROTATION DETERMINATION WITH ONE OR MORE EYE TRACKINGCAMERAS(利用一个或多个眼睛跟踪相机确定眼睛旋转中心)”，通过引用将其全部内容并入本文。本申请涉及美国申请号16/250,931，其题为“EYE CENTER OF ROTATIONDETERMINATION,DEPTH PLANE SELECTION,AND RENDER CAMERA POSITIONING IN DISPLAYSYSTEMS(显示系统中的眼睛旋转中心确定、深度平面选择和渲染相机定位)”且于2019年1月17日提交，以及美国专利公开号2018/0018515，其题为“IRIS BOUNDARY ESTIMATIONUSING CORNEA CURVATURE(使用角膜曲率的虹膜边界估计)”且于2018年1月18日公开，通过引用将其全部内容并入本文。
技术领域
本公开涉及显示系统、虚拟现实以及增强现实成像和可视化系统，并且更具体地，涉及使用利用角膜数据所计算的眼睛的旋转中心进行眼睛跟踪。
背景技术
现代的计算和显示技术已经促进了用于所谓的“虚拟现实”、“增强现实”或“混合现实”体验的系统的发展，其中，以它们看起来是真实的或者可被感知为是真实的方式向用户呈现数字再现的图像或其一部分。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，而对其他实际现实世界视觉输入不透明；增强现实或“AR”场景通常涉及数字或虚拟图像信息的呈现，以作为对用户周围现实世界的可视化增强；混合现实或“MR”与融合现实世界和虚拟世界有关，以产生物理和虚拟对象共存并实时交互的新环境。事实证明，人类的视觉感知系统非常复杂，产生促进虚拟图像元素尤其其他虚拟或现实图像元素的舒适、感觉自然、丰富的呈现的VR、AR或MR技术是具有挑战性的。本文公开的系统和方法解决了与VR、AR和MR技术有关的各种挑战。
发明内容
公开了混合现实系统中的深度平面选择的各种示例。
显示系统可以被配置为将光投射到用户的眼睛中以在所述用户的视场中显示虚拟图像内容。用户的眼睛可以具有角膜、虹膜、瞳孔、晶状体、视网膜、以及延伸穿过所述晶状体、瞳孔和角膜的光轴。显示系统可以包括：被配置为支撑在用户的头部上的框架；设置在框架上的头戴式显示器；被配置为对用户的眼睛进行成像的一个或多个眼睛跟踪相机；以及处理电子器件，该处理电子器件与显示器以及一个或多个眼睛跟踪相机通信，该处理电子器件被配置为基于利用所述一个或多个眼睛跟踪相机所获得的所述眼睛的图像来获得对眼睛的参数的估计。在一些实施方式中，眼睛的参数包括角膜曲率中心(center ofcurvature of the cornea)(例如，在角膜顶端(apex)处所测量的曲率中心)。在一些实施方式中，角膜曲率中心或角膜中心是指角膜的一部分的曲率中心或与角膜表面的一部分重合的球面的曲率中心。例如，在一些实施方式中，角膜曲率中心或角膜中心是指角膜顶端的曲率中心或与角膜顶端表面的一部分重合的球面的曲率中心。在一些实施方式中，眼睛的参数包括所述眼睛的旋转中心。也可以确定其他参数和信息。
在一些实施方式中，显示器被配置为将光投射到所述用户的眼睛中，从而以不同量的发散和准直中的至少一个向用户的视场显示虚拟图像内容，因此所显示的虚拟图像内容看起来源自不同的深度。在一些实施方式中，所显示的虚拟图像内容看起来在不同的时间段源自不同的深度。
本文描述了将光投射到用户的一只或多只眼睛以在所述用户的视场中显示虚拟图像内容的显示系统的各种示例，例如以下列举的示例：
第I部分
示例1：一种显示系统，被配置为将光投射到用户的眼睛中以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：被配置为支撑在用户的头部上的框架；设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以向用户的视场显示虚拟图像内容；被配置为对用户的眼睛进行成像的第一和第二眼睛跟踪相机；多个光发射器；和处理电子器件，该处理电子器件与显示器、第一和第二眼睛跟踪相机通信，该处理电子器件被配置为：接收由第一和第二眼睛跟踪相机所捕获的用户的眼睛的图像、不同光发射器的闪烁反射在由第一和第二眼睛跟踪相机所捕获的眼睛的所述图像中可观察到；并且基于闪烁反射在由所述第一和第二眼睛跟踪相机所产生的所述图像中的位置，并基于所述第一和第二眼睛跟踪相机的位置、以及产生相应的闪烁反射的发射器的位置，估计用户的眼睛的所述角膜曲率中心的位置。
示例2：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：被配置为支撑在用户的头部上的框架；设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以向用户的视场显示虚拟图像内容；被配置为对用户的眼睛进行成像的第一和第二眼睛跟踪相机；多个光发射器；和处理电子器件，该处理电子器件与显示器、第一和第二眼睛跟踪相机通信，该处理电子器件被配置为：接收由第一和第二眼睛跟踪相机所捕获的用户的眼睛的图像、不同光发射器的闪烁反射在由第一和第二眼睛跟踪相机所捕获的眼睛的所述图像中可观察到；并且基于闪烁反射在由所述第一和第二眼睛跟踪相机所产生的所述图像中的位置，以及基于所述第一和第二眼睛跟踪相机的所述位置、以及针对多个眼睛姿势产生所述闪烁反射的发射器的位置，估计用户的眼睛的所述旋转中心的位置。
示例3：一种确定与眼睛相关联的一个或多个参数以在显示系统中渲染虚拟图像内容的方法，该显示系统被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜，所述方法包括：利用被配置为对用户的眼睛进行成像的多个眼睛跟踪相机和对于所述眼睛设置以在其上形成闪烁的多个光发射器，捕获用户的眼睛的多个图像，所述图像包括多个闪烁；并且基于多个闪烁获得对所述眼睛的旋转中心的估计，其中，获得所述眼睛的旋转中心的估计包括：基于多个闪烁来确定用户的眼睛的角膜曲率中心的多个估计；根据角膜曲率中心的多个估计生成三维表面；并且使用三维表面来确定用户的眼睛的旋转中心的估计。
示例4：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：被配置为支撑在用户的头部上的框架；设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以显示虚拟图像内容；被配置为对用户的眼睛进行成像的第一和第二眼睛跟踪相机；与显示器、第一和第二眼睛跟踪相机通信的处理电子器件，该处理电子器件被配置为：从第一和第二眼睛跟踪相机接收用户的眼睛的多个捕获图像对；对于分别从第一和第二眼睛跟踪相机所接收的图像对，至少部分地基于相应的捕获图像对来获得用户的眼睛的角膜曲率中心的估计；基于基于从相应的第一和第二眼睛跟踪相机所接收的用户的眼睛的多个捕获图像对而获得对用户的眼睛的估计角膜曲率中心来确定三维表面；并识别3D表面的曲率中心，以获得用户的眼睛旋转中心的估计。
示例5：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：被配置为支撑在用户的头部上的框架；设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以将虚拟图像内容显示到用户的视场；被配置为对用户的眼睛进行成像的眼睛跟踪相机；多个光发射器；和处理电子器件，该处理电子器件与显示器以及眼睛跟踪相机通信，该处理电子器件被配置为：接收由眼睛跟踪相机在第一和第二位置所捕获的用户的眼睛的图像、不同光发射器的闪烁反射在由眼睛跟踪相机所捕获的眼睛的所述图像中可观察到；并且基于闪烁反射在由所述眼睛跟踪相机所产生的所述图像中的位置、并基于眼睛跟踪相机的位置以及产生相应的闪烁反射的发射器的位置，估计用户的眼睛的所述角膜曲率中心的位置。
示例6：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：被配置为支撑在用户的头部上的框架；设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以将虚拟图像内容显示到用户的视场；被配置为对用户的眼睛进行成像的眼睛跟踪相机；多个光发射器；和处理电子器件，该处理电子器件与显示器以及眼睛跟踪相机通信，该处理电子器件被配置为：接收由眼睛跟踪相机在第一和第二相机位置所捕获的用户的眼睛的图像、不同光发射器的闪烁反射在由眼睛跟踪相机捕获到的眼睛的所述图像中可观察到；并且基于闪烁反射在由所述眼睛跟踪相机产生的所述图像中的位置、并且基于眼睛跟踪相机的所述第一和第二位置以及针对多个眼睛姿势而产生所述闪烁反射的发射器的位置，估计用户的眼睛的所述旋转中心的位置。
示例7：一种确定与眼睛相关联的一个或多个参数以在显示系统中渲染虚拟图像内容的方法，该显示系统被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜，所述方法包括：利用被配置为对用户的眼睛进行成像的眼睛跟踪相机和对于所述眼睛所设置以在其上形成闪烁的多个光发射器，捕获用户的眼睛的多个图像，所述图像包括多个闪烁；并且基于多个闪烁来获得所述眼睛的旋转中心的估计，其中获得所述眼睛的旋转中心的估计包括：基于多个闪烁来确定用户的眼睛的角膜曲率中心的多个估计；根据角膜曲率中心的多个估计生成三维表面；使用三维表面确定用户的眼睛的旋转中心的估计。
示例8：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：被配置为支撑在用户的头部上的框架；设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以显示虚拟图像内容；被配置为对用户的眼睛进行成像的眼睛跟踪相机；和处理电子器件，该处理电子器件与显示器以及眼睛跟踪相机通信，该处理电子器件被配置为：从眼睛跟踪相机接收用户的眼睛的多个捕获图像对；对于分别从眼睛跟踪相机接收的图像对，至少部分地基于相应的捕获图像对来获得用户的眼睛的角膜曲率中心的估计；基于基于从眼睛跟踪相机接收到的用户的眼睛的多个捕获图像对而获得的用户的眼睛的估计角膜曲率中心，确定三维表面；以及识别3D表面的曲率中心以获得用户的眼睛的旋转中心的估计。
示例9：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：被配置为支撑在用户的头部上的框架；设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以将虚拟图像内容显示到用户的视场；被配置为对用户的眼睛进行成像的至少一个眼睛跟踪相机；多个光发射器；和处理电子器件，该处理电子器件与显示器以及眼睛跟踪相机通信，该处理电子器件被配置为：接收由至少一个眼睛跟踪相机在第一和第二位置所捕获的用户的眼睛的图像、不同光发射器的闪烁反射在由眼睛跟踪相机捕获到的眼镜的所述图像中可观察到；并且基于闪烁反射在由所述至少一个眼睛跟踪相机产生的所述图像中的位置、并且基于至少一个眼睛跟踪相机的位置和产生相应的闪烁反射的发射器的位置，估计用户的眼睛的所述角膜曲率中心的位置。
第II部分
示例1：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：
被配置为支撑在用户的头部上的框架；
设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以将虚拟图像内容显示到用户的视场；
被配置为对用户的眼睛进行成像的第一和第二眼睛跟踪相机；
多个光发射器；和
处理电子器件，该处理电子器件与显示器以及第一和第二眼睛跟踪相机通信，该处理电子器件被配置为：
接收由第一和第二眼睛跟踪相机捕获的用户的眼睛的图像，不同光发射器的闪烁反射在由第一和第二眼睛跟踪相机捕获到的眼睛的所述图像中可观察到；并且
基于闪烁反射在由所述第一和第二眼睛跟踪相机产生的所述图像中的位置，并且基于所述第一和第二眼睛跟踪相机的位置以及产生相应的闪烁反射的发射器的位置，估计用户的眼睛的角膜曲率中心的位置。
示例2：根据示例1的显示系统，其中所述处理电子器件被配置为：
基于闪烁反射在由所述第一眼睛跟踪相机产生的一个或多个图像中的位置、并且基于第一眼睛跟踪相机的位置和产生所述闪烁反射的发射器的位置，确定朝向用户的眼睛的角膜曲率中心的第一方向；并且
基于闪烁反射在由所述第二眼睛跟踪相机产生的一个或多个图像中的位置，并且基于第二眼睛跟踪相机的位置和产生所述闪烁反射的发射器的位置，确定朝向用户的眼睛的角膜曲率中心的第二方向。
示例3：根据示例2的显示系统，其中所述处理电子器件被配置为通过以下方式确定第一方向：
定义第一平面，第一平面包括第一眼睛跟踪相机、第一闪烁反射的位置、和与所述第一闪烁反射对应的光发射器的位置；
定义第二平面，第二平面包括第一眼睛跟踪相机、第二闪烁反射的位置、和与所述第二闪烁反射对应的光发射器的位置；
确定第一平面和第二平面的会聚区域，该会聚区域沿第一方向延伸。
示例4：根据示例3的显示系统，所述处理电子器件被配置为通过以下方式确定第二方向：
定义包括第三平面，该第三平面包括第二眼睛跟踪相机、第三闪烁反射的位置、以及对应于所述第三闪烁反射的光发射器的位置；
定义第四平面，该第四平面包括第二眼睛跟踪相机、第四闪烁反射的位置、以及对应于所述第四闪烁反射的光发射器的位置；
确定第三平面和第四平面的会聚区域，该会聚区域沿第二方向延伸。
示例5：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：基于朝向用户的眼睛的角膜曲率中心的所述第一方向和所述第二方向来估计用户的眼睛的所述角膜曲率中心的位置。
示例6：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：
基于从第一眼睛跟踪相机接收到的至少一个第一图像来确定估计用户的眼睛的角膜曲率中心沿其定位的所述第一方向；并且
基于从第二眼睛跟踪相机接收的至少一个第二图像来确定估计用户的眼睛的角膜曲率中心沿其定位的所述第二方向，所述第一方向和所述第二方向朝向区域会聚。
示例7：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：
基于第一和第二方向的会聚获得用户的眼睛的角膜曲率中心的估计。
示例8：根据上述示例中的任一项的显示系统，其中所述处理电子器件被配置为：通过识别所述第一方向和所述第二方向朝向用户的眼睛的角膜曲率中心的会聚区域来估计用户的眼睛的所述角膜曲率中心的位置。
示例9：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：基于针对不同眼睛姿势的用户的眼睛的角膜曲率中心的多个确定，获得用户的眼睛的旋转中心的估计。
示例10：根据上述示例中的任一项的显示系统，其中所述处理电子器件被配置为：确定与针对不同眼睛姿势的用户的眼睛的角膜曲率中心的估计对应的点轨迹。
示例11：根据示例10的显示系统，其中所述处理电子器件被配置为：基于与针对不同眼睛姿势的用户的眼睛的角膜曲率中心的估计对应的所述点轨迹，获得用户的眼睛的旋转中心的估计。
示例12：根据示例10或11的显示系统，其中所述处理电子器件被配置为基于所述点轨迹确定表面并且获得用户的眼睛的旋转中心的估计。
示例13：根据示例10或11的显示系统，其中所述处理电子器件被配置为：基于所述点轨迹确定表面并且通过估计所述表面的曲率中心来获得用户的眼睛的旋转中心的估计。
示例14：根据示例10或11的显示系统，其中所述处理电子器件被配置为：基于所述点轨迹确定表面并通过确定所述表面的多个法线会聚的区域来获得用户的眼睛的旋转中心的估计。
示例15：根据示例12、13或14中任一项的显示系统，其中所述处理电子器件被配置为：将所述表面拟合到所述点轨迹以获得所述表面。
示例16：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：使用渲染相机渲染要呈现给用户的眼睛的虚拟图像，所述渲染相机具有由所述旋转中心确定的位置。
示例17：根据上述示例中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，从而以不同量的发散和准直中的至少一个向用户的视场显示虚拟图像内容，并且因此所显示的虚拟图像内容看起来源自不同深度。
示例18：一种显示系统，被配置为将光投射到用户的眼睛中以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：
被配置为支撑在用户的头部上的框架；
设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以将虚拟图像内容显示到用户的视场；
被配置为对用户的眼睛进行成像的第一和第二眼睛跟踪相机；
多个光发射器；和
处理电子器件，处理电子器件与显示器以及第一和第二眼睛跟踪相机通信，该处理电子器件被配置为：
接收由第一和第二眼睛跟踪相机捕获的用户的眼睛的图像、不同光发射器的闪烁反射在由第一和第二眼睛跟踪相机捕获到的眼睛的所述图像中可观察到；并且
基于闪烁反射在由所述第一和第二眼睛跟踪相机产生的所述图像中的位置，并且基于第一和第二眼睛跟踪相机的所述位置以及针对多个眼睛姿势产生所述闪烁反射的发射器的位置，估计用户的眼睛的所述旋转中心的位置。
示例19：根据示例18的显示系统，其中为了获得对所述眼睛的旋转中心的估计，处理电子器件被配置为：
基于针对多个眼睛姿势的多个闪烁反射来确定用户的眼睛的角膜曲率中心的多个估计；并且
基于针对所述多个眼睛姿势的用户的眼睛的角膜曲率中心的多个估计来确定用户的眼睛的旋转中心的估计。
示例20：根据示例19的显示系统，其中为了确定用户的眼睛的角膜曲率的所述多个估计，处理电子器件被配置为：
基于所述多个发射器中的至少一部分和眼睛跟踪相机的第一相机的相应位置来确定朝向角膜曲率中心的第一方向；
基于所述多个发射器中的至少一部分和眼睛跟踪相机的第二相机的相应位置来确定朝向角膜曲率中心的第二方向；并且
基于所述第一和第二方向来确定用户的眼睛的角膜曲率中心的估计。
示例21：根据示例20的显示系统，其中所述处理电子器件被配置为通过以下方式确定所述第一方向：
定义第一平面，第一平面包括第一眼睛跟踪相机、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；
定义第二平面，该第二平面包括第一眼睛跟踪相机、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；
确定第一平面和第二平面的会聚区域，该会聚区域沿第一方向延伸。
示例22：根据示例21的显示系统，所述处理电子器件被配置为通过以下方式确定第二方向：
定义第三平面，该第三平面包括第二眼睛跟踪相机、第三闪烁反射的位置、以及对应于所述第三闪烁反射的光发射器；
定义第四平面，该第四平面包括第二眼睛跟踪相机、第四闪烁反射的位置、以及对应于所述第四闪烁反射的光发射器的位置；
确定第三平面和第四平面的会聚区域，该会聚区域沿第二方向延伸。
示例23：根据示例20至22中任一项的显示系统，其中为了确定用户的眼睛的角膜曲率的所述多个估计，处理电子器件被配置为：
确定第一方向和第二方向之间的会聚区域，以确定用户的眼睛的角膜曲率中心的估计。
示例24：根据示例19至23中任一项的显示系统，其中为了获得所述眼睛的旋转中心的估计，处理电子器件被配置为：
生成与角膜曲率中心的多个估计相关联的三维表面；并
基于三维表面来确定用户的眼睛的旋转中心的估计。
示例25：根据示例24的显示系统，其中为了生成与角膜曲率中心的多个估计相关联的三维表面，处理电子器件被配置为：将表面拟合到角膜曲率中心的多个估计。
示例26：根据示例24的显示系统，其中为了生成与角膜曲率中心的多个估计相关联的三维表面，处理电子器件被配置为：将球形表面拟合到角膜曲率中心的多个估计。
示例27：根据示例24至26中任一项的显示系统，其中为了确定用户的眼睛的旋转中心的估计，处理电子器件被配置为：
确定三维表面的两个或更多个法线；并且
确定两个或更多个法线的会聚区域，
其中该会聚区域包括对用户的眼睛的旋转中心的估计。
示例28：根据示例21至27中任一项的显示系统，其中用户的眼睛的一个或多个图像包括与用户的眼睛的不同注视向量相关联的一个或多个图像。
示例29：根据示例21至28中任一项的显示系统，其中处理电子器件被配置为使用注视目标来映射用户的眼睛的角膜。
示例30：根据示例18至29中任一项的显示系统，其中所述处理电子器件被配置为：使用渲染相机来渲染要呈现给用户的眼睛的虚拟图像，所述渲染相机具有由所述旋转中心确定的位置。
示例31：根据示例18至30中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，以不同量的发散和准直中的至少一个向用户的视场显示虚拟图像内容，因此所显示的虚像内容看起来源于不同深度。
示例32：一种确定与眼睛相关联的一个或多个参数以在显示系统中渲染虚拟图像内容的方法，该显示系统被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜，所述角膜具有曲率中心，所述方法包括：
利用被配置为对用户的眼睛进行成像的多个眼睛跟踪相机和对于所述眼睛设置以在其上形成闪烁的多个光发射器，捕获用户的眼睛的多个图像，所述图像包括多个闪烁；并且
基于多个闪烁获得对所述眼睛的旋转中心的估计，其中，获得所述眼睛的旋转中心的估计包括：
基于多个闪烁来确定用户的眼睛的角膜曲率中心的多个估计；
根据角膜曲率中心的多个估计生成三维表面；并且
使用三维表面来确定用户的眼睛的旋转中心的估计。
示例33：根据示例32的方法，其中确定用户的眼睛的角膜曲率的多个估计包括：
基于多个光发射器中的至少一部分的位置和多个眼睛跟踪相机中的第一相机的位置来确定指向角膜曲率中心的第一向量；
基于多个光发射器中的至少一部分的位置和多个眼睛跟踪相机中的第二相机的位置来确定指向角膜曲率中心的第二向量；以及
确定第一向量和第二向量之间的会聚区域以确定用户的眼睛的角膜曲率中心的估计。
示例34：根据示例33的方法，其中第一方向通过以下方式确定：
定义第一平面，该第一平面包括第一眼睛跟踪相机、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；
定义第二平面，该第二平面包括第一眼睛跟踪相机、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；以及
确定第一平面和第二平面的会聚区域，该会聚区域沿第一方向延伸。
示例35：根据示例33的方法，其中第二方向通过以下方式确定：
定义第三平面，该第三平面包括第二眼睛跟踪相机、第三闪烁反射的位置、以及对应于所述第三闪烁反射的光发射器的位置；
定义第四平面，该第四平面包括第二眼睛跟踪相机、第四闪烁反射的位置、以及对应于所述第四闪烁反射的光发射器的位置；
确定第三平面和第四平面的会聚区域，该会聚区域沿第二方向延伸。
示例36：根据示例32至35中任一项的方法，其中根据角膜曲率中心的多个估计生成三维表面包括：将表面拟合到角膜曲率中心的多个估计。
示例37：根据示例32至35中任一项的方法，其中根据角膜曲率中心的多个估计生成三维表面包括：将球体拟合到角膜曲率中心的多个估计。
示例38：根据示例32至37中任一项的方法，其中确定用户的眼睛的旋转中心的估计包括：
确定正交于三维表面的两个或更多个向量；以及
确定正交于三维表面的两个或更多个向量的会聚区域，其中会聚区域包括对用户的眼睛的旋转中心的估计。
示例39：根据示例32至38中任一项的方法，其中用户的眼睛的多个图像包括与用户的眼睛的不同注视方向相关联的图像。
示例40：根据示例32至39中任一项的方法，还包括使用注视目标来映射用户的眼睛的角膜。
示例41：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：
被配置为支撑在用户的头部上的框架；
设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以显示虚拟图像内容；
被配置为对用户的眼睛进行成像的第一和第二眼睛跟踪相机；
与显示器、第一和第二眼睛跟踪相机通信的处理电子器件，该处理电子器件被配置为：
从第一和第二眼睛跟踪相机接收用户的眼睛的多个捕获图像对；对于分别从第一和第二眼睛跟踪相机所接收的图像对，至少部分地基于相应的捕获图像对来获得用户的眼睛的角膜曲率中心的估计；
基于基于从相应的第一和第二眼睛跟踪相机所接收的用户的眼睛的多个捕获图像对而获得对用户的眼睛的估计角膜曲率中心来确定三维表面；并
识别3D表面的曲率中心，以获得用户的眼睛旋转中心的估计。
示例42：根据示例41的显示系统，其中所述处理电子器件被配置为：将三维表面拟合到基于从相应的第一和第二眼睛跟踪相机接收到的用户的眼睛的多个捕获图像对而获得的用户的眼睛的估计角膜曲率中心。
示例43：根据示例41或42的显示系统，其中为了至少部分地基于相应的捕获图像对来获得用户的眼睛的角膜曲率中心的估计，处理电子器件被配置为：
基于从第一眼睛跟踪相机接收的第一图像，确定估计用户的眼睛的角膜曲率中心沿其定位的第一向量；
基于从第二眼睛跟踪相机接收的第二图像，确定估计用户的眼睛的角膜曲率中心沿其定位的第二向量，第一和第二图像对应于所述图像对中的一个；并
识别在第一向量和第二向量的方向上延伸的路径之间的会聚区域，以获得用户的眼睛的角膜曲率中心的估计。
示例44：根据示例43的显示系统，还包括：
多个光发射器，被配置为照亮用户的眼睛以在其上形成闪烁反射，
其中为了基于捕获图像对中的第一图像来确定第一向量，所述处理电子器件被配置为：
定义第一平面，该第一平面包括第一眼睛跟踪相机、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；
定义第二平面，该第二平面包括第一眼睛跟踪相机、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；并且
识别第一平面和第二平面的会聚区域，该会聚区域沿着第一向量的方向延伸。
示例45：根据示例44的显示系统，其中为了基于每捕获图像对中的第二图像确定第二向量，处理电子器件被配置为：
定义第三平面，该第三平面包括第二眼睛跟踪相机、第三闪烁反射的位置、和对应于所述第三闪烁反射的光发射器的位置；
定义第四平面，该第四平面包括第二眼睛跟踪相机、第四闪烁反射的位置、和对应于所述第四闪烁反射的光发射器的位置；以及
确定第三平面和第四平面的会聚区域，该会聚区域沿着第二向量的方向延伸。
示例46：根据示例41至45中任一项的显示系统，其中所述处理电子器件被配置为：使用渲染相机来渲染要呈现给用户的眼睛的虚拟图像，所述渲染相机具有由所述旋转中心确定的位置。
示例47：根据示例41至46中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，从而以不同量的发散和准直中的至少一个向用户的视场显示虚拟图像内容，因此所显示的虚像内容源于不同深度。
示例48：根据上述示例中任一项的显示系统，其中所述显示器的至少一部分是透明的并且当用户佩戴所述头戴式显示器时被设置在用户的眼睛前方的位置处，使得所述透明部分将来自用户的前面的环境的一部分和所述头戴式显示器的光传输到用户的眼睛，以提供用户的前面的环境的所述部分和所述头戴式显示器的视图。
示例49：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：
被配置为支撑在用户的头部上的框架；
设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以将虚拟图像内容显示到用户的视场；
被配置为对用户的眼睛进行成像的眼睛跟踪相机；
多个光发射器；和
处理电子器件，该处理电子器件与显示器以及眼睛跟踪相机通信，该处理电子器件被配置为：
接收由眼睛跟踪相机所捕获的用户的眼睛的图像、不同光发射器的闪烁反射在由眼睛跟踪相机所捕获的眼睛的所述图像中可观察到；并且
基于闪烁反射在由所述眼睛跟踪相机所产生的所述图像中的位置、并基于眼睛跟踪相机的位置以及产生相应的闪烁反射的发射器的位置，估计用户的眼睛的角膜曲率中心的位置。
示例50：根据示例49的显示系统，其中所述处理电子器件被配置为：
基于闪烁反射在由所述眼睛跟踪相机产生的一个或多个图像中的位置、并且基于眼睛跟踪相机的位置以及产生所述闪烁反射的发射器的位置，确定朝向用户的眼睛的角膜曲率中心的第一方向；并且
基于闪烁反射在由所述眼睛跟踪相机产生的一个或多个图像中的位置，并且基于眼睛跟踪相机的位置以及产生所述闪烁反射的发射器的位置，确定朝向用户的眼睛的角膜曲率中心的第二方向。
示例51：根据示例50的显示系统，其中，所述处理电子器件被配置为通过以下方式确定第一方向：
定义第一平面，该第一平面包括眼睛跟踪相机的位置、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；
定义第二平面，该第二平面包括眼睛跟踪相机的位置、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；以及
确定第一平面和第二平面的会聚区域，该会聚区域沿第一方向延伸。
示例52：根据示例51的显示系统，所述处理电子器件被配置为通过以下方式确定第二方向：
定义第三平面，该第三平面包括眼睛跟踪相机的位置、第三闪烁反射的位置、和对应于所述第三闪烁反射的光发射器的位置；
定义第四平面，该第四平面包括眼睛跟踪相机的位置、第四闪烁反射的位置、和对应于所述第四闪烁反射的光发射器的位置；以及
确定第三平面和第四平面的会聚区域，该会聚区域沿第二方向延伸。
示例53：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：基于朝向用户的眼睛的角膜曲率中心的所述第一和第二方向来估计用户的眼睛的所述角膜曲率中心的位置。
示例54：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：
基于从位置的眼睛跟踪相机接收到的至少一个第一图像来确定估计用户的眼睛的角膜曲率中心沿其定位的所述第一方向；并且
基于从位置的眼睛跟踪相机接收到的至少一个第二图像来确定估计用户的眼睛的角膜曲率中心沿其定位的所述第二方向，所述第一和第二方向朝向区域会聚。
示例55：根据以上示例中任一项的显示系统，其中所述处理电子器件被配置为：
基于第一和第二方向的会聚获得用户的眼睛的角膜曲率中心的估计。
示例56：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：通过识别所述第一和第二方向朝向用户的眼睛的角膜曲率中心的所述第一和第二方向的会聚区域，估计用户的眼睛的所述角膜曲率中心的位置。
示例57：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：基于针对不同眼睛姿势的用户的眼睛的角膜曲率中心的多个确定，获得用户的眼睛的旋转中心的估计。
示例58：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：确定与针对不同眼睛姿势的用户的眼睛的角膜曲率中心的估计对应的点轨迹。
示例59：根据示例58的显示系统，其中所述处理电子器件被配置为：基于与针对不同眼睛姿势的用户的眼睛的角膜曲率中心的估计对应的所述点轨迹，获得用户的眼睛的旋转中心的估计。
示例60：根据示例58或59的显示系统，其中所述处理电子器件被配置为：基于的述点轨迹来确定表面，并且获得用户的眼睛的旋转中心的估计。
示例61：根据示例58或59的显示系统，其中所述处理电子器件被配置为：基于所述点轨迹来确定表面，并且通过估计所述表面的曲率中心来获得用户的眼睛的旋转中心的估计。
示例62：根据示例58或59的显示系统，其中所述处理电子器件被配置为基于所述点轨迹来确定表面，并且通过确定所述表面的多个法线会聚的区域来获得用户的眼睛的旋转中心的估计。
示例63：根据示例60、61或62中任一项的显示系统，其中所述处理电子器件被配置为：将所述表面拟合到所述点轨迹以获得所述表面。
示例64：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：使用渲染相机渲染要呈现给用户的眼睛的虚拟图像，所述渲染相机具有由所述旋转中心确定的位置。
示例65：根据上述示例中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，从而以不同量的发散和准直中的至少一个将虚拟图像内容显示到用户的视场，以及因此所显示的虚拟图像内容看起来源于不同深度。
示例66：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：
被配置为支撑在用户的头部上的框架；
设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以将虚拟图像内容显示到用户的视场；
被配置为对用户的眼睛进行成像的眼睛跟踪相机；
多个光发射器；和
处理电子器件，该处理电子器件与显示器以及眼睛跟踪相机通信，该处理电子器件被配置为：
接收由眼睛跟踪相机所捕获的用户的眼睛的图像、不同光发射器的闪烁反射在由眼睛跟踪相机捕获到的眼睛的所述图像中可观察到；并且
基于闪烁反射在由所述眼睛跟踪相机产生的所述图像中的位置、并且基于眼睛跟踪相机的位置以及针对多个眼睛姿势而产生所述闪烁反射的发射器的位置，估计用户的眼睛的旋转中心的位置。
示例67：根据示例66的系统，其中为了获得对所述眼睛的旋转中心的估计，处理电子器件被配置为：
基于针对多个眼睛姿势的多个闪烁反射来确定用户的眼睛的角膜曲率中心的多个估计；并且
基于针对所述多个眼睛姿势的用户的眼睛的角膜曲率中心的多个估计来确定用户的眼睛的旋转中心的估计。
示例68：根据示例67的系统，其中为了确定用户的眼睛的角膜曲率的所述多个估计，处理电子器件被配置为：
至少基于所述多个发射器中的一部分的相应位置和眼睛跟踪相机的位置来确定朝向角膜曲率中心的第一方向；
至少基于所述多个发射器中的至少一部分的相应位置和眼睛跟踪相机的位置来确定朝向角膜曲率中心的第二方向；并且
基于所述第一和第二方向确定用户的眼睛的角膜曲率中心的估计。
示例69：根据示例68的显示系统，其中所述处理电子器件被配置为通过以下方式确定所述第一方向：
定义第一平面，第一平面包括眼睛跟踪相机的位置、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；
定义第二平面，该第二平面包括眼睛跟踪相机的位置、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；
确定第一平面和第二平面的会聚区域，该会聚区域沿第一方向延伸。
示例70：根据示例69的显示系统，所述处理电子器件被配置为通过以下方式确定第二方向：
定义第三平面，该第三平面包括眼睛跟踪相机的位置、第三闪烁反射的位置、以及对应于所述第三闪烁反射的光发射器；
定义第四平面，该第四平面包括眼睛跟踪相机的位置、第四闪烁反射的位置、以及对应于所述第四闪烁反射的光发射器的位置；
确定第三平面和第四平面的会聚区域，该会聚区域沿第二方向延伸。
示例71：根据示例68至70中任一项的系统，其中为了确定用户的眼睛的角膜曲率的所述多个估计，处理电子器件被配置为：
确定第一方向和第二方向之间的会聚区域，以确定用户的眼睛的角膜曲率中心的估计。
示例72：根据示例19至71中任一项的系统，其中为了获得所述眼睛的旋转中心的估计，处理电子器件被配置为：
生成与角膜曲率中心的多个估计相关联的三维表面；并
基于三维表面来确定用户的眼睛的旋转中心的估计。
示例73：根据示例72的系统，其中为了生成与角膜曲率中心的多个估计相关联的三维表面，处理电子器件被配置为：将表面拟合到角膜曲率中心的多个估计。
示例74：根据示例73的系统，其中为了生成与角膜曲率中心的多个估计相关联的三维表面，处理电子器件被配置为：将球体拟合到角膜曲率中心的多个估计。
示例75：根据示例72至74中任一项的系统，其中为了确定用户的眼睛的旋转中心的估计，处理电子器件被配置为：
确定三维表面的两个或更多个法线；并且
确定两个或更多个法线的会聚区域，
其中该会聚区域包括对用户的眼睛的旋转中心的估计。
示例76：根据示例69至75中任一项的系统，其中用户的眼睛的一个或多个图像包括与用户的眼睛的不同注视向量相关联的一个或多个图像。
示例77：根据示例69至76中任一项的系统，其中处理电子器件被配置为使用注视目标来映射用户的眼睛的角膜。
示例78：根据示例66至77中任一项的显示系统，其中所述处理电子器件被配置为：使用渲染相机来渲染要呈现给用户的眼睛的虚拟图像，所述渲染相机具有由所述旋转中心确定的位置。
示例79：根据示例66至78中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，以不同量的发散和准直中的至少一个向用户的视场显示虚拟图像内容，因此所显示的虚像内容看起来源于不同深度。
示例80：一种确定与眼睛相关联的一个或多个参数以在显示系统中渲染虚拟图像内容的方法，该显示系统被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜，所述角膜具有曲率中心，所述方法包括：
利用被配置为对用户的眼睛进行成像的眼睛跟踪相机和对于所述眼睛设置以在其上形成闪烁的多个光发射器，捕获用户的眼睛的多个图像，所述图像包括多个闪烁；并且
基于多个闪烁获得对所述眼睛的旋转中心的估计，其中，获得所述眼睛的旋转中心的估计包括：
基于多个闪烁来确定用户的眼睛的角膜曲率中心的多个估计；
根据角膜曲率中心的多个估计生成三维表面；并且
使用三维表面来确定用户的眼睛的旋转中心的估计。
示例81：根据示例80的方法，其中确定用户的眼睛的角膜曲率的多个估计包括：
基于多个光发射器中的至少一部分的位置和眼睛跟踪相机的位置来确定指向角膜曲率中心的第一向量；
基于多个光发射器中的至少一部分的位置和眼睛跟踪相机的位置来确定指向角膜曲率中心的第二向量；以及
确定第一向量和第二向量之间的会聚区域以确定用户的眼睛的角膜曲率中心的估计。
示例82：根据示例81的方法，其中第一方向通过以下方式确定：
定义第一平面，该第一平面包括眼睛跟踪相机的位置、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；
定义第二平面，该第二平面包括眼睛跟踪相机的位置、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；以及
确定第一平面和第二平面的会聚区域，该会聚区域沿第一方向延伸。
示例83：根据示例82的方法，其中第二方向通过以下方式确定：
定义第三平面，该第三平面包括眼睛跟踪相机的位置、第三闪烁反射的位置、以及对应于所述第三闪烁反射的光发射器的位置；
定义第四平面，该第四平面包括眼睛跟踪相机的位置、第四闪烁反射的位置、以及对应于所述第四闪烁反射的光发射器的位置；
确定第三平面和第四平面的会聚区域，该会聚区域沿第二方向延伸。
示例84：根据示例81至83中任一项的方法，其中根据角膜曲率中心的多个估计生成三维表面包括：将表面拟合到角膜曲率中心的多个估计。
示例85：根据示例81至83中任一项的方法，其中根据角膜曲率中心的多个估计生成三维表面包括：将球体拟合到角膜曲率中心的多个估计。
示例86：根据示例81至85中任一项的方法，其中确定用户的眼睛的旋转中心的估计包括：
确定正交于三维表面的两个或更多个向量；以及
确定正交于三维表面的两个或更多个向量的会聚区域，其中会聚区域包括对用户的眼睛的旋转中心的估计。
示例87：根据示例81至86中任一项的方法，其中用户的眼睛的多个图像包括与用户的眼睛的不同注视方向相关联的图像。
示例88：根据示例81至87中任一项的方法，还包括使用注视目标来映射用户的眼睛的角膜。
示例89：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：
被配置为支撑在用户的头部上的框架；
设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以显示虚拟图像内容；
被配置为对用户的眼睛进行成像的眼睛跟踪相机；
与显示器、眼睛跟踪相机通信的处理电子器件，该处理电子器件被配置为：
从眼睛跟踪相机接收用户的眼睛的多个捕获图像对；对于分别从眼睛跟踪相机所接收的图像对，至少部分地基于相应的捕获图像对来获得用户的眼睛的角膜曲率中心的估计；
基于基于从眼睛跟踪相机所接收的用户的眼睛的多个捕获图像对而获得对用户的眼睛的估计角膜曲率中心来确定三维表面；并
识别3D表面的曲率中心，以获得用户的眼睛旋转中心的估计。
示例90：根据示例89的显示系统，其中所述处理电子器件被配置为：将三维表面拟合到基于从眼睛跟踪相机接收到的用户的眼睛的多个捕获图像对而获得的用户的眼睛的估计角膜曲率中心。
示例91：根据示例89或90的显示系统，其中为了至少部分地基于相应的捕获图像对来获得用户的眼睛的角膜曲率中心的估计，处理电子器件被配置为：
基于从位置的眼睛跟踪相机接收的第一图像，确定估计用户的眼睛的角膜曲率中心沿其定位的第一向量；
基于从位置的眼睛跟踪相机接收的第二图像，确定估计用户的眼睛的角膜曲率中心沿其定位的第二向量，第一和第二图像对应于所述图像对中的一个；并
识别在第一向量和第二向量的方向上延伸的路径之间的会聚区域，以获得用户的眼睛的角膜曲率中心的估计。
示例92：根据示例91的显示系统，还包括：
多个光发射器，被配置为照亮用户的眼睛以在其上形成闪烁反射，
其中为了基于捕获图像对中的第一图像来确定第一向量，所述处理电子器件被配置为：
定义第一平面，该第一平面包括眼睛跟踪相机的位置、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；
定义第二平面，该第二平面包括眼睛跟踪相机的位置、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；并且
识别第一平面和第二平面的会聚区域，该会聚区域沿着第一向量的方向延伸。
示例93：根据示例92的显示系统，其中为了基于每捕获图像对中的第二图像确定第二向量，处理电子器件被配置为：
定义第三平面，该第三平面包括眼睛跟踪相机的位置、第三闪烁反射的位置、和对应于所述第三闪烁反射的光发射器的位置；
定义第四平面，该第四平面包括眼睛跟踪相机的位置、第四闪烁反射的位置、和对应于所述第四闪烁反射的光发射器的位置；以及
确定第三平面和第四平面的会聚区域，该会聚区域沿着第二向量的方向延伸。
示例94：根据示例89至93中任一项的显示系统，其中所述处理电子器件被配置为：使用渲染相机来渲染要呈现给用户的眼睛的虚拟图像，所述渲染相机具有由所述旋转中心确定的位置。
示例95：根据示例89至94中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，从而以不同量的发散和准直中的至少一个向用户的视场显示虚拟图像内容，因此所显示的虚像内容源于不同深度。
示例96：根据上述示例中任一项的显示系统，其中所述显示器的至少一部分是透明的并且当用户佩戴所述头戴式显示器时被设置在用户的眼睛前方的位置处，使得所述透明部分将来自用户的前面的环境的一部分和所述头戴式显示器的光传输到用户的眼睛，以提供用户的前面的环境的所述部分和所述头戴式显示器的视图。
示例97：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：
被配置为支撑在用户的头部上的框架；
设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以将虚拟图像内容显示到用户的视场；
被配置为对用户的眼睛进行成像的至少一个眼睛跟踪相机；
多个光发射器；和
处理电子器件，该处理电子器件与显示器以及眼睛跟踪相机通信，该处理电子器件被配置为：
接收由至少一个眼睛跟踪相机在第一和第二位置所捕获的用户的眼睛的图像、不同光发射器的闪烁反射在由眼睛跟踪相机所捕获的眼睛的所述图像中可观察到；并且
基于闪烁反射在由所述至少一个眼睛跟踪相机所产生的所述图像中的位置、并基于至少一个眼睛跟踪相机的位置以及产生相应的闪烁反射的发射器的位置，估计用户的眼睛的所述角膜曲率中心的位置。
示例98：根据示例97的显示系统，其中所述处理电子器件被配置为：
基于闪烁反射在由所述至少一个眼睛跟踪相机产生的一个或多个图像中的位置、并且基于至少一个眼睛跟踪相机的第一位置以及产生所述闪烁反射的发射器的位置，确定朝向用户的眼睛的角膜曲率中心的第一方向；并且
基于闪烁反射在由所述至少一个眼睛跟踪相机产生的一个或多个图像中的位置，并且基于至少一个眼睛跟踪相机的第二位置以及产生所述闪烁反射的发射器的位置，确定朝向用户的眼睛的角膜曲率中心的第二方向。
示例99：根据示例98的显示系统，所述处理电子器件被配置为通过以下方式确定第一方向：
定义第一平面，该第一平面包括至少一个眼睛跟踪相机的第一位置、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；
定义第二平面，该第二平面包括至少一个眼睛跟踪相机的第一位置、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；以及
确定第一平面和第二平面的会聚区域，该会聚区域沿第一方向延伸。
示例100：根据示例99的显示系统，所述处理电子器件被配置为通过以下方式确定第二方向：
定义第三平面，该第三平面包括至少一个眼睛跟踪相机的第二位置、第三闪烁反射的位置、和对应于所述第三闪烁反射的光发射器的位置；
定义第四平面，该第四平面包括至少一个眼睛跟踪相机的第二位置、第四闪烁反射的位置、和对应于所述第四闪烁反射的光发射器的位置；以及
确定第三平面和第四平面的会聚区域，该会聚区域沿第二方向延伸。
示例101：上述示例中任一项的显示系统，其中所述处理电子器件被配置为：基于朝向用户的眼睛的角膜曲率中心的所述第一和第二方向来估计用户的眼睛的所述角膜曲率中心的位置。
示例102：根据以上示例中的任一项所述的显示系统，其中所述处理电子器件被配置为：
基于从第一位置的至少一个眼睛跟踪相机接收到的至少一个第一图像来确定估计用户的眼睛的角膜曲率中心沿其定位的所述第一方向；并且
基于从第二位置的至少一个眼睛跟踪相机接收到的至少一个第二图像来确定估计用户的眼睛的角膜曲率中心沿其定位的所述第二方向，所述第一和第二方向朝向区域会聚。
示例103：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：
基于第一和第二方向的会聚获得用户的眼睛的角膜曲率中心的估计。
示例104：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：通过识别所述第一和第二方向朝向用户的眼睛的角膜曲率中心的所述第一和第二方向的会聚区域，估计用户的眼睛的所述角膜曲率中心的位置。
示例105：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：基于针对不同眼睛姿势的用户的眼睛的角膜曲率中心的多个确定，获得用户的眼睛的旋转中心的估计。
示例106：根据上述示例中的任一项的显示系统，其中所述处理电子器件被配置为：确定与针对不同眼睛姿势的用户的眼睛的角膜曲率中心的估计对应的点轨迹。
示例107：根据示例106的显示系统，其中所述处理电子器件被配置为：基于与针对不同眼睛姿势的用户的眼睛的角膜曲率中心的估计对应的所述点轨迹，获得用户的眼睛的旋转中心的估计。
示例108：根据示例106或107的显示系统，其中所述处理电子器件被配置为：基于的述点轨迹来确定表面，并且获得用户的眼睛的旋转中心的估计。
示例109：根据示例106或107的显示系统，其中所述处理电子器件被配置为：基于所述点轨迹来确定表面，并且通过估计所述表面的曲率中心来获得用户的眼睛的旋转中心的估计。
示例110：根据示例106或107的显示系统，其中所述处理电子器件被配置为基于所述点轨迹来确定表面，并且通过确定所述表面的多个法线会聚的区域来获得用户的眼睛的旋转中心的估计。
示例111：根据示例108、109或110中任一项的显示系统，其中所述处理电子器件被配置为：将所述表面拟合到所述点轨迹以获得所述表面。
示例112：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：使用渲染相机渲染要呈现给用户的眼睛的虚拟图像，所述渲染相机具有由所述旋转中心确定的位置。
示例113：根据上述示例中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，从而以不同量的发散和准直中的至少一个将虚拟图像内容显示到用户的视场，以及因此所显示的虚拟图像内容在不同时间段看起来源于不同深度。
示例115：根据上述示例中任一项的显示系统，其中所述显示器被配置为：将光投射到所述用户的眼睛中以向用户的视场显示虚拟图像内容，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例116：根据上述示例中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，以以不同的发散量将虚拟图像内容显示到用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例117：根据上述示例中任一项的显示系统，其中所述显示器被配置为将光投射到发散的所述用户的眼睛中，并且将光投射到准直的所述用户的眼睛中，以向用户的视场显示看起来源自不同的深度的虚拟图像内容。
第III部分
示例1：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：
被配置为支撑在用户的头部上的框架；
设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以将虚拟图像内容显示到用户的视场；
被配置为对用户的眼睛进行成像的第一和第二眼睛跟踪相机；
多个光发射器；和
处理电子器件，该处理电子器件与显示器以及第一和第二眼睛跟踪相机通信，该处理电子器件被配置为：
接收由第一和第二眼睛跟踪相机捕获的用户的眼睛的图像，不同光发射器的闪烁反射在由第一和第二眼睛跟踪相机捕获到的眼睛的所述图像中可观察到；并且
基于闪烁反射在由所述第一和第二眼睛跟踪相机产生的所述图像中的位置，并且基于所述第一和第二眼睛跟踪相机的位置以及产生相应的闪烁反射的发射器的位置，估计眼睛的参数。
示例2：根据示例1的显示系统，其中所述处理电子器件被配置为通过以下操作来估计眼睛的参数：
基于闪烁反射在由所述第一眼睛跟踪相机产生的一个或多个图像中的位置、并且基于第一眼睛跟踪相机的位置和产生所述闪烁反射的发射器的位置，确定第一方向；并且
基于闪烁反射在由所述第二眼睛跟踪相机产生的一个或多个图像中的位置，并且基于第二眼睛跟踪相机的位置和产生所述闪烁反射的发射器的位置，确定第二方向。
示例3：根据示例2的显示系统，其中所述处理电子器件被配置为通过以下方式确定第一方向：
定义第一平面，第一平面包括第一眼睛跟踪相机、第一闪烁反射的位置、和与所述第一闪烁反射对应的光发射器的位置；
定义第二平面，第二平面包括第一眼睛跟踪相机、第二闪烁反射的位置、和与所述第二闪烁反射对应的光发射器的位置；
确定第一平面和第二平面的会聚区域，该会聚区域沿第一方向延伸。
示例4：根据示例3的显示系统，所述处理电子器件被配置为通过以下方式确定第二方向：
定义包括第三平面，该第三平面包括第二眼睛跟踪相机、第三闪烁反射的位置、以及对应于所述第三闪烁反射的光发射器的位置；
定义第四平面，该第四平面包括第二眼睛跟踪相机、第四闪烁反射的位置、以及对应于所述第四闪烁反射的光发射器的位置；
确定第三平面和第四平面的会聚区域，该会聚区域沿第二方向延伸。
示例5：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：基于所述第一方向和所述第二方向来估计用户的眼睛的参数。
示例6：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：
基于从第一眼睛跟踪相机接收到的至少一个第一图像来确定所述第一方向；并且
基于从第二眼睛跟踪相机接收的至少一个第二图像来确定所述第二方向，所述第一方向和所述第二方向朝向区域会聚。
示例7：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：
基于第一和第二方向的会聚获得所述参数的估计。
示例8：根据上述示例中的任一项的显示系统，其中所述处理电子器件被配置为：通过识别所述第一方向和所述第二方向的会聚区域来估计所述参数。
示例9：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：基于针对不同眼睛姿势的用户的眼睛的其它参数的多个确定，获得用户的眼睛的附加参数的估计。
示例10：根据上述示例中的任一项的显示系统，其中所述处理电子器件被配置为：确定与针对不同眼睛姿势的用户的眼睛的参数的估计对应的点轨迹。
示例11：根据示例10的显示系统，其中所述处理电子器件被配置为：基于与针对不同眼睛姿势的用户的眼睛的其它参数的估计对应的所述点轨迹，获得用户的眼睛的附加参数的估计。
示例12：根据示例10或11的显示系统，其中所述处理电子器件被配置为基于所述点轨迹确定表面并且获得用户的眼睛的所述附加参数的估计。
示例13：根据示例10或11的显示系统，其中所述处理电子器件被配置为：基于所述点轨迹确定表面并且通过估计所述表面的曲率中心来获得用户的眼睛的所述附加参数的估计。
示例14：根据示例10或11的显示系统，其中所述处理电子器件被配置为：基于所述点轨迹确定表面并通过确定所述表面的多个法线会聚的区域来获得用户的眼睛的所述附加参数的估计。
示例15：根据示例12、13或14中任一项的显示系统，其中所述处理电子器件被配置为：将所述表面拟合到所述点轨迹以获得所述表面。
示例16：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：使用渲染相机渲染要呈现给用户的眼睛的虚拟图像，所述渲染相机具有由所述附加参数确定的位置。
示例17：根据上述示例中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，从而以不同量的发散和准直中的至少一个向用户的视场显示虚拟图像内容，并且因此所显示的虚拟图像内容看起来源自不同深度。
示例18：一种显示系统，被配置为将光投射到用户的眼睛中以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：
被配置为支撑在用户的头部上的框架；
设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以将虚拟图像内容显示到用户的视场；
被配置为对用户的眼睛进行成像的第一和第二眼睛跟踪相机；
多个光发射器；和
处理电子器件，处理电子器件与显示器以及第一和第二眼睛跟踪相机通信，该处理电子器件被配置为：
接收由第一和第二眼睛跟踪相机捕获的用户的眼睛的图像、不同光发射器的闪烁反射在由第一和第二眼睛跟踪相机捕获到的眼睛的所述图像中可观察到；并且
基于闪烁反射在由所述第一和第二眼睛跟踪相机产生的所述图像中的位置，并且基于第一和第二眼睛跟踪相机的所述位置以及针对多个眼睛姿势产生所述闪烁反射的发射器的位置，估计用户的眼睛的第一参数的位置。
示例19：根据示例18的显示系统，其中为了获得对所述眼睛的第一参数的估计，处理电子器件被配置为：
基于针对多个眼睛姿势的多个闪烁反射来确定用户的眼睛的第二参数的多个估计；并且
基于针对所述多个眼睛姿势的用户的眼睛的第二参数的多个估计来确定用户的眼睛的第一参数的估计。
示例20：根据示例19的显示系统，其中为了确定用户的眼睛的第二参数的所述多个估计，处理电子器件被配置为：
基于所述多个发射器中的至少一部分和眼睛跟踪相机的第一相机的相应位置来确定第一方向；
基于所述多个发射器中的至少一部分和眼睛跟踪相机的第二相机的相应位置来确定第二方向；并且
基于所述第一和第二方向来确定用户的眼睛的第二参数的估计。
示例21：根据示例20的显示系统，其中所述处理电子器件被配置为通过以下方式确定所述第一方向：
定义第一平面，第一平面包括第一眼睛跟踪相机、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；
定义第二平面，该第二平面包括第一眼睛跟踪相机、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；
确定第一平面和第二平面的会聚区域，该会聚区域沿第一方向延伸。
示例22：根据示例21的显示系统，所述处理电子器件被配置为通过以下方式确定第二方向：
定义第三平面，该第三平面包括第二眼睛跟踪相机、第三闪烁反射的位置、以及对应于所述第三闪烁反射的光发射器；
定义第四平面，该第四平面包括第二眼睛跟踪相机、第四闪烁反射的位置、以及对应于所述第四闪烁反射的光发射器的位置；
确定第三平面和第四平面的会聚区域，该会聚区域沿第二方向延伸。
示例23：根据示例20至22中任一项的显示系统，其中为了确定用户的眼睛的第二参数的所述多个估计，处理电子器件被配置为：
确定第一方向和第二方向之间的会聚区域，以确定用户的眼睛的第二参数的估计。
示例24：根据示例19至23中任一项的显示系统，其中为了获得所述眼睛的所述第一参数的估计，处理电子器件被配置为：
生成与眼睛的第二参数的多个估计相关联的三维表面；并
基于三维表面来确定用户的眼睛的第一参数的估计。
示例25：根据示例24的显示系统，其中为了生成与眼睛的第二参数的多个估计相关联的三维表面，处理电子器件被配置为：将表面拟合到第二参数的多个估计。
示例26：根据示例24的显示系统，其中为了生成与第二参数的多个估计相关联的三维表面，处理电子器件被配置为：将球形表面拟合到第二参数的多个估计。
示例27：根据示例24至26中任一项的显示系统，其中为了确定用户的眼睛的所述第一参数的估计，处理电子器件被配置为：
确定三维表面的两个或更多个法线；并且
确定两个或更多个法线的会聚区域，
其中该会聚区域包括对用户的眼睛的第一参数的估计。
示例28：根据示例21至27中任一项的显示系统，其中用户的眼睛的一个或多个图像包括与用户的眼睛的不同注视向量相关联的一个或多个图像。
示例29：根据示例21至28中任一项的显示系统，其中处理电子器件被配置为使用注视目标。
示例30：根据示例18至29中任一项的显示系统，其中所述处理电子器件被配置为：使用渲染相机来渲染要呈现给用户的眼睛的虚拟图像，所述渲染相机具有由眼睛的第一参数所确定的位置。
示例31：根据示例18至30中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，以不同量的发散和准直中的至少一个向用户的视场显示虚拟图像内容，因此所显示的虚像内容看起来源于不同深度。
示例32：一种确定与眼睛相关联的一个或多个参数以在显示系统中渲染虚拟图像内容的方法，该显示系统被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜，所述角膜具有曲率中心，所述方法包括：
利用被配置为对用户的眼睛进行成像的多个眼睛跟踪相机和对于所述眼睛设置以在其上形成闪烁的多个光发射器，捕获用户的眼睛的多个图像，所述图像包括多个闪烁；并且
基于多个闪烁获得对所述眼睛的第一参数，其中，获得所述眼睛的第一参数包括：
基于多个闪烁来确定用户的眼睛的第二参数的多个估计；
根据第二参数的多个估计生成三维表面；并且
使用三维表面来确定用户的眼睛的第一参数的估计。
示例33：根据示例32的方法，其中确定用户的眼睛的第二参数的多个估计包括：
基于多个光发射器中的至少一部分的位置和多个眼睛跟踪相机中的第一相机的位置来确定第一向量；
基于多个光发射器中的至少一部分的位置和多个眼睛跟踪相机中的第二相机的位置来确定第二向量；以及
确定第一向量和第二向量之间的会聚区域以确定用户的眼睛的第二参数的估计。
示例34：根据示例33的方法，其中第一方向通过以下方式确定：
定义第一平面，该第一平面包括第一眼睛跟踪相机、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；
定义第二平面，该第二平面包括第一眼睛跟踪相机、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；以及
确定第一平面和第二平面的会聚区域，该会聚区域沿第一方向延伸。
示例35：根据示例33的方法，其中第二方向通过以下方式确定：
定义第三平面，该第三平面包括第二眼睛跟踪相机、第三闪烁反射的位置、以及对应于所述第三闪烁反射的光发射器的位置；
定义第四平面，该第四平面包括第二眼睛跟踪相机、第四闪烁反射的位置、以及对应于所述第四闪烁反射的光发射器的位置；
确定第三平面和第四平面的会聚区域，该会聚区域沿第二方向延伸。
示例36：根据示例32至35中任一项的方法，其中根据第二参数的多个估计生成三维表面包括：将表面拟合到第二参数的多个估计。
示例37：根据示例32至35中任一项的方法，其中根据第二参数的多个估计生成三维表面包括：将球体拟合到第二参数的多个估计。
示例38：根据示例32至37中任一项的方法，其中确定用户的眼睛的第一参数的估计包括：
确定正交于三维表面的两个或更多个向量；以及
确定正交于三维表面的两个或更多个向量的会聚区域，其中会聚区域包括对用户的眼睛的第一参数的估计。
示例39：根据示例32至38中任一项的方法，其中用户的眼睛的多个图像包括与用户的眼睛的不同注视方向相关联的图像。
示例40：根据示例32至39中任一项的方法，还包括使用注视目标。
示例41：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：
被配置为支撑在用户的头部上的框架；
设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以显示虚拟图像内容；
被配置为对用户的眼睛进行成像的第一和第二眼睛跟踪相机；
与显示器、第一和第二眼睛跟踪相机通信的处理电子器件，该处理电子器件被配置为：
从第一和第二眼睛跟踪相机接收用户的眼睛的多个捕获图像对；
对于分别从第一和第二眼睛跟踪相机所接收的图像对，至少部分地基于相应的捕获图像对来获得用户的眼睛的第二参数的估计；
基于基于从相应的第一和第二眼睛跟踪相机所接收的用户的眼睛的多个捕获图像对而获得对用户的眼睛的估计第二参数来确定三维表面；并
识别3D表面的曲率中心，以获得用户的眼睛的第一参数的估计。
示例42：根据示例41的显示系统，其中所述处理电子器件被配置为：将三维表面拟合到基于从相应的第一和第二眼睛跟踪相机接收到的用户的眼睛的多个捕获图像对而获得的用户的眼睛的估计第二参数。
示例43：根据示例41或42的显示系统，其中为了至少部分地基于相应的捕获图像对来获得用户的眼睛的第二参数的估计，处理电子器件被配置为：
基于从第一眼睛跟踪相机接收的第一图像，确定第一向量；
基于从第二眼睛跟踪相机接收的第二图像，确定第二向量，第一和第二图像对应于所述图像对中的一个；并
识别在第一向量和第二向量的方向上延伸的路径之间的会聚区域，以获得用户的眼睛的第二参数的估计。
示例44：根据示例43的显示系统，还包括：
多个光发射器，被配置为照亮用户的眼睛以在其上形成闪烁反射，
其中为了基于捕获图像对中的第一图像来确定第一向量，所述处理电子器件被配置为：
定义第一平面，该第一平面包括第一眼睛跟踪相机、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；
定义第二平面，该第二平面包括第一眼睛跟踪相机、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；并且
识别第一平面和第二平面的会聚区域，该会聚区域沿着第一向量的方向延伸。
示例45：根据示例44的显示系统，其中为了基于每捕获图像对中的第二图像确定第二向量，处理电子器件被配置为：
定义第三平面，该第三平面包括第二眼睛跟踪相机、第三闪烁反射的位置、和对应于所述第三闪烁反射的光发射器的位置；
定义第四平面，该第四平面包括第二眼睛跟踪相机、第四闪烁反射的位置、和对应于所述第四闪烁反射的光发射器的位置；以及
确定第三平面和第四平面的会聚区域，该会聚区域沿着第二向量的方向延伸。
示例46：根据示例41至45中任一项的显示系统，其中所述处理电子器件被配置为：使用渲染相机来渲染要呈现给用户的眼睛的虚拟图像，所述渲染相机具有由所述第一参数确定的位置。
示例47：根据示例41至46中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，从而以不同的发散量向用户的视场显示虚拟图像内容，以使得所显示的虚像内容看起来源于不同深度，或者其中所述显示器被配置为将光投射到发散的所述用户的眼睛中，并且将光投射到准直的所述用户的眼睛中，以向用户的视场显示看起来源自不同的深度的虚拟图像内容。
示例48：根据上述示例中任一项的显示系统，其中所述显示器的至少一部分是透明的并且当用户佩戴所述头戴式显示器时被设置在用户的眼睛前方的位置处，使得所述透明部分将来自用户的前面的环境的一部分和所述头戴式显示器的光传输到用户的眼睛，以提供用户的前面的环境的所述部分和所述头戴式显示器的视图。
示例49：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：
被配置为支撑在用户的头部上的框架；
设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以将虚拟图像内容显示到用户的视场；
被配置为对用户的眼睛进行成像的眼睛跟踪相机；
多个光发射器；和
处理电子器件，该处理电子器件与显示器以及眼睛跟踪相机通信，该处理电子器件被配置为：
接收由眼睛跟踪相机所捕获的用户的眼睛的图像、不同光发射器的闪烁反射在由眼睛跟踪相机所捕获的眼睛的所述图像中可观察到；并且
基于闪烁反射在由所述眼睛跟踪相机所产生的所述图像中的位置、并基于眼睛跟踪相机的位置以及产生相应的闪烁反射的发射器的位置，估计用户的眼睛的参数的位置。
示例50：根据示例49的显示系统，其中所述处理电子器件被配置为：
基于闪烁反射在由所述眼睛跟踪相机产生的一个或多个图像中的位置、并且基于眼睛跟踪相机的位置以及产生所述闪烁反射的发射器的位置，确定第一方向；并且
基于闪烁反射在由所述眼睛跟踪相机产生的一个或多个图像中的位置，并且基于眼睛跟踪相机的位置以及产生所述闪烁反射的发射器的位置，确定第二方向。
示例51：根据示例50的显示系统，其中，所述处理电子器件被配置为通过以下方式确定第一方向：
定义第一平面，该第一平面包括眼睛跟踪相机的位置、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；
定义第二平面，该第二平面包括眼睛跟踪相机的位置、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；以及
确定第一平面和第二平面的会聚区域，该会聚区域沿第一方向延伸。
示例52：根据示例51的显示系统，所述处理电子器件被配置为通过以下方式确定第二方向：
定义第三平面，该第三平面包括眼睛跟踪相机的位置、第三闪烁反射的位置、和对应于所述第三闪烁反射的光发射器的位置；
定义第四平面，该第四平面包括眼睛跟踪相机的位置、第四闪烁反射的位置、和对应于所述第四闪烁反射的光发射器的位置；以及
确定第三平面和第四平面的会聚区域，该会聚区域沿第二方向延伸。
示例53：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：基于所述第一和第二方向来估计用户的眼睛的所述参数的位置。
示例54：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：
基于从位置的眼睛跟踪相机接收到的至少一个第一图像来确定所述第一方向；并且
基于从位置的眼睛跟踪相机接收到的至少一个第二图像来确定所述第二方向，所述第一和第二方向朝向区域会聚。
示例55：根据以上示例中任一项的显示系统，其中所述处理电子器件被配置为：
基于第一和第二方向的会聚获得用户的眼睛的所述参数的估计。
示例56：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：通过识别所述第一和第二方向的会聚区域，估计用户的眼睛的所述参数。
示例57：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：基于针对不同眼睛姿势的用户的眼睛的参数的多个确定，获得附加参数的估计。
示例58：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：确定与针对不同眼睛姿势的用户的眼睛的参数的估计对应的点轨迹。
示例59：根据示例58的显示系统，其中所述处理电子器件被配置为：基于与针对不同眼睛姿势的用户的眼睛的其它参数的估计对应的所述点轨迹，获得用户的眼睛的附加参数的估计。
示例60：根据示例58或59的显示系统，其中所述处理电子器件被配置为：基于的述点轨迹来确定表面，并且获得用户的眼睛的附加参数的估计。
示例61：根据示例58或59的显示系统，其中所述处理电子器件被配置为：基于所述点轨迹来确定表面，并且通过估计所述表面的曲率中心来获得用户的眼睛的附加参数的估计。
示例62：根据示例58或59的显示系统，其中所述处理电子器件被配置为基于所述点轨迹来确定表面，并且通过确定所述表面的多个法线会聚的区域来获得用户的眼睛的附加参数的估计。
示例63：根据示例60、61或62中任一项的显示系统，其中所述处理电子器件被配置为：将所述表面拟合到所述点轨迹以获得所述表面。
示例64：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：使用渲染相机渲染要呈现给用户的眼睛的虚拟图像，所述渲染相机具有由所述附加参数确定的位置。
示例65：根据上述示例中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，从而以不同的发散量向用户的视场显示虚拟图像内容，以使得所显示的虚像内容看起来源于不同深度，或者其中所述显示器被配置为将光投射到发散的所述用户的眼睛中，并且将光投射到准直的所述用户的眼睛中，以向用户的视场显示看起来源自不同的深度的虚拟图像内容。
示例66：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：
被配置为支撑在用户的头部上的框架；
设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以将虚拟图像内容显示到用户的视场；
被配置为对用户的眼睛进行成像的眼睛跟踪相机；
多个光发射器；和
处理电子器件，该处理电子器件与显示器以及眼睛跟踪相机通信，该处理电子器件被配置为：
接收由眼睛跟踪相机所捕获的用户的眼睛的图像、不同光发射器的闪烁反射在由眼睛跟踪相机捕获到的眼睛的所述图像中可观察到；并且
基于闪烁反射在由所述眼睛跟踪相机产生的所述图像中的位置、并且基于眼睛跟踪相机的所述位置以及针对多个眼睛姿势而产生所述闪烁反射的发射器的位置，估计用户的眼睛的第一参数的位置。
示例67：根据示例66的系统，其中为了获得对所述眼睛的第一参数的估计，处理电子器件被配置为：
基于针对多个眼睛姿势的多个闪烁反射来确定用户的眼睛的第二参数的多个估计；并且
基于针对所述多个眼睛姿势的用户的眼睛的第二参数的多个估计来确定用户的眼睛的第一参数的估计。
示例68：根据示例67的系统，其中为了确定用户的眼睛的第二参数的所述多个估计，处理电子器件被配置为：
至少基于所述多个发射器中的一部分的相应位置和眼睛跟踪相机的位置来确定第一方向；
至少基于所述多个发射器中的至少一部分的相应位置和眼睛跟踪相机的位置来确定朝向角膜曲率中心的第二方向；并且
基于所述第一和第二方向确定用户的眼睛的角膜曲率中心的估计。
示例69：根据示例68的显示系统，其中所述处理电子器件被配置为通过以下方式确定所述第一方向：
定义第一平面，第一平面包括眼睛跟踪相机的位置、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；
定义第二平面，该第二平面包括眼睛跟踪相机的位置、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；
确定第一平面和第二平面的会聚区域，该会聚区域沿第一方向延伸。
示例70：根据示例69的显示系统，所述处理电子器件被配置为通过以下方式确定第二方向：
定义第三平面，该第三平面包括眼睛跟踪相机的位置、第三闪烁反射的位置、以及对应于所述第三闪烁反射的光发射器；
定义第四平面，该第四平面包括眼睛跟踪相机的位置、第四闪烁反射的位置、以及对应于所述第四闪烁反射的光发射器的位置；
确定第三平面和第四平面的会聚区域，该会聚区域沿第二方向延伸。
示例71：根据示例68至70中任一项的系统，其中为了确定用户的眼睛的第二参数的所述多个估计，处理电子器件被配置为：
确定第一方向和第二方向之间的会聚区域，以确定用户的眼睛的第二参数的估计。
示例72：根据示例19至71中任一项的系统，其中为了获得所述眼睛的第一参数的估计，处理电子器件被配置为：
生成与第二参数的多个估计相关联的三维表面；并
基于三维表面来确定用户的眼睛的第一参数的估计。
示例73：根据示例72的系统，其中为了生成与第二参数的多个估计相关联的三维表面，处理电子器件被配置为：将表面拟合到第一参数的多个估计。
示例74：根据示例73的系统，其中为了生成与第二参数的多个估计相关联的三维表面，处理电子器件被配置为：将球体拟合到第二参数的多个估计。
示例75：根据示例72至74中任一项的系统，其中为了确定用户的眼睛的第一参数的估计，处理电子器件被配置为：
确定三维表面的两个或更多个法线；并且
确定两个或更多个法线的会聚区域，
其中该会聚区域包括对用户的眼睛的第一参数的估计。
示例76：根据示例69至75中任一项的系统，其中用户的眼睛的一个或多个图像包括与用户的眼睛的不同注视向量相关联的一个或多个图像。
示例77：根据示例69至76中任一项的系统，其中处理电子器件被配置为使用注视目标。
示例78：根据示例66至77中任一项的显示系统，其中所述处理电子器件被配置为：使用渲染相机来渲染要呈现给用户的眼睛的虚拟图像，所述渲染相机具有由所述第一参数确定的位置。
示例79：根据示例66至78中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，从而以不同的发散量向用户的视场显示虚拟图像内容，以使得所显示的虚像内容看起来源于不同深度，或者其中所述显示器被配置为将光投射到发散的所述用户的眼睛中，并且将光投射到准直的所述用户的眼睛中，以向用户的视场显示看起来源自不同的深度的虚拟图像内容。
示例80：一种确定与眼睛相关联的一个或多个参数以在显示系统中渲染虚拟图像内容的方法，该显示系统被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜，所述角膜具有曲率中心，所述方法包括：
利用被配置为对用户的眼睛进行成像的眼睛跟踪相机和对于所述眼睛设置以在其上形成闪烁的多个光发射器，捕获用户的眼睛的多个图像，所述图像包括多个闪烁；并且
基于多个闪烁获得对所述眼睛的第一参数的估计，其中，获得所述眼睛的第一参数的估计包括：
基于多个闪烁来确定用户的眼睛的第二参数的多个估计；
根据第二参数的多个估计生成三维表面；并且
使用三维表面来确定用户的眼睛的第一参数的估计。
示例81：根据示例80的方法，其中确定用户的眼睛的第二参数的多个估计包括：
基于多个光发射器中的至少一部分的位置和眼睛跟踪相机的位置来确定第一向量；
基于多个光发射器中的至少一部分的位置和眼睛跟踪相机的位置来确定第二向量；以及
确定第一向量和第二向量之间的会聚区域以确定用户的眼睛的第二参数的估计。
示例82：根据示例81的方法，其中第一方向通过以下方式确定：
定义第一平面，该第一平面包括眼睛跟踪相机的位置、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；
定义第二平面，该第二平面包括眼睛跟踪相机的位置、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；以及
确定第一平面和第二平面的会聚区域，该会聚区域沿第一方向延伸。
示例83：根据示例82的方法，其中第二方向通过以下方式确定：
定义第三平面，该第三平面包括眼睛跟踪相机的位置、第三闪烁反射的位置、以及对应于所述第三闪烁反射的光发射器的位置；
定义第四平面，该第四平面包括眼睛跟踪相机的位置、第四闪烁反射的位置、以及对应于所述第四闪烁反射的光发射器的位置；
确定第三平面和第四平面的会聚区域，该会聚区域沿第二方向延伸。
示例84：根据示例81至83中任一项的方法，其中根据第二参数的多个估计生成三维表面包括：将表面拟合到第一参数的多个估计。
示例85：根据示例81至83中任一项的方法，其中根据第二参数的多个估计生成三维表面包括：将球体拟合到第二参数的多个估计。
示例86：根据示例81至85中任一项的方法，其中确定用户的眼睛的第一参数的估计包括：
确定正交于三维表面的两个或更多个向量；以及
确定正交于三维表面的两个或更多个向量的会聚区域，其中会聚区域包括对用户的眼睛的第一参数的估计。
示例87：根据示例81至86中任一项的方法，其中用户的眼睛的多个图像包括与用户的眼睛的不同注视方向相关联的图像。
示例88：根据示例81至87中任一项的方法，还使用注视目标。
示例89：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：
被配置为支撑在用户的头部上的框架；
设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以显示虚拟图像内容；
被配置为对用户的眼睛进行成像的眼睛跟踪相机；
与显示器、眼睛跟踪相机通信的处理电子器件，该处理电子器件被配置为：
从眼睛跟踪相机接收用户的眼睛的多个捕获图像对；对于分别从眼睛跟踪相机所接收的图像对，至少部分地基于相应的捕获图像对来获得用户的眼睛的参数的估计；
基于基于从眼睛跟踪相机所接收的用户的眼睛的多个捕获图像对而获得对用户的眼睛的估计参数来确定三维表面；并
识别3D表面的曲率中心，以获得用户的眼睛的附加参数的估计。
示例90：根据示例89的显示系统，其中所述处理电子器件被配置为：将三维表面拟合到基于从眼睛跟踪相机接收到的用户的眼睛的多个捕获图像对而获得的用户的眼睛的估计参数。
示例91：根据示例89或90的显示系统，其中为了至少部分地基于相应的捕获图像对来获得用户的眼睛的参数的估计，处理电子器件被配置为：
基于从位置的眼睛跟踪相机接收的第一图像，确定第一向量；
基于从眼睛跟踪相机接收的第二图像，确定第二向量，第一和第二图像对应于所述图像对中的一个；并
识别在第一向量和第二向量的方向上延伸的路径之间的会聚区域，以获得用户的眼睛的参数的估计。
示例92：根据示例91的显示系统，还包括：
多个光发射器，被配置为照亮用户的眼睛以在其上形成闪烁反射，
其中为了基于捕获图像对中的第一图像来确定第一向量，所述处理电子器件被配置为：
定义第一平面，该第一平面包括眼睛跟踪相机的位置、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；
定义第二平面，该第二平面包括眼睛跟踪相机的位置、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；并且
识别第一平面和第二平面的会聚区域，该会聚区域沿着第一向量的方向延伸。
示例93：根据示例92的显示系统，其中为了基于每捕获图像对中的第二图像确定第二向量，处理电子器件被配置为：
定义第三平面，该第三平面包括眼睛跟踪相机的位置、第三闪烁反射的位置、和对应于所述第三闪烁反射的光发射器的位置；
定义第四平面，该第四平面包括眼睛跟踪相机的位置、第四闪烁反射的位置、和对应于所述第四闪烁反射的光发射器的位置；以及
确定第三平面和第四平面的会聚区域，该会聚区域沿着第二向量的方向延伸。
示例94：根据示例89至93中任一项的显示系统，其中所述处理电子器件被配置为：使用渲染相机来渲染要呈现给用户的眼睛的虚拟图像，所述渲染相机具有由所述附加参数确定的位置。
示例95：根据示例89至94中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，从而以不同的发散量向用户的视场显示虚拟图像内容，以使得所显示的虚像内容看起来源于不同深度，或者其中所述显示器被配置为将光投射到发散的所述用户的眼睛中，并且将光投射到准直的所述用户的眼睛中，以向用户的视场显示看起来源自不同的深度的虚拟图像内容。
示例96：根据上述示例中任一项的显示系统，其中所述显示器的至少一部分是透明的并且当用户佩戴所述头戴式显示器时被设置在用户的眼睛前方的位置处，使得所述透明部分将来自用户的前面的环境的一部分和所述头戴式显示器的光传输到用户的眼睛，以提供用户的前面的环境的所述部分和所述头戴式显示器的视图。
示例97：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：
被配置为支撑在用户的头部上的框架；
设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以将虚拟图像内容显示到用户的视场；
被配置为对用户的眼睛进行成像的至少一个眼睛跟踪相机；
多个光发射器；和
处理电子器件，该处理电子器件与显示器以及眼睛跟踪相机通信，该处理电子器件被配置为：
接收由至少一个眼睛跟踪相机在第一和第二位置所捕获的用户的眼睛的图像、不同光发射器的闪烁反射在由眼睛跟踪相机所捕获的眼睛的所述图像中可观察到；并且
基于闪烁反射在由所述至少一个眼睛跟踪相机所产生的所述图像中的位置、并基于至少一个眼睛跟踪相机的位置以及产生相应的闪烁反射的发射器的位置，估计用户的眼睛的参数的位置。
示例98：根据示例97的显示系统，其中所述处理电子器件被配置为：
基于闪烁反射在由所述至少一个眼睛跟踪相机产生的一个或多个图像中的位置、并且基于至少一个眼睛跟踪相机的第一位置以及产生所述闪烁反射的发射器的位置，确定第一方向；并且
基于闪烁反射在由所述至少一个眼睛跟踪相机产生的一个或多个图像中的位置，并且基于至少一个眼睛跟踪相机的第二位置以及产生所述闪烁反射的发射器的位置，确定第二方向。
示例99：根据示例98的显示系统，所述处理电子器件被配置为通过以下方式确定第一方向：
定义第一平面，该第一平面包括至少一个眼睛跟踪相机的第一位置、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；
定义第二平面，该第二平面包括至少一个眼睛跟踪相机的第一位置、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；以及
确定第一平面和第二平面的会聚区域，该会聚区域沿第一方向延伸。
示例100：根据示例99的显示系统，所述处理电子器件被配置为通过以下方式确定第二方向：
定义第三平面，该第三平面包括至少一个眼睛跟踪相机的第二位置、第三闪烁反射的位置、和对应于所述第三闪烁反射的光发射器的位置；
定义第四平面，该第四平面包括至少一个眼睛跟踪相机的第二位置、第四闪烁反射的位置、和对应于所述第四闪烁反射的光发射器的位置；以及
确定第三平面和第四平面的会聚区域，该会聚区域沿第二方向延伸。
示例101：上述示例中任一项的显示系统，其中所述处理电子器件被配置为：基于所述第一和第二方向来估计用户的眼睛的所述参数的位置。
示例102：根据以上示例中的任一项所述的显示系统，其中所述处理电子器件被配置为：
基于从第一位置的至少一个眼睛跟踪相机接收到的至少一个第一图像来确定所述第一方向；并且
基于从第二位置的至少一个眼睛跟踪相机接收到的至少一个第二图像来确定所述第二方向，所述第一和第二方向朝向区域会聚。
示例103：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：
基于第一和第二方向的会聚获得所述参数的估计。
示例104：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：通过识别所述第一和第二方向的会聚区域，估计用户的眼睛的所述参数。
示例105：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：基于针对不同眼睛姿势的用户的眼睛的其它参数的多个确定，获得用户的眼睛的附加参数的估计。
示例106：根据上述示例中的任一项的显示系统，其中所述处理电子器件被配置为：确定与针对不同眼睛姿势的用户的眼睛的参数的估计对应的点轨迹。
示例107：根据示例106的显示系统，其中所述处理电子器件被配置为：基于与针对不同眼睛姿势的用户的眼睛的其它参数的估计对应的所述点轨迹，获得用户的眼睛的附加参数的估计。
示例108：根据示例106或107的显示系统，其中所述处理电子器件被配置为：基于的述点轨迹来确定表面，并且获得用户的眼睛的所述参数的估计。
示例109：根据示例106或107的显示系统，其中所述处理电子器件被配置为：基于所述点轨迹来确定表面，并且通过估计所述表面的曲率中心来获得用户的眼睛的附加参数的估计。
示例110：根据示例106或107的显示系统，其中所述处理电子器件被配置为基于所述点轨迹来确定表面，并且通过确定所述表面的多个法线会聚的区域来获得用户的眼睛的所述参数的估计。
示例111：根据示例108、109或110中任一项的显示系统，其中所述处理电子器件被配置为：将所述表面拟合到所述点轨迹以获得所述表面。
示例112：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：使用渲染相机渲染要呈现给用户的眼睛的虚拟图像，所述渲染相机具有由所述附加参数确定的位置。
示例113：根据上述示例中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，从而以不同量的发散和准直中的至少一个将虚拟图像内容显示到用户的视场，以及因此所显示的虚拟图像内容在不同时间段看起来源于不同深度。
示例115：根据上述示例中任一项的显示系统，其中所述显示器被配置为：将光投射到所述用户的眼睛中以向用户的视场显示虚拟图像内容，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例116：根据上述示例中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，以以不同的发散量将虚拟图像内容显示到用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例117：根据上述示例中任一项的显示系统，其中所述显示器被配置为将光投射到发散的所述用户的眼睛中，并且将光投射到准直的所述用户的眼睛中，以向用户的视场显示看起来源自不同的深度的虚拟图像内容。
示例118：根据上述示例中任一项的显示系统，其中所述显示器的至少一部分是透明的并且当用户佩戴所述头戴式显示器时被设置在用户的眼睛前方的位置处，使得所述透明部分将来自用户的前面的环境的一部分和所述头戴式显示器的光传输到用户的眼睛，以提供用户的前面的环境的所述部分和所述头戴式显示器的视图。
示例119：根据上述示例中任一项的显示系统，其中所述第一参数包括眼睛的旋转中心。
示例120：根据上述示例中任一项的显示系统，其中所述第二参数包括角膜曲率中心。
示例121：根据上述示例中任一项的显示系统，其中所述参数包括角膜曲率中心。
示例122：根据上述示例中任一项的显示系统，其中所述附加参数包括眼睛的旋转中心。
可以组合任何上述示例。此外，任何上述示例都可以与头戴式显示器集成。此外，任何上述示例都可以利用单个深度平面和/或诸如一个或多个可变深度平面的一个或深度平面(例如，一个或多个具有可变聚焦能力的元件，其提供随时间变化的调节提示)来实施。
此外，本文公开了用于确定各种值、参数等的装置和方法，例如但不限于解剖学、光学和几何特征、位置和取向等。此类参数的示例包括例如眼睛的旋转中心、角膜的曲率中心、瞳孔的中心、瞳孔的边界、虹膜的中心、虹膜的边界、角膜缘的边界、眼睛的光轴、眼睛的视轴、视角中心，但不限于这些。此外，在一些实施方式中，角膜曲率中心或角膜中心是指角膜的一部分的曲率中心或与角膜表面的一部分重合的球体表面的曲率中心。例如，在一些实施方式中，角膜曲率中心或角膜中心是指角膜顶端的曲率中心或与角膜顶端表面的一部分重合的球体的曲率中心。此外，如本文所述，这些值、参数等的确定包括其估计并且不必与实际值精确一致。例如，确定眼睛的旋转中心、角膜的曲率中心、瞳孔或虹膜的中心或边界、角膜缘的边界、眼睛的光轴、眼睛的视轴、视角中心等可以是估计值、近似值、或接近但不等于实际(例如，解剖学、光学或几何)值或参数的值。在某些情况下，例如，使用均方根估计技术来获得这些值的估计。作为示例，本文描述的某些技术涉及识别射线或向量相交的位置或点。然而，这样的射线或向量可能不会相交。在该示例中，可以估计位置或点。例如，位置或点可以基于均方根或其他估计技术来确定(例如，位置或点可以被估计为接近或最接近射线或向量)。其他过程也可用于估计、近似或以其他方式提供可能与实际值不一致的值。因此，术语“确定”和“估计”或“所确定”和“所估计”在本文中可互换使用。因此，对此类确定值的引用可能包括估计值、近似值、或接近实际值的值。因此，对确定以上或本文其他地方的参数或值的引用不应精确地限于实际值，而是可以包括估计值、近似值或与其接近的值。
本说明书中描述的主题的一个或多个实施方式的细节在附图和以下描述中阐述。根据说明书、附图和权利要求书，其他特征、方面和优点将变得显而易见。该概述或以下详细描述均不旨在限定或限制本发明主题的范围。
附图说明
图1描绘了具有某些虚拟现实对象以及由人观看的某些物理对象的混合现实场景的图示。
图2示意性地示出了可穿戴系统的示例。
图3示意性地示出了可穿戴系统的示例部件。
图4示意性地示出了用于向用户输出图像信息的可穿戴设备的波导堆叠的示例。
图5示意性地示出了眼睛的示例。
图5A示意性地示出了用于确定眼睛的眼睛姿势的示例坐标系。
图6是包括眼睛跟踪系统的可穿戴系统的示意图。
图7A是可包括眼睛跟踪系统的可穿戴系统的框图。
图7B是可穿戴系统中的渲染控制器的框图。
图8示出了包括眼睛的光轴和视轴以及眼睛的旋转中心的眼睛的示例。
图9A至图9E示出了用于捕获眼睛图像数据以供眼睛跟踪模块使用的可穿戴系统的示例配置的视图。
图10示出了可以由眼睛跟踪模块执行的示例旋转中心(CoR)确定过程的图形说明。
图11示出了眼睛跟踪模块用于确定估计的旋转中心而使用的任何眼睛上的闪烁的示例图像。
图12A至图12D示出了第一平面的示例确定中的步骤，该第一平面包括产生第一闪烁的照明源、捕获闪烁的图像的相机和第一闪烁的位置。
图13A至图13D示出了第二平面的示例确定中的步骤，该第二平面包括产生第二闪烁的照明源、相机和第二闪烁的位置。
图14A至图14C示出了图12A至图12D的第一平面与图13A至图13D的第二平面之间相交，该相交对应于角膜中心可能位于的向量。
图15A至图15B示出了使用多个相机获得的角膜中心可能位于的多个向量。这些向量可以在对应于或接近角膜中心的位置处会聚或相交。
图16A至图16C示出了使用多个相机之间的共享照明源的角膜中心可能位于的向量的示例确定中的示例步骤。
图17A至图17B示出了基于所计算的角膜中心对3D表面的估计。
图18A和图18B示出了在与基于角膜中心所计算的3D表面正交的多个表面法线向量的会聚处的旋转中心的示例估计。
图19A-1和图19A-2示出了拟合到所选的估计的角膜中心的示例表面。
图19B-1和图19B-2示出了可以与拟合到估计的角膜中心的表面正交的示例表面法线向量。
图19C-1和图19C-2示出了基于表面法线向量的相交点所估计的CoR区域。
图19D-1和图19D-2示出了拟合到另一个选择的角膜中心的示例表面。
图20示出了可以由眼睛跟踪模块实现的示例旋转中心提取过程。
图21示出了可以使用用于使用角膜曲率中心来确定估计的旋转中心的图20的过程的示例眼睛跟踪过程。
在所有附图中，参考标号可被重复使用以指示参考元件之间的对应关系。提供附图是为了说明本文描述的示例实施例，而无意于限制本公开的范围。
具体实施方式
现在将参考附图，在附图中，相同的附图标记始终指代相同的部分。除非另有说明，否则附图是示意性的，不一定按比例绘制。
A.可穿戴系统的3D显示的示例
可穿戴系统(在本文中也称为增强现实(AR)系统)可被配置为向用户呈现2D或3D虚拟图像。图像可以是静止图像、视频的帧、或视频、或组合等。可穿戴系统的至少一部分可以被实现在可穿戴设备上，该可穿戴设备可以单独或组合地为用户交互来呈现VR、AR或MR环境。可穿戴设备可以互换地用作AR设备(ARD)。此外，出于本公开的目的，术语“AR”与术语“MR”可互换使用。
图1描绘了具有某些虚拟现实对象以及由人观看的某些物理对象的混合现实场景的图示。在图1中，描绘了MR场景100，其中，MR技术的用户看到现实世界的公园状的设置110，其特征在于背景中的人、树、建筑物、以及混凝土平台120。除了这些项目之外，MR技术的用户还感知到他“看到”了站在现实世界平台120上的机器人雕像130，以及飞行的卡通状的化身角色140，似乎是大黄蜂的化身，即使这些元素在现实世界中不存在。
为了使3D显示器产生真实的深度感，更具体地说，产生表面深度的模拟感，可能希望显示器的视场中的每个点都生成与其虚拟深度相对应的调节响应。如果对显示点的调节响应不符合该点的虚拟深度(如由双目深度会聚提示和立体视觉确定)，则人眼可能会遇到适应冲突，从而导致成像不稳定、有害的眼睛疲劳、头痛、以及缺乏适应信息的情况下几乎完全缺乏表面深度(surface depth)。
可以通过具有显示器的显示系统来提供VR、AR和MR体验，在该显示器中，将与多个深度平面相对应的图像提供给观看者。图像对于每个深度平面可能是不同的(例如，提供场景或对象的稍有不同的呈现)，并且可能会被观看者的眼睛分别聚焦，从而有助于基于眼睛所需的适应向用户提供深度提示，为位于不同深度平面上的场景或基于观察不同深度平面上的不同图像特征失焦而聚焦不同图像特征。如本文其他地方所讨论的，这样的深度提示提供了对深度的可信感知。
图2示出了可被配置为提供AR/VR/MR场景的可穿戴系统200的示例。可穿戴系统200也可以称为AR系统200。可穿戴系统200包括显示器220以及支持显示器220的功能的各种机械和电子模块和系统。显示器220可以耦合到可由用户、穿戴者或观看者210穿戴的框架230。显示器220可以位于用户210的眼睛的前面。显示器220可以向用户呈现AR/VR/MR内容。显示器220可以包括佩戴在用户的头部上的头戴式显示器(HMD)。
在一些实施例中，扬声器240耦合到框架230并且邻近用户的耳道定位(在一些实施例中，未示出的另一个扬声器可以邻近用户的另一耳道定位，以提供立体声/可塑造声音控制)。显示器220可以包括用于检测来自环境的音频流并捕获环境声音的音频传感器(例如，麦克风)232。在一些实施例中，未示出的一个或多个其他音频传感器被定位为提供立体声接收。立体声接收可以用来确定声源的位置。可穿戴系统200可以对音频流执行声音或语音识别。
可穿戴系统200可以包括面向外部的成像系统464(图4所示)，该成像系统464观察用户周围的环境中的世界。可穿戴系统200还可以包括可用于跟踪用户的眼睛移动的面向内部的成像系统462(图4所示)。面向内部的成像系统可以跟踪一只眼睛的移动或两只眼睛的移动。面向内部的成像系统462可以附接到框架230，并且可以与处理模块260或270电连通，处理模块260或270可以处理由面向内部的成像系统获取的图像信息以确定例如用户210的眼睛的瞳孔直径或定向、眼睛移动或眼睛姿势。面向内部的成像系统462可以包括一个或多个相机。例如，至少一个相机可以用于对每只眼睛成像。相机获取的图像可以用于分别确定每只眼睛的瞳孔大小或眼睛姿势，从而允许将图像信息呈现给每只眼睛以动态地适应该只眼睛。
作为示例，可穿戴系统200可以使用面向外部的成像系统464或面向内部的成像系统462来获取用户的姿势的图像。图像可以是静止图像、视频的帧、或视频。
显示器220可以例如通过有线引线或无线连接250可操作地耦合到本地数据处理模块260，该本地数据处理模块260可以以各种配置安装，例如，固定地附接到框架230、固定地附接到用户穿戴的头盔或帽子上、嵌入耳机中、或以其他方式可拆卸地附接到用户210(例如，以背包式配置、皮带耦合式配置)。
本地处理和数据模块260可以包括硬件处理器以及数字存储器(例如，非易失性存储器(例如，闪存))，两者均可以用于协助处理、缓存和存储数据。数据可以包括：a)从传感器(其可以例如可操作地耦合到框架230或以其他方式附接到用户210)捕获的数据，例如图像捕获设备(例如，面向内部的成像系统或面向外部的成像系统中的相机)、音频传感器(例如，麦克风)、惯性测量单元(IMU)、加速度计、指南针、全球定位系统(GPS)单元、无线电设备或陀螺仪；或b)使用远程处理模块270或远程数据存储库280获取或处理的数据，可能在这样的处理或检索之后传递给显示器220。本地处理和数据模块260可以通过通信链路262或264(例如，经由有线或无线通信链路)可操作地耦合到远程处理模块270或远程数据存储库280，使得这些远程模块可用作本地处理和数据模块260的资源。此外，远程处理模块280和远程数据存储库280可以可操作地彼此耦合。
在一些实施例中，远程处理模块270可以包括被配置为分析和处理数据或图像信息的一个或多个处理器。在一些实施例中，远程数据存储库280可以是数字数据存储设施，其可以通过互联网或“云”资源配置中的其他网络配置来使用。在一些实施例中，所有数据被存储并且所有计算在本地处理和数据模块中执行，从而允许来自远程模块的完全自主的使用。
B.可穿戴系统的示例组件
图3示意性地示出了可穿戴系统的示例组件。图3示出了可穿戴系统200，其可包括显示器220和框架230。分解图202示意性地示出了可穿戴系统200的各个组件。在某些实施方式中，图3所示的组件中的一个或多个可以是显示器220的一部分。单独或组合的各种组件可以收集与可穿戴系统200的用户或用户的环境相关联的各种数据(例如，音频或视觉数据)。应当理解，取决于对其使用可穿戴系统的应用，其他实施例可以具有更多或更少的组件。尽管如此，图3提供了各种组件中的一些以及可以通过可穿戴系统收集、分析和存储的数据的类型的基本思想。
图3示出了可以包括显示器220的示例可穿戴系统200。显示器220可以包括可以安装到用户的头部或外壳或框架230的显示透镜226，该显示透镜226与框架230相对应。显示透镜226可以包括一个或多个透明镜，该透明镜由外壳230定位在用户的眼睛302、304的前面，并且可被配置为将投射的光338弹射到眼睛302、304中并促进光束整形，同时还允许透射至少一些来自本地环境的光。投射的光束338的波前(wavefront)可以被弯曲或聚焦以与投射的光的期望焦距一致。如图所示，两个广视场机器视觉相机316(也称为世界相机)可以耦合到外壳230以对用户周围的环境成像。这些相机316可以是双重捕获可见光/不可见(例如，红外)光相机。相机316可以是图4中所示的面向外部的成像系统464的一部分。由世界相机316获取的图像可以由姿势处理器336处理。例如，姿势处理器336可以实现一个或多个对象识别器708以标识用户或在用户的环境中的另一个人的姿势或标识在用户的环境中的物理对象。
继续参考图3，示出了具有显示镜和光学器件的一对扫描激光成形波前(例如，对于深度)光投影仪模块，其被配置为将光338投射到眼睛302、304中。所描绘的视图还示出了与红外光源326(例如，发光二极管“LED”)配对的两个微型红外相机324，其被配置为能够跟踪用户的眼睛302、304以支持渲染和用户输入。相机324可以是图4所示的面向内部的成像系统462的一部分。可穿戴系统200的特征还在于传感器组件339，该传感器组件339可包括X、Y和Z轴加速度计能力以及磁指南针以及X、Y和Z轴陀螺仪能力，优选地以相对较高的频率(例如，200Hz)提供数据。传感器组件339可以是参考图2描述的IMU的一部分。所描绘的系统200还可以包括头部姿势处理器336，诸如ASIC(专用集成电路)、FPGA(现场可编程门阵列)或ARM处理器(高级简化指令集机器)，其可被配置为根据从捕获设备316输出的宽视场图像信息来计算实时或近实时用户头部姿势。头部姿势处理器336可以是硬件处理器，并且可以被实现为图2中所示的本地处理和数据模块260的一部分。
可穿戴系统还可以包括一个或多个深度传感器234。深度传感器234可被配置为测量环境中的对象到可穿戴设备之间的距离。深度传感器234可包括激光扫描仪(例如，激光雷达)、超声深度传感器、或深度感测相机。在某些实施方式中，在相机316具有深度感测能力的情况下，相机316也可以被认为是深度传感器234。
还示出了处理器332，其被配置为执行数字或模拟处理以根据来自传感器组件339的陀螺仪、指南针或加速度计数据导出姿势。处理器332可以是图2中所示的本地处理和数据模块260的一部分。如图3所示的可穿戴系统200还可以包括诸如GPS 337(全球定位系统)之类的定位系统，以辅助姿势和定位分析。另外，GPS可以进一步提供关于用户的环境的基于远程的(例如，基于云的)信息。此信息可用于识别用户的环境中的对象或信息。
可穿戴系统可以组合由GPS 337和远程计算系统(例如，远程处理模块270、另一个用户的ARD等)获取的数据，该数据可以提供有关用户的环境的更多信息。作为一个示例，可穿戴系统可以基于GPS数据确定用户的位置，并检索包括与用户的位置相关联的虚拟对象的世界地图(例如，通过与远程处理模块270通信)。作为另一个示例，可穿戴系统200可以使用世界相机316(其可以是图4所示的面向外部的成像系统464的一部分)来监控环境。基于由世界相机316获取的图像，可穿戴系统200可以检测环境中的对象(例如，通过使用一个或多个对象识别器)。可穿戴系统可以进一步使用由GPS 337获取的数据来解释角色。
可穿戴系统200还可包括渲染引擎334，该渲染引擎334可被配置为提供用户本地的渲染信息，以促进扫描仪的操作和成像到用户的眼睛中，以供用户观看世界。渲染引擎334可以由硬件处理器(例如，中央处理单元或图形处理单元)实现。在一些实施例中，渲染引擎是本地处理和数据模块260的一部分。渲染引擎334可以可通信地(例如，经由有线或无线链路)耦合到可穿戴系统200的其他组件。例如，渲染引擎334可以经由通信链路274耦合到眼睛相机324，并且可以经由通信链路272耦合到投射子系统318(其可以以类似于视网膜扫描显示器的方式经由扫描的激光布置将光投射到用户的眼睛302、304中)。渲染引擎334还可以分别经由链路276和294与其他处理单元通信，例如，传感器姿势处理器332和图像姿势处理器336。
相机324(例如，微型红外相机)可以用来跟踪眼睛的姿势以支持渲染和用户输入。一些示例眼睛姿势可以包括用户正在看的地方、或他或她正聚焦的深度(这可以通过眼睛聚散(vergence)来估计)。GPS 337、陀螺仪、指南针和加速度计339可用于提供粗略或快速的姿势估计。相机316中的一个或多个可以获取图像和姿势，这些图像和姿势与来自关联的云计算资源的数据一起可以用于映射本地环境并与其他用户共享用户视图。
图3所示的示例组件仅用于说明目的。为了便于说明和描述，一起显示了多个传感器和其他功能模块。一些实施例可以仅包括这些传感器或模块中的一个或子集。此外，这些组件的位置不限于图3所示的位置。某些组件可安装到其他组件或容纳在其他组件中，例如，皮带安装组件、手持组件或头盔组件。作为一个示例，图像姿势处理器336、传感器姿势处理器332和渲染引擎334可以被放置在皮带包中，并且被配置为经由无线通信(例如，超宽带、Wi-Fi、蓝牙等)或经由有线通信与可穿戴系统的其他组件通信。所描绘的外壳230优选地是用户可头戴的和可穿戴的。但是，可穿戴系统200的某些组件可能会穿戴到用户的身体的其他部分。例如，扬声器240可以被插入用户的耳朵中以向用户提供声音。
关于光338到用户的眼睛302、304中的投射，在一些实施例中，相机324可以用于测量用户的眼睛的中心在几何上被聚散到的位置，这通常与眼睛的焦点位置或“焦深”一致。眼睛聚散到的所有点的三维表面可以称为“双眼单视界(horopter)”。焦距可以具有有限量的深度，或者可以无限变化。从聚散距离投射的光似乎聚焦到了受试者眼睛302、304，而在聚散距离之前或之后的光却变得模糊了。在美国专利公开号2016/0270656(其全部内容通过引用合并于此)中也描述了本公开的可穿戴设备和其他显示系统的示例。
人的视觉系统是复杂的，并且提供对深度的真实感是具有挑战性的。由于组合了聚散(vergence)和适应，对象的观看者可以将对象感知为三维。两只眼睛相对于彼此的聚散移动(即，瞳孔相向或远离彼此的滚动移动以收敛眼睛的视线以固定在对象上)与眼睛晶状体的聚焦(或“适应”)紧密相关联。在正常情况下，在称为“适应－聚散反射”(accommodation-vergence reflex)的关系下，改变眼睛晶状体的焦点或适应眼睛以将焦点从一个对象变化为不同距离的另一对象，将自动导致在相同距离上的聚散的匹配变化。同样，在正常情况下，聚散的改变将触发适应的匹配变化。在适应和聚散之间提供更好匹配的显示系统可以形成更逼真和舒适的三维图像模拟。
人眼可以正确地分辨出光束直径小于约0.7mm的空间相干光，而无论眼睛聚焦在何处。因此，为了产生适当的焦深的错觉，可以用相机324跟踪眼睛聚散，并且可以利用渲染引擎334和投射子系统318来将所有对象渲染聚焦在双眼单视界上或附近，以及将所有其他对象以不同程度的失焦(例如，使用故意创建的模糊)。优选地，系统220以大约每秒60帧或更高的帧速率向用户渲染。如上所述，优选地，相机324可以用于眼睛跟踪，并且软件可被配置为不仅拾取聚散几何形状，而且拾取焦点位置提示以用作用户输入。优选地，这种显示系统配置有适合白天或晚上使用的亮度和对比度。
在一些实施例中，显示系统优选地具有小于约20毫秒的视觉对象对齐延迟，小于约0.1度的角度对齐和约1弧分的分辨率，这不受理论限制地被认为大约是人眼的极限。显示系统220可以与定位系统集成在一起，该定位系统可以涉及GPS元件、光学跟踪、指南针、加速度计或其他数据源，以帮助确定位置和姿势；定位信息可用于促进用户观看相关世界时的准确渲染(例如，此类信息将有助于眼镜了解它们相对于现实世界的位置)。
在一些实施例中，可穿戴系统200被配置为基于用户的眼睛的适应来显示一个或多个虚拟图像。在一些实施例中，不同于迫使用户聚焦在图像被投射的地方的现有3D显示方法，可穿戴系统被配置为自动变化投射的虚拟内容的焦点，以允许更舒适地观看呈现给用户的一个或多个图像。例如，如果用户的眼睛当前焦点为1m，则可以投射图像以使其与用户的焦点一致。如果用户将焦点移至3m，则投射图像以使其与新焦点一致。因此，一些实施例的可穿戴系统200不是迫使用户达到预定的焦点，而是允许用户的眼睛以更自然的方式起作用。
这样的可穿戴系统200可以消除或减少通常关于虚拟现实设备观察到的眼睛压力、头痛和其他生理症状的发生。为了实现这一点，可穿戴系统200的各种实施例被配置为通过一个或多个可变聚焦元件(VFE)以变化的焦距投射虚拟图像。在一个或多个实施例中，可以通过多平面聚焦系统来实现3D感知，该多平面聚焦系统在远离用户的固定焦平面上投射图像。其他实施例采用可变平面焦点，其中，焦平面在z方向上前后移动，以与用户的当前焦点状态一致。
在多平面聚焦系统和可变平面聚焦系统中，可穿戴系统200都可以使用眼睛跟踪来确定用户的眼睛的聚散，确定用户的当前聚焦以及以确定的聚焦投射虚拟图像。在其他实施例中，可穿戴系统200包括光调制器，该光调制器通过光纤扫描仪或其他光产生源以可变的方式以不同的焦点以光栅图案跨视网膜投射光束。因此，如在美国专利公开号2016/0270656中进一步描述的(其全部内容通过引用合并于此)，可穿戴系统200的显示器以变化的焦距投射图像的能力不仅使用户轻松适应以观看3D对象，而且还可以用于补偿用户眼部异常。在一些其他实施例中，空间光调制器可以通过各种光学组件将图像投射到用户。例如，如下文进一步所述，空间光调制器可将图像投射到一个或多个波导上，波导然后将图像发送给用户。
C.波导堆叠组件
图4示出了用于向用户输出图像信息的波导堆叠的示例。可穿戴系统400包括波导的堆叠或堆叠的波导组件480，其可以被用于使用多个波导432b、434b、436b、438b、4400b向眼睛/大脑提供三维感知。在一些实施例中，可穿戴系统400可以对应于图2的可穿戴系统200，图4示意性地更详细地示出了该可穿戴系统200的一些部分。例如，在一些实施例中，波导组件480可以集成到图2的显示器220中。
继续参考图4，波导组件480还可在波导之间包括多个特征458、456、454、452。在一些实施例中，特征458、456、454、452可以是透镜。在其他实施例中，特征458、456、454、452可以不是透镜。而是，它们可以简单地是间隔件(例如，用于形成气隙的包层或结构)。
波导432b、434b、436b、438b、440b或多个透镜458、456、454、452可被配置为以各种级别的波前曲率或光线发散将图像信息发送到眼睛。每个波导级别可以与特定的深度平面相关联，并且可被配置为输出与该深度平面相对应的图像信息。图像注入设备420、422、424、426、428可被用于将图像信息注入波导440b、438b、436b、434b、432b，每个波导可被配置为将入射光分布在每个相应的波导上，以向眼睛410输出。光离开图像注入设备420、422、424、426、428的输出表面，并且被注入到波导440b、438b、436b、434b、432b的对应输入边缘中。在一些实施例中，可以将单个光束(例如，准直光束)注入每个波导中，以输出克隆的准直光束的整个视场，该准直光束以对应于与特定波导相关联的深度平面的特定角度(和发散量)指向眼睛410。
在一些实施例中，图像注入设备420、422、424、426、428是分立的显示器，其各自产生图像信息以分别注入到对应的波导440b、438b、436b、434b、432b中。在一些其他实施例中，图像注入设备420、422、424、426、428是单个多路复用显示器的输出端，其可以例如经由一个或多个光导管(例如，光纤电缆)将图像信息输送到图像注入设备420、422、424、426、428中的每一个。
控制器460控制堆叠的波导组件480和图像注入设备420、422、424、426、428的操作。控制器460包括编程(例如，非暂时性计算机可读介质中的指令)，该编程调制定时和向波导440b、438b、436b、434b、432b提供图像信息。在一些实施例中，控制器460可以是单个集成设备，或者是通过有线或无线通信信道连接的分布式系统。在一些实施例中，控制器460可以是处理模块260或270(在图2中示出)的一部分。
波导440b、438b、436b、434b、432b可被配置为通过全内反射(TIR)在每个相应波导内传播光。波导440b、438b、436b、434b、432b每个可以是平面的或具有另一种形状(例如，弯曲的)，并且可以具有主要的顶部和底部表面以及在那些主要的顶部和底部表面之间延伸的边缘。在所示的配置中，波导440b、438b、436b、434b、432b可各自包括光提取光学元件440a、438a、436a、434a、432a，光提取光学元件440a、438a、436a、434a、432a被配置为通过使光重定向、在各个波导内传播从而从波导中提取光以将图像信息输出到眼睛410。提取的光也可以称为出耦合光，并且光提取光学元件也可以称为出耦合光学元件。提取的光束由波导在波导中传播的光撞击光重定向元件的位置处输出。光提取光学元件(440a、438a、436a、434a、432a)可以例如是反射或衍射光学特征。虽然为了便于描述和绘图清楚起见，示出了设置在波导440b、438b、436b、434b、432b的底部主表面上，但是在一些实施例中，光提取光学元件440a、438a、436a、434a、432a可以设置在顶部主表面或底部主表面上，或者可以直接设置在波导440b、438b、436b、434b、432b的体积中。在一些实施例中，光提取光学元件440a、438a、436a、434a、432a可以形成在材料层中，该材料层附接到透明基板上以形成波导440b、438b、436b、434b、432b。在一些其他实施例中，波导440b、438b、436b、434b、432b可以是单片材料，并且光提取光学元件440a、438a、436a、434a、432a可以形成在该片材料的表面上或内部中。
继续参考图4，如本文所述，每个波导440b、438b、436b、434b、432b被配置为输出光以形成与特定深度平面相对应的图像。例如，最靠近眼睛的波导432b可被配置为将注入到这种波导432b中的准直光传送到眼睛410。准直光可以表示光学无穷远焦平面。下一个上行(up)波导434b可被配置为在准直光到达眼睛410之前发出通过第一透镜452(例如，负透镜)的准直光。第一透镜452可被配置为产生轻微的凸波前曲率，从而眼睛/大脑将来自该下一上行波导434b的光解释为来自第一焦平面，该第一焦平面从光学无穷远处向内更靠近朝向眼睛410。类似地，第三上行波导436b在到达眼睛410之前将其输出光通过第一透镜452和第二透镜454。第一透镜452和第二透镜454的组合光功率可被配置为产生另一增量的波前曲率，使得眼睛/大脑将来自第三波导436b的光解释为来自第二焦平面，该第二焦平面比来自下一个上行波导434b的光从光学无穷远向内更靠近人。
其他波导层(例如，波导438b、440b)和透镜(例如，透镜456、458)被类似地配置，堆叠中的最高波导440b通过其与眼睛之间的所有透镜发送其输出，用于表示最靠近人的焦平面的聚合(aggregate)焦度。在观看/解释来自堆叠波导组件480的另一侧上的世界470的光时，为了补偿透镜堆叠458、456、454、452，可以在堆叠的顶部设置补偿透镜层430，以补偿下面的透镜堆叠458、456、454、452的聚合焦度。(补偿透镜层430和堆叠的波导组件480整体上可被配置为使得来自世界470的光以与初始被堆叠的波导组件480接收时的光具有的基本相同的发散(或准直)级别被传送到眼睛410)。这样的配置提供与可用的波导/透镜对一样多的感知焦平面。波导的光提取光学元件和透镜的聚焦方面都可以是静态的(例如，不是动态的或电激励的)。在一些替代实施例中，其中一个或两者在使用电激励特征时可以是动态的。
继续参考图4，光提取光学元件440a、438a、436a、434a、432a可被配置为既将光重定向到其各自的波导之外，又对于与波导相关联的特定深度平面以适当的发散或准直量输出该光。结果，具有不同相关联的深度平面的波导可以具有光提取光学元件的不同配置，该光提取光学元件根据相关联的深度平面以不同的发散量输出光。在一些实施例中，如本文所讨论的，光提取光学元件440a、438a、436a、434a、432a可以是体积或表面特征，其可被配置为以特定角度输出光。例如，光提取光学元件440a、438a、436a、434a、432a可以是体积全息图、表面全息图和/或衍射光栅。在2015年6月25日公开的美国专利公开No.2015/0178939中描述了诸如衍射光栅的光提取光学元件，其通过引用全部并入在此。
在一些实施例中，光提取光学元件440a、438a、436a、434a、432a是形成衍射图案或衍射光学元件(在本文中也称为“DOE”)的衍射特征。优选地，DOE具有相对较低的衍射效率，使得通过与DOE的每次交互，光束的仅一部分光朝着眼睛410偏转，而其余部分则通过全内反射继续移动通过波导。携带图像信息的光因此可以被分成多个相关的出射光束，该出射光束在多个位置处离开波导，并且该结果对于在波导内反弹的该特定准直光束是朝向眼睛304的相当均匀图案的出射发射。
在一些实施例中，一个或多个DOE可以在它们主动衍射的“开启”状态和它们不明显衍射的“关闭”状态之间切换。例如，可切换的DOE可以包括聚合物分散液晶层，其中，微滴(microdrop)在主体介质(host medium)中包含衍射图案，并且微滴的折射率可以切换为与主体材料的折射率基本匹配(在这种情况下，该图案不会明显衍射入射光)，或者可以将微滴切换到与主体介质的折射率不匹配的折射率(在这种情况下，该图案会主动衍射入射光)。
在一些实施例中，深度平面或景深的数量和分布可以基于观看者的眼睛的瞳孔大小或定向动态地变化。景深可能与观看者的瞳孔大小成反比。结果，随着观看者眼睛的瞳孔大小减小，景深增加，使得由于该平面的位置超出眼睛的焦深而无法辨认的平面可能变得可辨认，并且随着瞳孔大小的减小和景深的相应增加表现为更聚焦。同样，随着瞳孔大小减小，可以减少用于向观看者呈现不同图像的间隔开的深度平面的数量。例如，在处于一个瞳孔大小下，不将眼睛的调节从一个深度平面调整到另一个深度平面，则观看者可能无法清楚地感知第一深度平面和第二深度平面两者的细节。但是，这两个深度平面可以在不改变调节的情况下，对于处于另一瞳孔大小的用户同时充分地聚焦。
在一些实施例中，显示系统可以基于对瞳孔大小或定向的确定，或者基于接收到指示特定瞳孔大小或定向的电信号，来改变接收图像信息的波导的数量。例如，如果用户的眼睛不能区分与两个波导相关联的两个深度平面，则控制器460(其可以是本地处理和数据模块260的实施例)可以被配置或编程为停止向这些波导之一提供图像信息。有利地，这可以减少系统上的处理负担，从而增加系统的响应性。在波导的DOE可在开启和关闭状态之间切换的实施例中，当波导确实接收到图像信息时，DOE可被切换为关闭状态。
在一些实施例中，可能希望使出射光束满足直径小于观看者眼睛的直径的条件。但是，鉴于观看者瞳孔大小的可变性，满足此条件可能是具有挑战性的。在一些实施例中，通过响应于观看者的瞳孔大小的确定而改变出射光束的大小，在宽范围的瞳孔大小上满足该条件。例如，随着瞳孔大小的减小，出射光束的大小也可以减小。在一些实施例中，可以使用可变孔径来改变出射光束的大小。
可穿戴系统400可以包括对世界470的一部分进行成像的面向外部的成像系统464(例如，数码相机)。世界470的这一部分可以称为世界相机的视场(FOV)，成像系统464有时被称为FOV相机。世界相机的FOV可以与观看者210的FOV相同或不同，观看者210的FOV包含观看者210在给定时间感知的世界470的一部分。例如，在某些情况下，世界相机的FOV可以大于可穿戴系统400的观看者210的观看者210。可用于观看者观看或成像的整个区域可以被称为能视场(field of regard(FOR))。FOR可以包括围绕可穿戴系统400的立体角的4π球面度，因为穿戴者可以移动他的身体、头部或眼睛以感知空间中的基本上任何方向。在其他上下文中，穿戴者的移动可能会更受限制，并且因此穿戴者的FOR可能会对向较小的立体角。从面向外部的成像系统464获得的图像可以用于跟踪用户做出的手势(例如，手或手指手势)，检测用户面前的世界470中的对象等等。
可穿戴系统400可以包括音频传感器232(例如，麦克风)以捕获环境声音。如上所述，在一些实施例中，可以定位一个或多个其他音频传感器以提供对确定语音源的位置有用的立体声接收。作为另一个示例，音频传感器232可以包括定向麦克风，该定向麦克风还可以提供关于音频源位于何处的有用的定向信息。可穿戴系统400可以在定位语音源时使用来自面向外部的成像系统464和音频传感器230的信息，或者在特定时间确定有源说话者等。例如，可穿戴系统400可以单独使用语音识别或组合扬声器的反射图像(例如，在镜子中看到的)，以确定说话者的标识。作为另一个示例，可穿戴系统400可以基于从定向麦克风获取的声音来确定说话者在环境中的位置。可穿戴系统400可以使用语音识别算法解析来自说话者的位置的声音，以确定语音的内容，并使用语音识别技术来确定说话者的标识(例如，姓名或其他人口统计信息)。
可穿戴系统400还可以包括面向内部的成像系统466(例如，数字相机)，其观测用户的移动，例如，眼睛移动和面部移动。面向内部的成像系统466可以用于捕获眼睛410的图像以确定眼睛304的瞳孔的大小和/或定向。面向内部的成像系统466可以用于获取图像以用于确定用户正在看的方向(例如，眼睛姿势)或用于对用户进行生物特征标识(例如，经由虹膜标识)。在一些实施例中，每只眼睛可以利用至少一个相机，以独立地确定每只眼睛的瞳孔大小或眼睛姿势，从而允许为每只眼睛呈现图像信息动态地适合该眼睛。在一些其他实施例中，仅确定单只眼睛410的瞳孔直径或定向(例如，每双眼睛仅使用单个相机)，并且认为该瞳孔直径或定向对于用户的两只眼睛是相似的。可以分析由面向内部的成像系统466获得的图像以确定用户的眼睛姿势或情绪，可穿戴系统400可以使用该眼睛姿势或情绪来确定应该向用户呈现哪些音频或视觉内容。可穿戴系统400还可以使用诸如IMU、加速度计、陀螺仪等的传感器来确定头部姿势(例如，头部位置或头部定向)。
可穿戴系统400可以包括用户输入设备466，用户可以通过该用户输入设备466向控制器460输入命令以与可穿戴系统400交互。例如，用户输入设备466可以包括触控板、触摸屏、游戏杆、多自由度(DOF)控制器、电容感测设备、游戏控制器、键盘、鼠标、方向板(D-pad)、棒、触觉设备、图腾(totem)(例如，充当虚拟用户输入设备)等等。多DOF控制器可以感测控制器的某些或所有可能的平移(例如，左/右、前/后、或上/下)或旋转(例如，偏航、俯仰或滚动)中的用户输入。支持平移移动的多DOF控制器可以称为3DOF，而支持平移和旋转的多DOF控制器可以称为6DOF。在一些情况下，用户可以使用手指(例如，拇指)在触敏输入设备上按下或滑动以向可穿戴系统400提供输入(例如，向由可穿戴系统400提供的用户接口提供用户输入)。用户输入设备466可以在可穿戴系统400的使用过程中被用户的手握住。用户输入设备466可以与可穿戴系统400进行有线或无线通信。
D.可穿戴系统的其他组件
在许多实施方式中，除了上述可穿戴系统的组件之外或作为替代，可穿戴系统可以包括其他组件。可穿戴系统可以例如包括一个或多个触觉设备或组件。触觉设备或组件可操作以向用户提供触感。例如，当触摸虚拟内容(例如，虚拟对象、虚拟工具、其他虚拟构造物)时，触觉设备或组件可以提供压力或纹理的触感。触感可以复制虚拟对象所表示的物理对象的感觉，或者可以复制虚拟内容所表示的想象的对象或角色(例如，龙)的感觉。在一些实施方式中，用户可以穿戴触觉设备或组件(例如，用户可穿戴的手套)。在一些实施方式中，触觉设备或组件可以由用户持有。
例如，可穿戴系统可以包括用户可操纵的一个或多个物理对象，以允许输入或与可穿戴系统交互。这些物理对象在本文中可以称为图腾。一些图腾可以采取无生命对象的形式，例如，一块金属或塑料、墙壁、桌子表面。在某些实施方式中，图腾实际上可能没有任何物理输入结构(例如，按键、触发器、操纵杆、轨迹球、摇杆开关)。相反，图腾可以简单地提供物理表面，并且可穿戴系统可以渲染用户接口，以便对用户看起来在图腾的一个或多个表面上。例如，可穿戴系统可以使计算机键盘和触控板的图像渲染为看起来驻留在图腾的一个或多个表面上。例如，可穿戴系统可以使虚拟计算机键盘和虚拟触控板渲染为看起来在用作图腾的薄铝矩形板的表面上。矩形板本身可能没有任何物理按键、触控板或传感器。但是，可穿戴系统可以将用户操作或交互或者触摸矩形板检测为通过虚拟键盘或虚拟触控板进行的选择或输入。用户输入设备466(图4中所示)可以是图腾的一个实施例，它可以包括触控板、触摸板、触发器、操纵杆、轨迹球、摇杆或虚拟开关、鼠标、键盘、多自由度控制器、或其他物理输入设备。用户可以单独或与姿势结合使用图腾来与可穿戴系统或其他用户进行交互。
在美国专利公开No.2015/0016777中描述了本公开的与可穿戴设备、HMD和显示系统一起使用的触觉设备和图腾的示例，其全部内容通过引用并入本文。
E.眼睛图像的示例
图5示出了具有眼睑504、巩膜508(眼睛的“白色”)、虹膜512和瞳孔516的眼睛500的图像。曲线516a示出了瞳孔516和虹膜512之间的瞳孔边界，并且曲线512a示出了虹膜512和巩膜508之间的边缘边界。眼睑504包括上眼睑504a和下眼睑504b。示出了处于自然静止(resting)姿势的眼睛500(例如，其中，用户的脸部和凝视都朝向用户正前方的远处对象而定向)。眼睛500的自然静止姿势可由自然静止方向520指示，该方向是当处于自然静止姿势时与眼睛500的表面正交的方向(例如，直接在图5中示出的眼睛500的平面之外)，并且在此示例中，位于瞳孔516的中心。
当眼睛500移动以朝着不同的对象看时，眼睛姿势将相对于自然静止方向520发生变化。当前的眼睛姿势可以参考眼睛姿势方向520来确定，该当前的眼睛姿势是与眼睛的表面正交(并且位于瞳孔516的中心)但朝向眼睛当前所指向的对象的方向而定向。参考图5A中所示的示例坐标系，眼睛500的姿势可以被表达为两个角度参数，其指示眼睛的眼睛姿势方向524的方位角偏转(azimuthal deflection)和顶角偏转(zenithal deflection)，均相对于眼睛的自然静止方向520。为了说明的目的，这些角度参数可以被表示为θ(从基准方位角(fiducial azimuth)确定的方位角偏转)和φ(顶角偏转，有时也称为极角偏转(polardeflection))。在一些实施方式中，在眼睛姿势的确定中可以包括眼睛围绕眼睛姿势方向524的角度滚动，并且可在以下分析中包括角度滚动。在其他实施方式中，用于确定眼睛姿势的其他技术可以使用例如俯仰、偏航和可选地滚动系统。
可使用任何适当的过程从视频获得眼睛图像，例如，使用可从一个或多个连续帧中提取图像的视频处理算法。可使用多种眼睛跟踪技术根据眼睛图像确定眼睛的姿势。例如，可通过考虑角膜对所提供的光源的透镜作用来确定眼睛姿势。任何合适的眼睛跟踪技术都可用于确定眼睛姿势。
F.眼睛跟踪系统的示例
图6示出了包括眼睛跟踪系统的可穿戴系统600的示意图。在至少一些实施例中，可穿戴系统600可包括位于头戴式单元602中的部件和位于非头戴式单元604中的部件。非头戴式单元604可以是例如皮带式部件、手持式部件、背包中的部件、远程部件等。将可穿戴系统600的一些部件并入非头戴式单元604中可帮助减少头戴式单元602的尺寸、重量、复杂性和成本。在一些实施方式中，被描述为由头戴式单元602和/或非头戴式604的一个或多个部件执行的一些或全部功能可通过可穿戴系统600中其他地方包括的一个或多个部件来提供。例如，可通过非头戴式单元604的CPU 616提供与头戴式单元602的CPU 612相关联的以下描述的一些或全部功能，反之亦然。在一些示例中，可通过可穿戴系统600的外围设备来提供一些或所有这样的功能。此外，在一些实施方式中，可通过一个或多个云计算设备或其他远程计算设备以类似于上面参考图2所述的方式来提供一些或所有这样的功能。
如图6所示，可穿戴系统600可包括眼睛跟踪系统，该眼睛跟踪系统包括捕获用户的眼睛610的图像的相机324。如果需要，眼睛跟踪系统还可包括光源326a和326b(诸如发光二极管“LED”)。光源326a和326b可产生闪光(例如，在由相机324捕获的眼睛的图像中出现的被用户的眼睛反射走)。光源326a和326b相对于相机324的位置可以是已知的，并且因此，相机324所捕获的图像内的闪光的位置可用于跟踪用户的眼睛(如下面结合图7将更详细地讨论的)。在至少一个实施例中，可存在与用户的一只眼睛610相关联的一个光源326和一个相机324。在另一实施例中，可存在与用户的每只眼睛610相关联的一个光源326和一个相机324。在其他实施例中，可存在与用户的一只或每只眼睛610相关联的一个或多个相机324和一个或多个光源326。作为一个特定示例，可存在与用户的每只眼睛610相关联的两个光源326a和326b以及一个或多个相机324。作为另一示例，可存在与用户的每只眼睛610相关联的三个或更多个光源(例如，光源326a和326b)以及一个或多个相机324。在本文描述的一些实施方式中，可以采用两个或更多个相机来对给定的眼睛进行成像。
眼睛跟踪模块614可从眼睛跟踪相机324接收图像，并且可分析图像以提取各条信息。作为示例，眼睛跟踪模块614可检测用户的眼睛姿势、用户的眼睛相对于眼睛跟踪相机324(和相对于头戴式单元602)的三维位置、用户的一只或两只眼睛610聚焦的方向、用户的聚散深度(例如，距用户的深度，在该深度处用户正在聚焦)、用户的瞳孔的位置、用户的角膜和/或角膜球(cornea sphere)的位置、用户的一只或每只眼睛的旋转中心、以及用户的一只或每只眼睛的视角中心(center of perspective)、或其任意组合。眼睛跟踪模块614可使用下面结合图7-11和/或图12-21描述的技术来提取这样的信息。如图6所示，眼睛跟踪模块614可以是使用头戴式单元602中的CPU 612实现的软件模块。
尽管在图6中示出了一个相机324对眼睛进行成像，但是在诸如本文所讨论的一些实施方式中，多个相机可以对眼睛进行成像并且用于诸如角膜中心和/或旋转中心测量之类的测量或以其他方式用于眼睛跟踪或其他目的。
来自眼睛跟踪模块614的数据可被提供给可穿戴系统中的其他部件。例如，这样的数据可被发送到非头戴式单元604中的部件，例如包括用于光场渲染控制器618和配准观察器620的软件模块的CPU 616。
渲染控制器618可使用来自眼睛跟踪模块614的信息来调整由渲染引擎622(例如，可以是GPU 620中的软件模块并且可向显示器220提供图像的渲染引擎)向用户显示的图像。作为示例，渲染控制器618可基于用户的旋转中心或视角中心来调整显示给用户的图像。特别地，渲染控制器618可使用关于用户的视角中心的信息来模拟渲染相机(例如，从用户的视角模拟收集图像)，并且可基于模拟的渲染相机来调整显示给用户的图像。
“渲染相机”，有时也称为“针孔透视相机”(或简称为“透视相机”)或“虚拟针孔相机”(或简称为“虚拟相机”)，是用于在渲染可能来自虚拟世界中的对象数据库的虚拟图像内容中所使用的模拟相机。对象可具有相对于用户或穿戴者并且可能相对于围绕用户或穿戴者的环境中的真实对象的位置和朝向。换句话说，渲染相机可表示渲染空间内的透视图，用户或穿戴者将从该透视图观看渲染空间的3D虚拟内容(例如，虚拟对象)。渲染相机可由渲染引擎管理，以基于要呈现给所述眼睛的虚拟对象的数据库来渲染虚拟图像。可渲染虚拟图像，就像从用户或穿戴者的视角拍摄一样。例如，虚拟图像可被渲染为好像被具有特定内在参数集(例如，焦距、相机像素大小、主点坐标、偏斜/失真参数等)以及特定外在参数集(例如，相对于虚拟世界的平移分量和旋转分量)的针孔相机(对应于“渲染相机”)捕获一样。从具有渲染相机的位置和取向(例如，渲染相机的外在参数)的这种相机的视角拍摄虚拟图像。因此，系统可定义和/或调整内在和外在渲染相机参数。例如，该系统可定义特定外在渲染相机参数集，使得可以渲染虚拟图像，就像从具有相对于用户或穿戴者的眼睛的特定位置的相机的视角捕获虚拟图像一样，以提供看起来像从用户或穿戴者的视角来看的图像。该系统随后可动态地即时(on-the-fly)调整外在渲染相机参数，以便维持与所述特定位置的配准。类似地，可定义内在渲染相机参数并随时间动态调整。在一些实施方式中，图像被渲染为好像是从相机的视角捕获的，该相机具有在相对于用户或穿戴者的眼睛的特定位置(例如，视角中心或旋转中心或别处)处的光圈(例如，针孔)。
在一些实施例中，系统可针对用户的左眼来创建或动态地重新定位和/或重新定向一个渲染相机，以及针对用户的右眼的另一渲染相机，因为用户的眼睛在物理上彼此分开并且，因此始终如一定位在不同的位置。因此，在至少一些实施方式中，从与观看者的左眼相关联的渲染相机的视角渲染的虚拟内容可通过头戴式显示器(例如，头戴式单元602)左侧的目镜呈现给用户，以及从与用户的右眼相关联的渲染相机的视角渲染的虚拟内容可通过这种头戴式显示器右侧的目镜呈现给用户。在题为“METHODS AND SYSTEMS FORDETECTING AND COMBINING STRUCTURAL FEATURES IN 3D RECONSTRUCTION(用于在3D重建中检测和组合结构特征的方法和系统)”的美国专利申请No.15/274,823中提供了讨论在渲染过程中创建、调整和使用渲染相机的更多细节，其出于所有目的通过引用整体明确地并入本文。
在一些示例中，系统600的一个或多个模块(或部件)(例如，光场渲染控制器618、渲染引擎620等)可基于用户的头部和眼睛的位置和取向(例如，分别基于头部姿势和眼睛跟踪数据确定的)确定渲染相机在渲染空间内的位置和取向。也就是说，系统600可有效地将用户的头部和眼睛的位置和取向映射到3D虚拟环境内的特定位置和角度位置，将渲染相机放置和定向在3D虚拟环境内的特定位置和角度位置，以及为用户渲染虚拟内容，就像由渲染相机捕获的一样。在题为“SELECTING VIRTUAL OBJECTS IN A THREE-DIMENSIONALSPACE(在三维空间中选择虚拟对象)”的美国专利申请No.15/296,869中提供了讨论现实世界到虚拟世界映射过程的更多细节，其出于所有目的通过引用整体明确地并入本文。作为示例，渲染控制器618可通过选择在任何给定时间利用哪个深度平面(或多个深度平面)来显示图像来调整显示图像的深度。在一些实施方式中，可通过调整一个或多个内在渲染相机参数来执行这种深度平面切换。例如，光场渲染控制器618可以在执行深度平面切换或调整时调整渲染相机的焦距。如下文进一步详细描述的，深度平面可以基于用户所确定的聚散或注视深度来切换
配准观察器620可使用来自眼睛跟踪模块614的信息来标识头戴式单元602是否正确地定位在用户的头部上。作为示例，眼睛跟踪模块614可提供眼睛位置信息，诸如用户的眼睛的旋转中心的位置，该信息指示用户的眼睛相对于相机324和头戴式单元602的三维位置，并且眼睛跟踪模块614可使用该位置信息来确定显示器220在用户的视场中是否被正确对齐，或者头戴式单元602(或头戴式受话器(headset))是否已经滑动或与用户的眼睛未对齐。作为示例，配准观察器620能够确定：是否头戴式单元602已经沿用户的鼻梁向下滑落，从而将显示器220从用户的眼睛向远处和下面移动(这可能是不希望的)；是否头戴式单元602已经沿用户的鼻梁向上移动，从而将显示器220从用户的眼睛向近处和向上移动；是否头戴式单元602已经相对于用户的鼻梁向左或向右移动，是否头戴式单元602已经抬高到用户的鼻梁上方，或者是否头戴式单元602已经以这些或其他方式从期望的位置或位置范围移开。通常，配准观察器620能够确定总体上头戴式单元602以及尤其是显示器220是否被正确地定位在用户的眼睛前面。换句话说，配准观察器620可确定显示系统220中的左显示器是否与用户的左眼正确地对齐，并且显示系统220中的右显示器是否与用户的右眼正确地对齐。配准观察器620可通过确定头戴式单元602是否被定位和定向在相对于用户的眼睛的位置和/或取向的期望范围内来确定头戴式单元602是否被正确地定位。
在至少一些实施例中，配准观察器620可以告警、消息或其他内容形式生成用户反馈。可将这样的反馈提供给用户以告知用户头戴式单元602的任何未对齐，以及关于如何校正未对齐的可选反馈(诸如以特定方式调整头戴式单元602的建议)。
在2017年9月27日提交的美国专利申请No.15/717,747(代理人案号MLEAP.052A2)以及在2018年3月16日提交的美国临时专利申请No.62/644,321(代理人案号MLEAP.195PR)中描述了可由配准观察器620使用的示例配准观察和反馈技术，两者均通过引用整体并入本文。
G.眼睛跟踪模块的示例
在图7A中示出了示例眼睛跟踪模块614的详细框图。如图7A所示，眼睛跟踪模块614可包括各种不同的子模块，可提供各种不同的输出，并且可利用各种可用数据来跟踪用户的眼睛。作为示例，眼睛跟踪模块614可利用可用数据，包括眼睛跟踪外在和内在参数(extrinsics and intrinsics)，诸如眼睛跟踪相机324相对于光源326和头戴式单元602的几何布置；假设的眼睛尺寸704，诸如用户的角膜曲率中心与用户的眼睛的平均旋转中心之间的典型距离约为4.7mm，或用户的旋转中心与视角中心之间的典型距离；以及每用户的校准数据706，诸如特定用户的瞳孔间距离。2017年4月26日提交的美国专利申请No.15/497,726(代理人案案号MLEAP.023A7)中描述了眼睛跟踪模块614可采用的外在参数、内在参数和其他信息的附加示例，其全文通过引用并入本文。
图像预处理模块710可从眼睛相机(诸如眼睛相机324)接收图像，并且可对接收到的图像执行一个或多个预处理(例如，调节)操作。作为示例，图像预处理模块710可对图像应用高斯模糊，可对图像进行下采样到较低的分辨率，可应用非锐化掩模，可应用边缘锐化算法，或者可应用其他合适的滤波器来帮助对来自眼睛相机324的图像中的闪光、瞳孔或其他特征的后期检测、定位和标记。图像预处理模块710可应用低通滤波器或形态滤波器(例如开口滤波器)，这些滤波器可去除诸如来自瞳孔边界516a(参见图5)的高频噪声，从而去除了可能妨碍瞳孔和闪光确定的噪声。图像预处理模块710可将预处理后的图像输出给瞳孔标识模块712以及闪光检测和标记模块714。
瞳孔标识模块712可从图像预处理模块710接收预处理的图像，并且可标识那些图像中包括用户的瞳孔的区域。在一些实施例中，瞳孔标识模块712可在来自相机324的眼睛跟踪图像中确定用户的瞳孔的位置的坐标或中心或形心(centroid)的坐标。在至少一些实施例中，瞳孔标识模块712可标识眼睛跟踪图像中的轮廓(例如，瞳孔虹膜边界的轮廓)，标识轮廓矩(例如，质心)，应用爆炸形(starburst)瞳孔检测和/或Canny边缘检测算法，基于强度值拒绝异常值，标识子像素边界点，校正眼睛相机扭曲(例如，由眼睛相机324捕获的图像中的扭曲)，应用随机抽样一致(RANSAC)迭代算法以将椭圆适配到眼睛跟踪图像中的边界，对图像应用跟踪滤波器，以及标识用户瞳孔形心的子像素图像坐标。瞳孔标识模块712可向闪光检测和标记模块714输出瞳孔标识数据(该瞳孔标识数据可指示预处理图像模块712的哪些区域被标识为示出了用户的瞳孔)。瞳孔标识模块712可向闪光检测模块714提供每个眼睛跟踪图像内用户的瞳孔的2D坐标(例如，用户的瞳孔的形心的2D坐标)。在至少一些实施例中，瞳孔标识模块712还可向坐标系归一化模块718提供相同种类的瞳孔标识数据。
瞳孔标识模块712可利用的瞳孔检测技术在2017年2月23日公开的美国专利公开号2017/0053165和2017年2月23日公开的美国专利公开号2017/0053166中进行了描述，其每个全部内容均通过引用整体并入本文。
闪光检测和标记模块714可从模块710接收预处理的图像，并且从模块712接收瞳孔标识数据。闪光检测模块714可使用该数据在示出用户的瞳孔的预处理图像的区域内检测和/或标识闪光(即，来自光源326的光从用户的眼睛的反射走)。作为示例，闪光检测模块714可搜索眼睛跟踪图像内的明亮区域(有时在本文中称为“团迹(blob)”或局部强度最大值)，其在用户的瞳孔附近。在至少一些实施例中，闪光检测模块714可重新缩放(例如，放大)瞳孔椭圆以包含附加的闪光。闪光检测模块714可按大小和/或强度过滤闪光。闪光检测模块714还可确定眼睛跟踪图像内的每个闪光的2D位置。在至少一些示例中，闪光检测模块714可确定闪光相对于用户的瞳孔的2D位置，其也可称为瞳孔闪光向量。闪光检测和标记模块714可标记闪光并将带有标记的闪光的预处理图像输出给3D角膜中心估计模块716。闪光检测和标记模块714还可传递数据，例如来自模块710的预处理图像和来自模块712的瞳孔标识数据。在一些实施方式中，闪烁检测和标记模块714可以确定哪个光源(例如，从包括红外光源326a和326b的系统的多个光源中)产生每个识别的闪烁。在这些示例中，闪烁检测和标记模块714可以利用识别相关联的光源的信息来标记闪烁并且将具有标记的闪烁的预处理图像输出到3D角膜中心估计模块716。
由诸如模块712和714之类的模块执行的瞳孔和闪光检测可使用任何合适的技术。作为示例，可将边缘检测应用于眼睛图像以标识闪光和瞳孔。边缘检测可通过各种边缘检测器、边缘检测算法或滤波器来应用。例如，可将Canny边缘检测器应用于图像，以检测诸如图像的线条中的边缘。边缘可包括沿着线定位的对应于局部最大导数的点。例如，可使用Canny边缘检测器来定位瞳孔边界516a(参见图5)。在确定了瞳孔的位置的情况下，可使用各种图像处理技术来检测瞳孔116的“姿势”。确定眼睛图像的眼睛姿势也可称为检测眼睛图像的眼睛姿势。姿势也可称为凝视、指向方向或眼睛的取向。例如，瞳孔可能正在向左看向对象，并且瞳孔的姿势可被分类为向左姿势。可使用其他方法来检测瞳孔或闪光的位置。例如，可使用Canny边缘检测器将同心环放置在眼睛图像中。作为另一个示例，可使用积分微分算子来找到虹膜的瞳孔或角膜缘边界。例如，可使用Daugman积分微分算子、Hough变换、或其他虹膜分割技术以返回估计瞳孔或虹膜的边界的曲线。
3D角膜中心估计模块716可从模块710、712、714接收包括检测到的闪光数据和瞳孔标识数据的预处理图像。3D角膜中心估计模块716可使用这些数据来估计用户的角膜的3D位置。在一些实施例中，3D角膜中心估计模块716可估计眼睛的角膜曲率中心或用户的角膜球的3D位置，例如，具有通常与用户的角膜共同延伸的表面部分的假想球的中心。3D角膜中心估计模块716可将指示角膜球和/或用户的角膜的估计的3D坐标的数据提供给坐标系归一化模块718、光轴确定模块722和/或光场渲染控制器618。3D角膜中心估计模块716的操作的更多细节在本文中结合图11-16C提供。2017年4月26日提交的美国专利申请No.15/497,726(代理人案号MLEAP.023A7)(其全部内容通过引用合并于此)中讨论了用于估计眼睛特征(例如角膜或角膜球)的位置的示例技术，其可由本公开的可穿戴系统中的3D角膜中心估计模块716和其他模块使用。
坐标系归一化模块718可可选地(如其虚线轮廓所示)被包括在眼睛跟踪模块614中。坐标系归一化模块718可从3D角膜中心估计模块716接收指示用户的角膜的中心(和/或用户的角膜球的中心)的估计的3D坐标，并且还可从其他模块接收数据。坐标系归一化模块718可归一化眼睛相机坐标系，这可帮助补偿可穿戴设备的滑动(例如，头戴式部件从其在用户的头部上的正常静止位置的滑动，这可由配准观察器620标识)。坐标系归一化模块718可旋转坐标系以将坐标系的z轴(例如，聚散深度轴)与角膜中心(例如，如3D角膜中心估计模块716所指示的)对齐，并且可平移相机中心(例如，坐标系的原点)到距角膜中心的预定距离(诸如30mm)处(例如，模块718可取决于是否确定眼睛相机324比预定距离更近或更远而放大或缩小眼睛跟踪图像)。通过该归一化过程，眼睛跟踪模块614能够在眼睛跟踪数据中建立一致的取向和距离，而相对独立于用户的头上的头戴式受话器定位的变化。坐标系归一化模块718可向3D瞳孔中心定位器模块720提供角膜的中心(和/或角膜球)的3D坐标、瞳孔标识数据和预处理的眼睛跟踪图像。
3D瞳孔中心定位器模块720可在归一化或非归一化坐标系中接收数据，包括用户的角膜(和/或角膜球)的中心的3D坐标、瞳孔位置数据和预处理的眼睛跟踪图像。3D瞳孔中心定位器模块720可分析此类数据以确定用户的瞳孔的中心在归一化或非归一化的眼睛相机坐标系中的3D坐标。3D瞳孔中心定位器模块720可基于以下在三个维度上确定用户的瞳孔的位置：瞳孔形心的2D位置(如模块712所确定的)、角膜中心的3D位置(如模块716所确定的)、假设的眼睛尺寸704(例如，典型用户的角膜球的大小以及从角膜中心到瞳孔中心的典型距离)以及眼睛的光学特性(例如，角膜的折射率(相对于空气的折射率)或这些的任意组合。在2017年4月26日提交的美国专利申请No.15/497,726(代理人案卷号MLEAP.023A7)中讨论了本公开的可穿戴系统中的3D瞳孔中心定位器模块720和其他模块可利用的用于估计诸如瞳孔之类的眼睛特征的位置的技术，其全文通过引用并入本文。
光轴确定模块722可从模块716和720接收数据，该数据指示用户的角膜和用户的瞳孔的中心的3D坐标。基于这样的数据，光轴确定模块722可标识从角膜中心的位置(例如，从角膜球的中心)到用户的瞳孔的中心的向量，其可定义用户的眼睛的光轴。作为示例，光轴确定模块722可将指定用户的光轴的输出提供给模块724、728、730和732。
旋转中心(CoR)估计模块724可从模块722接收数据，该数据包括用户的眼睛的光轴的参数(例如，指示光轴在与头戴式单元602具有已知关系的坐标系中的方向的数据)。例如，CoR估计模块724可估计用户的眼睛的旋转中心。当用户的眼睛向左、向右、向上和/或向下旋转时，旋转中心指示用户的眼睛围绕其旋转的点。尽管眼睛可能无法围绕奇异点(singular point)完美旋转，但假设奇异点可能就足够了。在至少一些实施例中，CoR估计模块724可通过从瞳孔的中心(由模块720标识)或角膜的曲率中心(由模块716标识)沿着光轴(由模块722标识)向视网膜移动特定距离，来估计眼睛的旋转中心。该特定距离可以是假设的眼睛尺寸704。作为一个示例，角膜的曲率中心与CoR之间的特定距离可以是大约4.7mm。可基于任何相关数据(包括用户的年龄、性别、视力处方、其他相关特征等)为特定用户更改此距离。如上所述，在一些实施方式中，角膜曲率中心或角膜中心是指角膜的一部分的曲率中心或与角膜表面的一部分重合的球面的曲率中心。例如，在一些实施方式中，角膜曲率中心或角膜中心是指角膜顶端的曲率中心或与角膜顶端的表面的一部分重合的球面的曲率中心。
在至少一些实施例中，CoR估计模块724可细化其对用户的每只眼睛的旋转中心随时间的估计。举例来说，随着时间的流逝，用户最终将旋转眼睛(看向其他地方，看向更近的东西，看向更远的东西、或某个时候向左、向右、向上或向下看)，导致其每只眼睛的光轴发生偏移。CoR估计模块724然后可分析由模块722标识的两个(或更多)光轴，并定位那些光轴的3D相交点。CoR估计模块724然后可确定旋转中心位于那个3D相交点。这样的技术可提供旋转中心的估计，其准确性随着时间的推移而提高。
可采用各种技术来提高CoR估计模块724的准确性以及所确定的左眼和右眼的CoR位置。作为示例，CoR估计模块724可通过找到针对各种不同的眼睛姿势随时间而确定的光轴的平均相交点来估计CoR。作为附加示例，模块724可过滤随时间推移所估计的CoR位置或对其求平均，可计算随时间推移所估计的CoR位置的移动平均值，和/或可应用卡尔曼滤波器以及眼睛和眼睛跟踪系统的已知动力学来估计随时间推移的CoR位置。在一些实施方式中，可以采用最小二乘法来确定光轴的一个或多个相交点。在这样的实施方式中，系统可以在给定时间点将到给定的光轴组的平方距离之和减小或最小化的位置识别为光轴相交点。作为特定示例，模块724可计算所确定的光轴相交点和假设的CoR位置(例如距眼睛的角膜曲率中心4.7mm)的加权平均值，使得确定的CoR可从假设的CoR位置(例如，在眼睛的角膜曲率中心后4.7mm处)随时间推移缓慢漂移至用户的眼睛内的稍有不同的位置，因为获得了用户的眼睛跟踪数据，从而使得能够每用户细化CoR位置。
在理想条件下，用户的眼睛的真实CoR相对于HMD的3D位置应随着用户移动他们的眼睛(例如，当用户的眼睛围绕其旋转中心旋转)而随时间变化可忽略或最小的量。换句话说，对于给定的一组眼睛运动，用户的眼睛的真实CoR(相对于HMD)的3D位置假设随时间的变化应该小于沿着用户的眼睛光轴的任何其他点。因此，遵循着沿着光轴的点距离用户的眼睛的真实CoR越远，其3D位置随着用户移动眼睛、随时间推移将表现出越大的变化(variation)或方差(variance)。在一些实施例中，CoR估计模块724和/或眼睛跟踪模块614的其他子模块可以利用这种统计关系来提高CoR估计准确度。在这样的实施例中，CoR估计模块724和/或眼睛跟踪模块614的其他子模块可以通过识别其具有低变化(例如，低方差或标准偏差)的CoR估计的变化来随时间细化它们的CoR 3D位置的估计。
作为第一示例，并且在CoR估计模块724基于多个不同的光轴(每个与用户看向不同方向相关联)的相交来估计CoR的实施例中，CoR估计模块724可以通过向每个光轴的方向引入公共偏移(例如，将每个轴移位某个均匀的量)并确定在相交点处彼此相交的偏移光轴是否具有低变化，例如低方差或标准偏差，来利用该统计关系(真实的CoR应该具有低方差)。这可以纠正计算光轴方向时的轻微系统误差，并有助于改进CoR的估计位置以更接近真实的CoR。
作为第二示例，并且在CoR估计模块724通过沿光轴(或其他轴)移动特定距离(例如，角膜曲率中心与CoR之间的距离)来估计CoR的实施例中，系统可以随时间改变、优化、调节或以其他方式调整角膜曲率中心与CoR之间的特定距离(例如，对于在不同时间捕获的大量眼睛的图像)，从而减少或最小化变化，例如估计的CoR位置的方差和/或标准偏差。例如，如果CoR估计模块724最初使用4.7mm的特定距离值(距离角膜曲率中心并沿着光轴)来获得CoR位置估计，但给定用户的眼睛的真实CoR可能是定位在眼睛的角膜曲率中心后方4.9mm处(沿光轴)，则由CoR估计模块724所获得的一组初始CoR位置估计可能表现出相对高的变化量，例如方差或标准偏差。响应于检测到这种相对较高的变化量(例如，方差或标准偏差)，CoR估计模块724可以沿着光轴寻找并识别具有较低变化量(例如，方差或标准偏差)的一个或多个点，可以将4.9mm距离识别为具有最低变化(例如，方差或标准偏差)，并因此可以将所使用的特定距离值调整为4.9mm。
CoR估计模块724可以响应于检测到当前CoR估计具有相对高的变化量(例如，方差或标准偏差)而寻找具有较低变化(例如，方差和/或标准偏差)的替代CoR估计，或者可以在获得初始CoR估计之后自然地寻找具有较低变化(例如，方差或标准偏差)的替代CoR估计。在一些示例中，这种优化/调整可以随着时间逐渐发生，而在其他示例中，这种优化/调整可以在初始用户校准会话期间进行。在校准过程期间执行这种过程的示例中，CoR估计模块724可能最初不订阅(subscribe)/遵守任何假定的特定距离，而是可以随时间收集一组眼睛跟踪数据，对该组眼睛跟踪数据执行统计分析，并基于统计分析来确定特定距离值，以产生具有最小可能量(例如，全局最小值)的变化(例如，方差或标准偏差)的CoR位置估计。
瞳孔间距离(IPD)估计模块726可从CoR估计模块724接收数据，该数据指示用户的左眼和右眼的旋转中心的估计3D位置。IPD估计模块726然后可通过测量用户的左眼和右眼的旋转中心之间的3D距离来估计用户的IPD。通常，当用户注视光学无穷远时(例如，用户的眼睛的光轴基本上彼此平行)，用户的左眼的估计CoR和用户的右眼的估计CoR之间的距离可大致等于用户的瞳孔的中心之间的距离，这是瞳孔间距离(IPD)的典型定义。用户的IPD可由可穿戴系统中的各种部件和模块使用。例如，可将用户的IPD提供给配准观察器620，并用于评估可穿戴设备与用户的眼睛对齐的程度(例如，根据用户的IPD，左和右显示器透镜是否根据用户的IPD正确分开了)。作为另一个示例，可将用户的IPD提供给聚散深度估计模块728，并用于确定用户的聚散深度。模块726可采用各种技术，例如结合CoR估计模块724所讨论的技术，以提高估计的IPD的准确性。作为示例，IPD估计模块724可应用滤波、随时间求平均、包括假设的IPD距离的加权平均、卡尔曼滤波器等，作为以准确的方式估计用户的IPD的一部分。
聚散深度估计模块728可从眼睛跟踪模块614中的各个模块和子模块接收数据(如结合图7A所示)。具体地，聚散深度估计模块728可采用指示以下的数据瞳孔中心的估计3D位置(例如，如上文所述的模块720所提供)、一个或多个确定的光轴参数(例如，如上文所述的模块722所提供)、旋转中心的估计3D位置(例如，如上文所述的模块724所提供)、估计的IPD(例如，旋转中心的估计3D位置之间的欧几里得(Euclidean)距离)(例如，如上文所述的模块726所提供)，和/或一个或多个确定的光轴和/或视轴参数(例如，如由下面描述的模块722和/或模块730所提供)。聚散深度估计模块728可检测或以其他方式获得用户的聚散深度的度量，该度量可以是距用户的距离，在该距离处用户的眼睛在聚焦。例如，当用户注视他们前方三英尺处的对象时，用户的左眼和右眼的聚散深度为三英尺；以及当用户注视着远处的风景时(例如，用户的眼睛的光轴基本彼此平行，使得用户的瞳孔的中心之间的距离可大致等于用户的左眼和右眼的旋转中心之间的距离)，用户的左眼和右眼的聚散深度为无穷大。在一些实施方式中，聚散深度估计模块728可利用指示用户的瞳孔的估计中心的数据(例如，如由模块720提供的那样)来确定用户的瞳孔的估计中心之间的3D距离。聚散深度估计模块728可通过将瞳孔中心之间的这种确定的3D距离与估计的IPD(例如，旋转中心的估计3D位置之间的欧几里得距离)进行比较来获得聚散深度的量度(例如，如以上所述的模块726所指示的)。除了瞳孔中心之间的3D距离和估计的IPD之外，聚散深度估计模块728可利用已知的、假设的、估计的和/或确定的几何形状来计算聚散深度。作为示例，模块728可在三角计算中组合瞳孔中心之间的3D距离、估计的IPD和3D CoR位置，以估计(例如，确定)用户的聚散深度。实际上，根据估计的IPD对瞳孔中心之间这样确定的3D距离进行评估可用于指示用户当前的聚焦深度相对于光学无穷远的度量。在一些示例中，聚散深度估计模块728可简单地接收或访问指示用户的瞳孔的估计中心之间的估计的3D距离的数据，以便获得这种聚散深度的度量。在一些实施例中，聚散深度估计模块728可通过比较用户的左和右光轴来估计聚散深度。特别地，聚散深度估计模块728可通过定位距用户的距离来估计聚散深度，在该距离处用户的左和右光轴相交(或者用户的左和右光轴在例如水平面的平面上的投射相交)。通过将零深度设置为用户的左和右光轴被用户的IPD分开的深度，模块728可在该计算中利用用户的IPD。在至少一些实施例中，聚散深度估计模块728可通过将眼睛跟踪数据与已知或导出的空间关系一起进行三角测量来确定聚散深度。
在一些实施例中，聚散深度估计模块728可基于用户的视轴(而不是他们的光轴)的交点来估计用户的聚散深度，这可提供对用户聚焦的距离的更准确的指示。在至少一些实施例中，眼睛跟踪模块614可包括光轴到视轴映射模块730。如结合图10在进一步细节中讨论的，用户的光轴和视轴通常不对齐。视轴是一个人观看时所沿的轴，而光轴是由该人的晶状体和瞳孔的中心定义的，并且可穿过该人的视网膜的中心。特别地，用户的视轴通常由用户的中央凹(fovea)的位置定义，该位置可能会偏移用户的视网膜的中心，从而导致光轴和视轴不同。在这些实施例中的至少一些实施例中，眼睛跟踪模块614可包括光轴到视轴映射模块730。光轴到视轴映射模块730可校正用户的光轴和视轴之间的差异，并向可穿戴系统中的其他部件(例如，聚散深度估计模块728和光场渲染控制器618)提供关于用户的视轴的信息。在一些示例中，模块730可使用假设的眼睛尺寸704，包括在光轴和视轴之间向内(经鼻地，朝向用户的鼻子)大约5.2°的典型偏移。换句话说，模块730可将用户的左光轴(经鼻地)向鼻子向右移位5.2°，并且将用户的右光轴(经鼻地)向鼻子向左移位5.2°，以便估计用户的左和右光轴的方向。在其他示例中，模块730可在将光轴(例如，如上述模块722所指示的)映射到视轴中时利用每用户校准数据706。作为附加的示例，模块730可使用户的光轴经鼻地在4.0°至6.5°之间移位、在4.5°至6.0°之间移位、在5.0°至5.4°之间移位等等，或者由这些值中的任何一个形成的任何范围。在一些布置中，模块730可至少部分地基于特定用户的特征(例如，他们的年龄、性别、视力处方或其他相关特征)来应用移位，和/或可至少部分地基于针对特定用户的校准过程来应用移位(例如，以确定特定用户的光-视轴偏移)。在至少一些实施例中，模块730还可移位左和右光轴的原点以对应于用户的CoP(由模块732确定)而不是对应于用户的CoR。
(当提供时)可选的视角中心(CoP)估计模块732可估计用户的左和右视角中心(CoP)的位置。CoP可以是可穿戴系统的有用位置，并且在至少一些实施例中，是瞳孔正前方的位置。在至少一些实施例中，CoP估计模块732可基于用户的瞳孔中心的3D位置、用户的角膜曲率中心的3D位置或这样的合适的数据或任何组合来估计用户的左和右视角中心的位置。作为示例，用户的CoP可在角膜曲率中心前方大约5.01mm(例如，在朝向眼睛的角膜并且沿着光轴的方向上距角膜球中心5.01mm)并且可沿光轴或视轴在用户的角膜的外表面后方约2.97mm处。用户的视角中心可在他们的瞳孔的中心正前方。例如，用户的CoP可距用户的瞳孔小于大约2.0mm，距用户的瞳孔小于大约1.0mm，或者距用户的瞳孔小于大约0.5mm，或者这些值之间的任何范围。作为另一个示例，视角中心可对应于眼睛的前房(anteriorchamber)内的位置。作为其他示例，CoP可距用户的瞳孔在1.0mm与2.0mm之间，大约1.0mm，在0.25mm与1.0mm之间，在0.5mm与1.0mm之间，或者在0.25mm与0.5mm之间。
本文描述的视角中心(作为渲染相机的针孔的潜在期望位置和用户的眼睛中的解剖位置)可以是用于减少和/或消除不期望的视差偏移的位置。特别地，用户的眼睛的光学系统非常近似于由透镜前面的针孔形成的理论系统，投射到屏幕上，且针孔、透镜和屏幕大致分别对应于用户的瞳孔/虹膜、晶状体和视网膜。此外，可期望当距用户的眼睛不同距离的两个点光源(或对象)围绕针孔的开口刚性旋转(例如，沿等于他们距针孔的开口的距离的曲率半径旋转)时，几乎没有或没有视差偏移。因此，似乎CoP应该位于眼睛的瞳孔的中心(并且在某些实施例中可使用这种CoP)。但是，人眼除晶状体和瞳孔的针孔外，还包括角膜，该角膜向传播到视网膜的光赋予附加的光焦度。因此，在此段中描述的理论系统中，针孔的解剖等同物可以是位于用户的眼睛的角膜的外表面与用户的眼睛的瞳孔或虹膜的中心之间的用户的眼睛区域。例如，针孔的解剖等同物可对应于用户的眼睛的前房内的区域。由于本文讨论的各种原因，可能需要将CoP设置为用户的眼睛的前房内的此类位置。
如上所述，眼睛跟踪模块614可向可穿戴系统中的其他部件(诸如光场渲染控制器618和配准观察器620)提供数据，诸如左眼和右眼旋转中心(CoR)的估计3D位置、聚散深度、左眼和右眼光轴、用户的眼睛的3D位置、用户的左和右角膜曲率中心的3D位置、用户左和右瞳孔中心的3D位置、用户左和右视角中心的3D位置、用户的IPD等。眼睛跟踪模块614还可包括检测并生成与用户的眼睛的其他方面相关联的数据的其他子模块。作为示例，眼睛跟踪模块614可包括每当用户眨眼时提供标志或其他告警的眨眼(blink)检测模块，以及每当用户的眼睛扫视(例如，快速将焦点移至另一点)时提供标志或其他告警的扫视检测模块。
眼睛跟踪和确定旋转中心的其他方法是可能的。因此，眼睛跟踪模块614可能不同。例如，在下文描述的眼睛跟踪模块的各种实施方式中，旋转中心的估计是基于多个角膜曲率中心值来确定的。在一些实施方式中，例如，如参考图17A至图19D所讨论的，眼睛跟踪模块614可以通过确定与针对不同眼睛姿势可能的多个角膜曲率中心拟合的表面的表面法线向量之间的会聚或相交来估计眼睛的旋转中心。然而，来自上文或本文其他地方描述的眼睛跟踪模块614的一个或多个特征可以包括在眼睛跟踪模块的其他实施方式中。
H.渲染控制器的示例
在图7B中示出了示例光场渲染控制器618的详细框图。如图6和7B所示，渲染控制器618可从眼睛跟踪模块614接收眼睛跟踪信息，并且可提供输出给渲染引擎622，渲染引擎622可生成要显示的图像以供可穿戴系统的用户观看。作为示例，渲染控制器618可接收聚散深度、左眼和右眼旋转中心(和/或视角中心)以及其他眼睛数据(诸如眨眼数据、扫视数据等)。
深度平面选择模块750可接收聚散深度信息和其它眼睛数据，并且基于这样的数据可使渲染引擎622将内容以特定的深度平面(例如，在特定的距离适应或焦距)传达给用户。如结合图4所讨论的，可穿戴系统可包括由多个波导形成的多个离散的深度平面，每个深度平面以变化的波前曲率水平传送图像信息。在一些实施例中，可穿戴系统可包括一个或多个可变深度平面，例如以随时间变化的波前曲率水平传送图像信息的光学元件。在这些和其他实施例中，深度平面选择模块750可部分基于用户的聚散深度，使渲染引擎622以所选深度向用户传送内容(例如，使渲染引擎622引导显示器220切换深度平面)。在至少一些实施例中，深度平面选择模块750和渲染引擎622可在不同深度处渲染内容，并且还生成和/或提供深度平面选择数据给诸如显示器220之类的显示硬件。诸如显示器220之类的显示硬件可响应于由诸如深度平面选择模块750和渲染引擎622之类的模块生成和/或提供的深度平面选择数据(其可以是控制信号)来执行电学深度平面切换。
通常，可期望深度平面选择模块750选择与用户的当前聚散深度匹配的深度平面，从而向用户提供准确的适应提示。然而，也可期望以谨慎且不引人注目的方式切换深度平面。作为示例，可期望避免在深度平面之间过度切换和/或可期望在用户不太可能注意到该切换时(例如在眨眼或眼睛扫视期间)切换深度平面。
滞后(hysteresis)带越过检测模块752可帮助避免深度平面之间的过度切换，特别是当用户的聚散深度在两个深度平面之间的中点或过渡点处波动时。特别地，模块752可使深度平面选择模块750在其深度平面的选择中表现出滞后。作为示例，模块752可仅在用户的聚散深度超过第一阈值之后才使深度平面选择模块750从第一更远的深度平面切换到第二更近的深度平面。类似地，模块752可仅在用户的聚散深度超过了离用户比第一阈值更远的第二阈值之后才使深度平面选择模块750(其继而可引导诸如显示器220的显示器)切换到第一更远的深度平面。在第一阈值和第二阈值之间的重叠区域中，模块750可使深度平面选择模块750保持当前选择的任何深度平面作为所选深度平面，从而避免深度平面之间的过度切换。
眼部事件检测模块750可从图7A的眼睛跟踪模块614接收其他眼睛数据，并且可使深度平面选择模块750延迟一些深度平面切换，直到发生眼部事件。作为示例，眼部事件检测模块750可使深度平面选择模块750延迟计划的深度平面切换，直到检测到用户眨眼为止；可从眼睛跟踪模块614中的眨眼检测部件接收数据，该数据指示用户当前何时眨眼；以及作为响应，可使深度平面选择模块750在眨眼事件期间执行计划的深度平面切换(例如通过使模块750引导显示器220在眨眼事件期间执行深度平面切换)。在至少一些实施例中，可穿戴系统能够在眨眼事件期间将内容移位到新的深度平面上，使得用户不太可能感知到该移位。作为另一示例，眼部事件检测模块750可延迟计划的深度平面切换，直到检测到眼睛扫视。如结合眨眼所讨论的那样，这样的布置可促进深度平面的离散移位。
如果需要，即使在没有眼部事件的情况下，深度平面选择模块750可在执行深度平面切换之前将计划的深度平面切换延迟有限的时间段。类似地，当用户的聚散深度基本上在当前选择的深度平面之外时(即，当用户的聚散深度已经超过预定阈值时，该阈值超出了深度平面切换的常规阈值)，深度平面选择模块750可执行深度平面切换，即使没有眼部事件也是如此。这些设置可帮助确保眼部事件检测模块754不会无限期地延迟深度平面切换，并且在存在较大的适应误差时也不会延迟深度平面切换。
渲染相机控制器758可向渲染引擎622提供指示用户的左眼和右眼在哪里的信息。然后，渲染引擎622可通过在用户的左眼和右眼的位置处模拟相机并基于模拟的相机的视角生成内容来生成内容。如上所述，渲染相机是用于渲染可能来自虚拟世界中的对象数据库的虚拟图像内容中使用的模拟相机。对象可具有相对于用户或穿戴者并且可能相对于用户或穿戴者周围的环境中的真实对象的位置和取向。渲染相机可被包括在渲染引擎中，以基于要呈现给所述眼睛的虚拟对象的数据库来渲染虚拟图像。可渲染虚拟图像，就像从用户或穿戴者的视角拍摄的一样。例如，虚拟图像可被渲染为好像被具有光圈、透镜和检测器的相机(对应于“渲染相机”)所捕获的一样，该检测器观看虚拟世界中的对象。从具有“渲染相机”的位置的这种相机的视角拍摄虚拟图像。例如，虚拟图像可被渲染为好像是从具有相对于用户或穿戴者的眼睛的特定位置的相机的视角捕获的一样，从而提供看起来是从用户或穿戴者的视角来看的图像。在一些实施方式中，图像被渲染为好像是从具有在相对于用户或穿戴者的眼睛的特定位置(例如，本文或其他地方所讨论的视角中心或旋转中心)处的光圈的相机的视角所捕获的。
渲染相机控制器758可基于由CoR估计模块724确定的左眼和右眼旋转中心(CoR)和/或基于由CoP估计模块732确定的左眼和右眼的视角中心(CoP)来确定左相机和右相机的位置。在一些实施例中，渲染相机控制器758可基于各种因素在CoR和CoP位置之间切换。作为示例，渲染相机控制器758可在各种模式下，始终将渲染相机配准到CoR位置，始终将渲染相机配准到CoP位置，在以下之间触发(toggle)或离散地切换：基于各种因素随时间推移将渲染相机配准到CoR位置以及将渲染相机配准到CoP位置，或基于各种因素随时间动态地将渲染相机沿CoR和CoP位置之间的光(或视)轴配准到不同位置范围中的任意位置。CoR和CoP位置可可选地通过平滑过滤器756(在用于渲染相机定位的任何前述模式中)，该平滑过滤器756可随着时间对CoR和CoP位置进行平均以减少这些位置中的噪声并防止渲染模拟渲染相机中的抖动。
在至少一些实施例中，渲染相机可被模拟为针孔相机，其中，针孔设置在由眼睛跟踪模块614标识的估计的CoR或CoP的位置处。当CoP偏移CoR时，无论何时渲染相机的位置基于用户的CoP，渲染相机的位置及其针孔都会随着用户的眼睛的旋转而移位。相反，无论何时渲染相机的位置基于用户的CoR，渲染相机的针孔的位置都不随眼睛旋转而移动，尽管在一些实施例中，渲染相机(其在针孔后面)可随眼睛旋转而移动。在渲染相机的位置基于用户的CoR的其他实施例中，渲染相机可能不会随用户的眼睛移动(例如，旋转)。
I.光轴与视轴之间的差异的示例
如结合图7A的光学到视觉映射模块730所讨论的，用户的光轴和视轴通常不对齐，部分原因是用户的视轴由他们的中央凹限定，并且中央凹通常不在人的视网膜的中心。因此，当一个人希望将注意力集中在特定对象上时，该人将其视轴与该对象对齐，以确保来自该对象的光落在其中央凹上，而其光轴(由其瞳孔的中心和其角膜的曲率中心限定)实际上是与该对象稍微偏移的。图8是眼睛900的示例，其示出了该眼睛的光轴902、该眼睛的视轴904、以及这些轴之间的偏移。另外，图8示出了眼睛的瞳孔中心906、眼睛的角膜曲率中心908、和眼睛的平均旋转中心(CoR)910。在至少一些人群中，眼睛的角膜曲率中心908可位于前方约4.7mm处，如由眼睛的平均旋转中心(CoR)910的尺寸912所指示的。此外，眼睛的视角中心914可位于眼睛的角膜曲率中心908前面约5.01mm，在用户的角膜的外表面916后面约2.97mm、和/或用户的瞳孔中心906正前方(例如，对应于眼睛900的前房内的位置)。作为另外的示例，尺寸912可在3.0mm与7.0mm之间，在4.0mm与6.0mm之间，在4.5mm与5.0mm之间，或者在4.6mm与4.8mm之间，或者在任何值之间的任何范围以及与这些范围中的任何一个范围内任何值。眼睛的视角中心(CoP)914对于可穿戴系统可以是有用的位置，因为在至少一些实施例中，在CoP处配准渲染相机可帮助减少或消除视差伪像。
图8还示出了人眼900内的位置，渲染相机的针孔可与之对齐。如图8所示，渲染相机的针孔可沿着人眼900的光轴902或视轴904与位置914对齐，该位置比人眼900的(a)瞳孔或虹膜906的中心以及(b)角膜曲率中心908更靠近角膜的外表面。例如，如图8所示，可沿着人眼900的光轴902将渲染相机的针孔与位置914配准，该位置914在角膜916的外表面后约2.97mm处并且在角膜曲率中心908前约5.01mm处。可将渲染相机的针孔的位置914和/或位置914所对应的人眼900的解剖区域视为表示人眼900的视角中心。如图8中所示的人眼900的光轴902表示穿过角膜曲率中心908和瞳孔或虹膜906中心的最直接线。人眼900的视轴904与光轴902不同，因为它表示从人眼900的中央凹延伸到瞳孔或虹膜906的中心的线。
J.示例可穿戴设备配置
图9A至图9E示出了用于捕获眼睛图像数据以供眼睛跟踪模块614使用的示例可穿戴设备2000的部件的示例配置。例如，如图9A所示，可穿戴设备2000可以是可穿戴系统的一部分，例如上面参考图2至图4所描述的。可穿戴设备2000可以包括左目镜2010A和右目镜2010B。左目镜2010A能够对用户的左眼进行成像，而右目镜2010B能够对用户的右眼进行成像。
如图9B所示，左目镜2010A可以包括一个或多个照明源2022。类似地，右目镜2010B可以包括一个或多个照明源2024。例如，可以有四个照明源2022和四个照明源2024。照明源2022可以定位在左目镜2010A内以向用户的左眼2012A发射光。照明源2022可以定位成不阻碍用户通过左目镜2010A的观看。例如，照明源2022可以在左目镜2010A内围绕显示器的边缘定位，以便不阻碍用户通过显示器的观看。类似地，照明源2024可以定位在右目镜2010B内以朝向用户的右眼2012B发射光。照明源2024可以定位成不阻碍用户通过右目镜2010B的观看。例如，照明源2024可以在右目镜2010B内围绕显示器边缘定位，以便不阻碍用户通过显示器的观看。照明源2022、2024可以发射可见光或不可见光。例如，照明源2022、2024可以是红外(IR)LED。照明源也可以以不同方式被定位或配置。
如图9B所示，左目镜2010A可以包括左眼成像系统。左眼成像系统可以包括一个或多个面向内相机(2014、2016)。例如，左眼成像系统可以包括用于左目镜2010A的左眼跟踪相机2014和用于左目镜2010A的右眼跟踪相机2016。左眼跟踪相机2014和右眼跟踪相机2016可以分别位于彼此的左侧和右侧，可能分别位于左目镜中心的左侧和右侧。类似地，右目镜2010B可以包括右眼成像系统。右眼成像系统可以包括一个或多个面向内相机(2018、2020)。例如，右眼成像系统可以包括用于右目镜2010B的左眼跟踪相机2018和用于右目镜2010B的右眼跟踪相机2020。左眼跟踪相机2018和右眼跟踪相机2020可以分别位于彼此的左侧和右侧，可能分别位于右目镜中心的左侧和右侧。左眼跟踪系统2010A中的一个或多个相机和右眼跟踪系统2010B中的一个或多个相机可以位于可穿戴设备2000内，以便不显眼地捕获用户的眼睛的图像。其他配置是可能的。
用于左目镜2010A的成像系统的视场能够在许多不同的眼睛姿势位置对用户的左眼2012A的全部或有用部分进行成像(并且可能不必对右眼或其一部分进行成像用于眼睛跟踪)。类似地，用于右目镜2010B的成像系统的视场能够在许多不同的眼睛姿势位置对用户的右眼2012B的全部或有用部分进行成像(并且可能不必对左眼或其一部分进行成像用于眼睛跟踪)。例如，用户可能能够在正常移动期间将他们的眼睛从中心注视在任何方向上移动最多50度。成像系统可以定位成在用户的眼睛的正常移动期间对用户的眼睛的基本上全部整个运动范围(例如，50度)集体地(collectively)成像。
图9C示出了左目镜2010A的右眼跟踪相机2016的示例视场2030和右目镜2010B的右眼跟踪相机2020的示例视场2032。图9D示出了左目镜2010A的右眼跟踪相机2014的示例视场2040和右目镜2010B的右眼跟踪相机2018的示例视场2042。图9E示出了分别来自左目镜2010A的左眼跟踪相机2014和右眼跟踪相机2016的视场2030和2040如何可以重叠以便对用户的基本上全部左眼2012A进行成像。此外，图9E示出了分别来自右目镜2010B的左眼跟踪相机2018和右眼跟踪相机2020的视场2040和2042如何可以重叠以便对用户的基本上全部右眼2012B进行成像。变化是可能的。例如，相机的数量和位置可以不同。也可以使用其他类型的成像系统。
K.利用眼睛跟踪系统定位旋转中心的示例
为了简化眼睛跟踪系统(或眼睛跟踪模块614内的过程)，可能希望减少确定人眼的旋转中心(CoR)所需的变量的数量。有利地，减少用于确定CoR的变量的数量也可以提高眼睛跟踪的准确性。例如，由于可以使用CoR来确定用于眼睛跟踪的注视向量，因此CoR中增加的误差可能导致不太准确的眼睛跟踪。CoR中的误差可能是由于在确定用于计算CoR的变量期间引入的误差。例如，CoR计算可能涉及提取瞳孔盘(disk)中心和对角膜球进行建模。这两个过程都可能引入误差并导致不准确。因此，使用有限数量的变量提取CoR可能是有利的。
本文描述了用于主要或完全从角膜数据中提取CoR的系统和方法。有利地，由于与上述类似的原因，本系统可以提高眼睛跟踪系统的准确性。例如，本系统可能需要很少的假设，从而减少了引入误差的可能性。作为提高准确性的补充或替代，本系统可以改进眼睛跟踪系统的其他方面。例如，本系统可以依赖于较短的眼睛暴露于照明源。较短的眼睛暴露可以降低与长时间眼睛暴露于照明源相关的风险，降低照明功耗，并提供高环境光抑制(rejection)。在另一个示例中，本系统可能不需要大视场。减少的视场要求可以为可穿戴系统的硬件设计提供更大的灵活性。
在一些示例中，可以从角膜数据中提取人眼的旋转中心(CoR)。图10示出了可以由眼睛跟踪模块614执行的示例CoR提取系统1000的图示。例如，可穿戴系统可以使用包括一个或多个照明源的照明系统在用户的眼睛1010的角膜1020上生成两个或更多个闪烁。在各种实施方式中，照明系统包括输出光的多个单独的区域。这些区域可以对应于单独的光发射器或光源。闪烁检测和标记模块714可以提取眼睛1010的角膜1020上的闪烁位置。如下所述，3D角膜中心估计模块716可以基于闪烁位置确定近似角膜曲率1018并计算该近似角膜曲率1018的估计中心1012。不同的眼睛姿势可以提供不同的近似角膜曲率1018和相关联的估计的角膜曲率中心1012。CoR估计模块724可以通过将表面拟合到估计中心1012并确定与该表面正交的一组表面法线向量1014的会聚或相交区域1016，基于多个估计的角膜曲率中心1012来确定估计的CoR。估计的CoR可以从这个区域1016获得，例如，估计的CoR可以在这个区域1016处或之内。
可选地，可以使用眼睛跟踪模块614进一步检查CoR估计。例如，如下文更详细描述的，如果在使用可穿戴设备期间CoR相对于设备移动，则可以通过测量新计算的角膜中心1012与拟合到该组计算的角膜中心1012的表面之间的距离来测试角膜中心1012的新测量值。如果距离太大，则眼睛跟踪模块614可以暂停眼睛跟踪或切换到确定CoR的不同方法或不同的眼睛跟踪方法。在一些示例中，切换可能是暂时的，直到收集到足够的数据以减少总体误差。
有利地，CoR提取1000可以采用一个或多个假设。例如，CoR提取1000可以假设闪烁提取是准确的，眼睛1010的几何形状是已知的，角膜的半径(或在角膜散光(astigmatism)的情况下是两个半径)是已知的，或者在用户注视的正常运动或随机运动期间收集数据。
L.示例眼睛跟踪环境
如上所述，可以根据多个估计的角膜曲率中心1012确定CoR。例如，可以将表面拟合到估计的角膜曲率中心1012，并且可以获得与该表面正交的多个表面法线向量1014。可以识别一组这些表面法线向量1014的会聚区域1016。估计的CoR可以从该会聚区域1016获得，例如，估计的CoR可以在该区域1016处或之内。
为了获得多个估计的角膜曲率中心1012，可以使用照明源在眼睛上产生闪烁并且由例如如上所述的相机来成像。图11示出了眼睛跟踪模块用于确定估计的旋转中心的任何眼睛上的闪烁的示例图像。例如，如上所述，可穿戴系统可以包括成像系统。成像系统可以对用户的眼睛1110进行成像以产生眼睛图像1101。可穿戴系统可以包括一个或多个照明源1102，该一个或多个照明源1102包括输出光的空间上单独的区域。因此，来自一个或多个照明源1102的光可以在用户的眼睛1110上产生一个或多个闪烁1104，这一个或多个闪烁1104是这些辐射光的空间上单独的区域的反射。
可穿戴系统的成像系统可以是眼睛跟踪组件的一部分(例如，如图9A至图9E所示)。成像系统可以包括一个或多个相机。例如，成像系统可以包括在与用户的眼睛1110相关的位置1106处的单个相机。在另一个示例中，成像系统可以包括可以位于与用户的眼睛1110相关的不同位置处的多个相机。
照明源1102可以包括一个或多个光源，例如发光二极管(LED)。照明源可以发射可见光或不可见光(例如，红外(IR)光)的光。例如，照明源1102可以是红外(IR)LED。照明源1102可以是眼睛跟踪组件的一部分(例如，如图9A至图9E所示)。
照明源1102可以在用户的眼睛1110的角膜上产生一个或多个镜面(specular)反射1104。镜面反射1104也可以称为闪烁。例如，可以有两个照明源(1102A、1102B)。照明源可以被配置为在用户的眼睛1110上产生两个或更多个离散的闪烁(1104A、1104B)。图11示出了其上有闪烁的用户的眼睛的图像。图11还示出了相机1106(由坐标系的原点表示)相比于眼睛1110和其上的闪烁1104A、1104B的位置以及相对于照明源1102A、1102B在它们的相对位置处的视图。
M.使用单个相机提取角膜中心所沿着的向量的示例
如上所述，位置1106处的相机可以对用户的眼睛1110上由照明源1102A、1102B产生的闪烁1104A、1104B进行成像。图12A至图12D，可以确定包括闪烁1104A的位置、位置1106处捕获闪烁的图像的相机、以及产生闪烁的照明源1102A的第一平面1220。特别地，模块可以确定包括第一照明源1102A和第一闪烁1104A的第一平面1220。类似地，如图13A至图13D所示，可以确定包括闪烁1104B的位置、位置1106处捕获闪烁的图像的相机、以及产生闪烁的照明源1102B的第二平面1320。特别地，模块716可以基于第二照明源1102B和第二闪烁1104B确定第二平面1320。如图14A至图14C所示，模块716可以确定第一平面1220和第二平面1320之间的相交。第一平面1220与第二平面1320之间的相交可以定义沿着角膜中心所在位置指向的向量1410。如图14A至图14C所示，该向量1410还可以沿着包括相机的位置1106的方向延伸。
在一些实施方式中，模块716可以通过确定第一照明源1102A、第一闪烁1104A和相机位置1106之间的一组线1210、1212、1214来确定第一平面1220。如图12A所示，模块716可以确定第一线1210，该第一线1210在相机位置1106与可以由第一照明源1102A产生的第一闪烁1104A在图像平面1101A中的位置之间延伸。如图12B所示，模块716可以确定第二线1212，该第二线1212在相机位置1106和产生第一闪烁1104A的照明源1102A的位置之间延伸。如图12C所示，模块716可以确定第三线1214，该第三线1214在第一闪烁1104A与照明源1102A的图像平面1101A中的位置之间投射。如图12D所示，这些线1210、1210和1214中的任何两条可以限定角膜中心可以位于其中的平面1220。
类似地，在一些实施方式中，模块716可以通过确定第二照明源1102B、第二闪烁1104B和相机位置1106之间的一组线1310、1312、1314来确定第二平面1320。如图13A所示，模块716可以确定第一线1310，该第一线1310在相机位置1106与可以由第二照明源1102B产生的第二闪烁1104B在图像平面1101A中的位置之间延伸。如图13B所示，模块716可以确定第二线1313，该第二线1313在相机位置1106与产生第二闪烁1104A的第二照明源1102B的位置之间延伸。如图13C所示，模块716可以确定第三线1314，该第三线1314在第二闪烁1104B在图像平面1101A中的位置与第二照明源1102B之间延伸。如图13D所示，线1310、1310和1314可以限定角膜中心可以位于其中的平面1320。
然而，在一些实施方式中，第一平面1220可以直接从第一照明源1102A和第一闪烁1104A的位置以及相机位置1106确定，而不必单独定义线1210、1210和1214。类似地，第二平面1320可以直接从第二照明源1102B和第二闪烁1104B的位置以及相机位置1106确定，而不必单独定义线1310、1310和1314。
模块716可以识别第一平面1220与第二平面1320之间的相交。如图14A和图14B所示，第一平面1220和第二平面1320的相交可以定义向量1410，该向量1410以相机位置1106为原点或以其他方式沿着可以包括相机位置的方向延伸。如图14C所示，向量1410可以指向角膜中心位置。
模块716可以多次重复估计过程以生成一个或多个角膜向量1410。例如，模块716可以基于第一照明源1102A和第一闪烁1104A利用多个不同的相机位置1106来确定定义向量的第一平面1220。相机位置1106可以关于用户的眼睛1110(例如，相对于到用户的眼睛1110的距离或相对于眼睛的水平或垂直位置或其任何组合)或者相对于照明源(1102A、1102B)的位置而变化。模块716可以确定针对一个或多个相机位置1106的向量1410。模块716然后可以从如上所述的两个或更多个向量的相交来确定角膜中心。如果两个或更多个向量不相交，则可以从向量数据内插或以其他方式外插角膜中心。附加地或替代地，眼睛跟踪模块614可以收集和分析更多数据以确定角膜中心。
模块716可以重复估计过程，同时改变与眼睛跟踪环境1100相关联的一个或多个参数。例如，模块716可以用不同的相机位置或针对用户的眼睛的不同注视方向重复该过程。眼睛跟踪模块614可以利用注视目标来确保在参数改变时用户保持他们的眼睛姿势。例如，眼睛跟踪模块614可以在用户将他们的注视指向注视目标的同时估计一个或多个向量1410，同时改变参数，例如相机的位置1106或照明源1102的位置。附加地或替代地，眼睛跟踪模块614可以在用户使用可穿戴设备期间自然地移动他们的注视时估计一个或多个向量1410。例如，眼睛跟踪模块614可以在用户的眼睛的自然运动期间捕获与不同参数相关联的数据。
重复的估计过程可以导致多个向量1410指向与特定眼睛姿势相关联的角膜中心。模块716可以确定多个向量1410的相交或会聚区域以生成估计的角膜曲率中心。
N.使用多个相机提取角膜中心沿其所在的向量的示例
在各种实施方式中，可以采用多个相机来对眼睛进行成像，并且来自多个相机的图像可以用于确定该眼睛的角膜的曲率中心。特别地，模块716可以确定角膜中心可以沿着其定位的向量(1510、1530)。图15A至图16C示出了用于采用多个相机确定这种向量的示例过程中的步骤。例如，如图15A所示，在第一位置1506的第一相机可以对于用户的眼睛1501上由照明源1502A、1502B产生的闪烁1504A、1504B进行成像，并且在位置1526的第二相机可以对在用户的眼睛1501上由照明源1522A、1522B产生的闪烁1524A、1524B进行成像。模块716可以基于与位置1506处的第一相机和照明源1502A、1502B相关联的数据来确定第一向量1510，并且可以确定与位置1526处的第二相机和照明源1522A、1522B相关联的第二向量1530。如图15B所示，模块716可以通过确定第一向量1510与第二向量1530之间的会聚或相交来估计角膜中心1520。
为了获得第一向量1510，模块716可以通过确定第一照明源1502A、图像平面1503A中的第一闪烁位置1504A、和第一位置1506处的第一相机之间的一组线(未示出)来识别第一平面1512。模块716可以通过确定第二照明源1502B、图像平面1503A中的第二闪烁位置1504B、和第二相机位置1506之间的一组线(未示出)来确定第二平面1514。模块716可以通过确定这些第一平面1512和第二平面1514之间的相交来确定向量1510。这些平面1512和1514的相交可以定义向量1510，其原点位于相机位置1506，指向角膜曲率中心位置。
然而，在一些实施方式中，第一平面1512可以直接从第一照明源1502A、第一闪烁1504A和第一相机1106的位置确定，而不必单独定义一条或多条线。类似地，第二平面1514可以直接从第二照明源1502B、第二闪烁1504B和第一相机1506的位置确定，而不必单独定义一条或多条线。
模块716可以类似地通过确定第一照明源1522A、图像平面1503B中的第一闪烁位置1524A、和位置1526处的第一相机之间的一组线(未示出)来确定第一平面1532。模块716可以通过确定第二照明源1522B、图像平面1503B中的第二闪烁位置1524B、和相机位置1526之间的一组线(未示出)来确定第二平面1534。模块716可以通过确定这些第一平面1532和第二平面1534之间的相交来确定第二向量1530。平面1532和1534的相交可以定义向量1530，其原点位于相机位置1526，可以指向角膜曲率中心位置。然而，在一些实施方式中，第一平面1532可以直接从第一照明源1522A、第一闪烁1524A和第二相机1526的位置确定，而不必单独定义一条或多条线。类似地，可以直接从第二照明源1522B、第二闪烁1524B和第二相机1526的位置确定第二平面1534，而不必单独定义一条或多条线。
如图15B所示，模块716可以基于这些第一向量1510和第二向量1530来确定角膜曲率中心位置。例如，模块716可以确定这些向量1510和1530的会聚或相交1520。会聚或相交1520可以对应于近似的角膜中心位置。如果向量1510和1530不相交，则可以从向量数据内插或以其他方式外插角膜曲率中心。附加地或替代地，眼睛跟踪模块614可以收集和分析更多数据以确定角膜曲率中心1520。
图16A至图16C示出了用于使用多个相机确定角膜曲率中心的另一个示例过程。如图16A所示，可穿戴系统可以具有一组共享照明源1602A、1602B，其可以与多个眼睛相机一起使用。共享照明源1602A、1602B可以是与一个或多个相机相关联的一组单独照明源的补充或替代。该组共享照明源1602A、1602B可以在用户的眼睛上产生闪烁1604A、1604B、1604C、1604D。
如图16B所示，模块716可以使用共享照明源1602A、1602B确定一组平面。例如，模块716可以通过确定第一照明源1602A、图像平面1503A中的第一闪烁位置1604A、和位置1506处的第一相机之间的一组线(未示出)来确定第一平面1630。模块716可以通过确定第二照明源1602B、第一图像平面1503A中的第二闪烁位置1604B、和第一相机位置1506之间的一组线(未示出)来确定第二平面1632。
然而，在一些实施方式中，第一平面1630可以直接从第一照明源1602A、第一图像平面1503A中的第一闪烁1604A、和第一相机1506的位置确定，而不必单独定义一条或多条线。类似地，第二平面1632可以直接从第二照明源1602B、第二闪烁1604B、和第一相机1506的位置确定，而不必单独定义一条或多条线。
模块716可以通过确定第一照明源1602A、图像平面1503B中的第一闪烁位置1604C、和位置1526处的第二相机之间的一组线(未示出)来确定不同的第一平面1634。模块716可以通过确定第二照明源1602B、第二图像平面1503B中的第二闪烁位置1604D、和第二相机位置1526之间的一组线(未示出)来确定单独的不同平面1636。
然而，在一些实施方式中，不同的第一平面1634可以直接从第一照明源1602A、图像平面1503B中的第一闪烁1604C、和第二相机1526的位置确定，而不必单独定义一条或多条线。类似地，不同的第二平面1636可以直接从第二照明源1602B、第二闪烁1604D、和第二相机1526的位置确定，而不必单独定义一条或多条线。
如图16C所示，模块614可以确定平面1630和1632之间的相交以确定向量1610。平面1630和1632的相交可以定义向量1610，其原点位于相机位置1506，可以指向角膜中心位置。类似地，模块614可以确定平面1634和1636之间的相交以确定向量1630。平面1634和1636的相交可以定义向量1630，其原点位于相机位置1526，可以指向角膜中心位置。
继续参考图16C，模块716可以基于向量1610和1630确定角膜曲率中心位置。例如，模块716可以确定第一向量1610和第二向量1630的会聚或相交1620。会聚或相交1620可以对应于近似的角膜曲率中心位置。如果第一向量1610和第二向量1630不相交，则可以从向量数据内插或以其他方式外插角膜曲率中心。附加地或替代地，眼睛跟踪模块614可以收集和分析更多数据以确定角膜曲率中心。
模块716可以针对用户的眼睛的多个注视方向重复估计过程。例如，可穿戴系统可以显示一个或多个注视目标，用户可以将他们的注视指向这些目标。眼睛跟踪模块614可以估计一个或多个向量1410，同时用户将他们的注视指向注视目标。附加地或替代地，眼睛跟踪模块614可以在用户在使用可穿戴设备期间自然地移动他们的注视时估计一个或多个向量1410。例如，眼睛跟踪模块614可以在用户的眼睛的自然运动期间捕获与不同参数相关联的数据。如下所述，在用户的眼睛的不同眼睛姿势或注视向量处捕获的数据可用于计算多个角膜中心，该多个角膜中心可由CoR估计模块724用于估计CoR。
O.估计旋转中心
旋转中心(CoR)估计模块724可以基于估计的角膜曲率中心1012来确定估计的旋转中心。例如，CoR估计模块724可以将表面拟合到一个或多个估计的角膜曲率中心，并确定与拟合曲面正交的一组表面法线向量。表面法线向量可在可对应于估计的CoR的点或区域处会聚或相交。
为了确定表面，模块614可以分析多个眼睛图像。例如，可穿戴系统可以在用户的眼睛1501处于一个或多个眼睛姿势时，对用户的眼睛1501进行成像(例如，利用面向内的成像系统462)。在一些实施方式中，模块614可以通过在可穿戴设备的显示器上显示注视目标来提示一个或多个眼睛姿势或注视方向。附加地或替代地，模块614可以收集与在使用可穿戴设备期间自然发生的一个或多个眼睛姿势相关联的数据。
如图17A和图17B所示，模块614可以基于在用户的眼睛处于一个或多个眼睛姿势时由可穿戴系统收集的数据来确定多个角膜曲率中心1712。例如，模块614可以使用作为模块716的一部分的一个或多个相机多次执行如上所述的角膜曲率中心估计过程(例如，针对用户的眼睛1501的不同注视方向或眼睛姿势)。模块716的角膜中心估计过程的输出可以包括多个估计的角膜曲率中心1712。
多个角膜曲率中心1712可以位于三维(3D)空间的区域1710内。区域1710可以落在角膜球1022内。在不服从任何特定科学理论的情况下，多个角膜曲率中心1712可以根据角膜曲率1018的形状在区域1710内大致对齐。例如，多个角膜曲率中心1712可以在区域1710内对齐，以便勾勒出与角膜1020的形状基本平行或基本相同的形状。在角膜基本为球形的情况下，多个角膜中心1712可以在距离大约相当于角膜的半径处大致遵循角膜曲率1018。在散光的情况下(或在角膜不是基本上球形的情况下)，多个角膜中心1712可以在距离大约等于角膜几何形状的一个或多个半径处大致遵循角膜曲率1018。
在各种实施方式中，模块614可以确定多个角膜中心1712是否落在从角膜1022的表面到角膜球1022的中心的预期距离的确定范围(margin)内。例如，角膜球1022可以是球形的或散光的(例如，具有不同于球形的几何形状)。预期距离可以对应于到角膜球1022几何形状的中心的距离。例如，在角膜几何形状是球形的情况下，预期距离可以是角膜球1022的半径。如果角膜中心1712落在所确定的范围之外，则模块614可以减少离群值在进一步分析中的贡献。例如，模块614可以将离群数据点排除在进一步分析之外。附加地或替代地，如果阈值数量的角膜中心1712落在所确定的范围之外，则模块614可以停止分析，直到获取进一步的数据或切换到确定旋转中心的不同方法。
如图17B所示，模块724可以将3D表面1714拟合到多个角膜中心1712。模块724可以例如使用回归分析来拟合3D表面。模块724可以利用合适的表面或曲线拟合技术来确定拟合。模块724可以使用例如多项式回归来将角膜中心1712拟合到低阶多项式3D表面1714。在另一个示例中，模块724可以将几何拟合应用于角膜中心1712(例如，总最小二乘拟合)。在一些示例中，表面1714可以具有与角膜曲率1018相似的曲率。在其他示例中，表面1714可以具有与角膜曲率1018不同的形状。
模块724可以确定正交于表面1714的一组表面法线向量。图18A图示了使用表面法线向量1814的CoR(或眼球中心“EBC”)的示例计算1800。例如，模块716可以确定一组估计的角膜中心1812。模块724可以将表面1714(如图17B所示)拟合到估计的角膜中心1812。模块724然后可以确定正交于表面1714的一个或多个表面法线向量1814。表面法线向量1814可以源自估计的角膜曲率中心1812。例如，模块724可以针对用于确定表面1714的每个估计的角膜曲率中心1812确定表面法线向量1814。在一些实施方式中可以使用较少的表面法线。附加地或替代地，表面法线向量1814可以源自表面1714上的其他点。
模块724可以确定表面法线向量1814的会聚区域1802。例如，如图18A的插图1801所示，一些或所有表面法线向量1814可以在3D空间的区域1802中会聚或相交。3D空间的区域1802可以是法线向量相交和/或会聚的交点或3D空间体积(例如，图19C和图19D中的体积1920)。3D空间的体积可以以表面法线向量1814的相交或会聚的中间点为中心。3D空间的体积可以大到足以包含大部分交点。
会聚区域1802可以包括与不同注视方向或眼睛姿势对应的不同会聚或相交区域。例如，会聚区域1802可以包括与第一注视方向(例如，底部注视)对应的子区域1820和与第二注视方向(例如，顶部注视)对应的子区域1822。在一些示例中，子区域1820、1822可以对应于与可穿戴设备的显示器的区域相关联的近似CoR。例如，第一子区域1820可以对应于显示器的上部区域，而第二子区域1822可以对应于显示器的下部区域。
模块724可以通过分析会聚区域1802来确定CoR。例如，模块724可以通过确定向量1814的会聚或相交点的众数(mode)或中值来确定CoR。附加地或替代地，模块724可以通过以下来确定CoR：首先确定基于注视的会聚或相交点，例如子区域1820、1822中的向量1814的会聚或相交点的众数或中值，然后基于那些基于注视的会聚或相交点确定众数或中值。附加地或替代地，模块724可以执行会聚点或相交点的不同分析以确定CoR。例如，模块724可以利用机器学习算法来确定CoR。
在一些示例中，计算的角膜曲率中心的变化可以导致与单个相交点相反的更宽的会聚区域1824。图18B示出了利用区域1824的示例性CoR计算1803。例如，计算的角膜曲率中心1832相对于拟合的3D表面1830可能是有噪声的。有噪声的角膜中心1832可能导致区域1824，在该区域1824中，CoR或眼球中心(EBC)可能基于向量(未示出)与角膜中心1832处的原点的相交。在一些实施方式中，模块614可以使用区域1824来计算注视方向。例如，模块614可以将CoR确定为区域1824的中心或在区域1824内或之上或以其他方式基于区域1824的某个其他位置。
在各种实施方式中，模块724可以选择估计的角膜中心1910的一部分来确定CoR。图19A-1和图19A-2示出了拟合到可以使用数据缩减过程来选择的估计角膜中心1910的一部分的示例表面1912。图19B-1和图19B-2示出了可以正交于表面1912的示例向量1916。向量1916可以源自所选的估计角膜中心1910。图19C-1和图19C-2示出了基于向量1916的会聚或相交的点或区域的估计的CoR区域1920。如图19D-1和图19D-2所示，其中模块724没有选择角膜中心1910来拟合表面1912，许多向量1922可能不会在区域1920内会聚或相交。
在各种实施方式中，模块724可以基于确定的法线向量1916的会聚区域来选择估计的角膜中心1910。例如，模块724可以确定法线向量1922相交的大区域。在一些实施方式中，如果大区域具有大于阈值体积的体积，则模块724可以确定较小的一组角膜中心1910，利用该较小的一组角膜中心1910来确定CoR。在一些实施方式中，阈值体积可以包括用于确定与基于CoR的注视跟踪的阈值准确度相关联的该CoR的合适体积。例如，用户的眼睛的体积的30％体积可能与注视跟踪的准确性降低80％相关联。在确定的体积大于阈值体积的情况下，模块724可以基于任何数量的合适的数据选择标准来选择较小的一组角膜中心1910，如下所述。
附加地或替代地，模块724可以选择估计的角膜中心1910用于使用任何数量的数据简化过程(例如机器学习算法或过滤过程)进行分析。例如，模块724可以过滤数据以消除异常值。过滤器可以包括确定与给定角膜中心1910相关联的置信度分数并且基于它们的置信度分数来选择角膜中心1910。在一些示例中，可以基于角膜曲率中心1910偏离角膜曲率中心1910或表面1912的二次计算或确定来确定置信度分数。在一些示例中，置信度分数可以是基于角膜曲率中心1910相对于拟合表面1912的位置(例如，角膜中心1910与拟合表面1912的偏差)。在一些示例中，可以基于用于确定角膜曲率中心1910的闪烁提取中的计算误差来确定置信度分数。例如，如果被分析以提取闪烁的眼睛图像中存在误差(例如，由于模糊、图像中的障碍、失真或其他噪声源)，则闪烁提取可能具有高误差。
P.旋转提取角膜曲率中心的示例应用
图20示出了可以由眼睛跟踪模块614实现的示例旋转中心提取过程2100。例如，旋转中心提取过程2100可以包括一个或多个角膜中心估计过程2108、拟合框2116、向量确定框2118，会聚或相交确定框2120、和旋转中心确定框2122。
模块614可以执行多个块作为一个或多个角膜中心估计过程2108的一部分。例如，角膜中心估计过程2108可以包括图像接收框2110、闪烁确定框2112、和角膜中心确定框2114。
在图像接收框2110，模块614可以接收用户的眼睛的一个或多个图像。图像可以从与用户佩戴的可穿戴设备相关联的成像系统获得。例如，可穿戴设备可以是包括左目镜2010A和右目镜2010B的头戴式显示器，该头戴式显示器具有包括面向内相机2014、2016、2018和2020的成像系统，如图9A至图9D所示。模块614可以可选地分析图像的质量。例如，模块614可以确定图像是否通过质量阈值。阈值可以包括与模糊、障碍、不想要的闪烁相关的图像质量的度量或可能影响旋转中心分析的准确性的其他质量度量。如果模块614确定图像通过图像质量阈值，则模块614可以在进一步分析中使用图像。
在闪烁确定框2112，模块614可以分析从框2110接收的图像以确定图像内的一个或多个闪烁的位置。如上面参考图12A至图16C所描述的，闪烁位置可以对应于由一个或多个照明源在图像平面中产生的一个或多个闪烁的位置。附加地或替代地，闪烁位置可以对应于由一个或多个照明源产生的一个或多个闪烁在用户的眼睛的坐标系中的位置。也可以获得针对不同相机和/或不同相机位置的闪烁。
在角膜中心确定框2114，模块614可以分析闪烁位置以确定估计的角膜曲率中心。如上面参考图12A至图16C所示，该确定可以涉及基于闪烁、照明源和相机位置来确定角膜曲率中心沿其定位的向量。该确定还可以涉及基于那些向量中的一个或多个的相交位置来确定估计的角膜曲率中心。
附加地或替代地，模块614可以多次执行一个或多个框。例如，模块614可以多次执行框2110、2112和2114。例如，模块614可以针对来自框2110的每个眼睛图像或一组眼睛图像多次执行2112和2114，以便计算一个或多个角膜曲率中心。在另一示例中，模块614可以针对多个眼睛姿势或条件执行框2110、2112和2114。例如，模块614可以接收处于不同眼睛姿势或不同注视方向的用户的眼睛的图像。附加地或替代地，模块614可以接收具有不同相机条件的用户的眼睛的图像，例如距离用户的眼睛的相机距离、相对于用户的眼睛的垂直或水平位置或其任何组合，这可以提供不同的相机视角和/或针对具有不同位置和/或视角的不同相机。如上所述，可穿戴设备可以通过例如在显示器的不同区域中显示注视目标来提示用户参与不同的眼睛姿势。例如，可穿戴设备可以显示与显示器的上中心区域、显示器的下中心区域、显示器的中心区域、显示器的中心区域的左侧、和显示器的中心区域的右侧相对应的五个注视目标。这五个注视目标可以对应于用户的五个不同的眼睛姿势。附加地或替代地，可穿戴系统可以捕获在使用可穿戴系统期间用户的眼睛自然运动期间出现的不同眼睛姿势。
模块614可以继续收集数据直到满足阈值标准。例如，阈值标准可以包括误差范围、数据点的数量、或眼睛姿势的最小值、阈值或目标多样性(diversity)。在一些示例中，误差范围可以对应于计算的角膜曲率中心的最小值、阈值或目标数量，在计算的旋转中心或角膜曲率中心与拟合表面的偏差、它们的某种组合等中实现最小、阈值或目标误差水平。其他方法是可能的。
在框2116，模块614可以将表面拟合到从过程2108输出的一个或多个角膜中心。参考图17A和17B，模块614可以执行回归分析以生成拟合表面。例如，模块614可以执行多项式回归以生成角膜中心的低阶多项式3D表面。然而，可以使用其他技术。
在框2118，模块614可以从框2116的拟合表面确定表面法线向量。如上面参考图18A所述，模块614可以确定正交于拟合表面的表面法线向量，其起源于或经过角膜曲率中心。附加地或替代地，模块614可以确定源自拟合表面上的任何点的表面法线向量。其他方法也是可能的。
在框2120，模块614可以确定在框2118确定的表面法线向量的会聚区域。如上面参考图19A至图19E所述，模块614可以确定表面法线向量的会聚点或会聚区域。会聚区域可以是表面法线向量的大部分在其中会聚和/或相交的空间体积。会聚点或会聚区域可以近似对应于或帮助估计用户的眼睛的旋转中心。
在框2122，模块614可以基于从框2120确定的会聚区域来确定旋转中心。旋转中心可以例如在会聚区域处、在会聚区域内或在会聚区域上。还可以基于会聚区域确定旋转中心的其他位置。在一些实施方式中，如上所述，模块614可以针对阈值标准(例如，误差)分析会聚区域。如果模块614确定会聚区域不满足阈值标准(例如，对于误差和/或体积)，则模块614可以不输出旋转中心。如果模块614确定会聚区域满足阈值标准，则模块614可以确定旋转中心是会聚区域的中心。
Q.使用角膜曲率中心提取旋转中心的眼球跟踪过程示例
图21示出了示例性眼睛跟踪过程2200，其可以使用确定角膜曲率中心的过程2100来提取旋转中心(例如，如上面参考图20所描述的)。该示例中的过程2200可以包括旋转中心确定框2210、误差确定框2212、阈值确定框2214、替代眼睛跟踪框2216、和角膜眼睛跟踪框2218。
在旋转中心确定框2210，模块614可以使用角膜数据确定旋转中心。例如，模块614可以使用上面参照图21描述的过程2100来确定旋转中心。在误差确定框2212，模块614可以确定与来自框2210的旋转中心相关联的误差。在框2214，模块614可以分析来自框2212的误差以确定它是否超过阈值误差值。在一些实施方式中，阈值误差值可以对应于与旋转中心与预期值的偏差(例如，高度偏差或阈值偏差)相关联的值。在一些实施方式中，预期值可以包括基于不同旋转中心确定过程的旋转中心位置、基于眼睛几何形状的预期旋转中心、跨用户群体的平均旋转中心、或其他合适的旋转中心值。可以使用其他阈值。如果误差超过阈值，则模块614可以在框2216利用替代的眼睛跟踪或旋转中心估计方法。如果误差不超过阈值，则模块614可以在框2218利用来自框2210的计算的旋转中心。
R.眼睛跟踪不可用时的示例
在一些实施例中，可以不提供眼睛跟踪或者眼睛跟踪可以暂时不可用。例如，眼睛跟踪相机324或光源326可能被遮挡、损坏、或被用户禁用，环境照明条件可能使眼睛跟踪异常困难，可穿戴系统可能以阻止眼睛跟踪的方式安装不当，用户可能眯着眼睛或眼睛不易被跟踪等。此时，可穿戴系统可被配置为在没有眼睛跟踪数据的情况下依赖各种策略来定位渲染相机和选择深度平面。
例如，关于渲染相机，如果用户的瞳孔没有被检测到超过预定阈值，例如几秒或比典型眨眼更长，则可穿戴系统可以将渲染相机定位到默认位置。可穿戴系统可能会以平滑的移动将渲染相机移动到默认位置，这可能会遵循例如过阻尼振荡器模型。在一些实施方式中，可以将默认位置确定为对特定用户的可穿戴系统的校准过程的一部分。然而，默认位置可能是用户的左眼和右眼的旋转中心。这些仅仅是说明性示例。
S.在周围环境中检测对象的计算机视觉
如上所讨论的，显示系统可被配置为检测用户周围的环境中的对象或特性。如本文所讨论的，可使用包括各种环境传感器(例如，相机、音频传感器、温度传感器等)的各种技术来完成检测。
在一些实施例中，可使用计算机视觉技术来检测环境中存在的对象。例如，如本文所公开的，显示系统的面向前的相机可被配置为对周围环境成像，并且显示系统可被配置为对图像执行图像分析以确定对象在周围环境中的存在。显示系统可分析由面向外部的成像系统获取的图像以执行场景重建、事件检测、视频跟踪、对象识别、对象姿势估计、学习、索引、运动估计、或图像恢复等。作为其他示例，该显示系统可被配置为执行面部和/或眼睛识别以确定在用户的视场中面部和/或人眼的存在和位置。可使用一种或多种计算机视觉算法来执行这些任务。计算机视觉算法的非限制性示例包括：尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、定向FAST和旋转BRIEF(ORB)、二进制鲁棒不变可扩展关按键点(BRISK)、快速视网膜关按键点(FREAK)、Viola-Jones算法、Eigenfaces方法、Lucas-Kanade算法、Horn-Schunk算法、均值漂移(Mean-shift)算法、视觉同时定位和地图构建(vSLAM)技术、顺序贝叶斯估计器(例如，卡尔曼滤波器、扩展卡尔曼滤波器等)、光束法平差(bundleadjustment)、自适应阈值(和其他阈值技术)、迭代最近点(ICP)、半全局匹配(SGM)、半全局块匹配(SGBM)、特征点直方图、各种机器学习算法(例如，支持矢量机、k最近邻算法、朴素贝叶斯、神经网络(包括卷积或深度神经网络)、或其他有监督/无监督模型等)，等等。
这些计算机视觉技术中的一个或多个也可与从其他环境传感器(例如，麦克风)获取的数据一起使用，以检测和确定由传感器检测到的对象的各种特性。
如本文中所讨论的，可基于一个或多个标准来检测周围环境中的对象。当显示系统使用计算机视觉算法或使用从一个或多个传感器组件(其可以是或可不是显示系统的一部分)接收到的数据检测到周围环境中存在或缺乏标准时，显示系统可随后发信号通知对象的存在。
T.机器学习
各种机器学习算法可用于学习标识周围环境中对象的存在。一旦训练后，机器学习算法可由显示系统存储。机器学习算法的一些示例可包括：有监督或无监督的机器学习算法、包括回归算法(例如，普通最小二乘回归)、基于实例的算法(例如，学习矢量量化)、决策树算法(例如，分类和回归树)、贝叶斯算法(例如，朴素贝叶斯)、聚类算法(例如，k-均值聚类)、关联规则学习算法(例如，先验算法)、人工神经网络算法(例如，感知器)、深度学习算法(例如，深度玻尔兹曼机、或深度神经网络)、降维算法(例如，主要成分分析)、整体算法(例如，堆叠泛化)和/或其他机器学习算法。在一些实施例中，可以为各个数据集定制各个模型。例如，可穿戴设备可以生成或存储基本模型。基本模型可以用作起点以生成特定于数据类型(例如，特定用户)、数据集(例如，获得的附加图像的集合)、有条件情况或其他变化的附加模型。在一些实施例中，显示系统可被配置为利用多种技术来生成用于分析聚合数据的模型。其他技术可以包括使用预定义的阈值或数据值。
用于检测对象的标准可包括一个或多个阈值条件。如果对由环境传感器获取的数据的分析指示通过了阈值条件，则显示系统可提供指示检测到周围环境中对象存在的信号。阈值条件可涉及定量和/或定性测量。例如，阈值条件可包括与反射和/或对象存在于环境中的可能性相关联的分数或百分比。显示系统可将根据环境传感器的数据计算出的分数与阈值分数进行比较。如果分数高于阈值水平，则显示系统可检测到反射和/或对象的存在。在一些其他实施例中，如果分数低于阈值，则显示系统可发信号通知环境中对象的存在。在一些实施例中，阈值条件可基于用户的情绪状态和/或用户与周围环境的交互来确定。
在一些实施例中，阈值条件、机器学习算法、或计算机视觉算法可专用于特定环境。例如，在诊断环境中，计算机视觉算法可专用于检测对刺激的某些响应。作为另一个示例，如本文所讨论的，显示系统可执行面部识别算法和/或事件跟踪算法以感测用户对刺激的反应。
将会意识到，本文描述和/或附图中描绘的每个过程、方法和算法可以体现在由一个或多个被配置为执行专门的和特定的计算机指令的物理计算系统、硬件计算机处理器、专用电路和/或电子硬件中以及全部或部分地由其自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如服务器)或专用计算机、专用电路等。代码模块可被编译并链接到可执行程序中、安装在动态链接库中，或者可以用解释性编程语言来编写。在一些实施例中，特定的操作和方法可以由特定于给定功能的电路执行。
此外，本公开的功能的某些实施例在数学上、计算上或技术上都足够复杂，以致于可能需要专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)来执行功能，例如由于所涉及计算的量或复杂性，或为了实质上实时地提供结果。例如，视频可以包括许多帧，每个帧具有数百万个像素，并且需要专门编程的计算机硬件来处理视频数据，以在商业上合理的时间量内提供所需的图像处理任务或应用。
代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上，例如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储设备、它们和/或类似存储器的组合等。在一些实施例中，非暂时性计算机可读介质可以是本地处理和数据模块(140)、远程处理模块(150)和远程数据存储库(160)中的一个或多个的一部分。方法和模块(或数据)还可以作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)在各种计算机可读传输介质(包括基于无线的和基于有线的/电缆的介质)上发送，并且可以采用多种形式(例如作为单个或多路复用模拟信号的一部分，或作为多个离散数字分组或帧)。所公开的过程或过程步骤的结果可以永久地或以其他方式存储在任何类型的非暂时性有形计算机存储器中，或者可以经由计算机可读传输介质进行传递。
本文描述的和/或在附图中描绘的流程图中的任何过程、框、状态、步骤或功能应被理解为潜在地表示代码模块、代码段或代码部分，其包括用于在流程中实现特定功能(例如逻辑或算术)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能可以组合、重新布置、添加到本文提供的说明性示例、从本文提供的说明性示例中删除、修改或以其他方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行本文描述的一些或全部功能。本文描述的方法和过程也不限于任何特定的顺序，并且与之相关的框、步骤或状态可以以适当的其他顺序(例如串行、并行或以某些其他方式)来执行。可以将任务或事件添加到所公开的示例实施例中或从中删除。此外，本文描述的实施例中的各种系统组件的分离是出于说明的目的，并且不应被理解为在所有实施例中都需要这种分离。应当理解，所描述的程序组件、方法和系统通常可以被集成在一起在单个计算机产品中或包装到多个计算机产品中。
U.其他考虑
本文描述和/或附图中描绘的每个过程、方法和算法可以体现在由一个或多个被配置为执行专门的和特定的计算机指令的物理计算系统、硬件计算机处理器、专用电路和/或电子硬件中以及全部或部分地由其自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如服务器)或专用计算机、专用电路等。代码模块可被编译并链接到可执行程序中、安装在动态链接库中，或者可以用解释性编程语言来编写。在一些实现中，特定的操作和方法可以由特定于给定功能的电路执行。
此外，本公开的功能的某些实现在数学上、计算上或技术上都足够复杂，以致于可能需要专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)来执行功能，例如由于所涉及计算的量或复杂性，或为了实质上实时地提供结果。例如，动画或视频可以包括许多帧，每个帧具有数百万个像素，并且需要专门编程的计算机硬件来处理视频数据，以在商业上合理的时间量内提供所需的图像处理任务或应用。
代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上，例如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储设备、它们和/或类似存储器的组合等。方法和模块(或数据)也可以作为生成的数据信号(例如作为载波或其他模拟或数字传播信号的一部分)在包括基于无线的和基于有线/电缆的介质的各种计算机可读传输介质上进行发送，并且可以采用多种形式(例如作为单个或多路复用模拟信号的一部分，或作为多个离散数字分组或帧)。所公开的过程或过程步骤或动作的结果可以永久地或以其他方式存储在任何类型的非暂时性有形计算机存储器中，或者可以经由计算机可读传输介质进行传递。
本文描述的和/或在附图中描绘的流程图中的任何过程、框、状态、步骤或功能应被理解为潜在地表示代码模块、代码段或代码部分，其包括用于在流程中实现特定功能(例如逻辑或算术)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能可以组合、重新布置、添加到本文提供的说明性示例、从本文提供的说明性示例中删除、修改或以其他方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行本文描述的一些或全部功能。本文描述的方法和过程也不限于任何特定的顺序，并且与之相关的框、步骤或状态可以以适当的其他顺序(例如串行、并行或以某些其他方式)来执行。可以将任务或事件添加到所公开的示例实施例中或从中删除。此外，本文描述的实现中的各种系统组件的分离是出于说明的目的，并且不应被理解为在所有实现中都需要这种分离。应当理解，所描述的程序组件、方法和系统通常可以被集成在一起在单个计算机产品中或包装到多个计算机产品中。许多实现变型是可能的。
可以在网络(或分布式)计算环境中实现过程、方法和系统。网络环境包括企业范围的计算机网络、企业内网、局域网(LAN)、广域网(WAN)、个人区域网(PAN)、云计算网络、众包计算网络、互联网和万维网。该网络可以是有线或无线网络或任何其他类型的通信网络。
本公开的系统和方法各自具有若干创新方面，其中，没有一个对本文公开的期望属性负有单独责任或要求。上述的各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合旨在落入本公开的范围内。对本公开中描述的实现的各种修改对于本领域技术人员而言是显而易见的，并且在不脱离本公开的精神或范围的情况下，本文中定义的一般原理可以应用于其他实现。因此，权利要求书无意限于本文中所示的实现，而是应被赋予与本文中所揭示的本发明、原理及新颖特征一致的最广范围。
在本说明书中在单独的实现的上下文中描述的某些特征也可以在单个实现中组合实现。相反，在单个实现的上下文中描述的各种特征也可以分别在多个实现中或以任何合适的子组合来实现。而且，尽管以上可以将特征描述为以某些组合起作用并且甚至最初如此宣称，但是在某些情况下可以从组合中切除所要求保护的组合中的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变体。对于每个实施例，没有单个特征或一组特征是必要的或必不可少的。
这里使用的条件语言，尤其例如“能够”、“会”、“可能”、“可以”、“例如”等，除非另有明确说明，否则在所使用的上下文中理解为通常意在传达某些实施例包括而其他实施例不包括某些特征、元素和/或步骤。因此，这样的条件语言通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或没有作者输入或提示的情况下决定这些特征、元素和/或步骤是否在任何特定实施例中被包括或将被执行的逻辑。术语“包括”、“包含”、“具有”等是同义词，以开放式方式包含地使用，并且不排除附加要素、特征、动作、操作等。而且，术语“或”以其包含的含义使用(而不是以其排他的含义使用)，因此例如在用于连接元素列表时，术语“或”表示列表中的一个、一些或全部元素。另外，在本申请和所附权利要求书中使用的“一”、“一个”和“该”应被解释为表示“一个或多个”或“至少一个”，除非另有说明。
如本文所使用的，指代项目列表中的“至少一个”的短语是指那些项目的任何组合，包括单个成员。例如，“A、B或C中的至少一个”旨在涵盖：A、B、C、A和B、A和C、B和C以及A、B和C。除非另外特别说明，否则诸如短语“X、Y和Z中的至少一个”之类的词语应与上下文一起理解，该上下文通常用于传达项目、术语等可以是X、Y或Z中的至少一个。因此，这种联合语言通常不旨在暗示某些实施例要求X中的至少一个、Y中的至少一个和Z中的至少一个存在。
类似地，尽管可以以特定顺序在附图中描绘操作，但是要认识到，不需要以所示的特定顺序或相继顺序来执行这样的操作，或者不需要执行所有示出的操作来实现理想的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其他操作可以结合在示意性示出的示例方法和过程中。例如，可以在任何所示操作之前、之后、同时或之间执行一个或多个附加操作。另外，在其他实现中，操作可以重新布置或重新排序。在某些情况下，多任务和并行处理可能是有利的。此外，在上述实现中的各种系统组件的分离不应被理解为在所有实现中都需要这种分离，并且应当理解，所描述的程序组件和系统通常可以集成在单个软件产品中或打包到多个软件产品中。另外，其他实现在所附权利要求的范围内。在某些情况下，可以以不同的顺序执行权利要求中记载的动作，并且仍然实现期望的结果。
V.示例
本文描述了用户在所述用户的视场中显示虚拟图像内容的示例，例如以下列举的示例：
示例1：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：被配置为支撑在用户的头部上的框架；设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以将虚拟图像内容显示到用户的视场；被配置为对用户的眼睛进行成像的第一和第二眼睛跟踪相机；多个光发射器；和处理电子器件，该处理电子器件与显示器以及第一和第二眼睛跟踪相机通信，该处理电子器件被配置为：接收由第一和第二眼睛跟踪相机捕获的用户的眼睛的图像，不同光发射器的闪烁反射在由第一和第二眼睛跟踪相机捕获到的眼睛的所述图像中可观察到；并且基于闪烁反射在由所述第一和第二眼睛跟踪相机产生的所述图像中的位置，并且基于所述第一和第二眼睛跟踪相机的位置以及产生相应的闪烁反射的发射器的位置，估计用户的眼睛的所述角膜曲率中心的位置。
示例2：根据示例1的显示系统，其中所述处理电子器件被配置为：基于闪烁反射在由所述第一眼睛跟踪相机产生的一个或多个图像中的位置、并且基于第一眼睛跟踪相机的位置和产生所述闪烁反射的发射器的位置，确定朝向用户的眼睛的角膜曲率中心的第一方向；并且基于闪烁反射在由所述第二眼睛跟踪相机产生的一个或多个图像中的位置，并且基于第二眼睛跟踪相机的位置和产生所述闪烁反射的发射器的位置，确定朝向用户的眼睛的角膜曲率中心的第二方向。
示例3：根据示例2的显示系统，其中所述处理电子器件被配置为通过以下方式确定第一方向：定义第一平面，第一平面包括第一眼睛跟踪相机、第一闪烁反射的位置、和与所述第一闪烁反射对应的光发射器的位置；定义第二平面，第二平面包括第一眼睛跟踪相机、第二闪烁反射的位置、和与所述第二闪烁反射对应的光发射器的位置；确定第一平面和第二平面的会聚区域，该会聚区域沿第一方向延伸。
示例4：根据示例3的显示系统，所述处理电子器件被配置为通过以下方式确定第二方向：定义包括第三平面，该第三平面包括第二眼睛跟踪相机、第三闪烁反射的位置、以及对应于所述第三闪烁反射的光发射器的位置；定义第四平面，该第四平面包括第二眼睛跟踪相机、第四闪烁反射的位置、以及对应于所述第四闪烁反射的光发射器的位置；确定第三平面和第四平面的会聚区域，该会聚区域沿第二方向延伸。
示例5：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：基于朝向用户的眼睛的角膜曲率中心的所述第一方向和所述第二方向来估计用户的眼睛的所述角膜曲率中心的位置。
示例6：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：基于从第一眼睛跟踪相机接收到的至少一个第一图像来确定估计用户的眼睛的角膜曲率中心沿其定位的所述第一方向；并且基于从第二眼睛跟踪相机接收的至少一个第二图像来确定估计用户的眼睛的角膜曲率中心沿其定位的所述第二方向，所述第一方向和所述第二方向朝向区域会聚。
示例7：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：基于第一和第二方向的会聚获得用户的眼睛的角膜曲率中心的估计。
示例8：根据上述示例中的任一项的显示系统，其中所述处理电子器件被配置为：通过识别所述第一方向和所述第二方向朝向用户的眼睛的角膜曲率中心的会聚区域来估计用户的眼睛的所述角膜曲率中心的位置。
示例9：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：基于针对不同眼睛姿势的用户的眼睛的角膜曲率中心的多个确定，获得用户的眼睛的旋转中心的估计。
示例10：根据上述示例中的任一项的显示系统，其中所述处理电子器件被配置为：确定与针对不同眼睛姿势的用户的眼睛的角膜曲率中心的估计对应的点轨迹。
示例11：根据示例10的显示系统，其中所述处理电子器件被配置为：基于与针对不同眼睛姿势的用户的眼睛的角膜曲率中心的估计对应的所述点轨迹，获得用户的眼睛的旋转中心的估计。
示例12：根据示例10或11的显示系统，其中所述处理电子器件被配置为基于所述点轨迹确定表面并且获得用户的眼睛的旋转中心的估计。
示例13：根据示例10或11的显示系统，其中所述处理电子器件被配置为：基于所述点轨迹确定表面并且通过估计所述表面的曲率中心来获得用户的眼睛的旋转中心的估计。
示例14：根据示例10或11的显示系统，其中所述处理电子器件被配置为：基于所述点轨迹确定表面并通过确定所述表面的多个法线会聚的区域来获得用户的眼睛的旋转中心的估计。
示例15：根据示例12、13或14中任一项的显示系统，其中所述处理电子器件被配置为：将所述表面拟合到所述点轨迹以获得所述表面。
示例16：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：使用渲染相机渲染要呈现给用户的眼睛的虚拟图像，所述渲染相机具有由所述旋转中心确定的位置。
示例17：根据上述示例中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，从而以不同量的发散和准直中的至少一个向用户的视场显示虚拟图像内容，并且因此所显示的虚拟图像内容看起来在不同时间段源自不同深度。
示例18：一种显示系统，被配置为将光投射到用户的眼睛中以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：被配置为支撑在用户的头部上的框架；设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以将虚拟图像内容显示到用户的视场；被配置为对用户的眼睛进行成像的第一和第二眼睛跟踪相机；多个光发射器；和处理电子器件，处理电子器件与显示器以及第一和第二眼睛跟踪相机通信，该处理电子器件被配置为：接收由第一和第二眼睛跟踪相机捕获的用户的眼睛的图像、不同光发射器的闪烁反射在由第一和第二眼睛跟踪相机捕获到的眼睛的所述图像中可观察到；并且基于闪烁反射在由所述第一和第二眼睛跟踪相机产生的所述图像中的位置，并且基于第一和第二眼睛跟踪相机的所述位置以及针对多个眼睛姿势产生所述闪烁反射的发射器的位置，估计用户的眼睛的所述旋转中心的位置。
示例19：根据示例18的系统，其中为了获得对所述眼睛的旋转中心的估计，处理电子器件被配置为：基于针对多个眼睛姿势的多个闪烁反射来确定用户的眼睛的角膜曲率中心的多个估计；并且基于针对所述多个眼睛姿势的用户的眼睛的角膜曲率中心的多个估计来确定用户的眼睛的旋转中心的估计。
示例20：根据示例19的系统，其中为了确定用户的眼睛的角膜曲率的所述多个估计，处理电子器件被配置为：基于所述多个发射器中的至少一部分和眼睛跟踪相机的第一相机的相应位置来确定朝向角膜曲率中心的第一方向；基于所述多个发射器中的至少一部分和眼睛跟踪相机的第二相机的相应位置来确定朝向角膜曲率中心的第二方向；并且基于所述第一和第二方向来确定用户的眼睛的角膜曲率中心的估计。
示例21：根据示例20的显示系统，其中所述处理电子器件被配置为通过以下方式确定所述第一方向：定义第一平面，第一平面包括第一眼睛跟踪相机、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；定义第二平面，该第二平面包括第一眼睛跟踪相机、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；确定第一平面和第二平面的会聚区域，该会聚区域沿第一方向延伸。
示例22：根据示例21的显示系统，所述处理电子器件被配置为通过以下方式确定第二方向：定义第三平面，该第三平面包括第二眼睛跟踪相机、第三闪烁反射的位置、以及对应于所述第三闪烁反射的光发射器；定义第四平面，该第四平面包括第二眼睛跟踪相机、第四闪烁反射的位置、以及对应于所述第四闪烁反射的光发射器的位置；确定第三平面和第四平面的会聚区域，该会聚区域沿第二方向延伸。
示例23：根据示例20至22中任一项的系统，其中为了确定用户的眼睛的角膜曲率的所述多个估计，处理电子器件被配置为：确定第一方向和第二方向之间的会聚区域，以确定用户的眼睛的角膜曲率中心的估计。
示例24：根据示例19至23中任一项的系统，其中为了获得所述眼睛的旋转中心的估计，处理电子器件被配置为：生成与角膜曲率中心的多个估计相关联的三维表面；并基于三维表面来确定用户的眼睛的旋转中心的估计。
示例25：根据示例24的系统，其中为了生成与角膜曲率中心的多个估计相关联的三维表面，处理电子器件被配置为：将表面拟合到角膜曲率中心的多个估计。
示例26：根据示例24的系统，其中为了生成与角膜曲率中心的多个估计相关联的三维表面，处理电子器件被配置为：将球体拟合到角膜曲率中心的多个估计。
示例27：根据示例24至26中任一项的系统，其中为了确定用户的眼睛的旋转中心的估计，处理电子器件被配置为：确定三维表面的两个或更多个法线；并且确定两个或更多个法线的会聚区域，其中该会聚区域包括对用户的眼睛的旋转中心的估计。
示例28：根据示例21至27中任一项的系统，其中用户的眼睛的一个或多个图像包括与用户的眼睛的不同注视向量相关联的一个或多个图像。
示例29：根据示例21至28中任一项的系统，其中处理电子器件被配置为使用注视目标来映射用户的眼睛的角膜。
示例30：根据示例18至29中任一项的显示系统，其中所述处理电子器件被配置为：使用渲染相机来渲染要呈现给用户的眼睛的虚拟图像，所述渲染相机具有由所述旋转中心确定的位置。
示例31：根据示例18至30中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，以不同量的发散和准直中的至少一个向用户的视场显示虚拟图像内容，因此所显示的虚像内容看起来在不同时间段源于不同深度。
示例32：一种确定与眼睛相关联的一个或多个参数以在显示系统中渲染虚拟图像内容的方法，该显示系统被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜，所述方法包括：利用被配置为对用户的眼睛进行成像的多个眼睛跟踪相机和对于所述眼睛设置以在其上形成闪烁的多个光发射器，捕获用户的眼睛的多个图像，所述图像包括多个闪烁；并且基于多个闪烁获得对所述眼睛的旋转中心的估计，其中，获得所述眼睛的旋转中心的估计包括：基于多个闪烁来确定用户的眼睛的角膜曲率中心的多个估计；根据角膜曲率中心的多个估计生成三维表面；并且使用三维表面来确定用户的眼睛的旋转中心的估计。
示例33：根据示例32的方法，其中确定用户的眼睛的角膜曲率的多个估计包括：基于多个光发射器中的至少一部分的位置和多个眼睛跟踪相机中的第一相机的位置来确定指向角膜曲率中心的第一向量；基于多个光发射器中的至少一部分的位置和多个眼睛跟踪相机中的第二相机的位置来确定指向角膜曲率中心的第二向量；以及确定第一向量和第二向量之间的会聚区域以确定用户的眼睛的角膜曲率中心的估计。
示例34：根据示例33的方法，其中第一方向通过以下方式确定：定义第一平面，该第一平面包括第一眼睛跟踪相机、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；定义第二平面，该第二平面包括第一眼睛跟踪相机、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；以及确定第一平面和第二平面的会聚区域，该会聚区域沿第一方向延伸。
示例35：根据示例33的方法，其中第二方向通过以下方式确定：定义第三平面，该第三平面包括第二眼睛跟踪相机、第三闪烁反射的位置、以及对应于所述第三闪烁反射的光发射器的位置；定义第四平面，该第四平面包括第二眼睛跟踪相机、第四闪烁反射的位置、以及对应于所述第四闪烁反射的光发射器的位置；确定第三平面和第四平面的会聚区域，该会聚区域沿第二方向延伸。
示例36：根据示例32至35中任一项的方法，其中根据角膜曲率中心的多个估计生成三维表面包括：将表面拟合到角膜曲率中心的多个估计。
示例37：根据示例32至35中任一项的方法，其中根据角膜曲率中心的多个估计生成三维表面包括：将球体拟合到角膜曲率中心的多个估计。
示例38：根据示例32至37中任一项的方法，其中确定用户的眼睛的旋转中心的估计包括：确定正交于三维表面的两个或更多个向量；以及确定正交于三维表面的两个或更多个向量的会聚区域，其中会聚区域包括对用户的眼睛的旋转中心的估计。
示例39：根据示例32至38中任一项的方法，其中用户的眼睛的多个图像包括与用户的眼睛的不同注视方向相关联的图像。
示例40：根据示例32至39中任一项的方法，还包括使用注视目标来映射用户的眼睛的角膜。
示例41：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：被配置为支撑在用户的头部上的框架；设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以显示虚拟图像内容；被配置为对用户的眼睛进行成像的第一和第二眼睛跟踪相机；与显示器、第一和第二眼睛跟踪相机通信的处理电子器件，该处理电子器件被配置为：从第一和第二眼睛跟踪相机接收用户的眼睛的多个捕获图像对；对于分别从第一和第二眼睛跟踪相机所接收的图像对，至少部分地基于相应的捕获图像对来获得用户的眼睛的角膜曲率中心的估计；基于基于从相应的第一和第二眼睛跟踪相机所接收的用户的眼睛的多个捕获图像对而获得对用户的眼睛的估计角膜曲率中心来确定三维表面；并识别3D表面的曲率中心，以获得用户的眼睛旋转中心的估计。
示例42：根据示例41的显示系统，其中所述处理电子器件被配置为：将三维表面拟合到基于从相应的第一和第二眼睛跟踪相机接收到的用户的眼睛的多个捕获图像对而获得的用户的眼睛的估计角膜曲率中心。
示例43：根据示例41或42的显示系统，其中为了至少部分地基于相应的捕获图像对来获得用户的眼睛的角膜曲率中心的估计，处理电子器件被配置为：基于从第一眼睛跟踪相机接收的第一图像，确定估计用户的眼睛的角膜曲率中心沿其定位的第一向量；基于从第二眼睛跟踪相机接收的第二图像，确定估计用户的眼睛的角膜曲率中心沿其定位的第二向量，第一和第二图像对应于所述图像对中的一个；并识别在第一向量和第二向量的方向上延伸的路径之间的会聚区域，以获得用户的眼睛的角膜曲率中心的估计。
示例44：根据示例43的显示系统，还包括：多个光发射器，被配置为照亮用户的眼睛以在其上形成闪烁反射，其中为了基于捕获图像对中的第一图像来确定第一向量，所述处理电子器件被配置为：定义第一平面，该第一平面包括第一眼睛跟踪相机、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；定义第二平面，该第二平面包括第一眼睛跟踪相机、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；并且识别第一平面和第二平面的会聚区域，该会聚区域沿着第一向量的方向延伸。
示例45：根据示例44的显示系统，其中为了基于每捕获图像对中的第二图像确定第二向量，处理电子器件被配置为：定义第三平面，该第三平面包括第二眼睛跟踪相机、第三闪烁反射的位置、和对应于所述第三闪烁反射的光发射器的位置；定义第四平面，该第四平面包括第二眼睛跟踪相机、第四闪烁反射的位置、和对应于所述第四闪烁反射的光发射器的位置；以及确定第三平面和第四平面的会聚区域，该会聚区域沿着第二向量的方向延伸。
示例46：根据示例41至45中任一项的显示系统，其中所述处理电子器件被配置为：使用渲染相机来渲染要呈现给用户的眼睛的虚拟图像，所述渲染相机具有由所述旋转中心确定的位置。
示例47：根据示例41至46中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，从而以不同量的发散和准直中的至少一个向用户的视场显示虚拟图像内容，因此所显示的虚像内容在不同时间段看起来源于不同深度。
示例48：根据上述示例中任一项的显示系统，其中所述显示器的至少一部分是透明的并且当用户佩戴所述头戴式显示器时被设置在用户的眼睛前方的位置处，使得所述透明部分将来自用户的前面的环境的一部分和所述头戴式显示器的光传输到用户的眼睛，以提供用户的前面的环境的所述部分和所述头戴式显示器的视图。
示例49：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：被配置为支撑在用户的头部上的框架；设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以将虚拟图像内容显示到用户的视场；被配置为对用户的眼睛进行成像的眼睛跟踪相机；多个光发射器；和处理电子器件，该处理电子器件与显示器以及眼睛跟踪相机通信，该处理电子器件被配置为：接收由眼睛跟踪相机在第一和第二位置所捕获的用户的眼睛的图像、不同光发射器的闪烁反射在由眼睛跟踪相机所捕获的眼睛的所述图像中可观察到；并且基于闪烁反射在由所述眼睛跟踪相机所产生的所述图像中的位置、并基于眼睛跟踪相机的位置以及产生相应的闪烁反射的发射器的位置，估计用户的眼睛的所述角膜曲率中心的位置。
示例50：根据示例49的显示系统，其中所述处理电子器件被配置为：基于闪烁反射在由所述眼睛跟踪相机产生的一个或多个图像中的位置、并且基于眼睛跟踪相机的第一位置以及产生所述闪烁反射的发射器的位置，确定朝向用户的眼睛的角膜曲率中心的第一方向；并且基于闪烁反射在由所述眼睛跟踪相机产生的一个或多个图像中的位置，并且基于眼睛跟踪相机的第二位置以及产生所述闪烁反射的发射器的位置，确定朝向用户的眼睛的角膜曲率中心的第二方向。
示例51：根据示例50的显示系统，其中，所述处理电子器件被配置为通过以下方式确定第一方向：定义第一平面，该第一平面包括眼睛跟踪相机的第一位置、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；定义第二平面，该第二平面包括眼睛跟踪相机的第一位置、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；以及确定第一平面和第二平面的会聚区域，该会聚区域沿第一方向延伸。
示例52：根据示例51的显示系统，所述处理电子器件被配置为通过以下方式确定第二方向：定义第三平面，该第三平面包括眼睛跟踪相机的第二位置、第三闪烁反射的位置、和对应于所述第三闪烁反射的光发射器的位置；定义第四平面，该第四平面包括眼睛跟踪相机的第二位置、第四闪烁反射的位置、和对应于所述第四闪烁反射的光发射器的位置；以及确定第三平面和第四平面的会聚区域，该会聚区域沿第二方向延伸。
示例53：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：基于朝向用户的眼睛的角膜曲率中心的所述第一和第二方向来估计用户的眼睛的所述角膜曲率中心的位置。
示例54：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：基于从第一位置的眼睛跟踪相机接收到的至少一个第一图像来确定估计用户的眼睛的角膜曲率中心沿其定位的所述第一方向；并且基于从第二位置的眼睛跟踪相机接收到的至少一个第二图像来确定估计用户的眼睛的角膜曲率中心沿其定位的所述第二方向，所述第一和第二方向朝向区域会聚。
示例55：根据以上示例中任一项的显示系统，其中所述处理电子器件被配置为：
基于第一和第二方向的会聚获得用户的眼睛的角膜曲率中心的估计。
示例56：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：通过识别所述第一和第二方向朝向用户的眼睛的角膜曲率中心的所述第一和第二方向的会聚区域，估计用户的眼睛的所述角膜曲率中心的位置。
示例57：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：基于针对不同眼睛姿势的用户的眼睛的角膜曲率中心的多个确定，获得用户的眼睛的旋转中心的估计。
示例58：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：确定与针对不同眼睛姿势的用户的眼睛的角膜曲率中心的估计对应的点轨迹。
示例59：根据示例58的显示系统，其中所述处理电子器件被配置为：基于与针对不同眼睛姿势的用户的眼睛的角膜曲率中心的估计对应的所述点轨迹，获得用户的眼睛的旋转中心的估计。
示例60：根据示例58或59的显示系统，其中所述处理电子器件被配置为：基于的述点轨迹来确定表面，并且获得用户的眼睛的旋转中心的估计。
示例61：根据示例58或59的显示系统，其中所述处理电子器件被配置为：基于所述点轨迹来确定表面，并且通过估计所述表面的曲率中心来获得用户的眼睛的旋转中心的估计。
示例62：根据示例58或59的显示系统，其中所述处理电子器件被配置为基于所述点轨迹来确定表面，并且通过确定所述表面的多个法线会聚的区域来获得用户的眼睛的旋转中心的估计。
示例63：根据示例60、61或62中任一项的显示系统，其中所述处理电子器件被配置为：将所述表面拟合到所述点轨迹以获得所述表面。
示例64：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：使用渲染相机渲染要呈现给用户的眼睛的虚拟图像，所述渲染相机具有由所述旋转中心确定的位置。
示例65：根据上述示例中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，从而以不同量的发散和准直中的至少一个将虚拟图像内容显示到用户的视场，以及因此所显示的虚拟图像内容在不同时间段看起来源于不同深度。
示例66：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：被配置为支撑在用户的头部上的框架；设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以将虚拟图像内容显示到用户的视场；被配置为对用户的眼睛进行成像的眼睛跟踪相机；多个光发射器；和处理电子器件，该处理电子器件与显示器以及眼睛跟踪相机通信，该处理电子器件被配置为：接收由眼睛跟踪相机在第一和第二相机位置所捕获的用户的眼睛的图像、不同光发射器的闪烁反射在由眼睛跟踪相机捕获到的眼睛的所述图像中可观察到；并且基于闪烁反射在由所述眼睛跟踪相机产生的所述图像中的位置、并且基于眼睛跟踪相机的所述第一和第二位置以及针对多个眼睛姿势而产生所述闪烁反射的发射器的位置，估计用户的眼睛的所述旋转中心的位置。
示例67：根据示例66的系统，其中为了获得对所述眼睛的旋转中心的估计，处理电子器件被配置为：基于针对多个眼睛姿势的多个闪烁反射来确定用户的眼睛的角膜曲率中心的多个估计；并且基于针对所述多个眼睛姿势的用户的眼睛的角膜曲率中心的多个估计来确定用户的眼睛的旋转中心的估计。
示例68：根据示例67的系统，其中为了确定用户的眼睛的角膜曲率的所述多个估计，处理电子器件被配置为：至少基于所述多个发射器中的一部分的相应位置和眼睛跟踪相机的第一位置来确定朝向角膜曲率中心的第一方向；至少基于所述多个发射器中的至少一部分的相应位置和眼睛跟踪相机的第二位置来确定朝向角膜曲率中心的第二方向；并且基于所述第一和第二方向确定用户的眼睛的角膜曲率中心的估计。
示例69：根据示例68的显示系统，其中所述处理电子器件被配置为通过以下方式确定所述第一方向：定义第一平面，第一平面包括眼睛跟踪相机的第一位置、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；定义第二平面，该第二平面包括眼睛跟踪相机的第一位置、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；确定第一平面和第二平面的会聚区域，该会聚区域沿第一方向延伸。
示例70：根据示例69的显示系统，所述处理电子器件被配置为通过以下方式确定第二方向：定义第三平面，该第三平面包括眼睛跟踪相机的第二位置、第三闪烁反射的位置、以及对应于所述第三闪烁反射的光发射器；定义第四平面，该第四平面包括眼睛跟踪相机的第二位置、第四闪烁反射的位置、以及对应于所述第四闪烁反射的光发射器的位置；确定第三平面和第四平面的会聚区域，该会聚区域沿第二方向延伸。
示例71：根据示例68至70中任一项的系统，其中为了确定用户的眼睛的角膜曲率的所述多个估计，处理电子器件被配置为：确定第一方向和第二方向之间的会聚区域，以确定用户的眼睛的角膜曲率中心的估计。
示例72：根据示例19至71中任一项的系统，其中为了获得所述眼睛的旋转中心的估计，处理电子器件被配置为：生成与角膜曲率中心的多个估计相关联的三维表面；并基于三维表面来确定用户的眼睛的旋转中心的估计。
示例73：根据示例72的系统，其中为了生成与角膜曲率中心的多个估计相关联的三维表面，处理电子器件被配置为：将表面拟合到角膜曲率中心的多个估计。
示例74：根据示例73的系统，其中为了生成与角膜曲率中心的多个估计相关联的三维表面，处理电子器件被配置为：将球体拟合到角膜曲率中心的多个估计。
示例75：根据示例72至74中任一项的系统，其中为了确定用户的眼睛的旋转中心的估计，处理电子器件被配置为：确定三维表面的两个或更多个法线；并且确定两个或更多个法线的会聚区域，其中该会聚区域包括对用户的眼睛的旋转中心的估计。
示例76：根据示例69至75中任一项的系统，其中用户的眼睛的一个或多个图像包括与用户的眼睛的不同注视向量相关联的一个或多个图像。
示例77：根据示例69至76中任一项的系统，其中处理电子器件被配置为使用注视目标来映射用户的眼睛的角膜。
示例78：根据示例66至77中任一项的显示系统，其中所述处理电子器件被配置为：使用渲染相机来渲染要呈现给用户的眼睛的虚拟图像，所述渲染相机具有由所述旋转中心确定的位置。
示例79：根据示例66至78中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，以不同量的发散和准直中的至少一个向用户的视场显示虚拟图像内容，因此所显示的虚像内容看起来在不同时间段源于不同深度。
示例80：一种确定与眼睛相关联的一个或多个参数以在显示系统中渲染虚拟图像内容的方法，该显示系统被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜，所述方法包括：利用被配置为对用户的眼睛进行成像的眼睛跟踪相机和对于所述眼睛设置以在其上形成闪烁的多个光发射器，捕获用户的眼睛的多个图像，所述图像包括多个闪烁；并且基于多个闪烁获得对所述眼睛的旋转中心的估计，其中，获得所述眼睛的旋转中心的估计包括：基于多个闪烁来确定用户的眼睛的角膜曲率中心的多个估计；根据角膜曲率中心的多个估计生成三维表面；并且使用三维表面来确定用户的眼睛的旋转中心的估计。
示例81：根据示例80的方法，其中确定用户的眼睛的角膜曲率的多个估计包括：基于多个光发射器中的至少一部分的位置和眼睛跟踪相机的第一位置来确定指向角膜曲率中心的第一向量；基于多个光发射器中的至少一部分的位置和眼睛跟踪相机的第二位置来确定指向角膜曲率中心的第二向量；以及确定第一向量和第二向量之间的会聚区域以确定用户的眼睛的角膜曲率中心的估计。
示例82：根据示例81的方法，其中第一方向通过以下方式确定：定义第一平面，该第一平面包括眼睛跟踪相机的第一位置、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；定义第二平面，该第二平面包括眼睛跟踪相机的第一位置、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；以及确定第一平面和第二平面的会聚区域，该会聚区域沿第一方向延伸。
示例83：根据示例82的方法，其中第二方向通过以下方式确定：定义第三平面，该第三平面包括眼睛跟踪相机的第二位置、第三闪烁反射的位置、以及对应于所述第三闪烁反射的光发射器的位置；定义第四平面，该第四平面包括眼睛跟踪相机的第二位置、第四闪烁反射的位置、以及对应于所述第四闪烁反射的光发射器的位置；确定第三平面和第四平面的会聚区域，该会聚区域沿第二方向延伸。
示例84：根据示例81至83中任一项的方法，其中根据角膜曲率中心的多个估计生成三维表面包括：将表面拟合到角膜曲率中心的多个估计。
示例85：根据示例81至83中任一项的方法，其中根据角膜曲率中心的多个估计生成三维表面包括：将球体拟合到角膜曲率中心的多个估计。
示例86：根据示例81至85中任一项的方法，其中确定用户的眼睛的旋转中心的估计包括：确定正交于三维表面的两个或更多个向量；以及确定正交于三维表面的两个或更多个向量的会聚区域，其中会聚区域包括对用户的眼睛的旋转中心的估计。
示例87：根据示例81至86中任一项的方法，其中用户的眼睛的多个图像包括与用户的眼睛的不同注视方向相关联的图像。
示例88：根据示例81至87中任一项的方法，还包括使用注视目标来映射用户的眼睛的角膜。
示例89：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：被配置为支撑在用户的头部上的框架；设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以显示虚拟图像内容；被配置为对用户的眼睛进行成像的眼睛跟踪相机；与显示器、眼睛跟踪相机通信的处理电子器件，该处理电子器件被配置为：从眼睛跟踪相机接收用户的眼睛的多个捕获图像对；对于分别从眼睛跟踪相机所接收的图像对，至少部分地基于相应的捕获图像对来获得用户的眼睛的角膜曲率中心的估计；基于基于从眼睛跟踪相机所接收的用户的眼睛的多个捕获图像对而获得对用户的眼睛的估计角膜曲率中心来确定三维表面；并识别3D表面的曲率中心，以获得用户的眼睛旋转中心的估计。
示例90：根据示例89的显示系统，其中所述处理电子器件被配置为：将三维表面拟合到基于从眼睛跟踪相机接收到的用户的眼睛的多个捕获图像对而获得的用户的眼睛的估计角膜曲率中心。
示例91：根据示例89或90的显示系统，其中为了至少部分地基于相应的捕获图像对来获得用户的眼睛的角膜曲率中心的估计，处理电子器件被配置为：基于从第一位置的眼睛跟踪相机接收的第一图像，确定估计用户的眼睛的角膜曲率中心沿其定位的第一向量；基于从第二位置的眼睛跟踪相机接收的第二图像，确定估计用户的眼睛的角膜曲率中心沿其定位的第二向量，第一和第二图像对应于所述图像对中的一个；并识别在第一向量和第二向量的方向上延伸的路径之间的会聚区域，以获得用户的眼睛的角膜曲率中心的估计。
示例92：根据示例91的显示系统，还包括：多个光发射器，被配置为照亮用户的眼睛以在其上形成闪烁反射，其中为了基于捕获图像对中的第一图像来确定第一向量，所述处理电子器件被配置为：定义第一平面，该第一平面包括第一位置的眼睛跟踪相机、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；定义第二平面，该第二平面包括第一位置的眼睛跟踪相机、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；并且识别第一平面和第二平面的会聚区域，该会聚区域沿着第一向量的方向延伸。
示例93：根据示例92的显示系统，其中为了基于每捕获图像对中的第二图像确定第二向量，处理电子器件被配置为：定义第三平面，该第三平面包括第二位置的眼睛跟踪相机、第三闪烁反射的位置、和对应于所述第三闪烁反射的光发射器的位置；定义第四平面，该第四平面包括第二位置的眼睛跟踪相机、第四闪烁反射的位置、和对应于所述第四闪烁反射的光发射器的位置；以及确定第三平面和第四平面的会聚区域，该会聚区域沿着第二向量的方向延伸。
示例94：根据示例89至93中任一项的显示系统，其中所述处理电子器件被配置为：使用渲染相机来渲染要呈现给用户的眼睛的虚拟图像，所述渲染相机具有由所述旋转中心确定的位置。
示例95：根据示例89至94中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，从而以不同量的发散和准直中的至少一个向用户的视场显示虚拟图像内容，因此所显示的虚像内容在不同时间段看起来源于不同深度。
示例96：根据上述示例中任一项的显示系统，其中所述显示器的至少一部分是透明的并且当用户佩戴所述头戴式显示器时被设置在用户的眼睛前方的位置处，使得所述透明部分将来自用户的前面的环境的一部分和所述头戴式显示器的光传输到用户的眼睛，以提供用户的前面的环境的所述部分和所述头戴式显示器的视图。
示例97：一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：被配置为支撑在用户的头部上的框架；设置在框架上的头戴式显示器，所述显示器被配置为将光投射到所述用户的眼睛中以将虚拟图像内容显示到用户的视场；被配置为对用户的眼睛进行成像的至少一个眼睛跟踪相机；多个光发射器；和处理电子器件，该处理电子器件与显示器以及眼睛跟踪相机通信，该处理电子器件被配置为：接收由至少一个眼睛跟踪相机在第一和第二位置所捕获的用户的眼睛的图像、不同光发射器的闪烁反射在由眼睛跟踪相机所捕获的眼睛的所述图像中可观察到；并且基于闪烁反射在由所述至少一个眼睛跟踪相机所产生的所述图像中的位置、并基于至少一个眼睛跟踪相机的位置以及产生相应的闪烁反射的发射器的位置，估计用户的眼睛的所述角膜曲率中心的位置。
示例98：根据示例97的显示系统，其中所述处理电子器件被配置为：基于闪烁反射在由所述至少一个眼睛跟踪相机产生的一个或多个图像中的位置、并且基于至少一个眼睛跟踪相机的第一位置以及产生所述闪烁反射的发射器的位置，确定朝向用户的眼睛的角膜曲率中心的第一方向；并且基于闪烁反射在由所述至少一个眼睛跟踪相机产生的一个或多个图像中的位置，并且基于至少一个眼睛跟踪相机的第二位置以及产生所述闪烁反射的发射器的位置，确定朝向用户的眼睛的角膜曲率中心的第二方向。
示例99：根据示例98的显示系统，所述处理电子器件被配置为通过以下方式确定第一方向：定义第一平面，该第一平面包括至少一个眼睛跟踪相机的第一位置、第一闪烁反射的位置、和对应于所述第一闪烁反射的光发射器的位置；定义第二平面，该第二平面包括至少一个眼睛跟踪相机的第一位置、第二闪烁反射的位置、和对应于所述第二闪烁反射的光发射器的位置；以及确定第一平面和第二平面的会聚区域，该会聚区域沿第一方向延伸。
示例100：根据示例99的显示系统，所述处理电子器件被配置为通过以下方式确定第二方向：定义第三平面，该第三平面包括至少一个眼睛跟踪相机的第二位置、第三闪烁反射的位置、和对应于所述第三闪烁反射的光发射器的位置；定义第四平面，该第四平面包括至少一个眼睛跟踪相机的第二位置、第四闪烁反射的位置、和对应于所述第四闪烁反射的光发射器的位置；以及确定第三平面和第四平面的会聚区域，该会聚区域沿第二方向延伸。
示例101：上述示例中任一项的显示系统，其中所述处理电子器件被配置为：基于朝向用户的眼睛的角膜曲率中心的所述第一和第二方向来估计用户的眼睛的所述角膜曲率中心的位置。
示例102：根据以上示例中的任一项所述的显示系统，其中所述处理电子器件被配置为：基于从第一位置的至少一个眼睛跟踪相机接收到的至少一个第一图像来确定估计用户的眼睛的角膜曲率中心沿其定位的所述第一方向；并且基于从第二位置的至少一个眼睛跟踪相机接收到的至少一个第二图像来确定估计用户的眼睛的角膜曲率中心沿其定位的所述第二方向，所述第一和第二方向朝向区域会聚。
示例103：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：
基于第一和第二方向的会聚获得用户的眼睛的角膜曲率中心的估计。
示例104：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：通过识别所述第一和第二方向朝向用户的眼睛的角膜曲率中心的所述第一和第二方向的会聚区域，估计用户的眼睛的所述角膜曲率中心的位置。
示例105：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：基于针对不同眼睛姿势的用户的眼睛的角膜曲率中心的多个确定，获得用户的眼睛的旋转中心的估计。
示例106：根据上述示例中的任一项的显示系统，其中所述处理电子器件被配置为：确定与针对不同眼睛姿势的用户的眼睛的角膜曲率中心的估计对应的点轨迹。
示例107：根据示例106的显示系统，其中所述处理电子器件被配置为：基于与针对不同眼睛姿势的用户的眼睛的角膜曲率中心的估计对应的所述点轨迹，获得用户的眼睛的旋转中心的估计。
示例108：根据示例106或107的显示系统，其中所述处理电子器件被配置为：基于的述点轨迹来确定表面，并且获得用户的眼睛的旋转中心的估计。
示例109：根据示例106或107的显示系统，其中所述处理电子器件被配置为：基于所述点轨迹来确定表面，并且通过估计所述表面的曲率中心来获得用户的眼睛的旋转中心的估计。
示例110：根据示例106或107的显示系统，其中所述处理电子器件被配置为基于所述点轨迹来确定表面，并且通过确定所述表面的多个法线会聚的区域来获得用户的眼睛的旋转中心的估计。
示例111：根据示例108、109或110中任一项的显示系统，其中所述处理电子器件被配置为：将所述表面拟合到所述点轨迹以获得所述表面。
示例112：根据上述示例中任一项的显示系统，其中所述处理电子器件被配置为：使用渲染相机渲染要呈现给用户的眼睛的虚拟图像，所述渲染相机具有由所述旋转中心确定的位置。
示例113：根据上述示例中任一项的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，从而以不同量的发散和准直中的至少一个将虚拟图像内容显示到用户的视场，以及因此所显示的虚拟图像内容在不同时间段看起来源于不同深度。
可以组合任何上述示例。此外，任何上述示例都可以与头戴式显示器集成。此外，任何上述示例都可以利用单个深度平面和/或一个或多个可变深度平面(例如，一个或多个具有可变聚焦能力的元件，其提供随时间变化的调节提示)来实施。
此外，本文公开了用于确定各种值、参数等的装置和方法，例如但不限于解剖学、光学和几何特征、位置和取向等。此类参数的示例包括例如眼睛的旋转中心、角膜的曲率中心、瞳孔的中心、瞳孔的边界、虹膜的中心、虹膜的边界、角膜缘的边界、眼睛的光轴、眼睛的视轴、视角中心，但不限于这些。此外，在一些实施方式中，角膜曲率中心或角膜中心是指角膜的一部分的曲率中心或与角膜表面的一部分重合的球体表面的曲率中心。例如，在一些实施方式中，角膜曲率中心或角膜中心是指角膜顶端的曲率中心或与角膜顶端表面的一部分重合的球体的曲率中心。如本文所述，这些值、参数等的确定包括其估计并且不必与实际值精确一致。例如，确定眼睛的旋转中心、角膜的曲率中心、瞳孔或虹膜的中心或边界、角膜缘的边界、眼睛的光轴、眼睛的视轴、视角中心等可以是估计值、近似值、或接近但不等于实际(例如，解剖学、光学或几何)值或参数的值。在某些情况下，例如，可以使用均方根估计技术来获得这些值的估计。作为示例，本文描述的某些技术涉及识别射线或向量相交的位置或点。然而，这样的射线或向量可能不会相交。在该示例中，可以估计位置或点。例如，位置或点可以基于均方根或其他估计技术来确定(例如，位置或点可以被估计为接近或最接近射线或向量)。其他过程也可用于估计、近似或以其他方式提供可能与实际值不一致的值。因此，术语“确定”和“估计”或“所确定”和“所估计”在本文中可互换使用。因此，对此类确定值的引用可能包括估计值、近似值、或接近实际值的值。因此，对确定以上或本文其他地方的参数或值的引用不应精确地限于实际值，而是可以包括估计值、近似值或与其接近的值。
Claims (19)
1.一种显示系统，被配置为向用户的眼睛投射光以在所述用户的视场中显示虚拟图像内容，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中以向所述用户的视场显示虚拟图像内容；
第一眼睛跟踪相机和第二眼睛跟踪相机，其被配置为对所述用户的眼睛进行成像；
多个光发射器；以及
处理电子器件，其与所述显示器、所述第一眼睛跟踪相机和所述第二眼睛跟踪相机通信，所述处理电子器件被配置为：
接收由所述第一眼睛跟踪相机和所述第二眼睛跟踪相机所捕获的所述用户的眼睛的图像，不同光发射器的闪烁反射在由所述第一眼睛跟踪相机和所述第二眼睛跟踪相机所捕获的所述眼睛的图像中可观察到；以及
基于所述闪烁反射在由所述第一眼睛跟踪相机和所述第二眼睛跟踪相机两者所产生的所述图像中的位置，并且基于所述第一眼睛跟踪相机和所述第二眼睛跟踪相机两者的位置以及产生相应的闪烁反射的发射器的位置，估计所述用户的眼睛的角膜曲率中心的位置。
2.根据权利要求1所述的显示系统，其中，所述处理电子器件被配置为：
基于所述闪烁反射在由所述第一眼睛跟踪相机所产生的一个或多个图像中的位置，并且基于所述第一眼睛跟踪相机的位置和产生所述闪烁反射的发射器的位置，确定朝向所述用户的眼睛的角膜曲率中心的第一方向；以及
基于所述闪烁反射在由所述第二眼睛跟踪相机所产生的一个或多个图像中的位置，并且基于所述第二眼睛跟踪相机的位置和产生所述闪烁反射的发射器的位置，确定朝向所述用户的眼睛的角膜曲率中心的第二方向。
3.根据权利要求2所述的显示系统，其中，所述处理电子器件被配置为通过以下操作来确定所述第一方向：
定义第一平面，所述第一平面包括：所述第一眼睛跟踪相机，第一闪烁反射的位置，以及与所述第一闪烁反射对应的光发射器的位置；
定义第二平面，所述第二平面包括：所述第一眼睛跟踪相机，第二闪烁反射的位置，以及与所述第二闪烁反射对应的光发射器的位置；以及
确定所述第一平面与所述第二平面的会聚区域，所述会聚区域沿着所述第一方向延伸。
4.根据权利要求3所述的显示系统，其中，所述处理电子器件被配置为通过以下操作来确定所述第二方向：
定义第三平面，所述第三平面包括：所述第二眼睛跟踪相机，第三闪烁反射的位置，以及与所述第三闪烁反射对应的光发射器的位置；
定义第四平面，所述第四平面包括：所述第二眼睛跟踪相机，第四闪烁反射的位置，以及与所述第四闪烁反射对应的光发射器的位置；以及
确定所述第三平面与所述第四平面的会聚区域，所述会聚区域沿着所述第二方向延伸。
5.根据以上权利要求中任一项所述的显示系统，其中，所述处理电子器件被配置为：基于朝向所述用户的眼睛的角膜曲率中心的所述第一方向和所述第二方向，估计所述用户的眼睛的所述角膜曲率中心的位置。
6.根据以上权利要求中任一项所述的显示系统，其中，所述处理电子器件被配置为：
基于从所述第一眼睛跟踪相机所接收的至少一个第一图像，确定估计所述用户的眼睛的角膜曲率中心沿其定位的所述第一方向；以及
基于从所述第二眼睛跟踪相机所接收的至少一个第二图像，确定估计所述用户的眼睛的角膜曲率中心沿其定位的所述第二方向，所述第一方向与所述第二方向朝向区域进行会聚。
7.根据以上权利要求中任一项所述的显示系统，其中，所述处理电子器件被配置为：
基于所述第一方向和所述第二方向的会聚，获得所述用户的眼睛的角膜曲率中心的估计。
8.根据以上权利要求中任一项所述的显示系统，其中，所述处理电子器件被配置为：通过识别所述第一方向和所述第二方向朝向所述用户的眼睛的角膜曲率中心的会聚区域，估计所述用户的眼睛的所述角膜曲率中心的位置。
9.根据以上权利要求中任一项所述的显示系统，其中，所述处理电子器件被配置为：基于针对不同的眼睛姿势而对所述用户的眼睛的角膜曲率中心的多个确定，获得所述用户的眼睛的旋转中心的估计。
10.根据以上权利要求中任一项所述的显示系统，其中，所述处理电子器件被配置为：确定与针对不同的眼睛姿势的所述用户的眼睛的角膜曲率中心的估计对应的点轨迹。
11.根据权利要求10所述的显示系统，其中，所述处理电子器件被配置为：基于与针对不同的眼睛姿势的所述用户的眼睛的角膜曲率中心的估计对应的所述点轨迹，获得所述用户的眼睛的旋转中心的估计。
12.根据权利要求10或11所述的显示系统，其中，所述处理电子器件被配置为：基于所述点轨迹来确定表面，并获得所述用户的眼睛的旋转中心的估计。
13.根据权利要求10或11所述的显示系统，其中，所述处理电子器件被配置为：基于所述点轨迹来确定表面，并且通过估计所述表面的曲率中心来获得所述用户的眼睛的旋转中心的估计。
14.根据权利要求10或11所述的显示系统，其中，所述处理电子器件被配置为：基于所述点轨迹来确定表面，并且通过确定所述表面的多个法线会聚的区域来获得所述用户的眼睛的旋转中心的估计。
15.根据权利要求12、13或14中任一项所述的显示系统，其中，所述处理电子器件被配置为：将所述表面拟合到所述点轨迹以获得所述表面。
16.根据以上权利要求中任一项所述的显示系统，其中，所述处理电子器件被配置为：使用渲染相机来渲染要被呈现给所述用户的眼睛的虚拟图像，所述渲染相机具有由所述旋转中心所确定的位置。
17.根据以上权利要求中任一项所述的显示系统，其中，所述显示器被配置为将光投射到所述用户的眼睛中以向所述用户的视场显示虚拟图像内容，以使得所显示的虚拟图像内容看起来源自不同的深度。
18.根据以上权利要求中任一项所述的显示系统，其中，所述显示器被配置为将光投射到所述用户的眼睛中，从而以至少一个发散的不同量向所述用户的视场显示虚拟图像内容，以使得所显示的虚拟图像内容看起来源自不同的深度。
19.根据以上权利要求中任一项所述的显示系统，其中，所述显示器被配置为向所述用户的眼睛中投射发散的光，并向所述用户的眼睛中投射准直的光，以向所述用户的视场显示看起来源自不同的深度的虚拟图像内容。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962874867P | 2019-07-16 | 2019-07-16 | |
| US62/874,867 | 2019-07-16 | ||
| PCT/US2020/042178 WO2021011686A1 (en) | 2019-07-16 | 2020-07-15 | Eye center of rotation determination with one or more eye tracking cameras |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114424147A true CN114424147A (zh) | 2022-04-29 |
Family
ID=74211348
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080064342.3A Pending CN114424147A (zh) | 2019-07-16 | 2020-07-15 | 利用一个或多个眼睛跟踪相机确定眼睛旋转中心 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US11868525B2 (zh) |
| EP (1) | EP3999940A4 (zh) |
| JP (1) | JP2022540675A (zh) |
| CN (1) | CN114424147A (zh) |
| WO (1) | WO2021011686A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3087333A1 (en) | 2018-01-17 | 2019-07-25 | Magic Leap, Inc. | Eye center of rotation determination, depth plane selection, and render camera positioning in display systems |
| US10917634B2 (en) | 2018-01-17 | 2021-02-09 | Magic Leap, Inc. | Display systems and methods for determining registration between a display and a user's eyes |
| CN112689869A (zh) | 2018-07-24 | 2021-04-20 | 奇跃公司 | 用于确定显示器与用户的眼睛之间的配准的显示系统和方法 |
| EP3999940A4 (en) | 2019-07-16 | 2023-07-26 | Magic Leap, Inc. | EYE CENTER OF ROTATION DETERMINATION WITH ONE OR MORE EYE TRACKING CAMERAS |
| US11998275B2 (en) | 2020-07-15 | 2024-06-04 | Magic Leap, Inc. | Eye tracking using aspheric cornea model |
| US11475613B1 (en) * | 2020-07-22 | 2022-10-18 | Corel Corporation | Assisted creation of artistic digital images |
| US11520152B1 (en) * | 2020-08-06 | 2022-12-06 | Apple Inc. | Head-mounted display systems with gaze tracker alignment monitoring |
Family Cites Families (70)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3166179B2 (ja) | 1991-01-22 | 2001-05-14 | キヤノン株式会社 | 視線検出装置 |
| US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
| US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
| US6433760B1 (en) * | 1999-01-14 | 2002-08-13 | University Of Central Florida | Head mounted display with eyetracking capability |
| US6529331B2 (en) | 2001-04-20 | 2003-03-04 | Johns Hopkins University | Head mounted display with full field of view and high resolution |
| US7963652B2 (en) * | 2003-11-14 | 2011-06-21 | Queen's University At Kingston | Method and apparatus for calibration-free eye tracking |
| CA2545202C (en) * | 2003-11-14 | 2014-01-14 | Queen's University At Kingston | Method and apparatus for calibration-free eye tracking |
| WO2006125185A2 (en) | 2005-05-19 | 2006-11-23 | The Johns Hopkins University | Wireless scleral search coil including systems for measuring eye movement and methods related thereto |
| US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
| US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
| US8160367B2 (en) * | 2007-01-29 | 2012-04-17 | Siemens Medical Solutions Usa, Inc. | Circular intensity distribution analysis for the detection of convex, concave and flat surfaces |
| US20100149073A1 (en) | 2008-11-02 | 2010-06-17 | David Chaum | Near to Eye Display System and Appliance |
| DE102009010467A1 (de) | 2009-02-26 | 2010-09-09 | Carl Zeiss Vision Gmbh | Verfahren und Vorrichtung zur Bestimmung der Augendrehpunktlage |
| US20190302882A1 (en) | 2009-04-01 | 2019-10-03 | Tobii Ab | Visual display with illuminators for gaze tracking |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| AU2011348122A1 (en) | 2010-12-24 | 2013-07-11 | Magic Leap Inc. | An ergonomic head mounted display device and optical system |
| US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
| CA2835120C (en) | 2011-05-06 | 2019-05-28 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
| CA2750287C (en) | 2011-08-29 | 2012-07-03 | Microsoft Corporation | Gaze detection in a see-through, near-eye, mixed reality display |
| US10795448B2 (en) | 2011-09-29 | 2020-10-06 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
| US20130083003A1 (en) * | 2011-09-30 | 2013-04-04 | Kathryn Stone Perez | Personal audio/visual system |
| US8988467B2 (en) | 2011-10-13 | 2015-03-24 | Microsoft Technology Licensing, Llc | Touchscreen selection visual feedback |
| CA3207408A1 (en) | 2011-10-28 | 2013-06-13 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| US8752963B2 (en) * | 2011-11-04 | 2014-06-17 | Microsoft Corporation | See-through display brightness control |
| US8929589B2 (en) | 2011-11-07 | 2015-01-06 | Eyefluence, Inc. | Systems and methods for high-resolution gaze tracking |
| US10540008B2 (en) * | 2012-01-04 | 2020-01-21 | Tobii Ab | System for gaze interaction |
| KR102306729B1 (ko) | 2012-04-05 | 2021-09-28 | 매직 립, 인코포레이티드 | 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들 |
| WO2013176265A1 (ja) | 2012-05-25 | 2013-11-28 | 国立大学法人静岡大学 | 瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法 |
| US10629003B2 (en) | 2013-03-11 | 2020-04-21 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| US9740006B2 (en) | 2012-09-11 | 2017-08-22 | Magic Leap, Inc. | Ergonomic head mounted display device and optical system |
| US10025379B2 (en) * | 2012-12-06 | 2018-07-17 | Google Llc | Eye tracking wearable devices and methods for use |
| JP6434918B2 (ja) | 2013-01-15 | 2018-12-05 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 超高分解能の走査ファイバディスプレイ |
| US9699433B2 (en) | 2013-01-24 | 2017-07-04 | Yuchen Zhou | Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye |
| US9618747B2 (en) | 2013-03-13 | 2017-04-11 | Jason Villmer | Head mounted display for viewing and creating a media file including omnidirectional image data and corresponding audio data |
| KR102458124B1 (ko) | 2013-03-15 | 2022-10-21 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US9256987B2 (en) * | 2013-06-24 | 2016-02-09 | Microsoft Technology Licensing, Llc | Tracking head movement when wearing mobile device |
| US20140375540A1 (en) | 2013-06-24 | 2014-12-25 | Nathan Ackerman | System for optimal eye fit of headset display device |
| US20150003819A1 (en) * | 2013-06-28 | 2015-01-01 | Nathan Ackerman | Camera auto-focus based on eye gaze |
| KR102341870B1 (ko) | 2013-10-16 | 2021-12-20 | 매직 립, 인코포레이티드 | 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들 |
| EP4220999A3 (en) | 2013-11-27 | 2023-08-09 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| KR102177133B1 (ko) | 2014-01-31 | 2020-11-10 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
| CA3089749A1 (en) | 2014-01-31 | 2015-08-06 | Magic Leap, Inc. | Multi-focal display system and method |
| US9313481B2 (en) * | 2014-02-19 | 2016-04-12 | Microsoft Technology Licensing, Llc | Stereoscopic display responsive to focal-point shift |
| US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| IL231862A (en) | 2014-04-01 | 2015-04-30 | Superfish Ltd | Image representation using a neural network |
| JP2017526078A (ja) | 2014-05-09 | 2017-09-07 | グーグル インコーポレイテッド | 実在および仮想のオブジェクトと対話するための生体力学ベースの眼球信号のためのシステムおよび方法 |
| CA3124368C (en) | 2014-05-30 | 2023-04-25 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
| US10852838B2 (en) | 2014-06-14 | 2020-12-01 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| US10288910B2 (en) | 2014-11-14 | 2019-05-14 | ESSILOR INTERNATIONAL Charenton-le-Pont | Devices and methods for determining the position of a characterizing point of an eye and for tracking the direction of the gaze of a wearer of spectacles |
| US9704038B2 (en) | 2015-01-07 | 2017-07-11 | Microsoft Technology Licensing, Llc | Eye tracking |
| AU2016310452B2 (en) | 2015-08-21 | 2021-04-22 | Magic Leap, Inc. | Eyelid shape estimation |
| US10146997B2 (en) | 2015-08-21 | 2018-12-04 | Magic Leap, Inc. | Eyelid shape estimation using eye pose measurement |
| US9983709B2 (en) | 2015-11-02 | 2018-05-29 | Oculus Vr, Llc | Eye tracking using structured light |
| WO2017079333A1 (en) * | 2015-11-04 | 2017-05-11 | Magic Leap, Inc. | Light field display metrology |
| US10115205B2 (en) | 2016-03-11 | 2018-10-30 | Facebook Technologies, Llc | Eye tracking system with single point calibration |
| KR102442569B1 (ko) | 2016-07-14 | 2022-09-08 | 매직 립, 인코포레이티드 | 각막 곡률을 이용한 홍채 경계 추정 |
| US10380418B2 (en) * | 2017-06-19 | 2019-08-13 | Microsoft Technology Licensing, Llc | Iris recognition based on three-dimensional signatures |
| US11112613B2 (en) | 2017-12-18 | 2021-09-07 | Facebook Technologies, Llc | Integrated augmented reality head-mounted display for pupil steering |
| CA3087333A1 (en) | 2018-01-17 | 2019-07-25 | Magic Leap, Inc. | Eye center of rotation determination, depth plane selection, and render camera positioning in display systems |
| JP6996343B2 (ja) * | 2018-02-28 | 2022-01-17 | 株式会社Ｊｖｃケンウッド | 評価装置、評価方法、及び評価プログラム |
| JP7344894B2 (ja) * | 2018-03-16 | 2023-09-14 | マジック リープ， インコーポレイテッド | 眼追跡カメラからの顔の表情 |
| JP7113654B2 (ja) * | 2018-04-20 | 2022-08-05 | Ｂｉｐｒｏｇｙ株式会社 | 曲面生成装置および曲面生成用プログラム |
| US10948729B2 (en) * | 2019-04-16 | 2021-03-16 | Facebook Technologies, Llc | Keep-out zone for in-field light sources of a head mounted display |
| EP3999940A4 (en) | 2019-07-16 | 2023-07-26 | Magic Leap, Inc. | EYE CENTER OF ROTATION DETERMINATION WITH ONE OR MORE EYE TRACKING CAMERAS |
| US11998275B2 (en) | 2020-07-15 | 2024-06-04 | Magic Leap, Inc. | Eye tracking using aspheric cornea model |
-
2020
- 2020-07-15 EP EP20841340.1A patent/EP3999940A4/en active Pending
- 2020-07-15 US US17/627,105 patent/US11868525B2/en active Active
- 2020-07-15 JP JP2022502459A patent/JP2022540675A/ja active Pending
- 2020-07-15 CN CN202080064342.3A patent/CN114424147A/zh active Pending
- 2020-07-15 WO PCT/US2020/042178 patent/WO2021011686A1/en unknown
-
2023
- 2023-11-07 US US18/387,745 patent/US20240077943A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022540675A (ja) | 2022-09-16 |
| WO2021011686A1 (en) | 2021-01-21 |
| US20240077943A1 (en) | 2024-03-07 |
| US20220253135A1 (en) | 2022-08-11 |
| US11868525B2 (en) | 2024-01-09 |
| EP3999940A4 (en) | 2023-07-26 |
| EP3999940A1 (en) | 2022-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11880033B2 (en) | Display systems and methods for determining registration between a display and a user's eyes | |
| US11290706B2 (en) | Display systems and methods for determining registration between a display and a user's eyes | |
| US11880043B2 (en) | Display systems and methods for determining registration between display and eyes of user | |
| JP7443332B2 (ja) | ユーザカテゴリ化による多深度平面ディスプレイシステムのための深度平面選択 | |
| US11868525B2 (en) | Eye center of rotation determination with one or more eye tracking cameras | |
| US11822718B2 (en) | Display systems and methods for determining vertical alignment between left and right displays and a user's eyes | |
| CN115053270A (zh) | 用于基于用户身份来操作头戴式显示系统的系统和方法 | |
| CN116033864A (zh) | 使用非球形角膜模型的眼睛跟踪 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |