CN115298597A - 用于视网膜成像和跟踪的系统和方法 - Google Patents
用于视网膜成像和跟踪的系统和方法 Download PDFInfo
- Publication number
- CN115298597A CN115298597A CN202180022648.7A CN202180022648A CN115298597A CN 115298597 A CN115298597 A CN 115298597A CN 202180022648 A CN202180022648 A CN 202180022648A CN 115298597 A CN115298597 A CN 115298597A
- Authority
- CN
- China
- Prior art keywords
- light
- eye
- user
- optical element
- waveguide
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title description 175
- 238000000034 method Methods 0.000 title description 110
- 230000002207 retinal effect Effects 0.000 title description 55
- 210000001508 eye Anatomy 0.000 claims abstract description 904
- 230000003190 augmentative effect Effects 0.000 claims abstract description 50
- 210000003128 head Anatomy 0.000 claims abstract description 39
- 210000001525 retina Anatomy 0.000 claims description 244
- 238000012545 processing Methods 0.000 claims description 72
- 210000001747 pupil Anatomy 0.000 claims description 37
- 230000002123 temporal effect Effects 0.000 claims description 30
- 238000004891 communication Methods 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 description 814
- 238000010168 coupling process Methods 0.000 description 272
- 238000005859 coupling reaction Methods 0.000 description 272
- 230000008878 coupling Effects 0.000 description 235
- 230000010287 polarization Effects 0.000 description 234
- 238000005286 illumination Methods 0.000 description 114
- 239000004973 liquid crystal related substance Substances 0.000 description 113
- 238000013461 design Methods 0.000 description 93
- 230000004256 retinal image Effects 0.000 description 77
- 239000004986 Cholesteric liquid crystals (ChLC) Substances 0.000 description 72
- 230000008569 process Effects 0.000 description 50
- 210000004087 cornea Anatomy 0.000 description 43
- 238000004422 calculation algorithm Methods 0.000 description 33
- 239000002131 composite material Substances 0.000 description 30
- 238000000576 coating method Methods 0.000 description 23
- 238000009826 distribution Methods 0.000 description 23
- 210000004204 blood vessel Anatomy 0.000 description 22
- 239000011248 coating agent Substances 0.000 description 20
- 238000013507 mapping Methods 0.000 description 20
- 239000000463 material Substances 0.000 description 20
- 230000001419 dependent effect Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 19
- 239000011159 matrix material Substances 0.000 description 19
- 239000000835 fiber Substances 0.000 description 18
- 238000002347 injection Methods 0.000 description 18
- 239000007924 injection Substances 0.000 description 18
- 230000001902 propagating effect Effects 0.000 description 18
- 238000003860 storage Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 14
- 239000003086 colorant Substances 0.000 description 14
- 230000004075 alteration Effects 0.000 description 12
- 230000004438 eyesight Effects 0.000 description 12
- 230000002829 reductive effect Effects 0.000 description 12
- 241000153282 Theope Species 0.000 description 11
- 230000004308 accommodation Effects 0.000 description 11
- 210000005252 bulbus oculi Anatomy 0.000 description 11
- 238000005259 measurement Methods 0.000 description 10
- 239000007787 solid Substances 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 230000004313 glare Effects 0.000 description 6
- 239000011295 pitch Substances 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000005253 cladding Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 239000006117 anti-reflective coating Substances 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000003098 cholesteric effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000007935 neutral effect Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000002238 attenuated effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 210000000720 eyelash Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 238000005530 etching Methods 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000000059 patterning Methods 0.000 description 2
- 230000035790 physiological processes and functions Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000004418 eye rotation Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- SQEHCNOBYLQFTG-UHFFFAOYSA-M lithium;thiophene-2-carboxylate Chemical compound [Li+].[O-]C(=O)C1=CC=CS1 SQEHCNOBYLQFTG-UHFFFAOYSA-M 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000004478 pupil constriction Effects 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000001210 retinal vessel Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000011343 solid material Substances 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 230000004470 vergence movement Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
- G02B2027/0125—Field-of-view increase by wavefront division
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
一种被配置为将光投射到用户的眼睛以显示增强现实图像的头戴式显示系统可以包括：框架，其被配置为支撑在用户的头部上；相机，其被向颞地设置在所述框架上；目镜，其被配置为将光引导到所述用户的眼睛中以将增强现实图像内容显示到用户的视场；反射元件，其被设置在框架上；以及至少一个VCSEL，其被设置为照射所述眼睛，其中，相机相对于反射元件来设置，以使得来自VCSEL的光从用户的眼睛反射到反射元件，并且从反射元件反射到相机，以形成由相机捕获的眼睛的图像。
Description
相关申请的交叉引用
本申请要求2020年3月20日提交的美国临时申请No.62/992,858的优先权益，其公开内容通过引用整体并入本文。以下专利申请中的每一者的公开内容通过引用整体并入本文：2018年9月21日提交的标题为“AUGMENTED REALITY DISPLAY WITH WAVEGUIDECONFIGURED TO CAPTURE IMAGES OF EYE AND/OR ENVIRONMENT(具有被配置为捕获眼睛和/或环境的图像的波导的增强现实显示器)”的美国专利申请No.16/138,228；2016年9月21日提交的标题为“EYE IMAGING WITH AN OFF-AXIS IMAGER(具有离轴成像器的眼睛成像)的美国专利申请No.15/271,802，现为2019年11月5日公布的美国专利No.10,466,478；2018年2月22日提交的标题为“VARIABLE-FOCUS VIRTUAL IMAGE DEVICES BASED ONPOLARIZATION CONVERSION(基于偏振转换的可变聚焦虚拟图像装置)”的美国专利申请No.15/902,927；以及2019年9月25日提交的标题为“EYEWEAR WITH PINHOLE AND SLITCAMERAS(具有针孔和狭缝相机的眼镜)”的国际专利申请No.PCT/US2019/053026。
技术领域
本公开涉及包括增强现实成像和可视化系统的光学装置。
背景技术
现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的发展，其中数字再现的图像或其部分以其看起来是真实的或者可被感知为真实的方式呈现给用户。虚拟现实(或者“VR”)场景通常涉及数字或虚拟图像信息的呈现，而对于其他实际的真实世界的视觉输入不透明；增强现实(或者“AR”)场景通常涉及数字或虚拟图像信息的呈现作为对用户周围的实际世界的可视化的增强。混合现实(或者“MR”)场景是一种AR场景并且通常涉及集成到自然世界中并响应于自然世界的虚拟对象。例如，MR场景可以包括AR图像内容，该AR图像内容看起来被真实世界中的对象阻挡或者另外被感知为与该对象交互。
参考图1，示出了增强现实场景10。AR技术的用户看到以人、树木、背景中的建筑物和混凝土平台30为特征的真实世界公园状设置20。用户同样感知到他/她“看到”站在真实世界平台30上的诸如机器人雕像40的“虚拟内容”，以及飞过的卡通式化身角色50，该化身角色看起来是大黄蜂的化身。这些元素50、40是“虚拟的”，因为它们在真实世界中不存在。因为人类的视觉感知系统是复杂的，并且产生有助于连同其他虚拟或真实世界的图像元素一起的虚拟图像元素的舒适、自然、丰富呈现的AR技术是具有挑战性的。
本文公开的系统和方法解决了与AR和VR技术相关的各种挑战。
偏振分束器可用于显示系统中，以将偏振光引导到光调制器，然后将该光引导到观看者。一般地，存在减小显示系统的尺寸的持续要求，由此，也存在减小显示系统的组成部分的尺寸的持续要求，该组成部分包括利用偏振分束器的组成部分。
发明内容
本文描述的各种实现方式包括被配置为向眼睛提供光照和/或映射像投射的显示系统。附加地或可选地，显示系统可以对眼睛和/或环境成像。
在一些实施例中，头戴式显示系统被配置为将光投射到用户的眼睛以在所述用户的视场中显示增强现实图像内容。头戴式显示系统可以包括被配置为支撑在用户的头部上的框架。该显示系统还可以包括图像投影仪，该图像投影仪被配置为将图像投射到用户的眼睛中以在用户的视场中显示图像内容。该显示系统可以包括相机、至少一个波导、被配置为使得光被耦合到所述波导中并在其中被引导的至少一个耦合光学元件、以及至少一个耦出(out-coupling)元件。该至少一个耦出元件可以被配置为将在所述波导内引导的光从所述波导耦出，并且将所述光引导到所述相机。相机可以设置在相对于所述至少一个耦出光学元件的光路中，以接收光的至少一部分，该光经由耦合元件耦入到所述波导中并在其中被引导并且通过所述耦出耦合元件使该光从所述波导中耦出，从而可以由所述相机捕获图像。
附图说明
图1示出了通过AR装置的增强现实(AR)的用户视图。
图2示出了可穿戴显示系统的示例。
图3示出了用于为用户模拟三维图像的常规显示系统。
图4示出了使用多个深度平面模拟三维图像的方法的方面。
图5A-5C示出了曲率半径与焦点半径之间的关系。
图6示出了用于将图像信息输出给用户的波导堆叠的示例。
图7示出了由波导输出的出射光束的示例。
图8示出了堆叠波导组件的示例，其中每个深度平面包括使用多种不同分量颜色形成的图像。
图9A示出了堆叠波导的组的示例的横截面侧视图，每个堆叠波导包括耦入(incoupling)光学元件。如本文所讨论的，波导堆叠可以包括目镜。
图9B示出了图9A的多个堆叠波导的示例的透视图。
图9C示出了图9A和9B的多个堆叠波导的示例的俯视平面图。
图10示意性地示出了示例成像系统的横截面侧视图，该示例成像系统包括目镜、图像投影仪、用于照射眼睛的光源以及用于捕获眼睛图像的相机。
图11A示意性地示出了用于照射眼睛的光源和用于将图像注入眼睛的图像投影仪，它们均朝着目镜的波导上的耦入光学元件发射光。
图11B示意性地示出了耦合到波导中的来自光源和来自图像投影仪的投射光。
图11C示意性地示出了耦入光如何通过全内反射传播通过波导。
图11D示意性地示出了从目镜耦出的来自光源和来自图像投影仪的光。
图11E示意性地示出了波导和耦合光学元件，其被配置为至少沿耦合光学元件的全尺寸(例如，沿x方向)传播耦入光。进入眼睛的光被示出为来自扩展光源(例如，成像光将捕获视网膜的区域)。
图12A是示意性地示出从眼睛出射的从视网膜反射并入射到目镜上的光的横截面视图。
图12B示意性地示出了耦入到目镜的波导中的示例光。
图12C示意性地示出了来自眼睛的准直的耦入光，该准直的耦入光通过波导朝着成像装置传播。
图12D示意性地示出了传播到一个或多个耦出光学元件的来自眼睛的耦入光。
图12E示意性地示出了来自眼睛的光，该光通过耦出光学元件从波导耦出并被引导到相机，使得可由相机捕获眼睛(例如，视网膜)的图像。
图13A示意性地示出了成像系统如何能够对眼睛(例如，视网膜)的各个部分进行成像，这可以使能要被确定的眼睛的取向和跟踪的眼睛位置。
图13B示出了顺序显示的注视目标的图案，该注视目标用于使眼睛在对视网膜成像的各种不同的方向上定向。所得图像对应于视网膜的不同部分。例如，当将眼睛在各个方向上定向以观看在显示器上不同定位的注视目标时，由相机捕获的图像包括视网膜的不同部分。这些图像可以被组合以形成视网膜的较大映射或合成图像。
图14A示意性地示出了成像系统的横截面图，该成像系统包括目镜和用于收集来自目镜前方的环境的光的相机。来自环境的光被示出为从环境中的一个或多个物理对象反射出或者发射出。来自目镜前方的环境中的对象的光的收集可以使能环境图像被捕获。
图14B示意性地示出了来自环境的光，该光被耦合光学元件耦合到目镜的波导中。
图14C示意性地示出了一种成像系统，该成像系统使用目镜前方的诸如折射光学元件(例如，诸如宽视场透镜的透镜)的有焦度的(powered)光学元件收集来自环境的光。
图15A示意性地示出了示例性成像系统，其包括用于接收来自照射源的光并将光耦合到目镜的波导中的偏振选择耦入光学元件。目镜还包括用于使光从波导耦出的偏振选择光耦合元件。偏振器可以用于使来自照射源的光偏振，以及半波延迟器可以用于使线性偏振光的取向旋转，使得该光通过偏振选择耦入光学元件转入波导。
图15B示意性地示出了来自眼睛的光(例如，来自被照射源的红外光照射的视网膜的光)，其被耦合回到波导中并被引导到相机用于图像捕获。
图16示意性地示出了被配置为对眼睛的前部(例如，角膜)进行成像的成像系统。成像系统包括如上所述的目镜。该成像系统还包括正透镜，该正透镜用于准直从眼睛的前部收集的光，以经由光学耦合元件耦合到波导中并传播到相机用于图像捕获。该系统还包括负透镜，以抵消由正透镜引入的正焦度(power)并防止以其他方式将由正透镜引起的目镜前方的环境图像倒置。
图17示意性地示出了另一示例成像系统，其被配置为对眼睛的前部(例如，角膜)成像。该成像系统包括弯曲的波长选择反射器，该弯曲的波长选择反射器用于准直来自眼睛的前部的光，以经由光学耦合元件耦合到波导中并传播到相机用于图像捕获。波长选择反射器可以以用于从眼睛反射的红外光的反射方式和以用于来自用户前方环境的可见光的透射方式来操作。
图18示意性地示出了示例成像系统，其也包括弯曲的波长选择反射器，该弯曲的波长选择反射器用于准直来自眼睛的前部的光，以经由光学耦合元件耦合到波导中并传播到相机用于图像捕获。可以采用偏振选择性来辅助控制从眼睛反射的光的路径。眼睛的照射是经由波导提供的，而不是经由位于波导与眼睛之间的多个光源提供，如图18所示。
图19示意性地示出了成像系统，其包括快门以辅助用于减去噪声的过程。
图20A-20E示意性地示出了与弯曲的波长选择反射器结合使用波长调制来减去噪声的可选过程。
图21示出了示例目镜，其可用于同时将光投射到用户的眼睛中以向其提供图像内容并同时接收用户的眼睛或用户前方环境的图像数据。
图22示出了具有多个均匀手性结构的胆甾型液晶衍射光栅(CLCG)的示例的横截面侧视图。
图23示出了成像系统的示例，该成像系统包括被配置为使用胆甾型液晶(CLC)离轴镜对佩戴者的眼睛成像的面向前的相机。
图24A-24F示出了包括面向前的相机的成像系统的示例，该面向前的相机被配置为使用CLC离轴镜对佩戴者的眼睛进行成像。
图24G和24H示出了包括面向前的相机的成像系统的示例，该面向前的相机被配置为使用包括具有一个或多个CLC离轴镜的多个分段的衍射光学元件对佩戴者的眼睛进行成像，其中每个分段可以具有不同的光学特性。
图25A示意性地示出了包括多个反射元件的示例照射系统。
图25B示意性地示出了包括多个反射元件的另一示例照射系统，其中第一反射元件比第二反射元件更靠近眼睛。
图26示意性地示出了包括多个相机的另一示例照射系统。
图27A示出了包括耦合到相机的VCSEL阵列的示例照射系统。
图27B示出了包括耦合到反射元件的VCSEL阵列的示例照射系统。
图28A示出了包括反射衍射光学元件和聚焦光学元件的照射系统的示例布置。
图28B示出了包括透射衍射光学元件和聚焦光学元件的照射系统的示例布置。
图29示意性地示出了用于捕获眼睛的视网膜的图像的示例配置，该图像可用于确定眼睛的瞳孔中心相对于相机的坐标系的位置。
图30示意性地示出了用于使用捕获图像的两个相机从不同视角捕获眼睛的视网膜的图像的示例配置，该图像用于确定眼睛的瞳孔中心的三维位置。
图31是示出用于计算由相机捕获的视网膜图像的一部分的质心的坐标的示例方法的流程图。
图32A示出了被投射在图像传感器上的视网膜的一部分的图像的示例。
图32B示出了校准的视网膜映射的示例。
图32C示出了其中血管图案被识别的视网膜的一部分的图像(在图32A中示出)。
图32D示出了包含血管(在图32C中示出)的视网膜的一部分的图像，其中界定(bounding)区域(例如，多边形或最小多边形)已经围绕血管来限定。
图33A示意性地示出了基于眼睛处于中性取向时的眼球中心和瞳孔中心来限定的眼球的坐标系。
图33B示意性地示出了眼球不处于中性取向时瞳孔中心在图33A中限定的坐标系中的角坐标。
图33C示出了关于三个不同的凝视方向的瞳孔中心(B)相对于眼球中心(A)的相对位置。
图34是示出了可用于生成眼睛的凝视方向映射矩阵的示例方法的流程图。
提供附图以示出示例实施例，并且不旨在限制本公开的范围。贯穿全文，相同的参考标号表示相同的部分。
具体实施方式
现在将参考附图，其中相同的附图标记始终表示相同的部件。
图2示出了可穿戴显示系统60的示例。显示系统60包括显示器70、以及支持该显示器70的功能的各种机械和电子模块和系统。显示器70可以与框架80耦接，该框架可以由显示系统用户或观看者90佩戴并且被配置为将显示器70定位在用户90的眼睛前方。在一些实施例中，显示器70可以被认为是眼镜。在一些实施例中，扬声器100被耦接到框架80并且被配置为位于用户90的耳道附近(在一些实施例中，另一扬声器(未示出)可以可选地位于用户的另一耳道附近以提供立体声/可塑形声音控制)。显示系统还可以包括一个或多个麦克风110或其他装置以检测声音。在一些实施例中，麦克风被配置为允许用户向系统60提供输入或命令(例如，语音菜单命令、自然语言问题等的选择)和/或可以允许与其他人(例如，与其他类似显示系统的用户)的音频通信。麦克风还可以被配置为外围传感器以收集音频数据(例如，来自用户和/或环境的声音)。在一些实施例中，显示系统还可以包括外围传感器120a，其可以与框架80分离并且附接到用户90的身体(例如，用户90的头部、躯干、四肢等上)。在一些实施例中，外围传感器120a可以被配置为获取表征用户90的生理状态的数据。例如，传感器120a可以是电极。
继续参考图2，显示器70可操作地通过通信链路130(诸如通过有线引线或无线连接)被耦接到本地数据处理和模块140，本地数据处理和模块140可以以各种配置安装，诸如被固定地附到框架80上、被固定地附到由用户佩戴的头盔或帽子上、被嵌入头戴耳机内、或者其他的可拆卸地附到用户90(例如，以背包式配置、以带耦接式配置)。类似地，传感器120a可以通过通信链路120b(例如通过有线引线或无线连接)可操作地耦接到本地处理和数据模块140。本地处理和数据模块140可以包括硬件处理器以及诸如非易失性存储器(例如，闪速存储器或硬盘驱动器)的数字存储器，这两者都可用于辅助处理、高速缓存和存储数据。该数据包括：a)从传感器(其例如可以可操作地耦接到框架80或者其他的可操作地附到用户90)捕获的数据，所述传感器例如为图像捕获装置(诸如相机)、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线电装置、陀螺仪和/或本文公开的其他传感器；以及/或b)使用远程处理模块150和/或远程数据储存库160(其包括与虚拟内容相关的数据)获取和/或处理的数据，这些数据可以在这样的处理或检索之后被传送到显示器70。本地处理和数据模块140可以诸如经由有线或无线通信链路可操作地通过通信链路170、180耦接到远程处理模块150和远程数据储存库160，使得这些远程模块150、160可操作地彼此耦接并且可用作本地处理和数据模块140的资源。在一些实施例中，本地处理和数据模块140可以包括图像捕获装置、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线电装置和/或陀螺仪中的一个或多个。在一些其他实施例中，这些传感器中的一个或多个可以附到框架80或者可以是通过有线或无线通信路径与本地处理和数据模块140通信的独立结构。
继续参考图2，在一些实施例中，远程处理模块150可以包括一个或多个处理器，这些处理器被配置为分析和处理数据和/或映射像信息。在一些实施例中，远程数据储存库160可以包括数字数据存储设施，该设施可以通过因特网或“云”资源配置中的其他网络配置而可用。在一些实施例中，远程数据储存库160可以包括一个或多个远程服务器，这些远程服务器向本地处理和数据模块140和/或远程处理模块150提供信息，例如，用于生成增强现实内容的信息。在一些实施例中，在本地处理和数据模块中存储所有数据并且执行所有计算，从而允许从远程模块完全自主的使用。
现在参考图3，可以通过向观看者的每只眼睛提供略微不同的图像呈现来实现将图像感知为“三维”或“3-D”。图3示出了用于为用户模拟三维图像的常规的显示系统。将两个不同图像190、200-用于每只眼睛210、220中的一个-输出给用户。图像190、200沿与观看者的眼睛凝视平行的光学轴或z轴与眼睛210、220隔开距离230。图像190、200是平坦的，并且眼睛210、220可以通过呈现单个适应(accommodate)状态而聚焦在图像上。这样的3D显示系统依赖于人类视觉系统来组合图像190、200以提供组合图像的深度感知和/或规模(scale)。
然而，应当理解，人类视觉系统更复杂并且提供对深度的真实感知更具挑战性。例如，常规的“3-D”显示系统的许多观看者发现这样的系统不舒服或者根本不能感知到深度感。不受理论的限制，据信对象的观看者可能由于聚散和适应的组合而将对象感知为“三维的”。两只眼睛相对于彼此的聚散运动(即，眼睛的旋转，使得瞳孔向着彼此或远离彼此运动以会聚眼睛的眼睛凝视来注视对象)与眼睛的晶状体和瞳孔的聚焦(或“适应”)紧密相关。在正常情况下，改变眼睛的晶状体的聚焦或使眼睛适应以改变从一个对象切换到位于不同距离处的另一对象时的聚焦，将会在被称为“适应-聚散度反射(accommodation-vergencereflex)”的关系以及瞳孔扩张或收缩下自动导致使聚散到相同的距离的匹配变化。同样，在正常情况下，聚散度的变化将引发晶状体形状和瞳孔尺寸的适应的匹配变化。如本文所述，许多立体或“3-D”显示系统使用略微不同的呈现(并且因此略微不同的图像)向每只眼睛显示场景，使得人类视觉系统感知到三维透视。然而，这样的系统对于许多观看者来说是不舒服的，因为除了其他的之外，这样的系统简单地提供场景的不同呈现，而且眼睛在单个适应状态下观看所有图像信息，以及违反“适应-聚散度反射”工作。提供适应与聚散度之间的更好匹配的显示系统可以形成更逼真和更舒适的三维图像模拟。
图4示出了使用多个深度平面模拟三维图像的方法的方面。继续参考图4，在z轴上距眼睛210、220的不同距离处的对象由眼睛210、220适应，以使得那些对象对焦(infocus)。眼睛210、220呈现特定的适应状态，以使沿z轴的不同距离处的对象进入焦点。因此，可以说特定的适应状态与深度平面240中的特定一个深度平面相关联，该特定深度平面具有相关联的焦距，以使得当眼睛处于该深度平面的适应状态时，特定深度平面中的对象或对象的部分对焦。在一些实施例中，可以通过为眼睛210、220中的每一者提供图像的不同呈现来模拟三维图像，并且还可以通过提供与深度平面中每一个深度平面对应的图像的不同呈现来模拟三维图像。尽管为了清楚说明而示出为分离的，但应理解的是，例如，随着沿z轴的距离增加，眼睛210、220的视场可以重叠。另外，虽然为了便于说明而示出为平坦的，但应理解的是，深度平面的外形可以在物理空间中是弯曲的，例如以使得深度平面中的所有特征在特定的适应状态下与眼睛对焦。
对象和眼睛210或220之间的距离也可以改变来自该对象的光的发散量，如该眼睛所看到的。图5A-5C示出了距离和光线发散之间的关系。对象与眼睛210之间的距离由距离减小的顺序R1、R2和R3表示。如图5A-5C所示，随着到对象的距离减小，光线变得更发散。随着距离的增加，光线变得更加准直。换句话说，可以说由点(对象或对象的一部分)产生的光场具有球面波前曲率，其是该点离用户眼睛有多远的函数。随着对象与眼睛210之间的距离减小，曲率增加。因此，在不同的深度平面处，光线的发散度也不同，发散度随着深度平面与观看者眼睛210之间的距离的减小而增加。虽然为了清楚地说明在图5A-5C和本文的其他图中仅示出了单个眼睛210，但是应当理解，关于眼睛210的讨论可以应用于观看者的双眼210和220。
不受理论的限制，据信人类眼睛通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个深度平面对应的图像的不同呈现，可以实现感知深度的高度可信的模拟。不同的呈现可以由观看者的眼睛单独聚焦，从而有助于基于眼睛的适应和/或基于观察位于失焦的不同深度平面上的不同图像特征来为用户提供深度提示，所述眼睛的适应被需要来对位于不同深度平面上的场景的不同图像特征聚焦。
图6示出了用于向用户输出图像信息的波导堆叠的示例。显示系统250包括可以用于采用多个波导270、280、290、300、310向眼睛/大脑提供三维感知的波导堆叠或堆叠波导组件260。在一些实施例中，显示系统250是图2的系统60，其中图6更详细地示意性地示出了该系统60的一些部分。例如，波导组件260可以是图2的显示器70的一部分。应当理解，在一些实施例中，显示系统250可以被认为是光场显示器。另外，波导组件260也可以被称为目镜。
继续参考图6，波导组件260可以还包括位于波导之间的多个特征320、330、340、350。在一些实施例中，特征320、330、340、350可以是一个或多个透镜。波导270、280、290、300、310和/或多个透镜320、330、340、350可以被配置为以各种级别的波前曲率或光线发散向眼睛发送图像信息。每个波导级别可以与特定的深度平面相关联，并且可以被配置为输出与该深度平面对应的图像信息。图像注入装置360、370、380、390、400可以用作波导的光源并且可以用于将图像信息注入到波导270、280、290、300、310中，如本文所述，其中的每个波导可以被配置为分配入射光穿过每个相应的波导，用于向眼睛210输出。光离开图像注入装置360、370、380、390、400的输出表面410、420、430、440、450并被注入到波导270、280、290、300、310的相应输入表面460、470、480、490、500。在一些实施例中，输入表面460、470、480、490、500中的每一个可以是相应波导的边缘，或者可以是相应波导的主表面的一部分(也就是，直接面向世界510或观看者眼睛210的波导表面中的一个)。在一些实施例中，可以将单个光束(例如，准直光束)注入到每个波导中，以便以与特定波导相关联的深度平面对应的特定角度(和发散量)输出朝向眼睛210定向的克隆准直光束的整个视场。在一些实施例中，图像注入装置360、370、380、390、400中的单个图像注入装置可以与波导182、184、186、188、190中的多个(例如，三个)相关联并将光注入到波导270、280、290、300、310中的多个(例如，三个)中。
在一些实施例中，图像注入装置360、370、380、390、400是分立的显示器，每个显示器产生用于分别注入到相应波导270、280、290、300、310中的图像信息。在一些其他实施例中，图像注入装置360、370、380、390、400是单个复用显示器的输出端，其可以例如经由一个或多个光导管(诸如，光纤线缆)向图像注入装置360、370、380、390、400中的每一个图像注入装置用管输送图像信息。可以理解，由图像注入装置360、370、380、390、400提供的图像信息可以包括不同波长或颜色(例如，如本文所讨论的，不同的组分颜色)的光。
在一些实施例中，注入到波导270、280、290、300、310中的光由包括光模块540的光投射器系统520提供，光模块540可包括光发射器，诸如发光二极管(LED)。来自光模块540的光可以导向光调制器530并且经由光分束器550通过光调制器530(例如，空间光调制器)修改。光调制器540可以被配置为改变注入到波导270、280、290、300、310中的光的感知强度。空间光调制器的示例包括液晶显示器(LCD)，其包括硅上的液晶(LCOS)显示器。应当理解，图像注入装置360、370、380、390、400被示意性地示出，并且在一些实施例中，这些图像注入装置可以表示公共投射系统中的不同光路和位置，该公共投射系统被配置为将光输出到波导270、280、290、300、310中的相关联的波导中。
在一些实施例中，显示系统250可以是扫描光纤显示器，该扫描光纤显示器包括一个或多个扫描光纤，这些扫描光纤被配置为以各种图案(例如，光栅扫描、螺旋扫描、利萨如(Lissajous)图案等)将光投射到一个或多个波导270、280、290、300、310中并最终投射到观看者的眼睛210中。在一些实施例中，所示图像注入装置360、370、380、390、400可示意性地表示单个扫描光纤或一束扫描光纤，该单个扫描光纤或一束扫描光纤被配置为将光注入到一个或多个波导270、280、290、300、310中。在一些其他实施例中，所示图像注入装置360、370、380、390、400可以示意性地表示多个扫描光纤或多束扫描光纤，多个扫描光纤中的每一者或多束扫描光纤中的每一者被配置为将光注入波导270、280、290、300、310中相关联的一个波导中。应当理解，一个或多个光纤可以被配置为将光从光模块540传输到一个或多个波导270、280、290、300、310。应当理解，可以在一个或多个扫描光纤与一个或多个波导270、280、290、300、310之间提供一个或多个中间光学结构，以例如将从扫描光纤射出的光重定向到一个或多个波导270、280、290、300、310中。
控制器560控制堆叠波导组件260中的一个或多个的操作，包括图像注入装置360、370、380、390、400、光源540和光调制器530的操作。在一些实施例中，控制器560是本地数据处理模块140的一部分。控制器560包括编程(例如，非暂时性介质中的指令)，例如，根据本文公开的任何各种方案，该编程调节图像信息到波导270、280、290、300、310的定时和提供。在一些实施例中，控制器可以是单个整体装置，或者是通过有线或无线通信通道连接的分布式系统。在一些实施例中，控制器560可以是处理模块140或150(图2)的部分。
继续参考图6，波导270、280、290、300、310可以被配置为通过全内反射(TIR)在每个相应的波导内传播光。波导270、280、290、300、310可以各自是平面的或具有其他形状(例如，曲面的)，其具有顶部主表面和底部主表面以及在这些顶部主表面与底部主表面之间延伸的边缘。在所示的配置中，波导270、280、290、300、310可以各自包括耦出光学元件570、580、590、600、610，这些耦出光学元件被配置为通过将每一个相应波导内传播的光重定向到波导外而将光提取到波导外，以向眼睛210输出图像信息。所提取的光也可以被称为耦出光，并且耦出光学元件光也可以被称为光提取光学元件。所提取的光束可以在波导中传播的光照射到光提取光学元件的位置处被波导输出。耦出光学元件570、580、590、600、610可以例如包括衍射光学特征的光栅，如本文进一步讨论的。虽然为了便于描述和清晰绘图起见而将其图示为设置在波导270、280、290、300、310的底部主表面处，但是在一些实施例中，耦出光学元件570、580、590、600、610可以设置在顶部和/或底部主表面处，和/或可以直接设置在波导270、280、290、300、310的体积中，如本文进一步讨论的。在一些实施例中，耦出光学元件570、580、590、600、610可以形成在被附接到透明基板的材料层中以形成波导270、280、290、300、310。在一些其他实施例中，波导270、280、290、300、310可以是单片材料，并且耦出光学元件570、580、590、600、610可以形成在该片材料的表面上和/或该片材料的内部中。
继续参考图6，如本文所讨论的，每个波导270、280、290、300、310被配置为输出光以形成与特定深度平面对应的图像。例如，最接近眼睛的波导270可以被配置为将准直光(其被注入到这种波导270中)传送到眼睛210。准直光可以代表光学无限远焦平面。下一个上行波导280可以被配置为将穿过第一透镜350(例如，负透镜)的准直光在其可以到达眼睛210之前发送出；这样的第一透镜350可以被配置为产生轻微凸面的波前曲率，使得眼睛/大脑将来自下一个上行波导280的光解释为来自第一焦平面，该第一焦平面从光学无限远处更靠近向内朝向眼睛210。类似地，第三上行波导290使其输出光在到达眼睛210之前穿过第一透镜350和第二透镜340；第一透镜350和第二透镜340的组合光焦度(optical power)可被配置为产生另一增量的波前曲率，以使得眼睛/大脑将来自第三波导290的光解释为来自第二焦平面，该第二焦平面从光学无穷远比来自下一个上行波导280的光更靠近向内朝向人。
其他波导层300、310和透镜330、320被类似地配置，其中堆叠中的最高波导310通过它与眼睛之间的所有透镜发送其输出，用于代表最靠近人的焦平面的聚合聚焦焦度(aggregate focal power)。当在堆叠波导组件260的另一侧上观看/解释来自世界510的光时，为了补偿透镜320、330、340、350的堆叠，补偿透镜层620可以设置在堆叠的顶部处以补偿下面的透镜堆叠320、330、340、350的聚合聚焦焦度。这种配置提供了与可用波导/透镜配对一样多的感知焦平面。波导的耦出光学元件和透镜的聚焦方面可以是静态的(即，不是动态的或电活性的)。在一些可选实施例中，两者之一或两者都可以是使用电活性特征而动态的。
在一些实施例中，波导270、280、290、300、310中的两个或更多个可具有相同的相关联的深度平面。例如，多个波导270、280、290、300、310可以被配置为输出设置到相同深度平面的图像，或者波导270、280、290、300、310的多个子集可以被配置为输出设置到相同的多个深度平面的图像，每个深度平面有一组。这可以为形成平铺图像提供优势，以在那些深度平面处提供扩展的视场。
继续参考图6，耦出光学元件570、580、590、600、610可以被配置为将光重定向到它们相应的波导之外并且针对与该波导相关联的特定深度平面输出具有适当的发散量或准直量的该光。结果，具有不同相关联深度平面的波导可具有不同的耦出光学元件570、580、590、600、610的配置，这些耦出光学元件依赖于相关联的深度平面而输出具有不同发散量的光。
在一些实施例中，光提取光学元件570、580、590、600、610可以是体积或表面特征，其可以被配置为以特定角度输出光。例如，光提取光学元件570、580、590、600、610可以是体积全息图、表面全息图和/或衍射光栅。
在一些实施例中，特征320、330、340、350可以不是透镜；相反，它们可以简单地是间隔物(例如，用于形成空气间隙的包覆层和/或结构)。
在一些实施例中，耦出光学元件570、580、590、600、610是形成衍射图案的衍射特征，或者说“衍射光学元件”(在此也称为“DOE”)。优选地，DOE具有足够低的衍射效率，以使得光束的仅一部分光通过DOE的每一个交点而偏转向眼睛210，而其余部分经由TIR而继续移动通过波导。携带图像信息的光因此被分成多个相关的出射光束，这些出射光束在多个位置处离开波导，并且结果对于在波导内反弹的该特定准直光束是朝向眼睛210的相当均匀图案的出射发射。
在一些实施例中，一个或多个DOE可以在它们活跃地衍射的“开”状态与它们不显著衍射的“关”状态之间可切换。例如，可切换的DOE可以包括聚合物分散液晶层，其中微滴在主体介质中包含衍射图案，并且微滴的折射率可以被切换为基本上匹配主体材料的折射率(在这种情况下，图案不会明显地衍射入射光)，或者微滴可以被切换为与主体介质的折射率不匹配的折射率(在这种情况下，该图案活跃地衍射入射光)。
在一些实施例中，可提供相机组件630(例如，数码相机，包括可见光和红外光相机)以捕获眼睛210和/或眼睛210周围的组织的图像，从而例如检测用户输入和/或监测用户的生理状态。如本文所使用的，相机可以是任何图像捕获装置。在一些实施例中，相机组件630可以包括图像捕获装置和光源，以将光(例如，红外光)投射到眼睛，然后光可以由眼睛反射并由图像捕获装置检测到。在一些实施例中，相机组件630可以附接到框架80(图2)并且可以与处理模块140和/或150电连通，处理模块140和/或150可以处理来自相机组件630的图像信息。在一些实施例中，可以针对每只眼睛使用一个相机组件630以分别监测每只眼睛。
现在参考图7，其中示出了由波导输出的出射光束的示例。示出了一个波导，但是应该理解，波导组件260(图6)中的其他波导可以类似地起作用，其中波导组件260包括多个波导。光640在波导270的输入表面460处被注入到波导270中，并且通过TIR在波导270内传播。在光640照射(impinge)在DOE 570上的点处，一部分光如出射光束650离开波导。出射光束650被示出为基本上平行，但是如本文所讨论的，依赖于与波导270相关联的深度平面，出射光束650也可以以一角度(例如，形成发散的出射光束)被重定向以传播到眼睛210。应该理解，基本上平行的出射光束可以指示具有耦出光学元件的波导，所述耦出光学元件将光耦出以形成看起来被设置在距眼睛210较大距离(例如，光学无穷远)处的深度平面上的图像。其他波导或者其他耦出光学元件组可以输出更加发散的出射光束图案，这将需要眼睛210适应更近距离以将其聚焦在视网膜上并且将被大脑解释为来自比光学无穷远更接近眼睛210的距离的光。
在一些实施例中，可以通过叠加每个分量颜色(例如，三种或更多种分量颜色)的图像来在每个深度平面处形成全色图像。图8示出了堆叠波导组件的示例，其中每个深度平面包括使用多种不同分量颜色形成的图像。所示实施例示出了深度平面240a-240f，但也可以考虑更多或更少的深度。每个深度平面可以具有与其相关联的三个或更多个分量彩色图像，包括：第一种颜色的第一图像G；第二种颜色的第二图像R；以及第三种颜色的第三图像B。不同的深度平面在图中由字母G、R和B之后的屈光度(dpt)的不同数字来表示。作为示例，这些字母的每一个后面的数字表示屈光度(1/m)、或者深度平面与观看者的反距离，并且图中的每个框表示单独的分量彩色图像。在一些实施例中，为了解决眼睛对不同波长的光的聚焦的差异，不同分量颜色的深度平面的精确放置可以改变。例如，给定深度平面的不同分量颜色图像可以放置在与用户的不同距离对应的深度平面上。这样的布置可以增加视觉敏度和用户舒适度和/或可以减少色差。
在一些实施例中，每种分量颜色的光可以由单个专用波导输出，因此，每个深度平面可以具有与其相关联的多个波导。在这样的实施例中，图中包括字母G、R或B的每个框可以被理解为表示单独的波导，并且每个深度平面可以提供三个波导，其中每个深度平面提供三个分量颜色图像。虽然为了便于描述，在该图中示出了与每个深度平面相关联的波导彼此相邻，但是应当理解，在物理装置中，波导可以全部布置成每层具有一个波导的堆叠。在一些其他实施例中，多个分量颜色可以由相同的波导输出，使得例如每个深度平面可以仅提供单个波导。
继续参考图8，在一些实施例中，G是绿色、R是红色、B是蓝色。在一些其他实施例中，除了红色、绿色或蓝色之外，可以使用与其他波长的光相关联的其他颜色(包括品红色和青色)，或者可以替换红色、绿色或蓝色中的一种或多种。
应当理解，贯穿本公开内容对给定颜色的光的参考将被理解为包括在观看者感知为具有该给定颜色的光的波长范围内的一个或多个波长的光。例如，红光可以包括在约620-780nm范围内的一个或多个波长的光，绿光可以包括在约492-577nm范围内的一个或多个波长的光，以及蓝光可以包括在约435-493nm的范围内的一个或多个波长的光。
在一些实施例中，光源540(图6)可以被配置为发射观看者的视觉感知范围之外的一个或多个波长(例如，红外和/或紫外波长)的光。此外，显示器250的波导的耦入、耦出和其他光重定向结构可以被配置为将该光从显示器引导出并朝着用户的眼睛210发射，例如用于成像和/或用户刺激应用。
现在参考图9A，在一些实施例中，可能需要将照射到波导上的光重定向以将该光耦入到波导中。可以使用耦入光学元件将光重定向并且将光耦入到其相应的波导中。图9A示出了多个堆叠波导或堆叠波导组660的示例的横截面侧视图，每个堆叠波导包括耦入光学元件。每个波导可以被配置为输出一个或多个不同波长的光、或者一个或多个不同波长范围的光。应当理解，堆叠660可以对应于堆叠260(图6)，并且所出的堆叠的波导660可以对应于多个波导270、280、290、300、310的一部分，除了来自图像注入装置360、370、380、390、400中的一个或多个光从需要光被重定向以进行耦入的位置注入到波导中。
所示的堆叠波导组660包括波导670、680和690。每个波导包括相关联的耦入光学元件(其也可以被称为波导上的光输入区域)，例如，设置在波导670的主表面(例如，上主表面)上的耦入光学元件700、设置在波导680的主表面(例如，上主表面)上的耦入光学元件710、以及设置在波导690的主表面(例如，上主表面)上的耦入光学元件720。在一些实施例中，耦入光学元件700、710、720中的一个或多个可以设置在相应的波导670、680、690的底部主表面上(特别是在一个或多个耦入光学元件是反射的、偏转光学元件的情况下)。如所示出的，耦入光学元件700、710、720可以设置在它们相应的波导670、680、690的上主表面上(或下一个下波导的顶部)，特别是在那些耦入光学元件是透射的、偏转的光学元件情况下。在一些实施例中，耦入光学元件700、710、720可以设置在相应波导670、680、690的主体中。在一些实施例中，如本文所讨论的，耦入光学元件700、710、720是波长选择性的，使得它们选择性地重定向一个或多个波长的光，同时透射其他波长的光。虽然在它们相应的波导670、680、690的一侧或角上示出，但是应当理解，在一些实施例中，耦入光学元件700、710、720可以设置在它们相应的波导670、680、690的其他区域中。
如所示出的，耦入光学元件700、710、720可以彼此横向偏移。在一些实施例中，每个耦入光学元件可以偏移，使得它接收光而光不通过另一耦入光学元件。例如，每个耦入光学元件700、710、720可以被配置为从如图6所示的不同的图像注入装置360、370、380、390和400接收光并且可以与其他耦入光学元件700、710、720分离(例如，横向间隔开)，使得它基本上不接收来自其他耦入光学元件700、710、720的光。
每个波导还包括相关联的光分布(distribute)元件，例如，设置在波导670的主表面(例如，顶部主表面)上的光分布元件730、设置在波导680的主表面(例如，顶部主表面)上的光分布元件740以及设置在波导690的主表面(例如，顶部主表面)上的光分布元件750。在一些其他实施例中，光分布元件730、740、750可以分别设置在相关联的波导670、680、690的底部主表面上。在一些其他实施例中，光分布元件730、740、750可以分别设置在相关联的波导670、680、690的顶部和底部主表面上；或者光分布元件730、740、750可以分别设置在不同的相关联的波导670、680、690的顶部和底部主表面中的不同的主表面上。
波导670、680、690可以由例如气体、液体和/或固体材料层间隔开并分离。例如，如所示出的，层760a可以分离波导670和680；以及层760b可以分离波导680和690。在一些实施例中，层760a和760b由低折射率材料(也就是，具有比形成波导670、680、690中的紧邻的波导的材料的折射率低的材料)形成。优选地，形成层760a、760b的材料的折射率比形成波导670、680、690的材料的折射率小0.05或更多、或0.10或更少。有利地，低折射率层760a、760b可以用作促进通过波导670、680、690的光的全内反射(TIR)(例如，每个波导的顶部和底部主表面之间的TIR)的包覆(clad)层。在一些实施例中，层760a、760b由空气形成。尽管未示出，但应理解，所示波导组660的顶部和底部可包括紧邻的包覆层。
优选地，为了便于制造和其他的考虑，形成波导670、680、690的材料类似或相同，以及形成层760a、760b的材料类似或相同。在一些实施例中，形成波导670、680、690的材料在一个或多个波导之间可以是不同的，以及和/或者形成层760a、760b的材料可以是不同的，同时仍然保持上述各种折射率关系。
继续参考图9A，光线770、780、790入射到波导组660上。应当理解，光线770、780、790可以通过一个或多个图像注入装置360、370、380、390、400(图6)注入到波导670、680、690中。
在一些实施例中，光线770、780、790具有不同的属性，例如，不同的波长或不同的波长范围，其可以对应于不同的颜色。耦入光学元件700、122、720各自使入射光偏转，使得光通过TIR传播通过波导670、680、690中的相应一个波导。在一些实施例中，耦入光学元件700、710、720每个选择性地偏转一个或多个特定波长的光，同时将其他波长传输到下面的波导和相关联的耦入光学元件。
例如，耦入光学元件700可以被配置为偏转具有第一波长或波长范围的光线770，同时分别传输具有不同的第二和第三波长或波长范围的光线780和790。传输的光线780照射在耦入光学元件710上并被耦入光学元件710偏转，该耦入光学元件710被配置为偏转具有第二波长或波长范围的光。光线790被耦入光学元件720偏转，该耦入光学元件720被配置为选择性地偏转具有第三波长或波长范围的光。
继续参考图9A，偏转的光线770、780、790被偏转，使得它们传播通过相应的波导670、680、690；也就是，每个波导的耦入光学元件700、710、720将光偏转到相应的波导670、680、690中，以将光耦入到相应的波导中。光线770、780、790以一定角度偏转，该角度使光经由TIR传播通过相应的波导670、680、690。光线770、780、790经由TIR传播通过相应的波导670、680、690，直到照射到波导的相应的光分布元件730、740、750上。
现在参考图9B，示出了图9A的多个堆叠波导的示例的透视图。如上所述，耦入光线770、780、790分别被耦入光学元件700、710、720偏转，然后分别在波导670、680、690内通过TIR传播。然后，光线770、780、790分别照射到光分布元件730、740、750上。光分布元件730、740、750使光线770、780、790偏转，使得它们分别朝向耦出光学元件800、810、820传播。
在一些实施例中，光分布元件730、740、750是正交瞳孔扩展器(OPE)。在一些实施例中，OPE将光偏转或分布至耦出光学元件800、810、820，并且在一些实施例中，OPE还在该光传播到耦出光学元件时增加该光的光束或光点尺寸。在一些实施例中，可以省略光分布元件730、740、750，并且可以将耦入光学元件700、710、720配置为将光直接偏转至耦出光学元件800、810、820。例如，参考图9A，光分布元件730、740、750可以分别被耦出光学元件800、810、820代替。在一些实施例中，耦出光学元件800、810、820是出射光瞳(EP)或出射光瞳扩展器(EPE)，其引导观看者眼睛210中的光(图7)。应当理解，OPE可以被配置为在至少一个轴上增加眼箱的尺寸，并且EPE可以在例如与OPE的轴正交的轴上增加眼箱。例如，每个OPE可以被配置为将照射到OPE上的光的一部分重定向到相同波导的EPE，同时允许光的剩余部分继续沿波导传播。在再次照射到OPE上时，剩余光的另一部分被重定向到EPE，并且该剩余光的剩余部分继续沿波导进一步传播等等。类似地，在照射到EPE上时，照射的光的一部分被引导出波导朝向用户，并且该光的剩余部分继续传播通过波导直到它再次照射到EP上，此时照射的光的另一部分被引导出波导，等等。因此，每当光的一部分被OPE或EPE重定向时，可以“复制”单束光的耦入光，从而形成克隆光束的场，如图6所示。在一些实施例中，OPE和/或EPE可以被配置为修改光束的尺寸。
因此，参考图9A和9B，在一些实施例中，波导组660包括波导670、680、690；耦入光学元件700、710、720；光分布元件(例如，OPE)730、740、750；以及用于每种分量颜色的耦出光学元件(例如，EP)800、810、820。波导670、680、690可以堆叠，其中每个之间存在的空气隙/包覆层。耦入光学元件700、710、720将入射光(采用接收不同波长的光的不同的耦入光学元件)重定向或偏转到其波导中。然后光以一定角度传播，这将导致相应波导670、680、690内的TIR。在所示的示例中，光线770(例如，蓝光)被第一耦入光学元件700偏转，然后继续跳到波导，以前方描述的方式与光分布元件(例如，OPE)730相互作用，然后与耦出光学元件(例如，EPs)800相互作用。光线780和790(例如，分别为绿光和红光)将穿过波导670，其中光线780照射到耦入光学元件710上并被耦入光学元件710偏转。光线780然后经由TIR跳到波导680，继续进行到达其的光分布元件(例如，OPE)740然后到达耦出光学元件(例如，EP)810。最后，光线790(例如，红光)穿过波导690以照射到波导690的光耦入光学元件720上。光耦入光学元件720偏转光线790，使得光线通过TIR传播到光分布元件(例如，OPE)750，然后通过TIR传播到耦出光学元件(例如，EP)820。然后，耦出光学元件820最终将光线790耦出到观看者，观看者还接收来自其他波导670、680的耦出光。
图9C示出了图9A和9B的多个堆叠波导的示例的俯视平面图。如所示出的，波导670、680、690以及与每个波导相关联的光分布元件730、740、750和相关联的耦出光学元件800、810、820可以垂直对准。然而，如本文所讨论的，耦入光学元件700、710、720不是垂直对准的；相反，耦入光学元件优选地是非重叠的(例如，如在俯视图中所见，横向间隔开)。如本文进一步讨论的，该非重叠空间布置有助于将来自不同源的光一对一地注入到不同波导中，从而允许特定光源唯一地耦接到特定波导。在一些实施例中，包括非重叠的空间分离的耦入光学元件的布置可以被称为移位的瞳孔系统，并且这些布置内的耦入光学元件可以对应于子瞳孔。
眼睛成像和环境成像
如上所述，头戴式显示器可以用于向用户提供图像内容，该图像内容与佩戴者前方的世界的视图集成、结合和/或叠加在佩戴者前方的世界的视图上。这样的头戴式显示系统可以被配置为将光投射到用户的眼睛中以形成增强现实图像内容，以及将来自用户前方的环境的光传输到用户。头戴式显示系统可以包括用于对环境和/或用户的眼睛成像的一个或多个相机。面向外的相机可用于直接对环境成像，例如，以确定相对于环境中的对象将增强现实图像内容放置在何处。例如，对环境进行成像可以提供桌子的位置，使得头戴式显示器可以渲染站立在桌子附近而不是站在桌子上或站在桌子中的人的图像。面向内的相机可用于直接对眼睛成形例如用于眼睛跟踪。本文公开的是头戴式显示系统和/或成像系统的示例，其可以被配置为也对眼睛和/或环境成像。在一些设计中，系统不需要面向内和/或面向外的相机来分别直接对眼睛和/或环境成像。这样的系统可以采用一个或多个相机，该一个或多个相机被配置为经由目镜接收来自眼睛/环境的光，诸如与一个或多个相机光学通信的目镜中的一个或多个波导。通过由一个或多个波导收集的光，一个或多个相机可以生成眼睛的图像或在用户前方的环境的图像。使用波导收集用于对眼睛和/或环境成像的光可以潜在地减小头戴式显示器的形状因子，从而使头戴式显示器可能更紧凑和/或在美学上是期望的。
图10示出了被配置为对眼睛成像的示例成像系统900，其与可以在头戴式显示器中使用的目镜950集成。可以设置在用户眼睛210前方的目镜950可以用于将图像内容注入到眼睛中以及对眼睛进行成像。图10示出了位于一只眼睛210的前方的一个目镜950。诸如图2所示的各种头戴式显示系统可以包括目镜950的对和设置在相应的左眼和右眼210的前方的相关联的组件。在图10中示出单个波导940，但是波导940可以包括一个、两个、三个、四个、六个、七个、八个或更多个波导(例如，一个或多个波导堆叠)。
成像系统900可以包括照射眼睛以促进图像捕获的光源或照射源960、包括被配置为在其中传播光的波导940的目镜950和/或例如用于图像捕获的相机的成像装置920。还示出了用于产生可以经由目镜950注入到眼睛中的图像的图像投影仪930。目镜950可以包括一个或多个波导940，该一个或多个波导940被配置为将来自照射源960和/或图像投影仪930的光传输到眼睛，以及将来自眼睛的光传输到相机920。目镜950可以还包括一个或多个耦合光学元件944，其用于将光从波导940耦出并耦合到眼睛用于照射眼睛和用于图像注入，和/或从眼睛耦出光并将该光耦入到波导中用于图像捕获。目镜950可以另外包括用于将来自照射源960和/或图像投影仪930的光耦合到波导940中的一个或多个耦入光学元件942以及一个或多个用于将来自波导的光耦出到相机920的一个或多个耦出光学元件952。
目镜950可以设置在可穿戴在头部上的框架上。目镜950可以被设置在眼睛210的前方。目镜950可以具有更靠近佩戴者的鼻子的内侧或鼻侧以及更靠近太阳穴并且远离佩戴者的鼻子的相对外侧或颞侧。在图10中，耦合光学元件944相对于耦入光学元件942和耦出光学元件952(其在耦合光学元件944的外侧或颞侧)在内侧或鼻侧。照射源960相对于图像投影仪930也更在内侧或鼻侧(或者图像投影仪比照射源930位于外侧或颞侧)。然而，相对位置可以不同。例如，在一些设计中，照射源960可以比图像投影仪930更在外侧或颞侧。
波导940可以包括具有两个主表面(前表面和后表面)的片或层，两个主表面具有最大的表面积且彼此相对设置。当用户佩戴头戴式显示器时，向前表面可以远离用户的眼睛210(更靠近佩戴者前方的环境)，向后表面可以更靠近用户的眼睛(并且远离佩戴者前方的环境)。波导940可以包括具有大于1.0的折射率的透明材料(例如，玻璃、塑料)，使得可以通过主表面之间的全内反射在其中引导光。对于本文描述的一个或多个实施例，具有相同编号的元件可以具有相同的功能。
用于将光从波导940耦合到眼睛210和/或从波导耦合到眼睛的耦合光学元件944可以设置在波导940之上或之中。如图10所示，耦合光学元件944可以设置在用户的眼睛210和波导940之间的光学路径中，使得经由耦合光学元件944从波导940耦合的光可以入射在用户的眼睛210上(例如，以照射眼睛和/或用于图像注入)。耦合光学元件944可以包括多个转向(turning)特征，该转向特征被配置为将在波导内被引导的光从波导转向出，或者以一定角度将入射到耦合光学元件944上的光转向到波导中以通过全内反射在其中被引导。耦合光学元件944和转向特征可以与波导940物理接合。例如，耦合光学元件944可以包括在波导940之中或之上被图案化(例如，蚀刻)的全息或衍射光学元件(例如，表面浮雕光栅)。耦合光学元件944可以包括设置在波导940上的层，或者可以形成在波导940中。例如，可以通过改变包括波导或设置在其上的层的材料的折射率来形成体全息或其他衍射光学元件。因此，耦合光学元件944可以设置在波导940的体积中或设置为在其上的层。
取决于设计，耦合光学元件944可以是透射的或反射的，并且可以透射或反射的方式操作。例如，耦合光学元件944可以包括分别以透射或反射方式操作的透射或反射衍射光学元件(例如，光栅)或全息光学元件，从而例如，使通过其透射或从其反射的光转向。耦合光学元件944可以包括偏振光学元件，例如偏振选择转向元件(例如，偏振器)。偏振选择转向元件可以包括一个或多个偏振光栅、衍射光学元件和/或全息光学元件，并且可以包括液晶结构，例如液晶偏振光栅。耦合光学元件944可以被配置为以小于(例如，更法向于)临界角的角度将通过全内反射(TIR)在波导940内引导的来自图像投影仪930和/或光源960的光引导到用户的眼睛210，以便从波导中射出到眼睛。附加地或可选地，耦合光学元件944可以被配置为以大于(例如，较少法向于)临界角的角度将来自眼睛210的光耦合到波导940中，以便通过全内反射在其中被引导到相机920。
如图10所示，用于将来自照射源960和/或图像投影仪930的光耦合到波导940中的耦入光学元件942可以设置在波导940之上或之中。耦入光学元件942可以设置在光源960和波导940之间的光路上，使得从光源960经由耦入光学元件942耦合的光在波导940内被引导。耦入光学元件942可以包括例如多个转向特征，该多个转向特征被配置为将入射在其上的光以角度转到波导中，以通过全内反射在波导中被引导。耦入光学元件942可包括液晶结构，例如液晶偏振光栅。附加地或可选地，耦入光学元件942可包括闪耀光栅。耦入光学元件942可以包括设置在波导940上的层，或者可以形成在波导940之上或之中(例如，被图案化)，或者可以以其他方式被制造在其中。例如，可以通过对波导的表面或其上的层进行图案化(例如，蚀刻)来制造表面全息或衍射光学元件(例如，表面浮雕光栅)。体积全息或衍射光学元件也可以通过改变包括波导或其上的层的材料的折射率来形成。因此，可以将耦入光学元件942设置在波导940的体积中或设置在其上的层中。取决于设计，耦入光学元件942可以是透射的或反射的，并且可以以透射或反射的方式工作。例如，耦入光学元件942可以包括分别以透射或反射的方式工作的透射或反射的衍射光学元件(例如，光栅)或全息光学元件，例如，从而使通过其透射或从其反射的光转向。
耦入光学元件942可以包括反射光学元件(例如，镜子)。例如，耦入光学元件942可以包括离轴反射器。附加地或可选地，耦入光学元件942和/或耦合光学元件944可包括偏振光学元件，例如偏振选择转向元件(例如，偏振器)。偏振选择转向元件可以包括一个或多个偏振光栅、衍射光学元件和/或全息光学元件，并且可以包括液晶结构，例如液晶偏振光栅。例如，耦入光学元件942和/或耦合光学元件944中的一个或两个可以包括液晶偏振光栅(LCPG)。LCPG可以潜在地在宽波长下提供高效衍射。因此，LCPG可用于耦入光学元件942和/或耦合光学元件944。LCPG可以是偏振相关的。LCPG或其他类型的液晶光栅、衍射光学元件或光学元件可以包括液晶分子的图案或布置，其被配置为提供一种或多种功能，例如将光转到波导中或从波导转出。因此，耦入光学元件942和/或耦合光学元件944可包括偏振光栅。附加地或可选地，耦入光学元件942和/或耦合光学元件944可以包括液晶，并由此在一些实现方式中，一个或两者可以是液晶光栅或液晶衍射光学元件。附加地或可选地，耦入光学元件942和/或耦合光学元件944中的一个或两个可以包括闪耀光栅。在一些设计中，耦入光学元件942包括液晶反射器，例如胆甾型液晶反射透镜(例如，反射液晶衍射透镜、布拉格反射结构、反射液晶衍射光栅等)。在以下公开的申请中讨论了液晶光栅、液晶偏振光栅和其他液晶光学元件的一些非限制性示例，在此通过引用将其全部内容结合于此以用于所有目的：2017年11月16日提交的标题为“MULTILAYER LIQUID CRYSTAL DIFFRACTIVEGRATINGS FOR REDIRECTING LIGHT OF WIDE INCIDENT ANGLE RANGES(用于重定向宽入射角范围的光的多层液晶衍射光栅)”的美国公开No.2018/0143438；2017年11月16日提交的标题为“SPATIALLY VARIABLE LIQUID CRYSTAL DIRRRACTION GRATINGS(空间上可变的液晶衍射光栅)”的美国公开No.2018/0143485；2017年11月16日提交的标题为“WAVEGUIDELIGHT MULTIPLEXER USING CROSSED GRATINGS(使用交叉光栅的波导光复用器)”的美国公开No.2018/0143509；2018年2月22日提交的标题为“DISPLAY SYSTEM WITH VARIABLEPOWER REFLECTOR(具有可变焦度反射器的显示系统)”的美国公开No.2018/0239147；2018年2月22日提交的标题为“VARIABLE-FOCUS VIRTUAL IMAGE DEVICES BASED ONPOLARIZATION CONVERSION(基于偏振变换的可变聚焦的虚拟图像装置)”的美国公开No.2018/0239177；以及2017年12月7日提交的标题为“DIFFRACTIVE DEVICES BASED ONCHOLESTERIC LIQUID CRYSTAL(基于胆甾型液晶的衍射装置)”的美国公开No.2018/0164627。然而，耦入光学元件942和/或耦合光学元件944的设计不限于这些，并且可以包括其他类型的光学元件、衍射光学元件、液晶光学元件、液晶光栅和液晶偏振光栅。有关例如反射器的胆甾型液晶结构的示例的更多信息，也可以在下面标题为“胆甾型液晶镜”的部分中找到。如上所述，可以使用其他液晶光学元件以及其他非液晶光学元件。因此，可以使用许多类型的耦合光学元件(例如，耦入光学元件942和/或耦合光学元件944)、衍射光学元件、光栅、偏振光栅等，通常使用本文所述的那些以及其他类型光栅、衍射光学元件、液晶元件和光学元件。在各种实现方式中，耦入光学元件942可以被配置为以大于临界角的角度将来自图像投影仪930和/或光源960的光耦合到波导中，以便通过全内反射在波导940内被引导到眼睛到用户的眼睛210。
波导940可以包括一个或多个波导。在一些实现方式中，一个或多个波导940包括波导的堆叠。例如，在一些设计中，波导堆叠中的不同波导被配置为输出具有不同波前发散度的光，如同从距用户的眼睛不同的距离投射一样。例如，第一波导或波导组可以被配置为输出被准直的或具有第一发散度的光，如同从第一深度投射一样，第二波导或波导组可以被配置为输出发散的(未被准直的)或处于第二发散度(大于第一发散度)的光，如同从比第一深度近的第二深度投射一样。在一些设计中，不同的波导可以被配置为输出具有不同的相关颜色的光。例如，第一波导可以被配置为输出红光，第二波导可以被配置为输出绿光，第三波导可以被配置为输出蓝光。第四波导可以被配置为输出和/或输入红外光。
例如如图10所示的用于将来自波导940的光耦合到相机920的耦出光学元件952可以包括例如多个转向特征，该转向特征被配置为以角度转向入射在其上的光，使得光未在波导内被引导并使光从波导转出至相机。耦出光学元件952可以设置在波导940的内部，或者可以在波导940的表面(例如，主表面)之中或之上被图案化(例如，蚀刻)。例如，表面全息或衍射光学元件(例如，表面浮雕光栅)可以通过图案化(例如，蚀刻)波导或其上的层的表面来制造。体积全息或衍射光学元件也可以通过改变包括波导或设置于其上的层的材料的折射率来形成。取决于设计，耦出光学元件952可以是透射的或反射的，并且可以以透射或反射的方式操作。例如，耦出光学元件952可以包括分别以透射或反射的方式工作的例如透射或反射衍射光学元件(例如，光栅)或全息光学元件，例如，从而使穿过其透射或从其反射的光转向。
耦出光学元件942可以包括反射光学元件(例如，镜子)。例如，耦出光学元件952可以包括离轴反射器。在一些设计中，耦出光学元件952可包括偏振光学元件，例如偏振选择转向元件(例如，偏振器)。因此，偏振选择转向元件可以包括一个或多个偏振光栅、衍射光学元件和/或全息光学元件，并且可以包括诸如液晶偏振光栅的液晶结构。在一些实现方式中，例如，耦出光学元件952可以包括液晶偏振光栅(LCPG)。LCPG可以潜在地在宽波长下提供高效衍射。同样地，LCPG可用于耦出光学元件952。LCPG可以是偏振相关的。LCPG或其他类型的液晶光栅可以包括液晶分子的图案或布置，其被配置为提供一种或多种功能，例如将光转到波导中或从波导转出。因此，耦出光学元件952可以包括偏振光栅。附加地或可选地，耦出光学元件952可以包括液晶，并由此在一些实现方式中，可以是液晶光栅或例如液晶衍射光学元件的其他液晶光学元件。附加地或可选地，耦出光学元件952可包括闪耀光栅。在一些设计中，耦出光学元件952包括液晶反射器，例如胆甾型液晶反射透镜(例如，反射液晶衍射透镜、布拉格反射结构、反射液晶衍射光栅等)。在以下公开的申请中讨论了液晶光栅、液晶偏振光栅和其他液晶光学元件的一些非限制性示例，在此通过引用将其全部内容结合于此以用于所有目的：2017年11月16日提交的标题为“MULTILAYER LIQUID CRYSTALDIFFRACTIVE GRATINGS FOR REDIRECTING LIGHT OF WIDE INCIDENT ANGLE RANGES(用于重定向宽入射角范围的光的多层液晶衍射光栅)”的美国公开No.2018/0143438；2017年11月16日提交的标题为“SPATIALLY VARIABLE LIQUID CRYSTAL DIRRRACTION GRATINGS(空间上可变的液晶衍射光栅)”的美国公开No.2018/0143485；2017年11月16日提交的标题为“WAVEGUIDE LIGHT MULTIPLEXER USING CROSSED GRATINGS(使用交叉光栅的波导光复用器)”的美国公开No.2018/0143509；2018年2月22日提交的标题为“DISPLAY SYSTEM WITHVARIABLE POWER REFLECTOR(具有可变焦度反射器的显示系统)”的美国公开No.2018/0239147；2018年2月22日提交的标题为“VARIABLE-FOCUS VIRTUAL IMAGE DEVICES BASEDON POLARIZATION CONVERSION(基于偏振变换的可变聚焦的虚拟图像装置)”的美国公开No.2018/0239177；以及2017年12月7日提交的标题为“DIFFRACTIVE DEVICES BASED ONCHOLESTERIC LIQUID CRYSTAL(基于胆甾型液晶的衍射装置)”的美国公开No.2018/0164627。然而，耦出光学元件952的设计不限于这些，并且可以包括其他类型的光学元件、衍射光学元件、液晶光学元件、液晶光栅和液晶偏振光栅。有关例如反射器的胆甾型液晶结构的示例的更多信息，也可以在下面标题为“胆甾型液晶镜”的部分中找到。如上所述，可以使用其他液晶光学元件以及其他非液晶光学元件。因此，可以使用许多类型的耦合光学元件(例如，耦出光学元件952)、衍射光学元件、光栅、偏振光栅等，通常使用本文所述的那些以及其他类型的光栅、衍射光学元件、液晶元件或光学元件。如上所述，耦出光学元件952可以被配置为以小于临界角的角度重定向在波导940内引导的光，以便不通过全内反射被在波导内引导而是被射出到相机920。
在各种设计中，耦合光学元件944在可见光谱中可以是透明的，使得用户可以透过耦合光学元件944和目镜950看到用户前方的环境。例如，如果将耦入光学元件942用于接收来自图像投影仪930的光和/或如果将照射源960配置为输出可见光以使用可见光照射眼睛210，则耦入光学元件942还可使可见光谱中的光转向。在一些实施例中，例如，如果照射源960被配置为输出红外光以用红外光照射眼睛210，则耦入光学元件942被配置为使红外光转向。在诸如图10所示的一些设计中，耦入光学元件942可以比耦出光学元件952更位于内侧或鼻侧。然而，在其他设计中，耦入光学元件942可以比耦出光学元件952更位于外侧或颞侧。在诸如图10中所示的某些实现方式中，尽管非相邻定位是可能的，但是耦出光学元件952可以与内耦入光学元件942相邻。
如图10所示，照射源960可以设置在目镜950的与眼睛210相同的一侧(例如，向后或近侧)。(近端可以指最靠近眼睛210的一侧。)可选地，照射源960可以设置在与眼睛210相反的一侧(例如，向前侧或远侧)。照射源960可以被配置为经由耦入光学元件942将光引导到波导940的主表面中的至少一个中。光源960可以被配置为发射不可见光(例如，红外)。光源960可以包括一个或多个LED。LED可以包括红外LED。光源960可以被配置为发射相干光。在一些设计中，光源960包括激光器(例如，红外激光器)。在一些设计中，光源960发射脉冲光。例如，相机920可以被配置为周期性地捕获图像。因此，可以使照射源960脉冲化以使其与相机获取图像的时间段一致。当相机未获得图像时，可以减小从照射源960输出的强度。通过将照射的总能量集中在短时间内，可以获得增加的信噪比，而不会使眼睛210暴露于不安全的强度水平。在一些情况下，例如，相机920每30毫秒捕获一个图像，并且相机的曝光时间为几毫秒。照射源960可以被配置为输出具有相似的周期和持续时间的脉冲以匹配相机920的脉冲。
在一些实现方式中，具有不同波长的不同光源被交替地脉冲化，以在不同时间提供不同波长的照射，如下所述。
耦入光学元件942可以例如与照射源960和/或图像投影仪930直接光学通信，以便在其中引导来自所述图像投影仪930和/或光源960的光。例如，由光源960发射的光可以在与耦合光学元件944和/或耦合光学元件952光学相互作用之前入射在耦入光学元件942上。
如图11A-11E所示，从图像投影仪930投射的光902可以在视网膜上形成图像。图像投影仪930可以包括光源、调制器和/或投射光学器件。用于图像投影仪930的光源可以包括一个或多个LED、激光器或其他光源，并且可以包括一个或多个可见光源。调制器可以包括空间光调制器，例如液晶空间光调制器。这样的空间光调制器可以被配置为例如调制不同空间位置处的光的强度。投射光学器件可以包括一个或多个透镜。可以采用能够投射和/或形成图像的其他类型的图像投影仪930。例如，图像投影仪930可以包括扫描光纤。
图像投影仪930和耦入光学元件942可以彼此直接光学通信。图像投影仪930可以例如与来自图像投影仪930的光被引导到其中的耦入光学元件942对准。在一些情况下，图像投影仪930邻近于对应的耦入光学元件942和/或波导940设置。图像投影仪930还可以设置在包括耦入光学元件942、耦合光学元件944和眼睛210的光路中。
图像投影仪930可以是与照射源960相比单独的元件，如图10以及图11A-11E所示。然而，在一些情况下，图像投影仪930可以用作照射源。例如，除了将图像注入眼睛210之外，图像投影仪930可以用于将可见光和/或红外光引导到眼睛中以照射眼睛用于图像捕获。然而，可选地，一个或多个单独的光源960可以用于照射眼睛210用于图像捕获。
照射源960发射的光可以包括特定波长范围的光，例如不可见光。照射源960可以被配置为将不可见的(例如，红外)光投射到眼睛210上/中，以对眼睛210的一个或多个部分(例如，角膜、视网膜)成像。在某些示例实现方式中，光源960可以被配置为发射约850nm至940nm范围内的光。光源960可以被配置为发射在至少约20nm的波长范围之上延伸的光。其他范围也是可能的。发射的波长范围可以是5nm、10nm、15nm、50nm、75nm、100nm、150nm、200nm或这些值中的任何值之间的任何范围。光源960可以被配置为发射跨诸如红外光谱内的任何范围的宽带波长的光。
可以包括相机的成像装置920可以包括检测器阵列和可能的成像光学器件。检测器阵列可包括例如CCD或CMOS检测器阵列，并且成像光学器件可包括一个或多个透镜。一个或多个透镜可具有正光焦度和相关联的焦距。在某些设计中，相机920聚焦在无限远处。例如，光学器件可以具有焦距f，并且检测器阵列可以被设置在与焦距对应的远离光学器件的距离处，使得大距离处的对象被成像到检测器阵列上。类似地，被准直的来自眼睛或环境中的对象的光将聚焦在检测器阵列上以在其上形成眼睛或对象的图像。
成像装置920可被设置在波导940的与照射源960和/或眼睛210相反的一侧。在一些设计中，成像装置920可被设置在波导940的与照射源960和/或眼睛210相同的一侧。如图10所示，成像装置920可设置在目镜950的外边缘或颞边缘附近，尽管其他位置也是可能的。
图11A-11E示出了图10的示例成像系统900的操作。图11A示出了照射源960朝向波导940上的耦入光学元件942发射光902。如图所示，可以通常以法向入射将光902引导到目镜950，尽管其他角度也是可能的。在一些设计中，光源960被配置为将准直光发射到目镜950中。如图11B所示，照射光902可以经由耦入光学元件942耦合到波导940中。在一些设计中，耦入光学元件942包括衍射光学元件(例如，光栅、全息元件)，入射在其上的光以大于波导的临界角的角度被衍射，以使得被耦入的光904通过全内反射(TIR)在目镜950内被引导。在一些设计中，耦入光学元件942可以被配置为将光引向耦合光学元件944。耦入光学元件942可以是偏振选择的。例如，入耦入光学元件942可以包括偏振选择转向元件，诸如偏振光栅，例如液晶偏振光栅。图11C示出了耦入光904如何通过TIR传播通过波导940。
图11D示出了使光从目镜950耦出的示例性成像系统900。随着耦入光904传播通过波导940，光中的一些可以入射在耦合光学元件944上。耦合光学元件944可以被配置为使耦入光904从目镜950耦出并朝向用户的眼睛210。耦合光学元件944可以被配置为将作为准直光的光耦合朝向眼睛210。耦合光学元件944可以被调谐为具有特定波长范围的光。例如，耦合光学元件944可以被配置为将红外光(例如，在大约700nm和15000nm之间)从波导940耦出。在一些设计中，耦合光学元件944可以被配置为使多个波长的光从目镜950耦出。例如，可以关于红外和可见光两者调谐耦合光学元件944。耦合光学元件944还可以被配置为将光耦合到波导940中，如下面更全面地描述的。
耦合光学元件944可以被配置为为用户增加眼箱的一个或多个尺寸。例如，一个或多个尺寸可以沿第一轴(例如，x轴)测量。目镜950可以还包括正交瞳孔扩展器(OPE)。OPE可以具有设置在波导之上或之中(例如，在主表面中的一者上)的至少一个光重定向元件，或者OPE可以设置在波导940内。OPE可以包括与上面关于光分布元件730、740、750所描述的特征相似或相同的特征。在一些实现方式中，光重定向元件可以包括衍射光学元件。OPE可以被配置为沿与第一轴正交的第二轴(例如，y轴)增大眼箱的尺寸。
图11D示出了朝向用户的眼睛210离开目镜950的光中的一些。在一些设计中，耦合光学元件944被配置为使得在沿第一轴(例如，平行于x轴)的耦合光学元件的各个部分处入射在耦合光学元件944上的耦入光904在沿第一轴的耦合光学元件944的每个部分处离开目镜950。这可以为用户提供关于不同的眼睛定位或位置的用于投射图像或照射眼睛的光。
如图11D-11E所示，耦合光学元件944可以被配置为将耦入光904作为准直光从目镜950耦出。该光也可以以相对于目镜950和/或波导940的主表面大致法向被引导。准直光可以被引导到眼睛中并且由眼睛(例如，眼睛的角膜和自然晶状体)聚焦到视网膜上。入射到视网膜上的该光908可以提供照射以对视网膜成像和/或向眼睛提供图像内容。该光908中的一些例如可以被反射或散射离开视网膜、从眼睛出射并提供要被捕获的视网膜图像。光源960可以是扩展光源，使得光将照射视网膜的区域。
图12A-12E示出了图11A-11E的成像系统900如何附加地或可选地用于眼睛210的图像收集。图12A示出了离开眼睛210从视网膜反射的光910。如图所示，从视网膜散射或反射的、穿过眼睛的天然晶状体、眼睛中的瞳孔和角膜的光910可以被准直。该光也可以以法向入射(例如，以与波导940和/或耦合光学元件944的主表面成直角)入射在目镜950上。耦合光学元件944可以被配置为将从视网膜反射的光910耦合到波导940中。
图12B示出了将光耦合到目镜950中的示例性成像系统900。耦合光学元件944可以包括诸如衍射光学元件的转向特征或以大于临界角的角度重定向光的其他结构以便在波导940内引导光。耦合光学元件944可以被配置为将耦入光914大体上朝向光源960和/或成像装置920引导。耦合光学元件944可以被配置为使少于该光的朝向相机920传播的一小部分从波导940耦出。例如，可以在波导940之上或之中设置部分反射元件(例如，半透明镜)，使得耦入光914中的部分通过全内反射继续在波导940中传播，同时减少了耦入光914沿波导940的其中设置有耦合光学元件944的部分从波导940的泄漏。未泄漏出的光的部分可以是0到1之间的任何分数。例如，该部分可以是0.90，其中沿耦合光学元件944传播通过波导940的光线的90％在光线的每次反射处被保持在波导内。其他部分也是可能的(例如0.10、0.20、0.30、0.40、0.50、0.60、0.70、0.80或这些值中的任何值之间的范围)。这种部分反射元件可以类似地用于以下描述的实现方式中。
如图12C所示，准直的耦入光914可以继续传播通过波导940朝向成像装置920。图12D示出了耦入光914中的一些如何继续传播直到入射到一个或多个耦出光学元件952上。为了减少耦入光914从耦入光学元件942的泄漏量，耦入光学元件942可被配置成将传播朝向相机920的该光中的极少光从波导耦出。例如，可以将部分反射元件(例如，半透明镜)设置在波导940上或波导940中，使得耦入光914的一部分通过全内反射继续在波导940内传播，同时减少了耦入光914沿波导940的其中设置有耦入光学元件942的部分从波导940的泄漏。未泄漏出的光的部分可以是0到1之间的任何分数。例如，该部分可以是0.90，其中沿耦合光学元件944传播通过波导940的光线的90％在光线的每次反射处被保持在波导内。其他部分也是可能的(例如0.10、0.20、0.30、0.40、0.50、0.60、0.70、0.80或这些值中的任何值之间的范围)。这种部分反射元件可以类似地用于以下描述的实现方式中。
如图12E所示，耦出光学元件952可以被配置为将在波导940中引导的光从波导940耦出并耦合到成像装置920。结果，入射到耦出元件952上的在波导940中传播的光被重定向，以使其从波导940中射出，例如，从波导940的主表面(例如，波导940的前侧或后侧)射出并将其引导到成像装置920。耦出光学元件952可以被配置为引导光926垂直于(例如，法向于)波导940的主表面从波导940出射。在一些设计中，耦出光学元件952被配置为以到成像装置920的感光部分的法向入射将准直光924引导到成像装置920上。如上所述，相机920可以无限远聚焦，例如，成像光学器件可以被配置为将准直光聚焦到检测器阵列上。
因此，波导940可以被配置为将从用户的眼睛210耦合到波导940中的光引导以被成像装置920(例如，相机)接收，以便捕获用户眼睛210中的至少一部分的图像。相同的波导940可以被配置为引导从图像投影仪930耦合的光，使得来自图像投影仪930的光可以被引导到用户的眼睛210，使得来自图像投影仪930的图像位于用户的视场中。在一些实现方式中，相同的波导被配置为引导从照射源960耦合的光，使得来自照射源的光可以被引导到用户的眼睛210以照射眼睛，使得眼睛的图像可以被相机920捕获。
在一些实现方式中，相同的耦合光学元件944可以被配置为(i)将来自用户的眼睛210的光耦合到波导940中以被成像装置920接收，以及(ii)使来自图像投影仪930的光从波导940耦出到用户的眼睛210，以将图像内容投射到用户的视场中。在一些实现方式中，相同的耦合光学元件944可以被配置为将来自照射源960的光从波导耦合出到用户的眼睛210，使得来自照射源的光可以照射眼睛。
在其他设计中，可以使用不同的波导和/或可以使用不同的耦合光学元件944。例如，在一些设计中，第一波导940可以被配置为引导从用户的眼睛210耦合的光以被相机920接收，从而捕获用户眼睛210中的至少一部分的图像，第二波导可以被配置为引导从图像投影仪930耦合的光，使得来自图像投影仪930的光可以被引导到用户的眼睛210。第一波导和第二波导可以彼此堆叠在其顶部。附加地或可选地，另一波导可以被配置为引导从照射源960耦合的光，使得来自照射源的光可以被引导到用户的眼睛210以照射眼睛。
另外，在一些实现方式中，第一耦合光学元件944可被配置为(i)将来自用户眼睛210的光耦合到波导940中以由成像装置920接收，以及(ii)使来自图像投影仪930的光从波导940耦出到用户的眼睛210，以将图像内容投射到用户的视场中。附加地或可选地，另一耦合光学元件可以被配置为将来自照射源960的光从波导耦出至用户的眼睛210，使得来自照射源的光可以照射眼睛。
在一些设计中，耦合光学元件944可以包括多个衍射光学元件(DOE)。例如，第一DOE可以被配置为将来自用户的眼睛210的光耦合到波导940中以由成像装置920接收。第二DOE可以被配置为将来自图像投影仪930的光从波导940中耦出至用户的眼睛210，以将图像内容投射到用户的视场中。可选地，第三DOE可以被配置为将来自光源960的光从波导940耦出到用户的眼睛210以照射眼睛。可以使第一和第二(可能还有第三)DOE堆叠，以例如在一些实现方式中，使得来自用户前方环境的光穿过第一DOE，然后入射到第二DOE，然后入射到第三DOE并入射到用户的眼睛上。然而，顺序可以不同。
在一些设计中，第一DOE和第二DOE被集成在波导940的单个元件或体积中。在一些实现方式中，例如，第一DOE和第二DOE两者在波导2102内彼此叠加(例如，占据相同或近似相同的体积)。例如，第一和第二DOE可以被记录在相同的介质中。
如上所述，例如视网膜的眼睛的图像捕获可以促进眼睛跟踪。例如，图13A示出了成像系统900，其被配置为例如在眼睛处于不同位置时的不同时间对眼睛210的各个部分(例如，视网膜)成像。阶段A和阶段B可以指在眼睛的不同取向期间的眼睛210的图像。图13A示出了在阶段A和阶段B成像两者期间的眼睛210的成像及其结果。
在一些实现方式中，光发射928(例如，来自如上所述的照射源960或来自不同地配置和/或定位的一个或多个照射源)可以用于获得视网膜962的一个或多个图像，如图13A所示。视网膜962的图像可以包括在眼睛210的不同取向期间成像的一个或多个区域964、966。图13A示出了视网膜962的图像的两个区域964、966。例如，在眼睛210以法向于波导940的角度被引导的同时，可以对在阶段A中成像的视网膜的区域964成像。在眼睛210与波导940成锐角定向的同时，可以获得阶段B中成像的视网膜的区域966的图像数据。在成像的一个或多个阶段期间使用眼睛210的一种或多种取向，可以获得视网膜962的合成图像或映射(map)。诸如数据模块140(参见图2)的处理电子器件或处理器可用于查找两个相邻区域之间的重叠图像数据。使用重叠的区域图像数据，可以确定视网膜962的合成图像。可以存储用户视网膜的较大尺寸(例如全尺寸)的合成图像或映射。
如本文所述，头戴式显示器可用于基于用户的眼睛被引导的方向来映射用户的眼睛视网膜。为了使用眼睛凝视提供与用户环境中的对象的现实和直观的交互和/或为了识别头戴式显示装置的佩戴者，头戴式显示系统可以使用视网膜映射结合用户的眼睛特征的唯一性和可能对眼睛测量有一些影响的其他条件。例如，可以基于对应视网膜图像中血管的位置来识别图像。
视网膜映射可以涉及使计算装置能够学习如何将用户的眼睛凝视(例如，如在视网膜图像中标识的)与2D或3D空间中的凝视点相关联的过程。眼睛凝视可能与2D或3D空间中的单个点相关联。眼睛凝视还可以与空间中的多个点相关联，这些点可以描述虚拟对象的运动(例如，一系列点、移动图像的位置)。
头戴式显示系统可以基于视网膜图像确定用户的眼睛凝视。头戴式显示系统可以使用传感器(例如，诸如成像装置920的眼睛相机)获得视网膜图像。头戴式显示系统可以在用户改变他或她的眼睛凝视时(例如，当用户环顾四周以跟随移动或转移的校准目标或注视目标时)对用户的一只或两只眼睛成像。为了映射用户的视网膜，头戴式显示系统可以呈现虚拟目标，例如注视目标，以供用户观看。虚拟目标可以与2D或3D空间中的一个或多个已知的凝视点相关联。当用户注视目标时，头戴式显示系统可获取视网膜图像并将图像与凝视点相关联。头戴式显示系统可以基于各个视网膜图像和与目标相关联的凝视点的关联来计算和/或生成映射矩阵。
视网膜映射结果可以反映每个人眼睛中的唯一性。例如，头戴式显示系统可以生成针对特定个体的一只或两只眼睛定制的映射矩阵。例如，响应于特定目标，用户可能具有不同数量的眼睛运动或眼睛凝视。附加地或可选地，用户可以具有视网膜中血管的不同位置、尺寸、形状和/或取向。结果，通过生成特定于单个用户的校准结果，头戴式显示系统可以允许更准确的用户与眼睛凝视的交互和/或可以允许识别特定用户。
因此，当用户戴上头戴式显示装置时，系统可以检测该用户是先前用户还是新用户。可以计算混淆矩阵，其中将存储在系统存储器中的特定眼睛凝视图像的得分与当前用户的对应图像进行比较。混淆矩阵可以包括针对多个眼睛凝视和相关联的视网膜图像的比较分数。基于比较分数，系统可以能够做出关于用户的身份的确定(例如，用户是否与所存储的视网膜图像或合成图相关联的个人)和/或做出确定的置信度。置信水平可以例如包括同一性(identity)系数。可以将存储的图像(例如合成图像或映射)与后来获得的图像(称为关于当前用户获得的即时或实时图像)进行比较。如果系统检测到用户是新用户，则系统可以提供警报，或者可以采取其他措施。
系统可以将诸如数字滤波或映射像处理的滤波应用于由相机捕获的视网膜的图像。这样的滤波或成像处理可以例如增强可用于识别、拼接、组合合成图像、眼睛跟踪等的特征。这样的滤波或映射像处理可以包括边缘增强。尽管可以使用其他类型的滤波器，但是这种滤波器可以包括例如弗兰吉(Frangi)滤波器。这样的滤波器或处理(例如，边缘增强或弗兰吉滤波器)可用于增强和/或检测诸如视网膜图像中的血管或管状结构或纤维的图像特征。
图13B示出了可以在视网膜映射过程中使用的顺序显示的注视目标的图案。用户的眼睛将要将他们的凝视引导到其上的这些虚拟目标可导致将眼睛凝视重定向到各种不同的方向，其中在各种不同的方向期间可以对视网膜成像。与不同的凝视方向相关联的所得图像对应于视网膜的不同部分。如上所述，当眼睛在不同的方向上凝视以观看显示器上不同位置的注视目标时，由相机捕获的图像包括视网膜的不同部分。这些图像可以被组合以形成较大的视网膜映射或合成图像。
图13B示出了在用户视场(FOV)1200中十六个不同位置处的虚拟目标。在各种实现方式中，虚拟目标将在给定时间在给定位置呈现。在当虚拟目标在该特定位置被呈现给用户时的时间期间，将获得一个或多个视网膜图像。该图像或这些图像可以与该目标位置和/或对应的凝视方向相关联。可以使用更多或更少的目标位置。在图13B所示的示例中，显示了十六个目标位置1202a–1202p。可以使用更多或更少的目标位置。目标位置也可不同。目标在不同位置的显示顺序可能不同。例如，目标可以以光栅模式从用户视场的左侧移动到用户视场、从右向左返回、再从左向右移动，从而降低了视场中目标的位置，其中每个横向通道跨越视场。然而，其他图案和方法也是可能的。同样地，可以在不同位置相同或不同地渲染目标。例如，所渲染的目标可以是不同的尺寸、形状、颜色等。可以在眼睛跟踪校准过程期间顺序地向用户渲染目标。例如，如上所述，头戴式显示系统可以以蛇形图案渲染目标。例如，目标1202a之后可以是1202b，然后是1202c，然后是1202d，然后是1202h，然后是1202g，依此类推。其他图案也是可能的。例如，目标可以以更随机或非顺序图案显示。在一些实施例中，向用户显示单个目标，并且该目标在用户的视场周围移动(例如，在目标运动期间通过或暂时停在位置1202a-1202p处)。头戴式显示系统可以在用户正看向这些目标时获取用户视网膜的图像。例如，当用户在在看向第一位置1202a处的目标时，头戴式显示系统可获取第一图像，而当用户正在看向第二位置1202b处的目标时可获取第二图像，而当用户正在看向第三位置1202c处的目标时可获取第三图像，依此类推。可穿戴系统可以将第一图像与第一位置1202a相关联，将第二图像与第二位置1202b相关联，将第三图像与第三位置1202c相关联，等等。可以在数据库中将相邻图像拼接在一起，以创建完整或部分视网膜映射。例如，可以使用多个图像共有的特征或特征的部分(例如，血管或其部分)以适当的配准将两个图像拼接在一起。在各种实现方式中，相邻的目标位置将产生可以对准并拼接在一起的重叠图像。例如，目标位置1202a和目标位置1202b以及目标位置1202b和目标位置1202c可以产生可彼此拼接的重叠且相邻的视网膜图像。因此，可以在不同的眼睛凝视的情况下获得许多不同的视网膜图像，从而组合视网膜的较大图像(例如，合成图像或映射)。
如上所述，可以使用合成视网膜图像或映射来执行眼睛跟踪。例如，在不再显示目标之后，当用户看向位于用户和头戴式显示器或由头戴式显示器显示的增强现实(虚拟)图像内容前方的不同的真实对象时，用户可以移动眼睛凝视。在这些时间处可以获得一个或多个视网膜图像。术语“瞬时”或“实时”图像在本文中可用于描述在校准之后获得的这些图像，这些图像可用于眼睛跟踪(或其他目的，例如获得生物数据)。这些“瞬时”或“实时”图像可能对应于合成视网膜图像或映射的一部分。系统可以被配置为使该“瞬时”或“实时”视网膜图像与复合视网膜图像或视网膜映射中的一部分充分匹配。这样的匹配可以基于“瞬时”或“实时”视网膜图像以及复合视网膜图像或映射中的一部分共有的特征或特征的部分(血管或其部分)。基于该“瞬时”或“实时”视网膜图像与合成视网膜图像或映射的部分重合的位置，可以推定凝视方向。不同的凝视方向将产生与视网膜映射的不同部分对应的视网膜图像。因此，识别“瞬时”或“实时”视网膜图像在合成视网膜图像或映射上的位置将提供有关用户凝视方向的信息。可以使用这样的或类似的方法来进行眼睛跟踪，例如，跟踪眼睛的运动和眼睛凝视的变化。如上所述，边缘增强、边缘检测或其他数字滤波和/或处理可用于增强不同图像的特征和/或将不同图像的特征与合成视网膜图像或视网膜映射相关联。
在完成其中显示虚拟目标或注视目标(例如，在多个位置处)以组合合成视网膜图像或映射的初始校准过程之后的各种实现方式中，合成视网膜图像或映射仍可以被细化。例如，当获得附加的视网膜图像时，可以使用附加的图像进一步细化或改善合成的视网膜图像或映射。因此，当例如为了提供眼睛跟踪的目的而获得附加的“瞬时”或“实时”视网膜图像时，可以使用“瞬时”或“实时”进一步细化或改善合成视网膜图像或映射。当用户继续看向显示器中的各个位置(借助或不借助校准目标)时，可以使用在其中显示虚拟目标或注视目标的初始校准之后获取的附加图像进一步细化视网膜合成图像或映射。因此，可以增加合成视网膜图像或映射的质量。
如何完成眼睛跟踪和/或如何可以产生合成的视网膜图像或映射以及所使用的视网膜图像的附加非限制性示例在2017年1月17日提交的标题为“EYE IMAGE COLLECTION(眼睛图像收集)”的美国公开No.2017/0205875中有所描述，通过引用将其公开内容整体合并于此。
因此，如上所述，可以通过使用诸如本文所述的成像系统获得眼睛的视网膜图像和/或其他图像来记录和映射视网膜的较大部分，并且这样的图像可以促进眼睛跟踪。例如，当眼睛处于任意位置时，可以捕获图13A所示的眼睛210的图像。然后，处理电子器件或处理器(例如上述与形成合成图像相同或不同的处理电子器件或处理器)可以将用户视网膜的捕获图像实时与所存储的合成或更大尺寸(例如，全尺寸)图像进行比较来跟踪眼睛的运动。实时捕获的用户视网膜的给定图像可能会显示用户视网膜的特定部分。如上所述，通过将这样的捕获图像与用户映射用户视网膜的较大部分的存储图像进行比较，系统可以确定在捕获图像中示出了用户视网膜的哪个部分，从而可以确定将产生这种图像的眼睛的位置/取向。参见图示例13A，其示出了当眼睛处于两个不同的位置和/或取向时产生的两个不同的视网膜部分的图像。因此，可以通过捕获视网膜的不同图像并确定视网膜的哪个部分是可见的来确定眼睛的位置和/或取向。即使没有形成合成图像而是记录了关于不同眼睛位置/取向的视网膜的多个图像并将其存储在数据库中，也可以执行这种确定。当获得视网膜的未来图像时，可以将该图像与存储的图像数据库中的图像进行比较，以确定数据库中的哪个图像类似于最近获得的眼睛的图像。将最近图像与数据库中具有相关联的位置和/或取向的图像中的一个或多个图像进行匹配，可以使能确定较新图像的取向和/或位置。可以基于使用本文描述的设计捕获的图像来使用其他眼睛跟踪方法。
如本文所述，视网膜图像也可以用于其他目的。例如，视网膜图像可以用于验证用户是为其获取了合成视网膜图像或映射的同一用户。可以将当用户佩戴头戴式显示系统时(例如，在校准过程期间和/或以后使用期间)获得的视网膜图像与被存储的先前获得的合成视网膜图像或映射(例如，前一天或当先前启动头戴式显示器时创建的)进行比较。如果近期获得的视网膜图像与合成视网膜图像或映射的一部分不匹配，则可以得出当前用户不同于先前用户(例如，为其创建了合成虚拟图像或映射)的结论。这样的方法可以用于安全性，例如，以验证头戴式显示装置的当前用户是该装置的所有者或典型用户。因此，经由视网膜成像获得的生物数据可以用于安全目的。
视网膜成像也可以用于收集生物数据以监视用户的健康。可以从视网膜图像获得医学上相关的数据。这样的医学数据对于监视用户的健康可能是有用的。
尽管本文在视网膜成像的背景下讨论了眼睛成像的各种应用，例如眼睛跟踪、用于健康监测和安全性的生物数据的收集，但是可以对用户(例如，用户的眼睛)的其他部分进行成像以用于这些和其他目的。
尽管以上描述了目镜950能够被用来促进眼睛的成像，但是目镜也可以用于对用户前方的世界成像。例如，图14A-14B示出了示例成像系统900，其可以用于对位于用户前方的环境中的一部分和/或该环境的一部分中的对象进行成像。所使用的成像系统900可以是与关于图11A-11E和/或关于图12A-12E所描述的系统类似的系统，除了由目镜950收集从环境朝向目镜和用户的光之外。例如，图14A示出了来自环境的光970，该光970被该环境中的一个或多个物理对象972反射和/或发射并且朝向用户和目镜950。如图所示，来自环境的光970可以被近似准直(例如，在无限远处)，例如因为环境中的物理对象972可能位于距成像系统900足够大的距离处，以使到达成像系统900的光线被准直或被近似准直。在一些实现方式中，成像系统900可以被配置为对环境和/或环境中的对象成像，而不在成像系统900中使用具有光焦度的任何光学元件(例如，透镜、镜子)。
图14A和14B所示的成像系统900与上述成像系统相似。成像系统包括目镜950，该目镜包括一个或多个波导940，该一个或多个波导940包括耦合光学元件944，该耦合光学元件944被配置为将来自图像投影仪930(未示出)的光引导到眼睛210中以在其中形成图像。一个或多个波导可以包括多个波导(例如，波导的堆叠)，其被配置为使多个对应的颜色/波长耦入/耦出。波导堆叠中的每个波导可以被配置为引导特定颜色(例如，红色、绿色、蓝色)的光。例如，最远侧波导(例如，波导的堆叠)可以被配置用于可见光(例如，红色、蓝色、绿色)，使得该波导被配置为使相同波长的可见光耦入和耦出。附加地或可选地，可以将被配置为使不可见(例如，红外)光耦入和耦出的波导设置在眼睛210附近。与波导940对应的这样的多个波导可以用于本文所述的任何其他实现方式中。成像系统900还可以包括成像装置(例如，相机)920和被配置为将在波导940内传播的从眼睛210反射的光转向到相机的耦出光学元件952。在图14A和14B中，排除了照射源960，因为可能不需要照射源来对用户前方的环境进行成像。然而，在某些设计中可以使用照射源(例如，上述光源960)。
目镜950、波导940、耦合光学元件944、耦出光学元件952和相机920可以与上述相同或相似。例如，耦合光学元件944可以与波导940物理接合。例如，耦合光学元件944和/或耦出光学元件952可以设置在目镜950前方的环境与相机920之间的光路中，使得来自环境的光经由耦合光学元件944耦合到波导940中，并经由耦出光学元件从波导耦出以入射到相机210上(例如以形成环境的至少一部分的图像)。耦合光学元件944可以包括多个转向特征，该转向特征被配置为将在波导内被引导的光从波导转出或者以一定角度将入射到耦合光学元件944上的光转向到波导中以通过全内反射在其中被引导。耦出光学元件952可以包括多个转向特征，该转向特征被配置为以角度转向在波导内被引导的(来自环境的)光，使得光不通过全内反射在波导中被引导而是被引导出朝向相机。耦合光学元件944、耦出光学元件952以及与它们相关联的转向特征可以与波导940物理接合。例如，耦合光学元件944和/或耦出光学元件952可以包括在波导940之中或之上被图案化(例如，蚀刻)的一个或多个全息或衍射光学元件(例如，表面浮雕光栅)。耦合光学元件944和/或耦出光学元件952可以包括设置在波导940上的层，或者可以形成在波导940中。例如，可以通过改变包括波导或设置在其上的层的材料的折射率来形成体全息或衍射光学元件。因此，耦合光学元件944和/或耦出光学元件952可设置在波导940或设置在其上的层的体积中。取决于设计，耦合光学元件944和/或耦出光学元件952可以是透射的或反射的，并且可以以透射或反射的方式工作。例如，耦合光学元件944和/或耦出光学元件952可以包括分别以透射或反射方式工作的透射或反射衍射光学元件(例如，光栅)或全息光学元件，例如，从而使通过其透射的光或从其反射的光转向。耦合光学元件944和/或耦出光学元件952可包括偏振光学元件，例如偏振选择转向元件(例如，偏振器)。偏振选择转向元件可以包括一个或多个偏振光栅、衍射光学元件和/或全息光学元件，并且可以包括液晶结构，例如液晶偏振光栅。在一些实现方式中，反射光学元件可包含反射器(例如，镜子)。例如波导940的其他元件也可以类似于上面描述的。
图14B示出了图14A所示的成像系统900的操作。来自环境的光970通过耦合光学元件944耦合到波导940中。耦合光学元件944可以被配置为以大于波导940的临界角的角度使准直光转向，使得该准直光的至少一部分通过全内反射在波导内被引导朝向相机920。耦出光学元件952可被配置为接收来自用户前方环境的光的至少一部分，该光的至少一部分经由耦合光学元件944耦合到波导940中并在其中被引导。耦出光学元件952可以被配置为使耦入光从波导940耦出到相机920，使得可由相机920捕获环境的图像。环境图像可以被传递到处理电子器件(例如，一个或多个处理器)，例如数据模块140(参见图2)。数据模块140可以被配置为在增强现实背景下再现环境的修改图像。处理电子器件可以经由有线或无线电子信号与相机920通信。附加地或可选地，处理电子器件可以使用一个或多个远程接收器与相机920通信。处理电子器件可以远程地驻留(例如，云计算装置、远程服务器等)。
因此，该成像系统900可以用于直接对环境进行成像，出于多种原因，这可能是有用的。例如，对环境成像可以用于确定相对于环境中的对象将增强现实图像内容放置在何处。例如，对环境成像可以提供桌子的位置，使得头戴式显示器可以渲染站立在桌子附近而不是桌子上或桌子中的人的图像。所描述的用于对环境成像的成像系统900也可以用于对眼睛210进像，例如关于图10、11A-11E和/或12A-12E所描述的。
可能期望使用成像系统900对环境的宽视场成像。图14C示意性地示出了成像系统900，其用于使用位于目镜前方的有焦度的光学元件或透镜(例如折射光学元件980(例如，宽视场透镜))收集来自环境的光。折射光学元件980可以具有正光焦度。折射光学元件980(例如，正透镜)将来自环境的准直光970会聚朝向波导940。可以使用除图14C所示的透镜以外的其他类型的透镜。透射的光(未示出)可以穿过有焦度的光学元件或透镜，例如被配置为具有与折射光学元件980相等且相反的负光焦度的折射光学元件990(例如，负透镜)。负透镜990可以具有与正透镜980相似或相同的光焦度，以补偿或抵消正透镜或其一部分的光焦度。以此方式，来自环境(例如，波导940的远端)的光可以穿过负透镜990、目镜950和正透镜980，其中由这两个透镜引入眼睛的光焦度基本上没有净变化。负透镜990可以被配置为补偿或抵消正透镜980的光焦度，使得当观看目镜950前方的环境时，用户将不会体验到正透镜的光焦度。负透镜990也将抵消正透镜980的影响以使佩戴者前方环境中的对象的图像反转。尽管某些光线会聚，但是来自环境的一些光970可以通过耦合光学元件944耦合到波导940中。入射在耦出光学元件952上的耦入光可以从波导940射出。
可以在增强现实环境之外使用实现方式(例如，图14A-14C所描述的实现方式)。例如，旨在在可穿戴装置(例如，眼镜(包括无焦度眼镜)或双焦点)中实现被配置为对环境成像的成像系统900。这样的成像系统900可能不需要图像投影仪930和/或光源960。附加地或可选地，这样的成像系统900可能不需要被配置用于对应的图像投影仪930和/或光源960的耦合光学元件。
实施这样的成像系统900可能是有利的，该成像系统900用于将环境成像在诸如手持装置(例如，蜂窝电话、平板电脑)的观看屏幕(例如，电视屏幕、计算机屏幕)上。成像系统900可以改善视频聊天能力。例如，看到注视屏幕的聊天伙伴的观看者可能看起来是直接位于观看者处。这将是可能的，因为由成像系统900捕获的光线将在用户正在看向的同一区域中被捕获(例如，与观看屏幕相反，但具有由位于不同位置处的单独的面向外的相机捕获的光线)。
在其中图14C的成像系统900也用于对眼睛210成像的实现方式中，光源960和/或图像投影仪930可配置为将光注入到波导940中。因为被耦入到波导中的从眼睛反射的光将穿过折射光学元件990(例如，负透镜)，可以在光源960和/或图像投影仪930与波导940之间设置正焦度折射光学元件。在来自光源和/或光投影仪的耦入光入射到眼睛210上之前，正透镜可以被配置为补偿或抵消由折射光学元件990提供的任何光焦度。可以使用除图14C中所示之外的其他类型的透镜作为光学元件990。可选地或附加地，与光源和/或图像投影仪通信的处理电子器件可以被配置成更改足以在光已经通过折射光学元件990之后为用户呈现未失真图像的图像。在一些设计中，对应的耦入光学元件、耦出光学元件和/或耦合光学元件可以被配置为对非准直光(例如，发散、会聚光)进行操作。
在各种实现方式中，相同的波导940可以用于(i)将来自目镜950和用户前方的环境的光传播到相机940，以及(ii)将来自图像投影仪930的光传播到眼睛210在其中形成图像内容。使用相同的波导940可以简化系统和/或目镜，并且可以使系统和/或目镜更紧凑，从而可能提供减小的形状因子。关于其他原因，通过减少波导940的数量来减小目镜950的厚度也是有利的。较低的成本和更简化的制造过程可能是一些这样的优势。
同样在各种设计中，可以在相同的头戴式显示器中使用相同或不同的成像系统，以通过经由目镜950中的波导将来自眼睛的光传播到相机940例如如上所述。这样的系统还可以使用目镜将来自照射源的光传输到眼睛210以照射眼睛。在一些设计中，目镜可另外得用于将来自图像投影仪930的光传播到眼睛210以在其中形成图像内容。使用目镜来帮助对环境进行成像并且对眼睛成像(并且可能照射眼睛)可以简化系统和/或可以使系统更紧凑，从而可能提供减小的形状因子。
此外，在一些实现方式中，相同的波导940可以用于(i)将来自目镜950前方的环境的光传播到相机940，以及(ii)将来自眼睛210的光传播到相机以捕获眼睛的图像。相同的波导可用于将来自图像投影仪930的光传播到眼睛210以在其中形成图像内容和/或将来自照射源960的光传播到眼睛210以照射眼睛用于图像捕获。使用相同的波导940可以简化系统和/或目镜，并且可以使系统和/或目镜更紧凑，从而可能提供减小的形状因子。关于其他原因，通过减少波导940的数量来减小目镜950的厚度也是有利的。较低的成本和更简化的制造过程可能是一些这样的优势。
类似地，除了将来自环境的光耦合到波导940中之外，相同的耦合光学元件944可以被配置为将来自图像投影仪930的光引导到眼睛210以在其中形成图像内容和/或将来自眼睛的光引导到波导940中以在其中被引导到相机920。附加地或可选地，相同的耦合光学元件944可被配置为将在波导940内被引导的来自照射源960的光从波导940耦出到用户的眼睛210。
如上所述，耦合光学元件944、耦入光学元件942或耦出光学元件952中的一个或多个可以包括偏振选择耦合元件。因此，在各种设计中，输入到目镜950或波导940中的光被偏振，以便由偏振选择转向元件适当地作用。
因此，在一些实施例中，照射源960包括具有适当偏振的偏振光源，以被偏振选择耦合/转向元件适当地作用。
一个或多个偏振特定的滤光器和偏振修改元件可以包括在各种成像系统900中，例如其中将图像投影仪930和/或光源960通过波导940彼此直接相对放置的那些系统。例如，在其中偏振敏感元件在相同侧面位置处在波导940的相对侧上对准的配置中，偏振敏感元件可以有助于减少到成像装置920中的方向光发射和/或减少成像装置920的饱和度。图15A-15B示出了这样的配置。如图15A所示的光源960可被配置为引导光穿过诸如偏振器(例如，线性偏振器)的偏振特定的滤光器982和/或穿过被配置为更改入射光的偏振状态的偏振修改元件986(例如偏振旋转器)。诸如半波延迟器的延迟器可以例如旋转线性偏振。因此，适当定向的半波延迟器或半波片可以将s偏振光旋转为p偏振光，反之亦然。因此，在各种实现方式中，偏振特定的滤光器982和/或偏振修改元件986被设置在光源960和耦入光学元件942之间的光路上，以便向耦入光学元件提供适当取向的偏振。在一些实现方式中，成像系统900不包括偏振修改元件，而是包括诸如偏振器的适当定向的偏振滤光器。
由光源960发射的光可以以特定顺序通过光学元件的布置。例如，如图15A所示，来自光源960的光可以首先穿过偏振特定的滤光器982(例如，偏振器)，然后穿过偏振修改元件986(例如，旋转器)。在光已经穿过偏振修改元件986之后，光可以入射在耦入光学元件942上，该耦入光学元件942可以将光引导到波导940中以在其中被引导。
例如，光源960可以被配置为发射混合偏振(例如，s偏振和p偏振)的光。偏振特定的滤光器982可以被配置为仅透射第一偏振状态(例如，p偏振)的光。随着光继续，偏振修改元件986可以被配置为改变光的偏振状态(例如，从p偏振变为s偏振)。耦合光学元件可以被配置为将s偏振光转变成大于波导的临界角的角度，使得s偏振光在波导内被引导。当耦入光904传播通过波导940时，耦入光904可以基本上以第二偏振(s偏振)被偏振。耦合光学元件944可以被配置为仅使第二偏振状态(s偏振)的光转向。耦合光学元件944可以被配置为使耦入光904从波导940耦出，并耦至眼睛210，以提供用于图像捕获的照射。
为了防止成像装置920的直接照射(例如，饱和)，可以将偏振修改元件958和/或偏振特定的滤光器984设置在波导940之中或之上，使得仅特定偏振状态(例如，p偏振)的光可以穿过偏振特定的滤光器984并到达成像装置920。偏振修改元件958(例如，半波片)可以被配置为改变偏振的状态(例如，从s偏振到p偏振)。偏振特定的滤光器984可以被配置为仅通过其透射特定偏振的光(例如，p偏振光)。以此方式，穿过偏振特定的滤光器982的光将不会被配置为直接透射通过偏振特定的滤光器984。在上面的例如在图10、11A-11E和12A-12E中的任何实现方式(例如，其中图像投影仪930和/或光源960位于同一光轴上，如图15A所示)中，偏振特定的滤光器982、偏振修改元件986、耦入光学元件942、偏振修改元件958和/或偏振特定的滤光器984可以根据图15A的设计来实现。偏振特定的滤光器984可以是透射反射型偏振器(例如，偏振器分束器)，其被配置为透射第一偏振的光并重定向或反射不同于第一偏振的第二偏振的光。
可以包括部分反射元件(例如，半透明镜)以将耦入光904转向至成像装置920。部分反射元件可以设置在耦入光学元件942和偏振改变元件986之间，使得耦入光914的一部分被反射朝向成像装置920，同时减少了耦入光914从波导940中的泄漏。未泄漏的光的部分可以是0至1之间的任何分数。例如，该部分可以是0.90，其中沿耦合光学元件944传播通过波导940的光线的90％在光线的每次反射处被保持在波导940内。其他部分也是可能的(例如，0.10、0.20、0.30、0.40、0.50、0.60、0.70、0.80或这些值中的任何值之间的范围)。
图15B示出了反射或散射离开视网膜的光的传播。被视网膜反射的入射在具有第二偏振(s偏振)的耦合光学元件944上的光910中的一些被耦合光学元件944以大于波导940的临界角的角度转向，由此可以在其中被引导。光中的一些可能不被耦合到波导940中，并且将作为非耦入光912通过其中透射。耦入光904可以传播通过波导940并朝向相机。
其他实现方式可以受益于在光源和相机附近的偏振选择元件的使用。例如，各种系统可以被配置为提供具有第一偏振的照射并且使用具有不同偏振的光通过相机捕获图像。例如，当对视网膜成像时，这种配置可以用于减少不希望的反射，例如来自角膜的反射。来自角膜的反射将是镜面的。因此，如果第一偏振的光入射在角膜上，则从角膜反射的光将保持该第一偏振。相反，视网膜是弥漫性的。如果第一偏振的光入射在视网膜上，则从视网膜反射的光不仅仅保持第一偏振。漫反射更有可能导致产生非偏振光。因此，在反射光中将存在不同于第一偏振的第二偏振。同样地，通过以第一偏振照射并且以第二不同偏振成像，可以在减少的来自角膜的眩光的情况下对视网膜成像。
因此，在各种实现方式中，偏振特定的滤光器982、984可以一起使用以减少来自眼睛210(例如，来自角膜)的不希望的反射光。例如，不希望的光、眩光或闪光可能会从角膜反射，这可能会使由成像装置920捕获的图像饱和。从角膜反射的光可能是镜面的，并保持其偏振。相比之下，从视网膜反射的光可能更会被漫反射，并且可能被较弱地均匀偏振。同样地，可以使用偏振器的组合来去除不希望的反射光中的一些或大部分。最初，偏振光可以用于照射眼睛210。在一些设计中，可以使用偏振照射源(例如，光源960)。附加地或可选地，第一偏振器(例如，偏振特定的滤光器982)可以位于照射源的光路的开始处以提供光的初始偏振。第二偏振器(例如，偏振特定的滤光器984)可以在光进入成像装置920之前被定位在光路处。第二偏振器可以从第一偏振器旋转90°(例如，偏振器982、984可以是“交叉”的)。结果，将用从角膜反射的第一偏振的一些光以第一偏振照射眼睛。该光将不会穿过相机附近的偏振器984。然而，从视网膜反射的光将包括第二偏振。同样地，从视网膜漫反射的光将穿过相机附近的偏振984，并将使相机能够捕获视网膜的图像。由此，在这样的配置中，可以减少或消除从眼睛(例如，从角膜)接收到的可能进入成像装置920的不希望的光。其他配置也是可能的。例如，用于将来自光源960的光耦合到波导940中的偏振选择耦入光学元件942和用于将光从波导中耦出至相机920的偏振选择耦出光学元件可被采用以具有不同的偏振敏感特性。例如，偏振选择耦入光学元件可以选择性地使具有第一偏振的来自照射源的光转向到波导中，而耦出光学元件可以选择性地将具有第二不同偏振的光从波导转向至相机。效果可以再次是减少或去除在进入成像装置920之前从眼睛(例如，从角膜)接收到的不希望的光。
本文讨论了能够使用目镜950收集光以对视网膜成像的各种成像系统900。然而，成像系统900可以被配置为对眼睛的其他部分(诸如眼睛的前部)成像。图16示出了成像系统900如何可以用于对眼睛210的前部(例如，角膜)进行成像。成像系统900可以包括上述示例成像系统900的一个或多个元件。另外，示例性成像系统900可包括一个或多个有焦度的光学元件或透镜，例如具有光焦度的有焦度的折射光学元件980、990。例如，可以将正焦度透镜或正透镜980设置在眼睛210和目镜之间的目镜950的近侧(例如，更靠近眼睛210)。负焦度透镜或负透镜990可以设置在目镜和用户前方的环境之间的在目镜950的远侧。透镜980、990中的一个或两个可以是可变焦元件(例如，变焦透镜)和/或可以包括液晶元件。在一些设计中，透镜980、990中的一个或两个包括菲涅耳透镜。透镜980、990可以结合液晶以产生菲涅耳透镜功能。这样的功能可以允许透镜980、990中的一个或两个的可变聚焦。在一些设计中，透镜980、990中的一个或多个可以与目镜950集成和/或制造(例如，形成)在目镜950之上或之中。
在各种实施例中，耦合光学元件944被配置为使从眼睛210反射的准直光转向到光波导中以在其中被引导。因此，正透镜980可以被配置为准直从眼睛210反射的光，诸如眼睛的前部(例如，角膜)。因此，正透镜980可以具有等于或基本上等于透镜到眼睛210要被成像的部分(例如，角膜)的距离的焦距。
负透镜990可以具有与正透镜980相似或相同的光焦度，以补偿或抵消正透镜的光焦度。以此方式，来自环境(例如，波导940的远端)的光可以穿过负透镜990、目镜950和正透镜980，其中由这两个透镜引入的光焦度基本上没有净变化。由此，负透镜990可以被配置为抵消或取消正透镜980的光焦度，使得当观看目镜950前方的环境时用户将不会体验到正透镜的光焦度。负透镜990还将抵消正透镜980的作用，以使佩戴者前方环境中的对象的图像反转。
图16示出了入射在角膜上的从其散射的光928。成像系统900可以被配置为捕获从角膜反射的该光988。例如，正透镜980可以收集从角膜散射的光988的一部分并使该光988准直。由正透镜980准直的该光988入射到耦合光学元件944上，该耦合光学元件被配置为以大于波导的临界角的角度使准直光转向到波导940中，使得光通过TIR在其中被引导。耦合光学元件944、耦出光学元件952和/或波导940可以如上所述。所产生的耦出光906可以由耦出光学元件952从波导940引出到相机(未示出)。
图16示出了诸如准直光的光928，其可以来自如上所述的目镜950。照射源960可以将光耦合到波导940中，并且耦合元件944可以将来自照射源960的从波导耦出。耦合元件944可以被配置为使作为准直光的光从波导940耦出。该光照射眼睛的前部(例如，角膜)并从其散射。如上所述，该散射光988可以由正透镜980和成像系统900收集以形成眼睛210的前部的图像。同样如上所述，被引导到眼睛210上的照射928可能是不可见的(例如红外)光。
图16还示出了用于照射眼睛210的可选布置。在一些设计中，诸如LED或发射器的一个或多个光源934可以相对于眼睛210设置以在其上引导光，而不经由TIR引导通过波导940并引导到眼睛210。在一些实现方式中，目镜950或波导940不在一个或多个光源934和眼睛210之间的光路中。在一些设计中，可以以眼睛附近和/或周围的图案(例如，圆形或环状图案)布置多个这样的光源934。在一些设计中，光源934的图案可以限定与一个或多个透镜980、990的光轴平行(例如，同轴)的照射轴。一个或多个光源934可以类似于上面描述的一个或多个光源960并且可以例如是脉冲化的。类似地，一个或多个光源934可以包括诸如红外LED的红外光源或另一种类型的不可见光。可选地，一个或多个光源可以包括发射可见光的可见光源。或者，一个或多个光源可以发射可见光和不可见光(例如，红外光)。
图17示出了另一示例成像系统900，其被配置为对眼睛210的一部分(例如眼睛的前部(例如角膜))成像。与图16所示的透射光学元件(透镜)980相比，图17所示的成像系统900采用被配置为使来自眼睛的光准直的反射光学元件996。反射光学元件将具有比透射光学元件小的像差，色差通常不适用于反射光学元件，例如图17中所示的反射器996。因此，通过使用反射表面收集来自眼睛210的光，可以在眼睛的捕获到的图像中引入更少(例如，色差)的像差。
图17示出了例如成像系统900，其包括具有波长相关的反射涂层998的弯曲的透射光学元件996。弯曲的透射光学元件996可以设置在波导940的远端(在目镜950的环境侧)。因此，弯曲的透射光学元件996可以设置在佩戴者前方的环境与波导940和/或耦合光学元件944之间。类似地，波导940和/或耦合光学元件944可以设置在弯曲的透射元件996和眼睛210之间。
波长相关的反射涂层998可以被配置为反射特定波长或波长范围的光。在一些实现方式中，例如，波长相关的反射涂层998可以被配置为反射一定波长范围内的不可见光(例如，红外光)，而波长相关的反射涂层998可以被配置为透射可见光。在一些情况下，波长相关的反射涂层998可以设置在弯曲的透射光学元件996的表面上。
如上所述，在各种设计中，耦合光学元件944被配置为将从眼睛210反射的准直光转向到波导940中以在其中被引导。因此，反射光学元件996可以被配置为准直从眼睛210(诸如眼睛的前部(例如，角膜))反射的光。因此，弯曲的反射光学元件996可以具有用于从波长相关的反射涂层998反射的入射在弯曲的反射光学元件996的近侧上的光的正光焦度。特别地，在各种设计中，反射光学元件994可以具有焦距，该焦距等于或基本上等于从反射光学元件996到眼睛210要成像的部分(例如角膜、虹膜等)的距离。焦距的示例值可以是例如2cm至8cm。在一些实现方式中，焦距在4cm和6cm之间。在一些设计中，焦距约为5cm。焦距可以在由这些值中的任何值形成的任何范围内或者可以在不同的设计中在此类范围之外。
在各种实现方式中，反射光学元件996被设置在目镜前方的目镜950的远侧。因此，反射光学元件996被设置在目镜950与用户前方的环境之间。类似地，目镜950被设置在反射光学元件996和眼睛210之间。
弯曲的透射光学元件996可以具有弯曲的反射表面，该弯曲的反射表面具有任何形状的曲率。在一些实现方式中，表面是旋转对称的。在一些实现方式中，表面可以是球形或非球形(例如，抛物线形)。非旋转对称形状也是可能的。然而，在各种设计中，反射表面具有正光焦度。反射光学元件996可以包括例如至少用于某些波长和/或偏振的凹面镜。
弯曲的透射光学元件996可以被配置为在传输时具有可忽略的焦度。同样地，弯曲的透射光学元件996可以被配置为透射光而不引入会聚或发散。在一个示例中，弯曲的透射光学元件996可具有与外半径的曲率基本相同的内半径的曲率。薄的光学元件996可以例如对于穿过其透射的光减小光学像差、可以更轻和/或更紧凑。
在各种设计中，反射光学元件996包括透射可见光的材料，使得用户可以看到佩戴者前方的环境。在一些情况下，为了增强透射，弯曲的透射光学元件996可以在外表面(例如，远端表面)上涂覆有抗反射涂层。述抗反射涂层可以被配置为减少例如诸如红色、绿色和/或蓝色光的可见光的反射。然而，反射光学元件996可以被配置为反射从眼睛210散射的光的一部分以形成眼睛的图像。因此，反射光学元件996可以关于不同的光而不同地操作。例如，反射光学元件996可以关于不同的波长而不同地操作。反射光学元件996可以被配置为反射红外光并透射可见光。
如上所述，一个或多个光源934可以被配置为用红外光照射眼睛210。如图17中示意性示出的，从眼睛210(例如，角膜)反射的结果光988可以发散。弯曲的透射光学元件996可以被设置为接收从眼睛(例如，角膜、虹膜)反射的光988。波长相关的反射涂层998可以被配置为反射从眼睛反射的光988，因为用于照射眼睛的波长照射与被弯曲的透射光学元件996上的反射涂层反射的波长相同(例如850nm)。例如，眼睛可以用红外光(例如，850nm)照射，并且弯曲的透射光学元件996可以被配置为反射红外光(例如850nm)并通过可见光。弯曲的透射光学元件996的形状也可以被配置为准直从眼睛反射的光988，并且将光反射到耦合光学元件944，该耦合光学元件944将准直的光转向到波导940中以在其中被TIR引导。
在图17中，如在一些其他设计中一样，可以相对于眼睛210设置例如LED或发射器的一个或多个光源934以在其上引导光，而不经由TIR引导通过波导940并引导到眼睛210上。在一些实现方式中，目镜950或波导940不在一个或多个光源934与眼睛210之间的光路中。在一些设计中，多个这样的光源934可以以眼睛附近和/或周围的图案(例如，圆形或环状图案)布置。在一些设计中，光源934的图案可以限定与一个或多个透镜980、990的光轴平行(例如，同轴)的照射轴。一个或多个光源934可以类似于上面描述的一个或多个光源960并且例如可以是脉冲化的。类似地，一个或多个光源934可以包括诸如红外LED的红外光源或另一种类型的不可见光。然而，可以使用其他类型的光源。
图18示出了另一示例成像系统900，其被配置为对眼睛210的一部分(例如眼睛的前部(例如，角膜))成像。在图18所示的实现方式中，采用偏振选择来帮助控制从眼睛反射的光的路径。特别地，在各种设计中，耦合光学元件944是偏振选择的。例如具有第一偏振的光透射通过耦合光学元件944，而具有第二不同偏振的光通过耦合光学元件944转向至波导940中以通过TIR被耦合在其中。因此，在各种实现方式中，用偏振光照射眼睛210，或者将偏振器(未示出)设置在眼睛与波导940之间，使得入射到波导上的来自眼睛的光被偏振。例如，发射器934可以发射偏振光，或者偏振器可以被设置在发射器934的前方，使得眼睛210被偏振光照射。因此，在各种设计中，由光耦合元件944接收的从眼睛210入射和/或反射的偏振光的偏振可以是第一偏振，使得所述光被引导到反射器996。
同样地，在各种实现方式中，耦合光学元件944(和/或耦出光学元件952)被配置为透射具有第一偏振状态(例如第一线性、圆形或椭圆偏振状态(例如，p-偏振、左旋圆或椭圆偏振等))的光，并将具有第二偏振状态(例如第二线性、圆形或椭圆(例如，s偏振、右旋圆或椭圆偏振等))的光分别转向到波导中和/或从波导转出。在一些实现方式中，眼睛照射器934可以仅或主要发射第一偏振(例如，p偏振)或者还包括被配置为仅透射第一偏振状态(例如，p偏振)的光的偏振修改元件(例如，偏振器)。另外，耦合光学元件944和/或耦出光学元件952可以被配置为将第二偏振(例如，s偏振)的光分别转向到波导中和/或从波导转出。
与图17所示的成像系统900相似，图17所示的弯曲反射器998的成像系统900包括具有波长相关的反射涂层998的弯曲的透射光学元件996。波长相关的反射涂层998可以被配置为反射特定波长或波长范围的光。在一些实现方式中，例如，波长相关的反射涂层998可以被配置为反射一定波长范围内的不可见光(例如，红外光)，同时波长相关的反射涂层998可以被配置为透射可见光。在一些情况下，波长相关的反射涂层998可以设置在弯曲的透射光学元件996的表面上。
在各种实现方式中，弯曲的透射光学元件996设置在目镜的前方的目镜950的远侧。因此，反射光学元件996设置在目镜950与用户前方的环境之间。类似地，目镜950设置在反射光学元件996和眼睛210之间。
因此，来自眼睛210的具有第一偏振(例如，p偏振)的光入射到耦合光学元件944上，并穿过其中到达弯曲的透射光学元件996。成像系统900还包括偏振修改光学元件978，例如延迟器(例如，四分之一波长延迟器)。该延迟器978是透射性的并且对通过其透射的光赋予四分之一波长的延迟。该光入射到弯曲的透射光学元件996上并从弯曲的透射光学元件996反射。波长相关的反射涂层998可以被配置为反射从眼睛反射的波长的光。因此，该光从弯曲的透射光学元件996的弯曲表面反射并被准直。该准直的光再次穿过延迟器978，从而对通过其透射的光施加另一四分之一波长的延迟。在通过延迟器的这两个光上引入的延迟(例如，全延迟波)使偏振旋转。因此，在第一次穿过上透射通过偏振选择耦合光学元件944的第一偏振(例如，p偏振)被转换成第二偏振(s偏振)并且被转向到波导940中以通过TIR被引导到相机920。如上所述，在各种设计中，耦合光学元件944被配置为将从眼睛210反射的准直光转向到波导940中以在其中被引导。因此，反射光学元件996可以被配置为准直从眼睛210反射的光，诸如眼睛的前部(例如，角膜)。因此，弯曲的反射光学元件996可以具有正光焦度。特别地，在各种设计中，反射光学元件994可以具有等于或基本上等于从反射光学元件996到眼睛210要成像的部分(例如，角膜、虹膜等)的焦距。焦距的示例值可以是例如2cm至8cm。在一些实现方式中，焦距在4cm和6cm之间。在一些设计中，焦距约为5cm。
在各种设计中，反射光学元件996可以包括被配置为反射光的弯曲表面。在某些情况下，弯曲表面可以是球形或旋转对称的。反射光学元件996可以包括至少用于一些波长和/或偏振的凹面镜。
在各种设计中，反射光学元件996包括透射可见光的材料，使得用户可以看到佩戴者前方的环境。因此，设置在弯曲的透射光学元件996的表面上的波长相关的反射涂层998可以透射可见光或可见光的至少特定波长。弯曲的透射光学元件996也可以在外表面(例如，远端表面)上涂覆有抗反射涂层。抗反射涂层可以被配置为减少红色、绿色和/或蓝色光的反射。然而，反射光学元件994可以被配置为反射从眼睛210散射的光的一部分以形成眼睛的图像。因此，反射光学元件996可以关于不同的光而不同地操作。例如，反射光学元件996可以关于不同偏振状态(和/或波长)的光而不同地操作。反射光学元件996可以被配置为透射可见光并且反射红外光。
如图17所示，例如图18中的LED或发射器的一个或多个光源934可以相对于眼睛210设置以在其上引导光，而不经由TIR引导通过波导940并引导到眼睛210上。因此，在一些实现方式中，目镜950或波导940不在一个或多个光源934和眼睛210之间的光路上。在一些设计中，多个这样的光源934可以以眼睛附近和/或周围的图案(例如，圆形或环状图案)布置。一个或多个光源934可类似于上述一个或多个光源960，并且例如可被脉冲化。类似地，一个或多个光源934可以包括诸如红外LED的红外光源或另一种类型的不可见光。特别地，在各种实现方式中，光源934可以发射由波长相关的反射涂层998和/或弯曲的透射光学元件996反射的光。然而，可以使用其他类型的光源。
尽管偏振选择耦合光学元件944被配置为依赖于入射在其上的线性偏振的类型而是偏振选择的，但是其他偏振选择耦合光学元件可以对其他类型的偏振状态(诸如不同类型的圆或椭圆偏振)是偏振选择的。偏振选择耦合光学元件944可以例如被配置为使得诸如第一圆形或椭圆偏振(例如，左旋偏振或LHP偏振)的第一偏振透射通过偏振选择耦合光学元件944、使得例如第二圆形或椭圆偏振(例如，右旋偏振或RHP)的第二偏振被转向到光波导中，反之亦然。这种偏振选择耦合光学元件944可以包括诸如胆甾型液晶的液晶。在以下部分中讨论了一些液晶光学元件的示例：标题为“Cholesteric Liquid Crystal Mirror(胆甾型液晶镜)”的部分；2017年12月7日提交的标题为“DIFFRACTIVE DEVICES BASED ONCHOLESTERIC LIQUID CRYSTAL(基于胆甾型液晶的衍射器件)”美国公开No.2018/0164627；2018年2月22日提交的标题为“DISPLAY SYSTEM WITH VARIABLE POWER REFLECTOR(具有可变焦度反射器的显示系统)”的美国公开No.2018/0239147；2018年2月22日提交的标题为“VARIABLE-FOCUS VIRTUAL IMAGE DEVICES BASED ON POLARIZATION CONVERSION(基于偏振转换的可变聚焦虚拟图像装置)”的美国公开No.2018/0239177；处于全部目的，通过引用将其全部内容合并于此。
诸如圆偏振器的偏振修改元件或延迟器可以设置在眼睛与偏振选择耦合光学元件944之间，以将从眼睛反射的光转换为第一偏振(例如，LHP)。LHP光将穿过偏振选择耦合光学元件944、从反射器998反射、将偏振改变为RHP并且被偏振选择耦合光学元件944转向到波导中以到达相机。
在一些实现方式中，反射器996在其反射率上可以是偏振选择的，使得仅反射特定偏振状态的光和/或透射不同偏振状态的光。这样的光学元件可以包括液晶，例如胆甾型液晶。在以下部分中讨论了这种光学元件的示例：标题为“Cholesteric Liquid CrystalMirror(胆甾型液晶镜)”的部分；2017年12月7日提交的标题为“DIFFRACTIVE DEVICESBASED ON CHOLESTERIC LIQUID CRYSTAL(基于胆甾型液晶的衍射器件)”美国公开No.2018/0164627；2018年2月22日提交的标题为“DISPLAY SYSTEM WITH VARIABLE POWERREFLECTOR(具有可变焦度反射器的显示系统)”的美国公开No.2018/0239147；2018年2月22日提交的标题为“VARIABLE-FOCUS VIRTUAL IMAGE DEVICES BASED ON POLARIZATIONCONVERSION(基于偏振转换的可变聚焦虚拟图像装置)”的美国公开No.2018/0239177；处于全部目的，通过引用将其全部内容合并于此。这样的光学元件可以反射诸如第一圆形或椭圆偏振状态(左旋圆形或椭圆偏振)的第一偏振状态的光并且透射诸如第二圆形或椭圆偏振状态(例如，右旋圆形或椭圆偏振)的第二偏振状态的光，反之亦然。在一些实施例中，液晶设置在反射器996的弯曲表面上，使得在反射时，反射器具有诸如正光焦度的光焦度。在各种其他实现方式中，液晶光学元件可以是平坦的或平面的。例如，液晶可以设置在平坦或平面的基板或层上。尽管是平坦的，但是光焦度可以被包括在液晶光学元件中。这样的元件可以被称为胆甾型液晶反射透镜。因此，来自眼睛的光可以被准直并反射到耦合光学元件998。例如，反射器可以反射第一偏振状态(例如，左旋圆形或椭圆形)的光并且透射第二偏振状态(例如，右旋圆形或椭圆偏振)的光。因此，眼睛210被左旋圆偏振光照射，或者从眼睛反射的光透射通过偏振器(例如，圆形或椭圆偏振器)，该偏振器透射具有第一偏振的光(例如，左旋圆形或椭圆偏振光)。耦合光学元件944也可以是偏振选择的，并且可以透射LHP光且将RHP光转向到波导中。来自眼睛的LHP光穿过耦合光学元件944。该透射的LHP光也入射在波长选择液晶反射器996上并从其反射。在某些设计中，波长选择的液晶反射器996在反射时将第一偏振状态(例如，LHP)转换为第二偏振状态(例如，RHP)。该第二偏振状态(例如，RHP)的光被引导到耦合光学元件944，该耦合光学元件944将第二偏振状态(RHP)的光转向到波导940中并到达相机920。
在一些设计中，耦合光学元件944不包括液晶光栅，而是例如包括表面浮雕衍射光栅或全息光栅。如上所述，不包括胆甾型液晶的这些耦合光学元件944还可以包括体积衍射或全息光学元件或光栅。
因此，从眼睛散射的光被反射光学元件996反射回波导940，以通过耦合元件944耦合到波导中。然而，相反地，与第二偏振状态(例如，RHP)对应的来自佩戴者前方环境的非偏振光的一部分将透射通过反射光学元件996。由此，佩戴者可以通过反射光学元件996看到对象。
然而，在各种设计中，反射光学元件996在透射时将具有可忽略的焦度。例如，反射光学元件996可以在光学元件的两侧上具有相同曲率的弯曲表面，使得光学元件对于通过其透射的光的总焦度可以忽略不计。
如上所述，在各种实现方式中，反射光学元件996包括诸如在下面部分中讨论的胆甾型液晶反射透镜、胆甾型液晶反射元件：标题为“Cholesteric Liquid Crystal Mirror(胆甾型液晶镜)”的部分；2017年12月7日提交的标题为“DIFFRACTIVE DEVICES BASED ONCHOLESTERIC LIQUID CRYSTAL(基于胆甾型液晶的衍射器件)”美国公开No.2018/0164627；2018年2月22日提交的标题为“DISPLAY SYSTEM WITH VARIABLE POWER REFLECTOR(具有可变焦度反射器的显示系统)”的美国公开No.2018/0239147；2018年2月22日提交的标题为“VARIABLE-FOCUS VIRTUAL IMAGE DEVICES BASED ON POLARIZATION CONVERSION(基于偏振转换的可变聚焦虚拟图像装置)”的美国公开No.2018/0239177；处于全部目的，通过引用将其全部内容合并于此。这样的光学元件可以关于特定的波长或波长范围来操作。因此，可以通过胆甾型液晶反射元件对从眼睛反射的诸如红外光的光作用。然而，诸如来自环境的可见光的不在该波长范围内的光可以穿过胆甾型液晶反射元件而不会被胆甾型液晶反射元件操作。因此，胆甾型液晶反射元件具有对于从其通过的来自环境该可见光可忽略不计的焦度。
如上所述，在某些实现方式中，照射源960将光耦合到波导940中，该光从波导中转出以照射眼睛210。在这样的实施例中，耦合光学元件944可以是偏振选择的。例如，耦合光学元件944可以透射第一偏振(p偏振)并且透射第二偏振(s偏振)。
因此，如果来自照射源906的光传播通过波导940并且被耦合光学元件944转向，则该照射将是s偏振的。偏振修改光学元件(例如，四分之一波长延迟器)可以设置在波导940和眼睛210之间，以引起从眼睛反射的偏振光的旋转。从眼睛210反射的来自光源960的光将两次穿过四分之一波长延迟器，结果，由耦合元件944从波导射出的以照射眼睛的s偏振光将被转换为p偏振光。
该p偏振光将透射穿过耦合光学元件944和波导，并入射在反射光学元件996上。
成像系统900可以还包括第二偏振修改元件978，该第二偏振修改元件978可以包括例如如上所述的延迟器或波片。该延迟器可以包括例如四分之一波长延迟器。第二偏振修改元件978可以设置在波导和反射器996之间的波导940的远端。第二偏振修改元件978也可以设置在耦合元件光944和反射器996之间。透射穿过耦合元件944的来自眼睛210的光(p偏振)穿过第二偏振修改元件978而被转换成圆偏振。如果反射器996反射圆偏振光，则该光在再次穿过偏振修改元件978之后将被反射回波导940。两次穿过该偏振修改元件(例如，四分之一波长延迟器)978将使光转换成s偏振光，该s偏振光将被耦合元件944转向到波导中以在其中被引导并到达相机(未示出)。
如图18所示，从眼睛210反射的光988是发散的。该光入射到弯曲的或具有正光焦度的反射器996上，并且可以由此被准直。被配置为使准直转向到波导940中的耦合光学元件944将因此使来自弯曲的反射光学元件996的该准直光引导朝向成像装置920(未示出)。因此，被弯曲的反射光学元件996准直的从眼睛210反射的光被耦合到波导940中并在其中被引导朝向耦出光学元件952。耦出光学元件952可以被配置为将光从目镜950引导出并到达到相机(未示出)。
成像系统的配置可以有各种各样的变型。可以采用不同类型的反射器996和耦合元件944。反射器996和耦合元件944可以例如被配置为关于线性偏振光或圆形或椭圆偏振光来操作。如所讨论的，反射器996具有光焦度。反射器996和耦合元件944可以包括胆甾型液晶光栅反射器和/或具有无光焦度的透镜。诸如延迟器的偏振修改元件978可以被包括在耦合元件944与反射器之间和/或耦合元件944与眼睛之间。在一些实施例中，诸如圆偏振器或线性偏振器的偏振器可以设置在眼睛与耦合元件944之间。如果例如非偏振光从眼睛反射，则偏振器(例如，圆偏振器或线性偏振器)可以设置在眼睛和耦合元件944之间。在一些这样的情况下，耦合元件944是偏振选择的。
在诸如图17和18所示的配置中，其中从眼睛反射的光穿过波导940到达弯曲的反射光学元件996以被准直并重定向回到波导，从而引入背景噪声。该背景噪声是由最初从眼睛通过耦合光学元件944的光产生的。如上所述，耦合光学元件944可以被配置为将准直光转向到波导940中以在其中被引导并到达形成图像的相机920。然而，耦合光学元件944将使入射在其上的一些非准直光转向。因此，在最初穿过耦合光学元件944和波导940到达弯曲的反射光学元件996时，从眼睛反射的非准直(发散)的光中的一些将通过耦合光学元件944耦合到波导中，并且将背景噪声贡献给由相机920形成的眼睛的图像。该噪声将叠加在由弯曲的反射光学元件996逆向反射的准直光形成的图像上，该准直光由耦合光学元件944耦合到波导中并在其中被引导且到达相机920。
在某些设计中，可以从图像中减去该噪声。从信号中减去噪声的过程可能涉及(a)测量在最初穿过耦合光学元件944到达弯曲的反射光学元件996时由耦合光学元件944耦合的被转向且到达相机920光量(称为N)和(b)测量当光穿过耦合光学元件944和波导940到达弯曲的反射光学元件996、被准直并被反射回耦合光学元件且被转向到相机920时的相机920处的总信号。该总信号还将包括一些噪声N，因为从眼睛反射的非准直光将已经穿过耦合光学元件944到达弯曲的反射光学元件996，因此非准直光中的一些将被耦合光学元件944转向到相机920。如果可以将噪声N与包含叠加在眼睛图像上的噪声的总信号T分开测量，则可以从总信号T中减去噪声N，如以下式子所示：
I＝T–N
其中I代表去除了噪声分量N的图像。
可以以各种方式获得以上两个测量(a)和(b)。例如，如图19所示，可以在弯曲的反射光学元件996与波导940和耦合光学元件944之间设置快门936。该快门936可以被配置为在快门处于第一状态时阻挡光以及在快门处于第二状态时透射光。该快门936可以包括例如液晶快门。
因此，当快门936处于从眼睛210反射的光入射到耦合光学元件944上并穿过其朝向弯曲的反射光学元件996的第一状态时，可以测量噪声分量N，然而，可以通过闭合的快门防止噪声分量N达到弯曲的反射光学元件。如上所述，从眼睛210反射的光中的一些尽管主要是未被准直的，但是确实耦合到耦合光学元件944中并被转向到波导中且在其中被引导到达相机920。如上所述，该光图像的形成没有贡献，但会产生背景噪声。当快门936关闭时，相机920可以记录该噪声N。
当快门936处于快门打开的第二状态时，可以测量包括噪声N和图像两者的总信号T。从眼睛210反射的光再次入射到耦合光学元件944上。从眼睛210反射的该光中的一些尽管主要是未被准直的，但耦合到耦合光学元件944中并被转向到波导中且在其中被引导到达相机920。然而，从眼睛210反射的该光中的大部分穿过耦合光学元件944、通过打开的快门936并到达弯曲的反射光学元件996。弯曲的反射光学元件996准直该光的至少一部分并使其反射回耦合光学元件944，该耦合光学元件944将准直后的光转向至波导920中并将其引导到相机920，以形成眼睛210的图像。相机920可以捕获眼睛210的图像。
与相机920通信的处理电子器件(例如，处理电子器件140)可以接收当快门936处于第一关闭状态时测量的噪声分量N以及当快门936处于第二打开状态时测量的总信号T并且，可以使两者相减(T-N)。以这种方式，可以从总的图像信号T中减去噪声N，该噪声N由在初次穿过耦合光学元件944时被耦合到耦合光学元件944中的从眼睛210反射的非准直光所贡献的。处理电子器件可以经由有线电子信号与相机920通信。附加地或可选地，处理电子器件可以使用一个或多个远程接收器与相机920通信。处理电子器件可以远程地驻留(例如，云计算装置、远程服务器等)。
可以采用其他方式来执行(a)和(b)的测量以获得N和T并从T中减去N。例如，如果弯曲的反射光学元件996是波长选择性的，如图18所示，可以在不同的时间用不同波长的光照射眼睛。例如，为了执行测量(a)并量化噪声N，可以用未被弯曲的反射光学元件996反射的波长照射眼睛。然而，为了执行测量(b)并量化总信号T，可以用被弯曲的反射光学元件996反射的波长照射眼睛。然后，可以从总T中减去噪声N，如上所述(例如，T-N)。
图20-20E示出了示例成像系统900，如上所述，该成像系统900被配置为使用波长调制来测量和减去噪声分量N。图20A-20E中的成像系统900包括波长选择性的弯曲的透射光学元件996(例如以上参考图17和图18描述的)。例如，弯曲的透射光学元件996在其弯曲表面上具有波长相关的反射涂层998。成像系统900还可包括被配置为照射眼睛210的一个或多个光源或照射源(未示出)。一个或多个光源可被配置为发射红外光。然而，一个或多个光源可以被配置为在不同的时间发射不同的颜色或波长的光。这种波长调制可以使得能够单独地测量N，以便从总信号T中减去N。
在各种实现方式中，例如，一个或多个照射源960、934可以被配置为在第一状态下发射由弯曲的反射光学元件反射的一个或多个波长λ反射，并且在第二状态下发射未被反射的一个或多个波长λ未反射。在第二状态下，发射不超过可忽略的量的波长λ反射，该波长被弯曲的反射光学元件反射。类似地，在第一状态下，发射不超过可忽略的量的未被反射的波长λ未反射。
在一些示例中，反射波长λ反射可以在大约800nm与950nm之间。反射波长λ反射可以在约835nm至915nm之间。反射波长λ反射可以在约840nm至870nm之间。在一些设计中，反射波长λ反射约为850nm。来自一个或多个光源960的光发射928可以照射眼睛。
如图20B所示，具有未被弯曲的反射光学元件944反射的波长λ未反射的光988(且不超过可忽略的量的被弯曲的光学元件反射的光λ反射)反射离开眼睛210的一部分(例如，角膜)。因为该光包括未被弯曲的反射光学元件944反射的波长λ未反射，所以光线916被示出传播通过弯曲的反射光学元件996到达用户前方的环境。
尽管入射在耦合光学元件944上的光988未被准直，但是耦合光学元件将至少一些光914耦合到波导940中以被引导到相机920。因此，相机920可以捕获与噪声分量N对应的图像(图像#1)，该图像是由非准直光产生的，该非准直光在最初穿过到达弯曲的反射光学元件996时被耦合光学元件944转向。该图像(图像#1)是背景噪声且确实不是可识别的眼睛的图像。处理电子器件140被示为接收该第一图像(图像#1)。
在图20C-20E中，照射源(未示出)发出被弯曲的反射光学元件反射的一个或多个波长λ反射，且不超过可忽略的量的波长λ未反射未被反射。该波长λ反射可以是例如850nm。
如图20C所示，，在第一次穿过耦合光学元件944时入射在耦合光学元件944上的从眼睛210反射的光988中的一些被耦合光学元件944耦合到波导940中(如图20B中所示)并且被引导朝向相机920。另外，选择性地反射波长λ反射的光的弯曲的透射光学元件996反射并准直从眼睛210反射的入射在弯曲的透射光学元件上的非耦入光918。如图20E中所示，耦合光学元件944使该准直的反射光转向并使其耦合到波导940中且朝向相机920。图20E示出到达相机920的两个分量，在第一次穿过耦合光学元件944时入射到耦合光学元件944上的从眼睛210反射的光988(其被耦合光学元件耦合到波导940中)，以及被耦合光学元件耦合到波导中的被弯曲的透射光学元件996反射和准直的光。相机920可以捕获与该总图像分量T对应的图像(图像#2)。处理电子器件140被示为接收该第二图像(图像#2)。
如上所述，处理电子器件可以从图像中减去噪声T-N。在此示例中，可以从图像#2中减去图像#1。因此，处理电子器件140可以被配置为基于第一图像来修改第二图像。但是，其他方法也是可能的。例如，处理电子器件140可以被配置为创建新图像，该新图像表示具有减小的光学噪声的第二图像的版本。用于从图像中减去噪声的实现方式可以在上述实现方式中使用。例如，图10、图11A-11E和/或图12A-12E所示的实现方式可以包括快门936和/或具有波长相关的反射涂层998的弯曲的透射光学元件996，该反射涂层998被配置为选择性地反射非耦入光912并将光引导到成像装置920。
如上所述，在以下情况下获得图像#1：照射具有未被弯曲的反射光学元件反射的一种或多种波长λ未反射的光，且不超过可忽略的量的波长λ反射被反射。在以下情况下获得图像#2：照射具有被弯曲的反射光学元件反射的一种或多种波长λ反射的光，且不超过可忽略的量的波长λ未反射未被反射。因此，一个或多个照射源960、934可以被配置为调制波长。例如，在某些设计中，一个或多个照射源960、934可以包括第一照射源，该第一照射源被配置为输出未被弯曲的反射光学元件反射的一种或多种波长λ未反射，且不超过可忽略的量的波长λ反射被反射。一个或多个照射源可以还包括第二照射源，该第二照射源被配置为输出被弯曲的反射光学元件反射的一种或多种波长λ反射，且不超过可忽略的量的波长λ未反射未被反射。第一和第二照射源的强度可以交替地增加和减少、打开和关闭、衰减和不衰减、通过和阻挡，以提供照射眼睛的光的波长的调制。例如，在第一时间间隔期间，第一照射源可以被阻挡而第二照射源未被阻挡。在随后的第二时间间隔期间，第二照射源可以被阻挡而第一照射源未被阻挡。可以重复此过程以提供照射眼睛的光的波长的调制。在其他设计中，光源的波长可以被调谐和去调谐以使波长在λ反射和λ未反射之间来回移动。其他布置是可能的。
如上所述，成像系统900可以被包括在诸如增强现实显示器的头戴式显示器中，该显示器还通过用目镜950收集光来提供对眼睛进行成像的能力。这样的成像系统900可以用于眼睛跟踪。可以获得眼睛的视网膜或眼睛的前部的多个图像。可以从这些图像中确定眼睛的移动和/或重新定位以跟踪眼睛的位置和/或取向。这些成像系统也可以用作生物成像和/或用于识别用户。例如，可以获得并记录用户眼睛(例如视网膜或虹膜)的图像。可以在稍后的时间获得佩戴者的眼睛(例如，视网膜或虹膜)的后续图像。可以将两个图像进行比较以确定在随后的实例中的佩戴者是否是在第一实例中的佩戴者。然而，成像系统的其他用途是可能的。
尽管以上可以将照射系统描述为基于波导的并且包括一个或多个波导，但是可以采用其他类型的光转向光学元件代替波导。这种光转向光学元件可以包括转向特征，以将光从光转向光学元件射出，例如，射到空间光调制器上。因此，在本文描述的任何示例以及下文的任何示例中，对波导的任何引用都可以用光转向光学元件代替波导来替换。这种光转向光学元件可以包括例如偏振分束器，例如偏振分束棱镜。
如上所述，本文描述的系统可以允许生物数据的收集和/或生物识别。例如，眼睛或其部分(例如，视网膜)可以被成像以提供这种生物数据和/或生物识别。当用户(大概是同一用户)佩戴头戴式显示系统时，可以在不同时间获得诸如视网膜的眼睛图像。这样的图像的集合可以被记录在例如数据库中。可以分析这些图像以收集生物数据。这样的生物数据可能对监视用户的健康或医疗状况是有用的。可以通过对患者(例如，患者的眼睛(例如，视网膜))进行成像来监视不同的医学参数。可以记录医疗参数并将其与在用户佩戴头戴式显示系统时获得的后续测量进行比较。
另外，如果人开始佩戴头戴式显示系统并且捕获到与数据库中存储的图像不匹配的用户眼睛的图像，则可以得出结论，即，当前佩戴该头戴式显示系统的人与先前的用户不同。这在确定目标用户是佩戴头戴式耳机还是该头戴式耳机由新用户佩戴时是有用的。这样的特征可以允许某些医疗、安全和/或使用便利的应用或功能。例如，头戴式显示器可以被配置为基于佩戴者的眼睛的特性来识别佩戴者。例如，系统可以被配置为基于佩戴者的视网膜(例如，血管)、角膜或其他眼部特征来确定个人。例如，在一些实现方式中，可以为特定佩戴者确定标记的系列。基于标记的系列，系统可能能够确定先前的用户正在佩戴头戴式耳机，或者可选地，确定另一用户正在佩戴头戴式耳机。标记可以包括用户的角膜的形状或中心、用户的视网膜中的血管的配置、来自角膜的光的反射的强度和/或位置、眼睛的方面的形状和/或任何其他生物标记。在某些实现方式中，可以确定混淆矩阵。如上文在例如使用位于各种位置处的虚拟/注视目标开发视网膜映射的讨论中(例如，参见图13B)所讨论的，系统可以具有在一组预定方向上的用户观看或眼睛姿势并且开发与每个方向或眼睛姿势相关联的眼睛或眼睛的部分(例如，角膜、视网膜等)的特征矩阵。使用这样的矩阵，系统可以确定个人的身份。其他方法是可能的。
类似地，如上所述，系统的多种配置是可能的。例如，图21示出了一个示例目镜900，该目镜900可用于在对用户的眼睛成像时同时将光投射到用户的眼睛中。所示的目镜900包括耦合光学元件2104、光分布元件2108和合光(light consolidating)元件2116、以及位于耦合光学元件2112的相对侧上的耦出光学元件2120。这些光学元件中的每一个可以设置在波导2102的内部或之上。波导2102可以对应于例如本文所述的波导670、680、690中的一个(例如，参见图9A-9C)。耦入光学元件2104可以对应于本文所述的耦合光学元件700、710、720中的一个和/或对应于耦入光学元件942(参见例如图10)并且可以被配置为将来自投影仪的图像内容注入到波导中和/或注入来自光源960的照射。光分布元件2108可以对应于本文所述的光分布元件730、740、750中的一个(例如，参见图9A-9C并且可以用于将光分布在给定的方向上以及将来自耦入光学元件2104的光重定向到耦合光学元件2112。耦合光学元件2112可对应于本文所述的耦合光学元件944(例如，参见图10)。在一些设计中，耦合光学元件2112包括本文关于耦出光学元件800、810、820描述的功能(参见图9A-9C)。合光元件2116可被配置为从耦合光学元件2112接收的光的横向空间范围并且将所述光重定向到耦出光学元件2120。耦出光学元件2120可以对应于本文所述的耦出光学元件952(例如，参见图10)。
耦合光学元件2104可以设置在波导2102之内或之上，以便接收诸如来自投影仪(例如，图像投影仪930)和/或照射器(例如，光源960)的光。光可以经由波导2102被传递到相关联的光分布光学元件2108。耦入光学元件2104、光分布光学元件2108或耦合光学元件2112中的任何一个都可以设置在波导的主表面上(例如，在顶部或底部表面上)或设置在波导内。类似地，合光元件2116和/或耦出光学元件2120中的任何一个或组合可以设置在波导2102的主表面(例如，顶表面或两个主表面)上或设置在波导内。
耦合光学元件2112可以接收来自光分布元件2108的光(例如，经由TIR)并扩展光以进入用户的眼睛。由此，耦合光学元件2112可以被设置在用户的眼睛前方并且在其中投射图像内容。附加地或可选地，耦合光学元件2112可以被配置为将照射光提供到用户的眼睛之上和/或之中。
从眼睛反射的光(例如，来自照射源的照射光)可以被耦合光学元件2112反射和捕获。因此，在一些实施例中，耦合光学元件2112可以用于使从光分布元件2108接收的光耦出并且使从眼睛接收的光耦入到波导2102中。
在一些实施例中，耦合光学元件2112可以包括一个或多个衍射光学元件(DOE)，使得耦合光学元件2112具有双功能。第一DOE(例如，光栅、全息区域)也可被配置为将光耦出，以及第二DOE可被配置为将来自眼睛的反射光耦入到波导2102中。在一些实施例中，第一和第二DOE在波导2102内叠加(例如，占据相同或近似相同的体积)。
可选地，在一些实施例中，耦合光学元件2112包括至少两个DOE，其堆叠在另一个DOE之上或前方。例如，参考图21，可以将耦合光学元件2112的第一DOE设置在上方，而将第二衍射元件设置在第一DOE的下方。在其他实现方式中，每个DOE的顺序可以颠倒。
胆甾型液晶镜
一些液晶处于称为手性相或胆甾相的相。在胆甾相中，液晶可以沿垂直于指向矢(director)的轴表现出分子的扭曲，其中分子轴平行于指向矢。如本文所述，胆甾型液晶(CLC)层包括处于胆甾相的多个液晶分子，该多个液晶分子在例如垂直于指向矢的方向(例如层深度方向)的方向上延伸，并沿例如顺时针或逆时针的旋转方向依次旋转或扭曲。手性结构中的液晶分子的指向矢可以表征为具有螺距(p)的螺旋，该螺距对应于层深度方向上的长度，其对应于手性结构中的液晶分子沿第一旋转方向通过一次完全旋转的净旋转角。换言之，螺距是指液晶分子经历完全的360°扭曲的距离。显示手征性的液晶也可以描述为具有扭转角或旋转角(φ)，其例如可以指层法线方向上连续的液晶分子之间的相对方位角旋转，并且可以具有净扭转角或净旋转角，该净扭转角或净旋转角例如可以指跨指定长度(例如，手性结构的长度或液晶层的厚度)的在最上方的液晶分子和最下方的液晶分子之间的相对方位角旋转。如本文所述，手性结构是指处于胆甾相的多个液晶分子，该多个液晶分子在例如垂直于指向矢的方向(例如，层深度方向)的方向上延伸并在例如顺时针或逆时针的旋转方向上连续旋转或扭曲。一方面，手性结构中的液晶分子的指向矢可以表征为具有螺距的螺旋。
图22示出了根据实施例的包括多个均匀手性结构的胆甾型液晶(CLC)层1004的横截面侧视图。在CLC层1004中，在横向方向(例如，x方向)上相邻的手性结构具有类似排列的液晶分子。在所示的实施例中，手性结构1012-1、1012-2、…1012-i被类似地配置为使得位于大约相同的深度处的不同的手性结构的液晶分子，例如，最接近光入射表面1004S的液晶分子，具有相同的旋转角、位于大约相同深度处的连续液晶分子的连续旋转角、以及每个手性结构的液晶分子的净旋转角。
CLC 1004包括CLC层1008，其包括被布置为多个手性结构1012-1、1012-2、…1012-i的液晶分子，其中每个手性结构包括多个液晶分子，其中i是任何大于2的合适的整数。在操作中，当具有左旋圆偏振光束和右旋圆偏振光束的组合的入射光通过布拉格反射入射在CLC层1008的表面1004S上时，具有圆偏振旋向性中的一者的光被CLC层1004反射，而具有相反偏振旋向性的光透射通过CLC层1008而没有实质性的干涉。如本文和整个公开中所描述的，旋向被定义为沿传播方向观看。根据实施例，当光束1016-L、1016-R的偏振方向或偏振的旋向性相匹配使得其具有与手性结构1012-1、1012-2、…1012-i的液晶分子相同的旋转方向时，反射入射光。如图所示，入射到表面1004S上的是具有左旋圆偏振的光束1016-L和具有右旋圆偏振的光束1016-R。在所示的实施例中，手性结构1012-1、1012-2、…1012-i的液晶分子连续地在入射光束1016-L、1016-R行进的方向上在顺时针方向(即，正x方向)上旋转，该方向与具有右旋圆偏振的光束1016-R相同的旋转方向。结果，具有右旋圆偏振的光束1016-R基本上被反射，而具有左旋圆偏振的光束1016-L基本上透射通过CLC层1004。
如上所述，通过将入射的椭圆或圆偏振光的偏振的旋向性与CLC层的手性结构的液晶分子的旋转方向相匹配，可以将CLC层配置为布拉格反射器。此外，具有不同螺距的一个或多个CLC层可以被配置为具有高带宽的波长选择性布拉格反射器。基于本文关于各种实施例描述的概念，CLC层可以被配置为离轴或同轴镜，其被配置为选择性地反射例如红外波长(例如，近红外)的第一波长范围，同时透射例如可见波长的另一波长范围。在一些实施例中，以上参考图13A-13B描述的视网膜成像技术中的一个或多个可以通过利用以下参考图23-24H描述的一种或多种离轴镜(OAM)配置中的一个或多个来执行。
图23示出了根据各种实施例的采用胆甾型液晶反射器(CLCR)的眼睛跟踪系统2300的示例，该胆甾型液晶反射器(CLCR)例如为被配置为对观看者的眼睛302成像的波长选择性CLCR 1150。与以上关于图22描述的CLC层1004不同，波长选择性CLCR 1150中的在横向方向(例如，x方向)上相邻的手性结构具有不同布置的液晶分子。也就是，手性结构被配置为使得位于大约相同深度处的不同手性结构的液晶分子(例如，最接近光入射表面1004S的液晶分子)具有不同的旋转角。结果，入射在CLCR 1150上的光以相对于层深度方向的角度(θR)反射，如以下在眼睛跟踪系统2300的上下文中进一步描述的。
眼睛跟踪在交互式视觉或控制系统中可以是有用的特征，该交互式视觉或控制系统包括在本说明书的其他地方描述的用于虚拟/增强/混合现实显示应用以及其他应用的可穿戴显示系统。为了实现有效的眼睛跟踪，可能希望获得低视角的眼睛302的图像，为此可能进而需要将眼睛跟踪相机702b放置在观看者眼睛的中心位置附近。然而，相机702b的这种位置可能会干扰用户的观看。可选地，眼睛跟踪相机702b可以设置在较低位置或侧。然而，由于以较陡峭的角度捕获眼睛图像，因此相机的这种位置可能会增加获得稳健的且准确的眼睛跟踪的难度。通过配置CLCR 1150以选择性地反射来自眼睛302的红外(IR)光2308(例如，具有850nm的波长)同时透射来自世界的可见光2304，可以将相机702b放置远离用户的观看同时捕获正常或低视角的眼睛图像。这样的配置不会干扰用户的观看，因为不会反射可见光。如图所示，相同的CLCR 1150还可以通过将来自例如IR LED的IR源的IR光反射到眼睛302中而被配置作为IR照射源2320。IR照射器的低视角可导致更少的遮挡，例如来自眼睫毛的遮挡，该配置允许更稳健地检测镜面反射，这在现代眼睛跟踪系统中可能是有用的特征。
仍然参考图23，根据各种实施例，CLCR 1150包括一个或多个胆甾型液晶(CLC)层，每个胆甾型液晶(CLC)层包括多个手性结构，其中每个手性结构包括在层深度方向(例如，z方向)上延伸且沿第一旋转方向连续旋转的多个液晶分子，如上文所述。手性结构的液晶分子的排列在垂直于层深度方向的横向方向上周期性地变化，使得一个或多个CLC层被配置为基本上布拉格反射具有第一波长(λ1)的第一入射光同时基本上透射具有第二波长(λ2)的第二入射光。如上所述，当在层深度方向上观看时，一个或多个CLC层中的每一个被配置为基本上布拉格反射具有与第一旋转方向相匹配的偏振旋向性的椭圆或圆偏振的第一和第二入射光，同时被配置为基本上透射具有与第一旋转方向相反的偏振旋向性的椭圆或圆偏振的第一和第二入射光。根据实施例，在横向方向上周期性变化的液晶分子的排列被布置为在横向方向上具有周期，使得第一波长与周期之间的比率在大约0.5与大约2.0之间。根据实施例，第一波长在约600nm至约1.4μm之间的近红外范围内，例如约850nm，并且第二波长在具有如说明书中其他地方所述的一种或多种颜色的可见范围内。根据各种实施例，手性结构的液晶分子相对于法向于层深度方向的方向预倾斜。如所配置的，一个或多个CLC层被配置为使得第一入射光以相对于层深度方向(z方向)的角度(θR)反射，该角度超过相对于层深度方向约50°、约60°、约70°或约80°。
如此配置，波长选择性CLCR 1150包括一个或多个胆甾型液晶(CLC)层，每个胆甾型液晶层包括在层深度方向上延伸并且在第一旋转方向上连续旋转的多个液晶分子，其中手性结构的液晶分子的排列在垂直于层深度方向的横向方向上周期性地变化，使得一个或多个CLC层被配置为基本上布拉格反射具有例如IR波长的第一波长的第一入射光同时基本上透射具有例如可见波长的第二波长的第二入射光。
类似的液晶层和结构可以用于以上结合图17-20E所述的反射器996和涂层998。涂层998可以例如包括液晶涂层，并且在某些实现方式中可以是波长和/或偏振选择的。然而，可以采用其他类型的涂层998和反射器996。
离轴成像
如上所述，眼睛跟踪可以是包括可穿戴显示器的交互式视觉或控制系统中的有益特征，以用于虚拟/增强/混合现实显示应用以及其他应用，该系统例如为下面的图24A-24H中描述的系统700。为了实现良好的眼睛跟踪，可能期望以低视角获得眼睛302的图像，对于该图像，进而可能期望的是将眼睛跟踪相机702b设置在观看者的眼睛的中心位置附近。然而，相机702b的这种位置可能干扰用户的视野(view)。可替代地，眼睛跟踪相机702b可以被设置成较低的位置或一侧。然而，由于眼睛图像以更陡的角度捕获，因此相机的这种位置可能增加获得稳健且准确的眼睛跟踪的难度。通过配置反射器(例如，CLCR 1150)以选择性地反射来自眼睛302的红外(IR)光2308(例如，具有850nm的波长)，同时透射来自世界的可见光2304(例如，如图6所示)，相机702b可以被放置远离用户的视野，同时以正常或低视角捕获眼睛图像。这种配置不干扰用户的视野，因为不会反射可见光。
图24A示意性地示出了成像系统700的示例，该成像系统700包括成像器702b，该成像器702b被用于观看眼睛304，并且该成像器702b被安装在佩戴者的镜腿附近(例如，在可穿戴显示系统200的框架64上，图2，例如，耳杆(ear stem)或镜腿上)。在其他实施例中，第二成像器用于佩戴者的其他眼睛302，使得每个眼睛被单独地成像。成像器702b可以包括对红外辐射敏感的红外数字相机。成像器702b被安装成使得其面向前(在佩戴者的视觉的方向上)，而不是面向后并指向眼睛304(与图6中所示的相机500一样)。通过将成像器702b设置为更靠近佩戴者的耳朵，成像器702b的重量也更靠近耳朵，并且与其中成像器面向后并且设置得更靠近HMD的前部(例如，靠近显示器70，图2)的HMD相比，HMD可能更容易佩戴。另外，通过将面向前的成像器702b放置在佩戴者的镜腿附近，从佩戴者的眼睛304到成像器的距离是设置在HMD的前部附近的面向后的成像器(例如，图4中所示的相机500)到眼睛304的距离的大致两倍。由于图像的景深大致与该距离成比例，因此面向前的成像器702b的景深是面向后的成像器的景深的大致两倍。用于成像器702b的较大景深对于针对具有大或突出的鼻、眉脊等的佩戴者的眼睛区域进行成像可能是有利的。
成像器702b被定位成观看另外的透明光学元件706的内表面704。光学元件706可以是HMD的显示器708的一部分(或一对眼镜中的透镜)。光学元件706可以透射入射在光学元件上的可见光的至少10％、20％、30％、40％、50％、60％、70％、80％、90％、95％或更多或者这些值中的任何值之间的任何范围。在其他实现方式中，光学元件706不需要是透明的(例如，在虚拟现实显示器中)。光学元件706可以包括CLC离轴镜708。CLC离轴镜708可以是反射第一波长范围的表面，同时基本上透射第二波长范围(其不同于第一波长范围)。第一波长范围可以例如是在红外中，并且第二波长范围可以是在可见中。例如，CLC离轴镜708可以包括热镜，其在透射可见光的同时反射红外光。在这样的设计中，来自佩戴者的红外光710a、712a、714a传播到光学元件706并从光学元件706反射，从而产生可由成像器702b成像的被反射的红外光710b、712b、714b。在一些实现方式中，成像器702b可以敏感于或能够捕获由CLC离轴镜708反射的第一波长范围的至少一个子集(诸如非空子集和/或少于全部的子集)。例如，CLC离轴镜708可以反射700nm至1.5μm范围内的红外光，并且成像器702b可以敏感于或能够捕获700nm至900nm的波长的近红外光。作为另一示例，CLC离轴镜708可以反射在700nm至1.5μm的范围内的红外光，并且成像器702b可以包括滤除在900nm至1.5μm的范围内的红外光的滤波器，使得成像器702b可以捕获在700nm至900nm的波长的近红外光。
来自外部世界的可见光(1144，图6)通过光学元件706透射并且可以被佩戴者感知。实际上，图24A中所示的成像系统700就好像存在指向回佩戴者的眼睛304的虚拟成像器702c那样来起作用。虚拟成像器702c可以对从佩戴者的眼睛304传播通过光学元件706的虚拟红外光710c、712c、714c(以虚线示出)进行成像。尽管热镜(或本文所述的其他DOE)可以设置在光学元件706的内表面704上，但这不是限制性的。在其他配置中，热镜或DOE可以设置在光学元件706的外表面上或光学元件706(例如，体积HOE)内。
图24B示意性地示出了成像系统700的另一示例。在该设计中，可以通过与成像器702b一起使用的透视控制透镜组件716b(例如，移位透镜组件、倾斜透镜组件或倾斜移位透镜组件)来减少或消除透视变形。在一些实现方式中，透视控制透镜组件716b可以是成像器702b的透镜的一部分。透视控制透镜716b可以被配置成使得成像器702b的法线基本上平行于包括DOE(或HOE)或热镜的表面704的区域的法线。实际上，图24B中所示的成像系统700就好像存在具有指向回佩戴者的眼睛304的虚拟透视控制透镜组件716c的虚拟成像器702c那样来起作用。
附加地或替代地，如图24C中示意性地示出的，光学元件706的CLC离轴镜708可以在其表面704上具有离轴全息镜(OAHM)，该离轴全息镜用于反射光710a、712a、714a以便于由捕获反射光710b、712b、714b的相机成像器702b观看眼睛304。代替反射光以使得入射角等于反射角，离轴镜可以以与等同于入射角的角度不同的角度来反射光。在图24C中示出的该特性可以由衍射光学元件(DOE)或全息光学元件(HOE)提供。衍射光学元件或全息光学元件可以被配置为潜在地以相对于DOE或HOE的法线的较小角度接收来自眼睛的光，并且以不同的角度(例如，相对于DOE或HOE的法线的更大角度)将光的至少一部分衍射到相机。因此，衍射光学元件或全息光学元件可以包括倾斜。(这些反射元件可以包括衍射光学元件(DOE)或全息光学元件(HOE)，其具有被编程到DOE或HOE中的不同的倾斜量。在这种情况下，倾斜是指作为衍射的结果的光束的偏转。衍射或全息特征(诸如光栅的线)被配置为例如彼此成形和间隔开，以使入射在其上的光以与光束的倾斜类似的角度重定向。这种倾斜不需要由倾斜表面产生，而是可以通过干涉地和/或经由衍射来产生。在各种实现方式中，衍射光学元件或全息光学元件可以包括光焦度。如图24D所示，入射在镜子708上的光线被准直，但是当被反射/衍射时，光线由于被结合在衍射或全息镜中的光焦度而会聚。因此，OAHM 708可以具有光焦度，并且在一些实现方式中可以包括离轴体积衍射光学元件(OVADOE)，如图24D中示意性示出的。在图24D所示的示例中，由于衍射或全息镜的光焦度，虚拟相机702c的有效位置在无穷远处(并且在图24D中未示出)。当经由眼睛的自然晶状体对视网膜成像的对眼睛进行成像、同时提供对眼睛的其他特征(诸如可能干扰图像处理的睫毛)的减少的成像时，无穷远聚焦的相机可具有优势。
在一些实现方式中，HOE(例如，OAHM或OVADOE)可以被划分成多个分段。不同的分段(可能是每个分段)可以具有不同的光学特性或特征，包括例如分段使进入的(红外)光反射的反射角(其可以被称为倾斜)和/或光焦度。(如上所述，这些反射元件可以包括衍射光学元件(DOE)或全息光学元件(HOE)，其具有被编程到DOE或HOE中的不同的倾斜量。在这种情况下，倾斜是指作为衍射的结果的光束的偏转。衍射或全息特征(诸如光栅的线)被配置为例如彼此成形和间隔开，以使入射在其上的光以与光束的倾斜类似的角度重定向。这种倾斜不需要由倾斜表面产生，而是可以通过干涉地和/或经由衍射来产生。)衍射或全息光学元件的不同分段中包括的不同倾斜量可以使入射在不同分段上的光被衍射不同的量。分段可以被配置为使得光从不同分段(例如，每个分段)朝向成像器702b反射。由于被编程到不同分段中的不同倾斜量，由成像器702b获取的图像也将被划分成与不同分段或不同分段类型对应的数量的分段，这可以例如有效地从不同角度提供眼睛的视图(view)。图24E示意性地示出了具有OAHM的显示系统700的示例，所述OAHM具有三个分段718a1、718a2、718a3，每个分段充当在不同角度位置处对眼睛304成像的相应虚拟相机702c1、702c2、702c3。三个不同的分段衍射并偏转或反射不同量的光，从而提供眼睛的不同视角，也可能提供视网膜的不同部分的图像。
图24F示意性地示出了具有OAHM的显示系统700的另一示例，所述OAHM具有三个分段718a1、718a2、718a3，每个分段还具有光焦度和不同的倾斜量(例如，被分段的OVADOE)，其中每个分段由此生成在不同角度位置对眼睛304成像的位于无穷远处的虚拟相机。尽管在图24E和24F中示意性地示出了三个分段，但是这是为了说明而非限制。在其他设计中，可以利用两个、四个、五个、六个、七个、八个、九个或更多个分段或者这些值中的任何值之间的任何范围。HOE的这些分段中没有一者、中的一些或全部可以具有光焦度。
在图24E和24F中，三个分段718a1、718a2、718a3被示出为跨光学元件706水平间隔开。在其他设计中，分段可以在光学元件706上竖直间隔开。例如，图24G示意性地示出了具有两个竖直间隔开的分段718a1和718a2的DOE 718，其中分段718a1包括被配置为将光反射回成像器702b的CLC离轴镜(其可以在与分段718a1相同的一般水平面中)，以及分段718a2被配置为朝向成像器702b向上反射光。类似于双焦透镜，图24G中所示的布置在以下方面是有利的：在佩戴者正透过HMD的上部部分向前看时，允许成像系统700使用来自上部分段718a1的由成像器702b获取的反射图像(示意性地经由实箭头线示出)，并且当佩戴者正透过HMD的下部部分向下看时允许成像系统700使用来自下部分段718a2的反射图像(示意性地经由虚箭头线示出)。
在其他设计中，可使用水平间隔的和竖直间隔的分段的混合。例如，图24H示出了具有3×3分段阵列的HOE 718的另一示例，每个分段包括CLC离轴镜。成像器702b可以从这些九个分段中的每一个获取反射数据，这些反射数据表示来自眼睛区域的不同区域和角度方向的光线。从眼睛区域传播到HOE 718并反射回成像器702b的两个示例光线被示出为实线和虚线。成像系统700(或处理模块224或228)可以分析来自多个分段的反射数据，以多观测仪地(multiscopically)计算眼睛的三维形状或眼睛的凝视方向(例如，眼睛姿势)。
利用分段的光学系统700的实现可以具有多个益处。例如，可以通过选择最适合特定任务的特定分段来单独使用这些分段，或者可以共同使用它们来多观测仪地估计眼睛的三维形状或姿势。在前一种情况下，该选择性可用于例如选择佩戴者的虹膜的图像，其中，虹膜具有通过眼睑或睫毛的至少遮挡。在后一种情况下，眼睛的三维重建可以用于估计取向(通过估计例如角膜的凸起的位置)或适应状态(通过估计例如瞳孔的表观位置上的透镜引起的变形)。尽管主要参考液晶偏振光栅(LCPG)来描述，但是在一些实现方式中，如以上参照图23-24H所描述的离轴反射器1150、708中的一个或多个可以采取其他类型的衍射光学元件/全息光学元件的形式。体积相位全息光栅和/或闪耀光栅或其他类型的衍射光学元件或全息光学元件可以被使用并且不需要局限于包括液晶的结构。如上所述，在一些设计中，以上参考图13A-13B描述的视网膜成像技术中的一个或多个可以通过利用以上参照图23-24H描述的离轴镜(OAM)配置中的一个或多个来执行。附加细节在2016年9月21日提交的标题为“EYE IMAGING WITH AN OFF-AXIS IMAGER(具有离轴成像器的眼睛成像)”的美国专利申请No.15/271,802且现为2019年11月5日公布的美国专利No.10,466,478、以及2018年2月22日提交的标题为“VARIABLE-FOCUS VIRTUAL IMAGE DEVICES BASED ON POLARIZATIONCONVERSION(基于偏振转换的可变聚焦虚拟图像装置)”的美国专利申请No.15/902,927中公开，其中的每一个通过引用整体并入本文。
本文描述的各种实现方式可以用于减少色差和/或增加一个或多个相机或成像器的视场。如上所述，相机或成像器可以偏离(off to)侧面，以及可能是面向前的(尽管可以是面向后的，例如，在使用附加的反射器的情况下)。如上所述，相机可以被设置偏离佩戴者的面部的侧面(向颞地(temporally))，并且可以被安装在用户的镜腿或耳朵附近(例如，在眼睛后面)以对眼睛成像。相机可以例如设置在眼镜的镜腿或耳杆上。相机可以在向前方向上比在向后方向上更多地指向。相机可以朝向佩戴者的前视野比朝向佩戴者的后方和/或朝向佩戴者的向后视野更多地指向。然而，如上所述，如果使用附加的反射器，则相机可以更多地面向后方。其他配置也是可能的。
相机可以被配置为对眼睛进行成像，例如眼睛和/或用户的眼睛的视网膜上的瞳孔、虹膜或闪光(glint)。光可以从眼睛朝向相机反射离开反射元件。反射元件可以设置在头戴式显示系统的目镜上(例如，覆盖在其上)。如上所述，目镜可以是透明的，使得佩戴者可以通过目镜看到用户前方的环境。然而，目镜可包括反射元件或反射表面。反射元件可以包括衍射光学元件，诸如衍射光栅或全息光学元件。反射元件可以包括例如液晶衍射光学元件，诸如胆甾型液晶衍射光学元件和/或液晶偏振光栅，尽管衍射或全息光学元件无需基于液晶并且不需要包括液晶。在一些实现方式中，反射元件可以是表面或体积衍射光学元件，并且可以包括闪耀光栅。光学特性可以被编程到衍射或全息元件中，诸如光焦度或倾斜。反射光学元件可以包括离轴反射光学元件或离轴镜(OAM)。在一些实现方式中，来自眼睛的光可以由反射元件接收、从其反射，例如远离反射元件的光轴朝向向颞定位的相机反射。入射角不需要等于作为衍射或全息光学元件的反射角。如上文所讨论的，衍射光学元件和/或全息光学元件可以以大于或小于入射角的光角度衍射。
如上文所提及，在一些实现方式中，反射元件或表面可包含光焦度。在一些情况下，该光焦度可以是正光焦度。反射元件或离轴镜中的光焦度可以增加相机的视场并且可能使得视网膜的更大区域能够被成像。
如上文所论述，在一些实现方式中，反射元件或离轴镜可被分段。图25A示意性地示出了包括具有多个被分段的反射元件的示例性照射系统700。在所示的实现方式中，反射元件718a1、718a2的分段可以在其光学特性方面是交替的。例如，第一组分段718a1可具有第一光学特性，而第二组分段718a2可具有不同于第一光学特性的第二光学特性。例如，第一组分段可以具有与第二组分段不同的倾斜量。因此，两个分段可以为相机提供眼睛的不同视角并且可能增加可以被成像的视网膜的区域。从第一分段的中心到相邻第二分段的中心的距离可为约0.5微米、约1微米、约1.5微米、约2微米、约3微米、约4微米、约5微米、约7微米、约10微米、约12微米、约15微米、约20微米、其间的任何值、或者落在具有这些值中的两个值作为端点的范围内。在一些实施例中，该距离为约1.5微米。这样的小距离可以允许眼睛的不同部分的同时图像，而没有图像保真度的显著损失。
反射元件可以包括光焦度。在一些实现方式中，第一组反射元件718a1的光焦度可不同于第二组反射元件718a2的光焦度，尽管在一些实现方式中，光焦度可相同。这种光焦度可能潜在地为在对用户的眼睛成像时提供相机的增加的视场(FOV)。附加地或替代地，反射元件718a1、718a2的倾斜量可以彼此不同。例如，第一组反射元件718a1可以衍射比第二组反射元件718a2更大量的光。这样的设计可以向相机提供眼睛的不同视角。从不同视角对眼睛成像可能是有益的，例如，以增加被成像的眼睛(例如，视网膜)的视场以及便于确定如本文所讨论的眼睛或其特征的位置。
附加地或替代地，一个或多个透镜(例如，具有正光焦度)可以设置在相机和眼睛之间，以捕获更大量的光和/或增加例如眼睛的视网膜的视场。例如，可能具有正光焦度的一个或多个透镜可以设置在眼睛和反射元件之间。在一些实现方式中，正光焦度可以被引入眼睛和反射元件之间。附加地或替代地，一个或多个透镜可以设置在反射元件和相机之间。在一些设计中，例如，如果反射元件具有光焦度，则可以将随机相位图案构建到系统中以减少反射元件中的球面像差。
如上所述，附加地或替代地，反射元件可以被分段成具有不同光学特性(诸如倾斜角度)的两个或更多个分段或部分。特别地，不同的分段可以具有不同的角度取向，并且因此提供眼睛的不同视角。例如，可以收集来自眼睛的不同视场和/或不同部分的光，并且通过不同的分段将光引导到相机。反射元件可以包括例如具有与两个分段不相同的光轴的反射衍射光学元件，例如，一个分段可以具有相对于另一分段而倾斜的光轴以提供不同的视角。可以包括两个分段或者可以包括两个以上的分段。如果包括两个以上的分段，则分段可以是具有不同取向的规则图案(例如，交替图案)。例如，第一多个分段718a1可以被配置为以第一角度(例如，以角度范围的第一平均角度或光束角度)将光反射到眼睛中和/或反射来自眼睛的光，以及第二多个分段718a2可以被配置为以第二角度(例如，以角度范围的第二平均角度或光束角度)将光反射到眼睛中和/或反射来自眼睛的光。在一些实现方式中，第一分段和第二分段可以反复重复，从而在第一分段和第二分段之间交替，并且因此在第一视角和第二视角之间交替。如果在反射元件中包括三个不同的分段，则三个分段也可以反复重复。也可以使用具有不同视角或光轴的较大数量的不同分段。在各种实现方式中，这些分段可以反复地按顺序重复。可替代地，可以使用更不规则的图案。被分段的光学元件(诸如被分段的反射器)可产生来自两个或更多个不同视角的图像数据，诸如与上述虚拟相机702c1、702c2和702c3中的两个或更多个虚拟相机的视角相似或相等的视角中的两个或更多个视角。
在本文公开的各种实现方式中，相机802可以相对于眼睛和/或目镜偏心地设置。相机802可以相对于眼睛，例如，眼睛的中心、或者甚至眼睛的边缘、或者头部的边缘而向颞地设置。相机802可以集成到照射系统700的框架中，诸如集成到镜腿或镜腿臂。在一些实现方式中，相机802可以设置在眼睛的前方的后面、眼睛的中心的后面或整个眼睛304的后面。在一些实现方式中，相机和/或眼睛304的中心或整个眼睛上方，并且在一些情况下可以在佩戴者的镜腿附近。相机可以面向前并且可以居中地或向鼻地(nasally)(例如，朝向鼻子)向内倾斜。因此，在一些实现方式中，一个或多个反射元件可以包括离轴反射器或离轴反射元件。来自眼睛的光可以由反射元件朝向相机所处的一侧向颞地引导。入射角不需要等于反射角。例如，从眼睛反射的光可以以更接近反射元件的法线的角度入射在反射元件上，并且可以以更远离反射元件的法线的较大角度被反射和/或衍射。
在一些设计中，一个或多个反射元件可以在目镜的前面或后面。反射元件可以例如包括用于目镜的盖。在一些设计中，反射元件集成在目镜中，例如，集成在目镜前部或后部上或集成在目镜内的其他地方。在一些实现方式中，反射元件本身可以包括多个层。例如，如图25B所示，一个或多个反射元件可以包括两个层或反射元件718a1和718a2。一个层或反射元件718a1可以比另一层或反射元件718a2更靠近眼睛304。例如，另一层或反射元件718a2可以比另一层或反射元件718a1更靠近眼睛304前方的世界。在一些实现方式中，第一反射元件718a1可被配置为将光以第一角度(例如，以角度范围的第一平均角度)反射和/或衍射到眼睛304中和/或反射和/或衍射来自眼睛304的光，并且第二反射元件718a2可被配置为选择性地将光以第二角度(例如，以角度范围的第二平均角度)反射到眼睛304中和/或反射来自眼睛304的光。然而，在一些实现方式中，第一或第二层或者第一或第二反射元件718a1和718a2朝向相同方向和/或位置反射光，例如朝向相机。在一些实现方式中，第一或第二层或者第一或第二反射元件718a1和718a2接收来自不同角度的光，例如，接收来自不同位置的光，并将光引导到至少一个相机，所述至少一个相机可相对于眼睛(例如，眼睛的中心或眼睛的颞侧边缘)被向颞地定位，并且可例如设置在镜腿臂上。通过收集来自不同方向或位置的光，第一或第二层或者第一或第二反射元件718a1和718a2可增加相机的视场并促进对视网膜的不同部分成像。
多个反射元件可以反射和/或衍射相同或不同波长的光。例如，在一些实现方式中，第一反射元件718a1和第二反射元件718a2可以对应于第一层和第二层，并且可以被配置为选择性地反射例如第一和第二相应波长的光。第一反射元件718a1和第二反射元件718a2中的每一个可以被配置为以对应的角度或角度范围反射和/或衍射光，例如，以第一角度和第二角度(例如，以相应的第一和第二角度范围或光束的第一和第二平均角度或光束角度)。例如，第一反射元件718a1可被配置为以第一角度(例如，以第一角度范围或第一光束的第一平均角度或光束角度)选择性地反射和/或衍射大部分第一波长的光，并且选择性地透射大部分第二波长的光，而第二反射元件718a2可以被配置为以第二角度(例如，以第二角度范围或第二光束的第二平均角度或光束角度)选择性地反射和/或衍射大部分第二波长的光，并且选择性地透射大部分第一波长的光。然而，在一些实现方式中，第一反射元件718a1将第一波长范围的光朝向相机反射，并且第二反射元件718a2将第二波长范围的光朝向相机反射。光被引导的方向不需要是不同的。在不同设计中可以包括两个以上的选择性反射其他不同波长的此类反射元件。如上所述，不同的反射元件或层可以接收来自不同方向和/或位置的光，并且以不同的量将他们两者衍射到相机。以这种方式，可以对视网膜的不同部分成像和/或可以增加视场。
增加相机802的视场的另一种方式是包括多个相机，相应的相机被配置为对眼睛的不同部分和/或从不同角度对眼睛的相同部分成像。图26示出了示例照射系统700，其包括被配置为对眼睛304成像的第一相机802a和第一相机802b。如图所示，相机802a、802b彼此分隔开距离d。在一些实现方式中，距离d可以类似于眼睛304的瞳孔的周长。例如，距离d可以是约0.5mm、约1mm、约1.5mm、约2mm、约3mm、约4mm、约5mm、约7mm、约10mm、约12mm、约15mm、约20mm、其间的任何值、或落入具有这些值中的两个值作为端点的范围内。在一些实施例中，d为约4mm。在一些实施例中，一个或两个相机802a、802b被设置为距反射元件718(或元件/层，参见上文)上的点一距离h1。第二点可以与眼睛304的瞳孔间隔开距离h2。距离h2可为约0.5cm、约1cm、约1.5cm、约2cm、约3cm、约4cm、约5cm、约7cm、约10cm、其间的任何值、或落在具有这些值中的两个值作为端点的范围内。其他值也是可能的。位于不同位置的相机802a和802b可以从不同视角对眼睛成像，从而可能地提供视网膜的不同部分的图像。在一些情况下，与仅使用相机中的一个相机相比，两个相机802a、802b在聚合中提供更大的视场。
为了辅助对眼睛进行成像(这可以使用各种不同的布置来实现并用于各种原因)，可以提供对眼睛的照射。在一些实现方式中，可以包括一个或多个照射源以照射眼睛。照射源可以包括诸如固态发射器的发射器。照射源可包括竖直腔表面发射激光器(VCSEL)和/或LED。例如，一个或多个VCSEL可以用于照射眼睛中的一个，在一些情况下，所述一个或多个VCSEL可以提供明亮的窄带照射的源。在一些实现方式中，可以采用VCSEL的阵列。图27A示出了示例照射系统700，其包括耦合到相机802和/或与相机802集成的VCSEL阵列2704。VCSEL阵列2704可以以一波长或本文所述的波长(诸如在红外范围内)发射照射光2708。VCSEL可以通过发射窄带波长来提供特定益处。该特征可以减少在成像期间产生的例如来自以下元件的色差量：包括衍射光学元件或全息光学元件的反射元件，诸如基于液晶的衍射光学元件，诸如胆甾型液晶衍射光学元件或液晶偏振光栅。VCSEL也提供相对高的亮度，同时具有相对小的占地面积。因此，一个或多个VCSEL可以被设置(例如，安装)在相机上或集成在其中(例如，如图27A所示)或被设置在多个相机(诸如一对相机)之间。可以与相机或多个相机集成的VCSEL的数量和布置可以变化。在一个实现方式中，九个VCSEL可以被包括在两个相机中。例如，八个VSCEL可包围两个相机或至少两个相机的输入。一个VCSEL可以在两个相机之间。更多或更少的VCSEL和/或相机可以集成在一起。在一些实现方式中，可以使用20个VCSEL的阵列。VCSEL可以包括一个或多个透镜以对光束的输出进行成形。VCSEL和/或相机可以相对于目镜、眼睛(例如，眼睛的中心或眼睛的颞侧)而被向颞地包括，并且可以例如被安装在诸如镜腿或镜腿臂的框架上。
在一些实现方式中，VCSEL被成像在眼睛的前方(例如，形成VCSEL的放大图像)。在一些情况下，来自VCSEL的发散光可以在视网膜上创建光斑。在一些实现方式中，多个或阵列中的不同VCSEL在眼睛前方创建照射图案(例如，相同的照射图案)。来自不同VCSEL的光可以例如以相同入射角入射在反射元件/离轴镜上。一个差异(例如，主要差异)可以是照射源(例如，VCSEL)被转换到不同的横向位置，其可以覆盖眼箱(eye box)的不同部分。在一些设计中，VCSEL阵列的不同部分(例如，不同VCSEL)可以被打开和关闭或者以其他方式具有被改变的其输出的强度。同样，VCSEL阵列的不同部分可以相对于眼睛位置而打开。被配置为控制VCSEL的输出的电子器件可以用于选择性地调整不同的像素的输出(例如，打开和关闭)。
附加地或替代地，一个或多个VCSEL可以设置在反射元件718上和/或集成到反射元件718中(例如，如图27B所示)或者设置在目镜或在目镜上设置或与目镜集成的一个或多个层(例如，基板)上和/或与目镜或上述层集成在一起。例如，在一些实施例中，VCSEL 2704可以设置在目镜的第一层中，并且反射元件718包括第二层。如图27B所示，VCSEL 2704可以比反射元件718更靠近眼睛304来设置，反之亦然。在一些实现方式中，VCSEL 2704被设置在盖、覆盖层或覆盖玻璃层上。其上可以设置VCSEL的层可以对至少一些可见光是透明的，使得佩戴者可以透过该层看到佩戴者前方的世界。在一些实现方式中，在一些实施例中，VCSEL 2704可以设置在反射元件718上。其他设计也是可能的。在一些实现方式中，VCSEL2704可以被包括在VCSEL阵列中，诸如1D或2D阵列。在各种实现方式中，例如，无论VCSEL是否安装在反射元件718或另一层上，VCSEL可以具有小的尺寸(例如，如从VCSEL的输出端看到的占地面积或横截面面积)，并且可以充分间隔开，使得佩戴者可以透过该层看到佩戴者前方的世界。
如上所述，反射层718可以包括衍射光学元件或全息光学元件，诸如光栅。在一些实现方式中，衍射光学元件或全息光学元件可以包括液晶，诸如液晶光栅(例如，液晶偏振光栅)，并且可以包括胆甾型液晶，例如胆甾型液晶光栅。在一些实现方式中，衍射光学元件或全息光学元件可以包括体积或表面衍射光学元件或全息光学元件或光栅，诸如闪耀衍射光学元件或全息光学元件，例如闪耀光栅。如上所述，反射层718可以包括离轴镜或反射元件。来自眼睛的光可以被反射到相机，该相机相对于眼睛(例如眼睛的中心或眼睛的颞侧边缘)向颞地定位。例如，相机可以设置在镜腿或镜腿臂上。在一些实现方式中，入射角不等于反射角。在一些实现方式中，反射元件包括光焦度(和/或倾斜)，其可以例如被编程到衍射或全息光学元件中。
在一些实现方式中，不管设置的何处，VCSEL可以包括设置在其上和/或从VCSEL输出的光的路径中的一个或多个光学元件，诸如透镜、偏振器(例如，线性偏振器)、延迟器(例如，四分之一波长延迟器)或任何组合。在一些实现方式中，来自VCSEL(可能穿过透镜)的光可以具有小于±20°、±15°、±10°、±5°、±1°或这些值中的任何值之间的任何范围的发散度。在一些设计中，可以诸如利用脉冲宽度调制(PWM)来对一个或多个VCSEL进行调制，这减少相干伪影，诸如激光斑点。调制可以减少VCSEL的时间相干性。因此，可以包括电子器件以调制VCSEL或其他固态发射器。另外，在包括多个VCSEL的配置中，可以使用例如对VCSEL供电和/或控制的电子器件来改变(例如打开或关闭)不同VCSEL的输出。
在各种设计中，相机可以被配置为在减少对从角膜反射的光的收集的同时对视网膜成像。来自角膜的闪光可以例如引入使视网膜成像更困难的眩光。(关于附加的公开内容，参见例如以上关于图15B的讨论)。在一些实现方式中，眼睛可以用偏振光照射，并且相机可以被配置为使该偏振的光衰减。例如，如果照射源不被配置为输出适当偏振的光，则例如第一偏振器(例如，第一线性偏振器)可以设置在照射源(例如，VCSEL)上或集成到该照射源中。另外，一个或多个偏振器(例如，线性偏振器)可以设置在相机和用户的眼睛之间。例如，第二偏振器可以设置在相机和反射元件之间，例如，在相机处。在一些配置中，第二偏振器安装在成像装置上。从镜面反射角膜表面反射的光将保持其入射偏振，例如光源的第一偏振。相反，从漫反射视网膜反射的光将不保持其偏振，但是从漫反射视网膜散射的光将包括多个偏振，第一偏振以及正交的第二偏振两者。同样，可以使用诸如在相机处的阻挡第一偏振的光的线性偏振器的偏振器，以阻挡从角膜反射的镜面光。然而，从视网膜漫反射的一些光将包括第二正交偏振并且将到达提供视网膜的图像的相机，其中来自从角膜反射的光的眩光减少。相机处的偏振器可以是透射或反射偏振器。在VCSEL被定位成使得来自VCSEL的光从反射元件反射到眼睛的一些实现方式中，VCSEL不需要包括偏振器，例如线性偏振器。例如，VCSEL可以相对于眼睛(例如，眼睛的中心或眼睛的颞侧边缘)被向颞地安装，诸如被安装在镜腿或镜腿臂上，可能与相机一起安装。在一些设计中，反射元件可以包括偏振选择性，并且诸如在反射元件包括液晶(例如，液晶偏振光栅)时作为线性偏振器来操作。然而，如上所述，反射元件718可以包括诸如闪耀光栅的表面光栅，并且VCSEL可以包括一个或多个偏振器(例如，线性偏振器)，以在VCSEL不输出偏振光(例如，线性偏振光)的情况下使光偏振。
在一些设计中，为了减少由反射元件或离轴镜引入的色差的影响(例如，如果反射元件包括衍射光学元件，诸如具有光焦度的衍射光学元件)，可以提供附加的校正衍射光学元件，以引入抵消色散。图28A和图28B示出了包括校正衍射光学元件2804的照射系统700的各种示例布置。如图28A和图28B所示，校正衍射光学元件可以设置在相机802与反射元件718之间(例如，作为相机与反射元件之间的单独反射器，或作为与反射元件集成的附加的衍射光学元件)。衍射光学元件2804可被配置为校正、减少或抵消来自反射元件的色差。在一些实施例中，校正衍射光学元件2804包括全息或衍射光学元件，其可以用合适的色散来编程以抵消或减少反射光学元件718的色差。校正衍射光学元件2804可以是透射的或反射的。在一些实现方式中，校正衍射光学元件2804具有与反射元件718类似或相同的节距(pitch)。在一些实现方式中，诸如折射光学元件2808(例如，一个透镜或多个透镜)的一个或多个附加的有焦度的光学元件可以设置在相机和反射元件之间(例如，如图28A和图28B中所示)和/或在反射元件和用户的眼睛之间，诸如在反射元件具有光焦度的实现方式中。该附加的有焦度的光学元件2808可以被配置为例如具有光焦度并且被定位成在某些设计中增加到衍射光学元件和/或相机上的光的准直。
在一些实现方式中，分束器2812(其可以包括部分反射部分透射光学元件)可以被包括在照射系统700中。在一些实现方式中，分束器包括50/50分束器。分束器2812可以具有以上关于图12C描述的部分反射元件的一个或多个特性。分束器2812能够被配置为透射图像光2710，同时还将一些照射光2708反射回到衍射光学元件2804。进入相机802的所得光可以是图像光2710和照射光2708的组合。
在一些设计中，多个相机(例如，彼此横向偏移的两个相机或相机阵列)可用于捕获眼睛的图像。因此，尽管可以在本文中使用对“相机”、“成像装置”或“成像器”的引用，但是这些装置中的每一个可以指代多个这样的装置。例如，第一相机可以对眼睛的第一部分成像并且第二相机可以对眼睛的第二(重叠或非重叠)部分成像。可提供眼睛的多个视角和/或多个图像的多个相机能够增加系统的成像能力的视场。如下所述，来自多个视角的图像可以用于提供关于眼睛的信息，诸如位置。还可以获得其他类型的信息，诸如凝视、移动等。在一些情况下，眼睛的第一部分和第二部分的图像可以用于改善可以对眼睛成像和/或可以跟踪眼睛的凝视、位置、移动或其任何组合的准确度和/或速度。以上参考图26可以找到多个相机的附加细节。
尽管本文已经提供了采用VCSEL的各种设计，但是可以替代地在这样的设计中使用其他类型的发射器，诸如其他类型的固态发射器，并且该其他类型的发射器可以具有类似的特征、配置和布置。
在一些设计中，多个相机(例如，彼此横向偏移的两个相机或相机的阵列)可用于捕获眼睛的图像。因此，尽管可以在本文中使用对“相机”、“成像装置”或“成像器”的引用，但是这些装置中的每一个可以指代多个这样的装置。例如，第一相机可以对眼睛的第一部分成像并且第二相机可以对眼睛的第二(重叠或非重叠)部分成像。可提供眼睛的多个视角和/或多个图像的多个相机能够增加系统的成像能力的视场。眼睛的第一部分和第二部分的图像可以例如用于改善可以对眼睛成像和/或可以跟踪眼睛的凝视、位置、移动或其任何组合的准确度和/或速度。
确定眼球中心的位置
上文所描述的各种成像系统可用于捕获可用于确定眼睛的位置或眼睛的一部分或特征(诸如头戴式显示器的用户的眼球中心的位置)的图像。已知眼球中心或眼睛的旋转中心可能对于向用户呈现关于增强现实和虚拟现实的图像内容是有用的。在一些实现方式中，例如，从眼睛的旋转中心的有利点呈现图像内容，该有利点例如为对图像内容进行成像的相机的位置。旋转中心或眼球中心的其他用途也是可能的。在本文中描述的一些实现方式中，视网膜成像系统可用于确定眼睛的位置和/或跟踪眼睛凝视。这些成像系统可以包括被配置为从各种角度和/或距离捕获用户眼睛的视网膜的不同部分的图像的多个相机。在一些实现方式中，视网膜(例如，视网膜的不同部分)的一个或多个图像可以用于确定用户眼睛的中心瞳孔(在本文中称为瞳孔中心)的三维(3D)位置。在一些这样的实现方式中，瞳孔中心的3D位置可以用于估计用户眼睛的中心(在此称为眼球中心)的3D位置。瞳孔中心和眼球中心的3D位置可以相对于例如用于捕获视网膜的图像的多个相机的参考系来估计或确定。
在一些实现方式中，多个相机可以从不同的视角获得视网膜的图像，并且使用相应图像中的信息和/或相机的相对位置来确定瞳孔中心的位置。在一些实现方式中，可以基于从视网膜的图像中提取的信息对瞳孔中心的位置进行三角测量。在一些其他实现方式中，一个相机可以获得包括与视网膜的不同视角相关联的区域或部分的视网膜的图像。在这些实现方式中，可以基于从视网膜的图像的不同部分或区域提取的信息对瞳孔中心的位置进行三角测量。
在一些实现方式中，系统可以包括处理电子器件(例如，控制器560)，该处理电子器件被配置为识别与用户眼睛的视网膜的一部分对应的不同图像的一部分。例如，可以选择包含血管的图像的一部分，并且将其与用户眼睛的视网膜的映射(在本文中称为“视网膜映射”)进行比较，以通过比较对应的血管形状和/或布置来验证图像中所选择的部分与视网膜映射中的区域相匹配。用户眼睛的视网膜的映射或视网膜映射可以由HMD的计算系统在校准过程期间生成。在这样的校准过程期间，可以在捕获视网膜的图像的同时，经由显示器向眼睛呈现多个不同空间定位的目标。目标位于用户的视场的不同部分中，使得用户改变他们眼睛的凝视方向。当眼睛处于提供视网膜的不同视野的不同凝视位置时，捕获视网膜的图像，从而使得能够捕获视网膜的不同部分的图像。
在一些实现方式中，在校准过程期间，HMD的计算系统还可以基于从不同视角捕获的不同视网膜图像与对应的凝视方向的关联来计算和/或生成凝视方向映射矩阵。在眼睛的视网膜被成像以确定眼睛的瞳孔中心的位置时，可以使用凝视方向映射矩阵来估计眼睛的凝视方向。随后，可以使用估计的凝视方向来计算眼球中心的位置。
可以在视网膜的图像中识别视网膜的一部分，并且可以计算所识别的视网膜部分的质量中心(或质心)。如果采用多个(例如，两个)相机，则针对在相应相机的不同图像中识别的相同视网膜部分来确定质量中心(或质心)值。处理电子器件(例如，HMD的计算系统)可以使用质心或与其相关联的一个或多个位置或距离，来可能地使用三角测量技术确定瞳孔中心的位置。在一些实现方式中，系统还可以至少部分地基于所确定的瞳孔中心的位置或通过使用这些技术确定的其他参数来确定眼球的中心或眼球中心(EBC)或眼睛的旋转中心的位置。
这些技术可以附加地或替代地与单个相机配置一起使用。例如，相机可以在不同时间获得眼睛的多个图像。基于这些图像，系统可以确定瞳孔中心的位置。附加地或替代地，相机可以基于从诸如被分段的反射元件的被分段的光学元件获得的一个或多个图像来确定瞳孔的位置。例如，本文公开了各种设计，其中系统能够捕获包括从两个或更多个不同视角获得的视网膜的部分的图像。例如，一些这样的设计采用被分段的光学元件，诸如被分段的反射元件(其中不同的分段提供不同的倾斜、反射角、衍射角和/或视角)。在一些示例中，被分段的光学元件或被分段的反射元件可以是离轴折射元件，其以与光的入射角不同的反射角反射入射在元件上的光。类似地，如果多个视角由具有不同倾斜的多个反射元件提供，诸如反射不同相应波长并且具有不同倾斜或取向和视角的反射元件，则可以基于所获得的相应不同图像来采用本文描述的三角测量技术。如上文所讨论的，具有在相同或不同波长上操作的不同倾斜的多个反射元件可以被包括在目镜中或与目镜相关联，其中一个比另一个距离眼睛更远。这些反射元件可以包括具有被编程到DOE或HOE中的不同倾斜量的衍射光学元件(DOE)或全息光学元件(HOE)。在这种情况下，倾斜是指由于衍射的光束的偏转。衍射或全息特征(诸如光栅的线)被配置为例如彼此成形和间隔开，以使入射在其上的光以与光束的倾斜类似的角度重定向。这种倾斜不需要由倾斜表面产生，而是可以通过干涉地和/或经由衍射产生。在一些实现方式中，可以采用双相机配置来从所述两个视角提供视网膜的图像。这些图像对可用于确定眼睛的特征，诸如瞳孔位置和眼球中心的定位。在本文描述的各种实现方式中，采用被分段的光学元件，诸如被分段的反射器。这样的被分段的光学元件可以包括具有由不同衍射区域形成的分段的衍射光学元件。另外，本文所述的反射光学元件可包括反射表面。然而，反射光学元件可经由体积效应产生反射。例如，体积全息或体积衍射光学元件可以是反射性的并且是反射光学元件。其它类型的反射光学元件也是可能的。
在各种实现方式中，可以采用眼睛的视网膜的图像的质量中心(或质心)与用于捕获视网膜的图像的图像传感器或传感器场的中心之间的横向距离来确定瞳孔中心与传感器或传感器场的中心之间的横向距离以及瞳孔中心与相机透镜(或成像系统)的光学中心之间的纵向距离之间的比率。在一些情况下，例如，传感器或传感器场的中心可以由相机透镜或成像系统的中心(例如，通过其光轴)来确定。在其他实现方式中，可以使用除了传感器或传感器场的中心之外的其他参考点。
图29示出了用于捕获可用于确定眼睛的瞳孔中心相对于诸如相机的坐标系的参考坐标系的位置的眼睛的视网膜的图像的示例配置。相机2910可以是无穷远聚焦的相机。在无穷远聚焦的相机可以提供能够在来自视网膜的光被眼睛的自然晶状体准直时对视网膜成像的优点；然而，在无穷远聚焦的相机将不会带来聚焦特征，诸如睫毛或眼睑。相机2910可以包括具有焦距或有效焦距f2的透镜系统2909(例如，一个或多个透镜)和图像传感器2911(例如，与包括多个光敏像素或光敏像素阵列的CCD传感器类似的传感器阵列)。在各种设计中，图像传感器2911可以平行于透镜系统2909的图像平面。透镜系统2909将眼睛210的视网膜211的一部分图像投射在图像传感器2911上，例如，投射到像素阵列上。在传感器2911上成像的视网膜的该部分可以取决于眼睛210和相机2910之间的相对距离和取向、眼睛210的光学孔径(通过其对视网膜211成像)的大小(例如，瞳孔2902的直径)、透镜系统2909的孔径(D2)的大小、透镜系统2909的焦距、以及眼睛210的晶状体的焦距中的一个或多个。至少在一些情况下，图像传感器上的图像的大小和位置可以取决于透镜系统2909的光学中心与瞳孔中心2903之间的横向距离(L)和纵向距离(h)。为了说明的目的，图29示出了延伸到可以被投射在图像传感器上的视网膜的部分的界限(margin)的光线。在图29所示的示例中，第一射线2906的位置由瞳孔2902的第一边缘和透镜系统2909的孔径的第一边缘来限定，以及第二射线2904的位置由瞳孔2902的第二边缘和透镜系统2909的孔径的第二边缘来限定。在图像传感器2911上的对应射线2904和2906的投射在图29中示意性地示出为限定在图像传感器2911上的所投射的图像的界限。在一些示例中，其原点位于透镜系统2909(其是相机2910的部分)的光学中心处的坐标系可以用于找到f2、D2、D1、所投射的图像的界限的横向位置以及瞳孔中心相对于相机2910的横向位置和纵向位置之间的关系。在所示的示例中，xyz坐标系的原点位于透镜系统2909的光学中心2908处，x轴(被示出)和y轴(纸外)平行于图像传感器2911的图像平面，以及z轴(被示出)垂直于图像平面。关于这样的坐标系，投射到传感器2911的图像平面上的图像的界限的横向距离(例如，x坐标)可以由下式给出：
其中Xa和Xb是在图像传感器2911上的所投射的图像(例如，视网膜的图像)的第一界限和第二界限的x坐标，h是瞳孔中心的z坐标，L是瞳孔中心的x坐标，D1是透镜系统2909的孔径(例如，入口孔径)的直径，以及D2是眼睛的孔径(例如，瞳孔2902的直径)的直径。
图29所示的配置在光学上等同于成像系统24A，其中相机(例如，相机702b)面向前(例如，在眼睛视觉的方向上)，并且经由定位在眼睛211和相机前方的反射光学元件(例如，离轴镜708或离轴衍射元件、离轴全息镜)来捕获视网膜211的图像。在这样的配置中，相机2910可以是面向前的相机或如以上关于图24A所描述的虚拟相机的虚拟图像(例如，图24B中的虚拟图像702c)。因此，式子1和2可用于相对于与对应的虚拟相机相关联的坐标系来确定在面向前的相机的图像传感器上形成的图像(由反射光学元件形成的面向前的相机的虚拟图像)的界限。
在一些情况下，Xa和Xb可用于确定在图像传感器2911上形成的视网膜的图像的质量中心的坐标(例如，x坐标)：
式子3示出了对于给定值的f2(透镜系统2909的有效焦距)，可以使用图像的质量中心XCM的x坐标来计算比率L/h。在图像传感器2911上形成的图像(视网膜的图像)的质量中心XCM的x坐标可以通过测量图像的界限(例如，x方向的极限界限)与图像传感器2913的中心之间的距离来确定，其中，图像传感器2913的中心例如通过图像平面(或传感器平面)与z轴(或透镜系统2909的光轴)之间的横截面来限定。也可以采用测量质量中心的其他方法。因此，L/h可以由与被相机2910捕获的视网膜的图像相关联的图像数据唯一地确定。
在一些实现方式中，在相对于眼睛210的不同位置处的两个相机可以捕获视网膜211的两个图像，其中来自相应相机的图像对应于从不同角度观看的视网膜的不同视角；因此，可以分别针对来自两个相机的所捕获的图像来测量不同的质量中心。在一些情况下，质量中心可以是相对于基于两个相机的位置限定的联合(joint)坐标系，然而其他方法是可能的。由于式子3对于两个图像的质量中心是有效的，因此可以使用针对来自两个相机的两个相应图像计算的两个质量中心的坐标来唯一地确定L和h的值。因此，各种配置可以使用从不同角度或视角捕获的视网膜的两个图像，以确定瞳孔中心可能相对于用于捕获图像的相机(或对应的虚拟相机)的联合坐标系的3D位置(即，L和h)。
如上所述，在一些实现方式中，单个虚拟相机(例如，相机2910)可以从两个不同的视角或方向接收来自视网膜211的光线。例如，成像系统(例如，图24F或24H中所示的成像系统)的面向前的相机702b可以经由被分段的光学元件(诸如被分段的反射(或衍射)光学元件(例如，具有多个离轴反射/衍射分段的反射/折射元件))对眼睛的视网膜成像。因此，相机702b可经由被分段的反射光学元件的不同分段来接收视网膜的多个(例如，部分重复的)图像，其中不同的图像被从不同的方向接收并且对应于经由瞳孔看到的视网膜的不同视角。在这样的成像系统中，被分段的反射光学元件可以生成多个虚拟相机。使用由反射光学元件的两个分段生成的至少两个虚拟相机，可以从不同的视角捕获视网膜的两个图像，并且该两个图像用于确定瞳孔中心的3D位置。由两个虚拟相机捕获的图像可以被包括在由实际单个相机捕获的单个图像中(例如，它们可以是单个图像的两个区域或部分)。成像光学器件(例如，相机上的一个或多个透镜和/或反射光学元件，其可以被提供有焦度)可以在传感器阵列的不同部分上对视网膜的相同部分成像。可以例如如上所述确定视网膜的那些部分的质量中心的位置，以计算眼睛的位置，例如瞳孔的位置。所评估的视网膜的分段和/或视角和/或部分的数量可以变化，并且更具体地，可以在不同的实现方式中大于两个。其他变型是可能的。例如，如上所述，被分段的反射光学元件可以包括多组反射或衍射分段，其中不同组具有不同的相应倾斜(例如，或衍射特性)以提供视网膜的不同视角和视图，如图25A所示。
如上所述，一旦确定瞳孔中心的3D位置，就可以使用瞳孔中心的3D位置和例如在校准过程期间确定的凝视方向映射矩阵来计算眼球中心(EBC)的3D位置。
图30示出了用于从两个不同视角捕获视网膜211的两个图像的配置的示例。在该示例中，可以使用两个相机来捕获视网膜211的两个图像。第一相机可以包括第一光学成像系统或第一透镜系统或第一相机透镜3009a和第一图像传感器3011a，第二相机可以包括第二光学成像系统或第二透镜系统或第二相机透镜3009b和第二图像传感器3011b。在一些示例中，第一相机3010a和第二相机3010b可以是相同的。在一些示例中，第一相机和第二相机可以是无穷远聚焦的相机(相机被设置成聚焦在距图像传感器平面的无穷远距离上)。例如，图像传感器可以被设置为远离相机透镜一焦距。在一些这样的示例中，第一和第二透镜系统的焦距可以等于f2。在一些实现方式中，第一相机3010a和第二相机3010b可以是虚拟相机。在一些这样的实现方式中，第一相机3010a和第二相机3010b可以是与两个面向前的相机相关联的虚拟相机(例如，由诸如离轴镜或离轴衍射元件的反射光学元件生成的一个或多个面向前的相机的镜像)。在一些这样的实现方式中，第一相机3010a和第二相机3010b可以是与单个相机相关联的虚拟相机，并且可以由被分段的反射光学元件生成(例如，由离轴镜或离轴衍射元件生成的一个或多个面向前的相机的镜像；类似于图24F所示的示例)。
在图30所示的示例中，第一相机3010a和第二相机3010b并排定位，使得它们的图像传感器3011a/3011b(以及因此的图像平面)彼此平行。在一些情况下，第一和第二图像传感器3011a/3011b可以在同一平面中。在一些示例中，可以限定联合参考系(坐标系)xyz，其原点位于与图像传感器(图像平面)平行的平面上并且位于第一透镜系统的第一光学中心3008a与第二透镜系统的光学中心3008b之间的中间点处。例如，第一光学中心3008a的x坐标可以是+D/2，第二光学中心的x坐标系可以是-D/2，从而导致两个光学中心3008a/3008b之间沿着x轴(被示出)的总距离D。xyz坐标系(y进入纸)的x-y平面可以平行于图像传感器。第一图像传感器3011a的中心3016a可以被限定为第一透镜系统或第一相机透镜的光轴与第一图像传感器的图像平面的交点，第二图像传感器3011b的中心3016b可以被限定为第二透镜系统或第二相机透镜的光轴与第二图像传感器的图像平面的交点。在一些实现方式中，可以选择其他联合坐标系或联合参考系或者其他坐标系或参考系。例如，联合坐标系的原点可以更靠近一个相机和/或在图像传感器3011a/3011b且在光学中心3008a/3008b之间。
第一透镜系统3011a可以从第一视角在第一图像传感器3011a上投射视网膜211的第一图像。第二透镜系统3008b可以从第二视角在第二图像传感器3011b上投射视网膜211的第二图像。在一些示例中，可以分别从第一图像传感器3011a的中心3016a和第二图像传感器3011b的中心3016b测量视网膜的第一和第二图像的质量中心的位置。在一些其他示例中，可以分别从第一图像传感器3011a上的第一参考点和第二图像传感器3011b上的第二参考点测量视网膜第一和第二图像的质量中心的位置。因此，在某些实现方式中，除了图像传感器的中心之外，还可以使用其他参考点。在所示的示例中，X1和Y1是相对于第一图像传感器3011a的中心3016a的第一图像3014a的质量中心的x和y坐标，X2和Y2是相对于第二图像传感器3011b的中心3016b的第二图像3014b的质量中心的x和y坐标。在一些其他示例中，X1和Y1可以是相对于第一图像传感器3011a的中心3016a的第一图像3014a的所选择的部分的质量中心的x和y坐标，X2和Y2可以是相对于第二图像传感器3011b的中心3016b的第二图像3014b的所选择的部分的质量中心的x和y坐标。在一些这样的示例中，可以基于视网膜图案来选择第一图像和第二图像3014a/3014b的部分(例如，每个部分可以包括特定视网膜图案)。在一些情况下，视网膜图案可以与视网膜的一个或多个血管相关联。所选择的部分可以具有任何形状(例如，矩形、圆形、三角形、多边形等)。使用式子3，第一图像3014a和第二图像3014b的质量中心的x坐标可以表示为：
类似的式子可以将Y1和Y2与f2、D/2、Ly和h相关。这里，Lx、Ly和h是瞳孔中心相对于联合xyz参考系的x、y和z坐标的。使用式子3、4以及针对Y1和Y2的类似式子，可以根据第一图像和第二图像的质量中心的测量坐标、f2和D来计算瞳孔中心相对于联合参考系的3D坐标：
D和f2的值可以是已知的并且被存储在HMD的计算系统的存储器中(例如，在制造期间)。在一些实现方式中，计算系统可以使用从两个不同视角捕获的视网膜的两个图像来计算X1、X2、Y1和Y2。使用计算出的X1、X2、Y1和Y2的值以及已知的D和h的值，计算系统可以通过使用式子5、6和7计算Lx、Ly和h来确定瞳孔中心的3D位置。在一些实现方式中，可以采用更多的图像，例如以增加准确度。
在上述示例中，可以识别图像的一部分，诸如血管的特定可识别布置，并且该部分可以在多个图像中被识别。可以在计算中使用该部分的质量中心。
在一些实现方式中，Xi和Yi(i＝1,2)可以是被投射在图像传感器上的整个视网膜图像的质量中心的x-y坐标。这样的图像的边界可以由相机(例如，相机的透镜系统)的孔径和/或其视网膜被成像的眼睛的瞳孔的直径来确定或限制。在一些示例中，图像可以具有圆形或椭圆形边界，并且质量中心可以位于圆形或椭圆形的中心处。在一些情况下，这样的图像的边界可能不是尖锐的。然而，可以例如通过将圆形、椭圆形、多边形或其他形状拟合到更模糊的图像边界来确定尖锐边界。
在一些实现方式中，单个相机可用于从两个不同视角捕获视网膜的一部分。在这样的实现方式中，相机可以是面向前的相机，其经由被分段的反射元件捕获视网膜的图像。如上所述，例如，关于图24E、24F和24H，被分段的反射元件(例如，被分段的离轴镜或被分段的离轴全息镜)可以在不同的角度位置处生成虚拟相机(即，单个相机的虚拟图像)并且由此使得能够捕获与视网膜的不同相应视角或视野相关联的视网膜的多个视图。在一些示例中，反射光学元件的不同分段可以在相机的图像传感器的不同区域上投射视网膜的不同视角。在各种实现方式中，可以基于例如血管的图案(例如，它们的形状、大小、布置或其任何组合)来识别所成像的视网膜的一部分。在一些示例中，反射和/或衍射光学元件的不同分段可以在相机的图像传感器的不同区域上投射视网膜的不同视角。因此，可以在具有这种血管图案的成像时识别多个部分，因为相机经由两个不同的分段从两个视角对视网膜的该部分和相关联的血管图案进行成像。可以确定这两个位置中的该图案的质量中心，以获得X1、Y1和X2、Y2。在一些实现方式中，这些部分由多边形或其他边界限定框架(framed)，并且在计算中使用该框架的质量中心。其他方法也是可能的。当单个相机与两个反射或折射或衍射元件(可能对于相同或不同的波长)一起使用时，可以采用类似的过程，这些元件引入不同的倾斜量以将来自视网膜的不同部分的光投射到相机。在一些示例中，两个反射或衍射或折射光学元件可以是离轴反射或衍射或折射光学元件。
类似地，在被分段的反射(或衍射或折射)元件与单个相机一起使用的情况下，Xi和Yi(i＝1,2)可以是经由两个分段投射在图像传感器上的整个视网膜图像的质量中心的x-y坐标。如上所述，这样的图像的边界可以由相机(例如，相机的透镜系统)的孔径和/或其视网膜被成像的眼睛的瞳孔的直径来确定或限制。在一些示例中，该图像可以包括在某种程度上重叠或合并的两个圆形或椭圆形边界。质量中心或质心仍可位于可辨别的圆形或椭圆形形状的中心。如上所述，在一些情况下，这样的图像的边界可能不是尖锐的。然而，可以例如通过将部分圆形、椭圆形、多边形形状拟合到更模糊的图像边界来确定尖锐边界。当单个相机与两个反射(例如，衍射)元件(可能对于相同或不同的波长)一起使用时，可以采用类似的过程，这些元件经由衍射引入不同的倾斜量，以例如通过将来自视网膜的不同部分的光引导到同一相机来提供视网膜的不同视角。
在一些实现方式中，多个图像可以由第一相机和第二相机(或由单个相机与反射或衍射光学元件(诸如离轴镜，其包括具有不同的倾斜量的多个分段以提供不同视角)的组合、或者单个相机与提供不同的倾斜量的多个反射元件的组合)捕获，以计算针对Lx、Ly和h的多个值(每个值与由不同相机捕获的图像对相关联、或者可能与由单个相机捕获的单个图像中所捕获的视网膜的一部分的多个实例相关联)。HMD的计算系统还可以使用多个计算值来计算针对Lx、Ly和h的平均值。有利地，使用该方法，可以针对瞳孔中心的3D位置获得更准确的值。在一些实现方式中，可使用多个相机对，其中每对可从两个不同视角捕获两个视网膜图像。在一些这样的实现方式中，相机对可与被分段的离轴反射光学部件一起使用，以生成多个虚拟相机对，其中每对可捕获从两个不同视角成像的视网膜的至少一部分，以用于计算。
如上所述，用于捕获所需视网膜图像以用于计算瞳孔中心的3D位置的(一个或多个)相机可以是无穷远聚焦的相机。有利地，使用无穷远聚焦的相机可以减小瞳孔中心的所计算的3D位置相对于用户的眼睛和HMD之间的相对移动的灵敏度。
如上所述，在一些实现方式中，计算系统可以(例如，基于被包括在所选择的部分中的视网膜图案)来选择视网膜的图像的一部分。在这些实现方式中，X1、X2、Y1和Y2可以是选定图像部分的x-y坐标。图31是示出了可由HMD的计算系统使用以估计由相机(例如，安装在HMD上的相机)捕获的视网膜图像的一部分的质量中心的坐标的方法的示例的流程图。
过程3100在框3102处开始，在该框3102处，计算系统从第一视角获取用户(例如，HMD的佩戴者)的眼睛的视网膜的图像。在一些情况下，计算系统可以从计算系统的存储器或用于捕获图像的相机获得图像。在一些情况下，计算系统可以触发相机(例如，通过发送信号)以捕获视网膜的图像并将图像传送到计算系统。在一些实现方式中，相机可以是安装在HMD上的面向前的相机，其例如靠近佩戴者的镜腿被安装在HMD的框架上(例如，被安装在可穿戴显示系统200的框架64上，例如图2的耳杆或镜腿)。如上所述，在面向前的相机和眼睛前方设置在HMD的波导显示器上的离轴反射光学元件(例如，离轴镜、离轴衍射元件、离轴全息镜等)可以将从视网膜反射的光线重定向到相机，从而使得能够使用面向前的相机(例如，如图24A或24H所示)对视网膜成像。
在框3104处，计算系统可以在框3102处获得的视网膜图像中找到视网膜图案。在一些情况下，视网膜图案可以是预定视网膜图案。在一些情况下，计算系统可以选择包括视网膜图案的视网膜图像的一部分。视网膜的所选择的部分可以具有矩形、圆形、三角形或其他形状。在一些情况下，视网膜图案可以与视网膜图像的所选择的部分中的视网膜血管相关联。在一些示例中，计算系统可以修改图像的对比度、颜色平衡或其他参数。在一些这样的示例中，可以使用一个或多个数字图像处理算法来修改图像或对图像滤波。可以在本文中描述的过程的一个或多个各种阶段中采用图像噪声降低。在一些情况下，可以在本文中描述的一个或多个过程中采用Frangi滤波和/或Meijing方法。
在框3106处，计算系统可以使视网膜图像的在框3104处的所选择的部分与被保存在计算系统的存储器中的校准的视网膜映射交叉相关(cross correlate)，以确定在框3104处找到的视网膜图案和/或所选择的部分是否与校准的视网膜映射中的区域相匹配或充分匹配。在一些示例中，计算系统可以生成分数，该分数指示视网膜图案(或所选择的部分)与校准的视网膜映射中的区域之间的相关性水平。
如上所述，当经由HMD的显示器向用户呈现多个目标图像(例如，虚拟目标图像)时，可以生成校准的视网膜映射并在校准过程期间将其存储。通过呈现在相对于用户的眼睛的不同位置处定位的目标，可以在用户眼睛的凝视方向改变以观察每个目标图像时对视网膜的不同部分成像。图32B示出了存储在计算系统的存储器中的校准的视网膜映射的示例。
在判定框3108处，计算系统可以确定视网膜图像(或视网膜图像)的所选择的部分是否与校准的视网膜映射中的区域相匹配。在一些实现方式中，计算系统可以通过确定在框3106处生成的分数大于阈值分数来确定所选择的部分与校准的视网膜映射中的区域相匹配。在图32A所示的示例中，视网膜图像的部分3214可以是图32B中所示的视网膜映射中的区域的匹配(例如，被包括在白色矩形中的区域可以对应于被投射在图像传感器3212上的视网膜图像的部分3214)。
在确定图像的所选择的部分与校准的视网膜映射中的区域相匹配时，该过程进行到框3112。如果计算系统确定图像的所选择的部分与校准的视网膜映射中的区域不匹配(例如，通过确定在框3106处生成的分数小于阈值分数)，则该过程可以进行到框3110并中止该过程。随后，该过程可以返回到框3102，在框3102处，计算系统可以(例如，通过触发相机)获得新图像。
在一些实现方式中，在框3108处，计算系统可以进一步使用存储在计算系统的存储器中的凝视方向映射矩阵来确定与视网膜图像相关联的凝视方向。在框3112处，计算系统可以限定包含视网膜图案(例如，具有一个或多个血管的区域)的界定区域，诸如多边形，例如，最小多边形。在一些示例中，界定区域可以包括所有选择的血管。在一些实现方式中，界定区域是其所有内角均小于180度的多边形。图32C示出了投射在图像传感器3212上的包含血管的图像的部分3314。在所示的示例中，血管的图像可以是修改的图像，其中在血管和周围组织之间已经生成高对比度。图32D示出了在图32C中识别并选择的血管周围的示例界定区域，诸如多边形，例如，最小多边形。
在框3114处，计算系统可以找到最小多边形或被包括在界定区域(例如多边形或最小多边形)中的视网膜图像的部分3214的质量中心。
在框3116处，计算系统可以计算质量中心例如相对于原点为图像传感器3212的中心的坐标系的x-y坐标X和Y(或图30中所限定的X1和Y1)。x轴和y轴可以与图像传感器3212的边缘平行。图32A示出了被投射在相机的图像传感器3212上的视网膜图像(或视网膜图像)的所选择的部分3214。如上所述，图像传感器3212的中心3216可以由生成图像的透镜系统(例如，相机透镜)的光轴与图像传感器的平面的交点来限定。
计算系统可以通过捕获从不同视角产生的图像中的视网膜的部分的第二实例或视网膜的第二图像来重复过程3100，并且计算图像中的对应约束(binding)区域(例如，多边形)或视网膜图像的部分的质量中心的x-y坐标X和Y(或图30中限定的X2和Y2)。
在一些其他实现方式中，计算系统可以通过使用相对于用户的眼睛定位在不同位置处的第二相机捕获第二视网膜图像来重复过程3100。与由第一相机捕获的视网膜图像相比，第二相机的位置可以被选择为使得能够从不同的视角捕获视网膜的图像。例如，第二相机可以是在第一相机的一侧被安装在HMD上的面向前的相机(例如，类似于图30中所示的配置)。第二相机可通过反射光学元件(例如，HMD的显示器的反射光学元件)对视网膜成像。
如上文所描述的，在一些实现方式中，可在过程3100中使用单个相机，所述单个相机被配置为从两个不同视角观看视网膜。在这样的实现方式中，相机可以是面向前的相机，其经由多个反射和/或衍射元件或者具有多个分段的被分段的反射和/或衍射元件来捕获视网膜的图像，该元件引入不同的倾斜量或光束转向以提供视网膜的不同视野或视角。如上所述，例如，关于图24E、24F和24H，被分段的反射光学元件(例如，被分段的离轴镜或被分段的离轴全息镜)或具有不同的倾斜量的多个反射层(例如，多个离轴镜或离轴全息镜)可以在不同的角度位置处生成虚拟相机(即，单个相机的虚拟图像)，并且由此使得能够捕获与视网膜的不同视角相关联的视网膜的多个渲染。在一些示例中，反射光学元件的不同分段或不同反射层可以在相机的图像传感器的不同区域上投射视网膜的不同视角(或不同部分)。在这些示例中，计算系统可以通过读取由被分段的反射光学元件的第一分段和第二分段或者第一反射层和第二反射层照射的图像传感器的像素生成的信号，来获得图像的第一部分和第二部分。随后，计算系统可以使用第一部分或界定区域以及然后第二部分或界定区域来计算X1、X2、Y1和Y2，以便执行过程3100两次。
在一些情况下，在单个相机(例如，从被分段的反射和/或衍射表面或者被分段的反射和/或衍射光学元件)接收与视网膜的两个不同视角相关联的单个图像的情况下，在框3104处，计算系统可以至少部分地基于与第一视角相关联的单个图像的第一部分和与第二视角相关联的单个图像的第二部分之间的重叠区域来找到视网膜图案。在一些这样的情况下，计算系统可以选择位于重叠区域之外的两个相同的视网膜图案。(这些视网膜图案可以是从不同视角捕获的用户眼睛的视网膜的单个图案的图像)。
一旦通过基于视网膜图像或示出了从两个不同视角的视网膜的两个不同视野的被捕获的图像的部分来重复过程3100两次而计算出两个质量中心的坐标(X1、X2、Y1和Y2)，则计算系统可以使用式子5-7和X1、X2、Y1和Y2来计算瞳孔中心例如相对于联合坐标系的3D位置。在一些实现方式中，联合坐标系(或联合参考系)可以是其原点与两个相机的图像传感器的中心(或由被分段的反射光学元件生成的两个虚拟相机的虚拟图像传感器的中心)等距的坐标系。坐标系(参考系)的x轴和y轴可以平行于图像传感器322的边缘。例如，在一些实现方式中，计算系统可以通过基于被投射在第一图像传感器3011a和第二图像传感器3011b上的第一视网膜图像3014a和第二视网膜图像3014b来计算Lx、Ly和h，以确定瞳孔中心相对于xyz参考系的3D位置，该xyz参考系的原点位于两个透镜系统的光学中心3008a和3008b之间的中间点3013处。
如上所述，一旦确定了瞳孔中心的3D位置，则可以使用瞳孔中心的3D位置和与用于计算瞳孔中心的视网膜图像相关联的凝视方向来计算眼球中心(EBC)的3D位置。凝视方向可以使用局部坐标系来限定，该局部坐标系的原点在EBC处，并且当眼睛的取向与参考凝视方向相关联时(例如，当用户透过眼镜直视，例如，显示器或目镜时，以使得眼睛的光轴垂直于目镜或相关联的层，诸如波导和/或反射元件等)，该局部坐标系的轴(例如，z轴)穿过瞳孔中心。图33A示出了这样的x’y’z’坐标系，其中x’y’z’系统的原点位于EBC(点A)和z’轴处，并且垂直于HMD的目镜。当眼球被定向为透过目镜直视(即，中性取向)时，z’轴穿过瞳孔中心B。如图33B所示，可以使用分别相对于z轴和x轴的极角φ和方位角θ来限定任意凝视方向。
假设EBC位置在眼球旋转下简并(degenerate)，在任何给定时间t，相对于联合坐标系(例如，图30中限定的联合坐标系xyz)的EBC的3D坐标和瞳孔中心的坐标通过以下式子相关：
A(x，y，z，t)＝B(x，y，z，t)-d(sin(φ(t))cos(θ(t))，sin(φ(t))sin(θ(t))，cos(φ(t))) (8)
其中，A(x,y,z,t)是指向EBC的矢量，B(x,y,z,t)是指向瞳孔中心的矢量。d是EBC和瞳孔中心之间的线性距离。在一些情况下，d可以被认为对于给定的眼睛是恒定的。在一些实现方式中，HMD的计算系统可例如在校准过程期间针对HMD的用户确定d的值。这样，通过知道瞳孔中心的3D位置和在其处已确定瞳孔中心的凝视方向(φ和θ)，可以计算EBC的3D位置。图33C示出了关于三个不同的凝视方向的瞳孔中心(B)相对于EBC(A)的相对位置。在中间图中眼球的取向是中性取向，并且与眼睛正在沿着z轴的方向(例如，直接正向和/或法向于目镜)看的参考凝视方向(φ＝θ＝0)相关联。
给定的是，EBC的位置可在眼球旋转(例如，相对于HMD的参考系)时改变，在一些实现方式中，HMD的计算系统可通过对式子8的右手侧随时间(随着凝视方向改变且因此B改变)的变化求平均来确定EBC的3D位置：
A(x，y，z，t)＝<B(x，y，z)-d(sin(φ(t))cos(θ(t))，sin(φ(t))sin(θ(t))，cos(φ(t)))＞t (9)
可以通过增加求平均的时间来减少所确定的EBC的3D位置的误差。
可以基于用于计算瞳孔中心的一个或多个视网膜图像来计算与瞳孔中心位置相关联的凝视方向(φ和θ)。如上所述，在校准过程期间，可以生成凝视方向映射矩阵，该凝视方向映射矩阵将不同的凝视方向映射到由相机从特定视角捕获的不同视网膜图像。例如，图13A和图13B示出了如何可以通过在校准过程期间向用户呈现不同的目标来创建视网膜映射、以及如何可以随后基于所获得的视网膜图像来确定用户的凝视、以及在视网膜映射内如何适配该视网膜图像。
图34是示出了可以由HMD的计算系统例如在校准过程期间使用以生成凝视方向映射矩阵的方法的示例的流程图。计算系统最初可以呈现大致位于用户的眼睛前方的多个目标，并且在用户透过目镜直视时要求用户(例如，经由HMD的用户界面)选择大致位于用户视野的中心处的虚拟目标。当用户选择这样的目标时，该虚拟目标可以被标记为与参考凝视方向(例如，由φ＝θ＝0限定的凝视方向)相关联的参考虚拟目标。使用参考目标，计算系统可以确定与相对于参考凝视方向的不同凝视方向相关联的一系列目标。可以在过程3400期间使用这些目标来生成凝视方向映射矩阵。因此，不同的虚拟目标可以唯一地与(φ和θ)的特定值相关联。
过程3400在框3402处开始，在该框3402处，计算系统经由HMD的波导显示器向用户呈现第一虚拟目标，并且要求用户看向目标。在一些实现方式中，第一虚拟目标可以是在过程3400开始之前确定的参考目标。
在框3404处，计算系统可以使用一个或多个相机来捕获用户的眼睛的视网膜的一部分的图像。所捕获的视网膜的部分由与目标(在过程开始之前所确定的)相关联的凝视方向来确定。在一些实现方式中，没有呈现初始目标。而是简单地请求用户直接向前看，并且获得视网膜图像并将其与参考(例如，笔直向前)凝视方向相关联。
在框3406处，计算系统可以将在框3404处捕获的视网膜图像连同对应的凝视方向(即，与在框3402处呈现的目标相关联φ和θ的值)一起存储。
在判定框3408处，计算系统确定所获取的图像和先前获取的图像是否足以生成凝视方向映射矩阵。在一些示例中，计算系统可以通过检查与呈现给用户的目标相关联的凝视方向来确定所获取的图像是足够的。如果计算系统确定已经捕获了与各种凝视方向相关联的图像，则过程进行到框3410，否则该过程返回到框3402以使用不同的目标来捕获更多图像。
可以重复从框3402到框3408的过程，直到捕获了与凝视角度相关联的视网膜图像。
在框3410处，计算系统可以使用捕获的视网膜图像和对应的凝视角度(φ和θ)来生成凝视方向映射矩阵。
在一些实现方式中，对于不同的目标(和不同的凝视角度)，可以使用多个相机或多个虚拟相机来捕获多个图像。在这些实现方式中，所得到的凝视方向映射矩阵可用于基于使用多个相机捕获的多个图像或与视网膜的同一部分对应的图像的多个部分来确定凝视方向。有利地，基于多个相机和/或多个视角来确定凝视方向可以改善所确定的凝视方向的准确度。
在一些实现方式中，在过程3400(在校准阶段期间执行)期间，计算系统还可以估计关于HMD的用户的d(即，瞳孔中心与EBC之间的线性距离)的值。在这样的实现方式中，在框3404处，可使用两个相机(或与单个相机相关联的两个虚拟相机)来从两个不同视角捕获用户眼睛的视网膜的两个图像。计算系统可以使用对应的图像对来计算在不同凝视方向(与相应目标相关联)的瞳孔中心的3D位置(B向量)。计算系统可以使用上述方法来计算瞳孔中心的多个3D位置。随后，计算系统可以使用瞳孔中心的多个3D位置(多个B矢量)和相关联的多个凝视方向(多个φ和θ值)来估计d。例如，计算系统可以使用式子8、多个B矢量和多个φ和θ值来计算多个3D EBC位置(多个A矢量)，因为它改变d的值。通过该过程，计算系统可以确定在瞳孔中心的位置(以及相关联的凝视方向)改变时什么d值导致A矢量(3D EBC位置)的最小可能变化。这样的d值可以被存储在计算系统的存储器中，并且可以用于基于上述方法的EBC的后续确定。可以采用其他确定d方法。如上所述，在视网膜相机被校准以使得可以确定凝视方向并且建立d的值的情况下，可以基于瞳孔位置的测量来计算EBC。在已知瞳孔位置和凝视方向的情况下，通过沿着凝视方向从瞳孔位置向后平移一距离d来确定EBC。EBC被定位为该位置。
宽范围的变化是可能的。例如，尽管在许多附图中相机被示出为面向前的相机，但是该方法不限于采用离轴镜的面向前的相机。类似地，尽管VCSEL已经如上所述作为照射的期望源，但是可以采用与VCSEL不同的包括其他固态光源的光源。另外，尽管讨论的相对于图像传感器的图像平面处的图像传感器的中心来测量质量中心或质心的位置，但是可以采用其他参考位置。类似地，可以使用其他参考系和参考坐标系。此外，除了质量中心或质心之外的其他位置可能潜在地通过适当的调整而一起使用。另外，在一些实现方式中，本文讨论的可以用于将来自眼睛(例如，视网膜)的光反射到相机的反射和/或衍射光学元件(例如，离轴反射器或离轴镜)可以包括反射和/或衍射光学表面。
在图像中检测对象的计算机视觉
如上所述，显示系统可被配置为检测图像中的对象或图像的特性。如本文所讨论的，可以使用包括各种传感器(例如，相机、音频传感器、温度传感器等)在内的各种技术来实现检测。
在一些实施例中，可以使用计算机视觉技术来检测存在的对象。例如，如本文所公开的，显示系统的相机可被配置为对用户的眼睛进行成像，并且显示系统可被配置为对图像执行图像分析以确定对象的存在。显示系统可以分析通过成像系统获取的图像以执行对象识别、学习、索引、运动估计或图像恢复等。作为其它示例，显示系统可被配置为执行面部和/或眼睛识别以确定面部和/或人眼在用户视场中的存在和位置。可以使用一种或多种计算机视觉算法来执行这些任务。计算机视觉算法的非限制性示例包括：尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、定向FAST和旋转BRIEF(ORB)、二进制鲁棒不变可扩展关键点(BRISK)、快速视网膜关键点(FREAK)、Viola-Jones算法、特征脸方法、Lucas-Kanade算法、Horn-Schunk算法，均值漂移(Mean-shift)算法、视觉同步定位与地图构建(vSLAM)技术、序列贝叶斯估计器(例如，卡尔曼滤波器、扩展卡尔曼滤波器等)、光束法平差(bundleadjustment)、自适应阈值分割(和其它阈值分割技术)、迭代最近点(ICP)、半全局匹配(SGM)、半全局块匹配(SGBM)、特征点直方图、各种机器学习算法(例如，支持向量机、k最近邻算法、朴素贝叶斯、神经网络(包括卷积或深度神经网络)或其它有监督/无监督模型等)等等。
这些计算机视觉技术中的一种或多种也可以与从其它环境传感器(例如，麦克风)获取的数据一起使用，以检测和确定由传感器检测到的对象的各种特性。
如本文所讨论的，可以基于一个或多个标准检测对象。当显示系统使用计算机视觉算法或使用从一个或多个传感器组件(可能是或可能不是显示系统的一部分)接收到的数据检测例如图像中是否存在标准时，显示系统然后会以信号告知对象的存在。
机器学习
可以使用各种机器学习算法来学习识别图像中对象的存在。一经训练，机器学习算法便可被显示系统存储。机器学习算法的一些示例可以包括有监督或无监督机器学习算法，包括回归算法(例如，普通最小二乘回归)、基于实例的算法(例如，学习向量量化)、决策树算法(例如，分类和回归树)、贝叶斯算法(例如，朴素贝叶斯)、聚类算法(例如，k均值聚类)、关联规则学习算法(例如，先验算法)、人工神经网络算法(例如，感知机)、深度学习算法(例如，深度玻尔茨曼机或深度神经网络)、降维算法(例如例如，主成分分析)、集合算法(例如，堆栈泛化)和/或其它机器学习算法。在一些实施例中，可以针对各个数据集定制各个模型。例如，可穿戴装置可以生成或存储基础模型。基础模型可以用作生成特定于数据类型(例如，特定用户)、数据集(例如，获得的附加图像集)、条件情况或其它变化的附加模型的起点。在一些实施例中，显示系统可以被配置为利用多种技术来生成用于分析聚合数据的模型。其它技术可包括使用预定义的阈值或数据值。
用于检测对象的标准可以包括一个或多个阈值条件。如果由图像传感器获取的数据的分析指示越过阈值条件，则显示系统可以提供指示检测到图像中对象的存在的信号。阈值条件可以涉及定量和/或定性的量度。例如，阈值条件可以包括与图像中存在反射和/或对象的可能性相关联的分数或百分比。显示系统可以将根据图像传感器数据计算出的分数与阈值分数进行比较。如果得分高于阈值水平，则显示系统可以检测到反射和/或对象的存在。在一些其它实施例中，如果得分低于阈值，则显示系统可以用信号通知图像中对象的存在。在一些实施例中，可以基于用户的情绪状态和/或用户与周围环境的交互来确定阈值条件。
在一些实施例中，阈值条件、机器学习算法或计算机视觉算法可以专用于特定情境。例如，在诊断情境中，计算机视觉算法可以专用于检测对刺激的特定反应。作为另一示例，显示系统可以执行面部识别算法和/或事件跟踪算法以感测用户对刺激的反应，如本文所讨论的。
示例
下面仅通过示例的方式来提供本文描述的实施例的一些非限制性示例。
部分I
示例1：一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
图像投影仪，其被配置为将图像投射到所述用户的眼睛中，以在所述用户的所述视场中显示图像内容；
相机；
目镜，其被设置在所述框架上，所述目镜被配置为将光引导到所述用户的眼睛中以将增强现实图像内容显示到所述用户的视场；
反射元件，其被设置在所述框架上，所述反射元件和所述目镜的至少一部分对可见光是透明的并且在所述用户佩戴所述头戴式显示器时被设置在所述用户的眼睛前方的位置，以使得所述透明部分将来自所述用户前方的环境的光透射到所述用户的眼睛，以提供所述用户前方的所述环境的视图；以及
至少一个VCSEL，其被设置为照射所述眼睛，
其中，所述相机相对于所述反射元件来设置，以使得来自所述VCSEL的光从所述用户的眼睛反射到所述反射元件，并且从所述反射元件反射到所述相机，以形成由所述相机捕获的所述眼睛的图像。
示例2：根据示例1所述的系统，其中，所述至少一个VCSEL包括IR光源，所述IR光源输出比可见光更多的红外光。
示例3：根据上述示例中的任一项所述的系统，其中，所述至少一个VCSEL包括多个VCSEL。
示例4：根据上述示例中的任一项所述的系统，其中，在所述用户佩戴所述至少一个VCSEL时，在所述用户的头部的颞侧将所述至少一个VCSEL向颞地安装在所述框架上。
示例5：根据上述示例中的任一项所述的系统，其中，所述至少一个VCSEL被安装在所述目镜上的层上。
示例6：根据示例1-4中的任一项所述的系统，其中，所述至少一个VCSEL被安装在所述用户的眼睛前方的层上，以使得在所述用户佩戴所述头戴式显示器时，所述层将来自所述用户前方的环境的光透射到所述用户的眼睛以提供所述用户前方的所述环境的视图。
示例7：根据上述示例中的任一项所述的系统，其中，所述VCSEL被配置为输出偏振光。
示例8：根据上述示例中的任一项所述的系统，还包括：被设置在所述VCSEL与所述用户的眼睛之间的偏振器。
示例9：根据上述示例中的任一项所述的系统，还包括：位于所述VCSEL上的偏振器。
示例10：根据上述示例中的任一项所述的系统，还包括：电子器件，其被配置为对所述VCSEL进行调制以减少斑点。
示例11：根据上述权利要求中的任一项所述的系统，其中，所述至少一个VCSEL与所述相机集成。
示例12：根据上述示例中的任一项所述的系统，其中，所述相机被设置在所述框架上。
示例13：根据上述示例中的任一项所述的系统，其中，所述相机相对于所述用户的眼睛的中心被向颞地设置在所述框架上。
示例14：根据上述示例中的任一项所述的系统，其中，所述相机被向颞地设置在所述框架上，以使得所述相机位于所述用户的头部的颞侧。
示例15：根据上述示例中的任一项所述的系统，还包括被配置为对所述VCSEL进行调制的电子器件。
示例16：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以将虚拟图像内容显示到所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例17：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以便以不同量的至少一个发散度将虚拟图像内容显示给所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例18：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将发散的光投射到所述用户的眼睛中，并且将光投射到所述用户的眼睛中，所述光被准直以将虚拟图像内容显示到所述用户的视场，所述虚拟图像内容看起来源自不同的深度。
示例19：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导。
示例20：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导，所述一个或多个波导被配置为将来自所述图像投影仪的光引导到所述用户的眼睛以向所述用户呈现图像内容。
示例21：根据上述示例中的任一项所述的系统，其中，所述反射光学元件包括衍射光学元件或全息光学元件。
示例22：根据上述示例中的任一项所述的系统，其中，所述反射光学元件包括离轴镜。
示例23：一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
图像投影仪，其被配置为将图像投射到所述用户的眼睛中，以在所述用户的所述视场中显示图像内容；
相机；
目镜，其被设置在所述框架上，所述目镜被配置为将光引导到所述用户的眼睛中以将增强现实图像内容显示到所述用户的视场，所述目镜的至少一部分对可见光是透明的并且在所述用户佩戴所述头戴式显示器时被设置在所述用户的眼睛前方的位置，以使得所述透明部分将来自所述用户前方的环境的光透射到所述用户的眼睛，以提供所述用户前方的所述环境的视图；以及
至少一个VCSEL，其被设置为照射所述眼睛，
其中，所述相机被设置为使得来自所述VCSEL的光从所述用户的眼睛反射到所述相机，以形成由所述相机捕获的所述眼睛的图像。
示例24：根据示例23所述的系统，其中，所述至少一个VCSEL包括IR光源，所述IR光源输出比可见光更多的红外光。
示例25：根据上述示例中的任一项所述的系统，其中，所述至少一个VCSEL包括多个VCSEL。
示例26：根据上述示例中的任一项所述的系统，其中，在所述用户佩戴所述至少一个VCSEL时，在所述用户的头部的颞侧将所述至少一个VCSEL向颞地安装在所述框架上。
示例27：根据上述示例中的任一项所述的系统，其中，所述至少一个VCSEL被安装在所述目镜上的层上。
示例28：根据示例23-26中的任一项所述的系统，其中，所述至少一个VCSEL被安装在所述用户的眼睛前方的层上，以使得在所述用户佩戴所述头戴式显示器时，所述层将来自所述用户前方的环境的光透射到所述用户的眼睛以提供所述用户前方的所述环境的视图。
示例29：根据上述示例中的任一项所述的系统，其中，所述VCSEL被配置为输出偏振光。
示例30：根据上述示例中的任一项所述的系统，还包括：被设置在所述VCSEL与所述用户的眼睛之间的偏振器。
示例31：根据上述示例中的任一项所述的系统，还包括：位于所述VCSEL上的偏振器。
示例32：根据上述示例中的任一项所述的系统，还包括：电子器件，其被配置为对所述VCSEL进行调制以减少斑点。
示例33：根据上述权利要求中的任一项所述的系统，其中，所述至少一个VCSEL与所述相机集成。
示例34：根据上述示例中的任一项所述的系统，其中，所述相机被设置在所述框架上。
示例35：根据上述示例中的任一项所述的系统，其中，所述相机相对于所述用户的眼睛的中心被向颞地设置在所述框架上。
示例36：根据上述示例中的任一项所述的系统，其中，所述相机被向颞地设置在所述框架上，以使得所述相机位于所述用户的头部的颞侧。
示例37：根据上述示例中的任一项所述的系统，还包括被配置为对所述VCSEL进行调制的电子器件。
示例38：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以将虚拟图像内容显示到所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例39：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以便以不同量的至少一个发散度将虚拟图像内容显示给所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例40：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将发散的光投射到所述用户的眼睛中，并且将光投射到所述用户的眼睛中，所述光被准直以将虚拟图像内容显示到所述用户的视场，所述虚拟图像内容看起来源自不同的深度。
示例41：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导。
示例42：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导，所述一个或多个波导被配置为将来自所述图像投影仪的光引导到所述用户的眼睛以向所述用户呈现图像内容。
示例43：根据上述示例中的任一项所述的系统，其中，所述至少一个VCSEL在由所述用户佩戴时被安装在所述用户的眼睛的中心的颞侧。
示例44：根据上述示例中的任一项所述的系统，其中，在所述用户佩戴所述至少一个VCSEL时，在所述用户的眼睛的中心的颞侧将所述至少一个VCSEL安装在所述框架上。
部分II
示例1：一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
图像投影仪，其被配置为将图像投射到所述用户的眼睛中，以在所述用户的所述视场中显示图像内容；
相机；
目镜，其被设置在所述框架上，所述目镜被配置为将光引导到所述用户的眼睛中以将增强现实图像内容显示到所述用户的视场；
反射元件，其被设置在所述框架上，所述反射元件和所述目镜的至少一部分对可见光是透明的并且在所述用户佩戴所述头戴式显示器时被设置在所述用户的眼睛前方的位置，以使得所述透明部分将来自所述用户前方的环境的光透射到所述用户的眼睛，以提供所述用户前方的所述环境的视图，所述反射元件具有色差；以及
至少一个光源，其被设置为照射所述眼睛，
至少一个衍射光学元件，其具有色散，所述色散抵消由所述反射元件引入的所述色差的至少一部分，
其中，所述相机相对于所述反射元件来设置，以使得来自所述至少一个光源的光从所述用户的眼睛反射到所述反射元件，并且从所述反射元件反射到所述相机，以形成由所述相机捕获的所述眼睛的图像。
示例2：根据示例1所述的系统，其中，所述至少一个光源包括红外光源，所述红外光源被配置为提供比可见光更多的红外光。
示例3：根据上述示例中的任一项所述的系统，还包括被设置在所述衍射光学元件和所述反射元件之间的光学路径内的聚焦光学元件。
示例4：根据上述示例所述的系统，其中，所述衍射光学元件是被配置为将所述光反射到所述相机中的衍射光学元件。
示例5：根据上述示例所述的系统，其中，所述衍射光学元件是被配置为将穿过其中的光传递到所述相机中的反射式衍射光学元件。
示例6：根据上述示例所述的系统，还包括：部分反射光学元件，其被配置为透射穿过其中的所述光并且朝向所述衍射光学元件反射来自所述光源的光。
示例7：根据上述示例中的任一项所述的系统，其中，所述相机被设置在所述框架上。
示例8：根据上述示例中的任一项所述的系统，其中，所述相机相对于所述用户的眼睛的中心被向颞地设置在所述框架上。
示例9：根据上述示例中的任一项所述的系统，其中，所述相机被向颞地设置在所述框架上，以使得所述相机位于所述用户的头部的颞侧。
示例10：根据上述示例所述的系统，其中，所述光源包括激光器。
示例11：根据上述示例所述的系统，其中，所述光源包括VCSEL。
示例12：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以将虚拟图像内容显示到所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例13：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以便以不同量的至少一个发散度将虚拟图像内容显示给所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例14：根据上述示例中的任一项所述的系统其中，所述目镜被配置为将发散的光投射到所述用户的眼睛中，并且将光投射到所述用户的眼睛中，所述光被准直以将虚拟图像内容显示到所述用户的视场，所述虚拟图像内容看起来源自不同的深度。
示例15：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导。
示例16：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导，所述一个或多个波导被配置为将来自所述图像投影仪的光引导到所述用户的眼睛以向所述用户呈现图像内容。
示例17：根据以上示例中的任一项所述的系统，其中，所述反射光学元件包括衍射光学元件或全息光学元件。
示例18：根据以上示例中的任一项所述的系统，其中，所述反射光学元件包括离轴镜。
部分III
示例1：一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
图像投影仪，其被配置为将图像投射到所述用户的眼睛中，以在所述用户的所述视场中显示图像内容；
相机；
目镜，其被设置在所述框架上，所述目镜被配置为将光引导到所述用户的眼睛中以将增强现实图像内容显示到所述用户的视场；
反射元件，其被设置在所述框架上，所述反射元件和所述目镜的至少一部分对可见光是透明的并且在所述用户佩戴所述头戴式显示器时被设置在所述用户的眼睛前方的位置，以使得所述透明部分将来自所述用户前方的环境的光透射到所述用户的眼睛，以提供所述用户前方的所述环境的视图；以及
至少一个光源，其被设置为照射所述眼睛，所述至少一个光源被安装在所述用户的眼睛前方的层上，以使得在所述用户佩戴所述头戴式显示器时，所述层将来自所述用户前方的环境的光透射到所述用户的眼睛以提供所述用户前方的所述环境的视图，
其中，所述相机相对于所述反射元件来设置，以使得来自所述至少一个光源的光从所述用户的眼睛反射到所述反射元件，并且从所述反射元件反射到所述相机，以形成由所述相机捕获的所述眼睛的图像。
示例2：根据示例1所述的系统，其中，所述层是所述目镜的部分。
示例3：根据上述示例中的任一项所述的系统，其中，所述相机被设置在所述框架上。
示例4：根据上述示例中的任一项所述的系统，所述相机相对于所述用户的眼睛的中心被向颞地设置在所述框架上。
示例5：根据上述示例中的任一项所述的系统，其中，所述相机被向颞地设置在所述框架上，以使得所述相机位于所述用户的头部的颞侧。
示例6：根据上述示例中的任一项所述的系统，其中，所述光源包括激光器。
示例7：根据上述示例中的任一项所述的系统，其中，所述光源包括VCSEL。
示例8：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以将虚拟图像内容显示到所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例9：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以便以不同量的至少一个发散度将虚拟图像内容显示给所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例10：根据上述示例中的任一项所述的系统其中，所述目镜被配置为将发散的光投射到所述用户的眼睛中，并且将光投射到所述用户的眼睛中，所述光被准直以将虚拟图像内容显示到所述用户的视场，所述虚拟图像内容看起来源自不同的深度。
示例11：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导。
示例12：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导，所述一个或多个波导被配置为将来自所述图像投影仪的光引导到所述用户的眼睛以向所述用户呈现图像内容。
示例13：根据以上示例中的任一项所述的系统，其中，所述反射光学元件包括衍射光学元件或全息光学元件。
示例14：根据以上示例中的任一项所述的系统，其中，所述反射光学元件包括离轴镜。
示例15：一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
图像投影仪，其被配置为将图像投射到所述用户的眼睛中，以在所述用户的所述视场中显示图像内容；
相机；
目镜，其被设置在所述框架上，所述目镜被配置为将光引导到所述用户的眼睛中以将增强现实图像内容显示到所述用户的视场，所述目镜的至少一部分对可见光是透明的并且在所述用户佩戴所述头戴式显示器时被设置在所述用户的眼睛前方的位置，以使得所述透明部分将来自所述用户前方的环境的光透射到所述用户的眼睛，以提供所述用户前方的所述环境的视图；以及
至少一个光源，其被设置为照射所述眼睛，所述至少一个光源被安装在所述用户的眼睛前方的层上，以使得在所述用户佩戴所述头戴式显示器时，所述层将来自所述用户前方的环境的光透射到所述用户的眼睛以提供所述用户前方的所述环境的视图，
其中，所述相机被设置为使得来自所述至少一个光源的光从所述用户的眼睛反射到所述相机，以形成由所述相机捕获的所述眼睛的图像。
示例16：根据示例15所述的系统，其中，所述层是所述目镜的部分。
示例17：根据上述示例中的任一项所述的系统，其中，所述相机被设置在所述框架上。
示例18：根据上述示例中的任一项所述的系统，所述相机相对于所述用户的眼睛的中心被向颞地设置在所述框架上。
示例19：根据上述示例中的任一项所述的系统，其中，所述相机被向颞地设置在所述框架上，以使得所述相机位于所述用户的头部的颞侧。
示例20：根据上述示例中的任一项所述的系统，其中，所述光源包括激光器。
示例21：根据上述示例中的任一项所述的系统，其中，所述光源包括VCSEL。
示例22：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以将虚拟图像内容显示到所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例23：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以便以不同量的至少一个发散度将虚拟图像内容显示给所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例24：根据上述示例中的任一项所述的系统其中，所述目镜被配置为将发散的光投射到所述用户的眼睛中，并且将光投射到所述用户的眼睛中，所述光被准直以将虚拟图像内容显示到所述用户的视场，所述虚拟图像内容看起来源自不同的深度。
示例25：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导。
示例26：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导，所述一个或多个波导被配置为将来自所述图像投影仪的光引导到所述用户的眼睛以向所述用户呈现图像内容。
部分IV
示例1：一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
图像投影仪，其被配置为将图像投射到所述用户的眼睛中，以在所述用户的所述视场中显示图像内容；
相机；
目镜，其被设置在所述框架上，所述目镜被配置为将光引导到所述用户的眼睛中以将增强现实图像内容显示到所述用户的视场；
反射元件，其被设置在所述框架上，所述反射元件和所述目镜的至少一部分对可见光是透明的并且在所述用户佩戴所述头戴式显示器时被设置在所述用户的眼睛前方的位置，以使得所述透明部分将来自所述用户前方的环境的光透射到所述用户的眼睛，以提供所述用户前方的所述环境的视图；以及
至少一个光源，其被设置为照射所述眼睛，所述光源被设置在所述目镜上，
其中，所述相机相对于所述反射元件来设置，以使得来自所述至少一个光源的光从所述用户的眼睛反射到所述反射元件，并且从所述反射元件反射到所述相机，以形成由所述相机捕获的所述眼睛的图像。
示例2：根据示例1所述的系统，其中，所述至少一个光源包括VCSEL。
示例3：根据上述示例中的任一项所述的系统，其中，所述相机被设置在所述框架上。
示例4：根据上述示例中的任一项所述的系统，其中，所述相机相对于所述用户的眼睛的中心被向颞地设置在所述框架上。
示例5：根据上述示例中的任一项所述的系统，其中，所述相机被向颞地设置在所述框架上，以使得所述相机位于所述用户的头部的颞侧。
示例6：根据上述示例所述的系统，其中，所述光源包括激光器。
示例7：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以将虚拟图像内容显示到所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例8：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以便以不同量的至少一个发散度将虚拟图像内容显示给所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例9：根据上述示例中的任一项所述的系统其中，所述目镜被配置为将发散的光投射到所述用户的眼睛中，并且将光投射到所述用户的眼睛中，所述光被准直以将虚拟图像内容显示到所述用户的视场，所述虚拟图像内容看起来源自不同的深度。
示例10：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导。
示例11：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导，所述一个或多个波导被配置为将来自所述图像投影仪的光引导到所述用户的眼睛以向所述用户呈现图像内容。
示例12：根据以上示例中的任一项所述的系统，其中，所述反射光学元件包括衍射光学元件或全息光学元件。
示例13：根据以上示例中的任一项所述的系统，其中，所述反射光学元件包括离轴镜。
示例14：一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
图像投影仪，其被配置为将图像投射到所述用户的眼睛中，以在所述用户的所述视场中显示图像内容；
相机；
目镜，其被设置在所述框架上，所述目镜被配置为将光引导到所述用户的眼睛中以将增强现实图像内容显示到所述用户的视场，所述目镜的至少一部分对可见光是透明的并且在所述用户佩戴所述头戴式显示器时被设置在所述用户的眼睛前方的位置，以使得所述透明部分将来自所述用户前方的环境的光透射到所述用户的眼睛，以提供所述用户前方的所述环境的视图；以及
至少一个光源，其被设置为照射所述眼睛，所述光源被设置在所述目镜上，
其中，所述相机被设置为使得来自所述至少一个光源的光从所述用户的眼睛反射到所述相机，以形成由所述相机捕获的所述眼睛的图像。
示例15：根据示例14所述的系统，其中，所述至少一个光源包括VCSEL。
示例16：根据上述示例中的任一项所述的系统，其中，所述相机被设置在所述框架上。
示例17：根据上述示例中的任一项所述的系统，所述相机相对于所述用户的眼睛的中心被向颞地设置在所述框架上。
示例18：根据上述示例中的任一项所述的系统，其中，所述相机被向颞地设置在所述框架上，以使得所述相机位于所述用户的头部的颞侧。
示例19：根据上述示例中的任一项所述的系统，其中，所述光源包括激光器。
示例20：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以将虚拟图像内容显示到所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例21：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以便以不同量的至少一个发散度将虚拟图像内容显示给所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例22：根据上述示例中的任一项所述的系统其中，所述目镜被配置为将发散的光投射到所述用户的眼睛中，并且将光投射到所述用户的眼睛中，所述光被准直以将虚拟图像内容显示到所述用户的视场，所述虚拟图像内容看起来源自不同的深度。
示例23：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导。
示例24：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导，所述一个或多个波导被配置为将来自所述图像投影仪的光引导到所述用户的眼睛以向所述用户呈现图像内容。
部分V
示例1：一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
图像投影仪，其被配置为将图像投射到所述用户的眼睛中，以在所述用户的所述视场中显示图像内容；
相机；
目镜，其被设置在所述框架上，所述目镜被配置为将光引导到所述用户的眼睛中以将增强现实图像内容显示到所述用户的视场；
反射元件，其被设置在所述框架上，所述反射元件和所述目镜的至少一部分对可见光是透明的并且在所述用户佩戴所述头戴式显示器时被设置在所述用户的眼睛前方的位置，以使得所述透明部分将来自所述用户前方的环境的光透射到所述用户的眼睛，以提供所述用户前方的所述环境的视图；
至少一个光源，其被设置为照射所述眼睛；以及
至少一个透镜，其被设置在所述反射光学元件与所述相机之间、在所述反射元件与所述眼睛之间、或者在所述反射光学元件与所述相机之间并且在所述反射元件与所述眼睛之间，
其中，所述相机相对于所述反射元件来设置，以使得来自所述至少一个光源的光从所述用户的眼睛反射到所述反射元件，并且从所述反射元件反射到所述相机，以形成由所述相机捕获的所述眼睛的图像。
示例2：根据上述示例中的任一项所述的系统，其中，所述至少一个透镜被设置在所述反射光学元件与所述相机之间。
示例3：根据上述示例中的任一项所述的系统，其中，所述至少一个透镜被设置在所述反射元件与所述眼睛之间。
示例4：根据上述示例中的任一项所述的系统，其中，所述至少一个透镜被设置在所述反射光学元件与所述相机之间，并且所述至少一个透镜被设置在所述反射元件与所述眼睛之间。
示例5：根据上述示例中的任一项所述的系统，其中，所述至少一个透镜增加所述相机的对所述眼睛的视场。
示例6：根据上述示例中的任一项所述的系统，其中，所述相机包括检测器阵列和除了所述至少一个透镜之外的至少一个成像透镜。
示例7：根据上述示例中的任一项所述的系统，其中，所述反射光学元件包括衍射光学元件或全息光学元件。
示例8：根据上述示例中的任一项所述的系统，其中，所述反射光学元件包括离轴镜。
示例9：根据上述示例中的任一项所述的系统，其中，所述相机被设置在所述框架上。
示例10：根据上述示例中的任一项所述的系统，其中，所述相机相对于所述用户的眼睛的中心被向颞地设置在所述框架上。
示例11：根据上述示例中的任一项所述的系统，其中，所述相机被向颞地设置在所述框架上，以使得所述相机位于所述用户的头部的颞侧。
示例12：根据上述示例所述的系统，其中，所述光源包括激光器。
示例13：根据上述示例所述的系统，其中，所述光源包括VCSEL。
示例14：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以将虚拟图像内容显示到所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例15：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以便以不同量的至少一个发散度将虚拟图像内容显示给所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例16：根据上述示例中的任一项所述的系统其中，所述目镜被配置为将发散的光投射到所述用户的眼睛中，并且将光投射到所述用户的眼睛中，所述光被准直以将虚拟图像内容显示到所述用户的视场，所述虚拟图像内容看起来源自不同的深度。
示例17：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导。
示例18：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导，所述一个或多个波导被配置为将来自所述图像投影仪的光引导到所述用户的眼睛以向所述用户呈现图像内容。
部分VI
示例1：一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
图像投影仪，其被配置为将图像投射到所述用户的眼睛中，以在所述用户的所述视场中显示图像内容；
相机；
目镜，其被设置在所述框架上，所述目镜被配置为将光引导到所述用户的眼睛中以将增强现实图像内容显示到所述用户的视场；
反射元件，其被设置在所述框架上，所述反射元件和所述目镜的至少一部分对可见光是透明的并且在所述用户佩戴所述头戴式显示器时被设置在所述用户的眼睛前方的位置，以使得所述透明部分将来自所述用户前方的环境的光透射到所述用户的眼睛，以提供所述用户前方的所述环境的视图；以及
至少一个光源，其被设置为照射所述眼睛，所述照射被配置为在被入射到所述眼睛上时是被偏振的，
其中，所述相机相对于所述反射元件来设置，以使得来自所述至少一个光源的光从所述用户的眼睛反射到所述反射元件，并且从所述反射元件反射到所述相机，以形成由所述相机捕获的所述眼睛的图像，所述相机被配置为是偏振选择性的，并且接收一个偏振的光比另一偏振的光更多，以使得来自所述角膜的眩光被减少。
示例2：根据上述权利要求中的任一项所述的系统，还包括被设置在所述光源与所述用户的眼睛之间的光路中的偏振器。
示例3：根据上述权利要求中的任一项所述的系统，其中，所述光源被配置为输出偏振光。
示例4：根据上述权利要求中的任一项所述的系统，其中，偏振器被设置在所述光源上。
示例5：根据上述权利要求中的任一项所述的系统，还包括被设置在所述眼睛与所述相机之间的偏振器。
示例6：根据上述权利要求中的任一项所述的系统，其中，所述相机包括偏振器。
示例7：根据上述权利要求中的任一项所述的系统，其中，由所述光源输出的所述偏振在到达所述相机之前比其他偏振状态衰减得更多。
示例7：根据上述示例中的任一项所述的系统，其中，所述反射光学元件包括衍射光学元件或全息光学元件。
示例8：根据上述示例中的任一项所述的系统，其中，所述反射光学元件包括离轴镜。
示例9：根据上述示例中的任一项所述的系统，其中，所述相机被设置在所述框架上。
示例10：根据上述示例中的任一项所述的系统，其中，所述相机相对于所述用户的眼睛的中心被向颞地设置在所述框架上。
示例11：根据上述示例中的任一项所述的系统，其中，所述相机被向颞地设置在所述框架上，以使得所述相机位于所述用户的头部的颞侧。
示例12：根据上述示例所述的系统，其中，所述光源包括激光器。
示例13：根据上述示例所述的系统，其中，所述光源包括VCSEL。
示例14：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以将虚拟图像内容显示到所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例15：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以便以不同量的至少一个发散度将虚拟图像内容显示给所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例16：根据上述示例中的任一项所述的系统其中，所述目镜被配置为将发散的光投射到所述用户的眼睛中，并且将光投射到所述用户的眼睛中，所述光被准直以将虚拟图像内容显示到所述用户的视场，所述虚拟图像内容看起来源自不同的深度。
示例17：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导。
示例18：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导，所述一个或多个波导被配置为将来自所述图像投影仪的光引导到所述用户的眼睛以向所述用户呈现图像内容。
示例19：一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
图像投影仪，其被配置为将图像投射到所述用户的眼睛中，以在所述用户的所述视场中显示图像内容；
相机；
目镜，其被设置在所述框架上，所述目镜被配置为将光引导到所述用户的眼睛中以将增强现实图像内容显示到所述用户的视场，所述目镜的至少一部分对可见光是透明的并且在所述用户佩戴所述头戴式显示器时被设置在所述用户的眼睛前方的位置，以使得所述透明部分将来自所述用户前方的环境的光透射到所述用户的眼睛，以提供所述用户前方的所述环境的视图；以及
至少一个光源，其被设置为照射所述眼睛，所述照射被配置为在被入射到所述眼睛上时是被偏振的；以及
偏振选择光学元件，其被设置为接收从所述眼睛反射的光；
其中，所述相机被设置为使得来自所述至少一个光源的光从所述用户的眼睛反射到所述相机，以形成由所述相机捕获的所述眼睛的图像，所述偏振选择光学元件被设置为使得所述相机接收一个偏振的光比另一偏振的光更多，以使得来自所述角膜的眩光被减少。
示例20：根据上述示例中的任一项所述的系统，还包括被设置在所述光源与所述用户的眼睛之间的光路中的偏振器。
示例21：根据上述示例中的任一项所述的系统，其中，所述光源被配置为输出偏振光。
示例22：根据上述示例中的任一项所述的系统，其中，偏振器被设置在所述光源上。
示例23：根据上述示例中的任一项所述的系统，其中，所述相机包括所述偏振选择光学元件。
示例24：根据上述示例中的任一项所述的系统，其中，所述偏振选择光学元件包括被设置在所述眼睛与所述相机之间的偏振器。
示例25：根据上述示例中的任一项所述的系统，其中，由所述光源输出的所述偏振在到达所述相机之前比其他偏振状态衰减得更多。
示例26：根据上述示例中的任一项的系统，所述照射被配置为在被入射到所述眼睛上时是被线性偏振的。
示例27：根据上述示例中的任一项所述的系统，其中，所述相机被设置在所述框架上。
示例28：根据上述示例中的任一项所述的系统，其中，所述相机相对于所述用户的眼睛的中心被向颞地设置在所述框架上。
示例29：根据上述示例中的任一项所述的系统，其中，所述相机被向颞地设置在所述框架上，以使得所述相机位于所述用户的头部的颞侧。
示例30：根据上述示例所述的系统，其中，所述光源包括激光器。
示例31：根据上述示例所述的系统，其中，所述光源包括VCSEL。
示例32：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以将虚拟图像内容显示到所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例33：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以便以不同量的至少一个发散度将虚拟图像内容显示给所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例34：根据上述示例中的任一项所述的系统其中，所述目镜被配置为将发散的光投射到所述用户的眼睛中，并且将光投射到所述用户的眼睛中，所述光被准直以将虚拟图像内容显示到所述用户的视场，所述虚拟图像内容看起来源自不同的深度。
示例35：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导。
示例36：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导，所述一个或多个波导被配置为将来自所述图像投影仪的光引导到所述用户的眼睛以向所述用户呈现图像内容。
部分VII
示例1：一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
图像投影仪，其被配置为将图像投射到所述用户的眼睛中，以在所述用户的所述视场中显示图像内容；
相机；
目镜，其被设置在所述框架上，所述目镜被配置为将光引导到所述用户的眼睛中以将增强现实图像内容显示到所述用户的视场；
至少第一反射元件和第二反射元件，其被设置在所述框架上，所述第一反射元件、所述第二反射元件和所述目镜的至少一部分对可见光是透明的并且在所述用户佩戴所述头戴式显示器时被设置在所述用户的眼睛前方的位置，以使得所述透明部分将来自所述用户前方的环境的光透射到所述用户的眼睛，以提供所述用户前方的所述环境的视图；以及
至少一个光源，其被设置为照射所述眼睛，
其中，所述相机相对于所述第一反射元件和所述第二反射元件来设置，以使得来自所述至少一个光源的光从所述用户的眼睛反射到所述第一反射元件和所述第二反射元件，并且从所述第一反射元件和所述第二反射元件反射到所述相机，以形成由所述相机捕获的所述眼睛的图像。
示例2：根据上述示例中的任一项所述的系统，其中，所述第一反射元件和所述第二反射元件被配置为以彼此不同的角度反射光。
示例3：根据上述示例中的任一项所述的系统，其中，所述第一反射元件和所述第二反射元件包括具有不同的倾斜量的衍射光学元件或全息光学元件。
示例4：根据上述示例中的任一项所述的系统，其中，所述第一反射元件和所述第二反射元件包括衍射光学元件或全息光学元件，所述衍射光学元件或所述全息光学元件具有被编程到所述衍射光学元件或所述全息光学元件中的不同的倾斜量。
示例5：根据上述示例中的任一项所述的系统，其中，所述第二反射元件比所述第一反射元件更在前面的，并且由此比所述第一反射元件更远离所述眼睛。
示例6：根据上述示例中的任一项所述的系统，其中，所述反射元件包括衍射光学元件或全息光学元件。
示例7：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为接收来自所述图像投影仪的光并将所述光引导到所述用户的眼睛中以将增强现实图像内容显示到所述用户的视场。
示例8：根据上述示例中的任一项所述的系统，其中，所述目镜包括所述至少一个波导。
示例9：根据上述示例中的任一项所述的系统，其中，所述反射元件被设置在所述目镜上。
示例10：根据上述示例中的任一项所述的系统，其中，反射元件是所述目镜的部分。
示例11：根据上述示例中的任一项所述的系统，其中，所述第一反射元件对第一波长的光比第二波长的光反射得更多，以及所述第二反射元件对所述第二波长的光比所述第一波长的光反射更多。
示例12：根据上述示例中的任一项所述的系统，其中，所述第一反射元件和所述第二反射元件被配置为收集来自不同方向的光并将所述光引导到所述相机。
示例13：根据上述示例中的任一项所述的系统，其中，所述第一反射元件和所述第二反射元件被配置为收集来自所述视网膜的不同部分的光并将所述光引导到所述相机。
示例14：根据上述示例中的任一项所述的系统，其中，所述第一反射元件和所述第二反射元件向相机提供所述视网膜的不同视角。
示例15：根据上述示例中的任一项所述的系统，其中，所述第一反射元件和所述第二反射元件向相机提供所述视网膜的不同视图。
示例16：根据上述示例中的任一项所述的系统，其中，所述反射光学元件包括离轴镜。
示例17：根据上述示例中的任一项所述的系统，其中，所述相机被设置在所述框架上。
示例18：根据上述示例中的任一项所述的系统，其中，所述相机相对于所述用户的眼睛的中心被向颞地设置在所述框架上。
示例19：根据上述示例中的任一项所述的系统，其中，所述相机被向颞地设置在所述框架上，以使得所述相机位于所述用户的头部的颞侧。
示例20：根据上述示例所述的系统，其中，所述光源包括激光器。
示例21：根据上述示例所述的系统，其中，所述光源包括VCSEL。
示例22：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以将虚拟图像内容显示到所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例23：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以便以不同量的至少一个发散度将虚拟图像内容显示给所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例24：根据上述示例中的任一项所述的系统其中，所述目镜被配置为将发散的光投射到所述用户的眼睛中，并且将光投射到所述用户的眼睛中，所述光被准直以将虚拟图像内容显示到所述用户的视场，所述虚拟图像内容看起来源自不同的深度。
示例25：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导。
示例26：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导，所述一个或多个波导被配置为将来自所述图像投影仪的光引导到所述用户的眼睛以向所述用户呈现图像内容。
部分VIII
示例1：一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
图像投影仪，其被配置为将图像投射到所述用户的眼睛中，以在所述用户的所述视场中显示图像内容；
第一相机和第二相机；
目镜，其被设置在所述框架上，所述目镜被配置为将光引导到所述用户的眼睛中以将增强现实图像内容显示到所述用户的视场；
反射元件，其被设置在所述框架上，所述反射元件和所述目镜的至少一部分对可见光是透明的并且在所述用户佩戴所述头戴式显示器时被设置在所述用户的眼睛前方的位置，以使得所述透明部分将来自所述用户前方的环境的光透射到所述用户的眼睛，以提供所述用户前方的所述环境的视图；以及
至少一个光源，其被设置为照射所述眼睛，
其中，所述第一相机和所述第二相机相对于所述反射元件来设置，以使得来自所述照射源的光从所述用户的眼睛反射到所述反射元件，并且从所述反射元件反射到所述第一相机和所述第二相机，以形成由所述第一相机和所述第二相机捕获的所述眼睛的图像。
示例2：根据上述示例中的任一项所述的系统，其中，所述第一相机和所述第二相机相对于彼此横向地设置。
示例3：根据上述示例中的任一项所述的系统，其中，所述第一相机和所述第二相机并排设置。
示例4：根据上述示例中的任一项所述的系统，其中，所述第一相机和所述第二相机提供所述视网膜的不同视角。
示例5：根据上述示例中的任一项所述的系统，其中，所述第一相机和所述第二相机提供所述视网膜的不同视图。
示例6：根据上述示例中的任一项所述的系统，其中，所述第一相机和所述第二相机一起提供所述视网膜的增加的视场。
示例7：根据上述示例中的任一项所述的系统，其中，所述第一相机和所述第二相机被设置在所述框架上。
示例8：根据上述示例中的任一项所述的系统，其中，所述第一相机和所述第二相机相对于所述用户的眼睛的中心被向颞地设置在所述框架上。
示例9：根据上述示例中的任一项所述的系统，其中，所述第一相机和所述第二相机被向颞地设置在所述框架上，以使得所述相机位于所述用户的头部的颞侧。
示例10：根据上述示例中的任一项所述的系统，其中，反射光学元件包括衍射光学元件或全息光学元件。
示例11：根据上述示例中的任一项所述的系统，其中，所述反射光学元件包括离轴镜。
示例12：根据上述示例所述的系统，其中，所述光源包括激光器。
示例13：根据上述示例所述的系统，其中，所述光源包括VCSEL。
示例14：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以将虚拟图像内容显示到所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例15：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以便以不同量的至少一个发散度将虚拟图像内容显示给所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例16：根据上述示例中的任一项所述的系统其中，所述目镜被配置为将发散的光投射到所述用户的眼睛中，并且将光投射到所述用户的眼睛中，所述光被准直以将虚拟图像内容显示到所述用户的视场，所述虚拟图像内容看起来源自不同的深度。
示例17：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导。
示例18：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导，所述一个或多个波导被配置为将来自所述图像投影仪的光引导到所述用户的眼睛以向所述用户呈现图像内容。
示例19：一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
图像投影仪，其被配置为将图像投射到所述用户的眼睛中，以在所述用户的所述视场中显示图像内容；
第一相机和第二相机；
目镜，其被设置在所述框架上，所述目镜被配置为将光引导到所述用户的眼睛中以将增强现实图像内容显示到所述用户的视场，所述目镜的至少一部分对可见光是透明的并且在所述用户佩戴所述头戴式显示器时被设置在所述用户的眼睛前方的位置，以使得所述透明部分将来自所述用户前方的环境的光透射到所述用户的眼睛，以提供所述用户前方的所述环境的视图；以及
至少一个光源，其被设置为照射所述眼睛，
其中，所述第一相机和所述第二相机被设置为使得来自所述照射源的光从所述用户的眼睛反射到所述第一相机和所述第二相机，以形成由所述第一相机和所述第二相机捕获的所述眼睛的图像。
示例20：根据上述示例中的任一项所述的系统，其中，所述第一相机和所述第二相机相对于彼此横向地设置。
示例21：根据上述示例中的任一项所述的系统，其中，所述第一相机和所述第二相机并排设置。
示例22：根据上述示例中的任一项所述的系统，其中，所述第一相机和所述第二相机提供所述视网膜的不同视角。
示例23：根据上述示例中的任一项所述的系统，其中，所述第一相机和所述第二相机提供所述视网膜的不同视图。
示例24：根据上述示例中的任一项所述的系统，其中，所述第一相机和所述第二相机一起提供所述视网膜的增加的视场。
示例25：根据上述示例中的任一项所述的系统，其中，所述第一相机和所述第二相机被设置在所述框架上。
示例26：根据上述示例中的任一项所述的系统，其中，所述第一相机和所述第二相机相对于所述用户的眼睛的中心被向颞地设置在所述框架上。
示例27：根据上述示例中的任一项所述的系统，其中，所述第一相机和所述第二相机被向颞地设置在所述框架上，以使得所述相机位于所述用户的头部的颞侧。
示例28：根据上述示例所述的系统，其中，所述光源包括激光器。
示例29：根据上述示例所述的系统，其中，所述光源包括VCSEL。
示例30：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以将虚拟图像内容显示到所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例31：根据上述示例中的任一项所述的系统，其中，所述目镜被配置为将光投射到所述用户的眼睛中，以便以不同量的至少一个发散度将虚拟图像内容显示给所述用户的视场，以使得所显示的虚拟图像内容看起来源自不同的深度。
示例32：根据上述示例中的任一项所述的系统其中，所述目镜被配置为将发散的光投射到所述用户的眼睛中，并且将光投射到所述用户的眼睛中，所述光被准直以将虚拟图像内容显示到所述用户的视场，所述虚拟图像内容看起来源自不同的深度。
示例33：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导。
示例34：根据上述示例中的任一项所述的系统，其中，所述目镜包括一个或多个波导，所述一个或多个波导被配置为将来自所述图像投影仪的光引导到所述用户的眼睛以向所述用户呈现图像内容。
部分IX
示例1：一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有视网膜和瞳孔，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中以将虚拟图像内容显示到所述用户的视场；
至少一个光源，其被配置为将光引导到所述视网膜；
一个或多个相机，其被配置为对所述用户的视网膜进行成像，所述相机包括图像传感器和相机透镜；以及
处理电子器件，其与所述显示器和所述一个或多个相机通信，所述处理电子器件被配置为：
接收由所述一个或多个相机捕获的所述用户的视网膜的一个或多个图像；以及
基于由所述一个或多个相机产生的一个或多个图像来估计所述眼睛的第一特征的位置。
示例2：根据权利要求1所述的显示系统，其中，所述眼睛的所述第一特征的所述位置包括3D空间中的位置。
示例3：根据示例1或2所述的显示系统，其中，所述眼睛的所述第一特征的所述位置不是所述视网膜的特征。
示例4：根据上述示例中的任一项所述的显示系统，其中，处理电子器件还被配置为基于所述眼睛的所述第一特征的所述位置来估计所述眼睛的第二特征的位置。
示例5：根据示例4所述的显示系统，其中，所述眼睛的所述第二特征的所述位置包括3D空间中的位置。
示例6：根据示例4或5中的任一项所述的显示系统，其中，所述眼睛的所述第二特征的所述位置不是所述视网膜的特征。
示例7：根据示例4-6中的任一项所述的显示系统，其中，基于所述眼睛的凝视方向来估计所述眼睛的所述第二特征的所述位置。
示例8：根据示例4-7中的任一项所述的显示系统，其中，通过沿着所述眼睛的凝视方向从所述眼睛的所述第一特征的所述位置到所述眼睛的所述第二特征的所述位置平移一距离来估计所述眼睛的所述第二特征的所述位置。
示例9：根据示例8所述的显示系统，其中，所述处理电子器件被配置为基于凝视方向的多个测量来估计所述距离。
示例10：根据上述示例中的任一项所述的显示系统，其中，所述处理电子器件被配置为基于由所述一个或多个相机获得的所述视网膜的图像来确定所述用户的眼睛的凝视方向。
示例11：根据上述示例中的任一项所述的显示系统，其中，所述处理电子器件被配置为基于评估由所述相机获得的所述视网膜的图像的至少部分在视网膜映射内适配的位置来确定所述用户的眼睛的凝视方向。
示例12：根据上述示例中的任一项所述的显示系统，其中，所述处理电子器件被配置为基于针对不同的用户眼睛凝视获得的多个视网膜图像来产生视网膜映射。
示例13：根据上述示例中的任一项所述的显示系统，其中，通过向所述用户的眼睛显示多个目标来部分地产生视网膜映射，所述目标位于不同的位置，从而使所述用户的眼睛改变凝视方向，所述不同的凝视方向与由所述一个或多个相机获得的在所述相应凝视方向的所述视网膜的图像相关。
示例14：根据上述示例中的任一项所述的显示系统，其中，所述处理电子器件被配置为基于将所述用户的视网膜的图像与所述用户的眼睛的凝视方向相关来产生凝视矩阵。
示例15：根据上述示例中的任一项所述的显示系统，其中，基于由所述一个或多个相机捕获的所述视网膜的至少第一图像和第二图像来估计所述第一特征的所述位置，所述视网膜的所述第一图像和所述第二图像从不同视角获得。
示例16：根据上述示例中的任一项所述的显示系统，其中，所述一个或多个相机包括第一相机和第二相机，以及所述眼睛的所述第一特征的所述位置基于分别由所述第一相机和所述第二相机捕获的所述视网膜的至少第一图像和第二图像来估计。
示例17：根据上述示例中的任一项所述的显示系统，其中，所述一个或多个相机包括第一相机和第二相机，以及所述眼睛的所述第一特征的所述位置基于分别由所述第一相机和所述第二相机捕获的所述视网膜的多个第一图像和第二图像来估计。
示例18：根据上述示例中的任一项所述的显示系统，其中，所述眼睛的所述第一特征的所述位置基于对被投射到所述图像传感器上的所述视网膜的特征的位置的确定来估计。
示例19：根据上述示例中的任一项所述的显示系统，其中，所述第一特征的所述位置基于对被投射到所述图像传感器上的所述视网膜的血管的位置的确定来估计。
示例20：根据上述示例中的任一项所述的显示系统，其中，所述眼睛的所述第一特征的所述位置基于对被投射到所述图像传感器上的所述视网膜的特征相对于所述图像传感器上的参考位置的位置的确定来估计。
示例21：根据上述示例中的任一项所述的显示系统，其中，所述眼睛的所述第一特征的所述位置基于对被投射到所述图像传感器上的所述视网膜的血管相对于所述图像传感器上的参考位置的位置的确定来估计。
示例22：根据上述示例中的任一项所述的显示系统，其中，所述眼睛的所述第一特征的所述位置基于对由所述相机捕获的图像中的光斑的位置的确定来估计，所述光斑由来自所述至少一个光源的从所述视网膜反射并被投射到所述图像传感器上的光形成。
示例23：根据上述示例中的任一项所述的显示系统，其中，所述眼睛的所述第一特征的所述位置基于对由所述相机捕获的图像中的光斑相对于所述图像传感器上的参考的位置的确定来估计，所述光斑由来自所述至少一个光源的从所述视网膜反射并被投射到所述图像传感器上的光形成。
示例24：根据上述示例中的任一项所述的显示系统，其中，所述处理电子器件被配置为确定由所述一个或多个相机捕获的图像中的光斑的质量中心或质心，所述光斑由来自所述至少一个光源的从所述视网膜反射并被投射到所述图像传感器上的光形成。
示例25：根据上述示例中的任一项所述的显示系统，其中，所述一个或多个相机包括第一相机和第二相机，所述眼睛的所述第一特征的所述位置基于对分别由所述第一相机和所述第二相机捕获的第一图像和第二图像中的光斑的位置进行比较来估计，所述光斑由来自所述至少一个光源的从所述视网膜反射并被投射到所述图像传感器上的光形成。
示例26：根据上述示例中的任一项所述的显示系统，其中，所述眼睛的所述第一特征的所述位置是基于对由所述一个或多个相机捕获的图像中的多个光斑的位置的确定来估计，所述光斑由来自所述至少一个光源的从所述视网膜反射并被投射到所述图像传感器上的光形成。
示例27：根据上述示例中的任一项所述的显示系统，其中，所述眼睛的所述第一特征的所述位置基于对由所述一个或多个相机捕获的图像中的多个光斑的位置进行比较来估计，所述光斑由来自所述至少一个光源的从所述视网膜反射并被投射到所述图像传感器上的光形成。
示例28：根据上述示例中的任一项所述的显示系统，其中，所述处理电子器件被配置为确定由所述一个或多个相机捕获的图像中的多个相应光斑的多个质量中心或质心，所述光斑由来自所述至少一个光源的从所述视网膜反射并被投射到所述图像传感器上的光形成。
示例29：根据上述示例中的任一项所述的显示系统，其中，所述处理电子器件被配置为确定由所述一个或多个相机捕获的图像中的多个相应光斑相对于所述图像传感器上的参考的多个质量中心或质心，所述光斑由来自所述至少一个照射源的从所述视网膜反射并被投射到所述图像传感器上的光形成。
示例30：根据上述示例中的任一项所述的显示系统，其中，所述处理电子器件被配置为使用三角测量来确定所述眼睛的所述第一特征的所述位置。
示例31：根据上述示例中的任一项所述的显示系统，还包括：被配置为向所述一个或多个相机提供所述视网膜的不同视角的被分段的光学元件。
示例32：根据示例31所述的显示系统，其中，所述被分段的光学元件包括反射光学元件，所述反射光学元件被分段以向所述一个或多个相机提供所述视网膜的不同视角。
示例33：根据示例31或32中的任一项所述的显示系统，其中，所述被分段的光学元件包括被分段的衍射或全息光学元件。
示例34：根据示例31-33中的任一项所述的显示系统，其中，所述被分段的光学元件包括被配置为收集来自不同方向的光并将所述光引导到所述一个或多个相机的不同分段。
示例35：根据上述示例中的任一项所述的显示系统，还包括：被配置为向所述一个或多个相机提供所述视网膜的不同视角的多个光学元件。
示例36：根据上述示例35所述的显示系统，其中，被配置为向所述一个或多个相机提供所述视网膜的不同视角的所述多个光学元件包括多个反射光学元件。
示例37：根据示例35或36中的任一项所述的显示系统，其中，所述多个光学元件包括衍射或全息光学元件。
示例38：根据示例35-37中的任一项所述的显示系统，其中，所述多个光学元件中的相应光学元件被配置为收集来自不同相应方向的光并且将所述光引导到所述至少一个相机。
示例39：根据示例35-38中的任一项所述的显示系统，其中，被配置为向所述一个或多个相机提供所述视网膜的不同视角的所述多个光学元件包括多个衍射或全息光学元件。
示例40：根据示例35-39中的任一项所述的显示系统，其中，被配置为向所述一个或多个相机提供所述视网膜的不同视角的所述多个光学元件包括多个反射式衍射或全息光学元件。
示例41：根据上述示例中的任一项所述的显示系统，其中，所述处理器被配置为基于针对不同凝视方向捕获的所述视网膜的多个图像来确定所述眼睛的所述第一特征的所述位置。
示例42：根据示例1-16、18-24和26-41中的任一项所述的显示系统，其中，所述至少一个相机包括单个相机。
示例43：根据上述示例中的任一项所述的显示系统，其中，所述第一特征的所述位置包括所述瞳孔的位置。
示例44：根据上述示例中的任一项所述的显示系统，其中，所述第一特征的所述位置包括所述瞳孔的中心的位置。
示例45：根据示例4-44中的任一项所述的显示系统，其中，所述第二特征的所述位置包括眼球中心或所述眼睛的旋转中心的位置。
示例46：一种在显示系统中确定眼睛的特性的方法，所述显示系统被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有视网膜和瞳孔，所述显示系统包括：框架，其被配置为支撑在所述用户的头部上；头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中以将虚拟图像内容显示到所述用户的视场；至少一个光源；以及一个或多个相机，所述方法包括：
将来自所述光源的光引导到所述视网膜；
用所述一个或多个相机对所述视网膜进行成像；以及
基于由所述一个或多个相机产生的一个或多个图像来估计所述眼睛的第一特征的位置。
示例47：根据示例46所述的方法，其中，所述眼睛的所述第一特征的所述位置包括3D空间中的位置。
示例48：根据示例46或47所述的方法，其中，所述眼睛的所述第一特征的所述位置不是所述视网膜的特征。
示例49：根据示例46-48中的任一项所述的方法，其中，处理电子器件还被配置为基于所述眼睛的所述第一特征的所述位置来估计所述眼睛的第二特征的位置。
示例50：根据示例49所述的方法，其中，所述眼睛的所述第二特征的所述位置包括3D空间中的位置。
示例51：根据示例49或50中的任一项所述的方法，其中，所述眼睛的所述第二特征的所述位置不是所述视网膜的特征。
示例52：根据示例46-51中的任一项所述的方法，其中，所述第一特征的所述位置包括所述瞳孔的位置。
示例53：根据示例46-52中的任一项所述的方法，其中，所述第一特征的所述位置包括所述瞳孔的中心的位置。
示例54：根据示例49-53中的任一项所述的方法，其中，所述第二特征的所述位置包括眼球中心或所述眼睛的旋转中心的位置。
其他考虑事项
在前述说明书中，已参考发明的特定实施例描述了发明。然而，显而易见的是，在不脱离本发明的更广泛的精神和范围的情况下，可以对其进行各种变型和改变。因此，说明书和附图应被视为示例性的而非限制性意义的。
实际上，应当理解，本公开的系统和方法各自具有若干创新性方面，这些方面中的任一单个方面不单独负责本文所公开的期望待性或不是本文所公开的期望待性所必需的。上述各种特征和过程可彼此独立使用或可以以各种方式组合使用。所有可能的组合和子组合均旨在落入此公开的范围内。
在单独实施方式的上下文中在此说明书所述的某些特征也能在单个实施方式中组合实现。相反，在单个实施方式的上下文中所述的各种特征也能在多个实施方式中单独地或以任何合适的子组合实现。此外，尽管上文可将特征描述为以某些组合执行，甚至最初这样示例出的，但在一些情况下，来自所示例的组合的一个或多个特征能被从该组合中删除，且所示例的组合可涉及子组合或子组合的变体。任何单个特征或特征组对于每个实施例都不是必需或不可或缺的。
在此描述的和/或在附图中描绘的过程、方法和算法中的每一者可以体现在由一个或多个物理计算系统、硬件计算机处理器、专用电路和/或被配置为执行具体和特定计算机指令的电子硬件所执行的代码模块中，并且由以上完全或部分自动化。例如，计算系统可以包括编程有特定计算机指令的通用计算机(例如，服务器)或专用计算机、专用电路等等。代码模块可以被编译并链接到可执行程序中，安装在动态链接库中，或者可以用解释的编程语言写入。在一些实施方式中，特定操作和方法可以由专用于给定功能的电路来执行。
此外，本公开的功能的某些实施方式在数学上、计算上或技术上是足够复杂的，以致于可能需要专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)来执行功能，例如由于所涉及的计算的数量或复杂性或为了基本实时地提供结果。例如，动画或视频可以包括许多帧，每帧具有数百万个像素，并且特别编程计算机硬件需要处理视频数据，从而在商业上合理的时间量内提供期望的图像处理任务或应用。
本公开的各种实施例可以是任何可能的技术细节集成级别的系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质(或多个介质)，其上具有计算机可读程序指令，用于使处理器执行本公开的各方面。
例如，在此描述的功能可以在软件指令由一个或多个硬件处理器和/或任何其它合适的计算设备执行和/或响应于软件指令由一个或多个硬件处理器和/或任何其它合适的计算设备执行时执行。软件指令和/或其它可执行代码可以从计算机可读存储介质(或多个介质)中读取。
计算机可读存储介质可以是可以保留和存储数据和/或指令以供指令执行设备使用的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备(包括任何易失性和/或非易失性电子存储设备)、磁存储设备、光存储设备、电磁存储设备、半导体存储设备，或前述的任何合适的组合。计算机可读存储介质的更具体示例的非详尽列表包括以下：便携式计算机软盘、硬盘、固态驱动器、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能磁盘(DVD)、记忆棒、软盘、机械编码设备，诸如穿孔卡或凹槽中记录有指令的凸起结构，以及上述任何合适的组合。如在此所使用的，计算机可读存储介质不应被解释为本身的瞬态信号，诸如无线电波或其它自由传播的电磁波、传播通过波导或其它传输介质的电磁波(例如，穿过光纤电缆的光脉冲)或通过电线传输的电信号。
在此描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。该网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
用于执行本公开的操作的计算机可读程序指令(在此也称为例如“代码”、“指令”、“模块”、“应用”、“软件应用”等)可以是汇编器指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据，或以一种或多种编程语言的任何组合编写的源代码或目标代码，包括面向对象的编程语言，诸如Java、C++等，以及过程编程语言，诸如“C”编程语言或类似的编程语言。计算机可读程序指令可从其它指令或从其自身调用，和/或可响应于检测到的事件或中断而被调用。被配置为在计算设备上执行的计算机可读程序指令可以在计算机可读存储介质上提供，和/或被提供为数字下载(并且可以最初以需要在执行之前安装、解压缩或解密的压缩或可安装格式存储)，该数字下载然后可以存储在计算机可读存储介质上。此类计算机可读程序指令可以部分或全部存储在执行计算设备的存储设备(例如，计算机可读存储介质)上，以供计算设备执行。计算机可读程序指令可以完全在用户计算机(例如，执行计算设备)上执行，部分地在用户计算机上执行，作为独立软件包，部分地在用户计算机上并且部分地在远程计算机上或完全在远程计算机或服务器上执行。在后一场景中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以连接到外部计算机(例如通过使用互联网服务提供商的互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以个性化电子电路，以便执行本公开的各方面。
在此参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本公开的各方面。应当理解，流程图和/或框图的每个框，以及流程图和/或框图中的框的组合，可以通过计算机可读程序指令来实现。
可以将这些计算机可读程序指令提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器以产生机器，使得经由计算机或其它可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个框或多个框中指定的功能/动作的部件。这些计算机可读程序指令也可以存储在计算机可读存储介质中，该计算机可读存储介质可以引导计算机、可编程数据处理装置和/或其它设备以特定方式运行，使得其中存储有指令的计算机可读存储介质包括实现在流程图和/或框图的一个框或多个框中指定的功能/动作的方面的指令的制造物品。
计算机可读程序指令也可以加载到计算机、其它可编程数据处理装置或其它设备上，以使一系列操作步骤在计算机、其它可编程装置或其它设备上执行以产生计算机实现的过程，使得在计算机、其它可编程装置或其它设备上执行的指令实现流程图和/或框图的一个框或多个框中指定的功能/动作。例如，指令最初可以承载在远程计算机的磁盘或固态驱动器上。远程计算机可以将指令和/或模块加载到其动态存储器中，并使用调制解调器通过电话、电缆或光线路发送指令。服务器计算系统本地的调制解调器可以接收电话/电缆/光纤线路上的数据并使用包括适当电路的转换器设备将数据放置在总线上。总线可以携带数据到存储器，处理器可以从该存储器取得和执行指令。由存储器接收的指令可以可选地在计算机处理器执行之前或之后存储在存储设备(例如，固态驱动器)上。
图中的流程图和框图示出根据本公开的各种实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。就这一点而言，流程图或框图中的每个框可以表示模块、段或指令的一部分，其包括用于实现特定逻辑功能的一个或多个可执行指令。在一些替代实现方式中，框中标注的功能可能不按图中标注的顺序出现。例如，连续显示的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。此外，在一些实现方式中可以省略某些框。在此描述的方法和过程也不限于任何特定的顺序，并且与其相关的框或状态可以以其它适当的顺序来执行。
还将注意，框图和/或流程图说明的每个框，以及框图和/或流程图说明中的框的组合，可以通过执行特定功能或行为或执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。例如，前面部分中描述的任何过程、方法、算法、元素、框、应用或其它功能(或功能的部分)可以体现在电子硬件中，诸如专用处理器(例如，专用集成电路(ASIC))、可编程处理器(例如，现场可编程门阵列(FPGA))、专用电路等(其中任何一个还可以将定制的硬连线逻辑、逻辑电路、ASIC、FPGA等与软件指令的定制编程/执行相结合，以完成这些技术)中，和/或经由该电子硬件完全或部分自动化。
任何上述处理器和/或结合任何上述处理器的设备在此可以称为例如“计算机”、“计算机设备”、“计算设备”、“硬件计算设备”、“硬件处理器”、“处理单元”等。上述实施例的计算设备通常(但不一定)由操作系统软件控制和/或协调，诸如Mac OS、iOS、Android、Chrome OS、Windows OS(例如，Windows XP、Windows Vista、Windows 7、Windows 8、Windows 10、Windows Server等)、Windows CE、Unix、Linux、SunOS、Solaris、BlackberryOS、VxWorks或其它合适的操作系统。在其它实施例中，计算设备可以由专有操作系统控制。传统操作系统控制和调度计算机进程以供执行、执行存储器管理、提供文件系统、网络、I/O服务，并提供用户界面功能，诸如图形用户界面(“GUI”)等。
如上所述，在各种实施例中，用户可以通过基于web的查看器(诸如web浏览器)或其它合适的软件程序)访问某些功能。在此类实现方式中，用户界面可以由服务器计算系统生成并发送到用户的web浏览器(例如，在用户的计算系统上运行)。可替代地，用于生成用户界面所需的数据(例如，用户界面数据)可以由服务器计算系统提供给浏览器，其中可以生成用户界面(例如，用户界面数据可以由访问web服务的浏览器执行，并且可以被配置为基于用户界面数据渲染用户界面)。然后用户可以通过web浏览器与用户界面交互。某些实现方式的用户界面可以通过一个或多个专用软件应用访问。在某些实施例中，本公开的一个或多个计算设备和/或系统可以包括移动计算设备，并且用户界面可以通过此类移动计算设备(例如，智能手机和/或平板计算机)访问。
这些计算机程序(也可以称为程序、软件、软件应用、应用、组件或代码)可以包括用于可编程控制器、处理器、微处理器或其它计算或计算机化架构的机器指令，并且可以以高级程序语言、面向对象的编程语言、函数式编程语言、逻辑编程语言和/或汇编/机器语言实现。如在此所使用的，术语“机器可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备，诸如例如磁盘、光盘、存储器和可编程逻辑设备(PLD)，包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。机器可读介质可以非暂态地存储此类机器指令，诸如例如非暂态固态存储器或磁性硬盘驱动器或任何等效存储介质。机器可读介质可以可替代地或另外地以瞬时方式存储此类机器指令，诸如例如与一个或多个物理处理器核相关联的处理器缓存或其它随机存取存储器。
可以对上述实施例进行许多变化和修改，其中的元素应被理解为是其它可接受的示例。所有此类修改和变化都旨在在此包括在本公开的范围内。前述描述详述了某些实施例。然而，应当理解，无论前面在文本中出现的多么详细，系统和方法都可以以多种方式实施。如上所述，应该注意，在描述系统和方法的某些特征或方面时使用特定术语不应被视为暗示该术语在此被重新定义为仅限于包括与该术语相关联的系统和方法的特征或方面的任何特定特征。
应当理解，本文中使用的条件语，诸如(除其他项外)“能”、“能够”、“可能”、“可以”、“例如”等一般旨在表达某些实施例包括而其他实施例不包括某些特征、元素和/或步骤，另有具体说明或在上下文中另有理解除外。因此，这样的条件语一般不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在具有或没有程序设计者输入或提示的情况下决定这些特征、元素和/或步骤是否包括在或者是否将在任何具体实施例中执行的逻辑。术语“包括”、“包含”、“具有”等是同义词，且以开放式的方式包含性地使用，且不排除额外的元素、特征、动作、操作等。此外，术语“或”以其包含性含义(而不是其专有性含义)使用，因此，当被用于例如连接元素列表时，术语“或”意味着列表中的一个、一些或全部元素。另外，本申请和所附例子中使用的冠词“一”、“一个”和“所述”应被解释为意味着“一个或多个”或“至少一个”，另有具体说明除外。类似地，虽然操作在附图中可以以特定顺序描绘，但应认识到，这样的操作不需要以所述特定顺序或以相继顺序执行，或执行所有例示的操作以实现期望的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其他操作能并入示意性地示出的示例方法和过程中。例如，能在任何所示操作之前、之后、同时或期间执行一个或多个附加操作。另外，在其他实施方式中，操作可被重新排列或重新排序。在某些情况下，多任务和并行处理可具有优势。此外，上述实施方式描述的各种系统组件的分离不应被理解为在所有实施方式中都需要这种分离，且应该理解，所述程序组件和系统一般能被一起集成在单个软件产品中或封装到多个软件产品中。另外，其他实施方式处于以下例子的范围内。在一些情况下，例子中列举的动作能以不同的顺序执行，且仍实现期望的结果。
因此，本公开不旨在限于本文所示的实施例，而是符合与本公开一致的最宽范围、本文公开的原理和新颖特征。下面提供各种示例系统和方法。
Claims (20)
1.一种头戴式显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示增强现实图像内容，所述头戴式显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
图像投影仪，其被配置为将图像投射到所述用户的眼睛中，以在所述用户的所述视场中显示图像内容；
相机，其被向颞地设置在所述框架上，以使得所述相机位于所述用户的头部的颞侧；
目镜，其被设置在所述框架上，所述目镜被配置为将光引导到所述用户的眼睛中以将增强现实图像内容显示到所述用户的视场；
反射元件，其被设置在所述框架上，所述反射元件和所述目镜的至少一部分对可见光是透明的并且在所述用户佩戴所述头戴式显示器时被设置在所述用户的眼睛前方的位置，以使得所述透明部分将来自所述用户前方的环境的光透射到所述用户的眼睛，以提供所述用户前方的所述环境的视图；以及
至少一个VCSEL，其被设置为照射所述眼睛，
其中，所述相机相对于所述反射元件来设置，以使得来自所述VCSEL的光从所述用户的眼睛反射到所述反射元件，并且从所述反射元件反射到所述相机，以形成由所述相机捕获的所述眼睛的图像。
2.根据权利要求1所述的系统，其中，所述至少一个VCSEL包括IR光源，所述IR光源输出比可见光更多的红外光。
3.根据权利要求1所述的系统，其中，所述至少一个VCSEL包括多个VCSEL。
4.根据权利要求1所述的系统，其中，在所述用户佩戴所述至少一个VCSEL时，在所述用户的头部的颞侧将所述至少一个VCSEL向颞地安装在所述框架上。
5.根据权利要求1所述的系统，其中，所述至少一个VCSEL被安装在所述目镜上的层上。
6.根据权利要求1所述的系统，其中，所述至少一个VCSEL被安装在所述用户的眼睛前方的层上，以使得在所述用户佩戴所述头戴式显示器时，所述层将来自所述用户前方的环境的光透射到所述用户的眼睛以提供所述用户前方的所述环境的视图。
7.根据权利要求1所述的系统，其中，所述VCSEL被配置为输出偏振光。
8.根据权利要求1所述的系统，还包括：被设置在所述VCSEL与所述用户的眼睛之间的偏振器。
9.根据权利要求1所述的系统，还包括：位于所述VCSEL上的偏振器。
10.根据权利要求1所述的系统，还包括：电子器件，其被配置为对所述VCSEL进行调制以减少斑点。
11.根据权利要求1所述的系统，其中，所述至少一个VCSEL与所述相机集成。
12.一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有视网膜和瞳孔，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中以将虚拟图像内容显示到所述用户的视场；
至少一个光源，其被配置为将光引导到所述视网膜；
一个或多个相机，其被配置为对所述用户的视网膜进行成像，所述相机包括图像传感器和相机透镜；以及
处理电子器件，其与所述显示器和所述一个或多个相机通信，所述处理电子器件被配置为：
接收由所述一个或多个相机捕获的所述用户的视网膜的一个或多个图像；以及
基于由所述一个或多个相机产生的一个或多个图像来估计所述眼睛的第一特征的位置。
13.根据权利要求12所述的显示系统，其中，所述眼睛的所述第一特征的所述位置包括3D空间中的位置。
14.根据权利要求12所述的显示系统，其中，所述眼睛的所述第一特征的所述位置不是所述视网膜的特征。
15.根据权利要求12所述的显示系统，其中，处理电子器件还被配置为基于所述眼睛的所述第一特征的所述位置来估计所述眼睛的第二特征的位置。
16.根据权利要求15所述的显示系统，其中，所述眼睛的所述第二特征的所述位置包括3D空间中的位置。
17.根据权利要求15所述的显示系统，其中，所述眼睛的所述第二特征的所述位置不是所述视网膜的特征。
18.根据权利要求12所述的显示系统，其中，所述第一特征的所述位置包括所述瞳孔的位置。
19.根据权利要求18所述的显示系统，其中，所述第一特征的所述位置包括所述瞳孔的中心的位置。
20.根据权利要求12所述的显示系统，其中，所述第二特征的所述位置包括眼球中心或所述眼睛的旋转中心的位置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202062992858P | 2020-03-20 | 2020-03-20 | |
| US62/992,858 | 2020-03-20 | ||
| PCT/US2021/023201 WO2021188926A1 (en) | 2020-03-20 | 2021-03-19 | Systems and methods for retinal imaging and tracking |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115298597A true CN115298597A (zh) | 2022-11-04 |
Family
ID=77747942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180022648.7A Pending CN115298597A (zh) | 2020-03-20 | 2021-03-19 | 用于视网膜成像和跟踪的系统和方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US11474358B2 (zh) |
| EP (1) | EP4121813A4 (zh) |
| JP (1) | JP2023518421A (zh) |
| CN (1) | CN115298597A (zh) |
| WO (1) | WO2021188926A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115984952A (zh) * | 2023-03-20 | 2023-04-18 | 杭州叶蓁科技有限公司 | 基于球结膜血管图像识别的眼动跟踪系统及其方法 |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10481479B2 (en) * | 2016-09-26 | 2019-11-19 | Ronald S. Maynard | Immersive optical projection system |
| CN109188700B (zh) * | 2018-10-30 | 2021-05-11 | 京东方科技集团股份有限公司 | 光学显示系统及ar/vr显示装置 |
| WO2021188926A1 (en) | 2020-03-20 | 2021-09-23 | Magic Leap, Inc. | Systems and methods for retinal imaging and tracking |
| US11510750B2 (en) * | 2020-05-08 | 2022-11-29 | Globus Medical, Inc. | Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications |
| CN116507267A (zh) * | 2020-09-22 | 2023-07-28 | 苹果公司 | 用于视网膜眼睛跟踪的多个注视相关照明源 |
| CN114938418A (zh) * | 2021-02-04 | 2022-08-23 | 佳能株式会社 | 具有视线检测功能的取景器单元、摄像设备和附接配件 |
| US11716456B2 (en) * | 2021-05-21 | 2023-08-01 | Microsoft Technology Licensing, Llc | Autocalibrated near-eye display |
| US20230055268A1 (en) * | 2021-08-18 | 2023-02-23 | Meta Platforms Technologies, Llc | Binary-encoded illumination for corneal glint detection |
| WO2023049307A1 (en) * | 2021-09-24 | 2023-03-30 | Chinook Labs Llc | Active illumination systems |
| WO2023067424A1 (ja) * | 2021-10-19 | 2023-04-27 | 株式会社半導体エネルギー研究所 | 光学装置 |
| US20230152578A1 (en) * | 2021-11-15 | 2023-05-18 | Meta Platforms Technologies, Llc | Multi-view eye tracking system with a holographic optical element combiner |
| US20230176377A1 (en) | 2021-12-06 | 2023-06-08 | Facebook Technologies, Llc | Directional illuminator and display apparatus with switchable diffuser |
| EP4198607A1 (en) * | 2021-12-20 | 2023-06-21 | ams International AG | Eye sensing |
| CN114187648B (zh) * | 2022-02-15 | 2022-05-10 | 深圳熙卓科技有限公司 | 一种红外和可见光双镜头处理虹膜瞳孔图像的装置及方法 |
| US20230274578A1 (en) * | 2022-02-25 | 2023-08-31 | Eyetech Digital Systems, Inc. | Systems and Methods for Hybrid Edge/Cloud Processing of Eye-Tracking Image Data |
| US11912429B2 (en) * | 2022-04-05 | 2024-02-27 | Gulfstream Aerospace Corporation | System and methodology to provide an augmented view of an environment below an obstructing structure of an aircraft |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108351527A (zh) * | 2015-09-23 | 2018-07-31 | 奇跃公司 | 采用离轴成像器的眼睛成像 |
| US20180239177A1 (en) * | 2017-02-23 | 2018-08-23 | Magic Leap, Inc. | Variable-focus virtual image devices based on polarization conversion |
| US20190004325A1 (en) * | 2017-07-03 | 2019-01-03 | Holovisions LLC | Augmented Reality Eyewear with VAPE or Wear Technology |
| US20190086674A1 (en) * | 2017-09-21 | 2019-03-21 | Magic Leap, Inc. | Augmented reality display with waveguide configured to capture images of eye and/or environment |
| US20200012095A1 (en) * | 2018-07-05 | 2020-01-09 | Magic Leap, Inc. | Waveguide-based illumination for head mounted display system |
| WO2020028867A1 (en) * | 2018-08-03 | 2020-02-06 | Magic Leap, Inc. | Depth plane selection for multi-depth plane display systems by user categorization |
Family Cites Families (64)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
| US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
| US6152563A (en) * | 1998-02-20 | 2000-11-28 | Hutchinson; Thomas E. | Eye gaze direction tracker |
| US6086204A (en) * | 1999-09-20 | 2000-07-11 | Magnante; Peter C. | Methods and devices to design and fabricate surfaces on contact lenses and on corneal tissue that correct the eye's optical aberrations |
| US7458685B2 (en) * | 2005-08-03 | 2008-12-02 | Carestream Health, Inc. | Automated fundus imaging system |
| US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
| US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
| US8696113B2 (en) * | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| EP2656135B1 (en) | 2010-12-24 | 2022-05-04 | Magic Leap, Inc. | Freeform waveguide prism |
| US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
| JP6316186B2 (ja) | 2011-05-06 | 2018-04-25 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 広範囲同時遠隔ディジタル提示世界 |
| US8885882B1 (en) * | 2011-07-14 | 2014-11-11 | The Research Foundation For The State University Of New York | Real time eye tracking for human computer interaction |
| EP2760363A4 (en) | 2011-09-29 | 2015-06-24 | Magic Leap Inc | TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION |
| EP3666352B1 (en) | 2011-10-28 | 2021-12-01 | Magic Leap, Inc. | Method and device for augmented and virtual reality |
| US8913789B1 (en) * | 2012-01-06 | 2014-12-16 | Google Inc. | Input methods and systems for eye positioning using plural glints |
| EP2841991B1 (en) | 2012-04-05 | 2020-01-08 | Magic Leap, Inc. | Wide-field of view (fov) imaging devices with active foveation capability |
| WO2013167864A1 (en) * | 2012-05-11 | 2013-11-14 | Milan Momcilo Popovich | Apparatus for eye tracking |
| US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| WO2014043196A1 (en) | 2012-09-11 | 2014-03-20 | Magic Leap, Inc | Ergonomic head mounted display device and optical system |
| US11389059B2 (en) * | 2013-01-25 | 2022-07-19 | Wesley W. O. Krueger | Ocular-performance-based head impact measurement using a faceguard |
| NZ735755A (en) | 2013-03-15 | 2019-04-26 | Magic Leap Inc | Display system and method |
| US9737209B2 (en) * | 2013-05-15 | 2017-08-22 | The Johns Hopkins University | Eye tracking and gaze fixation detection systems, components and methods using polarized light |
| US9908048B2 (en) * | 2013-06-08 | 2018-03-06 | Sony Interactive Entertainment Inc. | Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| CA3134562A1 (en) | 2013-10-16 | 2015-04-23 | Magic Leap, Inc. | Virtual or augmented reality headsets having adjustable interpupillary distance |
| AU2014354673B2 (en) | 2013-11-27 | 2019-04-11 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| JP2017527036A (ja) | 2014-05-09 | 2017-09-14 | グーグル インコーポレイテッド | セキュアなモバイル通信で眼信号を用いるためのシステムおよび方法 |
| GB2528699B (en) * | 2014-07-29 | 2017-05-03 | Sony Computer Entertainment Europe Ltd | Image processing |
| US20160274365A1 (en) * | 2015-03-17 | 2016-09-22 | Thalmic Labs Inc. | Systems, devices, and methods for wearable heads-up displays with heterogeneous display quality |
| WO2016191709A1 (en) * | 2015-05-28 | 2016-12-01 | Thalmic Labs Inc. | Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays |
| AU2017208994B2 (en) | 2016-01-19 | 2022-01-20 | Magic Leap, Inc. | Eye image collection, selection, and combination |
| US20180190011A1 (en) * | 2017-01-04 | 2018-07-05 | Osterhout Group, Inc. | Content rendering systems for head-worn computers |
| EP3420414A2 (en) * | 2016-02-22 | 2019-01-02 | Real View Imaging Ltd. | Holographic display |
| US10871601B2 (en) * | 2016-10-03 | 2020-12-22 | Tipd, Llc | Volume holographic optical elements for imaging with reduced aberrations |
| US10877556B2 (en) * | 2016-10-21 | 2020-12-29 | Apple Inc. | Eye tracking system |
| US10355450B2 (en) * | 2016-11-10 | 2019-07-16 | Intel Corporation | System and method of reducing speckle for an illuminator |
| EP3542215B1 (en) | 2016-11-18 | 2022-11-02 | Magic Leap, Inc. | Spatially variable liquid crystal diffraction gratings |
| IL303678A (en) | 2016-11-18 | 2023-08-01 | Magic Leap Inc | A waveguide light multiplexer using crossed gratings |
| US10908423B2 (en) | 2016-11-18 | 2021-02-02 | Magic Leap, Inc. | Multilayer liquid crystal diffractive gratings for redirecting light of wide incident angle ranges |
| EP3552057B1 (en) | 2016-12-08 | 2022-01-05 | Magic Leap, Inc. | Diffractive devices based on cholesteric liquid crystal |
| EP3563570A4 (en) * | 2016-12-29 | 2020-09-23 | Sony Interactive Entertainment Inc. | FOVEAL VIDEO LINK FOR CONTINUOUS VIDEO BROADCASTING ON LOW LATENCY WIRELESS HEADSET IN VIRTUAL REALITY WITH EYE TRACKING |
| JP7274724B2 (ja) * | 2016-12-31 | 2023-05-17 | ルムス エルティーディー． | 導光光学素子を介したレチナールイメージングに基づく目の追跡具 |
| US20200051320A1 (en) * | 2017-02-12 | 2020-02-13 | Lemnis Technologies Pte. Ltd. | Methods, devices and systems for focus adjustment of displays |
| JP7101697B2 (ja) * | 2017-03-14 | 2022-07-15 | コンパウンド フォトニクス リミティド | 低減したスペックルを持つレーザ照射システム |
| US11073695B2 (en) * | 2017-03-21 | 2021-07-27 | Magic Leap, Inc. | Eye-imaging apparatus using diffractive optical elements |
| US10403029B2 (en) * | 2017-05-03 | 2019-09-03 | Microsoft Technology Licensing, Llc | Methods and systems for multistage post-rendering image transformation |
| WO2019077601A1 (en) * | 2017-10-16 | 2019-04-25 | Oorym Optics Ltd. | HIGH-EFFICIENCY COMPACT MOUNTED MOUNTING DISPLAY SYSTEM |
| EP3740847B1 (en) * | 2018-01-17 | 2024-03-13 | Magic Leap, Inc. | Display systems and methods for determining registration between a display and a user's eyes |
| US11231580B2 (en) * | 2018-03-23 | 2022-01-25 | Beijing Boe Optoelectronics Technology Co., Ltd. | Eye tracking device and virtual reality imaging apparatus |
| CN108399903B (zh) * | 2018-03-27 | 2020-11-27 | 京东方科技集团股份有限公司 | 一种成像位置的调节方法及装置、平视显示系统 |
| US10788892B2 (en) * | 2018-05-23 | 2020-09-29 | Facebook Technologies, Llc | In-field illumination and imaging for eye tracking |
| US10607353B2 (en) * | 2018-08-30 | 2020-03-31 | Facebook Technologies, Llc | Structured light depth sensing |
| US11030973B2 (en) * | 2018-09-12 | 2021-06-08 | Google Llc | Wearable heads-up displays with ambient light detection and adjustable display brightness |
| CN111103971A (zh) * | 2018-10-29 | 2020-05-05 | 托比股份公司 | 头戴式装置在用户上的位置的确定 |
| SE542887C2 (en) * | 2018-10-31 | 2020-08-11 | Tobii Ab | Gaze tracking using mapping of pupil center position |
| US10886702B2 (en) * | 2018-11-09 | 2021-01-05 | Facebook Technologies, Llc | Vertical-cavity surface-emitting laser for near-field illumination of an eye |
| US20200150425A1 (en) * | 2018-11-09 | 2020-05-14 | Facebook Technologies, Llc | Inconspicuous near-eye electrical components |
| US11575246B2 (en) * | 2018-11-09 | 2023-02-07 | Meta Platforms Technologies, Llc | Wafer level optic and zoned wafer |
| US11513593B2 (en) * | 2018-11-29 | 2022-11-29 | Blink Technologies Inc. | Systems and methods for anatomy-constrained gaze estimation |
| US10782537B1 (en) * | 2019-04-22 | 2020-09-22 | Facebook Technologies, Llc | Diffractive structures for generation of interference patterns for close range tracking |
| WO2021188926A1 (en) * | 2020-03-20 | 2021-09-23 | Magic Leap, Inc. | Systems and methods for retinal imaging and tracking |
-
2021
- 2021-03-19 WO PCT/US2021/023201 patent/WO2021188926A1/en unknown
- 2021-03-19 US US17/207,381 patent/US11474358B2/en active Active
- 2021-03-19 JP JP2022556045A patent/JP2023518421A/ja active Pending
- 2021-03-19 CN CN202180022648.7A patent/CN115298597A/zh active Pending
- 2021-03-19 EP EP21771699.2A patent/EP4121813A4/en active Pending
-
2022
- 2022-09-01 US US17/901,326 patent/US11828946B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108351527A (zh) * | 2015-09-23 | 2018-07-31 | 奇跃公司 | 采用离轴成像器的眼睛成像 |
| US20180239177A1 (en) * | 2017-02-23 | 2018-08-23 | Magic Leap, Inc. | Variable-focus virtual image devices based on polarization conversion |
| US20190004325A1 (en) * | 2017-07-03 | 2019-01-03 | Holovisions LLC | Augmented Reality Eyewear with VAPE or Wear Technology |
| US20190086674A1 (en) * | 2017-09-21 | 2019-03-21 | Magic Leap, Inc. | Augmented reality display with waveguide configured to capture images of eye and/or environment |
| US20200012095A1 (en) * | 2018-07-05 | 2020-01-09 | Magic Leap, Inc. | Waveguide-based illumination for head mounted display system |
| WO2020028867A1 (en) * | 2018-08-03 | 2020-02-06 | Magic Leap, Inc. | Depth plane selection for multi-depth plane display systems by user categorization |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115984952A (zh) * | 2023-03-20 | 2023-04-18 | 杭州叶蓁科技有限公司 | 基于球结膜血管图像识别的眼动跟踪系统及其方法 |
| CN115984952B (zh) * | 2023-03-20 | 2023-11-24 | 杭州叶蓁科技有限公司 | 基于球结膜血管图像识别的眼动跟踪系统及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220413302A1 (en) | 2022-12-29 |
| US11828946B2 (en) | 2023-11-28 |
| US20210294106A1 (en) | 2021-09-23 |
| EP4121813A1 (en) | 2023-01-25 |
| EP4121813A4 (en) | 2024-01-17 |
| JP2023518421A (ja) | 2023-05-01 |
| WO2021188926A1 (en) | 2021-09-23 |
| US11474358B2 (en) | 2022-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11828946B2 (en) | Systems and methods for retinal imaging and tracking | |
| EP3685215B1 (en) | Augmented reality display with waveguide configured to capture images of eye and/or environment | |
| US11733523B2 (en) | Diffractive optical elements with optical power | |
| US11846778B2 (en) | System for providing illumination of the eye | |
| JP2023171481A (ja) | ピンホールおよびスリットカメラを伴うアイウェア | |
| US20230393398A1 (en) | System for collecting light | |
| US20240126090A1 (en) | Augmented reality display with waveguide configured to capture images of eye and/or environment | |
| JP2024055916A (ja) | 屈折力を有する回折光学要素 | |
| JPWO2020069037A5 (zh) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |