CN114144717A - 用于减少光学伪影的变迹光学元件 - Google Patents
用于减少光学伪影的变迹光学元件 Download PDFInfo
- Publication number
- CN114144717A CN114144717A CN202080049099.8A CN202080049099A CN114144717A CN 114144717 A CN114144717 A CN 114144717A CN 202080049099 A CN202080049099 A CN 202080049099A CN 114144717 A CN114144717 A CN 114144717A
- Authority
- CN
- China
- Prior art keywords
- light
- eye
- photopolymer layer
- holographic grating
- holographic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 81
- 239000000758 substrate Substances 0.000 claims abstract description 98
- 238000000034 method Methods 0.000 claims description 74
- 230000001427 coherent effect Effects 0.000 claims description 34
- 230000007423 decrease Effects 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 14
- 238000004519 manufacturing process Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 8
- 239000000463 material Substances 0.000 description 132
- 230000006870 function Effects 0.000 description 50
- 238000003384 imaging method Methods 0.000 description 34
- 238000005286 illumination Methods 0.000 description 30
- 210000001747 pupil Anatomy 0.000 description 27
- 239000013598 vector Substances 0.000 description 26
- 230000009471 action Effects 0.000 description 25
- 238000005259 measurement Methods 0.000 description 25
- 238000002834 transmittance Methods 0.000 description 25
- 210000004087 cornea Anatomy 0.000 description 19
- 230000008569 process Effects 0.000 description 17
- 230000001179 pupillary effect Effects 0.000 description 17
- 230000033001 locomotion Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 14
- 239000000178 monomer Substances 0.000 description 14
- 239000011358 absorbing material Substances 0.000 description 13
- 230000003190 augmentative effect Effects 0.000 description 12
- 238000006116 polymerization reaction Methods 0.000 description 12
- 238000013507 mapping Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 239000000975 dye Substances 0.000 description 9
- 239000011521 glass Substances 0.000 description 9
- 230000031700 light absorption Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 9
- 238000010521 absorption reaction Methods 0.000 description 8
- 239000003999 initiator Substances 0.000 description 8
- 230000004075 alteration Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 7
- 230000008878 coupling Effects 0.000 description 7
- 238000010168 coupling process Methods 0.000 description 7
- 238000005859 coupling reaction Methods 0.000 description 7
- 238000002310 reflectometry Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 229920001621 AMOLED Polymers 0.000 description 5
- 239000004033 plastic Substances 0.000 description 5
- 229920003023 plastic Polymers 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 239000000919 ceramic Substances 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 4
- 239000004926 polymethyl methacrylate Substances 0.000 description 4
- 239000010453 quartz Substances 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 3
- KXNLCSXBJCPWGL-UHFFFAOYSA-N [Ga].[As].[In] Chemical compound [Ga].[As].[In] KXNLCSXBJCPWGL-UHFFFAOYSA-N 0.000 description 3
- 238000000576 coating method Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 229910044991 metal oxide Inorganic materials 0.000 description 3
- 150000004706 metal oxides Chemical class 0.000 description 3
- 210000004279 orbit Anatomy 0.000 description 3
- 230000002165 photosensitisation Effects 0.000 description 3
- 239000003504 photosensitizing agent Substances 0.000 description 3
- 229920000642 polymer Polymers 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000000411 transmission spectrum Methods 0.000 description 3
- 238000000862 absorption spectrum Methods 0.000 description 2
- 201000009310 astigmatism Diseases 0.000 description 2
- 238000004061 bleaching Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000003989 dielectric material Substances 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 210000000720 eyelash Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 229920000307 polymer substrate Polymers 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000004434 saccadic eye movement Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 229920002799 BoPET Polymers 0.000 description 1
- 206010010071 Coma Diseases 0.000 description 1
- 239000005041 Mylar™ Substances 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000006117 anti-reflective coating Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000003935 attention Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 239000012986 chain transfer agent Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000007800 oxidant agent Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000000608 photoreceptor cell Anatomy 0.000 description 1
- 229920005596 polymer binder Polymers 0.000 description 1
- 239000002491 polymer binding agent Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000004461 rapid eye movement Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000000985 reflectance spectrum Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000005979 thermal decomposition reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
- G03H1/024—Hologram nature or properties
- G03H1/0248—Volume holograms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/18—Particular processing of hologram record carriers, e.g. for obtaining blazed holograms
- G03H1/181—Pre-exposure processing, e.g. hypersensitisation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
- G02B2027/0174—Head mounted characterised by optical features holographic
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0402—Recording geometries or arrangements
- G03H2001/0415—Recording geometries or arrangements for recording reflection holograms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0402—Recording geometries or arrangements
- G03H2001/0439—Recording geometries or arrangements for recording Holographic Optical Element [HOE]
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2260/00—Recording materials or recording processes
- G03H2260/12—Photopolymer
Abstract
本文公开的技术涉及近眼显示系统。近眼显示器的光学设备的一个示例包括基底和共形地耦合到基底表面的全息光栅。基底对于可见光和红外光是透明的,并且被配置成放置在近眼显示器的用户的眼睛前面。全息光栅的折射率调制在基底的表面法线方向上变迹,以减少可见光中的光学伪影。
Description
技术领域
本发明总体上涉及用于人工现实系统的近眼显示系统。
背景
诸如头戴式显示器(HMD)或平视显示器(HUD)系统的人工现实系统通常包括以头戴式装置(headset)或一副眼镜形式的近眼显示系统,并且该近眼显示系统被配置成经由例如用户眼睛前方大约10mm-20mm内的电子显示器或光学显示器向用户呈现内容。如在虚拟现实(VR)、增强现实(AR)或混合现实(MR)应用中,近眼显示系统可以显示虚拟对象或者将现实对象的图像与虚拟对象组合。例如,在AR系统中,用户可以通过例如透过透明的显示眼镜或透镜(通常被称为光学透视(optical see-through)或者通过观看由照相机捕获的周围环境的显示图像(通常被称为视频透视),来观看虚拟对象的图像(例如,计算机生成的图像(CGI))和周围环境两者。
为了提供更沉浸式的人工现实体验,一些人工现实系统可以包括用于接收用户输入(例如手和/或手指移动)的输入设备。附加地或替代地,人工现实系统可以采用能够跟踪用户眼睛(例如,凝视方向)的眼睛跟踪系统。然后,人工现实系统可以采用凝视方向信息和/或从输入设备获得的信息来基于用户正在观看的方向修改或生成内容,从而为用户提供更沉浸式的体验。眼睛跟踪系统还可以用于注视点渲染(foveated rendering)、注视点压缩和图像数据传输、警觉性监控等。
概述
本发明总体上涉及近眼显示系统。根据某些实施例,眼睛跟踪系统包括对可见光和红外光透明的基底,以及共形地耦合到基底表面的反射全息光栅。反射全息光栅可以被配置成透射可见光并反射性地衍射第一波长范围内的红外光以用于眼睛跟踪。反射全息光栅的折射率调制可以在沿着反射全息光栅的厚度方向的方向上变迹(apodize),以减少可见光中的光学伪影。
在眼睛跟踪系统的一些实施例中,反射全息光栅的折射率调制的幅度可以由沿着反射全息光栅厚度的方向的钟形曲线来表征。
在一些实施例中,反射全息光栅的折射率调制在沿着反射全息光栅厚度的方向上在反射全息光栅的中心区域具有最大幅度。
在一些实施例中,反射全息光栅的厚度是至少15μm,并且折射率调制的最大幅度是至少0.035。
在一些实施例中,在邻近基底表面的区域中,反射全息光栅的折射率调制为零。
在一些实施例中,反射全息光栅在沿着反射全息光栅厚度的方向上相对于反射全息光栅的中心不对称地变迹。
在一些实施例中,反射全息光栅可以包括被配置成层压在基底表面上的光聚合物层。
在一些实施例中,光聚合物层可以包括具有不同折射率调制幅度的不同光聚合物材料的多个层。
在一些实施例中,眼睛跟踪系统还可以包括被配置成发射第一波长范围内的红外光以用于眼睛跟踪的光源,其中反射全息光栅可以被配置成将第一波长范围内的红外光从光源反射性地衍射到用户的眼睛。
在一些实施例中,眼睛跟踪系统还可以包括红外照相机,其中反射全息光栅被配置成将第一波长范围内的红外光从用户的眼睛反射性地衍射到红外照相机。
在一些实施例中,基底可以包括玻璃基底、石英基底、塑料基底、聚合物基底、陶瓷基底或晶体基底中的至少一种,并且基底的表面可以包括曲面或平面。
在一些实施例中,可见光中的光学伪影可以包括彩虹重影(ghost)图像。
根据一些实施例,用于近眼显示器的光学设备可以包括基底和共形地耦合到基底表面的全息光栅。基底可以对可见光和红外光透明,并且被配置成放置在近眼显示器的用户的眼睛前面。全息光栅的折射率调制可以在基底的表面法线方向上变迹,以减少可见光中的光学伪影。
在一些实施例中,全息光栅在基底的表面法线方向上的折射率调制的幅度由钟形曲线表征。
在一些实施例中,全息光栅的折射率调制的幅度在基底的表面法线方向上是不对称的。
在一些实施例中,全息光栅包括被配置成层压在基底表面上的光聚合物层。
在一些实施例中,光聚合物层的厚度可以大于15μm;并且全息光栅的最大折射率调制可以是至少0.035。
在光学设备的一些实施例中,全息光栅可以包括反射全息光栅,该反射全息光栅被配置成透射可见光并反射性地衍射第一波长范围内的红外光,以用于眼睛跟踪。
在一些实施例中,全息光栅可以被配置成将第一波长范围内的红外光从红外光源反射性地衍射到用户的眼睛,或者从用户的眼睛反射性地衍射到红外照相机。
在一些实施例中,基底被配置成通过全内反射在基底内引导显示光,并且全息光栅包括光栅耦合器,该光栅耦合器被配置成将显示光的至少一部分从基底耦合出去。
根据某些实施例,制造用于近眼显示器的光学设备的方法可以包括:在支撑基底上获得光聚合物层,其中,光聚合物层对第一波长范围内的光敏感;以及将第一波长范围内的第一光束从光聚合物层的第一侧投射到光聚合物层上。第一光束的第一波长、第一光束的第一强度和光聚合物层的光吸收率可以被配置成使得第一光束的第一强度在光聚合物层中从第一侧在沿着光聚合物层的厚度的方向上根据预定的光强度分布逐渐降低,以在沿着光聚合物层的厚度的方向上变迹光聚合物层。
在一些实施例中,将第一光束投射到光聚合物层上可以包括:将棱镜定位在光聚合物层附近,其中棱镜的折射率大于1.33;以及将第一光束投射到棱镜上,其中棱镜将第一光束折射到光聚合物层上。
在一些实施例中,该方法还可以包括在变迹的光聚合物层中记录全息光栅,其中全息光栅可以在沿着光聚合物层的厚度的方向上变迹,并且可以被配置成透射第一波长范围内的光并反射性地衍射红外光以用于眼睛跟踪。
在一些实施例中,该方法还可以包括将第一波长范围内的第二光束从光聚合物层的第二侧投射到光聚合物层上。第二光束的第二波长、第二光束的第二强度和光聚合物层的光吸收率可以被配置成使得第二光束的第二强度在光聚合物层中从第二侧在沿着光聚合物层的厚度的方向上逐渐降低,以在沿着光合物层的厚度的方向上变迹光聚合物层。
第一波长和第二波长可以相同或不同。
光聚合物层可以在沿着光聚合物层的厚度的方向上不对称地变迹。
在一些实施例中,第一光束和第二光束可以是相干的,并且第一光束和第二光束可以在光聚合物层中干涉,以在光聚合物层中形成变迹的全息光栅。
在一些实施例中,变迹的全息光栅在沿着光聚合物层的厚度的方向上的折射率调制的幅度可以由钟形曲线表征。
在一些实施例中,变迹的全息光栅的折射率调制在邻近支撑基底的区域中可以为零。
在一些实施例中,变迹的全息光栅可以被配置成执行反射性地衍射红外光以用于眼睛跟踪或减少可见光中的光学伪影中的至少一项。
在一些实施例中,该方法还可以包括在变迹的光聚合物层中记录全息光栅。在一些实施例中,该方法还可以包括使光聚合物层脱敏,使得光聚合物层对第一波长范围内的光不感光。
在一些实施例中,光聚合物层可以包括被配置成吸收第一光束以引发光聚合物层中的聚合的光敏材料,以及被配置成吸收第一光束而不引发光聚合物层中的聚合的光吸收材料。
在一些实施例中,光聚合物层可以包括不同光聚合物材料的多个层,这些光聚合物材料具有不同的最大可实现的折射率调制幅度。
根据某些实施例,制造用于近眼显示器的光学设备的方法可以包括:在光学设备的基底上形成光聚合物层,其中光聚合物层对第一波长范围内的光敏感;在光聚合物层中形成在第一波长范围内具有不均匀强度的光图案,以选择性地使光聚合物层脱敏;以及使用第一波长范围内的相干光在选择性脱敏的光聚合物层中记录变迹的全息光栅。变迹的全息光栅可以被配置成将第一波长范围之外的红外光反射性地衍射到近眼显示器的用户的眼睛或反射性地衍射来自近眼显示器的用户的眼睛的第一波长范围之外的红外光。
在一些实施例中,在光聚合物层中形成在第一波长范围内具有不均匀强度的光图案可以包括将第一波长范围内的第一光束从光聚合物层的第一侧投射到光聚合物层上;以及将第一波长范围内的第二光束从光聚合物层的第二侧投射到光聚合物层上。第一光束的第一波长、第二光束的第二波长、第一光束的第一强度、第二光束的第二强度以及光聚合物层的光吸收率可以被配置成使得第一光束的第一强度在光聚合物层中从第一侧根据第一光强度分布逐渐降低,并且第二光束的第二强度在光聚合物层中从第二侧根据第二光强度分布逐渐降低。
在一些实施例中,在光聚合物层中具有不均匀强度的光图案的强度可以由沿着光聚合物层的厚度的方向上的钟形曲线来表征。
在一些实施例中,变迹的全息光栅的折射率调制在邻近光聚合物层表面的区域中为零,该表面垂直于沿着光聚合物层的厚度的方向。
在一些实施例中,第一光束和第二光束是相干的,并且用于记录变迹的全息光栅的相干光包括第一光束和第二光束。
在一些实施例中,第一光束和第二光束具有不同的波长。
在一些实施例中,第一光束和用于记录变迹的全息光栅的相干光具有不同的波长。
本概述既不意图标识所要求保护的主题的关键或必要特征,也不意图孤立地用于确定所要求保护的主题的范围。应当参照本发明的整个说明书的适当部分、任何或所有附图以及每项权利要求来理解主题。下面将在以下说明书、权利要求书和附图中更详细地描述前述内容以及其他特征和示例。
附图简述
下面参照以下附图详细地描述说明性的实施例。
图1是根据某些实施例的包括近眼显示系统的人工现实系统环境的示例的简化框图。
图2是用于实现本文公开的一些示例的以头戴式显示器(HMD)设备的形式的近眼显示系统的示例的透视图。
图3是用于实现本文公开的一些示例的以一副眼镜的形式的近眼显示系统的示例的透视图。
图4示出了根据某些实施例的使用包括光学合路器(combiner)的波导显示器的光学透视增强现实系统的示例。
图5示出了眼睛跟踪期间眼睛的光反射和散射。
图6是示出了根据某些实施例的用于跟踪近眼显示系统的用户的眼睛的方法的示例的简化流程图。
图7A示出了根据某些实施例的由照相机捕获的用于眼睛跟踪的用户眼睛图像的示例。图7B示出了根据某些实施例的识别的虹膜区域的示例、识别的瞳孔区域的示例以及在用户眼睛的图像中识别的亮斑(glint)区域的示例。
图8是根据某些实施例的近眼显示系统中的眼睛跟踪系统的示例的横截面图。
图9A示出了全息偏转器的示例。图9B示出了图9A的全息偏转器沿着全息偏转器的厚度方向的折射率。图9C示出了作为入射光波长的函数的全息偏转器的透射率和反射率。
图10示出了波导显示器的示例中的光学伪影的示例。
图11A示出了根据某些实施例的包括变迹的反射全息光栅的全息偏转器的示例。图11B示出了图11A的全息偏转器沿着全息偏转器的厚度方向的折射率。图11C示出了图11A所示的反射全息光栅的作为入射光波长的函数的透射率和反射率。
图12示出了根据某些实施例的全息记录材料的示例的吸收光谱。
图13A示出了根据某些实施例的反射全息光栅的记录光束和重建光束。图13B是根据某些实施例的全息动量图(holography momentum diagram)的示例,其示出了记录光束和重建光束的波矢量以及记录的反射全息光栅的光栅矢量。
图14A示出了根据某些实施例的用于记录反射全息光栅的全息记录系统的示例。图14B示出了根据某些实施例的全息记录材料中两个记录光束的干涉。
图15A示出了根据某些实施例的使用记录光束使全息光栅变迹的方法的示例。图15B示出了根据某些实施例的使用图15A中描述的方法制造的变迹的全息光栅的示例。图15C示出了变迹的全息光栅沿着变迹的全息光栅的厚度方向的折射率。
图16A-16C示出了根据某些实施例的用于记录变迹的全息光栅的方法的示例,其中使用相干光或非相干光对全息记录材料进行脱敏。图16A示出了根据某些实施例的使用非相干光对全息记录材料进行脱敏的方法的示例。图16B示出了根据某些实施例的在脱敏的全息记录材料中记录变迹的全息光栅的方法的示例。图16C示出了根据某些实施例的使用关于图16A和16B描述的方法制造的变迹的全息光栅的示例。
图17示出了根据某些实施例的反射全息光栅的示例的透射光谱。
图18A示出了根据某些实施例的反射全息光栅的示例的光谱带宽。图18B示出了根据某些实施例的反射全息光栅的示例的角度带宽。
图19A示出了反射全息光栅的示例的作为入射光波长的函数的透射率和反射率。图19B示出了根据某些实施例的变迹的反射全息光栅的示例的作为入射光波长的函数的透射率和反射率。
图20是示出了根据某些实施例的制造用于眼睛跟踪的变迹的全息光栅的方法的示例的简化流程图。
图21是根据某些实施例的用于实现本文公开的一些示例的近眼显示系统(例如,HMD设备)的电子系统2100的示例的简化框图。
附图仅为了说明的目的而描绘本发明的实施例。本领域技术人员从以下描述中将容易地认识到,在不脱离本发明的原理或所推崇的益处的情况下,可以采用图示的结构和方法的可替代的实施例。
在附图中,相似的部件和/或特征可以具有相同的附图标记。此外,可以通过在附图标记之后用短划线和在相似部件之间进行区分的第二标记来区分相同类型的各个部件。如果在说明书中仅使用第一附图标记,则该描述适用于具有相同第一附图标记的任何一个相似部件,而与第二附图标记无关。
详细描述
本文公开的技术总体上涉及人工现实系统,并且更具体地涉及用于人工现实系统的眼睛跟踪子系统。根据某些实施例,人工现实系统的光学合路器包括全息光学元件,该全息光学元件被配置成反射光以用于眼睛跟踪。全息光学元件的折射率调制被变迹以减少原本可能由全息光学元件引起的光学伪影。本文描述了各种发明实施例,包括系统、模块、设备、部件、方法等。
在诸如虚拟现实(VR)系统、增强现实(AR)系统或混合现实(MR)系统的人工现实系统中,为了改善用户与所呈现内容的交互,人工现实系统可以跟踪用户的眼睛,并基于用户正在观看的位置或方向来修改或生成内容。跟踪眼睛可以包括跟踪眼睛的瞳孔和/或角膜的位置和/或形状,以及确定眼睛的旋转位置或凝视方向。为了跟踪眼睛,近眼显示系统的眼睛跟踪系统可以包括照明子系统,该照明子系统可以使用安装在人工现实系统上或内部的光源来照射用户的眼睛。眼睛跟踪系统还可以包括成像子系统,该成像子系统包括用于捕获由用户眼睛的各种表面反射的光的成像设备(例如,照相机)。被例如用户眼睛的虹膜漫反射(例如,散射)的光可能影响捕获的图像在虹膜或瞳孔区域中的对比度,这可用于确定虹膜或瞳孔的边缘和瞳孔的中心。从用户眼睛的角膜镜面反射的光可能导致所捕获的图像中的“亮斑(glint)”。亮斑还可以称为第一浦肯野(Purkinje)图像或角膜反射。可以使用诸如质心算法(centroiding algorithm)的技术来确定捕获的图像中眼睛上的亮斑的位置。例如,质心算法可以通过找到局部邻域中能量最大的像素位置来确定亮斑的中心。眼睛的旋转位置(例如,凝视方向)然后可以基于捕获的图像内亮斑相对于眼睛的已知特征(例如,瞳孔中心)的位置来确定。
在照明子系统中,一个或更多个光源(例如,LED)可以位于用户视场的外围(例如,沿着观看光学器件的周边或在近眼显示系统的框架上),以提供用于照射用户眼睛的光。在一些实施例中,一个或更多个微型光源可以位于用户的视场内。在成像子系统中,一个或更多个成像设备(例如,照相机)也可以放置在用户视场的外围。在许多应用中,可能需要以高准确度(例如小于5°、小于1°或更好)来确定观看方向(例如,凝视角度)。眼睛跟踪系统也可能需要是稳健的,以便适应观看方向的极端变化和用户眼睛周围面部特征的变化,例如眼睛的部分(包括虹膜或瞳孔的部分)可能被例如眼睑或睫毛遮挡的情况。
根据本文公开的某些实施例,用于人工现实系统的眼睛跟踪子系统可以包括被配置成发射照明光的一个或更多个光源、用于捕获用户眼睛的图像的一个或更多个成像设备(例如,照相机)以及包括一个或更多个反射全息光栅的基底,该反射全息光栅在用户眼睛的视场中并且被配置成将照明光从一个或更多个光源引导到用户的眼睛,和/或将由用户的眼睛反射或漫射的照明光引导到一个或更多个成像设备。反射全息光栅对可见光是透明的,并且因此可以被放置在用户眼睛的视场中,例如被共形地层压在用作基于波导的显示器的基底上,该基于波导的显示器可以将显示光和环境光组合以用于增强现实应用。反射全息光栅可以有助于避免光线遮挡,提高眼睛跟踪的准确度和可靠性。反射全息光栅可以反射性地衍射眼睛跟踪光(例如,红外光)。反射全息光栅可以在厚度方向上变迹,以减少由于光衍射和色散而原本可能由光栅引起的光学伪影(例如,彩虹效应)。
在一些实施例中,可以使用不同于用于眼睛跟踪的光的第一波长的光来记录变迹的反射全息光栅。全息光栅材料(例如,光聚合物)可以具有特定的光吸收特性,并且相干记录光束可以具有特定的强度,使得全息光栅材料内部的相干记录光束的强度可以是全息光栅材料内部深度的期望函数。在一些实施例中,为了在全息光栅材料中实现期望的记录光强度函数,全息光栅材料可以包括一定量的光吸收材料,该光吸收材料可以吸收记录光束,但是可能不会在全息光栅材料中引发光聚合。由此,干涉图案的强度以及因此全息记录材料中的折射率调制也可以是全息记录材料内部深度的函数,使得反射全息光栅中的折射率调制的幅度可以在全息记录期间变迹。在一些实施例中,全息光栅材料可以在全息光栅记录之前或之后暴露于相干光或非相干光,以使反射全息光栅变迹。在一些实施例中,变迹的程度或分布(profile)可以通过改变用于变迹的光的波长和/或强度来调节。
如本文使用的,可见光可以指具有在约380nm至约750nm之间的波长的光。近红外(NIR)光可以指具有在约750nm至约2500nm之间的波长的光。期望的红外(IR)波长范围可以指能够由合适的IR传感器(例如,互补金属氧化物半导体(CMOS)、电荷耦合器件(CCD)传感器或砷化铟镓(InGaAs)传感器)检测到的IR光的波长范围,例如在830nm和860nm之间,在930nm和980nm之间,或在约750nm到约1000nm之间。
同样如本文所使用的,基底可以指光可以在其中传播的介质。基底可以包括一种或更多种类型的介电材料,例如玻璃、石英、塑料、聚合物、聚甲基丙烯酸甲酯(PMMA)、晶体或陶瓷。至少一种类型的基底材料可以对可见光和NIR光透明。基底的厚度可以在例如从小于约1mm至约10mm或更大的范围内。如本文所使用的,如果光束可以以高透射率(例如大于60%、75%、80%、90%、95%、98%、99%或更高)穿过材料,则材料对于光束可以是“透明的”,其中光束的一小部分(例如小于40%、25%、20%、10%、5%、2%、1%或更少)可以被材料散射、反射或吸收。透射率(transmission rate)(即,透射率(transmissivity))可以由波长范围内的适光加权的平均透射率或未加权的平均透射率来表示,或者由波长范围(诸如,可见波长范围)内的最低透射率来表示。
如本文所使用的,全息光栅可以包括具有折射率调制的全息材料层(例如,光聚合物层),并且可以包括或可以不包括基底。例如,在一些实施例中,全息光栅可以指具有折射率调制的光聚合物层。在一些实施例中,全息光栅还可以包括支撑光聚合物层的基底。在一些实施例中,全息光栅可以包括两个基底,其中光聚合物层在两个基底之间。
如本文所使用的,变迹光栅可以指折射率调制的幅度可以在不同区域变化的光栅。变迹可以是一维、二维或三维的,其中折射率调制的幅度可以在一个、两个或三个方向(例如光栅的厚度方向、宽度方向或长度方向的任意组合)上变化。变迹光栅可以在一个方向上对称或不对称地变迹,其中折射率调制的幅度可以根据任何期望的曲线或分布而变化。
在以下的描述中,为了解释的目的,阐述了具体细节以便提供对本发明的示例的透彻理解。然而,将明显的是,在没有这些具体细节的情况下可以实施各种示例。例如,设备、系统、结构、组件、方法和其他部件可以以框图形式被示出为部件,以避免在不必要的细节上模糊示例。在其他情况下,熟知的设备、过程、系统、结构和技术可以在没有必要细节的情况下被示出,以便避免模糊示例。附图和描述不意图是限制性的。在本发明中采用的术语和表述被用作描述性术语而非限制性的术语,并且在使用这样的术语和表述时不意图排除所示出和描述的特征或其部分的任何等同物。词语“示例”在本文中用于表示“用作示例、实例或说明”。本文描述为“示例”的任何实施例或设计不一定被解释为比其他实施例或设计更优选或更有利。
图1是根据某些实施例的包括近眼显示系统120的人工现实系统环境100的示例的简化框图。图1所示的人工现实系统环境100可以包括近眼显示系统120、可选的外部成像设备150和可选的输入/输出接口140,它们可以各自耦合到可选的控制台110。虽然图1示出了包括一个近眼显示系统120、一个外部成像设备150和一个输入/输出接口140的示例人工现实系统环境100,但人工现实系统环境100中可以包括任意数量的这些部件,或者可以省略任何部件。例如,可以有多个近眼显示系统120,这些近眼显示系统120由与控制台110通信的一个或更多个外部成像设备150监控。在一些配置中,人工现实系统环境100可以不包括外部成像设备150、可选的输入/输出接口140和可选的控制台110。在替代配置中,人工现实系统环境100中可以包括不同或附加的部件。
近眼显示系统120可以是向用户呈现内容的头戴式显示器。由近眼显示系统120呈现的内容示例包括图像、视频、音频或其某种组合中的一个或更多个。在一些实施例中,音频可以经由外部设备(例如,扬声器和/或头戴式耳机)呈现,该外部设备从近眼显示系统120、控制台110或两者接收音频信息,并基于音频信息来呈现音频数据。近眼显示系统120可以包括一个或更多个刚性主体,该刚性主体可以刚性或非刚性地彼此耦合。刚性主体之间的刚性耦合可以使所耦合的刚性主体充当单个刚性实体。刚性主体之间的非刚性耦合可以允许刚性主体相对于彼此移动。在各种实施例中,近眼显示系统120可以以任何合适的形状因子(包括一副眼镜)来被实现。下面进一步描述近眼显示系统120的一些实施例。附加地,在各种实施例中,本文描述的功能可以用在头戴式装置中,该头戴式装置组合近眼显示系统120外部环境的图像和人工现实内容(例如,计算机生成的图像)。因此,近眼显示系统120可以用生成的内容(例如,图像、视频、声音等)来增强近眼显示系统120外部的物理、现实世界环境的图像,以向用户呈现增强的现实。
在各种实施例中,近眼显示系统120可以包括显示电子器件122、显示光学器件124和眼睛跟踪系统130中的一个或更多个。在一些实施例中,近眼显示系统120还可以包括一个或更多个定位器126、一个或更多个位置传感器128和惯性测量单元(IMU)132。在各种实施例中,近眼显示系统120可以省略这些元件中的任何一个,或者可以包括附加元件。附加地,在一些实施例中,近眼显示系统120可以包括组合了结合图1描述的各种元件的功能的元件。
显示电子器件122可以根据从例如控制台110接收的数据向用户显示图像或促进图像的显示。在各种实施例中,显示电子器件122可以包括一个或更多个显示面板,例如液晶显示器(LCD)、有机发光二极管(OLED)显示器、无机发光二极管(ILED)显示器、微型发光二极管(μLED)显示器、有源矩阵OLED显示器(AMOLED)、透明OLED显示器(TOLED)或某种其他显示器。例如,在近眼显示系统120的一个实施方式中,显示电子器件122可以包括前TOLED面板、后显示面板以及在前显示面板和后显示面板之间的光学部件(例如,衰减器、偏振器或者衍射膜或光谱膜)。显示电子器件122可以包括发射例如红色、绿色、蓝色、白色或黄色的主要颜色(predominant color)的光的像素。在一些实施方式中,显示电子器件122可以通过由二维面板产生的立体效果来显示三维(3D)图像,以创建图像深度的主观感知。例如,显示电子器件122可以包括分别位于用户的左眼和右眼前方的左显示器和右显示器。左显示器和右显示器可以呈现相对于彼此水平偏移的图像的副本,以产生立体效果(即,观看图像的用户对图像深度的感知)。
在某些实施例中,显示光学器件124可以(例如,使用光波导和耦合器)光学地显示图像内容,放大从显示电子器件122接收的图像光,校正与图像光相关联的光学误差,并将校正后的图像光呈现给近眼显示系统120的用户。在各种实施例中,显示光学器件124可以包括一个或更多个光学元件,诸如例如基底、光波导、光圈(aperture)、费涅尔透镜、凸透镜、凹透镜、滤光器、输入/输出耦合器或者可以影响从显示电子器件122发射的图像光的任何其他合适的光学元件。显示光学器件124可以包括不同光学元件以及机械耦合件的组合,以保持组合中的光学元件的相对间距和定向。显示光学器件124中的一个或更多个光学元件可以具有光学涂层,例如抗反射涂层、反射涂层、滤光涂层或不同光学涂层的组合。
显示光学器件124对图像光的放大可以允许显示电子器件122比更大的显示器物理上更小、重量更轻并且消耗更少的功率。附加地,放大可以增加显示内容的视场。显示光学器件124对图像光的放大倍数可以通过调整光学元件、增加光学元件或从显示光学器件124移除光学元件来改变。在一些实施例中,显示光学器件124可以将显示的图像投射到一个或更多个图像平面,该图像平面可以比近眼显示系统120更远离用户的眼睛。
显示光学器件124还可以被设计成校正一种或更多种类型的光学误差,例如二维光学误差、三维光学误差或其组合。二维误差可以包括二维中出现的光学像差(opticalaberration)。二维误差的示例类型可以包括桶形失真、枕形失真、纵向色差和横向色差。三维误差可以包括三维中出现的光学误差。三维误差的示例类型可以包括球面像差(spherical aberration)、彗形像差(comatic aberration)、像场弯曲(field curvature)和像散(astigmatism)。
定位器126可以是相对于彼此并相对于近眼显示系统120上的参考点位于近眼显示系统120上特定位置的对象。在一些实施方式中,控制台110可以识别由外部成像设备150捕获的图像中的定位器126,以确定人工现实头戴式装置的位置、定向或两者。定位器126可以是发光二极管(LED)、角立方体反射器(corner cube reflector)、反射标记、与近眼显示系统120在其中操作的环境形成对比的一种类型的光源或者它们的一些组合。在定位器126是有源部件(例如,LED或其他类型的发光器件)的实施例中,定位器126可以发射可见光波段(例如,约380nm至750nm)中的光、红外(IR)波段(例如,约750nm至1mm)中的光、紫外波段(例如,约10nm至约380nm)中的光、电磁波谱的另一部分中的光或电磁波谱中各部分的任意组合中的光。
外部成像设备150可以基于从控制台110接收的校准参数生成慢速校准数据。慢速校准数据可以包括显示定位器126的观察位置的一个或更多个图像,这些定位器126能够被外部成像设备150检测到。外部成像设备150可以包括一个或更多个照相机、一个或更多个摄像机、能够捕获包括一个或更多个定位器126的图像的任何其他设备或者它们的一些组合。附加地,外部成像设备150可以包括一个或更多个滤光器(例如,用于提高信噪比)。外部成像设备150可以被配置成检测从外部成像设备150的视场中的定位器126发射或反射的光。在定位器126包括无源元件(例如,回射器(retroreflector))的实施例中,外部成像设备150可以包括照射一些或所有定位器126的光源,定位器126可以将光回射到外部成像设备150中的光源。可以将慢速校准数据从外部成像设备150传送到控制台110,并且外部成像设备150可以从控制台110接收一个或更多个校准参数,用于调整一个或更多个成像参数(例如,焦距、焦点、帧速率、传感器温度、快门速度、光圈等)。
位置传感器128可以响应于近眼显示系统120的运动而生成一个或更多个测量信号。位置传感器128的示例可以包括加速度计、陀螺仪、磁力计、其他运动检测或误差校正传感器或者它们的一些组合。例如,在一些实施例中,位置传感器128可以包括测量平移运动(例如,向前/向后、向上/向下、或向左/向右)的多个加速度计和测量旋转运动(例如,俯仰、偏航、或滚动)的多个陀螺仪。在一些实施例中,各个位置传感器可以彼此正交定向。
IMU 132可以是基于从一个或更多个位置传感器128接收的测量信号生成快速校准数据的电子器件。位置传感器128可以位于IMU 132的外部、IMU 132的内部或它们的某种组合。基于来自一个或更多个位置传感器128的一个或更多个测量信号,IMU 132可以生成快速校准数据,该快速校准数据指示相对于近眼显示系统120的初始位置的近眼显示系统120的估计位置。例如,IMU 132可以对从加速度计接收的测量信号在时间上进行积分,以估计速度矢量,并且对速度矢量在时间上进行积分,以确定近眼显示系统120上参考点的估计位置。替代地,IMU 132可以向控制台110提供采样的测量信号,控制台110可以确定快速校准数据。虽然参考点通常可以被定义为空间中的点,但是在各种实施例中,参考点还可以被定义为近眼显示系统120内的点(例如,IMU 132的中心)。
眼睛跟踪系统130可以包括一个或更多个眼睛跟踪系统。眼睛跟踪可以指确定眼睛相对于近眼显示系统120的位置,包括眼睛的取向和位置。眼睛跟踪系统可以包括对一只或更多只眼睛进行成像的成像系统,并且可以通常包括光发射器,该光发射器可以生成指向眼睛的光,使得由眼睛反射的光可以被成像系统捕获。例如,眼睛跟踪系统130可以包括发射可见光谱或红外光谱中的光的非相干光源或相干光源(例如,激光二极管),以及捕获由用户的眼睛反射的光的照相机。作为另一个示例,眼睛跟踪系统130可以捕获由微型雷达单元发射的反射无线电波。眼睛跟踪系统130可以使用低功率光发射器,该低功率光发射器以不会伤害眼睛或引起身体不适的频率和强度发射光。眼睛跟踪系统130可以被布置成提高眼睛跟踪系统130捕获的眼睛图像中的对比度,同时降低眼睛跟踪系统130消耗的总功率(例如,降低由眼睛跟踪系统130中包括的光发射器和成像系统消耗的功率)。例如,在一些实施方式中,眼睛跟踪系统130可以消耗小于100毫瓦的功率。
在一些实施例中,眼睛跟踪系统130可以包括一个光发射器和一个照相机来跟踪用户的每只眼睛。眼睛跟踪系统130还可以包括不同的眼睛跟踪系统,这些眼睛跟踪系统一起操作以提供改进的眼睛跟踪准确度和响应性。例如,眼睛跟踪系统130可以包括具有快速响应时间的快速眼睛跟踪系统和具有较慢响应时间的慢速眼睛跟踪系统。快速眼睛跟踪系统可以频繁地测量眼睛以捕获由眼睛跟踪模块118用来确定眼睛相对于参考眼睛位置的位置的数据。慢速眼睛跟踪系统可以独立地测量眼睛以捕获由眼睛跟踪模块118用来确定参考眼睛位置的数据,而不参考先前确定的眼睛位置。由慢速眼睛跟踪系统捕获的数据可以允许眼睛跟踪模块118比从由快速眼睛跟踪系统捕获的数据确定的眼睛位置更准确地确定参考眼睛位置。在各种实施例中,慢速眼睛跟踪系统可以以比快速眼睛跟踪系统更低的频率向眼睛跟踪模块118提供眼睛跟踪数据。例如,慢速眼睛跟踪系统可能工作频率较低,或者具有较慢的响应时间以节省功率。
眼睛跟踪系统130可以被配置成估计用户眼睛的取向。眼睛的取向可以对应于用户在近眼显示系统120内的凝视方向。用户眼睛的取向可以被定义为视网膜中央凹轴(foveal axis)的方向,视网膜中央凹轴是视网膜中央凹(fovea)(眼睛视网膜上感光细胞最集中的区域)与眼睛瞳孔中心之间的轴。通常,当用户的眼睛固定在一点上时,用户眼睛的视网膜中央凹轴与该点相交。眼睛的瞳孔轴可以被定义为穿过瞳孔中心并垂直于角膜表面(corneal surface)的轴。通常,即使瞳孔轴和视网膜中央凹轴在瞳孔中心相交,瞳孔轴也可能不直接与视网膜中央凹轴对准。例如,视网膜中央凹轴的取向可能横向偏离瞳孔轴大约-1°至8°,并且垂直偏离瞳孔轴大约±4°(这可称为kappa角,其可能因人而异)。因为视网膜中央凹轴是根据位于眼睛后部的视网膜中央凹来定义的,所以在一些眼睛跟踪实施例中,视网膜中央凹轴可能难以或不可能直接测量。相应地,在一些实施例中,可以检测瞳孔轴的取向,并且可以基于检测到的瞳孔轴来估计视网膜中央凹轴。
通常,眼睛的移动不仅对应于眼睛的角度旋转,还对应于眼睛的平移、眼睛扭转的变化和/或眼睛形状的变化。眼睛跟踪系统130还可以被配置成检测眼睛的平移,这可以是眼睛相对于眼窝的位置变化。在一些实施例中,可以不直接检测眼睛的平移,而是可以基于从检测到的角度取向的映射来近似。还可以检测对应于眼睛相对于眼睛跟踪系统的位置变化的眼睛平移,该位置变化是由于例如用户头部上的近眼显示系统120的位置改变引起的。眼睛跟踪系统130还可以检测眼睛的扭转和眼睛围绕瞳孔轴的旋转。眼睛跟踪系统130可以使用检测到的眼睛扭转来估计视网膜中央凹轴相对于瞳孔轴的取向。在一些实施例中,眼睛跟踪系统130还可以跟踪眼睛的形状变化,该形状变化可以近似为倾斜(skew)或缩放线性变换或扭曲失真(例如,由于扭转变形)。在一些实施例中,眼睛跟踪系统130可以基于瞳孔轴的角度取向、眼睛的平移、眼睛的扭转和眼睛的当前形状的一些组合来估计视网膜中央凹轴。
在一些实施例中,眼睛跟踪系统130可以包括多个发射器或至少一个发射器,发射器可以在眼睛的所有部分或一部分上投射结构光图案。当从偏置角度观看时,结构光图案可能由于眼睛的形状而失真。眼睛跟踪系统130还可以包括至少一个照相机,该照相机可以检测投射到眼睛上的结构光图案的失真(如果有的话)。照相机可以被定向在与发射器不同的到眼睛的轴上。通过检测眼睛表面上的结构光图案的变形,眼睛跟踪系统130可以确定被结构光图案照亮的眼睛部分的形状。因此,捕获的失真光图案可以指示眼睛被照亮部分的3D形状。因此,眼睛的取向可以从眼睛被照亮部分的3D形状中导出。眼睛跟踪系统130还可以基于由照相机捕获的失真的结构光图案的图像来估计瞳孔轴、眼睛的平移、眼睛的扭转和眼睛的当前形状。
近眼显示系统120可以使用眼睛的取向来例如,确定用户的瞳孔间距离(IPD)、确定凝视方向、引入深度线索(例如,模糊用户主视线之外的图像)、收集关于VR媒体中的用户交互的启发信息(heuristics)(例如,根据经受的刺激的在任何特定受试者、对象或帧上花费的时间)、部分基于至少一只用户眼睛的取向的一些其他功能、或者它们的某种组合。因为可以确定用户双眼的取向,所以眼睛跟踪系统130可以确定用户正在看向哪里。例如,确定用户凝视的方向可以包括基于所确定的用户左眼和右眼的定向来确定集合点(point ofconvergence)。集合点可以是用户眼睛的两个视网膜中央凹轴相交的点。用户凝视的方向可以是穿过集合点和用户眼睛瞳孔之间的中点的线的方向。
输入/输出接口140可以是允许用户向控制台110发送动作请求的设备。动作请求可以是执行特定动作的请求。例如,动作请求可以是开始或结束应用,或者是在应用内执行特定动作。输入/输出接口140可以包括一个或更多个输入设备。示例输入设备可以包括键盘、鼠标、游戏控制器、手套、按钮、触摸屏或用于接收动作请求并将接收到的动作请求传送到控制台110的任何其他合适的设备。由输入/输出接口140接收的动作请求可以被传送到控制台110,控制台110可以执行对应于所请求动作的动作。在一些实施例中,输入/输出接口140可以根据从控制台110接收的指令向用户提供触觉反馈。例如,当接收到动作请求时,或者当控制台110已经执行了所请求的动作并将指令传送给输入/输出接口140时,输入/输出接口140可以提供触觉反馈。
控制台110可以根据从外部成像设备150、近眼显示系统120和输入/输出接口140中的一个或更多个接收的信息,向近眼显示系统120提供内容以呈现给用户。在图1所示的示例中,控制台110可以包括应用储存器112、头戴式装置跟踪模块114、人工现实引擎116和眼睛跟踪模块118。控制台110的一些实施例可以包括与结合图1描述的模块不同的或附加的模块。下面进一步描述的功能可以以不同于这里描述的方式在控制台110的部件之间分配。
在一些实施例中,控制台110可以包括处理器和存储可由处理器执行的指令的非暂时性计算机可读存储介质。处理器可以包括并行执行指令的多个处理单元。计算机可读存储介质可以是任何存储器,例如硬盘驱动器、可移动存储器、或固态驱动器(例如,闪存或动态随机存取存储器(DRAM))。在各种实施例中,结合图1描述的控制台110的模块可以被编码为非暂时性计算机可读存储介质中的指令,当由处理器执行时,这些指令使得处理器执行下面进一步描述的功能。
应用储存器112可以存储用于由控制台110执行的一个或更多个应用。应用可以包括一组指令,该组指令当由处理器执行时生成用于呈现给用户的内容。由应用生成的内容可以对经由用户眼睛的移动从用户接收的输入或者从输入/输出接口140接收的输入进行响应。应用的示例可以包括:游戏应用、会议应用、视频回放应用或其他合适的应用。
头戴式装置跟踪模块114可以使用来自外部成像设备150的慢速校准信息来跟踪近眼显示系统120的移动。例如,头戴式装置跟踪模块114可以使用来自慢速校准信息的观察到的定位器和近眼显示系统120的模型来确定近眼显示系统120的参考点的位置。头戴式装置跟踪模块114还可以使用来自快速校准信息的位置信息来确定近眼显示系统120的参考点的位置。附加地,在一些实施例中,头戴式装置跟踪模块114可以使用快速校准信息、慢速校准信息或其某种组合的部分来预测近眼显示系统120的未来位置。头戴式装置跟踪模块114可以向人工现实引擎116提供近眼显示系统120的估计或预测的未来位置。
头戴式装置跟踪模块114可以使用一个或更多个校准参数来校准人工现实系统环境100,并且可以调整一个或更多个校准参数以降低确定近眼显示系统120的位置时的误差。例如,头戴式装置跟踪模块114可以调整外部成像设备150的焦点,以获得在近眼显示系统120上观察到的定位器的更准确的位置。此外,头戴式装置跟踪模块114执行的校准也可以考虑从IMU 132接收的信息。附加地,如果对近眼显示系统120的跟踪丢失(例如,外部成像设备150丢失至少阈值数量定位器126的视线),则头戴式装置跟踪模块114可以重新校准一些或所有校准参数。
人工现实引擎116可以在人工现实系统环境100内执行应用,并且从头戴式装置跟踪模块114接收近眼显示系统120的位置信息、近眼显示系统120的加速度信息、近眼显示系统120的速度信息、近眼显示系统120的预测的未来位置或者它们的某种组合。人工现实引擎116还可以从眼睛跟踪模块118接收估计的眼睛位置和取向信息。基于接收到的信息,人工现实引擎116可以确定要提供给近眼显示系统120以用于显现给用户的内容。例如,如果接收到的信息指示用户已经向左看,则人工现实引擎116可以为近眼显示系统120生成反映用户眼睛在虚拟环境中的移动的内容。附加地,人工现实引擎116可以响应于从输入/输出接口140接收的动作请求来执行在控制台110上执行的应用内的动作,并且向用户提供指示动作已经被执行的反馈。反馈可以是经由近眼显示系统120的视觉或听觉反馈,或者经由输入/输出接口140的触觉反馈。
眼睛跟踪模块118可以从眼睛跟踪系统130接收眼睛跟踪数据,并基于眼睛跟踪数据确定用户眼睛的位置。眼睛的位置可以包括眼睛相对于近眼显示系统120或其任何元件的的取向、位置或者取向和位置两者。因为眼睛的旋转轴根据眼睛在眼眶中的位置而变化,所以确定眼睛在眼眶中的位置可以允许眼睛跟踪模块118更准确地确定眼睛的取向。
在一些实施例中,眼睛跟踪模块118可以存储由眼睛跟踪系统130捕获的图像与眼睛位置之间的映射,以从由眼睛跟踪系统130捕获的图像确定参考眼睛位置。替代地或附加地,眼睛跟踪模块118可以通过比较从中确定参考眼睛位置的图像和从中确定更新的眼睛位置的图像来确定相对于参考眼睛位置的更新的眼睛位置。眼睛跟踪模块118可以使用来自不同成像设备或其他传感器的测量结果来确定眼睛位置。例如,眼睛跟踪模块118可以使用来自慢速眼睛跟踪系统的测量结果来确定参考眼睛位置,然后从快速眼睛跟踪系统确定相对于参考眼睛位置的更新的位置,直到基于来自慢速眼睛跟踪系统的测量结果来确定下一个参考眼睛位置为止。
眼睛跟踪模块118还可以确定眼睛校准参数,以提高眼睛跟踪的精度和准确度。眼睛校准参数可以包括每当用户佩戴或调整近眼显示系统120时都可能变化的参数。示例眼睛校准参数可以包括眼睛跟踪系统130的部件与眼睛的一个或更多个部分(例如眼睛的中心、瞳孔、角膜边界或眼睛表面上的点)之间的估计距离。其他示例眼睛校准参数可以特定于特定用户,并且可以包括估计的平均眼睛半径、平均角膜半径、平均巩膜半径、眼睛表面上的特征图以及估计的眼睛表面轮廓。在来自近眼显示系统120外部的光可以到达眼睛的实施例中(如在一些增强现实应用中),校准参数可以包括由于来自近眼显示系统120外部的光的变化而导致的强度和色彩平衡的校正因子。眼睛跟踪模块118可以使用眼睛校准参数来确定由眼睛跟踪系统130捕获的测量结果是否允许眼睛跟踪模块118确定准确的眼睛位置(在本文还称为“有效测量结果”)。眼睛跟踪模块118可能无法从中确定准确眼睛位置的无效测量结果可能是由用户眨眼、调整头戴式装置或移除头戴式装置引起的,和/或可能是由近眼显示系统120由于外部光而经历大于阈值的照明变化引起的。在一些实施例中,眼睛跟踪模块118的至少一些功能可以由眼睛跟踪系统130来执行。
图2是用于实现本文公开的一些示例的以头戴式显示器(HMD)设备200形式的近眼显示系统的示例的透视图。HMD设备200可以是例如虚拟现实(VR)系统、增强现实(AR)系统、混合现实(MR)系统或其一些组合的一部分。HMD设备200可以包括主体220和头带230。图2以透视图示出了主体220的顶侧223、前侧225和右侧227。头带230可以具有可调节或可延伸的长度。在HMD设备200的主体220和头带230之间可以有足够的空间,以允许用户将HMD设备200安装到用户的头上。在各种实施例中,HMD设备200可以包括附加的、更少的或不同的部件。例如,在一些实施例中,HMD设备200可以包括眼镜腿(eyeglass temple)和镜腿末端(temples tips)(例如,如图2所示)而不是头带230。
HMD设备200可以向用户呈现包括具有计算机生成元素的物理、真实世界环境的虚拟和/或增强视图的媒体。由HMD设备200呈现的媒体的示例可以包括图像(例如,二维(2D)或三维(3D)图像)、视频(例如,2D或3D视频)、音频或其一些组合。图像和视频可以通过封装在HMD设备200的主体220中的一个或更多个显示组件(图2中未示出)呈现给用户的每只眼睛。在各种实施例中,一个或更多个显示组件可以包括单个电子显示面板或多个电子显示面板(例如,用户的每只眼睛一个显示面板)。电子显示面板的示例可以包括,例如,液晶显示器(LCD)、有机发光二极管(OLED)显示器、无机发光二极管(ILED)显示器、微型发光二极管(mLED)显示器、有源矩阵有机发光二极管(AMOLED)显示器、透明有机发光二极管(TOLED)显示器、某种其他显示器或它们的一些组合。HMD设备200可以包括两个视窗区域。
在一些实施方式中,HMD设备200可以包括各种传感器(未示出),例如深度传感器、运动传感器、位置传感器和眼睛跟踪传感器。这些传感器中的一些可以使用结构光图案进行感测。在一些实施方式中,HMD设备200可以包括用于与控制台通信的输入/输出接口。在一些实施方式中,HMD设备200可以包括虚拟现实引擎(未示出),该虚拟现实引擎可以在HMD设备200内执行应用,并且从各种传感器接收HMD设备200的深度信息、位置信息、加速度信息、速度信息、预测的未来位置或其某种组合。在一些实施方式中,由虚拟现实引擎接收的信息可以用于向一个或更多个显示组件产生信号(例如,显示指令)。在一些实施方式中,HMD设备200可以包括定位器(未示出,例如定位器126),定位器相对于彼此和相对于参考点位于主体220上的固定位置。每个定位器可以发射可由外部成像设备检测的光。
图3是用于实现本文公开的一些示例的以一副眼镜形式的近眼显示系统300的示例的透视图。近眼显示系统300可以是图1的近眼显示系统120的具体实施方式,并且可以被配置用作虚拟现实显示器、增强现实显示器和/或混合现实显示器。近眼显示系统300可以包括框架305和显示器310。显示器310可以被配置成向用户呈现内容。在一些实施例中,显示器310可以包括显示电子器件和/或显示光学器件。例如,如上文关于图1的近眼显示系统120所述,显示器310可以包括LCD显示面板、LED显示面板或光学显示面板(例如,波导显示组件)。
近眼显示系统300还可以包括框架305上或框架305内的各种传感器350a、350b、350c、350d和350e。在一些实施例中,传感器350a-350e可以包括一个或更多个深度传感器、运动传感器、位置传感器、惯性传感器或环境光传感器。在一些实施例中,传感器350a-350e可以包括一个或更多个图像传感器,该一个或更多个图像传感器被配置成生成表示不同方向上的不同视场的图像数据。在一些实施例中,传感器350a-350e可以用作输入设备来控制或影响近眼显示系统300的显示内容,和/或向近眼显示系统300的用户提供交互式VR/AR/MR体验。在一些实施例中,传感器350a-350e也可以用于立体成像。
在一些实施例中,近眼显示系统300还可以包括一个或更多个照明器330,以将光投射到物理环境中。投射的光可以与不同的频带(例如可见光、红外光、紫外光等)相关联,并且可以服务于各种目的。例如,照明器330可以在黑暗环境中(或者在具有低强度红外光、紫外光等的环境中)投射光,来帮助传感器350a-350e捕获黑暗环境中不同对象的图像。在一些实施例中,照明器330可以用于将特定的光图案投射到环境内的对象上。在一些实施例中,照明器330可以用作定位器,例如上面关于图1描述的定位器126。
在一些实施例中,近眼显示系统300还可以包括高分辨率照相机340。照相机340可以捕获视场中的物理环境的图像。所捕获的图像可以例如由虚拟现实引擎(例如,图1的人工现实引擎116)处理,以将虚拟对象添加到所捕获的图像或者修改所捕获的图像中的物理对象,并且经处理的图像可以由显示器310显示给用户以用于AR或MR应用。
图4示出了根据某些实施例的使用波导显示器的光学透视增强现实系统400的示例。增强现实系统400可以包括投影仪410和合路器415。投影仪410可以包括光源或图像源412和投影仪光学器件414。在一些实施例中,图像源412可以包括显示虚拟对象的多个像素,例如LCD显示面板或LED显示面板。在一些实施例中,图像源412可以包括生成相干光或部分相干光的光源。例如,图像源412可以包括激光二极管、垂直腔面发射激光器和/或发光二极管。在一些实施例中,图像源412可以包括多个光源,每个光源发射对应于原色(例如,红色、绿色或蓝色)的单色图像光。在一些实施例中,图像源412可以包括光学图案生成器,例如空间光调制器。投影仪光学器件414可以包括一个或更多个光学部件,该一个或更多个光学部件可以调节来自图像源412的光,例如扩展、准直、扫描来自图像源412的光或将来自图像源412的光投射到合路器415。例如,一个或更多个光学部件可以包括一个或更多个透镜、液体透镜、反射镜、光圈和/或光栅。在一些实施例中,投影仪光学器件414可以包括具有多个电极的液体透镜(例如,液晶透镜),该液体透镜允许对来自图像源412的光进行扫描。
合路器415可以包括用于将来自投影仪410的光耦合到合路器415的基底420中的输入耦合器430。合路器415可以透射至少50%的第一波长范围内的光并且反射至少25%的第二波长范围内的光。例如,第一波长范围可以是从约400nm至约650nm的可见光,并且第二波长范围可以在红外波段,例如从约800nm至约1000nm。输入耦合器430可以包括体全息光栅、衍射光学元件(DOE)(例如,表面浮雕光栅)、基底420的倾斜表面或折射耦合器(例如,光楔(wedge)或棱镜)。输入耦合器430对于可见光可以具有大于30%、50%、75%、90%或更高的耦合效率。耦合到基底420中的光可以通过例如全内反射(TIR)在基底420内传播。基底420可以是一副眼镜的镜片的形式。基底420可以具有平坦的表面或弯曲的表面,并且可以包括一种或更多种类型的介电材料,例如玻璃、石英、塑料、聚合物、聚(甲基丙烯酸甲酯)(PMMA)、晶体或陶瓷。基底的厚度可以在例如从小于约1mm至约10mm或更大的范围内。基底420对可见光可以是透明的。
基底420可以包括多个输出耦合器440或者可以被耦合至多个输出耦合器440,该输出耦合器440被配置成从基底420提取由基底420引导并在基底420内传播的光的至少一部分,并且将所提取的光460引导至增强现实系统400的用户的眼睛490。像输入耦合器430一样,输出耦合器440可以包括光栅耦合器(例如,体全息光栅或表面浮雕光栅)、其他DOE、棱镜等。输出耦合器440在不同位置处可以具有不同的耦合(例如,衍射)效率。基底420还可以允许来自合路器415前面的环境的光450以很少的损失或没有损失地穿过。输出耦合器440也可以允许光450以很少的损失穿过。例如,在一些实施方式中,输出耦合器440对于光450可以具有低衍射效率,使得光450可以被折射或者以其他方式以很少的损失穿过输出耦合器440,并且因此可以具有比所提取的光460更高的强度。在一些实施方式中,输出耦合器440对光450可以具有高衍射效率,并且可以以很少的损失将光450衍射到某些期望的方向(即,衍射角)。结果,用户可以观看合路器415前面的环境和由投影仪410投射的虚拟对象的组合图像。
可能有几种类型的眼睛测量来确定用户意图、认知过程、行为、注意力等。这些测量可以包括例如与注视(fixation)相关的测量,在注视中,眼睛在移动之间是静止的,并且可以出现视觉输入。与注视相关的测量变量可以包括例如,总注视持续时间、平均注视持续时间、注视空间密度、被注视的区域数量、注视序列和注视率。眼睛测量还可以包括扫视(scacade)的测量,扫视是在注视之间发生的快速眼睛移动。扫视相关参数可以包括例如扫视次数、幅度、速度、加速度和注视扫视比。眼睛测量还可以包括扫描路径的测量,扫描路径可以包括在目光到达显示屏上的目标位置之前交替的一系列短暂注视和扫视。从扫描路径导出的移动度量可以包括例如扫描路径方向、持续时间、长度和覆盖区域。眼睛移动测量还可以包括测量在目光离开感兴趣区域之前在该区域进行的所有注视的总和或者在每个区域花费的时间比例。眼睛测量还可以包括测量瞳孔大小和眨眼率,这可以用于研究认知工作负荷。
此外,如上所述,在人工现实系统中,为了改善用户与所呈现内容的交互,人工现实系统可以跟踪用户的眼睛,并基于用户正在观看的位置或方向来修改或生成内容。跟踪眼睛可以包括跟踪眼睛的瞳孔和/或角膜的位置和/或形状,以及确定眼睛的旋转位置或凝视方向。一种技术(称为瞳孔中心角膜反射或PCCR方法)涉及使用NIR LED在眼睛角膜表面上产生亮斑,然后捕获眼睛区域的图像/视频。凝视方向可以从瞳孔中心和亮斑之间的相对移动来估计。
图5示出了在使用眼睛跟踪系统510(例如眼睛跟踪系统130)进行眼睛跟踪期间眼睛550的光反射和散射。如上所述,眼睛跟踪系统510可以包括光源512和照相机514。在其他实施例中,与图5描绘的那些部件相比,眼睛跟踪系统510可以包括不同的和/或附加的部件。光源512可以包括例如激光器、LED或VCSEL,并且可以相对于眼睛550的表面法线矢量520以激光角度522安装。表面法线矢量520正交于眼睛550的由光源512照射的表面部分(例如,角膜552)。在图5所示的示例中,表面法线矢量520可以与眼睛550的瞳孔轴(也称为光轴,其可以是穿过瞳孔556的中心和角膜552的中心的线)相同。激光角度522可以在表面法线矢量520和从由光源512照射的眼睛550表面部分的中心到光源512的输出光圈的中心的线之间测量。照相机514可以相对于眼睛550的表面法线矢量520以照相机角度524安装。照相机角度524可以在表面法线矢量520和从由光源512照射的眼睛550表面部分的中心到照相机514的图像传感器或光输入光圈的中心的线之间测量。在一些实施例中,激光角度522和照相机角度524之间的差小于阈值量,使得照相机514可以通过入射到眼睛550的角膜552上的光的镜面反射来捕获图像,这可以有益地增加所得图像的对比度,并且最小化光功率损失和功耗。
由光源512发射的光可以基本均匀地照射眼睛表面的一部分(例如,角膜552)。发射光的一部分可以被眼睛550的角膜552镜面反射,并被照相机514捕获。在一些情况下,入射到眼睛550上的光在被反射之前可以传播到眼睛中一小段距离。例如,光的至少一些部分可以通过角膜552进入眼睛550,并到达眼睛550的虹膜554、瞳孔556、晶状体558或视网膜560。因为眼睛550内的一些界面(例如,虹膜554的表面)可能是粗糙的(例如,由于诸如毛细血管或突起的特征),所以眼睛550内的界面可能在多个方向上散射入射光。眼睛表面的不同部分和眼睛550内的界面可以具有不同的特征图案。因此,由眼睛550反射的光的强度图案可以取决于眼睛550的被照射部分内的特征图案,这可以允许从强度图案识别眼睛的部分(例如,虹膜554或瞳孔556)。
照相机514可以收集由眼睛550的被照射部分反射的光并将其投射到照相机514的图像传感器上。照相机514还可以校正一个或多个光学误差(例如关于显示光学器件124描述的那些误差),以提高由照相机514的图像传感器捕获的图像的对比度和其他属性。在一些实施例中,照相机514还可以放大反射光。在一些实施例中,照相机514可以放大图像。照相机514的图像传感器可以捕获由照相机514的透镜组件聚焦的入射光。因此,照相机514可以有效地捕获光源512(其发射的光被眼睛的角膜镜面反射)的由眼睛反射的图像,从而在捕获的图像中产生“亮斑”。由于眼睛的一些界面处的散射(漫反射),入射到图像传感器的一个点上的光可能包括从眼睛550的被照射部分内的多个点反射的光,因此可能是从多个点反射的光的干涉的结果。因此,在一些实施例中,照相机514的图像传感器还可以捕获由从眼睛550表面的多个点反射的光的组合形成的衍射或散斑图案(speckle pattern)。
图像传感器的每个像素可以包括光敏电路,该光敏电路可以输出与入射到像素上的光的强度相对应的电流或电压信号。在一些实施例中,图像传感器的像素可以对窄波长带中的光敏感。在一些其他实施例中,图像传感器的像素可以具有宽带或多带(multi-band)灵敏度。例如,照相机514的图像传感器可以包括互补金属氧化物半导体(CMOS)像素阵列,该CMOS阵列可以用于波长小于约750nm的光。作为另一个示例,照相机514的图像传感器可以包括砷化铟镓合金像素阵列或电荷耦合器件(CCD)。这种图像传感器可用于发射波长在大约900nm和大约1160nm之间的光的激光器。
在一些实施例中,为了确定眼睛550的位置变化,眼睛跟踪模块(例如,图1的眼睛跟踪系统130或眼睛跟踪模块118)可以确定图像之间的像素偏移。将像素偏移乘以每个像素的校准距离可以允许眼睛跟踪模块确定眼睛550的表面(例如,角膜552)已经偏移的距离。例如,如果在一幅图像中捕获的亮斑相对于在前一幅图像中捕获的亮斑偏移了两个像素,并且每个像素对应于眼睛550表面处的10微米的距离,则眼睛550的表面可能已经移动了大约20微米。
在一些实施例中,头戴式设备中使用的眼睛跟踪技术可以是基于视频的,并且可以基于外观或特征来执行。例如,基于外观的技术可以使用特定映射函数来将整个眼睛图像或眼睛图像的感兴趣区域映射到凝视方向或凝视点。映射函数可以具有高维输入(例如,图像像素的强度)和低维输出(例如,凝视方向、凝视点等)。这些映射函数可以基于机器学习模型,例如卷积神经网络(CNN)。
基于特征的技术可以使用提取的特征来执行特征提取和凝视估计。这些特征可以是以下项中的任意一项或更多项:瞳孔中心、虹膜中心、瞳孔-虹膜边界、虹膜-巩膜边界、第一浦肯野图像(从角膜前表面的反射,称为角膜反射或亮斑)、第四浦肯野图像(晶状体后表面的反射)、眼角等。这些特征可以使用计算机视觉技术(例如,强度直方图分析、阈值化、边缘检测、斑点(blob)分割、凸包、形态学运算、形状拟合、可变形模板、质心等)或机器学习技术或任何组合来提取。凝视估计技术可以是基于插值的或基于模型的。基于插值的技术可以使用特定映射函数(例如,二元二次多项式)来将眼睛特征(例如,瞳孔中心或瞳孔中心-角膜反射(PCCR)矢量)映射到凝视方向。这些映射函数的系数可以通过个人校准过程获得,该过程可以包括在用户注视具有已知坐标的一系列注视目标时收集数据。该校准可以针对每个受试者和每个会话进行,并且有时可以在每个会话中进行多次,因为校准可能对头戴式设备相对于头部的滑动敏感。映射函数然后可以使用校准数据点和插值技术来确定凝视方向。基于模型的方法可以使用系统(例如,照相机和/或光源)和眼睛的模型,该模型可以包括实际的物理系统参数和解剖学眼睛参数,以根据3-D几何形状从一组眼睛特征(例如,瞳孔边界和多个角膜反射)确定3-D凝视。基于模型的技术可以针对每个用户执行一次性系统校准和一次性个人校准。个人校准的数据收集过程可能类似于基于插值的方法的数据收集过程。
替代地或附加地,眼睛跟踪模块可以通过将捕获的图像与具有已知眼睛位置的一个或更多个先前图像进行比较来在捕获的图像中确定眼睛的位置。例如,眼睛跟踪模块可以包括图像数据库,每个图像都与参考眼睛位置相关联。通过将捕获的图像与存储的图像进行匹配,眼睛跟踪模块可以确定眼睛处于与存储图像相关联的参考眼睛位置处。在一些实施例中,眼睛跟踪模块可以识别捕获的图像的一部分中的特征。该特征可以包括与眼睛550的特定部分(例如瞳孔或虹膜)相关联的衍射或光流图案。例如,如上所述,眼睛跟踪模块可以通过以下方式来确定眼睛位置:检索与特征(其也在参考图像中被捕获)相关联的参考眼睛位置,确定捕获图像中的特征与参考图像中的特征之间的像素偏移,以及基于确定的相对于参考眼睛位置的像素偏移和每个像素的校准距离来确定眼睛位置。
如上所述,照相机514可以有效地捕获光源512的由眼睛550的角膜552反射的图像。在一些实施例中,眼睛跟踪模块可以基于角膜552上的光源图像(例如,亮斑)在捕获的图像中的位置来确定用户眼睛的凝视方向。凝视方向可以由用户眼睛的视网膜中央凹轴526确定,其中视网膜中央凹轴526(也称为“视轴”)可以是穿过瞳孔556的中心和视网膜中央凹562的中心的线。
图6是示出了根据某些实施例的用于跟踪近眼显示系统的用户眼睛的方法的示例的简化流程图600。流程图600中的操作可以由例如上述眼睛跟踪系统130或510来执行。在框610,一个或更多个光源可以照射用户的眼睛。在各种实施例中,光源可以位于用户眼睛的视场中或位于用户眼睛视场的外围。在一些实施例中,光源可以位于用户眼睛视场的外围,并且来自光源的光可以被引导并且从用户眼睛视场中的位置被导向用户眼睛。
在框620,成像设备(例如,照相机)可以收集由用户眼睛反射的光,并生成用户眼睛的一个或更多个图像。如上所述,用户眼睛的角膜可以镜面反射照明光,而用户眼睛的某些部分(例如,虹膜)可以漫射地散射照明光。用户眼睛的图像可能包括其中对比度可能因照明光的散射而不同的部分(例如,虹膜区域和/或瞳孔部分)。用户眼睛的图像还可以包括由用户角膜对照明光的镜面反射引起的亮斑。
图7A示出了根据某些实施例的由照相机捕获的用户眼睛的图像700的示例。图像700包括虹膜区域710、瞳孔区域720和多个亮斑730。亮斑730可以由从用户眼睛的角膜镜面反射的照明光引起。
可选地,在框630,眼睛跟踪系统可以执行系统校准以提高眼睛跟踪的精度和准确度,如上文关于眼睛跟踪模块118所述。系统校准可以包括例如校准眼睛跟踪光路(例如外部照相机参数(例如,位置或取向)和内部照相机参数)、光源位置、显示器光路(例如,显示器位置、显示光学器件的外部和内部参数等)。
在框640,可以基于例如用户眼睛的虹膜对照明光的散射来确定用户眼睛的瞳孔中心的位置。如上所述,瞳孔和/或虹膜的边界可以基于如图7A所示的捕获图像中的瞳孔区域的图像分割来确定。基于瞳孔的边界,可以确定瞳孔中心的位置。
在框650,可以基于如图7A所示的用户眼睛的捕获图像中的亮斑位置来确定用户眼睛的角膜位置。如上所述,可以使用例如高斯质心技术来确定亮斑的位置。所确定的亮斑位置的准确度和精度可能取决于光源(或虚拟或有效光源)的位置。基于两个或更多个亮斑的位置,可以使用例如非线性优化并基于角膜(特别是角膜顶点)接近球体的假设来确定角膜的位置。
图7B示出了根据某些实施例的识别的虹膜区域740的示例、识别的瞳孔区域750的示例以及在用户眼睛的图像700中识别的亮斑区域760的示例。如图所示,虹膜区域740和瞳孔区域750的边缘被识别。然后可以基于瞳孔区域750和/或虹膜区域740的边缘来确定瞳孔区域720的中心。亮斑730的位置也可以基于图像700中识别的亮斑区域760的位置来确定。基于亮斑区域760的位置,可以确定角膜中心的位置。
可选地,在框660,眼睛跟踪系统可以执行用户校准,以确定用于提高眼睛跟踪的精度和准确度的特定眼睛校准参数,如以上关于眼睛跟踪模块118和图5所述。用户校准可以包括例如确定眼睛模型参数(例如,解剖学眼睛参数)或者可能不依赖于特定眼睛参数的一些映射函数的系数。眼睛校准参数的其他示例可以包括估计的平均眼睛半径、平均角膜半径、平均巩膜半径、眼睛表面上的特征图和估计的眼睛表面轮廓。如上所述,对于不同的用户,用户眼睛的瞳孔轴(光轴)与视网膜中央凹轴(视轴)之间的kappa角可能不同,因此可能需要在校准期间进行校准。在一些实施例中,可以通过根据特定图案显示分布在显示屏上的一组目标点来执行校准,并且要求用户凝视每个目标点一定量的时间。照相机可以捕获目标点的相应眼睛位置,然后将其映射到相应的凝视坐标或方向,并且眼睛跟踪系统然后可以学习映射函数或模型参数。在一些实施例中,当近眼显示系统被戴上或移动时,框630和660处的校准可以仅执行一次。
在框670,可以基于例如瞳孔中心的位置和角膜中心的位置来确定用户眼睛的凝视方向。在一些实施例中,用户眼睛的瞳孔轴可以首先被确定,然后可以用于例如基于瞳孔轴和视网膜中央凹轴之间的角度来确定用户眼睛的视网膜中央凹轴(或视线、凝视方向或视轴)。
如上所述,在许多情况下,可能需要以高准确度(例如小于5°、小于1°或更好)来确定观看方向。例如,由于从光源到眼睛的照明光的角度,光源的外围位置可能对眼睛跟踪的准确度产生负面影响。眼睛跟踪系统也可能需要是稳健的,以便适应观看方向的极端变化和用户眼睛周围面部特征的变化,例如眼睛的部分(包括虹膜或瞳孔的部分)可能被例如眼睑或睫毛遮挡的情况。例如,当用户向下看时,或者当用户在眨眼期间眼睑重新打开后快速重新获得观看方向时,可能经常出现遮挡。此外,利用两个或更多个视图,单点校准可能足以确定凝视方向。因此,可能还期望从不同的视角捕获用户眼睛的多个视图。
虽然在用户视场外围的更大数量的光源可能有助于提高眼睛跟踪的准确度,但是增加光源的数量可能会导致大量的功耗,这对于为长期使用而设计的设备来说尤其是不期望的。场内照明可以提供更高的眼睛跟踪准确度。例如,当光源位于用户的场内时,在眼睛的所有凝视角度上捕获角膜亮斑的概率更高。然而,场内照明可能有几个挑战。例如,用户视场中的光源(例如,LED)可能影响现实世界图像和显示图像的透视质量。类似地,虽然在用户视场外围的更大数量的照相机可以提供眼睛的多个视图,并且有助于增加眼睛跟踪的准确度和鲁棒性,并降低校准要求,但是增加照相机的数量将导致跟踪系统的更高的成本和重量,以及大量的功耗,这对于为长期使用而设计的可佩戴设备来说可能不是合适的。
根据某些实施例,为了克服与用于眼睛跟踪的现有技术相关联的这些问题,可以在近眼显示器的透明基底上形成(例如,涂覆或层压)多个全息偏转器用于眼睛照明和成像,这些全息偏转器可以偏转眼睛跟踪光(例如,IR光或NIR光)并折射(即,透射)可见光,其中基底可以位于用户的前方和用户的视场内。全息偏转器可用于将来自光源的光偏转到眼睛和/或将眼睛反射的光偏转到照相机。全息偏转器可以偏转至少20%、至少50%或至少80%的IR光,并且对于可见光可以具有小于20%、小于5%或小于1%的反射率。因为允许可见光很少或没有损失地穿过全息偏转器和基底,所以全息偏转器可以位于用户的眼睛前面,而不遮挡用户的视场,使得用户可以透过基底和全息偏转器进行观看,以看到外部世界或显示的内容。同时,来自光源的用于眼睛照明的光(例如,NIR光)可以被一个或更多个全息偏转器偏转到期望的方向并到达用户的眼睛以形成亮斑,并且被眼睛反射的光可以被一个或更多个全息偏转器偏转到照相机以形成用于眼睛跟踪的眼睛图像。全息偏转器可以将光反射性地衍射到期望的方向,而不是仅仅镜面反射入射光。在一些实施例中,全息偏转器可以包括反射全息光栅,该反射全息光栅被变迹以减少旁瓣和原本可能由光栅引起的其他光学伪影(例如,彩虹效应)。
图8是根据某些实施例的近眼显示系统800中的眼睛跟踪系统的示例的横截面图。近眼显示系统800可以包括框架805和耦合到框架805或嵌入框架805中的显示光学器件。框架805可以是以例如眼镜的形式。显示光学器件可以包括基底810和形成在基底810上的一个或更多个全息偏转器。眼睛跟踪系统可以包括一个或更多个光源830、一个或更多个照相机840以及基底810上的一个或更多个全息偏转器820、822、824和826。
基底810可以类似于上述基底420,并且可以包括平坦或弯曲的基底,该基底对于不可见光(例如,IR或NIR光)和可见光可以是透明的。光源830可以位于用户眼睛视场的外围,例如附接到框架805或嵌入框架805中。光源830可以发射可见光波段之外的光,例如红外光。在一些实施例中,一个或更多个光源830可以包括发光器件(例如,发光二极管(LED)、激光二极管或垂直腔面发射激光器(VCSEL))和用于准直或以其他方式修改由发光器件发射的光的准直光学器件。照相机840可以位于用户眼睛视场的外围,例如附接到框架805或嵌入框架805中。照相机840可以对不可见光(例如,IR光)敏感,并且可以类似于上述照相机514。
如图8所示,全息偏转器824可以将来自光源830的照明光832作为照明光834导向用户的眼睛890,以照射用户的眼睛890。全息偏转器824可以共形地形成(例如,层压或涂覆)在基底810上,并且可以通过衍射偏转入射照明光832,使得偏转的照明光834的角度可以不像在镜面反射中那样等于入射角,并且因此可以被设计成以给定的入射角将照明光832偏转到用户的眼睛。照明光可以被角膜892、虹膜894和用户眼睛890的其他部分反射,作为照明光842回到基底810。
被用户眼睛890反射的照明光842可以被基底810上的一个或更多个全息偏转器(例如全息偏转器820和822)朝向一个或更多个照相机840反射。一个或更多个全息偏转器可以接收由用户眼睛反射的照明光的不同部分(如照明光842和846所示),并且可以将由用户眼睛在不同方向反射的照明光的不同部分朝向一个或更多个照相机840偏转(如光线844和848所示)。照相机840可以使用由一个或更多个全息偏转器偏转的照明光的不同部分(如光线844和848所示),从不同视角生成用户眼睛890的一个或更多个图像。
因此,由照相机840生成的一个或更多个图像帧可以包括用户眼睛890的一个或更多个图像,每个图像对应于不同的视角并且形成在图像帧上的不同位置处。每个图像帧还可以包括用户眼睛角膜上的一个或更多个(例如,两个或更多个)亮斑,其中亮斑可以对应于不同的光源和/或不同的全息偏转器(例如,全息偏转器824和826)。基于用户眼睛890的两个或更多个图像以及用于形成两个或更多个图像的一个或更多个全息偏转器的配置,可以如上所述确定用户眼睛890的位置和凝视方向。
上述全息偏转器可以包括记录在全息材料(例如,光聚合物)层中的反射全息光栅。在一些实施例中,反射全息光栅可以被首先记录,然后被层压在近眼显示系统的基底(例如,基底810)上。在一些实施例中,全息材料层可以被涂覆或层压在基底上,并且反射全息光栅然后可以被记录在全息材料层中。当折射率调制在全息光栅中是均匀的时,全息光栅的作为入射角或入射光波长的函数的衍射效率曲线可能包括高旁瓣,这是由于在全息光栅和其他材料层之间的界面处折射率调制的突然变化而引起的。
图9A示出了全息偏转器900的示例。如示例中所示,全息偏转器900可以包括反射全息光栅905。反射全息光栅905可以具有厚度d,并且可以包括多个光栅周期,其中光栅条纹可以是倾斜的,使得光栅矢量可以不平行或垂直于全息偏转器900的表面法线。反射全息光栅905可以在厚度d内具有均匀的折射率调制。例如,反射全息光栅905中的折射率可以周期性地变化(例如以正弦波的形式)。全息偏转器900的其它部分(例如支撑或覆盖片(例如,聚酯薄膜(Mylar)))中的折射率调制可以为零。因此,在反射全息光栅905和全息偏转器900的其他部分之间的界面处存在折射率调制的突然变化。
图9B示出了全息偏转器900沿着全息偏转器900的厚度方向(即,在沿着线A-A的z方向上)的折射率n。如图所示,全息偏转器900在反射全息光栅905内可以具有恒定幅度的正弦折射率调制,并且在反射全息光栅905外可以具有恒定折射率。
图9C示出了全息偏转器(例如,全息偏转器900)的作为入射光波长的函数的模拟透射率和反射率。全息偏转器900的透射率可以由曲线910示出,而全息偏转器900的反射率可以由曲线920示出。如曲线910的一部分912和曲线920的一部分922所示,全息偏转器900可以对大约940nm的红外光具有高反射率(并且因此具有低透射率)。理论上,如果厚度d为无穷大,并且折射率由正弦函数调制,则透射率和反射率光谱将示出基于傅里叶变换的单一的高反射率波长。然而,由于全息偏转器900中折射率调制的矩形窗口,并且在一些情况下,由于光栅条纹的非正弦折射率调制,曲线910和曲线920还可以包括一些相对高的旁瓣914和924(有时称为光谱泄漏)。在一些情况下,如曲线910的一部分916和曲线920的一部分926所示,全息偏转器900也可以对可见光(例如大约470nm(其大约是最大反射率波长940nm的一半)的蓝光)具有相对高的反射率,如图9C所示,这例如由更高级衍射引起。
尽管图中未示出,但是全息偏转器(例如,全息偏转器900)的作为入射角的函数的透射率和反射率曲线也可以具有相对高的旁瓣。此外,对于在近眼显示系统中使用的其他光栅,例如图4所示的输入耦合器430和输出耦合器440,相对于波长或入射角的衍射效率曲线可以类似地显示显著的旁瓣和/或其他级的衍射。
由衍射光栅引起的可见光波段和/或IR波段中的旁瓣和其他不期望的衍射可能导致一些光学伪影,例如用户可见图像中的重影图像和模糊和/或用于眼睛跟踪的捕获图像中的亮斑模糊。例如,来自外部光源(例如,太阳或灯)并且在特定可见光波长范围内的外部光也可以被全息偏转器衍射以到达用户的眼睛。此外,由于光栅的色散,对于衍射级大于或小于零的衍射,不同颜色的光可以以不同的角度衍射。因此,到达用户眼睛的不同颜色的外部光的衍射可以表现为位于不同位置(或方向)的重影图像,这可以被称为彩虹伪影或彩虹重影。彩虹重影可能出现在所显示的图像或环境图像的顶部,并扰乱所显示的图像或环境图像。彩虹重影可能会显著影响用户体验。
图10示出了波导显示器1000的示例中的彩虹伪影。如上所述,波导显示器1000可以包括波导1010、光栅耦合器1020(例如,输出耦合器440)、投影仪1005和IR光偏转器1030(例如,全息偏转器820、822、824或826)。来自投影仪1005的显示光可以耦合到波导1010中,并且可以通过光栅耦合器1020在不同位置处部分地耦合出波导1010,以到达用户的眼睛1090。IR光偏转器1030可以包括反射全息光栅,并且可以用于将来自光源(图10中未示出)的眼睛跟踪光反射到用户的眼睛1090,或者将由用户的眼睛1090反射的眼睛跟踪光反射到照相机(图10中未示出)。光栅耦合器1020和IR光偏转器1030可以在波导1010的同一侧上或者在波导1010的相对侧上。
来自外部光源1040(例如太阳或灯)的外部光1042可以穿过波导1010以到达用户的眼睛1090。如上所述,光栅耦合器1020和IR光偏转器1030还可以衍射外部光。此外,由于光栅的色散,对于衍射级大于或小于零的衍射,不同颜色的光可以以不同的角度衍射。因此,不同颜色的外部光的衍射可以到达用户的眼睛,并且可以表现为位于不同位置(或方向)的重影图像,这可以被称为彩虹伪影或彩虹重影1044。彩虹重影1044可能出现在所显示的图像或环境图像的顶部,并扰乱所显示的图像或环境图像。彩虹重影1044可能会显著影响用户体验。在一些情况下,当来自外部光源1040(例如,太阳)的光以高效率被引导到用户的眼睛1090时,彩虹重影1044对用户的眼睛1090也可能是危险的。
本文公开的技术可用于减少波导显示器中由光栅对外部光的衍射引起的彩虹重影。根据某些实施例,为了减少由光栅(例如光栅耦合器和全息偏转器)引起的光学伪影,可以对光栅(例如,反射全息光栅905或输出耦合器440)应用变迹函数(或窗口或锥形函数),以避免光栅中折射率调制的突然变化。变迹函数可以具有钟形曲线,例如正弦或余弦函数、高斯函数、汉恩(Hann)函数、布莱克曼(Blackman)函数、纳特尔(Nuttall)函数、布莱克曼-哈里斯(Blackman-Harris)函数等。变迹函数可以导致折射率调制从光栅中心的最大值逐渐变化到在光栅表面处为零,这可以减少衍射光谱中的旁瓣,并且因此减少光学伪影(例如重影图像)。
图11A示出了根据某些实施例的包括变迹的反射全息光栅1105的全息偏转器1100的示例。反射全息光栅1105可以具有厚度d,并且可以包括多个光栅周期,其中光栅条纹可以是倾斜的,使得光栅矢量可以不平行或垂直于全息偏转器1100的表面法线。在每个光栅周期内,反射全息光栅1105的折射率可以近似为正弦函数。反射全息光栅1105可以在厚度d内具有变化的折射率调制。例如,折射率调制可以在反射全息光栅1105的中间最高,并且可以在反射全息光栅1105的边缘或全息偏转器1100的表面处逐渐减小到零。
图11B示出了全息偏转器1100沿着全息偏转器1100的厚度方向(即,在沿着线A-A的z方向上)的折射率n。如图11B中的折射率曲线1150所示,全息偏转器1100在反射全息光栅1105内可以具有变化幅度的正弦折射率调制,并且在反射全息光栅1105外可以具有恒定的折射率。z方向上的正弦折射率调制的幅度可以由钟形曲线1160示出。
图11C示出了全息偏转器(例如,全息偏转器1100)的作为入射光波长的函数的透射率和反射率曲线。全息偏转器1100的透射率可以由曲线1110示出,而全息偏转器1100的反射率可以由曲线1120示出。如曲线1110的一部分1112和曲线1120的一部分1122所示,全息偏转器1100可以对大约940nm的红外光具有高反射率(并且因此具有低透射率)。与曲线910和曲线920相比,曲线1110和曲线1120可以具有低得多的旁瓣。此外,如曲线1110的一部分1114和曲线1120的一部分1124所示,全息偏转器1100还可以对可见光(例如如图11C所示的大约470nm的蓝光)具有较低的反射率。因此,由全息偏转器1100引起的光学伪影可以显著减少。
通常,为了记录全息光栅,两个相干光束可以以特定角度相互干涉,以在光敏材料层中生成独特的干涉图案,这又可以在光敏材料层中生成独特的折射率调制图案,其中折射率调制图案可以对应于干涉图案的光强度图案。在一个示例中,光敏材料层可以包括聚合物粘合剂、单体(例如,丙烯酸单体)和引发剂(initiating agent),例如引发剂(initiator)、链转移剂或光敏染料。聚合物粘合剂可以作为支撑基质(support matrix)。单体可以用作折射率调节剂(refractive index modulator)。光敏染料可以吸收光并与引发剂相互作用以聚合单体。因此,干涉图案可能导致单体聚合以及到明亮条纹的扩散,从而生成可能导致折射率调制的聚合浓度和密度梯度。例如,聚合浓度较高的区域可能具有较高的折射率。随着曝光和聚合的进行,可用于聚合的单体更少,并且扩散可以被抑制。在所有或基本上所有单体已经聚合之后,在光敏材料层中不再记录新的光栅。在一些实施例中,光敏材料层上记录的全息光栅可以被UV固化或热固化或增强,例如用于染料漂白、完成聚合、永久固定记录的图案以及增强折射率调制。在该过程结束时,可以形成全息图或全息光栅。全息光栅可以是厚度为诸如例如几微米、或几十微米或几百微米的体布拉格光栅。对红外光敏感的全息记录材料可能很少。因此,为了记录能够反射性地衍射红外光的全息光栅,可以使用较短波长的记录光。
图12示出了根据某些实施例的全息记录材料的示例的吸收光谱1210。如示例中所示,全息记录材料可以对波长大于700nm或小于440nm的光具有非常低的吸收。全息记录材料可以在660nm处具有峰值光吸收,如最小透射点1220所示。全息记录材料还可以在大约515nm处具有局部最小透射点1230(即,局部最大吸收点)。因此,全息光栅可以使用波长在大约440nm和大约670nm之间(例如在大约660nm或大约515nm处)的相干光束记录在全息记录材料中。
图13A示出了根据某些实施例的用于反射全息光栅的示例的记录(或构建)光束和重建光束。在所示的示例中,全息偏转器1300可以包括附接到一个或两个支撑层1305的全息材料层1310,每个支撑层1305可以包括玻璃或塑料材料。全息材料层1310和支撑层1305可以具有类似的折射率,例如大约1.52。可以使用第一波长(例如660nm)的相干记录光束1320和1330将反射全息光栅记录在全息材料层1310中。当第二波长(例如,940nm)的光束1340以0°入射角入射到全息偏转器上时,光束1340可以被反射全息光栅偏转(例如,反射性地衍射),如偏转光束1350所示。如果偏转光束1350的衍射角θ小于临界角θc,则偏转光束1350可以从全息偏转器1300折射出去,如光束1352所示。
图13B是根据某些实施例的全息动量图的示例,其示出了图13A所示的反射全息光栅的布拉格衰退(degeneracy)。图13B示出了在全息光栅记录和重建期间的布拉格匹配条件。记录光束1320和1330的波矢量1320’和1330’的长度可以根据2πn/λc基于记录光波长λc进行确定,其中n是全息材料层1310的平均折射率。记录光束1320和1330的波矢量1320’和1330’的方向可以基于期望的光栅矢量K(1212)来确定,使得波矢量1320’和1330’以及光栅矢量K可以形成如图13B所示的等腰三角形。光栅矢量K可以具有幅度2π/Λ,其中Λ是光栅周期。光栅矢量K又可以基于期望的重建条件来确定。例如,基于期望的重建波长λr以及入射光束和衍射光束的方向,可以基于布拉格条件确定反射全息光栅的光栅矢量K(1212),其中入射光束1340的波矢量1340’和衍射光束1350的波矢量1350’可以具有幅度2πn/λr,并且可以与光栅矢量K(1212)形成等腰三角形,如图13B所示。
对于给定的波长,可能仅存在一对完全满足布拉格条件的入射角和衍射角。类似地,对于给定的入射角,可能仅存在一个完全满足布拉格条件的波长。当重建光束的入射角不同于满足反射全息光栅的布拉格条件的入射角时,或者当重建光束的波长不同于满足反射全息光栅的布拉格条件的波长时,衍射效率可能作为由与布拉格条件失谐的角度或波长引起的布拉格失配因子的函数而降低。因此,衍射可能仅发生在小波长范围和小入射角范围内。
图14A示出了根据某些实施例的用于记录反射全息光栅的全息记录系统1400的示例。全息记录系统1400包括分束器1410(例如,分束器立方体),分束器1410可以将入射激光束1402分成两个光束1412和1414,这两个光束1412和1414是相干的并且可以具有相似的强度。光束1412可以被第一反射镜1420朝向第二反射镜1430反射,如由反射的光束1422所示。反射的光束1422然后可以被第二反射镜1430朝向第一三角棱镜1450反射,在第一三角棱镜1450处,反射的光束1432可以被第一三角棱镜1450折射(如记录光束1434所示)并到达全息记录材料1460。在另一路径上,光束1414可以被第三反射镜1440反射。反射的光束1442可以被导向第二三角棱镜1455,并且可以被第二三角棱镜1455折射(如记录光束1444所示)以到达全息记录材料1460。第一三角棱镜1450和第二三角棱镜1455可以用于折射率匹配。反射镜、第一三角棱镜1450和/或第二三角棱镜1455可以被配置成使得至少一个记录光束的入射角可以超过临界角,并且如果不使用棱镜,则可以被全反射。记录光束1434和记录光束1444可以在全息记录材料1460内相互干涉,以形成干涉图案,并且因此在全息记录材料1460中形成全息光栅。
图14B示出了根据某些实施例的全息记录材料1460中的两个记录光束1434和1444的干涉。如上所述,来自第二反射镜1430的反射的光束1432和来自第三反射镜1440的反射的光束1442可以作为记录光束1434和1444折射到第一三角棱镜1450和第二三角棱镜1455中。两个记录光束1434和1444可以入射到全息记录材料1460上,并且可以在全息记录材料1460中相互干涉。第一三角棱镜1450和第二三角棱镜1455可以各自具有接近全息记录材料1460的折射率的折射率,并且可以用于将全息记录材料1460处的记录光束的大入射角改变为棱镜处的相对小的入射角。因此,记录光束1434或1444可能不会在全息记录材料1460与诸如空气的其他介质之间的界面处被全反射。在一些实施例中,棱镜的一些表面可以涂覆有光吸收材料,以减少这些表面处的杂散光和/或光反射。
如上所述,为了减少由全息偏转器引起的光学伪影,反射全息光栅可以在全息记录之前或之后变迹。根据一些实施例,全息记录和变迹可以使用记录光束在相同的过程中执行。在一些实施例中,全息记录和变迹可以在两个单独的过程中执行,其中全息记录材料可以在全息记录之前使用相干光或非相干光进行预处理,或者可以在全息记录之后使用相干光或非相干光进行后暴露。
图15A示出了根据某些实施例的使用记录光束变迹全息光栅的方法的示例。如图所示,全息记录材料层1500可以暴露于从相对侧入射到全息记录材料层1500上的记录光束1510和1520。全息记录材料层1500可以包括对特定波长(例如如图12所示的从大约440nm到大约670nm)的光敏感的光聚合物。光聚合物可以具有低对比度和对暴露剂量的线性或非线性响应。光聚合物在吸收记录光后可以自行显影。记录光束1510和1520的波长和入射角可以如以上关于例如图13A和13B所述进行选择,使得具有期望光栅矢量的全息光栅可以通过记录光束1510和1520的干涉来实现。
由于全息记录材料的光吸收,全息记录材料中(在z方向或厚度方向上)不同深度处的记录光的强度可能不同。例如,全息记录材料层1500内的记录光束1510的光强度可以由曲线1512示出,并且可以被配置成使得记录光束1510的光强度可以随着记录光束1510在全息记录材料层1500内传播并被全息记录材料吸收而降低。类似地,全息记录材料层1500内的记录光束1520的光强度可以由曲线1522示出,并且可以被配置成使得记录光束1520的光强度可以随着记录光束1520在全息记录材料层1500内传播并被全息记录材料吸收而降低。因为记录光束1510和记录光束1520在相反的方向上传播,所以两个记录光束的干涉图案的强度变化可以在全息记录材料层1500的中心附近最大,在该中心处记录光束1510和1520的强度可以大致相等。因此,在全息记录材料层1500的中心附近的折射率调制可以是高的。在全息记录材料层1500的边缘1502和1504附近,一个记录光束可以比另一个记录光束具有更高的强度,并且因此两个记录光束的干涉图案中的强度变化可以是小的。因此,全息记录材料层1500的边缘1502和1504附近的折射率调制可以是小的。结果,在全息记录材料层1500中形成的全息光栅可以在z方向上变迹。
在一些实施方式中,全息记录材料层1500中的引发剂(例如,光引发剂)(例如光敏染料和引发剂)可能不具有针对记录光(例如,在大约440nm和大约670nm之间,例如在660nm处)的期望光吸收特性,以便在全息记录材料层1500中实现记录光的期望强度分布。根据一些实施例,可以向全息记录材料中添加一定量(例如,根据特定浓度比)的能够吸收记录光但可能不会引发单体聚合的光吸收材料,以调节全息记录材料层1500的吸收特性,使得全息记录材料层1500可以具有期望的总光吸收特性,从而实现记录光的期望强度分布。例如,如图15A所示,可以向全息记录材料添加一种或更多种光吸收材料,以增加全息记录材料层1500对记录光的吸收。因此,全息记录材料层1500内的记录光束1510的光强度可以由曲线1514示出,该曲线1514低于曲线1512,该曲线1512代表没有附加光吸收材料的全息记录材料层1500内的记录光束1510的光强度。类似地,全息记录材料层1500内的记录光束1520的光强度可以由曲线1524示出,该曲线1524低于曲线1522,该曲线1522代表没有附加光吸收材料的全息记录材料层1500内的记录光束1520的光强度。
图15B示出了根据某些实施例使用图15A中描述的方法制造的变迹的全息光栅1550的示例。如示例中所示,变迹的全息光栅1550可以在变迹的全息光栅1550的中心具有较高的折射率调制。变迹的全息光栅1550的边缘1552和1554处的折射率调制可以非常低或接近零,这取决于例如入射记录光束的强度、全息记录材料的吸收率和全息记录材料层的厚度。因此,变迹的全息光栅1550的变迹分布可以取决于例如入射记录光束的强度、全息记录材料的吸收率和全息记录材料层的厚度。
图15C示出了根据某些实施例的变迹的全息光栅1550沿着变迹的全息光栅1550的厚度方向(即z方向)的折射率。如图11B所示,变迹的全息光栅1550的折射率1560在反射全息光栅1105的中间可以具有变化幅度的正弦折射率调制,并且在变迹的全息光栅1550的边缘1552和1554附近可以具有恒定的折射率。z方向上的正弦折射率调制的幅度可以由钟形曲线1570示出。
图16A-16C示出了根据某些实施例的用于记录变迹的全息光栅的方法的另一个示例,其中使用相干光或非相干光对全息记录材料进行脱敏。图16A示出了根据某些实施例的在全息记录之前使用非相干光对全息记录材料进行脱敏的方法的示例。如图所示,全息记录材料层1600可以暴露于从相对侧入射到全息记录材料层1600上的一个或更多个非相干脱敏光束1610和1620。全息记录材料层1600可以包括对特定波长(例如如图12所示的从大约440nm到大约670nm)的光敏感的光聚合物。光束1610和1620在全息记录材料的吸收带宽内可以具有相同的波长或不同的波长。光聚合物可以具有低对比度和对暴露剂量的线性或非线性响应。光聚合物在吸收记录光之后可以自行显影。
由于全息记录材料的光吸收,全息记录材料中(在z方向或厚度方向上)不同深度处的光束1610和1620的强度可能不同。例如,全息记录材料层1600内的光束1610的光强度可以由曲线1612示出,并且可以随着光束1610在全息记录材料层1600内传播并被全息记录材料吸收而降低。类似地,全息记录材料层1600内的光束1620的光强度可以由曲线1622示出,并且可以随着光束1620在全息记录材料层1600内传播并被全息记录材料吸收而降低。因为光束1610和1620是不相干的,所以它们不会干涉以在全息记录材料层1600内形成干涉图案,并且因此光束1610和1620可能不会在全息记录材料层1600中形成光栅结构。然而,全息记录材料中的光敏染料可以吸收光束1610和1620,并与引发剂相互作用以聚合单体。因此,在全息记录材料层1600的光束强度高的边缘1602和1604处,大部分或所有单体可以聚合,使得较少的单体可用于进一步聚合。在全息记录材料层1600的中心附近,因为光束1610或1620的强度相对低,更多的单体仍可用于进一步聚合。结果,全息记录材料层1600的灵敏度分布可以变迹。
在一些实施例中,全息记录材料层1600还可以通过暴露于可能不同于记录光束(例如具有与记录光束不同的波长)的一个或更多个相干光束来脱敏。例如,可以选择相干光束的强度,使得光束可以在它们到达全息记录材料层1600的中心之前被吸收。
在一些实施例中,全息记录材料层1600可以包括多层不同材料,例如具有不同成分、不同灵敏度和/或不同最大可实现折射率调制的材料。例如,全息记录材料层1600可以通过沉积具有不同最大可实现折射率调制的光敏材料薄层来形成,使得全息记录材料层1600中的最大可实现折射率调制可以是全息记录材料层1600的z方向上的钟形函数。
如上所述,在一些实施方式中,全息记录材料层1600中的引发剂(例如,光引发剂)(例如光敏染料和引发剂)可能不具有针对脱敏光束(例如,在大约440nm和大约670nm之间,例如在660nm处)的期望光吸收特性,以便在全息记录材料层1600中实现脱敏光的期望强度分布。根据一些实施例,可以向全息记录材料中添加一定量(例如,根据特定浓度比)的光吸收材料(这些光吸收材料可以吸收脱敏光,但可能不会引发单体的聚合),以调节全息记录材料层1600的吸收特性,使得全息记录材料层1600可以具有期望的总光吸收特性,从而实现脱敏光的期望强度分布。例如,如图16A所示,一种或更多种光吸收材料可以添加到全息记录材料中,以增加全息记录材料层1600对脱敏光的吸收。因此,全息记录材料层1600内的脱敏光束1610的光强度可以由曲线1614示出,该曲线1614低于曲线1612,该曲线1612代表没有附加光吸收材料的全息记录材料层1600内的脱敏光束1610的光强度。类似地,全息记录材料层1600内的脱敏光束1620的光强度可以由曲线1624示出,该曲线1624低于曲线1622,该曲线1622代表没有附加光吸收材料的全息记录材料层1600内的脱敏光束1620的光强度。
图16B示出了根据某些实施例的在脱敏的全息记录材料层1630中记录变迹的全息光栅的方法的示例。脱敏的全息记录材料层1630可以如以上关于图16A所述的那样制成,并且可以具有由曲线1660所示的变迹的灵敏度分布(或最大可实现折射率调制分布)。相干记录光束1640和1650可以入射到脱敏的全息记录材料层1630上。相干记录光束1640和1650的波长和入射角可以如以上关于例如图13A和13B所述的那样进行选择,使得具有期望光栅矢量的全息光栅可以通过相干记录光束1640和1650的干涉来实现。在一些实施例中,相干记录光束1640和1650可以具有高强度,使得由于全息记录材料吸收引起的损失可以忽略不计,并且强度在脱敏的全息记录材料层1630内保持近似恒定。
图16C示出了根据某些实施例的使用关于图16A和16B描述的方法制造的变迹的全息光栅1670的示例。变迹的全息光栅1670可以通过图16A所示的脱敏过程和图16B所示的全息记录过程来制造。如变迹的全息光栅1550一样,变迹的全息光栅1670在中心处具有较高的折射率调制。变迹的全息光栅1670的边缘1672和1674处的折射率调制可以非常低或接近于零。
在一些实施例中,变迹的全息光栅可以通过以下方式来制造:首先记录全息光栅,然后使用相干光或非相干光固化全息光栅以聚合所有单体,其中全息光栅可以在固化期间变迹。
在一些实施例中,在全息光学元件被记录之后,全息记录材料中的光敏或光吸收材料(例如上述光敏染料和其他光吸收材料)可以被去活化、转换或去除,以使全息记录材料脱敏。例如,在一些实施例中,光敏染料(例如,红光吸收染料)可以通过溶剂提取、热分解、化学反应(例如,与氧化剂反应)、使用UV光的光漂白或其任意组合(在有或没有氧气存在的情况下被去除。
图17示出了根据某些实施例的变迹的反射全息光栅的示例的透射光谱1710。变迹的反射全息光栅可以如上文所述的那样制造。对于大约940nm的红外光,可以满足变迹的反射全息光栅的布拉格条件,并且因此在以大约940nm为中心的波长范围1712内可以具有低透射率。红外光可以由光源(例如,VCSEL或LED)发射,并且可以在眼睛跟踪期间用于眼睛照明。如图17所示,940nm附近的旁瓣和可见光范围(例如,波长范围1714,例如470nm周围,470nm是布拉格条件的波长的大约一半)中的反射率比图9B中所示的这些低得多。
图18A示出了根据某些实施例的反射全息光栅的示例的光谱带宽。反射全息光栅可以如上所述的那样变迹,并且透射率光谱可以由曲线1810示出。反射全息光栅可以在940nm处具有最大衍射效率,并且具有大约25nm的全宽半幅度带宽。
图18B示出了根据某些实施例的图18A的反射全息光栅的示例的角度带宽。反射全息光栅的作为入射角的函数的衍射效率由曲线1820示出。曲线1820示出入射角的全宽半幅度范围约为7.5°。
图19A是反射全息光栅示例的作为入射光波长的函数的透射率和反射率的放大视图。在该示例中,反射全息光栅的透射率由透射率曲线1910示出,而反射全息光栅的反射率由反射率曲线1920示出。图19A分别示出了透射率曲线1910和反射率曲线1920中的高旁瓣1912和1922。
图19B是根据某些实施例的变迹的反射全息光栅示例的作为入射光波长的函数的透射率和反射率的放大视图。变迹的反射全息光栅可以使用上述技术来制造。反射全息光栅的透射率由透射率曲线1930示出,而反射全息光栅的反射率由反射率曲线1940示出。与图19A中示出的透射率曲线1910和反射率曲线1920相比,图19B示出了透射率曲线1930和反射率曲线1940中没有可见的旁瓣或旁瓣的至少10dB抑制。
图20是示出了根据某些实施例的制造用于眼睛跟踪的变迹的全息光栅的方法的示例的简化流程图2000。流程图2000中描述的操作仅仅是为了说明的目的,而不意图是限制性的。在各种实施方式中,可以对流程图2000进行修改以添加附加的操作、省略一些操作、组合一些操作、拆分一些操作或重新排序一些操作。
在框2010,可以在基底(例如玻璃基底、石英基底、聚合物基底、陶瓷基底、晶体基底、半导体基底或塑料基底)上形成光聚合物层。光聚合物层可以对可见光或UV光敏感,并且可以对红外光透明。在一些实施例中,光聚合物层可以是预制的,并且可以共形地层压在基底上。例如,在一些实施例中,光聚合物层可以被两个柔性覆盖层夹在中间,其中两个柔性覆盖层中的第一覆盖层可以被剥离,并且光聚合物层和第二覆盖层可以使用轧辊层压在基底上。在一些实施例中,光聚合物层可以被涂覆或沉积在基底上。在一些实施例中,光聚合物层可以具有大于10μm、15μm、20μm、25μm、30μm、40μm、50μm或更厚的厚度。在一些实施例中,光聚合物层的最大可实现折射率调制为至少0.02或至少0.03。在一些实施例中,光聚合物层可以包括具有不同成分和不同灵敏度(以及因此不同的最大可实现折射率调制)的多个光聚合物材料薄层。在一些实施例中,基底可以是近眼显示器的波导,并且可以用作近眼显示器的合路器。基底可以具有平坦或弯曲的表面。在一些实施例中,基底可以包括柔性基底,该柔性基底充当光聚合物层的覆盖物或支撑物。
可选地,在框2020,可以使用如上文关于例如图16A所述的相干光或非相干光来选择性地使光聚合物层脱敏。光聚合物层可以被选择性地脱敏,以实现相对于光聚合物层内部深度的期望的灵敏度分布(或最大可实现的折射率调制分布),例如钟形曲线。在一些实施例中,可以使用第一光束选择性地使光聚合物层脱敏,其中第一光束的第一强度、第一光束的第一波长和光聚合物层的光吸收率可以被配置成使得第一光束的第一强度在光聚合物层中从第一侧根据第一光强度分布逐渐降低,从而使光聚合物层变迹或脱敏。在一些实施例中,可以使用来自光聚合物层第一侧的第一光束和来自光聚合物层第二侧的第二光束选择性地使光聚合物层脱敏。第一光束的波长、第二光束的波长、第一光束的第一强度、第二光束的第二强度以及光聚合物层的光吸收率可以被配置成使得第一光束的第一强度在光聚合物层中从第一侧根据第一光强度分布逐渐降低,并且第二光束的第二强度在光聚合物层中从第二侧根据第二光强度分布逐渐降低。在一些实施例中,第一光强度分布和第二光强度分布是对称的,使得光聚合物层可以在厚度方向上对称地变迹。在一些实施例中,第一光强度分布和第二光强度分布在厚度方向上关于光聚合物层的中心是不对称的,使得光聚合物层可以在厚度方向上不对称地变迹。在一些实施例中,第一光束和第二光束是相干的。在一些实施例中,第一光束和第二光束是非相干的。在一些实施例中,第一光束的波长和第二光束的波长相同。在一些实施例中,第一光束的波长和第二光束的波长不同。
在框2030,可以使用两个相干光束将全息光栅记录在光聚合物层中,如上面关于例如图13A、13B、14A、14B、15A和16B所述。全息光栅可以是透射光栅或反射光栅。例如,为了记录反射全息光栅,两个相干记录光束可以从光聚合物层的两侧投射到光聚合物层上。在一些实施例中,光聚合物层可能已经脱敏或预变迹,如上文关于框2020所述。在一些实施例中,两个记录光束的强度可以在光聚合物层中逐渐降低,并且因此两个相干记录光束的干涉图案可以在厚度方向上在光聚合物层的中心附近具有最高的强度调制,以在光聚合物层的中心附近引起最高的折射率调制。相反,两个相干记录光束的干涉图案在光聚合物层表面附近可能具有低强度调制,并且因此光聚合物层表面附近的折射率调制可能低或接近于零。以这种方式,全息光栅可以在光聚合物层中同时变迹和记录。在一些实施例中,光聚合物层和基底可以被两个棱镜夹在中间,以便在光聚合物层上实现记录光束的期望入射角。在光聚合物层被脱敏的一些实施例中,两个记录光束可以具有高强度,以在光聚合物层中形成具有基本均匀强度调制的干涉图案。
可选地,在一些实施例中,在框2040,可以使用相干光或非相干光对全息光栅进行后变迹。可选地,在框2050,光聚合物层可以从基底上脱层(delaminated)并层压在波导基底上。
本发明的实施例可以用于制造人工现实系统的部件,或者可以结合人工现实系统来实现。人工现实是在呈现给用户之前已经以某种方式被调整的现实的形式,其可以包括例如虚拟现实(VR)、增强现实(VR)、混合现实(MR)、混杂现实或它们的某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与捕获的(例如,真实世界的)内容相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合,并且它们中的任何一个都可以在单个通道或多个通道中呈现(例如向观看者产生三维效果的立体视频)。附加地,在一些实施例中,人工现实还可以与用于例如在人工现实中创建内容和/或以其他方式在人工现实中使用(例如,在人工现实中执行活动)的应用、产品、附件、服务或它们的某种组合相关联。提供人工现实内容的人工现实系统可以在各种平台上实现,这些平台包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。
图21是用于实现本文公开的一些示例的近眼显示系统(例如,HMD设备)的电子系统2100的示例的简化框图。电子系统2100可以用作上文描述的HMD设备或其他近眼显示器的电子系统。在该示例中,电子系统2100可以包括一个或更多个处理器2110和存储器2120。处理器2110可以被配置成执行用于在多个部件处执行操作的指令,并且可以是例如通用处理器或适于在便携式电子设备内实现的微处理器。处理器2110可以与电子系统2100内的多个部件通信地耦合。为了实现这种通信耦合,处理器2110可以跨过总线2140与其他图示的部件通信。总线2140可以是适于在电子系统2100内传输数据的任何子系统。总线2140可以包括多条计算机总线和附加的电路以传输数据。
存储器2120可以被耦合至处理器2110。在一些实施例中,存储器2120可以提供短期存储和长期存储两者,并且可以被分成多个单元。存储器2120可以是易失性的(例如,静态随机存取存储器(SRAM)和/或动态随机存取存储器(DRAM))和/或非易失性的(例如,只读存储器(ROM)、闪存等)。此外,存储器2120可以包括可移动存储设备,例如安全数字(SD)卡。存储器2120可以为电子系统2100提供计算机可读指令、数据结构、程序模块和其他数据的存储。在一些实施例中,存储器2120可以被分布在不同的硬件模块中。一组指令和/或代码可以被存储在存储器2120中。指令可以采取可以由电子系统2100可执行的可执行代码的形式,和/或可以采取源代码和/或可安装代码的形式,所述源代码和/或可安装代码当在电子系统2100上(例如,使用多种通常可用的编译器、安装程序、压缩/解压缩实用程序等中的任何一种)编译和/或安装时,可以采取可执行代码的形式。
在一些实施例中,存储器2120可以存储多个应用模块2122至2124,应用模块2122至2124可以包括任何数量的应用。应用的实例可以包括游戏应用、会议应用、视频回放应用或其他合适的应用。这些应用可以包括深度感测功能或眼睛跟踪功能。应用模块2122-2124可以包括待由处理器2110执行的特定指令。在一些实施例中,应用模块2122-2124的特定应用或部分可以由其他硬件模块2180执行。在某些实施例中,存储器2120可以附加地包括安全存储器,该安全存储器可以包括附加的安全控件,以防止对安全信息的复制或其他未授权的访问。
在一些实施例中,存储器2120可以包括被加载在其中的操作系统2125。操作系统2125可以是可操作的,以启动由应用模块2122-2124提供的指令的执行和/或管理其他硬件模块2180以及与无线通信子系统2130的接口,无线通信子系统2130可以包括一个或更多个无线收发器。操作系统2125可以适于跨过电子系统2100的部件执行其他操作,包括线程管理(threading)、资源管理、数据存储控制和其他类似功能。
无线通信子系统2130可以包括例如红外通信设备、无线通信设备和/或芯片组(例如,设备、IEEE 802.11设备、Wi-Fi设备、WiMax设备、蜂窝通信设施等)和/或类似的通信接口。电子系统2100可以包括用于无线通信的、作为无线通信子系统2130的一部分或者作为耦合至系统的任何部分的单独部件的一根或更多根天线2134。根据期望的功能,无线通信子系统2130可以包括单独的收发器,以与基站收发台和其他无线设备以及接入点进行通信,这可以包括与不同的数据网络和/或网络类型(例如,无线广域网(WWAN)、无线局域网(WLAN)或无线个域网(WPAN))进行通信。WWAN可以是例如WiMax(IEEE 802.16)网络。WLAN可以是例如IEEE 802.11x网络。WPAN可以是例如蓝牙网络、IEEE802.15x或一些其他类型的网络。本文描述的技术也可以用于WWAN、WLAN和/或WPAN的任何组合。无线通信子系统2130可以允许与网络、其他计算机系统和/或本文描述的任何其他设备交换数据。无线通信子系统2130可以包括用于使用天线2134和无线链路2132来发送或接收数据(例如,HMD设备的标识符、位置数据、地理地图、热图、照片或视频)的装置。无线通信子系统2130、处理器2110和存储器2120可以一起包括用于执行本文公开的一些功能的装置中的一个或更多个的至少一部分。
电子系统2100的实施例还可以包括一个或更多个传感器2190。传感器2190可以包括,例如,图像传感器、加速度计、压力传感器、温度传感器、接近度传感器(proximitysensor)、磁力计、陀螺仪、惯性传感器(例如,组合加速度计和陀螺仪的模块)、环境光传感器或可操作以提供感测输出和/或接收感测输入的任何其他类似模块,例如深度传感器或位置传感器。例如,在一些实施方式中,传感器2190可以包括一个或更多个惯性测量单元(IMU)和/或一个或更多个位置传感器。IMU可以基于从一个或更多个位置传感器接收的测量信号来生成校准数据,该校准数据指示相对于HMD设备的初始位置的HMD设备的估计位置。位置传感器可以响应于HMD设备的运动来生成一个或更多个测量信号。位置传感器的示例可以包括但不限于,一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一种合适类型的传感器、用于IMU的误差校正的一种类型的传感器或它们的某种组合。位置传感器可以位于IMU的外部、IMU的内部或者它们的某种组合。至少一些传感器可以使用结构光图案用于感测。
电子系统2100可以包括显示模块2160。显示模块2160可以是近眼显示器,并且可以以图形方式向用户呈现来自电子系统2100的信息,例如图像、视频和各种指令。这种信息可以从一个或更多个应用模块2122-2124、虚拟现实引擎2126、一个或更多个其他硬件模块2180、它们的组合或用于(例如,通过操作系统2125)为用户解析图形内容的任何其他合适的装置中导出。显示模块2160可以使用液晶显示(LCD)技术、发光二极管(LED)技术(包括例如,OLED、ILED、mLED、AMOLED、TOLED等)、发光聚合物显示(LPD)技术或某种其他显示技术。
电子系统2100可以包括用户输入/输出模块2170。用户输入/输出模块2170可以允许用户向电子系统2100发送动作请求。动作请求可以是执行特定动作的请求。例如,动作请求可以是开始或结束应用,或者是在应用内执行特定动作。用户输入/输出模块2170可以包括一个或更多个输入设备。示例输入设备可以包括触摸屏、触摸板、麦克风、按钮、拨号盘、开关、键盘、鼠标、游戏控制器或用于接收动作请求并将接收到的动作请求传送给电子系统2100的任何其他合适的设备。在一些实施例中,用户输入/输出模块2170可以根据从电子系统2100接收的指令向用户提供触觉反馈。例如,可以在接收到动作请求或者已经执行动作请求时提供触觉反馈。
电子系统2100可以包括照相机2150,照相机2150可以用于拍摄用户的照片或视频,例如,用于跟踪用户的眼睛位置。照相机2150还可以用于拍摄环境的照片或视频,例如,用于VR应用、AR应用或MR应用。照相机2150可以包括例如具有几百万或几千万像素的互补金属氧化物半导体(CMOS)图像传感器。在一些实施方式中,照相机2150可以包括两个或更多个照相机,它们可以用于捕获3D图像。
在一些实施例中,电子系统2100可以包括多个其他硬件模块2180。其他硬件模块2180中的每一个可以是电子系统2100内的物理模块。虽然其他硬件模块2180中的每一个可以被永久地配置为结构,但是其他硬件模块2180中的一些可以被临时配置成执行特定功能或者被临时激活。其他硬件模块2180的示例可以包括例如,音频输出和/或输入模块(例如,麦克风或扬声器)、近场通信(NFC)模块、可再充电电池、电池管理系统、有线/无线电池充电系统等。在一些实施例中,其他硬件模块2180的一个或更多个功能可以用软件实现。
在一些实施例中,电子系统2100的存储器2120还可以存储虚拟现实引擎2126。虚拟现实引擎2126可以执行电子系统2100内的应用,并且从各种传感器接收HMD设备的位置信息、加速度信息、速度信息、预测的未来位置或它们的某种组合。在一些实施例中,由虚拟现实引擎2126接收的信息可以用于为显示模块2160产生信号(例如,显示指令)。例如,如果接收到的信息指示用户已经向左看,则虚拟现实引擎2126可以为HMD设备生成反映用户在虚拟环境中的移动的内容。附加地,虚拟现实引擎2126可以响应于从用户输入/输出模块2170接收的动作请求在应用内执行动作,并且向用户提供反馈。所提供的反馈可以是视觉反馈、听觉反馈或触觉反馈。在一些实施方式中,处理器2110可以包括可以执行虚拟现实引擎2126的一个或更多个GPU。
在各种实施方式中,上文描述的硬件和模块可以在单个设备上被实现,或者在可以使用有线连接或无线连接彼此通信的多个设备上被实现。例如,在一些实施方式中,一些部件或模块(例如,GPU、虚拟现实引擎2126和应用(例如,跟踪应用)),可以在与头戴式显示器设备分离的控制台上被实现。在一些实施方式中,一个控制台可以被连接至多于一个HMD或者可以支持多于一个HMD。
在替代配置中,不同的和/或附加的部件可以被包括电子系统2100中。类似地,一个或更多个部件的功能可以以不同于上文描述的方式的方式被分布在部件中。例如,在一些实施例中,电子系统2100可以被修改为包括其他系统环境,例如AR系统环境和/或MR环境。
上文讨论的方法、系统和设备是示例。各种实施例可以酌情省略、替换或添加各种过程或部件。例如,在替代配置中,所描述的方法可以以不同于所描述的顺序来执行,和/或可以添加、省略和/或组合各个阶段。此外,关于某些实施例描述的特征可以在各种其他实施例中被组合。实施例的不同方面和元素可以以相似的方式被组合。此外,技术不断发展,并且因此许多元素是示例,其不将本发明的范围限制于那些具体示例。
在描述中给出了具体细节,以提供对实施例的透彻理解。然而,可以在没有这些具体细节的情况下实施实施例。例如,为了避免模糊实施例,熟知的电路、过程、系统、结构和技术已经被示出而没有不必要的细节。此描述仅提供示例性的实施例,并且不意图限制本发明的范围、适用性或配置。而是,实施例的前述描述将为本领域技术人员提供用于实现多种实施例的使能描述(enabling description)。在不脱离本发明的范围的情况下,可以在元素的功能和布置方面进行各种改变。
此外,一些实施例被描述为过程,过程被描绘为流程图或框图。尽管每一个都可以将操作描述为顺序过程,但是许多操作可以并行或并发地被执行。此外,操作的顺序可以被重新排列。过程可以具有图中未包括的附加的步骤。此外,可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来实现方法的实施例。当以软件、固件、中间件或微代码实现时,执行相关联的任务的程序代码或代码段可以被存储在诸如存储介质的计算机可读介质中。处理器可以执行相关联的任务。
对于本领域技术人员来说,将明显的是,可以根据特定的要求进行实质性的变化。例如,还可以使用定制的硬件或专用的硬件,和/或可以以硬件、软件(包括便携式软件,例如小程序(applet)等)或者两者来实现特定的元素。此外,可以采用到其他计算设备(例如网络输入/输出设备)的连接。
参考附图,可以包括存储器的部件可以包括非暂时性机器可读介质。术语“机器可读介质”和“计算机可读介质”可以指参与提供使机器以特定方式操作的数据的任何存储介质。在上文提供的实施例中,各种机器可读介质可以涉及向处理单元和/或其他设备提供指令/代码以用于执行。附加地或替代地,机器可读介质可以用于存储和/或携带这样的指令/代码。在许多实施方式中,计算机可读介质是物理存储介质和/或有形存储介质。这样的介质可以采取多种形式,包括但不限于非易失性介质、易失性介质和传输介质。计算机可读介质的常见形式包括例如磁介质和/或光学介质(例如光盘(CD)或数字多功能盘(DVD))、穿孔卡、纸带、具有孔图案的任何其他物理介质、RAM、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、闪存-EPROM、任何其他存储器芯片或盒、如下文描述的载波、或计算机可以从中读取指令和/或代码的任何其他介质。计算机程序产品可以包括代码和/或机器可执行指令,其可以表示过程、函数、子程序、程序、例程、应用(App)、子例程、模块、软件包、类、或指令、数据结构或程序语句的任何组合。
本领域技术人员将理解,用于传送本文描述的消息的信息和信号可以使用多种不同的技术和技艺中的任何一种来表示。例如,在整个上文的描述中可以引用的数据、指令、命令、信息、信号、比特、符号和码片(chip)可以由电压、电流、电磁波、磁场或粒子、光场或粒子、或其任何组合来表示。
如本文使用的术语“和”以及“或”可以包括多种含义,这些含义还被预期至少部分地取决于使用这样的术语的上下文。通常,“或”如果用于关联列表,例如A、B或C,则意图表示A、B和C(此处以包含的意义使用)以及A、B或C(此处以排他的意义使用)。此外,如本文使用的术语“一个或更多个”可以用来以单数形式描述任何特征、结构或特性,或者可以用来描述特征、结构或特性的某种组合。然而,应当注意,这仅仅是说明性的示例,并且所要求保护的主题不限于该示例。此外,术语“......中的至少一个(at least one of)”如果用于关联列表,例如A、B或C,则可以被解释为表示A、B和/或C的任何组合,例如A、AB、AC、BC、AA、ABC、AAB、AABBCCC等。
此外,虽然已经使用硬件和软件的特定组合描述了某些实施例,但是应当认识到,硬件和软件的其他组合也是可能的。某些实施例可以仅以硬件实现,或者仅以软件实现,或者使用它们的组合来实现。在一个示例中,可以用包含计算机程序代码或指令的计算机程序产品来实现软件,该计算机程序代码或指令可由一个或更多个处理器执行,以用于执行在发明中描述的任何或所有步骤、操作或过程,其中计算机程序可以被存储在非暂时性计算机可读介质上。本文描述的各种过程可以在相同的处理器上或者以任何组合在不同的处理器上实现。
在设备、系统、部件或模块被描述为被配置成执行某些操作或功能的情况下,可以例如通过设计执行操作的电子电路、通过对可编程电子电路(例如微处理器)进行编程以(例如通过执行计算机指令或代码)执行操作、或者被编程为执行存储在非暂时性存储器介质上的代码或指令的处理器或核、或者它们的任何组合来完成这样的配置。过程可以使用多种技术(包括但不限于用于过程间通信的传统技术)进行通信,并且不同的过程对可以使用不同的技术,或者同一对过程可以在不同的时间使用不同的技术。
因此,说明书和附图应被视为说明性的而不是限制性的。然而,将明显的是,在不脱离在权利要求中阐述的更广泛的范围的情况下,可以对其进行添加、删减、删除以及其他修改和改变。因此,尽管已经描述了具体实施例,但是这些实施例并不意图是限制性的。各种修改和等同物都在所附权利要求的范围内。
Claims (15)
1.一种用于近眼显示器的光学设备,所述光学设备包括:
基底,所述基底对可见光和红外光透明,并且被配置成放置在所述近眼显示器的用户的眼睛前面;以及
全息光栅,所述全息光栅共形地耦合到所述基底的表面,其中,所述全息光栅的折射率调制在所述基底的表面法线方向上变迹,以减少可见光中的光学伪影。
2.根据权利要求1所述的光学设备,其中,所述全息光栅在所述基底的表面法线方向上的折射率调制的幅度由钟形曲线表征。
3.根据权利要求1所述的光学设备,其中,所述全息光栅的折射率调制的幅度在所述基底的表面法线方向上是不对称的。
4.根据权利要求1所述的光学设备,其中,所述全息光栅包括反射全息光栅,所述反射全息光栅被配置成透射可见光并反射性地衍射第一波长范围内的红外光,以用于眼睛跟踪。
5.根据权利要求4所述的光学设备,其中,所述全息光栅被配置成将所述第一波长范围内的红外光从红外光源反射性地衍射到用户的眼睛或者从用户的眼睛反射性地衍射到红外照相机。
6.根据权利要求1-3中任一项所述的光学设备,其中:
所述基底被配置成通过全内反射在所述基底内引导显示光;并且
所述全息光栅包括光栅耦合器,所述光栅耦合器被配置成将所述显示光的至少一部分从所述基底耦合出去。
7.根据权利要求1所述的光学设备,其中,所述全息光栅包括被配置成层压在所述基底的表面上的光聚合物层。
8.根据权利要求7所述的光学设备,其中:
所述光聚合物层的厚度大于15μm;并且
所述全息光栅的最大折射率调制是至少0.035。
9.一种制造用于近眼显示器的光学设备的方法,所述方法包括:
在支撑基底上获得光聚合物层,其中,所述光聚合物层对第一波长范围内的光敏感;以及
从所述光聚合物层的第一侧将所述第一波长范围内的第一光束投射到所述光聚合物层上,
其中,所述第一光束的第一波长、所述第一光束的第一强度和所述光聚合物层的光吸收率被配置成使得所述第一光束的第一强度在所述光聚合物层中从所述第一侧在沿着所述光聚合物层的厚度的方向上根据预定的光强度分布逐渐降低,以在沿着所述光聚合物层的厚度的方向上变迹所述光聚合物层。
10.根据权利要求9所述的方法,其中,将所述第一光束投射到所述光聚合物层上包括:
将棱镜定位在所述光聚合物层附近,其中,所述棱镜的折射率大于1.33;以及
将所述第一光束投射到所述棱镜上,
其中,所述棱镜将所述第一光束折射到所述光聚合物层上。
11.根据权利要求9所述的方法,还包括在变迹的光聚合物层中记录全息光栅,其中:
所述全息光栅在沿着所述光聚合物层的厚度的方向上变迹;并且
所述全息光栅被配置成透射所述第一波长范围内的光并反射性地衍射红外光以用于眼睛跟踪。
12.根据权利要求9所述的方法,还包括从所述光聚合物层的第二侧将所述第一波长范围内的第二光束投射到所述光聚合物层上,其中:
所述第二光束的第二波长、所述第二光束的第二强度和所述光聚合物层的光吸收率被配置成使得所述第二光束的第二强度在所述光聚合物层中从所述第二侧在沿着所述光聚合物层的厚度的方向上逐渐降低,以在沿着所述光聚合物层的厚度的方向上变迹所述光聚合物层。
13.根据权利要求12所述的方法,其中,所述第一波长和所述第二波长相同或不同。
14.一种眼睛跟踪系统,包括:
基底,所述基底对可见光和红外光透明;以及
反射全息光栅,所述反射全息光栅共形地耦合到所述基底的表面,其中:
所述反射全息光栅被配置成透射可见光并反射性地衍射第一波长范围内的红外光以用于眼睛跟踪;并且
所述反射全息光栅的折射率调制在沿着所述反射全息光栅的厚度的方向上变迹,以减少可见光中的光学伪影。
15.一种制造用于近眼显示器的光学设备的方法,所述方法包括:
在所述光学设备的基底上形成光聚合物层,所述光聚合物层对第一波长范围内的光敏感;
在所述光聚合物层中形成在所述第一波长范围内具有不均匀强度的光图案,以选择性地使所述光聚合物层脱敏;以及
使用所述第一波长范围内的相干光在选择性脱敏的光聚合物层中记录变迹的全息光栅,其中,变迹的全息光栅被配置成将所述第一波长范围之外的红外光反射性衍射到所述近眼显示器的用户的眼睛或反射性地衍射来自所述近眼显示器的用户的眼睛的所述第一波长范围之外的红外光。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/505,462 | 2019-07-08 | ||
US16/505,412 US11067821B2 (en) | 2019-07-08 | 2019-07-08 | Apodized optical elements for optical artifact reduction |
US16/505,462 US11609424B2 (en) | 2019-07-08 | 2019-07-08 | Apodized reflective optical elements for eye-tracking and optical artifact reduction |
US16/505,412 | 2019-07-08 | ||
PCT/US2020/040839 WO2021007134A1 (en) | 2019-07-08 | 2020-07-04 | Apodized optical elements for optical artifact reduction |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114144717A true CN114144717A (zh) | 2022-03-04 |
Family
ID=71833462
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080049099.8A Pending CN114144717A (zh) | 2019-07-08 | 2020-07-04 | 用于减少光学伪影的变迹光学元件 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP3969958A1 (zh) |
JP (1) | JP2022540303A (zh) |
CN (1) | CN114144717A (zh) |
WO (1) | WO2021007134A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7411255B2 (ja) * | 2018-07-16 | 2024-01-11 | ルムス エルティーディー. | 偏光された内部反射体を採用する導光光学素子 |
US11067821B2 (en) | 2019-07-08 | 2021-07-20 | Facebook Technologies, Llc | Apodized optical elements for optical artifact reduction |
US11609424B2 (en) | 2019-07-08 | 2023-03-21 | Meta Platforms Technologies, Llc | Apodized reflective optical elements for eye-tracking and optical artifact reduction |
GB202117270D0 (en) * | 2021-11-30 | 2022-01-12 | Ams Int Ag | optical element replicating method |
US20240012244A1 (en) * | 2022-07-11 | 2024-01-11 | Meta Platforms Technologies, Llc | OPTICAL ASSEMBLY WITH MICRO LIGHT EMITTING DIODE (LED) AS EYE-TRACKING NEAR INFRARED (nIR) ILLUMINATION SOURCE |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8257885B1 (en) * | 2006-12-07 | 2012-09-04 | Hrl Laboratories, Llc | Recording reflection Bragg Gratings and apodizing reflection Bragg Gratings |
CN106662754A (zh) * | 2014-05-30 | 2017-05-10 | 奇跃公司 | 用于采用虚拟或增强现实装置生成虚拟内容显示的方法和系统 |
CN108027513A (zh) * | 2015-10-12 | 2018-05-11 | 英特尔公司 | 用于可穿戴显示器的可变反射率图像组合器 |
US20180188689A1 (en) * | 2016-12-29 | 2018-07-05 | Intel Corporation | Techniques for processing holographic recording media |
WO2018194962A1 (en) * | 2017-04-17 | 2018-10-25 | Akonia Holographics Llc | Skew mirror auxiliary imaging |
WO2019060741A1 (en) * | 2017-09-21 | 2019-03-28 | Magic Leap, Inc. | INCREASED REALITY DISPLAY HAVING A WAVEGUIDE CONFIGURED TO CAPTURE IMAGES OF THE EYE AND / OR THE ENVIRONMENT |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102012104900B4 (de) * | 2011-06-06 | 2020-08-13 | Seereal Technologies S.A. | Verfahren und Vorrichtung zur schichtweisen Erzeugung dünner Volumengitterstapel, Strahlvereiniger für ein holografisches Display sowie Solarmodul und Hologrammbauteil |
-
2020
- 2020-07-04 CN CN202080049099.8A patent/CN114144717A/zh active Pending
- 2020-07-04 WO PCT/US2020/040839 patent/WO2021007134A1/en unknown
- 2020-07-04 EP EP20746803.4A patent/EP3969958A1/en active Pending
- 2020-07-04 JP JP2021571040A patent/JP2022540303A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8257885B1 (en) * | 2006-12-07 | 2012-09-04 | Hrl Laboratories, Llc | Recording reflection Bragg Gratings and apodizing reflection Bragg Gratings |
CN106662754A (zh) * | 2014-05-30 | 2017-05-10 | 奇跃公司 | 用于采用虚拟或增强现实装置生成虚拟内容显示的方法和系统 |
CN108027513A (zh) * | 2015-10-12 | 2018-05-11 | 英特尔公司 | 用于可穿戴显示器的可变反射率图像组合器 |
US20180188689A1 (en) * | 2016-12-29 | 2018-07-05 | Intel Corporation | Techniques for processing holographic recording media |
WO2018194962A1 (en) * | 2017-04-17 | 2018-10-25 | Akonia Holographics Llc | Skew mirror auxiliary imaging |
WO2019060741A1 (en) * | 2017-09-21 | 2019-03-28 | Magic Leap, Inc. | INCREASED REALITY DISPLAY HAVING A WAVEGUIDE CONFIGURED TO CAPTURE IMAGES OF THE EYE AND / OR THE ENVIRONMENT |
Also Published As
Publication number | Publication date |
---|---|
EP3969958A1 (en) | 2022-03-23 |
JP2022540303A (ja) | 2022-09-15 |
WO2021007134A1 (en) | 2021-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10838132B1 (en) | Diffractive gratings for eye-tracking illumination through a light-guide | |
US11650426B2 (en) | Holographic optical elements for eye-tracking illumination | |
US11609424B2 (en) | Apodized reflective optical elements for eye-tracking and optical artifact reduction | |
US11340702B2 (en) | In-field illumination and imaging for eye tracking | |
US10852817B1 (en) | Eye tracking combiner having multiple perspectives | |
US11067821B2 (en) | Apodized optical elements for optical artifact reduction | |
US10598938B1 (en) | Angular selective grating coupler for waveguide display | |
US10698204B1 (en) | Immersed hot mirrors for illumination in eye tracking | |
US11067811B2 (en) | Volume bragg gratings for near-eye waveguide display | |
US10725302B1 (en) | Stereo imaging with Fresnel facets and Fresnel reflections | |
US11073903B1 (en) | Immersed hot mirrors for imaging in eye tracking | |
CN114144717A (zh) | 用于减少光学伪影的变迹光学元件 | |
US20200355862A1 (en) | Spatial deposition of resins with different functionality on different substrates | |
US20200356050A1 (en) | Spatial deposition of resins with different functionality | |
US11455031B1 (en) | In-field illumination for eye tracking | |
WO2023114116A2 (en) | Liquid crystal polarization hologram (lcph) based eye tracking for ar/vr | |
US11307654B1 (en) | Ambient light eye illumination for eye-tracking in near-eye display | |
JP2022544733A (ja) | ホログラフィック格子内の屈折率変調矯正 | |
US11237628B1 (en) | Efficient eye illumination using reflection of structured light pattern for eye tracking | |
US20230288705A1 (en) | Suppression of first-order diffraction in a two-dimensional grating of an output coupler for a head-mounted display | |
EP4302150A1 (en) | Light redirection feature in waveguide display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: California, USA Applicant after: Yuan Platform Technology Co.,Ltd. Address before: California, USA Applicant before: Facebook Technologies, LLC |
|
CB02 | Change of applicant information |