CN117859087A - 角度光传感器和眼睛追踪 - Google Patents
角度光传感器和眼睛追踪 Download PDFInfo
- Publication number
- CN117859087A CN117859087A CN202280056770.0A CN202280056770A CN117859087A CN 117859087 A CN117859087 A CN 117859087A CN 202280056770 A CN202280056770 A CN 202280056770A CN 117859087 A CN117859087 A CN 117859087A
- Authority
- CN
- China
- Prior art keywords
- light
- grating
- angular
- sensor
- photodiode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 claims abstract description 22
- 230000004888 barrier function Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 12
- 239000000463 material Substances 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 239000000758 substrate Substances 0.000 claims description 6
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 claims description 3
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 claims description 3
- 229910052804 chromium Inorganic materials 0.000 claims description 3
- 239000011651 chromium Substances 0.000 claims description 3
- 229910052802 copper Inorganic materials 0.000 claims description 3
- 239000010949 copper Substances 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 26
- 230000015654 memory Effects 0.000 description 9
- 210000004087 cornea Anatomy 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 229910004298 SiO 2 Inorganic materials 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- LFEUVBZXUFMACD-UHFFFAOYSA-H lead(2+);trioxido(oxo)-$l^{5}-arsane Chemical compound [Pb+2].[Pb+2].[Pb+2].[O-][As]([O-])([O-])=O.[O-][As]([O-])([O-])=O LFEUVBZXUFMACD-UHFFFAOYSA-H 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
公开了可以在眼睛追踪系统中使用的角度传感器(120)。眼睛追踪系统可以包括用于发射照明光(113)的多个光源(110)和用于接收返回光(117)的多个角度光传感器(120),该返回光是从适眼区区域(195)反射的照明光。角度光传感器(120)可以输出表示返回光的入射角的角度信号。
Description
相关申请的交叉引用
本申请要求于2021年8月13日提交的申请号为63/232,674的美国临时申请的优先权,以及于2022年8月1日提交的申请号为17/878,634的美国非临时申请的优先权,这两项申请特此通过引用并入本文。
技术领域
本公开总体上涉及光学器件,尤其涉及角度光传感器(angular light sensor)。
背景技术
角度光传感器可以用于各种情境(例如,成像、显示器和光电单元)中。现有的角度光传感器可能体积庞大、功率效率低和/或处理时间慢。因此,可以采用现有的角度光传感器的应用可能会受到限制。
发明内容
在本发明的一个方面,提供了一种眼睛追踪系统,该眼睛追踪系统包括:多个红外光源,该多个红外光源被配置成向适眼区区域(eyebox region)发射红外照明光;以及多个角度光传感器,该多个角度光传感器被配置成接收返回红外光,该返回红外光为从该适眼区区域反射的红外照明光,其中,该多个角度光传感器中的角度光传感器被配置成输出表示该返回红外光相对于角度光传感器的位置的入射角的角度信号。
角度光传感器相对于角度光传感器的光电探测器表面可以具有1度与85度之间的角度检测范围。
角度光传感器可以具有小于150微米×150微米的传感器面积。
角度光传感器可以包括:第一光电二极管,该第一光电二极管被配置成接收该返回红外光;第二光电二极管,该第二光电二极管被配置成接收该返回红外光;以及倾斜式光障,该倾斜式光障设置在该第一光电二极管与该第二光电二极管之间,该倾斜式光障相对于该第一光电二极管和该第二光电二极管共同的感测平面的表面法线成角度,其中,由该第一光电二极管产生的第一信号与由该第二光电二极管产生的第二信号的比率可以指示该返回红外光的入射角。
角度光传感器可以包括:光障;第一光电二极管,该第一光电二极管被配置成接收该返回红外光;第二光电二极管,该第二光电二极管被配置成接收该返回红外光,其中,该第一光电二极管设置在该光障与该第二光电二极管之间;以及处理逻辑,该处理逻辑被配置成接收由该第一光电二极管产生的第一信号和由该第二光电二极管产生的第二信号,其中,该处理逻辑基于该第一信号和该第二信号产生质心(Center of Mass)值,其中,在产生该质心值时该第一信号被分配第一加权因子,该第一加权因子小于分配给该第二信号的第二加权因子。
角度光传感器的角度检测范围的视场(field of view,FOV)可以相对于角度光传感器的光电探测器的表面法线倾斜。
该眼睛追踪系统还可以包括倾斜机构,该倾斜机构被配置成使角度光传感器的角度检测范围的视场(FOV)动态地倾斜。
该倾斜机构可以包括微机电系统(micro-electro-mechanical system,MEMS)设备。
每个红外光源可以与一个角度光传感器配对,并且红外光源与角度光传感器隔开小于500微米。
在本发明的一个方面,提供了一种头戴式设备,该头戴式设备包括:框架,该框架用于将该头戴式设备固定在用户的头部上;以及眼睛追踪系统,该眼睛追踪系统包括:多个红外光源,该多个红外光源被配置成向适眼区区域发射红外照明光;以及多个角度光传感器,该多个角度光传感器被配置成接收返回红外光,该返回红外光为从该适眼区区域反射的红外照明光,其中,该多个角度光传感器中的角度光传感器被配置成输出表示该返回红外光相对于角度光传感器的位置的入射角的角度信号。
该多个红外光源和该多个角度光传感器可以安装到该头戴式设备的框架。
该头戴式设备还可以包括:透镜,该透镜由该框架保持,其中,该透镜可以将可见场景光从外部环境传送到适眼区区域,并且其中,该多个红外光源和该多个角度光传感器可以设置在该透镜上。
在本发明的一个方面,提供了一种角度光传感器,该角度光传感器包括:第一光探测器,该第一光探测器包括第一光电二极管、第一高光栅和第一低光栅,其中,该第一低光栅设置在该第一高光栅与该第一光电二极管之间;以及第二光探测器,该第二光探测器包括第二光电二极管、第二高光栅和第二低光栅,其中,该第二低光栅设置在该第二高光栅与该第二光电二极管之间,其中,该第二低光栅相对于该第二高光栅偏心,并且其中,该第一低光栅相对于该第一高光栅居中。
该第二低光栅可以相对于该第二高光栅以偏移系数d/4偏心,其中d为该第二高光栅的间距、该第二低光栅的间距、该第一低光栅的间距以及该第一高光栅的间距。
角度光传感器还可以包括第三光探测器,该第三光探测器包括第三光电二极管、第三高光栅和第三低光栅,其中,该第三低光栅可以设置在该第三高光栅与该第三光电二极管之间,其中,该第三低光栅可以相对于该第三高光栅以偏移系数3d/8偏心,其中d为该第三高光栅的间距以及该第三低光栅的间距。
该间距可以具有50%的占空比。
该角度光传感器还可以包括:第四光探测器,该第四光探测器被配置为第一光探测器;第五光探测器,该第五光探测器被配置为第二光探测器;以及第六光探测器,该第六光探测器被配置为第三光探测器,其中,该第四光探测器、该第五光探测器和该第六光探测器可以相对于该第一光探测器、该第二光探测器和该第三光探测器旋转90度。
用于该第二高光栅、该第二低光栅、该第一低光栅和该第一高光栅的光栅材料可以为铬或铜。
该角度光传感器可以被配置成测量具有波长λ的光的入射角,并且其中,该第一低光栅与该第一高光栅间隔距离z,其中,z为2d2/λ,并且进一步地其中,该第二低光栅也与该第二高光栅间隔距离z。
可以在该第一高光栅与该第一低光栅之间设置光学透明衬底,并且其中,也可以在该第二高光栅与该第二低光栅之间设置该光学透明衬底。
附图说明
参考以下附图描述了本发明的非限制性和非穷举实施例,其中,除非另有说明,否则在各个视图中相同的附图标记始终表示相同的部件。
图1示出了根据本公开的各方面的用于确定眼睛注视角度的源-传感器对。
图2A示出了光传感器,该光传感器具有感测平面和正交于该光传感器的感测平面的表面法线矢量。
图2B示出了比图2A的传感器具有更小的视场(FOV)和更高的角度分辨率的光传感器。
图2C示出了根据本公开的各方面的具有更高的分辨率和相对较大的FOV的角度光传感器。
图3A和图3B示出了根据本公开的各方面的具有第一光电二极管、第二光电二极管和倾斜式光障的角度光传感器。
图3C示出了根据本公开的各方面的示例性图表,该图表示出了由倾斜式光障隔开的光电二极管的预期功率。
图4A示出了根据本公开的各方面的头戴式设备的一部分,该头戴式设备包括框架和由该框架固定的近眼光学元件。
图4B示出了根据本公开的各方面的包括传感器-源对的近眼光学元件的一部分。
图5示出了根据本公开的各方面的头戴式设备的一部分,该头戴式设备具有用于二维眼睛注视检测的3×3传感器-源对阵列。
图6示出了根据本公开的各方面具有多于两个光电探测器和一个光障的示例性角度光传感器。
图7A示出了光栅后面的泰伯(Talbot)图像平面的位置。
图7B包括根据本公开的各方面的等式,这些等式提供了针对泰伯图像的关于光栅间距d和泰伯传感器上的入射光的波长λ的泰伯距离z。
图8示出了根据本公开的各方面的曲线图,该曲线图示出了针对0.88微米的示例性周期的、角度光传感器上的光的入射角(angle of incidence,AOI)与泰伯传感器的透射率之间的关系。
图9示出了根据本公开的各方面的包括四个传感器-源对的示例性眼睛追踪系统,这些传感器-源对被配置成用近红外照明光照射角膜形矩心(cornea shaped centroid)。
图10示出了根据本公开的各方面的包括第一光探测器、第二光探测器和第三光探测器的示例性传感器结构。
图11示出了根据本公开的各方面的具有在YZ平面上定向的三个传感器的传感器结构。
图12示出了根据本公开的各方面的具有用于XY平面的传感器和用于YZ平面的传感器的组合传感器结构。
具体实施方式
本文描述了角度光传感器和眼睛追踪的实施例。在以下描述中,为了提供对这些实施例的透彻理解,阐述了许多具体细节。然而,相关领域的技术人员将认识到,本文描述的技术可以在没有一个或多个特定细节的情况下实施,或者利用其他方法、部件、材料等来实施。在其它情况下,未详细示出或描述公知的结构、材料或操作,以避免模糊某些方面。
在整个说明书中提到“一个实施例”或“实施例”意味着结合该实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,短语“在一个实施例中”或“在实施例中”在整个本说明书各处的出现不一定都指同一实施例。此外,在一个或多个实施例中,特定的特征、结构或特性可以以任何合适的方式进行组合。
在本公开的一些实施方式中,术语“近眼”可以被定义为包括这样的元件:该元件被配置成在使用近眼设备时放置在用户眼睛的50mm内。因此,“近眼光学元件”或“近眼系统”将包括被配置成放置在用户眼睛的50mm内的一个或多个元件。
在本公开的各方面中,可见光可以被定义为具有约380nm至700nm的波长范围。不可见光可以被定义为波长在可见光范围之外的光,例如紫外光和红外光。波长范围约为700nm至1mm的红外光包括近红外光。在本公开的各方面中,近红外光可以被定义为具有约700nm至1.6μm的波长范围。
在本公开的各方面中,术语“透明的”可以被定义为具有大于90%的透光率。在一些方面,术语“透明的”可以被定义为具有大于90%的可见光透射率的材料。
在某些领域中,包括增强现实(augmented reality,AR)和虚拟现实(virtualreality,VR),需要开发比目前商业上可用的光传感器功耗更低、形状要素更小和/或处理时间缩短的光传感器。不需要摄像头的解决方案(例如,光电传感器眼动图(photosensoroculography,PSOG)探测器或位置敏感探测器)特别有吸引力,这是因为它们相比于基于摄像头的眼睛追踪系统需要更少的处理时间并且能够更快地检测眼睛运动。此外,关注的是检测注视性眼睛运动(最小类型的眼睛运动)的能力,这是因为这些运动携带了可以用于AR/VR系统的有意义的认知信息和注意信息。
针对低形状要素、低功率、低运算、快速眼睛追踪的潜在非侵入性解决方案使用微型角度传感器来检测来自近眼光源的已经反射到眼角膜表面上的光。源和传感器两者可以被放置在头戴式设备(例如,智能眼镜或AR眼镜)的近眼光学元件上的场内(in-field),例如被放置在透镜中。“场内”是指源和传感器可以被放置在头戴式设备的用户的视场(例如,由头戴式设备的框架保持的近眼光学元件的透镜)中,在这种情况下用户将透过透镜观看他们的外部环境。
图1示出了根据本公开的实施方式的用于确定眼睛注视角度的源-传感器对。图1包括光源110和传感器120。光源110可以是LED、垂直腔面发射激光器(vertical-cavitysurface-emitting laser,VCSEL)、具有发射光的发射孔径的光子集成电路(photonicintegrated circuit,PIC)等。光源110可以是红外光源。光源110可以是近红外光源。传感器120可以是根据本公开的实施方式的角度光传感器。传感器120和源110用作传感器-源对,以通过测量传感器120上的入射角来获得y方向上的眼睛注视角度。可以同时使用多个传感器和多个源,或者可以通过在时间上控制光发射来使用多个传感器和多个光源。在一些实施方式中,一个或多个源和一个或多个传感器不位于“场内”,而是被放置在智能眼镜、AR眼镜或VR头戴式视图器(headset)的框架上。
在AR/VR应用中使用的角度光传感器的期望属性可以包括微型传感器(如果它放置在场内的话)、高角度分辨率、相对较大的角度范围、离轴灵敏度峰值和/或提高的运算速度。对于眼睛追踪情境中的角度光传感器来说,这些属性将是特别期望的。
图1示出了用照明光113照亮适眼区区域(eyebox region)195的源110。照明光113可以从眼睛190的占据适眼区区域195的角膜194反射/散射以作为返回光117。点192表示眼睛190的转动中心,并且可以用作测量眼睛注视角度θgy的基准。源110可以被选择性地激活以发射照明光113,使得源110可以开启和关闭。使用源110和角度光传感器120测量来自直视前方的眼睛注视角度θgy,其中源110和角度光传感器设置在具有适眼距离181的适眼平面处。在一些示例中,适眼距离181可以大约为16mm或20mm。在图1所示的示例中,角度光传感器120被设置成与表示眼睛190直视前方的矢量173相距距离182,并且源110被设置成与矢量173相距距离183。角度光传感器120测量返回光117的入射角θy。
在本公开的实施方式中,可以在眼睛追踪系统中使用多个光源和多个角度光传感器来确定头戴式设备的穿戴者的眼睛的眼睛注视角度。角度光传感器可以放置在头戴式设备的框架上或放置在头戴式设备的透明或半透明近眼光学元件上的“场内”。对于“场内”布置,角度光传感器和光源可能需要不被用户察觉。这意味着在一些实施方式中,传感器面积可以小于150微米×150微米。
用于AR/VR的基于角度光传感器的眼睛追踪的其它期望属性是具有高角度分辨率(1弧分到60弧分)和/或相对较大的角度检测范围(例如,1度到90度)。在本公开中,角度光传感器的角度检测范围也可以被称为角度光传感器的视场(FOV)。角度光传感器的另一期望属性可以包括在阻挡不期望的信号和杂散光时的离轴角度峰值灵敏度。
图2A示出了光传感器250,光传感器250具有感测平面(y)和正交于光传感器250的感测平面的表面法线矢量251。光传感器250具有大约160度并且以表面法线矢量251为中心的大FOV 253。传感器250具有低角度分辨率。目前大多数商业上可用的太阳追踪传感器与传感器250类似。
图2B示出了比传感器250具有更小的FOV和更高的角度分辨率的光传感器260。光传感器260具有感测平面(y)和正交于光传感器260的感测平面的表面法线矢量261。光传感器260具有大约10度并且以表面法线矢量261为中心的FOV 263。这些类型的光传感器架构典型地用于激光对准或微机电系统(MEMS)镜反馈,并且通常需要使用棱镜或光栅进行多次反射才能实现高角度精度。
图2C示出了根据本公开的实施方式的具有较高分辨率和相对较大的FOV 273的角度光传感器270。角度光传感器270具有感测平面(y)和正交于角度光传感器270的感测平面的表面法线矢量271。角度光传感器270具有大约30度并且相对于表面法线矢量271倾斜的FOV 273。特别地,在图2C中,FOV 273以中心矢量272为中心,并且中心矢量272相对于表面法线矢量271倾斜。在一些实施方式中,角度光传感器270相对于传感器270的光电探测器表面具有1度到85度的角度检测范围。
图3A和图3B示出了根据本公开的实施方式的具有第一光电二极管311、第二光电二极管312和倾斜式光障333的角度光传感器300。倾斜式光障333设置在第一光电二极管311与第二光电二极管312之间。由第一光电二极管311产生的第一信号316与由第二光电二极管312产生的第二信号317的比率指示返回光(例如,返回光117)的入射角。
图3B示出了倾斜式光障333相对于第一光电二极管311和第二光电二极管312共同的感测平面373的表面法线矢量371成角度。在一些示例中,倾斜式光障相对于矢量371偏移的角度α约为15度。可以使用其它角度。在一种实施方式中,倾斜式光障的长度L为3mm。
图3C示出了根据本公开的实施方式的示例图表380,该图表示出了由倾斜式光障隔开的光电二极管的预期功率。线381示出了左侧光电二极管(例如,光电二极管311)在不同入射角θ下的示例性功率输出,并且线382示出了右侧光电二极管(例如,光电二极管312)在不同入射角θ下的示例性功率输出。
图4A示出了根据本公开的实施方式的包括框架414和由框架414固定的近眼光学元件421A和421B的头戴式设备400的一部分。尽管未具体示出,但头戴式设备400可以包括耦接到框架414的臂,这些臂将头戴式设备固定到用户的头部。图4A示出眼睛490可以透过透明或半透明近眼光学元件421A或421B观察头戴式设备400的外部环境。换言之,来自外部环境的场景光可以传播穿过近眼光学元件421A和/或近眼光学元件421B。在一些实施方式中,近眼光学元件421A和/或421B可以包括向眼睛490提供增强现实图像的近眼显示系统的全部或一部分。近眼光学元件421A和421B可以被称为头戴式设备400的“透镜”。
图4A示出了近眼光学元件421B包括三个传感器-源对430A、430B和430C,这些传感器-源对被设置在“场内”。然而,这些传感器-源对可以足够小而对头戴式设备400的穿戴者不明显和不可察觉。传感器-源对430A包括源433A和角度光传感器431A。传感器-源对430B包括源433B和角度光传感器431B,传感器-源对430C包括源433C和角度光传感器431C。另外,图4A示出了安装到头戴式设备400的框架414的传感器-源对430D。传感器-源对430D包括源433D和角度光传感器431D。虽然仅一个传感器-源对被示为安装到框架414,但在一些实施方式中,多个传感器-源对可以安装到框架414(例如,在框架周围)。源433A、433B、433C和433D(统称为“源433”)和角度光传感器431A、431B、431C和431D(统称为“角度光传感器431”)可以具有参考图1至图3B描述的角度光传感器和光源的特征。在给定的传感器-源对中,光源与角度光传感器隔开的距离可以小于500微米。在一实施方式中,光源和角度光传感器被隔开大约200微米。
图4B示出了根据本公开的实施方式的包括传感器-源对430B的近眼光学元件421B的一部分。图4B示出了来自外部环境的可见场景光497可以传播穿过近眼光学元件421B到达眼睛490。因此,近眼光学元件421B可以在AR环境中使用。
光源433B可以向眼睛490占据的适眼区区域发射照明光413。照明光413由眼睛490反射或散射以作为返回光417,并由角度光传感器431B测量/检测。处理逻辑499可以接收来自角度光传感器431B的一个或多个角度信号419B。角度信号可以表示返回光相对于角度光传感器的位置的入射角。可以由角度光传感器的光电探测器(例如,光电二极管)产生角度信号。处理逻辑499还可以接收来自另外的角度光传感器的一个或多个角度信号(例如,来自传感器431A的一个或多个角度信号419A和来自传感器431C的一个或多个角度信号419C)。处理逻辑499还可以驱动光源433选择性地发射照明光413。处理逻辑499可以设置在头戴式设备400的框架414或臂(未具体示出)中。
图5示出了根据本公开的实施方式的具有用于二维眼睛注视检测的3×3传感器-源对阵列的头戴式设备500的一部分。头戴式设备500包括框架414和由框架414固定的近眼光学元件521A和521B。尽管没有具体示出,但头戴式设备500可以包括耦接到框架414的臂,这些臂将头戴式设备500固定到用户的头部。图5示出了眼睛490可以透过透明或半透明近眼光学元件521A或521B观察头戴式设备500的外部环境。换言之,来自外部环境的场景光可以传播穿过近眼光学元件521A和/或近眼光学元件521B。在一些实施方式中,近眼光学元件521A和/或521B可以包括向眼睛490提供增强现实图像的近眼显示系统的全部或一部分。近眼光学元件521A和521B可以被称为头戴式设备500的“透镜”。
图5示出了近眼光学元件521B包括九个传感器-源对530A、530B、530C、530D、530E、530F、530G、530H和530I(统称为“传感器-源对530”),这些传感器-源对设置在“场内”。然而,传感器-源对530可以足够小而对头戴式设备500的穿戴者不明显和不可察觉。
传感器-源对530A包括源533A和角度光传感器531A。传感器-源对530B包括源533B和角度光传感器531B;传感器-源对530C包括源533C和角度光传感器531C;传感器-源对530D包括源533D和角度光传感器531D;传感器-源对530E包括源533E和角度光传感器531E;传感器-源对530F包括源533F和角度光传感器531F;传感器-源对530G包括源533G和角度光传感器531G;传感器-源对530H包括源533H和角度光传感器531H;传感器-源对530I包括源533I和角度光传感器531I。源533A、533B、533C、533D、533E、533F、533G、533H和533I(统称为“光源533”)和角度光传感器531A、531B、531C、531D、531E、531F、531G、531H和531I(统称为“角度光传感器531”)可以具有关于图1至图3B描述的角度光传感器和光源的特征。
光源533可以向头戴式设备500的穿戴者的眼睛占据的适眼区区域发射照明光,并且角度光传感器531可以检测/测量由眼睛的角膜反射的返回光。与处理逻辑499类似的处理逻辑可以接收由多个角度光传感器531输出的角度信号。可以由角度光传感器的光电探测器(例如,光电二极管)产生角度信号。处理逻辑还可以驱动光源533以选择性地发射照明光。
角度光传感器上的信号取决于源-传感器放置和用户的生物特性(例如,适眼距离或角膜曲率)。
图6示出了根据本公开的实施方式的具有多于两个光电探测器和光障630的示例性角度光传感器600。角度光传感器600包括光障630和光电探测器(例如,光电二极管)641、642、643、644和645。源601用光603照射传感器600,并且光电探测器641、642、643、644和645分别产生信号651、652、653、654和655。在一实施方式中,质心计算可以用于基于在离散步骤获得的数据来计算插置位置。对于光敏阵列或成行的光电探测器条带,可以使用质心计算来确定光在表面上最集中的位置。在该系统中,由于光障630在至少一些光电探测器上投射阴影的事实,由一些光电探测器观测到的信号大于由其它光电探测器观测到的信号。举例来说,假设信号651和652是10,则信号653是50,并且信号654和信号655是100。基于每个光电二极管到光障630的距离为每个光电二极管分配加权系数。分配给第一信号651的第一加权因子是0,分配给第二信号652的第二加权因子是1,分配给第三信号653的第三加权因子是2,分配给第四信号654的第四加权因子是4,并且分配给第五信号655的第五加权因子是4。因此,可以形成以下等式:
总信号=10+10+50+100+100
加权信号=0*10+1*10+2*50+3*100+4*100
质心=加权信号/总信号
在本公开的实施方式中,眼睛追踪系统包括放置在用于AR设备或VR设备的框架或场内的角度光传感器和光源。每个光源可以具有指向眼睛的角膜的发射锥体。角度光传感器可以具有用于计算入射光的入射角的输出连接部(例如,电插脚)。在一些实施方式中,角度光传感器的FOV相对于正交于角度光传感器的表面的矢量倾斜。角度光传感器可以具有大于1弧分但小于60弧分的角度分辨率。在一些实施方式中,角度光传感器的面积可以在5微米×5微米与1毫米×1毫米之间。传感器的厚度可以在5微米与500微米之间。
在一些实施方式中,角度光传感器、光源或这两者的FOV可以(例如,使用MEMS设备)动态地倾斜、和/或增加/减小(例如,在光源上增加透镜以增加发散度)以照亮适眼区的较大或较小部分。倾斜机构可以被配置成使角度光传感器的角度检测范围的FOV动态地倾斜。在一些实施方式中,倾斜机构可以是MEMS设备。
在本公开的一些实施方式中,角度光传感器包括泰伯传感器。泰伯传感器的潜在优势是不基于摄像头的眼睛追踪,微型、大型可检测眼睛追踪系统,相对较高的角度灵敏度以及较少的处理时间。
图7A示出了光栅750后面的泰伯图像平面相对于图像光793的位置。图7A示出了泰伯图像平面、各种泰伯子图像位置和反相泰伯图像平面。
图7B包括等式781和782,这些等式提供了针对泰伯图像的关于光栅间距d和泰伯传感器上的入射光的波长λ的泰伯距离z。图7B中的等式提供了针对离轴泰伯成像的关于光栅间距d、入射角θ和入射光的波长λ的泰伯距离z。
图8示出了根据本公开的实施方式的曲线图800,该曲线图示出了针对0.88微米的示例性周期的、角度光传感器上的光的入射角(AOI)与泰伯传感器的透射率之间的关系。
图9示出了根据本公开的实施方式的包括四个传感器-源对930A、930B、930C和930D(统称为“传感器-源对930”)的示例性眼睛追踪系统900,这些传感器-源对被配置成使用近红外照明光照射角膜形矩心983。传感器-源对930A包括近红外光源933A(例如,LED或VCSEL)和角度光传感器931A,角度光传感器931A包括至少一个泰伯探测器。传感器-源对930B、930C和930D还包括近红外光源和角度光传感器931,角度光传感器931包括至少一个泰伯探测器。近红外照明光照射角膜,并且近红外照明光的至少一部分被反射回到传感器931。源933的视场(FOV)可以在5度与20度之间。在一些实施方式中,源933的FOV可以大约为10度。
在该图示中,沿z轴从坐标(0,0)(在传感器-源对930的中间)到角膜顶点的距离在10mm与25mm之间。这一距离可以被称为“适眼距离”。在一些实施方式中,适眼距离大约为16mm。在所示示例中,传感器-源对930A(-1,-1)与传感器-源对930C(1,1)之间的距离是2mm,如它们的坐标所示。类似地,传感器-源对930B(1,-1)与传感器-源对930D(-1,1)之间的距离为2mm。当然,其它合适的间距尺寸也是可能的。
图10示出了根据本公开的实施方式的包括第一光探测器1011、第二光探测器1012和第三光探测器1013的示例性传感器结构1000。传感器结构1000可任选地包括光探测器1010,该光探测器1010可以用于归一化入射功率,而无需在光电二极管1070之上设置光栅结构。传感器结构1000可以包括在图9的传感器931中。
图10示出了负责测量XY平面上的入射角(AOI)的在XY平面上定向的示例性泰伯传感器。该结构中有两层光栅(层1050和1060)。第二光栅层1060具有不同的偏心值。这里,针对光探测器1011、1012和1013,分别选择三个偏心值0、d/4、3d/8来制造。在一个示例性实施方式中,间距d为2.55微米。在所示的实施方式中,每个光栅的宽度为d/2,从而间距具有50%的占空比。换言之,在图10的示例性图示中,光栅元件彼此之间的间隔与光栅元件的宽度相同。在一实施方式中,光栅元件的长度L为10微米。在一实施方式中,第一光栅层1050与第二光栅层160隔开尺寸z,其中z约为22微米。
在图10中,第一光探测器1011包括第一高光栅1051、第一低光栅1061和第一光电二极管1071。第一光电二极管1071接收入射光,该入射光首先遇到第一高光栅1051,然后遇到第一低光栅1061。第一低光栅1061相对于第一高光栅1051以为0的偏移系数偏心。
第二光探测器1012包括第二高光栅1052、第二低光栅1062和第二光电二极管1072。第二光电二极管1072接收入射光,该入射光首先遇到第二高光栅1052,然后遇到第二低光栅1062。第二低光栅1062相对于第二高光栅1052以为3d/8的偏移系数偏心。
第三光探测器1013包括第三高光栅1053、第三低光栅1063和第三光电二极管1073。第三光电二极管1073接收入射光,该入射光首先遇到第三高光栅1053,然后遇到第三低光栅1063。第三低光栅1063相对于第三高光栅1053以为3d/8的偏移系数偏心。
光电二极管1071、1072和1073可以响应于接收入射光而分别产生角度信号1081、1082和1083。在一些实施方式中,第四光探测器、第五光探测器和第六光探测器相对于第一光探测器、第二光探测器和第三光探测器旋转90度,以形成具有六个光探测器的传感器。
图11示出了根据本公开的实施方式的传感器结构1100。根据本公开的实施方式,传感器结构1100与传感器结构1000相同或相似,除了三个传感器定向在YZ平面中并且它们负责测量YZ平面上的AOI。传感器结构1100还可任选地包括光探测器1110(未示出),该光探测器可以用于归一化入射功率,而无需在其光电二极管(类似于光探测器1010)之上设置光栅结构。光电二极管1174、1175和1176可以响应于接收入射光而分别产生角度信号1184、1185和1186。
图11示出了设置在第四高光栅1154与第四光电二极管1174之间的第四低光栅1164、设置在第五高光栅1155与第五光电二极管1175之间的第五低光栅1165、以及设置在第六高光栅1156与第六光电二极管1176之间的第六低光栅1166。
图12示出了根据实施方式的组合了传感器结构1000(XY平面中的传感器)和传感器结构1100(YZ平面中的传感器)的组合传感器结构1200。左列中的传感器定向在XY平面中以测量XY平面上的AOI,而右列中的传感器定向在YZ平面中以测量YZ平面上的AOI。第一行中的传感器的偏心值为0,第二行中的传感器的偏心值为d/4,最后一行中的传感器的偏心值为3d/8。在所示的实施方式中,第一光栅层1250可以包括光栅1051、1052、1053、1154、1155和1156,而第二光栅层1260可以包括光栅1061、1062、1063、1164、1165和1166。
在光栅衬底中使用的材料可以是铜、铬或其它合适的材料。两层光栅之间的空间可以填充有SiO2或其它合适的光学透明衬底。
本发明的实施例可以包括人工现实系统或结合人工现实系统来实施。人工现实是一种在呈现给用户之前已经以某种方式进行了调节的现实形式,该现实形式可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality,MR)、混合现实(hybridreality)、或它们的某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与采集的(例如,真实世界的)内容相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合,并且视频、音频、触觉反馈或它们的某种组合中的任一者可以在单个通道或多个通道(例如,向观看者产生三维效果的立体视频)中呈现。此外,在一些实施例中,人工现实还可以与应用程序、产品、附件、服务或它们的某种组合相关联,这些应用程序、产品、附件、服务或它们的某种组合用于例如在人工现实中创建内容和/或以其它方式用于人工现实中(例如,在人工现实中执行活动)。可以在多种平台上实施提供人工现实内容的人工现实系统,这些平台包括连接到主控计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统、或能够向一位或多位观看者提供人工现实内容的任何其它硬件平台。
本公开中的术语“处理逻辑”(例如,499)可以包括执行本文公开的操作的一个或多个处理器、一个或多个微处理器、一个或多个多核处理器、一个或多个专用集成电路(application-specific integrated circuit,ASIC)、和/或一个或多个现场可编程门阵列(field programmable gate array,FPGA)。在一些实施例中,存储器(未示出)被集成到处理逻辑中,以存储指令来执行操作和/或存储数据。根据本公开的实施例,处理逻辑还可以包括执行操作的模拟电路或数字电路。
本公开中描述的“一个存储器”或“多个存储器”可以包括一个或多个易失性或非易失性存储器架构。“一个存储器”或“多个存储器”可以是以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实施的可移动和不可移动介质。示例性存储器技术可以包括RAM、ROM、EEPROM、闪存、CD-ROM、数字多功能盘(digitalversatiledisk,DVD)、高清晰度多媒体/数据存储盘或其它光存储装置、盒式磁带(magnetic cassette)、磁带、磁盘存储设备或其它磁存储设备,或者可以用于存储信息以供计算设备访问的任何其它非传输介质。
网络可以包括任何网络或网络系统,例如但不限于如下项:对等网络;局域网(local area network,LAN);广域网(wide area network,WAN);公共网络(例如,互联网);专用网络;蜂窝网络;无线网络;有线网络;无线和有线结合的网络;以及卫星网络。
通信信道可以包括一个或多个有线或无线通信或通过一个或多个有线或无线通信进行路由,该一个或多个有线或无线通信利用IEEE 802.11协议、蓝牙、SPI(serialperipheral interface,串行外围接口)、I2C(inter-integrated circuit,内置集成电路)、USB(universal serial port,通用串行端口)、CAN(controller area network,控制器区域网络)、蜂窝数据协议(例如,3G、4G、LTE、5G)、光通信网络、互联网服务提供商(internet service provider,ISP)、对等网络、局域网(local area network,LAN)、广域网(wide area network,WAN)、公共网络(例如,“因特网”)、专用网络、卫星网络、或其它网络。
计算设备可以包括台式计算机、膝上型计算机、平板电脑、平板手机、智能手机、功能型电话、服务器计算机、或其它设备。服务器计算机可以位于数据中心的远程位置,或可以存储在本地。
以上解释的过程是就计算机软件和硬件方面来描述的。所描述的技术可以构成体现在有形或非暂态机器(例如,计算机)可读存储介质中的机器可执行指令,当这些可执行指令由机器执行时,将使得该机器执行所描述的操作。此外,这些过程可以体现在硬件(例如,专用集成电路(“ASIC”)或其它硬件)中。
有形的非暂态机器可读存储介质包括提供(即,存储)机器(例如,计算机、网络设备、个人数字助理、制造工具、具有一组一个或多个处理器的任何设备等)可访问的形式的信息的任何机制。例如,机器可读存储介质包括可记录/不可记录介质(例如,只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁盘存储介质、光存储介质、闪存设备等)。
所示出的本发明的实施例的以上描述(包括摘要中描述的内容)并不旨在穷举或将本发明限制于所公开的精确形式。虽然为了说明的目的在本文中描述了本发明的具体实施例和示例,但是如相关领域的技术人员将会认识到的,本发明的范围内的各种修改是可能的。
根据以上详细描述,可以对本发明进行这些修改。随附的权利要求中使用的术语不应被解释为将本发明限制于说明书中公开的特定实施例。而是,本发明的范围将完全由随附的权利要求来确定,这些权利要求将根据权利要求解释的既定原则来解释。
Claims (15)
1.一种眼睛追踪系统,所述眼睛追踪系统包括:
多个红外光源,所述多个红外光源被配置成向适眼区区域发射红外照明光;以及
多个角度光传感器,所述多个角度光传感器被配置成接收返回红外光,所述返回红外光为从所述适眼区区域反射的红外照明光,其中,所述多个角度光传感器中的角度光传感器被配置成输出表示所述返回红外光相对于所述角度光传感器的位置的入射角的角度信号。
2.根据权利要求1所述的眼睛追踪系统,其中,所述角度光传感器相对于所述角度光传感器的光电探测器表面具有1度与85度之间的角度检测范围。
3.根据权利要求1所述的眼睛追踪系统,其中,所述角度光传感器具有小于150微米×150微米的传感器面积。
4.根据权利要求1所述的眼睛追踪系统,其中,所述角度光传感器包括:
第一光电二极管,所述第一光电二极管被配置成接收所述返回红外光;
第二光电二极管,所述第二光电二极管被配置成接收所述返回红外光;以及
倾斜式光障,所述倾斜式光障设置在所述第一光电二极管与所述第二光电二极管之间,所述倾斜式光障相对于所述第一光电二极管和所述第二光电二极管共同的感测平面的表面法线成角度,其中,由所述第一光电二极管产生的第一信号与由所述第二光电二极管产生的第二信号的比率指示所述返回红外光的所述入射角。
5.根据权利要求1所述的眼睛追踪系统,其中,所述角度光传感器包括:
光障;
第一光电二极管,所述第一光电二极管被配置成接收所述返回红外光;
第二光电二极管,所述第二光电二极管被配置成接收所述返回红外光,其中,所述第一光电二极管设置在所述光障与所述第二光电二极管之间;
处理逻辑,所述处理逻辑被配置成接收由所述第一光电二极管产生的第一信号和由所述第二光电二极管产生的第二信号,其中,所述处理逻辑基于所述第一信号和所述第二信号产生质心值,其中,在产生所述质心值时所述第一信号被分配第一加权因子,所述第一加权因子小于分配给所述第二信号的第二加权因子。
6.根据权利要求1所述的眼睛追踪系统,其中,所述角度光传感器的角度检测范围的视场(FOV)相对于所述角度光传感器的光电探测器的表面法线倾斜;并且
其中,所述眼睛追踪系统还包括:
倾斜机构,所述倾斜机构被配置成使所述角度光传感器的角度检测范围的视场(FOV)动态地倾斜;并且,可选地,
其中,所述倾斜机构包括微机电系统(MEMS)设备。
7.根据权利要求1所述的眼睛追踪系统,其中,每个红外光源与一个角度光传感器配对,并且所述红外光源与所述角度光传感器隔开小于500微米。
8.一种头戴式设备,所述头戴式设备包括:
框架,所述框架用于将所述头戴式设备固定在用户的头部上;以及
眼睛追踪系统,所述眼睛追踪系统包括:
多个红外光源,所述多个红外光源被配置成向适眼区区域发射红外照明光;以及
多个角度光传感器,所述多个角度光传感器被配置成接收返回红外光,所述返回红外光为从所述适眼区区域反射的红外照明光,其中,所述多个角度光传感器中的角度光传感器被配置成输出表示所述返回红外光相对于所述角度光传感器的位置的入射角的角度信号。
9.根据权利要求8所述的头戴式设备,其中,所述多个红外光源和所述多个角度光传感器安装到所述头戴式设备的所述框架;并且/或者
其中,所述头戴式设备还包括:
透镜,所述透镜由所述框架保持,其中,所述透镜将可见场景光从外部环境传送到所述适眼区区域,并且其中,所述多个红外光源和所述多个角度光传感器设置在所述透镜上。
10.一种角度光传感器,所述角度光传感器包括:
第一光探测器,所述第一光探测器包括第一光电二极管、第一高光栅和第一低光栅,其中,所述第一低光栅设置在所述第一高光栅与所述第一光电二极管之间;以及
第二光探测器,所述第二光探测器包括第二光电二极管、第二高光栅和第二低光栅,其中,所述第二低光栅设置在所述第二高光栅与所述第二光电二极管之间,
其中,所述第二低光栅相对于所述第二高光栅偏心,并且其中,所述第一低光栅相对于所述第一高光栅居中。
11.根据权利要求10所述的角度光传感器,其中,所述第二低光栅相对于所述第二高光栅以偏移系数d/4偏心,其中,d为所述第二高光栅的间距、所述第二低光栅的间距、所述第一低光栅的间距以及所述第一高光栅的间距;并且,可选地,
其中,所述角度光传感器还包括:
第三光探测器,所述第三光探测器包括第三光电二极管、第三高光栅和第三低光栅,其中,所述第三低光栅设置在所述第三高光栅与所述第三光电二极管之间,
其中,所述第三低光栅相对于所述第三高光栅以偏移系数3d/8偏心,其中,d为所述第三高光栅的间距以及所述第三低光栅的间距;并且,进一步可选地,
其中,所述间距具有50%的占空比。
12.根据权利要求10所述的角度光传感器,所述角度光传感器还包括:
第四光探测器,所述第四光探测器被配置为所述第一光探测器;
第五光探测器,所述第五光探测器被配置为所述第二光探测器;以及
第六光探测器,所述第六光探测器被配置为所述第三光探测器,其中,所述第四光探测器、所述第五光探测器和所述第六光探测器相对于所述第一光探测器、所述第二光探测器和所述第三光探测器旋转90度。
13.根据权利要求10所述的角度光传感器,其中,用于所述第二高光栅、所述第二低光栅、所述第一低光栅和所述第一高光栅的光栅材料为铬或铜。
14.根据权利要求10所述的角度光传感器,其中,所述角度光传感器被配置成测量具有波长λ的光的入射角,并且其中,所述第一低光栅与所述第一高光栅间隔距离z,其中,z为2d2/λ,
并且进一步地,其中,所述第二低光栅也与所述第二高光栅间隔所述距离z。
15.根据权利要求10所述的角度光传感器,其中,在所述第一高光栅与所述第一低光栅之间设置了光学透明衬底,并且其中,在所述第二高光栅与所述第二低光栅之间也设置了所述光学透明衬底。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US63/232,674 | 2021-08-13 | ||
US17/878,634 | 2022-08-01 | ||
US17/878,634 US11860358B2 (en) | 2021-08-13 | 2022-08-01 | Angular light sensor and eye-tracking |
PCT/US2022/040335 WO2023019014A1 (en) | 2021-08-13 | 2022-08-15 | Angular light sensor and eye tracking |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117859087A true CN117859087A (zh) | 2024-04-09 |
Family
ID=90538773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280056770.0A Pending CN117859087A (zh) | 2021-08-13 | 2022-08-15 | 角度光传感器和眼睛追踪 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117859087A (zh) |
-
2022
- 2022-08-15 CN CN202280056770.0A patent/CN117859087A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11340702B2 (en) | In-field illumination and imaging for eye tracking | |
JP6718873B2 (ja) | 仮想焦点フィードバック | |
US10852817B1 (en) | Eye tracking combiner having multiple perspectives | |
US10379360B2 (en) | Fresnel lens with dynamic draft for variable gaze | |
US10133076B2 (en) | Hybrid fresnel lens with reduced artifacts | |
US10379359B2 (en) | Fresnel lens with dynamic draft for reduced optical artifacts | |
US10687034B1 (en) | Image sensor with switchable optical filter | |
WO2020167602A2 (en) | Dispersion compensation for light coupling through slanted facet of optical waveguide | |
US10379348B2 (en) | Hybrid fresnel lens with increased field of view | |
US11914162B1 (en) | Display devices with wavelength-dependent reflectors for eye tracking | |
EP3933489A1 (en) | Eye-tracking using laser doppler interferometry | |
US11454747B1 (en) | Shadow-matched Fresnel lens doublet for reduced optical artifacts | |
CN117859087A (zh) | 角度光传感器和眼睛追踪 | |
TW202343080A (zh) | 用於頭戴式顯示器的輸出耦合器的二維光柵中的一階繞射的抑制 | |
TW202334702A (zh) | 具有用於像差感測偵測器的收集光學件的顯示系統 | |
US11860358B2 (en) | Angular light sensor and eye-tracking | |
TW202312731A (zh) | 角度光感測器和眼動追蹤 | |
US11561405B1 (en) | Wavefront sensing with in-field illuminators | |
US11205069B1 (en) | Hybrid cornea and pupil tracking | |
US11714282B2 (en) | Compact array light source for scanning display | |
US20230168506A1 (en) | High efficiency optical assembly with folded optical path | |
US20240176415A1 (en) | Light field based eye tracking | |
US11237389B1 (en) | Wedge combiner for eye-tracking | |
US12001030B1 (en) | Shadow-matched Fresnel lens doublet for reduced optical artifacts | |
US11988828B1 (en) | Multi-pupil display and eye-tracking with interferometric sensing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |