CN116507949A - 使用多区透镜的闪光分析 - Google Patents
使用多区透镜的闪光分析 Download PDFInfo
- Publication number
- CN116507949A CN116507949A CN202180078184.1A CN202180078184A CN116507949A CN 116507949 A CN116507949 A CN 116507949A CN 202180078184 A CN202180078184 A CN 202180078184A CN 116507949 A CN116507949 A CN 116507949A
- Authority
- CN
- China
- Prior art keywords
- region
- zone
- light
- curvature
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/10—Bifocal lenses; Multifocal lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本文所公开的各种具体实施包括基于所确定的闪光位置来确定眼睛特性(例如,注视方向、眼睛取向等)的设备、系统和方法。例如,示例性过程可包括:通过产生从眼睛的一部分反射的光来产生闪光;在传感器处接收该反射光,其中该反射光在穿过具有第一区和第二区的多区透镜之后被接收,该第一区和第二区具有不同的能量扩散特性;基于在该传感器处接收的该反射光来确定该闪光的位置;以及基于所确定的该闪光的位置来确定眼睛特性。
Description
相关申请的交叉引用
本申请要求2020年9月22日提交的美国临时申请序列号63/081,378的权益,该申请全文以引用方式并入本文。
技术领域
本公开整体涉及电子设备,并且具体地涉及用于确定电子设备的用户的眼睛特性的系统、方法和设备。
背景技术
现有眼睛跟踪技术分析从用户的眼睛反射并经由图像传感器捕获的闪光。例如,在相对强的闪光产生光从相对镜面反射的眼睛表面反射的情况下,由此类图像传感器捕获的图像中描绘的闪光可能饱和。这种闪光饱和可阻碍现有眼睛跟踪技术准确地确定闪光位置,因为饱和可抑制准确地测量闪光的质量中心(例如,闪光质心)的能力。眼睛跟踪系统可能缺乏准确度并且对机械冲击敏感。因此,可能期望提供有效地提供对闪光的更准确识别的手段,例如,通过更准确地找到闪光质心。
发明内容
本文所公开的各种具体实施包括基于对闪光位置的确定来确定眼睛特性(例如,注视方向、眼睛取向等)的设备、系统和方法。可使用从眼睛反射并且由图像传感器捕获的闪光来跟踪或以其他方式确定眼睛特性。在一些方面中,闪光跟踪系统使用多区透镜,该多区透镜具有使在图像传感器处接收的闪光能量扩散的区。使能量扩散可通过使得能够使用从原本饱和场点扩散的光(例如,扩散到点扩散函数中的光晕中的光)来更准确地识别闪光质心而改善眼睛跟踪。另外,使用多区透镜来使能量扩散可进一步减小由透镜像差、源功率、孔径偏心等引起的误差。
一般来说,本说明书中描述的主题的一个创新方面可体现在包括以下动作的方法中:在具有处理器的电子设备处:通过产生从眼睛的一部分反射的光来产生闪光;在传感器处接收该反射光,其中该反射光在穿过具有第一区和第二区的多区透镜之后被接收,该第一区和第二区具有不同的能量扩散特性;基于在该传感器处接收的该反射光来确定该闪光的位置;以及基于所确定的该闪光的位置来确定眼睛特性。
这些实施方案和其他实施方案均可任选地包括以下特征中的一个或多个特征。
在一些方面中,该第一区的曲率半径与该第二区的曲率半径不同。在一些方面中,在点扩散函数(PSF)中,与该第二区的该曲率半径相比,该第一区的该曲率半径使所接收的光更多地扩散。在一些方面中,该第一区的该曲率半径通过分配原本饱和场点的能量来产生该PSF中的分布能量部分。在一些方面中,该分布能量部分是光晕。
在一些方面中,该第一区产生点扩散函数(PSF)中的分布能量部分,并且该第二区产生该PSF中的聚焦能量部分。在一些方面中,该第一区包括倾斜以使得该分布能量部分与该PSF中的聚焦能量部分分离。
在一些方面中,确定该闪光的该位置包括确定所接收的光的质心。在一些方面中,确定该眼睛特性包括基于确定多个闪光的位置来确定该眼睛的多个部分的位置。
在一些方面中,该光是红外(IR)光。在一些方面中,该传感器包括图像传感器并且接收该反射光包括根据来自该传感器的图像数据来接收该反射光。在一些方面,电子设备是头戴式设备(HMD)。
一般而言,本说明书中描述的主题的一个创新方面可体现在包括以下的眼睛跟踪系统中:光源,该光源被配置为产生从对象的一部分反射的光;多区透镜,该多区透镜被配置为允许来自该光源的从该对象的该部分反射的该反射光穿过该多区透镜;以及传感器,该传感器被配置为在该反射光穿过该多区透镜的该第一区和该第二区之后接收该反射光。在一些方面中,该多区透镜包括:第一区,该第一区包括第一曲率半径;以及第二区,该第二区包括不同于该第一曲率半径的第二曲率半径。在一些方面中,该第一区和该第二区具有不同的能量扩散特性。
这些实施方案和其他实施方案均可任选地包括以下特征中的一个或多个特征。
在一些方面中,在点扩散函数(PSF)中,与该第二区的该曲率半径相比,该第一区的该曲率半径使所接收的光更多地扩散。在一些方面中,该第一区的该曲率半径通过分配原本饱和场点的能量来产生该PSF中的分布能量部分。在一些方面中,该分布能量部分是光晕。
在一些方面中,该第一区产生点扩散函数(PSF)中的分布能量部分,并且该第二区产生该PSF中的聚焦能量部分。在一些方面中,该第一区包括倾斜以使得该分布能量部分与该PSF中的聚焦能量部分分离。
根据一些具体实施中,非暂态计算机可读存储介质中存储有指令,所述指令是计算机可执行的以执行或使得执行本文所述的任何方法。根据一些具体实施,一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序;该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行,并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。
附图说明
因此,本公开可被本领域的普通技术人员理解,更详细的描述可参考一些例示性具体实施的方面,其中一些具体实施在附图中示出。
图1示出了根据一些具体实施的显示内容并从用户获取生理数据的设备。
图2示出了根据一些具体实施的示例性眼睛跟踪系统。
图3示出了在确定闪光位置时的饱和效应。
图4示出了根据一些具体实施的透镜的使用如何使得能够更准确地确定原本饱和闪光的闪光位置。
图5示出了根据一些具体实施的具有多区透镜的示例性眼睛跟踪系统。
图6是根据一些具体实施的用于基于用户眼睛的闪光的所确定位置来确定眼睛特性的方法的流程图表示。
图7示出了根据一些具体实施的具有多区透镜的示例性眼睛跟踪系统。
图8A至图8C示出了根据一些具体实施的用于眼睛跟踪系统的示例性多区透镜。
图9A至图9B示出了根据一些具体实施的用于眼睛跟踪系统的示例性多区透镜。
图10示出了根据一些具体实施的有关用于眼睛跟踪系统的多区透镜的示例性彗形像差。
图11是示出根据一些具体实施的示例性设备的设备部件的框图。
图12是根据一些具体实施的示例性头戴式设备(HMD)的框图。
根据通常的做法,附图中示出的各种特征部可能未按比例绘制。因此,为了清楚起见,可以任意地扩展或减小各种特征部的尺寸。另外,一些附图可能未描绘给定的系统、方法或设备的所有部件。最后,在整个说明书和附图中,类似的附图标号可用于表示类似的特征部。
具体实施方式
描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而,附图仅示出了本公开的一些示例方面,因此不应被视为限制。本领域的普通技术人员将会知道,其他有效方面或变体不包括本文所述的所有具体细节。此外,没有详尽地描述众所周知的系统、方法、部件、设备和电路,以免模糊本文所述的示例性具体实施的更多相关方面。
图1示出了真实世界环境5(例如,房间)的示例性环境100,该真实世界环境包括具有显示器15的设备10。在一些具体实施中,设备10向用户25显示内容20。例如,内容20可以是按钮、用户界面图标、文本框、图形、用户或另一个用户的头像等。在一些具体实施中,内容20可占据显示器15的整个显示区域。
设备10经由一个或多个传感器(例如,传感器32)从用户25获得图像数据、运动数据和/或生理数据(例如,瞳孔数据、面部特征数据等)。例如,设备10经由传感器32获得眼睛注视特性数据40。另外,设备10包括可用于照明用户25的眼睛45的镜面反射部分和漫射部分的光源34(例如,发光二极管(LED))。
尽管本文讨论的该示例和其他示例示出了现实世界环境5中的单个设备10,但是本文公开的技术适用于多个设备以及其他现实世界环境。例如,设备10的功能可由多个设备执行,其中传感器32和光源34位于每个相应设备上,或者以任何组合在它们之间划分。
在一些具体实施中,如图1所示,设备10是手持电子设备(例如,智能手机或平板电脑)。在一些具体实施中,设备10是膝上型计算机或台式计算机。在一些具体实施中,设备10具有触控板,并且在一些具体实施中,设备10具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些具体实施中,设备10是可穿戴设备诸如头戴式设备(HMD)。
在一些具体实施中,设备10包括用于经由眼睛注视特性数据40来检测眼睛位置和眼睛移动的眼睛跟踪系统。例如,眼睛跟踪系统可包括一个或多个红外(IR)LED(例如,光源34)、眼睛跟踪相机(例如,近IR(NIR)相机)和向用户25的眼睛发射光(例如,NIR光)的照明源(例如,NIR光源)。此外,设备10的照明源可发射NIR光以照明用户25的眼睛,并且NIR相机可捕获用户25的眼睛的图像。在一些具体实施中,可分析由眼睛跟踪系统捕获的图像以检测用户25的眼睛的位置和移动,或检测关于眼睛的其他信息诸如颜色、形状、状态(例如,完全睁眼、眯眼等)、瞳孔扩张或瞳孔直径。此外,从眼睛跟踪图像估计的注视点可使得能够与设备10的近眼显示器上示出的内容进行基于注视的交互。
在一些具体实施中,设备10具有图形用户界面(GUI)、一个或多个处理器、存储器以及存储在存储器中的用于执行多个功能的一个或多个模块、程序或指令集。在一些具体实施中,用户25通过触敏表面上的手指接触和手势与GUI进行交互。在一些具体实施中,这些功能包括图像编辑、绘图、呈现、文字处理、网页创建、盘编辑、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放和/或数字视频播放。用于执行这些功能的可执行指令可被包括在被配置用于由一个或多个处理器执行的计算机可读存储介质或其他计算机程序产品中。
在一些具体实施中,用户25的一只或两只眼睛45(包括用户25的一个或两个瞳孔50)呈现根据闪光分析检测到的以瞳孔响应的形式的生理数据(例如,眼睛注视特性数据40)。用户25的瞳孔响应可经由视神经和动眼神经颅神经导致瞳孔50的尺寸或直径的变化。例如,瞳孔响应可包括收缩响应(瞳孔缩小),即,瞳孔变窄,或扩张响应(瞳孔散大),即,瞳孔加宽。在一些具体实施中,设备10可检测表示时变瞳孔直径的生理数据的图案。
用户数据(例如,眼睛注视特性数据40)可随时间变化,并且设备10可使用用户数据来生成和/或提供用户的表示。
图2示出了根据一些具体实施的眼睛跟踪系统的示例性环境200。示例性环境200的眼睛跟踪系统使用单个光系统来观察眼睛正在反射到具有透镜的相机中的闪光。例如,如图2所示,光源220(例如,LED等)照明用户的眼睛45。光波然后从眼睛45的角膜反射并通过透镜210并且由检测器202检测。在一个方面中,光源220用于照明对象(例如,眼睛45)的镜面反射部分和漫射部分并且因此可提供至少阈值照明水平。提供至少这种阈值照明水平可产生闪光,在不使用本文所公开的技术和设备的情况下,该闪光将在由检测器捕获的图像中饱和。例如,镜面反射闪光光线212a在检测器处的闪光检测区域212b处产生较强信号。如在漫射光线214a处示出的对象处的漫射点在检测器处的漫射检测区域214b处产生较弱信号。在一些具体实施中,如果眼睛跟踪系统的要求是以高准确度检测闪光的中心,则其饱和减少准确度并且使其对机械冲击和闪光边缘的精确形状更敏感。
图3示出了在确定闪光位置时的饱和效应。使用第一照明水平来产生不饱和闪光。成像系统检测器的响应(例如,点扩散函数300)包括以闪光的实际位置为中心的明亮部分302和以与实际闪光位置不同的位置为中心的不对称尾部304。因为闪光不饱和,所以可基于该信息以合理的准确度来近似闪光的位置。具体地,由PSF表示的光的质心将出现在明亮部分302的近似中心处,其对应于实际闪光位置。
相比之下,当使用大于第一照明水平的第二照明水平来产生饱和闪光时,情况并非如此。成像系统检测器的响应(例如,点扩散函数310)包括以闪光的实际位置为中心的明亮部分312和以与实际闪光位置不同的位置为中心的不对称尾部314。然而,因为闪光是饱和的,所以不对称尾部314与明亮部分312一样明亮。因此,基于该信息不能确定闪光的位置。具体地,由PSF表示的光的质心316将出现在不对称尾部314的中心附近,其与闪光实际所处的明亮部分312的位置不同。
图4示出了根据本文公开的具体实施的透镜的使用如何使得能够更准确地确定原本饱和闪光的闪光位置。在该示例中,使用用于产生图3的饱和闪光的第二照明水平来产生闪光。然而,检测器使用根据本文公开的具体实施的透镜,使得成像系统检测器的响应(例如,点扩散函数410)包括以闪光实际位置为中心的明亮部分412、不对称尾部414和光晕416。光晕416由透镜产生并且以闪光实际位置为中心。可根据该信息更准确地估计闪光的位置,例如,通过计算在点扩散函数410中表示的光的质心418(例如,使用非饱和外围)。
在一些具体实施中,可使用算法规则、机器学习模型和/或优化来确定本文所描述的计算,诸如使用非饱和外围来计算点扩散函数410中表示的光的质心418。例如,诸如神经网络的机器学习模型可输入透镜(例如,多区透镜)的表示并且输出几何PSF曲线图(例如,光线的位置、几何边界等)以用于眼睛跟踪系统的模拟。可基于用户研究数据(例如,识别以点扩散函数表示的光的质心)使用监督学习技术(例如,使用手动注释)来训练此类机器学习模型。
图5示出了根据一些具体实施的具有多区透镜的示例性眼睛跟踪系统的示例性环境500。类似于示例性环境200,示例性环境500的眼睛跟踪系统使用单个光系统来观察眼睛正在反射到具有透镜的相机中的闪光。然而,透镜510是多区透镜(例如,多区透镜410b)。例如,如图5所示,光源520(例如,LED等)照明用户的眼睛45。光波然后从眼睛45反射并通过多区透镜510并且由检测器502检测。
多区透镜510包括第一区512,该第一区包括上部部分512a和下部部分512b(例如,相同曲率半径,仿佛它是一个连续透镜)。上部部分512a和下部部分512b对于第一区512具有径向对称性。多区透镜510还包括第二区514(例如,与第一区512不同的曲率半径)。第二区514在本文中也可被称为“特殊区”。例如,本文所述的多区透镜可以是多元件透镜,其中特殊区可被包括在透镜上的任何元件上,然而,特殊区的最有效位置将是靠近透镜顶部的元件(例如,最靠近来自用户眼睛45的光线的反射源)。在一些具体实施中,特殊区(例如,第二区514)可由添加到现有透镜设计的玻璃窗创建。例如,所添加的玻璃窗可具有在其表面中的一者上包括负曲率或正曲率的中心区域。
在一个方面中,光源520用于照明对象(例如,眼睛45)的镜面反射部分和漫射部分两者,其中镜面反射“闪光”必须处于饱和以便检测对象的镜面反射区域,因为从对象的漫射部分返回的低能量(与镜面反射相比)。然而,由于第二区514的不同曲率半径,可获得PSF的扩展区域,并且可在检测器502处更好地检测每个光线,如图所示。例如,第一区512将光线引导到检测器的在中心峰值区域(例如,其中光线504与检测器502相交的区域)处的一个中心部分,而第二区514将使光线(例如,光线506a–506d,在下文中称为光线506)沿着检测器扩散。另外,例如,PSF曲线图530看起来像尖峰值(例如,其中光线504与检测器502相交的中心峰值区域)以及非常宽的圆形高顶帽区域(例如,光线506)。在示例性具体实施中,宽圆形区域(例如,在本文中也被称为多区PSF的扩展区域)将不饱和,并且将以高精度计算中心峰值。例如,第二区514的长度d可控制将到达PSF的扩展区域的能量的量。扩展区域尺寸由第二区514的曲率半径r控制。扩展区域的强度s比峰值小几个数量级,因此PSF的扩展区域对于非饱和场点而言是不明显的,并且对图像分辨率的影响将是可忽略的。例如,对于高度饱和场点,扩展区域可通过非饱和部分将场点扩展为更大。
图6是示出示例性方法600的流程图。在一些具体实施中,设备(例如,图1的设备10)执行方法600的技术以基于以下来确定用户的眼睛特性:基于在传感器处接收的反射光来确定闪光的位置。在一些具体实施中,在移动设备、台式电脑、膝上型电脑、HMD或服务器设备上执行方法600的技术。在一些具体实施中,在处理逻辑部件(包括硬件、固件、软件或它们的组合)上执行方法600。在一些具体实施中,在执行存储在非暂态计算机可读介质(例如,存储器)中的代码的处理器上执行方法600。
在框602处,方法600通过产生从眼睛的一部分反射的光来产生闪光(例如,镜面反射)。在一些具体实施中,闪光可以是镜面反射闪光。在一些具体实施中,如果光源用于照明对象(例如,用户25的眼睛45)的镜面反射部分和漫射部分两者,则镜面反射“闪光”必须处于饱和以便检测对象的漫射区域。例如,如图5所示,并且光源520在眼睛45处闪烁,并且检测器502检测闪光诸如通过透镜510的来自眼睛45的反射光线(例如,光线504和506)。
在一些具体实施中,光是IR光。在一些具体实施中,光源是LED。另选地,可使用另一个类型的光源,当来自光源的光被投射到眼睛上时,该光源充分地提供闪光(闪光的PSF可由眼睛跟踪系统在检测器处检测)。
在框604处,方法600在传感器处接收反射光。例如,传感器(例如,检测器502)可以是IR图像传感器/检测器。在一些具体实施中,反射光在穿过具有第一区和第二区的多区透镜(例如,透镜510)之后被接收。例如,第一区可以是光晕产生区,并且第二区可以是具有法曲率的区(例如,标准凹形部分)。如图5所示,光晕产生区是产生PSF曲线图530中的PSF的扩展区域的区514,并且具有法曲率的区是区512a、512b。在一些具体实施中,第一区和第二区具有不同的能量扩散特性(例如,参见图5中的PSF曲线图530)。例如,一个区(例如,区512)可具有与另一区(例如,区514)不同的曲率。
在一些具体实施中,第一区的曲率半径与第二区的曲率半径不同。例如,如图5所示,第一区512具有与第二区514不同的曲率半径。在一些具体实施中,第一区和第二区在透镜(例如,透镜510)的面的同一侧上。在一些具体实施中,在PSF中,与第二区的曲率半径相比,第一区的曲率半径使所接收的光更多地扩散(例如,参见图5中的PSF曲线图530)。在一些具体实施中,第一区的曲率半径通过分配原本饱和场点的能量来产生PSF中的分布能量部分。
在一些具体实施中,分布能量部分是光晕。例如,如图4所示,PSF 410生成针对分布能量的光晕效应(例如,光晕416)。在一些具体实施中,第一区产生PSF中的分布能量部分(例如,光晕416),并且第二区产生PSF中的聚焦能量部分(例如,图4中的包括以闪光实际位置为中心的明亮部分412和不对称尾部414的点扩散函数410)。
在一些具体实施中,第一区包括倾斜以使得分布能量部分与PSF中的聚焦能量部分分离。例如,第一区可具有倾斜,或者第一区可具有处于与第二区不同的角度的倾斜。本文参考图9B进一步描述了包括倾斜的多区透镜。
在框606处,方法600基于在传感器处接收的反射光来确定闪光的位置。例如,确定闪光的位置可包括确定所接收的光的质心。在一些具体实施中,可产生和定位多个闪光。
在一些具体实施中,确定闪光的位置包括确定所接收的光的质心。例如,如图4所示,质心418可基于非饱和外围(例如,光晕416)来确定。
在框608处,方法600基于所确定的闪光位置来确定眼睛特性。例如,对于眼睛跟踪系统,眼睛特性可包括注视方向、眼睛取向等。例如,如果电子设备是HMD,则用于HMD的眼睛跟踪系统可跟踪用户的注视方向、眼睛取向等。
在一些具体实施中,确定眼睛特性包括基于确定多个闪光的位置来确定眼睛的多个部分的位置。例如,光源520可在多个区域中照明眼睛45,从而产生可各自在检测器502处检测到的多于一个闪光。
在一些具体实施中,传感器(例如,检测器502)包括图像传感器,并且接收反射光(例如,光线504和506)包括根据来自传感器的图像数据接收反射光。例如,检测器502是获取通过多区透镜510的光线504和506的图像数据的图像传感器。
图7示出了根据一些具体实施的具有多区透镜的示例性眼睛跟踪系统的示例性环境700。类似于示例性环境500,示例性环境700的眼睛跟踪系统使用单个光系统来观察眼睛正在反射到具有透镜的相机中的闪光。然而,透镜710是多区透镜,该多区透镜包括用于控制PSF的环部分中的能量的量的下凹部712a、712b(例如,围绕透镜的环的一部分),如PSF曲线图730所示。例如,如图7所示,光源720(例如,LED等)照明用户的眼睛45。光波然后从眼睛45反射并通过多区透镜710并且由检测器702检测。
多区透镜710包括第一主区714,该第一主区包括上部部分714a、中间部分714b和下部部分714c(例如,相同曲率半径,仿佛它是一个连续透镜)。多区透镜710还包括两个下凹部712a、712b。在一个方面中,光源720用于照明对象(例如,眼睛45)的镜面反射部分和漫射部分两者,其中镜面反射“闪光”必须处于饱和以便检测对象的镜面反射区域,因为从对象的漫射部分返回的低能量(与镜面反射相比)。然而,由于下凹部712a、712b,在两个下凹部712a、712b的位置处获得PSF的扩展区域。例如,第一区714将大部分光线引导到检测器的中心峰值区域704处的一个中心部分,而下凹部712a、712b允许一些光在沿着检测器的两个不同位置处投射到检测器上(例如,光线706a、706b,在下文中称为光线706)。另外,例如,PSF曲线图730看起来像尖峰值(例如,中心峰值区域704)以及处于作为PSF的环的一部分的多区PSF的扩展区域处的每个下凹部的两个较小峰值(例如,光线706)。在示例性具体实施中,多区PSF的扩展区域将不饱和,并且将以高精度计算中心峰值。例如,中间部分714b的长度d可控制将到达PSF的扩展区域的能量的量。扩展区域尺寸由区714的曲率半径r控制。扩展区域的每个下凹部峰值的强度s比中心峰值小几个数量级,因此PSF的扩展区域对于非饱和场点而言是不明显的,并且对图像分辨率的影响将是可忽略的。对于高度饱和场点,扩展区域可通过非饱和环将场点扩展为更大(例如,具有闪光直径的厚度)。下凹部712a、712b的尺寸控制PSF的环部分的能量的量。
另选地,下凹部712a、712b围绕透镜绕过从而形成连续环。例如,下凹部712a、712b可具有环的形状,该环具有与透镜710不同的曲率的平坦平面。在一些具体实施中,可应用几个环(例如,透镜上的附加下凹部)来创建同心环图案以便增加闪光中心的检测的准确度。
图8A至图8C示出了根据一些具体实施的用于眼睛跟踪系统的示例性多区透镜。具体地,图8A示出了多区透镜810,其是具有正r的凹多区透镜。多区透镜810类似于图5的多区透镜510。多区透镜810包括第一区812,该第一区包括上部部分812a和下部部分812b(例如,相同曲率半径,仿佛它是一个连续透镜)。多区透镜810还包括第二区814(例如,与第一区812不同的曲率半径)。图8B示出了多区透镜820,其是具有无穷大r(例如,平坦平面)的平面多区透镜。多区透镜820包括第一区822,该第一区包括上部部分822a和下部部分822b(例如,相同曲率半径,仿佛它是一个连续透镜)。多区透镜820还包括第二区824(例如,平坦平面,其也是与第一区822不同的曲率半径)。图8C示出了多区透镜830,其是具有负r的凸多区透镜。多区透镜830包括第一区832,该第一区包括上部部分832a和下部部分832b(例如,相同曲率半径,仿佛它是一个连续透镜)。多区透镜830还包括第二区834(例如,与第一区832不同的曲率半径)。在示例性具体实施中,PSF的扩展区域的直径由r值控制,并且透镜的曲率和特殊区的曲率之间的差值相对于扩展PSF区域的尺寸是单调的(例如,PSF曲线图形530中的b)。
图9A至图9B示出了根据一些具体实施的用于眼睛跟踪系统的示例性透镜。具体地,图9A示出了多区透镜910,其是具有无穷大r(例如,平坦平面)的平面多区透镜。多区透镜910类似于图8B的多区透镜820。多区透镜910包括第一区912,该第一区包括上部部分912a和下部部分912b(例如,相同曲率半径,仿佛它是一个连续透镜)。多区透镜910还包括第二区914(例如,平坦平面,其是与第一区912不同的曲率半径)。当通过透镜910检测到反射光时,在PSF曲线图915中示出了所得的PSF。例如,根据来自透镜910的第一区912的反射光线检测到的饱和部分918位于根据来自第二区914的反射光线检测到的不饱和光晕916的中心。
图9B示出了多区透镜920,其是具有无穷大r(例如,平坦平面)的平面多区透镜,但透镜中心的一部分包括倾斜。多区透镜920包括第一区922,该第一区包括上部部分922a和下部部分922b(例如,相同曲率半径,仿佛它是一个连续透镜)。然而,多区透镜920还包括第二区924(例如,倾斜平坦平面,其是与第一区922不同的曲率半径)。例如,如果倾斜被添加到透镜中心处的平面(或弯曲)区,则光晕可接近闪光形成而不是与闪光重叠,这可允许更有效地计算不饱和光晕的质心。在一些具体实施中,可将倾斜添加到中心区域,其中该中心区域具有平坦曲率/平面,如针对透镜920所示。另选地,可将倾斜添加到中心区域,其中该中心区域具有负曲率(例如,具有正r的凹透镜,诸如多区透镜510和多区透镜810)或正曲率(例如,具有负r的凸透镜,诸如多区透镜830)。如图所示,第二区924的相同示例性倾斜包括向中心区域增加的1.7度的倾斜。当通过透镜920检测到反射光时,在PSF曲线图925中示出了所得的PSF。例如,根据来自透镜920的第一区922的反射光线检测到的饱和部分928与根据来自第二区924的反射光线检测到的不饱和光晕926分离。饱和部分928与不饱和光晕926的分离允许更有效地计算不饱和光晕的质心。
图10示出了根据一些具体实施的具有多区透镜的示例性眼睛跟踪系统的示例性环境1000。在特定示例中,环境1000示出了非球面单峰中的离轴场点(3度)的示例性模拟,示出了显著彗形像差。类似于示例性环境200和500,示例性环境1000的眼睛跟踪系统使用单个光系统来观察眼睛正在反射到具有透镜的相机中的闪光。另外,透镜1010是类似的凹多区透镜。例如,如图10所示,光源1020(例如,LED等)照明用户的眼睛45。光波然后从眼睛45反射并通过多区透镜1010并且由检测器1002检测。多区透镜1010包括第一区1012,该第一区包括上部部分1012a和下部部分1012b(例如,相同曲率半径,仿佛它是一个连续透镜)。多区透镜1010还包括第二区1014(例如,与第一区1012不同的曲率半径)。当通过透镜1010检测到反射光时,在PSF曲线图1015中示出了所得的PSF。例如,根据来自透镜1010的第一区1012的反射光线(例如,光线1006)检测到的饱和部分1018位于根据来自第二区1014的反射光线(例如,光线1004)检测到的不饱和光晕1016的中心。
在示例性具体实施中,透镜1010的总长度为约2mm,第一区1012a、1012b具有约2mm的曲率半径,并且第二区1014的长度为约0.1mm,具有约-2.6mm的曲率半径。示例性环境1000示出了非球面单峰中的离轴场点(3度),示出了显著彗形像差。在一些具体实施中,眼睛跟踪系统可测量慧形饱和点的质心,但是与主要光线相比可提供约25微米的误差,并且测量慧形饱和点的质心可对透镜寿命期间的像差中的极小变化敏感,因为闪光是饱和的并且对于闪光的低能量变化将导致质心变化。然而,在使用本文所述技术的示例性具体实施中,测量不饱和光晕1016的质心将给出饱和部分1018的实际主要光线中心。测量不饱和光晕1016的质心的附加优点在于此技术对像差、源功率、孔偏心等的变化将不敏感。例如,对于示例性具体实施,仅约0.25%的能量将通过透镜的第二区1014处的中心区域,这将产生PSF的宽(光晕)区域(例如,不饱和光晕1016)。因此,多区透镜1010和PSF曲线图1015中示出的所得PSF不应影响图像的分辨率。另外,不饱和光晕1016将不会饱和,并且光晕1016将允许闪光主要光线的准确测量。
图11是示例性设备1100的框图。设备1100示出了设备10的示例性设备配置。尽管示出了一些具体特征,但本领域的技术人员将从本公开中认识到,为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面,未示出各种其他特征。为此,作为非限制性示例,在一些具体实施中,设备10包括一个或多个处理单元1102(例如,微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备和传感器1106、一个或多个通信接口1108(例如,USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C和/或相似类型的接口)、一个或多个编程(例如,I/O)接口1110、一个或多个显示器1112、一个或多个面向内部和/或面向外部的图像传感器系统1114、存储器1120以及用于互连这些部件和各种其他部件的一条或多条通信总线1104。
在一些具体实施中,一条或多条通信总线1104包括互连系统部件并控制系统部件之间的通信的电路。在一些具体实施中,一个或多个I/O设备及传感器1106包括以下各项中的至少一者:惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如,血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎或者一个或多个深度传感器(例如,结构光、渡越时间等)等。
在一些具体实施中,一个或多个显示器1112被配置为向用户呈现物理环境或图形环境的视图。在一些具体实施中,一个或多个显示器1112对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或相似显示器类型。在一些具体实施中,一个或多个显示器1112对应于衍射、反射、偏振、全息等波导显示器。例如,设备10包括单个显示器。又如,设备10包括针对用户的每只眼睛的显示器。
在一些具体实施中,一个或多个图像传感器系统1114被配置为获得对应于物理环境5的至少一部分的图像数据。例如,一个或多个图像传感器系统1114包括一个或多个RGB相机(例如,具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、单色相机、IR相机、深度相机、基于事件的相机等。在各种具体实施中,一个或多个图像传感器系统1114还包括发射光的照明源,诸如闪光灯。在各种具体实施中,一个或多个图像传感器系统1114还包括相机上图像信号处理器(ISP),该ISP被配置为对图像数据执行多个处理操作。
存储器1120包括高速随机存取存储器,诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中,存储器1120包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器1120可选地包括与一个或多个处理单元1102远程定位的一个或多个存储设备。存储器1120包括非暂态计算机可读存储介质。
在一些具体实施中,存储器1120或存储器1120的非暂态计算机可读存储介质存储可选的操作系统1130和一个或多个指令集1140。操作系统1130包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中,指令集1140包括由以电荷形式存储的二进制信息定义的可执行软件。在一些具体实施中,指令集1140是能够由一个或多个处理单元1102执行以实施本文所述技术中的一种或多种的软件。
指令集1140包括闪光分析指令集1142和生理跟踪指令集1144。指令集1140可体现为单个软件可执行文件或多个软件可执行文件。
在一些具体实施中,闪光分析指令集1142可由处理单元1102执行以基于在传感器处接收的反射光来确定闪光的位置。闪光分析指令集1142(例如,图4的登记指令集420)可被配置为在反射光穿过具有第一区(例如,光晕产生区)和第二区(例如,法曲率)的多区透镜之后在传感器(例如,IR图像传感器/检测器)处接收反射光,其中第一区和第二区具有不同的能量扩散特性;(例如,第一区具有不同的曲率、倾斜等)。另外,闪光分析指令集1142可被配置为基于在传感器处接收的反射光来确定闪光的位置。出于这些目的,在各种具体实施中,该指令包括指令和/或用于该指令的逻辑以及启发法和用于该启发法的元数据。
在一些具体实施中,生理跟踪(例如,眼睛注视特性)指令集644可由处理单元1102执行以基于所确定的闪光位置(例如,根据闪光分析指令集1142)使用本文讨论的技术中的一种或多种技术或另有可能适当的技术来跟踪用户的眼睛注视特性或其他生理属性。出于这些目的,在各种具体实施中,该指令包括指令和/或用于该指令的逻辑以及启发法和用于该启发法的元数据。
尽管指令集1140被示出为驻留在单个设备上,但应当理解,在其他具体实施中,元件的任何组合可位于单独的计算设备中。此外,图11更多地用作存在于特定具体实施中的各种特征部的功能描述,该各种特征部与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的,单独显示的项目可以组合,并且一些项目可以分开。指令集的实际数量以及如何在其中分配特征将根据具体实施而变化,并且可以部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图12示出了根据一些具体实施的示例性头戴式设备1200的框图。头戴式设备1200包括容纳头戴式设备1200的各种部件的外壳1201(或壳体)。外壳1201包括(或耦接到)设置在外壳1201的近侧(用户25的)端部处的眼垫(未示出)。在各种具体实施中,眼垫是塑料或橡胶件,其舒适且贴合地将头戴式设备1200保持在用户25的面部上的适当位置(例如,围绕用户25的眼睛)。
外壳1201容纳显示器1210,该显示器显示图像、朝向用户25的眼睛发射光或将光发射到该用户的眼睛上。在各种具体实施中,显示器1210通过具有一个或多个透镜1205的目镜发射光,该透镜折射由显示器1210发射的光,使显示器对用户25显示为比从眼睛到显示器1210的实际距离更远的虚拟距离。为了使用户25能够聚焦在显示器1210上,在各种具体实施中,虚拟距离至少大于眼睛的最小焦距(例如,6cm)。此外,为了提供更好的用户体验,在各种具体实施中,虚拟距离大于1米。
外壳1201还容纳跟踪系统,该跟踪系统包括一个或多个光源1222、相机1224和控制器1280。一个或多个光源1222将光发射到用户25的眼睛上,其反射为可由相机1224检测的光图案(例如,闪光圈)。基于该光图案,控制器880可确定用户25的眼动跟踪特征。例如,控制器1280可确定用户25的注视方向和/或眨眼状态(睁眼或闭眼)。又如,控制器1280可确定瞳孔中心、瞳孔尺寸或关注点。因此,在各种具体实施中,光由所述一个或多个光源1222发射,从用户25的眼睛反射,并且由相机1224检测。在各种具体实施中,来自用户25的眼睛的光在到达相机1224之前从热镜反射或通过目镜。
显示器1210发射第一波长范围内的光,并且一个或多个光源1222发射第二波长范围内的光。类似地,相机1224检测第二波长范围内的光。在各种具体实施中,第一波长范围是可见波长范围(例如,可见光谱内大约为400nm-700nm的波长范围),并且第二波长范围是近红外波长范围(例如,近红外光谱内约为700nm-1400nm的波长范围)。
在各种具体实施中,眼睛跟踪(或者具体地讲,确定的注视方向)用于使用户能够进行交互(例如,用户25通过观看显示器1210上的选项来选择它),提供有孔的渲染(例如,在用户25正在观看的显示器1210的区域中呈现更高的分辨率并且在显示器1210上的其他地方呈现更低的分辨率),或者校正失真(例如,对于要在显示器1210上提供的图像)。
在各种具体实施中,一个或多个光源1222朝向用户25的眼睛发射光,该光以多个闪光的形式反射。
在各种具体实施中,相机1224是基于帧/快门的相机,其以帧速率在特定时间点或多个时间点生成用户25的眼睛的图像。每个图像包括对应于图像的像素的像素值的矩阵,所述像素对应于相机的光传感器矩阵的位置。在具体实施中,每个图像用于通过测量与用户瞳孔中的一者或两者相关联的像素强度的变化来测量或跟踪瞳孔扩张。
在各种具体实施中,相机1224是包括在多个相应位置处的多个光传感器(例如,光传感器矩阵)的事件相机,该事件相机响应于特定光传感器检测到光强度变化而生成指示特定光传感器的特定位置的事件消息。
应当理解,上文所描述的具体实施以示例的方式引用,并且本公开不限于上文已特别示出和描述的内容。相反地,范围包括上文所描述的各种特征的组合和子组合两者,以及本领域的技术人员在阅读前述描述时将想到的并且在现有技术中未公开的所述各种特征的变型和修改。
如上所述,本发明技术的一个方面是收集和使用生理数据以改善用户在与电子内容进行交互方面的电子设备体验。本公开设想,在一些情况下,该所收集的数据可包括唯一地识别特定人员或者可用于识别特定人员的兴趣、特点或倾向性的个人信息数据。此类个人信息数据可包括生理数据、人口数据、基于位置的数据、电话号码、电子邮件地址、家庭地址、个人设备的设备特征或任何其他个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如,个人信息数据可用于改进电子设备的交互和控制能力。因此,使用此类个人信息数据使得能够对电子设备进行有计划的控制。此外,本公开还预期个人信息数据有益于用户的其他用途。
本公开还设想到负责此类个人信息和/或生理数据的收集、分析、公开、传送、存储或其他用途的实体将遵守已确立的隐私政策和/或隐私实践。具体地,此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。例如,来自用户的个人信息应当被收集用于实体的合法且合理的用途,并且不在这些合法用途之外共享或出售。另外,此类收集应当仅在用户知情同意之后进行。另外,此类实体应采取任何所需的步骤,以保障和保护对此类个人信息数据的访问,并且确保能够访问个人信息数据的其他人遵守他们的隐私政策和程序。另外,这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。
不管前述情况如何,本公开还设想用户选择性地阻止使用或访问个人信息数据的具体实施。即本公开预期设想可提供硬件元件或软件元件,以防止或阻止对此类个人信息数据的访问。例如,就为用户定制的内容递送服务而言,本发明的技术可被配置为在注册服务期间允许用户选择“加入”或“退出”参与对个人信息数据的收集。在另一示例中,用户可选择不为目标内容递送服务提供个人信息数据。在又一示例中,用户可选择不提供个人信息,但允许传输匿名信息以用于改进设备的功能。
因此,虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案,但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即,本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如,可通过基于非个人信息数据或绝对最低量的个人信息诸如与用户相关联的设备所请求的内容、对内容递送服务可用的其他非个人信息或公开可用的信息来推断偏好或设置,从而选择内容并将该内容递送至用户。
在一些实施方案中,使用仅允许数据的所有者解密存储的数据的公钥/私钥系统来存储数据。在一些其他具体实施中,数据可匿名存储(例如,无需识别和/或关于用户的个人信息,诸如法定姓名、用户名、时间和位置数据等)。这样,其他用户、黑客或第三方就无法确定与存储的数据相关联的用户的身份。在一些具体实施中,用户可从不同于用于上载存储的数据的用户设备的用户设备访问他或她的存储的数据。在这些情况下,用户可能需要提供登录凭据以访问其存储的数据。
本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而,本领域的技术人员将理解,可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中,没有详细地介绍普通技术人员已知的方法、装置或系统,以便不使要求保护的主题晦涩难懂。
除非另外特别说明,否则应当理解,在整个说明书中,利用诸如“处理”、“计算”、“计算出”、“确定”和“标识”等术语的论述是指计算设备的动作或过程,诸如一个或多个计算机或类似的电子计算设备,其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。
本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统,其访问存储的软件,该软件将计算系统从通用计算装置编程或配置为实现本发明主题的一种或多种具体实施的专用计算装置。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。
本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化,例如,可以将框重新排序、组合或者分成子框。某些框或过程可以并行执行。
本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言,其不排除适用于或被配置为执行额外任务或步骤的设备。另外,“基于”的使用意味着开放和包容性,因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。
还将理解的是,虽然术语“第一”、“第二”等可能在本文中用于描述各种对象,但是这些对象不应当被这些术语限定。这些术语只是用于将一个对象与另一对象区分开。例如,第一节点可以被称为第二节点,并且类似地,第二节点可以被称为第一节点,其改变描述的含义,只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点,但它们不是同一个节点。
本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样,单数形式的“一个”和“该”旨在也涵盖复数形式,除非上下文清楚地另有指示。还将理解的是,本文中所使用的术语“或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是,术语“包括”或“包含”在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、对象或部件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、对象、部件或其分组。
如本文所使用的,术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真,具体取决于上下文。类似地,短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真,具体取决于上下文。
本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的,而非限制性的,并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定,而是根据专利法允许的全部广度。应当理解,本文所示和所述的具体实施仅是对本发明原理的说明,并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。
Claims (28)
1.一种方法,包括:
在具有处理器的电子设备处:
通过产生从眼睛的一部分反射的光来产生闪光;
在传感器处接收反射光,其中所述反射光在穿过具有第一区和第二区的多区透镜之后被接收,所述第一区和所述第二区具有不同的能量扩散特性;
基于在所述传感器处接收的所述反射光来确定所述闪光的位置;以及
基于所确定的所述闪光的位置来确定眼睛特性。
2.根据权利要求1所述的方法,其中所述第一区的曲率半径与所述第二区的曲率半径不同。
3.根据权利要求2所述的方法,其中在点扩散函数(PSF)中,与所述第二区的所述曲率半径相比,所述第一区的所述曲率半径使所接收的光更多地扩散。
4.根据权利要求3所述的方法,其中所述第一区的所述曲率半径通过分配原本饱和场点的能量来产生所述PSF中的分布能量部分。
5.根据权利要求4所述的方法,其中所述分布能量部分是光晕。
6.根据权利要求1至5中任一项所述的方法,其中:
所述第一区产生点扩散函数(PSF)中的分布能量部分;并且
所述第二区产生所述PSF中的聚焦能量部分。
7.根据权利要求6所述的方法,其中所述第一区包括倾斜以使得所述分布能量部分与所述PSF中的聚焦能量部分分离。
8.根据权利要求1至7中任一项所述的方法,其中确定所述闪光的所述位置包括确定所接收的光的质心。
9.根据权利要求1至8中任一项所述的方法,其中确定所述眼睛特性包括基于确定多个闪光的位置来确定所述眼睛的多个部分的位置。
10.根据权利要求1至9中任一项所述的方法,其中所述光是红外(IR)光。
11.根据权利要求1至10中任一项所述的方法,其中所述传感器包括图像传感器并且接收所述反射光包括根据来自所述传感器的图像数据来接收所述反射光。
12.根据权利要求1至11中任一项所述的方法,其中所述电子设备是头戴式设备(HMD)。
13.一种设备,包括:
非暂态计算机可读存储介质;和
一个或多个处理器,所述一个或多个处理器耦接到所述非暂态计算机可读存储介质,其中所述非暂态计算机可读存储介质包括程序指令,所述程序指令在所述一个或多个处理器上执行时,使所述系统执行包括以下操作的操作:
通过产生从眼睛的一部分反射的光来产生闪光;
在传感器处接收反射光,其中所述反射光在穿过具有第一区和第二区的多区透镜之后被接收,所述第一区和所述第二区具有不同的能量扩散特性;
基于在所述传感器处接收的所述反射光来确定所述闪光的位置;以及
基于所确定的所述闪光的位置来确定眼睛特性。
14.根据权利要求13所述的设备,其中所述第一区的曲率半径与所述第二区的曲率半径不同。
15.根据权利要求14所述的设备,其中在点扩散函数(PSF)中,与所述第二区的所述曲率半径相比,所述第一区的所述曲率半径使所接收的光更多地扩散。
16.根据权利要求15所述的设备,其中所述第一区的所述曲率半径通过分配原本饱和场点的能量来产生所述PSF中的分布能量部分。
17.根据权利要求16所述的设备,其中所述分布能量部分是光晕。
18.根据权利要求13至17中任一项所述的设备,其中:
所述第一区产生点扩散函数(PSF)中的分布能量部分;并且
所述第二区产生所述PSF中的聚焦能量部分。
19.根据权利要求18所述的设备,其中所述第一区包括倾斜以使得所述分布能量部分与所述PSF中的聚焦能量部分分离。
20.根据权利要求13至19中任一项所述的设备,其中确定所述闪光的所述位置包括确定所接收的光的质心。
21.根据权利要求13至20中任一项所述的设备,其中确定所述眼睛特性包括基于确定多个闪光的位置来确定所述眼睛的多个部分的位置。
22.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储能够在设备上执行以执行操作的程序指令,所述操作包括:
通过产生从眼睛的一部分反射的光来产生闪光;
在传感器处接收反射光,其中所述反射光在穿过具有第一区和第二区的多区透镜之后被接收,所述第一区和所述第二区具有不同的能量扩散特性;
基于在所述传感器处接收的所述反射光来确定所述闪光的位置;以及
基于所确定的所述闪光的位置来确定眼睛特性。
23.一种眼睛跟踪系统,包括:
光源,所述光源被配置为产生从对象的一部分反射的光;
多区透镜,所述多区透镜被配置为允许来自所述光源的从所述对象的所述部分反射的反射光穿过所述多区透镜,其中所述多区透镜包括:
第一区,所述第一区包括第一曲率半径,和
第二区,所述第二区包括不同于所述第一曲率半径的第二曲率半径,其中所述第一区和所述第二区具有不同的能量扩散特性;和
传感器,所述传感器被配置为在所述反射光穿过所述多区透镜的所述第一区和所述第二区之后接收所述反射光。
24.根据权利要求23所述的眼睛跟踪系统,其中在点扩散函数(PSF)中,与所述第二区的所述曲率半径相比,所述第一区的所述曲率半径使所接收的光更多地扩散。
25.根据权利要求24所述的眼睛跟踪系统,其中所述第一区的所述曲率半径通过分配原本饱和场点的能量来产生所述PSF中的分布能量部分。
26.根据权利要求25所述的眼睛跟踪系统,其中所述分布能量部分是光晕。
27.根据权利要求23至26中任一项所述的眼睛跟踪系统,其中:
所述第一区产生点扩散函数(PSF)中的分布能量部分;并且
所述第二区产生所述PSF中的聚焦能量部分。
28.根据权利要求27所述的眼睛跟踪系统,其中所述第一区包括倾斜以使得所述分布能量部分与所述PSF中的聚焦能量部分分离。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063081378P | 2020-09-22 | 2020-09-22 | |
US63/081,378 | 2020-09-22 | ||
PCT/US2021/050370 WO2022066478A1 (en) | 2020-09-22 | 2021-09-15 | Glint analysis using multi-zone lens |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116507949A true CN116507949A (zh) | 2023-07-28 |
Family
ID=78080573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180078184.1A Pending CN116507949A (zh) | 2020-09-22 | 2021-09-15 | 使用多区透镜的闪光分析 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230324587A1 (zh) |
CN (1) | CN116507949A (zh) |
WO (1) | WO2022066478A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7809160B2 (en) * | 2003-11-14 | 2010-10-05 | Queen's University At Kingston | Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections |
US9946339B2 (en) * | 2014-10-08 | 2018-04-17 | Microsoft Technology Licensing, Llc | Gaze tracking through eyewear |
WO2016180702A1 (en) * | 2015-05-08 | 2016-11-17 | SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH | Eye tracking device and method for operating an eye tracking device |
CN108398788B (zh) * | 2018-03-23 | 2024-04-16 | 京东方科技集团股份有限公司 | 眼睛跟踪装置及虚拟现实成像设备 |
EP3914997A4 (en) * | 2019-01-25 | 2022-10-12 | Magic Leap, Inc. | OCULOMETRY USING IMAGES WITH DIFFERENT EXPOSURE TIMES |
US11132056B2 (en) * | 2019-12-04 | 2021-09-28 | Facebook Technologies, Llc | Predictive eye tracking systems and methods for foveated rendering for electronic displays |
-
2021
- 2021-09-15 CN CN202180078184.1A patent/CN116507949A/zh active Pending
- 2021-09-15 WO PCT/US2021/050370 patent/WO2022066478A1/en active Application Filing
- 2021-09-15 US US18/027,286 patent/US20230324587A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230324587A1 (en) | 2023-10-12 |
WO2022066478A1 (en) | 2022-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110968189B (zh) | 作为认知控制信号的瞳孔调制 | |
US20210349536A1 (en) | Biofeedback method of modulating digital content to invoke greater pupil radius response | |
CN114175045B (zh) | 利用亮度变化来确定用户特征 | |
CN116507949A (zh) | 使用多区透镜的闪光分析 | |
CN116507267A (zh) | 用于视网膜眼睛跟踪的多个注视相关照明源 | |
US20230309824A1 (en) | Accommodation tracking based on retinal-imaging | |
US20230329549A1 (en) | Retinal imaging-based eye accommodation detection | |
US20230418372A1 (en) | Gaze behavior detection | |
US20230351676A1 (en) | Transitioning content in views of three-dimensional environments using alternative positional constraints | |
US20230359273A1 (en) | Retinal reflection tracking for gaze alignment | |
US20230367117A1 (en) | Eye tracking using camera lens-aligned retinal illumination | |
US20230376107A1 (en) | Detecting unexpected user interface behavior using physiological data | |
US20230288985A1 (en) | Adjusting image content to improve user experience | |
US20230280827A1 (en) | Detecting user-to-object contacts using physiological data | |
CN117980795A (zh) | 使用在透明基板上的ir光源的眼睛反射 | |
WO2023049065A1 (en) | Eye reflections using ir light sources on a transparent substrate | |
CN117980867A (zh) | 基于对照明的生理响应的交互事件 | |
WO2023224878A1 (en) | Eye tracking using camera lens-aligned retinal illumination | |
CN117957513A (zh) | 基于镜子检测和上下文感知的交互 | |
WO2023114079A1 (en) | User interactions and eye tracking with text embedded elements | |
CN116569124A (zh) | 基于眼睛注视的生物反馈 | |
CN117333588A (zh) | 使用相对于多个表面点的深度的用户表示 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |