CN114341781A - 使用定向光源的基于闪光的注视跟踪 - Google Patents

Abstract

各种具体实施基于角膜中心和(a)瞳孔中心或(b)眼球中心来确定注视方向。使用定向光源以产生从眼睛表面反射并由传感器捕获的一个或多个闪光来确定角膜中心。例如使用记录光源取向的编码器可以知道来自定向光源的光的角度(例如，方向)。光源的已知方向有助于确定角膜上的闪光的距离，并且使得能够例如基于单个闪光来确定角膜位置。可以确定角膜中心(例如，使用平均角膜半径或先前测量的角膜半径或使用来自第二闪光的信息)。可以使用角膜中心和瞳孔中心或眼球中心来确定注视方向。

Description

使用定向光源的基于闪光的注视跟踪

相关申请的交叉引用

本申请要求2019年9月9日提交的美国临时申请序列号62/897,540的权益，该申请全文并入本文。

技术领域

本公开一般涉及注视跟踪，并且具体地涉及用于使用用于在眼睛表面上产生一个或多个闪光的光源的光源方向进行注视跟踪的系统、方法和设备。

背景技术

一些现有注视跟踪系统使用从眼睛表面反射的光来估计注视方向。此类技术可以使用多个闪光以识别沿用户注视的位置(例如，瞳孔中心、眼睛中心和角膜中心)或通过识别用户的眼睛形状、位置和取向来估计用户的注视方向。现有技术可能无法从单个闪光确定注视方向，并且可能不像期望的那样准确或有效。

发明内容

本文公开的各种具体实施包括基于角膜中心和(a)瞳孔中心或(b)眼球中心来确定注视方向的设备、系统和方法。使用定向光源(例如，产生窄束光)以产生从眼睛表面反射并由传感器捕获的一个或多个闪光来确定角膜中心。使用定向光源而不是全向光源(例如，产生漫射光)可提供各种优点。例如使用编码器可以知道来自定向光源的光的方向(例如，角度)，该编码器记录当光产生时光源的取向以及所识别的反射。可以基于来自传感器的数据来确定反射的方向(例如，角度)。使用基于像素的传感器可以提供各种优点。例如，可以解释来自相机或其他基于像素的传感器的像素数据以确定反射方向。光源方向和反射方向有助于确定角膜表面上发生反射(例如，闪光)的位置的距离。这可以使得例如基于单个闪光来确定角膜位置。然后可以确定角膜中心(例如，使用平均角膜半径或先前测量的角膜半径或使用来自第二闪光的信息)。然后可以使用角膜中心和瞳孔中心或眼球中心来确定注视方向。

一些具体实施涉及一种在具有处理器的电子设备处确定注视方向的方法。例如，该处理器可执行存储在非暂态计算机可读介质中的指令以确定或跟踪注视方向。该方法经由光源产生光束。光束随时间在多个方向上移动，并且当在多个方向中的第一方向上产生光束时，在传感器处接收来自眼睛的一部分的反射，例如，检测到闪光。光源是定向光源，并且因此光源的方向(例如，角度)是可变的。在一些具体实施中，扫描仪被配置为从多个角度(例如，方向)扫描来自光源的光，使得光在不同时间从眼睛表面上的各个点反射离开。在一些具体实施中，扫描仪被实现为具有一个或两个旋转度以及能够响应于控制信号而改变所述角度的一个或两个马达的机电组件，并且每个旋转度具有测量当前角度的一个编码器。扫描仪可以用于直接改变光源的照明锥的主要方向(如果其安装在扫描仪上)，或者它可以通过改变光源的光朝向其引导的镜子的角度来间接执行。例如，扫描仪可以使用电动马达或伺服马达或电流计或压电致动器来控制两个旋转接头；或者又如，其可以是MEMS镜。另选地，可以在不使用任何移动部件的情况下实现扫描仪；在这种情况下，可以使用以1D或2D阵列组织的多个窄束光源；每个光源以不同的角度指向，并且具有控制逻辑部件，所述控制逻辑部件响应于控制信号而打开/关闭特定光源，例如打开根据以与由控制信号设定的目标角度最接近的匹配而取向的光源。

当检测到闪光时，与产生闪光的光相关联的光源的相关联的方向或角度可被识别并且用于确定角膜表面上的闪光位置并最终确定注视方向。在此示例中，反射中的一些但不是所有反射将产生可用于确定注视方向的闪光。定向光源可以是激光、垂直腔面发射激光器(VCSEL)、窄束光源、准直光源等。编码器可以在产生光束时识别光源的第一角度(例如，方向)，使得方向(例如，角度)可以与相应的闪光相关联。

该方法基于由传感器产生的数据(例如，像素数据)来确定反射的第二方向。在一些具体实施中，传感器是被配置为检测像素处强度变化的事件相机(例如，动态视觉传感器(DVS))。在一些具体实施中，传感器是基于帧的(例如，基于快门的)相机，其被配置为捕获像素处的强度值。

该方法基于光束的第一方向和反射的第二方向来确定眼睛的角膜中心。例如，这可以涉及通过使用第一角度(例如，光源的方向)和第二角度(例如，从闪光到传感器的光的方向)进行三角测量来确定角膜表面点(例如，在3D空间中)的位置。此确定可以涉及确定闪光的深度/距离，并且因此确定角膜表面上的点的深度/距离。考虑到该点在角膜表面上的位置，可以确定角膜中心。在一些具体实施中，使用平均角膜半径来确定角膜中心。在其他具体实施中，例如通过校准程序，使用针对所述眼睛的先前测量的角膜半径来确定角膜中心。在其他具体实施中，基于由第二窄束光源产生的第二闪光来确定角膜中心。在一些具体实施中，基于角膜表面点和关于该用户或一般用户的角膜形状的其他信息来确定角膜的3D重建。在一些具体实施中，使用单个闪光来确定角膜中心。

该方法还确定眼睛的瞳孔中心或眼睛的眼球中心，或两者。在一些具体实施中，基于在相同或不同传感器处检测到的从瞳孔/虹膜反射的环境光来确定瞳孔中心(例如，虹膜的中心)。在一些具体实施中，基于来自另一漫射光源的反射光来确定瞳孔中心(例如，虹膜的中心)。在一些具体实施中，通过基于随时间推移而检测到的角膜点并且基于眼球将已经相对于先前确定的眼球位置(例如，在先前的某个时刻)移动很少或根本没有移动的假设来拟合球体而确定眼球中心。

该方法通过确定从瞳孔中心穿过角膜中心的方向或从眼球中心穿过角膜中心的方向来确定注视方向。在一些具体实施中，基于角膜中心、瞳孔中心和角膜中心来确定注视方向。

根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1是根据一些具体实施的示例性操作环境的框图。

图2是根据一些具体实施的示例性控制器的框图。

图3是根据一些具体实施的示例性头戴式设备(HMD)的框图。

图4是根据一些具体实施的示例性头戴式设备(HMD)的框图。

图5是根据一些具体实施的注视跟踪的方法的流程图表示。

图6示出了使用漫射光源来示出注视跟踪的功能框图。

图7示出了示出当使用漫射光源进行注视跟踪时识别到的多个可能的角膜位置的功能框图。

图8示出了根据一些具体实施的功能框图，其示出了以已知角度使用可变角度光源(例如，扫描仪)进行注视跟踪时识别到的单个可能的角膜位置。

图9示出了根据一些具体实施的功能框图，其示出了以已知角度使用可变角度光源(例如，扫描仪)进行注视跟踪时识别到的另一个单个可能的角膜位置。

图10示出了根据一些具体实施的示出基于假定角膜半径而进行的注视跟踪的功能框图。

图11示出了根据一些具体实施的示出以已知角度使用两个可变角度光源(例如，扫描仪)进行注视跟踪的功能框图。

图12示出了根据一些具体实施的示出基于眼球中心而进行的注视跟踪的功能框图。

图13示出了根据一些具体实施的示出以已知角度使用两个可变角度光源(例如，扫描仪)进行注视跟踪的功能框图。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

在各种具体实施中，注视跟踪用于使能用户交互，提供中央凹渲染，或减轻几何失真。注视跟踪系统包括传感器和处理器，该处理器对从传感器接收的关于从用户的眼睛反射的来自光源的光的数据执行注视跟踪。在各种具体实施中，传感器包括具有多个相应位置处的多个光传感器的事件相机，所述事件相机响应于特定光传感器检测到光强度变化而生成指示所述特定光传感器的特定位置的事件消息。事件相机可包括或被称为动态视觉传感器(DVS)、硅视网膜、基于事件的相机、或无帧相机。因此，事件相机生成(并传输)关于光强度变化的数据，而不是更大量的关于每个光传感器处的绝对强度的数据。另外，因为在强度变化时生成数据，所以在各种具体实施中，光源被配置为发射具有调制强度的光。

图1是根据一些具体实施的示例性操作环境100的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作环境100包括控制器110和设备120。

在一些具体实施中，控制器110被配置为管理和协调用户体验。在一些具体实施中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些具体实施中，控制器110是相对于物理布景105处于本地或远程位置的计算设备。在一个示例中，控制器110是位于物理布景105内的本地服务器。在另一示例中，控制器110是位于物理布景105之外的远程服务器(例如，云服务器、中央服务器等)。在一些具体实施中，控制器110经由一个或多个有线或无线通信信道144(例如，蓝牙、IEEE 802.11x、IEEE802.16x、IEEE 802.3x等)与设备120通信地耦接。

在一些具体实施中，设备120被配置为向用户呈现环境。在一些具体实施中，设备120包括软件、固件和/或硬件的合适组合。下文参考图3更详细地描述设备120。在一些具体实施中，控制器110的功能由设备120提供和/或与该设备结合。

根据一些具体实施，当用户虚拟地和/或物理地存在于物理布景105内时，设备120向用户呈现模拟现实(SR)布景(例如，增强现实/虚拟现实(AR/VR)布景)。在一些具体实施中，当呈现体验时，设备120被配置为呈现内容并实现物理布景105的光学透视。在一些具体实施中，当呈现布景时，设备120被配置为呈现VR内容并实现物理布景105的视频透视。

在一些具体实施中，用户将设备120穿戴在他/她的头上。设备120可包括被提供用于显示内容的一个或多个显示器。例如，设备120可包围用户的视野。在一些具体实施中，设备120是被配置为向用户呈现内容的手持式电子设备(例如，智能电话或平板电脑)。在一些具体实施中，用被配置为呈现内容的腔室、外壳或室替代设备120，其中用户不穿戴或手持该设备120。

图2是根据一些具体实施的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理核心等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE和/或相似类型接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。

在一些具体实施中，该一条或多条通信总线204包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。

存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些具体实施中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离所述一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些具体实施中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统230和体验模块240。

操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，呈现模块240被配置为管理和协调一个或多个用户的一个或多个体验(例如，一个或多个用户的单个体验，或一个或多个用户的相应群组的多个体验)。为此，在各种具体实施中，呈现模块240包括数据获取器242、呈现器244、注视跟踪器246和数据传输器248。

在一些具体实施中，数据获取器242被配置为至少从设备120获取数据。为此，在各种具体实施中，数据获取器242包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，呈现器244被配置为经由一个或多个显示器212呈现内容。为此，在各种具体实施中，呈现器244包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，注视跟踪器246被配置为经由本文所公开的技术中的一者或多者来确定用户的注视方向。为此，在各种具体实施中，注视跟踪器246包括指令和/或用于指令的逻辑部件、配置的神经网络以及启发法和用于启发法的元数据。

在一些具体实施中，数据传输器248被配置为至少向设备120传输数据。为此，在各种具体实施中，数据传输器248包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

此外，图2更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图3是根据一些具体实施的设备120的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备和传感器306、一个或多个通信接口308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C和/或相似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个AR/VR显示器312、一个或多个面向内部和/或面向外部的图像传感器系统314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。

在一些具体实施中，一条或多条通信总线304包括互连和控制系统部件之间的通信的电路。在一些具体实施中，所述一个或多个I/O设备及传感器306包括以下项中的至少一个：惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如，结构光、飞行时间等)等。

在一些具体实施中，一个或多个显示器312被配置为向用户呈现体验。在一些具体实施中，一个或多个显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或相似显示器类型。在一些具体实施中，一个或多个显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，设备120包括单个显示器。又如，设备120包括针对用户的每只眼睛的显示器。在一些具体实施中，一个或多个显示器312能够呈现SR内容。

在一些具体实施中，所述一个或多个图像传感器系统314被配置为获取与包括用户的眼睛的用户的面部的至少一部分对应的图像数据。例如，所述一个或多个图像传感器系统314包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、单色相机、IR相机、基于事件的相机等。在各种具体实施中，所述一个或多个图像传感器系统314还包括发射光在用户的面部的所述一部分上的照明源，诸如闪光灯或闪光源。

存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离所述一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些具体实施中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者他们的子集，其中包括任选的操作系统330、AR/VR呈现模块340、和用户数据存储装置360。

操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，呈现模块340被配置为经由一个或多个显示器312向用户呈现内容。为此，在各种具体实施中，呈现模块340包括数据获取器342、呈现器344、注视跟踪器346和数据传输器348。

在一些具体实施中，数据获取器342被配置为至少从控制器110获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取器342包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。

在一些具体实施中，呈现器344被配置为经由一个或多个显示器312呈现内容。为此，在各种具体实施中，呈现单元344包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，注视跟踪器346被配置为经由本文所公开的技术中的一者或多者来确定用户的注视方向。为此，在各种具体实施中，注视跟踪器346包括指令和/或用于指令的逻辑部件、配置的神经网络以及启发法和用于启发法的元数据。

在一些具体实施中，数据传输器348被配置为至少向控制器110传输数据(例如，呈现数据、位置数据等)。为此，在各种具体实施中，数据传输器348包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

尽管这些元件被示出为驻留在单个设备(例如，设备120)上，但应当理解，在其他具体实施中，元件的任何组合可位于单独的计算设备中。此外，图3更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图4示出了根据一些具体实施的头戴式设备400的框图。头戴式设备400包括容纳头戴式设备400的各种部件的外壳401(或封装件)。外壳401包括(或耦接到)设置在外壳401的近侧(相对于用户10)端部处的眼垫405。在各种具体实施中，眼垫405是塑料或橡胶件，其舒适且贴合地将头戴式设备400保持在用户10的面部上的适当位置(例如，围绕用户10的眼睛)。

外壳401容纳显示器410，该显示器显示图像、朝向用户10的眼睛发射光或将光发射到该用户的眼睛上。在各种具体实施中，显示器410发射光通过目镜(未示出)，该目镜折射由显示器410发射的光，使显示器在用户10看来是在比从眼睛到显示器410的实际距离远的虚拟距离处。为了用户能够聚焦在显示器410上，在各种具体实施中，虚拟距离至少大于眼睛的最小焦距(例如，7cm)。此外，为了提供更好的用户体验，在各种具体实施中，虚拟距离大于1米。

虽然图4示出了包括显示器410和眼垫405的头戴式设备400，但在多种具体实施中，头戴式设备400不包括显示器410或者包括光学透视显示器而不包括眼垫405。

外壳401还容纳注视跟踪系统，该注视跟踪系统包括一个或多个光源422、相机424和控制器480。所述一个或多个光源422将光发射到用户10的眼睛上，该光反射可由传感器424检测到的光(例如，定向光束)。基于该反射的闪光，控制器480可确定用户10的注视方向。又如，控制器480可确定瞳孔中心、瞳孔尺寸或关注点。因此，在各种具体实施中，光由所述一个或多个光源422发射，从用户10的眼睛反射，并且由传感器424检测。在各种具体实施中，来自用户10的眼睛的光在到达传感器424之前从热镜反射或通过目镜。

显示器410可发射第一波长范围内的光，并且所述一个或多个光源422可发射第二波长范围内的光。类似地，传感器424可检测第二波长范围内的光。在各种具体实施中，第一波长范围是可见波长范围(例如，可见光谱内大约为400nm-700nm的波长范围)，并且第二波长范围是近红外波长范围(例如，近红外光谱内约为700nm-1400nm的波长范围)。

在各种具体实施中，注视跟踪(或者具体地讲，所确定的注视方向)用于使能用户交互(例如，用户10通过看着显示器410上的选项来选择它)，提供中央凹渲染(例如，在用户10正在看着的显示器410的区域中呈现较高的分辨率而在显示器410上的其他地方呈现较低的分辨率)，或者减少几何失真(例如，显示器410上对象的3D渲染中)。

在各种具体实施中，所述一个或多个光源422朝向用户的眼睛发射光，该光以一个或多个闪光的形式反射。

在各种具体实施中，一个或多个光源422发射光束，以产生来自眼睛的一部分的反射。光源可以是定向光源，并且因此光源的角度是可变的。定向光源可以是激光、垂直腔面发射激光器(VCSEL)、窄束光源、准直光源等。

在各种具体实施中，一个或多个光源422包括或耦接到扫描仪，该扫描仪被配置为从多个角度(例如，方向)扫描来自光源的光，使得光在不同时间从眼睛表面上的各个点反射离开。光源可以安装在扫描仪或安装在扫描仪上的镜子上。

在各种具体实施中，一个或多个光源422包括或通信地耦接到编码器，该编码器被配置为在产生光束时识别或记录光源的角度(例如，方向)，使得角度可以与相应的闪光相关联。光源可以安装在扫描仪/编码器或安装在扫描仪/编码器上的镜子上。

当分析由眼睛反射并由传感器424检测的闪光时，可确定闪光的种类和对应的光源角度(例如，方向)。

在各种具体实施中，所述一个或多个光源422包括多个光源。每个此类光源可以与扫描仪和/或编码器耦接以将来自光源的光束在眼睛的表面上移动并且记录光源的角度(例如，方向)。

在各种具体实施中，所述一个或多个光源422以不同调制频率调制发射光的强度。例如，在各种具体实施中，所述一个或多个光源422中的第一光源以第一频率(例如，600Hz)调制，并且所述一个或多个光源422中的第二光源以第二频率(例如，500Hz)调制。

在各种具体实施中，所述一个或多个光源422根据不同的正交码调制发射光的强度，诸如可在CDMA(码分多址)通信中使用的那些。例如，沃尔什矩阵的行或列可用作正交码。因此，在各种具体实施中，所述多个光源中的第一光源根据第一正交码调制，并且所述多个光源中的第二光源根据第二正交码调制。

在各种具体实施中，所述一个或多个光源422在高强度值和低强度值之间调制发射光的强度。因此，在各个时间，光源发射的光的强度为高强度值或为低强度值。在各种具体实施中，低强度值为零。因此，在各种具体实施中，所述一个或多个光源422在接通状态(在高强度值处)和关断状态(在低强度值处)之间调制发射光的强度。在各种具体实施中，所述多个光源中处于接通状态的光源的数量是恒定的。

在各种具体实施中，所述一个或多个光源422在强度范围内(例如，在10％最大强度和40％最大强度之间)调制发射光的强度。因此，在各个时间，光源的强度为低强度值，为高强度值，或为介于两者之间的某个值。在各种具体实施中，所述一个或多个光源422被差分调制，使得所述多个光源中的第一光源在第一强度范围内被调制，并且所述多个光源中的第二光源在不同于所述第一强度范围的第二强度范围内被调制。

在各种具体实施中，所述一个或多个光源422根据用户生物计量来调制发射光的强度。例如，如果用户眨眼多于正常，心率升高或者被注册为儿童，则所述一个或多个光源422降低发射光的强度(或所述多个光源发射的所有光的总强度)以减小眼睛上的负担。又如，所述一个或多个光源422基于用户的眼睛颜色来调制发射光的强度，因为与棕色眼睛相比，谱反射率对于蓝色眼睛可能不同。

在各种具体实施中，所述一个或多个光源422根据呈现的用户界面(例如，显示器410上显示的内容)来调制发射光的强度。例如，如果显示器410异常亮(例如，正在显示爆炸的视频)，则所述一个或多个光源422增大发射光的强度以补偿来自显示器410的潜在干扰。

在各种具体实施中，传感器424是基于帧/快门的相机，其以帧速率在特定时间点或多个时间点生成用户10的眼睛的图像。每个图像包括对应于图像的像素的像素值的矩阵，所述像素对应于相机的光传感器矩阵的位置。

在各种具体实施中，相机424是包括在多个相应位置处的多个光传感器(例如，光传感器矩阵)的事件相机，该事件相机响应于特定光传感器检测到光强度变化而生成指示所述特定光传感器的特定位置的事件消息。

在一些具体实施中使用事件相机。事件相机可包括分别耦接到消息发生器的多个光传感器。在各种具体实施中，所述多个光传感器被布置成行和列的矩阵，并且因此，所述多个光传感器中的每一者与行值和列值相关联。

多个光传感器中的每一个光传感器包括光传感器。光传感器包括在源电压和地电压之间的与电阻器串联的光电二极管。光电二极管上的电压与入射在光传感器上的光的强度成比例。光传感器包括与光电二极管并联的第一电容器。因此，第一电容器上的电压与光电二极管上的电压相同(例如，与光传感器所检测到的光的强度成比例)。

光传感器包括耦接在第一电容器和第二电容器之间的开关。第二电容器耦接在开关和地电压之间。因此，当开关闭合时，第二电容器上的电压与第一电容器上的电压相同(例如，与光传感器所检测到的光的强度成比例)。当开关断开时，第二电容器上的电压固定在当开关上次闭合时在第二电容器上的电压处。

第一电容器上的电压和第二电容器上的电压被馈送给比较器。当第一电容器上的电压与第二电容器上的电压之间的差值小于阈值量时，比较器输出“0”电压。当第一电容器上的电压比第二电容器上的电压高至少阈值量时，比较器输出“1”电压。当第一电容器上的电压比第二电容器上的电压低至少阈值量时，比较器输出“-1”电压。

当比较器输出“1”电压或“-1”电压时，开关闭合，并且消息发生器接收该数字信号并生成像素事件消息。

例如，在第一时间，入射在光传感器上的光的强度为第一光值。因此，光电二极管上的电压为第一电压值。同样，第一电容器上的电压为第一电压值。对于该示例，第二电容器上的电压也为第一电压值。因此，比较器输出“0”电压，开关保持闭合，并且消息发生器不执行任何操作。

在第二时间，入射在光传感器上的光的强度增大到第二光值。因此，光电二极管上的电压为第二电压值(高于第一电压值)。同样，第一电容器上的电压为第二电压值。因为开关断开，所以第二电容器上的电压仍为第一电压值。假设第二电压值至少比第一电压值高该阈值，则比较器输出“1”电压，闭合开关，并且消息发生器基于所接收的数字信号而生成事件消息。

在开关由于来自比较器的“1”电压而闭合时，第二电容器上的电压从第一电压值变成第二电压值。因此，比较器输出“0”电压，断开开关。

在第三时间，入射在光传感器上的光的强度(又)增大到第三光值。因此，光电二极管上的电压为第三电压值(高于第二电压值)。同样，第一电容器上的电压为第三电压值。因为开关断开，所以第二电容器上的电压仍为第二电压值。假设第三电压值至少比第二电压值高该阈值，则比较器输出“1”电压，闭合开关，并且消息发生器基于所接收的数字信号而生成事件消息。

在开关由于来自比较器的“1”电压而闭合时，第二电容器上的电压从第二电压值变成第三电压值。因此，比较器输出“0”电压，断开开关。

在第四时间，入射在光传感器上的光的强度减小回到第二光值。因此，光电二极管上的电压为第二电压值(小于第三电压值)。同样，第一电容器上的电压为第二电压值。因为开关断开，所以第二电容器上的电压仍为第三电压值。因此，比较器输出“-1”电压，闭合开关，并且消息发生器基于所接收的数字信号生成事件消息。

在开关由于来自比较器的“-1”电压而闭合时，第二电容器上的电压从第三电压值变成第二电压值。因此，比较器输出“0”电压，断开开关。

消息发生器在不同时间接收来自多个光传感器中每一者的数字信号，该数字信号指示光强度的增大(“1”电压)或光强度的减小(“-1”电压)。响应于接收到来自多个光传感器中特定光传感器的数字信号，消息发生器生成像素事件消息。

在各种具体实施中，每个像素事件消息在位置字段中指示特定光传感器的特定位置。在各种具体实施中，事件消息以像素坐标指示特定位置，诸如行值(例如，在行字段中)和列值(例如，在列字段中)。在各种具体实施中，事件消息在极性字段中进一步指示光强度变化的极性。例如，事件消息可在极性字段中包括“1”以指示光强度的增大，并且可在极性字段中包括“0”以指示光强度的减小。在各种具体实施中，事件消息在时间字段中进一步指示检测到光强度变化的时间(例如，接收数字信号的时间)。在各种具体实施中，事件消息在绝对强度字段(未示出)中指示表示所检测到的光的强度的值，作为极性的替代或除极性之外。

图5是根据一些具体实施的确定注视方向的方法600的流程图表示。

在一些具体实施中，方法600由设备(例如，图1和图2的控制器110)执行，诸如移动设备、台式计算机、膝上型电脑或服务器设备。方法600可以在具有用于显示2D图像的屏幕和/或用于查看立体图像的屏幕(诸如头戴式显示器(HMD))的设备(例如，图1和图3的设备120)上执行。

在一些具体实施中，方法600由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法600由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

在框610处，方法600经由光源产生光束，其中光束随时间在多个方向上移动，并且当在多个方向中的第一方向上产生光束时，在传感器处接收来自眼睛的一部分的反射。例如，定向光源可以以各种不同角度(例如，方向)产生光束。在一些具体实施中，扫描仪被配置为从多个角度(例如，方向)扫描来自光源的光，使得光在不同时间从眼睛表面上的各个点反射离开。由定向光源产生的光束的一些反射(但不是所有反射)将产生可用于确定注视方向的闪光。定向光源可以是激光、垂直腔面发射激光器(VCSEL)、窄束光源、准直光源等。编码器可以在产生光束时识别光源的第一角度(例如，方向)，使得角度可以与相应的闪光相关联。

在框620处，该方法600基于由传感器产生的数据(例如，像素数据)来确定反射的第二方向。例如，可以在由基于帧的(例如，基于快门的)相机捕获的图像中检测闪光。在另一示例中，可以基于由事件相机检测到的一个或多个事件来检测闪光。在一些具体实施中，经由算法或机器学习模型处理相机数据以识别闪光或将闪光与基于非闪光的事件进行区分。与反射(例如，闪光)相关联的像素和/或相对于光源的传感器的已知位置或取向可用于确定反射的方向(例如，角度)。

在框630处，该方法600基于光束的第一方向和反射的第二方向来确定眼睛的角膜中心。例如，当检测到闪光时，与产生闪光的光相关联的光源的相关联的角度可被识别并且用于确定角膜表面上的闪光位置。例如，这可以涉及通过使用第一角度(例如，光源的方向)和第二角度(例如，从闪光到传感器的光的方向)进行三角测量来确定角膜表面点(例如，在3D空间中)的位置。在一些具体实施中，方法600计算入射光线(由扫描仪测量的)与反射光线(由传感器测量的)之间的平分。此确定可以涉及确定闪光的深度/距离，并且因此确定角膜表面上的点的深度/距离。考虑到该点在角膜表面上的位置，可以确定角膜中心。在一些具体实施中，使用已知角膜半径(例如平均角膜半径或先前测量的角膜半径)来确定角膜中心。在其他具体实施中，基于由第二窄束光源产生的第二闪光来确定角膜中心。在一些具体实施中，基于角膜表面点和关于该用户或一般用户的角膜形状的其他信息来确定角膜的3D重建。在一些具体实施中，使用单个闪光来确定角膜中心。

在框640处，方法600确定眼睛的瞳孔中心或眼睛的眼球中心。在一些具体实施中，基于在相同或不同传感器处检测到的从瞳孔/虹膜反射的环境光来确定瞳孔中心(例如，虹膜的中心)。在一些具体实施中，基于来自另一漫射光源的反射光来确定瞳孔中心(例如，虹膜的中心)。在一些具体实施中，通过基于随时间推移而检测到的角膜点并且基于眼球将已经相对于先前确定的眼球位置(例如，在先前的某个时刻)移动很少或根本没有移动(例如，眼球是缓慢改变或准静止的)的假设来拟合球体而确定眼球中心。

在框650处，方法600通过确定从瞳孔中心穿过角膜中心的方向或从眼球中心穿过角膜中心的方向来确定注视方向。在一些具体实施中，基于角膜中心、瞳孔中心和眼球中心来确定注视方向。

在一些具体实施中，方法600使用相干或非常窄的光束光源和扫描仪/编码器机制而不是全向光源，以仅在由编码器测量的窄角下产生闪光。通过编码器测量入射照明光线允许利用单个闪光来确定角膜的3D位置。使用此类技术可以减少光源的数量，所述光源可以以其他方式被要求产生闪光和/或简化选择性设计和注视跟踪部件的集成，例如在HMD中。使用窄束照明可以减少可能需要的功率消耗。使用扫描仪/编码器允许利用单个相机测量闪光深度，此外，还允许角膜表面的3D重建以便提高注视精度，以及在不需要知道角膜半径的情况下确定角膜中心。

在一些具体实施中，方法600基于使用事件相机识别的一个或多个闪光来检测角膜中心。使用事件相机来识别闪光可以提供优于仅依赖于基于快门的(例如，基于帧的)相机数据的技术的优点。事件相机可能以非常高的采样率捕获数据，并且因此与使用基于快门的相机相比允许以更快的速率识别闪光。在一些具体实施中，创建的图像(例如，强度重建图像)可以模拟来自基于极快快门的相机的数据，而没有这种相机的高能量和数据要求。由于事件相机不会为每个事件收集/发送整个帧，因此它产生相对稀疏的数据。然而，随时间推移可以累积稀疏数据以提供在注视方向确定中可用作输入的密集输入图像。结果可以是使用更少数据和计算资源来实现的更快注视跟踪。此外，快速读出相机诸如事件相机可以允许将角膜位置锁定跟踪为传感器上的闪光位置与由扫描仪/编码器测量的角度之间的反馈回路；这可以防止每次眼睛显著移动时不得不重复光束的扫描模式以找到眼睛的位置。

在一些具体实施中，基于附加信息来跟踪用户的注视。例如，当用户基于一种假设来选择UI项目时可以确定HMD屏幕上显示的UI项目的选择与注视方向之间的对应关系，所述假设是当用户选择UI项目时正看向该UI项目。基于显示器上的UI元素的位置、显示器相对于用户的位置和当前瞳孔位置，可以确定与从眼睛到UI元素的方向相关联的注视方向。此类信息可以用于调整或校准使用方法600执行的注视跟踪。例如，它可以用于调整假定的角膜半径。

注视方向可用于多种目的。在一个示例中，将经确定或更新的注视方向用于识别显示器上显示的项目，例如，以识别用户正在看着哪个按钮、图像、文本或其他用户界面项目。在另一个示例中，已确定或更新的注视特性用于在显示器上显示图形指示符(例如，光标或其他用户控制的图标)的移动。在另一个示例中，已确定或更新的注视特性用于选择在显示器上显示的项目(例如，经由光标选择命令)。例如，可以将特定的注视移动模式识别并解释为特定的命令。

在一些具体实施中，同时对相同个体的两只眼睛执行注视跟踪。在其中捕获或导出两只眼睛的图像的具体实施中，系统可以确定或产生可用于确定两只眼睛的注视方向的会聚点的输出。可以附加地或另选地对系统进行配置以考虑特殊情况，诸如未对准的光轴。

在一些具体实施中，采用对注视方向的后处理。可以使用滤波和预测方法(例如，使用卡尔曼滤波器)来减小所跟踪的注视方向中的噪声。这些方法还可以用于随时间推移对注视方向进行内插/外推。例如，如果要求在与记录状态不同的时间戳的注视方向状态，则可以使用这些方法。

图6示出了使用漫射光源来示出注视跟踪的功能框图。在此示例中，眼睛702正在注视对象718。来自对象718的光穿过眼睛702并且在眼睛702的中央凹704上形成图像。在此示例中，示出了角膜710、虹膜708、眼球中心706、眼睛的节点720、瞳孔中心712、视轴726和光轴714。包括光源716和相机728的注视跟踪系统被用于跟踪注视方向。光源产生全向光，该全向光通过反射离开角膜710的表面来产生闪光722。相机728捕获包括瞳孔图像730和闪光图像732的图像。使用如图6所示的注视跟踪系统需要至少两个光源、相机以及已知或假定的角膜半径来测量角膜710位置。如果不假设角膜半径是恒定的，则需要至少两个相机。

这些问题在图7中示出。图7示出了在使用漫射光源进行注视跟踪时可以识别多个可能的角膜位置810a、810b。基于单个闪光，角膜位置可以是沿路径800的任何位置。

相反，图8和图9使用具有扫描仪916的定向光源，并且可以基于单个闪光来识别角膜的实际位置。基于扫描仪916的角度来识别适当的角膜位置。在图8中，扫描仪916的角度将角膜位置810a识别为适当的角膜位置，并且在图9中，扫描仪916的角度将角膜位置810b识别为实际角膜位置。

在一些具体实施中，角膜半径(例如，人类角膜半径平均值7.8mm)被假设并且用于确定角膜曲率的中心。图10示出了根据一些具体实施的基于假定的角膜半径而进行的注视跟踪。在此示例中，由来自由扫描仪916引导的光源的光束产生的闪光922在相机728处形成闪光图像932。闪光922和扫描仪916的角度用于确定闪光922位置。然后，使用闪光922位置来确定角膜中心920，所述位置位于闪光向量与入射光束角度(由扫描仪测量的)之间的平分向量上，并且距离3D闪光位置等于已知角膜(假定的平均或先前测量的)半径。还例如使用对由相机728获取的图像数据进行的图像处理来确定瞳孔中心712。例如，基于确定虹膜708的中心。这些示例中的注视方向950被确定为从角膜中心920穿过瞳孔中心712的向量。

在一些具体实施中，使用多个光源和/或扫描仪来确定角膜的中心。图11示出了示出以已知角度使用两个可变角度光源(例如，扫描仪916a和916b)进行注视跟踪的功能框图。在此示例中，由来自由扫描仪916a引导的光源的光束产生的第一闪光在相机728处形成闪光图像932a。闪光和扫描仪916a的角度用于确定角膜点a 1210a。由来自由扫描仪916b引导的光源的光束产生的第二闪光在相机728处形成闪光图像932b。闪光和扫描仪916b的角度用于确定角膜点a 1210b。然后可以使用角膜点916a、916b来确定角膜中心920。角膜中心920可以以高准确度确定，并且不需要假设一个标准角膜半径，例如通过找到两个平分法线的交叉点或最近点。

在一些具体实施中，可以基于眼球中心不移动的假设(或测量)来执行注视跟踪，使得可以在不检测瞳孔的情况下确定注视方向。图12示出了根据一些具体实施的基于眼球中心而进行的注视跟踪。在此示例中，通过在角膜中心移动上拟合球体来确定眼球中心1310。然后可以通过确定从眼球中心1310穿过角膜中心920的向量来确定注视方向1350。

在一些具体实施中，可以使用两个扫描仪来确定角膜中心，并且使用瞳孔中心或眼球中心来确定注视方向。例如，图13示出了示出使用已知位置处的两个可变角度光源(例如，扫描仪916a，916b)进行注视跟踪的功能框图。基于来自由扫描仪916a、916b引导的光源的闪光和由编码器测量的扫描仪916a、916b的角度来确定角膜中心920。还例如使用对由相机728获取的图像数据进行的图像处理来确定瞳孔中心712。例如，基于确定虹膜的中心。注视方向1350被确定为从角膜中心920穿过瞳孔中心712的向量。

本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中，没有详细地介绍普通技术人员已知的方法、装置或系统，以便不使要求保护的主题晦涩难懂。

除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“识别”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。

本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件将计算系统从通用计算装置编程或配置为实现本发明主题的一种或多种具体实施的专用计算装置。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。

本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合和/或分成子块。某些框或过程可以并行执行。

本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。

Claims (20)

1.一种方法，包括：

在具有处理器的电子设备处：

经由光源产生光束，其中所述光束随时间在多个方向上移动，并且当在所述多个方向中的第一方向上产生所述光束时，

在传感器处接收来自眼睛的一部分的反射；基于由所述传感器产生的数据来确定所述反射的第二方向；

基于所述光束的所述第一方向和所述反射的所述第二方向来确定所述眼睛的角膜中心；

确定所述眼睛的瞳孔中心或所述眼睛的眼球中心；以及通过确定从所述瞳孔中心穿过所述角膜中心的方向或从所述眼球中心穿过所述角膜中心的方向来确定注视方向。

2.根据权利要求1所述的方法，其中使用单个闪光来确定所述角膜中心。

3.根据权利要求1所述的方法，其中通过确定从所述瞳孔中心穿过所述角膜中心的方向来确定所述注视方向。

4.根据权利要求3所述的方法，其中基于从所述眼睛反射并且在所述传感器或第二传感器处检测到的环境光来确定所述瞳孔中心。

5.根据权利要求3所述的方法，其中基于来自漫射光源的在所述传感器或第二传感器处检测到的光来确定所述瞳孔中心。

6.根据权利要求1所述的方法，其中通过根据基于眼球位置的位置拟合球体来确定所述眼球中心。

7.根据权利要求1所述的方法，其中基于所述角膜上的点来确定所述眼球中心，所述点是基于来自所述光源的光束的闪光随时间推移而检测到的。

8.根据权利要求1所述的方法，其中基于确定所述闪光的位置和平均或先前测量的角膜半径来确定所述角膜位置。

9.根据权利要求1所述的方法，其中基于由来自第二光源的第二光束产生的第二反射来确定所述角膜中心，其中通过确定所述角膜上的所述反射的位置和所述角膜上的所述第二反射的位置来确定所述角膜中心。

10.根据权利要求1所述的方法，还包括：

生成所述角膜的三维(3D)重建；以及

基于所述3D重建来确定所述角膜中心。

11.根据权利要求1所述的方法，其中所述光源是激光、垂直腔面发射激光器(VCSEL)、窄束光源或准直光源。

12.根据权利要求1所述的方法，还包括经由扫描仪将所述光束移动到所述眼睛上方。

13.根据权利要求12所述的方法，还包括在将所述光束移动到所述眼睛上方时跟踪所述光源的第一角度。

14.根据权利要求1所述的方法，还包括：

基于所述光源的所述第一方向来确定第一角度；

基于所述反射的所述第二方向来确定第二角度；以及

基于所述第一角度和所述第二角度来确定所述角膜的所述表面上的三维(3D)空间中的位置。

15.根据权利要求14所述的方法，还包括基于所述角膜的所述表面上的所述位置来确定所述角膜的中心。

16.根据权利要求1所述的方法，其中所述传感器是事件相机。

17.一种设备，包括：

光源；

扫描仪；

编码器；

基于像素的传感器；

非暂态计算机可读存储介质；和

一个或多个处理器，所述一个或多个处理器耦接到所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，所述程序指令在所述一个或多个处理器上执行时，使所述系统执行包括以下操作的操作：

经由所述扫描仪随时间推移在多个方向上产生光束；

当在所述基于像素的传感器处接收到来自眼睛的一部分的反射时，经由所述编码器对所述多个方向中的第一方向进行编码；

基于由所述传感器产生的像素数据来确定所述反射的第二方向；

基于所述光束的所述第一方向和所述反射的所述第二方向来确定所述眼睛的角膜中心；

确定所述眼睛的瞳孔中心或所述眼睛的眼球中心；以及

通过确定从所述瞳孔中心穿过所述角膜中心的方向或从所述眼球中心穿过所述角膜中心的方向来确定注视方向。

18.根据权利要求17所述的系统，其中所述基于像素的传感器是事件相机。

19.根据权利要求17所述的系统，其中所述光源是激光、垂直腔面发射激光器(VCSEL)、窄束光源或准直光源。

20.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储在计算机上计算机可执行的以执行操作的程序指令，所述操作包括：

经由光源产生光束，其中所述光束随时间在多个方向上移动，并且当在所述多个方向中的第一方向上产生所述光束时，在传感器处接收来自眼睛的一部分的反射；

基于由所述传感器产生的数据来确定所述反射的第二方向；

基于所述光束的所述第一方向和所述反射的所述第二方向来确定所述眼睛的角膜中心；

确定所述眼睛的瞳孔中心或所述眼睛的眼球中心；以及

通过确定从所述瞳孔中心穿过所述角膜中心的方向或从所述眼球中心穿过所述角膜中心的方向来确定注视方向。

Images