CN108475109B - 眼睛姿态跟踪 - Google Patents

Abstract

本发明描述了包括在计算机存储介质上编码的计算机程序的用于眼睛姿态识别的方法、系统和装置。在一个方面，一种方法包括：获得表示光电探测器对从眼睛反射的光信号的测量结果的电信号，并且基于由所述光电探测器生成的所述电信号和参考信号之间的相位差来确定所述眼睛的深度图。此外，所述方法包括基于所述深度图来确定表示所述眼睛的凝视的凝视信息，并且提供表示所述凝视信息的输出数据。

Description

眼睛姿态跟踪

相关申请的交叉引用

本申请要求于2016年11月22日提交的名称为“EYE GESTURE TRACKING(眼睛姿态跟踪)”的美国专利申请No.15/359,460的权益，该申请是于2016年8月4日提交的名称为“GERMANIUM-SILICON LIGHT SENSING APPARATUS(锗硅光敏器件)”的美国专利申请No.15/228,282的部分继续申请并且要求该申请的权益，这两个申请都要求于2016年7月15日提交的美国临时申请No.62/363,179的权益。美国专利申请No.15/228,282要求以下美国临时专利的权益：No.62/200,652，于2015年8月4日提交；No.62/209,349，于2015年8月25日提交；No.62/210,946，于2015年8月27日提交；No.62/210,991，于2015年8月28日提交；No.62/211,004，于2015年8月28日提交；No.62/217,031，于2015年9月11日提交；No.62/251,691，于2015年11月6日提交；以及No.62/271,386，于2015年12月28日提交。这些在先申请均以引用的方式全文并入本文。

背景技术

本说明书整体涉及眼睛姿态跟踪。

可将光朝向眼睛引导，并且可观察到反射光。可以处理反射光以确定与眼睛有关的信息。

发明内容

在一些具体实施中，一种眼睛姿态跟踪方法可用于确定眼睛的凝视信息。眼睛姿态跟踪方法可以包括解调从眼睛反射的被调制光信号。可以处理解调信号以生成眼睛的深度图并进一步确定眼睛的凝视信息。眼睛的凝视信息可以包括表示例如眼睛的瞳孔或虹膜的信息，这些信息继而可用于各种应用，诸如确定用户偏好数据、视觉地控制人机交互装置、提供跨平台外设控制等。另外，通过跟踪眼睛的姿态，可以使用对应的眼睛凝视信息来实时重新聚焦可调谐光学元件，以改变入射到眼睛上的光，从而形成例如没有令人恶心的观看体验。眼睛姿态跟踪方法也可以用在各种平台上，通过动态重新聚焦的光学元件提供增强的观看体验，从而提供例如三维(3D)小凹成像。

在本说明书中描述的主题的一个创新方面体现在包括以下动作的方法中：获得表示光电探测器对从眼睛反射的光信号的测量结果的电信号，并且基于由光电探测器生成的电信号和参考信号之间的相位差来确定眼睛的深度图。此外，该方法可以包括以下动作：基于深度图来确定表示眼睛凝视的信息，并且提供表示凝视信息的输出数据。

这方面和其他方面的其他具体实施包括对应的系统、装置和计算机程序，被配置为执行方法的动作，并且在计算机存储设备上编码。

具体实施各自可任选地包括下列特征中的一个或多个。例如，该方法可以包括对从眼睛反射的光信号提供一个或多个滤波器，以去除非目标波长信号。另外，该方法可以包括对从眼睛反射的光信号提供一个或多个透镜，以将光信号聚焦到光电探测器。深度图可以包括3D信息的一个或多个数据集。凝视信息可以包括识别眼睛的以下各项中的一项或多项：特定区域、瞳孔、虹膜或生理结构。在一些方面，提供表示凝视信息的输出数据包括将表示凝视信息的输出数据作为输入数据提供给另一设备、机器或系统。

该方法可以包括基于凝视信息确定眼睛姿态并提供表示眼睛姿态的输出数据。在这种情况下，眼睛姿态可以包括眼睛的以下各项中的一项或多项：移动、旋转、稳定状态及其持续时间、闭眼状态及其持续时间、睁眼状态及其持续时间、眨眼状态及其持续时间或其频率。此外，提供表示眼睛姿态的输出数据可以包括将表示凝视信息的输出数据作为输入数据提供给另一设备、机器或系统。

在某些方面，从眼睛反射的光信号由被调制信号偏置的一个或多个光源生成，该调制信号与参考信号同步。该方法可以包括生成垂直于与眼睛相切的平面的虹膜矢量并基于深度图和虹膜矢量来确定表示眼睛凝视的信息。该方法还可以包括在与眼睛相切的平面上生成眼睛的瞳孔位置并基于深度图和瞳孔位置来确定表示眼睛凝视的信息。

本公开的另一个创新方面可体现在包括具有显示器的机器的系统中，该显示器包括多个可调谐光学元件。该系统还可以包括具有电路的设备，该电路被配置为获得表示光电探测器对从眼睛反射的光信号的测量结果的电信号。该电路可被进一步被配置为基于参考信号和由光电探测器生成的电信号之间的相位差来确定眼睛的深度图，并且基于深度图来确定表示眼睛凝视的信息。另外，该系统可以包括与机器和设备通信的一个或多个处理器，所述一个或多个处理器包括存储指令的一个或多个存储设备，所述指令在由一个或多个处理器执行时是可操作的，使得所述一个或多个处理器执行包括以下步骤的操作：从设备接收表示凝视信息的输出数据；并确定表示眼睛相对于机器的显示器凝视的信息。

在一些方面，操作还可包括确定眼睛在显示器上聚焦的特定位置，该特定位置基于表示眼睛相对于显示器凝视的信息以及在显示器上的特定位置处提供指示。操作可以包括确定眼睛在显示器上聚焦的特定位置，该特定位置基于表示眼睛相对于显示器凝视的信息以及在显示器上的特定区域处提供小凹图像。多个可调谐光学元件可以包括可调谐元件或可调谐镜。在这种情况下，基于表示眼睛相对于显示器凝视的信息来激活对多个可调谐光学元件的子集的调谐。此外，对多个可调谐光学元件的子集的调谐可以包括动态地重新聚焦入射在多个可调谐光学元件的子集上的光。

该系统可以包括联接到机器、设备和一个或多个处理器以形成集成硬件包的可穿戴设备，机器的显示器是不透明的，其中可视图像通过光源阵列中的一个或多个光源在所述显示器上显示。在某些方面，系统可以包括联接到机器和设备以形成集成硬件包的可穿戴设备，机器的显示器是不透明的，其中可视图像通过光源阵列中的一个或多个光源在显示器上显示，所述一个或多个处理器位于远程位置处并且经由无线或有线连接与集成硬件包进行通信。在其他方面，系统可以包括联接到机器、设备和一个或多个处理器以形成集成硬件包的可穿戴设备，机器的显示器对朝显示器投影的图像至少部分透明，由此朝显示器投影的图像的属性被显示器的多个可调谐光学元件中的一个或多个修改。

此外，系统可以包括联接到机器和设备以形成集成硬件包的可穿戴设备，机器的显示器对朝显示器投影的图像至少部分透明，由此朝显示器投影的图像的属性被显示器的多个可调谐光学元件中的一个或多个修改，所述一个或多个处理器位于远程位置处并且经由无线或有线连接与集成硬件包进行通信。该系统还可以包括联接到设备和一个或多个处理器以形成集成硬件包的可插拔设备，机器位于远程位置处并且经由无线或有线连接与集成硬件包进行通信，机器的显示器是不透明的，其中可视图像通过光源阵列中的一个或多个光源在显示器上显示。

在一些方面，系统可以包括联接到设备和一个或多个处理器以形成集成硬件包的可穿戴设备，机器位于远程位置处并且经由无线或有线连接与集成硬件包进行通信，机器的显示器是不透明的，其中可视图像通过光源阵列中的一个或多个光源在显示器上显示。在这种情况下，操作还可包括确定眼睛在显示器上聚焦的特定位置，该特定位置基于表示眼睛相对于显示器凝视的信息以及在显示器上的特定位置处提供指示。在某些方面，从眼睛反射的光信号由被调制信号偏置的光源生成，该调制信号与参考信号同步。

本公开的另一个创新方面可体现在包括用于调节焦距的多个可调谐光学元件的设备中。可穿戴设备还可以包括一个或多个处理器，所述一个或多个处理器包括存储指令的一个或多个存储设备，所述指令在由一个或多个处理器执行时是可操作的，使得所述一个或多个处理器执行包括以下步骤的操作：获得表示光电探测器对从眼睛反射的光信号的测量结果的电信号；基于参考信号和由光电探测器生成的电信号之间的相位差来确定眼睛的深度图。操作还可以包括基于深度图来确定表示眼睛凝视的信息，所述凝视信息表示眼睛相对于远程设备的显示器的凝视并基于凝视信息来激活对多个可调谐光学元件的子集的调谐。

有利的具体实施可以包括下列特征中的一个或多个。本公开的眼睛姿态跟踪方法可用于提供跨平台外设控制。跨平台外设控制可用于在多个设备之间交换信息。交换的信息可以包括眼睛姿态信息、对应于眼睛姿态信息的命令、眼睛的凝视位置等。与传统的眼睛跟踪方案相比，此类跨平台外设控制可用于扩展操作区域。这样，由于传统的眼睛跟踪方案仅限于特定设备的有限检测区域和定位，本公开的眼睛姿势跟踪方法提供了不像传统的眼睛跟踪方案那样受到约束的更大操作区域。此外，不止一个用户可同时将跨平台外设控制应用于多个设备，从而可以有效地创建用户对用户的交互。

此外，本公开的眼睛姿态跟踪方法可用于提供没有令人恶心的观看体验。在某些方面，眼睛姿态跟踪信息可用于光学系统，该光学系统根据眼睛姿态跟踪信息和已知的距离信息利用可调谐光学元件重新聚焦图像。可调谐光学元件调节眼睛入射光的角度以提供实时聚焦。基于本公开的眼睛姿态跟踪方法的实时聚焦可以通过保持用户的眼睛和大脑之间的一致深度感知来减少恶心的感觉。此外，眼睛姿态跟踪信息可用于控制形成小凹聚焦的可调谐光学元件的子集，其中呈现给观察者的图像中的各个区域的焦距可被控制为各不相同。不同于通过复杂的算法提供人造3D效果的传统小凹渲染，本公开的小凹聚焦通过简单的可调谐光学器件提供了自然3D效果。

本发明的一个或多个实施方案的细节在附图及下文的具体实施方式中进行说明。本发明的其他特征与优点将从具体实施方式、附图以及权利要求书中变得显而易见。

附图说明

图1A是眼睛姿态跟踪系统的示例性示意图。

图1B是飞行时间设备的示例性示意图。

图1C是飞行时间设备的示例性示意图。

图1D和图1E是用于确定用户的眼睛的特征的示例技术。

图1F是电荷收集的相位的示例性示意图。

图1G是光发射、检测和电荷收集的示例性示意图。

图1H是电荷收集期间的信号电压的示例性示意图。

图1I是电荷收集的偏移相位的示例性示意图。

图1J是光发射、检测和已相移的电荷收集的示例性示意图。

图1K是已相移的电荷收集期间的信号电压的示例性示意图。

图1L是飞行时间设备的示例性示意图。

图2A是使用眼睛姿态跟踪的跨平台外设控制系统的示例性示意图。

图2B是使用眼睛姿态跟踪的跨平台外设控制系统的示例性示意图。

图3A是使用眼睛姿态跟踪的可穿戴设备的示例性示意图。

图3B是使用透镜的光学图像重新聚焦系统的示例性示意图。

图3C是使用反射镜的光学图像重新聚焦系统的示例性示意图。

图4是使用眼睛姿态跟踪的可穿戴设备的示例性示意图。

图5A是附接到机器的独立眼睛姿态跟踪设备的示例性示意图。

图5B是封装在机器中的嵌入式眼睛姿态跟踪设备的示例性示意图。

图6是示出了用于眼睛姿态跟踪的过程的流程图。

图7是示出了用于基于眼睛姿态跟踪来调谐光学元件的过程的流程图。

图8是计算设备和移动计算设备的示例性示意图。

在各个附图中，相似的参考编号和名称表示相似的元件。

具体实施方式

眼睛姿态跟踪方法可用于确定与跟踪的眼睛有关的凝视信息。该方法可以包括照亮眼睛并检测来自眼睛的反射光信号，以跟踪眼睛的凝视方向和焦点。在与其他设备进行通信时，确定眼睛的凝视方向和焦点可能是有用的。例如，眼睛的凝视信息可用于向另一个设备提供一个或多个命令。在一些具体实施中，凝视信息和/或其他信息(如手势)可由嵌入到移动电话中的本文所述的系统来检测，并且移动电话可用作接收来自用户的命令并连接到其他设备诸如平板电脑、电视等以执行命令的遥控器。在某些具体实施中，凝视信息可以包括眼睛的姿态。这样，眼睛的姿态诸如移动、旋转、状态等可用于指示待提供给另一个设备的某些命令。在一些具体实施中，眼睛的凝视信息可用于确定眼睛的焦点位置，诸如眼睛在特定显示器上的聚焦位置。在这种情况下，眼睛的焦点相对于显示器的位置可用于采集指示用户的兴趣的信息。例如，如果在显示器上提供了广告，用户的眼睛的焦点相对于广告在显示器上提供的位置可用于确定用户感兴趣的内容。因此，眼睛凝视的位置以及例如眼睛保持该特定凝视的时长可有助于确定用户对在特定显示器上提供的内容的感兴趣水平。

在本公开的一些具体实施中，眼睛姿态跟踪方法可被结合到可穿戴设备和/或外围设备中。例如，可佩带设备可用于在眼睛处提供照明，并检测眼睛的反射光信号。可佩带设备可以包括诸如加速度计、陀螺仪或这两者的部件，以有助于跟踪眼睛和眼睛在特定显示器上的焦点，使得可以有效且持续地跟踪眼睛姿势。在某些具体实施中，可穿戴设备还可包括用于光路调节的可调谐光学元件。可调谐光学元件可以包括基于被跟踪的眼睛的移动或其缺乏移动的情况而被调节的反射镜和/或透镜。可调谐光学元件可用于提供实时动态聚焦和散焦以帮助眼睛观看具体对象或显示器。例如，当在虚拟现实(VR)或增强现实(AR)显示器上观看图像时，可调谐光学元件可用于解决调节和聚散之间的不一致性。在某些具体实施中，在与可佩带设备分开的远程设备中，可以在外部实现可佩带设备的部件。眼睛跟踪方法可用于提供特定于眼睛凝视的数据作为输出，并使用该输出在远程设备和/或可调谐光学元件处提供命令，以有助于各种观看体验。

图1A是眼睛姿态跟踪系统100的示例性示意图。眼睛姿态跟踪系统100可用于响应于生成眼睛的深度图而处理用户的眼睛的信息。眼睛姿态跟踪系统100包括用于跟踪用户的眼睛120的移动的眼睛姿态跟踪设备110、图形显示器130、用于处理在眼睛姿态跟踪设备110处检测到的眼睛数据的信号处理单元140以及任选地根据应用的性质为系统提供附加用户输入的控制台170。用户的眼睛120可以包括用户正在观看图形显示器130的单眼或双眼。

图形显示器130可以是计算机、膝上型电脑、台式计算机、电视、智能电话、平板电脑等设备上的一个或多个图形显示器。图形显示器130可以包括液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、头戴式显示器(HMD)等。在一些具体实施中，图形显示器130可以包括可调谐光学元件，诸如反射镜和/或可调谐透镜。在这种情况下，图形显示器130的可调谐光学元件可被配置为实时调节聚焦以及散焦，以帮助用户的眼睛120观看图形显示器130。

眼睛姿态跟踪设备110可以包括与信号处理单元140通信的一个或多个眼睛姿态跟踪设备。眼睛姿态跟踪设备110可以在用户的眼睛120处提供照明并接收用户的眼睛120的反射光信号。眼睛姿态跟踪设备110可以包括以一个或多个选定波长照亮用户的眼睛120的调制光源。调制光源可以包括由提供照明的射频(RF)或微波频率电压源调制的单个光发射器或多个光发射器。在一些具体实施中，光发射器可用于照亮用户的眼睛120的整个部分。在其他具体实施中，光发射器可用于照亮用户的眼睛120的选定部分。用于眼睛姿态跟踪系统100的一个或多个波长可以基于各种标准预先确定，例如，对人眼的非渗透性、海平面处的低太阳辐照度、眼睛安全性等。

在一些具体实施中，眼睛姿态跟踪设备110可以包括用于接收用户的眼睛120的反射光信号的一个或多个光电探测器。用户的眼睛120的反射光信号可以是由眼睛姿态跟踪设备110提供的调制光信号的反射。在某些具体实施中，眼睛姿态跟踪设备110可以通过一个或多个光电探测器检测反射的调制光信号。光电探测器可以采用在2016年10月31日提交的标题为“High-Speed Light Sensing Apparatus(高速感光装置)”的美国专利申请No.15/338,660和2016年8月4日提交的标题为“GERMANIUM-SILICON LIGHT SENSINGAPPARATUS(锗硅感光装置)”的美国专利申请No.15/228,282中描述的技术来实现。

信号处理单元140可以包括与图形显示器130和眼睛姿态跟踪设备110通信的一个或多个信号处理单元。信号处理单元140可被配置为经由对应于眼睛姿态跟踪设备110和图形显示器130的数据来确定用户的眼睛120的凝视信息150。眼睛姿态跟踪设备110可被配置为解调反射的调制光信号。此外，眼睛姿态跟踪设备110可被配置为创建用户的眼睛120的照亮部分的深度图。深度图可以对应于由眼睛姿态跟踪设备110的光电探测器检测到的反射光信号。具体地讲，深度图可以提供与用户的眼睛120有关的二维(2D)和三维(3D)信息。信号处理单元140可以根据表示反射光信号的飞行时间信息的数据来处理深度图。在一些具体实施中，深度图可以基于反射光信号和参考信号之间的相位差。例如，眼睛姿态跟踪设备110可以提供反射光信号与参考信号之间的比较，并且可用于确定用户的眼睛120的深度图。深度图还可包括表示用户的眼睛120的3D模型。这样，可以生成并构建3D眼睛模型，从而允许信号处理单元140确定用户的眼睛120的凝视信息150。

信号处理单元140可位于用户的眼睛120附近。例如，信号处理单元140和眼睛姿态跟踪设备110可以在位于靠近用户的眼睛120的附近位置处的单个可佩带设备中实现。信号处理单元140和眼睛姿态跟踪设备110也可以在位于远离用户的眼睛120的远程位置处的单个外围设备中实现。在其他具体实施中，信号处理单元140可以与眼睛姿态跟踪设备110分开定位。例如，信号处理单元140可以位于图形显示器130处并且与在单个可穿戴或外围设备中实现的眼睛姿态跟踪设备110通信。

凝视信息150可以包括诸如用户的眼睛凝视方向和焦点的信息。凝视信息150可由信号处理单元140相对于由眼睛姿态跟踪设备110接收到的光信号来确定。凝视信息150可用于分析用户的眼睛行为。此外，凝视信息150可用于识别用户的眼睛120的焦点相对于显示器130的位置。在这种情况下，凝视信息150可用于确定显示器130上显示的用户的眼睛120所聚焦的特定项目。因此，可以确定用户的兴趣而不需要物理致动特定设备。例如，广告供应商可以仅基于用户的眼睛120来确定用户的兴趣，而不需要经由计算机鼠标、计算机触控板、触摸屏等进行激活/检测。在其他情况下，物理致动特定设备可用于执行用户和系统交互的某些功能。由于系统和用户之间交互的复杂性增加，利用此类设备可提高效率。例如，战斗机飞行员可利用眼睛凝视信息150在显示器130上识别/选择所关注的目标，并使用控制台170对所关注的目标执行任务，诸如目标获取、目标优先级分配、武器选择等。

在一些具体实施中，凝视信息150可用于指示待提供给另一个设备的命令。在这种情况下，凝视信息150可以包括下述眼睛姿态，诸如移动、旋转、闭眼状态、睁眼状态、它们的任何持续时间等。接收凝视信息150的设备可实时分析凝视信息150，以在眼睛姿态跟踪设备110动态跟踪用户的眼睛120时确定命令。

眼睛姿态跟踪设备110、图形显示器130和信号处理单元140可以是独立的结构，或者在集成硬件包中联接在一起。例如，眼睛姿态跟踪设备110、图形显示器130和信号处理单元140可被集成在单个硬件包中，其中图形显示器130的显示器是不透明的，并通过生成可见光的发光二极管阵列、过滤白光的液晶或任何其他光源阵列在显示器上显示可视图像。在一些具体实施中，图形显示器130的显示器至少部分透明，并通过光学折射、衍射、反射、引导或其他光学手段将可视图像投影到显示器上。

在另一个示例中，眼睛姿态跟踪设备110和信号处理单元140可以集成在单个硬件包诸如可穿戴设备中。可穿戴设备可以是耳机、一副眼镜或任何其他合适的可穿戴设备。在这种情况下，可穿戴设备与其中嵌入图形显示器130的主机或机器通信。此外，包含图形显示器130的主框架或机器可以经由无线或有线连接与可穿戴设备通信。

在另一个示例中，眼睛姿态跟踪设备110和信号处理单元140可以集成在单个硬件包诸如可插拔设备中。可插拔设备可以是游戏机、便携式摄像机或任何其他合适的可插拔设备。在这种情况下，可插拔设备与其中嵌入图形显示器130的主机或机器通信。此外，包含图形显示器130的主框架或机器可以经由无线或有线连接与可插拔设备通信。

图1B是飞行时间设备的示例性示意图。飞行时间设备可以被集成到眼睛姿态跟踪设备110中，并且可以被用来确定用户的眼睛120的深度图。图1B的飞行时间设备包括飞行时间(TOF)像素160和两组晶体管。如图1B所示，每组晶体管可以包括三个开关晶体管(3T)，即复位晶体管162a或162b，源极跟随器晶体管164a或164b，以及选择晶体管166a或166b。在一些其他具体实施中，可以使用晶体管的其他布置来实现类似的功能。TOF像素160可以是用于检测光的一个或多个TOF像素。当TOF像素160检测到光时，TOF像素确定电荷是应当由第一组晶体管还是第二组晶体管处理。在一些方面，接收的光信号相对于发射的光信号可能是异相的。在这种情况下，TOF像素可以被设计成双开关TOF像素，使得一个开关被同相调制并且另一个开关被相对于发射的光信号180度异相地调制，以适应所接收的异相光信号。双开关TOF像素可以采用在2016年10月31日提交的标题为“High-Speed Light SensingApparatus(高速感光装置)”的美国专利申请No.15/338,660和2016年8月4日提交的标题为“GERMANIUM-SILICON LIGHT SENSING APPARATUS(锗硅感光装置)”的美国专利申请No.15/228,282中描述的技术来实现。

在某些方面，这两组晶体管可以在单个晶片上与TOF像素160一起制造。在这种情况下，这两组晶体管可以共享并占据与TOF像素160相同的光照区域，由此减小TOF设备的有效填充因子。这两组晶体管可以通过NMOS栅极来实现。NMOS栅极用于减小晶体管并且由此减小TOF设备的尺寸。这两组晶体管也可以通过PMOS栅极来实现。PMOS栅极用于增大某些操作参数，诸如提供更大的可用电压余量空间。晶体管组的PMOS和NMOS实现将在本文中进一步讨论。

图1C是飞行时间设备的示例性示意图。图1C的TOF设备包括经由管芯或晶片键合167结合在一起的第一晶片和第二晶片。第一晶片可以包括在第一晶片上制造的TOF像素165。TOF像素165可用于检测光脉冲信息。第二晶片可以是包括两组晶体管的电路晶片169。当在TOF像素165上检测到光脉冲信息时，电路晶片169可用于处理电荷。在某些具体实施中，电路晶片169的晶体管不占据光照区域，从而增大了TOF设备的有效填充因子。

这两组晶体管可以通过NMOS或PMOS栅极来实现。例如，这两组晶体管中的每一组可以通过阈值电压为0.7伏的NMOS栅极来实现。在这种情况下，当以3.3伏提供栅极电压时，在NMOS栅极导通时可以获得约2.6伏的最大源极电压。因此，当NMOS用作复位晶体管时，施加到TOF像素的复位电压只能与2.6伏一样高，导致更小的电压余量空间。相比之下，另一个示例可以包括以负阈值电压为-0.8伏的PMOS栅极实现的这两组晶体管中的每一组。在这种情况下，当以0伏提供栅极电压时，在PMOS栅极导通时可以获得约3.3伏的最大源极电压。因此，当PMOS用作复位晶体管时，施加到TOF像素的复位电压可以与3.3伏一样高，导致更大的电压余量空间。

因此，当通过PMOS栅极实现时，这两组晶体管可以产生更大的可用电压余量空间。PMOS实现的这一方面可部分归因于负阈值电压。此外，当PMOS作为开关导通并通过其值接近电源电压的电压时，PMOS实现可以产生更小的阻抗。这样，这两组晶体管的PMOS实现提供了TOF设备的操作益处，然而，PMOS栅极的物理面积大于NMOS栅极的物理面积，因此PMOS实现需要物理上较大的TOF设备才能提供这样的实现。如图1C所示，当TOF像素和PMOS电路在两个单独的晶片上实施、随后进行晶片或管芯键合以电连接这两个单独的晶片或管芯时，可以解决上述问题。在一些具体实施中，如图1B和1C中所示的TOF像素可以包括包含锗的光吸收层。在一些具体实施中，如图1B和图1C所示的TOF像素还包括由双开关晶体管或多个PN结实现的解调功能，以实现解调功能。双开关TOF像素可以采用在2016年10月31日提交的标题为“High-Speed Light Sensing Apparatus(高速感光装置)”的美国专利申请No.15/338,660和2016年8月4日提交的标题为“GERMANIUM-SILICON LIGHT SENSING APPARATUS(锗硅感光装置)”的美国专利申请No.15/228,282中描述的技术来实现。

图1D示出了用于确定用户的眼睛120的特征的一个示例性技术。眼睛姿态跟踪设备110可以发射光脉冲，此脉冲以频率f_m调制，占空比为50％。眼睛姿态跟踪设备110可以接收具有相位差Φ的反射光脉冲。可以对光电二极管进行控制，由此使得读取电路1读取所收集的相位与发射的光脉冲同步的电荷Q₁，读取电路2读取所收集的相位与发射的光脉冲相反的电荷Q₂。在一些具体实施中，眼睛姿态跟踪设备110与用户的眼睛120的一个点之间的距离D可使用以下公式推导：

其中c是光的速度。眼睛姿态跟踪设备110可以扫描用户的眼睛120以获得用户的眼睛120的深度分布。

图1E示出了用于确定用户的眼睛120的特征的另一个示例性技术。眼睛姿态跟踪设备110可以发射光脉冲，此脉冲以频率f_m调制，占空比小于50％。通过将光脉冲的信噪比减小N倍，但同时将光脉冲的强度增加N倍，可以改善所接收的反射光脉冲的信噪比，同时维持用于眼睛姿态跟踪设备110的基本相同的功耗。在装置带宽增加使得可以在不使脉冲形状发生变形的情况下缩短光脉冲的占空度时，这是可以实现的。眼睛姿态跟踪设备110可以接收具有相位差Φ的反射光脉冲。可以对光电二极管进行控制，由此使得读取电路1读取所收集的相位与发射的光脉冲同步的电荷Q₁’，读取电路2读取所收集的相位比发射的光脉冲延迟的电荷Q₂’。在一些具体实施中，眼睛姿态跟踪设备110与用户的眼睛120的一个点之间的距离D可使用以下公式推导：

图1F是电荷收集的相位的示例性示意图。电荷收集的相位表示其中光脉冲被发射以及电荷被眼睛姿态跟踪设备110收集时的相位。电荷收集的相位包括0度相位、90度相位、180度相位和270度相位，以及可控相移

可在眼睛姿态跟踪设备110发射的光脉冲与眼睛姿态跟踪设备110接收的光脉冲之间观察到相位差Φ。在一些具体实施中，相位差Φ由于用户的眼睛120和眼睛姿态读取设备110之间的距离而发生。小的相位差可使眼睛姿态跟踪设备110难以有效地检测用户的眼睛120的姿态识别、用户的眼睛120的标测等。因此，向收集的电荷添加相移

可以是有益的，使得可以有效地执行眼睛姿态识别。

图1G是光检测和电荷收集的示例性示意图。光检测和电荷收集包括光发射、光检测和在眼睛姿态读取设备110处的电荷收集的时步。在时步中的每个处，收集数据以表示接收到的光、在0度相位收集的电荷、在90度相位收集的电荷、在180度相位收集的电荷和在270度相位收集的电荷。每个相位的电荷收集可以指示在收到的相位中的每个收集的电荷的数量。在这种情况下，在每个相位的每个时步收集的电荷量可影响眼睛姿态读取设备110在标测用户的眼睛120时的准确度。

例如，眼睛姿态跟踪设备110可以发射光脉冲，此脉冲以频率f_m调制，占空比为50％。眼睛姿态跟踪设备110可以接收具有相位差Φ的反射光脉冲。可以控制TOF像素，由此使得眼睛姿态跟踪设备110的第一读出电路读取处于与发射光脉冲同步的相位(因此对应于0度相位)的收集电荷Q0。眼睛姿态跟踪设备110还可以包括第二读出电路，其读取处于与发射光脉冲相反的相位(诸如180度相位)的收集电荷Q180。在另一个时步中，控制TOF像素，由此使得第一读出电路读取相对于发射光脉冲处于正交相位(诸如90度相位)的收集电荷Q90。在这种情况下，第二读出电路可以读取相对于发射光脉冲处于另一正交相位(诸如270度相位)的收集电荷Q270。在一些具体实施中，眼睛姿态跟踪设备110与用户的眼睛120之间的距离D可使用以下两个公式推导：

或者

再次参见图1G，在由眼睛姿态跟踪设备110发射的光脉冲与由眼睛姿态跟踪设备110接收的光脉冲之间的相位差Φ小的情况下，0度相位的电荷收集在所提供的时步上是最大的，并且180度相位的电荷收集在所提供的时步中是最小的。电荷收集的这种大的差异可能影响整个电荷收集的准确度。因此，通过减小每个相位的电荷收集差异，引入相移

可有助于眼睛姿态检测，以实现用户的眼睛120的更准确的深度图。

图1H是电荷收集期间的信号电压的示例性示意图。电荷收集期间的信号电压示出了多个相位的信号电压随时间推移的变化。具体而言，图1H示出了0度相位、90度相位、180度相位和270度相位的信号电压的变化。每个相位的信号电压随时间推移的降低表示在一段时间内针对特定相位存储的电荷量。如图1H所示，180度相位的信号电压比0度相位的信号电压高得多。因此，180度相位包括比0度相位的电荷存储速率更低的电荷存储速率。在这种情况下，由于不同相位的电荷存储速率之间的差异，眼睛姿态跟踪设备110对用户的眼睛120的检测准确度可能受到负面影响。因此，可能是有益的是，在接收到的光信号中包括相移

以帮助电荷收集，使得可以执行用户的眼睛120的更准确的深度图。

图1I是电荷收集的偏移相位的示例性示意图。电荷收集的偏移相位包括45度相位、135度相位、225度相位和315度相位。可在眼睛姿态跟踪设备110发射的光脉冲与眼睛姿态跟踪设备110接收的光脉冲之间观察到相位差Φ。在一些具体实施中，相位差Φ由于用户的眼睛120和眼睛姿态读取设备110之间的距离而发生。小的相位差可使眼睛姿态跟踪设备110难以有效地检测用户的眼睛120的姿态识别、用户的眼睛120的标测等。因此，在图1I中示出了对收集电荷的45度的相移

使得所有相位可以偏移相同的45度相移

图1J是光检测和已相移的电荷收集的示例性示意图。光检测和已相移的电荷收集包括光发射、光检测和在眼睛姿态读取设备110处的电荷收集的时步。在时步中的每个处，收集数据以表示接收到的光、在45度相位收集的电荷、在135度相位收集的电荷、在225度相位收集的电荷和在315度相位收集的电荷。每个相位的电荷收集可以指示在收到的相位中的每个收集的电荷的数量。在这种情况下，在每个相位的每个时步收集的电荷量可影响眼睛姿态读取设备110在标测用户的眼睛120时的准确度。

例如，眼睛姿态跟踪设备110可以发射光脉冲，此脉冲以频率f_m调制，占空比为50％。眼睛姿态跟踪设备110可以接收具有相位差Φ的反射光脉冲。可以控制TOF像素，由此使得眼睛姿态跟踪设备110的第一读出电路读取相对于发射光脉冲处于偏移相位(诸如45度相位)的收集电荷Q45。眼睛姿态跟踪设备110还可以包括第二读出电路，其读取相对于发射光脉冲处于偏移相位(诸如225度相位)的收集电荷Q225。在另一个时步中，控制TOF像素，由此使得第一读出电路读取相对于发射光脉冲有135度相移的收集电荷Q135。在这种情况下，第二读出电路可以读取相对于发射光脉冲有315度相移的收集电荷Q315。在一些具体实施中，眼睛姿态读取设备110与用户的眼睛120之间的距离D可使用以下两个公式推导：

或者

再次参见图1J，在由眼睛姿态跟踪设备110发射的光脉冲与由眼睛姿态跟踪设备110接收的光脉冲之间的相位差Φ小的情况下，在45度相位和225度相位收集的电荷在所提供的时步上更接近。与图1G相比，其中电荷收集不是以相移

执行的，并且在0度相位和180度相位收集的电荷相当不同，相比之下，图1J的已相移的电荷收集由于每个相位的电荷收集差异较小而提供更高的眼睛标测性能。由于电荷收集的差异可影响整个电荷收集的准确度，所以通过减小每个相位的电荷收集差异可有助于眼睛姿态检测，以实现用户的眼睛120的更准确的深度图。

图1K是已相移的电荷收集期间的信号电压的示例性示意图。已相移的电荷收集期间的信号电压示出了多个相位的信号电压随时间推移的变化。具体而言，图1K示出了45度偏移相位、135度偏移相位、225度偏移相位和315度偏移相位的信号电压的变化。每个相位的信号电压随时间推移的降低表示在一段时间内针对特定相位存储的电荷量。如图1K中所示，与图1H所示的信号电压降的更不同的平均速率相比，偏移相位的信号电压包括更相似的信号电压降的平均速率。偏移相位的信号电压的下降速率的相似性可以实现眼睛姿态检测和用户的眼睛标测的更高准确度。因此，可能是有益的是，在电荷收集中包括相移

以帮助电荷收集，使得可以执行对用户的眼睛120的更准确的读取。

图1L是TOF设备的示例性示意图。TOF设备包括TOF像素190、两个电容器192a和192b，以及两组晶体管194和196。每组晶体管可以包括五个开关晶体管(5T)。在一些其他具体实施中，可以使用晶体管的其他布置来实现类似的功能。TOF像素190可以是用于检测光的一个或多个TOF像素。由TOF像素190生成的电荷可以由两个电容器192a和192b收集。可以通过NMOS、PMOS或NMOS和PMOS的任何组合来实现的晶体管M1～M4用于通过重置共模电荷并将共模电压连接到VREF来重新分配收集的电荷。电压VREF可以是TOF设备190的工作电压或预定电压，具体取决于设计约束。可以通过NMOS、PMOS或NMOS和PMOS的任何组合来实现的晶体管M5和M6用于重置收集的电荷并将它们连接到VREF2。电压VREF2可以是与VREF相同的电压、TOF设备190的工作电压或预定电压，具体取决于设计约束。

图2A是使用眼睛姿态跟踪的跨平台外设控制系统的示例性示意图。使用眼睛姿态跟踪的跨平台外设控制系统可以包括可穿戴设备，诸如耳机201，以及与耳机201通信的连接的设备，诸如电话220、平板电脑230、计算设备240和/或电视机250。耳机201可以由用户的一双眼睛216A和/或216B用于查看连接的设备诸如电话220、平板电脑230、计算设备240和/或电视机250。耳机201可以包括用于跟踪用户的第一眼睛216A和第二眼睛216B中的一个的姿态的眼睛跟踪姿态设备和在眼睛跟踪模块213中实现的信号处理单元，用于确定用户的头部位置的加速度计211和陀螺仪212，用于与连接的设备诸如电话220和/或平板电脑230和/或计算设备240和/或电视机250进行通信的无线通信单元214，以及透明透镜218。在一些具体实施中，透明透镜218可以包括用于基于对用户的眼睛216A和/或216B的跟踪进行调节的一个或多个可调谐元件。

这里，眼睛跟踪模块213可以用于用光信号来照亮用户的眼睛216A，并且检测从用户的眼睛216A反射的光信号。检测到的光信号可以用于确定与用户的眼睛216A有关的凝视信息。凝视信息可以包括用户相对于连接的设备的显示器的凝视。凝视信息还可以包括与用户的眼睛216A的姿态相对应的命令。可以将眼睛姿态命令作为输入命令提供到连接的设备。在一些具体实施中，眼睛跟踪模块213可以用光信号照亮用户的眼睛216A和216B，并且检测从用户的眼睛216A和216B反射的光信号以确定双眼216A和216B的凝视信息。

加速度计211和陀螺仪212可用于检测用户的头部的取向。用户的头部的取向可用于有效确定凝视信息。此外，加速度计211和陀螺仪212可用于跟踪用户的头部的移动。因此，可以识别用户的任何可能的头部移动，使得根据用户的头部移动，凝视信息不被错误地表示。

无线通信单元214可用于经由网络在耳机201、电话220、平板电脑230、计算设备240和/或电视机250之间建立连接。网络可以包括Wi-Fi、蓝牙、蓝牙低功耗(BLE)、局域网(LAN)等。

透明透镜218可用于帮助用户的眼睛216A和216B查看电话220、平板电脑230、计算设备240和/或电视机250的显示器。透明透镜218可以包括可以基于表示对用户的眼睛216A和216B的跟踪的已确定的凝视信息进行调谐的可调谐光学元件。在一些具体实施中，可以基于凝视信息来调谐透明透镜218的整体。在其他具体实施中，可以基于凝视信息来调谐透明透镜218的选定部分。例如，透明透镜218的可调谐光学元件的选定部分可被调谐，以提供电话220的显示器上的特定位置的小凹图像，在所述电话220处的特定位置是基于用户的眼睛216A和216B的凝视被导向到的显示器上的位置。

在一些具体实施中，电话220可以包括用于确定电话220的取向的加速度计221和陀螺仪222，以及用于与耳机201进行通信的无线通信单元224。电话220的加速度计221和陀螺仪222可以帮助跟踪电话220的位置以及移动。通过跟踪电话220的位置和移动，当将用户的焦点与电话220的位置进行比较时，耳机201可以有效地确定用户的眼睛216A和216B的凝视信息。电话220的位置和移动可以经由无线通信设备224从电话220传输到耳机201。

在一些具体实施中，平板电脑230可以包括用于确定平板电脑230的取向的加速度计231和陀螺仪232，以及用于与耳机201进行通信的无线通信单元234。平板电脑230的加速度计231和陀螺仪232可以帮助跟踪平板电脑230的位置以及移动。在跟踪平板电脑230的位置和移动时，耳机201可以有效地确定用户的眼睛216A的参考凝视点236。平板电脑230的位置和移动可以经由无线通信单元234从平板电脑230传输到耳机201。

计算设备240可以包括用于与耳机201通信的无线通信单元244。另外，电视机250可以包括用于与耳机201通信的无线通信单元254。

图2B是使用眼睛姿态跟踪的跨平台外设控制系统的示例性示意图。该跨平台外设控制系统可以包括可穿戴设备，诸如耳机202，以及与耳机202通信的连接的设备，诸如电话220、平板电脑230、计算设备240和/或电视机250。耳机202可以被用户的眼睛216A和216B用于查看连接的设备。耳机202可以包括用于跟踪用户的眼睛216A和216B的姿态的两个眼睛跟踪姿态设备和信号处理单元对，第一对在第一眼睛跟踪模块213A中实现，第二对在第二眼睛跟踪模块213B中实现，用于确定用户的头部位置的加速度计211和陀螺仪212，用于与连接的设备通信的无线通信单元214，包括一个或多个可调谐元件的第一透明透镜218A，以及包括一个或多个可调谐元件的第二透明透镜218B。

第一眼睛跟踪模块213A可以用于用光信号来照亮第一用户的眼睛216A，并且检测从第一用户的眼睛216A反射的光信号。检测到的光信号可以用于确定与第一用户的眼睛216A有关的凝视信息。凝视信息可以包括用户的第一眼睛相对于连接的设备的显示器诸如220、230、240和250的凝视。凝视信息还可以包括与第一用户的眼睛216A的姿态相对应的命令。可以将眼睛姿态命令作为输入命令提供到连接的设备。

第二眼睛跟踪模块213B可以用于照亮第二用户的眼睛216B，并且检测从第二用户的眼睛216B反射的光信号。检测到的光信号可以用于确定与第二用户的眼睛216B有关的凝视信息。凝视信息可以包括第二用户的眼睛216B相对于连接的设备的显示器的凝视。凝视信息还可以包括与第二用户的眼睛216B的姿态相对应的命令。可以将眼睛姿态命令作为输入命令提供到连接的设备。

第一透明透镜218A可以用于帮助第一用户的眼睛216A查看连接的设备的显示器。第一透明透镜218A可以包括可以基于表示对第一用户的眼睛216A的跟踪的已确定的凝视信息进行调谐的可调谐元件。在一些具体实施中，可以基于凝视信息来调谐第一透明透镜218A的整体。在其他具体实施中，可以基于凝视信息来调谐第一透明透镜218A的选定部分。例如，第一透明透镜218A的可调谐光学元件的选定部分可被调谐到计算设备240的显示器上的特定位置的小凹图像，在所述计算设备240处的特定位置是基于第一用户的眼睛216A所聚焦的显示器上的位置。

第二透明透镜218B可用于帮助第二用户的眼睛216B查看连接的设备。第二透明透镜218B可以包括基于表示对第二用户的眼睛216B的跟踪的已确定的凝视信息进行调谐的可调谐光学元件。在一些具体实施中，可以基于凝视信息来调谐第二透明透镜218B的整体。在其他具体实施中，可以基于凝视信息来调谐第二透明透镜218B的选定部分。例如，第二透明透镜218B的可调谐光学元件的选定部分可被调谐，以提供计算设备240的显示器上的特定位置的增强聚焦，在所述计算设备240处的特定位置是基于第二用户的眼睛216B所聚焦的位置。

在某些具体实施中，第一用户的眼睛216A和第二用户的眼睛216B可以聚焦在单个位置处。例如，用户的眼睛216A和216B可以包括位于计算设备240诸如膝上型电脑或台式电脑的显示器处的参考凝视246。虽然参考凝视246可以指向膝上型电脑或台式电脑的显示器上的单个点，但是可以基于第一用户的眼睛216A和第二用户的眼睛216B的已确定的凝视信息来独立地调谐第一透明透镜218A和第二透明透镜218B中的每一个的可调谐光学元件。

图3A是使用眼睛姿态跟踪的可穿戴设备300的示例性示意图。可穿戴设备300可以包括基于眼睛姿态跟踪提供光路调整的单视觉可穿戴设备。可穿戴设备300包括用户可以看穿或观看的透明或不透明屏幕310，用于调节在透明或不透明屏幕310处的光路的可调谐光学元件330，用于与远程设备通信的无线通信单元340，用于通过透明或不透明屏幕310或在透明或不透明屏幕310处投影2D视觉的图像投影仪350，以及用于跟踪用户的眼睛320A和320B的眼睛姿态并确定对应于用户的眼睛320A和320B中的每只眼的深度图的眼睛姿态跟踪模块360。

用户的眼睛320A和320B的凝视325可以由眼睛姿态跟踪模块360确定。在某些具体实施中，只有透明或不透明屏幕310的某些部分根据用户的眼睛320A和320B的凝视325来进行调谐。眼睛姿态跟踪模块360可以使用对应于凝视325的凝视信息来调谐透明或不透明屏幕310的选定部分，诸如多个可调谐光学元件330。可调谐光学元件330可被调谐，以调节穿过透明或不透明屏幕310的特定部分的特定光路的聚焦/散焦。可调谐光学元件330可以包括可调谐反射镜、可调谐透镜、可调谐光栅或任何其他合适的可调谐光学元件及其任何组合。可以基于与凝视325对应的凝视信息来调整可调谐光学元件330，使得可以在可穿戴设备300处提供实时聚焦/散焦。

可调谐光学元件330的实时聚焦/散焦可以用于解决观看显示器时的调节和聚散度之间的不一致性。例如，传统的VR体验可由于深度感知机制不一致而导致恶心之感。当用户的眼睛(调节)的焦点感觉到图像与显示器的距离相同，而用户的眼睛(聚散度)的会聚同时感觉到图像在不同的深度，因此产生了一种不一致的深度感知机制。由于调节和聚散度之间的不一致，用户感觉到的这些相互矛盾的感觉会导致恶心之感。

为了解决这种不一致的深度感知机制，除了其他不一致之外，本发明的眼睛跟踪方法可以在可穿戴设备诸如可穿戴设备300中实现。可穿戴设备300可以基于眼睛凝视信息重新聚焦光，以调节穿过透明或不透明屏幕310的选定部分或在透明或不透明屏幕310的选定部分处的眼睛入射光的角度。因此，透明或不透明屏幕310的可调谐光学元件330可以被配置为基于用户的眼睛320A和320B的已确定的凝视信息来重新聚焦光，从而提供对在某些观看体验期间调节和聚散度之间可能出现的不一致的解决办法。

图3B是使用透镜的光学图像重新聚焦系统的示例性示意图。使用透镜的光学图像重新聚焦系统示出了根据用户的眼睛的凝视信息使用透镜来重新聚焦对象错觉。

在使用透镜的光学图像重新聚焦系统的实例1中，用户的眼睛320正在通过介质诸如空气观看对象370，而不使用屏幕诸如VR显示器。用户的眼睛320可能没有正在透过透明透镜观看对象370。此外，用户的眼睛320正在观看真实对象370，而不是对象的虚拟表示。

在使用透镜的光学图像重新聚焦系统的实例2中，用户的眼睛320正在通过屏幕380观看对象错觉375。在这种情况下，图像投影仪可以通过屏幕380投影对象370的虚拟表示作为对象错觉375。在这种情况下，用户的眼睛320可能正在经历调节和聚散度之间的不一致。

在使用透镜的光学图像重新聚焦系统的实例3中，用户的眼睛320正在通过位于用户的眼睛320和屏幕380之间的透镜330观看对象错觉375。透镜330可以是用于重新聚焦对象错觉375的固定透镜。在其他具体实施中，透镜330可以是用于实时动态地将对象错觉375重新聚焦通过屏幕380的可调谐透镜。在这种情况下，可以基于用户的眼睛320的已确定的凝视信息来调谐透镜330。

图3C是使用反射镜的光学图像重新聚焦系统的示例性示意图。使用反射镜的光学图像重新聚焦系统示出了根据用户的眼睛的凝视信息使用反射镜来重新聚焦对象错觉。

在使用反射镜的光学图像重新聚焦系统的实例1中，用户的眼睛320正在通过介质诸如空气观看对象370，而不使用屏幕诸如VR显示器。用户的眼睛320可能没有正在透过透明透镜观看对象370。此外，用户的眼睛320正在观看真实对象370，而不是对象的虚拟表示。

在使用反射镜的光学图像重新聚焦系统的实例2中，用户的眼睛320正在通过屏幕380观看对象错觉376。在这种情况下，图像投影仪可以通过屏幕380投影对象370的虚拟表示作为对象错觉376。在这种情况下，用户的眼睛320可能正在经历调节和聚散度之间的不一致。

在使用反射镜的光学图像重新聚焦系统的实例4中，用户的眼睛320正在通过包括反射镜385的屏幕380观看对象错觉376。反射镜385可以是用于重新聚焦对象错觉376的固定反射镜。在其他具体实施中，反射镜385可以是用于实时动态地将对象错觉376重新聚焦通过包括反射镜385的屏幕380的可调谐反射镜。在这种情况下，可以基于用户的眼睛320的已确定的凝视信息来调谐反射镜385。

图4是使用眼睛姿态跟踪的可穿戴设备400的示例性示意图。使用眼睛姿态跟踪的可穿戴设备400可以包括基于眼睛姿态跟踪提供光路径调整的立体视觉可穿戴设备。可穿戴设备400包括用户可以看穿或观看的第一透明或不透明屏幕410A和第二透明或不透明屏幕410B，定位成用于调节在第一透明或不透明屏幕410A处的光路的第一组可调谐光学元件430A，和用于调节在第二透明或不透明屏幕410B处的光路的第二组可调谐光学元件430B。可穿戴设备400还可以包括用于与远程设备通信的第一无线通信单元440A或用于与远程设备通信的第二无线通信单元440B，用于通过第一透明或不透明屏幕410A或在第一透明或不透明屏幕410A处投影2D视觉的第一图像投影仪450A，用于通过第二透明或不透明屏幕410B或在第二透明或不透明屏幕410B处投影2D视觉的第二图像投影仪450B，用于跟踪第一用户的眼睛420A的眼睛姿态并确定与第一用户的眼睛420A相对应的深度图的第一眼睛姿态跟踪模块460A，以及用于跟踪第二用户的眼睛420B的眼睛姿态并确定与第二用户的眼睛420B相对应的深度图的第二眼睛姿态跟踪模块460B。

可穿戴设备400还可包括一个连续的或两个单独的透明或不透明屏幕410A和410B，它们使得能够确定两个不同的凝视点425A和425B。当用户的眼睛420A和420B中的每只眼被每个相应的眼睛姿态跟踪模块460A和460B分别跟踪时，可以相互独立地调谐第一光学元件430A和第二光学元件430B。此外，图像投影仪450A和450B中的每一个都可以独立操作。因此，可以在透明或不透明屏幕410A和410B中的每一个上选择一部分，以重新聚焦入射到用户的眼睛420A和420B中的每只眼上的光。在这种情况下，3D投影可以由用户的眼睛420A和420B经由通过透明或不透明屏幕410A和410B或在透明或不透明屏幕410A和410B处同时投影多个图像来解释。

图5A是附接到机器的独立眼睛姿态跟踪设备的示例性示意图。该独立眼睛姿态跟踪设备被实现为位于机器诸如显示设备520附近的独立外围设备530。附接到机器的独立眼睛姿态跟踪设备包括与位于远离用户的眼睛510A和510B的远程位置处的独立外围设备530通信的显示设备520。

独立外围设备530包括机械模块532，以控制来自眼睛姿态跟踪模块534的光发射和检测的方向，使得用户的眼睛总是由独立外围设备530定位。眼睛姿态跟踪模块534跟踪用户的眼睛510A和510B的眼睛姿态，并确定与用户的眼睛510A和510B相对应的凝视信息。显示设备520可以包括对应于用户的眼睛510A和510B相对于显示设备520的焦点的凝视参考点515。凝视参考点515可以由独立外围设备530的眼睛姿态跟踪模块534确定。在某些具体实施中，显示设备520可以包括基于凝视参考点515而被调谐的可调谐光学元件。可调谐光学元件可以包括位于显示设备520处的可调谐反射镜。在其他具体实施中，显示设备520可以包括固定光学元件，诸如用于光路重新聚焦的固定反射镜。

眼睛姿态跟踪模块530可以被配置为向显示设备520提供输出数据。输出数据可以包括用户的眼睛510A和510B的凝视信息。显示设备520可以使用凝视信息，以在显示器上的对应于用户的凝视参考点515的特定部分处呈现图像。所呈现的图像可以被产生可见光的发光二极管阵列、过滤白光的液晶或位于显示设备520的显示器处的任何其他光源阵列显示在显示设备520的显示器上。此外，所呈现的图像可以通过光学折射、衍射、反射、引导或任何其他光学技术显示在显示设备520的显示器上。

图5B是嵌入在机器中的眼睛姿态跟踪设备的示例性示意图。嵌入在机器中的眼睛姿态跟踪设备包括集成到机器诸如显示设备540中的嵌入式外围设备545。嵌入式外围设备545可包括机械模块546，以控制来自眼睛姿态跟踪模块547的光发射和检测的方向，使得用户的眼睛总是由嵌入式外围设备545定位。眼睛姿态跟踪模块547跟踪用户的眼睛510A和510B的眼睛姿态，并确定与用户的眼睛510A和510B相对应的凝视信息。

显示设备540还可包括凝视参考点555，其表示用户的眼睛510A和510B聚焦所在的显示设备540的位置。在某些具体实施中，显示设备540可以包括基于凝视参考点555而被调谐的可调谐光学元件。可调谐光学元件可以包括位于显示设备540处的可调谐反射镜。在其他具体实施中，显示设备540可以包括固定光学元件诸如固定反射镜。

在一些具体实施中，眼睛510A或510B与眼睛跟踪模块534和547之间的距离可以基于TOF概念或通过其他方法诸如成像处理或三角测量来确定。可以基于眼睛510A或510B与眼睛跟踪模块534和547之间的距离来相应地调节光发射功率。例如，考虑到眼睛510A或510B与眼睛跟踪模块534和547之间较近的距离，可以动态地降低光发射功率，以减少眼睛510A或510B在光发射下的暴露。

图6是示出了根据某些示例性具体实施的用于眼睛姿态跟踪的过程600的流程图。用于眼睛姿态跟踪的过程600描述了基于所生成的眼睛深度图来监测眼睛的移动的过程。在步骤610中，获得表示从眼睛反射的光信号的测量结果的电信号。该光信号可由光源提供。光源可以被与预定参考信号同步的调制电压信号偏置。因此，光源可以在眼睛的方向上提供光信号，以从眼睛反射回来。

反射的光信号可以被一个或多个光电探测器接收。在一些具体实施中，可以对接收到的光信号进行过滤，以去除某些波长。例如，可以提供一个或多个滤波器来对光信号进行过滤，使得只有目标波长保留在过滤后的光信号中。在某些具体实施中，可以提供一个或多个透镜，以在光信号被光电探测器接收之前聚焦光信号。透镜可以是透明透镜、固定透镜、可调谐透镜、基于光子光栅的透镜等。

在步骤620中，基于接收到的光信号与参考信号之间的相位差来确定深度图。接收到的光信号可以在被接收到时与参考信号进行比较。在其他具体实施中，可以对接收到的光信号进行过滤，然后可以在过滤后的光信号与参考信号之间进行比较。深度图可以包括与眼睛相对应的3D信息的一个或多个数据集。在一些具体实施中，可以根据深度图的3D信息生成眼睛的3D表示。可以实时持续确定深度图。也可以在预定的时间点确定和更新深度图。例如，可以每微秒、每毫秒、每秒等确定和更新深度图。

在步骤630中，基于深度图来确定凝视信息。凝视信息可以基于深度图来表示眼睛的凝视。在一些具体实施中，凝视信息可以基于提供的参考信号和反射光信号之间的比较来确定。此外，凝视信息可以包括识别眼睛的下述各项中的一项或多项：特定区域、瞳孔、虹膜或生理结构。在某些具体实施中，可以从凝视信息确定眼睛的姿态。眼睛姿态信息可以包括眼睛的以下各项中的一项或多项：移动、旋转、稳定状态及其持续时间、闭眼状态及其持续时间、睁眼状态及其持续时间、眨眼状态及其持续时间或其频率。

深度图可用于生成垂直于与眼睛相切的平面的虹膜矢量。在这种情况下，凝视信息可以基于虹膜矢量和深度图来确定。深度图也可用于生成在与眼睛相切的平面上的眼睛瞳孔位置。在这种情况下，凝视信息可以基于眼睛瞳孔位置和深度图来确定。

在步骤640中，提供眼睛的凝视信息作为输出数据。表示凝视信息的输出数据可以被传输到设备、机器、系统等。在这种情况下，凝视信息可以作为输入数据传输到设备、机器或系统。另外，从凝视信息确定的眼睛姿态可以作为输出数据提供。眼睛姿态可用于向设备、机器或系统提供命令或与设备、机器或系统交互。例如，如果跟踪到眼睛快速连续眨眼三次，则这可能表示要向远程设备诸如电视机提供命令。因此，电视机可以被配置为在跟踪到眼睛快速连续眨眼若干次的情况下关闭。

图7是示出了根据某些示例性具体实施的用于基于眼睛姿态跟踪来调谐光学元件的过程700的流程图。用于基于眼睛姿态跟踪来调谐光学元件的过程700描述了监测眼睛的移动和基于眼睛移动来调谐光学元件的过程。在步骤710中，获得表示从眼睛反射的光信号的测量结果的电信号。该光信号可由光源提供。光源可以被与预定参考信号同步的调制电压信号偏置。因此，光源可以在眼睛的方向上提供光信号，以从眼睛反射回来。

反射的光信号可以被一个或多个光电探测器接收。在一些具体实施中，可以对接收到的光信号进行过滤，以去除某些波长。例如，可以提供一个或多个滤波器来对光信号进行过滤，使得只有目标波长保留在过滤后的光信号中。在某些具体实施中，可以提供一个或多个透镜，以在光信号被光电探测器接收之前聚焦光信号。透镜可以是透明透镜、固定透镜、可调谐透镜、基于光子光栅的透镜等。

在步骤720中，基于接收到的光信号与参考信号之间的相位差来确定深度图。接收到的光信号可以在被接收到时与参考信号进行比较。在其他具体实施中，可以对接收到的光信号进行过滤，然后可以在过滤后的光信号与参考信号之间进行比较。深度图可以包括与眼睛相对应的3D信息的一个或多个数据集。在一些具体实施中，可以根据深度图的3D信息生成眼睛的3D表示。可以实时持续确定深度图。也可以在预定的时间点确定和更新深度图。例如，可以每微秒、每毫秒、每秒等确定和更新深度图。

在步骤730中，基于深度图来确定凝视信息。凝视信息可以基于深度图来表示眼睛的凝视。凝视信息可以包括识别眼睛的下述各项中的一项或多项：特定区域、瞳孔、虹膜或生理结构。在某些具体实施中，可以从凝视信息确定眼睛的姿态。眼睛姿态信息可以包括眼睛的以下各项中的一项或多项：移动、旋转、稳定状态及其持续时间、闭眼状态及其持续时间、睁眼状态及其持续时间、眨眼状态及其持续时间或其频率。

深度图还可用于生成垂直于与眼睛相切的平面的虹膜矢量。在这种情况下，凝视信息可以基于虹膜矢量和深度图来确定。深度图也可用于生成在与眼睛相切的平面上的眼睛瞳孔位置。在这种情况下，凝视信息可以基于眼睛瞳孔位置和深度图来确定。

在步骤740中，基于所确定的凝视信息来激活对可调谐光学元件的调谐。凝视信息可以用来调谐特定的可调谐光学元件。例如，凝视信息可以包括眼睛相对于特定显示器的焦点。眼睛的焦点可以被引导通过可调谐光学元件诸如可调谐透镜或反射镜。基于凝视信息，可调谐透镜或反射镜可被激活或调谐，以重新聚焦通过透镜或反射镜的光。在一些具体实施中，可调谐光学元件可以位于显示器处。在这种情况下，可调谐光学元件可以随着眼睛被跟踪而实时在显示器处被激活或调谐。可调谐光学元件可以包括一个或多个透镜、反射镜或其任何组合。

因此，可调谐光学元件可以基于被跟踪的眼睛的移动或没有移动而被调节。可调谐光学元件可用于实时提供动态聚焦和散焦。例如，可调谐光学元件可用于解决当在VR或AR显示器上观看图像时调节和聚散度之间的不一致性。

图8示出了可以与本文描述的技术一起使用的通用计算设备800和通用移动计算设备850的示例。计算设备800旨在表示各种形式的数字计算机，诸如膝上型电脑、台式电脑、工作站、个人数字助理、服务器、刀片式服务器、大型机以及其他合适的计算机。计算设备850旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电脑以及其他类似的计算设备。这里示出的部件、它们的连接和关系以及它们的功能仅意味着示例性的，并不意味着限制本文中描述和/或要求保护的本发明的具体实施。

计算设备800包括处理器802、存储器804、存储设备806、连接到存储器804和高速扩展端口810的高速接口808，以及连接到低速总线814和存储设备806的低速接口812。部件802、804、806、808、810和812中的每一个使用各种总线互连，并且可以视情况安装在公共主板上或以其他方式安装。处理器802可以处理用于在计算设备800内执行的指令，包括存储在存储器804中或存储设备806上的指令，以在外部输入/输出设备(诸如联接到高速接口808的显示器816)上显示GUI的图形信息。在其他具体实施中，可以视情况使用多个处理器和/或多个总线连同多个存储器和多种类型的存储器。而且，多个计算设备800可以被连接，每个设备提供必要操作的一部分(例如，作为服务器阵列、一组刀片式服务器，或多处理器系统)。

存储器804存储计算设备800内的信息。在一个具体实施中，存储器804是一个或多个易失性存储器单元。在另一具体实施中，存储器804是一个或多个非易失性存储器单元。存储器804也可以是另一种形式的计算机可读介质，诸如磁盘或光盘。

存储设备806能够为计算设备800提供海量存储。在一个具体实施中，存储设备806可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备或磁带设备、闪存存储器或其他类似的固态存储设备，或者包括存储区域网络中或其他配置的设备的设备阵列。计算机程序产品可以有形地体现在信息载体中。计算机程序产品还可以包含当被执行时执行一个或多个方法(诸如上面描述的那些)的指令。信息载体是计算机可读介质或机器可读介质，诸如存储器804、存储设备806或处理器802上的存储器。

高速控制器808管理计算设备800的带宽密集型的操作，而低速控制器812管理带宽密集型程度较低的操作。这种功能分配仅是示例性的。在一个具体实施中，高速控制器808联接到存储器804、显示器816(例如，通过图形处理器或加速器)，并且联接到可以接受各种扩展卡(未示出)的高速扩展端口810。在该具体实施中，低速控制器812联接到存储设备806和低速扩展端口814。低速扩展端口，其可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)，可以联接到一个或多个输入/输出设备，诸如键盘、指向设备、扫描仪或联网设备，诸如交换机或路由器，例如通过网络适配器联接。

如图所示，计算设备800可以采用多种不同的形式来实现。例如，它可以被实现为标准服务器820，或者在一组这样的服务器中被多次实现。它也可以被实现为机架式服务器系统824的一部分。另外，它可以在个人计算机诸如膝上型计算机822中实现。另选地，来自计算设备800的部件可以与移动设备(未示出)中的其他部件组合，诸如计算设备850。这些设备中的每一个可以包含计算设备800、850中的一个或多个，并且整个系统可以由彼此通信的多个计算设备800、850组成。

除其他部件之外，计算设备850还包括处理器852、存储器864、输入/输出设备诸如显示器854、通信接口和收发器。计算设备850还可以设置有存储设备，诸如微驱动器或其他设备，以提供额外的存储。部件850、852、864、854中的每一个使用各种总线互连，并且这些部件中的若干可以视情况安装在公共主板上或以其他方式安装。

处理器852可以执行计算设备850内的指令，包括存储在存储器864中的指令。处理器可以被实现为包括分离的多个模拟和数字处理器的芯片的芯片组。处理器可以例如提供计算设备850的其他部件的协调，诸如用户界面的控制，计算设备850运行的应用程序，以及计算设备850进行的无线通信。

处理器852可以通过控制接口858和联接到显示器854的显示接口856与用户通信。显示器854可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器，或其他适当的显示技术。显示接口856可以包括用于驱动显示器854向用户呈现图形和其他信息的适当电路。控制接口858可以接收来自用户的命令并将其转换，以提交给处理器852。另外，还可以提供与处理器852通信的外部接口862，以便实现计算设备850与其他设备的近距离通信。外部接口862可以例如在一些具体实施中提供有线通信，或者在其他具体实施中提供无线通信，并且也可以使用多个接口。

存储器864存储计算设备850内的信息。存储器864可以被实现为一种或多种计算机可读介质、一种或多种易失性存储器单元或一种或多种非易失性存储器单元中的一个或多个。扩展存储器854还可以被提供并且通过扩展接口852连接到计算设备850，该扩展接口可以包括例如SIMM(单列直插式存储器模块)卡接口。这样的扩展存储器854可以为计算设备850提供额外的存储空间，或者还可以为计算设备850存储应用程序或其他信息。具体而言，扩展存储器854可以包括用于执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器854可以作为计算设备850的安全模块来提供，并且可以用允许安全使用计算设备850的指令来编程。另外，可以通过SIMM卡提供安全应用程序连同其他信息，诸如以不可破解的方式在SIMM卡上放置识别信息。

存储器可以包括例如闪存存储器和/或NVRAM存储器，如下所述。在一个具体实施中，计算机程序产品有形地体现在信息载体中。计算机程序产品包含当被执行时执行一个或多个方法(诸如上面描述的那些)的指令。信息载体是计算机可读介质或机器可读介质，诸如存储器864、扩展存储器854、处理器852上的存储器，或可以例如通过收发器或外部接口862接收的传播信号。

计算设备850可以通过通信接口进行无线通信，该通信接口在必要时可以包括数字信号处理电路。除了别的以外，通信接口还可以在各种模式或协议下提供通信，这些模式或协议诸如GSM语音呼叫、SMS、EMS或MMS消息收发、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS。这种通信可以例如通过射频收发器发生。另外，还可以诸如使用蓝牙、WiFi或其他此类收发器(未示出)发生短距离通信。另外，GPS(全球定位系统)接收器模块还可以向计算设备850提供附加的导航和位置相关的无线数据，该数据可以由计算设备850上运行的应用程序视情况使用。

计算设备850还可以使用音频编解码器860可听地通信，该音频编解码器可以从用户接收口头信息并将其转换为可用的数字信息。音频编解码器860可以同样诸如通过扬声器为用户生成可听见的声音，该扬声器例如在计算设备850的手机中。这种声音可以包括来自语音电话呼叫的声音，可以包括记录的声音(例如，语音消息、音乐文件等)，并且还可以包括由在计算设备850上操作的应用程序生成的声音。

如图所示，计算设备850可以采用多种不同的形式来实现。例如，它可以被实现为蜂窝电话880。它也可以被实现为智能电话882、个人数字助理或其他类似的移动设备的一部分。

基于本文描述的概念可以实现许多应用。例如，如图1B和图1C所示的TOF像素也可用于检测用户的面部特征，具有包括眼睛姿态跟踪的选择，用于面部识别或情绪检测。又如，基于本文描述的具体实施的眼睛姿态跟踪可以用于替代或补充鼠标，以定位用户的兴趣所在或显示器上的焦点。在一些具体实施中，基于本文描述的具体实施的眼睛姿态跟踪可以用于更准确的广告定位或预测用户行为。例如，使用人工神经网络的机器学习可以用来基于用户观看显示器上的哪里来学习和识别用户行为。可以基于不同的用户行为对不同的内容给予不同的权重，诸如(1)不观看(2)观看但不选择(3)观看并选择，其中权重可以从小到大。此外，用户关注特定内容的持续时间也可用于记录用户的兴趣级别，例如，持续时间越长，权重越高。在一些具体实施中，在网站上显示广告可基于从用户接收到的兴趣级别而不是传统的点击或非点击行为来导致对广告的付款人收取不同费用。

在一些具体实施中，基于本文描述的具体实施的眼睛姿态跟踪还可用于游戏。例如，参见图2A，可以由用户在移动电话224或平板电脑230上玩赛车或飞行器飞行游戏。用户的眼睛凝视随时间推移的改变可以用于控制汽车的移动(例如，方向)，指示用户想要去哪里。又如，由加速度计211、陀螺仪212和眼睛跟踪模块收集的数据可以用于跟踪用户的头部移动和眼睛凝视两者。在一些具体实施中，可以包括单独的按钮来控制速度，并且还可以包括另一个可选按钮来控制额外的动作，诸如拍摄或切换装置。单独地或组合地，头部移动信息和眼睛凝视信息可以被移动电话或平板电脑上运行的游戏用来确定用户的动作，然后游戏可以相应地进行响应。在该示例中，可以使用表示用户的头部的转动位置的矢量和表示用户的眼睛的凝视的矢量的组合来确定凝视相对于头部的角度，其可以由游戏使用，以解释用户的动作或心理状态。

已经介绍了若干具体实施。然而，应当理解，在不脱离本公开实质与范围的情况下，可作出各种修改。例如，可使用上文所示流程的各种形式，其中可重排、添加、或删除某些步骤。

本发明的实施方案和本说明书中描述的所有功能操作可以在数字电子电路中或者在计算机软件、固件或硬件中实现，包括本说明书中公开的结构及其结构等同物，或者在其中一个或多个的组合中实现。可以将本发明的实施方案实现为一个或多个计算机程序产品，例如在计算机可读介质上编码的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质的组成，或它们中的一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，以举例的方式，包括可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括为所涉及的计算机程序创建执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统或者它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如，机器生成的电信号、光信号或电磁信号，其被生成以将信息进行编码，从而传输至合适的接收器装置。

计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适用于计算环境的其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中，专用于所讨论的程序的单个文件中，或者存储在多个协调文件中(例如，存储一个或多个模块、子程序或部分代码的文件)。计算机程序可以部署为在一台计算机上或在多台计算机上执行，这些计算机位于一个站点或跨多个站点分布并通过通信网络互连。

本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行功能。这些过程和逻辑流程也可以由专用逻辑电路例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以被实现为专用逻辑电路。

举例来说，适用于执行计算机程序的处理器包括通用微处理器和专用微处理器两者，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的基本元件是用于执行指令的处理器以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括或可操作地联接，以从一个或多个用于存储数据的海量存储设备(例如，磁盘、磁光盘或光盘)接收数据或将数据发送到海量存储设备或进行接收和发送这两者。然而，计算机不一定需要此类设备。此外，可以将计算机嵌入另一个设备中，例如平板电脑、移动电话、个人数字助理(PDA)、移动音频播放器、全球定位系统(GPS)接收器，仅举几例。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储设备，以举例的方式，包括半导体存储设备，例如EPROM、EEPROM和闪存存储器设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；和CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或并入其中。

为了提供与用户的交互，本发明的实施方案可以在具有显示设备、键盘和指向设备的计算机上实现，显示设备用于向用户显示信息，例如CRT(阴极射线管)或LCD(液晶显示器)监视器，并且用户可以通过键盘和指向设备例如鼠标或轨迹球向计算机提供输入。其他类型的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。

本发明的实施方案可以在包括后端部件(例如作为数据服务器)或者包括中间件部件(例如应用程序服务器)或者包括前端部件(例如客户端计算机)的计算系统中实现，该计算系统具有用户可以通过其与本发明的具体实施交互的图形用户界面或Web浏览器，或者一个或多个这样的后端、中间件或前端部件的任何组合。该系统的部件可以通过数字数据通信的任何形式或介质(例如通信网络)互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)，例如互联网。

该计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络进行交互。客户端和服务器之间的关系是由于运行在相应计算机上的计算机程序产生的，并且彼此具有客户端-服务器关系。

尽管本说明书包含许多细节，但这些细节不应视为对本发明的范围或可能要求保护的内容的限制，而应视作专门针对本发明的具体实施方案的特征的说明。本说明书在单独实施方案的上下文中所述的某些特征也可以在单个实施方案中组合实现。相反地，在单个实施方案的上下文中所述的各个特征也可以在多个实施方案中单独地或者以任何合适的子组合来实现。而且，尽管上文可以将特征描述为以某些组合来发挥作用，甚至在最初照此要求保护，但是在一些情况下，要求保护的组合中的一个或多个特征可以从此组合中删除，并且要求保护的组合可以是针对某子组合或子组合的变型。

类似地，尽管附图按具体顺序示出各操作，但是这不应理解为此类操作必须按照所示的具体顺序或相继顺序来执行，或者执行所有所示操作必须获得理想结果。在某些情形下，多重任务处理和并行处理会是有利的。而且，在上述实施方案中各个系统部件的分离不应理解为在所有实施方案中都需要此类分离，而应理解为所述程序组件和系统一般可以一起集成在单个软件产品中或封装到多个软件产品中。

在提及HTML文件的每种情况下，可以替换其他文件类型或格式。例如，HTML文件可被XML、JSON、纯文本或其他类型的文件替代。此外，在提到表或散列表的情况下，可以使用其他数据结构(例如电子表格、关系数据库或结构化文件)。

已经描述了本发明的具体实施方案。其它实施方案均在以下权利要求书的范围内。例如，权利要求书中列举的步骤可按不同顺序来执行，并且仍然实现希望的结果。

Claims (26)

1.一种计算机实现的方法，包括：

从眼睛反射的调制光信号，获得由光电探测器生成的电信号，所述电信号包括一第一相位，其中所述调制光信号由被调制信号偏置的一个或多个光源生成，所述调制信号包括一第二相位；

基于由所述光电探测器生成的所述电信号的所述第一相位和参考信号之间的第三相位之间的相位差来确定所述眼睛的深度图，其中所述调制信号的所述第二相位与所述参考信号的所述第三相位同步；

基于所述深度图来确定表示所述眼睛的凝视的凝视信息；以及

提供表示所述凝视信息的输出数据。

2.根据权利要求1所述的计算机实现的方法，还包括：

对从所述眼睛反射的所述调制光信号提供一个或多个滤波器，以去除非目标波长信号。

3.根据权利要求1所述的计算机实现的方法，还包括：

对从所述眼睛反射的所述调制光信号提供一个或多个透镜，以将所述调制光信号聚焦到所述光电探测器。

4.根据权利要求1所述的计算机实现的方法，其中所述深度图包括三维信息的一个或多个数据集。

5.根据权利要求1所述的计算机实现的方法，其中所述凝视信息包括以下各项中的一项或多项：所述眼睛的特定区域的识别、所述眼睛的瞳孔的识别、所述眼睛的虹膜的识别或所述眼睛的生理结构的识别。

6.根据权利要求1所述的计算机实现的方法，其中提供表示所述凝视信息的输出数据包括将表示所述凝视信息的所述输出数据作为输入数据提供给另一设备、机器或系统。

7.根据权利要求1所述的计算机实现的方法，还包括：

基于所述凝视信息来确定眼睛姿态；以及

提供表示所述眼睛姿态的输出数据。

8.根据权利要求7所述的计算机实现的方法，其中所述眼睛姿态包括以下各项中的一项或多项：所述眼睛的移动、所述眼睛的旋转、所述眼睛的稳定状态、所述眼睛的所述稳定状态的持续时间、所述眼睛的闭眼状态、所述眼睛的所述闭眼状态的持续时间、所述眼睛的睁眼状态、所述眼睛的所述睁眼状态的持续时间、所述眼睛的眨眼状态、所述眼睛的所述眨眼状态的持续时间或所述眼睛的所述眨眼状态的频率。

9.根据权利要求7所述的计算机实现的方法，其中提供表示所述眼睛姿态的输出数据包括将表示所述凝视信息的所述输出数据作为输入数据提供给另一设备、机器或系统。

10.根据权利要求1所述的计算机实现的方法，还包括：

生成垂直于与所述眼睛相切的平面的虹膜矢量；以及

基于所述深度图和所述虹膜矢量来确定表示所述眼睛的凝视的凝视信息。

11.根据权利要求1所述的计算机实现的方法，还包括：

在与所述眼睛相切的平面上生成所述眼睛的瞳孔位置；以及

基于所述深度图和所述瞳孔位置来确定表示所述眼睛的凝视的凝视信息。

12.一种眼睛姿态跟踪系统，包括：

机器，所述机器包括显示器，所述显示器包括多个可调谐光学元件；

包括电路的设备，所述电路被配置为：

获得表示光电探测器对从眼睛反射的调制光信号的测量结果的电信号.所述电信号包括一第一相位，其中所述调制光信号由被调制信号偏置的一个或多个光源生成，所述调制信号包括一第二相位；

基于参考信号的第三相位和由所述光电探测器生成的所述电信号的所述第一相位之间的相位差来确定所述眼睛的深度图，以及

基于所述深度图来确定表示所述眼睛的凝视的凝视信息；和

与所述机器和所述设备通信的一个或多个处理器，所述一个或多个处理器包括存储指令的一个或多个存储设备，所述指令在由所述一个或多个处理器执行时是可操作的，使得所述一个或多个处理器执行包括以下步骤的操作：

从所述设备接收表示所述凝视信息的输出数据；以及

确定表示所述眼睛相对于所述机器的所述显示器的所述凝视的所述凝视信息。

13.根据权利要求12所述的眼睛姿态跟踪系统，其中所述操作还包括：

确定所述眼睛在所述显示器上聚焦的特定位置，所述特定位置基于表示所述眼睛相对于所述显示器的所述凝视的所述凝视信息；以及

在所述显示器上的所述特定位置处提供指示。

14.根据权利要求12所述的眼睛姿态跟踪系统，其中所述操作还包括：

确定所述眼睛在所述显示器上聚焦的特定位置，所述特定位置基于表示所述眼睛相对于所述显示器的所述凝视的所述凝视信息；以及

在所述显示器上的所述特定区域处提供小凹图像。

15.根据权利要求12所述的眼睛姿态跟踪系统，其中所述多个可调谐光学元件包括可调谐透镜或可调谐反射镜。

16.根据权利要求15所述的眼睛姿态跟踪系统，其中基于表示所述眼睛相对于所述显示器的所述凝视的所述凝视信息来激活对所述多个可调谐光学元件的子集的调谐。

17.根据权利要求16所述的眼睛姿态跟踪系统，其中对所述多个可调谐光学元件的所述子集的所述调谐包括动态地重新聚焦入射在所述多个可调谐光学元件的所述子集上的光。

18.根据权利要求12所述的眼睛姿态跟踪系统，还包括：

可穿戴装置，所述可穿戴装置联接到所述机器、所述设备和所述一个或多个处理器，以形成集成硬件包，所述机器的所述显示器是不透明的，其中可视图像通过光源阵列中的一个或多个光源在所述显示器上显示。

19.根据权利要求12所述的眼睛姿态跟踪系统，还包括：

可穿戴装置，所述可穿戴装置联接到所述机器和所述设备，以形成集成硬件包，所述机器的所述显示器是不透明的，其中可视图像通过光源阵列中的一个或多个在所述显示器上显示；并且

所述一个或多个处理器位于远程位置处并且经由无线或有线连接与所述集成硬件包进行通信。

20.根据权利要求12所述的眼睛姿态跟踪系统，还包括：

可穿戴装置，所述可穿戴装置联接到所述机器、所述设备和所述一个或多个处理器，以形成集成硬件包，所述机器的所述显示器对投影到所述显示器的图像是至少部分透明的，由此投影到所述显示器的所述图像的属性被所述显示器的所述多个可调谐光学元件中的一个或多个修改。

21.根据权利要求12所述的眼睛姿态跟踪系统，还包括：

可穿戴装置，所述可穿戴装置联接到所述机器和所述设备，以形成集成硬件包，所述机器的所述显示器对投影到所述显示器的图像是至少部分透明的，由此投影到所述显示器的所述图像的属性被所述显示器的所述多个可调谐光学元件中的一个或多个修改；并且

所述一个或多个处理器位于远程位置处并且经由无线或有线连接与所述集成硬件包进行通信。

22.根据权利要求12所述的眼睛姿态跟踪系统，还包括：

可插拔设备，所述可插拔设备联接到所述设备和所述一个或多个处理器，以形成集成硬件包；并且

所述机器位于远程位置处并且经由无线或有线连接与所述集成硬件包进行通信，所述机器的所述显示器是不透明的，其中可视图像通过光源阵列中的一个或多个光源在所述显示器上显示。

23.根据权利要求12所述的眼睛姿态跟踪系统，还包括：

可穿戴装置，所述可穿戴装置联接到所述设备和所述一个或多个处理器，以形成集成硬件包；并且

所述机器位于远程位置处并且经由无线或有线连接与所述集成硬件包进行通信，所述机器的所述显示器是不透明的，其中可视图像通过光源阵列中的一个或多个光源在所述显示器上显示。

24.根据权利要求23所述的眼睛姿态跟踪系统，其中所述操作还包括：

确定所述眼睛在所述显示器上聚焦的特定位置，所述特定位置基于表示所述眼睛相对于所述显示器的所述凝视的所述凝视信息；以及

在所述显示器上的所述特定位置处提供指示。

25.根据权利要求12所述的眼睛姿态跟踪系统，其中所述调制信号的所述第二相位与所述参考信号的所述第三相位同步。

26.一种眼睛姿态跟踪设备，包括：

多个可调谐光学元件，所述多个可调谐光学元件用于调节焦距；

一个或多个处理器，所述一个或多个处理器与所述多个可调谐光学元件通信，所述一个或多个处理器包括存储指令的一个或多个存储设备，所述指令在由所述一个或多个处理器执行时是可操作的，使得所述一个或多个处理器执行包括以下步骤的操作：

获得表示光电探测器对从眼睛反射的调制光信号的测量结果的电信号，所述电信号包括一第一相位，其中所述调制光信号由被调制信号偏置的一个或多个光源生成，所述调制信号包括一第二相位；

基于参考信号的第三相位和由所述光电探测器生成的所述电信号的所述第一相位之间的相位差来确定所述眼睛的深度图，

基于所述深度图来确定表示所述眼睛的凝视的凝视信息，所述凝视信息表示所述眼睛相对于远程设备的显示器的所述凝视，以及

基于所述凝视信息来激活对所述多个可调谐光学元件的子集的调谐。

Images