CN117289793A - 可佩戴系统的光学视线跟踪的系统和方法 - Google Patents

Abstract

描述了用于可佩戴系统的光学视线跟踪的系统和方法。该系统包括可佩戴结构，该可佩戴结构包括至少一个集成照明器和至少一个集成成像阵列。每个照明器和成像阵列被放置在佩戴该结构的用户的眼睛的外围。从外围的角度看，该方法可以测量一只或两只眼睛的三维原点，并且可以基于成像计算一只或两只眼睛的角坐标测量值，以指示用户的眼睛正在观看的方向(视线)。该系统和方法可以跟踪视线中的变化以支持各种应用，例如在虚拟或增强现实环境中定位虚拟对象的显示。还可以将获得的成像用于生物特征验证和/或识别，瞳孔反应中的变化检测等。

Description

可佩戴系统的光学视线跟踪的系统和方法

本申请要求享有于2022年11月16日提交的名称为“可佩戴系统的光学视线跟踪”的美国专利申请17/988,707的优先权，该申请的全部内容通过引用并入本文中。

技术领域

本公开涉及眼睛跟踪设备，更具体地，涉及用于使用自配准光学技术进行视线跟踪的便携式、可佩戴电子设备。

背景技术

眼睛传感器系统通常在显示器或访问控制系统上或附近安装一个或多个摄像头，并将摄像头指向用户眼睛的方向。一些这样的应用旨在让摄像头在使用过程中非常靠近眼睛放置，例如用于生物特征识别和/或验证应用的视网膜扫描。其他此类应用旨在让摄像头离用户的眼睛更远，例如用于监视用户在阅读练习期间的注视轨迹，在广告展示期间吸引用户的注意力的是什么，什么导致瞳孔对生物反馈的反应变化等。

这些传统的眼睛传感器系统通常提供它们自己的参考系。例如，在传统的生物识别访问控制应用中，获取一张或多张眼睛图像，识别图像中的关键特征，并将这些特征与数据库中的特征进行比较。特征比较可能涉及多种类型的图像变换等，但每个图像仍然提供其自己的参考系。类似地，在注视跟踪应用中，每个摄像头都固定在相对于显示器的已知(例如，预校准)位置和方向，因此摄像头捕获的任何图像都具有相对于显示器上显示的图像具有已知且固定的位置和方向偏移。

然而，这种传统的方法往往不适用于不断变化的相对参考系。例如，在增强现实(augmented reality，AR)环境中，用户可以佩戴具有集成显示器的耳机，通过该集成显示器，用户可以看到周围环境中的真实世界对象。AR系统可能会尝试以这样一种方式在集成显示器上显示虚拟图像，即在用户看来，虚拟对象被投射到根据用户正在观看的特定位置的真实世界环境中。在这种情况下，虚拟对象在集成显示器上的准确定位可能涉及跟踪集成显示器上相对于真实世界参考系的位置，跟踪集成显示器上相对于用户眼睛位置的位置，以及跟踪集成显示器上相对于用户正在观看的方向的位置。所有这些参数都可能不断变化。

发明内容

实施例提供了用于可佩戴系统的光学视线跟踪的系统和方法。实施例包括一种可佩戴结构，例如头戴式耳机、遮阳板、眼镜框等，其中集成有至少一个照明器和至少一个成像阵列。每个照明器和成像阵列都放置在佩戴该结构的用户的眼睛外围(例如，眼睛侧面外围、太阳穴附近；眼睛底部外围，脸颊顶部附近等)。从外围的角度看，实施例测量一只或两只眼睛的三维原点。例如，角膜表面曲率的顶点可以用作3D原点。然后，实施例可以基于成像计算一只或两只眼睛的角坐标测量值，以指示用户的眼睛正在观看的方向(视线)。实施例可以跟踪视线的变化并且可以使用视线支持各种应用，例如虚拟对象在虚拟或增强现实环境中的显示定位。一些实施例还可以将获得的成像用于生物特征验证，生物特征识别，瞳孔反应的变化检测(例如，指示情绪变化、惊喜、环境光照变化等)。

根据一组实施例，提供了一种用于光学视线跟踪的系统。所述系统包括：可佩戴结构，所述可佩戴结构用于佩戴在用户的头上；第一照明器，所述第一照明器在所述用户的第一眼睛的第一颞侧与所述可佩戴结构集成以将照明投射到所述第一眼睛的第一角膜上；第一成像阵列，所述第一成像阵列在所述第一颞侧与所述可佩戴结构集成以生成所述第一眼睛的第一成像；和一个控制处理器。所述控制处理器用于：至少基于检测所述第一成像中所述第一眼睛的第一角膜表面的第一曲率顶点，计算所述第一眼睛的第一三维(three-dimensional，3D)原点；基于检测所述第一成像中的第一组瞳孔尺寸并且计算所述第一组瞳孔尺寸与瞳孔尺寸基准之间的偏移，计算所述第一眼睛的第一角坐标测量值；和基于所述第一3D原点和所述第一角坐标测量值，计算视线。

根据另一组实施例，提供了一种用于光学视线跟踪的方法。所述方法包括：由位于佩戴所述可佩戴结构的用户的第一眼睛的第一颞侧的可佩戴结构的第一照明器投射第一照明，所述第一照明投射在所述第一眼睛的第一角膜上；在所述第一照明下，由位于所述第一颞侧的所述可佩戴结构的第一成像阵列生成所述第一眼睛的第一成像；由所述可佩戴结构的控制处理器至少基于在所述第一成像中检测所述第一眼睛的第一角膜表面的第一曲率顶点，计算所述第一眼睛的第一3D原点；由所述控制处理器基于检测所述第一成像中的第一组瞳孔尺寸并且计算所述第一组瞳孔尺寸与瞳孔尺寸基准之间的偏移，计算所述第一眼睛的第一角坐标测量值；和由所述控制处理器基于所述第一3D原点和所述第一角坐标测量值，计算视线。

附图说明

本文所指并构成本文一部分的附图说明了本公开的实施例。附图与描述一起用于解释本发明的原理。

图1示出了作为本文所述的实施例的上下文的人眼的解剖结构的图。

图2示出了作为本文所述的实施例的进一步上下文的典型人类视野的图。

图3示出了作为本文所述的实施例的进一步上下文的人眼的各种光轴的图。

图4示出了根据本文所述的实施例的用于光学视线跟踪的示例性可佩戴系统。

图5A和5B示出了本文使用的定向规定以及示例性外围。

图6示出了根据本文所述的一些实施例的基于侧视成像的示例性可佩戴系统。

图7示出了视线跟踪环境，该视线跟踪环境包括在用户眼睛的上下文中的图6的可佩戴系统的一部分。

图8示出了左眼的示例性侧视图像和相关数据。

图9示出了根据本文所述的一些实施例的用于计算视线跟踪的角坐标测量值的角膜顶点到瞳孔中心的距离测量方法。

图10示出了根据本文所述的一些实施例的用于计算视线跟踪的角坐标测量值的瞳孔圆度测量方法。

图11示出了根据本文所述的实施例的示例性可佩戴系统，其中用户的一只或两只眼睛从底部外围成像。

图12示出了用户的眼睛的，例如由图11的可佩戴系统的成像阵列之一所捕获的仰视图像的示例。

图13示出了根据第三组实施例的示例性可佩戴系统，其中用户的一只或两只眼睛均从侧面外围和底部外围成像。

图14示出了AR环境的一个示例。

图15示出了根据本文所述的各种实施例的用于由可佩戴系统进行光学视线跟踪的方法的流程图。

在附图中，相似的组件和/或特征可以具有相同的参考标记。此外，相同类型的各种组件可以通过在参考标号后面加上第二标号来区分，该标号在相似组件之间进行区分。如果在说明书中仅使用第一参考标号，则该描述适用于具有相同第一参考标号的任何一个相似组件，而不管第二参考标号。

具体实施方式

在以下描述中，提供了许多具体细节以透彻理解本发明。然而，本领域的技术人员应当理解，可以在没有这些细节中的一个或多个的情况下实现本发明。在其他示例中，出于简洁，将不再描述本领域已知的特征和技术。

此处描述的实施例使用可佩戴设备来执行视线跟踪。该可佩戴设备包括一个可佩戴框架，该可佩戴框架将一个或多个照明器和一个或多个成像阵列定位在用户的一只或两只眼睛周围的外围位置。每个照明器从非常大的角度将照明投射到其中一只眼睛的角膜上，并且每个成像阵列从非常大的角度(例如，从围绕眼睛外围的基本相同或不同的位置)对其中一只眼睛进行成像。该成像用于获得三维(three-dimensional，3D)原点作为至少一只眼睛的坐标参考，并且获得表示瞳孔正在观看的方向的角度测量值。可以通过将3D原点和角度测量值投射到可佩戴框架的3D空间计算视线。

图1示出了作为本文所述的实施例的上下文的人眼的解剖结构的图100。眼睛的外壁包括三个同心层。外层包括角膜，其是覆盖虹膜的透明结构。第二层包括晶状体，充当眼睛的聚焦系统。第三层包括巩膜，其是一种不透明的结构，形成含有胶原蛋白和弹性纤维的纤维状保护外层，也称为“眼白”。虹膜是眼睛中含有色素的薄圆形结构。虹膜决定一个人眼睛的颜色并控制瞳孔的直径和尺寸。

瞳孔是虹膜中心的一个可调节的开口，允许不同数量的光通过晶状体进入眼睛。晶状体是一种透明的双凸结构，可以折射光线以将其聚焦在视网膜上。视网膜是眼睛后部的分层结构，有几层神经元(感光细胞)通过突触相互连接，以接收聚焦光作为图像，并将图像转换为电化学神经信号。视网膜的感光细胞包括视锥细胞(通常约占感光细胞的6％)和视杆细胞(通常约占感光细胞的94％)，它们主要位于视网膜外围。视锥细胞集中在视网膜的中心区域，称为中央凹。黄斑椭圆形的高度色素沉着的黄色斑点，位于视网膜中心附近，包含中央凹，旁中央凹和中央凹周围。中央凹是一个小窝，包含眼睛中最集中的视锥细胞，负责中央高分辨率视觉。脉络膜是眼睛中富含血管的区域，为视网膜外层供血。眼睛还包括液体，例如位于角膜和虹膜之间的前部区域的房水和位于晶状体后面的后部区域的玻璃体液。

图2示出了作为本文所述的实施例的进一步上下文的典型人类视野200的图。视野200通常分为三个区域：中央凹、副中央凹和外围视觉区域。中央凹区域提供最敏锐的视觉，副中央凹区域预览中央凹信息，外围视觉对闪烁的物体和突然的移动做出反应。例如，外围视觉包括中央凹的大约15-50％的敏锐度，并且它对颜色的敏感度也较低。如图2所示，视野200的每个区域与该区域可以看到的视野200的示例性程度相关联。在人眼中，视野200的三个区域通常是不对称的。例如，在阅读时，所谓的感知跨度(例如，有效视野的尺寸)是注视点左侧3-4个字母空间字母间隔(例如，大约1度的视角)和右侧的14-15个字母间隔。

视觉固定是指眼睛保持注视一个位置。在注视中，眼睛相对静止并“注视”到某个点，例如在阅读单个单词时。在视觉中，来自场景的信息主要是在注视过程中获取的。然而，注视的持续时间往往仅在120-1000毫秒(ms)之间变化，通常仅在200-600毫秒之间，通常固定频率小于3赫兹(Hz)。相反，即使在睡眠期间，眼睛通常也在不断运动(除了非常短的注视时间)。有几种不同类型的眼球运动，包括追随，震颤，转动，漂移和扫视。对于人类而言，眼睛在观看场景时往往会四处移动，而非保持固定的稳定性，定位场景中感兴趣的部分以在心理上创建与场景相对应的三维地图。例如，在扫视一个场景或阅读页面上的文字时，眼睛会进行不平稳的扫视运动并停顿数次，每次停顿之间移动得非常快。

扫视是眼睛的快速移动或“跳跃”，它连接注视。扫视可以是两只眼睛在同一方向上快速，同时的运动。扫视发生得很快(例如，持续时间为40-120毫秒)，移动速度很快(例如，高达每秒600度)，并且是弹道式的，其中扫视的终点在运动过程中不能改变。人眼的扫视运动可能是由于在分辨视野中检测到的物体中的作用。例如，移动眼睛可以更有效地利用神经系统的视觉处理功能以更高分辨率感知场景的小部分。

图3示出了作为本文所述的实施例的进一步上下文的眼睛305的各种光轴的图300。图300定向为从顶部观看右眼，使得眼睛305在页面上面向右侧，眼睛305的鼻侧(朝向鼻子)302在页面上向上，并且眼睛305的颞侧(朝向太阳穴)304在页面上向下。如图所示，眼睛305的视轴310不同于光轴315，因为中央凹320通常不位于光轴315上。通常，视线325(平行于视轴310)和光轴315之间存在3到8度角，而中央凹320覆盖大约5度的视角。此外，由于眼睛305视觉系统的不对称结构，入瞳330的中心实际上向鼻侧302偏移。在角膜表面335上，点“C”和点“S”的距离通常约为0.2-0.55毫米。

图4示出了根据本文所述的实施例的用于光学视线跟踪的示例性可佩戴系统400。系统400包括用于佩戴在用户头上的可佩戴结构405。可佩戴系统400包括各种视线跟踪组件，包括一个或多个照明器410，一个或多个成像阵列415和控制处理器420。一些实施例还包括电源子系统425，一个或多个显示器430，接口子系统435和/或场景传感器440。至少照明器410和成像阵列415与可佩戴结构405物理集成。一些或所有其他视线跟踪组件也可以与可佩戴结构405物理集成。在一种实施方式中，所有视线跟踪组件都与可佩戴结构405集成在一起。在另一个实施方式中，照明器410，成像阵列415和场景传感器440与可佩戴结构405以及控制处理器420，电源子系统425，接口子系统435的部分完全物理集成；可佩戴结构405与一个或多个单独的计算系统通信(例如，经由接口子系统435的部分)；并且一个或多个单独的计算系统实现接口子系统435，控制处理器420和/或电源子系统425的附加部分。

在一些实施例中，可佩戴结构405是单一结构，使得可佩戴结构405的所有部件物理耦合(例如，耦合到组件中)。例如，可佩戴结构405为完整或部分眼镜框的形式。在一些实施例中，可佩戴结构405包括一个或多个被配置成安装到另一个可佩戴结构的物理组件。例如，可佩戴结构405包括镜腿件，每个镜腿件被配置成安装到眼镜框的镜腿(例如，通过夹在上面、通过摩擦配合或以任何合适的方式)，并且可佩戴结构405包括鼻托目标，每个鼻托目标都被配置成耦合到眼镜框的鼻托(例如，通过夹在上面、通过粘合剂或以任何合适的方式)。

所示系统400包括至少一个照明器410和至少一个成像阵列415，当用户佩戴可佩戴结构405时，该至少一个照明器410和至少一个成像阵列415位于用户的一只或两只眼睛的外围。术语“外围”在本文中用于指代与眼睛成大角度的眼睛外侧周围的位置，例如眼睛的颞侧、眼睛上方和/或眼睛下方。例如，图5A和5B示出了本文使用的定向规定。所示规定假设默认位置，其中用户佩戴可佩戴结构405并且用户的头部被定向为直视前方。在这个位置，每只眼睛的y轴通常是从地面指向用户头顶的垂直轴，每只眼睛的x轴通常是从眼睛的颞侧指向眼睛的鼻侧的水平轴垂直轴，z轴通常是从用户眼睛直接指向前方的前视轴。

图5A示出了眼睛305的俯视图，其定向为使得z方向指向下方并且正x方向指向左侧(例如，这是左眼)。外围的示例部分被示为眼睛的颞侧的区域并且相对于z轴方向成大角度。在一些实施方式中，外围是一个球形新月形区域，旋转到直行z方向的任一侧大约70-110度。图5B示出了眼睛305的正视图，其定向为使得正z方向指向页面外，正x方向指向左侧，正y方向指向上方。外围的一部分被示为穿过图5A的球形新月区域的剖切面。剖切面说明，如本文所使用的，外围可包括到眼睛的颞侧外围的区域，到眼睛下侧外围的区域和/或完全围绕(即，围绕360度)眼睛的外围的区域(都相对于z轴方向成大角度，例如靠近x-y平面)。本文所述的实施例通常利用朝向每只眼睛的颞侧和/或下侧(例如，朝向负x和/或负y方向)的外围的部分。

回到图4，图5A和5B所述的传统方向可被视为形成参考坐标系，该参考坐标系实际上是可佩戴结构405的坐标系。可佩戴系统400通常用于对用户的一只或两只眼睛的特征进行成像和测量，以便计算配准到参考坐标系的当前视线。计算当前视线至少涉及两个方面。首先，可佩戴系统400计算参考坐标系中每只眼睛的3D原点。3D原点可以表示眼球的中心，或任何其他可跟踪位置，或可从其计算的位置。其次，可佩戴系统400计算表示眼睛瞳孔正在观看的方向的角度测量值。可以通过将3D原点和一只或两只眼睛的角度测量值投射到参考坐标系来计算视线。

对眼睛成像涉及通过相应的一个照明器410照明每只眼睛。给定每个照明器410在相应眼睛外围的位置，照明器410将照明投射到眼睛的角膜表面上。大的照明角度可以明显减少到达用户视网膜的照明功率。此外，照明器410的实施例在人眼安全频带中投射照明，例如在红外频带中。例如，可以选择红外频带，使得用户不会看到照明，并且基于照明的成像不会受到环境光的不利影响。

然后，每个成像阵列415可以基于接收到的照明的部分对相应的眼睛成像。每个成像阵列415是以小形状因子实现的成像元件的阵列。在一个实施方式中，每个成像阵列415是微型摄像头。在另一个实施方式中，每个成像阵列415是电荷耦合器件(charge-coupleddevice，CCD)阵列。优选地，成像阵列415在没有移动部件的情况下实现，例如不使用扫描镜等。此外，因为成像阵列415是在基本上可预测的成像环境中实现的(例如，与要成像的目标特征的基本上可预测的距离)，成像阵列415可以在没有自动聚焦光学器件等的情况下实现。然而，一些实施方式可以利用聚焦和/或其他光学技术实现附加特征，例如支持多光谱成像，距离估计(例如，通过飞行时间或其他技术)等。成像阵列415的实施例包括滤波器(例如，接收光学器件中的带通滤波器)以增强成像。

在大角度照明和成像下，可以检测到各种眼睛特征。通常，在大角度照明下，角膜和视网膜都倾向于将照明反射远离传感器。这样，眼睛的表面组织在由成像阵列415获得的图像中表现为相对明亮的并且瞳孔在由成像阵列415获得的图像中表现为明显暗(高对比度)的区域。不同的实施例可以如本文所述以不同的方式使用瞳孔图像，例如以支持当前视线的角度测量值的计算。一些实施方式进一步使用瞳孔尺寸的动态变化(例如，瞳孔扩张响应)监视用户的情绪状态。在大的照明角度下，虹膜和巩膜倾向于产生足够的照明散射，使得其可以被成像阵列415清楚地成像。一些实施方式可以使用虹膜的区别签名和/或血管在巩膜上的分布来进行生物识别验证和/或用户验证。此外，在大成像角度下，可以检测和测量角膜表面的曲率，例如计算曲率的顶点，曲率的半径和/或其他特征。本文所述的实施例可以使用角膜表面测量值来支持3D原点和/或其他特征的计算。

控制处理器420与照明器410和成像阵列415通信耦合(例如，通过直接电连接，或以任何其他合适的方式)。控制处理器420的实施例执行图像处理、特征识别、计算、跟踪和其他特征以实现视线跟踪。在一些实施方式中，控制处理器420还指导和控制照明器410的照明投射，和/或指导和控制成像阵列415获取成像。控制处理器420可以以任何合适的方式实现。控制处理器420的实施例可以包括中央处理器(central processing unit，CPU)，专用集成电路(application-specific integrated circuit，ASIC)，专用指令集处理器(application-specific instruction-set processor，ASIP)，图形处理单元(graphicsprocessing unit，GPU)，物理处理单元(physics processing unit，PPU)，数字信号处理器(digital signal processor，DSP)，现场可编程门阵列(field-programmable gatearray，FPGA)，可编程逻辑器件(programmable logic device，PLD)，控制器，微控制器单元，精简指令集计算机(reduced instruction set computer，RISC)处理器，复杂指令集计算机(complex instruction set computer，CISC)处理器，微处理器等或其任何组合。尽管未明确示出，控制处理器420的实施例与一个或多个存储器组件通信，例如用于向控制处理器420提供处理器可读指令并用于存储各种类型的数据以支持本文所述特征的非瞬态存储器。

控制处理器420，照明器410，成像阵列415和/或其他视线跟踪组件可以由电源子系统425供电。电源子系统425的实施例包括任何合适的电源。在一些实施方式中，电源子系统425包括机载电源，例如与可佩戴结构405集成的可充电电池。在其他实施方式中，部分或全部电力由电力子系统425通过外部电源，无线(例如，感应)充电接口等接收。

可佩戴系统400的一些实施例包括接口子系统435。接口子系统435的一些实施例包括用户接口组件，例如一个或多个按钮接口，触摸屏接口，开关接口等。附加地或可替代地，接口子系统435的实施例包括计算接口组件，例如用于与其他计算系统(例如智能手机、笔记本电脑、服务器计算机、监视器或电视等)，数据和/或通信网络接口的有线和/或无线端口。

可佩戴系统400的一些实施例包括一个或多个集成显示器430。例如，可佩戴结构405可以实现为眼镜、AR护目镜、虚拟现实(virtual reality，VR)头盔等，使得可佩戴结构405包括在每只眼睛前面的可以向用户显示成像的组件。在一个实施方式中，单个显示器430(或多个显示器中的每一个)输出单眼图像信息。例如，在任何特定时间，单个图像通过一个或多个显示器430输出到用户的一只或两只眼睛。在另一种实施方式中，多个显示器用于输出双目或立体图像信息。例如，在任何特定时间，多个(例如，左和右)图像通过一个或多个显示器430同时输出到用户的两只眼睛。

可佩戴系统400的实施例可以包括组件以支持附加输入和/或输出模态，而不是显示器430或作为显示器430的补充。例如，虽然没有在图4中明确显示，可佩戴结构405的实施例可以集成一个或多个音频换能器(例如，一个或多个用于音频输出的扬声器；一个或多个用于音频输入、主动噪声消除等的麦克风)，一个或多个触觉组件等。在一些实施例中，提供此类附加接口模态的组件可以是接口子系统435的一部分。例如，视频、音频和/或触觉组件可用于识别输入命令，例如手势、语音命令等。

如上所述，各种视线跟踪组件用于计算和跟踪可佩戴结构405的参考坐标系内的当前视线。这种跟踪为各种类型的应用环境提供支持。在一些应用环境中，视线跟踪用于支持在一个或多个本地显示器430上显示信息，例如用于VR或平视显示器(heads-updisplay，HUD)应用。例如，参考图1至图2所描述的，用户视线的当前方向定义了用户视野200区域(例如中心凹和副中心区域)的当前位置，从而定义了用户的视觉系统将以更高的保真度处理虚拟场景的哪些部分。因此，可以通过将渲染资源集中在仅显示用户当前视野200内的场景中的那些对象上，通过仅增加中央凹区域内的那些虚拟对象的分辨率等来优化渲染方法。

在其他应用环境中，可佩戴结构405的参考坐标系进一步配准到世界或场景坐标系，使得视线跟踪可以置于可佩戴结构405外部的视觉环境中。为了支持这样的应用环境，可佩戴系统400的一些实施例包括场景传感器440。场景传感器440可以包括用于促进将可佩戴结构405的参考坐标系配准到外部坐标系的任何合适的组件。例如，场景传感器440可以包括一个或多个视频系统以捕获和处理可佩戴系统400外部环境的图像；一个或多个加速度计、陀螺仪和/或其他组件，以跟踪本地位置、移动、方向和/或其他信息；一个或多个可跟踪目标，例如视觉目标、天线等，以便于外部系统跟踪可佩戴系统400的位置和/或方向等。

作为此类应用环境的一个示例，在AR环境中，用户通过透明显示器(例如，与耳机集成)看到真实世界，并且AR系统以看起来增强真实世界的方式将虚拟对象和/或场景投射到显示器上(即，虚拟图像覆盖在真实世界上)。这样做通常涉及将投射的虚拟对象注册到真实世界的坐标。在这样的应用环境中，使用场景传感器440将可佩戴系统400的视线跟踪记录到真实世界坐标有助于使用视线跟踪增强AR特征。例如，增强型AR系统可以使用这种视线跟踪来检测用户正在观看真实世界中的特定对象，并可以通过AR显示器向用户投射关于该对象的信息。

这样的应用环境的另一个例子是其中针对与可佩戴系统400分离的一个或多个外部显示器使用视线跟踪的应用环境。例如，用户佩戴着可佩戴系统400并且正在观看在电视或计算机监视器上显示的视频。在这样的应用环境中，使用场景传感器440将可佩戴系统400的视线跟踪配准到一个或多个外部显示器的坐标系有助于使用视线跟踪确定用户相对于外部显示器正在观看的位置(例如，显示的视频的哪些元素吸引了用户的注意力)。

图4的可佩戴系统400可以通过多种方式实现。图6示出了根据第一组实施例的示例性可佩戴系统600。该可佩戴系统600可以是图4的可佩戴系统400的实施方式。为了增加清晰度，在可佩戴系统600的上下文中示出了图5A和5B所示的相同坐标轴规定。在所示实施例中，可佩戴结构被实现为眼镜框。眼镜框包括镜框部分603、镜腿部分605和鼻部607。

右镜腿部分605-R被示为在结构上集成有控制处理器420和电源子系统425，右眼照明器410-R和右眼成像阵列415-R。左镜腿部分605-L被示为具有在结构上与其集成的接口子系统435(包括一组用户接口控件435-1和一个或多个端口或其他计算接口435-2)，左眼照明器410-L和左眼成像阵列415-L。镜框部分603被示为具有在结构上与其集成的右显示器430和左显示器430以及右场景传感器440和左场景传感器440。

尽管示出了特定配置，但是视线跟踪组件可以以任何合适的方式在结构上集成。例如，虽然照明器410和成像阵列415被示为由镜腿部分605沿外围定位，但是其他实施方式可以将照明器410和/或成像阵列415沿外围定位在镜框部分603的结构特征上。此外，如参考图4所描述的，一些实施例不包括所有图示的组件，并且一些实施例包括未图示的附加组件。例如，可佩戴系统600的一些实施例在没有集成显示器430的情况下实现。相反，镜框部分603被配置为在一只或两只眼睛的前面留下空白空间，或者支撑透明或半透明材料(例如，一块玻璃、有机玻璃、塑料等；验光镜片或其他镜片等)在一只或两只眼睛前面。作为另一个示例，可佩戴系统600的一些实施例不包括场景传感器440，接口子系统435和/或其他组件。

在图示的实施例中，右镜腿件605-R被配置成至少将右眼成像阵列415-R定位在右眼的侧外围，靠近用户的右太阳穴。左镜腿件605-L被配置为至少将左眼成像阵列415-L定位在左眼的侧外围，靠近用户的左太阳穴。可佩戴结构还被配置为将右眼照明器410-R和左眼照明器410-L定位在各自眼睛的外围。例如，如图所示，右镜腿件605-R可以将右眼照明器410-R与右眼成像阵列415-R一起定位在右眼的侧外围，左镜腿件605-L可以将左眼照明器410-L与左眼成像阵列415-L一起定位在左眼的侧周边。

通过成像阵列415(例如，和照明器410)的这种布置，每个鼻部607都在成像阵列415中的相应一个的视野内。鼻部607可包括各种特征。一个特征是鼻部607可以通过将可佩戴系统600保持在基本上以用户的面部为中心的位置，从而有效地调节x维度。人脸通常具有可预测的维度，至少在一定程度的容错范围内。例如，至少人脸的眼睛区域通常基本上是对称的，并且某些尺寸范围内的脸往往具有相似的眼睛维度(例如，太阳穴和瞳孔中心之间的距离在具有相似尺寸脸的用户之间往往相对一致)。佩戴在鼻部607的可佩戴系统600跨在用户的鼻子上，这往往会将每个成像阵列415放置在其相应侧上距眼球中心基本相同的距离，而无需校准。因此，在一些实施例中，可佩戴系统600结构对于特定范围的用户面部尺寸具有特定的已知尺寸(例如，或者对于多个对应的面部尺寸范围的多个可选尺寸)，并且某些这样的实施例，基于可佩戴系统600的已知尺寸和相应地假设的用户面部尺寸，可以估计每只眼睛的3D原点的至少x分量(例如，水平位置)。

在某些情况下，可佩戴系统600的尺寸是可调节的(例如，该结构具有内置的可调节特征，该结构可以稍微弯曲以改善贴合性等)。在一些这样的情况下，鼻部607提供另一特征：每个鼻部607可用于导出x参考。控制处理器420的一些实施方式检测鼻子部分607的特征，从该特征可以计算距离。例如，一个或两个鼻部607包括结构或美学元素(例如，角点，摄影测量目标，十字，反射点，设计等)，其可以被控制处理器420识别并被控制处理器420已知为具有预先校准的尺寸。控制处理器420检测并测量获得的成像中的元素，并且可以将检测到的尺寸与已知尺寸进行比较以计算成像阵列415和鼻部607之间的距离。一些实施方式假定，如上所述，鼻子部分607通常使框在面部上居中，并且面部通常是对称的。这样，计算成像阵列415，成像阵列415和一侧的鼻部607之间的距离可以有效地为两侧提供信息。其他实施方式获取成像并执行两只眼睛的距离计算，并且不依赖于框放置、对称性等假设。

这种框相对于用户眼睛的位置的估计可以在没有任何用户特定校准的情况下执行。但是，可以通过用户特定的校准实现其他功能。一个特征是，实施例可以检测和测量用户特征(例如，雀斑或其他解剖学元素)，而不是依赖于已知结构或美学元素的存在进行距离计算，作为计算从成像阵列415到眼睛一侧或两侧的距离的基础。用户校准的另一个特征是解决用户的面部不对称和/或框不以面部为中心的情况。在这种情况下，可以(明确地或隐含地)提示用户朝特定方向(例如，正前方)观看，并且两侧之间的成差异指示距离差异可被归一化、补偿、校准等。例如，如果用户正朝正前方观看，并且每个成像阵列415与其各自的眼睛的距离相同，则可以假定右瞳孔和左瞳孔尺寸、形状和/或位置在捕获的成像中将看起来基本相同。因此，右瞳孔图像和左瞳孔图像之间的任何增量确定性地对应于成像阵列415和两只眼睛之间的物理距离的差异。

鼻部607的另一个特征是减少来自不希望的照明的串扰。在图示的配置中，右眼成像阵列415-R指向左眼和左眼照明器410-L的方向，使得它倾向于拾取来自左侧的散射照明；并且左眼成像阵列415-L指向右眼和右眼照明器410-R的方向，使得它倾向于拾取来自右侧的散射照明。鼻部607的实施方式被设计成在两只眼睛的同时成像期间保持一些光学隔离。一些实施例使用其他技术来帮助减少这种串扰。例如，每个照明器410可以投射具有特定偏振，频率，定时等的照明；并且每个成像阵列415可以被配置(例如，具有过滤器、快门等)以从其自身的相应照明器410接收照明。

鼻部607的另一个特征是增加所需照明的反射。在所示配置中，右鼻部607-R可以被配置为帮助将来自右眼照明器410-R的照明反射到右眼成像阵列415-R，并且可以使用左鼻部607-L来帮助将来自左眼照明器410-L的照明反射至左眼成像阵列415-L。这种附加反射可以帮助提高成像阵列415的响应能力，例如通过提供更大的成像对比度，在明亮的环境光环境中的性能更好等。

图7示出了视线跟踪环境700，其包括在用户眼睛的上下文中的图6的可佩戴系统600的一部分。如图6所示，右镜腿件605-R被配置为将右眼成像阵列415-R和右眼照明器410-R定位在右眼的侧外围(靠近用户的右太阳穴)，并且左镜腿件605-L被配置成将左眼成像阵列415-L和左眼照明器410-L定位在左眼的侧外围(靠近用户的左太阳穴)。从这个角度来看，每个成像阵列415从其相应的颞侧外围获得用户的眼睛中的相应一只眼睛的成像，即每只眼睛的侧视。在一些实施方式中，如图所示，每个成像阵列415被放置在相应的镜腿部分605的较低位置(或在镜框部分603或其他结构上的类似位置)，以便于整个瞳孔330的成像。

控制处理器420的实施例处理(每只眼睛的)每个侧视图的成像以计算眼睛的3D原点和瞳孔正在观看的方向的角度测量值。为了获得3D原点，控制处理器420的实施例处理侧视图像以检测角膜的外表面并找到外角膜表面的曲率顶点。顶点的y坐标和z坐标定义了3D原点的y坐标和z坐标。如上所述，可以通过多种方式获得3D原点的x坐标。在一些实施例中，顶点被控制处理器420用作该眼睛的3D原点。在其他实施例中，检测到的角膜表面曲率(例如，和顶点)用于估计眼球中心位置，该位置用作该眼睛的3D原点。

例如，图8示出了左眼的示例性侧视图像800和相关数据。图像800a仅用于说明目的。如果图像800a是在图6或图7的左眼照明器410-L的照明下由左眼成像阵列415-L拍摄的，图像800a还将显示可佩戴结构405的特征(例如，左鼻部607-L，镜框部分603的一部分，右镜腿部分605-R的一部分)和/或左眼成像阵列415-L的视野中的任何视线跟踪组件。从左眼成像阵列415-L的视角，可以清楚地看到左角膜335和左瞳孔330的表面曲率。

控制处理器420的实施例使用图像处理技术检测和计算来自成像的各种特征。例如，图像800b与图像800a相同，除了在图像800b上以图形方式表示为叠加的几个计算的特征之外。例如，控制处理器420可以处理图像800a以检测角膜表面曲率，控制处理器420可以从角膜表面曲率计算(例如，估计)曲率的顶点810a、曲率的半径815、曲率的中心点810b等。如本文所述，控制处理器420可将左眼305的3D原点确定为顶点810a、中心点810b或可从其计算的某个其他点。例如，中心点810b可以被认为是眼球的近似中心，或者可以基于人眼球中已知的几何关系来计算更准确的眼球中心点(例如，如图3所述)，作为对曲率、顶点810a、中心点810b和/或其他可检测特征的参考。

控制处理器420的实施例还可以检测瞳孔330。如上所述，照明、过滤和/或其他技术的方式可以导致瞳孔330相对于周围组织具有高对比度。例如，曲线图850显示了图像800b中一行像素820的灰度值。在曲线图850中，瞳孔330的位置表现为像素值的明显暗区。这样的瞳孔330检测可以便于若干特征。一个特征是从一侧跟踪瞳孔330的中心可以指示计算的视线矢量的y分量(即，当用户的视线向上或向下移动时，从侧面观察时瞳孔330的中心将发生变化)。另一个特征是从两侧跟踪侧视瞳孔330中心(即垂直中心)可以便于视线跟踪的自动校准。例如，如果可佩戴结构405以弯曲的方式佩戴在用户的脸上(或者如果可佩戴结构405的可分离子结构没有精确地定位在用户脸上的相同垂直位置)，则一侧上的成像阵列415可以比另一侧的成像阵列415定位得更高或更低，并且y值不会位于两只眼睛的公共垂直参考系中。在一些这样的情况下，可以使用位于两侧的垂直瞳孔330比较垂直参考系。

本文所述的视线跟踪涉及确定一只或两只眼睛的3D原点和角坐标测量值。这两个属性用于计算视线矢量，该视线矢量用于从3D原点开始并指向由角坐标测量值确定的方向。例如图6和图7中描述的实施例，可以通过至少检测角膜表面曲率和顶点，基于一只或两只眼睛的侧视成像来确定3D原点。这样的配置也可以使用侧视成像来计算角坐标测量值。视线跟踪最终基于角坐标测量值。然而，在某些配置和应用中，3D原点对于确保角坐标测量值的准确性来说至关重要。

为了便于说明，图14示出了示例AR环境1400。用户正在观看几米外的真实世界对象1410，并且可佩戴系统可能试图经由距离每只眼睛仅10-15毫米的显示器430将覆盖的虚拟对象1420投射到真实世界对象1410上(该图未按比例绘制)。显示器相对于眼睛的瞳孔330的实际位置被示为显示器430，并且显示器相对于计算的3D原点的计算位置被示为显示器430'。基于计算的显示位置和角坐标测量值，虚拟对象1420的意图是投影在由投影的虚拟对象1420'表示的位置。如果显示器的计算位置(即，基于计算的3D原点)是准确的，则投影的虚拟对象1420'在用户看来将处于正确的真实世界位置。然而，计算的3D原点中的小误差导致显示器430'的计算位置偏移一小段距离(Δ)。结果，显示的虚拟对象1420表现为投射的虚拟对象1420”，其在用户看来是从其正确的真实世界位置偏移了相对较大的距离(D)。因为眼睛离显示器430太近，所以即使很小的Δ也可能导致大的D。因此，在诸如图6的配置中，一些应用可能依赖于3D原点和角坐标测量值的精确计算，以确保精确的视线跟踪。

图9和图10示出了用于计算角坐标测量值的两种方法。图9示出根据本文所述的一些实施例的计算用于视线跟踪的角坐标测量值的角膜顶点到瞳孔中心的距离测量方法。该方法假设图像是从侧视捕获的，例如通过位于用户眼睛的颞侧外围的成像阵列415。图9示出了用户正直视前方时用户右眼的第一示例侧视图像900a，以及用户正向右看时用户右眼的第二示例侧视图像900b。如上所述，控制处理器420的实施例可以检测角膜表面的曲率和对应的顶点并且还可以检测瞳孔。控制处理器420的实施例可以测量和跟踪顶点和瞳孔中心之间的距离。角膜顶点到瞳孔中心的距离会根据眼睛的左右视角而变化。由于眼球向一侧旋转，因此瞳孔中心的变化至少表现为其z位置的确定性变化。例如，如图所示，第一幅图像900a(向前看)中的角膜顶点到瞳孔中心的距离(Z1)明显小于第二幅图像900b(向右看)中的角膜顶点到瞳孔中心的距离(Z2)。

图10示出了根据本文所述的一些实施例的计算用于视线跟踪的角坐标测量值的瞳孔圆度测量方法。该方法假设图像是从侧视捕获的，例如通过位于用户眼睛的颞侧外围的成像阵列415。图10示出了当从用户眼睛直视前方的侧视图像检测到瞳孔形状1000a时的第一示例，以及当从用户眼睛向右看的侧视图像检测到瞳孔形状1000b时的第二示例。可以看出示例瞳孔形状1000a和1000b分别对应于图像900a和900b中看到的瞳孔形状。当瞳孔直接指向成像阵列415时，瞳孔基本呈圆形；当用户将视线从成像阵列415移开时，瞳孔的圆度会发生确定性变化。例如，第二瞳孔形状1000b基本上是圆形的(向右看)，而第一瞳孔形状1000a具有明显较小的圆度(直视前方)。

一些实施例使用来自单只眼睛的成像来执行图9和10中所述方法中的一个或两个。其他实施例使用来自两只眼睛的成像数据执行上述方法。如应用于图9的方法，当用户向任一侧查看时，即使是轻微的，两只眼睛的角膜顶点到瞳孔中心的距离也会发生变化。比较该变化可以更准确地表示视线变化。由于眼球是球形的，角膜顶点到瞳孔中心距离的变化不是线性的，眼睛向一个方向移动时的变化可能与眼睛向另一个方向观看时的变化不同。例如，如果只对右眼成像，当用户向右看时，角膜顶点到瞳孔中心的距离会有相对较大的变化，而当用户向左看时角膜顶点到瞳孔中心距离会有相对较小的(甚至可能检测不到的)差异。然而，使用两只眼睛的成像，无论视线移动到哪个方向，至少一只或另一只眼睛的成像都会出现相对较大的变化。关于图10的方法可以看到类似的效果。当用户向任何一侧看时，即使是轻微的，双眼的瞳孔圆度也会发生变化，并且比较该变化可以更准确地表示视线变化。例如，如果只对右眼成像，当用户向右看时，瞳孔圆度会发生相对较大的变化，而当用户向左看时，瞳孔圆度的变化会相对较小(甚至可能检测不到)。然而，使用两只眼睛的成像，无论视线移动到哪个方向，至少一只或另一只眼睛的成像都会出现相对较大的变化。

图6-图10整体上描述了图4的可佩戴系统400的一组实施例，其中用户的眼睛从侧外围成像。图11示出了根据第二组实施例的示例性可佩戴系统1100，其中用户的一只或两只眼睛从底部外围成像。可佩戴系统1100可以是图4的可佩戴系统400的实施方式。可佩戴系统1100可以包括与图4和/或图6中的组件相同的组件中的一些或全部，这些组件位于相同或不同的位置，并相应地使用了相同的参考标记。与图6不同，其中每个成像阵列415被放置到相应眼睛的颞侧外围(例如，在结构上与可佩戴结构405的镜腿部分605中的一个集成)，可佩戴系统1100中的每个成像阵列415被放置在相应眼睛的底部外围(例如，在结构上与可佩戴结构405的镜框部分603集成)。

在图示的实施例中，右眼成像阵列415-R由镜框部分603定位在右眼的底部外围，靠近用户右脸颊的顶部；左眼成像阵列415-L位于左眼底部外围的镜框部分603，靠近用户左脸颊的顶部。在一些实施例中，右眼照明器410-R和左眼照明器410-L定位在各自眼睛的颞侧边缘，例如在图6中(且如图11所示)。在其他实施例中，右眼照明器410-R和/或左眼照明器410-L定位在围绕眼睛外围的一个或多个附加或替代位置。

通过成像阵列415(例如，和照明器410)的这种布置，成像阵列415正在抬头观看眼睛。从这个角度来看，可能无法检测到眼睛的角膜曲率。但是，可以很容易地检测到每只眼睛的瞳孔。图12示出了用户眼睛的，例如由图11的可佩戴系统1100的成像阵列145之一捕获的仰视图像1200的示例。如上所述，照明、过滤和/或其他技术的方式可以导致瞳孔330相对于周围组织具有高对比度。例如，曲线图1250显示了图像1200中一行像素1210的灰度值。在曲线图1250中，瞳孔的位置表现为像素值的明显暗区。在整个图像上生成类似的曲线图可以生成至少一个瞳孔的二维(x-y)表示的清晰图片。

在一些实施例中，控制处理器420可以使用这种瞳孔检测计算一只或两只眼睛的3D原点。例如，当系统首次打开时，图像会直接投射到用户前方，或者提示用户直视前方。控制处理器420可以检测和测量瞳孔中心，其可以建立为3D瞳孔中心位置相对于传感器位置的x分量和y分量。z分量可以假设为“0”或任何其他合适的数量。例如，在视线跟踪期间，用户通常会注视距离用户面部数十厘米甚至更远的对象。因为在可佩戴系统1100中的成像阵列415和用户的瞳孔之间可能只有几毫米的z距离，所以这样的距离可能完全在可佩戴系统1100的任何z方向误差容限内。

在一些实施例中，3D原点的校准和测量使用来自两只眼睛的成像。如果可佩戴结构405以用户面部为中心，用户的面部是对称的，并且用户正视前方，则每个瞳孔中心的水平(x)位置在其对应的右眼成像或左眼成像中应该基本相同。例如，如果当用户直视前方时，每个成像阵列415完全位于其各自瞳孔中心下方，则瞳孔中心将在右眼成像和左眼成像中都出现在水平居中处。然后，右瞳孔中心和左瞳孔中心的x位置之间的任何Δ都可以指示可佩戴结构405没有完全以用户面部为重心，用户的面部不是对称的等。在任何情况下，通过在用户向前观看的同时获得x位置测量值，可以作为计算3D原点的一部分来校准任何这样的偏移、Δ等。

在计算出一只或两只眼睛的3D原点后，控制处理器420可以通过跟踪瞳孔中心位置的变化来计算角坐标测量值。例如，当用户向任一侧观看时，瞳孔中心的x位置将以确定的方式发生变化。当用户向上或向下看时，瞳孔中心的y位置将以确定的方式发生变化。

可佩戴系统1100的自下而上成像配置提供了与可佩戴系统600的侧面成像配置相关的权衡。例如，至少由于角膜曲率半径基本恒定，可佩戴系统600可以提供准确的视线跟踪(例如，3D原点的准确计算等)而无需任何用户特定的校准。而可佩戴系统1100中3D原点的计算可以依赖于在已知校准位置(例如，直视前方)获取用户眼睛的成像。另一方面，与可佩戴系统600相比，可佩戴系统1100可以提供明显更简单的角坐标跟踪。此外，虽然可佩戴系统600的一些实施方式依赖于来自两只眼睛的成像信息来进行稳健的角坐标跟踪，但是可以使用可佩戴系统1100利用单眼成像可靠地执行这种角坐标跟踪。

图13示出了根据第三组实施例的示例性可佩戴系统1300，其中用户的一只或两只眼睛均从侧面外围和底部外围成像。该可佩戴系统1300可以是图4的可佩戴系统400的实施方式。可佩戴系统1300实际上是可佩戴系统1100和可佩戴系统600的组合，并且可以包括位于相同或不同位置的一些或所有相同组件，并相应地使用了相同的参考标记。如上所述，可佩戴系统600和可佩戴系统1100中的每一个都具有某些特征和限制。可佩戴系统1300的混合方法结合了两种成像方法的特征以克服限制。例如，可佩戴系统600提供的侧视成像可用于校准和定期验证，而可佩戴系统1100提供的仰视成像可用于有效动态跟踪角坐标测量值的变化。一些实施方式同时执行侧视成像和仰视成像。其他实施方式以时分方式执行侧视成像和仰视成像，例如利用分配给不同成像方法的成像和/或照明时隙。

图15示出了根据本文所述的各种实施例的用于由可佩戴系统进行光学视线跟踪的方法1500的流程图。方法1500的实施例开始于阶段1504，由位于佩戴可佩戴结构的用户的第一眼睛的第一颞侧的可佩戴结构的第一照明器投射第一照明，第一照明投射在用户的第一眼睛的第一角膜上。在阶段1508，实施例可以在第一照明下，通过位于第一颞侧的可佩戴结构的第一成像阵列生成第一眼睛的第一成像。在一些实施例中，第一照明器在不可见的、人眼安全的频带中投射照明，并且第一成像阵列具有接收光学器件，包括对不可见的、人眼安全的频带透射的带通滤波器。

在阶段1512，实施例可以至少基于检测第一成像中的第一眼睛的第一角膜表面的第一曲率顶点，计算(例如，通过可佩戴结构的控制处理器)第一眼睛的第一3D原点。在阶段1516，实施例可以基于检测第一成像中的第一组瞳孔尺寸并且计算第一组瞳孔尺寸与瞳孔尺寸基准之间的偏移，计算(例如，通过控制处理器)第一眼睛的第一角坐标测量值。在一些实施例中，在阶段1516，计算第一角坐标测量值包括检测第一成像中的第一瞳孔中心位置，并且计算第一瞳孔中心位置和第一曲率顶点之间的偏移。在一些实施例中，在阶段1516，计算第一角坐标测量值包括检测第一成像中的第一瞳孔圆度，并且计算第一瞳孔圆度与真实圆形基准之间的偏移。在阶段1520，实施例可以基于第一3D原点和第一角坐标测量值，计算(例如，通过控制处理器)视线。

在一些实施例中，顺序地或同时地，该方法还对用户的第二眼睛进行操作。例如，在阶段1524，实施例由位于用户的第二眼睛的第二颞侧的可佩戴结构的第二照明器投射第二照明，第二照明投射到第二眼睛的第二角膜上。在阶段1528，这样的实施例由位于第二颞侧的可佩戴结构的第二成像阵列在第二照明下生成第二眼睛的第二成像。在阶段1532，这样的实施例至少基于检测第二成像中第二眼睛的第二角膜表面的第二曲率顶点，计算(例如，通过控制处理器)第二眼睛的第二3D原点。在阶段1536，这样的实施例基于检测第二成像中的第二组瞳孔尺寸并且计算第二组瞳孔尺寸与第二瞳孔尺寸基准之间的偏移，计算第二眼睛的第二角坐标测量值。在这样的实施例中，在阶段1520，计算视线可以还基于第二3D原点和第二角坐标测量值。

一些实施例还使用视线确定向用户显示虚拟对象的方式，例如通过将对象投射到增强或虚拟环境中。例如，在阶段1540，实施例可以确定(例如，通过控制处理器)基于3D原点的显示坐标系。在阶段1544，这样的实施例可以基于显示坐标系和视线在显示器上引导一个或多个虚拟对象的显示(例如，通过控制处理器)。在一些这样的实施例中，场景传感器等(例如，与可佩戴结构集成)可以在真实世界坐标系中检测真实世界环境的一个或多个特征，并且在阶段1544中引导显示涉及计算显示坐标系到真实世界坐标系之间的映射，以及基于映射和视线引导投影到真实世界环境中的虚拟对象的显示。

虽然本公开包含许多细节，但这些不应被解释为对任何发明或可能要求保护的范围的限制，而是作为对特定发明的特定实施例可能特定的特征的描述。本专利文件中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独地或以任何合适的子组合来实现。此外，尽管特征在上文中可以被描述为以某些组合起作用，甚至在最初被要求保护时也是如此，但在某些情况下，来自所要求保护的组合的一个或多个特征可以从该组合中切除，并且所要求保护的组合可以指向子组合或子组合的变体。

类似地，虽然在附图中以特定顺序描绘操作，但这不应理解为要求以所示的特定顺序或按顺序执行此类操作，或者执行所有所示的操作以获得期望的结果。此外，本专利文件中描述的实施例中各种系统组件的分离不应理解为所有实施例都需要这样的分离。

仅描述了一些实施方式和示例，并且可以基于本专利文件中描述和所示的内容进行其他实施方式、增强和变化。

提及“一个”或“所述”旨在表示“一个或多个”，除非有相反的具体说明。范围在本文中可以表示为从“大约”一个指定值，和/或到“大约”另一个指定值。术语“大约”在本文中用于表示近似地、在范围内、粗略地或在周围。当术语“约”与数值范围结合使用时，它通过将边界延伸到所列数值之上和之下来修改该范围。通常，术语“约”在本文中用于以10％的变化来修饰高于和低于规定值的数值。当表达这样的范围时，另一个实施例包括从一个特定值和/或到另一个特定值。类似地，当通过使用先行词“约”将值表示为近似值时，可以理解的是，指定的值形成了另一个实施例。还应当理解，每个范围的端点都包括在该范围内。

这里提到的所有专利、专利申请、出版物和说明书都以引用的方式整体并入，用于所有目的。没有一个被承认为现有技术。

Claims (20)

1.一种用于光学视线跟踪的系统，其特征在于，所述系统包括：

可佩戴结构，所述可佩戴结构用于佩戴在用户的头部；

第一照明器，所述第一照明器在所述用户的第一眼睛的第一颞侧与所述可佩戴结构集成以将照明投射到所述第一眼睛的第一角膜上；

第一成像阵列，所述第一成像阵列在所述第一颞侧与所述可佩戴结构集成以生成所述第一眼睛的第一成像；和

控制处理器，用于：

至少基于在所述第一成像中检测所述第一眼睛的第一角膜表面的第一曲率顶点，计算所述第一眼睛的第一三维3D原点；

基于检测所述第一成像中的第一组瞳孔尺寸并且计算所述第一组瞳孔尺寸与瞳孔尺寸基准之间的偏移，计算所述第一眼睛的第一角坐标测量值；和

基于所述第一3D原点和所述第一角坐标测量值，计算视线。

2.根据权利要求1所述的系统，其特征在于，所述控制处理器通过以下方式计算所述第一眼睛的所述第一角坐标测量值：

检测所述第一成像中的第一瞳孔中心位置，并且计算所述第一瞳孔中心位置与所述第一曲率顶点之间的偏移。

3.根据权利要求1所述的系统，其特征在于，所述控制处理器通过以下方式计算所述第一眼睛的所述第一角坐标测量值：

检测所述第一成像中的第一瞳孔圆度，并且计算所述第一瞳孔圆度与真实圆形基准之间的偏移。

4.根据权利要求1所述的系统，其特征在于，所述控制处理器计算所述第一3D原点以包括第一y值和第一z值作为所述第一曲率顶点。

5.根据权利要求1所述的系统，其特征在于，所述控制处理器基于根据所述第一成像估计的所述第一角膜表面的所述第一曲率顶点和曲率半径，计算所述第一3D原点以包括与所述第一眼睛的眼球中心相对应的第一y值和第一z值。

6.根据权利要求1所述的系统，其特征在于，还包括：

鼻部，所述鼻部与所述可佩戴结构集成并且用于将从所述第一照明器投射的照明反射回所述第一成像阵列。

7.根据权利要求1所述的系统，其特征在于，还包括：

鼻部，所述鼻部与所述可佩戴结构集成并且在其上具有可测量特征，所述特征可被所述控制处理器识别为具有预校准尺寸，

其中，所述控制处理器通过测量所述第一成像中的所述特征的检测尺寸并且基于所述检测尺寸与所述预校准尺寸之间的差计算从所述第一成像阵列到所述特征之间的x距离，以及基于所述x距离确定第一x值，计算所述第一3D原点以包括所述第一x值。

8.根据权利要求1所述的系统，其特征在于，还包括：

第二照明器，所述第二照明器在所述用户的第二眼睛的第二颞侧与可所述佩戴结构集成，以将照明投射到所述第二眼睛的第二角膜上，所述第一颞侧和所述第二颞侧位于所述用户的头部的相对两侧；和

第二成像阵列，所述第二成像阵列在所述第二颞侧与所述可佩戴结构集成以生成所述第二眼睛的第二成像，

其中所述控制处理器还用于：

至少基于在所述第二成像中检测所述第二眼睛的第二角膜表面的第二曲率顶点，计算所述第二眼睛的第二3D原点；和

基于检测所述第二成像中的第二瞳孔中心位置和/或第二瞳孔圆度，计算所述第二眼睛的第二角坐标测量值，以及

其中所述控制处理器还基于所述第二3D原点和所述第二角坐标测量值，计算所述视线。

9.根据权利要求8所述的系统，其特征在于，所述控制处理器计算所述第一3D原点以包括基于所述第一成像阵列和所述第二成像阵列之间的中心点计算的第一x值。

10.根据权利要求8所述的系统，其特征在于，还包括：

鼻部，所述鼻部与所述可佩戴结构集成并且被定位为使得所述第一成像阵列和所述第一照明器位于所述鼻部的第一侧，和所述第二成像阵列和第二照明器位于所述鼻部的第二侧，所述鼻部用于减轻所述第一侧和所述第二侧之间的光学串扰。

11.根据权利要求1所述的系统，其特征在于，所述控制处理器与所述可佩戴结构集成。

12.根据权利要求1所述的系统，其特征在于，还包括：

显示器，所述显示器与所述可佩戴结构集成，

其中，所述控制处理器还基于所述第一3D原点确定显示坐标系，并且基于所述显示坐标系和所述视线在所述显示器上显示一个或多个虚拟对象。

13.根据权利要求12所述的系统，其特征在于，还包括：

场景传感器，所述场景传感器与所述可佩戴结构集成以检测真实世界坐标系中的真实世界环境的一个或多个特征，

其中，所述控制处理器还计算所述显示器坐标系到所述真实世界坐标系之间的映射，和基于所述映射和所述视线在所述显示器上显示投射到所述真实世界环境中的所述虚拟对象中的至少一个。

14.根据权利要求1所述的系统，其特征在于，所述第一照明器在不可见的，眼睛安全的频带中投射所述照明，并且所述第一成像阵列具有接收光学器件，所述接收光学器件包括透射到所述不可见的，眼睛安全的频带的带通滤波器。

15.根据权利要求1所述的系统，其特征在于，所述可佩戴结构与眼镜框集成。

16.一种用于光学视线跟踪的方法，其特征在于，所述方法包括：

由位于佩戴所述可佩戴结构的用户的第一眼睛的第一颞侧的可佩戴结构的第一照明器投射第一照明，所述第一照明投射到所述第一眼睛的第一角膜上；

在所述第一照明下，由位于所述第一颞侧的所述可佩戴结构的第一成像阵列生成所述第一眼睛的第一成像；

由所述可佩戴结构的控制处理器至少基于在所述第一成像中检测所述第一眼睛的第一角膜表面的第一曲率顶点，计算所述第一眼睛的第一三维3D原点；

由所述控制处理器基于检测所述第一成像中的第一组瞳孔尺寸并且计算所述第一组瞳孔尺寸与瞳孔尺寸基准之间的偏移，计算所述第一眼睛的第一角坐标测量值；和

由所述控制处理器基于所述第一3D原点和所述第一角坐标测量值，计算视线。

17.根据权利要求16所述的方法，其特征在于，所述计算所述第一眼睛的所述第一角坐标测量值包括检测所述第一成像中的第一瞳孔中心位置，并且计算所述第一瞳孔中心位置与所述第一曲率顶点之间的偏移。

18.根据权利要求16所述的方法，其特征在于，所述计算所述第一眼睛的所述第一角坐标测量值包括检测所述第一成像中的第一瞳孔圆度，并且计算所述第一瞳孔圆度与真实圆形基准之间的偏移。

19.根据权利要求16所述的方法，其特征在于，还包括：

由位于所述用户的第二眼睛的第二颞侧的所述可佩戴结构的第二照明器投射第二照明，所述第二照明投射到所述第二眼睛的第二角膜上；

在所述第二照明下，由位于所述第二颞侧的所述可佩戴结构的第二成像阵列生成所述第二眼睛的第二成像；

由所述控制处理器至少基于在所述第二成像中检测所述第二眼睛的第二角膜表面的第二曲率顶点，计算所述第二眼睛的第二3D原点；

由所述控制处理器基于检测所述第二成像中的第二组瞳孔尺寸并且计算所述第二组瞳孔尺寸与第二瞳孔尺寸基准之间的偏移，计算所述第二眼睛的第二角坐标测量值；和

由所述控制处理器还基于所述第二3D原点和所述第二角坐标测量值，计算所述视线。

20.根据权利要求16所述的方法，其特征在于，还包括：

由所述控制处理器基于所述第一3D原点，确定显示坐标系；和

由所述控制处理器基于所述显示坐标系和所述视线，在显示器上引导一个或多个虚拟对象的显示。