CN110913751A

CN110913751A - 具有滑动检测和校正功能的可穿戴眼睛跟踪系统

Info

Publication number: CN110913751A
Application number: CN201880044298.2A
Authority: CN
Inventors: 聂小春
Original assignee: Individual
Current assignee: Individual
Priority date: 2017-06-30
Filing date: 2018-06-23
Publication date: 2020-03-24
Anticipated expiration: 2038-06-23
Also published as: EP3644826A1; CN110913751B; CN114742863A; US10725539B2; US11068056B2; EP3644826A4; WO2019005644A1; US20190005679A1; US20200319708A1

Abstract

公开了一种具有滑动检测和校正功能的被配置为用于眼球跟踪的设备、系统和方法。在一个示例中，一种方法包括：使用成像传感器获取人眼睛的第一图像和第二图像；根据第一图像和第二图像确定眼睛的眼球中心与成像传感器之间的位置关系。

Description

具有滑动检测和校正功能的可穿戴眼睛跟踪系统

相关申请交叉引用

通过引用，将美国临时申请No.62/527,562的公开内容全部合并于此。

技术领域

本公开涉及一种可穿戴眼睛运动跟踪系统以及设置和操作方法，该系统具有滑动检测和校正功能。

背景技术

人与计算机交互(HCI)，或者一般地，人机交互，专注于计算机技术的设计和使用以及用户和计算机之间的接口。HCI依赖于对人输入动作的灵敏、直观和准确的测量。鼠标、键盘和触摸屏是传统的输入设备，需要用户手动操作。有些输入设备，如Microsoft

可以在没有任何物理接触的情况下跟踪用户的身体或手的姿势。在本公开中，“用户”一词和“人”一词可以互换使用。

虚拟现实(VR)技术的最新进展将VR护目镜带入了消费市场。VR护目镜可以为用户创造身临其境的三维(3D)体验。用户可以通过转动头部环顾虚拟世界，就像在现实世界中环顾四周一样。

增强现实(AR)是另一个发展迅速的领域。AR和VR之间的一个主要区别是AR在真实世界场景中实时操作，与此相对，VR中仅仅在由计算机创建或记录的场景中操作。在VR和AR中，了解用户在看什么位置，以及用户想对期望目标采取什么行动都是非常有用的。有效、可靠的眼睛跟踪将在这种情况下实现广泛的应用。

如今，自动驾驶汽车也处于前沿阶段。存在这种情形，由于道路或交通状况的更新或者驾驶模式的改变，处于自动驾驶模式的汽车可能需要驾驶员的注意。因此，持续地监视驾驶员正在看哪里是很有用的。

机器学习和人工智能(AI)可能在学习、建模和预测的循环中工作。快速、直观地跟踪用户的关注点以进行数据采集和确认的方式可以在此循环中发挥重要的作用。

发明内容

本文公开了一种方法，包括：利用成像传感器获取人眼睛的第一图像和第二图像；基于第一图像和第二图像确定眼睛的眼球中心与成像传感器之间的位置关系。

根据实施例，该方法还包括基于所述位置关系确定成像传感器相对于眼球中心的相对运动。

根据实施例，第一图像和第二图像是不同的。

根据实施例，确定所述位置关系的方法包括：从第一图像和第二图像中提取瞳孔或者角膜缘的轮廓，并基于轮廓确定位置关系。

根据实施例，第一图像和第二图像是在眼睛的有意或随机运动期间获取的。

根据实施例，该方法还包括确定成像传感器与人的头部之间的方位关系。

根据实施例，确定所述方位关系的方法包括：当人的头部绕第一轴旋转并且眼睛保持在第一注视点时，获取第一组注视向量；当人的头部绕第二轴旋转并且眼睛保持在第二注视点时，获取第二组注视向量，或者在眼睛保持在第三注视点时获取第三注视向量；基于第一组注视向量，并且基于第二组注视向量或第三注视向量，确定所述方位关系。

根据实施例，成像传感器包括一个以上的相机。

根据实施例，成像传感器被配置为获取人的一只以上眼睛的图像。

本文公开了一种装置，包括：成像传感器，该成像传感器被配置为获取人眼睛的第一图像和第二图像；以及计算设备，该计算设备包括处理器，该处理器被配置为基于第一图像和第二图像确定眼睛的眼球中心与成像传感器之间的位置关系。

根据实施例，处理器还可以被配置为基于所述位置关系确定成像传感器相对于眼球中心的相对运动。

根据实施例，第一图像和第二图像是不同的。

根据实施例，处理器还可以被配置为通过从第一图像和第二图像中提取瞳孔或角膜缘的轮廓，并基于轮廓来确定位置关系。

根据实施例，处理器还可以被配置为：通过基于轮廓确定的眼球中心在成像传感器的二维图像平面中的位置来确定位置关系。

根据实施例，成像传感器被配置为在眼睛的有意或随机运动期间获取第一图像和第二图像。

根据实施例，处理器可以被配置为确定成像传感器与人的头部之间的方位关系。

根据实施例，处理器还可以配置为通过以下方法确定方位关系：当人的头部绕第一轴旋转并且眼睛保持在第一注视点时，获取第一组注视向量；当人的头部绕第二轴旋转并且眼睛保持在第二注视点时，获取第二组注视向量，或者在眼睛保持在第三注视点时获取第三注视向量；基于第一组注视向量，并且基于第二组注视向量或第三注视向量，确定方位关系。

根据实施例，成像传感器包括一个以上的相机。

本文公开了一种方法，包括：当人的头部绕第一轴旋转并且眼睛保持在第一注视点时，使用成像传感器获取人眼睛的第一组图像；当人的头部围绕第二轴旋转并且眼睛保持在第二注视点时，使用成像传感器获取人眼睛的第二组图像，或者眼睛保持在第三注视点时，使用成像传感器获取第三图像；基于第一组图像，并且基于第二组图像或第三图像，确定成像传感器与人的头部之间的方位关系。

根据实施例，该方法还包括：基于第一组图像获取第一组注视向量；基于第二组图像获取第二组注视向量，或基于第三图像获取第三注视向量；其中，基于第一组注视向量，并且基于第二组注视向量或第三注视向量，确定方位关系。

根据实施例，第一注视点和第二注视点不同；或者其中，第一注视点和第三注视点不同。

根据实施例，成像传感器包括一个以上的相机。

本文公开了一种装置，包括：成像传感器和计算设备，该计算设备包括处理器。成像传感器可以配置为当人的头部绕第一轴旋转并且眼睛保持在第一注视点时，获取人眼睛的第一组图像。所述成像传感器还被配置为当人的头部围绕第二轴旋转并且眼睛保持在第二注视点时，获取人眼睛的第二组图像，或眼睛保持在第三注视点时获取第三图像。该计算设备包括处理器，该处理器被配置为基于第一组图像，并且基于第二组图像或第三图像，确定成像传感器与人的头部之间的方位关系。

根据实施例，所述处理器还被配置为：基于第一组图像获取第一组注视向量；基于第二组图像获取第二组注视向量，或基于第三图像获取第三注视向量；以及基于第一组注视向量，并且基于第二组注视向量或第三注视向量，确定方位关系。

根据实施例，第一注视点和第二注视点不同；或者其中第一注视点和第三注视点不同。

根据实施例，成像传感器包括一个以上的相机。

本文公开了一种方法，包括:利用成像传感器获取人眼睛的第一图像；从第一图像中提取瞳孔或角膜缘的轮廓；确定眼睛的眼球中心在成像传感器的二维图像平面中的位置；基于轮廓和位置确定眼睛的眼球中心与成像传感器之间的位置关系。

根据实施例，确定位置的步骤包括：从使用成像传感器获取的人眼睛的两幅图像中提取瞳孔或角膜缘的轮廓。

根据实施例，第一图像是所述两幅图像之一。

本文公开了一种装置，包括：成像传感器，该成像传感器被配置为获取人眼睛的图像；计算设备，该计算设备包括处理器，该处理器被配置为从至少一个图像中提取瞳孔或角膜缘的轮廓,以确定眼睛的眼球中心在成像传感器的二维图像平面中的位置，并且基于轮廓和位置确定眼睛的眼球中心和成像传感器之间的位置关系。

根据实施例，处理器还可以被配置为通过从至少两个图像中提取瞳孔或角膜缘的轮廓，来确定眼睛的眼球中心在成像传感器的二维图像平面中的位置。

附图说明

图1示出了二维(2D)坐标系。

图2示出了三维坐标系。

图3示出了二维空间中的一条直线。

图4二维空间中的椭圆。

图5示出了至少根据两幅不同位置的瞳孔图像可以计算出相机二维图像平面上的眼球中心点图像。

图6示出了3种三维坐标系：头部坐标系；相机坐标系；以及眼睛坐标系。

图7示出了头部坐标系。

图8示出了相机被固定在一个框架上，这样相机的相对位置和方向就不会改变。

图9示出了一种校准过程的第一步。

图10示出了该校准过程的第二步。

图11A示意性地示出了根据一实施例的方法流程图。

图11B示出了图11A流程图中的可选过程的流程图。

图12示意性地示出了根据另一个实施例的方法的流程图。

具体实施方式

在以下的详细描述中，为了提供对相关教学的透彻理解，列举了大量细节的示例。然而，对于本领域技术人员来说，显而易见地，可以在没有这些细节的情况下实践本教导。在其它情况下，已经相对高水平地描述了公知的方法、程序和组成部分，而没有详细描述，以避免不必要地模糊本教导的各方面。

附录部分A1.1部分定义了使用右手定则的三维坐标系。附录部分A1.2 中定义了相机图像帧中的二维坐标系。

本披露中使用的数学效用函数列于附录部分的A2部分、A3部分和A4 部分。讨论了四元数、向量和矩阵数学。四元数在本发明中被广泛使用。使用四元数的函数也可以使用矩阵、欧拉角或其它合适的数学表达式来表示。

本发明涉及三种三维坐标系，如图6所示：头部坐标系Xh-Yh-Zh-Oh，简称CS-H；相机坐标系Xc-Yc-Zc-Oc，简称CS-C；眼睛坐标系Xe-Ye-Ze-Oe，简称CS-E。CS-E的原点是在人眼球的中心。CS-C和CS-E的单位为眼球的半径。这些坐标系的包含顺序为：CS-H>CS-C>CS-E。

头部坐标系CS-H如图7所示。X轴从用户的左耳指向右耳；Y轴从下巴底部指向头顶；Z轴从鼻尖指向脑后。因此，X轴与左右水平方向对准，Y 轴与垂直方向对准，Z轴与前后水平方向对准。附录的A1.1部分中定义了轴的旋转方向。

眼睛坐标系CS-E固定在用户的一只眼睛上。当眼睛在它的主要位置时 (例如，眼睛直视前方时)，CS-E的X轴、Y轴和Z轴分别指向与CS-H的X 轴、Y轴和Z轴相同的方向。

本公开中使用的“ABC”形式的缩写：A表示类型(type)；B表示特指 (specific)；C表示情境(context)。例如，缩写“qch”表示：使用四元数“q”表示相机“c”在头部坐标系“h”中的方位。见附录的A2部分。

注视线为经过眼球中心和瞳孔中心的线。

注视向量是从CS-E原点指向CS-E的Z轴负方向的单位向量。注视向量表示注视线的方向。

注视点是用户注视线落在其上的点。

凝视是一种注视向量或注视点在一段时间内被限制在一个小范围内的情况。

使用以相对于用户头部的固定位置和方向面向用户的眼睛的成像传感器 (如摄像机)，可以实现以下功能。在本发明中，“成像传感器”一词和“相机”一词可以互换使用。“成像传感器”并不局限于静态相机。

从用户眼睛的两幅或更多幅图像中，使用从瞳孔或边缘的轮廓提取的椭圆，可以计算出眼球中心在相机坐标系CS-C中的位置。对于用户获取这些图像所需执行的操作没有特定的要求。用户的眼球运动可以是主动的，也可以是随机的。

已知CS-C坐标系中眼球中心的位置，可以计算CS-C坐标系中的注视向量。可以启动眼球跟踪过程，并持续计算CS-C坐标系的注视向量。

在眼球跟踪过程中，通过不断计算和更新CS-C坐标系中眼球中心的位置，可以检测和校正相机相对于用户眼球中心位置的变化所引起的相机滑动。

在相机-头部校准过程中，计算相机在用户头部坐标系CS-H中的方位。第一步：用户从远处选择第一注视点并凝视第一注视点。在不改变第一个注视点的情况下，用户绕头部坐标系的X轴旋转头部，可以得到与此旋转相关联的第一组注视向量。然后可以得到CS-C坐标系中与CS-H坐标系的X轴对齐的向量vhcx。第二步:用户从远处选择第二注视点。在不改变第二注视点的情况下，用户绕头部坐标系的Y轴旋转头部，可以得到与此旋转相关联的第二组注视向量。第一注视点和第二注视点可以相同，也可以不同。然后在 CS-C坐标系中得到了一个与CS-H坐标系的Y轴对齐的向量vhcy。第三步: 用户直视前方，选择一个注视点，记录在此位置的注视向量。那么在CS-C 坐标系中，与CS-H的Z轴对齐的向量vhcz可以看作指向这个注视向量的负方向。已知坐标系的X、Y、Z轴中的任意两个轴，就可以计算出第三个轴。因此，使用上述三个步骤中的任意一个步骤得到的向量，就可以计算出相机相对于用户头部的方向。

利用CS-C中的注视向量和相机相对于用户头部的方位，即CS-C相对于 CS-H的方位，可以计算出眼睛相对于用户头部的注视向量。

基于以上描述的多种配置也是可能的：配置A使用一个面向用户眼睛的相机；配置B使用多个面向用户眼睛的相机；配置C使用一个面向用户双眼的相机；配置D，可以是配置A，配置B和配置C的组合。

有可能：使用配置A的一台相机获取一只眼睛的注视向量；使用配置B 的单台相机获取一只眼睛注视向量；为每只眼睛使用一个配置A的相机，获取两只眼睛的注视向量；为每只眼睛使用一个以上配置B的相机，获取两只眼睛的注视向量；使用一个配置C的相机，获取双眼的注视向量；用配置D 可以求出双眼的注视向量。

各种硬件组件可用于实现本公开中的功能和过程。一个硬件组件是相机。相机可以测量光的亮度和颜色。在本公开中，术语“相机坐标系”或“CS-C”与术语“成像传感器坐标系”或“CS-I”可互换使用。相机可以捕捉彩色图像或灰度图像。相机还可以捕获红外图像或非红外(如可见光)图像。相机的参数包括它的物理尺寸、分辨率及其镜头的焦距。附录部分A1.2中定义了一个二维相机图像帧坐标系。

一个硬件部件是将相机固定在用户头上的头部装置。视应用而定，该头部装置可以是眼镜框架，头带或者是头盔。其它形式的头部装置也是可以的。

一个硬件组件可以是计算机，如嵌入式系统或桌面系统。

如图8所示，可以将相机固定在刚性框架上，使其相对于用户头部的位置和方向不变。在眼睛跟踪模式下，可以计算出用户眼睛的注视向量。

眼球中心相对于相机的位置计算方法如下。

在计算注视向量之前，需要获取CS-C中眼球中心(“vec”)的位置。为此，相机捕捉眼睛的一系列图像。对每个图像，提取瞳孔轮廓。瞳孔的轮廓可以看作是一个椭圆。利用图像序列中的两个或两个以上表示瞳孔轮廓的椭圆，可以计算出vec。算法部分的C1和C2部分描述了详细的步骤。

虽然从两幅眼睛图像中得到的两个椭圆足够计算vec，但在实际中，如果使用来自更多眼睛图像的椭圆，可以得到更准确、更具有鲁棒性的结果。具体来说，利用一系列人眼睛图像的组合，可以计算出更多的vec解。这些解可能会因测量误差和系统噪声而不同。但这些解可以通过一定的方法进行进一步处理，得到精度更高、鲁棒性更好的结果。例如，这些方法可以是平均、最小二乘回归、卡尔曼滤波等。

理想情况下，从一幅眼睛图像到另一幅眼睛图像，瞳孔的位置和形状应该有足够的变化。为了获取不同位置的瞳孔的图像，用户可以凝视固定的位置，将头部转向不同的方向，或者将头部保持在固定的位置，转动眼球看不同的方向，也可以结合以上两种方式。

从眼睛图像中的瞳孔轮廓中获取的椭圆应该不像圆形。具体来说，其半长轴a与半短轴b的长度之比(见附录部分)应大于阈值，即，应满足以下条件：a/b>阈值。

另外，可以用角膜缘代替瞳孔，从人眼睛图像中提取椭圆。根据两个或多个眼睛图像中的角膜缘提取的椭圆可用于CS-C坐标系中的眼球中心vec 的计算，其方法与从两个或多个图像中根据瞳孔提取的椭圆相同。也可以使用根据瞳孔和角膜缘两者提取的椭圆，以提高灵活性和鲁棒性。

下面描述相机坐标系下的注视向量计算方法。获取眼球中心vec位置后，开始眼球跟踪过程。CS-C中的注视向量vgc可以从捕获的眼睛图像中计算出来，更具体地说，可以从眼睛图像中检测到的瞳孔pc中心位置计算出来。

假设：

vec＝(xc,yc,zc)是CS-C中CS-E原点的坐标；

pc＝(x,y)为相机图像平面中瞳孔的中心；

vgc＝(xg,yg,zg)为CS-C中的注视向量；

vgc可以由vec和pc计算出来。详细信息可以在算法部分的C3中找到。

下面描述了滑移检测和校正的方法。在CS-C中，眼球中心vec位置的计算可以单独的阶段进行，也可以与眼球跟踪过程并行进行。如果连续计算眼球中心vec的位置，则可以通过将vec的当前值与现有值进行比较，来检测由于相机位置相对于眼球中心的变化而导致的可能相机滑移。在眼球跟踪过程中，可以有效地检测到相机相对于眼球中心的滑移。vec可以是在眼球跟踪过程中实时更新的参数。

下面描述校准相机相对于用户头部的方位的方法。

在相机-头部校准过程中，计算相机在头部坐标系CS-H中的方位。用户被指示从远处选择一个注视点并凝视它。第一步，在不改变注视点的情况下，用户将头部绕着头部坐标系的X轴旋转，得到与此旋转相关联的第一组注视向量。从而可以得到在CS-C中与CS-H的X轴对齐的向量vhcx。第二步，用户可以保持第一个注视点，也可以从远处选择一个新的注视点，在不改变注视点的情况下，将头部绕头部坐标系的Y轴旋转，就可以得到与此旋转相关联的第二组注视向量。进而可以得到CS-C中与CS-H的Y轴对齐的向量 vhcy。第三步，用户可以直视前方，并选择一个注视点，记录该位置的注视向量。于是，在CS-C中，与CS-H的Z轴对齐的向量vhcz可以看作是指向这个注视向量的负方向。已知一个坐标系的X、Y、Z轴中的任意两个轴，就可以计算出第三个。因此，使用上述三个步骤中任意一个步骤得到的向量，就可以计算出相机相对于用户头部的方向。

在一个实施例中的校准过程中，如图9和图10所示。在图9中，用户选择一个远处的注视点。当用户凝视这一注视点的时候，上下转动头部。相机捕捉眼睛的图像，这些图像显示了与不同头部位置有关的瞳孔中心的位置。在图10中，用户可以保持第一个注视点，也可以在选择一个新的远处的注视点，在不改变注视点的情况下，用户左右转动头部。相机捕捉眼睛的图像，显示与不同的头部位置相关的瞳孔的位置。

在另一个校准过程中，用户直视前方并选择一个远处的注视点。记录这个位置的注视向量。那么CS-C坐标系中CS-H的Z轴方向可以看作是指向这个注视向量的负方向。然后，用户可以选择执行图9中的第一步和图10中的第二步。

假设qch为头部坐标系中相机坐标系的方位四元数，即CS-C在CS-H中的方位。计算qch的详细信息可在算法部分中的C4部分找到。

可以使用两个以上的注视向量以检测算法部分C4.2和C4.3中描述的 CS-C中CS-H的X轴或Y轴。多个注视向量对可以生成多个解，利用均值法、最小二乘回归法、卡尔曼滤波法等方法可以得到最终结果。同样地，在CS-C 中，可以使用多个向量来检测CS-H的Z轴，如算法部分C4.8所述。

下面描述头部坐标系中注视向量的计算方法。

已知CS-C中从CS-E原点指向用户注视的目标的注视向量vgc,CS-H中 CS-C的方向四元数qch，CS-H中注视向量vgh可以计算为vgh＝qvq_trans(qch， vgc)。见附录部分A2.3.6。

图11A示意性地示出了根据实施例的方法流程图。在步骤1210中，使用成像传感器获取人眼睛的第一图像和第二图像。所述成像传感器可以包括一个或一个以上相机。成像传感器可以获取人的一只或两只眼睛的图像。第一图像和第二图像可以不同。第一图像和第二图像可以是在有意或随机地移动眼睛的过程中获取的。在步骤1220中，例如可以使用计算设备中的处理器，基于第一图像和第二图像确定眼球中心与成像传感器之间的位置关系。例如，可以(例如，使用处理器)从第一图像和第二图像中提取瞳孔或角膜缘的轮廓，并(例如，使用处理器)根据轮廓确定位置关系。在可选步骤1230中，例如可以使用处理器，基于位置关系来确定成像传感器相对于眼球中心的相对运动。在可选步骤1240中，例如使用处理器，确定成像传感器和人的头部之间的方位关系。

图11B示出了可选步骤1240的流程图。在步骤1241中，当人的头部绕第一轴旋转并且眼睛保持在第一注视点时，(例如，使用处理器)获取第一组注视向量。在步骤1242中，当人的头部绕第二轴旋转并且眼睛保持在第二注视点时，(例如，使用处理器)获取第二组注视向量；或者，当眼睛保持在第三注视点时，(例如，使用处理器)获取第三注视向量。在步骤1243中，基于第一组注视向量，并且基于第二组注视向量或第三注视向量(例如，使用处理器) 确定方位关系。

图12示意性地示出了根据另一个实施例的方法流程图。在步骤1310中，在人的头部绕第一轴旋转，眼睛保持在第一注视点的同时，使用成像传感器获取人眼睛的第一组图像。所述成像传感器可以包括一个或一个以上相机。成像传感器可以获取人的一只或两只眼睛的图像。在可选步骤1311中，(例如，使用计算设备的处理器)根据第一组图像获取第一组注视向量。在步骤 1320中，在人的头部绕第二轴旋转，眼睛保持在第二注视点的同时，使用成像传感器获取眼睛的第二组图像；或者在眼睛保持在第三注视点的同时，使用成像传感器获取第三图像。在可选过程1321中，(例如，使用处理器)基于第二组图像得到第二组注视向量；或者(例如，使用处理器)基于第三图像获取第三注视向量。在步骤1340，基于第一组图像，并且基于第二组图像或第三图像(例如，基于分别从第一组图像、第二组图像和第三图像获取的第一组注视向量、第二组注视向量和第三注视向量)，(例如，使用计算设备的处理器) 确定成像传感器和人的头部的位置关系。第一注视点和第二注视点可以不同，或者第一注视点和第三注视点可以不同。

算法

C1.计算相机二维图像平面中眼球中心图像的位置

给定一幅眼睛的图像，假设可以提取瞳孔的轮廓。瞳孔轮廓的形状可以看作是一个椭圆。(见附录部分第A4部分)

二维空间中的椭圆可以由其顶点和共顶点表示，如图4所示。

虽然从相机上看不出眼球中心，但，如图5所示，至少根据2张不同位置的瞳孔图像就可以计算出相机二维图像平面中眼球中心图像的点pe。假设：

E0是在t0时刻从眼睛图像根据瞳孔提取的椭圆；

E1为t1时刻从眼睛图像根据瞳孔提取的椭圆。

假设：

L0是通过E0的两个共顶点(co-vertice)的直线；

L1是通过E1的两个共顶点的直线。

L0和L1的线性方程的求法在附录部分的A3.1中。

可以计算得到L0与L1的交点pe(见附录部分A3.2)。

C2.计算眼球中心在CS-C中的位置

假设椭圆E代表捕获的眼睛图像中瞳孔的轮廓，假设E由其顶点和共顶点定义，如图4所示；

p0和p1是两个顶点末端的两个点，顺序不重要；

p2和p3是两个顶点的端点，顺序不重要；

pc为椭圆的中心点，可以由p0、p1、p2、p3计算得到(见附录部分A4.2)；

pe为算法的C1部分得到的眼球中心点图像。

上述6个点在相机的二维图像平面上都可以转换成相应的三维单位向量，从CS-C原点指向相机二维图像平面上的像点，如附录A.1.3部分所述。

v0＝v_frm_p(p0)

v1＝v_frm_p(p1)

v2＝v_frm_p(p2)

v3＝v_frm_p(p3)

vc＝v_frm_p(pc)

ve＝v_frm_p(pe)

cos_long＝v_dot(v0,v1)

cos_short＝v_dot(v2,v3)

tan_long_h＝sqrt((1-cos_long)/(1+cos_long))

tan_short_h＝sqrt((1-cos_short)/(1+cos_short))

cos_alfa＝v_dot(vc,ve)

sin_beta＝tan_short_h/tan_long_h

sin_r＝sqrt(1-cos_alfa*cos_alfa)

sin_d＝sqrt(1-sin_beta*sin_beta)

dist＝sin_d/sin_r

已知：

ve，从CS-C原点指向眼球中心的单位向量，

dist，CS-C原点到眼球中心的距离，

vec，眼球中心在CS-C中的位置为：vec＝(x,y,z)

其中，

x＝xe*dist

y＝ye*dist

z＝ze*dist

v＝(xe,ye,ze)

C3.计算相机坐标系中的注视向量

假设已经用算法的C1部分和C2部分描述的方法求得眼球中心的位置，其中，

vec＝(xc,yc,zc)是CS-C中CS-E原点的坐标

pc＝(x,y)为相机坐标系中瞳孔的中心(见附录部分A1.2)

vgc＝(xg,yg,zg)为CS-C中从CS-E原点指向注视点的注视向量。Vgc的计算方法为：

h＝-DEFOX(x)(见附录部分A1.3)

v＝-DEFOY(y)

a＝h*h+v*v+1

b＝2*(((a-1)*zc-h*xc-v*yc))

c＝(xc-h*zc)*(xc-h*zc)+(yc-v*zc)*(yc-v*zc)-1

p＝b*b-4*a*c

k＝sqrt(p)

z1＝(-b+k)/(2*a)

z2＝(-b-k)/(2*a)

z1和z2都是zv的候选解，在z2指向相机的方向时选取z1。因此,有：

zg＝z1

xg＝h*(zc+zg)-xc

yg＝v*(zc+zg)-yc

C4.获取相机相对于用户头部的方位

假设眼球中心位置已知，计算CS-C中的注视向量vgc。目标是得到CS-C 在CS-H中的方位四元数qch。

C4.1在一个校准过程中，用户选择一个远处的注视点。保持在这一注视点的同时，用户首先将头部围绕CS-H的X轴旋转，得到与该轴相关的第一注视向量v0和第二注视向量v1。然后用户可以保持第一个注视点，也可以选择一个远处的新的注视点并保持在它，不改变注视点，用户将头部绕CS-H 的Y轴旋转，得到与该轴相关的第一注视向量v2和第二注视向量v3。v0 v1 v2 v3都是CS-C中的向量。

C4.2计算CS-C中与CS-H的X轴对齐的矢量vhcx：

v10＝v_crs(v1,v0)

vhcx＝v_uni(v10)

C4.3计算CS-C中与CS-H的Y轴对齐的向量vhcy：

v32＝v_crs(v3,v2)

vhcy＝v_uni(v32)

C4.4已知vhcx和vhcx，可以计算出从CS-H到CS-C的3x3矩阵mhc:

vx＝vhcx

vz＝v_crs(vhcx,vhcy)

vy＝v_crs(vz,vx)

mhc＝m_frm_v(vx,vy,vz)

C4.5已知mhc，计算CS-C到CS-H的四元数qch:

qhc＝q_frm_m(mhc)

q_cnj(qhc)

C4.6值得注意的是，用户还可以将头部先绕CS-H的Y轴旋转，得到该轴的第一注视向量v2和第二注视向量v3。然后围绕CS-H的X轴旋转，得到这个轴上的第一注视向量v0和第二注视向量v1。即得到CS-C中的v0、 v1、v2、v3。其余的步骤是相同的。

C4.7值得注意的是，根据C4.2和C4.3的描述，可以使用两个以上的向量来计算vhcx或vhcy。以vhcx为例，如果使用多对注视向量，假设有多个解，如vhcx0、vhcx1、vhcx2等。使用一些公知的方法，如平均法，最小二乘回归法或卡尔曼滤波法等，可以基于这些解计算得到最终结果vhcx。同样地，vhcy也可以这样计算。

C4.8在另一个校准过程中，用户直视前方并选择一个远处的注视点。记录下这个位置的注视向量。那么CS-C中CS-H的Z轴的方向可以看作是指向这个注视向量的负方向。在CH-C中，可以得到与CS-H的Z轴对齐的向量 vhcz。CH-C中CS-H的方位可以由vhcx、vhcy和vhcz中的任意两个向量来计算。vhcx和/或vhcy可以得到(参见算法部分C4.1)。计算qch的过程类似于算法部分C4.2到C4.5部分的描述。

附录

上述算法中使用了附录中列出的数学工具。

A1坐标系

A1.1如图2所示，三维坐标系有X、Y、Z三个轴。轴的顺序和正旋转方向可以由右手定则确定。

任何两个轴都可以构成一个平面。因此，三维坐标系中，有被定义为P-XY, P-YX和P-ZX三个平面。

A1.2如图1所示，相机图像帧的二维坐标系中有X、Y两个轴。

A1.3将二维相机图像帧坐标系中的点转换为三维相机坐标系。

一个三维相机坐标系CS-C有指向右边的x轴，指向顶部的y轴，指向镜头的相反方向的z轴。

二维图像平面可以认为：

与CS-C的XY平面平行；

原点在左上角；

其图像中心位于CS-C的(0，0，1)处；

其X轴与CS-C的X轴平行，指向同一个方向；

其Y轴与CS-C的Y轴平行，指向相反的方向；

与CS-C的单位不同。具体来说，FOCAL_LEN是相机的焦距，单位是像素数。

计算从CS-C原点指向相机图像二维平面上点p的单位向量vu：

vu＝v_frm_p(p)

其中，

p＝(x，y)

vu＝(vx，vy，vz)

其中，

vu＝v_uni(v)

v＝(h，v，-1.0)

其中，

h＝DEFOX(x)＝(x-x_center)/FOCAL_LEN

v＝DEFOY(y)＝(y_center-y)/FOCAL_LEN

其中，(x_center，y_center)是相机二维图像帧的中心坐标。

A1.4三维坐标系中的一个点可以用三维向量v＝(x，y，z)表示，这个向量从坐标系统的原点指向这个点的位置。

A2四元数，三维向量，3x3矩阵和二维向量数学

四元数由4个元素组成

q＝(w，x，y，z)

A2.1.2单位四元数：

q＝q_idt(q)＝(1，0，0，0)

A2.1.3四元数的共轭：

q_cnj(q)＝(w，-x，-y，-z)

A2.1.4四元数的长度：

q_len(q)＝sqrt(w*w+x*x+y*y+z*z)

sqrt()是浮点数的平方根

A2.1.5单位四元数的长度为1

归一化四元数q：

u＝q_uni(q)

其中，

q＝(w，x，y，z)

u＝(uw，ux，uy，uz)

uw＝x/len

ux＝x/len

uy＝y/len

uz＝z/len

len＝q_len(q)

A2.1.62个四元数p和q的乘积

t＝q_prd2(q，p)＝q*p

其中，

q＝(qw，qx，qy，qz)

p＝(pw，px，py，pz)

t＝(tw，tx，ty，tz)

并且，

tw＝(qw*pw-qx*px-qy*py-qz*pz)

tx＝(qw*px+qx*pw+qy*pz-qz*py)

ty＝(qw*py-qx*pz+qy*pw+qz*px)

tz＝(qw*pz+qx*py-qy*px+qz*pw)

因为四元数可以用来表示旋转变换，所以如果q2＝q_prd2(q1，q0)是两个四元数的乘积，则将q2用作方位变换等效于先应用于q0，然后应用q1。

A2.1.7三个四元数的乘积：

q＝q_prd3(q1，q2，q3)＝q_prd2(q1，q_prd2(q2，q3))

A2.1.8四个四元数的乘积：

q＝q_prd4(q1，q2，q3，q4)＝q_prd2(q1，q_prd3(q2，q3，q4))

A2.2.13维向量有3个元素：

v＝(x，y，z)

A2.2.2三维向量长度：

v_len(v)＝sqrt(x*x+y*y+z*z)

A2.2.3单位三维向量长度为1

将三维向量归一化：

u＝v_uni(v)

其中，

v＝(x，y，z)

u＝(ux，uy，uz)

ux＝x/len

uy＝y/len

uz＝z/len

len＝v_len(v)

A2.2.4单位四元数可以解释为旋转向量和围绕该向量旋转的角度的组合：

q＝(w，x，y，z)

v＝(vx，vy，vz)是旋转向量

theta是旋转角度

其中，

w＝cos(theta/2)

x＝vx*sin(theta/2)

y＝vy*sin(theta/2)

z＝vz*sin(theta/2)

A2.2.5两个3D向量va，vb的点积：

d＝v_dot(va，vb)＝va.vb＝ax*bx+ay*by+az*bz

其中，

va＝(ax，ay，az)

vb＝(bx，by，bz)

向量点积具有重要意义。

假设theta是va和vb之间的夹角：

那么cos(theta)＝v_dot(va，vb)

A2.2.6两个三维向量va，vb的叉积：

vc＝v_crs(va，vb)＝va x vb

其中，

va＝(ax，ay，az)

vb＝(bx，by，bz)

vc＝(cx，cy，cz)

cx＝ay*bz-az*by

cy＝az*bx-ax*bz

cz＝ax*by-ay*bx

A2.3.13×3矩阵

A2.3.2单位3×3矩阵

A2.3.3矩阵减法

A2.3.4矩阵向量乘法

vd＝mv_prd(m，v)＝m*vs

vs＝(x，y，z)

vd＝(dx，dy，dz)

其中，

dx＝Xx*x+Yx*y+Zx*z

dy＝Xy*x+Yy*y+Zy*z

dz＝Xz*x+Yz*y+Zz*z

A2.3.5四元数的矩阵

m＝m_frm_q(q)

q＝(qw，qx，qy，qz)

其中，m是3×3矩阵

并且

Xx＝1.0f-2.0f*qy*qy-2.0f*qz*qz

Xy＝2.0f*qx*qy+2.0f*qw*qz

Xz＝2.0f*qx*qz-2.0f*qw*qy

Yx＝2.0f*qx*qy-2.0f*qw*qz

Yy＝1.0f-2.0f*qx*qx-2.0f*qz*qz

Yz＝2.0f*qy*qz+2.0f*qw*qx

Zx＝2.0f*qx*qz+2.0f*qw*qy

Zy＝2.0f*qy*qz-2.0f*qw*qx

Zz＝1.0f-2.0f*qx*qx-2.0f*qy*qy

A2.3.6用四元数q转换三维向量v

vd＝qvq_trans(q，vs)＝mv_prd(m，vs)

其中，

q是四元数，vs是原三维向量

vd是转换后的三维向量

m是3×3矩阵

m＝m_frm_q(q)

A2.3.7旋转x轴的矩阵

m＝m_frm_x_axis_sc(s，c)

其中，

s＝sin(theta)

c＝cos(theta)

并且，

Xx＝1.0

Yx＝0.0

Zx＝0.0

Xy＝0.0

Yy＝c

Zy＝-s

Xz＝0.0

Yz＝s

Zz＝c

A2.3.8旋转y轴的矩阵

m＝m_frm_y_axis_sc(s，c)

其中，

s＝sin(theta)

c＝cos(theta)

并且，

Xx＝c

Yx＝0.0

Zx＝s

Xy＝0.0

Yy＝1.0

Zy＝0.0

Xz＝-s

Yz＝0.0

Zz＝c

A2.3.9矩阵的四元数

q＝q_frm_m(m)

其中，

q＝(w,x,y,z)

并且，

A2.3.9向量的矩阵

m＝m_frm_v(vx，vy，vz)

其中，

vx＝(Xx，Xy，Xz)

vy＝(Yx，Yy，Yz)

vz＝(Zx，Zy，Zz)

A2.4.1二维空间的一点是二维向量，它由两个元素组成：

p＝(x，y)

A 2.4.2二维空间点pa和pb之间的距离：

d＝p_dist(pa，pb)＝sqrt((xa-xb)*(xa-xb)+(ya-yb)*(ya-yb))

其中

pa＝(xa，ya)

pb＝(xb，yb)

A2.4.3二维向量的长度；

p_len(p)＝sqrt(x*x+y*y)

A2.4.4单位二维向量的长度为1

归一化二维向量p：

u＝p_uni(p)

其中，

p＝(x，y)

u＝(ux，uy)

ux＝x/len

uy＝y/len

len＝p_len(v)

A2.4.5二维向量pa和pb的点积：

d＝p_dot(pa，pb)＝xa*xb+ya*yb

其中，

pa＝(xa，ya)

pb＝(xb，yb)

向量的点积具有重要意义，

假设向量pa和pb的夹角为theta

那么

cos(theta)＝p_dot(pa，pb)

A3.二维空间中的直线

A3.1二维空间中的直线的两点形式

如图3所示，二维空间中的直线L可以由它通过的两个点p0和p1来表示：

L的线性方程为：

L：y＝m*x+b

其中，

m＝(y1-y0)/(x1-x0)

b＝y0-x0*(y1-y0)/(x1-x0)

p0＝(x0，y0)

p1＝(x1，y1)

A3.22直线L0，L1的交点p

已知L0和L1的线性方程：

L0：y＝m0*x+b0

L1：y＝m1*x+b1

它们的交点可以通过以下公式计算：

p＝(x，y)

其中，

x＝(b1-m1)/(m0-b0)

y＝(m0*b1-b0*m1)/(m0-b0b)

注：如果a＝＝b，则L0和L1平行

A4.二维空间中的椭圆

A4.1如图4所示，椭圆E可以用以下两对顶点中的任意三个来表示：

顶点：p0，p1

共顶点：p2，p3

A4.2椭圆的中心pc可以用过以下公式计算：

pc＝(x，y)

x＝(x0+x1)/2 or(x2+x3)/2

y＝(y0+y1)/2 or(y2+y3)/2

其中，

p0＝(x0，y0)

p1＝(x1，y1)

p2＝(x2，y2)

p3＝(x3，y3)

A4.3半长轴a和半短轴b：

a＝q_dist(p0，p1)

b＝q_dist(p2，p3)

虽然本发明公开了多种方面和实施例，但其它方面和实施例对本领域技术人员来说是显而易见的。本公开中所披露的各种方面和实施例仅供说明之用，并不加以限制，其真正的范围和精神由所附权利要求说明。本领域技术人员将认识到，本教可以进行各种修改和/或增强的。

虽然前面已经描述了被认为构成本教导和/或其它示例的内容，但是应当理解，可以对其进行各种修改，并且本文公开的主题可以以各种形式和示例实现，并且该教导可以应用于许多应用中，这里仅描述了其中的一些应用。所附权利要求旨在要求保护落入本教导的真实范围内的任何和所有应用、修改和变化。

Claims

1.一种方法，包括：

利用成像传感器获取人眼睛的第一图像和第二图像；

基于第一图像和第二图像，确定眼睛的眼球中心与成像传感器之间的位置关系。

2.根据权利要求1所述的方法，还包括：

基于所述位置关系确定成像传感器相对于眼球中心的相对运动。

3.根据权利要求1所述的方法，其中，第一图像和第二图像是不同的。

4.根据权利要求1所述的方法，其中，确定所述位置关系的步骤包括：

从第一图像和第二图像中提取瞳孔或者角膜缘的轮廓；以及

基于所述轮廓确定所述位置关系。

5.根据权利要求1所述的方法，其中，第一图像和第二图像是在眼睛的有意或随机运动期间获取的。

6.根据权利要求1所述的方法，还包括：

确定成像传感器与人的头部之间的方位关系。

7.根据权利要求6所述的方法，其中，确定所述方位关系的步骤包括：

当人的头部绕第一轴旋转并且眼睛保持在第一注视点时，获取第一组注视向量；

当人的头部绕第二轴旋转并且眼睛保持在第二注视点时，获取第二组注视向量，或者在眼睛保持在第三注视点时获取第三注视向量；

基于第一组注视向量，并且基于第二组注视向量或第三注视向量，确定所述方位关系。

8.根据权利要求1所述的方法，其中，成像传感器包括一个以上的相机。

9.根据权利要求1所述的方法，其中，成像传感器被配置为获取人的一只以上眼睛的图像。

10.一种装置，包括：

成像传感器，该成像传感器被配置为获取人眼睛的第一图像和第二图像；以及

计算设备，该计算设备包括处理器，该处理器被配置为基于第一图像和第二图像确定眼睛的眼球中心与成像传感器之间的位置关系。

11.根据权利要求10所述的装置，其中，处理器还被配置为基于所述位置关系确定成像传感器相对于眼球中心的相对运动。

12.根据权利要求10所述的装置，其中，第一图像和第二图像是不同的。

13.根据权利要求10所述的装置，其中，处理器还被配置为通过下述步骤确定所述位置关系：

从第一图像和第二图像中提取瞳孔或角膜缘的轮廓；以及

基于所述轮廓来确定所述位置关系。

14.根据权利要求10所述的装置，其中，成像传感器被配置为在眼睛的有意或随机运动期间获取第一图像和第二图像。

15.根据权利要求10所述的装置，其中，处理器还被配置为确定成像传感器与人的头部之间的方位关系。

16.根据权利要求15所述的装置，其中，处理器还被配置为通过以下步骤确定所述方位关系：

17.根据权利要求10所述的装置，其中，成像传感器包括一个以上的相机。

18.根据权利要求10所述的装置，其中，成像传感器被配置为获取人的一只以上眼睛的图像。

19.一种方法，包括：

当人的头部绕第一轴旋转并且眼睛保持在第一注视点时，使用成像传感器获取人眼睛的第一组图像；

当人的头部围绕第二轴旋转并且眼睛保持在第二注视点时，使用成像传感器获取眼睛的第二组图像，或者眼睛保持在第三注视点时，使用成像传感器获取第三图像；

基于第一组图像，并且基于第二组图像或第三图像，确定成像传感器与人的头部之间的方位关系。

20.根据权利要求19所述的方法，还包括：

基于第一组图像获取第一组注视向量；

基于第二组图像获取第二组注视向量，或基于第三图像获取第三注视向量；

其中，基于第一组注视向量，并且基于第二组注视向量或第三注视向量，确定所述方位关系。

21.根据权利要求19所述的方法，其中，第一注视点和第二注视点不同；或者其中，第一注视点和第三注视点不同。

22.根据权利要求19所述的方法，其中，成像传感器包括一个以上的相机。

23.根据权利要求19所述的方法，其中，成像传感器被配置为获取人的一只以上眼睛的图像。

24.一种装置，包括：

成像传感器；

其中，所述成像传感器被配置为当人的头部绕第一轴旋转并且眼睛保持在第一注视点时，获取人眼睛的第一组图像；

其中，所述成像传感器还被配置为当人的头部围绕第二轴旋转并且眼睛保持在第二注视点时，获取眼睛的第二组图像，或眼睛保持在第三注视点时获取第三图像；

计算设备，该计算设备包括处理器，该处理器基于第一组图像，并且基于第二组图像或第三图像，确定成像传感器与人的头部之间的方位关系。

25.根据权利要求24所述的装置，其中，所述处理器还被配置为：

基于第一组图像获取第一组注视向量；

基于第二组图像获取第二组注视向量，或基于第三图像获取第三注视向量；以及

26.根据权利要求24所述的装置，其中，第一注视点和第二注视点不同；或者其中第一注视点和第三注视点不同。

27.根据权利要求24所述的装置，其中，成像传感器包括一个以上的相机。

28.根据权利要求24所述的装置，其中成像传感器被配置为获取人的一只以上眼睛的图像。

29.根据权利要求4所述的方法，其中，基于轮廓确定位置关系的步骤包括：

基于所述轮廓确定眼球中心在成像传感器的二维图像平面中的位置。

30.根据权利要求13所述的装置，其中，处理器还被配置为：

通过基于所述轮廓确定眼球中心在成像传感器的二维图像平面中的位置来通过基于所述轮廓确定所述位置关系。

31.一种方法，包括:

利用成像传感器获取人眼睛的第一图像；

从第一图像中提取瞳孔或角膜缘的轮廓；

确定眼睛的眼球中心在成像传感器的二维图像平面中的位置；

基于所述轮廓和所述位置确定眼球中心与成像传感器之间的位置关系。

32.根据权利要求31所述的方法，其中，确定位置的步骤包括：

从使用成像传感器获取的眼睛的两幅图像中提取瞳孔或角膜缘的轮廓。

33.根据权利要求32所述的方法，其中，第一图像是所述两幅图像之一。

34.一种装置，包括:

成像传感器，该成像传感器被配置为获取人眼睛的图像；

计算设备，该计算设备包括处理器，该处理器被配置为从至少一个图像中提取瞳孔或角膜缘的轮廓，以确定眼睛的眼球中心在成像传感器的二维图像平面中的位置，并且基于所述轮廓和所述位置确定眼球中心和成像传感器之间的位置关系。

35.根据权利要求34所述的装置，其中，处理器还被配置为通过从至少两个图像中提取瞳孔或角膜缘的轮廓，来确定眼睛的眼球中心在成像传感器的二维图像平面中的位置。