CN115840502B - 三维视线追踪方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及视线追踪领域，具体公开一种三维视线追踪方法、装置、设备及存储介质，方法包括：基于图像处理和分析方法，计算多个第一人眼图像在像素坐标系下的关键几何特征信息；根据所述左右眼的瞳孔距离和平均经验值，得到相机成像的缩放比例因子并取代相机内参矩阵，使得所述关键几何特征信息被映射至所述相机坐标系，计算得到标定参数合集；对采集到的人眼凝视屏幕下的第二人眼图像进行视线追踪，在追踪时，根据所述屏幕标定点的光轴及预测偏差，对追踪结果进行补偿。本发明提出一种无需标定相机参数的三维视线追踪方法，利用左右眼瞳距估算相机成像的缩放比例因子近似地实现像素坐标系到相机坐标系的坐标映射，省略复杂的相机参数标定步骤。

Description

三维视线追踪方法、装置、设备及存储介质

技术领域

本发明视线追踪领域，尤其涉及一种三维视线追踪方法、装置、设备及存储介质。

背景技术

目前，对视线进行追踪的方法主要分为两大类：基于特征的方法和基于外观的方法。其中，基于特征的方法一般是从采集图像中检测眼睛的一些可视特征，并提取相关视线参数，进而利用映射模型或几何模型估算视线方向；基于外观的方法则是直接利用人眼采集图像和视线落点建立训练数据集，进而利用机器学习技术直接学习其映射关系。其中，基于特征的方法在提升视线精度，处理自由头动，环境自适应能力上相对基于外观的方法有更多优势，距离实用更近。

基于特征的视线追踪方法总体上分为二维视线追踪方法和三维视线追踪方法两类，其中，二维视线追踪方法将从采集图像中提取的二维人眼特征参数与采集时的用户注视点建立映射模型；三维视线追踪方法则是根据眼球、相机、屏幕之间的几何关系来计算视线方向，典型的方法是利用瞳孔/虹膜、反射光斑等信息重建出眼睛的光轴，然后根据人眼特定的kappa角换算到视轴，进而得到注视点的位置。三维视线追踪方法与二维视线追踪方法相比鲁棒性更优，尤其在头部运动状态下有较大的精度优势，但其计算过程必须对眼球参数进行标定，其过程一般包括相机系统参数标定和用户参数标定两个步骤，典型相机系统参数主要包括焦距、像元尺寸、主点、畸变系数等，通常用相机内参矩阵进行描述，这一过程往往需要借助标定板采集多幅图像实现，其过程相对复杂，且标定环境不理想时容易出现多次标定结果不一致的问题，影响追踪的处理精度。

发明内容

鉴于以上技术问题，本发明提供了一种三维视线追踪方法、装置、设备及存储介质，以解决现有技术中标定过程复杂、易影响精度的问题。

本公开的其他特征和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本发明的一方面，公开一种三维视线追踪方法，所述方法包括：

获取至少两个光源和至少一个屏幕标定点在相机坐标系下的三维坐标；

基于图像处理和分析方法，计算多个第一人眼图像在像素坐标系下的关键几何特征信息，所述关键几何特征信息包括左右眼的瞳孔中心坐标、左右眼的瞳孔距离、所述光源的反射光斑的中心坐标，多个所述第一人眼图像为人眼依次凝视所述屏幕标定点下获得的；

根据所述左右眼的瞳孔距离和平均经验值，在基于小孔成像原理下，得到相机成像的缩放比例因子；

将所述缩放比例因子取代相机内参矩阵，使得所述像素坐标系下的所述关键几何特征信息被映射至所述相机坐标系，计算得到标定参数合集，所述标定参数至少包括所述缩放比例因子、角膜曲率半径、物理瞳孔中心与角膜曲率中心距离、所述屏幕标定点的光轴及预测偏差；

基于所述标定参数合集，对采集到的人眼凝视屏幕下的第二人眼图像进行视线追踪，在追踪时，根据所述屏幕标定点的光轴及预测偏差，对追踪结果进行补偿。

进一步的，所述缩放比例因子由以下公式求得：

其中，Xc、Yc、Zc为所述相机坐标系下三个方向的坐标，u、v为所述像素坐标系下的水平和垂直坐标，_left为左眼瞳孔，_right为右眼瞳孔，S为所述缩放比例因子。

进一步的，所述计算得到标定参数合集，包括：

根据在所述相机坐标系下所述第一人眼图像的所述反射光斑及多个所述光源的三维坐标，基于角膜近似为球面的简化眼球模型下，利用反射定律，通过非线性方程组计算在所述相机坐标系下的所述角膜曲率中心坐标和所述角膜曲率半径。

进一步的，在获得所述角膜曲率中心的三维坐标后，还包括：

根据在所述相机坐标系下所述瞳孔中心、所述角膜曲率中心的三维坐标和所述角膜曲率半径，基于折射定律计算得到在所述相机坐标系下的所述物理瞳孔中心的三维坐标、所述物理瞳孔中心与所述角膜曲率中心的距离。

进一步的，在获得所述物理瞳孔中心的三维坐标后，还包括：

根据在所述相机坐标系下所述角膜曲率中心和所述物理瞳孔中心的三维坐标，计算人眼依次凝视多个所述屏幕标定点时的所述光轴；

计算各个所述光轴与屏幕之间的交点，以及计算所述屏幕标定点与所述光轴之间的所述预测偏差。

进一步的，所述基于所述标定参数合集，对采集到的人眼凝视屏幕下的第二人眼图像进行视线追踪，包括：

基于图像处理和分析方法，计算获取所述第二人眼图像在所述像素坐标系中的所述关键几何特征信息；

根据所述标定参数合集中的所述缩放比例因子，将所述像素坐标系中所述第二人眼图像中的所述关键几何特征信息中的二维坐标映射至所述相机坐标系的三维坐标中；

根据所述相机坐标系下的所述第二人眼图像中的所述反射光斑和各个所述光源的三维坐标及所述角膜曲率半径，基于角膜近似为球面的简化眼球模型下，利用反射定律，通过非线性方程组计算在所述相机坐标系下的所述角膜曲率中心的三维坐标；

根据所述相机坐标系下的所述第二人眼图像中的所述瞳孔中心、所述角膜曲率中心的三维坐标，以及根据所述角膜曲率半径、所述物理瞳孔中心与所述角膜曲率中心的距离，基于折射定律计算得到在所述相机坐标系下的所述物理瞳孔中心的三维坐标；

根据所述相机坐标系下的所述角膜曲率中心和所述物理瞳孔中心的三维坐标，计算当前人眼视线的所述光轴；

根据当前人眼视线的所述光轴、多个所述屏幕标定点的光轴及预测偏差，对人眼视线进行加权自适应补偿以得到补偿后的追踪结果。

进一步的，所述对人眼视线进行加权自适应补偿以得到补偿后的追踪结果，包括：

基于预测公式P_final＝P_current+∑_i＝0～nω_ie_i对追踪结果进行补偿，其中P_current为当前人眼视线的所述光轴的追踪结果，n为所述屏幕标定点的数量，e_i为每个所述屏幕标定点的预测偏差，ω_i为加权系数，P_final为补偿后的预测结果，e_i和ω_i为反比设置。

根据本公开的第二方面，提供一种三维视线追踪装置，包括：标定模块，用于获取至少两个光源和至少一个屏幕标定点在相机坐标系下的三维坐标；基于图像处理和分析方法，计算多个第一人眼图像在像素坐标系下的关键几何特征信息，所述关键几何特征信息包括左右眼的瞳孔中心坐标、左右眼的瞳孔距离、所述光源的反射光斑的中心坐标，多个所述第一人眼图像为人眼依次凝视所述屏幕标定点下获得的；根据所述左右眼的瞳孔距离和平均经验值，在基于小孔成像原理下，得到相机成像的缩放比例因子；将所述缩放比例因子取代相机内参矩阵，使得所述像素坐标系下的所述关键几何特征信息被映射至所述相机坐标系，计算得到标定参数合集，所述标定参数至少包括所述缩放比例因子、角膜曲率半径、物理瞳孔中心与角膜曲率中心距离、所述屏幕标定点的光轴及预测偏差；追踪模块，用于基于所述标定参数合集，对采集到的人眼凝视屏幕下的第二人眼图像进行视线追踪，在追踪时，根据所述屏幕标定点的光轴及预测偏差，对追踪结果进行补偿。

根据本公开的第三方面，提供一种三维视线追踪设备，包括：相机；多个光源；一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述的三维视线追踪方法；

根据本公开的第四方面，提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述的三维视线追踪方法。

本公开的技术方案具有以下有益效果：

本发明提出一种无需标定相机参数的三维视线追踪方法，利用左右眼瞳距估算相机成像的缩放比例因子近似地实现像素坐标系到相机坐标系的坐标映射，省略了复杂的相机参数标定步骤；同时对简化处理带来的精度损失提出了利用多个用户标定点的预测偏差对预测结果进行自适应补偿的方法。

采用本发明提出的技术方案，在标定过程中，无需对相机参数进行标定即可计算出三维视线追踪常用的角膜曲率中心、角膜曲率半径、物理瞳孔中心等眼球参数，同时在预测过程中能保持精确的预测精度。

附图说明

图1为本说明书实施例中的一种三维视线追踪方法的流程图；

图2为本说明书实施例中的基于相机内参矩阵的坐标映射方法原理图；

图3为本说明书实施例中计算得到标定参数合集的流程图；

图4为本说明书实施例中的三维视线追踪典型的人眼模型的原理图；

图5为本说明书实施例中对采集到的人眼凝视屏幕下的第二人眼图像进行视线追踪方法的流程图；

图6为本说明书实施例中屏幕标定点及光轴预测结果的原理图；

图7为本说明书实施例中三维视线追踪装置的结构框图；

图8为本说明书实施例中三维视线追踪方法的终端设备；

图9为本说明书实施例中的三维视线追踪方法的计算机可读存储介质。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特征可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

如图1所示，本说明书实施例提供一种三维视线追踪方法，该方法的执行主体可以为计算机。该方法具体可以包括以下步骤S101～S105：

在步骤S101中，获取至少两个光源和至少一个屏幕标定点在相机坐标系下的三维坐标；

其中，光源和屏幕标定点在相机坐标系下的三维坐标可以是已知的，光源和相机的相对位置是预先固定好得知的，屏幕与相机的位置也是固定的，此时，可以是光源、相机安装在屏幕的面板中，进而三者的相对位置可以预知，进而光源和屏幕标定点在相机坐标系中是可以预知的；也可以是光源和相机的设置同一盒子中，该盒子再固定在屏幕的指定位置，如现有技术的屏幕式眼动仪。该光源可以是红外线。

在步骤S102中，基于图像处理和分析方法，计算多个第一人眼图像在像素坐标系下的关键几何特征信息，所述关键几何特征信息包括左右眼的瞳孔中心坐标、左右眼的瞳孔距离、所述光源的反射光斑的中心坐标，多个所述第一人眼图像为人眼依次凝视所述屏幕标定点下获得的。

其中，左右眼的瞳孔中心坐标，分别指左眼和右眼的瞳孔中心在像素坐标系中的坐标，由于人眼与相机未经过预先标定，两者之间的相对位置是未知的。另外，左右眼的瞳孔中心坐标还可以是左右眼的瞳孔轮廓采样点坐标。其中，人眼上的反射光斑是角膜反射形成的，它的位置由光源和被试头部的相对位置决定，如果被试保持头部不动，转动眼球向四周观察，角膜反射不会移动，只有瞳孔会移动。

在步骤S103中，根据所述左右眼的瞳孔距离和平均经验值，在基于小孔成像原理下，得到相机成像的缩放比例因子。

其中，所述缩放比例因子由以下公式求得：

其中，Xc、Yc、Zc为所述相机坐标系下三个方向的坐标，u、v为所述像素坐标系下的水平和垂直坐标，_left为左眼瞳孔，_right为右眼瞳孔，S为所述缩放比例因子。进而，示范性的，Z_c_left表示为左眼瞳孔在相机坐标系下Z轴的坐标，Z_c_right表示为右眼瞳孔，X_c_left、X_c_right、Y_c_left和Y_c_right则相应表示为X轴和Y轴，u_left、u_right、v_left和v_right则表示像素坐标系下水平和垂直坐标。当中，Zc可由包含深度信息的摄像头直接获取或直接根据使用经验值设定，具体如公式中，用左右眼瞳孔距离的平均值表示，该数字可能会导致偏差，后续预测偏差自适应补偿其偏差。

在步骤S104中，将所述缩放比例因子取代相机内参矩阵，使得所述像素坐标系下的所述关键几何特征信息被映射至所述相机坐标系，计算得到标定参数合集，所述标定参数至少包括所述缩放比例因子、角膜曲率半径、物理瞳孔中心与角膜曲率中心距离、所述屏幕标定点的光轴及预测偏差。

其中，在获得缩放比例因子后，进而可以计算得到的像素坐标系下的二维坐标映射至相机坐标系下的三维坐标，该步骤用于简化地取代相机内参矩阵，具体的，基于相机内参矩阵地映射方法如下公式：

进一步将该公式简化为：

当中，dx、dy表示水平和垂直方向的像元尺寸，即传感器中每个像素的物理尺寸；f表示为相机焦距。f、dx、dy，u0、v0均为相机内部参数。

实际使用过程中，通常水平和垂直方向像元尺寸认为相等，即dx等于dy。同时u0，v0为像素坐标系图像中点。本发明利用图像左右眼瞳孔距离和平均物理左右眼瞳孔距离经验值比例近似求取f/dx与f/dy的值，具体原理如下：

根据图2所示的相机成像模型可得：

其中x、y表示相机图像坐标系下的坐标，相机坐标(Xc，Yc，Zc)经过透视投影到图像坐标(x，y)，图像坐标经过二次转换至像素坐标(u，v)，在dx、dy下相同的约束，根据图像坐标系和像素坐标系之间的转换关系可得：

联立上述两个公式可得：

即因而，本实施例提出的缩放比例因子可用于取代相机内参矩阵的作用。

在完成坐标转换后，便可以对各个关键几何特征信息的三维坐标进行计算，得到角膜曲率半径、物理瞳孔中心与角膜曲率中心距离、各个标定点光轴及预测偏差以及其它三维视线追踪装置需要用到的典型参数作为标定参数保存。

在步骤S105中，基于所述标定参数合集，对采集到的人眼凝视屏幕下的第二人眼图像进行视线追踪，在追踪时，根据所述屏幕标定点的光轴及预测偏差，对追踪结果进行补偿。

具体的，该追踪流程可以简化为：使用光源照射眼睛；使用相机采集从眼睛反射的光源光斑；由于眼球的生理结构和物理性质，在光源和头部相对位置不变的前提下，角膜反射形成的光斑不会移动而视网膜上反射的光线方向标示了瞳孔的朝向(光源光线从瞳孔射入，视网膜反射光线从瞳孔射出)；得知标定数据合集的情况下，计算角膜与瞳孔反射光线之间的角度可以计算出眼动的方向；对得到的方向进行补偿，使得结果更为精准。

在一些实施方式中，所述计算得到标定参数合集，如图3所示，具体包括以下步骤S301至S305：

在步骤S301中，如图4所示，根据在所述相机坐标系下所述第一人眼图像的所述反射光斑及多个所述光源的三维坐标，基于角膜近似为球面的简化眼球模型下，利用反射定律，通过非线性方程组计算在所述相机坐标系下的所述角膜曲率中心坐标和所述角膜曲率半径。

在步骤S302中，根据在所述相机坐标系下所述瞳孔中心、所述角膜曲率中心的三维坐标和所述角膜曲率半径，基于折射定律计算得到在所述相机坐标系下的所述物理瞳孔中心的三维坐标、所述物理瞳孔中心与所述角膜曲率中心的距离。

在步骤S303中，根据在所述相机坐标系下所述角膜曲率中心和所述物理瞳孔中心的三维坐标，计算人眼依次凝视多个所述屏幕标定点时的所述光轴；

在步骤S304中，计算各个所述光轴与屏幕之间的交点，以及计算所述屏幕标定点与所述光轴之间的所述预测偏差。

在步骤S305中，将相机成像的缩放比例因子、角膜曲率半径、物理瞳孔中心与角膜曲率中心距离、各个屏幕标定点光轴及预测偏差以及其它三维视线追踪装置需要用到的典型参数作为标定参数保存。

其中，在后续的三维视线追踪和预测中，直接利用该标定参数可以快速得到结果。

在一实施方式中，所述基于所述标定参数合集，对采集到的人眼凝视屏幕下的第二人眼图像进行视线追踪，如图5所示，包括以下步骤S501至S507：

在步骤S501中，获取标定参数合集，包括相机成像缩放比例因子、角膜曲率半径、物理瞳孔中心与角膜曲率中心距离、各个标定点光轴及预测偏差以及其它三维视线追踪装置需要用到的典型参数；

在步骤S502中，基于图像处理和分析方法，计算获取所述第二人眼图像在所述像素坐标系中的所述关键几何特征信息；

在步骤S503中，根据所述标定参数合集中的所述缩放比例因子，将所述像素坐标系中所述第二人眼图像中的所述关键几何特征信息中的二维坐标映射至所述相机坐标系的三维坐标中；

在步骤S504中，根据所述相机坐标系下的所述第二人眼图像中的所述反射光斑和各个所述光源的三维坐标及所述角膜曲率半径，基于角膜近似为球面的简化眼球模型下，利用反射定律，通过非线性方程组计算在所述相机坐标系下的所述角膜曲率中心的三维坐标；

在步骤S505中，根据所述相机坐标系下的所述第二人眼图像中的所述瞳孔中心、所述角膜曲率中心的三维坐标，以及根据所述角膜曲率半径、所述物理瞳孔中心与所述角膜曲率中心的距离，基于折射定律计算得到在所述相机坐标系下的所述物理瞳孔中心的三维坐标；

在步骤S506中，根据所述相机坐标系下的所述角膜曲率中心和所述物理瞳孔中心的三维坐标，计算当前人眼视线的所述光轴；

在步骤S507中，根据当前人眼视线的所述光轴、多个所述屏幕标定点的光轴及预测偏差，对人眼视线进行加权自适应补偿以得到补偿后的追踪结果。

其中，如图6所示，其指出了屏幕标定点及光轴预测结果的关系，当加权系数和当前用户视线光轴和各个标定点光轴间的偏差成反比，偏差越小加权系数越大，偏差越大加权系数越小，如预测公式P_final＝P_current+∑_i＝0～nω_ie_i，用于对追踪结果进行补偿，其中P_current为当前人眼视线的所述光轴的追踪结果，n为所述屏幕标定点的数量，e_i为每个所述屏幕标定点的预测偏差，ω_i为加权系数，P_final为补偿后的预测结果，e_i和ω_i为反比设置。

本示范性实施方式提出一种无需标定相机参数的三维视线追踪方法，利用左右眼瞳距估算相机成像的缩放比例因子近似地实现像素坐标系到相机坐标系的坐标映射，省略了复杂的相机参数标定步骤；同时对简化处理带来的精度损失提出了利用多个用户标定点的预测偏差对预测结果进行自适应补偿的方法。

采用示范性实施方式提出的技术方案，在标定过程中，无需对相机参数进行标定即可计算出三维视线追踪常用的角膜曲率中心、角膜曲率半径、物理瞳孔中心等眼球参数，同时在预测过程中能保持精确的预测精度。

基于同样的思路，如图7所示，本公开的示例性实施方式还提供了一种三维视线追踪装置，包括：标定模块701，用于获取至少两个光源和至少一个屏幕标定点在相机坐标系下的三维坐标；基于图像处理和分析方法，计算多个第一人眼图像在像素坐标系下的关键几何特征信息，所述关键几何特征信息包括左右眼的瞳孔中心坐标、左右眼的瞳孔距离、所述光源的反射光斑的中心坐标，多个所述第一人眼图像为人眼依次凝视所述屏幕标定点下获得的；根据所述左右眼的瞳孔距离和平均经验值，在基于小孔成像原理下，得到相机成像的缩放比例因子；将所述缩放比例因子取代相机内参矩阵，使得所述像素坐标系下的所述关键几何特征信息被映射至所述相机坐标系，计算得到标定参数合集，所述标定参数至少包括所述缩放比例因子、角膜曲率半径、物理瞳孔中心与角膜曲率中心距离、所述屏幕标定点的光轴及预测偏差；追踪模块702，用于基于所述标定参数合集，对采集到的人眼凝视屏幕下的第二人眼图像进行视线追踪，在追踪时，根据所述屏幕标定点的光轴及预测偏差，对追踪结果进行补偿。

上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

基于同样的思路，本说明书实施例还提供一种三维视线追踪设备，如图8所示。

三维视线追踪设备可以为上述实施例提供的终端设备或服务器。

三维视线追踪设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器801和存储器802，存储器802中可以存储有一个或一个以上存储应用程序或数据。其中，存储器802可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以进一步包括只读存储单元。存储在存储器802的应用程序可以包括一个或一个以上程序模块(图示未示出)，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。更进一步地，处理器701可以设置为与存储器802通信，在三维视线追踪设备上执行存储器802中的一系列计算机可执行指令。三维视线追踪设备还可以包括一个或一个以上电源803，一个或一个以上有线或无线网络接口804，一个或一个以上I/O接口(输入输出接口)805，一个或多个外部设备806(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或一个以上使得用户能与该设备交互的设备通信，和/或与使得该设备能与一个或一个以上其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过I/O接口805进行。并且，设备还可以通过有线或无线接口804与一个或一个以上网络(例如局域网(LAN)通讯。

具体在本实施例中，三维视线追踪设备包括有相机807、光源808、存储器802，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器802中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对三维视线追踪设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器701执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

获取至少两个光源和至少一个屏幕标定点在相机坐标系下的三维坐标；

基于图像处理和分析方法，计算多个第一人眼图像在像素坐标系下的关键几何特征信息，所述关键几何特征信息包括左右眼的瞳孔中心坐标、左右眼的瞳孔距离、所述光源的反射光斑的中心坐标，多个所述第一人眼图像为人眼依次凝视所述屏幕标定点下获得的；

根据所述左右眼的瞳孔距离和平均经验值，在基于小孔成像原理下，得到相机成像的缩放比例因子；

将所述缩放比例因子取代相机内参矩阵，使得所述像素坐标系下的所述关键几何特征信息被映射至所述相机坐标系，计算得到标定参数合集，所述标定参数至少包括所述缩放比例因子、角膜曲率半径、物理瞳孔中心与角膜曲率中心距离、所述屏幕标定点的光轴及预测偏差；

基于所述标定参数合集，对采集到的人眼凝视屏幕下的第二人眼图像进行视线追踪，在追踪时，根据所述屏幕标定点的光轴及预测偏差，对追踪结果进行补偿。

基于同样的思路，本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

参考图9所示，描述了根据本公开的示例性实施方式的用于实现上述方法的程序产品900，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言一诸如Java、C++等，还包括常规的过程式程序设计语言一诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施方式的方法。

此外，上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (9)

1.一种三维视线追踪方法，其特征在于，所述方法包括：

获取至少两个光源和至少一个屏幕标定点在相机坐标系下的三维坐标；

基于图像处理和分析方法，计算多个第一人眼图像在像素坐标系下的关键几何特征信息，所述关键几何特征信息包括左右眼的瞳孔中心坐标、左右眼的瞳孔距离、所述光源的反射光斑的中心坐标，多个所述第一人眼图像为人眼依次凝视所述屏幕标定点下获得的；

根据所述左右眼的瞳孔距离和平均经验值，在基于小孔成像原理下，得到相机成像的缩放比例因子，所述缩放比例因子由以下公式求得：

；

其中，Xc、Yc、Zc为所述相机坐标系下三个方向的坐标，u、v为所述像素坐标系下的水平和垂直坐标，_left为左眼瞳孔，_right为右眼瞳孔，S为所述缩放比例因子；

将所述缩放比例因子取代相机内参矩阵，使得所述像素坐标系下的所述关键几何特征信息被映射至所述相机坐标系，计算得到标定参数合集，所述标定参数至少包括所述缩放比例因子、角膜曲率半径、物理瞳孔中心与角膜曲率中心距离、所述屏幕标定点的光轴及预测偏差；

基于所述标定参数合集，对采集到的人眼凝视屏幕下的第二人眼图像进行视线追踪，在追踪时，根据所述屏幕标定点的光轴及预测偏差，对追踪结果进行补偿。

2.根据权利要求1所述的三维视线追踪方法，其特征在于，所述计算得到标定参数合集，包括：

根据在所述相机坐标系下所述第一人眼图像的所述反射光斑及多个所述光源的三维坐标，基于角膜近似为球面的简化眼球模型下，利用反射定律，通过非线性方程组计算在所述相机坐标系下的所述角膜曲率中心坐标和所述角膜曲率半径。

3.根据权利要求2所述的三维视线追踪方法，其特征在于，在获得所述角膜曲率中心的三维坐标后，还包括：

根据在所述相机坐标系下所述瞳孔中心、所述角膜曲率中心的三维坐标和所述角膜曲率半径，基于折射定律计算得到在所述相机坐标系下的所述物理瞳孔中心的三维坐标、所述物理瞳孔中心与所述角膜曲率中心的距离。

4.根据权利要求3所述的三维视线追踪方法，其特征在于，在获得所述物理瞳孔中心的三维坐标后，还包括：

根据在所述相机坐标系下所述角膜曲率中心和所述物理瞳孔中心的三维坐标，计算人眼依次凝视多个所述屏幕标定点时的所述光轴；

计算各个所述光轴与屏幕之间的交点，以及计算所述屏幕标定点与所述光轴之间的所述预测偏差。

5.根据权利要求1所述的三维视线追踪方法，其特征在于，所述基于所述标定参数合集，对采集到的人眼凝视屏幕下的第二人眼图像进行视线追踪，包括：

基于图像处理和分析方法，计算获取所述第二人眼图像在所述像素坐标系中的所述关键几何特征信息；

根据所述标定参数合集中的所述缩放比例因子，将所述像素坐标系中所述第二人眼图像中的所述关键几何特征信息中的二维坐标映射至所述相机坐标系的三维坐标中；

根据所述相机坐标系下的所述第二人眼图像中的所述反射光斑和各个所述光源的三维坐标及所述角膜曲率半径，基于角膜近似为球面的简化眼球模型下，利用反射定律，通过非线性方程组计算在所述相机坐标系下的所述角膜曲率中心的三维坐标；

根据所述相机坐标系下的所述第二人眼图像中的所述瞳孔中心、所述角膜曲率中心的三维坐标，以及根据所述角膜曲率半径、所述物理瞳孔中心与所述角膜曲率中心的距离，基于折射定律计算得到在所述相机坐标系下的所述物理瞳孔中心的三维坐标；

根据所述相机坐标系下的所述角膜曲率中心和所述物理瞳孔中心的三维坐标，计算当前人眼视线的所述光轴；

根据当前人眼视线的所述光轴、多个所述屏幕标定点的光轴及预测偏差，对人眼视线进行加权自适应补偿以得到补偿后的追踪结果。

6.根据权利要求5所述的三维视线追踪方法，其特征在于，所述对人眼视线进行加权自适应补偿以得到补偿后的追踪结果，包括：

基于预测公式对追踪结果进行补偿，其中/>为当前人眼视线的所述光轴的追踪结果，/>为所述屏幕标定点的数量，/>为每个所述屏幕标定点的预测偏差，/>为加权系数，/>为补偿后的预测结果，/>和/>为反比设置。

7.一种三维视线追踪装置，其特征在于，包括：

标定模块，用于获取至少两个光源和至少一个屏幕标定点在相机坐标系下的三维坐标；基于图像处理和分析方法，计算多个第一人眼图像在像素坐标系下的关键几何特征信息，所述关键几何特征信息包括左右眼的瞳孔中心坐标、左右眼的瞳孔距离、所述光源的反射光斑的中心坐标，多个所述第一人眼图像为人眼依次凝视所述屏幕标定点下获得的；根据所述左右眼的瞳孔距离和平均经验值，在基于小孔成像原理下，得到相机成像的缩放比例因子，所述缩放比例因子由以下公式求得：

；

其中，Xc、Yc、Zc为所述相机坐标系下三个方向的坐标，u、v为所述像素坐标系下的水平和垂直坐标，_left为左眼瞳孔，_right为右眼瞳孔，S为所述缩放比例因子；将所述缩放比例因子取代相机内参矩阵，使得所述像素坐标系下的所述关键几何特征信息被映射至所述相机坐标系，计算得到标定参数合集，所述标定参数至少包括所述缩放比例因子、角膜曲率半径、物理瞳孔中心与角膜曲率中心距离、所述屏幕标定点的光轴及预测偏差；

追踪模块，用于基于所述标定参数合集，对采集到的人眼凝视屏幕下的第二人眼图像进行视线追踪，在追踪时，根据所述屏幕标定点的光轴及预测偏差，对追踪结果进行补偿。

8.一种三维视线追踪设备，其特征在于，包括：

相机；

多个光源；

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6中任一项所述的三维视线追踪方法。

9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的三维视线追踪方法。