CN109558012B - 一种眼球追踪方法及装置 - Google Patents

Abstract

本发明公开了一种眼球追踪方法及装置，该眼球追踪方法，包括：获得用户的第一眼的眼部特征信息和第二眼的眼部特征信息；根据第一预设规则，利用第一眼的眼部特征信息和第一眼的校准系数得到第一视线，并利用第二眼的眼部特征信息和第二眼的校准系数得到第二视线；根据第一视线和第二视线，得到用户的注视深度信息，对用户不同眼球发出的视线进行独立的校准和追踪，可以确定出包括由深度信息的用户注视点，实现在三维空间中对用户注视点的准确追踪。

Description

一种眼球追踪方法及装置

技术领域

本申请涉及眼球追踪技术领域，尤其涉及一种眼球追踪方法及装置。

背景技术

随着科技的发展，尤其是虚拟现实技术的实现的发展，用户可以通过眼动来实现对电子设备的操控。这种操控方式一般是利用眼球追踪技术实现，对用户的注视点进行追踪，根据追踪的结果实现各种控制操作。

但是，目前常用的眼球追踪方法仅能保证用户在注视二维平面方向上不同位置的物体时对用户实际注视点识别的准确性，即仅仅能够准确描述注视点与眼球位置在平面方向上的对应关系。当用户在注视二维位置相同但景深不同的两个物体时，利用现有的眼球追踪技术仅能够确定出用户的二维注视点，无法对用户具体注视哪个物体进行区分，即不能准确的确定用户实际注视的深度，在三维的应用场景中无法保证注视点识别和追踪的准确性。

发明内容

有鉴于此，本申请实施例提供了一种眼球追踪方法及装置，能够解决现有技术中无法对注视点在深度方向上的变化进行准确识别和追踪的问题。

本申请实施例第一方面提供了一种眼球追踪方法，包括：

获得用户的第一眼的眼部特征信息和第二眼的眼部特征信息；

根据第一预设规则，利用所述第一眼的眼部特征信息和所述第一眼的校准系数得到第一视线，并利用所述第二眼的眼部特征信息和所述第二眼的校准系数得到第二视线；

根据所述第一视线和所述第二视线，得到用户的注视深度信息。

可选的，所述校准系数根据以下步骤得到：

显示校准标识；

获取目标眼的眼部特征信息，所述目标眼为所述第一眼或所述第二眼；

根据第二预设规则，利用所述目标眼的眼部特征信息，确定所述目标眼的校准系数。

可选的，所述根据第二预设规则，利用所述目标眼的眼部特征信息，确定所述目标眼的校准系数，之前还包括：

根据所述校准标识的信息和所述目标眼的眼部特征信息，确定所述目标眼的基准视线；

则，所述根据第二预设规则，利用所述目标眼的眼部特征信息，确定所述目标眼的校准系数，具体包括：

将所述目标眼的基准视线和所述校准标识的信息代入预先构建的校准函数模型；所述第二预设规则包括所述校准函数模型；

对所述校准函数模型进行训练，得到所述目标眼的校准系数。

可选的，所述校准标识的数量为多个；每个所述校准标识的深度不全相同。

可选的，所述根据所述第一视线和所述第二视线，得到用户的注视深度信息，具体包括：

判断所述第一视线和所述第二视线是否相交；

当所述第一视线和所述第二视线相交时，基于所述第一视线和所述第二视线的交点获得所述注视深度信息。

可选的，所述根据所述第一视线和所述第二视线，得到用户的注视深度信息，还包括：

当所述第一视线和所述第二视线不相交时，获得所述第一视线和所述第二视线的公垂线段；基于所述公垂线段的中点获得所述注视深度信息；

可选的，所述根据所述第一视线和所述第二视线，得到用户的注视深度信息，还包括：

当所述第一视线和所述第二视线不相交时，根据所述第一视线在垂直方向上分量和所述第二视线在垂直方向上分量，得到预设值；

将所述第一视线在垂直方向上分量和所述第二视线在垂直方向上分量设置为所述预设值，得到第一参考向量和第二参考向量；

获得所述第一参考向量和所述第二参考向量的交点作为所述注视深度信息。

本申请实施例第二方面提供了一种眼球追踪装置，包括：图像获取单元、视线获取单元和注视深度信息获取单元；

所述图像获取单元，用于获得用户的第一眼的眼部特征信息和第二眼的眼部特征信息；

所述视线获取单元，用于根据第一预设规则，利用所述第一眼的眼部特征信息和所述第一眼的校准系数得到第一视线，并利用所述第二眼的眼部特征信息和所述第二眼的校准系数得到第二视线；

所述注视深度信息获取单元，用于根据所述第一视线和所述第二视线，得到用户的注视深度信息。

本申请实施例第三方面提供了一种计算机可读存储介质，，其上存储有计算机程序，当该计算机程序被处理器执行时，实现如上述第一方面提供的眼球追踪方法中的任意一种。

本申请实施例第四方面提供了一种眼球追踪设备，包括：存储器和处理器；

所述存储器，用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器，用于根据所述程序代码中的指令，执行如上述第一方面提供的眼球追踪方法中的任意一种。

与现有技术相比，本申请至少具有以下优点：

在本申请实施例中，先获得用户的第一眼的眼部特征信息和第二眼的眼部特征信息，再根据第一预设规则，利用第一眼的眼部特征信息和第一眼的校准系数得到第一视线，并利用第二眼的眼部特征信息和第二眼的校准系数得到第二视线，根据第一视线和第二视线即可得到用户的注视深度信息，对用户两眼的实现进行独立的追踪，从而实现了在三维空间中对用户注视点的准确追踪。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为现有的眼球追踪技术的原理图；

图2为用户视线随注视点变化的示意图；

图3为本申请实施例提供的一种眼球追踪方法的流程示意图；

图4为本申请实施例提供的另一种眼球追踪方法的流程示意图；

图5为本申请实施例提供的另一种眼球追踪方法的流程示意图；

图6为本申请实施例提供的另一种眼球追踪方法的流程示意图；

图7为本申请实施例提供的另一种眼球追踪方法的流程示意图；

图8为本申请实施例提供的一种眼球追踪装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

眼球追踪(eye tracking)，也可称为视线追踪，是通过测量眼睛运动情况来估计眼睛的视线和/或注视点的技术。其中，视线可以理解为是一个三维矢量，在一个例子中，该三维矢量(即视线)可以是以用户头部的正中心为坐标原点、以头部正右侧为x轴的正半轴、头部正上方为y轴正半轴、以头部的正前方为z轴正半轴所构建的坐标系中的坐标表示。注视点可以理解为上述三维矢量(即视线)投影在某个平面上的二位坐标。

目前广泛应用的是光学记录法：用照相机或摄像机记录被试者的眼睛运动情况，即获取反映眼睛运动的眼部图像，以及从获取到的眼部图像中提取眼部特征用于建立视线/注视点估计的模型。其中，眼部特征可以包括：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑(也称为普尔钦斑)位置等。

在光学记录法中，目前最主流的眼球追踪方法称为瞳孔-角膜反射法(pupilcenter cornea reflection technique，PCCR)，还可以包括不基于眼部图像的方法，例如基于接触/非接触式的传感器(例如电极、电容传感器)推算眼睛的运动。

瞳孔-角膜反射法(PCCR)的工作原理可以简单概括为：获取眼部图像；根据眼部图像估计视线/注视点。其硬件部分要求提供光源和图像采集设备。其中，光源一般为红外光源，因为红外光线不会影响眼睛的视觉；并且可以为多个红外光源，以预定的方式排列，例如品字形、一字形等；图像采集设备可以是红外摄像设备、红外图像传感器、照相机或摄像机等。

具体实施时，光源照向眼睛，由图像采集设备对眼部进行拍摄，相应拍摄光源在角膜上的反射点即光斑(也称为普尔钦斑)，由此获取带有光斑的眼部图像。随着眼球转动时，瞳孔中心与光斑的相对位置关系随之发生变化，相应采集到的带有光斑的若干眼部图像反映出这样的位置变化关系；根据所述位置变化关系进行视线/注视点估计。

在视线/注视点估计过程中，为了测定用于视线/注视点估计的模型中的某些待定参数(也称为校准参数，一般对应于用户眼球的某些内在参数，例如眼球半径等)，常用的方法是：让用户注视一个或多个目标点位(可以是任意形状或图案)，因为目标点位是预先设定的，假定所述目标点位的信息为已知的视线，由此可以反解出上述校准参数。需要说明的是，在视线/注视点估计过程中，根据不同的精度要求、不同的应用场景，上述确定校准参数的步骤(也可称为用户校准)是可选择性使用的。

现有的眼球追踪方法在进行用户校准时，仅以一条视线为基准，例如以坐标系原点(如用户头部中心或者两眼中心)为视线起点得到的一条视线(图中虚线)为基准对校准系数进行反解，即将用户第一视线和第二视线视为同一个视线，得到一个校准结果(即一组校准系数)，例如图1示出了现有的眼球追踪技术的原理。但是，发明人在研究中发现，如图2所示，由于左眼和右眼的位置不同，发出的视线(即图2中虚线)也必然存在差异。随着注视点的变化，第一视线和第二视线之间的变化量也会存在差异，在以一条视线为基准进行用户校准的基础上，以得到的一个校准结果为依据对用户视线方向进行校准实现眼球追追踪，没有考虑到用户左右眼的注视差异，忽略了不同深度的注视点所造成的左右眼注视方向不同的问题，将注视点的深度固定在同一个二维平面内，眼球追踪的结果不准确、获得的注视点准确性不高，并且无法对用户注视点的深度变化进行识别。

为此，本申请实施例提供的一种眼球追踪方法及装置，可以对用户左眼和右眼进行独立的校准和追踪，提高了眼球追踪的准确性和精确度，并能对注视点的深度变化进行识别，实现了在三维空间中对用户注视点的准确追踪。

基于上述思想，为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请的具体实施方式做详细的说明。

参见图3，该图为本申请实施例提供的一种眼球追踪方法的流程示意图。

本申请实施例提供的眼球追踪方法，包括：

S301：获得用户的第一眼的眼部特征信息和第二眼的眼部特征信息。

在本申请实施例中，眼部特征信息具体指的是用于用户眼部特征的信息。根据眼部特征信息可以获得用户的注视信息(如注视角度、注视方向、视线等)。提取眼部特征信息不限于红外光源获取眼部光斑的方法，还可以通过电容、肌电、微机电系统(Micro-Electro-Mechanical System，MEMS)、视线追踪装置(如眼动仪)或图像确定视线。如通过图像采集设备获取用户图像，用户图像可以理解为包含用户眼睛的图像。图像采集设备可以获取用户脸部图像、全身图像或眼部图像作为用户图像。

以通过图像提取眼部特征信息为例，可以实时对用户的第一眼和第二眼拍摄图像，利用每一帧的第一眼的眼部图像和第二眼的眼部图像或每间隔n帧的第一眼的眼部图像和第二眼的眼部图像，获得用户的第一眼的眼部特征信息和第二眼的眼部特征信息，以便实时获取用户的注视点，实现对用户注视点的追踪。

实际应用中，可以利用一个或多个红外光源照射目标眼，该红外光源的照射点与目标眼正视前方时瞳孔所在的位置之间的间隔固定。可选的，多个红外光源的照射点的中心与目标眼正视前方时瞳孔所在的位置重合。通过拍摄目标眼的眼部图像中红外光源经眼球的反射光，可以确定出目标眼正视前方时瞳孔所在的位置，又可以通过对图像进行识别，确定出目标眼瞳孔的当前所在的位置，从而得到目标眼的转动情况，得到目标眼的眼部特征信息。

具体的，步骤S301可以包括：

获取目标眼的眼部图像，从眼部图像中确定出瞳孔位置和光斑位置；根据瞳孔位置和光斑位置，获得目标眼的眼球转动方向；根据眼球转动方向得到目标眼的眼部特征信息；目标眼为第一眼或第二眼。

在本申请实施例中，光斑位置即红外光源经眼球的反射光在目标眼图像中显示的位置，对应用户正视前方时瞳孔所在的位置。目标眼图像中的瞳孔位置和光斑位置可以利用任意一种图像识别方法获得，这里不进行限定。目标眼图像中的瞳孔位置和光斑位置代表了眼球转动方向，也就可以得到目标眼的眼部特征信息，可以是空间上的一条射线。

需要说明的是，可以获得了多张目标眼的眼部图像，综合每张眼部图像中的瞳孔位置和光斑位置，获得目标眼的眼部特征信息，以便提高眼球追踪的准确度。

S302：根据第一预设规则，利用第一眼的眼部特征信息和第一眼的校准系数得到第一视线，并利用第二眼的眼部特征信息和第二眼的校准系数得到第二视线。

在本申请实施例中，第一眼的校准系数根据第一眼的视线得到，第二眼的校准系数根据第二眼的视线校准得到，分别对两眼，即第一眼和第二眼，进行独立的校准，分别得到第一眼的校准系数和第二眼的校准系数，以便对第一眼和第二眼发出的视线(即第一视线和第二视线)进行独立的校准和追踪，以获得眼球追踪的深度信息、提高校准的准确率和追踪的效果。下面将结合一个具体的例子进行说明，这里先不赘述。

在具体实施时，可以通过第一眼的眼部特征信息获得第一眼瞳孔的偏移情况，再利用第一眼的校准系数对根据第一眼瞳孔的偏移情况得到的向量进行校准后，根据第一预设规则得到第一视线。同理，可以通过第二眼的眼部特征信息获得第二眼瞳孔的偏移情况，再利用第二眼的校准系数对根据第二眼瞳孔的偏移情况得到的向量进行校准后，根据第一预设规则得到第二视线。第一预设规则可以是任意一种视线获得模型函数，这里不进行限定。在一个例子中，第一视线和第二视线可以是分别以第一眼中心和第二眼中心为起点的射线，包括起点坐标和该射线的方向向量。

S303：根据第一视线和第二视线，得到用户的注视深度信息。

可以理解的是，用户的注视深度信息携带注视点的深度，可以基于第一视线和第二视线的交点得到。作为一个示例，以用户头部的正中心为坐标原点、以头部正右侧为x轴的正半轴、头部正上方为y轴正半轴、以头部的正前方为z轴正半轴所构建的坐标系中的坐标表示视线矢量时，注视深度信息可以是该交点在z轴上的分量。

需要说明的是，在实际应用中，受设备、外界光照、相机相对位置或其他人为因素的干扰，校准后得到的第一视线和第二视线不一定在三维空间中相交，因此，在本申请实施例一些可能的实现方式中，如图4所示，步骤S303具体可以包括：

S3031：判断第一视线和第二视线是否相交；若是，则执行步骤S3032；若否，则执行步骤S3033。

S3032：基于第一视线和第二视线的交点获得注视深度信息。

具体实施时，可以先计算第一视线和第二视线的交点，当得到该交点时，即基于该交点获得注视深度信息。若未得到该交点，则执行步骤S3033。本申请实施例对判断第一视线和第二视线是否相交的具体方式不进行限定，这里也不再赘述。

在本申请实施例中，步骤S3033至少存在以下两种可能的实现方式：

第一种可能的实现方式，步骤S3033具体可以包括：

获得第一视线和第二视线的公垂线段；基于公垂线段的中点获得注视深度信息。

下面举例说明具体如何获得第一视线和第二视线的公垂线段的中点：

假设点A和点B是第一视线经过的点，点C和点D是第二视线经过的点，坐标分别为A(Xa,Ya,Za)、B(Xb,Yb,Zb)、C(Xc,Yc,Zc)和D(Xd,Yd,Zd)。

设中间变量：

F1ab＝(Xb-Xa)*(Xb-Xa)+(Yb-Ya)*(Yb-Ya)+(Zb-Za)*(Zb-Za)，

F1cd＝(Xd-Xc)*(Xd-Xc)+(Yd-Yc)*(Yd-Yc)+(Zd-Zc)*(Zd-Zc)，

F2＝(Xb-Xa)*(Xd-Xc)+(Yb-Ya)*(Yd-Yc)+(Zb-Za)*(Zd-Zc)，

F3ab＝(Xb-Xa)*(Xc-Xa)+(Yb-Ya)*(Yc-Ya)+(Zb-Za)*(Zc-Za)，

F3cd＝(Xd-Xc)*(Xc-Xa)+(Yd-Yc)*(Yc-Ya)+(Zd-Zc)*(Zc-Za)，

t1＝(F3ab*F1cd-F3cd*F2)/(F1ab*F1cd-F2*F2)，

t2＝(F3cd*F1ab-F2*F3ab)/(F2*F2-F1ab*F1cd)；

公垂线段在两条射线上的垂足分别为：M(Xm,Ym,Zm)和N(Xn,Yn,Zn)。

其中，Xm＝t1*(Xb-Xa)+Xa，Ym＝t1*(Yb-Ya)+Ya，Zm＝t1*(Zb-Za)+Za，Xn＝t2*(Xd-Xc)+Xc，Yn＝t2*(Yd-Yc)+Yc，Zn＝t2*(Zd-Zc)+Zc。

最终求得公垂线端中点为两个垂足的中点。

第二种可能的实现方式，步骤S3033具体可以包括：

根据第一视线在垂直方向上分量和第二视线在垂直方向上分量，得到中间值；

将第一视线在垂直方向上分量和第二视线在垂直方向上分量设置为该中间值，得到第一参考向量和第二参考向量；

基于第一参考向量和第二参考向量的交点获得注视深度信息。

需要说明的是，一般情况下，在注视目标时，用户的第一视线和第二视线在x轴上的分量与被注视目标的景深相关，注视点的深度变化影响双眼视线的汇聚程度，即第一视线和第二视线在x轴上的分量会随着目标深度的变化而明显变化。而第一视线和第二视线在y轴上的分量代表了目标的高度，注视点的深度变化对视线高度的影响可以忽略不计，即第一视线和第二视线在y轴上的分量可认为不会随着目标深度的变化而发生变化。因此，在本申请实施例中，可以通过修改第一视线在y轴上的分量和第二视线在y轴上的分量，使得第一视线和第二视线相交，基于得到的交点获得注视深度信息。

可以理解的是，得到的第一参考向量和第二参考向量在y轴上的分量相等，两条向量必然会存在一个交点。将第一参考向量和第二参考向量的交点作为注视点，可以避免因视线高度不同造成的误差，相较于上面第一种可能的实现方式可以减少计算量，提高处理效率。

在本申请实施例中，先获得用户的第一眼的眼部特征信息和第二眼的眼部特征信息，再根据第一预设规则，利用第一眼的眼部特征信息和第一眼的校准系数得到第一视线，并利用第二眼的眼部特征信息和第二眼的校准系数得到第二视线，根据第一视线和第二视线即可得到用户的注视深度信息，对用户两眼的实现进行独立的追踪，从而实现了在三维空间中对用户注视点的准确追踪。

下面详细说明具体如何得到第一眼的校准系数和第二眼的校准系数。

参见图5，该图为本申请实施例提供的另一种眼球追踪方法的流程示意图。

本申请实施例提供的眼球追踪方法，包括：

S501：显示校准标识。

在本申请实施例中，校准标识可以是上述的一个或多个目标点位，可以将校准标识显示在图像上或者显示在用户观测的其他物体(如镜片、被观测物体等)等任意位置上，这里不进行限定。用户通过注视校准标识实现对追踪视线的校准。为了便于理解，下面以图像上显示校准标识为例进行说明。

本申请实施例对显示的校准标识的数量不进行限定，可以显示一个校准标识。在一个具体的例子中，显示的校准标识数据具体可以是1、3、9个。当显示3个校准标识时，3个校准标识可以呈一条直线分布在图像中；当显示9个校准标识时，可以在图像中以九宫格的形状显示校准标识。

需要说明的是，在一些可能的实现方式中，当显示的校准标识数量为多个时，为了保证校准的准确性，可以将每个校准标识的深度设置的不全相同，保证眼球追踪结果中深度信息获得的准确性。可以理解的是，每个校准标识的深度设置的不全相同具体指的是，至少存在两个深度不同的校准标识。可选的，每个校准标识的深度各不相同。还需要说明的是，在显示多个校准标识时，可以逐一显示每个校准标识，以提高校准的准确度。为了便于理解和说明，下面以其中一个校准标识为例进行说明。

S502：获取目标眼的眼部特征信息。

在本申请实施例中，目标眼为第一眼或第二眼，第一眼和第二眼可以是属于同一用户的，可以是属于不同用户的，第一眼可以是左眼或右眼，第二眼也可以是左眼或右眼。实际应用中，可以根据具体的眼球追踪需要对第一眼和第二眼进行设定，不再一一列举。下面以第一眼和第二眼为同一用户的左眼和右眼为例进行说明，其他实现与此类似，这里不再一一赘述。

需要说明的是，为了获得眼球追踪的深度信息、提高校准的准确率，在本申请实施例中，分别对两眼，即第一眼和第二眼，进行独立的校准，分别得到第一眼的校准系数和第二眼的校准系数，以便对第一眼和第二眼发出的视线进行独立的校准。因此，具体实施时，需要分别获得用户的第一眼的眼部特征信息和第二眼的眼部特征信息，用于确定每只眼发出的视线信息。可选的，以PCCR为例，目标眼的眼部特征信息可以根据目标眼注视校准标识时拍摄的眼部图像得到。

在一些可能的实现方式中，可以分别获得多张第一眼的眼部图像和第二眼的眼部图像以获得第一眼的眼部特征信息和第二眼的眼部特征信息，排除用户视线晃动或眨眼对校准准确性的影响。作为一个示例，对每个校准标识，可以采集40张第一眼的眼部图像和40张第二眼的眼部图像。

需要说明的是，在本申请实施例一些可能的实现方式中，当显示多个校准标识时，为了保证校准的准确性，步骤S501具体可以包括：显示一个校准标识；在获得的目标眼的眼部图像的数量大于或等于预设阈值后，显示另一个校准标识。

即，对每个校准标识均拍摄有足够的第一眼的眼部图像和第二眼的眼部图像时，显示下一个校准标识，以便继续获得用户在注视其他校准标识时的第一眼的眼部图像和第二眼的眼部图像。可以理解的是，预设阈值为预先设定的对一个校准标识所拍摄的第一眼的眼部图像和第二眼的眼部图像的数量，具体可以根据实际需要设定(如40)，不再一一列举。

还需要说明的是，由于在实际的校准过程中，用户对注视点注视时的稳定性会影响到对用户实际注视视线获得的准确性，从而对校准的准确产生影响。为了得到准确的校准结果，需要确保获得的目标眼的眼部图像中用户稳定注视校准标识。因此，在本申请实施例一些可能的实现方式中，可以在目标眼注视校准标识时拍摄多张目标眼的眼部图像，以判断用户是否稳定注视校准标识，以保证校准结果的准确性和精度。则，如图6所示，步骤S502之后还可以包括：

S601：根据多张目标眼的眼部图像判断目标眼对校准标识的注视状态是否满足预设稳定条件；若是，则执行步骤S503。

在本申请实施例一些可能的实现方式中，步骤S601至少存在一些两种可能的实现方式，下面逐一说明：

第一种可能的实现方式中，可以通过多张目标眼的眼部图像中的瞳孔位置是否稳定来判断用户是否稳定注视校准标识，则，步骤S601可以包括：

获得每张目标眼的眼部图像中的瞳孔位置；判断多张目标眼的眼部图像中瞳孔位置的偏移量是否在第一范围内。

可以理解的是，目标眼的眼部图像中的瞳孔位置代表了目标眼的实际注视方向，当多张目标眼的眼部图像中瞳孔位置的偏移量在第一范围内时，即说明多张眼部图像中目标眼的注视方向稳定，则目标眼对校准标识的注视状态满足预设稳定条件。在实际应用中，可以根据具体的精度需要对第一范围进行设定，不再一一列举。

第二种可能的实现方式中，步骤S601可以包括：

获得每张目标眼的眼部图像中的瞳孔位置和光斑位置；根据每张目标眼的眼部图像中的瞳孔位置和光斑位置，获得每张目标眼的眼部图像对应的眼球偏移角度；判断多张目标眼的眼部图像对应的眼球偏移角度之间的偏差是否在第二范围内。

在本申请实施例中，瞳孔位置代表了目标眼的实际注视方向，光斑位置代表了目标眼正视前方时瞳孔的位置，根据瞳孔位置和光斑位置，即可确定出目标眼在注视正前方和注视校准标识时视线的偏移(即眼球偏移角度)。

实际应用中，可以通过对图像进行识别，确定出目标眼的瞳孔位置和光斑位置。其中，光斑指的是红外光源经眼球的反射光。具体实施时，一般会利用一个或多个红外光源照射目标眼，该红外光源的照射点与目标眼正视前方时瞳孔所在的位置之间的间隔固定。可选的，多个红外光源的照射点的中心与用户正视前方时瞳孔所在的位置重合。

可以理解的是，眼球偏移角度代表了目标眼转动的角度，当多张目标眼图像对应的眼球偏移角度之间的偏差在第二范围时，说明多张眼部图像中目标眼转动的角度稳定，则目标眼对校准标识的注视状态满足预设稳定条件。在实际应用中，可以根据具体的精度需要对第二范围进行设定，不再一一列举。

还需要说明的是，若目标眼对校准标识的注视状态不满足预设稳定条件，则可以重新显示该校准标识，重新针对该校准标识进行校准。

为了便于理解和说明，下面以对用户其中一只眼(即目标眼)的校准过程为例进行说明。可以理解的是，实际应用中，可以串行的对获得用户的每只眼的校准系数，也可以并行的获得每只眼的校准系数。

S503：根据第二预设规则，利用目标眼的眼部特征信息，确定目标眼的校准系数。

在本申请实施例中，可以利用目标眼的眼部特征信息确定用户当前的注视信息，应当对应与期望的注视信息，对当前的注视信息进行校准使其与期望的注视信息对应，即可确定出目标眼的校准系数。

在本申请实施例一些可能的实现方式中，可以利用目标眼的坐标和校准标识的坐标，获得用户实际的注视视线(可以称为基准视线)。对目标眼来说，注视信息和基准视线应当对应。因此，根据注视信息和基准视线，可以对从眼部图像中获得的注视信息进行校准，使之与基准视线对应，从而得到目标眼的校准系数。则，在步骤S503之前，还可以包括：

根据校准标识的信息和目标眼的信息，确定目标眼的基准视线。

在本申请实施例中，校准标识的信息和目标眼的信息具体可以指的是校准标识和目标眼在同一坐标系下的坐标。例如，以用户头部的正中心为坐标原点、以头部正右侧为x轴的正半轴、头部正上方为y轴正半轴、以头部的正前方为z轴正半轴所构建的坐标系中校准标识的坐标和目标眼的坐标。实际应用中，目标眼的坐标可以从头显设备(HMD)上得到。

需要说明的是，目标眼的基准视线指示了目标眼在注视校准标识时实际的视线方向，与显示的校准标识对应。可选的，目标眼的基准视线是以目标眼的坐标为起点向校准标识方向的连线，也可以理解为空间上的一条射线。基准视线可以通过水平位置和竖直位置上的偏移量或角度偏转量来表示，可以用三元数(X，Y，1)来表示。其中，X为水平位置上的偏移量或角度偏转量、Y为竖直位置上的偏移量或角度偏转量、1为归一化的结果。例如，校准标识的坐标为(0，0，3)、目标的坐标为(-1，0，0)，二者相减，得到(-1，0，3)，归一化得到(-1/3，0，1)即目标眼的基准视线。

在实际应用中，为了简化处理过程，可以在认为用户两只眼的坐标相对于y-z轴所构成的平面对称，仅计算得到一只眼的基准视线方向，然后对称得到另一只眼的基准视线方向。例如，第一眼基准视线方向为(-1/3，0，1)，第二眼基准视线方向即可以为(1/3，0，1)。

则，在本申请实施例一些可能的实现方式中，如图7所示，步骤S503具体可以包括：

S5031：将目标眼的基准视线和目标眼的眼部特征信息代入预先构建的校准函数模型。

S5032：对校准函数模型进行训练，得到目标眼的校准系数。

在本申请实施例中，第二预设规则包括校准函数模型。校准的结果是使得目标眼的注视信息和目标眼的基准视线对应(如注视方向与基准视线的方向重叠或平行)，实际应用中可以利用任意一种函数(即校准函数模型)通过对函数的系数进行调整使得二者重叠或平行。校准后得到的系数为一组数值，即目标眼的校准系数，可以存储在文件中供后续眼球追踪时使用。

基于本申请实施例提供的眼球追踪方法，本申请实施例还提供了一种眼球追踪装置。

参见图8，该图为本申请实施例提供的一种眼球追踪装置的结构示意图。

本申请实施例提供的眼球追踪装置，包括：图像获取单元10、视线获取单元20和注视深度信息获取单元30；

图像获取单元10，用于获得用户的第一眼的眼部特征信息和第二眼的眼部特征信息；

视线获取单元20，用于根据第一预设规则，利用第一眼的眼部特征信息和第一眼的校准系数得到第一视线，并利用第二眼的眼部特征信息和第二眼的校准系数得到第二视线；

注视深度信息获取单元30，用于根据第一视线和第二视线，得到用户的注视深度信息。

在本申请实施例中，先获得用户的第一眼的眼部特征信息和第二眼的眼部特征信息，再根据第一预设规则，利用第一眼的眼部特征信息和第一眼的校准系数得到第一视线，并利用第二眼的眼部特征信息和第二眼的校准系数得到第二视线，根据第一视线和第二视线即可得到用户的注视深度信息，对用户两眼的实现进行独立的追踪，从而实现了在三维空间中对用户注视点的准确追踪。

基于上述实施例提供的眼球追踪方法，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时，实现如上述实施例提供的眼球追踪方法中的任意一种。

基于上述实施例提供的眼球追踪方法，本申请实施例还提供了一种眼球追踪设备，包括：存储器和处理器；其中，所述存储器，用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器，用于根据所述程序代码中的指令，执行如上述实施例提供的眼球追踪方法中的任意一种。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本申请技术方案保护的范围内。

Claims (7)

1.一种眼球追踪方法，其特征在于，所述方法包括：

获得用户的第一眼的眼部特征信息和第二眼的眼部特征信息；

根据第一预设规则，利用所述第一眼的眼部特征信息和所述第一眼的校准系数得到第一视线，并利用所述第二眼的眼部特征信息和所述第二眼的校准系数得到第二视线；

根据所述第一视线和所述第二视线，得到用户的注视深度信息，具体包括：

判断所述第一视线和所述第二视线是否相交；

当所述第一视线和所述第二视线相交时，基于所述第一视线和所述第二视线的交点获得所述注视深度信息；

当所述第一视线和所述第二视线不相交时，根据所述第一视线在垂直方向上分量和所述第二视线在垂直方向上分量，得到中间值；将所述第一视线在垂直方向上分量和所述第二视线在垂直方向上分量设置为所述中间值，得到第一参考向量和第二参考向量；基于所述第一参考向量和所述第二参考向量的交点获得所述注视深度信息。

2.根据权利要求1所述的方法，其特征在于，所述校准系数根据以下步骤得到：

显示校准标识；

获取目标眼的眼部特征信息，所述目标眼为所述第一眼或所述第二眼；

根据第二预设规则，利用所述目标眼的眼部特征信息，确定所述目标眼的校准系数。

3.根据权利要求2所述的方法，其特征在于，所述根据第二预设规则，利用所述目标眼的眼部特征信息，确定所述目标眼的校准系数，之前还包括：

根据所述校准标识的信息和所述目标眼的信息，确定所述目标眼的基准视线；

则，所述根据第二预设规则，利用所述目标眼的眼部特征信息，确定所述目标眼的校准系数，具体包括：

将所述目标眼的基准视线和所述目标眼的眼部特征信息代入预先构建的校准函数模型；所述第二预设规则包括所述校准函数模型；

对所述校准函数模型进行训练，得到所述目标眼的校准系数。

4.根据权利要求2所述的方法，其特征在于，所述校准标识的数量为多个；每个所述校准标识的深度不全相同。

5.一种眼球追踪装置，其特征在于，所述装置包括：图像获取单元、视线获取单元和注视深度信息获取单元；

所述图像获取单元，用于获得用户的第一眼的眼部特征信息和第二眼的眼部特征信息；

所述视线获取单元，用于根据第一预设规则，利用所述第一眼的眼部特征信息和所述第一眼的校准系数得到第一视线，并利用所述第二眼的眼部特征信息和所述第二眼的校准系数得到第二视线；

所述注视深度信息获取单元，用于根据所述第一视线和所述第二视线，得到用户的注视深度信息，包括：判断所述第一视线和所述第二视线是否相交；当所述第一视线和所述第二视线相交时，基于所述第一视线和所述第二视线的交点获得所述注视深度信息；当所述第一视线和所述第二视线不相交时，根据所述第一视线在垂直方向上分量和所述第二视线在垂直方向上分量，得到中间值；将所述第一视线在垂直方向上分量和所述第二视线在垂直方向上分量设置为所述中间值，得到第一参考向量和第二参考向量；基于所述第一参考向量和所述第二参考向量的交点获得所述注视深度信息。

6.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当该计算机程序被处理器执行时，实现如权利要求1-4任意一项所述的眼球追踪方法。

7.一种眼球追踪设备，其特征在于，包括：存储器和处理器；

所述存储器，用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器，用于根据所述程序代码中的指令，执行如权利要求1-4任一项所述的眼球追踪方法。

Images