CN103870796A - 一种人眼视线估计的方法与装置 - Google Patents

Abstract

本发明实施例提供了一种人眼视线估计的方法与装置，能够简化标定过程，提升人眼视线估计装置的精度。该方法包括：获取用户的当前图像；根据用户的当前图像，获取当前图像中眼睛的关键点在当前图像中的坐标；根据眼睛的关键点在当前图像中的坐标和预存储的用户的眼睛的关键点坐标，获取具有用户不变性的视线特征；将具有用户不变性的视线特征作为输入参数，根据预存储的每个训练视点的视线估计统计模型的参数，获取用户视点属于每个训练视点的视线估计统计模型的概率；根据用户视点属于每个训练视点的视线估计统计模型的概率和预存储的每个训练视点的坐标，通过线性插值，获取用户视点的坐标。本发明适用于计算机视觉领域。

Description

一种人眼视线估计的方法与装置

技术领域

本发明涉及计算机视觉领域，尤其涉及一种人眼视线估计的方法与装置。

背景技术

视线估计为人机交互技术的重要分支，主要研究人眼的视线方向或具体的注视点，以实现对其它功能系统的控制。其研究成果在市场分析、残疾人辅助、军备开发、无人驾驶、航空航天等领域有着广泛的应用前景。

传统人眼视线估计的方法主要有两类：

第一种是基于外观的方法，该方法先定位出眼睛区域，直接建立眼睛图像与屏幕中视点坐标的映射关系。但是该方法需要大量的训练数据，最少的标定点个数仍为9个，标定过程较为复杂；而且该方法对头部运动适应性较差，导致视线估计系统的精度较差。

第二种是基于特征的视线估计方法，该方法需要提取眼睛的局部特征，如瞳孔中心、虹膜轮廓、眼角点、亮斑(glint，也叫角膜反射点，是光源在眼睛角膜上的反射点)。该方法主要包括：基于三维模型的方法与基于差值的方法。

其中，基于三维模型的方法根据眼睛的三维几何模型，通过眼睛局部特征的三维位置直接计算视线的三维方向，该方法可以实现单点标定，也可以解决部分对头部运动适应性较差的问题，但必须使用多个相机或多个光源，需要进行系统标定，标定过程更加复杂。

基于差值的方法中，PCCR(Pupil Centre Cornea Reflection，瞳孔中心角膜反射)视线估计方法是最常用的基于差值的视线估计技术。该方法首先通过多点(通常为9个)的标定过程，建立瞳孔中心指向亮斑中心的向量与屏幕中视点的映射关系，然后通过映射函数完成视线估计。其中，最为常见的映射函数是二次多项式。该方法在头部固定的情况下取得了很好的性能，但是随着头部的运动其性能迅速下降，并且该方法仍需要9个点进行标定，也存在标定复杂的问题。虽然目前出现了通过将头部与相机的距离加入到映射函数，建立新的映射函数的技术解决了部分对头部运动适应性较差的问题，但标定点增加到27个，标定过程更加复杂。

发明内容

本发明的实施例提供一种人眼视线估计的方法与装置，能够简化标定过程，提升人眼视线估计装置的精度。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供了一种人眼视线估计的方法，该方法包括：

获取用户的当前图像；

根据所述用户的当前图像，获取所述当前图像中眼睛的关键点在所述当前图像中的坐标；

根据所述眼睛的关键点在所述当前图像中的坐标和预存储的所述用户的眼睛的关键点坐标，获取具有用户不变性的视线特征；

将所述获取的所述具有用户不变性的视线特征作为输入参数，根据预存储的每个训练视点的视线估计统计模型的参数，计算用户视点属于所述每个训练视点的视线估计统计模型的概率；

根据所述用户视点属于所述每个训练视点的视线估计统计模型的概率和预存储的每个训练视点的坐标，通过线性插值，获取所述用户视点的坐标。

第二方面，提供了一种人眼视线估计的装置，包括：

当前图像获取单元，用于获取用户的当前图像；

眼睛关键点坐标获取单元，用于根据所述用户的当前图像，获取所述当前图像中眼睛的关键点在所述当前图像中的坐标；

用户不变性视线特征获取单元，用于根据所述眼睛的关键点在所述当前图像中的坐标和预存储的所述用户的眼睛的关键点坐标，获取具有用户不变性的视线特征；

概率计算单元，用于将所述获取的所述具有用户不变性的视线特征作为输入参数，根据预存储的每个训练视点的视线估计统计模型的参数，计算用户视点属于所述每个训练视点的视线估计统计模型的概率；

用户视点坐标获取单元，用于根据所述用户视点属于所述每个训练视点的视线估计统计模型的概率和预存储的每个训练视点的坐标，通过线性插值，获取所述用户视点的坐标。

本发明实施例提供了一种人眼视线估计的方法与装置，该方法包括：获取用户的当前图像；根据所述用户的当前图像，获取所述当前图像中眼睛的关键点在所述当前图像中的坐标；根据所述眼睛的关键点坐标和预存储的所述用户的眼睛的关键点坐标，获取具有用户不变性的视线特征；将所述获取的所述具有用户不变性的视线特征作为输入参数，根据预存储的每个训练视点的视线估计统计模型的参数，计算用户视点属于所述每个训练视点的视线估计统计模型的概率；根据所述用户视点属于所述每个训练视点的视线估计统计模型的概率和预存储的每个训练视点的坐标，通过线性插值，获取所述用户视点的坐标。

该方法仅需单点标定，即可完成人眼视线估计的过程，简化了标定的过程，并且能够对头部运动适应性较好，提升了视线估计装置的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种人眼视线估计的方法；

图2为本发明实施例提供的另一种人眼视线估计的方法；

图3为本发明实施例提供的一种人眼视线估计的装置；

图4为本发明实施例提供的另一种人眼视线估计的装置；

图5为本发明实施例提供的又一种人眼视线估计的装置；

图6为本发明实施例提供的又一种人眼视线估计的装置。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一、

本发明实施例提供了一种人眼视线估计的方法，如图1所示，该方法包括：

101、获取用户的当前图像。

所述图像可以通过成像设备对用户的眼睛进行摄像，然后将对应图像传输到显示器上获得，也可以通过其它的方式获得，本发明实施例对此不作具体限定。

102、根据所述用户的当前图像，获取所述当前图像中眼睛的关键点在所述当前图像中的坐标。

这里选取眼睛的关键点包括：瞳孔中心、亮斑中心、内、外眼角点、上、下眼睑点。其中，亮斑是红外光源在眼睛角膜上的反射点。

需要说明的是，在成像设备对用户的眼睛进行摄像，获取用户的当前图像时，如果预计选取的眼睛的关键点中存在亮斑中心，则需要所述成像设备具备对红外光源感光的特性，因为普通光源在眼睛角膜上的反射点效果不好，无法形成亮斑。

根据所述用户的当前图像，可以确定原点坐标，一般设定为图像的左上角为原点坐标，规定水平向右为X的正方向，竖直向下为Y的正方向，进而获取所述当前图像中眼睛的关键点在所述当前图像中的坐标。

首先，用基于支持向量机SVM训练的方法在所述当前图像中定位眼睛的位置。

具体的，所述支持向量机SVM训练的方法是通过外界给定的已标注样本集作为训练集进行训练，从而归纳出模型的方法。这里根据所述当前图像中眼睛的样本作为训练集进行训练，从而确定眼睛模型，得到眼睛在所述当前图像中的粗略位置。

其次，通过下面的方案分别获取瞳孔中心、亮斑中心、内外眼角点、上下眼睑点在所述当前图像中的坐标。

方案一：

这里假定pc表示瞳孔中心，gc表示亮斑中心，lu、ld表示上下眼睑点，ci、co表示内外眼角点。

其中，所述瞳孔中心的坐标获取过程具体如下：

第一，用镜像对称变换算法进行所述瞳孔定位，进而获取第一瞳孔中心。

需要说明的是，镜像对称变换算法可以精确定位圆形，但是瞳孔是椭圆形状，圆的中心并不能精确的代表瞳孔的中心，因此本次镜像对称变换算法定位出的瞳孔中心是一个粗略位置，为了区别于精确的瞳孔中心的位置，这里将定位后的瞳孔的瞳孔中心用第一瞳孔中心表示。

第二，从所述第一瞳孔中心所在的点即第一瞳孔中心点向四周发射n条预设角度的射线，并根据所述预设角度的射线的梯度值，获取散射停止条件，其中，所述预设角度的射线不经过所述图像中被眼睑遮挡的瞳孔部分。

具体的，所述预设角度的射线的角度范围如公式(1)所示：

0°≤θ＜60°∪120°≤θ＜360°                                 (1)

该角度θ是一个经验值，选择该角度范围，能够使从第一瞳孔中心点向四周发射的射线不经过当前图像中被眼睑遮挡的瞳孔部分。

散射停止条件如公式(2)所示：

G_down＜G(x，y)＜G_up                                      (2)

其中G(x，y)表示当前图像中(x，y)点的梯度值，G_up、G_down分别表示散射射线梯度的阈值上限与阈值下限。

需要说明的是，所述当前图像中(x，y)点的梯度值指(x，y)点像素的灰度值。

根据所述预设角度的射线的梯度值，获取散射停止条件的过程具体如下：

统计从所述第一瞳孔中心点向四周发射n条预设角度的射线的梯度最大值分别为MG₁，MG₂…MG_i…MG_n，n表示散射射线的个数，记为公式(3)表示如下：

则G_down与G_up分别用公式(4)、(5)表示如下：

$G_{\mathrm{down}}={\mathrm{MG}}_{[n\×{\mathrm{\η}}_{\mathrm{down}}]}---\left(4\right)$

$G_{\mathrm{up}}={\mathrm{MG}}_{[n\×{\mathrm{\η}}_{\mathrm{up}}]}---\left(5\right)$

其中η_dwwn与η_up为可调节系数，[n×η_dwwn]表示对(n×η_dwwn)结果的取整运算，[n×η_up]表示对(n×η_up)结果的取整运算。

从而，获取散射停止条件具体为：

${\mathrm{MG}}_{[n\&times;{\mathrm{\&eta;}}_{\mathrm{down}}]}<G(x,y)<{\mathrm{MG}}_{[n\&times;{\mathrm{\&eta;}}_{\mathrm{up}}]}$

第三，从所述第一瞳孔中心点向四周发射所述预设角度的射线，并根据所述获取的散射停止条件，获取所述瞳孔的边界点。

需要说明的是，所述瞳孔的边界点是由散射停止条件确定的，每条射线在散射时，根据散射停止条件，都会有对应的散射终止点，这些点便构成瞳孔的边界点。

第四，根据随机抽样一致性RANSAC算法，剔除噪声点获取所述瞳孔中心在所述图像中的坐标。

需要说明的是，在剔除噪声点后，可以根据获取的所述瞳孔的边界点进行曲线拟合，从而确定出瞳孔的形状。因为瞳孔的形状是椭圆形的，所以椭圆中心的坐标即为瞳孔中心pc的坐标。

所述亮斑中心、内外眼角点、上下眼睑点的坐标的获取过程如下：

用镜像对称变换算法定位亮斑中心，获取所述亮斑中心在所述当前图像中的坐标。

用基于SVM训练的方法分别获取所述ci、co、lu、ld在所述当前图像中的坐标。

需要说明的是，因为亮斑近似圆形，所以用镜像对称变换算法定位的亮斑中心的位置可以认为是准确位置。

方案二：

通过微分圆或霍夫变换的方式获取瞳孔中心在所述当前图像中的坐标。

通过灰度值获取亮斑区域，进而确定亮斑区域的中心，因为亮斑区域中心代表亮斑中心，从而获取亮斑中心在所述当前图像中的坐标。

通过边缘提取或角点检测的方法获取内外眼角点、上下眼睑点在所述当前图像中的坐标。

当然因为选取的用户的眼睛的关键点可能不同，并且即使选取的用户的眼睛的关键点相同，也可以通过不同的方式获取用户眼睛的关键点坐标，所以对于如何获取所述当前图像中眼睛的关键点在所述图像中的坐标，本发明实施例不作具体限定。

103、根据所述眼睛的关键点在所述当前图像中的坐标和预存储的所述用户的眼睛的关键点坐标，获取具有用户不变性的视线特征。

所述用户不变性视线特征是指不同的用户看屏幕中的同一个点时，提取的视线特征是不变量，其中，所述视线特征是指能够反映视线变化的特征。

在进行视线估计时，为了简化标定过程的复杂程度，采用了单点标定的方法，即在用户初次进行人眼视线估计时，选取屏幕上的一个点进行标定，并存储标定后获取的用户的眼睛的关键点坐标。在后续进行视线估计时，为了获取用户当前的视点坐标，首先需要根据所述眼睛的关键点在所述当前图像中的坐标和预存储的眼睛的关键点坐标，获取具有用户不变性的视线特征，然后才能进一步根据所述获取的具有用户不变性视线特征，确定用户视点的位置。

获取具有用户不变性的视线特征具体包括：

第一，分别获取第一向量与第二向量在X方向和Y方向的变化量的归一化向量，其中，所述第一向量指在所述当前图像中，瞳孔中心的坐标点指向亮斑中心的坐标点的向量，所述第二向量指预存储的瞳孔中心的坐标点指向亮斑中心的坐标点的向量。

具体的，可以通过公式(6)获取第一向量与第二向量在X方向的变化量的归一化向量，通过公式(7)获取第一向量与第二向量在Y方向的变化量的归一化向量，公式(6)、(7)表示如下：

$e_1=\frac{(g{c}_x-{\mathrm{pc}}_x)-({\mathrm{gc}}_x^0-{\mathrm{pc}}_x^0)}{{\left|\right|{\mathrm{gc}}^0-{\mathrm{pc}}^0\left|\right|}_2}---\left(6\right)$

$e_2=\frac{({\mathrm{gc}}_y-{\mathrm{pc}}_y)-({\mathrm{gc}}_y^0-{\mathrm{pc}}_y^0)}{{\left|\right|{\mathrm{gc}}^0-{\mathrm{pc}}^0\left|\right|}_2}---\left(7\right)$

其中，pc⁰，gc⁰表示预存储的瞳孔中心与亮斑中心。pc_x、pc_y分别表示瞳孔中心在所述当前图像中的横坐标和纵坐标，gc_x、gc_y分别表示亮斑中心在所述当前图像中的横坐标和纵坐标，

分别表示预存储的瞳孔中心的横坐标和纵坐标，

分别表示预存储的亮斑中心的横坐标和纵坐标。

第二，分别获取第三向量与第四向量在X方向和Y方向的变化量的归一化向量，其中，所述第三向量指在所述当前图像中，瞳孔中心的坐标点指向内眼角点的坐标点的向量，所述第四向量指预存储的瞳孔中心的坐标点指向内眼角点的坐标点的向量。

具体的，可通过公式(8)获取第三向量与第四向量在X方向的变化量的归一化向量，通过公式(9)获取第三向量与第四向量在Y方向的变化量的归一化向量，公式(8)、(9)如下：

$e_3=\frac{({\mathrm{ci}}_x-{\mathrm{pc}}_x)-({\mathrm{ci}}_x^0-{\mathrm{pc}}_x^0)}{{\left|\right|{\mathrm{ci}}^0-{\mathrm{pc}}^0\left|\right|}_2}---\left(8\right)$

$e_4=\frac{({\mathrm{ci}}_y-{\mathrm{pc}}_y)-({\mathrm{ci}}_y^0-{\mathrm{pc}}_y^0)}{{\left|\right|{\mathrm{ci}}^0-{\mathrm{pc}}^0\left|\right|}_2}---\left(9\right)$

其中，pc_x、pc_y分别表示瞳孔中心在所述当前图像中的横坐标和纵坐标，ci_x、ci_y分别表示内眼角点在所述当前图像中的横坐标和纵坐标，

分别表示预存储的瞳孔中心的横坐标和纵坐标，

分别表示预存储的内眼角点的横坐标和纵坐标。

第三，获取上下眼睑点在所述当前图像中纵坐标之差的绝对值相对于所述预存储上下眼睑点纵坐标之差的绝对值的变化量。

所述绝对值的变化量具体如公式(10)所示：

$e_5=\frac{|{\mathrm{lu}}_y-{\mathrm{ld}}_y|-|{\mathrm{lu}}_y^0-{\mathrm{ld}}_y^0|}{|{\mathrm{lu}}_y^0-{\mathrm{ld}}_y^0|}---\left(10\right)$

其中，lu_y、ld_y分别表示上眼睑点在所述当前图像中的纵坐标和下眼睑点在所述当前图像中的纵坐标，

分别表示预存储的上眼睑点的纵坐标和预存储的下眼睑点的纵坐标。

其中，上述获取的e₁，e₂，e₃，e₄，e₅均是具有用户不变性的视线特征的一个分量，所以此时，所述获取的具有用户不变性的视线特征为(e₁，e₂，e₃，e₄，e₅)

进一步的，在用户进行视线估计时，用户当前的视线估计与用户标定时的视线估计相比，眼睛和屏幕的相对位置会发生变化，导致眼睛在当前图像中的位置会发生变化。为了反映用户头部的运动信息，还可以在用户不变性视线特征中加入头部的运动特征，所述头部运动特征是指能够反映头部运动的信息，可通过所述当前图像中眼睛的关键点相对于所述当前图像的位置信息进行表征。

具体的，所述当前图像中眼睛的关键点相对于所述当前图像的位置信息可以用公式(11-14)表示如下：

e₆＝gc_x/image_w                                         (11)

e₇＝gc_y/image-h                                         (12)

e₈＝ci_x/image_w                                         (13)

e₉＝ci_y/image-h                                         (14)

其中，image_w、image_h分别表示图像的宽度和高度。

公式(11)表示当前图像中亮斑中心的横坐标相对于所述当前图像宽度的位置信息，公式(12)表示当前图像中亮斑中心的纵坐标相对于所述当前图像高度的位置信息，公式(13)表示当前图像中内眼角点的横坐标相对于所述当前图像宽度的位置信息，公式(14)表示当前图像中内眼角点的纵坐标相对于所述当前图像高度的位置信息。

本次获取所述当前图像中眼睛的关键点相对于所述当前图像的位置信息时，眼睛的关键点选取的是亮斑中心和内眼角点，当然这里可以选取上述六个关键点中的任意一个或多个进行运动特征的表示，本发明实施例对此不作具体限定。

考虑到用户与屏幕之间的距离相对于标定时眼睛和屏幕之间的距离可能不同，有可能产生眼睛在当前图像中的大小不同的问题，为了提升视线估计装置的精度，不受距离远近的影响，此时还需对公式(11-14)所述头部运动特征进行修正，具体如下：

根据所述预存储的眼睛的关键点坐标，获取任意两个关键点之间的第一距离。

根据所述当前图像中眼睛的关键点坐标，获取所述任意两个关键点之间的第二距离。

根据所述第一距离与所述第二距离的比例，修正所述当前图像中眼睛的关键点相对于所述当前图像的位置信息。

举例来说，这里假设选择的任意两个眼睛的关键点为内眼角点和外眼角点，则对于所述当前图像中眼睛的关键点相对于所述当前图像的位置信息(e₆，e₇，e₈，e₉)，可以按公式(15)进行修正。

$e_i^{,}=e_i/\mathrm{\&rho;}(i=\mathrm{6,7,8,9})---\left(15\right)$

其中，e_i为修正前所述当前图像中眼睛的关键点相对于所述当前图像的位置信息，

为修正后所述当前图像中眼睛的关键点相对于所述当前图像的位置信息，ρ为修正系数，具体表示如公式(16)所示：

$\mathrm{\&rho;}=\frac{{\left|\right|\mathrm{ci}-\mathrm{co}\left|\right|}_2}{{\left|\right|{\mathrm{ci}}^0-{\mathrm{co}}^0\left|\right|}_2}---\left(16\right)$

其中，ci、co分别表示所述当前图像中的内眼角点与外眼角点；

ci⁰，co⁰分别表示预存储的内眼角点与外眼角点。

||ci-co||₂为所述当前图像中内眼角点与外眼角点之间的第二距离；

||ci⁰-co⁰||₂为预存储的内眼角点与外眼角点之间的第一距离。

其中，修正后的所述当前图像中眼睛的关键点相对于所述当前图像的位置信息

均是具有用户不变性的视线特征的一个分量，所以，在加入头部运动特征后，所述具有用户不变性视线特征为(e₁，e₂，e₃，e₄，e₅，

)。

104、将所述获取的所述具有用户不变性的视线特征作为输入参数，根据预存储的每个训练视点的视线估计统计模型的参数，计算用户视点属于所述每个训练视点的视线估计统计模型的概率。

假定视线估计统计模型是混合高斯模型Θ，一个D维空间下的包含K个高斯成分的混合高斯模型Θ可以用公式(17)表示如下：

$p\left(x_j\right)=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&pi;}}_{k}p\left(x_j\right|k)---\left(17\right)$

其中，其中j≤N，为整数，π_k表示第k个高斯成分的先验概率，p(x_j|k)为混合高斯模型Θ的条件概率密度函数，用公式(18)表示如下：

$p\left(x_j\right|k)=N(x_j;{\mathrm{\&mu;}}_k,{\mathrm{\&Sigma;}}_k)=\frac{1}{\sqrt{{\left(2\mathrm{\&pi;}\right)}^D\left|{\mathrm{\&Sigma;}}_k\right|}}\exp (-\frac{1}{2}{(x_j-{\mathrm{\&mu;}}_k)}^T{\mathrm{\&Sigma;}}_k^{-1}(x_j-{\mathrm{\&mu;}}_k))---\left(18\right)$

其中，N表示样本点的个数，μ_k，∑_k分别表示第k个高斯成分的均值与方差，D为特征空间的维数。记累计后验概率

用于方便表示，则混合高斯模型Θ的参数可以描述为：

此时令公式(17)的输入参数xj＝(e₁，e₂，e₃，e₄，e₅，

)，在已知屏幕中C个训练视点的统计模型

的条件下，定义第i个统计模型Θ_i的概率密度函数为p(x；Θ_i)，则第j个样本点属于第1个统计模型的概率密度可以表示为：

$p(x_j;{\mathrm{\&Theta;}}_1)=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&pi;}}_{k}p\left(x_j\right|k)=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&pi;}}_{k}N(x_j;{\mathrm{\&mu;}}_k,{\mathrm{\&Sigma;}}_k)$

其中，x_j＝(e₁，e₂，e₃，e₄，e₅，

)，

是预存储的混合高斯模型Θ₁的参数。

105、根据所述用户视点属于所述每个训练视点的视线估计统计模型的概率和预存储的每个训练视点的坐标，通过线性插值，获取所述用户视点的坐标。

假设屏幕中有9个训练视点，则所述用户视点的横坐标

用公式(19)表示，所述用户视点的纵坐标

用公式(20)表示如下：

$P_x^{*}=\frac{\underset{i=1}{\overset{9}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i{P}_x^{{\mathrm{\&lambda;}}_i}}{\underset{i=1}{\overset{9}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i}$ $\left(19\right)$

$P_y^{*}=\frac{\underset{i=1}{\overset{9}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i{P}_y^{{\mathrm{\&lambda;}}_i}}{\underset{i=1}{\overset{9}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i}---\left(20\right)$

其中，公式(19)和公式(20)中的λ_i(i＝1，2，3，4，5，6，7，8，9)表示每个训练视点的视线估计统计模型的编号，

表示预存储的第λ_i个训练视点的横坐标，

表示预存储的第λ_i个训练视点的纵坐标，α_i是进行线性插值时的线性插值系数，起平滑作用，用公式(21)表示如下：

${\mathrm{\&alpha;}}_i=\frac{1}{1+\exp (-\mathrm{\&epsiv;}\log \left(p(x;{\mathrm{\&Theta;}}_{{\mathrm{\&lambda;}}_i})\right))}---\left(21\right)$

其中，ε是可调参数，用于调节函数曲线的陡峭程度。从公式(21)可以看出，α_i是由所述用户视点属于每个训练视点的视线估计统计模型的概率确定的。

当然，如果屏幕中有9个训练视点，在进行线性插值时，也可以用其中的某几个点进行线性插值，获取所述用户视点的坐标

比如选中视线估计统计模型的概率较大的几个训练视点进行线性插值，本发明实施例对此不作具体限定。

该方法适用于具有用户界面的电子设备，例如当所述用户希望通过用户视点与用户界面进行交互时，便可以通过上述方法实现该目标，本发明实施例对此过程不再赘述。

本发明实施例提供了一种人眼视线估计的方法，该方法包括：获取用户的当前图像；根据所述用户的当前图像，获取所述当前图像中眼睛的关键点在所述当前图像中的坐标；根据所述眼睛的关键点在所述当前图像中的坐标和预存储的所述用户的眼睛的关键点坐标，获取具有用户不变性的视线特征；将所述获取的所述具有用户不变性的视线特征作为输入参数，根据预存储的每个训练视点的视线估计统计模型的参数，计算用户视点属于所述每个训练视点的视线估计统计模型的概率；根据所述用户视点属于所述每个训练视点的视线估计统计模型的概率和预存储的每个训练视点的坐标，通过线性插值，获取所述用户视点的坐标。

该方法仅需单点标定，即可完成人眼视线估计的过程，简化了标定的过程，并且能够对头部运动适应性较好，提升了视线估计装置的精度。

实施例二、

本发明实施例提供了一种人眼视线估计的方法，如图2所示，该方法包括：

201、获取用户的当前图像。

202、根据所述用户的当前图像，获取所述当前图像中眼睛的关键点在所述当前图像中的坐标。

关于根据所述用户的当前图像，获取所述当前图像中眼睛的关键点在所述当前图像中的坐标的方法可参考实施例一步骤102的描述，本发明实施例对此不再赘述。

203、根据所述眼睛的关键点在所述当前图像中的坐标和预存储的所述用户的眼睛的关键点坐标，获取具有用户不变性的视线特征。

关于所述获取具有用户不变性视线特征的方法可参考实施例一步骤103的描述，本发明实施例对此不再赘述。

204、将所述获取的所述具有用户不变性的视线特征作为输入参数，根据预存储的每个训练视点的视线估计统计模型的参数，计算用户视点属于所述每个训练视点的视线估计统计模型的概率。

关于所述计算用户视点属于所述每个训练视点的视线估计统计模型的概率的方法可参考实施例一步骤104的描述，本发明实施例对此不再赘述。

205、根据所述用户视点属于所述每个训练视点的视线估计统计模型的概率和预存储的每个训练视点的坐标，通过线性插值，获取所述用户视点的坐标。

关于所述获取所述用户视点的坐标的方法可参考实施例一步骤105的描述，本发明实施例对此不再赘述。

206、获取与所述用户视点的坐标最接近的训练视点。

这里选取Dist(i)＝||P^*-Pⁱ||₂，表示P^*与屏幕中第i个训练视点Pⁱ的距离，与所述用户视点的坐标最接近的训练视点可通过公示(22)获取。

$I_{\min }=\arg \underset{i}{\min }\mathrm{Dist}\left(i\right),i\&Element;\{\mathrm{1,2},...,C\}\}---\left(22\right)$

其中，arg表示提取编号的意思，I_miin表示与所述用户视点的坐标最接近的训练视点的标号，所述标号对应的训练视点即为与所述用户视点的坐标最接近的训练视点。

207、将与所述用户视点的坐标最接近的训练视点的视线估计统计模型确定为所述用户视点的视线估计统计模型。

208、判断与所述用户视点最接近的训练视点与所述用户视点之间的距离是否在预设的第一阈值范围内。

具体的，定义置信度阈值判别条件，用公式(23)表示如下：

$\underset{i}{\min }\mathrm{Dist}\left(i\right)<\mathrm{\&gamma;}{\left|\right|P^1-P^9\left|\right|}_2---\left(23\right)$

其中，γ是控制置信度阈值的参数。若步骤206计算出的与所述用户视点最接近的训练视点与所述用户视点之间的距离满足公式(23)，说明与所述用户视点最接近的训练视点与所述用户视点的距离在预设的第二阈值范围内。

209、若在所述预设的第一阈值范围内，则确定更新所述用户视点的视线估计统计模型。

210、将所述获取的所述具有用户不变性的视线特征作为输入参数，根据预存储的所述用户视点的视线估计统计模型的参数，获取所述用户视点的视线估计统计模型的更新参数。

将需要被更新的所述用户视点的视线估计统计模型记为

经过x^*更新后的模型为更新过程如公式(24-28)：

${\mathrm{\&pi;}}_k^{*}=\frac{{\hat{E}}_k+p\left(k\right|x^{*})}{N+1}---\left(24\right)$

其中，

$p\left(k\right|x^{*})=\frac{{\widehat{\mathrm{\&pi;}}}_{k}N(x^{*};{\widehat{\mathrm{\&mu;}}}_k,{\widehat{\mathrm{\&Sigma;}}}_k)}{{\mathrm{\&Sigma;}}_{i=1}^K{\widehat{\mathrm{\&pi;}}}_{i}N(x^{*};{\widehat{\mathrm{\&mu;}}}_i,{\widehat{\mathrm{\&Sigma;}}}_i)}---\left(25\right)$

${\mathrm{\&mu;}}_k^{*}=\frac{{\widehat{\mathrm{\&mu;}}}_k{\hat{E}}_k+x^{*}p\left(k\right|x^{*})}{{\hat{E}}_k+p\left(k\right|x^{*})}---\left(26\right)$

${\mathrm{\&Sigma;}}_k^{*}=\frac{({\widehat{\mathrm{\&Sigma;}}}_k+({\widehat{\mathrm{\&mu;}}}_k-{\mathrm{\&mu;}}_k^{*}){({\widehat{\mathrm{\&mu;}}}_k-{\mathrm{\&mu;}}_k^{*})}^T){\hat{E}}_k+(x^{*}-{\mathrm{\&mu;}}_k^{*}){(x^{*}-{\mathrm{\&mu;}}_k^{*})}^{T}p\left(k\right|x^{*})}{{\hat{E}}_k+p\left(k\right|x^{*})}---\left(27\right)$

$E_k^{*}={\hat{E}}_k+p\left(k\right|x^{*})---\left(28\right)$

这里，公式(24)、(26)、(27)(28)为所述用户视点的视线估计统计模型的更新参数

公式(25)为公式(24)的补充。

211、根据所述更新参数，更新所述用户视点的视线估计统计模型。

通过模型更新，使得所述视线估计统计模型更加适用于当前用户，不断提高视线估计系统的精度。

进一步的，所述用户视点的视线估计统计模型在经过多次模型更新后，对所述用户来说，该模型可能已经相当稳定，也就是说根据所述更新参数新获取的所述用户视点的视线估计统计模型的参数的值已经和当前所述用户视点的视线估计统计模型的参数的值之间的差别在一定范围内，为了减少所述用户视点的视线估计统计模型更新的次数，获得进一步的有益效果，在所述确定更新所述用户视点的视线估计统计模型前，还可以进行第二阈值判断，包括：

获取当前的平均似然函数值，其中，所述平均似然函数值指对所述用户视点的视线估计统计模型进行训练的所有数据的平均似然函数值。

判断所述当前的平均似然函数值与相邻的上次更新所述用户视点的视线估计统计模型时获取的平均似然函数值之比减1的差值是否在预设的第二阈值范围内。

若不在预设的第二阈值范围内，则确定更新所述用户视点的视线估计统计模型；

若在预设的第二阈值范围内，则确定不更新所述用户视点的视线估计统计模型。

具体的，平均似然函数l用公式(29)表示如下：

$l=\frac{1}{N^{*}}\underset{j=1}{\overset{N^{*}}{\mathrm{\&Sigma;}}}\log \left(p\left(x_j\right)\right)---\left(29\right)$

其中，j≤N^*，为整数，N^*表示训练数据的个数，包括用于训练所述用户视点的视线估计统计模型的历史数据与用于更新GMM所述用户视点的视线估计统计模型的所有数据。

第二阈值范围用公式(30)表示如下：

$\frac{l(t+1)-l\left(t\right)}{l\left(t\right)}<\mathrm{\&tau;}---\left(30\right)$

其中，t表示更新的次数，τ为边界值。

若不满足公式(30)，说明不在预设的第二阈值范围内，确定更新所述用户视点的视线估计统计模型。

若满足公式(30)，说明在预设的第二阈值范围内，则确定不更新所述用户视点的视线估计统计模型，结束操作。

需要说明的是，一般情况下，如果判断所述当前的平均似然函数值与相邻的上次更新所述用户视点的视线估计统计模型时获取的平均似然函数值之比减1的差值在预设的第二阈值范围内，确定不更新所述用户视点的视线估计统计模型后，在后续的用户视点估计过程中，步骤206获取当前所述用户视点的坐标后，若步骤207确定出的当前所述用户视点的第一视线估计统计模型为所述确定不更新的所述用户视点的视线估计统计模型，则不需要再执行后续的步骤208-211。

该方法适用于具有用户界面的电子设备，例如当所述用户希望通过用户视点与用户界面进行交互时，便可以通过上述方法实现该目标，本发明实施例对此过程不再赘述。

本发明实施例提供了一种人眼视线估计的方法，该方法包括：获取用户的当前图像；根据所述用户的当前图像，获取所述当前图像中眼睛的关键点在所述当前图像中的坐标；根据所述眼睛的关键点在所述图像中的坐标和预存储的所述用户的眼睛的关键点坐标，获取具有用户不变性的视线特征；将所述获取的所述具有用户不变性的视线特征作为输入参数，根据预存储的每个训练视点的视线估计统计模型的参数，计算用户视点属于所述每个训练视点的视线估计统计模型的概率；根据所述用户视点属于所述每个训练视点的视线估计统计模型的概率和预存储的每个训练视点的坐标，通过线性插值，获取所述用户视点的坐标。

该方法仅需单点标定，即可完成人眼视线估计的过程，简化了标定的过程，并且能够对头部运动适应性较好，提升了视线估计装置的精度。

实施例三、

本发明实施例提供了一种人眼视线估计的装置300，具体如图3所示，包括：

当前图像获取单元301，用于获取用户的当前图像。

所述图像可以通过成像设备对用户的眼睛进行摄像，然后将对应图像传输到显示器上获得，也可以通过其它的方式获得，本发明实施例对此不作具体限定。

眼睛关键点坐标获取单元302，用于根据所述用户的当前图像，获取所述当前图像中眼睛的关键点在所述当前图像中的坐标。

所述眼睛的关键点可以为瞳孔中心、上下眼睑点、内外眼角点、亮斑中心，关于如何获取当前所述用户的眼睛的关键点在所述图像中的坐标的方法有多种，具体的，可参考实施例一步骤102的的描述，本发明实施例对此不再赘述。

用户不变性视线特征获取单元303，用于根据所述眼睛的关键点在所述当前图像中的坐标和预存储的所述用户的眼睛的关键点坐标，获取具有用户不变性的视线特征。

所述用户不变性视线特征是指不同的用户看屏幕中的同一个点时，提取的视线特征是不变量，其中，所述视线特征是指能够反映视线变化的特征。

在进行视线估计时，为了简化标定过程的复杂程度，采用了单点标定的方法，即在用户初次进行人眼视线估计时，选取屏幕上的一个点进行标定，并存储标定后获取的用户的眼睛的关键点坐标。在后续进行视线估计时，为了获取用户当前的视点坐标，首先需要根据所述眼睛的关键点在所述当前图像中的坐标和预存储的眼睛的关键点坐标，获取具有用户不变性的视线特征，然后才能进一步根据所述获取的具有用户不变性视线特征，确定用户视点的位置。

关于获取具有用户不变性的视线特征的方法，可参考实施例一步骤103的描述，本发明实施例对此不再赘述。

概率计算单元304，用于将所述获取的所述具有用户不变性的视线特征作为输入参数，根据预存储的每个训练视点的视线估计统计模型的参数，计算用户视点属于所述每个训练视点的视线估计统计模型的概率。

关于计算用户视点属于所述每个训练视点的视线估计统计模型的概率的方法，可参考实施例一步骤104的描述，本发明实施例对此不再赘述。

用户视点坐标获取单元305，用于根据所述用户视点属于所述每个训练视点的视线估计统计模型的概率和预存储的每个训练视点的坐标，通过线性插值，获取所述用户视点的坐标。

关于根据所述用户视点属于所述每个训练视点的视线估计统计模型的概率和预存储的每个训练视点的坐标，通过线性插值，获取所述用户视点的坐标的方法，可参考实施例一步骤105的描述，本发明实施例对此不再赘述。

进一步的，如图4所示，所述装置300还包括：

统计模型建立单元306，用于在所述用户视点坐标获取单元305通过线性插值，获取所述用户视点的坐标后，建立所述用户视点的视线估计统计模型。

统计模型更新参数计算单元307，用于计算所述用户视点的视线估计统计模型的更新参数。

统计模型更新单元308，用于根据所述更新参数，更新所述用户视点的视线估计统计模型。

其中，所述统计模型建立单元306建立所述用户视点的视线估计统计模型用于：

获取与所述用户视点的坐标最接近的训练视点。

将与所述用户视点的坐标最接近的训练视点的视线估计统计模型确定为所述用户视点的视线估计统计模型。

统计模型更新参数计算单元307计算所述用户视点的视线估计统计模型的更新参数用于：

将所述获取的所述具有用户不变性的视线特征作为输入参数，根据预存储的所述用户视点的视线估计统计模型的参数，计算所述用户视点的视线估计统计模型的更新参数。

进一步的，如图5所示，所述装置300还包括：

第一阈值判断单元309，用于在所述参数模型更新参数计算单元307计算所述用户视点的视线估计统计模型的更新参数前，判断与所述用户视点最接近的训练视点与所述用户视点的距离是否在预设的第一阈值范围内。

统计模型更新确定单元310，用于若在预设的第一阈值范围内，确定更新所述用户视点的视线估计统计模型。

进一步的，所述用户视点的视线估计统计模型在经过多次模型更新后，对所述用户来说，该模型可能已经相当稳定，也就是说根据所述更新参数新获取的所述用户视点的视线估计统计模型的参数的值已经和当前所述用户视点的视线估计统计模型的参数的值之间的差别在一定范围内，为了减少所述用户视点的视线估计统计模型更新的次数，获得进一步的有益效果，在所述确定更新所述用户视点的视线估计统计模型前，所述装置300还可以进行第二阈值判断，如图6所示，包括：

平均似然函数值获取单元311，用于获取当前的平均似然函数值，其中，所述平均似然函数值指对所述用户视点的视线估计统计模型进行训练的所有数据的平均似然函数值。

第二阈值判断单元312，用于判断所述当前的平均似然函数值与相邻的上次更新所述用户视点的视线估计统计模型时获取的平均似然函数值之比减1的差值是否在预设的第二阈值范围内。

统计模型更新确定单元310，还用于若不在预设的第二阈值范围内，则确定更新所述用户视点的视线估计统计模型；若在预设的第二阈值范围内，则确定不更新所述用户视点的视线估计统计模型。

具体的，关于所述装置300进行人眼视线估计的方法可参见实施例一和实施例二的描述，本发明实施例对此不再赘述。

本发明实施例提供了一种人眼视线估计的装置，包括：当前图像获取单元，用于获取用户的当前图像；眼睛关键点坐标获取单元，用于根据所述用户的当前图像，获取所述当前图像中眼睛的关键点在所述当前图像中的坐标；用户不变性视线特征获取单元，用于根据所述眼睛的关键点在所述当前图像中的坐标和预存储的所述用户的眼睛的关键点坐标，获取具有用户不变性的视线特征；概率计算单元，用于将所述获取的所述具有用户不变性的视线特征作为输入参数，根据预存储的每个训练视点的视线估计统计模型的参数，计算用户视点属于所述每个训练视点的视线估计统计模型的概率；用户视点坐标获取单元，用于根据所述用户视点属于所述每个训练视点的视线估计统计模型的概率和预存储的每个训练视点的坐标，通过线性插值，获取所述用户视点的坐标。

基于上述实施例提供的人眼视线估计的装置，仅需单点标定，即可完成人眼视线估计的过程，简化了标定的过程，并且能够对头部运动适应性较好，提升了视线估计装置的精度。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种人眼视线估计的方法，其特征在于，该方法包括：

获取用户的当前图像；

根据所述用户的当前图像，获取所述当前图像中眼睛的关键点在所述当前图像中的坐标；

根据所述眼睛的关键点在所述当前图像中的坐标和预存储的所述用户的眼睛的关键点坐标，获取具有用户不变性的视线特征；

将所述获取的所述具有用户不变性的视线特征作为输入参数，根据预存储的每个训练视点的视线估计统计模型的参数，计算用户视点属于所述每个训练视点的视线估计统计模型的概率；

根据所述用户视点属于所述每个训练视点的视线估计统计模型的概率和预存储的每个训练视点的坐标，通过线性插值，获取所述用户视点的坐标。

2.根据权利要求1所述的方法，其特征在于，所述眼睛的关键点具体包括：

瞳孔中心、亮斑中心、内、外眼角点、上、下眼睑点。

3.根据权利要求2所述的方法，其特征在于，所述根据所述用户的当前图像，获取所述当前图像中眼睛的关键点在所述当前图像中的坐标包括：

用基于支持向量机SVM训练的方法在所述当前图像中定位眼睛的位置；

用镜像对称变换算法进行所述瞳孔定位，进而获取第一瞳孔中心；

从所述第一瞳孔中心所在的点向四周发射n条预设角度的射线，并根据所述预设角度的射线的梯度值，获取散射停止条件，其中，所述预设角度的射线不经过所述当前图像中被眼睑遮挡的瞳孔部分；

从所述第一瞳孔中心所在的点向四周发射所述预设角度的射线，并根据所述获取的散射停止条件，获取所述瞳孔的边界点；

根据随机抽样一致性RANSAC算法，剔除噪声点获取所述瞳孔中心在所述当前图像中的坐标；

用镜像对称变换算法定位亮斑中心，获取所述亮斑中心在所述当前图像中的坐标；

用基于SVM训练的方法分别获取所述内外眼角点、上下眼睑点在所述当前图像中的坐标。

4.根据权利要求2或3所述的方法，其特征在于，

所述根据所述眼睛的关键点在所述当前图像中的坐标和预存储的所述用户的眼睛的关键点坐标，获取具有用户不变性的视线特征包括：

分别获取第一向量与第二向量在X方向和Y方向的变化量的归一化向量，其中，所述第一向量指在所述当前图像中，瞳孔中心的坐标点指向亮斑中心的坐标点的向量，所述第二向量指预存储的瞳孔中心的坐标点指向亮斑中心的坐标点的向量；

分别获取第三向量与第四向量在X方向和Y方向的变化量的归一化向量，其中，所述第三向量指在所述当前图像中，瞳孔中心的坐标点指向内眼角点的坐标点的向量，所述第四向量指预存储的瞳孔中心的坐标点指向内眼角点的坐标点的向量；

获取上下眼睑点在所述当前图像中纵坐标之差的绝对值相对于所述预存储的上下眼睑点纵坐标之差的绝对值的变化量。

5.根据权利要求4所述的方法，其特征在于，

所述根据所述眼睛的关键点在所述当前图像中的坐标和预存储的所述用户的眼睛的关键点坐标，获取具有用户不变性的视线特征还包括：获取当前图像中眼睛的关键点相对于所述当前图像的位置信息，所述获取当前图像中眼睛的关键点相对于所述当前图像的位置信息之后还包括：根据预存储的眼睛的任意两个关键点之间的距离与当前图像中眼睛的所述任意两个关键点之间的距离的比例修正所述当前图像中眼睛的关键点相对于所述当前图像的位置信息，具体包括：

根据所述预存储的眼睛的关键点坐标，获取任意两个关键点之间的第一距离；

根据所述当前图像中眼睛的关键点坐标，获取所述任意两个关键点之间的第二距离；

根据所述第一距离与所述第二距离的比例，修正所述当前图像中眼睛的关键点相对于所述当前图像的位置信息；

获取所述修正后的所述当前图像中眼睛的关键点相对于所述当前图像的位置信息。

6.根据权利要求1-5任一项所述的方法，其特征在于，在所述通过线性插值，获取所述用户视点的坐标后，该方法还包括：建立用户视点的视线估计统计模型，计算所述用户视点的视线估计统计模型的更新参数，根据所述更新参数，更新所述用户视点的视线估计统计模型；其中，所述建立用户视点的视线估计统计模型包括：

获取与所述用户视点的坐标最接近的训练视点；

将与所述用户视点的坐标最接近的训练视点的视线估计统计模型确定为所述用户视点的视线估计统计模型；

所述计算所述用户视点的视线估计统计模型的更新参数包括：

将所述获取的所述具有用户不变性的视线特征作为输入参数，根据预存储的所述用户视点的视线估计统计模型的参数，计算所述用户视点的视线估计统计模型的更新参数。

7.根据权利求6所述的方法，其特征在于，在所述计算所述用户视点的视线估计统计模型的更新参数前，还包括：

判断与所述用户视点最接近的训练视点与所述用户视点之间的距离是否在预设的第一阈值范围内；

若在所述预设的第一阈值范围内，确定更新所述用户视点的视线估计统计模型。

8.一种人眼视线估计的装置，其特征在于，包括：

当前图像获取单元，用于获取用户的当前图像；

眼睛关键点坐标获取单元，用于根据所述用户的当前图像，获取所述当前图像中眼睛的关键点在所述当前图像中的坐标；

用户不变性视线特征获取单元，用于根据所述眼睛的关键点在所述当前图像中的坐标和预存储的所述用户的眼睛的关键点坐标，获取具有用户不变性的视线特征；

概率计算单元，用于将所述获取的所述具有用户不变性的视线特征作为输入参数，根据预存储的每个训练视点的视线估计统计模型的参数，计算用户视点属于所述每个训练视点的视线估计统计模型的概率；

用户视点坐标获取单元，用于根据所述用户视点属于所述每个训练视点的视线估计统计模型的概率和预存储的每个训练视点的坐标，通过线性插值，获取所述用户视点的坐标。

9.根据权利要求8所述的装置，其特征在于，还包括：

统计模型建立单元，用于在所述用户视点坐标获取单元通过线性插值，获取所述用户视点的坐标后，建立所述用户视点的视线估计统计模型；

统计模型更新参数计算单元，用于计算所述用户视点的视线估计统计模型的更新参数；

统计模型更新单元，用于根据所述更新参数，更新所述用户视点的视线估计统计模型；

其中，所述统计模型建立单元建立所述用户视点的视线估计统计模型用于：

获取与所述用户视点的坐标最接近的训练视点；

将与所述用户视点的坐标最接近的训练视点的视线估计统计模型确定为所述用户视点的视线估计统计模型；

所述统计模型更新参数计算单元计算所述用户视点的视线估计统计模型的更新参数用于：

将所述获取的所述具有用户不变性的视线特征作为输入参数，根据预存储的所述用户视点的视线估计统计模型的参数，计算所述用户视点的视线估计统计模型的更新参数。

10.根据权利要求9所述的装置，其特征在于，还包括：

第一阈值判断单元，用于在所述统计模型更新参数计算单元计算所述用户视点的视线估计统计模型的更新参数前，判断与所述用户视点最接近的训练视点与所述用户视点之间的距离是否在预设的第一阈值范围内；

统计模型更新确定单元，用于若在预设的第一阈值范围内，确定更新所述用户视点的视线估计统计模型。

Images