CN104182723B - 一种视线估计的方法和装置 - Google Patents

Abstract

本发明实施例公开了一种视线估计的方法和装置，应用于至少包含双亮斑的场景，涉及计算机视觉和图像处理领域，用以提高对头部运动的适应性，提高视线估计的精确度和稳定性。本发明实施例提供的方法包括：获取基于双亮斑的眼睛外观描述子和瞳孔中心角膜反射PCCR描述子；对眼睛外观描述子和PCCR描述子进行特征融合，得到混合视线特征描述子，混合视线特征描述子包括训练样本的混合视线特征描述子和测试样本的混合视线特征描述子；根据训练样本的混合视线特征描述子对测试样本进行视点估计，得到测试样本的视点坐标。

Description

一种视线估计的方法和装置

技术领域

本发明涉及计算机视觉和图像处理领域，尤其涉及一种视线估计的方法和装置。

背景技术

视线估计用于确定视线方向(Gaze direction)或具体的视点(Point of regard，简称PoR)，在心理学、市场分析、广告分析、医学研究、人机交互等多个领域都有很大的应用价值。

目前常用的视线估计方法有基于外观(Appearance-based)的方法与基于特征(Feature-based)的方法。基于外观的方法具体为：定位眼睛区域；建立眼睛图像与屏幕中视点坐标的映射关系；通过映射函数完成视线估计。基于特征的方法中最常用的是基于瞳孔中心角膜反射(Pupil Center-Cornea Reflection，简称PCCR)技术的视线估计方法，具体为：提取瞳孔中心的位置信息、亮斑(glint，也叫角膜反射点，是光源在眼睛角膜上的反射点)的位置信息；通过多个点(通常为9个点)的标定过程，建立瞳孔中心亮斑中心向量与屏幕中视点的映射关系；通过映射函数完成视线估计。

针对上述视线估计方法，发明人发现现有技术中至少存在如下问题：基于外观的视线估计方法提取整个眼睛的外观特征，因此对头部运动适应性差；基于PCCR技术的视线估计方法只提取瞳孔中心和亮斑的位置信息，导致视线估计的精确度低、稳定性差。

发明内容

本发明的实施例提供一种视线估计的方法和装置，用以提高对头部运动的适应性，提高视线估计的精确度和稳定性。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供一种视线估计的方法，应用于至少包含双亮斑的场景，包括：

获取基于双亮斑的眼睛外观描述子和瞳孔中心角膜反射PCCR描述子；

对所述眼睛外观描述子和所述PCCR描述子进行特征融合，得到混合视线特征描述子，所述混合视线特征描述子包括训练样本的混合视线特征描述子和测试样本的混合视线特征描述子；

根据所述训练样本的混合视线特征描述子对测试样本进行视点估计，得到所述测试样本的视点坐标。

结合第一方面，在第一种可能的实现方式中，所述获取基于双亮斑的眼睛外观描述子和瞳孔中心角膜反射PCCR描述子，包括：

获取当前图像中的眼睛区域以及该眼睛区域内所述双亮斑的位置信息、瞳孔中心的位置信息；

根据所述双亮斑的位置信息对所述双亮斑进行归一化运算，得到基于双亮斑的眼睛外观描述子；

至少根据所述双亮斑的位置信息、所述瞳孔中心的位置信息，获得瞳孔中心角膜反射PCCR描述子。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述获取该眼睛区域内所述双亮斑的位置信息、所述瞳孔中心的位置信息，包括：

在所述眼睛区域内获取所述双亮斑的位置信息；

根据所述双亮斑的位置信息获取瞳孔区域；

在所述瞳孔区域内获取所述瞳孔中心的位置信息。

结合第一方面的第一种可能的实现方式或者第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述根据所述双亮斑的位置信息对所述双亮斑进行归一化运算，得到基于双亮斑的眼睛外观描述子，包括：

根据所述双亮斑的位置信息确定第一区域；所述第一区域包含所述双亮斑、瞳孔区域和虹膜区域；

将所述第一区域划分为至少两个子区域；

根据所述至少两个子区域内的像素值获得基于双亮斑的眼睛外观描述子。

结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述根据所述至少两个子区域内的像素值获得基于双亮斑的眼睛外观描述子还包括：

对所述基于双亮斑的眼睛外观描述子进行特征降维处理。

结合第一方面或者第一方面的第四种可能的实现方式，在第五种可能的实现方式中，所述根据所述训练样本的混合视线特征描述子对测试样本进行视点估计，得到所述测试样本的视点坐标，包括：

根据所述训练样本的混合视线特征描述子、测试样本的混合视线特征描述子、预设的训练样本的视点坐标、预设的回归算法，得到所述测试样本的视点坐标。

第二方面，提供一种视线估计的装置，应用于至少包含双亮斑的场景，包括：

第一获取单元，用于获取基于双亮斑的眼睛外观描述子和瞳孔中心角膜反射PCCR描述子；

第二获取单元，用于对所述眼睛外观描述子和所述PCCR描述子进行特征融合，得到混合视线特征描述子，所述混合视线特征描述子包括训练样本的混合视线特征描述子和测试样本的混合视线特征描述子；

第三获取单元503，根据所述训练样本的混合视线特征描述子对测试样本进行视点估计，得到所述测试样本的视点坐标。

结合第二方面，在第一种可能的实现方式中，所述第一获取单元，包括：

第一获取模块，用于获取当前图像中的眼睛区域以及该眼睛区域内所述双亮斑的位置信息、瞳孔中心的位置信息；

第二获取模块，用于根据所述双亮斑的位置信息对所述双亮斑进行归一化运算，得到基于双亮斑的眼睛外观描述子；

第三获取模块，用于至少根据所述双亮斑的位置信息、所述瞳孔中心的位置信息，获得瞳孔中心角膜反射PCCR描述子。

结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述第一获取模块具体用于，

在所述眼睛区域内获取所述双亮斑的位置信息；

根据所述双亮斑的位置信息获取瞳孔区域；

在所述瞳孔区域内获取所述瞳孔中心的位置信息。

结合第二方面的第一种可能的实现方式或者第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述第二获取模块具体用于，

根据所述双亮斑的位置信息确定第一区域；所述第一区域包含所述双亮斑、瞳孔区域和虹膜区域；

将所述第一区域划分为至少两个子区域；

根据所述至少两个子区域内的像素值获得基于双亮斑的眼睛外观描述子。

结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述第二获取模块还用于，对所述基于双亮斑的眼睛外观描述子进行特征降维处理

结合第二方面或者第二方面的第四种可能的实现方式，在第五种可能的实现方式中，所述第三获取单元具体用于，

根据所述训练样本的混合视线特征描述子、测试样本的混合视线特征描述子、预设的训练样本的视点坐标、预设的回归算法，得到所述测试样本的视点坐标。

本发明实施例提供的视线估计的方法和装置，应用于至少包含双亮斑的场景，通过将获取的基于双亮斑的眼睛外观描述子和PCCR描述子进行特征融合，得到混合视线特征描述子，并根据训练样本的混合视线特征描述子对测试样本进行视点估计，得到测试样本的视点坐标。提取了基于双亮斑的眼睛外观描述子，从而提高了对头部运动适应性，解决了现有技术的基于外观的视线估计方法因使用整个眼睛的外观特征提取眼睛外观描述子，导致的对头部运动适应性差的问题；提取了眼睛的纹理，轮廓等信息，从而提高了视线估计的精确度和稳定性，解决了现有技术的基于PCCR技术的方案中，只提取瞳孔中心的位置信息和亮斑中心的位置信息，导致的视线估计的精确度低、稳定性差的问题。

附图说明

图1为本发明实施例提供的一种视线估计的方法的流程图；

图2为本发明实施例提供的一种定位双亮斑和瞳孔的方法的示意图；

图3为本发明实施例提供的另一种视线估计的方法的流程图；

图4为本发明实施例提供的一种获取基于双亮斑的眼睛外观描述子的方法的流程示意图；

图5为本发明实施例提供的一种视线估计的装置的结构示意图；

图6为本发明实施例提供的另一种视线估计的装置的结构示意图；

图7为本发明实施例提供的另一种视线估计的装置的结构示意图。

具体实施方式

下面结合附图对本发明实施例提供的视线估计的方法和装置进行示例性描述。

本发明实施例提供的视线估计的方法可以应用于具有双光源或者多光源的场景，需要说明的是，一般情况下，获得训练样本与测试样本的场景相同，例如，当训练样本为包含双光源的场景，则测试样本也为包含双光源的场景等。由于在多光源场景下具体实现方式基于双光源场景下的实现方式，因此以下实施例中均以该视线估计的方法应用于具有双光源的场景进行说明。

参见图1，为本发明实施例提供的一种视线估计的方法，应用于至少包含双光源的场景，该方法包括：

101：获取基于双亮斑的眼睛外观描述子和瞳孔中心角膜反射PCCR描述子；

示例性的，双光源在眼睛角膜上的反射点形成双亮斑，训练样本和测试样本可以为通过摄像头等采集到的图片，该训练样本和测试样本包含眼睛图像(下文中称“眼睛”)，具体包含双亮斑、瞳孔图像(下文中称“瞳孔”)以及虹膜图像(下文中称“虹膜”)等。

基于双亮斑的眼睛外观描述子表示以双亮斑为中心的眼睛外观描述子(Glints-centered descriptor)。

进一步地，步骤101可以包括：

1)获取当前图像中的眼睛区域；

示例性的，当前图像(训练样本或者测试样本)中可能包含眼睛之外的其他图像，参见图2(a)，而视点坐标与眼睛之外的其他图像无关，因此，可以通过选择当前图像中有用的局部区域(眼睛区域)来缩小研究范围，进而在该局部区域中获得双亮斑的位置坐标和瞳孔中心的位置坐标，这样可以提高获取的双亮斑的位置坐标和瞳孔中心的位置坐标的精确度。

本发明实施例对步骤1)中获取当前图像中的眼睛区域的方法不进行限定，例如，可以基于支持向量机SVM训练的方法在测试样本中获取眼睛区域，参见图2(b)

2)获取该眼睛区域内所述双亮斑的位置信息、瞳孔中心的位置信息；

示例性的，该步骤2)也可以称作定位双亮斑和瞳孔，假设测试图片显示在屏幕上，则双亮斑的位置信息、瞳孔中心的位置信息可以均为相对于屏幕的坐标，也可以均为相对于当前图像的坐标。本发明实施例对获取所述双亮斑的位置信息、瞳孔中心的位置信息的方法不进行限定，可选的，通过以下步骤获取：

i)在所述眼睛区域内获取所述双亮斑的位置信息；

ii)根据所述双亮斑的位置信息获取瞳孔区域；

iii)在所述瞳孔区域内获取所述瞳孔中心的位置信息。

示例性的，本发明实施例对上述i)、ii)、iii)的具体实现方式不进行限定，例如：i)中可以通过镜像对称变换算法获取双亮斑的位置信息；ii)中可以基于双亮斑粗略划分出瞳孔区域，参见图2(c)；iii)由于瞳孔近似为椭圆，可以通过星状散射算法获取瞳孔的位置信息。

在具体的实施过程中，可选的，获得双亮斑相对于眼睛区域的位置坐标1，将该位置坐标1映射到当前图像中，从而获得双亮斑相对于当前图像的位置坐标(即双亮斑的位置坐标)；获得瞳孔中心相对于瞳孔区域的位置坐标2，将该位置坐标2映射到当前图像中，从而获得瞳孔中心相对于当前图像的位置坐标(即瞳孔的位置坐标)。

另外，可选的，获得双亮斑和瞳孔相对于眼睛区域的位置坐标1、2，将位置坐标1、2映射到当前图像中，从而获得双亮斑的位置坐标、瞳孔的位置坐标。

3)根据所述双亮斑的位置信息对所述双亮斑进行归一化运算，得到基于双亮斑的眼睛外观描述子；

进一步地，步骤3)具体包括：

i)、根据所述双亮斑的位置信息确定第一区域；所述第一区域包含所述双亮斑、瞳孔区域和虹膜区域；

ii)、将所述第一区域划分为至少两个子区域；

iii)、根据所述至少两个子区域内的像素值获得基于双亮斑的眼睛外观描述子。

示例性的，该方法也是以局部区域为研究对象，第一区域中包含双亮斑、大部分瞳孔区域(或者全部瞳孔区域)和部分虹膜区域。ii)中可以通过对第一区域内的像素值进行归一化，从而获得基于双亮斑的眼睛外观描述子。将第一区域划分为若干个子区域，子区域越多，获得的基于双亮斑的眼睛外观描述子越精确，进而使得获得的测试样本的视点坐标越精确。

进一步地，为了避免复杂的标定过程，步骤iii)还可以包括：对所述基于双亮斑的眼睛外观描述子进行特征降维处理。

示例性的，特征降维处理的方法可以包括：偏最小二乘(Partial Least Squares，简称PLS)等。

4)至少根据所述双亮斑的位置信息、所述瞳孔中心的位置信息，获得瞳孔中心角膜反射PCCR描述子。

示例性的，本发明实施例对获得测试样本的瞳孔中心角膜反射PCCR描述子的方法不进行限定。

需要说明的是，该步骤101具体包括：获取训练样本的基于双亮斑的眼睛外观描述子、训练样本的PCCR描述子、测试样本的基于双亮斑的眼睛外观描述子和测试样本的PCCR描述子。

102：对所述眼睛外观描述子和所述PCCR描述子进行特征融合，得到混合视线特征描述子，所述混合视线特征描述子包括训练样本的混合视线特征描述子和测试样本的混合视线特征描述子；

示例性的，本发明实施例对特征融合的方法不进行限定，例如，可以使用经典方法：多核学习方法(Multiple Kernel Learning)，Boosting方法和子空间学习方法等。

需要说明的是，该步骤102具体包括：将训练样本的基于双亮斑的眼睛外观描述子和训练样本的PCCR描述子进行特征融合，得到训练样本的混合视线特征描述子；将测试样本的基于双亮斑的眼睛外观描述子和测试样本的PCCR描述子进行特征融合，得到测试样本的混合视线特征描述子。

103：根据所述训练样本的混合视线特征描述子对测试样本进行视点估计，得到所述测试样本的视点坐标。

具体的，步骤103可以包括：根据所述训练样本的混合视线特征描述子、测试样本的混合视线特征描述子、预设的训练样本的视点坐标、预设的回归算法，得到所述测试样本的视点坐标。

示例性的，本发明实施例对预设的回归算法不进行限定，例如，可以为：最小二乘回归算法、岭回归算法、支持向量回归算法等。另外，可选的，预设的回归算法可以为稀疏表达算法，具体可以参见下述实施例部分。

本发明实施例提供的视线估计的方法，应用于至少包含双亮斑的场景，通过将获取的基于双亮斑的眼睛外观描述子和PCCR描述子进行特征融合，得到混合视线特征描述子，并根据训练样本的混合视线特征描述子对测试样本进行视点估计，得到测试样本的视点坐标。提取了基于双亮斑的眼睛外观描述子，从而提高了对头部运动适应性，解决了现有技术的基于外观的视线估计方法因使用整个眼睛的外观特征提取眼睛外观描述子，导致的对头部运动适应性差的问题；提取了眼睛的纹理，轮廓等信息，从而提高了视线估计的精确度和稳定性，解决了现有技术的基于PCCR技术的方案中，只提取瞳孔中心的位置信息和亮斑中心的位置信息，导致的视线估计的精确度低、稳定性差的问题。

下面通过一个具体的实施例对上述视线估计的方法进行示例性说明：

参见图3，包括：

301：采集训练样本；

示例性的，假设采集的训练样本的个数为n。

302：获取训练样本的混合特征描述子F和训练样本的视点坐标S；

示例性的，步骤302中获取训练样本的混合特征描述子F的方法参见下述获取测试样本的混合特征描述子的方法(步骤304-313)，此处不再赘述。训练样本的视点坐标S为已知量。

F＝(f₁,f₂,...,f_i,...,f_m)，f_i为一个训练样本的混合特征描述子，i＝∈[1,m]，m为针对该训练样本的第一区域中子区域的个数与PCCR多项式的维数之和，本实施例中采用的第一区域中子区域的个数为p×q，PCCR多项式的维数为6，由此可知，F为一个m×n维的矩阵。由于该训练样本的视点坐标为一个2维的列向量，因此S为一个2×n维的矩阵。

303：输入一个测试样本；

示例性的，该测试样本包含眼睛，具体包含双亮斑(第一亮斑、第二亮斑)、瞳孔等。

304：获取该测试样本的眼睛区域；

305：在该眼睛区域内获取第一亮斑的位置坐标R₁、第二亮斑的位置坐标R₂；

306：根据R₁、R₂获取第一区域；

示例性的，根据R₁、R₂之间的欧式距离D(D＝||R₁-R₂||₂)获取第一区域，参见图4中的(b)为所获取的第一区域，该第一区域的特征包括：R₁距离第一区域左边界的长度为αD像素，R₂距离第一区域右边界的长度也为αD像素，R₁距离第一区域上下边界的长度为βD像素；同时，为了保证第一区域包含大部分瞳孔区域(或者全部瞳孔区域)与部分虹膜区域，α与β可以为满足如下关系：2×(1+2α)＝3×2β。

307：将第一区域划分为p×q个子区域；

示例性的，参见图4中的(c)，可以将第一区域均分为p行q列，其中，1≤p≤CI_h，1≤q≤CI_w，CI_h、CI_w分别表示第一区域(图4(b))的高度与宽度。

308：根据p×q个子区域的像素值获得测样样本的基于双亮斑的眼睛外观描述子；

示例性的，将测样样本的基于双亮斑的眼睛外观描述子表示为AF₀，一个子区域内的像素值的和表示为：Ψ，则可以根据如下公式计算AF₀：

其中，(Ψ₁,Ψ₂,...,Ψ_p×q)为p×q个子区域内的像素值的和构成的p×q维的列向量，(Ψ₁,Ψ₂,...,Ψ_p×q)^T为(Ψ₁,Ψ₂,...,Ψ_p×q)的转秩，Ψ_j为第j个子区域内的像素值的和1≤j≤p×q。

309：对测样样本的基于双亮斑的眼睛外观描述子进行特征降维处理；

示例性的，将AF₀进行特征降维后的结果表示为：AF。

参见图4中的(d)为一种基于双亮斑的眼睛外观描述子，其中，横坐标表示子区域的个数，纵坐标表示每个子区域对应的特征值。眼睛外观描述子为多个子区域对应的特征值的集合。

310：根据R₁、R₂获取瞳孔区域；

311：在该瞳孔区域内获取瞳孔中心的位置坐标P。

示例性的，参见图4中的(a)中获取的R₁、R₂、P。

312：根据R₁、R₂、P获取测试样本的PCCR描述子；

示例性的，获取测试样本的PCCR的过程可以包括：

1)记瞳孔中心亮斑之间的向量为V，计算方式如下：

2)记归一化后的向量为V_N：

其中D为R₁和R₂之间的欧式距离D(D＝||R₁-R₂||₂)。

3)通过l²范式进行归一化运算：

其中，(PF₁,PF₂,PF₃,PF₄,PF₅,PF₆)^T为PCCR的多项式为向量(1,V_Nx,V_Ny,V_NxV_Ny,V_Nx ²,V_Ny ²)^T，其中，(V_Nx,V_Ny)为V_N的坐标，1≤j≤6。

313：对测试样本的基于双亮斑的眼睛外观描述子和测试样本的PCCR描述子进行特征融合，得到测试样本的混合特征描述子；

示例性的，本实施例中采用的特征融合方法为：子空间的学习方法，具体为：

1)串联AF、PF，得到新的描述子f:

2)通过l²范式进行归一化运算：

其中m是f的维度:p×q+6。

3)使用PLS降维方法对f进行降维处理，得到测试样本的混合特征描述子

314：根据测试样本的混合视线特征描述子、训练样本的混合视线特征描述子、预设的训练样本的视点坐标、预设的回归算法，得到测试样本的视点坐标。

步骤314具体为：将训练样本的混合视线特征描述子作为字典，对测试样本的混合特征描述子进行稀疏表达，利用稀疏表达求解得到的系数与训练样本的视点坐标进行线性组合，从而得出最终的视点坐标。

示例性的，本实施例中采用的回归算法为稀疏表达算法。具体过程包括：

1)计算针对测试样本的稀疏表达的系数：

其中，argmin是一种常用的表示方法，后面是函数，返回值是函数的变量；subjectto表示“在…的情况下”。

该式表示：在满足条件的情况下，使得函数||w₀最小，同时将函数值||w||₀最小时的系数w的值赋给系数

2)计算测试样本的视点坐标

其中，S表示训练样本的视点坐标。

315：输出视点坐标。

需要说明的是，为了描述上的完整，该具体的实施例中包含了步骤301-302，实际上，并不是对于每个测试样本的视线估计都要执行步骤301-302，一般情况下，只有对第一个测试样本的视线估计需要执行步骤301-302，即训练样本的混合特征描述子F和训练样本的视点坐标S一经设定一般不作更改。

另外，参见图3，本实施例中可以将步骤301-302称为训练过程，步骤304-305称为定位双亮斑的过程，步骤306-309称为获取测试样本的基于双亮斑的眼睛外观描述子的过程，步骤310-312称为获取测试样本的PCCR描述子的过程，其中，获取测试样本的基于双亮斑的眼睛外观描述子的过程和获取测试样本的PCCR描述子的过程可以为并列执行，也可以先后执行。

本发明实施例提供的视线估计的方法，应用于至少包含双亮斑的场景，通过将获取的基于双亮斑的眼睛外观描述子和PCCR描述子进行特征融合，得到混合视线特征描述子，并根据训练样本的混合视线特征描述子对测试样本进行视点估计，得到测试样本的视点坐标。提取了基于双亮斑的眼睛外观描述子，从而提高了对头部运动适应性，解决了现有技术的基于外观的视线估计方法因使用整个眼睛的外观特征提取眼睛外观描述子，导致的对头部运动适应性差的问题；本发明提取了眼睛的纹理，轮廓等信息，从而提高了视线估计的精确度和稳定性，解决了现有技术的基于PCCR技术的方案中，只提取瞳孔中心的位置信息和亮斑中心的位置信息，导致的视线估计的精确度低、稳定性差的问题。

一方面，参见图5，为本发明实施例提供的一种视线估计的装置50，应用于至少包含双亮斑的场景，用以执行图1所示的视线估计的方法，该装置50包括：

第一获取单元501，用于获取基于双亮斑的眼睛外观描述子和瞳孔中心角膜反射PCCR描述子；

第二获取单元502，用于对所述眼睛外观描述子和所述PCCR描述子进行特征融合，得到混合视线特征描述子，所述混合视线特征描述子包括训练样本的混合视线特征描述子和测试样本的混合视线特征描述子；

第三获取单元503，用于根据所述训练样本的混合视线特征描述子对测试样本进行视点估计，得到所述测试样本的视点坐标。

进一步地，参见图6，所述第一获取单元501，包括：

第一获取模块5011，用于获取当前图像中的眼睛区域以及该眼睛区域内所述双亮斑的位置信息、瞳孔中心的位置信息；

第二获取模块5012，用于根据所述双亮斑的位置信息对所述双亮斑进行归一化运算，得到基于双亮斑的眼睛外观描述子；

第三获取模块5013，用于至少根据所述双亮斑的位置信息、所述瞳孔中心的位置信息，获得瞳孔中心角膜反射PCCR描述子。

可选的，所述第一获取模块5011具体用于，

在所述眼睛区域内获取所述双亮斑的位置信息；

根据所述双亮斑的位置信息获取瞳孔区域；

在所述瞳孔区域内获取所述瞳孔中心的位置信息。

可选的，所述第二获取模块5012具体用于，

根据所述双亮斑的位置信息确定第一区域；所述第一区域包含所述双亮斑、瞳孔区域和虹膜区域；

将所述第一区域划分为至少两个子区域；

根据所述至少两个子区域内的像素值获得基于双亮斑的眼睛外观描述子。

可选的，所述第二获取模块5012还用于，对所述基于双亮斑的眼睛外观描述子进行特征降维处理

可选的，所述第三获取单元5013具体用于，

根据所述训练样本的混合视线特征描述子、测试样本的混合视线特征描述子、预设的训练样本的视点坐标、预设的回归算法，得到所述测试样本的视点坐标。

示例性的，预设的回归算法包括：稀疏表达算法。

本发明实施例提供的视线估计的装置，应用于至少包含双亮斑的场景，通过将获取的基于双亮斑的眼睛外观描述子和PCCR描述子进行特征融合，得到混合视线特征描述子，并根据训练样本的混合视线特征描述子对测试样本进行视点估计，得到测试样本的视点坐标。本发明实施例提取了基于双亮斑的眼睛外观描述子，从而提高了对头部运动适应性，解决了现有技术的基于外观的视线估计方法因使用整个眼睛的外观特征提取眼睛外观描述子，导致的对头部运动适应性差的问题；提取了眼睛的纹理，轮廓等信息，从而提高了视线估计的精确度和稳定性，解决了现有技术的基于PCCR技术的方案中，只提取瞳孔中心的位置信息和亮斑中心的位置信息，导致的视线估计的精确度低、稳定性差的问题。

一方面，参见图7，为本发明实施例提供的视线估计的装置50，应用于至少包含双光源的场景，用以执行图1所示的视线估计的方法，该视线估计的装置50包括：存储器701、处理器702，该存储器701用于存储一组代码，该代码用于控制处理器702执行以下动作：

获取基于双亮斑的眼睛外观描述子和瞳孔中心角膜反射PCCR描述子；

对所述眼睛外观描述子和所述PCCR描述子进行特征融合，得到混合视线特征描述子，所述混合视线特征描述子包括训练样本的混合视线特征描述子和测试样本的混合视线特征描述子；

根据所述训练样本的混合视线特征描述子对测试样本进行视点估计，得到所述测试样本的视点坐标。

进一步地，处理器702具体用于：

获取当前图像中的眼睛区域以及该眼睛区域内所述双亮斑的位置信息、瞳孔中心的位置信息；

根据所述双亮斑的位置信息对所述双亮斑进行归一化运算，得到基于双亮斑的眼睛外观描述子；

至少根据所述双亮斑的位置信息、所述瞳孔中心的位置信息，获得瞳孔中心角膜反射PCCR描述子。

可选的，处理器702具体用于：

在所述眼睛区域内获取所述双亮斑的位置信息；

根据所述双亮斑的位置信息获取瞳孔区域；

在所述瞳孔区域内获取所述瞳孔中心的位置信息。

可选的，处理器702具体用于：

根据所述双亮斑的位置信息确定第一区域；所述第一区域包含所述双亮斑、瞳孔区域和虹膜区域；

将所述第一区域划分为至少两个子区域；

根据所述至少两个子区域内的像素值获得基于双亮斑的眼睛外观描述子。

可选的，处理器702还用于对所述基于双亮斑的眼睛外观描述子进行特征降维处理。

可选的，处理器702具体用于：根据所述训练样本的混合视线特征描述子、测试样本的混合视线特征描述子、预设的训练样本的视点坐标、预设的回归算法，得到所述测试样本的视点坐标。

本发明实施例提供的视线估计的装置，应用于至少包含双亮斑的场景，通过将获取的基于双亮斑的眼睛外观描述子和PCCR描述子进行特征融合，得到混合视线特征描述子，并根据训练样本的混合视线特征描述子对测试样本进行视点估计，得到测试样本的视点坐标。提取了基于双亮斑的眼睛外观描述子，从而提高了对头部运动适应性，解决了现有技术的基于外观的视线估计方法因使用整个眼睛的外观特征提取眼睛外观描述子，导致的对头部运动适应性差的问题；提取了眼睛的纹理，轮廓等信息，从而提高了视线估计的精确度和稳定性，解决了现有技术的基于PCCR技术的方案中，只提取瞳孔中心的位置信息和亮斑中心的位置信息，导致的视线估计的精确度低、稳定性差的问题。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种视线估计的方法，应用于至少包含双亮斑的场景，其特征在于，包括：

获取基于双亮斑的眼睛外观描述子和瞳孔中心角膜反射PCCR描述子；

对所述眼睛外观描述子和所述PCCR描述子进行特征融合，得到混合视线特征描述子，所述混合视线特征描述子包括训练样本的混合视线特征描述子和测试样本的混合视线特征描述子；

根据所述训练样本的混合视线特征描述子对测试样本进行视点估计，得到所述测试样本的视点坐标；

所述获取基于双亮斑的眼睛外观描述子和瞳孔中心角膜反射PCCR描述子，包括：

获取当前图像中的眼睛区域以及该眼睛区域内所述双亮斑的位置信息；

根据所述双亮斑的位置信息对所述双亮斑进行归一化运算，得到基于双亮斑的眼睛外观描述子。

2.根据权利要求1所述的方法，其特征在于，所述获取基于双亮斑的眼睛外观描述子和瞳孔中心角膜反射PCCR描述子，还包括：

获取瞳孔中心的位置信息；

至少根据所述双亮斑的位置信息、所述瞳孔中心的位置信息，获得瞳孔中心角膜反射PCCR描述子。

3.根据权利要求2所述的方法，其特征在于，所述获取该眼睛区域内所述双亮斑的位置信息、所述瞳孔中心的位置信息，包括：

在所述眼睛区域内获取所述双亮斑的位置信息；

根据所述双亮斑的位置信息获取瞳孔区域；

在所述瞳孔区域内获取所述瞳孔中心的位置信息。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述双亮斑的位置信息对所述双亮斑进行归一化运算，得到基于双亮斑的眼睛外观描述子，包括：

根据所述双亮斑的位置信息确定第一区域；所述第一区域包含所述双亮斑、瞳孔区域和虹膜区域；

将所述第一区域划分为至少两个子区域；

根据所述至少两个子区域内的像素值获得基于双亮斑的眼睛外观描述子。

5.根据权利要求4所述的方法，其特征在于，所述根据所述至少两个子区域内的像素值获得基于双亮斑的眼睛外观描述子还包括：

对所述基于双亮斑的眼睛外观描述子进行特征降维处理。

6.根据权利要求1或5所述的方法，其特征在于，所述根据所述训练样本的混合视线特征描述子对测试样本进行视点估计，得到所述测试样本的视点坐标，包括：

根据所述训练样本的混合视线特征描述子、测试样本的混合视线特征描述子、预设的训练样本的视点坐标、预设的回归算法，得到所述测试样本的视点坐标。

7.一种视线估计的装置，应用于至少包含双亮斑的场景，其特征在于，包括：

第一获取单元，用于获取基于双亮斑的眼睛外观描述子和瞳孔中心角膜反射PCCR描述子；

第二获取单元，用于对所述眼睛外观描述子和所述PCCR描述子进行特征融合，得到混合视线特征描述子，所述混合视线特征描述子包括训练样本的混合视线特征描述子和测试样本的混合视线特征描述子；

第三获取单元，根据所述训练样本的混合视线特征描述子对测试样本进行视点估计，得到所述测试样本的视点坐标；

所述第一获取单元包括：

第一获取模块，用于获取当前图像中的眼睛区域以及该眼睛区域内所述双亮斑的位置信息；

第二获取模块，用于根据所述双亮斑的位置信息对所述双亮斑进行归一化运算，得到基于双亮斑的眼睛外观描述子。

8.根据权利要求7所述的装置，其特征在于，

第一获取模块，还用于获取瞳孔中心的位置信息；

所述第一获取单元，还包括：

第三获取模块，用于至少根据所述双亮斑的位置信息、所述瞳孔中心的位置信息，获得瞳孔中心角膜反射PCCR描述子。

9.根据权利要求8所述的装置，其特征在于，所述第一获取模块具体用于，

在所述眼睛区域内获取所述双亮斑的位置信息；

根据所述双亮斑的位置信息获取瞳孔区域；

在所述瞳孔区域内获取所述瞳孔中心的位置信息。

10.根据权利要求7至9任一项所述的装置，其特征在于，所述第二获取模块具体用于，

根据所述双亮斑的位置信息确定第一区域；所述第一区域包含所述双亮斑、瞳孔区域和虹膜区域；

将所述第一区域划分为至少两个子区域；

根据所述至少两个子区域内的像素值获得基于双亮斑的眼睛外观描述子。

11.根据权利要求10所述的装置，其特征在于，所述第二获取模块还用于，对所述基于双亮斑的眼睛外观描述子进行特征降维处理。

12.根据权利要求7或11所述的装置，其特征在于，所述第三获取单元具体用于，

根据所述训练样本的混合视线特征描述子、测试样本的混合视线特征描述子、预设的训练样本的视点坐标、预设的回归算法，得到所述测试样本的视点坐标。