CN110046546B - 一种自适应视线追踪方法、装置、系统及存储介质 - Google Patents

Abstract

本发明提供了一种自适应视线追踪方法、装置、系统及存储介质。所述自适应视线追踪方法包括：获取待测对象的人脸图像数据；基于所述人脸图像数据得到所述待测对象的左眼图像和/或右眼图像，以及所述待测对象的头部姿态，所述头部姿态包括头部的偏航角、俯仰角和翻滚角；基于所述左眼图像和/或右眼图像和训练好的视线预测模型，得到所述左眼图像和/或右眼图像的视线；根据所述头部姿态和所述左眼图像和/或右眼图像的视线得到所述待测对象的视线。根据本发明的方法、装置、系统及存储介质，充分结合双眼和头部姿态,快速地自适应估计视线,在对硬件低要求的情况下,克服由于头部姿态等带来的问题,提升视线追踪的准确度。

Description

一种自适应视线追踪方法、装置、系统及存储介质

技术领域

本发明涉及图像处理技术领域，更具体地涉及视线追踪的处理。

背景技术

人眼及其运动可以传递很多重要信息，比如人的关注对象,当前的感受等。因此,越来越多的智能系统中开始加入视线追踪的功能，在广告效果监测系统中，可以通过人眼注视点的移动来判断人的偏好；在智能驾驶辅助系统里,可以通过追踪驾驶员的视线及时预警，避免安全事故的发生；在人机交互方面，眼睛也可以取代键盘、鼠标和触屏，彻底解放双手等等。

目前，视线追踪方法主要分为两类，基于模型的和基于外观的。其中，基于模型的方法使用几何眼睛模型，并且可以进一步分为角膜反射和基于形状的方法。角膜反射方法依赖于通过在眼睛的最外层(角膜)上反射外部红外光源而检测到的眼睛特征；基于形状的方法则是从检测到的眼睛形状推断注视方向。尽管基于模型的方法已应用于更实际的场景，但它们的注视估计精度仍然较低，因为它们依赖于准确的眼睛特征检测。而保证这一点需要硬件的支持，要能提供高分辨率的图像和良好的照明条件，这些要求在很大程度上阻碍了这些方法在现实环境或商品设备中的广泛使用。

不同于基于模型的方法,基于外观的方法不依赖于提取的某些特定眼睛特征。作为替代，它们仅利用普通相机获得眼睛外观，然后通过眼睛外观直接学习一个映射函数估计视线。虽然这极大地扩大了适用性，但是人类眼睛外观也会受到图像质量,头部姿势，照明和个体差异等的影响，这导致映射函数很难学习。在现有的这些方法中,他们总是无差别的对待左右眼，通常用全脸或者直接任取一只眼睛作为输入估计视线。而实际上,由于人有不同的头部姿态,采集到的两只眼睛的图像质量也会不同,特别是在人的头部有大角度偏转的情况下,质量更是相差甚远。另外,当前的很多网络为了追求准确度的提高,设计得比较庞大,对硬件要求较高,速度也比较慢.这一点也限制了它们应用到更多的产品中去。

因此，现有技术中的视线估计存在无差别对待双眼，不考虑训练数据集中头部姿态较少带来的影响，对硬件要求高的问题。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种自适应视线追踪方法、装置、系统及计算机存储介质，充分结合双眼和头部姿态,快速地自适应估计视线,在对硬件低要求的情况下,克服由于头部姿态等带来的问题,提升视线追踪的准确度。

根据本发明的第一方面，提供了一种自适应视线追踪方法，包括：

获取待测对象的人脸图像数据；

基于所述人脸图像数据得到所述待测对象的左眼图像和/或右眼图像，以及所述待测对象的头部姿态，所述头部姿态包括头部的偏航角、俯仰角和翻滚角；

基于所述左眼图像和/或右眼图像和训练好的视线预测模型，得到所述左眼图像和/或右眼图像的视线；

根据所述头部姿态和所述左眼图像和/或右眼图像的视线得到所述待测对象的视线。

根据本发明的第二方面，提供了一种自适应视线追踪装置，包括：

数据获取模块，用于获取待测对象的人脸图像数据；

计算模块，用于基于所述人脸图像数据得到所述待测对象的左眼图像和/或右眼图像，以及所述待测对象的头部姿态，所述头部姿态包括头部的偏航角、俯仰角和翻滚角；

第一视线模块，用于基于所述左眼图像和/或右眼图像和训练好的视线预测模型，得到所述左眼图像和/或右眼图像的视线；

第二视线模块，用于根据所述头部姿态和所述左眼图像和/或右眼图像的视线得到所述待测对象的视线。

根据本发明的第三方面，提供了一种自适应视线追踪系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现第二方面所述方法的步骤。

根据本发明另一方面，提供了一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机执行时实现第二方面所述方法的步骤。

根据本发明实施例的自适应视线追踪方法、装置、系统及计算机存储介质，充分结合双眼和头部姿态,快速地自适应估计视线,在对硬件低要求的情况下,克服由于头部姿态等带来的问题,提升视线追踪的准确度。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是用于实现根据本发明实施例的自适应视线追踪方法和装置的示例电子设备的示意性框图；

图2是根据本发明实施例的自适应视线追踪方法的示意性流程图；

图3示出了根据本发明实施例的人脸特征点检测的示例；

图4示出了根据本发明实施例的右眼图像的示例；

图5示出了根据本发明实施例的左眼图像的示例；

图6示出了根据本发明实施例的头部的俯仰角、偏航角和翻滚角的示例；

图7示出了根据本发明实施例的头部的俯仰角的示例；

图8示出了根据本发明实施例的头部的偏航角的示例；

图9示出了根据本发明实施例的头部的翻滚角的示例；

图10示出了根据本发明实施例的真实人眼数据的示例；

图11示出了根据本发明实施例的渲染人眼数据的示例；

图12示出了本发明实施例的视线预测模型的网络结构示意图；

图13示出了根据本发明实施例的仿射变换前的人眼图像的示例；

图14示出了根据本发明实施例的仿射变换后的人眼图像的示例；

图15示出了根据本发明实施例的自适应视线追踪装置1500的示意性框图；

图16示出了根据本发明实施例的自适应视线追踪系统1600的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

首先，参考图1来描述用于实现本发明实施例的自适应视线追踪方法和装置的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器101、一个或多个存储装置102、输入装置103、输出装置104、图像传感器105，这些组件通过总线系统106和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器101可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置102可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置103可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置104可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像传感器105可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置102中以供其它组件使用。

示例性地，用于实现根据本发明实施例的自适应视线追踪方法和装置的示例电子设备可以被实现为诸如智能手机、平板电脑、门禁系统的视频采集端等。

下面，将参照图2描述根据本发明实施例的自适应视线追踪方法200。

首先，在步骤S210，获取待测对象的人脸图像数据；

在步骤S220中，基于所述人脸图像数据得到所述待测对象的左眼图像和/或右眼图像，以及所述待测对象的头部姿态，所述头部姿态包括头部的偏航角、俯仰角和翻滚角；

在步骤S230中，基于所述左眼图像和/或右眼图像和训练好的视线预测模型，得到所述左眼图像和/或右眼图像的视线；

最后，在步骤S240中，根据所述头部姿态和所述左眼图像和/或右眼图像的视线得到所述待测对象的视线。

示例性地，根据本发明实施例的自适应视线追踪方法可以在具有存储器和处理器的设备、装置或者系统中实现。

根据本发明实施例的自适应视线追踪方法可以部署在图像采集端处，例如，可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。替代地，根据本发明实施例的自适应视线追踪方法还可以分布地部署在服务器端(或云端)和个人终端处。例如，可以在服务器端(或云端)生成人脸图像，服务器端(或云端)将所生成的人脸图像传递给个人终端，个人终端根据所接收的人脸图像进行对比和/或识别。再例如，可以在服务器端(或云端)生成人脸图像，个人终端将图像传感器采集的视频信息以及非图像传感器采集的视频信息传递给服务器端(或云端)，然后服务器端(或云端)进对比和/或识别。

根据本发明实施例的自适应视线追踪方法，充分结合双眼和头部姿态,快速地自适应估计视线,在对硬件低要求的情况下,克服由于头部姿态等带来的问题,提升视线追踪的准确度。

根据本发明实施例，在步骤210可以进一步地包括：

获取待检测对象的图像数据；

对所述图像数据中的视频数据进行视频图像分帧，并对每帧图像进行人脸检测，生成包括至少一张人脸图像的人脸图像数据。

其中，图像数据包括视频数据和非视频数据，非视频数据可以包括单帧图像，此时单帧图像不需要进行分帧处理，可以直接作为人脸图像数据中的人脸图像。

视频数据以流的方式进行文件的存取可以实现高效快速的文件存取；所述视频流的存储方式可以包括以下存储方式之一：本地(local)存储、数据库存储、分布式文件系统(hdfs)存储以及远程存储，存储服务地址可以包括服务器IP和服务器端口。其中，本地存储是指将视频流在系统本地；数据库存储是指将视频流保存在系统的数据库中，数据库存储需要安装相应的数据库；分布式文件系统存储是指将视频流保存在分布式文件系统中，分布式文件系统存储需要安装分布式文件系统；远程存储是指将视频流交由其他存储服务进行存储。在其他示例中，所配置的存储方式也可以包括其他任何合适类型的存储方式，本发明对此不作限制。

示例性地，所述人脸图像是通过对视频中的各帧图像进行人脸检测所确定的包含有人脸的图像帧。具体的，可以通过诸如模板匹配、SVM(支持向量机)、神经网络等各种本领域中常用的人脸检测方法在包含目标人脸的起始图像帧中确定该人脸的大小和位置，从而确定视频中包含有人脸的各帧图像。上述通过人脸检测确定包含有人脸的图像帧的处理是图像处理领域中的常见处理，此处不再对其进行详细描述。

需要说明的是，所述人脸图像数据并非必须是图像数据中所有包含有人脸的图像，而可以仅是其中的部分图像帧；另一方面，所述人脸图像序列可以是连续的多帧图像，也可以是不连续的、任意选定的多帧图像。

示例性地，当所述图像数据中没有检测到人脸则继续接收图像数据。

根据本发明实施例，步骤220中可以进一步地包括：

基于所述人脸图像数据中的人脸图像和人脸特征点检测模型得到人脸特征点；

根据所述人脸特征点中的眼睛轮廓点对所述人脸图像进行剪裁，得到左眼图像和/或右眼图像。

其中，所述人脸特征点检测模型是已经训练好的模型，用来检测人脸图像中人脸的特征点，参见图3，图3示出了根据本发明实施例的人脸特征点检测的示例。在一个实施例中，人脸特征点检测模型的训练可以包括：对人脸图像训练样本中的人脸图像进行人脸特征点标注得到标注后的人脸图像训练样本；基于标注后的人脸图像训练样本对神经网络进行训练，得到训练好的人脸特征点检测模型。

示例性地，所述人脸特征点包括且不限于：脸的轮廓点、眼睛轮廓点、鼻子轮廓点、眉毛轮廓点、额头轮廓点、嘴唇轮廓点。

其中，参见图4-图5，图4示出了根据本发明实施例的右眼图像的示例，图5示出了根据本发明实施例的左眼图像的示例，对所述人脸图像进行剪裁后得到的左眼图像和/或右眼图像可以包括完整的眼睛轮廓点，以保证后续数据处理的准确性和完整性。

根据本发明实施例，步骤220中可以进一步地包括：

计算所述左眼图像或所述右眼图像中的内外眼角特征点的连线与水平线的夹角，得到所述头部的翻滚角。

其中，可以根据所述偏航角确定采用所述左眼图像或所述右眼图像来进行计算，且可以理解内外眼角特征点可以根据人脸特征点检测模型得到。在一个实施例中，当头部的所述偏航角大于180度时，头部向左偏移，左眼可能会被遮挡，此时右眼完全暴露，得到的右眼图像质量高于左眼图像质量，所以当头部的所述偏航角大于180度时，可以采用右眼图像的内外眼角特征点进行计算；计算右眼图像的内外眼角特征点的连线与水平线的夹角，作为所述头部的翻滚角。在另一实施例中，当头部的所述偏航角小于或等于180度时，头部向右偏移，右眼可能会被遮挡，此时左眼完全暴露，得到的左眼图像质量高于右眼图像质量，所以当头部的所述偏航角小于或等于180度时，可以采用左眼图像的内外眼角特征点进行计算；计算左眼图像的内外眼角特征点的连线与水平线的夹角，作为所述头部的翻滚角。

头部姿态包括头部的俯仰角pitch、偏航角yaw和翻滚角roll，这三个角度可以用来表示头部的偏转角度。参见图6-图9，图6-图9示出了根据本发明实施例的头部的俯仰角、偏航角和翻滚角的示例。如图6所示，以人的头部为例，将头部质心为坐标系的中心，则俯仰角pitch为围绕X轴旋转的角度，也就是说俯仰角pitch是头部的俯仰旋转角度，即头部低头或者抬头时头部所在平面与参照平面形成的角度，在一个实施例中，参见图7，图7示出了根据本发明实施例的头部的俯仰角的示例，pitch可以记为θp度，θp∈[0,360]；pitch中心为0度即当头部没有抬头或低头时，θp为0度；当头部向上转动θ1度时，θp为(360-θ1)度；当头部向下θ2度时，θp为(0+θ2)度。参见图8，图8示出了根据本发明实施例的头部的偏航角的示例，偏航角yaw为围绕Y轴旋转的角度，也就是说偏航角yaw是头部的左右旋转角度，即头部左右转动时头部所在平面与参照平面形成的角度，yaw可以记为θy度，θy∈[0,360]度；yaw中心为180度即当头部没有左转或右转时，θy为180度；当头部向左偏θ3度时，θy为(180+θ3)度；当头部向右偏θ4度时，θy为(180-θ4)度]；参见图9，图9示出了根据本发明实施例的头部的翻滚角的示例，翻滚角roll为围绕Z轴旋转的角度，也就是说翻滚角roll是头部的摆动角度，即头部朝向肩部运动时与头部所在平面与参照平面形成的角度。可以理解，上述俯仰角pitch、偏航角yaw和翻滚角roll的具体角度仅为示例，可以根据实际场景和需要对俯仰角pitch、偏航角yaw和翻滚角roll的参考角度进行定义。

需要说明的是，翻滚角roll可以根据人脸图像直接得到(例如，根据人脸图像上的人脸特征点，结合采用OpenCV的solvePnP函数解出旋转向量，最后将旋转向量转换为俯仰角pitch、偏航角yaw和翻滚角roll)；也可以根据头部的俯仰角和偏航角计算得到，在此对于如何得到翻滚角roll不做限制。

在一个实施例中，头部的俯仰角和偏航角还可以通过深度学习基于卷积神经网络结构进行计算，具体过程如下：输入层接受输入数据，得到图像数据及其相应标签值，建立数据集为包含三个标签值，分别对应三维坐标系每个轴旋转的角度标签，然后经过五层卷积模块进行特征提取，每个卷积模块包括卷积层和池化层，将提取到的特征向量输入到全连接层，经过两层全连接，将特征图转化为2048维的特征向量，作为分类层的输入，进行分类，三个标签对应三个并列的分类层，每个分类层得到人脸在三维坐标系中绕每个轴旋转的角度，然后根据绕每个轴旋转的角度计算得到俯仰角pitch和偏航角yaw。

在一个实施例中，由于头部的roll值与眼部的roll值相同，则可以采用眼部特征点来计算眼部的roll值，进而得到头部的roll值，即根据头部的俯仰角和偏航角计算得到翻滚角roll可以包括根据头部的yaw值来选择使用左眼或右眼的roll值作为头部的roll值，具体包括：当偏航角yaw大于或等于180度时，说明头部向左旋转，那么左眼可能存在遮挡或者不全的可能，而右眼则会完全被显示出来，此时右眼图像的质量会高于左眼图像的质量，选择右眼图像中的内外眼角特征点计算头部的roll值；相反地，当偏航角yaw小于180度时，说明头部向右旋转，那么右眼可能存在遮挡或者不全的可能，此时左眼图像的质量会高于右眼图像的质量，选择左眼图像中的内外眼角特征点计算头部的roll值。

根据本发明实施例，步骤230可以进一步地包括：

基于所述头部的翻滚角对所述左眼图像和/或右眼图像进行变换；

将变换后的所述左眼图像和/或右眼图像输入训练好的视线预测模型，得到所述左眼图像和/或右眼图像的视线。

其中，因为真实人眼数据集数量及涵盖的视线情况有限，视线预测模型是基于包含人眼视线的由渲染人眼数据和真实人眼数据组合而成的训练数据进行训练得到，这种基于大量的多种视线训练数据进行训练的情况可以进一步保证训练好的视线预测模型的准确度。

在一个实施例中，参见图10-图11，图10和图11示出了根据本发明实施例的训练数据的示例，训练数据可以包括：参见图10，图10示出了根据本发明实施例的真实人眼数据的示例，真实人眼数据使用MPIIGaze数据集，共包含4万五千张人眼的图像；参见图11，图11示出了根据本发明实施例的渲染人眼数据的示例，渲染人眼数据可以是通过UnityEye渲染工具生成的10万张人眼的图像，其中，UnityEyes是一个3D渲染工具，可以通过设定相机参数范围和视线参数范围生成变化丰富的左眼或右眼图像，可以将UnityEyes的相机参数设置为(0,0,20,20)，视线参数设置为(0,0,30,30)。在此需要说明的是，真实人眼数据和渲染数据仅为示例，并不代表训练数据必须是通过该数据来源得到，训练数据可以是任何数据来源和/或途径获取的真实人眼数据和渲染数据。

示例性地，训练数据还可以包括：根据训练数据标签中提供的人眼特征点对所述训练数据中的图像进行适当的剪裁，得到包含完整的眼睛外轮廓的人眼图像。在一个实施例中，所述训练数据的剪裁可以与前述根据待测对象的所述人脸特征点中的眼睛轮廓点对所述人脸图像进行剪裁得到左眼图像和/或右眼图像相同，可以理解，以相同的剪裁方式对训练数据与实际应用时输入图像进行处理，得到相应的左眼图像和/或右眼图像，有利于提高人眼视线预测的准确度，保证视线估计的效果。

由于训练数据中的人眼视线已知，那么所述视线预测模型的训练包括：根据训练数据对神经网络进行训练得到训练好的视线预测模型。在一个实施例中，参见图12，图12示出了本发明实施例的视线预测模型的网络结构示意图。如图12所示，训练所述神经网络包括卷积神经网络，尤其是轻量级卷积网络，输入左眼图像或右眼图像，经过卷积、池化后，再次经过卷积、池化后，经过全连接层后得到输出结果即左眼图像或右眼图像中的人眼视线。而选用轻量级卷积网络,可以降低对硬件的要求，能够用于车机,手机等,应用更加广泛，具备实用价值。

示例性地，为了降低视线预测模型的训练难度，所述视线预测模型可以设置为仅对单侧人眼的视线进行预测，即可以在训练过程中，将所有输入的训练数据中人眼都统一为左眼或右眼，然后训练得到可以预测左眼视线或右眼视线的视线预测模型。可以理解，当视线预测模型对单侧人眼的视线进行预测时，可以将输出结果进行翻转即可得到另一侧的人眼视线，而视线预测模型具体对左眼还是右眼进行视线预测在此不做限制。

在一个实施例中，在视线预测模型的训练中，为了使训练好的模型能够同时用于解决RGB摄像头和红外摄像头的视线预测问题,在训练过程中,可以选用RGB图像的红通道作为输入。

由于训练数据还是具有一定的不确定性，如果训练数据中比较缺乏头部的roll较大的数据,而待测对象的头部roll值又较大时，视线预测模型的视线预测就会失准。为了克服头部roll值带来的影响,如果存在大角度的roll值时，可以将人眼图像先转正再输入视线预测模型进行预测视线,然后再将输出的视线转回与原人眼图像对应的图像平面，则可以实现避免头部roll值的影响的同时，保证视线预测的准确性。

示例性地，所述基于所述头部姿态的翻滚角对所述左眼图像和/或右眼图像进行变换，包括：

当所述头部的翻滚角小于或等于第一阈值时，不对所述左眼图像和/或右眼图像进行变换；

当所述头部的翻滚角大于第一阈值时，对所述左眼图像和/或右眼图像进行仿射变换使所述左眼图像和/或右眼图像转正。

其中，当头部的翻滚角roll小于或小于预定阈值时，说明头部的摆动幅度不大，不会对视线的预测造成影响；当头部的翻滚角roll大于预定阈值时，说明头部的摆动幅度很大，会对视线的预测造成影响，此时需要对左眼图像和/或右眼图像进行仿射变换，使所述左眼图像和/或右眼图像转正至预设的参考角度，以保证视线预测的准确性。

在一个实施例中，所述第一阈值为10度。

在一个实施例中，参见图13-图14，图13示出了根据本发明实施例的仿射变换前的人眼图像的示例，图14示出了根据本发明实施例的仿射变换后的人眼图像的示例，如图13-图14所示，对左眼图像和/或右眼图像进行仿射变换可以包括：

计算所左眼图像和/或右眼图像的旋转矩阵；具体可以包括：利用OpenCV函数getRotationMatrix2D来获得旋转矩阵rot_mat＝getRotationMatrix2D(center,angle,scale)，其中，center为图像旋转所要围绕的中心，angle为图像旋转的角度(在OpenCV中正角度是逆时针)，scale为图像的缩放因子；

根据所述旋转矩阵对左眼图像和/或右眼图像进行旋转得到转正的左眼图像和/或右眼图像；具体包括：将所述旋转矩阵rot_mat应用到仿射变换的输出，对图像进行旋转warpAffine(warp_dst,warp_rotate_dst,rot_mat,warp_dst.size())，其中，warp_dst为输入图像，warp_rotate_dst为输出图像，rot_mat为旋转矩阵，warp_dst.size()为输出图像的尺寸。

其中，对左眼图像和/或右眼图像进行仿射变换时，可以采用所述人脸图像中鼻尖的颜色填补空缺区域，因为鼻尖靠近左眼图像和/或右眼图像的区域，采用该部位的颜色进行填补更接近于实际情况，有利于保证视线预测的准确性。

示例性地，所述将变换后的所述左眼图像和/或右眼图像输入训练好的视线预测模型，得到所述左眼图像和/或右眼图像的视线，包括：

所述将变换后的所述左眼图像和/或右眼图像输入训练好的视线预测模型，得到变换后的左眼图像和/或右眼图像的视线；

根据所述头部的翻滚角的相反数，将所述变换后的左眼图像和/或右眼图像的视线变换得到所述左眼图像和/或右眼图像的视线。

其中，如果因为头部的roll值超过预定阈值对左眼图像和/或右眼图像进行转正旋转后，输入视线预测模型后得到的输出结果是变换后的左眼图像和/或右眼图像的视线，因此需要经过再一次旋转，将变换后的左眼图像和/或右眼图像的视线转回原图像中，得到原左眼图像和/或右眼图像的视线。由于进行转正旋转时是根据头部的roll值计算的旋转矩阵，而将变换后的视线转回原图像的视线的旋转过程是与转正旋转过程是相反的，所以可以根据头部的roll值的相反数，计算得到一个新的旋转矩阵，其与旋转转正的旋转过程相同，仅仅是旋转矩阵不同，采用新的旋转矩阵和与旋转转正类似的旋转方法，即可以完成将所述变换后的左眼图像和/或右眼图像的视线变换得到所述左眼图像和/或右眼图像的视线的过程。

在现有的视线预测方法中总是无差别的对待左右眼。通常用全脸或者直接任取一只眼睛作为输入估计视线。而实际上,由于人有不同的头部姿态,采集到的两只眼睛的图像质量也会不同,特别是在人的头部有大角度偏转的情况下,质量更是相差甚远。自然,高质量的眼睛外观估计出的视线会更为准确。

因此，当人脸图像数据中的人脸处于正视情况时,左右眼图像质量相当，此时可以直接选用左眼的视线；但当头部向左转动时,左眼图像质量会比右眼差，如果头部向左转动就直接用右眼视线替换左眼视线容易造成阈值附近视线的跳变,而小幅的头部摆动十分容易发生，为了获得更好的视线预测效果,在头部向左转动程度不大的情况下,可以使用右眼的视线来优化左眼的视线,如果头部已经转动到左眼图像质量非常差,完全无法用于预测视线时，可以使用右眼视线代替左眼视线。

根据本发明实施例，步骤240可以进一步地包括：

当所述头部的偏航角小于或等于第二阈值时，根据所述左眼图像的视线确定所述待测对象的视线；

当所述头部的偏航角大于第二阈值且小于或等于第三阈值时，根据所述左眼图像和右眼图像的视线确定所述待测对象的视线；

当所述头部的偏航角大于第三阈值时，根据所述右眼图像的视线确定所述待测对象的视线；

或，

当所述头部的偏航角大于或等于第二阈值时，根据所述右眼图像的视线确定所述待测对象的视线；

当所述头部的偏航角小于第二阈值且大于或等于第四阈值时，根据所述左眼图像和右眼图像的视线确定所述待测对象的视线；

当所述头部的偏航角小于第四阈值时，根据所述左眼图像的视线确定所述待测对象的视线。

可以理解，第四阈值小于第二阈值小于第三阈值。第四阈值、第二阈值以及第三阈值可以根据实际需要进行设置，在此不做限制。

如前所述，为了降低视线预测模型的训练难度，所述视线预测模型可以设置为仅对单侧人眼的视线进行预测，即可以在训练过程中，将所有输入的训练数据中人眼都统一为左眼或右眼，然后训练得到可以预测左眼视线或右眼视线的视线预测模型。

当所述视线预测模型仅对左眼的视线进行预测(即为左眼视线预测模型)时，所述偏航角小于或等于第二阈值时，左眼图像质量高，采用左眼图像的视线，只需将左眼图像输入到视线预测模型即可得到左眼图像的视线，并作为所述待测对象的视线；所述偏航角小于或等于第二阈值时，根据所述左眼图像和右眼图像的视线确定所述待测对象的视线；所述偏航角大于第三阈值时，右眼图像质量高，采用右眼图像的视线，需要将右眼图像水平翻转后输入视线预测模型得到视线预测结果,需要把输出的视线预测结果再次翻转以得到原右眼图像的视线，并作为待测对象的视线。

也就是说，当采用左眼视线预测模型时，头部正视时，可以采用左眼图像直接输入左眼视线预测模型得到待测对象的视线；当头部向右转动，左眼图像的质量一直高于右眼图像，所以头部偏向右侧时均可以采用左眼图像的视线；当头部向左转动程度不大的情况下,可以使用右眼的视线来优化左眼的视线，即根据所述左眼图像和右眼图像的视线确定所述待测对象的视线；当头部向左转动程度到左眼图像质量非常差，完全无法用于预测视线时，则将右眼图像的视线作为所述待测对象的视线。

当所述视线预测模型仅对右眼的视线进行预测(即为右眼视线预测模型)时，所述偏航角大于或等于第二阈值时，右眼图像质量高，采用右眼图像的视线，只需将右眼图像输入到视线预测模型即可得到右眼图像的视线，并作为所述待测对象的视线；所述偏航角小于第二阈值且大于或等于第四阈值时，根据所述左眼图像和右眼图像的视线确定所述待测对象的视线；所述偏航角小于第四阈值时，左眼图像质量高，采用左眼图像的视线，需要将左眼图像水平翻转后输入视线预测模型得到视线预测结果,需要把输出的视线预测结果再次翻转以得到原左眼图像的视线，并作为待测对象的视线。

也就是说，当采用右眼视线预测模型时，当头部正视时，可以采用右眼图像直接输入右眼视线预测模型得到待测对象的视线；当头部向左转动，右眼图像的质量一直高于左眼图像，所以头部偏向左侧时均可以采用右眼图像的视线；当头部向右转动程度不大的情况下,可以使用左眼的视线来优化右眼的视线，即根据所述左眼图像和右眼图像的视线确定所述待测对象的视线；当头部向右转动程度到右眼图像质量非常差，完全无法用于预测视线时，则将左眼图像的视线作为所述待测对象的视线。

在一个实施例中，所述第二阈值为180度。

在一个实施例中，所述第三阈值为220度。

在一个实施例中，所述第四阈值为140度。

示例性地，所述根据所述左眼图像和右眼图像的视线确定所述待测对象的视线，包括：

将所述左眼图像的视线投影到右眼视线平面得到所述待测对象的视线，其中，所述右眼视线平面包括左眼、右眼和所述右眼图像的视线所构成的平面；

或，将所述右眼图像的视线投影到左眼视线平面得到所述待测对象的视线，其中，所述左眼视线平面包括左眼、右眼和所述左眼图像的视线所构成的平面。

其中，采用右眼图像的视线对左眼图像的视线进行优化或采用左眼图像的视线对右眼图像的视线进行优化时，根据视觉原理可以知道双眼看的必定是同一个物体,那么左眼、右眼、观察物体三点在肯定一个平面上，则在实际应用中左眼、右眼、左眼视线射线(起点为左眼,方向为左眼视线向量)、右眼视线射线(起点为右眼,方向为右眼视线向量)这两个点和两个射线也必定都处于同一个平面上。基于这一点,在使用右眼视线优化左眼视线时，右眼视线的可靠性是高于左眼视线的，所以可以将左眼视线投影到左眼，右眼，右眼射线构成的平面上，得到优化后的视线；在使用左眼视线优化右眼视线时，左眼视线的可靠性是高于右眼视线的，所以可以将右眼视线投影到左眼，右眼，左眼射线构成的平面上，得到优化后的视线。

在一个实施例中，以所述视线预测模型仅对左眼图像预测视线，且第二阈值为180度，第三阈值为220度为例进行说明根据所述头部的头部姿势和所述左眼图像和/或右眼图像的视线得到所述待测对象的视线，具体包括：

如果头部yaw小于180度,只使用左眼视线。将左眼图像送入视线预测模型得到左眼图像的视线，并将其作为待测对象的视线；

如果头部yaw大于180度但小于220度,认为左眼视线估计效果一定程度上可信,可以使用右眼的视线来优化左眼的视线，具体包括:将左右眼的图像作为一个批次(batch)一起送入网络,同时得到左右眼的视线；其中,因为所述视线预测模型仅对左眼图像预测视线，即在训练过程中只见过左眼,所以右眼图像需要水平翻转过后才能送入视线预测模型，得到的输出结果是对右眼图像水平翻转后的视线结构，将该输出结果再次进行翻转，得到原右眼图像的视线；将左眼图像的视线投影到左眼，右眼，右眼图像的视线构成的平面上，得到使用右眼图像的视线优化的左眼图像的视线，将优化后的左眼图像的视线作为待测对象的视线；

如果头部yaw大于220度,认为左眼图像质量已经非常差,用右眼视线来代替左眼视线，同样的，将右眼图像水平翻转后输入视线预测模型得到视线预测结果,需要把输出的视线预测结果再次翻转以得到原右眼图像的视线，并作为待测对象的视线。

可以理解，当所述视线预测模型仅对右眼图像预测视线时，对于左眼图像的视线预测与上述实施例类似，需要对左眼图像进行水平翻转后，输入视线预测模型，并将视线预测模型的输出结果再次翻转即可得到左眼图像的视线预测结果。

由此可知，根据本发明实施例的自适应视线追踪方法，充分结合双眼和头部姿态,快速地自适应估计视线,在对硬件低要求的情况下,克服由于头部姿态等带来的问题,提升视线追踪的准确度。

图15示出了根据本发明实施例的自适应视线追踪装置1500的示意性框图。如图15所示，根据本发明实施例的自适应视线追踪装置1500包括：

数据获取模块1510，用于获取待测对象的人脸图像数据；

计算模块1520，用于基于所述人脸图像数据得到所述待测对象的左眼图像和/或右眼图像，以及所述待测对象的头部姿态，所述头部姿态包括头部的偏航角、俯仰角和翻滚角；

第一视线模块1530，用于基于所述左眼图像和/或右眼图像和训练好的视线预测模型，得到所述左眼图像和/或右眼图像的视线；

第二视线模块1540，用于根据所述头部姿态和所述左眼图像和/或右眼图像的视线得到所述待测对象的视线。

根据本发明实施例的自适应视线追踪装置，充分结合双眼和头部姿态,快速地自适应估计视线,在对硬件低要求的情况下,克服由于头部姿态等带来的问题,提升视线追踪的准确度。

根据本发明实施例，数据获取模块1510可以进一步地包括：

图像获取模块1511，用于获取待测对象的图像数据；

分帧模块1512，用于对所述图像数据中的视频数据进行视频图像分帧；

人脸检测模块1513，用于对每帧图像进行人脸检测，生成包括至少一张人脸图像的人脸图像数据。

其中，图像数据包括视频数据和非视频数据，非视频数据可以包括单帧图像，此时单帧图像不需要进行分帧处理，可以直接作为人脸图像序列中的图像。视频数据以流的方式进行文件的存取可以实现高效快速的文件存取；所述视频流的存储方式可以包括以下存储方式之一：本地(local)存储、数据库存储、分布式文件系统(hdfs)存储以及远程存储，存储服务地址可以包括服务器IP和服务器端口。

示例性地，所述人脸图像是通过对视频中的各帧图像进行人脸检测所确定的包含有人脸的图像帧。具体的，可以通过诸如模板匹配、SVM(支持向量机)、神经网络等各种本领域中常用的人脸检测方法在包含目标人脸的起始图像帧中确定该人脸的大小和位置，从而确定视频中包含有人脸的各帧图像。上述通过人脸检测确定包含有人脸的图像帧的处理是图像处理领域中的常见处理，此处不再对其进行详细描述。

需要说明的是，所述人脸图像数据并非必须是图像数据中所有包含有人脸的图像，而可以仅是其中的部分图像帧；另一方面，所述人脸图像序列可以是连续的多帧图像，也可以是不连续的、任意选定的多帧图像。

示例性地，当人脸检测模块1513在所述图像数据中没有检测到人脸则图像获取模块1511继续获取图像数据。

根据本发明实施例，所述计算模块1520包括：

特征点检测模块1521，用于基于所述人脸图像数据中的人脸图像和人脸特征点检测模型得到人脸特征点；

剪裁模块1522，用于根据所述人脸特征点中的眼睛轮廓点对所述人脸图像进行剪裁，得到左眼图像和/或右眼图像。

其中，所述人脸特征点检测模型是已经训练好的模型，用来检测人脸图像中人脸的特征点，参见图3，图3示出了根据本发明实施例的人脸特征点检测的示例。在一个实施例中，人脸特征点检测模型的训练可以包括：对人脸图像训练样本中的人脸图像进行人脸特征点标注得到标注后的人脸图像训练样本；基于标注后的人脸图像训练样本对神经网络进行训练，得到训练好的人脸特征点检测模型。

示例性地，所述人脸特征点包括且不限于：脸的轮廓点、眼睛轮廓点、鼻子轮廓点、眉毛轮廓点、额头轮廓点、嘴唇轮廓点。

其中，对所述人脸图像进行剪裁后得到的左眼图像和/或右眼图像可以包括完整的眼睛轮廓点，以保证后续数据处理的准确性和完整性。

示例性地，所述计算模块1520还包括：

偏转方向模块1523，用于计算所述左眼图像或所述右眼图像中的内外眼角特征点的连线与水平线的夹角，得到所述头部的翻滚角。

其中，可以根据所述偏航角确定采用所述左眼图像或所述右眼图像来进行计算，且可以理解内外眼角特征点可以根据人脸特征点检测模型得到。在一个实施例中，当头部的所述偏航角大于180度时，头部向左偏移，左眼可能会被遮挡，此时右眼完全暴露，得到的右眼图像质量高于左眼图像质量，所以当头部的所述偏航角大于180度时，可以采用右眼图像的内外眼角特征点进行计算；计算右眼图像的内外眼角特征点的连线与水平线的夹角，作为所述头部的翻滚角。在另一实施例中，当头部的所述偏航角小于或等于180度时，头部向右偏移，右眼可能会被遮挡，此时左眼完全暴露，得到的左眼图像质量高于右眼图像质量，所以当头部的所述偏航角小于或等于180度时，可以采用左眼图像的内外眼角特征点进行计算；计算左眼图像的内外眼角特征点的连线与水平线的夹角，作为所述头部的翻滚角。

需要说明的是，翻滚角roll可以根据人脸图像直接得到(例如，根据人脸图像上的人脸特征点，结合采用OpenCV的solvePnP函数解出旋转向量，最后将旋转向量转换为俯仰角pitch、偏航角yaw和翻滚角roll)；也可以根据头部的俯仰角和偏航角计算得到，在此对于如何得到翻滚角roll不做限制。

在一个实施例中，所述偏转方向模块1523还可以用于通过深度学习基于卷积神经网络结构进行计算俯仰角pitch和偏航角yaw，具体过程如下：输入层接受输入数据，得到图像数据及其相应标签值，建立数据集为包含三个标签值，分别对应三维坐标系每个轴旋转的角度标签，然后经过五层卷积模块进行特征提取，每个卷积模块包括卷积层和池化层，将提取到的特征向量输入到全连接层，经过两层全连接，将特征图转化为2048维的特征向量，作为分类层的输入，进行分类，三个标签对应三个并列的分类层，每个分类层得到人脸在三维坐标系中绕每个轴旋转的角度，然后根据绕每个轴旋转的角度计算得到俯仰角pitch和偏航角yaw。

在一个实施例中，由于头部的roll值与眼部的roll值相同，则所述偏转方向模块1523还可以采用眼部特征点来计算眼部的roll值，进而得到头部的roll值，即根据头部的俯仰角和偏航角计算得到翻滚角roll可以包括根据头部的yaw值来选择使用左眼或右眼的roll值作为头部的roll值，具体包括：当偏航角yaw大于或等于180度时，说明头部向左旋转，那么左眼可能存在遮挡或者不全的可能，而右眼则会完全被显示出来，此时右眼图像的质量会高于左眼图像的质量，选择右眼图像中的内外眼角特征点计算头部的roll值；相反地，当偏航角yaw小于180度时，说明头部向右旋转，那么右眼可能存在遮挡或者不全的可能，此时左眼图像的质量会高于右眼图像的质量，选择左眼图像中的内外眼角特征点计算头部的roll值。

根据本发明实施例，所述第一视线模块1530包括：

转正模块1531，用于基于所述头部的翻滚角对所述左眼图像和/或右眼图像进行变换；

视线预测模块1532，用于将变换后的所述左眼图像和/或右眼图像输入训练好的视线预测模型，得到所述左眼图像和/或右眼图像的视线。

其中，因为真实人眼数据集数量及涵盖的视线情况有限，视线预测模型是基于包含人眼视线的由渲染人眼数据和真实人眼数据组合而成的训练数据进行训练得到，这种基于大量的多种视线训练数据进行训练的情况可以进一步保证训练好的视线预测模型的准确度。

示例性地，训练数据还可以包括：根据训练数据标签中提供的人眼特征点对所述训练数据中的图像进行适当的剪裁，得到包含完整的眼睛外轮廓的人眼图像。在一个实施例中，所述训练数据的剪裁可以与前述根据待测对象的所述人脸特征点中的眼睛轮廓点对所述人脸图像进行剪裁得到左眼图像和/或右眼图像相同，可以理解，以相同的剪裁方式对训练数据与实际应用时输入图像进行处理，得到相应的左眼图像和/或右眼图像，有利于提高人眼视线预测的准确度，保证视线估计的效果。

由于训练数据中的人眼视线已知，那么所述视线预测模型的训练包括：根据训练数据对神经网络进行训练得到训练好的视线预测模型。在一个实施例中，训练所述神经网络包括卷积神经网络，尤其是轻量级卷积网络，输入左眼图像或右眼图像，经过卷积、池化后，再次经过卷积、池化后，经过全连接层后得到输出结果即左眼图像或右眼图像中的人眼视线。而选用轻量级卷积网络,可以降低对硬件的要求，能够用于车机，手机等,应用更加广泛，具备实用价值。

示例性地，为了降低视线预测模型的训练难度，所述视线预测模型可以设置为仅对单侧人眼的视线进行预测，即可以在训练过程中，将所有输入的训练数据中人眼都统一为左眼或右眼，然后训练得到可以预测左眼视线或右眼视线的视线预测模型。可以理解，当视线预测模型对单侧人眼的视线进行预测时，可以将输出结果进行翻转即可得到另一侧的人眼视线，而视线预测模型具体对左眼还是右眼进行视线预测在此不做限制。

在一个实施例中，在视线预测模型的训练中，为了使训练好的模型能够同时用于解决RGB摄像头和红外摄像头的视线预测问题,在训练过程中,可以选用RGB图像的红通道作为输入。

由于训练数据还是具有一定的不确定性，如果训练数据中比较缺乏头部的roll较大的数据,而待测对象的头部roll值又较大时，视线预测模型的视线预测就会失准。为了克服头部roll值带来的影响,如果存在大角度的roll值时，可以将人眼图像先转正再输入视线预测模型进行预测视线,然后再将输出的视线转回与原人眼图像对应的图像平面，则可以实现避免头部roll值的影响的同时，保证视线预测的准确性。

示例性地，转正模块1531进一步用于：

当所述头部的翻滚角小于或等于第一阈值时，不对所述左眼图像和/或右眼图像进行变换；

当所述头部的翻滚角大于第一阈值时，对所述左眼图像和/或右眼图像进行仿射变换使所述左眼图像和/或右眼图像转正。

其中，当头部的翻滚角roll小于或小于预定阈值时，说明头部的摆动幅度不大，不会对视线的预测造成影响；当头部的翻滚角roll大于预定阈值时，说明头部的摆动幅度很大，会对视线的预测造成影响，此时需要对左眼图像和/或右眼图像进行仿射变换，使所述左眼图像和/或右眼图像转正至预设的参考角度，以保证视线预测的准确性。

在一个实施例中，所述第一阈值为10度。

在一个实施例中，所述转正模块1531对左眼图像和/或右眼图像进行仿射变换可以包括：

计算所左眼图像和/或右眼图像的旋转矩阵；具体可以包括：利用OpenCV函数getRotationMatrix2D来获得旋转矩阵rot_mat＝getRotationMatrix2D(center,angle,scale)，其中，center为图像旋转所要围绕的中心，angle为图像旋转的角度(在OpenCV中正角度是逆时针)，scale为图像的缩放因子；

根据所述旋转矩阵对左眼图像和/或右眼图像进行旋转得到转正的左眼图像和/或右眼图像；具体包括：将所述旋转矩阵rot_mat应用到仿射变换的输出，对图像进行旋转warpAffine(warp_dst,warp_rotate_dst,rot_mat,warp_dst.size())，其中，warp_dst为输入图像，warp_rotate_dst为输出图像，rot_mat为旋转矩阵，warp_dst.size()为输出图像的尺寸。

其中，对左眼图像和/或右眼图像进行仿射变换时，可以采用所述人脸图像中鼻尖的颜色填补空缺区域，因为鼻尖靠近左眼图像和/或右眼图像的区域，采用该部位的颜色进行填补更接近于实际情况，有利于保证视线预测的准确性。

示例性地，所述视线预测模块1532可以包括：

视线预测子模块1532’，用于所述将变换后的所述左眼图像和/或右眼图像输入训练好的视线预测模型，得到变换后的左眼图像和/或右眼图像的视线；

视线还原模块1532”，用于根据所述头部的翻滚角的相反数，将所述变换后的左眼图像和/或右眼图像的视线变换得到所述左眼图像和/或右眼图像的视线。

其中，如果因为头部的roll值超过预定阈值对左眼图像和/或右眼图像进行转正旋转后，输入视线预测子模块中的视线预测模型后得到的输出结果是变换后的左眼图像和/或右眼图像的视线，因此需要采用视线还原模块经过再一次旋转，将变换后的左眼图像和/或右眼图像的视线转回原图像中，得到原左眼图像和/或右眼图像的视线。由于进行转正旋转时是根据头部的roll值计算的旋转矩阵，而将变换后的视线转回原图像的视线的旋转过程是与转正旋转过程是相反的，所以可以根据头部的roll值的相反数，计算得到一个新的旋转矩阵，其与旋转转正的旋转过程相同，仅仅是旋转矩阵不同，采用新的旋转矩阵和与旋转转正类似的旋转方法，即可以完成将所述变换后的左眼图像和/或右眼图像的视线变换得到所述左眼图像和/或右眼图像的视线的过程。

在现有的视线预测方法中总是无差别的对待左右眼。通常用全脸或者直接任取一只眼睛作为输入估计视线。而实际上,由于人有不同的头部姿态,采集到的两只眼睛的图像质量也会不同,特别是在人的头部有大角度偏转的情况下,质量更是相差甚远.自然,高质量的眼睛外观估计出的视线会更为准确。

因此，当人脸图像数据中的人脸处于正视情况时,左右眼图像质量相当，此时可以直接选用左眼的视线；但当头部向左转动时,左眼图像质量会比右眼差，如果头部向左转动就直接用右眼视线替换左眼视线容易造成阈值附近视线的跳变,而小幅的头部摆动十分容易发生，为了获得更好的视线预测效果,在头部向左转动程度不大的情况下,可以使用右眼的视线来优化左眼的视线,如果头部已经转动到左眼质量非常差,完全无法用于预测视线时，可以使用右眼视线代替左眼视线。

根据本发明实施例，所述第二视线模块1540进一步用于：

当所述头部的偏航角小于或等于第二阈值时，根据所述左眼图像的视线确定所述待测对象的视线；

当所述头部的偏航角大于第二阈值且小于或等于第三阈值时，根据所述左眼图像和右眼图像的视线确定所述待测对象的视线；

当所述头部的偏航角大于第三阈值时，根据所述右眼图像的视线确定所述待测对象的视线；

或，

当所述头部的偏航角大于或等于第二阈值时，根据所述右眼图像的视线确定所述待测对象的视线；

当所述头部的偏航角小于第二阈值且大于或等于第四阈值时，根据所述左眼图像和右眼图像的视线确定所述待测对象的视线；

当所述头部的偏航角小于第四阈值时，根据所述左眼图像的视线确定所述待测对象的视线。

可以理解，所述第四阈值小于第二阈值小于第三阈值。

示例性地，所述根据所述左眼图像和右眼图像的视线确定所述待测对象的视线，包括：

将所述左眼图像的视线投影到右眼视线平面得到所述待测对象的视线，其中，所述右眼视线平面包括左眼、右眼和所述右眼图像的视线所构成的平面；

或，将所述右眼图像的视线投影到左眼视线平面得到所述待测对象的视线，其中，所述左眼视线平面包括左眼、右眼和所述左眼图像的视线所构成的平面。

其中，采用右眼图像的视线对左眼图像的视线进行优化或采用左眼图像的视线对右眼图像的视线进行优化时，根据视觉原理可以知道双眼看的必定是同一个物体,那么左眼、右眼、观察物体三点在肯定一个平面上，则在实际应用中左眼、右眼、左眼视线射线(起点为左眼,方向为左眼视线向量)、右眼视线射线(起点为右眼,方向为右眼视线向量)这两个点和两个射线也必定都处于同一个平面上。基于这一点,在使用右眼视线优化左眼视线时，右眼视线的可靠性是高于左眼视线的，所以可以将左眼视线投影到左眼，右眼，右眼射线构成的平面上，得到优化后的视线；在使用左眼视线优化右眼视线时，左眼视线的可靠性是高于右眼视线的，所以可以将右眼视线投影到左眼，右眼，左眼射线构成的平面上，得到优化后的视线。

在一个实施例中，以所述视线预测模型仅对左眼图像预测视线，且第二阈值为180度，第三阈值为220度为例进行说明根据所述头部的偏航角和所述左眼图像和/或右眼图像的视线得到所述待测对象的视线，具体包括：

如果头部yaw小于180度,所述第二视线模块1540使用左眼视线。将左眼图像送入视线预测模型得到左眼图像的视线，并将其作为待测对象的视线；

如果头部yaw大于180度但小于220度,认为左眼视线估计效果一定程度上可信,所述第二视线模块1540使用右眼的视线来优化左眼的视线，具体包括:将左右眼的图像作为一个批次(batch)一起送入网络,同时得到左右眼的视线；其中,因为所述视线预测模型仅对左眼图像预测视线，即在训练过程中只见过左眼,所以右眼图像需要水平翻转过后才能送入视线预测模型，得到的输出结果是对右眼图像水平翻转后的视线结构，将该输出结果再次进行翻转，得到原右眼图像的视线；将左眼图像的视线投影到左眼，右眼，右眼图像的视线构成的平面上，得到使用右眼图像的视线优化的左眼图像的视线，所述第二视线模块1540将优化后的左眼图像的视线作为待测对象的视线；

如果头部yaw大于220度,认为左眼图像质量已经非常差,所述第二视线模块1540用右眼视线来代替左眼视线作为待测对象的视线，同样的，将右眼图像水平翻转后输入视线预测模型得到视线预测结果,需要把输出的视线预测结果再次翻转以得到原右眼图像的视线，并作为待测对象的视线。

可以理解，当所述视线预测模型仅对右眼图像预测视线时，对于左眼图像的视线预测与上述实施例类似，需要对左眼图像进行水平翻转后，输入视线预测模型，并将视线预测模型的输出结果再次翻转即可得到左眼图像的视线预测结果。

由此可知，根据本发明实施例的自适应视线追踪装置，充分结合双眼和头部姿态,快速地自适应估计视线,在对硬件低要求的情况下,克服由于头部姿态等带来的问题,提升视线追踪的准确度。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

图16示出了根据本发明实施例的自适应视线追踪系统1600的示意性框图。自适应视线追踪系统1600包括图像传感器1610、存储装置1620、以及处理器160。

图像传感器1610用于采集图像数据。

所述存储装置1620存储用于实现根据本发明实施例的自适应视线追踪方法中的相应步骤的程序代码。

所述处理器1630用于运行所述存储装置1620中存储的程序代码，以执行根据本发明实施例的自适应视线追踪方法的相应步骤，并且用于实现根据本发明实施例的自适应视线追踪装置中的数据获取模块1510，计算模块1520，第一视线模块1530和第二视线模块1540。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的自适应视线追踪方法的相应步骤，并且用于实现根据本发明实施例的自适应视线追踪装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于随机地生成动作指令序列的计算机可读的程序代码，另一个计算机可读存储介质包含用于进行自适应视线追踪的计算机可读的程序代码。

在一个实施例中，所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的自适应视线追踪装置的各个功能模块，并且/或者可以执行根据本发明实施例的自适应视线追踪方法。

根据本发明实施例的自适应视线追踪系统中的各模块可以通过根据本发明实施例的自适应视线追踪的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

根据本发明实施例的自适应视线追踪方法、装置、系统以及存储介质，分结合双眼和头部姿态,快速地自适应估计视线,在对硬件低要求的情况下,克服由于头部姿态等带来的问题,提升视线追踪的准确度。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种自适应视线追踪方法，其特征在于，所述方法包括：

获取待测对象的人脸图像数据；

基于所述人脸图像数据得到所述待测对象的左眼图像和/或右眼图像，以及所述待测对象的头部姿态，所述头部姿态包括头部的偏航角、俯仰角和翻滚角；

基于所述左眼图像和/或右眼图像和训练好的视线预测模型，得到所述左眼图像和/或右眼图像的视线；

根据所述头部姿态和所述左眼图像和/或右眼图像的视线得到所述待测对象的视线，包括基于所述头部的偏航角选择所述左眼图像和/或右眼图像的视线确定所述待测对象的视线。

2.如权利要求1所述的方法，其特征在于，所述基于所述左眼图像和/或右眼图像和训练好的视线预测模型，得到所述左眼图像和/或右眼图像的视线，包括：

基于所述头部的翻滚角对所述左眼图像和/或右眼图像进行变换；

将变换后的所述左眼图像和/或右眼图像输入训练好的视线预测模型，得到所述左眼图像和/或右眼图像的视线。

3.如权利要求2所述的方法，其特征在于，所述基于所述头部姿态的翻滚角对所述左眼图像和/或右眼图像进行变换，包括：

当所述头部的翻滚角小于或等于第一阈值时，不对所述左眼图像和/或右眼图像进行变换；

当所述头部的翻滚角大于第一阈值时，对所述左眼图像和/或右眼图像进行仿射变换使所述左眼图像和/或右眼图像转正。

4.如权利要求3所述的方法，其特征在于，所述将变换后的所述左眼图像和/或右眼图像输入训练好的视线预测模型，得到所述左眼图像和/或右眼图像的视线，包括：

所述将变换后的所述左眼图像和/或右眼图像输入训练好的视线预测模型，得到变换后的左眼图像和/或右眼图像的视线；

根据所述头部的翻滚角的相反数，将所述变换后的左眼图像和/或右眼图像的视线变换得到所述左眼图像和/或右眼图像的视线。

5.如权利要求1-4中任一项所述的方法，其特征在于，根据所述头部姿态和所述左眼图像和/或右眼图像的视线得到所述待测对象的视线，包括：

当所述头部的偏航角小于或等于第二阈值时，根据所述左眼图像的视线确定所述待测对象的视线；

当所述头部的偏航角大于第二阈值且小于或等于第三阈值时，根据所述左眼图像和右眼图像的视线确定所述待测对象的视线；

当所述头部的偏航角大于第三阈值时，根据所述右眼图像的视线确定所述待测对象的视线；

或，

当所述头部的偏航角大于或等于第二阈值时，根据所述右眼图像的视线确定所述待测对象的视线；

当所述头部的偏航角小于第二阈值且大于或等于第四阈值时，根据所述左眼图像和右眼图像的视线确定所述待测对象的视线；

当所述头部的偏航角小于第四阈值时，根据所述左眼图像的视线确定所述待测对象的视线。

6.如权利要求5所述的方法，其特征在于，所述根据所述左眼图像和右眼图像的视线确定所述待测对象的视线，包括：

将所述左眼图像的视线投影到右眼视线平面得到所述待测对象的视线，其中，所述右眼视线平面包括左眼、右眼和所述右眼图像的视线所构成的平面；

或，将所述右眼图像的视线投影到左眼视线平面得到所述待测对象的视线，其中，所述左眼视线平面包括左眼、右眼和所述左眼图像的视线所构成的平面。

7.如权利要求1所述的方法，其特征在于，所述方法还包括：

计算所述左眼图像或所述右眼图像中的内外眼角特征点的连线与水平线的夹角，得到所述头部的翻滚角。

8.一种自适应视线追踪装置，其特征在于，所述装置包括：

数据获取模块，用于获取待测对象的人脸图像数据；

计算模块，用于基于所述人脸图像数据得到所述待测对象的左眼图像和/或右眼图像，以及所述待测对象的头部姿态，所述头部姿态包括头部的偏航角、俯仰角和翻滚角；

第一视线模块，用于基于所述左眼图像和/或右眼图像和训练好的视线预测模型，得到所述左眼图像和/或右眼图像的视线；

第二视线模块，用于根据所述头部姿态和所述左眼图像和/或右眼图像的视线得到所述待测对象的视线，包括基于所述头部的偏航角选择所述左眼图像和/或右眼图像的视线确定所述待测对象的视线。

9.一种自适应视线追踪系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机执行时实现权利要求1至7中任一项所述方法的步骤。

Images