CN118279966A - 一种视线追踪方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供了一种视线追踪方法、装置、电子设备及存储介质，包括：当符合视线追踪要求时，进行人脸姿态分析处理，确定出当前时刻的人脸姿态角度；并根据多个人脸关键点，确定用户注视所述目标对象时的当前眼部观测信息，并获取眼部标定数据；根据当前眼部观测信息中每只眼睛瞳孔相对于眼睛轮廓的第一相对位置、眼部标定数据中每只眼睛注视第一标定点时瞳孔相对于眼睛轮廓的第二相对位置、以及眼部标定数据中视网膜至瞳孔的第一距离，确定出眼睛的视线角度；根据眼睛的视线角度、当前时刻的人脸姿态角度、眼部标定数据以及当前眼部观测信息，确定用户当前注视目标对象时的视线信息。这样，通过本方案，可有效提高结果精度以及降低视线追踪难度。

Description

一种视线追踪方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，尤其是涉及一种视线追踪方法、装置、电子设备及存储介质。

背景技术

眼睛视线追踪的基本概念就是使用非接触相机或其他光学传感器捕捉和分析眼球运动方向进而计算出视线角度方向，甚至可以计算出所视线方向在所视物上的落点。

现有视线追踪技术通常采用以下两种方案：1、采用传统机器学习算法霍夫变换进行椭圆匹配，对人眼的外边缘轮廓进行匹配，根据眼睛轮廓预估虹膜中心作为瞳孔点，跟踪眼球的运动；2、采用深度学习，对人脸做人脸检测和关键点计算，将整个人脸数据和关键点信息送入到深度学习模型，进行视线角度预测。

但是，方案1存在精度低和易受环境光线影响的缺点，方案2缺点是结果缺乏解释性，需要海量数据，且单一训练数据的标注难度大，视线角度的标注难度大，制作训练数据成本高。

发明内容

有鉴于此，本申请的目的在于提供一种视线追踪方法、装置、电子设备及存储介质，可有效提高结果精度以及降低视线追踪难度。

本申请实施例提供了一种视线追踪方法，所述视线追踪方法包括：

对图像采集装置所采集的目标对象前方的初始图像进行实时人脸检测；

当识别出所述初始图像中包含有符合人脸图像要求的人脸时，对所述初始图像中人脸进行关键点识别处理，确定出多个人脸关键点；

根据所述多个人脸关键点进行人脸姿态分析处理，确定出当前时刻的人脸姿态角度；

当所述人脸的姿态角度满足预设角度阈值要求时，根据所述多个人脸关键点，确定用户注视所述目标对象时的当前眼部观测信息；

获取标定过程中确定的眼部标定数据；

针对每只眼睛，根据当前眼部观测信息中该只眼睛瞳孔相对于眼睛轮廓的第一相对位置、眼部标定数据中该只眼睛注视第一标定点时该只眼睛瞳孔相对于眼睛轮廓的第二相对位置、以及眼部标定数据中该只眼睛视网膜至瞳孔的第一距离，通过反正切运算处理，确定出该只眼睛的视线角度；

根据每只眼睛的视线角度、当前时刻的人脸姿态角度、眼部标定数据以及当前眼部观测信息，依次进行角度融合处理以及视线计算处理，确定用户当前注视目标对象时的视线信息；其中，所述视线信息包括用户注视所述目标对象时每只眼睛的目标视线落点以及视线范围。

可选的，通过以下步骤确定所述初始图像中包含符合人脸图像要求的人脸：

对所述初始图像进行人脸检测处理；

当所述初始图像中包括人脸，确定所述初始图像中包含符合人脸图像要求的人脸；

或者，

当所述初始图像中包括人脸，且人脸区域的图像占比大于预设占比阈值，确定所述初始图像中包含符合人脸图像要求的人脸；

或者，

当所述初始图像中包括人脸，且人脸区域中心点相对于所述初始图像中心点的偏移距离小于预设距离阈值，确定所述初始图像中包含符合人脸图像要求的人脸；

或者，

当所述初始图像中包括人脸，且人脸区域的图像占比大于预设占比阈值、人脸区域中心点相对于所述初始图像中心点的偏移距离小于预设距离阈值，确定所述初始图像中包含符合人脸图像要求的人脸。

可选的，所述人脸姿态角度包括以下至少一项：俯仰角度、偏航角度以及滚动角度。

可选的，通过以下步骤确定用户双眼各自的视网膜至瞳孔的第一距离：

获取用户按预定姿态要求，注视第一标定点时的多个第一人脸关键点、注视第二标定点时的多个第二人脸关键点、第一标定点在目标对象上的第一标定位置、第二标定点在目标对象上的第二标定位置、以及预定姿态要求下用户每只眼睛与目标对象之间的历史实际距离；

根据第一标定位置和第二标定位置，确定第一标定点和第二标定点之间的标定距离；

根据多个第一人脸关键点和多个第二人脸关键点进行眼部关键点分析处理，分别确定每只眼睛注视第一标定点和第二标定点时的瞳孔偏移距离；

针对每只眼睛，根据该只眼睛与目标对象之间的历史实际距离、对应的瞳孔偏移距离以及标定距离，通过三角形等比定理计算，确定该只眼睛的视网膜至瞳孔的第一距离。

可选的，所述根据每只眼睛的视线角度、当前时刻的人脸姿态角度、眼部标定数据以及当前眼部观测信息，依次进行角度融合处理以及视线计算处理，确定用户当前注视目标对象时的视线信息，包括：

针对用户的每只眼睛，根据当前眼部观测信息中该只眼睛当前注视目标对象时该只眼睛映射至目标对象上的第一映射位置、眼部标定数据中该只眼睛注视第一标定点时该只眼睛映射至目标对象上的第二映射位置、以及第一标定点在目标对象上的第一标定位置，进行位置偏移确定处理，确定该只眼睛当前注视所述目标对象时的初始视线落点；

根据当前眼部观测信息中该只眼睛的视线角度和当前时刻的人脸姿态角度，进行角度融合处理，确定该只眼睛的综合视线角；

根据该只眼睛的综合视线角和当前眼部观测信息中该只眼睛与目标对象之间的当前实际距离，对所述初始视线落点进行校正，确定该只眼睛当前注视所述目标对象时的目标视线落点；

根据眼部标定数据中该只眼睛视网膜至瞳孔的第一距离、当前眼部观测信息中该只眼睛与目标对象之间的当前实际距离、以及当前眼部观测信息中该只眼睛的瞳孔半径，通过三角形等比定理计算，确定该只眼睛当前注视所述目标对象时的视线范围。

可选的，所述根据该只眼睛的综合视线角和当前眼部观测信息中该只眼睛与目标对象之间的当前实际距离，对所述初始视线落点进行校正，确定该只眼睛当前注视所述目标对象时的目标视线落点，包括：

根据该只眼睛的综合视线角和当前眼部观测信息中该只眼睛与目标对象之间的当前实际距离，进行正切运算处理，确定视线校正位置值；

将所述视线校正位置值与所述初始视线落点融合，确定目标视线落点。

可选的，所述图像采集装置的前表面与所述目标对象的前表面平行或位于同一平面上。

本申请实施例还提供了一种视线追踪装置，所述视线追踪装置包括：

第一识别模块，用于对图像采集装置所采集的目标对象前方的初始图像进行实时人脸检测；

第二识别模块，用于当识别出所述初始图像中包含有符合人脸图像要求的人脸时，对所述初始图像中人脸进行关键点识别处理，确定出多个人脸关键点；

第一确定模块，用于根据所述多个人脸关键点进行人脸姿态分析处理，确定出当前时刻的人脸姿态角度；

第二确定模块，用于当所述人脸的姿态角度满足预设角度阈值要求时，根据所述多个人脸关键点，确定用户注视所述目标对象时的当前眼部观测信息；

获取模块，用于获取标定过程中确定的眼部标定数据；

第三确定模块，用于针对每只眼睛，根据当前眼部观测信息中该只眼睛瞳孔相对于眼睛轮廓的第一相对位置、眼部标定数据中该只眼睛注视第一标定点时该只眼睛瞳孔相对于眼睛轮廓的第二相对位置、以及眼部标定数据中该只眼睛视网膜至瞳孔的第一距离，通过反正切运算处理，确定出该只眼睛的视线角度；

追踪模块，用于根据每只眼睛的视线角度、当前时刻的人脸姿态角度、眼部标定数据以及当前眼部观测信息，依次进行角度融合处理以及视线计算处理，确定用户当前注视目标对象时的视线信息；其中，所述视线信息包括用户注视所述目标对象时每只眼睛的目标视线落点以及视线范围。

可选的，所述视线追踪装置还用于通过以下步骤确定所述初始图像中包含符合人脸图像要求的人脸：

对所述初始图像进行人脸检测处理；

当所述初始图像中包括人脸，确定所述初始图像中包含符合人脸图像要求的人脸；

或者，

当所述初始图像中包括人脸，且人脸区域的图像占比大于预设占比阈值，确定所述初始图像中包含符合人脸图像要求的人脸；

或者，

当所述初始图像中包括人脸，且人脸区域中心点相对于所述初始图像中心点的偏移距离小于预设距离阈值，确定所述初始图像中包含符合人脸图像要求的人脸；

或者，

当所述初始图像中包括人脸，且人脸区域的图像占比大于预设占比阈值、人脸区域中心点相对于所述初始图像中心点的偏移距离小于预设距离阈值，确定所述初始图像中包含符合人脸图像要求的人脸。

可选的，所述人脸姿态角度包括以下至少一项：俯仰角度、偏航角度以及滚动角度。

可选的，所述视线追踪装置还用于通过以下步骤确定用户双眼各自的视网膜至瞳孔的第一距离：

获取用户按预定姿态要求，注视第一标定点时的多个第一人脸关键点、注视第二标定点时的多个第二人脸关键点、第一标定点在目标对象上的第一标定位置、第二标定点在目标对象上的第二标定位置、以及预定姿态要求下用户每只眼睛与目标对象之间的历史实际距离；

根据第一标定位置和第二标定位置，确定第一标定点和第二标定点之间的标定距离；

根据多个第一人脸关键点和多个第二人脸关键点进行眼部关键点分析处理，分别确定每只眼睛注视第一标定点和第二标定点时的瞳孔偏移距离；

针对每只眼睛，根据该只眼睛与目标对象之间的历史实际距离、对应的瞳孔偏移距离以及标定距离，通过三角形等比定理计算，确定该只眼睛的视网膜至瞳孔的第一距离。

可选的，所述追踪模块在用于根据每只眼睛的视线角度、当前时刻的人脸姿态角度、眼部标定数据以及当前眼部观测信息，依次进行角度融合处理以及视线计算处理，确定用户当前注视目标对象时的视线信息时，所述追踪模块用于：

针对用户的每只眼睛，根据当前眼部观测信息中该只眼睛当前注视目标对象时该只眼睛映射至目标对象上的第一映射位置、眼部标定数据中该只眼睛注视第一标定点时该只眼睛映射至目标对象上的第二映射位置、以及第一标定点在目标对象上的第一标定位置，进行位置偏移确定处理，确定该只眼睛当前注视所述目标对象时的初始视线落点；

根据当前眼部观测信息中该只眼睛的视线角度和当前时刻的人脸姿态角度，进行角度融合处理，确定该只眼睛的综合视线角；

根据该只眼睛的综合视线角和当前眼部观测信息中该只眼睛与目标对象之间的当前实际距离，对所述初始视线落点进行校正，确定该只眼睛当前注视所述目标对象时的目标视线落点；

根据眼部标定数据中该只眼睛视网膜至瞳孔的第一距离、当前眼部观测信息中该只眼睛与目标对象之间的当前实际距离、以及当前眼部观测信息中该只眼睛的瞳孔半径，通过三角形等比定理计算，确定该只眼睛当前注视所述目标对象时的视线范围。

可选的，所述追踪模块在用于根据该只眼睛的综合视线角和当前眼部观测信息中该只眼睛与目标对象之间的当前实际距离，对所述初始视线落点进行校正，确定该只眼睛当前注视所述目标对象时的目标视线落点时，所述追踪模块用于：

根据该只眼睛的综合视线角和当前眼部观测信息中该只眼睛与目标对象之间的当前实际距离，进行正切运算处理，确定视线校正位置值；

将所述视线校正位置值与所述初始视线落点融合，确定目标视线落点。

可选的，所述图像采集装置的前表面与所述目标对象的前表面平行或位于同一平面上。

本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的视线追踪方法的步骤。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的视线追踪方法的步骤。

本申请实施例提供的一种视线追踪方法、装置、电子设备及存储介质，所述视线追踪方法包括：对图像采集装置所采集的目标对象前方的初始图像进行实时人脸检测；当识别出所述初始图像中包含有符合人脸图像要求的人脸时，对所述初始图像中人脸进行关键点识别处理，确定出多个人脸关键点；根据所述多个人脸关键点进行人脸姿态分析处理，确定出当前时刻的人脸姿态角度；当所述人脸的姿态角度满足预设角度阈值要求时，根据所述多个人脸关键点，确定用户注视所述目标对象时的当前眼部观测信息；获取标定过程中确定的眼部标定数据；针对每只眼睛，根据当前眼部观测信息中该只眼睛瞳孔相对于眼睛轮廓的第一相对位置、眼部标定数据中该只眼睛注视第一标定点时该只眼睛瞳孔相对于眼睛轮廓的第二相对位置、以及眼部标定数据中该只眼睛视网膜至瞳孔的第一距离，通过反正切运算处理，确定出该只眼睛的视线角度；根据每只眼睛的视线角度、当前时刻的人脸姿态角度、眼部标定数据以及当前眼部观测信息，依次进行角度融合处理以及视线计算处理，确定用户当前注视目标对象时的视线信息；其中，所述视线信息包括用户注视所述目标对象时每只眼睛的目标视线落点以及视线范围。

这样，通过本申请提供的技术方案，通过将眼部视线角度和面部姿态角度进行融合确定出综合视线角，并根据综合视线角确定目标视线落点，可有效提高确定结果的准确性，并且根据确定视网膜至瞳孔的第一距离确定视线范围，也有效的增加了结果数据的丰富性，此外本申请的技术方案也降低了视线追踪的难度。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例所提供的一种视线追踪方法的流程图；

图2为本申请提供的一种确定人脸关键点的结果示意图；

图3为本申请提供的一种确定视网膜至瞳孔距离的原理示意图；

图4为本申请实施例所提供的一种视线追踪装置的结构示意图；

图5为本申请实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。

眼睛视线追踪的基本概念就是使用非接触相机或其他光学传感器捕捉和分析眼球运动方向进而计算出视线角度方向，甚至可以计算出所视线方向在所视物上的落点。

现有视线追踪技术通常采用以下两种方案：1、采用传统机器学习算法霍夫变换进行椭圆匹配，对人眼的外边缘轮廓进行匹配，根据眼睛轮廓预估虹膜中心作为瞳孔点，跟踪眼球的运动；2、采用深度学习，对人脸做人脸检测和关键点计算，将整个人脸数据和关键点信息送入到深度学习模型，进行视线角度预测。

但是，方案1存在精度低和易受环境光线影响的缺点，方案2缺点是结果缺乏解释性，需要海量数据，且单一训练数据的标注难度大，视线角度的标注难度大，制作训练数据成本高。

基于此，本申请实施例提供了一种视线追踪方法、装置、电子设备及存储介质，可有效提高结果精度以及降低视线追踪难度。

请参阅图1，图1为本申请实施例所提供的一种视线追踪方法的流程图。

该方法可应用在智能手机、AR/VR游戏、智能汽车等领域的人机交互方面。

如图1中所示，本申请实施例提供的视线追踪方法，包括：

S101、对图像采集装置所采集的目标对象前方的初始图像进行实时人脸检测。

该步骤中，控制图像采集装置按预定时间间隔或实时对目标对象前方视野空间进行图像采集，确定出初始图像，然后对所述初始图像进行实时人脸检测。

这里，所述图像采集装置的前表面与所述目标对象的前表面平行或位于同一平面上。

所述图像采集装置可为摄像头，示例的可为普通rgb摄像头、红外摄像头、深度摄像头等。

所述目标对象可为显示屏等。

其中，可通过人脸检测算法进行实时人脸检测，示例的，所述人脸检测算法可为blazeface。

S102、当识别出所述初始图像中包含有符合人脸图像要求的人脸时，对所述初始图像中人脸进行关键点识别处理，确定出多个人脸关键点。

该步骤中，当识别出所述初始图像中包含有符合人脸图像要求的人脸时，可通过深度学习模型对初始图像中人脸进行关键点识别处理，确定出多个人脸关键点。

这里，确定出多个人脸关键点时，还确定出每个关键点的坐标信息和类型信息。类型信息是指该关键点为鼻子关键点、眼睛关键点等。

示例的，所述深度学习模型可包含两部分，第一部分是关键点检测模型，采用了275个关键点的模型，包括人脸的整个轮廓、鼻子、嘴、眼睛等，主要用于计算人脸的角度，五官位置等；第二部分为输出瞳孔区域的范围，根据瞳孔中心点和瞳孔区域范围可得到瞳孔半径大小。

示例的，请参阅图2，图2为本申请提供的一种确定人脸关键点的结果示意图。如图2所示，首先进行人脸检测，当识别出符合人脸图像要求的人脸后（如图2左图），进行关键点识别，得到多个人脸关键点（如图2右图）。

在本申请提供的一种实施方式，通过以下步骤确定所述初始图像中包含符合人脸图像要求的人脸：对所述初始图像进行人脸检测处理；当所述初始图像中包括人脸，确定所述初始图像中包含符合人脸图像要求的人脸；或者，当所述初始图像中包括人脸，且人脸区域的图像占比大于预设占比阈值，确定所述初始图像中包含符合人脸图像要求的人脸；或者，当所述初始图像中包括人脸，且人脸区域中心点相对于所述初始图像中心点的偏移距离小于预设距离阈值，确定所述初始图像中包含符合人脸图像要求的人脸；或者，当所述初始图像中包括人脸，且人脸区域的图像占比大于预设占比阈值、人脸区域中心点相对于所述初始图像中心点的偏移距离小于预设距离阈值，确定所述初始图像中包含符合人脸图像要求的人脸。

这里，提供了四种确定所述初始图像中包含有符合人脸图像要求的人脸的实施方式。

需要说明的是，当识别出所述初始图像中不包含有符合人脸图像要求的人脸时，重新获取初始图像。

S103、根据所述多个人脸关键点进行人脸姿态分析处理，确定出当前时刻的人脸姿态角度。

这里，所述人脸姿态角度包括以下至少一项：俯仰角度、偏航角度以及滚动角度。

其中，俯仰角（pitch）：绕X轴（指向脸右侧）转动的角度，表现为头俯、仰；

偏航角（yaw）：绕Y轴（指向脸下方）转动的角度，表现为头向左侧或右侧水平转动；

滚动角（roll）：绕Z轴（指向脸正前）转动的角度，表现为正面看到的人脸照片旋转，平面内的旋转。

S104、当所述人脸的姿态角度满足预设角度阈值要求时，根据所述多个人脸关键点，确定用户注视所述目标对象时的当前眼部观测信息。

该步骤中，所述当前眼部观测信息中至少包括：每只眼睛瞳孔相对于眼睛轮廓的第一相对位置，每只眼睛的瞳孔半径，每只眼睛映射至目标对象上的第一映射位置，每只眼睛与目标对象之间的当前实际距离。

此外，当所述人脸的姿态角度不满足预设角度阈值要求时，重新获取初始图像，并依次进行人脸检测和人脸姿态角度判断。

S105、获取标定过程中确定的眼部标定数据。

该步骤中，获取按预定人脸姿态要求进行标定时，确定的眼部标定数据。

这里，所述眼部标定数据中至少包括：用户双眼各自的视网膜至瞳孔的第一距离，每只眼睛注视第一标定点时该只眼睛瞳孔相对于眼睛轮廓的第二相对位置，每只眼睛注视第一标定点时映射至目标对象上的第二映射位置，第一标定点在目标对象上的第一标定位置。

在本申请提供的一种实施方式中，通过以下步骤确定用户双眼各自的视网膜至瞳孔的第一距离：

S201、获取用户按预定姿态要求，注视第一标定点时的多个第一人脸关键点、注视第二标定点时的多个第二人脸关键点、第一标定点在目标对象上的第一标定位置、第二标定点在目标对象上的第二标定位置、以及预定姿态要求下用户每只眼睛与目标对象之间的历史实际距离。

S202、根据第一标定位置和第二标定位置，确定第一标定点和第二标定点之间的标定距离。

S203、根据多个第一人脸关键点和多个第二人脸关键点进行眼部关键点分析处理，分别确定每只眼睛注视第一标定点和第二标定点时的瞳孔偏移距离。

S204、针对每只眼睛，根据该只眼睛与目标对象之间的历史实际距离、对应的瞳孔偏移距离以及标定距离，通过三角形等比定理计算，确定该只眼睛的视网膜至瞳孔的第一距离。

针对步骤S201，所述预定姿态要求可为人眼视线角为0°。所述第一标定点可为屏幕上或是人视角的正前方指定的一点。所述第二标定点可为屏幕上不同于第一标定点的一点。

所述预定姿态要求下用户每只眼睛与目标对象之间的历史实际距离，包括左眼与目标对象之间的第二距离和右眼与目标对象之间的第三距离。

所述第一标定点在目标对象上的第一标定位置和所述第二标定点在目标对象上的第二标定位置，可直接或预先确定，并保存至眼部标定数据中。

针对步骤S202，根据第一标定位置（坐标信息）和第二标定位置（坐标信息），通过欧氏距离计算，确定第一标定点和第二标定点之间的标定距离。

针对步骤S203，根据多个第一人脸关键点和多个第二人脸关键点进行眼部关键点分析处理，分别确定每只眼睛注视第一标定点和第二标定点时的瞳孔偏移距离，包括：根据多个第一人脸关键点和多个第二人脸关键点进行眼部关键点分析处理，确定左眼注视第一标定点和第二标定点时的左眼瞳孔偏移距离，右眼注视第一标定点和第二标定点时的右眼瞳孔偏移距离。

在一种实施方式中，根据多个第一人脸关键点和多个第二人脸关键点进行眼部关键点分析处理，分别确定每只眼睛注视第一标定点和第二标定点时的瞳孔偏移距离，包括：根据多个第一人脸关键点，确定用户每只眼睛注视第一标定点时瞳孔相对于眼睛轮廓的第二相对位置、每只眼睛注视第一标定点时每只眼睛映射至目标对象上的第二映射位置；根据多个第二人脸关键点，确定用户每只眼睛注视第二标定点时瞳孔相对于眼睛轮廓的第三相对位置、每只眼睛注视第二标定点时每只眼睛映射至目标对象上的第三映射位置；针对每只眼睛，根据该只眼睛的第二相对位置和第三相对位置，确定该只眼睛的瞳孔偏移距离。或者，针对每只眼睛，根据该只眼睛的第二映射位置和第三映射位置，确定该只眼睛的瞳孔偏移距离。

需要说明的是，映射位置为经过坐标转换处理后确定出的位置（坐标）。瞳孔相对于眼睛轮廓的相对位置可以为瞳孔中心点位置。

针对步骤S204，以左眼为例，可根据以下公式，确定左眼的视网膜至瞳孔的第一距离。

l/L=h/(h+H1)

这里，l为左眼瞳孔偏移距离，L为标定距离，h为左眼视网膜至瞳孔的第一距离，H1为左眼与目标对象之间的历史实际距离。

示例的，请参阅图3，图3为本申请提供的一种确定视网膜至瞳孔距离的原理示意图。如图3所示，这里仅展示了一只眼睛的视网膜至瞳孔的第一距离的确定方式，以左眼为例，其中，l为左眼瞳孔偏移距离，L为标定距离，h为左眼视网膜至瞳孔的第一距离，H1为左眼与目标对象之间的历史实际距离，A为第一标定点、B为第二标定点，A’和B’点对应的位置为左眼瞳孔区域的位置，这样即可确定出h。

S106、针对每只眼睛，根据当前眼部观测信息中该只眼睛瞳孔相对于眼睛轮廓的第一相对位置、眼部标定数据中该只眼睛注视第一标定点时该只眼睛瞳孔相对于眼睛轮廓的第二相对位置、以及眼部标定数据中该只眼睛视网膜至瞳孔的第一距离，通过反正切运算处理，确定出该只眼睛的视线角度。

示例的，通过以下内容对眼睛的视线角度的确定过程进行说明。以左眼为例，(，)为当前用户注视目标对象时左眼瞳孔相对于左眼轮廓的第一相对位置，(，)为标定过程中用户注视第一标定点时左眼瞳孔相对于左眼轮廓的第二相对位置，h为标定过程中确定的左眼视网膜至瞳孔的第一距离，求这两次注视的位置变化向量为(-，-)，则人眼视线竖直方向的角度的正切值可通过(-)/h得到，再通过反正切函数得到竖直方向的视线角度b1，同理水平方向角度的正切值可通过(-)/h，通过反正切函数得到角度b2；(b1,b2)则为不考虑人脸角度时的左眼的视线角度。

右眼的视线角度的确定过程与左眼相同，在此不再赘述。

S107、根据每只眼睛的视线角度、当前时刻的人脸姿态角度、眼部标定数据以及当前眼部观测信息，依次进行角度融合处理以及视线计算处理，确定用户当前注视目标对象时的视线信息。

这里，所述视线信息包括用户注视所述目标对象时每只眼睛的目标视线落点以及视线范围。

在本申请提供的一种实施方式，所述根据每只眼睛的视线角度、当前时刻的人脸姿态角度、眼部标定数据以及当前眼部观测信息，依次进行角度融合处理以及视线计算处理，确定用户当前注视目标对象时的视线信息，包括：

S1071、针对用户的每只眼睛，根据当前眼部观测信息中该只眼睛当前注视目标对象时该只眼睛映射至目标对象上的第一映射位置、眼部标定数据中该只眼睛注视第一标定点时该只眼睛映射至目标对象上的第二映射位置、以及第一标定点在目标对象上的第一标定位置，进行位置偏移确定处理，确定该只眼睛当前注视所述目标对象时的初始视线落点。

S1072、根据当前眼部观测信息中该只眼睛的视线角度和当前时刻的人脸姿态角度，进行角度融合处理，确定该只眼睛的综合视线角。

S1073、根据该只眼睛的综合视线角和当前眼部观测信息中该只眼睛与目标对象之间的当前实际距离，对所述初始视线落点进行校正，确定该只眼睛当前注视所述目标对象时的目标视线落点。

S1074、根据眼部标定数据中该只眼睛视网膜至瞳孔的第一距离、当前眼部观测信息中该只眼睛与目标对象之间的当前实际距离、以及当前眼部观测信息中该只眼睛的瞳孔半径，通过三角形等比定理计算，确定该只眼睛当前注视所述目标对象时的视线范围。

针对步骤S1071，以左眼为例，可根据以下公式确定左眼当前注视所述目标对象时的初始视线落点。

这里，（，）为左眼当前注视所述目标对象时的初始视线落点，（，）为用户当前注视目标对象时左眼映射至目标对象上的第一映射位置，（，）为用户注视第一标定点时左眼映射至目标对象上的第二映射位，（，）为第一标定点在目标对象上的第一标定位置。

针对步骤S1072，所述根据当前眼部观测信息中该只眼睛的视线角度和当前时刻的人脸姿态角度，进行角度融合处理，确定该只眼睛的综合视线角，包括：针对每只眼睛，使用该只眼睛当前的视线角度与当前时刻的人脸姿态角度中的俯仰角和偏航角，进行角度融合处理，确定该只眼睛的综合视线角。

针对步骤S1073，在一种实施方式中，所述根据该只眼睛的综合视线角和当前眼部观测信息中该只眼睛与目标对象之间的当前实际距离，对所述初始视线落点进行校正，确定该只眼睛当前注视所述目标对象时的目标视线落点，包括：

S10731、根据该只眼睛的综合视线角和当前眼部观测信息中该只眼睛与目标对象之间的当前实际距离，进行正切运算处理，确定视线校正位置值。

S10732、将所述视线校正位置值与所述初始视线落点融合，确定目标视线落点。

针对步骤S1073，以左眼为例，可根据以下公式确定左眼当前注视所述目标对象时的目标视线落点。

这里，（，）为左眼当前注视所述目标对象时的目标视线落点，为左眼与目标对象之间的当前实际距离。

针对步骤S1074，继续以左眼为例，可根据以下公式确定左眼当前注视所述目标对象时的视线范围：

R=radius*(H2/h)

这里，R为左眼当前注视所述目标对象时的视线范围，radius为左眼的瞳孔半径。

这样，通过本申请提供的技术方案，通过将眼部视线角度和面部姿态角度进行融合确定出综合视线角，并根据综合视线角确定目标视线落点，可有效提高确定结果的准确性，并且根据确定视网膜至瞳孔的第一距离确定视线范围，也有效的增加了结果数据的丰富性，此外本申请的技术方案也降低了视线追踪的难度。

请参阅图4，图4为本申请实施例所提供的一种视线追踪装置的结构示意图。如图4中所示，所述视线追踪装置400包括：

第一识别模块410，用于对图像采集装置所采集的目标对象前方的初始图像进行实时人脸检测；

第二识别模块420，用于当识别出所述初始图像中包含有符合人脸图像要求的人脸时，对所述初始图像中人脸进行关键点识别处理，确定出多个人脸关键点；

第一确定模块430，用于根据所述多个人脸关键点进行人脸姿态分析处理，确定出当前时刻的人脸姿态角度；

第二确定模块440，用于当所述人脸的姿态角度满足预设角度阈值要求时，根据所述多个人脸关键点，确定用户注视所述目标对象时的当前眼部观测信息；

获取模块450，用于获取标定过程中确定的眼部标定数据；

第三确定模块460，用于针对每只眼睛，根据当前眼部观测信息中该只眼睛瞳孔相对于眼睛轮廓的第一相对位置、眼部标定数据中该只眼睛注视第一标定点时该只眼睛瞳孔相对于眼睛轮廓的第二相对位置、以及眼部标定数据中该只眼睛视网膜至瞳孔的第一距离，通过反正切运算处理，确定出该只眼睛的视线角度；

追踪模块470，用于根据每只眼睛的视线角度、当前时刻的人脸姿态角度、眼部标定数据以及当前眼部观测信息，依次进行角度融合处理以及视线计算处理，确定用户当前注视目标对象时的视线信息；其中，所述视线信息包括用户注视所述目标对象时每只眼睛的目标视线落点以及视线范围。

可选的，所述视线追踪装置400还用于通过以下步骤确定所述初始图像中包含符合人脸图像要求的人脸：

对所述初始图像进行人脸检测处理；

当所述初始图像中包括人脸，确定所述初始图像中包含符合人脸图像要求的人脸；

或者，

当所述初始图像中包括人脸，且人脸区域的图像占比大于预设占比阈值，确定所述初始图像中包含符合人脸图像要求的人脸；

或者，

当所述初始图像中包括人脸，且人脸区域中心点相对于所述初始图像中心点的偏移距离小于预设距离阈值，确定所述初始图像中包含符合人脸图像要求的人脸；

或者，

当所述初始图像中包括人脸，且人脸区域的图像占比大于预设占比阈值、人脸区域中心点相对于所述初始图像中心点的偏移距离小于预设距离阈值，确定所述初始图像中包含符合人脸图像要求的人脸。

可选的，所述人脸姿态角度包括以下至少一项：俯仰角度、偏航角度以及滚动角度。

可选的，所述视线追踪装置400还用于通过以下步骤确定用户双眼各自的视网膜至瞳孔的第一距离：

获取用户按预定姿态要求，注视第一标定点时的多个第一人脸关键点、注视第二标定点时的多个第二人脸关键点、第一标定点在目标对象上的第一标定位置、第二标定点在目标对象上的第二标定位置、以及预定姿态要求下用户每只眼睛与目标对象之间的历史实际距离；

根据第一标定位置和第二标定位置，确定第一标定点和第二标定点之间的标定距离；

根据多个第一人脸关键点和多个第二人脸关键点进行眼部关键点分析处理，分别确定每只眼睛注视第一标定点和第二标定点时的瞳孔偏移距离；

针对每只眼睛，根据该只眼睛与目标对象之间的历史实际距离、对应的瞳孔偏移距离以及标定距离，通过三角形等比定理计算，确定该只眼睛的视网膜至瞳孔的第一距离。

可选的，所述追踪模块470在用于根据每只眼睛的视线角度、当前时刻的人脸姿态角度、眼部标定数据以及当前眼部观测信息，依次进行角度融合处理以及视线计算处理，确定用户当前注视目标对象时的视线信息时，所述追踪模块470用于：

针对用户的每只眼睛，根据当前眼部观测信息中该只眼睛当前注视目标对象时该只眼睛映射至目标对象上的第一映射位置、眼部标定数据中该只眼睛注视第一标定点时该只眼睛映射至目标对象上的第二映射位置、以及第一标定点在目标对象上的第一标定位置，进行位置偏移确定处理，确定该只眼睛当前注视所述目标对象时的初始视线落点；

根据当前眼部观测信息中该只眼睛的视线角度和当前时刻的人脸姿态角度，进行角度融合处理，确定该只眼睛的综合视线角；

根据该只眼睛的综合视线角和当前眼部观测信息中该只眼睛与目标对象之间的当前实际距离，对所述初始视线落点进行校正，确定该只眼睛当前注视所述目标对象时的目标视线落点；

根据眼部标定数据中该只眼睛视网膜至瞳孔的第一距离、当前眼部观测信息中该只眼睛与目标对象之间的当前实际距离、以及当前眼部观测信息中该只眼睛的瞳孔半径，通过三角形等比定理计算，确定该只眼睛当前注视所述目标对象时的视线范围。

可选的，所述追踪模块470在用于根据该只眼睛的综合视线角和当前眼部观测信息中该只眼睛与目标对象之间的当前实际距离，对所述初始视线落点进行校正，确定该只眼睛当前注视所述目标对象时的目标视线落点时，所述追踪模块470用于：

根据该只眼睛的综合视线角和当前眼部观测信息中该只眼睛与目标对象之间的当前实际距离，进行正切运算处理，确定视线校正位置值；

将所述视线校正位置值与所述初始视线落点融合，确定目标视线落点。

可选的，所述图像采集装置的前表面与所述目标对象的前表面平行或位于同一平面上。

请参阅图5，图5为本申请实施例所提供的一种电子设备的结构示意图。如图5中所示，所述电子设备500包括处理器510、存储器520和总线530。

所述存储器520存储有所述处理器510可执行的机器可读指令，当电子设备500运行时，所述处理器510与所述存储器520之间通过总线530通信，所述机器可读指令被所述处理器510执行时，可以执行如上述图至图3所示方法实施例中的步骤，具体实现方式可参见方法实施例，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图至图3所示方法实施例中的步骤，具体实现方式可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种视线追踪方法，其特征在于，所述视线追踪方法包括：

对图像采集装置所采集的目标对象前方的初始图像进行实时人脸检测；

当识别出所述初始图像中包含有符合人脸图像要求的人脸时，对所述初始图像中人脸进行关键点识别处理，确定出多个人脸关键点；

根据所述多个人脸关键点进行人脸姿态分析处理，确定出当前时刻的人脸姿态角度；

当所述人脸的姿态角度满足预设角度阈值要求时，根据所述多个人脸关键点，确定用户注视所述目标对象时的当前眼部观测信息；

获取标定过程中确定的眼部标定数据；

针对每只眼睛，根据当前眼部观测信息中该只眼睛瞳孔相对于眼睛轮廓的第一相对位置、眼部标定数据中该只眼睛注视第一标定点时该只眼睛瞳孔相对于眼睛轮廓的第二相对位置、以及眼部标定数据中该只眼睛视网膜至瞳孔的第一距离，通过反正切运算处理，确定出该只眼睛的视线角度；

根据每只眼睛的视线角度、当前时刻的人脸姿态角度、眼部标定数据以及当前眼部观测信息，依次进行角度融合处理以及视线计算处理，确定用户当前注视目标对象时的视线信息；其中，所述视线信息包括用户注视所述目标对象时每只眼睛的目标视线落点以及视线范围。

2.根据权利要求1所述的视线追踪方法，其特征在于，通过以下步骤确定所述初始图像中包含符合人脸图像要求的人脸：

对所述初始图像进行人脸检测处理；

当所述初始图像中包括人脸，确定所述初始图像中包含符合人脸图像要求的人脸；

或者，

当所述初始图像中包括人脸，且人脸区域的图像占比大于预设占比阈值，确定所述初始图像中包含符合人脸图像要求的人脸；

或者，

当所述初始图像中包括人脸，且人脸区域中心点相对于所述初始图像中心点的偏移距离小于预设距离阈值，确定所述初始图像中包含符合人脸图像要求的人脸；

或者，

当所述初始图像中包括人脸，且人脸区域的图像占比大于预设占比阈值、人脸区域中心点相对于所述初始图像中心点的偏移距离小于预设距离阈值，确定所述初始图像中包含符合人脸图像要求的人脸。

3.根据权利要求1所述的视线追踪方法，其特征在于，所述人脸姿态角度包括以下至少一项：俯仰角度、偏航角度以及滚动角度。

4.根据权利要求1所述的视线追踪方法，其特征在于，通过以下步骤确定用户双眼各自的视网膜至瞳孔的第一距离：

获取用户按预定姿态要求，注视第一标定点时的多个第一人脸关键点、注视第二标定点时的多个第二人脸关键点、第一标定点在目标对象上的第一标定位置、第二标定点在目标对象上的第二标定位置、以及预定姿态要求下用户每只眼睛与目标对象之间的历史实际距离；

根据第一标定位置和第二标定位置，确定第一标定点和第二标定点之间的标定距离；

根据多个第一人脸关键点和多个第二人脸关键点进行眼部关键点分析处理，分别确定每只眼睛注视第一标定点和第二标定点时的瞳孔偏移距离；

针对每只眼睛，根据该只眼睛与目标对象之间的历史实际距离、对应的瞳孔偏移距离以及标定距离，通过三角形等比定理计算，确定该只眼睛的视网膜至瞳孔的第一距离。

5.根据权利要求1所述的视线追踪方法，其特征在于，所述根据每只眼睛的视线角度、当前时刻的人脸姿态角度、眼部标定数据以及当前眼部观测信息，依次进行角度融合处理以及视线计算处理，确定用户当前注视目标对象时的视线信息，包括：

针对用户的每只眼睛，根据当前眼部观测信息中该只眼睛当前注视目标对象时该只眼睛映射至目标对象上的第一映射位置、眼部标定数据中该只眼睛注视第一标定点时该只眼睛映射至目标对象上的第二映射位置、以及第一标定点在目标对象上的第一标定位置，进行位置偏移确定处理，确定该只眼睛当前注视所述目标对象时的初始视线落点；

根据当前眼部观测信息中该只眼睛的视线角度和当前时刻的人脸姿态角度，进行角度融合处理，确定该只眼睛的综合视线角；

根据该只眼睛的综合视线角和当前眼部观测信息中该只眼睛与目标对象之间的当前实际距离，对所述初始视线落点进行校正，确定该只眼睛当前注视所述目标对象时的目标视线落点；

根据眼部标定数据中该只眼睛视网膜至瞳孔的第一距离、当前眼部观测信息中该只眼睛与目标对象之间的当前实际距离、以及当前眼部观测信息中该只眼睛的瞳孔半径，通过三角形等比定理计算，确定该只眼睛当前注视所述目标对象时的视线范围。

6.根据权利要求5所述的视线追踪方法，其特征在于，所述根据该只眼睛的综合视线角和当前眼部观测信息中该只眼睛与目标对象之间的当前实际距离，对所述初始视线落点进行校正，确定该只眼睛当前注视所述目标对象时的目标视线落点，包括：

根据该只眼睛的综合视线角和当前眼部观测信息中该只眼睛与目标对象之间的当前实际距离，进行正切运算处理，确定视线校正位置值；

将所述视线校正位置值与所述初始视线落点融合，确定目标视线落点。

7.根据权利要求1所述的视线追踪方法，其特征在于，所述图像采集装置的前表面与所述目标对象的前表面平行或位于同一平面上。

8.一种视线追踪装置，其特征在于，所述视线追踪装置包括：

第一识别模块，用于对图像采集装置所采集的目标对象前方的初始图像进行实时人脸检测；

第二识别模块，用于当识别出所述初始图像中包含有符合人脸图像要求的人脸时，对所述初始图像中人脸进行关键点识别处理，确定出多个人脸关键点；

第一确定模块，用于根据所述多个人脸关键点进行人脸姿态分析处理，确定出当前时刻的人脸姿态角度；

第二确定模块，用于当所述人脸的姿态角度满足预设角度阈值要求时，根据所述多个人脸关键点，确定用户注视所述目标对象时的当前眼部观测信息；

获取模块，用于获取标定过程中确定的眼部标定数据；

第三确定模块，用于针对每只眼睛，根据当前眼部观测信息中该只眼睛瞳孔相对于眼睛轮廓的第一相对位置、眼部标定数据中该只眼睛注视第一标定点时该只眼睛瞳孔相对于眼睛轮廓的第二相对位置、以及眼部标定数据中该只眼睛视网膜至瞳孔的第一距离，通过反正切运算处理，确定出该只眼睛的视线角度；

追踪模块，用于根据每只眼睛的视线角度、当前时刻的人脸姿态角度、眼部标定数据以及当前眼部观测信息，依次进行角度融合处理以及视线计算处理，确定用户当前注视目标对象时的视线信息；其中，所述视线信息包括用户注视所述目标对象时每只眼睛的目标视线落点以及视线范围。

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行如权利要求1至7任一所述的视线追踪方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一所述的视线追踪方法的步骤。