CN113807119B - 一种人员注视位置检测方法及装置 - Google Patents

Abstract

本发明实施例公开一种人员注视位置检测方法及装置，该方法包括：获得待检测图像，待检测图像为：待检测人员对应的人脸图像及该人脸图像对应的眼睛图像拼接所得的图像；利用待检测图像及目标视线方向检测模型，确定待检测图像所对应备用视线方向信息及其对应的备用置信度信息，样本图像为：包含样本人员的面部的样本人脸图像及该样本人脸图像对应的眼睛图像拼接所得的图像；获得待检测图像对应的待检测人员的眼睛对应的空间位置信息；基于备用视线方向信息中指定视线方向信息及其对应的备用置信度信息，以及空间位置信息中指定视线方向信息对应的空间位置信息，确定待检测人员的当前注视位置分布信息，以实现对人员注视位置的准确检测。

Description

一种人员注视位置检测方法及装置

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种人员注视位置检测方法及装置。

背景技术

目前，疲劳检测技术一般是通过检测人员是否出现异常行为，例如人员是否闭眼，人员是否打哈欠等行为，来确定人员状态是否处于疲劳状态，其中，在检测到人员出现异常行为的情况下，则确定人员状态为疲劳状态。

然而，在一些场景中，人员在疲劳时可能会处于一种模糊的状态，如注意力不集中等情况，而人员注意力不集中的情况下，在突发情况发生时人员难以做出及时反应，致使人员安全存在隐患。可见，在疲劳检测中，对人员的注意力的检测也至关重要。

人员注意力不集中的情况下往往表现为：眼睛长时间注视某一个位置，或者眼睛注视方向与其当前行为不符，例如：驾驶过程中人员的眼睛注视位置与其当前的驾驶行为不符等，举例而言，驾驶过程中，人员在控制车辆左转弯或右转转弯时，人员的眼睛注视位置与转弯方向不符等。

可见，在对人员注意力的检测过程中，如何准确地检测到人员的注视位置至关重要。

发明内容

本发明提供了一种人员注视位置检测方法及装置，以实现对人员注视位置的准确检测。具体的技术方案如下：

第一方面，本发明实施例提供了一种人员注视位置检测方法，所述方法包括：

获得待检测图像，其中，所述待检测图像为：待检测人员对应的人脸图像及该人脸图像对应的眼睛图像拼接所得的图像；

利用所述待检测图像以及目标视线方向检测模型，确定所述待检测图像所对应备用视线方向信息及其对应的备用置信度信息，其中，所述目标视线方向检测模型为：基于标注有标注视线方向信息的样本图像训练所得的模型，所述样本图像为：包含样本人员的面部的样本人脸图像及该样本人脸图像对应的眼睛图像拼接所得的图像，所述备用置信度信息用于表征所对应备用视线方向信息的准确度；

获得所述待检测图像对应的所述待检测人员的眼睛对应的空间位置信息；

基于所述备用视线方向信息中指定视线方向信息及其对应的备用置信度信息，以及所述空间位置信息中所述指定视线方向信息对应的空间位置信息，确定所述待检测人员的当前注视位置分布信息。

可选的，所述获得待检测图像的步骤，包括：

获得包括所述待检测人员的面部的人脸图像；

从所述人脸图像中，截取出包括所述待检测人员的人眼的图像，确定为所述人脸图像对应的眼睛图像，其中，所述眼睛图像包括：包含所述待检测人员的左眼的左眼图像和/或包含所述待检测人员的右眼的右眼图像；

调整所述人脸图像和所述眼睛图像的尺寸至相同尺寸，并在通道维度上拼接调整尺寸后的所述人脸图像和所述眼睛图像，获得所述待检测图像。

可选的，所述基于所述备用视线方向信息中指定视线方向信息及其对应的备用置信度信息，以及所述空间位置信息中所述指定视线方向信息对应的空间位置信息，确定所述待检测人员的当前注视位置分布信息的步骤，包括：

构建用于表征所述待检测人员的注视位置分布的高斯分布模型，其中，所述备用视线方向信息中指定视线方向信息为所述高斯分布模型的期望均值，所述指定视线方向信息对应的备用置信度信息为所述高斯分布模型的方差；

基于所述高斯分布模型，确定预设数量个参考视线方向信息；

针对每一参考视线方向信息，基于该参考视线方向信息以及所述空间位置信息中所述指定视线方向信息对应的空间位置信息，确定该参考视线方向信息对应的注视位置信息，以确定出所述待检测人员的当前注视位置分布信息。

可选的，在所述利用所述待检测图像以及目标视线方向检测模型，确定所述待检测图像所对应备用视线方向信息及其对应的备用置信度信息的步骤之前，所述方法还包括：

训练得到所述目标视线方向检测模型的过程，其中，所述过程包括：

获得初始视线方向检测模型；

获得多个样本图像以及每一样本图像对应的标注视线方向信息；

基于多个样本图像以及每一样本图像对应的标注视线方向信息，训练所述初始视线方向检测模型，直至所述初始视线方向检测模型达到预设收敛条件，得到所述目标视线方向检测模型。

可选的，所述基于多个样本图像以及每一样本图像对应的标注视线方向信息，训练所述初始视线方向检测模型，直至所述初始视线方向检测模型达到预设收敛条件，得到所述目标视线方向检测模型的步骤，包括：

针对每一样本图像，将该样本图像输入所述初始视线方向检测模型的特征提取层，提取出该样本图像对应的图像特征；

将该样本图像对应的图像特征输入所述初始视线方向检测模型的特征检测层，确定样本图像对应的预测视线方向信息以及该预测视线方向信息对应的当前置信度信息；

基于预设损失函数、该样本图像对应的预测视线方向信息、该预测视线方向信息对应的当前置信度信息，以及该样本图像对应的标注视线方向信息，确定所述初始视线方向检测模型对应的当前损失值；

判断所述当前损失值是否大于预设损失值阈值；

若判断所述当前损失值不大于所述预设损失值阈值，则确定所述初始视线方向检测模型达到预设收敛条件，得到所述目标视线方向检测模型；

若判断所述当前损失值大于所述预设损失值阈值，调整所述特征提取层和所述特征检测层的模型参数，并执行所述针对每一样本图像，将该样本图像输入所述初始视线方向检测模型的特征提取层，提取出该样本图像对应的图像特征的步骤。

可选的，所述预设损失函数的表达式为：

其中，所述Loss表示当前损失值，所述gt表示样本图像对应的标注视线方向信息；所述pt表示该样本图像对应的预测视线方向信息，所述表示该预测视线方向信息对应的当前置信度信息。

可选的，在所述基于所述备用视线方向信息中指定视线方向信息及其对应的备用置信度信息，以及所述空间位置信息中所述指定视线方向信息对应的空间位置信息，确定所述待检测人员的当前注视位置分布信息的步骤之后，所述方法还包括：

获得所述待检测图像对应的前N帧图像各自对应的历史注视位置分布信息，其中，所述历史注视位置分布信息为：基于所对应图像以及所述目标视线方向检测模型，确定的位置分布信息；

基于所述历史注视位置信息以及所述当前注视位置信息，确定所述待检测人员的注视位置移动轨迹信息；

基于所述注视位置移动轨迹信息，确定所述待检测人员的注意力信息。

可选的，在所述基于所述备用视线方向信息中指定视线方向信息及其对应的备用置信度信息，以及所述空间位置信息中所述指定视线方向信息对应的空间位置信息，确定所述待检测人员的当前注视位置分布信息的步骤之后，所述方法还包括：

基于所述当前注视位置分布信息，确定所述待检测人员当前注视位置区域。

第二方面，本发明实施例提供了一种人员注视位置检测装置，所述装置包括：

第一获得模块，被配置为获得待检测图像，其中，所述待检测图像为：待检测人员对应的人脸图像及该人脸图像对应的眼睛图像拼接所得的图像；

第一确定模块，被配置为利用所述待检测图像以及目标视线方向检测模型，确定所述待检测图像所对应备用视线方向信息及其对应的备用置信度信息，其中，所述目标视线方向检测模型为：基于标注有标注视线方向信息的样本图像训练所得的模型，所述样本图像为：包含样本人员的面部的样本人脸图像及该样本人脸图像对应的眼睛图像拼接所得的图像，所述备用置信度信息用于表征所对应备用视线方向信息的准确度；

第二获得模块，被配置为获得所述待检测图像对应的所述待检测人员的眼睛对应的空间位置信息；

第二确定模块，被配置为基于所述备用视线方向信息中指定视线方向信息及其对应的备用置信度信息，以及所述空间位置信息中所述指定视线方向信息对应的空间位置信息，确定所述待检测人员的当前注视位置分布信息。

可选的，所述第一获得模块，被具体配置为获得包括所述待检测人员的面部的人脸图像；

从所述人脸图像中，截取出包括所述待检测人员的人眼的图像，确定为所述人脸图像对应的眼睛图像，其中，所述眼睛图像包括：包含所述待检测人员的左眼的左眼图像和/或包含所述待检测人员的右眼的右眼图像；

调整所述人脸图像和所述眼睛图像的尺寸至相同尺寸，并在通道维度上拼接调整尺寸后的所述人脸图像和所述眼睛图像，获得所述待检测图像。

可选的，所述第二确定模块，被具体配置为构建用于表征所述待检测人员的注视位置分布的高斯分布模型，其中，所述备用视线方向信息中指定视线方向信息为所述高斯分布模型的期望均值，所述指定视线方向信息对应的备用置信度信息为所述高斯分布模型的方差；

基于所述高斯分布模型，确定预设数量个参考视线方向信息；

针对每一参考视线方向信息，基于该参考视线方向信息以及所述空间位置信息中所述指定视线方向信息对应的空间位置信息，确定该参考视线方向信息对应的注视位置信息，以确定出所述待检测人员的当前注视位置分布信息。

可选的，所述装置还包括：

模型训练模块，被配置为在所述利用所述待检测图像以及目标视线方向检测模型，确定所述待检测图像所对应备用视线方向信息及其对应的备用置信度信息之前，训练得到所述目标视线方向检测模型，其中，所述模型训练模块包括：

第一获得单元，被配置为获得初始视线方向检测模型；

第二获得单元，被配置为获得多个样本图像以及每一样本图像对应的标注视线方向信息；

训练单元，被配置为基于多个样本图像以及每一样本图像对应的标注视线方向信息，训练所述初始视线方向检测模型，直至所述初始视线方向检测模型达到预设收敛条件，得到所述目标视线方向检测模型。

可选的，所述训练单元，被具体配置为针对每一样本图像，将该样本图像输入所述初始视线方向检测模型的特征提取层，提取出该样本图像对应的图像特征；

将该样本图像对应的图像特征输入所述初始视线方向检测模型的特征检测层，确定样本图像对应的预测视线方向信息以及该预测视线方向信息对应的当前置信度信息；

基于预设损失函数、该样本图像对应的预测视线方向信息、该预测视线方向信息对应的当前置信度信息，以及该样本图像对应的标注视线方向信息，确定所述初始视线方向检测模型对应的当前损失值；

判断所述当前损失值是否大于预设损失值阈值；

若判断所述当前损失值不大于所述预设损失值阈值，则确定所述初始视线方向检测模型达到预设收敛条件，得到所述目标视线方向检测模型；

若判断所述当前损失值大于所述预设损失值阈值，调整所述特征提取层和所述特征检测层的模型参数，并执行所述针对每一样本图像，将该样本图像输入所述初始视线方向检测模型的特征提取层，提取出该样本图像对应的图像特征的步骤。

可选的，所述预设损失函数的表达式为：

其中，所述Loss表示当前损失值，所述gt表示样本图像对应的标注视线方向信息；所述pt表示该样本图像对应的预测视线方向信息，所述表示该预测视线方向信息对应的当前置信度信息。

可选的，所述装置还包括：

第三获得模块，被配置为在所述基于所述备用视线方向信息中指定视线方向信息及其对应的备用置信度信息，以及所述空间位置信息中所述指定视线方向信息对应的空间位置信息，确定所述待检测人员的当前注视位置分布信息之后，获得所述待检测图像对应的前N帧图像各自对应的历史注视位置分布信息，其中，所述历史注视位置分布信息为：基于所对应图像以及所述目标视线方向检测模型，确定的位置分布信息；

第三确定模块，被配置为基于所述历史注视位置信息以及所述当前注视位置信息，确定所述待检测人员的注视位置移动轨迹信息；

第四确定模块，被配置为基于所述注视位置移动轨迹信息，确定所述待检测人员的注意力信息。

可选的，所述装置还包括：

第五确定模块，被配置为在所述基于所述备用视线方向信息中指定视线方向信息及其对应的备用置信度信息，以及所述空间位置信息中所述指定视线方向信息对应的空间位置信息，确定所述待检测人员的当前注视位置分布信息之后，基于所述当前注视位置分布信息，确定所述待检测人员当前注视位置区域。

由上述内容可知，本发明实施例提供的一种人员注视位置检测方法及装置，获得待检测图像，其中，待检测图像为：待检测人员对应的人脸图像及该人脸图像对应的眼睛图像拼接所得的图像；利用待检测图像以及目标视线方向检测模型，确定待检测图像所对应备用视线方向信息及其对应的备用置信度信息，其中，目标视线方向检测模型为：基于标注有标注视线方向信息的样本图像训练所得的模型，样本图像为：包含样本人员的面部的样本人脸图像及该样本人脸图像对应的眼睛图像拼接所得的图像，置信度信息用于表征所对应备用视线方向信息的准确度；获得待检测图像对应的待检测人员的眼睛对应的空间位置信息；基于备用视线方向信息中指定视线方向信息及其对应的备用置信度信息，以及空间位置信息中指定视线方向信息对应的空间位置信息，确定待检测人员的当前注视位置分布信息。

应用本发明实施例，可以利用目标视线方向检测模型所确定待检测图像所对应的备用视线方向信息及其对应的备用置信度信息，以及眼睛对应的空间位置信息，确定出可以更准确的表征出待检测人员的当前注视位置的当前注视位置分布信息，以实现对人员注视位置的准确检测。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

本发明实施例的创新点包括：

1、可以利用目标视线方向检测模型所确定待检测图像所对应的备用视线方向信息及其对应的备用置信度信息，以及眼睛对应的空间位置信息，确定出可以更准确的表征出待检测人员的当前注视位置的当前注视位置分布信息，以实现对人员注视位置的准确检测。

2、备用视线方向信息中指定视线方向信息为期望均值，指定视线方向信息对应的备用置信度信息为方差，构建用于表征待检测人员的注视位置分布的高斯分布模型，以确定出符合高斯分布的预设数量个参考视线方向信息，进而，利用参考视线方向信息以及空间位置信息中备用视线方向信息对应的空间位置信息，确定出每一参考视线方向信息对应的注视位置信息，以确定出可以更准确的表征出待检测人员的当前注视位置的当前注视位置分布信息，提高后续确定的人员注视位置的准确性。

3、训练得到目标视线方向检测模型的过程中，基于预设损失函数、该样本图像对应的预测视线方向信息、该预测视线方向信息对应的当前置信度信息，以及该样本图像对应的标注视线方向信息，确定初始视线方向检测模型对应的当前损失值，进而基于当前损失值调整模型参数，使得模型不仅学习得到样本图像对应的视线方向信息，同时学习到该视线方向信息所对应的分布，即学习到初始视线方向检测模型确定出的样本图像所对应预测视线方向信息对应的置信度信息，即所确定出的预测视线方向信息与作为真值的该样本图像对应的标注视线方向信息之间的预测偏差，为后续的确定出更准确的人员注视位置做基础。

4、基于当前注视位置分布信息以及历史注视位置分布信息，拟合确定出待检测人员的注视位置移动轨迹信息，进而，基于注视位置移动轨迹信息，确定出准确性更高的待检测人员的注意力信息。和/或，基于当前注视位置分布信息，确定出准确性更高的待检测人员当前注视位置区域。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的人员注视位置检测方法的一种流程示意图；

图2为本发明实施例提供的人员注视位置检测方法的另一种流程示意图；

图3为本发明实施例提供的人员注视位置检测方法的另一种流程示意图；

图4为本发明实施例提供的人员注视位置检测装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明提供了一种人员注视位置检测方法及装置，以实现对人员注视位置的准确检测。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的方法的一种人员注视位置检测方法的流程示意图。该方法可以包括如下步骤：

S101：获得待检测图像。

其中，待检测图像为：待检测人员对应的人脸图像及该人脸图像对应的眼睛图像拼接所得的图像。

本发明实施例所提供的一种人员注视位置检测方法，可以应用于任一具有计算能力的电子设备中，该电子设备可以为服务器也可以为终端。在一种实现中，该电子设备可以直接获得待检测图像，该待检测图像为：待检测人员对应的人脸图像及该人脸图像对应的眼睛图像拼接所得的图像。其中，该待检测图像为待检测人员对应的人脸图像及该人脸图像对应的眼睛图像在通道维度上拼接所得的图像。在一种情况中，该待检测人员对应的人脸图像为红外图像，即为红外摄像头采集的图像，为单通道图像。相应的，该人脸图像对应的眼睛图像为红外图像。该人脸图像对应的眼睛图像为从人脸图像中截取出的包括待检测人员的眼睛的区域图像。

在另一种实现中，该电子设备可以与图像采集设备连接。其中，该图像采集设备可以设置于目标场景内，针对目标场景中的待检测人员的面部采集图像。一种情况，该目标场景可以为车辆内部。相应的，电子设备可以直接获得图像采集设备针对待检测人员的面部所采集的图像，作为人脸图像，进而从人脸图像中截取出眼睛所在区域图像，得到人脸图像对应的眼睛图像；拼接该人脸图像与其对应的眼睛图像，得到待检测图像。

相应的，在本发明的一种实现方式中，所述S101，可以包括如下步骤011-013：

011：获得包括待检测人员的面部的人脸图像。

012：从人脸图像中，截取出包括待检测人员的人眼的图像，确定为人脸图像对应的眼睛图像，其中，眼睛图像包括：包含待检测人员的左眼的左眼图像和/或包含待检测人员的右眼的右眼图像。

013：调整人脸图像和眼睛图像的尺寸至相同尺寸，并在通道维度上拼接调整尺寸后的人脸图像和眼睛图像，获得待检测图像。

本实现方式中，电子设备获得待检测人员对应的人脸图像之后，从人脸图像中识别出待检测人员的左眼所在区域并截取出，得到包含待检测人员的左眼的左眼图像，和/或待检测人员的右眼所在区域并截取出，得到包含待检测人员的右眼的右眼图像，以得到人脸图像对应的眼睛图像。进而，调整人脸图像和眼睛图像的尺寸至相同尺寸并在通道维度上拼接调整尺寸后的人脸图像和眼睛图像，获得待检测图像。

S102：利用待检测图像以及目标视线方向检测模型，确定待检测图像所对应备用视线方向信息及其对应的备用置信度信息。

其中，目标视线方向检测模型为：基于标注有标注视线方向信息的样本图像训练所得的模型，样本图像为：包含样本人员的面部的样本人脸图像及该样本人脸图像对应的眼睛图像拼接所得的图像，备用置信度信息用于表征所对应备用视线方向信息的准确度。

本步骤中，电子设备将待检测图像输入目标视线方向检测模型，其中，目标视线方向检测模型包括特征提取层和特征检测层。通过目标视线方向检测模型的特征提取层，提取该待检测图像对应的图像特征；并通过目标视线方向检测模型的特征检测层与该待检测图像对应的图像特征，确定出待检测图像对应的备用视线方向信息以及备用视线方向信息对应到的备用置信度信息，其中，备用视线方向信息为表征待检测图像中待检测人员的眼睛的视线方向信息。备用视线方向信息对应的备用置信度信息可以表征：目标视线方向检测模型所预测出的备用视线方向信息，与待检测图像中待检测人员的眼睛的真实视线方向信息之间的偏差，即备用置信度信息可以用于表征所对应备用视线方向信息的准确度，其中，备用置信度信息越大，所对应备用视线方向信息的准确度越低。

一种情况中，人脸图像对应的眼睛图像包括：包含待检测人员左眼的左眼图像和包含待检测人员右眼的右眼图像。相应的，该备用视线方向信息包括：待检测人员左眼对应的视线方向信息，待检测人员右眼对应的视线方向信息以及待检测人员左眼和右眼的中间点对应的视线方向信息。

在一种实现中，待检测人员左眼对应的视线方向信息、待检测人员右眼对应的视线方向信息以及待检测人员左眼和右眼的中间点对应的视线方向信息，可以通过偏转角和俯仰角表示。该偏转角和俯仰角为采集得到待检测人员的该人脸图像的图像采集设备的设备坐标系下的角度；相应的，待检测人员左眼对应的视线方向信息、待检测人员右眼对应的视线方向信息以及待检测人员左眼和右眼的中间点对应的视线方向信息为：在采集得到待检测人员的该人脸图像的图像采集设备的设备坐标系的方向信息。

S103：获得待检测图像对应的待检测人员的眼睛对应的空间位置信息。

电子设备得到待检测图像所对应备用视线方向信息和备用视线方向信息对应的备用置信度信息之后，可以获得待检测图像对应的待检测人员的眼睛对应的空间位置信息。在一种情况中，拼接得到待检测图像的眼睛图像包括：包含待检测人员左眼的左眼图像和包含待检测人员右眼的右眼图像，相应的，所获得的待检测人员的眼睛对应的空间位置信息包括：待检测人员左眼对应的空间位置信息、待检测人员右眼对应的空间位置信息以及待检测人员左眼和右眼的中间点对应的空间位置信息。

在一种实现中，待检测人员左眼对应的空间位置信息和右眼对应的空间位置信息，可以利用相关技术中任一可确定得到人脸图像中各人脸特征点对应的空间位置信息的方式确定得到。进而，基于待检测人员左眼对应的空间位置信息和右眼对应的空间位置信息，确定待检测人员左眼和右眼的中间点对应的空间位置信息。

S104：基于备用视线方向信息中指定视线方向信息及其对应的备用置信度信息，以及空间位置信息中指定视线方向信息对应的空间位置信息，确定待检测人员的当前注视位置分布信息。

其中，在备用视线方向信息包括待检测人员左眼对应的视线方向信息，待检测人员右眼对应的视线方向信息以及待检测人员左眼和右眼的中间点对应的视线方向信息的情况下，电子设备本地或所连接存储设备可以预先存储有参与后续计算的指定眼睛信息。其中：若该指定眼睛信息表征使用左眼对应的视线方向信息，则将备用视线方向信息中左眼对应的视线方向信息作为指定视线方向信息，相应的，基于备用视线方向信息中左眼对应的视线方向信息、左眼对应的视线方向信息所对应备用置信度信息，以及空间位置信息中左眼对应的空间位置信息，确定待检测人员的当前注视位置分布信息。若该指定眼睛信息表征使用右眼对应的视线方向信息，则将备用视线方向信息中右眼对应的视线方向信息作为指定视线方向信息，相应的，基于备用视线方向信息中右眼对应的视线方向信息、右眼对应的视线方向信息所对应备用置信度信息，以及空间位置信息中右眼对应的空间位置信息，确定待检测人员的当前注视位置分布信息。若该指定眼睛信息表征使用左眼和右眼的中间点对应的视线方向信息，则将备用视线方向信息中左眼和右眼的中间点对应的视线方向信息作为指定视线方向信息，相应的，基于备用视线方向信息中左眼和右眼的中间点对应的视线方向信息、左眼和右眼的中间点对应的视线方向信息所对应备用置信度信息，以及空间位置信息中左眼和右眼的中间点对应的空间位置信息，确定待检测人员的当前注视位置分布信息。

在一种情况中，所确定的待检测图像所对应备用视线方向信息为：在采集得到待检测人员的人脸图像的图像采集设备的设备坐标系下的信息，在确定待检测人员的当前注视位置分布信息时，需要将指定视线方向信息从设备坐标系下转换至目标场景对应的预设三维空间直角坐标系下，例如目标场景为车辆内部时，该预设三维空间直角坐标系为车体坐标系。所获得的待检测人员的眼睛对应的空间位置信息为在该预设三维空间直角坐标系的位置信息。

电子设备在确定待检测人员的当前注视位置分布信息的过程中，电子设备可以首先基于预先标定的预设三维空间直角坐标系与设备坐标系之间的位置转换关系，将指定视线方向信息从设备坐标系转换至预设三维空间直角坐标系下，得到预设三维空间直角坐标系下的指定视线方向信息，进而，基于预设三维空间直角坐标系下的指定视线方向信息及指定视线方向信息对应的备用置信度信息，以及空间位置信息中指定视线方向信息对应的空间位置信息，确定待检测人员的当前注视位置分布信息。

其中，指定视线方向信息通过在设备坐标系下的偏转角和俯仰角表示，在将指定视线方向信息从设备坐标系转换至预设三维空间直角坐标系下的过程中，需要首先将通过在设备坐标系下的偏转角和俯仰角表示的指定视线方向信息转化为单位向量列向量，进而，利用预设转化公式、单位向量列向量以及位置转换关系，确定得到在预设三维空间直角坐标系的以单位向量列向量表示的指定视线方向信息，再将在预设三维空间直角坐标系的以单位向量列向量表示的指定视线方向信息，转化为在预设三维空间直角坐标系的以偏转角和俯仰角表示的指定视线方向信息。

其中，该预设转化公式可以通过如下公式(1)表示：

V_new＝R*V_old(1)；其中，V_new表示在预设三维空间直角坐标系的以单位向量列向量表示的指定视线方向信息，V_old表示在设备坐标系下以单位向量列向量表示的指定视线方向信息，R表示位置转换关系，是一个3x3的正交矩阵。

应用本发明实施例，可以利用目标视线方向检测模型所确定待检测图像所对应的备用视线方向信息及其对应的备用置信度信息，以及眼睛对应的空间位置信息，确定出可以更准确的表征出待检测人员的当前注视位置的当前注视位置分布信息，以实现对人员注视位置的准确检测。

在本发明的另一实施例中，所述S104，可以包括如下步骤021-023：

021：构建用于表征待检测人员的注视位置分布的高斯分布模型。

其中，备用视线方向信息中指定视线方向信息为高斯分布模型的期望均值，指定视线方向信息对应的备用置信度信息为高斯分布模型的方差。

022：基于高斯分布模型，确定预设数量个参考视线方向信息。

023：针对每一参考视线方向信息，基于该参考视线方向信息以及空间位置信息中指定视线方向信息对应的空间位置信息，确定该参考视线方向信息对应的注视位置信息，以确定出待检测人员的当前注视位置分布信息。

本实现方式中，可以认为人员的注视位置满足高斯分布，相应的，将指定视线方向信息作为高斯分布模型的期望均值，指定视线方向信息对应的备用置信度信息为高斯分布模型的方差，构建用于表征待检测人员的注视位置分布的高斯分布模型，利用该高斯分布模型，确定出满足期望均值为指定视线方向信息，方差为指定视线方向信息对应的备用置信度信息的预设数量个参考视线方向信息。进而，针对每一参考视线方向信息，基于该参考视线方向信息以及空间位置信息中指定视线方向信息对应的空间位置信息，确定该参考视线方向信息对应的注视位置信息，以确定出待检测人员的当前注视位置分布信息。可以理解的，该当前注视位置分布信息可以包括该预设数量个参考视线方向信息对应的注视位置信息。

可以理解的是，以指定视线方向信息对应的空间位置信息所表征的空间点，即指定空间点作为向量起点，以参考视线方向信息所表征的方向为向量方向，可以确定一条射线，在目标场景为车辆内部的情况下，该射线与车身存在一交点，即基于每一参考视线方向信息以及指定视线方向信息对应的空间位置信息，可以确定出与车身的一个交点，该交点即该参考视线方向信息对应的注视位置信息，该预设数量个参考视线方向信息对应的注视位置信息构成待检测人员的当前注视位置分布信息，以通过当前注视位置分布信息来表征待检测人员当前注视位置。其中，指定空间点可以为待检测人员的左眼、右眼或左眼和右眼的中间点。

在本发明的另一实施例中，在所述S102之前，所述方法还可以包括：

训练得到目标视线方向检测模型的过程，其中，所述过程可以包括如下步骤031-033：

031：获得初始视线方向检测模型。

032：获得多个样本图像以及每一样本图像对应的标注视线方向信息。

033：基于多个样本图像以及每一样本图像对应的标注视线方向信息，训练初始视线方向检测模型，直至初始视线方向检测模型达到预设收敛条件，得到目标视线方向检测模型。

本实现方式中，为了保证所确定的人员注视位置的准确性，电子设备可以获得初始视线方向检测模型，并获得多个样本图像以及每一样本图像对应的标注视线方向信息，进而，基于多个样本图像以及每一样本图像对应的标注视线方向信息，训练初始视线方向检测模型，直至初始视线方向检测模型达到预设收敛条件，得到目标视线方向检测模型。每一样本图像对应的标注视线方向信息可以表征样本图像对应的眼睛的注视方向。

其中，该样本图像为：包含样本人员的面部的样本人脸图像及该样本人脸图像对应的眼睛图像拼接所得的图像，样本人脸图像对应的眼睛图像为从样本人脸图像中所截取的样本人员眼睛所在区域图像，样本人脸图像对应的眼睛图像包括：包含样本人员左眼的左眼图像和/或样本人员右眼的右眼图像。该初始视线方向检测模型可以为基于深度学习的神经网络模型，例如，可以为卷积神经网络模型。

在本发明的另一实施例中，所述033可以包括如下步骤：

0331：针对每一样本图像，将该样本图像输入初始视线方向检测模型的特征提取层，提取出该样本图像对应的图像特征。

0332：将该样本图像对应的图像特征输入初始视线方向检测模型的特征检测层，确定样本图像对应的预测视线方向信息以及该预测视线方向信息对应的当前置信度信息。

0333：基于预设损失函数、该样本图像对应的预测视线方向信息、该预测视线方向信息对应的当前置信度信息，以及该样本图像对应的标注视线方向信息，确定初始视线方向检测模型对应的当前损失值。

0334：判断当前损失值是否大于预设损失值阈值。

0335：若判断当前损失值不大于预设损失值阈值，则确定初始视线方向检测模型达到预设收敛条件，得到目标视线方向检测模型。

0336：若判断当前损失值大于预设损失值阈值，调整特征提取层和特征检测层的模型参数，并执行0331。

本发明实施例中，该预设收敛条件可以包括：限定基于样本图像对应的预测视线方向信息及其对应的当前置信度信息，以及样本图像对应的标注视线方向信息所确定的当前损失值不大于预设损失值阈值的条件。

电子设备针对每一样本图像，将该样本图像输入初始视线方向检测模型的特征提取层，提取出该样本图像对应的图像特征；将该样本图像对应的图像特征输入初始视线方向检测模型的特征检测层，确定样本图像对应的预测视线方向信息以及该预测视线方向信息对应的当前置信度信息，进而，基于预设损失函数、该样本图像对应的预测视线方向信息、该预测视线方向信息对应的当前置信度信息，以及该样本图像对应的标注视线方向信息，确定初始视线方向检测模型对应的当前损失值，判断当前损失值是否大于预设损失值阈值，若判断当前损失值不大于预设损失值阈值，则确定初始视线方向检测模型达到预设收敛条件，得到目标视线方向检测模型；若判断当前损失值大于预设损失值阈值，基于预设优化算法，调整特征提取层和特征检测层的模型参数，并返回执行0331，直至初始视线方向检测模型达到预设收敛条件，得到目标视线方向检测模型。

其中，该预设优化算法可以包括但不限于梯度下降法。

在本发明的另一实施例中，该预设损失函数的表达式可以为：

其中，该Loss表示当前损失值，该gt表示样本图像对应的标注视线方向信息；该pt表示该样本图像对应的预测视线方向信息，该表示该预测视线方向信息对应的当前置信度信息。

在另一种实现方式中，还可以利用批量的样本图像对应的预测视线方向信息、该预测视线方向信息对应的当前置信度信息以及该样本图像对应的标注视线方向信息，确定初始视线方向检测模型对应的当前损失值，相应的，该预设损失函数的表达式可以为：

其中，该Loss表示当前损失值，该gt_i表示批量的样本图像中第i个样本图像对应的标注视线方向信息；该pt_i表示批量的样本图像中第i个样本图像对应的预测视线方向信息，该表示批量的样本图像中第i个样本图像对应的预测视线方向信息对应的当前置信度信息，m表示批量的样本图像的总数量。

在本发明的另一实施例中，如图2所示，所述方法可以包括如下步骤：

S201：获得待检测图像。

其中，待检测图像为：待检测人员对应的人脸图像及该人脸图像对应的眼睛图像拼接所得的图像。

S202：利用待检测图像以及目标视线方向检测模型，确定待检测图像所对应备用视线方向信息及其对应的备用置信度信息。

其中，目标视线方向检测模型为：基于标注有标注视线方向信息的样本图像训练所得的模型，样本图像为：包含样本人员的面部的样本人脸图像及该样本人脸图像对应的眼睛图像拼接所得的图像，备用置信度信息用于表征所对应备用视线方向信息的准确度。

S203：获得待检测图像对应的待检测人员的眼睛对应的空间位置信息。

S204：基于备用视线方向信息中指定视线方向信息及其对应的备用置信度信息，以及空间位置信息中备用视线方向信息对应的空间位置信息，确定待检测人员的当前注视位置分布信息。

S205：获得待检测图像对应的前N帧图像各自对应的历史注视位置分布信息。

其中，历史注视位置分布信息为：基于所对应图像以及目标视线方向检测模型，确定的位置分布信息。

S206：基于历史注视位置信息以及当前注视位置信息，确定待检测人员的注视位置移动轨迹信息。

S207：基于注视位置移动轨迹信息，确定待检测人员的注意力信息。

其中，该S201与图1中所示的S101相同，该S202与图1中所示的S102相同，该S203与图1中所示的S103相同，该S204与图1中所示的S104相同，在此不再赘述。

待检测图像所确定出的当前注视位置分布信息，可以表征出待检测人员在采集得到待检测图像的时刻的视线注视位置的分布概率，通过该视线注视位置的分布概率可以确定出更加准确的在该时刻时待检测人员的视线注视位置。

在一种实现中，考虑到人员注意力可以通过人员在一段时间的视线注视位置的变化确定，例如：人员在一段时间视线注视位置表征其长时间注视一个位置，可以确定该人员注意力不集中。在一种实现中，人员的视线注视位置与其行为存在关联关系，例如：该待检测人员为车辆驾驶员，且正在驾驶车辆的情况下，待检测人员的视线注视位置与其驾驶行为存在关联关系，理论上，为了驾驶安全，待检测人员的注视位置一般需要停留在正常驾驶区域内，例如：车辆后视镜、车辆侧视镜、车辆仪表盘以及前车窗等，且待检测人员的注视位置变化轨迹需要符合待检测人员的当前驾驶行为。而在人员注意力不集中的情况下，易出现人员的视线注视位置与其行为不符的情况，相应的，可以基于人员的视线注视位置一段时间的变化，确定人员的注意力是否集中。

考虑到上述情况，电子设备确定待检测图像对应的待检测人员的当前注视位置分布信息之后，可以获得待检测图像对应的前N帧图像各自对应的历史注视位置分布信息，基于历史注视位置信息以及当前注视位置信息，确定待检测人员的注视位置移动轨迹信息，基于注视位置移动轨迹信息，确定待检测人员的注意力信息。若注视位置移动轨迹信息表征其不符合待检测人员的当前行为，则可以确定待检测人员的注意力信息表征待检测人员注意力不集中，若注视位置移动轨迹信息表征其符合待检测人员的当前行为，则可以确定待检测人员的注意力信息表征待检测人员注意力集中。

其中，待检测图像对应的前N帧图像中的每一帧图像均为：由其相应的人脸图像以及该人脸图像对应的眼睛图像拼接所得图像。待检测图像对应的前N帧图像中的每一帧图像对应的历史注视位置分布信息的确定过程，可以参见待检测图像对应的当前注视位置分布位置的确定过程，在此不再赘述。N为正整数，可以根据用户需要进行设置。

一种实现中，上述确定待检测人员的注视位置移动轨迹信息的过程，可以是：基于当前注视位置信息生成一热力图，作为第一热力图；并基于待检测图像对应的前N帧图像中每一图像对应的历史注视位置分布信息，生成一热力图，作为第二热力图；进而，按照待检测图像对应的前N帧图像一级待检测图像对应的采集时间，叠加显示第一热力图和第二热力图；基于叠加显示的第一热力图和第二热力图，确定待检测人员的注视位置移动轨迹信息。

其中，热力图中，每一像素点的像素值表示这个像素点的亮度。其中，像素点的像素值越大，该像素点的亮度越大；并且热力图中像素点的像素值还可以表示这个像素点为目标点，即待检测人员当前注视位置的可能性，像素点的像素值越大，相应的像素点为目标点的可能性越大。该热力图包括第一热力图和第二热力图。

在本发明的另一实施例中，在本发明的另一实施例中，如图3所示，所述方法可以包括如下步骤：

S301：获得待检测图像。

其中，待检测图像为：待检测人员对应的人脸图像及该人脸图像对应的眼睛图像拼接所得的图像。

S302：利用待检测图像以及目标视线方向检测模型，确定待检测图像所对应备用视线方向信息及其对应的备用置信度信息。

其中，目标视线方向检测模型为：基于标注有标注视线方向信息的样本图像训练所得的模型，样本图像为：包含样本人员的面部的样本人脸图像及该样本人脸图像对应的眼睛图像拼接所得的图像，置信度信息用于表征所对应备用视线方向信息的准确度。

S303：获得待检测图像对应的待检测人员的眼睛对应的空间位置信息。

S304：基于备用视线方向信息中指定视线方向信息及其对应的备用置信度信息，以及空间位置信息中备用视线方向信息对应的空间位置信息，确定待检测人员的当前注视位置分布信息。

S305：基于当前注视位置分布信息，确定待检测人员当前注视位置区域。

其中，该S301与图1中所示的S101相同，该S302与图1中所示的S102相同，该S303与图1中所示的S103相同，该S304与图1中所示的S104相同，在此不再赘述。

待检测图像所确定出的当前注视位置分布信息，可以表征出待检测人员在采集得到待检测图像的时刻的视线注视位置的分布概率，鉴于此，可以基于当前注视位置分布信息，确定待检测人员当前注视位置区域。一种情况中，待检测人员得可视区域可预先被分区设置，相应的，电子设备可以预先存储有各分区区域对应的位置范围信息。电子设备确定当前注视位置分布信息之后，可以基于当前注视位置分布信息中各注视位置信息，以及各分区区域对应的位置范围信息，确定各分区区域对应的注视位置信息的数量，并将所对应注视位置信息数量最多的分区区域作为待检测人员当前注视位置区域。

在一种实现中，该待检测人员为车辆驾驶员，且正在驾驶车辆的情况下，理论上，为了驾驶安全，待检测人员的注视位置一般需要停留在正常驾驶区域内，例如：车辆后视镜、车辆侧视镜、车辆仪表盘以及前车窗等。基于本发明实施例所确定的待检测人员当前注视位置区域，可以更准确的确定出待检测人员的当前注视的位置是否停留在正常驾驶区域。

相应于上述方法实施例，本发明实施例提供了一种人员注视位置检测装置，如图4所示，所述装置包括：

第一获得模块410，被配置为获得待检测图像，其中，所述待检测图像为：待检测人员对应的人脸图像及该人脸图像对应的眼睛图像拼接所得的图像；

第一确定模块420，被配置为利用所述待检测图像以及目标视线方向检测模型，确定所述待检测图像所对应备用视线方向信息及其对应的备用置信度信息，其中，所述目标视线方向检测模型为：基于标注有标注视线方向信息的样本图像训练所得的模型，所述样本图像为：包含样本人员的面部的样本人脸图像及该样本人脸图像对应的眼睛图像拼接所得的图像，所述备用置信度信息用于表征所对应备用视线方向信息的准确度；

第二获得模块430，被配置为获得所述待检测图像对应的所述待检测人员的眼睛对应的空间位置信息；

第二确定模块440，被配置为基于所述备用视线方向信息中指定视线方向信息及其对应的备用置信度信息，以及所述空间位置信息中所述备用视线方向信息对应的空间位置信息，确定所述待检测人员的当前注视位置分布信息。

应用本发明实施例，可以利用目标视线方向检测模型所确定待检测图像所对应的备用视线方向信息及其对应的备用置信度信息，以及眼睛对应的空间位置信息，确定出可以更准确的表征出待检测人员的当前注视位置的当前注视位置分布信息，以实现对人员注视位置的准确检测。

在本发明的另一实施例中，所述第一获得模块410，被具体配置为获得包括所述待检测人员的面部的人脸图像；

从所述人脸图像中，截取出包括所述待检测人员的人眼的图像，确定为所述人脸图像对应的眼睛图像，其中，所述眼睛图像包括：包含所述待检测人员的左眼的左眼图像和/或包含所述待检测人员的右眼的右眼图像；

调整所述人脸图像和所述眼睛图像的尺寸至相同尺寸，并在通道维度上拼接调整尺寸后的所述人脸图像和所述眼睛图像，获得所述待检测图像。

在本发明的另一实施例中，所述第二确定模块440，被具体配置为构建用于表征所述待检测人员的注视位置分布的高斯分布模型，其中，所述备用视线方向信息中指定视线方向信息为所述高斯分布模型的期望均值，所述指定视线方向信息对应的备用置信度信息为所述高斯分布模型的方差；

基于所述高斯分布模型，确定预设数量个参考视线方向信息；

针对每一参考视线方向信息，基于该参考视线方向信息以及所述空间位置信息中所述指定视线方向信息对应的空间位置信息，确定该参考视线方向信息对应的注视位置信息，以确定出所述待检测人员的当前注视位置分布信息。

在本发明的另一实施例中，所述装置还包括：

模型训练模块(图中未示出)，被配置为在所述利用所述待检测图像以及目标视线方向检测模型，确定所述待检测图像所对应备用视线方向信息及其对应的备用置信度信息之前，训练得到所述目标视线方向检测模型，其中，所述模型训练模块包括：

第一获得单元(图中未示出)，被配置为获得初始视线方向检测模型；

第二获得单元(图中未示出)，被配置为获得多个样本图像以及每一样本图像对应的标注视线方向信息；

训练单元(图中未示出)，被配置为基于多个样本图像以及每一样本图像对应的标注视线方向信息，训练所述初始视线方向检测模型，直至所述初始视线方向检测模型达到预设收敛条件，得到所述目标视线方向检测模型。

在本发明的另一实施例中，所述训练单元(图中未示出)，被具体配置为针对每一样本图像，将该样本图像输入所述初始视线方向检测模型的特征提取层，提取出该样本图像对应的图像特征；

将该样本图像对应的图像特征输入所述初始视线方向检测模型的特征检测层，确定样本图像对应的预测视线方向信息以及该预测视线方向信息对应的当前置信度信息；

基于预设损失函数、该样本图像对应的预测视线方向信息、该预测视线方向信息对应的当前置信度信息，以及该样本图像对应的标注视线方向信息，确定所述初始视线方向检测模型对应的当前损失值；

判断所述当前损失值是否大于预设损失值阈值；

若判断所述当前损失值不大于所述预设损失值阈值，则确定所述初始视线方向检测模型达到预设收敛条件，得到所述目标视线方向检测模型；

若判断所述当前损失值大于所述预设损失值阈值，调整所述特征提取层和所述特征检测层的模型参数，并执行所述针对每一样本图像，将该样本图像输入所述初始视线方向检测模型的特征提取层，提取出该样本图像对应的图像特征的步骤。

在本发明的另一实施例中，所述预设损失函数的表达式为：

其中，所述Loss表示当前损失值，所述gt表示样本图像对应的标注视线方向信息；所述pt表示该样本图像对应的预测视线方向信息，所述表示该预测视线方向信息对应的当前置信度信息。

在本发明的另一实施例中，所述装置还包括：

第三获得模块(图中未示出)，被配置为在所述基于所述备用视线方向信息中指定视线方向信息及其对应的备用置信度信息，以及所述空间位置信息中所述指定视线方向信息对应的空间位置信息，确定所述待检测人员的当前注视位置分布信息之后，获得所述待检测图像对应的前N帧图像各自对应的历史注视位置分布信息，其中，所述历史注视位置分布信息为：基于所对应图像以及所述目标视线方向检测模型，确定的位置分布信息；

第三确定模块(图中未示出)，被配置为基于所述历史注视位置信息以及所述当前注视位置信息，确定所述待检测人员的注视位置移动轨迹信息；

第四确定模块(图中未示出)，被配置为基于所述注视位置移动轨迹信息，确定所述待检测人员的注意力信息。

在本发明的另一实施例中，所述装置还包括：

第五确定模块(图中未示出)，被配置为在所述基于所述备用视线方向信息中指定视线方向信息及其对应的备用置信度信息，以及所述空间位置信息中所述指定视线方向信息对应的空间位置信息，确定所述待检测人员的当前注视位置分布信息之后，基于所述当前注视位置分布信息，确定所述待检测人员当前注视位置区域。

上述装置、系统实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种人员注视位置检测方法，其特征在于，所述方法包括：

获得待检测图像，其中，所述待检测图像为：待检测人员对应的人脸图像及该人脸图像对应的眼睛图像拼接所得的图像；

利用所述待检测图像以及目标视线方向检测模型，确定所述待检测图像所对应备用视线方向信息及其对应的备用置信度信息，其中，所述目标视线方向检测模型为：基于标注有标注视线方向信息的样本图像训练所得的模型，所述样本图像为：包含样本人员的面部的样本人脸图像及该样本人脸图像对应的眼睛图像拼接所得的图像，所述备用置信度信息用于表征所对应备用视线方向信息的准确度；

获得所述待检测图像对应的所述待检测人员的眼睛对应的空间位置信息；

基于所述备用视线方向信息中指定视线方向信息及其对应的备用置信度信息，以及所述空间位置信息中所述指定视线方向信息对应的空间位置信息，确定所述待检测人员的当前注视位置分布信息。

2.如权利要求1所述的方法，其特征在于，所述获得待检测图像的步骤，包括：

获得包括所述待检测人员的面部的人脸图像；

从所述人脸图像中，截取出包括所述待检测人员的人眼的图像，确定为所述人脸图像对应的眼睛图像，其中，所述眼睛图像包括：包含所述待检测人员的左眼的左眼图像和/或包含所述待检测人员的右眼的右眼图像；

调整所述人脸图像和所述眼睛图像的尺寸至相同尺寸，并在通道维度上拼接调整尺寸后的所述人脸图像和所述眼睛图像，获得所述待检测图像。

3.如权利要求1所述的方法，其特征在于，所述基于所述备用视线方向信息中指定视线方向信息及其对应的备用置信度信息，以及所述空间位置信息中所述指定视线方向信息对应的空间位置信息，确定所述待检测人员的当前注视位置分布信息的步骤，包括：

构建用于表征所述待检测人员的注视位置分布的高斯分布模型，其中，所述备用视线方向信息中指定视线方向信息为所述高斯分布模型的期望均值，所述指定视线方向信息对应的备用置信度信息为所述高斯分布模型的方差；

基于所述高斯分布模型，确定预设数量个参考视线方向信息；

针对每一参考视线方向信息，基于该参考视线方向信息以及所述空间位置信息中所述指定视线方向信息对应的空间位置信息，确定该参考视线方向信息对应的注视位置信息，以确定出所述待检测人员的当前注视位置分布信息。

4.如权利要求1-3任一项所述的方法，其特征在于，在所述利用所述待检测图像以及目标视线方向检测模型，确定所述待检测图像所对应备用视线方向信息及其对应的备用置信度信息的步骤之前，所述方法还包括：

训练得到所述目标视线方向检测模型的过程，其中，所述过程包括：

获得初始视线方向检测模型；

获得多个样本图像以及每一样本图像对应的标注视线方向信息；

基于多个样本图像以及每一样本图像对应的标注视线方向信息，训练所述初始视线方向检测模型，直至所述初始视线方向检测模型达到预设收敛条件，得到所述目标视线方向检测模型。

5.如权利要求4所述的方法，其特征在于，所述基于多个样本图像以及每一样本图像对应的标注视线方向信息，训练所述初始视线方向检测模型，直至所述初始视线方向检测模型达到预设收敛条件，得到所述目标视线方向检测模型的步骤，包括：

针对每一样本图像，将该样本图像输入所述初始视线方向检测模型的特征提取层，提取出该样本图像对应的图像特征；

将该样本图像对应的图像特征输入所述初始视线方向检测模型的特征检测层，确定样本图像对应的预测视线方向信息以及该预测视线方向信息对应的当前置信度信息；

基于预设损失函数、该样本图像对应的预测视线方向信息、该预测视线方向信息对应的当前置信度信息，以及该样本图像对应的标注视线方向信息，确定所述初始视线方向检测模型对应的当前损失值；

判断所述当前损失值是否大于预设损失值阈值；

若判断所述当前损失值不大于所述预设损失值阈值，则确定所述初始视线方向检测模型达到预设收敛条件，得到所述目标视线方向检测模型；

若判断所述当前损失值大于所述预设损失值阈值，调整所述特征提取层和所述特征检测层的模型参数，并执行所述针对每一样本图像，将该样本图像输入所述初始视线方向检测模型的特征提取层，提取出该样本图像对应的图像特征的步骤。

6.如权利要求5所述的方法，其特征在于，所述预设损失函数的表达式为：

其中，所述Loss表示当前损失值，所述gt表示样本图像对应的标注视线方向信息；所述pt表示该样本图像对应的预测视线方向信息，所述表示该预测视线方向信息对应的当前置信度信息。

7.如权利要求1-6任一项所述的方法，其特征在于，在所述基于所述备用视线方向信息中指定视线方向信息及其对应的备用置信度信息，以及所述空间位置信息中所述指定视线方向信息对应的空间位置信息，确定所述待检测人员的当前注视位置分布信息的步骤之后，所述方法还包括：

获得所述待检测图像对应的前N帧图像各自对应的历史注视位置分布信息，其中，所述历史注视位置分布信息为：基于所对应图像以及所述目标视线方向检测模型，确定的位置分布信息；

基于所述历史注视位置信息以及所述当前注视位置信息，确定所述待检测人员的注视位置移动轨迹信息；

基于所述注视位置移动轨迹信息，确定所述待检测人员的注意力信息。

8.如权利要求1-6任一项所述的方法，其特征在于，在所述基于所述备用视线方向信息中指定视线方向信息及其对应的备用置信度信息，以及所述空间位置信息中所述指定视线方向信息对应的空间位置信息，确定所述待检测人员的当前注视位置分布信息的步骤之后，所述方法还包括：

基于所述当前注视位置分布信息，确定所述待检测人员当前注视位置区域。

9.一种人员注视位置检测装置，其特征在于，所述装置包括：

第一获得模块，被配置为获得待检测图像，其中，所述待检测图像为：待检测人员对应的人脸图像及该人脸图像对应的眼睛图像拼接所得的图像；

第一确定模块，被配置为利用所述待检测图像以及目标视线方向检测模型，确定所述待检测图像所对应备用视线方向信息及其对应的备用置信度信息，其中，所述目标视线方向检测模型为：基于标注有标注视线方向信息的样本图像训练所得的模型，所述样本图像为：包含样本人员的面部的样本人脸图像及该样本人脸图像对应的眼睛图像拼接所得的图像，所述备用置信度信息用于表征所对应备用视线方向信息的准确度；

第二获得模块，被配置为获得所述待检测图像对应的所述待检测人员的眼睛对应的空间位置信息；

第二确定模块，被配置为基于所述备用视线方向信息中指定视线方向信息及其对应的备用置信度信息，以及所述空间位置信息中所述指定视线方向信息对应的空间位置信息，确定所述待检测人员的当前注视位置分布信息。

10.如权利要求9所述的装置，其特征在于，所述第一获得模块，被具体配置为获得包括所述待检测人员的面部的人脸图像；

从所述人脸图像中，截取出包括所述待检测人员的人眼的图像，确定为所述人脸图像对应的眼睛图像，其中，所述眼睛图像包括：包含所述待检测人员的左眼的左眼图像和/或包含所述待检测人员的右眼的右眼图像；

调整所述人脸图像和所述眼睛图像的尺寸至相同尺寸，并在通道维度上拼接调整尺寸后的所述人脸图像和所述眼睛图像，获得所述待检测图像。