CN113743172B - 一种人员注视位置检测方法及装置 - Google Patents

一种人员注视位置检测方法及装置 Download PDF

Info

Publication number
CN113743172B
CN113743172B CN202010481855.6A CN202010481855A CN113743172B CN 113743172 B CN113743172 B CN 113743172B CN 202010481855 A CN202010481855 A CN 202010481855A CN 113743172 B CN113743172 B CN 113743172B
Authority
CN
China
Prior art keywords
information
image
detected
gazing
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010481855.6A
Other languages
English (en)
Other versions
CN113743172A (zh
Inventor
侯喆
王晋玮
李源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN202010481855.6A priority Critical patent/CN113743172B/zh
Publication of CN113743172A publication Critical patent/CN113743172A/zh
Application granted granted Critical
Publication of CN113743172B publication Critical patent/CN113743172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开一种人员注视位置检测方法及装置，该方法包括：获得待检测图像，其中，待检测图像为：待检测人员对应的人脸图像及该人脸图像对应的眼睛图像拼接所得的图像；利用待检测图像以及目标注视方向检测模型，确定待检测图像所对应备用注视方向信息及其对应的置信度信息，备用注视方向信息包括备用头部朝向信息，置信度信息包括：用于表征备用头部朝向信息的准确度的第一置信度信息；获得待检测图像对应的待检测人员的头部中心点对应的第一空间位置信息；基于备用头部朝向信息、第一置信度信息以及第一空间位置信息，确定待检测人员的当前注视位置分布信息，以实现对人员的注视位置更准确的检测。

Description

一种人员注视位置检测方法及装置
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种人员注视位置检测方法及装置。
背景技术
目前，疲劳检测技术一般是通过检测人员是否出现异常行为，例如人员是否闭眼，人员是否打哈欠等行为，来确定人员状态是否处于疲劳状态，其中，在检测到人员出现异常行为的情况下，则确定人员状态为疲劳状态。
然而，在一些场景中，人员在疲劳时可能会处于一种模糊的状态，如注意力不集中等情况，而人员注意力不集中的情况下，在突发情况发生时人员难以做出及时反应，致使人员安全存在隐患。可见，在疲劳检测中，对人员的注意力的检测也至关重要。
人员注意力不集中的情况下往往表现为：眼睛长时间注视某一个位置，或者眼睛注视方向与其当前行为不符，例如：驾驶过程中人员的眼睛注视位置与其当前的驾驶行为不符等，举例而言，驾驶过程中，人员在控制车辆左转弯或右转转弯时，人员的眼睛注视位置与转弯方向不符等。
可见，在对人员注意力的检测过程中，如何准确地检测到人员的注视位置至关重要。
发明内容
本发明提供了一种人员注视位置检测方法及装置，以实现对人员的注视位置更准确的检测。具体的技术方案如下：
第一方面，本发明实施例提供了一种人员注意力的检测方法，所述方法包括：
获得待检测图像，其中，所述待检测图像为：待检测人员对应的人脸图像及该人脸图像对应的眼睛图像拼接所得的图像；
利用所述待检测图像以及目标注视方向检测模型，确定所述待检测图像所对应备用注视方向信息及其对应的备用置信度信息，其中，所述目标注视方向检测模型为：基于标注有标注注视方向信息的样本图像训练所得的模型，所述样本图像为：包含样本人员的面部的样本人脸图像及该样本人脸图像对应的眼睛图像拼接所得的图像，所述备用注视方向信息包括备用头部朝向信息，所述备用置信度信息包括：用于表征所述备用头部朝向信息的准确度的第一置信度信息；
获得所述待检测图像对应的所述待检测人员的头部中心点对应的第一空间位置信息；
基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的当前注视位置分布信息。
可选的，所述备用注视方向信息还包括备用视线方向信息，所述备用置信度信息还包括：用于表征所述备用视线方向信息的准确度的第二置信度信息；所述第二置信度信息越大表征所述备用视线方向信息的准确度越低；
在所述基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的当前注视位置分布信息的步骤之前，所述方法还包括：
判断所述第二置信度信息是否超过预设阈值；
若判断所述第二置信度信息超过所述预设阈值，执行所述基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的当前注视位置分布信息的步骤。
可选的，所述方法还包括：
若判断所述第二置信度信息未超过所述预设阈值，获得所述待检测图像对应的所述待检测人员的眼睛对应的第二空间位置信息；
基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的第一注视位置分布信息；
基于所述备用视线方向信息中指定视线方向信息、所述第二置信度信息中所述指定视线方向信息对应的第二置信度信息，以及所述第二空间位置信息中指定视线方向信息对应的第二空间位置信息，确定所述待检测人员的第二注视位置分布信息；
基于所述第一注视位置分布信息和所述第二注视位置分布信息，确定所述待检测人员的当前注视位置分布信息。
可选的，所述基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的当前注视位置分布信息的步骤，包括：
构建用于表征所述待检测人员的注视位置分布的高斯分布模型，其中，所述备用头部朝向信息为所述高斯分布模型的期望均值，所述第一置信度信息为所述高斯分布模型的方差；
基于所述高斯分布模型，确定预设数量个参考头部朝向信息；
针对每一参考头部朝向信息，基于该参考头部朝向信息以及所述第一空间位置信息，确定该参考头部朝向信息对应的注视位置信息，以确定出所述待检测人员的当前注视位置分布信息。
可选的，在所述利用所述待检测图像以及目标注视方向检测模型，确定所述待检测图像所对应备用注视方向信息及其对应的置信度信息的步骤之前，所述方法还包括：
训练得到所述目标注视方向检测模型的过程，其中，所述过程包括：
获得初始注视方向检测模型；
获得多个样本图像以及每一样本图像对应的标注注视方向信息；
基于多个样本图像以及每一样本图像对应的标注注视方向信息，训练所述初始注视方向检测模型，直至所述初始注视方向检测模型达到预设收敛条件，得到所述目标注视方向检测模型。
可选的，每一样本图像对应的标注注视方向信息包括标注头部朝向信息和标注视线方向信息；所述初始注视方向检测模型包括特征提取层和特征检测层，其中，所述特征检测层包括用于检测图像对应的头部朝向信息的第一特征检测层和用于检测图像对应的视线方向信息的第二特征检测层；
所述基于多个样本图像以及每一样本图像对应的标注注视方向信息，训练所述初始注视方向检测模型，直至所述初始注视方向检测模型达到预设收敛条件，得到所述目标注视方向检测模型的步骤，包括：
针对每一样本图像，将该样本图像输入所述特征提取层，提取出该样本图像对应的图像特征；
将该样本图像对应的图像特征输入所述第一特征检测层，确定样本图像对应的预测头部朝向信息以及该预测头部朝向信息对应的预测置信度信息；
并将该样本图像对应的图像特征输入所述第二特征检测层，确定样本图像对应的预测视线方向信息以及该预测视线方向信息对应的预测置信度信息；
基于预设损失函数、该样本图像对应的预测视线方向信息、该预测视线方向信息对应的预测置信度信息、该样本图像对应的标注视线方向信息，以及该样本图像对应的预测头部朝向信息、该预测头部朝向信息对应的预测置信度信息、该样本图像对应的标注头部朝向信息，确定所述初始注视方向检测模型对应的当前损失值；
判断所述当前损失值是否大于预设损失值阈值；
若判断所述当前损失值不大于所述预设损失值阈值，则确定所述初始注视方向检测模型达到预设收敛条件，得到所述目标注视方向检测模型；
若判断所述当前损失值大于所述预设损失值阈值，调整所述特征提取层、所述第一特征检测层和所述第二特征检测层的模型参数，并执行所述针对每一样本图像，将该样本图像输入所述特征提取层，提取出该样本图像对应的图像特征的步骤。
可选的，所述预设损失函数的表达式为：
其中，所述Loss表示当前损失值，所述gt1表示样本图像对应的标注视线方向信息；所述pt1表示该样本图像对应的预测视线方向信息，所述表示该预测视线方向信息对应的预测置信度信息；所述gt2表示样本图像对应的标注头部朝向信息；所述pt2表示该样本图像对应的预测头部朝向信息，所述/>表示该预测头部朝向信息对应的预测置信度信息，a表示视线方向信息对应的第一损失值所对应预设权重值，b表示头部朝向信息对应的第二损失值所对应预设权重值。
可选的，在所述基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的当前注视位置分布信息的步骤之后，所述方法还包括：
获得所述待检测图像对应的前N帧图像各自对应的历史注视位置分布信息，其中，所述历史注视位置分布信息为：基于所对应图像以及所述目标注视方向检测模型，确定的位置分布信息；
基于所述历史注视位置信息以及所述当前注视位置信息，确定所述待检测人员的注视位置移动轨迹信息；
基于所述注视位置移动轨迹信息，确定所述待检测人员的注意力信息。
可选的，在所述基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的当前注视位置分布信息的步骤之后，所述方法还包括：
基于所述当前注视位置分布信息，确定所述待检测人员当前注视位置区域信息。
第二方面，本发明实施例提供了一种人员注意力的检测装置，所述装置包括：
第一获得模块，被配置为获得待检测图像，其中，所述待检测图像为：待检测人员对应的人脸图像及该人脸图像对应的眼睛图像拼接所得的图像；
第一确定模块，被配置为利用所述待检测图像以及目标注视方向检测模型，确定所述待检测图像所对应备用注视方向信息及其对应的备用置信度信息，其中，所述目标注视方向检测模型为：基于标注有标注注视方向信息的样本图像训练所得的模型，所述样本图像为：包含样本人员的面部的样本人脸图像及该样本人脸图像对应的眼睛图像拼接所得的图像，所述备用注视方向信息包括备用头部朝向信息，所述备用置信度信息包括：用于表征所述备用头部朝向信息的准确度的第一置信度信息；
第二获得模块，被配置为获得所述待检测图像对应的所述待检测人员的头部中心点对应的第一空间位置信息；
第二确定模块，被配置为基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的当前注视位置分布信息。
可选的，所述备用注视方向信息还包括备用视线方向信息，所述备用置信度信息还包括：用于表征所述备用视线方向信息的准确度的第二置信度信息；所述第二置信度信息越大表征所述备用视线方向信息的准确度越低；
所述装置还包括：
判断模块，被配置为在所述基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的当前注视位置分布信息之前，判断所述第二置信度信息是否超过预设阈值；
若判断所述第二置信度信息超过所述预设阈值，触发所述第二确定模块。
可选的，所述装置还包括：
第三获得模块，被配置为若判断所述第二置信度信息未超过所述预设阈值，获得所述待检测图像对应的所述待检测人员的眼睛对应的第二空间位置信息；
第三确定模块，被配置为基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的第一注视位置分布信息；
第四确定模块，被配置为基于所述备用视线方向信息中指定视线方向信息、所述第二置信度信息中所述指定视线方向信息对应的第二置信度信息，以及所述第二空间位置信息中指定视线方向信息对应的第二空间位置信息，确定所述待检测人员的第二注视位置分布信息；
第五确定模块，被配置为基于所述第一注视位置分布信息和所述第二注视位置分布信息，确定所述待检测人员的当前注视位置分布信息。
可选的，所述第二确定模块，被具体配置为构建用于表征所述待检测人员的注视位置分布的高斯分布模型，其中，所述备用头部朝向信息为所述高斯分布模型的期望均值，所述第一置信度信息为所述高斯分布模型的方差；
基于所述高斯分布模型，确定预设数量个参考头部朝向信息；
针对每一参考头部朝向信息，基于该参考头部朝向信息以及所述第一空间位置信息，确定该参考头部朝向信息对应的注视位置信息，以确定出所述待检测人员的当前注视位置分布信息。
可选的，所述装置还包括：
模型训练模块，被配置为在所述利用所述待检测图像以及目标注视方向检测模型，确定所述待检测图像所对应备用注视方向信息及其对应的置信度信息的步骤之前，训练得到所述目标注视方向检测模型，其中，所述模型训练模块包括：
第一获得单元，被配置为获得初始注视方向检测模型；
第二获得单元，被配置为获得多个样本图像以及每一样本图像对应的标注注视方向信息；
训练单元，被配置为基于多个样本图像以及每一样本图像对应的标注注视方向信息，训练所述初始注视方向检测模型，直至所述初始注视方向检测模型达到预设收敛条件，得到所述目标注视方向检测模型。
可选的，每一样本图像对应的标注注视方向信息包括标注头部朝向信息和标注视线方向信息；所述初始注视方向检测模型包括特征提取层和特征检测层，其中，所述特征检测层包括用于检测图像对应的头部朝向信息的第一特征检测层和用于检测图像对应的视线方向信息的第二特征检测层；
所述训练单元，被具体配置为针对每一样本图像，将该样本图像输入所述特征提取层，提取出该样本图像对应的图像特征；
将该样本图像对应的图像特征输入所述第一特征检测层，确定样本图像对应的预测头部朝向信息以及该预测头部朝向信息对应的预测置信度信息；
并将该样本图像对应的图像特征输入所述第二特征检测层，确定样本图像对应的预测视线方向信息以及该预测视线方向信息对应的预测置信度信息；
基于预设损失函数、该样本图像对应的预测视线方向信息、该预测视线方向信息对应的预测置信度信息、该样本图像对应的标注视线方向信息，以及该样本图像对应的预测头部朝向信息、该预测头部朝向信息对应的预测置信度信息、该样本图像对应的标注头部朝向信息，确定所述初始注视方向检测模型对应的当前损失值；
判断所述当前损失值是否大于预设损失值阈值；
若判断所述当前损失值不大于所述预设损失值阈值，则确定所述初始注视方向检测模型达到预设收敛条件，得到所述目标注视方向检测模型；
若判断所述当前损失值大于所述预设损失值阈值，调整所述特征提取层、所述第一特征检测层和所述第二特征检测层的模型参数，并执行所述针对每一样本图像，将该样本图像输入所述特征提取层，提取出该样本图像对应的图像特征的步骤。
可选的，所述预设损失函数的表达式为：
其中，所述Loss表示当前损失值，所述gt1表示样本图像对应的标注视线方向信息；所述pt1表示该样本图像对应的预测视线方向信息，所述表示该预测视线方向信息对应的预测置信度信息；所述gt2表示样本图像对应的标注头部朝向信息；所述pt2表示该样本图像对应的预测头部朝向信息，所述/>表示该预测头部朝向信息对应的预测置信度信息，a表示视线方向信息对应的第一损失值所对应预设权重值，b表示头部朝向信息对应的第二损失值所对应预设权重值。
可选的，所述装置还包括：
第四获得模块，被配置为在所述基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的当前注视位置分布信息之后，获得所述待检测图像对应的前N帧图像各自对应的历史注视位置分布信息，其中，所述历史注视位置分布信息为：基于所对应图像以及所述目标注视方向检测模型，确定的位置分布信息；
第六确定模块，被配置为基于所述历史注视位置信息以及所述当前注视位置信息，确定所述待检测人员的注视位置移动轨迹信息；
第七确定模块，被配置为基于所述注视位置移动轨迹信息，确定所述待检测人员的注意力信息。
可选的，所述装置还包括：
第八确定模块，被配置为在所述基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的当前注视位置分布信息之后，基于所述当前注视位置分布信息，确定所述待检测人员当前注视位置区域信息。
由上述内容可知，本发明实施例提供的一种人员注视位置检测方法及装置，获得待检测图像，其中，待检测图像为：待检测人员对应的人脸图像及该人脸图像对应的眼睛图像拼接所得的图像；利用待检测图像以及目标注视方向检测模型，确定待检测图像所对应备用注视方向信息及其对应的置信度信息，其中，目标注视方向检测模型为：基于标注有标注注视方向信息的样本图像训练所得的模型，样本图像为：包含样本人员的面部的样本人脸图像及该样本人脸图像对应的眼睛图像拼接所得的图像，备用注视方向信息包括备用头部朝向信息，置信度信息包括：用于表征备用头部朝向信息的准确度的第一置信度信息；获得待检测图像对应的待检测人员的头部中心点对应的第一空间位置信息；基于备用头部朝向信息、第一置信度信息以及第一空间位置信息，确定待检测人员的当前注视位置分布信息。
应用本发明实施例，考虑到头部朝向信息和头部中心点对应的第一空间位置信息，可以表征出人员的注视方向和位置，相应的，可以利用目标注视方向检测模型，确定待检测图像所对应备用注视方向信息及其对应的备用置信度信息，进而利用备用注视方向信息中备用头部朝向信息、头部中心点对应的第一空间位置信息以及备用置信度信息包括的用于表征备用头部朝向信息的准确度的第一置信度信息，共同构建出可以更准确的表征出待检测人员的当前注视位置的当前注视位置分布信息，以实现得到准确性更高的当前注视位置。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、考虑到头部朝向信息和头部中心点对应的第一空间位置信息，可以表征出人员的注视方向和位置，相应的，可以利用目标注视方向检测模型，确定待检测图像所对应备用注视方向信息及其对应的备用置信度信息，进而利用备用注视方向信息中备用头部朝向信息、头部中心点对应的第一空间位置信息以及备用置信度信息包括的用于表征备用头部朝向信息的准确度的第一置信度信息，共同构建出可以更准确的表征出待检测人员的当前注视位置的当前注视位置分布信息，以实现得到准确性更高的当前注视位置。
2、利用目标注视方向检测模型所确定的待检测图像所对应备用注视方向信息既包括备用头部朝向信息又包括备用视线方向信息，且备用置信度信息包括用于表征备用头部朝向信息的准确度的第一置信度信息和用于表征备用视线方向信息的准确度的第二置信度信息，考虑到相比较而言，通过目标注视方向检测模型所确定的备用头部朝向信息的准确性较高于备用视线方向信息的准确性，在判断第二置信度信息超过预设阈值，即备用视线方向信息的准确度较低的情况下，利用准确性较高的备用头部朝向信息、第一置信度信息及第一空间位置信息，确定出可以更准确的表征出待检测人员的当前注视位置的当前注视位置分布信息，以实现得到准确性更高的当前注视位置。
3、在判断第二置信度信息未超过预设阈值，即备用视线方向信息的准确度较高的情况下，结合备用头部朝向信息和备用视线方向信息中指定视线方向信息共同确定待检测人员的当前注视位置分布信息，以实现得到准确性更高的当前注视位置。
4、备用头部朝向信息为期望均值，第一置信度信息为方差，构建用于表征待检测人员的注视位置分布的高斯分布模型，以确定出符合高斯分布的预设数量个参考头部朝向信息，进而，利用参考头部朝向信息以及第一空间位置信息，确定出每一参考头部朝向信息对应的注视位置信息，以确定出可以更准确的表征出待检测人员的当前注视位置的当前注视位置分布信息，提高后续确定的人员注视位置的准确性。
5、训练得到目标视线方向检测模型的过程中，基于预设损失函数、该样本图像对应的预测注视方向信息、该预测注视方向信息对应的预测置信度信息，以及该样本图像对应的标注注视方向信息，确定初始视线方向检测模型对应的当前损失值，进而基于当前损失值调整模型参数，使得模型不仅学习得到样本图像对应的注视方向信息，同时学习到该注视方向信息所对应的分布，即学习到初始视线方向检测模型确定出的样本图像所对应预测注视方向信息对应的置信度信息，即所确定出的预测注视方向信息与作为真值的该样本图像对应的标注注视方向信息之间的预测偏差，为后续的确定出更准确的人员注视位置做基础。
6、基于当前注视位置分布信息以及历史注视位置分布信息，拟合确定出待检测人员的注视位置移动轨迹信息，进而，基于注视位置移动轨迹信息，确定出准确性更高的待检测人员的注意力信息。和/或，基于当前注视位置分布信息，确定出准确性更高的待检测人员当前注视位置区域。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的人员注视位置检测方法的一种流程示意图；
图2为本发明实施例提供的人员注视位置检测方法的另一种流程示意图；
图3为本发明实施例提供的人员注视位置检测装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明提供了一种人员注视位置检测方法及装置，以实现对人员的注视位置更准确的检测。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的人员注视位置检测方法的一种流程示意图。该方法可以包括如下步骤：
S101：获得待检测图像。
其中，待检测图像为：待检测人员对应的人脸图像及该人脸图像对应的眼睛图像拼接所得的图像。
本发明实施例所提供的一种人员注视位置检测方法，可以应用于任一具有计算能力的电子设备中，该电子设备可以为服务器也可以为终端。在一种实现中，该电子设备可以直接获得待检测图像，该待检测图像为：待检测人员对应的人脸图像及该人脸图像对应的眼睛图像拼接所得的图像。其中，该待检测图像为待检测人员对应的人脸图像及该人脸图像对应的眼睛图像在通道维度上拼接所得的图像。在一种情况中，该待检测人员对应的人脸图像为红外图像，即为红外摄像头采集的图像，为单通道图像。该人脸图像对应的眼睛图像为从人脸图像中截取出的包括待检测人员的眼睛的区域图像。相应的，该人脸图像对应的眼睛图像为红外图像。
在另一种实现中，该电子设备可以与图像采集设备连接。其中，该图像采集设备可以设置于目标场景内，针对目标场景中的待检测人员的面部采集图像。一种情况，该目标场景可以为车辆内部。相应的，电子设备可以直接获得图像采集设备针对待检测人员的面部所采集的图像，作为人脸图像，进而从人脸图像中截取出眼睛所在区域图像，得到人脸图像对应的眼睛图像；拼接该人脸图像与其对应的眼睛图像，得到待检测图像。
在本发明的一种实现方式中，所述S101，可以包括如下步骤011-013：
011：获得包括待检测人员的面部的人脸图像。
012：从人脸图像中，截取出包括待检测人员的人眼的图像，确定为人脸图像对应的眼睛图像，其中，眼睛图像包括：包含待检测人员的左眼的左眼图像和/或包含待检测人员的右眼的右眼图像。
013：调整人脸图像和眼睛图像的尺寸至相同尺寸，并在通道维度上拼接调整尺寸后的人脸图像和眼睛图像，获得待检测图像。
本实现方式中，电子设备获得待检测人员对应的人脸图像之后，从人脸图像中识别出待检测人员的左眼所在区域并截取出，得到包含待检测人员的左眼的左眼图像，和/或待检测人员的右眼所在区域并截取出，得到包含待检测人员的右眼的右眼图像，以得到人脸图像对应的眼睛图像。进而，调整人脸图像和眼睛图像的尺寸至相同尺寸并在通道维度上拼接调整尺寸后的人脸图像和眼睛图像，获得待检测图像。
S102：利用待检测图像以及目标注视方向检测模型，确定待检测图像所对应备用注视方向信息及其对应的备用置信度信息。
其中，目标注视方向检测模型为：基于标注有标注注视方向信息的样本图像训练所得的模型，样本图像为：包含样本人员的面部的样本人脸图像及该样本人脸图像对应的眼睛图像拼接所得的图像，备用注视方向信息包括备用头部朝向信息，备用置信度信息包括：用于表征备用头部朝向信息的准确度的第一置信度信息。
本步骤中，电子设备将待检测图像输入目标注视方向检测模型，其中，目标注视方向检测模型包括特征提取层和特征检测层。通过目标注视方向检测模型的特征提取层，提取该待检测图像对应的图像特征；并通过目标注视方向检测模型的特征检测层与该待检测图像对应的图像特征，确定出待检测图像对应的备用注视方向信息以及备用注视方向信息对应到的备用置信度信息，其中，备用注视方向信息包括表征待检测图像中待检测人员的头部朝向的备用头部朝向信息，备用置信度信息包括用于表征备用头部朝向信息的准确度的第一置信度信息，该第一置信度信息为：目标注视方向检测模型所预测出的备用头部朝向信息，与待检测图像中待检测人员的头部的真实朝向信息之间的偏差。备用置信度信息越大，所对应备用头部朝向信息的准确度越低。
在一种实现方式中，目标注视方向检测模型具备预测图像对应的头部朝向信息及其对应的置信度信息的能力，相应的，训练得到目标注视方向检测模型时，样本图像对应的标注注视方向信息至少包括标注头部朝向信息，样本图像为包含样本人员的面部的样本人脸图像及该样本人脸图像对应的眼睛图像，在通道维度上拼接所得的图像。
电子设备可以首先获得初始注视方向检测模型，并获得样本图像以及样本图像对应的标注头部朝向信息，针对每一样本图像，将该样本图像输入初始注视方向检测模型的特征提取层，提取得到该样本图像对应的图像特征；将样本图像对应的图像特征输入初始注视方向检测模型的特征检测层，确定样本图像对应的预测头部朝向信息及其对应的预测置信度信息；利用预设损失函数、样本图像对应的预测头部朝向信息及其对应的预测置信度信以及样本图像对应的标注头部朝向信息，确定初始注视方向检测模型对应的损失值；若初始注视方向检测模型对应的损失值未超过预设损失阈值，则确定初始注视方向检测模型达到预设收敛条件，则得到目标注视方向检测模型；若初始注视方向检测模型对应的损失值超过预设损失阈值，则确定初始注视方向检测模型为达到预设收敛条件，则利用第一预设优化算法，调整初始注视方向检测模型的特征提取层和特征检测层的模型参数，并返回执行针对每一样本图像，将该样本图像输入初始注视方向检测模型的特征提取层，提取得到该样本图像对应的图像特征的步骤直至初始注视方向检测模型为达到预设收敛条件，得到目标注视方向检测模型。其中，该第一预设优化算法可以包括但不限于梯度下降法。
其中，该目标注视方向检测模型可以为基于深度学习的神经网络模型，例如，可以为卷积神经网络模型。
在一种实现中，备用头部朝向信息可以通过在图像采集设备的设备坐标系下的偏转角和俯仰角表示。该图像采集设备为采集得到待检测人员对应的人脸图像的图像采集设备；相应的，备用头部朝向信息为：在该图像采集设备的设备坐标系下的方向信息。该备用头部朝向信息可以指：以人员的人脸中两耳各自的指定位置的点的中心点与人员的人中点的连线所指向的方向信息。
S103：获得待检测图像对应的待检测人员的头部中心点对应的第一空间位置信息。
电子设备得到待检测图像所对应备用头部朝向信息和备用头部朝向信息对应的第一置信度信息之后，可以获得待检测图像对应的待检测人员的头部中心点对应的空间位置信息，作为第一空间位置信息。在一种情况中，该头部中心点可以指以人员的人脸中两耳各自的指定位置的点的中心点。
在一种实现中，待检测人员的头部中心点对应的第一空间位置信息，可以利用相关技术中任一可确定得到人脸图像中各人脸特征点对应的空间位置信息的方式确定得到，其中，人脸图像中各人脸特征点包括头部中心点。
S104：基于备用头部朝向信息、第一置信度信息以及第一空间位置信息，确定待检测人员的当前注视位置分布信息。
在一种情况中，所确定的待检测图像所对应备用头部朝向信息为：在采集得到待检测人员的人脸图像的图像采集设备的设备坐标系下的朝向信息，在确定待检测人员的当前注视位置分布信息时，需要将备用头部朝向信息从设备坐标系下转换至目标场景对应的预设三维空间直角坐标系下，例如目标场景为车辆内部时，该预设三维空间直角坐标系为车体坐标系。所获得的待检测人员的头部中心点对应的第一空间位置信息为在该预设三维空间直角坐标系的位置信息。
电子设备在确定待检测人员的当前注视位置分布信息的过程中，电子设备可以首先基于预先标定的预设三维空间直角坐标系与设备坐标系之间的位置转换关系，将备用头部朝向信息从设备坐标系转换至预设三维空间直角坐标系下，得到预设三维空间直角坐标系下的备用头部朝向信息，进而，基于预设三维空间直角坐标系下的备用头部朝向信息及备用头部朝向信息对应的第一置信度信息，以及第一空间位置信息，确定待检测人员的当前注视位置分布信息。
其中，备用头部朝向信息通过在设备坐标系下的偏转角和俯仰角表示，在将指备用头部朝向信息从设备坐标系转换至预设三维空间直角坐标系下的过程中，需要首先将通过在设备坐标系下的偏转角和俯仰角表示的备用头部朝向信息转化为单位向量列向量，进而，利用预设转化公式、单位向量列向量以及位置转换关系，确定得到在预设三维空间直角坐标系的以单位向量列向量表示的备用头部朝向信息，再将在预设三维空间直角坐标系的以单位向量列向量表示的备用头部朝向信息，转化为在预设三维空间直角坐标系的以偏转角和俯仰角表示的备用头部朝向信息。
其中，该预设转化公式可以通过如下公式(1)表示：
Vnew＝R*Vold (1)；其中，Vnew表示在预设三维空间直角坐标系的以单位向量列向量表示的备用头部朝向信息，Vold表示在设备坐标系下以单位向量列向量表示的备用头部朝向信息，R表示预设三维空间直角坐标系与设备坐标系之间的位置转换关系，是一个3x3的正交矩阵。
应用本发明实施例，考虑到头部朝向信息和头部中心点对应的第一空间位置信息，可以表征出人员的注视方向和位置，相应的，可以利用目标注视方向检测模型，确定待检测图像所对应备用注视方向信息及其对应的备用置信度信息，进而利用备用注视方向信息中备用头部朝向信息、头部中心点对应的第一空间位置信息以及备用置信度信息包括的用于表征备用头部朝向信息的准确度的第一置信度信息，共同构建出可以更准确的表征出待检测人员的当前注视位置的当前注视位置分布信息，以实现得到准确性更高的当前注视位置。
在本发明的另一实施例中，所述S104，可以包括如下步骤021-023：
021：构建用于表征待检测人员的注视位置分布的高斯分布模型。
其中，备用头部朝向信息为高斯分布模型的期望均值，第一置信度信息为高斯分布模型的方差。
022：基于高斯分布模型，确定预设数量个参考头部朝向信息。
023：针对每一参考头部朝向信息，基于该参考头部朝向信息以及第一空间位置信息，确定该参考头部朝向信息对应的注视位置信息，以确定出待检测人员的当前注视位置分布信息。
本实现方式中，可以认为人员的注视位置满足高斯分布，相应的，将备用头部朝向信息作为高斯分布模型的期望均值，第一置信度信息为高斯分布模型的方差，构建用于表征待检测人员的注视位置分布的高斯分布模型，利用该高斯分布模型，确定出满足期望均值为备用头部朝向信息，方差为第一置信度信息的预设数量个参考头部朝向信息。进而，针对每一参考头部朝向信息，基于该参考头部朝向信息以及第一空间位置信息中，确定该参考头部朝向信息对应的注视位置信息，以确定出待检测人员的当前注视位置分布信息。可以理解的，该当前注视位置分布信息可以包括该预设数量个参考头部朝向信息对应的注视位置信息。
可以理解的是，以第一空间位置信息所表征的空间点，即指定空间点作为向量起点，以参考头部朝向信息所表征的方向为向量方向，可以确定一条射线，在目标场景为车辆内部的情况下，该射线与车身存在一交点，即基于每一参考头部朝向信息以及第一空间位置信息，可以确定出与车身的一个交点，该交点即该参考头部朝向信息对应的注视位置信息，该预设数量个参考头部朝向信息对应的注视位置信息，构成待检测人员的当前注视位置分布信息，以通过当前注视位置分布信息来表征待检测人员当前注视位置。其中，指定空间点为上述提到的头部中心点。
在本发明的另一实施例中，如图2所示，所述方法可以包括如下步骤：
S201：获得待检测图像。
其中，待检测图像为：待检测人员对应的人脸图像及该人脸图像对应的眼睛图像拼接所得的图像；
S202：利用待检测图像以及目标注视方向检测模型，确定待检测图像所对应备用注视方向信息及其对应的备用置信度信息。
其中，目标注视方向检测模型为：基于标注有标注注视方向信息的样本图像训练所得的模型，样本图像为：包含样本人员的面部的样本人脸图像及该样本人脸图像对应的眼睛图像拼接所得的图像，备用注视方向信息包括备用头部朝向信息和备用视线方向信息，备用置信度信息包括：用于表征备用头部朝向信息的准确度的第一置信度信息，和用于表征备用视线方向信息的准确度的第二置信度信息；第二置信度信息越大表征备用视线方向信息的准确度越低。
S203：获得待检测图像对应的待检测人员的头部中心点对应的第一空间位置信息。
S204：判断第二置信度信息是否超过预设阈值，若判断第二置信度信息超过预设阈值，则执行S205。
S205：基于备用头部朝向信息、第一置信度信息以及第一空间位置信息，确定待检测人员的当前注视位置分布信息。
其中，该S201与图1中所示的S101相同，该S203与图1中所示的S103相同，该S205与图1中所示的S104相同。
本实现方式中，备用注视方向信息还可以包括备用视线方向信息，该备用视线方向信息为表征待检测图像中待检测人员的眼睛的视线方向信息。相应的，备用置信度信息还包括：用于表征该备用视线方向信息的准确度的第二置信度信息。第二置信度信息可以表征：目标注视方向检测模型所预测出的备用视线方向信息，与待检测图像中待检测人员的眼睛的真实视线方向信息之间的偏差，其中，第二置信度信息越大，所对应备用视线方向信息的准确度越低。
一种情况中，人脸图像对应的眼睛图像可以包括：包含待检测人员左眼的左眼图像和包含待检测人员右眼的右眼图像。相应的，该备用视线方向信息包括：待检测人员左眼对应的视线方向信息，待检测人员右眼对应的视线方向信息以及待检测人员左眼和右眼的中间点对应的视线方向信息。
在一种实现中，待检测人员左眼对应的视线方向信息、待检测人员右眼对应的视线方向信息以及待检测人员左眼和右眼的中间点对应的视线方向信息，可以通过偏转角和俯仰角表示。该偏转角和俯仰角为：采集得到待检测人员的该人脸图像的图像采集设备的设备坐标系下的角度；相应的，待检测人员左眼对应的视线方向信息、待检测人员右眼对应的视线方向信息以及待检测人员左眼和右眼的中间点对应的视线方向信息为：在采集得到待检测人员的该人脸图像的图像采集设备的设备坐标系的方向信息。
考虑到在备用视线方向信息的准确性较高的情况下，利用备用视线方向信息及其对应的第二置信度信息以及相应的眼睛对应的空间位置信息，所确定出的待检测人员的注视位置，相对于通过备用头部朝向信息及其对应的第一置信度信息以及相应的第一空间位置信息所确定出的待检测人员的注视位置，更符合实际。并且考虑到在备用视线方向信息的准确性较低的情况，利用其所确定的待检测人员的注视位置误差相对较大。
本实现方式中，电子设备得到备用注视方向信息及其对应的备用置信度信息之后，可以首先判断备用视线方向信息是否可信，即判断第二置信度信息是否超过预设阈值，若判断第二置信度信息超过预设阈值，则认为备用视线方向信息不可信，相应的，电子设备基于备用头部朝向信息、第一置信度信息以及第一空间位置信息，确定待检测人员的当前注视位置分布信息。
若判断第二置信度信息未超过预设阈值，则认为备用视线方向信息可信，电子设备则可以至少基于备用视线方向信息中的指定视线方向信息、第二置信度信息中指定视线方向信息对应的第二置信度信息以及第二空间位置信息中指定视线方向信息对应的二空间位置信息，确定待检测人员的当前注视位置分布信息。
一种情况中，拼接得到待检测图像的眼睛图像包括：包含待检测人员左眼的左眼图像和包含待检测人员右眼的右眼图像，相应的，待检测人员的眼睛对应的空间位置信息即后续提到的第二空间位置信息可以包括：待检测人员左眼对应的空间位置信息、待检测人员右眼对应的空间位置信息以及待检测人员左眼和右眼的中间点对应的空间位置信息。
在一种实现中，待检测人员左眼对应的空间位置信息和右眼对应的空间位置信息，可以利用相关技术中任一可确定得到人脸图像中各人脸特征点对应的空间位置信息的方式确定得到，其中，人脸图像中各人脸特征点包括左眼特征点和右眼特征点。进而，基于待检测人员左眼对应的空间位置信息和右眼对应的空间位置信息，确定待检测人员左眼和右眼的中间点对应的空间位置信息。
一种情况中，在备用视线方向信息包括待检测人员左眼对应的视线方向信息，待检测人员右眼对应的视线方向信息以及待检测人员左眼和右眼的中间点对应的视线方向信息的情况下，电子设备本地或所连接存储设备可以预先存储有参与后续计算的指定眼睛信息。其中：若该指定眼睛信息表征使用左眼对应的视线方向信息，则将备用视线方向信息中左眼对应的视线方向信息作为指定视线方向信息，相应的，基于备用视线方向信息中左眼对应的视线方向信息、左眼对应的视线方向信息所对应备用置信度信息，以及空间位置信息中左眼对应的空间位置信息，确定待检测人员的当前注视位置分布信息。若该指定眼睛信息表征使用右眼对应的视线方向信息，则将备用视线方向信息中右眼对应的视线方向信息作为指定视线方向信息，相应的，基于备用视线方向信息中右眼对应的视线方向信息、右眼对应的视线方向信息所对应备用置信度信息，以及空间位置信息中右眼对应的空间位置信息，确定待检测人员的当前注视位置分布信息。若该指定眼睛信息表征使用左眼和右眼的中间点对应的视线方向信息，则将备用视线方向信息中左眼和右眼的中间点对应的视线方向信息作为指定视线方向信息，相应的，基于备用视线方向信息中左眼和右眼的中间点对应的视线方向信息、左眼和右眼的中间点对应的视线方向信息所对应备用置信度信息，以及空间位置信息中左眼和右眼的中间点对应的空间位置信息，确定待检测人员的当前注视位置分布信息。
在本发明的另一实施例中，如图2所示，所述方法还可以包括：
S206：若判断第二置信度信息未超过预设阈值，获得待检测图像对应的待检测人员的眼睛对应的第二空间位置信息。
S207：基于备用头部朝向信息、第一置信度信息以及第一空间位置信息，确定待检测人员的第一注视位置分布信息。
S208：基于备用视线方向信息中指定视线方向信息、第二置信度信息中指定视线方向信息对应的第二置信度信息，以及第二空间位置信息中指定视线方向信息对应的第二空间位置信息，确定待检测人员的第二注视位置分布信息。
S209：基于第一注视位置分布信息和第二注视位置分布信息，确定待检测人员的当前注视位置分布信息。
为了得到准确性更高的人员注视位置，本实现方式中，若判断第二置信度信息未超过预设阈值，即备用视线方向信息可信的情况下，可以结合备用视线方向信息和备用头部朝向信息共同确定待检测人员的当前注视位置分布信息。相应的，基于备用头部朝向信息、第一置信度信息以及第一空间位置信息，确定待检测人员的第一注视位置分布信息；并基于备用视线方向信息中指定视线方向信息、第二置信度信息中指定视线方向信息对应的第二置信度信息，以及第二空间位置信息中指定视线方向信息对应的第二空间位置信息，确定待检测人员的第二注视位置分布信息；进而，基于第一注视位置分布信息和第二注视位置分布信息，确定待检测人员的当前注视位置分布信息。
其中，确定待检测人员的第二注视位置分布信息的过程，可以是：将指定视线方向信息作为高斯分布模型的期望均值，指定视线方向信息对应的第二置信度信息为高斯分布模型的方差，构建用于表征待检测人员的第二注视位置分布的高斯分布模型，为了与上述基于备用头部朝向信息和第一置信度信息构建的高斯分布模型区分，后续称该基于指定视线方向信息和指定视线方向信息对应的置信度信息构建的高斯分布模型为第一高斯分布模型。
利用该第一高斯分布模型，确定出满足期望均值为指定视线方向信息，方差为指定视线方向信息对应的第二置信度信息的预设数量个参考视线方向信息。进而，针对每一参考视线方向信息，基于该参考视线方向信息以及指定视线方向信息对应的第二空间位置信息中，确定该参考视线方向信息对应的注视位置信息，以确定出待检测人员的第二注视位置分布信息。可以理解的，该第二注视位置分布信息可以包括该预设数量个参考视线方向信息对应的注视位置信息。
一种实现中，电子设备可以将第一注视位置分布信息中多个注视位置信息所表征的注视区域，和第二注视位置分布信息中多个注视位置信息所表征的注视区域之间的重合区域，作为待检测人员的当前注视位置分布信息，进而，一种情况，将当前注视位置分布信息所表征的注视区域作为待检测人员的当前注视位置区域；另一种情况，待检测人员在目标场景中的可视区域被预先划分为多个区域，电子设备存储有被划分的各区域与位置信息之间的对应关系，电子设备可以基于当前注视位置分布信息中各注视位置信息，以及预存的被划分的各区域与位置信息之间的对应关系，确定当前注视位置分布信息中各注视位置信息落入各区域的数量，作为该区域对应的位置数量，将所对应位置数量最多的区域作为待检测人员的当前注视位置区域。
在本发明的另一实施例中，在所述S102之前，所述方法还可以包括：
训练得到目标注视方向检测模型的过程，其中，所述过程包括如下步骤031-033：
031：获得初始注视方向检测模型。
032：获得多个样本图像以及每一样本图像对应的标注注视方向信息。
033：基于多个样本图像以及每一样本图像对应的标注注视方向信息，训练初始注视方向检测模型，直至初始注视方向检测模型达到预设收敛条件，得到目标注视方向检测模型。
本实现方式中，为了保证所确定的人员注视位置的准确性，电子设备可以获得初始注视方向检测模型，并获得多个样本图像以及每一样本图像对应的标注注视方向信息，进而，基于多个样本图像以及每一样本图像对应的标注注视方向信息，训练初始注视方向检测模型，直至初始注视方向检测模型达到预设收敛条件，得到目标注视方向检测模型。每一样本图像对应的标注注视方向信息包括：表征样本图像对应的眼睛的注视方向的标注视线方向信息和表征样本图像对应的人脸的朝向的标注头部朝向信息。
其中，该样本图像为：包含样本人员的面部的样本人脸图像及该样本人脸图像对应的眼睛图像拼接所得的图像，样本人脸图像对应的眼睛图像为从样本人脸图像中所截取的样本人员眼睛所在区域图像，样本人脸图像对应的眼睛图像包括：包含样本人员左眼的左眼图像和/或样本人员右眼的右眼图像。该初始注视方向检测模型可以为基于深度学习的神经网络模型，例如，可以为卷积神经网络模型。
在本发明的另一实施例中，每一样本图像对应的标注注视方向信息包括标注头部朝向信息和标注视线方向信息；初始注视方向检测模型包括特征提取层和特征检测层，其中，特征检测层包括用于检测图像对应的头部朝向信息的第一特征检测层和用于检测图像对应的视线方向信息的第二特征检测层；
所述033，可以包括如下步骤：
0331：针对每一样本图像，将该样本图像输:特征提取层，提取出该样本图像对应的图像特征。
0332：将该样本图像对应的图像特征输入第一特征检测层，确定样本图像对应的预测头部朝向信息以及该预测头部朝向信息对应的预测置信度信息。
0333：并将该样本图像对应的图像特征输入第二特征检测层，确定样本图像对应的预测视线方向信息以及该预测视线方向信息对应的预测置信度信息。
0334：基于预设损失函数、该样本图像对应的预测视线方向信息、该预测视线方向信息对应的预测置信度信息、该样本图像对应的标注视线方向信息，以及该样本图像对应的预测头部朝向信息、该预测头部朝向信息对应的预测置信度信息、该样本图像对应的标注头部朝向信息，确定初始注视方向检测模型对应的当前损失值。
0335：判断所述当前损失值是否大于预设损失值阈值.
0336：若判断当前损失值不大于预设损失值阈值，则确定初始注视方向检测模型达到预设收敛条件，得到目标注视方向检测模型。
0337：若判断当前损失值大于预设损失值阈值，调整特征提取层、第一特征检测层和第二特征检测层的模型参数，并执行0331。
本发明实施例中，该预设收敛条件可以包括：限定基于样本图像对应的预测视线方向信息及其对应的预测置信度信息和样本图像对应的标注视线方向信息，以及样本图像对应的预测头部朝向信息及其对应的预测置信度信息和样本图像对应的标注头部朝向信息，所确定的当前损失值不大于预设损失值阈值的条件。
电子设备针对每一样本图像，将该样本图像输入初始注视方向检测模型的特征提取层，提取出该样本图像对应的图像特征；将该样本图像对应的图像特征输入初始注视方向检测模型的第一特征检测层，确定样本图像对应的预测头部朝向信息以及该预测头部朝向信息对应的预测置信度信息；将该样本图像对应的图像特征输入初始注视方向检测模型的第二特征检测层，确定样本图像对应的预测视线方向信息以及该预测视线方向信息对应的预测置信度信息；进而，基于预设损失函数、该样本图像对应的预测视线方向信息、该预测视线方向信息对应的预测置信度信息和该样本图像对应的标注视线方向信息，以及该样本图像对应的预测头部朝向信息、该预测头部朝向信息对应的预测置信度信息和该样本图像对应的标注头部朝向信息，确定初始注视方向检测模型对应的当前损失值，判断当前损失值是否大于预设损失值阈值，若判断当前损失值不大于预设损失值阈值，则确定初始注视方向检测模型达到预设收敛条件，得到目标注视方向检测模型；若判断当前损失值大于预设损失值阈值，基于第二预设优化算法，调整特征提取层和特征检测层的模型参数，并返回执行0331，直至初始注视方向检测模型达到预设收敛条件，得到目标注视方向检测模型。
其中，该第二预设优化算法可以包括但不限于梯度下降法。
在本发明的另一实施例中，预设损失函数的表达式为：
其中，该Loss表示当前损失值，该gt1表示样本图像对应的标注视线方向信息；该pt1表示该样本图像对应的预测视线方向信息，该表示该预测视线方向信息对应的预测置信度信息；该gt2表示样本图像对应的标注头部朝向信息；该pt2表示该样本图像对应的预测头部朝向信息，该/>表示该预测头部朝向信息对应的预测置信度信息，a表示视线方向信息对应的第一损失值所对应预设权重值，b表示头部朝向信息对应的第二损失值所对应预设权重值。该a和b可以根据用户需求进行设置。
在另一种实现方式中，还可以利用批量的样本图像对应的预测视线方向信息、该预测视线方向信息对应的当前置信度信息以及该样本图像对应的标注视线方向信息，确定初始视线方向检测模型对应的当前损失值，相应的，该预设损失函数的表达式可以为：
其中，该Loss表示当前损失值，该gt1i表示批量的样本图像中第i个样本图像对应的标注视线方向信息；该pt1i表示批量的样本图像中第i个样本图像对应的预测视线方向信息，该表示批量的样本图像中第i个样本图像对应的预测视线方向信息对应的预测置信度信息，该gt2i表示批量的样本图像中第i个样本图像对应的标注头部朝向信息；该pt2i表示批量的样本图像中第i个样本图像对应的预测头部朝向信息，该/>表示批量的样本图像中第i个样本图像对应的预测头部朝向信息对应的预测置信度信息，m表示批量的样本图像的总数量。
在本发明的另一实施例中，在所述S104之后，所述方法还可以包括如下步骤041-043：
041：获得待检测图像对应的前N帧图像各自对应的历史注视位置分布信息。
其中，历史注视位置分布信息为：基于所对应图像以及目标注视方向检测模型，确定的位置分布信息。
042：基于历史注视位置信息以及当前注视位置信息，确定待检测人员的注视位置移动轨迹信息。
043：基于注视位置移动轨迹信息，确定待检测人员的注意力信息。
待检测图像所确定出的当前注视位置分布信息，可以表征出待检测人员在采集得到待检测图像的时刻的视线注视位置的分布概率，通过该视线注视位置的分布概率可以确定出更加准确的在该时刻时待检测人员的视线注视位置。
在一种实现中，考虑到人员注意力可以通过人员在一段时间的视线注视位置的变化确定，例如：人员在一段时间视线注视位置表征其长时间注视一个位置，可以确定该人员注意力不集中。在一种实现中，人员的视线注视位置与其行为存在关联关系，例如：该待检测人员为车辆驾驶员，且正在驾驶车辆的情况下，待检测人员的视线注视位置与其驾驶行为存在关联关系，理论上，为了驾驶安全，待检测人员的注视位置一般需要停留在正常驾驶区域内，例如：车辆后视镜、车辆侧视镜、车辆仪表盘以及前车窗等，且待检测人员的注视位置变化轨迹需要符合待检测人员的当前驾驶行为。而在人员注意力不集中的情况下，易出现人员的视线注视位置与其行为不符的情况，相应的，可以基于人员的视线注视位置一段时间的变化，确定人员的注意力是否集中。
考虑到上述情况，电子设备确定待检测图像对应的待检测人员的当前注视位置分布信息之后，可以获得待检测图像对应的前N帧图像各自对应的历史注视位置分布信息，基于历史注视位置信息以及当前注视位置信息，确定待检测人员的注视位置移动轨迹信息，基于注视位置移动轨迹信息，确定待检测人员的注意力信息。若注视位置移动轨迹信息表征其不符合待检测人员的当前行为，则可以确定待检测人员的注意力信息表征待检测人员注意力不集中，若注视位置移动轨迹信息表征其符合待检测人员的当前行为，则可以确定待检测人员的注意力信息表征待检测人员注意力集中。
其中，待检测图像对应的前N帧图像中的每一帧图像均为：由其相应的人脸图像以及该人脸图像对应的眼睛图像拼接所得图像。待检测图像对应的前N帧图像中的每一帧图像对应的历史注视位置分布信息的确定过程，可以参见待检测图像对应的当前注视位置分布位置的确定过程，在此不再赘述。N为正整数，可以根据用户需要进行设置。
一种实现中，上述确定待检测人员的注视位置移动轨迹信息的过程，可以是：基于当前注视位置信息生成一热力图，作为第一热力图；并基于待检测图像对应的前N帧图像中每一图像对应的历史注视位置分布信息，生成一热力图，作为第二热力图；进而，按照待检测图像对应的前N帧图像一级待检测图像对应的采集时间，叠加显示第一热力图和第二热力图；基于叠加显示的第一热力图和第二热力图，确定待检测人员的注视位置移动轨迹信息。
其中，热力图中，每一像素点的像素值表示这个像素点的亮度。其中，像素点的像素值越大，该像素点的亮度越大；并且热力图中像素点的像素值还可以表示这个像素点为目标点，即待检测人员当前注视位置的可能性，像素点的像素值越大，相应的像素点为目标点的可能性越大。该热力图包括第一热力图和第二热力图。
在本发明的另一实施例中，在所述S104之后，所述方法还可以包括如下步骤：
基于当前注视位置分布信息，确定待检测人员当前注视位置区域信息。
待检测图像所确定出的当前注视位置分布信息，可以表征出待检测人员在采集得到待检测图像的时刻的视线注视位置的分布概率，鉴于此，可以基于当前注视位置分布信息，确定待检测人员当前注视位置区域。一种情况中，待检测人员得可视区域可预先被分区设置，相应的，电子设备可以预先存储有各分区区域对应的位置范围信息。电子设备确定当前注视位置分布信息之后，可以基于当前注视位置分布信息中各注视位置信息，以及各分区区域对应的位置范围信息，确定各分区区域对应的注视位置信息的数量，并将所对应注视位置信息数量最多的分区区域作为待检测人员当前注视位置区域。
在一种实现中，该待检测人员为车辆驾驶员，且正在驾驶车辆的情况下，理论上，为了驾驶安全，待检测人员的注视位置一般需要停留在正常驾驶区域内，例如：车辆后视镜、车辆侧视镜、车辆仪表盘以及前车窗等。基于本发明实施例所确定的待检测人员当前注视位置区域，可以更准确的确定出待检测人员的当前注视的位置是否停留在正常驾驶区域。
相应于上述方法实施例，本发明实施例提供了一种人员注视位置检测装置，如图3所示，所述装置包括：
第一获得模块310，被配置为获得待检测图像，其中，所述待检测图像为：待检测人员对应的人脸图像及该人脸图像对应的眼睛图像拼接所得的图像；
第一确定模块320，被配置为利用所述待检测图像以及目标注视方向检测模型，确定所述待检测图像所对应备用注视方向信息及其对应的备用置信度信息，其中，所述目标注视方向检测模型为：基于标注有标注注视方向信息的样本图像训练所得的模型，所述样本图像为：包含样本人员的面部的样本人脸图像及该样本人脸图像对应的眼睛图像拼接所得的图像，所述备用注视方向信息包括备用头部朝向信息，所述备用置信度信息包括：用于表征所述备用头部朝向信息的准确度的第一置信度信息；
第二获得模块330，被配置为获得所述待检测图像对应的所述待检测人员的头部中心点对应的第一空间位置信息；
第二确定模块340，被配置为基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的当前注视位置分布信息。
应用本发明实施例，考虑到头部朝向信息和头部中心点对应的第一空间位置信息，可以表征出人员的注视方向和位置，相应的，可以利用目标注视方向检测模型，确定待检测图像所对应备用注视方向信息及其对应的备用置信度信息，进而利用备用注视方向信息中备用头部朝向信息、头部中心点对应的第一空间位置信息以及备用置信度信息包括的用于表征备用头部朝向信息的准确度的第一置信度信息，共同构建出可以更准确的表征出待检测人员的当前注视位置的当前注视位置分布信息，以实现得到准确性更高的当前注视位置。
在本发明的另一实施例中，所述备用注视方向信息还包括备用视线方向信息，所述备用置信度信息还包括：用于表征所述备用视线方向信息的准确度的第二置信度信息；所述第二置信度信息越大表征所述备用视线方向信息的准确度越低；
所述装置还包括：
判断模块(图中未示出)，被配置为在所述基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的当前注视位置分布信息之前，判断所述第二置信度信息是否超过预设阈值；
若判断所述第二置信度信息超过所述预设阈值，触发所述第二确定模块340。
在本发明的另一实施例中，所述装置还包括：
第三获得模块(图中未示出)，被配置为若判断所述第二置信度信息未超过所述预设阈值，获得所述待检测图像对应的所述待检测人员的眼睛对应的第二空间位置信息；
第三确定模块(图中未示出)，被配置为基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的第一注视位置分布信息；
第四确定模块(图中未示出)，被配置为基于所述备用视线方向信息中指定视线方向信息、所述第二置信度信息中所述指定视线方向信息对应的第二置信度信息，以及所述第二空间位置信息中指定视线方向信息对应的第二空间位置信息，确定所述待检测人员的第二注视位置分布信息；
第五确定模块，被配置为基于所述第一注视位置分布信息和所述第二注视位置分布信息，确定所述待检测人员的当前注视位置分布信息。
在本发明的另一实施例中，所述第二确定模块340，被具体配置为构建用于表征所述待检测人员的注视位置分布的高斯分布模型，其中，所述备用头部朝向信息为所述高斯分布模型的期望均值，所述第一置信度信息为所述高斯分布模型的方差；
基于所述高斯分布模型，确定预设数量个参考头部朝向信息；
针对每一参考头部朝向信息，基于该参考头部朝向信息以及所述第一空间位置信息，确定该参考头部朝向信息对应的注视位置信息，以确定出所述待检测人员的当前注视位置分布信息。
在本发明的另一实施例中，所述装置还包括：
模型训练模块(图中未示出)，被配置为在所述利用所述待检测图像以及目标注视方向检测模型，确定所述待检测图像所对应备用注视方向信息及其对应的置信度信息的步骤之前，训练得到所述目标注视方向检测模型，其中，所述模型训练模块包括：
第一获得单元(图中未示出)，被配置为获得初始注视方向检测模型；
第二获得单元(图中未示出)，被配置为获得多个样本图像以及每一样本图像对应的标注注视方向信息；
训练单元(图中未示出)，被配置为基于多个样本图像以及每一样本图像对应的标注注视方向信息，训练所述初始注视方向检测模型，直至所述初始注视方向检测模型达到预设收敛条件，得到所述目标注视方向检测模型。
在本发明的另一实施例中，每一样本图像对应的标注注视方向信息包括标注头部朝向信息和标注视线方向信息；所述初始注视方向检测模型包括特征提取层和特征检测层，其中，所述特征检测层包括用于检测图像对应的头部朝向信息的第一特征检测层和用于检测图像对应的视线方向信息的第二特征检测层；
所述训练单元(图中未示出)，被具体配置为针对每一样本图像，将该样本图像输入所述特征提取层，提取出该样本图像对应的图像特征；
将该样本图像对应的图像特征输入所述第一特征检测层，确定样本图像对应的预测头部朝向信息以及该预测头部朝向信息对应的预测置信度信息；
并将该样本图像对应的图像特征输入所述第二特征检测层，确定样本图像对应的预测视线方向信息以及该预测视线方向信息对应的预测置信度信息；
基于预设损失函数、该样本图像对应的预测视线方向信息、该预测视线方向信息对应的预测置信度信息、该样本图像对应的标注视线方向信息，以及该样本图像对应的预测头部朝向信息、该预测头部朝向信息对应的预测置信度信息、该样本图像对应的标注头部朝向信息，确定所述初始注视方向检测模型对应的当前损失值；
判断所述当前损失值是否大于预设损失值阈值；
若判断所述当前损失值不大于所述预设损失值阈值，则确定所述初始注视方向检测模型达到预设收敛条件，得到所述目标注视方向检测模型；
若判断所述当前损失值大于所述预设损失值阈值，调整所述特征提取层、所述第一特征检测层和所述第二特征检测层的模型参数，并执行所述针对每一样本图像，将该样本图像输入所述特征提取层，提取出该样本图像对应的图像特征的步骤。
在本发明的另一实施例中，所述预设损失函数的表达式为：
其中，所述Loss表示当前损失值，所述gt1表示样本图像对应的标注视线方向信息；所述pt1表示该样本图像对应的预测视线方向信息，所述表示该预测视线方向信息对应的预测置信度信息；所述gt2表示样本图像对应的标注头部朝向信息；所述pt2表示该样本图像对应的预测头部朝向信息，所述/>表示该预测头部朝向信息对应的预测置信度信息，a表示视线方向信息对应的第一损失值所对应预设权重值，b表示头部朝向信息对应的第二损失值所对应预设权重值。
在本发明的另一实施例中，所述装置还包括：
第四获得模块(图中未示出)，被配置为在所述基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的当前注视位置分布信息之后，获得所述待检测图像对应的前N帧图像各自对应的历史注视位置分布信息，其中，所述历史注视位置分布信息为：基于所对应图像以及所述目标注视方向检测模型，确定的位置分布信息；
第六确定模块(图中未示出)，被配置为基于所述历史注视位置信息以及所述当前注视位置信息，确定所述待检测人员的注视位置移动轨迹信息；
第七确定模块(图中未示出)，被配置为基于所述注视位置移动轨迹信息，确定所述待检测人员的注意力信息。
在本发明的另一实施例中，所述装置还包括：
第八确定模块(图中未示出)，被配置为在所述基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的当前注视位置分布信息之后，基于所述当前注视位置分布信息，确定所述待检测人员当前注视位置区域信息。
上述装置、系统实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种人员注视位置检测方法，其特征在于，所述方法包括：
获得待检测图像，其中，所述待检测图像为：待检测人员对应的人脸图像及该人脸图像对应的眼睛图像拼接所得的图像；
利用所述待检测图像以及目标注视方向检测模型，确定所述待检测图像所对应备用注视方向信息及其对应的备用置信度信息，其中，所述目标注视方向检测模型为：基于标注有标注注视方向信息的样本图像训练所得的模型，所述样本图像为：包含样本人员的面部的样本人脸图像及该样本人脸图像对应的眼睛图像拼接所得的图像，所述备用注视方向信息包括备用头部朝向信息，所述备用置信度信息包括：用于表征所述备用头部朝向信息的准确度的第一置信度信息；
获得所述待检测图像对应的所述待检测人员的头部中心点对应的第一空间位置信息；
基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的当前注视位置分布信息。
2.如权利要求1所述的方法，其特征在于，所述备用注视方向信息还包括备用视线方向信息，所述备用置信度信息还包括：用于表征所述备用视线方向信息的准确度的第二置信度信息；所述第二置信度信息越大表征所述备用视线方向信息的准确度越低；
在所述基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的当前注视位置分布信息的步骤之前，所述方法还包括：
判断所述第二置信度信息是否超过预设阈值；
若判断所述第二置信度信息超过所述预设阈值，执行所述基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的当前注视位置分布信息的步骤。
3.如权利要求2所述的方法，其特征在于，所述方法还包括：
若判断所述第二置信度信息未超过所述预设阈值，获得所述待检测图像对应的所述待检测人员的眼睛对应的第二空间位置信息；
基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的第一注视位置分布信息；
基于所述备用视线方向信息中指定视线方向信息、所述第二置信度信息中所述指定视线方向信息对应的第二置信度信息，以及所述第二空间位置信息中指定视线方向信息对应的第二空间位置信息，确定所述待检测人员的第二注视位置分布信息；
基于所述第一注视位置分布信息和所述第二注视位置分布信息，确定所述待检测人员的当前注视位置分布信息。
4.如权利要求1所述的方法，其特征在于，所述基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的当前注视位置分布信息的步骤，包括：
构建用于表征所述待检测人员的注视位置分布的高斯分布模型，其中，所述备用头部朝向信息为所述高斯分布模型的期望均值，所述第一置信度信息为所述高斯分布模型的方差；
基于所述高斯分布模型，确定预设数量个参考头部朝向信息；
针对每一参考头部朝向信息，基于该参考头部朝向信息以及所述第一空间位置信息，确定该参考头部朝向信息对应的注视位置信息，以确定出所述待检测人员的当前注视位置分布信息。
5.如权利要求1-4任一项所述的方法，其特征在于，在所述利用所述待检测图像以及目标注视方向检测模型，确定所述待检测图像所对应备用注视方向信息及其对应的置信度信息的步骤之前，所述方法还包括：
训练得到所述目标注视方向检测模型的过程，其中，所述过程包括：
获得初始注视方向检测模型；
获得多个样本图像以及每一样本图像对应的标注注视方向信息；
基于多个样本图像以及每一样本图像对应的标注注视方向信息，训练所述初始注视方向检测模型，直至所述初始注视方向检测模型达到预设收敛条件，得到所述目标注视方向检测模型。
6.如权利要求5所述的方法，其特征在于，每一样本图像对应的标注注视方向信息包括标注头部朝向信息和标注视线方向信息；所述初始注视方向检测模型包括特征提取层和特征检测层，其中，所述特征检测层包括用于检测图像对应的头部朝向信息的第一特征检测层和用于检测图像对应的视线方向信息的第二特征检测层；
所述基于多个样本图像以及每一样本图像对应的标注注视方向信息，训练所述初始注视方向检测模型，直至所述初始注视方向检测模型达到预设收敛条件，得到所述目标注视方向检测模型的步骤，包括：
针对每一样本图像，将该样本图像输入所述特征提取层，提取出该样本图像对应的图像特征；
将该样本图像对应的图像特征输入所述第一特征检测层，确定样本图像对应的预测头部朝向信息以及该预测头部朝向信息对应的预测置信度信息；
并将该样本图像对应的图像特征输入所述第二特征检测层，确定样本图像对应的预测视线方向信息以及该预测视线方向信息对应的预测置信度信息；
基于预设损失函数、该样本图像对应的预测视线方向信息、该预测视线方向信息对应的预测置信度信息、该样本图像对应的标注视线方向信息，以及该样本图像对应的预测头部朝向信息、该预测头部朝向信息对应的预测置信度信息、该样本图像对应的标注头部朝向信息，确定所述初始注视方向检测模型对应的当前损失值；
判断所述当前损失值是否大于预设损失值阈值；
若判断所述当前损失值不大于所述预设损失值阈值，则确定所述初始注视方向检测模型达到预设收敛条件，得到所述目标注视方向检测模型；
若判断所述当前损失值大于所述预设损失值阈值，调整所述特征提取层、所述第一特征检测层和所述第二特征检测层的模型参数，并执行所述针对每一样本图像，将该样本图像输入所述特征提取层，提取出该样本图像对应的图像特征的步骤。
7.如权利要求6所述的方法，其特征在于，所述预设损失函数的表达式为：
其中，所述Loss表示当前损失值，所述gt1表示样本图像对应的标注视线方向信息；所述pt1表示该样本图像对应的预测视线方向信息，所述表示该预测视线方向信息对应的预测置信度信息；所述gt2表示样本图像对应的标注头部朝向信息；所述pt2表示该样本图像对应的预测头部朝向信息，所述/>表示该预测头部朝向信息对应的预测置信度信息，a表示视线方向信息对应的第一损失值所对应预设权重值，b表示头部朝向信息对应的第二损失值所对应预设权重值。
8.如权利要求1-4任一项所述的方法，其特征在于，在所述基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的当前注视位置分布信息的步骤之后，所述方法还包括：
获得所述待检测图像对应的前N帧图像各自对应的历史注视位置分布信息，其中，所述历史注视位置分布信息为：基于所对应图像以及所述目标注视方向检测模型，确定的位置分布信息；
基于所述历史注视位置信息以及所述当前注视位置信息，确定所述待检测人员的注视位置移动轨迹信息；
基于所述注视位置移动轨迹信息，确定所述待检测人员的注意力信息。
9.如权利要求1-8任一项所述的方法，其特征在于，在所述基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的当前注视位置分布信息的步骤之后，所述方法还包括：
基于所述当前注视位置分布信息，确定所述待检测人员当前注视位置区域信息。
10.一种人员注视位置检测装置，其特征在于，所述装置包括：
第一获得模块，被配置为获得待检测图像，其中，所述待检测图像为：待检测人员对应的人脸图像及该人脸图像对应的眼睛图像拼接所得的图像；
第一确定模块，被配置为利用所述待检测图像以及目标注视方向检测模型，确定所述待检测图像所对应备用注视方向信息及其对应的备用置信度信息，其中，所述目标注视方向检测模型为：基于标注有标注注视方向信息的样本图像训练所得的模型，所述样本图像为：包含样本人员的面部的样本人脸图像及该样本人脸图像对应的眼睛图像拼接所得的图像，所述备用注视方向信息包括备用头部朝向信息，所述备用置信度信息包括：用于表征所述备用头部朝向信息的准确度的第一置信度信息；
第二获得模块，被配置为获得所述待检测图像对应的所述待检测人员的头部中心点对应的第一空间位置信息；
第二确定模块，被配置为基于所述备用头部朝向信息、所述第一置信度信息以及所述第一空间位置信息，确定所述待检测人员的当前注视位置分布信息。
CN202010481855.6A 2020-05-29 2020-05-29 一种人员注视位置检测方法及装置 Active CN113743172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010481855.6A CN113743172B (zh) 2020-05-29 2020-05-29 一种人员注视位置检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010481855.6A CN113743172B (zh) 2020-05-29 2020-05-29 一种人员注视位置检测方法及装置

Publications (2)

Publication Number Publication Date
CN113743172A CN113743172A (zh) 2021-12-03
CN113743172B true CN113743172B (zh) 2024-04-16

Family

ID=78727859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010481855.6A Active CN113743172B (zh) 2020-05-29 2020-05-29 一种人员注视位置检测方法及装置

Country Status (1)

Country Link
CN (1) CN113743172B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030512B (zh) * 2022-08-04 2023-10-31 荣耀终端有限公司 注视点检测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101903127B1 (ko) * 2017-05-12 2018-10-01 이래에이엠에스 주식회사 시선방향 예측 방법 및 장치
CN109359512A (zh) * 2018-08-28 2019-02-19 深圳壹账通智能科技有限公司 眼球位置追踪方法、装置、终端及计算机可读存储介质
CN110909611A (zh) * 2019-10-29 2020-03-24 深圳云天励飞技术有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备
CN110956071A (zh) * 2019-06-21 2020-04-03 初速度（苏州）科技有限公司 眼部关键点的标注及其检测模型的训练方法和装置
CN111178278A (zh) * 2019-12-30 2020-05-19 上海商汤临港智能科技有限公司 视线方向确定方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9405982B2 (en) * 2013-01-18 2016-08-02 GM Global Technology Operations LLC Driver gaze detection system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101903127B1 (ko) * 2017-05-12 2018-10-01 이래에이엠에스 주식회사 시선방향 예측 방법 및 장치
CN109359512A (zh) * 2018-08-28 2019-02-19 深圳壹账通智能科技有限公司 眼球位置追踪方法、装置、终端及计算机可读存储介质
CN110956071A (zh) * 2019-06-21 2020-04-03 初速度（苏州）科技有限公司 眼部关键点的标注及其检测模型的训练方法和装置
CN110909611A (zh) * 2019-10-29 2020-03-24 深圳云天励飞技术有限公司 一种关注区域检测方法、装置、可读存储介质及终端设备
CN111178278A (zh) * 2019-12-30 2020-05-19 上海商汤临港智能科技有限公司 视线方向确定方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宋金淼 ; 王楠楠 ; 王心瀚 ; 段晓东 ; .基于KINECT的人眼视线方向估测方法研究.大连民族大学学报.2017,(03),全文. *
熊碧辉 ; 周后盘 ; 黄经州 ; 阮益权 ; 周里程 ; .一种融合视线检测的注意力检测方法.软件导刊.2018,(07),全文. *

Also Published As

Publication number Publication date
CN113743172A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
EP3539054B1 (en) Neural network image processing apparatus
JP4277081B2 (ja) 運転支援装置
US9129397B2 (en) Human tracking method and apparatus using color histogram
CN112965504A (zh) 基于自动驾驶的远程确认方法、装置、设备及存储介质
US10254544B1 (en) Head tracking accuracy and reducing latency in dynamic environments
García et al. Driver monitoring based on low-cost 3-D sensors
KR101903127B1 (ko) 시선방향 예측 방법 및 장치
CN110341617B (zh) 眼球追踪方法、装置、车辆和存储介质
WO2024051345A1 (zh) 驾驶员的视线识别方法及装置、车辆和存储介质
US11954920B2 (en) Dynamic information protection for display devices
CN115659452B (zh) 一种智能巡视方法、智能巡视系统及计算机可读存储介质
CN111401217B (zh) 一种驾驶员的注意力检测方法、装置及设备
JP7154959B2 (ja) 走行状況判断情報基盤の運転者状態認識装置及び方法
CN113743172B (zh) 一种人员注视位置检测方法及装置
JP2007163864A (ja) 表示制御装置、表示制御方法、表示制御プログラム、および表示制御プログラム記録媒体
CN113052097A (zh) 一种人体坐姿实时监测系统以及监测方法
CN113807119B (zh) 一种人员注视位置检测方法及装置
CN112052770A (zh) 用于疲劳检测的方法、装置、介质以及电子设备
CN108363968A (zh) 一种基于关键点提取的司机疲劳驾驶监测系统和方法
CN112766097B (zh) 视线识别模型的训练方法、视线识别方法、装置及设备
CN113255476B (zh) 一种基于眼动追踪的目标跟踪方法、系统及存储介质
KR102330218B1 (ko) 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법
CN116453198B (zh) 一种基于头部姿态差异的视线校准方法和装置
CN113077489A (zh) 一种行人轨迹预测方法、装置、设备及储存介质
CN113093907A (zh) 人机交互方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant