CN112084820B - 一种基于头部信息的人员状态检测方法及装置 - Google Patents

一种基于头部信息的人员状态检测方法及装置 Download PDF

Info

Publication number
CN112084820B
CN112084820B CN201910513685.2A CN201910513685A CN112084820B CN 112084820 B CN112084820 B CN 112084820B CN 201910513685 A CN201910513685 A CN 201910513685A CN 112084820 B CN112084820 B CN 112084820B
Authority
CN
China
Prior art keywords
eyelid
face
image
dimensional
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910513685.2A
Other languages
English (en)
Other versions
CN112084820A (zh
Inventor
李源
林长宏
王晋玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN201910513685.2A priority Critical patent/CN112084820B/zh
Publication of CN112084820A publication Critical patent/CN112084820A/zh
Application granted granted Critical
Publication of CN112084820B publication Critical patent/CN112084820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开一种基于头部信息的人员状态检测方法及装置，该方法包括：从包含目标人员的面部的人脸图像中，检测出面部中的人脸特征点的二维位置信息，人脸特征点包括：面部中上下眼睑的眼睑特征点；基于人脸特征点的二维位置信息以及预设的三维人脸模型，构建目标人员对应的目标三维人脸模型，目标三维人脸模型包括：基于眼睑特征点构建的人眼的上下眼睑；基于目标三维人脸模型和/或人脸图像，确定目标人员的头部的当前姿态信息；基于目标三维人脸模型中上下眼睑的三维位置信息，确定人眼的上下眼睑之间的当前开闭长度；基于当前姿态信息以及当前开闭长度，确定目标人员的当前状态，以实现提高对目标人员的当前状态的检测结果的准确性。

Description

一种基于头部信息的人员状态检测方法及装置
技术领域
本发明涉及视频监控技术领域，具体而言，涉及一种基于头部信息的人员状态检测方法及装置。
背景技术
相关的人员的当前状态检测方法，一般可以通过对人眼的状态的检测，来确定人员的当前状态。具体的，人员的当前状态检测方法的过程，一般为：获得针对目标人员采集的人脸图像，并通过检测人脸图像中人眼的上下眼皮之间的开闭程度，确定目标人员的眼睛的状态，进而，确定目标人员的当前状态是否为疲劳状态，其中，当开闭程度低于预设开闭阈值时，则确定人眼处于闭合状态，进而确定目标人员的当前状态为疲劳状态。
然而，相关的人员的当前状态检测方法中，仅基于人眼的状态确定驾驶员的当前状态，在一定程度上易出现误检的情况。例如，在人员为车辆驾驶员，且在处于强光照环境下驾驶车辆的情况下，强光照的影响，易导致驾驶员的人眼的上下眼皮之间的开闭程度低于预设开闭阈值，进而易出现误检结果。
那么，如何提供一种可较准确的确定出人员当前状态的方法成为亟待解决的问题。
发明内容
本发明提供了一种基于头部信息的人员状态检测方法及装置，以实现提高对目标人员的当前状态的检测结果的准确性。具体的技术方案如下：
第一方面，本发明实施例提供了一种基于头部信息的人员状态检测方法，包括：
从包含目标人员的面部的人脸图像中，检测出所述面部中的人脸特征点的二维位置信息，其中，所述人脸特征点包括：所述面部中人眼的上下眼睑的眼睑特征点；基于所述人脸特征点的二维位置信息以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述眼睑特征点构建的所述人眼的上下眼睑；基于所述目标三维人脸模型和/或所述人脸图像，确定所述目标人员的头部的当前姿态信息；基于所述目标三维人脸模型中所述人眼的上下眼睑的三维位置信息，确定所述人眼的上下眼睑之间的当前开闭长度；基于所述当前姿态信息以及所述当前开闭长度，确定出所述目标人员的当前状态。
可选的，所述基于所述目标三维人脸模型和/或所述人脸图像，确定所述目标人员的头部的当前姿态信息的步骤，包括：
基于所述目标三维人脸模型，确定所述目标人员的头部的当前姿态信息；或基于所述人脸图像以及预先建立的头部姿态回归模型，确定所述目标人员的头部的当前姿态信息，其中，所述预先建立的头部姿态回归模型为：基于标注有人员头部的姿态信息的训练图像训练所得的模型；或基于所述人脸图像和预先建立的头部姿态回归模型，以及所述目标三维人脸模型，确定所述目标人员的头部的当前姿态信息，其中，所述预先建立的头部姿态回归模型为：基于标注有人员头部的姿态信息的训练图像训练所得的模型。
可选的，所述基于所述目标三维人脸模型，确定所述目标人员的头部的当前姿态信息的步骤，可以通过以下两种实现方式中的任一种实现方式实现：
第一种实现方式：获得所述目标三维人脸模型对应的旋转矩阵，其中，所述旋转矩阵为：用于将预设的三维人脸模型从其所在的预设三维直角坐标系转换至设备坐标系下，以得到所述目标三维人脸模型的矩阵；所述设备坐标系为：采集得到所述人脸图像的图像采集设备的设备坐标系；基于所述旋转矩阵，确定所述目标人员的头部的当前姿态信息；
第二种实现方式：从所述目标三维人脸模型中，确定出所述目标人员左脸中第一指定位置处的第一人脸空间点的三维位置信息，以及右脸中第二指定位置处的第二人脸空间点的三维位置信息，其中，所述第一指定位置与所述第二指定位置存在对应关系；基于所述第一人脸空间点的三维位置信息及所述第二人脸空间点的三维位置信息，确定所述第一人脸空间点与所述第二人脸空间点之间的第一连线，与设备坐标系的竖轴之间的当前翻滚角，其中，所述设备坐标系为：采集得到所述人脸图像的图像采集设备的设备坐标系；从所述目标三维人脸模型中，确定出所述目标人员的鼻尖空间点；基于所述第一连线的中心点的三维位置信息以及所述鼻尖空间点的三维位置信息，确定第二连线与设备坐标系的横轴之间的当前俯仰角，以及所述第二连线与所述设备坐标系的纵轴之间的当前偏航角，其中，所述第二连线为所述第一连线的中心点与所述鼻尖空间点的连线；基于所述当前翻滚角、所述当前俯仰角以及所述当前偏航角，确定所述目标人员的头部的当前姿态信息。
可选的，所述基于所述目标三维人脸模型中所述人眼的上下眼睑的三维位置信息，确定所述人眼的上下眼睑之间的当前开闭长度的步骤，通过以下三种实现方式中任一实现方式中实现：
第一种实现方式：从所述目标三维人脸模型中，检测得到所述人眼的上眼睑处于中心位置处的第一眼睑空间点的三维位置信息和下眼睑处于中心位置处的第二眼睑空间点的三维位置信息；基于所述第一眼睑空间点的三维位置信息以及所述第二眼睑空间点的三维位置信息，确定所述第一眼睑空间点和所述第二眼睑空间点之间的距离，作为所述人眼的上下眼睑之间的当前开闭长度；
第二种实现方式：从所述目标三维人脸模型中，确定出所述人眼对应的人眼空间点的三维位置信息；基于所述人眼空间点的三维位置信息，进行球面拟合，得到表征所述人眼的球体模型；从所述目标三维人脸模型中，检测得到所述人眼的上眼睑处于中心位置处的第一眼睑空间点的三维位置信息和下眼睑处于中心位置处的第二眼睑空间点的三维位置信息；基于所述第一眼睑空间点的三维位置信息和所述第二眼睑空间点的三维位置信息，从所述球体模型中，确定出所述第一眼睑空间点对应的第一球面点的三维位置信息和所述第二眼睑空间点对应的第二球面点的三维位置信息；基于所述第一球面点的三维位置信息和所述第二球面点的三维位置信息，确定所述第一球面点和第二球面点之间的距离，作为所述人眼的上下眼睑之间的当前开闭长度；
第三种实现方式：
基于所述目标三维人脸模型中上眼睑中心位置处的第一眼睑空间点的三维位置信息，以及下眼睑中心位置处的第二眼睑空间点的三维位置信息，确定所述第一眼睑空间点与所述第二眼睑空间点之间的距离，作为第一距离；基于所述人脸图像中上眼睑中心位置处的第一眼睑特征点的二维位置信息，以及下眼睑中心位置处的第二眼睑特征点的二维位置信息，确定所述第一眼睑特征点与所述第二眼睑特征点之间的距离，作为第二距离；基于所述目标三维人脸模型中上眼睑中心位置处的第一眼睑空间点、下眼睑中心位置处的第二眼睑空间点以及预设的投影矩阵，确定出所述第一眼睑空间点在所述人脸图像中的第一投影点和所述第二眼睑空间点在所述人脸图像中的第二投影点；基于所述第一投影点在所述人脸图像中的投影位置信息以及所述第二投影点在所述人脸图像中的投影位置信息，确定所述第一投影点与所述第二投影点之间的距离，作为第三距离；计算所述第二距离与所述第三距离的比值，作为第一比值；将所述第一距离与第一比值的乘积，确定为所述上下眼睑之间的当前开闭长度。
可选的，所述从包含目标人员的面部的人脸图像中，检测出所述面部中的人脸特征点的步骤，包括：基于预设的面部特征点检测模型，从包含目标人员的面部的人脸图像中，检测出面部特征点的二维位置信息，其中，所述预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的模型；基于所述面部特征点的二维位置信息，从所述人脸图像中确定并截取出所述目标人员的人眼所在区域，作为人眼图像；利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点，其中，所述预设的眼睑特征点检测模型为：基于标注有人眼的上下眼睑的眼睑特征点的第二样本图像训练所得的模型。
可选的，所述人眼图像包括左眼图像和右眼图像；
在所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点的步骤之前，所述方法还包括：对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像；对所述镜像图像以及未进行镜像的图像进行拼接，得到拼接图像其中，若对所述左眼图像进行镜像处理，所述未进行镜像的图像为所述右眼图像；若对所述右眼图像进行镜像处理，所述未进行镜像的图像为所述左眼图像；
所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点的步骤，包括：利用预设的眼睑特征点检测模型，从所述拼接图像中，检测出所述镜像图像中人眼的上下眼睑的眼睑特征点，以及所述未进行镜像的图像中人眼的上下眼睑的眼睑特征点；对所述镜像图像中人眼的上下眼睑的眼睑特征点进行镜像处理，得到镜像后的眼睑特征点，以得到所述人眼图像中的人眼的上下眼睑的眼睑特征点。
可选的，所述基于所述人脸图像的人脸特征点的二维位置信息以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型的步骤，包括：
从所述预设的三维人脸模型中，确定出预设人脸位置处的空间点，作为待处理空间点，其中，所述待处理空间点与人脸特征点存在对应关系；利用弱透视投影矩阵，将每一待处理空间点投影至所述人脸图像，确定每一待处理空间点在所述人脸图像中的投影点的投影位置信息；基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的人脸特征点的二维位置信息，构建所述目标人员对应的目标三维人脸模型。
可选的，在所述基于所述当前姿态信息以及所述当前开闭长度，确定出所述目标人员的当前状态的步骤之前，所述方法还包括：获得所述人脸图像的图像亮度；判断所述图像亮度是否超过预设亮度阈值；若所述图像亮度未超过所述预设亮度阈值，执行所述基于所述当前姿态信息以及所述当前开闭长度，确定出所述目标人员的当前状态的步骤；若所述图像亮度超过所述预设亮度阈值，基于所述当前姿态信息，确定出所述目标人员的当前状态。
可选的，所述基于所述当前姿态信息以及所述当前开闭长度，确定出所述目标人员的当前状态的步骤，包括：获得预设时长内确定的所述目标人员的头部的历史姿态信息以及所述人眼的历史开闭长度；基于所述当前开闭长度和所述历史开合度，判断所述目标人员的人眼的开闭长度小于预设长度阈值的次数，是否超过第一预设次数；且基于所述当前姿态信息以及所述历史姿态信息，判断所述目标人员的头部的姿态信息落入预设姿态范围内的持续时间，是否超过预设时间阈值的情况；若判断结果存在至少一个为超过，则确定所述目标人员的当前状态为疲劳状态。
可选的，所述方法还包括：若判断目标人员的人眼的开闭长度小于预设长度阈值的次数，未超过第一预设次数，且存在目标人员的头部的姿态信息落入预设姿态范围内的持续时间，超过预设时间阈值的情况，统计目标人员的头部的姿态信息落入预设姿态范围内的持续时间，超过预设时间阈值的情况的次数，作为第一次数；若所述第一次数超过预设次数，则确定目标人员处于疲劳状态。
第二方面，本发明实施例提供了一种基于头部信息的人员状态检测装置，包括：
检测模块，被配置为从包含目标人员的面部的人脸图像中，检测出所述面部中的人脸特征点的二维位置信息，其中，所述人脸特征点包括：所述面部中人眼的上下眼睑的眼睑特征点；构建模块，被配置为基于所述人脸特征点的二维位置信息以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述眼睑特征点构建的所述人眼的上下眼睑；第一确定模块，被配置为基于所述目标三维人脸模型和/或所述人脸图像，确定所述目标人员的头部的当前姿态信息；第二确定模块，被配置为基于所述目标三维人脸模型中所述人眼的上下眼睑的三维位置信息，确定所述人眼的上下眼睑之间的当前开闭长度；第三确定模块，被配置为基于所述当前姿态信息以及所述当前开闭长度，确定出所述目标人员的当前状态。
可选的，所述第一确定模块，包括：第一确定单元，被配置为：基于所述目标三维人脸模型，确定所述目标人员的头部的当前姿态信息；或第二确定单元，被配置为：基于所述人脸图像以及预先建立的头部姿态回归模型，确定所述目标人员的头部的当前姿态信息，其中，所述预先建立的头部姿态回归模型为：基于标注有人员头部的姿态信息的训练图像训练所得的模型；或第三确定单元，被配置为：基于所述人脸图像和预先建立的头部姿态回归模型，以及所述目标三维人脸模型，确定所述目标人员的头部的当前姿态信息，其中，所述预先建立的头部姿态回归模型为：基于标注有人员头部的姿态信息的训练图像训练所得的模型。
可选的，所述第一确定单元，被具体配置为获得所述目标三维人脸模型对应的旋转矩阵，其中，所述旋转矩阵为：用于将预设的三维人脸模型从其所在的预设三维直角坐标系转换至设备坐标系下，以得到所述目标三维人脸模型的矩阵；所述设备坐标系为：采集得到所述人脸图像的图像采集设备的设备坐标系；基于所述旋转矩阵，确定所述目标人员的头部的当前姿态信息；
或者，所述第一确定单元，被具体配置为从所述目标三维人脸模型中，确定出所述目标人员左脸中第一指定位置处的第一人脸空间点的三维位置信息，以及右脸中第二指定位置处的第二人脸空间点的三维位置信息，其中，所述第一指定位置与所述第二指定位置存在对应关系；基于所述第一人脸空间点的三维位置信息及所述第二人脸空间点的三维位置信息，确定所述第一人脸空间点与所述第二人脸空间点之间的第一连线，与设备坐标系的竖轴之间的当前翻滚角，其中，所述设备坐标系为：采集得到所述人脸图像的图像采集设备的设备坐标系；从所述目标三维人脸模型中，确定出所述目标人员的鼻尖空间点；基于所述第一连线的中心点的三维位置信息以及所述鼻尖空间点的三维位置信息，确定第二连线与设备坐标系的横轴之间的当前俯仰角，以及所述第二连线与所述设备坐标系的纵轴之间的当前偏航角，其中，所述第二连线为所述第一连线的中心点与所述鼻尖空间点的连线；基于所述当前翻滚角、所述当前俯仰角以及所述当前偏航角，确定所述目标人员的头部的当前姿态信息。
可选的，所述第二确定模块，被具体配置为：从所述目标三维人脸模型中，检测得到所述人眼的上眼睑处于中心位置处的第一眼睑空间点的三维位置信息和下眼睑处于中心位置处的第二眼睑空间点的三维位置信息；
基于所述第一眼睑空间点的三维位置信息以及所述第二眼睑空间点的三维位置信息，确定所述第一眼睑空间点和所述第二眼睑空间点之间的距离，作为所述人眼的上下眼睑之间的当前开闭长度；
或者，所述第二确定模块，被具体配置为：从所述目标三维人脸模型中，确定出所述人眼对应的人眼空间点的三维位置信息；基于所述人眼空间点的三维位置信息，进行球面拟合，得到表征所述人眼的球体模型；从所述目标三维人脸模型中，检测得到所述人眼的上眼睑处于中心位置处的第一眼睑空间点的三维位置信息和下眼睑处于中心位置处的第二眼睑空间点的三维位置信息；基于所述第一眼睑空间点的三维位置信息和所述第二眼睑空间点的三维位置信息，从所述球体模型中，确定出所述第一眼睑空间点对应的第一球面点的三维位置信息和所述第二眼睑空间点对应的第二球面点的三维位置信息；基于所述第一球面点的三维位置信息和所述第二球面点的三维位置信息，确定所述第一球面点和第二球面点之间的距离，作为所述人眼的上下眼睑之间的当前开闭长度；
或者，所述第二确定模块，被具体配置为：基于所述目标三维人脸模型中上眼睑中心位置处的第一眼睑空间点的三维位置信息，以及下眼睑中心位置处的第二眼睑空间点的三维位置信息，确定所述第一眼睑空间点与所述第二眼睑空间点之间的距离，作为第一距离；基于所述人脸图像中上眼睑中心位置处的第一眼睑特征点的二维位置信息，以及下眼睑中心位置处的第二眼睑特征点的二维位置信息，确定所述第一眼睑特征点与所述第二眼睑特征点之间的距离，作为第二距离；基于所述目标三维人脸模型中上眼睑中心位置处的第一眼睑空间点、下眼睑中心位置处的第二眼睑空间点以及预设的投影矩阵，确定出所述第一眼睑空间点在所述人脸图像中的第一投影点和所述第二眼睑空间点在所述人脸图像中的第二投影点；基于所述第一投影点在所述人脸图像中的投影位置信息以及所述第二投影点在所述人脸图像中的投影位置信息，确定所述第一投影点与所述第二投影点之间的距离，作为第三距离；计算所述第二距离与所述第三距离的比值，作为第一比值；将所述第一距离与第一比值的乘积，确定为所述上下眼睑之间的当前开闭长度。
可选的，所述检测模块，包括：第一检测单元，被配置为基于预设的面部特征点检测模型，从包含目标人员的面部的人脸图像中，检测出面部特征点的二维位置信息，其中，所述预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的模型；确定截取单元，被配置为基于所述面部特征点的二维位置信息，从所述人脸图像中确定并截取出所述目标人员的人眼所在区域，作为人眼图像；第二检测单元，被配置为利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点，其中，所述预设的眼睑特征点检测模型为：基于标注有人眼的上下眼睑的眼睑特征点的第二样本图像训练所得的模型。
可选的，所述人眼图像包括左眼图像和右眼图像；所述检测模块，还包括：镜像单元，被配置为在所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点之前，对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像；拼接单元，被配置为对所述镜像图像以及未进行镜像的图像进行拼接，得到拼接图像其中，若对所述左眼图像进行镜像处理，所述未进行镜像的图像为所述右眼图像；若对所述右眼图像进行镜像处理，所述未进行镜像的图像为所述左眼图像；所述第二检测单元，被具体配置为利用预设的眼睑特征点检测模型，从所述拼接图像中，检测出所述镜像图像中人眼的上下眼睑的眼睑特征点，以及所述未进行镜像的图像中人眼的上下眼睑的眼睑特征点；对所述镜像图像中人眼的上下眼睑的眼睑特征点进行镜像处理，得到镜像后的眼睑特征点，以得到所述人眼图像中的人眼的上下眼睑的眼睑特征点。
可选的，所述构建模块，被具体配置为从所述预设的三维人脸模型中，确定出预设人脸位置处的空间点，作为待处理空间点，其中，所述待处理空间点与人脸特征点存在对应关系；利用弱透视投影矩阵，将每一待处理空间点投影至所述人脸图像，确定每一待处理空间点在所述人脸图像中的投影点的投影位置信息；基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的人脸特征点的二维位置信息，构建所述目标人员对应的目标三维人脸模型。
可选的，所述装置还包括：获得模块，被配置为在所述基于所述当前姿态信息以及所述当前开闭长度，确定出所述目标人员的当前状态之前，获得所述人脸图像的图像亮度；判断模块，被配置为判断所述图像亮度是否超过预设亮度阈值；若所述图像亮度未超过所述预设亮度阈值，触发所述第三确定模块；若所述图像亮度超过所述预设亮度阈值，触发第四确定模块；所述第四确定模块，被配置为基于所述当前姿态信息，确定出所述目标人员的当前状态。
可选的，所述第三确定模块，包括：获得单元，被配置为获得预设时长内确定的所述目标人员的头部的历史姿态信息以及所述人眼的历史开闭长度；判断单元，被配置为基于所述当前开闭长度和所述历史开合度，判断所述目标人员的人眼的开闭长度小于预设长度阈值的次数，是否超过第一预设次数；且基于所述当前姿态信息以及所述历史姿态信息，判断所述目标人员的头部的姿态信息落入预设姿态范围内的持续时间，是否超过预设时间阈值的情况；第一确定单元，被配置为若判断结果存在至少一个为超过，则确定所述目标人员的当前状态为疲劳状态。
可选的，所述第三确定模块还包括：统计单元，被配置为若判断目标人员的人眼的开闭长度小于预设长度阈值的次数，未超过第一预设次数，且存在目标人员的头部的姿态信息落入预设姿态范围内的持续时间，超过预设时间阈值的情况，统计目标人员的头部的姿态信息落入预设姿态范围内的持续时间，超过预设时间阈值的情况的次数，作为第一次数；第二确定单元，被配置为若所述第一次数超过预设次数，则确定目标人员处于疲劳状态。
由上述内容可知，本发明实施例提供的一种基于头部信息的人员状态检测方法及装置，可以从包含目标人员的面部的人脸图像中，检测出面部中的人脸特征点的二维位置信息，其中，人脸特征点包括：面部中人眼的上下眼睑的眼睑特征点；基于人脸特征点的二维位置信息以及预设的三维人脸模型，构建目标人员对应的目标三维人脸模型，其中，目标三维人脸模型包括：基于眼睑特征点构建的人眼的上下眼睑；基于目标三维人脸模型和/或人脸图像，确定目标人员的头部的当前姿态信息；基于目标三维人脸模型中人眼的上下眼睑的三维位置信息，确定人眼的上下眼睑之间的当前开闭长度；基于当前姿态信息以及当前开闭长度，确定出目标人员的当前状态。
应用本发明实施例，可以基于包含目标人员的面部的人脸图像中的人脸特征点和预设的三维人脸模型，构建出目标人员对应的包括目标人员的人眼的上下眼睑的目标三维人脸模型；基于该目标三维人脸模型和/或人脸图像，可以确定出目标人员的头部的当前姿态信息，并且可以基于该目标三维人脸模型中人眼的上下眼睑，确定出较准确的人眼的上下眼睑之间的空间距离，进而结合头部的当前姿态信息以及准确性较高的人眼的上下眼睑之间的空间距离，可以更加准确地确定出目标人员的当前疲劳程度。在一定程度上实现提高对目标人员的当前状态的检测结果的准确性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、可以基于包含目标人员的面部的人脸图像中的人脸特征点和预设的三维人脸模型，构建出目标人员对应的包括目标人员的人眼的上下眼睑的目标三维人脸模型；基于该目标三维人脸模型和/或人脸图像，可以确定出目标人员的头部的当前姿态信息，并且可以基于该目标三维人脸模型中人眼的上下眼睑，确定出较准确的人眼的上下眼睑之间的空间距离，进而结合头部的当前姿态信息以及准确性较高的人眼的上下眼睑之间的空间距离，可以更加准确地确定出目标人员的当前疲劳程度。在一定程度上实现提高对目标人员的当前状态的检测结果的准确性。
2、在确定头部的当前姿态信息时，第一种实现方式，在确定目标三维人脸模型过程中，可以确定得到用于将预设的三维人脸模型从其所在的预设三维直角坐标系转换至设备坐标系下的旋转矩阵，直接获得该旋转矩阵，并基于该旋转矩阵可以直接确定出该目标人员的头部的当前姿态信息，即当前翻滚角、当前俯仰角以及当前偏航角，在一定程度上可以降低基于头部信息的人员状态检测流程中的计算量。第二种实现方式，基于目标三维人脸模型中左脸中的第一人脸空间点和右脸中对应的第二人脸空间点之间的第一连线，确定与设备坐标系的竖轴之间的当前翻滚角；并结合鼻尖空间点和第一连线的中心点，确定第二连线，并确定第二连线与设备坐标系的横轴之间的当前俯仰角，以及第二连线与设备坐标系的横轴之间的当前偏航角，在一定程度上可以确定出较准确地头部的当前姿态信息。
3、在计算人眼的上下眼睑之间的当前开闭长度时，第一种实现方式，将目标三维人脸模型中人眼的上眼睑的第一眼睑空间点的三维位置信息，以及下眼睑的第二眼睑空间点的三维位置信息，所确定出的上下眼睑的三维距离，作为人眼的上下眼睑之间的当前开闭长度，在保证所确定的上下眼睑之间的当前开闭长度的准确性的同时，简化计算流程。第二种实现方式，考虑到实际的人眼为球型，对从目标三维人脸模型中，确定出的人眼对应的人眼空间点的三维位置信息，并进行球面拟合，得到能够更加准确的表征真实的人眼的球体模型，将球体模型中上眼睑的第一眼睑空间点对应的第一球面点，以及下眼睑的第二眼睑空间点对应的第二球面点之间的距离，确定为人眼的上下眼睑之间的当前开闭长度，更好地提高当前开闭长度的准确性，进而提高对疲劳程度的检测结果的准确性。第三种实现方式，利用目标三维人脸模型中的上下眼睑的三维位置信息和人脸图像中上下眼睑的二维位置信息，共同确定人眼的上下眼睑之间的当前开闭长度，在一定程度上分化了上下眼睑的三维位置信息和二维位置信息出现的误差，并且在一定程度上降低构建目标三维人脸模型中上下眼睑时出现的误差，对上下眼睑之间的距离的影响，在一定程度上更好的提高所确定上下眼睑之间的距离的准确性，进而提高对人员的当前状态的检测结果的准确性。
4、从人脸图像中截取出面部中人眼所在区域，即人眼图像，进而利用预设的眼睑特征点检测模型，从人眼图像中检测出人眼的上下眼睑的眼睑特征点，可以提高所检测出的眼睑特征点的准确性，进而可以提高基于该眼睑特征点所构建的目标三维人脸模型中人眼的上下眼睑的准确性，以更好地提高对目标人员的疲劳程度的检测结果的准确性。
5、对左眼图像或右眼图像进行镜像处理得到镜像图像，进而对镜像图像以及未进行镜像的图像进行拼接，得到拼接图像；后续的可以利用预设的眼睑特征点检测模型，同时对该拼接图像中的两只人眼中的眼睑特征点进行检测，即通过一次检测过程则可检测出该拼接图像中两只人眼的上下眼睑的眼睑特征点，简化了利用预设的眼睑特征点检测模型，对眼睑特征点的检测过程。
6、基于所获得的人脸图像的图像亮度，确定目标人员是否处于强光照射的情况下，若未处于强光照射的情况下，结合基于头部的姿态信息以及人眼的开闭长度，确定出目标人员的当前状态，若处于强光照射的情况下，人眼的开闭长度的可信度降低，此时可以基于头部的姿态信息确定出目标人员的当前状态，以在一定程度上保证检测结果的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于头部信息的人员状态检测方法的一种流程示意图；
图2A为本发明实施例提供的确定头部的当前姿态信息的一种流程示意图；
图2B为本发明实施例提供的确定头部的当前姿态信息的另一种流程示意图；
图3为本发明实施例提供的基于头部信息的人员状态检测装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明提供了一种基于头部信息的人员状态检测方法及装置，以实现提高对目标人员的当前状态的检测结果的准确性。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的基于头部信息的人员状态检测方法的一种流程示意图。该方法可以包括以下步骤：
S101：从包含目标人员的面部的人脸图像中，检测出面部中的人脸特征点的二维位置信息。
其中，人脸特征点包括：面部中人眼的上下眼睑的眼睑特征点。
本发明实施例中，该基于多面部信息的人员状态检测方法，可以应用于任意类型的具有计算能力的电子设备。一种情况中，该电子设备可以为图像采集设备，该图像采集设备可以在获得自身采集的包含目标人员面部的人脸图像之后，执行本发明实施例所提供的后续的基于头部信息的人员状态检测流程。另一种情况，该电子设备可以为非图像采集设备，相应的，该电子设备可以与1个或多个图像采集设备进行通信连接。若电子设备与多个图像采集设备进行通信连接，电子设备可以获得每一通信连接的图像采集设备所采集的人脸图像，进而针对每一图像采集设备采集的人脸图像，执行本发明实施例所提供的基于头部信息的人员状态检测流程，其中，不同的图像采集设备可以针对不同的人员进行拍摄，可以得到包含不同人员的面部的人脸图像。
一种实现中，图像采集设备可以设置于车辆内，相应的，该目标人员为该车辆的驾驶员，该电子设备可以为车载设备，也可以不为车载设备。图像采集设备可以实时针对车辆内的驾驶员的面部进行拍摄，采集得到包含该驾驶员的面部的图像，进而发送至电子设备，电子设备获得包含该驾驶员面部的图像，其中，该获得的图像中可以仅包含驾驶员的面部，此时，电子设备可以直接将该获得的图像作为人脸图像；另外，该获得的图像中在包含驾驶员的面部的同时还可以包括车辆的车座或驾驶员的身体等信息，此时，电子设备获得图像采集设备采集的图像之后，可以直接将所获得的图像作为人脸图像。或者，为了在一定程度上提高人员状态的检测结果的准确性，可以基于预设的人脸检测算法，从所获得的图像中，检测出人脸所在区域的图像，将该人脸所在区域的图像，从该所获得的图像截取出，得到包含该驾驶员面部的人脸图像。其中，该预设的人脸检测算法可以为：特征脸方法(Eigenface)以及基于神经网络模型的人脸检测算法，基于神经网络模型的人脸检测算法可以为：Faster R-CNN(Faster Region-Convolutional Neural Networks，快速的区域-卷积神经网络)检测算法，这都是可以的。本发明实施例并不对预设的人脸检测算法的具体类型进行限定。该车辆可以为私家车、卡车以及公交车等，本发明实施例并不对车辆的车辆类型进行限定。
另一种实现中，图像采集设备也可以实时针对道路中过往的车辆进行监控，相应的，该目标人员可以为目标驾驶员，电子设备可以获得多个图像采集设备针对该目标驾驶员进行拍摄所采集到的包含目标驾驶员的面部的图像。一种情况中，电子设备获得图像采集设备采集的包含目标驾驶员的面部的图像之后，直接将该图像作为人脸图像，进而，执行后续的基于头部信息的人员状态检测流程。另一种情况中，电子设备获得图像采集设备采集的包含目标驾驶员的面部的图像之后，基于预设的人脸检测算法，从该图像中检测出目标驾驶员的面部所在区域图像，并将该目标驾驶员的面部所在区域图像从该图像中截取出，得到仅包含目标驾驶员的面部的人脸图像。
另一种实现中，图像采集设备可以实时针对室内的居家人员进行监控，相应的，该目标人员可以为目标居家人员，电子设备可以获得图像采集设备针对目标居家人员进行拍摄所采集到的包含目标居家人员的面部的人脸图像。
本发明实施例中，电子设备在获得包含目标人员的面部的人脸图像之后，对该人脸图像进行检测，从该人脸图像中检测出面部中的人脸特征点。其中，人脸特征点可以包括人眼的上下眼睑的眼睑特征点。此外，人脸特征点还可以包括表征目标人员的面部的各个部位所在位置的面部特征点。该面部的各个部位可以包括鼻子、嘴唇、眉毛、人眼、下颌、脸颊、耳朵以及额头等部位。该面部的各个部位的面部特征点可以分别包括：面部中表征出鼻子所在位置的各特征点，如鼻翼、鼻梁以及鼻尖等特征点；还可以包括表征出嘴唇所在位置的各特征点，如嘴唇的嘴角以及嘴唇的外边缘的各特征点；还可以包括表征出眉毛所在位置的各特征点，如眉毛边缘的各特征点；还可以包括表征出人眼所在位置的各特征点，如眼角特征点、眼窝特征点以及瞳孔特征点等等；还可以包括表征出下颌所在位置的各特征点，如下颌轮廓上的各特征点，即下巴轮廓上的各特征点等；还可以包括表征出耳朵所在位置的各特征点，如耳朵的各轮廓上的各特征点等；还可以包括表征出额头所在位置的各特征点，如额头轮廓上的各特征点等，如头发与额头的交接处的各特征点。
本步骤中，可以利用任一人脸特征点检测算法，从包含目标人员的面部的人脸图像中，检测出面部中的人脸特征点，并从人脸图像中确定出人脸特征点的二维位置信息。其中，上述人脸特征点检测算法可以为基于模型的ASM(Active Shape Model)和AAM(ActiveAppearnce Model)算法，基于级联形状回归CPR(Cascaded pose regression)的人脸特征点检测算法以及基于深度学习的人脸特征点检测算法，等等。本发明实施例可以应用相关技术中任一可以从人脸图像中的面部，检测出人脸特征点的算法，实现对目标人员面部的人脸特征点的检测。
进而，电子设备利用预先建立的人脸特征点检测模型，对人脸图像进行检测，检测得到人脸图像中面部的人脸特征点。一种情况，该预先建立的人脸特征点检测模型为：基于标定有人脸特征点的样本图像，训练所得的神经网络模型。为了布局清楚，后续对人脸图像的检测过程进行介绍。
S102：基于人脸特征点的二维位置信息以及预设的三维人脸模型，构建目标人员对应的目标三维人脸模型。
其中，目标三维人脸模型包括：基于眼睑特征点构建的人眼的上下眼睑。
本步骤中，电子设备本地或所连接的存储设备中，预存有预设的三维人脸模型，电子设备确定出人脸图像中面部的人脸特征点之后，可以基于预设的三维人脸模型以及人脸特征点的二维位置信息，构建目标人员对应的目标三维人脸模型。其中，可以通过3DMM(3DMorphable Models，三维形变模型)技术，基于预设的三维人脸模型以及人脸特征点的二维位置信息，构建目标人员对应的目标三维人脸模型。
在一种实现方式中，所述S102，可以包括：
从预设的三维人脸模型中，确定出预设人脸位置处的空间点，作为待处理空间点，其中，待处理空间点与人脸特征点存在对应关系；
利用弱透视投影矩阵，将每一待处理空间点投影至人脸图像，确定每一待处理空间点在人脸图像中的投影点的投影位置信息；
基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的人脸特征点的二维位置信息，构建目标人员对应的目标三维人脸模型。
一种实现方式中，电子设备可以接收用户选取指令，其中，该用户选取指令携带所需选取的空间点的预设人脸位置，电子设备可以基于该用户选取指令所携带的预设人脸位置，从预设的三维人脸模型中，确定出该预设人脸位置处的空间点，作为待处理空间点。
另一种实现方式中，电子设备可以预存有该预设人脸位置，进而电子设备可以从相应的存储位置处读取得到该预设人脸位置，进而，从预设的三维人脸模型中，确定出该预设人脸位置处的空间点，作为待处理空间点。
其中，待处理空间点与人脸特征点存在对应关系，该待处理空间点与人脸特征点的对应关系为：一一对应的关系。一种情况，该预设人脸位置可以基于后续提到的第一样本图像中所包含人脸的人脸特征点的位置进行设置。
一种情况中，该预设的三维人脸模型可以通过如下公式(1)表示：
Figure BDA0002094311860000111
其中，S表示该预设的三维人脸模型，
Figure BDA0002094311860000112
表示预设的平均脸，Aid表示人的人脸的形状信息，Aexp表示人的人脸的表情信息，αid表示人的人脸的形状信息的权重，可以称为形状权重，αexp表示人的人脸的表情信息的权重，可以称为表情权重。
电子设备可以基于上述公式(1)绘制出所表征的三维人脸模型，该三维人脸模型由点云组成。电子设备可以从该绘制的三维人脸模型中，确定出预设人脸位置处的空间点，作为待处理空间点，进而，可以继续获得待处理空间点的三维位置信息。
电子设备确定出待处理空间点之后，可以基于预设的弱透视投影矩阵，将每一待处理空间点投影至该人脸图像中，即利用弱透视投影矩阵以及每一待处理空间点的三维位置信息，确定每一待处理空间点在人脸图像中的投影点的投影位置信息。基于每一待处理空间点的投影点的投影位置信息以及每一待处理空间点对应的人脸特征点的二维位置信息，构建目标人员对应的目标三维人脸模型。
其中，上述基于每一待处理空间点的投影点的投影位置信息以及每一待处理空间点对应的人脸特征点的二维位置信息，构建目标人员对应的目标三维人脸模型的过程，可以是：基于每一待处理空间点的投影点的投影位置信息以及每一待处理空间点对应的人脸特征点的二维位置信息，确定每一待处理空间点及其对应的人脸特征点的距离误差，基于最小二乘法原理以及每一待处理空间点及其对应的人脸特征点的距离误差，构建目标函数。求解使得该目标函数的函数值达到最小或满足约束条件时，该目标函数中的相应未知量的解，基于该解得到目标人员对应的目标三维人脸模型。
一种情况中，该预设的弱透视投影矩阵可以通过如下公式(2)表示：
si2d＝fPR(α,β,γ)(Si+t3d)； (2)
其中，si2d表示第i个待处理空间点的投影点的投影位置信息，其中，i可以取[1，n]中的整数，该n表示待处理空间点的数量，f表示比例因子，R(α,β,γ)表示3*3的旋转矩阵，即后续提到的目标三维人脸模型对应的旋转矩阵，α表示该预设的三维人脸模型在预设三维直角坐标系下的横轴下的旋转角度，β表示该预设的三维人脸模型在预设三维直角坐标系下的纵轴下的旋转角度，γ表示该预设的三维人脸模型在预设三维直角坐标系下的竖轴下的旋转角度，该t3d表示平移向量；Si表示第i个待处理空间点的三维位置信息，该旋转矩阵和平移向量用于：将该预设的三维人脸模型从其所在的预设三维直角坐标系下，转换至图像采集设备的设备坐标系下，该图像采集设备为采集得到包含目标人员的面部的人脸图像的图像采集设备。
目标函数可以通过如下公式(3)表示：
Figure BDA0002094311860000121
其中，P表示目标函数的函数值，si2dt表示第i个待处理空间点对应的人脸特征点的二维位置信息，‖·‖表示求向量的模，该向量表示：第i个待处理空间点对应的人脸特征点的二维位置信息和第i个待处理空间点的投影点的投影位置信息之间的距离误差。
本发明实施例中，可以通过迭代的方法，不断调整f,R(α,β,γ),t3d,αid,αexp的具体取值，以使得P达到最小或使得P满足预设约束条件，该预设约束条件可以为P不大于预设距离误差阈值。获得P达到最小或使得P满足预设约束条件时，f,R(α,β,γ),t3d,αid,αexp的具体取值，作为最终的取值，将αid,αexp的最终的取值，代入公式(1)中，得到目标人员对应的目标三维人脸模型。
S103：基于目标三维人脸模型和/或人脸图像，确定目标人员的头部的当前姿态信息。
理论上，人员的头部的姿态在一定程度上可以表征出人员的当前状态。当目标人员处于疲劳状态时，目标人员头部的当前姿态信息可以落入预设姿态范围内，且持续一段时间，当目标人员处于非疲劳状态时，目标人员头部的当前姿态信息可以未落入预设姿态范围内，或落入预设姿态范围内未持续一段时间。
其中，当前姿态信息可以包括目标人员的头部与设备坐标系的横轴之间的当前俯仰角、头部与设备坐标系的纵轴之间当前偏航角以及头部与设备坐标系的竖轴之间当前翻滚角。上述预设姿态范围可以包括：对应头部的俯仰角的子姿态范围、对应头部的偏航角的子姿态范围和对应头部的翻滚角的子姿态范围。其中，设备坐标系为：采集得到人脸图像的图像采集设备的设备坐标系。
在一种实现方式中，所述S103，可以包括：
基于目标三维人脸模型，确定目标人员的头部的当前姿态信息；或
基于人脸图像以及预先建立的头部姿态回归模型，确定目标人员的头部的当前姿态信息，其中，预先建立的头部姿态回归模型为：基于标注有人员头部的姿态信息的训练图像训练所得的模型；或
基于人脸图像和预先建立的头部姿态回归模型，以及目标三维人脸模型，确定目标人员的头部的当前姿态信息，其中，预先建立的头部姿态回归模型为：基于标注有人员头部的姿态信息的训练图像训练所得的模型。
其中，可以直接基于目标三维人脸模型中的人脸空间点的三维位置信息，确定目标人员的头部的当前姿态信息。也可以将该人脸图像输入预先建立的头部姿态回归模型，获得预先建立的头部姿态回归模型的输出结果，基于该输出结果，确定目标人员的头部的当前姿态信息。也可以基于人脸图像和预先建立的头部姿态回归模型，确定出目标人员的头部的第一姿态信息，并基于目标三维人脸模型，确定出目标人员的头部的第二姿态信息，进而结合第一姿态信息和第二姿态信息，确定目标人员的头部的当前姿态信息。其中，可以是：将第一姿态信息和第二姿态信息的平均值，确定为目标人员的头部的当前姿态信息。
其中，本发明实施例中，上述预先建立的头部姿态回归模型为：基于标注有人员头部的姿态信息的训练图像训练所得的神经网络模型，其训练过程可以参见后续的预设的面部特征点检测模型的训练过程。其中，训练得到该预先建立的头部姿态回归模型所需的训练图像中包含各人员的面部，即头部，训练得到该预先建立的头部姿态回归模型所需的每一训练图像对应的标定信息中包含：该训练图像中人员的头部的俯仰角、偏航角以及翻滚角，其中，该标定信息中包含的该训练图像中人员的头部的俯仰角、偏航角以及翻滚角，可以通过本发明实施例所提供的确定头部的俯仰角、偏航角以及翻滚角的方式获得，可以通过相关技术中确定头部的俯仰角、偏航角以及翻滚角的方式获得，这都是可以的。
在本发明的一种实现方式中，如图2A所示，所述基于目标三维人脸模型，确定目标人员的头部的当前姿态信息的步骤，可以包括如下步骤：
S201A：获得目标三维人脸模型对应的旋转矩阵。
其中，该旋转矩阵为：用于将预设的三维人脸模型从其所在的预设三维直角坐标系转换至设备坐标系下，以得到目标三维人脸模型的矩阵；设备坐标系为：采集得到人脸图像的图像采集设备的设备坐标系。
S202A：基于旋转矩阵，确定目标人员的头部的当前姿态信息。
本实现方式中，在基于人脸特征点的二维位置信息以及预设的三维人脸模型，构建目标人员对应的目标三维人脸模型的过程中，可以同时确定出用于将目标三维人脸模型中的人脸空间点投影至人脸图像中的预设的弱透视投影矩阵，其中，该预设的弱透视投影矩阵中包含：用于将预设的三维人脸模型从其所在的预设三维直角坐标系转换至设备坐标系下，以得到目标三维人脸模型的旋转矩阵。即上述的R(α,β,γ)。即在构建目标人员对应的目标三维人脸模型的过程中，可以同时确定出得到该目标三维人脸模型对应的旋转矩阵R(α,β,γ)。进而，基于罗德里格斯公式，分解该旋转矩阵，以得到目标人员的头部的当前俯仰角、当前偏航角以及当前翻滚角，进而将该当前俯仰角、当前偏航角以及当前翻滚角，确定为目标人员的头部的当前姿态信息。在一种情况中，可以通过Opencv直接调用该罗德里格斯公式对应的函数，分解该旋转矩阵，以得到目标人员的头部的当前俯仰角、当前偏航角以及当前翻滚角。
在本发明的另一种实现方式中，如图2A所示，所述基于目标三维人脸模型，确定目标人员的头部的当前姿态信息的步骤，可以包括如下步骤：
S201B：从目标三维人脸模型中，确定出目标人员左脸中第一指定位置处的第一人脸空间点的三维位置信息，以及右脸中第二指定位置处的第二人脸空间点的三维位置信息。
其中，第一指定位置与第二指定位置存在对应关系。
S202B：基于第一人脸空间点的三维位置信息及第二人脸空间点的三维位置信息，确定第一人脸空间点与第二人脸空间点之间的第一连线，与设备坐标系的竖轴之间的当前翻滚角。
其中，设备坐标系为：采集得到人脸图像的图像采集设备的设备坐标系。
S203B：从目标三维人脸模型中，确定出目标人员的鼻尖空间点。
S204B：基于第一连线的中心点的三维位置信息以及鼻尖空间点的三维位置信息，确定第二连线与设备坐标系的横轴之间的当前俯仰角，以及第二连线与设备坐标系的纵轴之间的当前偏航角。
其中，第二连线为第一连线的中心点与鼻尖空间点的连线。
S205B：基于当前翻滚角、当前俯仰角以及当前偏航角，确定目标人员的头部的当前姿态信息。
其中，第一指定位置和第二指定位置为基于目标三维人脸模型的中轴线对称的位置，上述第一指定位置处的第一人脸空间点可以为：左脸中左眼的左眼角空间点，相应的，上述第二指定位置处的第二人脸空间点为：右脸中右眼的右眼角空间点。上述第一指定位置处的第一人脸空间点可以为：嘴部的左嘴角空间点，相应的，上述第二指定位置处的第二人脸空间点为：嘴部的右嘴角空间点。上述第一指定位置处的第一人脸空间点可以为：左耳的耳朵空间点，相应的，上述第二指定位置处的第二人脸空间点可以为：右耳的相应位置的耳朵空间点，如第一指定位置处的第一人脸空间点为左耳的耳尖空间点，则第二指定位置处的第二人脸空间点为右耳的耳尖空间点。等等。
可以理解的是，在一种情况中，目标人员处于疲劳状态时，其易打瞌睡，打瞌睡时可能出现歪头、仰头、低头以及偏转头的情况。基于目标三维人脸模型中左脸中第一指定位置处的第一人脸空间点三维位置信息，以及右脸中第二指定位置处的第二人脸空间点的三维位置信息，确定第一连线；计算该第一连线与设备坐标系的竖轴之间的夹角，即当前翻滚角。进而，确定第一连线的中心点，并基于第一连线的中心点的三维位置信息以及鼻尖空间点的三维位置信息，确定第二连线，并计算第二连线于设备坐标系的横轴之间的夹角，即当前俯仰角，并计算第二连线于设备坐标系的纵轴之间的夹角，即当前偏航角，进而，将当前翻滚角、当前俯仰角以及当前偏航角，确定目标人员的头部的当前姿态信息。其中，该当前翻滚角可以体现出目标人员的头部是否出现歪头的情况，该当前俯仰角可以体现出目标人员的头部是否出现仰头或低头的情况，该当前偏航角可以体现出目标人员的头部是否出现偏转的情况。
在一种情况中，目标人员的头部的当前翻滚角还可以通过目标三维人脸模型中目标人员的左眼的第一眼角空间点的三维位置信息和第二眼角空间点的三维位置信息，以及右眼的第三眼角空间点的三维位置信息和第四眼角空间点的三维位置信息确定。其中，可以是计算第一眼角空间点和第二眼角空间点之间的连线，与设备坐标系的竖轴之间的第一夹角；并计算第三眼角空间点和第四眼角空间点之间的连线，与设备坐标系的竖轴之间的第二夹角，进而，将第一夹角和第二夹角的平均值确定为目标人员的头部的当前翻滚角。
进而，可以基于左耳的耳朵空间点的三维位置信息以及右耳的相应位置的耳朵空间点的三维位置信息，确定左耳的耳朵空间点和右耳的相应位置的耳朵空间点之间的连线，并确定该连线的中心点，进而，确定该连线的中心点和鼻尖空间点的连线与设备坐标系的横轴之间的夹角，作为当前俯仰角；确定该连线的中心点和鼻尖空间点的连线与设备坐标系的纵轴之间的夹角，作为当前偏航角。
S104：基于目标三维人脸模型中人眼的上下眼睑的三维位置信息，确定人眼的上下眼睑之间的当前开闭长度。
本步骤中，基于目标三维人脸模型中人眼的上眼睑的预设位置处的眼睑空间点的三维位置信息，和下眼睑的预设位置处的眼睑空间点的三维位置，确定人眼的上下眼睑之间的当前开闭长度。
在本发明的一种实现方式中，该上眼睑的预设位置可以为上眼睑的中心位置，该瞎眼睑的预设位置可以为下眼睑的中心位置；所述S104可以包括如下步骤：
从目标三维人脸模型中，检测得到人眼的上眼睑处于中心位置处的第一眼睑空间点的三维位置信息和下眼睑处于中心位置处的第二眼睑空间点的三维位置信息.
基于第一眼睑空间点的三维位置信息以及第二眼睑空间点的三维位置信息，确定第一眼睑空间点和第二眼睑空间点之间的距离，作为人眼的上下眼睑之间的当前开闭长度。
本实施例中，为了在保证所确定的人眼的上下眼睑之间的开闭长度的准确性的同时，降低电子设备的计算负担，可以直接从目标三维人脸模型中，检测得到人眼的上眼睑处于中心位置处的第一眼睑空间点及其三维位置信息，和下眼睑处于中心位置处的第二眼睑空间点及其三维位置信息，即检测得到人眼的上眼睑的2等分点及其三维位置信息，和下眼睑的2等分点及其三维位置信息；进而。基于该第一眼睑空间点的三维位置信息和第二眼睑空间点的三维位置信息，确定出第一眼睑空间点和第二眼睑空间点之间的距离，作为人眼的上下眼睑之间的当前张合度。具体的，第一眼睑空间点和第二眼睑空间点之间的距离可以表示为：
Figure BDA0002094311860000161
其中，(x1，y1，z1)表示第一眼睑空间点的三维位置信息，(x2，y2，z2)表示第二眼睑空间点的三维位置信息。
在本发明的另一实施例中，所述S104可以包括如下步骤：
从目标三维人脸模型中，确定出人眼对应的人眼空间点的三维位置信息；
基于人眼空间点的三维位置信息，进行球面拟合，得到表征人眼的球体模型；
从目标三维人脸模型中，检测得到人眼的上眼睑处于中心位置处的第一眼睑空间点的三维位置信息和下眼睑处于中心位置处的第二眼睑空间点的三维位置信息；
基于第一眼睑空间点的三维位置信息和第二眼睑空间点的三维位置信息，从球体模型中，确定出第一眼睑空间点对应的第一球面点的三维位置信息和所述第二眼睑空间点对应的第二球面点的三维位置信息；
基于第一球面点的三维位置信息和第二球面点的三维位置信息，确定第一球面点和第二球面点之间的距离，作为人眼的上下眼睑之间的当前开闭长度。
本实施例中，鉴于对人眼的眼球的实际形状的考虑，为了更加提高所确定的人眼的上下眼睑之间的开闭长度的准确性，可以首先从目标三维人脸模型中，确定出人眼对应的人眼空间点，例如：表征眼球的眼球空间点；基于目标三维人脸模型中的人眼空间点的三维位置信息，进行球面拟合，得到表征人眼的球体模型。进而，基于上眼睑处于中心位置处的第一眼睑空间点的三维位置信息和下眼睑处于中心位置处的第二眼睑空间点的三维位置信息，从球体模型中，确定出第一眼睑空间点对应的第一球面点的三维位置信息和第二眼睑空间点对应的第二球面点的三维位置信息；基于该第一球面点的的三维位置信息和第二球面点的三维位置信息，确定第一球面点和第二球面点之间的距离，作为人眼的上下眼睑之间的当前张合度。
在一种情况中，上述基于上眼睑处于中心位置处的第一眼睑空间点的三维位置信息和下眼睑处于中心位置处的第二眼睑空间点的三维位置信息，从球体模型中，确定出第一眼睑空间点对应的第一球面点的三维位置信息和第二眼睑空间点对应的第二球面点的三维位置信息的过程，可以是：基于第一眼睑空间点的三维位置信息和图像采集设备的光心的位置信息，作图像采集设备的光心和第一眼睑空间点之间的连线，将该连线与球体模型的两个交点中，距离第一眼睑空间点最近的交点，作为第一眼睑空间点对应的第一球面点，并基于球体模型确定出第一球面点的三维位置信息；基于第二眼睑空间点的三维位置信息和图像采集设备的光心的位置信息，作图像采集设备的光心和第二眼睑空间点之间的连线，将该连线与球体模型的两个交点中，距离第二眼睑空间点最近的交点，作为第二眼睑空间点对应的第二球面点，并基于球体模型确定出第二球面点的三维位置信息。
本实施例中，将目标三维人脸模型中人眼的空间点进行球面拟合，得到表征人眼的球体模型，使得所得到的人眼的形状更接近于真实人眼的形状，进而基于球体模型中第一球面点的三维位置信息和第二球面点的三维位置信息，可以所确定出准确性更高的人眼的上下眼睑之间的开闭长度。
在本发明的另一实施例中，所述S104可以包括如下步骤：
基于目标三维人脸模型中上眼睑中心位置处的第一眼睑空间点的三维位置信息，以及下眼睑中心位置处的第二眼睑空间点的三维位置信息，确定第一眼睑空间点与第二眼睑空间点之间的距离，作为第一距离；
基于人脸图像中上眼睑中心位置处的第一眼睑特征点的二维位置信息，以及下眼睑中心位置处的第二眼睑特征点的二维位置信息，确定第一眼睑特征点与第二眼睑特征点之间的距离，作为第二距离；
基于目标三维人脸模型中上眼睑中心位置处的第一眼睑空间点、下眼睑中心位置处的第二眼睑空间点以及预设的投影矩阵，确定出第一眼睑空间点在人脸图像中的第一投影点和第二眼睑空间点在人脸图像中的第二投影点；
基于第一投影点在人脸图像中的投影位置信息以及第二投影点在人脸图像中的投影位置信息，确定第一投影点与第二投影点之间的距离，作为第三距离；
计算第二距离与第三距离的比值，作为第一比值；
将第一距离与第一比值的乘积，确定为上下眼睑之间的当前开闭长度。
本实施例中，为了更加提高所确定的人眼的上下眼睑之间的开闭长度的准确性，可以同时基于目标三维人脸模型中人眼的眼睑空间点之间的距离，和二维的人脸图像中人眼的眼睑特征点之间的距离，共同确定该人眼的上下眼睑之间的开闭长度，以在一定程度上降低构建目标三维人脸模型时出现的误差，对所确定得人眼的上下眼睑之间的开闭长度的影响。
具体的，从目标三维人脸模型中，检测得到人眼的上眼睑中心位置处的第一眼睑空间点的三维位置信息和下眼睑中心位置处的第二眼睑空间点的三维位置信息；进而计算该第一眼睑空间点的三维位置信息以及第二眼睑空间点的三维位置信息之间的距离，即计算得到第一眼睑空间点和第二眼睑空间点之间的距离，作为第一距离。
进而，从人脸图像中，检测出人眼的上眼睑中心位置处的第一眼睑特征点的二维位置信息与中心位置处的第二眼睑特征点的二维位置信息；基于第一眼睑特征点的二维位置信息，和第二眼睑特征点的二维位置信息，计算人脸图像中人眼的上眼睑的第一眼睑特征点与下眼睑的第二眼睑特征点之间的距离，作为第二距离。
利用预设的弱透视投影矩阵，将第一眼睑空间点投影至人脸图像，得到第一眼睑空间点的第一投影点；并利用预设的弱透视投影矩阵，将第二眼睑空间点投影至人脸图像，得到第二眼睑空间点的第二投影点；基于第一投影点在人脸图像中的投影位置信息，以及第二投影点在人脸图像中的投影位置信息，计算第一投影点和第二投影点之间的距离，作为第三距离。计算第二距离和第三距离的比值，作为第一比值；进而将第一比值和第一距离的乘积作为人眼的上下眼睑之间的当前开闭长度。
本实施例中，结合目标三维人脸模型中人眼的眼睑点之间的距离，和二维的人脸图像中人眼的眼睑点之间的距离，共同确定该人眼的上下眼睑之间的当前开闭长度，更加提高所确定的人眼的上下眼睑之间的开闭长度的准确性。在一定程度上降低构建目标三维人脸模型时出现的误差，对所确定得人眼的上下眼睑之间的开闭长度的影响。
其中，人员具有左眼和右眼，一种情况，可以是利用目标人员的任一人眼的上下眼睑的信息，确定上下眼睑之间的当前开闭长度，例如：利用左眼的上下眼睑的信息或右眼的上下眼睑的信息，确定上下眼睑之间的当前开闭长度。该上下眼睑的信息可以包括目标三维人脸模型中人眼的上下眼睑的三维位置信息、人脸图像中人眼的上下眼睑的二维位置信息以及人脸图像中目标三维人脸模型中人眼的上下眼睑的投影点的投影位置信息。
另一种情况，可以是：利用目标人员的两只人眼的上下眼睑的信息，确定上下眼睑之间的当前开闭长度，例如：利用左眼和右眼的上下眼睑的信息，确定上下眼睑之间的当前开闭长度。其中，可以是：分别利用目标人员的每一人眼的上下眼睑的信息确定每一人眼的上下眼睑之间的开闭长度，进而计算两只眼的上下眼睑之间的开闭长度的平均值，作为上下眼睑之间的当前开闭长度。
S105：基于当前姿态信息以及当前开闭长度，确定出目标人员的当前状态。
其中，人员的人眼的开合的状态以及头部的姿态信息，在一定程度上可以表征出人员的疲劳程度。人员在疲劳状态下，一般易打盹，此时，该人员的人眼的上下眼睑之间的距离会相对较小，且头部易出现倾斜或俯仰或偏转，如头部的姿态信息落入预设姿态范围内，且持续一段时间。而人员处于非疲劳状态下，人眼的上下眼睑之间的距离会相对较大，且头部的姿态较正，如头部的姿态信息未落入预设姿态范围内，或落入预设姿态范围内的持续时间较短。本发明实施例中，为了在一定程度上提高对人员的当前状态的检测结果的准确性，可以结合人眼的当前开闭长度以及头部的当前姿态信息，共同确定目标人员的当前状态。该当前状态可以包括疲劳状态和非疲劳状态。
应用本发明实施例，可以基于包含目标人员的面部的人脸图像中的人脸特征点和预设的三维人脸模型，构建出目标人员对应的包括目标人员的人眼的上下眼睑的目标三维人脸模型；基于该目标三维人脸模型和/或人脸图像，可以确定出目标人员的头部的当前姿态信息，并且可以基于该目标三维人脸模型中人眼的上下眼睑，确定出较准确的人眼的上下眼睑之间的空间距离，进而结合头部的当前姿态信息以及准确性较高的人眼的上下眼睑之间的空间距离，可以更加准确地确定出目标人员的当前疲劳程度。在一定程度上实现提高对目标人员的当前状态的检测结果的准确性。
在本发明的另一实施例中，所述S101，可以包括：
基于预设的面部特征点检测模型，从包含目标人员的面部的人脸图像中，检测出面部特征点的二维位置信息，其中，预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的模型；
基于面部特征点的二维位置信息，从人脸图像中确定并截取出目标人员的人眼所在区域，作为人眼图像；
利用预设的眼睑特征点检测模型，从人眼图像中检测出人眼的上下眼睑的眼睑特征点，其中，预设的眼睑特征点检测模型为：基于标注有人眼的上下眼睑的眼睑特征点的第二样本图像训练所得的模型。
人脸图像中包含目标人员的整个面部的特征，直接在人脸图像中检测人眼眼睑的眼睑特征点，难免出现检测不够准确的情况。本实施例中，可以先基于预设的面部特征点检测模型，对人脸图像进行检测，检测得到人脸图像中可以表征目标人员面部的各个部位的面部特征点以及每一面部特征点的二维位置信息，进而，基于该面部特征点，从人脸图像中确定出面部中人眼所在区域，作为人眼图像，从该人脸图像中截取出该人眼图像。进而基于预设的眼睑特征点检测模型，从包含人眼的人眼图像中检测出人眼的上下眼睑的眼睑特征点。以在一定程度上提高所检测出的人眼的眼睑特征点的准确性。
本实施例中，该预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的神经网络模型。一种情况中，本发明实施例还可以包括训练得到预设的面部特征点检测模型的过程。具体的：电子设备可以先获得初始的面部特征点检测模型，该初始的面部特征点检测模型特征提取层和特征分类层；获得第一样本图像，每一第一样本图像包括人脸；获得每一第一样本图像对应的标定信息，其中，该标定信息包括第一样本图像中所包含人脸的面部特征点的标定位置信息。
电子设备将每一第一样本图像，输入初始的面部特征点检测模型的特征提取层，得到每一第一样本图像的图像特征；将每一第一样本图像的图像特征，输入初始的面部特征点检测模型的特征分类层，得到每一第一样本图像中面部特征点的当前位置信息；将每一第一样本图像中面部特征点的当前位置信息与其对应的标定位置信息进行匹配；若匹配成功，则确定初始的面部特征点检测模型收敛，得到包含特征提取层和特征分类层的初始的面部特征点检测模型，即得到预设的面部特征点检测模型；若匹配不成功，则调整特征提取层和特征分类层参数，返回执行该将每一第一样本图像输入初始的面部特征点检测模型的特征提取层，得到每一第一样本图像的图像特征的步骤；直至匹配成功，则得到包含特征提取层和特征分类层的初始的面部特征点检测模型，为预设的面部特征点检测模型。
其中，上述将每一第一样本图像中面部特征点的当前位置信息与其对应的标定位置信息进行匹配的过程，可以是：利用预设的损失函数，计算每一面部特征点的当前位置信息与其对应的标定位置信息之间的第一损失值，判断该第一损失值是否小于第一预设损失阈值；若判断该第一损失值小于第一预设损失阈值，则确定匹配成功，此时可以确定该初始的面部特征点检测模型收敛，即确定该初始的面部特征点检测模型训练完成，得到该预设的面部特征点检测模型；若判断该第一损失值不小于第一预设损失阈值，确定匹配不成功。
其中，每一第一样本图像与面部特征点的当前位置信息存在对应关系，且每一第一样本图像与标定信息中的面部特征点的标定位置信息存在对应关系，则面部特征点的当前位置信息与标定信息中的面部特征点的标定位置信息存在对应关系。
训练得到预设的面部特征点检测模型之后，电子设备则可以基于预设的面部特征点检测模型，对人脸图像进行检测，检测得到该人脸图像中面部的面部特征点及每一面部特征点的二维位置信息。
进而，基于面部特征点中表征人眼所在位置的各特征点的二维位置信息，从人脸图像中，确定并截取出目标人员的人眼所在区域，作为人眼图像。其中，可以是基于面部特征点中表征人眼所在位置的各特征点的二维位置信息，确定出最小的包含该目标人员的人眼的矩形区域，将该矩形区域作为人眼所在区域，并截取出，得到人眼图像图像。其中，可以是分别针对目标人员的两只眼睛分别截取出其所在区域的图像，得到人眼图像。
后续的，利用预设的眼睑特征点检测模型，从人眼图像中检测出人眼的上下眼睑的眼睑特征点。其中，上述预设的眼睑特征点检测模型：基于标注有人眼的上下眼睑的眼睑特征点的第二样本图像训练所得的神经网络模型。该预设的眼睑特征点检测模型的训练过程，可以参见上述预设的面部特征点检测模型的训练过程。
其中，区别于预设的面部特征点检测模型的第一样本图像，该第二样本图像为标注有人眼的上下眼睑的眼睑特征点的图像，且第二样本图像对应的标定信息包含该的人眼的上下眼睑的眼睑特征点的标定位置信息。其中，该第二样本图像标注的人眼的上下眼睑的眼睑特征点，可以是人工标定或通过特定标定程序标定的眼睑特征点。
在另一种实现方式中，上述预设的面部特征点检测模型和预设的眼睑特征点检测模型可以为一个功能合并的模型。相应的，训练得到该功能合并的模型所需的第三样本图像为包含人脸的图像，第三样本图像对应的标定信息中包含有面部特征点的标定位置信息、人眼的上下眼睑的眼睑特征点的标定位置信息。
在本发明的另一实施例中，该人眼图像包括左眼图像和右眼图像；在所述利用预设的眼睑特征点检测模型，从人眼图像中检测出人眼的上下眼睑的眼睑特征点的步骤之前，所述方法还可以包括：对左眼图像或右眼图像进行镜像处理，得到镜像图像；
对镜像图像以及未进行镜像的图像进行拼接，得到拼接图像，其中，若对左眼图像进行镜像处理，未进行镜像的图像为右眼图像；若对右眼图像进行镜像处理，未进行镜像的图像为左眼图像；
所述利用预设的眼睑特征点检测模型，从人眼图像中检测出人眼的上下眼睑的眼睑特征点的步骤，可以包括：
利用预设的眼睑特征点检测模型，从拼接图像中，检测出镜像图像中人眼的上下眼睑的眼睑特征点，以及未进行镜像的图像中人眼的上下眼睑的眼睑特征点；
对镜像图像中人眼的上下眼睑的眼睑特征点进行镜像处理，得到镜像后的眼睑特征点，以得到人眼图像中的人眼的上下眼睑的眼睑特征点。
其中，人眼图像包括：包含目标人员左眼的图像，称为左眼图像；和包含目标人员的右眼的图像，称为右眼图像。为了在一定程度上降低利用预设的眼睑特征点检测模型，检测得到目标人员的眼睑特征点的复杂度，并缩短利用预设的眼睑特征点检测模型，检测得到目标人员的眼睑特征点所需的检测时间。本实施例中，可以对左眼图像或右眼图像进行镜像处理，得到镜像图像。进而对镜像图像以及未进行镜像的图像进行拼接，得到拼接图像；将拼接图像输入预设的眼睑特征点检测模型，以利用预设的眼睑特征点检测模型，从拼接图像中，检测出镜像图像中人眼的上下眼睑的眼睑特征点，以及未进行镜像的图像中人眼的上下眼睑的眼睑特征点。使得预设的眼睑特征点检测模型可以同时对镜像图像和未进行镜像的图像进行检测，可以缩短利用预设的眼睑特征点检测模型，检测得到目标人员的眼睑特征点所需的检测时间。
其中，若对右眼图像进行镜像处理，上述未进行镜像的图像为左眼图像；若对左眼图像进行镜像处理，上述未进行镜像的图像为右眼图像。
对左眼图像或右眼图像进行镜像处理，可以使得左眼图像镜像为该左眼图像对应的右眼图像，或使得右眼图像镜像为该右眼图像对应的左眼图像，在一定程度上降低利用预设的眼睑特征点检测模型，检测得到目标人员的眼睑特征点的复杂度。
可以理解的是，在训练得到上述预设的眼睑特征点检测模型，所需的第二样本图像中，可以包含样本人员的左眼图像及该样本人员的右眼图像镜像所得的左眼图像，或包含样本人员的右眼图像及该样本人员的左眼图像镜像所得的右眼图像。若训练得到上述预设的眼睑特征点检测模型所需的第二样本图像中，包含样本人员的左眼图像及该样本人员的右眼图像镜像所得的左眼图像，后续的，在检测过程中，对目标人员的右眼图像进行镜像处理。若训练得到上述预设的眼睑特征点检测模型所需的第二样本图像中，包含样本人员的右眼图像及该样本人员的左眼图像镜像所得的右眼图像，后续的，在检测过程中，对目标人员的左眼图像进行镜像处理。
在训练得到上述预设的眼睑特征点检测模型时，对样本人员的右眼图像或左眼图像进行镜像处理，在一定程度上还可以增加训练得到上述预设的眼睑特征点检测模型所需的第二样本图像的数量。
上述对镜像图像以及未进行镜像的图像进行拼接，得到拼接图像的过程，可以是：对镜像图像以及未进行镜像的图像进行空间维度的拼接或者通道维度的拼接，其中，该空间维度的拼接可以为：将镜像图像以及未进行镜像的图像进行左右拼接或上下拼接。左右拼接可以是：镜像图像的右侧边与未进行镜像的图像的左侧边进行拼接，镜像图像的左侧边与未进行镜像的图像的右侧边进行拼接。上下拼接可以是：镜像图像的上侧边与未进行镜像的图像的下侧边进行拼接，镜像图像的下侧边与未进行镜像的图像的上侧边进行拼接。
在本发明的另一实施例中，在所述对左眼图像或右眼图像进行镜像处理，得到镜像图像的步骤之前，所述方法还可以包括：
对待处理图像进行转正处理，得到转正后的待处理图像，其中，转正处理为：使得待处理图像中的两个眼角特征点的连线与预设图像坐标系的坐标轴平行，待处理图像为左眼图像和右眼图像；
所述对左眼图像或右眼图像进行镜像处理，得到镜像图像的步骤，可以包括：
对转正后的待处理图像进行镜像处理，得到镜像图像。
在一种情况中，目标人员的头部可能会出现倾斜的情况，本实施例中，为了提高对眼睑特征点的检测结果的准确性，并在一定程度上降低检测难度，在对左眼图像和右眼图像进行镜像处理之前，可以首先对左眼图像和右眼图像进行转正处理，即使得左眼图像的两个眼角特征点的连线与预设图像坐标系的横轴平行，且使得右眼图像的两个眼角特征点的连线与预设图像坐标系的横轴平行；或，使得左眼图像的两个眼角特征点的连线与预设图像坐标系的纵轴平行，且使得右眼图像的两个眼角特征点的连线与预设图像坐标系的纵轴平行，这都是可以的。后续的，可以对转正后左眼图像或转正后的右眼图像进行镜像处理，得到镜像图像。其中，该预设图像坐标系可以为该图像采集设备的图像坐标系。
在本发明的另一实施例中，所述S105之前，所述方法还可以包括：
获得人脸图像的图像亮度；判断图像亮度是否超过预设亮度阈值；若图像亮度未超过预设亮度阈值，执行所述105；若图像亮度超过预设亮度阈值，基于当前姿态信息，确定出目标人员的当前状态。
在一种情况中，该目标人员为驾驶员的情况下，可以通过人脸图像的图像亮度，确定出该驾驶员是否处于强光照射的情况下驾驶车辆，进而，根据驾驶员是否处于强光照射的情况下驾驶车辆的确定结果，确定驾驶员的人眼的上下眼睑之间的开闭长度是否可信。具体的，电子设备可以获得人脸图像的图像亮度，并将该图像亮度与预设亮度阈值进行比较，判断图像亮度是否超过预设亮度阈值，若图像亮度未超过预设亮度阈值，则可以确定驾驶员未处于强光照射的情况下驾驶车辆，此时，可以确定驾驶员的人眼的上下眼睑的开闭长度是可信的，即人眼的上下眼睑的开闭长度的可信度超过预设可信度阈值，相应的可以基于当前姿态信息以及当前开闭长度，确定出驾驶员的当前状态，以保证所确定的人员的当前状态的准确性。若图像亮度超过预设亮度阈值，则可以确定驾驶员处于强光照射的情况下驾驶车辆，此时，可以确定驾驶员的人眼的上下眼睑的开闭长度是不可信的，即人眼的上下眼睑的开闭长度的可信度未超过预设可信度阈值，相应的可以基于当前姿态信息，确定出驾驶员的当前状态，以保证所确定的人员的当前状态的准确性。
其中，上述基于当前姿态信息，确定出驾驶员的当前状态的过程，可以是：基于当前姿态信息和历史姿态信息，判断是否存在目标人员的头部的姿态信息落入预设姿态范围内的持续时间，是否超过预设时间阈值的情况；若判断存在，则确定目标人员的当前状态为疲劳状态；若判断不存在，则确定目标人员的当前状态为非疲劳状态。
在本发明的另一实施例中，所述S105，可以包括：
获得预设时长内确定的目标人员的头部的历史姿态信息以及人眼的历史开闭长度；
基于当前开闭长度和历史开合度，判断目标人员的人眼的开闭长度小于预设长度阈值的次数，是否超过第一预设次数；且基于当前姿态信息以及历史姿态信息，判断目标人员的头部的姿态信息落入预设姿态范围内的持续时间，是否超过预设时间阈值的情况；
若判断结果存在至少一个为超过，则确定目标人员的当前状态为疲劳状态。
一种情况中，电子设备本地或所连接的存储设备中，可以存储有目标人员的头部的历史姿态信息以及人眼的历史开闭长度。在确定头部的历史姿态信息以及人眼的当前开闭长度之后，电子设备可以从相应的存储位置处，获得预设时长内目标人员的头部的历史姿态信息，以及人眼的历史开闭长度。该历史姿态信息为：利用图像采集设备所采集的包含该目标人员的面部的历史图像，确定的头部的姿态信息；该历史开闭长度为：利用该历史图像，确定的人眼的上下眼睑的开闭长度。
该历史图像为：图像采集设备在采集得到该人脸图像的时刻之前的时刻所采集的图像，该历史图像中包含目标人员的面部。其中，确定历史姿态信息的过程，可以参见确定当前姿态信息的过程；确定历史倾斜度姿态信息的过程，可以参见确定当前开闭长度的过程，在此不再赘述。该上述预设时长的结束时刻为采集得到该人脸图像的时刻，开始时刻为与采集得到该人脸图像的时刻间隔第一时长的时刻。
本实施例中，电子设备可以将每一开闭长度与预设长度阈值进行比较，确定每一开闭长度与预设长度阈值的大小，得到第一确定结果，其中，该每一开闭长度包括当前开闭长度和历史开闭长度。统计第一确定结果中包含表征开闭长度不大于预设长度阈值的信息的第一确定结果的数量，作为第一数量，判断该第一数量是否超过第一预设次数，若该第一数量超过第一预设次数，则判断目标人员的人眼的开闭长度不大于预设长度阈值的次数，超过预设次数；反之，若该第一数量未超过第一预设次数，则判断目标人员的人眼的开闭长度不大于预设长度阈值的次数，未超过第一预设次数。
并且，电子设备可以将每一姿态信息与预设姿态范围进行比较，以判断每一姿态信息是否落入预设姿态范围内，得到判断结果，其中，每一姿态信息包括当前姿态信息以及历史姿态信息；进而，基于判断结果确定是否存在头部的姿态信息落入预设姿态范围内的情况，其中，若判断结果中包括表征姿态信息落入预设姿态范围内的判断结果，则确定存在头部的姿态信息落入预设姿态范围内的情况。
其中，该预设姿态范围可以包括：对应头部的俯仰角的子姿态范围、对应头部的偏航角的子姿态范围和对应头部的翻滚角的子姿态范围。将每一姿态信息与预设姿态范围进行比较，以判断每一姿态信息是否落入预设姿态范围内，得到判断结果的过程，可以是：将每一姿态信息中的俯仰角与对应头部的俯仰角的子姿态范围进行比较，并将每一姿态信息中的偏航角与对应头部的偏航角的子姿态范围进行比较，并将每一姿态信息中的翻滚角与对应头部的翻滚角的子姿态范围进行比较，以判断每一姿态信息是否落入预设姿态范围内。其中，一种情况，在姿态信息中的俯仰角落入对应头部的俯仰角的子姿态范围，且姿态信息中的偏航角落入对应头部的偏航角的子姿态范围，且姿态信息中的翻滚角落入对应头部的翻滚角的子姿态范围时，可以确定姿态信息落入预设姿态范围内。另一种情况，姿态信息中的三个角存在至少两个角落入其对应的子姿态范围内时，可以确定姿态信息落入预设姿态范围内，等。
进而，在确定出存在头部的姿态信息落入预设姿态范围内的情况后，继续基于判断结果，确定是否存在头部的姿态信息落入预设姿态范围内的持续时间，超过预设时间阈值的情况，即基于判断结果，确定是否存在连续多个判断结果均表征姿态信息落入预设姿态范围内，且该多个判断结果的数量超过第二数量的情况；其中，若确定存在连续多个判断结果均表征姿态信息落入预设姿态范围内，且该多个判断结果的数量超过第二数量的情况，则确定存在头部的姿态信息落入预设姿态范围内的持续时间超过预设时间阈值的情况。反之，若确定不存在连续多个判断结果均表征姿态信息落入预设姿态范围内，和/或表征姿态信息落入预设姿态范围内的连续的多个判断结果的数量未超过第二数量的情况，则确定不存在姿态信息落入预设姿态范围内的持续时间超过预设时间阈值的情况。
若判断目标人员的人眼的开闭长度不大于预设长度阈值的次数，超过第一预设次数，且判断存在目标人员的头部的姿态信息落入预设姿态范围内的持续时间，超过预设时间阈值的情况，则可以确定目标人员的当前状态为疲劳状态。
一种情况，图像采集设备采集得到每一图像时，会为每一图像标记一个时间戳信息，即图像与时间戳信息存在对应关系，其中，该图像包括人脸图像以及在采集到该人脸图像的时刻之前采集的历史图像。并且，电子设备可以基于每一图像均可以确定出目标人员的头部的一个姿态信息，即图像与姿态信息存在对应关系。鉴于此，每一姿态信息与时间戳信息存在对应关系。后续的，在将每一姿态信息，分别与预设姿态范围进行比较时，可以是：按每一姿态信息对应的时间戳信息的先后顺序，依次将每一姿态信息，分别与预设姿态范围进行比较。
后续的，一种情况，获得比较结果；从比较结果中，确定出连续的表征姿态信息大于预设姿态信息阈值的比较结果，针对每一组连续的表征姿态信息落入预设姿态范围内的比较结果，可以直接确定该组中比较结果的数量是否超过第二数量，若超过，则确定存在姿态信息落入预设姿态范围内的持续时间超过预设时间阈值的情况。或者，另一种情况，针对每一组连续的表征姿态信息落入预设姿态范围内的比较结果，从该组比较结果中，确定出所对应姿态信息对应的时间戳信息最早的比较结果，作为第一比较结果；并确定出所对应姿态信息对应的时间戳信息最晚的比较结果，作为第二比较结果；计算第二比较结果对应的时间戳信息与第一比较结果对应的时间戳信息之间的时间差值，判断该时间差值是否超过预设时间阈值，若超过，则确定存在姿态信息落入预设姿态范围内的持续时间超过预设时间阈值的情况。其中，该第二数量可以基于图像采集设备采集图像的频率以及该预设时间阈值确定。
在一种实现方式中，在确定出人脸图像的图像亮度以及图像采集设备在预设时长内所采集的历史图像的亮度，均未超过预设亮度阈值时，在确定出目标人员的人眼的开闭长度不大于预设长度阈值的次数，超过第一预设次数的情况下，可以直接确定目标人员的当前状态为疲劳状态。或者，若判断存在目标人员的头部的姿态信息落入预设姿态范围内的持续时间，超过预设时间阈值的情况，也可以直接确定目标人员的当前状态为疲劳状态。在确定出目标人员的人眼的开闭长度不大于预设长度阈值的次数，未超过第一预设次数；且判断不存在目标人员的头部的姿态信息落入预设姿态范围内的持续时间，超过预设时间阈值的情况，则可以确定目标人员的当前状态为非疲劳状态。
在本发明的另一实施例中，为了在一定程度上保证所确定的人员的当前状态的准确性，所述方法还可以包括：若判断目标人员的人眼的开闭长度小于预设长度阈值的次数，未超过第一预设次数，且存在目标人员的头部的姿态信息落入预设姿态范围内的持续时间，超过预设时间阈值的情况，统计目标人员的头部的姿态信息落入预设姿态范围内的持续时间，超过预设时间阈值的情况的次数，作为第一次数；
若第一次数超过预设次数，则确定目标人员处于疲劳状态。
在本发明实施例中，若判断目标人员的人眼的开闭长度小于预设长度阈值的次数，未超过预设次数，且判断存在目标人员的头部的姿态信息落入预设姿态范围内的持续时间，超过预设时间阈值的情况，继续统计目标人员的头部的姿态信息落入预设姿态范围内的持续时间，超过预设时间阈值的情况的次数，即可以统计出在预设时长内目标人员打盹或打瞌睡的次数，若该第一次数超过预设次数，则认为目标人员打盹或打瞌睡的频率较高，可以确定目标人员的当前状态为疲劳状态。若该第一次数未超过预设次数，则认为目标人员打盹的频率不高，可以确定目标人员的当前状态为非疲劳状态。
在本发明的另一实施例中，在所述确定目标人员的当前状态为疲劳状态的步骤之后，所述方法还可以包括：生成并发送告警信息。
本发明实施例中，若目标人员为驾驶员，为了在一定程度上减少因疲劳驾驶所导致的车祸的情况的发生，在确定出目标人员的疲劳程度为疲劳的情况下，可以生成告警信息，以提示用户该目标人员处于疲劳的状态，以便用户可以针对该种情况采取相应措施，以在一定程度上减少因疲劳驾驶所导致的车祸的情况的发生。另一种情况中，若目标人员为驾驶员，还可以提示驾驶员进入自动驾驶模式，或发出行驶模式控制信号，以控制车辆自动进入自动驾驶模式，以在一定程度上减少因疲劳驾驶所导致的车祸的情况的发生。
在本发明的另一实施例中，若目标人员为居家人员，可以生成并发送家居设备的家居控制信号，该家居控制信号可以是控制电视机的播放音量降低或关闭电视机；可以是：控制空调的当前设置温度在预设温度范围内，等等。
相应于上述方法实施例，本发明实施例提供了一种基于头部信息的人员状态检测装置，如图3所示，可以包括：
检测模块310，被配置为从包含目标人员的面部的人脸图像中，检测出所述面部中的人脸特征点的二维位置信息，其中，所述人脸特征点包括：所述面部中人眼的上下眼睑的眼睑特征点；
构建模块320，被配置为基于所述人脸特征点的二维位置信息以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述眼睑特征点构建的所述人眼的上下眼睑；
第一确定模块330，被配置为基于所述目标三维人脸模型和/或所述人脸图像，确定所述目标人员的头部的当前姿态信息；
第二确定模块340，被配置为基于所述目标三维人脸模型中所述人眼的上下眼睑的三维位置信息，确定所述人眼的上下眼睑之间的当前开闭长度；
第三确定模块350，被配置为基于所述当前姿态信息以及所述当前开闭长度，确定出所述目标人员的当前状态。
应用本发明实施例，可以基于包含目标人员的面部的人脸图像中的人脸特征点和预设的三维人脸模型，构建出目标人员对应的包括目标人员的人眼的上下眼睑的目标三维人脸模型；基于该目标三维人脸模型和/或人脸图像，可以确定出目标人员的头部的当前姿态信息，并且可以基于该目标三维人脸模型中人眼的上下眼睑，确定出较准确的人眼的上下眼睑之间的空间距离，进而结合头部的当前姿态信息以及准确性较高的人眼的上下眼睑之间的空间距离，可以更加准确地确定出目标人员的当前疲劳程度。在一定程度上实现提高对目标人员的当前状态的检测结果的准确性。
在本发明的另一实施例中，所述第一确定模块330，包括：
第一确定单元，被配置为：基于所述目标三维人脸模型，确定所述目标人员的头部的当前姿态信息；或第二确定单元，被配置为：基于所述人脸图像以及预先建立的头部姿态回归模型，确定所述目标人员的头部的当前姿态信息，其中，所述预先建立的头部姿态回归模型为：基于标注有人员头部的姿态信息的训练图像训练所得的模型；或第三确定单元，被配置为：基于所述人脸图像和预先建立的头部姿态回归模型，以及所述目标三维人脸模型，确定所述目标人员的头部的当前姿态信息，其中，所述预先建立的头部姿态回归模型为：基于标注有人员头部的姿态信息的训练图像训练所得的模型。
在本发明的另一实施例中，所述第一确定单元，被具体配置为获得所述目标三维人脸模型对应的旋转矩阵，其中，所述旋转矩阵为：用于将预设的三维人脸模型从其所在的预设三维直角坐标系转换至设备坐标系下，以得到所述目标三维人脸模型的矩阵；所述设备坐标系为：采集得到所述人脸图像的图像采集设备的设备坐标系；基于所述旋转矩阵，确定所述目标人员的头部的当前姿态信息；或者，所述第一确定单元，被具体配置为从所述目标三维人脸模型中，确定出所述目标人员左脸中第一指定位置处的第一人脸空间点的三维位置信息，以及右脸中第二指定位置处的第二人脸空间点的三维位置信息，其中，所述第一指定位置与所述第二指定位置存在对应关系；基于所述第一人脸空间点的三维位置信息及所述第二人脸空间点的三维位置信息，确定所述第一人脸空间点与所述第二人脸空间点之间的第一连线，与设备坐标系的竖轴之间的当前翻滚角，其中，所述设备坐标系为：采集得到所述人脸图像的图像采集设备的设备坐标系；从所述目标三维人脸模型中，确定出所述目标人员的鼻尖空间点；基于所述第一连线的中心点的三维位置信息以及所述鼻尖空间点的三维位置信息，确定第二连线与设备坐标系的横轴之间的当前俯仰角，以及所述第二连线与所述设备坐标系的纵轴之间的当前偏航角，其中，所述第二连线为所述第一连线的中心点与所述鼻尖空间点的连线；基于所述当前翻滚角、所述当前俯仰角以及所述当前偏航角，确定所述目标人员的头部的当前姿态信息。
在本发明的另一实施例中，所述第二确定模块340，被具体配置为：从所述目标三维人脸模型中，检测得到所述人眼的上眼睑处于中心位置处的第一眼睑空间点的三维位置信息和下眼睑处于中心位置处的第二眼睑空间点的三维位置信息；基于所述第一眼睑空间点的三维位置信息以及所述第二眼睑空间点的三维位置信息，确定所述第一眼睑空间点和所述第二眼睑空间点之间的距离，作为所述人眼的上下眼睑之间的当前开闭长度；
或者，所述第二确定模块340，被具体配置为：从所述目标三维人脸模型中，确定出所述人眼对应的人眼空间点的三维位置信息；基于所述人眼空间点的三维位置信息，进行球面拟合，得到表征所述人眼的球体模型；从所述目标三维人脸模型中，检测得到所述人眼的上眼睑处于中心位置处的第一眼睑空间点的三维位置信息和下眼睑处于中心位置处的第二眼睑空间点的三维位置信息；基于所述第一眼睑空间点的三维位置信息和所述第二眼睑空间点的三维位置信息，从所述球体模型中，确定出所述第一眼睑空间点对应的第一球面点的三维位置信息和所述第二眼睑空间点对应的第二球面点的三维位置信息；基于所述第一球面点的三维位置信息和所述第二球面点的三维位置信息，确定所述第一球面点和第二球面点之间的距离，作为所述人眼的上下眼睑之间的当前开闭长度；
或者，所述第二确定模块340，被具体配置为：基于所述目标三维人脸模型中上眼睑中心位置处的第一眼睑空间点的三维位置信息，以及下眼睑中心位置处的第二眼睑空间点的三维位置信息，确定所述第一眼睑空间点与所述第二眼睑空间点之间的距离，作为第一距离；基于所述人脸图像中上眼睑中心位置处的第一眼睑特征点的二维位置信息，以及下眼睑中心位置处的第二眼睑特征点的二维位置信息，确定所述第一眼睑特征点与所述第二眼睑特征点之间的距离，作为第二距离；基于所述目标三维人脸模型中上眼睑中心位置处的第一眼睑空间点、下眼睑中心位置处的第二眼睑空间点以及预设的投影矩阵，确定出所述第一眼睑空间点在所述人脸图像中的第一投影点和所述第二眼睑空间点在所述人脸图像中的第二投影点；基于所述第一投影点在所述人脸图像中的投影位置信息以及所述第二投影点在所述人脸图像中的投影位置信息，确定所述第一投影点与所述第二投影点之间的距离，作为第三距离；计算所述第二距离与所述第三距离的比值，作为第一比值；将所述第一距离与第一比值的乘积，确定为所述上下眼睑之间的当前开闭长度。
在本发明的另一实施例中，所述检测模块310，包括：第一检测单元(图中未示出)，被配置为基于预设的面部特征点检测模型，从包含目标人员的面部的人脸图像中，检测出面部特征点的二维位置信息，其中，所述预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的模型；确定截取单元(图中未示出)，被配置为基于所述面部特征点的二维位置信息，从所述人脸图像中确定并截取出所述目标人员的人眼所在区域，作为人眼图像；第二检测单元(图中未示出)，被配置为利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点，其中，所述预设的眼睑特征点检测模型为：基于标注有人眼的上下眼睑的眼睑特征点的第二样本图像训练所得的模型。
在本发明的另一实施例中，所述人眼图像包括左眼图像和右眼图像；
所述检测模块310，还包括：镜像单元(图中未示出)，被配置为在所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点之前，对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像；拼接单元(图中未示出)，被配置为对所述镜像图像以及未进行镜像的图像进行拼接，得到拼接图像其中，若对所述左眼图像进行镜像处理，所述未进行镜像的图像为所述右眼图像；若对所述右眼图像进行镜像处理，所述未进行镜像的图像为所述左眼图像；所述第二检测单元(图中未示出)，被具体配置为利用预设的眼睑特征点检测模型，从所述拼接图像中，检测出所述镜像图像中人眼的上下眼睑的眼睑特征点，以及所述未进行镜像的图像中人眼的上下眼睑的眼睑特征点；对所述镜像图像中人眼的上下眼睑的眼睑特征点进行镜像处理，得到镜像后的眼睑特征点，以得到所述人眼图像中的人眼的上下眼睑的眼睑特征点。
在本发明的另一实施例中，所述构建模块320，被具体配置为从所述预设的三维人脸模型中，确定出预设人脸位置处的空间点，作为待处理空间点，其中，所述待处理空间点与人脸特征点存在对应关系；利用弱透视投影矩阵，将每一待处理空间点投影至所述人脸图像，确定每一待处理空间点在所述人脸图像中的投影点的投影位置信息；基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的人脸特征点的二维位置信息，构建所述目标人员对应的目标三维人脸模型。
在本发明的另一实施例中，所述装置还包括：获得模块(图中未示出)，被配置为在所述基于所述当前姿态信息以及所述当前开闭长度，确定出所述目标人员的当前状态之前，获得所述人脸图像的图像亮度；判断模块(图中未示出)，被配置为判断所述图像亮度是否超过预设亮度阈值；若所述图像亮度未超过所述预设亮度阈值，触发所述第三确定模块350；若所述图像亮度超过所述预设亮度阈值，触发第四确定模块；所述第四确定模块(图中未示出)，被配置为基于所述当前姿态信息，确定出所述目标人员的当前状态。
在本发明的另一实施例中，所述第三确定模块350，包括：获得单元(图中未示出)，被配置为获得预设时长内确定的所述目标人员的头部的历史姿态信息以及所述人眼的历史开闭长度；判断单元(图中未示出)，被配置为基于所述当前开闭长度和所述历史开合度，判断所述目标人员的人眼的开闭长度小于预设长度阈值的次数，是否超过第一预设次数；且基于所述当前姿态信息以及所述历史姿态信息，判断所述目标人员的头部的姿态信息落入预设姿态范围内的持续时间，是否超过预设时间阈值的情况；第一确定单元(图中未示出)，被配置为若判断结果存在至少一个为超过，则确定所述目标人员的当前状态为疲劳状态。
在本发明的另一实施例中，所述第三确定模块350还包括：统计单元(图中未示出)，被配置为若判断目标人员的人眼的开闭长度小于预设长度阈值的次数，未超过第一预设次数，且存在目标人员的头部的姿态信息落入预设姿态范围内的持续时间，超过预设时间阈值的情况，统计目标人员的头部的姿态信息落入预设姿态范围内的持续时间，超过预设时间阈值的情况的次数，作为第一次数；第二确定单元(图中未示出)，被配置为若所述第一次数超过预设次数，则确定目标人员处于疲劳状态。
上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (8)

1.一种基于头部信息的人员状态检测方法，其特征在于，包括：
从包含目标人员的面部的人脸图像中，检测出所述面部中的人脸特征点的二维位置信息，其中，所述人脸特征点包括：所述面部中人眼的上下眼睑的眼睑特征点；
基于所述人脸特征点的二维位置信息以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述眼睑特征点构建的所述人眼的上下眼睑；
基于所述目标三维人脸模型和/或所述人脸图像，确定所述目标人员的头部的当前姿态信息；
基于所述目标三维人脸模型中所述人眼的上下眼睑的三维位置信息，确定所述人眼的上下眼睑之间的当前开闭长度；
基于所述当前姿态信息以及所述当前开闭长度，确定出所述目标人员的当前状态；
所述基于所述目标三维人脸模型和/或所述人脸图像，确定所述目标人员的头部的当前姿态信息的步骤，包括：
基于所述目标三维人脸模型，确定所述目标人员的头部的当前姿态信息；或
基于所述人脸图像以及预先建立的头部姿态回归模型，确定所述目标人员的头部的当前姿态信息，其中，所述预先建立的头部姿态回归模型为：基于标注有人员头部的姿态信息的训练图像训练所得的模型；或
基于所述人脸图像和预先建立的头部姿态回归模型，以及所述目标三维人脸模型，确定所述目标人员的头部的当前姿态信息，其中，所述预先建立的头部姿态回归模型为：基于标注有人员头部的姿态信息的训练图像训练所得的模型；
所述基于所述目标三维人脸模型，确定所述目标人员的头部的当前姿态信息的步骤，通过以下两种实现方式中的任一种实现方式实现：
第一种实现方式：
获得所述目标三维人脸模型对应的旋转矩阵，其中，所述旋转矩阵为：用于将预设的三维人脸模型从其所在的预设三维直角坐标系转换至设备坐标系下，以得到所述目标三维人脸模型的矩阵；所述设备坐标系为：采集得到所述人脸图像的图像采集设备的设备坐标系；
基于所述旋转矩阵，确定所述目标人员的头部的当前姿态信息；
第二种实现方式：
从所述目标三维人脸模型中，确定出所述目标人员左脸中第一指定位置处的第一人脸空间点的三维位置信息，以及右脸中第二指定位置处的第二人脸空间点的三维位置信息，其中，所述第一指定位置与所述第二指定位置存在对应关系；
基于所述第一人脸空间点的三维位置信息及所述第二人脸空间点的三维位置信息，确定所述第一人脸空间点与所述第二人脸空间点之间的第一连线，与设备坐标系的竖轴之间的当前翻滚角，其中，所述设备坐标系为：采集得到所述人脸图像的图像采集设备的设备坐标系；
从所述目标三维人脸模型中，确定出所述目标人员的鼻尖空间点；
基于所述第一连线的中心点的三维位置信息以及所述鼻尖空间点的三维位置信息，确定第二连线与设备坐标系的横轴之间的当前俯仰角，以及所述第二连线与所述设备坐标系的纵轴之间的当前偏航角，其中，所述第二连线为所述第一连线的中心点与所述鼻尖空间点的连线；
基于所述当前翻滚角、所述当前俯仰角以及所述当前偏航角，确定所述目标人员的头部的当前姿态信息。
2.如权利要求1所述的方法，其特征在于，所述基于所述目标三维人脸模型中所述人眼的上下眼睑的三维位置信息，确定所述人眼的上下眼睑之间的当前开闭长度的步骤，通过以下三种实现方式中任一实现方式中实现：
第一种实现方式：
从所述目标三维人脸模型中，检测得到所述人眼的上眼睑处于中心位置处的第一眼睑空间点的三维位置信息和下眼睑处于中心位置处的第二眼睑空间点的三维位置信息；
基于所述第一眼睑空间点的三维位置信息以及所述第二眼睑空间点的三维位置信息，确定所述第一眼睑空间点和所述第二眼睑空间点之间的距离，作为所述人眼的上下眼睑之间的当前开闭长度；
第二种实现方式：
从所述目标三维人脸模型中，确定出所述人眼对应的人眼空间点的三维位置信息；
基于所述人眼空间点的三维位置信息，进行球面拟合，得到表征所述人眼的球体模型；
从所述目标三维人脸模型中，检测得到所述人眼的上眼睑处于中心位置处的第一眼睑空间点的三维位置信息和下眼睑处于中心位置处的第二眼睑空间点的三维位置信息；
基于所述第一眼睑空间点的三维位置信息和所述第二眼睑空间点的三维位置信息，从所述球体模型中，确定出所述第一眼睑空间点对应的第一球面点的三维位置信息和所述第二眼睑空间点对应的第二球面点的三维位置信息；
基于所述第一球面点的三维位置信息和所述第二球面点的三维位置信息，确定所述第一球面点和第二球面点之间的距离，作为所述人眼的上下眼睑之间的当前开闭长度；
第三种实现方式：
基于所述目标三维人脸模型中上眼睑中心位置处的第一眼睑空间点的三维位置信息，以及下眼睑中心位置处的第二眼睑空间点的三维位置信息，确定所述第一眼睑空间点与所述第二眼睑空间点之间的距离，作为第一距离；
基于所述人脸图像中上眼睑中心位置处的第一眼睑特征点的二维位置信息，以及下眼睑中心位置处的第二眼睑特征点的二维位置信息，确定所述第一眼睑特征点与所述第二眼睑特征点之间的距离，作为第二距离；
基于所述目标三维人脸模型中上眼睑中心位置处的第一眼睑空间点、下眼睑中心位置处的第二眼睑空间点以及预设的投影矩阵，确定出所述第一眼睑空间点在所述人脸图像中的第一投影点和所述第二眼睑空间点在所述人脸图像中的第二投影点；
基于所述第一投影点在所述人脸图像中的投影位置信息以及所述第二投影点在所述人脸图像中的投影位置信息，确定所述第一投影点与所述第二投影点之间的距离，作为第三距离；
计算所述第二距离与所述第三距离的比值，作为第一比值；
将所述第一距离与第一比值的乘积，确定为所述上下眼睑之间的当前开闭长度。
3.如权利要求1所述的方法，其特征在于，所述从包含目标人员的面部的人脸图像中，检测出所述面部中的人脸特征点的步骤，包括：
基于预设的面部特征点检测模型，从包含目标人员的面部的人脸图像中，检测出面部特征点的二维位置信息，其中，所述预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的模型；
基于所述面部特征点的二维位置信息，从所述人脸图像中确定并截取出所述目标人员的人眼所在区域，作为人眼图像；
利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点，其中，所述预设的眼睑特征点检测模型为：基于标注有人眼的上下眼睑的眼睑特征点的第二样本图像训练所得的模型。
4.如权利要求3所述的方法，其特征在于，所述人眼图像包括左眼图像和右眼图像；
在所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点的步骤之前，所述方法还包括：
对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像；
对所述镜像图像以及未进行镜像的图像进行拼接，得到拼接图像其中，若对所述左眼图像进行镜像处理，所述未进行镜像的图像为所述右眼图像；若对所述右眼图像进行镜像处理，所述未进行镜像的图像为所述左眼图像；
所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点的步骤，包括：
利用预设的眼睑特征点检测模型，从所述拼接图像中，检测出所述镜像图像中人眼的上下眼睑的眼睑特征点，以及所述未进行镜像的图像中人眼的上下眼睑的眼睑特征点；
对所述镜像图像中人眼的上下眼睑的眼睑特征点进行镜像处理，得到镜像后的眼睑特征点，以得到所述人眼图像中的人眼的上下眼睑的眼睑特征点。
5.如权利要求1所述的方法，其特征在于，在所述基于所述当前姿态信息以及所述当前开闭长度，确定出所述目标人员的当前状态的步骤之前，所述方法还包括：
获得所述人脸图像的图像亮度；
判断所述图像亮度是否超过预设亮度阈值；
若所述图像亮度未超过所述预设亮度阈值，执行所述基于所述当前姿态信息以及所述当前开闭长度，确定出所述目标人员的当前状态的步骤；
若所述图像亮度超过所述预设亮度阈值，基于所述当前姿态信息，确定出所述目标人员的当前状态。
6.如权利要求1-4任一项所述的方法，其特征在于，所述基于所述当前姿态信息以及所述当前开闭长度，确定出所述目标人员的当前状态的步骤，包括：
获得预设时长内确定的所述目标人员的头部的历史姿态信息以及所述人眼的历史开闭长度；
基于所述当前开闭长度和历史开合度，判断所述目标人员的人眼的开闭长度小于预设长度阈值的次数，是否超过第一预设次数；且基于所述当前姿态信息以及所述历史姿态信息，判断所述目标人员的头部的姿态信息落入预设姿态范围内的持续时间，是否超过预设时间阈值的情况；
若判断结果存在至少一个为超过，则确定所述目标人员的当前状态为疲劳状态。
7.如权利要求6所述的方法，其特征在于，所述方法还包括：
若判断目标人员的人眼的开闭长度小于预设长度阈值的次数，未超过第一预设次数，且存在目标人员的头部的姿态信息落入所述预设姿态范围内的持续时间，超过预设时间阈值的情况，统计目标人员的头部的姿态信息落入预设姿态范围内的持续时间，超过预设时间阈值的情况的次数，作为第一次数；
若所述第一次数超过预设次数，则确定目标人员处于疲劳状态。
8.一种基于头部信息的人员状态检测装置，其特征在于，包括：
检测模块，被配置为从包含目标人员的面部的人脸图像中，检测出所述面部中的人脸特征点的二维位置信息，其中，所述人脸特征点包括：所述面部中人眼的上下眼睑的眼睑特征点；
构建模块，被配置为基于所述人脸特征点的二维位置信息以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述眼睑特征点构建的所述人眼的上下眼睑；
第一确定模块，被配置为基于所述目标三维人脸模型和/或所述人脸图像，确定所述目标人员的头部的当前姿态信息；
第二确定模块，被配置为基于所述目标三维人脸模型中所述人眼的上下眼睑的三维位置信息，确定所述人眼的上下眼睑之间的当前开闭长度；
第三确定模块，被配置为基于所述当前姿态信息以及所述当前开闭长度，确定出所述目标人员的当前状态；
所述第一确定模块，包括：第一确定单元，被配置为：基于所述目标三维人脸模型，确定所述目标人员的头部的当前姿态信息；或第二确定单元，被配置为：基于所述人脸图像以及预先建立的头部姿态回归模型，确定所述目标人员的头部的当前姿态信息，其中，所述预先建立的头部姿态回归模型为：基于标注有人员头部的姿态信息的训练图像训练所得的模型；或第三确定单元，被配置为：基于所述人脸图像和预先建立的头部姿态回归模型，以及所述目标三维人脸模型，确定所述目标人员的头部的当前姿态信息，其中，所述预先建立的头部姿态回归模型为：基于标注有人员头部的姿态信息的训练图像训练所得的模型；
所述第一确定单元，被具体配置为获得所述目标三维人脸模型对应的旋转矩阵，其中，所述旋转矩阵为：用于将预设的三维人脸模型从其所在的预设三维直角坐标系转换至设备坐标系下，以得到所述目标三维人脸模型的矩阵；所述设备坐标系为：采集得到所述人脸图像的图像采集设备的设备坐标系；基于所述旋转矩阵，确定所述目标人员的头部的当前姿态信息；
或者，所述第一确定单元，被具体配置为从所述目标三维人脸模型中，确定出所述目标人员左脸中第一指定位置处的第一人脸空间点的三维位置信息，以及右脸中第二指定位置处的第二人脸空间点的三维位置信息，其中，所述第一指定位置与所述第二指定位置存在对应关系；基于所述第一人脸空间点的三维位置信息及所述第二人脸空间点的三维位置信息，确定所述第一人脸空间点与所述第二人脸空间点之间的第一连线，与设备坐标系的竖轴之间的当前翻滚角，其中，所述设备坐标系为：采集得到所述人脸图像的图像采集设备的设备坐标系；从所述目标三维人脸模型中，确定出所述目标人员的鼻尖空间点；基于所述第一连线的中心点的三维位置信息以及所述鼻尖空间点的三维位置信息，确定第二连线与设备坐标系的横轴之间的当前俯仰角，以及所述第二连线与所述设备坐标系的纵轴之间的当前偏航角，其中，所述第二连线为所述第一连线的中心点与所述鼻尖空间点的连线；基于所述当前翻滚角、所述当前俯仰角以及所述当前偏航角，确定所述目标人员的头部的当前姿态信息。
CN201910513685.2A 2019-06-14 2019-06-14 一种基于头部信息的人员状态检测方法及装置 Active CN112084820B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910513685.2A CN112084820B (zh) 2019-06-14 2019-06-14 一种基于头部信息的人员状态检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910513685.2A CN112084820B (zh) 2019-06-14 2019-06-14 一种基于头部信息的人员状态检测方法及装置

Publications (2)

Publication Number Publication Date
CN112084820A CN112084820A (zh) 2020-12-15
CN112084820B true CN112084820B (zh) 2022-06-24

Family

ID=73733793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910513685.2A Active CN112084820B (zh) 2019-06-14 2019-06-14 一种基于头部信息的人员状态检测方法及装置

Country Status (1)

Country Link
CN (1) CN112084820B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766759B (zh) * 2021-01-25 2022-06-17 深圳市广程杰瑞科技有限公司 物流企业的加油管理方法及系统
CN115227234B (zh) * 2022-07-07 2024-06-28 电子科技大学 一种基于摄像头的心肺复苏按压动作评估方法与系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030316A (zh) * 2007-04-17 2007-09-05 北京中星微电子有限公司 一种汽车安全驾驶监控系统和方法
CN102073857A (zh) * 2011-01-24 2011-05-25 沈阳工业大学 多模态驾驶员疲劳检测方法及其专用设备
CN108875642A (zh) * 2018-06-21 2018-11-23 长安大学 一种多指标融合的驾驶员疲劳检测的方法
CN109044363A (zh) * 2018-09-04 2018-12-21 华南师范大学 基于头部姿态和眼动的驾驶员疲劳检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030316A (zh) * 2007-04-17 2007-09-05 北京中星微电子有限公司 一种汽车安全驾驶监控系统和方法
CN102073857A (zh) * 2011-01-24 2011-05-25 沈阳工业大学 多模态驾驶员疲劳检测方法及其专用设备
CN108875642A (zh) * 2018-06-21 2018-11-23 长安大学 一种多指标融合的驾驶员疲劳检测的方法
CN109044363A (zh) * 2018-09-04 2018-12-21 华南师范大学 基于头部姿态和眼动的驾驶员疲劳检测方法

Also Published As

Publication number Publication date
CN112084820A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
US20210012128A1 (en) Driver attention monitoring method and apparatus and electronic device
CN110956068B (zh) 一种基于人眼状态识别的疲劳检测方法及装置
CN104200192B (zh) 驾驶员注视检测系统
EP2860664B1 (en) Face detection apparatus
CN107392120B (zh) 一种基于视线估计的注意力智能监督方法
CN104616438B (zh) 一种用于疲劳驾驶检测的打哈欠动作检测方法
US9526448B2 (en) State estimation device and state estimation program
WO2020252969A1 (zh) 眼部关键点的标注及其检测模型的训练方法和装置
CN112084820B (zh) 一种基于头部信息的人员状态检测方法及装置
EP3956807A1 (en) A neural network for head pose and gaze estimation using photorealistic synthetic data
CN107358152B (zh) 一种活体识别方法和系统
US7668337B2 (en) Ellipsoid detecting method, figure center detecting method, image recognizing device, and controller based on image
CN105095885B (zh) 一种人眼状态的检测方法和检测装置
JP2016173313A (ja) 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム
CN109034108B (zh) 一种视线估计的方法、装置和系统
WO2019067903A1 (en) HEAD POSTURE ESTIMATION FROM A LOCAL EYE REGION
WO2024051345A1 (zh) 驾驶员的视线识别方法及装置、车辆和存储介质
CN112016347B (zh) 一种基于眼睑特征信息的人员状态检测方法及装置
EP4141621A1 (en) Data processing method and device thereof
CN112036217B (zh) 一种基于嘴部信息的人员状态检测方法及装置
CN113379832B (zh) 一种摄像头的位姿调整方法、装置、电子设备及存储介质
JP6906943B2 (ja) 車載器
CN116453198B (zh) 一种基于头部姿态差异的视线校准方法和装置
CN112084821B (zh) 一种基于多面部信息的人员状态检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211202

Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province

Applicant after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province

Applicant before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant