CN112084821B - 一种基于多面部信息的人员状态检测方法及装置 - Google Patents

Abstract

本发明实施例公开一种基于多面部信息的人员状态检测方法及装置，该方法包括：从人脸图像中，检测出面部中的人脸特征点；基于人脸特征点以及预设的三维人脸模型，构建人员对应的目标三维人脸模型；基于目标三维人脸模型中第一眼睑空间点、第一嘴唇空间点以及预设的投影矩阵，确定第一眼睑空间点以及第一嘴唇空间点在人脸图像中的投影点；基于第一眼睑空间点和对应的投影点及人脸图像中相应的眼睑特征点，确定上下眼睑的当前开合长度；基于第一嘴唇空间点和对应的投影点及人脸图像中相应的嘴唇特征点，确定上下唇的当前张合度；基于当前张合度以及当前开合长度，确定人员的当前状态，以实现提高对目标人员的当前状态的检测结果的准确性。

Description

一种基于多面部信息的人员状态检测方法及装置

技术领域

本发明涉及视频监控技术领域，具体而言，涉及一种基于多面部信息的人员状态检测方法及装置。

背景技术

相关的人员的当前状态检测方法，一般可以通过对人眼的状态的检测，来确定人员的当前状态。具体的，人员的当前状态检测方法的过程，一般为：获得针对目标人员采集的人脸图像，并通过检测人脸图像中人眼的上下眼皮之间的开闭程度，确定目标人员的眼睛的状态，进而，确定目标人员的当前状态是否为疲劳状态，其中，当开闭程度低于预设开闭阈值时，则确定人眼处于闭合状态，进而确定目标人员的当前状态为疲劳状态。

然而，相关的人员的当前状态检测方法中，仅基于人眼的状态确定驾驶员的当前状态，在一定程度上易出现误检的情况。例如，在人员为车辆驾驶员，且在处于强光照环境下驾驶车辆的情况下，强光照的影响，易导致驾驶员的人眼的上下眼皮之间的开闭程度低于预设开闭阈值，进而易出现误检结果。

那么，如何提供一种可更准确地确定出人员当前状态的方法成为亟待解决的问题。

发明内容

本发明提供了一种基于多面部信息的人员状态检测方法及装置，以实现提高对目标人员的当前状态的检测结果的准确性。具体的技术方案如下：

第一方面，本发明实施例提供了一种基于多面部信息的人员状态检测方法，包括：

从包含目标人员的面部的人脸图像中，检测出所述面部中的人脸特征点，其中，所述人脸特征点包括：嘴部的上下唇的嘴唇特征点以及人眼的上下眼睑的眼睑特征点；

基于所述人脸特征点以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述嘴唇特征点构建的所述嘴部的上下唇，以及基于所述眼睑特征点构建的所述人眼的上下眼睑；

基于所述目标三维人脸模型中所述上下眼睑第一位置处的第一眼睑空间点、所述上下唇第二位置处的第一嘴唇空间点以及预设的投影矩阵，确定出所述第一眼睑空间点以及所述第一嘴唇空间点在所述人脸图像中的投影点；

基于所述第一眼睑空间点的三维位置信息和对应的投影点的投影位置信息以及所述人脸图像中所述第一位置对应的位置处的眼睑特征点的二维位置信息，确定所述上下眼睑之间的当前开合长度；

基于所述第一嘴唇空间点的三维位置信息和对应的投影点的投影位置信息以及所述人脸图像中所述第二位置对应的位置处的嘴唇特征点的二维位置信息，确定所述嘴部的上下唇之间的当前张合度；

基于所述当前张合度以及所述当前开合长度，确定出所述目标人员的当前状态。

可选的，所述第一位置处的第一眼睑空间点包括：所述目标三维人脸模型中上眼睑的中心位置处的第一中心眼睑空间点，和所述下眼睑的中心位置处的第二中心眼睑空间点；所述第一位置对应的位置处的眼睑特征点包括：所述人脸图像中上眼睑的中心位置处的第一中心眼睑特征点和下眼睑的中心位置处的第二中心眼睑特征点；

所述基于所述第一眼睑空间点的三维位置信息和对应的投影点的投影位置信息以及所述人脸图像中所述第一位置对应的位置处的眼睑特征点的二维位置信息，确定所述上下眼睑之间的当前开合长度的步骤，包括：

基于所述第一中心眼睑空间点的三维位置信息以及所述第二中心眼睑空间点的三维位置信息，确定所述第一中心眼睑空间点与所述第二中心眼睑空间点之间的距离，作为第一距离；

基于所述第一中心眼睑特征点的二维位置信息以及所述第二中心眼睑特征点的二维位置信息，确定所述第一中心眼睑特征点和所述第二中心眼睑特征点之间的距离，作为第二距离；

基于第一投影点的投影位置信息以及第二投影点的投影位置信息，确定所述第一投影点与所述第二投影点之间的距离，作为第三距离，其中，所述第一投影点为所述第一中心眼睑空间点在所述人脸图像中的投影点，所述第二投影点为所述第二中心眼睑空间点在所述人脸图像中的投影点；

计算所述第二距离与所述第三距离的比值，作为第一比值；

将所述第一距离与第一比值的乘积，确定为所述上下眼睑之间的当前开合长度。

可选的，所述第二位置处的第一嘴唇空间点包括：所述目标三维人脸模型中上唇的指定边缘的中心位置处的第一中心嘴唇空间点和下唇的指定边缘的中心位置处的第二中心嘴唇空间点，所述第二位置对应的位置处的嘴唇特征点包括：所述人脸图像中上唇的指定边缘的中心位置处的第一中心嘴唇特征点以及下唇的指定边缘的中心位置处的第二中心嘴唇特征点，所述指定边缘为内边缘或外边缘；

所述基于所述第一嘴唇空间点的三维位置信息和对应的投影点的投影位置信息以及所述人脸图像中所述第二位置对应的位置处的嘴唇特征点的二维位置信息，确定所述嘴部的上下唇之间的当前张合度的步骤，包括：

基于所述第一中心嘴唇空间点的三维位置信息以及所述第二中心嘴唇空间点的三维位置信息，确定所述第一中心嘴唇空间点与所述第二中心嘴唇空间点之间的距离，作为第四距离；

基于所述第一中心嘴唇特征点的二维位置信息以及所述第二中心嘴唇特征点的二维位置信息，确定所述第一中心嘴唇特征点和所述第二中心嘴唇特征点之间的距离，作为第五距离；

基于第三投影点的投影位置信息以及第四投影点的投影位置信息，确定所述第三投影点与所述第四投影点之间的距离，作为第六距离，其中，所述第三投影点为所述第一中心嘴唇空间点在所述人脸图像中的投影点，所述第四投影点为所述第二中心嘴唇空间点在所述人脸图像中的投影点；

计算所述第五距离与所述第六距离的比值，作为第二比值；

将所述第四距离与第二比值的乘积，确定为所述上下唇之间的当前张合度。

可选的，所述从包含目标人员的面部的人脸图像中，检测出所述面部中的人脸特征点的步骤，包括：

基于预设的面部特征点检测模型，从包含目标人员的面部的人脸图像中，检测出面部特征点的二维位置信息，其中，所述预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的模型；

基于所述面部特征点的二维位置信息，从所述人脸图像中确定并截取出所述目标人员的人眼所在区域，作为人眼图像，并从所述人脸图像中确定截取出所述目标人员的嘴部所在区域，作为嘴部图像；

利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点，其中，所述预设的眼睑特征点检测模型为：基于标注有人眼的上下眼睑的眼睑特征点的第二样本图像训练所得的模型；

利用预设的嘴唇特征点检测模型，从所述嘴部图像中检测出所述嘴部的上下唇的嘴唇特征点，其中，所述预设的嘴唇特征点检测模型为：基于标注有嘴部的上下唇的嘴唇特征点的第三样本图像训练所得的模型。

可选的，所述人眼图像包括左眼图像和右眼图像；

在所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点的步骤之前，所述方法还包括：

对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像；

对所述镜像图像以及未进行镜像的图像进行拼接，得到拼接图像其中，若对所述左眼图像进行镜像处理，所述未进行镜像的图像为所述右眼图像；若对所述右眼图像进行镜像处理，所述未进行镜像的图像为所述左眼图像；

所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点的步骤，包括：

利用预设的眼睑特征点检测模型，从所述拼接图像中，检测出所述镜像图像中人眼的上下眼睑的眼睑特征点，以及所述未进行镜像的图像中人眼的上下眼睑的眼睑特征点；

对所述镜像图像中人眼的上下眼睑的眼睑特征点进行镜像处理，得到镜像后的眼睑特征点，以得到所述人眼图像中的人眼的上下眼睑的眼睑特征点。

可选的，在所述对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像的步骤之前，所述方法还包括：

对待处理图像进行转正处理，得到转正后的待处理图像，其中，所述转正处理为：使得待处理图像中的两个眼角特征点的连线与预设图像坐标系的坐标轴平行，所述待处理图像为所述左眼图像和所述右眼图像；

所述对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像的步骤，包括：

对转正后的待处理图像进行镜像处理，得到镜像图像。

可选的，所述基于所述人脸图像的人脸特征点以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型的步骤，包括：

从所述预设的三维人脸模型中，确定出预设人脸位置处的空间点，作为待处理空间点，其中，所述待处理空间点与人脸特征点存在对应关系；

利用弱透视投影矩阵，将每一待处理空间点投影至所述人脸图像，确定每一待处理空间点在所述人脸图像中的投影点的投影位置信息；

基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的人脸特征点的二维位置信息，构建所述目标人员对应的目标三维人脸模型。

可选的，在所述基于所述当前张合度以及所述当前开合长度，确定出所述目标人员的当前状态的步骤之前，所述方法还包括：

获得所述人脸图像的图像亮度；

判断所述图像亮度是否超过预设亮度阈值；

若所述图像亮度未超过所述预设亮度阈值，则执行所述基于所述当前张合度以及所述当前开合长度，确定出所述目标人员的当前状态的步骤；

若所述图像亮度超过所述预设亮度阈值，基于所述当前张合度，确定出所述目标人员的当前状态。

可选的，所述基于所述当前张合度以及所述当前开合长度，确定出所述目标人员的当前状态的步骤，包括：

获得预设时长内确定的所述目标人员的嘴部的历史张合度以及人眼的历史开合长度；

基于所述当前开合长度和所述历史开合长度，判断所述目标人员的人眼的开合长度不大于预设长度阈值的次数，是否超过预设次数；且基于所述当前张合度以及所述历史张合度，判断是否存在所述目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况；

若判断所述目标人员的人眼的开合长度不大于预设长度阈值的次数，超过所述预设次数，且判断存在所述目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况，则确定所述目标人员的当前状态为疲劳状态。

可选的，所述方法还包括：

若判断所述目标人员的人眼的开合长度不大于预设长度阈值的次数，未超过所述预设次数，且判断存在所述目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况，统计所述目标人员的嘴部的张合度大于预设张合阈值的持续时间，超过预设时间阈值的情况的次数，作为打哈欠次数；

若所述打哈欠次数超过预设哈欠阈值，则确定所述目标人员的当前状态为疲劳状态。

第二方面，本发明实施例提供了一种基于多面部信息的人员状态检测装置，包括：

检测模块，被配置为从包含目标人员的面部的人脸图像中，检测出所述面部中的人脸特征点，其中，所述人脸特征点包括：嘴部的上下唇的嘴唇特征点以及人眼的上下眼睑的眼睑特征点；

构建模块，被配置为基于所述人脸特征点以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述嘴唇特征点构建的所述嘴部的上下唇，以及基于所述眼睑特征点构建的所述人眼的上下眼睑；

第一确定模块，被配置为基于所述目标三维人脸模型中所述上下眼睑第一位置处的第一眼睑空间点、所述上下唇第二位置处的第一嘴唇空间点以及预设的投影矩阵，确定出所述第一眼睑空间点以及所述第一嘴唇空间点在所述人脸图像中的投影点；

第二确定模块，被配置为基于所述第一眼睑空间点的三维位置信息和对应的投影点的投影位置信息以及所述人脸图像中所述第一位置对应的位置处的眼睑特征点的二维位置信息，确定所述上下眼睑之间的当前开合长度；

第三确定模块，被配置为基于所述第一嘴唇空间点的三维位置信息和对应的投影点的投影位置信息以及所述人脸图像中所述第二位置对应的位置处的嘴唇特征点的二维位置信息，确定所述嘴部的上下唇之间的当前张合度；

第四确定模块，被配置为基于所述当前张合度以及所述当前开合长度，确定出所述目标人员的当前状态。

可选的，所述第一位置处的第一眼睑空间点包括：所述目标三维人脸模型中上眼睑的中心位置处的第一中心眼睑空间点，和所述下眼睑的中心位置处的第二中心眼睑空间点；所述第一位置对应的位置处的眼睑特征点包括：所述人脸图像中上眼睑的中心位置处的第一中心眼睑特征点和下眼睑的中心位置处的第二中心眼睑特征点；

所述第二确定模块，被具体配置为：基于所述第一中心眼睑空间点的三维位置信息以及所述第二中心眼睑空间点的三维位置信息，确定所述第一中心眼睑空间点与所述第二中心眼睑空间点之间的距离，作为第一距离；

基于所述第一中心眼睑特征点的二维位置信息以及所述第二中心眼睑特征点的二维位置信息，确定所述第一中心眼睑特征点和所述第二中心眼睑特征点之间的距离，作为第二距离；

基于第一投影点的投影位置信息以及第二投影点的投影位置信息，确定所述第一投影点与所述第二投影点之间的距离，作为第三距离，其中，所述第一投影点为所述第一中心眼睑空间点在所述人脸图像中的投影点，所述第二投影点为所述第二中心眼睑空间点在所述人脸图像中的投影点；

计算所述第二距离与所述第三距离的比值，作为第一比值；

将所述第一距离与第一比值的乘积，确定为所述上下眼睑之间的当前开合长度。

可选的，所述第二位置处的第一嘴唇空间点包括：所述目标三维人脸模型中上唇的指定边缘的中心位置处的第一中心嘴唇空间点和下唇的指定边缘的中心位置处的第二中心嘴唇空间点，所述第二位置对应的位置处的嘴唇特征点包括：所述人脸图像中上唇的指定边缘的中心位置处的第一中心嘴唇特征点以及下唇的指定边缘的中心位置处的第二中心嘴唇特征点，所述指定边缘为内边缘或外边缘；

所述第三确定模块，被具体配置为：基于所述第一中心嘴唇空间点的三维位置信息以及所述第二中心嘴唇空间点的三维位置信息，确定所述第一中心嘴唇空间点与所述第二中心嘴唇空间点之间的距离，作为第四距离；

基于所述第一中心嘴唇特征点的二维位置信息以及所述第二中心嘴唇特征点的二维位置信息，确定所述第一中心嘴唇特征点和所述第二中心嘴唇特征点之间的距离，作为第五距离；

基于第三投影点的投影位置信息以及第四投影点的投影位置信息，确定所述第三投影点与所述第四投影点之间的距离，作为第六距离，其中，所述第三投影点为所述第一中心嘴唇空间点在所述人脸图像中的投影点，所述第四投影点为所述第二中心嘴唇空间点在所述人脸图像中的投影点；

计算所述第五距离与所述第六距离的比值，作为第二比值；

将所述第四距离与第二比值的乘积，确定为所述上下唇之间的当前张合度。

可选的，所述检测模块，包括：

第一检测单元，被配置为基于预设的面部特征点检测模型，从包含目标人员的面部的人脸图像中，检测出面部特征点的二维位置信息，其中，所述预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的模型；

确定截取单元，被配置为基于所述面部特征点的二维位置信息，从所述人脸图像中确定并截取出所述目标人员的人眼所在区域，作为人眼图像，并从所述人脸图像中确定截取出所述目标人员的嘴部所在区域，作为嘴部图像；

第二检测单元，被配置为利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点，其中，所述预设的眼睑特征点检测模型为：基于标注有人眼的上下眼睑的眼睑特征点的第二样本图像训练所得的模型；

第三检测单元，被配置为利用预设的嘴唇特征点检测模型，从所述嘴部图像中检测出所述嘴部的上下唇的嘴唇特征点，其中，所述预设的嘴唇特征点检测模型为：基于标注有嘴部的上下唇的嘴唇特征点的第三样本图像训练所得的模型。

可选的，所述人眼图像包括左眼图像和右眼图像；所述检测模块还包括：

镜像单元，被配置为在所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点之前，对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像；

拼接单元，被配置为对所述镜像图像以及未进行镜像的图像进行拼接，得到拼接图像其中，若对所述左眼图像进行镜像处理，所述未进行镜像的图像为所述右眼图像；若对所述右眼图像进行镜像处理，所述未进行镜像的图像为所述左眼图像；

所述第二检测单元，被具体配置为：利用预设的眼睑特征点检测模型，从所述拼接图像中，检测出所述镜像图像中人眼的上下眼睑的眼睑特征点，以及所述未进行镜像的图像中人眼的上下眼睑的眼睑特征点；对所述镜像图像中人眼的上下眼睑的眼睑特征点进行镜像处理，得到镜像后的眼睑特征点，以得到所述人眼图像中的人眼的上下眼睑的眼睑特征点。

可选的，所述检测模块还包括：

转正单元，被配置为在所述对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像之前，对待处理图像进行转正处理，得到转正后的待处理图像，其中，所述转正处理为：使得待处理图像中的两个眼角特征点的连线与预设图像坐标系的坐标轴平行，所述待处理图像为所述左眼图像和所述右眼图像；

所述镜像单元，被具体配置为：对转正后的待处理图像进行镜像处理，得到镜像图像。

可选的，所述构建模块，被具体配置为从所述预设的三维人脸模型中，确定出预设人脸位置处的空间点，作为待处理空间点，其中，所述待处理空间点与人脸特征点存在对应关系；利用弱透视投影矩阵，将每一待处理空间点投影至所述人脸图像，确定每一待处理空间点在所述人脸图像中的投影点的投影位置信息；基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的人脸特征点的二维位置信息，构建所述目标人员对应的目标三维人脸模型。

可选的，所述装置还包括：

获得模块，被配置为在所述基于所述当前张合度以及所述当前开合长度，确定出所述目标人员的当前状态之前，获得所述人脸图像的图像亮度；

判断模块，被配置为判断所述图像亮度是否超过预设亮度阈值；若所述图像亮度未超过所述预设亮度阈值，触发所述第四确定模块；若所述图像亮度超过所述预设亮度阈值，触发第五确定模块；

所述第五确定模块，被配置为基于所述当前张合度，确定出所述目标人员的当前状态。

可选的，所述第四确定模块，包括：

获得单元，被配置为获得预设时长内确定的所述目标人员的嘴部的历史张合度以及人眼的历史开合长度；

判断单元，被配置为基于所述当前开合长度和所述历史开合长度，判断所述目标人员的人眼的开合长度不大于预设长度阈值的次数，是否超过预设次数；且基于所述当前张合度以及所述历史张合度，判断是否存在所述目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况；

第一确定单元，被配置为若判断所述目标人员的人眼的开合长度不大于预设长度阈值的次数，超过所述预设次数，且判断存在所述目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况，则确定所述目标人员的当前状态为疲劳状态。

可选的，所述第四确定模块，还包括：

统计单元，被配置为若判断所述目标人员的人眼的开合长度不大于预设长度阈值的次数，未超过所述预设次数，且判断存在所述目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况，统计所述目标人员的嘴部的张合度大于预设张合阈值的持续时间，超过预设时间阈值的情况的次数，作为打哈欠次数；

第二确定单元，被配置为若所述打哈欠次数超过预设哈欠阈值，则确定所述目标人员的当前状态为疲劳状态。

由上述内容可知，本发明实施例提供的一种基于多面部信息的人员状态检测方法及装置，可以从包含目标人员的面部的人脸图像中，检测出面部中的人脸特征点，其中，人脸特征点包括：嘴部的上下唇的嘴唇特征点以及人眼的上下眼睑的眼睑特征点；基于人脸特征点以及预设的三维人脸模型，构建目标人员对应的目标三维人脸模型，其中，目标三维人脸模型包括：基于嘴唇特征点构建的嘴部的上下唇，以及基于眼睑特征点构建的人眼的上下眼睑；基于目标三维人脸模型中上下眼睑第一位置处的第一眼睑空间点、上下唇第二位置处的第一嘴唇空间点以及预设的投影矩阵，确定出第一眼睑空间点以及第一嘴唇空间点在人脸图像中的投影点；基于第一眼睑空间点的三维位置信息和对应的投影点的投影位置信息以及人脸图像中第一位置对应的位置处的眼睑特征点的二维位置信息，确定上下眼睑之间的当前开合长度；基于第一嘴唇空间点的三维位置信息和对应的投影点的投影位置信息以及人脸图像中第二位置对应的位置处的嘴唇特征点的二维位置信息，确定嘴部的上下唇之间的当前张合度；基于当前张合度以及当前开合长度，确定出目标人员的当前状态。

应用本发明实施例，可以基于人脸图像中的人脸特征点和预设的三维人脸模型，构建出目标人员对应的包括人眼的上下眼睑以及嘴部的上下唇的目标三维人脸模型；基于目标三维人脸模型中人眼的上下眼睑的三维位置信息以及人脸图像中人眼的上下眼睑的二维位置信息，确定出较准确的人眼的上下眼睑之间的开合长度，即人眼的上下眼睑之间的物理距离，并且，基于目标三维人脸模型中嘴部的上下唇的三维位置信息以及人脸图像中嘴部的上下唇的二维位置信息，确定出较准确的嘴部的上下唇之间的张合度，即嘴部的上下唇之间的物理距离，进而，结合所确定出的更准确的人眼的上下眼睑之间的物理距离，以及更准确的嘴部的上下唇之间的物理距离，共同确定目标人员的当前状态，在一定程度上实现提高对目标人员的当前状态的检测结果的准确性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

本发明实施例的创新点包括：

1、可以基于人脸图像中的人脸特征点和预设的三维人脸模型，构建出目标人员对应的包括人眼的上下眼睑以及嘴部的上下唇的目标三维人脸模型；基于目标三维人脸模型中人眼的上下眼睑的三维位置信息以及人脸图像中人眼的上下眼睑的二维位置信息，确定出较准确的人眼的上下眼睑之间的开合长度，即人眼的上下眼睑之间的物理距离，并且，基于目标三维人脸模型中嘴部的上下唇的三维位置信息以及人脸图像中嘴部的上下唇的二维位置信息，确定出较准确的嘴部的上下唇之间的张合度，即嘴部的上下唇之间的物理距离，进而，结合所确定出的更准确的人眼的上下眼睑之间的物理距离，以及更准确的嘴部的上下唇之间的物理距离，共同确定目标人员的当前状态，在一定程度上实现提高对目标人员的当前状态的检测结果的准确性。

2、在确定上下眼睑之间的当前开合长度和嘴部的上下唇之间的当前张合度时，计算相应部位的上下子部位的空间点之间的距离，作为第一距离，计算人脸图像中相应部位的上下子部位的特征点之间的距离，作为第二距离，以及计算目标三维人脸模型中相应部位的上下字部位的空间点在人脸图像中投影点之间的距离，作为第三距离；进而计算第二距离和第三距离的比值，进而将第一距离和上述比值的乘积，作为相应部位的上下子部位之间的距离。通过以上过程，在一定程度上可以降低构建目标三维人脸模型中相应部位时出现的误差，对相应部位的上下子部位之间的距离的影响；在一定程度上更好的提高所确定上下子部位之间的距离的准确性，进而提高对人员的当前状态的检测结果的准确性。其中，上述相应部位包括人眼以及嘴部，上述相应部位为人眼时，上下子部位为上下眼睑；上述相应部位为嘴部时，上下子部位为上下唇。

3、基于预设的面部特征点检测模型，从人脸图像中检测出面部特征点的二维位置信息，并基于面部特征点的二维位置信息，从人脸图像中截取出面部中嘴部所在区域，即嘴部图像，以及截取出面部中人眼所在区域，即人眼图像，进而，利用预设的眼睑特征点检测模型，从人眼图像中检测出上下眼睑中的眼睑特征点；并利用预设的嘴唇特征点检测模型，从嘴部图像中检测出嘴部的上下唇的嘴唇特征点，可以提高所检测出的眼睑特征点以及嘴唇特征点的准确性，进而可以提高基于该嘴唇特征点所构建的目标三维人脸模型中嘴部的上下唇的准确性，以可以确定出准确性更高的上下唇之间的张合度；并且可以提高基于该眼睑特征点所构建的目标三维人脸模型中人眼的上下眼睑的准确性，以可以确定出准确性更高的上下眼睑之间的开合长度，进而更好地提高对目标人员的状态的检测结果的准确性。

4、对左眼图像或右眼图像进行镜像处理得到镜像图像，进而对镜像图像以及未进行镜像的图像进行拼接，得到拼接图像；后续的可以利用预设的眼睑特征点检测模型，同时对该拼接图像中的两只人眼中的眼睑特征点进行检测，即通过一次检测则可检测出该拼接图像中两只人眼的上下眼睑的眼睑特征点，简化了利用预设的眼睑特征点检测模型，对眼睑特征点的检测过程。

5、对左眼图像和右眼图像进行转正处理，得到转正后的左眼图像和转正后的右眼图像，进而对转正后的左眼图像或转正后的右眼图像进行后续的处理，使得在一定程度上可以减轻预设的眼睑特征点检测模型的检测负担，并在一定程度上提高对眼睑特征点的检测结果。

6、基于所获得的人脸图像的图像亮度，确定目标人员是否处于强光照射的情况下，若未处于强光照射的情况下，结合基于嘴部的张合度以及人眼的开合长度，确定出目标人员的当前状态，若处于强光照射的情况下，人眼的开合长度的可信度降低，此时可以基于嘴部的张合度确定出目标人员的当前状态，以在一定程度上保证检测结果的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于多面部信息的人员状态检测方法的一种流程示意图；

图2为本发明实施例提供的确定人眼的上下眼睑之间的当前开合长度的一种流程示意图；

图3为本发明实施例提供的基于多面部信息的人员状态检测装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明提供了一种基于多面部信息的人员状态检测方法及装置，以实现提高对目标人员的疲劳程度的检测结果的准确性。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的基于多面部信息的人员状态检测方法的一种流程示意图。该方法可以包括以下步骤：

S101：从包含目标人员的面部的人脸图像中，检测出面部中的人脸特征点。

其中，人脸特征点包括：嘴部的上下唇的嘴唇特征点以及人眼的上下眼睑的眼睑特征点。

本发明实施例中，该基于多面部信息的人员状态检测方法，可以应用于任意类型的具有计算能力的电子设备。一种情况中，该电子设备可以为图像采集设备，该图像采集设备可以在获得自身采集的包含目标人员面部的人脸图像之后，执行本发明实施例所提供的后续的基于多面部信息的人员状态检测流程。另一种情况，该电子设备可以为非图像采集设备，相应的，该电子设备可以与1个或多个图像采集设备进行通信连接。若电子设备与多个图像采集设备进行通信连接，电子设备可以获得每一通信连接的图像采集设备所采集的人脸图像，进而针对每一图像采集设备采集的人脸图像，执行本发明实施例所提供的基于多面部信息的人员状态检测流程，其中，不同的图像采集设备可以针对不同的人员进行拍摄，可以得到包含不同人员的面部的人脸图像。

一种实现中，图像采集设备可以设置于车辆内，相应的，该目标人员为该车辆的驾驶员，该电子设备可以为车载设备，也可以不为车载设备。图像采集设备可以实时针对车辆内的驾驶员的面部进行拍摄，采集得到包含该驾驶员的面部的图像，进而发送至电子设备，电子设备获得包含该驾驶员面部的图像，其中，该获得的图像中可以仅包含驾驶员的面部，此时，电子设备可以直接将该获得的图像作为人脸图像；另外，该获得的图像中在包含驾驶员的面部的同时还可以包括车辆的车座或驾驶员的身体等信息，此时，电子设备获得图像采集设备采集的图像之后，可以直接将所获得的图像作为人脸图像。或者，为了在一定程度上提高人员状态的检测结果的准确性，可以基于预设的人脸检测算法，从所获得的图像中，检测出人脸所在区域的图像，将该人脸所在区域的图像，从该所获得的图像截取出，得到包含该驾驶员面部的人脸图像。其中，该预设的人脸检测算法可以为：特征脸方法(Eigenface)以及基于神经网络模型的人脸检测算法，基于神经网络模型的人脸检测算法可以为：Faster R-CNN(Faster Region-Convolutional Neural Networks，快速的区域-卷积神经网络)检测算法，这都是可以的。本发明实施例并不对预设的人脸检测算法的具体类型进行限定。该车辆可以为私家车、卡车以及公交车等，本发明实施例并不对车辆的车辆类型进行限定。

另一种实现中，图像采集设备也可以实时针对道路中过往的车辆进行监控，相应的，该目标人员可以为目标驾驶员，电子设备可以获得多个图像采集设备针对该目标驾驶员进行拍摄所采集到的包含目标驾驶员的面部的图像。一种情况中，电子设备获得图像采集设备采集的包含目标驾驶员的面部的图像之后，直接将该图像作为人脸图像，进而，执行后续的基于多面部信息的人员状态检测流程。另一种情况中，电子设备获得图像采集设备采集的包含目标驾驶员的面部的图像之后，基于预设的人脸检测算法，从该图像中检测出目标驾驶员的面部所在区域图像，并将该目标驾驶员的面部所在区域图像从该图像中截取出，得到仅包含目标驾驶员的面部的人脸图像。

另一种实现中，图像采集设备可以实时针对室内的居家人员进行监控，相应的，该目标人员可以为目标居家人员，电子设备可以获得图像采集设备针对目标居家人员进行拍摄所采集到的包含目标居家人员的面部的人脸图像。

本发明实施例中，电子设备在获得包含目标人员的面部的人脸图像之后，对该人脸图像进行检测，从该人脸图像中检测出面部中的人脸特征点。其中，人脸特征点可以包括嘴部的上下唇的嘴唇特征点以及人眼的上下眼睑的眼睑特征点，该上下唇的嘴唇特征点可以包括上下唇的外边缘和/或内边缘的嘴唇特征点。此外，人脸特征点还可以包括表征目标人员的面部的各个部位所在位置的面部特征点。该面部的各个部位可以包括鼻子、嘴唇、眉毛、人眼、下颌、脸颊以及耳朵等部位。该面部的各个部位的面部特征点可以分别包括：面部中表征出鼻子所在位置的各特征点，如鼻翼、鼻梁以及鼻尖等特征点；还可以包括表征出嘴唇所在位置的各特征点，如嘴唇的嘴角以及嘴唇周围的各特征点；还可以包括表征出眉毛所在位置的各特征点，如眉毛边缘的各特征点；还可以包括表征出人眼所在位置的各特征点，如眼角特征点、眼窝特征点以及瞳孔特征点等等；还可以包括表征出下颌所在位置的各特征点，如下颌轮廓上的各特征点，即下巴轮廓上的各特征点等；还可以包括表征出耳朵所在位置的各特征点，如耳朵的各轮廓上的各特征点等。

本步骤中，可以利用任一人脸特征点检测算法，从包含目标人员的面部的人脸图像中，检测出面部中的人脸特征点，并从人脸图像中确定出人脸特征点的二维位置信息。其中，上述人脸特征点检测算法可以为基于模型的ASM(Active Shape Model)和AAM(ActiveAppearnce Model)算法，基于级联形状回归CPR(Cascaded pose regression)的人脸特征点检测算法以及基于深度学习的人脸特征点检测算法，等等。本发明实施例可以应用相关技术中任一可以从人脸图像中的面部，检测出人脸特征点的算法，实现对目标人员面部的人脸特征点的检测。

进而，电子设备利用预先建立的人脸特征点检测模型，对人脸图像进行检测，检测得到人脸图像中面部的人脸特征点。一种情况，该预先建立的人脸特征点检测模型为：基于标定有人脸特征点的样本图像，训练所得的神经网络模型。

S102：基于人脸特征点以及预设的三维人脸模型，构建目标人员对应的目标三维人脸模型。其中，目标三维人脸模型包括：基于嘴唇特征点构建的嘴部的上下唇，以及基于眼睑特征点构建的人眼的上下眼睑。

本步骤中，电子设备本地或所连接的存储设备中，预存有预设的三维人脸模型，电子设备确定出人脸图像中面部的人脸特征点之后，可以基于预设的三维人脸模型以及人脸特征点的二维位置信息，构建目标人员对应的目标三维人脸模型。其中，可以通过3DMM(3DMorphable Models，三维形变模型)技术，基于预设的三维人脸模型以及人脸特征点的二维位置信息，构建目标人员对应的目标三维人脸模型。

在一种实现方式中，所述S102，可以包括：

从预设的三维人脸模型中，确定出预设人脸位置处的空间点，作为待处理空间点，其中，待处理空间点与人脸特征点存在对应关系；

利用弱透视投影矩阵，将每一待处理空间点投影至人脸图像，确定每一待处理空间点在人脸图像中的投影点的投影位置信息；

基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的人脸特征点的二维位置信息，构建目标人员对应的目标三维人脸模型。

一种实现方式中，电子设备可以接收用户选取指令，其中，该用户选取指令携带所需选取的空间点的预设人脸位置，电子设备可以基于该用户选取指令所携带的预设人脸位置，从预设的三维人脸模型中，确定出该预设人脸位置处的空间点，作为待处理空间点。

另一种实现方式中，电子设备可以预存有该预设人脸位置，进而电子设备可以从相应的存储位置处读取得到该预设人脸位置，进而，从预设的三维人脸模型中，确定出该预设人脸位置处的空间点，作为待处理空间点。

其中，待处理空间点与人脸特征点存在对应关系，该待处理空间点与人脸特征点的对应关系为：一一对应的关系。一种情况，该预设人脸位置可以基于后续提到的第一样本图像中所包含人脸的人脸特征点的位置进行设置。

一种情况中，该预设的三维人脸模型可以通过如下公式(1)表示：

其中，S表示该预设的三维人脸模型，

表示预设的平均脸，A_id表示人的人脸的形状信息，A_exp表示人的人脸的表情信息，α_id表示人的人脸的形状信息的权重，可以称为形状权重，α_exp表示人的人脸的表情信息的权重，可以称为表情权重。

电子设备可以基于上述公式(1)绘制出所表征的三维人脸模型，该三维人脸模型由点云组成。电子设备可以从该绘制的三维人脸模型中，确定出预设人脸位置处的空间点，作为待处理空间点，进而，可以继续获得待处理空间点的三维位置信息。

电子设备确定出待处理空间点之后，可以基于预设的弱透视投影矩阵，将每一待处理空间点投影至该人脸图像中，即利用弱透视投影矩阵以及每一待处理空间点的三维位置信息，确定每一待处理空间点在人脸图像中的投影点的投影位置信息。基于每一待处理空间点的投影点的投影位置信息以及每一待处理空间点对应的人脸特征点的二维位置信息，构建目标人员对应的目标三维人脸模型。

其中，上述基于每一待处理空间点的投影点的投影位置信息以及每一待处理空间点对应的人脸特征点的二维位置信息，构建目标人员对应的目标三维人脸模型的过程，可以是：基于每一待处理空间点的投影点的投影位置信息以及每一待处理空间点对应的人脸特征点的二维位置信息，确定每一待处理空间点及其对应的人脸特征点的距离误差，基于最小二乘法原理以及每一待处理空间点及其对应的人脸特征点的距离误差，构建目标函数。求解使得该目标函数的函数值达到最小或满足约束条件时，该目标函数中的相应未知量的解，基于该解得到目标人员对应的目标三维人脸模型。

一种情况中，该预设的弱透视投影矩阵可以通过如下公式(2)表示：

s_i2d＝fPR(α,β,γ)(S_i+t_3d)； (2)

其中，s_i2d表示第i个待处理空间点的投影点的投影位置信息，其中，i可以取[1，n]中的整数，该n表示待处理空间点的数量，f表示比例因子，R(α,β,γ)表示3*3的旋转矩阵，α表示该预设的三维人脸模型在预设空间直角坐标系下的横轴下的旋转角度，β表示该预设的三维人脸模型在预设空间直角坐标系下的纵轴下的旋转角度，γ表示该预设的三维人脸模型在预设空间直角坐标系下的竖轴下的旋转角度，该t_3d表示平移向量；S_i表示第i个待处理空间点的三维位置信息，该旋转矩阵和平移向量用于：将该预设的三维人脸模型从其所在的预设空间直角坐标系下，转换至图像采集设备的设备坐标系下，该图像采集设备为采集得到包含目标人员的面部的人脸图像的图像采集设备。

目标函数可以通过如下公式(3)表示：

其中，P表示目标函数的函数值，s_i2dt表示第i个待处理空间点对应的人脸特征点的二维位置信息，‖·‖表示求向量的模，该向量表示：第i个待处理空间点对应的人脸特征点的二维位置信息和第i个待处理空间点的投影点的投影位置信息之间的距离误差。

本发明实施例中，可以通过迭代的方法，不断调整f,R(α,β,γ),t_3d,α_id,α_exp的具体取值，以使得P达到最小或使得P满足预设约束条件，该预设约束条件可以为P不大于预设距离误差阈值。获得P达到最小或使得P满足预设约束条件时，f,R(α,β,γ),t_3d,α_id,α_exp的具体取值，作为最终的取值，将α_id,α_exp的最终的取值，代入公式(1)中，得到目标人员对应的目标三维人脸模型。

S103：基于目标三维人脸模型中上下眼睑第一位置处的第一眼睑空间点、上下唇第二位置处的第一嘴唇空间点以及预设的投影矩阵，确定出第一眼睑空间点以及第一嘴唇空间点在人脸图像中的投影点。

其中，该预设的投影矩阵为：采集得到包含目标人员面部的人脸图像的图像采集设备的投影矩阵，可以将目标三维人脸模型中嘴部的上下唇中的各嘴唇空间点以及人眼的上下眼睑的各眼睑空间点，投影至人脸图像中，得到目标三维人脸模型中嘴部的上下唇中的各嘴唇空间点在人脸图像中的投影点及其投影位置信息，并得到目标三维人脸模型中人眼的上下眼睑的各眼睑空间点在人脸图像中的投影点及其投影位置信息。一种情况，该预设的投影矩阵可以为上述预设的弱透视投影矩阵。

该第一位置处的第一眼睑空间点可以包括：该目标三维人脸模型中上下眼睑的所有的眼睑空间点；或者可以包括：目标三维人脸模型中上眼睑的中心位置处的眼睑空间点，作为第一中心眼睑空间点，和下眼睑的中心位置处的眼睑空间点，作为第二中心眼睑空间点；或者可以包括：目标三维人脸模型中上眼睑的任一目标等分点位置处的眼睑空间点以及下眼睑的该目标等分点位置处的眼睑空间点，等。

相应的，该第二位置处的第一嘴唇空间点可以包括：该目标三维人脸模型中嘴部的上下唇的所有的嘴唇空间点；或者可以包括：目标三维人脸模型中上唇的指定边缘的中心位置处的嘴唇空间点，作为第一中心嘴唇空间点，以及下唇的指定边缘的中心位置处的嘴唇空间点，作为第二中心嘴唇空间点；或者可以包括：目标三维人脸模型中上唇的指定边缘的任一目标等分点位置处的嘴唇空间点以及下唇的指定边缘的该目标等分点位置处的嘴唇空间点，等。其中，该第一位置和第二位置为预先指定的位置，可以由用户设置也可以由电子设备自主设置。

一种实现方式中，电子设备在确定出目标三维人脸模型之后，可以确定目标三维人脸模型中人眼的上下眼睑中的各眼睑特征点及其三维位置信息，和嘴部的上下唇中的各嘴唇空间点及其三维位置信息；进而，确定出人眼的上下眼睑的第一位置处的第一眼睑空间点及其三维位置信息，以及确定出嘴部的上下唇的第二位置处的嘴唇空间点及其三维位置信息。后续的，电子设备可以利用预设的投影矩阵，将目标三维人脸模型中上下眼睑的第一位置处的第一眼睑空间点，和上下唇的第二位置处的第一嘴唇空间点，投影至人脸图像，即基于目标三维人脸模型中上下眼睑的第一位置处的第一眼睑空间点的三维位置信息，以及该预设的投影矩阵，确定出第一眼睑空间点在人脸图像中的投影点及其投影位置信息；并基于标三维人脸模型中上下唇的第二位置处的第一嘴唇空间点的三维位置信息，以及预设的投影矩阵，确定出第一嘴唇空间点在人脸图像中的投影点及其投影位置信息。

另一种实现方式，电子设备在确定出目标三维人脸模型之后，可以直接利用预设的投影矩阵，将目标三维人脸模型中人眼的上眼睑的中心位置处的第一中心眼睑空间点和下眼睑的中心位置处的第二中心眼睑空间点，投影至人脸图像，即基于该第一中心眼睑空间点的三维位置信息以及该预设的投影矩阵，确定出该第一中心眼睑空间点在人脸图像中的投影点及其投影位置信息；并基于该第二中心眼睑空间点的三维位置信息以及该预设的投影矩阵，确定出该第二中心眼睑空间点在人脸图像中的投影点及其投影位置信息。以用于后续的人眼的上下眼睑之间的当前闭合长度的计算，以在一定程度上降低计算量。

相应的，利用预设的投影矩阵，将目标三维人脸模型中嘴部的上唇的指定边缘的中心位置处的第一中心嘴唇空间点，和下唇的指定边缘的中心位置处的第二中心嘴唇空间点，投影至人脸图像中，即基于该第一中心嘴唇空间点的三维位置信息以及预设的投影矩阵，确定出目标三维人脸模型中第一中心嘴唇空间点的投影点及其投影位置信息；基于该第二中心嘴唇空间点的三维位置信息以及预设的投影矩阵，确定出目标三维人脸模型中第二中心嘴唇空间点的投影点及其投影位置信息。以用于后续的嘴部的上下唇之间的当前张合度的计算，以在一定程度上降低计算量。

S104：基于第一眼睑空间点的三维位置信息和对应的投影点的投影位置信息以及人脸图像中第一位置对应的位置处的眼睑特征点的二维位置信息，确定上下眼睑之间的当前开合长度。

本步骤中，通过目标三维人脸模型中人眼的上眼睑的第一位置处的第一眼睑空间点的三维位置信息，和下眼睑的第一位置处的第一眼睑空间点的三维位置信息，确定出目标三维人脸模型中人眼的上下眼睑之间的三维距离，作为第一三维距离。并通过人脸图像中第一位置对应的位置处的眼睑特征点的二维位置信息，即人脸图像中人眼的上眼睑的第一位置对应的位置处的眼睑特征点的二维位置信息和下眼睑的第一位置对应的位置处的眼睑特征点的二维位置信息，确定出人脸图像中人眼的上下眼睑之间的二维距离，作为第一二维距离。

通过第一眼睑空间点对应的投影位置信息，即目标三维人脸模型中第一位置处的第一眼睑空间点在人脸图像中的投影点的投影位置信息，确定出目标三维人脸模型中上眼睑的第一位置处的第一眼睑空间点和下眼睑的第一位置处的第二眼睑空间点投影至人脸图像中时，上眼睑的第一位置处的第一眼睑空间点对应的投影点，和下眼睑的第一位置处的第一眼睑空间点对应的投影点之间的二维距离，作为第二二维距离。

基于上述第一二维距离、第二二维距离以及第一三维距离，确定出人眼的上下眼睑之间的当前闭合长度。以在一定程度上，可以提高所确定的人眼的上下眼睑之间的闭合长度的准确性。同时基于目标三维人脸模型中人眼的上下眼睑的眼睑空间点之间的距离，和二维的人脸图像中人眼的上下眼睑的眼睑特征点之间的距离，共同确定该人眼的上下眼睑之间的闭合长度，可以分化人眼的上下眼睑的三维信息以及二维信息中的任一信息的误差，在一定程度上可以更好的提高当前闭合长度的准确性，进而提高对人员的当前状态的检测结果的准确性。

在一种实现方式中，该第一位置处的第一眼睑空间点包括：目标三维人脸模型中上眼睑的中心位置处的第一中心眼睑空间点，和下眼睑的中心位置处的第二中心眼睑空间点；第一位置对应的位置处的眼睑特征点包括：人脸图像中上眼睑的中心位置处的第一中心眼睑特征点和下眼睑的中心位置处的第二中心眼睑特征点；

如图2所示，S104可以包括：

S201：基于第一中心眼睑空间点的三维位置信息以及第二中心眼睑空间点的三维位置信息，确定第一中心眼睑空间点与第二中心眼睑空间点之间的距离，作为第一距离。

S202：基于第一中心眼睑特征点的二维位置信息以及第二中心眼睑特征点的二维位置信息，确定第一中心眼睑特征点和第二中心眼睑特征点之间的距离，作为第二距离。

S203：基于第一投影点的投影位置信息以及第二投影点的投影位置信息，确定第一投影点与第二投影点之间的距离，作为第三距离。

其中，第一投影点为第一中心眼睑空间点在人脸图像中的投影点，第二投影点为第二中心眼睑空间点在人脸图像中的投影点。

S204：计算第二距离与第三距离的比值，作为第一比值。

S205：将第一距离与第一比值的乘积，确定为上下眼睑之间的当前开合长度。

处于目标三维人脸模型中上下眼睑的中心位置处的第一眼睑空间点，在一定程度上可以更好的表示出人眼的闭合的程度，即目标三维人脸模型中上下眼睑的中心位置处的第一眼睑空间点之间的距离，可以更好的表示出上下眼睑之间的距离。

本实现方式中，基于目标三维人脸模型中人眼的上眼睑的中心位置处的第一中心眼睑空间点的三维位置信息与下眼睑的中心位置处的第二中心眼睑空间点的三维位置信息，确定第一中心眼睑空间点与第二中心眼睑空间点之间的距离，作为第一距离。具体的，第一中心眼睑空间点和第二中心眼睑空间点之间的距离可以表示为：

其中，d1表示第一距离，(x₁，y₁，z₁)表示第一中心眼睑空间点的三维位置信息，(x₂，y₂，z₂)表示第二中心眼睑空间点的三维位置信息。

基于人脸图像中人眼的上眼睑的中心位置处的第一中心眼睑特征点的二维位置信息，以及下眼睑的中心位置处的第二中心眼睑特征点的二维位置信息，确定第一中心眼睑特征点与第二中心眼睑特征点之间的距离，作为第二距离。具体的，第一中心眼睑特征点与第二中心眼睑特征点之间的距离可以表示为：

其中，d2表示第二距离，(u₁，v₁)表示第一中心眼睑特征点的二维位置信息，(u₂，v₂)表示第二中心眼睑特征点的二维位置信息。

基于第一中心眼睑空间点对应的第一投影点在人脸图像中的二维的投影位置信息，以及第二中心眼睑空间点对应的第二投影点在人脸图像中的二维的投影位置信息，确定第一投影点和第二投影点之间的距离，作为第三距离。计算第二距离和第三距离的比值，作为第一比值；进而将第一比值和第一距离的乘积作为上下眼睑之间的当前开合长度。

本实现方式中，在一定程度上可以降低构建目标三维人脸模型中人眼的上下眼睑时出现的误差，对上下眼睑之间的距离的影响；在一定程度上更好的提高所确定上下眼睑之间的距离的准确性，进而提高对人员的当前状态的检测结果的准确性。

S105：基于第一嘴唇空间点的三维位置信息和对应的投影点的投影位置信息以及人脸图像中第二位置对应的位置处的嘴唇特征点的二维位置信息，确定嘴部的上下唇之间的当前张合度。

本步骤中，通过目标三维人脸模型中嘴部的上唇的第二位置处的第一嘴唇空间点的三维位置信息，和上唇的第二位置处的第二嘴唇空间点的三维位置信息，确定出目标三维人脸模型中嘴部的上下唇之间的三维距离，作为第一三维距离。并通过人脸图像中第二位置对应的位置处的嘴唇特征点的二维位置信息，即人脸图像中嘴部的上唇的第二位置对应的位置处的嘴唇特征点的二维位置信息和下唇的第二位置对应的位置处的嘴唇特征点的二维位置信息，确定出人脸图像中嘴部的上下唇之间的二维距离，作为第三二维距离。

通过第一嘴唇空间点对应的投影位置信息，即目标三维人脸模型中第二位置处的第一嘴唇空间点在人脸图像中的投影点的投影位置信息，确定出目标三维人脸模型中上唇的第二位置处的第一嘴唇空间点和下唇的第二位置处的第一嘴唇空间点投影至人脸图像中时，上唇的第二位置处的第一嘴唇空间点对应的投影点，和下唇的第二位置处的第一嘴唇空间点对应的投影点之间的二维距离，作为第四二维距离。

基于上述第三二维距离、第四二维距离以及第二三维距离，确定出嘴部的上下唇之间的当前张合度。以在一定程度上，可以提高所确定的嘴部的上下唇之间的张合度的准确性。同时基于目标三维人脸模型中嘴部的上下唇的嘴唇空间点之间的距离，和二维的人脸图像中嘴部的上下唇的嘴唇特征点之间的距离，共同确定该嘴部的上下唇之间的张合度，可以分化嘴部的上下唇的三维信息以及二维信息中的任一信息的误差，在一定程度上可以更好的提高当前张合度的准确性，进而提高对人员的当前状态的检测结果的准确性。

在一种实现方式中，第二位置处的第一嘴唇空间点包括：目标三维人脸模型中上唇的指定边缘的中心位置处的第一中心嘴唇空间点和下唇的指定边缘的中心位置处的第二中心嘴唇空间点，第二位置对应的位置处的嘴唇特征点包括：人脸图像中上唇的指定边缘的中心位置处的第一中心嘴唇特征点以及下唇的指定边缘的中心位置处的第二中心嘴唇特征点，指定边缘为内边缘或外边缘；

该S105，可以包括：基于第一中心嘴唇空间点的三维位置信息以及第二中心嘴唇空间点的三维位置信息，确定第一中心嘴唇空间点与第二中心嘴唇空间点之间的距离，作为第四距离。基于第一中心嘴唇特征点的二维位置信息以及第二中心嘴唇特征点的二维位置信息，确定第一中心嘴唇特征点和第二中心嘴唇特征点之间的距离，作为第五距离。基于第三投影点的投影位置信息以及第四投影点的投影位置信息，确定第三投影点与第四投影点之间的距离，作为第六距离，其中，第三投影点为第一中心嘴唇空间点在人脸图像中的投影点，第四投影点为第二中心嘴唇空间点在人脸图像中的投影点。计算第五距离与第六距离的比值，作为第二比值。将第四距离与第二比值的乘积，确定为上下唇之间的当前张合度。

处于目标三维人脸模型中上下唇的指定边缘的中心位置处的第一嘴唇空间点，在一定程度上可以更好的表示出嘴部的张合的程度，即目标三维人脸模型中上下唇的指定边缘的中心位置处的第一嘴唇空间点之间的距离，可以更好的表示出上下唇之间的距离。

本实现方式中，基于目标三维人脸模型中嘴部的上唇的指定边缘的中心位置处的第一中心嘴唇空间点的三维位置信息与下唇的指定边缘的中心位置处的第二中心嘴唇空间点的三维位置信息，确定第一中心嘴唇空间点与第二中心嘴唇空间点之间的距离，作为第四距离。具体的，第一中心嘴唇空间点和第二中心嘴唇空间点之间的距离可以表示为：

其中，d4表示第四距离，(x₃，y₃，z₃)表示第一中心嘴唇空间点的三维位置信息，(x₄，y₄，z₄)表示第二中心嘴唇空间点的三维位置信息。

基于人脸图像中人眼的上唇的指定边缘的中心位置处的第一中心嘴唇特征点的二维位置信息，以及下唇的指定边缘的中心位置处的第二中心嘴唇特征点的二维位置信息，确定第一中心嘴唇特征点与第二中心嘴唇特征点之间的距离，作为第五距离。具体的，第一中心嘴唇特征点与第二中心嘴唇特征点之间的距离可以表示为：

其中，d5表示第五距离，(u₃，v₃)表示第一中心嘴唇特征点的二维位置信息，(u₄，v₄)表示第二中心嘴唇特征点的二维位置信息。

基于第一中心嘴唇空间点对应的第三投影点在人脸图像中的二维的投影位置信息，以及第二中心嘴唇空间点对应的第四投影点在人脸图像中的二维的投影位置信息，确定第三投影点和第四投影点之间的距离，作为第六距离。计算第五距离和第六距离的比值，作为第二比值；进而将第二比值和第四距离的乘积作为上下唇之间的当前张合度。

本实现方式中，在一定程度上可以降低构建目标三维人脸模型中嘴部的上下唇时出现的误差，对上下唇之间的距离的影响；在一定程度上更好的提高所确定上下唇之间的距离的准确性，进而提高对人员的当前状态的检测结果的准确性。

本发明实施例中，可以先执行S104后执行S105，也可以先执行S105后执行S104，或者，可以同时执行S104和S105，这都是可以的。本发明实施并不对S104和S105的执行顺序进行限定。

S106：基于当前张合度以及当前开合长度，确定出目标人员的当前状态。

其中，人员的人眼的开合的状态以及嘴部的张合的状态，在一定程度上可以表征出人员的疲劳程度。人员在疲劳状态下，一般会易打盹，此时，该人员的人眼的上下眼睑之间的距离会相对较小，且易打哈欠，其中，打哈欠时人员的嘴部的张合度较大，且持续一段时间。而人员处于非疲劳状态下，人眼的上下眼睑之间的距离会相对较大，且嘴部的张合度不会较大。本发明实施例中，为了在一定程度上提高对人员的当前状态的检测结果的准确性，可以结合人眼的当前开合长度以及嘴部的当前张合度，共同确定目标人员的当前状态。该当前状态可以包括疲劳状态和非疲劳状态。

其中，人员具有左眼和右眼，一种情况，可以是利用目标人员的任一人眼的上下眼睑的信息，确定上下眼睑之间的当前开合长度，例如：利用左眼的上下眼睑的信息或右眼的上下眼睑的信息，确定上下眼睑之间的当前开合长度。该上下眼睑的信息可以包括目标三维人脸模型中人眼的上下眼睑的三维位置信息、人脸图像中人眼的上下眼睑的二维位置信息以及人脸图像中目标三维人脸模型中人眼的上下眼睑的投影点的投影位置信息。

另一种情况，可以是：利用目标人员的两只人眼的上下眼睑的信息，确定上下眼睑之间的当前开合长度，例如：利用左眼和右眼的上下眼睑的信息，确定上下眼睑之间的当前开合长度。其中，可以是：分别利用目标人员的每一人眼的上下眼睑的信息确定每一人眼的上下眼睑之间的开合长度，进而计算两只眼的上下眼睑之间的开合长度的平均值，作为上下眼睑之间的当前开合长度。

应用本发明实施例，可以基于人脸图像中的人脸特征点和预设的三维人脸模型，构建出目标人员对应的包括人眼的上下眼睑以及嘴部的上下唇的目标三维人脸模型；基于目标三维人脸模型中人眼的上下眼睑的三维位置信息以及人脸图像中人眼的上下眼睑的二维位置信息，确定出较准确的人眼的上下眼睑之间的开合长度，即人眼的上下眼睑之间的物理距离，并且，基于目标三维人脸模型中嘴部的上下唇的三维位置信息以及人脸图像中嘴部的上下唇的二维位置信息，确定出较准确的嘴部的上下唇之间的张合度，即嘴部的上下唇之间的物理距离，进而，结合所确定出的更准确的人眼的上下眼睑之间的物理距离，以及更准确的嘴部的上下唇之间的物理距离，共同确定目标人员的当前状态，在一定程度上实现提高对目标人员的当前状态的检测结果的准确性。

在本发明的另一实施例中，所述S101，可以包括：

基于预设的面部特征点检测模型，从包含目标人员的面部的人脸图像中，检测出面部特征点的二维位置信息，其中，预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的模型；

基于面部特征点的二维位置信息，从人脸图像中确定截取出目标人员的人眼所在区域，作为人眼图像，并从人脸图像中确定截取出目标人员的嘴部所在区域，作为嘴部图像；

利用预设的眼睑特征点检测模型，从人眼图像中检测出人眼的上下眼睑的眼睑特征点，其中，预设的眼睑特征点检测模型为：基于标注有人眼的上下眼睑的眼睑特征点的第二样本图像训练所得的模型；

利用预设的嘴唇特征点检测模型，从嘴部图像中检测出嘴部的上下唇的嘴唇特征点，其中，预设的嘴唇特征点检测模型为：基于标注有嘴部的上下唇的嘴唇特征点的第三样本图像训练所得的模型。

人脸图像中包含目标人员的整个面部的特征，直接在人脸图像中检测人眼眼睑的眼睑特征点和嘴部的上下唇的嘴唇特征点，难免出现检测不够准确的情况。本实施例中，可以先基于预设的面部特征点检测模型，对人脸图像进行检测，检测得到人脸图像中可以表征目标人员面部的各个部位的面部特征点以及每一面部特征点的二维位置信息，进而，基于该面部特征点，从人脸图像中确定出面部中人眼所在区域，作为人眼图像，进而从该人脸图像中截取出该人眼图像；并从人脸图像中确定出面部中嘴部所在区域，作为嘴部图像，进而，从该人脸图像中截取出该嘴部图像。进而基于预设的眼睑特征点检测模型，从包含人眼的人眼图像中检测出人眼的上下眼睑的眼睑特征点，基于预设的嘴唇特征点检测模型，从嘴部图像中检测出嘴部的上下唇的嘴唇特征点。以在一定程度上提高所检测出的人眼的眼睑特征点以及嘴部的嘴唇特征点的准确性。

本实施例中，该预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的神经网络模型。一种情况中，本发明实施例还可以包括训练得到预设的面部特征点检测模型的过程。具体的：电子设备可以先获得初始的面部特征点检测模型，该初始的面部特征点检测模型特征提取层和特征分类层；获得第一样本图像，每一第一样本图像包括人脸；获得每一第一样本图像对应的标定信息，其中，该标定信息包括第一样本图像中所包含人脸的面部特征点的标定位置信息。

电子设备将每一第一样本图像，输入初始的面部特征点检测模型的特征提取层，得到每一第一样本图像的图像特征；将每一第一样本图像的图像特征，输入初始的面部特征点检测模型的特征分类层，得到每一第一样本图像中面部特征点的当前位置信息；将每一第一样本图像中面部特征点的当前位置信息与其对应的标定位置信息进行匹配；若匹配成功，则确定初始的面部特征点检测模型收敛，得到包含特征提取层和特征分类层的初始的面部特征点检测模型，即得到预设的面部特征点检测模型；若匹配不成功，则调整特征提取层和特征分类层参数，返回执行该将每一第一样本图像输入初始的面部特征点检测模型的特征提取层，得到每一第一样本图像的图像特征的步骤；直至匹配成功，则得到包含特征提取层和特征分类层的初始的面部特征点检测模型，为预设的面部特征点检测模型。

其中，上述将每一第一样本图像中面部特征点的当前位置信息与其对应的标定位置信息进行匹配的过程，可以是：利用预设的损失函数，计算每一面部特征点的当前位置信息与其对应的标定位置信息之间的第一损失值，判断该第一损失值是否小于第一预设损失阈值；若判断该第一损失值小于第一预设损失阈值，则确定匹配成功，此时可以确定该初始的面部特征点检测模型收敛，即确定该初始的面部特征点检测模型训练完成，得到该预设的面部特征点检测模型；若判断该第一损失值不小于第一预设损失阈值，确定匹配不成功。

其中，每一第一样本图像与面部特征点的当前位置信息存在对应关系，且每一第一样本图像与标定信息中的面部特征点的标定位置信息存在对应关系，则面部特征点的当前位置信息与标定信息中的面部特征点的标定位置信息存在对应关系。

训练得到预设的面部特征点检测模型之后，电子设备则可以基于预设的面部特征点检测模型，对人脸图像进行检测，检测得到该人脸图像中面部的面部特征点及每一面部特征点的二维位置信息。

进而，基于面部特征点中表征人眼所在位置的各特征点的二维位置信息，从人脸图像中，确定并截取出目标人员的人眼所在区域，作为人眼图像；并基于面部特征点中表征嘴部所在位置的各特征点的二维位置信息，从人脸图像确定并截取出目标人员的嘴部所在区域，作为嘴部图像。其中，可以是基于面部特征点中表征人眼或嘴部所在位置的各特征点的二维位置信息，确定出最小的包含该目标人员的人眼或嘴部的矩形区域，将该矩形区域作为人眼或嘴部所在区域，并截取出，得到人眼图像或嘴部图像。其中，可以是分别针对目标人员的两只眼睛分别截取出其所在区域的图像，得到人眼图像。

后续的，利用预设的眼睑特征点检测模型，从人眼图像中检测出人眼的上下眼睑的眼睑特征点。其中，上述预设的眼睑特征点检测模型：基于标注有人眼的上下眼睑的眼睑特征点的第二样本图像训练所得的神经网络模型。该预设的眼睑特征点检测模型的训练过程，可以参见上述预设的面部特征点检测模型的训练过程。

并利用预设的嘴唇特征点检测模型，从嘴部图像中检测出嘴部的上下唇的内边缘和外边缘的嘴唇特征点。其中，上述预设的嘴唇特征点检测模型：基于标注有嘴部的上下唇的嘴唇特征点的第三样本图像训练所得的神经网络模型。该预设的嘴唇特征点检测模型的训练过程，可以参见上述预设的面部特征点检测模型的训练过程。

其中，区别于预设的面部特征点检测模型的第一样本图像，该第二样本图像为标注有人眼的上下眼睑的眼睑特征点的图像，且第二样本图像对应的标定信息包含该的人眼的上下眼睑的眼睑特征点的标定位置信息。其中，该第二样本图像标注的人眼的上下眼睑的眼睑特征点，可以是人工标定或通过特定标定程序标定的眼睑特征点。

相应的，该第三样本图像为标注有嘴部的上下唇的嘴唇特征点的图像，且第三样本图像对应的标定信息包含该嘴部的上下唇的嘴唇特征点的标定位置信息。其中，该第三样本图像标注的上下唇的嘴唇特征点，可以是人工标定或通过特定标定程序标定的嘴唇特征点。该嘴部的上下唇的嘴唇特征点包括：嘴部的上下唇的内边缘和外边缘的嘴唇特征点。

在另一种实现方式中，上述预设的面部特征点检测模型、预设的眼睑特征点检测模型和预设的嘴唇特征点检测模型可以为一个功能合并的模型。相应的，训练得到该功能合并的模型所需的第四样本图像为包含人脸的图像，第四样本图像对应的标定信息中包含有面部特征点的标定位置信息、人眼的上下眼睑的眼睑特征点的标定位置信息以及嘴部的上下唇的嘴唇特征点的标定位置信息。

在本发明的另一实施例中，该人眼图像包括左眼图像和右眼图像；在所述利用预设的眼睑特征点检测模型，从人眼图像中检测出人眼的上下眼睑的眼睑特征点的步骤之前，所述方法还可以包括：对左眼图像或右眼图像进行镜像处理，得到镜像图像；

对镜像图像以及未进行镜像的图像进行拼接，得到拼接图像其中，若对左眼图像进行镜像处理，未进行镜像的图像为右眼图像；若对右眼图像进行镜像处理，未进行镜像的图像为左眼图像；

所述利用预设的眼睑特征点检测模型，从人眼图像中检测出人眼的上下眼睑的眼睑特征点的步骤，可以包括：

利用预设的眼睑特征点检测模型，从拼接图像中，检测出镜像图像中人眼的上下眼睑的眼睑特征点，以及未进行镜像的图像中人眼的上下眼睑的眼睑特征点；

对镜像图像中人眼的上下眼睑的眼睑特征点进行镜像处理，得到镜像后的眼睑特征点，以得到人眼图像中的人眼的上下眼睑的眼睑特征点。

其中，人眼图像包括：包含目标人员左眼的图像，称为左眼图像；和包含目标人员的右眼的图像，称为右眼图像。为了在一定程度上降低利用预设的眼睑特征点检测模型，检测得到目标人员的眼睑特征点的复杂度，并缩短利用预设的眼睑特征点检测模型，检测得到目标人员的眼睑特征点所需的检测时间。本实施例中，可以对左眼图像或右眼图像进行镜像处理，得到镜像图像。进而对镜像图像以及未进行镜像的图像进行拼接，得到拼接图像；将拼接图像输入预设的眼睑特征点检测模型，以利用预设的眼睑特征点检测模型，从拼接图像中，检测出镜像图像中人眼的上下眼睑的眼睑特征点，以及未进行镜像的图像中人眼的上下眼睑的眼睑特征点。使得预设的眼睑特征点检测模型可以同时对镜像图像和未进行镜像的图像进行检测，可以缩短利用预设的眼睑特征点检测模型，检测得到目标人员的眼睑特征点所需的检测时间。

其中，若对右眼图像进行镜像处理，上述未进行镜像的图像为左眼图像；若对左眼图像进行镜像处理，上述未进行镜像的图像为右眼图像。

对左眼图像或右眼图像进行镜像处理，可以使得左眼图像镜像为该左眼图像对应的右眼图像，或使得右眼图像镜像为该右眼图像对应的左眼图像，在一定程度上降低利用预设的眼睑特征点检测模型，检测得到目标人员的眼睑特征点的复杂度。

可以理解的是，在训练得到上述预设的眼睑特征点检测模型，所需的第二样本图像中，可以包含样本人员的左眼图像及该样本人员的右眼图像镜像所得的左眼图像，或包含样本人员的右眼图像及该样本人员的左眼图像镜像所得的右眼图像。若训练得到上述预设的眼睑特征点检测模型所需的第二样本图像中，包含样本人员的左眼图像及该样本人员的右眼图像镜像所得的左眼图像，后续的，在检测过程中，对目标人员的右眼图像进行镜像处理。若训练得到上述预设的眼睑特征点检测模型所需的第二样本图像中，包含样本人员的右眼图像及该样本人员的左眼图像镜像所得的右眼图像，后续的，在检测过程中，对目标人员的左眼图像进行镜像处理。

在训练得到上述预设的眼睑特征点检测模型时，对样本人员的右眼图像或左眼图像进行镜像处理，在一定程度上还可以增加训练得到上述预设的眼睑特征点检测模型所需的第二样本图像的数量。

上述对镜像图像以及未进行镜像的图像进行拼接，得到拼接图像的过程，可以是：对镜像图像以及未进行镜像的图像进行空间维度的拼接或者通道维度的拼接，其中，该空间维度的拼接可以为：将镜像图像以及未进行镜像的图像进行左右拼接或上下拼接。左右拼接可以是：镜像图像的右侧边与未进行镜像的图像的左侧边进行拼接，镜像图像的左侧边与未进行镜像的图像的右侧边进行拼接。上下拼接可以是：镜像图像的上侧边与未进行镜像的图像的下侧边进行拼接，镜像图像的下侧边与未进行镜像的图像的上侧边进行拼接。

在本发明的另一实施例中，在所述对左眼图像或右眼图像进行镜像处理，得到镜像图像的步骤之前，所述方法还可以包括：

对待处理图像进行转正处理，得到转正后的待处理图像，其中，转正处理为：使得待处理图像中的两个眼角特征点的连线与预设图像坐标系的坐标轴平行，待处理图像为左眼图像和右眼图像；

所述对左眼图像或右眼图像进行镜像处理，得到镜像图像的步骤，可以包括：

对转正后的待处理图像进行镜像处理，得到镜像图像。

在一种情况中，目标人员的头部可能会出现倾斜的情况，本实施例中，为了提高对眼睑特征点的检测结果的准确性，并在一定程度上降低检测难度，在对左眼图像和右眼图像进行镜像处理之前，可以首先对左眼图像和右眼图像进行转正处理，即使得左眼图像的两个眼角特征点的连线与预设图像坐标系的横轴平行，且使得右眼图像的两个眼角特征点的连线与预设图像坐标系的横轴平行；或，使得左眼图像的两个眼角特征点的连线与预设图像坐标系的纵轴平行，且使得右眼图像的两个眼角特征点的连线与预设图像坐标系的纵轴平行，这都是可以的。后续的，可以对转正后左眼图像或转正后的右眼图像进行镜像处理，得到镜像图像。其中，该预设图像坐标系可以为该图像采集设备的图像坐标系。

相应的，在利用预设的嘴唇特征点检测模型，从嘴部图像中检测出嘴部的上下唇的嘴唇特征点时，也可以先对嘴部图像进行转正处理，使得嘴部图像中的嘴部的两个嘴角特征点的连线与预设图像坐标系的坐标轴平行。进而，利用预设的嘴唇特征点检测模型，从转正处理后的嘴部图像中检测出嘴部的上下唇的嘴唇特征点。以提高对眼睑特征点的检测结果的准确性，并在一定程度上降低检测难度。

在本发明的另一实施例中，在所述基于当前张合度以及当前开合长度，确定出所述目标人员的当前状态(S106)的步骤之前，所述方法还包括：

获得人脸图像的图像亮度；判断图像亮度是否超过预设亮度阈值；若图像亮度未超过预设亮度阈值，则执行S106；若图像亮度超过预设亮度阈值，基于当前张合度，确定出目标人员的当前状态。

在一种情况中，该目标人员为驾驶员的情况下，可以通过人脸图像的图像亮度，确定出该驾驶员是否处于强光照射的情况下驾驶车辆，进而，根据驾驶员是否处于强光照射的情况下驾驶车辆的确定结果，确定驾驶员的人眼的上下眼睑之间的开合长度是否可信。具体的，电子设备可以获得人脸图像的图像亮度，并将该图像亮度与预设亮度阈值进行比较，判断图像亮度是否超过预设亮度阈值，若图像亮度未超过预设亮度阈值，则可以确定驾驶员未处于强光照射的情况下驾驶车辆，此时，可以确定驾驶员的人眼的上下眼睑的开合长度是可信的，相应的可以基于当前张合度以及当前开合长度，确定出驾驶员的当前状态，以保证所确定的人员的当前状态的准确性。若图像亮度超过预设亮度阈值，则可以确定驾驶员处于强光照射的情况下驾驶车辆，此时，可以确定驾驶员的人眼的上下眼睑的开合长度是不可信的，相应的可以基于当前张合度，确定出驾驶员的当前状态，以保证所确定的人员的当前状态的准确性。

在另一实现方式中，在检测出人脸图像中人眼处于不可见的情况下，可以直接基于嘴部的张合度，确定目标人员的当前状态，以在一定程度上可以实现提供冗余补救方案的效果。其中，该人眼处于不可见的情况可以包括：人眼被遮挡或者人脸图像中未包含人眼的情况。

其中，上述基于当前张合度，确定出驾驶员的当前状态的过程，可以是：基于当前张合度和历史张合度，判断是否存在目标人员的嘴部的张合度大于预设张合阈值的持续时间，超过预设时间阈值的情况；若判断存在，则确定目标人员的当前状态为疲劳状态；若判断不存在，则确定目标人员的当前状态为非疲劳状态。

在本发明的另一实施例中，S106，可以包括：

获得预设时长内确定的目标人员的嘴部的历史张合度以及人眼的历史开合长度；

基于当前开合长度和历史开合长度，判断目标人员的人眼的开合长度不大于预设长度阈值的次数，是否超过预设次数；且基于当前张合度以及历史张合度，判断是否存在目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况；

若判断目标人员的人眼的开合长度不大于预设长度阈值的次数，超过预设次数，且判断存在目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况，则确定目标人员的当前状态为疲劳状态。

一种情况中，电子设备本地或所连接的存储设备中，可以存储有目标人员的嘴部的历史张合度以及人眼的历史开合长度。在计算得到嘴部的当前张合度以及人眼的当前开合长度之后，电子设备可以从相应的存储位置处获得预设时长内目标人员的嘴部的历史张合度，以及人眼的历史开合长度。该历史张合度为：利用图像采集设备所采集的包含该目标人员的面部的历史图像，确定的嘴部的上下唇的张合度；该历史开合长度为：利用该历史图像，确定的人眼的上下眼睑的开合长度。

该历史图像为：图像采集设备在采集得到该人脸图像的时刻之前的时刻所采集的图像。其中，确定历史张合度的过程，可以参见确定当前张合度的过程；确定历史开合长度的过程，可以参见确定当前开合长度的过程，在此不再赘述。该上述预设时长的结束时刻为采集得到该人脸图像的时刻，开始时刻为与采集得到该人脸图像的时刻间隔第一时长的时刻。

本实施例中，电子设备可以将每一开合长度与预设长度阈值进行比较，确定每一开合长度与预设长度阈值的大小，得到第一确定结果，其中，该每一开合长度包括当前开合长度和历史开合长度。统计第一确定结果中包含表征开合长度不大于预设长度阈值的信息的第一确定结果的数量，作为第一数量，判断该第一数量是否超过预设次数，若该第一数量超过预设次数，则判断目标人员的人眼的开合长度不大于预设长度阈值的次数，超过预设次数；反之，若该第一数量未超过预设次数，则判断目标人员的人眼的开合长度不大于预设长度阈值的次数，未超过预设次数。

并且，电子设备可以将每一张合度与预设张合阈值进行比较，并将每一张合度分别与预设张合阈值进行比较，以比较每一张合度与预设张合阈值的大小，得到比较结果，其中，每一张合度包括当前张合度以及历史张合度；进而，基于比较结果确定是否存在嘴部的张合度不小于预设张合阈值的情况，其中，若比较结果中包括表征张合度不小于预设张合阈值的比较结果，则确定存在嘴部的张合度不小于预设张合阈值的情况。

进而，在确定出存在嘴部的张合度不小于预设张合阈值的情况后，继续基于比较结果，确定是否存在嘴部张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况，即基于比较结果，确定是否存在连续多个比较结果均表征张合度不小于预设张合阈值，且该多个比较结果的数量超过第二数量的情况；其中，若确定存在连续多个比较结果均表征张合度不小于预设张合阈值，且该多个比较结果的数量超过第二数量的情况，则确定存在嘴部的张合度不小于预设张合阈值的持续时间超过预设时间阈值的情况，进而，可以确定基于当前张合度和历史张合度，判断存在目标人员的嘴部的张合度不小于预设张合阈值，且不小于预设张合阈值的持续时间超过预设时间阈值的情况。反之，若确定不存在连续多个比较结果均表征张合度不小于预设张合阈值，和/或表征张合度不小于预设张合阈值的连续的多个判断结果的数量未超过第二数量的情况，则确定不存在嘴部张合度不小于预设张合阈值的持续时间超过预设时间阈值的情况，进而，可以确定不存在目标人员的嘴部的张合度不小于预设张合阈值，且不小于预设张合阈值的持续时间超过预设时间阈值的情况。进而，若判断目标人员的人眼的开合长度不大于预设长度阈值的次数，超过预设次数，且判断存在目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况，则可以确定目标人员的当前状态为疲劳状态。

其中，图像采集设备采集得到每一图像时，会为每一图像标记一个时间戳信息，即图像与时间戳信息存在对应关系，其中，该图像包括人脸图像以及在采集到该人脸图像的时刻之前采集的历史图像。并且，电子设备可以基于每一图像均可以确定出目标人员的嘴部的一个张合度，即图像与张合度存在对应关系。鉴于此，每一张合度与时间戳信息存在对应关系。后续的，在将每一张合度，分别与预设张合阈值进行比较时，可以是：按每一张合度对应的时间戳信息的先后顺序，依次将每一张合度，分别与预设张合阈值进行比较。

后续的，一种情况，获得比较结果；从比较结果中，确定出连续的表征张合度不小于预设张合阈值的比较结果，针对每一组连续的表征张合度不小于预设张合阈值的比较结果，可以直接确定该组中比较结果的数量是否超过第二数量，若超过，则确定存在嘴部张合度不小于预设张合阈值的持续时间超过预设时间阈值的情况。或者，另一种情况，针对每一组连续的表征张合度不小于预设张合阈值的比较结果，从该组比较结果中，确定出所对应张合度对应的时间戳信息最早的比较结果，作为第一比较结果；并确定出所对应张合度对应的时间戳信息最晚的比较结果，作为第二比较结果；计算第二比较结果对应的时间戳信息与第一比较结果对应的时间戳信息之间的时间差值，判断该时间差值是否超过预设时间阈值，若超过，则确定存在嘴部张合度不小于预设张合阈值的持续时间超过预设时间阈值的情况。其中，该第二数量可以基于图像采集设备采集图像的频率以及该预设时间阈值确定。

在一种实现方式中，在确定出人脸图像的图像亮度以及图像采集设备在预设时长内所采集的历史图像的亮度，均未超过预设亮度阈值时，在确定出目标人员的人眼的开合长度不大于预设长度阈值的次数，超过预设次数的情况下，可以直接确定目标人员的当前状态为疲劳状态。或者，若判断存在目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况，也可以直接确定目标人员的当前状态为疲劳状态。在确定出目标人员的人眼的开合长度不大于预设长度阈值的次数，未超过预设次数；且判断不存在目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况，则可以确定目标人员的当前状态为非疲劳状态。

在本发明的另一实施例中，为了在一定程度上保证所确定的人员的当前状态的准确性，所述方法还可以包括：

若判断目标人员的人眼的开合长度不大于预设长度阈值的次数，未超过预设次数，且判断存在目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况，统计目标人员的嘴部的张合度大于预设张合阈值的持续时间，超过预设时间阈值的情况的次数，作为打哈欠次数；

若打哈欠次数超过预设哈欠阈值，则确定目标人员的当前状态为疲劳状态。

在本发明实施例中，若判断目标人员的人眼的开合长度小于预设长度阈值的次数，未超过预设次数，且判断存在目标人员的嘴部的张合度大于预设张合阈值的持续时间，超过预设时间阈值的情况，继续统计目标人员的嘴部的张合度大于预设张合阈值的持续时间，超过预设时间阈值的情况的次数，可以在统计出在预设时长内，目标人员打哈欠的次数，即打哈欠次数，若该打哈欠次数超过预设哈欠阈值，则认为目标人员打哈欠的频率较高，可以确定目标人员的当前状态为疲劳状态。若该打哈欠次数未超过预设哈欠阈值，则认为目标人员打哈欠的频率不高，可以确定目标人员的当前状态为非疲劳状态。

在本发明的另一实施例中，在所述确定目标人员的当前状态为疲劳状态的步骤之后，所述方法还可以包括：生成并发送告警信息。

本发明实施例中，若目标人员为驾驶员，为了在一定程度上减少因疲劳驾驶所导致的车祸的情况的发生，在确定出目标人员的疲劳程度为疲劳的情况下，可以生成告警信息，以提示用户该目标人员处于疲劳的状态，以便用户可以针对该种情况采取相应措施，以在一定程度上减少因疲劳驾驶所导致的车祸的情况的发生。另一种情况中，若目标人员为驾驶员，还可以提示驾驶员进入自动驾驶模式，或发出行驶模式控制信号，以控制车辆自动进入自动驾驶模式，以在一定程度上减少因疲劳驾驶所导致的车祸的情况的发生。

在本发明的另一实施例中，若目标人员为居家人员，可以生成并发送家居设备的家居控制信号，该家居控制信号可以是控制电视机的播放音量降低或关闭电视机；可以是：控制空调的当前设置温度在预设温度范围内，等等。

相应于上述方法实施例，本发明实施例提供了一种基于多面部信息的人员状态检测装置，如图3所示，可以包括：检测模块310，被配置为从包含目标人员的面部的人脸图像中，检测出所述面部中的人脸特征点，其中，所述人脸特征点包括：嘴部的上下唇的嘴唇特征点以及人眼的上下眼睑的眼睑特征点；构建模块320，被配置为基于所述人脸特征点以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述嘴唇特征点构建的所述嘴部的上下唇，以及基于所述眼睑特征点构建的所述人眼的上下眼睑；第一确定模块330，被配置为基于所述目标三维人脸模型中所述上下眼睑第一位置处的第一眼睑空间点、所述上下唇第二位置处的第一嘴唇空间点以及预设的投影矩阵，确定出所述第一眼睑空间点以及所述第一嘴唇空间点在所述人脸图像中的投影点；第二确定模块340，被配置为基于所述第一眼睑空间点的三维位置信息和对应的投影点的投影位置信息以及所述人脸图像中所述第一位置对应的位置处的眼睑特征点的二维位置信息，确定所述上下眼睑之间的当前开合长度；第三确定模块350，被配置为基于所述第一嘴唇空间点的三维位置信息和对应的投影点的投影位置信息以及所述人脸图像中所述第二位置对应的位置处的嘴唇特征点的二维位置信息，确定所述嘴部的上下唇之间的当前张合度；第四确定模块360，被配置为基于所述当前张合度以及所述当前开合长度，确定出所述目标人员的当前状态。

应用本发明实施例，可以基于人脸图像中的人脸特征点和预设的三维人脸模型，构建出目标人员对应的包括人眼的上下眼睑以及嘴部的上下唇的目标三维人脸模型；基于目标三维人脸模型中人眼的上下眼睑的三维位置信息以及人脸图像中人眼的上下眼睑的二维位置信息，确定出较准确的人眼的上下眼睑之间的开合长度，即人眼的上下眼睑之间的物理距离，并且，基于目标三维人脸模型中嘴部的上下唇的三维位置信息以及人脸图像中嘴部的上下唇的二维位置信息，确定出较准确的嘴部的上下唇之间的张合度，即嘴部的上下唇之间的物理距离，进而，结合所确定出的更准确的人眼的上下眼睑之间的物理距离，以及更准确的嘴部的上下唇之间的物理距离，共同确定目标人员的当前状态，在一定程度上实现提高对目标人员的当前状态的检测结果的准确性。

在本发明的另一实施例中，所述第一位置处的第一眼睑空间点包括：所述目标三维人脸模型中上眼睑的中心位置处的第一中心眼睑空间点，和所述下眼睑的中心位置处的第二中心眼睑空间点；所述第一位置对应的位置处的眼睑特征点包括：所述人脸图像中上眼睑的中心位置处的第一中心眼睑特征点和下眼睑的中心位置处的第二中心眼睑特征点；

所述第二确定模块340，被具体配置为：基于所述第一中心眼睑空间点的三维位置信息以及所述第二中心眼睑空间点的三维位置信息，确定所述第一中心眼睑空间点与所述第二中心眼睑空间点之间的距离，作为第一距离；基于所述第一中心眼睑特征点的二维位置信息以及所述第二中心眼睑特征点的二维位置信息，确定所述第一中心眼睑特征点和所述第二中心眼睑特征点之间的距离，作为第二距离；基于第一投影点的投影位置信息以及第二投影点的投影位置信息，确定所述第一投影点与所述第二投影点之间的距离，作为第三距离，其中，所述第一投影点为所述第一中心眼睑空间点在所述人脸图像中的投影点，所述第二投影点为所述第二中心眼睑空间点在所述人脸图像中的投影点；计算所述第二距离与所述第三距离的比值，作为第一比值；将所述第一距离与第一比值的乘积，确定为所述上下眼睑之间的当前开合长度。

在本发明的另一实施例中，所述第二位置处的第一嘴唇空间点包括：所述目标三维人脸模型中上唇的指定边缘的中心位置处的第一中心嘴唇空间点和下唇的指定边缘的中心位置处的第二中心嘴唇空间点，所述第二位置对应的位置处的嘴唇特征点包括：所述人脸图像中上唇的指定边缘的中心位置处的第一中心嘴唇特征点以及下唇的指定边缘的中心位置处的第二中心嘴唇特征点，所述指定边缘为内边缘或外边缘；

所述第三确定模块350，被具体配置为：基于所述第一中心嘴唇空间点的三维位置信息以及所述第二中心嘴唇空间点的三维位置信息，确定所述第一中心嘴唇空间点与所述第二中心嘴唇空间点之间的距离，作为第四距离；基于所述第一中心嘴唇特征点的二维位置信息以及所述第二中心嘴唇特征点的二维位置信息，确定所述第一中心嘴唇特征点和所述第二中心嘴唇特征点之间的距离，作为第五距离；基于第三投影点的投影位置信息以及第四投影点的投影位置信息，确定所述第三投影点与所述第四投影点之间的距离，作为第六距离，其中，所述第三投影点为所述第一中心嘴唇空间点在所述人脸图像中的投影点，所述第四投影点为所述第二中心嘴唇空间点在所述人脸图像中的投影点；计算所述第五距离与所述第六距离的比值，作为第二比值；将所述第四距离与第二比值的乘积，确定为所述上下唇之间的当前张合度。

在本发明的另一实施例中，所述检测模块，包括：第一检测单元(图中未示出)，被配置为基于预设的面部特征点检测模型，从包含目标人员的面部的人脸图像中，检测出面部特征点的二维位置信息，其中，所述预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的模型；确定截取单元(图中未示出)，被配置为基于所述面部特征点的二维位置信息，从所述人脸图像中确定并截取出所述目标人员的人眼所在区域，作为人眼图像，并从所述人脸图像中确定截取出所述目标人员的嘴部所在区域，作为嘴部图像；第二检测单元(图中未示出)，被配置为利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点，其中，所述预设的眼睑特征点检测模型为：基于标注有人眼的上下眼睑的眼睑特征点的第二样本图像训练所得的模型；第三检测单元(图中未示出)，被配置为利用预设的嘴唇特征点检测模型，从所述嘴部图像中检测出所述嘴部的上下唇的嘴唇特征点，其中，所述预设的嘴唇特征点检测模型为：基于标注有嘴部的上下唇的嘴唇特征点的第三样本图像训练所得的模型。

在本发明的另一实施例中，所述人眼图像包括左眼图像和右眼图像；所述检测模块310还可以包括：镜像单元(图中未示出)，被配置为在所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点之前，对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像；

拼接单元(图中未示出)，被配置为对所述镜像图像以及未进行镜像的图像进行拼接，得到拼接图像其中，若对所述左眼图像进行镜像处理，所述未进行镜像的图像为所述右眼图像；若对所述右眼图像进行镜像处理，所述未进行镜像的图像为所述左眼图像；

所述第二检测单元(图中未示出)，被具体配置为：利用预设的眼睑特征点检测模型，从所述拼接图像中，检测出所述镜像图像中人眼的上下眼睑的眼睑特征点，以及所述未进行镜像的图像中人眼的上下眼睑的眼睑特征点；对所述镜像图像中人眼的上下眼睑的眼睑特征点进行镜像处理，得到镜像后的眼睑特征点，以得到所述人眼图像中的人眼的上下眼睑的眼睑特征点。

在本发明的另一实施例中，所述检测模块310还可以包括：转正单元(图中未示出)，被配置为在所述对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像之前，对待处理图像进行转正处理，得到转正后的待处理图像，其中，所述转正处理为：使得待处理图像中的两个眼角特征点的连线与预设图像坐标系的坐标轴平行，所述待处理图像为所述左眼图像和所述右眼图像；所述镜像单元(图中未示出)，被具体配置为：对转正后的待处理图像进行镜像处理，得到镜像图像。

在本发明的另一实施例中，所述构建模块320，被具体配置为从所述预设的三维人脸模型中，确定出预设人脸位置处的空间点，作为待处理空间点，其中，所述待处理空间点与人脸特征点存在对应关系；利用弱透视投影矩阵，将每一待处理空间点投影至所述人脸图像，确定每一待处理空间点在所述人脸图像中的投影点的投影位置信息；基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的人脸特征点的二维位置信息，构建所述目标人员对应的目标三维人脸模型。

在本发明的另一实施例中，所述装置还包括：获得模块(图中未示出)，被配置为在所述基于所述当前张合度以及所述当前开合长度，确定出所述目标人员的当前状态之前，获得所述人脸图像的图像亮度；判断模块(图中未示出)，被配置为判断所述图像亮度是否超过预设亮度阈值；若所述图像亮度未超过所述预设亮度阈值，触发所述第四确定模块360；若所述图像亮度超过所述预设亮度阈值，触发第五确定模块；所述第五确定模块(图中未示出)，被配置为基于所述当前张合度，确定出所述目标人员的当前状态。

在本发明的另一实施例中，所述第四确定模块360，包括：获得单元(图中未示出)，被配置为获得预设时长内确定的所述目标人员的嘴部的历史张合度以及人眼的历史开合长度；判断单元(图中未示出)，被配置为基于所述当前开合长度和所述历史开合长度，判断所述目标人员的人眼的开合长度不大于预设长度阈值的次数，是否超过预设次数；且基于所述当前张合度以及所述历史张合度，判断是否存在所述目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况；第一确定单元(图中未示出)，被配置为若判断所述目标人员的人眼的开合长度不大于预设长度阈值的次数，超过所述预设次数，且判断存在所述目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况，则确定所述目标人员的当前状态为疲劳状态。

在本发明的另一实施例中，所述第四确定模块360，还可以包括：统计单元(图中未示出)，被配置为若判断所述目标人员的人眼的开合长度不大于预设长度阈值的次数，未超过所述预设次数，且判断存在所述目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况，统计所述目标人员的嘴部的张合度大于预设张合阈值的持续时间，超过预设时间阈值的情况的次数，作为打哈欠次数；第二确定单元(图中未示出)，被配置为若所述打哈欠次数超过预设哈欠阈值，则确定所述目标人员的当前状态为疲劳状态。

上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种基于多面部信息的人员状态检测方法，其特征在于，包括：

从包含目标人员的面部的人脸图像中，检测出所述面部中的人脸特征点，其中，所述人脸特征点包括：嘴部的上下唇的嘴唇特征点以及人眼的上下眼睑的眼睑特征点；

基于所述人脸特征点以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述嘴唇特征点构建的所述嘴部的上下唇，以及基于所述眼睑特征点构建的所述人眼的上下眼睑；

基于所述目标三维人脸模型中所述上下眼睑第一位置处的第一眼睑空间点、所述上下唇第二位置处的第一嘴唇空间点以及预设的投影矩阵，确定出所述第一眼睑空间点以及所述第一嘴唇空间点在所述人脸图像中的投影点；

基于所述第一眼睑空间点的三维位置信息和对应的投影点的投影位置信息以及所述人脸图像中所述第一位置对应的位置处的眼睑特征点的二维位置信息，确定所述上下眼睑之间的当前开合长度；

基于所述第一嘴唇空间点的三维位置信息和对应的投影点的投影位置信息以及所述人脸图像中所述第二位置对应的位置处的嘴唇特征点的二维位置信息，确定所述嘴部的上下唇之间的当前张合度；

基于所述当前张合度以及所述当前开合长度，确定出所述目标人员的当前状态。

2.如权利要求1所述的方法，其特征在于，所述第一位置处的第一眼睑空间点包括：所述目标三维人脸模型中上眼睑的中心位置处的第一中心眼睑空间点，和所述下眼睑的中心位置处的第二中心眼睑空间点；所述第一位置对应的位置处的眼睑特征点包括：所述人脸图像中上眼睑的中心位置处的第一中心眼睑特征点和下眼睑的中心位置处的第二中心眼睑特征点；

所述基于所述第一眼睑空间点的三维位置信息和对应的投影点的投影位置信息以及所述人脸图像中所述第一位置对应的位置处的眼睑特征点的二维位置信息，确定所述上下眼睑之间的当前开合长度的步骤，包括：

基于所述第一中心眼睑空间点的三维位置信息以及所述第二中心眼睑空间点的三维位置信息，确定所述第一中心眼睑空间点与所述第二中心眼睑空间点之间的距离，作为第一距离；

基于所述第一中心眼睑特征点的二维位置信息以及所述第二中心眼睑特征点的二维位置信息，确定所述第一中心眼睑特征点和所述第二中心眼睑特征点之间的距离，作为第二距离；

基于第一投影点的投影位置信息以及第二投影点的投影位置信息，确定所述第一投影点与所述第二投影点之间的距离，作为第三距离，其中，所述第一投影点为所述第一中心眼睑空间点在所述人脸图像中的投影点，所述第二投影点为所述第二中心眼睑空间点在所述人脸图像中的投影点；

计算所述第二距离与所述第三距离的比值，作为第一比值；

将所述第一距离与第一比值的乘积，确定为所述上下眼睑之间的当前开合长度。

3.如权利要求1所述的方法，其特征在于，所述第二位置处的第一嘴唇空间点包括：所述目标三维人脸模型中上唇的指定边缘的中心位置处的第一中心嘴唇空间点和下唇的指定边缘的中心位置处的第二中心嘴唇空间点，所述第二位置对应的位置处的嘴唇特征点包括：所述人脸图像中上唇的指定边缘的中心位置处的第一中心嘴唇特征点以及下唇的指定边缘的中心位置处的第二中心嘴唇特征点，所述指定边缘为内边缘或外边缘；

所述基于所述第一嘴唇空间点的三维位置信息和对应的投影点的投影位置信息以及所述人脸图像中所述第二位置对应的位置处的嘴唇特征点的二维位置信息，确定所述嘴部的上下唇之间的当前张合度的步骤，包括：

基于所述第一中心嘴唇空间点的三维位置信息以及所述第二中心嘴唇空间点的三维位置信息，确定所述第一中心嘴唇空间点与所述第二中心嘴唇空间点之间的距离，作为第四距离；

基于所述第一中心嘴唇特征点的二维位置信息以及所述第二中心嘴唇特征点的二维位置信息，确定所述第一中心嘴唇特征点和所述第二中心嘴唇特征点之间的距离，作为第五距离；

基于第三投影点的投影位置信息以及第四投影点的投影位置信息，确定所述第三投影点与所述第四投影点之间的距离，作为第六距离，其中，所述第三投影点为所述第一中心嘴唇空间点在所述人脸图像中的投影点，所述第四投影点为所述第二中心嘴唇空间点在所述人脸图像中的投影点；

计算所述第五距离与所述第六距离的比值，作为第二比值；

将所述第四距离与第二比值的乘积，确定为所述上下唇之间的当前张合度。

4.如权利要求1所述的方法，其特征在于，所述从包含目标人员的面部的人脸图像中，检测出所述面部中的人脸特征点的步骤，包括：

基于预设的面部特征点检测模型，从包含目标人员的面部的人脸图像中，检测出面部特征点的二维位置信息，其中，所述预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的模型；

基于所述面部特征点的二维位置信息，从所述人脸图像中确定并截取出所述目标人员的人眼所在区域，作为人眼图像，并从所述人脸图像中确定截取出所述目标人员的嘴部所在区域，作为嘴部图像；

利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点，其中，所述预设的眼睑特征点检测模型为：基于标注有人眼的上下眼睑的眼睑特征点的第二样本图像训练所得的模型；

利用预设的嘴唇特征点检测模型，从所述嘴部图像中检测出所述嘴部的上下唇的嘴唇特征点，其中，所述预设的嘴唇特征点检测模型为：基于标注有嘴部的上下唇的嘴唇特征点的第三样本图像训练所得的模型。

5.如权利要求4所述的方法，其特征在于，所述人眼图像包括左眼图像和右眼图像；

在所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点的步骤之前，所述方法还包括：

对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像；

对所述镜像图像以及未进行镜像的图像进行拼接，得到拼接图像其中，若对所述左眼图像进行镜像处理，所述未进行镜像的图像为所述右眼图像；若对所述右眼图像进行镜像处理，所述未进行镜像的图像为所述左眼图像；

所述利用预设的眼睑特征点检测模型，从所述人眼图像中检测出所述人眼的上下眼睑的眼睑特征点的步骤，包括：

利用预设的眼睑特征点检测模型，从所述拼接图像中，检测出所述镜像图像中人眼的上下眼睑的眼睑特征点，以及所述未进行镜像的图像中人眼的上下眼睑的眼睑特征点；

对所述镜像图像中人眼的上下眼睑的眼睑特征点进行镜像处理，得到镜像后的眼睑特征点，以得到所述人眼图像中的人眼的上下眼睑的眼睑特征点。

6.如权利要求5所述的方法，其特征在于，在所述对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像的步骤之前，所述方法还包括：

对待处理图像进行转正处理，得到转正后的待处理图像，其中，所述转正处理为：使得待处理图像中的两个眼角特征点的连线与预设图像坐标系的坐标轴平行，所述待处理图像为所述左眼图像和所述右眼图像；

所述对所述左眼图像或所述右眼图像进行镜像处理，得到镜像图像的步骤，包括：

对转正后的待处理图像进行镜像处理，得到镜像图像。

7.如权利要求1所述的方法，其特征在于，在所述基于所述当前张合度以及所述当前开合长度，确定出所述目标人员的当前状态的步骤之前，所述方法还包括：

获得所述人脸图像的图像亮度；

判断所述图像亮度是否超过预设亮度阈值；

若所述图像亮度未超过所述预设亮度阈值，则执行所述基于所述当前张合度以及所述当前开合长度，确定出所述目标人员的当前状态的步骤；

若所述图像亮度超过所述预设亮度阈值，基于所述当前张合度，确定出所述目标人员的当前状态。

8.如权利要求1-7任一项所述的方法，其特征在于，所述基于所述当前张合度以及所述当前开合长度，确定出所述目标人员的当前状态的步骤，包括：

获得预设时长内确定的所述目标人员的嘴部的历史张合度以及人眼的历史开合长度；

基于所述当前开合长度和所述历史开合长度，判断所述目标人员的人眼的开合长度不大于预设长度阈值的次数，是否超过预设次数；且基于所述当前张合度以及所述历史张合度，判断是否存在所述目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况；

若判断所述目标人员的人眼的开合长度不大于预设长度阈值的次数，超过所述预设次数，且判断存在所述目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况，则确定所述目标人员的当前状态为疲劳状态。

9.如权利要求8所述的方法，其特征在于，所述方法还包括：

若判断所述目标人员的人眼的开合长度不大于预设长度阈值的次数，未超过所述预设次数，且判断存在所述目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况，统计所述目标人员的嘴部的张合度大于预设张合阈值的持续时间，超过预设时间阈值的情况的次数，作为打哈欠次数；

若所述打哈欠次数超过预设哈欠阈值，则确定所述目标人员的当前状态为疲劳状态。

10.一种基于多面部信息的人员状态检测装置，其特征在于，包括：

检测模块，被配置为从包含目标人员的面部的人脸图像中，检测出所述面部中的人脸特征点，其中，所述人脸特征点包括：嘴部的上下唇的嘴唇特征点以及人眼的上下眼睑的眼睑特征点；

构建模块，被配置为基于所述人脸特征点以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述嘴唇特征点构建的所述嘴部的上下唇，以及基于所述眼睑特征点构建的所述人眼的上下眼睑；

第一确定模块，被配置为基于所述目标三维人脸模型中所述上下眼睑第一位置处的第一眼睑空间点、所述上下唇第二位置处的第一嘴唇空间点以及预设的投影矩阵，确定出所述第一眼睑空间点以及所述第一嘴唇空间点在所述人脸图像中的投影点；

第二确定模块，被配置为基于所述第一眼睑空间点的三维位置信息和对应的投影点的投影位置信息以及所述人脸图像中所述第一位置对应的位置处的眼睑特征点的二维位置信息，确定所述上下眼睑之间的当前开合长度；

第三确定模块，被配置为基于所述第一嘴唇空间点的三维位置信息和对应的投影点的投影位置信息以及所述人脸图像中所述第二位置对应的位置处的嘴唇特征点的二维位置信息，确定所述嘴部的上下唇之间的当前张合度；

第四确定模块，被配置为基于所述当前张合度以及所述当前开合长度，确定出所述目标人员的当前状态。

Images