CN112036217B - 一种基于嘴部信息的人员状态检测方法及装置 - Google Patents

Abstract

本发明实施例公开一种基于嘴部信息的人员状态检测方法及装置，该方法包括：获得包含面部的人脸图像；从人脸图像中检测出包括上下唇的嘴唇特征点的人脸特征点的二维位置信息；基于人脸特征点的二维位置信息以及预设的三维人脸模型，构建目标三维人脸模型；基于目标三维人脸模型中指定位置处的嘴唇空间点的三维位置信息以及预设的投影矩阵，确定出该嘴唇空间点在人脸图像中的投影点的投影位置信息；基于指定位置对应的位置处的嘴唇特征点的二维位置信息、嘴唇空间点的三维位置信息及投影位置信息，确定上下唇的当前张合度；基于当前张合度以及历史张合度，确定出目标人员的当前状态，提高对人员状态的检测结果的准确性。

Description

一种基于嘴部信息的人员状态检测方法及装置

技术领域

本发明涉及视频监控技术领域，具体而言，涉及一种基于嘴部信息的人员状态检测方法及装置。

背景技术

相关的人员的当前状态检测方法，一般可以通过对人眼的状态的检测，来确定人员的当前状态。然而，当人员的人眼不可见，如人眼被遮挡时，则无法通过对人眼的状态的检测，来确定人员的当前状态。

在实际中，对人员的嘴部的状态，在一定程度上也可以表征出人员的当前状态，例如，当人员的嘴部的张开程度大于预设距离，且持续时长不低于预设时长时，则可以确定人员正在打哈欠；且，人员打哈欠时，其一般是处于疲劳状态。

那么，如何提供一种基于嘴部信息的人员状态检测方法成为亟待解决的问题。

发明内容

本发明提供了一种基于嘴部信息的人员状态检测方法及装置，以实现确定出嘴部的三维和二维特征信息，利用嘴部的三维和二维特征信息，实现对嘴部的状态的检测结果的准确性，进而提高对人员状态的检测结果的准确性。具体的技术方案如下：

第一方面，本发明实施例提供了一种基于嘴部信息的人员状态检测方法，包括：

获得图像采集设备在当前时刻采集的包含目标人员的面部的人脸图像；

对所述人脸图像进行检测，从所述人脸图像中检测出人脸特征点的二维位置信息，其中，所述人脸特征点包括嘴部的上下唇的嘴唇特征点；

基于所述人脸图像的人脸特征点的二维位置信息以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述嘴唇特征点构建的所述嘴部的上下唇；

基于所述目标三维人脸模型中所述嘴部的上下唇指定位置处的嘴唇空间点的三维位置信息以及预设的投影矩阵，确定出所述指定位置处的嘴唇空间点在所述人脸图像中的投影点的投影位置信息；

基于所述人脸图像中所述指定位置对应的位置处的嘴唇特征点的二维位置信息、所述指定位置处的嘴唇空间点的三维位置信息以及所述投影位置信息，确定所述嘴部的上下唇之间的当前张合度；

基于所述当前张合度以及预设时长内所述目标人员的嘴部的历史张合度，确定出所述目标人员的当前状态。

可选的，所述指定位置的嘴唇空间点包括所述目标三维人脸模型中上唇的指定边缘的中心位置处的第一中心点以及下唇的指定边缘的中心位置处的第二中心点，所述指定位置对应的位置处的嘴唇特征点包括：所述人脸图像中上唇的指定边缘的中心位置处的第三中心点以及下唇的指定边缘的中心位置处的第四中心点，所述指定边缘为内边缘或外边缘；

所述基于所述人脸图像中所述指定位置对应的位置处的嘴唇特征点的二维位置信息、所述指定位置处的嘴唇空间点的三维位置信息以及所述投影位置信息，确定所述嘴部的上下唇之间的当前张合度的步骤，包括：

基于所述第一中心点的三维位置信息以及所述第二中心点的三维位置信息，确定所述第一中心点与所述第二中心点之间的距离，作为第一距离；

基于所述第三中心点的二维位置信息以及所述第四中心点的二维位置信息，确定所述第三中心点和所述第四中心点之间的距离，作为第二距离；

基于第一投影点的投影位置信息以及第二投影点的投影位置信息，确定所述第一投影点与所述第二投影点之间的距离，作为第三距离，其中，所述第一投影点为所述第一中心点在所述人脸图像中的投影点，所述第二投影点为所述第二中心点在所述人脸图像中的投影点；

计算所述第二距离与所述第三距离的比值，作为第一比值；

将所述第一距离与第一比值的乘积，确定为所述嘴部的上下唇之间的当前张合度。

可选的，所述对所述人脸图像进行检测，从所述人脸图像中检测出人脸特征点的二维位置信息的步骤，包括：

基于预设的面部特征点检测模型，对所述人脸图像进行检测，从所述人脸图像中检测出面部特征点的二维位置信息，其中，所述预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的模型；

基于所述面部特征点的二维位置信息，从所述人脸图像中确定并截取出所述目标人员的嘴部所在区域，作为嘴部图像；

利用预设的嘴唇特征点检测模型，从所述嘴部图像中检测出所述嘴部的上下唇的嘴唇特征点，其中，所述预设的嘴唇特征点检测模型为：基于标注有嘴部的上下唇的嘴唇特征点的第二样本图像训练所得的模型。

可选的，所述基于所述人脸图像的人脸特征点的二维位置信息以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型的步骤，包括：

从所述预设的三维人脸模型中，确定出预设人脸位置处的空间点，作为待处理空间点，其中，所述待处理空间点与人脸特征点存在对应关系；

利用弱透视投影矩阵，将每一待处理空间点投影至所述人脸图像，确定每一待处理空间点在所述人脸图像中的投影点的投影位置信息；

基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的人脸特征点的二维位置信息，构建所述目标人员对应的目标三维人脸模型。

可选的，所述基于所述当前张合度以及预设时长内所述目标人员的嘴部的历史张合度，确定出所述目标人员的当前状态的步骤，包括：

基于所述当前张合度以及预设时长内所述目标人员的嘴部的历史张合度，判断是否存在所述目标人员的嘴部的张合度不小于预设张合阈值，且不小于预设张合阈值的持续时间超过预设时间阈值的情况；

若判断结果为存在，则确定所述目标人员的当前状态为打哈欠状态；

若判断结果为不存在，则确定所述目标人员的当前状态为非打哈欠状态。

可选的，在所述确定所述目标人员的当前状态为打哈欠状态的步骤之后，所述方法还包括：

统计所述目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况的次数，作为打哈欠次数；

若所述打哈欠次数超过预设次数，则确定所述目标人员处于疲劳状态。

可选的，在所述确定所述目标人员处于疲劳状态的步骤之后，所述方法还包括：

生成并发送告警信息。

第二方面，本发明实施例提供了一种基于嘴部信息的人员状态检测装置，包括：

获得模块，被配置为获得图像采集设备在当前时刻采集的包含目标人员的面部的人脸图像；

检测模块，被配置为对所述人脸图像进行检测，从所述人脸图像中检测出人脸特征点的二维位置信息，其中，所述人脸特征点包括嘴部的上下唇的嘴唇特征点；

构建模块，被配置为基于所述人脸图像的人脸特征点的二维位置信息以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述嘴唇特征点构建的所述嘴部的上下唇；

第一确定模块，被配置为基于所述目标三维人脸模型中所述嘴部的上下唇指定位置处的嘴唇空间点的三维位置信息以及预设的投影矩阵，确定出所述指定位置处的嘴唇空间点在所述人脸图像中的投影点的投影位置信息；

第二确定模块，被配置为基于所述人脸图像中所述指定位置对应的位置处的嘴唇特征点的二维位置信息、所述指定位置处的嘴唇空间点的三维位置信息以及所述投影位置信息，确定所述嘴部的上下唇之间的当前张合度；

第三确定模块，被配置为基于所述当前张合度以及预设时长内所述目标人员的嘴部的历史张合度，确定出所述目标人员的当前状态。

可选的，所述指定位置的嘴唇空间点包括所述目标三维人脸模型中上唇的指定边缘的中心位置处的第一中心点以及下唇的指定边缘的中心位置处的第二中心点，所述指定位置对应的位置处的嘴唇特征点包括：所述人脸图像中上唇的指定边缘的中心位置处的第三中心点以及下唇的指定边缘的中心位置处的第四中心点，所述指定边缘为内边缘或外边缘；

所述第二确定模块，被具体配置为：

基于所述第一中心点的三维位置信息以及所述第二中心点的三维位置信息，确定所述第一中心点与所述第二中心点之间的距离，作为第一距离；

基于所述第三中心点的二维位置信息以及所述第四中心点的二维位置信息，确定所述第三中心点和所述第四中心点之间的距离，作为第二距离；

基于第一投影点的投影位置信息以及第二投影点的投影位置信息，确定所述第一投影点与所述第二投影点之间的距离，作为第三距离，其中，所述第一投影点为所述第一中心点在所述人脸图像中的投影点，所述第二投影点为所述第二中心点在所述人脸图像中的投影点；

计算所述第二距离与所述第三距离的比值，作为第一比值；

将所述第一距离与第一比值的乘积，确定为所述嘴部的上下唇之间的当前张合度。

可选的，所述检测模块，被具体配置为：

基于预设的面部特征点检测模型，对所述人脸图像进行检测，从所述人脸图像中检测出面部特征点的二维位置信息，其中，所述预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的模型；

基于所述面部特征点的二维位置信息，从所述人脸图像中确定并截取出所述目标人员的嘴部所在区域，作为嘴部图像；

利用预设的嘴唇特征点检测模型，从所述嘴部图像中检测出所述嘴部的上下唇的嘴唇特征点，其中，所述预设的嘴唇特征点检测模型为：基于标注有嘴部的上下唇的嘴唇特征点的第二样本图像训练所得的模型。

可选的，所述构建模块，被具体配置为

从所述预设的三维人脸模型中，确定出预设人脸位置处的空间点，作为待处理空间点，其中，所述待处理空间点与人脸特征点存在对应关系；

利用弱透视投影矩阵，将每一待处理空间点投影至所述人脸图像，确定每一待处理空间点在所述人脸图像中的投影点的投影位置信息；

基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的人脸特征点的二维位置信息，构建所述目标人员对应的目标三维人脸模型。

可选的，所述第三确定模块，包括：

第一判断单元，被配置为基于所述当前张合度以及预设时长内所述目标人员的嘴部的历史张合度，判断是否存在所述目标人员的嘴部的张合度不小于预设张合阈值，且不小于预设张合阈值的持续时间超过预设时间阈值的情况；

第一确定单元，被配置为若判断结果为存在，则确定所述目标人员的当前状态为打哈欠状态；

第二确定单元，被配置为若判断结果为不存在，则确定所述目标人员的当前状态为非打哈欠状态。

可选的，所述第三确定模块还包括：

统计单元，被配置为在所述确定所述目标人员的当前状态为打哈欠状态之后，统计所述目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况的次数，作为打哈欠次数；

第三确定单元，被配置为若所述打哈欠次数超过预设次数，则确定所述目标人员处于疲劳状态。

可选的，所述第三确定模块还包括：

生成发送单元，被配置为在所述确定所述目标人员处于疲劳状态之后，生成并发送告警信息。

由上述内容可知，本发明实施例提供的一种基于嘴部信息的人员状态检测方法及装置，可以获得图像采集设备在当前时刻采集的包含目标人员的面部的人脸图像；对人脸图像进行检测，从人脸图像中检测出人脸特征点的二维位置信息，其中，人脸特征点包括嘴部的上下唇的嘴唇特征点；基于人脸图像的人脸特征点的二维位置信息以及预设的三维人脸模型，构建目标人员对应的目标三维人脸模型，其中，目标三维人脸模型包括：基于嘴唇特征点构建的嘴部的上下唇；基于目标三维人脸模型中嘴部的上下唇指定位置处的嘴唇空间点的三维位置信息以及预设的投影矩阵，确定出指定位置处的嘴唇空间点在人脸图像中的投影点的投影位置信息；基于人脸图像中指定位置对应的位置处的嘴唇特征点的二维位置信息、指定位置处的嘴唇空间点的三维位置信息以及投影位置信息，确定嘴部的上下唇之间的当前张合度；基于当前张合度以及预设时长内目标人员的嘴部的历史张合度，确定出目标人员的当前状态。

应用本发明实施例，可以从人脸图像中检测出包含嘴部的上下唇的嘴唇特征点的人脸特征点的二维位置信息，并基于包含目标人员面部的人脸图像中的人脸特征点和预设的三维人脸模型，构建出目标人员对应的包括目标人员的嘴部的上下唇的目标三维人脸模型，即构建出了目标人员的嘴部的空间信息；进而确定出目标三维人脸模型中上下唇指定位置处的嘴唇空间点在人脸图像中的投影点的投影位置信息，基于嘴部的空间信息，即目标人员的上下唇指定位置处的嘴唇空间点的三维位置信息、以及人脸图像中指定位置对应的位置处的嘴唇特征点的二维位置信息以及相应的投影位置信息，确定上下唇的张合度，可以实现结合嘴部的上下唇的三维信息以及二维信息，共同确定出准确性更高的嘴部的上下唇之间的空间距离，即嘴部的张合度，进而，基于准确性更高的嘴部的上下唇之间的当前的张合度和历史张合度，可以更加准确地确定出目标人员的当前状态。其中，结合嘴部的上下唇的三维信息以及二维信息，可以分化嘴部的上下唇的三维信息以及二维信息中的任一信息的误差，在一定程度上可以更好的提高当前张合度的准确性，进而提高对人员的当前状态的检测结果的准确性。并且，本发明实施例中，该图像采集设备可以仅包含图像采集功能即可，无需设置具体其他功能的图像采集设备，例如可测量空间点距离的功能。在一定程度上节省了实现本发明实施例所提供的基于嘴部信息的人员状态检测流程的硬件成本。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

本发明实施例的创新点包括：

1、可以从人脸图像中检测出包含嘴部的上下唇的嘴唇特征点的人脸特征点的二维位置信息，并基于包含目标人员面部的人脸图像中的人脸特征点和预设的三维人脸模型，构建出目标人员对应的包括目标人员的嘴部的上下唇的目标三维人脸模型，即构建出了目标人员的嘴部的空间信息；进而确定出目标三维人脸模型中上下唇指定位置处的嘴唇空间点在人脸图像中的投影点的投影位置信息，基于嘴部的空间信息，即目标人员的上下唇指定位置处的嘴唇空间点的三维位置信息、以及人脸图像中指定位置对应的位置处的嘴唇特征点的二维位置信息以及相应的投影位置信息，确定上下唇的张合度，可以实现结合嘴部的上下唇的三维信息以及二维信息，共同确定出准确性更高的嘴部的上下唇之间的空间距离，即嘴部的张合度，进而，基于准确性更高的嘴部的上下唇之间的当前的张合度和历史张合度，可以更加准确地确定出目标人员的当前状态。其中，结合嘴部的上下唇的三维信息以及二维信息，可以分化嘴部的上下唇的三维信息以及二维信息中的任一信息的误差，在一定程度上可以更好的提高当前张合度的准确性，进而提高对人员的当前状态的检测结果的准确性。并且，本发明实施例中，该图像采集设备可以仅包含图像采集功能即可，无需设置具体其他功能的图像采集设备，例如可测量空间点距离的功能。在一定程度上节省了实现本发明实施例所提供的基于嘴部信息的人员状态检测流程的硬件成本。

2、基于目标三维人脸模型中第一中心点的三维位置信息，与第二中心点的三维位置信息，确定第一距离，并基于人脸图像中第二中心点的二维位置信息以及第三中心点的二维位置信息，确定出第二距离；并确定出第一中心点在人脸图像中的第一投影点的二维位置信息，和第二中心点在人脸图像中的第二投影点的二维位置信息，进而，计算出第一投影点和第二投影点之间的第三距离，以及第二距离与第三距离的第一比值，进而将第一比值和第一距离的乘积作为嘴部的上下唇之间的当前张合度，结合二维的人脸图像中上下唇的中心点之间的距离和目标三维人脸模型中上下唇的中心点之间的距离，共同确定当前张合度，在一定程度上可以降低构建目标三维人脸模型中上下唇时出现的误差，对上下唇之间的当前张合度的影响，更好的提高当前张合度的准确性，进而提高对人员的当前状态的检测结果的准确性。

3、基于预设的面部特征点检测模型，从人脸图像中检测出面部特征点的二维位置信息，并基于面部特征点的二维位置信息，从人脸图像中截取出面部中嘴部所在区域，即嘴部图像，进而利用预设的嘴唇特征点检测模型，从嘴部图像中检测出嘴部的上下唇的嘴唇特征点，可以提高所检测出的嘴唇特征点的准确性，进而可以提高基于该嘴唇特征点所构建的目标三维人脸模型中嘴部的上下唇的准确性，以可以确定处准确性更好的上下唇之间的张合度，进而更好地提高对目标人员的状态的检测结果的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于嘴部信息的人员状态检测方法的一种流程示意图；

图2为本发明实施例提供的确定嘴部的上下唇之间的当前张合度的一种流程示意图；

图3为本发明实施例提供的基于嘴部信息的人员状态检测装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明提供了一种基于嘴部信息的人员状态检测方法及装置，以实现确定出嘴部的三维和二维特征信息，利用嘴部的三维和二维特征信息，实现对嘴部的状态的检测结果的准确性，进而提高对人员状态的检测结果的准确性。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的基于嘴部信息的人员状态检测方法的一种流程示意图。该方法可以包括以下步骤：

S101：获得图像采集设备在当前时刻采集的包含目标人员的面部的人脸图像。

本发明实施例中，该基于嘴部信息的人员状态检测方法，可以应用于任意类型的具有计算能力的电子设备。一种情况中，该电子设备可以为图像采集设备，该图像采集设备可以在获得自身采集的包含目标人员面部的人脸图像之后，执行本发明实施例所提供的后续的基于嘴部信息的人员状态检测流程。另一种情况，该电子设备可以为非图像采集设备，相应的，该电子设备可以与1个或多个图像采集设备进行通信连接。若电子设备与多个图像采集设备进行通信连接，电子设备可以获得每一通信连接的图像采集设备所采集的人脸图像，进而针对每一图像采集设备采集的人脸图像，执行本发明实施例所提供的基于嘴部信息的人员状态检测流程，其中，不同的图像采集设备可以针对不同的人员进行拍摄，可以得到包含不同人员的面部的人脸图像。

一种实现中，图像采集设备可以设置于车辆内，相应的，该目标人员为该车辆的驾驶员，该电子设备可以为车载设备，也可以不为车载设备。图像采集设备可以实时针对车辆内的驾驶员的面部进行拍摄，采集得到包含该驾驶员的面部的图像，进而发送至电子设备，电子设备获得包含该驾驶员面部的图像，其中，该获得的图像中可以仅包含驾驶员的面部，此时，电子设备可以直接将该获得的图像作为人脸图像；另外，该获得的图像中在包含驾驶员的面部的同时还可以包括车辆的车座或驾驶员的身体等信息，此时，电子设备获得图像采集设备采集的图像之后，为了在一定程度上提高人员状态的检测结果的准确性，可以基于预设的人脸检测算法，从所获得的图像中，检测出人脸所在区域的图像，将该人脸所在区域的图像，从该所获得的图像截取出，得到包含该驾驶员面部的人脸图像。其中，该预设的人脸检测算法可以为：特征脸方法(Eigenface)以及基于神经网络模型的人脸检测算法，基于神经网络模型的人脸检测算法可以为：Faster R-CNN(Faster Region-ConvolutionalNeural Networks，快速的区域-卷积神经网络)检测算法，这都是可以的。本发明实施例并不对预设的人脸检测算法的具体类型进行限定。该车辆可以为私家车、卡车以及公交车等，本发明实施例并不对车辆的车辆类型进行限定。

另一种实现中，图像采集设备也可以实时针对道路中过往的车辆进行监控，相应的，该目标人员可以为目标驾驶员，电子设备可以获得多个图像采集设备针对该目标驾驶员进行拍摄所采集到的包含目标驾驶员的面部的图像。一种情况中，电子设备获得图像采集设备采集的包含目标驾驶员的面部的图像之后，直接将该图像作为人脸图像，进而，执行后续的基于嘴部信息的人员状态检测流程。另一种情况中，电子设备获得图像采集设备采集的包含目标驾驶员的面部的图像之后，基于预设的人脸检测算法，从该图像中检测出目标驾驶员的面部所在区域图像，并将该目标驾驶员的面部所在区域图像从该图像中截取出，，得到仅包含目标驾驶员的面部的人脸图像。

另一种实现中，图像采集设备可以实时针对室内的居家人员进行监控，相应的，该目标人员可以为目标居家人员，电子设备可以获得图像采集设备针对目标居家人员进行拍摄所采集到的包含目标居家人员的面部的人脸图像。

S102：对人脸图像进行检测，从人脸图像中检测出人脸特征点的二维位置信息。

其中，人脸特征点包括嘴部的上下唇的嘴唇特征点，该上下唇的嘴唇特征点可以包括上下唇的外边缘和内边缘的嘴唇特征点。此外，人脸特征点还可以包括表征目标人员的面部的各个部位所在位置的面部特征点。该面部的各个部位可以包括鼻子、嘴唇、眉毛、人眼、下颌、脸颊以及耳朵等部位。该面部的各个部位的面部特征点可以分别包括：面部中表征出鼻子所在位置的各特征点，如鼻翼、鼻梁以及鼻尖等特征点；还可以包括表征出嘴唇所在位置的各特征点，如嘴唇的嘴角以及嘴唇周围的各特征点；还可以包括表征出眉毛所在位置的各特征点，如眉毛边缘的各特征点；还可以包括表征出人眼所在位置的各特征点，如眼角特征点、眼窝特征点以及瞳孔特征点等等；还可以包括表征出下颌所在位置的各特征点，如下颌轮廓上的各特征点，即下巴轮廓上的各特征点等；还可以包括表征出耳朵所在位置的各特征点，如耳朵的各轮廓上的各特征点等。

本步骤中，可以利用任一人脸特征点检测算法，从人脸图像中检测出目标人员面部的人脸特征点，并从人脸图像中确定出人脸特征点的二维位置信息。其中，上述人脸特征点检测算法可以为基于模型的ASM(Active Shape Model)和AAM(Active AppearnceModel)算法，基于级联形状回归CPR(Cascaded pose regression)算法以及基于深度学习的算法，等等。本发明实施例可以应用相关技术中任一可以从人脸图像的面部检测出人脸特征点的算法，实现对目标人员面部的人脸特征点的检测。

S103：基于人脸图像的人脸特征点的二维位置信息以及预设的三维人脸模型，构建目标人员对应的目标三维人脸模型。

其中，目标三维人脸模型包括：基于嘴唇特征点构建的所述嘴部的上下唇。

本步骤中，电子设备本地或所连接的存储设备中，预存有预设的三维人脸模型，电子设备确定出人脸图像中面部的人脸特征点之后，可以基于预设的三维人脸模型以及人脸特征点的二维位置信息，构建目标人员对应的目标三维人脸模型。其中，可以通过3DMM(3DMorphable Models，三维形变模型)技术，基于预设的三维人脸模型以及人脸特征点的二维位置信息，构建目标人员对应的目标三维人脸模型。

在一种实现方式中，所述S103，可以包括：

从预设的三维人脸模型中，确定出预设人脸位置处的空间点，作为待处理空间点，其中，待处理空间点与人脸特征点存在对应关系；

利用弱透视投影矩阵，将每一待处理空间点投影至人脸图像，确定每一待处理空间点在人脸图像中的投影点的投影位置信息；

基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的人脸特征点的二维位置信息，构建目标人员对应的目标三维人脸模型。

一种实现方式中，电子设备可以接收用户选取指令，其中，该用户选取指令携带所需选取的空间点的预设人脸位置，电子设备可以基于该用户选取指令所携带的预设人脸位置，从预设的三维人脸模型中，确定出该预设人脸位置处的空间点，作为待处理空间点。

另一种实现方式中，电子设备可以预存有该预设人脸位置，进而电子设备可以从相应的存储位置处读取得到该预设人脸位置，进而，从预设的三维人脸模型中，确定出该预设人脸位置处的空间点，作为待处理空间点。

其中，待处理空间点与人脸特征点存在对应关系，该待处理空间点与人脸特征点的对应关系为：一一对应的关系。一种情况，该预设人脸位置可以基于后续提到的第一样本图像中所包含人脸的人脸特征点的位置进行设置。

一种情况中，该预设的三维人脸模型可以通过如下公式(1)表示：

其中，S表示该预设的三维人脸模型，

表示预设的平均脸，A_id表示人的人脸的形状信息，A_exp表示人的人脸的表情信息，α_id表示人的人脸的形状信息的权重，可以称为形状权重，α_exp表示人的人脸的表情信息的权重，可以称为表情权重。

电子设备可以基于上述公式(1)绘制出所表征的三维人脸模型，该三维人脸模型由点云组成。电子设备可以从该绘制的三维人脸模型中，确定出预设人脸位置处的空间点，作为待处理空间点，进而，可以继续获得待处理空间点的空间位置信息，即三维位置信息。

电子设备确定出待处理空间点之后，可以基于预设的弱透视投影矩阵，将每一待处理空间点投影至该人脸图像中，即利用弱透视投影矩阵以及每一待处理空间点的空间位置信息，确定每一待处理空间点在人脸图像中的投影点的投影位置信息。基于每一待处理空间点的投影点的投影位置信息以及每一待处理空间点对应的人脸特征点的二维位置信息，构建目标人员对应的目标三维人脸模型。

其中，上述基于每一待处理空间点的投影点的投影位置信息以及每一待处理空间点对应的人脸特征点的二维位置信息，构建目标人员对应的目标三维人脸模型的过程，可以是：基于每一待处理空间点的投影点的投影位置信息以及每一待处理空间点对应的人脸特征点的二维位置信息，确定每一待处理空间点及其对应的人脸特征点的距离误差，基于最小二乘法原理以及每一待处理空间点及其对应的人脸特征点的距离误差，构建目标函数。求解使得该目标函数的函数值达到最小或满足约束条件时，该目标函数中的相应未知量的解，基于该解得到目标人员对应的目标三维人脸模型。

一种情况中，该预设的弱透视投影矩阵可以通过如下公式(2)表示：

s_i2d＝fPR(α,β,γ)(S_i+t_3d)； (2)

其中，s_i2d表示第i个待处理空间点的投影点的投影位置信息，其中，i可以取[1，n]中的整数，该n表示待处理空间点的数量，f表示比例因子，R(α,β,γ)表示3*3的旋转矩阵，α表示该预设的三维人脸模型在预设空间直角坐标系下的横轴下的旋转角度，β表示该预设的三维人脸模型在预设空间直角坐标系下的纵轴下的旋转角度，γ表示该预设的三维人脸模型在预设空间直角坐标系下的竖轴下的旋转角度，该t_3d表示平移向量；S_i表示第i个待处理空间点的空间位置信息，该旋转矩阵和平移向量用于：将该预设的三维人脸模型从其所在的预设空间直角坐标系下，转换至图像采集设备的设备坐标系下。

目标函数可以通过如下公式(3)表示：

其中，s_i2dt表示第i个待处理空间点对应的人脸特征点的二维位置信息，‖·‖表示求向量的模，该向量表示：第i个待处理空间点对应的人脸特征点的二维位置信息和第i个待处理空间点的投影点的投影位置信息之间的距离误差。

本发明实施例中，可以通过迭代的方法，不断调整f,R(α,β,γ),t_3d,α_id,α_exp的具体取值，以使得P达到最小或使得P满足预设约束条件，该预设约束条件可以为P不大于预设距离误差阈值。获得P达到最小或使得P满足预设约束条件时，f,R(α,β,γ),t_3d,α_id,α_exp的具体取值，作为最终的取值，将,α_id,α_exp的最终的取值，代入公式(1)中，得到目标人员对应的目标三维人脸模型。

S104：基于目标三维人脸模型中嘴部的上下唇指定位置处的嘴唇空间点的三维位置信息以及预设的投影矩阵，确定出指定位置处的嘴唇空间点在人脸图像中的投影点的投影位置信息。

其中，该预设的投影矩阵为：采集得到包含目标人员面部的人脸图像的图像采集设备的投影矩阵，可以将目标三维人脸模型中嘴部的上下唇中的各嘴唇空间点，投影至人脸图像中，得到目标三维人脸模型中嘴部的上下唇中的各嘴唇空间点在人脸图像中的投影点的投影位置信息。一种情况，该预设的投影矩阵可以为上述预设的弱透视投影矩阵。

该指定位置处的嘴唇空间点可以包括：该目标三维人脸模型中嘴部的上下唇的所有的嘴唇空间点；或者可以包括：目标三维人脸模型中上唇的指定边缘的中心位置处的嘴唇空间点，作为第一中心点，以及下唇的指定边缘的中心位置处的嘴唇空间点，作为第二中心点；或者可以包括：目标三维人脸模型中上唇的指定边缘的任一目标等分点位置处的嘴唇空间点以及下唇的指定边缘的该目标等分点位置处的嘴唇空间点，等。

电子设备在确定出目标三维人脸模型之后，可以确定目标三维人脸模型中嘴部的上下唇中的各嘴唇空间点的三维位置信息，进而，确定出嘴部的上下唇指定位置处的嘴唇空间点的三维位置信息；基于目标三维人脸模型中嘴部的上下唇指定位置处的嘴唇空间点的三维位置信息以及预设的投影矩阵，确定出目标三维人脸模型中指定位置处的嘴唇空间点在人脸图像中的投影点的投影位置信息。

在一种实现方式中，可以直接基于目标三维人脸模型中嘴部的上唇的指定边缘的处于中心位置的嘴唇空间点的三维位置信息，和下唇的指定边缘的处于中心位置的嘴唇空间点的三维位置信息以及预设的投影矩阵，确定出所述目标三维人脸模型中嘴唇的上唇的指定边缘的处于中心位置的嘴唇空间点，和下唇的指定边缘的处于中心位置的嘴唇空间点，分别在人脸图像中的投影点的投影位置信息。以用于后续的嘴部的上下唇之间的当前张合度的计算，以在一定程度上降低计算量。

S105：基于人脸图像中指定位置对应的位置处的嘴唇特征点的二维位置信息、指定位置处的嘴唇空间点的三维位置信息以及投影位置信息，确定嘴部的上下唇之间的当前张合度。

本步骤中，通过人脸图像中指定位置对应的位置处的嘴唇特征点的二维位置信息，即人脸图像中嘴部的上下唇指定位置对应的位置处的嘴唇特征点的二维位置信息，确定出人脸图像中嘴部的上下唇之间二维距离，作为第一二维距离。

通过投影位置信息，即目标三维人脸模型中指定位置处的嘴唇空间点在人脸图像中的投影点的投影位置信息，确定出目标三维人脸模型中指定位置处的嘴唇空间点投影至人脸图像中时，指定位置处的嘴唇空间点对应的投影点之间的二维距离，作为第二二维距离。

通过目标三维人脸模型中指定位置处的嘴唇空间点的三维位置信息，可以确定出目标三维人脸模型中嘴部的上下唇之间的三维距离。

基于上述第一二维距离、第二二维距离以及三维距离，确定出嘴部的上下唇之间的当前张合度。以在一定程度上，可以更加提高所确定的嘴部的上下唇之间的张合度的准确性。同时基于目标三维人脸模型中嘴部的嘴唇空间点之间的距离，和二维的人脸图像中嘴部的嘴唇特征点之间的距离，共同确定该嘴部的上下唇之间的张合度，可以分化嘴部的上下唇的三维信息以及二维信息中的任一信息的误差，在一定程度上可以更好的提高当前张合度的准确性，进而提高对人员的当前状态的检测结果的准确性。

在一种实现方式中，该指定位置的嘴唇空间点包括目标三维人脸模型中上唇的指定边缘的中心位置处的第一中心点以及下唇的指定边缘的中心位置处的第二中心点，指定位置对应的位置处的嘴唇特征点包括：人脸图像中上唇的指定边缘的中心位置处的第三中心点以及下唇的指定边缘的中心位置处的第四中心点，指定边缘为内边缘或外边缘；

如图2所示，S105可以包括：

S201：基于第一中心点的三维位置信息以及第二中心点的三维位置信息，确定第一中心点与第二中心点之间的距离，作为第一距离。

S202：基于第三中心点的二维位置信息以及第四中心点的二维位置信息，确定第三中心点和第四中心点之间的距离，作为第二距离。

S203：基于第一投影点的投影位置信息以及第二投影点的投影位置信息，确定第一投影点与第二投影点之间的距离，作为第三距离。

其中，第一投影点为第一中心点在人脸图像中的投影点，第二投影点为第二中心点在人脸图像中的投影点。

S204：计算第二距离与第三距离的比值，作为第一比值。

S205：将第一距离与第一比值的乘积，确定为嘴部的上下唇之间的当前张合度。

处于上下唇的指定边缘的中心位置处的嘴唇特征点，在一定程度上可以更好的表示出嘴部的张合的程度，即上下唇的中心位置处的嘴唇特征点之间的距离可以更好的表示出上下唇之间的距离。该指定边缘可以为上下唇的外边缘或者内边缘。

本实现方式中，基于目标三维人脸模型中嘴部的上唇的指定边缘的中心位置处的第一中心点的三维位置信息与下唇的指定边缘的中心位置处的第二中心点的三维位置信息，确定第一中心点与第二中心点之间的距离，作为第一距离。具体的，第一中心点和第二中心点之间的距离可以表示为：

其中，d1表示第一距离，(x₁，y₁，z₁)表示第一中心点的三维位置信息，(x₂，y₂，z₂)表示第二中心点的三维位置信息。

基于人脸图像中嘴部的上唇的指定边缘的中心位置处的第三中心点的二维位置信息，以及下唇的指定边缘的中心位置处的第二中心点的二维位置信息，确定第三中心点与第四中心点之间的距离，作为第二距离。具体的，第三中心点和第四中心点之间的距离可以表示为：

其中，d2表示第二距离，(u₁，v₁)表示第三中心点的二位置信息，(u₂，v₂)表示第四中心点的二维位置信息。

基于第一投影点在人脸图像中的二维的投影位置信息，以及第二投影点在人脸图像中的二维的投影位置信息，确定第一投影点和第二投影点之间的距离，作为第三距离。计算第二距离和第三距离的比值，作为第一比值；进而将第一比值和第一距离的乘积作为嘴部的上下唇之间的当前张合度。

S106：基于当前张合度以及预设时长内目标人员的嘴部的历史张合度，确定出目标人员的当前状态。

一种情况中，电子设备本地或所连接的存储设备中，可以存储有目标人员的嘴部的历史张合度，在计算得到嘴部的当前张合度之后，电子设备可以从相应的存储位置处获得预设时长内目标人员的嘴部的历史张合度。该历史张合度为：利用图像采集设备在当前时刻之前所采集的包含该目标人员的面部的历史图像确定的嘴部的上下唇的张合度，其中，利用历史图像确定历史张合度的过程，可以参见利用图像采集设备在当前时刻采集的人脸图像确定当前张合度的过程，在此不再赘述。

该上述预设时长的结束时刻为当前时刻，开始时刻为与当前时刻间隔第一时长的时刻。

其中，人员的当前状态可以包括打哈欠状态和非打哈欠状态。当人员在打哈欠时，嘴部的张合度较大，例如超过预设张合阈值，且嘴部的张合度超过预设张合阈值的持续时间较长，例如超过预设时间阈值。在一种情况中，人员在处于打哈欠状态时，其处于疲劳状态的可能性非常大，鉴于此，在确定人员处于打哈欠状态的情况下，则可以直接确定目标人员处于疲劳状态。本发明实施例中，可以基于当前张合度以及预设时长内目标人员的嘴部的历史张合度，确定出目标人员的当前状态，即确定出目标人员是否处于打哈欠状态，进而确定目标人员是否处于疲劳状态。

本发明实施例中，通过嘴部的上下唇的特征信息，即上下唇的嘴唇特征点的二维位置信息以及上下唇的嘴唇特征点对应的嘴唇空间点的三维位置信息，可以确定出更加准确的嘴部的张合度，即嘴部开闭的物理长度，进而，结合时间维度，可以更加灵活、准确地监控得到目标人员的当前状态。

应用本发明实施例，可以从人脸图像中检测出包含嘴部的上下唇的嘴唇特征点的人脸特征点的二维位置信息，并基于包含目标人员面部的人脸图像中的人脸特征点和预设的三维人脸模型，构建出目标人员对应的包括目标人员的嘴部的上下唇的目标三维人脸模型，即构建出了目标人员的嘴部的空间信息；进而确定出目标三维人脸模型中上下唇指定位置处的嘴唇空间点在人脸图像中的投影点的投影位置信息，基于嘴部的空间信息，即目标人员的上下唇指定位置处的嘴唇空间点的三维位置信息、以及人脸图像中指定位置对应的位置处的嘴唇特征点的二维位置信息以及相应的投影位置信息，确定上下唇的张合度，可以实现结合嘴部的上下唇的三维信息以及二维信息，共同确定出准确性更高的嘴部的上下唇之间的空间距离，即嘴部的张合度，进而，基于准确性更高的嘴部的上下唇之间的当前的张合度和历史张合度，可以更加准确地确定出目标人员的当前状态。其中，结合嘴部的上下唇的三维信息以及二维信息，可以分化嘴部的上下唇的三维信息以及二维信息中的任一信息的误差，在一定程度上可以更好的提高当前张合度的准确性，进而提高对人员的当前状态的检测结果的准确性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

并且，本发明实施例中，该图像采集设备可以仅包含图像采集功能即可，无需设置具体其他功能的图像采集设备，例如可测量空间点距离的功能。在一定程度上节省了实现本发明实施例所提供的基于嘴部信息的人员状态检测流程的硬件成本。

在本发明的另一实施例中，为了更准确的检测出人脸图像中嘴部的上下唇的嘴唇特征点，可以首先从人脸图像中，检测出嘴部所在区域，并从人脸图像中将嘴部所在区域截取出，进而，对截取出的嘴部所在区域图像，即嘴部图像进行上下唇的嘴唇特征点的检测。鉴于此，所述S102可以包括：

基于预设的面部特征点检测模型，从人脸图像中检测出面部特征点的二维位置信息，其中，预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的模型。

基于面部特征点的二维位置信息，从人脸图像中确定并截取出目标人员的嘴部所在区域，作为嘴部图像。

利用预设的嘴唇特征点检测模型，从嘴部图像中检测出嘴部的上下唇的嘴唇特征点，其中，预设的嘴唇特征点检测模型为：基于标注有嘴部的上下唇的嘴唇特征点的第二样本图像训练所得的模型。

本实现方式中，该预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的神经网络模型。

在一种情况中，本发明实施例还可以包括训练得到预设的面部特征点检测模型的过程，具体的：电子设备可以先获得初始的面部特征点检测模型，该初始的面部特征点检测模型特征提取层和特征分类层；获得第一样本图像，每一第一样本图像包括人脸；获得每一第一样本图像对应的标定信息，其中，该标定信息包括第一样本图像中所包含人脸的面部特征点的标定位置信息，该标定特征点包括：表征面部的各个部位所在位置的面部特征点。

电子设备将每一第一样本图像输入初始的面部特征点检测模型的特征提取层，得到每一第一样本图像的图像特征；将每一第一样本图像的图像特征，输入初始的面部特征点检测模型的特征分类层，得到每一第一样本图像中面部特征点的当前位置信息；将每一第一样本图像中面部特征点的当前位置信息与其对应的标定位置信息进行匹配；若匹配成功，则确定初始的面部特征点检测模型收敛，得到包含特征提取层和特征分类层的初始的面部特征点检测模型，即得到预设的面部特征点检测模型；若匹配不成功，则调整特征提取层和特征分类层参数，返回执行该将每一第一样本图像输入初始的面部特征点检测模型的特征提取层，得到每一第一样本图像的图像特征的步骤；直至匹配成功，则得到包含特征提取层和特征分类层的初始的面部特征点检测模型，为预设的面部特征点检测模型。

其中，上述将每一第一样本图像中面部特征点的当前位置信息与其对应的标定位置信息进行匹配的过程，可以是：利用预设的损失函数，计算每一面部特征点的当前位置信息与其对应的标定位置信息之间的第一损失值，判断该第一损失值是否小于第一预设损失阈值；若判断该第一损失值小于第一预设损失阈值，则确定匹配成功，此时可以确定该初始的面部特征点检测模型收敛，即确定该初始的面部特征点检测模型训练完成，得到该预设的面部特征点检测模型；若判断该第一损失值不小于第一预设损失阈值，则确定匹配不成功。

其中，每一第一样本图像与面部特征点的当前位置信息存在对应关系，且每一第一样本图像与标定信息中的面部特征点的标定位置信息存在对应关系，则面部特征点的当前位置信息与标定信息中的面部特征点的标定位置信息存在对应关系。

训练得到预设的面部特征点检测模型之后，电子设备则可以基于预设的面部特征点检测模型，对所获得的人脸图像进行检测，检测得到该人脸图像中面部的面部特征点。

进而，基于面部特征点中表征嘴部所在位置的各特征点的二维位置信息，从人脸图像中，确定并截取出目标人员的嘴部所在区域，作为嘴部图像。其中，可以是基于面部特征点中表征嘴部所在位置的各特征点的二维位置信息，确定出最小的包含该目标人员的嘴部的矩形区域，将该矩形区域作为嘴部所在区域，并截取出，得到嘴部图像。可以是分别针对目标人员的两只眼睛分别截取出其所在区域的图像，得到嘴部图像。

后续的，基于上述预设的嘴唇特征点检测模型，从嘴部图像中检测出嘴部的上下唇的嘴唇特征点。其中，上述预设的嘴唇特征点检测模型为：基于标注有嘴部的上下唇的嘴唇特征点的第二样本图像训练所得的神经网络模型，具体的，可以基于标注有嘴部的上下唇的内边缘的嘴唇特征点和外边缘的嘴唇特征点的第二样本图像训练所得的神经网络模型。该预设的嘴唇特征点检测模型的训练过程，可以参见上述预设的面部特征点检测模型的训练过程。

其中，区别于预设的面部特征点检测模型的第一样本图像，该第二样本图像为标注有嘴部的上下唇的嘴唇特征点的图像，且第二样本图像对应的标定信息包含该的嘴部的上下唇的嘴唇特征点的标定位置信息。其中，该第二样本图像标注的嘴部的上下唇的嘴唇特征点，可以是人工标定或通过特定标定程序标定的嘴唇特征点。

在另一种实现方式中，上述预设的面部特征点检测模型和预设的嘴唇特征点检测模型可以为一个功能合并的模型。相应的，训练得到该功能合并的模型所需的第三样本图像为包含人脸的图像，第三样本图像对应的标定信息中包含有嘴部的上下唇的嘴唇特征点的标定位置信息以及面部特征点的标定位置信息。

在本发明的另一实施例中，所述S106，可以包括：

基于当前张合度以及预设时长内目标人员的嘴部的历史张合度，判断是否存在目标人员的嘴部的张合度不小于预设张合阈值，且不小于预设张合阈值的持续时间超过预设时间阈值的情况；

若判断结果为存在，则确定目标人员的当前状态为打哈欠状态；

若判断结果为不存在，则确定目标人员的当前状态为非打哈欠状态。

本实施例中，在确定目标人员的嘴部的上下唇之间的当前张合度之后，可以结合时间维度信息，即预设时长内目标人员的嘴部的历史张合度，确定目标人员的当前状态。

电子设备在获得当前张合度以及历史张合度之后，可以继续获得预设张合阈值，并将每一张合度，即当前张合度以及历史张合度分别与预设张合阈值进行比较，以比较每一张合度与预设张合阈值的大小，得到比较结果；进而，基于比较结果确定是否存在嘴部的张合度不小于预设张合阈值的情况，其中，若比较结果中包括表征张合度不小于预设张合阈值的比较结果，则确定存在嘴部的张合度不小于预设张合阈值的情况。

进而，在确定出存在嘴部的张合度不小于预设张合阈值的情况后，继续基于比较结果，确定是否存在嘴部张合度不小于预设张合阈值的持续时间，是否超过预设时间阈值的情况，即基于比较结果，确定是否存在连续多个比较结果均表征张合度不小于预设张合阈值，且该多个比较结果的数量超过第一数量的情况；其中，若确定存在连续多个比较结果均表征张合度不小于预设张合阈值，且该多个比较结果的数量超过第一数量的情况，则确定存在嘴部张合度不小于预设张合阈值的持续时间超过预设时间阈值的情况，则可以确定基于当前张合度以及预设时长内目标人员的嘴部的历史张合度，判断存在目标人员的嘴部的张合度不小于预设张合阈值，且不小于预设张合阈值的持续时间超过预设时间阈值的情况。反之，若确定不存在连续多个比较结果均表征张合度不小于预设张合阈值，和/或该多个比较结果的数量未超过第一数量的情况，则确定不存在嘴部张合度不小于预设张合阈值的持续时间超过预设时间阈值的情况，进而，可以确定不存在目标人员的嘴部的张合度不小于预设张合阈值，且不小于预设张合阈值的持续时间超过预设时间阈值的情况。

其中，图像采集设备采集得到每一图像时，会为每一图像标记一个时间戳信息，即图像与时间戳信息存在对应关系，其中，该图像包括当前时刻采集的人脸图像以及在当前时刻之前的图像。并且，电子设备可以基于每一图像确定出目标人员的嘴部的一个张合度，即图像与张合度存在对应关系。鉴于此，每一张合度与时间戳信息存在对应关系。后续的，在将每一张合度，分别与预设张合阈值进行比较时，可以是：按每一张合度对应的时间戳信息的先后顺序，依次将每一张合度，分别与预设张合阈值进行比较。

后续的，一种情况，获得比较结果；从比较结果中，确定出连续的表征张合度不小于预设张合阈值的比较结果，针对每一组连续的表征张合度不小于预设张合阈值的比较结果，可以直接确定该组中比较结果的数量是否超过第一数量，若超过，则确定存在嘴部张合度不小于预设张合阈值的持续时间超过预设时间阈值的情况。或者，另一种情况，针对每一组连续的表征张合度不小于预设张合阈值的比较结果，从该组比较结果中，确定出所对应张合度对应的时间戳信息最早的比较结果，作为第一比较结果；并确定出所对应张合度对应的时间戳信息最晚的比较结果，作为第二比较结果；计算第二比较结果对应的时间戳信息与第一比较结果对应的时间戳信息之间的时间差值，判断该时间差值是否超过预设时间阈值，若超过，则确定存在嘴部张合度不小于预设张合阈值的持续时间超过预设时间阈值的情况。其中，第一数量可以基于图像采集设备采集图像的频率以及该预设时间阈值确定。

一种情况中，在确定出存在目标人员的嘴部的张合度不小于预设张合阈值，且不小于预设张合阈值的持续时间超过预设时间阈值的情况之后，可以直接确定目标人员处于疲劳状态。另一种情况，为了提高确定出目标人员处于疲劳状态的确定结果的准确性，在本发明的另一实施例中，在所述确定目标人员的当前状态为打哈欠状态的步骤之后，所述方法还可以包括：

统计目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况的次数，作为打哈欠次数；

若打哈欠次数超过预设次数，则确定目标人员处于疲劳状态。

本发明实施例中，可以统计目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况的次数，作为打哈欠次数，进而判断该打哈欠次数是否超过预设次数，若打哈欠次数超过预设次数，则确定目标人员处于疲劳状态。通过统计在预设市场内目标人员打哈欠的次数，来确定目标人员是否处于疲劳状态，在一定程度上保证所确定出的目标人员处于疲劳状态的确定结果的准确性。

在本发明的另一实施例中，在所述确定目标人员处于疲劳状态的步骤之后，所述方法还可以包括：

生成并发送告警信息。

本发明实施例中，若目标人员为驾驶员，为了在一定程度上减少因疲劳驾驶所导致的车祸的情况的发生，在确定出目标人员处于疲劳状态的情况下，可以生成告警信息，以提示用户该目标人员处于疲劳的状态，以便用户可以针对该种情况采取相应措施，以在一定程度上减少因疲劳驾驶所导致的车祸的情况的发生。

另一种情况中，若目标人员为驾驶员，还可以提示驾驶员进入自动驾驶模式，或发出行驶模式控制信号，以控制车辆自动进入自动驾驶模式，以在一定程度上减少因疲劳驾驶所导致的车祸的情况的发生。

在本发明的另一实施例中，若目标人员为居家人员，可以生成并发送家居设备的家居控制信号，该家居控制信号可以是控制电视机的播放音量降低或关闭电视机；可以是：控制空调的当前设置温度在预设温度范围内，等等。

相应于上述方法实施例，本发明实施例提供了一种基于嘴部信息的人员状态检测装置，如图3所示，可以包括：

获得模块310，被配置为获得图像采集设备在当前时刻采集的包含目标人员的面部的人脸图像；

检测模块320，被配置为对所述人脸图像进行检测，从所述人脸图像中检测出人脸特征点的二维位置信息，其中，所述人脸特征点包括嘴部的上下唇的嘴唇特征点；

构建模块330，被配置为基于所述人脸图像的人脸特征点的二维位置信息以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述嘴唇特征点构建的所述嘴部的上下唇；

第一确定模块340，被配置为基于所述目标三维人脸模型中所述嘴部的上下唇指定位置处的嘴唇空间点的三维位置信息以及预设的投影矩阵，确定出所述指定位置处的嘴唇空间点在所述人脸图像中的投影点的投影位置信息；

第二确定模块350，被配置为基于所述人脸图像中所述指定位置对应的位置处的嘴唇特征点的二维位置信息、所述指定位置处的嘴唇空间点的三维位置信息以及所述投影位置信息，确定所述嘴部的上下唇之间的当前张合度；

第三确定模块360，被配置为基于所述当前张合度以及预设时长内所述目标人员的嘴部的历史张合度，确定出所述目标人员的当前状态。

应用本发明实施例，可以从人脸图像中检测出包含嘴部的上下唇的嘴唇特征点的人脸特征点的二维位置信息，并基于包含目标人员面部的人脸图像中的人脸特征点和预设的三维人脸模型，构建出目标人员对应的包括目标人员的嘴部的上下唇的目标三维人脸模型，即构建出了目标人员的嘴部的空间信息；进而确定出目标三维人脸模型中上下唇指定位置处的嘴唇空间点在人脸图像中的投影点的投影位置信息，基于嘴部的空间信息，即目标人员的上下唇指定位置处的嘴唇空间点的三维位置信息、以及人脸图像中指定位置对应的位置处的嘴唇特征点的二维位置信息以及相应的投影位置信息，确定上下唇的张合度，可以实现结合嘴部的上下唇的三维信息以及二维信息，共同确定出准确性更高的嘴部的上下唇之间的空间距离，即嘴部的张合度，进而，基于准确性更高的嘴部的上下唇之间的当前的张合度和历史张合度，可以更加准确地确定出目标人员的当前状态。其中，结合嘴部的上下唇的三维信息以及二维信息，可以分化嘴部的上下唇的三维信息以及二维信息中的任一信息的误差，在一定程度上可以更好的提高当前张合度的准确性，进而提高对人员的当前状态的检测结果的准确性。

在本发明的另一实施例中，所述指定位置的嘴唇空间点包括所述目标三维人脸模型中上唇的指定边缘的中心位置处的第一中心点以及下唇的指定边缘的中心位置处的第二中心点，所述指定位置对应的位置处的嘴唇特征点包括：所述人脸图像中上唇的指定边缘的中心位置处的第三中心点以及下唇的指定边缘的中心位置处的第四中心点，所述指定边缘为内边缘或外边缘；

所述第二确定模块350，被具体配置为：

基于所述第一中心点的三维位置信息以及所述第二中心点的三维位置信息，确定所述第一中心点与所述第二中心点之间的距离，作为第一距离；

基于所述第三中心点的二维位置信息以及所述第四中心点的二维位置信息，确定所述第三中心点和所述第四中心点之间的距离，作为第二距离；

基于第一投影点的投影位置信息以及第二投影点的投影位置信息，确定所述第一投影点与所述第二投影点之间的距离，作为第三距离，其中，所述第一投影点为所述第一中心点在所述人脸图像中的投影点，所述第二投影点为所述第二中心点在所述人脸图像中的投影点；

计算所述第二距离与所述第三距离的比值，作为第一比值；

将所述第一距离与第一比值的乘积，确定为所述嘴部的上下唇之间的当前张合度。

在本发明的另一实施例中，所述检测模块320，被具体配置为：

基于预设的面部特征点检测模型，对所述人脸图像进行检测，从所述人脸图像中检测出面部特征点的二维位置信息，其中，所述预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的模型；

基于所述面部特征点的二维位置信息，从所述人脸图像中确定并截取出所述目标人员的嘴部所在区域，作为嘴部图像；

利用预设的嘴唇特征点检测模型，从所述嘴部图像中检测出所述嘴部的上下唇的嘴唇特征点，其中，所述预设的嘴唇特征点检测模型为：基于标注有嘴部的上下唇的嘴唇特征点的第二样本图像训练所得的模型。

在本发明的另一实施例中，所述构建模块330，被具体配置为

从所述预设的三维人脸模型中，确定出预设人脸位置处的空间点，作为待处理空间点，其中，所述待处理空间点与人脸特征点存在对应关系；

利用弱透视投影矩阵，将每一待处理空间点投影至所述人脸图像，确定每一待处理空间点在所述人脸图像中的投影点的投影位置信息；

基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的人脸特征点的二维位置信息，构建所述目标人员对应的目标三维人脸模型。

可选的，所述第三确定模块360，包括：

第一判断单元(图中未示出)，被配置为基于所述当前张合度以及预设时长内所述目标人员的嘴部的历史张合度，判断是否存在所述目标人员的嘴部的张合度不小于预设张合阈值，且不小于预设张合阈值的持续时间超过预设时间阈值的情况；

第一确定单元(图中未示出)，被配置为若判断结果为存在，则确定所述目标人员的当前状态为打哈欠状态；

第二确定单元(图中未示出)，被配置为若判断结果为不存在，则确定所述目标人员的当前状态为非打哈欠状态。

可选的，所述第三确定模块360还包括：

统计单元(图中未示出)，被配置为在所述确定所述目标人员的当前状态为打哈欠状态之后，统计所述目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况的次数，作为打哈欠次数；

第三确定单元(图中未示出)，被配置为若所述打哈欠次数超过预设次数，则确定所述目标人员处于疲劳状态。

可选的，所述第三确定模块360还包括：生成发送单元(图中未示出)，被配置为在所述确定所述目标人员处于疲劳状态之后，生成并发送告警信息。

上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种基于嘴部信息的人员状态检测方法，其特征在于，包括：

获得图像采集设备在当前时刻采集的包含目标人员的面部的人脸图像；

对所述人脸图像进行检测，从所述人脸图像中检测出人脸特征点的二维位置信息，其中，所述人脸特征点包括嘴部的上下唇的嘴唇特征点；

基于所述人脸图像的人脸特征点的二维位置信息以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述嘴唇特征点构建的所述嘴部的上下唇；

基于所述目标三维人脸模型中所述嘴部的上下唇指定位置处的嘴唇空间点的三维位置信息以及预设的投影矩阵，确定出所述指定位置处的嘴唇空间点在所述人脸图像中的投影点的投影位置信息；

基于所述人脸图像中所述指定位置对应的位置处的嘴唇特征点的二维位置信息、所述指定位置处的嘴唇空间点的三维位置信息以及所述投影位置信息，确定所述嘴部的上下唇之间的当前张合度；

基于所述当前张合度以及预设时长内所述目标人员的嘴部的历史张合度，确定出所述目标人员的当前状态。

2.如权利要求1所述的方法，其特征在于，所述指定位置的嘴唇空间点包括所述目标三维人脸模型中上唇的指定边缘的中心位置处的第一中心点以及下唇的指定边缘的中心位置处的第二中心点，所述指定位置对应的位置处的嘴唇特征点包括：所述人脸图像中上唇的指定边缘的中心位置处的第三中心点以及下唇的指定边缘的中心位置处的第四中心点，所述指定边缘为内边缘或外边缘；

所述基于所述人脸图像中所述指定位置对应的位置处的嘴唇特征点的二维位置信息、所述指定位置处的嘴唇空间点的三维位置信息以及所述投影位置信息，确定所述嘴部的上下唇之间的当前张合度的步骤，包括：

基于所述第一中心点的三维位置信息以及所述第二中心点的三维位置信息，确定所述第一中心点与所述第二中心点之间的距离，作为第一距离；

基于所述第三中心点的二维位置信息以及所述第四中心点的二维位置信息，确定所述第三中心点和所述第四中心点之间的距离，作为第二距离；

基于第一投影点的投影位置信息以及第二投影点的投影位置信息，确定所述第一投影点与所述第二投影点之间的距离，作为第三距离，其中，所述第一投影点为所述第一中心点在所述人脸图像中的投影点，所述第二投影点为所述第二中心点在所述人脸图像中的投影点；

计算所述第二距离与所述第三距离的比值，作为第一比值；

将所述第二距离与第一比值的乘积，确定为所述嘴部的上下唇之间的当前张合度。

3.如权利要求1所述的方法，其特征在于，所述对所述人脸图像进行检测，从所述人脸图像中检测出人脸特征点的二维位置信息的步骤，包括：

基于预设的面部特征点检测模型，对所述人脸图像进行检测，从所述人脸图像中检测出面部特征点的二维位置信息，其中，所述预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的模型；

基于所述面部特征点的二维位置信息，从所述人脸图像中确定并截取出所述目标人员的嘴部所在区域，作为嘴部图像；

利用预设的嘴唇特征点检测模型，从所述嘴部图像中检测出所述嘴部的上下唇的嘴唇特征点，其中，所述预设的嘴唇特征点检测模型为：基于标注有嘴部的上下唇的嘴唇特征点的第二样本图像训练所得的模型。

4.如权利要求1所述的方法，其特征在于，所述基于所述人脸图像的人脸特征点的二维位置信息以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型的步骤，包括：

从所述预设的三维人脸模型中，确定出预设人脸位置处的空间点，作为待处理空间点，其中，所述待处理空间点与人脸特征点存在对应关系；

利用弱透视投影矩阵，将每一待处理空间点投影至所述人脸图像，确定每一待处理空间点在所述人脸图像中的投影点的投影位置信息；

基于每一待处理空间点的投影点的投影位置信息及每一待处理空间点对应的人脸特征点的二维位置信息，构建所述目标人员对应的目标三维人脸模型。

5.如权利要求1-4任一项所述的方法，其特征在于，所述基于所述当前张合度以及预设时长内所述目标人员的嘴部的历史张合度，确定出所述目标人员的当前状态的步骤，包括：

基于所述当前张合度以及预设时长内所述目标人员的嘴部的历史张合度，判断是否存在所述目标人员的嘴部的张合度不小于预设张合阈值，且不小于预设张合阈值的持续时间超过预设时间阈值的情况；

若判断结果为存在，则确定所述目标人员的当前状态为打哈欠状态；

若判断结果为不存在，则确定所述目标人员的当前状态为非打哈欠状态。

6.如权利要求5所述的方法，其特征在于，在所述确定所述目标人员的当前状态为打哈欠状态的步骤之后，所述方法还包括：

统计所述目标人员的嘴部的张合度不小于预设张合阈值的持续时间，超过预设时间阈值的情况的次数，作为打哈欠次数；

若所述打哈欠次数超过预设次数，则确定所述目标人员处于疲劳状态。

7.如权利要求6所述的方法，其特征在于，在所述确定所述目标人员处于疲劳状态的步骤之后，所述方法还包括：

生成并发送告警信息。

8.一种基于嘴部信息的人员状态检测装置，其特征在于，包括：

获得模块，被配置为获得图像采集设备在当前时刻采集的包含目标人员的面部的人脸图像；

检测模块，被配置为对所述人脸图像进行检测，从所述人脸图像中检测出人脸特征点的二维位置信息，其中，所述人脸特征点包括嘴部的上下唇的嘴唇特征点；

构建模块，被配置为基于所述人脸图像的人脸特征点的二维位置信息以及预设的三维人脸模型，构建所述目标人员对应的目标三维人脸模型，其中，所述目标三维人脸模型包括：基于所述嘴唇特征点构建的所述嘴部的上下唇；

第一确定模块，被配置为基于所述目标三维人脸模型中所述嘴部的上下唇指定位置处的嘴唇空间点的三维位置信息以及预设的投影矩阵，确定出所述指定位置处的嘴唇空间点在所述人脸图像中的投影点的投影位置信息；

第二确定模块，被配置为基于所述人脸图像中所述指定位置对应的位置处的嘴唇特征点的二维位置信息、所述指定位置处的嘴唇空间点的三维位置信息以及所述投影位置信息，确定所述嘴部的上下唇之间的当前张合度；

第三确定模块，被配置为基于所述当前张合度以及预设时长内所述目标人员的嘴部的历史张合度，确定出所述目标人员的当前状态。

9.如权利要求8所述的装置，其特征在于，所述指定位置的嘴唇空间点包括所述目标三维人脸模型中上唇的指定边缘的中心位置处的第一中心点以及下唇的指定边缘的中心位置处的第二中心点，所述指定位置对应的位置处的嘴唇特征点包括：所述人脸图像中上唇的指定边缘的中心位置处的第三中心点以及下唇的指定边缘的中心位置处的第四中心点，所述指定边缘为内边缘或外边缘；

所述第二确定模块，被具体配置为：

基于所述第一中心点的三维位置信息以及所述第二中心点的三维位置信息，确定所述第一中心点与所述第二中心点之间的距离，作为第一距离；

基于所述第三中心点的二维位置信息以及所述第四中心点的二维位置信息，确定所述第三中心点和所述第四中心点之间的距离，作为第二距离；

基于第一投影点的投影位置信息以及第二投影点的投影位置信息，确定所述第一投影点与所述第二投影点之间的距离，作为第三距离，其中，所述第一投影点为所述第一中心点在所述人脸图像中的投影点，所述第二投影点为所述第二中心点在所述人脸图像中的投影点；

计算所述第二距离与所述第三距离的比值，作为第一比值；

将所述第二距离与第一比值的乘积，确定为所述嘴部的上下唇之间的当前张合度。

10.如权利要求8所述的装置，其特征在于，所述检测模块，被具体配置为：

基于预设的面部特征点检测模型，对所述人脸图像进行检测，从所述人脸图像中检测出面部特征点的二维位置信息，其中，所述预设的面部特征点检测模型为：基于标注有人脸的各部位的面部特征点的第一样本图像训练所得的模型；

基于所述面部特征点的二维位置信息，从所述人脸图像中确定并截取出所述目标人员的嘴部所在区域，作为嘴部图像；

利用预设的嘴唇特征点检测模型，从所述嘴部图像中检测出所述嘴部的上下唇的嘴唇特征点，其中，所述预设的嘴唇特征点检测模型为：基于标注有嘴部的上下唇的嘴唇特征点的第二样本图像训练所得的模型。

Images