CN112163470A - 基于深度学习的疲劳状态识别方法、系统、存储介质 - Google Patents

Abstract

本发明提供了一种基于深度学习的疲劳状态识别方法、系统、存储介质及电子设备，方法包括：S1、获取视频流数据，并从视频流数据中获取人脸图片；S2、对人脸图片进行人脸检测和人脸关键点检测；S3、通过人脸对齐模型，获取人脸图片的面部特征信息；S4、对面部特征信息进行注视估计、头部姿态估计和嘴部估计，分别得到注视估计信息、头部姿态估计信息和嘴部估计信息；S5、结合注视估计信息、头部姿态估计信息和嘴部估计信息，获得疲劳状态识别综合评价数值；S6、将综合评价数值与设定值进行比较，判定人脸图片对应的人员是否处于疲劳状态。根据本发明实施例的方法，实时检测人员疲劳状态，有效提高识别的精确率。

Description

基于深度学习的疲劳状态识别方法、系统、存储介质

技术领域

本发明涉及深度学习与图像处理技术领域，更具体地，涉及一种基于深度学习的疲劳状态识别方法、基于深度学习的疲劳状态识别系统、计算机存储介质及电子设备。

背景技术

近年来，由于互联网和人工智能技术地迅速发展，智能监控和人员智能化管理受到大众的广泛关注。在一些涉及安全生产的企业和军事化管理的公安部门，已经实现了视频监控的全方位覆盖，有些在岗值班人员很难保证一直处于正常的工作状态，针对一些特殊的安全岗位，容易出现在岗疲劳，疏于职守会带来巨大的安全隐患，因此在岗值班人员行为分析在智能化管理中发挥着越来越重要的作用。

目前，针对在岗人员疲劳行为识别的方法主要有两种，一种是基于人体检测的方法，使用的是人体全身图像，对人体姿势特征进行建模和分析，人体姿势易受遮挡影响，人体一旦被遮挡，从而无法进行疲劳检测；

人体不被遮挡的情况下，人体检测一般采用大型目标检测算法网络，人体检测区域为全身或半身，检测后仍需分割人体图像，因此基于人体检测的识别方法一般耗时较长，识别系统的实时检测性能不足。

另一种是基于人脸检测的方法，基于传统算法的人脸检测方法，没有获得睡岗人员睡岗时的深层特征信息，准确性不高。

现有疲劳状态识别方法的技术评价指标单一，仅仅通过识别一项指标对在岗人员进行疲劳检测，容易对在岗人员的工作状态造成误判。

发明内容

为解决上述技术问题，本发明提供一种基于深度学习的疲劳状态识别方法、基于深度学习的疲劳状态识别系统、计算机存储介质及电子设备，实时检测人员疲劳状态，有效提高识别的精确率。

根据本发明第一方面实施例的基于深度学习的疲劳状态识别方法，包括：S1、获取视频流数据，并从所述视频流数据中获取人脸图片；S2、对所述人脸图片进行人脸检测和人脸关键点检测；S3、通过人脸对齐模型，获取所述人脸图片的面部特征信息；S4、对所述面部特征信息进行注视估计、头部姿态估计和嘴部估计，分别得到注视估计信息、头部姿态估计信息和嘴部估计信息；S5、结合所述注视估计信息、所述头部姿态估计信息和所述嘴部估计信息，获得疲劳状态识别综合评价数值；S6、将所述综合评价数值与设定值进行比较，判定所述人脸图片对应的人员是否处于疲劳状态。

根据本发明实施例的基于深度学习的疲劳状态识别方法，通过将深度神经网络和传统的图像处理技术相结合，设置通过估计信息、头部姿态估计信息和嘴部估计信息多个指标进行疲劳评价的评价体系可以实时检测人员疲劳状态，有效提高识别的准确率。

根据本发明的一个实施例，步骤S2包括：

S21、对所述人脸图片进行预处理；S22、对所述人脸图片中人脸的多个关键点及人脸框进行标注，获得标注数据；S23、将所述标注数据组成训练集并进行训练，获得人脸关键点检测模型；S24、通过所述人脸关键点检测模型对所述人脸图片进行人脸检测和人脸关键点检测。

根据本发明的一个实施例，步骤S4中，所述注视估计包括以下步骤：

S41、从所述面部信息特征获得人脸信息；S42、根据所述人脸信息初步确定人眼位置；S43、采用SAGE算法二次定位人眼，确定人眼位置；S44、进行人眼注视估计分析；S45、在屏幕区域内，划定注意力集中区域，若预设时间内人眼视线超出注意力集中区域，则判定所述人脸信息对应的人员处于疲劳状态。

根据本发明的一个实施例，步骤S44中，利用改进的SAGE算法，进行人眼注视估计分析，其中改进的SAGE算法包括以下步骤：S441、进行人脸检测，获得人脸关键点信息；S442、根据所述人脸关键点信息，初步获得人眼位置；S443、使用人眼四个眼角的位置坐标，精确定位人眼位置；S444、利用SAGE算法进行视线估计，得到人眼注视点，在设定区域内识别人眼注视专注度。

根据本发明的一个实施例，步骤S4中，所述头部姿态估计包括以下步骤：

S41’、从所述面部信息特征获得人脸信息；S42’、根据所述人脸信息检测定位头部位置；S43’、利用FSA-Net算法获得头部姿态，得出行头部姿态欧拉角yaw,pitch，roll；S44’、对所述头部姿态进行分析；S45’、设定参数阈值，若预设时间内Pitch和Roll方向上的角度变化超出预设时间比例，则判定所述人脸信息对应的人员处于疲劳状态。

根据本发明的一个实施例，步骤S43’包括：

S431’、根据所述人脸信息，提取面部特征；S432’、通过卷积神经网络融合特征，生成特征图，并生成特征向量；S433’、通过所述特征向量生成参数集合；S434’、将参数集合转换为头部姿态角，得出yaw,pitch，roll角度。

根据本发明的一个实施例，所述嘴部估计包括：S51、根据设定的第一阈值对所述人脸信息中嘴部张口度大小进行初步判断，若所述第一阈值大于第一设定阈值，判定为张嘴状态，统计在预设时间内张嘴状态的持续时间，若持续时间超过预设时间比例，则判定所述人脸信息对应的人员处于疲劳状态；S52、对小于所述第一阈值的第二阈值进行二次判断，若所述第二阈值大于第二设定阈值，且在视频流中张开嘴部持续超过预设帧数，则判定所述人脸信息对应的人员处于疲劳状态。

根据本发明第二方面实施例的基于深度学习的疲劳状态识别系统，包括：

数据获取模块，所述数据获取模块获取视频流数据，并从所述视频流数据中获取人脸图片；人脸检测模块，所述人脸检测模块对所述人脸图片进行人脸检测和人脸关键点检测；人脸对齐模块，所述人脸对齐模块通过人脸对齐模型，获取所述人脸图片的面部特征信息；信息估计模块，所述信息估计模块对所述面部特征信息进行注视估计、头部姿态估计和嘴部估计，分别得到注视估计信息、头部姿态估计信息和嘴部估计信息；综合评价模块，所述综合评价模块结合所述注视估计信息、所述头部姿态估计信息和所述嘴部估计信息，获得疲劳状态识别综合评价数值；判断模块，所述判断模块将所述综合评价数值与设定值进行比较，判定所述人脸图片对应的人员是否处于疲劳状态。

第三方面，本发明实施例提供一种计算机存储介质，包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现如上述实施例所述的方法。

根据本发明第四方面实施例的电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令；所述处理器用于调用并执行所述一条或多条计算机指令，从而实现如上述任一实施例所述的方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于深度学习的疲劳状态识别方法的流程图；

图2为根据本发明实施例的基于深度学习的疲劳状态识别方法中注视估计图；

图3为根据本发明实施例的基于深度学习的疲劳状态识别系统示意图；

图4为本发明实施例的电子设备的示意图。

附图标记：

基于深度学习的疲劳状态识别系统100；

数据获取模块10；人脸检测模块20；人脸对齐模块30；

信息估计模块40；综合评价模块50；判断模块60；

电子设备300；

存储器310；操作系统311；应用程序312；

处理器320；网络接口330；输入设备340；硬盘350；显示设备360。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面首先结合附图具体描述根据本发明实施例的基于深度学习的疲劳状态识别方法。

如图1所示，根据本发明实施例的基于深度学习的疲劳状态识别方法，包括以下步骤：

S1、获取视频流数据，并从视频流数据中获取人脸图片；

S2、对人脸图片进行人脸检测和人脸关键点检测；

S3、通过人脸对齐模型，获取人脸图片的面部特征信息；

S4、对面部特征信息进行注视估计、头部姿态估计和嘴部估计，分别得到注视估计信息、头部姿态估计信息和嘴部估计信息；

S5、结合注视估计信息、头部姿态估计信息和嘴部估计信息，获得疲劳状态识别综合评价数值；

S6、将综合评价数值与设定值进行比较，判定人脸图片对应的人员是否处于疲劳状态。

首先需要说明的是，根据本发明实施例的基于深度学习的疲劳状态识别方法可以用于针对一些特殊的安全岗位，容易出现在岗疲劳，疏于职守会带来巨大的安全隐患的场合。例如：驾驶员、安全管理员等岗位，通过本发明实施例的基于深度学习的疲劳状态识别方法可以将驾驶员、安全管理员等特殊的安全岗位进行实时疲劳检测，减少因疲劳工作带来的安全隐患。

换言之，根据本发明实施例的基于深度学习的疲劳状态识别方法，首先，通过监控设备或摄像装置获取视频流数据，并从视频流数据中获取人脸图片，可是将视频流数据进行解码生成包括人脸图片的图像数据，从视频刘数据得到图片数据过程的方法是本领域人员容易想到且可以实施的，再此不多赘述；

接着，对人脸图片进行人脸检测和人脸关键点检测，人脸检测主要提供头部姿态信息，而人脸关键点检测主要提供眼睛位置信息；

通过人脸对齐模型，获取人脸图片的面部特征信息，包括眉毛、眼睛、鼻子、嘴巴、脸等部轮廓的特征信息。

对以获取的头部姿态信息，以及面部特征信息，进行疲劳估计。可以分为：注视估计，即对人眼注意力集中程度进行估计，可以根据人眼视线是否超出注意力集中区域持续的时间，进行预估，并得到人眼视线是否超出注意力集中区域信息及持续时间信息；头部姿态估计是根据头部姿态进行疲劳预估，可以从是否频繁点头及点头幅度持续的时间，进行预估，并得到点头频率及点头幅度信息及持续时间信息；嘴部估计是根据嘴部信息进行疲劳预估，可以根据嘴部的张合程度持续的时间进行疲劳预估，嘴部持续张开表示打哈欠，即表示疲劳状态，并获得部的张合程度信息及持续时间信息。

结合注视估计信息、头部姿态估计信息和嘴部估计信息，获得疲劳状态识别综合评价数值；可以给三类给信息赋予不同权重进行加权求和得到疲劳状态识别综合评价数值。

最后，将综合评价数值与设定值进行比较，判定人脸图片对应的人员是否处于疲劳状态。

由此，根据本发明实施例的基于深度学习的疲劳状态识别方法，通过将深度神经网络和传统的图像处理技术相结合，设置通过估计信息、头部姿态估计信息和嘴部估计信息多个指标进行疲劳评价的评价体系可以实时检测人员疲劳状态，有效提高识别的准确率。

在本发明的一些具体实施方式中，步骤S2包括：

S21、对人脸图片进行预处理；

S22、对人脸图片中人脸的多个关键点及人脸框进行标注，获得标注数据；

S23、将标注数据组成训练集并进行训练，获得人脸关键点检测模型；

S24、通过人脸关键点检测模型对人脸图片进行人脸检测和人脸关键点检测。

人脸图片可以从是视频流中生成的图片序列，也可以是通过摄像装置抓拍的图片，其中，所述图片包含人脸信息。对所述人脸图片进行预处理是图像预处理操作是人脸检测过程中的一个重要环节。由于输入图像采集环境的不同，为了保证人脸图像中人脸大小，位置以及人脸图像质量的一致性，必须对图像进行预处理操作。

对人脸图片数据进行初步预处理，其中主要包括数据筛选、图像归一化、噪声过滤以及图像增强，共四种图像预处理操作，从而使后续的人脸图像特征提取过程能够更加的准确与高效。

在本案的一个实施例中，首先，对人脸图片进行预处理，分别计算每份图像序列各自的均值和方差值，并针对每份图像序列中的各帧图像，进行先减去对应均值、再除以对应方差的标准化预处理，以获得处理后的图像序列，进而能够分别根据每份处理后的图像序列，生成多个人脸样本。

在本案的一个实施例中，可以将人脸样本分为训练样本和测试样本，并通过训练样本训练训练卷积神经网络的网络模型参数，及通过测试样本验证训练得到的模型性能，在模型性能达到设定要求的情况下，将通过训练样本重新或者继续训练该卷积神经网络的网络模型参数，直至训练得到的人形检测模型的模型性能达到设定要求为止。

该实施例中，可以选用任意的卷积神经网络结构，例如ResNet网络结构、VGG网络结构，Densenet网络结构等等，在此不做限定。

可以通过标注样本训练得到该人脸关键点检测模型，使得该人脸检测模型能够准确地提取图像序列的有效面部特征信息，包括眉毛、眼睛、鼻子、嘴巴、脸等。

通过人脸关键点检测模型可以有效面部特征信息，获得的面部特征信息以为后续进行疲劳估计使用。

根据本发明的一个实施例，在步骤S4中，注视估计和头部姿态估计的建模过程也如S21-S24所述，在此不再详述。

根据本发明的一个实施例，步骤S4中，注视估计包括以下步骤：

S41、从面部信息特征获得人脸信息；

S42、根据人脸信息初步确定人眼位置；

S43、采用SAGE算法二次定位人眼，确定人眼位置；

S44、进行人眼注视估计分析；

S45、在屏幕区域内，划定注意力集中区域，若预设时间内人眼视线超出注意力集中区域，则判定人脸信息对应的人员处于疲劳状态。

注视估计，即对人眼注意力集中程度进行估计，可以根据人眼视线是否超出注意力集中区域持续时间，进行预估；

在本发明的一个实施例中，如图2所示，预设人眼注视专注度区域，由于监控视频输出显示器不同，因此规定注视专注度区域为显示器屏幕大小，人眼视线注视点输出坐标记为为(x，y),若实时坐标一直在规定区域内，记为正常；若视线跳出规定区域，预设10秒内状态持续时间，若持续时间>40％，判定人脸信息对应的人员处于疲劳状态。

优选地，如图2所示，步骤S44中，利用改进的SAGE算法，进行人眼注视估计分析，其中改进的SAGE算法包括以下步骤：

S441、进行人脸检测，获得人脸关键点信息；

S442、根据人脸关键点信息，初步获得人眼位置；

S443、使用人眼四个眼角的位置坐标，精确定位人眼位置；

S444、利用SAGE算法进行视线估计，得到人眼注视点，在设定区域内识别人眼注视专注度。通过改进后的算法有效的提高了识别人眼专注度的精度。

根据本发明的一个实施例，步骤S4中，头部姿态估计包括以下步骤：

S41’、从面部信息特征获得人脸信息；

S42’、根据人脸信息检测定位头部位置；

S43’、利用FSA-Net算法获得头部姿态，得出行头部姿态欧拉角yaw,pitch，roll；

S44’、对头部姿态进行分析；

S45’、设定参数阈值，若预设时间内Pitch和Roll方向上的角度变化超出预设时间比例，则判定人脸信息对应的人员处于疲劳状态。

头部姿态估计是通过面部图像来获取头部的姿态角，即计算Pitch，Yaw和Roll三个方向的角，学术名称叫俯仰角、偏航角和翻转角，分别表示头部上下偏转、左右偏转角度和翻转角度。通过头部姿态进行疲劳预估，可以从是否频繁点头及点头幅度，也就是Pitch和Roll进行预估；

优选地，设定参数阈值为0.32，预设10s内，当|Pitch|≥25°或者|Roll|≥25°的时间比例超过30％时，则判定人脸信息对应的人员处于疲劳状态。

在本发明的一些具体实施方式中，步骤S43’包括：

S431’、根据人脸信息，提取面部特征；

S432’、通过卷积神经网络融合特征，生成特征图，并生成特征向量；

S433’、通过特征向量生成参数集合；

S434’、将参数集合转换为头部姿态角，得出yaw,pitch，roll角度。

这种深度学习算法，参数量和计算复杂度有效降低，获取数据效率显著提升，并且可以在设备上进行实时识别。

根据本发明的一个实施例，嘴部估计包括：

S51、根据设定的第一阈值对人脸信息中嘴部张口度大小进行初步判断，若第一阈值大于第一设定阈值，判定为张嘴状态，统计在预设时间内张嘴状态的持续时间，若持续时间超过预设时间比例，则判定人脸信息对应的人员处于疲劳状态；

S52、对小于第一阈值的第二阈值进行二次判断，若第二阈值大于第二设定阈值，且在视频流中张开嘴部持续超过预设帧数，则判定人脸信息对应的人员处于疲劳状态。

嘴部持续张开在疲劳判断场景中一般代表打哈欠，即处于疲劳状态。可以根据嘴部的张合程度持续的时间进行疲劳预估。

根据本发明的一个实施例，第一设定阈值设为0.5，第二设定阈值设为0.42。首次判定：当第一阈值大于第一设定阈值0.5时，认为嘴部呈现张大状态，统计连续5秒内张大状态持续时间，若持续时间>20％，则判定为打哈欠状态，即判定人脸信息对应的人员处于疲劳状态。

针对嘴型较小的人员进行二次判定，当第二阈值大于第二设定阈值0.42认为嘴部呈现张大状态，统计连续5秒内张大状态持续时间，若持续时间>20％，则判定为打哈欠状态，即判定人脸信息对应的人员处于疲劳状态。

针对人员嘴型的大小区别二次判定，有效提高疲劳状态识别的准确率。

总而言之，根据本发明实施例的基于深度学习的疲劳状态识别方法，通过将深度神经网络和传统的图像处理技术相结合，设置通过估计信息、头部姿态估计信息和嘴部估计信息多个指标进行疲劳评价的评价体系以及多个模型可以实时检测人员疲劳状态，检测效率显著提升，并且有效提高识别的准确率。

本发明实施例还提供了一种基于深度学习的疲劳状态识别系统100，包括：数据获取模块10、人脸检测模块20、人脸对齐模块30、信息估计模块40、综合评价模块50和判断模块60。

具体地，数据获取模块10获取视频流数据，并从视频流数据中获取人脸图片，人脸检测模块20对人脸图片进行人脸检测和人脸关键点检测，人脸对齐模块30通过人脸对齐模型，获取人脸图片的面部特征信息，信息估计模块40对面部特征信息进行注视估计、头部姿态估计和嘴部估计，分别得到注视估计信息、头部姿态估计信息和嘴部估计信息，综合评价模块50结合注视估计信息、头部姿态估计信息和嘴部估计信息，获得疲劳状态识别综合评价数值，判断模块60将综合评价数值与设定值进行比较，判定人脸图片对应的人员是否处于疲劳状态。

根据本发明实施例的基于深度学习的疲劳状态识别系统的各模块的作用在上述实施例中已经详细描述，因此不再赘述。

总而言之，根据本发明实施例的基于深度学习的疲劳状态识别系统，通过数据获取预处理模块10、人脸检测模块20、人脸对齐模块30、信息估计模块40、综合评价模块50和判断模块60，将深度神经网络和传统的图像处理技术相结合，通过信息估计模块40估计眼部信息、头部姿态信息和嘴部信息对多个指标进行疲劳评价，可以实时检测人员疲劳状态，检测效率显著提升，并且有效提高识别的准确率。

此外，本发明还提供一种计算机存储介质，计算机存储介质包括一条或多条计算机指令，一条或多条计算机指令在执行时实现上述任一的基于深度学习的疲劳状态识别方法。

也就是说，计算机存储介质存储有计算机程序，计算机程序被处理器运行时，使得处理器执行上述任一的基于深度学习的疲劳状态识别方法。

如图4所示，本发明实施例提供了一种电子设备300，包括存储器310和处理器320，所述存储器310用于存储一条或多条计算机指令，所述处理器320用于调用并执行所述一条或多条计算机指令，从而实现上述任一所述的方法。

也就是说，电子设备300包括：处理器320和存储器310，在所述存储器310中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器320执行上述任一所述的方法。

进一步地，如图4所示，电子设备300还包括网络接口330、输入设备340、硬盘350、和显示设备360。

上述各个接口和设备之间可以通过总线架构互连。总线架构可以是可以包括任意数量的互联的总线和桥。具体由处理器320代表的一个或者多个中央处理器(CPU)，以及由存储器310代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。

所述网络接口330，可以连接至网络(如因特网、局域网等)，从网络中获取相关数据，并可以保存在硬盘350中。

所述输入设备340，可以接收操作人员输入的各种指令，并发送给处理器320以供执行。所述输入设备340可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。

所述显示设备360，可以将处理器320执行指令获得的结果进行显示。

所述存储器310，用于存储操作系统运行所必须的程序和数据，以及处理器320计算过程中的中间结果等数据。

可以理解，本发明实施例中的存储器310可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器310旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器310存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统311和应用程序312。

其中，操作系统311，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序312，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序312中。

本发明上述实施例揭示的方法可以应用于处理器320中，或者由处理器320实现。处理器320可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器320中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器320可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器310，处理器320读取存储器310中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

具体地，处理器320还用于读取所述计算机程序，执行上述任一所述的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于深度学习的疲劳状态识别方法，其特征在于，包括以下步骤：

S1、获取视频流数据，并从所述视频流数据中获取人脸图片；

S2、对所述人脸图片进行人脸检测和人脸关键点检测；

S3、通过人脸对齐模型，获取所述人脸图片的面部特征信息；

S4、对所述面部特征信息进行注视估计、头部姿态估计和嘴部估计，分别得到注视估计信息、头部姿态估计信息和嘴部估计信息；

S5、结合所述注视估计信息、所述头部姿态估计信息和所述嘴部估计信息，获得疲劳状态识别综合评价数值；

S6、将所述综合评价数值与设定值进行比较，判定所述人脸图片对应的人员是否处于疲劳状态。

2.根据权利要求1所述的方法，其特征在于，步骤S2包括：

S21、对所述人脸图片进行预处理；

S22、对所述人脸图片中人脸的多个关键点及人脸框进行标注，获得标注数据；

S23、将所述标注数据组成训练集并进行训练，获得人脸关键点检测模型；

S24、通过所述人脸关键点检测模型对所述人脸图片进行人脸检测和人脸关键点检测。

3.根据权利要求1所述的方法，其特征在于，步骤S4中，所述注视估计包括以下步骤：

S41、从所述面部信息特征获得人脸信息；

S42、根据所述人脸信息初步确定人眼位置；

S43、采用SAGE算法二次定位人眼，确定人眼位置；

S44、进行人眼注视估计分析；

S45、在屏幕区域内，划定注意力集中区域，若预设时间内人眼视线超出注意力集中区域，则判定所述人脸信息对应的人员处于疲劳状态。

4.根据权利要求3所述的方法，其特征在于，步骤S44中，利用改进的SAGE算法，进行人眼注视估计分析，其中改进的SAGE算法包括以下步骤：

S441、进行人脸检测，获得人脸关键点信息；

S442、根据所述人脸关键点信息，初步获得人眼位置；

S443、使用人眼四个眼角的位置坐标，精确定位人眼位置；

S444、利用SAGE算法进行视线估计，得到人眼注视点，在设定区域内识别人眼注视专注度。

5.根据权利要求1所述的方法，其特征在于，步骤S4中，所述头部姿态估计包括以下步骤：

S41’、从所述面部信息特征获得人脸信息；

S42’、根据所述人脸信息检测定位头部位置；

S43’、利用FSA-Net算法获得头部姿态，得出行头部姿态欧拉角yaw,pitch，roll；

S44’、对所述头部姿态进行分析；

S45’、设定参数阈值，若预设时间内Pitch和Roll方向上的角度变化超出预设时间比例，则判定所述人脸信息对应的人员处于疲劳状态。

6.根据权利要求5所述的方法，其特征在于，步骤S43’包括：

S431’、根据所述人脸信息，提取面部特征；

S432’、通过卷积神经网络融合特征，生成特征图，并生成特征向量；

S433’、通过所述特征向量生成参数集合；

S434’、将参数集合转换为头部姿态角，得出yaw,pitch，roll角度。

7.根据权利要求1所述的方法，其特征在于，所述嘴部估计包括：

S51、根据设定的第一阈值对所述人脸信息中嘴部张口度大小进行初步判断，若所述第一阈值大于第一设定阈值，判定为张嘴状态，统计在预设时间内张嘴状态的持续时间，若持续时间超过预设时间比例，则判定所述人脸信息对应的人员处于疲劳状态；

S52、对小于所述第一阈值的第二阈值进行二次判断，若所述第二阈值大于第二设定阈值，且在视频流中张开嘴部持续超过预设帧数，则判定所述人脸信息对应的人员处于疲劳状态。

8.一种基于深度学习的疲劳状态识别系统，其特征在于，包括：

数据获取模块，所述数据获取模块获取视频流数据，并从所述视频流数据中获取人脸图片；

人脸检测模块，所述人脸检测模块对所述人脸图片进行人脸检测和人脸关键点检测；

人脸对齐模块，所述人脸对齐模块通过人脸对齐模型，获取所述人脸图片的面部特征信息；

信息估计模块，所述信息估计模块对所述面部特征信息进行注视估计、头部姿态估计和嘴部估计，分别得到注视估计信息、头部姿态估计信息和嘴部估计信息；

综合评价模块，所述综合评价模块结合所述注视估计信息、所述头部姿态估计信息和所述嘴部估计信息，获得疲劳状态识别综合评价数值；

判断模块，所述判断模块将所述综合评价数值与设定值进行比较，判定所述人脸图片对应的人员是否处于疲劳状态。

9.一种计算机存储介质，其特征在于，包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现如权利要求1-7中任一项所述的方法。

10.一种电子设备，包括存储器和处理器，其特征在于，

所述存储器用于存储一条或多条计算机指令；

所述处理器用于调用并执行所述一条或多条计算机指令，从而实现如权利要求1-7中任一项所述的方法。

Images