CN117373001A - 人员疲劳状态的识别方法、电子设备及可读存储介质 - Google Patents

Abstract

本申请提供一种人员疲劳状态的识别方法、电子设备及可读存储介质。识别方法包括：获取包括目标人员的面部的人脸模型；确定出人脸模型中的头部姿态的偏移角度，并根据偏移角度将人脸模型中的左眼或右眼确定为目标眼睛；以及根据目标眼睛的状态确定出目标人员是否处于疲劳状态。上述方案中，根据人脸模型中的头部姿态角确定出左眼或者右眼作为判断目标人员是否处于疲劳状态的目标眼睛，可避免由于头部姿态角发生变化时产生的图像畸变导致眼睛状态判断准确率下降进而导致疲劳状态的误判或者漏判。

Description

人员疲劳状态的识别方法、电子设备及可读存储介质

技术领域

本申请涉及计算机技术领域，更具体地，涉及一种人员疲劳状态的识别方法、电子设备及可读存储介质。

背景技术

目前，由于人员疲劳而引发的事故已成为一项不容忽视的问题。疲劳会导致人的反应变慢，注意力下降，误操作等。对于驾驶类或者机床操作类等岗位以及在电力现场这种特殊环境下，处于疲劳状态的操作人员在操作过程中会降低警惕性，进行误操作，从而造成严重后果。检测或者监测操作人员的疲劳状态可在一定程度上避免上述的严重后果。

目前常见的人员疲劳状态检测方法包括：脑电波监测、眼部监测、以及生理指标(血压、血氧量等)监测。

对于脑电波监测以及生理指标监测的人员疲劳状态检测方法，需要专业的监测设备，且监测设备的操作过程繁琐，不利于普通操作人员在现场使用。此外，这类监测设备往往成本较高，也不利于大批量地使用。

对于眼部监测的人员疲劳状态检测方法，通常是根据在2D维度下的人脸识别模型输出的面部关键特征点(landmark点)先求解眼睛的纵横比平均值，再根据给定的一个固定阈值进行眼睛开闭合状态的判断，从而确定出该人员是否处于疲劳状态。这种方法无需专业的监测设备，且在监测过程中不会影响操作人员的正常工作，可应用于大多数的场合。

但是，在2D维度下的人脸识别模型中，当头部姿态角发生变化的时候，眼睛的landmark点坐标会发生变化，导致计算的眼睛的纵横比值发生变化，从而引起疲劳状态的误判或者漏判。此外，对于采用固定阈值判断眼睛开闭合状态时，由于固定阈值无法体现人员个体差异和/或环境差异，也可引起疲劳状态的误判或者漏判。

发明内容

本申请的一个方面在于提供一种人员疲劳状态的识别方法，通过根据人脸模型中的头部姿态角确定出左眼或者右眼作为判断目标人员是否处于疲劳状态的目标眼睛，可避免由于头部姿态角发生变化时产生的图像畸变导致眼睛状态判断准确率下降进而导致疲劳状态的误判或者漏判。

为实现上述目的，本申请提供的人员疲劳状态的识别方法包括：获取包括目标人员的面部的人脸模型；确定出人脸模型中的头部姿态的偏移角度，并根据偏移角度将人脸模型中的左眼或右眼确定为目标眼睛；以及根据目标眼睛的状态确定出目标人员是否处于疲劳状态。

本申请的另一个方面在于提供一种电子设备，包括：处理器；以及存储器，与处理器通讯连接。存储器存储有可被处理器执行的程序，当程序被处理器执行时，处理器能够执行根据如上所述的人员疲劳状态的识别方法。

本申请的另一个方面在于提供一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现根据如上所述的人员疲劳状态的识别方法。

附图说明

通过阅读参照以下附图所作的对非限制性实施例的详细描述，本申请的其它特征、目的和优点将会变得更明显。其中：

图1是根据本申请实施方式的人员疲劳状态的识别方法的流程图；

图2是根据本申请实施方式的步骤S110的流程图；

图3A是人体头部姿态的示意图；

图3B是人体头部姿态在yaw方向偏移的示意图；

图3C是人脸特征关键点示意图；

图3D和图3E是根据本申请实施方式的基于三角形原理确定出目标眼睛的外眼角的角度值的示意图；

图4是根据本申请示例性实施方式的步骤S120的流程图；

图5是根据本申请示例性实施方式的步骤S130的流程图；

图6是根据本申请示例性实施方式的步骤S131的流程图；

图7是根据本申请示例性实施方式的步骤S1312的流程图；

图8是根据本申请示例性实施方式的步骤S132的流程图；

图9是根据本申请示例性实施方式的步骤S1322的流程图；

图10是本申请的示例性实施方式的电子设备的结构示意图；以及

图11是本申请的示例性实施方式的电子设备的结构示意图。

具体实施方式

为了更好地理解本申请，将参考附图对本申请的各个方面做出更详细的说明。应理解，这些详细说明只是对本申请的示例性实施方式的描述，而非以任何方式限制本申请的范围。在说明书全文中，相同的附图标号指代相同的元件。表述“和/或”包括相关联的所列项目中的一个或多个的任何和全部组合。

应注意，在本说明书中，除非有相反的明确教导，否则第一、第二、第三等的表述仅用于将一个特征与另一个特征区域分开来，而不表示对特征的任何限制，尤其不表示任何的先后顺序。例如，本申请所述的第一数量也可以表述为第二数量。

还应理解的是，诸如“包括”、“包括有”、“具有”、“包含”和/或“包含有”等表述在本说明书中是开放性而非封闭性的表述，其表示存在所陈述的特征，但不排除一个或多个其它特征和/或它们的组合的存在。此外，当描述本申请的实施方式时，使用“可”表示“本申请的一个或多个实施方式”。并且，用语“示例性的”旨在指代示例或举例说明。

除非另外限定，否则本文中使用的所有措辞(包括工程术语和科技术语)均具有与本申请所属领域普通技术人员的通常理解相同的含义。还应理解的是，除非本申请中有明确的说明，否则在常用词典中定义的词语应被解释为具有与它们在相关技术的上下文中的含义一致的含义，而不应以理想化或过于形式化的意义解释。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。另外，除非明确限定或与上下文相矛盾，否则本申请所记载的方法中包括的具体步骤不必限于所记载的顺序，而可以任意顺序执行或并行地执行。下面将参考附图并结合实施例来详细说明本申请。

本申请的示例性实施方式提出了一种人员疲劳状态的识别方法，包括：获取包括目标人员的面部的人脸模型；确定出人脸模型中的头部姿态的偏移角度，并根据偏移角度将人脸模型中的左眼或右眼确定为目标眼睛；以及根据目标眼睛的状态确定出目标人员是否处于疲劳状态。上述方案中，根据人脸模型中的头部姿态角确定出左眼或者右眼作为判断目标人员是否处于疲劳状态的目标眼睛，可避免由于头部姿态角发生变化时产生的图像畸变导致眼睛状态判断准确率下降进而导致疲劳状态的误判或者漏判。

在下文中，将结合附图更详细地描述本方案的具体示例。

图1示出了根据本申请实施方式的人员疲劳状态的识别方法100的流程图。如图1所示，人员疲劳状态的识别方法100的执行包括以下步骤：

S110、获取包括目标人员的面部的人脸模型；

S120、确定出人脸模型中的头部姿态的偏移角度，并根据偏移角度将人脸模型中的左眼或右眼确定为目标眼睛；以及

S130、根据目标眼睛的状态确定出目标人员是否处于疲劳状态。

应当理解的是，人员疲劳状态的识别方法100中所示的步骤不是排它性的，方法100还可以包括未示出的附加步骤和/或可以省略所示出的步骤，本申请的范围在此方面不受限制。下面参照图1至图9详细描述步骤S110至步骤S130。

S110

人脸模型的构建是疲劳状态识别过程中的一个关键环节，它是指从视频流的帧图像中获取到人脸的位置和大小信息从而给后续的疲劳状态识别提供服务。

在一些实施方式中，如图2所示，步骤S110中获取包括目标人员的面部的人脸模型包括：

S111、获取视频流中包括目标人员的面部的帧图像；以及

S112、基于训练好的用于构建人脸模型的算法构建针对目标人员的面部的人脸模型。

示例性的，本申请以驾驶员监测系统(Driver Monitor System，简称DMS)为例详细说明技术方案，但是可以理解的是，本申请的技术方案也可应用于其他场合。

具体而言，通过摄像头实时地拍摄目标人员(驾驶员)的图像从而形成视频流。示例性的，摄像头可为红外摄像头，可被设置在汽车前挡风玻璃、方向盘或者仪表盘等能够拍摄到驾驶位的位置。需要说明的是，摄像头的设置位置应满足当目标人员落座于驾驶位时，摄像头能够拍摄到目标人员的面部的条件。

当人员疲劳状态的识别方法100的执行主体通过相关接口获取到视频流之后，在步骤S111中对视频流采样，得到包括目标人员的面部的帧图像，该帧图像可作为输入图像。可选的，对视频流截取帧图像之后，对其进行预处理以形成符合构建人脸模型的算法要求的输入图像。预处理技术例如可包括自适应中值滤波和基于拉普拉斯的图像增强。自适应中值滤波是通过模板中所有像素灰度的中值来代替中间像素，并且模板大小可以调整，减少平滑非冲击噪声的干扰。拉普拉斯图像增强通过遍历整幅图像，然后根据像素邻域的灰度值运用拉普拉斯算子得到该像素之后的值。

在步骤S111中获取到包括目标人员的面部的输入图像之后，在步骤S112中，将获取到的输入图像输入预先已经训练好的用于构建人脸模型的算法中，从而构建出在2D维度下的针对目标人员的人脸模型。

此处需要说明的是，用于构建人脸模型的算法为预先训练好的，例如可采用卷积神经网络等深度学习的算法进行训练。可选的，选用R-CNN模型算法、Fast-R-CNN模型算法或者YOLO模型算法作为构建人脸模型的算法。训练的方法为：以多张包含面部的图像作为样本数据，对构建人脸模型的算法进行人脸模型构建的训练，直至满足预设收敛条件，完成模型算法的训练。

此外，还可以选用残差网络模型算法作为构建人脸模型的算法。

综上，本申请预先训练好的用于构建人脸模型的算法是本领域技术人员在本申请的教导下参照相关技术可得出的，本申请此处不再赘述。

S120

在步骤S110中获取到包括目标人员的面部的人脸模型后，在步骤S120中，确定出人脸模型中的头部姿态的偏移角度，并根据偏移角度将人脸模型中的左眼或右眼确定为目标眼睛。

人体的头部姿态通常采用在yaw方向、pitch方向、roll方向的旋转角来表示，如图3A所示。当以头部中心为坐标原点建立三维直角坐标系时，在yaw方向旋转可以相当于相对于Y轴旋转，在pitch方向旋转可以相当于相对于X轴旋转，在roll方向旋转可以相当于相对于Z轴旋转。在实际生活中，正常成年人头部偏转范围大致为围绕于X轴偏转-60.4°～69.6°，围绕Y轴偏转-40.9°～36.3°，围绕Z轴偏转-79.8°～75.37°。

在一些实施方式中，如图4所示，步骤S120包括：

S121、确定出人脸模型中的头部姿态在yaw方向的偏移角度；

S122、响应于在绝对坐标下偏移角度大于等于0°，确定出人脸模型中的左眼作为目标眼睛；或者

S123、响应于在绝对坐标下偏移角度小于0°，确定出人脸模型中的右眼作为目标眼睛。

需要说明的是，本申请记载的绝对坐标即以如图3A所示出的头部中心为坐标原点建立三维直角坐标系。换言之，当拍摄目标人员的摄像头正对目标人员时，如果目标人员的头部姿态没有发生偏移，那么头部姿态在yaw方向、pitch方向、roll方向的旋转角均为0°，如果目标人员的头部姿态在yaw方向、pitch方向或者roll方向中的任一方向上发生偏移，那么在该方向上的偏移角度即不为0°。当拍摄目标人员的摄像头不是位于正对目标人员的位置时，目标人员头部姿态的偏移角度可通过坐标转换的方式转换为本申请上述记载的绝对坐标小的偏移角度。

具体而言，在步骤S121中根据步骤S110中获取的人脸模型确定出头部姿态在yaw方向的偏移角度。然后在步骤S122和步骤S123中根据在yaw方向的偏移角度确定人脸模型中的左眼或者右眼作为目标眼睛。

如图3A和3B所示，当在yaw方向上的偏移角度大于0°时，在人脸模型中，其面部相对于Y轴的正方向以逆时针方向旋转，说明此时目标人员的头部向右偏转。换言之，在人脸模型中，目标人员的右眼图像可能出现相对较大的畸变，而目标人员的左眼图像则不会出现畸变，或者出现相对较小的畸变。此时，将人脸模型中的左眼确定为目标眼睛，以该目标眼睛确定目标人员是否处于疲劳状态。

同理，如图3A和图3B所示，当在yaw方向上的偏移角度小于0°时，在人脸模型中，其面部相对于Y轴的正方向以顺时针方向旋转，说明此时目标人员的头部向左偏转。换言之，在人脸模型中，目标人员的左眼图像可能出现相对较大的畸变，而目标人员的右眼图像则不会出现畸变，或者出现相对较小的畸变。此时，将人脸模型中的右眼确定为目标眼睛，以该目标眼睛确定目标人员是否处于疲劳状态。

如图3A所示，当在yaw方向上的偏移角度等于0°时，在人脸模型中，其面部相对于Y轴的正方向没有旋转。换言之，人脸模型中目标人员的左眼图像和右眼图像均不会出现畸变，或者出现相对较小的畸变。此时，将人脸模型中的左眼或者右眼确定为目标眼睛，以该目标眼睛确定目标人员是否处于疲劳状态。

S130

在步骤S120中将人脸模型中的左眼或右眼确定为目标眼睛后，在步骤S130中，根据目标眼睛的状态确定出目标人员是否处于疲劳状态。

在一些实施方式中，如图5所示，步骤S130包括：

S131、基于人脸模型确定出目标眼睛的外眼角的角度值；

S132、获取用于表征目标人员处于非疲劳状态的眼睛角度阈值；以及

S133、根据目标眼睛的外眼角的角度值与眼睛角度阈值的关系确定出目标人员是否处于疲劳状态。

眼睛的状态可包括眼睛的开合状态。眼睛的开合状态通常采用眼睛的纵横比(宽高比)进行判断，然而当目标人员的头部姿态发生偏移时，如图3B所示，在2D维度下计算眼睛的纵横比会有较大的误差，从而引起疲劳状态的误判或者漏判。本申请的上述方案摒弃相关技术中采用眼睛的纵横比表征眼睛的状态的方法，创造性地提出采用眼睛眼角的角度表征眼睛的状态，由于眼睛的眼角尤其是外眼角所占的区域较小，在2D维度下畸变量也较小，而且，当目标人员的头部姿态在yaw方向发生偏移时，总会有一只眼睛靠近0°，意味着该眼睛的图像畸变较小。因此，采用眼睛的眼角表征眼睛的状态可提高疲劳状态识别的准确性，可至少解决由于头部姿态角发生变化时导致眼睛状态判断准确率下降的问题，从而在一定程度上避免疲劳状态的误判或者漏判。

具体而言，如图6所示，步骤S131中基于人脸模型确定出目标眼睛的外眼角的角度值包括：

S1311、确定出人脸模型中的人脸特征关键点，人脸特征关键点至少包括用于定位出眼睛区域的眼部特征关键点；以及

S1312、基于眼部特征关键点确定出目标眼睛的外眼角的角度值。

在步骤S1311中，根据步骤S110中获取到人脸模型确定出该人脸模型的人脸特征关键点。可选的，如图3C所示，采用68点标注方案标注出该人脸模型的人脸特征关键点，它将人脸特征关键点分为内部关键点和轮廓关键点，内部关键点包含眉毛、眼睛、鼻子、嘴巴共计51个关键点，轮廓关键点包含17个关键点。其中，每一只眼睛包含6个关键点，具体为采用序号为37至42的6个关键点标注出左眼，采用序号为43至48的6个关键点标注出右眼。

需要说明的是，为了进一步提高疲劳状态判断的准确性，人脸特征关键点也可适应性地采用98点标注方案、106点标注方案或者186点标注方案，对此本申请不做限制。

在步骤S1312中，基于序号37至42的6个关键点确定出左眼的外眼角的角度值，基于序号43至48的6个关键点确定出右眼的外眼角的角度值，参照图3C所示。

在一些实施方式中，如图7所示，步骤S1312包括：

S13121、确定出眼部特征关键点中用于定位目标眼睛的外眼角的三个关键点；以及

S13122、根据三个关键点，基于三角形原理确定出目标眼睛的外眼角的角度值。

具体而言，如图3C所示，在步骤S13121中确定出序号37、38和42这三个用于定位左眼的外眼角的关键点，或者确定出序号45、46和47这三个用于定位右眼的外眼角的关键点。然后在步骤S13122中，确定出这三个关键点中两两之间的距离，并基于三角形原理确定出左眼外眼角的角度值或者右眼外眼角的角度值。

示例性的，图3D示出了根据序号37、38和42这三个关键点确定出左眼的外眼角的角度值α的示意图。如图3D所示，在确定出序号37、38和42这三个关键点之后，可确定出这三个关键点中两两之间的距离a、b和c，进而利用余弦定理确定出左眼的外眼角的角度值α。

图3E示出了根据序号45、46和47这三个关键点确定出右眼的外眼角的角度值θ的示意图。如图3E所示，在确定出序号45、46和47这三个关键点之后，可确定出这三个关键点中两两之间的距离a’、b’和c’，进而利用余弦定理确定出右眼的外眼角的角度值θ。

在一些实施方式中，步骤S133中根据目标眼睛的外眼角的角度值与眼睛角度阈值的关系确定出目标人员是否处于疲劳状态包括：响应于目标眼睛的外眼角的角度值大于眼睛角度阈值，确定出目标人员处于非疲劳状态；或者，响应于目标眼睛的外眼角的角度值小于等于眼睛角度阈值，确定出目标人员处于疲劳状态。

具体而言，眼睛角度阈值是用于判断目标人员是否处于疲劳状态的标准。当目标眼睛的外眼角的角度值大于眼睛角度阈值时，可认为目标人员此时处于清醒的状态，可继续驾驶车辆。而当目标眼睛的外眼角的角度值小于等于眼睛角度阈值时，可认为目标人员此时处于疲劳的状态，应停止驾驶车辆，避免出现交通事故。

示例性的，当对视频流中的连续多个帧图像中的人脸模型中的目标眼睛的状态进行判断，而判断结果均为目标人员处于疲劳状态时，说明目标人员此时确实处于疲劳驾驶状态，应发出警示信号。当一段时间的视频流中只有1到2个帧图像中的人脸模型中的目标眼睛的状态的判断结果为目标人员处于疲劳状态时，可认为是由于眨眼频率过快，或是由于特殊情况下(如强风、强光)应激快速眨眼导致的，说明目标人员不是疲劳驾驶，无需发出警示信号。

在一些实施方式中，如图8所示，步骤S132包括：

S1321、确定出人脸模型是否为首次监测到的包括目标人员的面部的人脸模型；

S1322、响应于人脸模型为首次监测到的包括目标人员的面部的人脸模型，基于自当前时刻起的多个包括目标人员的面部的人脸模型确定出眼睛角度阈值；以及

S1323、响应于人脸模型为非首次监测到的包括目标人员的面部的人脸模型，根据人脸模型调取针对目标人员的眼睛角度阈值。

由于不同的人员之间具有较大的个体差异，例如有的人眼睛较大，有点人眼睛较小，那么，如果采用一固定的阈值判断疲劳状态时往往会出现误判或者漏判，因此，应根据不同的人员确定不同的阈值。

然而，同一人员在距离摄像头的位置不同时，例如与摄像头之间的距离或者相对于摄像头的角度等不同时，人脸模型中其眼睛状态也具有差异，那么，如果预先采集该人员的眼睛状态信息作为阈值判断疲劳状态时也可能会出现误判或者漏判。甚至，对于同一人员其在不同的时期驾驶车辆都有可能具有不同的眼睛状态。

基于此，本申请采用实时确定眼睛角度阈值的方案，使该眼睛角度阈值能够真实地反映出目标人员是否处于疲劳状态。

具体而言，在步骤S1321中确定出步骤S110中所获取的人脸模型是否为首次监测到的包括目标人员的面部的人脸模型。需要说明的是，此处的“首次监测”指的是在算法开始后是否第一次监测到包括目标人员的面部的人脸模型。而在获取视频流的摄像头每一次重新上电后均会重新启动实施本申请人员疲劳状态的识别方法100的算法。

在步骤S1322中为首次监测到的包括目标人员的面部的人脸模型时，基于自当前时刻起的多个包括目标人员的面部的人脸模型确定出眼睛角度阈值。在步骤S1323中为非首次监测到的包括目标人员的面部的人脸模型时，可根据人脸模型调取眼睛角度阈值。

本申请将以如下几个场景示例性地说明上述的“首次监测”和“非首次监测”。

当车辆启动后，由第一目标人员驾驶车辆，此时，实施本申请人员疲劳状态的识别方法100的算法启动，那么在步骤S1321中确定出步骤S110中所获取的人脸模型即为首次监测到的包括第一目标人员的面部的人脸模型。此时，应在步骤S1322中，基于自当前时刻起的多个包括第一目标人员的面部的人脸模型确定出针对第一目标人员的眼睛角度阈值。

当中途停车后(未熄火)，改由第二目标人员驾驶车辆，那么在步骤S1321中确定出步骤S110中所获取的人脸模型即为首次监测到的包括第二目标人员的面部的人脸模型。此时，应在步骤S1322中，基于自当前时刻起的多个包括第二目标人员的面部的人脸模型确定出针对第二目标人员的眼睛角度阈值。

当中途停车后(未熄火)，第一目标人员下车后再次上车并驾驶车辆，那么在步骤S1321中确定出步骤S110中所获取的人脸模型即为非首次监测到的包括第一目标人员的面部的人脸模型。此时，应在步骤S1323中，根据第一目标人员的人脸模型调取已经确定出的、针对第一目标人员的眼睛角度阈值。

当中途熄火停车后再次启动车辆，实施本申请人员疲劳状态的识别方法100的算法也再次启动，如果仍然由第一目标人员驾驶车辆，那么在步骤S1321中确定出步骤S110中所获取的人脸模型仍然为首次监测到的包括第一目标人员的面部的人脸模型。此时，应在步骤S1322中，基于自当前时刻起的多个包括第一目标人员的面部的人脸模型再次确定出针对第一目标人员的眼睛角度阈值。

在一些实施方式中，如图9所示，步骤S1322中基于自当前时刻起的多个包括目标人员的面部的人脸模型确定出眼睛角度阈值包括：

S13221、获取自当前时刻起预设时间内的多个包括目标人员的面部的人脸模型；

S13222、确定出每个所获取的人脸模型中的目标人员的目标眼睛的外眼角的角度值和头部姿态的偏移角度；

S13223、响应于所确定出的头部姿态满足预设条件，保存所确定出的外眼角的角度值；以及

S13224、根据所保存的多个外眼角的角度值，确定出眼睛角度阈值。

具体而言，当在步骤S1321中确定出步骤S110中所获取的人脸模型为首次监测到的包括目标人员的面部的人脸模型时，对自当前时刻起预设时间(例如10秒)之内的视频流中的帧图像进行处理，并保存相关数据。

例如，可采集大概20帧左右的帧图像，基于每一帧的帧图像构建人脸模型，并确定出每一个人脸模型中目标人员的目标眼睛的外眼角的角度值和头部姿态的偏移角度。然后以头部姿态的偏移角度为筛选条件对大概20个外眼角的角度值进行筛选，去掉不可用的数据，保存可用的数据。示例性的，头部姿态的偏移角度为筛选条件为在pitch方向、yaw方向和roll方向的偏移角度均为-30°～+30°。为了提高判断结果的准确性，还可将头部姿态在pitch方向的偏移角度的范围限制在-15°～+15°。可选的，如果可用数据的数据量很少时，可适当地延长采集时间。最后根据所保存的多个可用的外眼角的角度值，确定出眼睛角度阈值。

在一些实施方式中，根据所保存的多个外眼角的角度值，确定出眼睛角度阈值包括：确定出所保存的多个外眼角的角度值中用于表征目标人员处于睁眼状态的睁眼角度值；确定出所保存的多个外眼角的角度值中用于表征目标人员处于闭眼状态的闭眼角度值；以及根据睁眼角度值和闭眼角度值确定出眼睛角度阈值。

在一些实施方式中，采用冒泡排序的方式将所保存的多个可用的外眼角的角度值按照从小到大的顺序排序，并将其中数值最大的、第一数量的角度值的平均值作为睁眼角度值，将其中数值最小的、第二数量的角度值的平均值作为闭眼角度值。然后再对睁眼角度值和闭眼角度值求一次平均值即可作为针对目标人员的眼睛角度阈值。

可以理解的是，采用冒泡排序的方式也可将所保存的多个可用的外眼角的角度值按照从大到小的顺序排序。

示例性的，第一数量应大于第二数量。可选的，第一数量大概为10～12之间的任一整数，第二数量大概为5～7之间的任一整数。

上述方案中，采用实时确定眼睛角度阈值的方案，并在确定过程中对数据进行筛选，可解决个体差异及离摄像头不同距离时带来的眼睛状态判断准确率下降的问题，甚至无法判断的问题。

需要说明的是，虽然上述在2D维度下阐述本申请的技术方案，但是可以理解的是，本申请的上述方案也可使用在3D维度下进行疲劳状态判断的场景下。

此外，基于上述人员疲劳状态的识别方法，本申请的实施方式还提供一种电子设备，例如，服务器、云端服务器等。

图10示出了本申请的第一示例性实施方式的电子设备的结构示意图。

如图10所示，电子设备包括：至少一个处理器701；以及与至少一个处理器701通信连接的存储器702；其中，存储器存储有可被至少一个处理器701执行的指令，指令被至少一个处理器701执行，以使至少一个处理器701能够执行上述实施方式提及的人员疲劳状态的识别方法。其中，电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

图11示出了本申请的第二示例性实施方式的电子设备的结构示意图。

如图11所示，电子设备还可例如包括：I/O接口703、输入单元704、输出单元705、通信单元706、只读存储器(ROM)707和随机存取存储器(RAM)708。具体地，处理器701可根据存储在ROM707中的计算机程序或者从存储器702加载到RAM708中的计算机程序，来执行各种适当的动作和处理。在RAM708中，还可存储电子设备操作所需的各种程序和数据。处理器701、ROM707以及RAM708通过总线709彼此相连。I/O接口(输入/输出接口)703也连接至总线709。

电子设备中的多个部件连接至I/O接口703，包括：输入单元704，例如键盘、鼠标等；输出单元705，例如各种类型的显示器、扬声器等；存储器702，例如磁盘、光盘等；以及通信单元706，例如网卡、调制解调器、无线通信收发机等。通信单元706允许电子设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器701可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器701执行上文所描述的各个方法和处理，例如人员疲劳状态的识别方法。例如，在一些实施例中，人员疲劳状态的识别方法可被实现为计算机软件程序，其被有形地包含于计算机可读存储介质，例如存储器702。在一些实施例中，计算机程序的部分或者全部可以经由ROM707和/或通信单元706而被载入和/或安装到电子设备上。当计算机程序加载到RAM708并由处理器701执行时，可以执行上文描述的人员疲劳状态的识别方法的一个或多个步骤。备选地，在其他实施例中，处理器701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行人员疲劳状态的识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。上述程序代码可以封装成计算机程序产品。这些程序代码或计算机程序产品可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器701执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在计算机上执行、部分地在计算机上执行，作为独立软件包部分地在计算机上执行且部分地在远程计算机上执行或完全在远程计算机或服务器上执行。

电子设备的具体描述及有益效果，可以参考上述人员疲劳状态的识别方法的描述，不再赘述。

此外，这里需要指出的是：本申请另一方面还提供了一种计算机可读存储介质，且所述计算机可读存储介质中存储有前文提及的人员疲劳状态的识别方法所执行的计算机程序，且所述计算机程序包括程序指令，当所述处理器执行所述程序指令时，能够执行前文所述人员疲劳状态的识别方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上描述仅为本申请的实施方式以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的保护范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离技术构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (15)

1.一种人员疲劳状态的识别方法，其特征在于，包括：

获取包括目标人员的面部的人脸模型；

确定出所述人脸模型中的头部姿态的偏移角度，并根据所述偏移角度将所述人脸模型中的左眼或右眼确定为目标眼睛；以及

根据所述目标眼睛的状态确定出所述目标人员是否处于疲劳状态。

2.根据权利要求1所述的识别方法，其中，获取包括目标人员的面部的人脸模型包括：

获取视频流中包括所述目标人员的面部的帧图像；以及

基于预先训练好的用于构建人脸模型的算法构建针对所述目标人员的面部的人脸模型。

3.根据权利要求1所述的识别方法，其中，确定出所述人脸模型中的头部姿态的偏移角度包括：

确定出所述人脸模型中的头部姿态在yaw方向的偏移角度；

其中，根据所述偏移角度将所述人脸模型中的左眼或右眼确定为目标眼睛包括：

响应于在绝对坐标下所述偏移角度大于等于0°，确定出所述人脸模型中的左眼作为目标眼睛；或者

响应于在绝对坐标下所述偏移角度小于0°，确定出所述人脸模型中的右眼作为目标眼睛。

4.根据权利要求1-3任一所述的识别方法，其中，根据所述目标眼睛的状态确定出所述目标人员是否处于疲劳状态包括：

基于所述人脸模型确定出所述目标眼睛的外眼角的角度值；以及

根据所述目标眼睛的外眼角的角度值确定出所述目标人员是否处于疲劳状态。

5.根据权利要求4所述的识别方法，其中，基于所述人脸模型确定出所述目标眼睛的外眼角的角度值包括：

确定出所述人脸模型中的人脸特征关键点，所述人脸特征关键点至少包括用于定位出眼睛区域的眼部特征关键点；以及

基于所述眼部特征关键点确定出所述目标眼睛的外眼角的角度值。

6.根据权利要求5所述的识别方法，其中，基于所述眼部特征关键点确定出所述目标眼睛的外眼角的角度值包括：

确定出所述眼部特征关键点中用于定位所述目标眼睛的外眼角的三个关键点；以及

根据所述三个关键点，基于三角形原理确定出所述目标眼睛的外眼角的角度值。

7.根据权利要求4所述的识别方法，其中，基于所述人脸模型确定出所述目标眼睛的外眼角的角度值之后，所述识别方法还包括：

获取用于表征所述目标人员处于非疲劳状态的眼睛角度阈值；

其中，根据所述目标眼睛的外眼角的角度值确定出所述目标人员是否处于疲劳状态包括：

响应于所述目标眼睛的外眼角的角度值大于所述眼睛角度阈值，确定出所述目标人员处于非疲劳状态；或者，

响应于所述目标眼睛的外眼角的角度值小于等于所述眼睛角度阈值，确定出所述目标人员处于疲劳状态。

8.根据权利要求7所述的识别方法，其中，获取用于表征所述目标人员处于非疲劳状态的眼睛角度阈值包括：

确定出所述人脸模型是否为首次监测到的包括所述目标人员的面部的人脸模型；以及

响应于所述人脸模型为首次监测到的包括所述目标人员的面部的人脸模型，基于自当前时刻起的多个包括所述目标人员的面部的人脸模型确定出所述眼睛角度阈值。

9.根据权利要求8所述的识别方法，其中，基于自当前时刻起的多个包括所述目标人员的面部的人脸模型确定出所述眼睛角度阈值包括：

获取自当前时刻起预设时间内的多个包括所述目标人员的面部的人脸模型；

确定出每个所获取的人脸模型中的所述目标人员的目标眼睛的外眼角的角度值和头部姿态的偏移角度；

响应于所确定出的头部姿态满足预设条件，保存所确定出的外眼角的角度值；以及

根据所保存的多个外眼角的角度值，确定出所述眼睛角度阈值。

10.根据权利要求9所述的识别方法，其中，根据所保存的多个外眼角的角度值，确定出所述眼睛角度阈值包括：

确定出所保存的多个外眼角的角度值中用于表征所述目标人员处于睁眼状态的睁眼角度值；

确定出所保存的多个外眼角的角度值中用于表征所述目标人员处于闭眼状态的闭眼角度值；以及

根据所述睁眼角度值和所述闭眼角度值确定出所述眼睛角度阈值。

11.根据权利要求10所述的识别方法，其中，确定出所保存的多个外眼角的角度值中用于表征所述目标人员处于睁眼状态的睁眼角度值包括：确定出所保存的多个外眼角的角度值中第一数量的、数值最大的角度值的平均值作为所述睁眼角度值；

确定出所保存的多个外眼角的角度值中用于表征所述目标人员处于闭眼状态的闭眼角度值包括：确定出所保存的多个外眼角的角度值中第二数量的、数值最小的角度值的平均值作为所述闭眼角度值。

12.根据权利要求11所述的识别方法，其中，所述第一数量大于所述第二数量。

13.根据权利要求7所述的识别方法，其中，获取用于表征所述目标人员处于非疲劳状态的眼睛角度阈值包括：

确定出所述人脸模型是否为首次监测到的包括所述目标人员的面部的人脸模型；以及

响应于所述人脸模型为非首次监测到的包括所述目标人员的面部的人脸模型，根据所述人脸模型调取所述眼睛角度阈值。

14.一种电子设备，其特征在于，包括：

处理器；以及

存储器，与所述处理器通讯连接；

其中，所述存储器存储有可被处理器执行的程序，当程序被所述处理器执行时，所述处理器能够执行根据如权利要求1-13任一所述的人员疲劳状态的识别方法。

15.一种可读存储介质，其特征在于，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现根据如权利要求1-13任一所述的人员疲劳状态的识别方法。