CN110826521A - 驾驶员疲劳状态识别方法、系统、电子设备和存储介质 - Google Patents

Abstract

本公开涉及计算机技术领域，提供一种驾驶员疲劳状态识别方法、系统、电子设备和存储介质。方法包括：响应于车辆的启动信号，持续获得驾驶员的红外图像；对红外图像进行人脸检测，获得驾驶员的脸部图像；对脸部图像进行人脸关键点检测，获得多个脸部关键点位置向量和驾驶员的头部姿态；根据脸部关键点位置向量，获得脸部图像中包括左眼区域、右眼区域和嘴部区域的关键区域图像，对关键区域图像进行张闭状态识别，获得驾驶员的眼部状态和嘴部状态；基于头部姿态、眼部状态和嘴部状态，当满足预定条件时判断驾驶员处于疲劳状态并发出提示信息。本公开能部署于车载嵌入式系统，在各种环境下实现准确率高、运算速度快、功耗低的驾驶员疲劳状态识别。

Description

驾驶员疲劳状态识别方法、系统、电子设备和存储介质

技术领域

本公开涉及计算机技术领域，具体地说，涉及一种驾驶员疲劳状态识别方法、系统、电子设备和存储介质。

背景技术

随着社会经济发展和城市道路的大规模建设，机动车数量剧增。相应地，交通事故的发生数量也日益增高。交通事故的主要原因之一，是由于驾驶员身体疲劳、注意力不集中等因素导致的疲劳驾驶。因此，有效检测驾驶员是否处于疲劳状态，在保障驾驶员与乘客安全方面起着至关重要的作用。

目前，部分机构与企业针对疲劳驾驶检测提出了相应的解决方案。一般流程为：通过预置在车舱内的摄像头，采集包含驾驶员面部信息的图片；根据图片进行面部定位；然后检测面部关键点，例如眼睛和嘴巴，分析眼睛和嘴巴的状态，当判断存在疲劳驾驶的情况，发出提醒信号。

现有的疲劳驾驶检测方案存在以下不足：

当行车环境变暗，如进入隧道、夜间行驶，或者驾驶员戴口罩、墨镜等情况，摄像头无法有效捕获到驾驶员的人脸，也就无法进行疲劳驾驶的监控；

当驾驶员左顾右盼时，摄像头捕捉到的是驾驶员部分的人脸，或者在驾驶员面部姿态较大的情况下，面部定位和面部关键点检测容易输出错误结果；

面部定位和面部关键点检测的算法运算量大，而车辆的运算平台为了降低用电量和发热量，一般设计为低功耗芯片，计算能力较差。这导致疲劳状态的计算结果有时间上的延迟，很难做到实时检测与提醒。

需要说明的是，在上述背景技术部分申请的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本公开提供一种驾驶员疲劳状态识别方法、系统、电子设备和存储介质，能够部署在车载嵌入式系统中，在各种环境下实现准确率高、运算速度快、功耗低的驾驶员疲劳状态识别。

本公开的第一方面提供一种驾驶员疲劳状态识别方法，包括：响应于车辆的启动信号，持续获得驾驶员的红外图像；对所述红外图像进行人脸检测，获得所述驾驶员的脸部图像；对所述脸部图像进行人脸关键点检测，获得所述脸部图像中基于人脸框位置的多个脸部关键点位置向量、以及所述驾驶员的头部姿态；根据所述脸部关键点位置向量，获得所述脸部图像中包括所述驾驶员的左眼区域、右眼区域和嘴部区域的关键区域图像，并对所述关键区域图像进行张闭状态识别，获得所述驾驶员的眼部状态和嘴部状态；以及，基于所述头部姿态、所述眼部状态和所述嘴部状态，当满足预定条件时判断所述驾驶员处于疲劳状态并发出提示信息，所述预定条件包括：所述头部姿态在第一预设时间段内持续低下；和/或所述眼部状态在第二预设时间段内持续闭合；和/或所述嘴部状态在第三预设时间段内持续张开。

在一个实施例中，所述根据所述脸部关键点位置向量的步骤之前，还包括：基于水平方向对所述脸部图像进行矫正；以及，基于矫正后的所述脸部图像对所述脸部关键点位置向量进行矫正。

在一个实施例中，所述基于水平方向对所述脸部图像进行矫正的步骤包括：根据所述脸部关键点位置向量中左眼位置向量和右眼位置向量，获得左眼与右眼的连线与所述水平方向的夹角，作为矫正角度；以及，以所述脸部图像的人脸框的中心点为旋转中心，将所述脸部图像旋转所述矫正角度。

在一个实施例中，所述基于水平方向对所述脸部图像进行矫正的步骤之后，还包括：对所述脸部图像进行直方图均衡化预处理和光照均衡化预处理。

在一个实施例中，所述对所述红外图像进行人脸检测的步骤中，基于DepthWise卷积神经网络构建的人脸检测模型对所述红外图像进行人脸检测；以及，所述人脸检测模型输出以人脸框为边界的所述脸部图像。

在一个实施例中，所述对所述脸部图像进行人脸关键点检测的步骤中，基于DepthWise卷积神经网络构建的关键点检测模型对所述脸部图像进行人脸关键点检测；以及，所述关键点检测模型输出基于所述人脸框位置的左眼位置向量、右眼位置向量、鼻尖位置向量、左嘴角位置向量和右嘴角位置向量，以及指示头部抬起或低下的所述头部姿态。

在一个实施例中，所述获得所述脸部图像中包括所述驾驶员的左眼区域、右眼区域和嘴部区域的关键区域图像的步骤包括：裁剪出所述脸部图像中的左眼区域、右眼区域和嘴部区域；以及，将裁剪出的所述左眼区域、所述右眼区域和所述嘴部区域的分辨率缩放至一预设分辨率，形成所述关键区域图像。

在一个实施例中，所述对所述关键区域图像进行张闭状态识别的步骤中，基于DepthWise卷积神经网络构建的眼部嘴部张闭识别模型对所述关键区域图像进行张闭状态识别；以及，所述眼部嘴部张闭识别模型输出指示眼部张开或闭合的眼部状态，以及指示嘴部张开或闭合的嘴部状态。

在一个实施例中，所述持续获得驾驶员的红外图像的步骤包括：通过所述车辆的红外摄像头持续摄取所述驾驶员的红外图像；以及，实时传输摄取的所述红外图像。

本公开的第二方面提供一种驾驶员疲劳状态识别系统，包括：图像获取模块，用于响应于车辆的启动信号，持续获得驾驶员的红外图像；人脸检测模块，用于对所述红外图像进行人脸检测，获得所述驾驶员的脸部图像；关键点检测模块，用于对所述脸部图像进行人脸关键点检测，获得所述脸部图像中基于人脸框位置的多个脸部关键点位置向量、以及所述驾驶员的头部姿态；眼部嘴部识别模块，用于根据所述脸部关键点位置向量，获得所述脸部图像中包括所述驾驶员的左眼区域、右眼区域和嘴部区域的关键区域图像，并对所述关键区域图像进行张闭状态识别，获得所述驾驶员的眼部状态和嘴部状态；以及疲劳状态判断模块，用于基于所述头部姿态、所述眼部状态和所述嘴部状态，当满足预定条件时判断所述驾驶员处于疲劳状态并发出提示信息，所述预定条件包括：所述头部姿态在第一预设时间段内持续低下；和/或所述眼部状态在第二预设时间段内持续闭合；和/或所述嘴部状态在第三预设时间段内持续张开。

在一个实施例中，所述驾驶员疲劳状态识别系统装设于所述车辆的嵌入式CPU中。

本公开的第三方面提供一种电子设备，包括：处理器；存储器，所述存储器中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意实施例的驾驶员疲劳状态识别方法的步骤。

本公开的第四方面提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现上述任意实施例的驾驶员疲劳状态识别方法的步骤。

本公开与现有技术相比的有益效果至少包括：

通过获得驾驶员的红外图像，使得在光线较暗、驾驶员佩戴墨镜与口罩等情况下，仍能捕获良好的、包含驾驶员脸部的图像；

通过人脸检测、人脸关键点检测、对关键区域图像进行张闭状态识别等方式，实现轻量化计算，满足高速运行、准确性和低功耗的需求；

通过判断疲劳状态时预定条件的限制，解决驾驶员左顾右盼、人脸姿势较大等原因引起的错误识别。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本公开实施例中驾驶员疲劳状态识别方法的主要步骤图；

图2示出本公开实施例中驾驶员疲劳状态识别方法的整体流程图；

图3示出本公开实施例中人脸检测模型进行人脸检测的主要步骤图；

图4示出本公开实施例中关键点检测模型进行人脸关键点检测的主要步骤图；

图5示出本公开实施例中眼部嘴部张闭识别模型进行眼睛睁闭识别的主要步骤图；

图6示出本公开实施例中眼部嘴部张闭识别模型进行嘴巴张合识别的主要步骤图；

图7示出本公开实施例中驾驶员疲劳状态识别系统的模块示意图；

图8示出本公开实施例中电子设备的结构示意图；以及

图9示出本公开实施例中计算机可读存储介质的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本公开将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。

图1示出一个实施例中驾驶员疲劳状态识别方法的主要步骤，参照图1所示，本实施例中驾驶员疲劳状态识别方法包括：S10、响应于车辆的启动信号，持续获得驾驶员的红外图像；S20、对红外图像进行人脸检测，获得驾驶员的脸部图像；S30、对脸部图像进行人脸关键点检测，获得脸部图像中基于人脸框位置的多个脸部关键点位置向量、以及驾驶员的头部姿态；S60、根据脸部关键点位置向量，获得脸部图像中包括驾驶员的左眼区域、右眼区域和嘴部区域的关键区域图像，并对关键区域图像进行张闭状态识别，获得驾驶员的眼部状态和嘴部状态；以及S70、基于头部姿态、眼部状态和嘴部状态，当满足预定条件时判断驾驶员处于疲劳状态并发出提示信息，其中预定条件包括：头部姿态在第一预设时间段内持续低下；和/或眼部状态在第二预设时间段内持续闭合；和/或嘴部状态在第三预设时间段内持续张开。

上述实施例中，步骤S10响应于车辆的启动信号即自动持续获取驾驶员的红外图像，实现整个行车过程的持续监控。由于车内场景固定，并且红外摄像仅对有温度的物体进行成像，因此步骤S10获得的驾驶员的红外图像中人脸特征会非常明显，使得在光线较暗、驾驶员佩戴墨镜与口罩等情况下，仍能捕获良好的、包含驾驶员脸部的红外图像。红外摄像可通过配置于车内前方的红外摄像头实现，当车辆启动后，通过红外摄像头持续地摄取驾驶员的红外图像，并实时地传输摄取的红外图像，以便于后续步骤对红外图像进行检测和识别。步骤S20的人脸检测、步骤S30的人脸关键点检测、以及步骤S60的关键区域张闭状态识别实现轻量化计算，满足高速运行、准确性和低功耗的需求，使得驾驶员疲劳状态识别方法可以配置于车辆的低功耗芯片中，例如车载嵌入式CPU(Central Processing Unit，中央处理器)，并实现与车机中控互连。步骤S70通过判断疲劳状态的预定条件，实现根据驾驶员的头部姿态和眼部嘴部的张闭状态联合判断驾驶员是否处于疲劳状态，避免驾驶员左顾右盼、人脸姿势较大等原因引起的错误识别。

在一个实施例中，参照图2所示驾驶员疲劳状态识别方法的整体流程，步骤S60根据脸部关键点位置向量之前，还包括S40、基于水平方向对脸部图像进行矫正，并基于矫正后的脸部图像对脸部关键点位置向量进行矫正，使矫正后的脸部图像保持水平，提高后续对矫正后关键区域的张闭状态识别的结果。

在一个具体的实施方式中，基于水平方向对脸部图像进行矫正的步骤包括：根据脸部关键点位置向量中左眼位置向量和右眼位置向量，获得左眼与右眼的连线与水平方向的夹角，作为矫正角度；以及，以脸部图像的人脸框的中心点为旋转中心，将脸部图像旋转矫正角度。例如，以脸部图像中人脸框的中心点为原点，左眼位置向量的坐标表示为(x1，y1)，右眼位置向量的坐标表示为(x2，y2)，则左眼与右眼的连线与水平方向的夹角θ为：

该夹角θ即为脸部图像需要旋转的矫正角度。接着，以检测到的人脸框的中心点为旋转中心，将脸部图像旋转θ度，即可获得基于水平方向矫正后的脸部图像。脸部图像矫正后，脸部关键点的位置相应发生变化，因此相应矫正脸部关键点位置向量。

完成脸部图像矫正后，还可以对脸部图像进行预处理，以提高脸部图像的质量。参照图2所示，步骤S40基于水平方向对脸部图像进行矫正后，还包括S50、对脸部图像进行直方图均衡化预处理和光照均衡化预处理。直方图均衡化是图像处理领域中利用图像直方图对对比度进行调整的方法，通过直方图均衡化，可以增强局部的对比度而不影响整体的对比度，经过直方图均衡化预处理的脸部图像更突出脸部关键区域，方便后续对脸部关键区域的状态识别。光照均衡化可以减少光照不均对人脸成像质量的影响，提高脸部图像的质量。

在一个实施例中，步骤S20采用基于DepthWise卷积神经网络构建的人脸检测模型对红外图像进行人脸检测，以获得驾驶员的脸部图像。具体来说，将驾驶员的红外图像输入基于DepthWise卷积神经网络构建的人脸检测模型中，该人脸检测模型经计算后输出人脸框为边界的脸部图像。人脸框是一个矩形框，以人脸框为边界的脸部图像准确包含了驾驶员的人脸图像。

其中，DepthWise卷积指逐图像通道卷积。基于DepthWise卷积神经网络构建一个轻量化卷积模块，作为人脸检测模型，可以在车载嵌入式CPU上实现毫秒级检测。该轻量化卷积模块包括DepthWise卷积、普通卷积和1×1卷积。参照图3所示，该人脸检测模型对红外图像进行人脸检测的步骤包括S201、图像输入，即将驾驶员的红外图像输入人脸检测模型中；S202、轻量化卷积1，......，S20N、轻量化卷积N，是人脸检测模型对输入的红外图像进行卷积计算的过程；以及S206、输出人脸检测结果，即人脸检测模型经计算后输出人脸框为边界的脸部图像。

在一个实施例中，步骤S30采用基于DepthWise卷积神经网络构建的关键点检测模型对脸部图像进行人脸关键点检测，以获得脸部图像中基于人脸框位置的多个脸部关键点位置向量、以及驾驶员的头部姿态。具体来说，将驾驶员的脸部图像输入基于神经网络构建的关键点检测模型中，该关键点检测模型计算后输出基于人脸框位置的左眼位置向量、右眼位置向量、鼻尖位置向量、左嘴角位置向量和右嘴角位置向量。左眼位置向量、右眼位置向量、鼻尖位置向量、左嘴角位置向量和右嘴角位置向量均是以人脸框的中心点为原点的二维向量，分别代表了驾驶员的左眼、右眼、鼻尖、左嘴角和右嘴角在脸部图像中的横纵坐标。进一步的，在获得脸部关键点后，可以通过该关键点检测模型实现脸部图像和脸部关键点位置向量的矫正。以及，该关键点检测模型根据鼻子关键点与眼睛关键点、嘴部关键点和脸部轮廓关键点的位置关系，计算头部抬起、低下、左转、右转等头部姿势，最终输出指示驾驶员头部抬起或低下的头部姿态。

其中，关键点检测模型是一个基于DepthWise的轻量化的神经网络，构建一个轻量化卷积模块作为关键点检测模型，可以在车载嵌入式CPU上实现毫秒级检测。该轻量化卷积模块包括DepthWise卷积、普通卷积和1×1卷积。参照图4所示，该关键点检测模型对脸部图像进行人脸关键点检测的步骤包括S301、图像输入，即将驾驶员的脸部图像输入关键点检测模型中；S302、轻量化卷积1，......，S30N、轻量化卷积N，是关键点检测模型对输入的脸部图像进行卷积计算的过程；以及S306、输出人脸关键点检测结果，即关键点检测模型经计算后输出驾驶员的多个脸部关键点的位置向量以及基于驾驶员的多个脸部关键点计算获得的头部姿态。

在一个实施例中，获得脸部图像中包括驾驶员的左眼区域、右眼区域和嘴部区域的关键区域图像的步骤包括：裁剪出脸部图像中的左眼区域、右眼区域和嘴部区域；以及将裁剪出的左眼区域、右眼区域和嘴部区域的分辨率缩放至一预设分辨率，形成关键区域图像。具体来说，根据矫正和预处理后的脸部图像和脸部关键点位置向量，裁剪出脸部图像中的左眼区域、右眼区域和嘴部区域三个区域图像，并将三个裁剪出的区域图像的分辨率统一缩放到一个很小的分辨率，如32*32，形成方便后续状态识别的关键区域图像。

在一个实施例中，步骤S60中采用基于DepthWise卷积神经网络构建的眼部嘴部张闭识别模型对关键区域图像进行张闭状态识别，以获得驾驶员的眼部状态和嘴部状态。具体来说，将关键区域图像输入基于神经网络构建的眼部嘴部张闭识别模型中，该眼部嘴部张闭识别模型计算后输出指示眼部张开或闭合的眼部状态，以及指示嘴部张开或闭合的嘴部状态。

其中，眼部嘴部张闭识别模型是一个基于DepthWise轻量化的神经网络，可以在车载嵌入式CPU上实现毫秒级识别。该眼部嘴部张闭识别模型包括眼睛睁闭识别模块和嘴巴张合识别模块。参照图5所示，眼睛睁闭识别模块进行眼睛睁闭识别的步骤包括S6011、眼睛图像输入，即将包括驾驶员的左眼区域和右眼区域的关键区域图像输入眼部嘴部张闭识别模型中；S6012、轻量化卷积1，......，S601N、轻量化卷积N，是眼睛睁闭识别模块对输入的关键区域图像进行卷积计算的过程；以及S6016、输出眼睛睁闭结果，即眼睛睁闭识别模块经计算后输出指示驾驶员眼部张开或闭合的眼部状态。参照图6所示，嘴巴张合识别模块进行嘴巴张合识别的步骤包括S6021、嘴巴图像输入，即将包括驾驶员的嘴部区域的关键区域图像输入眼部嘴部张闭识别模型中；S6022、轻量化卷积1，......，S602N、轻量化卷积N，是嘴巴张合识别模块对输入的关键区域图像进行卷积计算的过程；以及S6026、输出嘴巴张合结果，即嘴巴张合识别模块经计算后输出指示驾驶员嘴部张开或闭合的嘴部状态。

在一个实施例中，步骤S70中进行驾驶员疲劳状态判断的预定条件可以根据需要设定，例如根据驾驶员连续两秒钟的嘴部和眼部张闭状态及头部姿态进行联合判断，若驾驶员的任意一只眼睛在连续的两秒钟内都处于闭合的状态，或驾驶员的嘴部在连续的两秒钟内都处于张开的状态，或驾驶员的头部在连续的两秒钟内都处于低下的姿态，则认为驾驶员属于疲劳驾驶，向车机中控发送信号，提示驾驶员及时休息。

上述的驾驶员疲劳状态识别方法，能在黑暗、遮挡等情况下准确捕捉驾驶员的完整脸部图像；通过人脸检测、人脸关键点检测和关键区域状态识别实现轻量化计算，满足低功耗需求；通过判断疲劳状态时预定条件的限制避免驾驶员左顾右盼、人脸姿势较大等原因引起的错误识别；具有运行速度快、疲劳识别准确率高、算法鲁棒性好等特点，非常适合在车载嵌入式系统中部署。

本公开实施例还提供一种驾驶员疲劳状态识别系统，参照图7所示，本实施例中驾驶员疲劳状态识别系统主要包括：图像获取模块301，用于响应于车辆的启动信号，持续获得驾驶员的红外图像；人脸检测模块302，用于对红外图像进行人脸检测，获得驾驶员的脸部图像；关键点检测模块303，用于对脸部图像进行人脸关键点检测，获得脸部图像中基于人脸框位置的多个脸部关键点位置向量、以及驾驶员的头部姿态；眼部嘴部识别模块306，用于根据脸部关键点位置向量，获得脸部图像中包括驾驶员的左眼区域、右眼区域和嘴部区域的关键区域图像，并对关键区域图像进行张闭状态识别，获得驾驶员的眼部状态和嘴部状态；以及疲劳状态判断模块307，用于基于头部姿态、眼部状态和嘴部状态，当满足预定条件时判断驾驶员处于疲劳状态并发出提示信息，预定条件包括：头部姿态在第一预设时间段内持续低下；和/或眼部状态在第二预设时间段内持续闭合；和/或嘴部状态在第三预设时间段内持续张开。

其中，图像获取模块301可用于执行上述驾驶员疲劳状态识别方法实施例的步骤S10，人脸检测模块302可用于执行上述驾驶员疲劳状态识别方法实施例的步骤S20及其子步骤，关键点检测模块303可用于执行上述驾驶员疲劳状态识别方法实施例的步骤S30及其子步骤，眼部嘴部识别模块306可用于执行上述驾驶员疲劳状态识别方法实施例的步骤S60及其子步骤，疲劳状态判断模块307可用于执行上述驾驶员疲劳状态识别方法实施例的步骤S70。在其他实施例中，驾驶员疲劳状态识别系统还包括用于执行上述驾驶员疲劳状态识别方法实施例的步骤S40和S50的模块。

本实施例的驾驶员疲劳状态识别系统可以装设于车辆的嵌入式CPU中，通过图像获取模块301获得红外摄像头摄取的驾驶员的红外图像，使得在光线较暗、驾驶员佩戴墨镜与口罩等情况下，仍能捕获良好的、包含驾驶员脸部的图像；通过人脸检测模块302、关键点检测模块303和眼部嘴部识别模块306实现轻量化计算，满足高速运行、准确性和低功耗的需求；通过疲劳状态判断模块307对驾驶员的疲劳状态进行准确判断，解决驾驶员左顾右盼、人脸姿势较大等原因引起的错误识别。

本公开实施例还提供一种电子设备，包括处理器和存储器，存储器中存储有可执行指令，处理器被配置为经由执行可执行指令来执行上述实施例中的驾驶员疲劳状态识别方法的步骤。

如上所述，本公开的电子设备能够通过获得驾驶员的红外图像，使得在光线较暗、驾驶员佩戴墨镜与口罩等情况下，仍能捕获良好的、包含驾驶员脸部的图像；通过人脸检测、人脸关键点检测、对关键区域图像进行张闭状态识别等方式，实现轻量化计算，满足高速运行、准确性和低功耗的需求；通过判断疲劳状态时预定条件的限制，解决驾驶员左顾右盼、人脸姿势较大等原因引起的错误识别。

图8是本公开实施例中电子设备的结构示意图，应当理解的是，图8仅仅是示意性地示出各个模块，这些模块可以是虚拟的软件模块或实际的硬件模块，这些模块的合并、拆分及其余模块的增加都在本公开的保护范围之内。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

下面参照图8来描述本公开的电子设备400。图8显示的电子设备400仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图8所示，电子设备400以通用计算设备的形式表现。电子设备400的组件可以包括但不限于：至少一个处理单元410、至少一个存储单元420、连接不同平台组件(包括存储单元420和处理单元410)的总线430、显示单元440等。

其中，存储单元存储有程序代码，程序代码可以被处理单元410执行，使得处理单元410执行上述实施例中描述的驾驶员疲劳状态识别方法的步骤。例如，处理单元410可以执行如图1至图6所示的步骤。

存储单元420可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)4201和/或高速缓存存储单元4202，还可以进一步包括只读存储单元(ROM)4203。

存储单元420还可以包括具有一个或多个程序模块4205的程序/实用工具4204，这样的程序模块4205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线430可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备400也可以与一个或多个外部设备500通信，外部设备400可以是键盘、指向设备、蓝牙设备等设备中的一种或多种。这些外部设备400使得用户能与该电子设备400进行交互通信。电子设备400也能与一个或多个其它计算设备进行通信，所示计算机设备包括路由器、调制解调器。这种通信可以通过输入/输出(I/O)接口450进行。并且，电子设备400还可以通过网络适配器460与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器460可以通过总线430与电子设备400的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

本公开实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现上述实施例描述的驾驶员疲劳状态识别方法的步骤。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行上述实施例描述的驾驶员疲劳状态识别方法的步骤。

如上所述，本公开的计算机可读存储介质能够通过获得驾驶员的红外图像，使得在光线较暗、驾驶员佩戴墨镜与口罩等情况下，仍能捕获良好的、包含驾驶员脸部的图像；通过人脸检测、人脸关键点检测、对关键区域图像进行张闭状态识别等方式，实现轻量化计算，满足高速运行、准确性和低功耗的需求；通过判断疲劳状态时预定条件的限制，解决驾驶员左顾右盼、人脸姿势较大等原因引起的错误识别。

图9是本公开的计算机可读存储介质的结构示意图。参考图9所示，描述了根据本公开的实施方式的用于实现上述方法的程序产品600，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子包括但不限于：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备，例如利用因特网服务提供商来通过因特网连接。

以上内容是结合具体的优选实施方式对本公开所作的进一步详细说明，不能认定本公开的具体实施只局限于这些说明。对于本公开所属技术领域的普通技术人员来说，在不脱离本公开构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本公开的保护范围。

Claims (13)

1.一种驾驶员疲劳状态识别方法，其特征在于，包括：

响应于车辆的启动信号，持续获得驾驶员的红外图像；

对所述红外图像进行人脸检测，获得所述驾驶员的脸部图像；

对所述脸部图像进行人脸关键点检测，获得所述脸部图像中基于人脸框位置的多个脸部关键点位置向量、以及所述驾驶员的头部姿态；

根据所述脸部关键点位置向量，获得所述脸部图像中包括所述驾驶员的左眼区域、右眼区域和嘴部区域的关键区域图像，并对所述关键区域图像进行张闭状态识别，获得所述驾驶员的眼部状态和嘴部状态；以及

基于所述头部姿态、所述眼部状态和所述嘴部状态，当满足预定条件时判断所述驾驶员处于疲劳状态并发出提示信息，所述预定条件包括：

所述头部姿态在第一预设时间段内持续低下；和/或

所述眼部状态在第二预设时间段内持续闭合；和/或

所述嘴部状态在第三预设时间段内持续张开。

2.如权利要求1所述的驾驶员疲劳状态识别方法，其特征在于，所述根据所述脸部关键点位置向量的步骤之前，还包括：

基于水平方向对所述脸部图像进行矫正；以及

基于矫正后的所述脸部图像对所述脸部关键点位置向量进行矫正。

3.如权利要求2所述的驾驶员疲劳状态识别方法，其特征在于，所述基于水平方向对所述脸部图像进行矫正的步骤包括：

根据所述脸部关键点位置向量中左眼位置向量和右眼位置向量，获得左眼与右眼的连线与所述水平方向的夹角，作为矫正角度；以及

以所述脸部图像的人脸框的中心点为旋转中心，将所述脸部图像旋转所述矫正角度。

4.如权利要求2所述的驾驶员疲劳状态识别方法，其特征在于，所述基于水平方向对所述脸部图像进行矫正的步骤之后，还包括：

对所述脸部图像进行直方图均衡化预处理和光照均衡化预处理。

5.如权利要求1所述的驾驶员疲劳状态识别方法，其特征在于，所述对所述红外图像进行人脸检测的步骤中，基于DepthWise卷积神经网络构建的人脸检测模型对所述红外图像进行人脸检测；以及

所述人脸检测模型输出以人脸框为边界的所述脸部图像。

6.如权利要求1所述的驾驶员疲劳状态识别方法，其特征在于，所述对所述脸部图像进行人脸关键点检测的步骤中，基于DepthWise卷积神经网络构建的关键点检测模型对所述脸部图像进行人脸关键点检测；以及

所述关键点检测模型输出基于所述人脸框位置的左眼位置向量、右眼位置向量、鼻尖位置向量、左嘴角位置向量和右嘴角位置向量，以及指示头部抬起或低下的所述头部姿态。

7.如权利要求1所述的驾驶员疲劳状态识别方法，其特征在于，所述获得所述脸部图像中包括所述驾驶员的左眼区域、右眼区域和嘴部区域的关键区域图像的步骤包括：

裁剪出所述脸部图像中的左眼区域、右眼区域和嘴部区域；以及

将裁剪出的所述左眼区域、所述右眼区域和所述嘴部区域的分辨率缩放至一预设分辨率，形成所述关键区域图像。

8.如权利要求1所述的驾驶员疲劳状态识别方法，其特征在于，所述对所述关键区域图像进行张闭状态识别的步骤中，基于DepthWise卷积神经网络构建的眼部嘴部张闭识别模型对所述关键区域图像进行张闭状态识别；以及

所述眼部嘴部张闭识别模型输出指示眼部张开或闭合的眼部状态，以及指示嘴部张开或闭合的嘴部状态。

9.如权利要求1所述的驾驶员疲劳状态识别方法，其特征在于，所述持续获得驾驶员的红外图像的步骤包括：

通过所述车辆的红外摄像头持续摄取所述驾驶员的红外图像；以及

实时传输摄取的所述红外图像。

10.一种驾驶员疲劳状态识别系统，其特征在于，包括：

图像获取模块，用于响应于车辆的启动信号，持续获得驾驶员的红外图像；

人脸检测模块，用于对所述红外图像进行人脸检测，获得所述驾驶员的脸部图像；

关键点检测模块，用于对所述脸部图像进行人脸关键点检测，获得所述脸部图像中基于人脸框位置的多个脸部关键点位置向量、以及所述驾驶员的头部姿态；

眼部嘴部识别模块，用于根据所述脸部关键点位置向量，获得所述脸部图像中包括所述驾驶员的左眼区域、右眼区域和嘴部区域的关键区域图像，并对所述关键区域图像进行张闭状态识别，获得所述驾驶员的眼部状态和嘴部状态；以及

疲劳状态判断模块，用于基于所述头部姿态、所述眼部状态和所述嘴部状态，当满足预定条件时判断所述驾驶员处于疲劳状态并发出提示信息，所述预定条件包括：所述头部姿态在第一预设时间段内持续低下；和/或所述眼部状态在第二预设时间段内持续闭合；和/或所述嘴部状态在第三预设时间段内持续张开。

11.如权利要求10所述的驾驶员疲劳状态识别系统，其特征在于，所述驾驶员疲劳状态识别系统装设于所述车辆的嵌入式CPU中。

12.一种电子设备，其特征在于，包括：

处理器；

存储器，所述存储器中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9任一项所述的驾驶员疲劳状态识别方法的步骤。

13.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至9任一项所述的驾驶员疲劳状态识别方法的步骤。

Images