CN112528843A - 一种融合面部特征的机动车驾驶人疲劳检测方法 - Google Patents

Abstract

本发明提供了一种融合面部特征的机动车驾驶人疲劳检测方法，按以下步骤进行：S1、进行人脸检测并获取人脸的眼特征点、嘴特征点；S2、基于获取的人脸的眼特征点、嘴特征点分别进行每帧图像中眼睛开合度和嘴部开合度的计算，并计算出眼睛开合度呈疲劳状态和嘴部开合度呈疲劳状态各自对应的帧数占其总帧数的比值，从而确定眼睛闭合时长占比和嘴巴张开时长占比；S3、将得出的眼睛闭合时长占比和嘴巴张开时长占比作为特征向量，采用支持向量机进行面部状态的判定，确定人脸是否为疲劳状态。本检测方法可以较为准确可靠地检测出驾驶员是否疲劳，其实时性也较好。

Description

一种融合面部特征的机动车驾驶人疲劳检测方法

技术领域

本发明涉及一种人的疲劳检测方法，更具体的说，涉及一种融合面部特征的机动车驾驶人疲劳检测方法。

背景技术

在道路交通事故的频发不仅给交通运输企业造成巨大生命财产损失，而且严重影响了社会的稳定与发展。统计资料表明，80％～90％的交通事故是由驾驶人的不安全驾驶行为引起的。引起驾驶人不安全驾驶的因素主要有驾驶人注意力不集中、疲劳驾驶、违规驾驶等，其中疲劳驾驶是造成道路交通事故的主要诱发原因。因此，开展驾驶人疲劳驾驶行为检测研究，对减少交通事故的发生、维护生命财产安全具有重要的意义。

驾驶人疲劳驾驶检测大致可以分为两类：接触法检测和非接触法检测。接触法主要通过可以穿戴的传感器直接获取驾驶人的相关参数指标，由于心率、肌电、皮电、脑电、呼吸频率等参数能有效的反映驾驶人的生理状况，因此通过可穿戴式传感器直接提取驾驶人的相关参数指标即可判断驾驶人的疲劳状况。通过该方法开展研究较为成熟，检测结果有效可靠，准确率高，但是由于传感器直接穿戴在身体上，容易影响驾驶人的正常驾驶。非接触法主要是通过车辆行驶状态进行检测及基于视觉的驾驶人检测。车辆行驶状态进行检测是通过检测机动车的方向盘转角、方向盘转向力、行驶轨迹、车辆的速度等参数来间接判别驾驶人的疲劳状况。由于车辆行驶状态受到驾驶人的驾驶习惯、道路环境状况等诸多因素的影响，因此，该检测方法的可靠性和准确率不高。

由于驾驶人的疲劳状态会反映到面部特征上，如频繁的眨眼、打哈欠、点头等，因此可以通过检测这些特征指标进行疲劳判断，很多学者开展该方面的研究。例如基于MTCNN算法的疲劳驾驶检测方法，实现了疲劳驾驶的检测判定，又如用HOG算子进行人脸检测和人脸对齐，之后通过深度卷积神经网络实现了驾驶员的眼部疲劳特征的提取。此外还有人利用红外视频对戴眼镜时的眼睛状态进行了疲劳检测，识别精度较高。

在实际行车过程中，车速很快，90km/h的速度意味着每秒汽车要前进25米，因此，驾驶人疲劳检测对准确性和实时性要求特别高。当前的车内光照条件和驾驶员人脸姿态复杂多变，且疲劳驾驶检测具有重要的警示作用。由此可见，驾驶员疲劳检测方法的准确性和实时性仍亟待提升。

发明内容

本发明要解决的问题是针对现有技术中所存在的上述不足而提供一种，解决了现有技术中对驾驶员疲劳检测时准确性和实时性差的问题。

为实现上述目的，本发明采用了如下的技术方案：

一种融合面部特征的机动车驾驶人疲劳检测方法，按以下步骤进行：

S1、进行人脸检测并获取人脸的眼特征点、嘴特征点；

S2、基于获取的人脸的眼特征点、嘴特征点分别进行每帧图像中眼睛开合度和嘴部开合度的计算，并计算出眼睛开合度呈疲劳状态和嘴部开合度呈疲劳状态各自对应的帧数占其总帧数的比值，从而确定眼睛闭合时长占比和嘴巴张开时长占比；

S3、将得出的眼睛闭合时长占比和嘴巴张开时长占比作为特征向量，采用支持向量机进行面部状态的判定，确定人脸是否为疲劳状态。

本发明在具体实施时，优选地，步骤S1中，采用MTCNN网络算法进行人脸检测。

进一步地，采用背景差分法来缩小检测区域，通过原图像生成一个多尺度的图像金字塔，采用卷积核在整个图像上滑动卷积的方法来进行人脸特征的提取，图像中背景占据的空间也要进行上述操作，以便在人脸检测之前把人脸检测区域中的背景区域去除，而只在驾驶人人脸所占据的图像空间进行人脸检测。

进一步地，最小人脸检测尺寸设置为50×50。

优选地，人脸特征点检测获取时，通过构建一个多级级联的残差回归树，每一个残差回归树的每一个叶子节点上都存储着一个残差回归量，当输入落到一个节点上时，就将残差加到该输入上，起到回归的目的，最终使人脸形状从当前形状一步一步回归到真实形状。

优选地，所述眼睛开合度和嘴部开合度分别按如下公式计算：

进一步地，所述眼睛闭合时长占比以及嘴部张开时长占比按如下公式计算：f＝N_f/N_t×100％，

其中，N_f表示一段时间内驾驶人眼睛闭合或者嘴巴张开的视频帧数，N_t表示一段时间内视频总帧数。

进一步地，所述眼睛开合度采用融合左眼和右眼的开合度的方式来计算，融合左眼和右眼的开合度EAR的计算如下式：

优选地，在步骤S3中，所述支持向量机融合面部眼嘴状态的分类训练算法如下：

S31、基于获取的所述人脸的眼特征点、嘴特征点来构建训练用正负样本集，对获取的眼部和嘴部开合度，统计眼睛闭合的帧数、嘴巴张开的帧数，构建训练样本的特征向量；

S32、按照驾驶人处于正常状态和疲劳状态分别采集两状态下的特征向量，构建对应的正负样本，并建立对应的标签；

S33、对SVM分类器进行训练，当loss小于设定值0.01时训练结束。

相比于现有技术，本发明具有如下有益效果：本发明在人脸检测过程中，针对驾驶环境特点，提出运用背景差分、减少图像金字塔层数等方式对检测过程进行优化加速，在保证检测精度的同时，检测速度得到了巨大提升。同时，为了提取人脸详细的特征，采用多级级联的残差回归树对人脸进行特征点检测，得到了人脸的特征点。最后根据驾驶人面部在不同状态下的眼嘴特征，提出采用融合面部嘴、眼开合度特征的方式进行驾驶人疲劳检测判定。经实验表明，本发明的疲劳检测方法的准确率极高，且检测速度较快，又能同时满足实时性的要求。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1为MTCNN网络加速检测流程图；

图2为人脸上带编号的部分特征点的示意图；

图3-4依次为眼睛睁开及闭合时的开合度示意图；

图5-6为嘴巴张开及闭合时的张口度度示意图；

图7为眼睛开合度随时间变化的关系；

图8为嘴巴开合度随时间变化的关系；

图9为融合面部眼嘴状态的疲劳判定流程。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与作用更加清楚及易于了解，下面结合附图和具体实施方式对本发明作进一步阐述：

基于本发明的方法，本实施例提出了一种具体的融合面部特征的机动车驾驶人疲劳检测方法。本实施例主要采用MTCNN(Multi-task Cascaded Convolutional Networks)网络来实现人脸的快速检测，并通过背景差分、减少金字塔层数等算法来提升检测的速度，然后通过残差回归树(GBDT)算法实现人脸的68个关键特征点检测，获得驾驶人眼、嘴部的关键特征点，最后通过相应判定算法实现疲劳驾驶检测的方法，并在实车上进行了测试验证。具体地，本实施例的人脸检测及特征点定位如下：

MTCNN网络算法是一种针对人脸检测的算法，检测性能好，非常适合驾驶人的人脸检测。本实施例采用该算法进行人脸的检测。MTCNN算法模型分为四个阶段，第一阶段是将原始图像生成多尺度图像金字塔，作为后续网络的输入，第二阶段为P-Net网络，通过一个浅层的CNN网络快速产生一系列的候选窗口；第三阶段为R-Net网络，通过一个能力更强的CNN网络过滤掉绝大部分非人脸候选窗口；第四阶段为O-Net网络，通过一个能力更加强的网络输出最终的人脸窗口并标记五个特征点。具体实施时，优选地，为了得到更多的特征点，以便提取面部的嘴眼特征，本实施例将采用残差回归树的方法进行人脸特征点的检测获取。其采用的具体背景差分法缩小检测区域的方法为：对驾驶人的人脸检测与在其它场合的人脸检测最大的区别就是驾驶人始终是在一个固定的背景下。因为检测驾驶人面部特征的摄像头相对于驾驶室固定，因此，尽管驾驶人可能有摇头、低头等姿态变化，但背景基本上是不会变化的。在上述的算法中，通过原图像生成一个多尺度的图像金字塔，采用卷积核在整个图像上滑动卷积的方法来进行人脸特征的提取，图像中背景占据的空间也要进行上述操作。因此，如果提前把人脸检测的区域去除背景，只在驾驶人所占据的图像空间进行人脸检测，可以有效的提升检测的效率。本实施例采用背景差分法来缩小检测区域，具体流程如图1所示。

同时，虽然多尺度图像金字塔可以很好的检测到不同尺度的人脸，但其缺点也非常明显，就是耗时增大，主要是因为生成多尺度图像金字塔本身就较慢，而且每张图像都要输入网络模型，相当于多次执行网络模型，这对于实时性检测的要求是不相符的。影响金字塔层数的参数有最小人脸尺寸和缩放因子。由于驾驶人是驾驶座位附近晃动，相对于摄像头的距离变化不会太大，人脸的尺寸变化也不会太大，因此，可以通过调整最小人脸尺寸来提升检测速度。由于经多次实验，经过背景差分法缩小检测区域后，包含人脸的区域大小约为400×400，考虑到驾驶人后仰可能会造成距离摄像头较远，人脸区域较小，最小人脸检测尺寸设置为50×50，MTCNN网络中用于检测人脸的最小尺寸为12×12，经过计算，最终生成了3层图像金字塔，提升了检测的速度。通过采取以上措施，在保证检测准确度的情况下，检测效率与之前相比提升了258％。

本实施例在人脸的特征点提取时，由于人的疲劳特征主要通过眼睛、嘴巴等体现出来，因此，在检测到人脸后需进行人眼、嘴巴等特征点的检测。人脸特征点检测采用构建一个多级级联的残差回归树(GBDT)，每一个GBDT的每一个叶子节点上都存储着一个残差回归量，当输入落到一个节点上时，就将残差加到该输入上，起到回归的目的，最终使人脸形状从当前形状一步一步回归到真实形状。该方法可以检测到人脸面部的68个特征点，这些关键特征点按一定的顺序排列，检测效果及特征点具体见图2和表1所示：

表1面部各特征对应的特征点序号

在驾驶人疲劳特征及判定时，驾驶人在驾驶过程中，需要时刻注意道路周围的环境及路况情况，以便及时做出反应，因此，注意力时刻处于高度集中状态，且驾驶过程极为枯燥，因此很容易导致身体疲劳。研究表明，当人处于疲劳状态时，会出现眨眼睛频率显著降低、眼睛开合度变小等现象，因此利用眼睛的状态可以作为判断驾驶人是否处于疲劳状态的一个依据。同样，驾驶人疲劳时人体血液中氧气的含量降低，大脑没有足够的精力，此时人体将通过深吸气打哈欠的方式获得更多的氧气来缓解疲劳，因此嘴型的状态也可以作为判断驾驶人是否处于疲劳状态的一个依据。

作为具体实施细节，其中，人眼疲劳的特征可以用眼睛开合度和眼睛闭合时占比来表示。本实施例利用如图3-4所示的眼睛长宽比(eye aspect ration，EAR)判断驾驶人的疲劳状态，当驾驶人没有疲劳时，人的眼睛处于正常睁开状态，此时EAR值基本固定不变，在某个值上下波动，当驾驶人疲劳时，人的眼睛处于闭合状态，此时EAR迅速变小，接近于零。EAR的计算如下式：

由于人眼在睁开或者闭合时左右两个眼睛是同步的，很少出现睁一只眼闭一只眼的情况，因此，一些学者采用一只眼睛的开合度来进行疲劳状态判定。为了提升算法的鲁棒性，更准确的判断人眼的开合度，本实施例采用融合左右眼的开合度的方式来计算。上式是采用左侧眼睛的特征点计算EAR值。下式是融合左右眼的特征点计算EAR值。下标为眼睛周围的特征点序号。

眼睛开合度无法直接判定驾驶疲劳状态，因为驾驶人在正常的驾驶过程中会出现眨眼的动作，而在眨眼时眼睛的开合度是很小的。由于疲劳时眼睛闭合会持续一定的时间(采用视频的帧数来表述，如图7所示)，卡内基梅隆研究所提出了判定驾驶人疲劳或打瞌睡的物理量PERCLOS(Percentage of Eyelid Closure over the Pupil，over Time)，其含义为单位时间内眼睛闭合时长所占的比例(70％或80％)所占的时间。目前，PERCLOS方法有三种判断疲劳的不同准则，分别E准则、P70准则、P80准则，考虑到当驾驶人注意力特别集中时也可能会有眼睛闭合比例超过50％甚至70％的可能，所以本实施例采用的是P80准则，即眼睛闭时长的比例超过80％判定为处于疲劳状态。由于视频帧获取的驾驶人面部信息在时间上具有连续性，因此可以利用驾驶人眼睛闭合的帧数所占视频总帧数的比例来近似计算PERCLOS：

f＝N_f/N_t×100％ (3)，其中，N_f表示一段时间内驾驶人眼睛闭合的视频帧数，N_t表示一段时间内视频总帧数。

本实施例所给出的方法中，对于嘴部疲劳的特征的处理，具体而言，驾驶人在打哈欠时的嘴部上下嘴唇间距变大，嘴角左右宽度向嘴巴中心收缩，间距变小。虽然笑和说话的时候嘴部张开高度也会变大，但是宽度并不会明显减小，甚至在笑的时候嘴部的宽度会变大，因此可以采用嘴巴的开合度来判定打哈欠。为避免因嘴唇厚度不同带来的判别误差，如图5-6，本实施例提出采用嘴部内轮廓开合度特征的方法来进行疲劳判定。通过计算62、64、66、68的纵坐标、49、55的横坐标来计算嘴巴的张口度。同眼睛相类似方法，利用下列公式(4)求嘴部的开合度，研究表明，驾驶人在正常情况下嘴部一般呈闭合状态，张开度较小，介于0和0.2之间；当处于疲劳状态打呵欠时，嘴部张开度较大，一般情况下大于0.4。本实施例选取0.4作为判定嘴巴张开的阈值。

同样地，仅通过驾驶人的嘴巴张开度是无法准确的进行疲劳判定的，要把打哈欠和正常的说话或吃东西区分开来。打呵欠和说话时嘴部张开持续的时间是不一样的，打呵欠时张嘴持续时间较长，张嘴所占的视频帧数较多，而说话或吃东西时嘴巴张开所占的视频帧数较少。打哈欠持续的时间也可以借用公式(3)，采用一段时间内嘴巴张开持续的帧数来近似表示，如图8所示。

本实施例的方法中又一特别之处在于，为准确判定驾驶人是否处于疲劳状态，需要进行融合面部眼嘴状态特征进行判定。很多学者要么直接采用眼部和嘴部的图片数据集通过深度学习网络、SVM等进行面部眼嘴状态特征的识别，要么仅仅采用眼部特征进行疲劳判定，由于采用图片的形式提取特征，在时间耗费上会大大增加，不利于在线实时的检测，仅采用眼部特征又容易漏检，导致疲劳判定不准确。本实施例提出采用融合眼部和嘴部单位时间内闭合或张开的时长占比作为特征向量，采用支持向量机(SVM)来进行面部状态的判定。支持向量机有较强的泛化能力和分类能力，在样本较小时具有显著优势。本实施例构造的特征维数不多，选用linear作为SVM的核函数。SVM分类器的训练计算时，融合面部眼嘴状态的SVM分类训练算法为：

首先，获取面部特征，采用本实施例的人脸检测及特征点定位方法获取眼、嘴部的特征点。构建训练用正负样本集，对获取的眼部和嘴部开合度，统计眼睛闭合的帧数、嘴巴张开的帧数，构建训练样本的特征向量。按照驾驶人处于正常状态和疲劳状态分别采集特征向量，构建正负样本，并建立对应的标签。最后，对SVM分类器进行训练，当loss小于设定值0.01时训练结束。运用训练好的SVM模型开展驾驶人面部疲劳状态判定时，其具体流程如图9所示。为了客观地实验及分析本方法的准确可靠性，本实施例还给出了以下试验分析实例：

本实施例的实验环境如下：CPU为Intel(R)Cor(TM)i7-8750H@2.20GHz，内存为16GB，显卡为GeForce GTX1070，操作系统及环境为win10、框架为TensorFlow，语言python。图像采集摄像头分辨率为640＊480。为了验证本实施例提出的融合面部特征的机动车驾驶人疲劳检测方案能否达到预期效果，分别从以下几个方面进行了实验分析。

其一，人脸检测加速前后的耗时对比。本实施例采用的图像大小为640＊480，经背景差分后的图像大小约为400＊400。由于背景差分后的驾驶人头所占空间比较大，且考虑驾驶人在驾驶过程中会远离摄像头，按最远的距离来算，最小人脸检测大小设置为50＊50，图像金字塔层数经计算为3层。测试的耗时效果如下表所示。可见经本实施例提出的加速方法后，人脸检测速度有了明显的提升。下表2为人脸检测加速前后的耗时对比：

其二，疲劳检测全过程耗时对比。为验证本实施例疲劳检测全过程耗时，本实施例算法处理一帧图片各模块的平均耗时如表3所示。由下表可以看出，本实施例提出的融合面部眼嘴状态的疲劳判定方法，对于每帧图像的疲劳检测平均耗时64ms，按摄像头15帧/秒来算，基本可以满足实时性的要求。下表3疲劳检测全过程耗时对比：

序号	疲劳检测环节	平均耗时/s
			1	图像读取及处理	0.0049
2	人脸检测	0.0469
			3	特征点定位	0.0027
4	疲劳状态判定	0.0095
			5	总时长	0.0640

其三，疲劳状态判定分析。为验证本实施例疲劳状态判定的准确性，分别单独通过眼睛状态、嘴部状态及本实施例提出了融合面部特征的疲劳判定进行测试。测试前先对SVM分类器进行训练，分别采集驾驶人处于疲劳状态时和正常状态时的眼、嘴部状态特征值，建立特征向量，考虑到驾驶过程中速度很快(按90km/h的速度算，每秒汽车要前进25米)，驾驶人一旦出现疲劳状态，驾驶过程都将会处于危险状态，所以本实施例只判断驾驶人是处于疲劳状态还是正常状态，对于疲劳状态不再进行细分，所以建立样本时只需建立正负样本并给出对应的标签即可。SVM分类器训练完毕后即可进行疲劳状态测试，采集5段包含不同光照条件下，是否戴眼镜、不同年龄的驾驶人从正常驾驶状态到出现疲劳驾驶状态的视频，每段视频包含眼睛的正常眨眼睛、嘴部的说话行为。测试效果如表4所示。下表4为疲劳状态判定准确率分析对比：

从表4可以看出，对于驾驶人的嘴部疲劳行为都能检测出来，眼部的疲劳行为由于样本中有戴眼睛的情况，可能是镜片的反光导致的漏检。经眼部和嘴部特征融合后的准确率为95.4％。

综上可知，本实施例提出的融合面部特征的机动车驾驶人疲劳检测方法，在人脸检测过程中，针对驾驶环境特点，提出运用背景差分、减少图像金字塔层数等方式对检测过程进行优化加速，在保证检测精度的同时，检测速度提升了258％。为了提取人脸详细的特征，采用多级级联的残差回归树对人脸进行特征点检测，得到了人脸的特征点。最后根据驾驶人面部在不同状态下的眼嘴特征，提出采用融合面部嘴、眼开合度特征的方式进行驾驶人疲劳检测判定。实验表明，该检测方法的准确率可达95.4％，且检测速度较快，能满足实时性的要求。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种融合面部特征的机动车驾驶人疲劳检测方法，其特征在于，按以下步骤进行：

S1、进行人脸检测并获取人脸的眼特征点、嘴特征点；

S2、基于获取的人脸的眼特征点、嘴特征点分别进行每帧图像中眼睛开合度和嘴部开合度的计算，并计算出眼睛开合度呈疲劳状态和嘴部开合度呈疲劳状态各自对应的帧数占其总帧数的比值，从而确定眼睛闭合时长占比和嘴巴张开时长占比；

S3、将得出的眼睛闭合时长占比和嘴巴张开时长占比作为特征向量，采用支持向量机进行面部状态的判定，确定人脸是否为疲劳状态。

2.根据权利要求1所述融合面部特征的机动车驾驶人疲劳检测方法，其特征在于，步骤S1中，采用MTCNN网络算法进行人脸检测。

3.根据权利要求2所述融合面部特征的机动车驾驶人疲劳检测方法，其特征在于，采用背景差分法来缩小检测区域，通过原图像生成一个多尺度的图像金字塔，采用卷积核在整个图像上滑动卷积的方法来进行人脸特征的提取，图像中背景占据的空间也要进行上述操作，以便在人脸检测之前把人脸检测区域中的背景区域去除，而只在驾驶人人脸所占据的图像空间进行人脸检测。

4.根据权利要求3所述融合面部特征的机动车驾驶人疲劳检测方法，其特征在于，最小人脸检测尺寸设置为50×50。

5.根据权利要求1所述融合面部特征的机动车驾驶人疲劳检测方法，其特征在于，人脸特征点检测获取时，通过构建一个多级级联的残差回归树，每一个残差回归树的每一个叶子节点上都存储着一个残差回归量，当输入落到一个节点上时，就将残差加到该输入上，起到回归的目的，最终使人脸形状从当前形状一步一步回归到真实形状。

6.根据权利要求1所述融合面部特征的机动车驾驶人疲劳检测方法，其特征在于，所述眼睛开合度和嘴部开合度分别按如下公式计算：

7.根据权利要求6所述融合面部特征的机动车驾驶人疲劳检测方法，其特征在于，所述眼睛闭合时长占比以及嘴部张开时长占比按如下公式计算：f＝N_f/N_t×100％，其中，N_f表示一段时间内驾驶人眼睛闭合或者嘴巴张开的视频帧数，N_t表示一段时间内视频总帧数。

8.根据权利要求7所述融合面部特征的机动车驾驶人疲劳检测方法，其特征在于，所述眼睛开合度采用融合左眼和右眼的开合度的方式来计算，融合左眼和右眼的开合度EAR的计算如下式：

9.根据权利要求1所述融合面部特征的机动车驾驶人疲劳检测方法，其特征在于，在步骤S3中，所述支持向量机融合面部眼嘴状态的分类训练算法如下：

S31、基于获取的所述人脸的眼特征点、嘴特征点来构建训练用正负样本集，对获取的眼部和嘴部开合度，统计眼睛闭合的帧数、嘴巴张开的帧数，构建训练样本的特征向量；

S32、按照驾驶人处于正常状态和疲劳状态分别采集两状态下的特征向量，构建对应的正负样本，并建立对应的标签；

S33、对SVM分类器进行训练，当loss小于设定值0.01时训练结束。

Images