CN104240446A - 基于人脸识别的疲劳驾驶预警系统 - Google Patents

Abstract

本发明涉及一种基于人脸识别的疲劳驾驶预警系统，属于安全驾驶预警技术领域。包括：图像采集和转换模块、图像预处理模块、人脸检测模块、面部疲劳特征提取及跟踪模块、多疲劳特征融合模块、疲劳预警模块、数据存储模块和电源供电模块。有益效果在于：可快速的进行驾驶员人脸识别及疲劳特征提取，准确的跟踪面部疲劳特征，对面部多疲劳特征信息进行快速融合处理，在复杂背景及驾驶员面部部分遮挡的情况下，也能快速检测疲劳状态，对环境变化具有更高的鲁棒性，实现了实时的、非接触式的﹑快速准确的基于人脸识别技术的疲劳预警。实用性强。

Description

基于人脸识别的疲劳驾驶预警系统

技术领域

    本发明涉及安全驾驶预警技术领域，特别涉及疲劳驾驶预警技术领域，尤指一种基于人脸识别的疲劳驾驶预警系统。

背景技术

 交通事故统计分析表明，随着交通运输业的发展和车速的提高，交通事故已成为当前各国所面临的严重问题，而驾驶员疲劳驾驶是造成交通事故的重要原因之一。为了防止驾驶员出现疲劳驾驶，国内外的交通管理部门通常对司机进行教育来提醒驾驶员当驾驶疲劳时，为了保持警觉，应该停车休息。然而，驾驶疲劳的预防单靠教育的手段效果有限，必须利用科学的手段分析疲劳的机理，设计一套驾驶疲劳预警模块，在司机疲劳时发出警报，并采取必要的措施。因此，如何有效的防止和监督驾驶员疲劳驾驶，对于降低交通事故及人员死亡率，有着十分现实的重要意义。

目前国内外对驾驶员疲劳检测的方法有很多，可以归纳为：

（1）基于PERCLOS装置的疲劳判断

PERCLOS可以非常准确地反映疲劳状态。PERCLOS测量装置是最早能自动探测和跟踪驾驶员的睁闭眼情况，并能判断疲劳现象发生的装置。它实时跟踪监测眼睑的睁闭，根据相应的阈值提醒可能处于疲劳。PERCLOS测量装置是建立在利用摄像头捕获眼睛位置的基础上提取出眼睛的图像，并分析图像的高度来判断眼睛的睁闭。

（2）基于驾驶行为的疲劳判断

驾驶员处于疲劳状态时，驾驶姿势和驾驶行为僵化呆滞，动作迟缓。目前很多安全驾驶监控装置就是基于这个原理而研制的。较为典型的有美国Electronic Safety Products公司开发的方向盘监视装置S.A.M。这是一种监控方向盘非正常运动的传感器系统。方向盘正常工作时系统不发出警报，若方向盘超过4s不工作，监控装置就会发出报警声直至方向盘继续正常工作为止。S.A.M安装位置较为特殊，且在方向盘下面的杆上装有一条磁性带，用以监测方向盘的转动，其缺点是精度很低。

（3）基于监测驾驶员在方向盘上的握力

驾驶员趋于疲劳时，其对方向盘的握力逐渐缓慢减小。基于这个事实，美国Leavitt Larry研发了一种可以防止机动车驾驶员在驾驶过程中打瞌睡的手套。通过在手套内层中合理布置高精度压力传感器，当压力读数超出可接受范围时，激活报警系统。左手套和右手套之间的信息传送允许用任意一只手对方向盘进行控制。

当前研究比较多的是用图像处理对人脸状态实时监测，主要有基于几何特征的人脸正面图像识别方法；基于代数特征的人脸正面自动识别方法；人工神经网络识别方法；主元分析法(特征脸)、弹性图匹配方法、3D立体建模方法、奇异值特征及频谱脸等的人脸识别方法，但上述方法普遍存在着识别准确率低，过程复杂等问题。因此，从实时、快速的要求出发，综合图像处理、机器视觉及模式识别等方面的研究成果，迫切需要研究一种快速有效的驾驶员疲劳检测方法，应用于驾驶员疲劳状况的检测。

总之，研究如何利用机器视觉技术、图像处理技术、人脸识别技术和PERCLOS疲劳检测方法相结合，利用DSP技术开发出实用的、市场所能接受的驾驶员疲劳预警模块是安全驾驶监控系统的发展趋势。

发明内容

本发明的目的在于提供一种基于人脸识别的疲劳驾驶预警系统，解决现有疲劳驾驶预警系统防疲劳效果差、过程复杂等问题，最大限度的提高汽车驾驶的安全性，提高预警结果的快速性、可靠性和准确性。本发明实现了人脸的自动检测、眼睛和嘴巴的检测和跟踪及面部疲劳特征的提取，提高了系统的快速性和可靠性；完成了对复杂背景及驾驶员面部部分遮挡问题的处理，提高了系统的鲁棒性；利用眨眼频率、闭眼持续时间、PERCLOS值和打哈欠频率四种面部疲劳特征的融合来判断驾驶员的疲劳程度，提高了系统的准确性。

本发明的上述目的通过以下技术方案实现：

基于人脸识别的疲劳驾驶预警系统，包括图像采集和转换模块、图像预处理模块、人脸检测模块、面部疲劳特征提取及跟踪模块、多疲劳特征融合模块、疲劳预警模块、数据存储模块和电源供电模块；所述图像采集和转换模块中的图像采集部分主要包括2组近红外光源和一个CMOS摄像头，实时采集驾驶员面部视频图像信息；图像转换部分主要采用视频解码芯片TVP5146将模拟视频图像转换成数字视频图像。图像采集和转换模块还包括DSP数字信号处理器DM6437，人脸检测模块、面部疲劳特征提取及跟踪模块和多疲劳特征融合模块通过在数字信号处理器上采用相应的程序实现相应的功能。

所述图像预处理模块是数字视频图像在DSP数字信号处理器中采用相应的程序完成图像的去噪预处理，采用基于Contourlet变换的近红外视频图像去噪方法对其进行去噪处理，以去除面部图像的噪声。

所述人脸检测模块是对去噪处理后的面部图像在数字信号处理器中采用相应的程序

完成人脸的自动检测，将基于肤色信息和Adaboost算法相结合对人脸进行检测。特别的，当驾驶员面部出现部分遮挡的情况下，采用小波变换的方法进行处理。

所述面部疲劳特征提取及跟踪模块是在人脸检测的基础上，通过数字信号处理器采用相应的程序检测眼睛、嘴巴并提取出相应的疲劳特征图像。首先，采用灰度积分投影和模板匹配相结合的方法在人脸图像中检测眼睛，并应用自适应粒子滤波算法对眼睛进行跟踪。同时，采用“三庭五眼”法确定嘴部的位置。然后，通过计算眼睛和嘴部外接矩形的宽高比来提取面部疲劳特征图像。

所述多疲劳特征融合模块在数字信号处理器中采用相应的程序通过快速融合面部多种疲劳特征来判断驾驶员的疲劳程度。采用模糊聚类的方法快速融合眨眼频率、闭眼持续时间、PERCLOS值和打哈欠频率四种面部疲劳特征信息，判断驾驶员的疲劳程度，并将驾驶员的疲劳信息送入到疲劳预警模块和数据存储模块。

所述疲劳预警模块包括LED灯光报警、NV035B语音报警以及LCD液晶显示器。根据驾驶员的疲劳程度，发出相应的声音和灯光报警，并显示驾驶员的疲劳程度，以提高驾驶员的警觉性。

所述数据存储模块在FLASH存储器、DDR SDRAM存储器和CF卡中存储原始图像数据、人脸及面部特征提取结果及疲劳程度判断结果。

所述的电源供电模块通过电源转换模块将车载+12V电源转换成系统各用电模块所需的电源，并对系统各用电模块进行供电。

所述的面部疲劳特征提取及跟踪模块采用自适应粒子滤波算法对眼睛进行跟踪，如跟踪失败则重新检测眼睛；如跟踪成功，则采用“三庭五眼”法进行嘴巴检测。

所述的多疲劳特征融合模块采用模糊聚类法快速融合眨眼频率、闭眼持续时间、PERCLOS值和打哈欠频率四种面部疲劳特征信息，得到驾驶员的疲劳状态，包括轻度疲劳、中度疲劳和深度疲劳三种状态，每种状态代表不同的疲劳程度。

本发明基于人脸识别的疲劳驾驶预警系统的方法是

使用CMOS摄像头采集驶员面部图像，并采用视频解码芯片TVP5146将模拟视频图像转换成数字视频图像；采用基于Contourlet变换的近红外视频图像去噪方法对数字视频图像进行去噪预处理；预处理后的图像通过基于肤色信息和Adaboost相结合的方法进行人脸检测；在人脸检测的基础上，将灰度积分投影方法和模板匹配方法相结合对人眼进行检测，并采用自适应粒子滤波算法来跟踪眼睛；检测到眼睛后，根据“三庭五眼”法确定嘴部的位置；通过计算眼睛和嘴部外接矩形的宽高比来提取面部疲劳特征图像；当驾驶员面部出现部分遮挡的情况下，采用小波变换的方法进行处理；通过模糊聚类法快速融合眨眼频率、闭眼持续时间、PERCLOS值和打哈欠频率四种面部疲劳特征信息，判断驾驶员的疲劳程度；根据驾驶员的疲劳程度发出相应的预警，并对检测和判断结果进行存储。

本发明的有益效果在于：可快速的进行驾驶员人脸识别及疲劳特征提取，准确的跟踪面部疲劳特征，对面部多疲劳特征信息进行快速融合处理，在复杂背景及驾驶员面部部分遮挡的情况下，也能快速检测疲劳状态，对环境变化具有更高的鲁棒性，实现了实时的、非接触式的﹑快速准确的基于人脸识别技术的疲劳预警。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明的系统流程图；

图2为本发明的人脸检测流程图；

图3为本发明的面部特征定位与跟踪流程图；

图4为本发明的眼睛闭合程度示意图；

图5为本发明的眨眼频率检测流程图；

图6为本发明的闭眼持续时间检测流程图；

图7为本发明的打哈欠频率检测流程图；

图8为本发明的系统硬件结构框图。

具体实施方式

下面结合附图进一步说明本发明的详细内容及其具体实施方式。

参见图1至图8所示，本发明的基于人脸识别的疲劳驾驶预警系统，由图像采集和转换模块、图像预处理模块、人脸检测模块、面部疲劳特征提取及跟踪模块、多疲劳特征融合模块、疲劳预警模块、数据存储模块和电源供电模块八个部分组成。本发明首先采用CMOS摄像头对驾驶员面部图像进行采集，采用视频解码芯片TVP5146将模拟视频图像转换成数字视频图像，并采用基于Contourlet变换的近红外视频图像去噪方法对其进行去噪预处理，然后采用基于肤色信息和Adaboost相结合的方法进行人脸检测，在检测到的人脸图像上采用灰度积分投影和模板匹配相结合的方法检测眼睛，并应用自适应粒子滤波算法进行眼睛跟踪，同时采用“三庭五眼”法对嘴巴进行定位，通过计算眼睛和嘴部外接矩形的宽高比来提取疲劳状态，最后采用模糊聚类的方法快速融合眨眼频率、闭眼持续时间、PERCLOS值和打哈欠频率四种疲劳特征信息，判断驾驶员的疲劳程度并发出相应的预警信号，并对检测和判断结果进行存储。

参见图1所示，本发明的基于人脸识别的疲劳驾驶预警系统由CMOS摄像头采集驾驶员的面部视频图像，首先进行去噪预处理，然后进行人脸检测，如没有检测到人脸，则返回到人脸检测；如检测到人脸，则进行人眼检测与跟踪，如没有检测或跟踪到眼睛，则返回到人眼检测与跟踪；如检测到眼睛，则进行嘴巴检测，同时提取眼睛和嘴巴的状态，并计算眨眼频率、闭眼持续时间、PERCLOS值和打哈欠频率，最后采用模糊聚类方法进行融合判断，如驾驶员未疲劳，则返回到图像采集，继续进行监控；如驾驶员处于疲劳状态，则报警提示驾驶员注意安全。

具体实施过程如下：

1、            人脸检测

人脸检测的流程如图2所示，首先，对去噪预处理后的驾驶员面部图像采用基于肤色信息的方法进行人脸初始定位，然后采用Adaboost算法对人脸进行精确定位，如没有检测到人脸，则返回人脸初始定位；如检测到人脸，则输出人脸图像信息。

特别的，当驾驶员面部出现部分遮挡的情况下，先采用小波变换的方法进行处理，然后再进行人脸检测。

2、            面部特征定位与跟踪

面部特征定位与跟踪的流程如图3所示，眼睛和嘴巴能很好的反应驾驶员的疲劳情况，因此选取眼睛和嘴巴作为疲劳检测的面部特征。首先，采用灰度积分投影的方法在人脸区域中初步的定位眼睛区域，然后采用模板匹配法进行人眼精确定位，如没有检测到眼睛，则重新进行眼睛检测；如准确检测到眼睛区域，则采用自适应粒子滤波算法对眼睛进行跟踪，如跟踪失败则重新检测眼睛；如跟踪成功，则采用“三庭五眼”法进行嘴巴检测。

3、            面部疲劳特征提取

检测到眼睛和嘴巴的位置后，通过计算眼睛和嘴部外接矩形的宽高比来提取眼睛和嘴巴的闭合程度，然后计算眨眼频率、闭眼持续时间、PERCLOS值和打哈欠频率。

如图4所示，定义眼睛张开为最大瞳孔尺寸的80%以上为睁眼，眼睛张开为最大瞳孔尺寸的20%以下为闭眼。

眨眼频率是指单位时间内眨眼的次数，即：

其中:M是固定时间间隔内检测到的眼睛开-合-开的次数，即眨眼次数；

     T是固定时间间隔。

眨眼频率的检测过程如图5所示，如果眨眼频率v大于事先设定的阈值，则认为驾驶员处于疲劳状态。

如果连续两次采集的眼睛图像都是闭合状态，则认为这两次采集时间间隔为闭眼持续时间，即：

其中: 是眼睛睁开程度减小到20%的时刻；

是眼睛再次睁开到20%的时刻。

闭眼持续时间的检测过程如图6所示，连续采集的闭眼次数越多，则闭眼持续时间越长，将D(t)与事先设定的阈值比较，如果大于阈值，则认为驾驶员处于疲劳状态。

PERCLOS值是指眼睛闭合时间占某一特定时间的百分率。且P80算法与疲劳程度相关性最好。P80是以眼睑遮住瞳孔的面积至少超过80%记为眼睛闭合，统计时间的百分比作为标准。如图4所示，通过测量出～就能计算出PERCLOS值，即：

其中：是眼睛睁开程度减小到80%的时刻；

      是眼睛睁开程度减小到20%的时刻；

是眼睛再次睁开到20%的时刻；

是眼睛再次睁开到80%的时刻。

打哈欠包括一次嘴巴张开和一次嘴巴闭合，首先用嘴部外接矩形的宽高比来表示嘴巴的张开程度，即：

其中：Q表示嘴巴的张开程度；

      w表示嘴部外接矩形的宽度；

      h表示嘴部外接矩形的高度。

为了区分打哈欠状态和说话状态，设当Q值小于一定阈值时即可认为驾驶员处于打哈欠状态。

打哈欠频率是指驾驶员在单位时间内打哈欠的次数，即：

其中:N是打哈欠次数；

     T是固定时间间隔。

打哈欠频率的检测过程如图7所示，将p与事先设定的阈值比较，如果大于阈值，则认为驾驶员处于疲劳状态。

4、            多疲劳特征融合

单一的疲劳特征很难准确的判断驾驶员的疲劳状态，因此，采用模糊聚类法快速融合眨眼频率、闭眼持续时间、PERCLOS值和打哈欠频率四种面部疲劳特征信息，得到驾驶员的疲劳状态，包括轻度疲劳、中度疲劳和深度疲劳三种状态，每种状态代表不同的疲劳程度。

5、            疲劳预警

根据驾驶员疲劳程度的不同，设置相应的报警级别，且报警级别依次升高，依据报警级别设置相应的声音和灯光报警提示，以提高驾驶员的警觉性。

参见图8所示，基于人脸识别的疲劳驾驶预警系统硬件结构框图，CMOS摄像头用于采集驾驶员面部视频图像；视频解码芯片TVP5146用于将模拟视频图像转换成数字视频图像；DSP内存储检测、跟踪、特征提取及匹配算法；FLASH存储器、DDR SDRAM存储器和CF卡，用于存储原始图像数据、人脸及面部特征提取结果及疲劳程度判断结果；LED灯光报警、NV035B语音报警以及LCD液晶显示器用于报警及显示；电源部分为系统各用电模块供电。

以上所述仅为本发明的优选实例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于人脸识别的疲劳驾驶预警系统，其特征在于：包括图像采集和转换模块、图像预处理模块、人脸检测模块、面部疲劳特征提取及跟踪模块、多疲劳特征融合模块、疲劳预警模块、数据存储模块和电源供电模块；

所述图像采集和转换模块包括2组近红外光源、一个CMOS摄像头、视频解码芯片、DSP数字信号处理器，其中，CMOS摄像头实时采集驾驶员面部视频图像信息，视频解码芯片实现模拟视频图像到数字视频图像的转换，并将转换后的数字视频图像送入图像预处理模块；

所述图像预处理模块将数字视频图像在DSP数字信号处理器中采用相应的程序完成图像的预处理，采用基于Contourlet变换的近红外视频图像去噪方法对数字视频图像进行去噪预处理，以去除面部图像的噪声，并将去噪后的面部图像送入人脸检测模块；

所述人脸检测模块是对去噪处理后的面部图像在数字信号处理器中采用相应的程序完成快速可靠的人脸自动检测，采用基于肤色信息和Adaboost相结合的方法对人脸进行检测，并将检测的人脸图像数据送入面部疲劳特征提取及跟踪模块；

所述面部疲劳特征提取及跟踪模块是在DSP数字信号处理器中采用相应的程序从人脸图像中检测眼睛、嘴巴并提取出相应的疲劳特征图像；采用灰度积分投影和模板匹配相结合的方法在人脸图像中检测眼睛，并应用自适应粒子滤波算法跟踪眼睛，同时，采用“三庭五眼”法确定嘴部的位置，通过计算眼睛和嘴部外接矩形的宽高比来提取面部疲劳特征图像，并将提取出的面部疲劳特征图像数据传送给多疲劳特征融合模块；

所述多疲劳特征融合模块通过在DSP数字信号处理器中采用相应的程序快速融合面部多种疲劳特征来判断驾驶员的疲劳程度；采用模糊聚类的方法快速融合眨眼频率、闭眼持续时间、PERCLOS值和打哈欠频率四种面部疲劳特征信息，判断驾驶员的疲劳程度，并将驾驶员的疲劳信息送入到疲劳预警模块和数据存储模块；

所述疲劳预警模块包括LED灯光报警、NV035B语音报警以及LCD液晶显示器，根据驾驶员的疲劳程度，发出相应的声音和灯光报警，并显示驾驶员的疲劳程度，以达到提醒驾驶员的目的；

所述数据存储模块包括FLASH存储器、DDR SDRAM存储器和CF卡，用于存储原始图像数据、人脸及面部特征提取结果及疲劳程度判断结果。

2.根据权利要求1所述的基于人脸识别的疲劳驾驶预警系统，其特征在于：所述的电源供电模块将车载+12V电源转换成各用电模块所需的电源进行供电。

3.根据权利要求1所述的基于人脸识别的疲劳驾驶预警系统，其特征在于：所述的面部疲劳特征提取及跟踪模块采用自适应粒子滤波算法对眼睛进行跟踪，如跟踪失败则重新检测眼睛；如跟踪成功，则采用“三庭五眼”法进行嘴巴检测。

4.根据权利要求1所述的基于人脸识别的疲劳驾驶预警系统，其特征在于：所述的多疲劳特征融合模块采用模糊聚类法快速融合眨眼频率、闭眼持续时间、PERCLOS值和打哈欠频率四种面部疲劳特征信息，得到驾驶员的疲劳状态，包括轻度疲劳、中度疲劳和深度疲劳三种状态，每种状态代表不同的疲劳程度。