CN101950355A - 基于数字视频的驾驶员疲劳状态检测方法 - Google Patents

Abstract

本发明公开了一种基于数字视频的驾驶员疲劳状态检测方法。该方法在摄像头采集到图像的基础上，首先进行人脸的检测与定位；当定位到人脸后，再查找人眼区域和嘴巴区域；在查找到人眼区域和嘴巴区域的基础上，对人眼状态及嘴巴状态进行判断，从而判断出驾驶员是否处于疲劳驾驶状态。采用了高精度的人脸检测算法和高可靠的疲劳检测算法，可以实现高精度、高可靠的疲劳状态检测功能。

Description

基于数字视频的驾驶员疲劳状态检测方法

技术领域

本发明涉及一种驾驶员疲劳检测报警装置，属交通安全防护报警器具。该装置具有对疲劳驾驶发出声光警示和强制停车功能。

背景技术

安全行车取决于多方面的因素，除了车况、路况等自然因素外，起决定作用的还是驾驶员的人为因素，大量的分析研究表明驾驶员疲劳驾驶是交通事故的主要原因之一，特别是在高速公路上，近一半的交通死亡事故归结于疲劳驾驶。

国外的一些汽车厂商和研究机构投入了巨大的人力、物力，广泛地开展驾驶员疲劳检测的研究工作，有的研究已经转化为相应的产品。例如VOLVO汽车公司就推出了“驾驶员警示系统”，该系统可根据行车状况及时地在驾驶员进入睡眠前给予警示。而法国的图卢兹西门子VDO汽车公司则在开发一种通过监测驾驶员注意力下降的系统。

在国内，也有相应的一些汽车厂商和研究机构设计出一些疲劳检测装置，如申请号为200610007961.0的专利，该装置通过由单片机控制的反射式红外线传感器自动检测驾驶员在常规坐姿下的头部位置，判断驾驶员是否处于疲劳驾驶状态，如果检测到驾驶员的确处于疲劳状态，则输出报警信号以警醒驾驶员注意。

专利200480031216.9(疲劳度测定装置、疲劳检测装置及计算机程序)提供一种可使疲劳度定量化并进行显示的疲劳度测定装置。该装置首先检测生物体信号峰值，然后获取限定时间内的上限侧峰值与下限侧峰值之差，将其作为功率值，最后求取功率值的倾斜度积分参数作为疲劳度特征，此方法可以定量分析人的疲劳度。

专利200710010629.4(驾驶员疲劳检测报警器)由装有反射式光纤位移传感器的眼镜和智能控制系统组成。以眼部疲劳的表情为基准，建立数学模型，对眼睑闪动频率、闭合时间乃至眼球转动、瞳孔收扩进行动态监测。具有对疲劳驾驶能及时发出声光警示或强制停车功能。

但是现有技术有的系统复杂或体积庞大而无法实现车载；有的采用接触式检测方法而影响驾驶员的正常行为；有的系统实时性或准确性不高造成系统的检测率过低，在实际应用过程中经常出现误检、漏检现象。

发明内容

针对现有的技术的不足，本发明提供一种基于数字视频的驾驶员疲劳状态检测方法。

如图1所示，该驾驶员疲劳状态检测系统包括视频DSP、摄像头，数据存储电路、程序存储器、时钟芯片、键盘和语音芯片。所述摄像头与视频DSP中的I2C控制器连接；所述数据存储电路由两组完全相同的SDRAM构成，实现对图像的实时采集与处理。所述时钟芯片与视频DSP中的时钟控制器连接；所述键盘与视频DSP中的键盘控制器连接；所述语音芯片与视频DSP的语音控制器连接，语音控制器将视频DSP中的处理器传来的疲劳报警信号传输至语音芯片进行报警。所述的摄像头处还设有红外光源和红外滤镜，红外光源采用均匀分布的20个红外二极管构成，红外二级管的波长为560～970nm，照射角度为60度；红外滤镜尺寸与摄像头尺寸一致，可以滤除所有非红外光线。采用这种方式可以大大提高系统对环境光照的适用性。

该系统使用CMOS或者CCD摄像头实时采集驾驶员的脸部图像，在视频DSP处理器调度下，图像数据经过算法处理器的分析与处理，实时地判断出驾驶员是否分神或打瞌睡，一旦发现驾驶员处于疲劳驾驶状态，马上通过声音报警和GPRS发送信息等方式及时通知驾驶员和有关部门做出相应的处理。

系统按电路功能结构可分为图像采集存储模块、图像处理模块和人机交互接口模块三个主要的功能模块。

1、图像采集存储模块

实现图像的采集主要是由摄像头、数据存储电路、I2C控制器和视频DSP组成。同时为了提高系统的适用性，在系统摄像头的附近添加了红外光源，使得系统在晚上或光线不足的情况下也能很好地工作。系统中的动态存储器SDRAM在系统SDRAM控制器作用下，作为系统的数据存储器在系统中运行；FLASH闪存是系统的程序存储器，实现对系统中的视频DSP上的程序存储。

2、图像处理模块

图像处理模块是本系统最关键的部分之一。它的任务是对图像采集存储模块所采集到的驾驶员脸部图像进行相应的图像分析与处理。摄像头采集到的图像由算法处理器进行分析处理，系统中主要是由视频DSP中的算法处理器完成这一部分的功能。算法处理器主要由四个模块组成，分别是人脸检测模块、人眼检测模块、嘴巴检测模块以及特征提取与分类模块。它们充分利用视频DSP的流水线处理能力，实现人脸定位、人眼定位、嘴巴定位和疲劳状态特征提取与分类。

3、人机交互接口模块

系统除了在视频DSP中实现算法处理器外，为了提高系统的交互性和可操作性，系统还在视频DSP中设计有定时器、键盘控制器、语音控制器、时钟控制器和与GPRS通信的UART等模块。当系统经过算法处理器的处理后，若发现驾驶员处于疲劳状态时，系统处理器马上发出疲劳报警信号给语音控制器，使得系统能及时地通过语音芯片进行报警从而唤醒驾驶员，同时系统把当前的疲劳驾驶时间、行车时间以及一些汽车行车状态记录并存储下来，并通过串口控制的GPRS模块把有关行车信息及时地通过短信形式发给交通管理等相关部门，以达到预防事故的目的。

图2是本发明的系统工作流程图，首先汽车启动后，系统处理器初始化系统的有关外围部件，包括键盘、语音芯片、时钟芯片等；然后启动I2C控制器完成对摄像头的输出模式配置；配置完成后，系统就开始采集驾驶员的图像，并把图像数据存到数据存储电路上，系统的算法处理器从数据存储电路中读入采集到的图像数据，并进行相应的处理，包括人脸检测、人眼定位、嘴巴定位、人眼状态判别和嘴巴状态判别等，实现对驾驶员的疲劳状态的判别。在判别到驾驶员处于疲劳驾驶状态时，系统处理器马上发出疲劳报警信号给语音控制器，使得系统能及时地通过语音芯片进行报警从而唤醒驾驶员，从而降低因疲劳驾驶造成的交通事故。同时系统把当前的疲劳驾驶时间，行车时间以及一些汽车的行车状态记录并存储下来，并通过串口控制的GPRS模块把有关行车信息及时地通过短信形式发送给交通管理等相关部门，以达到预防事故的目的。

图3是本发明中算法处理器的疲劳检测算法流程图，其算法流程如下：在摄像头采集到图像的基础上，首先进行人脸的检测与定位；当定位到人脸后，再查找人眼区域和嘴巴区域；在查找到人眼区域和嘴巴区域的基础上，对人眼状态及嘴巴状态进行判断，从而判断出驾驶员是否处于疲劳驾驶状态。为了提高系统的实时处理能力，系统采用了流水线的方式实现该检测算法。

根据人之疲劳，首先是脑之疲劳，它的表象是人在瞬间失去平衡，躯体或前仰后合，或左右摇摆，头面部姿态失常或猛然顿首，或打哈欠打盹，或眼睑闭合停闪，视物模糊，分辩迟钝等机理。确定以面部疲劳的表情为基准，通过动态检测和综合分析面部的眼睛状态和嘴巴状态的变化规律，建立数学模型，实时准确地检测疲劳状态，并发出声光警示或强制停车。当驾驶员疲劳时报警装置在频闪红灯的同时将以“你已疲劳，赶快休息”高声警示三遍，既可提醒驾驶员注意安全驾驶，也必将引起其他乘车人警觉，督促驾驶员休息，以避免发生交通事故。

发明提出的疲劳检测算法包括一种高精度的人脸检测算法和一种高可靠的疲劳检测算法。

一、基于时-空域约束的优化Adaboost高精度人脸检测算法

人脸检测是基于图像特征的疲劳状态检测技术的前提，现有的疲劳检测算法在检测人脸时一般采用肤色检测算法或灰度聚类算法。但这类算法易受光线变化、类肤色物体干扰或复杂背景干扰的影响，环境适应性较差。而Adaboost人脸检测算法以人脸几何结构特征为检测目标，不需要获取人脸的颜色信息，不受光线变化、类肤色物体干扰或复杂背景干扰的影响，环境适应性强，是一种有效的人脸检测算法。然而，Adaboost人脸检测算法采用了大量的浮点运算和循环结构，在嵌入式平台(如DSP)下运算效率很低；同时由于在训练过程中负样本选择的有限性，以及在检测过程中多窗口、多尺度遍历的人脸搜索方式，导致传统的Adaboost算法误检率较高，这给高精度人脸检测的实现带来了很大的挑战。

在进行疲劳检测时，人脸检测存在两个前提条件，一是待检测的人脸只有一个，即驾驶员；二是人脸的空间位置变化不大，也即驾驶员在正常驾驶过程中头部的位置变化不大。在这两个前提条件下，本文提出了基于时-空域约束的优化Adaboost高精度人脸检测算法。

基于时-空域约束的优化Adaboost高精度人脸检测算法的基本原理是：

第一，设计时间域约束条件，具体是采用帧差法获取目标运动区域，从而预测当前帧目标出现的可能位置，然后在该位置附近设计目标检测窗口进行人脸检测，由于该检测窗口要远小于整个视频帧的尺寸，因此在该检测窗口的约束下可以去除大量的冗余窗口检测，从而提高Adaboost人脸检测的速度，并且避免了在非人脸区域进行人脸检测时可能出现的误检现象。

第二，在检测到人脸时，设计空间域约束条件，具体是依据前一帧检测到的人脸实际尺寸，限制当前帧人脸目标的最大尺寸和最小尺寸，也即约束人脸检测的尺度空间。

第三，设计人脸五官分布几何约束条件，对检测到的人脸进行筛选，如果有满足几何约束条件的人脸，则提前跳出多窗口多尺度搜索流程，这样不仅降低误检率，也极大地提高Adaboost人脸检测的速度。算法的具体流程如图4所示。

基于时-空域约束的优化Adaboost高精度人脸检测算法的具体实现方法是：

(1)获取运动区域

运动目标检测方法主要有背景减除法、相邻帧差法、光流法等。其中，相邻帧差法运算量小、速度快、易于实现，在运动目标检测中得到广泛应用。其实现过程为：

step1取相邻两帧图像I_k-1、I_k，计算帧间绝对灰度差图像D_(k，k-1)。

step2确定自适应阈值T。计算绝对灰度差图像的均值m，并将其乘以一个加权系数t，得到自适应阈值T＝m×t。t用于描述场景的变化程度，取值范围为0≤t≤30。实验中取t＝10。

step3获取运动区域M_k。

$M_k=\left\{\begin{array}{cc}1& ,D_{(k,k-1)}>T\\ 0& ,\mathrm{else}\end{array}\right.$

(2)求取当前帧人脸可能位置

获取运动区域后，采用8-邻接连通方法进行连通域标示，由于主驾驶室中只有一个驾驶员，也即可能的运动目标只有一个，选择连通域面积最大的一个作为人脸运动区域，定义该区域的左上角位置为当前帧人脸的可能位置P。

由于驾驶员在某些时刻有可能没有运动，所以这里预先设定面积阈值Ta，当人脸运动区域面积小于面积阈值时，认为驾驶员面部没有运动，这时认定前一帧的人脸可能位置即为当前帧的可能位置。

(3)Adaboost搜索窗口约束

假定前一帧检测到的人脸实际尺寸为fw×fh，当前帧人脸可能位置为(Px，Py)。那么Adaboost的检测窗口可以设定为：

$\left\{\begin{array}{c}\mathrm{Px}-k_1*\mathrm{fw}<x<\mathrm{Px}+k_2*\mathrm{fw}\\ \mathrm{Py}-k_1*\mathrm{fh}<y<\mathrm{Py}+k_2*\mathrm{fh}\end{array}\right.$

其中，k₁和k₂为比例系数，用于限定检测窗口的尺寸，取值范围限定为0≤k₁≤1、1≤k₂≤2。实验中取k₁＝0.4、k₂＝1.6。

(4)Adaboost搜索尺度约束

由于视频帧间的相关性，相邻两个视频帧间的人脸尺寸变化不大，因此可以依据前一帧人脸的实际尺寸来约束当前帧人脸的搜索尺度，设Adaboost人脸检测的最大搜索尺度为(MaxW，MaxH)，最小搜索尺度为(MinW，MinH)，设定：

$\left\{\begin{array}{c}\mathrm{MaxW}=k_3\&times;\mathrm{fw},\mathrm{MaxH}=k_3\&times;\mathrm{fh}\\ \mathrm{MinW}=k_4\&times;\mathrm{fw},\mathrm{MinH}=k_4\&times;\mathrm{fh}\end{array}\right.$

其中，k₃和k₄为比例系数，用于限定搜索窗口的尺寸，取值范围限定为1≤k₃≤2、0.3≤k₄≤1。实验中取k₃＝1.3、k₄＝0.6。

(5)人脸五官几何位置约束

人脸五官几何位置约束主要依据人脸“三庭五眼”的几何规则，假定左右人眼的位置分别为(ELx，ELy)、(ERx，ERy)，则嘴巴的位置(Mx，My)满足条件：

$\left\{\begin{array}{c}x0-k_5\&times;\cos \mathrm{\&theta;}<\mathrm{Mx}<x0+k_5\&times;\cos \mathrm{\&theta;}\\ y0-k_6\&times;\sin \mathrm{\&theta;}<\mathrm{My}<y0+k_6\&times;\sin \mathrm{\&theta;}\end{array}\right.$

其中，k₅和k₆为比例系数，用于描述不同个体、不同姿态下嘴巴实际位置偏离理论位置的容差，取值范围限定为1≤k₅≤20、1≤k₆≤40。实验中取k₅＝11、k₆＝25。

$x0=\frac{\mathrm{ELx}+\mathrm{ERx}}{2}$

$y0=\frac{\mathrm{ELy}+\mathrm{ERy}}{2}$

$\mathrm{\&theta;}=\arctan \left(\frac{y0-\mathrm{ELy}}{x0-\mathrm{ELx}}\right)$

对于二值化后的人脸区域图像，逐一搜索连通域，完成五官的初步聚类。然后依据几何约束条件判断双眼和嘴巴是否满足“三庭五眼”准则，据此判断该人脸区域是否为真实人脸。

二、基于空-频域特征融合与支持向量机(Support Vector Machine，SVM)分类的高可靠疲劳检测算法

基于人脸图像特征的疲劳状态检测技术采用非接触式测量方式，通过实时分析视频图像中驾驶员头部和面部的运动特性，提取与疲劳相关的生理反应特征来检测疲劳状态。其中，与疲劳相关的生理反应特征主要包括头部的位置特征、眼睛的状态特征以及嘴巴的状态特征等。本发明在空域上提取几何特征，在频域上提取频谱特征，然后采用SVM分类方法实现疲劳状态与非疲劳状态的有效分类，整体流程如图5所示。

在图5中，五官定位是在二值图像上进行，通过严格的几何约束条件精确定位双眼、鼻子和嘴巴的位置，在此基础上提取疲劳状态特征。其中，几何特征的提取方法是：

step1提取双眼、鼻子、嘴巴相互之间的距离、角度等几何特征，用于描述头部的位置。假定左眼、右眼、鼻子、嘴巴的位置分别为(ELx，ELy)、(ERx，ERy)、(Nx，Ny)、(Mx，My)，则提取的几何特征为：

$c1=\frac{\sqrt{{(\mathrm{ELx}-\mathrm{Nx})}^2+{(\mathrm{ELy}-\mathrm{Ny})}^2}}{\sqrt{{(\mathrm{ERx}-\mathrm{Nx})}^2+{(\mathrm{ERy}-\mathrm{Ny})}^2}}$

$c2=\frac{\sqrt{{(\mathrm{ELx}-\mathrm{Nx})}^2+{(\mathrm{ELy}-\mathrm{Ny})}^2}}{\sqrt{{(\mathrm{Mx}-\mathrm{Nx})}^2+{(\mathrm{My}-\mathrm{Ny})}^2}}$

$c3=\frac{\sqrt{{(\mathrm{ERx}-\mathrm{Nx})}^2+{(\mathrm{ERy}-\mathrm{Ny})}^2}}{\sqrt{{(\mathrm{Mx}-\mathrm{Nx})}^2+{(\mathrm{My}-\mathrm{Ny})}^2}}$

$c4=\arccos \left(\frac{({(\mathrm{ELx}-\mathrm{Nx})}^2+{(\mathrm{ELy}-\mathrm{Ny})}^2)+({(\mathrm{ERx}-\mathrm{Nx})}^2+{(\mathrm{ERy}-\mathrm{Ny})}^2)-({(\mathrm{ERx}-\mathrm{ELx})}^2+{(\mathrm{ERy}-\mathrm{ELy})}^2)}{2\sqrt{{(\mathrm{ELx}-\mathrm{Nx})}^2+{(\mathrm{ELy}-\mathrm{Ny})}^2}\sqrt{{(\mathrm{ERx}-\mathrm{Nx})}^2+{(\mathrm{ERy}-\mathrm{Ny})}^2}}\right)$

$c5=\arccos \left(\frac{({(\mathrm{ELx}-\mathrm{Nx})}^2+{(\mathrm{ELy}-\mathrm{Ny})}^2)+({(\mathrm{Mx}-\mathrm{Nx})}^2+{(\mathrm{My}-\mathrm{Ny})}^2)-({(\mathrm{Mx}-\mathrm{ELx})}^2+{(\mathrm{My}-\mathrm{ELy})}^2)}{2\sqrt{{(\mathrm{ELx}-\mathrm{Nx})}^2+{(\mathrm{ELy}-\mathrm{Ny})}^2}\sqrt{{(\mathrm{Mx}-\mathrm{Nx})}^2+{(\mathrm{My}-\mathrm{Ny})}^2}}\right)$

$c6=\arccos \left(\frac{({(\mathrm{Mx}-\mathrm{Nx})}^2+{(\mathrm{My}-\mathrm{Ny})}^2)+({(\mathrm{ERx}-\mathrm{Nx})}^2+{(\mathrm{ERy}-\mathrm{Ny})}^2)-({(\mathrm{ERx}-\mathrm{Mx})}^2+{(\mathrm{ERy}-\mathrm{My})}^2)}{2\sqrt{{(\mathrm{Mx}-\mathrm{Nx})}^2+{(\mathrm{My}-\mathrm{Ny})}^2}\sqrt{{(\mathrm{ERx}-\mathrm{Nx})}^2+{(\mathrm{ERy}-\mathrm{Ny})}^2}}\right)$

step2提取双眼、嘴巴的闭合轮廓线，并细化为单像素曲线；

step3用链码描述双眼轮廓和嘴巴轮廓；

step4依据双眼轮廓线的链码表示，提取反映双眼上下眼睑距离和曲率的几何特征，用于描述眼睛的状态。假定左眼轮廓线与其最小外接矩形的四个交点坐标分别为(lx，ly)、(rx，ry)、(tx，ty)和(bx，by)，左右交点之间的上下弧长分别为tlen、blen，则左眼的几何特征为：

$c7=\frac{\mathrm{by}-\mathrm{ty}}{\mathrm{rx}-\mathrm{lx}}$

$c8=\frac{\mathrm{tlen}}{\mathrm{rx}-\mathrm{lx}}$

$c9=\frac{\mathrm{blen}}{\mathrm{rx}-\mathrm{lx}}$

相应地，求出右眼的几何特征c10、c11、c12。

step5依据嘴巴轮廓线的链码表示，提取反映嘴巴上下嘴唇距离和曲率的几何特征，用于描述嘴巴的状态。其几何特征仿照上一步求出，标记为c13、c14、c15。

频谱特征的提取方法是：

step1按设定的尺寸裁剪双眼区域图像、嘴巴区域图像；

step2分别对双眼区域图像和嘴巴区域图像进行快速二维傅里叶变换，得到对应图像的频谱图。假设左眼图像的尺寸为(H，W)，坐标(x，y)处的灰度值为f(x，y)，则坐标(u，v)处的频谱为：

$G(u,v)=\underset{y=01}{\overset{H-1}{\mathrm{\&Sigma;}}}\underset{x=0}{\overset{W-1}{\mathrm{\&Sigma;}}}f(x,y)e^{-2\mathrm{\&pi;}(\mathrm{ux}+\mathrm{vy})},0\&le;u\&le;W-\mathrm{1,0}\&le;v\&le;H-1$

依据最大频谱能量将频谱图归一化：

$G\max =\underset{0\&le;u\&le;W-\mathrm{1,0}\&le;v\&le;H-1}{\max }\left(G(u,v)\right)$

$G(u,v)=\frac{G(u,v)}{G\max },0\&le;u\&le;W-\mathrm{1,0}\&le;v\&le;H-1$

右眼和嘴巴的频谱图可以按同样的步骤求得。

step3提取频谱特征。这里先将频谱图的原点调整到图像中心，也即将频谱能量集中到图像的中心区域，以便于提取频谱特征，采用的坐标变换公式如下：

g(i，j)＝G(u，v)，0≤u≤W-1，0≤v≤H-1

其中，

$i=\left\{\begin{array}{cc}u+W/2,& u<W/2\\ u-W/2,& u\&GreaterEqual;W/2\end{array}\right.$

$j=\left\{\begin{array}{cc}v+H/2,& v<H/2\\ v-H/2,& v\&GreaterEqual;H/2\end{array}\right.$

在变换后的频谱图上提取频谱特征，方法是以图像中心为中心，在区间S内提取(2N+1)×(2M+1)个频谱特征，区间S的定义为：

S＝{(i，j)|W/2-N≤i≤W/2+N，H/2-M≤j≤H/2+M}

N、M用于描述特征窗口的尺寸，用来限定提取特征的数目，取值范围为1≤N≤W/2、1≤M≤H/2。实验中取N＝M＝3，共提取49个频谱特征。

采用空-频域特征融合的方法，可以获取更充分的疲劳状态特征，这样可以降低空域上轮廓提取不完整对几何特征提取精度的影响，也可以降低频域上光照变化对频谱特征提取精度的影响，从而整体上提高疲劳状态特征的有效性。

SVM是在统计学习理论基础上发展起来的一种学习方法，在很大程度上解决了小样本问题、模型选择问题和非线性问题，且具有很强的泛化性能。本发明采用SVM方法进行疲劳特征分类，在训练阶段，选取尽可能多的正样本和负样本，提取空-频域疲劳状态特征，分别进行SVM训练。SVM训练采用一对一的分类方法，对于疲劳状态和非疲劳状态只需要构建一个分类器，考虑到疲劳特征的复杂度和算法的效率，选择径向基函数作为SVM的核函数：

$K(x,y)=\exp (-\frac{{\left|\right|x-y\left|\right|}^2}{{\mathrm{\&sigma;}}^2})$

在疲劳识别阶段，提取当前帧人脸图像的空-频域疲劳状态特征，分别送入对应的SVM分类器，将几何特征和频谱特征的分类结果进行融合判决，一般情况下，“或运算”融合方法灵敏度更高，“与运算”融合方法可靠性更强，可以依据融合方法的不同设定不同的安全等级，这样用户可以根据自身的需要灵活地选择安全等级。最后，可以选择对相邻多帧(N≥3)的疲劳状态进行滤波，综合判决驾驶员是否处于疲劳状态。

综上所述，本发明提出了一种高精度的人脸检测算法和一种高可靠的疲劳检测算法。

人脸检测算法的创新点在于：1)采用时间域约束策略，缩小人脸的窗口检测范围，从而降低了在非人脸区域误检到人脸的概率，同时提高了人脸检测效率；2)采用空间域约束策略，缩小人脸的尺度检测范围，从而降低了在非人脸尺度误检到人脸的概率，同时提高了人脸检测效率；3)采用人脸五官几何特征约束策略，校验Adaboost检测到的人脸，从而降低了Adaboost算法自身的误检率，同时可以提前退出多窗口、多尺度搜索循环，提高了人脸检测的效率。通过采用时-空域约束策略，最终实现人脸的快速、高精度检测。

疲劳检测算法的创新点在于：1)融合几何特征参数，提高疲劳状态特征对光照变化的适应能力；2)融合频谱特征参数，降低局部误差对疲劳状态特征有效性的影响；3)采用SVM特征分类策略，解决特征的自适应选择和非线性分类问题。

通过采用以上两种优化算法，本发明可以实现高精度、高可靠的疲劳状态检测功能。

附图说明

图1是本发明系统结构示意图；

图2是本发明的系统工作流程图；

图3是疲劳检测算法流程图；

图4是基于时-空域约束的优化Adaboost快速人脸检测算法流程图；

图5是基于空-频域特征融合与SVM分类的高可靠疲劳检测算法流程图。

具体实施方式

驾驶员疲劳状态检测系统包括视频DSP、摄像头，数据存储电路、程序存储器、时钟芯片、键盘和语音芯片。该系统使用摄像头实时采集驾驶员的脸部图像，在视频DSP处理器调度下，图像数据经过算法处理器的分析与处理，实时地判断出驾驶员是否分神或打瞌睡，一旦发现驾驶员处于疲劳驾驶状态，马上通过声音报警和GPRS发送信息等方式及时通知驾驶员和有关部门做出相应的处理。

系统按电路功能结构可分为图像采集存储模块、图像处理模块和人机交互接口模块三个主要的功能模块。

1、图像采集存储模块

实现图像的采集主要是由摄像头、数据存储电路、I2C控制器和视频DSP组成。同时为了提高系统的适用性，在系统摄像头的附近添加了红外光源，使得系统在晚上或光线不足的情况下也能很好地工作。系统中的动态存储器SDRAM在系统SDRAM控制器作用下，作为系统的数据存储器在系统中运行；FLASH闪存是系统的程序存储器，实现对系统中的视频DSP上的程序存储。

2、图像处理模块

图像处理模块是本系统最关键的部分之一。它的任务是对图像采集存储模块所采集到的驾驶员脸部图像进行相应的图像分析与处理。摄像头采集到的图像由算法处理器进行分析处理，系统中主要是由视频DSP中的算法处理器完成这一部分的功能。算法处理器主要由四个模块组成，分别是人脸检测模块、人眼检测模块、嘴巴检测模块以及特征提取与分类模块。它们充分利用视频DSP的流水线处理能力，实现人脸定位、人眼定位、嘴巴定位和疲劳状态特征提取与分类。

3、人机交互接口模块

系统除了在视频DSP中实现算法处理器外，为了提高系统的交互性和可操作性，系统还在视频DSP中设计有定时器、键盘控制器、语音控制器、时钟控制器和与GPRS通信的UART等模块。当系统经过算法处理器的处理后，若发现驾驶员处于疲劳状态时，系统处理器马上发出疲劳报警信号给语音控制器，使得系统能及时地通过语音芯片进行报警从而唤醒驾驶员，同时系统把当前的疲劳驾驶时间、行车时间以及一些汽车行车状态记录并存储下来，并通过串口控制的GPRS模块把有关行车信息及时地通过短信形式发给交通管理等相关部门，以达到在事故出现前做到预防的目的。

本发明的系统工作流程为：首先汽车启动后，系统处理器初始化系统的有关外围部件，包括键盘、语音芯片、时钟芯片等；然后启动I2C控制器完成对摄像头的输出模式配置；配置完成后，系统就开始采集驾驶员的图像，并把图像数据存到数据存储电路上，系统的算法处理器从数据存储电路中读入采集到的图像数据，并进行相应的处理，包括人脸检测、人眼检测、嘴巴检测以及疲劳特征的提取和分类等，实现对驾驶员的疲劳状态的判别。在判别到驾驶员处于疲劳驾驶状态时，系统处理器马上发出疲劳报警信号给语音控制器，使得系统能及时地通过语音芯片进行报警从而唤醒驾驶员，从此降低因疲劳驾驶造成的交通事故。同时系统把当前的疲劳驾驶时间，行车时间以及一些汽车的行车状态记录并存储下来，并通过串口控制的GPRS模块把有关行车信息及时地通过短信形式发送给交通管理等相关部门，以达到在事故出现前做到预防的目的。

图4为基于时-空域约束的优化Adaboost快速人脸检测算法流程图，人脸检测的流程为：

首先利用帧差法求取运动区域，获取运动区域的位置和尺寸信息；然后利用运动区域的位置和尺寸信息来估计人脸的位置和尺寸信息，结合这些信息约束Adaboost人脸检测的搜索尺度和搜索窗口；接着在有约束的搜索尺度和搜索窗口上进行Adaboost人脸检测，得到可能的人脸目标；最后，利用几何约束条件验证该人脸目标是否正确，如果正确，即可进行人脸区域裁剪；否则，继续进行人脸检测。

图5为基于空-频域特征融合与SVM分类的高可靠疲劳检测算法流程图，人脸特征提取与分类流程为：

该流程分训练和识别两个阶段，在特征训练阶段，首先选择足够多的正样本和负样本，对单个人脸样本，首先进行五官定位；然后提取人脸的几何特征和频谱特征。对所有样本提取的几何特征和频谱特征，分别进行SVM特征训练，得到两个SVM分类器。

在特征识别阶段，首先裁剪当前帧人脸区域，进行五官定位；然后提取人脸的几何特征和频谱特征；接着将几何特征和频谱特征分别送入训练好的两个SVM分类器；最后对两个分类器输出的结果进行融合判决，得到最终的分类结果。

Claims (8)

1.基于数字视频的驾驶员疲劳状态检测系统，包括视频DSP、摄像头，数据存储电路、程序存储器、时钟芯片、键盘和语音芯片，其特征在于摄像头与视频DSP中的I2C控制器连接；数据存储电路由两组SDRAM构成；时钟芯片与视频DSP中的时钟控制器连接；键盘与视频DSP中的键盘控制器连接；语音芯片与视频DSP的语音控制器连接。

2.根据权利要求1所述的基于数字视频的驾驶员疲劳状态检测系统，其特征在于所述的摄像头处设有红外光源和红外滤镜，红外光源采用红外二极管构成，红外滤镜尺寸与摄像头尺寸一致。

3.根据权利要求1所述的基于数字视频的驾驶员疲劳状态检测系统，其特征在于所述的摄像头为CMOS或CCD。

4.基于数字视频的驾驶员疲劳状态检测方法，其特征在于其算法流程为：在摄像头采集到图像的基础上，首先进行人脸的检测与定位；当定位到人脸后，再查找人眼区域和嘴巴区域；在查找到人眼区域和嘴巴区域的基础上，对人眼状态及嘴巴状态进行判断，从而判断出驾驶员是否处于疲劳驾驶状态，采用基于时-空域约束的优化Adaboost高精度人脸检测算法和基于空-频域特征融合与SVM分类的高可靠疲劳检测算法。

5.根据权利要求4所述的基于数字视频的驾驶员疲劳状态检测方法，其特征在于基于时-空域约束的优化Adaboost高精度人脸检测算法的具体步骤为：

(1)获取运动区域

采用相邻帧差法检测运动区域，帧差阈值依据绝对灰度差图像的均值自适应选取。

(2)求取当前帧人脸可能位置

获取运动区域后，采用8-邻接连通方法进行连通域标示，选择连通域面积最大的一个作为人脸运动区域。如果该区域面积大于设定面积阈值，则定义该区域的左上角位置为当前帧人脸的可能位置；否则，判定人脸位置未移动，此时认定前一帧的人脸可能位置即为当前帧的人脸可能位置。

(3)Adaboost搜索窗口约束

依据前一帧检测到的人脸实际尺寸和当前帧人脸可能位置，设计当前帧Adaboost人脸检测的搜索窗口约束条件。

(4)Adaboost搜索尺度约束

依据前一帧检测到的人脸实际尺寸，设计当前帧Adaboost人脸检测的搜索尺度约束条件。

(5)人脸五官几何位置约束

依据人脸的“三庭五眼”几何规则，设计待检测人脸的五官几何位置分布约束条件。

6.根据权利要求4所述的基于数字视频的驾驶员疲劳状态检测方法，其特征在于基于空-频域特征融合与SVM分类的高可靠疲劳检测算法的具体步骤为：

(a)几何特征的提取方法是：

step1提取双眼、鼻子、嘴巴相互之间的距离、角度等几何特征，用于描述头部的位置；

step2提取双眼、嘴巴的闭合轮廓线，并细化为单像素曲线；

step3用链码描述双眼轮廓和嘴巴轮廓；

step4依据双眼轮廓线的链码表示，提取反映双眼上下眼睑距离和曲率的几何特征，用于描述眼睛的状态；

step5依据嘴巴轮廓线的链码表示，提取反映嘴巴上下嘴唇距离和曲率的几何特征，用于描述嘴巴的状态；

(b)频谱特征的提取方法是：

step1按设定的尺寸裁剪双眼区域图像、嘴巴区域图像；

step2分别对双眼区域图像和嘴巴区域图像进行快速二维傅里叶变换，得到对应图像的频谱图；

step3提取频谱特征，这里先将频谱图的原点调整到图像中心，即将频谱能量集中到图像的中心区域，以便于提取频谱特征；

(c)提取到空-频域疲劳状态特征后，采用SVM方法进行疲劳特征分类，在训练阶段，选取尽可能多的正样本和负样本，提取空-频域疲劳状态特征，分别进行SVM训练，SVM训练采用一对一的分类方法，选择径向基函数作为SVM的核函数；

(d)在疲劳识别阶段，提取当前帧人脸图像的空-频域疲劳状态特征，分别送入对应的SVM分类器，将几何特征和频谱特征的分类结果进行融合判决。

7.根据权利要求4所述的基于数字视频的驾驶员疲劳状态检测方法，其特征在于该方法按电路功能结构可分为图像采集存储模块、图像处理模块和人机交互接口模块三个主要的功能模块。

8.根据权利要求4所述的基于数字视频的驾驶员疲劳状态检测方法，其特征在于算法处理器主要由人脸检测模块、人眼检测模块、嘴巴检测模块、特征提取与分类模块组成。

Images