CN103400471A - 一种驾驶员疲劳驾驶检测系统及检测方法 - Google Patents

Abstract

本发明公开了一种驾驶员疲劳驾驶检测系统及检测方法，其属于图像处理与模式识别技术领域，该系统包括人脸定位模块、人眼状态判别模块、嘴部状态判别模块和疲劳判定模块；所述人脸定位模块同人眼状态判别模块和嘴部状态判别模块连接通信，判定结果传输至所述疲劳判定模块。该检测方法包括以下步骤：①人脸定位检测、②人眼的状态判断、③驾驶员嘴部状态判断、④驾驶员精神状态判断。发明结合了人眼和人嘴两个驾驶员面部的显著特征进行复合的判断，比单一方法进行识别检测，识别准确率更高；通过对驾驶员的精神状态进行判别，提醒驾驶员在疲劳状态下时进行停车休息，可以有效减少交通事故的发生，为人民的生命财产安全提供有力保障。

Description

一种驾驶员疲劳驾驶检测系统及检测方法

技术领域

本发明涉及图像处理与模式识别技术领域，尤其涉及一种驾驶员疲劳驾驶检测系统及检测方法。

背景技术

近几十年间，我国经济的突飞猛进带动了人民物质生活水平的不断提高，过去的一些奢侈品也逐渐在各个家庭中出现，汽车就是其中之一。通过对汽车市场进行研究，发现在2013年中国社会就已经步入了“汽车社会”。在最近5年时间里，平均每年通过考试获得机动车驾驶证的人员有2000万余，机动车平均每年增加1600万余辆。截至2012年10月，我国获得机动车驾驶证的人员数量高达2.56亿人，平均每5人中就有一人持证；机动车保有量也已达2.38亿辆的惊人数量。这些数据都表明了中国汽车业已然成为了国民经济的支柱产业之一。然而，汽车数量的急剧增加对城市交通所造成的压力也是空前巨大的，与其伴随而生的交通事故也令人担忧。仅在2012年1月至10月期间，全国因闯红灯而导致人员伤亡的交通事故达4227起，致死798人；因违规变道而导致人员伤亡的交通事故达87852起，致死26154人。通过调查发现，由于驾驶员在行驶过程中出现疲劳驾驶而导致的交通事故在总体交通事故中占有很大比重，并且这些交通事故通常是导致死亡人数在10人以上的特大交通事故。

经过国内外的诸多专家学者的深入研究，疲劳驾驶检测技术在近三十年间取得了突破性的进展。对所有的研究成果可以总结为以下三个方面的检测方法：

(1)基于驾驶员身体特征的检测方法。在上文提到的驾驶员疲劳时的一些表现，如规律性的点头动作、眼睛的张开闭合、一直打哈欠等，都可以作为判断当前驾驶者是否处于疲劳的特征数据。

(2)基于驾驶员自身的生理参数的检测方法。当人们由清醒状态转到睡眠状态时Theta波将产生明显变化，利用此特征，可以使用脑电图(EEG)来对人们的精神状态做出判断；当人们处于疲劳状态昏昏欲睡时，整个人是陷入接近无意识的极度放松中，心脏跳动速度在此时会明显减缓，根据这一特点，可以选择心电图(ECG)来进行检测；当人们出现违规操作如闯红灯、强行超车时，受心理暗示影响，毛孔会张开，内分泌加快，肌肉处于紧绷状态，唾液中的淀粉酶增加，利用肌肉和唾液的这种特征来进行疲劳检测的研究也正在展开错误！未找到引用源。。

(3)基于车辆行驶状态的检测方法。与上文中提到的疲劳驾驶的表现一致，当车辆出现方向左右摇摆、车速不恒定的状况或者在行驶过程中频繁的变换车道时，该驾驶者可能处于疲劳状态中，因此，可以通过测量车辆的加速度和行驶速度等参数来对驾驶者的状态进行判断。

在以上的三种对驾驶员进行疲劳驾驶检测的方法中，基于驾驶员自身的生理参数的检测方法是最能直接反应驾驶员的精神状态的方法，但为获取相应参数，必定会在驾驶员身体上放置一定量的仪器，这样不仅会对驾驶员的正常驾驶造成一定困扰，对于驾驶员而言也是一种侵犯和不尊重。同时，由于仪器的精密性导致仪器的成本也是一个问题，不能形成批量生产。因此，这种方法虽然最为精确却不易推广。基于车辆行驶状态的检测方法，就是一种无接触式的检测方法，但是这种方法的一个弊端就是可变性太大：不同驾驶者有不同的驾驶习惯，高档车和普通车也有不同，甚至在不同路段也有不同。因此，对于当前驾驶者的精神状态判别还没有一个统一标准，并不适合推广。基于驾驶员身体特征的检测方法是属于无接触式的检测方法，通过远离驾驶员的摄像头拍摄找到驾驶员的一些明显特征来进行分析处理，并根据处理结果判断驾驶者的当前精神状态。但是该方法对于外界的光线要求比较高，在实际运行中，容易受到外界的光线变化干扰而产生误识别。但由于该方法有明显优于前两种方法的特点，因此，该方法被广泛研究和应用，本专利也采用了该方法。

发明内容

针对上述现有技术，本发明的目的在于如何提供一种驾驶员疲劳驾驶检测系统，通过对驾驶员的精神状态进行判别，提醒驾驶员在疲劳状态下时进行停车休息，对疲劳驾驶进行预防与预警，减少交通事故的发生。

为了解决上述技术问题，本发明采用如下技术方案：

一种驾驶员疲劳驾驶检测系统，其特征在于，包括以下装置：

人脸定位装置：利用Adaboost算法检测驾驶员的脸部存在位置；

人眼状态判别装置：利用Harris角点检测的方法，定位出人眼的具体位置；对驾驶员的眼部进行特征提取，通过椭圆拟合，判定出人眼的当前的状态，即人眼闭合情况，并通过一定的判定准则来进行驾驶者当前的精神状态是否疲劳；

嘴部状态判别装置：在人脸基础上定位出人的嘴部，并对嘴部的轮廓进行拟合，得出当前嘴部的状态，判定驾驶员的精神状态；

疲劳判定装置：根据人眼状态判别装置和嘴部状态判别装置的判断结果，对驾驶员的精神状态进行最终的判定；

所述人脸定位装置同人眼状态判别装置和嘴部状态判别装置连接通信，人眼状态判别装置和嘴部状态判别装置分别将判定结果传输至所述疲劳判定装置。

一种驾驶员疲劳驾驶检测方法，其特征在于，包括如下步骤：

步骤一、利用Adaboost算法检测驾驶员的脸部存在位置；

步骤二、利用Harris角点检测的方法，定位出人眼的具体位置；对驾驶员的眼部进行特征提取，通过椭圆拟合，判定出人眼的当前的状态，即人眼闭合情况，并通过一定的判定准则来进行驾驶者当前的精神状态是否疲劳；

步骤三、在人脸基础上定位出人的嘴部，并对嘴部的轮廓进行拟合，得出当前嘴部的状态，判定驾驶员的精神状态。

步骤四、根据步骤二和步骤三的判断结果，对驾驶员的精神状态进行最终的判定。

在驾驶员疲劳驾驶检测方法中所述步骤二具体分解为以下步骤：

①Harris角点检测定位出人眼;

②利用FreeMan链码，提取出当前的轮廓信息并存储；

③对保存轮廓信息的数据集进行最小二乘法椭圆拟合；

④将拟合椭圆的代数参数转换为几何参数，并得出长短轴的比值；

⑤通过设定的比值阈值，判定人眼的张开闭合状态。

在驾驶员疲劳驾驶检测方法中所述步骤三具体分解为以下步骤：

①Harris角点检测定位出嘴角；

②利用FreeMan链码，提取出当前的轮廓信息并存储；

③最小二乘法椭圆拟合人嘴轮廓，并转换成对应的几何参数；

④得出最终状态以及该状态持续时间。

所述步骤四通过统计步骤二和步骤三的返还结果，进行复合判断，对驾驶员的精神状态进行最终的判定。

与现有技术相比，本发明具有以下有益效果：

本发明结合了人眼和人嘴两个驾驶员面部的显著特征进行复合的判断，比单一方法进行识别检测，识别准确率更高；通过对驾驶员的精神状态进行判别，提醒驾驶员在疲劳状态下时进行停车休息，可以有效减少交通事故的发生，为人民的生命财产安全提供有力保障。

附图说明

图1为本发明的算法原理框图；

图2为人眼和嘴部的张开度衡量示意图。

具体实施方式

下面将结合附图及具体实施方式对本发明作进一步的描述。

本发明所采用的技术方案是以霍夫变换和人体头肩检测以及基于卡尔曼滤波的跟踪方法来实现。包括如下具体步骤：

S1、人脸检测：利用Adaboost算法检测驾驶员的脸部存在位置；

S11、选择样本：对存在的N个训练样本，标记为(x₁,y₁),(x₂,y₂),…,(x_N,y_N)，y_i＝{-1,+1}，即y_i＝-1表示负样本，为非人脸，反之，y_i＝+1表示该样本为正样本，为人脸；

S12、对样本的权重进行初始化。对于人脸样本(y_i＝+1)，其权重ω_1,i＝1/2m，对非人脸样本(y_i＝-1)，其权重为ω_1,i＝1/2l，i＝1,2,…,N。m和l为样本库中人脸样本和非人脸样本的个数，即m+l＝N。

S13、for t＝1:M M表示迭代至收敛次数

设定T为弱分类器的总数，且t＝1,2,…,T

S131、对每一个训练库中的样本的权重进行归一化：

$w_{t,i}=\frac{w_{t,i}}{\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{w}_{t,j}}$

S132、对所有的特征进行训练，并挑选弱分类器。对于每个特征f，在所有训练得到的弱分类中，选择具有最小误差ε_f的弱分类器h(x)，并加入到强分类器中。

S133、对样本的权值进行更新：

w_i←w_i·exp(-y_i·h_t(x_i)),i＝1,2,...,N.

并重新进行归一化处理：

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i=1$

S14、得出强分类器：

$H\left(x\right)=\mathrm{sign}\left[\underset{i=1}{\overset{T}{\mathrm{\Σ}}}{h}_i\left(x\right)\right]$

S15、构造级联器检测：

S151、设置每层分类器的误检率f和识别率d，设定最终的最大系统误检率F_max；

S152、对各项参数进行初始化F₁＝1,i＝1；

S153、while(F_i＞F_max)对图像进行训练，使得f_i＜f,d_i＜d，重新计算最大误检率F_i+1＝f_i×F_i；

S16、通过级联检测器实现人脸的最终检测，在最终迭代完成后，总体的误检率为：

$F=\underset{i=1}{\overset{N}{\mathrm{\Π}}}{f}_i$

总体的识别率为：

$D=\underset{i=1}{\overset{N}{\mathrm{\Π}}}{d}_i$

S2.人眼的状态判断：利用Harris角点检测方法在步骤S1中检测出的人脸中结合“三庭五眼”的分布定位出人眼的具体位置；对驾驶员的眼部进行特征提取，通过椭圆拟合，判定出人眼的当前的状态；上一模块得到的关于人眼闭合情况的信息，并通过一定的判定准则来进行驾驶者当前的精神状态是否疲劳；

S21、利用Harris角点检测方法定位出人眼，并二值化图像；

S22、利用FreeMan链码，提取出当前人眼轮廓信息并存储，在二值图像中，利用{0,1,2...7}8个不同的编码值，来标识其8邻域像素点，由此得到的一串编码值就称之为FreeMan链码。在方向相同的前提下，一副图像的链码值是唯一的；

S221、设定其方向；

S222、设定初始点并存储，用于判定是否完成整个轮廓的探寻；

S223、沿预设方向寻找轮廓；

S224、存储寻找到的下一个边缘点，并判断该点是否为起始点，若不是起始点，重复步骤S223、S224，否则，轮廓寻找结束。

S23、对保存轮廓信息的数据集进行最小二乘法椭圆拟合；

假设椭圆的代数方程为：

Ax²+Bxy+Cy²+Dx+Ey+F＝0

令向量α表示椭圆的系数向量，则α＝(A,B,C,D,E,F),且x＝(x²,xy,y²,x,y,1)^T,故上式可以改写为：

F(α,x)＝α·x＝0

则数据点(x_i,y_i)到椭圆的距离为F(α,x_i)，其中x_i＝(x_i ²,x_iy_i,y_i ²,x_i,y_i,1)^T，统计其总误差，即所有数据点到椭圆的距离总和得到：

$D\left(\mathrm{\α}\right)=\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}F{\left(x_i\right)}^2$

其中，n个数据点为步骤S22中通过FreeMan链码获取的轮廓数据。当存在

使得时，此时的

即为最优的系数向量。

S24、将拟合椭圆的代数参数转换为几何参数，并得出长短轴的比值；令Level表示眼睛的张开度，a为椭圆长轴，b为椭圆短轴，则：

$\mathrm{Level}=\frac{a}{b}$

S25、通过设定的比值阈值，判定人眼的张开闭合状态。一般情况下，当人眼的闭合程度达到80%时，视作当前已经完全闭眼。通过实验的分析，可以得出当Level＜2.5时，人眼必然是处于张开状态，当Level＞2.5时，人眼必然是处于闭合状态。

S26、使用PERCLOS方法进行疲劳判定。当人处于疲劳状态下，眼睛在眨眼过程中，闭合的时间会越来越长。通过统计设定的一个周期内，眼睛闭合时间占总体的百分比，若其比例超过了预先设定的阈值T，即视作当前驾驶者已经处于了疲劳驾驶；

S261、PERCLOS在应用中有三种标准：P70，P80和EM，分别表示眼睛闭合程度为70%，80%和50%。本文研究采用P80的准则对疲劳程度进行评判。t₁为人眼正常状态时的初始时刻，即人眼张开度为80%的时刻；t₂为人眼在闭合过程中，人眼张开度为20%的时刻，依据P80准则，此时可以将此时的人眼视作为闭合状态的开始时刻；t₃为人眼在完全闭合后再张开过程中，人眼张开度达到20%的时刻；t₄为人眼完成了一次眨眼过程，恢复到正常的张开状态时的时刻；

S262、当取得t₁,t₂,t₃,t₄后，计算PERCLOS的值f：

$f=\frac{t_3-t_2}{t_4-t_1}\×100\%$

S263、将一次眨眼过程转换到一段判断的时间周期T中，可以得到：

由于在相同时间内，捕捉的图像帧是相同的，可以利用图像帧来代表时间：

S3.驾驶员嘴部状态判断：在人脸基础上定位出人的嘴部，并对嘴部的轮廓进行一个拟合，得出当前嘴部的状态，判定驾驶员的精神状态；

S31、利用Harris角点检测方法定位出人嘴；

S32、利用FreeMan链码，提取出当前人嘴轮廓信息并存储，方法同步骤S22所述；

S33、对保存人嘴轮廓信息的数据集进行最小二乘法椭圆拟合，方法同步骤S23所述；

S34、将拟合椭圆的代数参数转换为几何参数，并得出长短轴的比值，方法同步骤S24所述；

S35、通过设定的比值阈值，判定人嘴的张开闭合状态。一般情况下，当人嘴的闭合程度达到80%时，视作当前已经完全闭合。通过实验的分析，可以得出当Level＜1时，人嘴是处于过度张开状态，此时可以判定人在打哈欠。当Level＜2.5时，人嘴必然是处于张开状态，当Level＞2.5时，人嘴必然是处于闭合状态。

S4.驾驶员精神状态判断：结合S2和S3的判断结果，对驾驶员的精神状态进行最终的判定。判定以人眼判定为主，当通过人眼判定为疲劳时，在之前的一段时间T₁之内人嘴的状态没有发生变化，则判断为疲劳;若在T₁时间之内人嘴的状态发生变化，并且在T₁之内人眼一直判定为疲劳，则判断驾驶员处以疲劳状态；其他情况则判定为非疲劳状态。

Claims (5)

1.一种驾驶员疲劳驾驶检测系统，其特征在于，包括以下装置：

人脸定位装置：利用Adaboost算法检测驾驶员的脸部存在位置；

人眼状态判别装置：利用Harris角点检测的方法，定位出人眼的具体位置；对驾驶员的眼部进行特征提取，通过椭圆拟合，判定出人眼的当前的状态，即人眼闭合情况，并通过一定的判定准则来进行驾驶者当前的精神状态是否疲劳；

嘴部状态判别装置：在人脸基础上定位出人的嘴部，并对嘴部的轮廓进行拟合，得出当前嘴部的状态，判定驾驶员的精神状态；

疲劳判定装置：根据人眼状态判别装置和嘴部状态判别装置的判断结果，对驾驶员的精神状态进行最终的判定；

所述人脸定位装置同人眼状态判别装置和嘴部状态判别装置连接通信，人眼状态判别装置和嘴部状态判别装置分别将判定结果传输至所述疲劳判定装置。

2.一种驾驶员疲劳驾驶检测方法，其特征在于，包括如下步骤：

 步骤一、利用Adaboost算法检测驾驶员的脸部存在位置；

步骤二、利用Harris角点检测的方法，定位出人眼的具体位置；对驾驶员的眼部进行特征提取，通过椭圆拟合，判定出人眼的当前的状态，即人眼闭合情况，并通过一定的判定准则来进行驾驶者当前的精神状态是否疲劳；

步骤三、在人脸基础上定位出人的嘴部，并对嘴部的轮廓进行拟合，得出当前嘴部的状态，判定驾驶员的精神状态。

步骤四、根据步骤二和步骤三的判断结果，对驾驶员的精神状态进行最终的判定。

3.根据权利要求2所述的驾驶员疲劳驾驶检测方法，其特征在于，所述步骤二具体分解为以下步骤：

① Harris角点检测定位出人眼;

② 利用FreeMan链码，提取出当前的轮廓信息并存储；

③ 对保存轮廓信息的数据集进行最小二乘法椭圆拟合；

④ 将拟合椭圆的代数参数转换为几何参数，并得出长短轴的比值；

⑤ 通过设定的比值阈值，判定人眼的张开闭合状态。

4.根据权利要求2所述的驾驶员疲劳驾驶检测方法，其特征在于，所述步骤三具体分解为以下步骤：

①Harris角点检测定位出嘴角；

②利用FreeMan链码，提取出当前的轮廓信息并存储；

③最小二乘法椭圆拟合人嘴轮廓，并转换成对应的几何参数；

④得出最终状态以及该状态持续时间。

5.根据权利要求2所述的驾驶员疲劳驾驶检测方法，其特征在于，所述步骤四通过统计步骤二和步骤三的返还结果，进行复合判断，对驾驶员的精神状态进行最终的判定。

Images