CN105286802A - 基于视频信息的驾驶员疲劳检测方法 - Google Patents

Abstract

本发明公开一种基于视频信息的疲劳驾驶检测方法。该方法利用图像处理技术对视频帧图像进行灰度化、增强、滤波等操作；S采用Harr分类器对视频图像进行检测，将检测到的人脸区域作为感兴趣区域，在此区域内继续利用Harr分类器检测人眼，并采用自适应阈值法排除非人眼区域；采用卡尔曼滤波跟踪算法对驾驶员人眼进行目标跟踪；S4、将人眼区域图像二值化，计算人眼高宽比、眼部区域面积与外接矩形面积比，并判定人眼状态；在获得人眼状态的基础上，计算单位时间内闭合眼睛所占百分比PERCLOS值和眨眼频率，将PERCLOS值及眨眼频率与所设阈值相比，综合多项指标判定驾驶员疲劳状态，从而使得判断结果更为科学和准确。

Description

基于视频信息的驾驶员疲劳检测方法

技术领域

本发明涉及图像处理和模式识别领域，具体设计为一种驾驶员疲劳检测方法。

背景技术

随着汽车产业的飞速发展，汽车保有量不断上升的同时交通安全问题也日益突出，其中因疲劳驾驶导致的交通事故也越来越多。目前针对疲劳检测的方法有四种。

(1)基于驾驶员生理信号的检测方法，当驾驶员处于疲劳状态时，其穴位生物电、脑电波、血压等生理指标都会发生变化，根据这些指标变化可以检测驾驶员状态，不过这种方法对检测仪器的精度有很高的要求，并且接触到驾驶员会产生驾驶不适的使用体验。

(2)基于车辆行驶状态的检测方法，车辆的侧向位移、速度、加速度等状态信息都能反映出驾驶员所处驾驶状态，对车辆的状态信息进行检测，可以推测出驾驶员状态，不过这种方法准确度不高。

(3)基于驾驶员驾驶行为的检测方法，当驾驶员处于疲劳状态时，驾驶行为会发生变化，如对方向盘的操作时间，脚踏板控制力度等，通过传感器对驾驶行为进行检查，可以判断驾驶员状态。不过这种方法所采用的标准难以统一，难以真正大规模推广。

(4)基于驾驶员眼部特征的检测方法，当驾驶员处于疲劳状态时，其眼睛睁闭时间的比例与正常情况不同，通过采用图像处理技术获得人眼睁闭状态进而判断驾驶员疲劳状况，这种方法相对简单实用，目前被广泛采用。不过这种检测方法对人眼定位的要求较高，对疲劳判断标准的选择还有待进一步精确，在准确度和实时性层面有一定的提升空间。

发明内容

为解决上述技术问题，本发明公开了一种基于驾驶员图像信息的疲劳检测方法，具体技术方案如下。

一种基于视频信息的驾驶员疲劳检测方法，该方法在对每帧图像中的人眼状态识别过程采用人眼高宽比P、人眼面积和外接矩形面积比λ两种参数进行判断，当P>0.75时，可认为人眼处于闭合状态，当P<0.75时则根据λ的范围判断：如果λ<0.21则认为是闭合百分之八十，如果0.21<λ<0.32则认为是半开半闭状态，如果λ>0.32则认为是完全睁开状态；在对驾驶员的疲劳状态判断的过程中，采用PERCLOS原理与眨眼频率相结合的方式，设置不同阈值，进行判断。

进一步地，所述的一种基于视频信息的驾驶员疲劳检测方法包括如下步骤：

S1、通过CCD摄像头实时采集驾驶员图像信息，利用图像处理技术对视频帧图像进行灰度化、增强和滤波；

S2、采用Harr分类器对视频图像进行检测，将检测到的人脸区域作为感兴趣区域，在此区域内继续利用Harr分类器检测人眼，并采用自适应阈值法排除非人眼区域；

S3、采用卡尔曼滤波跟踪算法对驾驶员人眼进行目标跟踪；

S4、将人眼区域图像二值化，计算人眼高宽比、眼部区域面积与外接矩形面积比，并判定人眼状态；

S5、在获得人眼状态的基础上，计算单位时间内闭合眼睛所占百分比PERCLOS值和眨眼频率，将PERCLOS值及眨眼频率与所设阈值相比，从而判定驾驶员疲劳状态。

进一步地，所述S3中，人眼跟踪步骤采用卡尔曼滤波跟踪算法并采用Adaboost算法作为观测条件，具体是：

A1、在每帧图像中，人眼的状态用位置和速度表示，设时间t＝k时，通过Adaboost算法检测人眼位置坐标为(x_k,y_k)，在x、y轴方向的移动速度为(u_k,v_k)，此时状态向量方程为：

X_k＝[x_k,y_k,u_k,v_k]^T；

A2、由于没有输入，进一步有：

X_k+1＝A_kX_k+W_k；

A3、在实际检测中，相邻两帧图像时间间隔较短，目标运动能看做是匀速线性的，A_k可表示为：

$A_k=\left[\begin{array}{cccc}1& 0& 1& 0\\ 0& 1& 0& 1\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right];$

A4、观测模型为：

Z_k＝Hx_k+V_k

Z_k表示t时刻图像中人眼位置，且仅跟位置相关，因而H可以表示为

$H=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right],$

跟踪状态初始值由连续两帧中的人眼运动信息确定；在每次迭代校正过程中，通过Adaboost算法进行人眼检测获得观测值；在实际跟踪中，若出现目标丢失情况，此时需要采用Adaboost算法对整幅图像重新检测定位。

进一步地，S4中人眼状态识别步骤具体包括：

A1、在人眼区域二值化图像中进行积分投影，获得人眼高宽比；

A2、计算人眼区域二值化图像中人眼黑色区域面积与其外接矩形面积的比例；

A3、将人眼高宽比λ和外接矩形面积比P与所设阈值进行判断，λ有两个阈值：0.21、0.32，P阈值为0.75。

进一步地，S5步骤具体包括：

A1、计算PERCLOS＝眼睛闭合帧数/检测单元总帧数；

A2、计算检测单元内眨眼频率F；

A3、将PERCLOS值和F进行阈值比较并最终判断驾驶员状态，如果PERCLOS值f小于0.39，则判断F是否小于5，当F<5时，认为驾驶员走神；如果f大于0.39，则判断F是否大于20，当F>20时，可认为驾驶员状态正常。

与现有技术相比，本发明具有如下优点和技术效果：该方法利用摄像头采集的实时信息，首先在实现人脸检测的基础上，通过Harr分类器定位人眼区域，并且通过自适应阈值法排除非人眼区域，然后利用人眼高宽比和外接矩形面积占比两种参数进行人眼状态识别，最后通过PERCLOS原理与眨眼频率相结合的方法对驾驶员状态予以识别，具好较好的检测效果。本发明综合多项指标判定驾驶员疲劳状态，从而使得判断结果更为科学和准确。

附图说明

图1为实例中的整体模块架构示意图；

图2为实例中人眼状态识别流程示意图；

图3为实例中疲劳状态检测流程示意图。

具体实施方式

下面结合附图对本发明的具体实施过程作详细说明，但本发明要求保护的范围并不局限于下例表述的范围。

如图1，本实例的疲劳检测架构中，包括图像预处理模块、目标检测模块、目标跟踪模块、状态识别模块、疲劳检测模块。

在具体实施过程中，按照如下步骤进行。

S1、对图像进行预处理，将CCD摄像头采集的驾驶员图像进行灰度化、直方图增强、滤波去噪等处理；

S2、采用Harr分类器对视频图像进行检测，将检测到的人脸区域作为感兴趣区域，在此区域内继续利用Harr分类器检测人眼，并采用自适应阈值法排除非人眼区域。具体包括：

A1、通过Adaboost算法获得人脸特征分类器和人眼特征分类器；

A2、使用人脸分类器在视频图像帧中检测出人脸区域，并进一步通过人眼特征分类器检测人眼区域；

A3、采用自适应阈值法排除非人眼区域，这里所指的自适应阈值是根据Harr分类器检测的集合元素个数动态的选取，将待筛选的人眼区域集合按照包含元素的个数进行排序，以集合元素个数的次大值作为阈值，将阈值外集合予以排除，这种阈值会根据每次检测的不同集合而变化。

S3、采用卡尔曼滤波跟踪算法对驾驶员人眼进行目标跟踪。具体包括以下步骤：

A1、在每帧图像中，人眼的状态可以用位置和速度表示，设t＝k时，通过Adaboost算法检测人眼位置坐标为(x_k,y_k)，在x、y轴方向的移动速度为(u_k,v_k)，此时状态向量方程为：

X_k＝[x_k,y_k,u_k,v_k]^T

A2、由于没有输入，因此系统模型可表述为：

X_k+1＝A_kX_k+W_k

A3、在实际检测中，驾驶员头部运动不会特别激烈，且相邻两帧图像时间间隔较短，目标运动可看做是匀速线性的，A_k可表示为：

$A_k=\left[\begin{array}{cccc}1& 0& 1& 0\\ 0& 1& 0& 1\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

A4、观测模型为：

Z_k＝Hx_k+V_k

Z_k表示t时刻图像中人眼位置，且仅跟位置相关，因而H可以表示为

$H=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right]$

跟踪状态初始值可由连续两帧中的人眼运动信息确定。在每次迭代校正过程中，可通过Adaboost算法进行人眼检测获得观测值。在实际跟踪中，有可能出现目标丢失情况，此时需要采用Adaboost算法对整幅图像重新检测定位。在发明中，如果连续超过四帧出现跟踪丢失的情况，则采取重新定位的策略

S4、将人眼区域图像二值化，计算人眼高宽比、眼部区域面积与外接矩形面积比，并如图2所示判定人眼状态，具体步骤如下：

A1、在人眼区域二值化图像中进行积分投影，获得人眼高宽比；

A2、计算人眼区域二值化图像中人眼黑色区域面积与其外接矩形面积的比例；

A3、将人眼高宽比λ和外接矩形面积比P与所设阈值按照图2中所示进行判断当P>0.75时，可认为人眼处于闭合状态，当P<0.75时则根据λ的范围判断：如果λ<0.21则认为是闭合百分之八十，如果0.21<λ<0.32则认为是半开半闭状态，如果λ>0.32则认为是完全睁开状态。

S5、在获得人眼状态的基础上，计算单位时间内闭合眼睛所占百分比PERCLOS值和眨眼频率，具体步骤如下；

A1、计算PERCLOS＝眼睛闭合帧数/检测单元总帧数；

A2、计算检测单元内眨眼频率；

A3、按照如图3所示进行阈值比较并最终判断驾驶员状态：首先计算PERCLOS值，如果f小于0.39，则判断F是否小于5，当F<5时，可认为驾驶员走神。如果f大于0.39，则判断F是否大于20，当F>20时，可认为驾驶员状态正常。

Claims (5)

1.一种基于视频信息的驾驶员疲劳检测方法，其特征在于：在对每帧图像中的人眼状态识别过程采用人眼高宽比P、人眼面积和外接矩形面积比λ两种参数进行判断，当P>0.75时，可认为人眼处于闭合状态，当P<0.75时则根据λ的范围判断：如果λ<0.21则认为是闭合百分之八十，如果0.21<λ<0.32则认为是半开半闭状态，如果λ>0.32则认为是完全睁开状态；在对驾驶员的疲劳状态判断的过程中，采用PERCLOS原理与眨眼频率相结合的方式，设置不同阈值，进行判断。

2.根据权利要求1所述的一种基于视频信息的驾驶员疲劳检测方法，其特征包括如下步骤：

S1、通过CCD摄像头实时采集驾驶员图像信息，利用图像处理技术对视频帧图像进行灰度化、增强和滤波；

S2、采用Harr分类器对视频图像进行检测，将检测到的人脸区域作为感兴趣区域，在此区域内继续利用Harr分类器检测人眼，并采用自适应阈值法排除非人眼区域；

S3、采用卡尔曼滤波跟踪算法对驾驶员人眼进行目标跟踪；

S4、将人眼区域图像二值化，计算人眼高宽比、眼部区域面积与外接矩形面积比，并判定人眼状态；

S5、在获得人眼状态的基础上，计算单位时间内闭合眼睛所占百分比PERCLOS值和眨眼频率，将PERCLOS值及眨眼频率与所设阈值相比，从而判定驾驶员疲劳状态。

3.根据权利要求1所述一种基于视频信息的驾驶员疲劳检测方法，其特征在于S3中人眼跟踪步骤采用卡尔曼滤波跟踪算法并采用Adaboost算法作为观测条件，具体是：

A1、在每帧图像中，人眼的状态用位置和速度表示，设时间t＝k时，通过Adaboost算法检测人眼位置坐标为(x_k,y_k)，在x、y轴方向的移动速度为(u_k,v_k)，此时状态向量方程为：

X_k＝[x_k,y_k,u_k,v_k]^T；

A2、由于没有输入，进一步有：

X_k+1＝A_kX_k+W_k；

A3、在实际检测中，相邻两帧图像时间间隔较短，目标运动能看做是匀速线性的，A_k可表示为：

$A_k=\left[\begin{array}{cccc}1& 0& 1& 0\\ 0& 1& 0& 1\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right];$

A4、观测模型为：

Z_k＝Hx_k+V_k

Z_k表示t时刻图像中人眼位置，且仅跟位置相关，因而H可以表示为

$H=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right],$

跟踪状态初始值由连续两帧中的人眼运动信息确定；在每次迭代校正过程中，通过Adaboost算法进行人眼检测获得观测值；在实际跟踪中，若出现目标丢失情况，此时需要采用Adaboost算法对整幅图像重新检测定位。

4.根据权利要求1所述一种基于视频信息的驾驶员疲劳检测方法，其特征在于，S4中人眼状态识别步骤具体包括：

A1、在人眼区域二值化图像中进行积分投影，获得人眼高宽比；

A2、计算人眼区域二值化图像中人眼黑色区域面积与其外接矩形面积的比例；

A3、将人眼高宽比λ和外接矩形面积比P与所设阈值进行判断，λ有两个阈值：0.21、0.32，P阈值为0.75。

5.根据权利要求1所述一种基于视频信息的驾驶员疲劳检测方法，其特征在于，S5步骤具体包括：

A1、计算PERCLOS＝眼睛闭合帧数/检测单元总帧数；

A2、计算检测单元内眨眼频率F；

A3、将PERCLOS值和F进行阈值比较并最终判断驾驶员状态，如果PERCLOS值f小于0.39，则判断F是否小于5，当F<5时，认为驾驶员走神；如果f大于0.39，则判断F是否大于20，当F>20时，可认为驾驶员状态正常。