CN102085099A - 疲劳驾驶检测方法和装置 - Google Patents

Abstract

本发明提供了一种疲劳驾驶检测方法，包括以下步骤：定位驾驶员眼睛；采用具有红外发射装置的图像采集系统捕获驾驶员的眼睛图像数据；根据捕获的眼睛图像数据计算出单位时间内眼睛闭合的次数及时间；根据计算出的单位时间内眼睛闭合的次数及时间判断驾驶员是否处于疲劳状态。本发明还公开了一种疲劳驾驶检测装置。本发明的疲劳驾驶检测方法和装置能够在不同光照强度下对疲劳驾驶进行检测，并且得到较为准确的检测结果，避免出现误判。

Description

疲劳驾驶检测方法和装置

技术领域

本发明涉及于疲劳识别技术领域，特别是涉及一种疲劳驾驶检测方法和装置。

背景技术

疲劳驾驶是引发交通事故的一个重要原因，如何有效的监测和防止驾驶员疲劳驾驶，对于降低交通事故及人员死亡率，有着十分重要的现实意义。疲劳是一个时间积累的结果，一般情况下，驾驶员在精力充沛时，嘴巴闭合、眼睛睁开；进入轻度疲劳时，嘴张大、眼睛睁开变小，频率变大；特别疲劳以至睡眠时，嘴巴闭合、眼睛完全合上。因此通过对驾驶员的生理特征变化的检测来作为判断驾驶员是否疲劳驾驶是目前常见的一种疲劳驾驶检测方法。判别驾驶员的疲劳程度的生理特征的检测方法一般可分为接触式检测和非接触式的检测两大类。

其中，接触式检测包括脑电图检测等方法，脑电图检测即通过采集驾驶员的脑电图的频率分布和波形，分析大脑活动的功能状态，从而推测是否驾驶员存在心理疲劳，进而判断驾驶员是否处于疲劳驾驶状态。但是，此种方法所需设备较为复杂，价格较高，而且脑电图容易受外界因素的干扰且个体间的生理反映差距较大，影响检测的结果，因此难以在实际中使用。

非接触式检测包括检测头部姿势法、PERCLOS(Percentage of EyelidClosure Over the Pupil Over Time，一定时间内眼睛闭合所占的时间比例)等方法。此类方法通过对人体的外在特征的测量来进行检测，可以得到较为客观的结果，避免采用接触式检测时所产生的问题。

其中，检测头部姿势通过检测头部位置来确定是否疲劳，因为疲劳时头部会经常向下倾斜，对于大部分人，头部位置与疲劳度的相关系数在0.8左右。但是此种检测方式的判断条件较为单一，某些人在疲劳时头部姿势基本不变，那么此种方式便无法检测出是否疲劳，影响检测的准确性。

PERCLOS方法通过计算在一定的时间内眼睛闭合时所占的时间比例来判断是否疲劳，此种方式需要检测出眼睛，当外界光照强度不同时，例如，在夜晚、光线较弱、偏光等情况下进行检测时会影响检测的效果，因此此种方法无法准确地获取不同光照变化下的眼睛区域的图像及通过眼睛的变化判断驾驶员的疲劳程度，无法得出准确的检测结果。

另外，驾驶员在疲劳驾驶时，因为注意力无法集中，其行车的路线也可能受到影响，例如，车辆会经常会越过公路中间的白线。车辆离开白线的时间和偏离程度可以在一定程度反映驾驶员的疲劳程度，因此还可以采用道路追踪法来检测驾驶员是否疲劳驾驶。此种方法常见的做法是在车上安装一个与驾驶员视野相同的摄像头，采集行驶路线上白线的数据。但是此种方法需要要求白线足够清晰，而且晚上测量时会因为光线不足而无法进行。此外，当有意外发生或者其他情况时，车辆也可能出现偏离白线的情况，而此时驾驶员可能是处理正常驾驶状态，因此此种方法可能会出现误判。

发明内容

本发明所要解决的技术问题是提供一种疲劳驾驶检测方法和装置，能够在不同光照强度下对疲劳驾驶进行检测，并且得到较为准确的检测结果，避免出现误判。

为了解决上述技术问题，本发明实施例公开了一种疲劳驾驶检测方法，包括以下步骤：

定位驾驶员眼睛；

采用具有红外发射装置的图像采集系统捕获驾驶员的眼睛图像数据；

根据捕获的眼睛图像数据计算出单位时间内眼睛闭合的次数及时间；

根据计算出的单位时间内眼睛闭合的次数及时间判断驾驶员是否处于疲劳状态。

进一步地，所述方法还包括建立眼睛张合分类器计算单位时间内眼睛闭合的次数及时间，所述建立眼睛张合分类器的方法为：

自适应提升方法；和/或

支持向量机方法。

进一步地，所述判断驾驶员是否处于疲劳状态的方法为：

预设一个阈值，如果单位时间内眼睛闭合的次数大于该阈值，则认为驾驶员处于疲劳状态。

进一步地，所述方法还包括判断驾驶员疲劳程度：

预设一个阈值，如果单位时间内眼睛闭合的时间大于该阈值，则认为驾驶员处于疲劳状态。

进一步地，所述定位驾驶员眼睛的方法包括：

采用人脸检测器检测出人脸；

根据检测出的人脸定位眼睛。

进一步地，在定位驾驶员眼睛之后，还包括：

以眼睛位置为跟踪对象，计算眼睛的质心，若眼睛的质心变化超过一定的阈值，则重新定位眼睛，反之，则保持不变。

为了解决上述问题，本发明还公开了一种疲劳驾驶检测装置，包括：

眼睛定位模块，用于定位驾驶员眼睛；

图像采集系统，采集眼睛图像数据，所述图像采集系统具有红外发射装置，用于为驾驶员脸部提供红外照明；

计算模块，根据眼睛图像数据计算出单位时间内眼睛闭合的次数及时间；

疲劳状态分析模块，根据计算出单位时间内眼睛闭合的次数及时间对驾驶员的疲劳状态进行分析。

进一步地，所述计算模块为眼睛张合分类器。

进一步地，所述疲劳状态分析模块包括比较模块，所述比较模块将计算模块的计算结果与预设的阈值进行比较，判断驾驶员是否处于疲劳驾驶状态。

进一步地，所述比较模块包括次数比较单元，用于对眼睛闭合次数与次数阈值进行比较。

进一步地，所述比较模块还包括时间比较单元，用于对眼睛闭合时间与时间阈值进行比较。

进一步地，所述装置还包括眼睛位置跟踪模块，用于对定位后的眼睛位置进行跟踪计算。

与现有技术相比，本发明具有以下优点：

本发明的疲劳驾驶检测方法和装置通过采用具有红外发射装置的图像采集系统来实现眼睛图像数据的采集，红外发射装置可以为驾驶员的脸部提供红外照明，以使在不同光照强度下都能捕捉到驾驶员的眼睛图像数据，获得较为准确的检测结果。

另外，本发明根据获取的眼睛图像数据来检测驾驶员是否疲劳，无需依赖外部环境。而且眼睛张合分类器除了计算单位时间内眼睛闭合的次数还会计算闭眼的时间，若单位时间内闭合眼睛次数达到一定程度的时候可以判断出驾驶员处于疲劳状态，同时，若单位时间内闭合眼睛次数较少，但是闭合时间较长也可以判断出驾驶员处于疲劳状态，可以避免因为单一的判断而无法检测出是否疲劳而出现的误判。

附图说明

图1是本发明的疲劳驾驶检测方法实施例一的流程图；

图2是本发明的疲劳驾驶检测方法实施例二的流程图；

图3是本发明的疲劳驾驶检测装置实施例一的结构示意图；

图4是本发明的疲劳驾驶检测装置实施例二的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参考图1，示出了本发明一种疲劳驾驶检测方法实施例一，包括以下步骤：

步骤101，定位驾驶员眼睛。

定位驾驶员眼睛是为了获得较为准确的眼睛图像数据。其中，对眼睛的定位可以通过自适应提升算法和类HAAR小波训练得到的人脸检测器进行人脸检测，在此基础上进行眼睛区域的定位，此种方式采用对人脸的整个区域进行检测，可以较为准确的得到眼睛的定位。在某些情况下，无法检测到人脸的整个区域时，对眼睛的定位也可以通过自适应提升算法和类HAAR小波训练直接得到单眼或双眼眼测器来实现。

步骤102，采用具有红外发射装置的图像采集系统捕获驾驶员的眼睛图像数据。

在对眼睛进行正确的定位后，采用具有红外发射装置的图像采集系统进行捕获。其中，具有红外发射装置的图像采集系统可以是自带红外发光二级管的红外摄像机等系统。图像的采集可以采用CMOS或CCD感光器件，并在感光器件表面或摄像头的镜头表面，镀一层透过红外波段阻止可见光的膜。图像采集系统可以安装在驾驶室内驾驶员头部的前方，为驾驶员的脸部提供红外照明，也可以独立设置，例如可以设置在帽沿上，当需要使用时，则直接戴在驾驶员头上。当设置在帽沿上，驾驶员戴在头上时，图像采集系统随着驾驶员头部的转动而转动，始终照亮其脸部，从而可以较好的捕获眼睛图象数据。因为红外发射装置可以提供红外照明，因此在光照强度发生变化时，例如，夜晚、光线较弱、偏光等情况下也可以较好的采集眼睛图像数据。

步骤103，根据捕获的眼睛图像数据计算出单位时间内眼睛闭合的次数及时间。

对捕获的眼睛图像数据进行分析，计算出单位时间内眼睛闭合的次数及时间通过眼睛张合分类器来实现。

其中，眼睛张合分类器的建立可以采用自适应提升方法(Adaboost，adaptive boosting)，通过对眼睛张开和闭合两种不同状态的眼睛区域图像提取类Haar特征来实现。在此方法中，眼睛张合分类器的训练使用5种微结构特征，对于尺寸归一化为24×12像素的人眼模式，共得到42727个特征。使用自适应提升算法从中选择基于单个特征的弱分类器构成强分类器，共训练得到7层结构从简单到复杂的强分类器，由这些强分类器级联构成一个完整的眼睛张合分类器。其中，强分类器训练过程如下：

步骤201，设训练样本{x_i，y_i)|i＝0，1，…，N}，x_i属于输入图像的特征向量，Y_i∈{+1，-1}，正样本y_i＝1表示眼睛区域，反样本y_i＝0表示其样本是闭眼区域。

步骤202，初始化权重

(对应正样本)或

(对应负样本)，其中m为正样本数，l为负样本数，m+l＝n。

步骤203，假设t＝1，...，T，那么

a)归一化权重，使得

b)选择一个最佳的分类器，使其拥有最小的分类误差：

${\mathrm{\ϵ}}_t={\min }_{f,p,\mathrm{\θ}}\underset{i}{\mathrm{\Σ}}{w}_i|h(x_i,f,p,\mathrm{\θ})-y_i|;$

c)定义h_t＝h(x，f_t，p_t，θ_t)，其中f_t，p_t，θ_t是取得ε_t的值；

d)更新权值：

其中e_i＝1表示x_i被正确分类，e_i＝0表示x_i被

错误分类，

最终的强分类器：

其中

另外，眼睛张合分类器的建立还可以采用支持向量机(SVM，supportvector machine)方法，即对输入的眼睛张开和闭合两种不同状态的眼睛区域图像采用支持向量机进行学习，获得分类函数。具体的过程如下：

步骤301，设训练样本{(x_i，y_i)|i＝0，1，…，N}，x_i属于输入图像的特征向量，y_i∈{+1，-1}，正样本y_i＝1表示眼睛区域，反样本y_i＝0表示闭眼区域。

经过支持向量机训练获得分类函数：

其中z_i是支持向量，K为Kernel函数，b为常数，对眼睛图像区域提取特征向量x，计算f(x)，得到对应的sign(f(x))值，sign(f(x))值的正负分别对应表示眼睛的张开和闭合状态。

在前述眼睛张合分类器的两种建立方法中，自适应提升方法可以对样本个数很多的样本进行训练，支持向量机则是针对小样本问题的有效工具。训练样本个数少时用支持向量机训练和测试可以得到很好的结果，用自适应提升方法效果一般，反之当训练样本很多时，支持向量机算法无法承受，而自适应提升方法却可以训练出很好的分类器。因此，如果可以获得大量的眼睛区域图像时，例如大于20000张，可以采用自适应提升方法获得眼睛张合分类器；如果获得的眼睛区域图像较少时，则可以采用支持向量机方法获得眼睛张合分类器。

前述两种确定眼睛张合分类器的建立方法可以根据采集图像数量的多少来确定，这样可以使建立的眼睛张合分类器具有较为准确的分析性能，在采用眼睛张合分类器时能得到较为准确的结果。

步骤104，根据计算出的单位时间内眼睛闭合的次数及时间判断驾驶员是否处于疲劳状态。

在计算出单位时间内眼睛闭合的次数及时间后，根据单位时间内眼睛闭合的次数及时间判断出驾驶员是否处于疲劳状态。例如，预先设定一个次数阈值和时间阈值，如果计算出的单位时间内眼睛闭合的次数超过次数阈值，则判定驾驶员处于疲劳状态。如果眼睛闭合的时间超过时间阈值，则也可以判定驾驶员处于疲劳状态。只有当单位时间内眼睛闭合的次数小于次数阈值，且单位时间眼睛闭合的时间小于时间阈值时才可以判定驾驶员处于正常状态。

本发明的疲劳驾驶检测方法中，通过检测单位时间内眼睛闭合的次数及时间同时来判断驾驶员是否处于疲劳驾驶状态，若单位时间内闭合眼睛次数达到一定程度的时候可以判断出驾驶员处于疲劳状态，同时，若单位时间内闭合眼睛次数较少，但是闭合时间较长也可以判断出驾驶员处于疲劳状态，可以避免因为单一的判断而无法检测出是否疲劳而出现的误判。

参照图2，示出本发明的疲劳驾驶检测方法实施例二，进一步地，在前述实施例一的定位驾驶员眼睛后还包括如下步骤1011：以眼睛区域为跟踪对象，计算眼睛的质心。如果眼睛的质心变化超过一定的阈值，则说明眼睛位置发生了变化，则需要重新定位驾驶员眼睛，以使图像采集系统捕获到准确的眼睛图像数据。

眼睛的质心(x_c，y_c)的计算公式如下：

$x_c=\frac{{\mathrm{\Σ}}_i{\mathrm{\Σ}}_j{x}_{\mathrm{ij}}I(i,j)}{{\mathrm{\Σ}}_i{\mathrm{\Σ}}_{j}I(i,j)}$

$y_c=\frac{{\mathrm{\Σ}}_i{\mathrm{\Σ}}_j{y}_{\mathrm{ij}}I(i,j)}{{\mathrm{\Σ}}_i{\mathrm{\Σ}}_{j}I(i,j)}$

其中I(i，j)为眼睛图像在第i行第j列的灰度值，x_ij和y_ij为眼睛图像在第i行j列对应的位置值。

在定位眼睛后，对眼睛的位置进行跟踪计算，当眼睛质心变化超过阈值时重新定位眼睛，可以保证图像采集系统采集数据的准确性，从而使检测结果更加精确。

参照图3，示出本发明实施例一的疲劳驾驶检测装置100，包括眼睛定位模块10、图像采集系统20、计算模块30及疲劳状态分析模块40。

其中，眼睛定位模块10用于定位驾驶员的眼睛，以便于图像采集系统20采集眼睛图像数据。

图像采集系统20包括红外发射装置21、感光器件23及摄像头25。其中，红外发射装置21可以是红外发光二级管等装置，用于为驾驶员的脸部提供红外照明，以使在光照不佳的情况下仍然能捕捉到驾驶员的眼睛图像数据。感光器件23可以是CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)感光器件或者CCD(Charge-coupled Device，电荷耦合元件)感光器件等，本实施例中，在感光器件23的表面或者摄像头25的镜头表面需要镀一层红外波段阻止可见光的膜。图像采集系统20可以安装在驾驶室内驾驶员头部的前方，为驾驶员的脸部提供红外照明，也可以独立设置，例如可以设置在帽沿上，当需要使用时，则直接戴在驾驶员头上。

计算模块30用于对图像采集系统采集到的眼睛图像数据进行分析，计算出单位时间内眼睛闭合的次数及时间，并将计算结果传递给疲劳状态分析模块40。本实施例中，计算模块30为眼睛张合分类器。

疲劳状态分析模块40根据计算模块30的计算结果来判断驾驶员是否处于疲劳驾驶状态。其中，疲劳状态分析模块40包括次数比较单元41和时间比较单元42。疲劳状态分析模块40将计算结果与预设的阈值进行比较，从而得出驾驶员是否处于疲劳驾驶状态。例如，次数比较单元41对眼睛闭合的次数进行比较，如果计算出的单位时间内眼睛闭合的次数超过次数阈值，则判定驾驶员处于疲劳状态，反之，则处于正常状态。时间比较单元42对眼睛闭合时间进行比较，如果眼睛闭合的时间超过时间阈值，则可以判定驾驶员处于疲劳过度状态。

参照图4，进一步地，本发明的疲劳驾驶检测装置100还包括眼睛位置跟踪模块50，用于对定位后的眼睛位置进行跟踪计算，从而保证图像采集的准确性。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本发明所提供的一种疲劳驾驶检测方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种疲劳驾驶检测方法，其特征在于，包括以下步骤：

定位驾驶员眼睛；

采用具有红外发射装置的图像采集系统捕获驾驶员的眼睛图像数据；

根据捕获的眼睛图像数据计算出单位时间内眼睛闭合的次数及时间；

根据计算出的单位时间内眼睛闭合的次数及时间判断驾驶员是否处于疲劳状态。

2.如权利要求1所述的方法，其特征在于，所述方法还包括建立眼睛张合分类器计算单位时间内眼睛闭合的次数及时间，所述建立眼睛张合分类器的方法为：

自适应提升方法；和/或

支持向量机方法。

3.如权利要求1或2所述的方法，其特征在于，所述判断驾驶员是否处于疲劳状态的方法为：

预设一个阈值，如果单位时间内眼睛闭合的次数大于该阈值，则认为驾驶员处于疲劳状态。

4.如权利要求1或2所述的方法，其特征在于，所述方法还包括判断驾驶员疲劳程度：

预设一个阈值，如果单位时间内眼睛闭合的时间大于该阈值，则认为驾驶员处于疲劳状态。

5.如权利要求1所述的方法，其特征在于，所述定位驾驶员眼睛的方法包括：

采用人脸检测器检测出人脸；

根据检测出的人脸定位眼睛。

6.如权利要求1所述的方法，其特征在于，在定位驾驶员眼睛之后，还包括：

以眼睛位置为跟踪对象，计算眼睛的质心，若眼睛的质心变化超过一定的阈值，则重新定位眼睛，反之，则保持不变。

7.一种疲劳驾驶检测装置，其特征在于，包括：

眼睛定位模块，用于定位驾驶员眼睛；

图像采集系统，采集眼睛图像数据，所述图像采集系统具有红外发射装置，用于为驾驶员脸部提供红外照明；

计算模块，根据眼睛图像数据计算出单位时间内眼睛闭合的次数及时间；

疲劳状态分析模块，根据计算出单位时间内眼睛闭合的次数及时间对驾驶员的疲劳状态进行分析。

8.如权利要求7所述的装置，其特征在于，所述计算模块为眼睛张合分类器。

9.如权利要求7所述的装置，其特征在于，所述疲劳状态分析模块包括比较模块，所述比较模块将计算模块的计算结果与预设的阈值进行比较，判断驾驶员是否处于疲劳驾驶状态。

10.如权利要求9所述的装置，其特征在于，所述比较模块包括次数比较单元，用于对眼睛闭合次数与次数阈值进行比较。

11.如权利要求10所述的装置，其特征在于，所述比较模块还包括时间比较单元，用于对眼睛闭合时间与时间阈值进行比较。

12.如权利要求7至11所述的装置，其特征在于，所述装置还包括眼睛位置跟踪模块，用于对定位后的眼睛位置进行跟踪计算。

Images