CN106203338A - 基于网格区域分割和阈值自适应的人眼状态快速识别方法 - Google Patents

Abstract

本发明公开了一种基于网格区域分割和阈值自适应的人眼状态快速识别方法，利用Adaboost算法定位到人眼位置的几何区域，并用网格三分法标定眼部瞳孔特征区域；采用自适应求取背景图像分离最佳阈值的二值化算法，对眼部三个区域的图像进行黑白增强处理；将标准的计算瞳孔闭合度的关系式，修正为引入漂移因素的计算瞳孔闭合度的关系式；最后基于PERCLOS法，判断是否处于疲劳状态。本发明解决了驾驶过程中驾驶员头部转动、经常性的眼神漂移引起的瞳孔位置变化和光照变化引起前后帧眼部图像灰度变化而导致图像增强处理阈值的不确定性所引起的人眼疲劳状态识别准确率不高的问题，其占用计算资源少，实时性高。

Description

基于网格区域分割和阈值自适应的人眼状态快速识别方法

技术领域

本发明涉及一种人眼状态的识别方法，具体讲是一种基于网格区域分割和阈值自适应的人眼状态快速识别方法，属于图像处理与模式识别技术领域。

背景技术

美国国家公路交通安全署统计每年因疲劳驾驶而导致大约10万起交通事故；法国国家警察总署的交通事故统计，因疲劳瞌睡产生的事故，占人身伤害事故的14.9％，占死亡事故的20.6％；德国境内高速公路上，人身伤害事故的25％是由疲劳驾驶引起的。我国随着机动车保有量的持续快速增加以及高速公路通车里程逐年增长，现代生活节奏的加快，高速公路上重大交通事故中约48％因疲劳驾驶导致。疲劳驾驶引发的交通事故已被公认为当今世界危害人类生命安全的第一大公害，为了保护广大生命财产安全，疲劳驾驶预警技术成为探索汽车主动安全设计领域的主要研究热点。

基于驾驶员脸部，重点眼睛区域特征的图像分析技术，是防疲劳驾驶监测的主要手段之一。困扰眼部状态疲劳识别准确率提高的两大问题，一个是监测过程来源头部转动和眼神漂移的人眼瞳孔位置的可能变化。其中头部转动引起的瞳孔位置变化，主要通过人眼动态跟踪技术进行解决，目前随着人脸捕捉识别技术的发展，已经转入产品化的实际应用，例如各种嵌入数字摄像功能的电子设备的笑脸捕捉功能。另一个是监测时间段内光照变化引起前后帧眼部图像灰度变化，而导致图像增强处理阈值的不确定性。

目前，驾驶员疲劳检测过程中眼睛状态识别算法主要有：模板匹配算法、灰度投影算法、Hough变换检测圆法、椭圆拟合法等。模板匹配算法利用采集到的人眼图像与闭眼模板进行匹配，涉及到归一化、相似度的计算，针对不同光照情况，需要多个模板进行匹配，计算量较大；灰度投影法是对图像灰度进行水平、垂直投影，利用投影曲线的峰值，可大致得到眼部区域，但易受光照条件的影响，不能有效解决光照变化的问题；Hough检测圆算法、椭圆拟合法的原理利用的是边缘图像，当头部转动、光照不均引起边缘特征不明显的情况下，识别准确率不高，需要有效的边缘检测算法的支撑。

2011年5月11日，中国发明专利CN102054163A公开了一种基于单目视觉的驾驶员疲劳检测方法，利用Adaboost算法对人脸进行检测后，进一步利用形态学滤波、提取眼部特征等方法进行疲劳判定。该发明是在人脸区域内进行眼部特征提取，与直接提取人眼区域的方法相比，容易受眉毛等其他因素的干扰，导致提取到眼部特征不明显甚至不正确。此外，采用的四种联合判定方法均采用固定阈值的方法，无法解决监测时间段内光照变化引起前后帧眼部图像梯度变化、灰度变化、肤色比特率变化，而导致阈值的不确定性。

2011年7月13日，中国发明专利CN102122357A公开了一种基于人眼睁闭状态的疲劳检测方法，利用肤色模型、轮廓提取等进一步判定疲劳。该发明选用的肤色模型，无法解决监测时间段内光照变化、光照不足情况下肤色模型难以建立的问题，受光照影响较大。同时，头部转动会影响轮廓的提取，导致该发明识别精度不高。

2013年11月20日，中国发明专利CN103400471A公开了一种驾驶员疲劳驾驶检测系统及检测方法，利用Adaboost算法定位人脸，在脸部区域进一步利用Harris角点检测、椭圆拟合来判定人眼状态。该发明计算量大，并且利用的是边缘图像，当头部转动、光照不均引起边缘特征不明显的情况下，识别准确率不高，需要有效的边缘检测算法的支撑。

发明内容

本发明所要解决技术问题在于克服现有技术缺陷，提供一种能有效克服驾驶过程中驾驶员头部转动、经常性的眼神漂移引起的瞳孔位置变化和光照变化引起前后帧眼部图像灰度变化而导致图像增强处理阈值的不确定性，提高人眼疲劳状态识别准确率的基于网格区域分割和阈值自适应的人眼状态快速识别方法。

为了解决上述技术问题，本发明提供的基于网格区域分割和阈值自适应的人眼状态快速识别方法，包括以下步骤：

1)、对采集到的人脸图像进行清晰处理后提取人眼Haar特征；

2)、根据步骤1)提取到的人眼Haar特征，利用Adaboost算法定位眼部区域矩形框信息；

3)、利用网格三分法将眼部区域分成Ⅰ、Ⅱ和Ⅲ三个区域；

4)、采用自适应求取背景图像分离最佳阈值的二值化算法，以求得的阈值对眼部三个区域的图像进行黑白增强处理；

5)、计算瞳孔闭合度；

6)、基于PERCLOS法判断是否处于疲劳状态。

本发明中，所述步骤3)的具体过程为：

3.1)、利用返回的眼部区域矩形框的参数，大致确定瞳孔分布，得到其圆心坐标；

3.2)、根据瞳孔的圆心坐标和矩形框尺寸，得到Ⅰ、Ⅱ、Ⅲ区各网格的位置坐标和大小。

本发明中，所述步骤4)的最佳阈值T_split求取采用OTSU大津法提取，其过程为：

4.1)、按图像灰度值分级，统计每一级像素出现的概率；

4.2)、用阈值k将图像中的像素按灰度值分为背景类和目标类；

4.3)、求取使得背景类和目标类类间方差最大时所对应的k。

本发明中，所述步骤5)的具体过程为：

5.1)、求取漂移不敏感条件下，Ⅰ、Ⅱ、Ⅲ三个区域间像素值与瞳孔闭合度△的数学关系式；

$\left\{\begin{array}{c}\mathrm{\Δ}={\stackrel{\‾}{g}}_{I,III}-{\stackrel{\‾}{g}}_{II}\\ {\stackrel{\‾}{g}}_{I,III}=\frac{\underset{x,y\∈I,III}{\Σ}g(x,y)}{D_{I,III}}\\ {\stackrel{\‾}{g}}_{II}=\frac{\underset{x,y\∈II}{\Σ}g(x,y)}{D_{II}}\end{array}\right.$

式中，为Ⅰ、Ⅲ号网格像素和的平均值，为Ⅱ号网格像素平均值，D_I,III表示Ⅰ、Ⅲ区域像素点数之和，D_II表示Ⅱ区域像素点数之和；

5.2)、分析眼神左右漂移产生瞳孔位置的左右偏向，对偏向邻域的灰度影响，将步骤5.2)修正为引入漂移因素的计算瞳孔闭合度△的关系式；

Δ＝max(|3∑f_III-∑f_I,II|,|3∑f_I-∑f_II,III|)

式中，∑f表示该区域内像素点灰度之和，|3∑f_I-∑f_II,III|对应眼神向右漂移的△，|3∑f_III-∑f_I,II|则对应眼神向左漂移的△。

本发明有益效果在于：(1)、网格化划分眼睛区域为瞳孔左部分、瞳孔、瞳孔右部分的几何区域分割法，使得处理区域减少，占用计算资源少。同时，图像像素的二值化处理，既增强了瞳孔区域灰度特性，又降低了后续眼睑闭合度计算方法的计算量。网格化的眼部几何区域分割法和图像像素的二值化灰度凸显法，增强了疲劳监测系统的实时性；

(2)、基于眼神漂移影响的邻近两个区域与另一区域的灰度面积差值的最大值法，考虑了眼神漂移对偏向邻域的灰度影响，不仅降低了疲劳监测系统对眼神漂移的敏感度，而且消除了眉毛等因素在区域内的干扰，提高了疲劳检测算法的识别率；

(3)、基于OTSU大津法自适应求取眼部矩形区前景和背景图像分离的最佳阈值方法，解决了驾驶过程不同光照、佩戴眼镜等复杂环境下前景与背景图像分离的分离阈值对环境光照的宽适应性问题，提高识别的可靠性。

附图说明

图1为人眼疲劳状态检测流程图；

图2为Adaboost算法流程图；

图3为基于Adaboost级联强分类器的人眼定位示意图；

图4为Adaboost算法输出的人眼几何区域及其位置坐标图；

图5为网格法标记人眼的示意图；

图6为眼神漂移Ⅰ、Ⅱ、Ⅲ三区灰度的影响示意图。

具体实施方式

下面将结合附图对本发明作进一步的详细描述。

本发明基于网格区域分割和阈值自适应的人眼状态快速识别方法，通过利用Adaboost增强级联分类器对人脸图像进行特征检测，定位到人眼位置的几何区域，用矩形框定眼睛整体位置，并用网格三分法标定眼部特征区域，分成Ⅰ、Ⅱ、Ⅲ区。其次，提取眼部矩形区前景和背景图像的灰度值，采用自适应求取背景图像分离最佳阈值的二值化算法；以求得的阈值对眼部三个区域的图像进行黑白凸出增强处理。然后，分析眼神左右漂移产生瞳孔位置的左右偏向，对偏向邻域的灰度影响，将标准的计算瞳孔闭合度的关系式，修正为引入漂移因素的计算瞳孔闭合度的关系式。最后，基于PERCLOS法，统计单位时间眼睛的闭合次数，判断是否处于疲劳状态。如图1所示，其具体步骤如下：

步骤一、对采集到的驾驶员脸部图像进行预处理，图像预处理采用的是直方图均衡化，基本思想是对在图像中像素个数多的灰度级进行拓宽，而对像素个数少的灰度级进行缩减，从而达到清晰图像的目的，以方便后续处理。预处理完成之后进行人眼Haar特征提取。

步骤二、整个疲劳检测流程中，“网格法”可以分为人眼定位算法和人眼状态判断两部分。其中，人眼定位算法采用的是Adaboost算法，利用的是人眼的Haar矩形特征，具体检测原理及流程图，如图2所示。

本发明将提取得到的人眼Haar特征输入到前期已经训练好的Adaboost级联分类器中，对人眼进行精确快速的定位，其定位结果如图3所示。

本发明采用的Adaboost算法会输出人眼区域的几何参数，即宽W和高H，并得到矩形框的四个顶点A、B、C、D的位置坐标(x_LU，y_LU)、(x_LD，y_LD)、(x_RU，y_RU)、(x_RD，y_RD)，标记网格利用的是人眼在矩形框中的几何位置，人眼瞳孔在该矩形框中的分布如图4所示。

对矩形眼部区域用网格三分法，分成Ⅰ、Ⅱ、Ⅲ区，本实施例均以左眼为例，标记瞳孔的II号网格的几何中心点大致位于瞳孔的圆心，圆心坐标为网格的尺寸视矩形框的大小而定，I、III号网格宽为高为II号网格宽为高为标记结果如图5所示。

步骤三、为了明显区分瞳孔区域和非瞳孔区域，在网格区域内对图像进行增强处理，以凸显感兴趣部分，根据网格中各像素点灰度g₀(x,y)的大小，与设定的最佳阈值T_split比较，进行二值化，原理如式(1)所示。二值化后得到的图像中，瞳孔部分是黑色，非瞳孔区域是白色。

$g(x,y)=\left\{\begin{array}{cc}0& g_0(x,y)\≤T_{split}\\ 255& g_0(x,y)>T_{split}\end{array}\right.---\left(1\right)$

最佳阈值T_split的选取是利用OTSU大津法，使用的是聚类的思想，把图像的灰度数按灰度级分成两部分，使得两个部分之间的灰度值差异最大，每个部分之间的灰度差异最小，通过方差的计算来寻找一个合适的灰度级别来划分，并自动选取最佳阈值。OTSU算法被认为是图像分割中阈值选取的最佳算法，计算简单，不受图像亮度和对比度的影响。其主要思想如下：

A、将一幅具有N个像素点的输入图像按其灰度范围分为[0,L-1]共L级，n_i为灰度级为i的像素数，p_i是灰度级为i的像素点出现的概率，则p_i＝n_i/N,i＝0,1,2…,L-1，

B、用阈值k把图像中的像素按灰度值分为背景类和目标类，表示为C₀和C₁，C₀由灰度值在[0,k]之间的像素组成，C₁由灰度在[k+1,L-1]之间的像素组成，对于灰度分布几率，此幅图像的均值u_m、C₀的均值u₀、C₁的均值u₁如式(2)：

$\left\{\begin{array}{c}{u}_m=\underset{i=0}{\overset{L-1}{\Σ}}{\mathrm{ip}}_i\\ u_0=\underset{i=0}{\overset{k}{\Σ}}{\mathrm{ip}}_i/w_0\\ u_1=\underset{i=k+1}{\overset{L-1}{\Σ}}{\mathrm{ip}}_i/w_1\end{array}\right.---\left(2\right)$

其中综上可得：u_m＝w₀u₀+w₁u₁。

C、类间方差σ_B ²的定义如式3所示。让k在[0,L-1]范围内取值，当σ_B ²最大时，对应的k即为Otsu算法的最佳阈值T_split。

$\begin{array}{c}{{\mathrm{\σ}}_B}^2=w_0{(u_0-u_m)}^2+w_1{(u_1-u_m)}^2\\ =w_1{w}_0{(u_0-u_1)}^2\end{array}---\left(3\right)$

步骤五、图像增强操作后，求取漂移不敏感条件下，Ⅰ、Ⅱ、Ⅲ三个区域像素值与瞳孔闭合程度的数学关系式。如式(4)所示，计算Ⅰ、Ⅲ号网格像素和的平均值与Ⅱ网格网格像素平均值的差值来表征瞳孔闭合度△，式中D_I,III表示Ⅰ、Ⅲ区域像素点数之和，D_II表示Ⅱ区域像素点数之和。

$\left\{\begin{array}{c}\mathrm{\Δ}={\stackrel{\‾}{g}}_{I,III}-{\stackrel{\‾}{g}}_{II}\\ {\stackrel{\‾}{g}}_{I,III}=\frac{\underset{x,y\∈I,III}{\Σ}g(x,y)}{D_{I,III}}\\ {\stackrel{\‾}{g}}_{II}=\frac{\underset{x,y\∈II}{\Σ}g(x,y)}{D_{II}}\end{array}\right.---\left(4\right)$

从式(4)可以得出：△与眼睛睁开程度满足非线性递增关系，睁开时的△比较大；闭合时的△几乎为0。因此根据△的计算结果可以判断眼睛的闭合程度。

由于驾驶过程中由于头部的转动以及眼神的漂移等因素，会引起瞳孔位置的变化，这将对△的计算造成影响，本发明分析眼神左右漂移产生瞳孔位置的左右偏向对偏向邻域的灰度影响，对式(4)进行修正：

眼神漂移时，不论是左漂移还是右漂移，都会影响其中两个网格的平均像素值，但所偏向区的两个网格一定包含瞳孔，并且另外一个网格的像素平均值接近于255，即白色。如图6所示，以眼神向右漂移为例，II、III号网格包含了瞳孔，I号网格

修正式(4)，用Ⅰ、Ⅱ区灰度面积与Ⅲ区域面积差、Ⅲ、Ⅱ区灰度面积与Ⅰ区域面积差的最大值表征瞳孔闭合度△，如式(5)：

Δ＝max(|3∑f_III-∑f_I,II|,|3∑f_I-∑f_II,III|) (5)

其中∑f表示该区域内像素点灰度之和，|3∑f_I-∑f_II,III|对应眼神向右漂移的△，而|3∑f_III-∑f_I,II|则对应眼神向左漂移的△。从式(5)可以发现，修正后的计算表达式依然适用于眼神不存在漂移的情况。

步骤六，利用上述的算法快速准确的判断人眼的状态后，通过PERCLOS原理进行疲劳判断，具体步骤如下：

(1)比较当前帧瞳孔闭合度△与眼睑遮住瞳孔面积80％对应的T₈₀大小，当眼睑遮住瞳孔的面积超过80％，认为瞳孔闭合。设定瞳孔闭合时标志位flag置为1，眼睛睁开时标志位flag置为0，如式(6)：

$flag=\left\{\begin{array}{cc}1& \mathrm{\&Delta;}<T_{80}\\ 0& \mathrm{\&Delta;}\&GreaterEqual;T_{80}\end{array}\right.---\left(6\right)$

(2)统计单位时间内闭眼(flag＝1)帧数所占时间比例，单位时间内闭眼的时间超过30％，就认为处于疲劳状态，如式(7)：

$state=\left\{\begin{array}{cc}fatigued& NClose/NTotal\&GreaterEqual;30\%\\ normal& NClose/NTotal<30\%\end{array}\right.---\left(7\right)$

其中，NTotal为单位时间内处理的视频总帧数，NClose为单位时间内闭眼总帧数。根据比值结果，可以得到当前驾驶情况state的判断结果。

以上对本发明的具体实施方式进行了描述，但本发明并不限于以上描述。对于本领域的技术人员而言，任何对本技术方案的同等修改和替代都是在本发明的范围之中。因此，在不脱离本发明的精神和范围下所作的均等变换和修改，都应涵盖在本发明的范围内。

Claims (4)

1.一种基于网格区域分割和阈值自适应的人眼状态快速识别方法，其特征在于包括以下步骤：

1)、对采集到的人脸图像进行清晰处理后提取人眼Haar特征；

2)、根据步骤1)提取到的人眼Haar特征，利用Adaboost算法定位眼部区域矩形框信息；

3)、利用网格三分法将眼部区域分成Ⅰ、Ⅱ和Ⅲ三个区域；

4)、采用自适应求取背景图像分离最佳阈值的二值化算法，以求得的阈值对眼部三个区域的图像进行黑白增强处理；

5)、计算瞳孔闭合度；

6)、基于PERCLOS法判断是否处于疲劳状态。

2.根据权利要求1所述的基于网格区域分割和阈值自适应的人眼状态快速识别方法，其特征在于所述步骤3)的具体过程为：

3.1)、利用返回的眼部区域矩形框的参数，大致确定瞳孔分布，得到其圆心坐标；

3.2)、根据瞳孔的圆心坐标和矩形框尺寸，得到Ⅰ、Ⅱ、Ⅲ区各网格的位置坐标和大小。

3.根据权利要求2所述的基于网格区域分割和阈值自适应的人眼状态快速识别方法，其特征在于所述步骤4)的最佳阈值T_split求取采用OTSU大津法提取，其过程为：

4.1)、按图像灰度值分级，统计每一级像素出现的概率；

4.2)、用阈值k将图像中的像素按灰度值分为背景类和目标类；

4.3)、求取使得背景类和目标类类间方差最大时所对应的k。

4.根据权利要求1至3任一项所述的基于网格区域分割和阈值自适应的人眼状态快速识别方法，其特征在于所述步骤5)的具体过程为：

5.1)、求取眼神不漂移条件下，Ⅰ、Ⅱ、Ⅲ三个区域间像素值与瞳孔闭合度△的数学关系式；

$\left\{\begin{array}{c}\mathrm{\&Delta;}={\stackrel{\&OverBar;}{g}}_{I,III}-\stackrel{-}{g_{II}}\\ {\stackrel{\&OverBar;}{g}}_{I,III}=\frac{\underset{x,y\&Element;I,III}{\mathrm{\&Sigma;}}g(x,y)}{D_{I,III}}\\ {\stackrel{\&OverBar;}{g}}_{II}=\frac{\underset{x,y\&Element;II}{\mathrm{\&Sigma;}}g(x,y)}{D_{II}}\end{array}\right.$

式中，为Ⅰ、Ⅲ号网格像素和的平均值，为Ⅱ号网格像素平均值，D_I,III表示Ⅰ、Ⅲ区域像素点数之和，D_II表示Ⅱ区域像素点数之和；

5.2)、分析眼神左右漂移产生瞳孔位置的左右偏向，对偏向邻域的灰度影响，将步骤5.2)修正为引入漂移因素的计算瞳孔闭合度△的关系式；

Δ＝max(|3∑f_III-∑f_I,II|,|3∑f_I-∑f_II,III|)

式中，∑f表示该区域内像素点灰度之和，|3∑f_I-∑f_II,III|对应眼神向右漂移的△，|3∑f_III-∑f_I,II|则对应眼神向左漂移的△。