CN104050456A - 一种基于不变矩的监测驾驶员眼睛状态的方法 - Google Patents

Abstract

本发明公开了一种基于不变矩的监测驾驶员眼睛状态的方法，其对人脸图像进行预处理后，采用基于二维数字图像分数阶积分和Legendre矩的图像阈值分割方法将人眼区域提取出来，并将人眼区域的前3阶中心矩和4个特征量相结合作为特征向量进行眼睛状态匹配识别，然后逐一计算待检测区域的特征向量和各个模板图像特征向量之间的欧氏距离，从而判断出驾驶员的眼睛状态。本发明将人眼区域的中心矩和特征量各自的优点相结合，减少了匹配识别的特征数目，降低了特征空间维数，通过引入人眼候选区的特征向量和人眼模板图像特征向量之间的欧氏距离，进一步降低了算法的复杂度，提高了系统识别的速度。

Description

一种基于不变矩的监测驾驶员眼睛状态的方法

【技术领域】

本发明涉及人眼检测技术领域，具体涉及一种基于不变矩的监测驾驶员眼睛状态的方法。

【背景技术】

跟随着经济和交通的发展脚步，各种车辆与日俱增，交通事故也随之增多，已成为相当严重的社会问题，而疲劳驾驶是导致交通事故的重要因素。因此，减少驾驶疲劳导致的交通事故已成为研究的热点，大家都想努力开发出一种能实时监视驾驶员的警觉水平，并在任何不安全状态下能对驾驶员进行预警的系统。

研究表明，眼睛状态与驾驶员疲劳有较高的相关性，能可靠地反映疲劳状态，而眼睛定位是判断眼睛状态的前提。目前，眼睛定位主要有基于学习、基于模板匹配、基于特征的方法。基于学习的方法包括AdaBoost算法、神经网络、主元分析法等，此类方法必须进行面部搜索、旋转、归一化和特征降维，计算量巨大。典型的基于模板的方法采用左右眼模板，首先分别得到左眼和右眼模板，然后在图像中搜索与左眼模板或右眼模板最匹配的区域。这种方法使用方便，但对搜索区域初始位置要求高，计算量大，对于背景复杂或人脸倾斜的情况精度较低。基于特征的方法包括HSI虹膜检测和灰度投影法等。前者在彩色空间检测睁眼效果不错，但对半睁眼和闭眼情况不能准确定位；后者定位速度较快，但对不同的人脸和姿态的变化非常敏感，因此，定位精度较低，容易陷入局部最小，从而导致定位失败。对于戴眼镜的情况，阈值递增法的定位效果较差，不能区分眉毛和眼睛；复杂度方法、对称变换法等其他特征方法定位不准确、计算量大或对光照敏感。驾驶疲劳检测系统中最关键的要求是非接触式、实时性和准确率。

实际上有些方法是结合了多种方法的混合技术，每种方法都有各自的优缺点。图像分析的一个关键问题是如何获得一种有效的图像描述量，用一个很小的数据集合代表图像。由于被识别的图像相比原图像大都有很大程度的失真，如平移、旋转和其它变化，所以要求该图像描述量对于图像的各种畸变不敏感，而不变矩就具有平移、灰度、尺度和旋转等不变性，被广泛用于图像的模式识别、图像分类、目标识别和场景分析中。

若单独采用人眼图像的7阶中心矩作为特征进行识别，需要对整幅人眼图像进行匹配，尤其高阶矩计算量很大，不满足实时性要求。本发明将中心矩和特征量各自的优点相结合，减少了匹配识别的特征数目，降低了特征空间维数，通过引入人眼候选样本的特征向量与人眼状态模板图像特征向量之间的欧氏距离来匹配判别眼睛的状态，进一步降低了算法的复杂度，提高了系统识别的速度。

【发明内容】

本发明的目的为了克服现有技术的不足，本发明提供了一种监测驾驶员眼睛状态的方法，其先对人脸图像进行预处理后，采用基于二维数字图像分数阶积分和Legendre矩的图像阈值分割方法将人眼区域提取出来，并将人眼区域的前3阶中心矩和4个特征量相结合作为特征向量进行眼睛状态匹配识别，然后逐一计算待检测区域的特征向量和各个模板图像特征向量之间的欧氏距离，从而判断出驾驶员的眼睛状态。

为达到上述目的，本发明是通过以下技术方案来实现的：

一种基于不变矩的监测驾驶员眼睛状态的方法，包括如下步骤：

1)对采集到的人脸图像进行预处理，去除干扰以突出人眼信息，再将彩色图像转化为灰度图像，然后对灰度图像进行中值滤波，以消除椒盐噪声同时保留边缘信息，并平滑图像；

2)根据先验知识可知人眼分布在人脸高度的3/10到1/2处，宽度的1/8到7/8处，采用基于二维数字图像分数阶积分和Legendre矩的图像阈值分割方法将人眼区域从人脸图像中提取出来，确定出待检测区域；

3)先用形态学滤波器对人眼区域进行降噪，然后计算其前3阶中心矩和4个特征量，其中，4个特征量包括人眼区域长宽比Φ₄、紧凑度Φ₅、饱满度Φ₆和复杂度Φ₇；

4)在进行人眼状态识别前，先采集所要识别的驾驶员在眼睛正常睁开、半开半闭、完全闭合以及打哈欠、极度疲劳状态下的可见光图像作为人眼状态模板图像，然后建立人眼状态模板图像的特征数据库，同时计算各个模板图像的特征向量，建立特征向量的数据库；

5)在识别时，首先根据步骤3)计算人眼候选区域的特征向量，然后逐一计算此候选区域的特征向量与各人眼状态模板图像的特征向量之间的欧氏距离：

$d=\sqrt{\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{({\mathrm{\Φ}}_{i1}-{\mathrm{\Φ}}_i)}^2}---\left(1\right)$

式中：Φ_i1，Φ_i分别为人眼候选样本和人眼状态模板图像的特征向量，都表示一个7维向量；

6)按照步骤5)得到的欧氏距离，采用最近邻法则，当人眼候选样本与某一个人眼状态模板图像之间具有最小欧氏距离d_min，且该最小欧氏距离d_min小于目标判定阈值T时，即可判定该输入样本与人眼状态模板图像为同一幅图像，从而判断出驾驶员眼睛的状态，当最小欧氏距离d_min大于等于目标判定阈值T时，即可判定该输入样本与人眼状态模板图像不为同一幅图像，将继续处于搜索状态。

本发明进一步改进在于：步骤3)中人眼区域特征向量的选取，设人眼图像为f(x，y)，选用计算量较小的一阶中心矩Φ₁、二阶中心矩Φ₂和三阶中心矩Φ₃，其计算公式分别如下所示：

${\mathrm{\Φ}}_1=\frac{M_{02}-\stackrel{\‾}{y}{M}_{01}}{{M_{00}}^2}+\frac{M_{20}-\stackrel{\‾}{x}{M}_{10}}{{M_{00}}^2}---\left(2\right)$

${\mathrm{\Φ}}_2=\left[\frac{M_{02}+\stackrel{\‾}{x}{M}_{10}-M_{20}-\stackrel{\‾}{y}{M}_{01}}{{M_{00}}^2}\right]+\frac{{4M}_{11}-4M_{01}}{{M_{00}}^2}---\left(3\right)$

${\mathrm{\Φ}}_3={\left[\frac{M_{30}-\stackrel{\‾}{x}{M}_{10}-3M_{12}+3\stackrel{\‾}{y}{M}_{01}}{{M_{00}}^2}\right]}^2+{\left[\frac{3M_{21}-M_{03}-3\stackrel{\‾}{x}{M}_{10}+\stackrel{\‾}{y}{M}_{01}}{{M_{00}}^2}\right]}^2---\left(4\right)$

式中：零阶矩M₀₀＝∫∫f(x,y)dxdy，一阶矩(M₀₁ M₁₀)，二阶矩(M₀₂ M20)，三阶矩(M₀₃ M₃₀)，表示图像的质心，

人眼区域长宽比Φ₄表示眼睛最小外接矩形的长宽之比，该特征量反映了眼睛的几何形状，若眼睛最小外接矩形的长度为m，宽度为n，则计算公式如下：

Φ₄＝m/n   (5)

人眼区域紧凑度Φ₅表示人眼区域包含的像素个数与包围眼睛最小外接矩形内的像素个数的比值，若包含的像素个数等于人眼区域的面积S，眼睛最小外接矩形内的像素个数等于其最小外接矩形的面积R，其计算公式如下：

Φ₅＝S/R   (6)

人眼区域饱满度Φ₆表示眼睛边缘的像素个数与其最小外接矩形周长的比值，若眼睛边缘的像素个数等于其边缘曲线的周长L，眼睛最小外接矩形周长为2(m+n)，其计算公式如下：

Φ₆＝L/2(m+n)   (7)

人眼区域复杂度Φ₇表示眼睛边缘的像素个数与整个人眼区域所含的像素个数的比值，若眼睛边缘像素个数为P，整个眼睛包含的像素个数等于人眼区域的面积S，故其计算公式如下：

Φ₇＝P/S   (8)

特征量Φ₄、Φ₅、Φ₆及Φ₇结合一阶中心矩Φ₁、二阶中心矩Φ₂和三阶中心矩Φ₃，可得人眼区域的特征向量V为：

V＝(Φ₁,Φ₂,Φ₃,Φ₄,Φ₅,Φ₆,Φ₇)^T   (9)。

本发明进一步改进在于：安装视频监控，根据判断出来的人眼状态实时监视驾驶员的警觉水平，并在驾驶员在眼睛半开半闭、完全闭合以及打哈欠、极度疲劳状态下能对驾驶员进行预警。

与现有技术相比，本发明具有以下有益效果：

本发明提供了一种基于不变矩的监测驾驶员眼睛状态的方法，其对人脸图像进行预处理后，采用基于二维数字图像分数阶积分和Legendre矩的图像阈值分割方法将人眼区域提取出来，并将人眼区域的前3阶中心矩和4个特征量相结合作为特征向量进行眼睛状态匹配识别，然后逐一计算待检测区域的特征向量和各个模板图像特征向量之间的欧氏距离，从而判断出驾驶员的眼睛状态。若单独采用人眼图像的7阶中心矩作为特征进行识别，需要对整幅人眼图像进行匹配，尤其高阶矩计算量很大，不满足实时性要求。本发明将人眼区域的中心矩和特征量各自的优点相结合，减少了匹配识别的特征数目，降低了特征空间维数，通过引入人眼候选区的特征向量和人眼模板图像特征向量之间的欧氏距离，进一步降低了算法的复杂度，提高了系统识别的速度。

【附图说明】

图1(a)为眼睛正常睁开时的原始图像，图1(b)为眼睛正常睁开时的灰度图像，图1(c)为眼睛正常睁开时的阈值分割后的图像，图1(d)为眼睛正常睁开时的状态图像；

图2(a)为眼睛半开半闭时的原始图像，图2(b)为眼睛半开半闭时的灰度图像，图2(c)为眼睛半开半闭时的阈值分割后的图像，图2(d)为眼睛半开半闭时的状态图像；

图3(a)为驾驶员打哈欠以及极度疲劳时眼睛的原始图像，图3(b)为驾驶员打哈欠以及极度疲劳时眼睛的灰度图像，图3(c)为驾驶员打哈欠以及极度疲劳时眼睛的阈值分割后的图像，图3(d)为驾驶员打哈欠以及极度疲劳时眼睛的状态图像；

图4(a)为眼睛完全闭合时的原始图像，图4(b)为眼睛完全闭合时的灰度图像，图4(c)为眼睛完全闭合时的阈值分割后的图像，图4(d)为眼睛完全闭合时的状态图像。

【具体实施方式】

下面结合附图对本发明做进一步详细说明。

本发明监测驾驶员眼睛状态的原理如下：

简单的人眼状态监测方法对人脸正面比较适用，且对噪声敏感，在复杂背景，光照，表情，头部变化等各种情况下无法进行高效而稳定的眼睛状态监测。不变矩是一种高度浓缩的图像特征，具有平移、灰度、尺度、旋转等多畸变不变性，同时对噪声具有鲁棒性。若单独采用人眼图像的7阶中心矩作为特征进行识别，需要对整幅人眼图像进行匹配，尤其高阶矩计算量很大，不满足实时性要求。本发明将人眼区域的中心矩和特征量各自的优点相结合，减少了匹配识别的特征数目，降低了特征空间维数，通过引入人眼候选区的特征向量和人眼模板图像特征向量之间的欧氏距离，进一步降低了算法的复杂度，提高了系统识别的速度，具体步骤如下：

1)对采集到的人脸图像进行预处理，去除干扰以突出人眼信息，再将彩色图像转化为灰度图像，然后对灰度图像进行中值滤波，以消除椒盐噪声同时保留边缘信息，并平滑图像；

2)根据先验知识可知人眼分布在人脸高度的3/10到1/2处，宽度的1/8到7/8处，采用基于二维数字图像分数阶积分和Legendre矩的图像阈值分割方法将人眼区域从人脸图像中提取出来，确定出待检测区域；

3)先用形态学滤波器对人眼区域进行降噪，然后计算其前3阶中心矩和4个特征量，用这7个不变矩作为特征向量进行匹配识别，其中，4个特征量包括人眼区域长宽比Φ₄、紧凑度Φ₅、饱满度Φ₆和复杂度Φ₇；

设人眼图像为f(x，y)，选用计算量较小的一阶中心矩Φ₁、二阶中心矩Φ₂和三阶中心矩Φ₃，其计算公式分别如下所示：

${\mathrm{\Φ}}_1=\frac{M_{02}-\stackrel{\‾}{y}{M}_{01}}{{M_{00}}^2}+\frac{M_{20}-\stackrel{\‾}{x}{M}_{10}}{{M_{00}}^2}---\left(2\right)$

${\mathrm{\Φ}}_2=\left[\frac{M_{02}+\stackrel{\‾}{x}{M}_{10}-M_{20}-\stackrel{\‾}{y}{M}_{01}}{{M_{00}}^2}\right]+\frac{{4M}_{11}-4M_{01}}{{M_{00}}^2}---\left(3\right)$

${\mathrm{\Φ}}_3={\left[\frac{M_{30}-\stackrel{\‾}{x}{M}_{10}-3M_{12}+3\stackrel{\‾}{y}{M}_{01}}{{M_{00}}^2}\right]}^2+{\left[\frac{3M_{21}-M_{03}-3\stackrel{\‾}{x}{M}_{10}+\stackrel{\‾}{y}{M}_{01}}{{M_{00}}^2}\right]}^2---\left(4\right)$

式中：零阶矩M₀₀＝∫∫f(x,y)dxdy，一阶矩(M₀₁ M₁₀)，二阶矩(M₀₂ M₂₀)，三阶矩(M₀₃ M₃₀)，表示图像的质心，

人眼区域长宽比Φ₄表示眼睛最小外接矩形的长宽之比，该特征量反映了眼睛的几何形状，若眼睛最小外接矩形的长度为m，宽度为n，则计算公式如下：

Φ₄＝m/n   (5)

人眼区域紧凑度Φ₅表示人眼区域包含的像素个数与包围眼睛最小外接矩形内的像素个数的比值，若包含的像素个数等于人眼区域的面积S，眼睛最小外接矩形内的像素个数等于其最小外接矩形的面积R，其计算公式如下：

Φ₅＝S/R   (6)

人眼区域饱满度Φ₆表示眼睛边缘的像素个数与其最小外接矩形周长的比值，若眼睛边缘的像素个数等于其边缘曲线的周长L，眼睛最小外接矩形周长为2(m+n)，其计算公式如下：

Φ₆＝L/2(m+n)   (7)

人眼区域复杂度Φ₇表示眼睛边缘的像素个数与整个人眼区域所含的像素个数的比值，若眼睛边缘像素个数为P，整个眼睛包含的像素个数等于人眼区域的面积S，故其计算公式如下：

Φ₇＝P/S   (8)

综上所述，特征量Φ₄、Φ₅、Φ₆及Φ₇结合一阶中心矩Φ₁、二阶中心矩Φ₂和三阶中心矩Φ₃，可得人眼区域的特征向量V为：

V＝(Φ₁,Φ₂,Φ₃,Φ₄,Φ₅,Φ₆,Φ₇)^T   (9)。

此特征向量V具备了中心矩和可见光特征各自的优点，可以作为图像匹配识别的依据。

4)在进行人眼状态识别前，需要先采集所要识别的驾驶员在眼睛正常睁开、半开半闭、完全闭合以及打哈欠、极度疲劳状态下的可见光图像作为人眼状态模板图像，然后建立人眼状态模板图像的特征数据库，同时计算各个模板图像的特征向量，建立特征向量的数据库，如图1至图4所示；

5)在识别时，首先根据步骤3)计算人眼候选区域的特征向量，然后逐一计算此候选区域的特征向量与各人眼状态模板图像的特征向量之间的欧氏距离：

$d=\sqrt{\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{({\mathrm{\Φ}}_{i1}-{\mathrm{\Φ}}_i)}^2}---\left(1\right)$

式中：Φ_i1，Φ_i分别为人眼候选样本和人眼状态模板图像的特征向量，都表示一个7维向量；

6)按照步骤5)得到的欧氏距离，采用最近邻法则，当人眼候选样本与某一个人眼状态模板图像之间具有最小欧氏距离d_min，且该最小欧氏距离d_min小于目标判定阈值T时，即可判定该输入样本与人眼状态模板图像为同一幅图像，从而判断出驾驶员眼睛的状态，当最小欧氏距离d_min大于等于目标判定阈值T时，即可判定该输入样本与人眼状态模板图像不为同一幅图像，将继续处于搜索状态。

7)安装视频监控，根据判断出来的人眼状态实时监视驾驶员的警觉水平，并在驾驶员在眼睛半开半闭、完全闭合以及打哈欠、极度疲劳状态下对驾驶员进行预警。

Claims (3)

1.一种基于不变矩的监测驾驶员眼睛状态的方法，其特征在于，包括如下步骤：

1)对采集到的人脸图像进行预处理，去除干扰以突出人眼信息，再将彩色图像转化为灰度图像，然后对灰度图像进行中值滤波，以消除椒盐噪声同时保留边缘信息，并平滑图像；

2)根据先验知识可知人眼分布在人脸高度的3/10到1/2处，宽度的1/8到7/8处，采用基于二维数字图像分数阶积分和Legendre矩的图像阈值分割方法将人眼区域从人脸图像中提取出来，确定出待检测区域；

3)先用形态学滤波器对人眼区域进行降噪，然后计算其前3阶中心矩和4个特征量，其中，4个特征量包括人眼区域长宽比Φ₄、紧凑度Φ₅、饱满度Φ₆和复杂度Φ₇；

4)在进行人眼状态识别前，先采集所要识别的驾驶员在眼睛正常睁开、半开半闭、完全闭合以及打哈欠、极度疲劳状态下的可见光图像作为人眼状态模板图像，然后建立人眼状态模板图像的特征数据库，同时计算各个模板图像的特征向量，建立特征向量的数据库；

5)在识别时，首先根据步骤3)计算人眼候选区域的特征向量，然后逐一计算此候选区域的特征向量与各人眼状态模板图像的特征向量之间的欧氏距离：

$d=\sqrt{\underset{i=1}{\overset{7}{\mathrm{\Σ}}}{({\mathrm{\Φ}}_{i1}-{\mathrm{\Φ}}_i)}^2}---\left(1\right)$

式中：Φ_i1，Φ_i分别为人眼候选样本和人眼状态模板图像的特征向量，都表示一个7维向量；

6)按照步骤5)得到的欧氏距离，采用最近邻法则，当人眼候选样本与某一个人眼状态模板图像之间具有最小欧氏距离d_min，且该最小欧氏距离d_min小于目标判定阈值T时，即可判定该输入样本与人眼状态模板图像为同一幅图像，从而判断出驾驶员眼睛的状态，当最小欧氏距离d_min大于等于目标判定阈值T时，即可判定该输入样本与人眼状态模板图像不为同一幅图像，将继续处于搜索状态。

2.根据权利要求1所述的基于不变矩的监测驾驶员眼睛状态的方法，其特征在于：步骤3)中人眼区域特征向量的选取，设人眼图像为f(x，y)，选用计算量较小的一阶中心矩Φ₁、二阶中心矩Φ₂和三阶中心矩Φ₃，其计算公式分别如下所示：

${\mathrm{\Φ}}_1=\frac{M_{02}-\stackrel{\‾}{y}{M}_{01}}{{M_{00}}^2}+\frac{M_{20}-\stackrel{\‾}{x}{M}_{10}}{{M_{00}}^2}---\left(2\right)$

${\mathrm{\Φ}}_2=\left[\frac{M_{02}+\stackrel{\‾}{x}{M}_{10}-M_{20}-\stackrel{\‾}{y}{M}_{01}}{{M_{00}}^2}\right]+\frac{{4M}_{11}-4M_{01}}{{M_{00}}^2}---\left(3\right)$

${\mathrm{\Φ}}_3={\left[\frac{M_{30}-\stackrel{\‾}{x}{M}_{10}-3M_{12}+3\stackrel{\‾}{y}{M}_{01}}{{M_{00}}^2}\right]}^2+{\left[\frac{3M_{21}-M_{03}-3\stackrel{\‾}{x}{M}_{10}+\stackrel{\‾}{y}{M}_{01}}{{M_{00}}^2}\right]}^2---\left(4\right)$

式中：零阶矩M₀₀＝∫∫f(x,y)dxdy，一阶矩(M₀₁ M₁₀)，二阶矩(M₀₂ M₂₀)，三阶矩(M₀₃ M₃₀)，表示图像的质心，

人眼区域长宽比Φ₄表示眼睛最小外接矩形的长宽之比，该特征量反映了眼睛的几何形状，若眼睛最小外接矩形的长度为m，宽度为n，则计算公式如下：

Φ₄＝m/n   (5)

人眼区域紧凑度Φ₅表示人眼区域包含的像素个数与包围眼睛最小外接矩形内的像素个数的比值，若包含的像素个数等于人眼区域的面积_S，眼睛最小外接矩形内的像素个数等于其最小外接矩形的面积R，其计算公式如下：

Φ₅＝S/R   (6)

人眼区域饱满度Φ₆表示眼睛边缘的像素个数与其最小外接矩形周长的比值，若眼睛边缘的像素个数等于其边缘曲线的周长L，眼睛最小外接矩形周长为2(m+n)，其计算公式如下：

Φ₆＝L/2(m+n)   (7)

人眼区域复杂度Φ₇表示眼睛边缘的像素个数与整个人眼区域所含的像素个数的比值，若眼睛边缘像素个数为P，整个眼睛包含的像素个数等于人眼区域的面积S，故其计算公式如下：

Φ₇＝P/S   (8)

特征量Φ₄、Φ₅、Φ₆及Φ₇结合一阶中心矩Φ₁、二阶中心矩Φ₂和三阶中心矩Φ₃，可得人眼区域的特征向量V为：

V＝(Φ₁,Φ₂,Φ₃,Φ₄,Φ₅,Φ₆,Φ₇)^T   (9)。

3.根据权利要求1所述的基于不变矩的监测驾驶员眼睛状态的方法，其特征在于：安装视频监控，根据判断出来的人眼状态实时监视驾驶员的警觉水平，并在驾驶员在眼睛半开半闭、完全闭合以及打哈欠、极度疲劳状态下能对驾驶员进行预警。