CN101739548B - 人眼检测方法及系统 - Google Patents

Abstract

本发明公开了一种用于驾驶员疲劳检测的人眼检测方法及系统，该人眼检测方法包括定位人脸区域，从输入的驾驶员监控图像中定位驾驶员的人脸区域，以获得驾驶员的人脸区域的图像；提取人眼对，根据定位出的人脸区域的图像，提取人脸区域中的人眼区域；获取人眼特征，根据所得的人眼区域提取人眼特征。本发明人眼检测法可用于驾驶员疲劳检测，实现了驾驶员的人脸检测、人眼检测，不仅能有效防止驾驶员疲劳驾驶，减少交通事故的发生，而且检测简单快速，非常方便。

Description

人眼检测方法及系统

技术领域

本发明涉及视频监控技术，特别是涉及一种用于驾驶员疲劳检测的人眼检测方法及系统。

背景技术

驾驶员疲劳、睡眠不足是引发严重交通事故的重要诱因之一。统计表明，由于疲劳/瞌睡造成的交通事故在交通事故总数中占7％左右，在严重交通事故中占40％，而在重型卡车和高速路上的交通事故中则占到35％左右。因此，有效地监督和防止驾驶员疲劳，有着十分重要的意义。

疲劳检测是对驾驶员在行车中出现的疲劳现象实时检测并施以适当警告的过程，它有以下几个要求：1)必须是无干扰的；2)必须是实时的；3)必须受光照的影响较小；4)不能有有害辐射，不能包括移动设备。

在各种检测方法中能满足以上要求且效果较为理想的是用摄像机进行实时拍摄，通过图像处理来检测驾驶员眼部的物理反应。研究表明，眼睛的反应与驾驶员的疲劳有着较高的相关性，能可靠地反映驾驶员是否疲劳。因此，通过眼睛的检测和跟踪可以有效地实现驾驶员疲劳检测。

人眼的检测有一定的难度，它受到光照、表情、遮挡物等多方面因素的影响。目前已有许多人眼检测方法。Rizon等根据瞳孔明显比眼睛周围的区域颜色深，提出了检测深色区域的方法来确定眼睛的位置，这种方法需要引入增强图像对比度和亮度的算法。Zhou等提出了混合积分投影的方法，首先在人脸的图像上确定眼睛的大致区域，然后计算眼睛大致区域内计算图像的混合投影积分，通过混合投影积分确定眼睛中心的位置，最后确定眼睛的位置。这种算法非常简单，且速度很快，但是严重受到光照的影响，而且眼睛区域的其它干扰如眉毛、头发等都会使实验结果严重偏差。Kawaguchi等提出了基于Hough变换的人眼检测法，该方法需要一种鲁棒性很好的边缘检测算法检测出眼睛虹膜的边缘，通过Hough变换检测出虹膜的位置，确定眼睛的位置。Huang等用一种最佳小波包来表示眼睛，并用径向基函数来区分人脸图像中的眼睛区域与非眼睛区域。Rosenfeld等用Gabor小波滤波器组在灰度图像上检测人眼，但是为了获取多方位多尺度的Gabor滤波器组，需要很大的计算量。另外还有模板匹配法、Kalman滤波法、红外线外照法等多种人眼检测方法，但提高检测的精度与鲁棒性仍是人眼检测研究的一个难点。

综上所述，目前迫切需要提出更为有效的人眼检测方案。

发明内容

有鉴于此，本发明的目的在于提供一个全新的人眼检测方法。所述人眼检测方法可以在驾驶员的监控图像中快速准确地定位出驾驶员的人脸区域并精确地检测出人眼特征，同时该方法受光照的影响极小。

为达到上述目的，本发明的技术方案是这样实现的：

根据本发明的一方面，本发明提供了一种用于驾驶员疲劳检测的人眼检测方法，所述人眼检测方法包括：

定位人脸区域，从输入的驾驶员监控图像中定位驾驶员的人脸区域，以获得驾驶员的人脸区域的图像；

提取人眼对，根据定位出的人脸区域的图像，提取人脸区域中的人眼区域；

获取人眼特征，根据所得的人眼区域提取人眼特征。

根据本发明，所述定位人脸区域包括如下步骤：

预处理图像，彩色图像灰度化处理和降低图像分辨率；

处理图像，包括获取连通区域和获取积分图像；所述获取连通区域是通过对当前帧图像进行图像二值化、边缘图像提取、人脸区域分裂和连通区域分析，获取连通区域；所述获取积分图像是通过对相邻两帧图像进行图像差分的处理，获得积分图像；

选定候选人脸区域，根据获取的连通区域及积分图像，选定候选人脸区域；

验证候选人脸区域，通过判决条件滤除虚假的人脸区域，并输出人脸区域。

其中，所述降低图像的分辨率处理只在获取的图像尺寸大于阈值1时使用。所述阈值1为100×100～200×200个像素位。

其中，所述人脸区域分裂是指对获取的二值图像和边缘图像中的每个像素的灰度值进行常规的异或处理，然后对其结果进行常规的开运算，以得到分离的类似人脸区域，并滤除噪声；其中，异或处理是指每两个相同灰度值的像素的灰度值取0，相异的像素的灰度值取1；滤除噪声是根据所计算类似人脸区域的长度与宽度的比值进行滤除，若该比值处于阈值2范围内，则保留，否则认为该类似人脸区域为噪声区域，将该类似人脸区域滤除。所述阈值2为0.8～2.2。

其中，所述获取积分图像是通过对相邻两帧人脸图像的进行差分处理，得到这两帧人脸图像的差分图像，再根据式(I)计算差分图像就获得人脸图像的积分图像： $\mathrm{ii}(x,y)=\underset{x^{\′}\≤{x,y}^{\′}\≤y}{\mathrm{\Σ}}i(x^{\′},y^{\′})---\left(I\right)$

其中，设差分图像为i(x′，y′)，对于图像内一点A(x，y)，积分图像为ii(x，y)。

其中，所述选定候选人脸区域是指滤除连通区域分析所获取的连通区域中的小的虚假区域后，再根据所述获取积分图像步骤中所得到的积分图像从剩余的连通区域中选出入脸区域。

其中，滤除连通区域中的小的虚假区域是根据所计算连通区域的总像素进行滤除，若该总像素小于设定的阈值3值时，则认为是小的虚假区域并滤除该连通区域，否则保留该连通区域。所述阈值3为250～350。

根据所述获取积分图像步骤中所得到的积分图像从剩余的连通区域中选出人脸区域的方法是：

第一步：计算剩余的连通区域的积分图像，并对当前帧的积分图像与前一帧积分图像的像素灰度值进行相减，得到差值图像，统计该差值图像中像素不为0的个数，该个数为对应该剩余的连通区域的运动能量；

第二步：根据各剩余的连通区域的运动能量，从中选出5个运动能量最大的剩余连通区域，作为人脸区域。

所述剩余的连通区域是指经过所述滤除连通区域中的小的虚假区域处理后留下的连通区域。

其中，所述验证候选人脸区域是指根据判决条件进行投票，符合判决条件即投赞成票，不符合判决条件即投反对票，并对投票进行叠加，将投票叠加之和最高的候选人脸区域作为人脸区域，然后输出人脸区域，从而滤除一些虚假的人脸区域；其中，所述判决条件包括：人脸区域的长宽比为阈值2、人脸区域内属于人脸的前景点与整个人脸区域内点的比例为阈值4、和确定人脸区域内是否存在类似眼睛区域。所述阈值4优选为0.3～0.75。

其中，确定人脸区域内是否存在类似眼睛区域包括如下步骤：

水平灰度腐蚀处理，对输入的图像进行常规的水平灰度腐蚀处理，并输出经水平灰度腐蚀处理过的腐蚀图像；

垂直闭处理，对输入的腐蚀图像先进行常规的垂直膨胀处理，然后进行常规的垂直腐蚀处理，并输出结果图像；

差分处理，对腐蚀图像与结果图像各像素值进行相减取绝对值，并输出结果差分图像；

计算分割阈值，计算差分图像的均值和方差，并将该均值和方差作为图像的分割阈值；其中，差分图像的均值通过计算差分图像每个像素值(即，灰度值)的平均值实现，差分图像的方差通过计算差分图像每个像素值的方差实现；

图像二值化，根据所述所获取的分割阈值对原始输入图像进行常规的二维阈值分割，以获取二值图像；

去噪处理，对所述二值图像进行去噪处理，然后输出结果图像；去噪处理是根据所计算二值图像中连通区域的总像素个数进行去噪，若该总像素小于设定的阈值3，则认为是小的虚假区域并滤除该连通区域，否则保留该连通区域，然后输出结果图像。

所述去噪处理中的结果图像为人脸检测的图像。

根据本发明，所述提取人眼对包括如下步骤：

FRST法得到二值图像，通过常规的FRST算法得到输入的人脸图像的映射图像，并获取该映射图像的最大像素值，然后将最大像素值的阈值5作为分割阈值，对输入的人脸区域图像进行分割，以得到二值图像并输出。所述阈值5为0.05～0.15。

降维二值化，将输入的人脸图像缩小一倍，并用常规的二值化处理得到人脸模板并输出二值化图像，将输出的人脸模板与二值化图像再作数学形态学中的常规并处理，以滤除人脸模板中的耳朵区域；

去除不符合人眼规则的区域，滤除不符合人眼区域条件的区域，去除不符合人眼规则的区域是根据计算每个人脸模板中区域的面积以及该区域高度与宽度的比值进行去除，若该面积大于整个人脸模板面积的阈值6，或者高度与宽度的比值小于阈值7，则认为该区域不符合人眼区域条件并滤除，否则保留。所述阈值6为0.15～0.35，所述阈值7为0.9～1.1。

提取人眼对，就是找到两个人眼区域之间距离与水平方向夹角满足一定条件的人眼对并输出；其中，所述人眼区域是指去除不符合人眼规则的区域处理后所获取的人脸模板中的区域；确定人眼对区域的方法是：在人脸模板内的所有区域中，搜索符合间距在人脸区域宽度的阈值8范围内的两个区域，若这两个区域的中心连线与水平方向夹角大于阈值9并小于阈值10，则认为两个区域便是人眼对区域。其中，所述阈值8为0.5～1，所述阈值9为0°～5°，所述阈值10为40°～50°。

根据本发明，所述获取人眼特征包括如下步骤：

获取可靠人眼对，找到人眼对区域中的中心连线与水平方向夹角最小的作为可靠人眼对；

画出人眼区域，根据获取可靠人眼对中得到的人眼对位置画出两个人眼区域；

人眼区域处理，用常规的FRST算法对每个人眼区域进行计算以得到相应的映射图像，并获取该映射图像的最大像素值，然后将最大像素值的阈值5作为分割阈值，对每个人眼区域进行分割，以得到二值化的人眼区域。

根据本发明的另一方面，本发明提供了一种用于驾驶员疲劳检测的人眼检测系统，所述人眼检测系统包括：

定位人脸模块，用于从输入的驾驶员监控图像中定位驾驶员的人脸区域，以获得驾驶员的人脸区域的图像；

提取人眼对模块，用于根据定位出的人脸区域的图像，提取人脸区域中的人眼区域；

获取人眼特征模块，用于根据所得的人眼区域提取人眼特征。

根据本发明，所述定位人脸模块包括：

预处理图像模块，用于彩色图像灰度化处理和降低图像分辨率；

处理图像模块，用于获取连通区域和获取积分图像；所述获取连通区域是通过对当前帧图像进行图像二值化、边缘图像提取、人脸区域分裂和连通区域分析，获取连通区域；所述获取积分图像是通过对相邻两帧图像进行图像差分的处理，获得积分图像；

选定候选人脸区域模块，用于根据获取的连通区域及积分图像，选定候选人脸区域；

验证候选人脸区域模块，用于通过判决条件滤除虚假的人脸区域，并输出人脸区域。

根据本发明，所述提取人眼对模块包括：

FRST法得到二值图像模块，用于通过常规的FRST算法得到输入的人脸图像的映射图像，并获取该映射图像的最大像素值，然后将最大像素值的阈值5作为分割阈值，对输入的人脸区域图像进行分割，以得到二值图像并输出；

降维二值化模块，用于将输入的人脸图像缩小一倍，并用常规的二值化处理得到人脸模板并输出二值化图像，将输出的人脸模板与二值化图像再作数学形态学中的常规并处理，以滤除人脸模板中的耳朵区域；

去除不符合人眼规则的区域模块，用于滤除不符合人眼区域条件的区域，去除不符合人眼规则的区域是根据计算每个人脸模板中区域的面积以及该区域高度与宽度的比值进行去除，若该面积大于整个人脸模板面积的阈值6，或者高度与宽度的比值小于阈值7，则认为该区域不符合人眼区域条件并滤除，否则保留；

提取人眼对模块，用于找到两个人眼区域之间距离与水平方向夹角满足一定条件的人眼对并输出；其中，所述人眼区域是指去除不符合人眼规则的区域处理后所获取的人脸模板中的区域；确定人眼对区域的方法是：在人脸模板内的所有区域中，搜索符合间距在人脸区域宽度的阈值8范围内的两个区域，若这两个区域的中心连线与水平方向夹角大于阈值9并小于阈值10，则认为两个区域便是人眼对区域。

根据本发明，所述获取人眼特征模块包括：

获取可靠人眼对模块，用于找到人眼对区域中的中心连线与水平方向夹角最小的作为可靠人眼对；

画出人眼区域模块，用于根据获取可靠人眼对中得到的人眼对位置画出两个人眼区域；

人眼区域处理模块，用于用常规的FRST算法对每个人眼区域进行计算以得到相应的映射图像，并获取该映射图像的最大像素值，然后将最大像素值的阈值5作为分割阈值，对每个人眼区域进行分割，以得到二值化的人眼区域。

本发明的最大优点是可用于驾驶员疲劳检测，实现了驾驶员的人脸检测、人眼检测，且检测简单、快速。

附图说明

图1为本发明的人眼检测方法的流程示意图；

图2为本发明的人眼检测方法中定位人脸区域的流程示意图；

图3为本发明的人眼检测方法中提取人眼对的流程示意图；

图4为本发明的人眼检测方法中获取人眼特征的流程示意图；

图5为本发明人眼检测系统的结构示意图；

图6为本发明人眼检测系统中定位人脸区域模块的结构示意图；

图7为本发明人眼检测系统中提取人眼对模块的结构示意图；

图8为本发明人眼检测系统中获取人眼特征模块的结构示意图。

具体实施方式

图1为本发明人眼检测方法的流程示意图，如图1所示，所述人眼检测方法具体包括：

步骤1：定位人脸区域，从输入的驾驶员监控图像中定位驾驶员的人脸区域，以获得驾驶员的人脸区域的图像；

步骤2：提取人眼对，根据检测出的人脸区域，提取人脸区域中的人眼区域；

步骤3：获取人眼特征，根据所得的人眼区域提取人眼特征。

图2为本发明的人眼检测方法中定位人脸区域的流程示意图，如图2所示，定位人脸区域的具体步骤包括：

预处理图像21，彩色图像灰度化处理和降低图像分辨率。

其中，图像灰度化处理是指对获取的彩色图像进行常规灰度化处理，将其转化为灰度图像，以便后期处理。这里，图像灰度化处理只在获取的图像是彩色图像时使用。降低图像的分辨率处理的方法是：通过缩小灰度图像的尺寸来降低图像的分辨率，以得到降低分辨率的图像。这里，降低图像的分辨率处理只在获取的图像尺寸大于阈值1时使用。所述阈值1为100×100～200×200个像素位，优选为176×144个像素位。

处理图像22，包括获取连通区域和获取积分图像；所述获取连通区域是通过对当前帧图像进行图像二值化、边缘图像提取、人脸区域分裂和连通区域分析，获取连通区域；所述获取积分图像是通过对相邻两帧图像进行图像差分的处理，获得积分图像。

其中，获取连通区域的具体过程包括如下：

图像二值化是指对处理后的灰度图像进行常规阈值分割，以获得拥有类似人脸区域的二值图像。阈值分割的方法是基于常规的二维最大类间方差的图像分割算法，可以参考文献“一种基于二维最大类间方差的图像分割算法.通信学报.2001，4(22)”。分割后将类似人脸区域内像素的灰度值设置为1，其他像素的灰度值设置为0。

边缘图像提取通常是提取图像二值化处理后的灰度图像的边缘。所谓边缘图像提取的常规方法是：将3×3中值滤波模板在图像中漫游，并将模板中心与图中某个像素位置重合；读取模板下各对应像素的灰度值；将这些灰度值从小到大排成一列；找出这些灰度值中排在中间的一个值；将这个灰度值的中间值赋给对应模板中心的像素。

人脸区域分裂是指对获取的二值图像和边缘图像中的每个像素的灰度值进行常规的异或处理，然后对其结果进行常规的开运算，以得到分离的类似人脸区域，并滤除噪声。其中，异或处理是指每两个相同灰度值的像素的灰度值取0，相异的像素的灰度值取1；滤除噪声是根据所计算类似人脸区域的长度与宽度的比值进行滤除，若该比值处于阈值2范围内，则保留，否则认为该类似人脸区域为噪声区域，将该类似人脸区域滤除。所述阈值2为0.8～2.2。

连通区域分析是指通过四连通域或八连通域实现不同图像区域的连通标记，以获取类似人脸的连通区域并输出。四连通域/八连通域的连通标记的常规方法是：首先，对人脸区域分裂处理后的图像施行逐行扫描，找到一个未标记区域的第一点，标记该点；检查该点的四连通域/八连通域的邻域点并标记满足连通性要求的，且尚未被标记的点，同时将新增的标记点记录下来作为“区域增长”的种子点。在后续的标记过程中，不断地从记录种子点的数组中取出一个种子点，施行上述的操作，如此循环，直到记录种子点的数组为空，一个连通区域标记结束。接着再标记下一个未标记的连通区域，直到人脸区域分裂处理后的图像的所有连通区域都被标记。

获取积分图像具体过程包括如下：

首先通过对相邻两帧人脸图像进行差分处理，得到这两帧人脸图像的差分图像，再根据式(I)计算差分图像就可以获得人脸图像的积分图像。其中，差分处理是指对相邻两帧图像的灰度值进行相减，取其差值的绝对值，由此便可得到这两帧图像的差分图像。积分图像的定义是：设差分图像为i(x′，y′)，对于图像内一点A(x，y)，积分图像ii(x，y)根据式(I)计算如下：

$\mathrm{ii}(x,y)=\underset{x^{\′}\≤{x,y}^{\′}\≤y}{\mathrm{\Σ}}i(x^{\′},y^{\′})---\left(I\right)$

选定候选人脸区域23，是指滤除连通区域分析所获取的连通区域中的小的虚假区域后，再根据所述获取积分图像步骤中所得到的积分图像从剩余的连通区域中选出人脸区域；

其中，滤除连通区域中的小的虚假区域是根据所计算连通区域的总像素进行滤除，若该总像素小于设定的阈值3时，则认为是小的虚假区域并滤除该连通区域，否则保留该连通区域。所述阈值3为250～350，优选为300。

根据所述获取积分图像步骤中所得到的积分图像从剩余的连通区域中选出人脸区域的方法是：

第一步：计算剩余的连通区域的积分图像，并对当前帧的积分图像与前一帧积分图像的像素灰度值进行相减，得到差值图像，统计该差值图像中像素不为0的个数，该个数为对应该剩余的连通区域的运动能量；

第二步：根据各剩余的连通区域的运动能量，从中选出5个运动能量最大的剩余连通区域，作为人脸区域。

所述剩余的连通区域是指经过所述滤除连通区域中的小的虚假区域处理后留下的连通区域。

验证候选人脸区域24，是指根据判决条件进行投票，符合判决条件即投赞成票，不符合判决条件即投反对票，并对投票进行叠加，将投票叠加之和最高的候选人脸区域作为人脸区域，然后输出人脸区域，从而滤除一些虚假的人脸区域；其中，所述判决条件包括：人脸区域的长宽比为阈值2、人脸区域内属于人脸的前景点与整个人脸区域内点的比例为阈值4、和确定人脸区域内是否存在类似眼睛区域。

其中，人脸区域的长宽比通常在阈值2范围内，若候选区域的长宽比不在该范围内，则投以一负票；反之，则投以一正票，以便滤除一些不符合人脸区域长宽比的人脸区域。

人脸区域内属于人脸的前景点与整个人脸区域内点的比例在阈值4范围内，若该比例不在该范围内，则投以一负票；反之，则投以一正票，以滤除一些前景点过多或过少的候选人脸区域。其中，前景点是指图像进行分割后该区域所含像素个数不为0。所述阈值4优选为0.3～0.75。

人脸区域内是否存在类似眼睛区域是指根据类似眼睛的区域来投票，若存在类似眼睛区域，则投以一正票；反之，则投以一负票，将投票叠加之和最高的区域确定为类似眼睛区域。

确定人脸区域内是否存在类似眼睛区域的具体步骤为：

水平灰度腐蚀处理，即对输入的图像进行常规的水平灰度腐蚀处理，并输出经水平灰度腐蚀处理过的腐蚀图像。水平灰度腐蚀处理是指水平方向上的常规的腐蚀处理；水平腐蚀处理的模板优选为7×1模板；

垂直闭处理，对输入的腐蚀图像先进行常规的垂直膨胀处理，然后进行常规的垂直腐蚀处理，并输出结果图像；垂直膨胀处理的模板优选为1×11模板；垂直腐蚀处理的模板优选为1×11模板；

差分处理，对腐蚀图像与结果图像各像素值进行相减取绝对值，并输出结果差分图像；

计算分割阈值，计算差分图像的均值和方差，并将该均值和方差作为图像的分割阈值；其中，差分图像的均值通过计算差分图像每个像素值的平均值实现，差分图像的方差通过计算差分图像每个像素值的方差实现；

图像二值化，即根据上述所获取的分割阈值(即差分图像的均值和方差)对原始输入图像进行常规的二维阈值分割，以获取二值图像。

去噪处理，对所述二值图像进行去噪处理，然后输出结果图像；去噪处理是根据所计算二值图像中连通区域的总像素个数进行去噪，若该总像素小于设定的阈值3，则认为是小的虚假区域并滤除该连通区域，否则保留该连通区域，然后输出结果图像。

所述去噪处理中的结果图像即为人脸检测的图像。

图3为本发明的人眼检测方法中提取人眼对的流程示意图。如图3所示，提取人眼对的步骤具体为：

FRST法得到二值图像31，利用快速辐射对称变换(Fast RadialSymmetry Transform)FRST算法得到二值图像，即：首先通过常规的FRST得到输入的人脸图像的映射图像，并获取该映射图像的最大像素值(即，灰度值)，然后将最大像素值的阈值5作为分割阈值，对输入的人脸区域图像进行分割，以得到二值图像并输出。其中，FRST算法可以参考文献，如“Gareth Loy and Alexander Zelinsky.AFast Radial Symmetry Transform for Detecting Points of Interest.IEEETRANSACTIONS ON PATTERN ANALYSIS AND MACHINEINTELLIGENCE，VOL.25，NO.8，AUGUST 2003”。所述阈值5为0.05～0.15，优选为0.1。

降维二值化32，以得到人脸模板。其中，降维二值化就是将输入的人脸图像缩小一倍，并用常规的二值化处理得到人脸模板并输出二值化图像，将输出的人脸模板与二值化图像再作数学形态学中的常规并处理，以滤除人脸模板中的耳朵区域。将输入的人脸图像缩小的目的在于简化后期处理的复杂度，滤除人脸模板中的耳朵区域可以减少其他部位的存在给提取人眼带来的负面影响。

去除不符合人眼规则的区域33，滤除不符合人眼区域条件的区域，去除不符合人眼规则的区域是根据所计算每个人脸模板中区域的面积以及该区域高度与宽度的比值进行去除，若该面积大于整个人脸模板面积的阈值6，或者高度与宽度的比值小于阈值7，则认为该区域不符合人眼区域条件并滤除，否则保留。所述阈值6为0.15～0.35，优选为0.25；所述阈值7为0.9～1.1，优选为1。

人眼对提取34，就是找到两个人眼区域之间距离与水平方向夹角满足一定条件的人眼对并输出。其中，所述人眼区域是指去除不符合人眼规则的区域33处理后获取的人脸模板中的区域。确定人眼对区域的方法是：在人脸模板内的所有区域中，搜索符合间距在人脸区域宽度的阈值8范围内的两个区域，若这两个区域的中心连线与水平方向夹角大于阈值9并小于阈值10，则认为两个区域便是人眼对区域。所述阈值8优选为0.5～1；所述阈值9为0°～5°，优选为0°；所述阈值10为40°～50°，优选为45°。

图4为本发明的人眼检测方法中获取人眼特征的流程示意图。如图4所示，获取人眼特征的具体步骤包括：

获取可靠人眼对41，获取可靠人眼对，找到人眼对区域中的中心连线与水平方向夹角最小的作为可靠人眼对。即如果提取人眼对是多对时，找到人眼对区域中的中心连线与水平方向夹角最小的作为可靠人眼对。提取多个候选人眼对，如3个，夹角为10°、20°、0°，我们选择夹角为0°为最可靠人眼对；

画出人眼区域42，即根据步骤41获取可靠人眼对中得到的人眼对位置画出两个人眼区域；

人眼区域处理43，即用常规的FRST算法对每个人眼区域进行计算以得到相应的映射图像，并获取该映射图像的最大像素值(即最大灰度值)，然后将最大像素值的阈值5作为分割阈值，对每个人眼区域进行分割，以得到二值化的人眼区域。

图5为本发明人眼检测系统的结构示意图。如图5所示，人眼检测系统5包括：定位人脸区域模块51、提取人眼对模块52、获取人眼特征模块53。其中，定位人脸区域模块51，用于从输入的驾驶员监控图像中定位驾驶员的人脸区域，以获得驾驶员的人脸区域的图像；提取人眼对模块52，用于根据定位出的人脸区域的图像，提取人脸区域中的人眼区域；获取人眼特征模块53，用于根据所得的人眼区域提取人眼特征。

图6为本发明人眼检测系统中定位人脸区域模块的结构示意图。如图6所示，定位人脸模块51包括预处理图像模块511、处理图像模块512、选定候选人脸区域模块513和验证候选人脸区域模块514。其中，预处理图像模块511，用于彩色图像灰度化处理和降低图像分辨率；处理图像模块512，用于获取连通区域和获取积分图像，所述获取连通区域是通过对当前帧图像进行图像二值化、边缘图像提取、人脸区域分裂和连通区域分析，获取连通区域；所述获取积分图像是通过对相邻两帧图像进行图像差分的处理，获得积分图像；选定候选人脸区域模块513，用于根据获取的连通区域及积分图像，选定候选人脸区域；验证候选人脸区域模块514，用于通过判决条件滤除虚假的人脸区域，并输出人脸区域。

图7为本发明人眼检测系统中提取人眼对模块的结构示意图。如图7所示，提取人眼对模块包括FRST法得到二值图像模块521、降维二值化模块522、去除不符合人眼规则的区域模块523和提取人眼对模块524。

其中FRST法得到二值图像模块521，用于通过常规的FRST算法得到输入的人脸图像的映射图像，并获取该映射图像的最大像素值，然后将最大像素值的阈值5作为分割阈值，对输入的人脸区域图像进行分割，以得到二值图像并输出；

降维二值化模块522，用于将输入的人脸图像缩小一倍，并用常规的二值化处理得到人脸模板并输出二值化图像，将输出的人脸模板与二值化图像再作数学形态学中的常规并处理，以滤除人脸模板中的耳朵区域；

去除不符合人眼规则的区域模块523，用于滤除不符合人眼区域条件的区域，去除不符合人眼规则的区域是根据所计算每个人脸模板中区域的面积以及该区域高度与宽度的比值进行去除，若该面积大于整个人脸模板面积的阈值6，或者高度与宽度的比值小于阈值7，则认为该区域不符合人眼区域条件并滤除，否则保留；

提取人眼对模块524，就是找到两个人眼区域之间距离与水平方向夹角满足一定条件的人眼对并输出；其中，所述人眼区域是指去除不符合人眼规则的区域处理后所获取的人脸模板中的区域；确定人眼对区域的方法是：在人脸模板内的所有区域中，搜索符合间距在人脸区域宽度的阈值8范围内的两个区域，若这两个区域的中心连线与水平方向夹角大于阈值9并小于阈值10，则认为两个区域便是人眼对区域。

图8为本发明人眼检测系统中获取人眼特征模块的结构示意图。

如图8所示，获取人眼特征模块53包括获取可靠人眼对模块531、画出人眼区域模块532和人眼区域处理模块533。其中，获取可靠人眼对模块531，用于获取可靠人眼对模块，用于找到人眼对区域中的中心连线与水平方向夹角最小的作为可靠人眼对；画出人眼区域模块532，用于根据获取可靠人眼对中得到的人眼对位置画出两个人眼区域；人眼区域处理模块533，用于用常规的FRST算法对每个人眼区域进行计算以得到相应的映射图像，并获取该映射图像的最大像素值，然后将最大像素值的阈值5作为分割阈值，对每个人眼区域进行分割，以得到二值化的人眼区域。

本发明人眼检测法可用于驾驶员疲劳检测，实现了驾驶员的人脸检测、人眼检测，不仅能有效防止驾驶员疲劳驾驶，减少交通事故的发生，而且检测简单快速，非常方便。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (10)

1.一种用于驾驶员疲劳检测的人眼检测方法，其特征在于，所述人眼检测方法包括如下步骤：

定位人脸区域，从输入的驾驶员监控图像中定位驾驶员的人脸区域，以获得驾驶员的人脸区域的图像；

提取人眼对，根据定位出的人脸区域的图像，提取人脸区域中的人眼区域；和

获取人眼特征，根据所得的人眼区域提取人眼特征；

其中，所述定位人脸区域包括如下步骤：

预处理图像，彩色图像灰度化处理和降低图像分辨率；

处理图像，包括获取连通区域和获取积分图像；所述获取连通区域是通过对当前帧图像进行图像二值化、边缘图像提取、人脸区域分裂和连通区域分析，获取连通区域；所述获取积分图像是通过对相邻两帧图像进行图像差分的处理，获得积分图像；

选定候选人脸区域，滤除连通区域分析所获取的连通区域中的小的虚假区域后，再根据所述获取积分图像步骤中所得到的积分图像从剩余的连通区域中选出人脸区域；

验证候选人脸区域，通过判决条件滤除虚假的人脸区域，并输出人脸区域；

所述人脸区域分裂是指对获取的二值图像和边缘图像中的每个像素的灰度值进行常规的异或处理，然后对其结果进行常规的开运算，以得到分离的类似人脸区域，并滤除噪声；其中，异或处理是指每两个相同灰度值的像素的灰度值取0，相异的像素的灰度值取1；滤除噪声是根据所计算类似人脸区域的长度与宽度的比值进行滤除，若该比值处于第二阈值范围内，则保留，否则认为该类似人脸区域为噪声区域，将该类似人脸区域滤除；

滤除连通区域中的小的虚假区域是根据所计算连通区域的总像素进行滤除，若该总像素小于设定的第三阈值时，则认为是小的虚假区域并滤除该连通区域，否则保留该连通区域；

根据所述获取积分图像步骤中所得到的积分图像从剩余的连通区域中选出人脸区域的方法是：

第一步：计算剩余的连通区域的积分图像，并对当前帧的积分图像与前一帧积分图像的像素灰度值进行相减，得到差值图像，统计该差值图像中像素不为0的个数，该个数为对应该剩余的连通区域的运动能量；

第二步：根据各剩余的连通区域的运动能量，从中选出5个运动能量最大的剩余连通区域，作为人脸区域；

所述剩余的连通区域是指经过所述滤除连通区域中的小的虚假区域处理后留下的连通区域。

2.根据权利要求1所述的人眼检测方法，其特征在于，所述降低图像的分辨率处理只在获取的图像尺寸大于第一阈值时使用。

3.根据权利要求1所述的人眼检测方法，其特征在于，所述获取积分图像是通过对相邻两帧人脸图像进行差分处理，得到这两帧人脸图像的差分图像，再根据式(I)计算差分图像就获得人脸图像的积分图像：

$\mathrm{ii}(x,y)=\underset{x^{\′}\≤x,y^{\′}\≤y}{\mathrm{\Σ}}i(x^{\′},y^{\′})---\left(I\right)$

其中，设差分图像为i(x′，y′)，对于图像内一点A(x，y)，积分图像为ii(x，y)。

4.根据权利要求1所述的人眼检测方法，其特征在于，所述验证候选人脸区域是指根据判决条件进行投票，符合判决条件即投赞成票，不符合判决条件即投反对票，并对投票进行叠加，将投票叠加之和最高的候选人脸区域作为人脸区域，然后输出人脸区域，从而滤除虚假的人脸区域；其中，所述判决条件包括：人脸区域的长宽比为第二阈值、人脸区域内属于人脸的前景点与整个人脸区域内点的比例为第四阈值、和确定人脸区域内是否存在类似眼睛区域。

5.根据权利要求4所述的人眼检测方法，其特征在于，所述确定人脸区域内是否存在类似眼睛区域包括如下步骤：

水平灰度腐蚀处理，对输入的图像进行常规的水平灰度腐蚀处理，并输出经水平灰度腐蚀处理过的腐蚀图像；

垂直闭处理，对输入的腐蚀图像先进行常规的垂直膨胀处理，然后进行常规的垂直腐蚀处理，并输出结果图像；

差分处理，对腐蚀图像与结果图像各像素值进行相减取绝对值，并输出结果差分图像；

计算分割阈值，计算差分图像的均值和方差，并将该均值和方差作为图像的分割阈值；其中，差分图像的均值通过计算差分图像每个像素值的平均值实现，差分图像的方差通过计算差分图像每个像素值的方差实现；

图像二值化，根据所获取的分割阈值对原始输入图像进行常规的二维阈值分割，以获取二值图像；

去噪处理，对所述二值图像进行去噪处理，然后输出结果图像；去噪处理是根据所计算二值图像中连通区域的总像素个数进行去噪，若该总像素小于设定的第三阈值，则认为是小的虚假区域并滤除该连通区域，否则保留该连通区域，然后输出结果图像；所述去噪处理中的结果图像为人脸检测的图像。

6.根据权利要求1所述的人眼检测方法，其特征在于，所述提取人眼对包括如下步骤：

FRST法得到二值图像，通过常规的FRST算法得到输入的人脸图像的映射图像，并获取该映射图像的最大像素值，然后将最大像素值的第五阈值作为分割阈值，对输入的人脸区域图像进行分割，以得到二值图像并输出；

降维二值化，将输入的人脸图像缩小一倍，并用常规的二值化处理得到人脸模板并输出二值化图像，将输出的人脸模板与二值化图像再作数学形态学中的常规并处理，以滤除人脸模板中的耳朵区域；

去除不符合人眼规则的区域，滤除不符合人眼区域条件的区域，去除不符合人眼规则的区域是根据计算每个人脸模板中区域的面积以及该区域高度与宽度的比值进行去除，若该面积大于整个人脸模板面积的第六阈值，或者高度与宽度的比值小于第七阈值，则认为该区域不符合人眼区域条件并滤除，否则保留；

提取人眼对，就是找到两个人眼区域之间距离与水平方向夹角满足一定条件的人眼对并输出；其中，所述人眼区域是指去除不符合人眼规则的区域处理后所获取的人脸模板中的区域；确定人眼对区域的方法是：在人脸模板内的所有区域中，搜索符合间距在人脸区域宽度的第八阈值范围内的两个区域，若这两个区域的中心连线与水平方向夹角大于第九阈值并小于第十阈值，则认为两个区域便是人眼对区域；

其中，FRST是快速辐射对称变换。

7.根据权利要求1所述的人眼检测方法，其特征在于，所述获取人眼特征包括如下步骤：

获取可靠人眼对，找到人眼对区域中的中心连线与水平方向夹角最小的作为可靠人眼对；

画出人眼区域，根据获取可靠人眼对中得到的人眼对位置画出两个人眼区域；

人眼区域处理，用常规的FRST算法对每个人眼区域进行计算以得到相应的映射图像，并获取该映射图像的最大像素值，然后将最大像素值的第五阈值作为分割阈值，对每个人眼区域进行分割，以得到二值化的人眼区域。

8.一种用于驾驶员疲劳检测的人眼检测系统，其特征在于，所述人眼检测系统包括：

定位人脸区域模块，用于从输入的驾驶员监控图像中定位驾驶员的人脸区域，以获得驾驶员的人脸区域的图像；

提取人眼对模块，用于根据定位出的人脸区域的图像，提取人脸区域中的人眼区域；

获取人眼特征模块，用于根据所得的人眼区域提取人眼特征；

其中，所述定位人脸区域模块包括：

预处理图像模块，用于彩色图像灰度化处理和降低图像分辨率；

处理图像模块，用于获取连通区域和获取积分图像；所述获取连通区域是通过对当前帧图像进行图像二值化、边缘图像提取、人脸区域分裂和连通区域分析，获取连通区域；所述获取积分图像是通过对相邻两帧图像进行图像差分的处理，获得积分图像；

选定候选人脸区域模块，用于滤除连通区域分析所获取的连通区域中的小的虚假区域后，再根据所述获取积分图像步骤中所得到的积分图像从剩余的连通区域中选出人脸区域；

验证候选人脸区域模块，用于通过判决条件滤除虚假的人脸区域，并输出人脸区域；

所述人脸区域分裂是指对获取的二值图像和边缘图像中的每个像素的灰度值进行常规的异或处理，然后对其结果进行常规的开运算，以得到分离的类似人脸区域，并滤除噪声；其中，异或处理是指每两个相同灰度值的像素的灰度值取0，相异的像素的灰度值取1；滤除噪声是根据所计算类似人脸区域的长度与宽度的比值进行滤除，若该比值处于第二阈值范围内，则保留，否则认为该类似人脸区域为噪声区域，将该类似人脸区域滤除；

滤除连通区域中的小的虚假区域是根据所计算连通区域的总像素进行滤除，若该总像素小于设定的第三阈值时，则认为是小的虚假区域并滤除该连通区域，否则保留该连通区域；

根据所述获取积分图像步骤中所得到的积分图像从剩余的连通区域中选出人脸区域的方法是：

第一步：计算剩余的连通区域的积分图像，并对当前帧的积分图像与前一帧积分图像的像素灰度值进行相减，得到差值图像，统计该差值图像中像素不为0的个数，该个数为对应该剩余的连通区域的运动能量；

第二步：根据各剩余的连通区域的运动能量，从中选出5个运动能量最大的剩余连通区域，作为人脸区域；

所述剩余的连通区域是指经过所述滤除连通区域中的小的虚假区域处理后留下的连通区域。

9.根据权利要求8所述的人眼检测系统，其特征在于，所述提取人眼对模块包括：

FRST法得到二值图像模块，用于通过常规的FRST算法得到输入的人脸图像的映射图像，并获取该映射图像的最大像素值，然后将最大像素值的第五阈值作为分割阈值，对输入的人脸区域图像进行分割，以得到二值图像并输出；

降维二值化模块，用于将输入的人脸图像缩小一倍，并用常规的二值化处理得到人脸模板并输出二值化图像，将输出的人脸模板与二值化图像再作数学形态学中的常规并处理，以滤除人脸模板中的耳朵区域；

去除不符合人眼规则的区域模块，用于滤除不符合人眼区域条件的区域，去除不符合人眼规则的区域是根据所计算每个人脸模板中区域的面积以及该区域高度与宽度的比值进行去除，若该面积大于整个人脸模板面积的第六阈值，或者高度与宽度的比值小于第七阈值，则认为该区域不符合人眼区域条件并滤除，否则保留；

提取人眼对模块，用于找到两个人眼区域之间距离与水平方向夹角满足一定条件的人眼对并输出；其中，所述人眼区域是指去除不符合人眼规则的区域处理后所获取的人脸模板中的区域；确定人眼对区域的方法是：在人脸模板内的所有区域中，搜索符合间距在人脸区域宽度的第八阈值范围内的两个区域，若这两个区域的中心连线与水平方向夹角大于第九阈值并小于第十阈值，则认为两个区域便是人眼对区域；

其中，FRST是快速辐射对称变换。

10.根据权利要求8所述的人眼检测系统，其特征在于，所述获取人眼特征模块包括：

获取可靠人眼对模块，用于找到人眼对区域中的中心连线与水平方向夹角最小的作为可靠人眼对；

画出人眼区域模块，用于根据获取可靠人眼对中得到的人眼对位置画出两个人眼区域；

人眼区域处理模块，用于用常规的FRST算法对每个人眼区域进行计算以得到相应的映射图像，并获取该映射图像的最大像素值，然后将最大像素值的第五阈值作为分割阈值，对每个人眼区域进行分割，以得到二值化的人眼区域。

Images