CN103336973A

CN103336973A - 多特征决策融合的眼状态识别方法

Info

Publication number: CN103336973A
Application number: CN2013102453001A
Authority: CN
Inventors: 秦华标; 李雪梅
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2013-06-19
Filing date: 2013-06-19
Publication date: 2013-10-02
Anticipated expiration: 2033-06-19
Also published as: CN103336973B

Abstract

本发明公开了一种多特征决策融合的眼状态判别方法，其包括如下步骤：对采集到的眼睛样本进行伪Zernike矩特征、复杂度特征和HOG特征提取；接着针对这三种特征分别建立最优SVM模型：PZ-SVM模型，COM-SVM模型和HOG-SVM模型；最后利用自动权值学习算法对三个模型的判别结果有效性进行权重分配，实现对眼状态判别的决策融合。本发明能够克服复杂光照变化和眼睛形变的影响，提高人眼状态判别的鲁棒性。

Description

多特征决策融合的眼状态识别方法

技术领域

本发明属于图像处理和模式识别技术的应用领域，具体涉及复杂光照条件下的多特征决策融合的眼状态识别方法。

背景技术

眼状态的识别在人机交互、驾驶员疲劳检测、视线跟踪等很多领域都有重要的作用，其判别的准确率直接影响这些系统的性能，在实际环境中，为了保证人眼状态判别的方法能够全天候使用，目前最常用的方法就是使用波长850nm的主动红外光源和滤光片结合的图像采集方法。但在红外照明加滤光片的情况下，人眼图像与正常光照下的人眼图像出现较大的区别；另外实际应用中头部的大幅度转动使得人眼图像发生较大形变，导致原本提取的特征失效；带眼镜时产生的反光现象也会使眼睛部位的特征消失，无法保证人眼状态判别的准确率。因此，如何选择合适的人眼特征和设计性能优良的人眼状态判别器是一个具有挑战性的的关键问题。

目前有大量人员对眼状态判别开展深入的研究。Yang Hai-yang等使用Gabor小波提取眼睛特征，将该特征放进马尔科夫模型进行训练，从而判断眼睛睁闭状态，但其所使用的小波特征无法区分对比度低的红外眼睛状态；Mehrdad等提取眼睛的LBP（Local BinaryPattern）特征后，利用SVM（Support Vector Machine）分类器进行训练判别，但LBP特征是纹理描述算子，在红外下眼睛图像对比度低，纹理特征不明显；Lamiaa等在红外条件下，利用Haar特征分类器定位人脸，之后使用模板相关性判别眼睛状态，但Haar特征对睁闭眼的表征能力不足，容易出现错判，而且太过依赖训练样本；Giacia等利用红外摄像头，对提取的眼睛区域进行水平和垂直积分投射曲线，最后用高斯模型判断其特性，计算瞳孔高度在该帧中的比值，投影曲线的提取是基于像素级的，对光照和姿势变化比较敏感；国防科大的李智^[6]等提出基于红外视频图像的疲劳检测方法，使用PCA（PrincipalComponent Analysis）进行主成分特征提取后，利用Adaboost进行训练分类，该方法的虚报数较高，主要是提取的PCA特征没有很好的类间分类能力；Nawal等使用CHT（CircuitHough Transfer）检测人眼状态，通过CHT获取的虹膜半径判断眼睛睁闭的程度，该方法具有一定鲁棒性，但在头部大范围转动时失效；Tian等在定位到眼睛图像后，计算眼睛图像的复杂度特征来判断睁闭眼状态，复杂度特征提取简单而且区分度高，但对轮廓提取有较高要求，而且容易受到光照的影响；Lin提取眼睛的HOG（Histogram of Oriented Gradient）特征后，使用线性SVM进行训练和眼状态的判别，HOG特征对光照变化不敏感，能够在一定程度上克服光照的影响，但对头部运动敏感；胡涛等把眼睛内部形状空间域的特征、伪Zernike矩特征和模板匹配方法进行结合，利用基于格贴近度的分类器判别眼睛状态，伪Zernike特征的旋转不变性、尺度不变性能够很好克服头部转动和距离远近的问题，但该方法是在可见光下进行，而且对光照的变化较敏感。

发明内容

本发明的目的在于克服现有技术存在的以上不足之处，即利用单个特征进行判别并不可靠，提出多特征决策融合的眼状态识别方法，能够克服复杂光照变化和眼睛形变的影响，提高人眼状态判别的鲁棒性。本发明通过如下技术方案实现：

一种多特征决策融合的眼状态判别方法，其特征在于包括如下步骤：

（1）眼睛特征的提取：对采集到的眼睛训练样本进行伪Zernike矩特征、复杂度特征和HOG特征提取；

（2）SVM模型的建立：针对这三种特征分别建立最优SVM模型，即PZ-SVM模型，COM-SVM模型和HOG-SVM模型；

（3）决策融合模型的建立：利用自动权值学习算法对三个特征模型在眼睛测试样本中的判别准确率进行权重分配，实现对眼状态判别的决策融合。

上述方法中，步骤（1）的伪Zernike矩特征是一种正交复数矩，具有旋转不变性和尺度不变性，能够克服眼睛状态判别中头部发生偏转、倾斜，与摄像头之间距离发生变化的影响；所提取的伪Zernike矩特征是1‐9阶的伪Zernike矩特征，共55维；所述复杂度特征是指眼睛图像边缘轮廓图的复杂程度；HOG特征对眼睛图像细胞单元中出现的方向梯度次数进行计数，并利用基于一致空间的密度矩阵来提高准确率，其对光照不敏感，所提取到的HOG特征向量是1400维。

上述方法中，步骤（1）的伪Zernike矩特征提取过程中，使用形态学与边缘检测相结合的轮廓提取算法，其主要步骤为：使用3×5的结构元素对眼睛图像f进行膨胀得到图像f₁；将膨胀后的图像f₁与原图像f进行相减，去除部分光照影响，得到图像f₂；对图像f₂进行canny边缘提取，得到图像f₃；接着对图像f₃中的连通直线进行质心提取；最后将质心限制在0.35-0.7倍的宽和高中间，将质心超出该范围的剔除，就提取到了眼睛图像的轮廓。

上述方法中，步骤（2）的SVM模型的建立使用的核函数是径向基核函数，建立过程使用基于交叉验证的的网格寻优方法确定最优的参数，最优的参数包括惩罚因子C和松弛因子g。

上述方法中，步骤（3）中自动权值学习算法是通过三个特征模型在眼睛测试样本中对睁闭眼的判别准确率来对其判别结果进行权重分配，具体包括：

将眼睛测试样本提取对应特征后，输入已建立的三个SVM模型，即PZ_SVM模型，COM_SVM模型和HOG_SVM模型；接着针对睁眼样本，如果PZ_SVM模型判别为睁眼，其对应的权重PZ_P_weight进行累加；如果COM_SVM模型判别为睁眼，其对应的权重COM_P_weight进行累加；假如HOG_SVM模型判别为睁眼，其对应的权重HOG_P_weight进行累加，反之如果判别为闭眼，则对应权重不进行累加；同样针对闭眼样本，如果PZ_SVM模型判别为闭眼，其对应的权重PZ_N_weight进行累加；如果COM_SVM模型判别为闭眼，其对应的权重COM_N_weight进行累加；假如HOG_SVM模型判别为闭眼，其对应的权重HOG_N_weight进行累加，反之如果判别为睁眼，则对应权重不进行累加；最后得到三个模型输出的睁闭眼对应权值，再将特征权值进行归一化处理。

上述方法中，步骤（3）的决策融合模型的建立，其决策融合的过程是：对新的眼睛测试样本进行判别时，首先提取伪Zernike矩特征，输入PZ-SVM模型进行判别，得到睁眼分类结果P₁₁和闭眼分类结果P₁₂，之后提取复杂度特征，输入COM-SVM模型进行判别，得到睁眼分类结P₂₁和闭眼分类结果P₂₂；最后提取HOG特征，输入HOG-SVM模型进行判别，得到其睁眼分类结果P₃₁和闭眼分类结果P₃₂，将三个模型的判别结果联合起来，如下式所示：

P_pos=P₁₁×PZ_P_weight+P₂₁×COM_P_weight+P₃₁×HOG_P_weight

P_neg=P₁₂×PZ_N_weight+P₂₂×COM_N_weight+P₃₂×HOG_N_weight

如果P_pos大于P_neg，则判别为睁眼；反之，则判别为闭眼。

上述的方法中，步骤（3）的决策融合模型的建立，其中自动权值学习算法的主要原理是通过三个特征模型在用于测试的眼睛样本中对睁闭眼的判别准确率来对其判别结果进行权重分配。其主要过程如下：

本发明与现有技术相比，具有以下优点和积极效果：

1.在本发明中，所提取的三个特征，伪Zernike矩特征、复杂度特征和HOG特征是针对红外眼睛睁闭眼图像的显著特征。其中伪Zernike特征具有的旋转不变性、尺度不变性等特点，能够克服眼睛状态判别中头部发生偏转、倾斜，与摄像头之间距离发生变化的影响；复杂度特征提取简单，而且区分性好，判别简单，是眼状态判别一个简单有效的特征；HOG特征是基于图像梯度进行构建的，对大范围光照变化影响小，对光照变化不敏感。本发明综合这三个特征的优点，实现对红外眼睛状态的鲁棒判别。

2.在本发明中，提出一种特征权值的学习算法，针对不同特征建立的模型对眼状态判别准确率的贡献值来分配各自的权重，在最终判别时对每个模型的投票结果进行权重限制，从而实现更有效的判别结果。

附图说明：

图1是本发明的多特征融合的眼状态识别方法流程图

图2是本发明中红外人眼的伪Zernike矩提取流程图

图3是人眼图像HOG特征提取流程图

图4是新测试样本的状态判别流程图

具体实施过程：

下面结合附图，对本发明的具体实施方式作进一步的说明。人眼状态识别流程图如图1和图4所示，其具体实现步骤如下：

步骤一：眼睛图像特征的提取。其具体实施过程如下：

（1）眼睛图像的伪Zernike矩特征提取，其具体提取过程如图2所示，由于红外图像对比度较低，而且受到光照还有眼睛等影响，轮廓提取的主要步骤如下所示：

1）使用3×5的结构元素对眼睛图像f进行膨胀得到图像f₁

2）将膨胀后的图像f₁与原图像f进行相减，去除部分光照影响，得到图像f₂

3）对图像f₂进行canny边缘提取，得到图像f₃

4）接着对图像f₃中的连通直线进行质心提取

5）最后将质心限制在(0.35-0.7)倍的宽和高中间，将质心超出该范围的剔除，就提取到了眼睛图像的轮廓。

提取到的眼睛轮廓图像进行极坐标转换，并计算0-9阶的伪Zernike矩特征，得到55维的复数向量，每个人眼图像可以用一个55维的伪Zernike矩特征描述子来表示。

（2）眼睛图像的复杂度特征提取：首先提取眼睛轮廓，该方法与前面伪Zernike特征轮廓提取方法类似，之后计算图像的差分图，接着将图像进行水平和垂直方向灰度投影，然后将得到的投影向量与对应权值相乘，最后累计所有点的复杂度之和，得到图像的复杂度特征。

（3）眼睛图像的HOG特征提取：其具体提取过程如图3所示，本发明首先将图像归一化到48*64，所使用的细胞单元为8*8个像素大小，并使用10个方向对细胞单元进行梯度直方图投影，故每个细胞单元为10维，而区间块为16*16个像素，即每个区间块向量维数为10*4=40维，之后进行平移，图像的水平方向的区间个数为：48/8-1=5，图像垂直方向的区间数目为：64/8-1=7，则一幅图像计算所得的HOG特征描述子维数为：40*5*7=1400。即每幅图像提取到的HOG特征为1400维。

步骤二：支持向量机的特征模型建立。其具体实施过程如下：

本发明选择径向基核函数进行SVM分类模型的建立，SVM的训练结果受到惩罚因子C以及松弛因子g的影响，需要通过实验测试来确定这两个参数。使用眼睛训练样本共有1000张（500张睁眼图像和500张闭眼图像）。将所有眼睛样本进行伪Zernike特征提取后得到的数据为：1000×55，进行复杂度特征提取后得到的数据为：1000×1，进行HOG特征提取后得到的数据为：1000×1400。训练前首先对所有数据进行归一化，即将数据按列进行[0,1]之间的归一化，由于HOG特征的维度达到1400，为了使得结果收敛，同时减少运算时间，本文先对其进行PCA降维，保持95%的主成分，降到262维。最后使用基于交叉验证的网格参数寻优法找到最佳参数C和g。结果如表1所示：

表1三个特征模型的参数及训练结果

模型	C	g	训练准确率
				PZ_SVM	3.0314	5.2780	99%
COM_SVM	0.1088	0.0039	93%
				HOG_SVM	1	0.1088	100%

步骤三：多特征的决策融合。其具体实施过程如下：

（1）特征权值学习过程

特征权值的学习过程是为了确定不同分类器的可信度，其主要的判别步骤为：

1）将眼睛测试样本提取对应特征后，输入以上建立的三个SVM模型，即PZ_SVM模型，COM_SVM模型和HOG_SVM模型；

2）针对睁眼样本，如果PZ_SVM模型判别为睁眼，其对应的权重PZ_P_weight进行累加；如果COM_SVM模型判别为睁眼，其对应的权重COM_P_weight进行累加；假如HOG_SVM模型判别为睁眼，其对应的权重HOG_P_weight进行累加。反之，则对应权重不进行累加。

3）针对闭眼样本，如果PZ_SVM模型判别为闭眼，其对应的权重PZ_N_weight进行累加；如果COM_SVM模型判别为闭眼，其对应的权重COM_N_weight进行累加；假如HOG_SVM模型判别为闭眼，其对应的权重HOG_N_weight进行累加。反之，则对应权重不进行累加。

4）得到三个模型输出的睁闭眼对应权值，为了得到更好的泛化能力，将特征权值进行归一化处理。

使用1000个眼睛测试样本（500个睁眼样本和500个闭眼样本）进行权值确定，得到的结果如下表所示：

表2三个模型的对应特征权值

（2）新样本测试过程

如图4所示，对新的眼睛测试样本进行判别时，首先提取伪Zernike矩特征，输入PZ-SVM模型进行判别，得到睁眼分类结果P₁₁和闭眼分类结果P₁₂，之后提取复杂度特征，输入COM-SVM模型进行判别，得到睁眼分类结果P₂₁和闭眼分类结果P₂₂，最后提取HOG特征，输入HOG-SVM模型进行判别，得到其睁眼分类结果P₃₁和闭眼分类结果P₃₂。

一个具体判别结果如表3所示：

表3三个模型的判别结果

睁闭眼概率	P₁₁	P₁₂	P₂₁	P₂₂	P₃₁	P₃₂
							判别结果	1	0	1	0	0	1

联合表2和表3的结果，可以得到：

P_pos=P₁₁×PZ_P_weight+P₂₁×COM_P_weight+P₃₁×HOG_P_weight=0.638

P_neg=P₁₂×PZ_N_weight+P₂₂×COM_N_weight+P₃₂×HOG_N_weight=0.384

由于0.638>0.384,因此该判别结果为睁眼。

Claims

1.一种多特征决策融合的眼状态判别方法，其特征在于包括如下步骤：

眼睛特征的提取：对采集到的眼睛训练样本进行伪Zernike矩特征、复杂度特征和HOG特征提取；

SVM模型的建立：针对这三种特征分别建立最优SVM模型，即PZ-SVM模型，COM-SVM模型和HOG-SVM模型；

决策融合模型的建立：利用自动权值学习算法对三个特征模型在眼睛测试样本中的判别准确率进行权重分配，实现对眼状态判别的决策融合。

2.根据权利要求1所述的多特征决策融合的眼状态判别方法，其特征在于步骤（1）的伪Zernike矩特征是一种正交复数矩，具有旋转不变性和尺度不变性，能够克服眼睛状态判别中头部发生偏转、倾斜，与摄像头之间距离发生变化的影响；所提取的伪Zernike矩特征是1-9阶的伪Zernike矩特征，共55维；所述复杂度特征是指眼睛图像边缘轮廓图的复杂程度；HOG特征对眼睛图像细胞单元中出现的方向梯度次数进行计数，并利用基于一致空间的密度矩阵来提高准确率，其对光照不敏感，所提取到的HOG特征向量是1400维。

3.根据权利要求1所述的多特征决策融合的眼状态判别方法，其特征在于步骤（1）的伪Zernike矩特征提取过程中，使用形态学与边缘检测相结合的轮廓提取算法，其主要步骤为：使用3×5的结构元素对眼睛图像f进行膨胀得到图像f₁；将膨胀后的图像f₁与原图像f进行相减，去除部分光照影响，得到图像f₂；对图像f₂进行canny边缘提取，得到图像f₃；接着对图像f₃中的连通直线进行质心提取；最后将质心限制在0.35-0.7倍的宽和高中间，将质心超出该范围的剔除，就提取到了眼睛图像的轮廓。

4.根据权利要求1所述的多特征决策融合的眼状态判别方法，其特征在于步骤（2）的SVM模型的建立使用的核函数是径向基核函数，建立过程使用基于交叉验证的的网格寻优方法确定最优的参数，最优的参数包括惩罚因子C和松弛因子g。

5.根据权利要求1所述的多特征决策融合的眼状态判别方法，其特征在于步骤（3）中自动权值学习算法是通过三个特征模型在眼睛测试样本中对睁闭眼的判别准确率来对其判别结果进行权重分配，具体包括：

6.根据权利要求1所述的多特征决策融合的眼状态判别方法，其特征在于步骤（3）的决策融合模型的建立，其决策融合的过程是：对新的眼睛测试样本进行判别时，首先提取伪Zernike矩特征，输入PZ-SVM模型进行判别，得到睁眼分类结果P₁₁和闭眼分类结果P₁₂，之后提取复杂度特征，输入COM-SVM模型进行判别，得到睁眼分类结P₂₁和闭眼分类结果P₂₂；最后提取HOG特征，输入HOG-SVM模型进行判别，得到其睁眼分类结果P₃₁和闭眼分类结果P₃₂，将三个模型的判别结果联合起来，如下式所示：

P_pos=P₁₁×PZ_P_weight + P₂₁×COM_P_weight + P₃₁×HOG_P_weight

P_neg=P₁₂×PZ_N_weight + P₂₂×COM_N_weight + P₃₂×HOG_N_weight

如果P_pos大于P_neg，则判别为睁眼；反之，则判别为闭眼。