CN101533466A - 一种眼睛定位图像处理方法 - Google Patents

Abstract

本发明涉及一种眼睛定位图像处理方法。本发明技术方案是捕获人脸图像；并检测，对两只眼睛和鼻子这三个构件分别建立概率支持向量机外观模型，对三者之间空间结构度量参数分别建立高斯分布模型，重定义三个边长并建立高斯分布模型，建立增强图模型，选取最大化外观特征相似度和结构相似度的候选点作为目标的最佳位置，依据建立的概率支持向量机外观模型，根据其呈现的外观特征u_i而判定是人眼z_1，2或鼻子z₃的可能性大小，从而定位眼睛。解决了以往存在的对图像分辨率、光照和清晰度要求高，在现实复杂环境下难以实现人眼精确定位的缺陷。本发明从眼睛外观特征和眼睛与鼻子的空间分布结构特征入手，建立较鲁棒空间结构模型。提高了人眼定位的准确度。

Description

一种眼睛定位图像处理方法

技术领域

本发明属于模式识别和计算机视觉领域的一种生物特征识别方法，具体为非控条件下的鲁棒精确人眼定位技术。

背景技术

人脸识别作为一种新的生物认证方法，由于其在公共安全、信息安全、金融等领域具有潜在的广泛的应用前景，而倍受关注。一个完整的人脸图像信息处理系统，由以下几个关键模块组成：人脸图像获取，人脸特征点定位，人脸规整化，人脸特征提取和特征匹配识别。

规整化的人脸是人脸识别算法执行的重要条件，可以大大提高人脸识别的可靠性。但是，人脸检测只能得到人脸的大致区域和尺寸大小，所以人脸检测器所检测出的人脸不适合直接用于人脸识别。

人眼是人面部的关键特征，根据两只眼睛的位置可以准确估计人脸的尺寸和位置，从而可以依据双眼的位置进行人脸图像的规整化，规整化后的标准人脸便于后续工作的进行。

在本发明之前，有多种人眼定位方法，主要分为三类：基于模板的方法、基于特征的方法、基于外观的方法。

基于模板和特征的这两种方法，通常都是利用人眼的几何特征或其它有助于人眼定位的相关典型特征，进行人眼定位。该类方法对图像的分辨率、光照和清晰度要求很高。而在复杂环境中这些条件很难满足，因此无法实现真实环境中的精确人眼定位。

第三种基于外观的方法，可以利用完备的统计技术来分析人眼的外观特征，相对于前两种方法有很大优势。但是在复杂环境下，人眼表现形式变化丰富，很难提取有判别力的外观特征来区分人眼，因此仅依赖外观特征也很难实现复杂环境下的精确人眼定位。

另外，图模型(Pictorial Model)结合对象的外观特征和对象的空间结构特征进行对象检测，因此可以利用更多的信息来检测对象。但是该模型中，简单的高斯分布外观模型不足以刻画人眼复杂变化的模式，同时基于特征间相对位置分布的结构模型对旋转、尺度缩放和平移变换不鲁棒，因此很难实现复杂环境下的人眼精确定位。

综上，现实环境中，人眼的外观表现形式复杂，仅依据外观特征或结合简单的空间结构模型不易实现精确人眼定位。

发明内容：

本发明的目的在于克服上述缺陷，设计、研制一种眼睛定位图像处理方法。

本发明的技术方案是：

一种眼睛定位图像处理方法，其主要技术步骤包括：

(1)摄像头捕获人脸图像；

(2)人脸检测器对人脸图像检测，截取出人脸；

(3)对两只眼睛和鼻子这三个构件分别建立概率支持向量机外观模型；

(4)对选取的用来描述眼睛和鼻子之间的空间信息的三类空间结构度量参数分别建立高斯分布模型，重定义三个边长为 $e_1\stackrel{\mathrm{\Δ}}{=}{L}_{12},e_2\stackrel{\mathrm{\Δ}}{=}{L}_{13},e_3\stackrel{\mathrm{\Δ}}{=}{L}_{23}$ ，

则最终的结构相似度函数可以表示成如下公式：

其中，

和

分别表示对三种类型的结构约束变量建立的高斯分布模型，对模型参数的估计通过最大似然估计方法从训练样本上获得；

(5)建立增强图模型：根据最大化后验概率估计原则，在所有的候选点中，依据如下的目标优化函数选取同时最大化外观特征相似度和结构相似度的候选点作为目标的最佳位置，

$L^{*}=\arg \underset{L}{\min }(\mathrm{\Σ}(-\log \left(p\left(z_i\right|l_i,u_i)\right))+E(e_1+e_2+e_3))---B$

其中p(z_i|l_i，u_i)表示在图像中的位置l_i处，依据建立的概率支持向量机外观模型，根据其呈现的外观特征u_i而判定是人眼z_1，2或鼻子z₃的可能性大小，从而定位眼睛。

本发明的优点和效果在于，增强图模型同时从眼睛的外观特征和眼睛与鼻子的空间分布结构特征入手，建立判别能力较强的外观模型来应对人眼特征的丰富变化，同时建立了能够对常见的图像旋转、尺度放缩和平移等变换较鲁棒的空间结构模型。最后通过最大化外观特征相似度和结构相似度来判定最佳的眼睛位置，可以综合多种信息实现复杂环境变化下精确的人眼定位效果。另外，通过人脸图像预处理工作，可以排除大量背景区域信息的干扰，减少人眼的尺度变化，降低复杂光照对人眼定位性能的影响，提高人眼定位的准确度。

本发明的人眼定位方法可以做到非控真实环境下的精确人眼定位，基本上能够满足现实环境中的人眼定位的需要。本发明中所设计的增强图模型可以扩展成包含更多面部特征的复杂模型，从而进一步提高人眼定位的鲁棒性和精确度。

附图说明

图1——本发明基于增强图模型的鲁棒精确人眼定位算法流程图。

图2——本发明中依据鼻子和两只眼睛构成的三角形结构约束关系模型示意图。

图3——本发明中使用的光照预处理方法的效果图。

图4——本发明中非控真实环境人脸数据库LFW上取得的数据示意图。

具体实施方法：

本发明提出了一种基于增强图模型的精确人眼定位方法，该方法可以分作两个阶段：模型训练和模型测试。

在模型训练阶段，首先选取两只人眼和鼻子作为增强图模型的三个关键构件。然后在训练样本上，依据每一个构件的外观特征，分别建立概率支持向量机外观模型。接着，基于鼻子和两只眼睛所构成的三角形结构约束关系，分别选取边长、边长比例和内角余弦值作为空间结构度量参数，具体形式如下面公式所示。其中，第一个公式表示构件i和构件j之间的距离，可以反映局部结构特征。另外两个公式分别表示边长比例和内角余弦值，可以反映全局结构特征。

$L_{\mathrm{ij}}=\sqrt{{(x_{l_i}-x_{l_y})}^2+{(y_{l_i}-y_{l_y})}^2},\∀i,j\∈\left(\mathrm{1,2,3}\right),i\≠j$

$r_{\mathrm{ij}}=\frac{L_{\mathrm{ij}}}{L_{\mathrm{ik}}}$

$\cos \left({\mathrm{\α}}_{\mathrm{ij}}\right)=\frac{{L_{\mathrm{ij}}}^2+{L_{\mathrm{ik}}}^2-{L_{\mathrm{jk}}}^2}{2L_{\mathrm{ij}}{L}_{\mathrm{ik}}}$

最后，对这些度量参数分别建立高斯分布模型，由此建立了基于全局约束和局部约束相结合的空间结构模型。如图2所示，其中e₁、e₂、e₃分别表示右眼与左眼、右眼与鼻子、左眼与鼻子之间的距离，α表示右眼与左眼连线和右眼与鼻子连线之间的内角夹角。

在模型测试阶段，首先利用所建立的外观模型判定人眼和鼻子出现在每个位置的可能性大小。然后，对于人眼和鼻子所有可能出现的位置的三元组组合，判定其结构相似度。最后，遵照外观特征相似度最大化和结构相似度同时最大化的匹配原则，判定构件的最佳位置。同时可以对定位结果的可信度做出判断，并预测遮挡情况下人眼的可能位置。

基于本发明提出的增强图模型的人眼定位算法的流程，如图1所示。

其中，前两步是人脸图像预处理。首先通过人脸检测器确定人脸的大致位置和尺寸，然后把检测出的人脸归一化到统一的尺寸，最后进行光照预处理。训练和测试过程中使用相同的人脸图像预处理方法。

接着，根据已经建立的增强图模型，进行人眼和鼻子的区域分割，提取一批候选点，再根据结构模型验证结构相似度，选取外观特征相似度和结构相似度都最大化的候选点作为人眼的最佳位置。

最后，把定位出的人眼位置映射到原图中，从而可以依据定位出的人眼位置进行人脸图像的规整化，为人脸识别算法提供标准的人脸图像。

具体实施例：

第一步：

使用人脸检测器进行人脸检测，获得从摄像头捕获的人脸图像的大致位置和尺寸，并截取出人脸，然后尺度归一化到100像素×100像素的大小。最后可以通过DOG(Difference of Gauss ian)滤波进行光照预处理，对光照补偿，在尽量消除异常光照影响的同时保留大量的细节纹理特征，效果如图3所示。

第二步：

候选点筛选。对两只人眼和鼻子这三个构件，分别建立概率支持向量机外观模型。其中涉及到几个关键问题：1)人眼和鼻子图像块大小的选取。对人眼和鼻子这三个构件，在固定的人脸图像尺寸下，块的大小对定位性能的影响很大。本发明中使用穷举验证的方法在训练样本上优化选取人眼和鼻子块的最佳大小，即把训练样本分成两部分，一部分用于训练模型，对于所有可能的块大小，分别训练出一个外观模型，然后在另一部分样本上测试不同块大小设置下训练的模型的性能，选取性能最优的块大小。2)收集具有代表性的正反例训练样本。正例样本可以根据已知的眼睛和鼻子的坐标，直接在训练人脸图像上截取指定大小的图像块，反例样本可以在目标坐标周围一定区域内随机截取，也可以使用自举法(Bootstrap)来搜集具有代表性的反例样本来提高模型的性能，即用当前训练出的外观模型在训练样本上收集被误判为正例的反例样本，如此更新反例训练样本重新训练外观模型。3)模型复杂度。为了满足实时应用的需要，对训练出的支持向量机外观模型进行支持向量约简，即在尽量保持最优分类面不变的前提下，合并相似度较大的支持向量来减少支持向量的个数，从而达到降低模型复杂的目的。4)支持向量机的概率化判定输出。通过对标准支持向量机的输出拟合一个Sigmoid函数，来获取概率形式的类别判定输出。

第三步：

对选取的三类空间结构度量参数分别建立高斯分布模型，为了表述的方便，重定义三个边长为

$e_1\stackrel{\mathrm{\Δ}}{=}{L}_{12},$ $e_2\stackrel{\mathrm{\Δ}}{=}{L}_{13},$ $e_3\stackrel{\mathrm{\Δ}}{=}{L}_{23},$ 则最终的结构相似度函数可以表示成如下公式：

公式A中，

和

分别表示对三种类型的结构约束变量建立的高斯分布模型。其中模型参数的估计(取对数后表示成求和的形式)，通过最大似然估计方法从训练样本上获得。

第四步：

结构模型验证。在本发明设计的增强图模型中，根据最大化后验概率估计原则，在所有的候选点中，依据如下的目标优化函数选取同时最大化外观特征相似度和结构相似度的候选点作为目标的最佳位置。

$L^{*}=\arg \underset{L}{\min }(\underset{p=1}{\overset{3}{\mathrm{\Σ}}}(-\log \left(p\left(z_i\right|l_i,u_i)\right))+E(e_1+e_2+e_3))---B$

公式B中，p(z_p|l_i，u_i)表示在图像中的位置l_i处，依据建立的概率支持向量机外观模型，根据其呈现的外观特征u_i而判定为眼睛z_1，2或鼻子z₃的可能性大小。最后，验证人眼定位的可靠性，如果总的外观相似度和结构相似度很小，则可以判定为遮挡情况，同时依据其它相邻构件的检测情况依据事先建立的空间结构分布模型，做出大致位置的预测。比如，鼻子很少发生被遮挡的情况，且外观特征较稳定，常常可以被正确检测到。所以可以根据鼻子的可靠定位结果来推测被遮挡人眼的大致位置。如果仅有一个眼睛被遮挡，则还可以同时根据另一个眼睛和鼻子的位置对被遮挡的眼睛做出较可靠的位置预测。

实验结果

最后，在真实环境人脸数据集LFW(Labeled Face in the Wild)上，验证了算法的有效性。图4所示统计了在横轴和纵轴方向上右眼定位准确度的均值和方差。可以看出在两个方向上的定位误差的均值都小于1，而且保持在较低的方差下，表明了本发明提出的增强图模型实现了非控复杂环境下的鲁棒精确的人眼定位，能够满足现实应用的需要。

Claims (3)

1.一种眼睛定位图像处理方法，其步骤包括：

(1)摄像头捕获人脸图像；

(2)人脸检测器对人脸图像检测，截取出人脸；

(3)对两只眼睛和鼻子这三个构件分别建立概率支持向量机外观模型；

(4)对选取的用来描述眼睛和鼻子之间的空间信息的三类空间结构度量参数分别建立高斯分布模型，重定义三个边长为

则最终的结构相似度函数可以表示成如下公式：

其中，

和

分别表示对三种类型的结构约束变量建立的高斯分布模型，对模型参数的估计通过最大似然估计方法从训练样本上获得；

(5)建立增强图模型：根据最大化后验概率估计原则，在所有的候选点中，依据如下的目标优化函数选取同时最大化外观特征相似度和结构相似度的候选点作为目标的最佳位置，

$L^{*}=\arg \underset{L}{\min }(\mathrm{\Σ}(-\log \left(p\left(z_i\right|l_i,u_i)\right))+E(e_1+e_2+e_3))---B$

其中p(z_i|l_i，u_i)表示在图像中的位置l_i处，依据建立的概率支持向量机外观模型，根据其呈现的外观特征u_i而判定是人眼z_1，2或鼻子z₃的可能性大小，从而定位眼睛。

2.根据权利要求1所述的一种眼睛定位图像处理方法，其特征在于在步骤(2)中，对截取的人脸图像通过DOG滤波。

3.根据权利要求1所述的一种眼睛定位图像处理方法，其特征在于在步骤(3)得到的概率支持向量机外观模型在训练样本上进行穷举验证，优化选取眼睛和鼻子块的大小，并在确定最优块大小之后，在所有训练样本上收集具有代表性的正反例样本，来优化外观模型。

Images