CN1475961A - 基于GaborEye模型的人眼定位方法 - Google Patents

Abstract

本发明涉及模式识别与人工智能技术，特别是一种自动定位人脸图像中人眼中心位置的方法。本发明方法采用人脸检测算法通过摄像头采集人脸图像，对获取的初始人脸图像，根据人脸图像的大小，选择合适Gabor核函数对人脸图像进行卷积，再进行形态学上的膨胀处理，得到本发明提出的GaborEye模型；基于GaborEye模型，分割出人脸图像中两眼所在的区域；针对分割出来的结果进行合理性分析，如果不符合，重新进行分割；如果分割合理，则利用积分投影的方法精确定位人眼中心的准确位置。本发明方法可以满足多数人脸识别系统的需要，定位特征点后，可获取高可信度的归一化图像，提高识别算法的性能，使人脸识别实际应用能力得到提高。

Description

基于GaborEye模型的人眼定位方法

技术领域

本发明涉及模式识别与人工智能技术，特别是一种自动定位人脸图像中人眼中心位置的方法。

背景技术

人脸识别在国家公共安全、社会安全、信息安全和人机交互等领域的巨大应用前景吸引了大量研究人员对该问题进行了大量研究，并取得了较大的进展，尤其是20世纪90年代中期以来，人脸识别研究取得了长足的进步，甚至出现了不少商业化的人脸识别系统。一个实用的人脸识别系统通常至少要包括人脸检测与跟踪、面部关键特征点定位、人脸特征提取与比对三个关键环节，其中第一个、第三个环节已经被广泛研究。而面部关键特征点定位却显得相对薄弱，很多研究人员在做识别实验时都假定面部关键特征点是已经给定的，一些商业系统也往往在条件允许的情况下要求用户进行一定程度的交互(手工标定眼睛位置)。几乎所有的人脸识别算法都要依赖于眼睛中心的精确位置来进行人脸特征区域的归一化以便进行后续的识别，因此，精确定位眼睛是实用人脸识别系统的关键环节。同时，眼睛定位也是其他特征点定位的基础，所以研究精确定位眼睛的算法至关重要。

定位眼睛等面部关键特征点的方法主要包括：模板匹配、灰度积分投影法、Snake方法、可变形模板方法、Hough变换、弹性图匹配、区域增长搜索方法、主动形状模型(Active Shape Models，简写为ASMs)和主动外观模型(Active Appearance Models，AAMs)等。其中，灰度积分投影法是最早被提出但也是最常被采用的特征定位方法，利用的是灰度变化的分布特征。可变形模板方法则把眼睛特征定义为有两条抛物线(上下眼睑)和一个圆(虹膜)构成的几何图形，通过优化的方法来调整其参数以达到最佳的匹配，其主要缺点是优化速度较慢，而且固定的几何图形并不能很好的建模实际千差万别的眼睛形状。主动形状模型(ASMs)和主动外观模型(AAMs)是基于形状、面部纹理的统计模型来对人脸图像的结构或者光学属性(如皮肤反射率)进行建模然后进行参数优化的方法。尽管ASMs，AAMs等方法本身具有眼睛定位能力，但如果能够加入其他算法提供的眼睛位置作为初始值并作为一个强约束，还可以大大提高他们对人脸其他关键特征点的搜索效率和定位精度。

尽管已经有一些眼睛定位算法的方法，但多数仍然对光照、姿态、饰物等比较敏感，因此，研究在各种非理想成像条件下都具有鲁棒性能的面部关键特征点定位方法具有重要的现实意义，针对该问题，本发明提出了一种新的眼睛定位方法。

发明内容

本发明的目的在于准确定位人脸图像中人眼的位置，为人脸图像做归一化以及提供一个基准位置，同时也为别的特征点确定提供基准位置。

为达到上述目的，本发明的技术解决方案是提供一种基于GaborEye模型的人眼定位方法，其包括以下步骤：

第一步，通过人脸检测方法采集人脸图像，根据人脸检测模块获取到的人脸图像的大小，采用适当的Gabor核对人脸图像进行卷积，定义这个卷积后的人眼所在区域为GaborEye；

第二步，基于GaborEye模型进行眼部区域分割，对分割后的结果进行合理性判定，确定两眼各自所在的区域；

第三步，在确定的区域中采用积分投影的方法精确确定人眼的中心位置；

第四步，结束，完成对整个人脸图像中人眼的定位，将定位结果输出。

所述的人眼定位方法，其第一步中根据人脸检测模块获取的人脸图像的大小，采用适当的Gabor核进行卷积，是选择合适的Gabor核最有效的体现人眼的局部特征，其步骤如下：

a、采用水平方向的Gabor核；

b、根据人脸图像的高h选择合适的尺度s，其经验公式如下： $s=$ $\left[\frac{h}{64}\right]$ 其中s为所需要的Gabor核的尺度参数，h为检测模块给出的人脸区域图像的高度，[.]表示取整操作。

所述的人眼定位方法，其为了保证第一步中所得到的区域GaborEye将原人脸图像中的眼眉区域完全包括在内，采用了形态学上的膨胀处理方法将图像中的GaborEye区域扩大，而得到GaborEye模型。

所述的人眼定位方法，其第二步中，对经过特定Gabor核卷积后的图像GaborEye模型进行人眼区域分割，将有效分开左右眼，并分割出眼睛所在区域，其步骤如下：

a、基于人眼位于人脸图像上半部分[h/4，2h/3]的区域的前提，对此区域进行垂直方向积分投影；分析积分投影曲线，找到两个最大波峰，并以这两个波峰之间的波谷所对应的X坐标作为左右眼的分界线；

b、在左右眼区域选取适当域值对两个区域进行二值化操作，分割出眼睛所在区域，按如下方法选择域值：T_l＝a*GL_max，T_r＝a*GR_max，其中GL_max和GR_max是左右眼睛区域中的灰度最大值，其中a为经验权系数，取为0.85。

所述的人眼定位方法，其第二步中，对分割后的结果进行合理性判定：

判断是否满足人眼分布特征：对得到的两个眼睛区域进行判别，利用两区域中心构成的直线的斜率进行判定，斜率位于[-1，1]之间，认为分割结果合理，可进行下一步定位；如果位于此范围之外，则修改先验假设的人眼分布区域，返回第二步初始，重新进行分割；如果T_l或者T_r小于15，则认为此区域不存在眼睛，检测结果有误，则返回第一步重新检测。

所述的人眼定位方法，其第三步中，精确定位眼睛中心的方法，其步骤如下：

a、在经过分割后得到的矩形区域中进行垂直方向边缘提取，然后进行水平方向积分投影，以积分投影曲线中的最大值点对应的坐标作为眼睛的Y纵坐标；

b、根据获得的纵坐标，确定两眼区域中心的距离为d，取0.3d为眼睛的高度，以获得的纵坐标为中心，上下各取0.15d，在缩小的空间中对原图像作垂直方向的积分投影，取投影曲线的最小点对应的横坐标作为眼睛中心的X横坐标。

所述的人眼定位方法，其所述修改分割区域，是对分割错误的结果进行修正，缩小人眼位于人脸图像中的区域分布，其策略如下：假设人眼位于人脸图像上半部分[h/4，2h/3～h/10]的区域中，然后进行分割。

从基于GaborEye模型的人眼定位流程来看，此方法充分运用了人眼的水平方向上的频率分布特性，经过选择适当的Gabor核对人脸图像卷积之后，人眼区域得到凸现，从而可以有效地将人眼区域分割出来，本发明的人眼定位方法具有良好的定位性能，对于光照、姿态和眼镜等饰物的变化都有较强的适应性，可以满足多数人脸识别系统的需要，从而提高整个系统的识别性能。本发明方法的一般思想可以扩展到人脸的其他特征点定位，例如鼻尖，嘴角。通过本发明方法定位特征点后，可以获取高可信度的归一化图像，提高识别算法的性能，从而可以使人脸识别实际应用能力得到提高。

附图说明

图1 Gabor核函数实部可视化的结果图示；

图2 Gabor变换幅值可视化结果实例，(a)原图像，(b)经Gabor变换后图像；

图3 Gabor变换幅值可视化结果实例(输入图像有姿态变化)，(a)输入图像，(b)可视化的变换后幅值，(c)b叠加在a上的结果，(d)所采用的核函数；

图4自适应的GaborEye计算示例，(a)原图像，(b)眼睛位置被凸显的变换结果，(c)b叠加在a上的结果；

图5眼部区域积分投影；

图6眼部区域确定，(a)区域二值化，(b)外接矩形，(c)分割出的眼眉区域。

图7求取眼睛中心纵坐标，(a)Sobel算子，(b)眼眉区域垂直方向边缘提取，(c)水平方向积分投影曲线；

图8求取眼睛中心横坐标，(a)积分区域的选择，(b)平滑后的积分投影曲线。

具体实施方式

本发明设计的方法充分利用了眼眉区域的灰度变化特性，通过自适应的选择Gabor卷积核来使左右眼眉区域经Gabor变换后呈现出两个高亮区域(即灰度值明显较高的区域)，从而最大可能的凸显眼眉区域特征，本发明将该卷积结果定义为GaborEye，利用它们可以高效的分割出眼睛区域。在此基础上，通过对眼睛区域影调变化的分析，利用积分投影的思想来更加精确的定位眼睛的中心位置。GaborEye模型的定义：

本发明选择了计算视觉领域研究人员最常用的Gabor小波，其核函数描述为： ${\mathrm{\ψ}}_{(u,v)}\left(z\right)=\frac{|{\left|k_{u,v}\right||}^2}{{\mathrm{\σ}}^2}{e}^{\frac{{\left|\right|k_{u,v}\left|\right|}^2{\left|\right|z\left|\right|}^2}{2{\mathrm{\σ}}^2}}[e^{{\mathrm{ik}}_{u,v}z}-e^{\frac{{\mathrm{\σ}}^2}{2}}]$ 其中，v，u分别代表Gabor卷积核的尺度参数和方向参数；z＝(x，y)； $k_{u,v}=k_v{e}^{i{\mathrm{\φ}}_u},$ 其中k_v＝k_max/f^v，φ_u＝πu/8，k_max是最大频率；f是Gabor核在频域中的空间因子，在本发明的算法中取Gabor核大小为64×64，5个变换尺度，5个方向，并只选择了水平、左右22.5度、左右45度这5个方向。图1是这些Gabor核经过可视化处理的结果，从左到右、自上而下分别为5个方向、5个尺度上的核函数实数部分可视化的结果，其中，核函数的参数σ＝2π，k_max＝π/2。

这里给出一个人脸图像进行Gabor变换后的示例，如图2，以供参考。本发明将人脸图像中眼眉区域经过上述Gabor核卷积的幅值图像定义为GaborEye模型。图3给出了不同姿态下，采用相应方向的Gabor核进行变换后的效果，说明GaborEye模型的普遍意义。GaborEye的计算：

如前所述，计算GaborEye存在一个Gabor核函数的方向和尺度选择的问题。在人脸检测模块，一般都会给出关于检测到的人脸的有关属性信息，比如人脸大小、偏转角度等等。这些信息可以被利用来指导Gabor核函数的方向和尺度选择。在实际系统中，为了提高系统效率，本发明首先把检测到的人脸旋转到水平方向来，这样就避免了选择核函数方向的问题。对于尺度选择，主要与人脸大小有关，经过实验，本发明总结出一个经验公式选择合适的尺度来计算GaborEye： $s=\left[\frac{h}{64}\right]$ 其中s为所需要的Gabor核的尺度参数，h为检测模块给出的人脸区域图像的高度，[.]表示取整操作。之所以不采用人脸宽度是因为眼睛区域的栏栅特性主要是由竖直方向形成的，水平方向较小。另外，由于尺度只能够选择整数，因此采用了四舍五入取整的策略，让s取整数。需要注意的是对于不同的人脸检测方法，该公式需要进行调整。图4给出了一个经过尺度选择后对图像进行Gabor变换的结果。图4(a)人脸图像大小为184×224，根据公式所选择的结果，Gabor核函数的尺度为4。图4(b)是经过水平方向、尺度为4的核函数变换后的幅值部分可视化结果，图4(c)是将b叠加在a上的结果。不难看出变换后图像中眼眉区域形成了“凸显”的高亮区域，这就是本发明定义的GaborEye。基于GaborEye的眼眉区域分割：

基于GaborEye在人脸上的“凸显”特性，本发明采用下述过程分割眼眉区域：

1、形态学膨胀预处理。为了保证GaborEye将原人脸图像中的眼眉区域完全包括在内，采用了形态学上的膨胀处理方法将图像中的GaborEye区域扩大。

2、对膨胀后GaborEye进行区域积分投影。首先，根据人脸结构先验知识及其对人脸检测算法的结果分析，本发明认为眼睛一般位于距分割出的人脸图像上半部分[H/4，2H/3]的区域内(H为检测到的人脸区域高度)。在这个根据先验知识获得的区域中，对GaborEye图像进行垂直方向的灰度积分投影，可以得到一条投影曲线，典型的情况如图5所示。

3、分析上述积分投影曲线，分割左右眼睛区域。方法为计算该曲线的极值点：求得两个极大值位置以及位于二者之间的极小值位置G_min。根据G_min可以将左右眼睛分开，分别标记为区域E_l，E_T。

4、分别搜索GaborEye的E₁和E_r区域内的最大响应幅值，记为GL_max和GR_max，分别取  T₁＝a*GL_max和T_r＝a*GR_max作为E₁和E_r区域二值化的阈值对它们进行二值化，其中a为经验权系数，本发明的系统中取为0.85。典型的二值化结果如图6(a)所示。

5、分割眼眉区域。对上述二值化的E₁和E_r区域分别求取其最大连通区，分别计算它们的重心C₁和C_r，及其外界矩形R₁和R_r，示例见图6(b)，并设这两个矩形的高度分别为H₁和H_r。如前所述，这两个连通域的重心位置未必是眼睛中心，一般位于眉毛和上眼睑之间。同样，本发明的实验也表明R₁和R_r并不能完全包括眼睛区域，尤其是在眉毛比较浓重时。为了确保分割出的眼眉区域包含眼睛，本发明进一步采用了如下的策略扩展眼眉区域，将R₁和R_r分别向下扩展H₁和H_r大小，示例结果如图6(c)所示。本发明的实验表明，这样可以确保眼睛被分割出来。需要注意的是，考虑到实际眼睛中心与GaborEye的重心在水平方向基本没有偏移，所以，矩形的宽度不需要进行扩展。眼眉区域中精确定位眼睛中心位置。

在用上述方法分割出眼眉区域的基础上，采用传统的积分投影方法来精确定位眼睛的位置。该过程描述如下：

1、分析眼眉区域垂直方向Sobel边缘积分投影曲线(沿水平方向积分)求取眼睛中心纵坐标。

如前所述，分割出的眼眉区域包括了眼睛，但同时可能包括了眉毛。因此，必须首先在垂直方向上区分眼睛和可能存在的眉毛。很显然，由于瞳孔、眼白、眼睑甚至睫毛的影响，眼睛区域是一个各种方向边缘非常丰富的区域。而眉毛则基本是水平边缘，因此本发明选择在垂直方向上计算边缘。本发明采用了垂直Sobel算子，模板如图7(a)所示。对提取的垂直边缘图像进行水平方向积分投影，得到积分投影曲线并进行适当平滑，计算该曲线的极大值位置，即可以得到两只眼睛中心的的纵坐标y₁和y_r，以确定两眼区域中心的距离为d，如图7(b)和(c)所示。

2、分析眼睛区域垂直方向灰度积分投影曲线，求取眼睛中心横坐标。

确定了眼睛中心的纵坐标后，可以进一步采用对眼睛区域进行垂直方向灰度积分投影的方法求取眼睛中心的横坐标。这其中有两个关键问题需要注意：

(1)积分区域选择。本发明的策略是根据计算得到的眼睛纵坐标位

   置，根据统计的先验知识，以及前面求取的双眼之间的距离d，

   来决定投影区域。每个眼睛区域的宽度仍然采用眼眉分割结果

   区域的宽度，而高度则取为双眼距离的0.3倍(y₁和y_r上下各取

   0.15d)。

(2)积分曲线平滑。由于瞳孔的镜面反射以及眼影等原因，积分投

   影曲线可能出现小的锯齿状波动，为了通过微分计算极值点，

   需要对其进行平滑。本发明采用高斯滤波来完成该功能。其中，

   高斯滤波的方差经验性的取为双眼距离的0.1倍。

图8给出该过程的一个实例，其中(a)为投影区域的选择，(b)为经高斯平滑后的积分投影曲线。通过这样的策略，可以获得眼睛中心的横坐标x₁和x_r。

Claims (7)

1.一种基于GaborEye模型的人眼定位方法，其特征在于，包括以下步骤：

第一步，通过人脸检测方法采集人脸图像，根据人脸检测模块获取到的人脸图像的大小，采用适当的Gabor核对人脸图像进行卷积，定义这个卷积后的人眼所在区域为GaborEye；

第二步，基于GaborEye模型进行眼部区域分割，对分割后的结果进行合理性判定，确定两眼各自所在的区域；

第三步，在确定的区域中采用积分投影的方法精确确定人眼的中心位置；

第四步，结束，完成对整个人脸图像中人眼的定位，将定位结果输出。

2.如权力要求1所述的人眼定位方法，其特征在于，第一步中根据人脸检测模块获取的人脸图像的大小，采用适当的Gabor核进行卷积，是选择合适的Gabor核最有效的体现人眼的局部特征，其步骤如下：

a、采用水平方向的Gabor核；

b、根据人脸图像的高h选择合适的尺度s，其经验公式如下： $s=\left[\frac{h}{64}\right]$ 其中s为所需要的Gabor核的尺度参数，h为检测模块给出的人脸区域图像的高度，[.]表示取整操作。

3、如权力要求1所述的人眼定位方法，其特征在于，为了保证第一步中所得到的区域GaborEye将原人脸图像中的眼眉区域完全包括在内，采用了形态学上的膨胀处理方法将图像中的GaborEye区域扩大，而得到GaborEye模型。

4、如权力要求1所述的人眼定位方法，其特征在于，第二步中，对经过特定Gabor核卷积后的图像GaborEye模型进行人眼区域分割，将有效分开左右眼，并分割出眼睛所在区域，其步骤如下：

a、基于人眼位于人脸图像上半部分[h/4，2h/3]的区域的前提，对此区域进行垂直方向积分投影；分析积分投影曲线，找到两个最大波峰，并以这两个波峰之间的波谷所对应的X坐标作为左右眼的分界线；

b、在左右眼区域选取适当域值对两个区域进行二值化操作，分割出眼睛所在区域，按如下方法选择域值：T_l＝a*GL_max，T_r＝a*GR_max，其中GL_max和GR_max是左右眼睛区域中的灰度最大值，其中a为经验权系数，取为0.85。

5、如权力要求1所述的人眼定位方法，其特征在于，第二步中，对分割后的结果进行合理性判定：

判断是否满足人眼分布特征：对得到的两个眼睛区域进行判别，利用两区域中心构成的直线的斜率进行判定，斜率位于[-1，1]之间，认为分割结果合理，可进行下一步定位；如果位于此范围之外，则修改先验假设的人眼分布区域，返回第二步初始，重新进行分割；如果T_l或者T_r小于15，则认为此区域不存在眼睛，检测结果有误，则返回第一步重新检测。

6.如权力要求1所述的人眼定位方法，其特征在于，第三步中，精确定位眼睛中心的方法，其步骤如下：

a、在经过分割后得到的矩形区域中进行垂直方向边缘提取，然后进行水平方向积分投影，以积分投影曲线中的最大值点对应的坐标作为眼睛的Y纵坐标；

b、根据获得的纵坐标，确定两眼区域中心的距离为d，取0.3d为眼睛的高度，以获得的纵坐标为中心，上下各取0.15d，在缩小的空间中对原图像作垂直方向的积分投影，取投影曲线的最小点对应的横坐标作为眼睛中心的X横坐标。

7、如权力要求5所述的人眼定位方法，其特征在于，所述修改分割区域，是对分割错误的结果进行修正，缩小人眼位于人脸图像中的区域分布，其策略如下：假设人眼位于人脸图像上半部分[h/4，2h/3～h/10]的区域中，然后进行分割。

Images