CN101968850B - 一种模拟生物视觉机制的人脸特征提取方法 - Google Patents

Abstract

本发明是一种模拟生物视觉机制的人脸特征提取方法，属于图像处理、模式识别领域。本发明步骤为：模拟初级视皮层简单细胞的学习机制，训练一组描述简单细胞感受野的滤波器，从该组滤波器中选出少量具有特定频率选择性的滤波器提取图像的光照不变特征；模拟初级视皮层复杂细胞的功能，在光照不变性的基础上增加特征的表情和平移不变性；通过视觉注意机制对不变特征的显著区域进行增强；将增强的不变特征转换为特征向量，用于人脸识别。实验表明，本方法能有效减小光照、表情和平移变化对人脸识别效果的影响，且具有实时处理能力。

Description

一种模拟生物视觉机制的人脸特征提取方法

技术领域

本发明属于图像处理、模式识别领域，特别涉及一种模拟生物视觉机制的用于人脸识别的图像特征提取方法。

背景技术

由于自动人脸识别在商业、军事和安防等领域有着广阔的应用前景，近年来人脸识别技术受到了广泛的关注并取得了长足的发展。目前，在受控制条件下人脸识别已取得了较好的效果。然而，在实际应用中，光照、表情等外部因素严重影响人脸识别的性能，当这些因素变化时，人脸识别的效果会急剧下降。为了对不同变化条件下的人脸进行有效的描述、保证人脸识别的效果，当前主要有两种手段：一种是对每个人采集大量的具有不同变化的人脸样本构成训练集，用此训练集对分类器进行训练；另一种是提取对各种变化不敏感的不变特征。对于一个实际的人脸识别系统，预先获取具有各种变化的人脸样本通常比较困难，因此，提取人脸不变特征是一种更为可行的提高人脸识别性能的方法。

提取人脸不变特征的方法主要可分为基于三维人脸模型的方法和基于二维人脸图像的方法。基于三维模型的方法通过人脸的三维模型描述人脸的几何结构，如“K.W.Bowyer，K.Chang，P.Flynn，A Survey of Approaches and Challenges in 3D and multi-modal 3D+2D Face Recognition，Computer Vision and Image Understanding 101(1)(2006)1-15.”。这种几何描述对光照和姿态变化具有较好的鲁棒性。这类方法存在的问题是对人脸进行三维建模非常困难。目前获取人脸三维模型的途径主要有两种：一是对面部进行三维扫描，直接获得人脸的三维数据，但这种方法需要专用的三维扫描设备，成本过高；另一种方法是通过同一人脸的多幅不同视角的二维图像构建人脸的三维模型，这种方法存在的问题是三维建模的计算量非常大，无法满足实时性要求，同时在实际应用中往往无法获得人脸的不同视角的图像。在实际应用中，普遍采用的还是基于二维图像的不变特征提取方法。基于二维图像的人脸不变特征提取方法，使用最广泛的是基于Gabor小波变换的方法，如“C.Liu，H.Wechsler，Gabor Feature Based Classification Using the Enhanced Fisher Linear DiscriminantModel for Face Recognition，IEEE Transactions on PAMI 11(4)(2002)467-476.”。这类方法的优点是，提取的特征对光照和表情变化具有较好的鲁棒性；缺点是，特征的维度非常大，计算复杂度高，难以达到实时处理。另一方面，高等动物即使在复杂的自然场景中也能快速准确的识别目标，高等动物的视觉系统面对目标变化时表现出很强的稳定性。目前已有研究借鉴哺乳动物视觉系统的生理机制，提出了用于目标识别的图像不变特征提取方法，如“T.Serre，L.Wolf，S.Bileschi，M.Riesenhuber，T.Poggio，Robust ObjectRecognition with Cortex-Like Mechanisms，IEEE Transactions on PAMI 29(3)(2007)411-426.”。因此，模拟哺乳动物视觉处理机制提取人脸图像的不变特征，是一个提高人脸识别性能的有效途径。

发明内容

本发明的目的是提出一种模拟哺乳动物视觉处理机制的人脸不变特征提取方法，用于人脸识别。该方法能有效消除因光照、表情和图像平移造成的人脸外观变化，提取人脸识别所需的特征，并且计算量较小，能满足实时处理要求。

为实现这一目的，本发明的技术方案从哺乳动物视觉系统的生理结构和功能出发，提出一种人脸不变特征提取方法，包括步骤如下：

(1)模拟初级视皮层简单细胞的学习机制，从训练图像中学习得到一组描述简单细胞感受野的滤波器，把这组滤波器作为候选的特征提取滤波器；

(2)将步骤(1)所得的候选的特征提取滤波器依频率特性分为1组低通滤波器和M组带通滤波器，从每一组带通滤波器中选择一个滤波器作为特征提取的滤波器；

(3)各个特征提取滤波器分别与归一化后的待处理人脸图像作相关运算，得到M幅具有光照不变性的边缘特征图；

(4)模拟初级视皮层复杂细胞的非线性特性，将M幅边缘特征图分别划分图像窗，取每个窗内的元素的绝对值的最大值作为该窗的特征，得到M幅具有光照、表情和平移不变性的特征图；

(5)直接把步骤(4)得到的每幅特征图都归一化为零均值和单位方差并转换为列向量，得到M个列向量，将该M个列向量拼接为一个列向量作为人脸图像的不变特征向量；或者

(5*)模拟视觉系统的注意机制，由步骤(3)得到的边缘特征图计算人脸图像各区域的显著度，根据显著度对步骤(4)中的特征图的不同区域赋予不同的权值，增强显著高的区域的特征，得到M幅增强的不变特征图，把该M幅增强的不变特征图都归一化为零均值和单位方差，并转换为列向量，将此M个列向量拼接为一个列向量，作为描述本人脸图像的不变特征向量；

(6)对每一幅人脸图像都进行以上(1)～(5)或(5*)步的处理，得到每一幅图像的不变特征向量，然后用鉴别共同矢量方法(Discriminative Common Vectors)对不变特征向量降维，最后用欧氏距离最近邻分类器对降维后的特征进行分类识别。

与现有技术相比，本发明的优点是：

(1)模拟初级视皮层简单细胞的学习机制，从训练图像中学习获得一组描述简单细胞感受野的滤波器。该组滤波器反映了图像的统计特性，对图像具有很好的描述能力，仅从中选取少量的几个就能提取用于识别分类的有效特征，相比现有的基于Gabor小波的方法，无需对图像进行多尺度分析，计算量小，能满足实时处理要求。

(2)模拟视皮层复杂细胞的功能，提取局部区域内的最大值作为该区域的特征，使获得的特征具有平移不变性，从而降低了对人脸图像对齐的要求，降低了图像预处理的难度，减少了预处理的计算量。

(3)模拟视觉注意机制找出人脸图像的显著区域，对显著区域的特征进行增强，有利于进一步提高识别率。

附图说明

图1：本发明方法的步骤框图

图2a：候选的特征提取滤波器

图2b：从候选的特征提取滤波器中选出的特征提取滤波器

图3：频率空间划分示意图

具体实施方式

下面结合附图对本发明作进一步的详细说明。

实施例一

图1给出了本实施方式的处理流程，其包括以下的6个步骤：

(1)采用稀疏编码模型模拟初级视皮层简单细胞的学习机制，获得一组与图像的统计特性一致的稀疏编码基函数，作为候选的特征提取滤波器。稀疏编码模型将简单细胞的学习机制描述为一个最优化问题：

$\min :E(a,\mathrm{\φ})=\underset{x,y}{\mathrm{\Σ}}{[I(x,y)-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_i{\mathrm{\φ}}_i(x,y)]}^2+\mathrm{\λ}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\log (1+a_i^2)$

其中I(x，y)为一图像块，其大小与简单细胞感受野的大小相同，在本例中I(x，y)取为9×9的图像块；φ_i(x，y)为稀疏编码的基函数，它描述了简单细胞感受野的形状，其大小与I(x，y)相同；a_i为稀疏编码系数；λ为调节稀疏性和重构误差权值的参数，在本例中取λ＝0.4；N为基函数的个数，它确定了模型中简单细胞的数量，并且模型要求N不小于图像块的像素数，因此本例中取N＝81。求解模型时，从人脸图像训练集中随机选取K个大小与φ_i(x，y)相同的图像块构成稀疏编码模型的训练图像集，在本例中取K＝5000；对于每个图像块，先固定φ_i(x，y)，使用共轭梯度法求解最优的a_i，然后固定a_i，使用定步长梯度法求解最优的φ_i(x，y)。通过求解稀疏编码模型，得到的稀疏编码基函数φ_i(x，y)具有空间局部性、空间朝向性及频率带通性，与简单细胞感受野的性质一致。图2a给出了训练得到的稀疏编码基函数，它们将作为候选的特征提取滤波器。

(2)对步骤(1)得到的稀疏编码基函数作二维快速傅立叶变换，然后计算每个基函数的幅度谱。由于基函数具有频率带通性，根据基函数的中心频率，即幅度谱的最大值在频率空间的分布，将基函数分为1组低通滤波器和M组带通滤波器。如图3所示，对2维频率空间进行划分，把频率空间的原点作为一个区域，原点以外的部分按角度等分为M个区域，根据每个基函数的中心频率落入这M+1个区域中的某一个，把它们分为M+1组。其中，中心频率在频率空间原点的一组为低通滤波器，其它M组为具有不同朝向选择性的带通滤波器。从每组带通滤波器中选取中心频率放大率最大的一个基函数作为该组的代表，用来作为特征提取的滤波器，把这组特征提取滤波器记为F_i(x，y)，i＝1，2，L，M。在本例中取M＝4，即是把频率空间分为5个区域：1——原点，2——[0°，45°)之间的区域，3——[45°，90°)之间的区域，4——[90°，135°)之间的区域，5——[135°，180°)之间的区域。从第2～5组带通滤波器中，分别选取中心频率放大率最大的一个作为特征提取的滤波器F_i(x，y)。图2b所示是选出的4个作为特征提取滤波器的基函数。

(3)用步骤(2)中得到的特征提取滤波器F_i(x，y)，提取图像的边缘特征作为图像的光照不变描述。将人脸图像以1个像素为步长，划分为与F_i(x，y)大小相同的图像窗，把每个图像窗都归一化为单位模长，用滤波器F_i(x，y)提取其特征：

$S=\left(\underset{x,y}{\mathrm{\Σ}}B(x,y)F_i(x,y)\right)/{\left(\underset{x,y}{\mathrm{\Σ}}B{(x,y)}^2\right)}^{1/2}$

其中B(x，y)为某一图像窗。一幅图像经M个滤波器分别处理后得到M幅特征图，记为S_i(x，y)，i＝1，2，L，M。

(4)模拟视皮层复杂细胞的非线性特性，在光照不变性的基础上进一步增加特征的表情和平移不变性。对每幅光照不变特征图S_i(x，y)，以L为步长将S_i(x，y)划分为2L×2L的图像窗。对于每个图像窗，取窗内元素的绝对值的最大值作为该窗的特征。通过本步的处理得到M幅具有光照、表情和平移不变性的特征图，记为C_i(x，y)，i＝1，2，L，M。本步处理中图像窗的大小要求与步骤(3)中的图像窗的大小基本相同，因此在本例中令L＝5。

(5)模拟视觉注意机制，对人脸图像中各区域的显著度进行评估，增强显著度高的区域的特征。对步骤(3)得到的每幅特征图S_i(x，y)分别进行直方图估计，根据直方图得到S_i(x，y)中各元素值的概率P_i(x，y)，i＝1，2，L，M。然后由P_i(x，y)计算图像的信息量：

$E(x,y)=-\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\log \left(P_i(x,y)\right)$

把E(x，y)作为图像的显著性度量。根据显著度计算C_i(x，y)的权值图：采用与步骤(4)中相同的图像窗划分方法，将E(x，y)划分为图像窗，计算每个窗的均值得到权值图W(x，y)。采用对数函数把权值图的取值范围归一化为0.5到1之间，得到归一化的权值图：

$W^{*}(x,y)\text{=log}\left(\frac{W(x,y)\·(\exp \left(0.5\right)-\exp \left(1\right))+\exp \left(1\right)\·W_{\min }-\exp \left(0.5\right)\·W_{\max }}{W_{\min }-W_{\max }}\right)$

其中W_min和W_max分别为W(x，y)的最大值和最小值。对步骤(4)中的C_i(x，y)的各区域赋予不同的权值，得到显著区域被增强的特征图

${\stackrel{\‾}{C}}_i(x,y)=W^{*}(x,y)\⊗C_i(x,y),i=\mathrm{1,2},L,M$

其中

表示两幅图的对应点相乘。把每幅特征图

都归一化为零均值和单位方差，并分别将每个归一化后的

按列拼接为一个列向量，然后把M个列向量拼接为一个大的列向量，作为该幅人脸图像的不变特征向量。

(6)对每一幅人脸图像都进行以上(1)～(5)步的处理，得到每一幅图像的不变特征向量，然后用鉴别共同矢量方法对不变特征向量降维，最后用欧氏距离最近邻分类器对降维后的特征进行分类识别。

实施例二

本例与实施例一基本相同，差别在于略去了第(5)步中通过注意机制对特征进行增强的处理，从而提高特征提取的速度。在本例的实施步骤中，在第(4)步得到具有光照、表情和平移不变性的特征图C_i(x，y)，i＝1，2，L，M后，直接把每个C_i(x，y)都归一化为零均值和单位方差，并分别将每个归一化后的C_i(x，y)按列拼接为一个列向量，然后把M个列向量拼接为一个大的列向量作为人脸图像的不变特征向量，之后的处理按例一中的第(6)步实施。

本发明方法的计算机仿真分析：

用Matlab软件在一台P4 2.66GHz CPU、1GB内存的计算机上对实施例一、二的方法，Gabor小波方法，以及直接对灰度图像用鉴别共同矢量降维的方法进行仿真分析。

从人脸识别的标准测试图像库FERET库中选取229个人的1131幅正面图像用于仿真。图像被剪切并缩放为128×128，每个人有4～8幅图像，图像中同时包含了光照、表情和人脸位置的变化。每个人随机选择2幅图像作为训练图像，其余图像作为测试图像。进行10次测试的平均识别率，和识别一幅人脸图像的平均耗时如下表所示：

不同识别方法在FERET库上的识别率和识别时间

	灰度图像	Gabor小波	实施例一	实施例二
					识别率(％)	72.55	82.41	86.72	85.04
识别时间(秒)	0.056	1.4	0.25	0.12

从表中可见，四种方法中实施例一得到的识别率最高，相对于不提取不变特征直接对灰度图像进行降维识别的方法，识别率提高了14.17％，相对于用Gabor小波提取不变特征然后降维识别的方法，识别率提高了4.31％；从识别一幅人脸所需的时间来看，实施例一所需的时间为0.25秒，虽然高于直接对灰度图像进行处理的0.056秒，但仍能满足实时识别的要求，而且大大低于Gabor小波方法的耗时。相对于实施例一，实施例二的识别率下降了1.68％，但识别时间缩短到了0.12秒，以略微损失识别率的代价进一步提高了实时性；而相对于基于灰度图像和Gabor小波的方法，实施例二的识别率分别提高了12.49％和2.63％。

显然，本发明所处理的图像的大小并不限于128×128，也不限于图像必须是正方形，但考虑到图像中包含的细节信息，图像不宜太小，考虑到处理速度，图像也不宜太大，因此图像大小以64×64～128×128的矩形为宜；特征提取滤波器的大小也不限于9×9，但兼顾训练滤波器的耗时和识别效果，滤波器的大小取7×7、9×9、13×13为宜；在选择滤波器时，滤波器的数量也不限于4个，可以按角度对频率空间作更细的划分，选取更多的滤波器，兼顾处理速度和识别效果，滤波器数量取4～8个为宜。

Claims (5)

1.一种模拟生物视觉机制的人脸特征提取方法，其特征在于包括以下步骤：

（1）模拟初级视皮层简单细胞的学习机制，从训练图像中学习得到一组描述简单细胞感受野的滤波器，把这组滤波器作为候选的特征提取滤波器；

（2）将步骤（1）所得的候选的特征提取滤波器依频率特性分为1组低通滤波器和M组带通滤波器，从每一组带通滤波器中选择一个滤波器作为特征提取的滤波器，得到M个特征提取滤波器；

（3）M个特征提取滤波器分别与归一化后的待处理人脸图像作相关运算，得到M幅具有光照不变性的边缘特征图S_i(x,y)，i=1,2,…,M；

（4）模拟初级视皮层复杂细胞的非线性特性，将所述M幅边缘特征图分别划分图像窗，取每个窗内的元素的绝对值的最大值作为该窗的特征，得到M幅具有光照、表情和平移不变性的特征图C_i(x,y)，i=1,2,…,M；

（5）直接把每个C_i(x,y)归一化为零均值和单位方差，并将每个归一化后的C_i(x,y)转换为列向量，得到M个列向量，将该M个列向量拼接为一个列向量作为人脸图像的不变特征向量；或者

（5*）模拟视觉系统的注意机制，由步骤（3）得到的边缘特征图计算人脸图像各区域的显著度，根据显著度对步骤（4）中的特征图的不同区域赋予不同的权值，增强显著度高的区域的特征，得到M幅增强的不变特征图，把该M幅增强的不变特征图都归一化为零均值和单位方差，并转换为列向量，将此M个列向量拼接为一个列向量，作为描述本人脸图像的不变特征向量；

（6）对每一幅人脸图像都进行以上（1）～（5）或（5*）步的处理，得到每一幅图像的不变特征向量，然后用鉴别共同矢量方法对不变特征向量降维，最后用欧氏距离最近邻分类器对降维后的特征进行分类识别；

所述步骤（1）中用稀疏编码模型模拟初级视皮层简单细胞的学习机制，用训练稀疏编码模型得到的稀疏编码基向量模拟简单细胞的感受野，并把稀疏编码基向量作为候选的特征提取滤波器；所述稀疏编码模型将简单细胞的学习机制描述为一个最优化问题：

$\min :E(a,\mathrm{\φ})=\underset{x,y}{\mathrm{\Σ}}{[I(x,y)-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_i{\mathrm{\φ}}_i(x,y)]}^2+\mathrm{\λ}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\log (1+a_i^2)$

其中I(x,y)为一图像块，其大小与简单细胞感受野的大小相同；φ_i(x,y)为稀疏编码的基函数，它描述了简单细胞感受野的形状，其大小与I(x,y)相同；a_i为稀疏编码系数；λ为调节稀疏性和重构误差权值的参数；N为基函数的个数，它确定了模型中简单细胞的数量，并且模型要求N不小于图像块的像素数；求解模型时，从人脸图像训练集中随机选取K个大小与φ_i(x,y)相同的图像块构成稀疏编码模型的训练图像集；对于每个图像块，先固定φ_i(x,y)，使用共轭梯度法求解最优的a_i，然后固定a_i，使用定步长梯度法求解最优的φ_i(x,y)。

2.根据权利要求1所述的模拟生物视觉机制的人脸特征提取方法，其特征在于，在所述步骤（2）中通过快速傅立叶变换计算每个候选的特征提取滤波器的幅度谱，根据幅度谱的最大值在频率空间中所处的位置将所有的候选滤波器分为1组低通滤波器和M组具有不同朝向选择性的带通滤波器，从每组带通滤波器中选出幅度谱的最大值最大的一个滤波器作为该组的代表，用于特征提取。

3.根据权利要求1所述的模拟生物视觉机制的人脸特征提取方法，其特征在于，所述步骤（3）的过程为：

用步骤（2）中得到的特征提取滤波器，提取图像的边缘特征作为图像的光照不变描述，将人脸图像以1个像素为步长，划分为与F_i(x,y)大小相同的图像窗，把每个图像窗都归一化为单位模长，用滤波器F_i(x,y)提取其特征：

$S=\left(\underset{x,y}{\mathrm{\Σ}}B(x,y)F_i(x,y)\right)/{\left(\underset{x,y}{\mathrm{\Σ}}B{(x,y)}^2\right)}^{1/2}$

其中B(x,y)为某一图像窗，一幅图像经M个滤波器分别处理后得到M幅特征图，记为S_i(x,y)，i=1,2,…,M。

4.根据权利要求1所述的模拟生物视觉机制的人脸特征提取方法，其特征在于，所述步骤（4）的处理方法为：

模拟视皮层复杂细胞的非线性特性，在光照不变性的基础上进一步增加特征的表情和平移不变性，对每幅光照不变特征图S_i(x,y)，以L为步长将S_i(x,y)划分为2L×2L的图像窗，对于每个图像窗，取窗内元素的绝对值的最大值作为该窗的特征，得到M幅具有光照、表情和平移不变性的特征图，记为C_i(x,y)，i=1,2,…,M。

5.根据权利要求1所述的模拟生物视觉机制的人脸特征提取方法，其特征在于，所述步骤（5*）中利用步骤（3）得到的光照不变特征图S_i(x,y)计算人脸图像不同区域的显著度的方法如下：

对S_i(x,y)，i=1,2,…,M分别进行直方图估计，根据直方图得到S_i(x,y)中各元素值的概率P_i(x,y),i=1,2,…,M，由P_i(x,y)计算图像的信息量

$E(x,y)=-\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\log \left(P_i(x,y)\right)$

作为图像的显著性度量；

根据图像不同区域的显著度计算步骤（4）中的不变特征C_i(x,y)的权值图，对显著度高的区域赋予较大的权值，以达到对C_i(x,y)进行增强：

采用与步骤（4）中相同的图像窗划分方法，将E(x,y)分为图像窗，计算每个窗的均值得到权值图W(x,y)，采用对数函数把权值图的取值范围归一化为0.5到1之间，得到归一化的权值图

$W^{*}(x,y)=\log \left(\frac{W(x,y)\·(\exp \left(0.5\right)-\exp \left(1\right))+\exp \left(1\right)\·W_{\min }-\exp \left(0.5\right)\·W_{\max }}{W_{\min }-W_{\max }}\right)$

其中W_min和W_max分别表示W(x,y)的最大值和最小值，将W^*(x,y)与C_i(x,y)的对应点相乘得到显著区域被增强的特征图

${\stackrel{\‾}{C}}_i(x,y)=W^{*}(x,y)\⊗C_i(x,y),i=\mathrm{1,2},\·\·\·,M$

其中表示两幅图的对应点相乘。

Images