CN100345152C

CN100345152C - 一种基于模板匹配的人脸识别方法

Info

Publication number: CN100345152C
Application number: CNB2004100986197A
Authority: CN
Inventors: 高文; 张文超; 山世光; 张洪明; 陈熙霖
Original assignee: Institute of Computing Technology of CAS
Current assignee: Institute of Computing Technology of CAS
Priority date: 2004-12-14
Filing date: 2004-12-14
Publication date: 2007-10-24
Anticipated expiration: 2024-12-14
Also published as: CN1790374A

Abstract

本发明公开了一种基于模板匹配的人脸识别方法，该方法包括：将人脸图像变换到其变换域；对人脸图像做LBP运算；从LBP运算的结果提取直方图；用直方图匹配实现人脸识别。本发明方法的优点在于，基于直方图之间的匹配，计算速度快；可降低对姿态、光照、表情和环境变化的敏感程度。

Description

一种基于模板匹配的人脸识别方法

技术领域

本发明涉及模式识别领域中的人脸识别方法，特别涉及一种基于模板匹配的人脸识别方法。

背景技术

作为图像分析和理解领域中最成功的应用之一，人脸识别在商业应用和研究领域受到了广泛的重视。现有的人脸识别方法包括基于模板匹配的人脸识别方法和基于统计分析的人脸识别方法。

基于模板匹配的人脸识别方法中，通常是将人脸图像用统一的模板进行编码，然后通过编码之间的匹配来实现人脸识别。例如，在基于模板匹配的人脸识别方法中有一种基于局部变化分布模式的人脸识别方法，在该方法中对包含人脸图像做LBP运算，得到做LBP运算后的人脸图像，再提取做LBP运算后的人脸图像的直方图，最后通过不同人脸图像的直方图之间的匹配来进行人脸识别。对上述基于局部变化分布模式的人脸识别方法的一种改进是在做LBP运算之前对包含人脸图像进行分块，在分块后形成的各个区域内做LBP运算并提取其直方图，并将所有直方图串接为一高维直方图，最后利用直方图匹配技术进行人脸识别。这种改进通过可以强调人脸图像中不同区域的局部变化分布模式来提高人脸识别的精度(参考文献[1]：T.，Ahonen，A.，Hadid，and M.Pietikinen.：Face Recognition with Local BinaryPatterns.ECCV 2004 Proceeding，Lecture Notes in Computer Science 3021，Srpinger(2004)469-481)。

基于统计分析的人脸识别方法中，一种实现方式是先将人脸图像变换到变换域，然后利用统计分析的方法对变换域内的结果提取对识别有利的特征，最后进行特征比对，实现人脸识别，这种方法也可以称之为基于变换域的人脸识别方法。将人脸图像变换到变换域的变换方法有多种，包括：Gabor变换、Gaussian变换、DCT变换、FFT变换和HARR变换等(参考文献[2]：C.J.Liu，H.Wechsler，“Gabor featurebased classification using the enhanced fisher linear discriminant modal forface recognition image processing”，IEEE Transactions on Image Process，2002，11(4)，pp.467-476；文献[3]：M.Z.Hafed，M.D.Levine，“Face RecognitionUsing the Discrete Cosine Transform”，International Journal of ComputerVision，2001，pp.167-188；文献[4]：S.Ravela，A.R.Hanson，“On Multi-scaledifferential features for face recognition”，Vision Interface，2001；文献[5]：J.H.Lai，P.C.Yuen，G.C.Feng，“Face recognition using HolisticFourier Invariant Features”，Pattern Recognition，2001，pp.95-109；参考文献[6]：Michael J.Jones and Paul Viola，“Face Recognition Using BoostedLocal Features”，The IEEE International Conference on Computer Vision 2003)。这种基于变换域的人脸识别方法可以降低对光照、表情、姿态和环境变化的敏感度，有利于提高人脸识别的准确度。

发明内容

本发明的目的是克服现有基于模板匹配的人脸识别方法识别精度不高的缺陷，提供一种对姿态、光照、表情和环境的变化不敏感，对各种变化鲁棒的基于模板匹配的人脸识别方法。

为了实现上述目的，本发明提供了一种基于模板匹配的人脸识别方法，该方法包括：

对人脸图像做LBP运算；

从LBP运算的结果得到直方图；

利用直方图匹配实现人脸识别；

本发明方法还包括，在对人脸图像做LBP运算之前将人脸图像变换到其变换域，通过变换操作得到人脸图像的频域特征；所述的变换操作为Gabor变换或Gaussian变换或DCT变换或FFT变换或HARR变换。

上述技术方案中，还包括对人脸图像进行分块，用于将所述人脸图像分为多个子块；其中，所述分块操作是在将人脸图像变换到变换域之后、对人脸图像做LBP运算之前进行。

上述技术方案中，还包括对人脸图像进行分块，用于将所述人脸图像分为多个子块；其中，所述分块操作是在将人脸图像变换到变换域之前进行。

上述技术方案中，在对人脸图像进行分块时，所述多个子块间互不交叠。

上述技术方案中，在对人脸图像进行分块时，所述多个子块中有至少两个子块间有交叠。

本发明方法的优点在于：

1、基于直方图之间的匹配，计算速度快。

2、识别精度高。

3、可降低对姿态、光照、表情和环境变化的敏感程度。

附图说明

图1为人脸图像及其在Gabor变换中所得到的示意图；

图2为基本LBP运算子变换示意图；

图3是变换域局部邻域变化模式提取示例；

图4是Gabor变换中局部变化分布模式的人脸识别过程示意图；

图5是本发明方法在一个实施例中的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细描述。

图5示出了本发明的基于模板匹配的人脸识别方法的一个具体实施流程。

如图5所示，在步骤10中，对特征定位后的人脸图像做归一化处理。在本实施例中可以依据眼睛的位置把图像截取为指定的大小。

在步骤20中，将人脸图像变换到变换域中，增强图像的形状和纹理信息，降低人脸图像对光照、表情及姿态变化的敏感度。将人脸图像变换到变换域中的方法有多种，诸如Gabor变换、Gaussian变换、DCT变换、FFT变换及HARR变换等。在本实施例中以Gabor变换为例，描述将人脸图像变换到变换域的具体实施过程。

Gabor变换是将Gabor小波和图像做卷积运算。Gabor小波可由公式(1)表示：

其中，x，y表示空域中像素的位置，

是径向中心频率，θ是Gabor小波的方向，σ是高斯(Gaussian)函数沿着x轴和y轴的标准差。令f(x，y)表示人脸图像的灰度分布，f(x，y)可以通过对图像做灰度化处理得到。图像f(x，y)和Gabor小波

的卷积公式为：

这里*表示卷积运算。在Gabor变换过程中，径向中心频率 Gabor小波的方向θ可以有不同的值，因此人脸图像在Gabor变换后可以得到不同的结果。图1示出了一个通过Gabor变换将一幅人脸图像1变换到Gabor特征图谱2的示例，该Gabor特征图谱2即是人脸图像1在其Gabor变换域内的表示。在图1中，Gabor特征图谱2包括多个子图像3，每一个子图像3表示特定的中心频率和方向θ对应的Gabor变换，其中Gabor特征图谱2中不同行的子图像表示不同的中心频率

而不同列的子图像表示不同的方向θ。具体地，图1中的Gabor特征图谱2包括5个不同的

值、8个不同的θ值。这样，利用多尺度多方向所得到的多个值可以得到比单一值更多的信息，可以在多种尺度下对图像分析。

尽管在本实施中以Gabor变换为示例说明将人脸图像变换到变换域中，但是本领域的技术人员很容易利用Gaussian变换、DCT变换、FFT变换及HARR变换等变换将人脸图像变换到相应的变换域中。

在步骤30中，对变换域内的结果做LBP运算，实现局部邻域变化模式的提取。LBP算子(Local Binary Pattern)的运算方法是：将变换域内的图像上每个像素f_c作为中间像素进行8邻域运算，使用中间像素f_c的灰度值作为阈值，对8邻域的像素f_p(p＝0～7)进行二值化运算，在8邻域中各得到一个二进制数，二进制数的判定如公式(3)所示。然后根据公式(4)得到LBP运算的结果。

S (f_{p} - f_{c}) = \{\begin{matrix} 1, & f_{p} &GreaterEqual; f_{c} \\ 0, & f_{p} < f_{c} \end{matrix} . . . (3)

LBP = Σ_{p = 0}^{7} S (f_{p} - f_{c}) 2^{p} . . . (4)

图2是LBP运算的一个示例，对一个灰度值为175的像素点，它从左上方起顺时针排列的8邻域中的像素点的灰度值分别为172、180、182、170、176、174、171、169，以中间像素的灰度值175作为阈值，根据公式(3)在8邻域中各得到一个二进制数，从左上方起这些顺时针排列的二进制数分别为0、1、1、0、1、0、0、0。由公式(4)得到LBP运算的数值，这些数用二进制表示是01101000，这些数用十进制表示是104，这就是LBP运算的结果。图3示出了图1中的Gabor特征图谱2经过LBP运算以后的结果，图3中包括多个子图像4，每一个子图像4对应图1中的一个子图像3，相应地，不同的子图像4代表不同中心频率

和方向θ对应的Gabor变换。从图3中可见，人脸图像经过LBP运算以后有利于突出人脸的特征。

在步骤40中，从LBP运算的结果得到直方图，直方图表示图像中不伺灰度值的频度。例如，在图3中每一个子图像4都可以得到一个对应的直方图，用

表示。

在步骤50中，将所有不同中心频率和方向θ对应的直方图

串接成一个高维直方图来编码人脸图像。

在步骤60中，对于待识别的多个人脸图像，可用前述步骤分别得到其高维直方图，采用直方图匹配的方法来进行人脸识别，或者说计算高维直方图之间的相似度，通过直方图相似度来衡量人脸图像的相似度，以实现人脸识别。

上述技术方案实现了对人脸的识别。为了提高人脸识别的效果，在人脸识别过程中还可以采用分块的方法。使用分块的方法可以在使用直方图时增加直方图表示的空间结构信息。

分块就是将图像分成多个区域或者说多个子块。在本发明中，分块操作可以在不同的阶段实施。分块操作可以在人脸图像变换到变换域之后、对图像做LBP运算之前进行，即在前述的步骤20和步骤30之间进行；也可以在人脸图像变换到变换域之前进行，即在前述的步骤10和步骤20之间进行。

当在将人脸图像变换到变换域之前进行分块操作时，对于每一个子块都进行前述的步骤20～步骤40的操作，而在进行步骤50时，将从各个子块得到的高维直方图再串接起来，形成一个更高维数的直方图作为人脸图像的编码。

当在人脸图像变换到变换域之后、对图像做LBP运算之前进行分块操作时，将前述步骤20的变换域中的人脸图像进行分块，然后在每一个子块中进行LBP运算，再得到每一个子块的直方图：在进行步骤50时，可以将所有子块的直方图串接为一个高维直方图作为人脸图像的编码。如图4所示，

如图4所示，为本发明的一个人脸识别系统例子。首先，依据眼睛的位置把图像Crop为指定大小，然后对其进行Gabor变换，在变换过程中，径向中心频率 Gabor小波的方向θ可以有不同的值，因此得到Gabor特征图谱，将Gabor特征图谱中的每个图像平均划分为若干个区域，每个区域进行LBP运算，然后提取各个区域的直方图，最后将所有的直方图串接成为一高维的特征直方图。

在图4的实施例中，对图像进行分块所得的各个子块之间互不相交。但是，事实上子块之间可以交叠，这样可以提高相邻子块间的相关性，体现人脸的部件之间的关联，这是本领域的技术人员很容易理解并实施的。

本发明的基于模板匹配的人脸识别方法结合了局部区域变化分布模式和图像变换到变换域的方法，因此本发明也可以称之为基于变换域局部区域变化分布模式的人脸识别方法。

本发明方法与现有的人脸识别方法相比在人脸识别效果上有很大的提高，如表1所示，将本发明方法在FERET人脸数据库上进行了测试，并将本方法与基于Gabor变换的LDA方法，LBP人脸识别和FERET评测的最好结果进行比对，表中有四项评价标准，其中Fb是表情变化测试集，fc是光照变化测试集，Duplicate I和DuplicateII是时间变化测试集，以光照变化测试集fc为例，本发明方法的识别率可达到0.974，而基于Gabor变换的LDA方法为0.84，LBP人脸识别方法只有0.294，FERET评测的最好结果为0.833，本发明方法明显优于上述方法，而在测试集Duplicate I和Duplicate II中，本发明方法同样优于其他方法，只有在表情变化测试集Fb中，本发明方法与现有的其他方法相比没有明显的优势，但在识别效果上相差也不多。因此，本发明方法与现有的人脸识别方法相比在识别效果上有很大的提高。

	Fb	fc	Duplicate I	Duplicate II
	Fb	fc	Duplicate I	Duplicate II	Gabor+LDA	0.921	0.84	0.645	0.513
LBP	0.947	0.294	0.536	0.269	Gabor+LDA	0.921	0.84	0.645	0.513
LBP	0.947	0.294	0.536	0.269	FERET测试最好结果	0.963	0.833	0.592	0.525
本发明方法	0.942	0.974	0.676	0.658	FERET测试最好结果	0.963	0.833	0.592	0.525

表1

Claims

1、一种基于模板匹配的人脸识别方法，该方法包括：

对人脸图像做LBP运算；

从LBP运算的结果得到直方图；

利用直方图匹配实现人脸识别；

其特征在于，还包括在对人脸图像做LBP运算之前将人脸图像变换到变换域，通过变换操作得到人脸图像的频域特征；所述的变换操作为Gabor变换或Gaussian变换或DCT变换或FFT变换或HARR变换。

2、根据权利要求1所述的基于模板匹配的人脸识别方法，其特征在于，还包括对人脸图像进行分块，将所述人脸图像分为多个子块；其中，所述分块操作是在将人脸图像变换到变换域之后、对人脸图像做LBP运算之前进行。

3、根据权利要求1所述的基于模板匹配的人脸识别方法，其特征在于，还包括对人脸图像进行分块，用于将所述人脸图像分为多个子块；其中，所述分块操作是在将人脸图像变换到变换域之前进行。

4、根据权利要求3或2所述的基于模板匹配的人脸识别方法，其特征在于，在对人脸图像进行分块时，所述多个子块间互不交叠。

5、根据权利要求3或2所述的基于模板匹配的人脸识别方法，其特征在于，在对人脸图像进行分块时，所述多个子块中有至少两个子块间有交叠。