CN104008375A - 基于特征融合的集成人脸识别方法 - Google Patents

Abstract

本发明属于模式识别技术领域，涉及基于特征融合的集成人脸识别方法。本发明采用PCA、SPP及简单投影方法提取图像的整体特征，采用子图像方法提取局部特征，将它们共同作为属性Bagging方法中的属性，并进行集成分类识别。本发明通过三庭五眼划分局部特征，一方面可以保留器官区域的完整性，另一方面减少了人工干预；通过整合整体特征和局部特征信息，降低人脸图像可能受到的光照、姿势、表情等各种因素的影响，提高了人脸识别正确率，且对外界因素变化具有很好的鲁棒性。实验表明，在AR数据库上，最好的情况下本发明所述方法比整体特征方法的识别率平均值提高了27％左右。

Description

基于特征融合的集成人脸识别方法

技术领域

本发明属于模式识别技术领域，具体涉及一种基于特征融合的集成人脸识别方法，是一种利用计算机技术、数字图象处理技术、模式识别技术等实现人脸的自动分析与判别的方法，是生物特征识别领域中关于步态特征提取与识别的算法。

背景技术

人脸识别技术对图像采集设备没有过高的要求，使用者更容易接受。研究人脸识别的目的就是找到一种快速有效的分类识别方法，能够快速地判断输入图像中是否存在人脸图像，如果存在就对其进行快速归类。随着社会对人脸识别的迫切需求，越来越多的研究者投入到了人脸识别中，旨在找到一种快速、有效，并且能够应用到实际中的人脸识别方法。

近年来，在比较理想条件下基于整体特征的人脸识别方法具有较好的识别性能。但是实际应用中，人脸图像会受到各种因素的影响(例如光照、姿势、表情等方面的变化)，要想取得较好的识别率就变得非常的困难。人脸图像的全局特征不能充分体现这些因素的变化，由于面部特征中各器官在这些因素改变时受影响程度不同，有些区域对光照比较敏感，有些区域对表情比较敏感，另外一些区域可能对姿态比较敏感。因此通过整合整体特征和局部特征信息，可以提高算法对各种影响因素的适应能力。

可以将人脸特征分为全局特征和局部特征。其中全局特征是指特征向量的每一维能够区别不同人带来的差异，侧重于人脸的主体特征；而局部特征的每一维能够区别光照、表情、姿态等因素引起的差异，反映了人脸的细节变化。研究表明，人脸图像中的整体特征和局部特征对人脸识别都是非常重要的。整体特征从全局角度来对人脸进行描述，用来进行预判断；而局部特征描述人脸由于外界因素影响下的局部属性，用来更加精确地识别。大量的特征提取方法已经被提出，其中经典的全局特征方法包括主成分分析(Principal Component Analysis,PCA)、线性判别分析(Linear Discriminant Analysis,LDA)和稀疏保持投影(Sparsity PreservingProjections,SPP)。PCA是在最小均方差的思想下寻求最佳鉴别特征；LDA是通过最大化类间离散度和最小化类内离散度来获取特征信息；SPP通过求解稀疏权向量重构原始信号的优化问题来获得主要鉴别特征。然而，全局特征对外界因素引起的细节变化的鲁棒性较差，不能充分体现这些微小的变化。而局部特征恰恰能够弥补全局特征的缺陷，对这些细节变化具有较好的抑制作用。申请号为CN201310084411.9的专利公开了一种基于图像分割的集成人脸识别方法，将人脸图像分成15部分，并将这15部分人脸特征作为属性Bagging(AttributeBagging,AB)中的属性集合，通过属性集的有放回抽样来构建训练样本集，从而完成基分类器的训练，最终利用1NN方法进行分类识别。由于面部特征中各器官在光照、表情、姿态等因素改变时受影响程度不同，有些区域对光照比较敏感，有些区域对表情比较敏感，该方法并没有整合整体特征，因此对各种影响因素的适应能力还不强。

发明内容

针对现有技术中存在的上述问题，本发明提出一种基于特征融合的集成人脸识别方法，通过整合人脸的整体特征和局部特征信息，降低光照、表情、姿态等因素对人脸图像的影响，从而提高人脸识别性能。

本发明采用PCA、SPP及简单投影方法提取图像的整体特征，采用子图像方法提取局部特征，将它们共同作为属性Bagging方法中的属性，并进行集成分类识别。

基于特征融合的集成人脸识别方法，具体包括如下步骤：

步骤1，图像预处理。

步骤1.1，对人脸原始图像进行大小归一化处理。

步骤1.2，确定训练集和测试集。

将原始图像集X分为训练样本集XR和测试样本集XT，将XR进一步分为训练基分类器时的训练集XRR和测试集XRT。

步骤2，特征提取。

对训练样本和测试样本分别进行整体特征提取和局部特征提取，分别得到各自的Feature_PCA、Feature_SPP、Feature_simple_projections以及Feature_local，并将它们作为属性Bagging方法中的属性集A。

步骤2.1简单投影特征提取。

对原始人脸图像集X进行简单投影：将图像像素逐列相加求平均，将其结果记为Feature_simple_projections。

步骤2.2，提取局部特征。

将原始人脸图像集X按照“三庭五眼”分割成大小相等的子图像，将其逐列相加求平均，将其结果记为Feature_local。

步骤2.3，利用PCA方法得到整体特征，将其结果记为Feature_PCA。

(1)利用下面的公式计算PCA的降维矩阵W：

|λI-Σ|＝0,(λ_kI-Σ)u_k＝0

式中，Σ为样本的协方差矩阵，I为单位矩阵，λ为特征值变量，u_k为特征值λ_k对应的特征向量。选择最大的d个特征值λ_k对应的单位特征向量u₁,u₂,...,u_d构成降维矩阵W＝(u₁,u₂,...,u_d)。

(2)利用W对样本进行降维。

步骤2.4，利用SPP方法得到整体特征，将其结果记为Feature_SPP。

(1)利用下面公式得到训练样本的稀疏权向量，进而构成稀疏权矩阵：

${\hat{s}}_i=\underset{s_i}{\min }{\left|\right|s_i\left|\right|}_1,s.t.x_i=X{s}_i$

S＝[s₁,...,s_n]^T。

其中，x_i∈R^m是以矢量形式给出的一幅图像信号，X＝[x₁,x₂,...,x_n]∈R^m×n是由训练集中所有图像组成的变换基，s_i＝[s_i,1,...,s_i,i-1,0,s_i,i+1,...,s_i,n]^T∈Rⁿ是x_i的稀疏表示。S＝[s₁,s₂,…s_n]^T是稀疏权值矩阵。

(2)利用下面公式得到投影空间：

XS_βX^Tw＝λXX^Tw

其中，S_β＝S+S^T-S^TS，X是训练集的集合，S是稀疏权矩阵，w为上式特征值问题对应的特征向量，d个最大特征值的特征向量构成投影空间P＝(w₁,w₂,...,w_d)。

(3)利用P对所有样本进行降维。

步骤2.5，将Feature_PCA、Feature_SPP、Feature_simple_projections以及Feature_local共同作为属性Bagging方法中的属性集A。

步骤3，集成分类识别。

步骤3.1，设置迭代次数T和属性个数N。

步骤3.2，从原始属性集A中重抽样N个属性构建新的样本集。

步骤3.3，在新的训练集上训练基分类器。按抽取的属性顺次连接成为列向量，根据不同的样本集合得到识别性能互补的基分类器。

步骤3.4，通过综合投票法得到集成分类器，利用该分类器对测试样本进行分类识别。

与现有技术相比，本发明具有以下优点：

1.通过三庭五眼划分局部特征，一方面可以保留器官区域的完整性，另一方面减少了人工干预；

2.本发明通过整合整体特征和局部特征信息，降低人脸图像可能受到的光照、姿势、表情等各种因素的影响，提高了人脸识别正确率，且对外界因素变化具有很好的鲁棒性。在AR、Yale和YaleB数据库上的实验表明，本发明所述方法比PCA、SPP和简单投影等识别方法的识别率都要高。在AR数据库上效果尤为明显，最好情况下本发明所述方法比整体特征方法的识别率平均值提高了27％左右。

附图说明

图1是本发明所涉及方法的流程图；

图2是“三庭五眼”示意图；

图3是图像划分及相应的编码方式示意图。

具体实施方式

下面结合附图对本发明做进一步说明。

本发明所述方法的流程图如图1所示，具体包括以下步骤：

步骤一，预处理过程。

(1)图像归一化

采用Yale、Yale B以及AR人脸数据库。为了消除图像大小对识别的影响，将图像的大小进行统一处理。实验中全局特征提取方法和局部特征提取方法采用不同的大小归一化处理，全局特征方法采用大小归一化为32×32，而局部特征方法采用60×60。

(2)确定训练集和测试集。

依照步骤一中各个数据库的测试集和训练集设定，将整个人脸库图像记为X，将原始图像集X分为训练样本集XR和测试样本集XT，将XR进一步分为训练基分类器时的训练集XRR和测试集XRT。

步骤二，特征提取过程。

(1)简单投影特征提取。

对原始人脸图像集X进行简单投影：将图像像素逐列相加求平均，降维维数为80维，将其结果记为Feature_simple_projections；

(2)提取局部特征。

“三庭五眼”是一个关于人脸结构的基本理论，如图2所示，基于“三庭五眼”理论，将人脸图像分割成15个等大的子图像，设S为人脸图像，按照从左到右从上到下的顺序对子图像进行编号，分别为S₁,S₂,...,S₁₅，如图3所示。将原始人脸图像集X按照“三庭五眼”分割成大小相等的子图像后，将其逐列相加求平均，将其结果记为Feature_local。

(3)计算PCA整体特征。

主成分分析是以K-L变换为基础的统计分析方法，它的基本思想是寻找在最小均方差意义下最能代表原始数据的投影方法。用少量的特征表征原始高维样本信息，并且保持了原有数据中的主要特征信息。首先计算训练样本协方差矩阵特征值与其对应的标准特征向量；然后选择其中较大的m个特征值对应的特征向量组成降维矩阵，用该矩阵对原始样本进行降维。具体方法如下：

设样本集为其中，x_i是一个列向量，是原始图像的行连接矩阵。那么训练样本的平均向量表示为：

$\stackrel{-}{x}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i$

样本协方差矩阵为：

$\mathrm{\Σ}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(x-\stackrel{-}{x}){(x-\stackrel{-}{x})}^T$

计算特征值与特征向量：

|λI-Σ|＝0(λ_kI-Σ)u_k＝0

计算上式的特征值对应的单位特征向量，选择最大的m个特征值对应的单位特征向量u₁,u₂,...,u_m构成降维矩阵：

W＝(u₁,...,u_m)^T

利用W对样本进行降维，将其结果记为Feature_PCA。在实验中设定PCA的降维的维数为80。

(4)计算SPP整体特征。

压缩感知理论指出，若原始信号x可以被压缩信号y重构出来，则x的稀疏表示要尽可能的稀疏，因此压缩感知的思想也可以应用于特征提取。从模式识别角度出发，信号的表示越稀疏，就越有利于分类。通过原始信号的最稀疏表示来重构逼近原始信号的优化问题可以找到映射矩阵，用该矩阵就能将高维信号投影到低维空间并进行分类识别，这就是稀疏保持投影的思想。稀疏保持投影方法可以分为信号稀疏表示和建立投影空间两部分。

首先采用PCA方法对原始图像进行预降维，维数为85。

1)图像信号的稀疏表示。

以矢量形式给出的一幅人脸图像信号x_i∈R^m和一个由训练集中所有人脸图像组成的变换基X＝[x₁,x₂,...,x_n]∈R^m×n，其中每幅图像作为一个基向量。稀疏表示的目的是用X中的向量线性表示x_i，线性组合的系数中有较多的零值或很小的数，可以形式化的表示如下：

${\hat{s}}_i=\underset{s_i}{\min }{\left|\right|s_i\left|\right|}_1,s.t.x_i=X{s}_i$

其中，s_i＝[s_i,1,...,s_i,i-1,0,s_i,i+1,...,s_i,n]^T∈Rⁿ，s_i是x_i的稀疏表示，称为稀疏权向量，s_i中第i位元素等于零，意味着用每个x_j(j≠i)去重构x_i。

计算出训练集中所有图像信号的稀疏权向量后，将它们组成稀疏权矩阵S＝[s₁,s₂,…s_n]^T。

2)建立投影空间。

利用投影矩阵W将高维信号投影到低维空间，得到图像的主要特征信息，可以降低问题的计算复杂度。在SPP中，要保存的最主要的特性就是通过稀疏权向量重建出的信号要尽可能的逼近原始信号。即要满足：

$\min \underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|w^T(x_i-X{s}_i)\left|\right|}^2$

进一步推导得到：

XS_βX^Tw＝λXX^Tw

其中，S_β＝S+S^T-S^TS，X是训练集的集合，S是稀疏权矩阵，w为上式特征值问题对应的特征向量。SPP利用特征矩阵W得到样本的主要特征信息。

利用公式XS_βX^Tw＝λXX^Tw得到由d个最大特征值的特征向量组构成投影空间P＝(w₁,w₂,...,w_d)，利用P对所有样本进行降维，SPP降维的维数为80。将其结果记为Feature_SPP。

(5)整合属性Bagging方法中的属性集A。

将Feature_PCA、Feature_SPP、Feature_simple_projections以及Feature_local共同作为属性Bagging方法中的属性集A。

步骤三，集成分类识别过程。

(1)确定属性个数为N和迭代次数为T。在实验中，迭代次数分别取5，10，15，20，25，30，35，40，45，50，属性个数取10。

(2)重复执行以下两步T次：

1)从步骤二中的(4)得到的A中重抽样N个属性得到新属性集A_t，根据A_t构建新的训练集S_t；

2)在S_t上训练基分类器h_t(x)，其中h_t(x)→Y，根据训练时基分类器的性能分配h_t(x)相应的权值其中r_t为h_t分类正确与分类错误样本个数之差与测试样本个数m的商。

(3)权值归一化：

(4)用集成分类器对测试图像x进行归类：

$H\left(x\right)=\arg \underset{y\∈Y}{\max }\underset{t:h_t\left(x\right)=y}{\mathrm{\Σ}}{a}_t^{\′}[h_t\left(x\right)=y]$

上式可以理解为测试样本x在每个基分类器上会分到一个类别y_t∈Y，且每个基分类器对应有权值a_t，将相同类别标号对应的基分类器权值相加，最终将权值最大的类别标号赋给测试样本。

下面对本发明的实验结果进行分析。

本发明的实验采用的数据库是在Yale、Yale B以及AR的人脸数据库，其中Yale有15个人脸图像，每人有11张，总共165张图像，实验中每类随机抽取6张图像作为训练集，剩余的作为测试样本集，其中训练集中4张作为训练基分类器的训练集，剩余2张作为训练基分类器的测试集；Yale B有38个人脸图像，每人64张，实验中随机抽取32张作为训练样本，剩余的作为测试样本集，其中训练集中16张作为训练基分类器的训练集，剩余16张作为训练基分类器的测试集；AR数据库包含100为志愿者，其中50位男性和50位女性。每位志愿者有26张人脸图像，从中选取14张无遮挡的图片，共1400张，该库包含光照、表情和姿态的变化，实验中随机选取7张作为训练集，其余的作为测试集，其中训练集中5张作为训练基分类器的训练集，剩余2张作为训练基分类器的测试集。将整个人脸库图像记为X，训练样本集为XT，测试样本集为XT，训练基分类器时的训练样本从XT中随机选择，其训练样本集和测试样本集分别为XTR和XTT。样本分布如表1所示。

表1  训练样本与测试样本数分布情况

人脸数据库	XT	XR	XTR	XTT
					Yale	6	5	4	2
AR	7	7	5	2
					Yale B	32	32	16	16

表2、3、4分别给出了应用整体特征提取方法在Yale、AR以及Yale B人脸数据库上的识别率结果；表5、6、7分别列出了应用本发明所述方法在Yale、AR以及Yale B人脸数据库上的识别率结果。为了方便计算，在三个数据库中，PCA降维的维数为80；通常情况下，样本个数会小于样本维数，XXT一般是奇异矩阵，因此在SPP方法中需要首先进行预降维处理，用PCA预降维的维数为85，SPP降维的维数为80；简单投影方法降维的维数为80。在验证新方法的实验中，迭代次数分别取5，10，15，20，25，30，35，40，45，50，属性个数取10，选择不同的迭代次数得到一组不同的实验结果。在三个人脸数据库上分别进行4次实验，分别对应情况1，情况2，情况3，情况4。在基于整体特征提取方法中的实验结果中，给出了不同情况下，3种不同整体特征提取方法的平均识别率。

实验表明：相比于整体特征提取的方法，基于特征融合的集成分类方法取得了较好的识别效果。其中在AR数据库上效果尤为明显，最好情况下新方法比整体特征方法的平均值提高了27％左右。进一步验证了集成类方法能够提高单一分类器的识别性能的理论，这种方法将具有广阔的应用前景。

表2  Yale数据库上整体特征提取方法的识别率(％)

Yale	PCA	SPP	简单投影	平均值
					情况1	73.3333	74.6667	72.0000	73.3333
情况2	77.3333	78.6667	66.6667	74.2222
					情况3	81.3333	85.3333	69.3333	78.6667
情况4	76.0000	76.0000	62.6667	71.5556

表3  AR数据库上整体特征提取方法的识别率(％)

AR	PCA	SPP	简单投影	平均值
					情况1	66.5714	83.0000	62.0000	70.5238
情况2	64.5714	80.8571	66.0000	70.4762
					情况3	82.0000	82.0000	64.8571	76.2857
情况4	80.5714	76.8571	61.4286	72.9524

表4  Yale B数据库上整体特征提取方法的识别率(％)

Yale B	PCA	SPP	简单投影	平均值
					情况1	72.7796	89.6382	77.4671	79.9616
情况2	61.5954	88.6513	66.6118	72.2862
					情况3	74.6711	94.1612	73.4375	80.7566
情况4	66.0362	88.5691	68.3388	74.3147

表5  Yale数据库上本发明所述方法的识别率(％)

迭代次数T	情况1	情况2	情况3	情况4
					5	80.0000	73.3333	88.0000	80.0000
10	77.3333	77.3333	88.0000	85.3333
					15	76.0000	78.6667	88.0000	84.0000
20	76.0000	80.0000	89.3333	84.0000
					25	78.6667	78.6667	86.6667	84.0000
30	80.0000	78.6667	88.0000	81.3333
					35	80.0000	77.3333	86.6667	81.3333
40	80.0000	77.3333	89.3333	78.6667
					45	78.6667	78.6667	86.6667	78.6667
50	78.6667	77.3333	88.0000	78.6667

表6  AR数据库上本发明所述方法的识别率(％)

迭代次数T	情况1	情况2	情况3	情况4
					5	88.8571	90.1429	83.1429	88.2857
10	90.5714	92.8571	91.1429	90.5714
					15	94.1429	93.5714	91.7143	91.5714
20	91.2857	95.0000	92.4286	92.2857
					25	95.2857	94.7143	93.1429	90.7143
30	95.8571	94.8571	93.8571	89.7143
					35	96.4286	94.8571	91.7143	89.4286
40	96.5714	94.8571	92.5714	90.2857
					45	97.2857	95.1429	92.2857	90.2857
50	97.4286	95.0000	93.4286	89.4286

表7  Yale B数据库上本发明所述方法的识别率(％)

迭代次数T	情况1	情况2	情况3	情况4
					5	92.4342	90.3783	94.9013	87.3355
10	92.4342	90.4605	95.1480	87.2533
					15	92.5987	90.7895	94.9836	87.9112
20	92.8454	91.0362	95.0658	87.8289
					25	92.5987	90.7895	95.1480	88.8158
30	93.1743	90.8717	95.1480	88.5691
					35	92.7632	90.8717	95.1480	88.4046
40	93.0921	90.7072	95.2303	88.5691
					45	93.0921	90.8717	95.2303	88.4868
50	93.1743	90.7895	95.3125	88.6513

Claims (4)

1.基于特征融合的集成人脸识别方法，其特征在于包括如下步骤：

步骤1，图像预处理；

步骤1.1，对人脸原始图像进行大小归一化处理；

步骤1.2，确定训练集和测试集；

将原始图像集X分为训练样本集XR和测试样本集XT，将XR进一步分为训练基分类器时的训练集XRR和测试集XRT；

步骤2，特征提取；

步骤2.1简单投影特征提取；

对原始人脸图像集X进行简单投影：将图像像素逐列相加求平均，将其结果记为Feature_simple_projections；

步骤2.2，提取局部特征；

将原始人脸图像集X按照“三庭五眼”分割成大小相等的子图像，将其逐列相加求平均，将其结果记为Feature_local；

步骤2.3，利用PCA方法得到整体特征，将其结果记为Feature_PCA；

步骤2.4，利用SPP方法得到整体特征，将其结果记为Feature_SPP；

步骤2.5，将Feature_PCA、Feature_SPP、Feature_simple_projections以及Feature_local共同作为属性Bagging方法中的属性集A；

步骤3，集成分类识别；

步骤3.1，设置迭代次数T和属性个数N；

步骤3.2，从原始属性集A中重抽样N个属性构建新的样本集；

步骤3.3，在新的训练集上训练基分类器；按抽取的属性顺次连接成为列向量，根据不同的样本集合得到识别性能互补的基分类器；

步骤3.4，通过综合投票法得到集成分类器，利用该分类器对测试样本进行分类识别。

2.根据权利要求1所述的基于特征融合的集成人脸识别方法，其特征在于，所述步骤2对训练样本和测试样本分别进行整体特征提取和局部特征提取，分别得到各自的Feature_PCA、Feature_SPP、Feature_simple_projections以及Feature_local，并将它们作为属性Bagging方法中的属性集A。

3.根据权利要求1所述的基于特征融合的集成人脸识别方法，其特征在于，所述步骤2.3利用PCA方法得到整体特征的方法还包括以下步骤：

(1)利用下面的公式计算PCA的降维矩阵W：

|λI-Σ|＝0,(λ_kI-Σ)u_k＝0

式中，Σ为样本的协方差矩阵，I为单位矩阵，λ为特征值变量，u_k为特征值λ_k对应的特征向量；选择最大的d个特征值λ_k对应的单位特征向量u₁,u₂,...,u_d构成降维矩阵W＝(u₁,u₂,...,u_d)；

(2)利用W对样本进行降维。

4.根据权利要求1所述的基于特征融合的集成人脸识别方法，其特征在于，所述步骤2.4利用SPP方法得到整体特征的方法还包括以下步骤：

(1)利用下面公式得到训练样本的稀疏权向量，进而构成稀疏权矩阵：

${\hat{s}}_i=\underset{s_i}{\min }{\left|\right|s_i\left|\right|}_1,s.t.x_i=X{s}_i$

S＝[s₁,...,s_n]^T；

其中，x_i∈R^m是以矢量形式给出的一幅图像信号，X＝[x₁,x₂,...,x_n]∈R^m×n是由训练集中所有图像组成的变换基，s_i＝[s_i,1,...,s_i,i-1,0,s_i,i+1,...,s_i,n]^T∈Rⁿ是x_i的稀疏表示；S＝[s₁,s₂,…s_n]^T是稀疏权值矩阵；

(2)利用下面公式得到投影空间：

XS_βX^Tw＝λXX^Tw

其中，S_β＝S+S^T-S^TS，X是训练集的集合，S是稀疏权矩阵，w为上式特征值问题对应的特征向量，d个最大特征值的特征向量构成投影空间P＝(w₁,w₂,...,w_d)；

(3)利用P对所有样本进行降维。