CN103632134A

CN103632134A - 基于Fisher低秩矩阵恢复的人脸识别方法

Info

Publication number: CN103632134A
Application number: CN201310488212.4A
Authority: CN
Inventors: 郑忠龙; 张海新; 贾泂
Original assignee: Zhejiang Normal University CJNU
Current assignee: Zhejiang Normal University CJNU
Priority date: 2013-10-17
Filing date: 2013-10-17
Publication date: 2014-03-12

Abstract

本发明公开了一种基于Fisher低秩矩阵恢复的人脸识别方法，本发明将人脸识别问题在低秩矩阵恢复框架下进行建模，并结合Fisher判别准则进行正则判别约束。在人脸识别问题中，所有训练图像的标签信息都是已知的，受Fisher准则的启发，利用逐类的判别准则来正则化由低秩矩阵恢复所得到的表征基，提高本发明的算法在人脸识别中的判别性。本发明具有能够有效去除大部分稀疏噪声；当训练图像和测试图像都损坏的时候，人脸识别性能明显优于其它算法的特点。

Description

基于Fisher低秩矩阵恢复的人脸识别方法

技术领域

本发明涉及模式识别技术领域，尤其是涉及一种识别准确性好的基于Fisher低秩矩阵恢复的人脸识别方法。

背景技术

基于生物特征的身份鉴别技术在社会生活中具有越来越重要的地位和作用。在多中生物认证方法中，基于人面部特征的识别和认证因为具有无侵犯性，成本低，隐蔽性好，不需要被测者特殊配合等优点，得到广泛的关注和重视，具有广泛的应用前景。

按照功能而言，人脸识别可以分为人脸辨识和人脸认证两类。人脸辨识，是指对于待确定身份的一张或者多张人脸图像，将其与数据库中保存的所有人的人脸图像进行对比，确定数据库中与其最相像的人，并确定二者是否同一个人。人脸认证，是指将待确定身份的一张或多张人脸图像，与数据库中其申明身份的人脸图像进行比对，确定二者是否来自同一个人。

对于人类识别方法而言，一般需要两个步骤。第一个步骤是训练过程，即采用已知身份的人脸图像，选择对于人脸识别效果更佳的特征，并得到人脸模型的各个参数。第二个步骤是使用过程，即采用得到的最佳识别特征和模型参数，对未知身份的人脸图像进行判定，确定其身份的过程。

现有技术通常关注于人脸图像的特征提取以及分类器的泛化能力，即用测试样本来评价相应的识别性能。尽管测试样本可能是有损的，但是对训练数据集通常假定是符合一些要求的，比如合理的光照，姿势、无遮挡和伪装等。

此外，现有技术中，当把人脸识别应用于实际问题时，可能会遭遇小样本问题，如证件照的识别，或者是由于获得的训练数据有损而不得不扔掉。然而，扔掉的那些有损图像可能也包含有一些对识别很重要的信息。

因而，目前需要本领域技术人员迫切解决的一个技术问题就是：如何能够创新的提出一种更加有效，处理效果更好的人脸识别算法，用以解决现有技术中识别效果不佳，识别准确性差的问题。

中国专利授权公开号：CN101763507A，授权公开日2010年6月30日，公开了一种人脸识别方法，包括：将人脸样本图像分为多个相互交叠且大小不一的子区域，所述人脸样本图像为经过预处理的固定大小的人脸图像；提取所述子区域的纹理特征；按照预置规则从所述纹理特征中选取有效的纹理特征，并获取所述有效纹理特征的投影特征值；依据各子区域的投影特征值进行人脸识别。不足之处是，该发明存当训练图像和测试图像都有损坏的时候，普通人脸识别方法的识别性能差的不足。

发明内容

本发明所要解决的技术问题是当训练图像和测试图像都有损坏的时候，普通人脸识别方法的识别性能差的不足，提供了一种识别准确性好的基于Fisher低秩矩阵恢复的人脸识别方法。

为了实现上述目的，本发明采用以下技术方案：

一种基于Fisher低秩矩阵恢复的人脸识别方法，其特征是，包括如下步骤：

(1)计算机读取存储器中存储的训练数据矩阵X=[X₁，X₂，...，X_c]，所述训练数据矩阵为由c个人的人脸图像矩阵组合而成；其中，X_c为编号为c的人的若干幅图像组成的图像数据矩阵；将待测试的人脸图像y_test存储到计算机中；

例如：如果这里的参数c为200的话，那数据矩阵X即为对应这200个人的人脸图像矩阵。

(2)计算机计算训练数据矩阵X的低秩矩阵A，包括如下步骤：

(2-1)设定p＝1，k=0，μ_k，ρ，η，λ和收敛误差e；其中μ_k>0，ρ>1，0<η＜1，0<λ<1；设定其中，

为A的随机初始值，为E的随机初始值，

为拉格朗日乘数矩阵的随机初始值；

计算

其中，SVD为矩阵的奇异值分解运算符号，U和V分别为SVD分解后的行空间和列空间，S为SVD分解后的对角特征值矩阵；其中X_p表示第p个人图像的数据矩阵，表示第p个人的稀疏矩阵，表示第p个人的图像在k次的拉格朗日乘数值。

(2-2)计算

其中，S_ε为软阈值转化运算符号；

(2-3)计算

其中，S_η为软阈值转化运算符号；

(2-4)利用公式

Y_{p}^{k + 1} = Y_{p}^{k} + μ_{k} (X_{p} - A_{p}^{k + 1} - E_{p}^{k + 1})

计算

(2-5)利用公式μ_k+1=ρμ_k，计算μ_k+1；

(2-6)当

使K值增加1，重复步骤(2-2)至(2-5)；当

时，得到A_p；p=1，...，c；

(2-7)当p<c，使p值增加1，重复步骤(2-2)至(2-6)；得到A₁，...，A_c，将A₁，...，A_c组合成低秩矩阵A=[A₁，A₂，...，A_c]；

(3)利用公式

得到投影矩阵W，其中，S_A为协方差矩阵，S_A=A^TA；

(4)利用公式X_W＝W^TX和y_W＝W^Ty_test计算X和y_test在W上的投影；

(5)利用公式

计算稀疏表征系数α=[α₁，α₂，...，α_c]；其中，α_j为X_j的稀疏表征系数，j＝1，...，c；

(6)设定m=1；

(6-1)利用公式

计算y_W的重构误差err(m)；

(6-2)当m<c，使m的值增加1，重复步骤(6-1)；得到err(1)，err(2)，...，err(c)；

(7)当err(i)=min{err(1)，err(2)，...，err(c)}，则计算机做出编号为i的人的人脸图像与y_test最相近的判断。

综上所述，本发明在原有低秩矩阵恢复算法模型的基础上加入Fisher判别准则。如(2-1)中

所示先对数据矩阵X进行SVD分解出行空间U和列空间V以及对角特征值矩阵S，如(2-2)中公式

所示计算出

利用(2-3)公式

所示计算出另一方面，本发明利用公式(3)

计算出投影矩阵W，并分别计算X和y_test在W上的投影。最后本发明利用增广拉格朗日乘数法如(5)所示对优化问题进行求解。本发明中当给低秩矩阵恢复加上判别性时，人脸图像的稀疏表征基矩阵在同类之间非常近似，而不同类的之间相关性很小，这意味着在同类之间有很好的相关性。而且我们可以推断出带有判别性的稀疏误差可以除去更多的稀疏噪声。因此，本发明在人脸识别系统中用带有判别性的表征矩阵比现有技术更有表征能力。本发明在识别阶段，利用(6-1)中

来计算出重构误差err(m)。使用如(7)中公式所示err(i)=min{err(1)，err(2)，...，err(c)}来最后确定测试图像是哪个人的图像。

本发明将人脸识别问题在低秩矩阵恢复框架下进行建模，并结合Fisher判别准则进行正则判别约束。在人脸识别问题中，所有训练图像的标签信息都是已知的，受Fisher准则的启发，利用逐类的判别准则来正则化由低秩矩阵恢复所得到的表征基，以此提高其在人脸识别中的判别性，最后仿真实验证明本发明的效果是优于其它算法的。

作为优选，所述μ_k为0.1至3。

作为优选，所述ρ为1.1至1.5。

作为优选，所述c为30至100。

作为优选，X_p为编号为p的人的50至90幅图像组成的图像数据矩阵。

因此，本发明具有如下有益效果：

(1)本发明所提出来的算法被实验证明具有比其它算法更好的人脸识别性能；

(2)本发明能够有效去除大部分稀疏噪声；

(3)本发明在当训练图像和测试图像都损坏的时候，人脸识别性能明显优于其它算法。

(4)本发明将人脸识别问题在低秩矩阵恢复框架下进行建模，并联合Fisher类内散度和类间散度进行正则判别约束，增加了模型的判别性能。

附图说明

图1是低秩矩阵恢复算法(LR算法)和本发明的算法(FDLR算法)在AR数据集上得到的结果图；

图2是本发明的扩展的耶鲁数据集图和AR数据集图；

图3是本发明的选择7张自然图像和3张佩戴有太阳镜的图像时的各种算法的识别率对比图；

图4是本发明的选择7张自然图像和3张佩戴有围巾的图像时的各种算法的识别率对比图；

图5是本发明的选择7张自然图像和3张佩戴有太阳镜和3张佩戴有围巾的图像的各种算法识别率对比图；

图6是本发明的实施例的一种流程图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的描述。

如图6所示的实施例是一种基于Fisher低秩矩阵恢复的人脸识别方法，包括如下步骤：

步骤100，计算机读取存储器中存储的训练数据矩阵X=[X₁，X₂，...，X_c]，训练数据矩阵为由c个人的人脸图像矩阵组合而成；其中，X_c为编号为c的人的若干幅图像组成的图像数据矩阵；将待测试的人脸图像y_test存储到计算机中；

步骤200，计算机计算训练数据矩阵X的低秩矩阵A，包括如下步骤：

步骤201，设定p＝1，k=0，μ_k，ρ，η，λ和收敛误差e；其中μ_k>0，ρ>1，0<η<1，0<λ<1；设定

其中，

为A的随机初始值，

为E的随机初始值，

为拉格朗日乘数矩阵的随机初始值；

计算

步骤202，计算其中，S_ε为软阈值转化运算符号；

步骤203，计算

其中，S_η为软阈值转化运算符号；

步骤204，利用公式

Y_{p}^{k + 1} = Y_{p}^{k} + μ_{k} (X_{p} - A_{p}^{k + 1} - E_{p}^{k + 1})

计算

步骤205，利用公式μ_k+1＝ρμ_k，计算μ_k+1；

步骤206，当

使K值增加1，重复步骤202至205；当

时，得到A_p；p=1，...，c；

步骤207，当p<c，使p值增加1，重复步骤202至206；得到A₁，...，A_c，将A₁，...，A_c组合成低秩矩阵A=[A₁，A₂，...，A_c]；

步骤300，利用公式，得到投影矩阵W，其中，S_A为协方差矩阵，S_A=A^TA；

步骤400，利用公式X_W＝W^TX和y_W＝W^Ty_test计算X和y_test在W上的投影；

步骤500，利用公式

步骤600，设定m=1；

步骤601，利用公式

计算y_W的重构误差err(m)；

步骤602，当m<c，使m的值增加1，重复步骤601；得到err(1)，err(2)，...，err(c)；

步骤700，当err(i)=min{err(1)，err(2)，...，err(c)}，则计算机做出编号为i的人的人脸图像与y_test最相近的判断。

本发明的算法的性能分析：

将本发明中的算法与标准的低秩矩阵恢复算法及最近邻(NN)，稀疏表征分类(SRC)，和LLC方法进行比较。LLC是SRC的一种扩展。为了对不同维度的数据进行识别性能的评估，使用带有判别性的低秩矩阵模型来把数据投影到由主成分分析(PCA)导出的特征空间上。对于标准的低秩矩阵恢复算法，特征空间是由未带判别性的低秩矩阵生成的，而本发明在低秩矩阵恢复算法的基础上加入Fisher判别准则，从而使低秩矩阵更具有判别性，可以使人脸识别性能更优越。

在如图2(a)中所示的扩展的耶鲁数据集(The Extended Yale B)数据集中，对于每个人的所有图片，本发明分别从每个图像集中随机选择10，20，30张图像来训练，而剩下的图像作为测试图像。随机选择训练数据集可以保证本发明的结果更具有说服力。本发明通过把特征空间的维数调整为84,150和300来对比不同算法的识别性能。从图2(a)中我们可以看到这些扩展的耶鲁数据集里面的图像有些是在光照比较好的情况下拍的，有些是在光照比较暗的情况下得到的，还有一些拍照的角度也各不相同。

所有的实验都运行十次后的平均结果，平均结果如表1所示。

表1为在扩展的耶鲁数据集上的各种不同方法的实验结果对比(％)：

算法名称	84(维数)	150(维数)	300(维数)
				NN	85.8	90	91.6
SVM	94.9	96.4	97
				LRC	94.5	95.1	95.9
SRC	95.5	96.8	97.9
				LLC	91.6	94.4	95.8
CRC	95	96.3	97.9
				LR	95.5	97	98.2
本发明	96.1	97.2	98.8

表1

如表1所示本发明获得了比最近邻NN和稀疏表征分类(SRC)算法更好的识别率。例如，当维数是84的时候，本发明获得的识别率为96.1％，而LR,SRC,LLC,NN各个算法的识别率分别是95.5％，95.5％，91.6％，85.8％。本发明再利用交叉验证的方法来重复上述实验，我们可以得出使用低秩矩阵恢复算法(LR)可以缓解当光照改变甚至当噪声存在于训练和测试数据中时的情况。本发明的算法的人脸识别性能更好。

在如图2(b)中所示的AR数据集中，本发明选择其中的50个男人和50个女人的图像集。图像被校准为像素值165×120。对于每一个图像集，在数据集的第一部分中选择自然(4张在不同光照条件下的自然人脸和三张表情变化的人脸图像)和损坏的图像(三张戴太阳镜的人脸图像和三张戴围巾的人脸图像)作为训练图像集来进行训练，把数据集中的的第二部分图像作为测试图像来进行人脸识别。

从图2(b)中我们可以看到在AR数据集中的图像是既有男人的图像又有女人的图像，而且自然图像也就是图2(b)中左方的图像的表情也是变化多样的。图2(b)的中间的图像是戴有太阳镜的人脸图像。图2(b)的右端图像是戴有围巾的人脸图像。这些图像正好对应着本发明在实验部分所表明的不同的样本选择方法。

本发明在实验中通过把特征空间的维数分别调整为54,120和300来对比不同算法的识别效果。

表2为在AR数据集上的对佩戴有太阳镜的图片识别结果对比(％)：

算法名称	54(维数)	120(维数)	300(维数)
				NN	43.8	66	67.1
SVM	63.5	70.8	75.2
				LRC	64.7	71.4	75.2
SRC	72.6	81.8	84.3
				LLC	72.4	82	84.7
CRC	68.1	76	76.9
				LR	75.9	83.1	85.8
本发明	84.8	88.7	89.4

表2

表3为在AR数据集上的对佩戴有围巾的图片识别结果对比(％)：

算法名称

54(维数)

120(维数)

300(维数)

NN	40.7	56.4	56.6
				SVM	56.3	67.1	70.5
LRC	55.2	68.6	71
				SRC	64.5	73.8	75.7
LLC	63.8	74	75.6
				CRC	64.3	75.9	75.5
LR	71.1	76.3	76.5
				本发明	78.9	84.5	85.8

表3

表4：在AR数据集上对既有佩戴太阳镜又有佩戴围巾图片的识别效果(％)

算法名称	54(维数)	120(维数)	300(维数)
				NN	40.9	56.3	56.1
SVM	60.9	66.7	73.4
				LRC	62.1	69.9	74.3
SRC	63.4	72.6	76.9
				LLC	65	73.1	77.2
CRC	66.3	72	75.2
				LR	70.6	76.4	77.8
本发明	75.2	81.9	81.1

表4

从表2、表3和表4中，可以看到本发明在不同的维度下都胜过其它算法。值得注意的是当遮挡区域增加时，所有方法的识别率都严重下降，但是本发明的算法的识别率明显优于其它同类算法。这可以从图3(a)和图3(b)中体现出来。而且，当训练集中的遮挡图像增加时，所有方法的性能也会严重下降，但是本发明的算法可以很好的解决这个问题，而且识别率明显优于其它同类算法，这可以从图3(c)中体现出来。这两种情况显示出直接使用损坏的训练图像数据会严重的降低识别率。而本发明可以很好的解决这类问题。

如图1所示，图1(a)为原始的人脸图像，图1(b)为低秩矩阵恢复算法得到的低秩矩阵，图1(c)为低秩矩阵恢复算法得到的稀疏误差矩阵，图1(d)为本发明得到的低秩矩阵，图1(e)本发明得到的稀疏误差矩阵；从图1的算法实验结果我们可以看到本发明所得的稀疏误差矩阵明显要比低秩矩阵恢复算法所得的实验结果更加清晰。

如图3所示的选择7张自然图像和3张佩戴有太阳镜的图像时的各种算法的识别率对比图，从图3中可以清晰的看到本发明的识别率在各种情况下都明显优于其它同类算法。

如图4所示的当选择7张自然图像和3张佩戴有围巾的图像时的各种算法的识别率对比图，从图中我们可以清晰的看到本发明的识别率在各种情况下都明显优于其它同类算法。

如图5所示的选择7张自然图像和3张佩戴有太阳镜和3张佩戴有围巾的图像的各种算法识别率对比图。从图5中可以看到本发明的识别率在各种情况下都明显优于其它算法。

应理解，本实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。