CN106066994A - 一种基于Fisher判别的稀疏表示的人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于Fisher判别的稀疏表示的人脸识别方法，其可以大大提高识别率。这种基于Fisher判别的稀疏表示的人脸识别方法，包括步骤：(1)通过l_2,1范数约束残差项、核范数约束字典稀疏系数来构建稀疏表示模型；(2)利用Fisher判别的监督学习方法来训练稀疏表示模型；(3)计算图像在字典上的稀疏表示；(4)根据残差最小原则来进行人脸识别。

Description

一种基于Fisher判别的稀疏表示的人脸识别方法

技术领域

本发明属于图像处理及模式识别的技术领域，具体地涉及一种基于Fisher判别的稀疏表示的人脸识别方法。

背景技术

人脸识别一直是模式识别、人工智能等领域的研究热点。在过去的多年里，研究专家提出了很多种人脸识别的方法，但是很多方法，在实际应用中受到了一定的条件约束限制，如果人脸图像带有遮挡及复杂光照变化带来的噪声情况下，很多人脸识别方法的识别率就下降了。所以出现了基于稀疏表示的人脸识别方法，去除人脸上的噪声。而基于稀疏表示方法去除噪声的前提条件是，噪声满足稀疏性。现实中噪声是随机分布的，并不一定能够满足稀疏性，如果人为的把它定义成一种具体形式的模型是不正确的。所以提出一种基于稀疏表示的鲁棒性人脸识别方法是必要的。

人脸图像在现实环境中经常带遮挡，研究者们为了克服这些缺点，将研究方向主要集中在人脸的特征提取和分类性能提高方面。传统的人脸带有噪声的识别方法主要是基于像素的噪声区域分析方法，例如墨镜、口罩等。但是，直接对像素计算分析需要很大的计算量，算法实时性差。在此基础上，研究出了基于块分析的方法，将人脸图像分割成k个区域。典型的方法有局部非负矩阵分解方法、独立主分量分析、小波分析和LBP方法。这些方法在没有遮挡区域的人脸图像上效果很好，但是在带有遮挡区域的图像上，识别效果不理想。

由于稀疏编码机制在人机视觉系统中的应用，尤其是基于1范数的稀疏表示分类方法成功的应用于机器视觉和模式识别应用中。用于人脸识别的结果表明该方法用于处理带有噪声的人脸图像效果很好，但该方法需要对齐训练样本用于识别。进一步扩展了SRC方法，解决了非对齐样本的问题，处理光照变化下人脸识别。有人提出了基于SRC处理没有对齐的人脸和脸上有异常值outlier问题的改进方法。上述这些识别方法都要求在训练阶段是无噪声图像，而现实环境往往不能满足条件。有人将迹范数引入到字典学习过程中，自适应的表示相关性和稀疏性的平衡关系。适用于训练样本相关性强，也适用于训练样本不相关两种情况，而没有考虑到图像的遮挡噪声因素。有人提出用结构稀疏表示的方法来构建人脸识别模型。为了处理遮挡噪声问题，SRC引入了一个假设，如果用一个单位矩阵作为噪声的字典，那么人脸图像上的噪声部分就可以在单位矩阵上进行表示。实验表明，SRC可以处理人脸图像上面积较小的噪声，对于连续的遮挡块仍然不能很好的进行识别。有人提出用样本数据训练噪声字典来代替单位矩阵，在处理人脸图像上连续遮挡块问题上有所提高，但是在此方法中，遮挡字典的学习与样本的相关性很大，如果样本相关性特别强，那么遮挡字典的噪声表示能力就会变弱，会降低识别率。基于上述情况，需要合理利用目标表示和分类的密切关系。

根据上述问题遇到的情况，我们希望能学习一个既能够鲁棒识别人脸的遮挡噪声，又能很好表示测试图像的字典。在传统的字典学习模型中，利用1范数来约束目标函数中的稀疏系数，Frobenius范数约束重构残差。1范数适用于强稀疏度约束，如果字典的原子间相关性更强，那么1范数就会失效，而核范数则不需要强稀疏性的假设要求。EdouadGrave已经验证得出，当变量间相关性强时，核范数的性能接近于2范数，当变量间相关性弱稀疏性更强时，核范数的性能更接近于1范数。核范数对字典原子相关性强弱的自适应性更强，因此，我们提出用核范数替代1范数来约束稀 疏系数控制稀疏度。有人提出了基于Fisher的低秩矩阵恢复的算法。一张原始人脸图像可以分解为一个低秩矩阵和一个稀疏矩阵的形式，利用核范数构建字典学习模型。

利用Frobenius范数约束重构误差，可以处理人脸图像上异常值outlier的问题。用于稀疏表示的训练字典可以表示人脸图像，但也将人脸上的噪声一同表示出来，不利于分类。而l_2,1范数对outlier噪声鲁棒，基于l_2,1范数约束而学习的字典能够表示无噪声人脸，忽略掉噪声部分。

现有人脸识别技术以基于稀疏表示理论为最流行，基于稀疏表示理论的人脸识别方法，为待识别图像进行分类时，用过完备字典中的原子来表示待测图像，若待识别图像中有噪声或遮挡，那么噪声或被遮挡区域也被部分表示了出来，错误得到的表示系数将会降低用于分类的识别率。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种基于Fisher判别的稀疏表示的人脸识别方法，其可以大大提高识别率。

本发明的技术解决方案是：这种基于Fisher判别的稀疏表示的人脸识别方法，包括以下步骤：

(1)通过l_2,1范数约束残差项、核范数约束字典稀疏系数来构建稀疏表示模型；

(2)利用Fisher判别的监督学习方法来训练稀疏表示模型；

(3)计算图像在字典上的稀疏表示；

(4)根据残差最小原则来进行人脸识别。

本发明利用l_2,1范数有针对性的处理奇异点outlier或者连续遮挡块这样的非高斯噪声，通过训练的字典，鲁棒性的表示测试人脸图像，从而进行分类，可以大大提高识别率。

具体实施方式

这种基于Fisher判别的稀疏表示的人脸识别方法，包括以下步骤：

(1)通过l_2,1范数约束残差项、核范数约束字典稀疏系数来构建稀疏表示模型；

(2)利用Fisher判别的监督学习方法来训练稀疏表示模型；

(3)计算图像在字典上的稀疏表示；

(4)根据残差最小原则来进行人脸识别。

本发明利用l_2,1范数有针对性的处理奇异点outlier或者连续遮挡块这样的非高斯噪声，通过训练的字典，鲁棒性的表示测试人脸图像，从而进行分类，可以大大提高识别率。

优选地，步骤(1)中的稀疏表示模型为公式(13)：

其中 是Y_i在子字典D_j上的表示系数，S_W(A)表示类内距离，S_B(A)表示类间距离，E为重构误差。

优选地，步骤(1)中的公式(13)转换为公式(19)：

通过优化E,A,Z和D迭代求解公式(19)其中，Λ₁,Λ₂是拉格朗日乘子矩阵，μ是一个正则项。

优选地，步骤(2)中在训练样本中加入标签信息，通过增大类间间距和减小类内间距来约束字典学习模型，从而提高字典的判别能力。

以下对本发明进行更详细的说明。

为了有针对性的处理人脸图像上的遮挡或者奇异点这样的非高斯噪声，有效利用稀疏表示理论和阈值分割迭代去噪的方法，提出一种基于Fisher判别的稀疏表示人脸识别算法(Fisher discrimination-based l_2,1-norm sparse representation，FDLSR)。FDLSR通过l_2,1范数约束残差项、核范数约束字典稀疏系数构建模型，利用Fisher判别的监督学习方法来训练稀疏表示模型，计算图像在字典上的稀疏表示，根据残差最小原则来进行人脸识别。该方法将l_2,1范数与核范数结合起来，有效去除人脸图像上的噪声，从而进行分类识别。

1基于稀疏表示分类理论(SRC)

如果将图像信号看作一维向量，有一个冗余字典，那么图像信号在冗余字典下的低维投影就是稀疏表示，投影系数即为稀疏表示系数。给定一类足够的训练样本，任何一个属于这一类的待识别图像y都可以表示为：其中y∈IR^m，这里x_i,j∈IR,j＝1,2,…,n_i是稀疏系数。如果定义了有K类训练样本，那么A表示为：

这时，待识别图像y就可以用训练样本构成的字典表示为：

y＝Dx (2)

这里，是稀疏系数向量。当m＜n时，y＝Dx是一个多解方程，给定不同的约束，不确定性方程组的解也会不同。基于稀疏表示的人脸识别模型正是从解的稀疏性来给不确定性方程组的一种约束，使得方程有唯一解。而对于人脸图像来说，信号的稀疏表示即是从完备字典里寻求最少原子的线性组合来表示人脸信号，可以表示为：

当图像中掺入了高斯噪声时，图像信号表示为：

y＝Dx+e (4)

稀疏表示模型则变为：

在这个模型中有两个变量，分别是D和x。解决这个模型的方法，利用人脸数图像作为原子直接构建过完备字典，然后采用OMP(Orthogonal Matching Pursuit)求解稀疏系数，最后计算残差，利用残差最小为待识别人脸分类。

2本发明基于Fisher判别的稀疏表示鲁棒性人脸识别算法

虽然图像中很多噪声满足高斯条件，但是也有很多非高斯噪声，例如：无规则遮挡、边框等，当进行稀疏表示的时候，这些非高斯噪声也被表示了出来，影响了对结果的判定效果，算法的鲁棒性不是很理想。那么在上一节基于稀疏表示去除噪声理论的基础上，如果能够利用稀疏表示原理又能有效去除高斯和非高斯噪声，就可以提高稀疏表示去除噪声理论进行人脸识别的鲁棒性。本文采用基于Fisher判别约束，将l_2,1范数与核范数结合的方法，既能处理字典原子间相关性强的情况，又能处理稀疏性强的情况，是一种鲁棒的人脸识别方法。为了后续优化部分表述明确，先来给出关于几种范数的定义，其中Q＝(q_i,j)_m×n表示m×n的实数矩阵，qⁱ∈Rⁿ(i＝1,2,...,m)和q_j∈R^m(j＝1,2,...,n)分别是Q的第i^th行和第j^th列。如果定义m_i是Q,i＝1,2,3,...,p的奇异值，那么核范数、Frobenius范数和l_2,1范数的定义如下：

其中||·||_*表示矩阵的核范数，矩阵的奇异值之和；||·||_F表示矩阵的Frobenius,矩阵所有值的平方和的平方根；||Q||_2,1表示矩阵的l_2,1范数，按照矩阵列向量计算的2范数之和。

给定训练集Y＝[Y₁,Y₂,....,Y_c]∈R^d×N，Y_i是第i^th类的训练样本，d是特征维数，c是样本的类个数，N是所有训练样本的个数。假设A是训练样本Y在字典D上的表示系数矩阵，那么我们可以把表示为Y＝DA+E，E表示稀疏噪声。在本文中提出一个字典学习算法来处理连续遮挡噪声，在算法中要求字典能够有足够的分辨和重构能力。第i^th类的样本Y_i有很多相关的表示方法，在这里样本矩阵可以通过一个低秩矩阵表示出来。基于稀疏表示理论，希望寻找到一个低秩的稀疏表示矩阵A_i来线性表示出第i类的样本，实际上，低秩重构对处理连续遮挡噪声是很有效的。给出了低秩矩阵相关的优化解法，所以本文利用核范数地址表示来约束稀疏系数。

人脸图像上的重构噪声用E_i来表示，原始图像与重构图像的差异即为重构误差。传统的SRC算法，1范数约束重构误差可以去除掉异常值，但是它不能排除掉连续遮挡块的噪声，即忽略了信号的相关性信息。而Frobenius范数则更侧重于信号的相关性信息，而忽略了稀疏性。结合两者的特性，用l_2,1范数特性来约束重构误差。当信号足够稀疏时，l_2,1范数能表现出1范数的稀疏特性；当信号相关性强时，l_2,1范数能表现出Frobenius范数的相关特性。本文设计模型目的是去除人脸图像上的噪声，当噪声稀疏，利用模型l_2,1范数基于1范数的特性，可以有效去除稀疏噪声；当噪声是非稀疏时，即连续噪声情况，利用模型l_2,1范数基于Frobenius范数的特性，有效去除非稀疏噪声。基于l_2,1范数约束重构误差的模型，鲁棒性的处理了人脸图像上的噪声。以其中一类的子字典D_i为例，字典学习模型表示如下：

模型(9)的信号重构能力很好，但是还不能很好的用于分类。当样本标签已知时，我们将它应用到模型约束中用来分类，使模型能更好的用于后续的分类工作。基于这一点，在模型(9)中增加F(A)约束项，表示如下：

其中F(A)是Fisher判别约束项，表示如下式(11)，最大化类间误差同时最小化类内误差，来提高分辨能力。

m_s和m分别是矩阵A_s和A的均值向量，由于F(A)是一个非凸函数，故增加一项保证F(A)的凸函数特性，下式中η为参数。

用A＝[A₁,A₂,...,A_c]表示稀疏矩阵，D＝[D₁,D₂,...,D_c]表示学习得到的字典。由于D_i是与第i^th类相关的，那么我们期望A_i在D_i有很好的表示，而在D_j上的表示很弱，所以我们增加约束项R(A)，表示为基于上面的描述，得出本文的稀疏表示模型：

其中 是Y_i在子字典D_j上的表示系数。模型(13)即为本文提出算法模型FDLSR。

3算法的优化

FDLSR目标函数由两部分构成：l_2,1范数与核范数联合部分||A||_*+λ₁||E||_2,1+λ₃R(A)和Fisher判别项部分λ₂F(A)；第一部分是数据矩阵Y的低秩分解，λ₂F(A)是基于Fisher判别的约束，通过参数λ₂来均衡低秩分解和判别约束两部分的权重。如果，那么FDLSR模型就是经典的低秩模型。

低秩模型通过ADMM来求解，ADMM用来解决如下问题：

minf(Φ)s.t.h(Φ)＝0. (14)

那么模型(14)的ADMM函数可以定义为：

Λ这里是拉格朗日乘子矩阵，μ是一个正则项。通过算法1来解决式子(15)的问题：

算法1：ADMM的生成算法

为了利用ADMM算法解决本文的问题，λ₂F(A)将转化为下式：

R₁,R₂的定义如下：令E_i＝[1]_n×n为一个全1的矩阵，而R₁的定义为R₁＝I_n×n-diag(E_i)/n，i＝[1,2,...,c]，R₂＝1/ndiag(E_i)-1/ncI_N×N)；根据变量替换原理，式子(13)转化为式子(17)

假设则根据ADMM算法有：

则可以把式子(18)化为如下形式：

通过优化E,A,Z和D迭代求解式子(19)。

3.1更新Z

基于式子(19)，固定A,E和D，更新Z：

Q的定义为对角块位置为0元素，其他位置为全1元素的选择性矩阵，通过矩阵Q来约束其他类别的稀疏系数最小，从而提高字典的分类能力)。按照矩阵的列向量来求解公式(20)，如下求解：

其中p是矩阵Z的列数，这是一个关于的线性函数，通过求导和求导数最小得到优化解(22)：

3.2更新E

基于式子(19)，固定A,M和D，更新E：

其中

式子(23)可以通过Lemma方法来求解：

Lemma Q是给定的一个矩阵

式子(24)的优化解为W^*，则优化解W^*的第i^th个列向量为：

3.3更新A

基于式子(19)，固定M,E和D，更新A：

通过下式(27)求解式子(26)：

其中

式子(27)可以通过奇异值阈值分割SVT方法来求解：

所以，式子(27)的解为：

A^k+1＝PS_ε[S]Q^T

这里PSQ^T是M(A^k)的SVD分解。

3.4更新D

基于式子(19)，固定M,E和A，更新D，其中t是矩阵D的大小：

D^k+1＝k-SVD(t,A^k) (29)

通过上述四个步骤，迭代更新每个变量，方法整体算法如下：

算法2FDLSR算法优化

3.5基于稀疏表示的分类

基于l_2,1范数的Fisher判别表示模型，利用残差最小原则来进行人脸识别，具体如算法2所示。首先，单位规范化字典的列向量。然后通过ADMM得到优化系数用λ来权衡1范数和2范数的比重。其中的非零部分将会集中在同一类上，最后计算每个类别的残差，利用残差最小原理进行分类。具体的识别分类算法如下：

算法3：基于稀疏表示的分类

1:Input:the trained dictionary matrices D and the test image y

2:Normalize each column of D to have unit l₂-norm

3:Implement y over D by solving

4:Compute the residual

whereis the coding coefficient vector associated with D_s

5:Predict the identity of y by indentity(y)＝argmin(r_s)

6:Output:the class of the test image y

为了验证提出的FDLSR算法的有效性，本文采用了Extended Yale B Database和AR Database人脸数据库进行了实验测试。

为了证明核范数对识别模型的优点，基于稀疏表示方法，设计了模型(30)FLSR方法来证实用核范数代替1范数的优点。同时，为了证实Fisher判别项的作用，也设计了模型(31)RLSR方法。

除了上述的SRC,FLSR和RLSR方法，也考虑了NN,FDDL,WSRC,ASRC方法做对比。

1在Extended Yale B Database数据库上的实验

Extended Yale B Database数据库是在不同光照条件下，38个人的2414张正面人脸图片构成，每张图片大小为192*168。

实验中将每个人的64张图片分为两部分，随机抽取32张图片用于训练，剩下的图片用于测试。由于本文提出的方法主要针对带有非高斯噪声的人脸识别，为了证明本文的FDLSRC算法的鲁棒性，设计下面2个实验；

(1)不同程度光照遮挡下的识别测试

在这个实验中，为测试图像在不同程度光照遮挡下的识别，设计了如下实验。根据不同数量的训练样本进行测试，在NN、SRC、FDDL、WSRC、ASRC、FLSR、RLSR和FDLSR各方法在无光照变化下的识别结果。在表2中所示NN、SRC、FDDL、WSRC、ASRC、FLSR、RLSR和FDLSR各方法在一般光照变化下的识别结果。在表3中所示NN、SRC、FDDL、WSRC、ASRC、FLSR、RLSR和FDLSR各方法在严重光照变化下的识别结果。在表4中所示NN、SRC、FDDL、WSRC、ASRC、FLSR、RLSR和FDLSR各方法在相同数量训练样本时，不同光照变化下的识别结果。

表1没有光照变化时不同方法的识别率

表2一般光照变化不同方法的识别率

表3严重光照变化噪声各方法的识别率

表4不同光照噪声时，不同方法的识别率

通过实验结果，可以得出FDLSR方法比其他算法都好，尤其是在严重光照遮挡情况下。随着训练样本数量的减少，FDLSR的优势就更加明显。

(2)随机块遮挡噪声下的识别测试

当人脸图像有光照变化遮挡时，FDLSR方法很有效。那么对于连续随机块遮挡时，FDLSR算法的识别率如何？为此，本文设计如下测试：仍然在Extended Yale B Database数据库中实验，选择一个与测试图像不相关的遮挡块，遮挡块的大小分别为测试样本大小的10％、20％、30％和40％，用遮挡块中的像素值代替测试图像中相应的像素值，即为测试图像加入测试图像的10％到40％大小的遮挡块噪声。

为了避免人脸中特殊特征对识别的影响，遮挡块选择随机加入到测试图像中，分别测试不同比例遮挡块下的识别率，识别结果如表5所示。

表5不同遮挡块噪声，各方法的识别率

从实验结果中可以得出，对于连续遮挡块噪声情况下的人脸识别，FDLSR方法优于其他各方法。当遮挡块面积较小时，FDLSR与RLSR和SRC方法识别率相似。但是当遮挡块面积较大时，提出的方法FDLSR较其他方法表现的更鲁棒。

2在AR数据库上的实验

AR数据库包括126个人的4000张正面图像。其中每个人的26张图像被分为两组，每组有13张图像。第1列是自然表情图片，第2列到第13列是不同表情下的人脸图片和带墨镜、口罩的图片。在实验中，设计从第一部分中挑选7张用来训练，从第二部分中挑选7张图片用来测试。实验结果如表6所示。

表6.AR数据库上的识别率

从表6中，可以得出FDLSR方法比其他方法的识别率都高。当测试人脸图像带有墨镜和口罩遮挡时，SRC、FDDL、NN等方法识别率都有所下降。但是，在实际情况中，会有很多测试人脸带有墨镜和口罩，所以本文的方法更适用于现实情况。

七、实施例

利用FDLSR进行字典学习，算法表示如下：

1.输入样本库中的样本矩阵Y和参数λ₁,λ₂；

2.初始化：A⁰＝E⁰＝Z⁰＝D⁰＝0,μ_max＝10⁶,rho＝1.1,Λ₁＝Λ₂＝0,ε＝10^-8,k＝0

3.循环：

更新Z^k,E^k,A^k,D^k,β,μ

4.满足循环结束条件，输出D

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (4)

1.一种基于Fisher判别的稀疏表示的人脸识别方法，其特征在于：包括以下步骤：

(1)通过l_2,1范数约束残差项、核范数约束字典稀疏系数来构建稀疏表示模型；

(2)利用Fisher判别的监督学习方法来训练稀疏表示模型；

(3)计算图像在字典上的稀疏表示；

(4)根据残差最小原则来进行人脸识别。

2.根据权利要求1所述的基于Fisher判别的稀疏表示的人脸识别方法，其特征在于：步骤(1)中的稀疏表示模型为公式(13)：

$\begin{array}{c}\underset{A,E}{\mathrm{argmin}}\left|\right|A|{|}_{*}+{\mathrm{\λ}}_1|\left|E\right|{|}_{2,1}+{\mathrm{\λ}}_{2}F\left(A\right)+{\mathrm{\λ}}_{3}R\left(A\right)\\ \begin{array}{cc}s.t.& Y=DA+E\end{array}\end{array}---\left(13\right)$

其中 是Y_i在子字典D_j上的表示系数，S_W(A)表示类内距离，S_B(A)表示类间距离，E为重构误差。

3.根据权利要求2所述的基于Fisher判别的稀疏表示的人脸识别方法，其特征在于：引入拉格朗日乘子，步骤(1)中的公式(13)转换为公式(19)：

通过优化E,A,Z和D迭代求解公式(19)其中，Λ₁,Λ₂是拉格朗日乘子矩阵，μ是一个正则项。

4.根据权利要求3所述的基于Fisher判别的稀疏表示的人脸识别方法，其特征在于：步骤(2)中在训练样本中加入标签信息，通过增大类间间距和减小类内间距来约束字典学习模型，从而提高字典的判别能力。