CN105469034B - 基于加权式鉴别性稀疏约束非负矩阵分解的人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于加权式鉴别性稀疏约束非负矩阵分解的人脸识别方法，主要解决现有技术对有遮挡的人脸不鲁棒，识别率低的问题。其技术方案是：1.根据测试图像遮挡区域，构造非负权值矩阵；2.在广义KL散度目标函数中引入权值矩阵，对基矩阵施加稀疏约束，对系数矩阵施加类内和类间散度约束，得到加权式鉴别性稀疏约束非负矩阵分解目标函数；3.求解该目标函数，分解训练数据矩阵，得到基矩阵和系数矩阵；4.将测试数据矩阵在基矩阵上投影，得到相应的低维表示集合，作为最终测试数据；5.用系数矩阵作为训练数据，利用最近邻分类器对测试数据进行分类，输出结果。本发明提高了遮挡情况下的人脸识别效果，可用于身份辨识和信息安全。

Description

基于加权式鉴别性稀疏约束非负矩阵分解的人脸识别方法

技术领域

本发明属于图像处理技术领域，特别涉及人脸图像显著特征提取和识别方法，可用于身份辨识和信息安全。

背景技术

随着互联网的迅速发展，身份鉴定技术在电子商务、人机交互、公共安全和网络传输等多领域有着非常重要的应用地位。与结合信息加密等策略对样本附加判别性信息的传统身份鉴定技术相比，通过利用图像处理和模式识别等方法鉴别个人身份的生物特征识别技术如指纹、虹膜、语音，具有唯一性、可靠性、方便性和不易被盗取等优点。相对其他生物特征，人脸特征具有直接、友好、方便、操作隐蔽、非侵犯性及可交互性强等优点还可以通过人脸表情与姿态的分析，获得其他识别系统难以获得的信息，因此，受到很多学者的关注。这些独特优势使得人脸识别成为一种重要的生物信息识别手段，是计算机视觉和模式识别中最受关注的问题之一，在信息安全领域有着很多实际应用场景，诸如视频监控、访问控制、智能身份证等。

传统的人脸识别方法都是通过人脸关键特征的提取和对比完成识别，其中，特征的完整性是算法优劣的关键因素。然而，当人脸发生遮挡导致人脸图像特征不完整时，传统人脸识别方法由于其过于依赖图像特征完整性，从而无法对人脸图像进行有效的特征表达，进而降低了人脸识别准确度。因此，研究如何获取具有较强表达能力的人脸特征，从而提升部分遮挡下人脸识别的准确性极其重要。

非负矩阵分解NMF是一种非负条件下的矩阵分解算法，能够极大地降低数据特征的维数，分解特性符合人类感知事物的直观体验，分解结果可解释性强，并具有明确的物理意义，目前已在维数约减、特征提取和数据挖掘等多领域获得了广泛应用。

目前已提出的非负矩阵分解算法主要有：

(1).Lee D D,Seung H S.Learning the parts of objects with nonnegativematrix factorization.Nature,1999,401(6755):788-791。文章提出一种新的矩阵分解方法—非负矩阵分解NMF。NMF直接将非负矩阵分解问题转化为带约束的非线性规划问题，要求子空间的基以及样本在子空间上的投影系数都是非负的，这一约束限制了投影到子空间的数据只能是子空间基的加性组合，而不存在约减运算，因此，NMF可以看作是一个部分基表示模型。NMF算法具有局部构成整体的表达特性，能够提供观测数据的直观结构，但在有些时候，NMF算法也会给出全局的特征，而在图像处理领域，需要分解结果尽可能体现更多的局部特征信息。

(2).P.O.Hoyer.Non-negative matrix factorization with sparsenessconstraints.J.of Mach.Learning Res.,5:1457–1469,2004。文章提出了一种可精确控制因子矩阵稀疏度的非负矩阵分解方法NMFSC，能够以非线性投影同时实现基矩阵和系数矩阵稀疏性的精确控制，显示出了较好的分解性能。近年来，这种基于稀疏表示的算法被成功应用于人脸识别，并显示出了对噪声和局部遮挡的鲁棒性，但对大面积的连续遮挡依然没能达到较高的识别率。

(3).Zafeiriou S,Tefas A,Buciu I,et al.Exploiting discriminantinformation in nonnegative matrix factorization with application to frontalface verification[J].Neural Networks,IEEE Transactions on,2006,17(3):683-695。文章提出了一种鉴别非负矩阵分解DNMF算法。为了使分解所得系数矩阵具有更好的判别性从而在分类识别中获得更优性能，DNMF使用了样本数据的判别信息，对系数矩阵构造散度约束项，使得其具有类内结构的局部保持性以及类间的判别特性。DNMF很好地利用了数据的类别信息，但对人脸遮挡的鲁棒性和适应性较差，特别是对于人脸图像中存在大面积连续区域的遮挡。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种加权式鉴别性稀疏约束非负矩阵分解的人脸识别方法，以更有效地提取人脸显著特征，提升对人脸遮挡的鲁棒性。

本发明的技术思路是：对上述DNMF算法进行改进，首先对广义KL散度GKLD目标函数进行加权扩展，形成加权广义KL散度WGKLD目标函数，其次在WGKLD目标函数基础上添加对系数矩阵施加的类内散度约束项和类间散度约束项、对基矩阵施加稀疏约束正则项，最终形成加权式鉴别性稀疏约束非负矩阵分解WDSNMF目标函数，对WDSNMF目标函数进行优化求解，实现对人脸图像数据构成的数据矩阵的分解，获得具有判别意义的人脸局部特征信息，以避免遮挡对有效特征提取的影响，其实现方案包括如下：

(1)对训练数据集A中的图像进行预处理，并表示为非负矩阵：x_j为由第j个训练图像构成的列向量，j＝1,2,…,n，n为训练图像的个数，表示实m×n矩阵空间R^m×n中全体非负矩阵构成的子集合，m为单幅训练图像中的像素总数；

(2)根据测试人脸图像遮挡区域，构造非负的权值矩阵并对W中对应于人脸未遮挡区域的权值系数给予10⁴的权值，对W中对应于人脸遮挡区域的权值系数给予10^-4的权值；

(3)在广义KL散度GKLD目标函数中引入权值矩阵W，形成加权广义KL散度WGKLD目标函数：

其中，表示待分解的非负矩阵，X_i,j表示X中第i行j列的元素，即第j个样本向量的第i个像素值；分别是对X进行非负矩阵分解期望得到的基矩阵和系数矩阵，为r基矩阵Z所含列向量的数目，也称非负矩阵分解算法的分解维数，Z和H均是非负的；W_i,j表示W中第i行j列的权值系数；log表示以e为底的自然对数运算；

(4)对基矩阵Z施加l1范数的正则化稀疏约束，对系数矩阵H施加类内散度约束和类间散度约束，并将这三项约束引入到加权广义KL散度WGKLD目标函数中，形成加权式鉴别性稀疏约束非负矩阵分解WDSNMF的目标函数D_WDSNMF(X||ZH)如下：

其中，Z_i,f表示Z中第i行f列的元素；tr[S_w]为类内散度约束项，是矩阵S_w的迹；tr[S_b]为类间散度约束项，是矩阵S_b的迹；S_w为类内散度矩阵， 为系数矩阵H中对应于第φ类样本中第ρ个样本的列向量，，μ^(φ)为系数矩阵H中对应于第φ类样本的列向量的均值向量，C为样本类别数，N^φ为属于φ类的样本个数，T为转置运算；S_b为类间散度矩阵，μ为系数矩阵H中对应于所有样本的列向量的均值向量，tr[]为矩阵的迹运算，γ为调节类内散度大小与准确重构之间平衡的平衡调节系数，δ为调节类间散度大小与准确重构之间平衡的平衡调节系数，β为控制稀疏度与准确重构之间平衡的平衡调节系数；

(5)对目标函数D_WDSNMF(X||ZH)进行优化求解，实现对非负矩阵X的分解，得到基矩阵Z和系数矩阵H；其中，基矩阵Z＝{z₁,z₂,…,z_f,…,z_r}代表训练数据的基空间，也称人脸图像的潜在模式或局部特征集，其各列f＝1,2,…,r代表一个人脸特征，表示实m维向量空间R^m中全体非负向量构成的子集合；系数矩阵H是所有训练图像低维表示的集合{h₁,h₂,…,h_j,…,h_n}，j＝1,2,…,n，表示实r维向量空间R^r中全体非负向量构成的子集合；

(6)给定测试数据集B，对B中的每张图像采用与训练图像相同的预处理方式，将每张预处理过的人脸图像矩阵转置后，再按像素点逐列排成一个列向量d＝1,2,…,g，作为该张图像的数据，用B中所有图像的数据向量组合成矩阵其中，g为测试样本数，表示实m×g矩阵空间R^m×g中全体非负矩阵构成的子集合；

(7)将一幅测试图像对应的列向量t_d在步骤(5)所得的基矩阵Z上进行投影，得到列向量t_d的低维表示：用所有测试图像的低维表示得到一个测试图像集数据的低维表示集合：其中， 表矩阵的广义逆运算；

(8)利用最近邻分类器对测试数据进行分类，得到人脸识别的识别率结果RA。

本发明与现有技术相比具有以下优点：

1)本发明在GKLD目标函数中添加了权值矩阵，克服了DNMF算法对人脸特征表达能力较弱的问题，克服了DNMF算法对遮挡鲁棒性较差的问题；

2)本发明对基矩阵施加了简单有效的稀疏性约束，可以得到比DNMF算法更具局部性的特征，可解释性优于DNMF算法。

附图说明

图1是本发明的实现流程图；

图2是用本发明和现有三种方法分解维数为25的基图像结果图；

图3是用本发明和现有三种方法分解维数为100的基图像结果图；

图4是用本发明和现有三种方法对有眼部遮挡图像的人脸识别率曲线对比图；

图5是用本发明和现有三种方法对有嘴部遮挡图像的人脸识别率曲线对比图。

具体实施方式

一、基础理论介绍

随着通信与信息技术以及互联网技术的不断发展，人们获取和收集数据的能力越来越强，这些数据已呈现出维数高、规模大和结构复杂等特性。如何利用这些数据，发挥其价值，以指导实际生产和具体应用，引起许多人的关注和研究。矩阵分解的概念出现于一些广泛而重要的应用，并且对不同矩阵分解做出的假设是不同的，因此在每个应用领域中选择恰当假设是关键。很多数据，如灰度图像和物质成分含量都是非负的，且有时具有稀疏性或光滑性。对于这样的数据，最好把这些约束条件在分析中加以考虑，以提取出具有物理意义或合理解释的非负和稀疏或光滑的成分。

非负矩阵分解NMF是一个很有效的矩阵分解算法，它力图在大规模的矩阵数据中发现具有解释功能的关系，能够发掘数据潜在的内部结构特征，降低数据维数，节省存储空间和计算资源，在处理高维海量数据时优势明显；非负性约束使得分解结果具有一定的稀疏性，能够在一定程度上对外界环境变化鲁棒，如在人脸识别时，遮挡、光照、缩放对提取特征的不利影响；此外，NMF中原始数据矩阵是基矩阵中基向量的非负线性组合的特点和人对外界事物的感知过程是相同的，即整体感知由部分感知组合而成，所以，NMF符合人的心理学和生理学原理，具有智能特性。

基本的NMF问题可以表述如下，设有n个m维的非负样本向量，构成m×n维的非负原始数据矩阵对X进行非负矩阵分解，有：

X≈ZH

式中，和也是非负矩阵，r为分解维数。Z通常被称为基矩阵，H称为系数矩阵。Z中的每一列代表一个基图像，H中的每一列是一个编码向量，对应X中的每一个样本向量。H可以看作X在Z向量空间的投影，因此，可以用系数矩阵H代替原始数据矩阵X，称为原始数据的低维表示，原始矩阵X中的每一列向量可以解释为对左矩阵Z中所有列向量的加权和，而权重系数为右矩阵H中对应列向量中的元素。这种基于基向量组合的表示形式具有直观的语义解释，反映了人类思维中“局部构成整体”的概念。一般情况下，基向量数r，即分解维数应满足r＜mn/(m+n)，从而得到数据矩阵的低维表示。

以基于NMF的人脸识别为例，由于对Z和H中的元素都施加非负约束，从而允许多个基图像组成一张人脸，所以基于NMF的算法可以构造出一个基于部分的表示，这正好符合将不同部分组成一个整体的直觉想法。另外，NMF的基和编码都很稀疏，而相对稀疏的表示方式具有许多优势，如能够在一定程度上抑制外界变化，如部分遮挡、光线变化和物体的旋转都会给特征提取带来的不利影响。基的稀疏性源于基是局部信息，如嘴巴、鼻子等，由于不同人脸是对这些不同人脸部分进行了组合、重用，所以编码向量也是稀疏的。

二.实施方案

以下参照附图对本发明的实例及效果作详细描述。

参照图1，本发明的基于加权式鉴别性稀疏约束非负矩阵分解的人脸识别方法，步骤如下：

步骤1，对训练数据集A中的图像进行预处理，并表示为非负矩阵X。

对人脸识别方法进行测试的常用人脸识别数据库有Yale人脸图像库、ORL人脸图像库、AR人脸图像库等，主要包含表情、光照、姿态、遮挡等不同情况的变化。本发明主要是为了提升对人脸遮挡的鲁棒性，例如眼部、嘴部遮挡，因此选用包含眼部、嘴部遮挡人脸图像的AR人脸图像库对本方法进行测试，即从AR人脸图像库中选择118人，每人6张，共708幅无遮挡图像作为训练数据，构成训练数据集A，并进行如下预处理：

1a)将训练数据集A中属于同一人的无遮挡图像排列在一起，然后按顺序将118人的图像按顺序排列；

1b)对训练数据集A中的各人脸图像进行直方图均衡化预处理，增强像素灰度值的动态范围以改善对比度，减少不均匀光照对视觉效果或识别率的影响，以提升人脸识别算法性能，然后对每幅图像重新调整大小，形成p×q像素大小的图像矩阵，每幅图像均包含m＝p×q个像素值；

1c)对每幅图像进行转置，再逐列排列，表示成一个m维的列向量x_j,j＝1,2,…,n，其中，n为训练图像的个数；

1d)按顺序将x_j排列成非负矩阵：X＝[x₁,x₂,…,x_j,…,x_n]。

步骤2，根据测试人脸图像遮挡区域，构造非负的权值矩阵

人脸图像中的遮挡区域会对有效特征的提取产生较大影响，因此为了获得具有判别意义的人脸局部特征信息，本发明引入权值矩阵W，对W中对应于人脸未遮挡区域的权值系数给予10⁴较大系数值，对W中对应于人脸遮挡区域的权值系数给予10^-4较小系数值，这样可以获得对遮挡更具鲁棒性的特征信息。

根据测试人脸图像遮挡区域，构造权值矩阵W过程如下：

2a)将测试图像三等分成上中下三部分，计算每一部分在整张人脸图像中所占的能量比，公式如下：

其中，B_ξ表示测试图像均分成上中下三块中的第ξ块区域，V_ξ(x,y)为第ξ个子块在图像像素位置(x,y)处的灰度值，x∈[1,p],y∈[1,q]，p表示测试图像调整大小后每一列像素个数，q表示测试图像调整大小后每一行像素个数；

2b)比较上中下三部分的能量比，将能量最小的区域定为测试人脸图像遮挡区域；

2c)构造一个m×n的空矩阵W′；

2d)根据测试人脸图像遮挡区域，按照如下权值系数W_i,j，i＝1,2,…,m,j＝1,2,…,n的构造公式，将对应于人脸未遮挡区域的权值系数给予10⁴的权值，对应于人脸遮挡区域的权值系数给予10^-4的权值；

其中，∈表示属于某个集合，表示不属于某个集合；

2e)将构造的所有W_i,j按坐标顺序对空矩阵W′进行赋值，完成赋值后即可得到非负的权值矩阵W。

步骤3，根据权值矩阵W，构造加权广义KL散度WGKLD目标函数D_WGKLD(X||ZH)。

其中，表示待分解的非负数据矩阵，X_i,j表示X中第i行j列的元素，即第j个样本向量的第i个像素值；分别是对X进行非负矩阵分解期望得到的基矩阵和系数矩阵，Z和H都是非负的；log表示以e为底的自然对数运算。

步骤4，对基矩阵Z施加稀疏约束，对系数矩阵H施加类内、类间散度约束，并将这三项约束引入到加权广义KL散度WGKLD目标函数中，形成加权式鉴别性稀疏约束非负矩阵分解WDSNMF的目标函数D_WDSNMF(X||ZH)。

4a)为了获得更具局部特性的特征，对基矩阵Z施加简单有效的l1范数正则化稀疏约束，并表示为：其中，r为基矩阵Z所含列向量的数目，也称非负矩阵分解算法的分解维数，Z_i,f为基矩阵Z的第i行第f列元素；

4b)为了利用训练数据的类内信息，使得本发明所得的训练数据的低维表示具有类内结构的局部保持性，对系数矩阵H施加类内散度约束，构造类内散度约束项tr[S_w]，其中，S_w为针对系数矩阵H定义的类内散度矩阵， 为系数矩阵H中对应于第φ类样本中第ρ个样本的列向量，T为转置运算，μ^(φ)为系数矩阵H中对应于第φ类样本的列向量的均值向量，C为样本类别数，N^φ为属于第φ类的样本个数；tr[]为矩阵的迹运算，S_w所刻画的是从总体来看类内各个样本与所属类之间的离散程度；

4c)为了利用训练数据的类间信息，使得利用本发明所得训练数据的低维表示具有类间的判别特性，对系数矩阵H施加类内散度约束，构造类间散度约束项tr[S_b]，其中，S_b为对系数矩阵H定义的类间散度矩阵，μ为系数矩阵H中对应于所有样本的列向量的均值向量，S_b从宏观上描述了所有类别和总体之间的离散程度；

4d)将4a)、4b)、4c)中描述的三项约束，添加到加权广义KL散度WGKLD目标函数，形成加权式鉴别性稀疏约束非负矩阵分解WDSNMF的目标函数D_WDSNMF(X||ZH)：

其中，γ为调节类内散度大小与准确重构之间平衡的平衡调节系数，δ为调节类间散度大小与准确重构之间平衡的平衡调节系数，β为控制稀疏度与准确重构之间平衡的平衡调节系数。

步骤5，对上述目标函数D_WDSNMF(X||ZH)进行优化求解，实现对非负矩阵X的分解，得到基矩阵Z和系数矩阵H。

对非负矩阵分解的目标函数进行优化求解的常用的方法有:交替最小二乘法ALS、乘性迭代更新方法，本发明选择使用简单有效的乘性迭代更新方法对目标函数D_WDSNMF(X||ZH)进行求解，其步骤如下：

5a)随机初始化基矩阵Z和系数矩阵H，使得基矩阵Z中的任意元素满足Z_i,f∈[0,1],i＝1,2,…,m,f＝1,2,…,r，其中，Z_i,f表示基矩阵Z中第i行f列元素，系数矩阵H的任意元素满足H_f,l∈[0,1],f＝1,2,…,r,l＝1,2,…,n，其中，H_f,l表示稀疏矩阵第f行l列的元素；

5b)对基矩阵Z中的元素进行更新：

首先，按照如下更新公式得到中间变量值

然后，对该中间变量值进行标准化处理：将作为本次对基矩阵Z中元素的迭代更新结果，其中，为迭代t次后基矩阵Z的第i行f列元素；为迭代t-1次后基矩阵Z的第i行f列元素；为迭代t-1次后系数矩阵H的第f行l列元素；W_i,l为权值矩阵W的第i行第l列系数值；β为控制稀疏度与准确重构之间平衡的平衡调节系数，也可表示控制对基矩阵稀疏约束的强度；

5c)按如下迭代规则更新系数矩阵H中的元素

其中，为迭代t-1次后基矩阵Z的第i行f列元素；为迭代t-1次后系数矩阵H的第f行l列元素；为迭代t次后系数矩阵H的第f行l列元素；μ_f为系数矩阵H中对应于所有样本的列向量的均值向量μ中的第f个元素；γ为调节类内散度大小与准确重构之间平衡的平衡调节系数，δ为调节类间散度大小与准确重构之间平衡的平衡调节系数，也可解释为通过γ、δ来调整数据类内结构和类间判别信息在目标函数中所占比重；

5d)采用预定义的最大迭代次数iter作为停止迭代条件，迭代次数t达到iter次后，停止迭代，输出得到的期望的基矩阵Z和系数矩阵H；否则，返回步骤5b)。

通过上述迭代更新得到的基矩阵Z代表训练数据的基空间，也称为人脸图像的潜在模式或局部特征集，其各列f＝1,2,…,r代表一个人脸特征，表示实m维向量空间R^m中全体非负向量构成的子集合，系数矩阵H实际上是所有训练图像低维表示的集合{h₁,h₂,…,h_j,…,h_n}， 表示实r维向量空间R^r中全体非负向量构成的子集合。

步骤6，给定测试数据集B，对测试图像进行预处理，并表示为矩阵T。

为了减少不均匀光照对视觉效果或识别率的影响，通常会对图像进行预处理，常用的预处理方法有直方图均衡化法、Gamma灰度校正法、自商图像方法。本发明选择的是直方图均衡化方法，步骤如下：

6a)对测试数据集B中每张人脸图像采用直方图均衡化进行归一化预处理，增强像素灰度值的动态范围以改善对比度，以提升人脸识别算法性能，且将人脸图像的分别率调整为p×q像素，256个灰度级，以在后续使用中减少内存消耗；

6b)对每张预处理过的人脸图像矩阵进行转置后，再将各像素点逐列排成一个列向量作为该图像的数据向量，其中，d＝1,2,…,g，g为测试样本数；

6c)将测试数据集B中所有图像的数据向量组合成矩阵其中，表示实m×g矩阵空间R^m×g中全体非负矩阵构成的子集合。

步骤7，将一幅测试图像对应的列向量t_d在步骤(5)所得的基矩阵Z上进行投影，得到列向量t_d的低维表示：用所有测试图像的低维表示得到一个测试图像集数据的低维表示集合：其中， 表矩阵的广义逆运算。

步骤8，利用最近邻分类器对测试数据进行分类，得到人脸识别的识别率结果RA。

8a)利用以下相似度度量公式，分别计算测试图像的低维表示y_d与训练数据集A中各图像的低维表示h_i的相似度，得到低维表示y_d的相似度集合{s_1d,s_2d,…,s_jd,…,s_nd}：

其中，H_f,j表示系数矩阵H的第f行第j列元素，Y_f,d表示测试图像集数据的低维表示集合Y的第f行第d列元素；

8b)从低维表示y_d的相似度集合{s_1d,s_2d,…,s_jd,…,s_nd}中选择最小值s_ωd，ω∈{1,2,…,n}，将低维表示y_d所对应的测试图像归类到低维表示h_ω所对应的训练图像所属的类别；

8c)对测试数据中所有测试图像做出分类判断后，统计被正确识别分类的测试图像数目Cor；

8d)按照如下公式计算人脸识别的识别率RA：

其中，g为测试样本总数。

对测试数据进行分类的分类器不限于本实例使用的最近邻分类器，也可选用K-近邻分类器、支持向量机SVM分类器。

本发明的效果可通过以下实验仿真进一步说明。

1.仿真条件：

实验平台为Matlab R2010a，实验数据为标准的AR人脸库。AR库包含126人的4000多幅人脸图像，其中每一幅图像具有768×576像素大小，这些人脸图像均是正面拍摄，且具有不同的面部表情，光照条件，饰物即眼镜或围巾，化妆，发型。照片是在严格控制的条件下在计算机视觉中心CVC拍摄的，没有对参与者的穿戴物、化妆和发型强加限制。每个人参加了两场的拍摄，拍照时间间隔两周，分别采用以下不同的面部数据：1)自然表情；2)微笑；3)愤怒；4)惊叫；5)左侧光照；6)右侧光照；7)均衡光照；8)戴眼镜；9)戴眼镜并且左侧光；10)戴眼镜并且右侧光；11)戴围巾；12)戴围巾并且左侧光；13)戴围巾并且右侧光。

2.仿真内容及结果：

仿真1，度量本发明和现有NMF、NMFSC、DNMF三种方法在分解维数r为25时，得到的基矩阵的稀疏性，各基图像结果如图2，其中：图2(a)为NMF方法得到的基图像，稀疏性度量结果为0.47；图2(b)为NMFSC方法得到的基图像，稀疏性度量结果为0.70；图2(c)为DNMF方法得到的基图像,稀疏性度量结果为0.63；图2(d)为本发明得到的基图像，稀疏性度量结果为0.68。

仿真2，度量本发明和现有NMF、NMFSC、DNMF三种方法在分解维数r为100时，得到基矩阵的稀疏性，各基图像结果如图3，其中：图3(a)为NMF方法得到的基图像，稀疏性度量结果为0.56；图3(b)为NMFSC方法得到的基图像，稀疏性度量结果为0.70；图3(c)为DNMF方法得到的基图像，稀疏性度量结果为0.70；图3(d)为本发明得到的基图像，稀疏性度量结果为0.76。

从图2、图3可以看出，随着分解维数的增加，各方法提取的特征的稀疏度有所增加，特征更加局部化，无论分解维数r是25还是100，NMFSC、DNMF和本发明所提取的基图像在稀疏性上均比NMF方法有较大幅度的提高，NMF方法提取的特征的局部性较差，并且，本发明所提取的基图像在稀疏性上比DNMF方法略有提高，而且从提取的人脸特征的结果来看，本发明在人脸部件，如眼、鼻、嘴、额头等方面的局部特征更加明显，可解释性更好。

仿真3，用本发明和现有NMF、NMFSC、DNMF三种方法，在AR人脸图像库下，测试人脸图像有眼部遮挡情况下的人脸识别效果，实验结果如图4。

仿真4，用本发明和现有NMF、NMFSC、DNMF三种方法，在AR人脸图像库下，测试人脸图像有嘴部遮挡情况下的人脸识别效果，实验结果如图5。

从图4和图5给出的眼部和嘴部遮挡下的人脸识别率在不同分解维数的变化曲线，比较几种算法的识别结果，可以看出本发明具有较好的分类性能，这是因为本发明能够一定程度上对遮挡鲁棒，因而能够提取到更好的局部显著特征，从而提升分类准确性。

以上仿真结果说明本发明能够更好地克服大面积连续区域遮挡，提取更具有鉴别意义的人脸局部特征，提高了分解结果的可解释性，使得分类性能得到进一步的改善。

Claims (4)

1.一种基于加权式鉴别性稀疏约束非负矩阵分解的人脸识别方法，包括如下步骤：

(1)对训练数据集A中的图像进行预处理，并表示为非负矩阵：

x_j为由第j个训练图像构成的列向量，j＝1,2,…,n，n为训练图像的个数，表示实m×n矩阵空间R^m×n中全体非负矩阵构成的子集合，m为单幅训练图像中的像素总数；

(2)根据测试人脸图像遮挡区域，构造非负的权值矩阵并对W中对应于人脸未遮挡区域的权值系数给予10⁴的权值，对W中对应于人脸遮挡区域的权值系数给予10^-4的权值；

所述根据测试人脸图像遮挡区域，构造非负的权值矩阵W，实现步骤如下：

2a)将测试图像三等分成上中下三部分，计算每一部分在整张人脸图像中所占的能量比，公式如下：

其中，B_ξ表示测试图像均分成上中下三块中的第ξ块区域，V_ξ(x,y)为第ξ个子块在图像像素位置(x,y)处的灰度值，x∈[1,p],y∈[1,q]，p表示测试图像调整大小后每一列像素个数，q表示测试图像调整大小后每一行像素个数；

2b)比较上中下三部分的能量比，将能量最小的区域定为测试人脸图像遮挡区域；

2c)构造一个m×n的空矩阵W′；

2d)根据测试人脸图像遮挡区域，按照如下权值系数W_i,j，i＝1,2,…,m,j＝1,2,…,n的构造公式，将对应于人脸未遮挡区域的权值系数给予10⁴的权值，对应于人脸遮挡区域的权值系数给予10^-4的权值；

其中，∈表示属于某个集合，表示不属于某个集合；

2e)将构造的所有W_i,j按坐标顺序对空矩阵W′进行赋值，完成赋值后即可得到非负的权值矩阵W；

(3)在广义KL散度GKLD目标函数中引入权值矩阵W，形成加权广义KL散度WGKLD目标函数：

其中，表示待分解的非负矩阵，X_i,j表示X中第i行j列的元素，即第j个样本向量的第i个像素值；分别是对X进行非负矩阵分解期望得到的基矩阵和系数矩阵，r为基矩阵Z所含列向量的数目，也称非负矩阵分解算法的分解维数，Z和H均是非负的；W_i,j表示W中第i行j列的权值系数；

(4)对基矩阵Z施加l1范数的正则化稀疏约束，对系数矩阵H施加类内散度约束和类间散度约束，并将这三项约束引入到加权广义KL散度WGKLD目标函数中，形成加权式鉴别性稀疏约束非负矩阵分解WDSNMF的目标函数D_WDSNMF(X||ZH)如下：

其中，Z_i,f表示Z中第i行f列的元素；tr[S_w]为类内散度约束项，是矩阵S_w的迹；tr[S_b]为类间散度约束项，是矩阵S_b的迹；S_w为类内散度矩阵， 为系数矩阵H中对应于第φ类样本中第ρ个样本的列向量，μ^(φ)为系数矩阵H中对应于第φ类样本的列向量的均值向量，C为样本类别数，N^φ为属于φ类的样本个数，T为转置运算；S_b为类间散度矩阵，μ为系数矩阵H中对应于所有样本的列向量的均值向量，tr[]为矩阵的迹运算，γ为调节类内散度大小与准确重构之间平衡的平衡调节系数，δ为调节类间散度大小与准确重构之间平衡的平衡调节系数，β为控制稀疏度与准确重构之间平衡的平衡调节系数；

(5)对目标函数D_WDSNMF(X||ZH)进行优化求解，实现对非负矩阵X的分解，得到基矩阵Z和系数矩阵H；其中，基矩阵Z＝{z₁,z₂,…,z_f,…,z_r}代表训练数据的基空间，也称人脸图像的潜在模式或局部特征集，其各列f＝1,2,…,r代表一个人脸特征，表示实m维向量空间R^m中全体非负向量构成的子集合；系数矩阵H是所有训练图像低维表示的集合{h₁,h₂,…,h_j,…,h_n}，j＝1,2,…,n，表示实r维向量空间R^r中全体非负向量构成的子集合；

(6)给定测试数据集B，对B中的每张图像采用与训练图像相同的预处理方式，将每张预处理过的人脸图像矩阵转置后，再按像素点逐列排成一个列向量d＝1,2,…,g，作为该张图像的数据向量，用B中所有图像的数据向量组合成矩阵其中，g为测试样本数，表示实m×g矩阵空间R^m×g中全体非负矩阵构成的子集合；

(7)将一幅测试图像对应的列向量t_d在步骤(5)所得的基矩阵Z上进行投影，得到列向量t_d的低维表示：用所有测试图像的低维表示得到一个测试图像集数据的低维表示集合：其中， 表矩阵的广义逆运算；

(8)利用最近邻分类器对测试数据进行分类，得到人脸识别的识别率结果RA。

2.根据权利要求1所述的方法，其中步骤(1)中对训练数据集A中的图像进行预处理，表示为非负矩阵，按如下步骤进行：

1a)对训练数据集A中每幅图像进行直方图均衡化处理，然后重新调整大小，形成p×q像素大小的图像矩阵，每幅图像均包含m＝p×q个像素值；

1b)将每幅图像转置后，逐列排列，表示成一个m维的列向量，记为x_j,j＝1,2,…,n，其中，n为训练图像的个数；

1c)按顺序将x_j排列成非负矩阵：X＝[x₁,x₂,…,x_j,…,x_n]。

3.根据权利要求1所述的方法，其中步骤(5)中对目标函数D_WDSNMF(X||ZH)进行优化求解，步骤如下：

5a)随机初始化基矩阵Z和系数矩阵H，使得基矩阵Z中的任意元素满足Z_i,f∈[0,1],i＝1,2,…,m,f＝1,2,…,r，其中，Z_i,f表示基矩阵Z中第i行f列元素，系数矩阵H的任意元素满足H_f,l∈[0,1],f＝1,2,…,r,l＝1,2,…,n，其中，H_f,l表示稀疏矩阵第f行l列的元素；

5b)对基矩阵Z中的元素进行更新：

首先，按照如下更新公式得到中间变量值

然后，对该中间变量值进行标准化处理：将作为本次对基矩阵Z中元素的迭代更新结果，其中，为迭代t次后基矩阵Z的第i行f列元素；为迭代t-1次后基矩阵Z的第i行f列元素；为迭代t-1次后系数矩阵H的第f行l列元素；W_i,l为权值矩阵W的第i行第l列系数值；β为控制稀疏度与准确重构之间平衡的平衡调节系数；

5c)按如下迭代规则更新系数矩阵H中的元素

其中，为迭代t-1次后基矩阵Z的第i行f列元素；为迭代t-1次后系数矩阵H的第f行l列元素；为迭代t次后系数矩阵H的第f行l列元素；μ_f为系数矩阵H中对应于所有样本的列向量的均值向量μ中的第f个元素；γ为调节类内散度大小与准确重构之间平衡的平衡调节系数，δ为调节类间散度大小与准确重构之间平衡的平衡调节系数；

5d)采用预定义的最大迭代次数iter作为停止迭代条件，迭代次数t达到iter次后，停止迭代，输出得到的期望的基矩阵Z和系数矩阵H；否则，返回步骤5b)。

4.根据权利要求1所述的方法，其中步骤(8)中用最近邻分类器对测试数据进行分类，得到人脸识别的识别率结果RA，实现步骤如下：

8a)利用以下相似度度量公式，分别计算测试图像的低维表示y_d与训练数据集A中各图像的低维表示h_j的相似度，得到低维表示y_d的相似度集合{s_1d,s_2d,…,s_jd,…,s_nd}：

其中，H_f,i表示系数矩阵H的第f行第j列元素，Y_f,d表示测试图像集数据的低维表示集合Y的第f行第d列元素；

8b)从低维表示y_d的相似度集合{s_1d,s_2d,…,s_jd,…,s_nd}中选择最小值s_ωd，ω∈{1,2,…,n}，将低维表示y_d所对应的测试图像归类到低维表示h_ω所对应的训练图像所属的类别；

8c)对测试数据中所有测试图像做出分类判断后，统计被正确识别分类的测试图像数目Cor；

8d)按照如下公式计算人脸识别的识别率RA：

其中，g为测试样本总数。