CN105335732A - 基于分块及鉴别非负矩阵分解的有遮挡人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于分块及鉴别非负矩阵分解的有遮挡人脸识别方法，主要解决现有技术对人脸大面积连续遮挡下识别率较低的问题。其技术方案是：1.构造训练数据集的数据矩阵和第k块非负矩阵；2.根据数据矩阵类别间的余弦相似度构造权值矩阵和新的类间散度矩阵，形成新的目标函数；3.对该目标函数优化求解，得到基矩阵和系数矩阵；4.构造测试集的第k块测试数据矩阵，将其在基矩阵上投影得到投影系数矩阵；5.计算投影系数矩阵中每一个列向量与系数矩阵中所有列向量的距离，利用加权融合准则，得到测试集中每一幅图像的类别。实验表明，本发明提高了有大面积连续遮挡下的人脸识别率，可应用于身份鉴定和信息安全领域。

Description

基于分块及鉴别非负矩阵分解的有遮挡人脸识别方法

技术领域

本发明属于图像处理技术领域，特别涉及人脸图像识别方法，可应用于身份鉴定和信息安全领域。

背景技术

随着科学技术的不断进步，身份鉴定技术在视频监控、人机交互、出入口控制等多领域有着非常重要的应用地位。与安全性较低的ID卡和密码等技术相比，通过利用人体生物特征的生物特征识别技术如指纹、基因等，具有安全可靠、特征唯一、不易伪造等优点。在所有的生物特征识别技术中，利用人脸特征进行身份鉴定是最直接、最方便的手段，受到很多学者的关注。这些独特优势使得通过计算机提取人脸特征并根据这些特征进行身份验证的人脸识别成为一种重要的生物信息识别手段，在信息安全领域有着很多实际应用场景，诸如视频监控、访问控制、智能身份证等。

由于人脸图像样本的维数往往很高，而样本个数却远远小于图像维数，造成人脸图像在高维空间中的分布比较稀疏，不利于分类和识别，并且，不同人脸图像之间也具有较强的相似性，若单纯利用原始人脸图像进行身份鉴定，会使人脸识别系统计算量巨大且影响识别效果。为解决此问题，人们通常对高维的人脸图像进行降维处理，将其压缩到一个低维的子空间进行识别。传统降维方法有主成分分析、独立分量分析和线性判别分析等，但这些方法通常允许降维后的数据含有负值，而人脸图像灰度值具有非负性，从而需要将这一特性考虑在模型中。

非负矩阵分解NMF是一种要求被分解矩阵和分解后的矩阵在非负性约束条件下的矩阵分解算法，能够极大地降低数据特征的维数，分解特性符合人的心理学和生理学原理，具有智能特性；另外，分解结果可解释性强，并具有明确的物理意义，目前已在维数约减、特征提取和模式识别等多领域获得了广泛应用。

目前已提出的非负矩阵分解方法主要有：

(1).LeeDD,SeungHS.Learningthepartsofobjectswithnonnegativematrixfactorization.Nature,1999,401(6755):788-791。文章提出一种新的矩阵分解方法—非负矩阵分解NMF。非负矩阵分解NMF直接将原始数据矩阵分解为基矩阵和系数矩阵，并要求基矩阵以及原始数据矩阵在基矩阵上的投影系数即系数矩阵都是非负的，这表明非负矩阵分解NMF只存在加性组合，因此，非负矩阵分解NMF可以看作是一个基于部分表示的模型。非负矩阵分解NMF能够提供观测数据的局部结构，但有些情况下，NMF算法也会给出全局特征，导致分类性能受限。

(2).LISZ,HOUXin-wen,ZHANGHong-jiang,etal.Learningspatiallylocalized，parts-basedrepresentation[C]//ProcofIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.WashingtonDC:IEEESomputerSociety,2001:207-212。文章提出一种具有保持局部特性的局部非负矩阵分解LNMF算法。该算法以一种简单的形式最大化系数矩阵的稀疏性，同时基矩阵具有正交性和局部表示特性。实验表明，局部非负矩阵分解LNMF分解得到的图像特征比非负矩阵分解NMF更局部化，但由于没有利用数据的判别信息，分类准确性有待提升。

(3).ZafeiriouS,TefasA,BuciuI,etal.Exploitingdiscriminantinformationinnonnegativematrixfactorizationwithapplicationtofrontalfaceverification[J].NeuralNetworks,IEEETransactionson,2006,17(3):683-695。文章提出了一种鉴别非负矩阵分解DNMF算法。鉴别非负矩阵分解DNMF利用样本数据的判别信息，对系数矩阵构造散度约束项，使得样本在低维空间中能够保持数据类内的紧凑结构及类间鉴别性，很好地利用了数据的类别信息，但鉴别非负矩阵分解DNMF鲁棒性和适应性较差，特别是对于大面积连续区域的有遮挡人脸识别不够鲁棒。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于分块及鉴别非负矩阵分解的有遮挡人脸识别方法，以降低不同局部特征提取间的干扰，更准确的提取人脸局部特征，提高人脸识别率。

实现本发明的技术关键是在鉴别非负矩阵分解DNMF的目标函数中引入新的类间散度约束项，对鉴别性非负矩阵分解算法进行改进，利用改进后的算法提取人脸若干不重叠子块的基矩阵，并根据特征融合规则，利用最近邻NN分类器进行融合识别，实现步骤包括如下：

(1)对训练数据集A中的每幅图像进行直方图均衡化处理，并等分成不重叠的上中下三个子块，以及将每个子块的各像素点逐列排成一列，作为该子块的数据，将训练数据集A中所有图像相同位置处的子块数据组成一个矩阵，从上到下分别形成第k块非负矩阵X^k，k＝1,2,3；

(2)利用训练数据集A中每类样本的均值向量间的余弦相似度构造权值矩阵W，并将其引入到基本鉴别非负矩阵分解DNMF模型的类间散度矩阵，形成新的类间散度矩阵；

(3)将新的类间散度约束引入到基本鉴别非负矩阵分解DNMF模型中，形成改进的鉴别非负矩阵分解MDNMF目标函数：

$D_{MDNMF}\left(X^k\left|\right|Z^k{H}^k\right)=\underset{j}{\overset{n}{\mathrm{\Σ}}}\underset{i}{\overset{m/3}{\mathrm{\Σ}}}\left(X_{i,j}^k\log \frac{X_{i,j}^k}{{\left(Z^k{H}^k\right)}_{i,j}}-X_{i,j}^k+{\left(Z^k{H}^k\right)}_{i,j}\right)+\mathrm{\γ}tr\[S_w^k\]-\mathrm{\δ}tr\[{S_b^k}^{\′}\]$

其中，X^k为第k块非负矩阵，Z^k表示由第k块非负矩阵X^k分解得到的基矩阵，m为每幅图像的维数，r为分解维数，H^k表示由第k块非负矩阵X^k分解得到的系数矩阵，n为训练数据集A中样本的个数，表示第k块非负矩阵X^k中第i行j列的元素，log为以e为底的自然对数运算，(Z^kH^k)_i,j表示基矩阵Z^k和系数矩阵H^k乘积的第i行j列的元素，γ为类内散度调节系数，tr[]为矩阵的迹运算，为第k块非负矩阵X^k对应系数矩阵的类内散度矩阵，δ为类间散度调节系数，为第k块非负矩阵X^k对应系数矩阵H^k的新的类间散度矩阵；

(4)对改进的鉴别非负矩阵分解MDNMF目标函数进行优化求解，实现对第k块非负矩阵X^k的分解，得到基矩阵Z^k和系数矩阵H^k，其中，系数矩阵H^k中的每一个列向量称为系数向量；

(5)对测试集B中的每幅图像采用与训练数据集A相同的处理方式以构造第k块测试数据矩阵其中，m为每幅图像的维数，g为测试集B中的样本个数；

(6)将第k块测试矩阵中第f个测试数据在基矩阵Z^k上进行投影，得到投影系数向量f＝1,2,...,g；用第k块所有测试数据的投影系数向量组成投影系数矩阵：其中，表示矩阵的广义逆运算；

(7)计算测试集B中第f幅测试图像的第k块投影系数向量与训练数据集A中各图像的系数向量的欧氏距离，利用加权融合准则和最近邻NN分类器，找出训练数据集A中与第f幅测试图像距离最小的图像，并将该图像的类别作为第f幅测试图像的类别；

(8)将第f幅测试图像的类别与测试集B中第f幅测试图像在数据库中定义的类别相比较，统计测试集B中被正确分类的测试图像的数目CN，计算测试集B的正确分类率Ra：

$Ra=\frac{CN}{g}.$

本发明与现有技术相比具有以下优点：

1)本发明通过引入权值矩阵对原始的类间散度矩阵进行改进，更有效地利用了数据的类别信息；

2)本发明采用图像分块处理的方式进行非负矩阵分解，克服了人脸图像在有大面积连续遮挡的情况下，导致人脸识别性能不稳定和不可靠的问题；

3)本发明利用加权融合规则及最近邻NN分类器进行人脸识别，克服了基本鉴别非负矩阵分解DNMF对人脸特征表达能力较弱以及对遮挡鲁棒性较差的问题，明显地提高了人脸识别的识别率。

附图说明

图1是本发明的实现流程图；

图2是基于本发明和现有三种非负矩阵分解的人脸眼部遮挡识别率曲线对比图；

图3是基于本发明和现有三种非负矩阵分解的人脸嘴部遮挡识别率曲线对比图。

具体实施方式

一、基础理论介绍。

如何处理海量数据，如何提取特征并有效利用获得了企业界和学术界的广泛关注。非负矩阵分解NMF是一种有效的特征提取及数据降维方法，该方法在处理高维海量数据时，能够提取数据潜在的局部特征，大大降低数据特征的维数，节省大量存储空间，且非负性约束使得分解结果具有一定的稀疏性，能够一定程度抑制外界环境变化对特征提取带来的影响，此外，非负矩阵分解NMF具有局部感知整体的智能特征。

1.基本非负矩阵分解NMF模型。

设有n个m维的非负样本向量，构成m×n维的非负原始数据矩阵对X进行非负矩阵分解，有：

X≈ZH

式中，和也是非负矩阵，m为每个样本图像的维数，n为训练数据集A中图像的个数，r为分解维数。Z通常被称为基矩阵，H称为系数矩阵，基矩阵Z和系数矩阵H都是非负矩阵。一般情况下，基向量数r，即分解维数应满足：r＜mn/(m+n)，从而得到数据矩阵的低维表示。

2.基本鉴别非负矩阵分解DNMF模型。

在基本非负矩阵分解NMF模型的基础上，通过使用训练数据集A中样本数据的判别信息，对系数矩阵施加类内散度约束和类间散度约束，形成基本鉴别非负矩阵分解DNMF模型，从而使得分解结果具有类内结构的局部保持性及类间的判别特性。

以基于非负矩阵分解NMF的人脸识别为例，由于基矩阵Z和系数矩阵H都是非负的，从而可以对多个基图像进行线性组合重构出一张人脸图像，所以，非负矩阵分解NMF是一种基于部分表示全局的算法。此外，由于施加了非负性约束，使得基矩阵和系数矩阵具有一定程度的稀疏性，可以在一定程度上抑制光线变化、表情变化和部分遮挡给特征提取带来的不利影响。因此，基于非负矩阵分解NMF方法可以提取相对稀疏的局部特征以提高人脸识别率。

二、本发明的具体实施方案。

参照图1，本发明的基于改进的鉴别非负矩阵分解MDNMF的有遮挡人脸识别方法，步骤如下：

步骤1，对训练数据集A中的每幅图像进行处理，构建原始数据矩阵X和第k块非负矩阵X^k。

(1.1)对人脸图像进行处理：

对实验中的各人脸图像先采用直方图均衡化处理，增强像素灰度值的动态范围以改善对比度，减少不均匀光照对视觉效果或识别率的影响，以提升人脸识别算法性能；

然后将人脸图像重新调整为p×q像素大小的图像，以减少内存消耗、提高效率；

(1.2)构造完整图像的原始数据矩阵X：

将第j幅图像逐列排列，表示成一个m维的列向量，记为x_j,j＝1,2,...,n；

将列向量x_j按顺序排列成非负矩阵其中，表示实m×n矩阵空间R^m×n中全体非负矩阵构成的子集合；

(1.3)对人脸图像进行无重叠分块：

由于子块过多，会影响计算的实时性，子块过少，会降低抗遮挡能力，因此需要考虑局部子块的数量的选择，本发明根据局部区域尽可能包含整个人脸单元和人脸图像大面积连续遮挡的情况，将将训练集中每幅图像等分成不重叠的上中下三个子块：

(1.4)基于已分好的三个子块，构造第k块非负矩阵X^k：

将训练数据集A中第j个图像的第k块向量组成第k块非负矩阵 $X^k=[x_1^k,x_2^k,...,x_j^k,...,x_n^k],X^k\∈R_{+}^{(m/3)\×n},$ 其中，∈表示属于某个集合；表示实(m/3)×n矩阵空间R^(m/3)×n中全体非负矩阵构成的子集合。

步骤2，构造权值矩阵并将其引入到基本鉴别非负矩阵分解DNMF模型的类间散度矩阵，形成新的类间散度矩阵。

(2.1)根据数据矩阵X类别间的余弦相似度构造权值矩阵W：

为了更好地利用类别信息，考虑到在特征提取中，应重点分离相对较相似的类别样本，以得到更好的判别特征，本发明通过构造权值矩阵W，并对原始的类间散度矩阵进行优化实现类别间相异度的提升。

利用数据矩阵X类别间的余弦相似度构造权值矩阵W，构造规则为：

(2.1a)按如下公式计算数据矩阵X类别间的余弦相似度sim(υ^(α),υ^(β))：

$\sin \left({\mathrm{\υ}}^{\left(\mathrm{\α}\right)},{\mathrm{\υ}}^{\left(\mathrm{\β}\right)}\right)=\frac{\underset{\mathrm{\η}=1}{\overset{m}{\mathrm{\Σ}}}\left({\mathrm{\υ}}_{\mathrm{\η}}^{\left(\mathrm{\α}\right)},{\mathrm{\υ}}_{\mathrm{\η}}^{\left(\mathrm{\β}\right)}\right)}{\sqrt{\underset{\mathrm{\η}=1}{\overset{m}{\mathrm{\Σ}}}{\left({\mathrm{\υ}}_{\mathrm{\η}}^{\left(\mathrm{\α}\right)}\right)}^2}\sqrt{\underset{\mathrm{\η}=1}{\overset{m}{\mathrm{\Σ}}}{\left({\mathrm{\υ}}_{\mathrm{\η}}^{\left(\mathrm{\β}\right)}\right)}^2}},\mathrm{\α}\≠\mathrm{\β}$

其中，α∈[1,C]，β∈[1,C]，C为训练数据集A中样本的类别数，υ^(α)为第α类样本的均值向量，计算公式为υ^(β)为第β类样本的均值向量，其计算式为 为第α类第ρ个样本向量，N^α为属于第α类的样本个数，为第β类第ρ个样本向量，N^β为属于第β类的样本个数，为第α类样本的均值向量υ^(α)的第η个元素，为第β类样本的均值向量υ^(β)的第η个元素；

(2.1b)令由W_θ,ζ组成权值矩阵W如下：

其中，θ∈[1,C]，ζ∈[1,C]且θ＝α，β＝ζ，W_θ,ζ为权值矩阵W的第θ行ζ列的元素。

(2.2)利用(2.1)得到的权值矩阵W构造新的类间散度矩阵S_b′：

利用权值矩阵W对类间散度矩阵进行改进，得到新的类间散度矩阵S_b′如下：

${S_b}^{\′}=\frac{1}{C(C-1)}\underset{\mathrm{\θ}=1}{\overset{C}{\Σ}}\underset{\mathrm{\ζ}=1}{\overset{C}{\Σ}}{W}_{\mathrm{\θ},\mathrm{\ζ}}({\mathrm{\μ}}^{\left(\mathrm{\θ}\right)}-{\mathrm{\μ}}^{\left(\mathrm{\ζ}\right)}){({\mathrm{\μ}}^{\left(\mathrm{\θ}\right)}-{\mathrm{\μ}}^{\left(\mathrm{\ζ}\right)})}^T$

其中，N^θ为属于θ类的样本个数，μ^(θ)为第θ类样本的系数向量的均值向量，μ为训练数据集A中所有样本的系数向量的均值向量，其计算公式为 为系数矩阵中对应于第θ类的第ρ个样本的系数向量，μ^(ζ)为第ζ类样本的系数向量的均值向量。由S_b′的公式可以看出，S_b′从宏观上描述了各个类之间的离散程度，我们期望类间区别更加明显，因此，类间散度矩阵S_b′中的数值要大。

步骤3，将步骤2所得新的类间散度矩阵S_b′引入到基本鉴别非负矩阵分解DNMF模型中，形成改进的鉴别非负矩阵分解MDNMF算法的目标函数。

(3.1)对系数矩阵H^k施加类内散度约束：

令为第k块非负矩阵X^k对应系数矩阵H^k的类内散度矩阵，其计算公式为：系数矩阵H^k的类内散度矩阵所刻画的是从总体来看类内各个样本与类之间的离散程度，为了使类内样本间更加紧凑，所以，系数矩阵H^k的类内散度矩阵中的数值要小；计算系数矩阵H^k的类内散度矩阵的迹并用作为系数矩阵H^k的类内散度约束；

(3.2)按照新的类间散度矩阵S_b′的公式，计算系数矩阵H^k新的类间散度矩阵的迹并用作为系数矩阵H^k的新的类间散度约束；

(3.3)针对第k块非负矩阵X^k构建目标函数：

将系数矩阵H^k的类内散度约束和新的类间散度约束引入到基本鉴别非负矩阵分解DNMF模型中，得到改进的鉴别非负矩阵分解MDNMF算法的目标函数：

$D_{MDNMF}\left(X^k\left|\right|Z^k{H}^k\right)=\underset{j}{\overset{n}{\mathrm{\Σ}}}\underset{i}{\overset{m/3}{\mathrm{\Σ}}}\left(X_{i,j}^k\log \frac{X_{i,j}^k}{{\left(Z^k{H}^k\right)}_{i,j}}-X_{i,j}^k+{\left(Z^k{H}^k\right)}_{i,j}\right)+\mathrm{\γ}tr\[S_w^k\]-\mathrm{\δ}tr\[{S_b^k}^{\′}\].$

步骤4，针对第k块非负矩阵X^k，利用改进的鉴别非负矩阵分解MDNMF目标函数进行优化求解，得到基矩阵Z^k和系数矩阵H^k，具体实现如下：

(4.1)随机初始化基矩阵和系数矩阵使得基矩阵中的任意元素满足Z_i,ψ∈[0,1]，ψ∈[1,r]，其中，Z_i,ψ表示基矩阵中第i行ψ列元素，系数矩阵的任意元素满足H_ψ,u∈[0,1]，u∈[1,n]，其中，H_ψ,u表示系数矩阵第ψ行u列的元素；

(4.2)按如下迭代规则更新基矩阵中的元素

(4.2a)由(4.1)中的基矩阵和系数矩阵得到更新迭代式

${Z_{i,\mathrm{\ψ}}^{\left(t\right)}}^{\′}=\frac{Z_{i,\mathrm{\ψ}}^{\left(t-1\right)}\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{X}_{i,l}\frac{H_{\mathrm{\ψ},l}^{\left(t-1\right)}}{\underset{\mathrm{\ψ}=1}{\overset{r}{\mathrm{\Σ}}}{Z}_{i,\mathrm{\ψ}}^{\left(t-1\right)}{H}_{i,\mathrm{\ψ}}^{\left(t-1\right)}}}{\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{H}_{\mathrm{\ψ},l}^{\left(t-1\right)}}$

(4.2b)对(4.2a)得到的更新迭代式进行归一化处理，得到基矩阵中的元素：

$Z_{i,\mathrm{\ψ}}^{\left(t\right)}=\frac{{Z_{i,\mathrm{\ψ}}^{\left(t\right)}}^{\′}}{\underset{l=1}{\overset{n}{\Σ}}{Z_{l,\mathrm{\ψ}}^{\left(t\right)}}^{\′}}$

其中，在t＝1的时候，使用初始化得到的基矩阵和系数矩阵对基矩阵中的元素进行更新；在t＞1的时候，使用迭代t-1次后得到的基矩阵和系数矩阵对基矩阵中的元素进行更新；为迭代t次后的基矩阵的第i行ψ列元素，t∈[1,iter]，iter为预定义最大迭代次数，为迭代t-1次的基矩阵的第i行ψ列元素，X_i,l为第k块非负矩阵X^k的第i行l列的元素，为迭代t-1次的系数矩阵的第ψ行l列的元素；

(4.3)根据(4.2)得到的迭代t次后的基矩阵按如下迭代规则更新系数矩阵中的元素

(4.3a)按如下公式计算中间变量T：

$T=2\mathrm{\γ}\left(\frac{1}{N^{\mathrm{\θ}}}\underset{\mathrm{\λ}\∈u^{\mathrm{\θ}}}{\mathrm{\Σ}}{H}_{\mathrm{\ψ},\mathrm{\λ}}^{\left(t-1\right)}\right)+\frac{4\mathrm{\δ}}{N^{\mathrm{\θ}}}\underset{\mathrm{\ζ},\mathrm{\ζ}\≠\mathrm{\θ}}{\overset{C}{\mathrm{\Σ}}}{W}_{\mathrm{\θ},\mathrm{\ζ}}(\frac{1}{N^{\mathrm{\θ}}}\underset{\mathrm{\λ}\∈u^{\mathrm{\θ}}}{\mathrm{\Σ}}{H}_{\mathrm{\ψ},\mathrm{\λ}}^{\left(t-1\right)}-\frac{4\mathrm{\δ}}{N^{\mathrm{\θ}}}\underset{\mathrm{\ζ},\mathrm{\ζ}\≠\mathrm{\θ}}{\overset{C}{\mathrm{\Σ}}}{W}_{\mathrm{\θ},\mathrm{\ζ}}\left(\frac{1}{N^{\mathrm{\ζ}}}\underset{s\∈u^{\mathrm{\ζ}}}{\mathrm{\Σ}}{H}_{\mathrm{\ψ},s}^{\left(t-1\right)}\right)-1;$

(4.3b)根据T更新系数矩阵中的元素：

$H_{\mathrm{\ψ},u}^{\left(t\right)}=\frac{T+\sqrt{T^2+8\mathrm{\γ}\left(\underset{i=1}{\overset{m/3}{\Σ}}{X}_{i,u}\frac{z_{i,\mathrm{\ψ}}^{(t-1)}{H}_{\mathrm{\ψ},u}^{(t-1)}}{\underset{\mathrm{\ψ}=1}{\overset{r}{\Σ}}{z}_{i,\mathrm{\ψ}}^{(t-1)}{H}_{\mathrm{\ψ},u}^{(t-1)}}\right)}}{4\mathrm{\γ}},$

其中，为迭代t次后的系数矩阵的第ψ行u列元素，X_i,u为第k块非负矩阵X^k的第i行u列的元素，为迭代t-1次后的基矩阵的第i行ψ列元素，为迭代t-1次的系数矩阵的第ψ行u列元素，u^θ为系数矩阵H^k中属于第θ类的样本向量的列标号集合，为迭代t-1次的系数矩阵的第ψ行λ列元素，N^ζ为属于第ζ类的样本个数，u^ζ为系数矩阵H^k中属于第ζ类的样本向量的列标号集合，为迭代t-1次的系数矩阵的第ψ行s列元素；

(4.4)预定义最大迭代次数iter；

(4.5)判断是否满足停止迭代条件t＝iter，若满足，则将第iter次迭代更新得到的基矩阵和系数矩阵作为最终得到的基矩阵Z^k和系数矩阵H^k；否则，返回步骤4.2)。

步骤5，对测试集B中的每幅图像进行处理，得到第k块测试数据矩阵T^k。

(5.1)对人脸图像进行处理：

对测试集B的各人脸图像采用直方图均衡化处理，增强像素灰度值的动态范围以改善对比度，减少不均匀光照对视觉效果或识别率的影响，以提升人脸识别算法性能；

然后将人脸图像重新调整为p×q像素大小的图像，以减少内存消耗、提高效率；

(5.2)对人脸图像进行无重叠分块：

对测试集B的各人脸图像等分成不重叠的上中下三个子块，将每个子块的各像素点逐列排成一列，形成测试数据的子块向量，并用所有图像相同位置处的子块向量组成一个矩阵，形成第k块测试数据矩阵：

其中，为第k块测试矩阵中第f个测试数据，f＝1,2,...,g，g为测试集B中图像的个数。

步骤6，计算第k块所有测试数据的投影系数向量，并将所有测试数据的投影系数向量组成投影系数矩阵Y^k。

(6.1)将第k块测试矩阵中第f个测试数据在基矩阵Z^k上进行投影，得到投影系数向量用作为测试集B中第f个测试数据；

(6.2)用第k块所有测试数据的投影系数向量组成投影系数矩阵： $Y^k=[y_1^k,y_2^k,...,y_f^k,...,y_g^k]\∈R_{+}^{r\×g},$ 其中，表示矩阵的广义逆运算。

步骤7，利用加权融合准则和最近邻NN分类器，得到测试集B中第f幅测试图像的类别。

(7.1)计算测试集B中第f个测试数据和训练数据集A中第j个样本之间的加权距离d_jf：

其中，σ为第一块加权参数，表示矩阵的范数，为训练数据集A中第j个样本第1块的系数向量的第φ个元素，为测试集B中第f个测试数据的第1块投影系数向量的第φ个元素，ξ为第二块加权参数，为训练数据集A中第j个样本第2块的系数向量的第φ个元素，为测试集B中第f个测试数据的第2块投影系数向量的第φ个元素，为第三块加权参数，为训练数据集A中第j个样本第3块的系数向量的第φ个元素，为测试集B中第f个测试数据的第3块投影系数向量的第φ个元素，s.t.为约束条件符号；

(7.2)，找出训练数据集A中与第f幅测试图像距离最小的图像，并将该图像的类别作为第f幅测试图像的类别：

根据(7.1)得到的加权距离d_jf组成集合{d_1f,d_2f,...,d_jf,...,d_nf}，从集合{d_1f,d_2f,...,d_jf,...,d_nf}中选择出最小值d_ωf，ω∈{1,2,…,n}；从训练数据集A中找到对应最小值d_ωf的第ω幅图像，并将第ω幅图像的类别作为第f幅测试图像的类别。

步骤8，计算测试集B的正确分类率Ra。

(8.1)统计测试集B中被正确分类的测试图像的数目CN：

将第f幅测试图像的类别与测试集B中第f幅测试图像在数据库中定义的类别相比较，统计测试集B中被正确分类的测试图像的数目CN；

(8.2)计算测试集B的正确分类率Ra：

本发明的效果可通过以下实验仿真进一步说明。

1.仿真条件：

实验平台为MatlabR2010a，实验数据为标准的AR人脸库。AR库包含126个人，其中70名男性，56名女性，共4000多幅人脸图像，每一幅图像具有768×576个像素，这些人脸图像均是正面拍摄，且具有不同的面部表情，光照条件，化妆，发型，眼镜或围巾。照片是在严格控制的条件下在计算机视觉中心CVC拍摄的，没有对参与者的穿戴、化妆和发型强加限制。每个人参加了两场的拍摄，拍照时间间隔两周，分别采用以下不同的面部数据：1)自然表情；2)微笑；3)愤怒；4)惊叫；5)左侧光照；6)右侧光照；7)均衡光照；8)戴眼镜；9)戴眼镜并且左侧光；10)戴眼镜并且右侧光；11)戴围巾；12)戴围巾并且左侧光；13)戴围巾并且右侧光。

2.仿真内容及结果：

仿真1：选取AR库中的118人，其中62名男性，56名女性，每人6幅正常表情且无遮挡的图像作为实验数据。实验之前，为了提高减少内存消耗，将图像调整为48×39像素大小的图像。实验中，将改进的鉴别非负矩阵分解MDNMF方法的调整参数γ设为1，δ设为e^-3，迭代次数iter为1000次。

分解维数分别取30、90、150、210时，比较本发明与现有基本非负矩阵分解NMF、局部非负矩阵分解LNMF及鉴别非负矩阵分解DNMF提取特征的稀疏度，结果见表1。

表1本发明的MDNMF和现有NMF、LNMF、DNMF特征稀疏度比较

表1中的数据举例说明：0.49表示在分解维数取30时，基本非负矩阵分解NMF提取特征的稀疏度，0.65表示改进的非负矩阵分解MDNMF总的分解维数在30(每块分解维数为10)时提取特征的稀疏度。

仿真2：选择118人，其中62名男性，56名女性，每人6幅未遮挡图像作为训练数据集，每人6幅眼部遮挡图像作为眼部遮挡测试数据集，每人6幅嘴部遮挡图像作为嘴部遮挡测试数据集；

实验中，对本发明中参数设置如下：

在眼部遮挡下：γ＝1，δ＝e^-3，σ＝0.5,ξ＝0.1,iter＝1000；

在嘴部遮挡下，γ＝1，δ＝e^-3，σ＝0.5,ξ＝0.4,iter＝1000。

为了保证本发明与对比算法分解维数一致，令对比算法的分解维数为30，45，…，210，本发明针对子块的分解维数相应为10，15，…，70。

为了验证本发明算法的有效性，实验重复独立运行5次，比较本发明与现有基本非负矩阵分解NMF、局部非负矩阵分解LNMF及鉴别非负矩阵分解DNMF的平均人脸识别率，结果如图2和图3。其中：

图2为眼部遮挡下的识别率随分解维数的变化曲线；

图3为嘴部遮挡下的识别率随分解维数的变化曲线；

图2的横坐标表示不同的分解维数，纵坐标表示人脸图像在眼部遮挡下的平均人脸识别率；

图3的横坐标表示不同的分解维数，纵坐标表示人脸图像在嘴部遮挡下的平均人脸识别率；

从实验结果可以看出，本发明的分类性能有了较高程度和图的提高，这是因为本发明针对人脸遮挡问题，对图像进行了分块处理，并对类间散度矩阵进行了优化，能够在一定程度上克服遮挡对人脸识别造成的负面影响，因而能够提取到更好的局部显著特征，从而提升分类的准确性。

以上仿真结果说明，与现有技术相比，本发明能够更好地利用数据间的类别信息，提取更具有鉴别意义的人脸局部特征，对有大面积连续遮挡的人脸图像识别鲁棒性强，进一步提高了人脸识别率。

Claims (7)

1.基于分块及鉴别非负矩阵分解的有遮挡人脸识别方法，包括：

(1)对训练数据集A中的每幅图像进行直方图均衡化处理，并等分成不重叠的上中下三个子块，以及将每个子块的各像素点逐列排成一列，作为该子块的数据，将训练数据集A中所有图像相同位置处的子块数据组成一个矩阵，从上到下分别形成第k块非负矩阵X^k，k＝1,2,3；

(2)利用训练数据集A中每类样本的均值向量间的余弦相似度构造权值矩阵W，并将其引入到基本鉴别非负矩阵分解DNMF模型的类间散度矩阵，形成新的类间散度矩阵；

(3)将新的类间散度约束引入到基本鉴别非负矩阵分解DNMF模型中，形成改进的鉴别非负矩阵分解MDNMF目标函数：

$D_{MDNMF}\left(X^k\right|\left|Z^k{H}^k\right)=\underset{j}{\overset{n}{\Σ}}\underset{i}{\overset{m/3}{\Σ}}(X_{i,j}^{k}log\frac{x_{i,j}^k}{{\left(Z^k{H}^k\right)}_{i,j}}-X_{i,j}^k+{\left(Z^k{H}^k\right)}_{i,j})+\mathrm{\γ}tr\[S_w^k\]-\mathrm{\δ}tr\[{S_b^k}^{\′}\]$

其中，X^k为第k块非负矩阵，Z^k表示由第k块非负矩阵X^k分解得到的基矩阵，m为每幅图像的维数，r为分解维数，H^k表示由第k块非负矩阵X^k分解得到的系数矩阵，n为训练数据集A中样本的个数，表示第k块非负矩阵X^k中第i行j列的元素，log为以e为底的自然对数运算，(Z^kH^k)_i,j表示基矩阵Z^k和系数矩阵H^k乘积的第i行j列的元素，γ为类内散度调节系数，tr[]为矩阵的迹运算，为第k块非负矩阵X^k对应系数矩阵的类内散度矩阵，δ为类间散度调节系数，为第k块非负矩阵X^k对应系数矩阵H^k的新的类间散度矩阵；

(4)对改进的鉴别非负矩阵分解MDNMF目标函数进行优化求解，实现对第k块非负矩阵X^k的分解，得到基矩阵Z^k和系数矩阵H^k，其中，系数矩阵H^k中的每一个列向量称为系数向量；

(5)对测试集B中的每幅图像采用与训练数据集A相同的处理方式以构造第k块测试数据矩阵k＝1,2,3，其中，m为每幅图像的维数，g为测试集B中的样本个数；

(6)将第k块测试矩阵中第f个测试数据在基矩阵Z^k上进行投影，得到投影系数向量f＝1,2,...,g；用第k块所有测试数据的投影系数向量组成投影系数矩阵：其中，表示矩阵的广义逆运算；

(7)计算测试集B中第f幅测试图像的第k块投影系数向量与训练数据集A中各图像的系数向量的欧氏距离，利用加权融合准则和最近邻NN分类器，找出训练数据集A中与第f幅测试图像距离最小的图像，并将该图像的类别作为第f幅测试图像的类别；

(8)将第f幅测试图像的类别与测试集B中第f幅测试图像在数据库中定义的类别相比较，统计测试集B中被正确分类的测试图像的数目CN，计算测试集B的正确分类率Ra：

$Ra=\frac{CN}{g}.$

2.根据权利要求1所述的基于分块及鉴别非负矩阵分解的有遮挡人脸识别方法，其中步骤(1)中将训练数据集A中所有图像相同位置处的子块数据组成一个矩阵，从上到下分别形成第k块非负矩阵X^k，按如下步骤进行：

1a)将训练数据集A中的每幅图像重新调整大小，形成p×q像素大小的图像，每幅图像均包含m＝p×q个像素值，将第j幅图像表示成一个m维的列向量x_j，按顺序将x_j排列成数据矩阵 $X=\[x_1,x_2,...,x_j,...,x_n\]\∈R_{+}^{m\×n};$

1b)将训练数据集A中第j个图像的第k块向量组成第k块非负矩阵 $X^k=\[x_1^k,x_2^k,...,x_j^k,...,x_n^k\],X^k\∈R_{+}^{(m/3)\×n},$ 其中，∈表示属于某个集合；表示实(m/3)×n矩阵空间R^(m/3)×n中全体非负矩阵构成的子集合。

3.根据权利要求1所述的基于分块及鉴别非负矩阵分解的有遮挡人脸识别方法，其中步骤(2)中利用训练数据集A中每类样本的均值向量间的余弦相似度构造权值矩阵W，实现如下：

2a)按如下公式计算数据矩阵X类别间的余弦相似度sim(υ^(α),υ^(β))：

$sim({\mathrm{\υ}}^{\left(\mathrm{\α}\right)},{\mathrm{\υ}}^{\left(\mathrm{\β}\right)})=\frac{\underset{\mathrm{\η}=1}{\overset{m}{\Σ}}\left({\mathrm{\υ}}_{\mathrm{\η}}^{\left(\mathrm{\α}\right)},{\mathrm{\υ}}_{\mathrm{\η}}^{\left(\mathrm{\α}\right)}\right)}{\sqrt{\underset{\mathrm{\η}=1}{\overset{m}{\Σ}}{\left({\mathrm{\υ}}_{\mathrm{\η}}^{\left(\mathrm{\α}\right)}\right)}^2}\sqrt{\underset{\mathrm{\η}=1}{\overset{m}{\Σ}}{\left({\mathrm{\υ}}_{\mathrm{\η}}^{\left(\mathrm{\β}\right)}\right)}^2}},\mathrm{\α}\≠\mathrm{\β}$

其中，α∈[1,C]，β∈[1,C]，C为训练数据集A中样本的类别数，υ^(α)为第α类样本的均值向量，计算公式为υ^(β)为第β类样本的均值向量，其计算式为 为第α类的第ρ个样本向量，N^α为属于第α类的样本个数，为第β类的第ρ个样本向量，N^β为属于第β类的样本个数，为第α类样本的均值向量υ^(α)的第η个元素，为第β类样本的均值向量υ^(β)的第η个元素；

2b)令W_θ,ζ＝sim(υ^(α),υ^(β))，由W_θ,ζ组成权值矩阵W如下：

其中，θ∈[1,C]，ζ∈[1,C]且θ＝α，β＝ζ，W_θ,ζ为权值矩阵W的第θ行ζ列的元素。

4.根据权利要求1所述的基于分块及鉴别非负矩阵分解的有遮挡人脸识别方法，其中步骤(2)中利用权值矩阵W构造新的类间散度矩阵S_b'，是利用权值矩阵W对类间散度矩阵进行改进，得到新的类间散度矩阵S_b'如下：

${S_b}^{\′}=\frac{1}{C\left(C-1\right)}\underset{\mathrm{\θ}=1}{\overset{C}{\mathrm{\Σ}}}\underset{\mathrm{\ζ}=1}{\overset{C}{\mathrm{\Σ}}}{W}_{\mathrm{\θ},\mathrm{\ζ}}\left({\mathrm{\μ}}^{\left(\mathrm{\θ}\right)}-{\mathrm{\μ}}^{\left(\mathrm{\ζ}\right)}\right){\left({\mathrm{\μ}}^{\left(\mathrm{\θ}\right)}-{\mathrm{\μ}}^{\left(\mathrm{\ζ}\right)}\right)}^T$

其中，N^θ为属于第θ类的样本个数，μ^(θ)为第θ类样本的系数向量的均值向量，μ为训练数据集A中所有样本的系数向量的均值向量，其计算公式为 为系数矩阵中对应于第θ类的第ρ个样本的系数向量，μ^(ζ)为第ζ类样本的系数向量的均值向量。

5.根据权利要求1所述的基于分块改进的鉴别非负矩阵分解的有遮挡人脸识别方法，其中步骤(3)中通过引入新的类间散度约束形成改进的鉴别非负矩阵分解MDNMF算法的目标函数，其实现如下：

3a)令为第k块非负矩阵X^k对应系数矩阵H^k的类内散度矩阵，其计算公式为：计算系数矩阵H^k的类内散度矩阵的迹并用作为系数矩阵H^k的类内散度约束；

3b)按照新的类间散度矩阵S_b'的公式，计算系数矩阵H^k的新的类间散度矩阵的迹并用作为系数矩阵H^k的新的类间散度约束；

3c)将系数矩阵H^k的类内散度约束和新的类间散度约束引入到基本鉴别非负矩阵分解DNMF模型中，得到改进的鉴别非负矩阵分解MDNMF算法的目标函数：

$D_{MDNMF}\left(X^k\right|\left|Z^k{H}^k\right)=\underset{j}{\overset{n}{\Σ}}\underset{i}{\overset{m/3}{\Σ}}(X_{i,j}^{k}log\frac{x_{i,j}^k}{{\left(Z^k{H}^k\right)}_{i,j}}-X_{i,j}^k+{\left(Z^k{H}^k\right)}_{i,j})+\mathrm{\γ}tr\[S_w^k\]-\mathrm{\δ}tr\[{S_b^k}^{\′}\].$

6.根据权利要求1所述的基于分块及鉴别非负矩阵分解的有遮挡人脸识别方法，其中步骤(4)中对改进的鉴别非负矩阵分解MDNMF目标函数进行优化求解，得到基矩阵Z^k和系数矩阵H^k，实现如下：

4a)随机初始化基矩阵和系数矩阵使得基矩阵中的任意元素满足Z_i,ψ∈[0,1]，ψ∈[1,r]，其中，Z_i,ψ表示基矩阵中第i行ψ列元素，系数矩阵的任意元素满足H_ψ,u∈[0,1]，u∈[1,n]，其中，H_ψ,u表示系数矩阵第ψ行u列的元素；

4b)按如下迭代规则更新基矩阵中的元素

4b1)由4a)中的基矩阵和系数矩阵得到更新迭代式

${Z_{i,\mathrm{\ψ}}^{\left(t\right)}}^{\′}=\frac{Z_{i,\mathrm{\ψ}}^{(t-1)}\underset{l=1}{\overset{n}{\Σ}}{X}_{i,l}\frac{H_{\mathrm{\ψ},l}^{\left(t-1\right)}}{\underset{\mathrm{\ψ}=1}{\overset{r}{\Σ}}{Z}_{i,\mathrm{\ψ}}^{(t-1)}{H}_{\mathrm{\ψ},l}^{\left(t-1\right)}}}{\underset{l=1}{\overset{n}{\Σ}}{H}_{\mathrm{\ψ},l}^{\left(t-1\right)}}$

4b2)对4b1)得到的更新迭代式进行归一化处理，得到基矩阵中的元素：

$Z_{i,\mathrm{\ψ}}^{\left(t\right)}=\frac{{Z_{i,\mathrm{\ψ}}^{\left(t\right)}}^{\′}}{\underset{l=1}{\overset{n}{\Σ}}{Z_{l,\mathrm{\ψ}}^{\left(t\right)}}^{\′}}$

其中，在t＝1的时候，使用初始化得到的基矩阵和系数矩阵对基矩阵中的元素进行更新；在t＞1的时候，使用迭代t-1次后得到的基矩阵和系数矩阵对基矩阵中的元素进行更新；为迭代t次后的基矩阵的第i行ψ列元素，t∈[1,iter]，iter为预定义最大迭代次数，为迭代t-1次的基矩阵的第i行ψ列元素，X_i,l为第k块非负矩阵X^k的第i行l列的元素，为迭代t-1次的系数矩阵的第ψ行l列的元素；

4c)根据4b)得到的迭代t次后的基矩阵按如下迭代规则更新系数矩阵中的元素

4c1)按如下公式计算中间变量T：

$T=2\mathrm{\γ}\left(\frac{1}{N^{\mathrm{\θ}}}\underset{\mathrm{\λ}\∈u^{\mathrm{\θ}}}{\mathrm{\Σ}}{H}_{\mathrm{\ψ},\mathrm{\λ}}^{\left(t-1\right)}\right)+\frac{4\mathrm{\δ}}{N^{\mathrm{\θ}}}\underset{\mathrm{\ζ},\mathrm{\ζ}\≠\mathrm{\θ}}{\overset{C}{\mathrm{\Σ}}}{W}_{\mathrm{\θ},\mathrm{\ζ}}(\frac{1}{N^{\mathrm{\θ}}}\underset{\mathrm{\λ}\∈u^{\mathrm{\θ}}}{\mathrm{\Σ}}{H}_{\mathrm{\ψ},\mathrm{\λ}}^{\left(t-1\right)}-\frac{4\mathrm{\δ}}{N^{\mathrm{\θ}}}\underset{\mathrm{\ζ},\mathrm{\ζ}\≠\mathrm{\θ}}{\overset{C}{\mathrm{\Σ}}}{W}_{\mathrm{\θ},\mathrm{\ζ}}\left(\frac{1}{N^{\mathrm{\ζ}}}\underset{s\∈u^{\mathrm{\ζ}}}{\mathrm{\Σ}}{H}_{\mathrm{\ψ},s}^{\left(t-1\right)}\right)-1;$

4c2)根据T更新系数矩阵中的元素：

$H_{\mathrm{\ψ},u}^{\left(t\right)}=\frac{T+\sqrt{T^2+8\mathrm{\γ}\left(\underset{i=1}{\overset{m/3}{\Σ}}{X}_{i,u}\frac{z_{i,\mathrm{\ψ}}^{(t-1)}{H}_{\mathrm{\ψ},u}^{(t-1)}}{\underset{\mathrm{\ψ}=1}{\overset{r}{\Σ}}{z}_{i,\mathrm{\ψ}}^{(t-1)}{H}_{\mathrm{\ψ},u}^{(t-1)}}\right)}}{4\mathrm{\γ}},$

其中，为迭代t次后的系数矩阵的第ψ行u列元素，X_i,u为第k块非负矩阵X^k的第i行u列的元素，为迭代t-1次后的基矩阵的第i行ψ列元素，为迭代t-1次的系数矩阵的第ψ行u列元素，u^θ为系数矩阵H^k中属于第θ类的样本向量的列标号集合，为迭代t-1次的系数矩阵的第ψ行λ列元素，N^ζ为属于ζ类的样本个数，u^ζ为系数矩阵H^k中属于第ζ类的样本向量的列标号集合，为迭代t-1次的系数矩阵的第ψ行s列元素；

4d)判断是否满足停止迭代条件t＝iter，若满足，则将第iter次迭代更新得到的基矩阵和系数矩阵作为最终得到的基矩阵Z^k和系数矩阵H^k；否则，返回步骤4b)。

7.根据权利要求1所述的基于分块及鉴别非负矩阵分解的有遮挡人脸识别方法，其中步骤(7)中利用加权融合准则和最近邻NN分类器，找出训练数据集A中与第f幅测试图像距离最小的图像，按如下步骤进行：

7a)计算测试集B中第f个测试数据和训练数据集A中第j个样本之间的加权距离d_jf：

其中，σ为第一块加权参数，表示矩阵的范数，为训练数据集A中第j个样本第1块的系数向量的第φ个元素，为测试集B中第f个测试数据的第1块投影系数向量的第φ个元素，ξ为第二块加权参数，为训练数据集A中第j个样本第2块的系数向量的第φ个元素，为测试集B中第f个测试数据的第2块投影系数向量的第φ个元素，为第三块加权参数，为训练数据集A中第j个样本第3块的系数向量的第φ个元素，为测试集B中第f个测试数据的第3块投影系数向量的第φ个元素，s.t.为约束条件符号；

7b)根据7a)得到的加权距离d_jf组成集合{d_1f,d_2f,...,d_jf,...,d_nf}，从集合{d_1f,d_2f,...,d_jf,...,d_nf}中选择出最小值d_ωf，ω∈{1,2,…,n}；

7c)从训练数据集A中找到对应最小值d_ωf的第ω幅图像，并将第ω幅图像的类别作为第f幅测试图像的类别。