CN107480636A

CN107480636A - 基于核非负矩阵分解的人脸识别方法、系统及存储介质

Info

Publication number: CN107480636A
Application number: CN201710697871.7A
Authority: CN
Inventors: 陈文胜; 刘敬敏; 王倩
Original assignee: Shenzhen University
Current assignee: Shenzhen University
Priority date: 2017-08-15
Filing date: 2017-08-15
Publication date: 2017-12-15
Anticipated expiration: 2037-08-15
Also published as: CN107480636B

Abstract

本发明公开一种基于核非负矩阵分解的人脸识别方法、系统及存储介质，其方法包括：构造分数阶内积核函数，所述分数阶内积核函数对幂指数参数无限制；通过分数阶内积核函数和核非负矩阵分解的组合，得到分数阶内积核非负矩阵分解算法；通过分数阶内积核非负矩阵分解算法进行人脸识别。本发明克服了多项式核函数的幂参数只能为整数的问题，使幂参数的选取更加灵活；有效克服了人脸识别中姿势和光照的变化；而且算法具有很快的收敛速度和优越的识别性能。

Description

基于核非负矩阵分解的人脸识别方法、系统及存储介质

技术领域

本发明属于人脸识别技术领域，涉及一种基于核非负矩阵分解的人脸识别方法、系统及存储介质。

背景技术

随着社会信息化和网络化的快速发展，人脸识别已经成为模式识别与图像处理领域最热门的研究主题之一，也是图像分析与机器视觉的最成功的应用之一。人脸识别技术具有便捷性、可靠性和安全性，是人们比较普遍接受的生物识别方法，且在国家安全、社会经济、家庭娱乐等领域都发挥着非常重要的作用。

在人脸识别技术的快速发展中，有许多人脸识别算法被相继提出，具有代表性的有主成分分析(PCA)、线性判别分析(LDA)、局部保持投影(LPP)、非负矩阵分解(NMF)等。这几种算法都是线性方法，其中NMF算法与其他算法的根本区别是它能保证矩阵元素的非负性。NMF算法的目的是将一个高维的非负矩阵X近似分解为两个低秩的非负矩阵W和H，即X≈WH，其中矩阵W被称为基图像矩阵，矩阵H被称为系数(特征)矩阵。矩阵X的每一列向量都可以看作为对矩阵W中的所有列向量(称为基图像)的加权和，加权系数为矩阵H中对应列向量的元素。如果矩阵X的每一列代表一张人脸图像，那么基图像是人脸的一些局部化特征，比如说眼睛、眉毛、鼻子、耳朵、嘴巴等，人脸图像就表示为这些局部特征的加权组合，这与局部构成整体的概念是相符合的。可以看出，NMF算法是一个线性特征提取方法。但是，在人脸识别中人脸图像会受到很多因素的影响，例如表情、姿势、光照、遮蔽物，人脸图像数据的分布是非常复杂的，往往是非线性的。所以，当用这些线性的方法来处理非线性分布的人脸图像数据时，很难取得比较理想的效果。通常利用核方法解决这一问题。核方法的基本思想是通过某个非线性映射将线性不可分的原始样本数据映射到一个高维的再生核希尔伯特空间(RKHS)，并使数据在此空间中变成线性可分的。然而，在此过程中存在两个问题，一是很难求得此非线性映射的显示表达式；二是RKHS的维数通常很高，甚至可能是无穷维的。但通常在RKHS中只需要计算非线性映射像之间的内积，如果要直接计算它非常困难的，这时可以利用核技巧来避开这个障碍，用核函数表示该内积，这样就不需要知道非线性映射的解析式和高维核空间的维数。非负矩阵分解算法也可以利用核方法推广到RKHS中得到核非负矩阵分解算法(KNMF)，从而可以解决人脸识别中的非线性问题。KNMF算法的基本思想是通过非线性映射φ将非负矩阵X映射到高维核空间F中，使得映射后的训练样本矩阵φ(X)可以近似分解为两个矩阵的乘积,即φ(X)≈φ(W)H，其中W和H为非负矩阵，分别称原像矩阵和系数矩阵。实验结果表明在人脸识别中KNMF算法的性能要优于NMF算法。

较为经典的KNMF算法有多项式核非负矩阵分解算法(PNMF)和二次多项式核非负矩阵分解算法(PKNMF)，它们都是基于多项式核函数在多项式核空间中被提出的。其中，PKNMF利用的是二次多项式核函数，PNMF利用的是一般多项式核函数。但是多项式核函数只能为整数次幂的，因分数次幂多项式函数生成的Gram矩阵不一定具有半正定性，即不能保证它是一个核函数。然而，有研究表明在人脸识别中基于分数次幂多项式函数模型的核主成分分析(KPCA)算法的性能要优于基于整数次幂的KPCA算法。因此，多项式核要求其次数必须是整数，这限制了对幂参数选取的灵活性，从而影响了基于多项式核的非负矩阵分解的性能。另外，PKNMF算法不能从理论上证明该算法的收敛性，PNMF算法只在很强的条件下证明其收敛性，所以多项式核函数KNMF算法的收敛性难以保证。

由此可知，现有的几种人脸识别算法存在以下缺陷：

1、非负矩阵分解算法(NMF)在人脸识别中是一种经典的线性方法，但它往往不能有效处理由于人脸图像中姿势和光照的变化而呈非线性分布的人脸图像数据。

2、多项式核非负矩阵分解(PNMF)是一种非线性人脸识别方法，但其需要在很强的条件下才收敛，且收敛速度较慢。此外，多项式核函数的幂指数参数只能为整数，当幂指数参数为分数时不能保证它仍是一个核函数。

3、二次多项式核非负矩阵分解(PKNMF)也是一种非线性方法，但不能从理论上证明其迭代算法的收敛性，另外其幂指数是固定的(d＝2)，无法对幂参数进行调节，即它的参数可调控性较差。

发明内容

本发明的主要目的在于提供一种可有效处理人脸图像数据、对幂指数参数没有限制、具有很快的收敛速度和较优越的识别性能的基于核非负矩阵分解的人脸识别方法、系统及存储介质。

为了达到上述目的，本发明提出一种基于核非负矩阵分解的人脸识别方法，包括以下步骤：

构造分数阶内积核函数，所述分数阶内积核函数对幂指数参数无限制；

通过所述分数阶内积核函数和核非负矩阵分解的组合，得到分数阶内积核非负矩阵分解算法；

通过所述分数阶内积核非负矩阵分解算法进行人脸识别。

其中，所述基于核非负矩阵分解的人脸识别方法还包括：

构造目标函数的辅助函数；

利用所述辅助函数证明了所述分数阶内积核非负矩阵分解算法的收敛性。

其中，所述分数阶内积核函数为分数次幂内积核函数。

其中，在训练阶段，所述通过所述分数阶内积核非负矩阵分解算法进行人脸识别的步骤包括：

步骤1：将样本图像表示为非负列向量，并将训练样本向量组合成矩阵X；

步骤2：给出特征数r、最大迭代次数I_max、误差阈值ε、初始矩阵W和H；

步骤3：利用更新迭代准则，通过交叉迭代的方法更新矩阵W和H；

步骤4：如果损失函数F(W,H)≤ε或者迭代次数达到I_max，则结束迭代，输出基图像矩阵W和系数矩阵H；否则，执行步骤3。

其中，在测试阶段，所述通过所述分数阶内积核非负矩阵分解算法进行人脸识别的步骤包括：

步骤5：对于测试样本y，计算其特征系数h_y；

步骤6：根据系数矩阵H，计算每类的特征系数中心m_i(i＝1,…,c)；

步骤7：若则判决测试样本y属于第p类。

其中，所述基于核非负矩阵分解的人脸识别方法还包括：

比较所述分数阶内积核非负矩阵分解算法相对其它相关算法在预设人脸数据库上的识别率。

本发明还提出一种基于核非负矩阵分解的人脸识别系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现如上所述的方法的步骤。

本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现如上所述的方法的步骤。

本发明的有益效果：

1、通过构造了一种更简单的分数阶内积核函数，克服了多项式核函数的幂参数只能为整数的问题，使幂参数的选取更加灵活。

2、通过分数內积核函数和核非负矩阵分解的组合，得到了分数内积核非负矩阵分解算法，有效的克服了人脸识别中姿势和光照的变化。

3、通过利用辅助函数能够证明本发明提出的分数阶内积核非负矩阵分解算法的收敛性，从理论上保证了算法的可靠性。实验也验证了本发明提出的算法具有很快的收敛速度。

4、通过在公开的人脸数据库中进行实验并与其它相关算法进行比较，验证了本发明开发的算法的优越性。

附图说明

图1为本发明算法测试阶段流程图；

图2为本发明算法训练阶段流程图；

图3和图4为本发明提出的算法与相关算法(PNMF，PKNMF)的收敛性的比较示意图；

图5为本发明提出的算法与相关算法(KPCA，PNMF，PKNMF)在FERET人脸数据库上的识别率比较图。

为了使本发明的技术方案更加清楚、明了，下面将结合附图作进一步详述。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

术语解释

1、非负矩阵分解(Non-negative Matrix Factorization，NMF)

NMF的基本思想是将一个非负样本矩阵近似分解为两个非负矩阵的乘积，即：

X≈WH,

其中，和分别被称为基图像矩阵和系数(特征)矩阵。

核函数(Kernel Function)

令χ为输入空间，k(·,·)是定义在χ×χ上的对称函数，则k是核函数当且仅当对于任意有限数据集如下Gram矩阵K总是半正定的，

2、核非负矩阵分解(Kernel Non-negative Matrix Factorization，KNMF)

KNMF的基本思想是通过一个非线性映射φ将非负样本矩阵X映射到高维空间中，使映射后的样本矩阵可近似的表示成映射后原像的非负线性组合，即φ(X)可近似分解成被映射的基图像矩阵φ(W)和系数矩阵H的乘积，即

φ(X)≈φ(W)H,

其中W和H都是非负矩阵，分别称原像矩阵和系数矩阵。

为了克服在人脸识别中基于多项式核的非负矩阵分解算法缺点，本发明构造了一个对幂指数参数没有限制的核函数，并根据此核函数提出了一种新的分数阶核非负矩阵分解方法。通过构造目标函数的辅助函数，从理论上证明了该算法的收敛性；并且从实验上说明了该算法具有很快的收敛速度和较优越的识别性能。

具体地，如图1所示，本发明提出一种基于核非负矩阵分解的人脸识别方法，包括以下步骤：

S1，构造分数阶内积核函数，所述分数阶内积核函数对幂指数参数无限制；其中，所述分数阶内积核函数为分数次幂内积核函数。

S2，通过所述分数阶内积核函数和核非负矩阵分解的组合，得到分数阶内积核非负矩阵分解算法；

S3，通过所述分数阶内积核非负矩阵分解算法进行人脸识别。

进一步地，所述基于核非负矩阵分解的人脸识别方法还包括：

S4，构造目标函数的辅助函数；

S5，利用所述辅助函数证明了所述分数阶内积核非负矩阵分解算法的收敛性。

在训练阶段，所述通过所述分数阶内积核非负矩阵分解算法进行人脸识别的步骤包括：

在测试阶段，所述通过所述分数阶内积核非负矩阵分解算法进行人脸识别的步骤包括：

步骤5：对于测试样本y，计算其特征系数h_y；

步骤7：若则判决测试样本y属于第p类。

以下对本发明实施例方案进行详细阐述：

首先介绍非负矩阵分解算法(NMF)、基于核的非负矩阵分解算法(KNMF)：

1.非负矩阵分解算法(NMF)

设是由n张m个像素的人脸图像构成的一个非负样本矩阵，NMF的基本思想是将其近似表示为两个非负矩阵的乘积，即：

X≈WH,

其中，是由基图像w_i(i＝1,…,r)组成的基图像矩阵，是由特征系数h_j(j＝1,…,n)组成的系数矩阵。NMF算法通过构建损失函数度量X与WH之间的逼近程度,基于欧式距离的损失函数被定义为：

为了求解矩阵W和H，NMF算法可转化为求如下优化问题：

利用梯度下降法可得到W和H的更新迭代公式为：

其中，符号和分别表示两个同阶矩阵相同位置元素之间的乘法和除法。

2.基于核的非负矩阵分解算法(KNMF)

KNMF的基本思想是通过一个非线性映射φ将线性不可分的非负样本矩阵X映射到某高维空间F中，使被映射后的样本在F中线性可分，KNMF近似分解矩阵φ(X)＝[φ(x₁),φ(x₂),…,φ(x_n)]为系数矩阵H和被映射的基图像矩阵φ(W)＝[φ(w₁),φ(w₂),…,φ(w_r)]的乘积，即

φ(X)≈φ(W)H,

其中W和H都是非负矩阵。KNMF的损失函数被定义为：

由于空间F的维数可能很高，甚至有可能是无限维的，因此直接计算φ(y)^Tφ(z)通常是很困难的。为了克服该障碍，可以利用核技巧，即使用核函数表示两个被映射后的样本的内积：

k(y,z)＝〈φ(y),φ(z)〉＝φ(y)^Tφ(z),

其中y,z属于样本空间。这样，KNMF的损失函数就可转化为：

其中K_XX＝φ(X)^Tφ(X)、K_XW＝φ(X)^Tφ(W)、K_WW＝φ(W)^Tφ(W)。

KNMF需要解决的优化问题为：

基于多项式核的非负矩阵分解算法(PNMF和PKNMF)

多项式核被定义为：k(y,z)＝(y^Tz)^d，其中d∈N+为多项式次数。

多项式核非负矩阵分解算法(PNMF)是根据多项式核求解优化问题(2)，得到W和H的更新迭代公式为：

其中B是一个对角矩阵，其对角元素为

二次多项式核非负矩阵分解算法(PKNMF)是根据多项式核的幂参数d＝2时，利用梯度下降法求解优化问题(2)，推出W和H的更新迭代公式为:

利用更新迭代公式通过交叉迭代的方式更新W和H便可得到优化问题(2)的解。

现有的相关技术缺点在于：

本发明构造了一种核函数并提供了一种新的基于核非负矩阵分解的人脸识别算法。主要解决的问题有：

幂指数参数问题：多项式核函数的幂指数参数只能为正整数，当幂参数为分数时不能保证其仍是一个核函数。

收敛性问题：目前存在的核非负矩阵分解算法大多数都存在收敛速度较慢的问题或者缺少严格的收敛性证明。

本发明具体方案如下：

1、一种新的分数阶核函数的构造

定理1：若函数k被定义在χ×χ空间上，它的解析式为：

那么，k是一个核函数。其中y,z∈χ，d∈R⁺。y^d、z^d分别表示向量y、z中每个元素的d次幂。

证明：由函数k的解析式可以很明显的看出，k(y,z)＝k(z,y)，k是一个对称函数。

设为任意的有限数据集，矩阵Y＝[y₁,y₂,…,y_n]，则Gram矩阵K_YY＝(Y^d)^TY^d，其中且对于任意的α∈Rⁿ，有

α^TK_YYα＝α^T(Y^d)^TY^dα＝||Y^dα||²≥0

则，Gram矩阵具有半正定性。因此，k(y,z)是一个核函数。

我们将这个核函数称为分数次幂内积核函数(FPK)。

2、新FPKNMF的提出

为了利用新构造的分数次幂内积核函数求解问题(2)中的两个未知非负矩阵W和H，我们将损失函数转化为两个目标函数，分别为：

f₁(H)＝F_φ(W,H),其中W固定，

f₂(W)＝F_φ(W,H),其中H固定.(3)

则，问题(2)也演变成了两个子优化问题，分别为：

minf₁(H)s.t.H≥0，(4)

minf₂(W)s.t.W≥0.(5)

2.1对特征矩阵H的学习

对于子问题(4)，采用梯度下降法对系数矩阵H进行求解，有：

其中ρ₁是步长矩阵，▽f₁(H)是f₁(H)关于H的梯度，可以计算得：

▽f₁(H)＝K_wwH-K_wx.

为了保证H的非负性，在此选择步长矩阵为：

将选择的步长矩阵ρ₁代入(6)式可以得到H的更新迭代公式，且有以下定理2。

定理2：固定矩阵W，目标函数f₁(H)是单调非增的，当子问题(4)中的系数矩阵H按以下迭代方式更新：

2.2对基图像矩阵W的学习

对于子问题(5)，固定矩阵H，对基图像矩阵W进行学习。令目标函数f₂(W)可转化为：

利用梯度下降法的非线性推广指数梯度下降法，有：

其中ρ₂(w_k)是一个步长列向量，是f₂(W)关于φ(w_k)的梯度，

为了保证w_k与φ(w_k)的非负性，选择步长为：

将ρ₂(w_k)与代入公式(7)中，可得到φ(w_k)的更新迭代公式为：

则由可得到w_k的更新迭代公式为：

将其写成矩阵形式可得到W的更新迭代公式(8)，且有以下定理3。

定理3：固定矩阵H，目标函数f₂(W)是单调非增的，当子问题(5)中的基图像矩阵W按以下迭代方式更新：

其中X^d、W^(t)d代表矩阵X、W^(t)中的每个元素的d次幂，()^1/d代表矩阵中的每个元素的1/d次幂。

综上所述，通过定理1和定理2，可以得到本发明提出的分数次幂内积核非负矩阵分解(FPKNMF)的更新迭代公式，为：

其中第3个公式为标准化，即矩阵S是保证W中每列的列和为1。

3、收敛性证明

在本发明中主要证明定理3，定理2的证明与定理3相似。

定义1：对于任意的矩阵W和W^(t)，若不等式G(W,W^(t))≥f(W)恒成立，且G(W^(t),W^(t))＝f(W^(t))，则称G(W,W^(t))为函数f(W)的一个辅助函数。

引理1：如果G(W,W^(t))是f(W)的一个辅助函数，那么f(W)在如下的更新法则下是单调不增的，

定理4：若G(W,W^(t))定义为

那么，它是目标函数f₂(W)的一个辅助函数。

证明：由公式(1)、(3)和构建的FPK核函数有：

则，

可以很明显的看出，当W＝W^(t)时，G(W^(t),W^(t))＝f₂(W^(t))。又因为，

可得，G(W,W^(t))-f₂(W)≥0。综上所述，G(W,W^(t))是f₂(W)的辅助函数。

设矩阵W的第k列w_k未知，其他列都是已知的，对辅助函数G(W,W^(t))关于w_k求导，可得，

为了求得G(W,W^(t))的最小值，令其导数为0，有：

至此，定理3得证，这表明在更新迭代公式(8)下，目标函数f₂(W)是单调非增的。

4.特征提取

对于一个测试样本y，通过非线性映射φ将其映射到核空间中为φ(y)，可以被核空间中矩阵φ(W)的列向量线性表出，为：

φ(y)＝φ(W)h_y，

其中h_y为测试样本y在核空间的系数特征向量。利用核技巧，上式可以变换为：

其中K_Wy为一个列向量(K_Wy)_i＝K(w_i,y)。对于向量h_y的求解，有以下两种方法：

方法一：利用矩阵K_WW的广义逆，则

方法二：将其转化为非负矩阵分解问题，保持K_Wy＝K_WWh_y中的K_Wy和K_WW

不变，根据非负矩阵分解法的更新迭代公式更新h_y：

综上所述，本发明的人脸识别算法具体步骤如下：

训练阶段：

Step 1:将样本图像表示为非负列向量，并将训练样本向量组合成矩阵X.

Step 2:给出特征数r、最大迭代次数I_max、误差阈值ε、初始矩阵W和H.

Step 3:利用更新迭代准则(9)，通过交叉迭代的方法更新矩阵W和H.

Step 4:如果损失函数F(W,H)≤ε或者迭代次数达到I_max，就结束迭代输出基图像矩阵W和系数矩阵H；否则，执行Step 3.

测试阶段：

Step 5:对于测试样本y，计算其特征系数h_y.

Step 6:根据系数矩阵H，计算每类的特征系数中心m_i(i＝1,…,c).

Step 7:若则认为测试样本y属于第p类.

本发明的人脸识别算法的流程图如图1及图2所示：图1为本发明算法测试阶段流程图；图2为本发明算法训练阶段流程图。

相比现有技术，本发明具有如下技术效果：

2、通过分数內积核函数和核非负矩阵分解的组合，得到了分数内积核非负矩阵分解(FPKNMF)算法，有效的克服了人脸识别中姿势和光照的变化。

4、通过在公开的人脸数据库中进行实验并与相关算法进行比较，验证了本发明开发的算法的优越性。

实验效果

收敛性的比较

如图3及图4所示，图3为本发明提出的算法(Our Method)在不同分数阶幂参数下的收敛性示意图，图4是相关算法(PNMF，PKNMF)的收敛性示意图。

由图3及图4可以看出，本发明提出的FPKNMF算法具有很好的收敛性，其收敛速度比PNMF算法和PKNMF算法快很多，其中PNMF收敛最慢。

识别性能的比较

表1本发明提出的算法(Our Method)与相关算法(KPCA，PNMF，PKNMF)在FERET人脸数据库上的识别率(％)比较(TN表示每一类的训练样本数)

TN	2	3	4	5
					KPCA	37.21	41.31	44.17	45.08
PNMF	50.48	54.72	59.08	60.83
					PKNMF	54.25	63.83	68.46	71.33
Our Method	71.06	78.25	81.96	84.75

如图5所示，图5为本发明提出的算法(Our Method)与相关算法(KPCA，PNMF，PKNMF)在FERET人脸数据库上的识别率比较图；

本实验是在公开的FERET数据库中进行的，由表1和图5可以很明显的看出，本发明提出的FPKNMF算法的识别性能要优于KPCA、PNMF和PKNMF。

相比现有技术，本发明构造了一种更加灵活简单的分数阶幂内积核函数，其幂指数不仅可以是整数，还可以是分数，这对于指数幂参数具有很好的调控性。

本发明提出了一种新的具有很好收敛性能和识别性能的分数阶内积核非负矩阵分解算法，而且从理论上证明了其收敛性，这保证了算法的可靠性。

此外，本发明还提出一种基于核非负矩阵分解的人脸识别系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现如上所述的方法的步骤，在此不再赘述。

此外，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现如上所述方法的步骤，在此不再赘述。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种基于核非负矩阵分解的人脸识别方法，其特征在于，包括以下步骤：

通过所述分数阶内积核非负矩阵分解算法进行人脸识别。

2.根据权利要求1所述的基于核非负矩阵分解的人脸识别方法，其特征在于，所述基于核非负矩阵分解的人脸识别方法还包括：

构造目标函数的辅助函数；

利用所述辅助函数从理论上证明了所述分数阶内积核非负矩阵分解算法的收敛性。

3.根据权利要求1所述的基于核非负矩阵分解的人脸识别方法，其特征在于，所述分数阶内积核函数为分数次幂内积核函数。

4.根据权利要求3所述的基于核非负矩阵分解的人脸识别方法，其特征在于，在训练阶段，所述通过所述分数阶内积核非负矩阵分解算法进行人脸识别的步骤包括：

5.根据权利要求4所述的基于核非负矩阵分解的人脸识别方法，其特征在于，在测试阶段，所述通过所述分数阶内积核非负矩阵分解算法进行人脸识别的步骤包括：

步骤5：对于测试样本y，计算其特征系数h_y；

步骤7：若则判决测试样本y属于第p类。

6.根据权利要求1-5中任一项所述的基于核非负矩阵分解的人脸识别方法，其特征在于，所述基于核非负矩阵分解的人脸识别方法还包括：

7.一种基于核非负矩阵分解的人脸识别系统，其特征在于，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求1-6中任一项所述的方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1-6中任一项所述的方法的步骤。