CN109002794B - 一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质 - Google Patents

一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质 Download PDF

Info

Publication number
CN109002794B
CN109002794B CN201810771965.9A CN201810771965A CN109002794B CN 109002794 B CN109002794 B CN 109002794B CN 201810771965 A CN201810771965 A CN 201810771965A CN 109002794 B CN109002794 B CN 109002794B
Authority
CN
China
Prior art keywords
matrix
negative
function
algorithm
face recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810771965.9A
Other languages
English (en)
Other versions
CN109002794A (zh
Inventor
陈文胜
刘敬敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201810771965.9A priority Critical patent/CN109002794B/zh
Publication of CN109002794A publication Critical patent/CN109002794A/zh
Application granted granted Critical
Publication of CN109002794B publication Critical patent/CN109002794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G06F18/21322—Rendering the within-class scatter matrix non-singular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G06F18/21322—Rendering the within-class scatter matrix non-singular
    • G06F18/21326—Rendering the within-class scatter matrix non-singular involving optimisations, e.g. using regularisation techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Complex Calculations (AREA)

Abstract

本发明提供了一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质。本发明的有益效果是：1.通过利用范数替代
Figure 729077DEST_PATH_IMAGE002
‑范数去度量矩阵分解的损失度，解决了现存的核非负矩阵分解算法中对奇异值敏感的问题，增强了本发明提出的核非负矩阵分解算法的稳定性；2.通过在目标函数中加入对系数矩阵
Figure 69053DEST_PATH_IMAGE004
的正则化限制，增强了本发明算法对特征表示的稀疏性；3.通过将提出的具有新的目标函数的核非负矩阵分解与分数次幂内积核函数相整合，得到了具有高效的识别性能的稀疏分数内积非线性非负矩阵分解算法，解决了多项式核函数的超参数只能为整数的问题，提高了算法的判别能力。

Description

一种非线性非负矩阵分解人脸识别构建方法、系统及存储 介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质。
背景技术
随着信息化时代的到来，利用人体固有的生理特征和行为特征进行个人身份鉴定的生物识别技术成为了一个最活跃的研究领域之一。在生物识别技术的众多分支中，最容易被人们接受的一个技术是人脸识别技术，这是由于相对于其他生物识别技术而言，人脸识别具有无侵害性、非强制性、非接触性和并发性。
人脸识别技术包含两个阶段，第一阶段是特征提取，也就是提取人脸图像中的人脸特征信息，这一阶段直接决定了人脸识别技术的好坏；第二阶段是身份鉴定，根据提取出的特征信息进行个人身份鉴定。主成分分析(PCA)与奇异值分解(SVD)都是较为经典的特征提取方法，但是这两种方法提出的特征向量通常含有负元素，因此在原始样本为非负数据下，这些方法不具有合理性与可解释性。非负矩阵分解(NMF)是一种处理非负数据的特征提取方法，它的应用非常广泛，比如高光谱数据处理、人脸图像识别等。NMF算法在原始样本非负数据矩阵分解过程中，对提取的特征具有非负性限制，即分解后的所有分量都是非负的，因而可以提取非负的稀疏特征。NMF算法的实质也就是将非负矩阵X近似分解为基图像矩阵W和系数矩阵H的乘积，即X≈WH，且W和H都是非负矩阵。这样矩阵X的每一列就可以表示成矩阵W列向量的非负线性组合，这也符合NMF算法的构造依据——对整体的感知是由对组成整体的部分的感知构成的(纯加性)。近年来，学者们提出了许多对NMF变形的算法，例如，加强局部限制的局部NMF算法(LNMF)、整合判别信息的判别NMF算法(DNMF)、针对对称矩阵提出的对称NMF算法(SNMF)。这些NMF算法都是线性方法。然而，在人脸识别中，由于姿势、光照、遮挡、年龄等因素的变化，脸部图像的分布往往很复杂、呈非线性的，线性方法就不再适用。因此，我们需要基于NMF提出一个非线性模型，这个问题也非常具有挑战性。
为处理非线性问题，核方法是一种有效方法，其将线性算法拓展为非线性算法提供了一个精美的理论框架。核方法的基本思想是通过使用一个非线性映射函数将原始数据映射到高维特征空间中，使得被映射后的数据线性可分，然后将线性算法应用到被映射后的数据上。在核方法中，最关键的部分是核技巧的使用，通过利用核函数取代被映射数据的内积，因而不需要知道非线性映射函数的具体解析式。核技巧的使用降低了将映射扩展到功能空间即再生核希尔伯特空间(RKHS)的难度。多项式核与高斯核是两个常用的核函数。利用核方法，将线性算法NMF推广为非线性NMF算法(NLNMF)，因此，NLNMF算法的主要思路是是通过非线性映射函数φ将矩阵X映射到高维特征空间中，并在这个特征空间中，利用NMF算法，将矩阵φ(X)近似分解为两个矩阵φ(W)与H的乘积，即φ(X)≈φ(W)H，且W和H为非负矩阵。
现存的NLNMF算法有多项式核非负矩阵分解算法(PNMF)和高斯核非负矩阵分解算法(RBFNMF)，它们的损失函数都是基于F-范数的平方构建的。在人脸识别中，由于光照、遮挡物等的影响，使得人脸图像数据往往含有噪声与异常值，然而，F-范数对异常值较为敏感，以至于PNMF与RBFNMF算法的稳定性较差。
下面是对以下三种方法的具体说明：
1.核方法
设{x1,x2,…,xn}是原始样本空间中的一组数据。核方法的主要思想是通过一个非线性映射函数φ(·)将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分，且只要原始空间是有限维的，那么一定存在一个这样的高维特征空间。在这个特征空间内，就可以采用线性方法进行处理样本数据。但是特征空间维数可能很高，甚至是无穷维的，非线性映射的具体形式也很难确定。为了避开这些障碍，可以巧妙地利用核函数：
k(xi,xj)＝<φ(xi),φ(xj)>＝φ(xi)Tφ(xj)，
即xi与xj在特征空间中的内积可以通过利用它们在原始样本空间中函数k(·,·)来计算。这样不仅解决了这些问题，还简化了计算过程。
常用的核函数有多项式核函数
Figure GDA0001846732570000021
和高斯核函数(RBF)k(xi,xj)＝exp(||-xi-xj||2/(2δ2))。
2.非线性非负矩阵分解算法(NLNMF)
NLNMF的主要目的是利用核方法解决NMF在非线性问题中的应用。首先将原始空间中的样本数据
Figure GDA0001846732570000031
通过映射函数φ(·)，映射到一个高维特征空间中，得到被映射的样本数据φ(X)＝[φ(x1),φ(x2),…,φ(xn)]，使得样本数据线性可分。然后，在高维特征空间中利用NMF算法处理被映射的数据，将φ(X)近似分解为两个矩阵φ(W)与H的乘积，即
φ(X)≈φ(W)H,
其中
Figure GDA0001846732570000032
是基图像矩阵，
Figure GDA0001846732570000033
是系数矩阵。为了衡量在矩阵分解过程中的损失，我们需要构建损失函数F(W,H)，损失函数的值越小，分解出的矩阵越具有合理性。因此，NLNMF的需要解决的最优化问题为：
Figure GDA0001846732570000034
在NLNMF算法中，有两个主要因素影响其效能。其中，最主要的因素是核函数k(·,·)的选择，核函数隐式地定义了高维特征空间，若核函数选择不合适，那么意味着将样本数据映射到了一个不合适的特征空间，很可能导致性能不佳。另一个主要因素是损失函数F(W,H)的构建。损失函数在一定程度上决定着NLNMF算法的精度，不同的损失函数侧重点不同，而且并不是所有的损失函数都能在特征空间中运用，因此损失函数的选取也至关重要。常用的损失函数是根据F-范数构建的FF(W,H)，即
Figure GDA0001846732570000035
3.基于多项式核的非线性非负矩阵分解算法(PNMF)
多项式核非负矩阵分解算法(PNMF)的损失函数为FF(W,H)，它基于多项式核函数求解优化问题(1)，得到W和H的更新迭代公式为：
Figure GDA0001846732570000041
Figure GDA0001846732570000042
Figure GDA0001846732570000043
其中
Figure GDA0001846732570000044
Ω是一个对角矩阵，其对角元素为
Figure GDA0001846732570000045
由此可见：1.目前非线性非负矩阵分解算法的损失函数都是基于F-范数构建的，然而F-范数具有两大缺陷，即对异常值比较敏感和稀疏性差，这使得算法的稳定性较差，不能较好地抵抗人脸识别中姿势和光照的变化；2.多项式核非负矩阵分解(PNMF)中多项式核函数的幂指数只能为整数，当幂指数为分数时不能保证它仍是一个核函数，而且当幂指数为整数时削弱了核函数的判别能力。
发明内容
本发明提供了一种非线性非负矩阵分解人脸识别的构建方法，包括如下步骤：
损失度刻画步骤：利用矩阵的l2,p-范数刻画矩阵分解后的损失度；
稀疏性增强步骤：利用矩阵的l1-范数增强对特征的稀疏性表示，在损失函数中加入关于矩阵H的正则项；
目标函数构成步骤：通过损失度刻画步骤和稀疏性增强步骤，构成目标函数F(W,H)；
获得分数次幂内积核非负矩阵分解的更新迭代公式步骤：使用分数次幂内积核函数，构成待求解的最优化问题，通过利用梯度下降法求解H，指数梯度下降法求解W，从而获得分数次幂内积核非负矩阵分解的更新迭代公式。
作为本发明的进一步改进，该构建方法还包括收敛性验证步骤，在收敛性验证步骤中，通过构造辅助函数从而证明了算法的收敛性。
作为本发明的进一步改进，所述分数次幂内积核非负矩阵分解的更新迭代公式为：
Figure GDA0001846732570000051
Figure GDA0001846732570000052
Figure GDA0001846732570000053
本发明提供的一种非线性非负矩阵分解人脸识别方法，还包括训练步骤，所述训练步骤包括：
第一步骤：将训练样本图像转化为训练样本矩阵X，设置误差阈值ε、最大迭代次数Imax，对基图像矩阵W和系数矩阵H进行初始化；
第二步骤：利用分数次幂内积核非负矩阵分解的更新迭代公式，更新W和H；
第三步骤：如果目标函数F(W,H)≤ε或迭代次数达到Imax，就停止迭代，输出矩阵W和H，否则，执行第二步骤。
作为本发明的进一步改进，该非线性非负矩阵分解人脸识别方法还包括在训练步骤之后再执行测试步骤，所述测试步骤包括：
第四步骤：计算训练样本中每类的平均特征向量mj(j＝1,…,c)；
第五步骤：对于测试样本y，计算其特征向量hy；
第六步骤：若
Figure GDA0001846732570000054
那么将样本y归于第l类。
作为本发明的进一步改进，该训练步骤中所述分数次幂内积核非负矩阵分解的更新迭代公式为：
Figure GDA0001846732570000055
Figure GDA0001846732570000056
Figure GDA0001846732570000057
本发明还提供了一种非线性非负矩阵分解人脸识别系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现所述的方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现所述的方法的步骤。
本发明的有益效果是：1.通过利用l2,p-范数替代F-范数去度量矩阵分解的损失度，解决了现存的核非负矩阵分解算法中对奇异值敏感的问题，增强了本发明提出的核非负矩阵分解算法的稳定性；2.通过在目标函数中加入对系数矩阵H的正则化限制，增强了本发明算法对特征表示的稀疏性；3.通过将提出的具有新的目标函数的核非负矩阵分解与分数次幂内积核函数相整合，得到了具有高效的识别性能的稀疏分数内积非线性非负矩阵分解算法，解决了多项式核函数的超参数只能为整数的问题，提高了算法的判别能力。
附图说明
图1是本发明算法构造过程流程图；
图2是本发明算法执行过程流程图；
图3是本发明提出的算法与相关算法(KLPP，LNMF,PNMF)在CMU PIE人脸数据库上的识别率比较图；
图4是本发明算法的收敛曲线图。
具体实施方式
如图1所示，本发明公开了一种非线性非负矩阵分解人脸识别的构建方法，具体为公开了一种基于l2,p模的非线性非负矩阵分解人脸识别的构建方法。
该非线性非负矩阵分解人脸识别的构建方法，包括如下步骤：
损失度刻画步骤：利用矩阵的l2,p-范数刻画矩阵分解后的损失度；
稀疏性增强步骤：利用矩阵的l1-范数增强对特征的稀疏性表示，在损失函数中加入关于矩阵H的正则项；
目标函数构成步骤：通过损失度刻画步骤和稀疏性增强步骤，构成目标函数F(W,H)；
获得分数次幂内积核非负矩阵分解的更新迭代公式步骤：使用分数次幂内积核函数，构成待求解的最优化问题，通过利用梯度下降法求解H，指数梯度下降法求解W，从而获得分数次幂内积核非负矩阵分解的更新迭代公式。
该构建方法还包括收敛性验证步骤，在收敛性验证步骤中，通过构造辅助函数从而证明了算法的收敛性。
所述分数次幂内积核非负矩阵分解的更新迭代公式为：
Figure GDA0001846732570000071
Figure GDA0001846732570000072
Figure GDA0001846732570000073
如图2所示，本发明公开了一种非线性非负矩阵分解人脸识别方法，包括训练步骤，所述训练步骤包括：
第一步骤：将训练样本图像转化为训练样本矩阵X，设置误差阈值ε、最大迭代次数Imax，对基图像矩阵W和系数矩阵H进行初始化；
第二步骤：利用分数次幂内积核非负矩阵分解的更新迭代公式，更新W和H；
第三步骤：如果目标函数F(W,H)≤ε或迭代次数达到Imax，就停止迭代，输出矩阵W和H，否则，执行第二步骤。
该非线性非负矩阵分解人脸识别方法还包括在训练步骤之后再执行测试步骤，所述测试步骤包括：
第四步骤：计算训练样本中每类的平均特征向量mj(j＝1,…,c)；
第五步骤：对于测试样本y，计算其特征向量hy；
第六步骤：若
Figure GDA0001846732570000074
那么将样本y归于第l类。
该非线性非负矩阵分解人脸识别方法所述训练步骤中的所述分数次幂内积核非负矩阵分解的更新迭代公式为：
Figure GDA0001846732570000075
Figure GDA0001846732570000076
Figure GDA0001846732570000077
本发明还公开了一种非线性非负矩阵分解人脸识别系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现所述的方法的步骤。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现所述的方法的步骤。
关键词解释(注意：大致说明本发明涉及到的一些关键词语的概念)
1.符号说明
X 矩阵
xj 矩阵X的第j列
xij 矩阵X的第ij个元素
A⊙B 矩阵A与B中对应元素的积
Figure GDA0001846732570000081
矩阵A与B中对应元素的商
Ad 矩阵A中每个元素的d次幂
2.矩阵的范数
设向量
Figure GDA0001846732570000082
则向量x的p-范数为
Figure GDA0001846732570000083
对于矩阵
Figure GDA0001846732570000084
常用的矩阵范数有以下几种：
1.l1-范数：
Figure GDA0001846732570000085
2.F-范数：
Figure GDA0001846732570000086
3.l2,p-范数：
Figure GDA0001846732570000087
根据上述陈述，我们可以发现，当l2,p-范数中p＝2时，它就是F-范数；
也就是说l2,p-范数包含F-范数。
3.非负矩阵分解(Non-negative Matrix Factorization，NMF)
NMF的基本思想是将一个非负样本矩阵
Figure GDA0001846732570000091
近似分解为两个非负矩阵的乘积，即：
X≈WH,
其中，
Figure GDA0001846732570000092
和
Figure GDA0001846732570000093
分别被称为基图像矩阵和系数矩阵。并且，通过构建损失函数度量X与WH之间的逼近程度,通常损失函数是基于F-范数被定义的，为：
Figure GDA0001846732570000094
4.核函数(Kernel Function)
令χ为输入空间，k(·,·)是定义在χ×χ上的对称函数，则k是核函数当且仅当对于任意数据D＝{x1,x2,…,xn}，核矩阵K总是半正定的：
Figure GDA0001846732570000095
为了解决多项式核的幂指数参数只能为整数的问题与增强算法的判别能力，本发明引入了分数次幂内积核函数。设
Figure GDA0001846732570000096
是一个m维的列向量，且在本发明中定义
Figure GDA0001846732570000097
定理1：对于任意的向量
Figure GDA0001846732570000098
和正实数
Figure GDA0001846732570000099
函数k被定义为：
Figure GDA00018467325700000910
那么，k是一个核函数。我们称此函数为分数次幂内积核函数。
1.新KNMF的提出
目标函数的构建
为了增进现存核非负矩阵分解算法的稳健性性能，本发明利用l2,p-范数(0＜p≤2)刻画损失函数，即：
Figure GDA0001846732570000101
其中，令
Figure GDA0001846732570000102
则损失函数可以写为：
Figure GDA0001846732570000103
为了增强特征的稀疏性表示，我们对系数矩阵H进行了正则化限制，因此我们提出的新核非负矩阵分解的目标函数为：
F(W,H)＝Fl(W,H)+λ||H||1， (2)
其中λ≥0是正则项参数。
为了利用新建的分数次幂内积核函数求解目标函数(3)中的两个未知非负矩阵W和H，我们将目标函数转化为两个子目标函数，分别为：
Figure GDA0001846732570000104
其中W固定
Figure GDA0001846732570000105
其中H固定
则，问题(2)也演变成了两个子问题，分别为：
minf1(H)s.t.H≥0 (3)
minf2(W)s.t.W≥0 (4)
对系数矩阵H的学习
对于子问题(3)，采用梯度下降法对系数矩阵H进行求解，有：
Figure GDA0001846732570000106
其中
Figure GDA0001846732570000107
是关于hk的步长向量，
Figure GDA0001846732570000108
是f1(H)关于hk的梯度，可以计算得：
Figure GDA0001846732570000111
其中
Figure GDA0001846732570000112
是一对角矩阵，
Figure GDA0001846732570000113
是它的对角元素；1r×1是r×1维元素全为1的列向量。将公式(6)带入公式(5)中有
Figure GDA0001846732570000114
为了保证hk的非负性，令：
Figure GDA0001846732570000115
因此，选择步长向量为：
Figure GDA0001846732570000116
将梯度
Figure GDA0001846732570000117
与步长向量
Figure GDA0001846732570000118
带入公式(5)中，得到hk的更新迭代公式为：
Figure GDA0001846732570000119
可将此更新迭代公式转化为矩阵形式，且有以下定理。
定理2：固定矩阵W，目标函数f1(H)是非增的，当子问题(3)中的系数矩阵H按以下迭代方式更新：
Figure GDA00018467325700001110
其中
Figure GDA00018467325700001111
是一对角矩阵，
Figure GDA00018467325700001112
对基图像矩阵W的学习
对于子问题(4)，固定矩阵H，对基图像矩阵W进行学习。我们定义f2(W)为目标函数F(W,H)中至于变量W有关的矩阵，则
Figure GDA00018467325700001113
利用梯度下降法的非线性推广指数梯度下降法，有：
Figure GDA00018467325700001114
其中
Figure GDA00018467325700001115
Figure GDA00018467325700001116
是一个步长列向量，
Figure GDA00018467325700001117
是f2(W)关于
Figure GDA00018467325700001118
的梯度。
对于变量
Figure GDA00018467325700001119
函数f2(W)可以被表示为：
Figure GDA00018467325700001120
可以计算出函数
Figure GDA0001846732570000121
关于
Figure GDA0001846732570000122
的导数为：
Figure GDA0001846732570000123
将公式(9)带入公式(8)，得到
Figure GDA0001846732570000124
为了保证wk与
Figure GDA0001846732570000125
的非负性，我们令
Figure GDA0001846732570000126
因此，选择步长为：
Figure GDA0001846732570000127
将公式(9)与(10)带入公式(8)中，可以求出关于
Figure GDA0001846732570000128
的迭代公式为：
Figure GDA0001846732570000129
根据公式
Figure GDA00018467325700001210
可得到wk的更新迭代公式为：
Figure GDA00018467325700001211
将其推广到矩阵形式可得到W的更新迭代公式，如以下定理。
定理3：固定矩阵H，目标函数f2(H)是非增的，当子问题(4)中的基图像矩阵W按以下迭代方式更新：
Figure GDA00018467325700001212
其中Xd、W(t)d代表矩阵X、W(t)中的每个元素的d次幂，()1/d代表矩阵中的每个元素的1/d次幂，
Figure GDA00018467325700001213
是一对角矩阵，其对角元素
Figure GDA00018467325700001214
综上所述，通过定理1和定理2，可以得到本发明提出的分数次幂内积核非负矩阵分解的更新迭代公式，为：
Figure GDA0001846732570000131
2.收敛性证明
定义1：对于任意的矩阵H和H(t)，若满足条件
G(H,H(t))≥f(H)，且G(H(t),H(t))＝f(H(t))，
则称G(H,H(t))为函数f(H)的一个辅助函数。
引理1：如果G(H,H(t))是f(H)的一个辅助函数，那么f(H)在如下的更新法则下是单调不增的，
Figure GDA0001846732570000132
接下来，我们通过构造辅助函数证明定理2与定理3的成立性，也就是证明本发明构造的新算法具有收敛性。
定理4：
Figure GDA0001846732570000133
是一个对角矩阵，且对角元素为
Figure GDA0001846732570000134
那么
Figure GDA0001846732570000135
是f1(H)的辅助函数。
证明：函数f1(H)是关于变量H的二次函数，因此可以对其关于变量H进行精确二次泰勒展开，可得
Figure GDA0001846732570000136
其中，
Figure GDA0001846732570000137
分别是函数f1(H)在H(t)处关于hi的一阶偏导数与二阶偏导数。则，
Figure GDA0001846732570000138
很明显地可以看出，若对于所有的i，
Figure GDA0001846732570000141
那么G1(H,H(t))≥f1(H)。不等式(13)成立的充要条件是矩阵
Figure GDA0001846732570000142
是半正定的。为了证明这一条件是成立的，我们对矩阵
Figure GDA0001846732570000143
中的元素进行了变形，构造出了矩阵P，其元素为
Figure GDA0001846732570000144
显然，当矩阵P具有半正定性时，矩阵
Figure GDA0001846732570000145
也具有半正定性。
对于任意的向量
Figure GDA0001846732570000146
有
Figure GDA0001846732570000147
因此，矩阵P和
Figure GDA0001846732570000148
是半正定的，G1(H,H(t))≥f1(H)。而且显然当H＝H(t)时，G1(H(t),H(t))＝f1(H(t))。
综上所述，G1(H,H(t))是f1(H)的辅助函数，证毕。
根据定义1与引理1，我们可知函数G1(H,H(t))是函数f1(H)的一个上限，且
Figure GDA0001846732570000149
为了得到G1(H,H(t))的最小值，我们求解它的导数并令其为0，有
Figure GDA00018467325700001410
从而，
Figure GDA00018467325700001411
两边同乘
Figure GDA00018467325700001412
且
Figure GDA00018467325700001413
可得hk的更新迭代公式为
Figure GDA0001846732570000151
将其转化为矩阵形式，可得公式(7)。因此，定理2证明完毕，在更新迭代公式(7)下目标函数是非增的。
定理5：设
Figure GDA0001846732570000152
是一个对称矩阵，其元素为
Figure GDA0001846732570000153
那么，函数
Figure GDA0001846732570000154
是f2(W)的辅助函数。
证明：设矩阵A＝KXX-2KXWH+HTKWWH，那么
Figure GDA0001846732570000155
因此，
Figure GDA0001846732570000156
则
Figure GDA0001846732570000157
可以很明显的看出，当W＝W(t)时，G(W(t),W(t))＝f2(W(t))。又因为，
Figure GDA0001846732570000161
可得，G(W,W(t))-f2(W)≥0，G(W,W(t))是f2(W)的辅助函数，证毕。
设矩阵W的第k列wk未知，其他列都是已知的，对辅助函数G(W,W(t))关于wk求导，可得，
Figure GDA0001846732570000162
当
Figure GDA0001846732570000163
时，有
Figure GDA0001846732570000164
通过计算，可得
Figure GDA0001846732570000165
因此，wk的更新迭代公式为
Figure GDA0001846732570000166
将其转化为矩阵形式可得公式(11)，因此定理3成立。
3.特征提取
假设y是一个测试样本，非线性映射φ将其映射到特征空间中为，且φ(y)可以被表示为被映射后的基图像矩阵φ(W)的列向量的线性组合，为：
φ(y)＝φ(W)hy，
其中hy为φ(y)的特征向量。上式两边同乘φ(W)T，可得
φ(W)Tφ(y)＝φ(W)Tφ(W)hy，
即，
KWy＝KWWhy,
其中KWy为一个核向量。因此，特征hy可以求出为
Figure GDA0001846732570000171
其中，
Figure GDA0001846732570000172
是矩阵KWW的广义逆。类似的，我们可以得到训练样本的平均特征向量。假设原始空间中有c类样本，其中第j类的训练样本数为nj(j＝1,2,…,c)，训练样本矩阵为Xj，那么第j类的平均特征向量可以表示为：
Figure GDA0001846732570000173
其中，
Figure GDA0001846732570000174
是一个维数为nj×1维的全一列向量。
综上所述，本发明的人脸识别算法具体构建过程如下：
(1)利用矩阵的l2,p-范数刻画矩阵分解后的损失度；
(2)利用矩阵的l1-范数增强对特征的稀疏性表示，在损失函数中加入关于矩阵H的正则项；
(3)在本发明的算法中引入我们构建的具有较强灵活性与较高的判别能力的分数次幂内积核函数；
(4)通过利用梯度下降法及其推广指数梯度下降法推导出本发明算法的更新迭代公式；
(5)通过构造辅助函数证明了本发明算法的收敛性，从理论上保证了算法的合理性。
如图4所示，本发明所提出的算法的收敛性，不仅通过利用辅助函数在理论上进行了证明，而且在实验中也得到了验证，我们的算法具有较高的收敛性。
如图3和表1所示，通过在公开的人脸数据库中与相关算法进行实验比较，结果表明本发明开发的算法具有一定的优越性。
表1本发明提出的算法(Our Method)与核局部保持投影(KLPP)、局部非负矩阵分解(LNMF)和多项式核非负矩阵分解(PNMF)在CMU PIE人脸数据库上的识别率(％)比较
(TN表示每一类的训练样本数)
TN 7 9 11 13 15 17
KLPP 61.77 63.60 61.60 62.78 63.27 61.41
LNMF 64.35 65.82 67.35 68.40 69.13 69.75
PNMF 52.60 54.05 55.66 57.00 56.76 57.52
Our Method 70.77 72.39 73.20 74.72 75.14 75.51
表1
本发明的有益效果是：1.通过利用l2,p-范数替代F-范数去度量矩阵分解的损失度，解决了现存的核非负矩阵分解算法中对奇异值敏感的问题，增强了本发明提出的核非负矩阵分解算法的稳定性；2.通过在目标函数中加入对系数矩阵H的正则化限制，增强了本发明算法对特征表示的稀疏性；3.通过将提出的具有新的目标函数的核非负矩阵分解与分数次幂内积核函数相整合，得到了具有高效的识别性能的稀疏分数内积非线性非负矩阵分解算法，解决了多项式核函数的超参数只能为整数的问题，提高了算法的判别能力。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

1.一种非线性非负矩阵分解人脸识别的构建方法，其特征在于，包括如下步骤：
损失度刻画步骤：利用矩阵的l2,p-范数刻画矩阵分解后的损失度；
稀疏性增强步骤：利用矩阵的l1-范数增强对特征的稀疏性表示，在损失函数中加入关于矩阵H的正则项；
目标函数构成步骤：通过损失度刻画步骤和稀疏性增强步骤，构成目标函数F(W,H)；
获得分数次幂内积核非负矩阵分解的更新迭代公式步骤：使用分数次幂内积核函数，构成待求解的最优化问题，通过利用梯度下降法求解H，指数梯度下降法求解W，从而获得分数次幂内积核非负矩阵分解的更新迭代公式；
所述分数次幂内积核非负矩阵分解的更新迭代公式为：
Figure FDA0003139744490000011
Figure FDA0003139744490000012
Figure FDA0003139744490000013
其中，t为迭代次数，
Figure FDA0003139744490000014
是非负样本矩阵，
Figure FDA0003139744490000015
和
Figure FDA0003139744490000016
分别为第t次迭代时的基图像矩阵和系数矩阵，矩阵
Figure FDA0003139744490000017
的元素为
Figure FDA0003139744490000018
Figure FDA0003139744490000019
是一对角矩阵，其对角元素
Figure FDA00031397444900000110
为参数的幂数，并且，()d与()1/d分别代表矩阵中的每个元素的d次幂与1/d次幂，
Figure FDA00031397444900000111
Figure FDA00031397444900000112
2.根据权利要求1所述的构建方法，其特征在于，该构建方法还包括收敛性验证步骤，在收敛性验证步骤中，通过构造辅助函数从而证明了算法的收敛性。
3.一种非线性非负矩阵分解人脸识别方法，其特征在于，包括训练步骤，所述训练步骤包括：
第一步骤：将训练样本图像转化为训练样本矩阵X，设置误差阈值ε、最大迭代次数Imax，对基图像矩阵W和系数矩阵H进行初始化；
第二步骤：利用分数次幂内积核非负矩阵分解的更新迭代公式，更新W和H；
所述分数次幂内积核非负矩阵分解的更新迭代公式为：
Figure FDA0003139744490000021
Figure FDA0003139744490000022
Figure FDA0003139744490000023
第三步骤：如果目标函数F(W,H)≤ε或迭代次数达到Imax，就停止迭代，输出矩阵W和H，否则，执行第二步骤；
目标函数F(W，H)包括执行以下步骤：
损失度刻画步骤：利用矩阵的l2,p-范数刻画矩阵分解后的损失度；
稀疏性增强步骤：利用矩阵的l1-范数增强对特征的稀疏性表示，在损失函数中加入关于矩阵H的正则项；
目标函数构成步骤：通过损失度刻画步骤和稀疏性增强步骤，构成目标函数F(W,H)。
4.根据权利要求3所述的非线性非负矩阵分解人脸识别方法，其特征在于，该非线性非负矩阵分解人脸识别方法还包括在训练步骤之后再执行测试步骤，所述测试步骤包括：
第四步骤：计算训练样本中每类的平均特征向量mj(j＝1,…,c)；
第五步骤：对于测试样本y，计算其特征向量hy；
第六步骤：若整数
Figure FDA0003139744490000024
则测试样本y的特征向量hy与训练样本中第l类的平均特征向量ml距离最近，那么将样本y归于第l类。
5.一种非线性非负矩阵分解人脸识别系统，其特征在于，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求3-4中任一项所述的方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求3-4中任一项所述的方法的步骤。
CN201810771965.9A 2018-07-13 2018-07-13 一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质 Active CN109002794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810771965.9A CN109002794B (zh) 2018-07-13 2018-07-13 一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810771965.9A CN109002794B (zh) 2018-07-13 2018-07-13 一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN109002794A CN109002794A (zh) 2018-12-14
CN109002794B true CN109002794B (zh) 2022-01-14

Family

ID=64599035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810771965.9A Active CN109002794B (zh) 2018-07-13 2018-07-13 一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN109002794B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070028B (zh) * 2019-04-17 2023-03-07 深圳大学 基于共轭梯度法的人脸图像非负特征表示与识别方法、系统及存储介质
CN110211025B (zh) * 2019-04-25 2021-02-12 北京理工大学 用于图像拼接的捆绑调整方法、存储介质和计算设备
WO2021003637A1 (zh) * 2019-07-08 2021-01-14 深圳大学 基于加性高斯核的核非负矩阵分解人脸识别方法、装置、系统及存储介质
CN112131899B (zh) * 2020-09-28 2022-10-25 四川轻化工大学 一种欠定状态下rfid系统的防碰撞方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927554A (zh) * 2014-05-07 2014-07-16 中国标准化研究院 一种基于拓扑结构的图像稀疏表征面部表情特征提取系统和方法
CN105893954A (zh) * 2016-03-30 2016-08-24 深圳大学 一种基于核机器学习的非负矩阵分解人脸识别方法及系统
CN106897685A (zh) * 2017-02-17 2017-06-27 深圳大学 基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法及系统
CN107203787A (zh) * 2017-06-14 2017-09-26 江西师范大学 一种无监督正则化矩阵分解特征选择方法
CN107480636A (zh) * 2017-08-15 2017-12-15 深圳大学 基于核非负矩阵分解的人脸识别方法、系统及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9280701B2 (en) * 2014-05-08 2016-03-08 Shutterfly, Inc. Grouping face images using statistic distribution estimate

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927554A (zh) * 2014-05-07 2014-07-16 中国标准化研究院 一种基于拓扑结构的图像稀疏表征面部表情特征提取系统和方法
CN105893954A (zh) * 2016-03-30 2016-08-24 深圳大学 一种基于核机器学习的非负矩阵分解人脸识别方法及系统
CN106897685A (zh) * 2017-02-17 2017-06-27 深圳大学 基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法及系统
CN107203787A (zh) * 2017-06-14 2017-09-26 江西师范大学 一种无监督正则化矩阵分解特征选择方法
CN107480636A (zh) * 2017-08-15 2017-12-15 深圳大学 基于核非负矩阵分解的人脸识别方法、系统及存储介质

Also Published As

Publication number Publication date
CN109002794A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
CN109002794B (zh) 一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质
Al Osipov et al. Random Bures mixed states and the distribution of their purity
CN109063698B (zh) 一种非负特征提取及人脸识别应用方法、系统及存储介质
Chan et al. Bayesian poisson regression for crowd counting
Van Nguyen et al. Kernel dictionary learning
Doostan et al. A least-squares approximation of partial differential equations with high-dimensional random inputs
Ristovski et al. Continuous conditional random fields for efficient regression in large fully connected graphs
EP2973241B1 (en) Signal processing systems
WO2020010602A1 (zh) 一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质
CN107480636B (zh) 基于核非负矩阵分解的人脸识别方法、系统及存储介质
CN110070028B (zh) 基于共轭梯度法的人脸图像非负特征表示与识别方法、系统及存储介质
Ivanov et al. Reducing the size of a sample sufficient for learning due to the symmetrization of correlation relationships between biometric data
Zhao et al. Soft label based linear discriminant analysis for image recognition and retrieval
CN110717519A (zh) 训练、特征提取、分类方法、设备及存储介质
Feng et al. Autoencoder based sample selection for self-taught learning
Li et al. PENNI: Pruned kernel sharing for efficient CNN inference
Lataniotis Data-driven uncertainty quantification for high-dimensional engineering problems
CN114974421A (zh) 基于扩散-降噪的单细胞转录组测序数据补插方法及系统
Sun et al. A stable approach for model order selection in nonnegative matrix factorization
Lu et al. Weak Collocation Regression method: fast reveal hidden stochastic dynamics from high-dimensional aggregate data
Zhai et al. Learnable Graph-regularization for matrix decomposition
CN110378262B (zh) 基于加性高斯核的核非负矩阵分解人脸识别方法、装置、系统及存储介质
Kärkkäinen et al. A Douglas–Rachford method for sparse extreme learning machine
Kruglov et al. Neural network modeling of vector multivariable functions in ill-posed approximation problems
Vetter et al. Sourcerer: Sample-based Maximum Entropy Source Distribution Estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant