CN110705368B - 自构余弦核空间中人脸数据非负特征表示和识别方法、装置、系统及存储介质 - Google Patents

自构余弦核空间中人脸数据非负特征表示和识别方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN110705368B
CN110705368B CN201910845969.1A CN201910845969A CN110705368B CN 110705368 B CN110705368 B CN 110705368B CN 201910845969 A CN201910845969 A CN 201910845969A CN 110705368 B CN110705368 B CN 110705368B
Authority
CN
China
Prior art keywords
matrix
class
module
face
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910845969.1A
Other languages
English (en)
Other versions
CN110705368A (zh
Inventor
陈文胜
钱荟卉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910845969.1A priority Critical patent/CN110705368B/zh
Publication of CN110705368A publication Critical patent/CN110705368A/zh
Application granted granted Critical
Publication of CN110705368B publication Critical patent/CN110705368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种自构余弦核空间中人脸数据非负特征表示和识别方法、装置、系统及存储介质，该自构余弦核空间中人脸数据非负特征表示和识别方法包括训练步骤和识别步骤。本发明的有益效果是：通过在公开的人脸数据库中与相关算法进行实验比较，结果表明本发明具有一定的优越性；通过在添加噪声的人脸数据库中与相关算法进行实验比较，结果表明本发明具有很好的鲁棒性。

Description

自构余弦核空间中人脸数据非负特征表示和识别方法、装置、系统及存储介质
技术领域
本发明涉及人脸识别技术领域，尤其一种自构余弦核空间中人脸数据非负特征表示和识别方法、装置、系统及存储介质。
背景技术
随着信息化时代的到来，利用人体固有的生理特征和行为特征进行个人身份鉴定的生物识别技术成为了一个最活跃的研究领域之一。在生物识别技术的众多分支中，最容易被人们接受的一个技术是人脸识别技术，这是由于相对于其他生物识别技术而言，人脸识别具有无侵害性、非强制性、非接触性和并发性。
人脸识别技术包含两个阶段，第一阶段是特征提取，也就是提取人脸图像中的人脸特征信息，这一阶段直接决定了人脸识别技术的好坏；第二阶段是身份鉴定，根据提取出的特征信息进行个人身份鉴定。主成分分析(PCA)与奇异值分解(SVD)都是较为经典的特征提取方法，但是这两种方法提出的特征向量通常含有负元素，因此在原始样本为非负数据下，这些方法不具有合理性与可解释性。非负矩阵分解(NMF)是一种处理非负数据的特征提取方法，它的应用非常广泛，比如高光谱数据处理、人脸图像识别等。NMF算法在原始样本非负数据矩阵分解过程中，对提取的特征具有非负性限制，即分解后的所有分量都是非负的，因而可以提取非负的稀疏特征。NMF算法的实质也就是将非负矩阵X近似分解为基图像矩阵W和系数矩阵H的乘积，即X≈WH，且W和H都是非负矩阵。这样矩阵X的每一列就可以表示成矩阵W列向量的非负线性组合，这也符合NMF算法的构造依据——对整体的感知是由对组成整体的部分的感知构成的(纯加性)。近年来，学者们提出了许多对NMF变形的算法，例如，增强算法鲁棒性的鲁棒NMF算法(RNMF)、保持局部特征的图NMF算法(GNMF)、引入正交限制的正交NMF算法(ONMF)。然而，这些NMF算法都是线性方法。在人脸识别过程中，由于包含遮挡，光照，表情等干扰因素，导致脸部图像变得十分复杂。此时的人脸识别问题变成了一个非线性的问题，故线性方法不再适用。
对于处理非线性问题，核方法是一种有效方法，它为将线性算法拓展为非线性算法提供了一个精美的理论框架。核方法的基本思想是通过使用一个非线性映射函数将原始数据映射到高维特征空间中，使得被映射后的数据线性可分，然后将线性算法应用到被映射后的数据上。在核方法中，最关键的部分是核技巧的使用，通过利用核函数取代被映射数据的内积，因而不需要知道非线性映射函数的具体解析式。核技巧的使用降低了将映射扩展到核空间即再生核希尔伯特空间(RKHS)的难度。利用核方法，可以将线性NMF算法推广为核NMF算法(KNMF)。KNMF算法的主要思路是是通过非线性映射函数
Figure BDA0002192501340000022
将样本矩阵X映射到高维特征空间中，并在这个特征空间中，利用NMF算法，将映射后的样本矩阵
Figure BDA0002192501340000024
近似分解为两个矩阵
Figure BDA0002192501340000025
与H的乘积，即
Figure BDA0002192501340000023
在KNMF方法中W和H分别称为原像矩阵和特征矩阵，并要求W和H均为非负矩阵。
目前的KNMF算法大都是基于多项式核和高斯核，即这些KNNF算法主要可分为两类：多项式核非负矩阵分解算法(PNMF)和高斯核非负矩阵分解算法(RBFNMF)。但这些KNMF算法大都存在如下问题：(1)不能得到隐含在核函数中的非线性映射的解析表达式；(2)不能保证映射后的数据在核空间中具有非负性，因而目前的KNMF算法只能算是半非负矩阵分解；(3)需要进行不精确的原像学习；(4)对噪声不具有鲁棒性。为了解决这些问题，本专利首先构造了一种在核空间中能够保持非负性的非线性映射(具有解析表达式)，据此通过构造和证明得到了一种新的余弦核函数。这种自构余弦核具有平移不变性和对噪声不敏感等良好性能。基于自构余弦核，本专利得到了一种新的自构余弦核空间中人脸数据非负特征表示和识别方法。该方法可以克服目前KNMF算法的如上四个缺陷。实验结果表明，本专利提出的余弦核NMF人脸识别算法具有优越的性能。
相关技术的技术方案：
1.核方法
设{x1,x2,…,xn}是原始样本空间中的一组数据。核方法的主要思想是通过一个非线性映射函数
Figure BDA0002192501340000021
将样本从原始空间映射到一个更高维的核空间中，使得样本在核空间中线性可分。然后在核空间里使用线性方法对映射后的数据进行分类。核方法的问题在于核空间的维数一般很高，甚至可能是无穷维的。另外，非线性映射的具体表达式也很难得到。幸运的是，核方法的具体算法一般只与非线性映射后数据的内积有关。根据核方法理论，这些内积可以用一个已知的核函数k来取代，即：
Figure BDA0002192501340000031
这就是所谓的核技巧。核函数的值反映的是两个样本之间的相似程度。常用的核函数有多项式核函数
Figure BDA0002192501340000032
和高斯核函数
(RBF)k(xi,xj)＝exp(-||xi-xj||2/(2δ2))。
2.核非负矩阵分解算法(KNMF)
KNMF的主要目的是利用核方法解决NMF的非线性问题。首先利用非线性映射函数
Figure BDA0002192501340000033
将原始空间中的非负样本数据
Figure BDA0002192501340000034
映射到一个高维特征空间中，得到被映射的样本数据
Figure BDA0002192501340000035
然后，在高维核空间中利用NMF算法处理被映射的数据，将
Figure BDA0002192501340000036
近似分解为两个矩阵
Figure BDA0002192501340000037
与H的乘积，即
Figure BDA0002192501340000038
其中
Figure BDA0002192501340000039
是原像矩阵，
Figure BDA00021925013400000310
是系数矩阵。为了衡量在矩阵分解过程中的损失，我们需要构建损失函数F(W,H)，损失函数的值越小，分解出的矩阵越具有合理性。因此，KNMF的需要解决的最优化问题为：
Figure BDA00021925013400000311
这里损失函数F(W,H)定义如下：
Figure BDA00021925013400000312
其中核矩阵
Figure BDA00021925013400000313
在KNMF算法中，最主要的影响因素是核函数k(·,·)的选择，核函数隐式地定义了高维核空间，若核函数选择不合适，那么意味着将样本数据映射到了一个不合适的特征空间，很可能导致性能不佳。
3.多项式核非负矩阵分解算法(PNMF)
多项式核非负矩阵分解算法(PNMF)是基于多项式核函数来求解优化问题(1)，其得到W和H的更新迭代公式为：
Figure BDA0002192501340000041
Figure BDA0002192501340000042
Figure BDA0002192501340000043
其中B是一个对角矩阵，其对角元素为
Figure BDA0002192501340000044
Figure BDA0002192501340000045
S＝(Sij)且
Figure BDA0002192501340000046
4.高斯核非负矩阵分解算法(KNMF-RBF)
高斯核非负矩阵分解算法(KNMF-RBF)是基于高斯核函数来求解优化问题
(1)，其得到W和H的更新迭代公式为：
Figure BDA0002192501340000047
Figure BDA0002192501340000048
Figure BDA0002192501340000049
其中
Figure BDA00021925013400000410
Figure BDA00021925013400000411
S＝(Sij)且
Figure BDA00021925013400000412
相关技术的缺点：
1、非负矩阵分解算法是一种线性的算法，而现实生活中许多问题都是非线性的，故难以取得让人满意的效果。
2、目前核非负矩阵分解算法一般使用基于多项式核函数或者高斯核函数，但很难求得其所隐含的非线性映射的解析表达式。另外，目前KNMF算法原像W的求解只使用了Taylor展开的前三项，因而误差较大，其原像学习是不精确的。不精确的原像会影响其性能。
3、基于多项式核函数或者高斯核函数的核方法不能保证映射后的数据的非负性，事实上为半非负矩阵分解。
4、目前核非负矩阵分解算法大都是基于多项式核函数或者高斯核函数，这两种核函数对噪声比较敏感，这使得算法的抗噪性较差。
发明内容
本发明提供了一种自构余弦核空间中人脸数据非负特征表示和识别方法，包括训练步骤，所述训练步骤包括如下步骤：
第一步骤：将训练样本图像转化为训练样本矩阵X，并将每一个样本归化至
Figure BDA0002192501340000051
内，设置误差阈值ε、最大迭代次数Imax；
第二步骤：对基图像矩阵W和系数矩阵H进行初始化；
第三步骤：设置迭代次数n＝0；
第四步骤：根据公式(12)更新基图像矩阵W和系数矩阵H；
第五步骤：使n＝n+1；
第六步骤：判断目标函数F(W,H)≤ε或迭代次数n是否达到最大迭代次数Imax，如果是，那么输出基图像矩阵W和系数矩阵H，否则执行第四步骤；
在第四步骤中，公式(12)如下：
Figure BDA0002192501340000052
其中wk∈Rm是基图像矩阵W的第k列，m是向量wk(k＝1,2,…,r)的维数，r是基图像矩阵W的列的数目，由本发明定义可知
Figure BDA0002192501340000053
参数t∈[0,1]，反函数arccos是对向量或矩阵中的每个元素求余弦反函数。
作为本发明的进一步改进：该自构余弦核空间中人脸数据非负特征表示和识别方法还包括在训练步骤之后再执行识别步骤，所述识别步骤包括：
第七步骤：计算训练样本中每类的平均特征向量mj(j＝1,2,…,c)，c为不同人脸类别数，j为第j类的标记数；
第八步骤:将所有测试样本均归化至
Figure BDA0002192501340000054
内，输入待识别人脸图像y，计算其特征向量hy；
第九步骤:计算待识别人脸图像的特征向量hy到第j类平均特征向量mj的距离dj＝||hy-mj||F，j＝1,…,c,||·||F为Frobenius范数，若hy与第p类样本的平均特征向量mp的距离dp最小，即
Figure BDA0002192501340000061
则将待识别人脸图像y归于第p类；
第十步骤：输出类别P，从而完成人脸识别。
本发明还提供了一种自构余弦核空间中人脸数据非负特征表示和识别装置，包括训练模块，所述训练模块包括：
输入模块：用于将训练样本图像转化为训练样本矩阵X，并将每一个样本归化至
Figure BDA0002192501340000062
内，设置误差阈值ε、最大迭代次数Imax；
初始化模块：用于对基图像矩阵W和系数矩阵H进行初始化；
赋值模块：用于设置迭代次数n＝0；
更新模块：用于根据公式(12)更新基图像矩阵W和系数矩阵H；
计数模块：使n＝n+1；
判断模块：判断目标函数F(W,H)≤ε或迭代次数n是否达到最大迭代次数Imax，如果是，那么输出基图像矩阵W和系数矩阵H，否则执行更新模块；
在更新模块中，公式(12)如下：
Figure BDA0002192501340000063
其中wk∈Rm是基图像矩阵W的第k列，m是向量wk(k＝1,2,…,r)的维数，r是基图像矩阵W的列的数目，由本发明定义可知
Figure BDA0002192501340000071
参数t∈[0,1]，反函数arccos是对向量或矩阵中的每个元素求余弦反函数。
作为本发明的进一步改进：该自构余弦核空间中人脸数据非负特征表示和识别装置还包括在训练模块之后再执行识别模块，所述识别模块包括：
平均特征向量计算模块：用于计算训练样本中每类的平均特征向量mj(j＝1,2,…,c)，c为不同人脸类别数，j为第j类的标记数；
特征向量计算模块:用于将所有测试样本均归化至
Figure BDA0002192501340000072
内，输入待识别人脸图像y，计算其特征向量hy；
距离计算模块:计算待识别人脸图像的特征向量hy到第j类平均特征向量mj的距离dj＝||hy-mj||F，j＝1,…,c,||·||F为Frobenius范数，若hy与第p类样本的平均特征向量mp的距离dp最小，即
Figure BDA0002192501340000073
则将待识别人脸图像y归于第p类；
输出模块：用于输出类别P，从而完成人脸识别。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述的方法的步骤。
本发明还公开了一种自构余弦核空间中人脸数据非负特征表示和识别系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本发明所述的方法的步骤。
本发明的有益效果是：通过在公开的人脸数据库中与相关算法进行实验比较，结果表明本发明具有一定的优越性；通过在添加噪声的人脸数据库中与相关算法进行实验比较，结果表明本发明具有很好的鲁棒性。
附图说明
图1是本发明的算法构造过程流程图；
图2是本发明的方法流程图；
图3是本发明提出的自构余弦核空间中人脸数据非负特征表示和识别方法与相关算法(PNMF，KNMF-RBF)在FERET人脸数据库上的识别率比较图；
图4是本发明提出的自构余弦核空间中人脸数据非负特征表示和识别方法与相关算法(PNMF，KNMF-RBF)在添加高斯噪声的ORL人脸数据库上的识别率比较图；
图5是本发明的自构余弦核空间中人脸数据非负特征表示和识别方法的收敛曲线图。
具体实施方式
本发明公开了一种自构余弦核空间中人脸数据非负特征表示和识别方法，本发明的主要目的有：
1、克服目前KNMF算法的不精确原像学习问题；
2、保证映射到核空间中的数据的非负性，克服目前KNMF算法在核空间中的半非负分解问题；
3、构建了一种可以写出显式的非线性映射，进而构造出一种新的具有平移不变性和抗噪性的余弦核函数；
4、构建一个具有抗噪性的高识别性能的核非负矩阵分解人脸识别方法。
一.关键词解释：
1.符号说明
X 矩阵
xj 矩阵X的第j列
xij 矩阵X的第ij个元素
max(x) 列向量x中最大的元素的值
cos x 列向量x中元素的余弦列向量
sin x 列向量x中元素的正弦列向量
A⊙B 矩阵A与B中Hadamard乘积
Figure BDA0002192501340000091
矩阵A与B中对应元素的商
2.非负矩阵分解(Non-negative Matrix Factorization，NMF)
NMF的基本思想是将一个非负样本矩阵
Figure BDA0002192501340000092
近似分解为两个非负矩阵的乘积，即：
X≈WH,
其中，
Figure BDA0002192501340000093
和
Figure BDA0002192501340000094
分别被称为基图像矩阵和系数矩阵。并且，通过构建损失函数度量X与WH之间的逼近程度,通常损失函数是基于F-范数被定义的，为：
Figure BDA0002192501340000095
3.核函数(Kernel Function)
令χ为输入空间，k(·,·)是定义在χ×χ上的对称函数，则k是核函数当且仅当对于任意数据D＝{x1,x2,…,xn}，Gram矩阵K总是半正定的：
Figure BDA0002192501340000096
4.余弦函数的性质(Properties of cosine functions)
余弦函数展开公式：
Figure BDA0002192501340000097
余弦函数平移不变性：cos((x+a)-(y+a))＝cos(x-y)。
二.具体技术方案：
为了克服现有核非负矩阵分解算法的不精确原像学习、半非负分解，以及对噪声不具鲁棒性等问题，我们构建了一种新的余弦核函数。设
Figure BDA0002192501340000098
是一个m维的列向量，且在本专利中定义映射
Figure BDA0002192501340000101
定义非线性映射
Figure BDA0002192501340000102
其中
Figure BDA0002192501340000103
定义1：对于任意的向量
Figure BDA0002192501340000104
参数t∈(0,1]，函数k定义为：
Figure BDA0002192501340000105
容易证明k是一个核函数。我们称此函数为自构余弦核函数。
考虑一张人脸图像数据x＝(x1,x2,…,xi,…,xm)T，如果xi由于噪声的干扰变为xi+a，即
Figure BDA0002192501340000106
则
Figure BDA0002192501340000107
当m足够大的时候k(x,x*)≈1。这表明自构余弦核在噪声下依然能保持较高的样本相似度。因此在人脸识别中，自构余弦核能够有效克服噪声的影响，增强算法的鲁棒性。为了方便，在本专利推导中取t＝1，即
Figure BDA0002192501340000108
1.自构余弦核非负矩阵算法(CKNMF)的提出
预处理
在本算法中，我们将所有的非负数据x*均进行如下预处理
Figure BDA0002192501340000109
这样可以保证所有预处理后的数据x的每个分量都归化至区间
Figure BDA00021925013400001010
内。由
Figure BDA00021925013400001011
的定义可知非线性映射
Figure BDA00021925013400001012
是非负的，所以我们在高维核空间中的分解仍为非负矩阵分解。
目标函数的构建
新KNMF的目标函数定义如下：
Figure BDA0002192501340000111
为了利用新构建的余弦核函数求解目标函数(2)中的两个未知非负矩阵W和H，我们将目标函数转化为两个子目标函数，分别为：
Figure BDA0002192501340000112
其中W固定；
Figure BDA0002192501340000113
其中H固定。
则问题(2)也转化为两个子问题，分别为：
minf1(H)s.t.H≥0， (3)
Figure BDA0002192501340000114
1)对系数矩阵H的学习
由(2)有f1(H)＝tr(KXX-2KXWH+HTKWWH)。对于子问题(3)，采用梯度下降法对系数矩阵H的第k列hk进行求解，有：
Figure BDA0002192501340000115
其中
Figure BDA0002192501340000116
是关于hk的步长向量，
Figure BDA0002192501340000117
是f1(H)关于hk的梯度，可以计算得：
Figure BDA0002192501340000118
将公式(6)带入公式(5)中有
Figure BDA0002192501340000119
为了保证hk的非负性，令：
Figure BDA00021925013400001110
因此，选择步长向量为：
Figure BDA00021925013400001111
将梯度
Figure BDA00021925013400001112
与步长向量
Figure BDA00021925013400001113
带入公式(5)中，得到hk的更新迭代公式为：
Figure BDA00021925013400001114
可将此更新迭代公式转化为矩阵形式，且有以下定理。
定理2：固定矩阵W，当子问题(3)中的系数矩阵H按以下迭代方式更新时
Figure BDA0002192501340000121
则目标函数f1(H)是单调非增的。
2)对原像矩阵W的学习
对于子问题(4)，固定矩阵H，先对像矩阵
Figure BDA0002192501340000122
进行学习。我们有
Figure BDA0002192501340000123
采用梯度下降法对像矩阵
Figure BDA0002192501340000124
中的第k列
Figure BDA0002192501340000125
进行求解，有：
Figure BDA0002192501340000126
其中
Figure BDA0002192501340000127
Figure BDA0002192501340000128
是一个步长列向量，
Figure BDA0002192501340000129
是
Figure BDA00021925013400001210
关于
Figure BDA00021925013400001211
的梯度。
对于像矩阵
Figure BDA00021925013400001212
函数
Figure BDA00021925013400001213
可以被表示为：
Figure BDA00021925013400001214
可以计算出函数
Figure BDA00021925013400001215
关于
Figure BDA00021925013400001216
的导数为：
Figure BDA00021925013400001217
将公式(9)带入公式(8)，得到
Figure BDA00021925013400001218
为了保证wk与
Figure BDA00021925013400001219
的非负性，我们令
Figure BDA00021925013400001220
因此，选择步长为：
Figure BDA00021925013400001221
将公式(9)与(10)带入公式(8)中，可以求出关于
Figure BDA00021925013400001222
的迭代公式为：
Figure BDA0002192501340000131
根据
Figure BDA0002192501340000132
可得到wk的计算公式为：
Figure BDA0002192501340000133
上述迭代式用矩阵形式可表示为(14)。
定理3：固定矩阵H，目标函数f2(H)是非增的，当子问题(4)中的基图像矩阵W按以下迭代方式更新：
Figure BDA0002192501340000134
Figure BDA0002192501340000135
其中
Figure BDA0002192501340000136
arccos(·)表示对矩阵中每个元素取反余弦函数，t为余弦核的参数。可以看出，本专利提出的算法对像矩阵
Figure BDA0002192501340000137
的学习是精确的，因而从像矩阵
Figure BDA0002192501340000138
求出的原像矩阵W也是精确的。
综上所述，通过定理1和定理2，可以得到本专利提出的余弦核非负矩阵分解的更新迭代公式，为：
Figure BDA0002192501340000139
2.收敛性证明
这里我们主要讨论迭代公式(13)与(14)的收敛性，迭代公式(7)的收敛性可类似证明。为此需要利用辅助函数的定义和性质：
定义1：对于任意的向量w和w(t)，若满足条件
G(w,w(t))≥f(w)，且G(w(t),w(t))＝f(w(t))，
则称G(w,w(t))为函数f(w)的一个辅助函数。
引理1：如果G(w,w(t))是f(w)的一个辅助函数，那么f(w)在如下的更新法则下是单调不增的，
Figure BDA0002192501340000141
接下来，我们通过构造辅助函数证明定理3的成立，也就是证明本专利构造的新算法具有收敛性。
事实上，由于映射
Figure BDA0002192501340000142
是固定的，因此f2是关于
Figure BDA0002192501340000143
的函数，也同样是关于W的复合函数。故可定义
Figure BDA0002192501340000144
定理4：设矩阵
Figure BDA0002192501340000145
其元素为
Figure BDA0002192501340000146
那么，函数
Figure BDA0002192501340000147
是
Figure BDA0002192501340000148
的辅助函数。
证明：由
Figure BDA0002192501340000149
可知
Figure BDA00021925013400001410
那么
Figure BDA00021925013400001411
可以很明显的看出，当W＝W(t)时，G(W(t),W(t))＝g(W(t))。又因为
Figure BDA0002192501340000151
可得，G(W,W(t))-g(W)≥0，G(W,W(t))是g(W)的辅助函数，证毕。
设矩阵W的第k列wk未知，其他列都是已知的，对辅助函数G(W,W(t))关于wk求导，可得
Figure BDA0002192501340000152
当
Figure BDA0002192501340000153
时，有
Figure BDA0002192501340000154
通过计算，可得
Figure BDA0002192501340000155
根据
Figure BDA0002192501340000156
可得到wk的更新迭代公式为：
Figure BDA0002192501340000157
将其转化为矩阵形式可得公式(11)，因此定理3成立。
3.特征提取
假设y是一个测试样本，非线性映射
Figure BDA0002192501340000161
将其映射到特征空间中为，且
Figure BDA0002192501340000162
可以被表示为被映射后的基图像矩阵
Figure BDA0002192501340000163
的列向量的线性组合，为：
Figure BDA0002192501340000164
其中hy为
Figure BDA0002192501340000165
的特征向量。上式两边同乘
Figure BDA0002192501340000166
可得
Figure BDA0002192501340000167
即，
KWy＝KWWhy,
其中KWy为一个核向量。因此，特征hy可以求出为
Figure BDA0002192501340000168
其中，
Figure BDA0002192501340000169
是矩阵KWW的广义逆。类似的，我们可以得到训练样本的平均特征向量。假设原始空间中有c类样本，其中第j类的训练样本数为nj(j＝1,2,…,c)，训练样本矩阵为Xj，那么第j类的平均特征向量可以表示为：
Figure BDA00021925013400001610
其中，
Figure BDA00021925013400001611
是一个维数为nj×1维的全一列向量。
综上，本发明自构余弦核空间中人脸数据非负特征表示和识别方法具体构建过程如下：
(1)在本专利的算法中引入我们构建的具有显式非线性映射的余弦核函数；
(2)通过利用梯度下降法及推导出本专利算法的更新迭代公式；
(3)通过构造辅助函数，证明了本专利算法的收敛性，从理论上保证了算法的合理性。
如图2所示，本发明提供了一种自构余弦核空间中人脸数据非负特征表示和识别方法，包括训练步骤，所述训练步骤包括如下步骤：
第一步骤：将训练样本图像转化为训练样本矩阵X，并将每一个样本归化至
Figure BDA00021925013400001612
内，设置误差阈值ε、最大迭代次数Imax；
第二步骤：对基图像矩阵W和系数矩阵H进行初始化；
第三步骤：设置迭代次数n＝0；
第四步骤：根据公式(12)更新基图像矩阵W和系数矩阵H；
第五步骤：使n＝n+1；
第六步骤：判断目标函数F(W,H)≤ε或迭代次数n是否达到最大迭代次数Imax，如果是，那么输出基图像矩阵W和系数矩阵H，否则执行第四步骤；
在第四步骤中，公式(12)如下：计算公式为：
Figure BDA0002192501340000171
该自构余弦核空间中人脸数据非负特征表示和识别方法还包括在训练步骤之后再执行识别步骤，所述识别步骤包括：
第七步骤：计算训练样本中每类的平均特征向量mj(j＝1,2,…,c)，c为不同人脸类别数，j为第j类的标记数；
第八步骤:将所有测试样本均归化至
Figure BDA0002192501340000172
内，输入待识别人脸图像y，计算其特征向量hy；
第九步骤:计算待识别人脸图像的特征向量hy到第j类平均特征向量mj的距离dj＝||hy-mj||F，j＝1,…,c,||·||F为Frobenius范数，若hy与第p类样本的平均特征向量mp的距离dp最小，即
Figure BDA0002192501340000173
则将待识别人脸图像y归于第p类；
第十步骤：输出类别P，从而完成人脸识别。
输出类别P，表示待识别人脸图像y被识别为第P个人脸类别，所以输出类别P后，人脸识别就完成了。
本发明还提供了一种自构余弦核空间中人脸数据非负特征表示和识别装置，包括训练模块，所述训练模块包括：
输入模块：用于将训练样本图像转化为训练样本矩阵X，并将每一个样本归化至
Figure BDA0002192501340000181
内，设置误差阈值ε、最大迭代次数Imax；
初始化模块：用于对基图像矩阵W和系数矩阵H进行初始化；
赋值模块：用于设置迭代次数n＝0；
更新模块：用于根据公式(12)更新基图像矩阵W和系数矩阵H；
计数模块：使n＝n+1；
判断模块：判断目标函数F(W,H)≤ε或迭代次数n是否达到最大迭代次数Imax，如果是，那么输出基图像矩阵W和系数矩阵H，否则执行更新模块；
在更新模块中，公式(12)如下：
Figure BDA0002192501340000182
该自构余弦核空间中人脸数据非负特征表示和识别装置还包括在训练模块之后再执行识别模块，所述识别模块包括：
平均特征向量计算模块：用于计算训练样本中每类的平均特征向量mj(j＝1,2,…,c)，c为不同人脸类别数，j为第j类的标记数；
特征向量计算模块:用于将所有测试样本均归化至
Figure BDA0002192501340000183
内，输入待识别人脸图像y，计算其特征向量hy；
距离计算模块:计算待识别人脸图像的特征向量hy到第j类平均特征向量mj的距离dj＝||hy-mj||F，j＝1,…,c,||·||F为Frobenius范数，若hy与第p类样本的平均特征向量mp的距离dp最小，即
Figure BDA0002192501340000184
则将待识别人脸图像y归于第p类；
输出模块：用于输出类别P，从而完成人脸识别。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述的方法的步骤。
本发明还公开了一种自构余弦核空间中人脸数据非负特征表示和识别系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本发明所述的方法的步骤。
表1是本专利提出的方法(Our Method)与多项式核非负矩阵分解(PNMF)和高斯核非负矩阵分解(KNMF-RBF)在FERET人脸数据库上的识别率(％)比较
(TN表示每一类的训练样本数)
TN 2 3 4 5
PNMF 51.77 56.63 63.04 62.75
KNMF-RBF 57.93 65.36 71.04 73.50
Our Method 66.38 72.25 78.08 80.33
表1
表2是本专利提出的方法(Our Method)与多项式核非负矩阵分解(PNMF)和高斯核非负矩阵分解(KNMF-RBF)在添加高斯噪声的ORL人脸数据库上的识别率(％)比较(σ表示加性高斯噪声方差)
σ 0.1 0.15 0.2 0.25 0.3
PNMF 88.06 85.00 80.00 75.50 68.62
KNMF-RBF 45.19 40.56 29.81 29.81 26.44
Our Method 89.68 86.43 84.75 80.38 78.81
表2
本发明的有益效果：
1.通过构建的具有抗噪性的余弦核函数，得到了一种具有抗噪性的核非负矩阵分解算法。实验结果表明，我们的算法对噪声具有鲁棒性。
2.本专利所提出的算法的收敛性，不仅通过利用辅助函数在理论上进行了证明，而且在实验中也得到了验证，我们的算法具有较高的收敛性。
3.通过在公开的人脸数据库中与相关算法进行实验比较，结果表明本专利开发的方法具有一定的优越性。
4.通过在添加噪声的人脸数据库中与相关算法进行实验比较，结果表明本专利开发的方法具有很好的鲁棒性。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (4)

1.一种自构余弦核空间中人脸数据非负特征表示和识别方法，其特征在于，包括训练步骤，所述训练步骤包括如下步骤：
第一步骤：将训练样本图像转化为训练样本矩阵X，并将每一个样本归一化至
Figure FDA0004077837550000011
内，设置误差阈值ε、最大迭代次数Imax；
第二步骤：对基图像矩阵W和系数矩阵H进行初始化；
第三步骤：设置迭代次数n＝0；
第四步骤：根据公式(12)更新基图像矩阵W和系数矩阵H，
Figure FDA0004077837550000012
第五步骤：使n＝n+1；
第六步骤：判断目标函数F(W,H)≤ε或迭代次数n是否达到最大迭代次数Imax，如果是，那么输出基图像矩阵W和系数矩阵H，否则执行第四步骤，
Figure FDA0004077837550000013
在第四步骤中，公式(12)如下：
Figure FDA0004077837550000014
其中wk∈Rm是基图像矩阵W的第k列，m是向量wk(k＝1,2,…,r)的维数，r是基图像矩阵W的列的数目，由本发明定义可知
Figure FDA0004077837550000015
参数t∈[0,1]，反函数arccos是对向量或矩阵中的每个元素求余弦反函数；
该自构余弦核空间中人脸数据非负特征表示和识别方法还包括在训练步骤之后再执行识别步骤，所述识别步骤包括：
第七步骤：计算训练样本中每类的平均特征向量mj(j＝1,…,c)，c为不同人脸类别数，j为第j类的标记数；
第八步骤:将所有测试样本均归一化至
Figure FDA0004077837550000021
内，输入待识别人脸图像y，计算其特征向量hy；
第九步骤:计算待识别人脸图像的特征向量hy到第j类平均特征向量mj的距离dj＝||hy-mj||F，j＝1,…,c,||·||F为Frobenius范数，若hy与第p类样本的平均特征向量mp的距离dp最小，即
Figure FDA0004077837550000022
则将待识别人脸图像y归于第p类；
第十步骤：输出类别P，从而完成人脸识别；
在第八步骤中，特征向量hy求出为
Figure FDA0004077837550000023
其中，
Figure FDA0004077837550000024
是矩阵KWW的广义逆，假设原始空间中有c类样本，其中第j类的训练样本数为nj(j＝1,2,…,c)，训练样本矩阵为Xj，那么第j类的平均特征向量可以表示为：
Figure FDA0004077837550000025
其中，
Figure FDA0004077837550000026
是一个维数为nj×1维的全一列向量。
2.一种自构余弦核空间中人脸数据非负特征表示和识别装置，其特征在于，包括训练模块，所述训练模块包括：
输入模块：用于将训练样本图像转化为训练样本矩阵X，并将每一个样本归一化至
Figure FDA0004077837550000027
内，设置误差阈值ε、最大迭代次数Imax；
初始化模块：用于对基图像矩阵W和系数矩阵H进行初始化；
赋值模块：用于设置迭代次数n＝0；
更新模块：用于根据公式(12)更新基图像矩阵W和系数矩阵H，
Figure FDA0004077837550000031
计数模块：使n＝n+1；
判断模块：判断目标函数F(W,H)≤ε或迭代次数n是否达到最大迭代次数Imax，如果是，那么输出基图像矩阵W和系数矩阵H，否则执行更新模块，
Figure FDA0004077837550000032
在更新模块中，公式(12)如下：
Figure FDA0004077837550000033
其中wk∈Rm是基图像矩阵W的第k列，m是向量wk(k＝1,2,…,r)的维数，r是基图像矩阵W的列的数目，由本发明定义可知
Figure FDA0004077837550000034
参数t∈[0,1]，反函数arccos是对向量或矩阵中的每个元素求余弦反函数；
该自构余弦核空间中人脸数据非负特征表示和识别装置还包括在训练模块之后再执行识别模块，所述识别模块包括：
平均特征向量计算模块：用于计算训练样本中每类的平均特征向量mj(j＝1,…,c)，c为不同的人脸类别数，j为第j类的标记数；
特征向量计算模块:用于将所有测试样本均归一化至
Figure FDA0004077837550000035
内，输入待识别人脸图像y，计算其特征向量hy；
距离计算模块:计算待识别人脸图像的特征向量hy到第j类平均特征向量mj的距离dj＝||hy-mj||F，j＝1,…,c,||·||F为Frobenius范数，若hy与第p类样本的平均特征向量mp的距离dp最小，即
Figure FDA0004077837550000041
则将待识别人脸图像y归于第p类；
输出模块：用于输出类别p，从而完成人脸识别；
在特征向量计算模块中，特征向量hy求出为
Figure FDA0004077837550000042
其中，
Figure FDA0004077837550000043
是矩阵KWW的广义逆，假设原始空间中有c类样本，其中第j类的训练样本数为nj(j＝1,2,…,c)，训练样本矩阵为Xj，那么第j类的平均特征向量可以表示为：
Figure FDA0004077837550000044
其中，
Figure FDA0004077837550000045
是一个维数为nj×1维的全一列向量。
3.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1所述的方法的步骤。
4.一种自构余弦核空间中人脸数据非负特征表示和识别系统，其特征在于，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求1所述的方法的步骤。
CN201910845969.1A 2019-09-05 2019-09-05 自构余弦核空间中人脸数据非负特征表示和识别方法、装置、系统及存储介质 Active CN110705368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910845969.1A CN110705368B (zh) 2019-09-05 2019-09-05 自构余弦核空间中人脸数据非负特征表示和识别方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910845969.1A CN110705368B (zh) 2019-09-05 2019-09-05 自构余弦核空间中人脸数据非负特征表示和识别方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN110705368A CN110705368A (zh) 2020-01-17
CN110705368B true CN110705368B (zh) 2023-04-18

Family

ID=69195068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910845969.1A Active CN110705368B (zh) 2019-09-05 2019-09-05 自构余弦核空间中人脸数据非负特征表示和识别方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN110705368B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04278668A (ja) * 1991-02-20 1992-10-05 Samsung Electron Co Ltd ２次元離散コサイン変換方法および装置
US6853745B1 (en) * 2000-11-03 2005-02-08 Nec Laboratories America, Inc. Lambertian reflectance and linear subspaces
CN105335732A (zh) * 2015-11-17 2016-02-17 西安电子科技大学 基于分块及鉴别非负矩阵分解的有遮挡人脸识别方法
CN109063698A (zh) * 2018-10-23 2018-12-21 深圳大学 一种非负特征提取及人脸识别应用方法、系统及存储介质
CN109508697A (zh) * 2018-12-14 2019-03-22 深圳大学 基于e辅助函数的半非负矩阵分解的人脸识别方法、系统及存储介质
CN109978031A (zh) * 2019-03-13 2019-07-05 东北大学 基于图像特征回归的多视角流形分析故障诊断方法
CN110070028A (zh) * 2019-04-17 2019-07-30 深圳大学 基于共轭梯度法的人脸图像非负特征表示与识别方法、系统及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101965588A (zh) * 2008-01-31 2011-02-02 伊利诺伊大学评议会 经高维数据分类的识别
US8411910B2 (en) * 2008-04-17 2013-04-02 Biometricore, Inc. Computationally efficient feature extraction and matching iris recognition

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04278668A (ja) * 1991-02-20 1992-10-05 Samsung Electron Co Ltd ２次元離散コサイン変換方法および装置
US6853745B1 (en) * 2000-11-03 2005-02-08 Nec Laboratories America, Inc. Lambertian reflectance and linear subspaces
CN105335732A (zh) * 2015-11-17 2016-02-17 西安电子科技大学 基于分块及鉴别非负矩阵分解的有遮挡人脸识别方法
CN109063698A (zh) * 2018-10-23 2018-12-21 深圳大学 一种非负特征提取及人脸识别应用方法、系统及存储介质
CN109508697A (zh) * 2018-12-14 2019-03-22 深圳大学 基于e辅助函数的半非负矩阵分解的人脸识别方法、系统及存储介质
CN109978031A (zh) * 2019-03-13 2019-07-05 东北大学 基于图像特征回归的多视角流形分析故障诊断方法
CN110070028A (zh) * 2019-04-17 2019-07-30 深圳大学 基于共轭梯度法的人脸图像非负特征表示与识别方法、系统及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
KERNEL NONNEGATIVE MATRIX FACTORIZATION WITH RBF KERNEL FUNCTION FOR FACE RECOGNITION;WEN-SHENG CHEN，et al.;《Proceedings of the 2017 International Conference on Machine Learning and Cybernetics》;20171116;全文 *
Nonnegative trigonometric polynomials;Dimitrov DK, et al.;《CONSTRUCTIVE APPROXIMATION》;20021231;全文 *
基于FPGA的人脸识别算法的设计与实现;徐超;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20170115(第1期);全文 *
基于多核非负矩阵分解的机械故障诊断;杨永生等;《西北工业大学学报》;20150415(第02期);全文 *
基于数据融合的人脸识别方法;刘冬梅等;《计算机工程》;20131015(第10期);全文 *

Also Published As

Publication number Publication date
CN110705368A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
Brbić et al. Multi-view low-rank sparse subspace clustering
Zhang et al. Robust low-rank kernel multi-view subspace clustering based on the schatten p-norm and correntropy
WO2018149133A1 (zh) 基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法及系统
CN109063698B (zh) 一种非负特征提取及人脸识别应用方法、系统及存储介质
Qiu et al. A generalized graph regularized non-negative tucker decomposition framework for tensor data representation
Li et al. Overview of principal component analysis algorithm
Zhang et al. Unsupervised nonnegative adaptive feature extraction for data representation
Keysers et al. Adaptation in statistical pattern recognition using tangent vectors
Huo et al. Cross-modal metric learning for AUC optimization
WO2020010602A1 (zh) 一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质
CN110070028B (zh) 基于共轭梯度法的人脸图像非负特征表示与识别方法、系统及存储介质
Wang et al. Robust auto-weighted projective low-rank and sparse recovery for visual representation
Shen et al. Orthogonal multiset canonical correlation analysis based on fractional-order and its application in multiple feature extraction and recognition
Liu et al. Supervised learning via unsupervised sparse autoencoder
CN110147782A (zh) 一种基于投影字典对学习的人脸识别方法及装置
CN109063555B (zh) 基于低秩分解和稀疏表示残差对比的多姿态人脸识别方法
Ramachandran et al. Evaluation of dimensionality reduction techniques for big data
WO2020118708A1 (zh) 基于e辅助函数的半非负矩阵分解的人脸识别方法、系统及存储介质
Pan et al. Ideal regularization for learning kernels from labels
Wang et al. Product Grassmann manifold representation and its LRR models
WO2021003637A1 (zh) 基于加性高斯核的核非负矩阵分解人脸识别方法、装置、系统及存储介质
Zhao et al. Supervised LLE in ICA space for facial expression recognition
Li et al. Unsupervised active learning via subspace learning
Jena et al. Implementation of linear discriminant analysis for Odia numeral recognition
Srivastava et al. Tools for application-driven linear dimension reduction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant