CN106897685A - 基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法及系统 - Google Patents
基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法及系统 Download PDFInfo
- Publication number
- CN106897685A CN106897685A CN201710087134.5A CN201710087134A CN106897685A CN 106897685 A CN106897685 A CN 106897685A CN 201710087134 A CN201710087134 A CN 201710087134A CN 106897685 A CN106897685 A CN 106897685A
- Authority
- CN
- China
- Prior art keywords
- negative
- matrix
- sparse
- dictionary
- face identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于核非负矩阵分解(KNMF)的字典学习和稀疏特征表示的人脸识别方法及系统,该人脸识别方法包括将个类预设的非负训练样本图像表示为非负列向量,并组合成c个非负小矩阵;然后分别对执行核非负矩阵分解,得到核稀疏表示学习字典。基于该字典,对于待识别图像,提取其非负稀疏特征,并计算其对应于各类的稀疏特征之和。最后比较所有的,如果最大,那么将归到第 类。本发明的有益效果是:通过利用分块核非负矩阵分解来构造高性能核稀疏表示学习字典,实现了一种非线性的非负稀疏表示的人脸识别算法,克服了人脸数据呈现出复杂的非线性结构情况,且提升了识别性能。
Description
技术领域
本发明涉及人脸识别技术领域,尤其涉及基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法及系统。
背景技术
近年来,在计算机视觉与模式识别领域中,人脸识别已经成为最热门的研究方向之一。人脸识别系统被广泛地应用于我们的生活当中,例如公安刑侦破案、门禁系统、摄像监视系统、身份辨识、网络应用等。人脸识别服务于人们活动的各个重要方面,给人们带了便利、轻松的生活环境。
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。在人脸识别当中,表示一张人脸图像最流行的方法是通过一组基图像的线性组合。非负矩阵分解(NMF)是一种典型的人脸识别方法,能够有效地提取人脸的局部化特征。对于一个非负矩阵X,NMF是为了找到两个非负矩阵W和H使得X≈WH,其中W和H分别被称为基图像矩阵和系数矩阵。W的每一列被叫作基图像,这些基图像是一些人脸的局部化特征,比如说鼻子、眼睛、耳朵、嘴巴等等。H的每一列是一个特征,这些特征是由非负的系数组成。如果X的每一列代表一张人脸图像,那么NMF能通过W中的局部化特征的线性组合来学习X中的每一整张人脸图像,这与通过组合物体部分来形成总体这一直观概念相符合。然而,非负矩阵分解算法是一种线性特征提取方法。由于人脸图像受到不同光照、不同姿势、不同表情等因素的影响,人脸图像的数据在模式空间中分布十分复杂,往往呈现出非线性结构,所以,当我们应用线性的算法(比如NMF)到人脸识别上时,就很难取得比较好的识别效果。为此,许多研究人员提出了一些非线性方法来克服这类问题。其中,核方法是一种流行的方法,它能够有效地提取模式的非线性特征,从而克服人脸图像数据呈现的非线性问题。核方法的基本思想是首先通过利用非线性映射φ将原始空间中的数据X映射到一个高维核空间中,使得新的数据φ(X)线性可分,然后在高维核空间中应用线性方法对新的数据φ(X)进行处理。在核方法中,核空间的维数一般远大于原始样本空间的维数,甚至有些是无穷维。作为一种非线性的方法,核非负矩阵分解(KNMF)是NMF的核方法,它克服了图像数据非线性问题。KNMF算法的主要思路是首先将通过非线性映射后的样本φ(X),然后用高维核空间中的一组基近似地线性表出φ(X),即φ(X)≈φ(W)H,系数矩阵H的每一列将作为原始样本X的新特征。在人脸识别上,实验结果表明KNMF优于线性NMF方法。
研究表明,提取的特征越稀疏,越有利于模式分类。因此,在人脸识别上,一些具有稀疏特征的非负矩阵分解算法被提出用来提高算法的识别性能。为了提高KNMF特征的稀疏度和判别力度,我们前面工作提出了一种分块核非负矩阵分解算法(BKNMF)。BKNMF通过利用了分块技巧,首先是对每一类的训练样本执行一种核非负矩阵分解,然后合并所有类的分解得到总的分解。在BKNMF执行的核非负矩阵分解与KNMF有所不同,前者通过利用每类的判别信息来减小类间的距离,因此比后者有更好的判别力度。BKNMF能够提取稀疏的非线性特征,并且来自不同类的特征是相互正交的。但是BKNMF的特征稀疏度还可以进一步提高,从而使识别性能提升。非负稀疏表示(NSR)方法是提取非负稀疏特征的有效方法。NSR的主要任务是解决一个带有l0范数正则项的平方最小化问题。然而,这个最小化问题是一个NP难度问题。幸运的是,对非负稀疏表示的深入研究表明:当这个NP难度问题的解充分稀疏时,它能够用l1范数正则项代替l0范数正则项,从而转化成一个带有l1范数正则项的凸优化问题。当数据呈现出非线性结构时,非线性的NSR通常比线性的NSR取得的分类会效果更好。作为一种非线性的NSR方法,基于核的非负稀疏表示(KNSR)有效地克服了数据呈非线性结构问题。KNSR的关键在于其稀疏学习字典,一般直接用映射后的训练样本矩阵作为稀疏表示字典,基于该字典在高维核空间中来提取新数据的非负稀疏特征。虽然KNSR能够提取数据的稀疏非线性特征,但是它的字典没有利用到模式的类标信息,即它是一种无监督的方法。因此,KNSR的性能在分类任务中会受到影响。本专利拟通过利用训练样本的类标信息来构造高性能稀疏学习字典,以提升KNSR的识别性能。
总之,在人脸识别中,虽然有各种各样方法被提出来克服各种问题,但是这些现有的方法都普遍存在一些问题:(1)当数据在模式空间中呈非线性分布时,线性算法的效果并不理想;(2)许多算法都是无监督的方法,即没有用到样本的类标信息,通常有监督的方法都会比无监督的方法取得的效果好;(3)许多方法提取的特征不足够稀疏,这会降低算法分类能力。
关键词解释:
1,非负矩阵分解(Nonnegative Matrix Factorization,NMF)非负矩阵分解是将一个非负样本矩阵X近似分解成两个非负矩阵的乘积,即
X≈WH,
其中,W和H都是非负矩阵且分别被称为基图像矩阵和系数矩阵。
2,核非负矩阵分解(Kernel Nonnegative Matrix Factorization,KNMF)
核非负矩阵分解是首先通过一个非线性映射φ将非负样本矩阵X映射到高维空间中,然后将被映射的非负样本矩阵φ(X)近似分解成被映射的原像矩阵φ(W)和系数矩阵H,的乘积,即
φ(X)≈φ(W)H,
其中W和H都是非负矩阵且分别被称为原像矩阵和系数矩阵。
3,分块核非负矩阵分解(Block Kernel Nonnegative Matrix Factorization,BKNMF)
在BKNMF中,非负样本矩阵X是由c类非负训练样本生成,即X=[X1,X2,...,Xc],其中Xi是由第i类非负训练样本组成,(i=1,2,...,c)。分块核非负矩阵分解首先是对每一个小矩阵φ(Xi)进行分解,即
φ(Xi)≈φ(Wi)Hi,
其中Wi和Hi都是非负矩阵。通过组合以上所有分解,即可得到如下分块核非负矩阵分解:
φ(X)≈φ(W)H,
其中,φ(X)=[φ(X1),φ(X2),...,φ(Xc)],W=[W1,W2,...,Wc],
φ(W)=[φ(W1),φ(W2),...,φ(Wc)],H=diag{H1,H2,...,Hc}.
4,基于核的非负稀疏表示(Kernel-based Nonnegative SparseRepresentation,KNSR)
基于核的非负稀疏表示是首先通过一个非线性映射φ将非负列向量y和非负样本矩阵X映射到高维空间中,直接用X的像矩阵作为稀疏学习字典,在此字典下找到一个尽可能稀疏的非负向量s来表达φ(y),即
φ(y)≈φ(X)s,
其中φ(X)被称为稀疏学习字典,非负列向量s被要求含有尽可能多的零元素。
具体说明如下:
1、非负矩阵分解算法(NMF)
NMF算法的主要思想是:对于一个给定的非负样本矩阵X=[x1,x2,...,xn]找到两个非负矩阵W和H使得:
X≈WH,
其中,W=[w1,w2,...,wr],且W与H都是非负矩阵且分别被称为基图像矩阵和系数矩阵。那么,对于X中的第i张人脸图像(第i列)xi,可被W中的基图像近似地线性表示成其中wk是W中的第k张基图像(第k列),hki是特征hi中第k个非负系数。为了度量X与WH的逼近程度,NMF算法的目标函数被定义为:则NMF需要求解如下优化问题:
如上问题可用梯度下降法解决,可得到如下求W与H的交叉迭代公式:
其中S是一个对角矩阵且对角元素符号和“-”分别表示两个矩阵相同位置元素的相乘和相除。
2、基于核的非负矩阵分解算法(KNMF)
KNMF算法首先通过一个非线性映射φ:将非负样本映射到一个高维空间F;然后找到一个非负的原像矩阵和一个非负的系数矩阵,使得被映射后的样本能够近似表示为被映射后的原像的线性组合,即
其中特征hki和原图像wk是非负的。矩阵形式可表示为:
φ(X)=φ(W)H,
其中φ(X)=[φ(x1),φ(x2),...,φ(xn)],φ(W)=[φ(w1),φ(w2),...,φ(wr)]。KNMF算法的目标函数为其需要解决的优化问题为:
基于梯度下降法,下面的W和H的交叉迭代公式可以用来解决最优化问题(2):
其中B与S是两个对角矩阵且对角元素分别为 K'WW与K'XW分别是矩阵KWW与KXW关于W中元素的偏导数。KWW与KWX是两个核矩阵,被定义为:
[KWW]ij=[φ(W)Tφ(W)]ij=φ(wi)Tφ(wj)=k(wi,wj),
[KWX]ij=[φ(W)Tφ(X)]ij=φ(wi)Tφ(xj)=k(wi,xj),
其中k(x,y)是多项式核函数,即k(x,y)=(xTy+c)d,d>0.s
3、分块的核非负矩阵分解算法(BKNMF)
BKNMF算法的主要思想是首先对每一类的非负训练样本矩阵Xi执行一个非线性的分解,(i=1,2,...,c),即
φ(Xi)≈φ(Wi)Hi,
然后合并上面所有的分解得到总得分解,即
φ(X)≈φ(W)H,
其中X=[X1,X2,...,Xc],W=[W1,W2,...,Wc],H=diag{H1,H2,...,Hc},φ(X)=[φ(X1),φ(X2),...,φ(Xc)]及φ(W)=[φ(W1),φ(W2),...,φ(Wc)],X,W和H都是非负矩阵。BKNMF中对每类执行的非线性的分解与不同于上面的KNMF,它是基于以下目标函数得到的:
其中α是一个非负的参数,是第i类中Hi的内间散度矩阵,即
其中,ni是Hi(或Xi)的列数,是Hi的第j列,是Hi的均值向量,即表示矩阵的迹。基于梯度下降法,可得如下BKNMF中的非线性非负矩阵分解迭代公式:
其中是一个元素全为1的ni×ni阶矩阵,核函数取多项式核。
4、基于核的非负稀疏表示算法(KNSR)
KNSR算法是首先通过一个非线性映射φ将非负列向量y和非负样本矩阵X映射到高维空间中,得到高维空间中的新数据φ(y)和学习字典φ(X);然后基于字典φ(X)求得一个尽可能含零元素多的非负向量s来表达φ(y),即φ(y)≈φ(X)s。KNSR的目标函数定义为:其中λ||s||0是正则项,||s||0表示s中非零元素的个数,λ是一个非负的正则项参数。那么,KNSR等价于下面的最优化问题:
然而,这个优化问题不是一个凸优化问题,它是一个NP难度问题。研究表明:当它的解充分的稀疏时,F(s)中的||s||0可以用||s||1代替,其中,||s||1表示s所有元素的和。因此,KNSR最优化问题可以转化为一个带有l1范数正则项的凸优化问题来求解。基于梯度下降法,可得如下KNSR迭代公式:
其中1是元素全为1的列向量。
相关技术的缺点如下:
(1)、非负矩阵分解算法(NMF)是一种典型的人脸识别算法,但它是一种无监督的线性方法。当人脸图像数据呈现出复杂的非线性结构时,NMF算法不能够有效的进行处理,这使得NMF不能取得较好的识别效果。
(2)、核非负矩阵分解算法(KNMF)是一种有效的非线性人脸识别方法,在人脸识别上性能优于NMF。然而,KNMF依然是无监督的学习方法。此外,KNMF算法不能提取出高度稀疏的特征,这都会影响其识别精度。
(3)、分块核非负矩阵分解算法(BKNMF)是一种有监督的人脸识别算法,它能够提取比较稀疏的特征。然而,其特征稀疏度可以进一步提高,进而提高识别性能。
(4)、核非负稀疏表示算法(KNSR)其稀疏字典没有利用到模式的类标信息,即它也是一种无监督的学习算法。因而,在分类任务中,它的识别能力会受到影响。
发明内容
本发明提供了一种基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法,包括如下步骤:
A.将c个类预设的非负训练样本图像表示为非负列向量,然后组合成非负小矩阵Xi;
B.对每一个小矩阵Xi执行KNMF,来得到非负原像子矩阵Wi,然后组合成非负原像矩阵W=[W1,W2,...,Wc];
C.对于一个非负的测试样本y,通过更新法则(6)来获得y的稀疏表示特征s;
D.将s表示成其中si是一个列向量,它表示s中只与φ(Wi)有关的部分;
E.计算每一个di=||si||1;
F.比较所有的di,如果dk是最大,那么将y归到第k类。
作为本发明的进一步改进,该人脸识别方法包括利用分块策略构造一个有监督的基于核非负矩阵分解的稀疏学习字典。
作为本发明的进一步改进,构造基于核非负矩阵分解的字典包括:利用类标信息,对每一类的非负训练样本矩阵Xi执行KNMF,(i=1,2,...,c),即
φ(Xi)≈φ(Wi)Hi,
其中Wi和Hi都是非负矩阵,通过合并所有类别的分解,我们得到总得分解:
即
φ(X)≈φ(W)H,
其中φ(X)=[φ(X1),φ(X2),...,φ(Xc)],W=[W1,W2,...,Wc],φ(W)≈[φ(W1),φ(W2),...,φ(Wc)],H=diag{H1,H2,...,Hc};
φ(W)是有监督的基于核非负矩阵分解的稀疏表示字典。
作为本发明的进一步改进,根据稀疏表示字典来学习样本的非负稀疏表示特征,其通过解决一个带有l1范数正则项的平方最小化问题来得到。作为本发明的进一步改进,基于稀疏表示字典φ(W),对于一个非负测试样本y的稀疏表示特征通过解最优化问题(3)得到:
其中
λ是一个非负的正则化参数,||s||0表示s中非零元素的个数,
当问题(3)的解充分的稀疏时,问题(3)中l0范数可以用l1范数代替,从而转化为一个带有l1范数正则项的凸优化问题来求解,那么可以将等式(4)写成:
其中||s||1表示s中所有元素的和。基于梯度下降法,则有:
其中ρ是一个非负的步长向量,是F(s)关于向量s的偏导数且
其中1是元素全为1的列向量,为了保持s的非负性,令
最后我们得到了关于s的如下迭代公式来解决问题(3):
在更新法则(6)下,F(s)是收敛的。
本发明还提供了一种基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别系统,包括:
第一训练模块,用于将c个类预设的非负训练样本图像表示为非负列向量,然后组合成非负小矩阵Xi;
第二训练模块,用于对每一个小矩阵Xi执行KNMF,来得到非负原像子矩阵Wi,然后组合成非负原像矩阵W=[W1,W2,...,Wc];
第一测试模块,用于对于一个非负的测试样本y,通过更新法则(6)来获得y的稀疏表示特征s;
第二测试模块,用于将s表示成其中si是一个列向量,它表示s中只与φ(Wi)有关的部分;
第三测试模块,用于计算每一个di=||si||1;
第四测试模块,用于比较所有的di,如果dk是最大,那么将y归到第k类。
作为本发明的进一步改进,该人脸识别系统包括利用分块策略构造一个有监督的基于核非负矩阵分解的稀疏表示字典。
作为本发明的进一步改进,构造基于核非负矩阵分解的字典包括:利用类标信息,对每一类的非负训练样本矩阵Xi执行KNMF,(i=1,2,...,c),即
φ(Xi)≈φ(Wi)Hi,
其中Wi和Hi都是非负矩阵,通过合并所有类别的分解,我们得到总得分解:
即
φ(X)≈φ(W)H,
其中φ(X)=[φ(X1),φ(X2),...,φ(Xc)],W=[W1,W2,...,Wc],φ(W)≈[φ(W1),φ(W2),...,φ(Wc)],H=diag{H1,H2,...,Hc};
φ(W)是有监督的基于核非负矩阵分解的稀疏表示字典。
作为本发明的进一步改进,根据稀疏表示字典学习样本的非负稀疏表示特征,其通过解决一个带有l1范数正则项的平方最小化问题来得到。
作为本发明的进一步改进,基于稀疏表示字典φ(W),对于一个非负测试样本y的稀疏表示特征通过解最优化问题(3)得到:
其中
λ是一个非负的正则化参数,||s||0表示s中非零元素的个数,
当问题(3)的解充分的稀疏时,问题(3)中l0范数可以用l1范数代替,从而转化为一个带有l1范数正则项的凸优化问题来求解,那么可以将等式(4)写成:
其中||s||1表示s中所有元素的和。基于梯度下降法,则有:
其中ρ是一个非负的步长向量,是F(s)关于向量s的偏导数且
其中1是元素全为1的列向量,为了保持s的非负性,令
最后我们得到了关于s的如下迭代公式来解决问题(3):
在更新法则(6)下,F(s)是收敛的。
本发明的有益效果是:通过利用核非负矩阵分解来构造高性能核稀疏表示学习字典,实现了一种非线性的非负稀疏表示人脸识别算法,克服了人脸数据呈现出复杂的非线性结构情况,且提升了识别性能。
附图说明
图1是本发明的方法流程图。
图2是本发明的方法与现有相关算法在ORL人脸数据库上的识别率图。
具体实施方式
为了克服背景技术中普遍存在的问题,本发明公开了一种基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法。基于不同的稀疏学习字典,稀疏特征表示算法取得的效果有很大的差异。本发明利用模式类标信息构造了一种基于核非负矩阵分解的高性能稀疏学习字典,开发了一种有监督的基于核的非负稀疏表示算法。该算法克服背景技术所有普遍存在的问题,取得了优越的识别性能。
设X是由c个的非负训练样本生成的非负矩阵,即 其中是由第i类的ni个非负训练样本生成的矩阵,且总的样本数为:本发明涉及的方法分为两步,即基于核非负矩阵分解的稀疏字典学习和基于该字典的稀疏特征表示,具体如下:
基于核非负矩阵分解的字典学习:
基于不同的字典,非负稀疏表示算法取得的分类效果是不同的。因此,构造一个高性能的非负稀疏学习字典对非负稀疏表示算法极其重要。下面我们利用分块策略来构造了一个有监督的基于核非负矩阵分解字典。
首先,我们利用类标信息,对每一类的非负训练样本矩阵Xi执行KNMF,(i=1,2,...,c),即
φ(Xi)≈φ(Wi)Hi,
其中Wi和Hi都是非负矩阵。通过合并所有类别的分解,我们得到总得分解:
即
φ(X)≈φ(W)H,
其中φ(X)=[φ(X1),φ(X2),...,φ(Xc)],W=[W1,W2,...,Wc],φ(W)≈[φ(W1),φ(W2),...,φ(Wc)],H=diag{H1,H2,...,Hc}.
显然,我们可以看出系数矩阵H是一个非负的准对角矩阵,它的每一列包含大量的零元素(即每一个特征是都是稀疏的)且不同类的训练样本对应的H中的列向量是正交的。因此,将基矩阵φ(W)作为一个非负稀疏表示的字典是更合理的,同时它兼容了非负性。该字典φ(W)包含了类标信息,与无监督的字典相比,它具有更强的判别信息和学习能力。
基于学习字典的稀疏表示:
由上一步,我们构造了一种有监督的基于核非负矩阵分解的稀疏表示字典φ(W)。下面,我们将给出如何基于该字典学习测试样本的稀疏表示特征。这主要是通过解决一个带有l1范数正则项的平方最小化问题来得到。
与基于核稀疏表示算法求解问题类似,基于上面求得的学习字典φ(W),对于一个非负测试样本y的稀疏表示特征可以通过解最优化问题(3)得到:
其中
这里,λ是一个非负的正则化参数,||s||0表示s中非零元素的个数。然而,问题(3)不是一个凸优化问题,它是一个NP难度问题。幸运的是,对稀疏表示的深入研究表明:当问题(3)的解充分的稀疏时,问题(3)中l0范数可以用l1范数代替,从而转化为一个带有l1范数正则项的凸优化问题来求解。那么我们可以将等式(4)写成:
其中||s||1表示s中所有元素的和。基于梯度下降法,则有:
其中ρ是一个非负的步长向量,是F(s)关于向量s的偏导数且
其中1是元素全为1的列向量。为了保持s的非负性,令
最后我们得到了关于s的如下迭代公式来解决问题(3):
根据基于核的非负稀疏表示的研究成果可知,在更新法则(6)下,F(s)是收敛的。
综上,如图1所示,本发明基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法,包括训练阶段和测试阶段,在训练阶段中包括:
A.将c个类预设的非负训练样本图像表示为非负列向量,然后组合成非负小矩阵Xi;
B.对每一个小矩阵Xi执行KNMF,来得到非负原像子矩阵Wi,然后组合成非负原像矩阵W=[W1,W2,...,Wc];
在测试阶段中包括:
C.对于一个非负的测试样本y,通过更新法则(6)来获得y的稀疏表示特征s;
D.将s表示成其中si是一个列向量,它表示s中只与φ(Wi)有关的部分;
E.计算每一个di=||si||1;
F.比较所有的di,如果dk是最大,那么将y归到第k类。
本发明还公开了一种于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别系统,包括:
第一训练模块,用于将c个类预设的非负训练样本图像表示为非负列向量,然后组合成非负小矩阵Xi;
第二训练模块,用于对每一个小矩阵Xi执行KNMF,来得到非负原像子矩阵Wi,然后组合成非负原像矩阵W=[W1,W2,...,Wc];
第一测试模块,用于对于一个非负的测试样本y,通过更新法则(6)来获得y的稀疏表示特征s;
第二测试模块,用于将s表示成其中si是一个列向量,它表示s中只与φ(Wi)有关的部分;
第三测试模块,用于计算每一个di=||si||1;
第四测试模块,用于比较所有的di,如果dk是最大,那么将y归到第k类。
如表1所示,本发明提出的方法(Our Method)与现有相关算法(NMF、KNMF、BKNMF、KNSR)在ORL人脸数据库上的识别率(%)比较(TN表示每一类的训练样本数):
TN | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
NMF | 79.25 | 84.21 | 88.54 | 91.00 | 92.06 | 93.17 | 94.38 | 95.00 |
KNMF | 80.19 | 87.54 | 90.00 | 92.35 | 93.94 | 94.83 | 96.13 | 96.25 |
BKNMF | 80.69 | 88.93 | 91.67 | 94.00 | 94.50 | 96.00 | 97.75 | 98.50 |
KNSR | 83.59 | 90.54 | 93.54 | 94.80 | 96.81 | 97.08 | 98.00 | 98.50 |
Our KNSR | 86.03 | 92.00 | 94.63 | 96.60 | 97.56 | 98.50 | 98.63 | 99.25 |
如图2所示,本发明提出的方法(Our Method)与现有相关算法(NMF、KNMF、BKNMF、KNSR)在ORL人脸数据库上的识别率图。
本发明的技术优势如下:
1.通过利用核非负矩阵分解来构造高性能核稀疏表示学习字典,实现了一种非线性的非负稀疏表示人脸识别算法,克服了人脸数据呈现出复杂的非线性结构情况。
2.通过利用了类标信息来构造一个有监督的稀疏学习字典,实现了一种有监督的非负稀疏表示人脸识别算法,提升了无监督的核非负稀疏表示算法的识别性能。
3.本发明开发的方法融合了核非负矩阵分解算法和核稀疏表示算法的优点,从而具有两种算法的优良性能,其不但可应用于人脸识别,还可有效地应用于其它识别问题,比如车牌识别等。
4.通过利用分块技巧到KNMF中来构造一个合理的,兼容的稀疏学习字典,提升了基于NMF的方法的判别力度和特征的稀疏度,实现了一种具有高效的分类性能的基于核非负稀疏表示人脸识别算法。
5.通过在人脸数据库上进行实验与相关算法比较,实验结果验证了本发明开发的算法的优越性。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (10)
1.一种基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法,其特征在于,包括如下步骤:
A.将c个类预设的非负训练样本图像表示为非负列向量,然后组合成非负小矩阵Xi;
B.对每一个小矩阵Xi执行KNMF,来得到非负原像子矩阵Wi,然后组合成非负原像矩阵W=[W1,W2,...,Wc];
C.对于一个非负的测试样本y,通过更新法则(6)来获得y的稀疏表示特征s;
D.将s表示成其中si是一个列向量,它表示s中只与φ(Wi)有关的部分;
E.计算每一个di=||si||1;
F.比较所有的di,如果dk是最大,那么将y归到第k类。
2.根据权利要求1所述的人脸识别方法,其特征在于,该人脸识别方法包括利用分块策略构造一个有监督的基于核非负矩阵分解的稀疏学习字典。
3.根据权利要求2所述的人脸识别方法,其特征在于,构造基于核非负矩阵分解的字典包括:利用类标信息,对每一类的非负训练样本矩阵Xi执行KNMF,(i=1,2,...,c),即
φ(Xi)≈φ(Wi)Hi,
其中Wi和Hi都是非负矩阵,通过合并所有类别的分解,我们得到总得分解:
即
φ(X)≈φ(W)H,
其中φ(X)=[φ(X1),φ(X2),...,φ(Xc)],W=[W1,W2,...,Wc],φ(W)≈[φ(W1),φ(W2),...,φ(Wc)],H=diag{H1,H2,...,Hc};
φ(W)是有监督的基于核非负矩阵分解的稀疏表示字典。
4.根据权利要求3所述的人脸识别方法,其特征在于,根据稀疏表示字典来学习样本的非负稀疏表示特征,其通过解决一个带有l1范数正则项的平方最小化问题来得到。
5.根据权利要求4所述的人脸识别方法,其特征在于,
基于稀疏表示字典φ(W),对于一个非负测试样本y的稀疏表示特征通过解最优化问题(3)得到:
其中
λ是一个非负的正则化参数,||s||0表示s中非零元素的个数,
当问题(3)的解充分的稀疏时,问题(3)中l0范数可以用l1范数代替,从而转化为一个带有l1范数正则项的凸优化问题来求解,那么可以将等式(4)写成:
其中||s||1表示s中所有元素的和。基于梯度下降法,则有:
其中ρ是一个非负的步长向量,是F(s)关于向量s的偏导数且
其中1是元素全为1的列向量,为了保持s的非负性,令
最后我们得到了关于s的如下迭代公式来解决问题(3):
在更新法则(6)下,F(s)是收敛的。
6.一种基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别系统,其特征在于,包括:
第一训练模块,用于将c个类预设的非负训练样本图像表示为非负列向量,然后组合成非负小矩阵Xi;
第二训练模块,用于对每一个小矩阵Xi执行KNMF,来得到非负原像子矩阵Wi,然后组合成非负原像矩阵W=[W1,W2,...,Wc];
第一测试模块,用于对于一个非负的测试样本y,通过更新法则(6)来获得y的稀疏表示特征s;
第二测试模块,用于将s表示成其中si是一个列向量,它表示s中只与φ(Wi)有关的部分;
第三测试模块,用于计算每一个di=||si||1;
第四测试模块,用于比较所有的di,如果dk是最大,那么将y归到第k类。
7.根据权利要求6所述的人脸识别系统,其特征在于,该人脸识别系统包括利用分块策略构造一个有监督的基于核非负矩阵分解的稀疏表示字典。
8.根据权利要求7所述的人脸识别系统,其特征在于,构造基于核非负矩阵分解的字典包括:利用类标信息,对每一类的非负训练样本矩阵Xi执行KNMF,(i=1,2,...,c),即
φ(Xi)≈φ(Wi)Hi,
其中Wi和Hi都是非负矩阵,通过合并所有类别的分解,我们得到总得分解:
即
φ(X)≈φ(W)H,
其中φ(X)=[φ(X1),φ(X2),...,φ(Xc)],W=[W1,W2,...,Wc],
φ(W)≈[φ(W1),φ(W2),...,φ(Wc)],H=diag{H1,H2,...,Hc};
φ(W)是有监督的基于核非负矩阵分解的稀疏表示字典。
9.根据权利要求8所述的人脸识别系统,其特征在于,根据稀疏表示字典学习样本的非负稀疏表示特征,其通过解决一个带有l1范数正则项的平方最小化问题来得到。
10.根据权利要求9所述的人脸识别系统,其特征在于,
基于稀疏表示字典φ(W),对于一个非负测试样本y的稀疏表示特征通过解最优化问题(3)得到:
其中
λ是一个非负的正则化参数,||s||0表示s中非零元素的个数,
当问题(3)的解充分的稀疏时,问题(3)中l0范数可以用l1范数代替,从而转化为一个带有l1范数正则项的凸优化问题来求解,那么可以将等式(4)写成:
其中||s||1表示s中所有元素的和。基于梯度下降法,则有:
其中ρ是一个非负的步长向量,是F(s)关于向量s的偏导数且
其中1是元素全为1的列向量,为了保持s的非负性,令
最后我们得到了关于s的如下迭代公式来解决问题(3):
在更新法则(6)下,F(s)是收敛的。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710087134.5A CN106897685A (zh) | 2017-02-17 | 2017-02-17 | 基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法及系统 |
PCT/CN2017/102863 WO2018149133A1 (zh) | 2017-02-17 | 2017-09-22 | 基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710087134.5A CN106897685A (zh) | 2017-02-17 | 2017-02-17 | 基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106897685A true CN106897685A (zh) | 2017-06-27 |
Family
ID=59184343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710087134.5A Pending CN106897685A (zh) | 2017-02-17 | 2017-02-17 | 基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法及系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN106897685A (zh) |
WO (1) | WO2018149133A1 (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107480636A (zh) * | 2017-08-15 | 2017-12-15 | 深圳大学 | 基于核非负矩阵分解的人脸识别方法、系统及存储介质 |
CN107832786A (zh) * | 2017-10-31 | 2018-03-23 | 济南大学 | 一种基于字典学习的人脸识别分类方法 |
WO2018149133A1 (zh) * | 2017-02-17 | 2018-08-23 | 深圳大学 | 基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法及系统 |
CN109002794A (zh) * | 2018-07-13 | 2018-12-14 | 深圳大学 | 一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质 |
CN109086672A (zh) * | 2018-07-05 | 2018-12-25 | 襄阳矩子智能科技有限公司 | 一种基于强化学习自适应分块的行人再识别方法 |
WO2019033261A1 (zh) * | 2017-08-15 | 2019-02-21 | 深圳大学 | 基于核非负矩阵分解的人脸识别方法、系统及存储介质 |
CN110070028A (zh) * | 2019-04-17 | 2019-07-30 | 深圳大学 | 基于共轭梯度法的人脸图像非负特征表示与识别方法、系统及存储介质 |
WO2020010602A1 (zh) * | 2018-07-13 | 2020-01-16 | 深圳大学 | 一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质 |
WO2020118708A1 (zh) * | 2018-12-14 | 2020-06-18 | 深圳大学 | 基于e辅助函数的半非负矩阵分解的人脸识别方法、系统及存储介质 |
WO2021003637A1 (zh) * | 2019-07-08 | 2021-01-14 | 深圳大学 | 基于加性高斯核的核非负矩阵分解人脸识别方法、装置、系统及存储介质 |
CN113657358A (zh) * | 2021-10-20 | 2021-11-16 | 深圳新视智科技术有限公司 | 数据图像的非负特征表示和识别方法、装置、设备及介质 |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109657611B (zh) * | 2018-12-19 | 2022-09-23 | 河南科技大学 | 一种用于人脸识别的自适应图正则化非负矩阵分解方法 |
CN109921799B (zh) * | 2019-02-20 | 2023-03-31 | 重庆邮电大学 | 一种基于聚能量字典学习的张量压缩方法 |
CN110648276B (zh) * | 2019-09-25 | 2023-03-31 | 重庆大学 | 基于流形映射与字典学习的高维图像数据降维方法 |
CN110717547A (zh) * | 2019-10-15 | 2020-01-21 | 重庆大学 | 一种基于回归超图的学习算法 |
CN111028210B (zh) * | 2019-11-25 | 2023-07-18 | 北京航天控制仪器研究所 | 一种基于深度神经网络的玻璃管端面缺陷检测方法 |
CN111126169B (zh) * | 2019-12-03 | 2022-08-30 | 重庆邮电大学 | 基于正交化的图正则非负矩阵分解的人脸识别方法及系统 |
CN111191719B (zh) * | 2019-12-27 | 2023-09-05 | 北京工业大学 | 一种基于自表示和图谱约束的非负矩阵分解的图像聚类方法 |
CN111340111B (zh) * | 2020-02-26 | 2023-03-24 | 上海海事大学 | 基于小波核极限学习机识别人脸图像集方法 |
CN111444802B (zh) * | 2020-03-18 | 2022-05-20 | 重庆邮电大学 | 一种人脸识别方法、装置及智能终端 |
CN111310864B (zh) * | 2020-03-30 | 2023-04-18 | 安徽工业大学 | 一种基于分组稀疏的多核学习图像分类方法 |
CN111507413B (zh) * | 2020-04-20 | 2023-06-16 | 济源职业技术学院 | 一种基于字典学习的城市管理案件图像识别方法 |
CN111931595B (zh) * | 2020-07-17 | 2022-05-24 | 信阳师范学院 | 一种基于广义表示的人脸图像分类方法 |
CN111950387B (zh) * | 2020-07-22 | 2023-07-25 | 中原工学院 | 一种基于稀疏表示的误差人脸识别方法 |
CN112183660B (zh) * | 2020-10-19 | 2024-02-06 | 浙江理工大学 | 一种基于类间模糊抑制的判别字典学习纺织图像分类方法 |
CN112308086B (zh) * | 2020-11-02 | 2023-07-18 | 金陵科技学院 | 基于非线性降维与智能寻优的四轴抗干扰无人机系统 |
CN112541502B (zh) * | 2020-11-12 | 2022-06-10 | 合肥联宝信息技术有限公司 | 一种图像处理方法、装置及计算机存储介质和电子设备 |
CN112613547B (zh) * | 2020-12-16 | 2024-04-09 | 西安交通大学 | 基于Fisher判别字典学习模型的齿轮运行分类方法 |
CN112800684B (zh) * | 2021-03-16 | 2023-09-12 | 上海海事大学 | 一种基于在线稀疏化核学习的欠驱动vtol系统最优控制方法 |
CN113268858A (zh) * | 2021-04-25 | 2021-08-17 | 贵州电网有限责任公司 | 一种联合非负矩阵分解的低压配电网设备数据建模方法 |
CN113469502B (zh) * | 2021-06-08 | 2023-08-15 | 广西大学 | 一种基于字典学习的区别分组非侵入式负荷分解方法 |
CN113554073B (zh) * | 2021-07-09 | 2024-03-15 | 常州大学 | 一种融合稀疏学习和二分法的情绪状态特征选择优化方法 |
CN113901863B (zh) * | 2021-08-18 | 2024-07-19 | 北京理工大学 | 基于加权组稀疏贝叶斯学习的人体活动分类方法 |
CN113887591B (zh) * | 2021-09-22 | 2024-07-12 | 大连理工大学 | 基于双层加权联合分解的多视角聚类方法 |
CN114049668B (zh) * | 2021-11-15 | 2024-04-09 | 北京计算机技术及应用研究所 | 一种人脸识别方法 |
CN114332986B (zh) * | 2021-12-07 | 2023-03-24 | 北京理工大学 | 一种基于子空间学习的小样本人脸识别方法 |
CN116125922B (zh) * | 2023-01-09 | 2024-06-21 | 中南大学 | 一种基于平行式字典学习的复杂工业过程监测方法和系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120041906A1 (en) * | 2010-08-11 | 2012-02-16 | Huh Seung-Il | Supervised Nonnegative Matrix Factorization |
CN104281835A (zh) * | 2014-09-04 | 2015-01-14 | 台州学院 | 基于局部敏感的核稀疏表示的人脸识别方法 |
CN105335732A (zh) * | 2015-11-17 | 2016-02-17 | 西安电子科技大学 | 基于分块及鉴别非负矩阵分解的有遮挡人脸识别方法 |
CN105893954A (zh) * | 2016-03-30 | 2016-08-24 | 深圳大学 | 一种基于核机器学习的非负矩阵分解人脸识别方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2912660B1 (en) * | 2012-11-21 | 2017-01-11 | Huawei Technologies Co., Ltd. | Method for determining a dictionary of base components from an audio signal |
CN105760821B (zh) * | 2016-01-31 | 2017-06-06 | 中国石油大学(华东) | 基于核空间的分类聚集稀疏表示的人脸识别方法 |
CN106326871B (zh) * | 2016-08-26 | 2019-04-30 | 中国计量大学 | 一种基于字典分解和稀疏表示的鲁棒人脸识别方法 |
CN106897685A (zh) * | 2017-02-17 | 2017-06-27 | 深圳大学 | 基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法及系统 |
-
2017
- 2017-02-17 CN CN201710087134.5A patent/CN106897685A/zh active Pending
- 2017-09-22 WO PCT/CN2017/102863 patent/WO2018149133A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120041906A1 (en) * | 2010-08-11 | 2012-02-16 | Huh Seung-Il | Supervised Nonnegative Matrix Factorization |
CN104281835A (zh) * | 2014-09-04 | 2015-01-14 | 台州学院 | 基于局部敏感的核稀疏表示的人脸识别方法 |
CN105335732A (zh) * | 2015-11-17 | 2016-02-17 | 西安电子科技大学 | 基于分块及鉴别非负矩阵分解的有遮挡人脸识别方法 |
CN105893954A (zh) * | 2016-03-30 | 2016-08-24 | 深圳大学 | 一种基于核机器学习的非负矩阵分解人脸识别方法及系统 |
Non-Patent Citations (3)
Title |
---|
WEN-SHENG CHEN等: "Block Kernel Nonnegative Matrix Factorization and Its Application to Face", 《2016 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS》 * |
薄纯娟等: "基于核非负稀疏表示的人脸识别", 《计算机应用》 * |
陈蒙: "基于稀疏表示特征的人脸识别方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018149133A1 (zh) * | 2017-02-17 | 2018-08-23 | 深圳大学 | 基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法及系统 |
CN107480636A (zh) * | 2017-08-15 | 2017-12-15 | 深圳大学 | 基于核非负矩阵分解的人脸识别方法、系统及存储介质 |
WO2019033261A1 (zh) * | 2017-08-15 | 2019-02-21 | 深圳大学 | 基于核非负矩阵分解的人脸识别方法、系统及存储介质 |
CN107832786A (zh) * | 2017-10-31 | 2018-03-23 | 济南大学 | 一种基于字典学习的人脸识别分类方法 |
CN107832786B (zh) * | 2017-10-31 | 2019-10-25 | 济南大学 | 一种基于字典学习的人脸识别分类方法 |
CN109086672A (zh) * | 2018-07-05 | 2018-12-25 | 襄阳矩子智能科技有限公司 | 一种基于强化学习自适应分块的行人再识别方法 |
CN109002794A (zh) * | 2018-07-13 | 2018-12-14 | 深圳大学 | 一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质 |
CN109002794B (zh) * | 2018-07-13 | 2022-01-14 | 深圳大学 | 一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质 |
WO2020010602A1 (zh) * | 2018-07-13 | 2020-01-16 | 深圳大学 | 一种非线性非负矩阵分解人脸识别构建方法、系统及存储介质 |
WO2020118708A1 (zh) * | 2018-12-14 | 2020-06-18 | 深圳大学 | 基于e辅助函数的半非负矩阵分解的人脸识别方法、系统及存储介质 |
CN110070028A (zh) * | 2019-04-17 | 2019-07-30 | 深圳大学 | 基于共轭梯度法的人脸图像非负特征表示与识别方法、系统及存储介质 |
CN110070028B (zh) * | 2019-04-17 | 2023-03-07 | 深圳大学 | 基于共轭梯度法的人脸图像非负特征表示与识别方法、系统及存储介质 |
WO2021003637A1 (zh) * | 2019-07-08 | 2021-01-14 | 深圳大学 | 基于加性高斯核的核非负矩阵分解人脸识别方法、装置、系统及存储介质 |
CN113657358A (zh) * | 2021-10-20 | 2021-11-16 | 深圳新视智科技术有限公司 | 数据图像的非负特征表示和识别方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2018149133A1 (zh) | 2018-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106897685A (zh) | 基于核非负矩阵分解的字典学习和稀疏特征表示的人脸识别方法及系统 | |
Khalil et al. | Energy efficiency prediction using artificial neural network | |
Naz et al. | Urdu Nastaliq recognition using convolutional–recursive deep learning | |
Bashivan et al. | Learning representations from EEG with deep recurrent-convolutional neural networks | |
Zhang et al. | Detecting densely distributed graph patterns for fine-grained image categorization | |
Nagy | State of the art in pattern recognition | |
Cai et al. | A novel hyperspectral image classification model using bole convolution with three-direction attention mechanism: small sample and unbalanced learning | |
US20190164047A1 (en) | Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering | |
CN104915386A (zh) | 一种基于深度语义特征学习的短文本聚类方法 | |
CN103064941B (zh) | 图像检索方法和装置 | |
CN110751038A (zh) | 一种基于图注意力机制的pdf表格结构识别方法 | |
CN104268593A (zh) | 一种小样本情况下多稀疏表示的人脸识别方法 | |
Costa et al. | The dissimilarity approach: a review | |
Abu-Jamie et al. | Classification of sign-language using vgg16 | |
CN112256878A (zh) | 一种基于深度卷积的水稻知识文本分类方法 | |
CN107220656A (zh) | 一种基于自适应特征降维的多标记数据分类方法 | |
Xu et al. | Whole brain fMRI pattern analysis based on tensor neural network | |
Bezdek | Elementary Cluster Analysis: Four Basic Methods that (Usually) Work | |
CN115474939A (zh) | 一种基于深度展开神经网络的孤独症谱系障碍识别模型 | |
CN116612335A (zh) | 一种基于对比学习的少样本细粒度图像分类方法 | |
CN112489689B (zh) | 基于多尺度差异对抗的跨数据库语音情感识别方法及装置 | |
CN116662834B (zh) | 基于样本风格特征的模糊超平面聚类方法及装置 | |
CN110533078B (zh) | 基于字典对的多视角识别方法 | |
Xu et al. | SRNN: Self-regularized neural network | |
CN116089859A (zh) | 基于多尺度特征融合构建多视角及协同学习的癫痫检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170627 |
|
RJ01 | Rejection of invention patent application after publication |