CN108416374A - 基于判别正交子空间约束的非负矩阵分解方法 - Google Patents

基于判别正交子空间约束的非负矩阵分解方法 Download PDF

Info

Publication number
CN108416374A
CN108416374A CN201810150315.2A CN201810150315A CN108416374A CN 108416374 A CN108416374 A CN 108416374A CN 201810150315 A CN201810150315 A CN 201810150315A CN 108416374 A CN108416374 A CN 108416374A
Authority
CN
China
Prior art keywords
matrix
class
constraint
differentiating
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810150315.2A
Other languages
English (en)
Other versions
CN108416374B (zh
Inventor
李学龙
崔国盛
董永生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XiAn Institute of Optics and Precision Mechanics of CAS
Original Assignee
XiAn Institute of Optics and Precision Mechanics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XiAn Institute of Optics and Precision Mechanics of CAS filed Critical XiAn Institute of Optics and Precision Mechanics of CAS
Priority to CN201810150315.2A priority Critical patent/CN108416374B/zh
Publication of CN108416374A publication Critical patent/CN108416374A/zh
Application granted granted Critical
Publication of CN108416374B publication Critical patent/CN108416374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Abstract

本发明公开了一种基于判别正交子空间约束的非负矩阵分解方法。该方法主要包括以下步骤：(1)首先将训练样本集中的图像拉成向量构成训练数据矩阵Xtrain，然后将Xtrain在基于判别正交子空间约束的非负矩阵分解框架下进行分解，基于类内‑类间关联的判别约束项直接施加于基矩阵；(2)利用学习到的基矩阵U*构建投影矩阵W，计算训练数据Xtrain和测试数据Xtest在投影矩阵W上的投影表示，用最近邻分类器进行图像识别实验；(3)计算图像识别精度。本发明发掘并利用了数据内部的判别结构信息，算法中对基矩阵直接施加的判别约束提高了算法的泛化性能，提高了图像识别效果；可广泛应用于数据挖掘，数据分析领域。

Description

基于判别正交子空间约束的非负矩阵分解方法
技术领域
本发明属于信息处理技术领域，特别涉及一种非负低维数据处理方法，可用于数据挖掘、数据分析等。
背景技术
非负矩阵分解作为一种特征提取技术，被广泛应用于聚类分类任务中。对于无监督的聚类任务，数据分布信息通常可以被用于改善非负矩阵分解算法性能，使得所提取特征有更好的表示能力。对于有监督的分类任务，数据类别标签信息可以被用于编码数据的判别结构信息，该信息可以辅助非负矩阵分解算法学习到具有更好的分类能力的特征。
根据标签的应用方式的不同可以将有监督非负矩阵分解算法分为两类，一种是从类内样本相似性和类间样本的区别性的角度出发提出的类内-类间关联判别非负矩阵分解方法，一种是从构建编码矩阵与标签矩阵的关联性出发提出的标签矩阵关联判别非负矩阵分解方法。
类内-类间关联判别非负矩阵分解方法从增强类内样本分布紧致性和类间样本分布区分性角度改善非负矩阵分解方法的分类性能。S.Zafeiriou等人在文献“ExploitingDiscriminant Information in Nonnegative Matrix Factorization with Applicationto Frontal Face Verification,IEEE Transactionson Neural Networks,vol.17,no.3,pp.683-695,2006”中提出了基于费舍尔判别准则的非负矩阵分解算法，通过构建关于编码矩阵的类内类间散度矩阵来俘获数据内部的判别信息。S.An等人在文献“Manifold-respecting Discriminant Nonnegative Matrix Factorization,Pattern RecognitionLetter,vol.32,no.6,pp.832-837,2011”中提出流形关照判别非负矩阵分解算法，通过构建本征图和惩罚图来发掘数据内部的判别信息。R.Zhi等人在文献“Graph-preservingSparse Nonnegative Matrix Factorization with Application to Facial ExpressionRecognition.IEEE Transactions on Systems,Man,and Cybernetics,Part B(Cybernetics),vol.41,no.1,pp.38-52,2011”中提出图保持稀疏非负矩阵分解算法，通过约束投影子空间中样本的类间紧致性增强类间样本的区分性。
标签矩阵相关判别非负矩阵分解方法从构建标签矩阵与编码矩阵之间的关联性角度改善非负矩阵分解方法的分类性能。H.Liu等人在文献“Constrained NonnegativeMatrix Factorization for Image Representation,IEEE Transactions on PatternAnalysis and Machine Intelligence,vol.34,no.7,pp.1299-1311,2012”中提出约束非负矩阵分解，该方法用标签约束矩阵与一个非负辅助矩阵的乘积替代编码矩阵，使得两矩阵相乘得到的编码矩阵中类内样本投影为同一个降维样本，从而使得类内样本分布紧致。X.Long等人在文献“Graph Regularized Discriminative Nonnegative MatrixFactorization for Face Recognition,Multimedia Tools and Applications,vol.72,no.3,pp.2679-2699,2014”中提出图正则判别非负矩阵分解算法，该算法用编码矩阵和一个非负辅助矩阵的乘积逼近标签指示矩阵，从而使得标签指示矩阵与编码矩阵相关联。Z.Li等人在文献“Robust Structured Nonnegative Matrix Factorization for ImageRepresentation,IEEE Transactions on Neural Networks and Learning Systems,vol.PP,no.99,pp.1-14,2017”中提出鲁棒结构非负矩阵分解算法，该算法用标签矩阵对编码矩阵进行加权，使得学得的编码矩阵具有块对角结构，进而改善算法的分类性能。
大多数有监督非负矩阵分解算法将判别约束施加于编码矩阵，然而当处理测试样本的时候，基矩阵通常被用于构建投影矩阵，但是由于判别信息与基矩阵之间的联系是间接的，因此算法在测试数据集上的泛化能力不够好。
发明内容
本发明提出一种基于判别正交子空间约束的非负矩阵分解方法，能够使投影矩阵有更好的泛化能力。
本发明的解决方案如下：
基于判别正交子空间约束的非负矩阵分解方法，包括以下步骤：
首先，将训练样本集中的图像拉成向量构成训练数据矩阵Xtrain，矩阵的行数为每个样本的维数，列数为样本个数；
然后，将训练数据矩阵Xtrain在基于判别正交子空间约束的非负矩阵分解框架下进行分解，基于类内-类间关联的判别约束项直接施加于初始化的基矩阵U0进行迭代运算，收敛后得到用于构建投影矩阵W的基矩阵U*，即完成非负矩阵分解。
对基矩阵U*通常的应用是：利用学习到的基矩阵U*构建投影矩阵W，计算训练数据矩阵Xtrain和测试数据矩阵Xtest在投影矩阵W上的投影表示，得到降维样本。测试数据矩阵Xtest同理是将测试样本集中的图像拉成向量构成的，测试数据矩阵Xtest的行数为每个测试样本的维数，与训练数据矩阵Xtrain的行数一致，列数为测试样本个数。
为了评估非负矩阵分解性能，可基于投影得到的降维样本进行图像识别实验(具体可利用最近邻分类器进行图像识别实验)，统计实验结果，计算图像识别精度AC，即测试样本集中正确识别样本个数与测试样本集总数的比值。
基于以上方案，本发明还进一步作了如下具体优化：
步骤(1)中，基于类内-类间关联的判别约束项具体采用基于图的实现方案或基于Fisher判别准则的实现方案。
上述基于图的实现方案具体有以下主要步骤：
利用K近邻算法构建本征图和惩罚图，近邻个数分别设置为k1和k2，计算本征图拉普拉斯矩阵Lin和惩罚图拉普拉斯矩阵Lpt，其中，Lin＝Din-Win、Lpt＝Dpt-Wpt，Win和Wpt分别表示本征图和惩罚图的权重矩阵，两者均为对称矩阵，Din和Dpt是对角矩阵，对角元素分别为Win和Wpt的列和，或者分别为Win和Wpt的行和；
构建基于图的判别正则项：
tr(UTXLinXTU)-tr(UTXLptXTU)
其中，前一项编码投影空间类内样本相似性分布信息，后一项编码投影空间类间样本区分性分布信息；U为进行迭代运算的基矩阵，X在这里即训练数据矩阵Xtrain；
对基矩阵施加正交约束：
最终得到如下最小化问题：
其中，α、β分别为本征图和判别图的正则参数,γ是基矩阵正交约束项平衡参数。
上述基于Fisher判别准则的实现方案具体有以下主要步骤：
计算关于原样本的类内散度矩阵Sw和类间散度矩阵Sb；构建基于Fisher准则的判别正则项：
tr(UTSwU)-tr(UTSbU)。
其中，前一项编码投影空间类内样本相似性分布信息，后一项编码投影空间类间样本区分性分布信息，U为进行迭代运算的基矩阵；
对基矩阵施加正交约束：
最终得到如下最小化问题：
其中，α、β分别为类内和类间散度正则项平衡参数,γ是基矩阵正交约束项平衡参数。
本发明通过将判别约束直接施加于基矩阵使得判别信息与基矩阵直接关联，同时对基矩阵施加正交约束项，使得算法所学得的基矩阵对测试样本具有更好的投影降维能力，进而使得基矩阵构建的投影矩阵更富含判别信息，从而使算法在测试样本上的泛化能力得到改善。可对投影得到的低维数据表示用最近邻分类算法进行图像识别实验，通过识别结果的好坏判断得到的投影低维数据表示的优劣。
本发明与现有方法相比，发掘并利用了数据内部的判别结构信息，算法中对基矩阵直接施加的判别约束提高了算法的泛化性能，提高了图像识别效果，可广泛应用于数据挖掘，数据分析领域。
附图说明
图1为实施例一的流程示意图。
图2为实施例二的流程示意图。
具体实施方式
本发明及其效果验证过程主要包括以下步骤：
(1)首先将训练样本集中的图像拉成向量构成训练数据矩阵Xtrain，然后将Xtrain在基于判别正交子空间约束的非负矩阵分解框架下进行分解，基于类内-类间关联的判别约束项直接施加于基矩阵，通过这种方式判别约束信息得以直接与基矩阵关联，该判别约束项与对基矩阵的正交约束项使得算法学习出的基矩阵U*更适于构建投影矩阵W，从而改善了算法的泛化能力；
(2)利用学习到的基矩阵U*构建投影矩阵W，计算训练数据Xtrain和测试数据Xtest在投影矩阵W上的投影表示，用最近邻分类器进行图像识别实验；
(3)计算图像识别精度(AC)：测试集中正确识别样本数与测试集样本总数比值。
以下结合附图，对本发明作进一步的详细描述：
实施例一(参照图1)
步骤1，将原始数据矩阵在基于判别正交子空间约束的非负矩阵分解框架下分解。
(1a)将图像样本集中的每幅图像拉成一个向量，共同构成m×n的原始数据矩阵X，m为每个样本的维数，n为样本个数；按照此方式分别相应得到训练数据矩阵Xtrain和测试数据矩阵Xtest；
其中，对于训练数据矩阵Xtrain：
(1b)初始化m×l的基矩阵U0、l×n的编码矩阵V0为非负随机矩阵，l为所要学习的子空间维度，迭代次数t＝0；
(1c)利用K近邻算法构建本征图和惩罚图，近邻个数分别设置为k1和k2，计算本征图拉普拉斯矩阵Lin和惩罚图拉普拉斯矩阵Lpt，其中，Lin＝Din-Win、Lpt＝Dpt-Wpt，Win和Wpt分别表示本征图和惩罚图的权重矩阵，两者均为对称矩阵，Din和Dpt是对角矩阵，对角元素分别为Win和Wpt的列和(或者行和，因为Win和Wpt是对称矩阵)；
(1d)构建基于图的判别正则项：
tr(UTXLinXTU)-tr(UTXLptXTU)，
其中，前一项编码投影空间类内样本相似性分布信息，后一项编码投影空间类间样本区分性分布信息；
(1e)对基矩阵施加正交约束：
最终得到如下最小化问题：
其中，α、β分别为本征图和判别图的正则参数,γ是基矩阵正交约束项平衡参数；
(1f)迭代求解基矩阵U和编码矩阵V，固定其中一个矩阵求解另一个矩阵，具体操作如下：
固定Ut，更新Vt+1：
固定Vt+1，更新Ut+1：
其中，A＝XLinXT＝(XLinXT)+-(XLinXT)-＝A+-A-，
(1g)迭代执行(1f)直到目标式收敛。
步骤2，图像识别测试。用算法收敛后得到的基矩阵U*构建投影矩阵W＝(U*TU*)-1U*T，计算训练数据矩阵Xtrain和测试数据矩阵Xtest在投影矩阵W上的投影表示，用最近邻分类器进行图像识别实验。需要说明的是，对于Xtrain和Xtest维数m是一样的，但是n可能是不一样的：对于训练数据集是训练样本个数，对于测试数据集是测试样本个数。
步骤3，计算图像识别结果评判指标精度AC，即测试集中正确识别样本个数与测试集总数比值。从数据库中随机从每类中抽取3、5、7个样本作为训练样本，剩下的样本作为测试样本。随机抽取5次，每次抽取后重复5次步骤1，每次分别进行图像识别测试，并记录5次识别结果的均值，最后对5次抽取的均值再取均值作为最终的结果。
实施例二(参照图2)
步骤1，将原始数据矩阵在基于判别正交子空间约束的非负矩阵分解框架下分解。
(1a)将图像样本集中的每幅图像拉成一个向量，共同构成m×n的原始数据矩阵X，m为每个样本的维数，n为样本个数；按照此方式分别相应得到训练数据矩阵Xtrain和测试数据矩阵Xtest；
其中，对于训练数据矩阵Xtrain：
(1b)初始化m×l的基矩阵U0、l×n的编码矩阵V0为非负随机矩阵，l为所要学习的子空间维度，迭代次数t＝0；
(1c)计算关于原样本的类内散度矩阵Sw和类间散度矩阵Sb；
(1d)构建基于Fisher准则的判别正则项：
tr(UTSwU)-tr(UTSbU)；
(1e)对基矩阵施加正交约束：
最终得到如下最小化问题：
其中，α、β分别为类内和类间散度正则项平衡参数,γ是基矩阵正交约束项平衡参数；
(1f)迭代求解基矩阵U和编码矩阵V，固定其中一个矩阵求解另一个矩阵，具体操作如下：
固定Ut，更新Vt+1：
固定Vt+1，更新Ut+1：
其中，
(1g)迭代执行(1f)直到目标式收敛。
步骤2，图像识别测试。用算法收敛后得到的基矩阵U*构建投影矩阵W＝(U*TU*)-1U*T，计算训练数据矩阵Xtrain和测试数据矩阵Xtest在投影矩阵W上的投影表示，用最近邻分类器进行图像识别实验；
步骤3，计算图像识别结果评判指标精度AC，即测试集中正确识别样本个数与测试集总数比值。从数据库中随机从每类中抽取3、5、7个样本作为训练样本，剩下的样本作为测试样本。随机抽取5次，每次抽取后重复5次步骤1，每次分别进行图像识别测试，并记录5次识别结果的均值，最后对5次抽取的均值再取均值作为最终的结果。
本发明的效果可以通过以下实验作进一步的说明。
1.仿真条件
本发明是在中央处理器为Intel(R)Xeon(R)CPU E5-2697v2@2.70GHz、内存500G、Ubuntu 14.04.5LTS操作系统上，运行MATLAB软件进行的仿真。
实验中使用的图像数据库为UMIST人脸数据库和ORL人脸图像数据库。UMIST包含从20个人搜集的575张灰度图像，每张图像大小为28×23，图像中每个人的头像姿态都从正面到侧面均匀变化；ORL人脸数据库包括40个人的面部灰度图像，每个人有10个图像样本，共400张图像，每张图像是大小是32×32，每个人的图像样本具有不同的光照变化、表情变化以及面部细节。
2.仿真内容
首先，在UMIST数据库和ORL数据库上，完成本发明(基于判别正交子空间约束的非负矩阵分解)的实验。为了证明本发明的有效性，我们选取了11个对比方法NMF、GNMF、LNMF、RMNMF、CappedNMF、RNMF、DNMF、MDNMF、GSNMF、CNMF和GDNMF进行比较。其中NMF是在文献“D.D.Lee and H.S.Seung,Learning the Parts of Objects by Nonnegative MatrixFactorization,Nature,vol.401,no.6755,pp.788–791,1999”中提出的。GNMF在“D.Cai,X.He,J.Han,and T.S.Huang,Graph regularized nonnegative matrix factorizationfor data representation,IEEE Trans.PatternAnalysis and Machine Intelligence,vol.33,no.8,pp.1548–1560,2011”中有详细介绍。LNMF在文献“S.Li,X.Hou,H.Zhang,andQ.Cheng,Learning Spatially Localized,Parts-based Representation,In Proc.IEEEConference on Computer Vision and Pattern Recognition,vol.1,pp.1–207,2001”有详细介绍。RMNMF在文献“J.Huang,F.Nie,H.Huang,and C.Ding,Robust ManifoldNonnegative Matrix Factorization,ACM Transactions on Knowledge Discovery fromData,vol.8,no.3,2014”中有详细介绍。CappedNMF在文献“H.Gao,F.Nie,W.Cai,andH.Huang,Robust Capped Norm Nonnegative Matrix Factorization:Capped Norm NMF,in:Proceedings of the 24th ACMInternational on Conference on Information andKnowledge Management,pp.871–880,2015”中有详细介绍。RNMF在文献“W.Ren,G.Li,D.Tu,and L.Jia,Nonnegative Matrix Factorization with Regularizations,IEEE Journalon Emerging and Selected Topics in Circuits and Systems,vol.4,no.1,pp.153–164,2014”中有详细介绍。DNMF在文献“S.Zafeiriou,A.Tefas,I.Buciu,and I.Pitas,Exploiting Discriminant Information in Nonnegative Matrix Factorization withApplication to Frontal Face Verification.IEEE Transactionson Neural Networks,vol.17,no.3,683–695,2006”中有详细介绍。MDNMF在文献“S.An,J.Yoo,and S.Choi,Manifold-respecting Discriminant Nonnegative Matrix Factorization,PatternRecognition Letter,vol.32,no.6,pp.832–837,2011”中有详细介绍。GSNMF在文献“R.Zhi,M.Flierl,Q.Ruan,and W.Kleijn,Graph-preserving Sparse NonnegativeMatrixFactorization with Application to Facial Expression Recognition,IEEETransactions on Systems,Man,and Cybernetics,Part B(Cybernetics),vol.41,no.1,pp.38–52,2011”中有详细介绍。CNMF在文献“H.Liu,Z.Wu,X.Li,D.Cai,and T.Huang,Constrained NonnegativeMatrix Factorization for Image Representation,IEEETransactions on Pattern Analysis and MachineIntelligence,vol.34,no.7,pp.1299–1311,2012”中有详细介绍。GDNMF在文献“X.Long,H.Lu,Y.Peng,and W.Li,GraphRegularized Discriminative Nonnegative Matrix Factorization for FaceRecognition,Multimedia Tools and Applications,vol.72,no.3,pp.2679–2699,2014”中有详细介绍。每种算法运行5次并每运行一次进行5次图像识别实验，并统计识别结果的平均值。结果如表1所示。
对于本发明的实施例一和实施例二，设置参数α＝500、β＝50、γ＝10，实施例一的参数k1和k2在UMIST数据库3、5、7测试集上的参数分别为[3,10]、[5,20]和[5,20]，在ORL数据库3、5、7测试集上的参数分别为[3,10]、[5,10]和[7,10]。
实验测试结果如表1、表2所示。
表1 UMIST数据库上的图像识别结果
算法 3 5 7
NMF 0.6466(85) 0.8120(60) 0.8849(60)
GNMF 0.6457(110) 0.8037(75) 0.8729(95)
LNMF 0.6126(20) 0.7747(25) 0.8397(35)
RMNMF 0.6198(30) 0.7796(35) 0.8391(30)
CappedNMF 0.6388(100) 0.7948(70) 0.8718(45)
RNMF 0.6311(115) 0.8114(55) 0.8843(70)
DNMF 0.6936(115) 0.8404(90) 0.9071(110)
MDNMF 0.6057(65) 0.7879(65) 0.8333(115)
GSNMF 0.6399(105) 0.8010(65) 0.8792(65)
CNMF 0.6537(30) 0.8144(15) 0.8884(25)
GDNMF 0.7170(105) 0.8558(65) 0.9107(65)
实施例二 0.8175(75) 0.9406(80) 0.9654(75)
实施例一 0.8294(105) 0.9473(65) 0.9725(70)
表2 ORL数据库上的图像识别结果
算法 3 5 7
NMF 0.7654(35) 0.8580(60) 0.9270(75)
GNMF 0.7456(120) 0.8288(115) 0.8800(120)
LNMF 0.7740(120) 0.8738(120) 0.9307(110)
RMNMF 0.7090(35) 0.8350(45) 0.9073(60)
CappedNMF 0.7344(25) 0.8452(45) 0.9157(50)
RNMF 0.7180(35) 0.8484(50) 0.9227(90)
DNMF 0.7997(105) 0.8994(95) 0.9467(80)
MDNMF 0.7847(35) 0.8764(85) 0.9313(70)
GSNMF 0.7616(40) 0.8644(50) 0.9290(75)
CNMF 0.7973(75) 0.8736(90) 0.9363(95)
GDNMF 0.8377(110) 0.9148(105) 0.9503(85)
实施例二 0.8763(115) 0.9646(115) 0.9787(115)
实施例一 0.9054(115) 0.9774(105) 0.9857(100)
从表1、表2可见，本发明的图像识别效果比NMF、GNMF、LNMF、RMNMF、CappedNMF、RNMF、DNMF、MDNMF、GSNMF、CNMF和GDNMF11种方法都要好，即本发明比其他方法更有效。

Claims (4)

1.基于判别正交子空间约束的非负矩阵分解方法，其特征在于，包括以下步骤：
首先，将训练样本集中的图像拉成向量构成训练数据矩阵Xtrain，矩阵的行数为每个样本的维数，列数为样本个数；
然后，将训练数据矩阵Xtrain在基于判别正交子空间约束的非负矩阵分解框架下进行分解，基于类内-类间关联的判别约束项直接施加于初始化的基矩阵U0进行迭代运算，收敛后得到用于构建投影矩阵W的基矩阵U*，即完成非负矩阵分解。
2.根据权利要求1所述的基于判别正交子空间约束的非负矩阵分解方法，其特征在于：所述基于类内-类间关联的判别约束项具体采用基于图的实现方案或基于Fisher判别准则的实现方案。
3.根据权利要求2所述的基于判别正交子空间约束的非负矩阵分解方法，其特征在于：所述基于图的实现方案具体有以下主要步骤：
利用K近邻算法构建本征图和惩罚图，近邻个数分别设置为k1和k2，计算本征图拉普拉斯矩阵Lin和惩罚图拉普拉斯矩阵Lpt，其中，Lin＝Din-Win、Lpt＝Dpt-Wpt，Win和Wpt分别表示本征图和惩罚图的权重矩阵，两者均为对称矩阵，Din和Dpt是对角矩阵，对角元素分别为Win和Wpt的列和，或者分别为Win和Wpt的行和；
构建基于图的判别正则项：
tr(UTXLinXTU)-tr(UTXLptXTU)
其中，前一项编码投影空间类内样本相似性分布信息，后一项编码投影空间类间样本区分性分布信息；U为进行迭代运算的基矩阵，X在这里即训练数据矩阵Xtrain；
对基矩阵施加正交约束：
最终得到如下最小化问题：
其中，α、β分别为本征图和判别图的正则参数,γ是基矩阵正交约束项平衡参数。
4.根据权利要求2所述的基于判别正交子空间约束的非负矩阵分解方法，其特征在于：所述基于Fisher判别准则的实现方案具体有以下主要步骤：
计算关于原样本的类内散度矩阵Sw和类间散度矩阵Sb；构建基于Fisher准则的判别正则项：
tr(UTSwU)-tr(UTSbU)
其中，前一项编码投影空间类内样本相似性分布信息，后一项编码投影空间类间样本区分性分布信息，U为进行迭代运算的基矩阵；
对基矩阵施加正交约束：
最终得到如下最小化问题：
其中，α、β分别为类内和类间散度正则项平衡参数,γ是基矩阵正交约束项平衡参数。
CN201810150315.2A 2018-02-13 2018-02-13 基于判别正交子空间约束的非负矩阵分解方法 Active CN108416374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810150315.2A CN108416374B (zh) 2018-02-13 2018-02-13 基于判别正交子空间约束的非负矩阵分解方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810150315.2A CN108416374B (zh) 2018-02-13 2018-02-13 基于判别正交子空间约束的非负矩阵分解方法

Publications (2)

Publication Number Publication Date
CN108416374A true CN108416374A (zh) 2018-08-17
CN108416374B CN108416374B (zh) 2020-07-31

Family

ID=63128708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810150315.2A Active CN108416374B (zh) 2018-02-13 2018-02-13 基于判别正交子空间约束的非负矩阵分解方法

Country Status (1)

Country Link
CN (1) CN108416374B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523752A (zh) * 2018-11-28 2019-03-26 润电能源科学技术有限公司 一种设备故障预警方法、装置、电子设备和介质
CN110334761A (zh) * 2019-07-03 2019-10-15 北京林业大学 基于正交性约束增量非负矩阵分解的有监督图像识别方法
CN110990775A (zh) * 2019-11-28 2020-04-10 江苏理工学院 基于多流形对偶图正则化非负矩阵分解的多视图聚类方法
CN111126169A (zh) * 2019-12-03 2020-05-08 重庆邮电大学 基于正交化的图正则非负矩阵分解的人脸识别方法及系统
CN112020081A (zh) * 2019-05-30 2020-12-01 韩国高等科学技术学院 在基于多点协作的小蜂窝网络中利用机器学习的主动缓存方法
CN112233016A (zh) * 2020-10-21 2021-01-15 中国计量大学 基于自组织图约束非负矩阵分解的未见图像特征迁移方法
CN112541502A (zh) * 2020-11-12 2021-03-23 合肥联宝信息技术有限公司 一种图像处理方法、装置及计算机存储介质和电子设备
CN112558757A (zh) * 2020-11-20 2021-03-26 中国科学院宁波材料技术与工程研究所慈溪生物医学工程研究所 一种基于平滑约束非负矩阵分解的肌肉协同提取方法
CN113239741A (zh) * 2021-04-23 2021-08-10 中国计量大学 一种基于存储体非负矩阵分解的人脸识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102270241A (zh) * 2011-08-16 2011-12-07 浙江大学 基于稀疏非负矩阵分解的图像检索方法
CN102521599A (zh) * 2011-09-30 2012-06-27 中国科学院计算技术研究所 一种基于集成学习的模式训练和识别方法
CN103886066A (zh) * 2014-03-20 2014-06-25 杭州禧颂科技有限公司 一种基于鲁棒非负矩阵分解的图像检索方法
CN105469034A (zh) * 2015-11-17 2016-04-06 西安电子科技大学 基于加权式鉴别性稀疏约束非负矩阵分解的人脸识别方法
CN105930308A (zh) * 2016-04-14 2016-09-07 中国科学院西安光学精密机械研究所 基于低秩恢复的非负矩阵分解方法
CN106097381A (zh) * 2016-05-27 2016-11-09 北京理工大学 一种基于流形判别非负矩阵分解的目标跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102270241A (zh) * 2011-08-16 2011-12-07 浙江大学 基于稀疏非负矩阵分解的图像检索方法
CN102521599A (zh) * 2011-09-30 2012-06-27 中国科学院计算技术研究所 一种基于集成学习的模式训练和识别方法
CN103886066A (zh) * 2014-03-20 2014-06-25 杭州禧颂科技有限公司 一种基于鲁棒非负矩阵分解的图像检索方法
CN105469034A (zh) * 2015-11-17 2016-04-06 西安电子科技大学 基于加权式鉴别性稀疏约束非负矩阵分解的人脸识别方法
CN105930308A (zh) * 2016-04-14 2016-09-07 中国科学院西安光学精密机械研究所 基于低秩恢复的非负矩阵分解方法
CN106097381A (zh) * 2016-05-27 2016-11-09 北京理工大学 一种基于流形判别非负矩阵分解的目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XUELONG LI ER.AL: "Refined-Graph Regularization-Based Nonnegative Matrix Factorization", 《ACM TRANSACTIONS ON INTELLIGENT SYSTEMS AND TECHNOLOGY》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523752A (zh) * 2018-11-28 2019-03-26 润电能源科学技术有限公司 一种设备故障预警方法、装置、电子设备和介质
CN109523752B (zh) * 2018-11-28 2021-01-29 润电能源科学技术有限公司 一种设备故障预警方法、装置、电子设备和介质
CN112020081A (zh) * 2019-05-30 2020-12-01 韩国高等科学技术学院 在基于多点协作的小蜂窝网络中利用机器学习的主动缓存方法
CN110334761B (zh) * 2019-07-03 2021-05-04 北京林业大学 基于正交性约束增量非负矩阵分解的有监督图像识别方法
CN110334761A (zh) * 2019-07-03 2019-10-15 北京林业大学 基于正交性约束增量非负矩阵分解的有监督图像识别方法
CN110990775A (zh) * 2019-11-28 2020-04-10 江苏理工学院 基于多流形对偶图正则化非负矩阵分解的多视图聚类方法
CN110990775B (zh) * 2019-11-28 2023-11-07 江苏理工学院 基于多流形对偶图正则化非负矩阵分解的多视图聚类方法
CN111126169A (zh) * 2019-12-03 2020-05-08 重庆邮电大学 基于正交化的图正则非负矩阵分解的人脸识别方法及系统
CN111126169B (zh) * 2019-12-03 2022-08-30 重庆邮电大学 基于正交化的图正则非负矩阵分解的人脸识别方法及系统
CN112233016A (zh) * 2020-10-21 2021-01-15 中国计量大学 基于自组织图约束非负矩阵分解的未见图像特征迁移方法
CN112233016B (zh) * 2020-10-21 2022-09-09 中国计量大学 基于自组织图约束直推式非负矩阵分解的未见图像特征迁移方法
CN112541502A (zh) * 2020-11-12 2021-03-23 合肥联宝信息技术有限公司 一种图像处理方法、装置及计算机存储介质和电子设备
CN112541502B (zh) * 2020-11-12 2022-06-10 合肥联宝信息技术有限公司 一种图像处理方法、装置及计算机存储介质和电子设备
CN112558757A (zh) * 2020-11-20 2021-03-26 中国科学院宁波材料技术与工程研究所慈溪生物医学工程研究所 一种基于平滑约束非负矩阵分解的肌肉协同提取方法
CN112558757B (zh) * 2020-11-20 2022-08-23 中国科学院宁波材料技术与工程研究所慈溪生物医学工程研究所 一种基于平滑约束非负矩阵分解的肌肉协同提取方法
CN113239741A (zh) * 2021-04-23 2021-08-10 中国计量大学 一种基于存储体非负矩阵分解的人脸识别方法

Also Published As

Publication number Publication date
CN108416374B (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN108416374A (zh) 基于判别正交子空间约束的非负矩阵分解方法
Wolf et al. Learning over sets using kernel principal angles
Jiang Asymmetric principal component and discriminant analyses for pattern classification
CN109977994B (zh) 一种基于多示例主动学习的代表性图像选取方法
De la Torre et al. Temporal segmentation of facial behavior
CN108415883A (zh) 基于子空间聚类的凸非负矩阵分解方法
CN105023006A (zh) 基于增强型非参数最大边缘准则的人脸识别方法
Schlapbach et al. Improving writer identification by means of feature selection and extraction
CN109871880A (zh) 基于低秩稀疏矩阵分解、局部几何结构保持和类别信息最大统计相关的特征提取方法
Sisodia et al. ISVM for face recognition
CN102289685A (zh) 一种基于正则回归的秩-1张量投影的行为识别方法
CN102332087A (zh) 一种基于稀疏表示的人脸识别方法
Farimani et al. An HMM for online signature verification based on velocity and hand movement directions
McKenna et al. Learning spatial context from tracking using penalised likelihoods
Fan et al. Online learning of a dirichlet process mixture of generalized dirichlet distributions for simultaneous clustering and localized feature selection
Vuori Clustering writing styles with a self-organizing map
Ji et al. SVM-based fingerprint classification using orientation field
Chen et al. More about covariance descriptors for image set coding: Log-euclidean framework based kernel matrix representation
Danti et al. Face recognition using shearlets
Xu et al. Handwritten Bangla digit recognition using hierarchical Bayesian network
Ba-Karait et al. Handwritten digits recognition using particle swarm optimization
Zhang et al. Robust multi-view face detection using error correcting output codes
Liu et al. Fuzzy C-mean algorithm based on “complete” Mahalanobis distances
CN101556646B (zh) 一种基于核聚类的虹膜分类方法
Zhang et al. Evolutionary soft co-clustering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant