CN110334761B - 基于正交性约束增量非负矩阵分解的有监督图像识别方法 - Google Patents
基于正交性约束增量非负矩阵分解的有监督图像识别方法 Download PDFInfo
- Publication number
- CN110334761B CN110334761B CN201910595901.2A CN201910595901A CN110334761B CN 110334761 B CN110334761 B CN 110334761B CN 201910595901 A CN201910595901 A CN 201910595901A CN 110334761 B CN110334761 B CN 110334761B
- Authority
- CN
- China
- Prior art keywords
- matrix
- test
- obtaining
- sample set
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 229
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 38
- 238000012360 testing method Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 30
- 230000009466 transformation Effects 0.000 claims abstract description 17
- 238000003860 storage Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 abstract description 14
- 230000006870 function Effects 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像识别领域，具体涉及一种基于正交性约束增量非负矩阵分解的有监督图像识别方法，旨在为了解决现有有监督图像在线识别方法在新增样本较多时，累计训练时间消耗较长，识别效率较低的问题。本发明包括：获取初始样本集的矩阵表示Vc；获取Vc经ONMF算法分解得到基矩阵Wc和系数矩阵Hc；获取新增样本集的矩阵表示Vp，构建所有样本构成的数据矩阵Vz＝[Vc,Vp]，并基于Wc、Hc采用增加正交性约束的INMF算法获取基矩阵Wz；利用基矩阵Wz的Moore‑Penrose逆作为投影变换矩阵，分别对Vz及待识别图像集的矩阵Vtest进行投影变换，然后训练分类器并对Vtest进行识别分类。本发明在新增训练样本较多时，可以快速地动态更新基矩阵，大幅减少了时间消耗。
Description
技术领域
本发明属于图像识别领域，具体涉及一种基于正交性约束增量非负矩阵分解的有监督图像识别方法。
背景技术
增量非负矩阵分解(INMF)是一种基于子空间降维的增量学习模型，能够解决非负矩阵分解(NMF)在有监督图像识别中，随训练样本增多而重新分解运算的识别效率问题，其思想是动态的更新非负基矩阵，以更好的描述不断增加的图像样本。但是INMF在特征提取阶段对新增训练样本为逐个增加，所有新增样本的训练时间也与新增样本数量成正比，且得到基矩阵稀疏性较低，局部表达能力不强。正交性约束可以去除基矩阵各向量之间的相关性，在基矩阵非负的前提下，基矩阵越趋于正交则越稀疏。针对INMF的不足，将正交约束与增量学习相结合，得到一种分解后基矩阵更稀疏，局部表达能力更强的增量非负矩阵分解方法具有重要意义。
Bucak等人在2009年提出增量非负矩阵分解算法(incremental non-negativematrix factorization，INMF)的概念[Bucak S S,Gunsel B.Incremental subspacelearning via non-negative matrix factorization[J].Pattern Recognition,2009,42(5):788-797.]，认为单个新加入的训练样本几乎不影响原始基矩阵的表达，利用原始数据的非负矩阵分解结果，对基矩阵和系数矩阵进行快速更新，使特征提取环节具备了增量学习的能力，从而提高了运行效率，应用到了视频监控中。在此基础上，王万良等提出稀疏约束下非负矩阵分解的增量学习算法(INMFSC)，提高了分解后数据的稀疏性，并将其应用到图像识别中[王万良,蔡竞.稀疏约束下非负矩阵分解的增量学习算法[J].计算机科学,2014,41(8):241-244.]。Zhe-Zhou Yu等提出图正则增量非负矩阵分解算法(IncrementalGraph Regulated Nonnegative Matrix Factorization IGNMF)，通过在降维过程中保持原高维数据的近邻分布结构，实现了较好的分类效果。[YU Z Z，LIU Y H，LI B，etal.Incremental Graph Regulated Nonnegative Matrix Factorization for FaceRecognition.Journal of Applied Mathematics，2014.DOI:10.1155/2014/928051.]，Sihang Dang等提出基于L_(1/2)范数约束增量非负矩阵分解算法(L_(1/2)INMF)将稀疏约束与增量学习相结合。[Sihang Dang,Zongyong Cui,Zongjie Cao,et al.SAR targetrecognition via incremental nonnegative matrix factorization with Lp sparseconstraint[J].Science Technology&Engineering,2017,10(3):0530-0534.]并应用到了SAR图像识别中，汪金涛等将增量学习的思想引入稀疏约束图正则非负矩阵分解，提出了稀疏约束图正则非负矩阵分解的增量学习算法(Incremental learning based on GNMFSCIGNMSC)[汪金涛,曹玉东,孙福明.稀疏约束图正则非负矩阵分解的增量学习算法[J].计算机应用,2017,37(4):1071-1074.]
现有文献公开的方法虽然在一定程度上改善了增量非负矩阵分解一些不足，但是仍然具有分解后的基矩阵稀疏性不是很高，局部表达能力不是很令人满意，且在有监督图像在线识别中，新增样本时为逐个更新，当新增样本数较多时，累计训练时间消耗较长，识别效率较低。
发明内容
为了解决现有技术中的上述问题，即为了解决现有有监督图像在线识别方法在新增样本较多时，累计训练时间消耗较长，识别效率较低的问题，本发明的第一方面，提出了一种基于正交性约束增量非负矩阵分解的有监督图像识别方法，该方法包括：
步骤S100，获取初始样本集的矩阵表示Vc；
步骤S200，获取Vc经ONMF算法分解得到基矩阵Wc和系数矩阵Hc；
步骤S300，获取新增样本集的矩阵表示Vp，构建所有样本构成的数据矩阵Vz＝[Vc,Vp]，并基于Wc、Hc采用增加正交性约束的INMF算法获取基矩阵Wz；
步骤S400，利用基矩阵Wz的Moore-Penrose逆作为投影变换矩阵，分别对Vz、Vtest进行投影变换对应得到低维投影矩阵Htrain、Htest；其中，Vtest为输入的待识别图像集的矩阵表示；
步骤S500，利用Htrain及其对应样本分类标签对分类器进行训练优化，并利用优化后的分类器对Htest进行识别分类。
在一些优选实施方式中，步骤S300中“基于Wc、Hc采用增加正交性约束的INMF算法获取基矩阵Wz”，其方法为：
初始化正矩阵Wz＝Wc，随机初始化正矩阵Hp；
按照以下规则进行迭代，直至达到预设的终止条件；
将得到的最终的Wz、Hp分别作为Vz的基矩阵、Vp的系数矩阵Hp。
在一些优选实施方式中，步骤S400中“利用基矩阵Wz的Moore-Penrose逆作为投影变换矩阵，分别对Vz、Vtest进行投影变换对应得到低维投影矩阵Htrain、Htest”，其方法为：
其中，Htrain表示所有训练样本的低维投影矩阵，Htest表示待识别图像集的低维投影矩阵，
为投影矩阵。
在一些优选实施方式中，初始样本集、新增样本集、待识别图像集的图像尺寸统一化为p×q大小，其中p、q分别为预设值。
在一些优选实施方式中，所述初始样本集的矩阵表示Vc，其大小为m×c，其中m＝p×q，c为所述初始样本集中样本图像的数量。
在一些优选实施方式中，所述分类器为最近邻分类器。
本发明的第二方面，提出了一种基于正交性约束增量非负矩阵分解的有监督图像识别系统，该系统包括第一矩阵获取模块、第二矩阵获取模块、第三矩阵获取模块、低维投影矩阵获取模块、分类模块；
所述第一矩阵获取模块，配置为获取初始样本集的矩阵表示Vc；
所述第二矩阵获取模块，配置为获取Vc经ONMF算法分解得到基矩阵Wc和系数矩阵Hc；
所述第三矩阵获取模块，配置为获取新增样本集的矩阵表示Vp，构建所有样本构成的数据矩阵Vz＝[Vc,Vp]，并基于Wc、Hc采用增加正交性约束的INMF算法获取基矩阵Wz；
所述低维投影矩阵获取模块，配置为利用基矩阵Wz的Moore-Penrose逆作为投影变换矩阵，分别对Vz、Vtest进行投影变换对应得到低维投影矩阵Htrain、Htest；其中，Vtest为输入的待识别图像集的矩阵表示；
所述分类模块，配置为利用Htrain及其对应样本分类标签对分类器进行训练优化，并利用优化后的分类器对Htest进行识别分类。
在一些优选实施方式中，所述第三矩阵获取模块中“基于Wc、Hc采用增加正交性约束的INMF算法获取基矩阵Wz”，其方法为：
初始化正矩阵Wz＝Wc，随机初始化正矩阵Hp；
按照以下规则进行迭代，直至达到预设的终止条件；
将得到的最终的Wz、Hp分别作为Vz的基矩阵、Vp的系数矩阵Hp。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现权利要求1-6任一项所述的基于正交性约束增量非负矩阵分解的有监督图像识别方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现权利要求1-6任一项所述的基于正交性约束增量非负矩阵分解的有监督图像识别方法。
本发明的有益效果：
与现有基于增量非负矩阵分解的图像识别方法相比，本发明的基于正交性约束增量非负矩阵分解的有监督图像识别方法，具有提取到的图像特征更稀疏，局部表达能力更强，当新增训练样本较多时，可以快速地动态更新基矩阵，大幅减少了时间消耗。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明一种实施例的基于正交性约束增量非负矩阵分解的有监督图像识别方法流程示意图；
图2是本发明一种实施例中OINMF算法特征提取的流程示意图；
图3是本发明一种实施例在GT人脸数据集上最终提取到的特征基图像以及GT数据集中部分样本示例；
图4是本发明一种实施例在Coil数据集上最终提取到的特征基图像以及Coil数据集中部分样本示例。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明基于正交性约束增量非负矩阵分解的有监督图像识别方法，其关键步骤是对训练样本图像进行特征提取，根据提取到的特征对原有样本和未识别样本进行投影降维，最后选择分类器进行分类。在特征提取环节，本方法通过对增量非负矩阵算法施加额外的正交性约束，并通过Stiefel流形上的结果推导出迭代公式，得到增加正交性约束的INMF算法，该算法将正交约束与增量学习相结合，提高了所获得特征的稀疏性，使所获得特征具有更强的局部表达能力，同时避免了新样本加入时的重复训练，缩短了新样本加入时特征提取的时间消耗，实现了基矩阵的动态更新。
本发明的一种基于正交性约束增量非负矩阵分解的有监督图像识别方法，包括：
步骤S100，获取初始样本集的矩阵表示Vc；
步骤S200，采用ONMF(Orthogonal nonnegative matrix factorization，正交非负矩阵分解)算法对Vc分解得到基矩阵Wc和系数矩阵Hc；
步骤S300，获取新增样本集的矩阵表示Vp，构建所有样本构成的数据矩阵Vz＝[Vc,Vp]，并基于Wc、Hc采用增加正交性约束的INMF算法获取基矩阵Wz；
步骤S400，利用基矩阵Wz的Moore-Penrose逆作为投影变换矩阵，分别对Vz、Vtest进行投影变换对应得到低维投影矩阵Htrain、Htest；其中，Vtest为输入的待识别图像集的矩阵表示；
步骤S500，利用Htrain及其对应样本分类标签对分类器进行训练优化，并利用优化后的分类器对Htest进行识别分类。
为了更清晰地对本发明基于正交性约束增量非负矩阵分解的有监督图像识别方法进行说明，下面结合附图对本方发明方法一种实施例中各步骤进行展开详述。
本发明一种实施例的基于正交性约束增量非负矩阵分解的有监督图像识别方法，如图1所示包括以下步骤：
步骤A100，获取初始样本集的矩阵表示Vc。
在计算机中，通常以矩阵形式对图像进行存储的，在新增训练样本之前的原始图像数据集包括初始样本集、未识别样本集，将未识别样本集作为待识别样本集，假设初始样本集中有c个p×q大小的初始训练样本图像，首先把p×q大小的初始训练样本图像按列拉直成一个pq维的向量，令m＝pq，则c幅图像形成一个m×c大小的初始样本集的矩阵表示Vc。
步骤A200，采用ONMF算法对Vc分解得到基矩阵Wc和系数矩阵Hc。
本实施例参照文献“Yoo J,Choi S.Orthogonal Nonnegative MatrixFactorization:Multiplicative Updates on Stiefel Manifolds[C]//InternationalConference on Intelligent Data Engineering and Automated Learning.Springer,Berlin,Heidelberg,2008:140-147”，对原始样本矩阵Vc进行ONMF分解，按以如式(1)、式(2)所示的迭代规则进行交替优化直至满足终止条件，得到基矩阵Wc和系数矩阵Hc。
步骤A300，获取新增样本集的矩阵表示Vp，构建所有样本构成的数据矩阵Vz＝[Vc,Vp]，并基于Wc、Hc采用增加正交性约束的INMF算法获取基矩阵Wz。
当有p个新的训练样本加入时，按照步骤A100的规则构成样本矩阵Vp，利用初始c个样本特征提取的结果，参见图2中OINMF算法流程示意图中所示，采用增加正交性约束的INMF算法对基矩阵Wz进行动态更新直至满足预设的终止条件。本实施例中，将增加正交性约束的INMF算法命名为OINMF(Orthogonal incremental non-negative matrixfactorization)算法，以使下文描述更加清晰、简化。
本实施例中，基于Wc、Hc采用OINMF算法获取基矩阵Wz的方法为：
初始化正矩阵Wz＝Wc，随机初始化正矩阵Hp；
按照如式(3)、式(4)的规则进行迭代，直至达到终止条件；
将得到的最终的Wz、Hp分别作为Vz的基矩阵、Vp的系数矩阵Hp。
如图3和图4所示为OINMF算法在基矩阵基向量个数为25时，在GT和Coil数据集上得到基矩阵转化为图像形式示例。图3中显示了在GT人脸数据集上最终提取到的特征基图像，以及GT数据集中部分样本示例，其中GT(Georgia Tech database)数据集包含50个人，每人15副图像，一共750幅，人脸图像是在不同视角、各种表情和不同脸部细节的条件下拍摄的。图4中显示了在Coil(Columbia University Image Library)数据集上最终提取到的特征基图像，以及Coil数据集中部分样本示例，其中Coil(Columbia University ImageLibrary)数据集是彩色图片集合，包含对100个物体从不同角度的拍摄，每隔5度拍摄一副图像，每个物体72张图像。
步骤A400，根据OINMF算法得到的基矩阵Wz后，数据vi∈Rm×1在Wz张成的子空间中可以表示为hi∈Rr×1,即vi＝Wzhi。所以对于原空间中任意数据vi，其低维数据特征如式(5)所示：
其中，
为矩阵Wz的Moore-Penrose逆。
步骤A500，根据步骤A400的结果，计算所有训练样本图像和待识别样本的低维投影矩阵分别如式(6)、式(7)所示：
其中，Htrain表示所有训练样本的低维投影矩阵，Vtest表示待识别样本构成的数据矩阵，Htest表示待识别样本的低维投影矩阵。
步骤A600，采用最近邻分类器(k-Nearest Neighbor Classifier,KNN)，对步骤A500得到的低维投影矩阵进行识别分类，输出分类结果。
本步骤中，基于所有训练样本的低维投影矩阵Htrain及其对应样本分类标签对分类器进行训练优化，并利用优化后的分类器对待识别样本的低维投影矩阵Htest进行识别分类。
本实施例中，定义两个样本Yj与Y间的相似度量为δ(Yj,Y),j＝1,2,...,n，采用欧式距离得到式(8)，
其中，yij表示向量Yj中第i个元素，yi表示向量Y中第i个元素。分类原则：如果δk(Yk,Y)＝minδ(Yj,Y),j＝1,2,...,n，则测试图像Y与训练图像Yk属于同一类。
在本实施例中，分类器为最近邻分类器，当然在其他实施例中还可以采用其他分类器，例如余弦相似度分类器、支持向量机(SVM)等。
为了更清晰的对步骤A300中“基于Wc、Hc采用OINMF算法获取基矩阵Wz的方法”进行说明，下面结合图2所示的OINMF算法流程示意图，对本实施例中OINMF算法进行描述：
步骤B100：假设初始c个图像训练样本Vc＝[v1,v2,...,vc]∈Rm×c，进行ONMF分解得到的基矩阵为Wc∈Rm×r，系数矩阵为Hc＝[h1,h2,...,hc]∈Rr×c，当新加入p个训练样本Vp＝[vc+1,vc+2,...,vc+p]∈Rm×p，新增样本对应的系数矩阵部分Hp＝[hc+1,hc+2,...,hc+p]∈Rr×p，不改变初始训练样本对应的系数矩阵Hc。
此时总样本矩阵为Vz＝[Vc,Vp]∈Rm×(c+p)，对应的基矩阵为Wz∈Rm×r，系数矩阵为Hz＝[Hc,Hp]＝[h1,h2,...,hc,hc+1,...,hc+p]∈Rr×(c+p)，根据分块矩阵的思路，可以有如下近似Vz＝[Vc,Vp]≈WzHz＝Wz[Hc,Hp]，采用欧氏距离构建新的目标函数如式(9)所示：
其中，||·||F为Frobenius范数，Dz为训练样本矩阵Vz与基矩阵Wz和系数矩阵Hz乘积WzHz的重构误差，也称为目标函数，Dc为初始c个样本时对应的目标函数，Dp为新加入p个样本后目标函数Dz的增量部分，因此可以实现新增多个样本的同时计算更新。
步骤B200：正交性约束可以去除基矩阵向量之间的相关性，为了得到稀疏性更高的基矩阵，获得更强的基图像局部表达能力，在增量学习的过程中，对基矩阵施加正交性约束，即式(9)需服从式(10)的约束条件。
Wz TWz＝I,Wz≥0,Hz≥0 (10)
此时目标函数Dz中的变量为系数矩阵Hz中新加入样本对应的部分Hp和基矩阵Wz，一般来说，如式(10)对式(9)的约束优化问题通过引入带有惩罚项
的拉格朗日方程来解决，其中λ是拉格朗日乘子，如式(11)所示。
步骤B300：将式(9)中Hp固定，作为Wz的函数来处理，最小化式(9)，其中Wz被约束为m×r矩阵的集合使得Wz TWz＝I，I为单位矩阵。结合Wz上的非负性约束，则约束面是使得满足Wz TWz＝I的m×r正交矩阵的集合，被称为Stiefel流形。
引理1：设ε(X)是Stiefel流形上的光滑函数，且ε(X)∈C1,X∈Vm,r是Stiefel流形上的点，
为在欧式空间上ε(X)在X处的梯度，在Stiefel流形上ε(X)的对于X的梯度被定义为切向量
与▽Xε的关系如式(12)所示。
该引理可参见“Edelman A,Arias T A,Smith S T.The geometry of algorithmswith orthogonality constraints[M].Society for Industrial and AppliedMathematics,1999”。
步骤B400：根据引理1，利用Stiefel流形上梯度的结果可以得式(13)：
将Vz＝[Vc,Vp]，Hz＝[Hc,Hp]代入式(13)得到式(14)：
步骤B500：根据梯度下降法
选取步长因子μw，如式(15)所示：
进而得到关于Wz迭代公式，如式(16)所示：
由于对基矩阵增加的正交约束与Hp求导没有影响，因此得到式(17)：
继续通过式(18)选取步长因子μ：
从而得到Hp迭代规则如式(19)所示：
步骤B600：对Wz和Hp按照步骤B500迭代规则交替迭代优化，直至满足预设的终止条件，输出Wz和Hp。
本实施例步骤B600中预设的终止条件为预设的迭代次数或者目标函数Dz小于设定阈值。
本发明第二实施例的一种基于正交性约束增量非负矩阵分解的有监督图像识别系统，包括第一矩阵获取模块、第二矩阵获取模块、第三矩阵获取模块、低维投影矩阵获取模块、分类模块；
所述第一矩阵获取模块，配置为获取初始样本集的矩阵表示Vc；
所述第二矩阵获取模块，配置为采用ONMF算法对Vc分解得到基矩阵Wc和系数矩阵Hc；
所述第三矩阵获取模块，配置为获取新增样本集的矩阵表示Vp，构建所有样本构成的数据矩阵Vz＝[Vc,Vp]，并基于Wc、Hc采用OINMF算法获取基矩阵Wz；
所述低维投影矩阵获取模块，配置为利用基矩阵Wz的Moore-Penrose逆作为投影变换矩阵，分别对Vz、Vtest进行投影变换对应得到低维投影矩阵Htrain、Htest；其中，Vtest为输入的待识别图像集的矩阵表示；
所述分类模块，配置为利用Htrain及其对应样本分类标签对分类器进行训练优化，并利用优化后的分类器对Htest进行识别分类。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于正交性约束增量非负矩阵分解的有监督图像识别系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于正交性约束增量非负矩阵分解的有监督图像识别方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于正交性约束增量非负矩阵分解的有监督图像识别方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (8)
1.一种基于正交性约束增量非负矩阵分解的有监督图像识别方法，其特征在于，该方法包括：
步骤S100，获取初始样本集的矩阵表示Vc；
步骤S200，采用ONMF算法对Vc分解得到基矩阵Wc和系数矩阵Hc；
步骤S300，获取新增样本集的矩阵表示Vp，构建所有样本构成的数据矩阵Vz＝[Vc,Vp]，并对Wc和Hc采用增加正交性约束的INMF算法获取基矩阵Wz，其方法为：
初始化正矩阵Wz＝Wc，随机初始化正矩阵Hp；
按照以下规则进行迭代，直至达到预设的终止条件；
将得到的最终的Wz和Hp分别作为Vz的基矩阵和Vp的系数矩阵Hp；
步骤S400，利用基矩阵Wz的Moore-Penrose逆作为投影变换矩阵，分别对Vz和Vtest进行投影变换对应得到低维投影矩阵Htrain和Htest；其中，Vtest为输入的待识别图像集的矩阵表示；
步骤S500，利用Htrain及其对应样本分类标签对分类器进行训练优化，并利用优化后的分类器对Htest进行识别分类。
2.根据权利要求1所述的基于正交性约束增量非负矩阵分解的有监督图像识别方法，其特征在于，步骤S400中“利用基矩阵Wz的Moore-Penrose逆作为投影变换矩阵，分别对Vz和Vtest进行投影变换对应得到低维投影矩阵Htrain和Htest”，其方法为：
其中，Htrain表示所有训练样本的低维投影矩阵，Htest表示待识别图像集的低维投影矩阵，
为投影矩阵。
3.根据权利要求1或2所述的基于正交性约束增量非负矩阵分解的有监督图像识别方法，其特征在于，初始样本集、新增样本集和待识别图像集的图像尺寸统一化为p×q大小，其中p和q分别为预设值。
4.根据权利要求3所述的基于正交性约束增量非负矩阵分解的有监督图像识别方法，其特征在于，所述初始样本集的矩阵表示Vc，其大小为m×c，其中m＝p×q，c为所述初始样本集中样本图像的数量。
5.根据权利要求1或2所述的基于正交性约束增量非负矩阵分解的有监督图像识别方法，其特征在于，所述分类器为最近邻分类器。
6.一种基于正交性约束增量非负矩阵分解的有监督图像识别系统，其特征在于，该系统包括第一矩阵获取模块、第二矩阵获取模块、第三矩阵获取模块、低维投影矩阵获取模块和分类模块；
所述第一矩阵获取模块，配置为获取初始样本集的矩阵表示Vc；
所述第二矩阵获取模块，配置为采用ONMF算法对Vc分解得到基矩阵Wc和系数矩阵Hc；
所述第三矩阵获取模块，配置为获取新增样本集的矩阵表示Vp，构建所有样本构成的数据矩阵Vz＝[Vc,Vp]，并基于Wc和Hc采用增加正交性约束的INMF算法获取基矩阵Wz，其方法为：
初始化正矩阵Wz＝Wc，随机初始化正矩阵Hp；
按照以下规则进行迭代，直至达到预设的终止条件；
将得到的最终的Wz和Hp分别作为Vz的基矩阵和Vp的系数矩阵Hp；
所述低维投影矩阵获取模块，配置为利用基矩阵Wz的Moore-Penrose逆作为投影变换矩阵，分别对Vz和Vtest进行投影变换对应得到低维投影矩阵Htrain和Htest；其中，Vtest为输入的待识别图像集的矩阵表示；
所述分类模块，配置为利用Htrain及其对应样本分类标签对分类器进行训练优化，并利用优化后的分类器对Htest进行识别分类。
7.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-5任一项所述的基于正交性约束增量非负矩阵分解的有监督图像识别方法。
8.一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-5任一项所述的基于正交性约束增量非负矩阵分解的有监督图像识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910595901.2A CN110334761B (zh) | 2019-07-03 | 2019-07-03 | 基于正交性约束增量非负矩阵分解的有监督图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910595901.2A CN110334761B (zh) | 2019-07-03 | 2019-07-03 | 基于正交性约束增量非负矩阵分解的有监督图像识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110334761A CN110334761A (zh) | 2019-10-15 |
| CN110334761B true CN110334761B (zh) | 2021-05-04 |
Family
ID=68143813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910595901.2A Active CN110334761B (zh) | 2019-07-03 | 2019-07-03 | 基于正交性约束增量非负矩阵分解的有监督图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110334761B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126169B (zh) * | 2019-12-03 | 2022-08-30 | 重庆邮电大学 | 基于正交化的图正则非负矩阵分解的人脸识别方法及系统 |
| CN112541502B (zh) * | 2020-11-12 | 2022-06-10 | 合肥联宝信息技术有限公司 | 一种图像处理方法、装置及计算机存储介质和电子设备 |
| CN112446307B (zh) * | 2020-11-16 | 2022-11-04 | 山东大学 | 基于局部约束的非负矩阵分解的心电身份识别方法及系统 |
| CN113239741A (zh) * | 2021-04-23 | 2021-08-10 | 中国计量大学 | 一种基于存储体非负矩阵分解的人脸识别方法 |
| CN117576568B (zh) * | 2023-12-08 | 2024-07-05 | 成都理工大学 | 一种基于增量学习的深度鲁棒非负矩阵分解方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103186777A (zh) * | 2013-04-03 | 2013-07-03 | 西安电子科技大学 | 基于非负矩阵分解的人体检测方法 |
| CN105389291A (zh) * | 2015-12-21 | 2016-03-09 | 西安电子科技大学 | 基于增量式凸局部非负矩阵分解的数据处理方法 |
| CN106600630A (zh) * | 2016-12-07 | 2017-04-26 | 国网山西省电力公司电力科学研究院 | 一种基于稀疏编码的粒子滤波目标跟踪方法 |
| CN108268872A (zh) * | 2018-02-28 | 2018-07-10 | 电子科技大学 | 一种基于增量学习的鲁棒非负矩阵分解方法 |
| CN108416374A (zh) * | 2018-02-13 | 2018-08-17 | 中国科学院西安光学精密机械研究所 | 基于判别正交子空间约束的非负矩阵分解方法 |
| CN108846357A (zh) * | 2018-06-13 | 2018-11-20 | 蔡竞 | 一种基于改进增量式非负矩阵分解的人脸识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106529188B (zh) * | 2016-11-25 | 2019-04-19 | 苏州国科康成医疗科技有限公司 | 应用于手术导航的图像处理方法 |
| CN109871880A (zh) * | 2019-01-23 | 2019-06-11 | 中山大学 | 基于低秩稀疏矩阵分解、局部几何结构保持和类别信息最大统计相关的特征提取方法 |
-
2019
- 2019-07-03 CN CN201910595901.2A patent/CN110334761B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103186777A (zh) * | 2013-04-03 | 2013-07-03 | 西安电子科技大学 | 基于非负矩阵分解的人体检测方法 |
| CN105389291A (zh) * | 2015-12-21 | 2016-03-09 | 西安电子科技大学 | 基于增量式凸局部非负矩阵分解的数据处理方法 |
| CN106600630A (zh) * | 2016-12-07 | 2017-04-26 | 国网山西省电力公司电力科学研究院 | 一种基于稀疏编码的粒子滤波目标跟踪方法 |
| CN108416374A (zh) * | 2018-02-13 | 2018-08-17 | 中国科学院西安光学精密机械研究所 | 基于判别正交子空间约束的非负矩阵分解方法 |
| CN108268872A (zh) * | 2018-02-28 | 2018-07-10 | 电子科技大学 | 一种基于增量学习的鲁棒非负矩阵分解方法 |
| CN108846357A (zh) * | 2018-06-13 | 2018-11-20 | 蔡竞 | 一种基于改进增量式非负矩阵分解的人脸识别方法 |
Non-Patent Citations (5)
| Title |
|---|
| Incremental Nonnegative Matrix Factorization for Face Recognition;Wen-Sheng Chen 等;《Mathematical Problems in Engineering》;20081231;1-17 * |
| Incremental subspace learning via non-negative matrix factorization;Serhat S.Bucak 等;《Pattern Recognition》;20080902;第42卷(第5期);788-797 * |
| On-line learning parts-based representation via incremental orthogonal projective non-negative matrix factorization;Dong Wang 等;《SignalProcessing》;20120814;1608-1623 * |
| 子空间约束下的非负矩阵分解算法研究;崔国盛;《中国博士学位论文全文数据库 信息科技辑》;20190615;I138-21 * |
| 约束非负矩阵分解与增量形式算法研究;陶士昌;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160415(第4期);I138-1039 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110334761A (zh) | 2019-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110334761B (zh) | 基于正交性约束增量非负矩阵分解的有监督图像识别方法 | |
| CN110288030B (zh) | 基于轻量化网络模型的图像识别方法、装置及设备 | |
| Nie et al. | Trace ratio criterion for feature selection. | |
| Yuan et al. | Factorization-based texture segmentation | |
| Kristan et al. | Multivariate online kernel density estimation with Gaussian kernels | |
| Sheikh et al. | Mode-seeking by medoidshifts | |
| CN100410963C (zh) | 一种基于块内相关性的二维线性鉴别分析人脸识别方法 | |
| Jin et al. | Low-rank matrix factorization with multiple hypergraph regularizer | |
| CN111324791B (zh) | 一种多视数据子空间聚类方法 | |
| CN107609596B (zh) | 无参数自动加权多图正则化非负矩阵分解及图像聚类方法 | |
| CN110032704A (zh) | 数据处理方法、装置、终端及存储介质 | |
| CN111126169B (zh) | 基于正交化的图正则非负矩阵分解的人脸识别方法及系统 | |
| Belahcene et al. | Local descriptors and tensor local preserving projection in face recognition | |
| CN116188900A (zh) | 一种基于全局和局部特征增广的小样本图像分类方法 | |
| Kuleshov et al. | Conformal prediction in manifold learning | |
| CN106934398B (zh) | 基于超像素聚类和稀疏表示的图像去噪方法 | |
| Zhang et al. | Evolutionary soft co-clustering: formulations, algorithms, and applications | |
| CN116310462B (zh) | 一种基于秩约束自表示的图像聚类方法及装置 | |
| CN113627237A (zh) | 基于局部最大对齐的后期融合人脸图像聚类方法及系统 | |
| Forczmański et al. | Comparative analysis of simple facial features extractors | |
| CN116705151A (zh) | 一种空间转录组数据的降维方法及系统 | |
| CN109614581A (zh) | 基于对偶局部学习的非负矩阵分解聚类方法 | |
| Theiler et al. | Design issues for hardware implementation of an algorithm for segmenting hyperspectral imagery | |
| Tian et al. | Orthogonal graph-regularized non-negative matrix factorization for hyperspectral image clustering | |
| Journaux et al. | Texture classification with generalized fourier descriptors in dimensionality reduction context: An overview exploration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |