CN107609596B - 无参数自动加权多图正则化非负矩阵分解及图像聚类方法 - Google Patents

无参数自动加权多图正则化非负矩阵分解及图像聚类方法 Download PDF

Info

Publication number
CN107609596B
CN107609596B CN201710867514.0A CN201710867514A CN107609596B CN 107609596 B CN107609596 B CN 107609596B CN 201710867514 A CN201710867514 A CN 201710867514A CN 107609596 B CN107609596 B CN 107609596B
Authority
CN
China
Prior art keywords
matrix
graph
negative
parameter
regularization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710867514.0A
Other languages
English (en)
Other versions
CN107609596A (zh
Inventor
舒振球
朱琪
张�杰
范洪辉
武栋
钱彬
杨章静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Jiangsu University of Technology
Original Assignee
Nanjing University of Science and Technology
Jiangsu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology, Jiangsu University of Technology filed Critical Nanjing University of Science and Technology
Priority to CN201710867514.0A priority Critical patent/CN107609596B/zh
Publication of CN107609596A publication Critical patent/CN107609596A/zh
Application granted granted Critical
Publication of CN107609596B publication Critical patent/CN107609596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种无参数自动加权多图正则化非负矩阵分解及图像聚类方法,其中,无参数自动加权多图正则化非负矩阵分解方法中包括:获取m个图像的图像数据;基于m个图像的图像数据构造q个最邻近图并计算相应的拉普拉斯算子图;根据计算得到的拉普拉斯算子图建立多图正则算子的目标函数;根据建立的多图正则算子的目标函数得到无参数自动加权正则项;根据得到的无参数自动加权正则项建立非负矩阵分解的目标函数;根据非负矩阵分解的目标函数得到两个非负矩阵的迭代式,完成多图正则化非负矩阵的分解。其不但可以为所有的邻域图自动分配一个合适的权值,而且消除了现有正则算子中的固定参数,使其更容易应用到实际问题中,大大扩展了应用领域。

Description

无参数自动加权多图正则化非负矩阵分解及图像聚类方法
技术领域
本发明涉及图像处理技术领域,尤其涉及一种无参数自动加权多图正则化非负矩阵分解及图像聚类方法。
背景技术
在图像处理,目标分类和内容检索等实际应用中,我们经常需要处理一些高维度数据。然而,传统的聚类和分类方法在低维数据特征空间上性能表现优异,但是它们在处理高维数据时其性能却出现了急剧下降。
几十年来,在数据表达和维度约简方法上,运用最广泛的是主成分分析和线性判别分析。但是,这两种方法都不能发现隐藏在数据中的几何流形结构。
目前,非负矩阵分解是一种非常有效的基于部分表示方法,因其在心理和生理上具有良好的解释性而被广泛应用。它假定每个数据样本都是一系列基的非负线性组合构成。在非负矩阵分解中,由于基向量的系数限定了只能非负,这个限制直接导致了数据的部分表示。但是,非负矩阵分解最主要的缺陷是在变换的数据空间里(如再生核希尔伯特空间),非负矩阵分解是否能有效地发挥作用。
目前,由多图正则化的非负矩阵分解方法能挖掘数据中固有的几何流形结构信息而受到广泛地应用。该方法根据提供的多个拉普拉斯图的初值估计,赋予不同的权重,使其能逼近固有的几何结构信息。在多个标准图像数据集上的实验结果也证明了多图正则化非负矩阵分解算法的有效性。在实际应用中,该方法需要设置一个多图正则算子的正则化参数。但是,该参数在某个特定数据集上的值并不一定适合于其它出数据库。因此,当使用的数据发生变化时,多图正则算子的正则化参数也需要重新设定,非常的繁琐。
发明内容
针对上述问题,本发明提供了一种无参数自动加权多图正则化非负矩阵分解及图像聚类方法,有效解决现有技术中多图正则算子的正则化参数随数据的变化需要重新设定的技术问题。
本发明提供的技术方案如下:
一种无参数自动加权多图正则化非负矩阵分解方法,包括:
获取m个图像的图像数据;
基于所述m个图像的图像数据构造q个最邻近图并计算相应的拉普拉斯算子图;
根据计算得到的拉普拉斯算子图建立多图正则算子的目标函数;
根据建立的多图正则算子的目标函数得到无参数自动加权正则项;
根据得到的无参数自动加权正则项建立非负矩阵分解的目标函数;
根据所述非负矩阵分解的目标函数得到两个非负矩阵的迭代式,完成多图正则化非负矩阵的分解。
进一步优选地,在步骤根据计算得到的拉普拉斯图像建立多图正则算子的目标函数中,多图正则算子的目标函数具体为:
Figure GDA0002523613120000021
其中,Tr(·)为矩阵的迹,系数矩阵V∈Rn×k,Li为第i个图像的拉普拉斯算子图;
在步骤根据建立的多图正则算子的目标函数得到无参数自动加权正则项中,得到的无参数自动加权正则项具体为:
Figure GDA0002523613120000022
其中,第i个图像的权值
Figure GDA0002523613120000023
进一步优选地,在步骤根据得到的无参数自动加权正则项建立非负矩阵分解的目标函数中,非负矩阵分解的目标函数具体为:
Figure GDA0002523613120000024
Figure GDA0002523613120000025
其中,X为邻域图的数据矩阵,α为正则化参数,τi为第i个图的权值,基矩阵U∈Rm ×k
进一步优选地,在步骤根据所述非负矩阵分解的目标函数得到两个非负矩阵和权重的迭代式中,包括:
根据所述非负矩阵分解的目标函数建立拉格朗日函数L:
Figure GDA0002523613120000031
其中,Ψ=[ψik],Φ=[φik];
分别对基矩阵U和系数矩阵V求偏导,使用Karush-Kuhn-Tucker条件φjkνjk=0,分别得到基矩阵U和系数矩阵V的迭代式:
Figure GDA0002523613120000032
Figure GDA0002523613120000033
进一步优选地,在步骤分别对矩阵U和矩阵V求偏导,使用Karush-Kuhn-Tucker条件φjkνjk=0,得到两个非负矩阵的迭代式之后,还包括:
根据初始化权重、基矩阵U和系数矩阵V的迭代式及权重τi进行循环迭代;
循环达到预先设定的迭代次数t之后,输出基矩阵U和系数矩阵V,完成多图正则化非负矩阵的分解。
本发明还提供了一种图像聚类方法,包括:
从图像库中提m个图像,并构造q个最邻近图;
采用上述无参数自动加权多图正则化非负矩阵分解方法得到系数矩阵V;
利用k-means算法对系数矩阵V进行分析,完成图像聚类。
与传统的图像表示方法(如主成分分析、线性判别分析、非负矩阵分解等)相比,本发明提供的无参数自动加权多图正则化非负矩阵分解方法能有效找出图像数据中固有的流形结构信息,以体现数据的语义结构信息;
与传统的多图正则化的非负矩阵分解方法相比,本发明提供的无参数自动加权多图正则化非负矩阵分解方法不但可以为所有的邻域图自动分配一个合适的权值,而且消除了现有正则算子中的固定参数(β),使其更容易应用到实际问题中,大大扩展了应用领域;
在计算复杂度上,本发明提供的无参数自动加权多图正则化非负矩阵分解方法所需要的运算次数与多图正则化的非负矩阵分解方法相差无几,并不需要额外的计算与时间。
附图说明
下面将以明确易懂的方式,结合附图说明优选实施方式,对上述特性、技术特征、优点及其实现方式予以进一步说明。
图1为本发明中无参数自动加权多图正则化非负矩阵分解方法流程示意图;
图2为本发明中实例中数据库中包含物体种类图片。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
本发明提供了一种无参数自动加权多图正则化非负矩阵分解方法,该方法建立在非负矩阵分解和多图正则算子的基础之上,具体:
非负矩阵分解的目标是将一个非负的数据矩阵分解成两个非负矩阵的乘积。假设X=[x1,x2,L,xn]∈Rm×n是非负矩阵,其中X的每一列代表一个样本。非负矩阵分解的目的是寻找非负矩阵U∈Rm×k(基矩阵)和V∈Rn×k(系数矩阵),使两个矩阵的乘积逼近原来的矩阵X。因此,在该方法中,采用欧几里德距离作为重建误差的度量标准,其目标函数可表示为:
Figure GDA0002523613120000041
其中||·||F是Frobenius范式。
多图正则算子是利用多个邻域图的线性组合来揭露了隐藏在数据中固有的流形结构信息。从数学方面来看,将其表示成如下优化问题:
Figure GDA0002523613120000042
其中Tr(·)是矩阵的迹,τ=[τ12,L,τq]是权重向量,q是邻域图的个数,β||τ||2是正则项(用于避免参数τ对一个独立的图过度拟合。
基于此,如图1所示,在本发明提供的无参数自动加权多图正则化非负矩阵分解方法中包括:
S10获取m个图像的图像数据;
S20基于m个图像的图像数据构造q个最邻近图并计算相应的拉普拉斯算子图;
S30根据计算得到的拉普拉斯算子图建立多图正则算子的目标函数;
S40根据建立的多图正则算子的目标函数得到无参数自动加权正则项;
S50根据得到的无参数自动加权正则项建立非负矩阵分解的目标函数;
S60根据非负矩阵分解的目标函数得到两个非负矩阵的迭代式,完成多图正则化非负矩阵的分解。
虽然MGR可以为多个最近邻图自动分配合适的权重,但是不可能寻找一个合适的固定的值τ适合于所有的数据集,为了解决这一技术问题,我们根据计算得到的拉普拉斯图像得到多图的总体框架:
Figure GDA0002523613120000051
其中,Tr(·)为矩阵的迹,系数矩阵V∈Rn×k,Li为第i个图像的拉普拉斯算子图。
之后,根据式(3)建立拉格朗日函数:
Figure GDA0002523613120000052
其中,Λ为拉格朗日乘数,
Figure GDA0002523613120000053
为约束项。
之后,对对式(4)中的拉格朗日函数中的V求偏导,并另其为0,可得:
Figure GDA0002523613120000054
其中,
Figure GDA0002523613120000055
如果固定参数τi,那么式子(5)可以被转化为如下问题:
Figure GDA0002523613120000056
以此得到无参数自动加权正则项。
由于非负矩阵分解不能发现数据潜在的流形结构,因此我们采用式(7)中的无参数自动加权正则算子对非负矩阵分解进行约束,建立得到无参数自动加权多图正则化非负矩阵分解方法的目标函数:
Figure GDA0002523613120000061
其中,α为正则化参数,τi为第i个图的权值。具体来说,正则化参数由实际需求而定,如设定为10-2、10-1、100、101、102等,这里不做具体限定。在一实例中,将正则化参数α设定为101
由该目标函数不是矩阵U和V同时为变量的凸函数,因此不可能找到一个共同的最优解。但是,我们通过乘性迭代方法能找到一个局部最小值。根据矩阵的特征属性,目标函数(8)可表示为:
Figure GDA0002523613120000062
因为U>0,V>0,且由于uik≥0,vjk≥0的约束,这里引入Ψ=[ψik],Φ=[φik],因此拉格朗日函数L可表示为:
Figure GDA0002523613120000063
其中,Ψ=[ψik],Φ=[φik]。
之后,对基矩阵U求偏导:
Figure GDA0002523613120000064
使用Karush-Kuhn-Tucker(KKT)条件φjkνjk=0,得到:
-(XV)ikuik+(UVTV)ikuik=0 (12)
以此得到基矩阵U的迭代式:
Figure GDA0002523613120000065
之后对系数矩阵V求偏导:
Figure GDA0002523613120000071
使用Karush-Kuhn-Tucker(KKT)条件φjkvjk=0,得到:
Figure GDA0002523613120000072
以此得到系数矩阵V的迭代式
Figure GDA0002523613120000073
此外,为了给每个最近邻图寻找一个合适的权值,在每次迭代过程中系数τi均需要进行更新。根据式(5),τi的更新迭代规则具体为:
Figure GDA0002523613120000074
由上式可知,参数τi的值取决于变量V。以此,只要获取了最新的V值,就能通过式(17)计算得到权重τi的值。
本发明还提供了一种图像聚类方法,具体在该图像聚类方法中包括:从图像库中提m个图像,并构造q个最邻近图;采用上述无参数自动加权多图正则化非负矩阵分解方法得到系数矩阵V;利用k-means算法对系数矩阵V进行聚类,完成图像聚类分析。具体,该图像聚类方法除了可以应用于正常的图片聚类之外,可以应用于人脸图像聚类等。
在一实例中,数据库中包括如图2(其中的灰度无实际含义)所示20个物体的1440张图片,随机从每个2类,每个类别中包括50张图片,采用上述无参数自动加权多图正则化非负矩阵分解方法进行分解得到系数矩阵V,并计算其与数据库中其他图像之间的距离,将距离最近的图片作为聚类结果。实验结果表面,采用本发明提供的图像聚类方法的平均准确率为80.6±6.6%,采用多图正则化的非负矩阵分解方法的平均准确率为78.9±6.6%,采用非负矩阵分解方法的平均准确率则为72.4±7.0%,可以看出,采用本发明提供的方法一定程度上提高了图像准确率;此外,在本发明中,不但可以为所有的邻域图自动分配一个合适的权值,而且消除了现有正则算子中的固定参数β(现有技术中,每次有新的应用都需要手动调整该参数值),使其更容易应用到实际问题中,大大扩展了应用领域,节约人力。
应当说明的是,上述实施例均可根据需要自由组合。以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种无参数自动加权多图正则化非负矩阵分解方法,其特征在于,所述无参数自动加权多图正则化非负矩阵分解方法中包括:
获取m个图像的图像数据;
基于所述m个图像的图像数据构造q个最邻近图并计算相应的拉普拉斯算子图;
根据计算得到的拉普拉斯算子图建立多图正则算子的目标函数;
根据建立的多图正则算子的目标函数得到无参数自动加权正则项;
根据得到的无参数自动加权正则项建立非负矩阵分解的目标函数;
根据所述非负矩阵分解的目标函数得到两个非负矩阵的迭代式,完成多图正则化非负矩阵的分解;
在步骤根据计算得到的拉普拉斯图像建立多图正则算子的目标函数中,多图正则算子的目标函数具体为:
Figure FDA0002618403280000011
其中,Tr(·)为矩阵的迹,系数矩阵V∈Rn×k,Li为第i个图像的拉普拉斯算子图;
在步骤根据建立的多图正则算子的目标函数得到无参数自动加权正则项中,得到的无参数自动加权正则项具体为:
Figure FDA0002618403280000012
其中,第i个图像的权值
Figure FDA0002618403280000013
2.如权利要求1所述的无参数自动加权多图正则化非负矩阵分解方法,其特征在于,在步骤根据得到的无参数自动加权正则项建立非负矩阵分解的目标函数中,非负矩阵分解的目标函数具体为:
Figure FDA0002618403280000014
其中,X为邻域图的数据矩阵,α为正则化参数,τi为第i个图的权值,基矩阵U∈Rm×k
3.如权利要求2所述的无参数自动加权多图正则化非负矩阵分解方法,其特征在于,在步骤根据所述非负矩阵分解的目标函数得到两个非负矩阵和权重的迭代式中,包括:
根据所述非负矩阵分解的目标函数建立拉格朗日函数L:
Figure FDA0002618403280000021
其中,Ψ=[ψik],Φ=[φik];
分别对基矩阵U和系数矩阵V求偏导,使用Karush-Kuhn-Tucker条件φjkνjk=0,分别得到基矩阵U和系数矩阵V的迭代式:
Figure FDA0002618403280000022
4.如权利要求3所述的无参数自动加权多图正则化非负矩阵分解方法,其特征在于,在步骤分别对矩阵U和矩阵V求偏导,使用Karush-Kuhn-Tucker条件φjkνjk=0,得到两个非负矩阵的迭代式之后,还包括:
根据初始化权重、基矩阵U和系数矩阵V的迭代式及权重τi进行循环迭代;
循环达到预先设定的迭代次数t之后,输出基矩阵U和系数矩阵V,完成多图正则化非负矩阵的分解。
5.一种图像聚类方法,其特征在于,所述图像聚类方法中包括:
从图像库中提m个图像,并构造q个最邻近图;
采用如权利要求1-4任意一项所述的无参数自动加权多图正则化非负矩阵分解方法得到系数矩阵V;
利用k-means算法对系数矩阵V进行分析,完成图像聚类。
CN201710867514.0A 2017-09-22 2017-09-22 无参数自动加权多图正则化非负矩阵分解及图像聚类方法 Active CN107609596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710867514.0A CN107609596B (zh) 2017-09-22 2017-09-22 无参数自动加权多图正则化非负矩阵分解及图像聚类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710867514.0A CN107609596B (zh) 2017-09-22 2017-09-22 无参数自动加权多图正则化非负矩阵分解及图像聚类方法

Publications (2)

Publication Number Publication Date
CN107609596A CN107609596A (zh) 2018-01-19
CN107609596B true CN107609596B (zh) 2020-09-15

Family

ID=61060547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710867514.0A Active CN107609596B (zh) 2017-09-22 2017-09-22 无参数自动加权多图正则化非负矩阵分解及图像聚类方法

Country Status (1)

Country Link
CN (1) CN107609596B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108415883B (zh) * 2018-02-13 2020-06-16 中国科学院西安光学精密机械研究所 基于子空间聚类的凸非负矩阵分解方法
CN109063725B (zh) * 2018-06-13 2021-09-28 江苏理工学院 面向多视图聚类的多图正则化深度矩阵分解方法
CN109325515B (zh) * 2018-08-10 2021-09-28 江苏理工学院 基于局部学习正则化的深度矩阵分解方法及图像聚类方法
CN109614581B (zh) * 2018-10-19 2023-09-22 江苏理工学院 基于对偶局部学习的非负矩阵分解聚类方法
CN110598728B (zh) * 2019-07-23 2021-11-09 杭州电子科技大学 基于图平衡正则化的半监督超限学习机分类方法
CN114139603A (zh) * 2021-11-04 2022-03-04 杭州电子科技大学 一种面向图像表示的深度图正则化非负矩阵分解方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020017A (zh) * 2012-12-05 2013-04-03 湖州师范学院 一种流行正则和鉴别信息最大化的非负矩阵分解方法
CN105469034A (zh) * 2015-11-17 2016-04-06 西安电子科技大学 基于加权式鉴别性稀疏约束非负矩阵分解的人脸识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020017A (zh) * 2012-12-05 2013-04-03 湖州师范学院 一种流行正则和鉴别信息最大化的非负矩阵分解方法
CN105469034A (zh) * 2015-11-17 2016-04-06 西安电子科技大学 基于加权式鉴别性稀疏约束非负矩阵分解的人脸识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Graph Regularized Nonnegative Matrix Factorization for Data Representation;Deng Cai 等;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;20110831;第33卷(第8期);全文 *
基于正则化方法的非负矩阵分解算法及其应用研究;叶军;《中国博士学位论文全文数据库 信息科技辑》;20160415(第4期);全文 *
多图正则化非负矩阵分解;李敏;《中国优秀硕士学位论文全文数据库 基础科学辑》;20160715(第7期);全文 *

Also Published As

Publication number Publication date
CN107609596A (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
CN107609596B (zh) 无参数自动加权多图正则化非负矩阵分解及图像聚类方法
Tarzanagh et al. Fast randomized algorithms for t-product based tensor operations and decompositions with applications to imaging data
CN109255392B (zh) 基于非局部神经网络的视频分类方法、装置及设备
CN110263880B (zh) 脑疾病分类模型的构建方法、装置及智能终端
US9171226B2 (en) Image matching using subspace-based discrete transform encoded local binary patterns
JP5410355B2 (ja) 行列生成装置、方法、プログラムならびに情報処理装置
CN108510013B (zh) 基于低秩核心矩阵的改进稳健张量主成分分析的背景建模方法
CN110334761B (zh) 基于正交性约束增量非负矩阵分解的有监督图像识别方法
CN110032704B (zh) 数据处理方法、装置、终端及存储介质
CN109657611A (zh) 一种用于人脸识别的自适应图正则化非负矩阵分解方法
CN109685830A (zh) 目标跟踪方法、装置和设备及计算机存储介质
CN110113607A (zh) 一种基于局部与非局部约束的压缩感知视频重建方法
CN111062428A (zh) 一种高光谱图像的聚类方法、系统及设备
Xu et al. Robust PCANet on target recognition via the UUV optical vision system
CN114254703A (zh) 一种鲁棒的局部与全局正则化的非负矩阵分解聚类方法
Xu et al. Factorized tensor dictionary learning for visual tensor data completion
JP2006285570A (ja) 類似画像検索方法および類似画像検索装置
US10007856B2 (en) Processing hyperspectral or multispectral image data
Haltmeier et al. A variational view on statistical multiscale estimation
CN112949698A (zh) 一种非局部低秩张量相似性约束的高光谱解混方法
Mandal et al. Employing structural and statistical information to learn dictionary (s) for single image super-resolution in sparse domain
Han et al. Quaternion-based dynamic mode decomposition for background modeling in color videos
Amjad et al. Deep learning for inverse problems: Bounds and regularizers
CN108009586B (zh) 封顶概念分解方法及图像聚类方法
CN112417234B (zh) 一种数据聚类方法和装置,及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Shu Zhenqiu

Inventor after: Zhu Qi

Inventor after: Zhang Jie

Inventor after: Fan Honghui

Inventor after: Wu Dong

Inventor after: Qian Bin

Inventor after: Yang Zhangjing

Inventor before: Zhu Qi

Inventor before: Shu Zhenqiu

Inventor before: Zhang Jie

Inventor before: Fan Honghui

Inventor before: Wu Dong

Inventor before: Qian Bin

Inventor before: Yang Zhangjing

GR01 Patent grant
GR01 Patent grant