CN109063725B - 面向多视图聚类的多图正则化深度矩阵分解方法 - Google Patents
面向多视图聚类的多图正则化深度矩阵分解方法 Download PDFInfo
- Publication number
- CN109063725B CN109063725B CN201810607971.0A CN201810607971A CN109063725B CN 109063725 B CN109063725 B CN 109063725B CN 201810607971 A CN201810607971 A CN 201810607971A CN 109063725 B CN109063725 B CN 109063725B
- Authority
- CN
- China
- Prior art keywords
- view
- matrix
- function
- weight
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种面向多视图聚类的多图正则化深度矩阵分解方法。
背景技术
由于许多真实的数据是由不同的表示或者视图组成的,因而多视图聚类(MAC)最近得到了越来越多的关注。多视图聚类的关键在于探索互补信息,使集群问题得到解决。以往解决该问题的方法通常是寻找高维数据中的低维表示,从而达到提高计算效率。
传统聚类是以在单一视图数据中识别“相似行为”的群体为目的。由于现实世界的数据总是从多个来源获取或由几个不同的特征集表示,多视图聚类(MAC)是通过利用异构数据实验实现相同目标而进行深入研究的。不同的特征描述了不同的数据集,例如,一个图像可以用不同的特征来描述,如颜色,纹理,形状等等。这些不同类型的特征可以从不同的视图中提取出有用的信息。多视图聚类(MAC)旨在将多个特征集聚集在一起,然后从不同的视图中发现相同的潜在信息。但是现有的多视图聚类(MAC)方法没有考虑也不能保留每个视图的流形结构,导致在很多情况下多视图聚类(MAC)方法的精确度仍然不能满足需求。
发明内容
针对上述问题,本发明提供了一种面向多视图聚类的多图正则化深度矩阵分解方法,有效解决现有技术中多视图聚类(MAC)方法没有考虑也不能保留每个视图的流形结构,导致多视图聚类(MAC)方法的精确度不够的技术问题。
本发明提供的技术方案如下:
一种面向多视图聚类的多图正则化深度矩阵分解方法,包括:
S20根据所述多视图样本集构建目标函数:
其中,X(υ)为视图υ的样本数据;Wi (υ)表示视图υ的第i层映射,m为层数,i∈{1,2,...,m};Dm表示相应视图样本的特征矩阵;α(υ)表示视图υ的加权系数;γ表示控制权重参数分布;Lv表示视图υ的拉普拉斯图,且Lυ=Aυ-Hυ,其中Aυ表示第υ个视图的权重矩阵,
S30根据所述目标函数,使用迭代加权的方法,输出特征矩阵Dm,完成对多视图样本集X的分解。
进一步优选地,在步骤S20中包括:
进一步优选地,根据多图正则化函数对成本函数c进行求解得到微调函数C,并利用微调函数C对每层的权值进行微调,其中,多图正则化函数OMultiGr(D,τ)为:
其中,D为样本特征矩阵;Lυ为样本υ的拉普拉斯图;τυ为样本υ的权重;
求微调函数C为:
进一步优选地,在步骤S30中,权矩阵Wi (υ)的更新函数为:
其中,[M]pos表示矩阵中所有负元素都被0替换,[M]neg表示矩阵中所有正元素都被0替换;
权重矩阵Dm的更新函数为:
其中,θu(Dm,A)=β([DmA(υ)]pos+[DmM(υ)]neg),
θd(Dm,A)=β([DmA(υ)]neg+[DmM(υ)]pos);
加权系数α(υ)的更新函数为:
本发明中的面向多视图聚类的多图正则化深度矩阵分解方法,通过多层半非负矩阵分解,消除各种形式的不良影响,只保留输出中层的类信息;另外,采用多层结构来学习数据中隐含的表示结构,助于提取其结构中的有效信息,特别是常见的结构信息,帮助消除计算过程中的不良影响;再有,采用多图正则项来保持每层系数矩阵中的固有几何结构信息,确保每层系数矩阵进行有效合理的优化,以提高多视图聚类的精确度。
附图说明
下面将以明确易懂的方式,结合附图说明优选实施方式,对上述特性、技术特征、优点及其实现方式予以进一步说明。
图1为本发明中面向多视图聚类的多图正则化深度矩阵分解方法流程示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
对于半非负矩阵(Deep Semi-NMF)分解来说,其目标函数为其中,X∈IRm×n表示n个样本的输入数据,每个样本为m维特征,A∈IRm×r,W∈IRr×n,W≥0,W表示“软”聚类分配矩阵。而在现实中,自然数据可能包含不同的模式联系(或因素),例如,表达照明在人脸数据集上的影响,单一的非负矩阵分解不足以消除这些不良因素的影响,并且也无法提取出其内在的类信息。因而,在本发明提出基于半非负矩阵分解的深层模型,其具有很好的数据表示方法。具体,多层分解过程可以表示为:
X≈A1W1 +
...
其中,Ai表示第i层基矩阵,Wi +是第i层表示矩阵。
基于此,如图1所示为本发明提供的面向多视图聚类的多图正则化深度矩阵分解方法流程示意图,从图中可以看出,在该分解方法中包括:
S20根据多视图样本集构建式(1)中的目标函数:
其中,X(υ)为视图υ的样本数据;Wi (υ)表示视图υ的第i层映射,m为层数,i∈{1,2,...,m};Dm表示相应视图样本的特征矩阵;α(υ)表示视图υ的加权系数;γ表示控制权重参数分布;Lv表示视图υ的拉普拉斯图,且Lυ=Aυ-Hυ,其中Aυ表示第υ个视图的权重矩阵,
S30根据所述目标函数,使用迭代加权的方法,输出特征矩阵Dm,完成对多视图样本集X的分解。
在该分解方法中,为了加快模型中变量的逼近,每一层都经过预先训练,以得到变量Wi (υ),的初始近似值。我们将输入数据分解矩阵进行预先训练,同理,预先训练所有层。在此之后,每一层的权值由成本函数c的交替最小化进行微调,其中成本函数c如式(2):
之后,根据多图正则化函数对成本函数c进行求解得到微调函数C,并利用微调函数C对每层的权值进行微调。
对于多图正则项来说,在GrNMF中,通过以下方式中对NMF进行局部不变的假设。如果这两个特征向量xn和xm在数据分布的内在几何结构中是闭合的,那么Dn和Dm这两个特征向量在新的基底上的编码向量也彼此接近,反之亦然。局部几何结构是由一个P最近邻图G对数据点的散射进行建模.对于每一个特征向量xn∈X,它的P近邻图Nn在X中第一次被发现。然后为X作为G={υ,ε,A},构造一个P最近邻图,其中,节点集υ对应于N个数据点,ε为边缘集,如果xm∈Nn或xn∈Nm,则(n,m)∈ε.A∈RN×N是图上的权值矩阵,并且Anm与边(n,m)权值相等。在加权矩阵A中,可采用图正则项来度量D中低维编码向量表示的平滑度,如式(3):
假设计算出的一组候选拉普拉斯图{L1,...,Lk},则拉普拉斯矩阵L如式(4):
将式(4)带入式(3)得到本发明使用的多图正则化函数OMultiGr(D,τ),如式(5):
其中,D为样本特征矩阵;Lυ为样本υ的拉普拉斯图;τυ为样本υ的权重。
基于此,得到的微调函数C如式(6):
其中,[M]pos表示矩阵中所有负元素都被0替换,[M]neg表示矩阵中所有正元素都被0替换;
3)权重矩阵Dm的更新函数如式(9):
其中,θu(Dm,A)=β([DmA(υ)]pos+[DmM(υ)]neg),θd(Dm,A)=β([DmA(υ)]neg+[DmM(υ)]pos)。
对式(10)进行拉格朗日处理:
其中λ为拉格朗日乘数,通过式(11)对α(υ)求导,再令它为0,得
当γ接近于无穷时,得到了与更新前相等的权值;当γ接近于1时,视图υ的R(υ)的重量值是最小的分配给1,其他人被分配到0。
5)通过固定(H,W)和删除无关项,优化将(5)问题转化为
本发明还提供了一种图像聚类方法,在该图像聚类方法中包括:从图像库中提取出m个图像,并构造q个最邻近图;采用上述概念分解方法得到特征矩阵Dm;利用k-means算法对特征矩阵Dm进行分析,完成图像聚类。具体,该图像聚类方法除了可以应用于正常的图片聚类之外,可以应用于人脸图像聚类等。
应当说明的是,上述实施例均可根据需要自由组合。以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通相关人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (1)
1.一种面向多视图聚类的多图正则化深度矩阵分解方法,其特征在于,所述分解方法中包括:
S20根据所述多视图样本集构建目标函数:
其中,X(υ)为视图υ的样本数据;Wi (υ)表示视图υ的第i层映射,m为层数,i∈{1,2,...,m};Dm表示相应视图样本的特征矩阵;α(υ)表示视图υ的加权系数;γ表示控制权重参数分布;Lv表示视图υ的拉普拉斯图,且Lυ=Aυ-Hυ,其中Aυ表示第υ个视图的权重矩阵,
S30根据所述目标函数,使用迭代加权的方法,输出特征矩阵Dm,完成对多视图样本集X的分解;
根据多图正则化函数对成本函数c进行求解得到微调函数C,并利用微调函数C对每层的权值进行微调,其中,多图正则化函数OMultiGr(D,τ)为:
其中,D为样本特征矩阵;Lυ为样本υ的拉普拉斯图;τυ为样本υ的权重;
求微调函数C为:
在步骤S30中,
权重矩阵Wi (υ)的更新函数为:
其中,[M]pos表示矩阵中所有负元素都被0替换,[M]neg表示矩阵中所有正元素都被0替换;
权重矩阵Dm的更新函数为:
其中,θu(Dm,A)=β([DmA(υ)]pos+[DmM(υ)]neg),
θd(Dm,A)=β([DmA(υ)]neg+[DmM(υ)]pos);
加权系数α(υ)的更新函数为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810607971.0A CN109063725B (zh) | 2018-06-13 | 2018-06-13 | 面向多视图聚类的多图正则化深度矩阵分解方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810607971.0A CN109063725B (zh) | 2018-06-13 | 2018-06-13 | 面向多视图聚类的多图正则化深度矩阵分解方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109063725A CN109063725A (zh) | 2018-12-21 |
CN109063725B true CN109063725B (zh) | 2021-09-28 |
Family
ID=64820792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810607971.0A Active CN109063725B (zh) | 2018-06-13 | 2018-06-13 | 面向多视图聚类的多图正则化深度矩阵分解方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109063725B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111488900B (zh) * | 2019-01-29 | 2023-08-04 | 大连理工大学 | 一种基于非负矩阵分解的多视图相关特征学习方法 |
CN110096596B (zh) * | 2019-05-08 | 2023-05-05 | 广东工业大学 | 一种基于概念分解的多视图文本聚类方法、装置及设备 |
CN113139556B (zh) * | 2021-04-22 | 2023-06-23 | 扬州大学 | 基于自适应构图的流形多视图图像聚类方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006134011A1 (de) * | 2005-06-17 | 2006-12-21 | Siemens Aktiengesellschaft | Verfahren zur rechnergestützten verarbeitung von digitalen daten |
CN107292341A (zh) * | 2017-06-20 | 2017-10-24 | 西安电子科技大学 | 基于成对协同正则化和nmf的自适应多视图聚类方法 |
CN107609596A (zh) * | 2017-09-22 | 2018-01-19 | 江苏理工学院 | 无参数自动加权多图正则化非负矩阵分解及图像聚类方法 |
CN107894967A (zh) * | 2017-11-27 | 2018-04-10 | 江苏理工学院 | 一种基于局部与全局正则化稀疏编码方法 |
-
2018
- 2018-06-13 CN CN201810607971.0A patent/CN109063725B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006134011A1 (de) * | 2005-06-17 | 2006-12-21 | Siemens Aktiengesellschaft | Verfahren zur rechnergestützten verarbeitung von digitalen daten |
CN107292341A (zh) * | 2017-06-20 | 2017-10-24 | 西安电子科技大学 | 基于成对协同正则化和nmf的自适应多视图聚类方法 |
CN107609596A (zh) * | 2017-09-22 | 2018-01-19 | 江苏理工学院 | 无参数自动加权多图正则化非负矩阵分解及图像聚类方法 |
CN107894967A (zh) * | 2017-11-27 | 2018-04-10 | 江苏理工学院 | 一种基于局部与全局正则化稀疏编码方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109063725A (zh) | 2018-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhao et al. | Multi-view clustering via deep matrix factorization | |
CN111723674B (zh) | 基于马尔科夫链蒙特卡洛与变分推断的半贝叶斯深度学习的遥感图像场景分类方法 | |
WO2015106373A1 (zh) | 一种基于脑核磁共振图像多维度纹理建立预测模型的方法 | |
CN108171279B (zh) | 一种多视角视频自适应乘积Grassmann流形子空间聚类方法 | |
CN109063725B (zh) | 面向多视图聚类的多图正则化深度矩阵分解方法 | |
Li et al. | Exploring compositional high order pattern potentials for structured output learning | |
CN109543723B (zh) | 一种鲁棒的图像聚类方法 | |
López-Rubio | Probabilistic self-organizing maps for continuous data | |
CN111191698B (zh) | 基于非负矩阵分解和模糊c均值的聚类方法 | |
CN110516533B (zh) | 一种基于深度度量的行人再辨识方法 | |
CN109657611B (zh) | 一种用于人脸识别的自适应图正则化非负矩阵分解方法 | |
CN112307714A (zh) | 一种基于双阶段深度网络的文字风格迁移方法 | |
CN111126464A (zh) | 一种基于无监督域对抗领域适应的图像分类方法 | |
CN110990775A (zh) | 基于多流形对偶图正则化非负矩阵分解的多视图聚类方法 | |
CN109947960B (zh) | 基于深度卷积的人脸多属性联合估计模型构建方法 | |
CN109508737B (zh) | 基于深度矩阵的约束概念分解聚类方法 | |
CN109447147A (zh) | 基于双图稀疏的深度矩阵分解的图像聚类方法 | |
CN111160161B (zh) | 一种基于噪声剔除的自步学习人脸年龄估计方法 | |
CN117409456A (zh) | 基于图匹配机制的非对齐多视图多标记学习方法 | |
CN114692809A (zh) | 基于神经集群的数据处理方法及装置、存储介质、处理器 | |
CN109063766B (zh) | 一种基于判别性预测稀疏分解模型的图像分类方法 | |
CN116012632A (zh) | 一种基于局部线性嵌入的特征一致性多视角聚类算法 | |
CN110781972A (zh) | 一种增量无监督多模态相关特征学习模型 | |
CN113344069B (zh) | 一种基于多维关系对齐的无监督视觉表征学习的图像分类方法 | |
CN112364902B (zh) | 一种基于自适应相似性的特征选择学习方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |