CN110598740B - 一种基于多样性和一致性学习的谱嵌入多视图聚类方法 - Google Patents
一种基于多样性和一致性学习的谱嵌入多视图聚类方法 Download PDFInfo
- Publication number
- CN110598740B CN110598740B CN201910728817.3A CN201910728817A CN110598740B CN 110598740 B CN110598740 B CN 110598740B CN 201910728817 A CN201910728817 A CN 201910728817A CN 110598740 B CN110598740 B CN 110598740B
- Authority
- CN
- China
- Prior art keywords
- clustering
- view
- diversity
- label
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000001228 spectrum Methods 0.000 title claims abstract description 48
- 239000011159 matrix material Substances 0.000 claims description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 230000003595 spectral effect Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 12
- 238000012512 characterization method Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 11
- 230000000295 complement effect Effects 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 description 6
- 238000003909 pattern recognition Methods 0.000 description 6
- 238000007418 data mining Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000003064 k means clustering Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 102100039109 Amelogenin, Y isoform Human genes 0.000 description 1
- 240000009259 Brassica tournefortii Species 0.000 description 1
- 101000959107 Homo sapiens Amelogenin, Y isoform Proteins 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 201000011243 gastrointestinal stromal tumor Diseases 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于多样性和一致性学习的谱嵌入多视图聚类方法,实施本发明的有益效果是,同时考虑数据空间和需要学习的标签空间中多样性和一致性,为多视图聚类学习一个更优的聚类标签;使用低维谱嵌入代替原始数据能够更好的压制冗余信息和噪声信息;提出了一个基于行的多样性表征,更好的约束了聚类标签多样性部分的差异,提高了聚类性能。本发明能实现卫星图像聚类,且该谱嵌入多视图聚类方法具有较强的鲁棒性,提高了卫星图像识别的准确度。由于谱嵌入多视图聚类方法的模型采用了多样性和一致性学习策略,能够挖掘多视图下的互补信息,对于多视图数据具有较好的聚类效果。
Description
技术领域
本发明涉及数据挖掘和机器学习技术领域,更具体地说,涉及一种基于多样性和一致性学习的谱嵌入多视图聚类方法。
背景技术
作为模式识别、计算机视觉、机器学习中的基础技术,聚类是通过建立一组数据点之间的相似度将它们划分到各自的类别。在过去的几十年里,许多经典的聚类算法(K均值聚类,谱聚类等)被提出。但是,这些算法主要用于解决单视图聚类问题,使得它们很难为多视图数据找到合适的聚类结果。实际上,直接使用这些方法对多视图数据进行聚类通常不能得到理想的结果。
随着信息技术的发展,在现实生活中面临的数据能从多个视图去描述。最常见的例子就是图片、视频能从SIFT、HOG、LBP和GIST模式表示。对于多视图数据,不同的视图常常具有不同的统计特性。因此,多视图聚类的一个重要挑战就是研究不同视图的结构来整合不同特征的优势。针对这个问题,许许多多视图聚类算法被提出。例如,S.Bickel,T.Scheffer在IEEE International Conference on Data Mining,2004,pp.19–26.上的论文Multi-view clustering,提出多视图模式的K均值和expectation-maximization(EM)进行多视图聚类。J.Liu,C.Wang,J.Gao,J.Han在SIAM International Conference on DataMining,SIAM,2013,pp.252–260.上的论文Multi-view clustering via jointnonnegative matrix factorization,提出了基于非负矩阵分解(nonnegative matrixfactorization)的多视图聚类方法,搜索多个视图间最适合的分解。A.Kumar,P.Rai,H.Daum′e在International Conference on Neural Information Processing Systems,2011,pp.1413–1421.的论文Co-regularized multi-view spectral clustering,通过协同正则化使得每个视图的相似矩阵尽可能的相似。但是,这些方法不能很好地处理多视图间多样性的影响,使得聚类的结果有所下降。视图间的多样性是指每个视图有自己独有的部分。
近些年来,大量的约束视图间多样性的多视图聚类方法被提出来且取得一定的成果。C.Xiao,F.Nie,H.Huang在International Joint Conference on ArtificialIntelligence,2013,pp.2598–2604.上的论文Multi-view k-means clustering on bigdata,提出了一种基于K均值的多视图聚类方法来解决大规模数据。它使用视图权重来组合不同视图的特征,此外,使用l2,1范数使得模型对奇点鲁棒。J.Xu,J.Han,F.Nie,X.Li在IEEETransactions on Image Processing 26(6)(2017)3016–3027.的论文Re-weighteddiscriminatively embedded k-means for multi-view clustering,提出一个基于最小二乘模型的多视图K均值聚类方法,使用差别特征嵌入解决高维特征问题,每个视图间的自加权参数可以很好利用视图间的互补信息。F.Nie,L.Tian,X.Li在InternationalConference on Knowledge Discovery and Data Mining,ACM,2018,pp.2022–2030.上的论文Multiview clustering via adaptively weighted procrustes,提出一种(adaptively weighted procrustes)方法用于离散谱嵌入,使用视图聚类能力设置视图权重。X.Cao,C.Zhang,H.Fu,S.Liu,H.Zhang在IEEE Conference on Computer Vision andPattern Recognition,2015,pp.586–594.的论文Diversity-induced multi-viewsubspace clustering,提出一种基于自表征模型的方法来学习一个多样性引导的相似图。它使用希尔伯特-施密特独立性(HilbertSchmidt independence criterion,HSIC)多样性约束获取多视图表征中的多样性。X.Wang,X.Guo,Z.Lei,C.Zhang,S.Z.Li在IEEEConference on Computer Vision and Pattern Recognition,2017,pp.1–9.的论文Exclusivity-consistency regularized multi-view subspace clustering,提出一种基于自表征的多视图聚类方法。它使用一个基于位置的排它约束项来获取多视图间的多样性信息,使用一个全局聚类标签来获取多视图中的一致性信息。F.Nie,J.Li,X.Li在International Joint Conference on Artificial Intelligence,2017,pp.2564–2570.的论文Self-weighted multiview clustering with multiple graphs,通过引入自权重参数,学习一个拉普拉斯秩约束的相似图。C.Tang,X.Zhu,X.Liu,M.Li,P.Wang,C.Zhang,L.Wang在IEEE Transactions on Multimedia.的论文Learning a joint affinity graphfor multiview subspace clustering,为多视图子空间聚类学习一个联合相似图。然后,将多样性正则化和图秩约束整合到一个低秩自表征模型中。L.Huang,H.-Y.Chao,C.-D.Wang,在Pattern Recognition 38086(2019)344–353.上的论文Multi-view intactspace clustering,从多个不同视图构建一个潜在的完璧空间,同时从这个空间中捕获类簇结构。K.Zhan,F.Nie,J.Wang,Y.Yang在IEEE Transactions on Image Processing 28(3)(2018)1261–1270.上的论文Multiview consensus graph clustering,通过减少不同视角之间的差异性,并施加拉普拉斯秩约束,来学习一个共有的相似图。C.Zhang,H.Fu,Q.Hu,X.Cao,Y.Xie,D.Tao,D.Xu在IEEE Transactions on Pattern Analysis andMachine Intelligence.上的论文Generalized latent multi-view subspaceclustering,从多个视图中构建一个最优的潜在表征空间来捕获视图间的互补信息,进而增强多视图聚类的效果。
尽管以上方法在多种场景中能得到比单视图聚类更好的效果,但是这里还有一些问题没有被解决,上述很多方法倾向于在数据空间约束多样性和一致性,而忽略了需要学习的标签空间中的这些属性。当忽略了学习的标签矩阵中的多样性和噪声的影响时,将会产生错误标签。此外,多个视图存在一个一致的标签矩阵为在需要学习的标签空间中捕获多样性和一致性提供可能。为了克服这些缺点,提出了一种基于多样性和一致性学习的谱嵌入多视图聚类方法。该谱嵌入多视图聚类方法考虑了数据空间和需要学习的标签空间中的多样性和一致性,为多视图聚类学习一个最优的聚类标签矩阵。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述多视图聚类性能差,未考虑数据空间和需要学习的类别标签矩阵空间中的多样性和一致性的缺陷,提供了一种基于多样性和一致性学习的谱嵌入多视图聚类方法,该谱嵌入多视图聚类方法在卫星图像聚类上取得了较好的识别效果。
本发明为解决其技术问题,提供了一种基于多样性和一致性学习的谱嵌入多视图聚类方法,该谱嵌入多视图聚类方法包含下述步骤:
S2、构建基于多视图K均值模型用于多视图聚类:
s.t.Y∈Ind,α(v)=1/2||F(v)T-U(v)(Y+R(v))T||F;
其中,U(v)为聚类中心矩阵,R(v)为聚类标签多样性部分,Y为聚类标签一致性部分,Ind表示{Y∈{0,1}N×k|Y1=1},Y1为元素全为1的列矩阵,α(v)为视图v的权重,T表示转置;
S3、构建基于行的多样性表征约束聚类标签多样性部分R(v):
其中,ri (v)、ri (w)分别表示第v、w个视图聚类标签多样性部分R(v)、R(w)的第i行,βvwi约束第v、w个视图聚类标签多样性部分R(v)、R(w)的第i行的多样性,使用如下逻辑函数计算:
其中,fi (v)、fi (w)分别表示第v、w个视图谱嵌入F(v)、F(w)的第i行;
S4、构建基于多样性和一致性学习的谱嵌入多视图聚类的目标函数:
s.t.Y∈Ind,α(v)=1/2||F(v)T-U(v)(Y+R(v))T||F;
S5、迭代优化策略目标函数,得到的矩阵Y即为最终多视图聚类标签矩阵:
本发明谱嵌入多视图聚类方法是一个凸优化问题,使用交替迭代优化策略来搜索最优U(v),Y,R(v)。其中,通过交替迭代优化策略求解目标函数的具体步骤:
S51、更新Y:当U(v),R(v),v=1,2,...,V是固定的,Y的每一行可以通过解决以下问题得到:
S52、更新R(v):当U(v),v=1,2,...,V,R(w),w=1,2,...V,w≠v是固定的,得到如下最小化问题:
S53、更新U(v):当Y,R(v),v=1,2,...,V是固定的,U(v)可以通过如下公式更新:
U(v)=(F(v)TY+F(v)TR(v)){(Y+R(v))T(Y+R(v))}-1;
S54、返回步骤S51,交替迭代更新U(v),Y,R(v)至算法收敛,交替迭代次数不超过50次。
本发明具有以下有益效果:(1)同时考虑数据空间和需要学习的标签空间中多样性和一致性,能够为多视图聚类学习一个更优的聚类标签。(2)使用低维谱嵌入代替原始数据能够很好的压制冗余信息和噪声的影响。(3)提出的一个基于行的多样性表征可以很好的约束聚类标签多样性部分的差异。(4)该谱嵌入多视图聚类方法具有良好的鲁棒性,在卫星图像聚类上取得了较好的识别效果。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明算法的流程图;
图2是handwritten手写数字识别数据集部分图片样例;
图3是Caltech101-7目标识别数据集部分图片样例;
图4是Yale人脸识别数据集部分图片样例;
图5是本发明在6个基本数据集上两个平衡参数不同组合的聚类ACC直方图;
图6是本发明在6个基本数据集上两个平衡参数不同组合的聚类NMI直方图;
图7是本发明在6个基本数据集上两个平衡参数不同组合的聚类Purity直方图;
图8是本发明在6个基本数据集上生成相似图时不同邻域个数的聚类ACC、NMI、Purity直方图;
图9是本发明在6个基本数据集上目标函数值随迭代次数变化图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图详细说明本发明的具体实施方式。
(1)聚类参数选择
为了保证比较方法的通用性,所有比较方法的参数都遵循其各自论文算法中的设置。另外,需要使用K均值算法得到谱嵌入矩阵最终结果聚类标签的方法,每次随机初始化K均值算法初始参数,运行K均值算法20次,以削弱随机初始化对聚类中心的影响,并报告平均性能。对于谱嵌入多视图聚类方法,需要构建样本之间相似性图进而得到谱嵌入矩阵。k-NearestNeighbor(knn)的方式构建相似图,knn的邻域数由5增加到50,步长为5。平衡参数λ1、λ2从{0.001 0.01 0.1 1 10 100 1000}中分别依次进行搜索。
(2)9种聚类算法
在6个常用基本数据集(handwritten、Caltech101-7、BBCsport、Yale、3sources和LandUse-21)测试谱嵌入多视图聚类方法聚类性能,并将本发明谱嵌入多视图聚类方法与以下9种聚类算法进行对比,并在6个常见基本数据集上将本发明与以上9种方法进行了对比:
①k-means和SC:K均值聚类和谱聚类(spectral clustering)
②DiMSC:由X.Cao,C.Zhang,H.Fu,S.Liu,H.Zhang在IEEE Conference onComputer Vision and Pattern Recognition,2015,pp.586–594.上的论文Diversity-induced multi-view subspace clustering提出。
③AMGL:由F.Nie,J.Li,X.Li,在International Joint Conference onArtificial Intelligence,2016,pp.1881–1887.上的论文Parameter-free auto-weighted multiple graph learning:a framework for multiview clustering andsemi-supervised classification提出。
④ECMSC:由X.Wang,X.Guo,Z.Lei,C.Zhang,S.Z.Li在IEEE Conference onComputer Vision and Pattern Recognition,2017,pp.1–9.上的论文Exclusivity-consistency regularized multi-view subspace clustering提出。
⑤SwMC:由X.Wang,X.Guo,Z.Lei,C.Zhang,S.Z.Li,在IEEE Conference onComputer Vision and Pattern Recognition,2017,pp.1–9.的论文Exclusivity-consistency regularized multi-view subspace clustering提出。
⑥MVCF:由K.Zhan,J.Shi,J.Wang,H.Wang,Y.Xie,在Neural Computation 30(4)(2018)1.的论文Adaptive structure concept factorization for multiviewclustering提出。
⑦MVGL:由K.Zhan,C.Zhang,J.Guan,J.Wang在IEEE Transactions onCybernetics 48(10)(2018)2887–2895.上的论文Graph learning for multiviewclustering提出。
⑧AWP:由F.Nie,L.Tian,X.Li在International Conference on KnowledgeDiscovery and Data Mining,ACM,2018,pp.2022–2030.上的论文Multiview clusteringvia adaptively weighted procrustes提出。
(3)6种不同场景的数据集
实验中,在6个常见不同场景(手写数字体识别,人脸识别,图像物体识别,文本聚类,卫星图像聚类)的数据集上将本发明谱嵌入多视图聚类方法与以上9种方法进行了对比。
①handwritten手写数字识别数据集:包含2000张手写数字图片(0~9),每个数字有200张。由6个视图特征组成,分别为FOU(Fourier coefficients of the charactershapes)、FAC(profile correlations)、KAR(Karhunen-love coefficients)、PIX(pixelaverages)、ZER(Zernike moment)和MOR(morphological features)。附图2给出了部分图片样例。
②Caltech101-7目标识别数据集:包含101类共8677张目标识别图片组成,选用其中广泛使用的7类6个视图特征进行聚类测试。附图3给出了部分图片样例。
③BBCsport文本数据集:包含来自英国广播体育网站与体育新闻在5个领域的175相对应的文件。
④Yale人脸识别数据集:包括165个灰度人脸图,属于15个类别。每个类别都有一个不同的面部表情和形态。附图4给出了部分图片样例。
⑤3sources文本数据集:一个多视图文本数据集,收集自三个著名的在线新闻来源英国广播、路透社和卫报。
⑥LandUse-21卫星图像数据集:包括21个级别的2100幅卫星图像。使用三种视图的特征用于聚类测试。
各类数据库的基本信息参见表1:
表1六个数据集的相关信息
(4)聚类评价指标
在实验中,使用了7个聚类指标normalized mutual information(NMI)、accuracy(ACC)、adjusted rand index(AR)、F-score、Precision、Recall和Purity评估聚类的性能。这些指标的值越高表明聚类性能越好。
(5)6个场景下的聚类结果分析
测试了所有方法在6个不同场景的数据集上的聚类性能,并对结果进行了分析。实验结果见表2,其中,NMI表示normalized mutual information,ACC表示accuracy,AR表示adjusted rand index。从表2实验结果可以得到以下总结:(1)本发明谱嵌入多视图聚类方法优于其他方法,在6个不同场景的数据集上均能取得最好的结果。在Yale人脸识别数据集中,本发明谱嵌入多视图聚类方法在ACC、NMI和Purity指标上优于排名第二的算法DiMSC大约5、1和4个百分点。以前的技术方法只捕获在数据空间上的多样性,由于噪声和多样性的对标签的影响,这将为多视图聚类得到一个次优的标签矩阵。另外,以前的一些方法对原始数据进行聚类,冗余信息会大大降低聚类性能。因此,本发明谱嵌入多视图聚类方法能在这6个场景(手写数字体识别,人脸识别,图像物体识别,文本聚类,卫星图像聚类)下取得最好的结果。(2)多视图聚类方法的聚类效果优于单视图聚类方法。在多视图的情况下,视图间的互补知识有利于提升聚类性能。(3)AWP采用自加权策略从谱嵌入中恢复离散标签。AWP中没有考虑标签空间的多样性和噪声,然而分配视图权重只保证捕获数据空间中的多样性,。因此,本发明谱嵌入多视图聚类方法结果优于AWP。
表2六个不同场景的数据集上的聚类结果
此外,还对谱嵌入多视图聚类方法的模型进行一些熔断实验,具体分析了数据空间中没有捕获多样性和一致性的结果,标签空间中没有捕获多样性和一致性的结果,以及没有使用谱嵌入的结果。在数据空间捕获多样性和一致性的有效性:为了验证在数据空间捕获多样性和一致性的有效性,去除构建基于多样性和一致性学习的谱嵌入多视图聚类的目标函数公式中的α,并将此谱嵌入多视图聚类方法称为“DCMSC-no-DCDS”。
表3给出了在6个基本数据集上的结果。在handwritten和3sources数据集上,DCMSC得到的结果差于DCMSC-no-DCDS。原因可能是自我加权策略有时不能很好地捕捉数据空间的多样性和一致性。此外,多样性部分R可能会影响自加权策略的有效性。从剩余数据集上的聚类结果看,捕捉数据空间的多样性和一致性,可以提高最终的结果。
在标签空间捕获多样性和一致性的有效性:为了验证在数据空间捕获多样性和一致性的有效性,去除构建基于多样性和一致性学习的谱嵌入多视图聚类的目标函数公式中的R,并将此谱嵌入多视图聚类方法称为“DCMSC-no-DCLS”。DCMSC-no-DCLS在六个数据集的聚类结果如表3所示。可以看出,在标签空间中捕捉多样性和一致性可以显著提高最终聚类的结果,在标签空间中捕获多样性和一致性可以学习更健壮的标签矩阵用于多视图聚类任务。
使用谱嵌入的有效性:为了验证光谱嵌入的有效性,将始数据进行聚类,表示为“DCMSC-no-SE”。DCMSC-no-SE在6个数据集的聚类结果如表3所示。可以看出,低维谱嵌入可以很明显提升聚类效果。低维谱嵌入能有效地抑制噪声和的冗余信息。
表3关于DSMSC算法的熔断研究
在本发明谱嵌入多视图聚类方法中有两个平衡参数λ1和λ2,构建相似图的邻域个数。测试了谱嵌入多视图聚类方法在不同平衡参数组合下,以及不同相似图的邻域个数下ACC、NMI和Purity指标下聚类效果。从附图5和附图6和附图7可以看出,谱嵌入多视图聚类方法对参数λ2比较敏感,而对于参数λ1不敏感,取值为{0.001 0.01 0.1 1 10 100 1000}中任意一个即可。当参数λ2取值为{0.001 0.01 0.1 1 10 100 1000}中的1到1000时,谱嵌入多视图聚类方法能得到平稳且不错的效果,所以λ2的取值为{1 10 100 1000}中任意一个。从附图8看出,对于不同相似图的邻域个数,本发明谱嵌入多视图聚类方法能在能在一个很大的区间上取得好的聚类效果。
(6)算法收敛性分析
使用ALM-ADM优化策略来求解谱嵌入多视图聚类方法的模型。Z.Lin,M.Chen,Y.Ma,The augmented lagrange multiplier method for exact recovery of corruptedlow-rank matrices,arXiv preprint arXiv:1009.5055.证明了存在两个子问题的ALM-ADM优化策略的收敛性。当ALM-ADM优化策略存在三个或者三个以上子问题时,它的收敛性很难被证明。谱嵌入多视图聚类方法存在三个子问题。对于求解Y,它的最优解通过搜寻一系列的ec,收敛性可以得到保证。对于求解R,G.Liu,Z.Lin,S.Yan,J.Sun,Y.Yu,Y.Ma,Robust recovery of subspace structures by low-rank representation,IEEETransactions on Pattern Analysis and Machine Intelligence 35(1)(2013)171–184.证明了它的收敛性。对于求解U,它是一个最小二乘问题,收敛性可以得到保证。因此,谱嵌入多视图聚类方法的收敛性可以得到保证。此外,绘制了谱嵌入多视图聚类方法在6个基本数据集上的目标函数值变化曲线。从附图9可以看出,谱嵌入多视图聚类方法迭代5次左右能趋于收敛。
(7)算法计算复杂度分析
优化算法主要包含三个子问题,更新Y的计算复杂度为O(Nk2),N和k分别为样本个数和类簇个数。更新R的计算复杂度为O(Nk3)。更新U的计算复杂度为O(k3)。因此,谱嵌入多视图聚类方法总的计算复杂度为O(k3+Nk2+Nk3)。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。
Claims (5)
1.一种基于多样性和一致性学习的谱嵌入多视图聚类方法,其特征在于,具有包括如下步骤:
S2、构建基于多视图K均值模型用于多视图聚类:
s.t.Y∈Ind,α(v)=1/2||F(v)T-U(v)(Y+R(v))T||F;
其中,U(v)为聚类中心矩阵,R(v)为聚类标签多样性部分,Y为聚类标签一致性部分,Ind表示{Y∈{0,1}N×k|Y1=1},Y1为元素全为1的列矩阵,α(v)为视图权重,T表示转置;
S3、构建基于行的多样性表征约束聚类标签多样性部分R(v):
其中,ri (v)、ri (w)分别表示第v、w个视图聚类标签多样性部分R(v)、R(w)的第i行,βvwi约束第v、w个视图聚类标签多样性部分R(v)、R(w)的第i行的多样性,使用如下逻辑函数计算:
其中,fi (v)、fi (w)分别表示第v、w个视图谱嵌入F(v)、F(w)的第i行;
S4、构建基于多样性和一致性学习的谱嵌入多视图聚类的目标函数:
s.t.Y∈Ind,α(v)=1/2||F(v)T-U(v)(Y+R(v))T||F;
S5、通过迭代优化策略优化求解目标函数,得到的矩阵Y即为最终多视图聚类标签矩阵。
2.根据权利要求1所述的谱嵌入多视图聚类方法,其特征在于:通过迭代优化策略求解目标函数,具体为使用交替迭代优化策略来搜索最优U(v),Y,R(v),包含步骤如下:
S51、更新Y:在给定U(v),R(v),v=1,2,...,V的情况下,Y的每一行通过解决以下问题得到:
S52、更新R(v):当U(v),v=1,2,...,V,R(w),w=1,2,...V,w≠v给定,得到了下面的最小化问题:
S53、更新U(v):当Y,R(v),v=1,2,...,V是固定的,U(v)可以通过如下公式更新:
U(v)=(F(v)TY+F(v)TR(v)){(Y+R(v))T(Y+R(v))}-1;
S54、返回步骤S51,交替迭代更新U(v),Y,R(v)直至算法收敛,交替迭代次数不超过50次。
3.根据权利要求1所述的谱嵌入多视图聚类方法,其特征在于,步骤S5中求解目标函数所采用的迭代优化策略具体为采用K均值算法,该K均值算法被执行多次,每次进行K均值算法时,K均值算法初始参数U(v)是随机取值,从而减小随机初始化对聚类中心的影响。
4.根据权利要求2所述的谱嵌入多视图聚类方法,其特征在于,平衡参数λ1取值为{0.001 0.01 0.1 1 10 100 1000}中的任意一个,λ2取值为{1 10 100 1000}中的任意一个。
5.根据权利要求4所述的谱嵌入多视图聚类方法,其特征在于,在谱嵌入多视图聚类方法中λ1取值为1,λ2取值为10。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910728817.3A CN110598740B (zh) | 2019-08-08 | 2019-08-08 | 一种基于多样性和一致性学习的谱嵌入多视图聚类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910728817.3A CN110598740B (zh) | 2019-08-08 | 2019-08-08 | 一种基于多样性和一致性学习的谱嵌入多视图聚类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110598740A CN110598740A (zh) | 2019-12-20 |
CN110598740B true CN110598740B (zh) | 2022-03-01 |
Family
ID=68853673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910728817.3A Active CN110598740B (zh) | 2019-08-08 | 2019-08-08 | 一种基于多样性和一致性学习的谱嵌入多视图聚类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110598740B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112990264A (zh) * | 2021-02-08 | 2021-06-18 | 浙江师范大学 | 一种基于一致图学习的多视图聚类方法 |
CN113591879A (zh) * | 2021-07-22 | 2021-11-02 | 大连理工大学 | 基于自监督学习的深度多视图聚类方法、网络、装置及存储介质 |
CN113837218A (zh) * | 2021-08-17 | 2021-12-24 | 浙江师范大学 | 一种基于一步后融合多视图的文本聚类方法及系统 |
CN116310459B (zh) * | 2023-03-28 | 2024-01-19 | 中国地质大学(武汉) | 基于多视图空谱联合的高光谱图像子空间聚类方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101673398A (zh) * | 2009-10-16 | 2010-03-17 | 西安电子科技大学 | 基于免疫稀疏谱聚类的图像分割方法 |
CN104699781A (zh) * | 2015-03-12 | 2015-06-10 | 西安电子科技大学 | 基于双层锚图散列的sar图像检索方法 |
US9633270B1 (en) * | 2016-04-05 | 2017-04-25 | Cisco Technology, Inc. | Using speaker clustering to switch between different camera views in a video conference system |
CN107292341A (zh) * | 2017-06-20 | 2017-10-24 | 西安电子科技大学 | 基于成对协同正则化和nmf的自适应多视图聚类方法 |
CN108734187A (zh) * | 2017-04-20 | 2018-11-02 | 中山大学 | 一种基于张量奇异值分解的多视图谱聚类算法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140040233A1 (en) * | 2012-07-31 | 2014-02-06 | Mehmet Kivanc Ozonat | Organizing content |
US20140111701A1 (en) * | 2012-10-23 | 2014-04-24 | Dolby Laboratories Licensing Corporation | Audio Data Spread Spectrum Embedding and Detection |
-
2019
- 2019-08-08 CN CN201910728817.3A patent/CN110598740B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101673398A (zh) * | 2009-10-16 | 2010-03-17 | 西安电子科技大学 | 基于免疫稀疏谱聚类的图像分割方法 |
CN104699781A (zh) * | 2015-03-12 | 2015-06-10 | 西安电子科技大学 | 基于双层锚图散列的sar图像检索方法 |
US9633270B1 (en) * | 2016-04-05 | 2017-04-25 | Cisco Technology, Inc. | Using speaker clustering to switch between different camera views in a video conference system |
CN108734187A (zh) * | 2017-04-20 | 2018-11-02 | 中山大学 | 一种基于张量奇异值分解的多视图谱聚类算法 |
CN107292341A (zh) * | 2017-06-20 | 2017-10-24 | 西安电子科技大学 | 基于成对协同正则化和nmf的自适应多视图聚类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110598740A (zh) | 2019-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110598740B (zh) | 一种基于多样性和一致性学习的谱嵌入多视图聚类方法 | |
Wang et al. | Fast parameter-free multi-view subspace clustering with consensus anchor guidance | |
Wang et al. | Multi-view subspace clustering with intactness-aware similarity | |
Tang et al. | Unified one-step multi-view spectral clustering | |
Kang et al. | Partition level multiview subspace clustering | |
Wen et al. | Unified tensor framework for incomplete multi-view clustering and missing-view inferring | |
Zhu et al. | Low-rank sparse subspace for spectral clustering | |
Hu | Enhanced gabor feature based classification using a regularized locally tensor discriminant model for multiview gait recognition | |
Huerta et al. | A deep analysis on age estimation | |
Wang et al. | iCmSC: Incomplete cross-modal subspace clustering | |
Bronstein et al. | Data fusion through cross-modality metric learning using similarity-sensitive hashing | |
Fan et al. | Multi-view subspace learning via bidirectional sparsity | |
Wang et al. | Multi-task support vector machines for feature selection with shared knowledge discovery | |
Tao et al. | Multiview classification with cohesion and diversity | |
Li et al. | Discriminative multi-view interactive image re-ranking | |
Shi et al. | Unsupervised adaptive feature selection with binary hashing | |
Zhu et al. | Joint graph based embedding and feature weighting for image classification | |
Gao et al. | Multi-view projected clustering with graph learning | |
WO2022228348A1 (zh) | 基于高阶关联保持的缺失多视图子空间聚类方法及系统 | |
Wen et al. | Unpaired multi-view graph clustering with cross-view structure matching | |
Han et al. | Robust visual tracking based on adversarial unlabeled instance generation with label smoothing loss regularization | |
Li et al. | Diversity and consistency learning guided spectral embedding for multi-view clustering | |
Jiang et al. | Learning for mismatch removal via graph attention networks | |
Sikdar et al. | Scale-invariant batch-adaptive residual learning for person re-identification | |
Ma et al. | Simultaneous multi-graph learning and clustering for multiview data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |