CN112287974B - 一种基于自适应权重的多视k多均值的图像聚类方法 - Google Patents
一种基于自适应权重的多视k多均值的图像聚类方法 Download PDFInfo
- Publication number
- CN112287974B CN112287974B CN202011044857.5A CN202011044857A CN112287974B CN 112287974 B CN112287974 B CN 112287974B CN 202011044857 A CN202011044857 A CN 202011044857A CN 112287974 B CN112287974 B CN 112287974B
- Authority
- CN
- China
- Prior art keywords
- view
- clustering
- image
- cluster
- bipartite graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000003044 adaptive effect Effects 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000005457 optimization Methods 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 abstract description 7
- 230000000295 complement effect Effects 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 102100039109 Amelogenin, Y isoform Human genes 0.000 description 1
- 101000959107 Homo sapiens Amelogenin, Y isoform Proteins 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 201000011243 gastrointestinal stromal tumor Diseases 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于自适应权重的多视K多均值的图像聚类方法(Adaptive K‑Multiple‑Means for Multi‑view Clustering,AKM3C),用于解决多视图的图像聚类问题。不同于以往的多视K均值聚类方法仅使用一个簇中心去建模每个簇的数据分布,AKM3C使用多个子簇中心(也称为原型或均值)捕获每个视图中每个簇的数据分布。另外,AKM3C可以为每个视图自适应的分配权重,从而合理地融合不同视图的互补信息和兼容信息以构建一个共享的二部图,最后对共享的二部图施加拉普拉斯秩约束,将其划分为C个簇,实现图像样本的聚类,进而用于解决多视图的图像识别和检测问题。
Description
技术领域
本发明涉及数据挖掘、机器学习和模式识别等领域,尤其是面向图像内容的多视图聚类任务。
背景技术
聚类是一种常用的数据分析方法,其目的是将无标签的数据按照一定的规则划分为若干个簇,使得每个簇内的数据相似,而不同簇之间的数据相异,即一个簇内部的任意两个样本具有较高的相似度,而属于不同簇的两个样本具有较高的相异度。在过去的几十年中,已经提出了许多经典的聚类方法(例如K-means聚类,谱聚类,核聚类等),并在图像处理、计算机视觉和文本挖掘等领域取得了巨大的成功。
在现实世界中,随着摄像机以及传感器等技术的广泛应用,数据通常由不同的领域、模态或特征组成,例如,图一包含了三种类型的多视图数据,图一(a)表明图像可以从不同的角度进行拍摄,每一个角度的图像是一个视图;图一(b)表明同一个事件可由不同的语言进行报道,每一种语言对应一个视图;图一(c)表明人脸图像在可见光(VIS)和近红外光(NIR) 下得到,即图像由不同的特征描述,每一种特征对应一个视图;所有这些都称之为多视图数据,是指对同一事物从不同角度或者按不同方式所得到的两个或两个以上的描述。
当前用于机器学习的主要方法是对单个视图表示的数据进行聚类,这种方法称为单视图聚类(或传统的聚类),因为它不考虑来自不同视图的相关信息,容易造成以偏概全的问题,不能够真实的反应数据的全貌。多视图聚类的目的是考虑不同视图的权重,通过融合各个视图的兼容和互补信息,全面的反映数据整体结构,使得聚类性能的效果得到提升。
随着大数据时代的到来,针对多视图数据的聚类引起了越来越多研究者的关注,它把无任何标注的多视图数据信息通过有效的处理将其划分成不同的簇。尤其是在计算机视觉和模式识别等领域,通过对不同视图的特征所构造的图像样本进行分析,将其融合成同一空间下的一致性表示,实现多视图的图像聚类,从而可进一步采用模式识别的方法对聚类好的图像进行识别,具有广泛的应用价值。
在多视聚类方法中,多视K均值聚类由于其效率和简易性而备受关注,这类方法主要是将大规模的多视图数据分解为多个聚类中心矩阵和一个公共的指标矩阵。但是其存在两处不足:1)多视K均值聚类仅使用一个中心对每个视图中的每个簇进行建模,无法准确地捕获不同视图中复杂的子簇数据分布。2)在大多数多视K均值聚类方法中,都需要引入一个额外的超参数对不同视图的权重进行分配,但是其超参数的设置在很大程度上都取决于人们的经验,所以其可用性不是很强。
发明内容
针对以上问题,提出了一种新的多视图聚类的方法,即基于自适应权重的多视K多均值聚类(Adaptive K-Multiple-Means for Multi-view Clustering,AKM3C),可用于解决多视图的图像聚类问题。不同于以往的多视K均值聚类方法仅使用一个簇中心去建模每个簇的数据分布,AKM3C使用多个子簇中心(也称为原型或均值)捕获每个视图中每个簇的数据分布。另外,AKM3C可以为每个视图自适应的分配权重,从而合理地融合不同视图的互补信息和兼容信息以构建一个共享的二部图,最后对共享的二部图施加拉普拉斯秩约束,将其划分为C个簇,实现图像样本的聚类,进而用于解决多视图的图像识别和检测问题。
技术方案
一种基于自适应权重的多视K多均值的图像聚类方法,AKM3C旨在将多视图数据中的N个图像样本划分为C个簇。首先从每个视图的数据样本中随机的生成M个子簇中心以捕获每个视图中复杂的数据分布,并为每个视图自适应地分配权重wv;然后对多视图进行融合以构造一个共享的二部图 S;最后,对S相应的拉普拉斯矩阵施加秩约束,将其划分成C个簇,从而实现聚类。AKM3C方法的简要示意图如图二所示,其中不同颜色的球体和五角星分别表示不同视图中的图像样本和子簇中心。
具体的讲,AKM3C方法主要包含以下步骤:
(1)获取多视图的图像数据库,此数据库中共包含有V个视图的数据,表示为χ={X1,X2,…,XV},其中表示的是第v 个视图的数据矩阵,N表示的是数据库中图像样本的数量,Dv表示的是第v 个视图样本的维度;
(2)从每个视图数据中随机的生成M个子簇中心以捕获复杂的数据分布,即一共有V个视图的子簇中心矩阵,表示为同样的,/>其表示的含义是第v个视图的子簇中心矩阵, M为子簇中心的数量,Dv表示的是第v个视图样本的维度;
(3)构造AKM3C模型,采用交替优化的方法求解wv,Av,S,求解过程中为每个视图自适应地分配权重wv,然后对多视图进行融合以构造一个共享的二部图S,模型具体如下:
其中wv表示的是第v个视图的权重,初始化为之后采用数据驱动的方式进行自动更新,即/> 分别表示的是第v个视角的第i个图像样本和第m个子簇中心。对多视图进行融合,采用自适应近邻的方法构造出共享的二部图S,/>为正则化项,可避免平凡解,/>表示为平方F范数;/>为对应二部图S的归一化拉普拉斯矩阵,其中/>为二部图的相似矩阵,/> 为对角矩阵,其第i个对角元素的值为/>pim表示的是矩阵P的第i行第m个元素的值。通过对Ls施加秩约束可直接将S 划分为具有C个连通单元的块对角矩阵,其中每个连通单元代表一个簇,即将S划分为C个簇,从而得到图像的聚类结果,秩约束为Rank(Ls)= (N+M)-C,参数M的取值范围为/>有益效果
表1,表2和表3分别显示了在NMI、ACC和Purity这三个指标上的聚类性能。在表中用粗体和下划线标记出性能最佳和性能次佳的结果。从这三个表中可以看出,本发明所述方法优于单视K-means聚类,并且在大多数情况下,在所有数据集上均实现最佳的聚类效果。
总之,本发明所述的图像聚类方法可以从多视图像中提取更多的区分性信息,并适当的融合这些信息以实现更好的图像聚类,与其它的多视聚类方法相比获得更佳的性能,从而能够在多视图像的目标识别和检测方面得到更广泛的应用。
附图说明
图1:多视图数据的展示,其中,图一(a)表明图像可以从不同的角度进行拍摄,每一个角度的图像是一个视图;图一(b)表明同一个事件可由不同的语言进行报道,每一种语言对应一个视图;图一(c)表明人脸图像在可见光(VIS)和近红外光(NIR) 下得到,即图像由不同的特征描述,每一种特征对应一个视图;
图2、AKM3C简要示意图;
图3、本发明所述AKM3C模型进行图像聚类的流程图;
具体实施:
1、以BUAA多视图像数据库为例,此数据库包含有150个对象,每个对象呈现出9种不同的姿势或表情,构成1350张图像。其中第一个视图下的1350张图像是在可见光下拍摄得到,第二个视图下的1350张图像是在近红外光下拍摄得到的,这两个视图下每个对象的姿势和表情都是相同的,只不过在不同的光源条件下拍摄得到,由此构成多视图数据。将此数据库包含的2个视图的多视数据作为输入,即χ= {X1,X2},本实施例的目的在于将由多视图构成的1350张图像进行聚类,共分为150个类别。根据BUAA多视数据库的视图数量,样本数量,类别数量,可知V=2,N=1350,C=150,参数M的取值范围在需要调节。
2、从每个视图数据中随机的生成M个子簇中心,即一共有2个视图的子簇中心矩阵,表示为
3、将χ和带入AKM3C模型中进行求解:
为了便于求解,以下具体描述如何对模型进行优化求解,下述内容属于模型具体计算过程:
首先对公式(2)进行优化可得到公式(3):
在公式(3)中如果参数λ足够大,则Tr(FTLsF)的值将变得很小甚至为零,从而满足Rank(Ls)=(N+M)-C这一约束,其中F表示的是Ls的前C 个最小的特征值对应的特征向量组成的矩阵,之后通过迭代更新求解wv, Av,S和F。
(1)初始化S。
首先固定wv,Av和F这三个变量,求解S,由此我们通过公式(3)得到如下模型:
s.t S≥0,SI=1
对公式(4)采用自适应近邻的方法求解得到一个共享的二部图S,S是一个N×M的矩阵,N代表的是数据库中的图像样本数量,M是子簇的个数,sim是矩阵S中的第i行第m列,它代表的含义是第i个样本属于第m 个子簇的概率。(由此我们将N个样本和M个子簇中心连接起来,并且样本子与子簇是分隔开的,数学上称之为-----二部图)
(2)判断归一化拉普拉斯矩阵Ls是否满足秩约束。
(3)固定wv,Av,S更新F
当wv,Av,S固定时,通过公式(3)得到公式(5):
min Tr(FTLsF) (5)
s.t F∈R(N+M)×C,FTF=I
令其中U∈RN×C,V∈RM×C,DU∈RN×N,DV∈ RN×M
经化简后,可进一步写为:
则U和V的最优解分别是的前C个左右奇异向量,由此求得 F。
(4)固定wv,Av,F更新S
由归一化拉普拉斯矩阵的性质,可得:
令则公式(3)可重写为:
s.t S≥0,SI=1,
此时wv,Av和F这些变量的值都是已知的,由此可对公式(7)进行求解。另外,在这里需要不断迭代地更新变量F和S,即不断的重复第(3) 和第(4)这两个步骤,直到其满足秩约束为止,继续进行下面的步骤。
(5)固定F,Av,S更新wv
wv表示的是每个视图的权重,在不引入任何额外参数的情况下,wv的更新方式为:
(6)固定F,wv,S更新Av
根据第v个视图中所有样本的加权平均来计算第v个视图中每个子簇中心的值:
综上所述,通过迭代更新wv,Av,S和F,直到算法收敛,此时的二部图 S已被划分为C个连通单元,每个连通单元代表一个簇,即已对图像实现聚类的划分,参数γ可通过公式(4)求得;对于参数λ,将其初值设为λ=γ,在之后的每次迭代中进行自动更新;参数M的取值范围为
本实例用于进行图像的聚类,分别在Extended Yale B,CMU-PIE,BUAA和UMIST这四个多视图像数据库上进行评估。其中在Extended Yale B,CMU-PIE和UMIST数据库中,提取每个图像的LBP,GABOR和GIST这三种类型特征构造出多视数据库;BUAA数据集是从150个对象中收集到的多视图数据库,此数据库包含1350个图像,2个视图,150个类别。
为了验证所提出方法在图像聚类上的优越性,将AKM3C与单视K-means 和RMMKC,RDEKM,MLAN,MVGL,MCGC,DiMSC,AMGL的多视聚类方法进行比较。
本实验使用归一化互信息熵(NMI)、正确度(ACC)和纯度(Purity)这三个指标来评价其图像聚类的性能,指标的值越高会反映出更好的聚类性能。具体结果如表1-表3所示。
表一:基于NMI的四个图像数据库的聚类性能对比
表二:基于ACC的四个图像数据库的聚类性能对比
表三:基于Purity的四个图像数据库的聚类性能对比
Claims (1)
1.一种基于自适应权重的多视K多均值的人脸图像聚类方法,其特征在于包含以下步骤:
(1)获取多视图数据库,其中,数据集共有V个视图的多视数据,表示为χ={X1,X2,…,XV},其中表示的是第v个视图的数据,每个视图下有N个图像样本,Dv表示的是第v个视图样本的维度;
(2)从每个视图的数据中随机的生成M个子簇中心用以捕获每个视图中复杂的数据分布,即一共有V个视图的子簇中心矩阵,表示为Д={A1,A2,…,AV},同样的,其表示的含义是第v个视图的子簇中心矩阵,M表示的是子簇中心的数量,Dv表示的是第v个视图的维度;
(3)构造AKM3C模型,对多视图进行融合以构造一个共享的二部图S,然后对S相应的拉普拉斯矩阵Ls施加秩约束,从而将二部图S划分为C个簇,从而得到聚类结果;其中,模型求解采用交替优化的方法,不断迭代的计算wv,Av,S,最终得到最优的二部图S;求解过程中为每个视图自适应地分配权重wv;
所述AKM3C模型具体如下:
其中wv表示的是第v个视图的权重,分别表示的是第v个视角的第i个图像样本和第v个视角的第m个子簇中心,对多视图进行融合,采用自适应近邻的方法构造出一个共享的二部图S;/>为正则化,可避免平凡解,/>表示平方F范数;/>为对应二部图S的归一化的拉普拉斯矩阵,其中/>为对角矩阵,其第i个对角元素的值为/>pim为P的第i行第m列的元素,C为图像的类别个数;
所述对Ls施加的秩约束具体为Rank(Ls)=(N+M)-C;
步骤(3)所述的权重wv的自适应更新公式如下,
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011044857.5A CN112287974B (zh) | 2020-09-28 | 2020-09-28 | 一种基于自适应权重的多视k多均值的图像聚类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011044857.5A CN112287974B (zh) | 2020-09-28 | 2020-09-28 | 一种基于自适应权重的多视k多均值的图像聚类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112287974A CN112287974A (zh) | 2021-01-29 |
CN112287974B true CN112287974B (zh) | 2024-05-28 |
Family
ID=74422706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011044857.5A Active CN112287974B (zh) | 2020-09-28 | 2020-09-28 | 一种基于自适应权重的多视k多均值的图像聚类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112287974B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112990265A (zh) * | 2021-02-09 | 2021-06-18 | 浙江师范大学 | 基于二部图的后期融合多视图聚类机器学习方法及系统 |
CN116630671A (zh) * | 2023-05-23 | 2023-08-22 | 江苏大学 | 一种基于结构图的多视图聚类图像识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106971197A (zh) * | 2017-03-02 | 2017-07-21 | 北京工业大学 | 基于差异性与一致性约束的多视数据的子空间聚类方法 |
CN107292341A (zh) * | 2017-06-20 | 2017-10-24 | 西安电子科技大学 | 基于成对协同正则化和nmf的自适应多视图聚类方法 |
CN108776812A (zh) * | 2018-05-31 | 2018-11-09 | 西安电子科技大学 | 基于非负矩阵分解和多样-一致性的多视图聚类方法 |
CN110188825A (zh) * | 2019-05-31 | 2019-08-30 | 山东师范大学 | 基于离散多视图聚类的图像聚类方法、系统、设备及介质 |
CN111324791A (zh) * | 2020-03-02 | 2020-06-23 | 北京工业大学 | 一种多视数据子空间聚类方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7461073B2 (en) * | 2006-02-14 | 2008-12-02 | Microsoft Corporation | Co-clustering objects of heterogeneous types |
-
2020
- 2020-09-28 CN CN202011044857.5A patent/CN112287974B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106971197A (zh) * | 2017-03-02 | 2017-07-21 | 北京工业大学 | 基于差异性与一致性约束的多视数据的子空间聚类方法 |
CN107292341A (zh) * | 2017-06-20 | 2017-10-24 | 西安电子科技大学 | 基于成对协同正则化和nmf的自适应多视图聚类方法 |
CN108776812A (zh) * | 2018-05-31 | 2018-11-09 | 西安电子科技大学 | 基于非负矩阵分解和多样-一致性的多视图聚类方法 |
CN110188825A (zh) * | 2019-05-31 | 2019-08-30 | 山东师范大学 | 基于离散多视图聚类的图像聚类方法、系统、设备及介质 |
CN111324791A (zh) * | 2020-03-02 | 2020-06-23 | 北京工业大学 | 一种多视数据子空间聚类方法 |
Non-Patent Citations (2)
Title |
---|
基于邻域多核学习的后融合多视图聚类算法;夏冬雪;杨燕;王浩;阳树洪;;计算机研究与发展;20200806(第08期);全文 * |
改进的多样性驱动的多视图子空间聚类算法;刘金花;王洋;贺潇磊;;计算机时代;20200910(第09期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112287974A (zh) | 2021-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xie et al. | Hyper-Laplacian regularized multilinear multiview self-representations for clustering and semisupervised learning | |
Li et al. | Constrained clustering via spectral regularization | |
Alzu’bi et al. | Semantic content-based image retrieval: A comprehensive study | |
CN108171279B (zh) | 一种多视角视频自适应乘积Grassmann流形子空间聚类方法 | |
CN112287974B (zh) | 一种基于自适应权重的多视k多均值的图像聚类方法 | |
Hossain et al. | Scatter/gather clustering: Flexibly incorporating user feedback to steer clustering results | |
CN111191699B (zh) | 基于非负矩阵分解和划分自适应融合的多视角聚类方法 | |
Wang et al. | Person re-identification in identity regression space | |
Dehshibi et al. | Cubic norm and kernel-based bi-directional PCA: toward age-aware facial kinship verification | |
CN111611323A (zh) | 一种面向数据融合的迭代结构化多视图子空间聚类方法,设备及可读存储介质 | |
CN108764351B (zh) | 一种基于测地距离的黎曼流形保持核学习方法及装置 | |
Liu et al. | Multi-view subspace clustering based on tensor schatten-p norm | |
Levin et al. | Out-of-sample extension of graph adjacency spectral embedding | |
CN112990264A (zh) | 一种基于一致图学习的多视图聚类方法 | |
Li et al. | Constrained clustering by spectral kernel learning | |
Chen et al. | Nonnegative tensor completion via low-rank Tucker decomposition: model and algorithm | |
Chen et al. | Deep subspace image clustering network with self-expression and self-supervision | |
CN110598740B (zh) | 一种基于多样性和一致性学习的谱嵌入多视图聚类方法 | |
CN115392350A (zh) | 一种基于共正则化谱聚类的不完整多视图聚类方法和系统 | |
Friedman et al. | Active learning using a variational dirichlet process model for pre-clustering and classification of underwater stereo imagery | |
Alizadeh Naeini et al. | Assessment of normalization techniques on the accuracy of hyperspectral data clustering | |
Boutalbi et al. | Implicit consensus clustering from multiple graphs | |
Martineau et al. | Effective training of convolutional neural networks for insect image recognition | |
Gatto et al. | Multilinear clustering via tensor fukunaga–koontz transform with fisher eigenspectrum regularization | |
Jin et al. | Ensemble based extreme learning machine for cross-modality face matching |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |