CN113139556B - 基于自适应构图的流形多视图图像聚类方法及系统 - Google Patents

基于自适应构图的流形多视图图像聚类方法及系统 Download PDF

Info

Publication number
CN113139556B
CN113139556B CN202110437449.4A CN202110437449A CN113139556B CN 113139556 B CN113139556 B CN 113139556B CN 202110437449 A CN202110437449 A CN 202110437449A CN 113139556 B CN113139556 B CN 113139556B
Authority
CN
China
Prior art keywords
view
matrix
manifold
clustering
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110437449.4A
Other languages
English (en)
Other versions
CN113139556A (zh
Inventor
何萍
葛方毅
徐晓华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhou University
Original Assignee
Yangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangzhou University filed Critical Yangzhou University
Priority to CN202110437449.4A priority Critical patent/CN113139556B/zh
Publication of CN113139556A publication Critical patent/CN113139556A/zh
Application granted granted Critical
Publication of CN113139556B publication Critical patent/CN113139556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自适应构图的流形多视图图像聚类方法及系统，首先提取样本集中同一样本图像的多种特征，得到多个特征视图；然后利用各个视图上的测地线距离，结合自适应构图方法，令各个视图共享相同的聚类指示矩阵，优化获得每个视图上的流形相似度矩阵；再基于各个视图的流形相似度矩阵，构造正则化优化目标函数，将它们自适应地融合成多视图的中心流形相似度矩阵，同时获得该中心矩阵对应的多视图聚类指示矩阵；最后对最终的聚类指示矩阵进行聚类，获得基于多视图特征的图像聚类结果。本发明可以有效地表达每个图像特征视图的流形相似关系，通过共享的指示矩阵来监督构造的过程，可以提高图像聚类的准确性。

Description

基于自适应构图的流形多视图图像聚类方法及系统
技术领域
本发明属于图像识别领域，涉及图像数据集的多视图聚类，特别涉及一种基于自适应构图的流形多视图的图像聚类方法及系统。
背景技术
基于多视图的图像聚类可以有效利用各个视图的不同信息，提高图像聚类的准确性。多视图聚类的核心难点在于如何构造相似度矩阵和如何融合相似度矩阵。现如今的多视图聚类方法可以分为：协同训练方法，多核心学习方法，多视图子空间聚类方法，多视图自适应构图聚类方法和多任务多视图聚类方法等，其中多视图子空间聚类和多视图自适应构图聚类应用最为广泛。多视图子空间聚类可以分为：传统子空间，低秩表达和非负矩阵分解等。其中低秩表达是通过对多视图特征矩阵的自表达获得多个视图的低秩子空间，然后再对多个视图的低秩子空间进行融合，如中心融合，元素平均等。这种方法的优势在于可以获得多视图特征数据的整体结构，但缺点是缺少对特征之间关系的描述。为了克服这一缺陷，多视图自适应构图聚类方法通过采用自适应构图，对每个特征视图的两两元素之间构造相似度矩阵。这种方法可以构造多个视图共享的相似度矩阵进行聚类，也可以构造多个视图各自的相似度矩阵，融合后再聚类，其中后者更能延长融合目标聚类指示矩阵过程的深度，对处理图像数据集中的噪声有一定优势。
在本发明作出之前，已有的多视图聚类大多直接基于欧式距离估计各个视图的相似度矩阵，没有充分考虑各个视图所在的流形结构。另外，现有自适应的方法一般独立地构造各个视图的相似图矩阵，没有充分利用聚类指示矩阵的一致性对其进行引导，因此对多视图之间的相互关系上缺乏充分的探索。
发明内容
发明目的：本发明的目的在于克服上述缺陷，设计一种基于自适应构图的流形多视图图像聚类方法及系统，能够更好地利用图像不同特征视图间的相互关系，提高图像聚类的准确性。
技术方案：为实现上述发明目的，本发明采用如下技术方案：
一种基于自适应构图的流形多视图图像聚类方法，包括如下步骤：
(1)提取样本集中同一样本图像的多种特征，得到多个特征视图，每个视图对应所有样本图像的一种特征；
(2)利用各个视图上的测地线距离，结合自适应构图方法，令各个视图共享相同的聚类指示矩阵，优化获得每个视图上的流形相似度矩阵；
(3)基于各个视图的流形相似度矩阵，构造正则化优化目标函数，将它们自适应地融合成多视图的中心流形相似度矩阵，同时获得该中心矩阵对应的多视图聚类指示矩阵；
(4)对步骤(3)得到的最终的聚类指示矩阵进行聚类，获得基于多视图特征的图像聚类结果。
作为优选，所述同一样本图像的多种特征包括CENTRIST、Color Moment、HOG、LBP和SIFT特征中的至少两种。
作为优选，所述步骤(2)中每个视图v上的图像样本间测地线距离计算方法为：为样本集中的所有样本构造一个加权无向图H(v)＝<V(v),E(v)>，每个样本都是图H(v)中的一个顶点，边集合
Figure BDA0003033626190000021
表示图像样本/>
Figure BDA0003033626190000022
和/>
Figure BDA0003033626190000023
之间的欧氏距离，第v个视图的图像样本
Figure BDA0003033626190000024
和/>
Figure BDA0003033626190000025
间的测地线距离/>
Figure BDA0003033626190000026
通过使用它们在H(v)上的Dijkstra最短距离计算获得。
作为优选，所述步骤(2)中优化获得每个视图上的流形相似度矩阵的目标函数为：
Figure BDA0003033626190000027
Figure BDA0003033626190000028
其中，m表示特征视图的数量，n表示样本图像的个数，
Figure BDA0003033626190000029
表示视图v下图像样本
Figure BDA00030336261900000210
到/>
Figure BDA00030336261900000211
间的测地线距离，/>
Figure BDA00030336261900000212
表示视图v下/>
Figure BDA00030336261900000213
到/>
Figure BDA00030336261900000214
间的相似度，S(v)表示第v个视图的流形相似度矩阵，/>
Figure BDA00030336261900000215
是S(v)的第i列向量，/>
Figure BDA00030336261900000216
表示S(v)的拉普拉斯矩阵，P表示多个拉普拉斯矩阵共享的聚类指示矩阵，1表示全1向量，I表示单位矩阵，tr(.)表示对矩阵求迹，α和β是用于控制正则项权重的超参数。
作为优选，所述步骤(2)中采用拉格朗日乘数法和交替迭代更新的方法求解目标函数。
作为优选，所述步骤(3)中优化获得最终聚类指示矩阵的目标函数为：
Figure BDA0003033626190000031
s.t.ui,j≥0,1Tui＝1,FTF＝I
其中，
Figure BDA0003033626190000032
表示中心流形相似度矩阵，LU是关于U的拉普拉斯矩阵，w(c)表示第v个视图的权重，/>
Figure BDA0003033626190000033
表示最终的聚类指示矩阵，c表示图像的类别数，ui＝[ui,j]n×1为U的列向量，其第j个元素为ui,j，λ和η为正则化参数。
作为优选，所述步骤(3)中采用拉格朗日乘数法和交替迭代更新的方法求解目标函数。
基于相同的发明构思，本发明提供的一种基于自适应构图的流形多视图图像聚类系统，包括：
图像特征提取模块，用于提取样本集中同一样本图像的多种特征，得到多个特征视图，每个视图对应所有样本图像的一种特征；
流形相似度矩阵构造模块，用于利用各个视图上的测地线距离，结合自适应构图方法，令各个视图共享相同的聚类指示矩阵，优化获得每个视图上的流形相似度矩阵；
聚类指示矩阵计算模块，用于基于各个视图的流形相似度矩阵，构造正则化优化目标函数，将它们自适应地融合成多视图的中心流形相似度矩阵，同时获得该中心矩阵对应的多视图聚类指示矩阵；
以及，图像聚类模块，用于对得到的最终的聚类指示矩阵进行聚类，获得基于多视图特征的图像聚类结果。
基于相同的发明构思，本发明提供的一种基于自适应构图的流形多视图图像聚类系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的基于自适应构图的流形多视图图像聚类方法。
有益效果：本发明引入测地线距离来描述图像样本在流形空间中的相似关系，同时利用共享指示矩阵监督各个视图的流形相似度矩阵的构造，再自适应地分配不同的权重将多个视图的流形相似度矩阵融合为一个中心相似度矩阵，最后诱导出统一聚类指示矩阵，从而更好地利用了图像特征视图间的相互关系。与现有方法相比，本发明的优点如下：
1、通过共享指示矩阵构造每个视图的相似图，并在融合过程对每个相似图赋予自适应权重。在融合过程中借助学习所有视图共享的指示矩阵用于聚类可以更好的表达每个视图的相似度关系；
2、基于流形结构，采用测地线距离来描述图像样本之间的流形结构，可以更好的表达图像样本在流形空间下的相似关系；
3、通过自适应地分配权重来构造多视图的中心融合流形相似度矩阵，再通过中心融合矩阵诱导出统一的聚类指示矩阵。此过程更好地利用了不同视图之间的相互关系，因此有利于提高聚类的准确性；
本发明对多图像特征视图之间的相互关系上进行了更为充分的探索，可以有效地表达每个视图中样本图像的流形相似关系，通过共享的指示矩阵来监督构造的过程，可以提高图像聚类的准确性。大量实验证明本发明的方法的有效性，且其聚类性能明显优于以往多种多视图融合的方法。
附图说明
图1为本发明实施例的方法总体流程示意图。
图2为本发明实施例的方法详细结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案进行进一步说明。
本发明采用共享聚类指示矩阵来引导构造多个图像特征视图的流形相似度矩阵，并且通过自适应学习权重将多个相似度矩阵融合为中心流形相似度矩阵，产生出最终的聚类指示矩阵。克服了以往多视图聚类缺少对不同视图之间关系描述的缺陷。通过共享聚类指示矩阵来构造多个视图的流形相似度矩阵可以获得更优的相似度表达，可以提高聚类的精确性。通过自适应分配权重融合为中心流形相似度矩阵，再诱导出统一的矩阵指示矩阵获得最终聚类结果。如图1所示，本发明实施例公开的基于自适应构图的流形多视图图像聚类方法，主要步骤如下：
(1)提取样本集中同一样本图像的多种特征，得到多个特征视图，每个视图对应所有样本图像的一种特征。这里提取的多种图像特征可以是CENTRIST(调查变换直方图)、Color Moment(颜色矩)、HOG(方向梯度直方图)、LBP(局部二值模式)和SIFT(尺度不变特征变换)等等。
(2)对每个视图自适应地构造共享聚类指示矩阵的流形相似度矩阵，首先计算每个视图的图像样本间测地线距离，然后利用各个视图上的测地线距离，结合自适应构图方法，令各个视图共享相同的聚类指示矩阵，从而优化获得每个视图上的流形相似度矩阵。
(3)自适应地构造多视图的中心融合流形相似度矩阵，获得最终的聚类指示矩阵，首先自适应地融合各个视图的流形相似度矩阵，获得多视图的中心流形相似度矩阵，然后对中心融合流形相似度矩阵应用谱聚类算法，获得其对应的聚类指示矩阵。
(4)对最终的聚类指示矩阵进行聚类，获得基于多视图特征的图像聚类结果。
步骤(2)对每个视图自适应地构造共享聚类指示矩阵的流形相似度矩阵。首先计算图像样本间测地线距离，具体为：为图像数据集中的所有样本构造一个加权无向图H(v)＝<V(v),E(v)>，每个样本都是图H(v)中的一个顶点，边集合
Figure BDA0003033626190000051
表示图像样本/>
Figure BDA0003033626190000052
和/>
Figure BDA0003033626190000053
之间的欧氏距离。令q(v)表示图中一条由图像样本/>
Figure BDA0003033626190000054
到/>
Figure BDA0003033626190000055
的路径，/>
Figure BDA0003033626190000056
表示所有由图像样本/>
Figure BDA0003033626190000057
到/>
Figure BDA0003033626190000058
的路径的集合，则第v个视图的图像样本/>
Figure BDA0003033626190000059
和/>
Figure BDA00030336261900000510
间的测地线距离/>
Figure BDA00030336261900000511
可用Dijkstra最短距离近似获得：
Figure BDA00030336261900000512
然后利用各个视图上的测地线距离，结合自适应构图方法，令各个视图共享相同的聚类指示矩阵，从而优化获得每个视图上的流形相似度矩阵。具体为：假设
Figure BDA00030336261900000513
表示视图v下/>
Figure BDA00030336261900000514
到/>
Figure BDA00030336261900000515
元素间的相似度，S(v)表示第v个视图的流形相似度矩阵，/>
Figure BDA00030336261900000516
表示S(v)的拉普拉斯矩阵，P表示多个拉普拉斯矩阵共享的聚类指示矩阵，则该步骤的目标函数如下：
Figure BDA00030336261900000517
Figure BDA00030336261900000518
其中，第一项和第二项是对各个视图的流形自适应构图，用于捕获各个视图的流形结构，其中m表示特征视图的数量，n表示样本图像的个数，
Figure BDA00030336261900000519
是S(v)的第i列向量，1表示全1向量，I表示单位矩阵，第三项/>
Figure BDA00030336261900000520
是对各个视图进行谱聚类，并强制不同视图之间共享相同的聚类指示矩阵，从而引导各个视图的流形相似度矩阵构造，tr(.)表示对矩阵求迹，α和β是用于控制正则项权重的超参数。为了求解(2)式，我们使用拉格朗日乘数法，用迭代更新的方法，求解过程如下：
第一步：固定P不动，更新S(v)：
我们令
Figure BDA0003033626190000061
表示第i个图像样本到其他图像样本的测地线距离向量,其第j个元素为di,j。同时令hi＝[hi,j]n×1且其第j个元素为/>
Figure BDA0003033626190000062
然后，简化表达公式(2)，可得如下表示：
Figure BDA0003033626190000063
Figure BDA0003033626190000064
通过以向量形式化简可以得到：
Figure BDA0003033626190000065
Figure BDA0003033626190000066
由(4)式可知各个si可以独立求解。
Figure BDA0003033626190000067
关于si的优化函数是
Figure BDA0003033626190000068
设
Figure BDA0003033626190000069
且其第j个元素为τi,j。(5)式对应其对应的拉格朗日方程可以写为：
Figure BDA00030336261900000610
其中b和ξ是拉格朗日乘子。通过对拉格朗日函数(6)式求导令其值为0，结合KKT条件，可以得到：
Figure BDA00030336261900000611
公式(7)中(a)+表示取非负值，即当a≥0时，(a)+＝a，当a<0时，(a)+＝0。我们假设
Figure BDA00030336261900000612
有/>
Figure BDA00030336261900000613
个非零值，根据/>
Figure BDA00030336261900000614
可得/>
Figure BDA00030336261900000615
为了求取/>
Figure BDA00030336261900000616
的非零值，我们将τi中的元素从小到大的顺序排序为τi,1,...,τi,n，结合公式(7)并代入b，可以获得向量/>
Figure BDA00030336261900000617
的第j个值为：
Figure BDA0003033626190000071
同时为了确定
Figure BDA0003033626190000072
的值，因为/>
Figure BDA0003033626190000073
有/>
Figure BDA0003033626190000074
个非零值，我们将/>
Figure BDA0003033626190000075
代入如下不等式：
Figure BDA0003033626190000076
通过化简可得：
Figure BDA0003033626190000077
通过以上算法，可以确定各个
Figure BDA0003033626190000078
继而确定各个/>
Figure BDA0003033626190000079
从而获得共享指示矩阵构成的每个视图的流形相似度矩阵S(v)。
第二步：固定S(v)不动，更新P：
我们只取(2)式中与P相关的项，则优化P可以为如下形式：
Figure BDA00030336261900000710
s.t.PTP＝I
将
Figure BDA00030336261900000711
展开，对于(11)式可以进一步写成如下形式：
Figure BDA00030336261900000712
s.t.PTP＝I
其中D(v)＝diag(S(v)1)表示S(v)对应的度数矩阵，diag(·)为对角矩阵构造函数。令
Figure BDA00030336261900000713
则(12)式可以表达为：
Figure BDA00030336261900000714
s.t.PTP＝I
求解(13)式中P的最优解由M矩阵的最小c个特征值对应的特征向量构成，c表示图像的类别数。以上第一步和第二步过程需重复迭代，直至收敛。即根据公式(8)和公式(13)迭代地更新S(v)和P，即可获得各个视图的流形相似度矩阵S(v)。
步骤(3)自适应地构造多视图的中心融合流形相似度矩阵，获得其对应的聚类指示矩阵，具体为：自适应地对每个相似度矩阵加权，以找到中心流形相似度矩阵
Figure BDA0003033626190000081
我们通过从相似度矩阵S(1),...,S(m)计算中心矩阵U，其中U的列向量为ui＝[ui,j]n×1，且其第j个元素为ui,j。假设各个视图的权重向量/>
Figure BDA0003033626190000082
其中w(v)是第v个视图的权重，则求解中心流形相似度矩阵的公式为：
Figure BDA0003033626190000083
Figure BDA0003033626190000084
‖·‖F表示求取矩阵的F范数。根据Nie等人所提出的方法，权重w(v)可以自适应确定。
Figure BDA0003033626190000085
假设图像的类别数为c，多视图聚类结果可以通过对U进行谱聚类获得，即:
Figure BDA0003033626190000086
其中
Figure BDA0003033626190000087
是最终的聚类指示矩阵，LU是关于U的拉普拉斯矩阵。通过将中心融合流形相似度矩阵的计算((14)式)与聚类指示矩阵的计算((16)式)相结合，再加入U的F范数正则项以避免平凡解，因此步骤(3)的目标函数为:
Figure BDA0003033626190000088
Figure BDA0003033626190000089
其中λ和η为正则化参数。因为(17)式中所有变量都是耦合的，我们可以通过拉格朗日乘数法和交替迭代算法来计算U，w和F。详细的更新规则如下所示：
第一步：固定U和F不动，更新w：
当U和F固定时，公式(17)的第二项和第三项是一个常数。因而只考虑公式(14)。如前所述，
Figure BDA00030336261900000810
w(v)的值可以根据(15)式更新。
第二步：固定w和F不动，更新U：
当w和F固定时，优化公式(17)变为：
Figure BDA0003033626190000091
Figure BDA0003033626190000092
由于
Figure BDA0003033626190000093
因此(18)可以被重写为：
Figure BDA0003033626190000094
Figure BDA0003033626190000095
我们表示令
Figure BDA0003033626190000096
并进一步将δi表示为向量且其第j个元素为δi,j。然后，我们可以将(19)式表示为如下形式：
Figure BDA0003033626190000097
Figure BDA0003033626190000098
由(20)式可知各个ui可以独立求解。
Figure BDA0003033626190000099
关于ui的优化函数是
Figure BDA00030336261900000910
s.t.ui,j≥0,1Tui＝1
设
Figure BDA00030336261900000911
且其第j个元素为qi,j。公式(21)对应的拉格朗日方程可以写为：
Figure BDA00030336261900000912
其中φ和
Figure BDA00030336261900000913
是拉格朗日乘子。通过对(22)式求导令其值为0，并结合KKT条件，可以得到：
ui,j＝(-qi,j+φ)+#(23)
我们假设ui有
Figure BDA00030336261900000914
个非零值，根据1Tui＝1，则/>
Figure BDA00030336261900000915
为了求取ui的非零值，我们将qi中的元素从小到大的顺序重新排序为qi,1,...,qi,n，结合公式(23)代入φ，结合公式(23)可以获得向量ui的第j个值为：
Figure BDA00030336261900000916
为了确定
Figure BDA00030336261900000917
的值，我们根据ui有/>
Figure BDA00030336261900000918
个非零值，将/>
Figure BDA00030336261900000919
代入如下不等式：
Figure BDA0003033626190000101
通过化简可得：
Figure BDA0003033626190000102
通过以上算法，可以确定各个
Figure BDA0003033626190000103
继而确定各个ui，从而获得最终的中心流形相似度矩阵U。
第三步：固定w和U不动，更新F：
在固定w和U的情况下，优化F可为优化以下公式：
Figure BDA0003033626190000104
F的最优解是由LU矩阵的最小c个特征值对应的特征向量构成。至此，所有变量均已更新。以上过程重复迭代，直至收敛。即根据公式(15)、公式(24)和公式(27)迭代地更新w(v)、U和F，即可获得最终的聚类指示矩阵F。
步骤(4)对最终的聚类指示矩阵应用k-means算法，即可获得基于多视图特征的图像聚类结果。
基于相同的发明构思，本发明实施例公开的一种基于自适应构图的流形多视图图像聚类系统，包括：图像特征提取模块，用于提取样本集中同一样本图像的多种特征，得到多个特征视图，每个视图对应所有样本图像的一种特征；流形相似度矩阵构造模块，用于利用各个视图上的测地线距离，结合自适应构图方法，令各个视图共享相同的聚类指示矩阵，优化获得每个视图上的流形相似度矩阵；聚类指示矩阵计算模块，用于基于各个视图的流形相似度矩阵，构造正则化优化目标函数，将它们自适应地融合成多视图的中心流形相似度矩阵，同时获得该中心矩阵对应的多视图聚类指示矩阵；以及，图像聚类模块，用于对得到的最终的聚类指示矩阵进行聚类，获得基于多视图特征的图像聚类结果。各模块的详细实施步骤参考上述方法实施例，此处不再赘述。
基于相同的发明构思，本发明实施例公开的一种基于自适应构图的流形多视图图像聚类系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被加载至处理器时实现上述的一种基于自适应构图的流形多视图图像聚类方法。
为证明本发明的效果，将本发明在不同图像数据集上分别与现有方法进行了对比。
表1在不同图像数据集上的ACC聚类指标(均值)比较
Figure BDA0003033626190000111
表2在不同图像数据集上的NMI聚类指标(均值)比较
Figure BDA0003033626190000112
表3在不同图像数据集上的ARI聚类指标(均值)比较
Figure BDA0003033626190000113
表4在不同图像数据集上的F聚类指标(均值)比较
Figure BDA0003033626190000114
如表1-表4所示，展示了本发明(英文缩写为ACMC)在5个真实图像数据集下的聚类表现情况。5个数据集包括两种一般图像数据集和三种手写数字图像数据集。MRSC-V1数据集包含8个类的240幅图像，由树、建筑、飞机、牛、脸、汽车、自行车组成7个类，每个类有30张图片。100leaves数据集中每个样本都是100种植物中的一种，由1600个样本和三个视图特征(包括HOG，LBP和SIFT)组成。HW手写数字数据集由2000个样本和6个视图特征组成，其中每个样本是一个手写数字(0-9)。HW2手写数字数据集包含MNIST手写数字和USPS手写数字共收录2000个样本。UCI数字数据集由荷兰实用地图中提取2000个手写数字组成，每个类有200个样本，每个样本有6个特征集。表1-表4分别对比了本发明与现有7种不同图像聚类算法的ACC，NMI，ARI，F-measure四个指标性能。可以看到，本发明(ACMC)在大多数指标和大多数数据集上实验效果更佳。

Claims (7)

1.基于自适应构图的流形多视图图像聚类方法，其特征在于，包括如下步骤：
(1)提取样本集中同一样本图像的多种特征，得到多个特征视图，每个视图对应所有样本图像的一种特征；
(2)利用各个视图上的测地线距离，结合自适应构图方法，令各个视图共享相同的聚类指示矩阵，优化获得每个视图上的流形相似度矩阵；其中优化获得每个视图上的流形相似度矩阵的目标函数为：
Figure FDA0004225822350000011
其中，m表示特征视图的数量，n表示样本图像的个数，
Figure FDA0004225822350000012
表示视图v下图像样本/>
Figure FDA0004225822350000013
到
Figure FDA0004225822350000014
间的测地线距离，/>
Figure FDA0004225822350000015
表示视图v下/>
Figure FDA0004225822350000016
到/>
Figure FDA0004225822350000017
间的相似度，S(v)表示第v个视图的流形相似度矩阵，/>
Figure FDA0004225822350000018
是S(v)的第i列向量，/>
Figure FDA00042258223500000112
表示S(v)的拉普拉斯矩阵，P表示多个拉普拉斯矩阵共享的聚类指示矩阵，1表示全1向量，I表示单位矩阵，tr(.)表示对矩阵求迹，α和β是用于控制正则项权重的超参数；
(3)基于各个视图的流形相似度矩阵，构造正则化优化目标函数，将它们自适应地融合成多视图的中心流形相似度矩阵，同时获得该中心流形相似度矩阵对应的多视图聚类指示矩阵；其中优化获得最终聚类指示矩阵的目标函数为：
Figure FDA0004225822350000019
s.t.ui,j≥0,1Tui＝1,FTF＝I
其中，m表示特征视图的数量，b表示样本图像的个数，
Figure FDA00042258223500000110
表示中心流形相似度矩阵，LU是关于U的拉普拉斯矩阵，w(v)表示第v个视图的权重，S(v)表示第v个视图的流形相似度矩阵，/>
Figure FDA00042258223500000111
表示最终的聚类指示矩阵，c表示图像的类别数，ui＝[ui,j]n×1为U的列向量，其第j个元素为ui,j，1表示全1向量，I表示单位矩阵，tr(.)表示对矩阵求迹，λ和η为正则化参数；
(4)对步骤(3)得到的最终的聚类指示矩阵进行聚类，获得基于多视图特征的图像聚类结果。
2.根据权利要求1所述的基于自适应构图的流形多视图图像聚类方法，其特征在于，所述同一样本图像的多种特征包括CENTRIST、Color Moment、HOG、LBP和SIFT特征中的至少两种。
3.根据权利要求1所述的基于自适应构图的流形多视图图像聚类方法，其特征在于，所述步骤(2)中每个视图v上的图像样本间测地线距离计算方法为：为样本集中的所有样本构造一个加权无向图
Figure FDA0004225822350000021
每个样本都是图H(v)中的一个顶点，边集合
Figure FDA0004225822350000022
表示图像样本/>
Figure FDA0004225822350000023
和/>
Figure FDA0004225822350000024
之间的欧氏距离，第v个视图的图像样本/>
Figure FDA0004225822350000025
和/>
Figure FDA0004225822350000026
间的测地线距离/>
Figure FDA0004225822350000027
通过使用它们在H(v)上的Dijkstra最短距离计算获得。
4.根据权利要求1所述的基于自适应构图的流形多视图图像聚类方法，其特征在于，所述步骤(2)中采用拉格朗日乘数法和交替迭代更新的方法求解目标函数。
5.根据权利要求1所述的基于自适应构图的流形多视图图像聚类方法，其特征在于，所述步骤(3)中采用拉格朗日乘数法和交替迭代更新的方法求解目标函数。
6.基于自适应构图的流形多视图图像聚类系统，其特征在于，包括：
图像特征提取模块，用于提取样本集中同一样本图像的多种特征，得到多个特征视图，每个视图对应所有样本图像的一种特征；
流形相似度矩阵构造模块，用于利用各个视图上的测地线距离，结合自适应构图方法，令各个视图共享相同的聚类指示矩阵，优化获得每个视图上的流形相似度矩阵；其中优化获得每个视图上的流形相似度矩阵的目标函数为：
Figure FDA0004225822350000028
Figure FDA0004225822350000029
其中，m表示特征视图的数量，n表示样本图像的个数，
Figure FDA00042258223500000210
表示视图v下图像样本/>
Figure FDA00042258223500000211
到
Figure FDA00042258223500000212
间的测地线距离，/>
Figure FDA00042258223500000213
表示视图v下/>
Figure FDA00042258223500000214
到/>
Figure FDA00042258223500000215
间的相似度，S(v)表示第v个视图的流形相似度矩阵，/>
Figure FDA00042258223500000216
是S(v)的第i列向量，/>
Figure FDA00042258223500000217
表示S(v)的拉普拉斯矩阵，P表示多个拉普拉斯矩阵共享的聚类指示矩阵，1表示全1向量，I表示单位矩阵，tr(.)表示对矩阵求迹，α和β是用于控制正则项权重的超参数；
聚类指示矩阵计算模块，用于基于各个视图的流形相似度矩阵，构造正则化优化目标函数，将它们自适应地融合成多视图的中心流形相似度矩阵，同时获得该中心流形相似度矩阵对应的多视图聚类指示矩阵；其中优化获得最终聚类指示矩阵的目标函数为：
Figure FDA0004225822350000031
s.t.ui,j≥0,1Tui＝1,FTF＝I
其中，m表示特征视图的数量，n表示样本图像的个数，
Figure FDA0004225822350000032
表示中心流形相似度矩阵，LU是关于U的拉普拉斯矩阵，w(v)表示第v个视图的权重，S(v)表示第v个视图的流形相似度矩阵，/>
Figure FDA0004225822350000033
表示最终的聚类指示矩阵，c表示图像的类别数，ui＝[ui,j]n×1为U的列向量，其第j个元素为ui,j，1表示全1向量，I表示单位矩阵，tr(.)表示对矩阵求迹，λ和η为正则化参数；
以及，图像聚类模块，用于对得到的最终的聚类指示矩阵进行聚类，获得基于多视图特征的图像聚类结果。
7.基于自适应构图的流形多视图图像聚类系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-5任一项所述的基于自适应构图的流形多视图图像聚类方法。
CN202110437449.4A 2021-04-22 2021-04-22 基于自适应构图的流形多视图图像聚类方法及系统 Active CN113139556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110437449.4A CN113139556B (zh) 2021-04-22 2021-04-22 基于自适应构图的流形多视图图像聚类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110437449.4A CN113139556B (zh) 2021-04-22 2021-04-22 基于自适应构图的流形多视图图像聚类方法及系统

Publications (2)

Publication Number Publication Date
CN113139556A CN113139556A (zh) 2021-07-20
CN113139556B true CN113139556B (zh) 2023-06-23

Family

ID=76813649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110437449.4A Active CN113139556B (zh) 2021-04-22 2021-04-22 基于自适应构图的流形多视图图像聚类方法及系统

Country Status (1)

Country Link
CN (1) CN113139556B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882262B (zh) * 2022-05-07 2024-01-26 四川大学 一种基于拓扑流形的多视图聚类方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776812A (zh) * 2018-05-31 2018-11-09 西安电子科技大学 基于非负矩阵分解和多样-一致性的多视图聚类方法
CN109002854A (zh) * 2018-07-20 2018-12-14 西安电子科技大学 基于隐表示和自适应的多视图子空间聚类方法
CN109063725A (zh) * 2018-06-13 2018-12-21 江苏理工学院 面向多视图聚类的多图正则化深度矩阵分解方法
CN109214429A (zh) * 2018-08-14 2019-01-15 聚时科技(上海)有限公司 基于矩阵引导正则化的局部缺失多视图聚类机器学习方法
CN110990775A (zh) * 2019-11-28 2020-04-10 江苏理工学院 基于多流形对偶图正则化非负矩阵分解的多视图聚类方法
CN111401429A (zh) * 2020-03-12 2020-07-10 安徽理工大学 基于聚类自适应典型相关分析的多视角图像聚类方法
CN111814896A (zh) * 2020-07-20 2020-10-23 福州大学 一种面向多视图特征融合与聚类的联合优化方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10885379B2 (en) * 2018-09-04 2021-01-05 Inception Institute of Artificial Intelligence, Ltd. Multi-view image clustering techniques using binary compression

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776812A (zh) * 2018-05-31 2018-11-09 西安电子科技大学 基于非负矩阵分解和多样-一致性的多视图聚类方法
CN109063725A (zh) * 2018-06-13 2018-12-21 江苏理工学院 面向多视图聚类的多图正则化深度矩阵分解方法
CN109002854A (zh) * 2018-07-20 2018-12-14 西安电子科技大学 基于隐表示和自适应的多视图子空间聚类方法
CN109214429A (zh) * 2018-08-14 2019-01-15 聚时科技(上海)有限公司 基于矩阵引导正则化的局部缺失多视图聚类机器学习方法
CN110990775A (zh) * 2019-11-28 2020-04-10 江苏理工学院 基于多流形对偶图正则化非负矩阵分解的多视图聚类方法
CN111401429A (zh) * 2020-03-12 2020-07-10 安徽理工大学 基于聚类自适应典型相关分析的多视角图像聚类方法
CN111814896A (zh) * 2020-07-20 2020-10-23 福州大学 一种面向多视图特征融合与聚类的联合优化方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Auto-Weighted Multi-View Learning for Image Clustering and Semi-Supervised Classification";Feiping Nie etal;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;第1501-1511页 *
"Discriminative subspace matrix factorization for multiview data clustering";Jiaqi Ma etal;《Pattern Recognition》;第1-11页 *
"一种多流形正则化的多视图非负矩阵分解算法";宗林林 等;《南京大学学报（自然科学）》;第557-568页 *

Also Published As

Publication number Publication date
CN113139556A (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
US11537884B2 (en) Machine learning model training method and device, and expression image classification method and device
Li et al. Learning deep semantic segmentation network under multiple weakly-supervised constraints for cross-domain remote sensing image semantic segmentation
WO2015062209A1 (zh) 随机森林分类模型的可视化优化处理方法及装置
CN113705772A (zh) 一种模型训练方法、装置、设备及可读存储介质
Li et al. An efficient manifold regularized sparse non-negative matrix factorization model for large-scale recommender systems on GPUs
CN111898703B (zh) 多标签视频分类方法、模型训练方法、装置及介质
CN109859209B (zh) 遥感影像分割方法、装置及存储介质、服务器
CN111695494A (zh) 一种基于多视角卷积池化的三维点云数据分类方法
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
Sun et al. PGCNet: patch graph convolutional network for point cloud segmentation of indoor scenes
CN112287935B (zh) 一种基于显著性先验的图像语义分割方法及系统
Hsieh Evolution of machine learning in environmental science—A perspective
CN113139556B (zh) 基于自适应构图的流形多视图图像聚类方法及系统
CN109858543B (zh) 基于低秩稀疏表征和关系推断的图像可记忆度预测方法
Xu et al. The image segmentation algorithm of colorimetric sensor array based on fuzzy C-means clustering
Li et al. Facial age estimation by deep residual decision making
Gong et al. A superpixel segmentation algorithm based on differential evolution
Wang et al. Semi-supervised multi-view clustering with weighted anchor graph embedding
CN113408652B (zh) 基于群表示特征的半监督学习图像分类方法
CN109614581A (zh) 基于对偶局部学习的非负矩阵分解聚类方法
CN112860936B (zh) 一种基于稀疏图相似度迁移的视觉行人重识别方法
CN111428741B (zh) 网络社区的发现方法、装置、电子设备及可读存储介质
Luo et al. Multi‐scale information extraction from high resolution remote sensing imagery and region partition methods based on GMRF–SVM
Huo et al. Local graph regularized coding for salient object detection
CN113704528A (zh) 聚类中心确定方法、装置和设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant