CN114898167A - 基于视图间差异性检测的多视图子空间聚类方法及系统 - Google Patents

基于视图间差异性检测的多视图子空间聚类方法及系统 Download PDF

Info

Publication number
CN114898167A
CN114898167A CN202210524435.0A CN202210524435A CN114898167A CN 114898167 A CN114898167 A CN 114898167A CN 202210524435 A CN202210524435 A CN 202210524435A CN 114898167 A CN114898167 A CN 114898167A
Authority
CN
China
Prior art keywords
view
matrix
graph
similarity matrix
subspace clustering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210524435.0A
Other languages
English (en)
Inventor
黄树东
刘奕汐
杨帆
冯文涛
汤臣薇
叶庆
刘权辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202210524435.0A priority Critical patent/CN114898167A/zh
Publication of CN114898167A publication Critical patent/CN114898167A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G06F18/21322—Rendering the within-class scatter matrix non-singular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G06V30/19093—Proximity measures, i.e. similarity or distance measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19107—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1912—Selecting the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G06F18/21322—Rendering the within-class scatter matrix non-singular
    • G06F18/21328—Rendering the within-class scatter matrix non-singular involving subspace restrictions, e.g. nullspace techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视图间差异性检测的多视图子空间聚类方法及系统，通过采集视图样本数据点，并根据视图样本数据点构建多视图数据集；并根据多视图数据集构建基于多视图的相似矩阵；利用基于视图间差异性检测筛选基于多视图的相似矩阵，得到基于视图一致的纯图，并基于视图一致的纯图构建共识图；根据基于视图一致的纯图、共识图以及基于多视图的相似矩阵构建基于多视图子空间聚类的目标函数，并对基于多视图子空间聚类的目标函数进行迭代优化，得到最优多视图子空间聚类结果；本发明提出了可同时检测多视图一致性和视图间差异性，并根据多视图一致性和视图间差异性获取多视图之间的互补信息，可用于人脸识别以及手写字体分类。

Description

基于视图间差异性检测的多视图子空间聚类方法及系统
技术领域
本发明涉及多视图子空间聚类技术领域，具体涉及一种基于视图间差异性检测的多视图子空间聚类方法及系统。
背景技术
近年来，越来越多的现实世界数据集的信息来自于多种模式(视图)或由不同的来源构成。比如可以用不同的视觉描述符来表示视频和图像；文档可以用不同的语言来表达；可以根据客户的年龄、收入和信用评分构建贷款评分系统等现实应用。然而，这些算法由于往往忽略了可能影响最终聚类结果的视图多样性，最终得不到最佳的聚类结果。因此，探索多个视图之间互补信息和一致信息是至关重要的。在无监督学习领域，多视图聚类为实现这一目标做出了贡献，其中，多视图子空间聚类方法有助于在任务中获得更理想的聚类结果。
现有技术中，可通过在某些给定条件下如果0<p≤1，则所有底层子空间结构都可以通过lp最小化准确恢复；亦或从数据点中发现最低秩表示，这些数据点使用数据字典中基准的线性组合来描述数据样本；该算法不仅可以精确地恢复初始图的行空间，还可以找到损坏数据。
子空间聚类算法主要侧重于揭示底层子空间以正确分组数据点并获得相应的部分，现有技术中，可同时对每个视图的子空间表示进行聚类，并采用一个共同的指标来保证不同视图之间的一致性。现有的多视图子空间聚类方法主要侧重于学习每个视图的相似图，并通过合理整合这些相似图来构建一致图；亦或基于二分图的多视图联合聚类方法，为每个视图构建一个二分图，以便提取数据的共识结构。
融合相似图学习和多视图子空间信息的聚类方法被提出来且取得一定的成果，现有技术中，可将锚学习和图构建结合到一个统一的框架中来提取互补的多视图信息，其中共识锚和各自的视图置换矩阵被协同优化；亦或为了同时考虑相似度学习、多视图分区信息融合和聚类的过程，可采用共识一步多视图子空间聚类方法；
尽管上述多视图聚类方法在现实世界中已被广泛应用许多任务，但它们仍然存在一些缺陷；一方面，这些方法只考虑了多视图的互补性，并没有明确地探索视图特定的特征，这可能导致它们的性能下降，因为它们不能完美契合真实世界的数据集；另一方面，这些方法中的图学习和后续的多视图聚类通常是分开的。因此，构建的图可能不适用于后续聚类，更不用说获得最佳聚类结果了。
发明内容
针对现有技术中的上述不足，本发明提供一种基于视图间差异性检测的多视图子空间聚类方法及系统，提出了一种新的多视图聚类方法，可同时检测多视图一致性和视图间差异性，并将多视图一致性和视图间差异性用于获取多视图之间的互补信息，可用于人脸识别以及手写字体分类。
为了达到上述发明目的，本发明采用的技术方案为：
一方面，一种基于视图间差异性检测的多视图子空间聚类方法，包括以下分步骤：
S1、采集视图样本数据点，并根据视图样本数据点构建多视图数据集；
S2、根据多视图数据集构建基于多视图的相似矩阵；
S3、利用基于视图间差异性检测筛选基于多视图的相似矩阵，得到基于视图一致的纯图；
S4、根据基于视图一致的纯图构建共识图；
S5、根据基于视图一致的纯图、共识图以及基于多视图的相似矩阵构建基于多视图子空间聚类的目标函数；
S6、对基于多视图子空间聚类的目标函数进行迭代优化，得到最优多视图子空间聚类结果。
另一方面，一种基于视图间差异性检测的多视图子空间聚类系统，包括：
数据集构建模块，用于采集视图样本数据点，并根据视图样本数据点分别构建多视图数据集；
相似矩阵构建模块，用于根据多视图数据集构建基于多视图的相似矩阵；
纯图构建模块，用于利用基于视图间差异性检测筛选基于多视图的相似矩阵，得到基于视图一致的纯图；
共识图构建模块，用于根据基于视图一致的纯图构建共识图；
目标函数构建模块，用于根据基于视图一致的纯图、共识图以及基于多视图的相似矩阵构建基于多视图子空间聚类的目标函数；
最优多视图子空间聚类结果获取模块，用于对基于多视图子空间聚类的目标函数进行迭代优化，得到最优多视图子空间聚类结果。
本发明具有以下有益效果：
采集视图样本数据点，并根据视图样本数据点构建多视图数据集；并根据多视图数据集构建基于多视图的相似矩阵；利用基于视图间差异性检测筛选基于多视图的相似矩阵，得到基于视图一致的纯图，并基于视图一致的纯图构建共识图；根据基于视图一致的纯图、共识图以及基于多视图的相似矩阵构建基于多视图子空间聚类的目标函数，并对基于多视图子空间聚类的目标函数进行迭代优化，得到最优多视图子空间聚类结果；本发明提出了一种新的多视图聚类方法，可同时检测多视图一致性和视图间差异性，并将多视图一致性和视图间差异性用于获取多视图之间的互补信息，可用于人脸识别以及手写字体分类。
附图说明
图1为本发明提供的一种基于视图间差异性检测的多视图子空间聚类方法的步骤流程图；
图2为本发明实施例中数据集Yale的聚类结果；
图3为本发明实施例中数据集MSRC-v1的聚类结果；
图4为本发明实施例中数据集BBCSport的聚类结果；
图5为本发明实施例中数据集Handwritten Digits的聚类结果；
图6为本发明实施例中通过不同方法学习的数据集Handwritten的目标图；其中，图6(a)为DiMSC方法学习的数据集Handwritten的目标图，图6(b)为MCGC方法学习的数据集Handwritten的目标图，图6(c)为MVGL方法学习的数据集Handwritten的目标图，图6(d)为MLAN方法学习的数据集Handwritten的目标图，图6(e)为CDD方法学习的数据集Handwritten的目标图，图6(f)为Ground truth方法学习的数据集Handwritten的目标图；
图7为本发明实施例中在数据集Yale上不同参数组合的聚类NMI结果图；
图8为本发明实施例中在4个数据集上目标值随迭代次数变化图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，一方面，一种基于视图间差异性检测的多视图子空间聚类方法，包括以下分步骤：
S1、采集视图样本数据点，并根据视图样本数据点构建多视图数据集；
本发明实施例中，步骤S1具体为：
采集视图，根据各视图中的样本数据点构建多视图数据集。
本发明实施例中，采集视图样本数据点可构建各视图的样本数据集X，满足：
Figure BDA0003643532940000051
并根据各视图的样本数据集构建多视图数据集X，满足：
Figure BDA0003643532940000052
其中，n为各视图样本数据点总数，X()为多视图数据集X的第v个视图，d为第v个视图的数据维度。
S2、根据多视图数据集构建基于多视图的相似矩阵；
优选地，步骤S2具体为：
A1、根据多视图数据集构建各样本数据点基于自表示属性的相似矩阵；
A2、利用正则化法优化相似矩阵，得到优化后的相似矩阵；
A3、遍历多视图数据集，根据优化后的相似矩阵构建基于多视图的相似矩阵；其中，基于多视图的相似矩阵表示为：
Figure BDA0003643532940000053
约束条件：S(v)≥0,diag(S(v))＝0
其中，S()为第v个视图上优化后的相似矩阵，即为基于多视图的相似矩阵；X(v)为多视图数据集X的第v个视图；
Figure BDA0003643532940000061
为求解矩阵各项元素值的平方和的计算符；m为多视图数据集X中视图总数；diag(.)为矩阵的对角元素；η为权重系数。
优选地，步骤A1具体为：
根据多视图数据集中各样本数据点的自表示属性，构建基于自表示属性的相似矩阵的目标函数，并以使得基于自表示属性的相似矩阵的目标函数结果最小所对应的相似矩阵，作为各样本数据点的基于自表示属性的相似矩阵；其中，基于自表示属性的相似矩阵的目标函数表示为：
Figure BDA0003643532940000062
约束条件：
Figure BDA0003643532940000063
其中，S为基于自表示属性的相似矩阵；xj为第j个样本数据点；sij为样本数据点xi与样本数据点xj的相似度；sii为基于自表示属性的相似矩阵中表示自身的数据点，自表示定义为用其他的数据点来表示自己，不包括自身，因此数值上为0；n为各视图样本数据点总数。
本发明实施例中，根据数据自表示属性，即每一个数据点都可以表示成其他数据点的线性结合，即可以写作xi＝∑jxjsij；目标函数的平方和是为了优化算法的计算时，对于原式求导不会为常数；目标函数是对于损失值的计算，上述A1的平方求和式子的计算，得到去掉平方项也并不影响符合这个最小化式子所需要的S。
优选地，步骤A2具体为：
根据正则化法构建相似矩阵的优化目标函数，并以使得优化目标函数结果最小所对应的相似矩阵，作为优化后的相似矩阵，其中相似矩阵的优化目标函数表示为：
Figure BDA0003643532940000071
约束条件：S≥0,diag(S)＝0
其中，S*为优化后的相似矩阵；X为视图上样本数据点所构建的样本数据集。
本发明实施例中，根据奥卡姆剃刀原理，在结果相同的情况下，模型倾向于选择一个最简单的解即平凡解，本发明中把只有视图上样本数据点所构建的样本数据集x中xi最近的数据点的分布概率为1其他点为0的情况称为平凡解，由于本发明提供算法是进行迭代求解，因此必须要避免平凡解。所以可通过增加正则化项
Figure BDA0003643532940000072
来约束相似矩阵S。
S3、利用基于视图间差异性检测筛选基于多视图的相似矩阵，得到基于视图一致的纯图；
优选地，步骤S3具体为：
测量多视图数据集中各视图的多样性，并根据测量结果筛选出差异一致部分与差异多样化部分，并根据一致部分得到基于视图一致的纯图。
本发明实施例中，由于视图的构建不可避免地受到包括噪声或污染数据、异常值等许多因素的影响。为了充分探索多视图之间的互补信息，本发明专注于同时检测多视图一致性以及多视图多样性。具体来说，对于每个视图，通过测量跨视图的多样性E(v)，可将相似图S(v)进行加法分解成两部分，即S(v)＝C(v)+E(v)，其中C(v)和E(v)分别表示一致部分和差异部分，且满足：C(v)和E(v)∈Rn×n≥0；获得C(v)和E(v)的主要方式为是根据多样性的定义进行区分。
大多数现有方法仅考虑噪声或损坏，这些在图上通常被认为是稀疏分布的。而本发明中的多样性代表了比噪声更广泛的概念。它不仅由噪声(或损坏)引起，还可能由任何类型的视图特定特征引起。与具有低损失率的随机噪声不同，多样性可以是任意的、无界的并且不遵循任何特定的分布。由于不同视图的特殊多样性，多样性可以出现在图上的任何地方。
因此，一张图内的稀疏性不再是检测多样性的合理假设。相反，可打算强制多样性在各个视图中是稀疏的。也就是说，多个不同的部分应该彼此之间几乎没有共同点。本发明中认为不同的部分应该是相互不一致的，否则就会与多样性的定义相矛盾。
如果视图之间的多样性是稀疏的，则不同部分的乘积之和应该很小。在数学上，有
Figure BDA0003643532940000081
其中α>0是一个权重参数；此外，每个视图中的不同部分很小，即
Figure BDA0003643532940000082
也是一个权重参数；其中，E(i)为第i个视图的纯图；μ(i)为权重系数；E(j)为第j个视图的纯图；sum(.)为求和函数。
S4、根据基于视图一致的纯图构建共识图；
优选地，步骤S4具体为：
根据基于差异一致的纯图构建基于共识图的目标函数，并以使得共识图的目标函数结果最小所对应的共识图，作为最终的共识图，其中，基于共识图的目标函数表示为：
Figure BDA0003643532940000083
约束条件：uT1＝1,U≥0
其中，U为共识图；1为全为1的列向量；C(v)为第v个视图的纯图；μ(v)为第v个视图所对应的权重，满足：
Figure BDA0003643532940000084
本发明实施例中，可通过将多个视图集成到一个共识图U中来探索多个图之间的互补信息；
其中，μ＝[μ(1),...,μ(m)]T为不同视图权重，可利用逆距离加权策略来测量每个视图的权重，计算式表示为：
Figure BDA0003643532940000091
S5、根据基于视图一致的纯图、共识图以及基于多视图的相似矩阵构建基于多视图子空间聚类的目标函数；
优选地，步骤S5中基于多视图子空间聚类的目标函数表示为：
Figure BDA0003643532940000092
约束条件：
Figure BDA0003643532940000093
Figure BDA0003643532940000094
其中，α，β，μ分别为权重系数；(.)T为矩阵转置；Tr(.)为矩阵秩；wvv为非对角元素和对角元素分别是α、β的方阵，
Figure BDA0003643532940000095
为共识图U的列向量的转置。
S6、对基于多视图子空间聚类的目标函数进行迭代优化，得到最优多视图子空间聚类结果。
优选地，步骤S6具体为：
B1、在预设条件下的共识图、基于多视图的相似矩阵、纯图，利用基于多视图子空间聚类的目标函数中约束条件更新指标矩阵，得到更新后的指标矩阵；其中指标矩阵的更新式表示为：
Figure BDA0003643532940000096
约束条件：F∈n×k,FTF＝I
其中，F为矩阵LU的特征向量构建的指标矩阵；LU为基于共识图U的矩阵，满足：LU＝D-(UT+U)/2，D为对角矩阵，满足：
Figure BDA0003643532940000101
其中，dii为对角矩阵D中的元素，uij、uji分别为共识图U中的元素；k为多视图数据中簇的数量；I为单位向量；为行列分别为n、k的全集；
本发明实施例中，为了获得更加清晰的聚类结构，也就是说当数据集包含k个簇时，共识图正好拥有k个连通分量，因此在预设条件下的共识图、基于多视图的相似矩阵、纯图，利用一下约束更新指标矩阵F。
B2、在预设条件下的基于多视图的相似矩阵、纯图、指标矩阵，利用基于多视图子空间聚类的目标函数更新共识图，得到更新后的共识图，其中共识图的更新式表示为：
Figure BDA0003643532940000102
约束条件：
Figure BDA0003643532940000103
其中，uij为共识图U的元素，
Figure BDA0003643532940000104
为第v个相似矩阵的元素，λ为样本系数，fi为指标矩阵F的第i个向量，fj为指标矩阵F中第j个向量；
Figure BDA0003643532940000105
为共识图U的列向量的转置；
B3、在预设条件下的基于多视图的相似矩阵、共识图、指标矩阵，利用基于多视图子空间聚类的目标函数更新纯图，得到更新后的纯图，其中纯图的更新式表示为：
Figure BDA0003643532940000106
Figure BDA0003643532940000107
本发明实施例中，通过上式可知：矩阵方程可以重新表述为
Figure BDA0003643532940000108
的线性方程组的n2个系统，其具有以下系数矩阵：M＝W⊙(μμT)+Diag(μ)，则令
Figure BDA0003643532940000111
可以将上述式子转换为：
Figure BDA0003643532940000112
其中，
Figure BDA0003643532940000113
为M的伪逆矩阵，最终得到C(v)。
B4、在预设条件下的共识图、纯图、指标矩阵，利用基于多视图子空间聚类的目标函数更新基于多视图的相似矩阵，得到更新后的基于多视图的相似矩阵，其更新式表示为：
Figure BDA0003643532940000115
其中，
Figure BDA0003643532940000114
E(v)＝S(v)-C(v)；(.)-1为矩阵的逆矩阵运算。
本发明实施例中，采用交替迭代最小化算法来解决CDD问题；即设置择一选择优化参量，在其余参数基于预设条件下固定，以简化基于多视图子空间聚类的目标函数，并根据简化后的目标函数得到更新后的基于多视图的相似矩阵；优化参量包括：共识图、基于多视图的相似矩阵、纯图、指标矩阵。
B5、根据更新后的基于多视图的相似矩阵、纯图、指标矩阵、共识图计算更新后的基于多视图子空间聚类的目标函数值；
B6、判断更新后的基于多视图子空间聚类的目标函数值是否满足预设条件，若满足则结束迭代优化，得到最优多视图聚类结果；否则，以当前更新后的各阈值作为预设条件下的各参量阈值，返回步骤B1。
另一方面，一种基于视图间差异性检测的多视图子空间聚类系统，包括：
数据集构建模块，用于采集视图样本数据点，并根据视图样本数据点分别构建多视图数据集；
相似矩阵构建模块，用于根据多视图数据集构建基于多视图的相似矩阵；
纯图构建模块，用于利用基于视图间差异性检测筛选基于多视图的相似矩阵，得到基于视图一致的纯图；
共识图构建模块，用于根据基于视图一致的纯图构建共识图；
目标函数构建模块，用于根据基于视图一致的纯图、共识图以及基于多视图的相似矩阵构建基于多视图子空间聚类的目标函数；
最优多视图子空间聚类结果获取模块，用于对基于多视图子空间聚类的目标函数进行迭代优化，得到最优多视图子空间聚类结果。
本发明实施例提供的一种基于视图间差异性检测的多视图子空间聚类系统包括上述一种基于视图间差异性检测的多视图子空间聚类方法的全部有益效果。
本发明实施例中，与12种最先进的多视图图聚类方法进行比较试验，以验证本发明提供模型的有效性；
其中，12种最先进的多视图图聚类方法包括：
协同训练多视图谱聚类方法-Co-train(Co-training multi-view spectralclustering)；共正则化多视图谱聚类-Co-reg(Co-regularized multi-view spectralclustering)；多样性诱导的多视图子空间聚类方法-DiMSC(Diversity-inducedmultiview subspace clustering)；自动加权多图学习方法-AMGL(Auto-weightedmultiple graph learning)；潜在多视图子空间聚类方法-LMSC(Latent multi-viewsubspace clustering)；具有自适应邻居的多视图学习方法MLAN(Multi-view learningwith adaptive neighbours)；多视图聚类的图学习方法MVGL(Graph learning formulti-view clustering)；加权多视图谱聚类方法WMSC(Weighted multi-view spectralclustering)；通过自适应加权普式进行多视图聚类方法AWP(Multi-view clustering viaadaptively weighted procrustes)；多视图共识图聚类方法MCGC(Multi-view consensusgraph clustering)；基于分区对齐的多视图子空间聚类方法mPAC(Multi-view subspaceclustering based on partitions alignment)；线性的大规模多视图子空间聚类方法LMVSC(Large-scale multi-view subspace clustering in linear time)；
其中，需要特别说明，本发明实施例中的对比度算法包括标准的谱聚类算法(SC)；则会对每个视图执行光谱聚类算法(例如，SC(1)表示基于第一个视图执行谱聚类)；此外，本发明实施例中将SC(AllFea)表示为对所有视图的连接特征执行谱聚类。
其中，包括4种不同场景的数据集：
(2)实验中采用了多个基准多视图数据集：
①数据集Yale，是一个经典的人脸数据库，包含15个人的165张图像。每个人由11张图像组成，这些图像是在不同的配置下获得的：中心光、左光、快乐、悲伤等。每张图像由三种类型的特征描述。
②数据集MSRC-v1，由8个类别的240个图像组成。本发明实施例中选择了7个类，每个类包含30张图像。对于每张图像，提取五个视觉特征以进行全面描述。
③数据集BBCSport，源自bbcsport新闻语料库，其中包含737个文档和5个带注释的标签。在这个实验中，本发明实施例构建了一个BBCSport的子集，它具有三个视图，每个视图分别有2582、2544和2465个单词。
④数据集Handwritten Digits，有2000个数字0到9的数据点，每个类别包含200个数据点。本发明实施例使用了两种视图(像素平均值和傅里叶系数)。
(3)聚类评价指标
在实验中，本发明实施例使用了3个聚类指标归一化互信息(NMI)、纯度(Purity)和F分数(F-score)评估聚类的性能。这些评价指标的值越高代表聚类性能越好。
4)不同场景的数据集上的聚类结果
其试验数据如图2至图5所示，可知：
1)多视图方法在每个数据的连接特征上普遍优于标准的谱聚类。原因在于，通常很难通过简单地利用级联来完全揭示视图之间的互补信息；
2)本发明模型CDD在大多数情况下优于其他多视图聚类方法，这证明了本发明模型CDD的有效性，并且改进是非常显着的。特别要说明的是，LMSC、MLAN、MVGL和MCGC的比较方法也是基于构建的结构图来获得最终的结果，而本发明方法获得了更好的性能；最可能的原因在于这些方法无法消除跨多个图的多样性的影响。考虑到现实世界是随机的，仅仅探索一致性或多样性是不够的，因此本发明模型CDD才能够在一般情况下提高聚类性能。
为了直观地展示所提出算法的多样性检测特性，可视化了本发明模型CDD以及其他比较方法学习的目标图。以数据集Digits为例，如图6所示，可以看到DiMSC和MCGC获得的目标图由于特定于视图的多样性而受到极大的损坏。对于MCGC方法，它无法找到正确数量的对角线块；而DiMSC甚至无法搜索目标图的块对角结构；相反，本发明模型CDD获得了具有更清晰聚类结构的纯结构化图；MVGL和MLAN得到的目标图，第一眼看上去和CDD很像，但仔细观察可以看到它们包含比CDD更多的噪声；
以上，通过同时检测多视图一致性和跨视图多样性，本发明模型CDD能够充分利用多个视图之间的互补信息。因此，本发明模型CDD可以恢复更好的聚类结构，它可以正确地逼近基本事实。
5)参数灵敏度分析
在对比试验中，本发明模型CDD对不同参数设置的灵敏度；由于如前所述，参数μ和λ能够自动确定，因此只需要在本发明模型CDD调整参数η，α和β。α在[1,1e1,1e2,12.1e4,1e5]中，β在[1e-5,1e-4,1e-3,1e-2,1e-1,1]中，和η在[1e2,1e3,1e4]中进行搜索；以数据集Yale为例，在不同的参数设置下记录其聚类性能，本次实验主要记录NMI值。如图7所示，可以看出CDD算法的聚类性能在数据集Yale的各种参数设置上都非常稳定，这展示了所提出的模型的稳健性。通常，α的最佳值大于几个数量级的β的最佳值；由于α表示不同项对模型的贡献，因此这验证了跨视图多样性测量的重要性。
6)收敛性分析
本发明模型CDD在所有数据集上的收敛曲线绘制在图8中，其中x轴表示迭代次数，y轴表示目标值；从图可知，此迭代优化算法效率很高，收敛速度很快，通常在10次迭代内算法就能达到收敛，这从经验上证明了本发明模型CDD具有很高的收敛效率。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (9)

1.一种基于视图间差异性检测的多视图子空间聚类方法，其特征在于，包括以下步骤：
S1、采集视图样本数据点，并根据各视图样本数据点构建多视图数据集；
S2、根据多视图数据集构建基于多视图的相似矩阵；
S3、利用基于视图间差异性检测筛选基于多视图的相似矩阵，得到基于视图一致的纯图；
S4、根据基于视图一致的纯图构建共识图；
S5、根据基于视图一致的纯图、共识图以及基于多视图的相似矩阵构建基于多视图子空间聚类的目标函数；
S6、对基于多视图子空间聚类的目标函数进行迭代优化，得到最优多视图子空间聚类结果。
2.根据权利要求1所述的基于视图间差异性检测的多视图子空间聚类方法，其特征在于，步骤S2具体为：
A1、根据多视图数据集构建各样本数据点基于自表示属性的相似矩阵；
A2、利用正则化法优化相似矩阵，得到优化后的相似矩阵；
A3、遍历多视图数据集，根据优化后的相似矩阵构建基于多视图的相似矩阵；其中，基于多视图的相似矩阵表示为：
Figure FDA0003643532930000011
约束条件：S(v)≥0,diag(S(v))＝0
其中，S(v)为第v个视图上优化后的相似矩阵，即为基于多视图的相似矩阵；X(v)为多视图数据集X的第v个视图；
Figure FDA0003643532930000012
为求解矩阵各项元素值的平方和的计算符；m为多视图数据集X中视图总数；diag(.)为矩阵的对角元素；η为权重系数。
3.根据权利要求2所述的基于视图间差异性检测的多视图子空间聚类方法，其特征在于，步骤A1具体为：
根据多视图数据集中各样本数据点的自表示属性，构建基于自表示属性的相似矩阵的目标函数，并以使得基于自表示属性的相似矩阵的目标函数结果最小所对应的相似矩阵，作为各样本数据点的基于自表示属性的相似矩阵；其中，基于自表示属性的相似矩阵的目标函数表示为：
Figure FDA0003643532930000021
约束条件：
Figure FDA0003643532930000022
其中，S为基于自表示属性的相似矩阵；xj为第j个样本数据点；sij为样本数据点xi与样本数据点xj的相似度；sii为基于自表示属性的相似矩阵中表示自身的数据点；n为各视图样本数据点总数。
4.根据权利要求3所述的基于视图间差异性检测的多视图子空间聚类方法，其特征在于，步骤A2具体为：
根据正则化法构建相似矩阵的优化目标函数，并以使得优化目标函数结果最小所对应的相似矩阵，作为优化后的相似矩阵，其中相似矩阵的优化目标函数表示为：
Figure FDA0003643532930000023
约束条件：S≥0,diag(S)＝0
其中，S*为优化后的相似矩阵；X为视图上样本数据点所构建的样本数据集。
5.根据权利要求1所述的基于视图间差异性检测的多视图子空间聚类方法，其特征在于，步骤S3具体为：
测量多视图数据集中各视图的多样性，并根据测量结果筛选出一致部分与差异多样化部分，并根据一致部分得到基于视图一致的纯图。
6.根据权利要求4所述的基于视图间差异性检测的多视图子空间聚类方法，其特征在于，步骤S4具体为：
根据基于视图一致的纯图构建基于共识图的目标函数，并以使得共识图的目标函数结果最小所对应的共识图，作为最终的共识图，其中，基于共识图的目标函数表示为：
Figure FDA0003643532930000031
约束条件：uT1＝1,U≥0
其中，U为共识图；1为全为1的列向量；C(v)为第v个视图的纯图；μ(v)为第v个视图所对应的权重，满足：
Figure FDA0003643532930000032
7.根据权利要求6所述的基于视图间差异性检测的多视图子空间聚类方法，其特征在于，步骤S5中基于多视图子空间聚类的目标函数表示为：
Figure FDA0003643532930000033
约束条件：
Figure FDA0003643532930000034
S(v)≥C(v)≥0,v＝1,…,m
其中，α，β，μ分别为权重系数；(.)T为矩阵转置；Tr(.)为矩阵秩；wvv为非对角元素和对角元素分别是α、β的方阵，
Figure FDA0003643532930000035
为共识图U的列向量的转置。
8.根据权利要求7所述的基于视图间差异性检测的多视图子空间聚类方法，其特征在于，步骤S6具体为：
B1、在预设条件下的共识图、基于多视图的相似矩阵、纯图，利用基于多视图子空间聚类的目标函数中约束条件更新指标矩阵，得到更新后的指标矩阵；其中指标矩阵的更新式表示为：
Figure FDA0003643532930000041
约束条件：F∈n×k,FTF＝I
其中，F为矩阵LU的特征向量构建的指标矩阵；LU为基于共识图U的矩阵，满足：LU＝D-(UT+U)/2，D为对角矩阵，满足：
Figure FDA0003643532930000042
其中，dji为对角矩阵D中的元素，uii、uji分别为共识图U中的元素；k为多视图数据中簇的数量；I为单位向量；为行列分别为n、k的全集；
B2、在预设条件下的基于多视图的相似矩阵、纯图、指标矩阵，利用基于多视图子空间聚类的目标函数更新共识图，得到更新后的共识图，其中共识图的更新式表示为：
Figure FDA0003643532930000043
约束条件：
Figure FDA0003643532930000044
其中，uij为共识图U的元素，
Figure FDA0003643532930000045
为第v个相似矩阵的元素，λ为样本系数，fi为指标矩阵F的第i个向量，Fj为指标矩阵F中第j个向量；
Figure FDA0003643532930000046
为共识图U的列向量的转置；
B3、在预设条件下的基于多视图的相似矩阵、共识图、指标矩阵，利用基于多视图子空间聚类的目标函数更新纯图，得到更新后的纯图，其中纯图的更新式表示为：
Figure FDA0003643532930000047
v＝1,…,m
B4、在预设条件下的共识图、纯图、指标矩阵，利用基于多视图子空间聚类的目标函数更新基于多视图的相似矩阵，得到更新后的基于多视图的相似矩阵，其更新式表示为：
Figure FDA0003643532930000051
其中，
Figure FDA0003643532930000052
E(v)＝S(v)-C(v)；(.)-1为矩阵的逆矩阵运算。
B5、根据更新后的基于多视图的相似矩阵、纯图、指标矩阵、共识图计算更新后的基于多视图子空间聚类的目标函数值；
B6、判断更新后的基于多视图子空间聚类的目标函数值是否满足预设条件，若满足则结束迭代优化，得到最优多视图聚类结果；否则，以当前更新后的各阈值作为预设条件下的各参量阈值，返回步骤B1。
9.一种基于视图间差异性检测的多视图子空间聚类系统，其特征在于，包括：
数据集构建模块，用于采集视图样本数据点，并根据视图样本数据点分别构建多视图数据集；
相似矩阵构建模块，用于根据多视图数据集构建基于多视图的相似矩阵；
纯图构建模块，用于利用基于视图间差异性检测筛选基于多视图的相似矩阵，得到基于视图一致的纯图；
共识图构建模块，用于根据基于视图一致的纯图构建共识图；
目标函数构建模块，用于根据基于视图一致的纯图、共识图以及基于多视图的相似矩阵构建基于多视图子空间聚类的目标函数；
最优多视图子空间聚类结果获取模块，用于对基于多视图子空间聚类的目标函数进行迭代优化，得到最优多视图子空间聚类结果。
CN202210524435.0A 2022-05-13 2022-05-13 基于视图间差异性检测的多视图子空间聚类方法及系统 Pending CN114898167A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210524435.0A CN114898167A (zh) 2022-05-13 2022-05-13 基于视图间差异性检测的多视图子空间聚类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210524435.0A CN114898167A (zh) 2022-05-13 2022-05-13 基于视图间差异性检测的多视图子空间聚类方法及系统

Publications (1)

Publication Number Publication Date
CN114898167A true CN114898167A (zh) 2022-08-12

Family

ID=82720743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210524435.0A Pending CN114898167A (zh) 2022-05-13 2022-05-13 基于视图间差异性检测的多视图子空间聚类方法及系统

Country Status (1)

Country Link
CN (1) CN114898167A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882262A (zh) * 2022-05-07 2022-08-09 四川大学 一种基于拓扑流形的多视图聚类方法及系统
CN116310452A (zh) * 2023-02-16 2023-06-23 广东能哥知识科技有限公司 一种多视图聚类方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHUDONG HUANG等: "CDD: Multi-view Subspace Clustering via Cross-view Diversity Detection", PROCEEDINGS OF THE 29TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA, pages 1 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882262A (zh) * 2022-05-07 2022-08-09 四川大学 一种基于拓扑流形的多视图聚类方法及系统
CN114882262B (zh) * 2022-05-07 2024-01-26 四川大学 一种基于拓扑流形的多视图聚类方法及系统
CN116310452A (zh) * 2023-02-16 2023-06-23 广东能哥知识科技有限公司 一种多视图聚类方法及系统
CN116310452B (zh) * 2023-02-16 2024-03-19 广东能哥知识科技有限公司 一种多视图聚类方法及系统

Similar Documents

Publication Publication Date Title
CN105224872B (zh) 一种基于神经网络聚类的用户异常行为检测方法
CN110929029A (zh) 一种基于图卷积神经网络的文本分类方法及系统
CN110728224A (zh) 一种基于注意力机制深度Contourlet网络的遥感图像分类方法
CN114898167A (zh) 基于视图间差异性检测的多视图子空间聚类方法及系统
CN109886284B (zh) 基于层次化聚类的欺诈检测方法及系统
CN112529638B (zh) 基于用户分类和深度学习的服务需求动态预测方法及系统
Houthuys et al. Tensor-based restricted kernel machines for multi-view classification
Liu et al. Dicnet: Deep instance-level contrastive network for double incomplete multi-view multi-label classification
Jahani et al. Unsupervised feature selection guided by orthogonal representation of feature space
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
CN116385773A (zh) 小目标的检测方法、存储介质及电子设备
Chen et al. Deep subspace image clustering network with self-expression and self-supervision
Sun et al. Multi-label feature selection via adaptive dual-graph optimization
CN112967755A (zh) 一种面向单细胞rna测序数据的细胞类型识别方法
Wei et al. Self-regularized fixed-rank representation for subspace segmentation
Wang et al. Deep random walk of unitary invariance for large-scale data representation
CN109614581B (zh) 基于对偶局部学习的非负矩阵分解聚类方法
CN111144453A (zh) 构建多模型融合计算模型的方法及设备、网站数据识别方法及设备
Liu et al. Robust multi-view subspace enhanced representation based on collaborative constraints and HSIC induction
Wang et al. Incomplete multi-view clustering via structure exploration and missing-view inference
Zhang et al. Auto-weighted concept factorization for joint feature map and data representation learning
Xian et al. Combining spatial attention and cross-layer bilinear pooling for fine-grained image classification
CN114281994B (zh) 一种基于三层加权模型的文本聚类集成方法及系统
Bai et al. Neural ordinary differential equation model for evolutionary subspace clustering and its applications
Xiao Texture image recognition based on feature layer fusion and double probabilistic neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination