CN114565783A - 一种基于集成异构图注意力网络的缺失多视图聚类方法 - Google Patents

一种基于集成异构图注意力网络的缺失多视图聚类方法 Download PDF

Info

Publication number
CN114565783A
CN114565783A CN202210209256.8A CN202210209256A CN114565783A CN 114565783 A CN114565783 A CN 114565783A CN 202210209256 A CN202210209256 A CN 202210209256A CN 114565783 A CN114565783 A CN 114565783A
Authority
CN
China
Prior art keywords
graph
missing
view
clustering
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210209256.8A
Other languages
English (en)
Inventor
曹萌
朱鹏飞
魏乐义
胡清华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202210209256.8A priority Critical patent/CN114565783A/zh
Publication of CN114565783A publication Critical patent/CN114565783A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于集成异构图注意力网络的缺失多视图聚类方法，所述方法主要包括以下步骤：基于非缺失视图学习一个公共的隐表示；基于公共隐表示构建k近邻图，基于不同视图的缺失情况构建特定的缺失模式图。通过集成k近邻图和不同视图的缺失模式图从而得到一个集成的异构图，代表不同缺失模式下样本间的相互关系；利用图注意力机制进一步加强了样本间的交互，从而学习到一组结构化的隐空间表示；将概率分布的一致性嵌入到网络中，从而学习一个一致的分布用于聚类。在多个真实数据集上的实验结果验证本发明所提方法在缺失多视图聚类上的有效性和鲁棒性。

Description

一种基于集成异构图注意力网络的缺失多视图聚类方法
技术领域
本发明涉及多视图学习领域，尤其涉及一种基于集成异构图注意力网络的缺失多视图聚类方法。
背景技术
随着信息技术的快速发展，数据的采集方式也越来越多样化，从而产生海量的多视图数据。例如，新闻可以通过不同的语言进行报道，也可以以文本、图像和视频的形式报道；一幅图像可以用不同的特征来表示，如GIST、LBP、Garbor、SIFT和HoG等。一般来说，多视图数据比单一视图包含更加丰富的信息。多视图聚类通过合理地融合不同视图的信息，在没有任何标签信息的情况下，自适应地将数据划分到各自的类别中。由于多视图聚类降低了多视图数据标注的时间和人力成本，因此受到越来越多的关注。
传统的多视图聚类方法大多假设多视图数据是完整的。然而，在现实生活中，由于机器停机或传感器故障等问题，导致采集到的数据部分视图存在缺失，这种数据称为缺失多视图数据。视图的缺失不仅导致信息丢失，还增加了对互补信息挖掘的难度。这些因素使缺失多视图聚类成为一个具有挑战性的问题。现有的缺失多视图聚类可以分为三类：一些方法忽略缺失数据而仅使用完整数据，这种方法会丢失大量信息，当缺失率高或样本量少时无法取得理想效果；一些方法首先对不同缺失情况的数据进行分组，然后独立训练，但这种方法忽略了数据间的复杂关系，且分组比较麻烦；一些方法通过弹性的模型学习隐层表示用于聚类，这种方法侧重于利用视图间的互补性，而忽略了样本间的结构信息，因此难以取得理想的聚类效果。
发明内容
为了克服现有技术的不足，本发明提供了一种基于集成异构图注意力网络的缺失多视图聚类方法。该方法同时考虑了视图之间的互补性、样本之间的结构信息以及缺失视图的结构信息，在不同的缺失情况下均能取得较好的聚类效果。
一种基于集成异构图注意力网络的缺失多视图聚类方法，所述方法包括以下步骤：
步骤1：对所有可用视图学习一个公共的隐空间表示。
公共隐空间表示的重建损失函数为：
Figure BDA0003530338880000011
其中，Lr为重构损失，其目的是学习原始数据与公共隐表示之间的映射。
Figure BDA0003530338880000021
是由
Figure BDA0003530338880000022
参数化的第v个视图的重构网络，
Figure BDA0003530338880000023
为第v个视图的第n个样本，N和V分别表示样本数和视图数，snv表示第n个样本中第v个视图是否缺失的标志。
步骤2：基于公共隐表示构建k近邻图，并对每个视图构建缺失模式图，将k近邻图和缺失模式图结合，可以得到一个集成异构图，代表不同缺失模式下样本间的临近关系。
其中，k近邻图指的是只根据样本间的距离信息，来挖掘不同样本在隐空间中的关系。对于样本i和j，它们的隐空间表示分别为为hi和hj，二者间的距离可以用高斯核函数计算。因此，基于公共隐表示构建一个k近邻图Gn∈RN×N，其表达公式如下：
Figure BDA0003530338880000024
其中，Nk(hi)和Nk(hj)分别表示样本i和样本j的k个最近邻样本。
缺失模式图指的是对于不同视图中的样本i和样本j，它们可能存在不同的缺失情况。因此，考虑到视图v中所有样本的缺失情况，构建了一个缺失模式图
Figure BDA0003530338880000025
可以通过以下方式计算得到：
Figure BDA0003530338880000026
其中，
Figure BDA0003530338880000027
和
Figure BDA0003530338880000028
分别表示第v个视图中的第i和j个样本。
同时考虑隐空间中样本间的邻近关系和不同视图中的缺失模式，可以得到不同缺失模式下样本间的近邻关系。结合k近邻图和缺失模式图，可以得到一个隐空间异构图。其定义如下：
Figure BDA0003530338880000029
步骤3：利用图注意力机制加强样本之间的交互，学习到一组结构化的隐表示。
异构图G中存在着V种不同类型的图结构，代表样本在不同缺失模式下的近邻关系。通过利用图注意力机制，能够挖掘在隐空间中每一个样本点对于其邻居的重要性，并进一步聚合这些重要邻居的特征，得到具有结构性的隐表示。图注意力机制可定义为：
Figure BDA00035303388800000210
其中，hn为公共隐表示，Gv为邻接图矩阵，
Figure BDA00035303388800000211
为图注意力机制的可学习参数。
通过图注意力机制学习，可以得到一组结构化的隐表示：
Figure BDA00035303388800000212
步骤4：对于所有视图，利用一致性分布约束学习一个一致的分布用于聚类。
通过图注意力机制，可以挖掘不同缺失模式下样本间的交互关系，并得到V种不同缺失模式对应的结构化隐表示。在这V种视图中，每个视图内部的分布应当保持一致。因此，通过考虑不同视图的概率分布，我们将概率分布一致性嵌入到集成异构图网络中。具体地，首先基于所有视图的隐表示学习到一组概率分布，然后通过约束使每个视图的概率分布尽可能保持一致，并学习到一个一致的概率分布。
对于第v个视图，使用学生t-分布作为核来度量节点zi′(v)和类簇中心μj之间的相似性。
Figure BDA0003530338880000031
和
Figure BDA0003530338880000032
分别为初始分布Q(v)和目标分布P(v)中的元素。其中，
Figure BDA0003530338880000033
可以定义为：
Figure BDA0003530338880000034
其中，α为学生t-分布的自由度，C为样本类别数，
Figure BDA0003530338880000035
表示在视图v中，节点i分配为节点j的概率。在我们的实验中，初始聚类中心可以通过在第v个视图对应的结构化隐表示上使用K-means得到，并将所有视图的聚类中心设置为相同，以便更好地遵循一致性原则。
通过将
Figure BDA0003530338880000036
提高到二次幂并按每个簇的频率进行归一化，可以得到得到
Figure BDA0003530338880000037
Figure BDA0003530338880000038
其中，
Figure BDA0003530338880000039
为软分配频率。为了比较两个概率分布的相似性，将损失函数定义为概率分布一致性损失Lc。聚类损失定义为最小化所有视图原始分布和目标分布之间的KL散度。因此，Lc可以定义为:
Figure BDA00035303388800000310
其中，KL散度用来度量两个概率分布之间的非对称差异。
最后，取
Figure BDA00035303388800000311
的均值作为最终的一致性分布并用于聚类。
本发明针对缺失多视图数据的聚类问题，提出了一种集成异构图注意力网络模型。与现有技术相比，本发明提供的技术方案的有益效果是：
1、本发明同时考虑了不同视图之间的互补性、不同样本之间的结构信息以及缺失视图的结构信息，实现了多视图数据之间的一致性关系和信息互补性的平衡，提高了缺失多视图聚类的准确性。本发明还能灵活应用于不同缺失情况，具有较好的鲁棒性；
2、本发明利用图注意力机制来对每个节点的异构邻居的特征进行聚合，从而得到更具有结构化的隐空间表示；
3、通过分布一致性约束不同视图的概率分布一致性，使不同视图上所学特征的分布尽可能地接近，从而利用多个视图之间的一致性信息。同时分布一致性约束也促进所学特征具有更好的类簇结构。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明的一种基于集成异构图注意力网络的缺失多视图聚类方法的流程图；
图2为本发明的整体网络结构示意图；
图3为本发明同最新的方法在两种数据集上的聚类可视化效果对比。
图4为本发明训练过程中的收敛曲线。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
为了解决背景技术中存在的问题，本发明实施例提出了一种基于集成异构图注意力网络的缺失多视图聚类方法，其亮点在于：模型能够灵活地利用视图间的互补性和样本间的结构信息，从而学习到更有结构性的隐表示。在不同的缺失情况下，均能取得较好的聚类效果。
实施例1
本实施例提出的基于结构化隐表示学习的缺失多视图聚类方法中，方法包括如图1所示的以下步骤：
101：构建重构网络，学习一个公共的隐空间表示。重构网络由一组多路神经网络实现，通过多视图多路神经网络将公共隐空间进行线性或非线性映射，使得公共隐空间表示能够通过线性或非线性映射重建得到多个视角的数据。在该步骤中，多路神经网络模型是由多层感知机实现的，本实施例中，多层感知机的层数在1-3之间，每一个多视图多路神经网络模型的输入均为隐空间表示，对应输出为通过隐空间表示重构的对应视图的数据；重建损失函数表示公共隐空间与缺失多视图训练样本数据的近似程度。
本实施例中，重建损失函数的作用是约束隐空间表示的重建输出能够尽可能地接近真实的多视图数据，重建损失函数定义为真实的多视图数据与重建多视图数据的欧几里得距离均值的平方，其中对于缺失视图数据，不计算重建损失。重建损失函数为：
Figure BDA0003530338880000051
其中，
Figure BDA0003530338880000052
是由
Figure BDA0003530338880000053
参数化的第v个视图的重构网络，
Figure BDA0003530338880000054
为第v个视图的第n个样本，N和V分别表示样本数和视图数，snv表示第n个样本中第v个视图是否缺失的标志。
102：构建k近邻图和缺失模式图，从而得到一个集成的异构图。
k近邻图用来挖掘样本间的结构关系，这种关系通过样本间的相似性来进行度量。在本实施例中，样本相似性通过高斯核距离度量。对于每个样本，选择与它距离最近的k个样本作为邻接节点。
缺失模式图用来挖掘缺失视图的结构信息，在本实施例中，缺失模式图根据视图的缺失情况构建得到。
通过将k近邻图和缺失模式图结合，可以得到一个集成异构图，代表不同缺失模式下样本之间的交互关系。
103：构造图注意力网络。在本实例中，图注意力机制可定义为：
Figure BDA0003530338880000055
其中，T为转置，‖为连接操作。最后，通过拼接来整合多个注意力机制的输出，可以得到更新后的节点特征:
Figure BDA0003530338880000056
其中，σ为激活函数，
Figure BDA0003530338880000057
为第m个注意机制计算的归一化注意系数，M为注意力头数，Wm为第m个注意力机制下输入特征的线性变换权重矩阵。
104：利用概率分布约束视图间的一致性。在实例中，我们使用两步交替的无监督算法来改进聚类。在第一步中，我们计算了隐表示中每个样本点与聚类质心之间的软分配，在本实例中，我们使用t分布作为核来度量数据表示和聚类中心向量之间的相似性，每个聚类中心通过K-means进行初始化得到，通过最小化初始分布和目标分布之间的KL散度损失，可以促进网络学习一个更适用于聚类任务的结构化隐空间表示，即聚类中心周围的数据表示更加接近，从而具有更好的聚类性能。
在第二步中，我们更新结构化隐空间表示，并通过使用辅助目标分布从当前的高置信度分配中学习来细化聚类质心。通过重复进行这个过程，直到达到收敛。
网络的详细训练步骤如下：
步骤1：输入迭代次数T，最近邻数k。随机初始化公共隐表示
Figure BDA0003530338880000061
重构网络参数
Figure BDA0003530338880000062
图注意力机制参数
Figure BDA0003530338880000063
初始化当前迭代次数iter；
步骤2：重复步骤3和步骤4，直至迭代次数达到T；
步骤3：利用用公式Lr计算重构损失，用公式Lc计算聚类损失；
步骤4：使用SGD(随机梯度下降)算法交替更新
Figure BDA0003530338880000064
和
Figure BDA0003530338880000065
更新iter＝iter+1。
综上所述，本发明提出了一种基于结构化隐表示学习的的缺失多视图聚类方法。该方法首先对可用视图学习了一个公共的隐空间表示，为了挖掘隐空间中样本间的交互信息，基于隐空间表示构建了一个k近邻图。接着针对不同视图的缺失情况构建了一组视图特定的缺失模式图。然后将相似图与特定视图的缺失模式图融合来构建了一个集成的异构图，用来挖掘不同缺失模式下样本间的交互关系。为了获得更具有结构化的表示，利用图注意力机制对每种缺失模式下的节点进行了注意力学习，从而使同类的节点特征更加接近。最后，通过将概率分布的一致性嵌入到网络中，来约束每个视图对应的隐空间表示的概率分布，并学习到一个一致的分布用于聚类。
实施例2
在具体实施过程中，应用上述多视图聚类方法进行仿真实验。
1.数据集
在我们的实验中使用了五个公开的多视图数据集，每个数据集的简要说明汇总如下：
(1)ORL数据集:由40个不同类别的400幅人脸图像组成，每个类别有10幅图像。对于每张图像，分别提取了LBP、Gabor和Intensity三种特征。
(2)3Sources数据集:3Sources是一个著名的多视图文本数据集。它是从英国广播公司、路透社和卫报这三个在线新闻来源中，收集了416条不同的新闻，包含了6类不同的主题。其中三个新闻来源同时报道了169条新闻。来自每个新闻来源的文章可以被视为一个视图。在本文的实验中，选择三个新闻网站同时报道的169条新闻，并分别提取了3560维，3631维和3068维的特征。
(3)Caltech101-7数据集:Caltech101数据集是一个包含101个类别共9146张图像组成的图象识别数据集。Caltech101-7是Caltech101数据集的子集。包含由加菲猫，摩托车，停车标志，史努比，美元，表情，温莎椅组成的7个类共1474张图像。分别对每张图像中提取了6种特征：Gabor、Wavelet、CENTRIST、HOG、GIST和LBP。
(4)COIL20数据集:该数据集是一个常用的图像数据集，共包含由20类的1440张图像，每一类有72张图像。对于每张图像，分别提取了三种不同的特征，即intensity、LBP和Gabor，对应的特征维度分别为1024维、3304维和6750维。
(5)Handwritten数据集:该数据集由2000个手写数字(即0-9)组成，每个类别有200张图片。每张图像提取了6种特征：PIX、FOU、FAC、ZER、KAR和MOR。
2.对比方法
我们将IHGAT的表现与以下方法进行了比较：
(1)BSV:该方法首先用每个视图的可用实例的平均值填充缺失的实例。然后，分别在填充后的视图上利用K-means进行聚类。对于每个数据集，选取所有视图中聚类结果最好的一个。
(2)Concat:和BSV相同，Concat首先用每个视图的可用实例的平均值填充缺失的视图。不同的时，该方法将所有填充后的视图拼接得到一个特征向量,然后再使用K-means进行聚类。
(3)MultiNMF:MultiNMF首先用每个视图的可用实例的平均值来填充缺失实例，并对所有视图学习非负的低维一致表示。然后对学习后的一致性表示执行K-means以得到聚类结果。
(4)MIC:该方法基于L 2,1范数正则化的加权非负矩阵分解，来学习所有视图的一致性表示。其中实例缺失信息被约束为权重，以避免视图缺失的负面影响。
(5)OMVC:该方法设计了一个加权非负矩阵分解框架来学习缺失视图的一致表示。
(6)DAIMC:该方法利用基于实例信息对齐的加权矩阵分解和基于基矩阵对齐的稀疏回归来学习所有视图的一致表示。
(7)UEAF:该方法利用图正则化约束的误差矩阵来模拟缺失实例，从而学习所有视图的低维一致表示，最后对一致表示进行K-means来得到聚类结果。
3.实验设置
为了生成缺失的多视图数据集，在确保所有样本至少都有一个视图的条件下，我们随机从每个视图中删除p％(p∈{10,30,50})的实例。接着，将每个缺失多视图数据随机分为80％用于训练和20％用于测试。对于本章所提方法，超参数λ的取值范围是{0.0001,0.001,0.01,0.1,1,10,100,1000}，k值取值范围为k∈{3,15}，对于大多数情况k值默认设为10。隐空间表示的维度D设为{16,32,64,128,256}，默认值为64。由于数据划分导致的随机性，对每种方法分别运行了10次，并计算了所有指标的平均值。为了比较每个算法的实际性能，我们使用聚类准确度(ACC)和标准化互信息(NMI)来评价这些算法在缺失多视图数据上的聚类效果。
4.实验与结果分析
我们在五个多视图数据集上评估了所提出的方法。表1显示了不同方法的聚类结果。
表1:不同方法在五个多视图数据集上的聚类性能比较。
Figure BDA0003530338880000081
Figure BDA0003530338880000091
根据表1中的实验结果，可以得到以下结论:
(1)和其他的方法相比，BSV和Concat在大多情况下聚类效果最差。说明简单地用可用实例的平均值来填充缺失的视图难以取得理想的效果，也缺乏合理性。而通过利用多个视图的互补信息，MIC，OMVC，DAIMC，UEAF以及IHGAT在大多情况下可以得到更好的聚类性能。
(2)相对于对比方法，我们的方法在所有的数据集上均取得了最好的效果。例如，在ORL和COL20数据集上，当缺失率为0.5时，与对比方法中最好的相比，IHGAT在ACC方面分别提高了12.18％和7.91％，在NMI上分别提高了13.48％和12.59％。这表明同时考虑缺失数据的结构信息以及非缺失数据的可用信息，从而学习一个更加紧凑的公共表示对于缺失多视图聚类是有益的。
(3)随着缺失率的增加，所有方法的聚类效果都有所下降。例如，在ORL数据集上，当缺失视图率从0.1变化到0.5时，DAIMC和IHGAT的ACC分别下降12.25％和13.13％,NMI分别下降10.35％和5.6％。这说明视图的缺失严重影响了对多视图数据信息的挖掘。
为了更加直观地展现所提方法的优势，我们借助t-SNE来可视化不同方法学习到的一致表示。图3展示了当缺失率为0.3时，不同方法在Handwritten(HW)和COIL20数据集上的可视化结果。从左到右分别为MIC，OMVC，DAMIC和IHGAT的结果。可以明显看出，本方法所学结构化隐表示在结构上更加良好，而且类内十分紧凑，类间距离也更大，具有更好的聚类效果。
图4分别展示了本发明在四个数据集(a)Handwritten，(b)COIL20，(c)ORL以及(d)Caltech7数据集上的收敛性。从收敛曲线可以看出，在4个数据集上，随着迭代次数的增加，目标函数值逐渐减小，并在50次迭代内收敛到稳定点，说明所提优化方法具有良好的收敛性。
显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。同时，对于本领域的一般技术人员，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种基于集成异构图注意力网络的缺失多视图聚类方法，其特征在于，所述方法包括以下步骤：
步骤1，对所有可用视图学习一个公共的隐空间表示；
步骤2，基于步骤1所学公共隐表示构建k近邻图，并对每个视图构建缺失模式图，将k近邻图和缺失模式图结合，可以得到一个集成异构图，代表不同缺失模式下样本间临近关系；
步骤3，基于步骤2中所得的异构图，利用图注意力机制加强样本之间的交互，学习到一组结构化的隐表示；
步骤4，基于步骤3中所学的结构化隐表示，利用一致性分布约束学习一个一致的分布用于聚类。
2.根据权利要求1所述的一种基于集成异构图注意力网络的缺失多视图聚类方法，其特征在于，所述步骤1中，公共隐空间表示的重建损失函数为：
Figure FDA0003530338870000011
其中，Lr为重构损失，其目的是学习原始数据与公共隐表示之间的映射。
Figure FDA0003530338870000012
是由
Figure FDA0003530338870000013
参数化的第v个视图的重构网络，
Figure FDA0003530338870000014
为第v个视图的第n个样本，N和V分别表示样本数和视图数，snv表示第n个样本中第v个视图是否缺失的标志。
3.根据权利要求1所述的基于结构化表示学习的缺失多视图聚类方法，其特征在于，所述步骤2中，基于公共隐表示构建一个k近邻图Gn∈RN×N，其表达公式如下：
Figure FDA0003530338870000015
其中，Nk(hi)和Nk(hj)分别表示样本i和样本j的k个最近邻样本。
4.根据权利要求1所述的一种基于集成异构图注意力网络的缺失多视图聚类方法，其特征在于，所述步骤2中，对于每个视图构建一个缺失模式图
Figure FDA0003530338870000016
可以通过以下方式计算得到：
Figure FDA0003530338870000017
其中，
Figure FDA0003530338870000018
和
Figure FDA0003530338870000019
分别表示第v个视图中的第i和j个样本。
5.根据权利要求1所述的一种基于集成异构图注意力网络的缺失多视图聚类方法，其特征在于，所述步骤2中，结合k近邻图和缺失模式图，可以得到一个隐空间异构图，其定义如下：
Figure FDA0003530338870000021
6.根据权利要求1所述的一种基于集成异构图注意力网络的缺失多视图聚类方法，其特征在于，所述步骤3中，图注意力机制可定义为：
Figure FDA0003530338870000022
其中，hn为公共隐表示，Gv为邻接图矩阵，
Figure FDA0003530338870000023
为图注意力机制的可学习参数，
通过图注意力机制学习，可以得到一组结构化的隐表示：
Figure FDA0003530338870000024
7.根据权利要求1所述的一种基于集成异构图注意力网络的缺失多视图聚类方法，其特征在于，所述步骤4中，一致的概率分布学习步骤包括：
对于第v个视图，使用学生t-分布作为核来度量节点
Figure FDA0003530338870000025
和类簇中心μj之间的相似性。
Figure FDA0003530338870000026
和
Figure FDA0003530338870000027
分别为初始分布Q(v)和目标分布P(v)中的元素，其中，
Figure FDA0003530338870000028
可以定义为：
Figure FDA0003530338870000029
其中，α为学生t-分布的自由度，C为样本类别数，
Figure FDA00035303388700000210
表示在视图v中，节点i分配为节点j的概率。在我们的实验中，初始聚类中心可以通过在第v个视图对应的结构化隐表示上使用K-means得到，并将所有视图的聚类中心设置为相同，以便更好地遵循一致性原则，
通过将
Figure FDA00035303388700000211
提高到二次幂并按每个簇的频率进行归一化，可以得到得到
Figure FDA00035303388700000212
Figure FDA00035303388700000213
其中，
Figure FDA00035303388700000214
为软分配频率。为了比较两个概率分布的相似性，将损失函数定义为概率分布一致性损失Lc。聚类损失定义为最小化所有视图原始分布和目标分布之间的KL散度，因此，Lc可以定义为:
Figure FDA00035303388700000215
其中，KL散度用来度量两个概率分布之间的非对称差异，
最后，取
Figure FDA00035303388700000216
的均值作为最终的一致性分布并用于聚类。
CN202210209256.8A 2022-03-03 2022-03-03 一种基于集成异构图注意力网络的缺失多视图聚类方法 Pending CN114565783A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210209256.8A CN114565783A (zh) 2022-03-03 2022-03-03 一种基于集成异构图注意力网络的缺失多视图聚类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210209256.8A CN114565783A (zh) 2022-03-03 2022-03-03 一种基于集成异构图注意力网络的缺失多视图聚类方法

Publications (1)

Publication Number Publication Date
CN114565783A true CN114565783A (zh) 2022-05-31

Family

ID=81717913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210209256.8A Pending CN114565783A (zh) 2022-03-03 2022-03-03 一种基于集成异构图注意力网络的缺失多视图聚类方法

Country Status (1)

Country Link
CN (1) CN114565783A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063621A (zh) * 2022-06-10 2022-09-16 河南工业贸易职业学院 多视图聚类方法、装置、计算机设备及存储介质
CN117523244A (zh) * 2023-10-31 2024-02-06 哈尔滨工业大学（威海） 一种多视图聚类方法、系统、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063621A (zh) * 2022-06-10 2022-09-16 河南工业贸易职业学院 多视图聚类方法、装置、计算机设备及存储介质
CN115063621B (zh) * 2022-06-10 2023-12-19 河南工业贸易职业学院 多视图聚类方法、装置、计算机设备及存储介质
CN117523244A (zh) * 2023-10-31 2024-02-06 哈尔滨工业大学（威海） 一种多视图聚类方法、系统、电子设备及存储介质
CN117523244B (zh) * 2023-10-31 2024-05-24 哈尔滨工业大学（威海） 一种多视图聚类方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Li et al. Discriminatively boosted image clustering with fully convolutional auto-encoders
Ren et al. Semi-supervised deep embedded clustering
Huang et al. Deep embedding network for clustering
Song et al. Auto-encoder based data clustering
Frossyniotis et al. A clustering method based on boosting
CN114565783A (zh) 一种基于集成异构图注意力网络的缺失多视图聚类方法
Saadi et al. Investigation of effectiveness of shuffled frog-leaping optimizer in training a convolution neural network
Song et al. Deep auto-encoder based clustering
CN113157957A (zh) 一种基于图卷积神经网络的属性图文献聚类方法
Tsai et al. A fast particle swarm optimization for clustering
Gutoski et al. A clustering-based deep autoencoder for one-class image classification
He et al. SAR target recognition and unsupervised detection based on convolutional neural network
Liang et al. Evolutionary deep fusion method and its application in chemical structure recognition
Liao et al. Weighted fuzzy kernel-clustering algorithm with adaptive differential evolution and its application on flood classification
Wang et al. Building correlations between filters in convolutional neural networks
Thapa et al. Hdxplore: Automated blackbox testing of brain-inspired hyperdimensional computing
CN117153268A (zh) 一种细胞类别确定方法及系统
CN113764034A (zh) 基因组序列中潜在bgc的预测方法、装置、设备及介质
Singh et al. Feature selection using harmony search for script identification from handwritten document images
Ke et al. Group-wise dynamic dropout based on latent semantic variations
Huang et al. Deep embedded multi-view clustering via jointly learning latent representations and graphs
Zhang et al. Computer-aided diagnosis of digestive tract tumor based on deep learning for medical images
Valdés et al. Data and knowledge visualization with virtual reality spaces, neural networks and rough sets: Application to cancer and geophysical prospecting data
CN116522143A (zh) 模型训练方法、聚类方法、设备及介质
Xu et al. SRNN: Self-regularized neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination