CN112906770A - 一种基于跨模态融合的深度聚类方法及系统 - Google Patents

一种基于跨模态融合的深度聚类方法及系统 Download PDF

Info

Publication number
CN112906770A
CN112906770A CN202110154434.7A CN202110154434A CN112906770A CN 112906770 A CN112906770 A CN 112906770A CN 202110154434 A CN202110154434 A CN 202110154434A CN 112906770 A CN112906770 A CN 112906770A
Authority
CN
China
Prior art keywords
encoder
self
information
graph
embedding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110154434.7A
Other languages
English (en)
Inventor
朱信忠
徐慧英
涂文轩
刘新旺
赵建民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Normal University CJNU
Original Assignee
Zhejiang Normal University CJNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Normal University CJNU filed Critical Zhejiang Normal University CJNU
Priority to CN202110154434.7A priority Critical patent/CN112906770A/zh
Publication of CN112906770A publication Critical patent/CN112906770A/zh
Priority to PCT/CN2021/135894 priority patent/WO2022166361A1/zh
Priority to ZA2023/08290A priority patent/ZA202308290B/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明公开了一种基于跨模态融合的深度聚类系统，包括自编码器、图自编码器、跨模态信息融合模块和联合优化目标模块；自编码器，用于对图数据的属性信息进行特征提取并重构原始属性矩阵；图自编码器，用于对图数据的结构信息进行特征提取并重构原始邻接矩阵与加权属性矩阵；跨模态信息融合模块，用于将自编码器的模态信息与图自编码器的模态信息进行整合，生成共识隐嵌入，并根据共识隐嵌入和预计算初始化聚类中心，生成软分配分布和目标分布；联合优化目标模块，用于同步指导自编码器、图自编码器、跨模态信息融合模块的参数更新过程。

Description

一种基于跨模态融合的深度聚类方法及系统
技术领域
本发明涉及无监督深度聚类技术领域，尤其涉及一种基于跨模态融合的深度聚类方法及系统。
背景技术
深度聚类，旨在以无监督的方式训练一个神经网络以学习具有判别能力的特征表示，从而将数据划分为若干个不相交的子集。由于深度神经网络具有强大的表征学习能力，研究者在诸多无监督应用场景中取得了巨大成功，包括异常检测、社交网络分析以及人脸检测。在深度聚类方法中，两个关键因素：优化目标和特征提取的方式很大程度上决定了聚类方法的性能。具体而言，在无监督聚类场景下，由于在模型学习过程中不具有标签的指导，因此设计一种巧妙的目标函数与一套有效的聚类框架去捕获更丰富全面的信息，并用其来揭示数据的内部结构，是及其重要且具有挑战性的。
根据网络的优化目标，深度聚类方法大致分为五类：基于子空间的方法[Zhou,L.；Bai,X.；Wang,D.；Liu,X.；Zhou,J.；and Hancock,E.2019a.Latent DistributionPreserving Deep Sub-space Clustering.In IJCAI,4440–4446]、基于生成式的方法[Mukherjee,S.；Asnani,H.；Lin,E.；and Kannan,S.2019.ClusterGAN:Latent SpaceClustering in Generative Adversarial Networks.In AAAI,1965–1972]、基于谱聚类的方法[Yang,X.；Deng,C.；Zheng,F.；Yan,J.；and Liu,W.2019b.Deep Spectral ClusteringUsing Dual Autoencoder Network.In CVPR,4066–4075]、基于高斯混合模型的方法[Yang,L.；Cheung,N.-M.；Li,J.；and Fang,J.2019a.Deep Clustering by GaussianMixture Variational Autoencoders with Graph Embedding.In ICCV,6440–6449]以及基于自优化机制的方法[Xie,J.；Girshick,R.；and Farhadi,A.2016.Unsupervised DeepEmbedding for Clustering Analysis.In ICML,478–487]、[Guo,X.；Gao,L.；Liu,X.；andYin,J.2017.Improved Deep Embedded Clustering with Local StructurePreservation.In IJCAI,1753–1759]。在这些方法中，前期工作主要关注如何利用原始数据空间的属性信息进行聚类。为了更进一步提升聚类效果，近期工作逐步探索如何挖掘数据的几何结构信息并将其与数据的属性信息进行融合。具体而言，杨等人提出一种基于随机游走的图嵌入方法，将局部数据结构添加至深度高斯混合模型中来完成聚类过程。周等人提出基于分布存储的子空间聚类方法，首先度量每个原始数据空间的密度分布以及隐嵌入空间的核密度分布，随后通过最小化两个子空间的分布差异性来生成数据内部的聚类结构。图卷积网络近期引起了研究者的广泛关注，此技术通过聚合节点的邻居信息以学习更鲁棒的表征。深度注意力嵌入图聚类方法首先通过图注意力图编码器提取图结构信息与节点属性信息，随后通过一种自优化嵌入方法来重构邻接矩阵[Wang,C.；Pan,S.；Hu,R.；Long,G.；Jiang,J.；and Zhang,C.2019a.Attributed Graph Clustering:A DeepAttentional Embedding Approach.In IJCAI,3670–3676]；对抗正则化图自编码器利用一个对抗正则器去指导隐嵌入特征的学习[Pan,S.；Hu,R.；Fung,S.-F.；Long,G.；Jiang,J.；and Zhang,C.2020.Learning Graph Embedding with Adversarial TrainingMethods.IEEE Transactions on Cybernetics50(6):2475–2487]；结构化深度聚类网络将自编码器和图卷积模块集成为一个统一的框架，通过设计信息传递算子和一种对偶的自监督学习机制来引导模型的训练[Bo,D.；Wang,X.；Shi,C.；Zhu,M.；Lu,E.；and Cui,P.2020.Structural Deep Clustering Network.In WWW,1400–1410]。
当前深度聚类方法通过整合多种类别的信息实现了聚类性能的大幅提升。然而这些方法仍存在以下两点问题：1)缺乏一种跨模态动态信息融合与处理机制。两种模态的信息进行简单融合或拼接会导致信息交互不足；2)现有工作中目标分布的生成过程几乎没有考虑利用两种模态的信息，这使网络的训练不够全面和准确。因此，数据的结构信息与属性信息的交互存在阻碍，从而无法提高深度聚类方法的性能。
发明内容
本发明的目的是针对现有技术的缺陷，提供了一种基于跨模态融合的深度聚类方法及系统。
为了实现以上目的，本发明采用以下技术方案：
一种基于跨模态融合的深度聚类系统，包括自编码器、图自编码器、跨模态信息融合模块和联合优化目标模块；所述图自编码器与自编码器连接，所述跨模态信息融合模块分别与自编码器和图自编码器连接；所述联合优化目标模块分别与自编码器、图自编码器、跨模态信息融合模块连接；
自编码器，用于对图数据的属性信息进行特征提取并重构原始属性矩阵；
图自编码器，用于对图数据的结构信息进行特征提取并重构原始邻接矩阵与加权属性矩阵；
跨模态信息融合模块，用于将自编码器的模态信息与图自编码器的模态信息进行整合，生成共识隐嵌入，并根据共识隐嵌入和预计算初始化聚类中心，生成软分配分布和目标分布；
联合优化目标模块，用于同步指导自编码器、图自编码器、跨模态信息融合模块的参数更新过程。
进一步的，所述图自编码器中对图数据的结构信息进行特征提取并重构原始邻接矩阵与加权属性矩阵，具体为：
图自编码器中的编码器和解码器的形式，表示为：
Figure BDA0002934051740000031
Figure BDA0002934051740000032
其中，Z(l)表示第l个编码层的输出嵌入；
Figure BDA0002934051740000033
表示第h个解码层的输出嵌入；W(l)和
Figure BDA0002934051740000034
分别表示第l个编码器层和第h个解码器层的可学参数矩阵；σ表示非线性激活函数；
Figure BDA0002934051740000035
表示归一化后的原始邻接矩阵；
Figure BDA0002934051740000036
表示第(h-1)个解码层的输出嵌入；Z(l-1)表示第(l-1)个编码层的输出嵌入。
图自编码器的最小化混合损失函数LIGAE，表示为：
LIGAE＝Lw+γLa (3)
其中，γ表示预定义的超参数，用于平衡两个重建损失函数的权重；Lw和La表示为：
Figure BDA0002934051740000037
Figure BDA00029340517400000310
其中，
Figure BDA0002934051740000038
表示重构的加权属性矩阵；
Figure BDA0002934051740000039
表示通过内积运算生成的重构原始邻接矩阵；N表示样本数量；d表示属性维度；Lw表示加权属性矩阵的重构损失；La表示邻接矩阵的重构损失。
进一步的，所述跨模态信息融合模块包括跨模态动态融合机制和三元组自监督策略；
跨模态动态融合机制，用于将自编码器的模态信息与图自编码器的模态信息进行隐嵌入信息的深度交互，生成共识隐嵌入；
三元组自监督策略，用于根据共识隐嵌入和预计算初始化聚类中心，生成软分配分布以及目标分布。
进一步的，所述跨模态动态融合机制具体包括：
组合模块，用于将自编码器和图自编码器的隐嵌入进行线性组合，得到初始化融合嵌入信息，表示为：
ZI＝αZAE+(1-α)ZIGAE (6)
其中，d′表示隐嵌入维数；α表示可学的系数矩阵；ZAE表示自编码器；ZIGAE表示图自编码器；ZI∈RN×d′表示初始化融合嵌入信息；d′表示隐嵌入的维度。
处理模块，用于基于图卷积的操作增强初始化融合嵌入信息，表示为：
Figure BDA0002934051740000041
其中，ZL∈RN×d′表示局部结构增强后的隐嵌入；
重组模块，用于基于自相关学习机制，对初始化融合嵌入信息进行重组，表示为：
ZG＝SZL (8)
其中，ZG表示对ZL进行重组后的信息；S表示自相关矩阵；
传导模块，用于基于跳跃连接方式使信息在融合机制中传导，表示为：
Figure BDA0002934051740000042
其中，β表示尺度参数；
Figure BDA0002934051740000043
表示融合聚类嵌入。
进一步的，所述三元组自监督策略中生成软分配分布以及目标分布，表示为：
Figure BDA0002934051740000051
Figure BDA0002934051740000052
其中，
Figure BDA0002934051740000053
表示融合聚类嵌入中第i个样本；uj表示第j个预先计算的聚类中心；v表示学生T-分布的自由度；且qij表示将第i个样本分配给第j个中心的概率，即软分配分布；pij表示第i个样本属于第j个聚类中心的概率，即目标分布；j′表示第j′个聚类中心。
进一步的，所述三元组自监督策略中生成目标分布后还包括：
通过三元组聚类损失提高每个部分的表示能力，其中三元组聚类损失表示为：
Figure BDA0002934051740000054
其中，LKL表示三元组聚类损失。
进一步的，所述联合优化目标模块中同步指导自编码器、图自编码器、跨模态信息融合模块的参数更新过程具体包括：
计算自编码器和图自编码器的重构损失，计算自编码器、图自编码器与目标分布相关的聚类损失，表示为：
L＝LAE+LIGAE+λLKL (13)
其中，LAE表示自编码器的均方误差重建损失；λ表示是预定义的超参数。
相应的，还提供一种基于跨模态融合的深度聚类方法，包括：
S1.自编码器对图数据的属性信息进行特征提取并重构原始属性矩阵；
S2.图自编码器对图数据的结构信息进行特征提取并重构原始邻接矩阵与加权属性矩阵；
S3.跨模态信息融合模块将自编码器的模态信息与图自编码器的模态信息进行整合，生成共识隐嵌入，并根据共识隐嵌入和预计算初始化聚类中心，生成软分配分布和目标分布；
S4.联合优化目标模块同步指导自编码器、图自编码器、跨模态信息融合模块的参数更新过程。
进一步的，所述步骤S2中对图数据的结构信息进行特征提取并重构原始邻接矩阵与加权属性矩阵，具体为：
图自编码器中的编码器和解码器的形式，表示为：
Figure BDA0002934051740000061
Figure BDA0002934051740000062
其中，Z(l)表示第l个编码层的输出嵌入；
Figure BDA0002934051740000063
表示第h个解码层的输出嵌入；W(l)和
Figure BDA0002934051740000064
分别表示第l个编码器层和第h个解码器层的可学参数矩阵；σ表示非线性激活函数；
Figure BDA0002934051740000065
表示归一化后的原始邻接矩阵；
Figure BDA0002934051740000066
表示第(h-1)个解码层的输出嵌入；Z(l-1)表示第(l-1)个编码层的输出嵌入。
图自编码器的最小化混合损失函数LIGAE，表示为：
LIGAE＝Lw+γLa (3)
其中，γ表示预定义的超参数，用于平衡两个重建损失函数的权重；Lw和La表示为：
Figure BDA0002934051740000067
Figure BDA0002934051740000068
其中，
Figure BDA0002934051740000069
表示重构的加权属性矩阵；
Figure BDA00029340517400000610
表示通过内积运算生成的重构原始邻接矩阵；N表示样本数量；d表示属性维度；Lw表示加权属性矩阵的重构损失；La表示邻接矩阵的重构损失。
进一步的，所述步骤S3具体包括：
S31.将自编码器的模态信息与图自编码器的模态信息进行隐嵌入信息的深度交互，生成共识隐嵌入；
S32.根据共识隐嵌入和预计算初始化聚类中心，生成软分配分布以及目标分布。
与现有技术相比，本发明提出了一种新颖的基于跨模态信息融合的深度聚类方法及系统，该方法包括自编码器模块、图自编码器模块、跨模态信息融合模块和联合优化目标。大量的消融实验表明，本发明充分融合结构信息与属性信息有助于编码更紧凑和更具有判别性的信息，进而能够生成更加鲁棒的目标分布，为网络的学习提供更精准的指导。在六个公共数据集上的实验结果证明本发明的性能优于现有方法的性能。
附图说明
图1是实施例一提供的一种基于跨模态融合的深度聚类系统结构图；
图2是实施例二提供的跨模态信息融合模块结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
本发明针对现有缺陷，提供了一种基于跨模态融合的深度聚类方法及系统。核心思想是：充分提取自编码器的节点属性信息与图自编码器的结构化信息，并设计一种动态信息融合模块将两者结合以实现精准的表征重构过程。具体而言，本发明精心设计了一种结构与属性信息融合模块。首先，从局部和全局层面融合两种类型的嵌入特征以获取共识表征信息。其次，通过评估样本之间的相似度以及学生T-分布计算出预聚类中心，获得软分配分布Q和目标分布P。最后，设计一种三元自监督机制，该机制利用目标分布同时为自编码器、图自编码器与信息融合部分提供学习指导。此外，深度融合聚类网络还包括一种改进的图自编码器，该自编码器的结构是对称的且通过隐变量与解码器输出变量来同步重构邻接矩阵。本发明既解决了当前深度聚类方法存在多源信息交互不足的问题，也解决了基于自优化的深度聚类方法存在的目标分布不够鲁棒的问题。
实施例一
本实施例提供的一种基于跨模态融合的深度聚类系统，包括自编码器11、图自编码器12、跨模态信息融合模块13和联合优化目标模块；图自编码器11与自编码器12连接，跨模态信息融合模块13分别与自编码器11和图自编码器12连接；联合优化目标模块分别与自编码器11、图自编码器12、跨模态信息融合模块13连接。
自编码器11，用于对图数据的属性信息进行特征提取并重构原始属性矩阵；
图自编码器12，用于对图数据的结构信息进行特征提取并重构原始邻接矩阵与加权属性矩阵；
跨模态信息融合模块13，用于将自编码器的模态信息与图自编码器的模态信息进行整合，生成共识隐嵌入，并根据共识隐嵌入和预计算初始化聚类中心，生成软分配分布和目标分布；
联合优化目标模块，用于同步指导自编码器、图自编码器、跨模态信息融合模块的参数更新过程。
在本实施例中，假设存在一个无向图G＝{V,E}，具有K个聚类中心，V＝{v1,v2,...,vN}和E分别是节点集和边集，N表示样本数量。图的特征通过其属性矩阵X∈RN×d和原始邻接矩阵A＝(aij)N×N∈RN×N表示，d表示属性维度，且当(vi,vj)∈E，aij＝1，否则aij＝0。
无向图G的度矩阵为D＝diag(d1,d2,...,dN)∈RN×N且di＝∑vj∈Vaij，原始邻接矩阵通过计算
Figure BDA0002934051740000081
被表示为归一化的形式
Figure BDA0002934051740000082
其中I∈RN×N，表明V中每个节点都与自环结构连接。
在自编码器11中，对图数据的属性信息进行特征提取并重构原始属性矩阵。
本实施例的自编码器为基于融合的自动编码器，而现有大多数生成式编码器中，无论是自编码器还是图自编码器，都仅利用其自身的隐嵌入来重构输入。相比之下，本实施例提出一种基于自编码器和图自编码器的紧凑表示法。具体而言，首先将来自自编码器和图自编码器的两种模态信息进行整合以生成共识的隐嵌入形式。然后，将自编码器和图自编码器的嵌入作为共识输入来重构两个子网的输入。与现有方法不同，本实施例提出的方法利用精心设计的融合模块将结构信息和属性信息进行融合，然后使用共识的隐嵌入重构两个子网的输入。
在图自编码器12中，对图数据的结构信息进行特征提取并重构原始邻接矩阵与加权属性矩阵。
自编码器的结构通常是对称的，而图自编码器的结构通常是非对称的。图自编码器只利用隐嵌入来重建邻接矩阵，这忽略了基于结构的属性信息可以用于提高网络泛化能力的性质。为了更好地利用邻接信息和属性信息，本实施例设计了一种改进的图自编码器(Improved Graph Auto-encoder，IGAE)。该网络需要同时重构加权属性矩阵和邻接矩阵，其编码器和解码器的形式化表示为：
Figure BDA0002934051740000091
Figure BDA0002934051740000092
其中，Z(l)表示第1个编码层的输出嵌入；
Figure BDA0002934051740000093
表示第h个解码层的输出嵌入；W(l)和
Figure BDA0002934051740000094
分别表示第l个编码器层和第h个解码器层的可学参数矩阵；σ表示非线性激活函数；
Figure BDA0002934051740000095
表示归一化后的原始邻接矩阵；
Figure BDA0002934051740000096
表示第(h-1)个解码层的输出嵌入；Z(l-1)表示第(l-1)个编码层的输出嵌入。
图自编码器的最小化混合损失函数LIGAE，表示为：
LIGAE＝Lw+γLa (3)
其中，γ表示预定义的超参数，用于平衡两个重建损失函数的权重；Lw和La表示为：
Figure BDA0002934051740000097
Figure BDA0002934051740000098
其中，
Figure BDA0002934051740000099
表示重构的加权属性矩阵；
Figure BDA00029340517400000910
表示通过内积运算生成的重构原始邻接矩阵；N表示样本数量；d表示属性维度；Lw表示加权属性矩阵的重构损失；La表示邻接矩阵的重构损失。
通过最小化公式(4)和公式(5)，所提的改进图自编码器同时最小化加权属性矩阵和邻接矩阵的重构损失。
在跨模态信息融合模块13中，将自编码器的模态信息与图自编码器的模态信息进行整合，生成共识隐嵌入，并根据共识隐嵌入和预计算初始化聚类中心，生成软分配分布和目标分布。
为了充分挖掘自编码器和改进的图自编码器所提取的图结构信息和节点属性信息，本实施例提出一种结构与属性信息融合模块。如图2所示，该模块由两部分组成，即跨模态动态融合机制和三元组自监督策略。
跨模态动态融合机制，从局部与全局层面出发，完成两种模态的隐嵌入信息的深度交互并生成更紧凑的共识隐嵌入；
三元自监督策略，在共识隐嵌入和预计算初始化聚类中心的基础上，生成更加精准的软分配分布Q以及更鲁棒的目标分布P。
本实施例提出的跨模态动态融合机制主要包括四个步骤，具体包括：
组合模块，用于将自编码器和图自编码器的隐嵌入进行线性组合，得到初始化融合嵌入信息；
自编码器(ZAE∈RN×d‘)和改进的图自编码器(ZIGAE∈RN×d‘)的隐嵌入进行线性组合，表示为：
ZI＝αZAE+(1-α)ZIGAE (6)
其中，d′表示隐嵌入维数；α表示可学的系数矩阵，该系数矩阵根据不同数据集的属性选择性地评估两种模态信息的重要性；ZAE表示自编码器；ZIGAE表示图自编码器；ZI∈RN ×d′表示初始化融合嵌入信息；d′表示隐嵌入的维度。
在本实施例中，α初始化为0.5，通过随机梯度下降法进行自动调整。
处理模块，用于基于图卷积的操作增强初始化融合嵌入信息；
设计一种类似图卷积的操作(即消息传递操作)用于处理组合信息。通过上述操作，建模数据的局部结构化信息用于增强初始化融合嵌入信息ZI∈RN×d′，表示为：
Figure BDA0002934051740000101
其中，ZL∈RN×d‘表示局部结构增强后的隐嵌入。
重组模块，用于基于自相关学习机制，对初始化融合嵌入信息进行重组；
引入自相关学习机制，用于建模初始信息融合空间的非局部关系。具体而言，首先通过下述公式计算归一化的自相关矩阵，表示为：
Figure BDA0002934051740000102
利用S作为系数矩阵，通过计算样本间的全局相关关系对Z_L进行重组，表示为：
ZG＝SZL (8)
其中，ZG表示对ZL进行重组后的信息；S表示自相关矩阵。
传导模块，用于基于跳跃连接方式使信息在融合机制中传导；
设计一种跳跃连接方式以促进信息在融合机制中传导，表示为：
Figure BDA0002934051740000111
其中，β表示尺度参数，将其初始化为0并在训练网络时使其权值梯度可导；
Figure BDA0002934051740000112
表示融合聚类嵌入。
跨模态动态融合机制从局部和全局两方面考虑样本的相关性。因此，该模块有助于融合和校对自编码器和图自编码器的信息，从而学习质量更高的共识隐嵌入。
本实施例提出的三元组自监督策略具体为：
为了给聚类方法的训练过程提供可靠的指导，本发明通过融合自编码器和图自编码器所生成的聚类嵌入
Figure BDA0002934051740000113
来生成目标分布。三元组自监督策略中生成软分配分布以及目标分布，表示为：
Figure BDA0002934051740000114
Figure BDA0002934051740000115
其中，
Figure BDA0002934051740000116
表示融合聚类嵌入中第i个样本；uj表示第j个预先计算的聚类中心；v表示学生T-分布的自由度；且qij表示将第i个样本分配给第j个中心的概率，即软分配分布；pij表示第i个样本属于第j个聚类中心的概率，即目标分布；j′表示第j′个聚类中心。
在本实施例中，使用学生T-分布作为基核，计算融合嵌入空间中第i个样本
Figure BDA0002934051740000117
和第j个预先计算的聚类中心(uj)之间的相似度。
软分配矩阵Q∈RN×K反映了所有样本的概率分布。为了增加聚类分配的置信度，引入公式(11)来指导所有样本接近聚类中心。具体而言，0≤pij≤1是生成的目标分布P∈RN×K的一个元素，表示第i个样本属于第j个聚类中心的概率。
通过迭代生成的目标分布，根据公式(10)来计算自编码器和改进的图自编码器隐嵌入的软分配分布。自编码器和改进的图自编码器的软分配分布表示为Q′和Q″。
为了在统一框架中训练网络并提高每个部分的表示能力，本实施例设计三元组聚类损失，表示为：
Figure BDA0002934051740000121
其中，LKL表示三元组聚类损失。
自编码器和改进的图自编码器的软分配分布以及融合嵌入与鲁棒的目标分布同时对齐。由于目标分布在无监督模式下生成，因此本发明将损失函数称为三元组聚类损失，其相对应的训练机制称为三元组自监督策略。
在联合优化目标模块中，同步指导自编码器、图自编码器、跨模态信息融合模块的参数更新过程。
模型的学习目标主要包括两个部分：
1)自编码器和改进的图自编码器的重构损失；
2)与目标分布相关的聚类损失。
损失表示为：
Figure BDA0002934051740000122
其中，LAE表示自编码器的均方误差(MSE)重建损失；λ表示是预定义的超参数。
与结构化深度聚类网络不同，本发明提出的深度融合聚类网络用共识的隐嵌入重构两个子网络的输入。入是一个预定义的超参数，用于平衡重构和聚类的重要性。
与现有技术相比，本实施例具有以下有益效果：
1、本实施例提供了一种结构与属性信息融合模块，该模块用于增强属性信息与结构信息的交互。首先，自编码器和图自编码器利用共识隐嵌入来重构原始输入，这有助于隐嵌入泛化能力的提升；其次，通过融合自编码器与图自编码器的互补性信息，生成的目标分布的可靠性得到增强；最后，三元自监督学习机制将自编码器、图自编码器与融合部分统一为同一个优化框架，从而提升了隐嵌入的质量与聚类的性能。
2、本实施例提供了一种改进的图自编码器，克服现有编码方法仅重构结构化信息的局限性，通过联合重构结构信息与加权的属性信息来提升聚类框架的泛化能力。
本实施例针对当前深度聚类方法没有充分考虑多种模态信息的融合以及生成目标分布的鲁棒性较差，导致表征学习次优与聚类性能不足的问题，本实施例目的在于提供一种基于跨模态信息融合的深度聚类系统，对两种模态的样本节点进行局部与全局层面的融合。随后，通过评估样本之间的相似度以及由学生T-分布计算出的预聚类中心，在融合嵌入空间中计算软分配分布Q和目标分布P。随后，在目标分布的指导下，重构邻接矩阵、属性矩阵以及局部信息加权后的属性矩阵，同时优化融合部分来训练一个端到端的深度神经框架。最后，利用K均值聚类算法在加权后的融合嵌入空间中执行聚类，实现无监督深度图信息聚类的目的。
实施例二
本实施例提供的一种基于跨模态融合的深度聚类系统与实施例一的不同之处在于：
本实施例在多个数据集上与现有方法进行对比以验证本发明的有效性。
数据集：
本实施例所使用的数据集共有六种，包括三种图数据集与三种非图数据集，数据集的统计信息如表1所示。
数据集 类型 样本量 类别 维度
USPS Image 9298 10 256
HHAR Record 10299 6 561
REUT Text 10000 4 2000
ACM Graph 3025 3 1870
DBLP Graph 4058 4 334
CITE Graph 3327 6 3703
表1
其中，USPS：[LeCun,Y.；Matan,O.；Boser,B.E.；Denker,J.S.；Henderson,D.；Howard,R.E.；Hubbard,W.E.；Jacket,L.D.；and Baird,H.S.1990.Handwritten Zip CodeRecognition with Multilayer Networks.In ICPR,36–40]；
HHAR：[Lewis,D.D.；Yang,Y.；Rose,T.G.；and Li,F.2004.RCV1:A New BenchmarkCollection for Text Categorization Research.Journal of Machine LearningResearch 5(2):361–397]；
REUT：[Stisen,A.；Blunck,H.；Bhattacharya,S.；Prentow,T.S.；
Figure BDA0002934051740000141
M.B.；Dey,A.；Sonne,T.；and Jensen,M.M.2015.Smart Devices Are Different:Assessing and Mitigating Mobile Sensing Heterogeneities for ActivityRecognition.In SENSYS,127–140]；
ACM：[http://dl.acm.org]；
DBLP：[https://dblp.uni-trier.de]；
REUT：[http://citeseerx.ist.psu.edu/index]
USPS：该数据集属于图像类型，包含9298张16×16大小的单通道图像，均匀分布在10个类别中。
HHAR：该数据集属于文本类型，包含10299条文本数据，每条数据具有561维特征，均匀分布在6个类别中。
REUT：该数据集属于文本类型，包含10000条文本数据，每条数据具有10000维特征，均匀分布在3个类别中。
ACM：该数据集属于图类型，包含3025个图节点，每个节点具有10000维特征，均匀分布在4个类别中。
DBLP：该数据集属于图类型，包含4058个图节点，每个节点具有334维特征，均匀分布在4个类别中。
REUT：该数据集属于图类型，包含3327个图节点，每个节点具有3703维特征，均匀分布在6个类别中。
训练流程：
本实施例的实现环境是Pytorch平台，训练方法总共包括以下四步。
1)首先，通过最小化重构损失函数，分别对自编码器和图自编码器单独训练30个循环；
2)然后，将两个子网络集成至一个统一的框架下，该过程训练100个循环；
3)随后，根据预计算的初始化聚类中心与三元自监督策略，对整个深度聚类框架训练200个循环直至模型收敛；
4)最后，在共识聚类嵌入空间中利用K均值算法对样本进行划分，从而获得每个样本的聚类ID。遵循现有工作的训练策略，为了避免聚类结果由网络参数初始化造成的随机性，本发明对每组实验重复10次并汇报10次结果的均值和标准差。
参数设置：
本实施例统一使用Adam优化对模型进行优化。在USPS和HHAR数据集上的模型学习率设置为0.001，在REUT、DBLP和CITE数据集上的模型学习率设置为0.0001，在ACM数据集上的模型学习率设置为0.00005。训练批次参数设置为256，并采用早停策略避免模型过拟合。根据超参数敏感性分析实验，两个平衡因子γ和λ分别设置为0.1和10。对于非图数据集，在构造邻接矩阵的过程中，每个样本的邻居个数值设置为5。
评价指标：
本实施例采用深度聚类算法领域公认的四种评价指标：聚类精度(ACC),正则化互信息(NMI)，平均Rand指数(ARI)和F1分数。每个样本的聚类ID和类别ID之间的匹配关系采用匈牙利算法(Kuhn-Munkres[Lovász,L.；and Plummer,M.1986.Matching Theory])。
对比方法：
本实施例在6种多类型数据集上与10种基准算法进行对比实验。对比方法包括K均值算法、自编码器、深度嵌入聚类法、改进的深度嵌入聚类法、图自编码器、图变分自编码器、对抗正则图自编码器、深度注意力图嵌入聚类法以及结构化深度聚类法。
如表2所示，通过将本实施例方法与现有方法的比较可得出以下结论。1)在多种数据集上，本实施例的聚类性能优于对比方法。具体而言，K均值聚类法直接在原始数据上执行聚类；自编码器、深度嵌入聚类法与改进的深度嵌入聚类法仅挖掘数据的属性信息来学习用于聚类的隐嵌入。这些方法没有将数据的结构信息考虑在内，因此获得的聚类结果是次优的。相比之下，本实施例充分整合了原始数据的属性信息和结构信息，并对两种模态信息进行互补学习共识的嵌入表征，从而提升隐嵌入的质量与聚类效果；2)现有基于图卷积的聚类方法，例如图自编码器、图变分自编码器、对抗正则图自编码器与深度注意力图嵌入聚类法，没有充分挖掘数据自身的属性信息，且存在由于信息不断聚合造成的过平滑现象。本实施例将自编码其中基于属性的表征整合至统一的聚类框架中，通过融合模块对图结构与节点属性进行交互式学习共识嵌入，从而提升了聚类性能；3)相比最先进的两种聚类方法、结构化深度聚类法及其变种，本发明在六个数据集上实现了性能的全面提升。以DBLP数据集为例，本发明的性能明显优于SDCN和SDCN-Q，在精度、均值互信息、平均Rand指数(ARI)和F1分数四种指标上分别提升了7.9％、4.2％、7.8％和8.0％。
Figure BDA0002934051740000161
Figure BDA0002934051740000171
表2
根据表2可得出在六个公共数据集上的实验结果证明本发明的性能优于现有方法的性能。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于跨模态融合的深度聚类系统，其特征在于，包括自编码器、图自编码器、跨模态信息融合模块和联合优化目标模块；所述图自编码器与自编码器连接，所述跨模态信息融合模块分别与自编码器和图自编码器连接；所述联合优化目标模块分别与自编码器、图自编码器、跨模态信息融合模块连接；
自编码器，用于对图数据的属性信息进行特征提取并重构原始属性矩阵；
图自编码器，用于对图数据的结构信息进行特征提取并重构原始邻接矩阵与加权属性矩阵；
跨模态信息融合模块，用于将自编码器的模态信息与图自编码器的模态信息进行整合，生成共识隐嵌入，并根据共识隐嵌入和预计算初始化聚类中心，生成软分配分布和目标分布；
联合优化目标模块，用于同步指导自编码器、图自编码器、跨模态信息融合模块的参数更新过程。
2.根据权利要求1所述的一种基于跨模态融合的深度聚类系统，其特征在于，所述图自编码器中对图数据的结构信息进行特征提取并重构原始邻接矩阵与加权属性矩阵，具体为：
图自编码器中的编码器和解码器的形式，表示为：
Figure FDA0002934051730000011
Figure FDA0002934051730000012
其中，Z(l)表示第l个编码层的输出嵌入；
Figure FDA0002934051730000013
表示第h个解码层的输出嵌入；W(l)和
Figure FDA0002934051730000014
分别表示第l个编码器层和第h个解码器层的可学参数矩阵；σ表示非线性激活函数；
Figure FDA0002934051730000015
表示归一化后的原始邻接矩阵；
Figure FDA0002934051730000016
表示第(h-1)个解码层的输出嵌入；Z(l-1)表示第(l-1)个编码层的输出嵌入；
图自编码器的最小化混合损失函数LIGAE，表示为：
LIGAE＝Lw+γLa (3)
其中，γ表示预定义的超参数，用于平衡两个重建损失函数的权重；Lw和La表示为：
Figure FDA0002934051730000017
Figure FDA0002934051730000018
其中，
Figure FDA0002934051730000019
表示重构的加权属性矩阵；
Figure FDA00029340517300000110
表示通过内积运算生成的重构原始邻接矩阵；N表示样本数量；d表示属性维度；Lw表示加权属性矩阵的重构损失；La表示邻接矩阵的重构损失。
3.根据权利要求1所述的一种基于跨模态融合的深度聚类系统，其特征在于，所述跨模态信息融合模块包括跨模态动态融合机制和三元组自监督策略；
跨模态动态融合机制，用于将自编码器的模态信息与图自编码器的模态信息进行隐嵌入信息的深度交互，生成共识隐嵌入；
三元组自监督策略，用于根据共识隐嵌入和预计算初始化聚类中心，生成软分配分布以及目标分布。
4.根据权利要求3所述的一种基于跨模态融合的深度聚类系统，其特征在于，所述跨模态动态融合机制具体包括：
组合模块，用于将自编码器和图自编码器的隐嵌入进行线性组合，得到初始化融合嵌入信息，表示为：
ZI＝αZAE+(1-α)ZIGAE (6)
其中，d'表示隐嵌入维数；α表示可学的系数矩阵；ZAE表示自编码器；ZIGAE表示图自编码器；ZI∈RN×d′表示初始化融合嵌入信息；d′表示隐嵌入的维度；
处理模块，用于基于图卷积的操作增强初始化融合嵌入信息，表示为：
Figure FDA0002934051730000021
其中，ZL∈RN×d‘表示局部结构增强后的隐嵌入；
重组模块，用于基于自相关学习机制，对初始化融合嵌入信息进行重组，表示为：
ZG＝SZL (8)
其中，ZG表示对ZL进行重组后的信息；S表示自相关矩阵；
传导模块，用于基于跳跃连接方式使信息在融合机制中传导，表示为：
Figure FDA0002934051730000022
其中，β表示尺度参数；
Figure FDA0002934051730000023
表示融合聚类嵌入。
5.根据权利要求4所述的一种基于跨模态融合的深度聚类系统，其特征在于，所述三元组自监督策略中生成软分配分布以及目标分布，表示为：
Figure FDA0002934051730000031
Figure FDA0002934051730000032
其中，
Figure FDA0002934051730000033
表示融合聚类嵌入中第i个样本；uj表示第j个预先计算的聚类中心；v表示学生T-分布的自由度；且qij表示将第i个样本分配给第j个中心的概率，即软分配分布；pij表示第i个样本属于第j个聚类中心的概率，即目标分布；j′表示第j′个聚类中心。
6.根据权利要求5所述的一种基于跨模态融合的深度聚类系统，其特征在于，所述三元组自监督策略中生成目标分布后还包括：
通过三元组聚类损失提高每个部分的表示能力，其中三元组聚类损失表示为：
Figure FDA0002934051730000034
其中，LKL表示三元组聚类损失。
7.根据权利要求1所述的一种基于跨模态融合的深度聚类系统，其特征在于，所述联合优化目标模块中同步指导自编码器、图自编码器、跨模态信息融合模块的参数更新过程具体包括：
计算自编码器和图自编码器的重构损失，计算自编码器、图自编码器与目标分布相关的聚类损失，表示为：
L＝LAE+LIGAE+λLKL (13)
其中，LAE表示自编码器的均方误差重建损失；λ表示是预定义的超参数。
8.一种基于跨模态融合的深度聚类方法，其特征在于，包括：
S1.自编码器对图数据的属性信息进行特征提取并重构原始属性矩阵；
S2.图自编码器对图数据的结构信息进行特征提取并重构原始邻接矩阵与加权属性矩阵；
S3.跨模态信息融合模块将自编码器的模态信息与图自编码器的模态信息进行整合，生成共识隐嵌入，并根据共识隐嵌入和预计算初始化聚类中心，生成软分配分布和目标分布；
S4.联合优化目标模块同步指导自编码器、图自编码器、跨模态信息融合模块的参数更新过程。
9.根据权利要求8所述的一种基于跨模态融合的深度聚类方法，其特征在于，所述步骤S2中对图数据的结构信息进行特征提取并重构原始邻接矩阵与加权属性矩阵，具体为：
图自编码器中的编码器和解码器的形式，表示为：
Figure FDA0002934051730000041
Figure FDA0002934051730000042
其中，Z(l)表示第l个编码层的输出嵌入；
Figure FDA0002934051730000043
表示第h个解码层的输出嵌入；W(l)和
Figure FDA0002934051730000044
分别表示第l个编码器层和第h个解码器层的可学参数矩阵；σ表示非线性激活函数；
Figure FDA0002934051730000045
表示归一化后的原始邻接矩阵；
Figure FDA0002934051730000046
表示第(h-1)个解码层的输出嵌入；Z(l-1)表示第(l-1)个编码层的输出嵌入；
图自编码器的最小化混合损失函数LIGAE，表示为：
LIGAE＝Lw+γLa (3)
其中，γ表示预定义的超参数，用于平衡两个重建损失函数的权重；Lw和La表示为：
Figure FDA0002934051730000047
Figure FDA0002934051730000048
其中，
Figure FDA0002934051730000049
表示重构的加权属性矩阵；
Figure FDA00029340517300000410
表示通过内积运算生成的重构原始邻接矩阵；N表示样本数量；d表示属性维度；Lw表示加权属性矩阵的重构损失；La表示邻接矩阵的重构损失。
10.根据权利要求9所述的一种基于跨模态融合的深度聚类方法，其特征在于，所述步骤S3具体包括：
S31.将自编码器的模态信息与图自编码器的模态信息进行隐嵌入信息的深度交互，生成共识隐嵌入；
S32.根据共识隐嵌入和预计算初始化聚类中心，生成软分配分布以及目标分布。
CN202110154434.7A 2021-02-04 2021-02-04 一种基于跨模态融合的深度聚类方法及系统 Pending CN112906770A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110154434.7A CN112906770A (zh) 2021-02-04 2021-02-04 一种基于跨模态融合的深度聚类方法及系统
PCT/CN2021/135894 WO2022166361A1 (zh) 2021-02-04 2021-12-07 一种基于跨模态融合的深度聚类方法及系统
ZA2023/08290A ZA202308290B (en) 2021-02-04 2023-08-28 Cross-modal fusion-based deep clustering method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110154434.7A CN112906770A (zh) 2021-02-04 2021-02-04 一种基于跨模态融合的深度聚类方法及系统

Publications (1)

Publication Number Publication Date
CN112906770A true CN112906770A (zh) 2021-06-04

Family

ID=76122295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110154434.7A Pending CN112906770A (zh) 2021-02-04 2021-02-04 一种基于跨模态融合的深度聚类方法及系统

Country Status (3)

Country Link
CN (1) CN112906770A (zh)
WO (1) WO2022166361A1 (zh)
ZA (1) ZA202308290B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762648A (zh) * 2021-10-26 2021-12-07 平安科技（深圳）有限公司 公卫黑天鹅事件预测方法、装置、设备及介质
CN113792784A (zh) * 2021-09-14 2021-12-14 上海任意门科技有限公司 用于用户聚类的方法、电子设备和存储介质
WO2022166361A1 (zh) * 2021-02-04 2022-08-11 浙江师范大学 一种基于跨模态融合的深度聚类方法及系统
CN117909910A (zh) * 2024-03-19 2024-04-19 成都工业学院 基于图注意力网络的系统异常日志自动检测方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115985402B (zh) * 2023-03-20 2023-09-19 北京航空航天大学 一种基于归一化流理论的跨模态数据迁移方法
CN116720523B (zh) * 2023-04-19 2024-02-06 贵州轻工职业技术学院 一种基于多核的深度文本聚类方法、装置及存储介质
CN116206133B (zh) * 2023-04-25 2023-09-05 山东科技大学 一种rgb-d显著性目标检测方法
CN117113240B (zh) * 2023-10-23 2024-03-26 华南理工大学 动态网络社区发现方法、装置、设备及存储介质
CN117407697B (zh) * 2023-12-14 2024-04-02 南昌科晨电力试验研究有限公司 基于自动编码器和注意力机制的图异常检测方法及系统
CN117727307B (zh) * 2024-02-18 2024-04-16 百鸟数据科技(北京)有限责任公司 基于特征融合的鸟类声音智能识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958216A (zh) * 2017-11-27 2018-04-24 沈阳航空航天大学 基于半监督的多模态深度学习分类方法
DE102018100667A1 (de) * 2018-01-12 2019-07-18 Connaught Electronics Ltd. Computersichtvorfusion und räumlich-zeitliche Verfolgung
CN109376857A (zh) * 2018-09-03 2019-02-22 上海交通大学 一种融合结构和属性信息的多模态深度网络嵌入方法
CN112906770A (zh) * 2021-02-04 2021-06-04 浙江师范大学 一种基于跨模态融合的深度聚类方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022166361A1 (zh) * 2021-02-04 2022-08-11 浙江师范大学 一种基于跨模态融合的深度聚类方法及系统
CN113792784A (zh) * 2021-09-14 2021-12-14 上海任意门科技有限公司 用于用户聚类的方法、电子设备和存储介质
CN113792784B (zh) * 2021-09-14 2022-06-21 上海任意门科技有限公司 用于用户聚类的方法、电子设备和存储介质
CN113762648A (zh) * 2021-10-26 2021-12-07 平安科技（深圳）有限公司 公卫黑天鹅事件预测方法、装置、设备及介质
CN113762648B (zh) * 2021-10-26 2023-12-19 平安科技（深圳）有限公司 公卫黑天鹅事件预测方法、装置、设备及介质
CN117909910A (zh) * 2024-03-19 2024-04-19 成都工业学院 基于图注意力网络的系统异常日志自动检测方法

Also Published As

Publication number Publication date
WO2022166361A1 (zh) 2022-08-11
ZA202308290B (en) 2023-09-27

Similar Documents

Publication Publication Date Title
CN112906770A (zh) 一种基于跨模态融合的深度聚类方法及系统
Lv et al. Pseudo-supervised deep subspace clustering
Al-Qatf et al. Deep learning approach combining sparse autoencoder with SVM for network intrusion detection
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
Wang et al. Local distribution-based adaptive minority oversampling for imbalanced data classification
US11816183B2 (en) Methods and systems for mining minority-class data samples for training a neural network
CN110555455A (zh) 一种基于实体关系的在线交易欺诈检测方法
CN110046252B (zh) 一种基于注意力机制神经网络与知识图谱的医疗文本分级方法
Huang et al. A graph neural network-based node classification model on class-imbalanced graph data
CN111414461A (zh) 一种融合知识库与用户建模的智能问答方法及系统
CN113177132A (zh) 基于联合语义矩阵的深度跨模态哈希的图像检索方法
CN113269647A (zh) 基于图的交易异常关联用户检测方法
CN113869424A (zh) 基于双通道图卷积网络的半监督节点分类方法
Tian et al. Partial label learning: Taxonomy, analysis and outlook
CN115577283A (zh) 一种实体分类方法、装置、电子设备及存储介质
CN115310589A (zh) 一种基于深度图自监督学习的群体识别方法及系统
Yu et al. Label-enhanced graph neural network for semi-supervised node classification
Olatunji et al. Private graph extraction via feature explanations
Zhang et al. An intrusion detection method based on stacked sparse autoencoder and improved gaussian mixture model
CN112668633B (zh) 一种基于细粒度领域自适应的图迁移学习方法
CN114036308A (zh) 基于图注意力神经网络的知识图谱表示方法
CN109409434A (zh) 基于随机森林的肝脏疾病数据分类规则提取的方法
Zhao et al. A cross-media heterogeneous transfer learning for preventing over-adaption
CN117349494A (zh) 空间图卷积神经网络的图分类方法、系统、介质及设备
Liu et al. A weight-incorporated similarity-based clustering ensemble method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhu Xinzhong

Inventor after: Xu Huiying

Inventor after: Zhao Jianmin

Inventor before: Zhu Xinzhong

Inventor before: Xu Huiying

Inventor before: Tu Wenxuan

Inventor before: Liu Xinwang

Inventor before: Zhao Jianmin

CB03 Change of inventor or designer information