CN115906920A - 一种基于多视图对比学习的多层网络节点表示学习方法 - Google Patents

一种基于多视图对比学习的多层网络节点表示学习方法 Download PDF

Info

Publication number
CN115906920A
CN115906920A CN202211355797.8A CN202211355797A CN115906920A CN 115906920 A CN115906920 A CN 115906920A CN 202211355797 A CN202211355797 A CN 202211355797A CN 115906920 A CN115906920 A CN 115906920A
Authority
CN
China
Prior art keywords
graph
node
representation
layer
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202211355797.8A
Other languages
English (en)
Inventor
张明杰
汪鼎文
吴弘润
李元香
项正龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202211355797.8A priority Critical patent/CN115906920A/zh
Publication of CN115906920A publication Critical patent/CN115906920A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于多视图对比学习的多层网络节点表示学习方法，引入互信息最大化和多视图对比学习来解决无监督多层网络节点表示问题。本发明利用多视图学习的方法，通过比较一个视图的节点表示和另一个视图的图表示来最大化两个视图之间的互信息(邻接矩阵和扩散矩阵)。同时，利用多层信息融合，通过同时建模层内和层间的全局信息来学习更好的多层网络节点表示。模型的最终节点表示结果既包含了层间的特定信息，也包含了层间的全局信息。这样的一种基于多视图对比学习的多层网络节点表示学习方法可以提高多层图网络节点分类任务以及节点聚类任务的准确率。

Description

一种基于多视图对比学习的多层网络节点表示学习方法
技术领域
本发明属于图神经网络和对比学习的技术领域。在多层网络节点表示学习中，通过最大化互信息的对比学习方法，学习网络中节点的低阶表示形式，从而将节点的表示运用到下游的分类及聚类等任务中。
背景技术
许多现实世界的数据集都是用图结构表示的，其中对象及其之间的关系用节点和节点间的边表示。传统的机器学习模型难以处理这样的非欧几里得数据。随着神经网络有关模型的快速发展，图神经网络在处理这类图网络数据方面显示出了强大的潜力。这些模型通过聚合节点自身以及邻居的信息来学习节点或图的低维表示，如利用专门设计的神经网络层对图网络数据进行处理，利用注意力机制或随机采样直接在图域内进行图卷积运算等。
现有的大多数图神经网络需要利用已经标记好的数据作为参照，进行半监督训练，但标记图是一项具有挑战性和耗时的任务。为了解决这一问题，学者们提出了基于重建、随机游走和对比学习的无监督学习方法。具体来说，基于重建的方法采用编码器-解码器模型来重构节点之间的边，并学习节点的相关信息。基于随机游走的模型通过将某些不同规则生成的节点序列提供给模型来学习节点表示。但这两类模型只考虑由邻接矩阵组成的邻居信息，忽略了图中包含的全局结构和高层信息以及节点自身包含的属性。基于对比学习的模型通过最大化节点和图表示之间的局部-全局互信息来学习节点表示，这类模型同时考虑了图的局部和全局特征，具有更加优异的表现。但是值得注意的是，这些方法只适用于同构图的学习。
对于异构图的无监督学习，学者们将同构图算法进行了相应的改造和扩展，例如采用层级间的跳跃等方式实现异构图上随机游走算法，或者将互信息最大化的对比学习和注意机制相结合的方法应用于异构图的无监督节点表示学习。然而，这些方法在学习节点表示时，只是利用了节点的邻接矩阵或低阶邻居信息。近年来，在计算机视觉领域，多视图对比学习发挥着不可或缺的作用，它利用一个图像的多个视图来学习其表示，在图像分类任务中取得了优异的结果。这样一种多视图学习模型可以迁移到图网络的学习模型中，通过多个不同视图的信息提取，模型不单单可以学习到邻接矩阵中的信息，还可以学习到邻接矩阵中不包含的高层信息，因此将多视图学习应用于图网络是一个有意义的任务。
综上所述，现有的技术存在这以下问题：1.部分模型需要利用已标注好的标签信息进行有监督的学习；2.大部分模型只适用于同构图的学习中，在异构图中不能取得较好的结果；3.现有模型只利用了节点的邻接矩阵或低阶邻居信息，未能很好地提取图结构的全局信息。
发明内容
针对现有研究中的局限性，本文将多视图学习运用于多层网络节点表示学习中提出了一种基于多视图对比学习的多层网络节点表示学习方法。该方法将多视图对比学习扩展到多层网络图中并且可以提取出更好的全局结构层间信息。具体来说，我们首先利用图的不同结构视图之间的互信息最大化，让模型从高阶邻居中聚合特征，学习全局信息。其次，为了使多层网络中的每一层都包含多层网络的全局结构信息，我们将模型分为了两部分：分层图神经网络以及层间融合图神经网络。分层图神经网络学习节点在每层中特有的表示，层间融合网络将多层图看作一个整体学习每个节点的整体表示，我们将得到的整体表示加入到分层表示中。通过最大化多个视图中的节点表示和图表示之间的互信息，模型可以学习到丰富的局部和全局信息，提高节点表示能力。通过最大化来自不同视图的局部-全局互信息，我们的模型实现了无监督的节点表示学习，同时让节点包含了一定的图级别的全局结构信息。在得到最终的节点表示后，我们可以将表示结果应用于后续的各种任务，如节点聚类和节点分类。具体实现步骤如下所示：
步骤1，数据预处理，将收集到的异构图数据集基于多个对称的元路径进行转换，将异构图转变为基于元路径的多层图网络；
步骤2，基于多层图网络的邻接矩阵和属性矩阵生成初始图网络的扩散视图矩阵和负样本；
步骤3，构建分层图神经网络，使用常用的图卷积网络对多层图网络和扩散图进行卷积处理，得到各层独立的节点表示结果；
步骤4，构建层间融合图神经网络，层间融合图神经网络旨在通过考虑层间交互信息来学习多层图网络中节点的全局整体表示，得到当前层的最终节点表示；
步骤5，对步骤3和步骤4组成的整体模型进行训练；
步骤6，训练完成后，将多层图网络邻接矩阵以及属性矩阵输入训练好的网络模型中得到每层的最终节点表示，最终节点表示结果可以用于下游的节点分类或者聚类任务。
进一步的，步骤2中使用扩散算法Personalized PageRank(PPR)生成扩散图矩阵，实现方式如下；
对于当前层的邻接矩阵
Figure BDA0003919883790000031
和对角线度数矩阵
Figure BDA0003919883790000032
PPR扩散的公式为：
Figure BDA0003919883790000033
α是位于0-1之间的可设置的超参数，其中n表示多层图网络中节点的个数，对角度数矩阵D(l)的对角线元素dii表示与节点i相连的其它节点个数，即节点i的度数，非对角线元素dij的值为0，其中i，j表示节点，i≠j。
进一步的，步骤2中生成负样本的实现方式如下；
令邻接矩阵不变，然后随机交换节点属性，通过这种方法，相当于交换了节点间的边，将通过该方法构造出来的新的属性矩阵
Figure BDA0003919883790000034
视为当前多层图网络的反例，即负样本。
进一步的，步骤3的具体实现方式如下；
图卷积网络GCN的定义为
Figure BDA0003919883790000035
和
Figure BDA0003919883790000036
其中
Figure BDA0003919883790000037
Figure BDA0003919883790000038
表示图的对称归一化邻接矩阵，
Figure BDA0003919883790000039
In是n维单位矩阵，
Figure BDA00039198837900000310
是
Figure BDA00039198837900000311
的对角度数矩阵；
Figure BDA00039198837900000312
是通过步骤2得到的扩散图矩阵，
Figure BDA00039198837900000313
是图的初始节点属性矩阵，W是待训练的网络模型参数，σ(·)表示激活函数；通过分层图神经网络的处理后，对于多层图网络的每一层，可以得到该层的初始图以及扩散图的正反例节点表示Hs (l),
Figure BDA00039198837900000314
其中，d表示节点表示的维数，Hs (l)表示初始图第l层的正例节点表示，
Figure BDA00039198837900000315
表示扩散图第l层的正例节点表示，
Figure BDA00039198837900000316
表示节点的反例表示，反例的节点表示只需要将X更换为
Figure BDA0003919883790000041
即可，初始图即为多层图网络。
进一步的，步骤4的具体实现方式如下；
步骤4.1，使用GCN图卷积网络学习步骤1中得到的多层图网络中每一层的正例表示
Figure BDA0003919883790000042
以及反例表示
Figure BDA0003919883790000043
然后通过注意力机制将各层结果进行加权求和得到节点的整体表示，注意力机制考虑各层对整体的影响程度，影响大的会赋予更大的权重，从而更好地获取节点的全局表示，具体公式如下：
Figure BDA0003919883790000044
其中k表示多层图网络的层数，m表示注意力机制中的注意力头个数，即考虑不同的注意力参数
Figure BDA0003919883790000045
求和得到最终表示，
Figure BDA0003919883790000046
表示第l层在整体表示中所占权重，q(l)是待训练参数，
Figure BDA0003919883790000047
表示
Figure BDA0003919883790000048
的第i行数据，即节点i通过GCN网络得到的低维表示；
该步骤得到的结果为
Figure BDA0003919883790000049
表示初始图以及扩散图的全局正例节点表示，
Figure BDA00039198837900000410
分别表示初始图以及扩散图的全局反例表示；
步骤4.2，为了使多层图网络的最终节点表示结果既包含特定层信息，又包含层间融合信息，将步骤3和步骤4.1中得到的信息聚合起来表示多层网络中每一层的整体嵌入；具体来说，在步骤3得到的各层节点表示上加上一定比例的通过步骤4.1得到的节点全局表示作为当前层的最终节点表示：
Figure BDA00039198837900000411
Figure BDA00039198837900000412
Figure BDA00039198837900000413
Figure BDA00039198837900000414
η是设定好的层间融合节点表示权重的参数，H(l)和
Figure BDA00039198837900000415
表示第l层的最终节点正例表示，
Figure BDA0003919883790000051
和
Figure BDA0003919883790000052
表示第l层的最终反例表示。
进一步的，步骤5的具体实现方式如下；
步骤5.1，对比学习流程，在得到了多层图网络各层的最终节点表示后，利用一个函数可以得到网络初始图以及扩散图的图级表示
Figure BDA0003919883790000053
和
Figure BDA0003919883790000054
Figure BDA0003919883790000055
Figure BDA0003919883790000056
Figure BDA0003919883790000057
表示H(l),
Figure BDA0003919883790000058
的第i行数据，即第i个节点的表示；
对于网络的每一层，为了学习多视图中丰富的节点和图级表示，通过计算节点的表示H(l),
Figure BDA0003919883790000059
和图级表示
Figure BDA00039198837900000510
之间的分值来判别节点是属于正例还是反例，并通过对比一个视图的节点表示和另一个视图的图表示，从而最大化两个视图之间的互信息；
步骤5.2，将整体模型的损失定义为标准二元交叉熵损失，具体的每层损失定义如下；
Figure BDA00039198837900000511
上述的N和M是相等的，N为正例数量，M为反例数量，都表示节点个数，其中，D表示一个比较辨别器，它是一个双线性层
Figure BDA00039198837900000512
Figure BDA00039198837900000513
Wd是待训练参数；
得到了每层的损失后，将各层损失相加即可得到总体模型的损失，用于模型参数的反馈修正，模型损失定义为：
Figure BDA00039198837900000514
‖Θ‖2是网络参数的L2正则化，以预防网络模型的过拟合问题。
本发明的优点：引入互信息最大化和多视图对比学习来解决无监督多层网络节点表示问题。利用多视图学习的方法，通过比较一个视图的节点表示和另一个视图的图表示来最大化两个视图之间的互信息(邻接矩阵和扩散矩阵)。同时，利用多层信息融合，通过同时建模层内和层间的全局信息来学习更好的多层网络节点表示。模型的最终节点表示结果既包含了层间的特定信息，也包含了层间的全局信息。这样的一种基于多视图对比学习的多层网络节点表示学习方法可以提高多层图网络节点分类任务以及节点聚类任务的准确率。
附图说明
图1是将异构图转化为多层图网络的示例。
图2是本发明的流程图。
具体实施方式
具体实施时，本发明所提供技术方案可由本领域技术人员采用计算机软件技术实现自动运行流程。以下结合附图和实施例详细说明本发明技术方案。
一、概念定义
异构图：在本发明中，图定义为一个集合HG＝{V,E,X}，其中V表示图中的节点集，E表示节点与节点之间相连的边集，X∈Rn×f(n表示节点个数，f表示初始的节点属性大小)是节点属性矩阵。定义一种节点类型的映射函数φ:
Figure BDA0003919883790000061
以及边类型的映射函数ψ:
Figure BDA0003919883790000062
和
Figure BDA0003919883790000063
分别表示节点类型的集合以及边类型的集合，每个节点
Figure BDA0003919883790000064
属于
Figure BDA0003919883790000065
中的一种类型，每条边e∈E属于
Figure BDA0003919883790000066
中的一种类型。对于同构图来说，
Figure BDA0003919883790000067
即只有一种类型的节点以及一种类型的边，而在异构图中，满足
Figure BDA0003919883790000068
元路径：元路径被定义为连接具有不同边类型的两个节点的路径，它表示为
Figure BDA0003919883790000069
这条路径通过多条边的组合
Figure BDA00039198837900000610
将v1和vn连接起来，其中
Figure BDA00039198837900000611
表示边类型的合成操作。对于一条元路径Φ以及一个节点vi∈Vp，如果节点vj∈Vq通过路径Φ与节点vi相连，我们就称两个节点vi和vj是基于元路径的邻居，其中p和q表示节点的类型。这样一种邻居信息就可以通过一个基于元路径的邻接矩阵
Figure BDA00039198837900000612
表示。根据定义可知，如果当前元路径是对称的，即它的起点类型和终点类型是相同的，则构造出来的邻接矩阵只包含一种类型的节点，因此我们可以通过元路径将异构图处理为只包含一种节点类型的同构图。
多层图网络：多层图网络是一种特殊的异构图，其中它的节点类型数量
Figure BDA0003919883790000071
边类型数量
Figure BDA0003919883790000072
它可以表示为C＝{V,E,X}，其中E＝{E(1),E(2),…,E(k)}。给定了边的集合，我们可以得到该图的邻接矩阵集合A＝{A(1),A(2),…,A(k)}。由元路径的定义可知，我们可以利用k个对称的元路径将一个异构图转化为一个k层的多层图网络。
多层图网络节点学习：给定一个多层网络G＝{V,E,X}及其邻接矩阵集合A，节点学习的目标是对于每个节点vi∈V学习到一个d维的表示hi∈H∈Rn×d，得到该表示后就可以将其运用于各类下游任务中，如节点分类和节点聚类等等。
二、实现步骤
步骤1，数据预处理。将收集到的异构图数据集基于多个对称的元路径进行转换，将异构图转变为基于元路径的多层图网络，如图1所示，最初的异构图网络存在作者、文章、主题三种不同类型的节点，现在想要对文章这一类型的节点进行节点表示学习用于文章分类等任务，可以定义出两条对称元路径“文章-作者-文章”和“文章-主题-文章”，根据这两条元路径构建多层图网络，例如，文章1和文章2可以通过“文章1-作者1-文章2”这条元路径连接，则在构建出来的多层图网络中存在文章1和文章2之间的连边。以此类推，由两个不同的元路径可以构造出一个两层的图结构，其中每层都是一个同构图。要注意的是，在选择元路径时，起点和终点的类型应该设置成需要进行下游任务的节点类型。
步骤2，图的多视图以及反例的生成。该步骤基于多层图网络的邻接矩阵生成多层图网络的扩散视图矩阵和负样本。扩散算法使用了Personalized PageRank(PPR)，一种广义图扩散的实例，根据PPR生成的扩散图矩阵可以作为当前图网络的另一种视图用作多视图学习中。对于当前层的邻接矩阵
Figure BDA0003919883790000073
和对角线度数矩阵
Figure BDA0003919883790000074
PPR扩散的公式为：
Figure BDA0003919883790000075
α是位于0-1之间的可设置的超参数，其中n表示多层图网络中节点的个数，对角度数矩阵D(l)的对角线元素dii表示与节点i相连的其它节点个数，即节点i的度数，非对角线元素dij(i≠j)的值为0。对于反例的生成部分，我们令邻接矩阵不变，然后随机交换节点属性X，通过这种方法，我们相当于交换了节点间的边，将通过该方法构造出来的新网络属性矩阵
Figure BDA00039198837900000816
视为当前图网络的反例，即负样本，用作之后的对比学习中。
步骤3，分层图神经网络。在分层图神经网络中，我们使用常用的图卷积网络(Graph Convolution Network，GCN)对多层图网络和扩散图进行卷积处理，得到各层独立的节点表示结果。
GCN网络的定义为
Figure BDA0003919883790000081
和
Figure BDA0003919883790000082
其中
Figure BDA0003919883790000083
表示图的对称归一化邻接矩阵，
Figure BDA0003919883790000084
In是n维单位矩阵，
Figure BDA0003919883790000085
是
Figure BDA0003919883790000086
的对角度数矩阵。
Figure BDA0003919883790000087
是通过步骤2得到的扩散图矩阵，
Figure BDA0003919883790000088
是图的初始节点属性矩阵，W是待训练的网络模型参数，σ(·)表示激活函数。通过分层图神经网络的处理后，对于多层图网络的每一层，可以得到该层的初始图以及扩散图的正反例节点表示Hs (l),
Figure BDA0003919883790000089
其中，d表示节点表示的维数，Hs (l)表示初始图第l层的正例节点表示，
Figure BDA00039198837900000810
表示扩散图第l层的正例节点表示，
Figure BDA00039198837900000811
表示节点的反例表示，反例的节点表示只需要将网络中的X更换为
Figure BDA00039198837900000812
即可。
步骤4，层间融合图神经网络。层间融合图神经网络旨在通过考虑层间交互信息来学习多层网络中节点的全局整体表示。
步骤4.1，与步骤3相似，我们使用GCN图卷积网络学习步骤1中得到的多层图网络中每一层的表示
Figure BDA00039198837900000813
以及反例表示
Figure BDA00039198837900000814
然后通过注意力机制将各层结果进行加权求和得到节点的整体表示。注意力机制考虑各层对整体的影响程度，影响大的会赋予更大的权重，从而更好地获取节点的全局表示。具体公式如下：
Figure BDA00039198837900000815
其中k表示多层图网络的层数，m表示注意力机制中的注意力头个数，即考虑不同的注意力参数
Figure BDA0003919883790000091
求和得到最终表示，
Figure BDA0003919883790000092
表示第l层在整体表示中所占权重，q(l)是待训练参数，
Figure BDA0003919883790000093
表示
Figure BDA0003919883790000094
的第i行数据，即节点i通过GCN网络得到的低维表示。
该步骤得到的结果为
Figure BDA0003919883790000095
表示初始图以及扩散图的全局正例节点表示，
Figure BDA0003919883790000096
分别表示初始图以及扩散图的全局反例表示。
步骤4.2，为了使多层图网络的最终节点表示结果既包含特定层信息，又包含层间融合信息，我们将步骤3和步骤4.1中得到的信息聚合起来表示多层网络中每一层的整体嵌入。具体来说，在步骤3得到的各层节点表示上加上一定比例的通过步骤4.1得到的节点全局表示作为当前层的最终节点表示：
Figure BDA0003919883790000097
Figure BDA0003919883790000098
Figure BDA0003919883790000099
Figure BDA00039198837900000910
η是设定好的层间融合节点表示权重的参数。H(l)和
Figure BDA00039198837900000911
表示第l层的最终节点正例表示，
Figure BDA00039198837900000912
和
Figure BDA00039198837900000913
表示第l层的最终反例表示；
步骤5，对步骤3和步骤4组成的整体模型进行训练；
步骤5.1，对比学习流程。在得到了网络各层的最终节点表示后，利用一个函数可以得到网络初始图以及扩散图的图级表示
Figure BDA00039198837900000914
和
Figure BDA00039198837900000915
Figure BDA00039198837900000916
Figure BDA00039198837900000917
Figure BDA00039198837900000918
表示H(l),
Figure BDA00039198837900000919
的第i行数据，即第i个节点的表示。
对于网络的每一层，为了学习多视图中丰富的节点和图级表示，我们通过计算节点的表示H(l),
Figure BDA0003919883790000101
和图级表示
Figure BDA0003919883790000102
之间的分值来判别节点是属于正例还是反例，并通过对比一个视图的节点表示和另一个视图的图表示，从而最大化两个视图之间的互信息。
步骤5.2，我们将模型的损失定义为标准二元交叉熵损失，它被证明有助于帮助模型最大化互信息，获得更好的自监督学习效果。具体的每层损失定义如下；
Figure BDA0003919883790000103
在本发明中，上述的N和M是相等的，N为正例数量，M为反例数量，都表示节点个数。其中，D表示一个比较辨别器，它是一个双线性层
Figure BDA0003919883790000104
Figure BDA0003919883790000105
Wd是待训练参数。
得到了每层的损失后，将各层损失相加即可得到总体模型的损失，用于模型参数的反馈修正，模型损失定义为：
Figure BDA0003919883790000106
‖Θ‖2是网络参数的L2正则化，以预防网络模型的过拟合问题。
步骤6，在训练完成后，我们可以将多层图网络邻接矩阵
Figure BDA0003919883790000107
以及属性矩阵X输入训练好的网络模型中得到每层的最终节点表示H(l)，然后利用一个平均池函数，就可以得到多层图网络中节点的表示
Figure BDA0003919883790000108
其中k表示多层图网络的层数，该表示结果可以用于下游的节点分类或者聚类等任务。
本发明在IMDB数据集中的应用。IMDB数据集是一个描述电影、导演和演员之间关系的数据集。它将电影分为三类：动作片、喜剧和戏剧。通过定义“电影-导演-电影”以及“电影-演员-电影”这两个元路径，可以得到一个两层图网络，我们使用的数据包括3550部电影、4441名演员和1726名导演，任务的目标是对这3550部电影进行分类以及聚类。
表1是本发明以及一些常用图神经网络在IMDB数据集中的分类以及聚类任务结果对比，其中，HDMI，DMGI，HDGI，HERec，MVGRL，DGI和Deepwalk是无监督模型，HAN，GCN，GAT，APPNP是有监督模型。由表中数据可以看出，本发明在分类以及聚类的任务中都取得了优于基准模型的效果，甚至优于有监督的模型结果，这些结果表明，本发明提出的多视角对比学习是提高嵌入性能的有效方法。
表1 IMDB数据集分类及聚类任务结果对比
Figure BDA0003919883790000111
其中，Macro-F1和Macro-F1是评价分类结果好坏的两个常用指标，NMI和ARI则是常用于聚类效果分析中的指标。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可对所描述的具体实施例做修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于多视图对比学习的多层网络节点表示学习方法，其特征在于，包括以下步骤：
步骤1，数据预处理，将收集到的异构图数据集基于多个对称的元路径进行转换，将异构图转变为基于元路径的多层图网络；
步骤2，基于多层图网络的邻接矩阵和属性矩阵生成初始图网络的扩散视图矩阵和负样本；
步骤3，构建分层图神经网络，使用常用的图卷积网络对多层图网络和扩散图进行卷积处理，得到各层独立的节点表示结果；
步骤4，构建层间融合图神经网络，层间融合图神经网络旨在通过考虑层间交互信息来学习多层图网络中节点的全局整体表示，得到当前层的最终节点表示；
步骤5，对步骤3和步骤4组成的整体模型进行训练；
步骤6，训练完成后，将多层图网络邻接矩阵以及属性矩阵输入训练好的网络模型中得到每层的最终节点表示，最终节点表示结果可以用于下游的节点分类或者聚类任务。
2.如权利要求1所述的一种基于多视图对比学习的多层网络节点表示学习方法，其特征在于：步骤2中使用扩散算法Personalized PageRank(PPR)生成扩散图矩阵，实现方式如下；
对于当前层的邻接矩阵
Figure FDA0003919883780000011
和对角线度数矩阵
Figure FDA0003919883780000012
PPR扩散的公式为：
Figure FDA0003919883780000013
α是位于0-1之间的可设置的超参数，其中n表示多层图网络中节点的个数，对角度数矩阵D(l)的对角线元素dii表示与节点i相连的其它节点个数，即节点i的度数，非对角线元素dij的值为0，其中i，j表示节点，i≠j。
3.如权利要求2所述的一种基于多视图对比学习的多层网络节点表示学习方法，其特征在于：步骤2中生成负样本的实现方式如下；
令邻接矩阵不变，然后随机交换节点属性，通过这种方法，相当于交换了节点间的边，将通过该方法构造出来的新的属性矩阵
Figure FDA0003919883780000014
视为当前多层图网络的反例，即负样本。
4.如权利要求3所述的一种基于多视图对比学习的多层网络节点表示学习方法，其特征在于：步骤3的具体实现方式如下；
图卷积网络GCN的定义为
Figure FDA0003919883780000021
和
Figure FDA0003919883780000022
其中
Figure FDA0003919883780000023
Figure FDA0003919883780000024
表示图的对称归一化邻接矩阵，
Figure FDA0003919883780000025
In是n维单位矩阵，
Figure FDA0003919883780000026
是
Figure FDA0003919883780000027
的对角度数矩阵；
Figure FDA0003919883780000028
是通过步骤2得到的扩散图矩阵，
Figure FDA0003919883780000029
是图的初始节点属性矩阵，W是待训练的网络模型参数，σ(·)表示激活函数；通过分层图神经网络的处理后，对于多层图网络的每一层，可以得到该层的初始图以及扩散图的正反例节点表示Hs (l),
Figure FDA00039198837800000210
其中，d表示节点表示的维数，Hs (l)表示初始图第l层的正例节点表示，
Figure FDA00039198837800000211
表示扩散图第l层的正例节点表示，
Figure FDA00039198837800000212
表示节点的反例表示，反例的节点表示只需要将X更换为
Figure FDA00039198837800000213
即可，初始图即为多层图网络。
5.如权利要求4所述的一种基于多视图对比学习的多层网络节点表示学习方法，其特征在于：步骤4的具体实现方式如下；
步骤4.1，使用GCN图卷积网络学习步骤1中得到的多层图网络中每一层的正例表示
Figure FDA00039198837800000214
以及反例表示
Figure FDA00039198837800000215
然后通过注意力机制将各层结果进行加权求和得到节点的整体表示，注意力机制考虑各层对整体的影响程度，影响大的会赋予更大的权重，从而更好地获取节点的全局表示，具体公式如下：
Figure FDA00039198837800000216
其中k表示多层图网络的层数，m表示注意力机制中的注意力头个数，即考虑不同的注意力参数
Figure FDA00039198837800000217
求和得到最终表示，
Figure FDA00039198837800000218
表示第l层在整体表示中所占权重，q(l)是待训练参数，
Figure FDA00039198837800000219
表示
Figure FDA00039198837800000220
的第i行数据，即节点i通过GCN网络得到的低维表示；
该步骤得到的结果为
Figure FDA00039198837800000221
Figure FDA00039198837800000222
表示初始图以及扩散图的全局正例节点表示，
Figure FDA0003919883780000031
分别表示初始图以及扩散图的全局反例表示；
步骤4.2，为了使多层图网络的最终节点表示结果既包含特定层信息，又包含层间融合信息，将步骤3和步骤4.1中得到的信息聚合起来表示多层网络中每一层的整体嵌入；具体来说，在步骤3得到的各层节点表示上加上一定比例的通过步骤4.1得到的节点全局表示作为当前层的最终节点表示：
Figure FDA0003919883780000032
Figure FDA0003919883780000033
Figure FDA0003919883780000034
Figure FDA0003919883780000035
η是设定好的层间融合节点表示权重的参数，H(l)和
Figure FDA0003919883780000036
表示第l层的最终节点正例表示，
Figure FDA0003919883780000037
和
Figure FDA0003919883780000038
表示第l层的最终反例表示。
6.如权利要求5所述的一种基于多视图对比学习的多层网络节点表示学习方法，其特征在于：步骤5的具体实现方式如下；
步骤5.1，对比学习流程，在得到了多层图网络各层的最终节点表示后，利用一个函数可以得到网络初始图以及扩散图的图级表示
Figure FDA0003919883780000039
和
Figure FDA00039198837800000310
Figure FDA00039198837800000311
Figure FDA00039198837800000312
Figure FDA00039198837800000313
表示H(l),
Figure FDA00039198837800000314
的第i行数据，即第i个节点的表示；
对于网络的每一层，为了学习多视图中丰富的节点和图级表示，通过计算节点的表示H(l),
Figure FDA00039198837800000315
和图级表示
Figure FDA00039198837800000316
之间的分值来判别节点是属于正例还是反例，并通过对比一个视图的节点表示和另一个视图的图表示，从而最大化两个视图之间的互信息；
步骤5.2，将整体模型的损失定义为标准二元交叉熵损失，具体的每层损失定义如下；
Figure FDA0003919883780000041
上述的N和M是相等的，N为正例数量，M为反例数量，都表示节点个数，其中，D表示一个比较辨别器，它是一个双线性层
Figure FDA0003919883780000042
Figure FDA0003919883780000043
Wd是待训练参数；
得到了每层的损失后，将各层损失相加即可得到总体模型的损失，用于模型参数的反馈修正，模型损失定义为：
Figure FDA0003919883780000044
‖Θ‖2是网络参数的L2正则化，以预防网络模型的过拟合问题。
CN202211355797.8A 2022-11-01 2022-11-01 一种基于多视图对比学习的多层网络节点表示学习方法 Withdrawn CN115906920A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211355797.8A CN115906920A (zh) 2022-11-01 2022-11-01 一种基于多视图对比学习的多层网络节点表示学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211355797.8A CN115906920A (zh) 2022-11-01 2022-11-01 一种基于多视图对比学习的多层网络节点表示学习方法

Publications (1)

Publication Number Publication Date
CN115906920A true CN115906920A (zh) 2023-04-04

Family

ID=86480627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211355797.8A Withdrawn CN115906920A (zh) 2022-11-01 2022-11-01 一种基于多视图对比学习的多层网络节点表示学习方法

Country Status (1)

Country Link
CN (1) CN115906920A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117473124A (zh) * 2023-11-03 2024-01-30 哈尔滨工业大学（威海） 一种具备抵制过度平滑能力的自监督异质图表示学习方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117473124A (zh) * 2023-11-03 2024-01-30 哈尔滨工业大学（威海） 一种具备抵制过度平滑能力的自监督异质图表示学习方法
CN117473124B (zh) * 2023-11-03 2024-04-16 哈尔滨工业大学（威海） 一种具备抵制过度平滑能力的自监督异质图表示学习方法

Similar Documents

Publication Publication Date Title
Pan et al. Learning graph embedding with adversarial training methods
US11531710B2 (en) System and method of graph feature extraction based on adjacency matrix
Ji et al. Cross-modality microblog sentiment prediction via bi-layer multimodal hypergraph learning
Gong et al. Attributed Graph Clustering with Dual Redundancy Reduction.
CN109389151B (zh) 一种基于半监督嵌入表示模型的知识图谱处理方法和装置
Yuan et al. Latent feature learning in social media network
Xue et al. Clustering-Induced Adaptive Structure Enhancing Network for Incomplete Multi-View Data.
CN113128600A (zh) 一种结构化深度非完整多视角聚类方法
CN113268993B (zh) 基于互信息的属性异构信息网络无监督网络表示学习方法
Huang et al. Federated Graph Semantic and Structural Learning.
CN116108917B (zh) 一种无标记样本增强的半监督图神经网络方法
CN111832573A (zh) 一种基于类激活映射和视觉显著性的图像情感分类方法
CN115906920A (zh) 一种基于多视图对比学习的多层网络节点表示学习方法
CN116883723A (zh) 一种基于并联语义嵌入的组成式零样本图像分类方法
CN113918711B (zh) 一种基于多视图多层注意力的面向学术论文的分类方法
CN115310589A (zh) 一种基于深度图自监督学习的群体识别方法及系统
Li et al. Variational graph autoencoder with adversarial mutual information learning for network representation learning
Li et al. Graph t-SNE multi-view autoencoder for joint clustering and completion of incomplete multi-view data
Zhang et al. A multi-view mask contrastive learning graph convolutional neural network for age estimation
Wang et al. Generic multi-label annotation via adaptive graph and marginalized augmentation
Li et al. Intelligent unsupervised learning method of physical education image resources based on genetic algorithm
CN114265954B (zh) 基于位置与结构信息的图表示学习方法
Hu et al. On the use of regions for semantic image segmentation
Mots' oehli et al. Deep active learning in the presence of label noise: A survey
CN117807275B (zh) 基于关系挖掘的异构图嵌入方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20230404