CN114861863A - 基于元路径多级图注意力网络的异质图表示学习方法 - Google Patents

基于元路径多级图注意力网络的异质图表示学习方法 Download PDF

Info

Publication number
CN114861863A
CN114861863A CN202111519519.7A CN202111519519A CN114861863A CN 114861863 A CN114861863 A CN 114861863A CN 202111519519 A CN202111519519 A CN 202111519519A CN 114861863 A CN114861863 A CN 114861863A
Authority
CN
China
Prior art keywords
node
path
graph
meta
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111519519.7A
Other languages
English (en)
Inventor
宋凌云
刘杰
尚学群
高莉
谭亚聪
张颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202111519519.7A priority Critical patent/CN114861863A/zh
Publication of CN114861863A publication Critical patent/CN114861863A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于元路径多级图注意力网络的异质图表示学习方法，包括四个模块：基于元路径的简单图与超图构造模块、简单图特征聚合模块、超图特征聚合模块以及节点类型预测模块；基于元路径的多级图构造模块通过元路径分别提取异质图中的成对与非成对关系，进而构造对应的简单图与超图；简单图特征聚合模块用于对简单图上的节点特征进行初步聚合；超图特征聚合模块进一步将高阶关系以及中间路径信息融入节点特征；节点类型预测模块利用异质图中多种类型的节点对模型进行训练，并输出节点表示用于下游分类或聚类任务。将超图引入异质图表示学习研究中，超图可直接包含任意数量的目标节点，从而完整地保存异质图中的多元关系，不会产生语义丢失。

Description

基于元路径多级图注意力网络的异质图表示学习方法
技术领域
本发明属于计算机应用领域、数据挖掘、图表示学习、图神经网络研究，特别涉及一种基于多级图注意力网络的异质图嵌入模型。
背景技术
图神经网络(Graph Neural Network,GNN)是近年来关于图研究的一大热点。GNN能够将邻居信息融合到节点的嵌入表示当中，从而将稀疏、高维的邻接矩阵信息转化为稠密、低维的节点特征表示。这极大地帮助了基于图结构的下游任务如节点分类、链接预测等。在真实世界中，图中的节点和边往往具有多种类型，即图是异质的。异质图对传统GNN的工作带来了困难，模型需要考虑不同类型的关系在聚合过程中的权重，节点或边的特征也可能位于不同特征空间，这就使得异质图表示学习对图神经网络方法提出了更高的要求和更大的挑战。
基于引入超图提供补充结构和内容的研究思路，本发明提出了基于多级图注意力网络的异质图表示学习方法，在简单图神经网络上添加超图注意力网络，可以融入简单图缺失的中间路径信息，超图和简单图的结合使得模型具有灵活的感受野大小，从而能够同时捕获异质图中的局部和全局信息，有效提升生成的节点表示的综合质量。
发明内容
要解决的技术问题
针对现有技术中不足以及存在的问题，例如传统基于元路径的方法无法考虑异质图中的多元关系，丢失了中间路径信息等，本发明提出一种基于多级图注意力网络的异质图表示学习方法，使用基于元路径的简单图和超图对原始异质图进行重构，并对此结构使用多级注意力网络学习，使模型具有灵活的感知域大小。将超图引入异质图表示学习研究中，超图可直接包含任意数量的目标节点，从而完整地保存异质图中的多元关系，不会产生语义丢失。
技术方案
一种基于元路径多级图注意力网络的异质图表示学习方法，其特征在于包含以下步骤：
步骤1，节点属性特征的空间映射；
步骤1.1，为不同类型的节点分配不同的线性转移矩阵，将所有节点的属性特征映射到同一特征空间中。
步骤2，基于元路径的多级图结构的构建；
步骤2.1，基于元路径的简单图的构建。通过元路径抽取异质图中的成对节点，所有节点对组合形成基于元路径的简单图。变更元路径类型以定义多个简单图。
步骤2.2，基于元路径的超图的构建。将同一元路径连接的多个节点置于同一超边中，构造所有超边即形成基于元路径的超图。变更元路径类型以定义多个超图。
步骤3，简单图特征聚合模块；
步骤3.1，简单图邻居节点注意力系数计算。使用连接(Concatenation)操作将目标节点与其一阶邻居节点的特征相连，使用ReLU(·)作为激活函数，通过Softmax函数对连接后的特征归一化，得到节点特征聚合时对各节点的注意力系数。
步骤3.2，简单图节点特征聚合。使用步骤3.1中对应的注意力系数对目标节点以及邻居节点特征加权求和，得到目标节点特征。
步骤3.3，多头注意力机制。重复步骤3.1和步骤3.2T次(一般取4到8次)，将得到的相同节点的T个特征连接为一个特征。
步骤4，超图特征聚合模块；
步骤4.1，中间路径特征编码。如图2所示，采用关系旋转编码器RotatE对每条元路径中间节点的特征进行编码，得到中间路径特征。
步骤4.2，超边内部节点注意力系数计算。通过连接操作将步骤3.3的节点特征与中间路径特征相连，使用LeakyReLU(·)作为激活函数，通过Softmax函数对连接后的特征归一化，得到超边内部节点聚合时的注意力系数。
步骤4.3，超边内部节点特征聚合。使用步骤4.2中的注意力系数对超边包含的节点特征加权求和，并与线性投影后的中间路径特征相连接，通过Sigmoid(·)激活函数，得到超边特征。
步骤4.4，超边注意力系数计算。使用连接操作将线性投影后的超边特征与目标节点特征相连，使用LeakyReLU(·)作为激活函数，通过Softmax函数对连接后的特征归一化，得到超边聚合时的注意力系数。
步骤4.5，超边特征聚合。使用步骤4.4中的注意力系数对超边特征加权求和，并与线性投影后的中心节点特征相连接，通过Sigmoid(·)激活函数，更新中心节点特征。
步骤4.6，多头注意力机制。重复步骤4.2至步骤4.5T次(一般取4到8次)，将得到的T个特征连接为目标节点i的特征fi。
步骤5，节点类型预测模块。
步骤5.1，节点类型预测。构建一个多类别分类器，将向量fi输入到分类器中，利用输出结果预测节点类型。分类器的构造一般为多层感知机(Multilayer Perceptron，MLP)后接Sigmoid(·)函数，分类器的输出为：
y＝Sigmoid(MLP(f)), (1)
其中f是节点特征，y是分类器的输出，可以用于对节点类型进行预测。
步骤5.2，单任务损失函数。模型可只使用目标节点进行分类预测，损失函数采用交叉熵损失函数，公式为：
Figure BDA0003405838740000031
其中
Figure BDA0003405838740000041
是目标节点分类器对每个类型预测的范围为[0,1]分数值，yi是目标节点的真实类型标签。
步骤5.3，多任务损失函数。模型可使用所有类型节点进行分类预测，通过基于逐元素平均池化模型(Element-wise Mean Pooling,EMP)的特征融合方法，逐个得到中间路径上的节点特征。EMP是对两个特征向量对应维度求均值来进行融合，
Figure BDA0003405838740000042
表示特征融合过程，其计算过程可以表示为：
Figure BDA0003405838740000043
其中
Figure BDA0003405838740000044
是类型为b的中间节点k的特征，ek表示与中间节点k相连的节点构成的超边，得到所有节点特征后，使用交叉熵作为损失函数，公式为：
Figure BDA0003405838740000045
其中
Figure BDA0003405838740000046
表示节点类型集合，
Figure BDA0003405838740000047
是类型为
Figure BDA0003405838740000048
的节点集合。
步骤2.2中，基于元路径的超图的构造，具体在于：
对于异质图中同时连接两个以上节点的元路径，超图可直接表示节点之间的多元关系。我们通过如下步骤构造基于元路径的超图：
(1)将相同元路径实例连接的多个端节点置于同一超边中，并将元路径除端节点外的中间节点编码为单个特征。
(2)变更元路径类型，构造基于不同类型元路径的超图。
步骤3.1中，简单图邻居节点注意力系数计算，具体在于：
首先利用邻接矩阵中节点间的连接信息，将简单图中每个节点特征与其邻居节点特征相连接，再通过一维注意力卷积核q对连接特征进行卷积，通过ReLU(·)作为激活函数，得到中心节点i与邻居节点j间的相似度ηij，相似度的大小反映了邻居节点在聚合过程中对中心节点特征的贡献度。为了避免梯度爆炸并加快训练速度，使用Softmax(·)函数对相似度ηij进行归一化处理，得到邻居节点的注意力系数，其大小反映了特征聚合过程中不同邻居节点的重要程度。
步骤4.1中，中间路径特征编码，具体在于：
采用关系旋转编码器RotatE按照中间路径次序依次对节点特征进行编码，从而将整个序列结构信息编码为单个向量。对于一条中间路径P(t0,tn)＝{t0,…,tn-1,tn}，ri表示节点ti-1与ti间的关系向量，RotatE使用迭代编码过程得到编码特征，其计算过程可以表示为：
Figure BDA0003405838740000051
Figure BDA0003405838740000052
Figure BDA0003405838740000053
其中
Figure BDA0003405838740000054
表示节点i的特征，⊙表示Hadamard Product，
Figure BDA0003405838740000055
是中间路径编码后的特征。
步骤4.3中，超边注意力系数计算，具体在于：
首先对目标节点和相关超边分别定义系数矩阵Wn和We，矩阵值可通过反向传播学习，将目标节点特征fi和超边特征hj分别经过系数矩阵进行投影，再通过连接操作(Concatenation)相连，通过LeakyReLU(·)作为激活函数，得到目标节点i与相关超边j间的相似度γij，相似度的大小反映了相关超边在聚合过程中对目标节点特征的贡献度。为了避免梯度爆炸并加快训练速度，使用Softmax(·)函数对相似度γij进行归一化处理，其计算过程可表示为：
Figure BDA0003405838740000056
其中εi表示目标节点i的相关超边集合，a是可训练的权重向量。
步骤5.3中，多任务损失函数，具体在于：
通过多级图注意力网络的聚合，我们得到了最终的目标节点特征向量fi，为了将其它类型节点的特征也参加训练，建立多任务损失函数，通过基于逐元素平均池化模型(Element-wise Mean Pooling,EMP)的特征融合方法，得到其它类型的节点特征。池化过程为：
Figure BDA0003405838740000061
将
Figure BDA0003405838740000062
作为节点分类的输入对节点类型进行预测。该方法将构建一个多类别分类器，将向量
Figure BDA0003405838740000063
输入到分类器中，输出向量每一维的数值就是当前节点是该类型的概率值，根据概率分布，就可以输出节点类型的预测结果。
分类器的构造采用多层感知机MLP后接Sigmoid函数的分类器构造，该分类器可适用于多分类问题，数据集中的节点可以只有一个类别，同时也可以一个节点对应多种类型。分类器的输出为：
y＝Sigmoid(MLP(f)), (8)
损失函数采用交叉熵函数，公式为：
Figure BDA0003405838740000064
其中
Figure BDA0003405838740000065
表示节点类型，
Figure BDA0003405838740000066
表示该类型下节点数量。其中
Figure BDA0003405838740000067
是目标节点分类器对每个类型预测的范围为[0,1]分数值。
有益效果
本发明提出的一种基于多级图注意力网络的异质图表示学习方法，该方法通过构建基于元路径的多级图结构，将原异质图抽取成两个信息互补的图结构和超图结构，从而学习到更深层、语义更加丰富的异质图节点表示向量。模型由四个模块组成：基于元路径的简单图与超图构造模块、简单图特征聚合模块、超图特征聚合模块以及节点类型预测模块。其中基于元路径的多级图构造模块通过元路径分别提取异质图中的成对与非成对关系，进而构造对应的简单图与超图；简单图特征聚合模块用于对简单图上的节点特征进行初步聚合；超图特征聚合模块进一步将高阶关系以及中间路径信息融入节点特征；节点类型预测模块利用异质图中多种类型的节点对模型进行训练，并输出节点表示用于下游分类或聚类任务。实验部分对该模型的可行性进行验证，并将该模型在大型异质图数据集上进行节点分类任务，对准确率进行评测。最终结果表明模型具有较好的性能，在节点分类指标“Micro-F1”和“Macro-F1”上，本发明模型均取得最好的结果。具有以下几个特点：
1、在异质图表示学习领域引入了基于元路径的超图结构，有效地保存了异质图中的非成对关系，并提供了额外的语义信息。
2、通过依次进行简单图和超图特征聚合，使得模型具有多种大小的感受野，有利于同时获取图中的局部和总体信息，增强了对异质图复杂语义关系的挖掘能力，提高了节点表示向量的质量。
3、在异质图节点分类任务上，利用不同类型节点的预测结果与标签值对模型进行训练，有效提高了模型的鲁棒性，显著降低了模型训练过程过拟合的风险，分类准确率显著高于现有方法。
与现有技术相比，本发明具有以下有益的效果：
在进行异质图表示学习的过程中，和传统方法所使用的元路径序列模型相比，本发明提出的基于元路径的超图结构，能够完整保存异质图中的多元关系信息，提升了模型对复杂语义的学习能力。此外，超图的引入使得模型能够很好地获取图中的全局信息。相比之下，传统方法大多局限于节点局部邻居信息。在标准数据集上的实验结果证明，我们的模型取得了比现有方法更加优秀的表现。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为本发明实例涉及到的异质图示意图。
图2为本发明实例中所述方法的基于元路径的超边构造过程。
图3为本发明实例中所述方法的总体模型框架图。
图4为本发明实例中所述简单图特征聚合模块以及超图特征聚合模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明种基于元路径多级图注意力网络的异质图表示学习方法。该模型由四个子模块组成：基于元路径的多级图构造模块、简单图特征聚合模块、超图特征聚合模块以及节点类型预测与多任务训练模块。整体模型示意图如图3所示，具体如下所述：
1.基于元路径的多级图构造
首先确定目标节点类型，进而给出多种类型的元路径，元路径的定义需要部分领域知识，确保其在语义上有意义。以引文异质图DBLP(如图1所示)为例，包含三种类型节点：作者(A)，论文(P)，会议(V)；若确定目标节点为论文，有意义的元路径定义方式包括P-A-P以及P-V-P等。使用元路径提取异质图中的成对关系，作为邻居节点，从而构造基于元路径的简单图。
元路径还可以同时连接两个以上目标节点，这些目标节点连同中间路径形成了完整的语义关系，使用超图直接表示目标节点之间的多元关系。本发明通过如下步骤构造基于元路径的超图：
(1)将相同元路径实例连接的多个目标节点置于同一超边中，并将元路径除目标节点外的中间节点编码为单个特征。
(2)变更元路径类型，构造基于不同类型元路径的超图。
2.简单图特征聚合模块
首先计算邻居节点间的注意力系数。利用邻接矩阵中节点间的连接信息，将简单图中每个节点特征与其邻居节点特征相连接，再通过一维注意力卷积核q对连接特征进行卷积，通过ReLU(·)作为激活函数，得到中心节点i与邻居节点j间的相似度ηij，相似度的大小反映了邻居节点在聚合过程中对中心节点特征的贡献度。为了避免梯度爆炸并加快训练速度，使用Softmax(·)函数对相似度ηij进行归一化处理，得到邻居节点的注意力系数
Figure BDA0003405838740000093
，其大小反映了特征聚合过程中不同邻居节点的重要程度。
使用注意力系数
Figure BDA0003405838740000094
对对应的邻居节点特征(包含中心节点本身)加权求和，为了降低注意力过程的偏差，使学习过程更加稳定，采取多头注意力机制，重复上述注意力过程T次，将得到中心节点特征连接生成中心节点表示。
3.超图特征聚合
在简单图特征聚合模块，得到了初步的节点表示，但它只包含了局部的成对信息，为了进一步融合多元关系以及中间路径信息，本发明将简单图聚合后的节点表示作为输入，进行超图特征聚合，超图特征聚合整体框架如图4所示。
3.1超边内部节点特征聚合
超边内部聚合过程需要使用中间路径信息，采用关系旋转编码器RotatE按照中间路径次序依次对节点特征进行编码，将整个序列结构信息编码为单个向量。对于一条中间路径P(t0,tn)＝{t0,…,tn-1,tn}，ri表示节点ti-1与ti间的关系向量，RotatE使用迭代编码过程得到编码特征，其计算过程可以表示为：
Figure BDA0003405838740000091
Figure BDA0003405838740000092
Figure BDA0003405838740000101
其中
Figure BDA0003405838740000102
表示节点i的特征，⊙表示Hadamard Product，
Figure BDA0003405838740000103
是中间路径编码后的特征。使用简单图特征聚合得到的初步节点表示和编码后的中间路径特征作为输入，利用多头注意力机制计算权重并进行聚合，得到当前超边的表示向量。
3.2超边特征聚合
对于超图中任意节点i，可能包含于多条超边j∈εi中。首先对目标节点和相关超边分别定义系数矩阵Wn和We，矩阵值可通过反向传播学习，将目标节点特征fi和超边特征hj分别经过系数矩阵进行投影，再通过连接操作(Concatenation)相连，通过LeakyReLU(·)作为激活函数，得到目标节点i与相关超边j间的相似度γij，相似度的大小反映了相关超边在聚合过程中对目标节点特征的贡献度。为了避免梯度爆炸并加快训练速度，使用Softmax(·)函数对相似度γij进行归一化处理，其计算过程可表示为：
Figure BDA0003405838740000104
γj＝LeakyReLU(We·hj||Wn·fi). (13)
其中εi表示目标节点i的相关超边集合，a是可训练的权重向量。使用注意力系数βij对超边特征加权求和，并与线性投影后的中心节点特征相连接，通过Sigmoid(·)激活函数，更新中心节点特征。使用多头注意力机制，将得到的相同节点的T个特征连接为目标节点特征fi。
4.节点类型预测与多任务训练
4.1节点类型预测
本发明使用节点分类作为模型半监督学习任务。构建一个多类别分类器，将向量f输入到分类器中，利用输出结果预测节点类型。分类器的构造使用多层感知机(MultilayerPerceptron，MLP)后接Sigmoid(·)函数，根据数据的不同，模型既可以适用于一个节点只有单个类型的情况，也可适用节点对应多种类型的情况。分类器的输出为：
y＝Sigmoid(MLP(f)). (14)
其中y是分类器的输出，是一个预测向量，每一维对应一个节点类型，每个维度的值表示该节点在此类型上的预测概率。
4.2单任务训练
模型可只使用目标节点进行类型预测，即参与损失函数计算的只有目标节点的预测值与实际标签，相比于多任务训练，单任务训练不需要异质图中所有类型节点的标签，同时由于没有池化过程，训练速率会有一定提升，适用于节点标签不完整的情况。损失函数采用交叉熵损失函数，公式为：
Figure BDA0003405838740000111
其中
Figure BDA0003405838740000112
是目标节点分类器对每个类型预测的范围为[0,1]分数值，yi是目标节点的类型标签。
4.3多任务训练
对于标签完整的图数据，模型可使用所有类型节点用于分类预测。通过基于逐元素平均池化模型(Element-wise Mean Pooling,EMP)的特征融合方法，逐个得到中间路径上的节点特征。这样做的目的是通过目标节点表示生成其它类型节点的表示。EMP是对两个特征向量对应维度求均值来进行融合，
Figure BDA0003405838740000113
表示特征融合过程，其计算过程可以表示为：
Figure BDA0003405838740000114
其中
Figure BDA0003405838740000115
是类型为b的中间节点特征，得到所有类型节点的特征后，同样使用交叉熵作为损失函数，并将不同类型节点的损失值求和，公式为：
Figure BDA0003405838740000121
其中
Figure BDA0003405838740000122
表示节点类型，
Figure BDA0003405838740000123
表示该类型下节点数量。
5.实验与结果
5.1训练设计
在对模型进行训练前，已经完成基于元路径的简单图及超图的构建，并将不同类型节点的特征向量投影到相同的特征空间。
模型参数随机初始化，通过设置随机数种子的方式使每次训练时用于初始化的随机数固定。训练过程中，完成一个epoch的训练后，模型会在验证集上进行验证，若当前epoch在验证集上的结果优于前一个epoch的结果，则保存当前epoch训练得到的模型参数替换之前的参数。模型的优化算法采用AdaMax，优化算法参数均取默认值。模型采用多任务交叉熵函数(cross entropy)作为损失函数进行端到端的学习，多任务交叉熵损失函数的公式为：
Figure BDA0003405838740000124
分类器对节点在每个类型上的预测值的范围为[0,1]的分数值。为了防止模型训练中出现过拟合现象，本发明在模型中加入Dropout层，同时在反向传播中进行梯度裁剪(Gradient Clipping)，防止梯度消失或爆炸现象。
5.2实验结果
对模型的预测效果的评估，采用F1-score作为模型精度衡量指标，它的定义方式兼顾了分类模型的准确率(Precision)和召回率(Recall)，在多分类问题中，F1-score有两种计算方式，分别为micro-F1和macro-F1，二者计算公式为：
Figure BDA0003405838740000125
Figure BDA0003405838740000131
其中N表示节点类型数量，Precisioni和Recalli分别表示第i种类型下的准确率和召回率。
如表1所示是模型在不同训练率下的节点分类结果。模型在“20％”，“40％”，“60％”和“80％”的训练率下平均F1-score分别达到了“93.05％”，“93.73％”，“94.08％”和“94.22％”。
表1
Figure BDA0003405838740000132
表2是本发明模型与其他论文中模型F1-score的对比结果。GCN，DHNE，HGT，HAN和MAGNN是不同模型在相同数据集上的实验结果。Ours代表本发明提出的模型，可以看出本发明模型相较于基线模型在性能上有了较大的提升。
表2
Figure BDA0003405838740000133
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于元路径多级图注意力网络的异质图表示学习方法，其特征在于步骤如下：
步骤1：节点属性特征的空间映射
步骤1.1：为不同类型的节点分配不同的线性转移矩阵，将所有节点的属性特征映射到同一特征空间中；
步骤2：基于元路径的多级图结构的构建
步骤2.1：基于元路径的简单图的构建：通过元路径抽取异质图中的成对节点，所有节点对组合形成基于元路径的简单图；变更元路径类型以定义多个简单图；
步骤2.2：基于元路径的超图的构建：将同一元路径连接的多个节点置于同一超边中，构造所有超边即形成基于元路径的超图；变更元路径类型以定义多个超图；
步骤3：简单图特征聚合模块
步骤3.1：简单图邻居节点注意力系数计算：使用连接操作将目标节点与其一阶邻居节点的特征相连，使用ReLU(·)作为激活函数，通过Softmax函数对连接后的特征归一化，得到节点特征聚合时对各节点的注意力系数；
步骤3.2：简单图节点特征聚合：使用步骤3.1中对应的注意力系数对目标节点以及邻居节点特征加权求和，得到目标节点特征；
步骤3.3：多头注意力机制：重复步骤3.1和步骤3.2T次，将得到的相同节点的T个特征连接为一个特征；
步骤4：超图特征聚合模块
步骤4.1：中间路径特征编码：采用关系旋转编码器RotatE对每条元路径中间节点的特征进行编码，得到中间路径特征；
步骤4.2：超边内部节点注意力系数计算：通过连接操作将步骤3.3的节点特征与中间路径特征相连，使用LeakyReLU(·)作为激活函数，通过Softmax函数对连接后的特征归一化，得到超边内部节点聚合时的注意力系数；
步骤4.3：超边内部节点特征聚合：使用步骤4.2中的注意力系数对超边包含的节点特征加权求和，并与线性投影后的中间路径特征相连接，通过Sigmoid(·)激活函数，得到超边特征；
步骤4.4：超边注意力系数计算：使用连接操作将线性投影后的超边特征与目标节点特征相连，使用LeakyReLU(·)作为激活函数，通过Softmax函数对连接后的特征归一化，得到超边聚合时的注意力系数；
步骤4.5：超边特征聚合：使用步骤4.4中的注意力系数对超边特征加权求和，并与线性投影后的中心节点特征相连接，通过Sigmoid(·)激活函数，更新中心节点特征；
步骤4.6：多头注意力机制：重复步骤4.2至步骤4.5T次，将得到的T个特征连接为目标节点i的特征fi；
步骤5：节点类型预测模块
步骤5.1：节点类型预测：构建一个多类别分类器，将向量fi输入到分类器中，利用输出结果预测节点类型；分类器的构造一般为多层感知机后接Sigmoid(·)函数，分类器的输出为：
y＝Sigmoid(MLP(f))， (1)
其中f是节点特征，y是分类器的输出，可以用于对节点类型进行预测；
步骤5.2：单任务损失函数：模型可只使用目标节点进行分类预测，损失函数采用交叉熵损失函数，公式为：
Figure FDA0003405838730000021
其中
Figure FDA0003405838730000022
是目标节点分类器对每个类型预测的范围为[0，1]分数值，yi是目标节点的真实类型标签；
步骤5.3：多任务损失函数：模型可使用所有类型节点进行分类预测，通过基于逐元素平均池化模型的特征融合方法，逐个得到中间路径上的节点特征；EMP是对两个特征向量对应维度求均值来进行融合，
Figure FDA0003405838730000031
表示特征融合过程，其计算过程可以表示为：
Figure FDA0003405838730000032
其中
Figure FDA0003405838730000033
是类型为b的中间节点k的特征，ek表示与中间节点k相连的节点构成的超边，得到所有节点特征后，使用交叉熵作为损失函数，公式为：
Figure FDA0003405838730000034
其中
Figure FDA0003405838730000035
表示节点类型集合，
Figure FDA0003405838730000036
是类型为
Figure FDA0003405838730000037
的节点集合。
2.根据权利要求1所述基于元路径多级图注意力网络的异质图表示学习方法，其特征在于：步骤2.2中，基于元路径的超图的构造，具体在于：
对于异质图中同时连接两个以上节点的元路径，超图可直接表示节点之间的多元关系；通过如下步骤构造基于元路径的超图：
(1)将相同元路径实例连接的多个端节点置于同一超边中，并将元路径除端节点外的中间节点编码为单个特征；
(2)变更元路径类型，构造基于不同类型元路径的超图。
3.根据权利要求1所述基于元路径多级图注意力网络的异质图表示学习方法，其特征在于：步骤3.1中，简单图邻居节点注意力系数计算，具体在于：
首先利用邻接矩阵中节点间的连接信息，将简单图中每个节点特征与其邻居节点特征相连接，再通过一维注意力卷积核q对连接特征进行卷积，通过ReLU(·)作为激活函数，得到中心节点i与邻居节点j间的相似度ηij，相似度的大小反映了邻居节点在聚合过程中对中心节点特征的贡献度；为了避免梯度爆炸并加快训练速度，使用Softmax(·)函数对相似度ηij进行归一化处理，得到邻居节点的注意力系数，其大小反映了特征聚合过程中不同邻居节点的重要程度。
4.根据权利要求1所述基于元路径多级图注意力网络的异质图表示学习方法，其特征在于：步骤3.3中T取4到8次。
5.根据权利要求1所述基于元路径多级图注意力网络的异质图表示学习方法，其特征在于：步骤4.1中，中间路径特征编码，具体在于：
采用关系旋转编码器RotatE按照中间路径次序依次对节点特征进行编码，从而将整个序列结构信息编码为单个向量；对于一条中间路径P(t0，tn)＝{t0，...，tn-1，tn}，ri表示节点ti-1与ti间的关系向量，RotatE使用迭代编码过程得到编码特征，其计算过程可以表示为：
Figure FDA0003405838730000041
Figure FDA0003405838730000042
Figure FDA0003405838730000043
其中
Figure FDA0003405838730000044
表示节点i的特征，⊙表示Hadamard Product，
Figure FDA0003405838730000045
是中间路径编码后的特征。
6.根据权利要求1所述基于元路径多级图注意力网络的异质图表示学习方法，其特征在于：步骤4.3中，超边注意力系数计算，具体在于：
首先对目标节点和相关超边分别定义系数矩阵Wn和We，矩阵值可通过反向传播学习，将目标节点特征fi和超边特征hj分别经过系数矩阵进行投影，再通过连接操作(Concatenation)相连，通过LeakyReLU(·)作为激活函数，得到目标节点i与相关超边j间的相似度γij，相似度的大小反映了相关超边在聚合过程中对目标节点特征的贡献度；为了避免梯度爆炸并加快训练速度，使用Softmax(·)函数对相似度γij进行归一化处理，其计算过程可表示为：
Figure FDA0003405838730000046
其中εi表示目标节点i的相关超边集合，a是可训练的权重向量。
7.根据权利要求1所述基于元路径多级图注意力网络的异质图表示学习方法，其特征在于：步骤5.3中，多任务损失函数，具体在于：
通过多级图注意力网络的聚合，得到了最终的目标节点特征向量fi，为了将其它类型节点的特征也参加训练，建立多任务损失函数，通过基于逐元素平均池化模型的特征融合方法，得到其它类型的节点特征；池化过程为：
Figure FDA0003405838730000051
将
Figure FDA0003405838730000052
作为节点分类的输入对节点类型进行预测；该方法将构建一个多类别分类器，将向量
Figure FDA0003405838730000053
输入到分类器中，输出向量每一维的数值就是当前节点是该类型的概率值，根据概率分布，就可以输出节点类型的预测结果；
分类器的构造采用多层感知机MLP后接Sigmoid函数的分类器构造，该分类器可适用于多分类问题，数据集中的节点可以只有一个类别，同时也可以一个节点对应多种类型；分类器的输出为：
y＝Sigmoid(MLP(f))， (8)
损失函数采用交叉熵函数，公式为：
Figure FDA0003405838730000054
其中
Figure FDA0003405838730000055
表示节点类型，
Figure FDA0003405838730000056
表示该类型下节点数量；其中
Figure FDA0003405838730000057
是目标节点分类器对每个类型预测的范围为[0，1]分数值。
CN202111519519.7A 2021-12-11 2021-12-11 基于元路径多级图注意力网络的异质图表示学习方法 Pending CN114861863A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111519519.7A CN114861863A (zh) 2021-12-11 2021-12-11 基于元路径多级图注意力网络的异质图表示学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111519519.7A CN114861863A (zh) 2021-12-11 2021-12-11 基于元路径多级图注意力网络的异质图表示学习方法

Publications (1)

Publication Number Publication Date
CN114861863A true CN114861863A (zh) 2022-08-05

Family

ID=82628167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111519519.7A Pending CN114861863A (zh) 2021-12-11 2021-12-11 基于元路径多级图注意力网络的异质图表示学习方法

Country Status (1)

Country Link
CN (1) CN114861863A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115913616A (zh) * 2022-09-23 2023-04-04 清华大学 基于异构图异常链路发现的横向移动攻击检测方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115913616A (zh) * 2022-09-23 2023-04-04 清华大学 基于异构图异常链路发现的横向移动攻击检测方法及装置

Similar Documents

Publication Publication Date Title
CN112417219B (zh) 基于超图卷积的超边链接预测方法
CN109389151B (zh) 一种基于半监督嵌入表示模型的知识图谱处理方法和装置
Xie et al. Point clouds learning with attention-based graph convolution networks
Bai et al. GIFT: Towards scalable 3D shape retrieval
JP7360497B2 (ja) クロスモーダルな特徴の抽出方法、抽出装置、ならびに、プログラム
Li et al. A comparison of 3D shape retrieval methods based on a large-scale benchmark supporting multimodal queries
Huang et al. Analysis and synthesis of 3D shape families via deep‐learned generative models of surfaces
CN109918528A (zh) 一种基于语义保护的紧凑的哈希码学习方法
CN111950594A (zh) 基于子图采样的大规模属性图上的无监督图表示学习方法和装置
CN111125411B (zh) 一种深度强相关哈希学习的大规模图像检索方法
CN111667022A (zh) 用户数据处理方法、装置、计算机设备和存储介质
CN113157957A (zh) 一种基于图卷积神经网络的属性图文献聚类方法
CN112417289B (zh) 一种基于深度聚类的资讯信息智能推荐方法
Park et al. Fast and scalable approximate spectral matching for higher order graph matching
Zhang et al. Dual-constrained deep semi-supervised coupled factorization network with enriched prior
Jia et al. Adaptive neighborhood propagation by joint L2, 1-norm regularized sparse coding for representation and classification
Ning et al. Conditional generative adversarial networks based on the principle of homologycontinuity for face aging
CN113050931A (zh) 一种基于图注意力机制的符号网络链路预测方法
Huang et al. Cross-modal deep metric learning with multi-task regularization
Shen et al. Deep network embedding with aggregated proximity preserving
CN114880538A (zh) 基于自监督的属性图社团检测方法
CN111985152A (zh) 一种基于二分超球面原型网络的事件分类方法
Liang et al. Cross-media semantic correlation learning based on deep hash network and semantic expansion for social network cross-media search
CN114861863A (zh) 基于元路径多级图注意力网络的异质图表示学习方法
CN117349494A (zh) 空间图卷积神经网络的图分类方法、系统、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination