CN114265954A - 基于位置与结构信息的图表示学习方法 - Google Patents

Abstract

本发明公开了一种基于位置信息和结构信息的图表示学习方法：步骤1：获取输入图的信息，对每个节点构造一个近邻节点集；步骤2：根据每个节点的近邻节点集，构造拓扑空间的邻接矩阵，得到每个节点对应的基于结构信息的图节点特征表示；步骤3：将池化得分最高的k个节点作为位置参考点；步骤4：计算得到基于位置信息的图节点嵌入特征；步骤5：将基于结构信息的图节点嵌入特征和基于位置信息的图节点嵌入特征进行融合，得到最终的图节点特征表示。本发明的方法得到的基于位置信息和结构信息的节点嵌入包含了更充分的图特征，对下游任务起到了增益作用。该方法学习到了更加充分的节点信息，取得了良好的效果。

Description

基于位置与结构信息的图表示学习方法

技术领域

本发明涉及图神经网络技术领域，具体涉及一种融合位置信息与结构信息的图表示学习方法。

背景技术

近年来，图神经网络(GNN)引起了人们极大的兴趣，图被广泛应用于社会网络、推荐系统和生物信息学分析等各个领域。随着深度学习的发展，GNN由于其强大的推理能力和高效率，逐渐成为了最受欢迎的方法之一。通过GNN来学习图节点特征嵌入表示，常被用于节点分类、链路预测、图分类等下游任务中。

现有的GNN按聚合的消息类型进行划分，可以分为两大类，一类是基于邻域信息的GNN，另一类是基于位置信息的GNN。基于邻域信息的GNN，以GCN、GraphSAGE、GAT等经典的GNN模型为代表，它们将每个节点局部邻域节点的特征信息聚集到该节点的嵌入表示中，从而对节点的特征表示进行更新。基于位置信息的GNN，以P-GNN、GraphReach为代表，通过从图中采样位置参考点，将每个节点到这些位置参考点的位置信息聚集到节点嵌入中，从而完成节点信息的更新。最新的研究和实验表明，这两种类型的GNN都有各自的缺陷，不能充分地学习图节点特征。基于邻域的GNN，由于仅仅考虑节点的局部邻域，对于两个属于不同类却有着极其相似局部结构的节点，它们学习到的特征难以区分。对于基于位置信息的GNN，由于位置参考点采样过于随机，会导致图中一些重要节点(例如拥有很高出度数和关联性的节点)丢失，以致于学习到的位置信息并不充分。

综上，结构信息代表着节点的局部信息，位置信息隐含着节点在整个网络中的全局信息，现有方法通常仅考虑其中某一方面的特征信息，会导致GNN最后学习的节点特征并不全面，影响下游任务的性能。

发明内容

本发明的目的在于，提供一种基于位置与结构信息的图表示学习方法，该方法用于解决现有技术中存在的学习到的特征难以区分和节点特征不全面从而影响下游任务性能的问题。

为了实现上述目的，本发明采用如下技术方案予以实现：

一种基于位置信息和结构信息的图表示学习方法，具体包括如下步骤：

步骤1：获取输入图的信息，输入图的信息包括图中所有节点的初始特征X和节点与节点之间的关联边；根据每个节点的感受野，对每个节点构造一个近邻节点集；

步骤2：根据每个节点的近邻节点集，构造拓扑空间的邻接矩阵A_t，该矩阵A_t的维度为n×n，n为输入图中节点的个数；该矩阵A_t的每一行对应表示一个节点的近邻节点集，该行的每一列元素对应输入图中的每个节点，若该元素为1，则对应列的节点属于该行节点的近邻节点集，若该列元素为0，则不属于；根据输入图的节点的初始特征X和拓扑空间的邻接矩阵A_t，使用GNN模块对节点的局部结构和特征进行嵌入，得到每个节点对应的基于结构信息的图节点特征表示；

步骤3：对输入图的图结构使用图池化，得到每个节点的池化得分，对图节点进行筛选，将池化得分最高的k个节点，作为位置参考点；

步骤4：根据步骤3得到的位置参考点，计算所有位置参考点到每个图节点的位置信息，并把得到的位置信息聚合到每个节点的特征表示中，得到基于位置信息的图节点嵌入特征；

步骤5：对于步骤2得到的基于结构信息的图节点嵌入特征和步骤4得到的基于位置信息的图节点嵌入特征，采用注意力机制自适应地学习二者的权重，最后将二者加权融合，得到最终的图节点特征表示。

进一步的，所述步骤3包括如下子步骤：

步骤a：先采用一个GNN模块同时学习节点的结构和特征信息，具体地，对于输入图G＝(X,A)，其中X为节点的初始特征，A为输入图的邻接矩阵，利用下式得到新的节点特征：

步骤b：根据GNN模块处理后得到的新的节点特征，通过下式计算节点的池化得分且从所有节点的池化得分中挑选池化得分最高的k个，将这k个节点作为位置参考点：

其中q是一个可学习的向量；q维度为d×1,d表示

的特征维度，q在模型训练过程中学习权重；y为池化得分最高的前k个节点的集合。

进一步的，所述GNN模块采用的是GCN的GNN模块。

进一步的，所述步骤4包括如下子步骤：

步骤a：利用下式计算输入图中任一节点u和位置参考点p之间的距离信息：

其中d(u,p)表示节点u和位置参考点p之间的实际距离，y_p表示位置参考点p的池化得分，σ表示激活函数；

步骤b：将一个位置参考点p的位置信息传递给节点u，具体是：利用下式，将节点u的特征h_u和位置参考点p的特征h_p进行Concat拼接后，与这两节点之间的距离信息相乘：

F(u,p)＝s(u,p)·Concat(h_u,h_p)

其中Concat表示的是特征拼接操作；

步骤c：对位置参考点集中的每个位置参考点{p₁,p₂,...,p_k}，都以步骤b的方式将位置信息传递给节点u后；然后利用下式，用聚合函数Agg将所有位置参考点{p₁,p₂,...,p_k}分别通过步骤b得到的位置信息聚集在一起，并对节点u进行更新：

Z_P(u)＝Agg(F(u,p₁),F(u,p₂),...,F(u,p_k))；

对于输入图中的任意节点u，都重复子步骤a-c将位置参考点{p₁,p₂,...,p_k}的位置信息聚集到节点u的特征表示中，得到基于位置信息的图节点嵌入特征。

进一步的，所述聚合函数Agg选用MEAN,MAX,SUM或MLP，所述激活函数为relu函数。

进一步的，所述步骤5包括如下子步骤：

步骤a：对于步骤2得到的基于结构信息的节点嵌入特征Z_S，使用权重矩阵W和偏差向量b以及一个激活函数σ，利用下式求解注意力值w_S：

其中q是一个可学习的注意力向量，σ为激活函数，W表示权重矩阵，b表示偏差向量；

步骤b：对于步骤4得到的基于位置信息的节点嵌入特征Z_P，也使用权重矩阵W和偏差向量b以及激活函数σ，利用下式求解注意力值w_P：

其中q是一个可学习的注意力向量；

步骤c：使用如下式所示的softmax函数来正则化注意力值w_S和w_P，得到最后的权重系数：

步骤d：利用下式，用各权重系数和其对应的节点嵌入特征相乘，然后相加得到该节点最后的嵌入特征表示Z：

Z＝α_S·Z_S+α_P·Z_P。

相较于现有技术，本发明的方法的技术效果如下：

(1)本发明在获取节点位置信息时，基于图池化算法采样位置参考点(所述步骤3)，并基于池化得分计算节点和位置参考点之间的距离信息(所述步骤4)，克服了现有技术中，随机采样位置参考点导致不能充分表示节点位置信息的问题，使得本发明具有能够更好地学习基于位置信息的图节点嵌入特征的优点。

(2)本发明通过基于注意力机制的特征融合策略(所述步骤5)，将得到的基于结构信息的图节点嵌入特征(所述步骤2)和基于位置信息的图节点嵌入特征(所述步骤4)，自适应地进行融合，注意力系数权衡了位置信息和结构信息的重要性，使得本发明能够有效地提取节点的全局位置信息和局部邻域结构信息，最后融合得到的节点嵌入包含了更充分的图特征。

(3)本发明在链路预测和节点分类这两个任务上的性能都比现有的其他几个基线模型要好，实验结果进一步验证了本发明学习到了更加充分的节点信息，对下游任务起增益作用。

附图说明

图1是基于位置与结构信息的图表示学习方法的整体框架；

图2是节点分类可视化结果图。

具体实施方式

首先对本发明中出现的技术词语进行解释：

邻域节点集：某节点的邻域节点集指的是和该节点相连，一阶邻域内所有的节点。

GCN:是一种半监督图卷积网络模型，它可以通过聚合邻居的信息来学习节点表示。该网络的出处为：Kipf T N,Welling M.Semi-supervised classification withgraph convolutional networks[J]//International Conference on LearningRepresentations(ICLR),2017.

GIN：基于邻域结构的图神经网络，使用单射近邻聚合对节点特征进行更新。该网络的出处为：Xu K,Hu W,Leskovec J,et al.How powerful are graph neural networks？[J]//International Conference on Learning Representations(ICLR),2019.

注意力机制：计算某一特征和其他所有特征的关系，这个关系是用归一化的权重值表示，然后将权重值和对应的特征相乘，并把所有结果相加，用来更新某一特征。注意力机制的出处为：Vaswani A,Shazeer N,Parmar N,et al.Attention is all you need[C]//Proceedings of the 31st International Conference on Neural InformationProcessing Systems.2017:6000-6010.

图池化：通过图的拓扑结构和节点特征信息，对节点进行筛选，经过池化，图中更有用(对图表示贡献更大)的节点保留下来，减少了图节点的数目。图池化的出处为：Ying,Rex,et al."Hierarchical graph representation learning with differentiablepooling."//In Advances in Neural Information Processing Systems(NeurIPS),2018.

在本实施例中公开了一种基于位置信息和结构信息的图表示学习方法，包括如下步骤：

步骤1：获取输入图的信息，输入图的信息包括图中所有节点的初始特征X和节点与节点之间的关联边；根据每个节点的感受野(本实施例中感受野简单地使用了节点的一阶邻居节点)，对每个节点构造一个近邻节点集；

步骤2：根据每个节点的近邻节点集，构造拓扑空间的邻接矩阵A_t，该矩阵A_t的维度为n×n，n为输入图中节点的个数；该矩阵A_t的每一行对应表示一个节点的近邻节点集，该行的每一列元素对应输入图中的每个节点，若该元素为1，则对应列的节点属于该行节点的近邻节点集，若该列元素为0，则不属于；根据输入图的节点的初始特征X和拓扑空间的邻接矩阵A_t，使用GIN、GCN等经典的GNN模块对节点的局部结构和特征进行嵌入，对输入图的每个节点，都能得到其对应的基于结构信息的图节点特征表示；

具体地，步骤2中所述的根据输入图的节点的初始特征X和拓扑空间的邻接矩阵A_t，使用GNN模块对节点的局部结构和特征进行嵌入，得到基于结构信息的图节点嵌入特征Z_S，可表示为：

其中，σ表示激活函数，l表示层数，以此得到模型第l层输出。

以GCN为例，采用下式，用对角矩阵D对拓扑空间的邻接矩阵A_t做归一化：

其中，D_ii＝∑_jA_tij，A_tij为A_t的第i行第j列元素，D_ii为对角矩阵D第i行第j列元素。

然后采用下式，用一个可学习的权值矩阵W^(l)学习各层对应的参数：

其中，激活函数σ选用relu，权值矩阵W^(l)为第l-1层到第l层的权重，第0层的特征表示

上述GNN模块本发明对比了GCN、GAT、GIN、GraphSAGE的性能，最后采用GIN作为结构表示模块，以此得到基于结构信息的图节点嵌入特征。

步骤3：对输入图的图结构使用图池化，得到每个节点的池化得分，对图节点进行筛选，将池化得分最高(即在图结构中重要性最高)的k个节点，作为位置参考点；

步骤4：根据步骤3得到的位置参考点，计算所有位置参考点到每个图节点的位置信息，并把得到的位置信息聚合到每个节点的特征表示中，得到基于位置信息的图节点嵌入特征；

步骤5：对于步骤2得到的基于结构信息的图节点嵌入特征和步骤4得到的基于位置信息的图节点嵌入特征，采用注意力机制自适应地学习二者的权重，最后将二者加权融合，得到最终的图节点特征表示。

具体的，所述步骤3包括如下子步骤：

步骤a：先采用一个GNN模块同时学习节点的结构和特征信息，具体地，对于输入图G＝(X,A)，其中X为节点的初始特征，A为输入图的邻接矩阵，利用下式得到新的节点特征：

这里的GNN模块可以用各类经典的GNN替换，本发明中采用的是GCN。

步骤b：根据GNN模块处理后得到的新的节点特征，通过下式计算节点的池化得分且从所有节点的池化得分中挑选池化得分最高的k个，将这k个节点作为位置参考点：

其中q是一个可学习的向量；q维度为d×1,d表示

的特征维度，q在模型训练过程中学习权重；y为池化得分最高的前k个节点的集合。

具体的，所述步骤4包括如下子步骤：

步骤a：利用下式计算输入图中任一节点u和位置参考点p之间的距离信息：

其中d(u,p)表示节点u和位置参考点p之间的实际距离，y_p表示位置参考点p的池化得分，σ表示激活函数，这里使用relu。

步骤b：将一个位置参考点p的位置信息传递给节点u，具体是：利用下式，将节点u的特征h_u和位置参考点p的特征h_p进行Concat拼接后，与这两节点之间的距离信息相乘：

F(u,p)＝s(u,p)·Concat(h_u,h_p)

其中Concat表示的是特征拼接操作。该步骤b是将节点u到位置参考点p的位置信息和节点u、p的节点初始特征信息都聚集到节点u的特征表示中。

步骤c：对位置参考点集中的每个位置参考点{p₁,p₂,...,p_k}，都以步骤b的方式将位置信息传递给节点u后；然后利用下式，用聚合函数Agg将所有位置参考点{p₁,p₂,...,p_k}分别通过步骤b得到的位置信息聚集在一起，并对节点u进行更新：

Z_P(u)＝Agg(F(u,p₁),F(u,p₂),...,F(u,p_k))

其中聚合函数Agg可以选用MEAN,MAX,SUM,MLP，本发明选择使用的是MEAN，对于输入图中的任意节点u，都重复子步骤a-c将位置参考点{p₁,p₂,...,p_k}的位置信息聚集到节点u的特征表示中，得到基于位置信息的图节点嵌入特征。

具体的，所述步骤5包括如下子步骤：

步骤a：对于步骤2得到的基于结构信息的节点嵌入特征Z_S，使用权重矩阵W和偏差向量b以及一个激活函数σ，利用下式求解注意力值w_S：

其中q是一个可学习的注意力向量，在模型训练过程中q自适应地学习权重，激活函数σ使用relu，W表示权重矩阵，b表示偏差向量。

步骤b：对于步骤4得到的基于位置信息的节点嵌入特征Z_P，也使用权重矩阵W和偏差向量b以及激活函数σ，利用下式求解注意力值w_P：

其中q是一个可学习的注意力向量，激活函数σ使用relu。

步骤c：使用如下式所示的softmax函数来正则化注意力值w_S和w_P，得到最后的权重系数：

步骤d：利用下式，用各权重系数和其对应的节点嵌入特征相乘，然后相加得到该节点最后的嵌入特征表示Z：

Z＝α_S·Z_S+α_P·Z_P

通过上述方法处理后，实现了图节点特征的嵌入，得到了既包含局部结构信息，又包含全局位置信息的图节点特征表示。本模型在两个实施案例中得到了评估，它们是链路预测和节点分类。实施案例中使用了6个基准图数据集：Grid、Communities、PPI、Cora、ACM和Flickr。表1提供了本模型使用的所有数据集的统计信息。

表1数据集统计表

在本模型中采用以下超参数，learning rate:0.01，epochs:2000，hidden dim:32，dropout rate:0.5，k:log(n)(n为所用数据集的节点数)，layer:2。使用的服务器配置为Nvidia GeForce REX 2080Ti。本模型使用的评价指标是AUC，表示的是ROC曲线下的面积，对预测任务而言，它衡量了模型在多大程度上优于随机选择的算法，AUC值越接近1，表示模型性能越好。

在链路预测任务中，本发明将数据集按照80％，10％，10％的比例划分为训练集、验证集和测试集，对每个比较的算法都做了十次独立实验，记录平均值和标准差，实验结果如表2所示。

表2不同方法在链路预测任务上的性能比较

从上表的结果可以看出本发明的模型的性能比其他几个基线模型都要好。在Grid数据集上，本发明的模型比最好的基线模型要高出3.3％，在PPI数据集上本发明的模型要比最好的基线模型高出2.3％，这说明了本发明的模型得到的基于位置信息和结构信息的节点嵌入确实包含了更充分的图特征，对下游任务起到了增益作用。

在节点分类任务中，本发明也将数据集按照80％，10％，10％的比例划分为训练集、验证集和测试集，实验结果如表3所示。

表3不同方法在节点分类任务上的性能比较

从上表的结果可以看出本发明的模型在节点分类这个任务上的性能都比其他几个基线模型要好。在Cora数据集上，本发明的模型比仅考虑位置信息的模型GraphReach要高出6.1％，在ACM数据集上本发明的模型要比GIN模型高出4.1％。另外本发明将模型的输出做可视化，如图2，可以发现相同类别的节点很好地聚集在一起，而且不同类别之间有着明显的间隙和边界。这进一步表明，本发明的模型学习到了更加充分的节点信息，在本实施例中，取得了良好的效果。

所属方法，使用基于位置与结构信息的图表示学习方法，目的是更好地提取节点的结构和位置信息，然后自适应地融合，以学习更充分的节点特征嵌入表示，在链路预测、节点分类等下游任务都具有良好的性能。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种基于位置信息和结构信息的图表示学习方法，其特征在于，具体包括如下步骤：

步骤1：获取输入图的信息，输入图的信息包括图中所有节点的初始特征X和节点与节点之间的关联边；根据每个节点的感受野，对每个节点构造一个近邻节点集；

步骤2：根据每个节点的近邻节点集，构造拓扑空间的邻接矩阵A_t，该矩阵A_t的维度为n×n，n为输入图中节点的个数；该矩阵A_t的每一行对应表示一个节点的近邻节点集，该行的每一列元素对应输入图中的每个节点，若该元素为1，则对应列的节点属于该行节点的近邻节点集，若该列元素为0，则不属于；根据输入图的节点的初始特征X和拓扑空间的邻接矩阵A_t，使用GNN模块对节点的局部结构和特征进行嵌入，得到每个节点对应的基于结构信息的图节点特征表示；

步骤3：对输入图的图结构使用图池化，得到每个节点的池化得分，对图节点进行筛选，将池化得分最高的k个节点，作为位置参考点；

步骤4：根据步骤3得到的位置参考点，计算所有位置参考点到每个图节点的位置信息，并把得到的位置信息聚合到每个节点的特征表示中，得到基于位置信息的图节点嵌入特征；

步骤5：对于步骤2得到的基于结构信息的图节点嵌入特征和步骤4得到的基于位置信息的图节点嵌入特征，采用注意力机制自适应地学习二者的权重，最后将二者加权融合，得到最终的图节点特征表示。

2.如权利要求1所述的基于位置信息和结构信息的图表示学习方法，其特征在于，所述步骤3包括如下子步骤：

步骤a：先采用一个GNN模块同时学习节点的结构和特征信息，具体地，对于输入图G＝(X,A)，其中X为节点的初始特征，A为输入图的邻接矩阵，利用下式得到新的节点特征：

步骤b：根据GNN模块处理后得到的新的节点特征，通过下式计算节点的池化得分且从所有节点的池化得分中挑选池化得分最高的k个，将这k个节点作为位置参考点：

其中q是一个可学习的向量；q维度为d×1,d表示

的特征维度，q在模型训练过程中学习权重；y为池化得分最高的前k个节点的集合。

3.如权利要求2所述的基于位置信息和结构信息的图表示学习方法，其特征在于，所述GNN模块采用的是GCN的GNN模块。

4.如权利要求1所述的基于位置信息和结构信息的图表示学习方法，其特征在于，所述步骤4包括如下子步骤：

步骤a：利用下式计算输入图中任一节点u和位置参考点p之间的距离信息：

其中d(u,p)表示节点u和位置参考点p之间的实际距离，y_p表示位置参考点p的池化得分，σ表示激活函数；

步骤b：将一个位置参考点p的位置信息传递给节点u，具体是：利用下式，将节点u的特征h_u和位置参考点p的特征h_p进行Concat拼接后，与这两节点之间的距离信息相乘：

F(u,p)＝s(u,p)·Concat(h_u,h_p)

其中Concat表示的是特征拼接操作；

步骤c：对位置参考点集中的每个位置参考点{p₁,p₂,...,p_k}，都以步骤b的方式将位置信息传递给节点u后；然后利用下式，用聚合函数Agg将所有位置参考点{p₁,p₂,...,p_k}分别通过步骤b得到的位置信息聚集在一起，并对节点u进行更新：

Z_P(u)＝Agg(F(u,p₁),F(u,p₂),...,F(u,p_k))；

对于输入图中的任意节点u，都重复子步骤a-c将位置参考点{p₁,p₂,...,p_k}的位置信息聚集到节点u的特征表示中，得到基于位置信息的图节点嵌入特征。

5.如权利要求4所述的基于位置信息和结构信息的图表示学习方法，其特征在于，所述聚合函数Agg选用MEAN,MAX,SUM或MLP，所述激活函数为relu函数。

6.如权利要求1所述的基于位置信息和结构信息的图表示学习方法，其特征在于，所述步骤5包括如下子步骤：

步骤a：对于步骤2得到的基于结构信息的节点嵌入特征Z_S，使用权重矩阵W和偏差向量b以及一个激活函数σ，利用下式求解注意力值w_S：

其中q是一个可学习的注意力向量，σ为激活函数，W表示权重矩阵，b表示偏差向量；

步骤b：对于步骤4得到的基于位置信息的节点嵌入特征Z_P，也使用权重矩阵W和偏差向量b以及激活函数σ，利用下式求解注意力值w_P：

其中q是一个可学习的注意力向量；

步骤c：使用如下式所示的softmax函数来正则化注意力值w_S和w_P，得到最后的权重系数：

步骤d：利用下式，用各权重系数和其对应的节点嵌入特征相乘，然后相加得到该节点最后的嵌入特征表示Z：

Z＝α_S·Z_S+α_P·Z_P。

Images