CN112966706A - 一种基于图注意力机制的多层网络表示学习方法 - Google Patents

Abstract

本发明公开了一种基于图注意力机制的多层网络表示学习方法，步骤1、获取多层网络拓扑信息；其中，所述网络拓扑信息包括各层网络的层内邻接矩阵和跨层连接矩阵；步骤2、构建各层基于图注意力机制的网络表示学习模型；步骤3、将各层网络的层内邻接矩阵分别输入网络表示学习模型进行模型训练获得各层网络的节点表示向量；步骤4、通过网络表示学习模型的层内连接损失函数和跨层连接损失函数构建网络表示学习模型整体损失函数；步骤5、通过网络表示学习模型整体损失函数判断网络表示学习模型是否满足收敛条件；如果满足，输出各层网络最终的低维表示向量；否则返回步骤3；该方法能够处理不同类型节点，同时考虑层内连接信息和跨层连接信息的多层网络表示学习方法。

Description

一种基于图注意力机制的多层网络表示学习方法

技术领域

本发明属于多层网络表示方法的技术领域，特别涉及一种基于图注意力机制的多层异构 网络表示学习方法。

背景技术

网络作为一种重要的数据表示形式，是表达事物之间关联关系的有效载体，在实际生活 中无处不在。有效的网络分析可以使许多应用受益，例如节点分类，节点聚类，节点检索或 推荐，链路预测等。然而，随着信息时代的发展，所面临的信息网络越来越复杂，各行各业 对数据处理的速度和有效性也提出了更高的需求。采用邻接矩阵这种高维稀疏的编码方式来 表示网络中的节点，大多数网络形分析方法都会遇到高额的计算和空间成本等问题，很难被 机器学习算法处理。

因此，网络表示学习开始引起关注。网络表示学习主要用于学习网络数据在低维潜在空 间中的向量表示。然后，在学习到的低维空间上应用传统的机器学习算法，用于之后的网络 分析任务。这种表示方法不仅能够刻画网络的结构，并且有利于减少计算成本。

最近十多年来，复杂网络表示学习取得许多重要的成果。但是，现有的网表示学习大多 数的研究还是集中单层网络，却忽略了现实中多种网络相互作用的存在，例如由航空网、铁 路网和公路网组成的交通网络，以及基因网络、代谢网络、蛋白质–蛋白质相互作用网络等。 所以单层网络已经不能满足实际研究的要求。

此外，在实际的应用中，由于测量误差和数据访问限制，单一的网络中往往会包含一些 假节点和假连接(即网络中的数据噪声)，还有一些丢失的节点和丢失的连接(即网络数据的 不完整性)，这些缺陷会大大影响网络表示学习所得到表示向量的质量，但是单一网络错误或 者缺失的信息，可以通过与他相关联的网络的信息来进行纠正或者补充。因此，单一网络表 示学习的局限性的一个有效方法之一，就是利用多层相关联网络中的补充信息来提高表示学 习的质量。因此，多层网络表示学习成为当今复杂网络表示学习领域最前沿的重要研究方向 之一。

发明内容

本发明提出了一种基于图注意力机制的多层网络表示学习方法，该方法能够处理不同类 型节点，同时考虑层内连接信息和跨层连接信息的多层网络表示学习方法。

为解决现有技术存在的问题，本发明采用如下技术方案予以实施：

一种基于图注意力机制的多层网络表示学习方法，包括如下步骤：

步骤1、获取多层网络拓扑信息；其中，所述网络拓扑信息包括各层网络的层内邻接矩 阵和跨层连接矩阵；

步骤2、构建各层基于图注意力机制的网络表示学习模型；

步骤3、将各层网络的层内邻接矩阵分别输入网络表示学习模型进行模型训练获得各层 网络的节点表示向量；

步骤4、通过网络表示学习模型的层内连接损失函数和跨层连接损失函数构建网络表示 学习模型整体损失函数；

重复训练步骤2中的模型，直到模型收敛或者到达预先设定的训练次数；

步骤5、通过网络表示学习模型整体损失函数判断网络表示学习模型是否满足收敛条件； 如果满足，输出各层网络最终的低维表示向量；否则返回步骤3。

进一步，所述单层网络表示学习模型搭建过程：

步骤2.1、确定图注意力层输入数据为：网络中节点的特征向量集；

其中,n为节点个数，F为节点特征的个数；矩阵A的大小是N×F，表示由网络中所有节 点特征组合而成；

代表了网络中某个节点的特征向量，因此大小为1×F；

步骤2.2、确定图注意力层输出数据为：新的节点特征表示向量；

其中，F′表示新的节点特征向量维度；

步骤2.3、针对每个节点，计算它与网络其他节点之间的注意力系数：

其中，

为注意力机制，是一个单层的前馈神经网络；更具体地，

是连接神 经网络中层与层之间的权重矩阵；

为表达矩阵节点输入特征矩阵与输出特征矩阵 之间的关系的权重矩阵；e_ij表示第i个节点和第j个节点之间的注意力系数；

步骤2.4、对注意力系数e_ij进行归一化处理，得到归一化后的注意力系数α_ij；具体计算 方式如下：

其中，||是连接操作符，将两个矩阵拼接起来；.^T表示矩阵的转置；N_i表示网络中第i个节 点的所有邻居节点集合；LeakyReLu函数计算方式如下：

其中，t为该函数赋予所有负值的非零斜率；

步骤2.5、通过注意力机制来计算每个节点的输出表示向量，具体计算方式如下：

其中，σ为非线性激活函数sigmoid，具体计算方式如下:

进一步，所述步骤3中的将各层网络的层内邻接矩阵一共含有g个邻接矩阵，具体如下：

A＝{A₁,A₂,…,A_g}

其中，

n_i为第i层网络的节点数量；需要g个图注意力机制神经网 络模块,分别对所述步骤3中的g个单层网络进行训练。

进一步，所述步骤4中网络表示学习模型整体损失函数过程：

步骤4.1、构建层内连接损失函数，采用网络重构的方式进行计算。第l层网络的层内连 接损失函数，其具体计算方式如下：

其中，矩阵

表示第l层网络经过图注意力机制 模型训练，所输出该层网络的所有节点表示向量组合；

步骤4.2、构建跨层连接损失函数，具体计算方式如下：

其中，

表示归一化后的D_l,k,具体计算方式如下：

对于矩阵D_l,k中的任意元素值D_l,k(i,j),其归一化后的值为：

步骤4.3、根据步骤4.1所定义的层内损失函数和步骤4.2所定义的跨层损失函数，定 义模型整体的损失函数，具体定义方式如下：

其中，l∈[1,g]，Loss^(l)表示第l层网络的整体损失函数；其中，δ为自定参数，表示跨 层损失函数在整体损失函数中的权重。

有益效果

本发明提出了一种能够处理不同类型节点，同时考虑层内连接信息和跨层连接信息的多 层网络表示学习方法，具有如下特点：

1，能够对多层异质网络进行表示学习；

2，节点表示向量保留多层网络中的层内连接信息和跨层连接信息；

3，采用基于图注意力机制的方式进行表示学习模型训练。

附图说明

图1为本发明方法的流程图；

图2为本发明方法的模型总体架构示例图；

具体实施方式：

以下结合实施案例和附图，对本发明的技术和方法进行详细描述，以下案例和附图用于 说明本发明的构成，但不是用来限定本发明的范围。

如图1本发明的技术方案是基于图注意机制对多层异质网络进行表示学习，包括如下步骤：

步骤1、获取多层网络拓扑信息；其中，所述网络拓扑信息包括各层网络的层内邻接矩阵 和跨层连接矩阵；更具体地，所述步骤1中的多层网络可表示为：

G＝{G₁,G₂,…,G_g}

其中，g为网络层数，具体值为3。

更具体地，所述步骤1中的各层网络层内邻接矩阵可表示为：

A＝{A₁,A₂,…,A_g}

其中，

其中，n_i为第i层网络的节点数量。

而且，所述步骤1中的跨层连接矩阵可表示为：

D＝{D_k,l,D_k,l+1,…,D_k,g}

其中，k,l∈[1,g]且k≠l；

表示第k层网络和第l层网络的连接矩阵。

步骤2、搭建基于图注意力机制的单层网络表示学习模型；

所述步骤2中多层网络表示学习模型为一种基于图注意力机制的多层网络表示学习模型； 更进一步地，所述图注意力机制模型搭建步骤具体如下：

步骤2.1、确定图注意力层输入数据为：网络中各层的邻接矩阵。具体如下：

其中,n为节点个数，F为节点特征的个数。

其中，矩阵A的大小是n×n；

代表了网络中某个节点的与其他节点的连接情况，因此 大小为1×n。

步骤2.2、确定图注意力层输出数据为：新的节点特征表示向量。具体如下：

其中，F′表示新的节点特征向量维度，具体值为100。

步骤2.3、针对每个节点，计算它与网络其他节点之间的注意力系数：

其中，

为注意力机制，是一个单层的前馈神经网络；更具体地，

是连接神 经网络中层与层之间的权重矩阵。

其中，

为表达矩阵节点输入特征矩阵与输出特征矩阵之间的关系的权重矩阵。

其中，e_ij表示第i个节点和第j个节点之间的注意力系数。

步骤2.4、对注意力系数e_ij进行归一化处理，得到归一化后的注意力系数α_ij。具体计算 方式如下：

其中，||是连接操作符，将两个矩阵拼接起来。

其中，.^T表示矩阵的转置。

其中，N_i表示网络中第i个节点的所有邻居节点集合。

其中，在本发明中LeakyReLu具体计算方式如下：

步骤2.5、通过注意力机制来计算每个节点的输出表示向量，具体计算方式如下：

其中，σ为非线性激活函数sigmoid，具体计算方式如下:

步骤3、将各层网络的层内邻接矩阵分别输入到步骤2中所述的网络表示学习模型；使 用步骤2中所述的网络表示学习，以及步骤3中所述的输入数据进行模型训练，得到各层网 络的节点初始表示向量。

所述步骤3中的将各层网络的层内邻接矩阵一共含有g个邻接矩阵，具体如下：

A＝{A₁,A₂,…,A_g}

其中，

n_i为第i层网络的节点数量；需要g个图注意力机制神经网 络模块,分别对所述步骤3中的g个单层网络进行训练。更具体地，需要g个图注意力机制神 经网络模块,分别对所述步骤3中的g个单层网络进行训练。

步骤4、使用模型的层内连接损失函数和跨层连接损失函数定义模型整体损失函数，并 优化步骤3中得到的节点表示向量，重复训练步骤2中的模型，直到模型收敛或者到达预先 设定的训练次数。

更具体地，所述步骤5中的模型损失函数应尽量使训练得到的节点向量表示能够保留原 始网络中的拓扑结构信息。具体步骤如下：

步骤4.1、构建层内连接损失函数，采用网络重构的方式进行计算。第l层网络的层内连 接损失函数，其具体计算方式如下：

其中，矩阵

表示第l层网络经过图注意力机制 模型训练，所输出该层网络的所有节点表示向量组合。

步骤4.2、构建跨层连接损失函数，具体计算方式如下：

其中，

表示归一化后的D_l,k,具体计算方式如下：

对于矩阵D_l,k中的任意元素值D_l,k(i,j),其归一化后的值为：

步骤4.3、根据步骤5.1所定义的层内损失函数和步骤5.2所定义的跨层损失函数，定 义模型整体的损失函数。具体定义方式如下：

其中，l∈[1,g]，Loss^(l)表示第l层网络的整体损失函数。

其中，δ为自定义参数，具体值为0.2，表示跨层损失函数在整体损失函数中的权重。 所述步骤5中得到的各层网络节点低维表示向量为：

H＝{H₁,H₂,…,H_g}

在本发明中也可将其表示为：

H＝{H⁽¹⁾,H⁽²⁾,…,H^(g)}

其中，H_i或者

F′为节点表示向量的维度。

上述具体实施方式总体框架示例如图2所示。将A₁、A₂、A₃分别输入到三个图注意力机制模 型中进行训练；可以得到H⁽¹⁾、H⁽²⁾、H⁽³⁾；通过计算H⁽¹⁾、H⁽²⁾、H⁽³⁾和D_i,j，i,j∈[1,3]可以 计算出模型的损失Loss，之后判断是否继续进行模型训练。其中，图中最左边部分为三层网 络拓扑连接图示例；A₁、A₂、A₃分别为这三个网络的邻接矩阵；H⁽¹⁾、H⁽²⁾、H⁽³⁾分别各层网络节点表示向量，三个椭圆形Loss模块为损失函数计算模块，D_1,2表示第一个网络和第二个网络之间的跨层连接矩阵，D_i,j，i,j∈[1,3]以此类推。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发 明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗 旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多 形式的具体变换，这些均属于本发明的保护范围之内。

Claims (4)

1.一种基于图注意力机制的多层网络表示学习方法，包括如下步骤：

步骤1、获取多层网络拓扑信息；其中，所述网络拓扑信息包括各层网络的层内邻接矩阵和跨层连接矩阵；

步骤2、构建各层基于图注意力机制的网络表示学习模型；

步骤3、将各层网络的层内邻接矩阵分别输入网络表示学习模型进行模型训练获得各层网络的节点表示向量；

步骤4、通过网络表示学习模型的层内连接损失函数和跨层连接损失函数构建网络表示学习模型整体损失函数；

步骤5、通过网络表示学习模型整体损失函数判断网络表示学习模型是否满足收敛条件；如果满足，输出各层网络最终的低维表示向量；否则返回步骤3。

2.根据权利要求2所述的一种图注意力机制的多层网络表示学习方法，其特征在于：所述单层网络表示学习模型搭建过程：

步骤2.1、确定图注意力层输入数据为：网络中节点的特征向量集；

其中,n为节点个数，F为节点特征的个数；矩阵A的大小是N×F，表示由网络中所有节点特征组合而成；

代表了网络中某个节点的特征向量，因此大小为1×F；

步骤2.2、确定图注意力层输出数据为：新的节点特征表示向量；

其中，F′表示新的节点特征向量维度；

步骤2.3、针对每个节点，计算它与网络其他节点之间的注意力系数：

其中，

为注意力机制，是一个单层的前馈神经网络；更具体地，

是连接神经网络中层与层之间的权重矩阵；

为表达矩阵节点输入特征矩阵与输出特征矩阵之间的关系的权重矩阵；e_ij表示第i个节点和第j个节点之间的注意力系数；

步骤2.4、对注意力系数e_ij进行归一化处理，得到归一化后的注意力系数α_ij；具体计算方式如下：

其中，||是连接操作符，将两个矩阵拼接起来；.^T表示矩阵的转置；N_i表示网络中第i个节点的所有邻居节点集合；LeakyReLu函数计算方式如下：

其中，t为该函数赋予所有负值的非零斜率；

步骤2.5、通过注意力机制来计算每个节点的输出表示向量，具体计算方式如下：

其中，σ为非线性激活函数sigmoid，具体计算方式如下:

3.根据权利要求1所述的一种基于图注意力机制的多层网络表示学习方法，其特征在于：

所述步骤3中的将各层网络的层内邻接矩阵一共含有g个邻接矩阵，具体如下：

A＝{A₁,A₂,…,A_g}

其中，

n_i为第i层网络的节点数量；需要g个图注意力机制神经网络模块,分别对所述步骤3中的g个单层网络进行训练。

4.根据权利要求1所述的一种基于图注意力机制的多层网络表示学习方法，其特征在于：所述步骤4中网络表示学习模型整体损失函数过程：

步骤4.1、构建层内连接损失函数，采用网络重构的方式进行计算。第l层网络的层内连接损失函数，其具体计算方式如下：

其中，矩阵

表示第l层网络经过图注意力机制模型训练，所输出该层网络的所有节点表示向量组合；

步骤4.2、构建跨层连接损失函数，具体计算方式如下：

其中，

表示归一化后的D_l,k,具体计算方式如下：

对于矩阵D_l,k中的任意元素值D_l,k(i,j),其归一化后的值为：

步骤4.3、根据步骤4.1所定义的层内损失函数和步骤4.2所定义的跨层损失函数，定义模型整体的损失函数，具体定义方式如下：

其中，l∈[1,g]，Loss^(l)表示第l层网络的整体损失函数；其中，δ为自定义参数，表示跨层损失函数在整体损失函数中的权重。

Images