CN110826700B - 建模邻居交互的双线性图神经网络模型的实现及分类方法 - Google Patents

Abstract

本发明公开了一种建模邻居交互的双线性图神经网络模型的实现及分类方法，利用线性聚合器对邻居节点特征信息进行加权平均；利用双线性聚合器建模邻居节点之间、或者目标节点和每一邻居节点之间、或者所有节点之间两两交互，并将交互后的信息求平均；采用线性组合的方式将前两个步骤得到的结果相结合，从而构建双线性图神经网络模型，并得到目标节点的特征表示向量。该方法可以得到更加有效的节点表示，从而提高图节点分类准确率。

Description

建模邻居交互的双线性图神经网络模型的实现及分类方法

技术领域

本发明涉及机器学习和图数据挖掘领域技术领域，尤其涉及一种建模邻居交互的双线性图神经网络模型的实现方法及分类方法。

背景技术

图神经网络通过对以图结构为基础的数据进行卷积操作，从而学习到图中节点的表示，进而应用于社交科学、自然语言处理、计算机视觉、推荐系统等众多领域。

频域(Spectral)图神经网络在傅里叶域对节点的表示进行卷积操作，通常需要把图拉普拉斯矩阵的特征向量定义为傅里叶基。这一过程需要对矩阵进行特征分解，计算复杂度非常高。为了提高效率，K次切比雪夫多项式被用来近似代替特征分解，除此之外，小波变换技术可以直接学习到节点的频域表示，从而不用对矩阵进行分解。然而，频域图神经网络需要在整个图上进行卷积操作，所以很难直接应用在现实世界规模较大的图数据上。

空域(Spatial)图神经网络通过聚合节点的特征来进行卷积操作，不同的空域图神经网络有不同的聚合特征的方法。线性聚合器通过对节点特征进行加权平均来学习节点表示。为了提高节点表示的有效性，使用注意力机制可以自动学习到加权因子。此外，最大池化、胶囊网络、长短期记忆网络这些非线性聚合器也被设计出来学习节点表示。

然而，大部分的图神经网络都是通过聚合图中目标节点和其邻居节点的特征，从而得到新的目标节点特征表示。这一过程默认图中邻居节点之间是相互独立的，同时忽略了图中邻居节点之间的交互。因此，传统的图神经网络会因为这两个原因而导致聚合到的节点信息不充分，从而不能有效地学习到节点表示，会降低分类准确率。

发明内容

本发明的目的是提供一种建模邻居交互的双线性图神经网络模型的实现方法，可以得到更加有效的节点表示，从而提高图节点分类准确率。

本发明的目的是通过以下技术方案实现的：

一种建模邻居交互的双线性图神经网络模型的实现方法，包括：

利用线性聚合器对邻居节点特征信息进行加权平均；

利用双线性聚合器建模邻居节点之间、或者目标节点和每一邻居节点之间、或者所有节点之间两两交互，并将交互后的信息求平均；

采用线性组合的方式将前两个步骤得到的结果相结合，从而构建双线性图神经网络模型，并得到目标节点的特征表示向量；

其中，节点表示被引用的文档，节点特征信息由文档的词袋模型表示的元素组成。

由上述本发明提供的技术方案可以看出，通过上述方法构建的双线性图神经网络模型能端到端的训练，通过建模图中节点之间的两两交互，可以捕捉到图中局部结构中节点的共性，从而可以学习到更加有效的节点表示向量，最终提高图节点分类的准确率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种建模邻居交互的双线性图神经网络模型的实现方法的流程图；

图2为本发明实施例提供的线性聚合器的示意图；

图3为本发明实施例提供的双线性聚合器的示意图；

图4为本发明实施例提供的双线性图神经网络模型的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种建模邻居交互的双线性图神经网络模型的实现方法，如图1所示，其主要包括：

1、利用线性聚合器对邻居节点特征信息(也即特征表示向量)进行加权平均。

如图2所示，为线性聚合器AGG的工作原理示意图。图中的节点表示被引用的文档，节点的特征表示向量是由文档的词袋模型表示的元素组成的。

对于输入的目标节点v和它的邻居节点构成的集合

通过全连接层对这些节点的原始特征表示向量进行线性变换；线性变换就是让节点的特征表示向量和权重相乘，图2，图3和图4中竖直并排的四个长方形就是节点的特征表示向量经过线性变换后的结果。示例性的，邻居节点数目可以为6，则

根据节点的度的信息，计算每个邻居节点的权重系数：

上式中，

a_vi表示邻居节点i对于目标节点v的权重系数，

与

分别表示目标节点v与邻居节点i的度再加1；

利用权重系数对邻居节点特征表示向量进行加权平均，反映出不同邻居节点特征信息的重要性不同，原理表示为：

其中，

表示邻居节点i在迭代第k-1次时的特征表示向量；W^(k)表示线性聚合器迭代第k-1次的权重矩阵。

本领域技术人员可以理解，迭代次数与双线性图神经网络模型的层数相关，例如，当使用两层的双线性图神经网络模型时，相当于迭代了两次。

如图2所示，上述

表示的是线性聚合器的工作原理，通过线性聚合器可以逐层的迭代聚合节点特征表示向量，基于

所示的工作原理，线性聚合器最终的输出记为

本领域技术人员可以理解，节点的度是指节点所拥有的邻居节点的数目。

2、利用双线性聚合器建模邻居节点之间、或者目标节点和每一邻居节点之间、或者所有节点之间两两交互，并将交互后的信息求平均。

如图3所示，为双线性聚合器BA的工作原理示意图。

对于输入的目标节点v的邻居节点构成的集合

中所有节点的原始特征表示向量进行线性变换；然后通过让线性变换后的特征表示向量进行对应元素乘积来建模不同节点之间的两两交互(避免让节点进行自身交互)，通过乘法运算，一方面可以显露出节点间的共性，另一方面可以过滤掉一些不一致的信息。

将交互后的信息相加并且用交互数量

对求和结果进行平均，原理表示为：

上式中，

表示目标节点v的度加1，

表示邻居节点i在迭代第k-1次时的特征表示向量，

表示集合

中的节点j在迭代第k-1次时的特征表示向量，⊙表示元素乘积操作；W^(k)表示双线性聚合器迭代第k-1次的权重矩阵。

如图3所示，上述

表示的是双线性聚合器的工作原理，基于

所示的工作原理，双线性聚合器最终的输出记为

上述双线性聚合器可以对集合

中的所有节点建模两两交互，此外还可以采用另外两种形式的双线性聚合器：只对邻居节点之间进行两两交互和只让目标节点和邻居节点进行两两交互。

3、采用线性组合的方式将前两个步骤得到的结果相结合，从而构建双线性图神经网络模型，并得到目标节点的特征表示向量。

为了设计一个更加有表示能力的双线性图神经网络模型，我们对上述两种聚合器AGG和BA采取一种线性组合的方案，如图4所示，为双线性图神经网络模型的工作原理示意图。这种策略一方面可以让两种聚合器的性能相互强化，另一方面可以均衡两种聚合器聚合信息的强度，从而得到更加有效的节点表示向量，最终提高图节点分类的准确率。

采用线性组合的方式将前两个步骤得到的结果相结合，原理表示为：

BGCN(H^(k-1),A)＝(1-α)·AGG(H^(k-1),A)+α·BA(H^(k-1),A)

其中，α为设定的超参数，AGG(H^(k-1),A)为线性聚合器迭代第k-1次的输出结果，BA(H^(k-1),A)为双线性聚合器迭代第k-1次的输出结果，

如图4所示，BGC(H^(k-1),A)表示的是双线性图神经网络模型(BGCN)的工作原理，从式子中可以看到，BGCN的工作原理离不开AGG和BA的工作原理，双线性图神经网络模型可以通过逐层的迭代聚合节点特征信息。

前文

与

都是向量形式的表达方式，为了方便，采用了矩阵形式的表达，即，AGG(H^(k-1),A)与BA(H^(k-1),A)，H^(k-1)表示所有节点在第k次迭代的特征表示向量所构成的矩阵，A是图结构的邻接矩阵

双线性图神经网络(BGCN)最终的输出记为h_v，h_v也即模型得到的目标节点v的特征表示向量。

此外，由于线性聚合器和双线性聚合器使用同一套网络参数(即，式子中的W^(k))，因而在上述BGCN(H^(k-1),A)表达式中省略了W^(k)。

为了建模图中多跳节点的二阶交互，采用超参数β来加权多跳节点进行双线性交互后的信息强度，两层双线性图神经网络定义为：

BGCN₂(X,A)＝(1-α)·AGG₂(X,A)+α·[(1-β)·BA(X,A)+β·BA(X,A²)]

其中，X表示所有节点的原始特征表示向量。

上述BGCN₂(X,A)的原理与BGCN(H^(k-1),A)是相同的，两层双线性图神经网络也即迭代两次，那么，开始迭代的时候使用的是原始特征表示向量X，然后原始特征表示向量X经过线性变换，然后迭代第一次，得到H⁽¹⁾，再使用H⁽¹⁾迭代第二次得到H⁽²⁾。

遵循相同的原则，K层双线性图神经网络模型可以定义为：

其中，

示例性的，可以选择图卷积神经网络GCN作为线性聚合器。

在学习节点表示的过程中，两种聚合器通过不同的方式聚合信息。线性聚合器通过加权平均邻居节点的信息，然而双线性聚合器通过对应元素相乘的方法增强节点信息的共性，过滤掉不一致的信息，同时在聚合过程中对多跳节点信息的强度进行加权。最后，将两种聚合器学习到的节点表示进行线性加权，使两种聚合器的能力可以相互强化，从而学习到更加有效的节点表示，进而提高了图节点分类准确率。

此外，在可以提高图节点分类准确率的前提下，该方法有三个优点：(1)线性时间计算复杂度；(2)具有排列不变性；(3)不增加模型参数。详细原因解释如下：

(1)线性时间计算复杂度。双线性聚合器在建模节点之间的两两交互的过程中，时间复杂度只和目标节点的邻居的数目有关。通过如下化简公式：

其中s_i＝h_iW，可以发现，通过数学变换，建模节点之间的两两交互可以化简为s_i和的平方减去s_i平方的和。因此，双线性聚合器可以在

的时间复杂度内完成建模。

(2)双线性聚合器具有排列不变性。排列不变性是指当输入的节点特征表示向量的顺序发生变化的时候，神经网络的输出保持不变，这个性质可以保证图神经网络的稳定性。为了提供一个严格的证明，先给出双线性聚合器的矩阵形式：

其中，H、A、

分别表示：图中所有节点的原始特征表示向量经过线性变换后的节点表示、图的邻接矩阵、图的加自环后的邻接矩阵。

设P是任一排列矩阵，那么：

上式说明双线性聚合器的输出和节点输入的顺序无关，即满足排列不变性。

(3)建模邻居交互的双线性图神经网络模型不增加模型参数。这一点是通过共享权重来实现的：让传统的线性聚合器和本发明的双线性聚合器使用同一套网络参数。

为了说明本发明上述方案的效果，进行了相关实验。

针对半监督节点分类任务在真实数据集上面做了实验。实验用的数据集是三个常用的引用型网络：Pubmed，Cora，Citeseer。数据集的划分遵循标准图神经网络(GCN)中的划分方式。对于每种方法我们都重复十次实验，记录平均值和标准差，其中BGCN-A，BGCN-N和BGCN-T是本发明上述方法的三种形式：

BGCN-A：考虑目标节点的所有邻居节点(包括自身)之间的所有两两交互

BGCN-N：在BGCN-A的基础上，忽略目标节点与它的邻居节点的交互

BGCN-T：只考虑目标节点和它的邻居节点之间的交互

实验结果如表1所示：

一层设置是指只考虑聚合图中一跳邻居节点的信息，两层设置是指考虑聚合图中一跳邻居节点和二跳邻居节点的信息。

表1不同方法在三个数据集上的性能比较

从表1中，可以发现：本发明比标准的图神经网络(GCN)的性能(指网络模型输出的节点表示向量用于分类的性能)要好1.1％，这个结果充分说明了本发明设计的双线性聚合器在提取节点特征方面的有效性。在一层设置下，该发明在Cora数据集上面的性能提高达到2.5％，这一点说明我们的发明通过建模节点之间的交互提高了节点分类的准确率。

此外，还对数据集进行10次随机划分，分别测试了本发明和标准图神经网络(GCN)的性能，记录平均值和标准差，实验结果如表2所示：

表2随机划分方式下模型的性能比较

从表2中，通过对两种模型做双边配对t检测，发现：p值均小于0.05，p值是统计学中专有名词，通过做双边配对t检测，可以得到p值。所以在显著性意义下，该发明的性能更好，从而进一步验证了我们提出的方法在节点分类任务上的有效性。

下面表3示例性的给出超参数α和β在实验中的数值。

表3对于一层和两层模型的α和β参数选择表

本发明实施例上述方案，可以应用到图学习领域的节点分类研究中，对具有图结构数据的特征进行双线性交互。在实施上，可以以软件的方式集成到热门的机器学习软件中；也可以以在线的方式安装到网站上面，为科研机构提供实时的在线服务。

本发明另一实施例还提供一种基于图节点表示向量的分类方法，该方法首先通过前述实施例构建的双线性图神经网络模型获得图节点表示向量，再将图节点表示向量输入至分类器中，获得相应图节点的分类结果。

比如，对于基于图结构的引用型网络数据Citeseer，通过前面建立的双线性图神经网络模型，得到相应的节点特征表示向量，然后，输入至softmax分类器，得到72.5％的分类准确率。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种建模邻居交互的双线性图神经网络模型的实现方法，其特征在于，包括：

利用线性聚合器对邻居节点特征信息进行加权平均；

利用双线性聚合器建模邻居节点之间、或者目标节点和每一邻居节点之间、或者所有节点之间两两交互，并将交互后的信息求平均；线性聚合器和双线性聚合器使用同一套网络参数，即迭代第k-1次的权重矩阵W^(k)；

采用线性组合的方式将前两个步骤得到的结果相结合，从而构建双线性图神经网络模型，并得到目标节点的特征表示向量；

其中，节点表示被引用的文档，节点特征信息由文档的词袋模型表示的元素组成；

其中，利用双线性聚合器建模节点之间两两交互，并将交互后的信息求平均包括：

对于输入的目标节点v的邻居节点构成的集合

中所有节点的原始特征表示向量进行线性变换；然后通过让线性变换后的特征表示向量进行对应元素乘积来建模不同节点之间的两两交互，将交互后的信息相加并且用交互数量

对求和结果进行平均，原理表示为：

上式中，

表示目标节点v的度加1，

表示邻居节点i在迭代第k-1次时的特征表示向量，

表示集合

中的节点j在迭代第k-1次时的特征表示向量，⊙表示元素乘积操作。

2.根据权利要求1所述的一种建模邻居交互的双线性图神经网络模型的实现方法，其特征在于，所述利用线性聚合器对邻居节点特征信息进行加权平均包括：

对于输入的目标节点v和它的邻居节点构成的集合

通过全连接层对这些节点的原始特征进行线性变换；

根据节点的度的信息，计算每个邻居节点的权重系数：

上式中，

a_vi表示邻居节点i对于目标节点v的权重系数，

与

分别表示目标节点v与邻居节点i的度再加1；

利用权重系数对邻居节点特征信息进行加权平均，原理表示为：

其中，

表示邻居节点i在迭代第k-1次时的特征表示向量。

3.根据权利要求1所述的一种建模邻居交互的双线性图神经网络模型的实现方法，其特征在于，采用线性组合的方式将前两个步骤得到的结果相结合，从而构建双线性图神经网络模型，并得到目标节点的特征表示向量，原理表示为：

BGCN(H^(k-1)，A)＝(1-α)·AGG(H^(k-1)，A)+α·BA(H^(k-1)，A)

其中，α为设定的超参数，AGG(H^(k-1)，A)为线性聚合器迭代第k-1次的输出结果，BA(H^{(k -1)}，A)为双线性聚合器迭代第k-1次的输出结果，H^(k-1)是一个矩阵，表示所有节点在第k次迭代的特征表示向量所构成的矩阵，A是图结构的邻接矩阵。

4.根据权利要求3所述的一种建模邻居交互的双线性图神经网络模型的实现方法，其特征在于，该方法还包括：

采用超参数β来加权多跳节点进行双线性交互后的信息强度，两层双线性图神经网络模型定义为：

BGCN₂(X，A)＝(1-α)·AGG₂(X，A)+α·[(1-β)·BA(X，A)+β·BA(X，A²)]

上述BGCN₂(X，A)的原理与BGCN(H^(k-1)，A)是相同的，两层双线性图神经网络也即迭代两次，开始迭代的时候使用的是原始特征表示向量X，然后原始特征表示向量X经过线性变换，迭代第一次，得到H⁽¹⁾，再使用H⁽¹⁾迭代第二次得到H⁽²⁾；

遵循相同的原则，K层双线性图神经网络模型定义为：

其中，

5.一种基于图节点表示向量的分类方法，其特征在于，通过权利要求1-4任一项所述的方法获得图节点表示向量，将图节点表示向量输入至分类器中，获得分类结果。

Images