CN110991483A - 高阶邻域混合的网络表示学习方法及装置 - Google Patents

Abstract

本发明公开了一种高阶邻域混合的网络表示学习方法及装置，在原始图卷积层的基础上加入自注意力机制和级联聚集层，其中，方法包括以下步骤：运用自注意力机制将图的拉普拉斯矩阵变换成节点对图注意力矩阵，且训练权重参数学习不同的注意力系数；通过级联聚集层汇聚不同距离信息流，并将上一阶的输出用作下一阶的输入，以控制计算复杂度；确定嵌入向量输出到下游机器学习任务，或者输出分类结果。该方法可以实现真正意义上的端到端训练，有效地提高模型的训练速度，且提出的网络高低阶信息混合学习的思想具有领域可扩展性，简单易实现。

Description

高阶邻域混合的网络表示学习方法及装置

技术领域

本发明涉及数据挖掘与网络技术领域，特别涉及一种高阶邻域混合的网络表示学习方法及装置。

背景技术

目前业界主流的网络表示学习系统主要是基于传统的流水线方式设计的，通过随机游走的方式生成图语料库，输入到自然语言模型中训练节点嵌入向量，再输出到下游机器学习任务中完成最终的目标。这种方式涉及到多模块之间的相互协调，非端到端用户的反馈很难上传回上游模块，不能够直接影响任务模块的学习。比如，一种基于双向距离网络嵌入的社交网络表示方法，主要通过三个步骤：构建节点唯一性编码、通过随机游走生成上下文节点序列、利用Bidirectional-Node-Skip-Gram进行学习,并不断根据窗口节点共现频率和有向距离进行模型超参数的调整。

基于这种现状，越来越多的研究开始投入到端到端的网络表示学习系统中，这些系统大多基于图卷积神经网络。图卷积是卷积操作在图域空间的一种实现，通过近似将图拉普拉斯矩阵视为卷积核的基。比如，一种基于图卷积技术的推荐系统。它分为异构图生成输入特征、训练图卷积模型、生成推荐结果。真正意义上实现了通过结果指导模型训练，这样减少了依赖两个单独模块耦合程度，能够很好的应用于真实世界场景。

除此之外，现有的端到端基于图卷积的模型由于近似卷积核损失了建模能力，而且使用固定的拉普拉斯矩阵不能很好的量化实际的节点对关系，并不能充分的学习网络中的结构信息。比如，一种基于多样图吸引机制的知识图谱嵌入方法。该方法对节点关系进行建模，通过多样图注意力机制，利用n个注意力头与自注意力在邻接图上学习实体的向量表示，再将向量放入模型训练。虽然这种方法考虑了节点对关系的多样性，但是由于是基于已存在关系的探索，没有充分的考虑高阶节点之间的交互，并没有真正意义上建模全网络节点关系。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种高阶邻域混合的网络表示学习方法，该方法可以实现真正意义上的端到端训练，有效地提高模型的训练速度，且提出的网络高低阶信息混合学习的思想具有领域可扩展性，简单易实现。

本发明的另一个目的在于提出一种高阶邻域混合的网络表示学习装置。

为达到上述目的，本发明一方面实施例提出了一种高阶邻域混合的网络表示学习方法，在原始图卷积层的基础上加入自注意力机制和级联聚集层，其中，方法包括以下步骤：运用所述自注意力机制将图的拉普拉斯矩阵变换成节点对图注意力矩阵，且训练权重参数学习不同的注意力系数；通过所述级联聚集层汇聚不同距离信息流，并将上一阶的输出用作下一阶的输入，以控制计算复杂度；确定嵌入向量输出到下游机器学习任务，或者输出分类结果。

本发明实施例的高阶邻域混合的网络表示学习方法，采用端到端的方式构建了网络表示学习框架，解决了传统的流水线式任务导向各模块之间协调困难的问题，实现了各模块之间的一体化，没有需要单独训练的子模块，因此可以实现真正意义上的端到端训练；基于图卷积神经网络模型，通过注意力机制自适应学习全局网络节点对关系，并且通过简化矩阵乘法的方式，在时间复杂度和内存允许的情况下获取高阶信息、混合高低阶信息的同时又不损害模型的训练速度；提出的网络高低阶信息混合学习的思想具有领域可扩展性，针对于各类端到端的网络学习框架，都可以尝试加入高阶邻域的概念来使得网络信息流的学习更加充分。

另外，根据本发明上述实施例的高阶邻域混合的网络表示学习方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述训练权重参数学习不同的注意力系数表示为：

A^*＝matrix{(i，j)＝α_ij|i，j∈1，2，…N}，

其中，A^*是自适应注意邻接矩阵，注意力机制α_ij是一个单层前馈神经网络，h_i/h_j表示节点的当前嵌入表示，N代表总节点数，

表示某节点的邻域，W是可训练的权重矩阵，

是一个类似于全连接神经网络的函数，LeakyReLU是激活函数，k为某节点邻域的任意节点。

进一步地，在本发明的一个实施例中，所述级联聚集层的汇聚公式为：

其中，H^l为第l个隐藏层的输入，W^l为第1个隐藏层的权重参数，

为第1个隐藏层节点j的嵌入，

为第l个隐藏层的节点i与j之间的attention关系量。

进一步地，在本发明的一个实施例中，所述级联聚集层每层的输出通过拼接层作为最终表示：

H^l+1＝||_k∈Kσ((A^*)^kH^lW^l)，

其中，(A^*)^k为k-阶的自适应邻接矩阵。

进一步地，在本发明的一个实施例中，所述分类结果为：

其中，softmax代表分类函数，p_i表示分类的最大概率，C代表训练集总类别，X表示输入嵌入向量。

为达到上述目的，本发明另一方面实施例提出了一种高阶邻域混合的网络表示学习装置，在原始图卷积层的基础上加入自注意力机制和级联聚集层，其中，装置包括：变换模块，用于运用所述自注意力机制将图的拉普拉斯矩阵变换成节点对图注意力矩阵，且训练权重参数学习不同的注意力系数；处理模块，用于通过所述级联聚集层汇聚不同距离信息流，并将上一阶的输出用作下一阶的输入，以控制计算复杂度；确定模块，用于确定嵌入向量输出到下游机器学习任务，或者输出分类结果。

本发明实施例的高阶邻域混合的网络表示学习装置，采用端到端的方式构建了网络表示学习框架，解决了传统的流水线式任务导向各模块之间协调困难的问题，实现了各模块之间的一体化，没有需要单独训练的子模块，因此可以实现真正意义上的端到端训练；基于图卷积神经网络模型，通过注意力机制自适应学习全局网络节点对关系，并且通过简化矩阵乘法的方式，在时间复杂度和内存允许的情况下获取高阶信息、混合高低阶信息的同时又不损害模型的训练速度；提出的网络高低阶信息混合学习的思想具有领域可扩展性，针对于各类端到端的网络学习框架，都可以尝试加入高阶邻域的概念来使得网络信息流的学习更加充分。

另外，根据本发明上述实施例的高阶邻域混合的网络表示学习装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述训练权重参数学习不同的注意力系数表示为：

A^*＝matrix{(i，j)＝α_ij|i，j∈1，2，…N}，

其中，A^*是自适应注意邻接矩阵，注意力机制α_ij是一个单层前馈神经网络，h_i/h_j表示节点的当前嵌入表示，N代表总节点数，

表示某节点的邻域，W是可训练的权重矩阵，

是一个类似于全连接神经网络的函数，LeakyReLU是激活函数，k为某节点邻域的任意节点。

进一步地，在本发明的一个实施例中，所述级联聚集层的汇聚公式为：

其中，H^l为第1个隐藏层的输入，W^l为第l个隐藏层的权重参数，

为第l个隐藏层节点j的嵌入，

为第l个隐藏层的节点i与j之间的attention关系量。

进一步地，在本发明的一个实施例中，所述级联聚集层每层的输出通过拼接层作为最终表示：

H^l+1＝||_k∈Kσ((A^*)^kH^lW^l)，

其中，(A^*)^k为k-阶的自适应邻接矩阵。

进一步地，在本发明的一个实施例中，所述分类结果为：

其中，softmax代表分类函数，p_i表示分类的最大概率，C代表训练集总类别，X表示输入嵌入向量。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的高阶邻域混合的网络表示学习方法的流程图；

图2为根据本发明实施例的基于注意力机制的高阶邻域混合的网络表示学习框架示意图；

图3为根据本发明一个实施例的高阶邻域混合的网络表示学习方法的流程图；

图4为根据本发明实施例的注意力机制示意图；

图5为根据本发明实施例的高阶邻域混合的网络表示学习装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本申请是基于发明人对以下问题的认识和发现做出的：

传统的流水线设计方式结构复杂，各模块之间相互独立，协调困难，端到端的网络表示学习框架是未来的发展趋势。而仅有的数量不多的端到端框架仍然是基于图卷积神经网络实现的，图卷积层通过近似卷积核以及固定拉普拉斯矩阵聚集信息，通过多层图卷积层获取高阶邻域信息。这种信息流通过激活函数在节点对之间传播的方式是间接的，导致模型的建模能力受损。

注意力机制在网络表示学习中的使用，提供了一种对于节点对邻域建模的新思路。现有的多头注意力机制起源于自然语言处理中的翻译模型，根据不同的节点位置建模不同的权重系数，因此可以用来探索图域中节点对的不同的关系，但是网络中有连接的节点对占极少部分，所以模型并不能充分获得网络结构信息。

因此，当前的网络表示学习方法存在两个问题：(1)如何实现一个节点嵌入直接应用各类任务的端到端模型；(2)如果对于全局节点对进行建模；(3)如何利用高阶邻域的信息，尽可能减少额外的复杂度。

本发明实施例提出了一个基于图注意力机制的高阶邻域混合的网络表示学习方法及装置，针对第一个问题构建端到端的训练模型，用实际值指导模型的训练；针对第二个问题，使用注意力机制允许模型建立全局节点对关系，使得信息流传递更充分；针对第三个问题，混合高阶与低阶信息，用左乘矩阵的方法接入图注意力矩阵的高阶幂，在不增加模型参数与复杂度的情况下，达到并行化训练的目的，充分的利用GPU，提高模型的训练速度。

下面参照附图描述根据本发明实施例提出的高阶邻域混合的网络表示学习方法及装置，首先将参照附图描述根据本发明实施例提出的高阶邻域混合的网络表示学习方法。

图1是本发明一个实施例的高阶邻域混合的网络表示学习方法的流程图。

如图1所示，该高阶邻域混合的网络表示学习方法，在原始图卷积层的基础上加入自注意力机制和级联聚集层(如图2所示)，其中，方法包括以下步骤：

在步骤S101中，运用自注意力机制将图的拉普拉斯矩阵变换成节点对图注意力矩阵，且训练权重参数学习不同的注意力系数。

可以理解的是，如图2所示，本发明实施例运用自注意力机制将图的拉普拉斯矩阵变换成节点对图注意力矩阵，并训练权重参数来学习不同的注意力系数，具体如下：

A^*＝matrix{(i，j)＝α_ij|i，j∈1，2，…N}，

其中A^*是自适应注意邻接矩阵，注意力机制α_ij是一个单层前馈神经网络，h_i/h_j表示节点的当前嵌入表示，N代表总节点数，

表示某节点的邻域，W是可训练的权重矩阵，

是一个类似于全连接神经网络的函数，LeakyReLU是激活函数。

在步骤S102中，通过级联聚集层汇聚不同距离信息流，并将上一阶的输出用作下一阶的输入，以控制计算复杂度。

具体而言，如图2所示，本发明实施例通过级联聚集层汇聚不同距离信息流：

上一阶的输出用作下一阶的输入以控制计算复杂度：

H^l+1＝σ(A^*(A^*)^k-1H^lW^l)。

在步骤S103中，确定嵌入向量输出到下游机器学习任务，或者输出分类结果。

具体而言，如图2所示，为了混合高低阶信息，级联层每层的输出通过拼接层作为最终表示：

H^l+1＝||_k∈Kσ((A^*)^kH^lW^l)

最后可以作为嵌入向量输出到下游机器学习任务，也可以通过一个softmax层输出分类结果如：

其中softmax代表分类函数，p_i表示分类的最大概率，C代表训练集总类别，X表示输入嵌入向量。

进一步而言，本发明实施例通过如图2所示的基于注意力机制的高阶邻域混合的网络表示学习框架，建立一种直接的信息流获取方式，能够应用于各种端到端的图神经网络结构。如图3所示，本发明实施例选择了建立在原始图卷积神经网络层的基础上，加入了自注意力机制借助图的拉普拉斯矩阵来学习节点对关系，得到图的自注意力矩阵，再设计一个多层耦合的级联结构，下一层用来获取更长距离的节点信息学习高阶嵌入向量，设计一个混合信息层拼接低高阶的嵌入，最终本层的输出作为下一层网络的输入。如果任务是分类网络，则经过一个softmax层输出分类标签；如果任务是得到节点表示，那么直接将本层拼接向量输出。

另外，本发明实施例的方法主要具有三个方面的特性：显式高阶信息流、自适应注意力矩阵、高阶混合学习策略，下面将对这三个方面特征具体阐述。

1、显式高阶信息流

在传统网络表示学习系统中，迭代图卷积层允许信息通过图的边缘从低阶流向高阶，但当信息经过特征约简(矩阵乘法)和非线性(激活函数σ(·))时，这种信息流是间接的。因此，本发明实施例通过在高阶邻域中直接聚合来更好地利用高阶信息。尤其是考虑k步邻居：

传统的图嵌入方法通过随机游走生成语料，通过设置窗口大小k建立k步节点对关系。实际上，单图卷积层等价于窗口大小k＝1的随机游走。通过将相邻A^*与输入特征Hl相乘，信号从节点传播到直接相邻。类似地，本发明实施例通过乘以注意矩阵A^*来模拟随机行走的过程，以直接找到k步节点对的不同交互作用。

由于矩阵的乘法带来了大量的计算量，本发明实施例简化了矩阵的计算。在收集高阶信息时，级联层将上一层输出左乘A^*来达到和原始操作相同量级的复杂度，因此，高阶混合的框架只在时间和内存允许的范围内增加了线性时间复杂度。

2、自适应注意力矩阵

业界通用的方法通常是将节点的邻域是用相等或预定义的权重组合起来的。然而，节点对之间的关系并不仅仅是1和0，由于网络的稀疏性，没有显式边缘的节点对之间的关系往往被忽略，因此这种简单的预定义方法导致了信息流学习的不足。本发明实施例对于全局任意节点运用如图4所示的注意力机制以得到自适应的注意力邻域矩阵，那么和图卷积网络一样，用自适应注意力邻域代替图拉普拉斯矩阵进行信息的聚集。

3、高阶混合学习策略

本发明实施例使用级联层来聚合高阶信息流，通过拼接，将高阶和低阶信息混合到一个softmax分类子网络或者下游机器学习任务中，从而使得网络能够自行决定任何高阶信息在拟合上帝曲线中的重要性。并且这种将任务结果的决定权交给数据和模型的方式是最置信的。

综上，本发明实施例基于图卷积层的基础上，使用注意力机制建模全局节点对关系，并通过一种显式的方式从网络结构中传递信息流，且采用一种简易的矩阵乘法获取高阶信息，和获取低阶信息相同量级的复杂度，只在时间和内存允许的范围内增加了线性时间复杂度，有效地提高了模型的训练速度，同时提出的高阶信息混合思想能够运用到各类端到端网络表示学习方法中，简单易实现。

根据本发明实施例提出的高阶邻域混合的网络表示学习方法，采用端到端的方式构建了网络表示学习框架，解决了传统的流水线式任务导向各模块之间协调困难的问题，实现了各模块之间的一体化，没有需要单独训练的子模块，因此可以实现真正意义上的端到端训练；基于图卷积神经网络模型，通过注意力机制自适应学习全局网络节点对关系，并且通过简化矩阵乘法的方式，在时间复杂度和内存允许的情况下获取高阶信息、混合高低阶信息的同时又不损害模型的训练速度；提出的网络高低阶信息混合学习的思想具有领域可扩展性，针对于各类端到端的网络学习框架，都可以尝试加入高阶邻域的概念来使得网络信息流的学习更加充分。

其次参照附图描述根据本发明实施例提出的高阶邻域混合的网络表示学习装置。

图5是本发明一个实施例的高阶邻域混合的网络表示学习装置的结构示意图。

如图5所示，该高阶邻域混合的网络表示学习装置10，在原始图卷积层的基础上加入自注意力机制和级联聚集层，其中，装置10包括：变换模块100、处理模块200和确定模块300。

其中，变换模块100用于运用自注意力机制将图的拉普拉斯矩阵变换成节点对图注意力矩阵，且训练权重参数学习不同的注意力系数；处理模块200用于通过级联聚集层汇聚不同距离信息流，并将上一阶的输出用作下一阶的输入，以控制计算复杂度；确定模块300用于确定嵌入向量输出到下游机器学习任务，或者输出分类结果。本发明实施例的装置10可以实现真正意义上的端到端训练，有效地提高模型的训练速度，且提出的网络高低阶信息混合学习的思想具有领域可扩展性，简单易实现。

进一步地，在本发明的一个实施例中，训练权重参数学习不同的注意力系数表示为：

A^*＝matrix{(i，j)＝α_ij|i，j∈1，2，…N}，

其中，A^*是自适应注意邻接矩阵，注意力机制α_ij是一个单层前馈神经网络，h_i/h_j表示节点的当前嵌入表示，N代表总节点数，

表示某节点的邻域，W是可训练的权重矩阵，

是一个类似于全连接神经网络的函数，LeakyReLU是激活函数，k为某节点邻域的任意节点。

进一步地，在本发明的一个实施例中，级联聚集层的汇聚公式为：

其中，H^l为第l个隐藏层的输入，W^l为第l个隐藏层的权重参数，

为第l个隐藏层节点j的嵌入，

为第l个隐藏层的节点i与j之间的attention关系量。

进一步地，在本发明的一个实施例中，级联聚集层每层的输出通过拼接层作为最终表示：

H^l+1＝||_k∈Kσ((A^*)^kH^lW^l)，

其中，(A^*)^k为k-阶的自适应邻接矩阵。

进一步地，在本发明的一个实施例中，分类结果为：

其中，softmax代表分类函数，p_i表示分类的最大概率，C代表训练集总类别，X表示输入嵌入向量。

需要说明的是，前述对高阶邻域混合的网络表示学习方法实施例的解释说明也适用于该实施例的高阶邻域混合的网络表示学习装置，此处不再赘述。

根据本发明实施例提出的高阶邻域混合的网络表示学习装置，采用端到端的方式构建了网络表示学习框架，解决了传统的流水线式任务导向各模块之间协调困难的问题，实现了各模块之间的一体化，没有需要单独训练的子模块，因此可以实现真正意义上的端到端训练；基于图卷积神经网络模型，通过注意力机制自适应学习全局网络节点对关系，并且通过简化矩阵乘法的方式，在时间复杂度和内存允许的情况下获取高阶信息、混合高低阶信息的同时又不损害模型的训练速度；提出的网络高低阶信息混合学习的思想具有领域可扩展性，针对于各类端到端的网络学习框架，都可以尝试加入高阶邻域的概念来使得网络信息流的学习更加充分。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种高阶邻域混合的网络表示学习方法，其特征在于，在原始图卷积层的基础上加入自注意力机制和级联聚集层，其中，方法包括以下步骤：

运用所述自注意力机制将图的拉普拉斯矩阵变换成节点对图注意力矩阵，且训练权重参数学习不同的注意力系数；

通过所述级联聚集层汇聚不同距离信息流，并将上一阶的输出用作下一阶的输入，以控制计算复杂度；以及

确定嵌入向量输出到下游机器学习任务，或者输出分类结果。

2.根据权利要求1所述的方法，其特征在于，所述训练权重参数学习不同的注意力系数表示为：

A^*＝matrix{(i,j)＝α_ij|i,j∈1,2,…N}，

其中，A^*是自适应注意邻接矩阵，注意力机制α_ij是一个单层前馈神经网络，h_i/h_j表示节点的当前嵌入表示，N代表总节点数，

表示某节点的邻域，W是可训练的权重矩阵，

是一个类似于全连接神经网络的函数，LeakyReLU是激活函数，k为某节点邻域的任意节点。

3.根据权利要求2所述的方法，其特征在于，所述级联聚集层的汇聚公式为：

其中，H^l为第l个隐藏层的输入，W^l为第l个隐藏层的权重参数，

为第l个隐藏层节点j的嵌入，

为第l个隐藏层的节点i与j之间的attention关系量。

4.根据权利要求3所述的方法，其特征在于，所述级联聚集层每层的输出通过拼接层作为最终表示：

H^l+1＝||_k∈Kσ((A^*)^kH^lW^l)，

其中，(A^*)^k为k-阶的自适应邻接矩阵。

5.根据权利要求4所述的方法，其特征在于，所述分类结果为：

其中，softmax代表分类函数，p_i表示分类的最大概率，C代表训练集总类别，X表示输入嵌入向量。

6.一种高阶邻域混合的网络表示学习装置，其特征在于，在原始图卷积层的基础上加入自注意力机制和级联聚集层，其中，装置包括以下步骤：

变换模块，用于运用所述自注意力机制将图的拉普拉斯矩阵变换成节点对图注意力矩阵，且训练权重参数学习不同的注意力系数；

处理模块，用于通过所述级联聚集层汇聚不同距离信息流，并将上一阶的输出用作下一阶的输入，以控制计算复杂度；以及

确定模块，用于确定嵌入向量输出到下游机器学习任务，或者输出分类结果。

7.根据权利要求6所述的装置，其特征在于，所述训练权重参数学习不同的注意力系数表示为：

A^*＝matrix{(i,j)＝α_ij|i,j∈1,2,…N}，

其中，A^*是自适应注意邻接矩阵，注意力机制α_ij是一个单层前馈神经网络，h_i/h_j表示节点的当前嵌入表示，N代表总节点数，

表示某节点的邻域，W是可训练的权重矩阵，

是一个类似于全连接神经网络的函数，LeakyReLU是激活函数，k为某节点邻域的任意节点。

8.根据权利要求7所述的装置，其特征在于，所述级联聚集层的汇聚公式为：

其中，H^l为第l个隐藏层的输入，W^l为第l个隐藏层的权重参数，

为第l个隐藏层节点j的嵌入，

为第l个隐藏层的节点i与j之间的attention关系量。

9.根据权利要求8所述的装置，其特征在于，所述级联聚集层每层的输出通过拼接层作为最终表示：

H^l+1＝||_k∈Kσ((A^*)^kH^lW^l)，

其中，(A^*)^k为k-阶的自适应邻接矩阵。

10.根据权利要求9所述的装置，其特征在于，所述分类结果为：

其中，softmax代表分类函数，p_i表示分类的最大概率，C代表训练集总类别，X表示输入嵌入向量。

Images