CN113326884B - 大规模异构图节点表示的高效学习方法及装置 - Google Patents

Abstract

本发明涉及一种大规模异构图节点表示的高效学习方法及装置。该方法计算异构图中节点的邻居的重要性，根据重要性对节点的邻居进行采样；然后根据异构图中节点的类型信息，学习节点的类型嵌入向量；然后将邻居的类型嵌入向量和属性特征进行融合，得到邻居的向量表示。本发明的大规模异构图节点表示的高效学习方法是在半监督设置下，综合利用异构图的拓扑结构、关系类型、特征属性等信息，在兼顾算法的高效性和可扩展性的情况下学习节点的向量表示，实现了对大规模异构图中缺失的节点标签的分类预测。

Description

大规模异构图节点表示的高效学习方法及装置

技术领域

本发明属于信息技术领域，具体涉及一种大规模异构图节点表示的高效学习方法及装置。

背景技术

当今时代，网络数据挖掘和分析已成为一个重要的研究领域。在网络数据中，不同事物之间的交互关系普遍可以用图这种数据结构进行有效的描述和抽象，而在复杂系统中，图结构通常具有多种类型的节点和边，表示不同类别的事物和关系。这样的图结构被归为异构图(相对只有单一类型的节点和边的同构图而言)，广泛存在于现实生活中，如包含“论文”、“作者”、“会议”、“研究领域”等节点类型的学术网络。

图表示学习是一种表示或者编码图结构的方法，主要包括基于矩阵分解的算法、基于随机游走的算法、基于图神经网络的算法等。其中图神经网络对于同构图在理论上和工业界都有大量的创新与应用，针对大规模同构图的训练已有可观的突破，但对于大规模异构图的训练仍然具有挑战性。

现有的针对异构图的算法有一部分是由同构图的算法派生而来，经典的同构图神经网络可以通过加入对特定关系的转换，自然地将模型扩展到异构图上。异构图模型根据所利用信息的重点的不同，可以大致分为两类，一类是基于图结构的浅层模型，该类模型的重点在于利用边、元路径、子图等结构来学习丰富的语义信息；另一类是深层模型，在保持网络结构特性的同时，还整合了属性等额外信息，综合利用结构和属性信息，能捕捉和挖掘到更复杂的语义信息，例如由图注意力网络扩展而来的异构图注意力网络模型，由图卷积网络扩展而来的关系图卷积网络等。

对于上述第一类基于图结构的浅层模型，虽然允许并行计算，训练速度更快且计算复杂度相对较低，但对属性信息不能很好地利用和表示，也不能很好地扩展到大规模图上，因为这类模型只能学习已有节点的结构信息而不能应用到新节点上，只适用于直推式学习。而第二类综合利用结构和属性信息的深层模型，虽然有更强的表示能力，且适用于归纳式学习，但复杂度相对更高，在大规模图上的训练过程耗时耗力。因此，这两类异构图算法在大规模图上的可扩展性均受到一定的限制。

发明内容

为了提高异构图算法在大规模图上的可扩展性，在保证准确率等性能的前提下，快速高效地对异构图相应任务展开学习、训练和预测，本专利提出了一种大规模异构图节点表示的高效学习方法，该方法对异构图类型和结构分开学习再加以属性特征并整合利用三者信息，来学习节点的向量表示，在半监督节点分类任务上对于缺失的节点标签进行预测，在尽可能保证准确率的同时提高算法的效率和可扩展性。

本发明采用的技术方案如下：

一种大规模异构图节点表示的高效学习方法，其特征在于，包括以下步骤：

计算异构图中节点的邻居的重要性，根据重要性对节点的邻居进行采样；

根据异构图中节点的类型信息，学习节点的类型嵌入向量；

将邻居的类型嵌入向量和属性特征进行融合，得到邻居的向量表示。

进一步地，所述计算异构图中节点的邻居的重要性，根据重要性对节点的邻居进行采样，包括：

基于个性化PageRank算法计算邻居的重要性，通过求解ppr矩阵来对节点的邻居进行采样；ppr矩阵的每一行为对应节点的ppr向量，代表随机游走收敛时节点到达图上其余各节点的概率，概率越高表明邻居对节点越重要；通过选取ppr向量前k大的值来采样最重要的topk个邻居。

进一步地，对所述ppr矩阵进行近似计算以规避矩阵求逆，并对所述ppr矩阵进行预计算以缩短训练时间。

进一步地，所述根据异构图中节点的类型信息，学习节点的类型嵌入向量，包括：

对图中节点执行随机游走，以生成节点类型序列；

运行Skip-gram算法，根据随机游走中生成的节点类型序列，学习每个节点的类型嵌入。

进一步地，所述将采样的邻居的类型嵌入向量和属性特征进行融合，得到邻居的向量表示，包括：

对不同类型的异构邻居j，先将不同维度的属性向量X_j经过线性层转换为同一维度d_i的向量

其中d_i为源节点属性向量X_i的维度，再将统一维度后的属性向量/>

与节点类型嵌入向量融合得到邻居的向量表示H_j，H_j的维度也是d_i。

一种采用上述方法的大规模异构图节点表示的高效学习装置，其包括：

采样异构邻居模块，用于计算异构图中节点的邻居的重要性，根据重要性对节点的邻居进行采样；

学习类型嵌入模块，用于根据异构图中节点的类型信息，学习节点的类型嵌入向量；

聚合异构邻居模块，用于将邻居的类型嵌入向量和属性特征进行融合，得到邻居的向量表示。

一种大规模异构图节点分类方法，包括以下步骤：

在训练阶段，将采用本发明方法学习得到的节点i的邻居的向量表示输入异构图节点分类模型，得到节点i的类别预测结果z，将预测结果z与真实标签y的交叉熵作为损失函数，通过后向传播和随机梯度下降，更新优化模型的参数；对一个节点i的类别预测结果，由其各topk邻居的带有类型信息的属性表示，根据ppr向量π^(∈)所代表的PageRank重要性分数，加权聚合而来，即：

其中，z_i为对节点i的类别预测结果，N^k(i)为π^(∈)(i)中前k大的非零值对应的邻居集合，即节点i的topk邻居；

在推理阶段，对待分类的节点计算其邻居的重要性，并根据重要性对该节点的邻居进行采样，然后直接利用训练阶段已学习到的类型嵌入向量，通过训练好参数的异构图节点分类模型，预测出该节点的分类结果。

进一步地，所述异构图节点分类模型可以使用MLP(Multilayer Perceptron，多层感知机)模型，还可以使用CNN(Convolution Neural Network，卷积神经网络)、RNN(Recurrent Neural Network，循环神经网络)等复杂的神经网络模型。

本发明的大规模异构图节点表示的高效学习方法是在半监督设置下，综合利用异构图的拓扑结构、关系类型、特征属性等信息，在兼顾算法的高效性和可扩展性的情况下学习节点的向量表示，实现对大规模异构图中缺失的节点标签的分类预测。

本发明的优点和有益效果具体如下：

1)现有的方法对异构图的处理多是将异构图拆分为多个同构子图分别训练再进行聚合，而本专利的方法在训练和推理过程中都保留了完整的异构图，避免了连通图被拆解后连边信息的破坏损失；

2)现有的方法多是用基于元路径的随机游走的方式选取邻居集合，用元路径会面临需要领域知识预定义元路径的困难，而本方法通过求解ppr矩阵来采样邻居，规避了元路径的手动选取，且ppr矩阵可以近似计算和预计算，更加省时高效；

3)本方法直接利用ppr向量作为聚合邻居的权重，而现有方法大多需要对邻居权重进行分配和训练，增加了参数量和训练量；

4)本方法综合利用结构、类型、特征三种信息，兼具现有方法中浅层模型和深层模型的优点又弥补了各自的局限性，支持各模块并行独立的计算，能显著降低训练与推理时间，对内存的要求也相对更低，因此能较好地扩展到大规模异构图上。

附图说明

图1是本发明的大规模异构图节点表示的高效学习方法的总体流程图。

图2是本发明的大规模异构图节点表示的高效学习方法(应用于学术网络)的具体步骤示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。

本发明针对大规模异构图的半监督节点分类任务，分别利用节点的类型信息和结构信息学习相应的表示，再加以特征属性信息融合到一起进行训练，意在高效地学习节点的向量表示并训练得出对节点标签的预测，提高异构图训练算法的可扩展性。对于节点类型，基于随机游走抽取节点类型信息并学习类型表示，对于结构信息，基于个性化PageRank计算节点邻居的重要性并根据重要性进行合理的邻居采样。为了进一步提高算法在大规模图上的可扩展性，在尽可能保持性能表现的基础上，该模型使用了一些预计算和近似计算的技巧。

下面给出本发明方法所应用的异构图数据结构的定义。给定异构图

其中V代表图中的节点集，E代表图中的边集；/>

V→F为节点类型映射函数，其中每个节点v_i∈V对应一种节点类型/>

ψ:E→R为边类型映射函数，每条边e_ij∈E对应一种边类型ψ(e_ij)∈R；F和R分别代表节点类型和边类型的集合，且满足|F|+|R|>2。

本发明方法的整体框架如图1所示，主要分为三个步骤，采样异构邻居、学习类型嵌入和聚合异构邻居，其中前两个步骤可以独立并行地进行。下面分别给出这三个步骤的具体实施方式。

1.采样异构邻居

首先我们需要根据图结构对每个节点采样其邻居构成子图，现有技术中常用的做法是基于元路径或随机游走来采样邻居。而基于元路径的方法采样到的是特定类型的邻居，又因本算法意在将节点类型和图结构分开学习训练，因此我们考虑用基于随机游走的方式，不考虑节点的类型，即将异构图当作同构图处理，采样各节点的异构邻居。

对于大规模异构图，通常图上的部分节点会有较多的直接邻居，而邻居又有邻居的邻居，若用传统的递归式信息传递机制来聚合邻居信息，随着邻居跳数范围的增加，邻居数量指数式的增长可能会带来计算和内存上的负担。而且，由于不同的邻居对节点的贡献不同，聚合邻居信息时若简单地对所有邻居求和或求均值，难免有失妥当。因此，我们采取根据节点重要性来选择邻居的采样策略。

我们使用与随机游走有紧密联系同时又能反映节点重要性的个性化PageRank(Personalized PageRank)算法来采样邻居。对于每个节点，计算跳转概率为α的重启随机游走的不变分布，该不变分布满足：

π_ppr(i_x)＝(1-α)D^-1Mπ_ppr(i_x)+αi_x

其中，π_ppr(i_x)表示节点x的跳转概率为α的重启随机游走的不变分布，i_x表示节点x的随机游走概率向量，M为图的邻接矩阵，D为图的度矩阵。求解上式，得到：

π_ppr(i_x)＝α(I_n-(1-α)D^-1M)^-1i_x

其中，I_n表示n阶对角矩阵。

将向量操作整合成矩阵变换，可得ppr矩阵Π_ppr＝α(I_n-(1-α)D^-1M)^-1，此ppr矩阵的每一行即为对应节点的ppr向量，代表随机游走收敛时该节点到达图上其余各节点的概率，概率越高则表明该邻居对源节点越重要，因此通过选取ppr向量前k大的值，来采样对源节点最重要的topk个邻居，这里的topk是指选取的最大邻居数，而不是实际的邻居数，因为总会存在节点的邻居数量比k小的情况。

以上是采样异构邻居的基本操作。考虑到求ppr矩阵需要求解矩阵的逆，而对矩阵求逆的计算复杂度较高，因此可以采用Aleksandar等人(Bojchevski,A.,Klicpera,J.,Perozzi,B.,Kapoor,A.,Blais,M.,Rózemberczki,B.,Lukasik,M.,&Günnemann,S.(2020).Scaling Graph Neural Networks with Approximate PageRank.In Proceedings ofthe 26th ACM SIGKDD international conference on Knowledge discovery and datamining.)提出的近似计算ppr矩阵的算法，该算法用一个阈值∈来控制近似ppr向量π^(∈)与真实ppr向量π的差值r，∈越小则π^(∈)近似的精确度越高。下面表1中的算法1为该近似算法的伪代码。

近似算法规避了矩阵求逆，能更快地计算出各节点的ppr向量。此外，该近似算法可以放在训练阶段之前，预计算出ppr矩阵。这样一来，算法在训练阶段就可以直接取用已算好的ppr矩阵，从中采样topk邻居即可，能够显著缩短训练时间。

表1.算法1

2.学习类型嵌入

为了避免异构图忽略类型而转换为同构图后的信息损失，需要根据节点的类型信息学习各节点的类型嵌入。因为在非多重异构图上，一个节点对之间最多只有一条连边，一条边所连接的两个节点类型可以确定该边的类型，因此对节点类型的学习即相当于对边关系类型的学习。

参考Bryan等人(Perozzi,B.,Al-Rfou,R.,&Skiena,S.(2014).DeepWalk:onlinelearning of social representations.In Proceedings of the 20th ACM SIGKDDinternational conference on Knowledge discovery and data mining.)提出的DeepWalk算法的思想，将随机游走和Skip-gram模型结合来学习嵌入表示。但与DeepWalk不同的是，DeepWalk学习的是节点特征属性的低维表示，而本方法学习的是节点类型的嵌入表示，通过学习节点类型在图中的分布情况，捕捉高阶异构模式，学习到不同类型的节点对预测结果的重要性和贡献大小。

学习类型嵌入的算法包括两个步骤：首先对图中节点执行随机游走，以生成节点类型序列；然后运行Skip-gram算法，根据随机游走中生成的节点类型序列，学习每个节点的类型嵌入。该算法学习节点的类型嵌入的原理来源于自然语言处理中词嵌入，算法中随机游走路径上的一个个节点类型即对应于词嵌入算法的句子中的一个个单词，且将通过给定输入单词预测上下文来学习单词的嵌入向量的Skip-gram模型迁移到学习类型嵌入向量的任务上。

具体地，随机游走过程中对每个节点进行γ次长度为t的随机游走，抽取节点的类型信息，即将节点类型放在路径上，得到的节点类型序列能直观地反映某类节点的出现频率和与其他异构节点之间的连接情况。在每次随机游走得到路径后，用Skip-gram算法训练更新映射函数Φ，Φ:

将节点类型f映射为维度为d的低维向量，Φ的参数在每次Skip-gram的窗口内用随机梯度下降进行更新。学习类型嵌入是个无监督学习的过程，随机梯度下降优化的目标函数源于Skip-gram算法中对预测上下文的概率最大化，即

其中f_i∈F表示节点类型，w表示Skip-gram算法中的窗口大小。

与原始版本的DeepWalk算法相比，本算法学习的是异构图的节点类型嵌入，由于异构图节点类型较同构图更为丰富，交互更为复杂，节点度数也相对更多，因此随机游走过程能生成更为多样的路径，Skip-gram模型能得到更为准确的嵌入。

并且，原始版本的DeepWalk是将每个节点映射到一个低维向量，也就是用节点的全局ID来映射，对于新出现的节点，即全局ID在已训练节点ID的范围之外的节点，不能很好地泛化，而需要重新训练才能学习到新节点的嵌入表示，属于直推式学习。而本算法对于新节点可以直接利用其类型信息和嵌入表示，无需重新训练，是一种归纳式学习的方法。

3.聚合异构邻居

在得到节点类型嵌入向量与各节点的topk邻居后，综合利用邻域信息，通过聚合函数将异构邻居的类型嵌入和属性特征进行融合。

异构图中不同类型的节点有不同类型的属性特征，即可能处于不同维度的特征空间中，因此对源节点i的不同类型的异构邻居j，需要先将不同维度的属性向量X_j经过线性层转换为同一维度d_i的向量

(其中d_i为源节点i的属性向量X_i的维度)，再将统一维度后的属性向量/>

与邻居节点j的类型嵌入向量/>

融合得到更高阶的属性表达，也就是节点j的向量表示H_j(H_j的维度也是d_i)。融合的方法可以是向量间的按位(element-wise)乘法、点积、卷积或者神经网络等其他更复杂的方法。而对一个节点i的类别预测，则是由其各topk邻居的向量表示，根据近似ppr向量π^(∈)所代表的PageRank重要性分数，加权聚合而来的，即：

其中，z_i为对源节点i的类别预测结果即节点i属于各类别的概率，N^k(i)为π^(∈)(i)中前k大的非零值对应的邻居集合，即源节点i的topk邻居。

在训练阶段，先进行异构邻居的采样和类型嵌入的学习，这两个步骤可以通过并行计算，各自独立地执行，也可以在训练阶段之前通过预计算得出；然后对邻居的类型信息和特征属性，根据采样邻居时算出的近似ppr向量π^(∈)进行聚合，经过由线性变换和softmax函数组成的MLP(Multilayer Perceptron，多层感知机)模型得到预测结果z，将预测结果z与真实标签y的交叉熵作为损失函数，通过后向传播和随机梯度下降，更新优化模型的参数。在推理阶段，对新节点计算近似ppr矩阵Π^(∈)并采样topk邻居，但不需要再学习新节点的类型嵌入，而可以直接用已学习到的类型嵌入向量，最后通过训练好参数的MLP模型进行聚合便能预测出新节点的分类结果。

在互联网数据海量增长的信息时代，网络数据挖掘和分析已成为一个重要的研究领域。在现实世界的复杂系统中，不同事物之间的交互关系普遍可以用异构图这一数据结构进行有效的描述和抽象。而针对大规模(例如百万量级)异构图，现有算法模型较难对其展开训练，或者性能效果不尽如人意。因此提高异构图算法的可扩展性和高效性尤为重要。本专利针对半监督节点分类任务，通过近似计算、并行训练等策略提高可扩展性，综合利用异构图结构、类型、特征三种信息，高效地学习节点的向量表示，得出对节点标签的预测。1)本发明专利首先是能够应用于大规模异构图上的节点分类任务，例如学术网络中对论文发表于哪个会议或者属于哪个研究领域进行标签的预测；2)本专利对大规模异构图训练的花费时间和内存要求相对更低，有适用于工业级应用的潜力；3)本专利对不同规模的异构图训练都能保持一定的准确率，对于小规模异构图也能充分描述和学习其各种信息之间的联系；4)本专利通过训练学习到的异构图节点的向量表示，也可以用于其他的下游任务，如节点聚类等。

本发明的其它实施方式：

(1)在采样异构邻居这一步骤，对于ppr矩阵Π_ppr＝α(I_n-(1-α)D^-1M)^-1的计算，除了用表1的近似算法1，也可以直接进行矩阵计算得到准确值，但时间代价和计算复杂度也更大。还可以采用其他近似计算ppr矩阵的算法，如典型算法幂迭代法。幂迭代法的具体做法为先初始化Z⁽⁰⁾＝f_θ(X)，其中Z⁽ⁱ⁾为迭代i次后得到的结果，X为最初输入的图属性矩阵，f_θ(X)为X经过MLP(Multilayer Perceptron，多层感知机)模型后得到的结果，通过Z^(k+1)＝(1-α)D^-1MZ^(k)+αZ⁽⁰⁾该式不断迭代使得分布不断收敛，直到迭代次数达到了设定的迭代次数阈值或者迭代前后的误差小于设定的误差阈值。此外，对异构邻居的采样，原方法是选取ppr向量中前k大的邻居，其他替代方法可以是选取源节点的一阶和二阶邻居，或者直接选取与源节点相连的所有节点作为邻居。

(2)在聚合异构邻居这一步骤，对各邻居的向量表示的聚合，除了采用MLP(Multilayer Perceptron，多层感知机)模型，还可以使用CNN(Convolution NeuralNetwork，卷积神经网络)、RNN(Recurrent Neural Network，循环神经网络)等复杂的神经网络模型。

基于同一发明构思，本发明的另一实施例提供一种电子装置(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。

基于同一发明构思，本发明的另一实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。

以上公开的本发明的具体实施例，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例所公开的内容，本发明的保护范围以权利要求书界定的范围为准。

Claims (8)

1.一种大规模学术网络异构图节点分类方法，其特征在于，所述学术网络异构图中节点的类型包括论文、作者、会议、研究领域，该方法包括以下步骤：

在训练阶段，利用大规模学术网络异构图节点表示的高效学习方法学习得到学术网络异构图中节点i的邻居的向量表示，并输入异构图节点分类模型，得到学术网络异构图中节点i的类别预测结果z，其中节点i是论文节点、作者节点、会议节点、或研究领域节点；将预测结果z与真实标签y的交叉熵作为损失函数，通过后向传播和随机梯度下降，更新优化模型的参数；对学术网络异构图中一个节点i的类别预测结果，由其各topk邻居的带有类型信息的属性表示，根据ppr向量π^(∈)所代表的PageRank重要性分数，加权聚合而来，即：

其中，z_i为对学术网络异构图中节点i的类别预测结果，N^k(i)为π^(∈)(i)中前k大的非零值对应的邻居集合，即学术网络异构图中节点i的topk邻居；

其中，所述大规模学术网络异构图节点表示的高效学习方法，包括以下步骤：

计算学术网络异构图中节点的邻居的重要性，根据重要性对节点的邻居进行采样；

根据学术网络异构图中节点的类型信息，学习节点的类型嵌入向量；

将邻居的类型嵌入向量和属性特征进行融合，得到邻居的向量表示；

在推理阶段，对待分类的节点计算其邻居的重要性，并根据重要性对该节点的邻居进行采样，然后直接利用训练阶段已学习到的类型嵌入向量，通过训练好参数的异构图节点分类模型，预测出该节点的分类结果。

2.根据权利要求1所述的方法，其特征在于，所述计算异构图中节点的邻居的重要性，根据重要性对节点的邻居进行采样，包括：

基于个性化PageRank算法计算邻居的重要性，通过求解ppr矩阵来对节点的邻居进行采样；ppr矩阵的每一行为对应节点的ppr向量，代表随机游走收敛时节点到达图上其余各节点的概率，概率越高表明邻居对节点越重要；通过选取ppr向量前k大的值来采样最重要的topk个邻居。

3.根据权利要求2所述的方法，其特征在于，对所述ppr矩阵进行近似计算以规避矩阵求逆，并对所述ppr矩阵进行预计算以缩短训练时间。

4.根据权利要求1所述的方法，其特征在于，所述根据异构图中节点的类型信息，学习节点的类型嵌入向量，包括：

对图中节点执行随机游走，以生成节点类型序列；

运行Skip-gram算法，根据随机游走中生成的节点类型序列，学习每个节点的类型嵌入。

5.根据权利要求1所述的方法，其特征在于，所述将采样的邻居的类型嵌入向量和属性特征进行融合，得到邻居的向量表示，包括：

对不同类型的异构邻居j，先将不同维度的属性向量X_j经过线性层转换为同一维度d_i的向量

其中d_i为源节点属性向量X_i的维度，再将统一维度后的属性向量/>

与节点类型嵌入向量融合得到邻居的向量表示H_j，H_j的维度也是d_i。

6.根据权利要求1所述的方法，其特征在于，所述异构图节点分类模型为MLP模型或神经网络模型。

7.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～6中任一权利要求所述方法的指令。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～6中任一权利要求所述的方法。

Images