CN112529168A - 一种基于gcn的属性多层网络表示学习方法 - Google Patents

Abstract

本发明公开了一种基于GCN的属性多层网络表示学习方法，包括以下步骤：S1，基于GCNs的不同关系类型层网络的节点表示学习；S2，不同层网络之间的交互关联关系建模；S3，基于注意力机制的层网络表示向量的融合；S4，以节点分类图分析任务为导向，构建优化目标函数。本发明基于正则化的GCNs模型的可训练的权重约束机制、层表示向量的一致性约束策略以及层注意力机制，并以节点分类任务为导向，不断优化迭代该模型直到其收敛，至此得到网络全局且一致的节点表示矩阵，可用于进行图数据的分析。

Description

一种基于GCN的属性多层网络表示学习方法

技术领域

本发明涉及图表示学习领域，具体涉及一种基于GCN的属性多层网络表示学习方法。

背景技术

以大数据和“互联网+”为代表的信息技术的蓬勃发展，使得现实世界中的各种系统通过不同的方式相互作用、相互影响。系统之间以互联网为载体，以数据信息为媒介，其联系和交互变得越来越紧密和复杂，构成了庞大的信息网络。信息网络在现实生活中无处不在，广泛存于社会、经济、科技等各种领域中。

然而，如今的社交信息网络、电商信息网络、学术信息网络等各种信息网络不仅网络规模大，而且实体本身蕴含着丰富的属性及内涵，并且实体之间存在多种不同的关系类型。例如以社交信息网络中，用户之间不仅存在着微博中的关注与被关注的关系，同时用户之间也可能是微信好友或者工作伙伴关系，则该社交信息网络用户之间存在着三种不同的关联关系，而这些不同的关联关系存在较强的依赖性和互补性。同时每一个用户实体往往具有不同的属性信息，比如用户的姓名、年龄、性别、学历、家乡、职业、兴趣等，而具有相似属性的节点往往存在较强的关联关系。因此，在对网络数据进行挖掘和分析时，不仅需要考虑网络的结构信息，还需要融合节点丰富的属性信息。

现有的网络嵌入(或称为网络表示学习)方法主要分为以DeepWalk、node2vec、LINE、HOPE等为代表的两段式的表示学习，即首先学习节点的表示向量，然后将其用于执行下游的图分析任务；以及以GCN、GraphSAGE、GAT为代表的端到端的图神经网络方法。然而以上这些方法初衷主要是用以解决标准的单层网络的图表示学习。但是在现实世界中，大多数的网络本质上是存在多种连接关系的，比如社交网络中用户之间可能是好友关系，也可能是工作伙伴关系。尽管这些不同的关系可以独立构建为一个网络，每个网络单独进行分析；然而不同关系类型的网络之间是存在交互和关联关系的。比如在出版网络中，虽然很难仅从引文中推断出一篇论文的主题(引文可以是多样的)，但了解同一作者写的其他论文也会有助于预测其主题，因为作者通常从事特定的研究课题。此外，图中的节点可能包含属性信息，这在许多应用中起着重要作用。例如，如果我们在出版网络中另外得到论文的摘要属性，就更容易推断出它们的主题。因此，属性多层网络表示学习的挑战在于学习节点的全局一致性的表示，不仅需要考虑它的多重性，还需要考虑节点的属性信息以及不同关系类型层网络之间的交互关联信息。

发明内容

本发明要解决的技术问题是提供一种基于GCN的属性多层网络表示学习方法，综合考虑多层网络中节点的属性信息、不同层的网络结构、多层网络中层与层之间的交互作用以及节点在不同层网络中注意力值，学习到的节点表示能够捕获属性多层网络中更加全面丰富的信息，得到一致且高质量的节点编码表示，有助于下游的各种图分析任务。

为解决上述技术问题，本发明的内容包括：

一种基于GCN的属性多层网络表示学习方法，包括以下步骤：

S1，对于具有M种不同关系类型的属性多层网络，采用M个两层GCNs模型进行表示学习，得到M个节点表示矩阵；其中，采用两层GCNs模型对每一个关系类型层网络进行表示学习时，在其邻接矩阵的自连边前添加度量目标节点和邻居节点之间相对重要性的权重；

S2，不同层网络之间的交互关联关系建模，采用正则化方法缩小M个GCNs模型可训练的权重参数差异，同时对于学习到的每一个关系类型层网络的节点表示矩阵采用一致性约束；

S3，基于注意力机制，在模型迭代优化的过程中，自动学习每一个节点在不同层网络中的重要性，得到层网络的层注意力矩阵，然后基于层网络的节点表示矩阵和层注意力矩阵加权融合生成一致性的全局的节点表示矩阵；

S4，以节点分类图分析任务为导向，构建优化目标函数。

进一步的，所述步骤S1具体包括：

S1-1，对于一个给定的输入图(A,X)，通过堆叠多个GCN层来学习每一个层网络的节点向量表示，GCN的层传播规则为：

其中，

是添加了自连边的邻接矩阵，I_n是单位矩阵；

是邻接矩阵

的度矩阵，W^(l)是GCNs模型中第l层的可训练的权重矩阵；σ(·)是激活函数；

是第l层的激活矩阵，其初始值是输入图的特征矩阵，即H⁽⁰⁾＝X；

S1-2，针对关系类型为r(r∈M)的层网络G^(r)＝{V,E^(r),X}，将节点特征矩阵X和邻接矩阵A^(r)输入到一个两层的GCNs模型中，学习该层网络的节点表示，表示学习过程为：

其中，

为在自连边I_n的前面添加了权重w的邻接矩阵，即

经过两层的GCN卷积运算之后，输出的矩阵

即为层网络G^(r)的节点表示矩阵，用H_r来简化其表示，即

S1-3，M个关系类型的层网络采用M个两层GCNs模型进行表示学习，即得到M个节点表示矩阵H_r∈M。

进一步的，所述步骤S2中，采用的正则化的GCNs模型可训练的权重参数约束为：

其中，W_r和W_r'分别表示针对关系类型为r和r'的GCNs模型可训练的权重矩阵。

进一步的，所述步骤S2中，对于学习到的每一个关系类型层网络的表示矩阵H_r，首先采用L₂方法归一化该矩阵，用H_r-nor来表示；采用的一致性约束为：

其中，·^T表示矩阵的转置。

进一步的，所述步骤S3中，层注意力机制的加权融合过程为：

层注意力矩阵α_r的计算过程如下：

S3-1、节点注意力值的计算：节点v_i在关系类型为r的表示矩阵H_r中的表示向量用

来表示，采用下面的公式对行向量

进行非线性转换，得到节点v_i在关系类型为r的层网络中的重要性

其中，

是权重矩阵，

表示偏差向量，函数

是激活函数，

表示共享的注意力向量；

S3-2、归一化的层注意力矩阵：利用上面的公式得到节点v_i在不同关系类型层网络中的重要性

通过softmax函数将学习得到的重要性进行归一化，得到节点v_i在不同关系类型层网络中归一化后的注意力值

S3-3、对于关系类型为r的层网络，将n个节点的注意力值组织为一个列向量

而后将该列向量a_r转换成一个对角矩阵，即得到层注意力矩阵α_r＝diag(a_r),

进一步的，所述步骤S4具体包括：

S4-1、采用交叉熵损失函数进行节点分类：

其中，S表示训练节点集合，y_i表示节点v_i的真实标签；

表示模型预测的标签，

是将全局节点表示矩阵Z_global通过线性转换和softmax函数计算得到：

其中，

表示属性多层网络G中n个节点的预测结果，

表示节点v_i属于类别c的概率，C表示节点的类别数；

S4-2、结合层表示向量的一致性约束、GCNs模型权重参数的正则化以及节点分类任务，得到优化目标函数：

min L＝L_nc+αL_con+βL_reg

其中，超参数α和β分别用来控制层表示向量的一致性约束和正则化的GCNs模型的可训练的权重参数约束的重要性；在标签数据S的指导下，通过后向传播优化模型，学习节点一致性的全局的节点表示向量Z_global，实现对图数据中的节点进行分类。

本发明的有益效果是：

本发明综合考虑了网络结构信息、节点属性信息、层网络之间交互作用以及节点在不同层网络中的重要性，采用图卷积网络进行属性多层网络的表示学习，是一种通用的基于GCN(Graph Convolution Network，图卷积网络)的属性多层网络表示学习方法。该方法能够学习到属性多层网络一致性的全局的节点表示，得到的表示可应用于各种图分析任务。

针对每一个关系类型层网络，本发明基于GCNs模型学习层网络的节点表示，GCNs模型不仅能够捕获网络的结构特征，同时融合了节点的属性信息。由于不同的层网络共享相同的节点集和节点特征，正则化的权重约束机制促使不同层网络的GCNs模型中可训练的权重参数应尽可能的相似；同时同一个节点在不同的层网络之间存在交互关联信息，本发明通过引入层表示向量的一致性的约束策略，使得不同的层网络能够共享其结构，意味着相似的节点在嵌入空间中也应该保持相似性，这种策略不仅捕获了层网络之间的相似性关系，同时捕获了层网络之间的交互关联信息。通过正则化的GCNs模型的权重约束机制和层表示向量的一致性的约束策略，使得模型能够学习到属性多层网络一致性的节点表示。而同一个节点在不同关系类型的层网络中的重要性是不相同的，为了捕获这种重要性差异，本发明采用了一种新颖的层注意力计算方法，在模型优化过程中自适应的学习同一节点在不同层网路中的重要性。根据节点的重要性以及不同层网络的节点表示，融合得到全局的节点表示。

附图说明

图1是单层网络和多层网络的示意图；

图2是本发明以节点分类任务为导向进行说明的框架图；

图3是模型在训练过程中Lazega和Cora多层网络数据中层注意力值的变化图；

图4是参数α、β以及w的不同取值对Citeseer数据集节点分类性能的影响图；

图5是本发明的amnGCN以及其三种变体在不同比例训练数据下的性能对比图；

图6是本发明方法和基线方法学习Citeseer两层网络数据集的节点嵌入表示的可视化效果图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，将具有相同的节点集合、节点之间存在多种连边关系类型的网络称为多层网络(Multiplex network)。图1(a)是由七个节点构成的单层网络(Single layernetwork)，该网络中节点之间只存在一种连边关系，比如只有好友关系；图1(b)是由七个节点构成的三层网络，即七个节点之间存在三种不同的关系类型，并且节点在三个层网络之间相互作用，每一层反映了连接该七个节点的该特定关系类型下的结构特征，由此构成了多层网络。

在本发明中，使用G＝{V,E,X}表示由n个节点构成的单层属性网络(或称为图G)，其中，V表示该单层属性网络的节点集合，E表示该网络的边集合，表示图G中节点之间的连边关系，e_ij＝(v_i,v_j)∈E表示节点到v_i节点v_j存在连边；

表示图G的邻接矩阵，A_ij∈{0,1}时表示该网络是无权网络，当A_ij＝1时表示节点v_i和节点v_j存在连边并且权重是1，反之当A_ij＝0时表示节点v_i和节点v_j之间不存在连接关系；

表示图G中n个节点的特征向量构成的特征矩阵，即n个节点的属性信息；|V|和|E|分别表示节点集合V、边集合E的大小(即|V|＝n)。

传统的关于图分析的方法通常采用邻接矩阵A来表示图数据，然而对于大图来说，邻接矩阵A是一个稀疏且高维的矩阵，对于具有百万级别的节点来说，需要o(n²)的存储空间，而如此高的空间复杂性，无法有效支持下游的图分析任务。最近，各种网络嵌入技术相继被提出，该技术旨在学习图中每个节点低维稠密紧凑的实数表示向量，每个表示向量编码了其拓扑结构，用以促进下游各种图数据分析和挖掘任务。如果在表示学习过程中考虑了节点的属性信息，那么得到的节点表示向量不仅编码了网络的拓扑结构，同样包含了节点的属性特征。

对于一个由n个节点、M种关系类型构成的属性多层网络(attributed multiplexnetwork)用G＝{V,E⁽¹⁾,E⁽²⁾,…,E^(M),X}来表示，G^(r)＝{V,E^(r),X}表示关系类型为r的多层网络，该属性多层网络的邻接矩阵集合用A＝{A⁽¹⁾,A⁽²⁾,…,A^(M)}来表示。属性多层网络嵌入的目的是为网络中每一节点v_i∈V学习一个一致的全局的低维稠密紧凑的节点表示向量，该表示向量编码了网络的拓扑结构和节点属性信息，本发明定义该表示向量为

其中d＜＜|V|。

本发明中各种符号说明见表格1。

表1本发明中的符号说明

符号	说明
		G＝{G<sup>(1)</sup>，G<sup>(2)</sup>，…，G<sup>(M)</sup>}	属性多层网络(或图)
G<sup>r</sup>	关系类型为r的层网络
		V	节点集合
E＝{E<sup>(1)</sup>，E<sup>(2)</sup>，…，E<sup>(M)</sup>}	边集合
		|V|(n)	节点集合大小
|E|	边集合大小
		|M|	关系类型的大小
A＝{A<sup>(1)</sup>，A<sup>(2)</sup>，…，A<sup>(M)</sup>}	邻接矩阵集合
		F	节点特征向量维度
d	节点嵌入向量维度
		v<sub>i</sub>	节点i
A<sup>r</sup>∈R<sup>n×n</sup>	关系类型为r的层网络邻接矩阵
		H<sub>r</sub>∈R<sup>n×d</sup>	关系类型为r的层网络节点表示矩阵
X∈R<sup>n×F</sup>	节点的特征矩阵
		z<sub>i</sub>∈R<sup>1×d</sup>	节点i的表示向量
Z∈R<sup>n×d</sup>	全局节点表示矩阵

如图2所示为本发明的基于图卷积网络的属性多层网络(attributed multiplexnetwork with Graph Convolutional Networks，amnGCN)表示学习方法。本发明的目标是：对于给定的属性多层网络G＝{V，E⁽¹⁾，E⁽²⁾，…，E^(M)，X}，输出网络中所有节点一致的、全局的节点表示向量，并执行下游的图分析任务。

本发明将关系类型为r(r∈M)的单层网络G^(r)＝{V，E^(r)，X}的节点特征矩阵X和邻接矩阵A^(r)，输入到一个两层的图卷积网络模型(GCNs)中，学习该层网络的节点表示矩阵，用H_r来表示；该矩阵中的第i行表示节点v_i在该层网络中的节点表示向量，该向量不仅捕获了网络的结构信息，同时融合了节点的属性信息。在原始GCNs模型的基础上，本发明在自连边前面添加了度量目标节点和邻居节点之间相对重要性的权重w。

上述方法在基于两层的GCNs模型学习特定关系类型网络的表示矩阵H_r∈M，时，是相互独立的。然而由于该属性多层网络G中不同关系类型层网络共享相同的节点集V和节点特征X，因此我们希望M个不同GCNs模型的训练权重参数尽可能的相似，以此来捕获多层网络中隐藏的关联信息，本发明采用正则化的GCNs模型的权重约束机制来解决此问题。同时，同一个节点在不同的网络层之间是存在交互关联关系的，因此本发明引入了层表示向量的一致性的约束策略，使得不同的层网络能够共享其结构，意味着相似的节点在嵌入空间中也应该保持相似性，这种策略不仅捕获了层网络之间的相似性关系，同时捕获了层网络之间的交互关联信息。通过正则化的GCNs模型的权重约束机制和层表示向量的一致性的约束策略学习到的H_r不仅能够捕获多层网络中隐藏的关联信息和相似性的信息，同时能够学习层与层之间的交互信息。

由于同一个节点在不同关系类型层网络中的重要性是不相同的，本发明引入了一种新的注意力机制来自动学习节点在相应层网络中的重要性。

本发明的基于图卷积网络的属性多层网络表示学习方法主要包括以下步骤。

S1，基于GCNs的不同关系类型层网络的节点表示学习：对于具有M种不同关系类型的属性多层网络，采用M个两层GCNs模型进行表示学习，得到M个节点表示矩阵；其中，采用两层GCNs模型对每一个关系类型层网络进行表示学习时，在其邻接矩阵的自连边前添加度量目标节点和邻居节点之间相对重要性的权重。

作为同时考虑节点属性和网络拓扑结构的结合体，GCN提供了一种强大的图数据节点编码解决方案。本发明首先基于简单通用且强大的GCNs模型来学习M种关系类型层网络的节点表示。

步骤S1具体包括：

S1-1，对于一个给定的输入图(A,X)，通过堆叠多个GCN层来学习每一个层网络的节点向量表示，GCN的层传播规则为：

其中，

是添加了自连边的邻接矩阵，I_n是单位矩阵；

是邻接矩阵

的度矩阵，W^(l)是GCNs模型中第l层的可训练的权重矩阵；σ(·)是激活函数，本发明采用ReLU(·)＝max(0,·)激活函数；

是第l层的激活矩阵，其初始值是输入图的特征矩阵，即H⁽⁰⁾＝X。

通过公式(1)的传播规则，学习到的节点表示矩阵不仅考虑了网络拓扑结构，同时融合了节点的属性信息。通过堆叠多个GCN层，可以学习到网络中目标节点的多跳邻居节点信息。

S1-2，针对关系类型为r(r∈M)的层网络G^(r)＝{V,E^(r),X}，将节点特征矩阵X和邻接矩阵A^(r)输入到一个两层的GCNs模型中，学习该层网络的节点表示，两层的GCNs模型意味着每个目标节点能够捕获其2-跳(2-hop)的邻居节点信息，表示学习过程为：

其中，

为在自连边I_n的前面添加了权重w的邻接矩阵，即

与公式(1)不同的是，本发明修改了邻接矩阵

在自连边I_n的前面添加了权重

即

当w＞1时，表明该目标节点在生成其节点表示时，节点自身比其邻居节点起着更为重要的作用；w越大，重要性越高。

经过两层的GCN卷积运算之后，输出的矩阵

即为层网络G^(r)的节点表示矩阵，我们用H_r来简化其表示，即

该矩阵中的第i行表示节点v_i在关系类型为r的层网络中的节点表示向量，该向量不仅编码了网络的拓扑结构，同时融合了节点的属性特征。

S1-3，M个关系类型的层网络采用M个两层GCNs模型进行表示学习，即得到M个节点表示矩阵H_r∈M。

S2，不同层网络之间的交互关联关系建模：采用正则化方法缩小M个GCNs模型可训练的权重参数差异，同时对于学习到的每一个关系类型层网络的节点表示矩阵采用一致性约束。

对于具有M种不同关系类型的属性多层网络G＝{V,E⁽¹⁾,E⁽²⁾,…,E^(M),X}，不同关系类型的层网络共享相同的节点集合和节点特征集合，并且同一个节点在不同的层关系网络中存在交互信息。而在基于公式(2)两层的GCNs模型输出的节点表示矩阵H_r是相互独立训练得到的，M个节点表示矩阵H_r∈M没有考虑不同层网络之间的交互信息。为了解决这些问题，本发明采用正则化方法缩小M个GCNs模型可训练的权重参数差异，同时引入一致性约束促使模型在学习节点表示矩阵时，使得不同层的相似性在嵌入空间中也能够得以保持，共享了不同的层网络结构，捕获层与层之间的交互信息。通过正则化的GCNs模型的权重参数约束以及层表示向量一致性约束策略，该模型能够学习到多层网络中一致性的节点表示。

步骤S2中，采用的正则化的GCNs模型权重参数约束为：

其中，W_r和W_r'分别表示针对关系类型为r和r'的GCNs模型可训练的权重矩阵。

对于学习到的每一个关系类型层网络的表示矩阵H_r，首先采用L₂方法归一化该矩阵，用H_r-nor来表示；采用的一致性约束为：

其中，·^T表示矩阵的转置。

该一致性约束表示两个相似矩阵在嵌入空间中距离应该保持其相似性，通过该约束实现不同层网络结构信息的共享，进而捕捉到不同关系类型层网络之间的交互。

S3，基于注意力机制的层网络表示向量的融合：基于注意力机制，在模型迭代优化的过程中，自动学习每一个节点在不同层网络中的重要性，得到层网络的层注意力矩阵，然后基于层网络的节点表示矩阵和层注意力矩阵加权融合生成一致性的全局的节点表示矩阵。

同一个节点在不同层网络中的重要性是不相同的，本发明通过引入注意力机制，在模型迭代优化的过程中，自动学习每一个节点在不同层网络中的重要性，进而得到层网络的层注意力矩阵。基于层网络表示矩阵H_r以及层注意力矩阵α_r加权融合生成一致性的全局的节点表示矩阵

步骤S3中，层注意力机制的加权融合过程为：

层注意力矩阵α_r的计算过程如下：

S3-1、节点注意力值的计算：节点v_i在关系类型为r的表示矩阵H_r中的表示向量用

来表示，采用下面的公式对行向量

进行非线性转换，得到节点v_i在关系类型为r的层网络中的重要性

其中，

是权重矩阵，

表示偏差向量，函数

是激活函数，

表示共享的注意力向量；

S3-2、归一化的层注意力矩阵：利用上面的公式得到节点v_i在不同关系类型层网络中的重要性

通过softmax函数将学习得到的重要性进行归一化，得到节点v_i在不同关系类型层网络中归一化后的注意力值

S3-3、对于关系类型为r的层网络，将n个节点的注意力值组织为一个列向量

而后将该列向量a_r转换成一个对角矩阵，即得到层注意力矩阵α_r＝diag(a_r),

S4，以节点分类图分析任务为导向，构建优化目标函数。

步骤S4具体包括：

S4-1、采用交叉熵损失函数进行节点分类：

其中，S表示训练节点集合，y_i表示节点v_i的真实标签；

表示模型预测的标签，

是将全局节点表示矩阵Z_global通过线性转换和softmax函数计算得到：

其中，

表示属性多层网络G中n个节点的预测结果，

表示节点v_i属于类别c的概率，C表示节点的类别数。

softmax函数用来进行归一化计算：

S4-2、结合层表示向量的一致性约束、GCNs模型权重参数的正则化以及节点分类任务，得到优化目标函数：

min L＝L_nc+αL_con+βL_reg (10)

其中，超参数α和β分别用来控制层表示向量的一致性约束和正则化的GCNs模型的可训练的权重参数约束的重要性；在标签数据S的指导下，通过后向传播优化模型，学习节点一致性的全局的节点表示向量Z_global，实现对图数据中的节点进行分类。

相比传统的节点表示方法，本发明学习得到的节点表示向量不仅捕获了节点所在层的网络拓扑结构信息，同时学习了层与层之间的交互信息，以及层与层之间的相似性；其次，借助于GCN强大的节点表示能力，本发明学习得到的节点表示同时融合了节点的属性特征信息。

本发明是一个通用的属性多层网络表示学习框架，能够学习属性多层网络一致的节点表示；本发明设计的模型相比于基线方法，需要存储和训练的参数量较少，并且节点分类效果优于基线方法；本发明引入的一致性约束策略，有效捕获了层之间的交互以及相似性信息；本发明添加的自连边权重，能够有效控制目标节点在生成其节点嵌入时，与邻居节点的相对重要性大小；本发明设计的层注意力计算方法，在模型迭代优化过程中，能够自适应的学习节点的重要性大小。

最后，采用三个属性多层网络数据集对本发明方法的有效性进行验证。

(一)数据集的选取，三个数据集的统计信息见表2。

表2数据集信息统计

	节点个数	边个数	节点类别	连边关系类型
					Citeseer	3327	21462	6	2
Cora	2708	19023	7	2
					Lazega	71	2571	3	3

表2中，Citeseer是一个包含3327篇学术论文的引文网络，节点表示来自六个不同领域的论文，这六个领域分别是：智能体、人工智能、数据库、信息检索、机器学习和人机交互。节点特征是论文的词袋表示，维度为3703，每一维度用0或1来表示。我们构造了包含两种关系类型的属性多层网络：一层是表示论文之间引用关系的引文网络；另一层是表示论文之间相似性关系的网络，该层网络是根据节点的属性特征计算3327篇论文之间的cosine相似性，选取其中前10个与目标节点最相似的论文，来构造节点之间的连接关系。

Cora是一个包含2708篇机器学习领域论文的引文网络，这些论文共分为七类：基于案例、遗传算法、神经网络、概率方法、强化学习、规则学习和理论。节点特征是论文的词袋表示，维度为1433，每一维度用0或1来表示。类似于构造Citeseer的两层网络，我们基于Cora的节点特征计算Cora中2708篇论文之间的相似性，选取10个最相似的论文构造一个表示论文之间相似性的层网络。

Lazega是一个律师事务所中71个律师(伙伴和同事)之间包含三种关系类型的多层社交网络，三个层网络分别是：强同事网络(Strong-coworker network)、建议网络(Advice network)和好友网络(Friendship network)。

(二)基线模型的选取

选取node2vec、LINE、NetMF、MELL、MNE、MGAT六种基线模型进行对比。其中，node2vec、LINE、NetMF是针对标准的单层网络的节点表示学习方法，并且没有考虑节点的属性信息；本发明在采用这些模型进行多层网络的表示学习时，首先基于这些方法学习每一个层网络的节点表示嵌入向量，然后取所有层表示向量的平均值，作为全局的节点表示。MELL、MNE是针对多层网络的表示学习，但是同样没有考虑节点的属性特征；MGAT是针对属性多层网络的表示学习。

(三)模型中的参数设置：

自连边权重w的设置：对于Citeseer两层网络，w设置为2.0；针对Cora两层网络和Lazega三层网络数据集来说，w均设置为1.0。

两层的GCNs模型中隐藏层的维度：取值范围为{64，512，768}。

输出节点的嵌入维度：均设置为32，即d＝32。

dropout rate：均设置为0.5.

学习率(learning rate)：Adam优化器学习率的取值范围为0.005到0.00085。

权重衰减(weight decay)：对于Citeseer两层网络数据集设置为0.0002；Cora两层网络，该值设为0.00003；对于Lazega数据集则设置为0.00008。

优化目标函数中系数的设置：α的取值范围为{7.5，1.7，0.1}，β的取值范围为{1.5，0.5，0.1}。

本发明将三个属性多层网络数据集随机划分为训练集、验证集和测试集，比例分别为10％、10％和80％。

对于Lazega数据集，法学院(law school)作为节点的标签。

(四)节点分类验证

对于每一种方法，本发明运行5次取平均值作为最终的结果。节点分类的准确率(Accuracy)见表格3。

其中amnGCN-without/att、amnGCN-without/cc和amnGCN-without/r分别表示本模型amnGCN的三种变体，分别用来测试层注意力机制、层表示向量的一致性约束以及正则化的GCNs模型的可训练的权重参数约束对模型性能的影响。

amnGCN-without/att：没有考虑层注意力机制。

amnGCN-without/cc：没有考虑一致性约束。

amnGCN-without/r：没有正则化权重参数约束。

表3节点分类的准确率(％)

算法	Lazega	Cora	Citeseer
				Node2vec	91.98	68.05	58.29
LINE	82.65	51.53	49.17
				NetMF	92.89	73.18	57.33
MELL	94.43	83.49	67.97
				MNE	96.52	82.14	70.49
MGAT	96.16	85.09	72.92
				amnGCN	96.49	86.02	74.94
amnGCN-without/att	94.74	85.65	74.68
				amnGCN-without/cc	92.23	85.23	73.59
amnGCN-without/r	92.98	85.69	73.18

从表3的分类结果可以得出：(1)相比于所有的基线方法，本发明设计的模型在Cora和Citeseer两个数据集上获得最好的分类准确率。而对于Lazega数据集来说，本发明的模型要稍微差于MNE方法，但是比其它基线方法分类效果好。这些结果证明了本发明设计的属性多层网络嵌入框架amnGCN的有效性。(2)对于amnGCN-without/att方法，采用两层的GCNs模型学习每一个层网络的节点表示，而全局节点表示的获得是直接将每一个层网络的节点表示结果进行平均。从表2中可以看出，amnGCN-without/att结果要比amnGCN的结果差，从中说明了本发明设计的层注意力机制可以有效提高模型的性能。

(3)关于amnGCN-without/cc和amnGCN-without/r两种方法，分别将目标优化函数公式(10)中的系数α和β设置为0。从表2中的结果可以看出，amnGCN-without/cc和amnGCN-without/r的节点分类准确率要差于模型amnGCN，这是因为amnGCN-without/r可能会丢失相同节点在不同关系类型层网络之间的连接信息；amnGCN-without/cc无法在节点嵌入表示之间共享所有的层网络结构，因此不能约束相似的节点使其距离更加接近，并且节点表示学习结果无法有效捕获层与层之间的交互信息。这意味着本发明引入的层表示向量的一致性约束，以及采用的正则化的GCNs模型的可训练的权重参数约束对于提高amnGCN性能来说都发挥着相当重要的作用。

(4)从Citeseer两层网络数据集的节点分类结果中，可以发现相比所有的基线方法，amnGCN以及其三种变体方法都取得最好的分类效果。与最好的基线方法MGAT相比，amnGCN的节点分类准确率提高了2.02％。对于Lazega三层稠密的网络来说，amnGCN的分类结果要优于MGAT，但略逊于MNE。原因可能是Lazega是一个稠密并且只有71个节点的非常小的网络，通过两层的GCNs模型节点信息在图上得到快速传播，节点之间的信息变得比较相似。从Cora两层网络的分类结果可以看出，与amnGCN和其他两种变体方法相比，amnGCN-without/cc的分类准确率是最差的，这说明了本发明引入的一致性约束策略对于学习属性多层网络节点的表示发挥着重要作用。

(5)本发明方法与MGAT的不同之处在于，本发明使用一致性约束将每一个层网络在将节点嵌入到嵌入空间时，如果层网络之间比较相似，则约束它们在嵌入空间中更加接近；通过该策略可以捕获不同层网络之间的相似性，同时学习了层网络之间的交互信息。此外，本发明在计算层注意力机制时所采用的计算方法也不相同，本发明引入了一个共享的注意力向量，通过将该向量和节点表示向量的非线性转换的乘积来计算不同层的注意力值。由表2可知，本发明的性能要优于MGAT，这说明本发明引入的一致性约束对提高模型性能发挥着重要作用；通过将层表示向量的一致性约束策略、正则化的可训练的权重参数约束和层注意力机制的融合，能显著提高模型的性能。同时，与MGAT相比，本发明基于通用且简单的GCNs模型获得了更好的分类效果；而MGAT是基于复杂且耗时的多注意力头的GAT模型；注意头个数越多，模型的参数量增长的越快。与MGAT相比，本发明在模型参数所需存储空间更少的情况下，获得了更好的性能。

(五)层注意力机制分析

这里本发明以节点分类任务为目标，分析Lazega和Cora两个属性多层网络在模型训练过程中层注意力值的变化情况；Lazega和Cora分别代表着稠密和稀疏网络。结果如图3所示。图3(a)是Lazega层注意力值的变化图，图3(b)是Cora层注意力值的变化图。图3中，x轴表示模型在训练过程中五个不同的epoch点，其中epoch_1表示模型开始训练，epoch_5表示模型取得最优结果的时间点，中间三个epoch时间点是从epoch_1开始以(epoch_5-epoch_1)/4.0的数值递增的结果；y轴为对应epoch时间点的层注意力值。本发明方法中层注意力值的计算是该层网络中所有节点注意力值的平均结果。

从图3(a)Lazega的结果可以看出，在整个模型训练的过程中，Friendship层网络的层注意力值在不断增加；相反，Strong coworkers层网络的层注意力值在不断减小；而Advice层网络的层注意力值先增加然后开始不断减小。在模型开始训练的epoch_1时，三个层网络的注意力值几乎相同。与epoch_1相比，在epoch_2时Advice层网络和Friendship层网络的注意力值在增加，而Strong coworkers层网络的注意力值在减少。这说明本发明的方法可以逐步自适应学习不同关系类型层网络的重要性。从中可以看出，对于Lazega三层网络来说，Friendship层网络的重要性远远大于Strong coworkers和Advice层网络。

从图3(b)中Cora两层网络数据集的结果，可以得到与Lazega相似的结论。在整个模型训练过程中，Citation层网络的层注意力值在不断增加，而Paper相似性层网络的层注意力值不断减小。对于Cora两层网络数据来说，Citation层网络比Paper相似性层网络更为重要。

(六)参数敏感性分析

在这一部分，将对本框架中的层表示向量的一致性约束策略、正则化的GCNs模型的可训练的权重约束机制以及自连边权重的有效性和敏感性进行分析。具体来说，分别对公式(10)中的系数α和β，以及

中的w取不同数值时，对节点分类准确率(Accuracy)和Macro-F1的影响进行分析。由于不同的数据集具有相似的趋势，因此以Citeseer两层网络数据集为例来进行说明。

(1)层表示向量的一致性约束系数α：此时将β设置为0，参数α的取值范围从0.0到100.0，结果见图4(a)参数α敏感性分析图。随着一致性约束系数α的增加，节点分类的准确率不断提高。与此同时，Macro-F1的结果先升后降。然而，当α取值为100时，模型的性能急剧下降。(2)正则化的GCNs模型的可训练的权重约束系数β：此时α设置为0，即没有一致性约束项。参数β的取值范围从0.0到20.0，节点分类结果见图4(b)参数β敏感性分析图。随着参数β的增加，节点分类的准确率先上升后缓慢下降。与此同时，当β小于5.0时，Macro-F1表现出相似的变化趋势。但是当取值大于5.0时，Macro-F1先缓慢上升而后下降。

(3)自连边权重w：测试w取值范围从0.0到10.0时对节点分类性能的影响，结果如图4(c)所示的参数w敏感性分析图。当w为0.0时，表示节点在生成其嵌入时只聚合了邻居节点的信息，没有考虑目标节点自身的特征，此时节点分类准确率和Macro-F1都较低。随着w的增加，节点分类的准确率先增加而后保持相对稳定；但是当w大于5.0时，分类的准确率急剧下降。较大的w值意味着节点在学习其嵌入表示时，认为节点本身特征比其邻居节点更为重要。当w为2时，节点分类的准确率最高。w取不同的数值时，Macro-F1交替增减，当w取4.5时，Macro-F1取得最大值。

(4)模型在不同比率训练集下的性能分析：将Citeeer两层网络数据集的3327个节点，随机划分出10％、20％和40％的节点作为训练集，测试本发明的amnGCN以及其三种变体amnGCN-without/att、amnGCN-without/cc和amnGCN-without/r的节点分类准确率(Accuracy)和Macro-F1，结果如图5所示，图5(a)表示准确率，图5(b)表示Macro-F1。

从中可以得到以下结论：①从图5(a)的节点分类准确率可以看出，amnGCN的准确率总是优于其余三种变体方法，这说明了本发明的层表示向量的一致性约束策略、正则化的GCNs模型的可训练的权重约束和层注意力机制的重要性和有效性。②除去训练数据比率20％外，amnGCN-without/cc的分类准确率要逊色于amnGCN-without/att，这暗含了层表示向量的一致性约束策略对提高模型性能所起的作用更大。而对比amnGCN-without/cc和amnGCN-without/r的分类结果可以看出，在10％和20％的训练集比率下，正则化的权重约束比一致性约束策略更为重要，而在40％的训练数据集比率下，这两种策略所起的作用几乎相当。③从图5(b)中也可以看出，相比于amnGCN的三个变体方法，amnGCN更为高效，再次证明了层表示向量的一致性约束策略、正则化的GCNs模型的可训练的权重约束和层注意力机制的有效性。在10％的训练数据比率下，amnGCN-without/cc的结果比amnGCN-without/r的效果要差，这说明在10％的训练数据比率下，层表示向量的一致性约束策略比正则化的GCNs模型的可训练的权重约束发挥更为重要的作用；而在20％的情况下，结果正好相反。但对于40％的训练数据比例来说，这两种策略同样重要，与图5(a)的结果相一致。④图5(a)和图5(b)中对于所有训练比率的数据集而言，可以看出，相比于层注意力机制，本发明引入的层表示向量的一致性约束策略和正则化的GCNs模型的可训练的权重约束对提高模型性能起着更为重要的作用。

(七)可视化结果分析

为了更直观的比较和进一步说明本发明提出方法的有效性，在这一部分执行可视化任务，从视觉上来评估和对比不同的网络表示学习方法。以Citeseer两层网络数据集为例进行说明。首先，分别采用node2vec、NetMF、MGAT以及本发明方法学习Citeseer两层网络的节点嵌入表示，嵌入维度均设置为32。本发明中全局节点嵌入向量Z_global的获得是在模型执行节点分类softmax操作之前，即amnGCNs模型最后一层的输出特征。然后采用t-SNE非线性降维方法将得到的Z_global节点表示矩阵投影到二维平面上。如图6所示是四种方法的可视化效果，图6(a)表示Node2vec，图6(b)表示NetMF，图6(c)表示MGAT，图6(d)表示本发明的模型。其中节点的黑度是由节点的真实标签决定，同一种黑度表示节点属于同一个类别。

从图6可以看出，node2vec和NetMF的效果最差，不同类别的节点混合在了一起。这是因为这两种方法主要针对单层网络的表示学习，并且在学习节点表示的过程中，没有融合节点的属性信息，同时也没有考虑不同层网络之间的交互信息。由于MGAT和本发明的模型考虑了节点的特性，所以结果要优于node2vec和NetMF。这进一步说明了考虑节点特征的重要性，可以挖掘出图中更多隐藏的信息。本发明方法的可视化效果是最好的，因为本发明的方法在不同的节点类别之间有着较为清晰的界限，并且将相同种类的节点聚合在一起，即类内距离小、类间距离大。图6的可视化效果与表2的节点分类准确率结果相一致。这进一步验证了本发明引入的层表示向量的一致性约束策略、设计的层注意力机制计算、采用的正则化的GCNs模型的可训练的权重参数约束以及加权的自连边的有效性。

(八)复杂性分析

本发明设计的框架，模型参数的更新主要由基于两层GCNs模型的不同关系类型层网络的表示学习和基于层注意力机制的节点重要性的表示学习两部分组成。使用GCNs模型学习不同关系类型层网络的节点表示需要的时间为O(L|E|d+L|V|Fd)，其中F为输入节点的特征维度，d为节点表示的维度，L为GCNs模型的层数，本发明中L＝2。本模型的时间复杂度与基线方法相当。

学习全局节点表示的时间复杂度为O(|V|d|M|)，其中|M|为关系类型的数量。更新不同关系类型层网络的注意力权重的时间复杂度为O(|S|d|M|)，其中|S|为训练数据的个数。一致性约束策略的时间复杂性是O(|V|d|M|)。在实践中，训练数据的数量通常较小，因此|S|＜＜|V|。对于大多数真实世界的网络而言，我们知道|V|＜＜|E|。因此对于节点分类任务来说，本发明方法总的时间复杂度可以简化为O(|V|Fd+|E|d)。

Claims (6)

1.一种基于GCN的属性多层网络表示学习方法，其特征是，所述方法包括以下步骤：

S1，对于具有M种不同关系类型的属性多层网络，采用M个两层GCNs模型进行表示学习，得到M个节点表示矩阵；其中，采用两层GCNs模型对每一个关系类型层网络进行表示学习时，在其邻接矩阵的自连边前添加度量目标节点和邻居节点之间相对重要性的权重；

S2，不同层网络之间的交互关联关系建模，采用正则化方法缩小M个GCNs模型可训练的权重参数差异，同时对于学习到的每一个关系类型层网络的节点表示矩阵采用一致性约束；

S3，基于注意力机制，在模型迭代优化的过程中，自动学习每一个节点在不同层网络中的重要性，得到层网络的层注意力矩阵，然后基于层网络的节点表示矩阵和层注意力矩阵加权融合生成一致性的全局的节点表示矩阵；

S4，以节点分类图分析任务为导向，构建优化目标函数。

2.如权利要求1所述的基于GCN的属性多层网络表示学习方法，其特征是，所述步骤S1具体包括：

S1-1，对于一个给定的输入图(A,X)，通过堆叠多个GCN层来学习每一个层网络的节点向量表示，GCN的层传播规则为：

其中，

是添加了自连边的邻接矩阵，I_n是单位矩阵；

是邻接矩阵

的度矩阵，W^(l)是GCNs模型中第l层的可训练的权重矩阵；σ(·)是激活函数；

是第l层的激活矩阵，其初始值是输入图的特征矩阵，即H⁽⁰⁾＝X；

S1-2，针对关系类型为r(r∈M)的层网络G^(r)＝{V,E^(r),X}，将节点特征矩阵X和邻接矩阵A^(r)输入到一个两层的GCNs模型中，学习该层网络的节点表示，表示学习过程为：

其中，

为在自连边I_n的前面添加了权重w的邻接矩阵，即

经过两层的GCN卷积运算之后，输出的矩阵

即为层网络G^(r)的节点表示矩阵，用H_r来简化其表示，即

S1-3，M个关系类型的层网络采用M个两层GCNs模型进行表示学习，即得到M个节点表示矩阵H_r∈M。

3.如权利要求1所述的基于GCN的属性多层网络表示学习方法，其特征是，所述步骤S2中，采用的正则化的GCNs模型的可训练的权重参数约束为：

其中，W_r和W_r'分别表示针对关系类型为r和r'的GCNs模型可训练的权重矩阵。

4.如权利要求1所述的基于GCN的属性多层网络表示学习方法，其特征是，所述步骤S2中，对于学习到的每一个关系类型层网络的表示矩阵H_r，首先采用L₂方法归一化该矩阵，用H_r-nor来表示；采用的一致性约束为：

其中，·T表示矩阵的转置。

5.如权利要求1所述的基于GCN的属性多层网络表示学习方法，其特征是，所述步骤S3中，层注意力机制的加权融合过程为：

层注意力矩阵α_r的计算过程如下：

S3-1、节点注意力值的计算：节点v_i在关系类型为r的表示矩阵H_r中的表示向量用

来表示，采用下面的公式对行向量

进行非线性转换，得到节点v_i在关系类型为r的层网络中的重要性

其中，

是权重矩阵，

表示偏差向量，函数

是激活函数，

表示共享的注意力向量；

S3-2、归一化的层注意力矩阵：利用上面的公式得到节点v_i在不同关系类型层网络中的重要性

通过softmax函数将学习得到的重要性进行归一化，得到节点v_i在不同关系类型层网络中归一化后的注意力值

S3-3、对于关系类型为r的层网络，将n个节点的注意力值组织为一个列向量

而后将该列向量a_r转换成一个对角矩阵，即得到层注意力矩阵

6.如权利要求1所述的基于GCN的属性多层网络表示学习方法，其特征是，所述步骤S4具体包括：

S4-1、采用交叉熵损失函数进行节点分类：

其中，S表示训练节点集合，y_i表示节点v_i的真实标签；

表示模型预测的标签，

是将全局节点表示矩阵Z_global通过线性转换和softmax函数计算得到：

其中，

表示属性多层网络G中n个节点的预测结果，

表示节点v_i属于类别c的概率，C表示节点的类别数；

S4-2、结合层表示向量的一致性约束、GCNs模型权重参数的正则化以及节点分类任务，得到优化目标函数：

minL＝L_nc+αL_con+βL_reg

其中，超参数α和β分别用来控制层表示向量的一致性约束和正则化的GCNs模型的可训练的权重参数约束的重要性；在标签数据S的指导下，通过后向传播优化模型，学习节点一致性的全局的节点表示向量Z_global，实现对图数据中的节点进行分类。

Images