CN110263280A - 一种基于多视图的动态链路预测深度模型及应用 - Google Patents

Abstract

本发明公开了一种基于多视图的动态链路预测深度模型及应用，该动态链路预测深度模型包括：池化模块，用于将初始网络中具有相似特征和属性的节点分类聚合成新节点形成新网络，实现对初始网络的降维；GCN‑attention模块，其输入连接池化模块的输出，用于对输入的网络采用注意力机制进行特征提取，获得同时具有空间信息和时间信息的节点表征向量；反池化模块，其输入连接GCN‑attention模块的输出，用于对输入的节点表征向量进行反池化，输出动态链路概率预测矩阵。该模型能够实现对动态网络的链路预测。主要应用于对社交网络、通信网络、交通网络、科学合作网络或社交安全网络中动态链路的预测。

Description

一种基于多视图的动态链路预测深度模型及应用

技术领域

本发明属于网络科学领域，具体涉及一种基于多视图的动态链路预测深度模型及应用。

背景技术

动态网络在实际应用中普遍存在，包括社交网络、交通网络、工业系统和生物学等领域。这些网络的结构随着时间的推移不断变化，造成节点或者连边的添加或删除，其中对未来时刻的连边状态进行预测称为动态链路预测。

相比于静态网络，动态网络不仅要考虑每一个时刻网络的空间结构特征，还要考虑先前时刻网络演化过程的时间特征，才能更准确地预测未来时刻的网络结构状态。近年来，通过图形神经网络(GNN)提取节点的空间表征的方法受到人们的关注。一般的GNN方法通过节点特征信息在网络中的传递、转换和聚合的性质来生成每个节点的表征，然后，生成的节点表征可以用作任何可微分预测层的输入，以端到端的方式训练整个模型。ThomasN.Kipf(参照文献1：Kipf T N,Welling M.Semi-Supervised Classification with GraphConvolutional Networks[J].2016.；即基于图形卷积网络的半监督分类方法)提出了一种基于GNN的可扩展的方法用于节点分类。

除了动态网络的空间特征之外，学习动态网络的时间信息也能提高动态链路预测的准确性。由于各个时刻的网络状态在时间上具有一定的相关性，根据先前多个时刻的网络状态对预测未来时刻的链路更科学可靠，Xiaoyi Li等(参照文献2：Li X,Du N,Li H,etal.A deep learning approach to link prediction in dynamic networks[C]//Proceedings of the 2014 SIAM International Conference on Data Mining.Societyfor Industrial and Applied Mathematics,2014:289-297.)提出了一种基于条件时间受限玻尔兹曼机(ctRBM)的深度模型框架，然而其在计算邻居时刻的代价较高，在链路预测任务中性能有限。

Rex Ying等人(参考文献7：Ying R,You J,Morris C.Hierarchical GraphRepresentation Learning with Differentiable Pooling[J].arXiv preprint arXiv:1806.08804v2,2018.)提出一种可微分的图形池化模型(DIFFPOOL)，将初始网络的部分节点分类聚合为一组簇，该簇作为新一层网络的节点，这样可以生成多层次的网络结构，减少网络的节点数量，然后作为图形卷积模型的输入，扩大卷积核在初始网络上的感受野。

发明内容

为了预测动态网络的链路随时间动态变化，本发明提供了一种基于多视图的动态链路预测深度模型及应用，该模型能够实现对动态网络的链路预测。

本发明提供以下技术方案：

一种基于多视图的动态链路预测深度模型，主要应用于对社交网络、通信网络、交通网络、科学合作网络或社交安全网络中动态链路的预测，其特征在于，所述动态链路预测深度模型包括：

池化模块，用于将初始网络中具有相似特征和属性的节点分类聚合成新节点，形成新网络，实现对初始网络的降维；

GCN-attention模块，其输入连接池化模块的输出，用于对输入的网络采用注意力机制进行特征提取，获得同时具有空间信息和时间信息的节点表征向量；

反池化模块，其输入连接GCN-attention模块的输出，用于对输入的节点表征向量进行反池化，输出动态链路概率预测矩阵，以实现对动态链路的预测。

该基于多视图的动态链路预测深度模型主要是利用图卷积网络(GCN)进行学习训练的，将部分节点分类聚合成一簇隐藏对网络进行池化降维，然后通过注意力机制同时获得同时具有空间信息和时间信息的节点表征向量，最终通过反池化将节点表征向量转化为初始网络大小，输出预测的网络数据。该动态链路预测深度模型不仅考虑初始网络的空间结构，还考虑到了更深层次网络结构对预测结果的影响，因此，可以更好地预测网络演化的结果。

一种如上述的基于多视图的动态链路预测深度模型在社交网络中的应用，其特征在于，以节点表示用户，连边表示用户之间联系的社交网络作为输入数据，利用所述的基于多视图的动态链路预测深度模型预测社交网络中用户之间的联系。

一种如上述的基于多视图的动态链路预测深度模型在通信网络中的应用，其特征在于，以节点表示交换机，连边表示交换机之间的发送和接收数据的连通性的通信网络作为输入数据，利用所述的动态链路预测深度模型预测交换机通信时出现故障的可能性。

一种如上述的基于多视图的动态链路预测深度模型在交通网络中的应用，其特征在于，以节点表示交叉路口，连边表示一定时间内道路上的交通流量的交通网络作为输入数据，利用动态链路预测深度模型预测道路拥堵情况发生的概率。

上述动态链路预测深度模型能够实现对社交网络中用户之间的联系，通信网络中交换机通信时出现故障的可能性，以及交通网络中道路拥堵情况发生的概率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是实施例提供的基于多视图的动态链路预测深度模型的框图；

图2是在时间上使用局部注意力机制的说明示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为了实现对动态网络中动态链路的实时预测，实施例提供了一种基于多视图的动态链路预测深度模型。

如图1所示，基于多视图的动态链路预测深度模型包括池化模块，GCN-attention模块以及反池化模块。其中，池化模块，GCN-attention模块都是通过训练的方式学习得到。

池化模块主要用于将初始网络中具有相似特征和属性的节点分类聚合成新节点，形成新网络，实现对初始网络的降维。新网络中，节点数量较少，节点特征更明显，便于后面特征提取，为特征提取奠定了稳定地数据基础。

具体地，在池化模块中，根据t时刻初始网络中的邻接矩阵A⁰∈R^N×N和节点表征H⁰∈R^N×d计算多个视图下的邻接矩阵和节点表征包括：

(a)根据每个时刻网络的上一层视图节点表征，计算节点的分配矩阵，计算如下：

S⁰＝H⁰W (1)

其中，W∈R^d×M是权重矩阵，M＜N表示下一层视图的节点个数，A⁰上表0表示初始网络；

(b)对每个节点的分配概率进行标准化，计算如下：

其中，softmax(·)表示softmax函数，分配矩阵S⁰中的每个元素s_ij表示网络的上一层视图中的节点i在经过池化后被聚合为下一层视图中的节点j的概率，1表示第一层视图网络；

(c)根据标准化后的分配矩阵与每个时刻网络上一层视图中的邻接矩阵和节点表征计算下一层视图的邻接矩阵A¹∈R^M×M和节点表征H¹∈R^M×d，计算如下：

A¹＝(S¹)^TA⁰S¹ (3)

H¹＝(S¹)^TH⁰ (4)

通过池化模块构建的新网络相比于初始网络，节点和连边数量都相对减少，具有相似特征的节点被聚合为同一个节点，使得节点特征更加明显。

GCN-attention模块的输入连接池化模块的输出，主要用于对输入的网络进行图卷积操作，提取网络结构的空间特征，同时在时间维度上采用注意力机制获得各个时刻之间的关系，这样能够获得同时具有空间信息和时间信息的节点表征向量。

具体地，在GCN-attention模块中，

动态网络中每时刻的初始网络对应的邻接矩阵A⁰∈R^N×N和节点表征H⁰∈R^N×d作为输入，输入至GCN中，根据GCN的信息传递公式得到N个节点k次图卷积操作后的节点表征，即采用GCN关注每个节点的邻居节点，提取网络节点的空间特征，计算公式如下：

H′＝ReLU(L·H·W) (5)

其中，L表示拉普拉斯矩阵L＝I-D^-1/2AD^-1/2，A表示网络的邻接矩阵，D是A的度值矩阵，I是一个单位矩阵，W是训练的权重。

GCN-attention模块中，采用局部注意力机制关注前T个时刻的网络状态对当前时刻的影响，提取时间特征包括：

(a)将图注意层作为时间注意力机制应用于网络的每个节点上，即在时间上执行自我注意，根据共享的注意力机制a:R^N×d×R^N×d→R来计算注意力计算注意力系数：

e_ij＝Leaky ReLU(W₁H_i+W₂H_j) (6)

其中，W₁，W₂∈R^N×d是H_i与H_j的权重矩阵，H_i，H_j表示时刻i和时刻j的网络表征，LeakyReLU(·)表示非线性激活函数，且负值非零斜率＝0.2，e_ij为注意力系数，表明时刻i的网络特征对时刻j的相似度；

(b)对注意力系数e_ij进行标准化，计算如下：

其中，T表示关注的时间序列的长度；

(c)根据标准化的注意力系数a_ij作为权重，与T个时刻的节点表征计算最终当前时刻j的表征向量：

H_j＝∑_k∈Ta_kjH_k (8)

实施例中通过k次图卷积操作，也可以理解为通过k个级联GCN获得网络中空间特征，然后再在时间维度上采用注意力机制，关注网络中的节点随时间的变化，即时间信息，这样能够准确地提取节点的表征向量。

同样地，对l个视图的网络都采用GCN-attention提取时刻j的网络表征

反池化模块的输入连接GCN-attention模块的输出，主要用于对输入的节点表征向量进行反池化，输出动态链路概率预测矩阵，以实现对动态链路的预测。

本发明主要是对动态网络的链路进行预测，并不改变动态网络的尺寸，结构，由于采用池化模块对初始网络进行了降维，因此，还需要对新网络还原到初始网络大小。为了输出初始大小的网络在时间动态上的预测网络结构，需要将池化后的深层次网络预测值反池化为初始大小的网络。

具体地，反池化模块中，

(a)对初始分配矩阵S⁰∈R^N×M按照行使用softmax函数得到反池化分配矩阵S²：

其中，反池化分配矩阵S²的每一行表示上一层视图网络的每个节点由下一层视图网络的哪些节点组成；

(b)利用反池化分配矩阵S²与下一层网络中节点表征向量H¹相乘得到上一层视图网络的节点表征H⁰′：

H^0′＝(S²)^TH¹ (10)

(c)根据每个视图网络的节点表征H⁰和H^0′计算链路概率A′∈R^N×N：

A′＝H⁰W₁+H^0′W₂ (11)。

上述整个模型主要利用GCN模型学习深层次网络的节点与初始网络节点之间的关系，将部分节点分类聚合成一簇隐藏对网络进行池化降维，然后通过GCN-attention模型分别学习深层次网络的空间和时间特征，通过GCN提取空间结构特征，再利用注意力机制获取各个时刻之间的关系，得到同时具有空间和时间信息的节点表征向量，从而提高动态链路预测性能。最后利用GCN模型得到的深层次网络的节点与初始网络节点之间的关系将得到的节点表征转换回初始网络大小，输出预测的网络数据，从而实现动态网络链路预测。该深度模型不仅考虑初始网络的空间结构，还考虑到了更深层次网络结构对预测结果的影响，因此，可以更好地预测网络演化的结果。上述基于多视图的动态链路预测深度模型在应用之前，需要采用训练样本对其进行训练，当确定好GCN信息传递公式中的权重和注意力权重，能够更好地预测动态网络的演化结果。

实施例还提供了上述基于多视图的动态链路预测深度模型在社交网络中的应用，具体地，以节点表示用户，连边表示用户之间联系的社交网络作为输入数据，利用所述的基于多视图的动态链路预测深度模型预测社交网络中用户之间的联系。

实施例还提供了上述基于多视图的动态链路预测深度模型在通信网络中的应用，具体地，以节点表示交换机，连边表示交换机之间的发送和接收数据的连通性的通信网络作为输入数据，利用动态链路预测模型预测交换机通信时出现故障的可能性。

实施例还提供了上述基于多视图的动态链路预测深度模型在交通网络中的应用，具体地，以节点表示交叉路口，连边表示一定时间内道路上的交通流量的交通网络作为输入数据，利用动态链路预测模型预测道路拥堵等情况发生的概率。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于多视图的动态链路预测深度模型，主要应用于对社交网络、通信网络、交通网络、科学合作网络或社交安全网络中动态链路的预测，其特征在于，所述动态链路预测深度模型包括：

池化模块，用于将初始网络中具有相似特征和属性的节点分类聚合成新节点，形成新网络，实现对初始网络的降维；

GCN-attention模块，其输入连接池化模块的输出，用于对输入的网络采用注意力机制进行特征提取，获得同时具有空间信息和时间信息的节点表征向量；

反池化模块，其输入连接GCN-attention模块的输出，用于对输入的节点表征向量进行反池化，输出动态链路概率预测矩阵，以实现对动态链路的预测。

2.如权利要求1所述的基于多视图的动态链路预测深度模型，其特征在于，所述的池化模块中，根据t时刻初始网络中的邻接矩阵A⁰∈R^N×N和节点表征H⁰∈R^N×d计算多个视图下的邻接矩阵和节点表征包括：

(a)根据每个时刻网络的上一层视图节点表征，计算节点的分配矩阵，计算如下：

S⁰＝H⁰W (1)

其中，W∈R^d×M是权重矩阵，M＜N表示下一层视图的节点个数，A⁰上表0表示初始网络；

(b)对每个节点的分配概率进行标准化，计算如下：

其中，softmax(·)表示softmax函数，分配矩阵S⁰中的每个元素s_ij表示网络的上一层视图中的节点i在经过池化后被聚合为下一层视图中的节点j的概率，1表示第一层视图网络；

(c)根据标准化后的分配矩阵与每个时刻网络上一层视图中的邻接矩阵和节点表征计算下一层视图的邻接矩阵A¹∈R^M×M和节点表征H¹∈R^M×d，计算如下：

A¹＝(S¹)^TA⁰S¹ (3)

H¹＝(S¹)^TH⁰ (4)。

3.如权利要求2所述的基于多视图的动态链路预测深度模型，其特征在于，采用GCN关注每个节点的邻居节点，提取网络节点的空间特征，计算公式如下：

H′＝ReLU(L·H·W) (5)

其中，L表示拉普拉斯矩阵L＝I-D^-1/2AD^-1/2，A表示网络的邻接矩阵，D是A的度值矩阵，I是一个单位矩阵，W是训练的权重；

4.如权利要求3所述的基于多视图的动态链路预测深度模型，其特征在于，GCN-attention模块中，采用局部注意力机制关注前T个时刻的网络状态对当前时刻的影响，得到包含时间特征的节点表征包括：

(a)将图注意层作为时间注意力机制应用于网络的每个节点上，即在时间上执行自我注意，根据共享的注意力机制a:R^N×d×R^N×d→R来计算注意力计算注意力系数：

e_ij＝LeakyReLU(W₁H_i+W₂H_j) (6)

其中，W₁，W₂∈R^N×d是H_i与H_j的权重矩阵，H_i，H_j表示时刻i和时刻j的网络表征，LeakyReLU(·)表示非线性激活函数，且负值非零斜率＝0.2，e_ij为注意力系数，表明时刻i的网络特征对时刻j的相似度；

(b)对注意力系数e_ij进行标准化，计算如下：

其中，T表示关注的时间序列的长度；

(c)根据标准化的注意力系数a_ij作为权重，与T个时刻的节点表征计算最终当前时刻j的表征向量：

H_j＝∑_k∈Ta_kjH_k (8)。

5.如权利要求4所述的基于多视图的动态链路预测深度模型，其特征在于，反池化模块中：

(a)对初始分配矩阵S⁰∈R^N×M按照行使用softmax函数得到反池化分配矩阵S²：

其中，反池化分配矩阵S²的每一行表示上一层视图网络的每个节点由下一层视图网络的哪些节点组成；

(b)利用反池化分配矩阵S²与下一层网络中节点表征向量H¹相乘得到上一层视图网络的节点表征H^0′：

H^0′＝(S²)^TH¹ (10)

(c)根据每个视图网络的节点表征H⁰和H^0′计算链路概率A′∈R^N×N：

A′＝H⁰W₁+H^0′W₂ (11)。

6.一种如权利要求1～5任一项所述的基于多视图的动态链路预测深度模型在社交网络中的应用，其特征在于，以节点表示用户，连边表示用户之间联系的社交网络作为输入数据，利用所述的基于多视图的动态链路预测深度模型预测社交网络中用户之间的联系。

7.一种如权利要求1～5任一项所述的基于多视图的动态链路预测深度模型在通信网络中的应用，其特征在于，以节点表示交换机，连边表示交换机之间的发送和接收数据的连通性的通信网络作为输入数据，利用所述的动态链路预测深度模型预测交换机通信时出现故障的可能性。

8.一种如权利要求1～5任一项所述的基于多视图的动态链路预测深度模型在交通网络中的应用，其特征在于，以节点表示交叉路口，连边表示一定时间内道路上的交通流量的交通网络作为输入数据，利用动态链路预测深度模型预测道路拥堵情况发生的概率。