CN112766464A - 基于时空聚合的灵活动态网络链路预测方法、系统及应用 - Google Patents

基于时空聚合的灵活动态网络链路预测方法、系统及应用 Download PDF

Info

Publication number
CN112766464A
CN112766464A CN202110132110.3A CN202110132110A CN112766464A CN 112766464 A CN112766464 A CN 112766464A CN 202110132110 A CN202110132110 A CN 202110132110A CN 112766464 A CN112766464 A CN 112766464A
Authority
CN
China
Prior art keywords
network link
dynamic network
time
link prediction
aggregation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110132110.3A
Other languages
English (en)
Other versions
CN112766464B (zh
Inventor
易运晖
程相泽
赵楠
陈南
朱畅华
何先灯
权东晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110132110.3A priority Critical patent/CN112766464B/zh
Publication of CN112766464A publication Critical patent/CN112766464A/zh
Application granted granted Critical
Publication of CN112766464B publication Critical patent/CN112766464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本发明属于网络链路预测技术领域,公开了一种基于时空聚合的灵活动态网络链路预测方法、系统及应用,所述动态网络链路预测方法包括:构建基于时空聚合的灵活动态网络链路预测模型,在每个时间步共享相同参数;通过变分推理原理对节点嵌入进行采样,利用构建基于时空聚合的灵活动态网络链路预测模型进行动态网络链路预测。本发明提供一种动态网络链路预测方法,可用于动态网络分析,通过对过去时间的网络状态进行建模,预测未来网络中节点之间链接的变化,计算过程中参数少,误差小,计算准确度高。本发明不需要额外的节点特征、标签或随机游走过程作为其中的一部分,并且由于参数更少,可以更加灵活地扩展到更大的图形。

Description

基于时空聚合的灵活动态网络链路预测方法、系统及应用
技术领域
本发明属于网络链路预测技术领域,尤其涉及一种基于时空聚合的灵活动态网络链路预测方法、系统及应用。
背景技术
目前,动态网络链路预测是指通过网络中节点的历史信息以及网络结构等信息预测未来网络中节点之间链接的变化。其不仅对于理解和捕捉现实世界网络的进化规则很重要,而且在许多应用中也很有用,例如推荐科学网络中的合作者,预测蛋白质对之间的相互作用,或者预测社交网络中用户之间的关系。
(1)图卷积网络(GCN)
可以认为图卷积网络(GCN)是一种可聚合的函数,用于从节点的直接邻域聚集信息。GCN通过用来表示图G的归一化的邻接矩阵
Figure BDA0002925720480000011
和节点的初始特征矩阵X,计算一个新的节点特征
Figure BDA0002925720480000012
X∈RN×D为节点特征,可以使用预先计算的顶点特征进行初始化,但是使用单热点特征向量进行初始化就足够了(在这种情况下,X是单位矩阵I)。GCN可以包含聚合数据的许多层,其中GCN在每一层执行的操作是:
Figure BDA0002925720480000013
其中,
Figure BDA0002925720480000014
IN是单位矩阵,
Figure BDA0002925720480000015
Figure BDA0002925720480000016
的度矩阵,
Figure BDA0002925720480000017
W(l)是层特定的可训练权重矩阵,σ(·)表示激活函数,例如ReLU(·)=max(0,·),H(l)∈RN×D是第l层中的激活矩阵,H(0)=X。单层GCN可以保持一阶邻近性,多层GCN在实践中经常使用,因为它可以捕获高阶邻近性信息。
(2)循环神经网络(RNN)
循环神经网络(RNN)是在神经元之间既有循环依赖性的神经网络。循环层的活动取决于它们自己先前从前向传递获得的激活,因此形成一种内部状态,可以跨时间步长存储信息。它们经常用于顺序处理任务中,其中某个时间步的响应以某种方式取决于先前的观察结果。
(3)生成式对抗网络(GAN)
一般来说,生成对抗网络(GAN)由一个生成模型G和一个鉴别模型D组成,生成模型G和鉴别模型D在一个极小极大游戏中竞争。首先,D试图将训练集中的真实数据与G生成的数据区分开来,另一方面,G试图忽悠D,生成高质量的样本(数据)。从形式上来说,这样的过程可以描述如下(具有两个可选的优化步骤):
Figure BDA0002925720480000021
其中x是来自训练集的真实数据,z是从某个概率分布(例如,正态分布)产生的噪声。
现有的链路预测技术如下:
VGAE:变分图自编码器,将变分自编码器思想应用到图领域,利用了潜在变量,能够学习无向图的可解释潜在表示,其模型在图Gt上训练,然后直接预测下一图形Gt+1
GCRN:一种能够预测结构化数据序列的深度学习模型,将卷积神经网络(CNN)结合在图形上以识别空间结构,并将RNN用于寻找动态模式。
dyngraph2vecAE:一种非卷积图嵌入模型,和SDNE类似,基于图自编码器的使用,通过在传递到模型之前将过去的图的行连接在一起,扩展到时间图,学习动态图中的演化结构。
dyngraph2vecRNN:一种非卷积图嵌入模型,其中堆叠LSTM单元用于直接编码时间图。该方法还需要解码器模型,该模型也由堆叠的LSTM单元组成,以从其潜在表示中重构下一个图。
dyngraph2vecAERNN:dyngraph2vecAE和dyngraph2vecRNN的结合,其中图自编码器用于学习压缩表示,然后压缩表示被传递到堆叠LSTM单元用于时间学习,其解码器模型包括致密层和LSTM层,来预测下一个图形。
然而上述技术要么只是单纯的考虑网络的结构信息而忽略了动态网络的时间信息,导致模型在预测未来变化方面表现不佳,要么其模型较为复杂,需要训练大量的参数,受硬件约束,导致其不能扩展到更大的图形。
通过上述分析,现有技术存在的问题及缺陷为:现有的链路预测方法忽略动态网络时间信息,模型复杂度高,难以灵活扩展到更大图形。
解决以上问题及缺陷的难度为:动态网络的连续网络快照之间存在着大量的基于时间的连接信息,但是传统的线性模型几乎都忽略了这些非线性特征,从而导致达不到期望的性能。另外一些基于深度学习的模型虽然考虑了时间特征,但是因为其需要大量的参数导致模型复杂度高,难以扩展到更大的图形中。解决以上问题及缺陷的意义为:现实世界中真实的网络大都是复杂且大规模,但是计算资源却是有限的,因此使用有限的计算资源去分析更大规模的图形是一个重要的问题。
发明内容
针对现有技术存在的问题,本发明提供了一种基于时空聚合的灵活动态网络链路预测方法、系统及应用。
本发明是这样实现的,一种动态网络链路预测方法,所述动态网络链路预测方法包括:构建基于时空聚合的灵活动态网络链路预测模型,在每个时间步共享相同的参数,可以使得模型整体参数减少,能扩展到更大的图形;通过变分推理原理对节点嵌入进行采样,可以实现更鲁棒的节点嵌入,从而提高预测下一个网络的准确度,利用构建基于时空聚合的灵活动态网络链路预测模型进行动态网络链路预测。
进一步,所述动态网络链路预测方法包括以下步骤:
步骤一,对数据进行预处理,利用生成器生成预测数据;
步骤二,利用鉴别器辨别数据,交替、迭代更新生成器和鉴别器;
步骤三,生成预测结果。
进一步,步骤一中,所述对数据进行预处理包括:
(1)在时间维度上对网络G进行切片处理,通过一系列的网络快照G′={G1,G2,…,GT}表示网络G,
其中,Gt={V,Et,Wt}表示某个时间片t(t∈{1,2,…,T})处的快照,V表示节点集合,Et表示对应的边的集合,Et的元素为无序元组{i,j},其中i,j∈V,Wt为Et中对应边的权重集合;
(2)利用At∈R|N|×|N|表示相应的静态拓扑结构,其中,N为节点集合V中节点数量;当节点i与节点j之间有一条权重为Wt(i,j)的边时,(At)i,j=(At)j,i=Wt(i,j),否则(At)i,j=(At)j,i=0。
进一步,所述利用生成器生成预测数据包括:基于前l个时间片的邻接矩阵{At-l+1,At-l+2,…,At},生成下一个时间片t+1的拓扑结构,即
Figure BDA0002925720480000041
Figure BDA0002925720480000042
其中At-l+1:t={At-l+1,At-l+2,…,At}。
进一步,所述利用生成器生成预测数据包括:
1)将节点特征矩阵F∈R|N|×|M|和邻接矩阵{At-l+1,At-l+2,…,At}由远及近依次通过时空聚合层,输出节点表示矩阵
Figure BDA0002925720480000043
其中,M表示输入节点特征的维度;d为输出节点特征的维度,即
Figure BDA0002925720480000044
Figure BDA0002925720480000045
2)将
Figure BDA0002925720480000046
分别通过两个GCN层GCNμ和GCNσ,使用其输出参数化单位高斯分布
Figure BDA0002925720480000047
从中采样得到Zt∈R|N|×|d|,即
Figure BDA0002925720480000048
3)将Zt输送至全连接输出层,生成下一个时间片t+1的网络快照。
进一步,所述将节点特征矩阵F∈R|N|×|M|和邻接矩阵{At-l+1,At-l+2,…,At}由远及近依次通过时空聚合层,输出节点表示矩阵
Figure BDA0002925720480000049
包括:
首先,将邻接矩阵At和特征矩阵F∈R|N|×|M|输入到GCN层中捕获空间特征,通过第一个归一化层得到
Figure BDA00029257204800000410
Figure BDA00029257204800000411
其次,将
Figure BDA00029257204800000412
Figure BDA00029257204800000413
输入到RNN层中捕获时间特征,再通过第二个归一化层得到
Figure BDA0002925720480000051
Figure BDA0002925720480000052
最后,将
Figure BDA0002925720480000053
Figure BDA0002925720480000054
连接在一起,通过一个激活函数来生成节点的最终表示
Figure BDA0002925720480000055
Figure BDA0002925720480000056
进一步,步骤二,所述利用鉴别器辨别数据包括:将生成器G生成的网络快照
Figure BDA0002925720480000057
和真实快照At+1输入鉴别器D中,鉴别器D对生成网络快照
Figure BDA0002925720480000058
和真实快照At+1进行区分,判断其真实性,输出判断结果;
所述通过softmax层计算输出概率分布包括:
Figure BDA0002925720480000059
其中,
Figure BDA00029257204800000510
Figure BDA00029257204800000511
分别是输入层和输出层的参数,σ(·)为隐藏层的激活函数。
进一步,所述鉴别器D对生成网络快照
Figure BDA00029257204800000512
和真实快照At+1进行区分,判断其真实性包括:将输入的生成网络快照
Figure BDA00029257204800000513
和真实快照At+1送入具有一个隐藏层和一个输出层的全连接前馈神经网络;通过softmax层计算输出概率分布,基于概率分布结果判断其真实性。
进一步,所述交替、迭代更新生成器和鉴别器包括:
分别通过最小化目标函数
Figure BDA00029257204800000514
Figure BDA00029257204800000515
Figure BDA00029257204800000516
更新鉴别器D和生成器G的参数,其中Pdata表示训练数据,θ和φ分别是生成器G和鉴别器D的参数。
进一步,步骤三中,所述生成预测结果包括:将当前时间前l个时间片的邻接矩阵输入到已经训练好的预测模型中,得到下一个时间片的预测结果。
进一步,所述动态网络链路预测方法还包括:在时空聚合层中,还可利用各种循环神经网络的变种;所述种循环神经网络的变种包括但不仅限于长短期记忆网络和门控循环单元。
本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:构建基于时空聚合的灵活动态网络链路预测模型,在每个时间步的共享相同参数;通过变分推理原理对节点嵌入进行采样,利用构建基于时空聚合的灵活动态网络链路预测模型进行灵活动态网络链路预测。
本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:构建基于时空聚合的灵活动态网络链路预测模型,在每个时间步的共享相同参数;通过变分推理原理对节点嵌入进行采样,利用构建基于时空聚合的灵活动态网络链路预测模型进行灵活动态网络链路预测。
本发明的另一目的在于提供一种实施所述动态网络链路预测方法的动态网络链路预测系统,所述动态网络链路预测系统包括:
预测数据生成模块,用于对数据进行预处理,利用生成器生成预测数据;
辨别数据模块,用于利用鉴别器辨别数据,交替、迭代更新生成器和鉴别器;
预测结果生成模块,用于生成预测结果。
本发明的另一目的在于提供一种动态网络链路预测终端,所述动态网络链路预测终端用于实现所述的动态网络链路预测方法。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明提供一种动态网络链路预测方法,可用于动态网络分析,通过对过去时间的网络状态进行建模,预测未来网络中节点之间链接的变化,计算过程中参数少,误差小,计算准确度高。
本发明不需要额外的顶点特征、标签或随机游走过程作为其中的一部分,并且由于参数更少,可以更加灵活地扩展到更大的图形。
本发明因为在每个时间步的时空聚合层共享相同参数,因此模型整体参数少,可以扩展到更大的图;本发明通过变分推理原理对节点嵌入进行采样,可以实现更鲁棒的时间表示,从而可以准确预测下一个网络。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的动态网络链路预测方法原理图。
图2是本发明实施例提供的动态网络链路预测方法流程图。
图3是本发明实施例提供的模型架构示意图。
图4是本发明实施例提供的时空聚合层示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种基于时空聚合的灵活动态网络链路预测方法、系统及应用,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供的动态网络链路预测方法包括:构建基于时空聚合的灵活动态网络链路预测模型,在每个时间步共享相同的参数;通过变分推理原理对节点嵌入进行采样,利用构建基于时空聚合的灵活动态网络链路预测模型进行动态网络链路预测。
如图2所示,本发明实施例提供的动态网络链路预测方法包括以下步骤:
S101,对数据进行预处理,利用生成器生成预测数据;
S102,利用鉴别器辨别数据,交替、迭代更新生成器和鉴别器;
S103,生成预测结果。
步骤S101中,本发明实施例提供的对数据进行预处理包括:
(1)在时间维度上对网络G进行切片处理,通过一系列的网络快照G′={G1,G2,…,GT}表示网络G,
其中,Gt={V,Et,Wt}表示某个时间片t(t∈{1,2,…,T})处的快照,V表示节点集合,Et表示对应的边的集合,Et的元素为无序元组{i,j},其中i,j∈V,Wt为Et中对应边的权重集合;
(2)利用At∈R|N|×|N|表示相应的静态拓扑结构,其中,N为节点集合V中节点数量;当节点i与节点j之间有一条权重为Wt(i,j)的边时,(At)i,j=(At)j,i=Wt(i,j),否则(At)i,j=(At)j,i=0。
本发明实施例提供的利用生成器生成预测数据包括:
基于前l个时间片的邻接矩阵{At-l+1,At-l+2,…,At},生成下一个时间片t+1的拓扑结构,即
Figure BDA0002925720480000081
其中At-l+1:t={At-l+1,At-l+2,…,At}。
本发明实施例提供的利用生成器生成预测数据包括:
1)将节点特征矩阵F∈R|N|×|M|和邻接矩阵{At-l+1,At-l+2,…,At}由远及近依次通过时空聚合层,输出节点表示矩阵
Figure BDA0002925720480000082
其中,M表示输入节点特征的维度;d为输出节点特征的维度,即
Figure BDA0002925720480000083
Figure BDA0002925720480000084
2)将
Figure BDA0002925720480000085
分别通过两个GCN层GCNμ和GCNσ,使用其输出参数化单位高斯分布
Figure BDA0002925720480000086
从中采样得到Zt∈R|N|×|d|,即
Figure BDA0002925720480000087
3)将Zt输送至全连接输出层,生成下一个时间片t+1的网络快照。
本发明实施例提供的将节点特征矩阵F∈R|N|×|M|和邻接矩阵{At-l+1,At-l+2,…,At}由远及近依次通过时空聚合层,输出节点表示矩阵
Figure BDA0002925720480000088
Figure BDA0002925720480000089
包括:
首先,将邻接矩阵At和特征矩阵F∈R|N|×|M|输入到GCN层中捕获空间特征,通过第一个归一化层得到
Figure BDA00029257204800000810
Figure BDA00029257204800000811
其次,将
Figure BDA00029257204800000812
Figure BDA00029257204800000813
输入到RNN层中捕获时间特征,再通过第二个归一化层得到
Figure BDA00029257204800000814
Figure BDA00029257204800000815
最后,将
Figure BDA00029257204800000816
Figure BDA00029257204800000817
连接在一起,通过一个激活函数来生成节点的最终表示
Figure BDA0002925720480000091
Figure BDA0002925720480000092
步骤S102中,本发明实施例提供的利用鉴别器辨别数据包括:
将生成器G生成的网络快照
Figure BDA0002925720480000093
和真实快照At+1输入鉴别器D中,鉴别器D对生成网络快照
Figure BDA0002925720480000094
和真实快照At+1进行区分,判断其真实性,输出判断结果;
所述通过softmax层计算输出概率分布包括:
Figure BDA0002925720480000095
其中,
Figure BDA0002925720480000096
Figure BDA0002925720480000097
分别是输入层和输出层的参数,σ(·)为隐藏层的激活函数。
本发明实施例提供的鉴别器D对生成网络快照
Figure BDA0002925720480000098
和真实快照At+1进行区分,判断其真实性包括:
将输入的生成网络快照
Figure BDA0002925720480000099
和真实快照At+1送入具有一个隐藏层和一个输出层的全连接前馈神经网络;通过softmax层计算输出概率分布,基于概率分布结果判断其真实性。
本发明实施例提供的交替、迭代更新生成器和鉴别器包括:
分别通过最小化目标函数
Figure BDA00029257204800000910
Figure BDA00029257204800000911
Figure BDA00029257204800000912
更新鉴别器D和生成器G的参数,其中Pdata表示训练数据,θ和φ分别是生成器G和鉴别器D的参数。
步骤S103中,本发明实施例提供的生成预测结果包括:
将当前时间前l个时间片的邻接矩阵输入到已经训练好的预测模型中,得到下一个时间片的预测结果。
本发明实施例提供的动态网络链路预测方法还包括:
在时空聚合层中,还可利用各种循环神经网络的变种;所述种循环神经网络的变种包括但不仅限于长短期记忆网络和门控循环单元。
下面结合具体实施例对本发明的技术方案作进一步描述。
实施例1:
本发明提供了一种动态网络链路预测方法,包括以下步骤:
步骤一:对数据进行预处理
在时间维度上对网络G进行切片处理,使网络G可以通过一系列的网络快照G′={G1,G2,…,GT}来表示,其中Gt={V,Et,Wt}是在某个时间片t(t∈{1,2,…,T})处的快照,V为节点集合,Et为对应的边的集合,其中的元素是无序元组{i,j},其中i,j∈V,Wt为Et中对应边的权重集合,本发明中只考虑所有快照共享一个节点集的无向加权网络的情况。
对于时间片t的快照,使用At∈R|N|×|N|来表示相应的静态拓扑结构,其中,N为节点集合V中节点数量。当节点i与节点j之间有一条权重为Wt(i,j)的边时,(At)i,j=(At)j,i=Wt(i,j),否则(At)i,j=(At)j,i=0。
步骤二:生成器G生成预测数据
给定前l个时间片的邻接矩阵{At-l+1,At-l+2,…,At},生成下一个时间片t+1的拓扑结构,即
Figure BDA0002925720480000101
其中At-l+1:t={At-l+1,At-l+2,…,At}。
如图3,具体地,将特征矩阵F∈R|N|×|M|(F为节点的特征矩阵,本发明中F可以是以某个概率分布随机产生的数据,M为节点特征的维度)和邻接矩阵{At-l+1,At-l+2,…,At}由远及近依次通过时空聚合层(TSA),输出节点表示矩阵
Figure BDA0002925720480000102
其中d为节点特征的维度,即
Figure BDA0002925720480000103
然后将
Figure BDA0002925720480000104
分别通过两个GCN层GCNμ和GCNσ,使用其输出来参数化单位高斯分布
Figure BDA0002925720480000105
然后从中采样得到Zt∈R|N|×|d|,即
Figure BDA0002925720480000106
再将Zt送到全连接输出层,生成下一个时间片t+1的网络快照。
时空聚合层(TSA)如图4所示,首先将邻接矩阵At和特征矩阵F∈R|N|×|M|输入到GCN层中捕获空间特征,然后通过第一个归一化层得到
Figure BDA0002925720480000107
Figure BDA0002925720480000108
Figure BDA0002925720480000109
然后将
Figure BDA00029257204800001010
Figure BDA00029257204800001011
输入到RNN层中捕获时间特征,再通过第二个归一化层得到
Figure BDA00029257204800001012
Figure BDA00029257204800001013
最后将
Figure BDA00029257204800001014
Figure BDA00029257204800001015
连接在一起,然后通过一个激活函数来生成节点的最终表示
Figure BDA00029257204800001016
Figure BDA00029257204800001017
Figure BDA00029257204800001018
步骤三:鉴别器D辨别数据
将生成器G生成的网络快照
Figure BDA0002925720480000111
和真实快照At+1输入鉴别器D中,鉴别器D对生成网络快照
Figure BDA0002925720480000112
和真实快照At+1进行区分,判断其真实性,输出其判断结果。
对于鉴别器D,如图3所示,输入的网络快照被送入具有一个隐藏层和一个输出层的全连接前馈神经网络,然后通过softmax层以计算输出概率分布,即
Figure BDA0002925720480000113
其中
Figure BDA0002925720480000114
Figure BDA0002925720480000115
分别是输入层和输出层的参数,σ(·)为隐藏层的激活函数。
步骤四:重复步骤二和步骤三,通过交替和迭代更新生成器G和鉴别器D来进一步提高生成模型的性能。分别通过最小化目标函数
Figure BDA0002925720480000116
Figure BDA0002925720480000117
Figure BDA0002925720480000118
Figure BDA0002925720480000119
来更新鉴别器D和生成器G的参数,其中Pdata表示训练数据,θ和φ分别是生成器G和鉴别器D的参数。
步骤五:预测结果
将当前时间前l个时间片的邻接矩阵输入到已经训练好的预测模型中,得到下一个时间片的预测结果。
下面结合仿真实验对本发明的技术效果做进一步说明。
1仿真条件
本发明的仿真实验所使用计算机配置如下:处理器为Intel(R)Core(TM)i7-7700CPU,显卡为NVIDIA GeForce GTX 1080Ti,显存内存为11GB,计算机操作系统为Ubuntu20.04.1LTS,使用pytorch深度学习框架实现仿真实验。
2数据集
CollegeMsg:该数据集由在加州大学欧文分校的在线社交网络上发送的私人消息组成,每个节点代表一个学生或老师,一共有1899个节点,59835个链接,时间跨度为193天。
Eu:该数据集是一个邮件网络,由欧洲某研究机构成员之间传入和传出的电子邮件组成,每个节点代表一名员工,员工之间发送一封邮件就产生一个链接,其中有986个节点,332334个链接,时间跨度为803天。
ENRON:该数据集是另一个邮件网络,其中有148个节点,时间跨度为1307天。
3仿真内容及其结果分析:
将数据集的前70%的时间作为训练集,剩余30%作为测试集。将训练集送入到链路预测模型中进行学习,然后将测试集中的样本送入已经训练好的模型中进行测试,最终得到结果如下:
使用均方根误差(RMSE)和KL散度有对预测结果进行评估,
RMSE定义为:
Figure BDA0002925720480000121
对于动态网络,链接的权重可能具有较宽的取值范围(例如,[1,1000]),其中较多的边具有较小的权重,使用RMSE可能仅对较大的边缘敏感,但是较小的权重之间的差异通常更加重要(例如,1和2之间的差异通常比990和1000之间的差异更大),RMSE不能很好地处理这种情况,因此增加KL散度作为评估标准,可以更进一步考虑连接权重的大小差异。KL散度定义为:
Figure BDA0002925720480000122
其中
Figure BDA0002925720480000123
如果Pij>0且Qij>0,f(Pij,Qij)=Pijlog(Pij/Qij),否则f(Pij,Qij)=0。
EU
Figure BDA0002925720480000124
Figure BDA0002925720480000131
collegeMsg
方法 RMSE KL1 参数
VGAE 34.0845 0.4358 66.3K
GCRN 3.0741 0.5661 99.4K
DynAE 0.8313 0.2089 5.9M
DynRNN 1.1957 0.2821 35.6M
DynAERNN 0.8331 0.2662 26.9M
本发明方法 0.8494 0.0101 970.2K
Enron
方法 RMSE KL1 参数
VGCN 33.4644 0.6732 16K
GCRN 41.0777 0.6917 25K
DynAE 0.9273 0.5087 118K
DynRNN 1.8839 0.5513 350K
DynAERNN 1.2967 0.5815 312K
本发明方法 8.7183 0.0401 51K
结果表明,本发明提出的方法可以在较少的参数的情况下,达到比较好的效果,证明了该方法在链路预测实验中的有效性。
应当注意,本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现;软件部分可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用由各种类型的处理器执行的软件实现,也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于时空聚合的灵活动态网络链路预测方法,其特征在于,所述基于时空聚合的灵活动态网络链路预测方法包括:构建基于时空聚合的灵活动态网络链路预测模型,在每个时间步共享相同的参数;通过变分推理原理对节点嵌入进行采样,利用构建基于时空聚合的灵活动态网络链路预测模型进行动态网络链路预测。
2.如权利要求1所述的基于时空聚合的灵活动态网络链路预测方法,其特征在于,所述基于时空聚合的灵活动态网络链路预测方法包括以下步骤:
步骤一,对数据进行预处理,利用生成器生成预测数据;
步骤二,利用鉴别器辨别数据,交替、迭代更新生成器和鉴别器;
步骤三,生成预测结果。
3.如权利要求2所述的基于时空聚合的灵活动态网络链路预测方法,其特征在于,所述步骤一中对数据进行预处理包括:
(1)在时间维度上对网络G进行切片处理,通过一系列的网络快照G′={G1,G2,…,GT}表示网络G,
其中,Gt={V,Et,Wt}表示某个时间片t(t∈{1,2,…,T})处的快照,V表示节点集合,Et表示对应的边的集合,Et的元素为无序元组{i,j},其中i,j∈V,Wt为Et中对应边的权重集合;
(2)利用At∈R|N|×|N|表示相应的静态拓扑结构,其中,N为节点集合V中节点数量;当节点i与节点j之间有一条权重为Wt(i,j)的边时,(At)i,j=(At)j,i=Wt(i,j),否则(At)i,j=(At)j,i=0;
所述利用生成器生成预测数据包括:基于前l个时间片的邻接矩阵{At-l+1,At-l+2,…,At},生成下一个时间片t+1的拓扑结构,即
Figure FDA0002925720470000011
Figure FDA0002925720470000012
其中At-l+1:t={At-l+1,At-l+2,…,At}。
4.如权利要求2所述的基于时空聚合的灵活动态网络链路预测方法,其特征在于,所述利用生成器生成预测数据包括:
1)将节点特征矩阵F∈R|N|×|M|和邻接矩阵{At-l+1,At-l+2,…,At}由远及近依次通过时空聚合层,输出节点表示矩阵
Figure FDA0002925720470000021
其中,M表示输入节点特征的维度;d为输出节点特征的维度,即
Figure FDA0002925720470000022
Figure FDA0002925720470000023
2)将
Figure FDA0002925720470000024
分别通过两个GCN层GCNμ和GCNσ,使用其输出参数化单位高斯分布
Figure FDA0002925720470000025
从中采样得到Zt∈R|N|×|d|,即
Figure FDA0002925720470000026
3)将Zt输送至全连接输出层,生成下一个时间片t+1的网络快照;
所述将节点特征矩阵F∈R|N|×|M|和邻接矩阵{At-l+1,At-l+2,…,At}由远及近依次通过时空聚合层,输出节点表示矩阵
Figure FDA0002925720470000027
包括:
首先,将邻接矩阵At和特征矩阵F∈R|N|×|M|输入到GCN层中捕获空间特征,通过第一个归一化层得到
Figure FDA0002925720470000028
Figure FDA0002925720470000029
其次,将
Figure FDA00029257204700000210
Figure FDA00029257204700000211
输入到RNN层中捕获时间特征,再通过第二个归一化层得到
Figure FDA00029257204700000212
Figure FDA00029257204700000213
最后,将
Figure FDA00029257204700000214
Figure FDA00029257204700000215
连接在一起,通过一个激活函数来生成节点的最终表示
Figure FDA00029257204700000216
Figure FDA00029257204700000217
5.如权利要求2所述的基于时空聚合的灵活动态网络链路预测方法,其特征在于,所述步骤二利用鉴别器辨别数据包括:将生成器G生成的网络快照
Figure FDA00029257204700000218
和真实快照At+1输入鉴别器D中,鉴别器D对生成网络快照
Figure FDA00029257204700000219
和真实快照At+1进行区分,判断其真实性,输出判断结果;
所述通过softmax层计算输出概率分布包括:
Figure FDA00029257204700000220
其中,
Figure FDA00029257204700000221
Figure FDA00029257204700000222
Figure FDA00029257204700000223
分别是输入层和输出层的参数,σ(·)为隐藏层的激活函数;
所述鉴别器D对生成网络快照
Figure FDA00029257204700000224
和真实快照At+1进行区分,判断其真实性包括:将输入的生成网络快照
Figure FDA00029257204700000225
和真实快照At+1送入具有一个隐藏层和一个输出层的全连接前馈神经网络;通过softmax层计算输出概率分布,基于概率分布结果判断其真实性;
所述交替、迭代更新生成器和鉴别器包括:分别通过最小化目标函数
Figure FDA0002925720470000031
Figure FDA0002925720470000032
Figure FDA0002925720470000033
Figure FDA0002925720470000034
更新鉴别器D和生成器G的参数,其中Pdata表示训练数据,θ和φ分别是生成器G和鉴别器D的参数;
所述步骤三中生成预测结果包括:将当前时间前l个时间片的邻接矩阵输入到已经训练好的预测模型中,得到下一个时间片的预测结果。
6.如权利要求1所述基于时空聚合的灵活动态网络链路预测方法,其特征在于,所述基于时空聚合的灵活动态网络链路预测方法还包括:在时空聚合层中,还可利用各种循环神经网络的变种;所述种循环神经网络的变种包括但不仅限于长短期记忆网络和门控循环单元。
7.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:构建基于时空聚合的灵活动态网络链路预测模型,在每个时间步共享相同的参数;通过变分推理原理对节点嵌入进行采样,利用构建基于时空聚合的灵活动态网络链路预测模型进行动态网络链路预测。
8.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:构建基于时空聚合的灵活动态网络链路预测模型,在每个时间步共享相同的参数;通过变分推理原理对节点嵌入进行采样,利用构建基于时空聚合的灵活动态网络链路预测模型进行动态网络链路预测。
9.一种实施权利要求1~6任意一项所述基于时空聚合的灵活动态网络链路预测方法的动态网络链路预测系统,其特征在于,所述动态网络链路预测系统包括:
预测数据生成模块,用于对数据进行预处理,利用生成器生成预测数据;
辨别数据模块,用于利用鉴别器辨别数据,交替、迭代更新生成器和鉴别器;
预测结果生成模块,用于生成预测结果。
10.一种动态网络链路预测终端,其特征在于,所述动态网络链路预测终端用于实现权利要求1~6任意一项所述的基于时空聚合的灵活动态网络链路预测方法。
CN202110132110.3A 2021-01-31 2021-01-31 基于时空聚合的灵活动态网络链路预测方法、系统及应用 Active CN112766464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110132110.3A CN112766464B (zh) 2021-01-31 2021-01-31 基于时空聚合的灵活动态网络链路预测方法、系统及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110132110.3A CN112766464B (zh) 2021-01-31 2021-01-31 基于时空聚合的灵活动态网络链路预测方法、系统及应用

Publications (2)

Publication Number Publication Date
CN112766464A true CN112766464A (zh) 2021-05-07
CN112766464B CN112766464B (zh) 2023-07-25

Family

ID=75704240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110132110.3A Active CN112766464B (zh) 2021-01-31 2021-01-31 基于时空聚合的灵活动态网络链路预测方法、系统及应用

Country Status (1)

Country Link
CN (1) CN112766464B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205251A (zh) * 2021-12-09 2022-03-18 西安电子科技大学 基于时空特征的交换机链路资源预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110138595A (zh) * 2019-04-12 2019-08-16 中国科学院深圳先进技术研究院 动态加权网络的时间链路预测方法、装置、设备及介质
WO2019220128A1 (en) * 2018-05-18 2019-11-21 Benevolentai Technology Limited Graph neutral networks with attention
WO2020068831A1 (en) * 2018-09-26 2020-04-02 Visa International Service Association Dynamic graph representation learning via attention networks
CN111368074A (zh) * 2020-02-24 2020-07-03 西安电子科技大学 一种基于网络结构和文本信息的链路预测方法
US20200250734A1 (en) * 2019-02-01 2020-08-06 Target Brands, Inc. Item recommendations using convolutions on weighted graphs

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019220128A1 (en) * 2018-05-18 2019-11-21 Benevolentai Technology Limited Graph neutral networks with attention
CN112119412A (zh) * 2018-05-18 2020-12-22 伯耐沃伦人工智能科技有限公司 具有注意力的图神经网络
WO2020068831A1 (en) * 2018-09-26 2020-04-02 Visa International Service Association Dynamic graph representation learning via attention networks
US20200250734A1 (en) * 2019-02-01 2020-08-06 Target Brands, Inc. Item recommendations using convolutions on weighted graphs
CN110138595A (zh) * 2019-04-12 2019-08-16 中国科学院深圳先进技术研究院 动态加权网络的时间链路预测方法、装置、设备及介质
CN111368074A (zh) * 2020-02-24 2020-07-03 西安电子科技大学 一种基于网络结构和文本信息的链路预测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BONNER: "Temporal neighbourhood aggregation predicting future links in temporal graphs via recurrent variational graph convolutions", 《2019 IEEE INTERNATIONAL CONFERENCE ON BIG DATA》 *
LEI K: "Gcn-gan: A non-linear temporal link prediction model for weighted dynamic networks", 《IEEE INFOCOM 2019-IEEE CONFERENCE ON COMPUTER COMMUNICATIONS》 *
王慧等: "基于特征分类的链路预测方法综述", 《计算机科学》 *
赵明浩: "基于机器学习的链路预测相关问题研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》 *
陈灏然: "属性网络社团挖掘算法研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205251A (zh) * 2021-12-09 2022-03-18 西安电子科技大学 基于时空特征的交换机链路资源预测方法
CN114205251B (zh) * 2021-12-09 2022-12-02 西安电子科技大学 基于时空特征的交换机链路资源预测方法

Also Published As

Publication number Publication date
CN112766464B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
Yoon et al. Inference in probabilistic graphical models by graph neural networks
Sun et al. Evolving unsupervised deep neural networks for learning meaningful representations
Lee et al. Deep asymmetric multi-task feature learning
Natesan Ramamurthy et al. Model agnostic multilevel explanations
Khan et al. An unsupervised deep learning ensemble model for anomaly detection in static attributed social networks
Wanda et al. DeepOSN: Bringing deep learning as malicious detection scheme in online social network
Imran et al. Intrusion detection in networks using cuckoo search optimization
US11593619B2 (en) Computer architecture for multiplier-less machine learning
Ouyang et al. Unified graph embedding-based anomalous edge detection
Gao et al. A content-based method for sybil detection in online social networks via deep learning
Jha et al. The neural process family: Survey, applications and perspectives
Kadhim et al. Artificial Neural Network Hyperparameters Optimization: A Survey.
Puzanov et al. Deep reinforcement one-shot learning for artificially intelligent classification in expert aided systems
Chen et al. A neuromorphic architecture for anomaly detection in autonomous large-area traffic monitoring
He et al. Learning with supervised data for anomaly detection in smart manufacturing
CN112766464B (zh) 基于时空聚合的灵活动态网络链路预测方法、系统及应用
Song et al. Spammer detection using graph-level classification model of graph neural network
Vidnerová et al. Sensor data air pollution prediction by kernel models
Lu et al. Graph out-of-distribution generalization with controllable data augmentation
Swaroop et al. CGSA optimized LSTM auto encoder for outlier detection
Cherdo et al. Time series prediction and anomaly detection with recurrent spiking neural networks
Wei Network completion via deep metric learning
Sakshi et al. A neuro-genetic technique for pruning and optimization of ANN weights
Jafarigol Uncovering the Potential of Federated Learning: Addressing Algorithmic and Data-driven Challenges under Privacy Restrictions
Correia et al. Online Time-series Anomaly Detection: A Survey of Modern Model-based Approaches

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant