CN112766464B - 基于时空聚合的灵活动态网络链路预测方法、系统及应用 - Google Patents
基于时空聚合的灵活动态网络链路预测方法、系统及应用 Download PDFInfo
- Publication number
- CN112766464B CN112766464B CN202110132110.3A CN202110132110A CN112766464B CN 112766464 B CN112766464 B CN 112766464B CN 202110132110 A CN202110132110 A CN 202110132110A CN 112766464 B CN112766464 B CN 112766464B
- Authority
- CN
- China
- Prior art keywords
- network link
- dynamic network
- link prediction
- time
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000002776 aggregation Effects 0.000 title claims abstract description 38
- 238000004220 aggregation Methods 0.000 title claims abstract description 38
- 239000011159 matrix material Substances 0.000 claims description 45
- 238000009826 distribution Methods 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 125000004122 cyclic group Chemical group 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000000306 recurrent effect Effects 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 230000007787 long-term memory Effects 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000008859 change Effects 0.000 abstract description 3
- 238000003012 network analysis Methods 0.000 abstract description 2
- 238000005295 random walk Methods 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 54
- 238000004088 simulation Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000004809 Teflon Substances 0.000 description 1
- 229920006362 Teflon® Polymers 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于网络链路预测技术领域，公开了一种基于时空聚合的灵活动态网络链路预测方法、系统及应用，所述动态网络链路预测方法包括：构建基于时空聚合的灵活动态网络链路预测模型，在每个时间步共享相同参数；通过变分推理原理对节点嵌入进行采样，利用构建基于时空聚合的灵活动态网络链路预测模型进行动态网络链路预测。本发明提供一种动态网络链路预测方法，可用于动态网络分析，通过对过去时间的网络状态进行建模，预测未来网络中节点之间链接的变化，计算过程中参数少，误差小，计算准确度高。本发明不需要额外的节点特征、标签或随机游走过程作为其中的一部分，并且由于参数更少，可以更加灵活地扩展到更大的图形。
Description
技术领域
本发明属于网络链路预测技术领域，尤其涉及一种基于时空聚合的灵活动态网络链路预测方法、系统及应用。
背景技术
目前，动态网络链路预测是指通过网络中节点的历史信息以及网络结构等信息预测未来网络中节点之间链接的变化。其不仅对于理解和捕捉现实世界网络的进化规则很重要，而且在许多应用中也很有用，例如推荐科学网络中的合作者，预测蛋白质对之间的相互作用，或者预测社交网络中用户之间的关系。
(1)图卷积网络(GCN)
可以认为图卷积网络(GCN)是一种可聚合的函数，用于从节点的直接邻域聚集信息。GCN通过用来表示图G的归一化的邻接矩阵和节点的初始特征矩阵X，计算一个新的节点特征/>X∈RN×D为节点特征，可以使用预先计算的顶点特征进行初始化，但是使用单热点特征向量进行初始化就足够了(在这种情况下，X是单位矩阵I)。GCN可以包含聚合数据的许多层，其中GCN在每一层执行的操作是：
其中，IN是单位矩阵，/>是/>的度矩阵，/>W(l)是层特定的可训练权重矩阵，σ(·)表示激活函数，例如ReLU(·)＝max(0,·)，H(l)∈RN ×D是第l层中的激活矩阵，H(0)＝X。单层GCN可以保持一阶邻近性，多层GCN在实践中经常使用，因为它可以捕获高阶邻近性信息。
(2)循环神经网络(RNN)
循环神经网络(RNN)是在神经元之间既有循环依赖性的神经网络。循环层的活动取决于它们自己先前从前向传递获得的激活，因此形成一种内部状态，可以跨时间步长存储信息。它们经常用于顺序处理任务中，其中某个时间步的响应以某种方式取决于先前的观察结果。
(3)生成式对抗网络(GAN)
一般来说，生成对抗网络(GAN)由一个生成模型G和一个鉴别模型D组成，生成模型G和鉴别模型D在一个极小极大游戏中竞争。首先，D试图将训练集中的真实数据与G生成的数据区分开来，另一方面，G试图忽悠D，生成高质量的样本(数据)。从形式上来说，这样的过程可以描述如下(具有两个可选的优化步骤)：
其中x是来自训练集的真实数据，z是从某个概率分布(例如，正态分布)产生的噪声。
现有的链路预测技术如下：
VGAE：变分图自编码器，将变分自编码器思想应用到图领域，利用了潜在变量，能够学习无向图的可解释潜在表示，其模型在图Gt上训练，然后直接预测下一图形Gt+1。
GCRN：一种能够预测结构化数据序列的深度学习模型，将卷积神经网络(CNN)结合在图形上以识别空间结构，并将RNN用于寻找动态模式。
dyngraph2vecAE：一种非卷积图嵌入模型，和SDNE类似，基于图自编码器的使用，通过在传递到模型之前将过去的图的行连接在一起，扩展到时间图，学习动态图中的演化结构。
dyngraph2vecRNN：一种非卷积图嵌入模型，其中堆叠LSTM单元用于直接编码时间图。该方法还需要解码器模型，该模型也由堆叠的LSTM单元组成，以从其潜在表示中重构下一个图。
dyngraph2vecAERNN：dyngraph2vecAE和dyngraph2vecRNN的结合，其中图自编码器用于学习压缩表示，然后压缩表示被传递到堆叠LSTM单元用于时间学习，其解码器模型包括致密层和LSTM层，来预测下一个图形。
然而上述技术要么只是单纯的考虑网络的结构信息而忽略了动态网络的时间信息，导致模型在预测未来变化方面表现不佳，要么其模型较为复杂，需要训练大量的参数，受硬件约束，导致其不能扩展到更大的图形。
通过上述分析，现有技术存在的问题及缺陷为：现有的链路预测方法忽略动态网络时间信息，模型复杂度高，难以灵活扩展到更大图形。
解决以上问题及缺陷的难度为：动态网络的连续网络快照之间存在着大量的基于时间的连接信息，但是传统的线性模型几乎都忽略了这些非线性特征，从而导致达不到期望的性能。另外一些基于深度学习的模型虽然考虑了时间特征，但是因为其需要大量的参数导致模型复杂度高，难以扩展到更大的图形中。解决以上问题及缺陷的意义为：现实世界中真实的网络大都是复杂且大规模，但是计算资源却是有限的，因此使用有限的计算资源去分析更大规模的图形是一个重要的问题。
发明内容
针对现有技术存在的问题，本发明提供了一种基于时空聚合的灵活动态网络链路预测方法、系统及应用。
本发明是这样实现的，一种动态网络链路预测方法，所述动态网络链路预测方法包括：构建基于时空聚合的灵活动态网络链路预测模型，在每个时间步共享相同的参数，可以使得模型整体参数减少，能扩展到更大的图形；通过变分推理原理对节点嵌入进行采样，可以实现更鲁棒的节点嵌入，从而提高预测下一个网络的准确度，利用构建基于时空聚合的灵活动态网络链路预测模型进行动态网络链路预测。
进一步，所述动态网络链路预测方法包括以下步骤：
步骤一，对数据进行预处理，利用生成器生成预测数据；
步骤二，利用鉴别器辨别数据，交替、迭代更新生成器和鉴别器；
步骤三，生成预测结果。
进一步，步骤一中，所述对数据进行预处理包括：
(1)在时间维度上对网络G进行切片处理，通过一系列的网络快照G′＝{G1,G2,…,GT}表示网络G，
其中，Gt＝{V，Et，Wt}表示某个时间片t(t∈{1，2，…，T})处的快照，V表示节点集合，Et表示对应的边的集合，Et的元素为无序元组{i,j}，其中i,j∈V，Wt为Et中对应边的权重集合；
(2)利用At∈R|N|×|N|表示相应的静态拓扑结构，其中，N为节点集合V中节点数量；当节点i与节点j之间有一条权重为Wt(i，j)的边时，(At)i，j＝(At)j，i＝Wt(i，j)，否则(At)i，j＝(At)j，i＝0。
进一步，所述利用生成器生成预测数据包括：基于前l个时间片的邻接矩阵{At-l+1，At-l+2，…，At}，生成下一个时间片t+1的拓扑结构，即 其中At-l+1:t＝{At-l+1，At-l+2,…,At}。
进一步，所述利用生成器生成预测数据包括：
1)将节点特征矩阵F∈R|N|×|M|和邻接矩阵{At-l+1，At-l+2,…,At}由远及近依次通过时空聚合层，输出节点表示矩阵
其中，M表示输入节点特征的维度；d为输出节点特征的维度，即
2)将分别通过两个GCN层GCNμ和GCNσ，使用其输出参数化单位高斯分布/>从中采样得到Zt∈R|N|×|d|，即/>
3)将Zt输送至全连接输出层，生成下一个时间片t+1的网络快照。
进一步，所述将节点特征矩阵F∈R|N|×|M|和邻接矩阵{At-l+1，At-l+2，…，At}由远及近依次通过时空聚合层，输出节点表示矩阵包括：
首先，将邻接矩阵At和特征矩阵F∈R|N|×|M|输入到GCN层中捕获空间特征，通过第一个归一化层得到即/>
其次，将和/>输入到RNN层中捕获时间特征，再通过第二个归一化层得到/>即/>
最后，将和/>连接在一起，通过一个激活函数来生成节点的最终表示/>即/>
进一步，步骤二，所述利用鉴别器辨别数据包括：将生成器G生成的网络快照和真实快照At+1输入鉴别器D中，鉴别器D对生成网络快照/>和真实快照At+1进行区分，判断其真实性，输出判断结果；
所述通过softmax层计算输出概率分布包括：
其中，和/>分别是输入层和输出层的参数,σ(·)为隐藏层的激活函数。
进一步，所述鉴别器D对生成网络快照和真实快照At+1进行区分，判断其真实性包括：将输入的生成网络快照/>和真实快照At+1送入具有一个隐藏层和一个输出层的全连接前馈神经网络；通过softmax层计算输出概率分布，基于概率分布结果判断其真实性。
进一步，所述交替、迭代更新生成器和鉴别器包括：
分别通过最小化目标函数 和/>更新鉴别器D和生成器G的参数，其中Pdata表示训练数据，θ和φ分别是生成器G和鉴别器D的参数。
进一步，步骤三中，所述生成预测结果包括：将当前时间前l个时间片的邻接矩阵输入到已经训练好的预测模型中，得到下一个时间片的预测结果。
进一步，所述动态网络链路预测方法还包括：在时空聚合层中，还可利用各种循环神经网络的变种；所述种循环神经网络的变种包括但不仅限于长短期记忆网络和门控循环单元。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：构建基于时空聚合的灵活动态网络链路预测模型，在每个时间步的共享相同参数；通过变分推理原理对节点嵌入进行采样，利用构建基于时空聚合的灵活动态网络链路预测模型进行灵活动态网络链路预测。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：构建基于时空聚合的灵活动态网络链路预测模型，在每个时间步的共享相同参数；通过变分推理原理对节点嵌入进行采样，利用构建基于时空聚合的灵活动态网络链路预测模型进行灵活动态网络链路预测。
本发明的另一目的在于提供一种实施所述动态网络链路预测方法的动态网络链路预测系统，所述动态网络链路预测系统包括：
预测数据生成模块，用于对数据进行预处理，利用生成器生成预测数据；
辨别数据模块，用于利用鉴别器辨别数据，交替、迭代更新生成器和鉴别器；
预测结果生成模块，用于生成预测结果。
本发明的另一目的在于提供一种动态网络链路预测终端，所述动态网络链路预测终端用于实现所述的动态网络链路预测方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供一种动态网络链路预测方法，可用于动态网络分析，通过对过去时间的网络状态进行建模，预测未来网络中节点之间链接的变化，计算过程中参数少，误差小，计算准确度高。
本发明不需要额外的顶点特征、标签或随机游走过程作为其中的一部分，并且由于参数更少，可以更加灵活地扩展到更大的图形。
本发明因为在每个时间步的时空聚合层共享相同参数，因此模型整体参数少，可以扩展到更大的图；本发明通过变分推理原理对节点嵌入进行采样，可以实现更鲁棒的时间表示，从而可以准确预测下一个网络。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的动态网络链路预测方法原理图。
图2是本发明实施例提供的动态网络链路预测方法流程图。
图3是本发明实施例提供的模型架构示意图。
图4是本发明实施例提供的时空聚合层示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于时空聚合的灵活动态网络链路预测方法、系统及应用，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的动态网络链路预测方法包括：构建基于时空聚合的灵活动态网络链路预测模型，在每个时间步共享相同的参数；通过变分推理原理对节点嵌入进行采样，利用构建基于时空聚合的灵活动态网络链路预测模型进行动态网络链路预测。
如图2所示，本发明实施例提供的动态网络链路预测方法包括以下步骤：
S101，对数据进行预处理，利用生成器生成预测数据；
S102，利用鉴别器辨别数据，交替、迭代更新生成器和鉴别器；
S103，生成预测结果。
步骤S101中，本发明实施例提供的对数据进行预处理包括：
(1)在时间维度上对网络G进行切片处理，通过一系列的网络快照G′＝{G1,G2,…,GT}表示网络G，
其中，Gt＝{V,Et,Wt}表示某个时间片t(t∈{1,2,…,T})处的快照，V表示节点集合，Et表示对应的边的集合，Et的元素为无序元组{i,j}，其中i,j∈V，Wt为Et中对应边的权重集合；
(2)利用At∈R|N|×|N|表示相应的静态拓扑结构，其中，N为节点集合V中节点数量；当节点i与节点j之间有一条权重为Wt(i,j)的边时，(At)i,j＝(At)j,i＝Wt(i,j)，否则(At)i,j＝(At)j,i＝0。
本发明实施例提供的利用生成器生成预测数据包括：
基于前l个时间片的邻接矩阵{At-l+1,At-l+2,…,At}，生成下一个时间片t+1的拓扑结构，即其中At-l+1:t＝{At-l+1,At-l+2，…，At}。
本发明实施例提供的利用生成器生成预测数据包括：
1)将节点特征矩阵F∈R|N|×|M|和邻接矩阵{At-l+1，At-l+2，…,At}由远及近依次通过时空聚合层，输出节点表示矩阵
其中，M表示输入节点特征的维度；d为输出节点特征的维度，即
2)将分别通过两个GCN层GCNμ和GCNσ，使用其输出参数化单位高斯分布/>从中采样得到Zt∈R|N|×|d|，即/>
3)将Zt输送至全连接输出层，生成下一个时间片t+1的网络快照。
本发明实施例提供的将节点特征矩阵F∈R|N|×|M|和邻接矩阵{At-l+1，At-l+2,…，At}由远及近依次通过时空聚合层，输出节点表示矩阵 包括：
首先，将邻接矩阵At和特征矩阵F∈R|N|×|M|输入到GCN层中捕获空间特征，通过第一个归一化层得到即/>
其次，将和/>输入到RNN层中捕获时间特征，再通过第二个归一化层得到即/>
最后，将和/>连接在一起，通过一个激活函数来生成节点的最终表示即/>
步骤S102中，本发明实施例提供的利用鉴别器辨别数据包括：
将生成器G生成的网络快照和真实快照At+1输入鉴别器D中，鉴别器D对生成网络快照/>和真实快照At+1进行区分，判断其真实性，输出判断结果；
所述通过softmax层计算输出概率分布包括：
其中，和/>分别是输入层和输出层的参数,σ(·)为隐藏层的激活函数。
本发明实施例提供的鉴别器D对生成网络快照和真实快照At+1进行区分，判断其真实性包括：
将输入的生成网络快照和真实快照At+1送入具有一个隐藏层和一个输出层的全连接前馈神经网络；通过softmax层计算输出概率分布，基于概率分布结果判断其真实性。
本发明实施例提供的交替、迭代更新生成器和鉴别器包括：
分别通过最小化目标函数 和/>更新鉴别器D和生成器G的参数，其中Pdata表示训练数据，θ和φ分别是生成器G和鉴别器D的参数。
步骤S103中，本发明实施例提供的生成预测结果包括：
将当前时间前l个时间片的邻接矩阵输入到已经训练好的预测模型中，得到下一个时间片的预测结果。
本发明实施例提供的动态网络链路预测方法还包括：
在时空聚合层中，还可利用各种循环神经网络的变种；所述种循环神经网络的变种包括但不仅限于长短期记忆网络和门控循环单元。
下面结合具体实施例对本发明的技术方案作进一步描述。
实施例1：
本发明提供了一种动态网络链路预测方法，包括以下步骤：
步骤一：对数据进行预处理
在时间维度上对网络G进行切片处理，使网络G可以通过一系列的网络快照G′＝{G1,G2,…,GT}来表示，其中Gt＝{V,Et,Wt}是在某个时间片t(t∈{1,2,…,T})处的快照，V为节点集合，Et为对应的边的集合，其中的元素是无序元组{i，j}，其中i，j∈V，Wt为Et中对应边的权重集合，本发明中只考虑所有快照共享一个节点集的无向加权网络的情况。
对于时间片t的快照，使用At∈R|N|×|N|来表示相应的静态拓扑结构，其中，N为节点集合V中节点数量。当节点i与节点j之间有一条权重为Wt(i，j)的边时，(At)i，j＝(At)j，i＝Wt(i，j)，否则(At)i，j＝(At)j,i＝0。
步骤二：生成器G生成预测数据
给定前l个时间片的邻接矩阵{At-l+1,At-l+2,…,At}，生成下一个时间片t+1的拓扑结构，即其中At-l+1:t＝{At-l+1,At-l+2,…,At}。
如图3，具体地，将特征矩阵F∈R|N|×|M|(F为节点的特征矩阵，本发明中F可以是以某个概率分布随机产生的数据，M为节点特征的维度)和邻接矩阵{At-l+1,At-l+2,…,At}由远及近依次通过时空聚合层(TSA)，输出节点表示矩阵其中d为节点特征的维度，即/>然后将/>分别通过两个GCN层GCNμ和GCNσ，使用其输出来参数化单位高斯分布/>然后从中采样得到Zt∈R|N|×|d|，即再将Zt送到全连接输出层，生成下一个时间片t+1的网络快照。
时空聚合层(TSA)如图4所示，首先将邻接矩阵At和特征矩阵F∈R|N|×|M|输入到GCN层中捕获空间特征，然后通过第一个归一化层得到即/> 然后将/>和/>输入到RNN层中捕获时间特征，再通过第二个归一化层得到/>即最后将/>和/>连接在一起，然后通过一个激活函数来生成节点的最终表示/>即/>
步骤三：鉴别器D辨别数据
将生成器G生成的网络快照和真实快照At+1输入鉴别器D中，鉴别器D对生成网络快照/>和真实快照At+1进行区分，判断其真实性，输出其判断结果。
对于鉴别器D，如图3所示，输入的网络快照被送入具有一个隐藏层和一个输出层的全连接前馈神经网络，然后通过softmax层以计算输出概率分布，即其中/>和/>分别是输入层和输出层的参数,σ(·)为隐藏层的激活函数。
步骤四：重复步骤二和步骤三，通过交替和迭代更新生成器G和鉴别器D来进一步提高生成模型的性能。分别通过最小化目标函数 和/> 来更新鉴别器D和生成器G的参数，其中Pdata表示训练数据，θ和φ分别是生成器G和鉴别器D的参数。
步骤五：预测结果
将当前时间前l个时间片的邻接矩阵输入到已经训练好的预测模型中，得到下一个时间片的预测结果。
下面结合仿真实验对本发明的技术效果做进一步说明。
1仿真条件
本发明的仿真实验所使用计算机配置如下：处理器为Intel(R)Core(TM)i7-7700CPU，显卡为NVIDIA GeForce GTX 1080Ti，显存内存为11GB，计算机操作系统为Ubuntu20.04.1LTS，使用pytorch深度学习框架实现仿真实验。
2数据集
CollegeMsg：该数据集由在加州大学欧文分校的在线社交网络上发送的私人消息组成，每个节点代表一个学生或老师，一共有1899个节点，59835个链接，时间跨度为193天。
Eu:该数据集是一个邮件网络，由欧洲某研究机构成员之间传入和传出的电子邮件组成，每个节点代表一名员工，员工之间发送一封邮件就产生一个链接，其中有986个节点，332334个链接，时间跨度为803天。
ENRON：该数据集是另一个邮件网络，其中有148个节点，时间跨度为1307天。
3仿真内容及其结果分析：
将数据集的前70％的时间作为训练集，剩余30％作为测试集。将训练集送入到链路预测模型中进行学习，然后将测试集中的样本送入已经训练好的模型中进行测试，最终得到结果如下：
使用均方根误差(RMSE)和KL散度有对预测结果进行评估，
RMSE定义为：
对于动态网络，链接的权重可能具有较宽的取值范围(例如，[1,1000])，其中较多的边具有较小的权重，使用RMSE可能仅对较大的边缘敏感，但是较小的权重之间的差异通常更加重要(例如，1和2之间的差异通常比990和1000之间的差异更大)，RMSE不能很好地处理这种情况，因此增加KL散度作为评估标准，可以更进一步考虑连接权重的大小差异。KL散度定义为：
其中如果Pij>0且Qij>0，f(Pij,Qij)＝Pijlog(Pij/Qij)，否则f(Pij,Qij)＝0。
EU
collegeMsg
| 方法 | RMSE | KL1 | 参数 |
| VGAE | 34.0845 | 0.4358 | 66.3K |
| GCRN | 3.0741 | 0.5661 | 99.4K |
| DynAE | 0.8313 | 0.2089 | 5.9M |
| DynRNN | 1.1957 | 0.2821 | 35.6M |
| DynAERNN | 0.8331 | 0.2662 | 26.9M |
| 本发明方法 | 0.8494 | 0.0101 | 970.2K |
Enron
| 方法 | RMSE | KL1 | 参数 |
| VGCN | 33.4644 | 0.6732 | 16K |
| GCRN | 41.0777 | 0.6917 | 25K |
| DynAE | 0.9273 | 0.5087 | 118K |
| DynRNN | 1.8839 | 0.5513 | 350K |
| DynAERNN | 1.2967 | 0.5815 | 312K |
| 本发明方法 | 8.7183 | 0.0401 | 51K |
结果表明，本发明提出的方法可以在较少的参数的情况下，达到比较好的效果，证明了该方法在链路预测实验中的有效性。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于时空聚合的灵活动态网络链路预测方法，其特征在于，所述基于时空聚合的灵活动态网络链路预测方法包括：构建基于时空聚合的灵活动态网络链路预测模型，在每个时间步共享相同的参数；通过变分推理原理对节点嵌入进行采样，利用构建基于时空聚合的灵活动态网络链路预测模型进行动态网络链路预测；
所述基于时空聚合的灵活动态网络链路预测方法包括以下步骤：
步骤一，对数据进行预处理，利用生成器生成预测数据；
步骤二，利用鉴别器辨别数据，交替、迭代更新生成器和鉴别器；
步骤三，生成预测结果；
所述步骤一中对数据进行预处理包括：
(1)在时间维度上对网络G进行切片处理，通过一系列的网络快照G′＝{G1，G2，…，GT}表示网络G，
其中，Gt＝{V，Et，Wt}表示某个时间片t(t∈{1，2，…，T})处的快照，V表示节点集合，Et表示对应的边的集合，Et的元素为无序元组{i，j}，其中i，j∈V，Wt为Et中对应边的权重集合；
(2)利用At∈R|N|×|N|表示相应的静态拓扑结构，其中，N为节点集合V中节点数量；当节点i与节点j之间有一条权重为Wt(i，j)的边时，(At)i，j＝(At)j，i＝Wt(i，j)，否则(At)i，j＝(At)j，i＝0；
所述利用生成器生成预测数据包括：基于前l个时间片的邻接矩阵{At-l+1，At-l+2，…，At}，生成下一个时间片t+1的拓扑结构，即其中At-l+1：t＝{At-l+1，At-l+2，…，At}；
所述利用生成器生成预测数据包括：
1)将节点特征矩阵F∈R|N|×|M|和邻接矩阵{At-l+1，At-l+2，…，At}由远及近依次通过时空聚合层，输出节点表示矩阵
其中，M表示输入节点特征的维度；d为输出节点特征的维度，即
2)将分别通过两个GCN层GCNμ和GCNσ，使用其输出参数化单位高斯分布/>从中采样得到Zt∈R|N|×|d|，即/>
3)将Zt输送至全连接输出层，生成下一个时间片t+1的网络快照；
所述将节点特征矩阵F∈R|N|×|M|和邻接矩阵{At-l+1，At-l+2，…，At}由远及近依次通过时空聚合层，输出节点表示矩阵包括：
首先，将邻接矩阵At和特征矩阵F∈R|N|×|M|输入到GCN层中捕获空间特征，通过第一个归一化层得到即/>
其次，将和/>输入到RNN层中捕获时间特征，再通过第二个归一化层得到即/>
最后，将和/>连接在一起，通过一个激活函数来生成节点的最终表示/>即/>
所述步骤二利用鉴别器辨别数据包括：将生成器G生成的网络快照和真实快照At+1输入鉴别器D中，鉴别器D对生成网络快照/>和真实快照At+1进行区分，判断其真实性，输出判断结果；
所述鉴别器D对生成网络快照和真实快照At+1进行区分，判断其真实性包括：将输入的生成网络快照/>和真实快照At+1送入具有一个隐藏层和一个输出层的全连接前馈神经网络；通过softmax层计算输出概率分布，基于概率分布结果判断其真实性；
所述通过softmax层计算输出概率分布包括：
其中，和/>分别是输入层和输出层的参数，σ(·)为隐藏层的激活函数；
所述交替、迭代更新生成器和鉴别器包括：分别通过最小化目标函数和更新鉴别器D和生成器G的参数，其中Pdata表示训练数据，θ和φ分别是生成器G和鉴别器D的参数；
所述步骤三中生成预测结果包括：将当前时间前l个时间片的邻接矩阵输入到已经训练好的预测模型中，得到下一个时间片的预测结果。
2.如权利要求1所述基于时空聚合的灵活动态网络链路预测方法，其特征在于，所述基于时空聚合的灵活动态网络链路预测方法还包括：在时空聚合层中，还可利用各种循环神经网络的变种；所述种循环神经网络的变种包括但不仅限于长短期记忆网络和门控循环单元。
3.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～2任意一项所述基于时空聚合的灵活动态网络链路预测方法。
4.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1～2任意一项所述基于时空聚合的灵活动态网络链路预测方法。
5.一种实施权利要求1～2任意一项所述基于时空聚合的灵活动态网络链路预测方法的动态网络链路预测系统，其特征在于，所述动态网络链路预测系统包括：
预测数据生成模块，用于对数据进行预处理，利用生成器生成预测数据；
辨别数据模块，用于利用鉴别器辨别数据，交替、迭代更新生成器和鉴别器；
预测结果生成模块，用于生成预测结果。
6.一种动态网络链路预测终端，其特征在于，所述动态网络链路预测终端用于实现权利要求1～2任意一项所述的基于时空聚合的灵活动态网络链路预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110132110.3A CN112766464B (zh) | 2021-01-31 | 2021-01-31 | 基于时空聚合的灵活动态网络链路预测方法、系统及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110132110.3A CN112766464B (zh) | 2021-01-31 | 2021-01-31 | 基于时空聚合的灵活动态网络链路预测方法、系统及应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112766464A CN112766464A (zh) | 2021-05-07 |
| CN112766464B true CN112766464B (zh) | 2023-07-25 |
Family
ID=75704240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110132110.3A Active CN112766464B (zh) | 2021-01-31 | 2021-01-31 | 基于时空聚合的灵活动态网络链路预测方法、系统及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112766464B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114205251B (zh) * | 2021-12-09 | 2022-12-02 | 西安电子科技大学 | 基于时空特征的交换机链路资源预测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110138595A (zh) * | 2019-04-12 | 2019-08-16 | 中国科学院深圳先进技术研究院 | 动态加权网络的时间链路预测方法、装置、设备及介质 |
| WO2019220128A1 (en) * | 2018-05-18 | 2019-11-21 | Benevolentai Technology Limited | Graph neutral networks with attention |
| WO2020068831A1 (en) * | 2018-09-26 | 2020-04-02 | Visa International Service Association | Dynamic graph representation learning via attention networks |
| CN111368074A (zh) * | 2020-02-24 | 2020-07-03 | 西安电子科技大学 | 一种基于网络结构和文本信息的链路预测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11373233B2 (en) * | 2019-02-01 | 2022-06-28 | Target Brands, Inc. | Item recommendations using convolutions on weighted graphs |
-
2021
- 2021-01-31 CN CN202110132110.3A patent/CN112766464B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019220128A1 (en) * | 2018-05-18 | 2019-11-21 | Benevolentai Technology Limited | Graph neutral networks with attention |
| CN112119412A (zh) * | 2018-05-18 | 2020-12-22 | 伯耐沃伦人工智能科技有限公司 | 具有注意力的图神经网络 |
| WO2020068831A1 (en) * | 2018-09-26 | 2020-04-02 | Visa International Service Association | Dynamic graph representation learning via attention networks |
| CN110138595A (zh) * | 2019-04-12 | 2019-08-16 | 中国科学院深圳先进技术研究院 | 动态加权网络的时间链路预测方法、装置、设备及介质 |
| CN111368074A (zh) * | 2020-02-24 | 2020-07-03 | 西安电子科技大学 | 一种基于网络结构和文本信息的链路预测方法 |
Non-Patent Citations (5)
| Title |
|---|
| Gcn-gan: A non-linear temporal link prediction model for weighted dynamic networks;Lei K;《IEEE INFOCOM 2019-IEEE Conference on Computer Communications》;20190617;全文 * |
| Temporal neighbourhood aggregation predicting future links in temporal graphs via recurrent variational graph convolutions;Bonner;《2019 IEEE international conference on big data》;20200224;全文 * |
| 基于机器学习的链路预测相关问题研究;赵明浩;《中国优秀硕士学位论文全文数据库 基础科学辑》;20200215;A002-148 * |
| 基于特征分类的链路预测方法综述;王慧等;《计算机科学》;20200826(第08期);302-312页 * |
| 属性网络社团挖掘算法研究;陈灏然;《中国优秀硕士学位论文全文数据库 基础科学辑》;20200715;A002-103 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112766464A (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tian et al. | An intrusion detection approach based on improved deep belief network | |
| Din et al. | Online reliable semi-supervised learning on evolving data streams | |
| Khan et al. | An unsupervised deep learning ensemble model for anomaly detection in static attributed social networks | |
| CN110138595A (zh) | 动态加权网络的时间链路预测方法、装置、设备及介质 | |
| Imran et al. | Intrusion detection in networks using cuckoo search optimization | |
| Wanda et al. | DeepOSN: Bringing deep learning as malicious detection scheme in online social network | |
| Bharti et al. | Recent trends in nature inspired computation with applications to deep learning | |
| Li et al. | Federated anomaly detection on system logs for the internet of things: A customizable and communication-efficient approach | |
| US11593619B2 (en) | Computer architecture for multiplier-less machine learning | |
| Gao et al. | A content-based method for sybil detection in online social networks via deep learning | |
| Gao et al. | Adversarial mobility learning for human trajectory classification | |
| Berghout et al. | EL-NAHL: Exploring labels autoencoding in augmented hidden layers of feedforward neural networks for cybersecurity in smart grids | |
| Demertzis et al. | Geo-AI to aid disaster response by memory-augmented deep reservoir computing | |
| Yan et al. | TL-CNN-IDS: transfer learning-based intrusion detection system using convolutional neural network | |
| Hernandez et al. | Using deep learning for temporal forecasting of user activity on social media: challenges and limitations | |
| Huang et al. | SOPA‐GA‐CNN: Synchronous optimisation of parameters and architectures by genetic algorithms with convolutional neural network blocks for securing Industrial Internet‐of‐Things | |
| CN112766464B (zh) | 基于时空聚合的灵活动态网络链路预测方法、系统及应用 | |
| Tellez et al. | Gauging Biases in Various Deep Learning AI Models | |
| Haroon et al. | Application of machine learning in forensic science | |
| Wang et al. | Deep-learning-based identification of influential spreaders in online social networks | |
| Nguyen et al. | Supervised learning models for social bot detection: Literature review and benchmark | |
| Priya et al. | An intelligent fuzzy and IoT-aware air quality prediction and monitoring system using CRF and Bi-LSTM | |
| Kumar et al. | Hybrid evolutionary techniques in feed forward neural network with distributed error for classification of handwritten Hindi ‘SWARS’ | |
| Swaroop et al. | CGSA optimized LSTM auto encoder for outlier detection | |
| Bhambulkar et al. | Detecting fake profiles on social networks: a systematic investigation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |