CN117035013A - 一种采用脉冲神经网络预测动态网络链路的方法 - Google Patents

一种采用脉冲神经网络预测动态网络链路的方法 Download PDF

Info

Publication number
CN117035013A
CN117035013A CN202311041935.XA CN202311041935A CN117035013A CN 117035013 A CN117035013 A CN 117035013A CN 202311041935 A CN202311041935 A CN 202311041935A CN 117035013 A CN117035013 A CN 117035013A
Authority
CN
China
Prior art keywords
network
node
time
model
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311041935.XA
Other languages
English (en)
Inventor
廖运春
舒坚
舒馨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Original Assignee
Nanchang Hangkong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University filed Critical Nanchang Hangkong University
Priority to CN202311041935.XA priority Critical patent/CN117035013A/zh
Publication of CN117035013A publication Critical patent/CN117035013A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种采用脉冲神经网络预测动态网络链路的方法，包括：S1，采用时间序列分析方法，对网络数据进行切片处理获得一系列按时间排序的网络快照；S2，借助自注意力机制学习节点之间的空间依赖，采用PinSAGE模型对每个网络快照中的节点进行邻居信息的采样和聚合，得到节点拓扑特征向量；S3，使用增加门控循环机制的脉冲神经网络处理节点拓扑特征向量，捕获动态网络中的时序演变信息，引入时间衰减因子结合池化操作进行时序汇聚生成最终的节点嵌入向量用于链路预测。本发明能够对动态网络链路进行高效的预测，解决在大规模的网络场景下模型计算复杂度高，影响预测效率的问题。

Description

一种采用脉冲神经网络预测动态网络链路的方法
技术领域
本发明涉及网络链路预测技术领域，特别是涉及一种采用脉冲神经网络预测动态网络链路的方法。
背景技术
动态网络是随着时间的变化而不断演化的网络，因为其复杂的动态特性和非线性拓扑特征，一直是复杂网络领域中研究的重点。在现实世界中，动态网络典型的例子有社交网络、机会网络、以及交通网络等。链路预测是动态网络之中的一个重要研究方向，旨在根据网络的已知的信息发现和还原网络中丢失的信息，或者预测网络中节点之间未来可能存在的关系。
现有技术中，通常使用复杂的模型分析较小规模的网络，然而很多实际的网络规模较大，这些模型存在着计算复杂度较高，模型训练较难达到拟合的问题。在具体分析时，很多方法忽略了网络中节点之间的空间依赖，这会造成一定的预测误差。
发明内容
为此，本发明的一个实施例提出一种采用脉冲神经网络预测动态网络链路的方法，以对动态网络链路进行高效的预测，解决在大规模的网络场景下模型计算复杂度高，影响预测效率的问题。
根据本发明一实施例的采用脉冲神经网络预测动态网络链路的方法，包括：
S1，采用时间序列分析方法，对网络数据进行切片处理获得一系列按时间排序的网络快照；
S2，借助自注意力机制学习节点之间的空间依赖，采用PinSAGE模型对每个网络快照中的节点进行邻居信息的采样和聚合，得到节点拓扑特征向量；
S3，使用增加门控循环机制的脉冲神经网络处理节点拓扑特征向量，捕获动态网络中的时序演变信息，引入时间衰减因子结合池化操作进行时序汇聚生成最终的节点嵌入向量用于链路预测。
根据本发明实施例的采用脉冲神经网络预测动态网络链路的方法，考虑到动态网络拓扑结构随着时间不断演化，本发明运用时间序列方法对样本数据进行切片，数据预处理后获得每个网络快照的邻接矩阵，通过PinSAGE模型“游走-采样-聚合”的思想提取动态网络的静态拓扑信息，自注意力机制学习节点间的空间依赖，然后构建带有门控循环机制的脉冲神经网络用以“二值”脉冲序列的方式提取动态时序信息，从而准确高效地把握动态网络节点对的潜在演变规律。
本发明利用PinSAGE模型在大网络上的速度优势，借助自注意力机制学习节点间的空间依赖，结合带有门控循环机制的脉冲神经网络中使用脉冲序列进行二值传递的特性，建立基于脉冲神经网络的预测模型，得以高效学习动态网络链路变化的内在特征，为动态网络的动态变化特征提取和链路预测提供一定的支撑。
另外，根据本发明上述实施例的采用脉冲神经网络预测动态网络链路的方法，还可以具有如下附加的技术特征：
进一步地，步骤S1具体包括：
基于时间序列分析，使用网络切片方法将动态网络切分，生成网络快照集合，网络快照的邻接矩阵A中的元素Ax,y的表达式为：
其中，0代表节点x和节点y之间无连接，1表示节点x和节点y之间有连接。
进一步地，步骤S2具体包括：
S21，为了学习节点之间的空间依赖，在输入到PinSAGE模型之前增加一层自注意力机制，其计算公式如下：
S＝softmax(Query*KeyT)
其中，softmax是激活函数，Query是查询值，Key是内容值，Query＝A*WQuery，Key＝A*Wkey，WQuery和Wkey分别为查询值和内容值对应的权重矩阵，*表示乘法运算，T表示转置操作，S是所得的评分矩阵，IN是一个N维的单位矩阵，是加入自连接的评分矩阵；
更新度矩阵的计算公式如下：
式中，为更新后的度矩阵；
S22，增加自注意力机制后，使用PinSAGE模型对于输入的矩阵数据进行模型训练，该模型利用“游走-采样-聚合”的方式进行消息传递，消息传递公式如下：
其中，σ是非线性激活函数，为评分矩阵的对称归一化，H(l)表示节点上一层的隐藏特征，X是节点的特征向量，W(l)是第l层的可学习的参数矩阵，H(l+1)是所得到的节点拓扑特征向量，l是PinSAGE模型聚合的层次。
进一步地，步骤S3具体包括：
S31，经过PinSAGE模型进行图卷积聚合信息后，使用脉冲神经网络处理节点拓扑特征向量以捕捉动态网络中的时序信息，时序信息提取过程表达式如下：
It＝βIt-1+XtW
Vt＝αVt-1+It-VthYt-1
Yt＝Θ(Vt-Vth)
其中，It表示t时间步下的电流值，It-1表示t-1时间步下输出的电流值，Xt是t时间步下输入的节点拓扑特征向量，W为Xt的权重矩阵，Vt是t时间步下的电压值，Vt-1为示t-1时间步下输出的电压值，Θ是阶跃函数，Vth是阈值，τm是神经元膜电容常数，Vreset是重置后的电压，α和β分别是膜电位和突触电流的衰减因子，Yt-1为t-1时间步下的输出，Yt为t时间步下的输出；
S32，为了缓解SNN神经网络中的梯度消失问题，同时更加充分的建模时间维度上的非线性关系，将LSTM的门控机制引入进来以更新突触电流，如下所示：
It＝Ft⊙It-1+(1-Ft)⊙Ct
Ct＝ReLU(XtWci+Yt-1Wcr)
Ft＝σ(XtWfi+Yt-1Wfr)
其中，Ft表示t时间步下的遗忘门，Ct表示t时间步下候选门，选择部分成为候选信号，Xt为当前嵌入，Yt-1为上一层的输出，Wfi和Wci分别是用于确定遗忘信号和候选信号的输入消息的权值矩阵，ReLU是二值激活函数，σ是非线性激活函数，⊙表示的是哈达玛积，Wfr和Wcr是先前输出的权重矩阵，分别用于确定遗忘信号和候选信号；
S33，引入时间衰减因子，描述时间衰减因子对于目标网络快照的重要程度，用于更好拟合动态网络演变情况，其计算公式如下：
Nm＝-N0e-am
其中，Nm是第m个网络快照中目标节点所对应的权重因子，a和N0是预定义的超参数，e为常数；
通过时间衰减因子结合池化操作得到最终的节点嵌入向量zv，其计算公式如下：
其中，代表聚合L层邻域的第m个网络快照内的节点嵌入向量，/>代表聚合L层邻域的第M个网络快照内的节点嵌入向量，||是拼接操作，v表示节点的编号，Linear是一层前馈神经网络，m是网络快照编号，V是顶点集合，L是聚合的层数，NM是第M个网络快照中目标节点所对应的权重因子；
S34，利用多层感知机作为预测器，并使用交叉熵损失函数，并设定好合适的超参数，优化算法以完成模型的训练，预测器的概率计算表达式如下：
yi,j＝MLP(zi⊙zj)
其中，zi和zj分别表示节点i与节点j的最终嵌入向量，MLP为多层感知机，yi,j是节点i与节点j之间产生连接的概率；
交叉熵损失函数Loss的表达式如下：
其中，N是概率样本的总数，i表示概率样本编号；yi是样本i实际的标签，0表示不存在连接，1表示存在；是模型预测样本i的概率值。
附图说明
本发明实施例的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明一实施例的采用脉冲神经网络预测动态网络链路的方法的流程示意图；
图2是动态网络时间切片示意图；
图3是PinSAGE模型采样聚合的过程示意图；
图4是脉冲神经单元示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中，通常使用复杂的模型分析较小规模的网络，然而很多实际的网络规模较大，这些模型存在着计算复杂度较高，模型训练较难达到拟合的问题。在具体分析时，很多方法忽略了网络中节点之间的空间依赖，这会造成一定的预测误差。
动态网络拓扑结构随着时间不断演化，可以运用时间序列方法对样本数据进行切片，数据预处理后获得每个网络快照的邻接矩阵，通过PinSAGE模型的“游走-采样-聚合”的思想提取动态网络的静态拓扑信息，自注意力机制学习节点间的空间依赖，然后构建带有门控循环机制的脉冲神经网络用以“二值”脉冲序列的方式提取动态时序信息，从而准确高效地把握动态网络节点对的潜在演变规律。
基于上述内容，请参阅图1，本发明一实施例提出的采用脉冲神经网络预测动态网络链路的方法，包括步骤S1～S3：
S1，采用时间序列分析方法，对网络数据进行切片处理获得一系列按时间排序的网络快照。
定义某个动态网络为G＝(V，E)，其中V为节点集合，E为边集合，如图2所示，网络快照的集合为G＝{G1，G2，…，Gn}，其中Gi＝(Vi，Ei)，Gi表示i时刻的网络拓扑结构图，Vi表示i时刻节点的集合，Ei表示i时刻边的集合。
基于时间序列分析，使用网络切片方法将动态网络切分，生成网络快照集合，网络快照的邻接矩阵A中的元素Ax,y的表达式为：
其中，0代表节点x和节点y之间无连接，1表示节点x和节点y之间有连接。
S2，借助自注意力机制学习节点之间的空间依赖，采用PinSAGE模型对每个网络快照中的节点进行邻居信息的采样和聚合，得到节点拓扑特征向量。
其中，步骤S2具体包括步骤S21～S22：
S21，为了学习节点之间的空间依赖，在输入到PinSAGE模型之前增加一层自注意力机制，其计算公式如下：
S＝softmax(Query*KeyT)
其中，softmax是激活函数，Query是查询值，Key是内容值，Query＝A*WQuery，Key＝A*Wkey，WQuery和Wkey分别为查询值和内容值对应的权重矩阵，*表示乘法运算，T表示转置操作，S是所得的评分矩阵，IN是一个N维的单位矩阵，是加入自连接的评分矩阵；
更新度矩阵的计算公式如下：
式中，为更新后的度矩阵；
S22，增加自注意力机制后，使用PinSAGE模型对于输入的矩阵数据进行模型训练，该模型利用“游走-采样-聚合”的方式进行消息传递。
邻居采样方法可参阅图3，图3中设置了13个节点，每个数字表示节点的编号，该方法首先以节点0为目标节点，设定每一阶的采样范围为4个，并使用随机游走出4个序列，再统计排序得到前几个高频次出现的节点作为邻居，图中的高频节点为3、2、11和12，然后将这些高频节点的特征进行聚合获得目标节点的拓扑特征嵌入。
PinSAGE模型的消息传递公式如下：
其中，σ是非线性激活函数，为评分矩阵的对称归一化，H(l)表示节点上一层的隐藏特征，X是节点的特征向量，W(l)是第l层的可学习的参数矩阵，H(l+1)是所得到的节点拓扑特征向量，l是PinSAGE模型聚合的层次。
S3，使用增加门控循环机制的脉冲神经网络处理节点拓扑特征向量，捕获动态网络中的时序演变信息，引入时间衰减因子结合池化操作进行时序汇聚生成最终的节点嵌入向量用于链路预测。
其中，步骤S3具体包括步骤S31～S34：
S31，经过PinSAGE模型进行图卷积聚合信息后，每一个时间切片的输出向量都聚合了节点的邻居信息，随后按序列中的切片顺序将选定节点的拓扑特征向量输入到脉冲神经网络中的神经单元之中，基于其神经元之间的时间依赖关系，脉冲神经网络能够学习和捕捉时间序列中的相关性，其时序信息提取过程表达式如下：
It＝βIt-1+XtW
Vt＝αVt-1+It-VthYt-1
Yt＝Θ(Vt-Vth)
其中，It表示t时间步下的电流值，It-1表示t-1时间步下输出的电流值，Xt是t时间步下输入的节点拓扑特征向量，W为Xt的权重矩阵，Vt是t时间步下的电压值，Vt-1为示t-1时间步下输出的电压值，Θ是阶跃函数，Vth是阈值，τm是神经元膜电容常数，Vreset是重置后的电压，α和β分别是膜电位和突触电流的衰减因子，Yt-1为t-1时间步下的输出，Yt为t时间步下的输出；
在脉冲神经网络中，神经元之间的信息传递是通过模拟神经元产生脉冲的方式来实现的。本发明中使用的脉冲神经单元可参阅图4，该模型主要采用“充电-放电-重置”的思想，通过t-1时间步输入的电流值Xt-1的与t-1时间步得到的中间变量Ht-1进行充电运算并判断是否达到阈值，如果达到阈值则发射t-1时间步的脉冲St-1并重置为t-1时间步下的电压Vt-1，若未达到则不发射，直接重置为Vt-1，以相同思想得到t时间步下的电压值Vt，St为t时间步发射的脉冲，Ht是t时间步下的中间变量，Xt为t时间步下的输入电流值。
S32，由于在每一层输出都是乘以一个固定的衰减常量，在网络层次变深后，这可能会导致梯度消失，为了缓解SNN神经网络中的梯度消失问题，同时更加充分的建模时间维度上的非线性关系，将LSTM的门控机制引入进来以更新突触电流，如下所示：
It＝Ft⊙It-1+(1-Ft)⊙Ct
Ct＝ReLU(XtWci+Yt-1Wcr)
Ft＝σ(XtWfi+Yt-1Wfr)
其中，Ft表示t时间步下的遗忘门，Ct表示t时间步下候选门，选择部分成为候选信号，Xt为当前嵌入，Yt-1为上一层的输出，Wfi和Wci分别是用于确定遗忘信号和候选信号的输入消息的权值矩阵，ReLU是二值激活函数，σ是非线性激活函数，⊙表示的是哈达玛积，Wfr和Wcr是先前输出的权重矩阵，分别用于确定遗忘信号和候选信号；
S33，引入时间衰减因子，描述时间衰减因子对于目标网络快照的重要程度，用于更好拟合动态网络演变情况，其计算公式如下：
Nm＝-N0e-am
其中，Nm是第m个网络快照中目标节点所对应的权重因子，a和N0是预定义的超参数，e为常数；
通过时间衰减因子结合池化操作得到最终的节点嵌入向量zv，其计算公式如下：
其中，代表聚合L层邻域的第m个网络快照内的节点嵌入向量，/>代表聚合L层邻域的第M个网络快照内的节点嵌入向量，||是拼接操作，v表示节点的编号，Linear是一层前馈神经网络，m是网络快照编号，V是顶点集合，L是聚合的层数，NM是第M个网络快照中目标节点所对应的权重因子；
S34，利用多层感知机作为预测器，并使用交叉熵损失函数，并设定好合适的超参数，优化算法以完成模型的训练，预测器的概率计算表达式如下：
yi,j＝MLP(zi⊙zj)
其中，zi和zj分别表示节点i与节点j的最终嵌入向量，MLP为多层感知机，yi,j是节点i与节点j之间产生连接的概率；
交叉熵损失函数Loss的表达式如下：
其中，N是概率样本的总数，i表示概率样本编号；yi是样本i实际的标签，0表示不存在连接，1表示存在；是模型预测样本i的概率值。
综上，根据本实施例提供的采用脉冲神经网络预测动态网络链路的方法，考虑到动态网络拓扑结构随着时间不断演化，本发明运用时间序列方法对样本数据进行切片，数据预处理后获得每个网络快照的邻接矩阵，通过PinSAGE模型“游走-采样-聚合”的思想提取动态网络的静态拓扑信息，自注意力机制学习节点间的空间依赖，然后构建带有门控循环机制的脉冲神经网络用以“二值”脉冲序列的方式提取动态时序信息，从而准确高效地把握动态网络节点对的潜在演变规律。
本发明利用PinSAGE模型在大网络上的速度优势，借助自注意力机制学习节点间的空间依赖，结合带有门控循环机制的脉冲神经网络中使用脉冲序列进行二值传递的特性，建立基于脉冲神经网络的预测模型，得以高效学习动态网络链路变化的内在特征，为动态网络的动态变化特征提取和链路预测提供一定的支撑。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (4)

1.一种采用脉冲神经网络预测动态网络链路的方法，其特征在于，包括以下步骤：
S1，采用时间序列分析方法，对网络数据进行切片处理获得一系列按时间排序的网络快照；
S2，借助自注意力机制学习节点之间的空间依赖，采用PinSAGE模型对每个网络快照中的节点进行邻居信息的采样和聚合，得到节点拓扑特征向量；
S3，使用增加门控循环机制的脉冲神经网络处理节点拓扑特征向量，捕获动态网络中的时序演变信息，引入时间衰减因子结合池化操作进行时序汇聚生成最终的节点嵌入向量用于链路预测。
2.根据权利要求1所述的采用脉冲神经网络预测动态网络链路的方法，其特征在于，步骤S1具体包括：
基于时间序列分析，使用网络切片方法将动态网络切分，生成网络快照集合，网络快照的邻接矩阵A中的元素Ax,y的表达式为：
其中，0代表节点x和节点y之间无连接，1表示节点x和节点y之间有连接。
3.根据权利要求2所述的采用脉冲神经网络预测动态网络链路的方法，其特征在于，步骤S2具体包括：
S21，为了学习节点之间的空间依赖，在输入到PinSAGE模型之前增加一层自注意力机制，其计算公式如下：
S＝softmax(Query*KeyT)
其中，softmax是激活函数，Query是查询值，Key是内容值，Query＝A*WQuery，Key＝A*Wkey，WQuery和Wkey分别为查询值和内容值对应的权重矩阵，*表示乘法运算，T表示转置操作，S是所得的评分矩阵，IN是一个N维的单位矩阵，是加入自连接的评分矩阵；
更新度矩阵的计算公式如下：
式中，为更新后的度矩阵；
S22，增加自注意力机制后，使用PinSAGE模型对于输入的矩阵数据进行模型训练，该模型的消息传递公式如下：
其中，σ是非线性激活函数，为评分矩阵的对称归一化，H(l)表示节点上一层的隐藏特征，X是节点的特征向量，W(l)是第l层的可学习的参数矩阵，H(l+1)是所得到的节点拓扑特征向量，l是PinSAGE模型聚合的层次。
4.根据权利要求3所述的采用脉冲神经网络预测动态网络链路的方法，其特征在于，步骤S3具体包括：
S31，经过PinSAGE模型进行图卷积聚合信息后，使用脉冲神经网络处理节点拓扑特征向量以捕捉动态网络中的时序信息，时序信息提取过程表达式如下：
It＝βIt-1+XtW
Vt＝αVt-1+It-VthYt-1
Yt＝Θ(Vt-Vth)
其中，It表示t时间步下的电流值，It-1表示t-1时间步下输出的电流值，Xt是t时间步下输入的节点拓扑特征向量，W为Xt的权重矩阵，Vt是t时间步下的电压值，Vt-1为示t-1时间步下输出的电压值，Θ是阶跃函数，Vth是阈值，τm是神经元膜电容常数，Vreset是重置后的电压，α和β分别是膜电位和突触电流的衰减因子，Yt-1为t-1时间步下的输出，Yt为t时间步下的输出；
S32，将LSTM的门控机制引入进来以更新突触电流，如下所示：
It＝t⊙It-1+(1-Ft)⊙Ct
Ct＝ReLU(XtWci+Yt-1Wcr)
Ft＝σ(XtWfi+Yt-1Wfr)
其中，Ft表示t时间步下的遗忘门，Ct表示t时间步下候选门，选择部分成为候选信号，Xt为当前嵌入，Yt-1为上一层的输出，Wfi和Wci分别是用于确定遗忘信号和候选信号的输入消息的权值矩阵，ReLU是二值激活函数，σ是非线性激活函数，⊙表示的是哈达玛积，Wfr和Wcr是先前输出的权重矩阵，分别用于确定遗忘信号和候选信号；
S33，引入时间衰减因子，描述时间衰减因子对于目标网络快照的重要程度，用于更好拟合动态网络演变情况，其计算公式如下：
Nm＝-N0e-am
其中，Nm是第m个网络快照中目标节点所对应的权重因子，a和N0是预定义的超参数，e为常数；
通过时间衰减因子结合池化操作得到最终的节点嵌入向量zv，其计算公式如下：
其中，代表聚合L层邻域的第m个网络快照内的节点嵌入向量，/>代表聚合L层邻域的第M个网络快照内的节点嵌入向量，||是拼接操作，v表示节点的编号，Linear是一层前馈神经网络，m是网络快照编号，V是顶点集合，L是聚合的层数，NM是第M个网络快照中目标节点所对应的权重因子；
S34，利用多层感知机作为预测器，并使用交叉熵损失函数，并设定好合适的超参数，优化算法以完成模型的训练，预测器的概率计算表达式如下：
yi,j＝MLP(zi⊙zj)
其中，zi和zj分别表示节点i与节点j的最终嵌入向量，MLP为多层感知机，yi,j是节点i与节点j之间产生连接的概率；
交叉熵损失函数Loss的表达式如下：
其中，N是概率样本的总数，i表示概率样本编号，yi是样本i实际的标签，是模型预测样本i的概率值。
CN202311041935.XA 2023-08-18 2023-08-18 一种采用脉冲神经网络预测动态网络链路的方法 Pending CN117035013A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311041935.XA CN117035013A (zh) 2023-08-18 2023-08-18 一种采用脉冲神经网络预测动态网络链路的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311041935.XA CN117035013A (zh) 2023-08-18 2023-08-18 一种采用脉冲神经网络预测动态网络链路的方法

Publications (1)

Publication Number Publication Date
CN117035013A true CN117035013A (zh) 2023-11-10

Family

ID=88624278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311041935.XA Pending CN117035013A (zh) 2023-08-18 2023-08-18 一种采用脉冲神经网络预测动态网络链路的方法

Country Status (1)

Country Link
CN (1) CN117035013A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117709258A (zh) * 2023-12-12 2024-03-15 南京邮电大学 基于图神经网络的路径时序预测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117709258A (zh) * 2023-12-12 2024-03-15 南京邮电大学 基于图神经网络的路径时序预测方法

Similar Documents

Publication Publication Date Title
Chen et al. Deformation prediction of landslide based on improved back-propagation neural network
Yang et al. IoT data analytics in dynamic environments: From an automated machine learning perspective
CN109581339B (zh) 一种基于头脑风暴自动调整自编码网络的声呐识别方法
CN114373101A (zh) 基于进化策略的神经网络架构搜索的图像分类方法
Zhong et al. Where to Prune: Using LSTM to Guide End-to-end Pruning.
Xia et al. Deciphering spatio-temporal graph forecasting: A causal lens and treatment
Rustia et al. Predicting student's board examination performance using classification algorithms
CN117035013A (zh) 一种采用脉冲神经网络预测动态网络链路的方法
Gao et al. Adversarial mobility learning for human trajectory classification
CN115862319A (zh) 一种面向时空图自编码器的交通流量预测方法
CN116402352A (zh) 一种企业风险预测方法、装置、电子设备及介质
Ahmed et al. Recognizing a spatial extreme dependence structure: A deep learning approach
Abdullah et al. Evolving spiking neural networks methods for classification problem: a case study in flood events risk assessment
Rijal et al. Integrating Information Gain methods for Feature Selection in Distance Education Sentiment Analysis during Covid-19.
Hussein et al. Multi-step-ahead chaotic time series prediction using coevolutionary recurrent neural networks
Yan et al. TL-CNN-IDS: transfer learning-based intrusion detection system using convolutional neural network
CN116451139B (zh) 一种基于人工智能的直播数据快速分析方法
Arribas et al. Neural architectures for parametric estimation of a posteriori probabilities by constrained conditional density functions
Qamar et al. Artificial Neural Networks: An Overview
ABBAS A survey of research into artificial neural networks for crime prediction
KR20190134308A (ko) 합성곱 신경망을 활용한 데이터 확장방법 및 장치
CN118134017A (zh) 一种采用脉冲神经网络预测社交网络链路的方法
CN113469013A (zh) 一种基于迁移学习和时间序列的电机故障预测方法及系统
Hu et al. Data Customization-based Multiobjective Optimization Pruning Framework for Remote Sensing Scene Classification
Jin et al. Research on multi-sensor information fusion algorithm of fan detection robot based on improved BP neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20231110