CN114422382B - 网络流量预测方法、计算机装置、产品及存储介质 - Google Patents

网络流量预测方法、计算机装置、产品及存储介质 Download PDF

Info

Publication number
CN114422382B
CN114422382B CN202210105778.3A CN202210105778A CN114422382B CN 114422382 B CN114422382 B CN 114422382B CN 202210105778 A CN202210105778 A CN 202210105778A CN 114422382 B CN114422382 B CN 114422382B
Authority
CN
China
Prior art keywords
network
time
convolution
module
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210105778.3A
Other languages
English (en)
Other versions
CN114422382A (zh
Inventor
陈小迪
谢鲲
谢若天
张大方
文吉刚
李肯立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202210105778.3A priority Critical patent/CN114422382B/zh
Publication of CN114422382A publication Critical patent/CN114422382A/zh
Application granted granted Critical
Publication of CN114422382B publication Critical patent/CN114422382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种网络流量预测方法、计算机装置、产品及存储介质，本发明分别学习邻近的、以日为周期、以周为周期的三种不同范围的数据的时空特征。将三个模块的输出通过自适应融合机制进行融合，并将融合结果输入预测网络中得到预测序列。设计了门控空洞卷积网络，能够在参数比较小的情况下学习数据时间维度上的长相关性；还设计了混合跳图卷积网络，能够学习数据复杂的空间相关性；此外，为了能够为了充分建模网络节点之间动态的和多层次的相互依赖关系，本发明还提出了一个图学习网络，以数据驱动的方式为STA模块中不同的混合跳图卷积网络学习从浅层次到深层次的邻接矩阵。因此M2STL具有更强的时空学习能力来进行网络流量预测。

Description

网络流量预测方法、计算机装置、产品及存储介质
技术领域
本发明涉及网络流量预测领域，特别是一种网络流量预测方法、计算机装置、产品及存储介质。
背景技术
近年来，科学技术迅速发展，互联网正在渗透人们生活，工作和娱乐的方方面面，给人们生活带来了极大的便利和欢乐。然而快速增长的用户需求和网络规模给当前网络基础架构以及网络安全带来了许多挑战。网络流量是网络运行的重要指标之一，反映了网络运行的整体健康程度。如果能够提前准确预测网络流量，网络运营商可以合理分配资源，做好拥塞控制，提高网络运行效率。同时还能及时发现潜在的网络威胁和异常，并提供细致化的运维指导，因此对保障网络安全也具有重要意义。
网络流量预测可以看作是一个典型的时空预测问题，而解决这个问题的关键是如何有效地提取复杂的时空特征。如图1显示了网络流量序列在空间维度上的特征，线条越粗，表示两点之间的空间相关性越强。可以发现不同的位置对节点A的影响是不同的，甚至同一个位置随着时间的推移对节点A的影响也是动态变化的。图2显示了时间维度上的特征，两条折线分别表示结点A和结点B的流量变化趋势，实线箭头表示结点未来时间片与历史时间片之间的时间相关性，虚线箭头表示节点A与节点B之间的时空混合特征。可以明显发现，在不同的时间步长上，这些混合特征也是不同的。因此，网络流量数据具有复杂的时间依赖性。
目前关于网络流量预测的研究，主要包括传统的基于统计的回归模型和基于机器学习的预测方法。其中前者假设数据是线性相关的，并采用线性模型对数据进行拟合；后者具有很强的学习能力，能够充分地挖掘数据中的重要特征。
基于统计的回归方法中的一类就是历史平均法(HA)[1]，历史一段时期的网络流量平均值被用作预测值，这种方法简单快速，但是不考虑数据的任何特征，预测精度低。此外，自回归移动平均(ARMA)[2]以及为了提高预测精度而衍生出来的相关方法是使用最广的统计预测方法。
基于机器学习的预测方法分为经典机器学习算法和基于深度学习的算法。经典机器学习算法如支持向量机[3],k最近邻算法[4],贝叶斯模型[5]等等都是在流量预测领域的应用，并且这些算法的性能都比上述基于统计的方法有所提高，但这依赖于特征工程所提取特征的准确度。
基于深度学习的算法能够直接地很好地捕捉流量数据的复杂特征并取得了最佳效果。最开始，简单的深度学习模型被用于流量预测问题，尤其是深度置信网络[6]，循环神经网络[7]以及它的变体LSTM和GRU等等。但这些简单的深度学习模型往往只考虑了流量数据在时间维度上的特征。
随着网络流量模式越发复杂，为了满足实际网络流量预测的需求，更多的混合模型和改进模型被提出，他们同时考虑流量数据的时间特征和空间特征。研究[8]中提出了卷积神经网络和LSTM的混合模型，使用卷积神经网络来捕捉变量之间的局部相关性，使用LSTM来保持长期的时间相关性。文献[9]提出了Diffusion Convolution和GRU组成的DCRNN模型，该模型使用双向随机行走来对图数据上的空间依赖进行建模，使用encoder-decoder架构来对时间依赖进行建模。文献[10]将扩张因果卷积与图卷积融合，进而每个图卷积层能够处理在不同细粒度下，由扩张因果卷积提取的每个节点信息的空间依赖关系。虽然目前这些混合模型的预测性能有很大的提升，但这些研究仍然存在不能充分利用网络流量数据之间潜在依赖关系的问题。
扩张卷积是一种全卷积结构，最早由F.Yu提出[11]。与普通卷积相比，它引入了超参数扩张率d，即在标准卷积核中注入空洞。它的感受野与网络深度、核大小、步幅以及扩张率呈正相关，因此超参数扩张率可以控制感受野的增长速度。比图3表示一维的情况，其中d是扩张率，呈2的指数幂增加，此时，感受野也以2的幂增加。即在图中，第一隐藏层节点的感受野是输入层的2个单元，在第二隐藏层、第三隐藏层和输出层对应增加到4、8、16。因此，在不池化信息损失和相同的计算条件下，感受野被扩大，即每次卷积包含更大规模的信息。近年来，扩张卷积被广泛应用于语义分割、目标检测和时间序列预测等任务。在本发明中，本发明使用由门控机制连接的扩张卷积来学习网络流量序列的时间相关性，可以容易且快速地捕获长相关性。
图卷积神经网络是卷积神经网络对图数据的自然提升，最早由Brun在图信号处理的基础上提出[12]。它可以同时进行节点特征信息和结构信息的端到端学习。近年来，由于图形卷积神经网络在处理实体间的空间相关性方面取得了巨大的成功，它已被广泛应用于自然语言处理，计算机视觉，它也是本发明交通预测任务的最佳选择。然而，缺乏合适的图结构构造技术，限制了图卷积网络的发展。
综上，现有研究存在如下不足：
(1)网络流量数据具有多范围的时空特征。一段时间的网络流量不仅与最近的时段的历史数据有关，还与最近几天和最近几周相应时段的历史数据有关。在没有同时学习多范围时空特征的情况下，目前的方法预测精度仍然不高。
(2)现有的研究主要使用递归神经网络(RNNs)或卷积神经网络(CNNs)来提取网络流量数据的时间相关性。基于RNN的方法无法通过并行化来加速，因此迭代计算过程非常耗时。对于基于CNN的方法，由于卷积核大小的限制，很难获得足够大的感受野来学习长相关性.
(3)为了学习不局限于欧氏空间的复杂空间特征，图神经网络已经被应用于一些现有的研究中。然而，大多数图卷积都是在预先固定的邻接矩阵上实现的，预先固定的邻接矩阵不能反映网络节点之间动态的关系。虽然有很少的研究[20]开始自适应学习的图结构，但是他们只在较浅层次学习一次，性能仍然不高。
发明内容
本发明所要解决的技术问题是，针对现有技术不足，提供一种网络流量预测方法、计算机装置、产品及存储介质，充分提取并利用网络流量数据中多范围多层次的时空特征，实现对全网网络节点之间未来一段时间网络流量的有效预测。
为解决上述技术问题，本发明所采用的技术方案是：一种网络流量预测方法，包括以下步骤：
S1、根据三维张量模型对采集的网络流量原始数据建模，形成原始张量数据，对所述原始张量数据进行归一化处理；
S2、在经步骤S1处理后得到的归一化后的原始张量数据中，截取长度分别为Tr，Td，Tw的邻近的、以日为周期的和以周为周期的历史数据
Figure BDA0003493456040000031
S3、将
Figure BDA0003493456040000032
分别作为第一时空聚合模块、第二时空聚合模块、第三时空聚合模块的输入，融合第一时空聚合模块、第二时空聚合模块、第三时空聚合模块的输出；计算融合结果与预测序列真实值
Figure BDA0003493456040000033
之间的误差，调整第一时空聚合模块、第二时空聚合模块、第三时空聚合模块的参数，直至训练完成，得到预测模型；其中，所述第一时空聚合模块、第二时空聚合模块、第三时空聚合模块对对应的输入数据进行包括如下过程的处理：提取所述输入数据的时间相关性特征，并提取所述时间相关性特征的空间相关性特征，得到输出。
本发明提出的网络流量预测模型(M2STL)具有更强的时空特征学习能力：(1)本发明学习数据时间维度的长相关性时，能够保持较小的参数量；(2)本发明在学习复杂的空间特征时，能够以数据驱动的方式学习数据之间多层次的相关性；(3)本发明能够学习并融合多范围的时空特征。本发明充分提取并利用了网络流量数据中多范围多层次的时空特征，实现了对全网网络节点之间未来一段时间网络流量的有效预测。
步骤S1的具体实现过程包括：
1)将节点i在t时刻的网络流量建模为向量
Figure BDA0003493456040000041
其中
Figure BDA0003493456040000042
为在t时刻从节点i流向节点j的网络流量值，N为网络节点的数量；
Figure BDA0003493456040000043
表示所有网络节点在t时刻的流量矩阵数据；j＝1,2，……，N；
2)将所有时间步的流量矩阵数据构建模为原始张量数据，
Figure BDA0003493456040000044
其中τ为采集的时间步数量；
3)计算N个网络节点在τ时间步内的最大流量值，得到矩阵数据scale∈RN×N；
4)对原始张量数据进行归一化处理，
Figure BDA0003493456040000045
本发明进行了归一化操作，减小了后续深度学习模型的计算成本。
步骤S3中，所述第一时空聚合模块(STA)、第二时空聚合模块、第三时空聚合模块的结构相同；所述第一时空聚合模块包括：
输入卷积层，输出端与残差模块连接；
至少一个残差模块，当残差模块为多个时，多个所述残差模块串联；第一个残差模块与所述输入卷积层的输出端连接；
图学习网络，输入为对应的历史数据，输出为邻接矩阵，且输出对应与各残差模块连接；
多个并联的跳跃卷积层，第一个跳跃卷积层的输入为对应的历史数据，其余跳跃卷积层对应与各残差模块连接；
融合所述多个跳跃卷积层的输出，得到所述第一时空聚合模块的输出。
本发明中，输入卷积层将原始输入映射到高维空间，有利于后续特征提取；残差模块能够保证在提取较深层次的时空特征时，之前获得的较浅层次的时空特征不会被丢失，同时可以避免梯度消失问题的发生；图学习网络，可以为不同残差模块中的混合跳图卷积网络以数据驱动的方式学习不同的邻接矩阵，反应由浅层次到深层次的图结构；时空聚合模块中包含三个残差模块，依次提取数据由浅层次到深层次的时空特征，多个并联的跳跃卷积能够将这些由浅层次到深层次的时空特征都映射到相同的维度，从而聚合都STA的输出中。因此STA模块具有更强的时空学习能力，可以聚合多层次的时空特征。
所述残差模块包括串联的门控空洞卷积网络和混合跳图卷积网络；
其中，所述门控空洞卷积网络的输出Dout表示为：
Figure BDA0003493456040000051
Figure BDA0003493456040000052
和
Figure BDA0003493456040000053
表示膨胀率为d的卷积核，Din为门控空洞卷积网络的输入；tanh为正切双曲激活函数，σ为sigmoid激活函数，
Figure BDA0003493456040000054
表示矩阵之间的元素积；
所述混合跳图卷积网络的输出Gout表示为：
Figure BDA0003493456040000055
Gk′＝WkGk；
Figure BDA0003493456040000056
Figure BDA0003493456040000057
A(m)是第m个残差模块中混合跳图卷积网络的邻接矩阵；Gk-1、Gk是该混合跳图卷积网络的第k个图卷积层的输入和输出，G0＝Gin，Gin为混合跳图卷积网络的输入，β是超参数，I是单位矩阵，Wk相当于特征选择器，是可学习的参数。
残差模块能够保证在提取较深层次的时空特征时，之前获得的较浅层次的时空特征不会被丢失，同时可以避免梯度消失问题的发生。
所述残差模块数量为三个；三个所述残差模块的混合跳图卷积网络均与图学习网络连接；三个门控空洞卷积网络的输出端各与一跳跃卷积层连接；最后一个残差模块的混合跳图卷积网络的输出端接最后一个跳跃卷积层。时空聚合模块中包含三个残差模块，依次提取数据由浅层次到深层次的时空特征，多个并联的跳跃卷积能够将这些由浅层次到深层次的时空特征都映射到相同的维度，从而聚合都STA的输出中。因此STA模块具有更强的时空学习能力，可以聚合多层次的时空特征。
三个邻接矩阵A(1)，A(2)，A(3)的计算公式为：
Figure BDA0003493456040000061
和
Figure BDA0003493456040000062
是参数矩阵；
Figure BDA0003493456040000063
m＝2，3；其中，
Figure BDA0003493456040000064
Figure BDA0003493456040000065
W(m-1)∈RL×L是权重矩阵，b(m-1)∈RN×L是偏置，
Figure BDA0003493456040000066
和
Figure BDA0003493456040000067
共享相同的权重矩阵和偏置。图学习网络可以为不同残差模块中的混合跳图卷积网络以数据驱动的方式学习不同的邻接矩阵，反应由浅层次到深层次的图结构。
本发明还包括预测网络；所述预测网络与所述第一时空聚合模块、第二时空聚合模块、第三时空聚合模块的输出端连接；所述预测网络包括两个串联的卷积层。
三个时空聚合模块分别学习邻近的，以日为周期的，以天为周期的三个不同范围数据的时空特征，将三个时空聚合的输出进行自适应融合(即融合了多范围的时空特征)；再将融合之后的结果输入预测网络，得到最终的预测结果。
本发明还提供了一种计算机装置，包括存储器、处理器及存储在存储器上的计算机程序；所述处理器执行所述计算机程序，以实现本发明所述方法的步骤。
本发明还提供了一种计算机程序产品，包括计算机程序/指令；该计算机程序/指令被处理器执行时实现本发明所述方法的步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序/指令；所述计算机程序/指令被处理器执行时实现本发明所述方法的步骤。
与现有技术相比，本发明所具有的有益效果为：
(1)本发明设计了门控空洞卷积网络来学习历史数据时间维度上的依赖关系，由门控机制连接的两个一维空洞卷积组成。其中，超参数扩张率能够控制门控空洞卷积网络的感受野，因此能够在进行较少次数卷积操作的情况下获得较大感受野，从而保持了较少的参数量，并且门控机制能够有效控制信息传递的过程。
(2)本发明设计了由堆叠的图卷积组成的混合跳图卷积网络来学习从局部到全局的空间相关性。其中还采用了混合跳机制来防止经过多次卷积，节点信息聚合到一点。采用了信息选择机制来选择每一跳卷积产生的对预测序列比较重要信息。每个混合跳图卷积网络都学习并聚合了局部到全局的空间特征，即在预测时能够更加充分的利用数据之间的空间相关性。
(3)本发明设计了图学习网络，能够以数据驱动的方式学习由浅层次到深层次的学习图结构，为不同的混合跳图卷积网络提供不同的邻接矩阵。
附图说明
图1表示网络流量数据在空间维度上的复杂特征；
图2表示网络流量数据在时间维度上的复杂特征；
图3为一维空洞卷积接受域随着网络深度变化的示意图；
图4为本发明提出的深度学习模型M2STL的架构；
图5为本发明设计的关键模块STA的结构图；
图6为本发明在STA模块中设计的门控空洞卷积网络的结构图；
图7为本发明在STA模块中设计的混合跳图卷积网络的结构图；
图8为本发明的深度学习模型M2STL与两个最具竞争力的Baselines在Abilene数据上的平均绝对误差(MAE)随着预测间隔的增大的变化趋势；
图9为本发明的深度学习模型M2STL与两个最具竞争力的Baselines在Abilene数据上的标准化的平均绝对误差(NMAE)随着预测间隔的增大的变化趋势；
图10为本发明的深度学习模型M2STL与两个最具竞争力的Baselines在Abilene数据上的均方根误差(RMSE)随着预测间隔的增大的变化趋势；
图11为本发明的深度学习模型M2STL与两个最具竞争力的Baselines在Abilene数据上的标准化的均方根误差(NRMSE)随着预测间隔的增大的变化趋势。
具体实施方式
本发明实施例包括如下步骤：
步骤1，根据三维张量模型对采集的网络流量原始数据建模形成原始张量数据，同时进行归一化处理；
步骤2，构建深度学习模型M2STL(多范围多层次时空学习模型)，并对模型参数进行初始化。
步骤3，在步骤1得到的归一化后的原始张量数据中，根据需要得到的预测序列真实值
Figure BDA0003493456040000071
截取长度分别为Tr，Td，Tw的邻近的，以日为周期的和以周为周期的历史数据
Figure BDA0003493456040000072
步骤4，将步骤3获得的
Figure BDA0003493456040000073
输入步骤2构建的M2STL模型，并通过计算模型输出与预测序列真实值的误差，对模型参数不断进行迭代更新，当误差小于阈值或达到训练次数时，完成训练，得到最终的预测模型M2STL；
步骤5，当进行预测时，将所需的历史张量数据输入到训练好的M2STL模型中，就能输出理想的预测张量数据。
步骤1包括：
步骤11，将节点i在t时刻的网络建模为向量
Figure BDA0003493456040000081
其中
Figure BDA0003493456040000082
为在t时刻从节点i流向节点j的网络流量值，N为网络节点的数量。那么
Figure BDA0003493456040000083
表示所有结点在t时刻的流量矩阵数据；
步骤12，将数据集中所有时间步的矩阵数据构建模为原始张量数据，
Figure BDA0003493456040000084
其中τ为采集的时间步数量；
步骤13，求出这N个网络节点之间在τ时间步内的最大流量值，得到矩阵数据scale∈RN×N；
步骤14，将原始张量数据进行归一化处理，
Figure BDA0003493456040000085
步骤2包括：
步骤201，在M2STL中设计三个相同的模块STA分别学习邻近的，以日为周期的，以周为周期的历史流量数据的时空特征；
步骤202，在STA模块(时空聚合模块)中首先设计一个输入卷积层，将原始输入映射到高维空间，有利于模块中后续网络结构提取数据的隐藏特征。
步骤203，在STA模块中，设计三个相同的单元，学习数据由浅层到深层的时空特征。
步骤204，在每单元中设计一个由门控连接的两个一维空洞卷积组成的门控空洞卷积网络来捕获时间相关性，如图6所示。其中一维空洞卷积的接受域可以通过膨胀率d进行控制，当d呈指数增长时，接受域也呈指数增长。因此，门控空洞卷积网络能够在保持参数量较小的情况下学习长相关性。图6中的一维空洞卷积1的数学形式可以表示为：
Figure BDA0003493456040000086
其中，
Figure BDA0003493456040000087
表示膨胀率为d的卷积核，Din为门控空洞卷积网络的输入。同理，图四中的一维空洞卷积2的数学形式也可以这样表示，并且他们的卷积核具有相当的尺寸和d：
Figure BDA0003493456040000088
门控空洞卷积网络中的门控机制是通过两个激活函数实现的，能够有效控制信息传递过程，其数学形式可以表示为：
Figure BDA0003493456040000091
其中，D1、D2分别为一维空洞卷积1和一维空洞卷积2的输出，tanh为正切双曲激活函数，σ为sigmoid激活函数，
Figure BDA0003493456040000092
表示矩阵之间的元素积。
步骤205，在每个单元中，设计一个由多个图卷积堆叠的图卷积构成的混合跳图卷积网络，连接在门控空洞卷积网络之后，来学习从门控空洞卷积网络中提取的信息的空间相关性。本发明在其中设计了混合跳机制来防止当进行多次图卷积时所有的节点信息聚合到一点，即在每一条卷积的输入中都加入一部分原始输入。图卷积的过程可以表示为：
Figure BDA0003493456040000093
其中有：
Figure BDA0003493456040000094
Figure BDA0003493456040000095
在上述公式中，
Figure BDA0003493456040000096
A(m)是STA第m个单元中的混合跳图卷积网络的邻接矩阵。I是单位矩阵，Gk-1、Gk是该混合跳图卷积网络的第k个图卷积的输入和输出，其中G0＝Gin是原始输入，β是控制原始状态的保留程度的超参数。
并且，本发明在混合跳图卷积网络中设计了信息选择机制，选择出每一跳卷积提取的重要信息：
Gk′＝WkGk
其中，Wk相当于信息选择器，是可学习的。
本发明结合多个图卷积中提取的从局部到全局的空间特征，混合跳图卷积网络的输出为:
Figure BDA0003493456040000097
其中，K为混合跳图卷积网络中堆叠的图卷积层数。
步骤206，在STA模块设计一个图学习网络为模块中三个单元里的混合跳图卷积网络提供由浅层到深层邻接矩阵A(1)，A(2)，A(3)。图学习网络的实现主要包括以下两部分：
对于A(1)的计算：本发明使用一种基于高斯核的方法来计算节点之间的两两相似度并初始化：
Figure BDA0003493456040000101
其中
Figure BDA0003493456040000102
分别表示的节点i和节点j的嵌入，σ表示标准。
从STA的输入数据中，本发明提取长度为Ta的
Figure BDA0003493456040000103
来计算每个节点的嵌入。由于大量重复的流量模式隐藏在
Figure BDA0003493456040000104
中，为了通过降维和分解过滤掉冗余信息，本发明执行了以下两种操作：
(1)将三维张量
Figure BDA0003493456040000105
重塑为二维矩阵Xa
Figure BDA0003493456040000106
(2)对二维矩阵进行低秩矩阵分解:
Xa＝Xt(Xs)T
其中，Xt，Xs分别表示时间维度上的特征矩阵和空间维度上的特征矩阵(即节点嵌入矩阵)。对于上述高斯核公式(1)中的
Figure BDA0003493456040000107
分别表示Xs的第i行和第j行。
为了反映动态网络环境中真实的图结构，本发明使用随机梯度下降(SGD)优化A(1)。为了压缩训练参数，本发明将矩阵A(1)分解为两个小矩阵：
Figure BDA0003493456040000108
其中
Figure BDA0003493456040000109
L远小于N。图学习网络不是直接训练，而是训练这两个小的矩阵
Figure BDA00034934560400001010
当训练好这两个矩阵
Figure BDA00034934560400001011
后在计算得到A(1)，因此训练参数从N×N减小到了N×L。
对于A(2)，A(3)的计算：跟A(1)一样，A(2)，A(3)也被分解成了两个小矩阵：
Figure BDA00034934560400001012
其中，
Figure BDA00034934560400001013
L远小于N，m＝2，3。
本发明不直接训练
Figure BDA00034934560400001014
为了准确、高效地获取更深层次的图结构，本发明通过一个耦合机制来得到
Figure BDA00034934560400001015
该耦合机制能够充分建模较浅层的图结构与较深层图结构之间的关系，并且减少训练参数：
Figure BDA00034934560400001016
Figure BDA00034934560400001017
其中
Figure BDA00034934560400001018
m＝2，3，W(m-1)∈RL×L是权重矩阵，b(m-1)∈RN×L是偏置。
Figure BDA0003493456040000111
和
Figure BDA0003493456040000112
共享权重矩阵和偏置。
当得到
Figure BDA0003493456040000113
和
Figure BDA0003493456040000114
后，可以算出A(2)，A(3)。
步骤207，在STA模块中，插入跳跃卷积将提取的不同层次的时空信息都聚合到STA的输出中；
步骤208，在STA模块中，插入残差连接，将每个单元的输入添加到它的输出中，从而确保在提取较深层次的特征时，之前较浅层次的信息不会丢失。此外，残差连接还可以避免梯度消失问题；
步骤209，设计自适应融合机制学习在不同预测间隔下STAr、STAd、STAw三个模块的影响权重，对三个模块的输出进行融合：
P＝Prwr+Pdwd+Pwww
其中wr，wd，ww是训练过程中学习得到的影响权重。
步骤210，最后设计一个由两个标准的1×1的卷积组成预测网络(PredictionNet)，将三个模块的融合结果转换到所需要的输出通道大小：
Figure BDA0003493456040000115
其中输入P为三个模块输出的融合结果，输出
Figure BDA0003493456040000116
为预测序列。因此在本发明中，所需的输出通道大小为N。
假设当前时间为t0，需要得到的预测序列为
Figure BDA0003493456040000117
其中t1＝t0+h，h为预测间隔，一天中的采样频率为q。
步骤3包括：
步骤31，为STAr截取长度为Tr的邻近的历史张量数据作为输入：
Figure BDA0003493456040000118
因为网络流量数据是连续渐进的，因此未来的网络流一定会受到刚刚过去时段的网络流的影响；
步骤32，为STAd截取长度为Td的以日为周期的历史张量数据作为输入：
Figure BDA0003493456040000119
每天相同时间段的网络流量一般具有相似的特征；
步骤33，为STAw截取长度为Tw的以周为周期的历史张量数据作为输入：
Figure BDA00034934560400001110
每周相同时间段的网络流量一般具有较强的相似性；
步骤4包括：
步骤41，将步骤3获取的历史数据
Figure BDA0003493456040000121
分别作为STAr、STAd、STAw模块的输入，向前计算得到模型输出
Figure BDA0003493456040000122
步骤42，计算模型输出
Figure BDA0003493456040000123
与预测序列真实值
Figure BDA0003493456040000124
的平均绝对误差E；
步骤43，计算误差E对模型参数的偏导，并通过随机梯度下降和反向传播算法对参数(包括三个STA模块中Dilated Conv Net，Mix-hop GCN Net，Graph Learning Net中的训练参数和预测网络中的训练参数)进行更新；
步骤44，重复步骤42-43，当达到训练次数或误差E小于设定阈值0.00001时完成训练，保存此时模型的参数；
本发明提出深度学习模型(M2STL)充分建模历史流量数据多范围多层次的时空关系。首先M2STL包含了三个相同的STA模块，STAr、STAd、STAw，分别学习邻近的、以日为周期、以周为周期的数据的时空特征。其次，在STA模块中设计了几个特别的结构，它们相互配合，共同提取历史网络流量数据中的特征。
如图4所示，M2STL中有三个相同的STA模块和一个预测网络。三个STA模块，即STAr、STAd、STAw分别学习邻近的、以日为周期的和以周为周期的历史数据的时空特征。然后通过自适应融合机制对这三个模块的输出进行融合，并作为预测网络的输入，最终得到预测序列。
如图5所示，每个STA模块由一个输入卷积层，一个图学习网络和图中虚线框所表示的三个单元组成。每个单元包含一个门控空洞卷积网络和一个混合跳图卷积网络，并且剩余连接和跳跃卷积层也穿插其中。
输入卷积层将原始输入映射到高维空间，有利于模块中后续网络结构提取数据的隐藏特征。
在这个单元中，一个混合跳图卷积网络连接在一个门控空洞卷积网络后面。本发明提出基于一维卷积的门控空洞卷积网络来捕获时间相关性。本发明进一步设计了混合跳图卷积网络来提取从门控空洞卷积网络提取出来信息的空间特征。
值得注意的是，本发明在STA模块中用三个单元从浅到深学习时空特征。为了从浅入深地学习图结构，本发明设计了一个图学习网络，它能够以数据驱动的方式，为三个单元的混合跳图卷积网络提供三个不同的邻接矩阵。与目前只能在较浅层学习图结构的图学习方法相反，本发明的图学习网络是多层次的。
为了结合从多层次学习到的时空特征，本发明在每个单元中连接了跳跃卷积层来聚合不同层次的特征作为STA模块的输出。
本发明还在STA模块中设计了一个残差连接，将每个单元的输入融合到其输出中，可以保证在提取更深层次的特征时，不会丢失之前提取的浅层次的信息。此外，残差连接还可以避免梯度消失问题。
本发明提供的基于深度学习的网络流量预测方法,将网络流量数据建模成为张量并进行归一化处理，能够有效为后续深度学习模型中的计算减小负担。本发明提出的M2STL中，设计了门控空洞卷积网络，混合跳图卷积网络图学习网络共同工作，相互配合，来学习网络流量数据之间多范围多层次的时空特征。并且设计了一些有用的机制来使M2STL更加有效和高效，包括门控机制，混合跳机制，自适应特征选择机制，耦合机制，自适应融合机制。
通过在真实数据集上的对比实验验证了本发明提出的深度学习模型M2STL的有效性和准确性，表1-2和图8-11。本发明在Abilene，Geant两个真实数据集上将本发明的深度学习模型M2STL与其他六个Baselines进行了对比，包括历史HA，DCRNN，DeepLGR，STGCN，Graph WaveNet，MTGNN(这些方法在别人的论文中直接用的英文简写，没有中文)，并且采用的四种衡量指标：平均绝对值误差(MAE)，标准化平均绝对值误差(MAE)，均方根误差(MRSE)，标准化均方根误差(NMRSE)对预测性能进行衡量，并且，这四种指标越小，表明预测性能越好。表1和表2分别表示在Abilene和Geant上的实验结果，从表中可以看出，M2STL的预测性能在所有情况下都要优于其他Baselines。其中，Graph WaveNet，MTGNN是最具竞争力的两种方法，但预测性能仍然不敌本发明的M2STL，图8-11显示了在Abilene数据集上，本发明M2STL，Graph WaveNet，MTGNN三种预测方法的四种指标随着预测间隔h的增大的变化趋势，折线的斜率表示相应指标的增长速率，从图中可以明显的看出，本发明M2STL四种指标的增长速度比Graph WaveNet和MTGNN的都要更小，说明本发明模型的稳定性更好。
表1本发明的深度学习模型M2STL与其他六个Baselines在Abilene数据集上的对比实验结果
Figure BDA0003493456040000131
Figure BDA0003493456040000141
表2本发明的深度学习模型M2STL与其他六个Baselines在Geant数据集上的对比实验结果
Figure BDA0003493456040000142
Figure BDA0003493456040000151

Claims (6)

1.一种网络流量预测方法，其特征在于，包括以下步骤：
S1、根据三维张量模型对采集的网络流量原始数据建模，形成原始张量数据，对所述原始张量数据进行归一化处理；
S2、在经步骤S1处理后得到的归一化后的原始张量数据中，截取长度分别为Tr，Td，Tw的邻近的、以日为周期的和以周为周期的历史数据
Figure FDA0004006176600000011
Figure FDA0004006176600000012
S3、将
Figure FDA0004006176600000013
分别作为第一时空聚合模块、第二时空聚合模块、第三时空聚合模块的输入，融合第一时空聚合模块、第二时空聚合模块、第三时空聚合模块的输出；将融合结果输入预测网络得到预测结果，计算预测结果与预测序列真实值
Figure FDA0004006176600000014
之间的误差，根据所述误差调整第一时空聚合模块、第二时空聚合模块、第三时空聚合模块和预测网络的参数，直至训练完成，得到预测模型；其中，所述第一时空聚合模块、第二时空聚合模块、第三时空聚合模块对对应的输入数据进行包括如下过程的处理：提取所述输入数据的时间相关性特征，并提取所述时间相关性特征的空间相关性特征，得到输出；
步骤S1的具体实现过程包括：
1)将节点i在t时刻的网络流量建模为向量
Figure FDA0004006176600000015
其中
Figure FDA0004006176600000016
为在t时刻从节点i流向节点j的网络流量值，N为网络节点的数量；
Figure FDA0004006176600000017
表示所有网络节点在t时刻的流量矩阵数据；j＝1,2，……，N；
2)将所有时间步的流量矩阵数据构建模为原始张量数据，
Figure FDA0004006176600000018
其中τ为采集的时间步数量；
3)计算N个网络节点在τ时间步内的最大流量值，得到矩阵数据scale∈RN×N；
4)对原始张量数据进行归一化处理，
Figure FDA0004006176600000019
步骤S3中，所述第一时空聚合模块、第二时空聚合模块、第三时空聚合模块的结构相同；所述第一时空聚合模块包括：
输入卷积层，输出端与残差模块连接；
至少一个残差模块，当残差模块为多个时，多个所述残差模块串联；第一个残差模块与所述输入卷积层的输出端连接；
图学习网络，输入为对应的历史数据，输出为邻接矩阵，且输出对应与各残差模块连接；
多个并联的跳跃卷积层，第一个跳跃卷积层的输入为对应的历史数据，其余跳跃卷积层对应与各残差模块连接；
融合所述多个跳跃卷积层的输出，得到所述第一时空聚合模块的输出；
所述残差模块包括串联的门控空洞卷积网络和混合跳图卷积网络；
其中，所述门控空洞卷积网络的输出Dout表示为：
Figure FDA0004006176600000021
Figure FDA0004006176600000022
Figure FDA0004006176600000023
和
Figure FDA0004006176600000024
表示膨胀率为d的卷积核参数矩阵，Din为门控空洞卷积网络的输入；tanh为正切双曲激活函数，σ为sigmoid激活函数，
Figure FDA0004006176600000025
表示矩阵之间的元素积；
所述混合跳图卷积网络的输出Gout表示为：
Figure FDA0004006176600000026
Gk′＝WkGk；
Figure FDA0004006176600000027
Figure FDA0004006176600000028
对角矩阵
Figure FDA0004006176600000029
的第i行第i列元素
Figure FDA00040061766000000210
A(m)是第m个残差模块中混合跳图卷积网络的邻接矩阵，A(m)[i][j]表示邻接矩阵A(m)第i行第j列的元素；Gk-1、Gk是该混合跳图卷积网络的第k个图卷积层的输入和输出，G0＝Gin，Gin为混合跳图卷积网络的输入，β是超参数，I是单位矩阵，Wk为特征选择器的参数矩阵。
2.根据权利要求1所述的网络流量预测方法，其特征在于，所述残差模块数量为三个；三个所述残差模块的混合跳图卷积网络均与图学习网络连接；三个门控空洞卷积网络的输出端各与一跳跃卷积层连接；最后一个残差模块的混合跳图卷积网络的输出端接最后一个跳跃卷积层。
3.根据权利要求2所述的网络流量预测方法，其特征在于，三个邻接矩阵A(1)，A(2)，A(3)的计算公式为：
Figure FDA0004006176600000031
Figure FDA0004006176600000032
和
Figure FDA0004006176600000033
是参数矩阵；
Figure FDA0004006176600000034
其中，
Figure FDA0004006176600000035
Figure FDA0004006176600000036
W(m-1)∈RL ×L是权重矩阵，b(m-1)∈RN×L是偏置，
Figure FDA0004006176600000037
和
Figure FDA0004006176600000038
共享相同的权重矩阵和偏置。
4.根据权利要求1所述的网络流量预测方法，其特征在于，还包括预测网络；所述预测网络与所述第一时空聚合模块、第二时空聚合模块、第三时空聚合模块的输出端连接；所述预测网络包括两个串联的卷积层。
5.一种计算机装置，包括存储器、处理器及存储在存储器上的计算机程序；其特征在于，所述处理器执行所述计算机程序，以实现权利要求1～4之一所述方法的步骤。
6.一种计算机可读存储介质，其上存储有计算机程序；其特征在于，所述计算机程序被处理器执行时实现权利要求1～4之一所述方法的步骤。
CN202210105778.3A 2022-01-28 2022-01-28 网络流量预测方法、计算机装置、产品及存储介质 Active CN114422382B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210105778.3A CN114422382B (zh) 2022-01-28 2022-01-28 网络流量预测方法、计算机装置、产品及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210105778.3A CN114422382B (zh) 2022-01-28 2022-01-28 网络流量预测方法、计算机装置、产品及存储介质

Publications (2)

Publication Number Publication Date
CN114422382A CN114422382A (zh) 2022-04-29
CN114422382B true CN114422382B (zh) 2023-02-28

Family

ID=81279475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210105778.3A Active CN114422382B (zh) 2022-01-28 2022-01-28 网络流量预测方法、计算机装置、产品及存储介质

Country Status (1)

Country Link
CN (1) CN114422382B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115022191B (zh) * 2022-05-26 2023-10-03 电子科技大学 一种IPv6网络中端到端流快速反演方法
CN114866356B (zh) * 2022-07-06 2022-09-20 中国人民解放军国防科技大学 基于元学习的策略博弈的行为预测方法和预测器
CN115359654B (zh) * 2022-08-02 2023-09-08 支付宝(杭州)信息技术有限公司 流量预测系统的更新方法及装置
CN116822382B (zh) * 2023-08-30 2023-11-21 中国海洋大学 基于时空多重特性图卷积的海表面温度预测方法及网络

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860951A (zh) * 2020-06-12 2020-10-30 北京工业大学 一种基于动态超图卷积网络的轨道交通客流预测方法
CN113326974A (zh) * 2021-05-01 2021-08-31 北京工业大学 一种基于多任务超图卷积网络的多源交通流预测方法
WO2021174755A1 (zh) * 2020-03-02 2021-09-10 北京全路通信信号研究设计院集团有限公司 一种基于深度学习的轨道交通客流需求预测方法和装置
CN113537580A (zh) * 2021-06-28 2021-10-22 中科领航智能科技(苏州)有限公司 一种基于自适应图学习的公共交通客流预测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111130839B (zh) * 2019-11-04 2021-07-16 清华大学 一种流量需求矩阵预测方法及其系统
IL275018A (en) * 2020-05-31 2021-12-01 B G Negev Technologies And Applications Ltd At Ben Gurion Univ A system and method for predicting and handling short-term data overflow

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021174755A1 (zh) * 2020-03-02 2021-09-10 北京全路通信信号研究设计院集团有限公司 一种基于深度学习的轨道交通客流需求预测方法和装置
CN111860951A (zh) * 2020-06-12 2020-10-30 北京工业大学 一种基于动态超图卷积网络的轨道交通客流预测方法
CN113326974A (zh) * 2021-05-01 2021-08-31 北京工业大学 一种基于多任务超图卷积网络的多源交通流预测方法
CN113537580A (zh) * 2021-06-28 2021-10-22 中科领航智能科技(苏州)有限公司 一种基于自适应图学习的公共交通客流预测方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
一种基于序列到序列时空注意力学习的交通流预测模型;杜圣东等;《计算机研究与发展》;20200806(第08期);全文 *
单时序特征图卷积网络融合预测方法;李昊天等;《计算机与现代化》;20200915(第09期);全文 *
基于对比预测编码的流处理的流量矩阵填充方法;谢若天;《CNKI》;20210430;全文 *
基于混合深度学习的地铁站进出客流量短时预测;赵建立等;《交通运输系统工程与信息》;20201015(第05期);全文 *
网络性能数据恢复算法;谢鲲 等;《数据与计算发展前沿》;20200630;全文 *

Also Published As

Publication number Publication date
CN114422382A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN114422382B (zh) 网络流量预测方法、计算机装置、产品及存储介质
CN110119467B (zh) 一种基于会话的项目推荐方法、装置、设备及存储介质
Sun et al. Learning structured weight uncertainty in bayesian neural networks
CN109948029B (zh) 基于神经网络自适应的深度哈希图像搜索方法
CN113053115B (zh) 一种基于多尺度图卷积网络模型的交通预测方法
Shah et al. Model compression for communication efficient federated learning
US11010658B2 (en) System and method for learning the structure of deep convolutional neural networks
US11537898B2 (en) Generative structure-property inverse computational co-design of materials
CN113190688B (zh) 基于逻辑推理和图卷积的复杂网络链接预测方法及系统
US20220383127A1 (en) Methods and systems for training a graph neural network using supervised contrastive learning
CN112465120A (zh) 一种基于进化方法的快速注意力神经网络架构搜索方法
CN112906747A (zh) 一种基于知识蒸馏的图像分类方法
CN112766603A (zh) 一种交通流量预测方法、系统、计算机设备及存储介质
CN114926770A (zh) 视频动作识别方法、装置、设备和计算机可读存储介质
CN115860215A (zh) 一种光伏和风电发电功率预测方法及系统
CN116844041A (zh) 一种基于双向卷积时间自注意力机制的耕地提取方法
CN113516019B (zh) 高光谱图像解混方法、装置及电子设备
Chen et al. Harsanyinet: Computing accurate shapley values in a single forward propagation
CN109697511B (zh) 数据推理方法、装置及计算机设备
CN116611504A (zh) 一种基于进化的神经架构搜索方法
CN115953902A (zh) 一种基于多视图时空图卷积网络的交通流预测方法
Pragnesh et al. Compression of convolution neural network using structured pruning
Dennis et al. Autoencoder-enhanced sum-product networks
CN116824281B (zh) 一种隐私保护的图像分类方法及装置
CN117058000B (zh) 用于图像超分辨率的神经网络架构搜索方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant