CN114422381B - 通信网络流量预测方法、系统、存储介质及计算机设备 - Google Patents
通信网络流量预测方法、系统、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN114422381B CN114422381B CN202111524054.4A CN202111524054A CN114422381B CN 114422381 B CN114422381 B CN 114422381B CN 202111524054 A CN202111524054 A CN 202111524054A CN 114422381 B CN114422381 B CN 114422381B
- Authority
- CN
- China
- Prior art keywords
- communication network
- network
- layer
- constructing
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000003860 storage Methods 0.000 title abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000011156 evaluation Methods 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 54
- 238000004364 calculation method Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 20
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 claims 3
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 claims 3
- 238000002203 pretreatment Methods 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 8
- ZEFNOZRLAWVAQF-UHFFFAOYSA-N Dinitolmide Chemical compound CC1=C(C(N)=O)C=C([N+]([O-])=O)C=C1[N+]([O-])=O ZEFNOZRLAWVAQF-UHFFFAOYSA-N 0.000 description 7
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明属于网络通信技术领域,公开了一种通信网络流量预测方法、系统、存储介质及计算机设备,所述通信网络流量预测方法,包括:构建网络流量数据集,构建通信网络结构拓扑图;构建基于图卷积神经网络和Transformer的网络流量预测模型,结合图卷积神经网络和Transformer结构;构建网络流量预测模型,对通信网络拓扑结构和网络流量时间序列信息进行编码,学习数据的空间和时间特征;对构建的网络流量预测模型进行训练,采用均方根误差、平均绝对误差和平均绝对百分比误差三种评价方法对模型误差进行测试。本发明采用图卷积神经网络,提取通信网络交换节点的拓扑结构的空间特征,辅助模型预测未来网络流量,提升模型的精度和有效性。
Description
技术领域
本发明属于网络通信技术领域,尤其涉及一种通信网络流量预测方法、系统、存储介质及计算机设备。
背景技术
目前,通信网络在人们的社会活动、企业管理、经营生产中扮演着非常重要的角色。随着通信网络的规模不断扩大,网络复杂性不断提升,人们对于网络管理的要求不断提升。网络流量是评价网络运行状态与网络负载的重要参数,通过对网络流量实时监测,并进行预测,有助于实时掌握网络运行状态,辅助流量负载均衡,网络拥塞控制,节能控制及分组路由等网络管理功能的高效实现。因此,研究高精度的网络流量预测方法具有重要的意义。
网络流量具有非线性,自相关性等特点。网络流量预测在过去几十年中引起网络研究者广泛的兴趣,现有的网络流量预测方法一般将网络流量预测问题归结为时间序列预测问题,可分为基于统计的方法、基于传统机器学习的方法和基于深度学习的方法。基于统计的方法,以差分整合移动平均自回归模型(Autoregressive Integrated MovingAverage model,ARIMA)为代表,在网络流量预测中广泛使用;然而,该类方法无法适应网络流量非线性特性,导致预测精度不佳。基于传统机器学习的网络流量预测方法,如支持向量回归算法(Support Vector Regression,SVR)和多层感知机(Multi-Layer Perception,MLP)等,由于能表征网络流量的非线性特征,因此能够获得很高的预测精度和计算精度;然而,该类方法的预测精度很大程度上依赖于手工选择的特征,缺乏鲁棒性和灵活性,且在数据集较为庞大时,效率不佳。以长短期记忆网络(Long Short Time Memory,LSTM)为代表的基于深度学习的方法,能够对网络流量复杂的时间序列特征进行建模,深入挖掘较为庞大的网络流量数据集中,深层次的,隐含的流量特征,大大提高了预测精度。
在通信网络中,交换节点或各条链路之间的空间信息,例如拓扑结构等,也能够对网络流量的变化趋势产生较大的影响。上述方法的缺点,一方面仅考虑网络流量的时间特征,忽略了网络流量重要的空间特征,进而影响网络流量预测的精度和有效性;另一方面,主要以实现对未来短时间内网络流量的预测为主,对网络流量的高维时序特征分析欠缺,导致流量预测模型对较长时间的网络流量的周期性分布不敏感,长时间网络流量预测性能不佳,限制了适用范围。卷积神经网络(Convolutional Neural Networks,CNN)和长短期记忆网络的组合,可有效提取网络流量的空间特征和时间序列特征,是解决网络流量空间特征缺失问题的一种有效途径。网络拓扑是一种典型的基于图结构的非欧式数据,CNN更擅长处理欧式数据,而近年来兴起的图卷积神经网络(Graph Convolutional NeuralNetworks,GCN)更擅长提取基于图结构的非欧式数据的特征,因此可考虑将GCN应用于网络流量的空间特征提取。Transformer是一种基于encoder-decoder结构的模型,可用于处理长时间序列预测中,早期时序信息被遗忘的问题,提升长时间网络流量预测的性能,提高网络流量模型的适用范围。
通过上述分析,现有技术存在的问题及缺陷为:
(1)现有技术仅考虑网络流量的时间特征,忽略了网络流量重要的空间特征,进而影响网络流量预测的精度和有效性。
(2)现有技术主要以实现对未来短时间内网络流量的预测为主,对网络流量的高维时序特征分析欠缺,导致流量预测模型对较长时间的网络流量的周期性分布不敏感,长时间网络流量预测性能不佳,限制了适用范围。
解决以上问题及缺陷的难度为:如何设计一种能融合网络流量的空间特征,可有效提取网络流量的高维时序特征,且具有较强的适应性的网络流量预测方法,从而提升网络流量预测的精度和有效性。
解决以上问题及缺陷的意义为:结合空间特征和高维时序特征进行的网络流量预测方法具备良好的精度和适应性,更好地辅助网络管理员深入了解网络状态,提前进行相应的决策和配置,有助于网络拥塞缓解,网络流量路由和网络节能等功能的实现。
发明内容
针对现有技术存在的问题,本发明提供了一种通信网络流量预测方法、系统、存储介质及计算机设备。本发明基于历史网络流量数据和网络拓扑数据,利用图卷积神经网络和Transformer构建预测模型,预测未来时刻的网络流量。
本发明是这样实现的,一种通信网络流量预测方法,所述通信网络流量预测方法,包括:
步骤一,构建网络流量数据集,获取通信网络内各交换节点,每个时间间隔内转发的流量值,并在数据预处理后建立通信网络流量时间序列信息数据集D’;从真实的通信网络中构建的训练数据集有助于提升预测模型的性能。
步骤二,构建通信网络结构拓扑图,根据通信网络交换节点间,链路的连接关系,建立通信网络结构拓扑图,具体为建立所有交换节点的邻接矩阵A,并计算通信网络交换节点空间信息的对称归一化矩阵;提取并经过处理的通信网络结构拓扑图可作为预测模型的输入,提升精度。
步骤三,构建基于图卷积神经网络和Transformer的网络流量预测模型,结合图卷积神经网络和Transformer结构,构建网络流量预测模型,对通信网络拓扑结构和网络流量时间序列信息进行编码,学习数据的空间和时间特征;
步骤五,采用均方根误差RMSE、平均绝对误差MAE和平均绝对百分比误差MAPE三种评价方法对模型误差进行测试。
进一步,所述步骤一中,构建网络流量数据集,具体过程为:
在通信网络各交换节点中,设置sflow网络测量软件,监测单位时间间隔内,各交换节点的所有端口转发的流量值,并将测量结果实时发送至服务器;共计监测K个时间间隔,时间间隔的大小由用户自定义;
服务器接收sflow网络测量软件发送的,K个时间间隔内,各节点的所有端口转发的流量值,计算得到每个交换节点,K个时间间隔内转发的流量值,形成数据集D;
对采集到的K个时间间隔内,各交换节点转发的流量值,进行数据预处理。
进一步,所述数据预处理,具体过程为:
首先采用数据清洗方法,对K个时间间隔内的所有数据进行一致性检查,删除数据集D中的离群值;
再利用插补法,填补数据集中的缺失值;
最后利用非线性阈值法,去除数据集中的噪声,得到经过预处理后的通信网络流量时间序列信息数据集D’。
进一步,所述步骤二中,构建通信网络结构拓扑图,具体过程为:
建立通信网络所有交换节点的邻接矩阵A∈RN×N,其中N为通信网络中,交换节点的数量,邻接矩阵A的计算公式为:
进一步,所述步骤三中,构建基于图卷积神经网络和Transformer的网络流量预测模型,具体过程为:
构建时空特征提取子块:时空特征提取子块包含2层隐藏层,第一层为图卷积神经网络层,第二层为图注意力层;
其中,图卷积神经网络层的内部结构公式如下:
其中,Z=f(X,A)∈RN×K表示预测K个时间间隔的输出特征;为预处理步,/>为节点度矩阵,W(0)∈RP×H为输入层到隐藏层的权重,W(1)∈RH×K为隐藏层到输出层的权重,σ和ReLU为激活函数;
所述ReLU激活函数的公式为:
所述σ为Sigmoid激活函数,计算公式为:
所述图注意力层的内部结构公式如下:
其中,为在第c个头的attention得分,表示时间间隔t对tj的重要性;/>表示第c个头中,时间间隔t与tj之间的相关性;/>和/>分别是节点vi在时间间隔t对tj的隐藏状态;Wq和Wk为可训练参数矩阵;A为邻接矩阵;dc为第c个头的缩放因子;||表示拼接操作;Wv为价值矩阵;
构建编码器和解码器:编码器和解码器的结构相同,由Q个时空特征提取子块构成,Q个时空特征提取子块之间采用残差连接的方式;Q由所在通信网络交换节点拓扑的半径决定,这里取3;
构建中间注意力模块:中间注意力模块由一个多头注意力层组成;
所述多头注意力层的内部结构公式如下:
构建基于图卷积神经网络和Transformer的网络流量预测模型:其中,所述基于图卷积神经网络和Transformer的网络流量预测模型,由输入全连接层、编码器、中间注意力模块、解码器和输出全连接层构成。
进一步,所述步骤四中,训练网络流量预测模型,具体过程为:
1)初始化训练流程及参数:将步骤一中得到的训练数据集D’,按时间先后顺序,划分为若干个大小为S的Batch,设定参数丢弃率为30%,S为32;
2)计算前向传播过程中产生的误差和梯度:将每一个Batch的数据和对称归一化拉普拉斯矩阵输入至网络流量预测模型中,依次经过预测模型的输入全连接层、编码器、中间注意力模块、解码器和输出全连接层,完成前向传播;在前向传播的过程中,使用dropout方法,按照参数丢弃率,随机屏蔽各模块各层的一些参数,被屏蔽的参数在前向传播过程中不被认为是模型的一部分,不参与前向传播计算,但会保留参数的值;利用均方误差损失函数,计算前向传播过程中,预测模型输出值和真实值之间的差值,作为误差,并利用Adam优化器进行梯度计算,并将误差和梯度储存起来;
所述均方误差损失函数公式如下:
3)利用反向传播方法更新模型的参数:将2)中得到的误差和梯度,利用反向传播方法,经过输出全连接层、解码器、中间注意力模块、编码器和输入全连接层传播,并自动更新预测模型的参数值;判断所在网络层是否为输入全连接层,若是,则执行2),否则,执行3);
4)模型训练完毕,存储模型:当损失函数值趋于稳定或达到迭代次数时,则认为模型参数调整完毕,基于图卷积神经网络和Transformer的网络流量预测模型训练完毕,储存模型结构及参数。
进一步,所述步骤五中,
采用均方根误差RMSE、平均绝对误差MAE和平均绝对百分比误差MAPE三种评价方法对模型误差进行测试,具体过程为:
均方根误差、平均绝对误差和平均绝对百分比误差三种评价方法的计算公式为:
本发明的另一目的在于提供一种实施所述通信网络流量预测方法的通信网络流量预测系统,所述通信网络流量预测系统设置有输入全连接层,输入全连接层与编码器连接,编码器与中间注意力模块连接,中间注意力模块与解码器连接,解码器与输出全连接层连接;
编码器设置有三个时空特征提取子块,时空特征提取子块分别设置有图卷积神经网络层和图注意力层,中间注意力模块设置有多头注意力层;
解码器设置有三个时空特征提取子块,三个时空特征提取子块分别设置有图卷积神经网络层和图注意力层。
本发明的另一目的在于提供一种接收用户输入程序存储介质,所存储的计算机程序使电子设备执行所述通信网络流量预测方法包括下列步骤:
步骤一,构建网络流量数据集,获取通信网络内各交换节点,每个时间间隔内转发的流量值,并在数据预处理后建立通信网络流量时间序列信息数据集D’;
步骤二,构建通信网络结构拓扑图,根据通信网络交换节点间,链路的连接关系,建立通信网络结构拓扑图,具体为建立所有交换节点的邻接矩阵A,并计算通信网络交换节点空间信息的对称归一化矩阵;
步骤三,构建基于图卷积神经网络和Transformer的网络流量预测模型,结合图卷积神经网络和Transformer结构,构建网络流量预测模型,对通信网络拓扑结构和网络流量时间序列信息进行编码,学习数据的空间和时间特征;
步骤五,采用均方根误差RMSE、平均绝对误差MAE和平均绝对百分比误差MAPE三种评价方法对模型误差进行测试。
本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1~7任意一项所述通信网络流量预测方法的步骤。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明采用图卷积神经网络,提取通信网络交换节点的拓扑结构的空间特征,辅助模型预测未来网络流量,提升模型的精度和有效性。本发明采用Transformer架构,利用多头注意力机制,计算各个时间间隔的重要程度,可以捕获网络流量时间序列长距离依赖关系;实现高效高性能预测长时间通信网络未来流量。同时本发明将上述技术进行融合,能够应对大规模网络流量数据的处理;在具有较高的预测精度的同时,还具有较好的泛化性,可适应多种规模的通信网络。
附图说明
图1是本发明实施例提供的通信网络流量预测系统结构示意图;
图1中:1、输入全连接层;2、编码器;3、中间注意力模块;4、解码器;5、输出全连接层。
图2是本发明实施例提供的通信网络流量预测方法流程图。
图3是本发明实施例提供的在Abilene公开网络流量数据集下,本发明与对比方案在长时间预测中的RMSE、MAE和MAPE等三个性能指标的对比示意图;
图3中:图a、在Abilene数据集下,不同方案的RMSE值对比;图b、在Abilene数据集下,不同方案的MAE值对比;图c、在Abilene数据集下,不同方案的MAPE值对比。
图4是本发明实施例提供的在GEANT公开网络流量数据集下,本发明与对比方案在长时间预测中的RMSE、MAE和MAPE等三个性能指标的对比示意图;
图4中:图a、在GEANT数据集下,不同方案的RMSE值对比;图b、在GEANT数据集下,不同方案的MAE值对比;图c、在GEANT数据集下,不同方案的MAPE值对比。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种通信网络流量预测方法、系统、存储介质及计算机设备,下面结合附图对本发明作详细的描述。
本发明提供的通信网络流量预测系统业内的普通技术人员还可以采用其他的步骤实施,图1的本发明提供的通信网络流量预测系统仅仅是一个具体实施例而已。
如图1所示,本发明实施例提供的通信网络流量预测系统设置有输入全连接层1,输入全连接层1与编码器2连接,编码器2与中间注意力模块3连接,中间注意力模块3与解码器4连接,解码器4与输出全连接层5连接。
编码器2设置有三个时空特征提取子块,时空特征提取子块分别设置有图卷积神经网络层和图注意力层;中间注意力模块3设置有多头注意力层;解码器4设置有三个时空特征提取子块,三个时空特征提取子块分别设置有图卷积神经网络层和图注意力层。
如图2所示,本发明实施例提供的通信网络流量预测方法,包括:
S101:构建网络流量数据集,获取通信网络内各交换节点,每个时间间隔内转发的流量值,并在数据预处理后建立通信网络流量时间序列信息数据集D’。
S102:构建通信网络结构拓扑图,根据通信网络交换节点间,链路的连接关系,建立通信网络结构拓扑图,具体为建立所有交换节点的邻接矩阵A,并计算通信网络交换节点空间信息的对称归一化矩阵。
S103:构建基于图卷积神经网络和Transformer的网络流量预测模型,结合图卷积神经网络和Transformer结构,构建网络流量预测模型,对通信网络拓扑结构和网络流量时间序列信息进行编码,学习数据的空间和时间特征。
S105:采用均方根误差RMSE、平均绝对误差MAE和平均绝对百分比误差MAPE三种评价方法对模型误差进行测试。
本发明实施例提供的S101中,构建网络流量数据集,具体过程为:
在通信网络各交换节点中,设置sflow网络测量软件,监测单位时间间隔内,各交换节点的所有端口转发的流量值,并将测量结果实时发送至服务器;共计监测K个时间间隔,时间间隔的大小由用户自定义。
服务器接收sflow网络测量软件发送的,K个时间间隔内,各节点的所有端口转发的流量值,计算得到每个交换节点,K个时间间隔内转发的流量值,形成数据集D;
对采集到的K个时间间隔内,各交换节点转发的流量值,进行数据预处理。
所述数据预处理,具体过程为:
首先采用数据清洗方法,对K个时间间隔内的所有数据进行一致性检查,删除数据集D中的离群值;
再利用插补法,填补数据集中的缺失值;
最后利用非线性阈值法,去除数据集中的噪声,得到经过预处理后的通信网络流量时间序列信息数据集D’。
本发明实施例提供的S102中,构建通信网络结构拓扑图,具体过程为:
建立通信网络所有交换节点的邻接矩阵A∈RN×N,其中N为通信网络中,交换节点的数量,邻接矩阵A的计算公式为:
根据邻接矩阵A,计算交换节点的对称归一化拉普拉斯矩阵其中,拉普拉斯矩阵的计算方法为:/>IN为维度为N的单位矩阵;则交换节点的对称归一化拉普拉斯矩阵可表示为:/> 为交换节点的度矩阵,其计算方法为/>
本发明实施例提供的S103中,构建基于图卷积神经网络和Transformer的网络流量预测模型,具体过程为:
构建时空特征提取子块:时空特征提取子块包含2层隐藏层,第一层为图卷积神经网络层,第二层为图注意力层。
其中,所述图卷积神经网络层的内部结构公式如下:
其中,Z=f(X,A)∈RN×K表示预测K个时间间隔的输出特征;为预处理步,/>为节点度矩阵,W(0)∈RP×H为输入层到隐藏层的权重,W(1)∈RH×K为隐藏层到输出层的权重,σ和ReLU为激活函数。
所述ReLU激活函数的公式为:
所述σ为Sigmoid激活函数,计算公式为:
所述图注意力层的内部结构公式如下:
其中,为在第c个头的attention得分,表示时间间隔t对tj的重要性;/>表示第c个头中,时间间隔t与tj之间的相关性;/>和/>分别是节点vi在时间间隔t对tj的隐藏状态;Wq和Wk为可训练参数矩阵;A为邻接矩阵;dc为第c个头的缩放因子;||表示拼接操作;Wv为价值矩阵;
构建编码器和解码器:编码器和解码器的结构相同,由Q个时空特征提取子块构成,Q个时空特征提取子块之间采用残差连接的方式。Q由所在通信网络交换节点拓扑的半径决定,这里取3。
构建中间注意力模块:中间注意力模块由一个多头注意力层组成。
所述多头注意力层的内部结构公式如下:
构建基于图卷积神经网络和Transformer的网络流量预测模型:其中,所述基于图卷积神经网络和Transformer的网络流量预测模型,由输入全连接层、编码器、中间注意力模块、解码器和输出全连接层构成。
本发明实施例提供的S104中,训练网络流量预测模型,具体过程为:
1)初始化训练流程及参数:将S101中得到的训练数据集D’,按时间先后顺序,划分为若干个大小为S的Batch,设定参数丢弃率为30%,S为32。
2)计算前向传播过程中产生的误差和梯度:将每一个Batch的数据和对称归一化拉普拉斯矩阵输入至网络流量预测模型中,依次经过预测模型的输入全连接层、编码器、中间注意力模块、解码器和输出全连接层,完成前向传播;在前向传播的过程中,使用dropout方法,按照参数丢弃率,随机屏蔽各模块各层的一些参数,被屏蔽的参数在前向传播过程中不被认为是模型的一部分,不参与前向传播计算,但会保留参数的值;利用均方误差损失函数,计算前向传播过程中,预测模型输出值和真实值之间的差值,作为误差,并利用Adam优化器进行梯度计算,并将误差和梯度储存起来。
所述均方误差损失函数公式如下:
3)利用反向传播方法更新模型的参数:将2)中得到的误差和梯度,利用反向传播方法,经过输出全连接层、解码器、中间注意力模块、编码器和输入全连接层传播,并自动更新预测模型的参数值;判断所在网络层是否为输入全连接层,若是,则执行2),否则,执行3)。
4)模型训练完毕,存储模型:当损失函数值趋于稳定或达到迭代次数时,则认为模型参数调整完毕,基于图卷积神经网络和Transformer的网络流量预测模型训练完毕,储存模型结构及参数。
本发明实施例提供的S105中,采用均方根误差RMSE、平均绝对误差MAE和平均绝对百分比误差MAPE三种评价方法对模型误差进行测试,具体过程为:
均方根误差、平均绝对误差和平均绝对百分比误差三种评价方法的计算公式为:
下面结合具体实施例对本发明的技术方案作详细的描述。
本实例中用到的数据集和相应的网络拓扑结构,是第三方学术组织提供的,采集自Abilene和GEANT通信网络,采样间隔为5分钟,总样本数分别为48072和10087。在两个不同的数据集下,对本发明和现有的六种网络流量预测方法ARIMA、SVR、LSTM、GRU、LNTP和ConvLSTM的预测未来1小时网络流量的性能进行测试对比,结果如图3和图4示,横轴表示方案名称,纵轴表示评价指标。
图3的(a)为在Abilene数据集下,不同方案的RMSE值对比。
图3的(b)为在Abilene数据集下,不同方案的MAE值对比。
图3的(c)为在Abilene数据集下,不同方案的MAPE值对比。
图4的(a)为在GEANT数据集下,不同方案的RMSE值对比。
图4的(b)为在GEANT数据集下,不同方案的MAE值对比。
图4的(c)为在GEANT数据集下,不同方案的MAPE值对比。
从图3的(a),图3的(b),图3的(c),图4的(a),图4的(b)和图4的(c)可以看出:本发明提出的通信网络流量预测方法的性能明显优于其他六种方法。其中,ARIMA性能最差,因为ARIMA无法适应非线性的网络流量,且只适用于短期预测,而本发明不仅可适应非线性的网络流量,而且由于采用了Transformer架构,还可捕获网络流量的长距离依赖关系;SVR能表征网络流量的非线性特征,然而在大数据集中缺乏鲁棒性和效率,故性能优于ARIMA,劣于LSTM、GRU、LNTP、ConvLSTM等深度学习方法;LSTM能够对网络流量复杂的时间序列特征进行建模,深入挖掘较为庞大的网络流量数据集中,深层次的,隐含的流量特征,大大提高了预测精度;GRU在各个指标上与LSTM表现相近,略优于LSTM,这是因为GRU是LSTM的简化版本,且GRU参数更少,更易于训练,然而GRU和LSTM并未能捕捉到空间特性对流量变化产生的影响;LNTP将网络流量序列利用小波变换展开为多个分量,并利用LSTM预测每个分量的值,最后将各分量的预测值合成为未来网络流量值,缓解了数据收集过程中,所产生的噪声对模型性能的影响;ConvLSTM利用CNN处理网络流量的空间特性,同时利用LSTM建模网络流量的时间特性,精度较高,然而,CNN并不适合处理非欧式数据,限制了ConvLSTM的灵活性和泛化性;本发明的模型以Transformer架构为基础,融合擅长处理非欧式数据的图卷积神经网络提取空间特性,提升了长时间预测性能,且具有良好的泛化性和灵活性,故而性能全面优于现有的方案。
应当注意,本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现;软件部分可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用由各种类型的处理器执行的软件实现,也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种通信网络流量预测方法,其特征在于,所述通信网络流量预测方法,包括:
步骤一,构建网络流量数据集,获取通信网络内各交换节点,每个时间间隔内转发的流量值,并在数据预处理后建立通信网络流量时间序列信息数据集D’;
步骤二,构建通信网络结构拓扑图,根据通信网络交换节点间,链路的连接关系,建立通信网络结构拓扑图,具体为建立所有交换节点的邻接矩阵A,并计算通信网络交换节点空间信息的对称归一化矩阵;
步骤三,构建基于图卷积神经网络和Transformer的网络流量预测模型,结合图卷积神经网络和Transformer结构,构建网络流量预测模型,对通信网络拓扑结构和网络流量时间序列信息进行编码,学习数据的空间和时间特征;
步骤五,采用均方根误差RMSE、平均绝对误差MAE和平均绝对百分比误差MAPE三种评价方法对模型误差进行测试;
所述步骤三中构建基于图卷积神经网络和Transformer的网络流量预测模型过程为:构建时空特征提取子块:时空特征提取子块包含2层隐藏层,第一层为图卷积神经网络层,第二层为图注意力层;
其中,图卷积神经网络层的内部结构公式如下:
所述ReLU激活函数的公式为:
所述σ为Sigmoid激活函数,计算公式为:
所述图注意力层的内部结构公式如下:
其中,为在第c个头的attention得分,表示时间间隔t对tj的重要性;/>表示第c个头中,时间间隔t与tj之间的相关性;/>和/>分别是节点vi在时间间隔t对tj的隐藏状态;Wq和Wk为可训练参数矩阵;A为邻接矩阵;dc为第c个头的缩放因子;||表示拼接操作;Wv为价值矩阵;
构建编码器和解码器:编码器和解码器的结构相同,由Q个时空特征提取子块构成,Q个时空特征提取子块之间采用残差连接的方式;Q由所在通信网络交换节点拓扑的半径决定,取3;
构建中间注意力模块:中间注意力模块由一个多头注意力层组成;
所述多头注意力层的内部结构公式如下:
构建基于图卷积神经网络和Transformer的网络流量预测模型:其中,所述基于图卷积神经网络和Transformer的网络流量预测模型,由输入全连接层、编码器、中间注意力模块、解码器和输出全连接层构成。
2.如权利要求1所述的通信网络流量预测方法,其特征在于,所述步骤一中构建网络流量数据集过程为:在通信网络各交换节点中,设置sflow网络测量软件,监测单位时间间隔内,各交换节点的所有端口转发的流量值,并将测量结果实时发送至服务器;共计监测K个时间间隔,时间间隔的大小由用户自定义;
服务器接收sflow网络测量软件发送的,K个时间间隔内,各节点的所有端口转发的流量值,计算得到每个交换节点,K个时间间隔内转发的流量值,形成数据集D;
对采集到的K个时间间隔内,各交换节点转发的流量值,进行数据预处理。
3.如权利要求2所述的通信网络流量预测方法,其特征在于,所述数据预处理过程为:
首先采用数据清洗方法,对K个时间间隔内的所有数据进行一致性检查,删除数据集D中的离群值;
再利用插补法,填补数据集中的缺失值;
最后利用非线性阈值法,去除数据集中的噪声,得到经过预处理后的通信网络流量时间序列信息数据集D’。
5.如权利要求1所述的通信网络流量预测方法,其特征在于,所述步骤四中训练网络流量预测模型过程为:
1)初始化训练流程及参数:将步骤一中得到的训练数据集D’,按时间先后顺序,划分为若干个大小为S的Batch,参数丢弃率为30%,S为32;
2)计算前向传播过程中产生的误差和梯度:将每一个Batch的数据和对称归一化拉普拉斯矩阵输入至网络流量预测模型中,依次经过预测模型的输入全连接层、编码器、中间注意力模块、解码器和输出全连接层,完成前向传播;在前向传播的过程中,使用dropout方法,按照参数丢弃率,随机屏蔽各模块各层的一些参数,被屏蔽的参数在前向传播过程中不被认为是模型的一部分,不参与前向传播计算,但会保留参数的值;利用均方误差损失函数,计算前向传播过程中,预测模型输出值和真实值之间的差值,作为误差,并利用Adam优化器进行梯度计算,并将误差和梯度储存起来;
所述均方误差损失函数公式如下:
3)利用反向传播方法更新模型的参数:将2)中得到的误差和梯度,利用反向传播方法,经过输出全连接层、解码器、中间注意力模块、编码器和输入全连接层传播,并自动更新预测模型的参数值;判断所在网络层是否为输入全连接层,若是,则执行2),否则,执行3);
4)模型训练完毕,存储模型:当损失函数值趋于稳定或达到迭代次数时,则认为模型参数调整完毕,基于图卷积神经网络和Transformer的网络流量预测模型训练完毕,储存模型结构及参数。
7.一种实施权利要求1~6任意一项所述通信网络流量预测方法的通信网络流量预测系统,其特征在于,所述通信网络流量预测系统设置有输入全连接层,输入全连接层与编码器连接,编码器与中间注意力模块连接,中间注意力模块与解码器连接,解码器与输出全连接层连接;
编码器设置有三个时空特征提取子块,时空特征提取子块分别设置有图卷积神经网络层和图注意力层,中间注意力模块设置有多头注意力层;
解码器设置有三个时空特征提取子块,三个时空特征提取子块分别设置有图卷积神经网络层和图注意力层。
8.一种接收用户输入程序存储介质,所存储的计算机程序使电子设备执行权利要求1~6任意一项所述通信网络流量预测方法包括下列步骤:
步骤一,构建网络流量数据集,获取通信网络内各交换节点,每个时间间隔内转发的流量值,并在数据预处理后建立通信网络流量时间序列信息数据集D’;
步骤二,构建通信网络结构拓扑图,根据通信网络交换节点间,链路的连接关系,建立通信网络结构拓扑图,具体为建立所有交换节点的邻接矩阵A,并计算通信网络交换节点空间信息的对称归一化矩阵;
步骤三,构建基于图卷积神经网络和Transformer的网络流量预测模型,结合图卷积神经网络和Transformer结构,构建网络流量预测模型,对通信网络拓扑结构和网络流量时间序列信息进行编码,学习数据的空间和时间特征;
步骤五,采用均方根误差RMSE、平均绝对误差MAE和平均绝对百分比误差MAPE三种评价方法对模型误差进行测试。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1~6任意一项所述通信网络流量预测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111524054.4A CN114422381B (zh) | 2021-12-14 | 2021-12-14 | 通信网络流量预测方法、系统、存储介质及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111524054.4A CN114422381B (zh) | 2021-12-14 | 2021-12-14 | 通信网络流量预测方法、系统、存储介质及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114422381A CN114422381A (zh) | 2022-04-29 |
CN114422381B true CN114422381B (zh) | 2023-05-26 |
Family
ID=81265017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111524054.4A Active CN114422381B (zh) | 2021-12-14 | 2021-12-14 | 通信网络流量预测方法、系统、存储介质及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114422381B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114756358B (zh) * | 2022-06-15 | 2022-11-04 | 苏州浪潮智能科技有限公司 | 一种dag任务调度方法、装置、设备及存储介质 |
CN115225546B (zh) * | 2022-07-22 | 2023-11-28 | 北京天融信网络安全技术有限公司 | 一种网络流量的预测方法、装置及设备 |
CN114978931B (zh) * | 2022-07-29 | 2022-12-06 | 国电南瑞科技股份有限公司 | 基于流形学习的网络流量预测方法、装置及存储介质 |
CN115037633A (zh) * | 2022-08-10 | 2022-09-09 | 中国电子科技集团公司第二十八研究所 | 一种通信网络Web服务QoS预测方法 |
CN115333958A (zh) * | 2022-08-15 | 2022-11-11 | 中国电信股份有限公司 | 软件定义网络性能预测方法、装置、电子设备及存储介质 |
CN115455258B (zh) * | 2022-09-14 | 2023-04-18 | 中国电子科技集团公司第十五研究所 | 一种网络空间语言描述与分析方法及装置 |
CN115473838A (zh) * | 2022-09-15 | 2022-12-13 | 中国电信股份有限公司 | 网络请求的处理方法、装置、计算机可读介质及电子设备 |
US20240171516A1 (en) * | 2022-11-18 | 2024-05-23 | Huawei Technologies Co., Ltd. | Distributed neural network encoder-decoder system and method for traffic engineering |
CN115965160B (zh) * | 2023-01-18 | 2023-08-08 | 中国长江三峡集团有限公司 | 一种数据中心能耗预测方法、装置、存储介质及电子设备 |
CN116170351B (zh) * | 2023-01-29 | 2023-08-22 | 南京信息工程大学 | 一种基于时空图注意力机制的网络流量预测方法 |
CN115883424B (zh) * | 2023-02-20 | 2023-05-23 | 齐鲁工业大学(山东省科学院) | 一种高速骨干网间流量数据预测方法及系统 |
CN116565861B (zh) * | 2023-07-10 | 2023-10-03 | 广东电网有限责任公司江门供电局 | 一种配电网可靠性评估方法、系统、设备和介质 |
CN117201410B (zh) * | 2023-09-12 | 2024-03-19 | 广东云百科技有限公司 | 用于物联网的流量管理方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112906982A (zh) * | 2021-03-22 | 2021-06-04 | 哈尔滨理工大学 | 一种基于gnn-lstm结合的网络流量预测方法 |
CN113487061A (zh) * | 2021-05-28 | 2021-10-08 | 山西云时代智慧城市技术发展有限公司 | 一种基于图卷积-Informer模型的长时序交通流量预测方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113268916A (zh) * | 2021-04-07 | 2021-08-17 | 浙江工业大学 | 一种基于时空图卷积网络的交通事故预测方法 |
CN113487066B (zh) * | 2021-06-18 | 2022-12-27 | 山西云时代智慧城市技术发展有限公司 | 基于多属性增强图卷积-Informer模型的长时序货运量预测方法 |
CN113487088A (zh) * | 2021-07-06 | 2021-10-08 | 哈尔滨工业大学(深圳) | 基于动态时空图卷积注意力模型的交通预测方法及装置 |
-
2021
- 2021-12-14 CN CN202111524054.4A patent/CN114422381B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112906982A (zh) * | 2021-03-22 | 2021-06-04 | 哈尔滨理工大学 | 一种基于gnn-lstm结合的网络流量预测方法 |
CN113487061A (zh) * | 2021-05-28 | 2021-10-08 | 山西云时代智慧城市技术发展有限公司 | 一种基于图卷积-Informer模型的长时序交通流量预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114422381A (zh) | 2022-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114422381B (zh) | 通信网络流量预测方法、系统、存储介质及计算机设备 | |
CN110928993A (zh) | 基于深度循环神经网络的用户位置预测方法及系统 | |
CN111784041B (zh) | 一种基于图卷积神经网络的风电功率预测方法及系统 | |
Istaiteh et al. | Machine learning approaches for covid-19 forecasting | |
CN112350876A (zh) | 一种基于图神经网络的网络流量预测方法 | |
CN112396234A (zh) | 一种基于时域卷积神经网络的用户侧负荷概率预测方法 | |
CN112468326A (zh) | 基于时间卷积神经网络的访问流量预测方法 | |
CN113687433B (zh) | 一种基于Bi-LSTM的大地电磁信号去噪方法及系统 | |
CN113112791A (zh) | 一种基于滑动窗口长短时记忆网络的交通流量预测方法 | |
CN117175588B (zh) | 基于时空相关性的用电负荷预测方法及装置 | |
Kim et al. | A daily tourism demand prediction framework based on multi-head attention CNN: The case of the foreign entrant in South Korea | |
CN117668743A (zh) | 一种关联时空关系的时序数据预测方法 | |
CN115733673B (zh) | 一种基于多尺度残差分类器的数据异常检测方法 | |
ABBAS | A survey of research into artificial neural networks for crime prediction | |
Zhao et al. | A Hybrid Time Series Model based on Dilated Conv1D and LSTM with Applications to PM2. 5 Forecasting. | |
CN115694985A (zh) | 基于tmb的混合网络流量攻击预测方法 | |
CN116094758A (zh) | 一种大规模网络流量采集方法及系统 | |
Pang et al. | A robust approach for multivariate time series forecasting | |
CN115330085A (zh) | 基于深度神经网络且无未来信息泄露的风速预测方法 | |
CN114970674A (zh) | 一种基于关联度对齐的时序数据概念漂移适配方法 | |
Zhang et al. | Qos-aware reliable traffic prediction model under wireless vehicular networks | |
Precioso et al. | Thresholding methods in non-intrusive load monitoring to estimate appliance status | |
CN116913098B (zh) | 一种融合空气质量与车流量数据的短时交通流预测方法 | |
CN115348179B (zh) | 网络流量边界预测方法、装置、设备及介质 | |
CN117456738B (zh) | 一种基于etc门架数据的高速公路交通量预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |