CN116996401A - 一种基于时空增强循环神经网络的流量预测方法 - Google Patents
一种基于时空增强循环神经网络的流量预测方法 Download PDFInfo
- Publication number
- CN116996401A CN116996401A CN202310811636.3A CN202310811636A CN116996401A CN 116996401 A CN116996401 A CN 116996401A CN 202310811636 A CN202310811636 A CN 202310811636A CN 116996401 A CN116996401 A CN 116996401A
- Authority
- CN
- China
- Prior art keywords
- model
- time
- space
- flow
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 125000004122 cyclic group Chemical group 0.000 title claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims abstract description 72
- 238000003062 neural network model Methods 0.000 claims abstract description 45
- 238000012417 linear regression Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000011144 upstream manufacturing Methods 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 5
- 238000004891 communication Methods 0.000 abstract description 4
- 230000000306 recurrent effect Effects 0.000 description 7
- 238000010276 construction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005251 gamma ray Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明为一种基于时空增强循环神经网络的流量预测方法，涉及计算机通信网络流量预测领域。本文提出了针对局域网流量预测的空间自注意力模块——TPA模块。为加强模型的短期预测能力，本文在PredRNN模型基础上集成了线性回归模型——AR模型。最终，提出了基于时空增强循环神经网络模型；6、将AR的预测结果和集成TPA模块的PredRNN模型输出结果经过线性相加，最后得到时空增强循环神经网络模型预测的流量矩阵。所提预测模型能在局域网流量预测上表现出更好的训练收敛速度与预测精度。
Description
技术领域
本发明涉及计算机通信网络流量预测领域，尤其涉及一种基于时空增强循环神经网络模型的局域网流量预测方法。
背景技术
随着计算机网络与通信技术迅速发展，各类新兴网络应用大量涌现，导致网络流量随之快速增长。网络流量预测是一种依据历史数据来预测网络未来流量的方法，而精确的网络流量预测对于网络资源优化分配、保障网络服务质量以及高效网络管理至关重要。具体地，对于网络运营商，流量预测对于网络异常检测、网络规划和网络管理任务具有重要意义。此外，流量预测还可以在网络模拟、网络仿真以及数字孪生网络构建领域扮演关键角色。数字孪生网络(Digital Twin Network,DTN)是近年提出的概念，主要用于构建面向资源管控策略和信息安全验证的测试网络。数字孪生网络利用数字孪生(Digital Twin)技术构建出针对目标网络的实时镜像，该镜像即为数字孪生网络。通过在数字孪生网络上进行各类网络资源管控策略和信息安全策略的预部署和测试，来解决网络复杂结构和庞大规模带来的网络运维问题。构建高逼真度数字孪生网络不仅需要将目标网络的动态拓扑结构与数字孪生网络进行实时(或快速)同步，也需要将目标网络中传输的业务流量在数字孪生网络上进行实时(或快速)复现。因此，准确高效的网络流量预测方法对于数字孪生网络构建和状态同步至关重要。
业界已经提出了许多针对网络服务器、网关节点和移动通信网络基站等网络关键节点的流量预测方法，其中大多数基于传统的统计、线性或非线性数学模型实现。近年来，随着深度学习技术的发展，业界开始研究利用深度神经网络模型，如循环神经网络(RNN)、长短期记忆网络(LSTM)、深度置信网络(DBN)、卷积神经网络(CNN)及其变体，实现对网络流量的预测。相较于传统的线性和非线性模型，上述深度神经网络模型表现出了更好的性能优势。
局域网是大型计算机通信网络最为重要的组成部分。因而，本发明关注局域网流量孪生复现问题。传统局域网流量复现方法面临技术挑战。例如：在构建大规模数字孪生网络的过程中，通过观测目标网络上每条链路的流量、并同时在孪生网络对应链路上生成孪生流量的网络流量复现方法缺乏可扩展性，也很难满足孪生实时性的要求。另一种可能的方法是：基于深度神经网络模型对目标网络的未来流量进行提前预测，并基于预测数据在孪生网络中实现流量实时复现，以避免传统方法所面临的问题。如：基于PredRNN循环神经网络模型的流量预测方法。然而，使用PredRNN模型预测局域网的未来流量矩阵(TrafficMatrix)存在一些不足。首先，典型局域网中不同业务应用类型的流量数据特征可能差异显著。PredRNN模型中的ST-LSTM单元通过直接从输入数据中提取流量特征，会无法避免地从不同类型的应用流量中学习到大量噪声。其次，局域网中短时段内的网络流量通常具有强线性相关性，可能无法被PredRNN模型准确捕获。为提高循环神经网络模型对局域网流量预测的准确性，本发明提出一种基于时空增强循环神经网络(Spatiotemporal-EnhancedRNN)模型的局域网流量预测方法，以提高网络流量预测精度和预测效率，从而满足网络孪生构建和孪生网络状态同步的需求。
发明内容
基于传统线性模型和非线性模型的局域网流量预测方法存在预测精度不高、针对性不强等问题，本发明提出一种基于时空增强循环神经网络(Spatiotemporal-EnhancedRNN)模型的局域网流量预测方法，以提升典型局域网流量预测精度和效率。首先，该方法基于注意力机制思想，在空间维度(Spatial Dimension)提出一种基于空间注意力机制的“流量模式注意力(Traffic Pattern Attention)”模块(下文简称TPA模块)，以适应于局域网流量特有的数据特征，增强模型对空间维度流量信息的学习能力。其次，该方法基于集成学习的思想在循环神经网络架构基础上，集成“自回归(Autoregressive)”模块(下文简称AR模块)以解决循环神经网络模型对输入数据规模不敏感的问题，从而实现在时间维度(Temporal Dimension)上的性能增强。相比传统循环神经网络模型，本发明所提出的时空增强循环神经网络模型,有效增强了对局域网流量数据时间特征和空间特征的学习能力，提高了传统循环神经网络模型的预测精度和效率，为典型局域网孪生网络中的网络流量实时(或快速)复现打下了基础。
本发明的技术方案是这样实现的：一种基于时空增强循环神经网络的流量预测方法，首先设定目标局域网有N个节点，其中包括Nc个客户机节点，Ns个服务器节点和Nr个路由器节点；该方法包括以下步骤：
步骤1：采集局域网流量矩阵(Traffic Matrix)序列，并对初始矩阵序列做等间距平均；
步骤1.1：每间隔1秒钟，采集目标局域网中所有N个节点对之间的流量数据，得到第t时刻的流量矩阵：
其中：
Dt∈RN×N
元素表示t时刻i节点发往j节点的流量大小，T表示总共采样时刻数量；
步骤1.2：采集K天的数据，由于局域网流量数据的短时波动性，对采集流量矩阵每间隔SS时长进行平均，则可知流量矩阵序列的长度T＝(24×60×60×K)/SS；
步骤2：简化目标局域网流量矩阵，将N×N的点对点流量矩阵转换成服务器/路由器节点对用户节点的M×N的模式流量矩阵；其中M是用户节点与服务器和路由器节点的上下行数据通路数量，即对于Nc个客户机节点，Ns个服务器节点和Nr个路由器节点组成的局域网，M＝(Ns+Nr)×2；简化后的流量矩阵如下：
其中：
步骤3：对步骤2得到的转换后流量矩阵进行归一化，归一化能够加快梯度下降求最优解的速度，提高模型精度；归一化公式表示为：
其中：dmax和dmin表示D′t所有时刻的最大值和最小值，表示归一化后的值，归一化后的流量矩阵可表示为D* t；
步骤4：定义损失函数和评估指标，选取常用的三种评估指标为模型的预测精度指标，分别为MSE、RMSE和R2，选取MSE作为损失函数，其公式表示为：
其中，为预测的流量矩阵序列中第k个矩阵中的元素值，K表示测试数据集中流量矩阵的个数。RMSE为误差率，其值为MSE的平方根。R2是表示模型预测值与真实值的拟合程度的系数，用于对比评估模型的预测效果；
步骤5：通过步骤3可得到训练的流量矩阵序列数据集，利用基于时空增强循环神经网络模型进行时间特征与空间特征信息的提取，基于时空增强循环神经网络模型包括三个部分，分别是ST-LSTM单元、TPA模块、AR模块：
步骤5.1：本发明采用PredRNN循环神经网络模型作为基础模型。包括时空LSTM(ST-LSTM)单元。ST-LSTM使用时空记忆流，使模型能够从不同层次的循环层学习记忆表征，从而使得PredRNN能够学习实际数据的复杂时空模式。ST-LSTM单元包括ConvLSTM原有的时间流记忆流部分，和其改进的时空记忆流部分。
步骤5.1.1：获取时间流记忆流的逻辑门由输入门，遗忘门组成。一共经历四个步骤，用公式可表示为：
其中χn代表当前时刻的输入，代表第l循环层的上一时刻模型的时间流状态；fn为时间流遗忘门的输出，in为时间流输入门的输出。Sigmoid、Tanh为激活函数，Conv表示卷积操作。ωxf、ωhf、ωxi、ωhi、ωxg、ωhg分别表示各个逻辑门的学习权重值；gn为调制门的输出。/>表示上一个时刻的记忆流。
步骤5.1.2：获取时空记忆流的逻辑门同样由输入门，遗忘门组成；一共经历四个步骤，其公式可表示为：
其中代表第l-1循环层的当前时刻模型的时空流状态；f′n为时空流遗忘门的输出，in为时空流输入门的输出，g′n为调制门的输出。ω′xf，ω′xi，ω′xg，ωhf，ωmi，ωmg为各逻辑门的学习权重；
步骤5.1.3：时间流状态和时空流状态合并经过输出门得到ST-LSTM的输出状态值，其公式可表示为：
其中on代表ST-LSTM输出状态值，ωxo，ωho，ωco，ωmo为输出门的学习权重；
步骤5.2：TPA模块运算具体流程为：
步骤5.2.1：根据流量矩阵中各台服务器及路由器的上下行流量对流量矩阵进行拆分：
其中 的元素/>n表示拆分后的元素矩阵总个数；
步骤5.2.2：拆分后中各个元素分别表示为不同类型的服务器与用户间的流量数据，将拆分后的数据用卷积神经网络分别进行特征提取之后再合并，最后与ST-LSTM单元输出相乘，过程为：
其中，OTPA为TPA模块分配的空间注意力权重，On表示ST-LSTM单元的输出，为结合TPA的循环神经网络模型输出状态值；
步骤5.3：线性回归采用最简单的Autoregressive模型，以下简称为AR模块，AR模块可输入与ST-LSTM单元不同的阶数大小增强模型的短期预测能力，其公式表示为：
其中为AR模型预测的流量矩阵序列，/>为AR模型可学习的自回归参数，Xt-i为历史流量矩阵数据，p表示自回归模块的阶数，b是模型的偏差；
步骤5.4：最后时空增强循环神经网络模型预测的结果为TPA结合PredRNN模型输出的状态值与AR模型的预测值叠加，其公式为：
其中为整体模型最终的预测值，Ht-n为添加TPA模块的循环神经网络模型最后一层输出的状态值，k表示输入的数据序列长度，为固定值，γn为全连接权重。
本发明的有益效果：本发明为解决网络仿真和网络孪生领域中，典型局域网流量准确、高效预测的问题，提出了如下几种方法：
1.基于典型局域网流量的空间特性，设计了“流量模式注意力(Traffic PatternAttention，TPA)”模块，解决因服务器流量模式差异问题而导致的流量预测精度问题；
2.为提升时间维度预测精度，将线性回归模型与深度神经网络模型进行集成，设计了“自回归(AR)”模块，应用于局域网流量预测；
3.基于面向空间维度增强的“流量模式注意力(TPA)”模块和面向时间维度增强的“自回归(AR)”模块，提出了时空增强循环神经网络模型。该增强模型在空间维度上，能准确地学习到局域网流量特性，在时间维度上，能更全面地提取线性特征。
本发明能够提高典型局域网时空流量预测精度，减少模型训练迭代次数，从而提高计算资源利用率。
附图说明
图1为本发明结合了“AR模块”的时空增强循环神经网络模型架构图；
图2为本发明结合了“TPA模块”的时空增强循环神经网络模型单元图；
具体实施例
为详细说明本发明公开的技术方案，下面结合说明书附图和具体实施例对本发明作进一步的详细说明：
为解决局域网流量矩阵高精度预测问题，本发明提供了一种基于深度神经网络模型的局域网流量预测的方法。本发明提供的方法针对局域网的特性，将原始流量矩阵结构简化成更利于深度学习的数据结构。具体地，本发明提出了一种基于时空增强循环神经网络模型的局域网流量预测方法，以避免传统预测方法的局限性。首先，该方法提出一种面向空间注意力机制的“流量模式注意力(TPA)”模块，以适应局域网流量矩阵数据特征，增强模型对流量空间信息学习能力。其次，该方法基于集成学习的思想在循环神经网络模型基础上集成线性回归模型以解决模型对时间相关性不敏感的问题，在时间维度加入了“自回归(AR)”模块。该模型能更快的捕获局域网流量矩阵数据在时间与空间上的特性，提高模型训练速度和预测精度。最终支撑实现局域网流量在孪生网络中的实时同步与精确复现。
第一步：采集局域网流量矩阵(Traffic Matrix)序列，并对初始流量矩阵序列做等间距平均：
(1.1)每间隔1秒钟，采集目标局域网中所有N个节点对之间的流量大小数据，得到第t时刻的流量矩阵：
其中：
Dt∈RN×N
元素表示t时刻i节点发往j节点的流量大小。
(1.2)假设采集K天的数据。由于局域网流量数据的短时波动性，对采集数据在短时间隔SS.内进行平均，可知流量序列长度T＝(24×60×60×K)/SS
对于(1.1)，随着新兴网络业务应用的不断涌现，局域网流量愈发呈现突发性。为捕捉局域网流量特性，节点的数据采样时间应尽量缩短。另一方面，由于局域网流量数据具有较大的波动性，波动性较大的数据会降低模型的预测精度。因此，对于(1.1)中获得的采样数据进行等间隔求平均，以增加流量矩阵数据大小的稳定性。
第二步：设局域网中有N个节点，其中包括Nc个客户机节点，Ns个服务器节点和Nr个路由器节点。其中局域网中点到点流量可分为两部分：用户与用户间的流量、用户与服务器或路由器间的流量：
D(t)＝Dc(t)+Ds(t)
用户与用户间的流量可表示为：
用户与服务器(或路由器)间的流量由用户到服务器(或路由器)的流量与服务器(或路由器)到用户的流量组成，即服务器(或路由器)的上行流量与服务器(或路由器)下行流量组成，可表示为：
大规模局域网中存在着大量网络节点，导致网络流量矩阵维度大、数据复杂。将此类流量矩阵作为预测模型的数据集，会增加预测模型训练和推理的复杂度，使得预测模型效率低下，影响模型预测精度。局域网流量矩阵Dc(t)的元素值通常很小，而Ds(t)的元素值通常较大。在矩阵维度上，Dc(t)与Ds(t)大小差别显著，从而影响卷积模型提取特征准确度。且Ds(t)中Dcs(t)与Dsc(t)有部分重复，结构上互为转置关系。本发明对局域网流量矩阵结构进行重塑，将N×N的点对点流量矩阵重塑成服务器节点(和路由器节点)对用户节点的M×N的模式流量矩阵。其中M是用户与服务器和路由器传输数据的上下行数据通路数目，其中M＝(Ns+Nr)×2。转换后的流量矩阵如下：
其中：
的元素/>表示第i个服务器发往第j个用户节点的流量。
第三步：对流量矩阵序列进行归一化，数据归一化后加快了梯度下降求最优解的速度，提高模型精度；本发明使用最大最小标准化进行归一化，公式可表示为：
第四步：确定损失函数，选取常用的三种评估指标为模型的预测精度指标，分别为MSE，RMSE和R2，其中MSE使用了欧氏距离来衡量模型输出的准确度，RMSE为误差率，其值为MSE的平方根，R2是表示模型预测值与真实值的拟合程度的系数，描述了模型预测值与真实值的距离相比于平均值与真实值的距离之间的差距。选取MSE作为损失函数。其公式表示为：
其中，为预测的流量矩阵序列中第k个矩阵中的元素值，K表示测试数据集中流量矩阵的个数。
第五步：针对第三步得到的局域网流量矩阵序列，利用时空增强循环神经网络模型进行时间特征与空间特征信息的提取：
(5.1)PredRNN模型属时空预测模型。传统的时序预测模型，如LSTM模型只能输入一维序列，且仅提取时间特征信息抛弃了空间信息。而时空预测模型可以输入二维的矩阵数据作为输入，且可以同时提取时间与空间特征信息。而局域网流量需要一次预测一片区域的流量数据，相比于传统模型，时空预测模型PredRNN更适用于局域网流量预测场景。
(5.2)PredRNN模型是基于时空预测模型ConvLSTM进行改进的模型，PredRNN模型单元ST-LSTM引入了时空记忆流，增强模型学习循环层间特性的能力，增强了时空预测中的非线性特征学习能力。该模型也采用一系列二维的M×Nc矩阵作为输入，并输出相同大小的预测的流量矩阵。虽然在视频预测领域ST-LSTM模型有更好的表现效果，但在网络流量预测的场景中，ST-LSTM模型引入的时空记忆流增强了模型的非线性能力，使得模型更好的学习长期依赖关系，同时也容易使得模型过拟合。
(5.3)典型的局域网中，通常部署了多种类型的应用服务器，如文件服务器，网页服务器，音视频服务器等。不同业务流量的特征，例如传输比特率、会话长度和交互模型，差异显著。可能导致流量矩阵中相邻元素的特征不同。由于不同的应用流量数据编排在同一流量矩阵中，所以PredRNN模型训练过程中对目标局域网的流量矩阵进行卷积操作时，不同应用服务的流量特征和模式会相互干扰，影响模型预测精度。因此，传统PredRNN模型需增强模型空间自适应能力，以准确提取局域网流量数据特征。
本发明在PredRNN模型基础上，提出了一种时空增强循环神经网络模型，实现对典型局域网流量预测。首先，该模型中集成了本发明提出的一种属于空间注意力机制的TPA模块，以适应局域网流量数据空间维度特征，增强模型空间信息学习能力。其次，该方法基于集成学习的思想在PredRNN模型基础上集成“线性回归”AR模型，以解决传统模型对局域网流量短时线性相关性不敏感的问题，在时间维度进行了增强。AR模型是一种简单的线性回归模型，相比其他自回归模型如ARIMA、FARIMA等模型有更低的复杂度，可帮助循环神经网络模型提高短期预测能力。ST-LSTM单元的状态输出与TPA模块分配的权重相乘，最后和AR模块的结果相加后的结果即为本发明所提时空增强循环神经网络模型的预测结果。时空增强循环神经网络模型的结构图如附图1所示，单元图如附图2所示。相比于传统循环神经网络模型，本发明提出的时空增强循环神经网络模型增强了局域网场景下时间和空间特征学习能力，提高了传统循环神经网络模型的预测精度和效率。
基于时空增强循环神经网络模型流程介绍：
(1.1)获取时间流记忆流和时空记忆流状态值，两种记忆流的逻辑门都由输入门，遗忘门组成，用公式可表示为：
其中χn代表当前时刻的输入，代表第l循环层的上一时刻模型的时间流状态，(1)式中fn为时间流遗忘门的输出，(2)式中in为时间流输入门的输出，/>代表第l-1循环层的当前时刻模型的时空流状态，(5)式中fn′为时空流遗忘门的输出，(6)式中in为时空流输入门的输出。(3)、(4)、(6)、(7)式描述了记忆通道上的时间记忆流和时空记忆流的状态更新。Sigmoid，Tanh为激活函数，Conv表示卷积操作。
(1.2)时间流状态和时空流状态合并经过输出门得到ST-LSTM的输出状态值on，其公式可表示为：
TPA模块运算具体流程为：
(1.1)拆分输入流量矩阵成服务器流量矩阵集合/>
其中 的元素/>
(1.2)对的元素将拆分后的数据用卷积神经网络分别进行特征提取之后再合并，最后与ST-LSTM单元输出相乘，过程为：
其中，OTPA为TPA模块分配的空间注意力权重，On表示ST-LSTM单元的输出，为结合TPA的循环神经网络模型输出的状态值；
线性自回归模块具体流程为：
(1.1)采用AR模型作为改进模型中集成的自回归模块。AR模块可输入与ST-LSTM单元不同的阶数大小增强模型的短期预测能力，其公式可表示为：
其中为AR模块预测的流量矩阵序列，/>为AR模型可学习的自回归参数，Xt-i为历史流量矩阵数据。p表示自回归模块的阶数。b是模型的偏差。
(1.2)为了获取最后的预测结果，时空增强循环神经网络预测的结果为TPA模块结合PredRNN模型输出的状态值与AR模块的预测值线性叠加，其公式为：
其中为整体模型最终的预测值，Ht-n为结合TPA模块的循环神经网络模型最后一层输出的状态值。k表示输入的数据序列长度，为固定值。γn为全连接权重。
实验中设置输入维度为20，输出隐藏维度为8。基于时空增强循环神经网络模型中TPA模块的卷积核大小设置为3*3，循环神经网络PredRNN模型架构的循环层数为2，AR模块的输入数据矩阵序列长度为12，学习率为10-4。在第四步的评估指标下，将基于时空增强循环神经网络模型与四组常用模型进行对比测试，结果如表1所示。
本发明专利涉及一种针对典型局域网流量预测的方法，旨在准确预测目标局域网的流量矩阵。本文提出了一种基于时空增强循环神经网络模型的局域网流量预测方法，以提升预测准确性和效率。通过与LSTM、CNN-LSTM、ConvLSTM和原始PredRNN模型进行对比评估，实验结果表明，本文提出的时空增强循环神经网络模型在MSE、RMSE和R2等评价指标上均优于上述基线方法。
表1对比实验结果
/>
Claims (1)
1.一种基于时空增强循环神经网络的流量预测方法，首先设定目标局域网有N个节点，其中包括Nc个客户机节点，Ns个服务器节点和Nr个路由器节点；该方法包括以下步骤：
步骤1：采集局域网流量矩阵序列，并对初始矩阵序列做等间距平均；
步骤1.1：每间隔1秒钟，采集目标局域网中所有N个节点对之间的流量数据，得到第t时刻的流量矩阵：
其中：
Dt∈RN×N
元素表示t时刻i节点发往j节点的流量大小，T表示总共采样时刻数量；
步骤1.2：采集K天的数据，由于局域网流量数据的短时波动性，对采集流量矩阵每间隔SS时长进行平均，则可知流量矩阵序列的长度T＝(24×60×60×K)/SS；
步骤2：简化目标局域网流量矩阵，将N×N的点对点流量矩阵转换成服务器/路由器节点对用户节点的M×N的模式流量矩阵；其中M是用户节点与服务器和路由器节点的上下行数据通路数量，即对于Nc个客户机节点，Ns个服务器节点和Nr个路由器节点组成的局域网，M＝(Ns+Nr)×2；简化后的流量矩阵如下：
其中：
步骤3：对步骤2得到的转换后流量矩阵进行归一化，归一化能够加快梯度下降求最优解的速度，提高模型精度；归一化公式表示为：
其中：dmax和dmin表示D′t所有时刻的最大值和最小值，表示归一化后的值，归一化后的流量矩阵可表示为D* t；
步骤4：定义损失函数和评估指标，选取常用的三种评估指标为模型的预测精度指标，分别为MSE、RMSE和R2，选取MSE作为损失函数，其公式表示为：
其中，为预测的流量矩阵序列中第k个矩阵中的元素值，K表示测试数据集中流量矩阵的个数。RMSE为误差率，其值为MSE的平方根。R2是表示模型预测值与真实值的拟合程度的系数，用于对比评估模型的预测效果；
步骤5：通过步骤3可得到训练的流量矩阵序列数据集，利用基于时空增强循环神经网络模型进行时间特征与空间特征信息的提取，基于时空增强循环神经网络模型包括三个部分，分别是ST-LSTM单元、TPA模块、AR模块：
步骤5.1：本发明采用PredRNN循环神经网络模型作为基础模型。包括时空LSTM(ST-LSTM)单元。ST-LSTM使用时空记忆流，使模型能够从不同层次的循环层学习记忆表征，从而使得PredRNN能够学习实际数据的复杂时空模式。ST-LSTM单元包括ConvLSTM原有的时间流记忆流部分，和其改进的时空记忆流部分。
步骤5.1.1：获取时间流记忆流的逻辑门由输入门，遗忘门组成。一共经历四个步骤，用公式可表示为：
其中χn代表当前时刻的输入，代表第l循环层的上一时刻模型的时间流状态；fn为时间流遗忘门的输出，in为时间流输入门的输出。Sigmoid、Tanh为激活函数，Conv表示卷积操作。ωxf、ωhf、ωxi、ωhi、ωxg、ωhg分别表示各个逻辑门的学习权重值；gn为调制门的输出。/>表示上一个时刻的记忆流。
步骤5.1.2：获取时空记忆流的逻辑门同样由输入门，遗忘门组成；一共经历四个步骤，其公式可表示为：
其中代表第l-1循环层的当前时刻模型的时空流状态；f′n为时空流遗忘门的输出，in为时空流输入门的输出，g′n为调制门的输出。ω′xf，ω′xi，ω′xg，ωhf，ωmi，ωmg为各逻辑门的学习权重；
步骤5.1.3：时间流状态和时空流状态合并经过输出门得到ST-LSTM的输出状态值，其公式可表示为：
其中on代表ST-LSTM输出状态值，ωxo，ωho，ωco，ωmo为输出门的学习权重；
步骤5.2：TPA模块运算具体流程为：
步骤5.2.1：根据流量矩阵中各台服务器及路由器的上下行流量对流量矩阵进行拆分：
其中 的元素/>n表示拆分后的元素矩阵总个数；
步骤5.2.2：拆分后中各个元素分别表示为不同类型的服务器与用户间的流量数据，将拆分后的数据用卷积神经网络分别进行特征提取之后再合并，最后与ST-LSTM单元输出相乘，过程为：
其中，OTPA为TPA模块分配的空间注意力权重，On表示ST-LSTM单元的输出，为结合TPA的循环神经网络模型输出状态值；
步骤5.3：线性回归采用最简单的Autoregressive模型，以下简称为AR模块，AR模块可输入与ST-LSTM单元不同的阶数大小增强模型的短期预测能力，其公式表示为：
其中为AR模型预测的流量矩阵序列，/>为AR模型可学习的自回归参数，Xt-i为历史流量矩阵数据，p表示自回归模块的阶数，b是模型的偏差；
步骤5.4：最后时空增强循环神经网络模型预测的结果为TPA结合PredRNN模型输出的状态值与AR模型的预测值叠加，其公式为：
其中为整体模型最终的预测值，Ht-n为添加TPA模块的循环神经网络模型最后一层输出的状态值，k表示输入的数据序列长度，为固定值，γn为全连接权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310811636.3A CN116996401A (zh) | 2023-07-04 | 2023-07-04 | 一种基于时空增强循环神经网络的流量预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310811636.3A CN116996401A (zh) | 2023-07-04 | 2023-07-04 | 一种基于时空增强循环神经网络的流量预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116996401A true CN116996401A (zh) | 2023-11-03 |
Family
ID=88531122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310811636.3A Pending CN116996401A (zh) | 2023-07-04 | 2023-07-04 | 一种基于时空增强循环神经网络的流量预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116996401A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118013308A (zh) * | 2024-04-10 | 2024-05-10 | 中国科学院深圳先进技术研究院 | 基于自适应树的时空增强神经电脉冲信号聚类方法及系统 |
-
2023
- 2023-07-04 CN CN202310811636.3A patent/CN116996401A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118013308A (zh) * | 2024-04-10 | 2024-05-10 | 中国科学院深圳先进技术研究院 | 基于自适应树的时空增强神经电脉冲信号聚类方法及系统 |
| CN118013308B (zh) * | 2024-04-10 | 2024-06-04 | 中国科学院深圳先进技术研究院 | 基于自适应树的时空增强神经电脉冲信号聚类方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Convergence time optimization for federated learning over wireless networks | |
| Zhang et al. | Gradient statistics aware power control for over-the-air federated learning | |
| CN110851782B (zh) | 一种基于轻量级时空深度学习模型的网络流量预测方法 | |
| Lee et al. | Deep power control: Transmit power control scheme based on convolutional neural network | |
| Qiu et al. | Quantized leaderless and leader-following consensus of high-order multi-agent systems with limited data rate | |
| CN115022193B (zh) | 一种基于深度学习模型的局域网流量预测方法 | |
| WO2021036414A1 (zh) | 一种低轨移动卫星星座下星地下行链路同频干扰预测方法 | |
| Ferriol-Galmés et al. | RouteNet-Fermi: Network modeling with graph neural networks | |
| CN116996401A (zh) | 一种基于时空增强循环神经网络的流量预测方法 | |
| Mertikopoulos et al. | Learning in an uncertain world: MIMO covariance matrix optimization with imperfect feedback | |
| CN113868474A (zh) | 一种基于自注意力机制和动态图的信息级联预测方法 | |
| Wu et al. | Multi-level federated graph learning and self-attention based personalized Wi-Fi indoor fingerprint localization | |
| Yigit et al. | Digital twin-enabled intelligent DDOS detection mechanism for autonomous core networks | |
| Wang et al. | Confederated learning: Federated learning with decentralized edge servers | |
| Ali et al. | Deep learning gated recurrent neural network-based channel state estimator for OFDM wireless communication systems | |
| Zhao et al. | Flow transformer: A novel anonymity network traffic classifier with attention mechanism | |
| CN115102767B (zh) | 一种基于分布式协作学习的DDoS主动防御系统及方法 | |
| CN117290706A (zh) | 一种时空卷积融合概率稀疏注意力机制的交通流预测方法 | |
| Tan et al. | A novel internet traffic identification approach using wavelet packet decomposition and neural network | |
| CN117061360A (zh) | 基于时空信息的sdn网络流量预测方法与系统 | |
| Zhang et al. | A novel unsupervised malware detection method based on adversarial auto-encoder and deep clustering | |
| Ferriol-Galmés et al. | FlowDT: a flow-aware digital twin for computer networks | |
| Huang et al. | Delay-constrained rate control for real-time video streaming with bounded neural network | |
| CN104955059B (zh) | 基于贝叶斯网络的蜂窝网基站状态时变模型建立方法 | |
| Xu et al. | Modular and deep QoE/QoS mapping for multimedia services over satellite networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |