CN116170351B

CN116170351B - 一种基于时空图注意力机制的网络流量预测方法

Info

Publication number: CN116170351B
Application number: CN202310043768.6A
Authority: CN
Inventors: 金子龙; 钱钧; 潘成胜; 孔志翔; 蒋嘉乐
Original assignee: Nanjing University of Information Science and Technology
Current assignee: Nanjing University of Information Science and Technology
Priority date: 2023-01-29
Filing date: 2023-01-29
Publication date: 2023-08-22
Anticipated expiration: 2043-01-29
Also published as: CN116170351A

Abstract

本发明公开了一种基于时空图注意力机制的网络流量预测方法，包括网络流量数据的采集，对数据进行处理，转化操作；对DSTGAT网络流量预测模型参数进行初始化设置；将预处理后的网络流量数据输入DSTGAT预测模型中，选择不同的超参数对模型进行训练，训练模型能够挖掘不同节点间网络流量数据的连通性与近相关性，通过使用图神经网络与注意力机制实现时空特征分解，最后进行数据归一化处理，实现网络流量的准确预测。

Description

一种基于时空图注意力机制的网络流量预测方法

技术领域

本发明属于无线通信领域，尤其涉及一种基于时空图注意力机制的网络流量预测方法。

背景技术

随着5G为代表的无线通信网络的发展，网络的异构性和复杂性不断增强，瞬时网络流量数据激增影响着网络性能和用户体验，网络流量预测对增强网络管理、解决网络拥塞、防止网络入侵有着重要的作用。传统的线性预测的方法有：历史平均法(HA)，向量自回归法(VAR)，自回归综合移动平均法(ARIMA)等，这些方法大多使用多项式拟合函数对真实流量数据进行逼近，然后通过人为经验参数设置使得拟合效果最好，然而真实的网络流量具有突发性、非平稳性等特征，因此这些方法难以实现长期准确预测。但是，由于网络拓扑结构的动态变化和业务需求的改变会引起流量数据的瞬时涌现，导致传统的预测模型难以准确地预测网络流量。由于网络流量的非线性以及不确定性特征，机器学习方法被广泛应用于流量预测，例如，支持向量回归(SVR)、K邻近(KNN)、贝叶斯模型等，此类参数化模型较为简单，易于理解并且模型花费时间较少。然而，上述模型泛化能力差，难以处理高维非线性的流量预测问题。

发明内容

发明目的：本发明的目的在于提供一种基于时空图注意力机制的网络流量预测方法，用于对未来某一时刻的流量数据进行预测，包括网络流量数据的采集，对数据进行处理，转化操作；对DSTGAT网络流量预测模型参数进行初始化设置；将预处理后的网络流量数据输入DSTGAT预测模型中，选择不同的超参数对模型进行训练，训练模型能够挖掘不同节点间网络流量数据的连通性与近相关性，进而学习网络流量数据的时空特征，选择合适的超参数，对训练误差进行评判。

技术方案：本发明的基于时空图注意力机制的网络流量预测方法，针对目标区域内的网络流量历史数据，通过执行以下步骤，实现对目标区域内未来某一时刻的流量数据的预测；

步骤1：采集目标区域内的网络流量历史数据，并将网络流量历史数据按比例划分为训练集、验证集和测试集；

步骤2：将训练集输入时间卷积层进行时间卷积，获取时间序列数据，将时间序列数据进行格式转换，得到预处理数据集；

步骤3：将DSTGAT网络流量预测模型的参数进行初始化，得到预测模型；

步骤4：将预处理数据集输入预测模型进行训练，并通过验证集的数据调整初始化预测模型的超参数，然后通过预测模型中的图注意力网络GAT和时间注意力层TATT分别提取预处理数据集的空间特征和时间特性并进行数据融合，得到时空融合数据；

步骤5：对时空融合数据进行归一化处理，计算归一化的时空融合数据与训练集中流量数据之间的误差，通过两者的误差定义损失函数，对损失函数进行梯度下降，反向传播更新预测模型的参数，重复上述训练直至训练轮数达到预设值，则预测模型训练完成；

步骤6：当模型完成训练后，将测试集输入训练完成的预测模型，得到目标区域内网络流量数据的预测结果，并利用模型评估指标评价预测模型的优劣。

进一步的，步骤1中，所述网络流量历史数据按照6-8:1-2:1-2的比例划分为训练集、验证集和测试集。

进一步的，步骤2具体为：将训练集中节点的历史流量序列输入到卷积核为3的两层时间卷积网络TCN中进行卷积操作，对输入的历史流量序列进行间隔采样，获取时间序列数据，将时间序列数据进行格式转换，得到预处理数据集。

进一步的，步骤3中，通过模型中的图注意力网络GAT和时间注意力层TATT分别提取预处理的数据集的空间特征和时间特性，具体为：基于图注意力网络GAT对网络结构中的空间数据提取，首先计算不同邻居的权重：

式中，W为权重矩阵，和/>为节点特征，e_ij为节点j对节点i的重要性；

归一化为：

式中，e_ij为节点j对节点i的重要性，e_ik为所有邻居节点对节点i的重要性，α_ij为权重系数；

计算注意力系数对领域节点进行信息聚合：

其中α_ij为注意力系数，W为卷积核参数，GA为节点特征；

时间注意力层TATT系数计算表示为：

E_i,j＝V_eσ((GA)^TrW₁)W₂((GA)W₃)^Tr+b_e)

其中V_e,b_e∈R^k*T×k*T,W₁,W₂,W₃是可学习的参数，Mas∈R^k*T×k*T是一个掩码矩阵，用于保持不连续时间段之间的依赖性，E_i′_,j∈R^k*T×k*T表示注意力系数，通过公式得到预处理的数据集的空间特征和时间特性。

进一步的，步骤4中，所述模型的超参数包括学习率、batch size、训练轮数、滑动窗口大小和隐层数。

进一步的，步骤5中，所述预设值为40-80。

进一步的，步骤6中，所述模型评估指标包括平均绝对误差MAE、均方根误差RMSE和精度ACC。

有益效果：与现有的流量预测技术相比，本发明具有如下显著优点：将实验模型在真实的网络流量数据集上进行评估，并且我们将本文所提的DSTGAT模型与其他六种基线模型进行对比，分别对未来10分钟、20分钟和30分钟时间跨度的流量结果进行预测，经过多次实验，对预测结果与其他模型进行准确度和误差分析，实验结果表明：在10分钟、20分钟和30分钟的预测时间步下，该方法在预测误差和预测精度方面优于现有的流量预测模型。

附图说明

图1为本发明的方法执行流程图；

图2为本发明的模型原理图；

图3为本发明的模型训练过程；

图4为本发明模型原理图中空间注意力模块的内部结构；

图5为本发明模型不同超参数选取的误差图；

图6为本发明模型消融实验的对比图；

图7为本发明在预测未来1天内的流量结果图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

图1为时空图注意力机制的网络流量预测方法流程图，首先是采集原始流量数据，然后对原始流量数据进行清洗并转换为完整的时间序列。之久输入到完成初始化的DSTAGT模型中，然后对模型进行训练，完成训练要求后，用测试集进行模型测试，得到最终的预测结果。

图2为时空图注意力机制的网络流量预测模型原理图。主要包括空间注意力模块、图注意力网络和时间注意力层，其中空间注意力模块由图3具体介绍。

图注意力网络(GAT)引入了注意力机制，实现了对邻居的信息聚合，这使顶点摆脱了拉普拉斯矩阵的束缚，根据相邻节点的特征，为其分配不同的权值，使得不同节点特征更好地融入到模型中。我们基于多头注意力机制的GAT来对网络结构中的空间数据提取。

首先计算不同邻居的权重：

归一化：

计算注意力系数对领域节点进行信息聚合：

其中α_ij表示注意力系数，W表示卷积核参数，GA表示节点特征。

对于时间序列问题，通常使用循环神经网络LSTM或GRU来提取时间维度的特征，但由于循环神经网络容易产生误差堆叠，尤其在长序列中产生较大的误差，因此我们引入了时间注意力,时间注意力可以看作是一种动态的时间选择机制，选择值得关注的时刻，能够自适应捕捉流量数据的长期特征依赖，有助于缓解预测步长的传播误差问题。时间注意力系数计算表示为：

E_i,j＝V_eσ((GA)^TrW₁)W₂((GA)W₃)^Tr+b_e)

其中V_e,b_e∈R^k*T×k*T,W₁,W₂,W₃是可学习的参数，Mas∈R^k*T×k*T是一个掩码矩阵，用于保持不连续时间段之间的依赖性，E_i′_,j∈R^k*T×k*T表示注意力系数。通过公式可以的得到网络流量时空相关特征，然后根据提取出来的时空特征。

总的来说，DSTGAT模型可以通过空间注意力自适应地捕获节点间流量序列的近相关性并构造邻接矩阵。通过图注意力网络和时间注意力层捕获网络流量时空相关特征，实现网络流量预测。

图3为模型训练的过程。由于网络流量具有短相关、长相关、自相似等特性，因此，为了捕获网络流量数据在不同大小的时间尺度下的特征，我们分别针对小时，天和周这三种时间尺度下进行模型训练，通过训练将产生的预测数据进行聚合，最后通过归一化产生最终的流量预测结果。通过对这三种时间尺度的训练，能够获得更准确的流量预测结果。

图4为空间注意力模块的内部结构。该模块是一种包含空间注意力和LSTM的encoder-decoder编码器解码器结构，主要通过流量数据驱动从时空两个维度上来获取网络结构中节点的近相关性，并根据节点流量数据的相关性来获取动态变化的邻接矩阵。

在空间维度上，我们采用空间注意机制估计网络当前周期的邻接矩阵那么，如果注意机制的输入特征是/>注意过程的计算公式为:

在时间维度上，为了探索各节点序列之间的内在联系，我们采用长短期记忆网络LSTM来学习时间相关性，将空间注意力的输出作为LSTM单元的输入。其计算公式可以表示为：

f_t＝sigmoid(W_f([h_t-1,A_dt]+b_f))

i_t＝sigmoid(W_i([h_t-1,A_dt]+b_i))

o_t＝sigmoid(W_o([h_t-1,A_dt]+b_o))

h_t＝o_t*tanh(C_t)

其中sigmoi,tanh是激活函数，A_dt∈R^N×N,t＝1,…,k是获取到的邻接矩阵,W_f(·),W_i(·),W_o(·),W_c(·)为可学习的参数，f_t,i_t,o_t分别是遗忘门、更新门和输出门,b_f,b_i,b_o,b_c∈R^N为偏置。从LSTM单元，我们通过历史数据得到一个未来的邻接矩阵h_k∈R^N×N。

图5为模型不同超参数选取的效果图。DSTGAT模型的超参数主要包括：学习率、batch size、训练轮数、滑动窗口大小和隐层数，这些重要的超参数会影响预测结果的精度。在本实验中，设置学习率为0.001，batch size设置为64，训练论数为60。此外，在实验中需要合理设置滑动窗口大小和隐藏单元数，因此需要选取不同滑动窗口大小和隐藏层单元数进行对比，然后选出最合适的值。我们设置滑动窗口的长度选择为[4、8、12、16、32]，隐藏层选择为[8、16、32、64、128]。图5分别显示了使用该模型在数据集上预测10min、20min和30min准确率的变化。可以看出，对于该数据集，将滑动窗口为12隐藏层单元为64时，预测准确率最大，因此，在本实验中，我们将滑动窗口大小设置为12，隐藏层单元个数设置为64。

图6为消融实验对比图。为了验证DSTGAT模型中的各模块的有效性，通过消融实验分别研究了空间注意力模型(SATT)和时间注意力层(TATT)在模型中的实验效果。我们基于图注意力网络(GAT)模型对SATT、TATT和DSTGAT分别进行实验。我们分别使用MAE，RMSE，ACC作为评价指标，结果表明，带有TATT的模型预测效果比带有SATT的模型的预测效果要好，原因是带有TATT的子模型的能够提取丰富的时间序列特征，而单独使用SATT模块不能获取流量数据在时间维度上的特征。但通过SATT模型可以有效地捕获节点之间的连通性与近相关性，获取高质量的图结构，进而获取可表示网络结构的邻接矩阵，对有利于下一步通过图注意力网络捕获网络的空间相关性。所以，包含有SATT模型和TATT模型的DSTGAT模型能够结合两者的优势，能够更好的实现网络流量的预测。

图7为模型的预测效果图。为了更为直观的理解模型的预测效果，我们使用DSTGAT模型对某一节点在一天中的流量序列进行预测并对结果进行可视化，结果如图7所示。可以看出，在这一天中，我们的预测结果能够和真实的流量值保持相同的趋势，并且能够较好的拟合真实的网络流量数据。

Claims

1.一种基于时空图注意力机制的网络流量预测方法，其特征在于，针对目标区域内的网络流量历史数据，通过执行以下步骤，实现对目标区域内未来某一时刻的流量数据的预测；

步骤1：针对目标区域内目标网络的各个节点，分别基于各个节点在预设历史时间段中各时间点，采集以时间点往历史方向预设时长的流量数据为自变量，以及该时间点往未来方向预设间隔时长的目标时间的流量数据为应变量构成样本，进而获得各时间点分别对应的样本，并将样本按比例划分为训练集、验证集和测试集；

步骤2：将训练集中各个节点下各时刻流量数据的流量序列进行单列拼接，输入到时间卷积层进行时间卷积操作，获取更新后的流量序列数据，得到预处理数据集；

步骤3：将动态时空图形注意DSTGAT网络流量预测模型的参数进行初始化，得到预测模型；

步骤4：将预处理数据集输入预测模型进行训练，其中通过验证集的数据调整初始化预测模型的超参数，运用预测模型中的空间注意力模型SATT获取高质量的图结构，进而获取可表示网络结构的邻接矩阵，运用预测模型中的图注意力网络GAT和时间注意力层TATT分别提取预处理数据集的空间特征和时间特性并进行数据融合，以融合之前流量数据的特征产生新的流量数据；计算新的流量数据与训练集中真实的流量数据之间的误差，通过误差反向更新预测模型的参数；

步骤5：当模型完成训练后，将测试集输入训练完成的预测模型，得到目标网络内若干节点的流量数据的预测结果，并利用模型评估指标评价预测模型的优劣；

所述步骤5中，通过模型中的图注意力网络GAT和时间注意力层TATT分别提取预处理的数据集的空间特征和时间特性，具体为：基于图注意力网络GAT对网络结构中的空间数据提取，首先计算不同邻居的权重：

归一化为：

计算注意力系数对领域节点进行信息聚合：

其中α_ij为注意力系数，W为卷积核参数，GA为节点特征；

时间注意力层TATT系数计算表示为：

E_i,j＝V_eσ((GA)^TrW₁)W₂((GA)W₃)^Tr+b_e

其中V_e,b_e∈R^k*T×k*T,W₁,W₂,W₃是可学习的参数，Mas∈R^k*T×k*T是一个掩码矩阵，用于保持不连续时间段之间的依赖性，E′_i,j∈R^k*T×k*T表示注意力系数，通过公式得到预处理的数据集的空间特征和时间特性；

在空间维度上，采用空间注意机制估计网络当前周期的邻接矩阵若注意机制的输入特征是/>注意过程的计算公式为：

在时间维度上，采用长短期记忆网络LSTM来学习时间相关性，将空间注意力的输出作为LSTM单元的输入，其计算公式表示为：

f_t＝sigmoid(W_f([h_t-1,A_dt]+b_f))

i_t＝sigmoid(W_i([h_t-1,A_dt]+b_i))

o_t＝sigmoid(W_o([h_t-1,A_dt]+b_o))

h_t＝o_t*tanh(C_t)

其中sigmo,tanh是激活函数，A_dt∈R^N×N,A_dt是获取到的邻接矩阵,W_f(·),W_i(·),W_o(·),W_c(·)为可学习的参数，f_t,i_t,o_t分别是遗忘门、更新门和输出门,b_f,b_i,b_o,b_c∈R^N为偏置，从LSTM单元，通过历史数据得到一个未来的邻接矩阵h_k∈R^N×N。

2.根据权利要求1所述基于时空图注意力机制的网络流量预测方法，其特征在于，步骤1中，所述网络流量历史数据按照6-8:1-2:1-2的比例划分为训练集、验证集和测试集。

3.根据权利要求1所述基于时空图注意力机制的网络流量预测方法，其特征在于，步骤2具体为：将训练集中各个节点下各时刻流量数据的流量序列输入到卷积核为3的两层时间卷积网络TCN中进行卷积操作，对输入的历史流量序列进行间隔采样，获取时间序列数据，将时间序列数据进行格式转换，得到预处理数据集。

4.根据权利要求1所述基于时空图注意力机制的网络流量预测方法，其特征在于，步骤4中，所述模型的超参数包括学习率、batch size、训练轮数、滑动窗口大小和隐层数。

5.根据权利要求1所述基于时空图注意力机制的网络流量预测方法，其特征在于，步骤4中，在计算归一化的时空融合数据与训练集中流量数据之间的误差前，对时空融合数据进行归一化处理。

6.根据权利要求1所述基于时空图注意力机制的网络流量预测方法，其特征在于，步骤4中，通过新的流量数据与训练集中真实的流量数据之间的误差定义损失函数，对损失函数进行梯度下降，反向传播更新预测模型的参数。