CN113852492A - 基于注意力机制和图卷积神经网络的网络流量预测方法 - Google Patents

Abstract

本发明公开了一种基于注意力机制和图卷积神经网络的网络流量预测方法，首先构建基于注意力机制和图卷积神经网络的AT‑GCN模型；AT‑GCN模型包括两个图卷积层、一个全连接层和一个引入注意力机制的门控递归单元；对原始的网络流量进行数据预处理，得到符合AT‑GCN模型输入的数据序列；将中处理后的网络流量序列输入图卷积层，获取网络流量数据序列的空间特征；将处理后的网络流量序列和得到的空间特征向量输入到门控递归单元中，获取网络流量序列的时间特征；最后经过一个全连接层得到最终的预测结果。本发明将图卷积神经网络和门控递归单元结合起来，分别获取网络流量的时间和空间特征，并且为了提高预测的精度，引入了注意力机制，在时空预测任务中表现很好。

Description

基于注意力机制和图卷积神经网络的网络流量预测方法

技术领域

本发明涉及无线通信领域，特别涉及一种基于注意力机制和图卷积神经网络 的网络流量预测方法。

背景技术

随着通信技术的快速发展，网络流量存在爆发式增长趋势，为了预防网络拥 塞，提高网络资源利用率，网络流量预测技术应运而生。网络流量的建模与预测 可以提前了解网络流量的变化趋势，依据预测值制定合理有效的流量管理策略， 以提高网络服务质量以及用户体验，因此建立具有高精度的网络流量预测模型具 有重要意义。近年来，地面网络流量预测方法得到广泛的应用和关注，依据国内 外学者的研究，网络流量预测方法主要分为如下两个方面：(1)线性预测模型； 线性预测模型主要是针对网络流量的短相关特性，处理网络流量的短期预测问题， 相关的处理模型主要包括：自回归模型(AR)，移动平均模型(MA),自回归 移动平均模型(ARMA)，自回归移动合成平均模型(ARIMA)等，这些传统 的线性预测模型大多使用多项式拟合函数对真实的网络流量数据进行无限逼近， 然后通过大量的参数设置调优使得拟合效果最好。ARMA模型，该模型原理和 计算过程简单，但是无法处理非平稳序列。ARIMA模型，相对于其它网络流量 预测方法,该模型处理非平稳序列效果更好，预测精度更高。(2)非线性预测模 型。目前，应用于网流量预测方面的非线性模型主要包括机器学习以及深度学习 相关的智能预测模型。支持向量机作为一种机器学习算法，主要是基于统计学理 论，在分类预测领域中广泛运用。其优点在于能应用于非线性可分情况，相比于 其它算法，在同样的问题复杂度下不需要太多的样本，同时引用核函数将非线性 可分的样本转化成线性可分的高维空间样本，可以取得较好的预测精度。缺点在 于收敛于局部最优，而且训练数据和自身参数对预测结果有很大影响。为了进一 步解决预测问题，深度学习方法几年来被广泛研究。深度学习相对于机器学习， 它不仅可以保持学习特征的同时还能保证其与各个任务之间的关联性，可以有效 处理时间序列问题。循环神经网络的一种特殊模型长短期记忆网络，可以学习网 络流量数据之间的长期依赖关系，解决了常规RNN训练过程中的梯度消失和梯 度爆炸问题，并且相比于机器学习算法在预测精度上有所提高。

近年来，时空方面的预测问题在很多领域有着广泛的应用，网络流量问题也 包含其中。所谓的网络流量预测，就是在已有的历史网络流量数据集情况下，以 此来预测未来时间段的网络流量。可是现实网络流量预测问题还存在一定的挑战， 首先，现实世界的通信网络区域分布是一种空间结构，具有一定的复杂性，在空 间维度上，不同区域对同一区域具有不同的影响力；在时间维度上，两个区域在 不同的时间具有不同的影响，而且在结构上，通信区域构成的网络拓扑为非欧几 里得数据；其次，网络流量大小随着时间变化是非平稳的，并且具有时间上的依 赖性，比如工作日，节假日等等都会对网络流量数据大小产生影响。随着机器学 习在当今社会各个方面和不同领域的使用，在利用机器学习方法解决网络流量预 测任务上受到了广泛的关注和研究。近年来，基于深度学习的图神经网络在空间 依赖性建模方面得到了广泛应用，由此，为网络流量预测问题提供了一种新的解 决思路。

发明内容

发明目的：本发明提出一种基于注意力机制和图卷积神经网络的网络流量预 测方法，能克服现有的网络流量预测方法存在的预测时忽略通信区域之间存在相 互影响。

技术方案：本发明所述的一种基于注意力机制和图卷积神经网络的网络流量 预测方法，具体包括以下步骤：

(1)构建基于注意力机制和图卷积神经网络的AT-GCN模型；所述AT-GCN 模型包括两个图卷积层、一个全连接层和一个引入注意力机制的门控递归单元；

(2)对原始的网络流量进行数据预处理，得到符合AT-GCN模型输入的数 据序列；

(3)将(2)中处理后的网络流量序列输入图卷积层，获取网络流量数据序 列的空间特征；

(4)将处理后的网络流量序列和步骤(3)中得到的空间特征向量输入到门 控递归单元中，获取网络流量序列的时间特征；

(5)经过步骤(3)和步骤(4)得到网络流量的空间特征和时间特征，经 过一个全连接层得到最终的预测结果。

进一步地，所述步骤(1)通过以下公式实现：

u_t＝σ(W_u[GC(A,X_t),h_t-1]+b_u)

r_t＝σ(W_r[GC(A,X_t),h_t-1]+b_r)

c_t＝tanh(W_c[GC(A,X_t),(r_t*h_t-1)]+b_c)

h_t＝u_t*h_t-1+(1-u_t)*c_t

其中，u_t是更新门，用于控制上一时刻的状态信息进入当前状态的程度； σ(·)为非线性模型的激活函数；W_u、W_r、W_c为权重参数；GC(·)为图卷积过程； A为邻接矩阵；X_t为模型当前时刻的输入；h_t-1、h_t为不同时刻的隐藏状态；b_u、 b_r、b_c为偏差参数；r_t是重置门，控制前一时刻信息保留或者遗弃的程度；c_t为 时刻t存储的信息。

进一步地，步骤(2)所述的数据预处理包括数据填充、归一化处理以及邻 接矩阵的计算；所述邻接矩阵A中每个元素的值利用皮尔森相关系数计算获得， 邻接矩阵A中第X行X′列的元素的值为：

其中，X和Y代表随机变量，即数据集中的区域，h和w代表区域网格的大 小，cov(X,Y)代表X和Y的协方差，σX和σY为各自标准差的乘积。

进一步地，所述步骤(3)实现过程如下：

将图结构变成代数形式的表达，定义和分析拓扑图的属性；在谱域分析中， 图结构可以用拉普拉斯矩阵进行表示，矩阵表示如下：

L＝D-A

归一化的拉普拉斯矩阵如下：

其中，U^Tx为x的傅里叶变换，I_N为单位矩阵；D为对角矩阵；

对其拉普拉斯矩阵进行傅里叶变换，图卷积神经网络的卷积模式包括频谱和 空间域卷积；使用卷积核g_θ对图G进行卷积，公式如下：

g_θ(L)*x＝Ug_θ(U^Tx)

其中，θ为模型参数，L为归一化后的Laplace矩阵，U是归一化Laplace 矩阵的特征向量；

对于节点数量比较多的图结构，采用切比雪夫多项式来处理图卷积神经网络 的卷积操作，多层图卷积神经网络模型的输出表示为：

其中，

表示具有自连接的邻接矩阵，

为度矩阵，

H^(l)为第l层的激活值，H⁽⁰⁾＝X，σ(·)为非线性模型的激活函数；依据给定的 特征矩阵X和邻接矩阵A，图卷积神经网络可以通过输入节点的频谱卷积来提 取节点间的空间特征。

进一步地，所述步骤(4)实现过程如下：

将注意力机制引入门控递归单元中，把原始的门控递归单元中的权重矩阵计 算方法用注意力权重机制替换；用注意力机制替换门控递归单元中原来的矩阵计 算方式后，将隐藏状态输入到关注模型中，使用多层感知计算每个隐藏状态h的 的权重:{a_t-n,…,a_t-1,a_t}，覆盖全局流量变化信息向量通过加权和来计算：

e_i＝W₍₂₎(W₍₁₎H+b₍₁₎)+b₍₂₎

然后，用一个注意力函数描述全局流量变化信息的向量C_t，公式如下：

有益效果：与现有技术相比，本发明的有益效果：本发明采用真实的网络流 量数据，将图卷积神经网络和门控递归单元结合起来，分别获取网络流量的时间 和空间特征，并且为了提高预测的精度，引入了注意力机制，在时空预测任务中 表现很好。

附图说明

图1为本发明的模型原理图；

图2为本发明所使用的网络流量数据趋势图；

图3为本发明在10min时间尺度下预测结果图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

本发明提出一种基于注意力机制和图卷积神经网络的网络流量预测方法，具 体包括以下步骤：

步骤1：构建基于注意力机制和图卷积神经网络的AT-GCN模型。AT-GCN 模型包括两个图卷积层、一个全连接层和一个引入注意力机制的门控递归单元。

AT-GCN模型可以挖掘图信号时间序列的空间和时间特征，在门控递归单元 中引入注意力机制，可以对历史网络流量数据的影响进行重新加权，捕捉网络流 量的全局变化趋势，以提高模型的预测精度，然后依据提取获取的网络流量的时 空特征通过全连接层得到预测。

图1为本发明的AT-GCN模型原理图，X_t为模型当前时刻的输入，经过图 卷积神经网络获取网络流量的空间特征，然后继续输入到门控递归单元，获取网 络流量的时间特征，通过在门控递归单元中引入注意力机制，得到全局特征向量， 最后通过全连接层得到最终的预测值。

AT-GCN模型计算如下公式所示：

u_t＝σ(W_u[GC(A,X_t),h_t-1]+b_u)

r_t＝σ(W_r[GC(A,X_t),h_t-1]+b_r)

c_t＝tanh(W_c[GC(A,X_t),(r_t*h_t-1)]+b_c)

h_t＝u_t*h_t-1+(1-u_t)*c_t

其中，u_t是更新门，用于控制上一时刻的状态信息进入当前状态的程度； σ(·)为非线性模型的激活函数；W_u、W_r、W_c为权重参数；GC(·)为图卷积过程； A为邻接矩阵；X_t为模型当前时刻的输入；h_t-1、h_t为不同时刻的隐藏状态；b_u、 b_r、b_c为偏差参数；r_t是重置门，控制前一时刻信息保留或者遗弃的程度；c_t为 时刻t存储的信息。

AT-GCN模型通过图卷积神经网络结合门控递归单元模型构建的。原理是将 n个历史时间序列网络流量数据输入AT-GCN模型中，得到n个隐藏状态(h)，得 到包含时空特征的向量：{h_t-n,…,h_t-1,h_t}。

步骤2：对原始的网络流量进行数据预处理，得到符合AT-GCN模型输入的 数据序列。

其中数据预处理包括数据填充、归一化处理以及邻接矩阵的计算。本实施方 式中的数据集为每隔10分钟一个流量值，因此每个通信区域每天包括144个流 量值，数据填充使用均值法填充；通过利用MinMaxScaler()函数对数据规范在 (-1,1)之间，在输出结果后再进行反归一化操作；另外，用皮尔森相关系数来 计算各个通信区域的邻接矩阵，即邻接矩阵A中每个元素的值利用皮尔森相关系 数计算获得，邻接矩阵A中第X行X′列的元素的值为：

其中，X和Y代表随机变量，即数据集中的区域，h和w代表区域网格的大 小，cov(X,Y)代表X和Y的协方差，σX和σY为各自标准差的乘积。

步骤3：基于步骤2处理后的网络流量数据序列，用图卷积神经网络获取网 络流量数据序列的空间特征。

在谱域对图数据进行处理，将图结构变成代数形式的表达，以此来定义和分 析拓扑图的属性。

在谱域分析中，图可以用拉普拉斯矩阵进行表示，矩阵表示如下：

L＝D-A

归一化的拉普拉斯矩阵如下：

其中，U^Tx为x的傅里叶变换，I_N为单位矩阵；D为对角矩阵。

通过对拉普拉斯矩阵和特征值的分析，可以得到图结构的性质，比如可以得 到图中心节点与邻居节点之间信号的差异，得到图的拉普拉斯矩阵之后，然后对 其进行傅里叶变换，图卷积神经网络的卷积模式包括频谱和空间域卷积。图卷积 用定义在傅里叶域中的线性算子来取代卷积算子，使用卷积核g_θ对图G进行卷 积，公式如下：

g_θ(L)*x＝Ug_θ(U^Tx)

其中，θ为模型参数，L为归一化后的Laplace矩阵，U是归一化Laplace 矩阵的特征向量。

对于节点数量比较多的图结构，采用切比雪夫多项式来处理图卷积神经网络 的卷积操作：

此外，分层传播规则适用于多个网络，多层图卷积神经网络模型的输出可以 表示为：

其中

表示具有自连接的邻接矩阵，

为度矩阵，

为第l层的激活值，H⁽⁰⁾＝X，σ(·)为非线性模型的激活函数。

因此，依据给定的特征矩阵X和邻接矩阵A,图卷积神经网络可以通过输入 节点的频谱卷积来提取节点间的空间特征，此处用2层GCN模型来处理图结构， 经过2个卷积层后的映射如下：

其中，X代表网络流量输入序列，A代表邻接矩阵，

代表预 处理步骤，W₀和W₁分别表示两层卷积层中的权重矩阵，σ(·)和Relu()为激活函 数。

步骤4：将图卷积神经网络处理后的网络流量序列再次输入到引入注意力机 制的门控递归单元中，以此获取网络流量序列的时间特征。

在捕获时间特征时，将注意力机制引入门控递归单元中，把原始的门控递归 单元中的权重矩阵计算方法用注意力权重机制替换。X_t表示当前时刻节点的输 入，h_t-1表示上一个时刻传递下来的隐藏状态，用注意力机制替换门控递归单元 中原来的矩阵计算方式后，将隐藏状态输入到关注模型中，使用多层感知计算每 个隐藏状态h的的权重:{a_t-n,…,a_t-1,a_t}，覆盖全局流量变化信息向量通过加权和 来计算。公式如下：

e_i＝W₍₂₎(W₍₁₎H+b₍₁₎)+b₍₂₎

然后，用一个注意力函数描述全局流量变化信息的向量C_t，公式如下：

步骤5：经过步骤3和步4得到网络流量的空间特征和时间特征，经过一个 全连接层得到最终的预测结果。

图2为本发明选取的其中9个区域的一周的网络流量趋势图。9个区域抽象 成一个网络拓扑，每个区域的网络流量存在一定的相关性。而且从图2中可以看 出网络流量存在一定的日周期性，每天都是按照一定的趋势达到峰值，然后再下 降，其中也会有一定的突变性。这种非线性的变化趋势以及网络流量使用情况符 合实际情况，说明了所选数据集的可靠性和实用性。图3为本发明构建的AT-GCN 模型在10min预测尺度下真实值和预测值得对比，可以看出本发明的模型在预测 方面取得很好的效果。

Claims (5)

1.一种基于注意力机制和图卷积神经网络的网络流量预测方法，其特征在于，包括以下步骤：

(1)构建基于注意力机制和图卷积神经网络的AT-GCN模型；所述AT-GCN模型包括两个图卷积层、一个全连接层和一个引入注意力机制的门控递归单元；

(2)对原始的网络流量进行数据预处理，得到符合AT-GCN模型输入的数据序列；

(3)将(2)中处理后的网络流量序列输入图卷积层，获取网络流量数据序列的空间特征；

(4)将处理后的网络流量序列和步骤(3)中得到的空间特征向量输入到门控递归单元中，获取网络流量序列的时间特征；

(5)经过步骤(3)和步骤(4)得到网络流量的空间特征和时间特征，经过一个全连接层得到最终的预测结果。

2.根据权利要求1所述的基于注意力机制和图卷积神经网络的网络流量预测方法，其特征在于，所述步骤(1)通过以下公式实现：

u_t＝σ(W_u[GC(A,X_t),h_t-1]+b_u)

r_t＝σ(W_r[GC(A,X_t),h_t-1]+b_r)

c_t＝tanh(W_c[GC(A,X_t),(r_t*h_t-1)]+b_c)

h_t＝u_t*h_t-1+(1-u_t)*c_t

其中，u_t是更新门，用于控制上一时刻的状态信息进入当前状态的程度；σ(·)为非线性模型的激活函数；W_u、W_r、W_c为权重参数；GC(·)为图卷积过程；A为邻接矩阵；X_t为模型当前时刻的输入；h_t-1、h_t为不同时刻的隐藏状态；b_u、b_r、b_c为偏差参数；r_t是重置门，控制前一时刻信息保留或者遗弃的程度；c_t为时刻t存储的信息。

3.根据权利要求1所述的基于注意力机制和图卷积神经网络的网络流量预测方法，其特征在于，步骤(2)所述的数据预处理包括数据填充、归一化处理以及邻接矩阵的计算；所述邻接矩阵A中每个元素的值利用皮尔森相关系数计算获得，邻接矩阵A中第X行X′列的元素的值为：

其中，X和Y代表随机变量，即数据集中的区域，h和w代表区域网格的大小，cov(X,Y)代表X和Y的协方差，σX和σY为各自标准差的乘积。

4.根据权利要求1所述的基于注意力机制和图卷积神经网络的网络流量预测方法，其特征在于，所述步骤(3)实现过程如下：

将图结构变成代数形式的表达，定义和分析拓扑图的属性；在谱域分析中，图结构可以用拉普拉斯矩阵进行表示，矩阵表示如下：

L＝D-A

归一化的拉普拉斯矩阵如下：

其中，U^Tx为x的傅里叶变换，I_N为单位矩阵；D为对角矩阵；

对其拉普拉斯矩阵进行傅里叶变换，图卷积神经网络的卷积模式包括频谱和空间域卷积；使用卷积核g_θ对图G进行卷积，公式如下：

g_θ(L)*x＝Ug_θ(U^Tx)

其中，θ为模型参数，L为归一化后的Laplace矩阵，U是归一化Laplace矩阵的特征向量；

对于节点数量比较多的图结构，采用切比雪夫多项式来处理图卷积神经网络的卷积操作，多层图卷积神经网络模型的输出表示为：

其中，

表示具有自连接的邻接矩阵，

为度矩阵，

H^(l)为第l层的激活值，H⁽⁰⁾＝X，σ(·)为非线性模型的激活函数；依据给定的特征矩阵X和邻接矩阵A，图卷积神经网络可以通过输入节点的频谱卷积来提取节点间的空间特征。

5.根据权利要求1所述的基于注意力机制和图卷积神经网络的网络流量预测方法，其特征在于，所述步骤(4)实现过程如下：

将注意力机制引入门控递归单元中，把原始的门控递归单元中的权重矩阵计算方法用注意力权重机制替换；用注意力机制替换门控递归单元中原来的矩阵计算方式后，将隐藏状态输入到关注模型中，使用多层感知计算每个隐藏状态h的的权重:{a_t-n,…,a_t-1,a_t}，覆盖全局流量变化信息向量通过加权和来计算：

e_i＝W₍₂₎(W₍₁₎H+b₍₁₎)+b₍₂₎

然后，用一个注意力函数描述全局流量变化信息的向量C_t，公式如下：

Images