CN115442253A - 一种利用注意力机制的网络流量预测方法 - Google Patents

Abstract

本发明公开了一种利用注意力机制的网络流量预测方法，主要解决现有网络流量预测方法未考虑网络流量动态空间依赖性导致预测准确度较低的问题。其实现方案为：对原始网络流量数据进行处理变换，并使用滑动窗口方法对处理后的流量数据进行采样，划分训练集、验证集和测试集；构建动态空间依赖性表征模块，并将其与现有的时间依赖性表征模块和预测模块级联构成时空相对动态预测模型；根据训练集和验证集，使用自适应矩估计法对时空相对动态预测模型进行训练；将测试集输入到训练好的时空相对动态预测模型进行预测，得到预测的时空序列。本发明有效提高了预测准确度，能为通信资源的合理分配提供依据，可用于频谱资源的有效分配和网络拥塞的合理控制。

Description

一种利用注意力机制的网络流量预测方法

技术领域

本发明属于通信技术领域，具体为一种网络流量预测方法，可用于频谱资源的有效分配和网络拥塞的合理控制。

背景技术

移动终端智能设备的普及和移动通信技术的发展导致用户产生的数据业务流量成倍翻升，庞大的流量使得频谱资源的有效分配和能源效率的提高成为运营商亟待解决的问题。研究表明大部分基站在全天候时间处于较低的负载情况，但却仍按照设计功率工作，从而造成了巨大的能源浪费。如果能够事先预知网络流量在下一时刻的流量值，则通信网络就可以根据用户的实际需求实现网络的柔性覆盖和资源的弹性分配，进而提高用户体验度。

城市范围内网络流量的精准预测一直以来都是一个富有挑战性的问题。其主要原因是：1)高度时空复杂性。如今人们大多使用无线网络，而无线网络流量的产生具有移动性，这使得多个小区之间的流量具有时空相关性。2)短期突变信息影响。在生活中，常常会有很多短期突发状况发生，例如交通事故、天气条件等，这些突发状况会对网络流量预测产生一定影响。现有的网络流量预测方法主要分为朴素法、参数化模型、以及非参数化模型三种方法。其中：

朴素法是最简单的时间序列预测方法，该类方法只依赖于基本统计假设，不需要复杂的计算。其中最常用的是历史平均值法，它将过去所有时刻的平均值当作下一时刻的预测值。但这种朴素法由于只适合稳定性很高的数据集，而不适合变化很大的数据集，故在大多数情况下，朴素法的预测性能较差。

参数化模型主要依据统计学和概率分布等数学理论知识对无线网络流量进行建模和预测。该类方法假设要建模的流量数据可以用有限的参数来表达。最经典的参数化模型方法为ARIMA模型。该模型可以表示为ARIMA(p,d,q)，其中，p为自回归项数，q为滑动平均项数，d为使之成为平稳序列所做的差分阶数。ARIMA模型善于表征网络流量的行为特征，后续衍生出很多ARIMA模型的变形体并广泛应用。然而，由于该ARIMA模型的本质是线性模型，因而不能较好地预测非线性关系。

近年来，非参数化模型已经在流量预测中得到了广泛的应用。Qiu等人提出循环神经网络RNN来表征相邻基站之间时空相关性，采用多任务学习方法探究小区之间的共性与差异，从时空两个维度表征流量数据，提高了预测准确度。山东大学Zhang等人通过将流量数据视为一帧一帧的图像，使用密集连接的CNN表征小区流量的时空依赖性，并且提出一种基于参数矩阵的融合方案来学习时空依赖性的影响程度，有效地从时间和空间两个维度探究流量数据的时空依赖性。

上述非参数化模型尽管同时考虑了网络流量的时空依赖性，但是由于在空间依赖性的表征上均使用传统CNN。而传统CNN表征空间依赖性只取决于历史流量的相似性，忽视了小区之间的动态空间依赖关系，导致网络流量的预测准确度较低。例如早上住宅区与工业区之间的相互依赖性很强，而晚上可能会很微弱。因此探究网络流量的动态空间依赖性是进一步提高预测准确度的重要内容。

发明内容

本发明的目的在于针对上述问题，提出一种利用注意力机制的网络流量预测方法，已动态地表征网络流量的空间依赖性，提高网络流量预测的准确度。

为实现上述目的，本发明的技术方案包括如下：

(1)获取原始网络流量数据，并对进行处理变换，将其表示为一帧一帧的时空序列：

其中

是第t时隙的网络流量空间分布矩阵，

表示坐标为(h,w)小区在第t时隙的网络流量值；T为网络流量的时间记录总数,H为空间分布矩阵的长，W表示空间分布矩阵的宽；

(2)使用滑动窗口算法对时空序列

采样，并以7:1.5:1.5的比例划分为训练集、验证集和测试集；

(3)搭建时空相对动态预测模型STDRN：

(3a)构建包括两个卷积神经网络CNN、一个全连接层和三个不同的激活函数组成的动态空间依赖性表征模块；

(3b)选用现有的时间依赖性表征模块，并将其连接在动态空间依赖性表征模块之后；

(3c)选用现有的预测模块，并将其连接在时间依赖性表征模块之后，构成时空相对动态预测模型STDRN；

(4)采用训练集和验证集，使用自适应矩估计方法对时空相对动态预测模型进行训练，得到训练好的时空相对动态预测模型STDRN；

(5)将测试集输入到训练好的时空相对动态预测模型STDRN，得到预测的时空序列

其中

表示对测试集第e个样本特征预测的网络流量空间分布矩阵，E表示测试集中数据样本的数目。

本发明与现有技术相比，具有如下有益效果：

首先，本发明由于设计了动态空间依赖性表征模块，使得预测模型能够显式地表征网络流量的动态空间依赖关系，改善了传统CNN忽略网络流量动态空间依赖信息而导致的预测准确度相对较低的问题，进一步提高预测性能。

其次，本发明由于在动态空间依赖性表征模块中使用Absolute激活函数处理局部空间相对流量矩阵，使得预测模型能够同时兼顾正负相对流量对网络流量预测的影响，缓解了梯度爆炸的问题，进一步提高了预测性能。

附图说明

图1为本发明的总流程图；

图2为本发明中构建的动态空间依赖性表征模块结构示意图；

图3为本发明中使用的现有时间依赖性表征模块结构示意图；

图4为本发明中使用的现有预测模块结构示意图；

图5为用本发明对空间分布矩阵9天的网络流量预测结果图；

图6为用本发明对空间分布矩阵中第一小区2天网络流量的预测结果图；

具体实施方式

下面将结合附图对本发明的实施例和效果作进一步详细描述，显然，所描述的实施例仅仅是本发明一部分，而不是全部。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，本实例的实现步骤如下：

步骤1：获取时空序列。

从公开网站下载所需的网络流量数据，并对该原始网络流量数据依次进行异常数据去除、重复项合并、尺度变换和归一化处理，得到一个具有小区号、时隙号和网络流量值的列表；

从列表中提取每个固定时隙号下所有小区的网络流量值，并表示为一帧一帧的时空序列

D_t是时隙t大小H×W的网络流量空间分布矩阵：

其中，

表示第t时隙下坐标(h,w)的网络流量值，该时间序列数据可表示为

本实例下载的公开数据集为意大利米兰市2013年11月1日至2014年1月1日的网络流量数据集，经过异常数据去除、重复项合并、尺度变换后，提取出共1488个网络流量空间分布矩阵。

步骤2：使用滑动窗口算法构建时空序列

的训练集、验证集和测试集。

2.1)提取当前时隙t之前第p天中对应时隙的前后共q时隙的流量空间分布矩阵和当前时隙t之前共t-(t-1)％Π时隙的流量空间分布矩阵,得到当前时隙t的数据样本Θ_t：Θ_t＝{[D_t-PΠ-Q/2,...,D_t-PΠ-Q/2+q,...,D_t-PΠ+Q/2,...,D_{t-(P-p)Π-Q/2},...,D_{t-(P-p)Π-Q/2+q},...,D_{t-(P-p)Π+Q/2},...,

D_t-Π-Q/2,...,D_t-Π-Q/2+q,...,D_t-Π+Q/2,D_t-(t-1)％Π,...,D_{t-(t-1)％Π+j},...,D_t-1],D_t}

其中，Π为周期数，取值为24，(PΠ-Q/2+1)≤t≤T；D_{t-(P-p)Π-Q/2+q}为第(t-(P-p)Π-Q/2+q)时隙的网络流量空间分布矩阵，q＝0,2,...,(Q-1)，p＝0,1,...,(P-1)；D_{t-(t-1)％Π+j}为第(t-(t-1)％Π+j)时隙的网络流量空间分布矩阵，j＝0,1,...,(t-1)％Π-1；T为网络流量的时间记录总数，P为网络流量的时间周期数，Q为网络流量在每个时间周期中的偏移量；

2.2)不断移动滑动窗口重复2.1)，得到用于模型学习的数据集V：

V＝{Θ_PΠ-Q/2+1,Θ_PΠ-Q/2+2,...,Θ_PΠ-Q/2+i,...,Θ_T}；

其中，Θ_PΠ-Q/2+i表示第(PΠ-Q/2+i)时隙的数据样本，i＝1,2,...,(T-PΠ+Q/2)；

2.3)将数据集V按照7:1.5:1.5的比例划分为网络流量的训练集、验证集和测试集。

步骤3：搭建时空相对动态预测模型STDRN。

3.1)构建包括两个卷积神经网络CNN、一个全连接层和三个不同的激活函数组成的动态空间依赖性表征模块：

参照图2，该模块的结构关系为：在第一个卷积神经网络CNN后连接Absolute激活函数，该Absolute激活函数后连接Sigmoid激活函数；在第二个卷积神经网络CNN后连接ReLU激活函数；将该ReLU激活函数和Sigmoid激活函数通过乘法算子连接后，再与全连接层连接；

所述两个卷积神经网络CNN，其结构均由32个的3×3大小的卷积核并行连接组成，每个卷积核的步长为1×1，0-填充的大小为1×1；

所述Absolute、ReLU和Sigmoid这三个激活函数分别表示如下：

Absolute(x)＝|x|，

其中，x表示输入变量，x∈(-∞,+∞)。

3.2)选用现有的时间依赖性表征模块：

参照图3，该时间依赖性表征模块包含P+2个长短期记忆网络LSTM和1个周期偏移注意力模块PSAM，该P+2个长短期记忆网络LSTM与该周期偏移注意力机制模块PSAM并行连接，P为网络流量的时间周期数；

3.3)选用现有的预测模块：

参照图4，该预测模块包含一个全连接层和一个tanh激活函数，其中全连接层的输出维度为1维，tanh激活函数用于对全连接的输出进行激活，使其输出范围在-1到1之间。

3.4)将动态空间依赖性表征模块、时间依赖性表征模块和预测模块依次级联，构成时空相对动态预测模型STDRN。

步骤4：根据训练集和验证集，使用自适应矩估计方法对时空相对动态预测模型STDRN进行训练，得到训练好的时空相对动态预测模型STDRN。

4.1)初始定义参数向量θ₀＝0_1×dim、第一力矩向量m₀＝0_1×dim、第二力矩向量v₀＝0_1×dim，其中，0_1×dim表示1×dim大小的全零矩阵，dim表示数据样本特征的维数；定义初始化时间步长为t＝0、学习率α＝0.001、超参数β₁＝0.9,β₂＝0.999，迭代次数epochs＝50，误差阈值threshold＝0.0001；

4.2)将训练集中第u个样本特征X_u输入到时空相对动态预测模型STDRN；

4.3)从第u个样本特征X_u中截取第t时隙目标小区i及其S×S大小邻域的局部空间原始流量矩阵

4.4)根据局部空间原始流量矩阵O_i,t构建第t时隙目标小区i及其S×S大小邻域的局部空间相对流量矩阵：

其中Mask(O_i,t)表示对O_i,t的掩饰，其结果为全零矩阵；

4.5)根据第t时隙目标小区i的局部原始流量矩阵O_i,t和第t时隙目标小区i的局部空间相对流量矩阵R_i,t，使用空间依赖性表征模块得到第t时隙目标小区i的空间动态依赖性P_i,t；

4.6)根据第t时隙目标小区i的空间动态依赖性P_i,t，使用时间依赖性表征模块得到第t时隙目标小区i的短期时间依赖性表达h_i,t和长期时间依赖性

4.7)使用拼接函数对第t时隙目标小区i的短期时间依赖性表达h_i,t和长期时间依赖性

进行拼接，得到第t时隙目标小区i的长短期时间依赖性

4.8)根据第t时隙目标小区i的长短期时间依赖性

使用预测模块得到第t+1时隙目标小区i的网络流量值d_i,t+1；

4.9)改变目标小区i遍历样本特征X_u中空间分布矩阵的所有小区，重复4.3)到4.8)得到时空相对动态预测模型对样本特征X_u进行预测的网络流量空间分布矩阵f_θ(X_u)；

4.10)根据预测的网络流量空间分布矩阵f_θ(X_u)和第u个数据样本的标签Y_u，设定目标函数Error(θ)：

其中N_Train表示训练集的数据样本数目，θ表示参数集；

4.11)增加时间步长t＝t+1；

4.12)根据第t-1时刻的参数集θ_t-1和目标函数Error(θ)，计算得到第t时隙目标函数的梯度g_t：

其中，

为梯度算子，θ_j表示参数集θ_t-1中第j个参数值，j＝1,2,...,dim；

4.13)根据第t时隙目标函数梯度g_t、第t-1时隙的第一力矩向量m_t-1和超参数β₁，计算得到第t时隙的第一力矩向量m_t：

m_t＝β₁·m_t-1+(1-β₁)·g_t，

其中，·表示标量和矩阵的乘积；

4.14)根据第t时隙目标函数梯度g_t、第t-1时隙的第二力矩向量v_t-1和超参数β₂，计算得到第t时隙的第二力矩向量v_t：

v_t＝β₂·v_t-1+(1-β₂)·(g_t⊙g_t)，

其中，⊙表示哈达玛积；

4.15)根据超参数β₁和第t时隙的第一力矩向量m_t，计算得到第t时隙偏差校正的一阶力矩估计向量

其中，β₁ ^t表示超参数β₁的t次幂；

4.16)根据超参数β₂和第t时隙的第二力矩向量v_t，计算得到第t时隙偏差校正的二阶力矩估计向量

其中，β₂ ^t表示超参数β₂的t次幂；

4.17)根据学习率α、第t-1时隙的参数集θ_t-1、第t时隙偏差校正的一阶力矩估计向量

第t时隙偏差校正的二阶力矩估计向量

计算得到第t时隙的参数集θ_t：

其中，ε＝10^-6；

4.18)重复4.11)到4.17)，直至训练次数达到迭代次数时，输出满足目标函数Error(θ)小于误差阈值threshold的模型集合J＝{θ₁,θ₂,...,θ_m,...,θ_M}，其中θ_m表示第m个满足参数集目标函数Error(θ)小于误差阈值threshold的参数集，M表示满足目标函数Error(θ)小于误差阈值threshold的模型数目；

4.19)使用验证集评估满足目标函数Error(θ)小于误差阈值threshold的模型集合J，将误差最小的模型STDRN作为最终训练好的时空相对动态预测模型STDRN。

步骤5：将测试集输入到训练好的时空相对动态预测模型STDRN，得到预测的时空序列

其中

表示对测试集第e个样本特征预测的网络流量空间分布矩阵，E表示测试集中数据样本的数目。

本实例根据训练集的991个数据样本和验证集的210个数据样本，设置批处理大小为32、迭代训练次数为50、网络流量的空间分布矩阵大小为25×25、卷积核函数大小为3×3、卷积核数目为32、卷积步长为1×1、卷积0-填充大小为1×1、局部空间原始流量矩阵和局部空间相对流量矩阵大小为7×7、网络流量的时间周期数P＝3和网络流量在每个时间周期中的时隙偏移数Q＝3，经过训练得到训练好的模型，使用训练好的模型预测得到测试集215个数据样本的时空序列。

本发明的效果可以通过以下仿真实验进一步说明：

一.仿真条件：CPU选用6颗Xeon Gold 6142、GPU选用Tesla V100 16G、内存大小为60.9GB、硬盘大小为429.5GB、开发语言为python3.6、深度学习框架为tensorflow1.15.0、程序应用接口选择keras2.3.1。

二.仿真实验：

仿真实验一：在上述条件下，对意大利米兰市2013年12月23日至2014年1月1日中625个小区的网络流量进行预测，结果如图5所示。其中，纵坐标为网络流量值，横坐标为时空序列号。

由图5可看出，本发明的时空相对动态预测模型STDRN可以较准确地预测出网络流量值，并且预测值与真实值差异整体较小。

仿真实验二：在上述条件下，对意大利米兰市2013年12月23日至2013年12月24日中第一个小区的网络流量进行预测，结果如图6所示。其中，纵坐标为网络流量值，横坐标为时间。

由图6可看出，本发明相对动态预测模型STDRN的预测值与实际值基本一致，且对短期突变较大的流量有较好的预测效果。

上述仿真实验表明，本发明的相对动态预测模型STDRN对于预测城市范围网络流量具有良好的预测效果，预测准确度较高。

Claims (9)

1.一种利用注意力机制的网络流量预测方法，其特征在于：包括如下：

(1)获取原始网络流量数据，并对进行处理变换，将其表示为一帧一帧的时空序列：

其中

是第t时隙的网络流量空间分布矩阵，

表示坐标为(h,w)小区在第t时隙的网络流量值；T为网络流量的时间记录总数,H为空间分布矩阵的长，W表示空间分布矩阵的宽；

(2)使用滑动窗口算法对时空序列

采样，并以7:1.5:1.5的比例划分为训练集、验证集和测试集；

(3)搭建时空相对动态预测模型STDRN：

(3a)构建包括两个卷积神经网络CNN、一个全连接层和三个不同的激活函数组成的动态空间依赖性表征模块；

(3b)选用现有的时间依赖性表征模块，并将其连接在动态空间依赖性表征模块之后；

(3c)选用现有的预测模块，并将其连接在时间依赖性表征模块之后，构成时空相对动态预测模型STDRN；

(4)采用训练集和验证集，使用自适应矩估计方法对时空相对动态预测模型进行训练，得到训练好的时空相对动态预测模型STDRN；

(5)将测试集输入到训练好的时空相对动态预测模型STDRN，得到预测的时空序列

其中

表示对测试集第e个样本特征预测的网络流量空间分布矩阵，E表示测试集中数据样本的数目。

2.如权利要求1所述的方法，其特征在于：(2)中使用滑动窗口算法对时空序列

采样，实现如下：

(2a)提取当前时隙t之前第p天中对应时隙的前后共q时隙的流量空间分布矩阵和当前时隙t之前共t-(t-1)％Π时隙的流量空间分布矩阵,得到当前时隙t的数据样本Θ_t：

Θ_t＝{[D_t-PΠ-Q/2,...,D_t-PΠ-Q/2+q,...,D_t-PΠ+Q/2,...,D_{t-(P-p)Π-Q/2},...,D_{t-(P-p)Π-Q/2+q},...,D_{t-(P-p)Π+Q/2},...,D_t-Π-Q/2,...,D_t-Π-Q/2+q,...,D_t-Π+Q/2,D_t-(t-1)％Π,...,D_{t-(t-1)％Π+j},...,D_t-1],D_t}

其中，Π为周期数，取值为24，(PΠ-Q/2+1)≤t≤T；D_{t-(P-p)Π-Q/2+q}为第(t-(P-p)Π-Q/2+q)时隙的网络流量空间分布矩阵，q＝0,2,...,(Q-1)，p＝0,1,...,(P-1)；D_{t-(t-1)％Π+j}为第(t-(t-1)％Π+j)时隙的网络流量空间分布矩阵，j＝0,1,...,(t-1)％Π-1；T为网络流量的时间记录总数，P为网络流量的时间周期数，Q为网络流量在每个时间周期中的偏移量；

(2b)不断移动滑动窗口重复(2a)，得到用于模型学习的数据集V：

V＝{Θ_PΠ-Q/2+1,Θ_PΠ-Q/2+2,...,Θ_PΠ-Q/2+i,...,Θ_T}；

其中，Θ_PΠ-Q/2+i表示第(PΠ-Q/2+i)时隙的数据样本，i＝1,2,...,(T-PΠ+Q/2)。

3.根据权利要求1所述的方法，其特征在于，(3a)构建的动态空间依赖性表征模块，结构关系如下，

在第一个卷积神经网络CNN后连接Absolute激活函数，该Absolute激活函数后连接Sigmoid激活函数；

在第二个卷积神经网络CNN后连接ReLU激活函数，

将该Sigmoid激活函数和ReLU激活函数通过乘法算子连接后，再与全连接层连接。

4.如权利要求1所述的方法，其特征在于：(3b)中选用的时间依赖性表征模块，其包含P+2个长短期记忆网络LSTM和1个周期偏移注意力模块PSAM，该P+2个长短期记忆网络LSTM与该周期偏移注意力机制模块PSAM并行连接，P为网络流量的时间周期数。

5.如权利要求1所述的方法，其特征在于：(3c)中选用的预测模块，其包含一个全连接层和一个tanh激活函数，该全连接层的输出维度为1维，该tanh激活函数用于对全连接的输出进行激活。

6.如权利要求1所述的方法，其特征在于：(4)中使用自适应矩估计方法对时空相对动态预测模型进行训练，实现如下：

4a)初始定义参数向量θ₀＝0_1×dim、第一力矩向量m₀＝0_1×dim、第二力矩向量v₀＝0_1×dim，其中，0_1×dim表示1×dim大小的全零矩阵，dim表示数据样本特征的维数；定义初始化时间步长为t＝0、学习率α＝0.001、超参数β₁＝0.9,β₂＝0.999，迭代次数epochs＝50，误差阈值threshold＝0.0001；

4b)使用时空相对动态预测模型对第u个样本特征X_u进行预测，得到预测的网络流量空间分布矩阵f_θ(X_u)；

4c)根据预测的网络流量空间分布矩阵f_θ(X_u)和第u个数据样本的标签，设定目标函数Error(θ)：

其中N_Train表示训练集的数据样本数目，θ表示参数集；

4d)增加时间步长t＝t+1；

4e)根据第t-1时刻的参数集θ_t-1和目标函数Error(θ)，计算得到第t时隙目标函数的梯度g_t：

其中，

为梯度算子，θ_j表示参数集θ_t-1中第j个参数值，j＝1,2,...,dim；

4f)根据第t时隙目标函数梯度g_t、第t-1时隙的第一力矩向量m_t-1和超参数β₁，计算得到第t时隙的第一力矩向量m_t：

m_t＝β₁·m_t-1+(1-β₁)·g_t，

其中，·表示标量和矩阵的乘积；

4g)根据第t时隙目标函数梯度g_t、第t-1时隙的第二力矩向量v_t-1和超参数β₂，计算得到第t时隙的第二力矩向量v_t：

v_t＝β₂·v_t-1+(1-β₂)·(g_t⊙g_t)，

其中，⊙表示哈达玛积；

4h)根据超参数β₁和第t时隙的第一力矩向量m_t，计算得到第t时隙偏差校正的一阶力矩估计向量

其中，β₁ ^t表示超参数β₁的t次幂；

4i)根据超参数β₂和第t时隙的第二力矩向量v_t，计算得到第t时隙偏差校正的二阶力矩估计向量

其中，β₂ ^t表示超参数β₂的t次幂；

4j)根据学习率α、第t-1时隙的参数集θ_t-1、第t时隙偏差校正的一阶力矩估计向量

第t时隙偏差校正的二阶力矩估计向量

计算得到第t时隙的参数集θ_t：

其中，ε＝10^-6；

4k)重复4b)到4j)，直至训练次数达到迭代次数时，输出满足目标函数Error(θ)小于误差阈值threshold的模型集合J＝{θ₁,θ₂,...,θ_m,...,θ_M}，其中θ_m表示第m个满足参数集目标函数Error(θ)小于误差阈值threshold的参数集，M表示满足目标函数Error(θ)小于误差阈值threshold的模型数目；

4l)使用验证集评估满足目标函数Error(θ)小于误差阈值threshold的模型集合J，将误差最小的模型STDRN作为最终训练好的时空相对动态预测模型STDRN。

7.根据权利要求3所述的方法，其特征在于：两个卷积神经网络CNN，其结构均由32个的3×3大小的卷积核并行连接组成，每个卷积核的步长为1×1，0-填充的大小为1×1。

8.根据权利要求3所述的方法，其特征在于：所述的Absolute、ReLU和Sigmoid这三个激活函数分别表示如下：

Absolute(x)＝|x|，

其中，x表示输入变量，x∈(-∞,+∞)。

9.根据权利要求6所述的方法，其特征在于，4b)使用时空相对动态预测模型对第u个样本特征X_u进行预测，得到预测的网络流量空间分布矩阵f_θ(X_u)，实现如下：

4b1)输入第u个样本特征X_u；

4b2)从第u个样本特征X_u中截取第t时隙目标小区i及其S×S大小邻域的局部空间原始流量矩阵

4b3)根据局部空间原始流量矩阵O_i,t构建第t时隙目标小区i及其S×S大小邻域的局部空间相对流量矩阵：

其中Mask(O_i,t)表示对O_i,t的掩饰，其结果为全零矩阵；

4b4)根据第t时隙目标小区i的局部原始流量矩阵O_i,t和第t时隙目标小区i的局部空间相对流量矩阵R_i,t，使用空间依赖性表征模块得到第t时隙目标小区i的空间动态依赖性P_i,t；

4b5)根据第t时隙目标小区i的空间动态依赖性P_i,t，使用时间依赖性表征模块得到第t时隙目标小区i的短期时间依赖性表达h_i,t和长期时间依赖性

4b6)使用拼接函数对第t时隙目标小区i的短期时间依赖性表达h_i,t和长期时间依赖性

进行拼接，得到第t时隙目标小区i的长短期时间依赖性

4b7)根据第t时隙目标小区i的长短期时间依赖性

使用预测模块得到第t+1时隙目标小区i的网络流量值d_i,t+1；

4b8)改变目标小区i遍历样本特征X_u中空间分布矩阵的所有小区，重复4b2)到4b7)得到时空相对动态预测模型对样本特征X_u进行预测的网络流量空间分布矩阵f_θ(X_u)。

Images