CN112910711B - 一种基于自注意力卷积网络的无线业务流量预测方法、设备及介质 - Google Patents

一种基于自注意力卷积网络的无线业务流量预测方法、设备及介质 Download PDF

Info

Publication number
CN112910711B
CN112910711B CN202110201150.9A CN202110201150A CN112910711B CN 112910711 B CN112910711 B CN 112910711B CN 202110201150 A CN202110201150 A CN 202110201150A CN 112910711 B CN112910711 B CN 112910711B
Authority
CN
China
Prior art keywords
flow
time
network
self
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110201150.9A
Other languages
English (en)
Other versions
CN112910711A (zh
Inventor
张海霞
沈文鑫
郭帅帅
袁东风
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Publication of CN112910711A publication Critical patent/CN112910711A/zh
Application granted granted Critical
Publication of CN112910711B publication Critical patent/CN112910711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/06—Testing, supervising or monitoring using simulated traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于自注意力卷积网络的无线业务流量预测方法、设备及介质，是指：将待预测的原始无线业务流量预处理后输入至训练好的流量预测模型，得到预测的流量数据；本发明利用自注意力卷积网络，对无线业务流量的历史数据与时间特征进行学习与融合，能够有效提取流量数据在大时间尺度下的动态特性。该算法不仅能够有效提升流量预测的准确率，而且能够进行并行化处理，提升了神经网络的训练效率，进而提升流量预测算法的整体性能。

Description

一种基于自注意力卷积网络的无线业务流量预测方法、设备 及介质
技术领域
本发明属于通信网络和人工智能技术领域，涉及一种基于自注意力机制的无线业务流量预测方法、设备及介质，可用于通信系统中的网络管理与规划。
背景技术
高效准确的无线业务流量预测对于实现通信网络自动化、资源分配智能化具有重要意义。但是，终端用户的通信行为存在很高的动态性，尤其是在长时间尺度下，用户的通信行为复杂性与时变性都会加剧，增加了无线业务流量预测的难度。
无线业务流量预测问题可以建模为时间序列预测问题。传统的统计学习算法无法对流量数据在时域上的高动态特性进行建模；随着深度学习的技术的进步，现有的流量预测算法普遍采用基于深度神经网络的方法。
例如，中国专利文献CN109257760A中提出了基于LSTM的流量预测算法，根据某一特定区域内的历史通信行为，利用LSTM网络预测未来一段时间该区域的无线业务流量；中国专利文献CN111343650A中采用了CONVLSTM流量预测算法，利用卷积网络刻画流量数据空间分布特征，同时利用LSTM网络对流量数据在时序上的相关性进行刻画；此外还有基于编码-解码网络以及GRU网络的预测方法。然而，这些方法都是基于RNN的循环计算结构刻画流量在时序上的长期依赖性，当流量序列的时间跨度增长时，这些方法并不能从更大的时间尺度中捕获更为复杂的时序相关性，因而在具有高突发性、高时变性的通信场景下，传统的深度学习算法的准确率无法得到进一步提升。
此外，深度学习算法的实现基于不断提升的硬件并行计算能力(GPU,FPGA)，但是基于RNN的结构在神经网络训练时必须进行线性计算，这就使得这些预测算法无法充分利用现有硬件的并行计算能力，这就导致流量预测模型进行大规模部署和分布式训练时的成本增加。
发明内容
本发明提出了一种基于自注意力卷积网络的无线业务流量预测方法，用于解决基于RNN结构的深度学习方法无法捕获流量数据在长时间序列内的复杂相关性问题，以及预测算法难以并行化实现，训练效率不高的问题。
本发明还提供了一种计算机设备及存储介质；
本发明利用自注意力卷积网络，对无线业务流量的历史数据与时间特征进行学习与融合，能够有效提取流量数据在大时间尺度下的动态特性。该算法不仅能够有效提升流量预测的准确率，而且能够进行并行化处理，提升了神经网络的训练效率，进而提升流量预测算法的整体性能。
术语解释：
Figure GDA0003305852600000021
范数：设向量X＝{x1,x2,...,xn}，则向量X的
Figure GDA0003305852600000022
范数定义为
Figure GDA0003305852600000023
Figure GDA0003305852600000024
范数：设向量X＝{x1,x2,...,xn}，则向量X的
Figure GDA0003305852600000025
范数定义为
Figure GDA0003305852600000026
残差卷积层：设输入为张量X，输出为张量O,卷积核为W1,W2。残差卷积层对输入进行卷积运算后与输入相加，即：O＝σ(X+W2*(σ(W1*X)),式中*表示卷积运算，残差卷积层示意图如图5所示。
本发明的技术方案为：
一种基于自注意力卷积网络的无线业务流量预测方法，是指：将待预测的原始无线业务流量预处理后输入至训练好的流量预测模型，得到预测的流量数据，流量数据是指流量值；
待预测的原始无线业务流量预处理的过程包括：
以小时为时间粒度单位，利用滑动时间窗，对原始无线业务流量进行划分，使每组流量数据时间跨度为T小时；在空间维度上，不同地区拼接成为一个网格，使处于同一时段的不同地区的流量数据以数据矩阵的形式存储在数据库中，得到处理后的每组流量数据D′＝{D1′,D2′,...,Dt′...,DT′}，其中矩阵
Figure GDA0003305852600000027
H表示网格行数,W表示网格列数，将网格中心作为原点，矩阵Dt′中的元素dt (h,w)′表示坐标为(h,w)地区在第t小时的流量值；将与第t小时的流量数据对应的时间戳信息存储为长度为ld的一维张量Ddate′；将不同地区与流量数据生成相关的特征存储为特征矩阵，将N种特征的特征矩阵拼接为一个3维张量
Figure GDA0003305852600000028
本发明考虑了处于不同时间节点流量数据的动态特性，提升了神经网络对于大时间尺度流量数据的特征提取能力，此外，本发明对不同时间节点流量数据的特征学习过程进行并行化处理，以达到提升算法的总体性能的目的。
根据本发明优选的，所述流量预测模型包括时间编码网络、自注意力卷积网络、特征嵌入网络及卷积残差网络；
所述时间编码网络提取时间戳信息中的特征，将所得特征与具有一定时间跨度的流量数据进行融合；所述自注意力卷积网络对处于不同时间节点的无线流量数据进行相关性分析与特征表征；所述特征嵌入网络对其它相关特征进行特征提取；所述卷积残差网络将所述自注意力卷积网络的输出结果与所述特征嵌入网络的输出结果表征进行融合后得到下一时段的预测流量Y'。
为了提升无线业务流量预测的整体性能，所述流量预测模型的训练过程如下：
(1)以小时为时间粒度单位，利用滑动时间窗，对原始无线业务流量进行划分，使每组流量数据时间跨度为T小时；
在空间维度上，不同地区拼接成为一个网格，使处于同一时段的不同地区的流量数据以数据矩阵的形式存储在数据库中，得到处理后的每组流量数据D＝{D1,D2,...,Dt...,DT}，其中矩阵
Figure GDA0003305852600000031
H表示网格行数,W表示网格列数，将网格中心作为原点，矩阵Dt中的元素dt (h,w)表示坐标为(h,w)地区在第t小时的流量值；
(2)将与第t小时的流量值对应的时间戳信息存储为长度为ld的一维张量Ddate；将不同地区与流量数据生成相关的特征存储为特征矩阵，将不同特征矩阵拼接为一个3维张量
Figure GDA0003305852600000032
N表示相关的特征的数目；
(3)将步骤(1)及步骤(2)得到的时间跨度为T时段的流量数据D、时间戳信息Ddate、相关特征矩阵Dcross作为流量预测模型的输入，将第T+1时段的流量数据作为训练目标，构建含有n个训练样本的数据集，将整个数据集划分为训练集、验证集与测试集；
(4)以时间戳信息为输入，构建时间编码网络Fdate。所述时间编码网络将时间戳信息Ddate与时间跨度为T时段的流量数据D进行融合，将特征融合结果传入到由la层自注意力卷积单元构成的所述自注意力卷积网络，利用自注意力机制对流量数据在时间维度的复杂动态特性进行建模；
(5)所述特征嵌入网络对无线业务流量的相关特征Dcross进行特征提取后得到特征表征Ocross，将Ocross与步骤(4)中所述自注意力卷积网络的输出作为包含lr层残差卷积层的残差卷积网络Fr的输入进行特征融合，得到预测流量值；计算预测流量Y'值与实际流量值Y的均方误差，构建整个流量预测模型的损失函数；
(6)利用随机梯度下降算法，对整个预测神经网络进行监督训练，直至满足训练结束条件。
根据本发明优选的，所述时间戳信息是指对流量生成时段的具体描述，包括星期、小时、是否周末、是否法定节假日、是否通勤高峰。
根据本发明优选的，不同地区与流量数据生成相关的特征包括该地区的道路车流量、基站数量、通信基站数量、商场数量、人口密度；通过第三方的开源API获取不同地区与流量数据生成相关的特征。例如，谷歌地图API，高德地图API。
根据本发明优选的，所述步骤(4)，包括步骤如下：
(a)利用线性映射构建时间编码网络Fdate，通过时间编码网络Fdate对时间戳信息Ddate做进一步表征，时间编码网络Fdate输出记作Odate，如式(Ⅰ)所示：
Figure GDA0003305852600000041
式(Ⅰ)中，σ是激活函数，向量
Figure GDA0003305852600000042
向量
Figure GDA0003305852600000043
均是线性映射参数，b1、b2均是线性映射偏置，通过两次映射对时间戳信息进行更为准确的特征表征；
(b)由于自注意力机制，无法充分利用流量数据在时间维度上的先后序列性，为此，本发明将步骤(a)中时间编码信息Odate与对应时段的流量数据Dt进行线性叠加，从而更好地刻画不同时段流量数据时序性，线性叠加结果为X＝{X1,X2...XT}；
(c)第l层自注意力卷积单元，l∈{1,2,...,la}，通过卷积运算对每一时刻的流量数据Xt做进一步的特征学习,如式(Ⅱ)-(Ⅳ)所示：
Figure GDA0003305852600000044
Figure GDA0003305852600000045
Figure GDA0003305852600000046
式(Ⅱ)-(Ⅳ)中，
Figure GDA0003305852600000047
表示第l层自注意力卷积单元的输入，
Figure GDA0003305852600000048
分别表示含有不同参数的卷积层，通过卷积运算提取不同时段流量数据的特征表征，
Figure GDA0003305852600000049
Vt (l)表示第t个时段的流量数据在第l层自注意力卷积单元的3种特征表征；
通过式(Ⅱ)-(Ⅳ)的卷积运算，某一特定时段的流量数据被表征为Q,K,V三个张量；
(d)利用不同时段的Q,K值对序列相关性进行模式挖掘，第t时段与第i时段的相关性如式(Ⅴ)所示：
Figure GDA00033058526000000410
式(Ⅴ)中，ψ是softmax函数，
Figure GDA00033058526000000411
表示第i时段的特征表征相对与第t时段特征表征的相关系数，通过i∈{1,2,...t}限定第t时段的流量只与第t时段之前产生的流量有关，Qt、Ki分别就是
Figure GDA00033058526000000412
Figure GDA0003305852600000051
(e)根据步骤(d)求取的权重
Figure GDA0003305852600000052
对不同时段的V张量进行加权求和，如式(Ⅵ)所示：
Figure GDA0003305852600000053
式(Ⅵ)中，σ()表示激活函数,
Figure GDA0003305852600000054
表示第l层注意力卷积单元的输出；
根据本发明优选的，所述步骤(5)，具体步骤如下：
(f)通过卷积层对无线业务流量的相关特征Dcross进行特征提取，如式(Ⅶ)所示：
Figure GDA0003305852600000055
式(Ⅶ)中，*表示卷积运算，Wc 1，Wc 2是卷积层的卷积核参数，
Figure GDA0003305852600000056
bc 2表示卷积运算的偏置；
(g)利用残差卷积层fresidual对Ocross和
Figure GDA0003305852600000057
进行特征融合，得到预测的流量数据Y'，如式(Ⅷ)所示：
Figure GDA0003305852600000058
式(Ⅷ)中，
Figure GDA0003305852600000059
是自注意力卷积网络S的输出，fresidual 1、fresidual 2表示含有不同参数的残差卷积层；
根据本发明优选的，在损失函数中添加正则化项作为优化目标，避免神经网络在进行训练时出现过拟合，损失函数Lloss如式(Ⅸ)所示：
Figure GDA00033058526000000510
式(Ⅸ)中，Y是T+1时段的实际流量数据，θ是整个流量预测模型的训练参数，
Figure GDA00033058526000000511
为范数函数，p的取值范围为{1,2}，1代表
Figure GDA00033058526000000512
范数，2代表
Figure GDA00033058526000000513
范数。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于自注意力卷积网络的无线业务流量预测方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于自注意力卷积网络的无线业务流量预测方法的步骤。
本发明的有益效果为：
1、本发明基于自注意力卷积网络的无线业务流量预测方法，基于自注意力卷积网络的预测算法准确率得到有效提升，预测值跟真实值相近，误差较小。
2、本发明自注意力卷积网络可以并行化实现，提高了神经网络训练效率，有利于预测模型在分布式系统中的大规模线上部署。
3、本发明可用于提升智能通信系统中的流量预测性能，辅助通信网络进行更合理的资源调度与管理。
附图说明
图1是本发明中基于自注意力卷积网络的无线业务流量预测方法的流程示意图；
图2是本发明自注意力卷积网络进行相关性分析与特征表征的流程示意图；
图3是本发明实施例6与其它两种现有算法的对比示意图；
图4是本发明实施例6预测值与真实值的对比结果图；
图5为本发明自注意力卷积网络的结构框图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种基于自注意力卷积网络的无线业务流量预测方法，是指：将待预测的原始无线业务流量预处理后输入至训练好的流量预测模型，得到预测的流量数据，流量数据是指流量值；
待预测的原始无线业务流量预处理的过程包括：
以小时为时间粒度单位，利用滑动时间窗，对原始无线业务流量进行划分，使每组流量数据时间跨度为T小时；在空间维度上，不同地区拼接成为一个网格，使处于同一时段的不同地区的流量数据以数据矩阵的形式存储在数据库中，得到处理后的每组流量数据D′＝{D1′,D2′,...,Dt′...,DT′}，其中矩阵
Figure GDA0003305852600000061
H表示网格行数,W表示网格列数，将网格中心作为原点，矩阵Dt′中的元素dt (h,w)′表示坐标为(h,w)地区在第t小时的流量值；将与第t小时的流量数据对应的时间戳信息存储为长度为ld的一维张量Ddate′；将不同地区与流量数据生成相关的特征存储为特征矩阵，将N种特征的特征矩阵拼接为一个3维张量
Figure GDA0003305852600000062
本发明考虑了处于不同时间节点流量数据的动态特性，提升了神经网络对于大时间尺度流量数据的特征提取能力，此外，本发明对不同时间节点流量数据的特征学习过程进行并行化处理，以达到提升算法的总体性能的目的。
实施例2
根据实施例1所述的一种基于自注意力卷积网络的无线业务流量预测方法，其区别在于：
流量预测模型包括时间编码网络、自注意力卷积网络、特征嵌入网络及卷积残差网络；如图1所示，时间编码网络提取时间戳信息中的特征，将所得特征与具有一定时间跨度的流量数据进行融合；自注意力卷积网络对处于不同时间节点的无线流量数据进行相关性分析与特征表征；特征嵌入网络对其它相关特征进行特征提取；卷积残差网络将自注意力卷积网络的输出结果与特征嵌入网络的输出结果表征进行融合后得到下一时段的预测流量Y'。
实施例3
根据实施例1所述的一种基于自注意力卷积网络的无线业务流量预测方法，其区别在于：
为了提升无线业务流量预测的整体性能，流量预测模型的训练过程如下：
(1)以小时为时间粒度单位，利用滑动时间窗，对原始无线业务流量进行划分，使每组流量数据时间跨度为T小时；
在空间维度上，不同地区拼接成为一个网格，使处于同一时段的不同地区的流量数据以数据矩阵的形式存储在数据库中，得到处理后的每组流量数据D＝{D1,D2,...,Dt...,DT}，其中矩阵
Figure GDA0003305852600000071
H表示网格行数,W表示网格列数，将网格中心作为原点，矩阵Dt中的元素dt (h,w)表示坐标为(h,w)地区在第t小时的流量值；
(2)将与第t小时的流量值对应的时间戳信息存储为长度为ld的一维张量Ddate；将不同地区与流量数据生成相关的特征存储为特征矩阵，将不同特征矩阵拼接为一个3维张量
Figure GDA0003305852600000072
N表示相关的特征的数目；
(3)将步骤(1)及步骤(2)得到的时间跨度为T时段的流量数据D、时间戳信息Ddate、相关特征矩阵Dcross作为流量预测模型的输入，将第T+1时段的流量数据作为训练目标，构建含有n个训练样本的数据集，将整个数据集划分为训练集、验证集与测试集；
(4)以时间戳信息为输入，构建时间编码网络Fdate。时间编码网络将时间戳信息Ddate与时间跨度为T时段的流量数据D进行融合，将特征融合结果传入到由la层自注意力卷积单元构成的自注意力卷积网络，利用自注意力机制对流量数据在时间维度的复杂动态特性进行建模；
(5)特征嵌入网络对无线业务流量的相关特征Dcross进行特征提取后得到特征表征Ocross，将Ocross与步骤(4)中自注意力卷积网络的输出作为包含lr层残差卷积层的残差卷积网络Fr的输入进行特征融合，得到预测流量值；计算预测流量Y'值与实际流量值Y的均方误差，构建整个流量预测模型的损失函数；
在损失函数中添加正则化项作为优化目标，避免神经网络在进行训练时出现过拟合，损失函数Lloss如式(Ⅸ)所示：
Figure GDA0003305852600000081
式(Ⅸ)中，Y是T+1时段的实际流量数据，θ是整个流量预测模型的训练参数，
Figure GDA0003305852600000082
为范数函数，p的取值范围为{1,2}，1代表
Figure GDA0003305852600000083
范数，2代表
Figure GDA0003305852600000084
范数。
(6)利用随机梯度下降算法，对整个预测神经网络进行监督训练，直至满足训练结束条件。
时间戳信息是指对流量生成时段的具体描述，包括星期、小时、是否周末、是否法定节假日、是否通勤高峰。
不同地区与流量数据生成相关的特征包括该地区的道路车流量、基站数量、通信基站数量、商场数量、人口密度；通过第三方的开源API获取不同地区与流量数据生成相关的特征。例如，谷歌地图API，高德地图API。
实施例4
根据实施例1所述的一种基于自注意力卷积网络的无线业务流量预测方法，其区别在于：
步骤(4)，包括步骤如下：
(a)利用线性映射构建时间编码网络Fdate，通过时间编码网络Fdate对时间戳信息Ddate做进一步表征，时间编码网络Fdate输出记作Odate，如式(Ⅰ)所示：
Figure GDA0003305852600000085
式(Ⅰ)中，σ是激活函数，向量
Figure GDA0003305852600000086
向量
Figure GDA0003305852600000087
均是线性映射参数，b1、b2均是线性映射偏置，通过两次映射对时间戳信息进行更为准确的特征表征；
(b)由于自注意力机制，无法充分利用流量数据在时间维度上的先后序列性，为此，本发明将步骤(a)中时间编码信息Odate与对应时段的流量数据Dt进行线性叠加，从而更好地刻画不同时段流量数据时序性，线性叠加结果为X＝{X1,X2...XT}；
(c)第l层自注意力卷积单元，l∈{1,2,...,la}，通过卷积运算对每一时刻的流量数据Xt做进一步的特征学习,如式(Ⅱ)-(Ⅳ)所示：
Figure GDA0003305852600000091
Figure GDA0003305852600000092
Figure GDA0003305852600000093
式(Ⅱ)-(Ⅳ)中，
Figure GDA0003305852600000094
表示第l层自注意力卷积单元的输入，
Figure GDA0003305852600000095
分别表示含有不同参数的卷积层，通过卷积运算提取不同时段流量数据的特征表征，
Figure GDA0003305852600000096
Vt (l)表示第t个时段的流量数据在第l层自注意力卷积单元的3种特征表征；
通过式(Ⅱ)-(Ⅳ)的卷积运算，某一特定时段的流量数据被表征为Q,K,V三个张量；
(d)利用不同时段的Q,K值对序列相关性进行模式挖掘，第t时段与第i时段的相关性如式(Ⅴ)所示：
Figure GDA0003305852600000097
式(Ⅴ)中，ψ是softmax函数，
Figure GDA0003305852600000098
表示第i时段的特征表征相对与第t时段特征表征的相关系数，通过i∈{1,2,...t}限定第t时段的流量只与第t时段之前产生的流量有关，Qt、Ki分别就是
Figure GDA0003305852600000099
Figure GDA00033058526000000910
(e)根据步骤(d)求取的权重
Figure GDA00033058526000000911
对不同时段的V张量进行加权求和，如式(Ⅵ)所示：
Figure GDA00033058526000000912
式(Ⅵ)中，σ()表示激活函数,
Figure GDA00033058526000000913
表示第l层注意力卷积单元的输出；
实施例5
根据实施例1所述的一种基于自注意力卷积网络的无线业务流量预测方法，其区别在于：步骤(5)，具体步骤如下：
(f)通过卷积层对无线业务流量的相关特征Dcross进行特征提取，如式(Ⅶ)所示：
Figure GDA00033058526000000914
式(Ⅶ)中，*表示卷积运算，Wc 1，Wc 2是卷积层的卷积核参数，
Figure GDA00033058526000000915
bc 2表示卷积运算的偏置；
(g)利用残差卷积层fresidual对Ocross和
Figure GDA00033058526000000916
进行特征融合，得到预测的流量数据Y'，如式(Ⅷ)所示：
Figure GDA0003305852600000101
式(Ⅷ)中，
Figure GDA0003305852600000102
是自注意力卷积网络S的输出，fresidual 1、fresidual 2表示含有不同参数的残差卷积层；具体结构如图5所示。
实施例6
根据实施例1所述的一种基于自注意力卷积网络的无线业务流量预测方法，其区别在于：流量预测模型的训练过程如下：
(1)以小时为时间粒度单位，利用滑动时间窗，对原始无线业务流量进行划分，使每组流量数据时间跨度为T＝6小时；
在空间维度上，不同地区拼接成为一个网格，使处于同一时段的不同地区的流量数据以数据矩阵的形式存储在数据库中，得到处理后的每组流量数据D＝{D1,D2,...,Dt...,DT}，其中矩阵
Figure GDA0003305852600000103
H表示网格行数,H＝25，W表示网格列数，W＝25，将网格中心作为原点，矩阵Dt中的元素dt (h,w)表示坐标为(h,w)地区在第t小时的流量值；
(2)将与第t小时的流量值对应的时间戳信息存储为长度为ld的一维张量Ddate；ld＝4；将不同地区与流量数据生成相关的特征存储为特征矩阵，将3种特征矩阵拼接为一个3维张量
Figure GDA0003305852600000104
N表示相关的特征的数目；N＝3；时间戳信息是指对流量生成时段的具体描述，包括星期、小时、是否周末、是否法定节假日、是否通勤高峰。某一地区与流量生成有关的其它特征可以通过谷歌地图API获取，获取的相关特征包括该地区的车站数量、商场数量，通信基站的数量3种特征。
(3)将步骤(1)及步骤(2)得到的时间跨度为T时段的流量数据D、时间戳信息Ddate、相关特征矩阵Dcross作为流量预测模型的输入，将第T+1时段的流量数据作为训练目标，构建含有n个训练样本的数据集，将整个数据集划分为训练集、验证集与测试集，所占比例分别为60％、20％、20％。
(4)以时间戳信息为输入，构建时间编码网络Fdate。时间编码网络将时间戳信息Ddate与时间跨度为T时段的流量数据D进行融合，将特征融合结果传入到由la层自注意力卷积单元构成的所述自注意力卷积网络，la＝4，利用自注意力机制对流量数据在时间维度的复杂动态特性进行建模；
包括步骤如下：
(a)利用线性映射构建时间编码网络Fdate，通过时间编码网络Fdate对时间戳信息Ddate做进一步表征，时间编码网络Fdate输出记作Odate，如式(Ⅰ)所示：
Figure GDA0003305852600000111
式(Ⅰ)中，σ是激活函数，向量
Figure GDA0003305852600000112
向量
Figure GDA0003305852600000113
均是线性映射参数，b1、b2均是线性映射偏置，通过两次映射对时间戳信息进行更为准确的特征表征；
(b)由于自注意力机制，无法充分利用流量数据在时间维度上的先后序列性，为此，本发明将步骤(a)中时间编码信息Odate与对应时段的流量数据Dt进行线性叠加，从而更好地刻画不同时段流量数据时序性，线性叠加结果为X＝{X1,X2...XT}；
(c)第l层自注意力卷积单元，l∈{1,2,...,la}，通过卷积运算对每一时刻的流量数据Xt做进一步的特征学习,如式(Ⅱ)-(Ⅳ)所示：
Figure GDA0003305852600000114
Figure GDA0003305852600000115
Figure GDA0003305852600000116
式(Ⅱ)-(Ⅳ)中，
Figure GDA0003305852600000117
表示第l层自注意力卷积单元的输入，
Figure GDA0003305852600000118
分别表示含有不同参数的卷积层，通过卷积运算提取不同时段流量数据的特征表征，
Figure GDA0003305852600000119
Vt (l)表示第t个时段的流量数据在第l层自注意力卷积单元的3种特征表征；
通过式(Ⅱ)-(Ⅳ)的卷积运算，某一特定时段的流量数据被表征为Q,K,V三个张量；
(d)利用不同时段的Q,K值对序列相关性进行模式挖掘，第t时段与第i时段的相关性如式(Ⅴ)所示：
Figure GDA00033058526000001110
式(Ⅴ)中，ψ是softmax函数，
Figure GDA00033058526000001111
表示第i时段的特征表征相对与第t时段特征表征的相关系数，通过i∈{1,2,...t}限定第t时段的流量只与第t时段之前产生的流量有关，Qt、Ki分别就是
Figure GDA00033058526000001112
Figure GDA00033058526000001113
(e)根据步骤(d)求取的权重
Figure GDA0003305852600000121
对不同时段的V张量进行加权求和，如式(Ⅵ)所示：
Figure GDA0003305852600000122
式(Ⅵ)中，σ()表示激活函数,
Figure GDA0003305852600000123
表示第l层注意力卷积单元的输出；
(5)特征嵌入网络对无线业务流量的相关特征Dcross进行特征提取后得到特征表征Ocross，将Ocross与步骤(4)中所述自注意力卷积网络的输出作为包含lr层残差卷积层的残差卷积网络Fr的输入进行特征融合，得到预测流量值；lr＝5；计算预测流量Y'值与实际流量值Y的均方误差，构建神整个流量预测模型的损失函数；具体步骤如下：
(f)通过卷积层对无线业务流量的相关特征Dcross进行特征提取，如式(Ⅶ)所示：
Figure GDA0003305852600000124
式(Ⅶ)中，*表示卷积运算，Wc 1，Wc 2是卷积层的卷积核参数，b1，b2表示卷积运算的偏置；
(g)利用残差卷积层fresidual对Ocross和
Figure GDA0003305852600000125
进行特征融合，得到预测的流量数据Y'，如式(Ⅷ)所示：
Figure GDA0003305852600000126
式(Ⅷ)中，
Figure GDA0003305852600000127
是自注意力卷积网络S的输出，fresidual 1、fresidual 2表示含有不同参数的残差卷积层；
(6)利用Adam优化算法，对整个神经网络进行监督训练，直至满足训练结束条件。
本实施例提出的基于自注意力卷积网络的无线业务流量预测的效果图如图3、图4所示。从图3可以看出，随着流量数据时间跨度T从3小时增加到6小时，基于自注意力卷积网络的无线业务流量预测方法准确率得到有效提升。
如图4所示，预测值跟真实值相近，误差较小。同时，如图2所示，自注意力卷积网络可以并行化实现，提高了神经网络训练效率，有利于预测模型在分布式系统中的大规模线上部署。综上所述，本发明可用于提升智能通信系统中的流量预测性能，辅助通信网络进行更合理的资源调度与管理。
实施例7
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现实施例1-5任一所述基于自注意力卷积网络的无线业务流量预测方法的步骤。
实施例8
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现实施例1-5任一所述基于自注意力卷积网络的无线业务流量预测方法的步骤。

Claims (7)

1.一种基于自注意力卷积网络的无线业务流量预测方法，其特征在于，是指：将待预测的原始无线业务流量预处理后输入至训练好的流量预测模型，得到预测的流量数据，流量数据是指流量值；
待预测的原始无线业务流量预处理的过程包括：以小时为时间粒度单位，利用滑动时间窗，对原始无线业务流量进行划分，使每组流量数据时间跨度为T小时；在空间维度上，不同地区拼接成为一个网格，使处于同一时段的不同地区的流量数据以数据矩阵的形式存储在数据库中，得到处理后的每组流量数据D′＝{D1′,D2′,...,Dt′...,DT′}，其中矩阵
Figure FDA0003342762280000011
H表示网格行数,W表示网格列数，将网格中心作为原点，矩阵Dt′中的元素
Figure FDA0003342762280000012
表示坐标为(h,w)地区在第t小时的流量值；将与第t小时的流量数据对应的时间戳信息存储为长度为ld的一维张量Ddate′；将不同地区与流量数据生成相关的特征存储为特征矩阵，将N种特征的特征矩阵拼接为一个3维张量
Figure FDA0003342762280000013
所述流量预测模型包括时间编码网络、自注意力卷积网络、特征嵌入网络及卷积残差网络；
所述时间编码网络提取时间戳信息中的特征，将所得特征与具有一定时间跨度的流量数据进行融合；所述自注意力卷积网络对处于不同时间节点的无线流量数据进行相关性分析与特征表征；所述特征嵌入网络对其它相关特征进行特征提取；所述卷积残差网络将所述自注意力卷积网络的输出结果与所述特征嵌入网络的输出结果表征进行融合后得到下一时段的预测流量Y'；
所述流量预测模型的训练过程如下：
(1)以小时为时间粒度单位，利用滑动时间窗，对原始无线业务流量进行划分，使每组流量数据时间跨度为T小时；
在空间维度上，不同地区拼接成为一个网格，使处于同一时段的不同地区的流量数据以数据矩阵的形式存储在数据库中，得到处理后的每组流量数据D＝{D1,D2,...,Dt...,DT}，其中矩阵
Figure FDA0003342762280000014
H表示网格行数,W表示网格列数，将网格中心作为原点，矩阵Dt中的元素
Figure FDA0003342762280000015
表示坐标为(h,w)地区在第t小时的流量值；
(2)将与第t小时的流量值对应的时间戳信息存储为长度为ld的一维张量Ddate；将不同地区与流量数据生成相关的特征存储为特征矩阵，将不同特征矩阵拼接为一个3维张量
Figure FDA0003342762280000016
N表示相关的特征的数目；
(3)将步骤(1)及步骤(2)得到的时间跨度为T时段的流量数据D、时间戳信息Ddate、相关特征矩阵Dcross作为流量预测模型的输入，将第T+1时段的流量数据作为训练目标，构建含有n个训练样本的数据集，将整个数据集划分为训练集、验证集与测试集；
(4)所述时间编码网络将时间戳信息Ddate与时间跨度为T时段的流量数据D进行融合，将特征融合结果传入到由la层自注意力卷积单元构成的所述自注意力卷积网络，利用自注意力机制对流量数据在时间维度的复杂动态特性进行建模；
(5)所述特征嵌入网络对无线业务流量的相关特征Dcross进行特征提取后得到特征表征Ocross，将Ocross与步骤(4)中所述自注意力卷积网络的输出作为包含lr层残差卷积层的残差卷积网络Fr的输入进行特征融合，得到预测流量值；计算预测流量Y'值与实际流量值Y的均方误差，构建整个流量预测模型的损失函数；
(6)利用随机梯度下降算法，对整个预测神经网络进行监督训练，直至满足训练结束条件；
所述步骤(4)，包括步骤如下：
(a)利用线性映射构建时间编码网络Fdate，通过时间编码网络Fdate对时间戳信息Ddate做进一步表征，时间编码网络Fdate输出记作Odate，如式(Ⅰ)所示：
Figure FDA0003342762280000021
式(Ⅰ)中，σ是激活函数，向量
Figure FDA0003342762280000022
向量
Figure FDA0003342762280000023
均是线性映射参数，b1、b2均是线性映射偏置，通过两次映射对时间戳信息进行更为准确的特征表征；
(b)将步骤(a)中时间编码信息Odate与对应时段的流量数据Dt进行线性叠加，线性叠加结果为X＝{X1,X2...XT}；
(c)第l层自注意力卷积单元，l∈{1,2,...,la}，通过卷积运算对每一时刻的流量数据Xt做进一步的特征学习,如式(Ⅱ)-(Ⅳ)所示：
Figure FDA0003342762280000024
Figure FDA0003342762280000025
Figure FDA0003342762280000026
式(Ⅱ)-(Ⅳ)中，
Figure FDA0003342762280000031
表示第l层自注意力卷积单元的输入，
Figure FDA0003342762280000032
分别表示含有不同参数的卷积层，通过卷积运算提取不同时段流量数据的特征表征，
Figure FDA0003342762280000039
Vt (l)表示第t个时段的流量数据在第l层自注意力卷积单元的3种特征表征；
通过式(Ⅱ)-(Ⅳ)的卷积运算，某一特定时段的流量数据被表征为Q,K,V三个张量；
(d)利用不同时段的Q,K值对序列相关性进行模式挖掘，第t时段与第i时段的相关性如式(Ⅴ)所示：
Figure FDA0003342762280000033
式(Ⅴ)中，ψ是softmax函数，
Figure FDA0003342762280000034
表示第i时段的特征表征相对与第t时段特征表征的相关系数，Qt、Ki分别就是
Figure FDA00033427622800000310
Ki (l)；
(e)根据步骤(d)求取的权重
Figure FDA0003342762280000035
对不同时段的V张量进行加权求和，如式(Ⅵ)所示：
Figure FDA0003342762280000036
式(Ⅵ)中，σ()表示激活函数,
Figure FDA0003342762280000037
表示第l层注意力卷积单元的输出。
2.根据权利要求1所述的一种基于自注意力卷积网络的无线业务流量预测方法，其特征在于，所述时间戳信息是指对流量生成时段的具体描述，包括星期、小时、是否周末、是否法定节假日、是否通勤高峰。
3.根据权利要求1所述的一种基于自注意力卷积网络的无线业务流量预测方法，其特征在于，不同地区与流量数据生成相关的特征包括该地区的道路车流量、基站数量、通信基站数量、商场数量、人口密度；通过第三方的开源API获取不同地区与流量数据生成相关的特征。
4.根据权利要求1所述的一种基于自注意力卷积网络的无线业务流量预测方法，其特征在于，所述步骤(5)，具体步骤如下：
(f)通过卷积层对无线业务流量的相关特征Dcross进行特征提取，如式(Ⅶ)所示：
Figure FDA0003342762280000038
式(Ⅶ)中，*表示卷积运算，Wc 1，Wc 2是卷积层的卷积核参数，
Figure FDA00033427622800000311
bc 2表示卷积运算的偏置；
(g)利用残差卷积层fresidual对Ocross和
Figure FDA00033427622800000312
进行特征融合，得到预测的流量数据Y'，如式(Ⅷ)所示：
Figure FDA0003342762280000041
式(Ⅷ)中，
Figure FDA0003342762280000042
是自注意力卷积网络S的输出，fresidual 1、fresidual 2表示含有不同参数的残差卷积层。
5.根据权利要求1所述的一种基于自注意力卷积网络的无线业务流量预测方法，其特征在于，损失函数Lloss如式(Ⅸ)所示：
Figure FDA0003342762280000043
式(Ⅸ)中，Y是T+1时段的实际流量数据，θ是整个流量预测模型的训练参数，
Figure FDA0003342762280000046
为范数函数，p的取值范围为{1,2}，1代表
Figure FDA0003342762280000044
范数，2代表
Figure FDA0003342762280000045
范数。
6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-5任一所述基于自注意力卷积网络的无线业务流量预测方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任一所述基于自注意力卷积网络的无线业务流量预测方法的步骤。
CN202110201150.9A 2021-02-03 2021-02-23 一种基于自注意力卷积网络的无线业务流量预测方法、设备及介质 Active CN112910711B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110148497 2021-02-03
CN2021101484971 2021-02-03

Publications (2)

Publication Number Publication Date
CN112910711A CN112910711A (zh) 2021-06-04
CN112910711B true CN112910711B (zh) 2021-12-24

Family

ID=76124406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110201150.9A Active CN112910711B (zh) 2021-02-03 2021-02-23 一种基于自注意力卷积网络的无线业务流量预测方法、设备及介质

Country Status (1)

Country Link
CN (1) CN112910711B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660676B (zh) * 2021-07-20 2024-04-30 山东师范大学 基站流量预测方法、系统、存储介质及设备
CN114362988B (zh) * 2021-09-29 2023-06-20 中国科学院计算机网络信息中心 网络流量的识别方法及装置
CN114862010A (zh) * 2022-04-28 2022-08-05 京东城市(北京)数字科技有限公司 一种基于时空数据的流量确定方法、装置、设备和介质
CN115022193B (zh) * 2022-05-23 2024-02-02 电子科技大学 一种基于深度学习模型的局域网流量预测方法
CN115022194B (zh) * 2022-05-24 2023-09-26 桂林电子科技大学 基于sa-gru的网络安全态势预测方法
CN115841343B (zh) * 2022-12-16 2024-01-30 广州飞狮数字科技有限公司 一种销售额度的确定方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110650058A (zh) * 2019-10-08 2020-01-03 河南省云安大数据安全防护产业技术研究院有限公司 一种网络流量分析方法、装置、存储介质及设备
CN111343650A (zh) * 2020-02-14 2020-06-26 山东大学 一种基于跨域数据和对抗损失的城市尺度无线业务流量预测方法
CN111918321A (zh) * 2020-07-22 2020-11-10 湖北工业大学 一种基于时空注意卷积网络的移动流量预测方法
CN112257263A (zh) * 2020-10-22 2021-01-22 中国科学院自动化研究所 基于自注意力机制的设备剩余寿命预测系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11789945B2 (en) * 2019-04-18 2023-10-17 Sap Se Clause-wise text-to-SQL generation
CN111223301B (zh) * 2020-03-11 2021-01-26 北京理工大学 一种基于图注意力卷积网络的交通流量预测方法
CN112071065A (zh) * 2020-09-16 2020-12-11 山东理工大学 一种基于全局扩散卷积残差网络的交通流预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110650058A (zh) * 2019-10-08 2020-01-03 河南省云安大数据安全防护产业技术研究院有限公司 一种网络流量分析方法、装置、存储介质及设备
CN111343650A (zh) * 2020-02-14 2020-06-26 山东大学 一种基于跨域数据和对抗损失的城市尺度无线业务流量预测方法
CN111918321A (zh) * 2020-07-22 2020-11-10 湖北工业大学 一种基于时空注意卷积网络的移动流量预测方法
CN112257263A (zh) * 2020-10-22 2021-01-22 中国科学院自动化研究所 基于自注意力机制的设备剩余寿命预测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于全注意力机制的多步网络流量预测;郭佳等;《信号处理》;20190525(第05期);第758-767 *

Also Published As

Publication number Publication date
CN112910711A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN112910711B (zh) 一种基于自注意力卷积网络的无线业务流量预测方法、设备及介质
CN109492822B (zh) 空气污染物浓度时空域关联预测方法
CN109142171B (zh) 基于特征扩张的融合神经网络的城市pm10浓度预测方法
CN112532439B (zh) 一种基于注意力多组件时空跨域神经网络模型的网络流量预测方法
CN113313947B (zh) 短期交通预测图卷积网络的路况评估方法
CN110909926A (zh) 基于tcn-lstm的太阳能光伏发电预测方法
CN110046787A (zh) 一种城市区域电动汽车充电需求时空预测方法
CN112766600B (zh) 一种城市区域人群流量预测方法及系统
Tian et al. A network traffic prediction method based on IFS algorithm optimised LSSVM
Massaoudi et al. Performance evaluation of deep recurrent neural networks architectures: Application to PV power forecasting
CN115545334B (zh) 土地利用类型预测方法、装置、电子设备及存储介质
CN115146842A (zh) 基于深度学习的多元时间序列趋势预测方法和系统
CN112766603A (zh) 一种交通流量预测方法、系统、计算机设备及存储介质
CN115206092A (zh) 一种基于注意力机制的BiLSTM和LightGBM模型的交通预测方法
Zhao et al. Mastgn: Multi-attention spatio-temporal graph networks for air pollution prediction
CN107480786B (zh) 基于输出状态限制的循环神经网络轨迹似然概率计算方法
CN111935766B (zh) 一种基于全局空间依赖性的无线网络流量预测方法
Fan et al. DWNet: dual-window deep neural network for time series prediction
CN114566048A (zh) 一种基于多视角自适应时空图网络的交通控制方法
Panwar et al. A Prospective Approach on Covid-19 Forecasting Using LSTM
CN113947238A (zh) 一种基于多站点时空关联的城市污染物浓度预测方法
Peñaloza et al. Review of deep learning application for short-term household load forecasting
CN117437786B (zh) 一种基于人工智能的实时交通路网短时交通流预测方法
Liu et al. Nonstationary Network Traffic Prediction With RevIN-based LSTM
CN116170351B (zh) 一种基于时空图注意力机制的网络流量预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant