CN112910711A - 一种基于自注意力卷积网络的无线业务流量预测方法、设备及介质 - Google Patents

一种基于自注意力卷积网络的无线业务流量预测方法、设备及介质 Download PDF

Info

Publication number
CN112910711A
CN112910711A CN202110201150.9A CN202110201150A CN112910711A CN 112910711 A CN112910711 A CN 112910711A CN 202110201150 A CN202110201150 A CN 202110201150A CN 112910711 A CN112910711 A CN 112910711A
Authority
CN
China
Prior art keywords
flow
time
network
self
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110201150.9A
Other languages
English (en)
Other versions
CN112910711B (zh
Inventor
张海霞
沈文鑫
郭帅帅
袁东风
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Publication of CN112910711A publication Critical patent/CN112910711A/zh
Application granted granted Critical
Publication of CN112910711B publication Critical patent/CN112910711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/06—Testing, supervising or monitoring using simulated traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于自注意力卷积网络的无线业务流量预测方法、设备及介质，是指：将待预测的原始无线业务流量预处理后输入至训练好的流量预测模型，得到预测的流量数据；本发明利用自注意力卷积网络，对无线业务流量的历史数据与时间特征进行学习与融合，能够有效提取流量数据在大时间尺度下的动态特性。该算法不仅能够有效提升流量预测的准确率，而且能够进行并行化处理，提升了神经网络的训练效率，进而提升流量预测算法的整体性能。

Description

一种基于自注意力卷积网络的无线业务流量预测方法、设备 及介质
技术领域
本发明属于通信网络和人工智能技术领域，涉及一种基于自注意力机制的无线业务流量预测方法、设备及介质，可用于通信系统中的网络管理与规划。
背景技术
高效准确的无线业务流量预测对于实现通信网络自动化、资源分配智能化具有重要意义。但是，终端用户的通信行为存在很高的动态性，尤其是在长时间尺度下，用户的通信行为复杂性与时变性都会加剧，增加了无线业务流量预测的难度。
无线业务流量预测问题可以建模为时间序列预测问题。传统的统计学习算法无法对流量数据在时域上的高动态特性进行建模；随着深度学习的技术的进步，现有的流量预测算法普遍采用基于深度神经网络的方法。
例如，中国专利文献CN109257760A中提出了基于LSTM的流量预测算法，根据某一特定区域内的历史通信行为，利用LSTM网络预测未来一段时间该区域的无线业务流量；中国专利文献CN111343650A中采用了CONVLSTM流量预测算法，利用卷积网络刻画流量数据空间分布特征，同时利用LSTM网络对流量数据在时序上的相关性进行刻画；此外还有基于编码-解码网络以及GRU网络的预测方法。然而，这些方法都是基于RNN的循环计算结构刻画流量在时序上的长期依赖性，当流量序列的时间跨度增长时，这些方法并不能从更大的时间尺度中捕获更为复杂的时序相关性，因而在具有高突发性、高时变性的通信场景下，传统的深度学习算法的准确率无法得到进一步提升。
此外，深度学习算法的实现基于不断提升的硬件并行计算能力(GPU,FPGA)，但是基于RNN的结构在神经网络训练时必须进行线性计算，这就使得这些预测算法无法充分利用现有硬件的并行计算能力，这就导致流量预测模型进行大规模部署和分布式训练时的成本增加。
发明内容
本发明提出了一种基于自注意力卷积网络的无线业务流量预测方法，用于解决基于RNN结构的深度学习方法无法捕获流量数据在长时间序列内的复杂相关性问题，以及预测算法难以并行化实现，训练效率不高的问题。
本发明还提供了一种计算机设备及存储介质；
本发明利用自注意力卷积网络，对无线业务流量的历史数据与时间特征进行学习与融合，能够有效提取流量数据在大时间尺度下的动态特性。该算法不仅能够有效提升流量预测的准确率，而且能够进行并行化处理，提升了神经网络的训练效率，进而提升流量预测算法的整体性能。
术语解释：
Figure BDA0002948982760000021
范数：设向量X＝{x1,x2,...,xn}，则向量X的
Figure BDA0002948982760000022
范数定义为
Figure BDA0002948982760000023
Figure BDA0002948982760000024
范数：设向量X＝{x1,x2,...,xn}，则向量X的
Figure BDA0002948982760000025
范数定义为
Figure BDA0002948982760000026
残差卷积层：设输入为张量X，输出为张量O,卷积核为W1,W2。残差卷积层对输入进行卷积运算后与输入相加，即：O＝σ(X+W2*(σ(W1*X)),式中*表示卷积运算，残差卷积层示意图如图5所示。
本发明的技术方案为：
一种基于自注意力卷积网络的无线业务流量预测方法，是指：将待预测的原始无线业务流量预处理后输入至训练好的流量预测模型，得到预测的流量数据，流量数据是指流量值；
待预测的原始无线业务流量预处理的过程包括：
以小时为时间粒度单位，利用滑动时间窗，对原始无线业务流量进行划分，使每组流量数据时间跨度为T小时；在空间维度上，不同地区拼接成为一个网格，使处于同一时段的不同地区的流量数据以数据矩阵的形式存储在数据库中，得到处理后的每组流量数据D′＝{D1′,D2′,...,Dt′...,DT′}，其中矩阵
Figure BDA0002948982760000027
H表示网格行数,W表示网格列数，将网格中心作为原点，矩阵Dt′中的元素dt (h,w)′表示坐标为(h,w)地区在第t小时的流量值；将与第t小时的流量数据对应的时间戳信息存储为长度为ld的一维张量Ddate′；将不同地区与流量数据生成相关的特征存储为特征矩阵，将N种特征的特征矩阵拼接为一个3维张量
Figure BDA0002948982760000028
本发明考虑了处于不同时间节点流量数据的动态特性，提升了神经网络对于大时间尺度流量数据的特征提取能力，此外，本发明对不同时间节点流量数据的特征学习过程进行并行化处理，以达到提升算法的总体性能的目的。
根据本发明优选的，所述流量预测模型包括时间编码网络、自注意力机卷积网络、特征嵌入网络及卷积残差网络；
所述时间编码网络提取时间戳信息中的特征，将所得特征与具有一定时间跨度的流量数据进行融合；所述自注意力机卷积网络对处于不同时间节点的无线流量数据进行相关性分析与特征表征；所述特征嵌入网络对其它相关特征进行特征提取；所述卷积残差网络将所述自注意力机卷积网络的输出结果与所述特征嵌入网络的输出结果表征进行融合后得到下一时段的预测流量Y'。
为了提升无线业务流量预测的整体性能，所述流量预测模型的训练过程如下：
(1)以小时为时间粒度单位，利用滑动时间窗，对原始无线业务流量进行划分，使每组流量数据时间跨度为T小时；
在空间维度上，不同地区拼接成为一个网格，使处于同一时段的不同地区的流量数据以数据矩阵的形式存储在数据库中，得到处理后的每组流量数据D＝{D1,D2,...,Dt...,DT}，其中矩阵
Figure BDA0002948982760000031
H表示网格行数,W表示网格列数，将网格中心作为原点，矩阵Dt中的元素dt (h,w)表示坐标为(h,w)地区在第t小时的流量值；
(2)将与第t小时的流量值对应的时间戳信息存储为长度为ld的一维张量Ddate；将不同地区与流量数据生成相关的特征存储为特征矩阵，将不同特征矩阵拼接为一个3维张量
Figure BDA0002948982760000032
N表示相关的特征的数目；
(3)将步骤(1)及步骤(2)得到的时间跨度为T时段的流量数据D、时间戳信息Ddate、相关特征矩阵Dcross作为流量预测模型的输入，将第T+1时段的流量数据作为训练目标，构建含有n个训练样本的数据集，将整个数据集划分为训练集、验证集与测试集；
(4)以时间戳信息为输入，构建时间编码网络Fdate。所述时间编码网络将时间戳信息Ddate与时间跨度为T时段的流量数据D进行融合，将特征融合结果传入到由la层自注意力卷积单元构成的所述自注意力机卷积网络，利用自注意力机制对流量数据在时间维度的复杂动态特性进行建模；
(5)所述特征嵌入网络对无线业务流量的相关特征Dcross进行特征提取后得到特征表征Ocross，将Ocross与步骤(4)中所述自注意力机卷积网络的输出作为包含lr层残差卷积层的残差卷积网络Fr的输入进行特征融合，得到预测流量值；计算预测流量Y'值与实际流量值Y的均方误差，构建神整个流量预测模型的损失函数；
(6)利用随机梯度下降算法，对整个预测神经网络进行监督训练，直至满足训练结束条件。
根据本发明优选的，所述时间戳信息是指对流量生成时段的具体描述，包括星期、小时、是否周末、是否法定节假日、是否通勤高峰。
根据本发明优选的，不同地区与流量数据生成相关的特征包括该地区的道路车流量、基站数量、通信基站数量、商场数量、人口密度；通过第三方的开源API获取不同地区与流量数据生成相关的特征。例如，谷歌地图API，高德地图API。
根据本发明优选的，所述步骤(4)，包括步骤如下：
(a)利用线性映射构建时间编码网络Fdate，通过时间编码网络Fdate对时间戳信息Ddate做进一步表征，时间编码网络Fdate输出记作Odate，如式(I)所示：
Figure BDA0002948982760000041
式(I)中，σ是激活函数，向量
Figure BDA0002948982760000042
向量
Figure BDA0002948982760000043
均是线性映射参数，b1、b2均是线性映射偏置，通过两次映射对时间戳信息进行更为准确的特征表征；
(b)由于自注意力机制，无法充分利用流量数据在时间维度上的先后序列性，为此，本发明将步骤(a)中时间编码信息Odate与对应时段的流量数据Dt进行线性叠加，从而更好地刻画不同时段流量数据时序性，线性叠加结果为X＝{X1,X2...XT}；
(c)第l层自注意力卷积单元，l∈{1,2,...,la}，通过卷积运算对每一时刻的流量数据Xt做进一步的特征学习,如式(Ⅱ)-(Ⅳ)所示：
Figure BDA0002948982760000044
Figure BDA0002948982760000045
Figure BDA0002948982760000046
式(Ⅱ)-(Ⅳ)中，
Figure BDA0002948982760000047
表示第l层自注意力卷积单元的输入，
Figure BDA0002948982760000048
分别表示含有不同参数的卷积层，通过卷积运算提取不同时段流量数据的特征表征，
Figure BDA0002948982760000049
表示第t个时段的流量数据在第l层自注意力卷积单元的3种特征表征；
通过式(Ⅱ)-(Ⅳ)的卷积运算，某一特定时段的流量数据被表征为Q,K,V三个张量；
(d)利用不同时段的Q,K值对序列相关性进行模式挖掘，第t时段与第i时段的相关性如式(Ⅴ)所示：
Figure BDA00029489827600000410
式(Ⅴ)中，ψ是softmax函数，
Figure BDA00029489827600000411
表示第i时段的特征表征相对与第t时段特征表征的相关系数，通过i∈{1,2,...t}限定第t时段的流量只与第t时段之前产生的流量有关，Qt、Ki分别就是
Figure BDA00029489827600000412
Figure BDA00029489827600000413
(e)根据步骤(d)求取的权重
Figure BDA0002948982760000051
对不同时段的V张量进行加权求和，如式(Ⅵ)所示：
Figure BDA0002948982760000052
式(Ⅵ)中，σ()表示激活函数,
Figure BDA0002948982760000053
表示第l层注意力卷积单元的输出；
根据本发明优选的，所述步骤(5)，具体步骤如下：
(f)通过卷积层对无线业务流量的相关特征Dcross进行特征提取，如式(Ⅶ)所示：
Figure BDA0002948982760000054
式(Ⅶ)中，*表示卷积运算，Wc 1，Wc 2是卷积层的卷积核参数，b1，b2表示卷积运算的偏置；
(g)利用残差卷积层fresidual对Ocross和
Figure BDA0002948982760000055
进行特征融合，得到预测的流量数据Y'，如式(Ⅷ)所示：
Figure BDA0002948982760000056
式(Ⅷ)中，
Figure BDA0002948982760000057
是自注意力卷积网络S的输出，fresidual 1、fresidual 2表示含有不同参数的残差卷积层；
根据本发明优选的，在损失函数中添加正则化项作为优化目标，避免神经网络在进行训练时出现过拟合，损失函数Lloss如式(Ⅸ)所示：
Figure BDA0002948982760000058
式(Ⅸ)中，Y是T+1时段的实际流量数据，θ是整个流量预测模型的训练参数，
Figure BDA0002948982760000059
为范数函数，p的取值范围为{1,2}，1代表
Figure BDA00029489827600000510
范数，2代表
Figure BDA00029489827600000511
范数。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于自注意力卷积网络的无线业务流量预测方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于自注意力卷积网络的无线业务流量预测方法的步骤。
本发明的有益效果为：
1、本发明基于自注意力卷积网络的无线业务流量预测方法，基于自注意力卷积网络的预测算法准确率得到有效提升，预测值跟真实值相近，误差较小。
2、本发明自注意力卷积网络可以并行化实现，提高了神经网络训练效率，有利于预测模型在分布式系统中的大规模线上部署。
3、本发明可用于提升智能通信系统中的流量预测性能，辅助通信网络进行更合理的资源调度与管理。
附图说明
图1是本发明中基于自注意力卷积网络的无线业务流量预测方法的流程示意图；
图2是本发明自注意力机卷积网络进行相关性分析与特征表征的流程示意图；
图3是本发明实施例6与其它两种现有算法的对比示意图；
图4是本发明实施例6预测值与真实值的对比结果图；
图5为本发明自注意力卷积网络的结构框图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种基于自注意力卷积网络的无线业务流量预测方法，是指：将待预测的原始无线业务流量预处理后输入至训练好的流量预测模型，得到预测的流量数据，流量数据是指流量值；
待预测的原始无线业务流量预处理的过程包括：
以小时为时间粒度单位，利用滑动时间窗，对原始无线业务流量进行划分，使每组流量数据时间跨度为T小时；在空间维度上，不同地区拼接成为一个网格，使处于同一时段的不同地区的流量数据以数据矩阵的形式存储在数据库中，得到处理后的每组流量数据D′＝{D1′,D2′,...,Dt′...,DT′}，其中矩阵
Figure BDA0002948982760000061
H表示网格行数,W表示网格列数，将网格中心作为原点，矩阵Dt′中的元素dt (h,w)′表示坐标为(h,w)地区在第t小时的流量值；将与第t小时的流量数据对应的时间戳信息存储为长度为ld的一维张量Ddate′；将不同地区与流量数据生成相关的特征存储为特征矩阵，将N种特征的特征矩阵拼接为一个3维张量
Figure BDA0002948982760000062
本发明考虑了处于不同时间节点流量数据的动态特性，提升了神经网络对于大时间尺度流量数据的特征提取能力，此外，本发明对不同时间节点流量数据的特征学习过程进行并行化处理，以达到提升算法的总体性能的目的。
实施例2
根据实施例1所述的一种基于自注意力卷积网络的无线业务流量预测方法，其区别在于：
流量预测模型包括时间编码网络、自注意力机卷积网络、特征嵌入网络及卷积残差网络；如图1所示，时间编码网络提取时间戳信息中的特征，将所得特征与具有一定时间跨度的流量数据进行融合；自注意力机卷积网络对处于不同时间节点的无线流量数据进行相关性分析与特征表征；特征嵌入网络对其它相关特征进行特征提取；卷积残差网络将自注意力机卷积网络的输出结果与特征嵌入网络的输出结果表征进行融合后得到下一时段的预测流量Y'。
实施例3
根据实施例1所述的一种基于自注意力卷积网络的无线业务流量预测方法，其区别在于：
为了提升无线业务流量预测的整体性能，流量预测模型的训练过程如下：
(1)以小时为时间粒度单位，利用滑动时间窗，对原始无线业务流量进行划分，使每组流量数据时间跨度为T小时；
在空间维度上，不同地区拼接成为一个网格，使处于同一时段的不同地区的流量数据以数据矩阵的形式存储在数据库中，得到处理后的每组流量数据D＝{D1,D2,...,Dt...,DT}，其中矩阵
Figure BDA0002948982760000071
H表示网格行数,W表示网格列数，将网格中心作为原点，矩阵Dt中的元素dt (h,w)表示坐标为(h,w)地区在第t小时的流量值；
(2)将与第t小时的流量值对应的时间戳信息存储为长度为ld的一维张量Ddate；将不同地区与流量数据生成相关的特征存储为特征矩阵，将不同特征矩阵拼接为一个3维张量
Figure BDA0002948982760000072
N表示相关的特征的数目；
(3)将步骤(1)及步骤(2)得到的时间跨度为T时段的流量数据D、时间戳信息Ddate、相关特征矩阵Dcross作为流量预测模型的输入，将第T+1时段的流量数据作为训练目标，构建含有n个训练样本的数据集，将整个数据集划分为训练集、验证集与测试集；
(4)以时间戳信息为输入，构建时间编码网络Fdate。时间编码网络将时间戳信息Ddate与时间跨度为T时段的流量数据D进行融合，将特征融合结果传入到由la层自注意力卷积单元构成的自注意力机卷积网络，利用自注意力机制对流量数据在时间维度的复杂动态特性进行建模；
(5)特征嵌入网络对无线业务流量的相关特征Dcross进行特征提取后得到特征表征Ocross，将Ocross与步骤(4)中自注意力机卷积网络的输出作为包含lr层残差卷积层的残差卷积网络Fr的输入进行特征融合，得到预测流量值；计算预测流量Y'值与实际流量值Y的均方误差，构建神整个流量预测模型的损失函数；
在损失函数中添加正则化项作为优化目标，避免神经网络在进行训练时出现过拟合，损失函数Lloss如式(Ⅸ)所示：
Figure BDA0002948982760000081
式(Ⅸ)中，Y是T+1时段的实际流量数据，θ是整个流量预测模型的训练参数，
Figure BDA0002948982760000082
为范数函数，p的取值范围为{1,2}，1代表
Figure BDA0002948982760000083
范数，2代表
Figure BDA0002948982760000084
范数。
(6)利用随机梯度下降算法，对整个预测神经网络进行监督训练，直至满足训练结束条件。
时间戳信息是指对流量生成时段的具体描述，包括星期、小时、是否周末、是否法定节假日、是否通勤高峰。
不同地区与流量数据生成相关的特征包括该地区的道路车流量、基站数量、通信基站数量、商场数量、人口密度；通过第三方的开源API获取不同地区与流量数据生成相关的特征。例如，谷歌地图API，高德地图API。
实施例4
根据实施例1所述的一种基于自注意力卷积网络的无线业务流量预测方法，其区别在于：
步骤(4)，包括步骤如下：
(a)利用线性映射构建时间编码网络Fdate，通过时间编码网络Fdate对时间戳信息Ddate做进一步表征，时间编码网络Fdate输出记作Odate，如式(I)所示：
Figure BDA0002948982760000085
式(I)中，σ是激活函数，向量
Figure BDA0002948982760000086
向量
Figure BDA0002948982760000087
均是线性映射参数，b1、b2均是线性映射偏置，通过两次映射对时间戳信息进行更为准确的特征表征；
(b)由于自注意力机制，无法充分利用流量数据在时间维度上的先后序列性，为此，本发明将步骤(a)中时间编码信息Odate与对应时段的流量数据Dt进行线性叠加，从而更好地刻画不同时段流量数据时序性，线性叠加结果为X＝{X1,X2...XT}；
(c)第l层自注意力卷积单元，l∈{1,2,...,la}，通过卷积运算对每一时刻的流量数据Xt做进一步的特征学习,如式(Ⅱ)-(Ⅳ)所示：
Figure BDA0002948982760000088
Figure BDA0002948982760000089
Figure BDA00029489827600000810
式(Ⅱ)-(Ⅳ)中，
Figure BDA0002948982760000091
表示第l层自注意力卷积单元的输入，
Figure BDA0002948982760000092
分别表示含有不同参数的卷积层，通过卷积运算提取不同时段流量数据的特征表征，
Figure BDA0002948982760000093
表示第t个时段的流量数据在第l层自注意力卷积单元的3种特征表征；
通过式(Ⅱ)-(Ⅳ)的卷积运算，某一特定时段的流量数据被表征为Q,K,V三个张量；
(d)利用不同时段的Q,K值对序列相关性进行模式挖掘，第t时段与第i时段的相关性如式(Ⅴ)所示：
Figure BDA0002948982760000094
式(Ⅴ)中，ψ是softmax函数，
Figure BDA0002948982760000095
表示第i时段的特征表征相对与第t时段特征表征的相关系数，通过i∈{1,2,...t}限定第t时段的流量只与第t时段之前产生的流量有关，Qt、Ki分别就是
Figure BDA0002948982760000096
Figure BDA0002948982760000097
(e)根据步骤(d)求取的权重
Figure BDA0002948982760000098
对不同时段的V张量进行加权求和，如式(Ⅵ)所示：
Figure BDA0002948982760000099
式(Ⅵ)中，σ()表示激活函数,
Figure BDA00029489827600000910
表示第l层注意力卷积单元的输出；
实施例5
根据实施例1所述的一种基于自注意力卷积网络的无线业务流量预测方法，其区别在于：步骤(5)，具体步骤如下：
(f)通过卷积层对无线业务流量的相关特征Dcross进行特征提取，如式(Ⅶ)所示：
Figure BDA00029489827600000911
式(Ⅶ)中，*表示卷积运算，Wc 1，Wc 2是卷积层的卷积核参数，b1，b2表示卷积运算的偏置；
(g)利用残差卷积层fresidual对Ocross和
Figure BDA00029489827600000912
进行特征融合，得到预测的流量数据Y'，如式(Ⅷ)所示：
Figure BDA00029489827600000913
式(Ⅷ)中，
Figure BDA00029489827600000914
是自注意力卷积网络S的输出，fresidual 1、fresidual 2表示含有不同参数的残差卷积层；具体结构如图5所示。
实施例6
根据实施例1所述的一种基于自注意力卷积网络的无线业务流量预测方法，其区别在于：流量预测模型的训练过程如下：
(1)以小时为时间粒度单位，利用滑动时间窗，对原始无线业务流量进行划分，使每组流量数据时间跨度为T＝6小时；
在空间维度上，不同地区拼接成为一个网格，使处于同一时段的不同地区的流量数据以数据矩阵的形式存储在数据库中，得到处理后的每组流量数据D＝{D1,D2,...,Dt...,DT}，其中矩阵
Figure BDA0002948982760000101
H表示网格行数,H＝25，W表示网格列数，W＝25，将网格中心作为原点，矩阵Dt中的元素dt (h,w)表示坐标为(h,w)地区在第t小时的流量值；
(2)将与第t小时的流量值对应的时间戳信息存储为长度为ld的一维张量Ddate；ld＝4；将不同地区与流量数据生成相关的特征存储为特征矩阵，将3种特征矩阵拼接为一个3维张量
Figure BDA0002948982760000102
N表示相关的特征的数目；N＝3；时间戳信息是指对流量生成时段的具体描述，包括星期、小时、是否周末、是否法定节假日、是否通勤高峰。某一地区与流量生成有关的其它特征可以通过谷歌地图API获取，获取的相关特征包括该地区的车站数量、商场数量，通信基站的数量3种特征。
(3)将步骤(1)及步骤(2)得到的时间跨度为T时段的流量数据D、时间戳信息Ddate、相关特征矩阵Dcross作为流量预测模型的输入，将第T+1时段的流量数据作为训练目标，构建含有n个训练样本的数据集，将整个数据集划分为训练集、验证集与测试集，所占比例分别为60％、20％、20％。
(4)以时间戳信息为输入，构建时间编码网络Fdate。时间编码网络将时间戳信息Ddate与时间跨度为T时段的流量数据D进行融合，将特征融合结果传入到由la层自注意力卷积单元构成的所述自注意力机卷积网络，la＝4，利用自注意力机制对流量数据在时间维度的复杂动态特性进行建模；
包括步骤如下：
(a)利用线性映射构建时间编码网络Fdate，通过时间编码网络Fdate对时间戳信息Ddate做进一步表征，时间编码网络Fdate输出记作Odate，如式(I)所示：
Figure BDA0002948982760000111
式(I)中，σ是激活函数，向量
Figure BDA0002948982760000112
向量
Figure BDA0002948982760000113
均是线性映射参数，b1、b2均是线性映射偏置，通过两次映射对时间戳信息进行更为准确的特征表征；
(b)由于自注意力机制，无法充分利用流量数据在时间维度上的先后序列性，为此，本发明将步骤(a)中时间编码信息Odate与对应时段的流量数据Dt进行线性叠加，从而更好地刻画不同时段流量数据时序性，线性叠加结果为X＝{X1,X2...XT}；
(c)第l层自注意力卷积单元，l∈{1,2,...,la}，通过卷积运算对每一时刻的流量数据Xt做进一步的特征学习,如式(Ⅱ)-(Ⅳ)所示：
Figure BDA0002948982760000114
Figure BDA0002948982760000115
Figure BDA0002948982760000116
式(Ⅱ)-(Ⅳ)中，
Figure BDA0002948982760000117
表示第l层自注意力卷积单元的输入，
Figure BDA0002948982760000118
分别表示含有不同参数的卷积层，通过卷积运算提取不同时段流量数据的特征表征，
Figure BDA0002948982760000119
表示第t个时段的流量数据在第l层自注意力卷积单元的3种特征表征；
通过式(Ⅱ)-(Ⅳ)的卷积运算，某一特定时段的流量数据被表征为Q,K,V三个张量；
(d)利用不同时段的Q,K值对序列相关性进行模式挖掘，第t时段与第i时段的相关性如式(Ⅴ)所示：
Figure BDA00029489827600001110
式(Ⅴ)中，ψ是softmax函数，
Figure BDA00029489827600001111
表示第i时段的特征表征相对与第t时段特征表征的相关系数，通过i∈{1,2,...t}限定第t时段的流量只与第t时段之前产生的流量有关，Qt、Ki分别就是
Figure BDA00029489827600001112
Figure BDA00029489827600001113
(e)根据步骤(d)求取的权重
Figure BDA00029489827600001114
对不同时段的V张量进行加权求和，如式(Ⅵ)所示：
Figure BDA00029489827600001115
式(Ⅵ)中，σ()表示激活函数,
Figure BDA00029489827600001116
表示第l层注意力卷积单元的输出；
(5)特征嵌入网络对无线业务流量的相关特征Dcross进行特征提取后得到特征表征Ocross，将Ocross与步骤(4)中所述自注意力机卷积网络的输出作为包含lr层残差卷积层的残差卷积网络Fr的输入进行特征融合，得到预测流量值；lr＝5；计算预测流量Y'值与实际流量值Y的均方误差，构建神整个流量预测模型的损失函数；具体步骤如下：
(f)通过卷积层对无线业务流量的相关特征Dcross进行特征提取，如式(Ⅶ)所示：
Figure BDA0002948982760000121
式(Ⅶ)中，*表示卷积运算，Wc 1，Wc 2是卷积层的卷积核参数，b1，b2表示卷积运算的偏置；
(g)利用残差卷积层fresidual对Ocross和
Figure BDA0002948982760000122
进行特征融合，得到预测的流量数据Y'，如式(Ⅷ)所示：
Figure BDA0002948982760000123
式(Ⅷ)中，
Figure BDA0002948982760000124
是自注意力卷积网络S的输出，fresidual 1、fresidual 2表示含有不同参数的残差卷积层；
(6)利用Adam优化算法，对整个神经网络进行监督训练，直至满足训练结束条件。
本实施例提出的基于自注意力卷积网络的无线业务流量预测的效果图如图3、图4所示。从图3可以看出，随着流量数据时间跨度T从3小时增加到6小时，基于自注意力卷积网络的无线业务流量预测方法准确率得到有效提升。
如图4所示，预测值跟真实值相近，误差较小。同时，如图2所示，自注意力卷积网络可以并行化实现，提高了神经网络训练效率，有利于预测模型在分布式系统中的大规模线上部署。综上所述，本发明可用于提升智能通信系统中的流量预测性能，辅助通信网络进行更合理的资源调度与管理。
实施例7
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现实施例1-5任一所述基于自注意力卷积网络的无线业务流量预测方法的步骤。
实施例8
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现实施例1-5任一所述基于自注意力卷积网络的无线业务流量预测方法的步骤。

Claims (10)

1.一种基于自注意力卷积网络的无线业务流量预测方法，其特征在于，是指：将待预测的原始无线业务流量预处理后输入至训练好的流量预测模型，得到预测的流量数据，流量数据是指流量值；
待预测的原始无线业务流量预处理的过程包括：以小时为时间粒度单位，利用滑动时间窗，对原始无线业务流量进行划分，使每组流量数据时间跨度为T小时；在空间维度上，不同地区拼接成为一个网格，使处于同一时段的不同地区的流量数据以数据矩阵的形式存储在数据库中，得到处理后的每组流量数据D′＝{D1′,D2′,...,Dt′...,DT′}，其中矩阵
Figure FDA0002948982750000011
H表示网格行数,W表示网格列数，将网格中心作为原点，矩阵Dt′中的元素dt (h,w)′表示坐标为(h,w)地区在第t小时的流量值；将与第t小时的流量数据对应的时间戳信息存储为长度为ld的一维张量Ddate′；将不同地区与流量数据生成相关的特征存储为特征矩阵，将N种特征的特征矩阵拼接为一个3维张量
Figure FDA0002948982750000012
2.根据权利要求1所述的一种基于自注意力卷积网络的无线业务流量预测方法，其特征在于，所述流量预测模型包括时间编码网络、自注意力机卷积网络、特征嵌入网络及卷积残差网络；
所述时间编码网络提取时间戳信息中的特征，将所得特征与具有一定时间跨度的流量数据进行融合；所述自注意力机卷积网络对处于不同时间节点的无线流量数据进行相关性分析与特征表征；所述特征嵌入网络对其它相关特征进行特征提取；所述卷积残差网络将所述自注意力机卷积网络的输出结果与所述特征嵌入网络的输出结果表征进行融合后得到下一时段的预测流量Y'。
3.根据权利要求1所述的一种基于自注意力卷积网络的无线业务流量预测方法，其特征在于，所述流量预测模型的训练过程如下：
(1)以小时为时间粒度单位，利用滑动时间窗，对原始无线业务流量进行划分，使每组流量数据时间跨度为T小时；
在空间维度上，不同地区拼接成为一个网格，使处于同一时段的不同地区的流量数据以数据矩阵的形式存储在数据库中，得到处理后的每组流量数据D＝{D1,D2,...,Dt...,DT}，其中矩阵
Figure FDA0002948982750000013
H表示网格行数,W表示网格列数，将网格中心作为原点，矩阵Dt中的元素dt (h,w)表示坐标为(h,w)地区在第t小时的流量值；
(2)将与第t小时的流量值对应的时间戳信息存储为长度为ld的一维张量Ddate；将不同地区与流量数据生成相关的特征存储为特征矩阵，将不同特征矩阵拼接为一个3维张量
Figure FDA0002948982750000014
N表示相关的特征的数目；
(3)将步骤(1)及步骤(2)得到的时间跨度为T时段的流量数据D、时间戳信息Ddate、相关特征矩阵Dcross作为流量预测模型的输入，将第T+1时段的流量数据作为训练目标，构建含有n个训练样本的数据集，将整个数据集划分为训练集、验证集与测试集；
(4)所述时间编码网络将时间戳信息Ddate与时间跨度为T时段的流量数据D进行融合，将特征融合结果传入到由la层自注意力卷积单元构成的所述自注意力机卷积网络，利用自注意力机制对流量数据在时间维度的复杂动态特性进行建模；
(5)所述特征嵌入网络对无线业务流量的相关特征Dcross进行特征提取后得到特征表征Ocross，将Ocross与步骤(4)中所述自注意力机卷积网络的输出作为包含lr层残差卷积层的残差卷积网络Fr的输入进行特征融合，得到预测流量值；计算预测流量Y'值与实际流量值Y的均方误差，构建神整个流量预测模型的损失函数；
(6)利用随机梯度下降算法，对整个预测神经网络进行监督训练，直至满足训练结束条件。
4.根据权利要求3所述的一种基于自注意力卷积网络的无线业务流量预测方法，其特征在于，所述时间戳信息是指对流量生成时段的具体描述，包括星期、小时、是否周末、是否法定节假日、是否通勤高峰。
5.根据权利要求3所述的一种基于自注意力卷积网络的无线业务流量预测方法，其特征在于，不同地区与流量数据生成相关的特征包括该地区的道路车流量、基站数量、通信基站数量、商场数量、人口密度；通过第三方的开源API获取不同地区与流量数据生成相关的特征。
6.根据权利要求3所述的一种基于自注意力卷积网络的无线业务流量预测方法，其特征在于，所述步骤(4)，包括步骤如下：
(a)利用线性映射构建时间编码网络Fdate，通过时间编码网络Fdate对时间戳信息Ddate做进一步表征，时间编码网络Fdate输出记作Odate，如式(I)所示：
Figure FDA0002948982750000021
式(I)中，σ是激活函数，向量
Figure FDA0002948982750000022
向量
Figure FDA0002948982750000023
均是线性映射参数，b1、b2均是线性映射偏置，通过两次映射对时间戳信息进行更为准确的特征表征；
(b)将步骤(a)中时间编码信息Odate与对应时段的流量数据Dt进行线性叠加，线性叠加结果为X＝{X1,X2...XT}；
(c)第l层自注意力卷积单元，l∈{1,2,...,la}，通过卷积运算对每一时刻的流量数据Xt做进一步的特征学习,如式(Ⅱ)-(Ⅳ)所示：
Figure FDA0002948982750000031
Figure FDA0002948982750000032
Figure FDA0002948982750000033
式(Ⅱ)-(Ⅳ)中，
Figure FDA0002948982750000034
表示第l层自注意力卷积单元的输入，
Figure FDA0002948982750000035
分别表示含有不同参数的卷积层，通过卷积运算提取不同时段流量数据的特征表征，
Figure FDA0002948982750000036
Vt (l)表示第t个时段的流量数据在第l层自注意力卷积单元的3种特征表征；
通过式(Ⅱ)-(Ⅳ)的卷积运算，某一特定时段的流量数据被表征为Q,K,V三个张量；
(d)利用不同时段的Q,K值对序列相关性进行模式挖掘，第t时段与第i时段的相关性如式(Ⅴ)所示：
Figure FDA0002948982750000037
式(Ⅴ)中，ψ是softmax函数，
Figure FDA0002948982750000038
表示第i时段的特征表征相对与第t时段特征表征的相关系数，Qt、Ki分别就是
Figure FDA0002948982750000039
(e)根据步骤(d)求取的权重
Figure FDA00029489827500000310
对不同时段的V张量进行加权求和，如式(Ⅵ)所示：
Figure FDA00029489827500000311
式(Ⅵ)中，σ()表示激活函数,
Figure FDA00029489827500000312
表示第l层注意力卷积单元的输出。
7.根据权利要求3所述的一种基于自注意力卷积网络的无线业务流量预测方法，其特征在于，所述步骤(5)，具体步骤如下：
(f)通过卷积层对无线业务流量的相关特征Dcross进行特征提取，如式(Ⅶ)所示：
Figure FDA00029489827500000313
式(Ⅶ)中，*表示卷积运算，Wc 1，Wc 2是卷积层的卷积核参数，b1，b2表示卷积运算的偏置；
(g)利用残差卷积层fresidual对Ocross和
Figure FDA00029489827500000314
进行特征融合，得到预测的流量数据Y'，如式(Ⅷ)所示：
Figure FDA0002948982750000041
式(Ⅷ)中，
Figure FDA0002948982750000042
是自注意力卷积网络S的输出，fresidual 1、fresidual 2表示含有不同参数的残差卷积层。
8.根据权利要求3所述的一种基于自注意力卷积网络的无线业务流量预测方法，其特征在于，损失函数Lloss如式(Ⅸ)所示：
Figure FDA0002948982750000043
式(Ⅸ)中，Y是T+1时段的实际流量数据，θ是整个流量预测模型的训练参数，
Figure FDA0002948982750000044
为范数函数，p的取值范围为{1,2}，1代表
Figure FDA0002948982750000045
范数，2代表
Figure FDA0002948982750000046
范数。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-8任一所述基于自注意力卷积网络的无线业务流量预测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一所述基于自注意力卷积网络的无线业务流量预测方法的步骤。
CN202110201150.9A 2021-02-03 2021-02-23 一种基于自注意力卷积网络的无线业务流量预测方法、设备及介质 Active CN112910711B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2021101484971 2021-02-03
CN202110148497 2021-02-03

Publications (2)

Publication Number Publication Date
CN112910711A true CN112910711A (zh) 2021-06-04
CN112910711B CN112910711B (zh) 2021-12-24

Family

ID=76124406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110201150.9A Active CN112910711B (zh) 2021-02-03 2021-02-23 一种基于自注意力卷积网络的无线业务流量预测方法、设备及介质

Country Status (1)

Country Link
CN (1) CN112910711B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660676A (zh) * 2021-07-20 2021-11-16 山东师范大学 基站流量预测方法、系统、存储介质及设备
CN114362988A (zh) * 2021-09-29 2022-04-15 中国科学院计算机网络信息中心 网络流量的识别方法及装置
CN115022194A (zh) * 2022-05-24 2022-09-06 桂林电子科技大学 基于sa-gru的网络安全态势预测方法
CN115022193A (zh) * 2022-05-23 2022-09-06 电子科技大学 一种基于改进ConvLSTM深度学习模型的局域网流量预测方法
CN115841343A (zh) * 2022-12-16 2023-03-24 广州飞狮数字科技有限公司 一种销售额度的确定方法及装置
WO2023207411A1 (zh) * 2022-04-28 2023-11-02 京东城市(北京)数字科技有限公司 一种基于时空数据的流量确定方法、装置、设备和介质
CN117938691A (zh) * 2024-03-25 2024-04-26 山东科技大学 一种工业物联网故障的诊断方法、系统、设备和存储介质
CN117938691B (zh) * 2024-03-25 2024-05-31 山东科技大学 一种工业物联网故障的诊断方法、系统、设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110650058A (zh) * 2019-10-08 2020-01-03 河南省云安大数据安全防护产业技术研究院有限公司 一种网络流量分析方法、装置、存储介质及设备
CN111223301A (zh) * 2020-03-11 2020-06-02 北京理工大学 一种基于图注意力卷积网络的交通流量预测方法
CN111343650A (zh) * 2020-02-14 2020-06-26 山东大学 一种基于跨域数据和对抗损失的城市尺度无线业务流量预测方法
US20200334252A1 (en) * 2019-04-18 2020-10-22 Sap Se Clause-wise text-to-sql generation
CN111918321A (zh) * 2020-07-22 2020-11-10 湖北工业大学 一种基于时空注意卷积网络的移动流量预测方法
CN112071065A (zh) * 2020-09-16 2020-12-11 山东理工大学 一种基于全局扩散卷积残差网络的交通流预测方法
CN112257263A (zh) * 2020-10-22 2021-01-22 中国科学院自动化研究所 基于自注意力机制的设备剩余寿命预测系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200334252A1 (en) * 2019-04-18 2020-10-22 Sap Se Clause-wise text-to-sql generation
CN110650058A (zh) * 2019-10-08 2020-01-03 河南省云安大数据安全防护产业技术研究院有限公司 一种网络流量分析方法、装置、存储介质及设备
CN111343650A (zh) * 2020-02-14 2020-06-26 山东大学 一种基于跨域数据和对抗损失的城市尺度无线业务流量预测方法
CN111223301A (zh) * 2020-03-11 2020-06-02 北京理工大学 一种基于图注意力卷积网络的交通流量预测方法
CN111918321A (zh) * 2020-07-22 2020-11-10 湖北工业大学 一种基于时空注意卷积网络的移动流量预测方法
CN112071065A (zh) * 2020-09-16 2020-12-11 山东理工大学 一种基于全局扩散卷积残差网络的交通流预测方法
CN112257263A (zh) * 2020-10-22 2021-01-22 中国科学院自动化研究所 基于自注意力机制的设备剩余寿命预测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭佳等: "基于全注意力机制的多步网络流量预测", 《信号处理》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660676B (zh) * 2021-07-20 2024-04-30 山东师范大学 基站流量预测方法、系统、存储介质及设备
CN113660676A (zh) * 2021-07-20 2021-11-16 山东师范大学 基站流量预测方法、系统、存储介质及设备
CN114362988B (zh) * 2021-09-29 2023-06-20 中国科学院计算机网络信息中心 网络流量的识别方法及装置
CN114362988A (zh) * 2021-09-29 2022-04-15 中国科学院计算机网络信息中心 网络流量的识别方法及装置
WO2023207411A1 (zh) * 2022-04-28 2023-11-02 京东城市(北京)数字科技有限公司 一种基于时空数据的流量确定方法、装置、设备和介质
CN115022193B (zh) * 2022-05-23 2024-02-02 电子科技大学 一种基于深度学习模型的局域网流量预测方法
CN115022193A (zh) * 2022-05-23 2022-09-06 电子科技大学 一种基于改进ConvLSTM深度学习模型的局域网流量预测方法
CN115022194B (zh) * 2022-05-24 2023-09-26 桂林电子科技大学 基于sa-gru的网络安全态势预测方法
CN115022194A (zh) * 2022-05-24 2022-09-06 桂林电子科技大学 基于sa-gru的网络安全态势预测方法
CN115841343A (zh) * 2022-12-16 2023-03-24 广州飞狮数字科技有限公司 一种销售额度的确定方法及装置
CN115841343B (zh) * 2022-12-16 2024-01-30 广州飞狮数字科技有限公司 一种销售额度的确定方法及装置
CN117938691A (zh) * 2024-03-25 2024-04-26 山东科技大学 一种工业物联网故障的诊断方法、系统、设备和存储介质
CN117938691B (zh) * 2024-03-25 2024-05-31 山东科技大学 一种工业物联网故障的诊断方法、系统、设备和存储介质

Also Published As

Publication number Publication date
CN112910711B (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN112910711B (zh) 一种基于自注意力卷积网络的无线业务流量预测方法、设备及介质
CN109492822B (zh) 空气污染物浓度时空域关联预测方法
CN109142171B (zh) 基于特征扩张的融合神经网络的城市pm10浓度预测方法
CN112532439B (zh) 一种基于注意力多组件时空跨域神经网络模型的网络流量预测方法
CN113313947B (zh) 短期交通预测图卷积网络的路况评估方法
CN110046787A (zh) 一种城市区域电动汽车充电需求时空预测方法
CN112766600B (zh) 一种城市区域人群流量预测方法及系统
Tian et al. A network traffic prediction method based on IFS algorithm optimised LSSVM
CN113688253B (zh) 一种层次感知的时态知识图谱表示学习方法
Massaoudi et al. Performance evaluation of deep recurrent neural networks architectures: Application to PV power forecasting
CN111242351A (zh) 基于自编码器和gru神经网络的热带气旋轨迹预测方法
CN115545334B (zh) 土地利用类型预测方法、装置、电子设备及存储介质
CN112766603A (zh) 一种交通流量预测方法、系统、计算机设备及存储介质
CN115146842A (zh) 基于深度学习的多元时间序列趋势预测方法和系统
CN116011684A (zh) 一种基于时空图卷积网络的交通流量预测方法
Xu et al. Short‐term traffic flow prediction based on whale optimization algorithm optimized BiLSTM_Attention
CN115953907A (zh) 基于时空门控图卷积网络的交通速度预测方法及其应用
CN107480786B (zh) 基于输出状态限制的循环神经网络轨迹似然概率计算方法
CN116205383B (zh) 一种基于元学习的静态动态协同图卷积交通预测方法
CN115604131B (zh) 一种链路流量预测方法、系统、电子设备及介质
CN114566048A (zh) 一种基于多视角自适应时空图网络的交通控制方法
CN111935766B (zh) 一种基于全局空间依赖性的无线网络流量预测方法
CN113947238A (zh) 一种基于多站点时空关联的城市污染物浓度预测方法
Bonet et al. Conditional variational graph autoencoder for air quality forecasting
CN117437786B (zh) 一种基于人工智能的实时交通路网短时交通流预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant