CN115589369A - 一种基于双注意力机制的基站流量预测方法及系统 - Google Patents
一种基于双注意力机制的基站流量预测方法及系统 Download PDFInfo
- Publication number
- CN115589369A CN115589369A CN202211328360.5A CN202211328360A CN115589369A CN 115589369 A CN115589369 A CN 115589369A CN 202211328360 A CN202211328360 A CN 202211328360A CN 115589369 A CN115589369 A CN 115589369A
- Authority
- CN
- China
- Prior art keywords
- flow
- prediction
- layer
- value
- base station
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/06—Testing, supervising or monitoring using simulated traffic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于双注意力机制的基站流量预测方法及系统,涉及基站流量预测领域,所述方法包括:将预测时间段输入流量预测模型中,得到预测时间段的流量预测值;流量预测模型的确定方法为:获取训练数据;训练数据包括历史时刻和各历史时刻对应的流量值;将训练数据输入基于双注意力机制的CNN‑LSTM模型中进行训练,得到流量预测模型;基于双注意力机制的CNN‑LSTM模型包括依次连接的输入层、卷积层、通道注意力模块、长短期记忆网络、时序注意力机制模块和输出层。本发明能实现对基站流量的长期、准确预测。
Description
技术领域
本发明涉及基站流量预测领域,特别是涉及一种基于双注意力机制的基站流量预测方法及系统。
背景技术
目前,中国已建成的5G基站约有150.6万座,全球覆盖广,占世界的70%以上,同时覆盖中国所有地市级城市和大约95%的县城以及35%的乡镇。随着5G网络技术的高速发展和5G终端设备的普及,为了满足业务需求,5G基站不休眠,并且5G基站的能耗是4G基站的3-4倍。同时运营商为了更好的服务于用户,基站不休眠,比如:2020年某个期间,白天基站流量需要支撑全国几亿人在线办公、上课、交易等,晚上基站流量陡然下降,即忙时与闲时的数据差距相当大,但24小时基站的时刻在线,造成了非必要的能耗浪费。
近年来,为建立精准、稳定的基站流量预测模型,相关研究人员提出了较多研究成果。一种是基于传统的时间序列流量预测分析模型,有以下几类:自回归滑动平均模型(Auto Regressive Moving Average Model)、差分整合移动平均自回归模型(Differentially Integrated Moving Average Auto Regressive Model)、马尔可夫模型(Markov Model)等。上述传统模型实现容易,在流量预测方面已取得一定成果,但是当流量潮汐变化较为跳跃时,这类模型的预测误差率较大。
针对这方面的不足,出现了一种基于深度神经网络的基站流量预测模型。深度神经网络具有多隐层结构特征,这类模型预测精度更高,抗干扰能力强,已被广泛应用。其中,杜秀丽等提出一种基于双向长短期记忆循环神经网络的网络流量预测方法,对网络流量序列进行双向学习,以提高网络流量预测的准确性。该作者的另一篇文章提出基于灰狼优化支持向量机和双向长短期记忆循环神经网络的网络流量非线性组合预测方法,在小时间尺度流量预测中发挥了组合模型的优势,可以更加准确的进行网络流量预测。ZHAO W T等提出了基于TCN模型的城市网络流量预测框架,该框架能准确捕捉流量的时空演变并将其用于全市范围内的流量预测,其预测效果比LSTM,GRU,SAE都更好。上述流量预测方法缺乏对特征相关信息的挖掘,会造成重要特征信息的丢失。Huang等提出一种卷积神经网络和循环神经网络的组合模型,结合基站地理位置信息对流量进行实时预测,每隔10分钟输出一个预测的流量值。Gui等采用带有门控循环单元的图卷积网络,利用基站历史48小时的流量预测未来5分钟的流量,实现更加准确的短期流量预测。
上述基站流量预测方法预测时间都较短,各种不定因素会使得预测不是很准确,缺少针对长期预测问题的优化。
发明内容
基于此,本发明实施例提供一种基于双注意力机制的基站流量预测方法及系统,以实现对基站流量的长期、准确预测。
为实现上述目的,本发明提供了如下方案:
一种基于双注意力机制的基站流量预测方法,包括:
确定目标基站的预测时间段;
将所述预测时间段输入流量预测模型中,得到所述预测时间段的流量预测值;
其中,所述流量预测模型的确定方法为:
获取训练数据;所述训练数据包括历史时刻和各历史时刻对应的流量值;
将所述训练数据输入基于双注意力机制的CNN-LSTM模型中进行训练,得到所述流量预测模型;
所述基于双注意力机制的CNN-LSTM模型包括依次连接的输入层、卷积层、通道注意力模块、长短期记忆网络、时序注意力机制模块和输出层;
所述输入层用于将所述训练数据输入所述卷积层;
所述卷积层用于输出所述训练数据中流量值的流量特征向量;
所述通道注意力模块用于从所述流量特征向量中提取最大池化特征和平均池化特征,并采用通道注意力机制为所述最大池化特征和所述平均池化特征分配权重,以输出空间特征;
所述长短期记忆网络用于根据当前时刻的空间特征和上一时刻的隐层状态信息输出当前时刻的隐层状态信息;
所述时序注意力机制模块用于采用时序注意力机制为各个历史时刻的隐层状态信息分配权重,以确定流量预测值;
所述输出层用于输出所述流量预测值。
可选地,在所述将所述预测时间段输入流量预测模型中,得到所述预测时间段的流量预测值之后,还包括:
采用聚类算法对所述预测时间段的流量预测值进行分类,得到多组流量预测组;
从所述流量预测组中选取目标预测组;所述目标预测组中的流量预测值均小于设定流量值;
将所述目标预测组对应的时间段确定为所述目标基站的开关定时时间;
控制所述目标基站在所述开关定时时间内关闭。
可选地,所述通道注意力模块,具体包括:平均池化层、最大池化层、第一多层感知机、第二多层感知机和sigmoid函数;
所述卷积层、所述平均池化层、所述第一多层感知机和所述sigmoid函数依次连接;所述卷积层、所述最大池化层、所述第二多层感知机和所述sigmoid函数依次连接;
所述平均池化层用于对所述从所述流量特征向量中提取平均池化特征;
所述第一多层感知机用于为所述平均池化特征分配权重,得到第一感知特征;
所述最大池化层用于对所述从所述流量特征向量中提取最大池化特征;
所述第二多层感知机用于为所述最大池化特征分配权重,得到第二感知特征;
所述第一感知特征和所述第二感知特征相加后,经过所述sigmoid函数输出通道注意力矩阵;所述通道注意力矩阵与所述流量特征向量相乘后,通过残差的方式与所述流量特征向量相加,得到所述空间特征。
可选地,所述采用聚类算法对所述预测时间段的流量预测值进行分类,得到多组流量预测组,具体包括:
采用粒子群算法选取所述流量预测值的聚类中心,得到优化聚类中心;
以所述优化聚类中心作为初始聚类中心,采用k-means算法对所述流量预测值进行分类,得到多组流量预测组。
可选地,所述采用粒子群算法选取所述流量预测值的聚类中心,得到优化聚类中心,具体包括:
基于上次迭代次数下的聚类中心,计算每个所述流量预测值在当前迭代次数下的适应度值;
判断所述流量预测值在当前迭代次数下的适应度值是否大于个体极值的适应度值,得到第一判断结果;所述个体极值为所述流量预测值在历史迭代次数中所经历的最优位置;
若所述第一判断结果为是,则采用当前迭代次数下的位置更新所述个体极值;
若所述第一判断结果为否,则判断所述流量预测值在当前迭代次数下的适应度值是否大于全局极值的适应度值,得到第二判断结果;所述全局极值为所有的流量预测值在历史迭代次数中所经历的最优位置;
若所述第二判断结果为是,则采用当前迭代次数下的位置更新所述全局极值;
基于所述个体极值和所述全局极值,对所述流量预测值在上一迭代次数下的速度和位置进行更新,得到所述流量预测值在当前迭代次数下的速度和位置;
判断所述流量预测值在当前迭代次数下的位置是否满足迭代停止条件,得到第三结果;
若所述第三结果为是,则当前迭代次数下的位置对应的流量预测值为优化聚类中心。
可选地,所述流量预测值的速度的更新公式为:
表示第τ次迭代次数下第i个流量预测值在第d维上的速度;表示第τ+1次迭代次数下第i个流量预测值在第d维上的速度;ωmax表示惯性因子的最大值;ωmin表示惯性因子的最小值;Pid表示第i个流量预测值的个体极值;Pgd表示全局极值;η1表示Pid的调节参数;η2表示Pgd的调节参数;rand()表示随机数生成函数;表示第τ次迭代次数下第i个流量预测值的位置;Tmax表示最大迭代次数;
所述流量预测值的位置的更新公式为:
可选地,所述第一多层感知机和所述第二多层感知机均包括依次连接的第一全连接层、Relu函数和第二全连接层。
可选地,所述通道注意力矩阵为:
MC(F)表示通道注意力矩阵;σ表示sigmoid激活函数;δ表示Relu激活函数,W0表示第一多层感知机和第二多层感知机中第一全连接层的权重;W1表示第一多层感知机和第二多层感知机中第二全连接层的权重;表示最大池化特征;表示平均池化特征。
本发明还提供了一种基于双注意力机制的基站流量预测系统,包括:
预测时间段确定模块,用于确定目标基站的预测时间段;
流量预测模块,用于将所述预测时间段输入流量预测模型中,得到所述预测时间段的流量预测值;
模型确定模块,用于确定所述流量预测模型;所述模型确定模块,具体包括:
训练数据获取单元,用于获取训练数据;所述训练数据包括历史时刻和各历史时刻对应的流量值;
训练单元,用于将所述训练数据输入基于双注意力机制的CNN-LSTM模型中进行训练,得到所述流量预测模型;
所述基于双注意力机制的CNN-LSTM模型包括依次连接的输入层、卷积层、通道注意力模块、长短期记忆网络、时序注意力机制模块和输出层;
所述输入层用于将所述训练数据输入所述卷积层;
所述卷积层用于输出所述训练数据中流量值的流量特征向量;
所述通道注意力模块用于从所述流量特征向量中提取最大池化特征和平均池化特征,并采用通道注意力机制为所述最大池化特征和所述平均池化特征分配权重,以输出空间特征;
所述长短期记忆网络用于根据当前时刻的空间特征和上一时刻的隐层状态信息输出当前时刻的隐层状态信息;
所述时序注意力机制模块用于采用时序注意力机制为各个历史时刻的隐层状态信息分配权重,以确定流量预测值;
所述输出层用于输出所述流量预测值。
可选地,所述基于双注意力机制的基站流量预测系统,还包括:
聚类模块,用于采用聚类算法对所述预测时间段的流量预测值进行分类,得到多组流量预测组;
目标选取模块,用于从所述流量预测组中选取目标预测组;所述目标预测组中的流量预测值均小于设定流量值;
定时时间确定模块,用于将所述目标预测组对应的时间段确定为所述目标基站的开关定时时间;
定时控制模块,用于控制所述目标基站在所述开关定时时间内关闭。
与现有技术相比,本发明的有益效果是:
本发明实施例提出了一种基于双注意力机制的基站流量预测方法及系统,采用流量预测模型实现预测时间段的流量预测,流量预测模型是采用基于双注意力机制的CNN-LSTM模型构建的,基于双注意力机制的CNN-LSTM模型包括依次连接的输入层、卷积层、通道注意力模块、长短期记忆网络、时序注意力机制模块和输出层。本发明的基于双注意力机制的CNN-LSTM模型,在卷积神经网络中引入通道注意力机制,在长短期记忆网络中引入时序注意力机制,增强了模型在特征提取和时序捕获上的准确性,提高了流量预测精度,实现了对基站流量的长期、准确预测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的基于双注意力机制的基站流量预测方法的流程图;
图2为本发明实施例1提供的流量预测模型的确定方法流程图;
图3为本发明实施例1提供的基于双注意力机制的CNN-LSTM模型的结构图;
图4为本发明实施例2提供的基站开关定时控制过程示意图;
图5为本发明实施例2提供的定时控制的具体实现过程图;
图6为基站24小时的流量真实值和几种预测模型所得流量预测曲线图;
图7为不同模型的预测误差对比图;
图8为基站1的聚类结果示意图;
图9为本发明实施例3提供的基于双注意力机制的基站流量预测系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
图1为本发明实施例1提供的基于双注意力机制的基站流量预测方法的流程图。参见图1,所述方法,包括:
步骤101:确定目标基站的预测时间段。
步骤102:将所述预测时间段输入流量预测模型中,得到所述预测时间段的流量预测值。
参见图2,所述流量预测模型的确定方法为:
步骤201:获取训练数据;所述训练数据包括历史时刻和各历史时刻对应的流量值。
步骤202:将所述训练数据输入基于双注意力机制的CNN-LSTM模型中进行训练,得到所述流量预测模型。
参见图3,所述基于双注意力机制的CNN-LSTM模型包括依次连接的输入层、卷积层、通道注意力模块、长短期记忆网络、时序注意力机制模块和输出层。
所述输入层用于将所述训练数据输入所述卷积层。所述卷积层用于输出所述训练数据中流量值的流量特征向量。所述通道注意力模块用于从所述流量特征向量中提取最大池化特征和平均池化特征,并采用通道注意力机制为所述最大池化特征和所述平均池化特征分配权重,以输出空间特征。所述长短期记忆网络用于根据当前时刻的空间特征和上一时刻的隐层状态信息输出当前时刻的隐层状态信息。所述时序注意力机制模块用于采用时序注意力机制为各个历史时刻的隐层状态信息分配权重,以确定流量预测值。所述输出层用于输出所述流量预测值。
仍请参见图3,所述通道注意力模块,具体包括:平均池化层、最大池化层、第一多层感知机、第二多层感知机和sigmoid函数。
所述卷积层、所述平均池化层、所述第一多层感知机和所述sigmoid函数依次连接;所述卷积层、所述最大池化层、所述第二多层感知机和所述sigmoid函数依次连接。所述第一多层感知机和所述第二多层感知机均包括依次连接的第一全连接层、Relu函数和第二全连接层。
所述平均池化层用于对所述从所述流量特征向量中提取平均池化特征。所述第一多层感知机用于为所述平均池化特征分配权重,得到第一感知特征。所述最大池化层用于对所述从所述流量特征向量中提取最大池化特征。所述第二多层感知机用于为所述最大池化特征分配权重,得到第二感知特征。所述第一感知特征和所述第二感知特征相加后,经过所述sigmoid函数输出通道注意力矩阵;所述通道注意力矩阵与所述流量特征向量相乘后,通过残差的方式与所述流量特征向量相加,得到所述空间特征。
所述空间特征依次经过池化层和全连接层后进入长短期记忆网络(LSTM),再依次经过时序注意力机制模块、Softmax函数、全连接层和输出层后输出流量预测值。
在一个更为具体的实施方式中,上述基于双注意力机制的CNN-LSTM模型的实现过程如下:
在基站流量数据预测中,对于提高模型的预测精度来说,可靠良好的历史流量数据是非常必要的,所以在输入模型之前要进行数据处理,包括将重复数据删掉、将无效数据删掉以及补充有效数据等。在特征提取阶段加入了通道注意力机制组成CAM-CNN,将流量数据输入,首先经由CNN的卷积层进行特征提取,借助通道注意力机制为各个通道信息分配权重,巩固显著特征,再经过池化层、全连接层的处理。由于LSTM有着一贯的纵向时序信息丢失,将时序注意力引入LSTM网络组成TAM-LSTM,以更好的捕获长时序列之间的相关性。LSTM网络对卷积层提取的流量特征向量进行学习,挖掘出具有长期依赖性的特征,接着通过时序注意力机制为LSTM的输出分配权重,以增强关键历史流量信息的表达,将加权后的综合特征信息状态输出到全连接层,最终由输出层输出流量预测值。具体的:
将卷积层卷积后输出的流量特征向量F输入到通道注意力模块CAM中,大小为H*W*C,H为输入F的时序长度,W为输入F的列数,C为输入F的特征通道数。由于每个通道特征信息在模型中有着不同的重要性,如果直接将每个通道特征信息传递下去,那重要的通道特征信息中的流量信息有可能被丢弃,所以将输入流量特征向量F的空间信息汇总起来,具体的:对F分别进行全局最大池化Pmax和全局平均池化Pavg,得到输出最大池化特征和平均池化特征然后将和传入一个共享的多层感知机(Multiple layerperception,MLP)来计算通道注意力矩阵MC(F),即第一多层感知机和第二多层感知机共享。该多层感知机包含两个全连接层和一个Relu激活函数,和先经过第一全连接层,其输出通道数为C/r(r为缩减率),再经过Relu激活函数,后通过第二全连接层,输出通道数为C,最后将共享的多层感知机的输出相加输入到sigmoid激活函数,从而得到通道注意力矩阵MC(F),计算公式为:
MC(F)表示通道注意力矩阵;σ表示sigmoid激活函数;δ表示Relu激活函数,W0表示第一多层感知机和第二多层感知机中第一全连接层的权重;W1表示第一多层感知机和第二多层感知机中第二全连接层的权重;表示最大池化特征;表示平均池化特征。
最后,将通道注意力矩阵MC(F)与输入的流量特征向量F相乘,并且通过残差的方式与原始的流量特征向量相加,得到该通道注意力模块最后输出的空间特征G(F)。
在t时刻,CAM-CNN输出t时刻的空间特征Gt(F)与LSTM上一时刻隐层状态ht-1一同输入到LSTM网络中,在LSTM网络的输出侧加入时序注意力机制模块为重要历史流量数据分配更大的权重。模型迭代至时刻t的LSTM网络输出ht,随后时序注意力机制模块会对历史时刻隐层状态信息分配权重系数,最后各时刻的隐层输出加权求和得到了时序注意力机制模块的输出fT,fT经过全连接层进行维度变换得到最终的流量预测值。
本实施例提出基于双注意力机制的CNN-LSTM模型,在CNN中加入通道注意力机制,增强关键特征信息的表达,在LSTM中加入时序注意力机制,增强时序信息的重要性,能达到长期地、准确地预测基站流量数据的效果。
实施例2
考虑到基站智能开关虽然具有集中控制、远程控制、定时控制等功能,但是现阶段智能开关大都为人为控制,具有不稳定性、存在主观臆断、疏忽或判断力不佳等因素,本实施例在实施例1的基础上提出粒子群优化k-means算法,与双注意力机制的CNN-LSTM模型预测流量相结合,根据预测时间段的流量预测值对基站的开关进行智能定时,将大大提高智能开关的效率,更高效地节约工作能耗。实施例1的方法与实际应用相结合,可应用于实际基站场景。具体的:
在实施例1的步骤102之后,本实施例还包括:基站开关定时控制过程。参见图4,基站开关定时控制过程为:
步骤401:采用聚类算法对所述预测时间段的流量预测值进行分类,得到多组流量预测组。
步骤402:从所述流量预测组中选取目标预测组;所述目标预测组中的流量预测值均小于设定流量值。
步骤403:将所述目标预测组对应的时间段确定为所述目标基站的开关定时时间。
步骤404:控制所述目标基站在所述开关定时时间内关闭。
其中,所述步骤401,具体包括:
采用粒子群算法选取所述流量预测值的聚类中心,得到优化聚类中心。以所述优化聚类中心作为初始聚类中心,采用k-means算法对所述流量预测值进行分类,得到多组流量预测组。
其中,采用粒子群算法选取所述流量预测值的聚类中心,得到优化聚类中心,具体包括:
基于上次迭代次数下的聚类中心,计算每个所述流量预测值在当前迭代次数下的适应度值。
判断所述流量预测值在当前迭代次数下的适应度值是否大于个体极值的适应度值,得到第一判断结果;所述个体极值为所述流量预测值在历史迭代次数中所经历的最优位置。
若所述第一判断结果为是,则采用当前迭代次数下的位置更新所述个体极值。若所述第一判断结果为否,则判断所述流量预测值在当前迭代次数下的适应度值是否大于全局极值的适应度值,得到第二判断结果;所述全局极值为所有的流量预测值在历史迭代次数中所经历的最优位置。若所述第二判断结果为是,则采用当前迭代次数下的位置更新所述全局极值。
基于所述个体极值和所述全局极值,对所述流量预测值在上一迭代次数下的速度和位置进行更新,得到所述流量预测值在当前迭代次数下的速度和位置。
判断所述流量预测值在当前迭代次数下的位置是否满足迭代停止条件,得到第三结果。
若所述第三结果为是,则当前迭代次数下的位置对应的流量预测值为优化聚类中心。
在一个更为具体的实施方式中,采用粒子群算法(PSO)迭代优化,得到优化聚类中心,以优化聚类中心作为初始聚类中心,采用k-means算法实现流量预测值的分类的过程为:
参见图5,左侧经基于双注意力机制的CNN-LSTM模型结构输出的预测流量值输入到右侧改进的k-means算法(粒子群算法优化k-means算法)中,进行定时,基于优化粒子群的k-means算法在生成解群的时候不容易陷入局部最优值,具有全局整体性,对模型关键参数寻优,提高了收敛速度,通过算法迭代搜索最优值,最优值就是最终需要的值。
在基于双注意力机制的CNN-LSTM网络模型预测流量的基础上,如果联合基于改进PSO的k-means聚类算法输出基站开关定时时间,与智能开关相结合,应用于实际场景,创造节能高效的无线通信系统,保障服务质量的同时降低能耗,能有效实现绿色通信。具体的:
(1)输入流量数据集N,初始化流量数据种群,首先为每一个流量预测值分派一类,并且计算每类的聚类中心,生成流量预测值的位置编码、速度和适应度,共生成3个初始流量粒子群。根据先验知识,将流量预测值分为3类更符合分析目的,更有利于生成好的结果。
(2)对于每个流量预测值,根据下列公式计算它的适应度值。
式中Fit为流量预测值的适应度值,ni为流量数据集N中第i个数据,cj为第j个聚类中心,当||ni-cj||=min||ni-ck||,将ni分配到第j类,0<j≤3,其中k=1,2,3,k表示聚类中心的数量,当k=1时,ck为c1,c1表示第一个聚类中心。
(3)比较每个流量预测值的适应度值和它本身经历过的最好位置即个体极值Pid的适应度值,如果值更好,更新Pid。
(4)比较每个流量预测值的适应度值和所有流量预测值的所经历的最好位置即全局极值Pgd的适应度值,如果值更好,更新Pgd。
(5)每个流量预测值的适应度值和位置都更新完毕后,应对新的流量预测值进行k-means聚类优化。由于传统的粒子群算法粒子速度的改变总是保持同一水平,这样容易陷入局部最优值,为了解决原始算法收敛速度慢和全局性弱的问题,利用改进惯性因子优化这两个问题,调整粒子的全局和局部寻优能力。改进后的惯性因子ωτ公式为:
式中ωmax表示惯性因子的最大值;ωmin表示惯性因子的最小值,一般设ωmax=0.9,ωmin=0.4;τ表示第τ次迭代,Tmax为最大迭代次数。
在此基础上,根据改进后的粒子速度公式和位置公式调整流量预测值的速度和位置而后进行聚类。
改进后的粒子速度更新公式即流量预测值的速度的更新公式,具体为:
表示第τ次迭代次数下第i个流量预测值在第d维上的速度;表示第τ+1次迭代次数下第i个流量预测值在第d维上的速度;Pid表示第i个流量预测值的个体极值;Pgd表示全局极值;η1表示Pid的调节参数;η2表示Pgd的调节参数;rand()表示随机数生成函数;表示第τ次迭代次数下第i个流量预测值的位置。
改进后的粒子下一位置更新公式即流量预测值的位置的更新公式,具体为:
(6)当流量预测值达到足够好的位置(误差最小时)或达到最大迭代次数,算法结束,输出基站定时关闭时间段,否则转步骤(2)再次循环。
采用优化粒子群算法运用在流量数据选取初始聚类中心上,使k-means算法受聚类中心的问题得到有效解决。利用改进粒子群对k-means进行优化,提高了寻优能力,将流量预测值低的一类数据对应的时间归为一类输出,输出的这段时间就是关闭基站的时间。
本发明在CNN中加入通道注意力学习重要的特征流量信息,解决了原始CNN-LSTM中特征提取不明显的问题,为各个重要特征通道部署更大的权重,以加强CNN提取重要特征的能力,并且在LSTM网络输出阶段加入时序注意机制可以捕捉时序数据间的依赖关系,解决了原始模型中时序序列捕获不理想的问题,加强历史关键信息对当前输出的影响。利用改进粒子群对k-means算法进行优化,优化了k-means初始聚类中心的选择,提高了算法精确度,输出更为准确的定时时间,用于实际基站开关定时,为基站节省能耗。本发明在预测稳定性和预测准确度上比其他模型有提升,优化后的k-means算法具有准确的定时效果,应用于实际场景实现绿色通信。
下面采用实验对上述实施例1和2的有效性进行验证。
实验采用山西联通基站数据集包括多个基站,以每个基站三十一天的流量数据进行实验,以一个小时为统计周期进行统计数据,每一个小时为一个数据记录点,一个基站一共744条数据。对获得的基站流量数据进行处理,包括除去失效数据、处理异常数据、填充数据断点等等,最终形成数据集。对每个基站采用前三十天的流量数据作为训练集,用于训练模型,一共720条流量数据,采用最后一天的数据作为测试集,用于测试模型,一共24条流量数据。为验证所提预测模型的科学性和可靠性,以住宅区某基站为例,分别对该基站数据集进行分析,图6示出了该基站24小时的流量真实值和几种预测模型所得流量预测曲线。图6的(a)部分为Bi-LSTM模型预测值与流量真实值对比图,图6的(b)部分为CNN-LSTM模型预测值与流量真实值对比图,可以看出有较大误差,在大幅度波动区间预测效果下降,图6的(c)部分为CNN-TA-LSTM模型预测值与流量真实值对比图,可以看出CNN-TA-LSTM模型在峰值预测效果差,预测精度均低于本文所提模型。图6的(d)部分为本发明所提模型预测图,在峰值和波动区间预测效果更好,预测精度更高。
图7的(a)部分为Bi-LSTM模型预测误差图,图7的(b)部分为CNN-LSTM模型预测误差图,可以看出误差波动范围较大,图7的(c)部分为CNN-TA-LSTM模型预测误差图,可以看出CNN-TA-LSTM模型在峰值误差较大,图7的中(d)部分为本发明所提模型预测误差图,误差比前三个模型波动范围更小,说明模型预测更为准确。
本发明选取3种误差评价指标衡量模型的预测精度,分别是MAE(meanabsoluteerror)、RMSE(rootmeansquareerror)与MAPE(meanabsolutepercentageerror),计算公式如下:
式中:yi和分别为流量预测值的实际值与预测值,n为流量预测值的个数。MAE可以评估模型的预测精度。RMSE能够反映预测的稳定性。MAPE直观表现混合模型预测性能优劣。以上三个评价指标越小,模型性能越好,利用以上三个评价指标对五个基站的不同模型进行比较,结果如表1所示。
表1不同模型预测精度比较
由表1可知,本发明所提模型比Bi-LSTM模型,CNN-LSTM模型,CNN-TA-LSTM模型的MAE分别降低了52.69%、46.69%、31.28%;RMSE分别降低了49%、42.81%、29.13%;MAPE分别降低了0.18%、0.15%、0.11%。本发明在3种误差评价指标上都有明显的降低,证明了本发明所提的模型在流量预测的可行性,即在整体预测效果和性能方面改善效果显著。
图8为基站1聚类结果,输出流量负载更低的一类,作为基站的定时时间,在这段时间关闭基站,省流节能,应用于实际可以避免能源损耗过度,提高大量基站的效率,实现基站绿色节能。
由表2可知,本发明所提算法的准确率为92%,F1分值为92%,模型效果良好。与历史经验值对比可知,输出定时时间与历史经验值几乎吻合,可见算法的效果很好,利用该算法去控制流量的能耗,在一定基础上可以节约能耗,达到目的。
表2评价指标
针对5G基站在流量负载较低时仍保持运行状态而造成不必要能耗的问题,本发明提出一种基于双注意力机制的CNN-LSTM基站流量预测方法,并将其用于基站的定时控制中,能有效的节约基站能耗。首先,在CNN-LSTM阶段分别加入通道和时序注意力机制,增强模型在特征提取和时序捕获上的准确性,提高流量预测精度。其次,将改进粒子群优化k-means算法,提高寻优能力,输出最优基站定时时间。最后,仿真结果表明,该方法在流量预测的平均误差为0.38,开关实践证实,开关定时符合流量的“潮汐效应”,且能节约能耗。
实施例3
图9为本发明实施例3提供的基于双注意力机制的基站流量预测系统的结构图。参见图9,本实施例的系统,包括:
预测时间段确定模块901,用于确定目标基站的预测时间段。
模型确定模块902,用于确定所述流量预测模型。
流量预测模块903,用于将所述预测时间段输入流量预测模型中,得到所述预测时间段的流量预测值。
所述模型确定模块902,具体包括:
训练数据获取单元,用于获取训练数据;所述训练数据包括历史时刻和各历史时刻对应的流量值。
训练单元,用于将所述训练数据输入基于双注意力机制的CNN-LSTM模型中进行训练,得到所述流量预测模型。
所述基于双注意力机制的CNN-LSTM模型包括依次连接的输入层、卷积层、通道注意力模块、长短期记忆网络、时序注意力机制模块和输出层。
所述输入层用于将所述训练数据输入所述卷积层。所述卷积层用于输出所述训练数据中流量值的流量特征向量。所述通道注意力模块用于从所述流量特征向量中提取最大池化特征和平均池化特征,并采用通道注意力机制为所述最大池化特征和所述平均池化特征分配权重,以输出空间特征。所述长短期记忆网络用于根据当前时刻的空间特征和上一时刻的隐层状态信息输出当前时刻的隐层状态信息。所述时序注意力机制模块用于采用时序注意力机制为各个历史时刻的隐层状态信息分配权重,以确定流量预测值。所述输出层用于输出所述流量预测值。
在一个示例中,所述基于双注意力机制的基站流量预测系统,还包括:
聚类模块904,用于采用聚类算法对所述预测时间段的流量预测值进行分类,得到多组流量预测组。
目标选取模块905,用于从所述流量预测组中选取目标预测组;所述目标预测组中的流量预测值均小于设定流量值。
定时时间确定模块906,用于将所述目标预测组对应的时间段确定为所述目标基站的开关定时时间。
定时控制模块907,用于控制所述目标基站在所述开关定时时间内关闭。
本实施例采用基于双注意力机制的CNN-LSTM模型实现流量预测,并与粒子群优化k-means算法进行结合应用在定时中,可以极大地节约能耗。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于双注意力机制的基站流量预测方法,其特征在于,包括:
确定目标基站的预测时间段;
将所述预测时间段输入流量预测模型中,得到所述预测时间段的流量预测值;
其中,所述流量预测模型的确定方法为:
获取训练数据;所述训练数据包括历史时刻和各历史时刻对应的流量值;
将所述训练数据输入基于双注意力机制的CNN-LSTM模型中进行训练,得到所述流量预测模型;
所述基于双注意力机制的CNN-LSTM模型包括依次连接的输入层、卷积层、通道注意力模块、长短期记忆网络、时序注意力机制模块和输出层;
所述输入层用于将所述训练数据输入所述卷积层;
所述卷积层用于输出所述训练数据中流量值的流量特征向量;
所述通道注意力模块用于从所述流量特征向量中提取最大池化特征和平均池化特征,并采用通道注意力机制为所述最大池化特征和所述平均池化特征分配权重,以输出空间特征;
所述长短期记忆网络用于根据当前时刻的空间特征和上一时刻的隐层状态信息输出当前时刻的隐层状态信息;
所述时序注意力机制模块用于采用时序注意力机制为各个历史时刻的隐层状态信息分配权重,以确定流量预测值;
所述输出层用于输出所述流量预测值。
2.根据权利要求1所述的一种基于双注意力机制的基站流量预测方法,其特征在于,在所述将所述预测时间段输入流量预测模型中,得到所述预测时间段的流量预测值之后,还包括:
采用聚类算法对所述预测时间段的流量预测值进行分类,得到多组流量预测组;
从所述流量预测组中选取目标预测组;所述目标预测组中的流量预测值均小于设定流量值;
将所述目标预测组对应的时间段确定为所述目标基站的开关定时时间;
控制所述目标基站在所述开关定时时间内关闭。
3.根据权利要求1所述的一种基于双注意力机制的基站流量预测方法,其特征在于,所述通道注意力模块,具体包括:平均池化层、最大池化层、第一多层感知机、第二多层感知机和sigmoid函数;
所述卷积层、所述平均池化层、所述第一多层感知机和所述sigmoid函数依次连接;所述卷积层、所述最大池化层、所述第二多层感知机和所述sigmoid函数依次连接;
所述平均池化层用于对所述从所述流量特征向量中提取平均池化特征;
所述第一多层感知机用于为所述平均池化特征分配权重,得到第一感知特征;
所述最大池化层用于对所述从所述流量特征向量中提取最大池化特征;
所述第二多层感知机用于为所述最大池化特征分配权重,得到第二感知特征;
所述第一感知特征和所述第二感知特征相加后,经过所述sigmoid函数输出通道注意力矩阵;所述通道注意力矩阵与所述流量特征向量相乘后,通过残差的方式与所述流量特征向量相加,得到所述空间特征。
4.根据权利要求2所述的一种基于双注意力机制的基站流量预测方法,其特征在于,所述采用聚类算法对所述预测时间段的流量预测值进行分类,得到多组流量预测组,具体包括:
采用粒子群算法选取所述流量预测值的聚类中心,得到优化聚类中心;
以所述优化聚类中心作为初始聚类中心,采用k-means算法对所述流量预测值进行分类,得到多组流量预测组。
5.根据权利要求4所述的一种基于双注意力机制的基站流量预测方法,其特征在于,所述采用粒子群算法选取所述流量预测值的聚类中心,得到优化聚类中心,具体包括:
基于上次迭代次数下的聚类中心,计算每个所述流量预测值在当前迭代次数下的适应度值;
判断所述流量预测值在当前迭代次数下的适应度值是否大于个体极值的适应度值,得到第一判断结果;所述个体极值为所述流量预测值在历史迭代次数中所经历的最优位置;
若所述第一判断结果为是,则采用当前迭代次数下的位置更新所述个体极值;
若所述第一判断结果为否,则判断所述流量预测值在当前迭代次数下的适应度值是否大于全局极值的适应度值,得到第二判断结果;所述全局极值为所有的流量预测值在历史迭代次数中所经历的最优位置;
若所述第二判断结果为是,则采用当前迭代次数下的位置更新所述全局极值;
基于所述个体极值和所述全局极值,对所述流量预测值在上一迭代次数下的速度和位置进行更新,得到所述流量预测值在当前迭代次数下的速度和位置;
判断所述流量预测值在当前迭代次数下的位置是否满足迭代停止条件,得到第三结果;
若所述第三结果为是,则当前迭代次数下的位置对应的流量预测值为优化聚类中心。
7.根据权利要求3所述的一种基于双注意力机制的基站流量预测方法,其特征在于,所述第一多层感知机和所述第二多层感知机均包括依次连接的第一全连接层、Relu函数和第二全连接层。
9.一种基于双注意力机制的基站流量预测系统,其特征在于,包括:
预测时间段确定模块,用于确定目标基站的预测时间段;
流量预测模块,用于将所述预测时间段输入流量预测模型中,得到所述预测时间段的流量预测值;
模型确定模块,用于确定所述流量预测模型;所述模型确定模块,具体包括:
训练数据获取单元,用于获取训练数据;所述训练数据包括历史时刻和各历史时刻对应的流量值;
训练单元,用于将所述训练数据输入基于双注意力机制的CNN-LSTM模型中进行训练,得到所述流量预测模型;
所述基于双注意力机制的CNN-LSTM模型包括依次连接的输入层、卷积层、通道注意力模块、长短期记忆网络、时序注意力机制模块和输出层;
所述输入层用于将所述训练数据输入所述卷积层;
所述卷积层用于输出所述训练数据中流量值的流量特征向量;
所述通道注意力模块用于从所述流量特征向量中提取最大池化特征和平均池化特征,并采用通道注意力机制为所述最大池化特征和所述平均池化特征分配权重,以输出空间特征;
所述长短期记忆网络用于根据当前时刻的空间特征和上一时刻的隐层状态信息输出当前时刻的隐层状态信息;
所述时序注意力机制模块用于采用时序注意力机制为各个历史时刻的隐层状态信息分配权重,以确定流量预测值;
所述输出层用于输出所述流量预测值。
10.根据权利要求9所述的一种基于双注意力机制的基站流量预测系统,其特征在于,还包括:
聚类模块,用于采用聚类算法对所述预测时间段的流量预测值进行分类,得到多组流量预测组;
目标选取模块,用于从所述流量预测组中选取目标预测组;所述目标预测组中的流量预测值均小于设定流量值;
定时时间确定模块,用于将所述目标预测组对应的时间段确定为所述目标基站的开关定时时间;
定时控制模块,用于控制所述目标基站在所述开关定时时间内关闭。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211328360.5A CN115589369A (zh) | 2022-10-26 | 2022-10-26 | 一种基于双注意力机制的基站流量预测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211328360.5A CN115589369A (zh) | 2022-10-26 | 2022-10-26 | 一种基于双注意力机制的基站流量预测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115589369A true CN115589369A (zh) | 2023-01-10 |
Family
ID=84782743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211328360.5A Pending CN115589369A (zh) | 2022-10-26 | 2022-10-26 | 一种基于双注意力机制的基站流量预测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115589369A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116916362A (zh) * | 2023-09-12 | 2023-10-20 | 中国铁路设计集团有限公司 | 一种多目标优化的lte-r基站通信质量预测方法 |
-
2022
- 2022-10-26 CN CN202211328360.5A patent/CN115589369A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116916362A (zh) * | 2023-09-12 | 2023-10-20 | 中国铁路设计集团有限公司 | 一种多目标优化的lte-r基站通信质量预测方法 |
CN116916362B (zh) * | 2023-09-12 | 2023-12-12 | 中国铁路设计集团有限公司 | 一种多目标优化的lte-r基站通信质量预测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110991713B (zh) | 基于多图卷积和gru的不规则区域流量预测方法 | |
CN111210633B (zh) | 一种基于深度学习的短时交通流预测方法 | |
CN106599520B (zh) | 一种基于lstm-rnn模型的空气污染物浓度预报方法 | |
CN109242140A (zh) | 一种基于LSTM_Attention网络的交通流预测方法 | |
CN112418547A (zh) | 一种基于gcn-lstm组合模型的公交车站点客流量预测方法 | |
CN113902011A (zh) | 基于循环神经网络的城市轨道交通短时客流预测方法 | |
CN109886444A (zh) | 一种交通短时客流预测方法、装置、设备和存储介质 | |
CN111861013B (zh) | 一种电力负荷预测方法及装置 | |
CN113554466A (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
CN104636985A (zh) | 一种改进bp神经网络的输电线路无线电干扰预测方法 | |
CN109118020A (zh) | 一种地铁车站能耗短期预测方法及其预测系统 | |
CN115374995A (zh) | 一种分布式光伏、小风电场站功率预测方法 | |
CN110837915B (zh) | 一种基于混合集成深度学习的电力系统低压负荷点预测及概率预测方法 | |
CN109815995A (zh) | 一种缺失观测值条件下锂电池剩余寿命预测方法 | |
CN112733307B (zh) | 一种供暖季城市天然气负荷预测方法及装置 | |
CN115310727B (zh) | 一种基于迁移学习的建筑冷热电负荷预测方法及系统 | |
CN109754122A (zh) | 一种基于随机森林特征提取的bp神经网络的数值预测方法 | |
CN115051925B (zh) | 一种基于迁移学习的时空序列预测方法 | |
CN115589369A (zh) | 一种基于双注意力机制的基站流量预测方法及系统 | |
CN111563615A (zh) | 一种基于特征分析与组合学习的负荷预测方法 | |
CN114572229B (zh) | 一种基于图神经网络的车速预测方法、装置、介质及设备 | |
CN115907122A (zh) | 区域电动汽车充电负荷预测方法 | |
CN109633449A (zh) | 基于灰色向量机的矿用锂电池寿命预测方法及管理系统 | |
CN112307672A (zh) | 基于布谷鸟算法优化的bp神经网络短期风功率预测方法 | |
CN116227738B (zh) | 一种电网客服话务量区间预测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |