CN113595798B - 改进闪电连接过程优化算法的网络流量预测方法及系统 - Google Patents
改进闪电连接过程优化算法的网络流量预测方法及系统 Download PDFInfo
- Publication number
- CN113595798B CN113595798B CN202110881720.3A CN202110881720A CN113595798B CN 113595798 B CN113595798 B CN 113595798B CN 202110881720 A CN202110881720 A CN 202110881720A CN 113595798 B CN113595798 B CN 113595798B
- Authority
- CN
- China
- Prior art keywords
- lightning
- levy
- algorithm
- point
- connection process
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于网络流量预测技术领域,公开了一种改进闪电连接过程优化算法的网络流量预测方法及系统,利用pandas工具将网络流量数据导入模型,进行数据清洗与数据增强,并将数据分成训练集、验证集、测试集,并确定神经网络中输入层、输出层和隐藏层单元个数;通过结合Levy飞行与闪电连接过程优化LAPO算法的搜索策略Levy‑LAPO实现搜索神经网络的最优超参数;根据搜索后的最优化参数,将其作为神经网络的初始参数进行训练,得到训练完成的神经网络。本发明成本低、推广容易;减少了计算量,收敛速度快,节省了计算资源的消耗和时耗;无需人工领域知识介入,扩大了领域的应用面,提升了算法的收敛性能。
Description
技术领域
本发明属于网络流量预测技术领域,尤其涉及一种改进闪电连接过程优化算法的网络流量预测方法及系统。
背景技术
目前,随着网络规模的日益庞大和复杂,网络带宽急剧增加,基于网络的互联网服务呈现多样化的发展,带动了很多的新兴产业和网络产物,这使得互联网的运行机制和行为特征错综复杂,尽管带来了很多的就业岗位,但也带来了巨大的网络流量使用的需求,同时网络流量的带宽需求也出现了不均匀的分布。因此,快速求解系统网络流量负载能力极限,对网络QoS进行实时的控制和管理成为一个函待解决的问题。然而,实现网络QoS控制需要及时了解和预测网络的运行状况,以便对网络的运行进行控制,这就需要进行网络流量预测。精准的网络流量预测对维护高需求网络运营商的稳定运行,以及更充分的发挥网络资源调度计划具有重大意义。
网络体系架构上讲,网络流量是一切研究的基础。通过对网络流量的研究,可以更好地了解网络本身的行为特点。网络性能的好坏可以直接体现在网络流量上。近些年来,基于深度学习技术的时间序列模型越来越多的应用到这个领域中。深度学习模型高度依赖数据预处理以及模型训练流程中的各种超参数的调节,传统的方式是请求一些具备领域以及人工智能背景的专家给出经验数值。但是这种方式具有成本较高、推广较难等问题。同时,人工经验也缺乏一定的准确性和可解释性。因此在参数以及超参数调节中引入自动最优化的参数搜索算法具有紧迫的研究需求和社会经济价值。基于研究近年来的国内外研究现状,对近年来的基于深度学习技术的流量预测相关文献进行充分分析,发现以深度学习模型作为适应度函数时存在着最优化参数搜索速度偏慢的问题。
流量模型可以看作是流量行为特征的近似数学描述,其建模的基本原则是:以网络流量的主要特性作为出发点,设计流量模型从而刻画实际流量的显著特性,同时又可以从数学上进行研究。在研究初期,由于理论基础的薄弱,那个时代主要依靠经验和网络领域的行业专家对网络流量负荷进行预测,然而预测误差较大。经过一段时间的研究,国内外专家学者为提高预测精度,开始采用更为科学的方法对网络流量负荷进行多维度的预测。在这一阶段主要的预测方法是数学模型法,数学模型法的核心思想是数理统计,例如时间序列法和回归分析法这两种方法是典型的数学模型法;为了应对数据的高纬灾难,结合了最近逐渐火热起来的深度学习对数据进行综合的预处理,然后去优化模型,预测的效果也非常的显著。
(1)国外研究现状
早在上世纪70年代,研究学者们就提出了时间序列法,通过建立序列数据流量负荷预测模型对未来负荷进行预测。在因素变化不大的情况下,如果网络环境处于正常运行状态,时间序列法的预测效果还是比较理想的。如果网络人数和需求出现较大的波动时,则预测效果不太理想。时间序列法主要有自回归模型、滑动平均模型、Box-Jenkins模型等。经过人们不断的探索,针对网络业务流已经提出了多种预测模型:ON-OFF模型、FBM(Fractional Brownian Motion)、FARIMA(p,d,q)(Fractional AutoregressiveIntegrated Moving Average)、GARMA(Generalized Autoregressive Moving Average)、神经网络预测模型以及基于小波的预测模型等。人工神经网络首次运用到网络流量负荷预测标志着网络流量的负荷预测理论方法从传统的统计学原理向人工智能过渡,并将人工神经网络法运用到实际工程中,预测结果也较为精确。2014年,文献《Mader W,Linke Y,MaderM,et al.A numerically efficient implementation of the expectationmaximization algorithm for state space models[J].Applied Mathematics andComputation,2014,241.》中以包长、包间隔时间、流持续时间等作为流量数据的统计特征,利用期望值最大化算法EM(Expectation Maximization Algorithm),进行无监督的训练学习;2015年,文献《Karthika S,Sairam N.ABayesian Classifier for EducationalQualification[J].Indian Journal of Science and Technology,2015,8(16).》采用了一种无监督的贝叶斯分类器,通过计算流的特征值进行训练学习;2018年,文献《Dalgkitsis A,Louta M,Karetsos G T.Traffic forecasting in cellular networksusing the lstm rnn[C]//Proceedings of the 22nd Pan-Hellenic Conference onInformatics.2018:28-33.》提出了一种使用长短期记忆(Long Short-Term Memory,LSTM)的方法,并经过实验验证,LSTM可以很好的获取流量数据的时间序列特征。
(2)国内研究现状
国内在网络流量预测的领域,文献《雷霆,余镇危.一种网络流量预测的小波神经网络模型[J].计算机应用,2006,26(3):526-0528.》中结合小波变换和人工神经网络的优势,建立一种网络流量预测的小波神经网络模型。首先对流量时间序列进行小波分解,得到小波变换尺度系数序列和小波系数序列,以系数序列和原来的流量时间序列分别作为模型的输入和输出,构造人工神经网络并且加以训练;2013年文献《赵清艳.遗传优化神经网络的网络流量预测[J].微电子学与计算机,2013,30(03):132-135.》提出一种遗传算法优化神经网络的网络流量预测模型,将相空间重构和神经网络参数进行编码,网络流量预测精度作为目标函数,通过遗传算法选择模型最优参数;2014年文献《李振刚.基于高斯过程回归的网络流量预测模型[J].计算机应用,2014,34(5):1251-1254.》针对传统网络流量预测精度低难题,为了获得理想的网络流量预测结果,提出一种基于高斯过程回归的网络流量预测模型。该模型首先计算延迟时间和嵌入维数,构建高斯过程回归的学习样本;然后采用高斯过程回归对网络流训练集进行学习,并采用入侵杂草优化对高斯过程回归的参数进行优化;最后采用经典的网络流量测试集对该模型性能进行实验测试。实验结果表明,高斯过程回归模型提高了网络流量的预测精度;2015年文献《杜振宁.布谷鸟搜索算法优化BP神经网络的网络流量预测[J].电子技术应用,2015,41(03):82-85.》提出一种布谷鸟搜索算法优化BP神经网络的网络流量预测模型,根据混沌理论建立网络流量学习样本,采用BP神经网络对学习样本进行训练,将模型参数当一个鸟巢,通过模拟布谷鸟寻窝产卵的行为找到最优模型参数;2017年,Yipeng Liu和Haifeng Zheng在文献《Y.Liu,H.Zheng,X.Feng andZ.Chen,"Short-term traffic flow prediction with Conv-LSTM,"2017 9th International Conference on Wireless Communications and Signal Processing(WCSP),Nanjing,China,2017,pp.1-6,doi:10.1109/WCSP.2017.8171119.》提出一种由两个模块组成的端到端的深度学习框架,该框架将卷积操作和LSTM相结合,形成了一种能提取无线网络流量的时空特征的模块;2019年文献《王海宁,袁祥枫,杨明川.基于LSTM与传统神经网络的网络流量预测及应用[J].移动通信,2019,43(8):37-44.》为进一步提高网络流量的预测精度,提出了一种在多层LSTM网络的基础上加入传统神经网络,引入外部人工构造特征的神经网络结构,提升对网络流量预测的精度。
在人工智能领域对于网路流量预测的方法中,经典的有反向传播神经网络,在解决一些复杂的有非线性特征的预测问题上有一定用武之地,长短期记忆网络借助模拟人脑结构来学习,凭借稳定的学习能力和较精确的预测效能,也应用到了很多预测领域;优化算法的特点也可以用于加速寻找网络流量预测模型的各种超参数。这些算法和一些改进的模型都能够处理大量的数据和高纬度的信息,可以对一些客观因素和参数进行复杂的非线性特征模拟,还可以有较好的运行效率和一定的自适应能力,正因此,这些方法在网络流量的预测领域得到了广泛的应用,也是当下的一大研究热点发展迅速。
通过上述分析,现有技术存在的问题及缺陷为:
(1)在网络流量数据处理中,传统的方式是请求一些具备领域以及人工智能背景的专家给出经验数值。但是这种方式具有成本较高、推广较难等问题。同时,人工经验也缺乏一定的准确性和可解释性。
(2)在现有基于深度学习技术的网络流量数据预测中,循环神经网络作为一种成熟的模型,它不仅能保证数据的时序性,也能兼顾数据之间的非线性关系。但是,循环神经网络耗时太久,并且网络通信只进行一次读取、一次解析输入负荷数据,导致深度神经网络必须经过等待前一个输入处理完,才能进行下一个输入的处理,存在很大的冗余性,并且在训练的过程中需要占用大量的内存。
(3)使用深度学习模型作为适应度函数时,存在着最优化参数搜索速度偏慢的问题,同时计算复杂度较高,寻优的过程存在一定的冗余性,收敛速度慢。造成实际应用中,资源的消耗和时耗过长。
解决以上问题及缺陷的难度为:
(1)难以很好的结合算法和神经网络进行一个准确的预测。
(2)优化算法与神经网络结合过程中存在一定的偏差及偶然性。
(3)大规模的和高纬度的数据收集困难,数据标准化耗时耗力。
(4)难以克服优化算法容易陷入局部最优以及过早拟合的缺点
解决以上问题及缺陷的意义为:
网络流量的预测研究是网络维度数据预测领域中的一个重要分支,其主要的研究意义有如下几个方面:
(1)优化网络流量资源的合理调度分配:短期的数据对网络流量的预测一般针对网络运营商公司的资源调度提供了一定的依据,从而可以让企业、公司在高压时段给客户停供更好的网络服务,也可以在低时段降低投入,节约网络流量成本,通过流量在线路上的流量数据可以分析出不同区域不同时段的网络需求,达到高效的运维管理、能源分配,以减少成本带动企业、公司的营收利润,实现更好的发展。
(2)经济调度以及可靠性:对于使用者、用户层面而言,一个精准的网络流量的预测可以让企业时刻知晓当下流量的负载情况,可以让企业及时针对网络情况进行预处理,防止出现网络波动,合理的规划调度网络资源,不仅降低了运营商的压力,也节约了实际的网络流量成本,多方面的保证了网络经济的高效合理运行。
(3)保障网络流量运营系统的安全:任何系统的运行使用都需要一定的维护和更新,通过研究出的算法模型预测未来一段时间用户的需求量,可以知道在什么时候进行系统的检测与维护,从而保障网络流量系统的正常稳定运作提供一定的可靠性,同时也带动用户在体验的过程中的一个高效性的稳定。
(4)推动人工智能进化算法在理论与实际应用上的进步:针对网络流量的预测,通过在不同的智能优化算法上的对比研究,以及提出的一些对于改进的算法来优化的人工神经智能网络模型结构,在不断的调优参数过程中,也对算法进行了新的创新,最后实验也证实了提出的算法模型具有一定的研究意义与实用性价值。
发明内容
针对现有技术存在的问题,本发明提供了一种改进闪电连接过程优化算法的网络流量预测方法及系统。
本发明是这样实现的,一种改进闪电连接过程优化算法的网络流量预测方法,包括以下步骤:
步骤一,利用pandas工具将网络流量数据导入模型,进行数据清洗与数据增强,并将数据分成训练集、验证集、测试集,并确定神经网络中输入层、输出层和隐藏层单元个数;
步骤二,通过结合Levy飞行与闪电连接过程优化LAPO算法的搜索策略Levy-LAPO实现搜索神经网络的最优超参数;
步骤三,根据搜索后的最优化参数,将其作为神经网络的初始参数进行训练;
步骤四,采用训练完成的神经网络进行网络流量预测。
进一步,步骤二的具体过程如下:
(a):初始化算法运行参数:种群规模N、最大迭代次数Maxiter、最大通道时间T和梯级先导尖端能量Esl;
(b):执行电荷分支下的聚集模型随机生成初始跳跃点种群,计算目标函数值评估测试点的位置Test point;
(c):进入主循环,更新电荷分支支路,确定最优、最差先导;
(d):如果满足最大通道时间T,那么淘汰适应值最差的通道并重置通道时间,否则进入下一步;
(e):更新雷电跳跃点位置和能量雷电发射点;
(f):Levy飞行,判断放电体的位置是否出现未能能量迭代超过十次,如果是的那么就用公式Levy飞行来更新当前引导雷电放射点的位置,Levy飞行后,根据步骤(d)、(e)、(f)来更新最优的个体p-best和全局最优的g-best。
(g):算法终止,若满足最终迭代结束条件,就让算法搜索停止,否则继续返回步骤e继续寻找最优闪电放射位置。
(h):性能评估,评估最佳适应值测试点Test point;
进一步,步骤二中,所述LAPO算法函数表示和迭代过程以及数学模型,包括:
闪电连接过程算法的数学模型由以下几个步骤组成:(1)所有闪电分支初始化;(2)确定云层中闪电分支的下一次起跳点;(3)闪电分支的消失过程;(4)向上领导的移动和向下领导的移动;(5)两者相遇,确定连接点。
其中,所述候选的跳跃点的公式定义如下:
其中,Xmin和Xmax是决策变量的上限和下限,rand是在[0,1]范围内均匀选择的随机变量,根据目标函数计算出测试点的电场,即函数的适应度值。
获取所有测试点的平均值,并计算所述点的适合度值,公式如下所示:
Xave=mean(Xtestpoint);
Fave=obj(Xave)。
进一步,数学模拟中,对于特定的测试点,所有其他测试点都被视为潜在的下一个跳跃点;对于测试点i,在总体中选择一个随机点j;如果点j的电场高于平均值的电场,点j的适应度优于平均值的电场,则雷电会跳到该点;否则,雷电会移动到另一个方向;首先引导线连接到电场高于平均电场的点,然后引导线连接到电场低于平均电场的点,最后逐渐消失的分支。
如果电位点j的电场高于平均电场加入Levy飞行:
如果电位点j的电场低于平均电场:
云层闪电分支消失,如果新测试点的电场高于临界值,即如果适应度函数优于上一个点,则分支保持不变;否则,分支维持不变或者它会消失;此功能的数学逻辑公式如下所示:
对所有候选点均执行此循环过程。即在第一阶段中,所有其余点都被视为向下移动,形成一个回路。
领导者放电的向上运动,所有测试点都被视为向下引导线并向下移动;在此阶段,所有测试点都被视为向上引导者并向上移动;向上引导者的运动基于向下引导者的电荷,该电荷基本上沿通道呈指数分布,指数因子公式定义如下:
其中,t是迭代次数,tmax是最大迭代次数;向上引线的下一个跳跃,其中t是迭代次数,tmax是最大迭代次数;向上引导者的下一个跳跃与通道的电荷有关,通道的电荷是引导者尖端高度,云层高度和通道电荷的函数;作为向上引导线的测试点的下一个轨迹的数学公式如下所示:
Xtestpoint_new=Xtestpoint_new+rand*S*(Xmin-Xmax);
其中,Xmin、Xmax是总体中最佳和最差的解决方案,是指领导者尖端高度,即最佳答案和云的高度,即最差答案。
当向上的引导器和向下的引导器相遇并确定打击点时,闪电过程将停止;只要满足收敛标准,优化算法即告完成;在每次迭代中,计算整个总体的平均值,并获得平均解的适合度;如果最差解决方案的适用性比平均解决方案差,则将其替换为平均解决方案。
进一步,步骤二中,所述Levy飞行数学表示,包括:
Levy飞行位置更新的表达式如下所示:
Levy~u=t-λ1<λ≤3;
Levy飞行由于是一种随机步长,并且步长符合Levy的特征分布函数;采用Mantegna算法模拟,用于表达数学关系,其中步长s的计算式为:
其中u和v为正态分布,定义式分别表示为:
其中σμ用以下公式表示:
其中,β取常数1.5。
进一步,步骤二中,所述结合Levy飞行的闪电连接过程优化算法设计思路,包括:
首先在原标准闪电连接过程优化算法过程中,LAPO算法通过初始化搜索种群,结合决策变量找到云层和地面的候选的连接点,通过雷电的发射点建立随机分布函数模型求解优化问题,在初始的迭代过程中,对所有测试点,计算目标函数并将其视为这些测试点的电场;
定义一个测试点:
采用Levy飞行改进的Levy-LAPO算法不是直接将种群迭代后的群体直接用Levy飞行进入下一代的迭代,而是直接继续使用Levy飞行在位置上进行更新和跳跃,使放电体直接得到进一步的跨区域的搜索和寻找。
对于进一步对放电体的迭代位置进行Levy飞行的方式为:先通过设定一个阈值判断雷电观测点的迭代的位置是否很长一段时间都没有更新,是否已经陷入了一个局部最优区域,如果判断出长时间没有更新迭代空间,那么就对放电体的位置进行Levy飞行,通过跳跃跳出当前区域,进行下一个空间的搜索,否则不用进行Levy飞行,也就是说拥有选择的方式进行Levy飞行。
进一步,步骤二中,所述结合Levy飞行的闪电连接过程优化算法,包括:
Levy-LAPO算法首先定义一个雷电候选点群体,选出一个测试观测点Testpoint,然后把未迭代的潜在的测试点跳跃的次数标记为qi(i=1,2,...,n),表示雷电随机的测试点的位置还没有达到更优的位置的迭代的次数;定义一个阈值,让随机测试点的未向下放电迭代寻优的次数qi达到10次时候,则让ps通过Levy飞行位置更新公式进行Levy飞行跳出当前寻优空间,其中/>表示放电体迭代后通过Levy飞行后的位置更新,/>表示Levy飞行前的雷电测试点迭代的位置,/>为点对点的乘法;α表示步长的控制量;Levy(λ)为随机搜索路径。不过在寻优的结果当中是根据前后的适应度值进行取舍,再对比/>和/>的位置时。如果Levy飞行后的位置好于Levy飞行前的,则选用/>的位置,反之采用Levy飞行前的最优位置。
进一步,所述Levy-LAPO算法步骤如下:
(1)初始化算法运行参数:种群规模N、最大迭代次数Maxiter、最大通道时间T和梯级先导尖端能;Esl;
(2)执行电荷分支下的聚集模型随机生成初始跳跃点种群,计算目标函数值评估测试点的位置Test point;
(3)进入主循环,更新电荷分支支路,确定最优、最差先导;
(4)如果满足最大通道时间T,那么淘汰适应值最差的通道并重置通道时间,否则进入下一步;
(5)更新雷电跳跃点位置和能量雷电发射点;
(6)Levy飞行,判断放电体的位置是否出现未能能量迭代超过十次,如果是的那么就用公式Levy飞行来更新当前引导雷电放射点的位置,Levy飞行后,根据步骤(4)、(5)、(6)来更新最优的个体p-best和全局最优的g-best;
(7)算法终止,若满足最终迭代结束条件,就让算法搜索停止,否则继续返回步骤e继续寻找最优闪电放射位置;
(8)性能评估,评估最佳适应值测试点Test point。
本发明的另一目的在于提供一种应用所述的改进闪电连接过程优化算法的网络流量预测方法的改进闪电连接过程优化算法的网络流量预测系统,所述改进闪电连接过程优化算法的网络流量预测系统包括:
LAPO算法确定模块,用于确定LAPO算法函数表示和迭代过程及数学模型;
Levy飞行确定模块,用于确定Levy飞行理论以及Levy飞行数学表示;
优化算法构建模块,用于结合Levy飞行的闪电连接过程优化算法的构建;
网络流量预测模块,用于通过结合Levy飞行与闪电连接过程优化算法的搜索策略Levy-LAPO实现搜索网络流量预测原型系统的自动参数最优化。
本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
确定LAPO算法函数表示和迭代过程以及数学模型;确定Levy飞行理论以及Levy飞行数学表示;结合Levy飞行的闪电连接过程优化算法的构建;通过结合Levy飞行与闪电连接过程优化算法的搜索策略Levy-LAPO实现搜索网络流量预测原型系统的自动参数最优化。
本发明的另一目的在于提供一种信息数据处理终端,所述信息数据处理终端用于实现所述的改进闪电连接过程优化算法的网络流量预测系统。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明提供的改进闪电连接过程优化算法的网络流量预测方法,针对基于深度学习技术的网络流量预测过程中出现的参数优化需求,设计并实现了一系列自动最优化参数搜索算法,实现搜索网络流量预测原型系统的自动参数最优化的能力。
本发明提出基于Levy飞行改进的闪电连接过程优化算法(Levy-LAPO),改进的策略是针对闪电连接过程优化算法易陷入局部最优问题和容易过早拟合的问题,通过Levy飞行的全局性和本身具有跳跃寻优的能力来带动算法的全面寻优能力,较好的弥补了原经典算法的缺点,以此来解决收敛速度过慢的问题,提升了全局寻优能力。最后将改进后的算法在五个单峰值标准函数下进行了测试,通过真实的流量数据进行实验训练和验证,发现结合Levy飞行的闪电连接过程优化算法在网络流量数据预测的后半段模拟效果明显越来越好,这也进一步的显示了Levy-LAPO在短期的一段长序列数据中可以捕捉到真实的数据信息,可以适合更大数据样本的预测研究,同时有更快的收敛速度,具有更好的寻优性能。实验研究数据也表明了本算法的可行性。
本发明创新在于:1)对于闪电连接过程优化算法(LAPO)的改进方式;2)首次将结合levy飞行的闪电连接过程优化算法(Levy-LAPO)引入网络流量控制领域。本发明成本低、推广容易;减少了计算量,收敛速度快,节省了计算资源的消耗和时耗;无需人工领域知识介入,扩大了领域的应用面。
本发明分别在标准函数以及Seq2Seq模型上进行了搜索最优化参数的实验,实验表明,在寻找最优化参数方面与经典LAPO算法一样优秀,而在迭代数量上Levy-LAPO算法有一定的优势,从而提升了算法的收敛性能,节省了计算资源的消耗和时耗。该算法对在将进化计算参数寻优的能力部署在基于神经网络的深度学习模型上具有显著的意义。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的改进闪电连接过程优化算法的网络流量预测方法流程图。
图2是本发明实施例提供的改进闪电连接过程优化算法的网络流量预测系统结构框图;
图中:1、LAPO算法确定模块;2、Levy飞行确定模块;3、优化算法构建模块;4、网络流量预测模块。
图3是本发明实施例提供的云层中的电荷分布示意图。
图4是本发明实施例提供的展示来自云的闪电的不同起点示意图。
图5是本发明实施例提供的向下逐步移动的折线形闪电示意图。
图6是本发明实施例提供的高速相机的闪电照片中显示的分支节点示意图。
图7是本发明实施例提供的向上的引导者形成并通过向下的引导者传播示意图。
图8是本发明实施例提供的下一个跳跃确定和雷电轨迹识别示意图。
图9是本发明实施例提供的Levy飞行与随机飞行在寻优过程的特点对比示意图。
图10是本发明实施例提供的Levy-LAPO优化参数的流程图。
图11是本发明实施例提供的迭代十次的两种算法收敛性对比示意图。
图12是本发明实施例提供的迭代二十次的两种算法收敛性对比示意图。
图13是本发明实施例提供的迭代三十次的两种算法收敛性对比示意图。
图14是本发明实施例提供的迭代四十次的两种算法收敛性对比示意图。
图15是本发明实施例提供的跳跃过大出现负值的图解。
图16是本发明实施例提供的迭代过程示意图。
图17是本发明实施例提供的预测实验的设计方案示意图。
图18是本发明实施例提供的选取了316个节点的7天预测的均值趋势示意图。
图19是本发明实施例提供的节点前一百个节点第一天数据对比示意图。
图20是本发明实施例提供的节点后一百个节点第一天数据对比示意图。
图21是本发明实施例提供的节点前一百个节点第四天数据对比示意图。
图22是本发明实施例提供的节点后一百个节点第四天数据对比示意图。
图23是本发明实施例提供的节点前一百个节点第七天数据对比示意图。
图24是本发明实施例提供的节点后一百个节点第七天数据对比示意图。
图25是本发明实施例提供的两种不同margin下的以天为单位的预测曲线示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种改进闪电连接过程优化算法的网络流量预测方法及系统,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供的改进闪电连接过程优化算法的网络流量预测方法包括以下步骤:
S101,确定LAPO算法函数表示和迭代过程以及数学模型;
S102,确定Levy飞行理论以及Levy飞行数学表示;
S103,结合Levy飞行的闪电连接过程优化算法的构建;
S104,通过结合Levy飞行与闪电连接过程优化算法的搜索策略Levy-LAPO实现搜索网络流量预测原型系统的自动参数最优化。
如图2所示,本发明实施例提供的改进闪电连接过程优化算法的网络流量预测系统包括:
LAPO算法确定模块1,用于确定LAPO算法函数表示和迭代过程以及数学模型;
Levy飞行确定模块2,用于确定Levy飞行理论以及Levy飞行数学表示;
优化算法构建模块3,用于结合Levy飞行的闪电连接过程优化算法的构建;
网络流量预测模块4,用于通过结合Levy飞行与闪电连接过程优化算法的搜索策略Levy-LAPO实现搜索网络流量预测原型系统的自动参数最优化。
下面结合实施例对本发明的技术方案作进一步描述。
1、发明概述
针对基于深度学习技术的网络流量预测过程中出现的参数优化需求,本发明设计并实现了一系列自动最优化参数搜索算法,实现搜索网络流量预测原型系统的自动参数最优化的能力。
本发明技术方案的步骤如下:
经典的闪电搜索算法Lightning search algorithm(LSA)和闪电连接过程优化算法Lightning attachment process optimizer(LAPO)是近年热门的进化算法,相较于经典的PSO、DSA、HAS等算法具有结构简单、收敛速度快、寻优能力强等特点。经典的进化计算算法有较易陷入局部最优解和计算复杂度较高、收敛性较弱等问题,特别是在采用基于神经网络的人工智能模型作为适应度函数的前提下,因为进化算法内部多存在循环嵌套的结构,往往在适应度计算上需要消耗大量时间和计算资源。
针对这一问题,本发明提出了一种结合Levy飞行与闪电连接过程优化算法的搜索策略:Levy-LAPO。Levy飞行一种步长的概率分布为重尾分布的随机行走,相较于经典的随机游走算法,Levy飞行有相对较高的几率出现大跨步的不长,从而加速在进化计算的早中期的收敛速度,大幅度的减少了计算量。
通过两组实验对Levy-LAPO算法进行了验证。首先通过一组标准函数对算法进行了测试,然后使用深度学习作为适应度函数,对该函数中的批次数量(batch size)与训练代数(epoch)为优化目标进行了实验。
2、技术背景
2.1经典闪电搜索算法与闪电连接过程优化算法的对比
闪电搜索优化算法是基于闪电的自然现象和阶梯引导传播的机制,使用称之为射弹的快速粒子的概念,开发出了用三种弹射类型来代表过渡射弹,通过创造了第一步的领导者群体,试图成为领导者的太空射弹,以及代表射箭的主要射弹从最佳定位阶梯领导者发射,算法主要的最优值的特征是使用空间射弹的指数随机行为和使用对立理论在交叉点处形成的两个引导尖端来进行建模。Shareef等人提出了一种优化算法,称为“闪电搜索算法”(LSA),该算法也受到闪电现象的启发。LAPO和提议的LSA的灵感是相同的;但是,更新解决方案的视图和方程式完全不同。在LSA中,解决方案是原子通过其动能行进到大气中,并通过与其它分子和原子的碰撞使附近的空间电离。在此方法中,仅考虑离子通道的向下移动。在建议的LAPO中,解决方案是闪电的连接点。在此模型中,同时考虑了向上和向下的闪电分支领导者,并且速度更快,两个算法都是受到了闪电的附着过程的启发,由于LAPO在考虑的全面性上的优势,因此本发明采用此算法进行优化的研究和一系列的对比实验。
2.2闪电连接过程优化算法(LAPO)
如图3所示,受雷电附着的变化过程,闪电连接过程优化算法(LAPO)是一种新颖的自然启发式优化算法。是基于受到闪电连接过程程序的物理现象的启发总结而成。程序整体流程包括:1、空中云层击穿;2、下行先导向下移动;3、闪电的分支在移动过程消失;4、地面向上的先导开始异动;5、确定两者相遇的连接点,其他的闪电都消失。算法本身没有任何参数调整,该参数调整在两个主要阶段中执行,向下引导闪电的移动和向上引导的闪电传播。这个过程包括四个重要阶段:在云层表面击穿空气;闪电逐渐分解向下移动;向上引导线起始并从地面(或接地物体)传播;最终相遇形成闪电。
(1)空气击穿云边缘:可以将云的电荷分为三个部分:巨大的负电荷位于云的下部,巨大的正电荷位于云的上部,小的正电荷在云的下部。图3表示的云层中电荷的分布,可以很明显的看出云层中具有大量的正电荷,下部分主要是大量负电荷和少量的正电荷,随着正电荷的逐渐增加,形成电势差,就可能会发生电击穿现象,形成闪电;然后大量的电荷(大部分是负电荷)开始向地面移动,随着这些电荷量的增加,电荷中心之间的电势增加,并且在负电荷与巨大的正电荷部分或小的正电荷部分之间可能发生击穿。击穿之后,云边缘的电压梯度增加,形成闪电,巨大的电荷(主要是负电荷)向地面移动。正如实际闪电的高速照片所揭示的那样,闪电的起点可能会超过一个点。图4表示的是来自云的闪电的不同起点,可以看出云层中存在很多不同起点的闪电发射点。
(2)领导者向下移动到地面:当空气击穿发生在云层的边缘时,闪电以逐步运动的方式接近地面。每一步之后,雷电都会停止,然后移至一个或多个其他朝向地面的方向。为了理解此过程,假想在引导点的下方的尖端有一个半球,这个半球以引导点尖端为中心,以下一步闪电移动的距离为半径(见图5)。该半球表面上有许多潜在的点,可以将其选作下一个出发点。虽然下一跳点是随机选择的,但是,在连接引线尖端和相应点的线之间具有较高电场值的点很可能被视为下一个跳跃点。图5表示的是向下避雷针逐步移动的过程。
(3)闪电分支消失:如果闪电的下一跳有多个出发点,就会生成多个闪电分支,对所有新分支重复相同的过程,并形成更多的新分支。无论何时,当闪电分支的电荷变得低于临界值,就不再会出现电击穿现象,因此不会发生进一步的移动。因此,该分支将消失,如图6所示,高速相机的闪电照片中褪色的树闪电分枝。
(4)领导者向上传播:地面上方存在巨大的负电荷。这导致在云层以下的地面或接地物上聚集正电荷。在尖锐的地方,高电场会导致空气击穿。因此,向上的引导器从这些尖点开始,并通过空气传播,可以从图7所示:向上的引导者形成并通过向下的引导者传播。当向下的领导者接近地面时,这些向上的领导者会更快地朝向向下的领导者。向上领导的分支产生和消失的机制和向下领导的分支相同。
(5)确定连接点:每当向上的领导者到达向下的领导者时,就会发生最后的连接,当连接点确定后,连接点就是新的向上领导的一个出发点,这个时候其他的闪电分支就会随之消失。
2.3LAPO算法函数表示和迭代过程以及数学模型
现在介绍闪电连接过程算法的数学模型,模型的步骤主要由以下几个步骤组成:(1)所有闪电分支初始化;(2)确定云层中闪电分支的下一次起跳点;(3)闪电分支的消失过程;(4)向上领导的移动和向下领导的移动;(5)两者相遇,确定连接点.候选的跳跃点的公式(1)定义如下:
其中Xmin和Xmax是决策变量的上限和下限,rand是在[0,1]范围内均匀选择的随机变量,根据目标函数计算出测试点的电场,即函数的适应度值。
获取所有测试点的平均值,分别表示为公式(2)和公式(3)并计算这些点的适合度值,公式如下所示:
Xave=mean(Xtestpoint) (2)
Fave=obj(Xave) (3)
一个测试点有很多潜在的点,雷电可能会通过这些点。对于该方法的数学模拟,对于特定的测试点,所有其他测试点都被视为潜在的下一个跳跃点。由于雷电具有随机行为,因此对于测试点i,在总体中选择一个随机点j。如果点j的电场高于平均值的电场(点j的适应度优于平均值的电场),则雷电会跳到该点,否则,雷电会移动到另一个方向。此步骤如图8所示,首先引导线连接到电场高于平均电场的点,然后引导线连接到电场低于平均电场的点,最后逐渐消失的分支。
数学描述如下述公式(4)和公式(5)所示。
如果电位点j的电场高于平均电场(加入Levy飞行:
如果电位点j的电场低于平均电场:
云层闪电分支消失:如果新测试点的电场高于临界值(如果适应度函数优于上一个点),则分支保持不变;否则,分支维持不变或者它会消失。此功能的数学逻辑公式(6)如下所示:
对所有候选点均执行此循环过程。即在第一阶段中,所有其余点都被视为向下移动,形成一个回路。
领导者放电的向上运动:如前面的步骤所述,所有测试点都被视为向下引导线并向下移动。在此阶段,所有测试点都被视为向上引导者并向上移动。向上引导者的运动基于向下引导者的电荷,该电荷基本上沿通道呈指数分布。因此,指数因子公式(7)定义如下:
其中,t是迭代次数,tmax是最大迭代次数。向上引线的下一个跳跃,其中t是迭代次数,tmax是最大迭代次数。向上引导者的下一个跳跃与通道的电荷有关,通道的电荷是引导者尖端高度,云层高度和通道电荷的函数。因此,作为向上引导线的测试点的下一个轨迹的数学公式(8)如下所示:
Xtestpoint_new=Xtestpoint_new+rand*S*(Xmin-Xmax) (8)
其中Xmin、Xmax是总体中最佳和最差的解决方案,它们是指领导者尖端高度(最佳答案)和云的高度(最差答案)。
当向上的引导器和向下的引导器相遇并确定了打击点时,闪电过程将停止。在此,只要满足收敛标准(例如,完成最大迭代),优化算法即告完成。
为了提高所提方法的性能,在每次迭代中,计算整个总体的平均值,并获得平均解的适合度。如果最差解决方案的适用性比平均解决方案差,则将其替换为平均解决方案。
2.4 Levy飞行理论
自然界中有很多动物都回去觅食,但是处于很多不确定的环境中,因此Levy飞行就是模拟的动物的一种觅食策略,这种形式的搜索策略是依托短距离的探索性蹦蹦跳跳与偶尔的较长距离行走的两种方式相间行走,其中,短距离的蹦蹦跳跳可以保证动物在觅食的过程中能够对自身周围的小范围内进行仔细的搜索寻找,而另一种偶尔较长距离的跳跃可以保证动物能够跳出当前局势,进入另一个区域,在更广阔的范围内进行搜索,可以防止局部最优,提高梯度下降迭代的速度,防止找不到最优点,正是因为Levy飞行的这一飞行优点,可以很好的启发闪电连接过程优化算法的全局搜索能力,进一步提高迭代速率。对发明的实验结果和算法的性能都能得到很好的提升。
2.5 Levy飞行数学表示
Levy飞行位置更新的表达式(9)如下所示:
Levy~u=t-λ1<λ≤3 (10)
Levy飞行由于是一种随机步长,并且步长符合Levy的特征分布函数,因本身的分布函数十分复杂,所以目前采用的是Mantegna算法模拟,用于表达数学关系,其中步长s的计算式(11)为:
其中u和v为正态分布,定义式分别用(12)和(13)表示为:
其中σμ用公式(14)表示:
上述公式中的β通常取常数1.5。
可以从很多其他科研人员的文献记录中查询得到Levy飞行可以很好的提高在不确定的环境下对于参数的全局搜索效率,图9将展示基于Levy飞行的行走路径和随机行走的区别,可以很好的对比Levy飞行的特点,如下图所示,可以看到在Levy飞行和随机行走都是300步伐的时候,可以证明Levy飞行具有更广泛的搜索能力,因此很好的扩大了搜索寻优的范围,把这个策略结合到闪电连接过程优化算法里面,可以很好的弥补闪电连接过程优化算法的缺点,提升了原算法的活力和跳跃力,从而提高算法整体的寻优过程的迭代速率,减少了冗余的费时的过程。
3、结合Levy飞行的闪电连接过程优化算法
3.1算法设计思路
在经典的闪电连接过程的优化算法中,由于算法本身具有参数较少、结构简单、寻优能力较强的特点,但是当使用深度学习模型作为适应度函数时,计算复杂度较高,寻优的过程存在一定的冗余性。为了应对数据维度较高或者多模态的优化问题的时候会显现出能力差的缺点,提高其迭代速率,弥补存在的短板,为此提出的Levy-LAPO算法模型的整体设计如下。
首先,在原标准闪电连接过程优化算法过程中,LAPO算法通过初始化搜索种群,结合决策变量找到云层和地面的候选的连接点,通过雷电的发射点建立随机分布函数模型求解优化问题,在初始的迭代过程中,对所有测试点,计算目标函数并将其视为这些测试点的电场:定义一个测试点:
本发明采用Levy飞行改进的Levy-LAPO算法不是直接将种群迭代后的群体直接用Levy飞行进入下一代的迭代,而是直接继续使用Levy飞行在位置上进行更新和跳跃,使放电体直接得到进一步的跨区域的搜索和寻找。
后续实验中,对于进一步对放电体的迭代位置进行Levy飞行的方式有:(1)直接进行Levy飞行;(2)先通过设定一个阈值判断雷电观测点的迭代的位置是否很长一段时间都没有更新,是否已经陷入了一个局部最优区域,如果判断出长时间没有更新迭代空间,那么就对放电体的位置进行Levy飞行,通过跳跃跳出当前区域,进行下一个空间的搜索,否则不用进行Levy飞行,也就是说拥有选择的方式进行Levy飞行。后续通过实验进行两种方式的对比得出了虽然方案1得出的实验效果好于方案2,但是由于a全程加上了Levy飞行,导致时间复杂度和训练过程时间远远大于方案2,所以在实际的应用这种方案时,会存在极大的不利之处,因此后续的实验本发明采用的是方案2。
3.2 Levy-LAPO的算法步骤与流程图
Levy-LAPO算法首先定义一个雷电候选点群体,选出一个测试观测点Testpoint,然后把未迭代的潜在的测试点跳跃的次数标记为qi(i=1,2,...,n),表示雷电随机的测试点的位置还没有达到更优的位置的迭代的次数。可以定义一个阈值,让随机测试点的未向下放电迭代寻优的次数qi达到10次时候,则让ps通过Levy飞行位置更新公式进行Levy飞行跳出当前寻优空间,其中/>表示放电体迭代后通过Levy飞行后的位置更新,/>表示Levy飞行前的雷电测试点迭代的位置,/>为点对点的乘法;α表示步长的控制量;Levy(λ)为随机搜索路径。不过在寻优的结果当中是根据前后的适应度值进行取舍,再对比/>和的位置时。如果Levy飞行后的位置好于Levy飞行前的,那就选用/>的位置,反之采用Levy飞行前的最优位置。
Levy-LAPO算法步骤:
(a):初始化算法运行参数:种群规模N、最大迭代次数Maxiter、最大通道时间T和梯级先导尖端能量Esl;
(b):执行电荷分支下的聚集模型随机生成初始跳跃点种群,计算目标函数值评估测试点的位置Test point;
(c):进入主循环,更新电荷分支支路,确定最优、最差先导;
(d):如果满足最大通道时间T,那么淘汰适应值最差的通道并重置通道时间,否则进入下一步;
(e):更新雷电跳跃点位置和能量雷电发射点;
(f):Levy飞行,判断放电体的位置是否出现未能能量迭代超过十次,如果是的那么就用公式Levy飞行来更新当前引导雷电放射点的位置,Levy飞行后,根据步骤(d)、(e)、(f)来更新最优的个体p-best和全局最优的g-best。
(g):算法终止,若满足最终迭代结束条件,就让算法搜索停止,否则继续返回步骤e继续寻找最优闪电放射位置。
(h):性能评估,评估最佳适应值测试点Test point。
Levy-LAPO优化参数的流程图如图10所示。
4、标准函数测试
为了验证所提出的结合Levy飞行策略改进后的闪电连接过程优化算法的全局迭代速度确实有一定的增加,本节通过五个经典的基准测试函数对改进后的闪电搜索进化算法进行测试,这五个基准函数均为单峰值函数,如表1所示是所采用的五种单峰函数的基本属性和公式。因为本发明研究的预测实验只需要找到最小值即可。在这一轮的仿真函数实验中,所采用的实验环境是Win10操作系统、Intel CORE i7处理器2.66Hz、16G内存、使用Python编程语言编写实验环境。
表1所选取的五种单峰基准函数的基础属性和具体公式
实验中分别采用了经典闪电连接过程算法与本章提出的结合Levy飞行的闪电连接算法进行了对比。实验结果如表2所示。
表2五种单峰值函数仿真结果表
实验结果表明,两种算法在最优值、平均值、方差上寻优的结果类似,具体来说在F1、F2、F3、F4四个标准函数上Levy-LAPO都是较微弱优势,在F5标准函数两者结果接近。可以说在单峰函数最优化搜索能力上,Levy-LAPO的寻优性能与经典LAPO算法类似,两者的差距均在误差范围内,但是Levy-LAPO算法应该拥有较好的收敛速度。
为了进一步探索Levy-LAPO在收敛性能上的潜能,本章进行了基于sphere函数的经典LAPO与LAPO结合Levy飞行的寻优过程对照实验。对照实验的参数如下:种群规模为30,迭代次数分别取10次、20次、30次、40次。当实验运行到设定的迭代次数后分别记录当前的X分量值与y值。
由于Levy飞行在大步长跳跃时机上存在不稳定性,所以在实验设计时,拟在Levy-LAPO测试组中在进行大量运行试验,然后选取跳跃时机与跳跃步长类似的10组实验结果进行平均后输出结果。对照实验重复进行20次,结果标示在图11至图14上。
从图11可以看出,当迭代次数只有十次的时候,两种算法的整体变化规律没有太大差距,当迭代次数增加到二十代的时候,可以从图12看出逐渐在速度上有领先,LAPO算法有的点还未降到最优,而Levy-LAPO基本上都已经降到最低了,然后继续看图13,这时候就很明显了,因此通过这种迭代次数逐渐增多,可以看出改进后的算法在速度上是存在优势的,特别是当训练的深度和次数变多的时候,最后看图14,Levy-LAPO在最小值出的拟合基本上一致,而且整体的契合度和下降速率是明显快于LAPO原算法的,因此在适应度值的对比上,改进后的闪电连接算法是有很大的提升效果的。
通过实验发现,Levy飞行的跳跃在绝大部分时间都可以带来收敛性能的提升,从而更快的找到最优值,但是因为跳跃时机和步伐的随机性,也会有直接跳过最优值的情况发生。这种情况往往会在较高迭代次数后发生。针对这种情况,可以在迭代一定次数后,使用衰减策略适当减少Levy飞行的次数或步长等手段来改善。
跳跃过大出现负值的图解见图15。
5、结合Seq2Seq预测模型的仿真实验
在上一节中的实验中,验证了Levy-LAPO在标准函数上拥有较好的效果,本节将结合Seq2Seq预测模型,在真实数据集上进行了Levy-LAPO与经典LAPO的超参数寻优对比实验。
数据集包含17266个网元的168天的流量数据,数据格式如表3所示。预测目标是最后7天的流量数值。寻优算法的目标是batch size与epoch这两个参数。其中batch size的取值范围是100到3000,epoch的取值范围时10到100,簇群为10,最大迭代次数为10次。
表3数据格式示例
寻优算法的适应度函数采用SMAPE即对称平均绝对百分比误差进行衡量,数值越小越好,最后的实验结果如表4所示。
表4 LAPO结合与不结合Levy飞行的参数优化过程
从上面的实验可以看出,结合了Levy飞行的闪电连接过程算法在前几代的步长显著的领先经典LAPO算法,从SMAPE值上也反应出出了较好的收敛性能。在第六代的时候已经进入最优值附近,而经典LAPO算法则需要十代才能找到最优值,此时已经达到了设定的最大迭代次数。实验的收敛过程如图16所示。
从以上的实验可知,Levy-LAPO算法可以在一定程度上提高收敛性能,从而节省大量的计算资源和时间消耗。
6、闪电连接过程优化算法是近几年出现的新型智能优化算法,本身具有参数较少、结构简单、寻优能力较强等特点。但是当使用深度学习模型作为适应度函数时,计算复杂度较高,寻优的过程存在一定的冗余性。为了解决这个问题,本发明提出了结合Levy飞行与闪电连接过程优化算法,利用Levy飞行的大步长随机游走,提升了寻优的效率。
本发明分别在标准函数以及Seq2Seq模型上进行了搜索最优化参数的实验,实验表明,在寻找最优化参数方面与经典LAPO算法一样优秀,而在迭代数量上Levy-LAPO算法有一定的优势,从而提升了算法的收敛性能,节省了计算资源的消耗和时耗。该算法对在将进化计算参数寻优的能力部署在基于神经网络的深度学习模型上具有显著的意义。
本发明的创新在于:1)对于闪电连接过程优化算法(LAPO)的改进方式;2)首次将结合levy飞行的闪电连接过程优化算法(Levy-LAPO)引入网络流量控制领域。
本发明成本低、推广容易;减少了计算量,收敛速度快,节省了计算资源的消耗和时耗;无需人工领域知识介入,扩大了领域的应用面。
下面结合具体实验对本发明的技术方案作进一步描述。
1实验设备
实验设备如下:
CPU:Intel Core I7 2.6GHz六核;
GPU:Nvidia 1070ti;
内存:16GB 2400MHz;
操作系统为ubuntu 18.04LTS;
2实验方案设计
实验的目的是分析预测一个数据规模为316*7的数据包,316为节点数,7为每一周天数。图17展示的是预测方案整体设计流程。
3实验预测结果以及分析
实验通过随机选择316个网元节点,并预测第161至168天的网络流量,然后通过与Ground Truth值进行对比。整体的预测结果如图18所示。
为了更加清晰的进行比较,图19至图24展示了实验分别截取了前100个网元和后100个网元的第一天、第四天、第七天的数据。从实验结果中可以得出,第四天的拟合效果最好,分析认为工作日时数据比较稳定,受到突发流量变动的情况较少。而第一天的预测和第七天的预测存在一定的波动,可能跟节假日流量使用情况变化与网络运营商周末调整网络拓扑架构有关系。
为了更深层次的研究自然日期对流量预测精度的影响,又设计了对预测精度的实验。精度的计算采取两种标准:分别设定了真实值与预测值的误差区间(margin)为10%和20%两种情况,当误差落在设定区间内时表示预测准确,否则表示预测不准确。根据条件,整理如图25所示。第一天为周日,第七天为周六,第二至第五天为工作日。根据分析得出,工作日的预测比较平稳,而周末的流量存在波动大的情况,对流量预测任务构成挑战。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种改进闪电连接过程优化算法的网络流量预测方法,其特征在于,所述改进闪电连接过程优化算法的网络流量预测方法包括以下步骤:
步骤一,利用pandas工具将网络流量数据导入模型,进行数据清洗与数据增强,并将数据分成训练集、验证集、测试集,并确定神经网络中输入层、输出层和隐藏层单元个数;
步骤二,通过结合Levy飞行与闪电连接过程优化LAPO算法的搜索策略Levy-LAPO实现搜索神经网络的最优超参数;
步骤三,根据搜索后的最优化参数,作为神经网络的初始参数进行训练;
步骤四,采用训练完成的神经网络进行网络流量预测。
3.如权利要求2所述的改进闪电连接过程优化算法的网络流量预测方法,其特征在于,数学模拟中,对于特定的测试点,所有其他测试点都被视为潜在的下一个跳跃点;对于测试点i,在总体中选择一个随机点j;如果点j的电场高于平均值的电场,点j的适应度优于平均值的电场,则雷电会跳到该点;否则,雷电会移动到另一个方向;首先引导线连接到电场高于平均电场的点,然后引导线连接到电场低于平均电场的点,最后逐渐消失的分支;
如果电位点j的电场高于平均电场加入Levy飞行:
如果电位点j的电场低于平均电场:
云层闪电分支消失,如果新测试点的电场高于临界值,即如果适应度函数优于上一个点,则分支保持不变;否则,分支维持不变或者它会消失;此功能的数学逻辑公式如下所示:
对所有候选点均执行此循环过程,即在第一阶段中,所有其余点都被视为向下移动,形成一个回路;
领导者放电的向上运动,所有测试点都被视为向下引导线并向下移动;在此阶段,所有测试点都被视为向上引导者并向上移动;向上引导者的运动基于向下引导者的电荷,该电荷基本上沿通道呈指数分布,指数因子公式定义如下:
其中,t是迭代次数,是最大迭代次数;向上引线的下一个跳跃,其中t是迭代次数,是最大迭代次数;向上引导者的下一个跳跃与通道的电荷有关,通道的电荷是引导者尖端高度,云层高度和通道电荷的函数;作为向上引导线的测试点的下一个轨迹的数学公式如下所示:
当向上的引导器和向下的引导器相遇并确定打击点时,闪电过程将停止;只要满足收敛标准,优化算法即告完成;在每次迭代中,计算整个总体的平均值,并获得平均解的适合度;如果最差解决方案的适用性比平均解决方案差,则将其替换为平均解决方案。
5.如权利要求1所述的改进闪电连接过程优化算法的网络流量预测方法,其特征在于,步骤三中,所述结合Levy飞行的闪电连接过程优化算法设计思路,包括:
首先在原标准闪电连接过程优化算法过程中,LAPO算法通过初始化搜索种群,结合决策变量找到云层和地面的候选的连接点,通过雷电的发射点建立随机分布函数模型求解优化问题,在初始的迭代过程中,对所有测试点,计算目标函数并将其视为这些测试点的电场;
定义一个测试点:
采用Levy飞行改进的Levy-LAPO算法不是直接将种群迭代后的群体直接用Levy飞行进入下一代的迭代,而是直接继续使用Levy飞行在位置上进行更新和跳跃,使放电体直接得到进一步的跨区域的搜索和寻找;
对于进一步对放电体的迭代位置进行Levy飞行的方式为:先通过设定一个阈值判断雷电观测点的迭代的位置是否很长一段时间都没有更新,是否已经陷入了一个局部最优区域,如果判断出长时间没有更新迭代空间,那么就对放电体的位置进行Levy飞行,通过跳跃跳出当前区域,进行下一个空间的搜索,否则不用进行Levy飞行,也就是说拥有选择的方式进行Levy飞行。
6.如权利要求1所述的改进闪电连接过程优化算法的网络流量预测方法,其特征在于,步骤三中,所述结合Levy飞行的闪电连接过程优化算法,包括:
Levy-LAPO算法首先定义一个雷电候选点群体,选出一个测试观测点Test point,然后把未迭代的潜在的测试点跳跃的次数标记为,表示雷电随机的测试点的位置还没有达到更优的位置的迭代的次数;定义一个阈值,让随机测试点/>的未向下放电迭代寻优的次数/>达到10次时候,则让/>通过Levy飞行位置更新公式进行Levy飞行跳出当前寻优空间,其中/>表示放电体迭代后通过Levy飞行后的位置更新,/>表示Levy飞行前的雷电测试点迭代的位置,/>为点对点的乘法;/>表示步长的控制量;/>为随机搜索路径;不过在寻优的结果当中是根据前后的适应度值进行取舍,再对比/>和的位置时;如果Levy飞行后的位置好于Levy飞行前的,则选用/>的位置,反之采用Levy飞行前的最优位置。
7.如权利要求6所述的改进闪电连接过程优化算法的网络流量预测方法,其特征在于,所述Levy-LAPO算法步骤如下:
(2)执行电荷分支下的聚集模型随机生成初始跳跃点种群,计算目标函数值评估测试点的位置Test point;
(3)进入主循环,更新电荷分支支路,确定最优、最差先导;
(4)如果满足最大通道时间T,那么淘汰适应值最差的通道并重置通道时间,否则进入下一步;
(5)更新雷电跳跃点位置和能量雷电发射点;
(6)Levy飞行,判断放电体的位置是否出现未能能量迭代超过十次,如果是的那么就用公式,Levy飞行来更新当前引导雷电放射点的位置,Levy飞行后,根据步骤(4)、(5)、(6)来更新最优的个体p-best和全局最优的g-best;
(7)算法终止,若满足最终迭代结束条件,就让算法搜索停止,否则继续返回步骤e继续寻找最优闪电放射位置;
(8)性能评估,评估最佳适应值测试点Test point。
8.一种应用如权利要求1~7任意一项所述的改进闪电连接过程优化算法的网络流量预测方法的改进闪电连接过程优化算法的网络流量预测系统,其特征在于,所述改进闪电连接过程优化算法的网络流量预测系统包括:
LAPO算法确定模块,用于确定LAPO算法函数表示和迭代过程及数学模型;
Levy飞行确定模块,用于确定Levy飞行理论以及Levy飞行数学表示;
优化算法构建模块,用于结合Levy飞行的闪电连接过程优化算法的构建;
网络流量预测模块,用于通过结合Levy飞行与闪电连接过程优化算法的搜索策略Levy-LAPO实现搜索网络流量预测原型系统的自动参数最优化。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
确定LAPO算法函数表示和迭代过程以及数学模型;确定Levy飞行理论以及Levy飞行数学表示;结合Levy飞行的闪电连接过程优化算法的构建;通过结合Levy飞行与闪电连接过程优化算法的搜索策略Levy-LAPO实现搜索网络流量预测原型系统的自动参数最优化。
10.一种信息数据处理终端,其特征在于,所述信息数据处理终端用于实现如权利要求8所述的改进闪电连接过程优化算法的网络流量预测系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110881720.3A CN113595798B (zh) | 2021-08-02 | 2021-08-02 | 改进闪电连接过程优化算法的网络流量预测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110881720.3A CN113595798B (zh) | 2021-08-02 | 2021-08-02 | 改进闪电连接过程优化算法的网络流量预测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113595798A CN113595798A (zh) | 2021-11-02 |
CN113595798B true CN113595798B (zh) | 2023-06-30 |
Family
ID=78253890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110881720.3A Active CN113595798B (zh) | 2021-08-02 | 2021-08-02 | 改进闪电连接过程优化算法的网络流量预测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113595798B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115965288B (zh) * | 2022-12-29 | 2023-11-03 | 国网湖北省电力有限公司经济技术研究院 | 基于IWO优化BiLSTM的有源配电网频率安全评估方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018076571A1 (zh) * | 2016-10-28 | 2018-05-03 | 南京华苏科技有限公司 | Lte网络中的异常值检测方法及系统 |
CN109617888A (zh) * | 2018-12-24 | 2019-04-12 | 湖北大学 | 一种基于神经网络的异常流量检测方法及系统 |
US10521718B1 (en) * | 2015-09-28 | 2019-12-31 | Google Llc | Adversarial training of neural networks |
CN111931899A (zh) * | 2020-07-31 | 2020-11-13 | 武汉烽火技术服务有限公司 | 改进布谷鸟搜索算法优化极限学习机的网络流量预测方法 |
CN112118143A (zh) * | 2020-11-18 | 2020-12-22 | 迈普通信技术股份有限公司 | 流量预测模型、训练方法、预测方法、装置、设备及介质 |
CN112910690A (zh) * | 2021-01-18 | 2021-06-04 | 武汉烽火技术服务有限公司 | 基于神经网络模型的网络流量预测方法、装置及设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10999247B2 (en) * | 2017-10-24 | 2021-05-04 | Nec Corporation | Density estimation network for unsupervised anomaly detection |
-
2021
- 2021-08-02 CN CN202110881720.3A patent/CN113595798B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10521718B1 (en) * | 2015-09-28 | 2019-12-31 | Google Llc | Adversarial training of neural networks |
WO2018076571A1 (zh) * | 2016-10-28 | 2018-05-03 | 南京华苏科技有限公司 | Lte网络中的异常值检测方法及系统 |
CN109617888A (zh) * | 2018-12-24 | 2019-04-12 | 湖北大学 | 一种基于神经网络的异常流量检测方法及系统 |
CN111931899A (zh) * | 2020-07-31 | 2020-11-13 | 武汉烽火技术服务有限公司 | 改进布谷鸟搜索算法优化极限学习机的网络流量预测方法 |
CN112118143A (zh) * | 2020-11-18 | 2020-12-22 | 迈普通信技术股份有限公司 | 流量预测模型、训练方法、预测方法、装置、设备及介质 |
CN112910690A (zh) * | 2021-01-18 | 2021-06-04 | 武汉烽火技术服务有限公司 | 基于神经网络模型的网络流量预测方法、装置及设备 |
Non-Patent Citations (3)
Title |
---|
Jamie L. Safar ; Chad A. Bollmann ; Murali Tummala ; John C. McEachen.A Novel Lévy-Impulse Mixture Based Connection Model for Computer Network Traffic.International Conference on Signal Processing and Communication Systems(ICSPCS).全文. * |
基于时间相关的网络流量建模与预测研究;高波;中国博士学位论文全文数据库;全文 * |
邱叶 ; 邵雄凯 ; 高榕 ; 王春枝 ; 李晶.基于注意力门控神经网络的社会化推荐算法.计算机工程与应用.全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN113595798A (zh) | 2021-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102593690B1 (ko) | 샘플링 서버로부터 샘플링하기 위한 시스템들, 방법들 및 장치 | |
CN108985515B (zh) | 一种基于独立循环神经网络的新能源出力预测方法及系统 | |
Wang et al. | Neural architecture search using deep neural networks and monte carlo tree search | |
CN110969290A (zh) | 一种基于深度学习的径流概率预测方法及系统 | |
CN104636801A (zh) | 一种基于优化bp神经网络的预测输电线路可听噪声方法 | |
CN112784362A (zh) | 一种用于无人机辅助边缘计算的混合优化方法及系统 | |
CN111401755A (zh) | 基于马尔科夫链的多新能源出力场景生成方法、装置及系统 | |
CN113595798B (zh) | 改进闪电连接过程优化算法的网络流量预测方法及系统 | |
CN112560985A (zh) | 神经网络的搜索方法、装置及电子设备 | |
CN109754122A (zh) | 一种基于随机森林特征提取的bp神经网络的数值预测方法 | |
CN115915364A (zh) | 通信基站的节能方法、装置、计算机可读介质及设备 | |
Hu et al. | Self-attention-based machine theory of mind for electric vehicle charging demand forecast | |
Ahmed et al. | Harmony search algorithm for optimal word size in symbolic time series representation | |
CN117094535B (zh) | 基于人工智能的能源补给管理方法及系统 | |
CN117439053A (zh) | 一种Stacking集成模型电量预测方法、装置、存储介质 | |
CN111046562A (zh) | 基于蜂群算法的多目标引导人员疏散仿真方法及仿真系统 | |
CN116824851A (zh) | 一种基于路径的城市快速路走廊交通拥堵溯源方法 | |
CN116307325A (zh) | 一种配电网的线路规划方法、装置、电子设备及存储介质 | |
CN115796017A (zh) | 一种基于模糊理论的可解释交通认知方法 | |
CN115081609A (zh) | 一种智能决策中的加速方法、终端设备及存储介质 | |
Ahmed et al. | Evolutionary computation for static traffic light cycle optimisation | |
Cao et al. | Research On Regional Traffic Flow Prediction Based On MGCN-WOALSTM | |
CN113326885A (zh) | 训练分类模型和数据分类的方法及装置 | |
CN115269844B (zh) | 模型的处理方法、装置、电子设备和存储介质 | |
Cai et al. | Calculation Method of Available Transfer Capacity Based on Graph Convolutional Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |