CN110348642A

CN110348642A - 一种用于流量预测的支持向量机的优化方法

Info

Publication number: CN110348642A
Application number: CN201910646238.4A
Authority: CN
Inventors: 王电钢; 黄林; 彭小强; 陈龙; 毛启均; 杨洁; 张庆
Original assignee: State Grid Sichuan Electric Power Co Ltd
Current assignee: State Grid Sichuan Electric Power Co Ltd; Information and Telecommunication Branch of State Grid Sichuan Electric Power Co Ltd
Priority date: 2019-07-12
Filing date: 2019-07-17
Publication date: 2019-10-18

Abstract

本发明涉及计算机通信和优化技术领域的一种用于流量预测的支持向量机的优化方法。步骤包括：1，建立用于网络流量预测的最小二乘支持向量机模型；2，根据最小二乘支持向量机模型，建立用于蝗虫优化算法的参数优化目标函数，并确定需要优化的参数组合；3，采用蝗虫优化算法对待优化参数进行参数优化，参数优化过程中采用所述参数优化目标函数计算蝗群个体的适应度；4，将优化后的参数组合代入所述最小二乘支持向量机模型，进行网络流量预测。本发明提出一种针对支持向量机的改进的蝗虫优化算法，对网络流量预测中使用的支持向量机的参数进行优化，使向量机能够对通信网络流量进行正常或以更高的效率进行预测。

Description

一种用于流量预测的支持向量机的优化方法

技术领域

本发明涉及计算机通信和优化技术领域，特别涉及一种用于流量预测的支持向量机的优化方法。

背景技术

网络流量预测是一个复杂的问题，很多学者进行了广泛研究和探索，提出了很多方法，主要包括线性预测方法和非线性预测方法。支持向量机是一种得到广泛应用的非线性预测方法，尤其最小二乘支持向量机(Least Squared Support Vector Machine,LSSVM)克服了神经网络的需大样本、过度拟合和“维数灾难”等缺点，具有很强的泛化预测能力，因此被广泛地应用于多种时序数据的预测领域。

支持向量机在运用中除权重系数外，其性能受到多个参数的影响，包括惩罚因子、核函数的参数、损失影响因子等，选择不当容易使向量机在训练中陷入局部极值，造成最后在实际预测中的误差，或者适用范围减小。因此支持向量机在应用中一个关键问题是对其模型中参数的选择和优化。已有的研究一般通过遍历的方法进行参数的择优选择，存在收敛速度慢、可优化的参数有限制、易陷入局部极值等缺点。蝗虫优化算法(GrasshopperOptimization Algorithm，GOA)是受蝗虫繁衍、聚集、觅食和迁移等行为启发而提出的仿生优化算法，于2017年被Shahrzad Saremi,Seyedali Mirjalili等人提出(参见“Grasshopper Optimization:Theory and Application”,ELSEVIER,Advances inEngineering Software[J],Vol 105,march 2017,pages 30-47)目前被应用于多种数学模型中的参数优化、特征选择等领域。已有多个有关支持向量机的研究文献采用了GOA算法进行参数优化，如论文“基于GOA-SVM的短期负荷预测”(宫毓斌，滕欢著，《电测与仪表》，2019年4月26日网络首发)中提出的针对电力负荷预测的支持向量机参数的GOA优化、论文“混合蝗虫优化算法求解作业车间调度问题”(闫旭，叶春明，《计算机工程与应用》2019,55(6)，257-264页)中提出的针对作业调度的支持向量机的GOA优化。不过在这些研究中，所针对的时序数据的突发性均不如网络流量，因此可以使用较长的训练数据以及较长的训练收敛时间，可以使用经典的GOA优化算法。但这些方法并不适合网络流量预测。网络流量呈现很大的突发性，信息流的流量受到多种突发因素的影响，呈现突发之间间隔短、突发强度大等特点，较长的优化时间不适合这种场合。

发明内容

本发明的目的在于克服现有技术中所存在的上述不足，提供一种用于流量预测的支持向量机的优化方法。

为了实现上述发明目的，本发明提供了以下技术方案：

一种用于流量预测的支持向量机的优化方法，步骤包括：

S1，建立用于网络流量预测的最小二乘支持向量机模型；

S2，根据最小二乘支持向量机模型，建立用于蝗虫优化算法的参数优化目标函数，并确定需要优化的参数，需要优化的参数构成待优化参数组合；

S3，采用蝗虫优化算法对待优化参数组合进行参数优化，参数优化过程中采用参数优化目标函数计算蝗群个体的适应度；

S4，将优化后的参数组合代入最小二乘支持向量机模型，进行网络流量预测。

S3的步骤包括：

S11、将GOA优化算法的参数初始化，其中，将待优化参数组合作为GOA优化算法中的蝗虫；

S12、生成蝗群位置；

S13、根据参数优化目标函数计算蝗群个体的适应度，并找出当前最优解的位置作为目标位置；

S14、采用位置更新公式更新搜索个体位置，更新搜索个体位置过程中，使用特定的控制参数；

S15、判断是否达到最大迭代次数，若达到，则输出用于流量预测的LSSVM最优参数组合，若未达到，返回步骤S13。

用于网络流量预测的最小二乘支持向量机模型的公式为：

其中，K(x,x_i)＝exp{-||x-x_i||²/2σ²}为核函数，σ是核函数的参数，a_i表示Lagrange乘子，b为LSSVM的偏差，x_i∈Rⁿ是输入向量，m为流量训练样本个数，

参数优化目标函数为：

其中，P为最小二乘支持向量机模型中的惩罚因子，σ为最小二乘支持向量机模型中的核函数参数，ε是不敏感损失因子，y_i为流量训练样本中的输出向量，为由训练好的支持向量机预测得到的流量估计值，n是流量训练样本的数量。

位置更新公式为：

X_i＝S_i+G_i+A_i

其中，X_i表示蝗虫群体中第i个蝗虫的位置；S_i表示第i个蝗虫受到的与其他蝗虫的交互力的影响；G_i表示第i个蝗虫受到的重力影响；A_i表示第i个蝗虫受到的风力影响。

更新个体的位置使用的特定的控制参数的计算公式为：

其中，c是控制参数，和是蝗虫优化算法迭代过程的第t步和第t-1步中蝗虫数据单元的局部最优数值，Th是经验门限值，Tmax是最大迭代步长，t是当前迭代步长，c_max和c_min分别是控制参数c的最大值和最小值。

一种用于流量预测的支持向量机优化方法的系统，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项的方法。

与现有技术相比，本发明的有益效果：

提出一种针对支持向量机的改进的蝗虫优化算法，对网络流量预测中使用的支持向量机的参数进行优化，使向量机能够对通信网络流量进行正常或以更高的效率进行预测。

附图说明

图1为一种用于流量预测的支持向量机的优化方法的流程图；

图2为本发明实施例1中的GOA优化算法流程图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例1

本发明针对的通信网短期流量预测，其一般步骤是首先选定所使用的支持向量机，然后确定其模型和需要优化的参数，再利用蝗虫优化算法进行优化。在进行参数优化的步骤中，选择使用本发明提出优化控制参数，流程图如图1所示。其具体步骤为：

步骤1：设有m个流量训练样本{x_i,y_i}^m，x_i∈Rⁿ和y_i∈R分别是输入向量和输出向量，选定最小二乘支持向量机(Least Squares Support Vector Machine，LSSVM)作为预测器，其数学模型为：

其中，ω为权重；P为LSSVM的惩罚参数；ξ_i为LSSVM的松弛变量；为空间映射函数；b为LSSVM的偏差，ε为不敏感损失因子。为便于计算，对LSSVM利用拉格朗日函数进行松弛，转化为无约束优化问题，得到的LSSVM的拉格朗日函数如公式(2)所示：

其中，a_i表示Lagrange乘子。对公式(2)求偏导得到公式(3)：

消去ω和ξ_i，可得公式(4)：

其中，Q＝(1，...,1)^T，A＝(a₁,a₂,...,a_m)^T，Y＝(y₁,y₂,...,y_m)^T，通过求解公式(4)，LSSVM模型的估计公式如公式(5)所示：

其中：K(x,x_i)＝exp{-||x-x_i||²/2σ²}为核函数，σ是核函数的参数。

步骤2：建立对最小二乘支持向量机进行GOA优化的目标函数和待优化参数：

针对步骤1中支持向量机的GOA优化的目标函数可表示为公式(6)：

上述最小二乘支持向量机模型中的优化参数是支持向量机中的惩罚因子P，核函数参数σ，不敏感损失因子ε。此外上述模型中的y_i为步骤1中训练集中的流量变量，为由训练好的支持向量机预测得到的流量估计值。

步骤3：确定GOA优化算法的过程和其中的方法。

将支持向量机的待优化的参数组合[P,σ,ε]作为GOA优化算法中的蝗虫，蝗虫个体位置的更新由种群交互力、重力和风力影响综合决定，在本方法中，我们采用如下的位置更新公式：

X_i＝S_i+G_i+A_i (7)

其中，X_i表示蝗虫群体中第i个蝗虫的位置；S_i表示第i个蝗虫受到的与其他蝗虫的交互力的影响；G_i表示第i个蝗虫受到的重力影响；A_i表示第i个蝗虫受到的风力影响。上述公式相对于经典GOA算法进行了改进，其中使用随机数r₁，r₂，r₃作为各影响力的系数，使更新可以考虑环境因素的随机影响，其中，r₁，r₂，r₃为处于[0，1]之间的随机数。交互力影响S_i可表示为：

其中，d_ij＝|x_j-x_i|表示第i个蝗虫和第j个蝗虫的距离；表示第i个蝗虫和第j个蝗虫的单位向量；s函数定义蝗虫受到的与其他蝗虫的交互力的影响函数，s函数如公式(9)所示。

式中，f表示吸引强度；l表示吸引尺度；r表示舒适距离。

此外，其中g、u分别表示重力常数和飘移常数，和分别表示指向地心的单位向量和与风向相同的单位向量，因此公式(7)可表示为：

为实现优化问题的求解，使用如下数学模型：

公式(11)忽略重力因素的影响，同时假定风向总是指向目标位置。ub_d、lb_d分别表示第i个蝗虫第d维变量的上下边界；表示蝗虫群体的当前局部最优位置，在迭代过程的第t步和第t-1步中可以分别表示为和优化控制参数c是一个递减的系数，此处为加快优化的速度，采用如下的公式：

式中，c_max＝1、c_min＝0.00001；t、T_max分别表示当前迭代次数和最大迭代次数，Th为一个由经验确定的门限值，其中和是蝗虫更新算法迭代过程的第t步和第t-1步中蝗虫数据单元的局部最优数值，Th是经验门限值，T_max是最大迭代步长，t是当前迭代步长，c_max和c_min分别是控制参数c的最大值和最小值。

GOA优化算法流程如图2所示，步骤包括：

步骤S11、将待优化参数组合[C,σ,ε]作为GOA优化算法中的蝗虫；

步骤S12：GOA算法参数初始化：蝗群的种群规模N、最大迭代次数T、变量维数dim＝3以及优化变量的取值范围[LB UB]，P、σ及ε的取值范围分别为区间(0,1)之间的随机数；

步骤S13：随机初始化生成蝗群位置；

步骤S14：根据目标函数(6)计算蝗群个体的适应度，同时找出当前最优解的位置将其作为目标位置；

步骤S15：根据公式(7)更新搜索个体位置，其中，优化控制参数c的取值根据公式(12)求得；

步骤S16：判断算法是否达到终止条件。判断算法是否达到最大迭代次数T，若满足，则输出LSSVM最优参数进行预测；反之，返回步骤S14。

一种用于流量预测的支持向量机优化方法的系统，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法。

Claims

1.一种用于流量预测的支持向量机的优化方法，其特征在于，步骤包括：

S1，建立用于网络流量预测的最小二乘支持向量机模型；

S2，根据所述最小二乘支持向量机模型，建立用于蝗虫优化算法的参数优化目标函数，并确定需要优化的参数，所述需要优化的参数构成待优化参数组合；

S3，采用蝗虫优化算法对所述待优化参数组合进行参数优化，参数优化过程中采用所述参数优化目标函数计算蝗群个体的适应度；

S4，将优化后的参数组合代入所述最小二乘支持向量机模型，进行网络流量预测。

2.如权利要求1所述的一种用于流量预测的支持向量机的优化方法，其特征在于，S3的步骤包括：

S11、将所述GOA优化算法的参数初始化，其中，将所述待优化参数组合作为GOA优化算法中的蝗虫；

S12、生成蝗群位置；

S14、采用位置更新公式更新搜索个体位置，所述更新搜索个体位置过程中，使用特定的控制参数；

3.如权利要求1或2所述的一种用于流量预测的支持向量机的优化方法，其特征在于，所述用于网络流量预测的最小二乘支持向量机模型的公式为：

其中，K(x,x_i)＝exp{-||x-x_i||²/2σ²}为核函数，σ是核函数的参数，a_i表示Lagrange乘子，b为LSSVM的偏差，x_i∈Rⁿ是输入向量，m为流量训练样本个数。

4.如权利要求3所述的一种用于流量预测的支持向量机的优化方法，其特征在于，所述参数优化目标函数为：

s.t.P∈[P_min,P_max]

σ∈[σ_min,σ_max]

ε∈[ε_min,ε_max]

其中，P为所述最小二乘支持向量机模型中的惩罚因子，σ为所述最小二乘支持向量机模型中的核函数参数，ε是不敏感损失因子，y_i为流量训练样本中的输出向量，为由训练好的支持向量机预测得到的流量估计值，n是流量训练样本的数量。

5.如权利要求2所述的一种用于流量预测的支持向量机的优化方法，其特征在于，所述位置更新公式为：

X_i＝S_i+G_i+A_i

6.如权利要求5所述的一种用于流量预测的支持向量机的优化方法，其特征在于，更新个体的位置使用的特定的控制参数的计算公式为：

其中，c是控制参数，和是蝗虫优化算法迭代过程的第t步和第t-1步中蝗虫数据单元的局部最优数值，Th是经验门限值，T_max是最大迭代步长，t是当前迭代步长，c_max和c_min分别是控制参数c的最大值和最小值。

7.一种用于流量预测的支持向量机优化方法的系统，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6中任一项所述的方法。