CN103020434A - 一种基于粒子群优化的最小二乘支持向量机组合预测方法 - Google Patents

Abstract

本发明提出了一种基于粒子群优化的最小二乘支持向量机组合预测方法，根据要预测的数据特征选择合适的单项预测模型，将不同的预测方法进行适当的组合，充分利用各单项预测模型所包含的有用信息，建立最小二乘支持向量机LSSVM回归模型，利用粒子群优化算法PSO优化影响LSSVM回归模型精度的2个核心参数包括核函数参数g以及LSSVM中正则化参数C，得到最佳的LSSVM回归模型；从而达到提高预测精度、降低预测风险的目的，极大提高了算法的收敛速度，更加符合实际工程需要。

Description

一种基于粒子群优化的最小二乘支持向量机组合预测方法

技术领域

本发明属于信息处理技术领域，特别是一种基于粒子群优化的最小二乘支持向量机组合预测方法。 

背景技术

预测科学随着社会经济的不断向前发展而产生。预测专家通过历史的统计资料和当前掌握的实际信息，运用某些方法、模型和程序，分析研究预测对象和相关因素之间的相互关系，从而深层次地揭示出预测对象的变化规律，并推测出预测对象未来的发展方向以及结果。在此基础上，预测活动属于探索未来的活动，其充分体现了人类对未来世界的探知与掌控。现有的预测模型主要有时间序列预测模型、灰色预测模型、BP神经网络预测模型等,一般来说,采用预测模型不同,预测的结果也不同。 

然而，利用单个预测模型进行预测存在一些缺陷，如信息源的不广泛性、对模型设定形式敏感等，这使得单一模型的预测效果往往不能令人满意。有必要考虑对待预测数据进行组合预测。组合预测方法的系统研究始于20世纪60年代末期。此后，组合预测理论与应用成为预测领域的重要且受关注的问题，目前国内外学者提出的各种不同的组合预测方法中，实际应用和理论研究最多的是以某种绝对误差最小作为最优准则来计算组合预测方法的权系数向量。唐小我发表于“电子科技大学学报1992，21(4)：448~454”中的“组合预测误差信息矩阵研究”，建立了以误差平方和达到最小的最优组合预测模型，利用组合预测绝对误差信息矩阵的性质判断简单平均方法是非劣性组合预测、优性组合预测的条件；马永开，唐小我，杨桂元发表于“运筹与管理，1997，6(2)：1~8”中的“非负权重最优组合预测方法的基本理论研究”，进一步研究了非负约束的误差平方和的最优组合预测模型；陈华友，侯定丕发表于“中国科学技术大学学报,2002,32(2)：172~180”的“基于预测有效度的优性组合预测模型的研究”，提出了基于预测有效度的组合预测模型，给出其线性规划的解法，同时研究了基于预测有效度的组合预测模型的性质；王应明发表于“预测,2002,21(2)∶58~62”中 的“基于相关性的组合预测方法研究”，提出了基于相关性指标的最优组合预测模型。上述的组合预测模型大多是以某一种最优化标准来寻找一个固定的权重，由于组合预测的权重应该是随着预测步数而变化的，即应该是变权重。支持向量机（SVM）处理小样本数据具有其他模型无法比拟的优势，且SVM回归方法具有良好的拟合和外推能力。因此，本发明考虑同时采用多种不同的预测模型对预测数据进行预测，然后将各种预测结果进行综合，经过SVM二次预测，得到比单个预测模型更全面的组合预测模型，以提高预测模型的精度和有效性。并且本发明采用的最小二乘支持向量机（LSSVM），将标准支持向量机中的不等式约束改成等式约束，并把经验风险由误差的一范数改为二范数，这样，求解二次优化的问题就转化成了求解一次线性方程组问题，极大提高了算法的收敛速度。 

发明内容

本发明针对上述问题，本发明提出了一种基于粒子群优化的最小二乘支持向量机组合预测方法。 

为达成上述目的，本发明的技术方案是： 

一种基于粒子群优化的最小二乘支持向量机组合预测方法，所述方法包括如下步骤： 

步骤A，根据数据特征选择合适的单项模型，步骤为： 

步骤A-1，确定训练集和测试集，对于预测数据给定时间序列的实际测试值，将它们分为训练集T_r和测试集T_e，y_Tri和n_Tr分别代表训练集T_r的实际值和样本量；y_Tei和n_Te分别代表测试集的实际值和样本量； 

步骤A-2，数据预处理，采用级差标准化对训练集T_r和测试集T_e的实测数据进行标准化处理，标准化后的数值在[0,1]范围内； 

步骤A-3，训练集T_r建模，利用训练集T_r中的y_Tri作为样本完成单一模型建模，得到AR模型、GM（1,1）模型和BP神经网络模型的参数；对于AR模型的阶数，利用AIC准则与FPE准则，不同的模型阶数p，计算出不同的AIC值与FPE值，取平均值，最小值时的p就是适用模型的阶数，相应的模型即为最佳适用模型；并将该AR模型的阶数值作为BP神经网络模型的嵌入维数，BP神经网络模型的隐层神经元数目由经验公式给出∶n_H＝(n_I+n_O)^1/2+l，其中n_H为隐含层神经元 数目，n_I为输入层神经元数目，n_O为输出层神经元数目，l取值为1到10的整数； 

步骤B，通过单项预测方法得到初步预测结论作为最小二乘支持向量机LSSVM组合预测样本，根据支持向量机回归原理，建立LSSVM回归模型；分别对AR模型、GM（1,1）模型和BP神经网络模型输入对应的参数，得到训练集中数据y_Tri的拟合值

形成训练样本，利用得到的训练样本，训练生成LSSVM模型： 

$f\left(x\right)=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_{i}K(x,x_i)+b$

其中，高斯径向基核函数K(_xi,x_j)＝exp(-g||x_i-x_j||²)；α_i为Lagrange因子，α_i∈R；b为常值偏差； 

步骤C，利用粒子群优化算法PSO优化影响LSSVM回归模型精度的2个核心参数包括核函数参数g以及LSSVM中正则化参数C，得到最佳的LSSVM回归模型；将g和C分别作为粒子的x轴坐标和y轴坐标，群体规模设为M，最大迭代次数为h_max，C∈[1,10000]，g∈[0,1]并按以下步骤： 

步骤C-1，初始化粒子群，随机设置粒子的初始位置x和速度v； 

步骤C-2，计算每个粒子的适应度值fitness，在每个粒子位置，运用训练样本数据训练得到LSSVM回归模型，并用训练好的模型计算得到测试样本的预测值，并将测试样本的真实值与预测值的平均绝对误差作为粒子的适应度值； 

步骤C-3，对所有的i∈{1,2,…,M}， 

如果fitness_i>Pbes_ti，则令Pbest_i＝fitness_i，

如果fitness_i>gbest，则重新设置gbest的索引号a； 

其中，Pbest_i为第i个粒子曾经达到的最大适应度值，

为粒子曾经到达的最大适应度值时对应的位置，gbest为在群体所有粒子经历过的最好位置； 

步骤C-4，每一个粒子的位置x_i和速度v_i分别为： 

$v_i={\mathrm{wv}}_i+c_1{r}_1(x_i^{\mathrm{Pbest}}-x_i)+c_2{r}_2(x_i^{\mathrm{gbest}}-x_i)$

x_i＝x_i+v_i

其中，r₁,r₂为[0,1]之间的随机数，c₁,c₂为加速度系数，一般为c₁+c₂≥4，w为惯性权值； 

步骤C-5，检查停止条件，如果达到最大迭代次数h_max则停止迭代；否则，返回步骤C-2； 

步骤C-6，根据得到的最优参数g和C，建立LSSVM回归模型； 

步骤D，利用已建立的单项模型分别进行外推预测，得到待预测数据的预测值

输入到LSSVM模型中，得到数据在预测时间点的预测值求出各模型的外推误差E_Te、拟合误差E_Tr和外推误差之和E_s： 

$E_{\mathrm{Tr}}=\frac{1}{n_{\mathrm{Tr}}}\underset{i=1}{\overset{n_{\mathrm{Tr}}}{\mathrm{\Σ}}}\frac{|{\hat{y}}_{\mathrm{Tri}}-y_{\mathrm{Tri}}|}{y_{\mathrm{Tri}}}\×100\%;$

$E_{\mathrm{Te}}=\frac{1}{n_{\mathrm{Te}}}\underset{i=1}{\overset{n_{\mathrm{Te}}}{\mathrm{\Σ}}}\frac{|{\hat{y}}_{\mathrm{Tei}}-y_{\mathrm{Tei}}|}{y_{\mathrm{Tei}}}\×100\%,$

E_s＝E_Tr+E_Te。 

本发明的有益效果是：本发明一种基于粒子群优化的最小二乘支持向量机组合预测方法，建立LSSVM回归模型，根据要预测的数据特征选择合适的单项预测模型，将不同的预测方法进行适当的组合，充分利用各单项预测模型所包含的有用信息，从而达到提高预测精度、降低预测风险的目的；采用最小二乘支持向量机方法，极大提高了算法的收敛速度，更加符合实际工程需要。 

附图说明

图1是PSO_LSSVM组合预测流程图。 

图2是BP神经网络模型预测结果。 

图3是GM(1,1)模型预测结果。 

图4是AR模型预测结果。 

图5是PSO_LSSVM组合模型预测结果。 

图2到图5中，实线为真实值，虚线为预测值，虚线右侧箭头所指的方向为外推预测值。 

具体实施方式

本发明所述一种基于粒子群优化的最小二乘支持向量机组合预测方法，如图1所示实施例。对测试样本与训练样本比例为70%、80%、90%下进行验证，以验证本发明的有效性。分别使用BP神经网络模型、AR模型、GM(1,1)模型得到样本值并计算其样本误差，由表1可以看出：在不同样本比例下采用LSSVM方法建立的组合预测模型的预测结果的误差明显小于BP神经网络、AR模型以及GM(1,1)模型的预测误差，验证了本发明的有效性以及优越性。尤其是在样本比例为90%时，预测效果最好，预测效果图2、图3、图4、图5所示；其中图2、图3、图4为三种单一模型预测得到的结果图，图5为本文基于PSO_LSSVM的组合预测方法得到的结果图；从图中我们都可以很明显的看出基于PSO_LSSVM的组合预测方法得到了更佳的预测效果。 

表1各种预测方法对数据的预测误差比较 

Claims (1)

1.一种基于粒子群优化的最小二乘支持向量机组合预测方法，其特征在于，所述方法包括如下步骤：

步骤A，根据数据特征选择合适的单项模型，步骤为：

步骤A-1，确定训练集和测试集，对于预测数据给定时间序列的实际测试值，将它们分为训练集T_r和测试集T_e，y_Tri和n_Tr分别代表训练集T_r的实际值和样本量；y_Tei和n_Te分别代表测试集的实际值和样本量；

步骤A-2，数据预处理，采用级差标准化对训练集T_r和测试集T_e的实测数据进行标准化处理，标准化后的数值在[0,1]范围内；

步骤A-3，训练集T_r建模，利用训练集T_r中的y_Tri作为样本完成单一模型建模，得到AR模型、GM（1,1）模型和BP神经网络模型的参数；对于AR模型的阶数，利用AIC准则与FPE准则，不同的模型阶数p，计算出不同的AIC值与FPE值，取平均值，最小值时的p就是适用模型的阶数，相应的模型即为最佳适用模型；并将该AR模型的阶数值作为BP神经网络模型的嵌入维数，BP神经网络模型的隐层神经元数目由经验公式给出：n_H＝(n_I+n_O)^1/2+l，其中n_H为隐含层神经元数目，n_I为输入层神经元数目，n_O为输出层神经元数目，l取值为1到10的整数；

步骤B，通过单项预测方法得到初步预测结论作为最小二乘支持向量机LSSVM组合预测样本，根据支持向量机回归原理，建立LSSVM回归模型；分别对AR模型、GM（1,1）模型和BP神经网络模型输入对应的参数，得到训练集中数据y_Tri的拟合值

形成训练样本，利用得到的训练样本，训练生成LSSVM模型：

$f\left(x\right)=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_{i}K(x,x_i)+b$

其中，高斯径向基核函数K(_xi,x_j)＝exp(-g||x_i-x_j||²)；α_i为Lagrange因子，α_i∈R；b为常值偏差；

步骤C，利用粒子群优化算法PSO优化影响LSSVM回归模型精度的2个核心参数包括核函数参数g以及LSSVM中正则化参数C，得到最佳的LSSVM回归模型；将g和C分别作为粒子的x轴坐标和y轴坐标，群体规模设为M，最大迭代次数为h_max，C∈[1,10000]，g∈[0,1]并按以下步骤：

步骤C-1，初始化粒子群，随机设置粒子的初始位置x和速度v；

步骤C-2，计算每个粒子的适应度值fitness，在每个粒子位置，运用训练样本数据训练得到LSSVM回归模型，并用训练好的模型计算得到测试样本的预测值，并将测试样本的真实值与预测值的平均绝对误差作为粒子的适应度值；

步骤C-3，对所有的i∈{1,2,…,M}，

如果fitness_i>Pbest_i，则令Pbest_i＝fitness_i，

如果fitness_i>gbest，则重新设置gbest的索引号a；

其中，Pbest_i为第i个粒子曾经达到的最大适应度值，

为粒子曾经到达的最大适应度值时对应的位置，gbest为在群体所有粒子经历过的最好位置；

步骤C-4，每一个粒子的位置x_i和速度v_i分别为：

$v_i={\mathrm{wv}}_i+c_1{r}_1(x_i^{\mathrm{Pbest}}-x_i)+c_2{r}_2(x_i^{\mathrm{gbest}}-x_i)$

x_i＝x_i+v_i

其中，r₁,r₂为[0,1]之间的随机数，c₁,c₂为加速度系数，c₁+c₂≥4，w为惯性权值；

步骤C-5，检查停止条件，如果达到最大迭代次数h_max则停止迭代；否则，返回步骤C-2；

步骤C-6，根据得到的最优参数g和C，建立LSSVM回归模型；

步骤D，利用已建立的单项模型分别进行外推预测，得到待预测数据的预测值

输入到LSSVM模型中，得到数据在预测时间点的预测值

求出各模型的外推误差E_Te、拟合误差E_Tr和外推误差之和E_s：

$E_{\mathrm{Tr}}=\frac{1}{n_{\mathrm{Tr}}}\underset{i=1}{\overset{n_{\mathrm{Tr}}}{\mathrm{\Σ}}}\frac{|{\hat{y}}_{\mathrm{Tri}}-y_{\mathrm{Tri}}|}{y_{\mathrm{Tri}}}\×100\%;$

$E_{\mathrm{Te}}=\frac{1}{n_{\mathrm{Te}}}\underset{i=1}{\overset{n_{\mathrm{Te}}}{\mathrm{\Σ}}}\frac{|{\hat{y}}_{\mathrm{Tei}}-y_{\mathrm{Tei}}|}{y_{\mathrm{Tei}}}\×100\%,$

E_s＝E_Tr+E_Te。

Images