CN104199870A - 基于混沌搜索的ls-svm预测模型的建立方法 - Google Patents

Abstract

基于混沌搜索的LS-SVM预测模型的建立方法，包括下述步骤：A）建立样本训练数据集；B）计算模型系数；C）采用混沌搜索改进算法进行寻优，获得待优化函数的最小值和最优混沌变量；D）确定优化的LS-SVM预测模型；E）样本更新处理。本发明通过混沌搜索改进算法对模型参数寻优后建立的LS-SVM自适应资源预测模型，能对云计算中的预测对象运行状态进行动态预测，预测结果具有很好的自适应性，能确保预测结果更加逼近预测对象的真实值。该模型缓解了混沌搜索对初值的敏感性，且在混沌迭代搜索过程中，通过对混沌变量的调整，使得其第二次搜索能够在最优解的邻域内快速搜索，提高搜索效率，并减少陷入局部最优的可能。

Description

基于混沌搜索的LS-SVM预测模型的建立方法

技术领域

本发明涉及资源预测技术，具体是基于混沌搜索的LS-SVM预测模型的建立方法。 

背景技术

网络基础设施的提升无法适应人们对网络资源无止境的需求，这导致了网络性能下降、响应延迟等诸多不良现象。事实上，在网络中，一方面存在部分的资源过度使用，另一方面却有着大量资源被闲置。云计算通过虚拟化技术，将网络中的各种底层物理资源构建资源池，将用户请求分发到不同的资源池中按需服务和按需计费。如何在云平台中合理分配及调度底层物理资源，有效提高服务质量和系统性能，保证负载均衡，已成为业界的一个挑战。预测技术能够有效预测资源池中物理资源的运行状态，可为云平台的资源管理和资源分配提供有效途径，其对于提高资源利用率，提高系统性能具有重要意义。 

预测技术指人们运用现代科学技术手段，事先依据一定方法，对自己的活动可能产生的后果及客观事物的发展趋势做出的科学的分析。 

LS-SVM是一种可靠的、适用于小样本和非线性问题的预测模型，并具有良好的泛化推广性。为进一步提高模型预测的精度，需要对影响LS-SVM性能的两个关键参数，即正则化参数c及核半径δ进行优化。 

发明内容

为了更好地对正则化参数c及核半径δ进行优化，获得与待预测对象拟合性较好的预测模型，本发明提供基于混沌搜索的LS-SVM预测模型的建立方法，通过混沌搜索改进算法对模型参数寻优后建立的LS-SVM自适应资源预测模型， 能对云计算中的预测对象的运行状态进行动态预测。 

本发明的基于混沌搜索的LS-SVM预测模型的建立方法，包括下述步骤： 

A)建立样本训练数据集； 

B)计算模型系数； 

C)采用混沌搜索改进算法进行寻优，获得待优化函数的最小值和最优混沌变量； 

D)确定优化的LS-SVM预测模型； 

E)样本更新处理。 

在步骤A)，通过对预测对象环境的数据进行采样，获取一定时间周期内资源的运行状态，再对采集的数据进行处理，再建立样本训练数据集。而所述的对采集的数据进行处理包括：填补缺失值、剔除极端值和时间序列长度的确定。 

在步骤B)，基于原始的LS-SVM预测模型，根据样本训练数据集计算出与预测对象环境相适应的模型系数a_i和b； 

其中，对原始的如式①所示LS-SVM预测模型： 

$y=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{a}_{i}K(x,x_i)+b$      ① 

其核函数K(x，x_i)采用高斯径向基函数，即

其中，m为样本数量；a_i和b为模型系数；K(x，x_i)为核函数，δ为核半径，y为预测值。 

将K(x，x_i)替换到式①中，计算模型系数a_i和b。 

模型系数a_i和b对应的计算矩阵方程如式②所示： 

其中，c为正则化参数。 

针对式②对应的矩阵，输入样本训练数据集中的样本向量x_i，解算出带参数c及δ的模型系数a_i和b。 

在步骤C)，进行模型参数的优化，是通过对模型中的两个关键参数：正则化参数c及核半径δ，采用混沌搜索改进算法进行寻优； 

首先，根据式①和样本训练数据集中的样本值计算一组预测值y_m，以这组预测值y_m设计一个以预测值和实际值的标准差表示的参数寻优函数f， 

$f=\sqrt{\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{(y_{\mathrm{pre}.i}-y_{\mathrm{rea}.i})}^2}$     ③ 

其中，m为样本个数；y_pre.i为第i个样本的预测值，基于式(1)，y_pre.i为预测值，其是一个带参数c及δ表示的表达式；y_rea.i为第i个样本的实际值。 

标准差能够较好地反映样本之间的离散程度。标准差越小，则最终目标函数的计算结果越稳定。 

然后，以参数寻优函数f作为待优化函数，以定义待优化变量c及δ，选取混沌变量并对进行初始化，并将混沌变量引入待优化变量c和δ中，并且将混沌变量按式④扩展到参数的取值空间中： 

$X_j^k=c_j^k+v_j^k(d_j^k-c_j^k)$        ④ 

其中k表示迭代次数，j代表所产生混沌变量的组数，l指待优化函数f所含变量的个数，和分别代表待优化变量的上限和下限；此处由于y_pre.i为一个带参数c及δ表示的表达式，故l为2。另外由于混沌变量与2个参数c及δ的取值范围不同，故需要将混沌变量扩展到参数的取值空间中。 

其次，对混沌变量采用Logistic映射按式⑤进行迭代计算寻优： 

$V_j^{k+1}=\mathrm{\η}{V}_j^k(1-V_j^k)$          ⑤ 

其中，η为Loigstic控制参数，η∈[0，4]。当η比较靠近4时，系统完全处于混沌状态，迭代生成的值是出于一种伪随机分布的状态。 

对混沌变量迭代寻优过程如下： 

①参数初始化设置，包括一个待优化函数值f_best、初次迭代次数N₁、精细迭代次数N₂； 

②在N₁次迭代搜索过程中，产生一个随机初始混沌值，并对初始混沌值进行扩展，满足参数的取值范围；然后将扩展的混沌值代入式①，并通过输入采样数据，计算一个含参数变量的预测值y_pre.i，再根据式③计算函数值f(x^k)； 

③若f(x^k)＜f_best，则以当前f(x^k)替换f_best，并记录x^k，转②；若f(x^k)＞f_best，则放弃当前值，转②；若f(x^k+1)＝f(x^k)＝f_best，即前后两次计算的值不变，则令x_best＝x^k，转④； 

④按调节当前最优混沌变量x^k，以进一步精细搜索范围，其中为调节因子； 

⑤在N₂次迭代搜索过程中，同样产生随机初始混沌值并进行处理，再将扩展的混沌值代入式①，并输入采样数据计算其预测值，再根据式③计算函数值f(x^k)； 

⑥若f(x^k)＜f_best，则以当前f(x^k)替换f_best，并记录x^k，转⑤；若f(x^k)＞f_best，则放弃当前值，转⑤；若f(x^k+1)＝f(x^k)＝f_best，即前后两次计算的值不变，则转⑦； 

⑦搜索结束，f_best即为待优化函数f的最小值，x^k为最优混沌变量。 

在上述过程①，设置待优化函数值f_best＝100，初次迭代次数N₁＝100，精细迭代次数N₂＝150；在过程④取调节因子

本发明在步骤D)，根据混沌搜索计算的待优化函数f的最小值f_best及其对应的最优混沌变量x^k，计算出对应的优化模型参数c和δ；并根据混沌寻优获得的模型参数c和δ，进一步计算出模型系数a_i和b，代入式①，获得y的表达式，即为确定的优化的LS-SVM预测模型；之后就可以将该模型应用到资源运行状态的预测工作当中。 

其中，模型参数区间为c∈(1.0，1000)，δ∈(0，10)。 

最后，在步骤E)，设置一个预测值与实际值的误差率，比较预测结果与实际值误差率，若不大于设置的误差率，则将与预测结果对应时刻的预测对象实际运行状态更新到样本训练数据集中，以便实施下一次的资源预测；否则，将预测结果和对应的实际值输出到一个日志文件中，以作后续的对比分析。其中，设置的误差率为1～4％。这里一般设置的误差率为2％。 

样本的更新使得模型能够根据预测对象运行状态的变化而变化，模型的预测结果具有更好的自适应性。 

本发明的有益效果在于： 

(1)根据预测对象的环境采集样本，并计算模型的系数和参数，使得建立的预测模型能够较好地适应预测对象的环境，确保预测结果更加逼近预测对象的真实值； 

(2)采用基于混沌搜索改进算法进行参数寻优，其优势包括：①采用多组初值进行搜索，缓解了混沌搜索对初值的敏感性；②在二次迭代搜索过程中，通过对混沌变量的调整，将近似最优解和当前的混沌变量结合，使得第二次精细搜索的混沌变量值只需要小幅度变化，在最优解的邻域内快速搜索，提高搜索效率，并减少陷入局部最优的可能；③采用混沌搜索短期预测较为准确的优点来预测资源运行状态，符合了计算机资源运行的局部性原理，其预测结果更 加合理；④参数的优化，避免参数选择的盲目性，并有助于获得更合理、准确的预测结果；⑤采用混沌搜索进行参数的优化，不需要进行其它搜索算法如粒子群或遗传算法的编码解码、变异交叉等过程，其实现更加简单，能进一步提高搜索效率； 

(3)通过对预测结果评估并更新样本集，使得样本集能够随着预测对象环境的变化而变化；而基于样本集计算出的模型系数和模型参数的变化，使得建立的预测模型同样动态变化，预测结果具有更好的自适应性。 

附图说明

图1是本发明方法的模型框架结构图。 

图2是本发明方法的流程详细图。 

图3是样本数据变化平稳的服务结点的CPU占有率数据变化情况。 

图4是样本数据变化较大的服务结点的CPU占有率数据变化情况。 

图5是在样本数据变化平稳的服务结点上不同模型预测结果的相对误差对比。 

图6是在样本数据变化平稳的服务结点上不同模型预测结果的MAPE对比。 

图7是在样本数据变化平稳的服务结点上不同模型预测结果的相对误差对比。 

图8是在样本数据变化平稳的服务结点上不同模型预测结果的MAPE对比。 

具体实施方式

下面结合附图对本发明进行更加详细的说明。 

参见图1，本发明的模型结构包括五个部分：建立样本集、模型系数计算、模型参数寻优、确定预测模型和样本更新处理。 

本发明的方法首先建立样本集实现对预测对象进行数据采样，建立样本训 练数据集。根据预测对象的运行情况，按照一定频率(如每5分钟一次采样)采样预测对象如计算机服务器的运行状态，包括CPU利用率、内存占用率等。针对采集的数据，进行如下数据处理：①极端值的剔除，即除去偏离样本较远的值；②确定时间序列长度，即根据实际应用环境，以一个特定的时间周期样本值预测下一个时间点的值。 

参见图2，建立预测模型的过程如下所示： 

(1)先采用原始的LS-SVM预测模型，LS-SVM预测模型如式①所示； 

(2)采用高斯径向基函数作为式①中的核函数K(x，x_i)代入到式①中，δ为核半径； 

(3)构造模型系数a_i和b对应的计算矩阵方程，如式②所示，其中，c为正则化参数； 

(4)针对式②对应的矩阵，输入样本训练数据集中的样本向量x_i，解算出带参数c及δ的模型系数a_i和b，从而建立一个待优化的LS-SVM预测模型； 

(5)为搜索优化的参数c及δ，采用混沌搜索改进算法进行寻优计算。先根据式①和样本训练数据集中的样本值计算一组预测值y_m，m为样本个数； 

(6)以这组预测值设计一个以预测值和实际值的标准差表示的参数寻优函数f。参数寻优函数f如式③所示； 

(7)选取混沌变量并对进行初始化，k表示迭代次数，j代表所产生混沌变量的组数，l指待优化函数f所含变量的个数(y_pre.i为预测值，其是一个带参数c及δ表示的表达式，即l为2)； 

(8)由于混沌变量与2个参数c及δ的取值范围不同，需要将混沌变量扩展到参数的取值空间中，扩展方法如式④所示； 

(9)以定义待优化变量c及δ，将混沌变量引入待优化变量(c 和δ)中； 

(10)进行迭代计算寻优，混沌变量的迭代方式如式⑤所示； 

(11)初始化设置迭代计算参数，根据对实际环境测试，设置待优化函数值f_best＝100，初次迭代次数N₁＝100，精细迭代次数N₂＝150； 

(12)在N₁次迭代搜索过程中，通过产生随机初始混沌值，再对初始混沌值进行扩展，以满足参数的取值范围；将扩展的混沌值代入式①，并通过输入采样数据，计算一个含参数变量的预测值y_pre.i；根据参数寻优函数的式③，以预测值计算函数值f(x^k)； 

(13)若f(x^k)＜f_best，则以当前f(x^k)替换f_best，并记录x^k，转(12)；若f(x^k)＞f_best，则放弃当前值，转(12)；若f(x^k+1)＝f(x^k)＝f_best，即前后两次计算的值不变，则令x_best＝x^k，转(14)； 

(14)调节当前最优混沌变量x^k，以进一步精细搜索范围，令  $x^k=(1-\∂)x_{\mathrm{best}}+{\∂x}^k,$ 设置调节因子 $\∂=0.0001;$

(15)在N₂次迭代搜索过程中，同样通过产生随机初始混沌值，再对初始混沌值进行扩展，以满足参数的取值范围；将扩展的混沌值代入式①，并通过输入采样数据，计算其预测值y_pre.i；将预测值代入参数寻优函数式③，计算函数值f(x^k)； 

(16)若f(x^k)＜f_best，则以当前f(x^k)替换f_best，并记录x^k，转(15)；若f(x^k)＞f_best，则放弃当前值，转(15)；若f(x^k+1)＝f(x^k)＝f_best，即前后两次计算的值不变，则转(17)； 

(17)搜索结束，f_best即为待优化函数f的最小值，x^k为最优混沌变量； 

(18)根据混沌优化搜索得到的待优化函数f的最小值f_best和最优混沌变量x^k，计算对应的模型参数c和δ，其中，模型参数区间为c∈(1.0，1000)，δ∈ (0，10)； 

(19)根据混沌寻优计算的模型参数c和δ，进一步计算出模型系数a_i和b； 

(20)将计算出模型系数a_i和b代入式①，获得y的表达式，即为确定的优化的LS-SVM预测模型； 

(21)采用优化的LS-SVM预测模型进行资源预测，并根据设置的预测值与实际值的误差率(设置误差率为2％)，校验预测结果。若预测结果合理，则将与预测结果对应时刻的资源实际运行状态更新到样本训练数据集中，实施下一次的资源预测；否则，将预测结果和对应的实际值输出到一个日志文件中，以作后续的对比分析。 

仿真测试： 

针对本发明提出的方法建立的基于混沌搜索的LS-SVM预测模型，进行了仿真实验。实验环境如下：以100Mbps的交换机组建一个局域网，以四台分布在不同子网中的计算机作为底层物理结点，其充当服务结点提供服务支持，包括文件共享、数据库服务和视频；以多台计算机作为用户结点访问服务；以一台计算机完成对服务结点的资源整合，构成资源池，并对用户访问进行调度，将用户任务分发到不同服务结点上。为实施合理调度，采用本发明提出的预测模型对服务结点的运行状态进行预测。 

四台服务结点编号分别设为M1、M2、M3、M4，都采用Windows 7旗舰版32-bit(6.1，Build 7601)操作系统，其硬件配置如下：M1的处理器为Intel(R)Dual E22002.20GHz，内存为1024 MB；M2的处理器为Intel(R)Core(TM)i3M 3802.53GHz(4 CPUs)，内存为4096MB；M3的处理器为Intel(R)Core(TM)2Duo T64002.0GHz(2CPUs)，内存为2048MB；M4的处理器为AMD Athlon(TM)II X22503.0GHz(2 CPUs)，内存为4096MB RAM。 

对于每一台服务结点，进行样本采集，采集结点的CPU占有率。样本数据采集时间间隔为5min，共采集130条样本数据，样本维度为6，其中20组数据作训练集，10组作为测试集。 

通过对每台服务结点采集到的样本数据分析，发现M1、M2、M4得到的数据变化比较平稳，而由M3得到的数据变化较大。在预测实验中，分别选择由M1和M3采集得到的具有代表性的数据作为预测样本集。图3和图4分别显示了M1和M3的CPU占有率数据变化情况。 

基于样本数据，按照模型的式子和改进的混沌迭代搜索，求解模型参数c和δ。样本数据的不同，求解的模型参数c和δ的值也不同。而基于模型参数c和δ计算的模型系数a_i和b也不同，其最终确定的预测模型也会相应变化。 

运用本发明提出的基于混沌搜索的LS-SVM预测模型(为便于书写和记录，将该模型记为CS-LS-SVM)，测试了其预测结果与测试样本实际值的相对误差与平均绝对百分比误差，并在同样的实验环境和实验条件下，与差分自回归移动平均预测模型ARIMA和原始LS-SVM进行了对比测试。 

相对误差可以度量在任一时刻的预测精度。以P_t表示相对误差，y_pre.t为t时刻的预测值，y_real.t为t时刻的实际观测值，则有： 

$P_t=\frac{|y_{\mathrm{pre}.t}-y_{\mathrm{real}.t}|}{y_{\mathrm{real}.t}}\×100\%$        ⑥ 

为度量预测模型的好坏，可采用平均绝对百分比误差度量预测模型总的预测误差。以MAPE表示平均绝对百分比误差，则有： 

$\mathrm{MAPE}=\frac{1}{n}\underset{t=1}{\overset{n}{\mathrm{\Σ}}}\left|\frac{y_{\mathrm{pre}.t}-y_{\mathrm{real}.t}}{y_{\mathrm{real}.t}}\right|\×100\%$      ⑦ 

在对比测试中，主要选取数据变化比较平稳的M1和数据变化较大的M3两个服务结点进行测试，本发明提出的预测模型CS-LS-SVM与ARIMA及LS-SVM的 对比测试结果如图5～8所示。 

由图5可知，对于数据变化波动较平稳的情况，本发明提出的CS-LS-SVM预测模型的预测误差较小；图6进一步显示CS-LS-SVM预测模型具有较高的预测精度。 

针对数据变化波动较大的情况，图7和图8同样表明了本发明提出的CS-LS-SVM预测模型同样具有较小的预测误差和较高的预测精度。同时，图7和图8也显示出，在数据变化波动较大时，预测模型的预测误差和预测精度要低于在数据变化波动平稳时的预测情况。 

Claims (10)

1.基于混沌搜索的LS-SVM预测模型的建立方法，其特征在于包括下述步骤： 

A)建立样本训练数据集； 

B)计算模型系数； 

C)采用混沌搜索改进算法进行寻优，获得待优化函数的最小值和最优混沌变量； 

D)确定优化的LS-SVM预测模型； 

E)样本更新处理。 

2.根据权利要求1所述的方法，其特征在于：在步骤A)，通过对预测对象环境的数据采样，获取一定时间周期内资源的运行状态，再对采集的数据进行处理，再建立样本训练数据集。 

3.根据权利要求2所述的方法，其特征在于：对采集的数据进行处理包括：填补缺失值、剔除极端值和时间序列长度的确定。 

4.根据权利要求1所述的方法，其特征在于：在步骤B)，基于原始的LS-SVM预测模型，根据样本训练数据集计算出与预测对象环境相适应的模型系数a_i和b； 

其中，对原始的如式①所示LS-SVM预测模型： 

    ① 

其核函数K(x,x_i)采用高斯径向基函数，即

5.根据权利要求1所述的方法，其特征在于：在步骤C)， 

首先，根据式①和样本训练数据集中的样本值计算一组预测值y_m，以这组预测值y_m设计一个以预测值和实际值的标准差表示的参数寻优函数f, 

    ③ 

其中，m为样本个数；y_pre.i为第i个样本的预测值，基于式(1)，y_pre.i为预测值，其是一个带参数c及δ表示的表达式；y_rea.i为第i个样本的实际值； 

然后，以参数寻优函数f作为待优化函数，以定义待优化变量c及δ，选取混沌变量并对进行初始化，并将混沌变量引入待优化变量c和δ中，并且将混沌变量按式④扩展到参数的取值空间中： 

    ④ 

其中k表示迭代次数，j代表所产生混沌变量的组数，l指待优化函数f所含变量的个数，和分别代表待优化变量的上限和下限； 

其次，对混沌变量按式⑤进行迭代计算寻优： 

    ⑤ 

其中，η为Logistic控制参数，η∈[0,4]。 

6.根据权利要求5所述的方法，其特征在于：对混沌变量迭代寻优过程如下： 

①参数初始化设置，包括一个待优化函数值f_best、初次迭代次数N1、精细迭代次数N₂； 

②在N₁次迭代搜索过程中，产生一个随机初始混沌值，并对初始混沌值进行扩展，满足参数的取值范围；然后将扩展的混沌值代入式①，并通过输入采样数据，计算一个含参数变量的预测值y_pre.i，再根据式③计算函数值f(x^k)； 

③若f(x^k)<f_best，则以当前f(x^k)替换f_best，并记录x^k，转②；若f(x^k)>f_best，则放弃当前值，转②；若f(x^k+1)＝f(x^k)＝f_best，即前后两次计算的值不变，则令x_best＝x^k，转④； 

④按调节当前最优混沌变量x^k，以进一步精细搜索 范围，其中为调节因子； 

⑤在N₂次迭代搜索过程中，同样产生随机初始混沌值并进行处理，再将扩展的混沌值代入式①，并输入采样数据计算其预测值，再根据式③计算函数值f(x^k)； 

⑥若f(x^k)<f_best，则以当前f(x^k)替换f_best，并记录x^k，转⑤；若f(x^k)>f_best，则放弃当前值，转⑤；若f(x^k+1)＝f(x^k)＝f_best，即前后两次计算的值不变，则转⑦； 

⑦搜索结束，f_best即为待优化函数f的最小值，x^k为最优混沌变量。 

7.根据权利要求6所述的方法，其特征在于：在过程①设置待优化函数值f_best＝100，初次迭代次数N₁＝100，精细迭代次数N₂＝150；在过程④取调节因子 

8.根据权利要求1所述的方法，其特征在于：在步骤D)，根据混沌搜索计算的待优化函数f的最小值f_best及其对应的最优混沌变量x^k，计算出对应的优化模型参数c和δ；并根据混沌寻优获得的模型参数c和δ，进一步计算出模型系数a_i和b，代入式①，获得y的表达式，即为确定的优化的LS-SVM预测模型； 

其中，模型参数区间为c∈(1.0,1000)，δ∈(0,10)。 

9.根据权利要求1所述的方法，其特征在于：在步骤E)，设置一个预测值与实际值的误差率，比较预测结果与实际值误差率，若不大于设置的误差率，则将与预测结果对应时刻的预测对象实际运行状态更新到样本训练数据集中，以便实施下一次的资源预测；否则，将预测结果和对应的实际值输出到一个日志文件中，以作后续的对比分析； 

其中，设置的误差率为1～4％。 

10.权利要求1～9任一项所述的方法建立的基于混沌搜索的LS-SVM预测模型。