CN102200759A - 一种非线性核化自适应预测方法 - Google Patents

Abstract

本发明公开了一种非线性核化自适应预测方法，包括数据预处理、子空间划分、子空间自适应拟合控制、子空间连接、新样本预测、预测输出六个步骤。流程是：数据经过预处理后，将数据整体空间剖分为若干个连续的子空间，在每个子空间上基于粒子群支持向量回归的智能滑动控制器，自适应选择最优核和参数，构造局部最优拟合超曲面，进而利用拉格朗日三点插值加以连接，以形成最终的全空间回归预测函数，然后对新数据进行预测、输出。本发明实现了数据特征空间划分，提高了大规模多属性非线性数据预测速度；基于粒子群支持向量回归智能滑动控制器，自适应筛选适应数据分布的核函数，优化整体参数，确保了拟合预测精确度和准确率。

Description

一种非线性核化自适应预测方法

技术领域

本发明属于人工智能领域，涉及一种非线性预测方法，特别是涉及一种非线性核化自适应预测方法，具体地说是涉及一种快速高效的基于核函数非线性自适应回归预测方法。

背景技术

非线性预测控制的研究是机器学习的核心研究内容之一，已成为学术界和工业界关注的焦点。在统计学习理论基础之上发展起来的支持向量回归机(Support Vector Regression Machine，SVR)将非线性预测问题转化为一种基于核的机器学习问题。通过核函数的点积，方便地把非线性变换转化为某个高维空间的线性问题，这在很大程度上简化了应用计算及非线性映射函数的搜索，从而解决了很多模式分析和机器学习领域的非线性预测的难题，并被广泛应用于系统辨识、工业非线性系统控制、数据融合、金融预测等领域。

SVR的性能依赖于学习机的核函数和参数选择，针对同一回归问题，选择不同的核函数，回归预测性能可能会相差很大。这主要是因为构成核函数K(x，y)的非线性映射φ(x)是隐函数，且这些隐函数的类型是多样可变的。所以当人们对特定问题没有任何先验知识的时候，很难确定应该选择哪一类核函数进行计算。此发明构建了一个核函数库，在这个核函数库里，利用自适应智能滑动控制器可自由地选择核，进行动态数据拟合，选择拟合误差最小的核函数，解决了人为构建和挑选核函数的困难。另外，利用粒子群优化算法(Particle Swarm Optimization，PSO)，自适应地控制搜索SVR参数进程，使得SVR及核函数在预测时获得最优性能。由于实际应用当中，SVR存储量和计算量很大，特别，海量数据在寻找最优SVR参数的过程中，整体核函数计算量会使得计算机处于停滞状态。于是，SVR的运算速度成为其应用的屏障。本发明将数据空间划分为连续地子空间，在子空间中应用PSO-SVR核化机器进行预测，大大地提高整体应用效果。

与本发明相关的支持向量回归函数(SVR)专利和论文有：一种基于支持向量回归机的网格负载预测方法(申请号为200910184148.4)，此方法采用时间序列法对网格负载历史数据进行自回归建模，根据模型的阶数估计支持向量输入维数，然后对历史负载构建支持向量回归函数(SVR)，预测网格下一时刻节点的性能。此发明专利没有研究核函数选择和参数优化问题，也没有对整体空间划分后逐段进行优化拟合。一种应用于话务量预测的分段在线支持向量回归方法(申请号为200910072312.2)，实现对于移动通信话务量时间序列的在线、实时和快速建模和预测，此发明专利构建了分段在线支持向量回归机，根据待预测领域时间序列与各子 段模型的匹配度，选择最优子分段模型。此发明专利没有研究动态核函数选择与参数调整的过程，也没有整体函数拟和过程。另外，2009年1月任双桥，杨德贵等在计算机学报上发表的《分片支撑矢量机》，借鉴分段线性模式识别的基本思想，对数据空间进行划分，讨论分段非线性支持向量机分类问题，这项研究主要用于分类问题，与本发明中的回归预测问题还是有很大差异的。

发明内容

本发明的目的在于提供一种非线性核化自适应预测方法，特别是提供一种快速高效的基于核函数非线性自适应回归预测方法。本发明不同于以往的发明之处在于：(1)本发明借鉴分段线性拟和思想，对高维数据空间进行子空间划分，在各子空间中采用粒子群支持向量回归智能滑动控制器自适应地筛选适应数据分布的核函数，构建最优SVR预测模型；(2)基于粒子群优化算法，自动调整支持向量回归机的参数，使得回归预测误差最小；(3)利用拉格朗日三点插值将各子空间连接，使得拟和模型成为一个整体。

本发明的一种非线性核化自适应预测方法，依次包括以下六个步骤：数据预处理、子空间划分、子空间自适应拟合控制、子空间连接、新样本预测和预测输出；数据经过预处理后，将数据整体空间剖分为若干个连续的子空间，在每个子空间上基于粒子群支持向量回归的智能滑动控制器，自适应选择最优核和参数，构造局部最优拟合超曲面，进而利用拉格朗日三点插值加以连接，以形成最终的全空间回归预测函数，然后对新数据进行预测、输出；具体步骤如下：

(1)数据预处理，用户提交预测请求的数据(x，y)给数据预处理模块；数据预处理模块对数据归一化处理，并将数据随机分成四份，前三份作为训练数据，最后一份作为预测测试数据；

(2)子空间划分，捕捉训练数据x各个维度的最大值max和最小值min，将其等距离地划分为t个连续的子空间Ω_i，i＝1，2，..t，，使得各个子空间区间度为 

子空间Ω_i∩Ω_j＝Φ，i≠j；

(3)子空间自适应拟合控制，在每个子空间Ω_j上基于粒子群支持向量回归原理，通过自适应智能滑动控制器，筛选输出局部最优拟合超曲面 

这里，α_ij和 

为SVR的非负Langrange乘子，b_j为最优拟合面的平移分量，K(·)为选择的核函数，l_j为子空间Ω_j中的训练样本数，x_ij为子空间Ω_j中第i个训练样本；

(4)子空间连接，将各个拟合超曲面 

在边界附近构造一个缓冲区域，在该缓冲区域中，对相邻子空间Ω_j、Ω_j+1的最优拟合面 

和 

端点，应用已有技术拉格朗日三点插值逐步拟合连接全空间Ω；由于每个子空间Ω_j上的最优拟合面 

是相对独立求解的，因此，在全空间上的回归超曲面在各子空间Ω_j的边界上可能会不连续，存在一定程度的跳跃现象，为了有效地消除这一跳跃现象，使得各个拟合超曲面 在全空间Ω连续，需要增加分区各决策函数的连接；令整体决策函数

$\hat{f}\left(x\right)=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{I}_{{\mathrm{\Ω}}_j}\left(x\right){\hat{f}}_j\left(x\right)$

其中， 

为子空间Ω_j中最优拟合曲面函数，I_Ω(·)为示性函数，即

$I_{\mathrm{\Ω}}\left(x\right)=\left\{\begin{array}{cc}1& x\∈\mathrm{\Ω}\\ 0& x\∉\mathrm{\Ω}\end{array}\right..$

(5)新样本的预测，将预测测试数据x带入函数 模型，系统自动计算各个子空间中 

的误差，选定误差最小的曲面为最优拟合曲面，获取数据x的预测值 

(6)将预测值 

利用已有的反归一化方法后，还原输出。

作为优选的技术方案：

如上所述的一种非线性核化自适应预测方法，所述的粒子群支持向量回归自适应智能滑动控制器，是一种并行核控制逼近器，能自动调节核函数库中支持向量回归非线性参数，筛选出满足数据性能要求的核；所述的控制器结构是一个“开环”方式，由三个要素组成：1)并行核候选控制器集合{C₁，C₂，...C_k}；2)评价各个控制器的性能指标的决策器；3)控制器切换机P；

设第j子空间Ω_j内训练样本集为(x^(j)，y^(j))＝{(x_i ^(j)，y_i ^(j))，i＝1，2...，n_j}，其中，x^(j)为控制输入，y^(j)为实际应该拟合的值，训练集中样本的个数为n_j， 

为第j子空间被控对象x^(j)的预测输出，控制器设计的目的是：对于每个子空间Ω_j，从核函数控制集C中寻找一个最优的核控制器C_k，得到其参数集合 

使得控制性能指标式 

最小；

$J\left({\widehat{\mathrm{\θ}}}_k\right)=\min E\left[{(\hat{f}(x^{\left(j\right)},{\widehat{\mathrm{\θ}}}_k)-y^{\left(j\right)})}^2\right]$

其中，k＝1，2...控制器的个数。 

表示未知状态在最优参数 

下y^(j)的预测量， 中记作 

i＝1，2，...，n_j；

在子空间Ω_j上，粒子群支持向量回归自适应智能滑动控制器中C_i(i＝1，2，...，k)对应核函数库中的某个核函数K(x，x′)，应用粒子群支持向量回归模型，获取最优参数组合 

以及子空间Ω_j上样本集拟合预测均方误差 

通过评价的决策器来评价C₁，C₂，...，C_k的性能，均方误差MSE_k最小的控制器C_k为最优；控制器切换机P自动切换至均方误差最小的控制器C_k上，同时输出被控对象的拟合曲面 

并存储。

如上所述的一种非线性核化自适应预测方法，所述的粒子群支持向量回归自适应智能滑动控制器，对应核函数库中的线性核函数、多项式核函数、径向基核函数、Sigmoid核函数或傅里叶核函数，是并行粒子群支持向量核函数逼近控制器。

如上所述的一种非线性核化自适应预测方法，所述的拉格朗日三点插值逐步拟合的三点是指子空间超曲面末端缓冲区的起始点、相邻子空间超曲面起始点和它们的中间点，即，设子空间Ω_j缓冲区域设为[x_j-Δx，x_j]，这三点为u₁＝x_j-Δx， u₂＝x_i-Δx/2， 

Ω_j与Ω_j+1连接曲线为 

有益效果

本发明同现有技术比较，具有如下显而易见的优点和特点：

(1)通过将数据特征空间划分，在每个子空间中构造最优拟合超曲面，这可以在很大程度上提高大规模多属性非线性数据预测的运行速度和整体预测准确率。

(2)在高维的特征空间子空间中，基于粒子群支持向量回归的智能滑动控制器，可自适应地筛选适应数据分布的核函数，并对SVR参数优化，保证了拟合预测的精确和预测的全局最优。其中核函数库有线性核函数、多项式核函数、径向基核函数、Sigmoid核函数和傅里叶核函数；

(3)模块化的思想使该预测方法具有更好的扩展性，该预测方法有六个步骤组成，各步相互协作集成为一个整体。实际上，每个步骤都具有单独的功能，实际应用中还能够进一步扩展。

附图说明

图1描述了子空间核函数方法整体预测框架

图2详细描述了子空间粒子群支持向量回归的智能滑动控制器原理

图3展示了不连续的子空间曲面跳跃现象

图4详细描述了子空间曲面连接过程

图5粒子群支持向量回归算法流程

图6VWAP交易量加权平均价格5分钟归一化后的图像

图7VWAP交易量加权平均价格预测

图8VWAP交易量加权平均价格预测结果误差

具体实施方式

下面结合附图说明以及具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

图1所述的是一种非线性核化自适应预测方法流程，依次包括以下六个步骤：数据预处理、子空间划分、子空间自适应拟合控制、子空间连接、新样本预测和预测输出；数据经过预处理后，将数据整体空间剖分为若干个连续的子空间，在每个子空间上基于粒子群支持向量回归的智能滑动控制器，自适应选择最优核和参数，构造局部最优拟合超曲面，进而利用拉格朗日三点插值加以连接，以形成最终的全空间回归预测函数，然后对新数据进行预测、输出；具体步骤如下：

(1)数据预处理，用户提交预测请求的数据(x，y)给数据预处理模块；数据预处理模块对数据归一化处理，并将数据随机分成四份，前三份作为训练数据，最后一份作为预测测试数据；

(2)子空间划分，捕捉训练数据x各个维度的最大值max和最小值min，将其等距离地划分为t个连续的子空间Ω_j，i＝1，2，..t，，使得各个子空间区间度为 

子空间Ω_i∩Ω_j＝Φ，i≠j；

(3)子空间自适应拟合控制，在每个子空间Ω_j上基于粒子群支持向量回归原理，通过自适应智能滑动控制器，筛选输出局部最优拟合超曲面 

这里，α_ij 和 

为SVR的非负Langrange乘子，b_j为最优拟合面的平移分量，K(·)为选择的核函数，l_j为子空间Ω_j中的训练样本数，x_ij为子空间Ω_j中第i个训练样本；

(4)子空间连接，将各个拟合超曲面 

在边界附近构造一个缓冲区域，在该缓冲区域中，对相邻子空间Ω_j、Ω_j+1的最优拟合面 

和 

端点，应用拉格朗日三点插值逐步拟合连接全空间Ω；由于每个子空间Ω_j上的最优拟合面 

是相对独立求解的，因此，在全空间上的回归超曲面在各子空间Ω_j的边界上可能会不连续，存在一定程度的跳跃现象，如图3所示，为了有效地消除这一跳跃现象，使得各个拟合超曲面 

在全空间Ω连续，需要增加分区各决策函数的连接；令整体决策函数

$\hat{f}\left(x\right)=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{I}_{{\mathrm{\Ω}}_j}\left(x\right){\hat{f}}_j\left(x\right)$

其中， 

为子空间Ω_j中最优拟合曲面函数，I_Ω(·)为示性函数，即

$I_{\mathrm{\Ω}}\left(x\right)=\left\{\begin{array}{cc}1& x\∈\mathrm{\Ω}\\ 0& x\∉\mathrm{\Ω}\end{array}\right..$

应用拉格朗日三点插值逐步拟合连接的原理如图4所示，子空间决策函数 

是由A、B两部分组成，其中A是由PSO-SVR原理自适应控制器筛选输出的局部最优拟合超曲面。由于子空间中所选的核函数不同，局部最优拟合超曲面端点处不连续，将图3缓冲区域端点处放大，其对应于图4的B部分，对Ω_j缓冲区域设为[x_j-Δx，x_j]，选择三点u₁＝x_j-Δx，  $v_1=\hat{y}(x_j-\mathrm{\Δx});$ u₂＝x_i-Δx/2， $v_2=[\hat{y}(x_j-\mathrm{\Δx})+\hat{y}\left(x_j\right)]/2;$ $u_3=x_j,v_3=\hat{y}\left(x_i\right),$ 这里的Δx＜＜(x_j-x_j-1)，应用拉格朗日三点插值，构成二次函数拟合。

则 ${\hat{f}}_j\left(x\right)=f_{\mathrm{jA}}^{^}(x+)f_{\mathrm{jB}}^{^}($

其中： $\hat{f}\left(x\right)=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{I}_{{\mathrm{\Ω}}_j}\left(x\right){\hat{f}}_j\left(x\right)$

① ${\hat{f}}_{\mathrm{jA}}\left(x\right)=\underset{i=1}{\overset{l_j}{\mathrm{\Σ}}}({\mathrm{\α}}_{\mathrm{ij}}^{*}-{\mathrm{\α}}_{\mathrm{ij}})K(x_{\mathrm{ij}},x)+b_j,x\∈{\mathrm{\Ω}}_j$

这里，α_ij， 为求解第j个支撑矢量机的非负Langrange乘子，b_j为第j个最优拟合面的平移分量，K(·)为选择的核函数，l_j为子空间Ω_j中的训练样本数，x_ij为子空间Ω_j中第i个 训练样本。

② ${\hat{f}}_{\mathrm{jB}}\left(x\right)=\underset{k=1}{\overset{3}{\mathrm{\Σ}}}\left(\underset{i\≠k}{\overset{3}{\underset{i=1}{\mathrm{\Π}}}}\frac{\left({x-u}_i\right)}{(u_k-u_i)}\right)v_k$

且u₁＝x_j-Δx， $v_1=\hat{y}(x_j-\mathrm{\Δx});$ u₂＝x_i-Δx/2， $v_2=[\hat{y}(x_j-\mathrm{\Δx})+\hat{y}\left(x_j\right)]/2;$

$u_3=x_j,v_3=\hat{y}\left(x_i\right),$ 这里Δx＝(x_j-x_j-1)/100。

(5)新样本的预测，将预测测试数据x带入函数 

模型，系统自动计算各个子空间中 

的误差，选定误差最小的曲面为最优拟合曲面，获取数据x的预测值 

(6)将预测值 

利用已有的反归一化方法后，还原输出。

图2描述了如上所述步骤3中子空间粒子群支持向量回归智能滑动控制器原理。粒子群支持向量回归智能滑动控制器是一种并行核控制逼近器，每个控制器分别对应核函数库中的线性核函数、多项式核函数、径向基核函数、Sigmoid核函数或傅里叶核函数，能自动调节支持向量回归非线性参数，智能滑动控制器能筛选出满足数据性能要求的核；其结构是一个“开环”方式，由三个要素组成：1)并行核候选控制器集合{C₁，C₂，...C_k}；2)评价各个控制器的性能指标的决策器；3)控制器切换机P；

设第j子空间Ω_j内训练样本集为(x^(j)，y^(j))＝{(x_i ^(j)，y_i ^(j))，i＝1，2...，n_j}，其中，x^(j)为控制输入，y^(j)为实际应该拟合的值，训练集中样本的个数为n_j， 

为第j子空间被控对象x^(j)的预测输出，控制器设计的目的是：对于每个子空间Ω_j，从核函数控制集C中寻找一个最优的核控制器C_k，得到其参数集合 

使得控制性能指标式 

最小；

$J\left({\widehat{\mathrm{\θ}}}_k\right)=\min E\left[{(\hat{f}(x^{\left(j\right)},{\widehat{\mathrm{\θ}}}_k)-y^{\left(j\right)})}^2\right]$

其中，k＝1，2...控制器的个数。 

表示未知状态在最优参数 

下y^(j)的预测量，中记作 

i＝1，2，...，n_j；

在子空间Ω_j上，粒子群支持向量回归自适应智能滑动控制器中C_i(i＝1，2，...，k)对应核函数库中的一个核函数K(x，x′)，应用粒子群支持向量回归模型，获取最优参数组合 

以及子空间Ω_j上样本集拟合预测均方误差 

通过评价决策器来评价C₁，C₂，...，C_k的性能，其中均方误差MSE_k最小的控制器C_k为最优；控制器切换机P自动切换至均方误差最小的控制器C_k上，同时输出被控对象的拟合曲面 ${\hat{f}}_k\left(x\right)=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\α}}_i^{*}-{\mathrm{\α}}_i)K(x_i,x)+b,$ 并存储。

图4描述了图1中所述步骤4子空间曲面连接过程，如图3所示，子空间曲面终端处会有不连续的跳跃现象，基于拉格朗日三点插值方法，通过子空间超曲面末端缓冲区的起始点、相邻子空间超曲面起始点和它们的中间点三点进行拟合，即，设子空间Ω_j缓冲区域设为[x_j-Δx，x_j]，这三点为u₁＝_jx-， 

u₂＝x_i-Δx/2，  $v_2=[\hat{y}(x_j-\mathrm{\Δx})+\hat{y}\left(x_j\right)]/2;$ $u_3=x_j,v_3=\hat{y}\left(x_i\right),$ Ω_j与Ω_j+1连接曲线为 $f_j\left(x\right)=\underset{k=1}{\overset{3}{\mathrm{\Σ}}}\left(\underset{i\≠k}{\overset{3}{\underset{i=1}{\mathrm{\Π}}}}\frac{\left({x-u}_i\right)}{(u_k-u_i)}\right)v_k.$

图5详细描述了粒子群支持向量回归机(PSO-SVM)算法的流程，此算法主要通过粒子群算法对支持向量回归机(SVR)模型参数优化，获取最优分类超曲面的过程。

参数选择对于SVR性能具有重要影响，粒子群算法(Particle Swarm Optimization，PSO)是一种智能优化参数算法，可实现自动捕捉最优组合核参数。PSO可对SVR多参数调控，使得SVR预测误差最小，其过程包括定义粒子和速度并初始化、适应度函数计算、速度与个体更新、确定SVR参数最优。这里给定PSO-SVR回归模型算法整体流程，如图5所示，流程分为A、B两个部分，A部分为SVR回归整体流程部分，B部分为PSO针对SVR模型参数优化流程。下面先阐述B部分PSO针对SVR模型参数优化过程：

(1)定义粒子和速度并初始化。假设在一个L维的搜索空间中，初始化生成m个粒子X_i的群体U，U＝{X₁，X₂，...，X_i，...，X_m}。粒子X_i(1≤i≤m)在第t次迭代中位置表示为X_i(t)＝(X_i1，X_i2，...，X_id，...，X_iL)。每一个粒子都有自己的速度，X_i在第t次迭代中的速度表示为V_i(t)＝(v_i1，v_i2，…，v_id，…，v_iL)，其他向量类似。对于SVR，在不同的核下，其定义的粒子和速度是不同的，这里控制器可调控的核函数库有线性核函数、多项式核函数、径向基核函数、Sigmoid核函数和傅里叶核函数。1)线性核函数：K(x_i·x)＝(x_i·x)；2)多项式核函数：K(x_i·x)＝[(x_i·x)+d]^q，多项式的阶数q和d为待定参数；3)Gauss径向基核函数： K(x_i·x)＝exp(-||x_i-x||²/δ²)，径向基函数宽度δ为待定参数；4)Sigmoid核函数：K(x_i·x)＝tanh[υ(x_i·x)+d]其中，υ＞0，d＜0，为待定参数；5)傅里叶核函数：  $K(x_i\·x)=\frac{1-q^2}{2(1-2q\cos (x_i-x)+q^2)},$ $\∀x_i,x\∈R,$ 其中0＜q＜1。表1列出了不同的核下定义的粒子和速度。

表1PSO-SVR粒子及其速度

注：表1中C为惩罚参数，ε是管道，其他参数分别为核函数中的参数

(2)适应度函数计算。设计一个适应度目标函数，计算每一个粒子的适应度值，各个粒子根据自己的飞行经验和同伴的飞行经验对自己的速度和位置进行动态调整，根据适应度值来判断粒子的优劣。对于SVR参数选择算法中的粒子X_i的适应度函数设计为：

${\mathrm{fitness}}_i\left(t\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{{({\hat{y}}_i-y_i)}^2}{n}---\left(1\right)$

用以表达预测值 

与其真实值y的偏差，n为输入样本数量。粒子群不断向着适应度小的方向进行移动，寻找最小偏差粒子点。

(3)在每一次迭代中，粒子通过跟踪两个“极值”来更新自己：一个是粒子本身所找到的最好解，叫做个体极值点(用P_i表示其位置)，另一个是整个种群目前的最好解，称为全局最优解(用P_g表示其位置)，根据适应度值，找到这两个最好解。

(4)速度与个体更新。在每一次迭代中，个体极值点P_i，全局最优解P_g找到后，粒子可根据下面的公式(2)和(3)来更新自己的位置和飞行速度[21]。位置和速度更新方程如下：

v_id(t)＝ωv_id(t-1)+C₁r₁(P_id-x_id(t-1))+C₂r₁(P_gd-x_id(t-1))            (2)

x_id(t)＝x_id(t-1)+v_id(t)                                             (3)

式中，i＝(1，2，…，m)，d＝(1，2，…，D)；ω是非负常数，称为惯性因子，它也可以随着 迭代线性地减小，取值一般在[0.8，1.2]之间；学习因子C₁和C₂是非负常数，一般为2；r₁和r₂是介于[0，1]之间的随机数；v_id∈(-v_max，v_max)，v_max是常数，要根据调整的不同参数来定。

(5)确定最优解。(2)-(4)过程是一个循环过程，迭代终止条件根据粒子群目前为止搜索到的最优位置满足适应值的允许范围eps，使其满足

|P_g(t)-P_g(t-1)|＜eps                (4)

(6)输出全局最优解P_g(t)及其对应的X_i(t)，即为我们所得到的最优粒子，转入主程序SVR。

对于整体流程图5中A部分，下面以支撑向量回归预测为主线叙述其过程：

(1)接收输入的样本数据。

(2)将样本数据随机均分成5组，将1组子集数据做验证集，同时其余的4组子集数据作为训练集合。

(3)对训练集4组子集，应用PSO算法，获得SVR整体最优参数，使得训练集预测值 与其真实值y均方误差最小，见式(1)。其中PSO算法优化过程，首先，粒子和速度初始化，赋予随机值；然后，根据(1)式计算粒子适应度值；根据初始粒子适应度值确定个体极值和群体极值。根据式(2)与式(3)更新粒子速度和位置，够成一个新种群；计算新种群各个粒子的适应度，根据粒子适应度值更新个体极值和群体极值，如此循环下去，直到满足(4)式，获得最优解，即SVR最佳参数。

(4)利用最佳参数，用训练集样本训练SVR，获得最优拟合超平面 

${\hat{f}}_j\left(x\right)=\underset{i=1}{\overset{l_j}{\mathrm{\Σ}}}({\mathrm{\α}}_{\mathrm{ij}}^{*}-{\mathrm{\α}}_{\mathrm{ij}})K(x_{\mathrm{ij}},x)+b_j,x\∈{\mathrm{\Ω}}_j$

(5)将训集样本带入最优拟合超平面 

获得预测值 计算训集样本预测值 

与其真实值y均方误差 其中n₁为训集样本个数。

(6)将测试样本带入最优拟合超平面f(x)，获得测试样本预测值 计算测试样本预测值 

与其真实值y均方误差 

其中n₂为训集样本个数。

(7)得到整体样本集拟合预测均方误差 

实施例1

在自动交易系统中，交易量加权平均价格(Volume Weighted Average Price VWAP)是量化常用的一个基准，其定义量是某一确定时段中的总交易金额除以相应的总交易量。VWAP模型是一个执行策略，它把母单分割成为许多小的子单，并在一个指定的时间段内逐步送出去。目的就是使得在指定时间段所执行的订单的VWAP值低于或者等于市场上相应时间段的VWAP值。这样做的效果就是降低了大单对市场的冲击，改善了执行效果；同时增加了大单的隐秘性。VWAP模型做到这一点的关键是使用历史数据和实时市场数据。VWAP模型要求系统能够得到即时的第二级市场数据。这种第二级市场数据在欧美市场非常普遍，但在亚洲市场、即便是香港市场都不容易拿到。为此我们只有利用已有的数据，然后根据现在当前的市场，比如5分钟前股票市场的VWAP交易量加权平均来预测5分钟后股票市场的VWAP交易量加权平均，下面根据本发明详细叙述了这个预测过程。

假设当前交易量加权平均价格(VWAP)为y，它与五分钟前的开盘指数，指数最高值，指数最低值，收盘指数，交易量，交易额，VWAP交易量加权平均价格相关，用符号表示为：x(t)＝{OPNPRC(t-5)，HIPRC(t-5)，LOPRC(t-5)，CLSPRC(t-5)，NSHRTRD(t-5)，NVALTRD(t-5)，VWAP(t-5)}y(t)＝VWAP(t)

由x(t)来预测y(t)，本发明结合附图说明如下：

(1)用户提交某股票数据(x(t)，y(t))给数据预处理模块，数据预处理模块对数据归一化处理，并将数据随机分成四份，前三份作为预测训练数据，最后一份作为预测测试数据；数据VWAP归一化后结果如图6所示，在这里归一区间为[1，2]。

(2)将数据空间按照星期为单位，5分钟交易量(220个记录)划分各个数据子空间。

(3)在每个子空间上基于粒子群支持向量回归的智能滑动控制器自动筛选输出局部最优拟合超曲面，并存储。

在每个子空间，共有六个并行控制器，分别对应核函数库中的线性核函数、多项式核函数、径向基核函数、Sigmoid核函数和傅里叶核函数，每个控制器分别利用粒子群方法选取支持向量回归最优参数进行模型拟合，其详细过程见图5，粒子群支持向量回归算法流程解释部分。粒子群方法自身的初始调节参数为c₁＝2，c₂＝1.7，终止代数＝100，种群数量pop＝10， 其适应度为拟合均方最小误差MSE。最终六个并行控制器选定误差最小者为选定的核函数，保存其参数和输出超曲面。比如：测定某星期的VWAP记录，得到支持向量回归中最优控制器为高斯核函数控制器，粒子群方法选取支持向量回归最优最优参数为Best c＝1.3717，Bestε＝0.38072，Best g＝0.17421，获取最小拟合误差为miniMSE＝0.020992，训练时间为t_train＝5.5950，同时存储该星期最优拟合曲面 

及其系数α_ij， 

b_j。

(4)子空间连接

在相邻两个子空间Ω_j、Ω_j+1上，最优拟合面 

和 

端点间，应用拉格朗日三点插值进行连接。如表2所示， 

与 

在同一端点处拟合值不同，表中u为数据点，v为粒子群支持向量回归算法后拟合的值，选定 

靠近端点最后两点和 

端点，共计三点，在x∈[u₁，u₃]间，拉格朗日三点插值有：

$f_j\left(x\right)=\frac{\left({x-u}_2\right)\left({x-u}_3\right)}{(u_1-u_2)(u_1-u_3)}{v}_1+\frac{\left({x-u}_1\right)\left({x-u}_3\right)}{(u_2-u_1)(u_2-u_3)}{v}_2+\frac{\left({x-u}_1\right)\left({x-u}_2\right)}{(u_3-u_1)(u_3-u_2)}{v}_3$

子空间连接后，输出整体决策函数 并存储。

表2子空间端点处拟合示意点

(5)将预测测试数据x带入函数 

模型，系统自动计算各个子空间中 

的误差，选定误差最小的曲面为最优拟合曲面，获取数据x的预测值 

(6)将预测值 

反归一化后，还原输出。例如：将此股票2011年3月10日5分钟数据带入函数 模型，得到交易量加权平均价格(VWAP)，其预测效果如图7所示，回归预测值与原值之间的误差见图8所示。

Claims (4)

1.一种非线性核化自适应预测方法，其特征是依次包括以下六个步骤：数据预处理、子空间划分、子空间自适应拟合控制、子空间连接、新样本预测和预测输出；数据经过预处理后，将数据整体空间剖分为若干个连续的子空间，在每个子空间上基于粒子群支持向量回归的智能滑动控制器，自适应选择最优核和参数，构造局部最优拟合超曲面，进而利用拉格朗日三点插值加以连接，以形成最终的全空间回归预测函数，然后对新数据进行预测、输出；具体步骤如下：

(1)数据预处理，用户提交预测请求的数据(x，y)给数据预处理模块；数据预处理模块对数据归一化处理，并将数据随机分成四份，前三份作为训练数据，最后一份作为预测测试数据；

(2)子空间划分，捕捉训练数据x各个维度的最大值max和最小值min，将其等距离地划分为t个连续的子空间Ω_i，i＝1，2，...，t，使得各个子空间区间度为

子空间Ω_i∩Ω_j＝Φ，i≠j；

(3)子空间自适应拟合控制，在每个子空间Ω_j上基于粒子群支持向量回归原理，通过自适应智能滑动控制器，筛选输出局部最优拟合超曲面

这里，α_ij和为SVR的非负Langrange乘子，b_j为最优拟合面的平移分量，K(·)为选择的核函数，l_j为子空间Ω_j中的训练样本数，x_ij为子空间Ω_j中第i个训练样本；

(4)子空间连接，将各个拟合超曲面

在边界附近构造一个缓冲区域，在该缓冲区域中，对相邻子空间Ω_j、Ω_j+1的最优拟合面

和

端点，应用拉格朗日三点插值逐步拟合连接全空间Ω，形成整体拟合函数

(5)新样本的预测，将预测测试数据x带入函数

模型，系统自动计算各个子空间中的误差，选定误差最小的曲面为最优拟合曲面，获取数据x的预测值

(6)将预测值

利用反归一化方法后，还原输出。

2.根据权利要求1所述的一种非线性核化自适应预测方法，其特征在于，所述的粒子群支持向量回归的智能滑动控制器，是一种并行核控制逼近器，能自动调节支持向量回归非线性参数，筛选出满足数据性能要求的核；所述的控制器由三个要素组成：1)并行核候选控制器集合{C₁，C₂，...C_k}；2)评价各个控制器的性能指标的决策器；3)控制器切换机P；

在子空间Ω_j上，每个粒子群支持向量回归自适应智能滑动控制器C_i(i＝1，2，...，k)对应核函数库中的一个核函数K(x，x′)，应用粒子群支持向量回归模型，获取最优参数组合

以及子空间Ω_j上样本集拟合预测均方误差

通过评价的决策器来评价C₁，C₂，...，C_k的性能，均方误差MSE_k最小的控制器C_k为最优；控制器切换机P自动切换至均方误差最小的控制器C_k上，同时输出被控对象的拟合超曲面 ${\hat{f}}_k\left(x\right)=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\α}}_i^{*}-{\mathrm{\α}}_i)K(x_i,x)+b,$ 并存储。

3.根据权利要求1所述的一种非线性核化自适应预测方法，其特征在于，所述的粒子群支持向量回归自适应智能滑动控制器，对应核函数库中的线性核函数、多项式核函数、径向基核函数、Sigmoid核函数或傅里叶核函数，是并行粒子群支持向量核函数逼近控制器。

4.根据权利要求1所述的一种非线性核化自适应预测方法，其特征在于，所述的拉格朗日三点插值逐步拟合的三点是指子空间超曲面末端缓冲区的起始点、相邻子空间超曲面起始点和它们的中间点，即，设子空间Ω_j缓冲区域设为[x_j-Δx，x_j]，这三点为u₁＝x_j-Δx， $v_1=\hat{y}(x_j-\mathrm{\Δx});$ u₂＝x_i-Δx/2， $v_2=[\hat{y}(x_j-\mathrm{\Δx})+\hat{y}\left(x_j\right)]/2;$ $u_3=x_j,v_3=\hat{y}\left(x_i\right),$ Ω_j与Ω_j+1连接曲线为 $f_j\left(x\right)=\underset{k=1}{\overset{3}{\mathrm{\Σ}}}\left(\underset{i\≠k}{\overset{3}{\underset{i=1}{\mathrm{\Π}}}}\frac{\left({x-u}_i\right)}{(u_k-u_i)}\right)v_k.$

Images