CN102024180B - 一种基于支持向量机的参数自适应的运动预测方法 - Google Patents

Abstract

本发明公开了一种基于支持向量机的参数自适应的运动预测方法，包括：(1)将样本数据转化为SVM训练预测的标准动态序列数据格式，并对数据极值归一化，得到的极值归一化值后加上小数ω；(2)在对数空间坐标系网格中用最小均方误差原则进行三像素宽度直线搜索，找到最优参数组合，得到最优预测模型；(3)实时采样颤振数据，采样k个颤振位移，用步骤(2)得到的最优预测模型进行SVM实时预测得到颤振位移。本发明的基于支持向量机的参数自适应的运动预测方法，计算精度和计算效率非常高，可以用于各种基于SVM的回归拟合和预测领域，不仅能摒弃以往人为调整参数的繁琐，还能同时满足精度和效率的要求，很好地实现了自动化智能化。

Description

一种基于支持向量机的参数自适应的运动预测方法

技术领域

本发明属于计算机人工智能技术领域，具体涉及一种基于支持向量机的参数自适应的运动预测方法。

背景技术

运动预测是指对历史数据进行建模分析总结出运动规律对未来的运动轨迹进行提前预测，在很多领域得到重要的研究和应用，如机器人运动控制、移动目标搜索跟踪、视频图像处理和压缩、成像系统的稳像技术、地震天气预测和移动网络用户位置预测等。而支持向量机是现今用于建模学习实现预测的有效工具。

支持向量机(Support Vector Machine，SVM)是1970年代Vapnik结合统计理论的VC维数理论和最小风险化原则提出的机器学习新方法，该方法针对有限小样本信息仍然具有很好的泛化能力。SVM其实是一个凸二次规划问题，解决了神经网络的过学习和陷于局部最优解的难题，同时由于采用了核函数将数据向高维空间映射，将非线性问题转换成线性的二次规划问题，有效地克服了维数灾难。支持向量机，在模式识别(字符识别、文本自动分类和人脸检测等)、图像分类和检索、函数逼近、时间序列预测、故障识别和预测、信息安全、电力系统电力电子和控制论领域都得到广泛应用。

然而SVM的性能很大程度上取决于参数的选择，因此核参数的准确选择是SVM精准预测的关键步骤，也是SVM的研究领域的热点和难点。早期遗传算法、混沌算法和人工免疫方法都相继用到参数自适应优化，但是这些算法不仅复杂而且准确率和适用性上都有针对性，没有普适性，没有得到广泛应用和认可，大多仍采用高精度低效率的网格搜索和交叉验证(Cross Validation，CV)相结合的方法来实现支持向量机参数优化。本发明提出了一种启发式的近似直线搜索方法来寻找到最优的支持向量机参数。

发明内容

本发明提供了一种基于支持向量机的参数自适应的运动预测方法，该方法运算效率和运算精度均较高。

一种基于支持向量机的参数自适应的运动预测方法，包括：

(1)根据预测模型的需要建立SVM标准动态序列数据格式，确定连续数据个数k和预测时间间隔大小m，将得到的N个随时间变化的颤振位移样本数据转换为SVM标准动态序列数据格式，并对数据极值归一化，得到的极值归一化值一致加上小数ω，最后得到处理后的样本数据；

(2)对经步骤(1)得到处理后的样本数据，在SVM参数对数空间坐标系[C’γ’]网格中用最小均方误差原则进行三像素宽度直线搜索训练，找到最优参数对[C^*γ^*]，该最优参数对所对应的模型即为最优预测模型；具体步骤为：

(i)对网格中心点处45度方向上的若干近邻点和中心点进行SVM训练预测，其中交叉验证误差最小点，即为近似直线的一个端点A；

(ii)对网络两个邻边上的点进行SVM训练预测，搜索得到的最小交叉验证误差点即为近似直线的另一个端点B；

(iii)计算由端点A和端点B确定的直线的斜率，在该条直线的上下三个像素宽度的范围内搜索训练，得到交叉验证误差最小的点，即为最优参数对[C^*γ^*]；

(3)先实时采样k个颤振位移，组成k个宽度的动态窗口，并按同步骤(1)中的方法进行归一化处理，然后一致加上ω，用步骤(2)得到的最优预测模型来预测m个时刻后的颤振位移，输出预测值；进行下一次预测时，将动态窗口的每一个数据往前移一位，同时将实时采样到的这个时刻的颤振数据填入动态窗口最后一位，用步骤(2)中求得的最优预测模型进行预测，如此反复数据采样更新动态窗口实现连续实时预测，并输出预测值；输出的预测值都需要反归一化处理得到实际的颤振位移预测值；

上述步骤中ω满足：0.005≤ω≤0.02。

本发明采用交叉验证方法(cross validation，CV)来进一步提高SVM训练预测的精度，交叉验证方法是将样本测试数据分成n个子集，每个子集轮流作为测试集，n-1个子集一起作为训练集进行n次训练预测分析，比较n次的预测结果找到最好的预测模型，因此SVM评价指标采用的是交叉验证误差(CV-error)。

本发明首先通过对大量的回归样本数据用高准确率的网格搜索方法进行基于最小CV-error判断准则的各种不同条件的SVM训练预测试验，得到大量的[C’γ’]-Error(网格交叉误差分布图)，如图3所示网格上每个点代表一个参数对[C’γ’]，该点的颜色深浅代表该点对应CV-error大小，越深误差越小。对这些网格交差误差分布图分析发现：支持向量机的主要参数惩罚因子C和核宽度γ的参数对[C’γ’]呈现好区近似直线规律。该规律是指支持向量机回归参数对[C’γ’]在对数坐标系网格上存在一个以网格中心点作为中心向网格固定角(右下角)方向辐射的呈彗星状的好区，如图3所示，该彗星状好区的SVM训练预测结果精确度都比较高，训练精度越高对应的CV-error值越小，网格的颜色越深，好区精度更高的点分布近似为有一定宽度的直线，如图4所示，该近似直线的一个端点在[C’γ’]网格中心点附近，另一端点在网格的两邻边上。

支持向量机(SVM)主要用来解决分类问题和回归问题，其中回归问题最后可以等价转换为分类问题来求解。SVM回归问题解决的核心思想是通过映射函数ψ(X)将原本呈非线性规律分布的数据映射到高维空间，非线性问题转换为二次线性规划问题，如图1所示，圆点和方点分别代表两类样本，将在二维空间中寻找椭圆曲线转换为在三维空间寻找平面的线性问题。解决这个线性问题便是寻找最优超平面，最优超平面不仅使各类数据分割开来，而且保证分类间隔最大，如图2所示，H为分类平面，H1、H2分别为平行于分类平面并距离各类样本最近的平面，这两个平面的距离叫做分类间隔。

对于线性可分问题，设给定的训练集为{(X₁，y₁)，(X₂，y₂)，...，(X_n，y_n)}，其中X_i＝(x₁，x₂，...，x_k)∈Rⁿ，为输入向量，即样本的k个属性，输出向量为y_i∈(-1，1)，即两类y_i＝1和y_i＝-1。如果该训练集可以被一个超平面线性划分，假设该超平面为W·X+b＝0，其中W·X为两个向量的内积，则该最优超平面能使得所有的点到该平面的距离之和最小，或者分类间隔最大，分类间隔可以表示为

|| ||²表示二阶范数，即求解最大间隔超平面的优化问题。

对于回归问题，目标函数表示为f(X)＝W·ψ(X)+b，考虑到SVM的学习性能和泛化能力，引入松弛变量ξ和惩罚因子C，并采用Vapnik提出的ε不敏感损失函数作为判断函数，ε是指超平面可以水平移动的范围，也就是容许的最大分类错误范围为2ε，这个区域(误差e小于ε)的误差e忽略不计，否则将误差e用惩罚因子C作为权重系数加入到目标函数中，惩罚因子越大，误差增大引起的目标函数值的增大量越多，优化难度加大。最大间隔超平面优化问题表述为：

$\left\{\begin{array}{c}\min 0.5{\left|\right|W\left|\right|}^2+C\·{\mathrm{\Σ}}_{i=1}^n{\mathrm{\ξ}}_{i}c\≥0\\ s.t.W\·\mathrm{\ψ}\left(X\right)+b\≥y_i-\mathrm{\ϵ}-{\mathrm{\ξ}}_i\\ W\·\mathrm{\ψ}\left(X\right)+b\≤y_i+\mathrm{\ϵ}+{\mathrm{\ξ}}_i\\ {\mathrm{\ξ}}_i\≥0,i=1,...,l\end{array}\right.---\left(1\right)$

式(1)的第一个式子表示使分类间隔最大化，第二个式子是准确分割的约束条件，即在超平面之上的为y_i＝1类，在超平面之下的为y_i＝-1类。

该优化问题通过Lagrange函数引入Lagrange因子α_i可以转化为其对偶问题：

$\left\{\begin{array}{c}{\min }_{\mathrm{\α}}\frac{1}{2}{\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^n{y}_i{y}_j{\mathrm{\α}}_i{\mathrm{\α}}_{j}K(X_i,X_j)-{\mathrm{\Σ}}_{i=1}^n{\mathrm{\α}}_i\\ s.t.{\mathrm{\Σ}}_{j=1}^n{y}_j{\mathrm{\α}}_j=\mathrm{0,0}\≤{\mathrm{\α}}_i\≤C(i=\mathrm{1,2},...,n)\end{array}\right.---\left(2\right)$

求解该对偶问题得到最优拉格朗日因子α^*＝(α₁ ^*，α₂ ^*，...，α₁ ^*)，其中，α_i≠0，1是训练样本点中支持向量的个数。该分类问题的判断函数可以表示为：

$f\left(X\right)={\mathrm{\Σ}}_{i=1}^l({\mathrm{\α}}_i^{\′*}-{\mathrm{\α}}_i^{*})K(X_i,X_j)+b---\left(3\right)$

其中K(X_i，X_j)为核函数，定义为

K(X_i，X_j)＝ψ(X_i)·ψ(X_j)                (4)

从式(2)(3)可以看出，求解SVM分类问题不需要知道具体维度变换ψ(X)和高维空间，只需要知道核函数内积K(X_i，X_j)和惩罚因子C，便可以求出超平面解决分类问题。

现在较常见的核函数有以下四种：

线性核：K(X_i，X_j)＝X_i·X_j

多项式核：K(X_i，X_j)＝(X_i·X_j+1)^d

径向基核：K(X_i，X_j)＝exp(-γ||X_i-X_j||)²

Sigmoid核：K(X_i，X_j)＝tanh(C₁(X_i·X_j)+C₂)

在这四种核函数中，RBF核(径向基核函数)对低维高维小样本大样本等情况均使用，具有较宽的收敛域，是比较常用和理想的分类函数。采用RBF核求解分类问题只需要确定核宽度γ、惩罚因子C和ε。选择合适的核宽度γ将数据映射到合适的空间利于线性规划和最佳的支持向量机个数。惩罚因子C的作用是在确定的高维空间中调节支持向量机的置信范围和经验风险的比例。ε是指容许的最大分类错误范围为2ε，影响训练时间。不同ε对应得到的最优参数[Cγ]不一样，而且改动ε，SVM所有数据预存矩阵信息要重新训练保存，训练搜索时间会增加。因此本发明的三步搜索过程取恒定值ε＝0.01。

综上所述，交叉验证SVM和参数对好区进直线规律用到运动预测的步骤如下：

(1)根据预测模型的需要建立SVM标准动态序列数据格式，将采样得到的N个随时间变化的颤振位移样本数据转化为SVM标准动态序列数据格式(如表1所示)，并对数据极值归一化，为了更好的反应数据的分布特征提高SVM预测精度，数据归一化后一致加上小数ω，0.005≤ω≤0.02，ω一般取0.01；

(2)对数空间坐标系[C’γ’]网格中最小均方误差原则进行三像素宽度近似直线法搜索训练，用CV-SVM训练预测找到最优参数组合[C^*γ^*]，得到最优预测模型，其中最优参数[Cγ]的三像素宽度近似直线搜索方法如下(如图4所示)：

(i)由于网格中心点[00]处45度方向的左右近邻若干点(如图4所示LQ线上的五个‘o’标记点)必与近似直线相交，这若干必有一点在近似直线上，因此在该五点范围内以最小CV-error准则搜索第一个点A(图4实心标记点)；

(ii)在网格的两个邻边范围(图4黑粗虚线所标定的范围)进行SVM训练预测搜索得到CV-error最小的点为直线的另一个端点B(图4实心标记点)；

(iii)三像素宽度直线搜索：计算上面的两个点确定的直线的斜率，在该条直线的三个像素宽度的范围内搜索CV-error最小的点位最优参数对[C^*γ^*](图4所示‘+’标记点)，利用SVM训练预测对步骤(1)得到的样本数据训练得到最优预测模型；

(3)实时读入对时间变化的颤振位移数据，作为属性数据形成动态滑动窗口，用最优预测模型来实时预测m个时刻后的颤振位移大小。

本发明的基于支持向量机的参数自适应的运动预测方法，采用三像素宽度近似直线搜索方法实现了SVM参数自适应优化，而且计算精度和计算效率非常高，可以用于各种基于SVM的回归拟合和预测领域，该方法不仅能摒弃以往人为手动调整参数的繁琐，还能同时满足精度和效率的要求，很好地实现了自动化智能化。

附图说明

图1为本发明中利用支持向量机将非线性问题转换为二次线性规划问题的图解示意图；

图2为图1的线性划分图；

图3为对数空间坐标系的好区和近似直线分布图；

图4为对数空间坐标系的近似直线搜索图解；

图5为实施例部分时间序列的预测结果图；

图6为图5预测结果的误差图。

具体实施方式

本发明支持向量机的参数自适应用于运动预测的具体步骤如下：

(1)根据预测模型的需要建立SVM标准动态序列数据格式，确定连续数据个数k和预测时间间隔大小m，初始化设置为：k＝12，m＝3，如表1所示格式采用的是用连续的k个数据预测m个时刻后的颤振位移的模型；将预先采样好的N(N＝300)个随时间颤振的位移数据转换为如表1所示的SVM回归预测的标准动态序列数据格式，并对所有数据用公式

进行归一化，然后均加上小数0.01，SVM回归预测核函数选择RBF核，ε取0.01。

表1

(2)将[Cγ]转换到对数空间坐标系[C’γ’]，即[(2^-10:2¹:2¹⁰)(2^-10:2¹:2¹⁰)]的范围映射为[(-10:1:10)(-10:1:10)]步长均为1的21×21的网格，然后在[C’γ’]网格中，确立近似直线好区范围并对该近似直线范围进行搜索找到最优参数对：

如图4所示，首先在网格中心点[00]处，于45度方向的直线LQ上找左右近邻两点([-2 -2][-1 -1][0 0][1 1][2 2])进行SVM训练预测，反归一化得到CV-error最小点即为近似直线的一个端点A；第二步在网格的两个邻边(C’＝10，γ’＝-10:1:5)和(γ’＝-10，C’＝-5:1:10)上进行这30个点的SVM训练预测搜索得到的最小CV-error即为近似直线的另一个端点B，最后以上面的两个点A和B为端点计算近似直线的斜率，确定直线方程，并以一个自变量x对应一个输出变量y和其近邻(y+1，y-1)两点，相当于一条直线扩宽三像素宽度。在此近似直线的三像素宽度范围内进行交叉验证SVM训练预测，最小CV-error对应的参数对即为最优参数[C^*γ^*]，用最优参数[C^*γ^*]对样本数据进行SVM训练得到最优的预测模型；

(3)实时采样颤振数据，采样k个颤振位移，组成k个宽度的动态窗口，并按步骤(1)样本数据的方法进行归一化加上0.01，用上一步得到的预测模型预测m个时刻后的颤振位移大小，最后反归一化得到颤振位移预测值。进行下一次预测时，首先将动态窗口的每一个数据往前移一位，实时采样这个时刻的颤振数据，填入动态窗口最后一位，用预测模型进行预测，如此反复数据采样更新动态窗口实现连续实时预测。

最终动态预测结果图如下图5和图6所示：其中o点为实际值，+点为预测值，由测试结构可知本发明的基于支持向量机的参数自适应的运动预测方法可以很好地实现动态预测，预测误差约为0.1。利用支持向量机用网格搜索来寻找最优化参数需要对21×21＝441个点搜索，而三像素宽度近似直线搜索只需要5+15×2+10×3＝65个点进行搜索，运算效率得到很大的提高，而精度没有降低。

Claims (3)

1.一种基于支持向量机的参数自适应的运动预测方法，包括：

(1)根据预测模型的需要建立SVM标准动态序列数据格式，确定连续数据个数k和预测时间间隔大小m，将得到的N个随时间变化的颤振位移样本数据转换为SVM标准动态序列数据格式，并对数据极值归一化，得到的极值归一化值一致加上小数ω，最后得到处理后的样本数据；

(2)对经步骤(1)得到的处理后的样本数据，在SVM参数对数空间坐标系[C’γ’]网格中用最小均方误差原则进行三像素宽度直线搜索训练，找到最优参数对[C^*γ^*]，该最优参数对所对应的模型即为最优预测模型；

该步骤中，所述的最优参数对[C^*γ^*]的获得步骤为：

(i)对网格中心点处45度方向上的若干近邻点和中心点进行SVM训练预测，其中交叉验证误差最小点，即为近似直线的一个端点A；

(ii)对网络两个邻边上的点进行SVM训练预测，搜索得到的最小交叉验证误差点即为近似直线的另一个端点B；

(iii)计算由端点A和端点B确定的直线的斜率，在该条直线的上下三个像素宽度的范围内搜索训练，得到交叉验证误差最小的点，即为最优参数对[C^*γ^*]；

(3)先实时采样k个颤振位移，组成k个宽度的动态窗口，并按同步骤(1)中的方法进行归一化处理，然后一致加上ω，用步骤(2)得到的最优预测模型来预测m个时刻后的颤振位移，输出预测值；进行下一次预测时，将动态窗口的每一个数据往前移一位，同时将实时采样到的这个时刻的颤振数据填入动态窗口最后一位，用步骤(2)中求得的最优预测模型进行预测，如此反复数据采样更新动态窗口实现连续实时预测，并输出预测值；输出的预测值都需要反归一化处理得到实际的颤振位移预测值；

上述步骤中ω满足：0.005≤ω≤0.02。

2.根据权利要求1所述的基于支持向量机的参数自适应的运动预测方法，其特征在于，所述的ω取0.01。

3.根据权利要求1所述的基于支持向量机的参数自适应的运动预测方法，其特征在于，所述的SVM训练预测过程中使用的核函数为径向基核函数，所述的径向基核函数中参数ε取恒定值0.01。

Images