CN102982373A - 一种混合svm回归算法的oin神经网络训练方法 - Google Patents

Abstract

本发明公开了一种混合SVM回归算法的OIN神经网络训练方法，主要包括以下步骤：OIN前向传播部分；SVM回归部分；OIN后向传播部分；经过多次训练后最终得到一个优化的OIN/SVM混合模型，在测试阶段，将测试样本输入到优化后的OIN/SVM混合模型中，就得到预测结果，从而实现对样本的分类的预测或回归的预测。本发明采用最新设计的OIN人工神经网络训练方法，该方法可以大大提高传统后播算法的收敛性。

Description

一种混合SVM回归算法的OIN神经网络训练方法

技术领域

本发明涉及数据分析方法，尤其涉及一种混合SVM回归算法的OIN神经网络训练方法。

背景技术

人工神经网络（ANN，Artificial Neural Network）是一种优化的机器学习方法，并被广泛应用到各种数据分析领域中，来替代或补充基于多项式的回归分析和分类。现有的神经网络应用只能限定在含有少量设计参数的简单设计中，其用于建模的所需数据集规模应随设计参数的数量呈几何或指数级增加，因此，一个神经元分析需要具有大量充分的密度分布和实验数据，而另一方面，计算成本也相应增加，而在设计空间中的大量数据的低效利用也可能导致计算成本的过度浪费。

利用人工神经网络ANN来分析一个物理对象，优化在特定物理环境对象的反应，是非常常见的方法。人工神经网络ANN适合于多维数据的插补并提供合理的数学模型，即对现实的物理对象用复杂和精确的一系列数值解进行表达和优化。人工神经网络ANN尤其适合于需要满足多个设计条件的情况。

在人工神经网络ANN中，一个前向感知机人工神经网络（MLP ANN，Multilayer PerceptronArtificial Neural Network）是一种非线性估计技术。使用MLP ANN的困难来自于需要对连接权值进行非线性优化。当网络结构增大时，训练过程的成本可能非常高。因此，MLP ANN只适合小网络，且MLP ANN的优化主要是Newton法，这种算法的缺点是得到的优化都是局部的，无法实现全局优化。另外，某种程度上，MLP ANN采用Sigmoidal函数作为激活函数，这种函数在很多数据建模中不一定是最合适的基函数。

为了减少底层函数和激活函数间的差异性，一些神经网络，例如RBF神经网络，提供了一个从输入空间到特征空间的非线性转化。这个高维的特征空间可以通过包含特征空间坐标的kernel函数得到。从单变量输入空间到输出空间的全部映射就是特征空间的一个超平面。例如，对于一个需要具有线性项和二次项的输出空间，输入空间变量可以通过内积的kernel函数模型来得到。这种方法需要具有特征空间中输入和输出间的函数关系的先验知识。

为了解决人工神经网络ANN的局部最优问题，一种常见的方法是采用支持向量机SVM的方法。SVM法原本应用于统计学习理论，现在已经被开发和应用到各种分类和回归问题中。SVM可以很好得解决稀疏训练数据集的问题，并且利用高维特征空间来解决非线性分类。另一个SVM的好处是目标函数是凸包的，所以SVM得到的局部最优解通常也是全局最优解。这一点是多数神经网络所不具备的。然而，传统SVM方法对特征空间，即kernel函数（如多项式、Gaussian等）的选择也必须具有先验知识并预定义出来，而且当训练数据集过大时，需要计算成本来划分子集以实现模型的可用性。

现有一种将ANN分析和SVM分析相结合的混合机制，可以满足上述所有的需要。通过这种机制，学习过程不仅不需要提供对非线性函数的先验知识来实现非线性分析，而且利用了SVM实现全局最优的特点。但是根据该机制描述的输出是由SVM分类算法直接得到的一个布尔型的类别值，而布尔值在很难应用到神经网络的后向传播过程中；因此，该机制并没有具体指出ANN-SVM是如何进行训练并如何实现权值修正。

本发明适用于解决数据分析方面的相关问题，例如，图像分割中的颜色恒常性问题，即在不同光照影响下的图像分割问题，现有的图像分割没有利用学习算法，仅仅利用颜色空间的转换，在复杂的光照影响下，达不到理想的要求。

发明内容

本发明的目的就是为了解决上述问题，提出了一种混合SVM回归算法的OIN神经网络训练方法。该方法利用一种优化的快速收敛MLP ANN算法—优化输入向量规格化神经网络（OIN，optimal input normalization）和SVM回归算法相结合，实现多分类和回归分析，是对现有SVM/ANN的机制具体实现和优化。

为了实现上述目的，本发明采用如下技术方案：

一种混合SVM回归算法的OIN神经网络训练方法，主要包括以下步骤：

Step（1）：初始化部分，对输入样本值进行归一化，产生初始隐含层权值，并计算出隐含层神经元的输入值，根据隐含层神经元采用的激活函数得到相应的隐含层神经元输出值；

Step（2）：根据类别数M和原始样本的类别，利用输出重定向OR建立各个原始样本相应的MLP分类训练的M维理想分类向量；

Step（3）：根据类别数M建立M个SVM回归分析模型，每个SVM回归分析模型的输入向量是Step（1）得到的隐含层神经元输出值，而每个SVM回归分析模型的理想输出值是Step（2）建立的M维理想分类向量的其中一个元素；

Step（4）：SVM回归训练：分别对M个SVM回归分析模型进行训练，得到M个SVM回归分析训练模型；

Step（5）：根据训练后的SVM回归分析训练模型进行SVM回归预测；

Step（6）：OIN后向传播部分。将Step（5）的SVM回归预测结果进行组合得到一个新的分类向量，并通过比较M维理想分类向量，采用OIN后向传播算法对权值进行调整；

Step（7）：迭代下一次训练，根据调整后的新的隐含层权值再回到Step（1）中，计算出新的隐含层神经元输入，继续Step（2）-（7），直至训练周期结束或达到理想值时结束；经过反复迭代最终得到一个优化的OIN/SVM混合模型。

在测试阶段，将测试样本输入到优化后的OIN/SVM混合模型中，就得到预测结果，从而实现对样本的分类的预测或回归的预测。

所述Step（1）细分为如下具体步骤：

Step（1.1）:通过使用正态分布随机函数初始化隐含层权值向量W_ih，即从第i个到第h个权值；归一化所有输入向量为零均值；

Step（1.2）:对每一个输入样本计算出其在各个隐含层神经元的输入值并对这些神经元输入值进行归一化处理；

Step（1.3）:根据神经元的激活函数计算出各个隐含层神经元的输出值。

所述Step（1.2）神经元的输入值的计算为

$n_p\left(k\right)=\underset{i=1}{\overset{N+1}{\mathrm{\Σ}}}{w}_{\mathrm{ih}}(i,k)x_p\left(i\right)={\left(W_{\mathrm{ih}}\right)}^T{x}_p---\left(1\right)$

其中，n_p(k)表示第p个样本在第k个隐含层神经元的输入值；W_ih为连接输入层和隐含层的隐含层输入权值向量；x_p是第p个样本的输入向量；i代表输入向量的第i个元素的索引号，k代表第k个隐含层神经元的索引号。

所述Step（1.2）中的神经元控制就是将计算得到的n_p(k)控制在[-0.5，0.5]，从而保证了训练算法的可导性；n_p(k)表示第p个样本的第k个隐含层单元的输入值。

所述Step（1.3）中神经元的输出值为

O_p(k)＝f(n_p(k))      （2）

这里,f(·)代表了一个隐含层神经元非线性激活函数—Sigmoid函数，O_p(k)表示神经元的输出值，n_p(k)表示第p个样本的第k个隐含层神经元的输入值。

$f\left(n_p\left(k\right)\right)=\frac{1}{1+e^{{-n}_p\left(k\right)}}---\left(3\right)$

Step（2）中的OR代表了输出重定向（Output Reset）。为了能够利用最小均方差法来训练人工神经网络实现分类功能，本发明根据第p个样本所属的类别设定一个浮点数型的理想输出向量，即t_p=[t_p(1),t_p(2),…,t_p(M)]，M为类别总数。如果用C_p代表了类别，k代表了向量分量的索引号，则只有与第p个样本所属类别号C_p在相同的索引号所对应的分量值为1，其他分量值为0，即设定第p个样本的理想输出向量的第k个分量为

$t_p\left(k\right)=\left\{\begin{array}{cc}1& \mathrm{ifk}=C_p\\ 0& k\≠C_p\end{array}\right.---\left(4\right)$

t_p(k)的参数含义是第p个样本的第k个分量的理想输出。

所述Step（4）分为如下步骤：

Step（4.1）：选择某个kernal函数，在确定的复杂性妥协参数C和松弛变量ε下，计算Langruange乘子α^*和b^*；

Step（4.2）：根据全部满足优化条件的乘子，SVM将得到一个高维空间优化权值，从而建立SVM的输出模型y_p。

所述Step（4.1）SVM回归中如果本发明定义误差松弛变量不少于ε，C为复杂性和最小损失的妥协参数，则SVM回归的二次损失函数

$L^{\mathrm{\ϵ}}(x_p,t_p,f)={|t_p-f\left(x_p\right)|}_{\mathrm{\ϵ}}^2---\left(5\right)$

f代表经过SVM训练后得到的模型函数，x_p是第p个样本的输入向量，f(x_p)是参数为x_p的经过SVM训练后得到的模型函数。

这样，对某个参数C和ε的最小化线性损失和为

$\frac{1}{2}{\left|\right|w\left|\right|}^2+C\·\underset{p=1}{\overset{N_v}{\mathrm{\Σ}}}{L}_2^{\mathrm{\ϵ}}(x_p,t_p,f)---\left(6\right)$

这里，w是SVM模型的权值向量；C为复杂性和最小损失的妥协参数；x_p是第p个样本的输入向量；t_p为公式（1）的理想输出和f在这里代表SVM模型函数。

因此，Step（4.2）根据Karush-Kuhm-Tucker互补条件得到下列二次优化求解式为：

$\max \mathrm{imise\; W}\left(\mathrm{\α}\right)={\mathrm{\Σ}}_{p=1}^1{t}_p{\mathrm{\α}}_p-\mathrm{\ϵ}{\mathrm{\Σ}}_{p=1}^1\left|{\mathrm{\α}}_p\right|-\frac{1}{2}{\mathrm{\Σ}}_{i,p=1}^1{\mathrm{\α}}_i{\mathrm{\α}}_{p}K(O_p,O_i)$

$\mathrm{Subject\; to}{\mathrm{\Σ}}_{p=1}^1{\mathrm{\α}}_p=0,-C\≤{\mathrm{\α}}_p\≤C---\left(7\right)$

W(α)是以Langruange乘子为参数的SVM模型权值向量；α_p是第p个样本的Langruange乘子；ε为松弛变量；α_i是第i个样本支持向量的Langruange乘子；O_i是第i个支持向量；O_p是第p样本在隐含层的输出向量，l代表计算得到的支持向量的个数。

这样，根据Step（4.2）得到的满足公式（7）的支持向量的Langruange乘子α^*，本发明得到的系统输出变量y_p为，

$y_p={\mathrm{\Σ}}_{i=1}^1{{\mathrm{\α}}^{*}}_{i}K(O_i,O_P)+b^{*}---\left(8\right)$

其中，b^*为满足y_i-t_i＝ε,

的任意值,O_i是第i个支持向量；O_p是第p样本在隐含层的输出向量，l代表支持向量的个数。

所述Step（6）的OIN后向传播部分中，本发明采用最小均方值作为决策衡量标准，即

$E=\frac{1}{N_v}\underset{p=1}{\overset{N_v}{\mathrm{\Σ}}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{[t_p\left(m\right)-y_p\left(m\right)]}^2---\left(9\right)$

这里，N_v为样本总数；M为输出向量的维数；p为样本号、m为输出向量第m个分量的索引号；t_p(m)是公式（4）设定的理想向量第m个分量的值；y_p(m)为SVM预测得到的输出向量第m个分量的值。

本发明在Step（6）中，采用优化输入规则化（Optimal Input Normalization，简称OIN）人工神经网络进行权值调整。OIN的基本原理是通过一个优化转换矩阵将原始输入变量转化为可以实现最优效果的形式，其优化转化矩阵可以表示为

$A=\left[\begin{array}{cccccc}a\left(1\right)& 0& .& .& 0& b\left(1\right)\\ 0& a\left(2\right)& .& .& 0& b\left(2\right)\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ 0& 0& .& .& a\left(N\right)& b\left(N\right)\\ 0& 0& .& .& 0& a(N+1)\end{array}\right]---\left(10\right)$

这样一个原始的输入变量x_p就可以转化为

即

${\tilde{x}}_p\left(n\right)=a\left(n\right)\·x_p\left(n\right)+b\left(n\right)---\left(11\right)$

a(n)和b(n)分别对应连接输入向量的一般分量x_p(n)和增广分量x_p(N+1)到隐含层各个神经元的权值学习因子。

如果隐含层的神经元数量为Nh，则w_ih(n)是输入向量x_p的第n个分量和隐含层的Nh维连接权值向量，w_ih(N+1)是输入向量x_p的增广分量x_p(N+1)对应的Nh维的权值分量；则优化算法的权值修正公式为

$w_{\mathrm{ih}}\left(n\right)\←w_{\mathrm{ih}}\left(n\right)+a\left(n\right)\·g\left(n\right)+b\left(n\right)\·g(N+1)$

$w_{\mathrm{ih}}(N+1)\←w_{\mathrm{ih}}(N+1)+a(N+1)g(N+1)+\underset{n=1}{\overset{N}{\mathrm{\Σ}}}b\left(n\right)g\left(n\right)---\left(12\right)$

其中，g(n)和g(N+1)分别是权值w_ih(n)和w_ih(N+1)的梯度向量，N是输入向量的维数；

这样，如果a(n)，b(n)，n从1到N，用学习因子向量a,b表示，则a和b就可以通过下列公式表示的Newton法计算得到

$\left[\begin{array}{c}a\\ b\end{array}\right]={{[H}_{\mathrm{ab}}]}^{-1}\left[\begin{array}{c}{G}_a\\ G_b\end{array}\right]---\left(13\right)$

其中，a=[a(1)…a(n)…a(N)]，b=[b(1)…b(n)…b(N+1)]，H_ab代表误差E对输入因子向量a和b的（N+1）*(N+1)维的二阶偏导数矩阵。如果N_v是所有样本的数量，G_a和G_b分别代表误差E对输入因子向量a和b的一阶偏导数向量，G_a的维数是N，G_b为1维，则G_a和G_b分别为

$\left[\begin{array}{c}{G}_a=\frac{\∂E}{\∂a}=\frac{-2}{N_v}\·{\left[\frac{{\∂y}_p}{\∂a}\right]}^T[t_p-y_p]\\ G_b=\frac{\∂E}{\∂b}=\frac{-2}{N_v}\·{\left[\frac{{\∂y}_p}{\∂b}\right]}^T[t_p-y_p]\end{array}\right]---\left(14\right)$

其中，

和

分别对应G_a和G_b的计算式。H_ab的第m行u列的元素值，即h(m,u)，计算为

$\{h(m,u)=h(u,m)=\frac{{\∂}^{2}E}{\∂a\left(m\right)\∂b\left(u\right)}=\frac{{\∂}^{2}E}{\∂a\left(u\right)\∂b\left(m\right)}$

（15）

$\≈2\·\frac{1}{N_v}\underset{p=1}{\overset{N_v}{\mathrm{\Σ}}}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\frac{{\∂y}_p\left(i\right)}{\∂a\left(m\right)}\·\frac{{\∂y}_p\left(i\right)}{\∂b\left(u\right)},$

其中，u＝1…2N+1,m＝1…2N+1分别为H_ab的横纵坐标值；

和

是求解H_ab的计算式；

和

分别对应输入向量y对输入因子向量a和b的一阶偏导数式。

将上述步骤反复迭代，最终，本发明将得到一个优化的OIN/SVM混合模型。在测试阶段，将测试样本输入到优化后的混合模型（如公式（8）所示）中，就可以得到预测结果，从而实现对样本的分类的预测或回归的预测。

本发明的有益效果：

1.通过OIN/SVM混合模型，本发明不仅可以避免MLP人工神经网络不能得到全局最优解的缺点，而且可以避免SVM对kernel函数的先验知识的需求，即使在没有kernel函数先验知识的背景下，本发明也可以通过改变MLP人工神经网络来实现非线性估计。

2.本发明不需要利用SVM分类法直接进行分类，如果利用SVM分类法直接进行分类，其布尔值型的输出结果将很难用于ANN部分的权值调整。

3.本发明首先根据类别，建立针对各个样本的输入向量。然后利用SVM回归来实现分类。其次，本发明采用最新设计的OIN人工神经网络训练方法，该方法可以大大提高传统后播算法的收敛性。

4.本发明除了应用到图像处理领域、信号处理领域，本发明还可以应用到任何需要进行数据分析的场合，如财务的股票预测，天气预报，控制系统和信号处理和分析、数据挖掘、图像分析等。

5.本发明在图像分割的光照恒常性问题上，能够获得具有很好的鲁棒性和适应性的分割效果。

附图说明

图1OIN-SVM系统框架图；

图2OIN-SVM的计算成本和收敛性性能比较示意图；

图3不同光照下的图像影响示意图；

图4不同光照影响下的图像分割结果示意图（左侧对应60%标准光照，右侧对应120%标准光照）。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

本发明的系统结构主要分为两大部分：OIN和SVM两大部分，如图1所示。其中，OIN部分只包含一个隐含层。在图1中，给定N_v个训练样本集{(x_p,t_p)},x_p=[x_p(1),x_p(2),…x_p(N+1)]^T代表第p个样本的增广输入向量，其中，N输入向量的维数，X_p(N+1)是为方便计算隐含层阈值而设的输入向量的一个增广项，x_p(N+1)=1。t_p=[t_p(1),t_p(2),…t_p(M)]^T代表了第p个样本的输入向量，M代表维数；隐含层的神经单元数为N_h，则W_ih={w_ih(i,k)}表示所有的从输入层到隐含层的连接权值，具有N*N_h维，O_p(1),O_p(2),…,O_p(N_h)是各个隐含神经元的输出点节点并将这些输出作为SVM的输入向量。最后，本发明再SVM回归算法计算得到SVM的Lagrange乘子，并得到回归权值w和偏差b，最后计算得到系统输出y_p=[y_p(1),y_p(2),…y_p(M)]^T。

图2是本发明在一个阿拉伯数字手写体数据集上进行训练后得到的一个训练收敛性性能比较图。该数据集由0-9十个数字的3000个手写体样本组成。本实验的SVM部分采用的是LIBSVM回归软件。其中，核函数设为线性函数，容误差ε设为0.01，其余参数为LIBSVM的默认值。本算法主要是与LM-OWO-MLP、OIN-OWO-MLP和OLF-OWO-MLP进行了收敛性和计算成本的比较。其中，LM-OWO-MLP指的是基于Levenberg-Marquardt优化输出MLP算法；OIN-OWO-MLP即未采用SVM的优化输入输出MLP算法；OLF-OWO-MLP是具有单优化学习因子的优化输出MLP算法。从图2中可以看到，整合SVM后的OIN，比原始OIN具有更快的收敛性和几乎不变的计算成本。

图3、图4分别是不同光照对相同目标图像的影响图及不同算法对目标图像分割的效果图。从图4可以看出，相比之下，OLF-OWO-BP的处理效果最差；OIN-OWO-MLP和LM-OWO-MLP执行效果较OLF-OWO-BP好，但仍然存在少量误差尤其是对阴影的影响下图像部分的处理。只有OIN-SVM-MLP不仅能够正确保留对象的细节，而且对阴影部分能够实现准确识别和分割，因此OIN-SVM-MLP对光照影响下的图像分割具有很好的鲁棒性。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种混合SVM回归算法的OIN神经网络训练方法，其特征是，主要包括以下步骤：

Step（1）：初始化部分，对输入样本值进行归一化，产生初始隐含层权值，并计算出隐含层神经元的输入值，根据隐含层神经元采用的激活函数得到相应的隐含层神经元输出值；

Step（2）：根据类别数M和原始样本的类别，利用输出重定向OR建立各个原始样本相应的MLP分类训练的M维理想分类向量；

Step（3）：根据类别数M建立M个SVM回归分析模型，每个SVM回归分析模型的输入向量是Step（1）得到的隐含层神经元输出值，而每个SVM回归分析模型的理想输出值是Step（2）建立的M维理想分类向量的其中一个元素；

Step（4）：SVM回归训练：分别对M个SVM回归分析模型进行训练，得到M个SVM回归分析训练模型；

Step（5）：根据训练后的SVM回归分析训练模型进行SVM回归预测；

Step（6）：OIN后向传播部分；将Step（5）的SVM回归预测结果进行组合得到一个新的分类向量，并通过比较M维理想分类向量，采用OIN后向传播算法对权值进行调整；

Step（7）：迭代下一次训练，根据调整后的新的隐含层权值再回到Step（1）中，计算出新的隐含层神经元输入，继续Step（2）-（7），直至训练周期结束或达到理想值时结束；经过反复迭代最终得到一个优化的OIN/SVM混合模型；

在测试阶段，将测试样本输入到优化后的OIN/SVM混合模型中，就得到预测结果，从而实现对样本的分类的预测或回归的预测。

2.如权利要求1所述的一种混合SVM回归算法的OIN神经网络训练方法，其特征是，所述Step（1）分为如下具体步骤：

Step（1.1）：通过使用正态分布随机函数初始化隐含层权值W_ih，即从第i个到第h个权值；归一化所有输入向量为零均值；

Step（1.2）：对每一个输入样本计算出其在各个隐含层神经元的输入值并对这些神经元输入值进行归一化处理；

Step（1.3）：根据神经元的激活函数计算出各个隐含层神经元的输出值。

3.如权利要求2所述的一种混合SVM回归算法的OIN神经网络训练方法，其特征是，所述Step（1.2）神经元的输入值的计算为

$n_p\left(k\right)=\underset{i=1}{\overset{N+1}{\mathrm{\Σ}}}{w}_{\mathrm{ih}}(i,k)x_p\left(i\right)={\left(W_{\mathrm{ih}}\right)}^T{x}_p---\left(1\right)$

其中，n_p(k)表示第p个样本的第k个隐含层单元的输入值；W_ih为连接输入层和隐含层的隐含层输入权值向量；x_p是第p个样本的输入向量；i代表输入向量的元素的索引号，k代表隐含层单元的索引号；

所述Step（1.2）中的神经元控制就是将计算得到的n_p(k)控制在[-0.5，0.5]，从而保证了训练算法的可导性；n_p(k)表示第p个样本的第k个隐含层单元的输入值。

4.如权利要求2所述的一种混合SVM回归算法的OIN神经网络训练方法，其特征是，所述Step（1.3）中神经元的输出值为

O_p(k)＝f(n_p(k))     （2）

这里，f(·)代表了第k个非线性隐含层激活函数—Sigmoid函数，O_p(k)表示神经元的输出值，n_p(k)表示第p个样本的第k个隐含层单元的输入值；

$f\left(n_p\left(k\right)\right)=\frac{1}{1+e^{{-n}_p\left(k\right)}}---\left(3\right).$

5.如权利要求1所述的一种混合SVM回归算法的OIN神经网络训练方法，其特征是，所述Step（2）中的OR表示输出重定向；根据第p个样本所属的类别设定一个理想的输出向量，即tp=[tp(1),tp(2),…,tp(M)]，M为类别总数；如果用C_p代表了类别，k代表了向量分量的索引号，则只有与第p个样本所属类别号C_p在相同的索引号所对应的分量值为1，其他分量值为0，即设定第p个样本的理想输出向量的第k个分量为

$t_p\left(k\right)=\left\{\begin{array}{cc}1& \mathrm{ifk}=C_p\\ 0& k\≠C_p\end{array}\right.---\left(4\right)$

t_p(k)的参数含义是第p个样本的第k个分量的理想输出。

6.如权利要求1所述的一种混合SVM回归算法的OIN神经网络训练方法，其特征是，所述Step（4）分为如下步骤：

Step（4.1）：选择某个kernal函数，在确定的复杂性妥协参数C和松弛变量ε下，计算Langruange乘子α^*和b^*；

Step（4.2）：根据全部满足优化条件的乘子，SVM将得到一个高维空间优化权值，从而建立SVM的输出模型yp。

7.如权利要求6所述的一种混合SVM回归算法的OIN神经网络训练方法，其特征是，所述Step（4.1）SVM回归中如果定义误差松弛变量不少于ε，C为复杂性和最小损失的妥协参数，则SVM回归的二次损失函数

$L^{\mathrm{\ϵ}}(x_p,t_p,f)={|t_p-f\left(x_p\right)|}_{\mathrm{\ϵ}}^2---\left(5\right)$

f代表经过SVM训练后得到的模型函数，x_p是第p个样本的输入向量；

这样，对某个参数C和ε的最小化线性损失和为

$\frac{1}{2}{\left|\right|w\left|\right|}^2+C\·\underset{p=1}{\overset{N_v}{\mathrm{\Σ}}}{L}_2^{\mathrm{\ϵ}}(x_p,t_p,f)---\left(6\right)$

w是SVM的权值向量；C是容错因子；x_p是第p个样本的输入向量；t_p和f的参数含义同上。

8.如权利要求6所述的一种混合SVM回归算法的OIN神经网络训练方法，其特征是，所述Step（4.2）根据Karush-Kuhm-Tucker互补条件得到下列二次优化求解式为：

$\max \mathrm{imise\; W}\left(\mathrm{\α}\right)={\mathrm{\Σ}}_{p=1}^1{t}_p{\mathrm{\α}}_p-\mathrm{\ϵ}{\mathrm{\Σ}}_{p=1}^1\left|{\mathrm{\α}}_p\right|-\frac{1}{2}{\mathrm{\Σ}}_{i,p=1}^1{\mathrm{\α}}_i{\mathrm{\α}}_{p}K(O_p,O_i)---\left(7\right)$

$\mathrm{Subject\; to}{\mathrm{\Σ}}_{p=1}^1{\mathrm{\α}}_p=0,-C\≤{\mathrm{\α}}_p\≤C$

W(α)是以Langruange乘子为参数的SVM模型权值向量；α_p是第p个样本的Langruange乘子；ε松弛变量；α_i是第i个样本支持向量的Langruange乘子；O_i是第i个支持向量；O_p是第p样本在隐含层的输出向量，l的参数含义为支持向量的个数；

这样，根据Step（4.2）得到的满足公式（7）的支持向量的Langruange乘子α^*，得到的系统输出变量y_p为

$y_p={\mathrm{\Σ}}_{i=1}^1{{\mathrm{\α}}^{*}}_{i}K(O_i,O_P)+b^{*}---\left(8\right)$

其中，b^*为满足y_i-t_i＝-ε,

的任意值,O_i是第i个支持向量；O_p是第p样本在隐含层的输出向量，l的参数含义为支持向量的个数。

9.如权利要求1所述的一种混合SVM回归算法的OIN神经网络训练方法，其特征是，所述Step（6）的OIN后向传播部分中，采用最小均方值作为决策衡量标准，即

$E=\frac{1}{N_v}\underset{p=1}{\overset{N_v}{\mathrm{\Σ}}}\underset{m=1}{\overset{M}{\mathrm{\Σ}}}{[t_p\left(m\right)-y_p\left(m\right)]}^2---\left(9\right)$

这里，N_v为样本总数；M为输出向量的维数；p为样本号；m为输出向量第m个分量的索引号；t_p(m)是公式（4）设定的理想向量第m个分量的值；y_p(m)为SVM预测得到的输出向量第m个分量的值；

所述Step（6）中，采用优化输入规则化人工神经网络进行权值调整，优化输入规则化人工神经网络OIN的基本原理是通过一个优化转换矩阵将原始输入变量转化为实现最优效果的形式，其优化转化矩阵表示为

$A=\left[\begin{array}{cccccc}a\left(1\right)& 0& .& .& 0& b\left(1\right)\\ 0& a\left(2\right)& .& .& 0& b\left(2\right)\\ .& .& .& .& .& .\\ .& .& .& .& .& .\\ 0& 0& .& .& a\left(N\right)& b\left(N\right)\\ 0& 0& .& .& 0& a(N+1)\end{array}\right]---\left(10\right)$

这样一个原始的输入变量x_p就转化为

即

${\tilde{x}}_p\left(n\right)=a\left(n\right)\·x_p\left(n\right)+b\left(n\right)---\left(11\right)$

a(n)和b(n)分别对应连接输入向量的一般分量x_p(n)和增广分量x_p(N+1)到隐含层各个神经元的权值学习因子；

如果隐含层的神经元数量为Nh，则w_ih(n)是输入向量x_p的第n个分量和隐含层的Nh维连接权值向量，w_ih(N+1)是输入向量x_p的增广分量x_p(N+1)对应的Nh维的权值分量；则优化算法的权值修正公式为

$w_{\mathrm{ih}}\left(n\right)\←w_{\mathrm{ih}}\left(n\right)+a\left(n\right)\·g\left(n\right)+b\left(n\right)\·g(N+1)$

$w_{\mathrm{ih}}(N+1)\←w_{\mathrm{ih}}(N+1)+a(N+1)g(N+1)+\underset{n=1}{\overset{N}{\mathrm{\Σ}}}b\left(n\right)g\left(n\right)---\left(12\right)$

其中，g(n)和g(N+1)分别是权值w_ih(n)和w_ih(N+1)的梯度向量，N是输入向量的维数；

这样，如果a(n)，b(n)，n从1到N，用学习因子向量a,b表示，则a和b就通过下列公式表示的Newton法计算得到

$\left[\begin{array}{c}a\\ b\end{array}\right]={{[H}_{\mathrm{ab}}]}^{-1}\left[\begin{array}{c}{G}_a\\ G_b\end{array}\right]---\left(13\right)$

其中，a=[a(1)…a(n)…a(N)]，b=[b(1)…b(n)…b(N+1)]，H_ab代表误差E对输入因子向量a和b的（N+1）*(N+1)维的二阶偏导数矩阵，如果N_v是所有样本的数量，G_a和G_b分别代表误差E对输入因子向量a和b的一阶偏导数向量，G_a的维数是N，G_b为1维，则G_a和G_b分别为

$\left[\begin{array}{c}{G}_a=\frac{\∂E}{\∂a}=\frac{-2}{N_v}\·{\left[\frac{{\∂y}_p}{\∂a}\right]}^T[t_p-y_p]\\ G_b=\frac{\∂E}{\∂b}=\frac{-2}{N_v}\·{\left[\frac{{\∂y}_p}{\∂b}\right]}^T[t_p-y_p]\end{array}\right]---\left(14\right)$

其中，

和分别对应G_a和G_b的计算式，H_ab的第m行u列的元素值，h(m,u)计算为

$\{h(m,u)=h(u,m)=\frac{{\∂}^{2}E}{\∂a\left(m\right)\∂b\left(u\right)}=\frac{{\∂}^{2}E}{\∂a\left(u\right)\∂b\left(m\right)}$

（15）

$\≈2\·\frac{1}{N_v}\underset{p=1}{\overset{N_v}{\mathrm{\Σ}}}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\frac{{\∂y}_p\left(i\right)}{\∂a\left(m\right)}\·\frac{{\∂y}_p\left(i\right)}{\∂b\left(u\right)},$

其中，u＝1…2N+1,m＝1…2N+1分别为H_ab的横纵坐标值；

和

是求解H_ab的计算式；和分别对应输入向量y对输入因子向量a和b的一阶偏导数式，

将上述步骤反复迭代，最终，将得到一个优化的OIN/SVM混合模型；在测试阶段，将测试样本输入到优化后的混合模型公式（8）中，就得到预测结果，从而实现对样本的分类的预测或回归的预测。

Images