CN101308551A - Ls-svm分类与回归学习递归神经网络硬件电路及实现方法 - Google Patents

Abstract

本发明公开了一种LS－SVM分类与回归学习递归神经网络硬件电路及其实现方法，该方法将LS－SVM与递归神经网络相结合，推导出描述神经网络的动态方程及其拓扑结构，并进一步建立了实现上述递归神经网络的硬件电路，从而用硬件电路对最小二乘支持向量机算法进行实现。本发明所述的LS－SVM分类与回归学习递归神经网络与以往出现的网络相比，消除了网络中的非线性部分，神经网络结构更加简洁，大幅度的提高支持向量机的训练速度；同时本发明提出的LS－SVM学习神经网络可以在几乎不改变拓扑结构的基础上实现分类和回归两种问题。

Description

LS-SVM分类与回归学习递归神经网络硬件电路及实现方法

技术领域

本发明属于模式识别技术领域，涉及一种LS-SVM分类与回归学习递归神经网络硬件电路，本发明还涉及该硬件电路的实现方法。

背景技术

支持向量机(Support Vector Machines，SVMs)采用结构风险最小化的思想和方法，以良好的推广能力、极低的分类和逼近误差、数学上的易处理性和简洁的几何解释等优点，已被广泛作为一种分类和回归的工具。目前对支持向量机的研究主要集中在理论研究和算法的优化方面。与之相比，其应用研究和算法实现的研究相对较少，目前只有较为有限的实验研究报道。同时，这些算法大多只能用计算机软件来实现，而不适合于模拟硬件的实现，这显然大大的限制了SVM在实际中的应用。

在许多工程和应用领域中，往往需要用SVM对数据进行实时处理，因此对SVM进行并行和分布式的训练是十分必要。众所周知，神经网络的实时处理能力(real-time processing ability)是它最重要的优点之一。最近几年，神经网络方法已经在优化问题上展现了它的巨大前景。大量的研究结果表明它与传统的优化算法相比在实时运用上有着更多的优势。如果能把SVM和神经网络的优点结合起来，就可以得到一种新的SVM神经网络，通过各取所长得到更好的性能。同时考虑到神经网络易于采用模拟硬件来实现，这样不但可以大幅度的提高SVM的训练速度，而且还为支持向量机的实际应用提供了新的思路。

标准支持向量机的训练问题实质上是求解一个二次规划问题，而最小二乘支持向量机(Least Square Support Vector Machines，以下简称LS-SVM)采用等式约束，将原问题转化为线性方程，从而简化了计算的复杂性，并且算法易实现，收敛速度快。以往的研究中对这一方面的成果多是关于标准支持向量机的学习，且对应的神经网络结构较为复杂，在网络的拓扑结构中往往出现有非线性环节，从而加大了对SVM学习神经网络硬件实现的难度。另外，以往的研究多集中在SVM的分类问题上，而对它的另一个重要的应用方向-回归问题却极少涉及。

发明内容

本发明的目的是，提供一种LS-SVM分类与回归学习递归神经网络硬件电路，从而用硬件实现最小二乘支持向量机的学习和回归问题。

本发明的另一目的是，提供一种LS-SVM分类与回归学习递归神经网络硬件电路的实现方法，使得分类与回归学习的问题能够通过模拟硬件电路实现解决。

本发明的技术方案是，一种LS-SVM分类与回归学习递归神经网络硬件电路，包括LS-SVM分类学习递归神经网络硬件电路和LS-SVM回归学习递归神经网络硬件电路，

LS-SVM分类学习递归神经网络硬件电路是，电压

-1V以及v_by_i通过各自的连接电阻同时与积分器的输入端连接，电压

-1V以及v_by_i与积分器的连接电阻分别为R₀/|q_ij|、γR₀、R₀、R₀，该积分器是由运算放大器与电容C并联而成，积分器的一个输出电路输出端为电压

积分器的另外一个输出电路中连接有一反向器，该反向器的输出端为电压

电压

再经电阻R₀/|q_ij|反馈到相应的积分器输入端，LS-SVM回归学习递归神经网络硬件电路是，电压以及v_b同时与积分器的输入端连接，电压

以及v_b与积分器的连接电阻分别为R₀/|Ω_ij|、γR₀、R₀、R₀；积分器由运算放大器与电容C并联组成，该积分器的输出端为电压

电压

再通过电阻R₀/|Ω_ij|与相应的积分器输入端连接。

本发明的另一技术方案是，一种LS-SVM分类与回归学习递归神经网络硬件电路的实现方法，该方法按以下步骤实施，

步骤1：根据样本数量构造LS-SVM分类或回归学习递归神经网络的拓扑结构；

步骤2：根据步骤1的SVM分类或回归学习情况选用相应的核函数，并选择对应的核函数参数，

如果是SVM分类学习递归神经网络，则选用下式计算

如果是SVM回归学习递归神经网络，则选用下式计算

Ω_ij＝K(x_i，x_j)＝φ(x_i)^Tφ(x_j)；

步骤3：根据步骤1建立的LS-SVM分类或回归学习递归神经网络拓扑结构选择相应的模块进行仿真计算；

步骤4：选择电路元件参数，计算各权值电阻R₀/|q_ij|，且采用四舍五入的方式选择尽量逼近的标称阻值；

步骤5：根据步骤1建立的分类与回归学习递归神经网络的拓扑结构制作相应的硬件电路。

本发明的实现方法还有以下特点，

在前述的步骤1中，LS-SVM分类与回归学习递归神经网络拓扑结构按照以下步骤建立，

1)、分别建立LS-SVM分类学习递归神经网络模型和LS-SVM回归学习递归神经网络模型，

所述的LS-SVM分类学习递归神经网络模型的建立包括，

给定分类训练集(z_i，y_i)，i＝1，…，N，其中z_i∈R^N为训练样本，而y_i∈{-1，+1}为样本相对应的类别，其分类决策面表示为

其中w为权值矩阵，b为偏移量，e_i为误差值，

表示从输入空间到特征空间的非线性映射，LS-SVM分类学习即是解决下面的受约束的最优化问题：

$\underset{w,b,e}{\min }J(w,e)=\frac{1}{2}{w}^{T}w+\mathrm{\γ}\frac{1}{2}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{e}_i^2---\left(1\right)$

求解该问题时引入Lagrange函数：

其中α_i为Lagrange乘子，分别对各参数求偏导得到该问题的最优条件，消去w和e_i得出：

$1-{\mathrm{by}}_i-\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j{q}_{\mathrm{ij}}-{\mathrm{\γ}}^{-1}{\mathrm{\α}}_i=0---\left(4\right)$

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_i{y}_i=0---\left(5\right)$

其中q_ij＝y_iy_jK_ij，并且定义为核函数，当核函数满足Mecer条件，并且对称阵Q _c＝[q_ij]是正定的，则该问题是一个最优化的凸问题，并且只有一个全局解，

所述的LS-SVM分类学习神经网络模型由下面的动态方程来描述：

$\stackrel{\·}{b}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_i{y}_i---\left(6\right)$

$\stackrel{\·}{{\mathrm{\α}}_i}=1-{\mathrm{by}}_i-\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j{q}_{\mathrm{ij}}-{\mathrm{\γ}}^{-1}{\mathrm{\α}}_i---\left(7\right)$

该动态方程(6)(7)在平衡点处即满足最优化条件(4)(5)，即所提出的神经网络在平衡点处是满足KKT条件的，这样当所提出的动态网络收敛到平衡点时，就能求解LS-SVM问题，方程(6)(7)用递归神经网络来实现，由此得出：

$\mathrm{\τ}\stackrel{\·}{v_{{\mathrm{\α}}_i}}=1-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{v}_{{\mathrm{\α}}_j}{q}_{\mathrm{ij}}-\frac{1}{\mathrm{\γ}}{v}_{{\mathrm{\α}}_i}-v_b{y}_i---\left(8\right)$

所述的LS-SVM回归学习神经网络模型的建立包括，给定训练集(z_i，y_i)，i＝1，…，N，其中z_i∈R^N，y_i∈R，与分类问题相似回归函数为

LS-SVM回归问题即解决如下的优化问题：

$\underset{w,b,e}{\min }J(w,e)=\frac{1}{2}{w}^{T}w+\mathrm{\γ}\frac{1}{2}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{e}_i^2---\left(9\right)$

s.t.y_i＝w^Tφ(x_i)+b+e_i(10)

同样构建Lagrange函数：

其中α_i为Lagrange乘子，由KKT条件和与分类类似的推导得到问题最优必须满足：

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_i=0---\left(12\right)$

$b+\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j{\mathrm{\Ω}}_{\mathrm{ij}}+{\mathrm{\γ}}^{-1}{\mathrm{\α}}_i-y_i=0---\left(13\right)$

上式中Q_R＝[Ω_ij]＝K(x_i，x_j)＝φ(x_i)^Tφ(x_j)定义为核函数，所述的回归网络模型由以下动态方程描述：

$\stackrel{\·}{b}=\frac{\∂J}{\∂b}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_i---\left(14\right)$

$\stackrel{\·}{{\mathrm{\α}}_i}=-\frac{\∂J}{{\∂\mathrm{\α}}_i}=-b-\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j{\mathrm{\Ω}}_{\mathrm{ij}}-{\mathrm{\γ}}^{-1}{\mathrm{\α}}_i+y_i---\left(15\right)$

该动态方程(14)(15)描述的系统在平衡点处即满足原问题的KKT条件(12)(13)，

2)、建立LS-SVM分类学习递归神经网络拓扑结构和LS-SVM回归学习递归神经网络拓扑结构，

所述的LS-SVM分类学习递归神经网络的拓扑结构的实现方法是，将方程(6)(7)用递归神经网络来实现，其中

对应于拓扑结构中的α_i；v_b对应于偏移量b；γR₀对应于积分器的反馈结构；R₀/|q_ij|对应于连接权值q_ij部分，该电路采用多个输入的线性积分器来实现加法和积分环节，运算放大器工作在线性状态，在数值上， $v_{{\mathrm{\α}}_i}={\mathrm{\α}}_i,v_b=b,$ q_ij的正负性通过

来体现；对于整个电路，若有N个训练样本，则需要N+1个运算放大器和N(N+3)个连接电阻；对于LS-SVM分类问题的惩罚因子γ的调整通过调整电阻γR₀来实现，

所述的LS-SVM回归学习递归神经网络的拓扑结构的实现方法是，将方程(14)(15)用递归神经网络来实现，其中

对应于拓扑结构中的α_i；v_b对应于偏移量b；γR₀对应于积分器的反馈结构；R₀/|Ω_ij|对应于连接权值Ω_ij；对应于y_i，在数值上， $v_{{\mathrm{\α}}_i}={\mathrm{\α}}_i,$ v_b＝b，对于LS-SVM回归问题的惩罚因子γ的调整则通过调整电阻γR₀来实现。

在前述的步骤3中，选择相应的模块进行基于Matlab软件的Simulink仿真。

本发明的LS-SVM分类与回归学习递归神经网络与以往出现的网络相比，整个网络直接采用Lagrange乘子训练，消除了网络中的非线性部分，使得新的神经网络更加简洁，而且更加有利于采用模拟硬件电路在实时运用中实现，大幅度的提高支持向量机的训练速度；同时本发明提出的LS-SVM学习神经网络可以在几乎不改变拓扑结构的基础上实现分类和回归两种问题。

附图说明

图1是LS-SVM分类学习神经网络拓扑结构图；

图2是LS-SVM分类学习神经网络Lagrange乘子α_i的硬件电路示意图；

图3是LS-SVM回归学习神经网络的拓扑结构；

图4是LS-SVM回归学习神经网络Lagrange乘子α_i的硬件电路示意图；

图5是实施例1LSSVCLN用Simulink得到的α_i，b的收敛波形；

图6是实施例1通过LSSVCLN求得的线性不可分决策面，“+”表示正类样本、“*”表示负类样本；

图7是实施例2用Simulink进行LSSVRLN仿真得到的α_i、b波形；

图8是实施例2利用LS-SVM回归网络对9个点的回归结果；

图9是运用Pspice对LSSVRLN仿真得到的波形：α_i为实线，b为虚线。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明是在标准SVM学习神经网络的基础上，提出一种用于LS-SVM分类与回归学习的递归神经网络，LS-SVM分类与回归学习递归神经网络分别由动态方程组描述，且它在平衡点处是满足原问题的最优KKT条件的，这样当本发明所提出的神经网络收敛到平衡点时，就可得到原LS-SVM问题的解。

LS-SVM分类学习递归神经网络模型的建立，

给定分类训练集(z_i，y_i)，i＝1，…，N，其中z_i∈R^N为训练样本，而y_i∈{-1，+1}为样本相对应的类别，其分类决策面表示为

其中w为权值矩阵，b为偏移量，eⁱ为误差值，

表示从输入空间到特征空间的非线性映射，LS-SVM分类学习即是解决下面的受约束的最优化问题：

$\underset{w,b,e}{\min }J(w,e)=\frac{1}{2}{w}^{T}w+\mathrm{\γ}\frac{1}{2}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{e}_i^2---\left(1\right)$

求解该问题可引入Lagrange函数：

其中α_i为Lagrange乘子，分别对各参数求偏导得到该问题的最优条件，消去w和e_i可得：

$1-{\mathrm{by}}_i-\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j{q}_{\mathrm{ij}}-{\mathrm{\γ}}^{-1}{\mathrm{\α}}_i=0---\left(4\right)$

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_i{y}_i=0---\left(5\right)$

其中q_ij＝y_iy_jK_ij，并且

定义为核函数。如果核函数满足Mecer条件，并且对称阵Q_c＝[q_ij]是正定的，则该问题是一个最优化的凸问题，即它只有一个全局解。

本发明利用神经网络来解决LS-SVM分类问题，所提出的神经网络模型由下面的动态方程来描述：

$\stackrel{\·}{b}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_i{y}_i---\left(6\right)$

$\stackrel{\·}{{\mathrm{\α}}_i}=1-{\mathrm{by}}_i-\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j{q}_{\mathrm{ij}}-{\mathrm{\γ}}^{-1}{\mathrm{\α}}_i---\left(7\right)$

由该动态方程很容易可以看出：该动态系统(6)(7)在平衡点处即满足最优化条件(4)(5)，即所提出的神经网络在平衡点处是满足KKT条件的。这样当所提出的动态网络收敛到平衡点时，就可求解LS-SVM问题。

方程(6)(7)可以用如图1所示的递归神经网络拓扑结构图来实现。该网络结构可以很容易采用模拟电路硬件实现。

图1所示，为LS-SVM分类学习神经网络的拓扑结构图，图1的连接关系为：-α₁q_ij…-α_Nq_iN、1、-γ^-1α_i以及-by_i接入∑中进行求和，∑的输出端接入积分器∫，积分器∫的输出即为α_i。而α_i再经权值-q_ij反馈到各相对应的∑中，形成一个递归神经网络。

图2所示，为LS-SVM分类学习递归神经网络中第i个Lagrange乘子所对应的硬件电路构造示意图，其连接关系为：电压-1V以及v_by_i同时与多输入的积分器的输入端连接，电压

-1V以及v_by_i与积分器的连接电阻分别为R₀/|q_ij|、γR₀、R₀、R₀，该积分器是由运算放大器与电容C并联而成，积分器的输出端为电压

考虑到还要用到

因此需要在积分器的另外一个输出电路中连接反向器，该反向器的输出即为

电压

再经电阻R₀/|q_ij|反馈连接到相应积分器输入端。

运算放大器选用μA741。

在图2中，对应于拓扑结构图1中的α_i；v_b对应于偏移量b；γR₀对应于积分器的反馈结构；R₀/|q_ij|对应于连接权值q_ij部分；该电路采用多个输入的线性积分器来实现加法和积分环节。如图2示，因为运算放大器工作在线性状态，故其满足“虚短虚断”。由此可得出：

$\mathrm{\τ}\stackrel{\·}{v_{{\mathrm{\α}}_i}}=1-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{v}_{{\mathrm{\α}}_j}{q}_{\mathrm{ij}}-\frac{1}{\mathrm{\γ}}{v}_{{\mathrm{\α}}_i}-v_b{y}_i---\left(8\right)$

其中，τ＝R₀C，若取τ＝1，则该电路即可实现动态方程(7)。而动态方程(6)可以通过一简单的线性积分器来实现。由(8)可以得出：在数值上， $v_{{\mathrm{\α}}_i}={\mathrm{\α}}_i,v_b=b,$ q_ij的正负性可通过

来体现。就整个电路来说，若有N个训练样本，则需要N+1个运算放大器和N(N+3)个连接电阻。而对于LS-SVM的惩罚因子γ的调整则通过调整电阻γR₀来实现。

LS-SVM回归学习递归神经网络的建立，

给定训练集(z_i，y_i)，i＝1，…，N，其中z_i∈R^N，y_i∈R。与分类问题相似回归函数为

LS-SVM回归问题即解决如下的优化问题：

$\underset{w,b,e}{\min }J(w,e)=\frac{1}{2}{w}^{T}w+\mathrm{\γ}\frac{1}{2}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{e}_i^2---\left(9\right)$

s.t.y_i＝w^Tφ(x_i)+b+e_i    (10)

同样构建Lagrange函数：

其中α_i为Lagrange乘子，由KKT条件和与分类类似的推导得到问题最优必须满足：

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_i=0---\left(12\right)$

$b+\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j{\mathrm{\Ω}}_{\mathrm{ij}}+{\mathrm{\γ}}^{-1}{\mathrm{\α}}_i-y_i=0---\left(13\right)$

上式中Q_R＝[Ω_ij]＝K(x_i，x_j)＝φ(x_i)^Tφ(x_j)定义为核函数，所提出的回归网络由以下动态方程描述：

$\stackrel{\·}{b}=\frac{\∂J}{\∂b}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_i---\left(14\right)$

$\stackrel{\·}{{\mathrm{\α}}_i}=-\frac{\∂J}{{\∂\mathrm{\α}}_i}=-b-\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j{\mathrm{\Ω}}_{\mathrm{ij}}-{\mathrm{\γ}}^{-1}{\mathrm{\α}}_i+y_i---\left(15\right)$

同样的，可以看出该动态方程(14)(15)描述的系统在平衡点处是满足原问题的KKT条件(12)(13)的，

图3所示，为LS-SVM回归学习递归神经网络的拓扑结构图，其连接关系为：-α₁Ω_i1…-α_NΩ_iN、y_i、-γ^-1α_i以及-b接入∑中进行求和，∑的输出端接入积分器∫，积分器∫的输出即为α_i。而α_i再经权值-Ω_ij反馈到各相对应的∑中。该回归学习递归神经网络与图1所示的分类学习递归神经网络相比，可以看出它们之间在拓扑结构上完全相似，不同之处仅在于连接权值以及网络的输入表示的意义不同。将该LS-SVM回归学习递归神经网络结构采用模拟电路硬件实现，即神经网络中第i个Lagrange乘子所对应的电路实现，其中对应于拓扑结构图中的α_i；v_b对应于偏移量b；γR₀对应于积分器的反馈结构；R₀/|Ω_ij|对应于连接权值Ω_ij；

对应于y_i，在数值上， $v_{{\mathrm{\α}}_i}={\mathrm{\α}}_i,$ v_b＝b，而对于LS-SVM回归问题的惩罚因子γ的调整则通过调整电阻γR₀来实现。

图4所示的为LS-SVM回归学习递归神经网络的硬件电路构造示意图，实现过程和LS-SVM分类相似。电路的连接关系为：电压

以及v_b同时与积分器的输入端连接，电压

以及v_b与积分器的连接电阻分别为R₀/|Ω_ij|、γR₀、R₀、R₀，积分器仍由运算放大器与电容C并联而成，积分器的输出端为电压

与图2相比，可以看出在电路结构上两种电路基本相同，不同之处表现在积分器的输入电压与连接电阻的不同，另外由于回归问题没有涉及

因此不必考虑在积分器的输出端加反向器，得到的电压

经电阻R₀/|Ω_ij|再反馈到相应的积分器输入端。运算放大器选用μA741。

本发明所述的基于上述的递归神经网络的最小二乘支持向量机硬件电路的实现方法，按以下步骤实施：

步骤1：根据样本数量构造LS-SVM分类或回归学习递归神经网络的拓扑结构，如图1或图3所示；

步骤2：选用合适的核函数，选择核函数参数，并计算

步骤3：根据LS-SVM分类或回归学习递归神经网络拓扑结构选择相应的模块进行仿真计算；

步骤4：选择电路元件参数，计算各权值电阻R₀/|q_ij|，且采用“四舍五入”的方式选择尽量逼近的标称阻值；

步骤5：根据图2或图4的结构制作相应的PCB硬件电路。

1、下面是一个R²的5个样本点线性不可分的验证实例1：

z₁＝(1.5，2)，z₂＝(2，1)，z₃＝(1.5，1)，z₄＝(3，4)，z₅＝(4，3)其类别分别是(+1，+1，-1，-1，-1)。

步骤1：根据5个样本数量构造SVM分类学习递归神经网络的拓扑结构；

步骤2：采用高斯核函数，选择σ＝1.5，γ^-1＝0.20，并计算

步骤3：根据分类神经递归网络拓扑结构选择相应的模块进行基于Matlab软件的Simulink仿真；

步骤4：选择R₀＝1kΩ，C＝1μF，计算各权值电阻R₀/|q_ij|，且采用“四舍五入”的方式选择尽量逼近的标称阻值；

步骤5：根据图2的结构制作PCB硬件电路，其中电阻采用的封装为AXIAL0.4，运算放大器的封装为DIP8，电容的封装采取RB.2/.4，积分环节采用运算放大器μA741与电容搭建；反相器采用比例系数为1的反相比例运算电路搭建。实际的元件选择如下：运算放大器采用8引脚的μA741元件，工作为电压±15V。其中考虑到1、5引脚为调零端，不考虑接线；电路中选择R₀＝1kΩ，C＝1μF，且所有电阻采用的精度为1％的金属膜电阻。

表1  实例1LSSVCLN理论值与硬件电路实际值的对比

图5所示为该例采用LS-SVM分类学习神经网络Simulink仿真得到的各参数收敛曲线，其中：

α＝[2.682 3.681 4.805 1.574-0.01655]^T，b＝-0.4245。

图6是求得的分类超平面，其表达式为：

${2.682e}^{\frac{{(x-1.5)}^2+{(y-2)}^2}{4.5}}+{3.681e}^{\frac{{(x-2)}^2+{(y-1)}^2}{4.5}}-{4.805e}^{\frac{{(x-1.5)}^2+{(y-1)}^2}{4.5}}$

$-{1.574e}^{\frac{{(x-3)}^2+{(y-3)}^2}{4.5}}+0.01655e^{\frac{{(x-4)}^2+{(y-3)}^2}{4.5}}-0.4245=0$

由于该电路对电阻的敏感度较强，而所用的电阻又是以“逼近”标称值的方式选择的，因此α和b的稳态值和理论仿真的结果有一定的误差，见表1所示。从上面的图表中可以看出，网络基本上收敛到所得到的理论值，并且有很好的收敛效果。

2、采用回归递归神经网络对9个点进行的函数回归问题实例2：

表29个点的函数值

步骤1：根据9个样本数量构造SVM回归神经网络的拓扑结构；

步骤2：采用高斯核函数，其中σ＝1，选取γ^-1＝0.01，并根据样本点计算Ω_ij＝K(x_i，x_j)＝φ(x_i)^Tφ(x_j)；

步骤3：根据回归神经网络拓扑结构选择相应的模块进行基于Matlab软件的Simulink仿真；

步骤4：选择R₀＝1kΩ，C＝1μF，计算各权值电阻R₀/|Ω_ij|，且采用“四舍五入”的方式选择尽量逼近的标称阻值；

步骤5：由于阻值R₀/|Ω_ij|理论上是很大的，接近于MΩ级，因此采取使用Pspice仿真的形式验证模拟电路的正确性。模拟实现电路采用的运算放大器为μA741，所有的运放皆为双极性供电±15V。

表3实例2LSSVRLN理论值与Pspice硬件电路实际值的对比

表3所示为两种仿真值之间的误差对比，表中Pspice模拟电路基本上实现了对LS-SVM函数回归学习的模拟。如图7所示为神经网络递归得到的Simulink仿真α_i，b，如图9所示为神经网络递归得到的Pspice仿真α_i，b。在LSSVRLN及其对应的硬件电路经过一段时间的训练后，α_i与b将收敛到一定的稳定值，该稳定值即为原LS-SVM回归问题的最优解。

图8得出的是采用LS-SVM函数回归的结果。该图中这9个样本点虽然存在着一定的偏差，但都大致地分布在运用LSSVRLN所求得到的曲线上，该网络得到的结果对这9个样本点的回归是正确的。

本发明所述的递归神经网络与以往出现的网络相比，避免了采用映射变量，整个网络直接采用Lagrange乘子训练，消除了网络中的非线性部分，使得新的神经网络更加简洁，而且更加有利于采用模拟硬件电路在实时运用中实现，大幅度的提高支持向量机的训练速度；同时本发明的LS-SVM学习神经网络可以同时求解分类和回归两种问题。

Claims (4)

1、一种LS-SVM分类与回归学习递归神经网络硬件电路，其特征在于：包括LS-SVM分类学习递归神经网络硬件电路和LS-SVM回归学习递归神经网络硬件电路，

所述的LS-SVM分类学习递归神经网络硬件电路是，电压

-1V以及v_by_i通过各自的连接电阻同时与积分器的输入端连接，电压

-1V以及v_by_i与积分器的连接电阻分别为R₀/|q_ij|、γR₀、R₀、R₀，该积分器是由运算放大器与电容C并联而成，积分器的一个输出电路输出端为电压

积分器的另外一个输出电路中连接有一反向器，该反向器的输出端为电压

电压

再经电阻R₀/|q_ij|反馈到相应的积分器输入端，

所述的LS-SVM回归学习递归神经网络硬件电路是，电压

以及v_b同时与积分器的输入端连接，电压

以及v_b与积分器的连接电阻分别为R₀/|Ω_ij|、γR₀、R₀、R₀；积分器由运算放大器与电容C并联组成，该积分器的输出端为电压

电压

再通过电阻R₀/|Ω_ij|与相应的积分器输入端连接。

2、一种实现权利要求1所述硬件电路的方法，其特征在于：该方法按以下步骤实施，

步骤1：根据样本数量构造LS-SVM分类或回归学习递归神经网络的拓扑结构；

步骤2：根据步骤1的LS-SVM分类或回归学习情况选用相应的核函数，并选择对应的核函数参数，

如果是SVM分类学习递归神经网络，则选用下式计算

如果是SVM回归学习递归神经网络，则选用下式计算

${\mathrm{\Ω}}_{\mathrm{ij}}=K(x_i,x_j)=\mathrm{\φ}{\left(x_i\right)}^T\mathrm{\φ}\left(x_j\right);$

步骤3：根据步骤1建立的LS-SVM分类或回归学习递归神经网络拓扑结构选择相应的模块进行仿真计算；

步骤4：选择电路元件参数，计算各权值电阻R₀/|q_ij|，且采用四舍五入的方式选择尽量逼近的标称阻值；

步骤5：根据步骤1建立的分类与回归学习递归神经网络的拓扑结构制作相应的硬件电路。

3、根据权利要求2所述的硬件实现方法，其特征在于：所述的步骤1中LS-SVM分类与回归学习递归神经网络拓扑结构按照以下步骤建立，

1)、分别建立LS-SVM分类学习递归神经网络模型和LS-SVM回归学习递归神经网络模型，

所述的LS-SVM分类学习递归神经网络模型的建立包括，

给定分类训练集(z_i，y_i)，i＝1，…，N，其中z_i∈R^N为训练样本，而y_i∈{-1，+1}为样本相对应的类别，其分类决策面表示为

其中w为权值矩阵，b为偏移量，e_i为误差值，

表示从输入空间到特征空间的非线性映射，LS-SVM分类学习即是解决下面的受约束的最优化问题：

$\underset{w,b,e}{\min }J(w,e)=\frac{1}{2}{w}^{T}w+\mathrm{\γ}\frac{1}{2}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{e}_i^2---\left(1\right)$

求解该问题时引入Lagrange函数：

其中α_i为Lagrange乘子，分别对各参数求偏导得到该问题的最优条件，消去w和e_i得出：

$1-b{y}_i-\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j{q}_{\mathrm{ij}}-{\mathrm{\γ}}^{-1}{\mathrm{\α}}_i=0---\left(4\right)$

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_i{y}_i=0---\left(5\right)$

其中q_ij＝y_iy_jK_ij，并且

定义为核函数，当核函数满足Mecer条件，并且对称阵Q_c＝[q_ij]是正定的，则该问题是一个最优化的凸问题，并且只有一个全局解，

所述的LS-SVM分类学习神经网络模型由下面的动态方程来描述：

$\stackrel{\·}{b}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_i{y}_i---\left(6\right)$

$\stackrel{\·}{{\mathrm{\α}}_i}=1-{\mathrm{by}}_i-\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j{q}_{\mathrm{ij}}-{\mathrm{\γ}}^{-1}{\mathrm{\α}}_i---\left(7\right)$

该动态方程(6)(7)在平衡点处即满足最优化条件(4)(5)，即所提出的神经网络在平衡点处是满足KKT条件的，这样当所提出的动态网络收敛到平衡点时，就能求解LS-SVM问题，方程(6)(7)用递归神经网络来实现，由此得出：

$\mathrm{\τ}\stackrel{\·}{v_{{\mathrm{\α}}_i}}=1-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{v}_{{\mathrm{\α}}_j}{q}_{\mathrm{ij}}-\frac{1}{\mathrm{\γ}}{v}_{{\mathrm{\α}}_i}-v_b{y}_i---\left(8\right)$

所述的LS-SVM回归学习神经网络模型的建立包括，

给定训练集(z_i，y_i)，i＝1，…，N，其中z_i∈R^N，y_i∈R，与分类问题相似回归函数为LS-SVM回归问题即解决如下的优化问题：

$\underset{w,b,e}{\min }J(w,e)=\frac{1}{2}{w}^{T}w+\mathrm{\γ}\frac{1}{2}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{e}_i^2---\left(9\right)$

$s.t.y_i=w^T\mathrm{\φ}\left(x_i\right)+b+e_i---\left(10\right)$

同样构建Lagrange函数：

其中α_i为Lagrange乘子，由KKT条件和与分类类似的推导得到问题最优必须满足：

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_i=0---\left(12\right)$

$b+\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j{\mathrm{\Ω}}_{\mathrm{ij}}+{\mathrm{\γ}}^{-1}{\mathrm{\α}}_i-y_i=0---\left(13\right)$

上式中Q_R＝[Ω_ij]＝K(x_i，x_j)＝φ(x_i)^Tφ(x_j)定义为核函数，所述的回归网络模型由以下动态方程描述：

$\stackrel{\·}{b}=\frac{\∂J}{\∂b}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_i---\left(14\right)$

$\stackrel{\·}{{\mathrm{\α}}_i}=-\frac{\∂J}{\∂{\mathrm{\α}}_i}=-b-\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\α}}_j{\mathrm{\Ω}}_{\mathrm{ij}}-{\mathrm{\γ}}^{-1}{\mathrm{\α}}_i+y_i---\left(15\right)$

该动态方程(14)(15)描述的系统在平衡点处即满足原问题的KKT条件(12)(13)，

2)、建立LS-SVM分类学习递归神经网络拓扑结构和LS-SVM回归学习递归神经网络拓扑结构，

所述的LS-SVM分类学习递归神经网络的拓扑结构的实现方法是，将方程(6)(7)用递归神经网络来实现，其中

对应于拓扑结构中的α_i；v_b对应于偏移量b；γR₀对应于积分器的反馈结构；R₀/|q_ij|对应于连接权值q_ij部分，该电路采用多个输入的线性积分器来实现加法和积分环节，运算放大器工作在线性状态，在数值上， $v_{{\mathrm{\α}}_i}={\mathrm{\α}}_i,$ v_b＝b，q_ij的正负性通过

来体现；对于整个电路，若有N个训练样本，则需要N+1个运算放大器和N(N+3)个连接电阻；对于LS-SVM分类问题的惩罚因子γ的调整通过调整电阻γR₀来实现，

所述的LS-SVM回归学习递归神经网络的拓扑结构的实现方法是，将方程(14)(15)用递归神经网络来实现，其中对应于拓扑结构中的α_i；v_b对应于偏移量b；γR₀对应于积分器的反馈结构；R₀/|Ω_ij|对应于连接权值Ω_ij；

对应于y_i，在数值上，

v_b＝b，对于LS-SVM回归问题的惩罚因子γ的调整则通过调整电阻γR₀来实现。

4、根据权利要求2所述的硬件实现方法，其特征在于：所述的步骤3中选择相应的模块进行基于Matlab软件的Simulink仿真。

Images