CN101567838A - 一种函数链神经网络的自校正方法 - Google Patents

Abstract

本发明涉及一种函数链神经网络的自校正方法，根据其系统结构和组成特点，可以将原本比价复杂的非线性系统分解成若干个相对简单的子系统，用单个的人工函数链神经网络来建立子系统模型，根据子系统的参数、输入量、输出量得到各个子系统的神经元模型后，按照各个子系统间的相关关系来构建一个相对复杂的一个函数链神经网络系统，系统记忆并存储一些子系统的历史的参数、输入量/输出量，当某个子系统函数链神经网络发生异常时，系统能根据以前的各个子系统间的关系，重新恢复该子系统同其他子系统间的关系。本发明借助凸优化思想提出了一个更为快速、容量更高的函数链神经网络学习算法。

Description

一种函数链神经网络的自校正方法

【技术领域】

本发明涉及一种函数链神经网络自校正方法，是一种对复杂的非线性函数链神经网络进行自校正的方法。

【背景技术】

现代信息技术的三大基础是信息的采集、传输和处理技术。传感器技术是信息技术系统的“感官”，是信息采集系统最前端的首要部件。对比电子计算机技术的飞跃发展，向电脑传送信息的传感器技术却相对落后了。因此，传感器技术已成为各国竞相发展的技术，而现代的控制系统通常采用多传感器技术利用函数链神经网络来实现对系统的多方面、多层次的、多方位的监控。现代控制系统对函数链神经网络的精度、稳定性和工作条件提出了很高的要求，希望其输出信息与输入信息之间呈线性关系。

为此，人们不得不采取一些中间补偿和修正措施即自校正技术，如用热敏电阻等设计电路进行温度补偿；用差动电路抵消非线性；用折线拟合或反函数变换技术，通过硬件非线性反馈实现线性化；利用ROM存贮非线性特性，再用查表方法校正；用非线性编码解码方法实现非线性补偿等。这些方法往往精度不够，在应用上灵活性欠佳，同时存在非线性、温度影响及其它干扰影响时难以处理，当元件老化或使用环境变化时需重新调整。

【发明内容】

本发明的要解决的技术问题在于提供一种方法精度高、使用灵活而算法简明、易于硬件实现的函数链神经网络的自校正方法。

本发明为解决上述技术问题采用以下技术方案：

一种函数链神经网络的自校正方法，包括以下步骤：

步骤一：根据系统的结构与组成特点，将原系统按类分成若干个子系统；

步骤二：使用函数链神经元来建立子系统，把与子系统相关的结构参数、输入量、输出量存储构建一个动态数据库即存贮非线性特性，运用学习算法分别对各个子系统的神经元模型进行训练，使之逼近各个子系统的输入/输出关系，得到各子系统的神经元模型；

步骤三：将所得到的各个子系统的神经元模型按一种相关的关系连接组合起来，得到原系统的基于结构的神经网络模型；

步骤四：在各神经元中与结构参数相对应的输入变量之前，增加一个输入值为1的新输入层，得到与系统结构参数想对应的新输入层权值，重新训练，求出高精度模型，构成新模型；

步骤五：将新的模型按照先前构建的动态数据库即存贮非线性特性，重新生成新的子系统，并将其与其他的子系统构建相关的关系网；

步骤六：将动态数据库即存贮非线性特性进行实时更新。

本发明提出采用自校正技术的函数链神经网络方法，利用神经网络的非线性逼近能力和自适应特性，发挥其训练、学习能力，实现传感器建模。采用函数链人工神经网络进行非线性函数变换，逼近传感器的非线性特性曲线，采用自校正技术保持各个子系统间的相关，解决老化问题或运行条件改变时各个子系统间关系的紊乱。其突出的优点是可以同时考虑环境温度状况、各种干扰输入的影响、传感器本身的非线性及其交互作用。这种方法比现有方法精度提高、使用灵活而算法简明、易于硬件实现。为进一步提高线性化精度，可以重新训练，求出高精度模型。解决老化问题或运行条件改变时，也可以重新训练，确定新的网络权值，构成新模型。

【附图说明】

图1是本发明函数链神经网络结构示意图。

【具体实施方式】

本发明提出一种采用自校正技术的函数链神经网络，借助凸优化思想提出了一个更为快速、容量更高的函数链神经网络学习算法，通过一组稳态方程来构造一个凸集优化问题，从而获得了更高的学习速度及更高的存储容量，而所存模式的吸引盆可由一组松驰参量加以控制，使网络更具有灵活性。

一个比较复杂庞大的非线性现代系统通常都将其分割成若干个子系统，各个子系统根据一定的相关算法进行关联来构成一个复杂的函数链神经网络。因此要研究复杂非线性的函数链神经网络要将对分解成若干各相对简单的子系统，在分别对各个子系统进行研究，得出其相应的参数、输入量、输出量，建立起子模型，然后根据神经网络算法将各个子系统关联起来，如图1所示。

基于自校正的函数链神经网络是这种思想的具体体现。具体讲，就是原本比较复杂的非线性系统根据系统的结构与组成特点，将原系统按类分成若干个子系统。使用函数链神经元来建立子系统，把与子系统相关的结构参数、输入量、输出量存储构建一个动态数据库即存贮非线性特性，充分运用学习算法分别对各个子系统的神经元模型进行训练，使之逼近各个子系统的输入/输出关系，得到各子系统的神经元模型。将所得到的各个子系统的神经元模型按一种相关的关系连接组合起来，得到原系统的基于结构的神经网络模型。在各神经元中与结构参数相对应的输入变量之前，增加一个输入值为1的新输入层，得到与系统结构参数想对应的新输入层权值，为进一步提高线性化精度，可以重新训练，求出高精度模型。解决老化问题或运行条件改变时，也可以重新训练，确定新的网络权值，构成新模型。将新的模型按照先前构建的动态数据库即存贮非线性特性，重新生成新的子系统，并将其与其他的子系统构建相关的关系网。将动态数据库即存贮非线性特性进行实时更新，对σ学习规则进行改进，借助凸集优化思想，利用最陡梯度下降技术获得了更高的存储容量和更快速的学习速度，使得各个子系统之间的相关性能得到更准确的校正。

本发明的建模与自校正方法按如下步骤进行：

1、子系统的划分和各个子系统的关系构建

在建立具有自校正技术的函数链神经网络，首先需要对原本复杂的系统按类进行正确划分。即据系统的结构与组成特点，将原系统按类分成若干个子系统，子系统越简单越有优势，通常尽可能将复杂的系统分解成简单的单输出子系统。

一般的非线性系统或全局问题可以描述成这样：

设第i个样本输入为xi、ti，通过函数型连接F后，获得函数型输入fi1，□，fin，同时引入一个+1作为传感器可能的零点迁移，因而有：

$y_i=\underset{j=0}{\overset{n}{\mathrm{\Σ}}}{w}_j{f}_{\mathrm{ij}}$

其中fi0＝1，上式可写成

$y_i=W^T{F}_i=F_I^{T}W$

式中

W＝[w₀，w₁…w_n]^T，

F_i＝[f_i0，f_i1，…f_in]^T。

令传感器的期望输出为di，误差为

${\mathrm{\ϵ}}_i=\frac{1}{2}{(d_i-y_i)}^2=\frac{1}{2}{(d_i-f_i^{T}W)}^2$

$=\frac{1}{2}(d_i^2-2F_i^{T}W{d}_i+W^T{F}_i^{T}W)---\left(4\right)$

$E\left({\mathrm{\ϵ}}_i\right)=\frac{1}{2}E\left(d_i^2\right)-F_i^T{d}_{i}W+\frac{1}{2}{W}^{T}E\left(F_i{F}_i^T\right)W$

$=\frac{1}{2}E\left(d_i^2\right)-R_f^T{d}_{i}W+\frac{1}{2}{W}^T{R}_{f_f}W---\left(5\right)$

式中Rfd和Rff为Fi与di的互相关及Fi的自相阵.用梯度法调节权系数W使误差最小，令

${\▿}_i=\▿E\left({\mathrm{\ϵ}}_i\right)={[\frac{\∂E\left({\mathrm{\ϵ}}_i\right)}{\∂v0},\·\·\·\frac{\∂E\left({\mathrm{\ϵ}}_i\right)}{\∂\mathrm{vn}}]}^T---\left(6\right)$

$=-R_{\mathrm{fd}}+R_{\mathrm{ff}}W=0$

即可求得W.但Rfd和Rff无法预先知道，故采用LM S算法进行自适应训练，因

$\▿\left({\mathrm{\ϵ}}_i\right)=(d_i-F_i^W)\▿(d_i-W^T{F}_i)$

$=(d_i-F_i^{T}W)(-F_i)---\left(7\right)$

对给定的W，

的数学期望为

$E[\▿\left({\mathrm{\ϵ}}_i\right)]=E[-F_i(d_i-F_i^{T}W)]$

$=-R_{\mathrm{fd}}+R_{\mathrm{ff}}W---\left(8\right)$

比较式(8)与式(6)知，

作为梯度估计是无偏的.于是根据自适应最小摄动的基本思想，权系数矢量迭代公式为

W(k)＝W(k-1)+ΔW(k)，                (9)

$\mathrm{\ΔW}=-{\mathrm{\η}}_{\▿}\left({\mathrm{\ϵ}}_i\right)=\mathrm{\η}(d_i-F_i^{T}W)F_i---\left(10\right)$

其中G为步长，通常0＜G＜1.0，为减小过调量，引入惯性项：

$W\left(k\right)=W(k-1)+\mathrm{\η}(d_i-F_i^{T}W)F_i+$

$\mathrm{\α}[W(k-1)-W(k-2)]---\left(11\right)$

式中0＜A＜1为动量因子.为进一步加快收敛速度采用变步长算法，引入G(k)，令

$E=\frac{1}{2}\left[\underset{i=1}{\overset{I}{\mathrm{\Σ}}}{(d_i-y_i)}^2\right]---\left(12\right)$

式中I为总样本数，考虑较全面反映误差变化趋势的量

$\frac{\mathrm{\ΔE}\left(k\right)}{E\left(k\right)}=\frac{E\left(k\right)-E(k-1)}{E\left(k\right)}---\left(13\right)$

$\mathrm{\η}(k+1)=\mathrm{\η}\left(k\right)-\mathrm{\β}\frac{\mathrm{\ΔE}\left(k\right)}{E\left(k\right)}---\left(14\right)$

式中0＜B＜1为常量.运算过程中可以试舍去绝对值最小的权系数对应的函数项，多次循环后，求出最简单的函数型连接F。

算法具体步骤如下：

(1)确定初始函数型连接F及函数链网络结构；

(2)网络权值初始化，随机设wj，通常 $\hat{u}\mathrm{wj}\hat{u}<1;$

(3)输入训练数据样本xi，ti，计算fi1，□，fin，i＝1，2，□，I；

(4)求yi，计算E(k)，如误差满足要求，则转；

(8)如迭代限定次数后仍不满足误差要求则转(9)，否则继续；

(5)由式(9)求G(k)，并加判断，如G(k)＜0，则G(k)＝Gmin，(Gmin为选定的G最小值)；

(6)计算wj(k)，修正所有连接；

(7)返回，重复(4)～(7)；

(8)找出wj绝对值最小者，舍去对应的函数项，转(2)重新计算；

(9)如前面曾舍去函数项则取最后一次误差满足要求的结果输出；否则，增加后一函数项，转(2)重新计算；如原设计最后函数项也已利用，则输出建模不成功信息或修改误差指标再运行。

最后，得到子系统的模型

$y=f(x,t)=w_0+\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_j{f}_j(x,t)---\left(15\right)$

2、各个子系统通过训练、学习来构建动态数据库即非线性特征

FLN是一个仅含输入层和输出层的单层神经网络不计输入层，输入层的输入是原输入向量的扩展，扩展一般取作函数式扩展，即通过一组预先取定的线性无关的函数正交更好，将原输入向量展开，所得的模式作为输入向量。如下所示，原输入向量x是n维的，扩展函数组为f1，f2，f3....fn。

扩展的本意是通过一组线性无关函数将维向量空间映射到更高的维向量空间，以期提高原输人向量间的正交性程度，最终改善网络的非线性映射能力。尽管扩展不会带来新的信息，但扩展向量中包含了原输入向量的结构信息。

FLN网络采用σ学习规则，收敛速度快，学习过程不会陷于局部最小，网络的逼近能力取决于扩展形式项，已被广泛地应用于模式识别、控制等应用领域。

FLN的σ学习规则实质上是最陡梯度下降法，目的是使网络的连接权值通过有限步迭趋向稳定，从而完整的学习过。

网络的学习目的是使学习过的输入模式尽可能多地被记忆。设有M对模式(X(1)，Y(1))，(X(2)，Y(2))，...，(X(M)，Y(M))，X(i)∈{-1，1}n，Y(i)∈{-1，1}m，i＝1，2，...，M。要使网络让每对输入输出成为稳态点，则必须满足：

${y_k}^{\left(i\right)}=\mathrm{sgn}\left(\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{T}_{\mathrm{jk}}{f}_j({x_1}^{\left(i\right)},\&CenterDot;\&CenterDot;\&CenterDot;{x_n}^{\left(i\right)})\right)$

它等价于：

$\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{T}_{\mathrm{jk}}{f}_j({x_1}^{\left(i\right)},\&CenterDot;\&CenterDot;\&CenterDot;{x_n}^{\left(\mathrm{xi}\right)})>0$

其中，i＝1，2，...，M，k＝1，2，...，m。Tjk是连接权值，定义：

$g(i,k)=\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{T}_{\mathrm{jk}}{f}_j({x_1}^{\left(i\right)},\&CenterDot;\&CenterDot;\&CenterDot;{x_n}^{\left(i\right)})-{\mathrm{\&sigma;}}_i$

上式中，σi(i＝1，2，...，m)为小正数，它们可看成是松弛变量。为了求得满足(8)式的Tjk，定义费用函数为：

$\mathrm{\&phi;}\left(T\right)=\frac{1}{2}\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{\left(G(i,k)\right)}^2$

其中G(i，k)＝min{0，g(i，k)}。

上式中的每一项G(i，k)表示一项惩罚。若(8)式中以σi取代零且约束成立，则有

G(i，k)＝0；若(8)式的约束被破坏，则G(i，k)为负且等于g(i，k)，故Φ(t)为下有界。若方程(8)(或约束(8))存在一个解，则Φ(T)的最小值为零。另外，由于(G(i，k))2是T的凸函数，故Φ(T)关于T也是凸的，从而意味着Φ(T)存在一个唯一的最小点T^*，满足 $\&dtri;\mathrm{\&Phi;}\left(T^{*}\right)=0$ 且为Φ(T)的全局最小点。由此可知，通过最陡梯度下降法，能保证关于T的迭代在有限步内趋于T^*，因此有：

$T_{\mathrm{jk}}(n+1)=h(T_{\mathrm{jk}}\left(n\right)-\mathrm{\&eta;}\frac{\&PartialD;\mathrm{\&phi;}\left(T\right)}{\&PartialD;T_{\mathrm{jk}}\left(n\right)})$

$=h(T_{\mathrm{jk}}\left(n\right)-\mathrm{\&eta;}\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}G(i,k)\frac{\&PartialD;G(i,k)}{\&PartialD;T_{\mathrm{jk}}\left(n\right)})$

$=h(T_{\mathrm{jk}}\left(n\right)-\mathrm{\&eta;}\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}G(i,k)f_j({x_1}^{\left(i\right)},\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{xn}\left(i\right){y_k}^{\text{i}})$

上式中，η仍表示收敛因子，h(x)为：

$h\left(x\right)=\left\{\begin{array}{cc}-1& x<-1\\ x& \left|x\right|\&le;1\\ 1& x>1\end{array}\right.$

h(x)的作用是使{Tjk}有界，{σi}为自由参数，它可调节被存模式的吸引盆的大小，从而影响着网络的联想性能，σi越小、吸引盆越大，σi越大，会导致存储量的下降。

3、自校正函数链神经网络生成

经过步骤1、2，会生成相应的各个子系统相关关系的动态数据库即非线性特征，利用神经网络的非线性逼近能力和自适应特性，发挥其训练、学习能力，实现传感器建模。采用函数链人工神经网络进行非线性函数变换，逼近传感器的非线性特性曲线，采用自校正技术保持各个子系统间的相关，解决老化问题或运行条件改变时各个子系统间关系的紊乱。为进一步提高线性化精度，可以重新训练，求出高精度模型。解决老化问题或运行条件改变时，也可以重新训练，确定新的网络权值，构成新模型。这样就能完成非线性特征的实时更新，各个子系统按照这个动态数据库就可以同周围的子系统建立其新的关系。

本发明提供的具有自校正的函数链神经网络比现有的函数链神经网络相比，具有系统建模和自校正的双重功能，其优点如下：

基于自校正的函数链神经网络在本质上是结构化的，这体现在各个子系统结构又系统的各个结构是相对应的。

基于自校正的函数链神经网络中的神经元数量是确定的，这主要取决与划分系统时所划分的子系统数量。

基于自校正的函数链神经网络中的神经元即各个子系统不是随便相连的，是根据函数链神经网络的具体算法来指导各个子系统相连的。

借助凸优化思想提出了一个更为快速、容量更高的函数链神经网络学习算法，通过一组稳态方程来构造一个凸集优化问题，从而获得了更高的学习速度及更高的存储容量，而所存模式的吸引盆可由一组松驰参量加以控制，使网络更具有灵活性。基于自校正的函数链神经网络具有极强的非线性映射能力。

又有利于新系统的开发，如果利用本发明建立一个新的子系统模型，那么当设计一个系统时，只要从动态的数据库中选出最优的相关算法来构建一个新的子系统，如果子系统连接方式不同，还能通过训练将新的相关算法加入到动态数据库中，这对开发新的系统也是十分有益的。

总之本发明借助凸优化思想提出了一个更为快速、容量更高的函数链神经网络学习算法，通过一组稳态方程来构造一个凸集优化问题，从而获得了更高的学习速度及更高的存储容量，这样大大丰富了动态数据库中的各个子系统间的相关关系算法，而所存模式的吸引盆可由一组松驰参量加以控制，使网络更具有灵活性。

Claims (2)

1、一种函数链神经网络的自校正方法，其特征在于：包括以下步骤：

步骤一：根据系统的结构与组成特点，将原系统按类分成若干个子系统；

步骤二：使用函数链神经元来建立子系统，把与子系统相关的结构参数、输入量、输出量存储构建一个动态数据库即存贮非线性特性，运用学习算法分别对各个子系统的神经元模型进行训练，使之逼近各个子系统的输入/输出关系，得到各子系统的神经元模型；

步骤三：将所得到的各个子系统的神经元模型按一种相关的关系连接组合起来，得到原系统的基于结构的神经网络模型；

步骤四：在各神经元中与结构参数相对应的输入变量之前，增加一个输入值为1的新输入层，得到与系统结构参数想对应的新输入层权值，重新训练，求出高精度模型，构成新模型；

步骤五：将新的模型按照先前构建的动态数据库即存贮非线性特性，重新生成新的子系统，并将其与其他的子系统构建相关的关系网；

步骤六：将动态数据库即存贮非线性特性进行实时更新。

2、如权利要求1所述的一种函数链神经网络的自校正方法，其特征在于：所述步骤一具体为：

一般的非线性系统或全局问题按以下方式描述：

设第i个样本输入为xi、ti，通过函数型连接F后，获得函数型输入fi1，□，fin，同时引入一个+1作为传感器可能的零点迁移，因而有：

$y_i=\underset{j=0}{\overset{n}{\mathrm{\&Sigma;}}}{w}_j{f}_{\mathrm{ij}}$

其中fi0＝1，上式可写成

$y_i=W^T{F}_i=F_I^{T}W$

式中

W＝[w₀，w₁…w_n]^T，

F_i＝[f_i0，f_i1，…f_in]^T。

令传感器的期望输出为di，误差为

${\mathrm{\&epsiv;}}_i=\frac{1}{2}{(d_i-y_i)}^2=\frac{1}{2}{(d_i-f_i^{T}W)}^2$

$=\frac{1}{2}({{d_i}^2-2F}_i^{T}W{d}_i+W^T{F}_i^{T}W)$

$E\left({\mathrm{\&epsiv;}}_i\right)=\frac{1}{2}E\left({d_i}^2\right)-F_i^T{d}_{i}W+\frac{1}{2}{W}^{T}E\left(F_i{F}_i^T\right)W$

$=\frac{1}{2}E\left({d_i}^2\right)-{R_f}^T{d}_{i}W+\frac{1}{2}{W}^T{R}_{f_f}W$

式中Rfd和Rff为Fi与di的互相关及Fi的自相阵.用梯度法调节权系数W使误差最小，令

${\&dtri;}_i=\&dtri;E\left({\mathrm{\&epsiv;}}_i\right)={[\frac{\&PartialD;E\left({\mathrm{\&epsiv;}}_i\right)}{\&PartialD;v0},\&CenterDot;\&CenterDot;\&CenterDot;\frac{\&PartialD;E\left({\mathrm{\&epsiv;}}_i\right)}{\&PartialD;\mathrm{vn}}]}^T$

$=-R_{\mathrm{fd}}+R_{\mathrm{ff}}W=0$

即可求得W.但Rfd和Rff无法预先知道，故采用LM S算法进行自适应训练，因

$\&dtri;\left({\mathrm{\&epsiv;}}_i\right)=(d_i-F_i^W)\&dtri;(d_i-W^T{F}_i)$

$=(d_i-F_i^{T}W)\left({-F}_i\right)$

对给定的W，

(Ei)的数学期望为

$E[\&dtri;\left({\mathrm{\&epsiv;}}_i\right)]=E[-F_i(d_i-F_i^{T}W)]$

$=-R_{\mathrm{fd}}+R_{\mathrm{ff}}W$

比较式(8)与式(6)知，

(Ei)作为梯度估计是无偏的.于是根据自适应最小摄动的基本思想，权系数矢量迭代公式为

W(k)＝W(k-1)+ΔW(k)，            (9)

$\mathrm{\&Delta;W}=-{\mathrm{\&eta;}}_{\&dtri;}\left({\mathrm{\&epsiv;}}_i\right)=\mathrm{\&eta;}(d_i-F_i^{T}W)F_i---\left(10\right)$

其中G为步长，通常0＜G＜1.0，为减小过调量，引入惯性项：

$W\left(k\right)=W(k-1)+\mathrm{\&eta;}(d_i-F_i^{T}W)F_i+$

$\mathrm{\&alpha;}[W(k-1)-W(k-2)]$

式中0＜A＜1为动量因子.为进一步加快收敛速度采用变步长算法，引入G(k)，令

$E=\frac{1}{2}\left[\underset{i=1}{\overset{I}{\mathrm{\&Sigma;}}}{(d_i-y_i)}^2\right]$

式中I为总样本数，考虑较全面反映误差变化趋势的量

$\frac{\mathrm{\&Delta;E}\left(k\right)}{E\left(k\right)}=\frac{E\left(k\right)-E(k-1)}{E\left(k\right)}$

$\mathrm{\&eta;}(k+1)=\mathrm{\&eta;}\left(k\right)-\mathrm{\&beta;}\frac{\mathrm{\&Delta;E}\left(k\right)}{E\left(k\right)}$

式中0＜B＜1为常量.运算过程中可以试舍去绝对值最小的权系数对应的函数项，多次循环后，求出最简单的函数型连接F。

算法具体步骤如下：

(1)确定初始函数型连接F及函数链网络结构；

(2)网络权值初始化，随机设wj，通常 $\hat{u}\mathrm{wj}\hat{u}<1;$

(3)输入训练数据样本xi，ti，计算fi1，□，fin，i＝1，2，□，I；

(4)求yi，计算E(k)，如误差满足要求，则转；

(8)如迭代限定次数后仍不满足误差要求则转(9)，否则继续；

(5)由式(9)求G(k)，并加判断，如G(k)＜0，则G(k)＝Gmin，(Gmin为选定的G最小值)；

(6)计算wj(k)，修正所有连接；

(7)返回，重复(4)～(7)；

(8)找出wj绝对值最小者，舍去对应的函数项，转(2)重新计算；

(9)如前面曾舍去函数项则取最后一次误差满足要求的结果输出；否则，增加后一函数项，转(2)重新计算；如原设计最后函数项也已利用，则输出建模不成功信息或修改误差指标再运行；

最后，得到子系统的模型

$y=f(x,t)=w_0+\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_j{f}_j(x,t)$

所述步骤二具体为：

FLN是一个仅含输入层和输出层的单层神经网络不计输入层，输入层的输入是原输入向量的扩展，扩展一般取作函数式扩展，即通过一组预先取定的线性无关的函数正交更好，将原输入向量展开，所得的模式作为输入向量。如下所示，原输入向量x是n维的，扩展函数组为f1，f2，f3....fn。

设有M对模式(X(1)，Y(1))，(X(2)，Y(2))，…，(X(M)，Y(M))，X(i)∈{-1，1}n，Y(i)∈{-1，1}m，i＝1，2，…，M。要使网络让每对输入输出成为稳态点，则必须满足：

${y_k}^{\left(i\right)}=\mathrm{sgn}\left(\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{T}_{\mathrm{jk}}{f}_j({x_1}^{\left(i\right)},\&CenterDot;\&CenterDot;\&CenterDot;{x_n}^{\left(i\right)})\right)$

它等价于：

$\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{T}_{\mathrm{jk}}{f}_j({x_1}^{\left(i\right)},\&CenterDot;\&CenterDot;\&CenterDot;{x_n}^{\left(\mathrm{xi}\right)})>0$

其中，i＝1，2，…，M，k＝1，2，…，m。Tjk是连接权值，定义：

$g(i,k)=\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{T}_{\mathrm{jk}}{f}_j({x_1}^{\left(i\right)},\&CenterDot;\&CenterDot;\&CenterDot;{x_n}^{\left(i\right)})-{\mathrm{\&sigma;}}_i$

上式中，σi(i＝1，2，…，m)为小正数，它们可看成是松弛变量。为了求得满足(8)式的Tjk，定义费用函数为：

$\mathrm{\&phi;}\left(T\right)=\frac{1}{2}\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{\left(G(i,k)\right)}^2$

其中G(i，k)＝min{0，g(i，k)}。

上式中的每一项G(i，k)表示一项惩罚。若(8)式中以σi取代零且约束成立，则有

G(i，k)＝0；若(8)式的约束被破坏，则G(i，k)为负且等于g(i，k)，故Φ(t)为下有界。若方程(8)(或约束(8))存在一个解，则Φ(T)的最小值为零。另外，由于(G(i，k))2是T的凸函数，故Φ(T)关于T也是凸的，从而意味着Φ(T)存在一个唯一的最小点T^*，满足 $\&dtri;\mathrm{\&Phi;}\left(T^{*}\right)=0$ 且为Φ(T)的全局最小点。由此可知，通过最陡梯度下降法，能保证关于T的迭代在有限步内趋于T^*，因此有：

$T_{\mathrm{jk}}(n+1)=h(T_{\mathrm{jk}}\left(n\right)-\mathrm{\&eta;}\frac{\&PartialD;\mathrm{\&phi;}\left(T\right)}{{\&PartialD;T}_{\mathrm{jk}}\left(n\right)})$

$=h(T_{\mathrm{jk}}\left(n\right)-\mathrm{\&eta;}\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}G(i,k)\frac{\&PartialD;G(i,k)}{\&PartialD;T_{\mathrm{jk}}\left(n\right)})$

$=h(T_{\mathrm{jk}}\left(n\right)-\mathrm{\&eta;}\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}G(i,k)f_j({x_1}^{\left(i\right)},\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{xn}\left(i\right){y_k}^i)$

上式中，η仍表示收敛因子，h(x)为：

$h\left(x\right)=\left\{\begin{array}{cc}-1& x<-1\\ x& \left|x\right|\&le;1\\ 1& x>1\end{array}\right.$

h(x)的作用是使{Tjk}有界，{σi}为自由参数，它可调节被存模式的吸引盆的大小。

Images