CN1349198A - 基于结构的神经网络建模与优化方法 - Google Patents

Abstract

一种基于结构的神经网络建模与优化方法,根据系统的结构与组成特点,将原复杂非线性系统分解为若干个相对简单的子系统,用单个的人工函数链神经元来建立子系统模型,根据子系统的结构参量、激励和响应以及它们的历史信号来确定神经元的输入/输出,得到各子系统的神经元模型后,按照各子系统间的固有作用关系连接起来形成一个基于结构的神经网络模型,并利用该网络模型对系统结构参数进行优化。本发明具有系统建模和参数优化的双重功能,解决了传统神经网络建模与优化时存在的模型非结构化、神经元的个数不易确定、收敛速度慢等缺点,为非线性系统的建模与结构参数优化提供了一条新途径,对开发新的系统也具有十分重要的意义。

Description

基于结构的神经网络建模与优化方法

技术领域：

本发明涉及一种基于结构的神经网络建模与优化方法，是一种对复杂非线性系统建模与结构参数优化的方法。

背景技术：

系统建模方法主要有两大类，即机理建模方法和辨识建模方法，或者采取两者相结合的混合建模方法。机理建模方法是最基本的系统建模方法。但是有些实际系统，特别是对于大型、严重非线性的复杂系统，其机理过程可能非常复杂，还有些系统的机理过程人们不十分清楚。此时，采用机理建模方法往往难以奏效。因此，近年来辨识建模的方法得到了很大的发展，尤其是神经网络的建模方法发展十分迅猛，但是它们也存在着许多问题。

传统上，用于建模和优化的神经网络是相互独立的。用于系统建模的神经网络大多是前馈神经网络，包括多层前馈神经网络、径向基函数网络和函数链神经网络等。它们在建模时存在着模型非结构化、神经元的个数不易确定、收敛速度慢、局部最小等问题，特别是随着问题复杂程度的增加，训练一个复杂网络所需样本量和学习时间都急剧增加，而且得到的复杂网络往往并不能揭示问题的层次和结构。并且它们不注重网络权值的意义，因此建立模型后不能直接进行参数优化。而用于优化的神经网络主要是反馈网络，包括Hopfield网络、Boltzmann机和弹性网(Elastic net)等，它们主要用于求解组合优化问题，一般不能用于系统建模。

模块化网络是“分而治之”思想的一种体现，它是基于“任务分解”或“事件分解”的概念，将一个复杂的任务分解为若干个较简单的子任务，分别交各专家网络完成。这些模块化网络可以认为是“基于任务”(或“基于事件”)的网络。但是，传统的模块化网络对于那些不能按“任务”或“事件”进行分解的系统却无能为力。因此，迫切需要提出一种新的建模与优化方法。

发明内容：

本发明的目的在于针对现有技术的上述不足，提供一种新的基于结构的神经网络建模与优化方法，以解决现有技术中复杂非线性系统建模和优化中存在的一些困难问题，以及现有神经网络模型在建模和优化时存在的上述问题，为非线性系统的建模与结构参数优化提供一条新的途径。

为实现这样的目的，本发明提出的基于结构的神经网络建模与优化方法不同于机理建模的方法，它毋需建立数学模型和求解数学方程；也不同于传统的神经网络建模方法，新网络模型的连接权值具有明确的物理意义。通过对网络权值的调整，可同时实现系统结构参数的优化。

我们知道，在工程中的复杂非线性系统从“结构”上一般都可以看作是由若干个相互交连的子系统通过某种形式结合而成的。因此，在研究较大的非线性系统时，可以先把复杂的非线性系统分解为若干个相对简单的子系统，再分别对各子系统进行研究，建立子系统的模型，然后根据一定原则将这些子系统模型组合起来形成该非线性系统的模型。

基于结构的神经网络模型就是这种思想的具体体现。具体讲，就是根据系统的结构特点，将原复杂非线性系统分解为若干个相对简单的子系统，每个子系统分别以一个人工神经元表示，即建立各子系统的人工神经元模型，然后按照各子系统间的固有作用关系连接起来形成一个网络，该网络就是原非线性系统的模型。由于该网络不同于已有模式的人工神经网络，它是依据系统的真实结构与组成特点自然形成的，所以称其为基于结构的神经网络(Neural networks based on system architecture)。

由于所建立的神经网络模型是结构化的，各神经元之间的连接关系与子系统间的相互作用是对应的，网络的部分连接权值与系统的结构参数相对应，因此，建立模型后，对其连接权值的进行调整也就是对系统结构参数的调整，也就是说可以利用该网络模型对系统结构参数进行优化。

本发明建模与优化方法按如下步骤进行：1、子系统划分

在建立基于结构的神经网络模型时，首先需要对系统从结构上进行正确划分。即，根据系统的结构与组成特点，将原系统分解为若干个子系统。为使子系统问题更为简单，通常尽可能把复杂系统分解为若干个单输出的子系统。

一般的，非线性系统或称为全局问题可描述为：

   Y(t+1)＝f(Y(t)，…，Y(t-K_y+1)；U(t)，…，U(t-K_u+1)；V)式中V＝[v₁ v₂…v_l]^T——系统的l维结构参数矢量(不随时间变化)

U(t)＝[u₁(t) u₂(t)…u_m(t)]^T——系统在t时刻的m维输入矢量(激励)

Y(t)＝[y₁(t) y₂(t)…y_n(t)]^T——系统在t时刻的n维输出矢量(响应)

K_u——输入(激励)的最大延迟阶数

K_y——输出(响应)的最大延迟阶数

f(·)——非线性函数。

从上式可以看出，系统在(t+1)时刻的输出Y(t+1)不仅与系统的输入激励U(t)和系统的结构参数V有关，而且依赖于输入激励U(t)的K_y个历史输入信号和输出响应Y(t)的K_u个历史输出信号。

经过分解后，该全局问题可转化成由k个子系统所对应的子问题，各子问题可表示如下： $y_i(t+1)=f_i(y_i\left(t\right),...{,y}_i(t-K_{y_i}+1);U_i\left(t\right),...,U_i(t-K_{u_i}+1);V_i)(i=\mathrm{0,1,2},...,k-1)$ 式中

——子系统i的l_i维结构参量(不随时间变化)

——子系统i在t时刻的m_i维输入矢量(激励)

Y_i(t)——子系统i在t时刻的输出(1维)(响应)

f_i(·)——子系统i对应的非线性函数。

这样，一个复杂系统就可以分解为若干相对简单的子系统。

2、子系统模型的建立

建立子系统模型是建立系统基于结构的神经网络模型的基础。由于将系统划分成了若干个单输出的子系统，因此可以用单个的人工神经元来建立子系统模型。

为了描述子系统输入/输出的动态特性，可以把反映子系统动态特性的时序数据引入神经元，确定神经元的输入/输出。

本发明把与子系统i有关的结构参量V_i、子系统i在t时刻的激励U_i(t)及其K_y个历史输入信号和子系统输出响应Y(t)的K_u个历史输出信号作为子系统神经元模型的输入，把子系统输出Y(t)作为神经元的输出。

由于非线性系统的子系统也可能是非线性系统，因此用普通的人工神经元不能建立子系统的正确模型。本发明使用函数链神经元(Functional link neuron，FLN)来建立子系统模型。

函数链神经元是函数链人工神经网络(Functional link artificial neural network，FLANN)的一种特殊形式。由于FLANN是一种具有扁平结构的单层网络，抛弃了传统的多层前馈网络所必需的隐含层，只采用单层的结构就可实现具有隐含层网络的功能。特别地，当FLANN的输出矢量为一维时，该单层网络就退化为一个神经元，称其为函数链神经元(FLN)。

通过对函数链神经元性能(包括可学习性，函数逼近能力，输出误差，全局最小，算法收敛性等)进行深入的理论分析与证明，表明该类型神经元具有良好的非线性逼近能力，并且可以证明当使用正交的函数型扩展时，即正交的函数链神经元可以任意精度逼近非线性映射，并且不存在局部最小等问题。因此，它是建立单输出子系统模型的理想神经元类型之一。

本发明以实验数据或仿真数据作为训练样本，运用某种学习算法(例如BP算法)分别对各子系统的神经元模型进行训练，直到它们能够很好地逼近各个子系统的输入/输出关系为止，即得到各子系统的神经元模型。由于单个神经元的学习算法要简单的多，因此可以大大减小算法的复杂程度，对于提高学习效率，减少学习时间都是十分有效的。

3、基于结构的神经网络模型建立

根据系统的结构与组成特点以及各子系统间的相互作用关系，将所得到的各子系统的神经元模型连接起来，就形成一个基于结构的神经网络。只要各子系统的神经元模型能够很好地表达对应的子系统，那么由它们连接起来形成的网络模型就可表示原复杂非线性系统的输入/输出关系，即得到了原非线性系统的基于结构的神经网络模型。

4、结构参数优化

在建立子系统模型时是把系统的结构参数作为模型的输入参数的，那么只要对该模型稍加改动就可以进行参数优化。

本发明在各神经元中那些与结构参数相对应的输入变量v_i之前，增加一个输入值为1的新输入层。这样，原来作为输入的变量v_i就成为新输入层的待优化的权值W′_i。由于这些新权值与系统的结构参数相对应，具有明确的物理意义。因此，为了获得系统的最优性能而对这些权值进行修正，其实就是对系统结构参数的改变，亦即实现了对系统结构参数的优化。

将这些改进后的神经元模型仍然按照原来的连接方式将它们连接起来，那么得到网络模型就是可用于结构参数优化的网络模型。

再根据优化目标，选择一种优化算法(例如GA算法)对网络权值进行优化即可。需要指出，优化时只修改那些新增加的与系统结构参数相对应的权值w′_i，而其他在建模时已训练好的权值保持不变。

根据优化时给出的条件不同，分两种情况讨论。

情况一：用户给出非线性系统的理想输出模式。

此时，对该系统的参数优化问题可以表述为：对于给定的理想输出样本Y，在与输出样本相同的激励下，通过网络的自学习，修正那些表征待优化的结构参数的权值W′，而其余权值不变，最终使得下式成立

                  |Y-Y^*(W′)|≤ε式中  Y^*(W′)——基于结构的神经网络模型的输出

  W′_i(i＝1，2，…，n)——神经元θ₁中表征待优化的结构参数的权值

  ε—预先设定的精度那么，所得到的权值W′＝[W′₁，W′₂，…，W′_n]即为满足要求的优化解。

情况二：用户给出非线性系统的优化性能指标。

用户给出的性能指标可能是一个(对应单目标优化)，也可能是多个性能指标(对应多目标优化)。对于多目标优化问题，可以将其转化为一个单目标的优化问题，因此仍然可以按照单目标优化问题求解。

设将多目标优化的评价指标转化成单目标优化问题的综合评价指标为Ψ。其中，Ψ是系统输出模式y的函数，而y是系统结构参数的函数。此时，对该系统的优化问题可描述为：通过网络的自学习，修正那些表征待优化的结构参数的权值W′，使得在要求的输入激励u下，网络的输出模式Y^*的(综合)性能指标Ψ最优(一般可认为是最小)。即

            minΨ(Y^*(W′)式中  Y^*(W′)——基于结构的神经网络模型的输出

  W′(i＝1，2，…，n)——神经元θ₁中表征待优化的结构参数的权值那么，所得到的权值W′＝[W′₁，W′₂，…，W′_n]即为满足要求的优化解。

本发明提供的新的建模与优化方法与现有的神经网络建模与优化方法相比，具有系统建模和参数优化的双重功能，其优点如下：

(1)基于结构的神经网络模型在本质上是结构化的，这体现在网络模型的结构是与系统的结构相对应的；

(2)网络中神经元个数是确定的，取决于所划分的子系统个数；

(3)神经元之间的连接不是盲目的，神经元之间根据系统结构和组成特点相互连接；

(4)网络的部分连接权值具有物理意义，通过对基于结构的神经网络模型进行适当改造，把原来作为输入的结构参数作为新的网络连接权值，使得网络的部分连接权值与系统的结构参数相对应，具有明确的物理意义。

(5)训练速度快，用一个人工神经元模拟一个子系统，子系统模型结构简单，并且可以单独训练，使训练速度明显加快；

(6)建模后可以直接进行参数优化，由于网络的部分连接权值与系统的结构参数相对应，具有明确的物理意义，因此，当建模完成后，对这些权值的调整实质上就是调整对应的系统结构参数。也就是说，基于结构的神经网络不但可用于非线性系统建模，而且还可以进一步对结构参数进行优化，这是传统神经网络所不具有的。

(7)有益于新系统的开发，如果利用本发明建立一个子系统模型库，那么，当设计一个系统时，只要从其中挑选出需要的子系统模型，然后根据一定规则将它们连接起来就建立了该系统模型。如果子系统模型的连接方式不同，还可以得到结构类型不同的新系统，这对于新系统的开发也是十分有益的。

总之，基于结构的神经网络建模与优化方法解决了传统神经网络建模与优化时存在的模型非结构化、神经元的个数不易确定、收敛速度慢、局部最小等缺点。新方法为非线性系统，特别是大型、严重非线性系统的系统建模与结构参数优化提供了一条新的途径，并且对开发新的系统也具有十分重要的意义。

附图说明及具体实施方式：

为更好地理解本发明的技术方案，以下以Y₂-Hc10型先导式溢流阀为实施例，对其进行建模与优化。

图1为Y₂-Hc10型先导式溢流阀的结构简图。

如图1所示，先导式溢流阀是由先导阀和主阀组成的。图中，1为阀体，2为主阀芯座，3为主阀芯，4为阀套，5为主阀弹簧，6为先导阀体，7为锥阀座，8为锥阀(先导阀)，9为先导阀弹簧(调压弹簧)，10为调压螺钉，11为调压手枪。P口、T口和X口分别为进油口、溢油口和外控口。

建模与优化按以下步骤进行：

1、先导式溢流阀的子系统划分

先导式溢流阀是一个较复杂的非线性系统，可看作是若干非线性元件(例如液阻，液容，液感等)通过适当形式连接而构成的，它从结构上可看作是由7个子系统组成的。分别为

①液感元件1——对应于主阀芯的质量—弹簧子系统；

②液感元件2——对应于先导阀芯的质量—弹簧子系统；

③可变液阻1——对应于主阀溢流口的溢流子系统；

④可变液阻2——对应于先导阀溢流口的溢流子系统；

⑤固定液阻——对应于主阀芯上的固定阻尼孔子系统；

⑥液容元件1——对应于主阀受控腔的流量连续性子系统；

⑦液容元件2——对应于先导阀受控腔的流量连续性子系统；其中，可变液阻1和可变液阻2分别是由于主阀芯和先导阀芯的运动，引起主阀和先导阀开口量变化而产生的；主阀受控腔是指主阀下腔、与其相连的管道以及油泵容腔的一半所构成的控制体；先导阀受控腔是指先导阀的右腔。2、先导式溢流阀各子系统模型的建立

由于每个子系统都是单输出子系统，因此可分别用一个函数链神经元来模拟一个子系统。

以液感元件1为例，它对应于主阀芯的质量—弹簧子系统，它表现为主阀芯受力后的运动特性。其对应的函数链神经元模型记为神经元1。

图2为函数链神经元1的模型图。

其中图2a为函数链神经元1的完整模型，图2b为其简化模型，图2c为其改进后用于优化的简化表示模型。

如图2所示，动态时由于主阀芯受到液压力、弹簧力、稳态液动力和瞬态液动力的共同作用而产生加速度，从而引起主阀芯位移的变化。影响该子系统的结构参数主要包括M、k₁、x_t1、D、D₁和L₁等。这里，选择主阀芯在t时刻的位移量(亦即主阀口开度)x₁(t)作为子系统的输出。以中间状态变量(包括其历史信号)以及结构参数组成的矢量U₁＝[Mk₁x_t1DD₁L₁p₁(t)p₂(t)x₁(t-1)x₁(t-2)]^T作为子系统的输入(如图2a)。其中p₁、p₂分别为主阀芯下、上端压力；x₁(t-1)、x₁(t-2)为主阀芯位移的一、二阶时延(输出的历史信号)。以三角函数系{u，sin(πu)，cos(πu)，sin(2πu)，cos(2πu)，…}作为函数链神经元的函数扩展集，则U₁经过函数型扩展模块生成的扩展矢量作为函数链神经元的输入。其简化形式如图2b所示。利用该子系统输入输出的训练样本，运用BP算法对其神经元模型进行训练，直到它很好地逼近该子系统的输入/输出关系时，就得到了该子系统的神经元模型。

类似地，也可得出其余各子系统的函数链神经元简化模型。3、先导式溢流阀基于结构的神经网络模型的建立

根据先导式溢流阀的功能结构、各子系统间的相互作用关系以及变量间的因果关系，可以很容易地将上述7个子系统模型连接起来，形成基于结构的神经网络模型。

图3为先导式溢流阀基于结构的神经网络模型图。

具体连接方法是：神经元1的输出分别与自身(神经元1)以及神经元3、6、7的输入相连；神经元2的输出分别与自身(神经元2)以及神经元4和7的输入相连；神经元3的输出与神经元6的输入相连；神经元4的输出与神经元7的输入相连；神经元5的输出分别与神经元6和7的输入相连；神经元6的输出分别与自身(神经元6)以及神经元1、3、5的输入相连；神经元7的输出分别与自身(神经元7)以及神经元1、2、4和5的输入相连。整个网络的输入(激励)为系统输入油量q_in(t)，输出为主阀下腔压力p₁(t)。

可以看出，除了系统的输出外，还可以得到另外6个中间状态变量，分别为p₂(t)、x₁(t)、x₂(t)、q₀(t)、q₁(t)、q₂(t)。当然，也可以根据需要选择其它神经元的输出作为整个网络的输出，那么同样也可以得到其它的另外6个中间状态变量。4、先导式溢流阀结构参数优化

优化时需要对网络中的神经元模型进行适当的改造。为方便起见，仍然以子系统1的函数链神经元(神经元1)为例。在神经元1(图2b))的结构参数输入前增加一个输入为1的新输入层，那么原来作为输入的结构参数就成为新输入层的权值

…、

。由于这些新权值分别与结构参数M、x_t1、D、D₁、k₁、L₁一一对应，因此具有明确的物理意义。图2c)是其改进后的简化表示模型，依此可以分别对其余6个子系统的神经元模型进行改造。

根据前述的原理，将这7个改进后的函数链神经元模型仍然按照Y₂-Hc10型先导式溢流阀的结构特点和各子系统间已知的相互作用关系，连接起来形成先导式溢流阀改进后用于优化的网络模型。

图4为先导式溢流阀改进后用于优化的基于结构的神经网络模型图。

通过对这些新增加的与结构参数相对应的权值进行调整，使网络具有理想的的输入/输出性能，这样就可以实现系统结构参数的优化。

Claims (1)

1、一种基于结构的神经网络建模与优化方法，其特征在于按如下步骤进行：1)根据系统的结构与组成特点，将原系统分解为若干个单输出的子系统；2)使用函数链神经元来建立子系统模型，把与子系统有关的结构参量、子系统在t时刻的激励及其历史输入信号和响应的历史输出信号作为神经元的输入，把子系统输出作为神经元的输出，并运用学习算法分别对各子系统的神经元模型进行训练，使之逼近各个子系统的输入/输出关系，得到各子系统的神经元模型；3)将所得到的各子系统的神经元模型连接起来，得到原系统的基于结构的神经网络模型；4)在各神经元中与结构参数相对应的输入变量之前，增加一个输入值为1的新输入层，得到与系统的结构参数相对应的新输入层权值，并对这些权值进行修正；5)将改进后的神经元模型仍按原来的连接方式连接起来，得到可用于结构参数优化的网络模型。6)根据优化目标，选择一种优化算法对网络权值进行优化，修改新增加的与系统结构参数相对应的权值，而其它在建模时已训练好的权值保持不变。

Images