CN112836818B - 适合过程控制建模的动态响应人工神经网络 - Google Patents

Abstract

本发明公开了一种适合过程控制建模的动态响应人工神经网络，包括一层或多层惯性神经元和/或超前滞后神经元，所述惯性神经元是在在输入层和隐含层神经元输出上增加积分作用形成，超前滞后神经元是在在输入层和隐含层神经元输出上增加微积分作用形成；本发明动态响应人工神经网络可以采用极小的规模构建描述实际物理过程的动态特性模型，其模型参数与样本采样时间无关，有一定的物理意义，尤其适用于过程控制所需的对象建模。

Description

适合过程控制建模的动态响应人工神经网络

技术领域

本发明涉及自动控制技术与人工智能技术领域，具体涉及一种适合过程控制建模的动态响应人工神经网络。

背景技术

如图1所示，经典的前向全连接人工神经网络模型几乎都属于静态结构，即模型的输入和输出关系与输入的历史过程无关，神经网络结构本身无法感知历史过程，这对很多分类和静态建模问题的解决是比较好理解的，但用于过程自动控制的对象往往更关注输入输出之间的惯性、延迟、连续控制过程的超调、振荡等与连续时间相关的整个过程的动态特性，这些特性都离不开随时间连续变化的特征。

在连续时间过程特性的需求方面与过程控制对象的建模问题类似的是语音识别问题，在语音识别问题中，单个字的发音需要联系整个语句的前后语境才能比较好的理解表达的意思；又例如产品价格之类的金融数据预测，与连续时间的数据变化趋势有关。这类问题一般属于时间序列数据问题。目前可用于时间序列数据建模的人工神经网络技术主要有如下几类：

1.非线性自回归神经网络模型(NAR，Nonlinear autoregressive neuralnetwork和NARX，Nonlinear autoregressive neural network with external input)

非线性自回归神经网络模型在结构上与统计学中的自回归滑动平均算法模型(Autoregressive moving average model，统称ARMA模型)十分类似，某种程度上可以认为非线性自回归神经网络模型是统计学时间序列ARMA模型的非线性扩展。

其中NAR神经网络模型类似于后者的统计学时间序列ARMA模型中的MA模型(也称滑动平均模型)，模型结构如图2所示，采用输出y在目标时刻t之前的m个历史时刻t-i，i∈(1，m)的变量y作为输入，预测下一个时刻t的输出y，并可不断地将预测输出y_t作为最新的输入，采用相同的模型结构和参数，直接预测下下个时刻t+1，直至不断循环得到未来特定时刻t+j的输出。

NARX模型则类似于统计学时间序列ARMA模型，ARMA模型结构如图3所示，模型输入除输出y的前m个历史时刻外，还引入了外部输入x的前m个时刻和t时刻的x(即用未来t时刻的输入变化预测输出的响应，某些应用场合无法预知未来t时刻的输入x，则可不使用对应t时刻x的输入结构)作为输入，共同预测下一个时刻t的输出y。该结构同样也可以使用新的模型输出y_t来更新模型的输入时间，从而滚动迭代计算更远期的输出，但此时模型输入x是无法随着模型计算获得新的输入更新的，因此模型输入x采用确定的预期值作为输入，或推迟x输入的时间范围(如x输入的时刻采用t-j至t-k，其中k>j>滚动计算总时间步数，这样可保证在滚动计算时随着时间的更新，始终保持x变量都是已知的)，从而避免滚动计算过程中出现未知输入的情形。

相比于NAR神经网络模型只利用历史数据进行预测，NARX模型不仅包含输出y自身的时间序列特性，而且引入了n个输入x的时间序列输入的影响，更适合过程控制领域更关心的输入输出响应关系的建模。

然而NARX模型在输入输出响应建模及其控制应用过程中存在以下困难：

(1)过程控制建模成功率偏低

需要人工智能建模的过程控制对象一般都具有经典PID控制较难解决的大惯性、大延迟等特点，除噪声外，对象输出y往往随时间的变化趋势连续且相对光滑，这类时间序列特征在采用NARX建模时，输出y的前m个时刻的输入权重很容易明显高于其它输入x的权重，使输入x的权重在学习算法的迭代过程中得到抑制，容易造成训练的早熟和建模的失败，因为过程控制往往更关注输入x的影响规律以实施控制设计与优化。

(2)与采样时间间隔的强关联性极大制约了模型的应用

由于NARX模型中时间序列特性是通过m个历史时刻的输入x之间的相对关系来体现的，因此，相邻两个输入之间的采样时间间隔△t是整个神经网络模型参数及特性的基础，这要求模型的训练和应用都需要严格按照该时间间隔△t进行数据采样。这导致不容易准确获得等间隔采样或可变采样间隔的场合或在不同时间间隔采样平台之间进行模型迁移都变得更加困难，一定程度上制约了模型的应用。

(3)模型复杂度和训练难度大

由于模型的结构特点，输入输出之间的动态响应特性需要对每一个新增的输入x增加m+1个输入节点。而每个输入节点都产生新的全连接权值向量，并相应增加新的隐含层节点，这使多输入系统的模型参数矩阵的复杂度指数级增加，导致训练异常困难。尤其当输入与输出之间的响应过程具有较大惯性和延迟时，例如锅炉燃烧换热过程的惯性过程可能要3-8分钟，而常规的控制器运算周期或采样时间间隔只有200-500ms，这使一个考虑该过程的输入可能要增加数百个输入节点，在多个输入变化的响应时间相差数量级比较大时，即使牺牲数据采样频率通过重采样的方式也很难降低模型的维度。

(4)输出y的自回归权重天然过高，其它输入x的特性建模成功率相对较低

NAR和NARX模型中均采用了输出y的前m个历史时刻，而实际过程控制对象(尤其是大惯性对象)的变化趋势都呈现出比较明显的连续性和相对于采样周期时间的缓变性，这常常导致未来时刻输出y与当前和历史时刻的输出y具有极强的相关性，这使模型输入中输出历史时刻y的权重相对其它输入x的权重在训练初始阶段就快速形成压倒性优势。但过程控制最关心的往往是输入x相对于输出y的响应规律，以此进行控制器的设计和控制指令的生成，二者的矛盾使模型训练成功率常常不能满足控制对可靠性的要求。

2.静态结构前向神经网络的动态仿真

经典静态结构前向神经网络也被用于动态过程仿真建模，也是目前常用的动态过程建模方案之一。静态结构前向神经网络的结构本身，输出与输入本身是不包含历史结构的，但可以使用多个历史时刻的时间序列同时作为模型输入，从而建立时间序列对象的作用规律。

如图4所示，以经典的前向三层全连接神经网络结构为例，可以按规律，将各输入变量x的时间序列按照一定的固定顺序一起作为神经网络的输入。这样，神经网络通过网络模型的训练可以找到输出与输入时间序列整个过程的内在联系，从而使网络模型有可能识别动态过程的响应特征。相比NARX时间序列模型结构，这样的输入结构相当于取消了输出y的历史时刻作为固定的结构性输入，但同时广义范围的输入x也可以将输入y作为输入变量x之一，这其实就与NARX模型在本质上一致了。

该模型在过程控制领域有一定的应用，但也存在一些局限，主要问题是模型输入历史时刻的引入，使模型多考虑一个输入变量的影响则需要增加数个甚至数十个输入神经元，对应的整个网络权值矩阵的复杂度是指数级增加的，若使用深度网络则模型复杂度更高，这使得实际模型的学习和训练应用时，往往很难收集到复杂网络必须的足够样本。

本质上，此类模型类似于统计学时间序列ARMA模型中的AR模型(也称自回归模型)，本质上与NARX模型具有类似问题(过程控制建模成功率偏低、与采样时间间隔的强关联性极大制约了模型的应用、模型复杂度和训练难度大等)

3.循环神经网络RNN

传统神经网络无法有效处理序列数据，如时间序列数据、文本数据等，这主要是因为传统神经网络模型很难捕捉序列中的长距离依赖关系(例如过程控制中的大惯性、大延迟对象的响应特性)。一个简单的RNN网络结构如图5所示，循环神经网络RNN与前述网络类似，都包含输入层、隐含层和输出层，如果抛开W更新矩阵，输入向量X经权值矩阵U加权求和并运算后得到隐含层输出向量s，再经过权值矩阵V加权求和并运算后得到输出向量y，其结构与常规的前向多层全连接神经网络结构是一致的。W更新矩阵用于引入上一时刻的隐含层输出p_t-1更新t时刻的隐含层输出p_t，这样实际网络的隐含层输出不仅与当前时刻的输入x有关，还与前一时刻隐含层输出p_t-1有关，进而与历史过程的输入x有关，这样相当于使网络有了记忆功能。

写成表达式：

其中，

p_t＝f(U·x_t+w·p_t-1)

＝f(U·x_t+w·f(U·x_t-1+w·p_t-2))

＝f(U·x_t+w·f(U·x_t-1+w·f(U·x_t-2+w·p_t-3)))

……

以简单的线性隐含层转移函数pureline为例

p_t＝U·x_t+w·p_t-1

＝U·x_t+w·U·x_t-1+w·w·p_t-2

＝U·x_t+w·U·x_t-1+w·w·U·x_t-2+w·w·w·p_t-3

＝U·x_t+w·U·x_t-1+w²·U·x_t-2+w³·U·x_t-3+……

相当于计算隐含层输出s_t时的输入x不同时刻值(x_t x_t-1 x_t-2 x_t-3 …)的权重(Uw·U w²·U w³·U …)依次线性增加(或衰减)w倍。

循环神经网络RNN的提出，极大提高了神经网络的时序处理能力，在语音识别、语言模型、翻译、图像注释等问题上取得了惊人的成就，尤其是循环神经网络的两种变形——长短记忆神经网络LSTM和门控循环单元GRU，LSTM在大量工业时序数据建模过程中也常常相对其它网络具有更好的表现。

虽然循环神经网络较经典的全连接网络具有了一定的记忆，可以在一定程度上适应对象的动态特性，然而与前述模型类似，模型参数对采样时间间隔仍然具有较强的关联性，这在实际物理系统的建模使用中仍存在较大的制约，一方面当采样时间间隔发生变化后，模型将失效，这要求训练样本和实际使用都要采用相同的采样时间；另一方面对象的输入存在较大响应时间差异时(例如同时存在一个大惯性过程和一个小惯性过程，且惯性时间存在数量级差距时)，容易导致建模失败率升高。

综合以上分析可知，目前可用于过程控制动态响应特性建模的各类网络模型都是采样时间相关的，然而宏观物理学实际过程控制对象本身的固有特性与采样时间是无关的，例如，汽车刹车距离除了与汽车本身质量、速度、轮胎与路面摩擦系数等关键因素有关外，与观测采样时间是无关的，基于连续时间过程的建模可在不同的采样时间下正常使用，其模型参数也将一定程度上代表对象特性，从而可能具有一定的物理意义，这对模型参数的选择和控制都有一定的积极意义。

发明内容

为了解决上述问题，本发明目的在于提出一种适合过程控制建模的动态响应人工神经网络，消除了网络模型对采样时间的敏感性，可有效使用较少的神经元捕捉物理系统过程的动态响应特性，对样本数量需求较小。

为了达到上述目的，本发明采用如下技术方案：

一种适合过程控制建模的动态响应人工神经网络，包括一层或多层惯性神经元和/或超前滞后神经元，所述惯性神经元是在在输入层和隐含层神经元输出上增加积分作用形成，超前滞后神经元是在在输入层和隐含层神经元输出上增加微积分作用形成；

所述惯性神经元为在经典神经元隐含层计算得到的输出r基础上依次串联一个求和节点2和一个积分计算环节3组成，其中求和节点2用于计算经典神经元计算环节输出r与神经元输出y之间的偏差，并将偏差输出到积分计算环节3，最终输出y作为惯性神经元的输出；

所述积分计算环节3的数学表达式对于环节输入e与输出u表示为：

其中T_I为神经元的积分时间常数，C_I为积分初值常数；

整个惯性神经元用数学式表达为：

所述超前滞后神经元在经典神经元计算得到的输出r基础上，与经微分计算环节4输出后，与负的神经元输出y共同进入输入求和节点2，然后经积分计算环节3输出神经元的输出；

微分计算环节4的数学表达式对于环节输入r与输出u表示为：

其中T_D为微分时间常数；

整个超前滞后神经元用数学式表达为：

所述惯性神经元和或超前滞后神经元具备稳态特性和动态特性。

所述动态响应人工神经网络的训练方法包括分布训练法和智能寻优法；

所述分布训练法即分稳态训练和动态训练两步对模型进行训练，首先选择采样样本中的稳态样本，采用任意经典训练方法实现对神经网络权值矩阵的训练，当描述网络传递关系的权值矩阵训练完成后，则进行动态训练，在动态训练中，上一步稳态训练好的权值矩阵W使r＝f(∑Wx)对于所有样本来说是已知的，因此多层神经元构成的神经网络变为仅由惯性神经元和或超前滞后神经元中参数形成的线性微积分方程或方程组，当神经网络中惯性神经元和或超前滞后神经元仅存在一层时，形成常系数一阶线性微积分方程；当神经网络中惯性神经元和或超前滞后神经元存在多层时，形成常系数高阶线性微积分方程；则应用一阶线性常系数微分方程组的待定系数求解问题。

所述智能寻优法即直接根据大量的动态样本通过智能寻优算法同时进行权值矩阵W和惯性神经元和(或)超前滞后神经元参数的求解。

和现有技术相比较，本发明具备如下优点：

本发明提出惯性神经元(LGN)和超前滞后神经元(LDLGN)及其构成的动态响应人工神经网络，可以采用极小的规模构建描述实际物理过程的动态特性模型，其模型参数与样本采样时间无关，有一定的物理意义，尤其适用于过程控制所需的对象建模。

附图说明

图1为经典的前向全连接人工神经网络模型。

图2为现有的NAR时间序列模型结构示意图。

图3为现有的NARX时间序列模型结构示意图。

图4为现有的静态结构前向神经网络的动态仿真结构。

图5为现有的循环神经网络RNN。

图6为本发明动态响应人工神经网络的惯性神经元结构示意图。

图7为本发明动态响应人工神经网络的超前滞后神经元结构示意图。

图8为实施例中的LC电路图。

图9为实施例中的LC电路等效为两个惯性神经元串联形成单输入单输出的模型。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

本发明适合过程控制建模的动态响应人工神经网络是基于经典的全连接人工神经网络，该神经网络的神经元包括在输入层和隐含层神经元输出上增加微积分作用，构成全新的一层或多层惯性神经元(简称LGN)和超前滞后神经元(简称LDLGN)。

传统神经元计算环节1对输入x加权求和并经转移函数(激活函数)f计算后直接输出，如图6所示，惯性神经元为在经典神经元隐含层计算得到的输出r基础上依次串联一个求和节点2和一个积分计算环节3组成，其中求和节点2用于计算经典神经元计算环节输出r与神经元输出y之间的偏差，并将偏差输出到积分计算环节3，最终输出y作为惯性神经元的输出。

其中积分计算环节3采用通用积分函数，其典型的数学表达式对于环节输入e与输出u表示为：

其中T_I为神经元的积分时间常数；C_I为积分初值常数，一般可取计算初始时刻t_sta的模型神经元输入加权计算的中间变量/>

整个惯性神经元(LGN)用数学式表达为：

从连续时间过程的建模角度来看，该惯性神经元的特点包括稳态特性和动态特性两个方面：

(1)稳态特性

模型达到稳态(所建模对象系统输入稳定不变且输出稳定不发生变化)时，根据积分函数本身的固有特性，一定是积分计算环节3的输入为0，否则积分计算环节3的输出将继续不断变化，这意味着神经元输出y与传统神经元计算环节输出r相等，整个神经元的表达式变为：

y＝f(∑Wx)

这与传统神经元的运算完全相同，也即忽略所建模对象的连续时间过程动态特性后，由惯性神经元构成的神经网络与常规神经网络完全一致，稳态样本适用于所有学习训练算法。

(2)动态特性

对于一个连续时间变化的对象动态过程，对传统神经元计算环节1输出r与神经元输出y之间的关系式两边进行Laplace变换，得到惯性神经元输入输出之间的动态传递函数为：

式中，s为拉普拉斯算子，T_I为神经元的积分时间常数。

即典型的增益为1的一阶惯性传递函数，可描述输入r与输出y之间的一阶惯性动态过程。，因为该传递函数模型为典型的一阶惯性传递函数，T_I也代表了该一阶惯性环节的惯性时间常数，因此其动态过程惯性的大小取决于神经元的积分时间常数T_I。

如图7所示，超前滞后神经元(LDLGN)在经典神经元计算得到的输出r基础上，与经微分计算环节4输出后，与负的神经元输出y共同进入输入求和节点2，然后经积分计算环节3输出神经元的输出。

其中积分计算环节3与惯性神经元(LGN)相同，微分计算环节4采用通用微分函数，其典型的数学表达式对于环节输入r与输出u表示为：

其中T_D为微分时间常数

整个超前滞后(LDLGN)神经元用数学式表达为：

从连续时间过程的建模角度来看，该惯性神经元的特点包括稳态和动态两个方面：

(1)稳态特性

模型达到稳态(所建模对象系统输入稳定不变且输出稳定不发生变化)时，根据微分函数与积分函数本身的固有特性，微分环节2的输出为0，积分计算环节3的输入为0，这意味着神经元输出y与传统神经元计算环节输出r相等，整个神经元的表达式与LGN相同，变为：

y＝f(∑Wx)

这与传统神经元的运算完全相同，也即忽略所建模对象的连续时间过程动态特性后，由惯性神经元构成的神经网络与常规神经网络完全一致，稳态样本适用于所有学习训练算法。

(2)动态特性

对于一个连续时间变化的对象动态过程，对传统神经元计算环节1输出r与神经元输出y之间的关系式两边进行Laplace变换，得到惯性神经元输入输出之间的动态传递函数为：

式中，s为拉普拉斯算子

即典型的一阶传递函数，可描述输入r与输出y之间的一阶线性动态过程，其中神经元的积分时间常数T_I在传递函数中代表输出的动态特征时间，T_D代表输出的动态特征时间，均具有连续时间域的一定物理意义。

综上所述，惯性神经元(LGN)和超前滞后神经元(LDLGN)具备如下相似的特性：

(1)稳态特性

模型达到稳态(所建模对象系统输入稳定不变且输出稳定不发生变化)时，神经元都可以表达为：

y＝f(∑Wx)

与传统神经元的运算完全相同，也即忽略所建模对象的连续时间过程动态特性后，由惯性神经元构成的神经网络与常规神经网络完全一致，稳态样本适用于所有学习训练算法。

(2)动态特性

对于一个连续时间变化的对象动态过程，惯性神经元(LGN)和超前滞后神经元(LDLGN)建立了一阶的线性微积分方程，输入输出之间的动态传递函数分别为和本身可描述一阶线性物理过程的动态特性，当转移函数f采用非线性函数(除pureline之外的其它经典转移函数或激活函数)时，将使单个神经元的动态特性具有一定的非线性，从而通过网络组合，实现非线性动态过程的模拟。

本发明所提出的一种适合过程控制建模的动态响应人工神经网络，包含了上述的惯性神经元(LGN)和(或)超前滞后神经元(LDLGN)构成的人工神经网络。

下面以如图8的LC电路为例，说明所提出的一种适合过程控制建模的动态响应人工神经网络建模方法及其应用效果。

该电路以u_r为输入电压，u_c为输出电压，在一定的电阻(R₁和R₂)、电容(C)和电感(L)配置下，形成输入电压u_r与输出电压u_c之间一定的动态响应关系。根据电路推导得到系统的传递函数为

这是明显的输出为2阶，输入为0阶的线性传递函数，其等效为两个一阶惯性传递函数的串联，理论上可以用两个LGN神经元串联形成单输入单输出的模型，如图9所示：

也即理论上仅需2个串联的LGN惯性神经元即可有效模拟LC电路的动态过程，但这样的动态过程采用现有神经网络进行同等精度的建模至少需要数十至数百个神经元，需要求解的权值矩阵等参数更是指数倍增加。

此外，如上图所示的两层串联LGN神经元的参数满足

式中，T_I ⁽¹⁾和T_I ⁽²⁾分别为第一层和第二层LGN神经元的惯性时间常数。

这样T_I ⁽¹⁾和T_I ⁽²⁾具备一定的物理意义(如上式代表电阻、电感和电容的参数组合)，且取值与建模样本的采样时间间隔无关，更适合用于实际物理过程的动态特性建模。

根据前述LGN和LDLGN神经元的特点，所提出的一种适合过程控制建模的动态响应人工神经网络的训练方法可采用分布训练法和智能寻优法两种。

分布训练法即分稳态训练和动态训练两步对模型进行训练。首先选择采样样本中的稳态样本，对于稳态过程LGN或LDLGN的加入与经典神经网络完全相同，可以对稳态样本采用任意经典训练方法实现对神经网络权值矩阵的训练。当描述网络传递关系的权值矩阵训练完成后，可进行动态训练，在动态训练中，上一步稳态训练好的权值矩阵W使r＝f(∑Wx)对于所有样本来说是已知的，因此多层神经元构成的神经网络变为仅由LGN和LDLGN神经元中参数形成的线性微积分方程或方程组，当神经网络中LGN或LDLGN神经元仅存在一层时，形成常系数一阶线性微积分方程；当神经网络中LGN或LDLGN神经元存在多层时，形成常系数高阶线性微积分方程。可以应用常规的一阶线性常系数微分方程组的待定系数求解问题，属最常见的数学问题，例如最简单的常用最小二乘法都能根据动态样本求解LGN和LDLGN神经元中参数。

智能寻优法即直接根据大量的动态样本通过智能寻优算法同时进行权值矩阵W和LGN神经元和(或)LDLGN神经元参数的求解，因为如前述实施例可知，引入了惯性神经元(LGN)和(或)超前滞后神经元(LDLGN)后，物理系统的神经网络模型规模会远小于传统神经网络。绝大多数实际物理系统都小于3阶，则网络层数小于3，即使考虑了非线性特性，常见的对象建模都可以用数十个神经元组成的网络进行比较好的动态特性模拟。这使实际网络模型所需求解参数数量规模很小，可以直接用粒子群算法、遗传算法、模拟退火算法、免疫算法，以及它们的改进算法进行全局求解。

Claims (3)

1.一种适合过程控制建模的动态响应人工神经网络，其特征在于：所述神经网络用于自动控制技术与人工智能技术领域，适用于过程控制所需的对象建模；所述神经网络包括一层或多层惯性神经元和/或超前滞后神经元，所述惯性神经元是在在输入层和隐含层神经元输出上增加积分作用形成，超前滞后神经元是在在输入层和隐含层神经元输出上增加微积分作用形成；

所述惯性神经元为在经典神经元隐含层计算得到的输出r基础上依次串联一个求和节点2和一个积分计算环节3组成，其中求和节点2用于计算经典神经元计算环节输出r与神经元输出y之间的偏差，并将偏差输出到积分计算环节3，最终输出y作为惯性神经元的输出；

所述积分计算环节3的数学表达式对于环节输入e与输出u表示为：

其中T_I为神经元的积分时间常数，C_I为积分初值常数；

整个惯性神经元用数学式表达为：

所述超前滞后神经元在经典神经元计算得到的输出r基础上，与经微分计算环节4输出后，与负的神经元输出y共同进入输入求和节点2，然后经积分计算环节3输出神经元的输出；

微分计算环节4的数学表达式对于环节输入r与输出u表示为：

其中T_D为微分时间常数；

整个超前滞后神经元用数学式表达为：

所述神经网络建立LC电路的过程如下：

LC电路以u_r为输入电压，u_c为输出电压，在电阻、电容和电感配置下，形成输入电压u_r与输出电压u_c之间一定的动态响应关系；LC电路的传递函数为

其中s为拉普拉斯算子，R₁和R₂为LC电路中的两个电阻，C为LC电路中的电容，L为LC电路中的电感；

能够用两个LGN神经元串联形成单输入单输出的模型：也即理论上仅需两个串联的LGN惯性神经元即能有效模拟LC电路的动态过程；

两个串联的LGN惯性神经元的参数满足

式中，T_I ⁽¹⁾和T_I ⁽²⁾分别为第一层和第二层LGN神经元的惯性时间常数，这样T_I ⁽¹⁾和T_I ⁽²⁾具备一定的物理意义，代表电阻、电感和电容的参数组合，且取值与建模样本的采样时间间隔无关，更适合用于实际物理过程的动态特性建模。

2.根据权利要求1所述的一种适合过程控制建模的动态响应人工神经网络，其特征在于：所述惯性神经元和或超前滞后神经元具备稳态特性和动态特性。

3.根据权利要求1所述的一种适合过程控制建模的动态响应人工神经网络，其特征在于：所述动态响应人工神经网络的训练方法包括分布训练法和智能寻优法；

所述分布训练法即分稳态训练和动态训练两步对模型进行训练，首先选择采样样本中的稳态样本，采用任意经典训练方法实现对神经网络权值矩阵的训练，当描述网络传递关系的权值矩阵训练完成后，则进行动态训练，在动态训练中，上一步稳态训练好的权值矩阵W使r＝f(∑Wx)对于所有样本来说是已知的，因此多层神经元构成的神经网络变为仅由惯性神经元和或超前滞后神经元中参数形成的线性微积分方程或方程组，当神经网络中惯性神经元和或超前滞后神经元仅存在一层时，形成常系数一阶线性微积分方程；当神经网络中惯性神经元和或超前滞后神经元存在多层时，形成常系数高阶线性微积分方程；则应用一阶线性常系数微分方程组的待定系数求解问题；

所述智能寻优法即直接根据大量的动态样本通过智能寻优算法同时进行权值矩阵W和惯性神经元和/或超前滞后神经元参数的求解。