CN101452258A - 一种与模型无关的自适应控制器及其控制方法 - Google Patents

Abstract

本发明涉及一种与模型无关的自适应控制器，该控制器由两个前向神经网络串连而成，前一神经网络为网络控制器MLPc，后一神经网络为网络模拟器MLPo，网络控制器的输出作为网络模拟器及受控对象的输入，受控对象的输出和网络控制器的输入之间设有一闭环负反馈，网络模拟器的输出和受控对象的输出之间设置为相减关系。网络模拟器由一个时滞多层感知器(TDMLP)组成，用来对工业过程进行模拟；网络控制器也是一个TDMLP，在考虑到模型估计误差的前提下，用于对模拟器进行最优的控制。本发明具有控制精度高、系统响应速度快，网络内部机构简化的优点。

Description

一种与模型无关的自适应控制器及其控制方法

技术领域

本发明涉及一种自适应控制器及其控制方法，尤其涉及一种与模型无关的自适应控制器及其控制方法。

背景技术

工业过程的特点是物理化学或热力学过程十分复杂，一般为非线性时变，难以建模或难以精确建模。现存的应用于工业过程的控制器一般为基于对象的或基于经验的，这两类控制器中，基于对象的控制器由于上述工业过程本身的特点，在设计控制器方面存在很大的困难，而基于经验的控制器的性能很大程度上取决于专家的经验。这两种控制器都很难实现对工业过程的最优控制。在相关文献中，出现过利用神经网络来实现自适应控制的事例，但所使用的神经网络结构往往是单一的，这种结构存在两方面的缺陷：1、无法精确处理具有时滞的工业过程，控制精度受限；2、单一网络内部机构复杂，训练过程较长，系统响应速度慢。

发明内容

本发明的任务是提出一种与模型无关的自适应控制器及其控制方法，以提高控制精度和系统响应速度，简化网络内部结构。

为完成上述任务，本发明针对工业过程的特点提出了一种与模型无关的自适应控制器，该控制器由两个前向神经网络串连而成，前一神经网络为网络控制器MLPc，后一神经网络为网络模拟器MLPo，网络控制器的输出作为网络模拟器及受控对象的输入，受控对象的输出和网络控制器的输入之间设有一闭环负反馈，网络模拟器的输出和受控对象的输出之间设置为相减关系，两者的差值误差用于网络模拟器MLPo的再训练过程。

网络模拟器MLPo由一个时滞的多层感知器(TDMLP)根据受控对象的输入输出对来建模；网络控制器MLPc由另一个时滞多层感知器(TDMLP)组成，网络模拟器MLPo通过受控对象的运行而获得训练样本并进行学习，网络控制器MLPc则根据设定的目标函数进行学习和调节自身参数，最终获得对受控对象的最优控制。

所述的网络控制器MLPc和网络模拟器MLPo均含有一个输入层、一个隐藏层和一个输出层。

所述的网络控制器MLPc和网络模拟器MLPo的隐藏层中设有6—10个神经元，输出层均设有一个神经元。

与上述自适应控制器相对应，本发明给出了相应的控制方法，该控制方法步骤如下：

a.系统初始化：随机初始化网络控制器MLPc和网络模拟器MLPo，网络控制器MLPc和网络模拟器MLPo的网络结构可根据一定的先验知识确定；

b.k＝0时刻，对象的输出为0；k≠0时刻，对象的输出为其实际输出值，根据k时刻受控对象的输出和目标函数的值得到反馈误差，并将其作为输入加到MLPc的输入层，前向计算得到控制量为u_k，并将其作为激励加到受控对象和网络模拟器MLPo上；

c.计算受控对象的输出和网络模拟器MLPo的输出，并据此得出目标函数，即(1)式；

$J_o=\frac{1}{2N}\underset{j=1}{\overset{p}{\mathrm{\Σ}}}{\left(e_j^{\′}\right)}^2\stackrel{{\mathrm{\Ω}}_o}{\→}\min ---\left(1\right)$

d.根据下列(1)、(4)和(5)式更新MLPo的权值；

$J_o=\frac{1}{2N}\underset{j=1}{\overset{p}{\mathrm{\Σ}}}{\left(e_j^{\′}\right)}^2\stackrel{{\mathrm{\Ω}}_o}{\→}\min ---\left(1\right)$

$\left\{\begin{array}{c}{d}_j^M=(o_j^M-y_j)f\′\left(i_j^M\right),\\ d_j^k=f\′\left(i_j^k\right)\underset{l}{\mathrm{\Σ}}{w}_{\mathrm{jl}}^{k,k+1}{d}_l^{k+1},\mathrm{for\; k}=M-1,M-2,\·\·\·,2,\end{array}\right.---\left(4\right)$

$\mathrm{\Δ}{w}_{\mathrm{ij}}^{k-1,k}\←-\mathrm{\ϵ}{d}_j^k{o}_i^{k-1}+\mathrm{\α\Δ}{w}_{\mathrm{ij}}^{k-1,k},\mathrm{for\; k}=\mathrm{2,3},\·\·\·,M---\left(5\right)$

e.根据以下(3)式计算受控对象的输出和目标函数值的差值，得到MLPc的目标函数，即以下(2)式；当目标函数的值小于等于额定的误差值ε时(ε＝10^-2——10^-6)，则算法结束；

$J_c=\frac{1}{2N}\underset{j=1}{\overset{p}{\mathrm{\Σ}}}{\left(e_j\right)}^2\stackrel{{\mathrm{\Ω}}_c}{\→}\min ---\left(2\right)$

e_j＝r_j-y_j＝r_j-(y′_j-e′_j)＝(r_j+e′_j)-y′_j     (3)

f.保持网络模拟器MLPo的权值不变，根据上述(2)、(4)和(5)式更新网络控制器MLPc的权值，在此过程中，网络模拟器MLPo的作用仅仅是反向传递误差；

g.转到步骤b。

从本发明的控制器和控制方法可以看出，本发明的两个前向神经网络连接得到的控制器与现有的单一网络结构控制器相比，单一网络结构考虑的仍然只是误差的变化，而本发明考虑了误差变化的变化，因而本发明的训练精度更高一些；关键在于，单一网络结构控制器通过神经网络整定的仍然是PID参数，也就是说它还是要根据被控对象的特征通过神经网络先获得PID参数，再用PID参数对真实工况进行控制，这样训练的周期就比较长，而且对PID的训练多是离线的。而本发明对于被控对象可以什么都不知道，直接通过神经网络来训练权值，且训练过程都是在线的，控制响应时间短，本发明的这一特点使得本控制器可用来控制没有任何知识的真实对象，或仅对对象的动态特性和非线性程度有粗略的了解(用来确定控制器和对象动态特性和非线性程度)，由于真实对象被看成一个“黑匣子”，且可被具有学习能力的网络控制器所模拟，所以整个控制系统可用于过程控制，即便被控过程是非线性的、时变的、时滞的或分布参数的。单一网络结构控制器若要在线训练，网络内部的隐藏层中，需要对积分、微分节点进行自递归反馈设计，网络结构比较复杂，而本发明的两个基本结构的前向神经网络连接得到的控制器，使得每个神经网络内部结构大为简化，系统构建变得简单。

附图说明

图1所示为设计反馈系统控制器的一般做法的框图；

图2为本发明的控制器的设计框图；

图3(a)为网络控制器MLP_c的结构框图；

图3(b)为图3(a)的详细的结构；

图4为本发明控制系统的过程学习框图；

图5(a)为网络模拟器MLPo的训练过程示意图；

图5(b)为网络控制器网络控制器MLPc的训练过程示意图。

具体实施方式

1.本发明控制器的构成

该控制器由两个前向神经网络串连而成，前一神经网络为网络控制器MLPc，后一神经网络为网络模拟器MLPo，网络控制器的输出作为网络模拟器及受控对象的输入，受控对象的输出和网络控制器的输入之间设有一闭环负反馈，网络模拟器的输出和受控对象的输出之间设置为相减关系，两者的差值误差用于网络模拟器MLPo的再训练过程。

网络模拟器MLPo由一个时滞的多层感知器(TDMLP)根据受控对象的输入输出对来建模；网络控制器MLPc由另一个时滞多层感知器(TDMLP)组成，网络模拟器MLPo通过受控对象的运行而获得训练样本并进行学习，网络控制器MLPc则根据设定的目标函数进行学习和调节自身参数，最终获得对受控对象的最优控制。网络控制器MLPc和网络模拟器MLPo均含有一个输入层、一个隐藏层和一个输出层。网络控制器MLPc和网络模拟器MLPo的隐藏层中设有6—10个神经元，输出层均设有一个神经元。

图1所示为设计反馈系统控制器的一般做法，由图中可以看出，要设计一个最优的控制器，模型与受控对象间的模拟误差和控制器的控制误差都应该最小化，而这些误差均与系统的输入输出有关。如前所述，多数工业过程十分复杂以致难以精确建模，而我们又必须对其进行最优控制。为解决这个问题，我们给受控对象建立模拟和控制的最优目标方程，如果这些目标方程实现，则说明模拟器对对象进行了精确建模，控制器对对象实现了最优控制。为达到这一目标，初始时刻对受控对象加以随机的控制，得到输入输出训练样本，然后根据模拟器和控制器的目标方程，使模拟器和控制器能在线自学习，以便它能自适应受控对象和环境的结构和参数的变化。这时，设计控制器时仅有的知识是受控对象在一个初始的控制器下的输入输出的信息，如图2所示。

需要注意的是，工业过程一般是动态过程，因此最优控制器也应该是动态的。这正是我们对模拟器和控制器采用TDMLP的原因。图3(a)为MLP_c的结构框图，图3(b)为其详细的结构。基于MLP的强大学习能力，从模型辨识的角度看，MLP_o根据输入输出自学习，以精确的模拟实际受控对象；从控制的角度看，学习也能使MLP_c不断根据控制性能和最优化的目标函数进行自身的调整，从而达到最优控制。整个过程中，MLP_c是模型无关的、动态的和自学习的，其控制

目标是动态的和不断学习调整中的MLP_o，而与实际对象的特性无关。

由图3(b)MOFREE控制器的详细结构可以看出，虽然真实对象可以是未知的，但是下列四个参数仍需要事先给定：MLP_o和MLP_c的动态特性的阶数m和n，本文称它们为历史复杂度，它们分别表示将当前时刻及其之前多少时刻的控制量u和误差e输入MLP_o和MLP_c；MLP_o和MLP_c的非线性程度h_o和h_c，本文称它们为非线性度，它们分别表示MLP_o和MLP_c的隐层神经元的数目。注意这里采样时间是一个隐含的参数，它会影响上述两对参数的选择。为了满足非线性映射的要求，MLP_o和MLP_c的隐层神经元和输出神经元的激励函数需是sigmoid函数和线性函数。

2.本发明控制器的过程学习

上一小节，我们讨论了怎样用MOFREE控制器控制工业过程。本节将介绍MLPo和MLPc的学习算法。在下面的讨论中，Ωo和Ωc分别指MLPo和MLPc的参数集，也就是指它们的权值集合。最初的阶段，假设我们并未对真实对象建模，因此我们随机选一个控制器来控制这样一个物体，也就是说，MLPo和MLPc的参数均是随机给出的。虽然初始控制器是随机给出的，我们仍然可以根据它的输出，也就是控制量，来得到受控对象的一些信息，即输入输出对。这些信息可被用来调整MLPo的参数集Ωo，使之更接近于真实对象，这时的目标函数为MLPo的输出与受控对象的输出的误差平方和。在此基础上，MLPc的参数集Ωc被调整，使得MLPc更适合于控制参数调整之后的MLPo，这时控制器应该满足的最小化目标方程是控制误差。由于整个控制器的在线自学习和自调整是分为MLPo和MLPc两个阶段，所以我们称其为过程学习，学习框图如图4所示。

图4 MOFREE控制系统的过程学习框图。设真实对象的历史输出为yj，j＝k-p，k-p+1，...，k-1，模拟器的历史输出为y’j，j＝k-p，k-p+1，...，k-1，当前输出分别为yj，j＝k和y’j，j＝k，则更新MLPo的参数集Ωo的准则是：k-1时刻的参数集Ωok-1在k时刻更新为Ωok，使得在相同的历史时刻上，模拟器和真实对象的输出之间的误差最小。训练集表示为：{(U1，y1)，1＝k-p+1，...，k}，U1＝(u1，u1-1，...，u1-m)T，由于我们取的是固定大小的训练集，所以这里在将k时刻的输入输出对加入到训练集中时，为保持训练集大小不变，要将k-p时刻的输入输出对从训练集中删除。注意这里所指的相同的历史时刻，与第二节中的历史复杂度不是一个概念，这里指的是训练集中用于训练网络的输入输出对的多少，即p，如果受控对象为时不变系统，则p与受控对象的特性无关，如果受控对象为时变系统，那么p不宜过大，且整个学习过程中p是恒定的。在以下的讨论中，我们针对于训练集，将输入输出对称为训练样本。MLPo目标函数用公式表示为：

$J_o=\frac{1}{2N}\underset{j=1}{\overset{p}{\mathrm{\Σ}}}{\left(e_j^{\′}\right)}^2\stackrel{{\mathrm{\Ω}}_o}{\→}\min ---\left(1\right)$

紧接着更新控制器，准则为：k-1时刻的控制器的参数集Ωck-1在k时刻更新为Ωck，使得在当前时刻及以前的一段时刻上，真实对象输出同期望输出之间的误差最小。训练集的大小也是p。MLPc的目标函数用公式表示为：

$J_c=\frac{1}{2N}\underset{j=1}{\overset{p}{\mathrm{\Σ}}}{\left(e_j\right)}^2\stackrel{{\mathrm{\Ω}}_c}{\→}\min ---\left(2\right)$

其中e_j用下式表示：

e_j＝r_j-y_j＝r_j-(y′_j-e′_j)＝(r_j+e′_j)-y′_j    (3)

(3)式中，r_j+e′_j可以被认为是MLPc的期望输出，y′_j为MLPc的真实输出。更新控制器的参数Ωck-1为Ωck目的就是让e_j最小。这就是为什么MLPc的训练集为{(Ej，rj+e’j)，j＝1，2，...，k}。e′_j可由先前MLPo的学习中所得，而e′_k由上面提到的MLPo的参数集Ωok所得。

由于MOFREE控制器的学习算法基于BP算法，所以其仍有可能收敛于目标函数的某一个局部最小值。从模型辨识的角度来看，这样的一个局部最小值意味着模型不能很好的辨识真实对象，从控制的角度来看，局部极小值意味着控制性能未能达到最优，但仍然达到了次最优。具有参数集Ω的MLP学习时采用的BP算法，如下两式所示：

$\left\{\begin{array}{c}{d}_j^M=(o_j^M-y_j)f\′\left(i_j^M\right),\\ d_j^k=f\′\left(i_j^k\right)\underset{l}{\mathrm{\Σ}}{w}_{\mathrm{jl}}^{k,k+1}{d}_l^{k+1},\mathrm{for\; k}=M-1,M-2,\·\·\·,2,\end{array}\right.---\left(4\right)$

和权值更新算法：

$\mathrm{\Δ}{w}_{\mathrm{ij}}^{k-1,k}\←-\mathrm{\ϵ}{d}_j^k{o}_i^{k-1}+\mathrm{\α\Δ}{w}_{\mathrm{ij}}^{k-1,k},\mathrm{for\; k}=\mathrm{2,3},\·\·\·,M---\left(5\right)$

这里ε和α分别是学习率和动量因子，ijk和ojk是第k层第j个神经元的输入和输出，f(.)相应神经元的激励函数，wijk-1，k是(k-1)层第i个神经元和第k层第j个神经元之间的连接权值，网络共有M层，第M层的神经元的激励函数为线性函数。所以这些神经元的激励函数的导数为f’(ijk)＝ojk(1-ojk)。

基于上述的BP算法的MLPo和MLPc的过程学习算法如下所示。MLPo共3层，如图4(a)所示，其目标方程为(1)式。因此，M等于3，通过(3)式，可得d3(仅有一个输出神经元)和dj2。由训练样本对{(U1，y1)，1＝1，2，...，k-1}，其中U1＝(u1，u1-1，...，u1-m)T，可得d3＝y1-y’1和 $\mathrm{\Δ}{w}_{\mathrm{ij}}^{\mathrm{1,2}}\←-\mathrm{\ϵ}{d}_j^2{u}_{l-i+1}+\mathrm{\α\Δ}{w}_{\mathrm{ij}}^{\mathrm{1,2}}.$ 然而，对于控制器的过程学习，训练样本对为{(E1，r1+e’)，1＝1，2，...，k}，其中，E1是输入训练样本，r1+e’1是输出训练样本，表明作为训练样本的输入输出信号阶次经过模拟器和控制器。由于模拟器的参数在MOFREE对象模型学习阶段已经学习好了，也就是说，模拟器更接近于真实对象，那么，MLPc仅学习前三层的参数Ωc而保持模拟器的参数Ωo不变，如图4(b)所示。于是，对于MOFREE控制器，有M＝6，由(3)式可得d5(仅一个输出神经元)，dj4(j＝1，2，...，ho)，d3，和dj2(j＝1，2，...，hc)。训练集为{(E1，r1+e1’)，1＝1，2，...，k}，这里E1＝(e’1，e’1-1，...，e’1-n)T，使得d5＝r1+e’1-y’1，并且对训练集(E1，r1+e’1)有 $\mathrm{\Δ}{w}_{\mathrm{ij}}^{\mathrm{1,2}}\←-\mathrm{\ϵ}{d}_j^2{e}_{l-i+1}^{\′}+\mathrm{\α\Δ}{w}_{\mathrm{ij}}^{\mathrm{1,2}}.$

在每一个采样期间，需完成整个过程的学习，每一部分的学习都是一个循环迭代以致最小的过程。由于大多数的工业过程是缓慢的，因此我们的MOFREE控制器有足够的时间收敛。

3.本发明控制系统的控制方法

根据上面的讨论，我们可以总结出控制系统的自适应控制的方法如下：

a.系统初始化：随机初始化MLPo和MLPc，MLPo和MLPc的网络结构可根据一定的先验知识确定；(这里为了简化算法，神经网络只设一个隐层，且隐层神经元的个数常设为6—10个)；

b.k＝0时刻，对象的输出为0；k≠0时刻，对象的输出为其实际输出值。根据k时刻受控对象的输出和目标函数的值得到反馈误差，并将其作为输入加到MLPc的输入层，前向计算得到控制量为uk，并将其作为激励加到受控对象和MLPo上；

c.计算受控对象的输出和MLPo的输出，并据此得出目标函数，即(1)式；

d.根据(1)、(4)和(5)式更新MLPo的权值；

e.根据(3)式计算受控对象的输出和目标函数值的差值，得到MLPc的目标函数，即(2)式；当目标函数的值小于等于额定的误差值ε(ε＝10^-2——10^-6)时，则算法结束；

f.保持MLPo的权值不变，根据(2)、(4)和(5)式更新MLPc的权值，在此过程中，MLPo的作用仅仅是反向传递误差；

g.转到步骤b。

Claims (5)

1、一种与模型无关的自适应控制器，其特征在于，该控制器由两个前向神经网络串连而成，前一神经网络为网络控制器MLPc，后一神经网络为网络模拟器MLPo，网络控制器的输出作为网络模拟器及受控对象的输入，受控对象的输出和网络控制器的输入之间设有一闭环负反馈，网络模拟器的输出和受控对象的输出之间设置为相减关系，两者的差值误差用于网络模拟器MLPo的再训练过程。

2、根据权利要求1所述的自适应控制器，其特征在于，网络模拟器MLPo由一个时滞的多层感知器(TDMLP)根据受控对象的输入输出对来建模；网络控制器MLPc由另一个时滞多层感知器(TDMLP)组成，网络模拟器MLPo通过受控对象的运行而获得训练样本并进行学习，网络控制器MLPc则根据设定的目标函数进行学习和调节自身参数，最终获得对受控对象的最优控制。

3、根据权利要求1或2所述的自适应控制器，其特征在于，所述的网络控制器MLPc和网络模拟器MLPo均含有一个输入层、一个隐藏层和一个输出层。

4、根据权利要求3所述的自适应控制器，其特征在于，所述的网络控制器MLPc和网络模拟器MLPo的隐藏层中设有6—10个神经元，输出层均设有一个神经元。

5、一种用于根据权利要求1所述的自适应控制器的控制方法，其特征在于，该控制方法步骤如下：

a.系统初始化：随机初始化网络控制器MLPc和网络模拟器MLPo，网络控制器MLPc和网络模拟器MLPo的网络结构可根据一定的先验知识确定；

b.k＝0时刻，对象的输出为0；k≠0时刻，对象的输出为其实际输出值，根据k时刻受控对象的输出和目标函数的值得到反馈误差，并将其作为输入加到MLPc的输入层，前向计算得到控制量为u_k，并将其作为激励加到受控对象和网络模拟器MLPo上；

c.计算受控对象的输出和网络模拟器MLPo的输出，并据此得出目标函数，即(1)式；

$J_o=\frac{1}{2N}\underset{j=1}{\overset{p}{\mathrm{\Σ}}}{\left(e_j^{\′}\right)}^2\stackrel{{\mathrm{\Ω}}_o}{\→}\min ---\left(1\right)$

d.根据下列(1)、(4)和(5)式更新MLPo的权值；

$J_o=\frac{1}{2N}\underset{j=1}{\overset{p}{\mathrm{\Σ}}}{\left(e_j^{\′}\right)}^2\stackrel{{\mathrm{\Ω}}_o}{\→}\min ---\left(2\right)$

$\left\{\begin{array}{c}{d}_j^M=(o_j^M-y_j)f\′\left(i_j^M\right),\\ d_j^k=f\′\left(i_j^k\right)\underset{l}{\mathrm{\Σ}}{w}_{\mathrm{jl}}^{k,k+1}{d}_l^{k+1},\mathrm{for\; k}=M-1,M-2,\·\·\·,2\end{array}\right.---\left(3\right)$

${\mathrm{\Δw}}_{\mathrm{ij}}^{k-1,k}\←-\mathrm{\ϵ}{d}_j^k{o}_i^{k-1}+\mathrm{\α}{\mathrm{\Δw}}_{\mathrm{ij}}^{k-1,k},\mathrm{for\; k}=\mathrm{2,3},\·\·\·,M---\left(4\right)$

e.根据以下(3)式计算受控对象的输出和目标函数值的差值，得到MLPc的目标函数，即以下(2)式；当目标函数的值小于等于额定的误差值ε时(ε＝10^-2——10^-6)，则算法结束；

$J_c=\frac{1}{2N}\underset{j=1}{\overset{p}{\mathrm{\Σ}}}{\left(e_j\right)}^2\stackrel{{\mathrm{\Ω}}_c}{\→}\min ---\left(5\right)$

$e_j=r_j-y_j=r_j-({y\′}_j-{e\′}_j)=(r_j+{e\′}_j)-{y\′}_j---\left(6\right)$

f.保持网络模拟器MLPo的权值不变，根据上述(2)、(4)和(5)式更新网络控制器MLPc的权值，在此过程中，网络模拟器MLPo的作用仅仅是反向传递误差；

g.转到步骤b。

Images