CN103399488A - 基于自学习的多模型控制方法 - Google Patents

Abstract

本发明公开了一种基于自学习的多模型控制方法，步骤为：(1)构建模型库，由非线性模型的一组局部模型组成；(2)构建一组控制器，根据模型库中的局部模型设计出来一组局部控制器；(3)执行性能评测:观察输出误差以及系统输出y和模型输出y_i之间的差异；基于这些信号，一个性能反馈或者价值函数将被计算出并送到API模块；(4)执行近似策略迭代算法:观察性能反馈信号，接收参考输出和系统输出之间的误差信号，这些信号将作为Markov决策过程的状态，同时状态反馈将成为增强学习的回报信号。本发明具有原理简单、适应范围广、可靠性强、能够保证控制的一般性能以及收敛性等优点。

Description

基于自学习的多模型控制方法

技术领域

本发明主要涉及到复杂非线性系统的控制领域，特指一种基于自学习的多模型控制方法，它是利用增强学习和近似动态规划思想来实现多个控制器之间的最优转换，因此属于一种多模型自学习转换控制方法。

背景技术

随着现代工业和技术的发展，工程系统装置的复杂程度正具有着一个平稳上升的趋势。更重要的是，这一趋势在很大程度上强调了对于一种方法需求：那就是可以帮助工程技术人员更好地理解和演绎复杂模型以及完成控制任务的实用方法。

几十年来，尽管已经出现了很多关于解决复杂非线性模型的研究，但是在这些研究中提出的高级模型和先进控制方法并没有被广泛地用于解决实际问题。其困难就在于以下两个方面：一是由于这些方法复杂难懂，需要大量的理论知识；二是由于这些方法仍对控制模型的表述具有很强的要求，但同时可利用的精确系统知识却很少。

正是因为上述两项困难，近年来关于多模型的控制方法研究才受到了越来越多人的关注。现今主要的一些多模型研究方法是拆分系统的工作范围，从而解决复杂的非线性建模以及控制问题。此方法的原理是：对于局部模型之间所出现的相关现象的交互要比全局模型来的简单得多，因此，局部模型更加的简单，并且局部模型的建立方法还具有诸如更好的理解性、更少的计算复杂性以及更多的包含先验知识等优势。

正因为上述这些优势的存在，这一领域已经投入了大量的研究工作，并且也取得了一定的成果。到目前为止，现有的多模型控制方法可被分为许多种，其中主要包括增益调度控制（gain scheduling control）、多模型自适应控制（multiple model adaptive control,MMAC）和多模型预测控制（multiple model predictive control）。从传统意义上来讲，增益调度控制是实际运用中最普遍的对于严重非线性系统的控制方法。但是，这种控制方式所表现出的瞬态特性却不是很好。与增益调度控制关系密切的多模型预测控制或者监督控制，它们与增益调度控制最主要的区别就在于运用了一个基于调度算法的估计器。而多模型自适应控制方法提出的主要动机就是要在不增加系统稳态噪声灵敏度的基础上提高它的瞬态特性。MMAC方法最早是被用于解决线性系统的控制问题，但近些年来，由于非线性模型的预测控制被广泛关注，MMAC方法才被延伸用于对非线性系统进行控制。而当今对于非线性系统多模型预测控制方法的进一步推进，则是出现了多模型的动态矩阵控制方式，它除了具有先进的理论意义之外，还有成功的应用案例。

不同于局部控制器已有的成熟设计方法，对于多模型之间的转换策略问题并没有被很好的研究，而且可用于进行设计的控制工具也非常短缺。现有的例如增益调度控制，其转换策略是基于模糊逻辑或者是内插法。此方法的最大缺陷就是自主优化能力和瞬态性能都不是很能令人满意。而另一种多模型自适应控制方法，它的转换策略是基于由估计误差驱动的微小监控信号。虽然这种方法能在一定程度上提高系统的瞬态性能，但是当有未知干扰存在时，系统反馈缺乏鲁棒性，当然，这也是自适应方法存在的通病。

发明内容

本发明要解决的技术问题在于：针对现有技术存在的技术问题，本发明提供一种原理简单、适应范围广、可靠性强、能够保证控制的一般性能以及收敛性的基于自学习的多模型控制方法。

为解决上述技术问题，本发明采用以下技术方案：

一种基于自学习的多模型控制方法，其步骤为：

(1)构建模型库，由非线性模型的一组局部模型组成；

(2)构建一组控制器，根据模型库中的局部模型设计出来一组局部控制器；

(3)执行性能评测:观察输出误差以及系统输出y和模型输出y_i之间的差异；基于这些信号，一个性能反馈或者价值函数将被计算出并送到API模块；一个基于实际输出与预期输出误差的价值函数被定义为r(t)=R[|e(t)|]=R[|y_sp-y(t)|]，其中R为非负的函数并且关于|e(t)|单调递减；

(4)执行近似策略迭代算法:观察性能反馈信号，接收参考输出和系统输出之间的误差信号，这些信号将作为Markov决策过程的状态，同时状态反馈将成为增强学习的回报信号。

作为本发明的进一步改进：

所述步骤（1）中，构建模型库的流程为：

模型组由n个局部模型组成：

${\mathrm{\Σ}}_c:\stackrel{\·}{x}=f_i(x,u,t),i=\mathrm{1,2},...,n;$

或者是其离散时间形式：

∑_d=x(t)=f_i(x(t-1),...,x(t-n),u(t-1),...,u(t-m-1))；

线性模型为：

$\stackrel{\·}{x}=A_{i}x+B_{i}u$

离散时间的局部线性模型为：

A_i(z^-1)x(t)=z^-1B_i(z^-1)u(t)+d

其中：

A_i(z^-1)=1+a_i1z^-1+…+a_inz^-n，B_i(z^-1)=b_i0+b_i1z^-1+…+b_imz^-m

$d_i=\left({\mathrm{\Σ}}_{j=1}^n{a}_{\mathrm{ij}}\right)y_{i0}-\left({\mathrm{\Σ}}_{k=0}^m{b}_{\mathrm{ik}}\right)u_{i0}$

$a_{\mathrm{ij}}=-\frac{\∂f}{\∂x(t-j)}{|}_{(u_{i0},y_{i0})},b_{\mathrm{ik}}=\frac{\∂f}{\∂u(t-1-k)}{|}_{(u_{i0},y_{i0})}.$

所述步骤（3）的具体流程为：

（3.1）将系统输出与参考信号之间的误差记为：e(t)=y_st-y(t)；

将系统输出设定为系统的状态向量，而跟踪误差就变为：e(t)=x_st-x(t)；

在MDP建模中，e(t)或者是向量组合

被定义为MDP的状态；在多时间点上的向量组合则是将系统的阶数考虑进来，从而使状态转换

到

满足Markov特性；

（3.2）假设局部控制器的编号为1,2,…,n，记基于API的增强式学习模块在t时刻的输出为a(t)，则a(t)就等于所选控制器的编号，即：

1≤a(t)≤n

在t时刻，当API模块的输出确定后，对象的控制变量就为：

$u\left(t\right)=-K_{a\left(t\right)}\stackrel{\→}{e}\left(t\right)$

而在下一时刻的误差则由下式确定：

$\stackrel{\→}{e}(t+1)=F(\stackrel{\→}{e}\left(t\right),a\left(t\right))$

其中F(.)由对象的动态特性和反馈控制器所决定。

所述步骤（4）的具体流程为：

先初始化价值函数近似器和第0次迭代的策略，其中用一个特定的策略来构建这一初始策略，接着就是不断重复近似策略迭代过程；

在每一次的API迭代中，对象都在一开始被设定为初始状态，并且在每一个时间步长，都会基于当前策略π[k]的价值函数选出一个局部控制器；通过观察对象在下一时间点上的状态，计算出一个性能回报值，同时一对状态转换值将被表示成[x(t),a_t,r_t,x(t+1)]的形式；在收集到足够多的状态转换数据后，运用LSPI或者KLSPI方法得到Q^π[k]的估计值；对于LSPI或者KLSPI方法的提高，可在Q^π[k]基础上产生贪婪策略π[k+1]，即为：

$\mathrm{\π}[k+1]=\underset{a}{\arg \max }{Q}^{\mathrm{\π}\left[k\right]}(s,a)$

重复这一迭代过程直到策略π[k]和策略π[k+1]之间不存在差异，就会收敛得到一个最优策略。

所述KLSPI的终止条件选择最大迭代次数或者两次相继策略之间的距离。

在LSPI中，行动-状态价值函数由基函数的线性组合来近似并且用LS-TD(λ)算法来计算权值向量W，通过解方程直接得到，即：

$W_{\mathrm{LS}-\mathrm{TD}\left(\mathrm{\λ}\right)}=A_T^{-1}{b}_T={\left(\underset{t=1}{\overset{T}{\mathrm{\Σ}}}A\left(X_t\right)\right)}^{-1}\left(\underset{t=1}{\overset{T}{\mathrm{\Σ}}}b\left(X_t\right)\right)$

在KLSPI中，通过在API的策略评估过程中引入Mercer核，利用KLSTD(λ)的一个新变量来近似行动状态价值函数：

$\tilde{Q}\left(s\right)=\underset{i=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}_{i}k(s,s_i)$

其中k(.,.)是Mercer核方程，s,s_i分别是状态行动组(x,a)和(x_i,a_i)的组合特性；α_i(i=1,2,…,t)是系数，并且(x_i,a_i)是在采样数据中被选中的状态行动组，也就是说是由Markov决策过程产生的轨迹。

与现有技术相比，本发明的优点在于：本发明原理简单、适应范围广、可靠性强，能够保证控制的一般性能以及收敛性。在多个局部控制器进行转换时，优化了系统的瞬态性能；相较于传统的固定转换策略，本发明能够持续保证较好的性能，特别是当闭环系统中存在未知干扰和噪声的情况下。

附图说明

图1是本发明在应用时的原理示意图。

图2是本发明采用近似策略迭代和执行器-评判学习控制结构的原理示意图。

图3是本发明中API算法的流程示意图。

图4是本发明中自学习转换控制器和固定策略转换控制器性能的比较示意图；其中，图4(a)为变量u(t)，图4(b)为变量w(t)，图4(c)为变量q(t)，图4(d)为变量θ(t)。

图5是不同转换策略的转换动作示意图；其中，图5(a)为固定转换策略，图5(b)为LSPI近似最优策略。

图6是本发明在具体应用实例中自学习转换控制器和固定策略转换控制器性能的比较示意图；其中，图6(a)为变量u(t)，图6(b)为变量w(t)，图6(c)为变量v(t)，图6(d)为变量θ(t)。

图7是本发明在不同策略的转换动作示意图；其中，图7(a)为固定转换策略，图7(b)为LSPI近似最优策略。

具体实施方式

以下将结合附图对本发明做进一步详细说明。

如图1所示，本发明基于自学习的多模型控制方法，其步骤为：

（1）构建模型库；由非线性模型的一组局部模型组成；

（2）构建一组控制器，其根据模型库中的局部模型设计出来，这是由于对局部模型控制器的设计要比对全局非线性模型控制器的设计更加的简单与灵活，例如：对于线性化的模型，LQR控制器可以设计为u_i=-K_ix(i=1,2,...,n)；

（3）执行性能评估:观察输出误差以及系统输出y和模型输出y_i之间的差异。基于这些信号，一个性能反馈或者价值函数将被计算出并送到API模块。一个基于实际输出与预期输出误差的价值函数被定义为r(t)=R[|e(t)|]=R[|y_sp-y(t)|]，其中R为非负的函数并且关于|e(t)|单调递减；

(4)执行近似策略迭代算法:不仅要观察性能反馈信号，同时还要接收参考输出和系统输出之间的误差信号，这些信号将作为Markov决策过程的状态，同时状态反馈将成为增强学习的回报信号。基于API的增强学习算法的最终目标就是要最大化性能价值，也就是说要使输出误差得到最小化，其中 $J=\underset{t=0}{\overset{T}{\mathrm{\Σ}}}r\left(t\right)=\underset{t=0}{\overset{T}{\mathrm{\Σ}}}R\left[\right|y_{\mathrm{sp}}-y\left(t\right)\left|\right].$

在上述步骤（1）中，模型组由n个局部模型组成：

${\mathrm{\Σ}}_c:\stackrel{\·}{x}=f_i(x,u,t),i=\mathrm{1,2},...,n;$

或者是其离散时间形式：

∑_d=x(t)=f_i(x(t-1),...,x(t-n),u(t-1),...,u(t-m-1))

一个得到局部模型的常用方法，就是在不同的工作区间将全局非线性模型进行线性化。选定一个平衡点及其周围的微小扰动，表达如下：

Δx=x-x_ie,Δu=u-u_ie

然后可以得到：

$\mathrm{\Δ}\stackrel{\·}{x}=[\frac{\∂f}{\∂x}{]}_{x=x_{\mathrm{ie}}}\mathrm{\Δx}+[\frac{\∂f}{\∂u}{]}_{u=u_{\mathrm{ie}}}\mathrm{\Δu}$

记：

$A_i=[\frac{\∂f}{\∂x}{]}_{x=x_{\mathrm{ie}}},B_i=[\frac{\∂f}{\∂u}{]}_{u=u_{\mathrm{ie}}}$

因此可以导出线性模型为：

$\stackrel{\·}{x}=A_{i}x+B_{i}u$

同样的，可以得到离散时间的局部线性模型为：

A_i(z^-1)x(t)=z^-1B_i(z^-1)u(t)+d

其中：

A_i(z^-1)=1+a_i1z^-1+…+a_inz^-n，B_i(z^-1)=b_i0+b_i1z^-1+…+b_imz^-m

$d_i=\left({\mathrm{\Σ}}_{j=1}^n{a}_{\mathrm{ij}}\right)y_{i0}-\left({\mathrm{\Σ}}_{k=0}^m{b}_{\mathrm{ik}}\right)u_{i0}$

$a_{\mathrm{ij}}=-\frac{\∂f}{\∂x(t-j)}{|}_{(u_{i0},y_{i0})},b_{\mathrm{ik}}=\frac{\∂f}{\∂u(t-1-k)}{|}_{(u_{i0},y_{i0})}.$

在上述步骤（3）中，由于增强学习算法是用于Markov决策问题，因此自学习转换控制的关键就在于MDP建模。

首先，将系统输出与参考信号之间的误差记为：

e(t)=y_st-y(t)

由于在某些情况下，目标是控制系统的全部状态轨迹。因此，系统的输出就可以被设定为系统的状态向量，而跟踪误差就变为：

e(t)=x_st-x(t)

在MDP建模中，e(t)或者是向量组合

被定义为MDP的状态。在多时间点上的向量组合

则是将系统的阶数考虑进来，从而使状态转换

到

满足Markov特性。对于连续对象，由于转换策略和控制信号均只在采样时刻产生，因此，只需考虑在离散时间点上的误差和状态。

假设局部控制器的编号为1,2,…,n。记基于API的增强式学习模块在t时刻的输出为a(t)，则a(t)就等于所选控制器的编号，即：

1≤a(t)≤n

在t时刻，当API模块的输出确定后，对象的控制变量就为：

$u\left(t\right)=-K_{a\left(t\right)}\stackrel{\→}{e}\left(t\right)$

而在下一时刻的误差则由下式确定：

$\stackrel{\→}{e}(t+1)=F(\stackrel{\→}{e}\left(t\right),a\left(t\right))$

其中F(.)由对象的动态特性和反馈控制器所决定。

在上述步骤（4）中，如图3所示，算法的具体流程为：最开始先要初始化价值函数近似器和第0次迭代的策略，其中将会用一个特定的策略来构建这一初始策略。接着，就是不断重复近似策略迭代过程。

在每一次的API迭代中，对象都在一开始被设定为初始状态，并且在每一个时间步长，都会基于当前策略π[k]的价值函数选出一个局部控制器。通过观察对象在下一时间点上的状态，计算出一个性能回报值，同时一对状态转换值将被表示成[x(t),a_t,r_t,x(t+1)]的形式。在收集到足够多的状态转换数据后，就可运用LSPI或者KLSPI方法得到Q^π[k]的估计值。对于LSPI或者KLSPI方法的提高，可在Q^π[k]基础上产生贪婪策略π[k+1]，即为：

$\mathrm{\π}[k+1]=\underset{a}{\arg \max }{Q}^{\mathrm{\π}\left[k\right]}(s,a)$

因此，贪婪策略Q^π[k+1]是一种决定性的策略，并且当价值函数Q^π[k]能够很好的近似π[k]时，π[k+1]不会比π[k]差。重复这一迭代过程直到策略π[k]和策略π[k+1]之间不存在差异。通常在很少的几步迭代后，就会收敛得到一个最优策略。

KLSPI的终止条件可以选择最大迭代次数或者两次相继策略之间的距离。

基于此，上述近似策略迭代的具体算法为：

近似策略迭代同增强式学习的执行器-评判学习控制结构（actor-critic learningcontrol architecture）有着很密切的关系，它可由图2来描述。在图中，评判部分和执行器部分分别用来演绎策略评估和策略提高过程。在策略评估的过程中，TD学习算法通常被用于在没有任何模型信息的前提下估计价值函数Q^π[t]的值。然而，由于策略迭代的收敛性在很大程度上依赖价值函数的估计精度，因此选用LS-TD(λ)和它的核形式，即KLS-TD(λ)；因为它们在收敛性、估计精度和复杂度方面相较于其他算法有很大的优势。在多模型自学习转换控制框架中，LS-TD(λ)方法和KLS-TD(λ)方法均可用于策略评估过程，它们也是LSPI和KLSPI的主要思想。

在LSPI中，行动-状态价值函数由基函数的线性组合来近似并且用LS-TD(λ)算法来计算权值向量W，并且可以通过解方程直接得到，即：

$W_{\mathrm{LS}-\mathrm{TD}\left(\mathrm{\λ}\right)}=A_T^{-1}{b}_T={\left(\underset{t=1}{\overset{T}{\mathrm{\Σ}}}A\left(X_t\right)\right)}^{-1}\left(\underset{t=1}{\overset{T}{\mathrm{\Σ}}}b\left(X_t\right)\right)$

对于拥有大规模非线性价值函数的Markov决策过程，往往需要对价值函数进行非线性估计。KLSPI算法被提出正是由于该方法具有很好的普遍性和非线性近似能力的优势。在KLSPI中，通过在API的策略评估过程中引入Mercer核，利用KLSTD(λ)的一个新变量来近似行动状态价值函数：

$\tilde{Q}\left(s\right)=\underset{i=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}_{i}k(s,s_i)$

其中k(.,.)是Mercer核方程，s,s_i分别是状态行动组(x,a)和(x_i,a_i)的组合特性。α_i(i=1,2,…,t)是系数，并且(x_i,a_i)是在采样数据中被选中的状态行动组，也就是说是由Markov决策过程产生的轨迹。

以下将结合对非线性直升机模型进行的多模型控制的具体应用实例，对本发明做进一步详细说明。

直升机模型控制大致上分为3个操作控制，分别为油门控制、总变矩控制θ₀，θ_0T以及周期变矩操纵θ_1s，θ_1c。在实验中，只关注直升机纵向运动的动力学，也就是说假设油门控制为常数。直升机纵向运动的状态具有6个自由度，包括直升机沿机身轴的平移速度(u,w,v)，直升机的角速度(p,q,r)，并且相对于地球定义直升机方向的欧拉角为(θ,φ,ψ)。因此，直升机的动态方程就包含9维状态和4维输入。

直升机的非线性动力学方程为：

$\stackrel{\·}{x}=F(x,u,t)---\left(1\right)$

其中F(·)是一个非线性的方程，x和u分别为飞行状态和控制输入：

x={u,w,q,θ,v,p,φ,r,ψ}，u={θ₀,θ_1s,θ_1c,θ_0T}   （2）

动力学方程包含以下9个等式：

$\stackrel{\·}{u}=(\mathrm{rv}-\mathrm{qw}+\frac{X}{M_a}-g\sin \mathrm{\θ})$

$\stackrel{\·}{v}=(\mathrm{pw}-\mathrm{ru}+\frac{Y}{M_a}+g\sin \mathrm{\φ}\cos \mathrm{\θ})---\left(3\right)$

$\stackrel{\·}{w}=(\mathrm{qu}-\mathrm{pv}+\frac{Z}{M_a}+g\cos \mathrm{\φ}\cos \mathrm{\θ})$

$\begin{array}{c}{I}_{\mathrm{xx}}\stackrel{\·}{p}=(I_{\mathrm{yy}}-I_{\mathrm{zz}})\mathrm{qr}+I_{\mathrm{xz}}(\stackrel{\·}{r}+\mathrm{pq})+L\\ I_{\mathrm{yy}}\stackrel{\·}{q}=(I_{\mathrm{zz}}-I_{\mathrm{xx}})\mathrm{rp}+I_{\mathrm{xz}}(r^2-p^2)+M\\ I_{\mathrm{zz}}\stackrel{\·}{r}=(I_{\mathrm{xx}}-I_{\mathrm{yy}})\mathrm{pq}-I_{\mathrm{xz}}(\stackrel{\·}{p}+\mathrm{qr})+N\end{array}---\left(4\right)$

$\begin{array}{c}\stackrel{\·}{\mathrm{\ψ}}=q\sin \mathrm{\φ}\sec \mathrm{\θ}+r\cos \mathrm{\φ}\sec \mathrm{\θ}\\ \stackrel{\·}{\mathrm{\θ}}=q\cos \mathrm{\φ}-r\sin \mathrm{\φ}\\ \stackrel{\·}{\mathrm{\φ}}=p+q\sin \mathrm{\φ}\tan \mathrm{\θ}+r\cos \mathrm{\φ}\tan \mathrm{\θ}\end{array}---\left(5\right)$

令x_e为直升机的平衡状态。基于微小平衡原理，直升机的状态可以近似为：

$\begin{array}{c}x=x_e+\frac{\∂x}{\∂u}\mathrm{\Δu}+\frac{\∂x}{\∂w}\mathrm{\Δw}+\frac{\∂x}{\∂q}\mathrm{\Δq}+\frac{\∂x}{\∂\mathrm{\θ}}\mathrm{\Δ\θ}+\frac{\∂x}{\∂v}\mathrm{\Δv}+\frac{\∂x}{\∂p}\mathrm{\Δp}+\frac{\∂x}{\∂\mathrm{\φ}}\mathrm{\Δ\φ}\\ +\frac{\∂x}{\∂r}\mathrm{\Δr}+\frac{\∂x}{\∂\mathrm{\ψ}}\mathrm{\Δ\ψ}+\frac{\∂x}{\∂{\mathrm{\θ}}_0}\mathrm{\Δ}{\mathrm{\θ}}_0+\frac{\∂x}{\∂{\mathrm{\θ}}_{1s}}\mathrm{\Δ}{\mathrm{\θ}}_{1s}+\frac{\∂x}{\∂{\mathrm{\θ}}_{1c}}\mathrm{\Δ}{\mathrm{\θ}}_{1c}+\frac{\∂x}{\∂{\mathrm{\θ}}_{0T}}{\mathrm{\Δ\θ}}_{0T}\end{array}---\left(6\right)$

然后，在每一个平衡点，直升机的动力学方程可以近似为一个线性系统：

$\stackrel{\·}{x}=\mathrm{Ax}+\mathrm{Bu}---\left(7\right)$

考虑直升机的前向飞行控制问题。假设x_e=[52,0,0,0,0,0,0,0]′是直升机纵向动力学的一个平衡点，其中前向速度u=52m/s。控制的目标是要将前向速度加速到u=62m/s，然后再减速到u=52m/s。同时，要保证直升机其他状态的振幅尽可能的小。

选择下列三个平衡状态来设计多个局部模型及其控制器：

x_e1=[52,0,0,0,0,0,0,0]′     （8）

x_e2=[57,0,0,0,0,0,0,0]′     （9）

x_e3=[62,0,0,0,0,0,0,0]′      （10）

然后，就可以得到如下所示的在上述三个平衡状态得到的三个线性局部模型，从而来近似非线性的直升机模型：

$A_1=\left[\begin{array}{cccccccc}-4.7373e-006& 6.8906e-007& 0.0002584& -9.81& 1.0336e-006& 5.6848e-005& 0& 0\\ -4.4789e-006& 6.8906e-007& 52& 0& 5.168e-006& 0.00014643& 0& 0\\ 0.03& -0.025& -0.75& 0& -0.004& -0.22& 0& 0\\ 0& 0& 1& 0& 0& 0& 0& 0\\ -8.6133e-007& 3.876e-006& 5.6848e-005& 0& -2.2911e-005& 0.0002584& 9.81& -52.009\\ -4.387e-007& -5.2893e-006& 9.9549e-005& 0& -4.4032e-006& 0.00016888& 0& -4.1075e-005\\ 0& 0& 0& 0& 0& 1& 0& 0\\ 3.4673e-007& 1.8067e-006& -1.8216e-005& 0& 1.1511e-006& 1.4521e-005& 0& -2.061e-005\end{array}\right]---\left(11\right)$

$A_2=\left[\begin{array}{cccccccc}-4.7373e-006& 6.8906e-007& 0.0002584& -9.81& 1.0336e-006& 5.6848e-005& 0& 0\\ -4.4789e-006& 6.8906e-007& 57& 0& 5.168e-006& 0.00014643& 0& 0\\ 0.03& -0.025& -0.75& 0& -0.004& -0.22& 0& 0\\ 0& 0& 1& 0& 0& 0& 0& 0\\ -8.6133e-007& 3.876e-006& 5.6848e-005& 0& -2.2911e-005& 0.0002584& 9.81& -57.009\\ -4.387e-007& -5.2893e-006& 9.9549e-005& 0& -4.4032e-006& 0.00016888& 0& -4.1075e-005\\ 0& 0& 0& 0& 0& 1& 0& 0\\ 3.4673e-007& 1.8067e-006& -1.8216e-005& 0& 1.1511e-006& 1.4521e-005& 0& -2.061e-005\end{array}\right]---\left(12\right)$

$A_3=\left[\begin{array}{cccccccc}-4.7373e-006& 6.8906e-007& 0.0002584& -9.81& 1.0336e-006& 5.6848e-005& 0& 0\\ -4.4789e-006& 6.8906e-007& 62& 0& 5.168e-006& 0.00014643& 0& 0\\ 0.03& -0.025& -0.75& 0& -0.004& -0.22& 0& 0\\ 0& 0& 1& 0& 0& 0& 0& 0\\ -8.6133e-007& 3.876e-006& 5.6848e-005& 0& -2.2911e-005& 0.0002584& 9.81& -62.009\\ -4.387e-007& -5.2893e-006& 9.9549e-005& 0& -4.4032e-006& 0.00016888& 0& -4.1075e-005\\ 0& 0& 0& 0& 0& 1& 0& 0\\ 3.4673e-007& 1.8067e-006& -1.8216e-005& 0& 1.1511e-006& 1.4521e-005& 0& -2.061e-005\end{array}\right]---\left(13\right)$

通过利用LQP定理，可以将三个局部反馈控制器设计为：

$K_1=\left[\begin{array}{cccccccc}0.26067& -0.97275& -0.75952& -2.3747& -0.030298& -9.0266& -0.44729& -0.26977\\ -0.98029& -0.22786& 1.2558& 10.309& 0.001& 39.071& 1.8865& 1.0645\\ 0.10721& -0.024782& 0.032682& 0.17279& 0.87298& 80.864& 4.373& 1.7747\\ -0.18655& -0.012749& -0.26072& 0.19098& 0.48766& -151.61& -5.8863& -14.103\end{array}\right]---\left(14\right)$

$K_2=\left[\begin{array}{cccccccc}0.25761& -0.97349& -0.80663& -2.3519& -0.0299& -8.9422& -0.44264& -0.294\\ -0.98112& -0.22462& 1.2837& 10.36& -0.0012832& 39.248& 1.8938& 1.1762\\ 0.10542& 0.024895& 0.026774& 0.19466& 0.87298& 80.956& 4.3752& 1.9577\\ -0.18842& -0.012818& -0.26493& 0.21134& 0.4877& -151.56& -5.8805& 15.472\end{array}\right]---\left(15\right)$

$K_3=\left[\begin{array}{cccccccc}0.25451& -0.97422& -0.85386& -2.3287& -0.029517& -8.8566& -0.43794& -0.31779\\ -0.98195& -0.22134& 1.3127& 10.412& -0.0035536& 39.428& 1.9014& 1.2895\\ 0.10365& -0.025006& 0.020928& 0.21649& 0.87296& 81.047& 4.3775& 2.1422\\ -0.1903& -0.012886& -0.26914& 0.23194& 0.48774& -151.51& -5.8748& -16.842\end{array}\right]---\left(16\right)$

为了应用多模型自学习转换控制控制方法，将直升机模型的状态向量选为MDP过程的状态，由于直升机在水平面上的飞行方向不会影响空气动力学和动力学受力及运动，因此，将航向改变角ψ忽略，状态向量就变为[u,w,q,θ,v,p,φ,r]。

为了最小化直升机其他状态的改变量，将回报函数定义如下：

r(t)=e^-||w||/2+e^-||q||/2+e^-||θ||/2+e^-||v||/2+e^-||p||/2+e^-||φ||/2+e^-||r||/2      (17)

在仿真中，将控制器转换的时间间隔设定为0.2s，每一次的总仿真时间为30s。利用一个随机初始策略来产生LSPI的初始训练样本，从而得到了1000个数据样本。在实施多模型自学习转换控制的基础上，为了进行比较，进一步测试利用固定策略进行控制器转换的效果。固定策略是通过估计实际系统模型与局部模型的距离来设计的。在仿真中，利用直升机的前向速度来测量非线性系统模型与局部模型之间的距离。当局部模型与系统动态具有最小距离是，相应的局部控制器将被选择。

LSPI算法利用如下基函数来近似价值函数：

φ[u,w,q,θ,v,p,φ,r]=[1,u,u²,w,w²,q,q²,θ,θ²,v,v²,p,p²,φ,φ²,r,r²]′      (18)

仿真结果如图4所示，在其中同时画出了在LSPI近似最优转换策略和固定转换策略控制下的直升机状态变量。

LSPI近似最优转换策略在5次迭代后得到。图4（a）显示了两种转换控制器均可以控制直升机的前向速度并且具有令人满意的性能。最优化的目标是要最小化如方向角、角速度q(t)和横向速度w(t)这样的其他一些状态向量。通过观察图4（b）～图4（d）可以得出，基于LSPI的自学习转换控制能够比固定转换策略实现更好的性能要求。在下表中比较了在固定策略和近似最优策略控制下最大状态变化，可以明显的看出基于LSPI的自学习转换控制的控制效能。

    表1不同策略下最大状态变化

固定策略和LSPI方法的近似最优策略得到的转换策略分别如图5（a）和图5（b）所示。

由于在实际应用中，在非线性系统的建模中往往会存在许多的不确定性，包括不可建模的动态特性，未知的外界烦扰以及噪声等。尽管已经存在了许多相关的研究，但是这些不确定性仍然给控制理论和工程带来了巨大的挑战。通过利用增强学习的自适应最优化能力，多模型自学习转换控制方法提供了一个具有很好前景的办法去抑制实际非线性系统中不确定性的影响。在仿真中，当未知干扰对直升机所有状态方程作为附加输入产生时转换控制器的性能。

对于动态方程（3）、（4）、（5），将下列随机干扰加到每个等式的右侧：

{ζ_u,ζ_v,ζ_w,ζ_p,ζ_q,ζ_r,ζ_ψ,ζ_θ,ζ_φ}；

上述干扰均是平均值为0的随机信号，并且它们的方差如下：

{0.1,0.1,0.1,0.01,0.01,0.01,0.01,0.01,0.01}；

实验中，在自学习转换控制器中利用相同的LSPI算法，并且在6次迭代后LSPI收敛到近似最优策略。固定转换策略也在直升机上进行了控制任务测试。性能比较如图6（a）～图6（d）所示。正如在图6中实线显示的那样,自学习转换控制器仍然能够控制前向飞行动态在一个令人满意的水平。然而当运用固定转换策略时，直升机系统将变得不稳定，这一点从图6中的点状线就可以看出。

对于受到干扰的直升机动力学系统，由固定策略和通过LSPI得到的近似最优策略得出的转换策略分别如图7（a）和图7（b）所示。

由上面的仿真结果可以清楚看出本发明的基于自学习的多模型控制方法能够最优化多模型控制系统的性能，并具有相当高的学习效率。此外，当存在未知的外界干扰时，由于近似最优策略能够高效的再生成，因此本发明将极大地提高多模型转换控制系统的鲁棒性。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种基于自学习的多模型控制方法，其特征在于，步骤为：

(1)构建模型库，由非线性模型的一组局部模型组成；

(2)构建一组控制器，根据模型库中的局部模型设计出来一组局部控制器；

(3)执行性能评测:观察输出误差以及系统输出y和模型输出y_i之间的差异；基于这些信号，一个性能反馈或者价值函数将被计算出并送到API模块；一个基于实际输出与预期输出误差的价值函数被定义为r(t)=R[|e(t)|]=R[|y_sp-y(t)|]，其中R为非负的函数并且关于|e(t)|单调递减；

(4)执行近似策略迭代算法:观察性能反馈信号，接收参考输出和系统输出之间的误差信号，这些信号将作为Markov决策过程的状态，同时状态反馈将成为增强学习的回报信号。

2.根据权利要求1所述的基于自学习的多模型控制方法，其特征在于，所述步骤（1）中，构建模型库的流程为：

模型组由n个局部模型组成：

${\mathrm{\Σ}}_c:\stackrel{\·}{x}=f_i(x,u,t),i=\mathrm{1,2},...,n;$

或者是其离散时间形式：

∑_d=x(t)=f_i(x(t-1),...,x(t-n),u(t-1),...,u(t-m-1))；

线性模型为：

$\stackrel{\·}{x}=A_{i}x+B_{i}u$

离散时间的局部线性模型为：

A_i(z^-1)x(t)=z^-1B_i(z^-1)u(t)+d

其中：

A_i(z^-1)=1+a_i1z^-1+…+a_inz^-n，B_i(z^-1)=b_i0+b_i1z^-1+…+b_imz^-m

$d_i=\left({\mathrm{\Σ}}_{j=1}^n{a}_{\mathrm{ij}}\right)y_{i0}-\left({\mathrm{\Σ}}_{k=0}^m{b}_{\mathrm{ik}}\right)u_{i0}$

$a_{\mathrm{ij}}=-\frac{\∂f}{\∂x(t-j)}{|}_{(u_{i0},y_{i0})},b_{\mathrm{ik}}=\frac{\∂f}{\∂u(t-1-k)}{|}_{(u_{i0},y_{i0})}.$

3.根据权利要求1所述的基于自学习的多模型控制方法，其特征在于，所述步骤（3）的具体流程为：

（3.1）将系统输出与参考信号之间的误差记为：e(t)=y_st-y(t)；

将系统输出设定为系统的状态向量，而跟踪误差就变为：e(t)=x_st-x(t)；

在MDP建模中，e(t)或者是向量组合

被定义为MDP的状态；在多时间点上的向量组合

则是将系统的阶数考虑进来，从而使状态转换

到

满足Markov特性；

（3.2）假设局部控制器的编号为1,2,…,n，记基于API的增强式学习模块在t时刻的输出为a(t)，则a(t)就等于所选控制器的编号，即：

1≤a(t)≤n

在t时刻，当API模块的输出确定后，对象的控制变量就为：

$u\left(t\right)=-K_{a\left(t\right)}\stackrel{\→}{e}\left(t\right)$

而在下一时刻的误差则由下式确定：

$\stackrel{\→}{e}(t+1)=F(\stackrel{\→}{e}\left(t\right),a\left(t\right))$

其中F(.)由对象的动态特性和反馈控制器所决定。

4.根据权利要求1所述的基于自学习的多模型控制方法，其特征在于，所述步骤（4）的具体流程为：

先初始化价值函数近似器和第0次迭代的策略，其中用一个特定的策略来构建这一初始策略，接着就是不断重复近似策略迭代过程；

在每一次的API迭代中，对象都在一开始被设定为初始状态，并且在每一个时间步长，都会基于当前策略π[k]的价值函数选出一个局部控制器；通过观察对象在下一时间点上的状态，计算出一个性能回报值，同时一对状态转换值将被表示成[x(t),a_t,r_t,x(t+1)]的形式；在收集到足够多的状态转换数据后，运用LSPI或者KLSPI方法得到Q^π[k]的估计值；对于LSPI或者KLSPI方法的提高，可在Q^π[k]基础上产生贪婪策略π[k+1]，即为：

$\mathrm{\π}[k+1]=\underset{a}{\arg \max }{Q}^{\mathrm{\π}\left[k\right]}(s,a)$

重复这一迭代过程直到策略π[k]和策略π[k+1]之间不存在差异，就会收敛得到一个最优策略。

5.根据权利要求4所述的基于自学习的多模型控制方法，其特征在于，所述KLSPI的终止条件选择最大迭代次数或者两次相继策略之间的距离。

6.根据权利要求4所述的基于自学习的多模型控制方法，其特征在于，在LSPI中，行动-状态价值函数由基函数的线性组合来近似并且用LS-TD(λ)算法来计算权值向量W，通过解方程直接得到，即：

$W_{\mathrm{LS}-\mathrm{TD}\left(\mathrm{\λ}\right)}=A_T^{-1}{b}_T={\left(\underset{t=1}{\overset{T}{\mathrm{\Σ}}}A\left(X_t\right)\right)}^{-1}\left(\underset{t=1}{\overset{T}{\mathrm{\Σ}}}b\left(X_t\right)\right).$

7.根据权利要求4所述的基于自学习的多模型控制方法，其特征在于，在KLSPI中，通过在API的策略评估过程中引入Mercer核，利用KLSTD(λ)的一个新变量来近似行动状态价值函数：

$\tilde{Q}\left(s\right)=\underset{i=1}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\α}}_{i}k(s,s_i)$

其中k(.,.)是Mercer核方程，s,s_i分别是状态行动组(x,a)和(x_i,a_i)的组合特性；α_i(i=1,2,…,t)是系数，并且(x_i,a_i)是在采样数据中被选中的状态行动组，也就是说是由Markov决策过程产生的轨迹。

Images