CN110609525A - 一种基于在线adp的非线性时滞系统最优控制方法 - Google Patents

Abstract

本发明公开了一种基于在线ADP的非线性时滞系统最优控制方法，将最优控制理论扩展到非线性时滞系统，构建了非线性时滞系统下的最优控制输入，推导得出针对本系统的稳定性判定条件；采用神经网络有效近似最优控制输入，得到较为准确的控制输入信号。本发明为分析控制领域内非线性时滞系统的最优控制系列问题提供了有力工具，无论从分析还是计算角度来说都简单易行，本发明可用于对具有确定时滞的简单飞行控制、网络等非线性系统的分析研究。

Description

一种基于在线ADP的非线性时滞系统最优控制方法

技术领域

本发明针对非线性系统中常见的时滞及其如何实现系统的最优控制，具体公开了一种基于在线ADP方法的具有时滞的非线性系统的最优状态控制方法。

背景技术

时滞是指行为从发生到产生效果的时间滞后范围。时滞广泛存在于各类实际系统中，如生物系统、社会系统、经济系统、机械传动系统、化工过程控制系统、冶金工业过程、航空航天系统以及网络化控制系统。引发时滞的原因多种多样：诸如物理传输、信号传输、计算耗时、随机干扰等，都会造成时滞的产生。

比如在电力系统中，广域测量系统(WAMS)在国家电网中应用广泛，它能够对电网运行的诸多关键变量(如功角、频率。功率等)进行同步采集和监控。充分利用WAMS进行光宇控制将是电网运行和控制技术的发展和方向，但是信号在WAMS中传输存在着明显的时间延迟(时滞)。时滞的存在使得电力系统的稳定性分析和控制变得更加复杂和困难，且也是系统不稳定和系统性能变差的根源之一。

在工业生产过程中被控对象往往都具有不同程度的时间滞后。比如气体、液体物料通常是经过管道来进行运输，而固体物料通常是通过传送带来进行传送的。在工业生产过程中通过改变物料流量来进行调节生产过程的时候，在经过输送环节的传送时间后，物料的变化情况才能被传达到生产设备，然后才能改变参数，这个输送过程的传输时间就是一个滞后时间。当产生控制作用时，在滞后时间内，被控参数不会变化，从而系统不能够及时有效的随着被控量的改变来进行调节，克服系统受到的扰动。因此，时滞的存在给工业生产带来了不可忽视的影响。

总体来说，除了极少数情况外，时滞现象通常会降低系统性能、减少系统的鲁棒性，破坏系统的稳定性，甚至引发系统的崩溃。时滞的存在无论在理论上还是在实践中都对非线性反馈控制系统稳定与镇定带来困难和挑战。

另一方面，最优控制理论是现代控制理论的重要组成部分，其主要研究的问题是：根据已建立的被控对象的时域数学模型或频率数学模型，选择一个容许的控制律，使得被控对象按照预定要求运行，并使给定的某一性能达到最优值。从数学观点看，最优控制理论研究的问题是求解一类带有约束问题的泛函极值问题，属于变分学的理论范畴。然而，经典变分理论只能解决容许控制属于开集的一类最优控制问题，而工程实践中所遇到的多是容许控制属于闭集的一类最优控制问题。比如，为了使宇宙飞船登月舱在月球表面实现软着陆，即登月舱到达月球表面时的速度为零，要寻求登月舱发动机推力的最优变化律，使燃料消耗最少，以便在完成登月任务考察后，登月舱有足够燃料离开月球与母船回合，从而返回地球，这种最小燃耗问题就属于最优控制问题。对于这一类问题，为了适应工程实践的需要，20世纪50年代中期出现了现代变分理论。在现代变分理论中，最常用的两种方法是动态规划(Dynamic Programming)和极小值原理(Minimum Principle)，这两种方法有效的推动了最优控制理论的发展。

自适应动态规划(Adaptive dynamic programming,ADP)是最优控制领域新兴起的一种近似最优方法，是当前国际最优化领域的研究热点。ADP方法利用函数近似结构来近似哈密顿-雅可比-贝尔曼(Hamilton-Jacobi-Bellman,HJB)方程的解，采用离线迭代或者在线更新的方法，来获得系统的近似最优控制策略，从而能够有效地解决非线性系统的优化控制问题。

基于上述原因，非线性时滞系统的稳定性与最优控制是国内外控制理论和控制工程分析研究的热点与难点。非线性时滞系统最优控制的困难主要由于HJB方程是一个偏微分方程，使得求解最优控制输入变得十分困难。目前对非线性时滞系统最优控制的研究主要针对的是离散系统，方法也十分有限，通过两点边值原理来求解最优近似控制输入，无论从分析角度还是计算角度来说，都较为复杂。因而，通过神经网络有效的近似最优控制系统中的性能指标和最优控制输入信号，采用这种行之有效的方法可以解决非线性时滞系统的最优控制问题。

发明内容

发明目的：本发明着眼于具有时滞的非线性控制系统的最优控制问题，基于在线ADP方法，采用神经网络近似求解非线性时滞系统最优控制输入，使得被控对象按照预定要求运行，并使给定的某一性能达到最优值。本发明对建立被控对象的闭环反馈时域系统进行了严格了稳定性证明，为解决具有时滞的非线性系统的最优控制问题提供了行之有效的工具和方法。

技术方案：

一种基于在线ADP的非线性时滞系统最优控制方法，包括步骤：

步骤1、针对具有确定时滞的非线性控制系统进行数学建模，选取合适性能指标函数，通过最优控制理论构造哈密顿函数得到系统HJB方程计算得到最优控制输入；

步骤2、采用李雅普诺夫法确定最优控制输入信号下闭环系统的稳定性条件；

步骤3、采用神经网络近似最优控制输入，得到次优控制输入信号。

所述步骤1中：针对具有确定时滞的非线性控制系统进行数学建模；

时滞非线性系统可由下式描述：

式中，A为负定数阵，时滞参数τ、σ均为未知的常数，u(t)为可容许控制输入；f(t,x(t),x(t-σ))是非线性函数，并且满足利普希茨连续条件；

目的是找到合适的u^*(t)使得如下性能指标函数最小：

其中L(x(t),u(t))＝x^T(t)Qx(t)+u^T(t)Ru(t)，Q为半正定对称数阵，R为正定对称数阵；

构造哈密顿函数如下：

H(x,u,t)＝L(x,u,t)+(▽J)^T(Ax+fu) (3)

其中，

采用最优控制理论，得到Hamilton-Jacobi-Bellman方程

0＝min{H(x,u^*,t)} (4)

因此，最优控制性能指标函数为：

得到最优控制输入为：

所述步骤2中：建立最优控制输入u^*(t)下闭环系统稳定性条件；

将步骤1中所得到的最优控制输入u^*(t)，代入到式(1)中得到：

其中

通过模型变换将式(7)转换成：

通过李雅普诺夫稳定性原理，如果存在实数α，β，η₁和η₂，正定对称阵P＝P^T＞0，使得如下线性矩阵不等式成立，则由步骤1所得到的最优控制输入下的闭环系统稳定；

Φ＜0 (9)

其中

Φ＝Q₁+τQ₂+Q₃，

其中，I表示适维单位阵。

步骤3：采用BP神经网络求解性能指标函数和最优控制输入；

将理想的性能指标函数由如下式子表示：

其中，W_c为理想的神经网络权值，φ_c(x)为激活函数，ε_c(x)为神经网络近似估计误差；

基于步骤1中的Hamilton函数得到：

实际估计的性能指标函数表达式为：

其中,为神经网络实际估计权值；

采用最小化均方差根，定义误差平方：

采用梯度下降法，通过BP算法反复修正权值使式(13)最小，得到神经网络权值的调节率：

式中，γ为神经网络学习率且γ＞0；

结合式(12)，得到式(6)的最优控制输入次优表达式为

有益效果：本发明基于ADP针对具有时滞的非线性系统进行建模，分析刻画系统参数与稳定性关系，最终得到了便于系统实现最优控制的方法。其有益效果如下：

一方面，本发明将最优控制理论扩展到非线性时滞系统，构建了非线性时滞系统下的最优控制输入，为分析控制领域内非线性时滞系统的最优控制系列问题提供了有力工具；另一方面，本发明基于非线性时滞系统，推导得出针对本系统的稳定性判定条件；最后，本发明采用神经网络有效近似最优控制输入，得到较为准确的控制输入信号，无论从分析还是计算角度来说都简单易行。该方法可用于对具有确定时滞的简单飞行控制、网络等非线性系统的分析研究。

附图说明

图1为本发明所采用的技术路线流程图。

图2为非线性时滞系统最优控制输入下的状态响应曲线；

其中，图2(a)为当时滞分别为τ＝σ＝0.5时，非线性时滞系统最优控制输入下的状态响应曲线；图2(b)为当时滞分别为τ＝σ＝0.85时，非线性时滞系统最优控制输入下的状态响应曲线。

图3为非线性时滞系统最优控制输入曲线。

图4为非线性时滞系统最优控制输入下神经网络权值曲线。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明。

图1为本发明所采用的技术路线流程图。如图1所示，本发明具体包含如下步骤：

步骤1：针对具有确定时滞的非线性控制系统进行数学建模；

时滞非线性系统可由下式描述：

式中，A为负定数阵，时滞参数τ、σ均为未知的常数，u(t)为可容许控制输入。f(t,x(t),x(t-σ))是非线性函数，并且满足利普希茨连续条件。目的是找到合适的u^*(t)使得如下性能指标函数最小：

其中L(x(t),u(t))＝x^T(t)Qx(t)+u^T(t)Ru(t)，Q为半正定对称数阵，R为正定对称数阵。本发明中选取的是积分性能指标，体现了对系统状态变化过程中的状态x(t)和u(t)的要求。

需要指出的是，所谓的“最优性”，是指被控系统相对于性能指标函数意义下的最优性。不同的性能指标函数，最优控制结果是不同的。

构造哈密顿函数如下：

H(x,u,t)＝L(x,u,t)+(▽J)^T(Ax+fu) (3)

其中，

我们采用最优控制理论，进一步得到Hamilton-Jacobi-Bellman(HJB)方程

0＝min{H(x,u^*,t)} (4)

因此，最优控制性能指标函数为：

得到最优控制输入为

步骤2：建立最优控制输入u^*(t)下闭环系统稳定性条件；

将步骤1中所得到的最优控制输入u^*(t)，代入到式(1)中得到：

其中

通过模型变换将式(7)转换成：

通过李雅普诺夫稳定性原理，如果存在实数α，β，η₁和η₂，正定对称阵P＝P^T＞0，使得如下线性矩阵不等式成立，则由步骤1所得到的最优控制输入下的闭环系统稳定；

Φ＜0 (9)

其中

Φ＝Q₁+τQ₂+Q₃，

其中，I表示适维单位阵。

通过步骤2限定负定数阵A和时滞参数τ，保证在最优控制输入下整个系统的稳定性。

步骤3：采用BP神经网络近似性能指标函数和最优控制输入；

将理想的性能指标函数由如下式子表示：

其中，W_c为理想的神经网络权值，φ_c(x)为激活函数，ε_c(x)为神经网络近似估计误差。

基于步骤1中的Hamilton函数，可以得到：

实际估计的性能指标函数表达式为：

其中,为神经网络实际估计权值。

基于BP(Back Propagation)神经网络算法，这是一种按照误差逆向传播算法训练的多层前馈神经网络。这里采用最小化均方差根，定义误差平方

我们的目标是找到使E_c(t)最小的权值调节率，因此用梯度下降法，BP算法通过反复修正权值使式(13)最小，可以得到神经网络权值的调节率：

式中，γ为神经网络学习率且γ＞0。

结合式(12)，我们可以得到式(6)的最优控制输入近似表达式为

步骤4：matlab仿真：通过具体的数值例子，来阐述如何得到具有时滞非线性系统的最优控制律；

考虑以下含有时滞的非线性系统：

设系统初始状态为x(0)＝[2 1]^T，先考虑在最优控制输入下不同时滞闭环系统的稳定性：当时滞分别为τ＝σ＝0.5和τ＝σ＝0.85时，系统(16)状态响应曲线分别为图2所示。从图2可以看出，在以上两种时滞下闭环系统的状态响应分别为收敛和发散，这表明使闭环系统(16)稳定的最大时滞范围为0.5＜τ_MAX＜0.85；

接下来考虑当时滞τ＝σ＝0.5时系统(16)的最优控制律；取Q＝R＝1，激活函数为设神经网络的初始权值为W_c＝[0.1 0.1 0.1]^T，控制输入信号u(t)如图3所示收敛于0，由图3可得系统的权值在11秒后收敛于所以系统的最优控制律u^*(t)为:

以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护。

Claims (4)

1.一种基于在线ADP的非线性时滞系统最优控制方法，其特征在于：包括步骤：

步骤1、针对具有确定时滞的非线性控制系统进行数学建模，选取合适性能指标函数，通过最优控制理论构造哈密顿函数得到系统HJB方程计算得到最优控制输入；

步骤2、采用李雅普诺夫法确定最优控制输入信号下闭环系统的稳定性条件；

步骤3、采用神经网络近似最优控制输入，得到次优控制输入信号。

2.根据权利要求1所述的非线性时滞系统最优控制方法，其特征在于：所述步骤1中：针对具有确定时滞的非线性控制系统进行数学建模：

时滞非线性系统可由下式描述：

式中，A为负定数阵，时滞参数τ、σ均为未知的常数，u(t)为可容许控制输入；f(t,x(t),x(t-σ))是非线性函数，并且满足利普希茨连续条件；

目的是找到合适的u^*(t)使得如下性能指标函数最小：

其中L(x(t),u(t))＝x^T(t)Qx(t)+u^T(t)Ru(t)，Q为半正定对称数阵，R为正定对称数阵；

构造哈密顿函数如下：

其中，

采用最优控制理论，得到Hamilton-Jacobi-Bellman方程

0＝min{H(x,u^*,t)} (4)

因此，最优控制性能指标函数为：

得到最优控制输入为：

3.根据权利要求1所述的非线性时滞系统最优控制方法，其特征在于：所述步骤2中：建立最优控制输入u^*(t)下闭环系统稳定性条件：

将步骤1中所得到的最优控制输入u^*(t)，代入到式(1)中得到：

其中

通过模型变换将式(7)转换成：

通过李雅普诺夫稳定性原理，如果存在实数α，β，η₁和η₂，正定对称阵P＝P^T＞0，使得如下线性矩阵不等式成立，则由步骤1所得到的最优控制输入下的闭环系统稳定；

Φ＜0 (9)

其中

Φ＝Q₁+τQ₂+Q₃，

其中，I表示适维单位阵。

4.根据权利要求1所述的非线性时滞系统最优控制方法，其特征在于：步骤3：采用BP神经网络求解性能指标函数和最优控制输入：

将理想的性能指标函数由如下式表示：

其中，W_c为理想的神经网络权值，φ_c(x)为激活函数，ε_c(x)为神经网络近似估计误差；

基于步骤1中的Hamilton函数得到：

实际估计的性能指标函数表达式为：

其中,为神经网络实际估计权值；

采用最小化均方差根，定义误差平方：

采用梯度下降法，通过BP算法反复修正权值使式(13)最小，得到神经网络权值的调节率：

式中，γ为神经网络学习率且γ＞0；

结合式(12)，得到式(6)的最优控制输入次优表达式为