CN113608437A - 具有丢包和多时滞的网络控制系统的最优控制研究方法 - Google Patents

Abstract

本发明公开了一种具有丢包和多时滞的网络控制系统的最优控制研究方法，属于网络控制领域。本文分析了带有乘性噪声、丢包、输入和量测时滞的离散网络控制系统中的最优输出反馈控制和镇定性问题。对于带有丢包和量测时滞的乘性噪声系统，首次给出了递归的最优估计器。基于该估计器，利用极大值原理求得了最优输出反馈控制器。同时给出了有限时间范围内最优控制问题可解的充分必要条件。最后，基于标准的可观性假设，证明了在均方意义下设计的控制器可以使得系统方程镇定，当且仅当耦合的黎卡提方程有唯一解。

Description

具有丢包和多时滞的网络控制系统的最优控制研究方法

技术领域

本发明属于网络控制领域，具体涉及一种具有丢包和多时滞的网络控制系统的最优控制 研究方法。

背景技术

网络控制系统(NCSs)是一种反馈控制系统，该系统的控制环通过一个共享通信网络形 成闭合回路，且在通信网络中，系统信号(如参考输入、控制输入、设备输出等)可以在所 有的系统组件(如传感器、控制器、执行器等)中进行传输。与传统的控制系统相比，网络控制系统具有布线少、成本低、系统灵活性高和可维护性强等特点，因此在工业控制、过程控制、工程系统、航空航天系统、智能系统等实际应用中得到广泛的发展。

近年来出现了很多关于网络控制系统的热点问题，其中包括网络安全、容错网络控制系 统、分散和分布式网络控制系统、云网络控制系统等。在这些控制系统中经常出现丢包和网 络时滞的情形，这是由于节点故障或信息冲突以及信号采样或接收延迟所导致的。值得注意 的是，如果丢包和时滞超过了一定的期望值，装置或者设备可能会受到损坏，或者性能有所 下降。考虑到控制信号的传输经过一个不可靠的信道时，通过使用随机极大值原理，给出了 控制输入存在时滞时的最优控制器。针对具有量测丢包的网络控制系统，给出了最优估计器 的递推式和最优控制器的显示解。当系统输入不仅存在时滞，也存在从控制器到执行器之间 传输的数据丢包时，通过利用动态规划方法，给出了最优控制器的显式解。针对具有信息不 对称的网络控制系统，通过引入极大值原理，分别给出了有限时间和无限时间内的最优控制 问题可解的充分必要条件。

可以看出，以上的这些研究所讨论的问题都不够完善，对于带有乘性噪声的网络控制系 统，当有丢包和多时滞发生时，特别是系统中存在量测时滞时，很少有文章对此进行研究。 当系统中没有量测时滞时，最优估计器可以直接用量测数据进行设计，并且基于设计的估计 器可以求解最优控制器，分析稳定性问题。但是，上述研究成果有一个共同的缺陷，即没有 考虑系统中有量测时滞的情况，这使得所求得的控制器在实际中的应用有一定的局限性。本 文所讨论的问题如图1所示，当传感器的信号通过一个不可靠的信道进行传输时，会产生量 测丢包和量测时滞，而且在控制器到执行器的信号传输过程中存在输入时滞。由于量测时滞 的存在，量测数据{y_k}不能直接用于估计器的设计。而且基于现有的估计器，最优输出反馈 控制器无法求解。换句话说，当系统中同时存在丢包和多时滞时，输出反馈控制和稳定性问 题将会变得更加的复杂。

发明内容

针对现有技术中存在的上述技术问题，本发明提出了一种具有丢包和多时滞的网络控制 系统的最优控制研究方法，设计合理，克服了现有技术的不足，具有良好的效果。

为了实现上述目的，本发明采用如下技术方案：

具有丢包和多时滞的网络控制系统的最优控制研究方法，首先给出如下定义：符号

表 示n维欧氏空间；上标'表示矩阵的转置；实数矩阵M＞0表示矩阵M是正定的；实数矩阵M≥0 表示矩阵M是半正定的；

表示指示函数，即当元素

时，有

否则有

是由随机过程X所产生的自然滤波；E[·]是数学期望且

是关于

的条件期望；P(X)表 示当事件X发生时的概率；I表示单位矩阵；δ_kl表示克罗内克函数，即当k＝l时有δ_kl＝1，否 则有δ_kl＝0；

所述方法具体包括如下步骤：

步骤1：利用带有时滞的量测数据{y_k}设计出了最优估计器；

步骤2：利用极大值原理，解出了最优控制器，并给出了有限时间范围内可解的充分必 要条件；且最优控制器的增益为耦合的黎卡提方程的解；

步骤3：通过定义一个李雅普诺夫函数，得出系统在均方意义下是可镇定的，当且仅当 给定的耦合的黎卡提方程有唯一解。

优选地，在步骤2中，具体设计如下：

有限时间的情况

问题描述

考虑下面带有丢包、输入时滞和量测时滞的乘性噪声系统：

y_k＝ω_kx_k-θ， (2)；

其中，

代表状态向量，

代表控制器，

代表其协方差为

的标 量高斯白噪声；

代表量测过程，ω_k是服从概率为P(ω_k＝1)＝p＝1-q∈[0,1]的伯努利分布； A,

B,

是具有适当维数的常值矩阵，d和θ(>0)分别表示输入时滞和量测时滞；初始值x₀表 示均值为μ，协方差为Θ的高斯随机向量，初始控制器u_i,i＝-d,...,θ-1的值是已知的，而且

{ω_k}和x₀彼此相互独立；

系统(1)和(2)的性能指标定义为：

其中，常值矩阵

分别是用来平衡状态向量和输入向量的权重矩阵， x_N+1为终端状态向量，

为有界的常数终端加权矩阵；

对于具有丢包和多时滞的乘性噪声系统，控制器u_k只允许访问量测过程{y_θ,...,y_k}，也 就是说，u_k是

可量测的；为了方便起见，将

表示为

同时，将

表示为

将

表示为

问题1对于系统(1)和(2)，利用量测数据{y_k}，找到一个

可量测的控制器u_k使得目标函数(3)最小；

为了确保问题的可解性，给出下面的假设：

假设1目标函数(3)中矩阵满足Q≥0，R>0和M_N+1≥0；

最优估计

在求解最优控制器之前，首先给出最优估计器的表达式；为了表示方便，将估计器表示 为

下面给出本小节的重要定理：

定理1对于系统的状态方程(1)和量测方程(2)，最优估计器的递推式为：

其中

初始值为

且有

和P(ψ_k＝1)＝q＝1-p，θ≤k≤N，

表示指示函数；

除此之外，由系统方程(1)能够直接计算得到

证首先计算最优估计器的初始值

令y_θ＝ω_θx₀＝h，则由条件期望的定义得到

其中，P(x_θ＝r_i|y_θ＝h)表示在y_θ＝h发生的情况下x_θ取值为r_i的条件概率；下面进行讨论：

1)对于量测数据y_θ，当出现数据丢包时，也就是说y_θ＝h＝0，此时有 P(x_θ＝r_i,y_θ＝0)＝P(x_θ＝r_i)P(y_θ＝0)，则由(5)能够得到

2)当没有发生丢包时，也即y_θ＝h≠0，则由(5)能够得到

因此，结合式(6)和(7)，估计器的初始值表示为

由于系统噪声

和{ω_k}是相互独立的，则通过系统状态方程(1)得到

下面进一步分析最优估计器的一般形式

θ≤k≤N；

为了方便起见，令Y_k＝{y_θ,...,y_k}；类比式(5)，利用条件期望的定义，可得

分类讨论如下：

1)若y_θ＝y_θ+1...＝y_k＝0，则有

P(x_k＝r_i,y_θ＝0,y_θ+1＝0,...,y_k＝0)＝P(x_k＝r_i)P(y_θ＝0,y_θ+1＝0,...,y_k＝0)；

因此，根据式(8)可得

E[x_k|y_θ＝h_θ,y_θ+1＝h_θ+1,...,y_k＝h_k]＝Ex_k(9)；

2)若有y_k＝h_k＝0,

且

其中{θ,θ+1,...,k-1}＝ {i_θ,i_θ+1,...,i_k-1}，i_θ＜i_θ+1＜...＜i_j；此时有

则根据式(8)可得

3)若k时刻没有数据丢包，即y_k＝h_k≠0，估计器能够表示为

其中y_k＝ω_kx_k-θ，且上式第二行利用了状态{x_k}的马尔可夫特性；

由式(1)和(11)可得

同理可得

则由式(12)和(13)，式(11)中的估计器

能够写成递推的形式，如下：

综上所述，由式(9)-(11)可得最优估计器的形式为

同时由系统方程(1)直接计算可得

下面对式(14)作进一步的化简；利用指示函数的特性可知

因此，当y_θ＝y_θ+1...＝y_k＝0时，由式(16)，式(14)能够写为

E[x_k|y_θ,...,y_k]＝Ex_k＝AE[x_k-1|Y_k-1]+Bu_k-d-1 (18)；

同时，若有

其中i_θ＜i_θ+1＜...＜i_j＜...≤i_k-1，则

1)当i_j＜k-1时，即

且y_k-1＝0，由式(17)，式(14)能够写为

2)当i_j＝k-1时，即y_k-1≠0，由式(17)，式(14)能够写为

因此，由式(14)，(18)-(20)，并将

定义为ψ_k，得到最优估计器的递推形式为

上式即为式(4)；

最优输出反馈控制

为了得到问题1的解，对系统状态方程(1)和目标函数(3)应用极大值原理得到如下 的共态方程：

λ_N＝M_N+1x_N+1 (21)；

其中

下面给出问题1完整的解；

定理2基于假设1，对于系统(1)和(2，问题1有唯一的解，当且仅当矩阵Δ_k＞0， k＝d+θ,...,N；且设计的令目标函数(3)最小的最优输出反馈控制器为

其中估计器

满足下式

估计器

已经在定理1中给出，且增益Δ_k+d和Γ_k+d满足

在式(25)和(26)中，矩阵

Ψ_k,Φ_k满足下列的黎卡提差分方程

Φ_k＝(1-q)A′Ψ_k+1A+A′Φ_k+1A， (31)；

式(27)-(31)中的终端条件为

同时可得式(3)中的最优目标函数为

且状态和共态之间的关系满足下式

推论令

对式(27)-(31)两端从i＝3到d+1进行累加，得到下面耦合的黎卡提方程

Φ_k＝(1-q)A′Ψ_k+1A+A′Φ_k+1A， (37)；

上式中的终端值为Ξ_N+1＝Π_N+1＝M_N+1，且矩阵Δ_k和Γ_k能够直接计算得到

下面给出定理2的证明：

证首先给出必要性的证明，即在假设1的前提下，如果问题1有唯一解，式(25)中的矩阵Δ_k，d+θ≤k≤N是严格正定的；定义新的目标函数为

令式(40)中的k＝N，得到

J(N)＝E[x_N′Qx_N+u_N-d′Ru_N-d]+x_N+1′M_N+1x_N+1；

将系统的状态方程(1)代入上式，则J(N)能够写成状态x_N和控制器u_N-d的二次型形式， 且由于控制器解的唯一性，该二次型必然是正定的；令状态x_N＝0，得到

因此Δ_N＞0成立；

下面计算最优控制器；由式(1)和(21)，平衡方程(23)能够写为

因此，当k＝N时的最优控制器为

明显式(41)满足式(24)；

接下来说明k＝N时的共态方程具有式(33)的形式；利用式(1)、(21)、(22)和(41)，得到

上式满足式(33)，且矩阵M_N ¹和

分别满足式(27)和(28)；

为了进一步分析一般情况，并利用数学归纳法，取d+θ≤l≤N，当k≥l+1，假设式(25) 中的矩阵是正定的，且控制器u_k-d和共态λ_k-1的表达式为式(24)和(33)；接下来证明该情形 在k＝l时也成立；

首先需要证明矩阵Δ_l的可逆性；由式(1)、(22)和(23)，得到

将上式从k＝l+1到N进行累加，得到

利用上式以及式(21)，并令式(40)中的k＝l，则J(l)表示成

将式(33)代入上式，并令x_l＝0，则J(l)被写成

由于最优控制器解u_l-d的唯一性，则式(25)中矩阵Δ_l是严格正定的，也即Δ_l＞0成立；

下面求解最优控制器；将式(33)代入式(23)得到

则最优控制器的解为

其中矩阵Δ_l和Γ_l分别满足式(25)和(26)；因此，最优控制器(24)在k＝l时也成立；

最后证明状态和共态之间的关系式满足式(33)，如下：

显然该式成立；这就完成了必要性的证明；

下面给出充分性的证明，即当式(25)中的矩阵Δ_k＞0，k＝d+θ,...,N时，证明问题1有 唯一解；定义

则由式(1)、(25)-(31)，能够计算得到V_N(k+1,x_k+1)如下

令V_N(k,x_k)和V_N(k+1,x_k+1)作差，得到

对式(41)两端从k＝d+θ到N进行累加，得到

利用上式将目标函数写为

在上式中，x₀,u_i,i＝-d,...,θ-1已经初始化，对于0≤k≤d+θ-1，x_k能够由初始值进行求 解，且矩阵Δ_k是严格正定的；因此，令目标函数取到最小值，最优控制器的唯一性即可得证， 且满足式(24)。

优选地，在步骤3中，具体设计如下：

无限时间的情况

问题描述

为了分析系统的镇定性，求解系统(1)和(2)在无限时间时的镇定问题；当N→+∞时 考虑如下的性能指标：

首先给出下面几个重要的定义：

定义1对于给定的初始值x₀,u_-d,...,u_θ-1，且控制器u_k-d＝0,k≥d+θ，如果有

则称方程(1)为渐进均方稳定的；

定义2方程(1)在均方意义下是可镇定的，当存在一个

可量测的控制器

k≥θ，其中L和L_i(i＝1,...,d+θ)是常值矩阵，且满足

使得 (1)的闭环系统是渐进均方稳定的；

定义3对于下面的随机系统

为了方便起见，将上述系统简记为

基于假设1，有Q＝C'C成立；如果有下式成立

则称系统

是完全可观测的；

问题2找到一个

可测的控制器u_k-d使得系统(1)是渐进均方稳定的，同时使得 目标函数(44)最小；

假设2

是完全可观测的；

问题2的解

为了表述清晰，将矩阵Δ_k,Γ_k,

Ψ_k,Φ_k,Ξ_k,Π_k写为Δ_k(N),Γ_k(N),

Ψ_k(N), Φ_k(N),Ξ_k(N),Π_k(N)；由于终端值M_N+1＝0，故上述矩阵都为时不变矩阵；

下面给出几个重要引理：

引理1基于假设1，得到Π_k(N)≥Ξ_k(N)≥0,

Φ_k(N)＜0和

证在定理1中已经证得了Δ_k(N)＞0，k≥d+θ，由式(28)-(31)能够直接观察得出矩阵

Ψ_k(N),Φ_k(N)都是负定的；接下来证明Π_k(N)≥Ξ_k(N)≥0和

成立；定义

其中m≥d+θ；由式(3)和(32)能够类比得到式(45)的最优解为

对式(46)分析如下：

其中有

同理可得

则由式(46)-(49)；得到

由于状态x_d+θ是随机变量，因此，得到

Ξ_d+θ(m)≥0；

也即

由定理2看出

则必有

利用Ξ_d+θ(m),

和

的时 不变特性，令m＝N+d+θ-k，则有Ξ_k(N)＝Ξ_d+θ(N+d+θ-k)≥0,

和

因此不等式Π_k(N)≥Ξ_k(N)≥0，

和

也成立；

引理2基于假设1和2，存在一个常数N₀>0，使得当N＞N₀时，有Ξ_d+θ(N)＞0；

证对于式(46)，选定状态向量x_d+θ(≠0)，则有

假设Ξ_d+θ(N)＝0成立，那么式(46)能够写为

其中

和

分别代表最优状态策略和最优控制器；由假设1可知，Q＝C'C≥0且R＞0， 再由式(51)能够观察得出

则系统方程(1)能够写成

基于定义3和假设2，得到x_d+θ＝0，矛盾；因此假设不成立，则有N₀>0，使得当N＞N₀时，有Ξ_d+θ(N)＞0成立；

引理3系统方程(1)是可镇定的，当且仅当不等式

成立；

证首先给出充分性的证明；显然，如果

成立，则必有

基于 定义2可知系统方程(1)是可镇定的；

下面证明必要性，即若系统方程(1)是可镇定的，则不等式

成立；

由定义2可知，存在

使得系统方程(1)是渐进均方稳定的；定 义如下矩阵

利用上述矩阵可将系统方程(1)转变为一个新的状态方程为

且控制器u_k能够写为

将式(53)代入式(52)得到

回顾定义2可知，控制器

可使系统方程(1)渐进均方稳定，也即存在

同时，我们能够得到

则由式(54)能够直接得到

且有

因此可得

利用式(55)，能够得到

也即

定理3系统方程在均方意义下是可镇定的，当且仅当推论中耦合的黎卡提方程有唯一解， 且有Π≥Ξ＞0,M¹≥0,Ψ,Φ≤0和M^j≤0,j＝2,...,d+1：

Ψ＝-(A′)^dΓ′Δ^-1ΓA^d+qA′ΨA (58)；

Φ＝(1-q)A′ΨA+A′ΦA (59)；

其中Δ和Γ为

使系统镇定的控制器为

式(44)对应的最优目标函数为

其中

下面给出定理3的证明：

必要性：即若系统方程(1)是均方可镇定的，则式(34)-(39)中耦合的黎卡提方程有唯一解，且Π≥Ξ＞0,Ψ,Φ≤0；

首先给出矩阵Ξ_d+θ(N),Π_d+θ(N),Ψ_d+θ(N)和Φ_d+θ(N)关于N的单调性证明；回顾式(32)和(42)， 最优目标函数能够写为

其中，

且u_j＝0,j＝-d,...,-1,

下面对式(65)进行讨论：

1)如果有x₀＝Ex₀成立，则由定理1可以得到

那么式(65)能够写为

由于J^*(N)≤J^*(N+1)能够得到

也即 Π₀(N)≤Π₀(N+1)成立；

2)如果有Ex₀＝0成立，能够得到

类比上述分析得

3)对于给定的x_d+θ，由式(46)，令m＝N，可有H^*(N)≤H^*(N+1)，则可得

也即Ξ_d+θ(N)≤Ξ_d+θ(N+1)成立；

综上所述，看出Π₀(N),

和Ξ_d+θ(N)关于N是单调递增的；

下面证明上述矩阵是有界的；由定义2知，存在控制器

使得系统方程(1)镇 定；选定一常数λ使得Q≤λI,

成立；则有

其中c和c₁是常数；因此，得到

再由式（50），可知

上式表明矩阵Ξ_d+θ(N)是有界的；

类比式（65）进行如下讨论：

1）若x₀＝Ex₀，则有

故有

上式表明矩阵

是有界的；

2）若Ex₀＝0，则有

故有

得出

也是有界的；

综上可知矩阵Ξ_d+θ(N),Π₀(N),

Ψ₀(N)和Φ₀(N)都是收敛的；且上述矩阵都是时不变矩 阵，即有

Ξ_d+θ(N)＝Ξ₀(N-d-θ),Π_d+θ(N)＝Π₀(N-d-θ)；

Ψ_d+θ(N)＝Ψ₀(N-d-θ)；

Φ_d+θ(N)＝Φ₀(N-d-θ)；

因此，存在矩阵Ξ,Π,M¹,Ψ和Φ，满足

同时，在式（25），（26），（28）和（29）两端取极限也可得到收敛值为

因此，当时间变量N→+∞，式（56）-（61）是成立的；且利用引理1和2直接得到，Π≥Ξ＞0, M¹≥0,Ψ＜0,Φ＜0和M^j≤0,j＝2,...,d+1；

最后证明式（56）-（59）的解是唯一的；现假设存在另外一组解H,F,P和K也满足式(56)-(59)；当有x₀＝Ex₀时，对式(66)两端取极限，得到

J^*(N)＝E(x′₀Πx₀)＝E(x′₀Fx₀)；

则有Π＝F；而且若有Ex₀＝0，可得

J^*(N)＝E{x′₀[Π₀(N)-qΨ₀(N)-qΦ₀(N)]x₀}

＝E{x′₀[F₀(N)-qP₀(N)-qK₀(N)]x₀}；

由式(30)和(31)，看出Φ_k(N)依赖于Ψ_k(N)，也即若Ψ₀(N)≠P₀(N)，则有Φ₀(N)≠K₀(N)，这 与上述方程式矛盾；故在该方程两侧取极限得到Ψ＝P，Φ＝K；同时，对于给定的x_d+θ，在式 (51)两端取极限，直接得到E(x′_d+θΞx_d+θ)＝E(x′_d+θHx_d+θ)，则有Ξ＝H；综上可知式(56)-(61) 的解是唯一的；

充分性：若式(56)-(61)中耦合的黎卡提方程有唯一解，则控制器(62)能够使得系统方程(1)镇定；

首先，令

同时经计算也能够得到

则对k≥d+θ，有

从式(69)看出，控制器

满足式(62)，且函数V(k,x_k)关于N是单调递减的； 同时经计算可得到

上式表明函数V(k,x_k)是有界的，由单调有界原理可知函数V(k,x_k)是收敛的；

因此，通过式(69)得到

再由式(50)可得

在式(71)两端取极限并利用式(70)，可得

利用引理2知Ξ_d+θ(N)＞0，则有

也即式(62)中的控制器能够使得系统方程 (1)镇定；

接下来证明控制器(62)可使目标函数(44)最小为(63)；对式(68)两端从k＝0到N进行累加，得到

其中V(0,x₀)和V(N+1,x_N+1)已在式(67)中给出定义；利用射影定理可有

我们已经得到控制器(62)能够使得系统(1)镇定，因此有

则

在式(72)两端对N取极限，目标函数(44)能够写为

通过以上的分析，控制器(62)可以使得目标函数(44)最小，且最优目标函数为式(63)。

本发明所带来的有益技术效果：

本文分析了带有乘性噪声、丢包、输入和量测时滞的离散网络控制系统中的最优输出反 馈控制和镇定性问题。对于带有丢包和量测时滞的乘性噪声系统，首次给出了递归的最优估 计器。基于该估计器，利用极大值原理求得了最优输出反馈控制器。同时给出了有限时间范 围内最优控制问题可解的充分必要条件。最后，基于标准的可观性假设，证明了在均方意义 下设计的控制器可以使得系统方程镇定，当且仅当耦合的黎卡提方程有唯一解。

附图说明

图1为带有丢包和多时滞的网络控制系统图。

图2为控制器为

时系统的状态轨迹E(x′_kx_k)图。

图3为控制器为

时系统的状态轨迹E(x′_kx_k)图。

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步详细说明：

具有丢包和多时滞的网络控制系统的最优控制研究方法，首先给出如下定义：符号

表 示n维欧氏空间；上标'表示矩阵的转置；实数矩阵M＞0表示矩阵M是正定的；实数矩阵M≥0 表示矩阵M是半正定的；

表示指示函数，即当元素

时，有

否则有

是由随机过程X所产生的自然滤波；E[·]是数学期望且

是关于

的条件期望；P(X)表 示当事件X发生时的概率；I表示单位矩阵；δ_kl表示克罗内克函数，即当k＝l时有δ_kl＝1，否 则有δ_kl＝0；

所述方法具体包括如下步骤：

步骤1：利用带有时滞的量测数据{y_k}设计出了最优估计器；

步骤2：利用极大值原理，解出了最优控制器，并给出了有限时间范围内可解的充分必 要条件；且最优控制器的增益为耦合的黎卡提方程的解；

步骤3：通过定义一个李雅普诺夫函数，得出系统在均方意义下是可镇定的，当且仅当 给定的耦合的黎卡提方程有唯一解。

在步骤2中，具体设计如下：

有限时间的情况

问题描述

考虑下面带有丢包、输入时滞和量测时滞的乘性噪声系统：

y_k＝ω_kx_k-θ， (2)；

其中，

代表状态向量，

代表控制器，

代表其协方差为

的标 量高斯白噪声；

代表量测过程，ω_k是服从概率为P(ω_k＝1)＝p＝1-q∈[0,1]的伯努利分布； A,

B,

是具有适当维数的常值矩阵，d和θ(>0)分别表示输入时滞和量测时滞；初始值x₀表 示均值为μ，协方差为Θ的高斯随机向量，初始控制器u_i,i＝-d,...,θ-1的值是已知的，而且

{ω_k}和x₀彼此相互独立；

系统(1)和(2)的性能指标定义为：

其中，常值矩阵

分别是用来平衡状态向量和输入向量的权重矩阵， x_N+1为终端状态向量，

为有界的常数终端加权矩阵；

对于具有丢包和多时滞的乘性噪声系统，控制器u_k只允许访问量测过程{y_θ,...,y_k}，也 就是说，u_k是

可量测的；为了方便起见，将

表示为

同时，将

表示为

将

表示为

问题1对于系统(1)和(2)，利用量测数据{y_k}，找到一个

可量测的控制器u_k使得目标函数(3)最小；

为了确保问题的可解性，给出下面的假设：

假设1目标函数(3)中矩阵满足Q≥0，R>0和M_N+1≥0；

最优估计

在求解最优控制器之前，首先给出最优估计器的表达式；为了表示方便，将估计器表示 为

下面给出本小节的重要定理：

定理1对于系统的状态方程(1)和量测方程(2)，最优估计器的递推式为：

其中

初始值为

且有

和P(ψ_k＝1)＝q＝1-p，θ≤k≤N，

表示指示函数；

除此之外，由系统方程(1)能够直接计算得到

证首先计算最优估计器的初始值

令y_θ＝ω_θx₀＝h，则由条件期望的定义得到

其中，P(x_θ＝r_i|y_θ＝h)表示在y_θ＝h发生的情况下x_θ取值为r_i的条件概率；下面进行讨论：

1)对于量测数据y_θ，当出现数据丢包时，也就是说y_θ＝h＝0，此时有 P(x_θ＝r_i,y_θ＝0)＝P(x_θ＝r_i)P(y_θ＝0)，则由(5)能够得到

2)当没有发生丢包时，也即y_θ＝h≠0，则由(5)能够得到

因此，结合式(6)和(7)，估计器的初始值表示为

由于系统噪声

和{ω_k}是相互独立的，则通过系统状态方程(1)得到

下面进一步分析最优估计器的一般形式

θ≤k≤N；

为了方便起见，令Y_k＝{y_θ,...,y_k}；类比式(5)，利用条件期望的定义，可得

分类讨论如下：

1)若y_θ＝y_θ+1...＝y_k＝0，则有

P(x_k＝r_i,y_θ＝0,y_θ+1＝0,...,y_k＝0)＝P(x_k＝r_i)P(y_θ＝0,y_θ+1＝0,...,y_k＝0)；

因此，根据式(8)可得

E[x_k|y_θ＝h_θ,y_θ+1＝h_θ+1,...,y_k＝h_k]＝Ex_k (9)；

2)若有

且

其中{θ,θ+1,...,k-1}＝ {i_θ,i_θ+1,...,i_k-1}，i_θ＜i_θ+1＜...＜i_j；此时有

则根据式(8)可得

3)若k时刻没有数据丢包，即y_k＝h_k≠0，估计器能够表示为

其中y_k＝ω_kx_k-θ，且上式第二行利用了状态{x_k}的马尔可夫特性；

由式(1)和(11)可得

同理可得

则由式(12)和(13)，式(11)中的估计器

能够写成递推的形式，如下：

综上所述，由式(9)-(11)可得最优估计器的形式为

同时由系统方程(1)直接计算可得

下面对式(14)作进一步的化简；利用指示函数的特性可知

因此，当y_θ＝y_θ+1...＝y_k＝0时，由式(16)，式(14)能够写为

E[x_k|y_θ,...,y_k]＝Ex_k＝AE[x_k-1|Y_k-1]+Bu_k-d-1 (18)；

同时，若有

其中i_θ＜i_θ+1＜...＜i_j＜...≤i_k-1，则

1)当i_j＜k-1时，即

且y_k-1＝0，由式(17)，式(14)能够写为

2)当i_j＝k-1时，即y_k-1≠0，由式(17)，式(14)能够写为

因此，由式(14)，(18)-(20)，并将

定义为ψ_k，得到最优估计器的递推形式为

上式即为式(4)；

最优输出反馈控制

为了得到问题1的解，对系统状态方程(1)和目标函数(3)应用极大值原理得到如下 的共态方程：

λ_N＝M_N+1x_N+1 (21)；

其中

下面给出问题1完整的解；

定理2基于假设1，对于系统(1)和(2，问题1有唯一的解，当且仅当矩阵Δ_k＞0， k＝d+θ,...,N；且设计的令目标函数(3)最小的最优输出反馈控制器为

其中估计器

满足下式

估计器

已经在定理1中给出，且增益Δ_k+d和Γ_k+d满足

在式(25)和(26)中，矩阵

Ψ_k,Φ_k满足下列的黎卡提差分方程

Φ_k＝(1-q)A′Ψ_k+1A+A′Φ_k+1A， (31)；

式(27)-(31)中的终端条件为

Ψ_N+1＝0,Φ_N+1＝0；

同时可得式(3)中的最优目标函数为

且状态和共态之间的关系满足下式

推论令

对式(27)-(31)两端从i＝3到d+1进行累加，得到下面耦合的黎卡提方程

Φ_k＝(1-q)A′Ψ_k+1A+A′Φ_k+1A， (37)；

上式中的终端值为Ξ_N+1＝Π_N+1＝M_N+1，且矩阵Δ_k和Γ_k能够直接计算得到

下面给出定理2的证明：

证首先给出必要性的证明，即在假设1的前提下，如果问题1有唯一解，式(25)中的矩阵Δ_k，d+θ≤k≤N是严格正定的；定义新的目标函数为

令式(40)中的k＝N，得到

J(N)＝E[x_N′Qx_N+u_N-d′Ru_N-d]+x_N+1′M_N+1x_N+1；

将系统的状态方程(1)代入上式，则J(N)能够写成状态x_N和控制器u_N-d的二次型形式， 且由于控制器解的唯一性，该二次型必然是正定的；令状态x_N＝0，得到

因此Δ_N＞0成立；

下面计算最优控制器；由式(1)和(21)，平衡方程(23)能够写为

因此，当k＝N时的最优控制器为

明显式(41)满足式(24)；

接下来说明k＝N时的共态方程具有式(33)的形式；利用式(1)、(21)、(22)和(41)，得到

上式满足式(33)，且矩阵

和

分别满足式(27)和(28)；

为了进一步分析一般情况，并利用数学归纳法，取d+θ≤l≤N，当k≥l+1，假设式(25) 中的矩阵是正定的，且控制器u_k-d和共态λ_k-1的表达式为式(24)和(33)；接下来证明该情形 在k＝l时也成立；

首先需要证明矩阵Δ_l的可逆性；由式(1)、(22)和(23)，得到

将上式从k＝l+1到N进行累加，得到

利用上式以及式(21)，并令式(40)中的k＝l，则J(l)表示成

将式(33)代入上式，并令x_l＝0，则J(l)被写成

由于最优控制器解u_l-d的唯一性，则式(25)中矩阵Δ_l是严格正定的，也即Δ_l＞0成立；

下面求解最优控制器；将式(33)代入式(23)得到

则最优控制器的解为

其中矩阵Δ_l和Γ_l分别满足式(25)和(26)；因此，最优控制器(24)在k＝l时也成立；

最后证明状态和共态之间的关系式满足式(33)，如下：

显然该式成立；这就完成了必要性的证明；

下面给出充分性的证明，即当式(25)中的矩阵Δ_k＞0，k＝d+θ,...,N时，证明问题1有 唯一解；定义

则由式(1)、(25)-(31)，能够计算得到V_N(k+1,x_k+1)如下

令V_N(k,x_k)和V_N(k+1,x_k+1)作差，得到

对式(41)两端从k＝d+θ到N进行累加，得到

利用上式将目标函数写为

在上式中，x₀,u_i,i＝-d,...,θ-1已经初始化，对于0≤k≤d+θ-1，x_k能够由初始值进行求 解，且矩阵Δ_k是严格正定的；因此，令目标函数取到最小值，最优控制器的唯一性即可得证， 且满足式(24)。

在步骤3中，具体设计如下：

无限时间的情况

问题描述

为了分析系统的镇定性，求解系统(1)和(2)在无限时间时的镇定问题；当N→+∞时 考虑如下的性能指标：

首先给出下面几个重要的定义：

定义1对于给定的初始值x₀,u_-d,...,u_θ-1，且控制器u_k-d＝0,k≥d+θ，如果有

则称方程(1)为渐进均方稳定的；

定义2方程(1)在均方意义下是可镇定的，当存在一个

可量测的控制器

其中L和L_i(i＝1,...,d+θ)是常值矩阵，且满足

使得 (1)的闭环系统是渐进均方稳定的；

定义3对于下面的随机系统

为了方便起见，将上述系统简记为

基于假设1，有Q＝C'C成立；如果有下式成立

则称系统

是完全可观测的；

问题2找到一个

可测的控制器u_k-d使得系统(1)是渐进均方稳定的，同时使得 目标函数(44)最小；

假设2

是完全可观测的；

问题2的解

为了表述清晰，将矩阵Δ_k,Γ_k,

Ψ_k,Φ_k,Ξ_k,Π_k写为Δ_k(N),Γ_k(N),

Ψ_k(N), Φ_k(N),Ξ_k(N),Π_k(N)；由于终端值M_N+1＝0，故上述矩阵都为时不变矩阵；

下面给出几个重要引理：

引理1基于假设1，得到Π_k(N)≥Ξ_k(N)≥0,

Φ_k(N)＜0和

证在定理1中已经证得了Δ_k(N)＞0，k≥d+θ，由式(28)-(31)能够直接观察得出矩阵

Ψ_k(N),Φ_k(N)都是负定的；接下来证明Π_k(N)≥Ξ_k(N)≥0和

成立；定义

其中m≥d+θ；由式(3)和(32)能够类比得到式(45)的最优解为

对式(46)分析如下：

其中有

同理可得

则由式(46)-(49)；得到

由于状态x_d+θ是随机变量，因此，得到

Ξ_d+θ(m)≥0；

也即

由定理2看出

则必有

利用Ξ_d+θ(m),

和

的时 不变特性，令m＝N+d+θ-k，则有Ξ_k(N)＝Ξ_d+θ(N+d+θ-k)≥0,

和

因此不等式Π_k(N)≥Ξ_k(N)≥0，

和

也成立；

引理2基于假设1和2，存在一个常数N₀>0，使得当N＞N₀时，有Ξ_d+θ(N)＞0；

证对于式(46)，选定状态向量x_d+θ(≠0)，则有

假设Ξ_d+θ(N)＝0成立，那么式(46)能够写为

其中

和

分别代表最优状态策略和最优控制器；由假设1可知，Q＝C'C≥0且R＞0， 再由式(51)能够观察得出

则系统方程(1)能够写成

基于定义3和假设2，得到x_d+θ＝0，矛盾；因此假设不成立，则有N₀>0，使得当N＞N₀时，有Ξ_d+θ(N)＞0成立；

引理3系统方程(1)是可镇定的，当且仅当不等式

成立；

证首先给出充分性的证明；显然，如果

成立，则必有

基于 定义2可知系统方程(1)是可镇定的；

下面证明必要性，即若系统方程(1)是可镇定的，则不等式

成立；

由定义2可知，存在

使得系统方程(1)是渐进均方稳定的；定 义如下矩阵

利用上述矩阵可将系统方程(1)转变为一个新的状态方程为

且控制器u_k能够写为

将式(53)代入式(52)得到

回顾定义2可知，控制器

可使系统方程(1)渐进均方稳定，也即存在

同时，我们能够得到

则由式(54)能够直接得到

且有

因此可得

利用式(55)，能够得到

也即

定理3系统方程在均方意义下是可镇定的，当且仅当推论中耦合的黎卡提方程有唯一解， 且有Π≥Ξ＞0,M¹≥0,Ψ,Φ≤0和M^j≤0,j＝2,...,d+1：

Ψ＝-(A′)^dΓ′Δ^-1ΓA^d+qA′ΨA (58)；

Φ＝(1-q)A′ΨA+A′ΦA (59)；

其中Δ和Γ为

使系统镇定的控制器为

式(44)对应的最优目标函数为

其中

下面给出定理3的证明：

必要性：即若系统方程(1)是均方可镇定的，则式(34)-(39)中耦合的黎卡提方程有唯一解，且Π≥Ξ＞0,Ψ,Φ≤0；

首先给出矩阵Ξ_d+θ(N),Π_d+θ(N),Ψ_d+θ(N)和Φ_d+θ(N)关于N的单调性证明；回顾式(32)和(42)， 最优目标函数能够写为

其中，

且u_j＝0,j＝-d,...,-1,

下面对式(65)进行讨论：

1)如果有x₀＝Ex₀成立，则由定理1可以得到

那么式(65)能够写为

由于J^*(N)≤J^*(N+1)能够得到

也即 Π₀(N)≤Π₀(N+1)成立；

2)如果有Ex₀＝0成立，能够得到

类比上述分析得

3)对于给定的x_d+θ，由式(46)，令m＝N，可有H^*(N)≤H^*(N+1)，则可得

也即Ξ_d+θ(N)≤Ξ_d+θ(N+1)成立；

综上所述，看出Π₀(N),

和Ξ_d+θ(N)关于N是单调递增的；

下面证明上述矩阵是有界的；由定义2知，存在控制器

使得系统方程(1)镇 定；选定一常数λ使得Q≤λI,

成立；则有

其中c和c₁是常数；因此，得到

再由式(50)，可知

上式表明矩阵Ξ_d+θ(N)是有界的；

类比式(65)进行如下讨论：

1)若x₀＝Ex₀，则有

故有

上式表明矩阵

是有界的；

2)若Ex₀＝0，则有

故有

得出

也是有界的；

综上可知矩阵Ξ_d+θ(N),Π₀(N),

Ψ₀(N)和Φ₀(N)都是收敛的；且上述矩阵都是时不变矩 阵，即有

Ξ_d+θ(N)＝Ξ₀(N-d-θ),Π_d+θ(N)＝Π₀(N-d-θ)；

Ψ_d+θ(N)＝Ψ₀(N-d-θ)；

Φ_d+θ(N)＝Φ₀(N-d-θ)；

因此，存在矩阵Ξ,Π,M¹,Ψ和Φ，满足

同时，在式(25)，(26)，(28)和(29)两端取极限也可得到收敛值为

因此，当时间变量N→+∞，式(56)-(61)是成立的；且利用引理1和2直接得到，Π≥Ξ＞0, M¹≥0,Ψ＜0,Φ＜0和M^j≤0,j＝2,...,d+1；

最后证明式(56)-(59)的解是唯一的；现假设存在另外一组解H,F,P和K也满足式(56)-(59)；当有x₀＝Ex₀时，对式(66)两端取极限，得到

J^*(N)＝E(x′₀Πx₀)＝E(x′₀Fx₀)；

则有Π＝F；而且若有Ex₀＝0，可得

J^*(N)＝E{x′₀[Π₀(N)-qΨ₀(N)-qΦ₀(N)]x₀}

＝E{x′₀[F₀(N)-qP₀(N)-qK₀(N)]x₀}；

由式(30)和(31)，看出Φ_k(N)依赖于Ψ_k(N)，也即若Ψ₀(N)≠P₀(N)，则有Φ₀(N)≠K₀(N)，这 与上述方程式矛盾；故在该方程两侧取极限得到Ψ＝P，Φ＝K；同时，对于给定的x_d+θ，在式 (51)两端取极限，直接得到E(x′_d+θΞx_d+θ)＝E(x′_d+θHx_d+θ)，则有Ξ＝H；综上可知式(56)-(61) 的解是唯一的；

充分性：若式(56)-(61)中耦合的黎卡提方程有唯一解，则控制器(62)能够使得系统方程(1)镇定；

首先，令

同时经计算也能够得到

则对k≥d+θ，有

＝E[x′_kQx_k+u′_k-dRu_k-d]≥0。 (69)；

从式(69)看出，控制器

满足式(62)，且函数V(k,x_k)关于N是单调递减的； 同时经计算可得到

上式表明函数V(k,x_k)是有界的，由单调有界原理可知函数V(k,x_k)是收敛的；

因此，通过式(69)得到

再由式(50)可得

在式(71)两端取极限并利用式(70)，可得

利用引理2知Ξ_d+θ(N)＞0，则有

也即式(62)中的控制器能够使得系统方程 (1)镇定；

接下来证明控制器(62)可使目标函数(44)最小为(63)；对式(68)两端从k＝0到N进行累加，得到

其中V(0,x₀)和V(N+1,x_N+1)已在式(67)中给出定义；利用射影定理可有

我们已经得到控制器(62)能够使得系统(1)镇定，因此有

则

在式(72)两端对N取极限，目标函数(44)能够写为

通过以上的分析，控制器(62)可以使得目标函数(44)最小，且最优目标函数为式(63)。

仿真例子

例1令系统方程(1)和目标函数(3)的参数为

A＝0.8,

σ²＝1,d＝3,θ＝2

x₀＝1,u₁＝0.8,u_i＝0,i＝-3,...,0

Q＝R＝1,N＝7,M_N+1＝0。

利用推论直接计算可以得到

Ξ₅＝1.7101,Ξ₆＝1.5399,Ξ₇＝1

Π₅＝2.6821,Π₆＝1.8900,Π₇＝1

Ψ₅＝0,Ψ₆＝0,Ψ₇＝0

Φ₅＝0,Φ₆＝0,Φ₇＝0

Δ₅＝2.0570,Δ₆＝1.6500,Δ₇＝1

Γ₅＝1.2404,Γ₆＝0.7600,Γ₇＝0。

从上述值中可以看出对于k＝4,5,6有Δ_k＞0，因此由定理2可知输出反馈控制问题有唯一 解。计算得到的最优控制器为

u₄＝0。

例2该数值算例证明了对于无限时间的情况，在定理3中设计的控制器可以使系统方程 (1)镇定。考虑系统方程(1)和目标函数(3)的参数为

A＝0.4,

B＝0.4,

σ²＝1,d＝4,θ＝3

x₀＝1,u₁＝0.5,u₂＝1,u_i＝0,i＝-4,...,0

Q＝R＝1＞0，

且假设1和2都满足。通过解式(56)-(61)可以得到

Ξ＝2.2074,Π＝31.4114,Ψ＝-0.0165,Φ＝-0.0025

Δ＝21.4310,Γ＝22.9407，

明显有Π＞Ξ＞0,Ψ＜0和Φ＜0。由定理3可知，在均方意义下求得的控制器u_k-d＝-1.0704

可以使得系统方程(1)镇定。如图所示，系统状态是渐进均方稳定的。

例3为了证明定理3的有效性，根据例2的描述，选择另外一个控制器u_k-d＝-4.5596

其中该控制器的增益也是解式(56)-(61)中耦合的黎卡提方程得到的。此时相关的 仿真例子如图所示，可以明显的看出选定的控制器不能使系统方程(1)镇定。

本文分析了带有乘性噪声、丢包、输入和量测时滞的离散网络控制系统中的最优输出反 馈控制和镇定性问题。对于带有丢包和量测时滞的乘性噪声系统，首次给出了递归的最优估 计器。基于该估计器，利用极大值原理求得了最优输出反馈控制器。同时给出了有限时间范 围内最优控制问题可解的充分必要条件。最后，基于标准的可观性假设，证明了在均方意义 下设计的控制器可以使得系统方程镇定，当且仅当耦合的黎卡提方程有唯一解。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的 技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护 范围。

Claims (3)

1.具有丢包和多时滞的网络控制系统的最优控制研究方法，其特征在于：首先给出如下定义：符号

表示n维欧氏空间；上标'表示矩阵的转置；实数矩阵M＞0表示矩阵M是正定的；实数矩阵M≥0表示矩阵M是半正定的；

表示指示函数，即当元素

时，有

否则有

是由随机过程X所产生的自然滤波；E[·]是数学期望且

是关于

的条件期望；P(X)表示当事件X发生时的概率；I表示单位矩阵；δ_kl表示克罗内克函数，即当k＝l时有δ_kl＝1，否则有δ_kl＝0；

所述方法具体包括如下步骤：

步骤1：利用带有时滞的量测数据{y_k}设计出了最优估计器；

步骤2：利用极大值原理，解出了最优控制器，并给出了有限时间范围内可解的充分必要条件；且最优控制器的增益为耦合的黎卡提方程的解；

步骤3：通过定义一个李雅普诺夫函数，得出系统在均方意义下是可镇定的，当且仅当给定的耦合的黎卡提方程有唯一解。

2.根据权利要求1所述的具有丢包和多时滞的网络控制系统的最优控制研究方法，其特征在于：在步骤2中，具体设计如下：

有限时间的情况

问题描述

考虑下面带有丢包、输入时滞和量测时滞的乘性噪声系统：

y_k＝ω_kx_k-θ， (2)；

其中，

代表状态向量，

代表控制器，

代表其协方差为

的标量高斯白噪声；

代表量测过程，ω_k是服从概率为P(ω_k＝1)＝p＝1-q∈[0,1]的伯努利分布；A,

B,

是具有适当维数的常值矩阵，d和θ(>0)分别表示输入时滞和量测时滞；初始值x₀表示均值为μ，协方差为Θ的高斯随机向量，初始控制器u_i,i＝-d,...,θ-1的值是已知的，而且

{ω_k}和x₀彼此相互独立；

系统(1)和(2)的性能指标定义为：

其中，常值矩阵

分别是用来平衡状态向量和输入向量的权重矩阵，x_N+1为终端状态向量，

为有界的常数终端加权矩阵；

对于具有丢包和多时滞的乘性噪声系统，控制器u_k只允许访问量测过程{y_θ,...,y_k}，也就是说，u_k是

可量测的；为了方便起见，将

表示为

同时，将

表示为

将

表示为

问题1对于系统(1)和(2)，利用量测数据{y_k}，找到一个

可量测的控制器u_k使得目标函数(3)最小；

为了确保问题的可解性，给出下面的假设：

假设1目标函数(3)中矩阵满足Q≥0，R>0和M_N+1≥0；

最优估计

在求解最优控制器之前，首先给出最优估计器的表达式；为了表示方便，将估计器表示为

下面给出本小节的重要定理：

定理1对于系统的状态方程(1)和量测方程(2)，最优估计器的递推式为：

其中

初始值为

且有

和P(ψ_k＝1)＝q＝1-p，θ≤k≤N，

表示指示函数；

除此之外，由系统方程(1)能够直接计算得到

证首先计算最优估计器的初始值

令y_θ＝ω_θx₀＝h，则由条件期望的定义得到

其中，P(x_θ＝r_i|y_θ＝h)表示在y_θ＝h发生的情况下x_θ取值为r_i的条件概率；下面进行讨论：

1)对于量测数据y_θ，当出现数据丢包时，也就是说y_θ＝h＝0，此时有P(x_θ＝r_i,y_θ＝0)＝P(x_θ＝r_i)P(y_θ＝0)，则由(5)得到

2)当没有发生丢包时，也即y_θ＝h≠0，则由(5)得到

因此，结合式(6)和(7)，估计器的初始值表示为

由于系统噪声

和{ω_k}是相互独立的，则通过系统状态方程(1)得到

下面进一步分析最优估计器的一般形式

θ≤k≤N；

为了方便起见，令Y_k＝{y_θ,...,y_k}；类比式(5)，利用条件期望的定义，可得

分类讨论如下：

1)若y_θ＝y_θ+1...＝y_k＝0，则有

P(x_k＝r_i,y_θ＝0,y_θ+1＝0,...,y_k＝0)＝P(x_k＝r_i)P(yθ＝0,y_θ+1＝0,...,y_k＝0)；

因此，根据式(8)得

E[x_k|y_θ＝h_θ,y_θ+1＝h_θ+1,...,y_k＝h_k]＝Ex_k (9)；

2)若有y_k＝h_k＝0,

且

其中{θ,θ+1,...,k-1}＝{i_θ,i_θ+1,...,i_k-1}，i_θ＜i_θ+1＜...＜i_j；此时有

则根据式(8)得

3)若k时刻没有数据丢包，即y_k＝h_k≠0，估计器能够表示为

其中y_k＝ω_kx_k-θ，且上式第二行利用了状态{x_k}的马尔可夫特性；

由式(1)和(11)得

同理可得

则由式(12)和(13)，式(11)中的估计器

能够写成递推的形式，如下：

综上所述，由式(9)-(11)得最优估计器的形式为

同时由系统方程(1)直接计算得

下面对式(14)作进一步的化简；利用指示函数的特性知

因此，当y_θ＝y_θ+1...＝y_k＝0时，由式(16)，式(14)能够写为

E[x_k|y_θ,...,y_k]＝Ex_k＝AE[x_k-1|Y_k-1]+Bu_k-d-1 (18)；

同时，若有

其中i_θ＜i_θ+1＜...＜i_j＜...≤i_k-1，则

1)当i_j＜k-1时，即

且y_k-1＝0，由式(17)，式(14)能够写为

2)当i_j＝k-1时，即y_k-1≠0，由式(17)，式(14)能够写为

因此，由式(14)，(18)-(20)，并将

定义为ψ_k，得到最优估计器的递推形式为

上式即为式(4)；

最优输出反馈控制

为了得到问题1的解，对系统状态方程(1)和目标函数(3)应用极大值原理得到如下的共态方程：

λ_N＝M_N+1x_N+1 (21)；

其中

下面给出问题1完整的解；

定理2基于假设1，对于系统(1)和(2)，问题1有唯一的解，当且仅当矩阵Δ_k＞0，k＝d+θ,...,N；且设计的令目标函数(3)最小的最优输出反馈控制器为

其中估计器

满足下式

估计器

已经在定理1中给出，且增益Δ_k+d和Γ_k+d满足

在式(25)和(26)中，矩阵

Ψ_k,Φ_k满足下列的黎卡提差分方程

Φ_k＝(1-q)A′Ψ_k+1A+A′Φ_k+1A， (31)；

式(27)-(31)中的终端条件为

Ψ_N+1＝0,Φ_N+1＝0；

同时可得式(3)中的最优目标函数为

且状态和共态之间的关系满足下式

推论令

对式(27)-(31)两端从i＝3到d+1进行累加，得到下面耦合的黎卡提方程

Φ_k＝(1-q)A′Ψ_k+1A+A′Φ_k+1A， (37)；

上式中的终端值为Ξ_N+1＝Π_N+1＝M_N+1，且矩阵Δ_k和Γ_k能够直接计算得到

下面给出定理2的证明：

证首先给出必要性的证明，即在假设1的前提下，如果问题1有唯一解，式(25)中的矩阵Δ_k，d+θ≤k≤N是严格正定的；定义新的目标函数为

令式(40)中的k＝N，得到

J(N)＝E[x_N′Qx_N+u_N-d′Ru_N-d]+x_N+1′M_N+1x_N+1；

将系统的状态方程(1)代入上式，则J(N)能够写成状态x_N和控制器u_N-d的二次型形式，且由于控制器解的唯一性，该二次型必然是正定的；令状态x_N＝0，得到

因此Δ_N＞0成立；

下面计算最优控制器；由式(1)和(21)，平衡方程(23)能够写为

因此，当k＝N时的最优控制器为

明显式(41)满足式(24)；

接下来说明k＝N时的共态方程具有式(33)的形式；利用式(1)、(21)、(22)和(41)，得到

上式满足式(33)，且矩阵M_N ¹和

分别满足式(27)和(28)；

为了进一步分析一般情况，并利用数学归纳法，取d+θ≤l≤N，当k≥l+1，假设式(25)中的矩阵是正定的，且控制器u_k-d和共态λ_k-1的表达式为式(24)和(33)；接下来证明该情形在k＝l时也成立；

首先需要证明矩阵Δ_l的可逆性；由式(1)、(22)和(23)，得到

将上式从k＝l+1到N进行累加，得到

利用上式以及式(21)，并令式(40)中的k＝l，则J(l)表示成

将式(33)代入上式，并令x_l＝0，则J(l)被写成

由于最优控制器解u_l-d的唯一性，则式(25)中矩阵Δ_l是严格正定的，也即Δ_l＞0成立；

下面求解最优控制器；将式(33)代入式(23)得到

则最优控制器的解为

其中矩阵Δ_l和Γ_l分别满足式(25)和(26)；因此，最优控制器(24)在k＝l时也成立；

最后证明状态和共态之间的关系式满足式(33)，如下：

显然该式成立；这就完成了必要性的证明；

下面给出充分性的证明，即当式(25)中的矩阵Δ_k＞0，k＝d+θ,...,N时，证明问题1有唯一解；定义

则由式(1)、(25)-(31)，能够计算得到V_N(k+1,x_k+1)如下

令V_N(k,x_k)和V_N(k+1,x_k+1)作差，得到

对式(41)两端从k＝d+θ到N进行累加，得到

利用上式将目标函数写为

在上式中，x₀,u_i,i＝-d,...,θ-1已经初始化，对于0≤k≤d+θ-1，x_k能够由初始值进行求解，且矩阵Δ_k是严格正定的；因此，令目标函数取到最小值，最优控制器的唯一性即得证，且满足式(24)。

3.根据权利要求1所述的具有丢包和多时滞的网络控制系统的最优控制研究方法，其特征在于：在步骤3中，具体设计如下：

无限时间的情况

问题描述

为了分析系统的镇定性，求解系统(1)和(2)在无限时间时的镇定问题；当N→+∞时考虑如下的性能指标：

首先给出下面几个重要的定义：

定义1对于给定的初始值x₀,u_-d,...,u_θ-1，且控制器u_k-d＝0,k≥d+θ，如果有

则称方程(1)为渐进均方稳定的；

定义2方程(1)在均方意义下是可镇定的，当存在一个

可量测的控制器

其中L和L_i(i＝1,...,d+θ)是常值矩阵，且满足

使得(1)的闭环系统是渐进均方稳定的；

定义3对于下面的随机系统

为了方便起见，将上述系统简记为

基于假设1，有Q＝C'C成立；如果有下式成立

则称系统

是完全可观测的；

问题2找到一个

可测的控制器u_k-d使得系统(1)是渐进均方稳定的，同时使得目标函数(44)最小；

假设2

是完全可观测的；

问题2的解

为了表述清晰，将矩阵Δ_k,Γ_k,

Ψ_k,Φ_k,Ξ_k,Π_k写为Δ_k(N),Γ_k(N),

Ψ_k(N),Φ_k(N),Ξ_k(N),Π_k(N)；由于终端值M_N+1＝0，故上述矩阵都为时不变矩阵；

下面给出几个重要引理：

引理1基于假设1，得到Π_k(N)≥Ξ_k(N)≥0,

Ψ_k(N)＜0，Φ_k(N)＜0和

证在定理1中已经证得了Δ_k(N)＞0，k≥d+θ，由式(28)-(31)能够直接观察得出矩阵

Ψ_k(N),Φ_k(N)都是负定的；接下来证明Π_k(N)≥Ξ_k(N)≥0和

成立；定义

其中m≥d+θ；由式(3)和(32)能够类比得到式(45)的最优解为

对式(46)分析如下：

其中有

同理得

则由式(46)-(49)；得到

由于状态x_d+θ是随机变量，因此，得到

Ξ_d+θ(m)≥0；

也即

由定理2看出

则必有

利用Ξ_d+θ(m),

和

的时不变特性，令m＝N+d+θ-k，则有Ξ_k(N)＝Ξ_d+θ(N+d+θ-k)≥0,

和

因此不等式Π_k(N)≥Ξ_k(N)≥0，

和

也成立；

引理2基于假设1和2，存在一个常数N₀>0，使得当N＞N₀时，有Ξ_d+θ(N)＞0；

证对于式(46)，选定状态向量x_d+θ(≠0)，则有

假设Ξ_d+θ(N)＝0成立，那么式(46)能够写为

其中

和

分别代表最优状态策略和最优控制器；由假设1可知，Q＝C'C≥0且R＞0，再由式(51)能够观察得出

则系统方程(1)能够写成

基于定义3和假设2，得到x_d+θ＝0，矛盾；因此假设不成立，则有N₀>0，使得当N＞N₀时，有Ξ_d+θ(N)＞0成立；

引理3系统方程(1)是可镇定的，当且仅当不等式

成立；

证首先给出充分性的证明；显然，如果

成立，则必有

基于定义2可知系统方程(1)是可镇定的；

下面证明必要性，即若系统方程(1)是镇定的，则不等式

成立；

由定义2可知，存在

使得系统方程(1)是渐进均方稳定的；定义如下矩阵

利用上述矩阵可将系统方程(1)转变为一个新的状态方程为

且控制器u_k能够写为

将式(53)代入式(52)得到

回顾定义2知，控制器

使系统方程(1)渐进均方稳定，也即存在

同时，我们能够得到

则由式(54)能够直接得到

且有

因此得

利用式(55)，能够得到

也即

定理3系统方程在均方意义下是镇定的，当且仅当推论中耦合的黎卡提方程有唯一解，且有Π≥Ξ＞0,M¹≥0,Ψ,Φ≤0和M^j≤0,j＝2,...,d+1：

Ψ＝-(A′)^dΓ′Δ^-1ΓA^d+qA′ΨA (58)；

Φ＝(1-q)A′ΨA+A′ΦA (59)；

其中Δ和Γ为

使系统镇定的控制器为

式(44)对应的最优目标函数为

其中

下面给出定理3的证明：

必要性：即若系统方程(1)是均方能够镇定的，则式(34)-(39)中耦合的黎卡提方程有唯一解，且Π≥Ξ＞0,Ψ,Φ≤0；

首先给出矩阵Ξ_d+θ(N),Π_d+θ(N),Ψ_d+θ(N)和Φ_d+θ(N)关于N的单调性证明；回顾式(32)和(42)，最优目标函数能够写为

其中，

且u_j＝0,j＝-d,...,-1,

下面对式(65)进行讨论：

1)如果有x₀＝Ex₀成立，则由定理1可以得到

那么式(65)能够写为

由于J^*(N)≤J^*(N+1)能够得到

也即Π₀(N)≤Π₀(N+1)成立；

2)如果有Ex₀＝0成立，能够得到

类比上述分析得

3)对于给定的x_d+θ，由式(46)，令m＝N，可有H^*(N)≤H^*(N+1)，则得

也即Ξ_d+θ(N)≤Ξ_d+θ(N+1)成立；

综上所述，看出Π₀(N),

和Ξ_d+θ(N)关于N是单调递增的；

下面证明上述矩阵是有界的；由定义2知，存在控制器

使得系统方程(1)镇定；选定一常数λ使得Q≤λI,

成立；则有

其中c和c₁是常数；因此，得到

再由式(50)，知

上式表明矩阵Ξ_d+θ(N)是有界的；

类比式(65)进行如下讨论：

1)若x₀＝Ex₀，则有

故有

上式表明矩阵

是有界的；

2)若Ex₀＝0，则有

故有

得出

也是有界的；

综上知矩阵Ξ_d+θ(N),Π₀(N),

Ψ₀(N)和Φ₀(N)都是收敛的；且上述矩阵都是时不变矩阵，即有

Ξ_d+θ(N)＝Ξ₀(N-d-θ),Π_d+θ(N)＝Π₀(N-d-θ)；

Φ_d+θ(N)＝Φ₀(N-d-θ)；

因此，存在矩阵Ξ,Π,M¹,Ψ和Φ，满足

同时，在式(25)，(26)，(28)和(29)两端取极限得到收敛值为

因此，当时间变量N→+∞，式(56)-(61)是成立的；且利用引理1和2直接得到，Π≥Ξ＞0,M¹≥0,Ψ＜0,Φ＜0和M^j≤0,j＝2,...,d+1；

最后证明式(56)-(59)的解是唯一的；现假设存在另外一组解H,F,P和K也满足式(56)-(59)；当有x₀＝Ex₀时，对式(66)两端取极限，得到

J^*(N)＝E(x′₀Πx₀)＝E(x′₀Fx₀)；

则有Π＝F；而且若有Ex₀＝0，得

J^*(N)＝E{x′₀[Π₀(N)-qΨ₀(N)-qΦ₀(N)]x₀}

＝E{x′₀[F₀(N)-qP₀(N)-qK₀(N)]x₀}；

由式(30)和(31)，看出Φ_k(N)依赖于Ψ_k(N)，也即若Ψ₀(N)≠P₀(N)，则有Φ₀(N)≠K₀(N)，这与上述方程式矛盾；故在该方程两侧取极限得到Ψ＝P，Φ＝K；同时，对于给定的x_d+θ，在式(51)两端取极限，直接得到E(x′_d+θΞx_d+θ)＝E(x′_d+θHx_d+θ)，则有Ξ＝H；综上知式(56)-(61)的解是唯一的；

充分性：若式(56)-(61)中耦合的黎卡提方程有唯一解，则控制器(62)能够使得系统方程(1)镇定；

首先，令

同时经计算也能够得到

则对k≥d+θ，有

从式(69)看出，控制器

满足式(62)，且函数V(k,x_k)关于N是单调递减的；同时经计算得到

上式表明函数V(k,x_k)是有界的，由单调有界原理知函数V(k,x_k)是收敛的；

因此，通过式(69)得到

再由式(50)得

在式(71)两端取极限并利用式(70)，得

利用引理2知Ξ_d+θ(N)＞0，则有

也即式(62)中的控制器能够使得系统方程(1)镇定；

接下来证明控制器(62)能够使目标函数(44)最小为(63)；对式(68)两端从k＝0到N进行累加，得到

其中V(0,x₀)和V(N+1,x_N+1)已在式(67)中给出定义；利用射影定理有

我们已经得到控制器(62)能够使得系统(1)镇定，因此有

则

在式(72)两端对N取极限，目标函数(44)能够写为

通过以上的分析，控制器(62)能够使得目标函数(44)最小，且最优目标函数为式(63)。

Images