CN113485110A - 一种输出受限非线性系统分布式自适应最优协同控制方法 - Google Patents

Abstract

本发明公开的一种输出受限非线性系统分布式自适应最优协同控制方法，属于协同控制技术领域。本发明基于所建立的多智能体严格反馈非线性系统，结合Backstepping控制方法和自适应动态规划技术，构建“前馈+反馈”复合控制架构，定义一致性误差动态面；设计神经网络权值自适应更新律，实现对非线性系统未知函数项的在线估计；提出统一界限李雅普诺夫函数，有效处理系统输出约束，避免基于界限李雅普诺夫函数的控制方法仅适用于输出受限条件的问题；设计分布式前馈自适应虚拟控制输入以及分布式自适应最优反馈实际控制律，保证多智能体系统的协同一致性，提升输出受限条件下闭环系统稳定性和鲁棒性，保证分布式最优协同控制律的最优性，节约控制成本。

Description

一种输出受限非线性系统分布式自适应最优协同控制方法

技术领域

本发明属于协同控制技术领域，尤其涉及一种输出受限非线性系统分布式自适应最优协同控制方法。

背景技术

近年来，无人机集群、无人车集群、导弹集群等多智能体系统已在军民领域得到广泛关注与快速发展。分布式最优控制技术，凭借其对闭环系统协调一致性与性能最优性方面的有效保障，已得到广大学者专家的青睐与关注，并取得了一定的理论研究成果。然而，现有分布式最优控制方法大多在理想线性化假设条件下通过求解代数黎卡提方程组推导分布式最优协同控制律。考虑实际系统的复杂非线性特性以及多智能体协同导致的强耦合特性，基于线性化假设的分布式最优协同控制律已难以满足非线性多智能体系统强鲁棒、高可靠、自适应控制需求。因此，有必要直接针对非线性多智能体系统设计分布式最优协同控制律，提升闭环系统的鲁棒性和稳定性。但非线性系统的分布式最优协同控制律设计通常涉及Hamilton-Jacobi-Bellman(HJB)方程组的求解问题，而该HJB方程组本质上属于非线性耦合偏微分方程组，通常难以找到其解析解，这给非线性分布式最优协同控制律的设计与应用带来较大技术挑战。

自适应动态规划技术凭借其对非线性函数的近似高效逼近最优代价函数，能够实现耦合HJB方程组的在线近似求解，是解决复杂非线性最优控制问题的有效工具。近年来，自适应动态规划技术已被应用于非线性多智能体系统的分布式最优协同控制律的设计中，并取得了一定的理论研究成果。但现有成果大多局限于仿射非线性系统的分布式最优控制律设计且尚未考虑系统输出约束导致的闭环系统稳定性问题，限制了分布式协同控制律的适用范围，降低了闭环系统的稳定性和鲁棒性。尽管部分研究学者已针对多智能体严格反馈非线性系统开展了基于自适应动态规划技术的分布式最优协同控制方法研究，并取得了一定的研究成果。但现有成果大多仅考虑闭环系统的稳定控制问题，尚无法有效处理系统输出约束导致的闭环系统稳定性和最优性难以同时保证的技术难题。因此，有必要设计输出受限的分布式最优协同控制律，从而达到预防输出约束违背，提升闭环系统鲁棒性，实现协同控制器优化的目的。

发明内容

本发明公开的一种输出受限非线性系统分布式自适应最优协同控制方法主要目的是：基于所建立的多智能体严格反馈非线性系统，结合Backstepping控制方法和自适应动态规划技术，构建“前馈+反馈”复合控制架构，定义一致性误差动态面；在此基础上，设计神经网络权值自适应更新律，实现对非线性系统未知函数项的在线估计；提出统一界限李雅普诺夫函数，有效处理系统输出约束；设计分布式前馈自适应虚拟控制输入以及分布式自适应最优反馈实际控制律，保证多智能体系统的协同一致性，提升输出受限条件下闭环系统稳定性和鲁棒性，保证分布式最优协同控制律的最优性，节约控制成本。

本发明的目的是通过如下技术方案实现。

本发明公开的一种输出受限非线性系统分布式自适应最优协同控制方法，通过建立多智能体不确定严格反馈非线性系统模型，结合Backstepping控制方法和自适应动态规划，构建“前馈+反馈”复合控制架构；在此架构下，定义一致性误差动态面，基于李雅普诺夫稳定性理论，设计神经网络权值自适应更新律，实现对非线性系统未知函数项的在线估计；提出统一界限李雅普诺夫函数，有效处理系统输出约束；设计分布式前馈自适应虚拟控制输入，将协同跟踪控制系统转化为等效误差子系统的分布式协同最优反馈控制问题，通过将所定义得协同最优代价函数分解为线性项和非线性项，构建评价网络，设计评价网络权值自适应更新律，在线逼近协同代价函数非线性项，从而设计包含线性反馈项的分布式协同自适应最优反馈实际控制律，保证多智能体系统的协同一致性，提升输出受限条件下闭环系统稳定性和鲁棒性，保证分布式最优协同控制律的最优性，节约控制成本。

本发明公开一种输出受限非线性系统分布式自适应最优协同控制方法，包括以下步骤：

步骤1、建立多智能体不确定严格反馈非线性系统模型。

建立多智能体不确定严格反馈非线性系统模型如公式(1)所示：

其中，N表示智能体总数量，n_i表示每个智能体状态变量数，

表示第i个智能体的第q个状态变量，

表示维度为l_q的向量空间，

表示x_i,q对时间的一阶导数，i＝1,2,...,N，q＝1,2,...,n_i，

上标T表示转置；

为系统输入向量；

表示系统输出向量，y_i,k为第i个智能体的第k个变量，k＝1,2,...,l₁；本发明中系统输出向量满足不等式

表示系统输出变量的边界值；

表示第i个智能体的内部动力学非线性光滑函数；

未知但满足局部李普希兹连续条件且f_i,q(0)＝0；

表示第i个智能体的输入矩阵；函数

可逆且满足不等式

其中，

和

均为正常数，||·||表示对变量求2-范数。

步骤2、基于步骤1所建立的多智能体不确定严格反馈非线性系统模型，结合Backstepping控制方法和自适应动态规划，构建“前馈+反馈”复合控制架构；在此架构下，定义一致性误差动态面。

结合Backstepping控制方法和自适应动态规划，构建的“前馈+反馈”复合控制架构如式(2)所示：

其中，

表示第i个智能体的前馈控制输入，

表示第i个智能体的最优反馈控制输入。

在上述所建立的“前馈+反馈”复合控制架构下，定义一致性误差动态面如式(3)所示：

其中，z_i,q表示一致性误差变量，a_ij表示多智能体之间构成的通信拓扑结构中邻接矩阵元素，b_i表示第i个跟随智能体与领导者智能体的连接状态；如果第i个跟随智能体能够获取领导者智能体的信息，则b_i＝1，否则，b_i＝0；r表示领导者智能体输出参考信号；λ_i,q表示将分布式虚拟控制变量

作为输入的一阶滤波器的输出信号，即：

其中，τ_i,q表示大于零的时间常数，

为λ_i,q对时间求一阶导数；

表示分布式虚拟控制变量，表达形式为

为最优反馈虚拟控制输入信号，

为前馈虚拟控制输入信号。

步骤3、基于Backstepping控制方法和自适应动态规划，通过设计统一的界限李雅普诺夫函数，有效处理系统输出约束；通过构建神经网络，设计神经网络权值自适应更新律，实现对多智能体系统未知函数项的在线估计；基于所设计的神经网络权值自适应更新律以及界限李雅普诺夫函数，在保证闭环系统稳定性的前提下，设计分布式前馈虚拟控制输入。

基于Backstepping控制方法和自适应动态规划，设计统一的界限李雅普诺夫函数如式(5)所示：

其中，V_UBLF表示统一的界限李雅普诺夫函数，

表示状态变量x_i,1的边界值，

满足

通过构建如式(6)所示神经网络，实现对多智能体系统未知函数项F_i,q(X_i,q)在线估计

其中，

表示第i个智能体中神经网络理想权值，

表示第i个智能体中神经网络激励函数，δ_i,q为神经网络逼近误差且满足||δ_i,q||≤δ_i,qM，δ_i,qM＞0为正常数，L表示神经网络中神经元个数，X_i,q表示神经网络的输入变量。

在保证闭环系统稳定性的前提下，设计分布式前馈虚拟控制

前馈实际输入u_i以及相应的神经网络权值自适应更新律如下：

其中，

G_i,1(x_i,1)＝(b_i+d_i)g_i,1(x_i,1)，d_i表示通信拓扑中入度矩阵元素l_i,q＞0,ρ_i,q＞0,q＝1...,n_i表示设计参数，

为神经网络理想权值θ_i,q的估计值，

表示

对时间求一阶导数，Γ_i,q＞0,q＝1,…,n_i表示需要设计的对称矩阵；

表示第i个智能体的邻域；上标-1表示求逆运算。

步骤4、基于步骤3所设计的分布式前馈虚拟控制

前馈实际输入u_i以及相应的神经网络权值自适应更新律，将原来协同跟踪控制系统转化为子系统的协同最优反馈控制问题，通过将所定义的协同代价函数分解为线性和非线性项，利用贝尔曼最优原理，推导得到分布式最优反馈控制律。

基于步骤3所设计的分布式前馈虚拟控制

前馈实际输入u_i以及相应的神经网络权值自适应更新律，将原来协同跟踪控制系统转化为如式(12)所示的子系统的协同最优反馈控制问题：

其中，

为z_i,1对时间求一阶导数，

G_i,1(x_i,1)＝(b_i+d_i)g_i,1(x_i,1)，a_ij,d_i,b_i均为智能体间通信拓扑参数。

定义协同代价函数如式(13)所示：

其中，

表示z_i,1-子系统的最优代价函数，α_i,1表示子系统的容许控制，γ_i,1为预设参数。

为z_i,1-子系统的容许控制集，上标T表示转置。

通过将所定义的协同代价函数分解为线性和非线性项，如下所示：

其中，k_i,1表示设计参数，

为最优代价函数

的非线性项。

利用贝尔曼最优原理，推导得到z_i,1-子系统的分布式最优反馈虚拟控制律如式(15)所示

其中，

表示

对z_i,1求偏导数，即，

满足如下HJB方程

步骤5、基于步骤4得到的z_i,1-子系统的分布式最优反馈虚拟控制输入，通过构建评价网络，设计评价网络权值自适应更新律，在线逼近最优协同代价函数非线性项，从而得到能够在线执行的分布式自适应最优反馈实际控制律，保证协同控制系统的最优性和鲁棒性，节约控制成本。

构建如式(17)所示评价网络，逼近最优协同代价函数非线性项

其中，

为

的估计值，

为评价网络近似权值向量，σ_i,1(z_i,1)是评价网络激活函数向量。将式(17)代入式(15)，得到z_i,1-子系统的分布式最优反馈虚拟控制输入如下：

式中，

表示

的估计值，

表示σ_i,1(z_i,1)对z_i,1求偏导数，即，

设计评价网络权值自适应更新律如下：

其中，

表示

对时间求一阶导数，

η_i,1＞0为评价网络学习率，

F_1i,1和F_2i,1表示设计参数，

e_i,1表示哈密顿函数残余误差，即，

||·||表示对变量求2-范数。

通过设计如式(19)所示评价网络权值自适应更新律

能够保证z_i,1-子系统中评价网络近似权值向量

趋近于其理想权值向量W_i,1，即，

从而使得哈密顿函数

保证z_i,1-子系统的闭环稳定性。

进一步，考虑z_i,k，k＝2,...,n_i-子系统，基于上述类似步骤设计分布式虚拟最优反馈控制输入

以及分布式实际最优反馈控制输入

如下：

其中，

和

分别表示

和

的估计值，k_i,k为需要设计的大于零的常数，

表示σ_i,k(z_i,k)对z_i,q求偏导数，即，

表示评价网络近似权值向量，k＝{q,n_i}。

同理，z_i,k-子系统中评价网络权值自适应更新律设计如下：

式中，

表示

对时间求一阶导数，η_i,k＞0表示各子系统评价网络学习率，

F_1i,k和F_2i,k表示设计参数，

e_i,k表示哈密顿函数残余误差，即，

γ_i,k表示各子系统中代价函数预设参数，||·||表示对变量求2-范数。

通过上述评价网络权值自适应更新律(22)的设计，能够在线执行分布式自适应最优反馈实际控制律(21)，保证子系统的闭环稳定性，提升协同控制系统的最优性和鲁棒性，节约控制成本。

作为优选，所述步骤5中设计分布式虚拟最优反馈控制输入

的具体过程如下：

考虑z_i,q，q＝2,...,n_i-1-子系统，定义协同代价函数如式(13)所示

式中，

表示z_i,q-子系统的最优代价函数，α_i,q表示子系统的容许控制，γ_i,q为预设参数。ψ(Ω_zi,q)为z_i,q-子系统的容许控制集，上标T表示转置。

通过将所定义的协同代价函数分解为线性和非线性项，如公式(24)所示：

其中，k_i,q表示大于零的设计参数，

为最优代价函数

的非线性项。

定义z_i,q，q＝2,...,n_i-1-子系统的哈密顿函数为：

其中，

表示

对z_i,q求偏导数，即，

根据贝尔曼最优性原理，推导得到如下分布式虚拟最优反馈控制输入

其中，

满足下列HJB方程组

作为优选，所述步骤5中设计分布式实际最优反馈控制输入

的具体过程如下：

考虑

-子系统，定义协同代价函数如式(28)所示

式中，

表示z_i,q-子系统的最优代价函数，u_oi表示子系统的容许控制，

为预设参数。

为

-子系统的容许控制集，上标T表示转置。

通过将所定义的协同代价函数分解为线性和非线性项，如公式(29)所示：

其中，

表示大于零的设计参数，

为最优代价函数

的非线性项。

定义

-子系统的哈密顿函数为：

其中，

表示

对

求偏导数，即，

根据贝尔曼最优性原理，推导得到如下分布式实际最优反馈控制输入

其中，

满足下列HJB方程组

有益效果：

1、本发明公开一种输出受限非线性系统分布式自适应最优协同控制方法，将自适应动态规划融入Backstepping方法虚拟控/实际控制输入的设计中，提出“前馈+反馈”的分布式复合自适应最优协同控制方法，保证闭环系统的稳定性，同时实现对虚拟控制输入的优化设计，在保证协同跟踪精度的前提下节约控制成本。

2、本发明公开一种输出受限非线性系统分布式自适应最优协同控制方法，通过将最优代价函数分解为线性和非线性项，利用自适应动态规划技术，通过构建评价网络，设计评价网络权值自适应更新律，通过设计线性反馈增强的分布式最优反馈控制输入，解决非线性耦合HJB方程的在线迭代求解问题，提升闭环系统的协同跟踪控制能力。

3、本发明公开一种输出受限非线性系统分布式自适应最优协同控制方法，通过设计统一的界限李雅普诺夫函数，提出不依赖于系统输出受限存在性条件的协同控制器，避免传统基于界限李雅普诺夫函数的控制方法仅适用于输出受限条件始终存在的问题，提升闭环系统的稳定性和鲁棒性。

附图说明

图1为本发明方法的分布式自适应最优协同控制流程图。

图2为本发明实施例提供的多智能体通信拓扑图。

图3为本发明实施例提供的协同跟踪输出曲线图。

图4为本发明实施例提供的协同跟踪误差曲线图。

图5为本发明实施例提供的多智能体状态变化曲线图。

图6为本发明实施例提供的协同跟踪实际控制输入曲线图。

图7为本发明实施例提供的协同跟踪虚拟控制输入曲线图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

为了使本发明的目的、技术方案和优点更加清楚明白，下面结合附图对本发明的设计过程作详细说明。其中，自始至终相同或类似的符号表示相同或类似功能。

如图1所示，本实施例公开一种输出受限非线性系统分布式自适应最优协同控制方法，具体实现步骤如下：

步骤1，建立多智能体不确定严格反馈非线性系统模型。

建立多智能体不确定严格反馈非线性系统模型如公式(33)所示：

其中，N表示智能体总数量，n_i表示每个智能体状态变量数，

表示第i个智能体的第q个状态变量，

表示维度为l_q的向量空间，

表示x_i,q对时间的一阶导数，i＝1,2,...,N，q＝1,2,...,n_i，

上标T表示转置；

为系统输入向量；

表示系统输出向量，y_i,k为第i个智能体的第k个变量，k＝1,2,...,l₁；本发明中系统输出向量满足不等式

表示系统输出变量的边界值；

表示第i个智能体的内部动力学非线性光滑函数；本发明中，

未知但满足局部李普希兹连续条件且f_i,q(0)＝0；

表示第i个智能体的输入矩阵；本发明中函数

可逆且满足不等式

其中，

和

均为正常数，||·||表示对变量求2-范数。

步骤2，基于步骤1所建立的多智能体不确定严格反馈非线性系统模型，结合Backstepping控制方法和自适应动态规划技术，构建“前馈+反馈”复合控制架构；在此架构下，定义一致性误差动态面。

结合Backstepping控制方法和自适应动态规划技术，如图1所示，本发明构建的“前馈+反馈”复合控制架构如式(34)所示：

其中，

表示第i个智能体的前馈控制输入，

表示第i个智能体的最优反馈控制输入。

在上述所建立的“前馈+反馈”复合控制架构下，考虑如图2所示多智能体通信拓扑结构，定义一致性误差动态面如式(35)所示：

其中，z_i,q表示一致性误差变量，a_ij表示多智能体之间构成的通信拓扑结构中邻接矩阵元素，b_i表示第i个跟随智能体与领导者智能体的连接状态；如果第i个跟随智能体能够获取领导者智能体的信息，则b_i＝1，否则，b_i＝0；r表示领导者智能体输出参考信号；λ_i,q表示将分布式虚拟控制变量

作为输入的一阶滤波器的输出信号，即：

其中，τ_i,q表示大于零的时间常数，

为λ_i,q对时间求一阶导数；

表示分布式虚拟控制变量，表达形式为

为最优反馈虚拟控制输入信号，

为前馈虚拟控制输入信号。

步骤3，基于Backstepping控制方法和自适应动态规划技术，通过设计新型统一的界限李雅普诺夫函数，有效处理系统输出约束；通过构建神经网络，设计神经网络权值自适应更新律，实现对多智能体系统未知函数项的在线估计；基于所设计的神经网络权值自适应更新律以及界限李雅普诺夫函数，在保证闭环系统稳定性的前提下，设计分布式前馈虚拟控制输入。

设计新型统一的界限李雅普诺夫函数如式(37)所示

其中，V_UBLF表示统一的界限李雅普诺夫函数，

表示状态变量x_i,1的边界值，

满足

此外，V_UBLF满足下列关系：①对于任意不等于零的x_i,1，V_UBLF均大于零，即，当

时，V_UBLF＞0；②当且仅当x_i,1＝0时，V_BLF＝0成立；③当

时，V_UBLF→∞成立。因此，本发明所设计的新型统一的界限李雅普诺夫函数是有效的。

给定传统界限李雅普诺夫函数如下式所示：

其中，V_CBLF表示统一的界限李雅普诺夫函数

相比传统界限李雅普诺夫函数，本发明设计的新型统一的界限李雅普诺夫函数具备如下特征：

(1)当系统输出x_i,1接近其界限值

时，V_UBLF和V_CBLF表现出类似的特性，即，当

时，V_UBLF→∞；

(2)当系统输出约束逐渐消失，即输出约束界值趋近于无穷大时，即，

传统界限李雅普诺夫函数趋近于零，即，V_CBLF→0；而本发明所设计的统一的界限李雅普诺夫函数V_CBLF趋近于

即，

因此，对比式(37)和式(38)，得出本发明所设计的新型统一的界限李雅普诺夫函数不依赖于系统输出受限存在性条件，避免基于传统界限李雅普诺夫函数的控制方法仅适用于输出受限条件始终存在的问题，提升闭环系统的稳定性和鲁棒性。

通过构建如式(39)所示神经网络，实现对多智能体系统未知函数项F_i,q(X_i,q)在线估计

其中，

表示第i个智能体中神经网络理想权值，

表示第i个智能体中神经网络激励函数，δ_i,q为神经网络逼近误差且满足||δ_i,q||≤δ_i,qM，δ_i,qM＞0为正常数，L表示神经网络中神经元个数，X_i,q表示神经网络的输入变量。

考虑所构建的神经网络理想权值θ_i,q未知，本发明采用神经网络的输入

表示理想权值θ_i,q的估计值。因此，多智能体系统未知函数项F_i,q(X_i,q)在线估计表达式可表示为：

其中，

表示θ_i,q的估计值。

为保证所设计的分布式前馈控制输入能够保证闭环系统的稳定性，本发明设计如下李雅普诺夫函数：

其中，V_i ^F表示第i个智能体的李雅普诺夫函数，tr(·)表示对矩阵求迹，Γ_i,q＞0,q＝1,...,n_i表示需要设计的对称矩阵，

表示神经网络权值估计误差，即，

基于李雅普诺夫稳定性理论，设计分布式前馈虚拟控制

前馈实际输入u_i以及相应的神经网络权值自适应更新律如下：

其中，

G_i,1(x_i,1)＝(b_i+d_i)g_i,1(x_i,1)，d_i表示通信拓扑中入度矩阵元素l_i,q＞0,ρ_i,q＞0,q＝1...,n_i表示设计参数，

为神经网络理想权值θ_i,q的估计值，

表示

对时间求一阶导数，Γ_i,q＞0,q＝1,...,n_i表示需要设计的对称矩阵；

表示第i个智能体的邻域；上标-1表示求逆运算。

步骤4，基于步骤3所设计的分布式前馈虚拟控制

前馈实际输入u_i以及相应的神经网络权值自适应更新律，将原来协同跟踪控制系统转化为子系统的协同最优反馈控制问题，通过将所定义的协同代价函数分解为线性和非线性项，利用贝尔曼最优原理，推导得到分布式最优反馈控制律。

基于步骤3所设计的分布式前馈虚拟控制

前馈实际输入u_i以及相应的神经网络权值自适应更新律，将原来协同跟踪控制系统转化为如式(47)所示的子系统的协同最优反馈控制问题：

其中，

为z_i,1对时间求一阶导数，

G_i,1(x_i,1)＝(b_i+d_i)g_i,1(x_i,1)，a_ij,d_i,b_i均为智能体间通信拓扑参数。

定义协同代价函数如式(48)所示：

其中，

表示z_i,1-子系统的最优代价函数，α_i,1表示子系统的容许控制，γ_i,1为预设参数。

为z_i,1-子系统的容许控制集，上标T表示转置。

通过将所定义的协同代价函数分解为线性和非线性项，如下所示：

其中，k_i,1表示设计参数，

为最优代价函数

的非线性项。

定义z_i,1-子系统的哈密顿函数如下：

其中，

表示

对z_i,1求偏导数，即，

利用贝尔曼最优原理，推导得到z_i,1-子系统的分布式最优反馈虚拟控制输入如式(51)所示

其中，

表示

对z_i,1求偏导数，即，

满足如下HJB方程

通过求解耦合HJB方程(52)，能够得到z_i,1-子系统的分布式最优反馈虚拟控制输入。但考虑到式(52)属于耦合非线性偏微分方程，难以获得其解析解形式。因此，如图2所示，本发明将采用自适应动态规划，通过构建评价网络，设计评价网络权值自适应更新律，实现对最优代价函数

的非线性项

的迭代求解，从而保证z_i,1-子系统的分布式最优反馈虚拟控制输入在线执行。

步骤5，基于步骤4得到的z_i,1-子系统的分布式最优反馈虚拟控制输入，通过构建评价网络，设计评价网络权值自适应更新律，在线逼近最优协同代价函数非线性项，从而得到能够在线执行的分布式自适应最优反馈实际控制律，保证协同控制系统的最优性和鲁棒性，节约控制成本。

通过构建评价网络，最优协同代价函数非线性项

表示为：

式中，

表示评价网络理想权值向量，σ_i,1(z_i,1)是评价网络激活函数向量，ε_i,1为逼近误差，L_i,1为评价网络神经元个数。

将式(53)代入式(51)，得到z_i,1-子系统的分布式最优反馈虚拟控制输入为：

式中，

表示σ_i,1(z_i,1)对z_i,1求偏导数，即，

表示ε_i,1对z_i,1求偏导数，即，

考虑评价网络理想权值W_i,1未知，本实施例采用评价网络输出估计最优协同代价函数非线性项

即，

其中，

为

的估计值，

为评价网络近似权值向量。

将式(55)代入式(51)，得到z_i,1-子系统的分布式最优反馈虚拟控制输入如下：

式中，

表示

的估计值。

相应地，将式(56)代入耦合HJB(52)，得到逼近的耦合HJB方程如下：

式中，e_i,1表示z_i,1-子系统的哈密顿函数残余误差，

||·||表示对变量求2-范数。

为保证评价网络估计权值向量

趋近于理想权值向量W_i,1，本实施例通过设计评价网络权值自适应更新律，最小化目标函数

基于梯度下降法，考虑闭环系统稳定性，本实施例设计评价网络权值自适应更新律如下：

其中，

表示

对时间求一阶导数，

η_i,1＞0为评价网络学习率，

F_1i,1和F_2i,1表示设计参数。

通过设计如式(58)所示评价网络权值自适应更新律

能够保证z_i,1-子系统中评价网络近似权值向量

趋近于其理想权值向量W_i,1，即，

从而使得哈密顿函数

保证z_i,1-子系统的闭环稳定性。

进一步，考虑z_i,k，k＝2,...,n_i-子系统，类似于步骤4和步骤5设计方法，可设计分布式虚拟最优反馈控制输入

以及分布式实际最优反馈控制律

如下：

其中，

和

分别表示

和

的估计值，k_i,k为需要设计的大于零的常数，

表示σ_i,k(z_i,k)对z_i,q求偏导数，即，

表示评价网络近似权值向量，k＝{q,n_i}。

同理，z_i,k-子系统中评价网络权值自适应更新律设计如下：

式中，

表示

对时间求一阶导数，η_i,k＞0表示各子系统评价网络学习率，

F_1i,k和F_2i,k表示设计参数，

e_i,k表示哈密顿函数残余误差，即，

γ_i,k表示各子系统中代价函数预设参数，||·||表示对变量求2-范数。

通过上述步骤，本实施例将自适应动态规划融入Backstepping控制方法设计的每一步中，设计的复合分布式自适应最优协同控制律能够保证多智能体系统在输出不违背约束条件的前提下稳定跟踪参考轨迹，如图3所示，且协同跟踪误差最终一致有界，如图4-5所示，保证了闭环系统的稳定性，同时实现了对虚拟控制输入的优化设计，如图7所示，在保证协同跟踪精度的前提下节约控制成本，如图6所示，从而达到提升闭环系统的稳定性和鲁棒性，节约控制成本的目的。

以上所述，仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进应视为本发明的保护范围。

Claims (8)

1.一种输出受限非线性系统分布式自适应最优协同控制方法，其特征在于：包括以下步骤，

步骤1、建立多智能体不确定严格反馈非线性系统模型；

步骤2、基于步骤1所建立的多智能体不确定严格反馈非线性系统模型，结合Backstepping控制方法和自适应动态规划，构建“前馈+反馈”复合控制架构；在此架构下，定义一致性误差动态面；

步骤3、基于Backstepping控制方法和自适应动态规划，通过设计统一的界限李雅普诺夫函数，有效处理系统输出约束；通过构建神经网络，设计神经网络权值自适应更新律，实现对多智能体系统未知函数项的在线估计；基于所设计的神经网络权值自适应更新律以及界限李雅普诺夫函数，在保证闭环系统稳定性的前提下，设计分布式前馈虚拟控制输入；

步骤4、基于步骤3所设计的分布式前馈虚拟控制

前馈实际输入u_i以及相应的神经网络权值自适应更新律，将原来协同跟踪控制系统转化为子系统的协同最优反馈控制问题，通过将所定义的协同代价函数分解为线性和非线性项，利用贝尔曼最优原理，推导得到分布式最优反馈控制律；

步骤5、基于步骤4得到的z_i,1-子系统的分布式最优反馈虚拟控制输入，通过构建评价网络，设计评价网络权值自适应更新律，在线逼近最优协同代价函数非线性项，从而得到能够在线执行的分布式自适应最优反馈实际控制律，保证协同控制系统的最优性和鲁棒性，节约控制成本。

2.如权利要求1所述的一种输出受限非线性系统分布式自适应最优协同控制方法，其特征在于：步骤1实现方法为，

建立多智能体不确定严格反馈非线性系统模型如公式(1)所示：

其中，N表示智能体总数量，n_i表示每个智能体状态变量数，

表示第i个智能体的第q个状态变量，

表示维度为l_q的向量空间，

表示x_i,q对时间的一阶导数，i＝1,2,...,N，q＝1,2,…,n_i，

上标T表示转置；

为系统输入向量；

表示系统输出向量，y_i,k为第i个智能体的第k个变量，k＝1,2,...,l₁；本发明中系统输出向量满足不等式

表示系统输出变量的边界值；

表示第i个智能体的内部动力学非线性光滑函数；

未知但满足局部李普希兹连续条件且f_i,q(0)＝0；

表示第i个智能体的输入矩阵；函数

可逆且满足不等式

其中，

和

均为正常数，||·||表示对变量求2-范数。

3.如权利要求2所述的一种输出受限非线性系统分布式自适应最优协同控制方法，其特征在于：步骤2实现方法为，

结合Backstepping控制方法和自适应动态规划，构建的“前馈+反馈”复合控制架构如式(2)所示：

其中，

表示第i个智能体的前馈控制输入，

表示第i个智能体的最优反馈控制输入；

在上述所建立的“前馈+反馈”复合控制架构下，定义一致性误差动态面如式(3)所示：

其中，z_i,q表示一致性误差变量，a_ij表示多智能体之间构成的通信拓扑结构中邻接矩阵元素，b_i表示第i个跟随智能体与领导者智能体的连接状态；如果第i个跟随智能体能够获取领导者智能体的信息，则b_i＝1，否则，b_i＝0；r表示领导者智能体输出参考信号；λ_i,q表示将分布式虚拟控制变量

作为输入的一阶滤波器的输出信号，即：

其中，τ_i,q表示大于零的时间常数，

为λ_i,q对时间求一阶导数；

表示分布式虚拟控制变量，表达形式为

为最优反馈虚拟控制输入信号，

为前馈虚拟控制输入信号。

4.如权利要求3所述的一种输出受限非线性系统分布式自适应最优协同控制方法，其特征在于：步骤3实现方法为，

基于Backstepping控制方法和自适应动态规划，设计统一的界限李雅普诺夫函数如式(5)所示：

其中，V_UBLF表示统一的界限李雅普诺夫函数，

表示状态变量x_i,1的边界值，

满足

通过构建如式(6)所示神经网络，实现对多智能体系统未知函数项F_i,q(X_i,q)在线估计

其中，

表示第i个智能体中神经网络理想权值，

表示第i个智能体中神经网络激励函数，δ_i,q为神经网络逼近误差且满足||δ_i,q||≤δ_i,qM，δ_i,qM＞0为正常数，L表示神经网络中神经元个数，X_i,q表示神经网络的输入变量；

在保证闭环系统稳定性的前提下，设计分布式前馈虚拟控制

前馈实际输入u_i以及相应的神经网络权值自适应更新律如下：

其中，

G_i,1(x_i,1)＝(b_i+d_i)g_i,1(x_i,1)，d_i表示通信拓扑中入度矩阵元素l_i,q＞0,ρ_i,q＞0,q＝1...,n_i表示设计参数，

为神经网络理想权值θ_i,q的估计值，

表示

对时间求一阶导数，Γ_i,q＞0,q＝1,…,n_i表示需要设计的对称矩阵；

表示第i个智能体的邻域；上标-1表示求逆运算。

5.如权利要求4所述的一种输出受限非线性系统分布式自适应最优协同控制方法，其特征在于：步骤4实现方法为，

基于步骤3所设计的分布式前馈虚拟控制

前馈实际输入u_i以及相应的神经网络权值自适应更新律，将原来协同跟踪控制系统转化为如式(12)所示的子系统的协同最优反馈控制问题：

其中，

为z_i,1对时间求一阶导数，

G_i,1(x_i,1)＝(b_i+d_i)g_i,1(x_i,1)，a_ij,d_i,b_i均为智能体间通信拓扑参数；

定义协同代价函数如式(13)所示：

其中，

表示z_i,1-子系统的最优代价函数，α_i,1表示子系统的容许控制，γ_i,1为预设参数；

为z_i,1-子系统的容许控制集，上标T表示转置；

通过将所定义的协同代价函数分解为线性和非线性项，如下所示：

其中，k_i,1表示设计参数，

为最优代价函数

的非线性项；

利用贝尔曼最优原理，推导得到z_i,1-子系统的分布式最优反馈虚拟控制律如式(15)所示

其中，

表示

对z_i,1求偏导数，即，

满足如下HJB方程

6.如权利要求5所述的一种输出受限非线性系统分布式自适应最优协同控制方法，其特征在于：步骤5实现方法为，

构建如式(17)所示评价网络，逼近最优协同代价函数非线性项

其中，

为

的估计值，

为评价网络近似权值向量，σ_i,1(z_i,1)是评价网络激活函数向量；将式(17)代入式(15)，得到z_i,1-子系统的分布式最优反馈虚拟控制输入如下：

式中，

表示

的估计值，

表示σ_i,1(z_i,1)对z_i,1求偏导数，即，

设计评价网络权值自适应更新律如下：

其中，

表示

对时间求一阶导数，

η_i,1＞0为评价网络学习率，

F_1i,1和F_2i,1表示设计参数，

e_i,1表示哈密顿函数残余误差，即，

||·||表示对变量求2-范数；

通过设计如式(19)所示评价网络权值自适应更新律

能够保证z_i,1-子系统中评价网络近似权值向量

趋近于其理想权值向量W_i,1，即，

从而使得哈密顿函数

保证z_i,1-子系统的闭环稳定性；

进一步，考虑z_i,k，k＝2,...,n_i-子系统，基于上述类似步骤设计分布式虚拟最优反馈控制输入

以及分布式实际最优反馈控制输入

如下：

其中，

和

分别表示

和

的估计值，k_i,k为需要设计的大于零的常数，

表示σ_i,k(z_i,k)对z_i,q求偏导数，即，

表示评价网络近似权值向量，k＝{q,n_i}；

同理，z_i,k-子系统中评价网络权值自适应更新律设计如下：

式中，

表示

对时间求一阶导数，η_i,k＞0表示各子系统评价网络学习率，

F_1i,k和F_2i,k表示设计参数，

e_i,k表示哈密顿函数残余误差，即，

γ_i,k表示各子系统中代价函数预设参数，||·||表示对变量求2-范数；

通过上述评价网络权值自适应更新律(22)的设计，能够在线执行分布式自适应最优反馈实际控制律(21)，保证子系统的闭环稳定性，提升协同控制系统的最优性和鲁棒性，节约控制成本。

7.如权利要求6所述的一种输出受限非线性系统分布式自适应最优协同控制方法，其特征在于：所述步骤5中设计分布式虚拟最优反馈控制输入

的具体过程如下，

考虑z_i,q，q＝2,...,n_i-1-子系统，定义协同代价函数如式(13)所示

式中，

表示z_i,q-子系统的最优代价函数，α_i,q表示子系统的容许控制，γ_i,q为预设参数；

为z_i,q-子系统的容许控制集，上标T表示转置；

通过将所定义的协同代价函数分解为线性和非线性项，如公式(24)所示：

其中，k_i,q表示大于零的设计参数，

为最优代价函数

的非线性项；

定义z_i,q，q＝2,...,n_i-1-子系统的哈密顿函数为：

其中，

表示

对z_i,q求偏导数，即，

根据贝尔曼最优性原理，推导得到如下分布式虚拟最优反馈控制输入

其中，

满足下列HJB方程组

8.如权利要求6所述的一种输出受限非线性系统分布式自适应最优协同控制方法，其特征在于：所述步骤5中设计分布式实际最优反馈控制输入

的具体过程如下，

考虑

定义协同代价函数如式(28)所示

式中，

表示z_i,q-子系统的最优代价函数，u_oi表示子系统的容许控制，

为预设参数；

为

的容许控制集，上标T表示转置；

通过将所定义的协同代价函数分解为线性和非线性项，如公式(29)所示：

其中，

表示大于零的设计参数，

为最优代价函数

的非线性项；

定义

的哈密顿函数为：

其中，

表示

对

求偏导数，即，

根据贝尔曼最优性原理，推导得到如下分布式实际最优反馈控制输入

其中，

满足下列HJB方程组

Images