CN117111629A - 基于自适应动态规划的多无人机固定时间最优控制方法 - Google Patents

Abstract

本申请提供基于自适应动态规划的多无人机固定时间最优控制方法，方法包括：步骤1，构建无人机系统模型；步骤2，基于多无人机动力数学模型，引入多无人机误差系统；步骤3，基于设定的无人机误差系统，设计事件触发固定时间最优控制方案；步骤4，基于设计的事件触发最优控制机制，引入自适应动态规划算法确定权重向量近似最优控制率。本申请解决了对于多无人机系统任意的初始条件下，最优控制的时间估计计算问题。

Description

基于自适应动态规划的多无人机固定时间最优控制方法

技术领域

本申请涉及无人机技术领域，特别涉及基于自适应动态规划的多无人机固定时间最优控制方法。

背景技术

无人机是一种由动力驱动、机上无人驾驶、可控制、可执行特定任务，并重复使用的航空飞行器。目前，无人机研究成为一个热门课题。面对无人机这样一个复杂系统，如何对其有效控制实现任务目标同时减少控制成本是至关重要且有挑战性的研究内容。最优控制为此提供了一个正解。所谓最优控制是指在一定约束条件下，寻求使性能指标达到极值的控制函数。目前，实现最优控制的有效方法之一是自适应动态规划算法。它的核心思想是利用评判-执行网络近似哈密顿-雅可比-贝尔曼方程的解，从而得到最优控制表达式。

早先的最优控制率设计方法使控制器基于无人机系统信息连续更新。这极大地增加了计算成本和负担，浪费了系统的通信资源。从实际应用角度，如何实现控制目标同时减少资源消耗是至关重要的。事件触发控制机制的提出可以有效的解决这一问题。在事件触发机制中，一个事件触发器被设计用来产生控制器更新时间序列，使信息在必要时更新。这一机制有效地利用了系统资源，降低通信计算负担，扩大通信带宽。

然而，已存在的研究成果中最优控制的实现时间无法估计，或估计时间与无人机系统初始状态有关。当多架无人机初始启动，每架无人机的各个参数都由不同的初始条件，且进行重复试验理论成果在无人机系统的应用时，考虑不同的环境、操作等因素，导致多次实验中无人机系统的初始状态是各不相同的。那么，对无人机系统初始状态的任意变化，这导致多无人机系统实现最优控制的时间也随之变化，进而增加了最优控制时间估计的计算量。

发明内容

本申请提供了基于自适应动态规划的多无人机固定时间最优控制方法，可用于解决现有技术中无人机的最优控制时间难以估计的技术问题。

本申请提供基于自适应动态规划的多无人机固定时间最优控制方法，方法包括：

步骤1，构建无人机系统模型；

步骤2，基于多无人机动力数学模型，引入多无人机误差系统；

步骤3，基于设定的无人机误差系统，设计事件触发固定时间最优控制方案；

步骤4，基于设计的事件触发最优控制机制，引入自适应动态规划算法确定权重向量近似最优控制率。

可选的，构建无人机系统模型，包括：

第i(i＝1,2,…,N)架无人机模型如下：

其中x_i(t)是下程位移，y_i(t)是跨距位移，z_i(t)是无人机的高度，V_i是地面速度，δ_i是飞行路线角度，α_i是航向角，T_i是发动机推力，D_i是阻力，m_i是质量，g是重力加速度，L_i是升力，φ_i是倾斜角，

利用反馈线性化方法，无人机模型改写如下：

式中p_i和v_i(i＝1,2,...,N)分别表示无人机系统的位置和速度状态向量，a_p和a_v分别是位置和速度状态的阻尼常数；令x_i(t)＝[p_i，v_i]^T，g(t)＝[0 1]^T，得第i架无人机动力方程的一般形式：

可选的，基于多无人机动力数学模型，引入多无人机误差系统，包括：

设第i架无人机与其他相邻无人机的误差函数为e_i(0)＝e_i0，其中a_ij是邻接矩阵的元素/>a_ij＞0表示无人机i可以从无人机j获取状态信息；否则a_ij＝0，/>代表与第i架无人机有通信连接的无人机集合；

相应地，Laplacian矩阵表示为其元素满足l_ij＝-a_ij,i≠j,误差系统为：

其中L_i表示Laplacian矩阵的第i行元素。

可选的，基于设定的无人机误差系统，设计事件触发固定时间最优控制方案，包括：

步骤31，构造与误差状态和控制率相关的性能指标函数；

基于所设误差函数e_i(t)，定义性能指标函数为评估无人机状态控制表现和控制所需能量：

式中满足U_i(0，0)＝0,/>和/>是对称正定矩阵，容许控制/>分段连续，满足u_i(0)＝0且在停息时间T内稳定多无人机误差系统；

步骤32，定义Hamiltonian函数，建立最优控制率一般形式；

定义Hamiltonian函数为：

式中最优值函数满足Hamiltonian方程

最优控制率为：

步骤33，在固定时间内实现最优控制的事件触发规则和事件触发最优控制率。

设为ith误差状态的触发时刻序列，/>为观测误差，/>对/>在事件触发机制下，事件触发最优控制率表示为：

其中触发时刻序列由如下触发规则确定：

若多无人机误差状态满足上述不等式，则储存当前时刻状态信息，并更新计算最优控制率；否则保持上一触发时刻状态信息和最优控制率。

可选的，基于设计的事件触发最优控制机制，引入自适应动态规划算法确定权重向量近似最优控制率，包括：

步骤41，构建评判神经网络近似值函数；

基于Weierstrass高阶近似定理，确定评判神经网络近似值函数及其梯度，分别为：

式中为包含原点的紧集,/>表示权重向量，/>代表激活函数，N_c为神经元个数，ε(e_i)为近似误差，满足||ε_i(e_i)||≤ε_im；

步骤42，估计值函数并提出相对应的最优控制率；

由于权重向量是不确定的，估计为/>值函数和事件触发最优控制率为：

基于值函数和事件触发最优控制率，Hamiltonian函数及估计为：

步骤43，定义权重误差向量，偏差函数和损失函数E_i；

分别定义权重向量误差偏差函数和函数E_i为：

其中e_cil＝e_ci(t_l)表示t_l时刻的残差函数，t_l为时间序列/>的元素满足0≤t_l，...，t_s<t，s>0。

步骤44，确定权重向量更新规则和停息时间方法；

权重向量学习率γ_i下/>的更新规则为：

基于固定时间稳定性理论，多无人机误差系统稳定的停息时间为：

其中表示矩阵Φ_i＝[δ_i(t₁)，δ_i(t₂)，...，δ_i(t_s)]的最小奇异值，θ_1i＞0,θ_2i＞0。利用权重向量更新规则，损失函数在所估计的停息时间内收敛至0，实现固定时间内近似值函数，得到近似事件触发最优控制率，实现多无人机系统最优控制目标。

本申请的优势在于：

1、本技术基于最优控制理论，基于多无人机误差系统构造刻画控制成本最低的性能指标函数，得到最优控制率。

2、针对多无人机系统模型，提出事件触发规则，给出事件触发最优控制率，实现控制成本最小同时系统通信和计算资源消耗最少。

3、提出一种自适应动态规划在线学习方法，建立评判神经网络近似值函数，利用梯度下降法计算权重向量的更新规则，进而得到值函数的表达式，并给出停息时间的计算表达式，解决了对于多无人机系统任意的初始条件下，最优控制的时间估计计算问题。

附图说明

图1为本申请实施例提供的多架无人机间的通信连接网络图；

图2为本申请实施例提供的多架无人机的位置误差图；

图3为本申请实施例提供的多架无人机的速度误差图；

图4为本申请实施例提供的事件触发最优控制律图；

图5为本申请实施例提供的权重向量轨线图；

图6为本申请实施例提供的事件触发时刻图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

下面首先结合图1对本申请实施例进行介绍。

步骤1，构建无人机系统模型。

第i(i＝1,2,...,N)架无人机模型如下：

其中x_i(t)是下程位移，y_i(t)是跨距位移，z_i(t)是无人机的高度，V_i是地面速度，δ_i是飞行路线角度，α_i是航向角，T_i是发动机推力，D_i是阻力，m_i是质量，g是重力加速度，L_i是升力，φ_i是倾斜角，

利用反馈线性化方法，无人机模型改写如下：

式中p_i和v_i(i＝1,2,...,N)分别表示无人机系统的位置和速度状态向量，a_p和a_v分别是位置和速度状态的阻尼常数；令x_i(t)＝[p_i，v_i]^T，g(t)＝[0 1]^T，得第i架无人机动力方程的一般形式：

步骤2，基于多无人机动力数学模型，引入多无人机误差系统。

设第i架无人机与其他相邻无人机的误差函数为e_i(0)＝e_i0，其中a_ij是邻接矩阵的元素/>a_ij＞0表示无人机i可以从无人机j获取状态信息；否则a_ij＝0，/>代表与第i架无人机有通信连接的无人机集合；

相应地，Laplacian矩阵表示为其元素满足l_ij＝-a_ij,i≠j,误差系统为：

其中L_i表示Laplacian矩阵的第i行元素。基于设定的无人机误差系统，利用无人机间的通信连接，多无人机实现最优控制问题转换为多无人机误差系统稳定问题，降低多无人机系统控制分析难度。

步骤3，基于设定的无人机误差系统，设计事件触发固定时间最优控制方案。

为了寻求无人机最优控制率，使无人机由任意的初始状态随时间转移到最优状态，并使与无人机误差状态和控制率相关的性能指标达到最小，从而使多无人机系统实现最优控制所需要的控制成本最小。本步骤首先构造了与误差状态和控制率相关的性能指标函数，随后定义Hamiltonian函数得到最优控制率一般形式，最后为了进一步减少系统资源和降低控制成本，提出固定时间内实现最优控制的事件触发规则和事件触发最优控制率。

步骤31，构造与误差状态和控制率相关的性能指标函数；

基于所设误差函数e_i(t)，定义性能指标函数评估无人机状态控制表现和控制所需能量为：

式中满足U_i(0，0)＝0,/>和/>是对称正定矩阵，容许控制/>分段连续，满足u_i(0)＝0且在停息时间T内稳定多无人机误差系统；

步骤32，定义Hamiltonian函数，建立最优控制率一般形式；

为了探寻多无人机误差系统实现稳定的最优控制律，定义Hamiltonian函数为：

式中最优值函数满足Hamiltonian方程

最优控制率为：

步骤33，在固定时间内实现最优控制的事件触发规则和事件触发最优控制率。

设为ith误差状态的触发时刻序列，/>为观测误差，/>对

在事件触发机制下，事件触发最优控制率表示为：

其中触发时刻序列由如下触发规则确定：

若多无人机误差状态满足上述不等式，则储存当前时刻状态信息，并更新计算最优控制率；否则保持上一触发时刻状态信息和最优控制率。

步骤4，基于设计的事件触发最优控制机制，引入自适应动态规划算法确定权重向量近似最优控制率。

由于无法准确求解值函数得到事件触发最优控制率，提出自适应动态规划在线算法近似最优控制律。具体步骤包括如下：

步骤41，构建评判神经网络近似值函数；

基于Weierstrass高阶近似定理，确定评判神经网络近似值函数及其梯度，分别为：

式中为包含原点的紧集,/>表示权重向量，/>代表激活函数，N_c为神经元个数，ε(e_i)为近似误差，满足||ε_i(e_i)||≤ε_im；

步骤42，估计值函数并提出相对应的最优控制率；

由于权重向量是不确定的，估计为/>值函数和事件触发最优控制率为：

基于值函数和事件触发最优控制率，Hamiltonian函数及估计为：

步骤43，定义权重误差向量，偏差函数和损失函数E_i；

分别定义权重向量误差偏差函数和函数E_i为：

其中e_cil＝e_ci(t_l)表示t_l时刻的残差函数，t_l为时间序列/>的元素满足0≤t_l，...，t_s<t，s＞0。

步骤44，确定权重向量更新规则和停息时间方法；

权重向量学习率γ_i下/>的更新规则为：

基于固定时间稳定性理论，多无人机误差系统稳定的停息时间为：

其中表示矩阵Φ_i＝[δ_i(t₁)，δ_i(t₂)，...，δ_i(t_s)]的最小奇异值，θ_1i＞0，θ_2i＞0。利用权重向量更新规则，损失函数在所估计的停息时间内收敛至0，实现固定时间内近似值函数，得到近似事件触发最优控制率，实现多无人机系统最优控制目标。

下面结合具体实施例阐述本申请。

选取参数a_p＝-15.2，a_v＝-13.1，s＝1， 选取激活函数为/>分别选取无人机和权重向量的初始条件为x₁(0)＝(-4.5，6)^T，x₂(0)＝(0.5，2.5)^T，x₃(0)＝(3.8，-3)^T，x₄(0)＝(-0.5，1.5)^T和W₁(0)＝(0.02，0.05，0.008)^T，W₂(0)＝(0.2，0.75，0.48)^T，W₃(0)＝(0.8，0.95，0.18)^T，W₄(0)＝(0.04，0.78，0.0036)^T。学习率被选为γ₁＝0.0195，γ₂＝0.05，γ₃＝0.795，γ₄＝0.595。为了得到事件触发最优控制率，选取触发机制参数为θ₁₁＝0.8，θ₁₂＝0.9，θ₁₃＝0.29，θ₁₄＝0.19；θ₂₁＝0.79，θ₂₂＝0.88，θ₂₃＝0.942，θ₂₄＝0.42；β₁＝2.49，β₂＝2.713，β₃＝2.965，β₄＝2.95；μ₁＝0.979，μ₂＝0.059，μ₃＝0.056，μ₄＝0.56；ζ₁＝0.975，ζ₂＝0.078，ζ₃＝0.052，ζ₄＝0.92；p＝0.57，q＝1.05。在上述参数下，可得停息时间为T₁＝4.88，T₂＝4.57，T₃＝7.77andT₄＝8.04。多架无人机间的通信连接网络，无人机的位置和速度状态轨迹分别如图1-3所示。最优控制率和权重向量轨迹如图4和5所示。在事件触发机制下所产生的触发时刻序列可见图6。

以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (5)

1.基于自适应动态规划的多无人机固定时间最优控制方法，其特征在于，所述方法包括：

步骤1，构建无人机系统模型；

步骤2，基于多无人机动力数学模型，引入多无人机误差系统；

步骤3，基于设定的无人机误差系统，设计事件触发固定时间最优控制方案；

步骤4，基于设计的事件触发最优控制机制，引入自适应动态规划算法确定权重向量近似最优控制率。

2.根据权利要求1所述的方法，其特征在于，构建无人机系统模型，包括：

第i(i＝1,2,...,N)架无人机模型如下：

其中x_i(t)是下程位移，y_i(t)是跨距位移，z_i(t)是无人机的高度，V_i是地面速度，δ_i是飞行路线角度，α_i是航向角，T_i是发动机推力，D_i是阻力，m_i是质量，g是重力加速度，L_i是升力，φ_i是倾斜角，

利用反馈线性化方法，无人机模型改写如下：

式中p_i和v_i(i＝1,2,...,N)分别表示无人机系统的位置和速度状态向量，a_p和a_v分别是位置和速度状态的阻尼常数；令x_i(t)＝[p_i，v_i]^T，g(t)＝[0 1]^T，得第i架无人机动力方程的一般形式：

3.根据权利要求1所述的方法，其特征在于，基于多无人机动力数学模型，引入多无人机误差系统，包括：

设第i架无人机与其他相邻无人机的误差函数为e_i(0)＝e_i0，其中a_ij是邻接矩阵的元素/>a_ij＞0表示无人机i可以从无人机j获取状态信息；否则a_ij＝0，/>代表与第i架无人机有通信连接的无人机集合；

相应地，Laplacian矩阵表示为其元素满足l_ij＝-a_ij,i≠j,误差系统为：

其中L_i表示Laplacian矩阵的第i行元素。

4.根据权利要求1所述的方法，其特征在于，基于设定的无人机误差系统，设计事件触发固定时间最优控制方案，包括：

步骤31，构造与误差状态和控制率相关的性能指标函数；

基于所设误差函数e_i(t)，定义性能指标函数评估无人机状态控制表现和控制所需能量为：

式中满足U_i(0，0)＝0,/>和/>是对称正定矩阵，容许控制/>分段连续，满足u_i(0)＝0且在停息时间T内稳定多无人机误差系统；

步骤32，定义Hamiltonian函数，建立最优控制率一般形式；

定义Hamiltonian函数为：

式中最优值函数满足Hamiltonian方程

最优控制率为：

步骤33，在固定时间内实现最优控制的事件触发规则和事件触发最优控制率。

设为ith误差状态的触发时刻序列，/>为观测误差，/>对在事件触发机制下，事件触发最优控制率表示为：

其中触发时刻序列由如下触发规则确定：

若多无人机误差状态满足上述不等式，则储存当前时刻状态信息，并更新计算最优控制率；否则保持上一触发时刻状态信息和最优控制率。

5.根据权利要求1所述的方法，其特征在于，基于设计的事件触发最优控制机制，引入自适应动态规划算法确定权重向量近似最优控制率，包括：

步骤41，构建评判神经网络近似值函数；

基于Weierstrass高阶近似定理，确定评判神经网络近似值函数及其梯度，分别为：

式中为包含原点的紧集,/>表示权重向量，/>代表激活函数，N_c为神经元个数，ε(e_i)为近似误差，满足||ε_i(e_i)||≤ε_im；

步骤42，估计值函数并提出相对应的最优控制率；

由于权重向量是不确定的，估计为/>值函数和事件触发最优控制率为：

基于值函数和事件触发最优控制率，Hamiltonian函数及估计为：

步骤43，定义权重误差向量，偏差函数和损失函数E_i；

分别定义权重向量误差偏差函数和函数E_i为：

其中e_cil＝e_ci(t_l)表示t_l时刻的残差函数，t_l为时间序列/>的元素满足0≤t_l，...，t_s＜t，s＞0。

步骤44，确定权重向量更新规则和停息时间方法；

权重向量学习率γ_i下/>的更新规则为：

基于固定时间稳定性理论，多无人机误差系统稳定的停息时间为：

其中表示矩阵Φ_i＝[δ_i(t₁)，δ_i(t₂)，...，δ_i(t_s)]的最小奇异值，θ_1i＞0,θ_2i＞0；

利用权重向量更新规则，损失函数在所估计的停息时间内收敛至0，实现固定时间内近似值函数，得到近似事件触发最优控制率，实现多无人机系统最优控制目标。