CN114114905A - 一种数据驱动的舰载火箭炮发射装置最优跟踪控制方法 - Google Patents

Abstract

本发明公开了一种数据驱动的舰载火箭炮发射装置最优跟踪控制方法，将基于神经网络的非线性内模和自适应动态规划相结合，得到了近似最优的前馈‑反馈复合控制器设计方法，分为两个步骤：①利用输出调节及神经网络理论，构造非线性神经网络内模，重构输出调节方程的稳态解，并获得前馈控制器；②利用内模重构的稳态解将最优输出调节问题转换为最优镇定问题，然后引入自适应动态规划算法，通过算法迭代获得近似的最优反馈控制器。本发明仅依赖于舰载火箭炮发射装置的输入‑状态数据便可得到近似最优控制器；引入非线性内模，不仅可以处理系统内部的参数不确定，同时还可抵御外部海浪等非线性的扰动对于发射装置的影响，实用性更强、应用范围更广。

Description

一种数据驱动的舰载火箭炮发射装置最优跟踪控制方法

技术领域

本发明涉及舰载武器控制技术领域，特别是一种数据驱动的舰载火箭炮发射装置最优跟踪控制方法。

背景技术

随着高新技术的迅猛发展和在军事上的广泛应用，对舰载火箭炮发射装置的控制性能提出更高要求。然而如图1，由于难以获得发射装置的精确系统模型以及海浪对发射装置的扰动，降低了系统的目标打击性能。另外，海洋作战，物质补给较为麻烦，因此，如何在不依赖系统模型的基础上，克服舰体摇摆干扰，并以最小代价实现火箭炮发射装置的跟踪控制成为了舰载火箭炮急需攻克的难题之一。

根据文献检索发现，现有基于内模的火箭炮发射装置的跟踪控制方法大多是基于模型的，而且均未实现最优跟踪。例如，文献1(曾令梦，高强，侯远龙，孙战，蒋梦琴.基于自构建神经网络的舰载火箭炮内模控制，《火炮发射与控制学报》，2017年)利用神经网络建立过程模型和内模，虽能实现跟踪，但无性能函数的约束，不能实现最优跟踪。同理，文献2(庄文许，马大为，张龙，胡健，郑颖.舰载火箭炮自适应内模输出调节问题研究，《兵工学报》，2013年)也是一种渐近跟踪，而不能实现最优跟踪；此外该文献所设计的控制方法依赖系统模型，所设计的内模仅能处理线性扰动，具有一定的局限性。

发明内容

本发明解决的技术问题是：克服模型未知且外部海浪等非线性扰动对于舰载火箭炮发射装置的不利影响，提供一种数据驱动的舰载火箭炮发射装置最优跟踪控制方法，将内模原理和自适应动态规划相结合，利用内模原理，重构外系统状态，并获得前馈控制项；利用自适应动态规划算法设计最优的反馈控制器，实现最小代价下的目标跟踪。

为了达到上述目的，本发明的技术方案如下：一种数据驱动的舰载火箭炮发射装置最优跟踪控制方法，将基于神经网络的非线性内模和自适应动态规划相结合，得到近似最优的前馈-反馈复合控制器构建方法，具体包括以下步骤：

步骤1、建立舰载火箭炮发射装置的数学模型，用于后续系统数据收集；

步骤2、根据输出调节理论，利用调节方程的解，将最优输出调节问题转换为最优镇定问题；

步骤3、根据输出调节理论及神经网络逼近理论，设计非线性神经网络内模，获得输出调节方程的解，并设计前馈控制器；

步骤4、根据步骤1建立的模型，利用加有探索噪声的容许控制器激励系统，收集被控系统的输入数据和状态数据；

步骤5、引入自适应动态规划算法，通过算法迭代获得更优的价值函数权重系数和策略函数权重系数；

步骤6、算法迭代，重复步骤5，直至满足算法结束条件，得到近似最优权重系数；

步骤7、利用步骤6得到的近似最优权重系数，获得近似最优反馈控制策略，并与步骤3中得到的前馈控制器进行整合，得到近似最优的前馈-反馈复合控制器。

本发明与现有技术相比，其显著优点为：

(1)提出一种基于数据的最优输出调节控制方法，所提出的方法不依赖于被控系统精确数学模型，仅利用系统数据便可实现最优跟踪控制；

(2)考虑了基于数据驱动的火箭炮发射装置的最优跟踪问题，首次将自适应动态规划和神经网络内模相结合，不仅避免了求解输出调节方程，而且可以处理一类非线性外部扰动，提高了控制器的鲁棒性，具有更广阔的应用前景。

附图说明

为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或先有技术描述中所需要使用的附图作简单地介绍。

图1是本发明舰载火箭炮发射装置的示意图。

图2是本发明舰载火箭炮发射装置的控制算法流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

本发明公开了一种数据驱动的舰载火箭炮发射装置最优跟踪控制方法，将基于神经网络的非线性内模和自适应动态规划相结合，得到了近似最优的前馈-反馈复合控制器设计方法，分为两个步骤：①利用输出调节及神经网络理论，构造非线性神经网络内模，重构输出调节方程的稳态解，并获得前馈控制器；②利用内模重构的稳态解将最优输出调节问题转换为最优镇定问题，然后引入自适应动态规划算法，通过算法迭代获得近似的最优反馈控制器。

本发明舰载火箭炮的最优跟踪控制算法流程图如图2所示，具体步骤如下：

步骤1、建立舰载火箭炮发射装置的数学模型，用于后续系统数据收集；

步骤2、根据输出调节理论，利用调节方程的解，将最优输出调节问题转换为最优镇定问题；

步骤3、根据输出调节理论及神经网络逼近理论，设计非线性神经网络内模，获得输出调节方程的解，并设计前馈控制器；

步骤4、根据步骤1建立的模型，利用加有探索噪声的容许控制器激励系统，收集被控系统的输入数据和状态数据；

步骤5、引入自适应动态规划算法，通过算法迭代获得更优的价值函数权重系数和策略函数权重系数；

步骤6、算法迭代，重复步骤5，直至满足算法结束条件，得到近似最优权重系数；

步骤7、利用步骤6得到的近似最优权重系数，获得近似最优反馈控制策略，并与步骤3中得到的前馈控制器进行整合，得到近似最优的前馈-反馈复合控制器。

进一步地，步骤4具体为：中建立舰载火箭炮发射装置的数学模型，用于后续系统数据收集，具体如下：

其中，θ_f为发射箱中心线与舰体甲板基准平面的夹角；ω_f为发射箱中心线与舰体甲板基准平面夹角的角速度，

为ω_f的导数；σ_f为中间变量，

为σ_f的导数；

为系统扰动输入，θ_c代表舰体甲板基准平面与水平面的夹角，

代表舰体甲板基准平面与水平面的角加速度，α为控制器输入，r为被跟踪信号，y为系统输出，e为跟踪误差，J为系统负载转动惯量与电机折算至负载端等效转动惯量之和，L为电机绕组等效电感，I为传动链减速比，R为电机绕组等效电阻，K_t为电机电流转矩系数，K_e为电机反电动势系数，F_b为电机粘滞摩擦系数。

舰体的上下摇摆运动θ_c由如下外系统产生：

其中，θ为外系统的状态量，

为θ的导数；S(θ)为非线性函数，Γ为输出系数矩阵；θ(0)、θ₀为外系统的状态量θ的初始值。

假设被跟踪信号r为常量，令r＝0°，即被打击目标与舰艇处于同一水平面上，控制目标可表述为：在标准假设条件下，设计控制器，在控制器作用下调整舰载火箭炮发射装置的发射角，以最小代价将发射箱中心线与水平面夹角调整为y＝θ_f+θ_c＝0°，即表示成功打击到目标。

进一步地，步骤4具体为：中根据输出调节理论，利用调节方程的解，将最优输出调节问题转换为最优镇定问题，具体如下：

根据输出调节理论，输出调节问题能被解决当且仅当如下输出调节方程有解：

其中，θ_f、ω_f、σ_f为系统稳定状态量，

为θ_f的导数，α为系统稳态控制输入，

表示ω_f对变量θ的求偏导，

表示σ_f对变量θ的求偏导。

定义状态变换x₁＝θ_f-θ_f,x₂＝ω_f-ω_f，x₃＝σ_f-σ_f和输入变换u＝α-α，则可将最优输出调节问题转换为最优镇定问题：

其中，x₁、x₂、x₃为实际状态量θ_f、ω_f、σ_f与稳态状态量θ_f、ω_f、σ_f之间的误差；u为实际控制输入α与稳态控制输入α之间的误差。

将系统(4)写成紧凑形式，有

其中，各变量的含义如下：

为了表达的简便，后文描述中，我们用f、g代表f(x,θ)、g(x,θ)。经过上述转换，最优输出调节问题被转换为最优镇定问题，该问题的具体描述如下：

针对由公式(1)表示的系统和由公式(2)表示的外系统，设计如下形式的复合控制器

α^*＝u^*+α(θ) (6)

其中，α^*为近似最优的复合控制器，它由最优反馈控制器u^*和前馈控制器α(θ)构成。

考虑如下性能指标函数J(x₀,u)，其表达式如下：

其中，x₀为状态x的初始值，r(x,u)＝Q(x)+u^TRu，Q(x)为正定函数，R为正定对称矩阵，u^T代表控制输入u的转置。上述控制器使得系统满足以下条件：①闭环系统所有状态有界；②跟踪误差一致最终有界；③代价函数(7)取最小值。

进一步地，步骤4具体为：中根据输出调节理论及神经网络逼近理论，设计非线性神经网络内模，获得输出调节方程的解，并设计前馈控制器，具体如下：

设计非线性神经网络内模之前，给出必要的假设条件1，其表述如下：

假设1：形如公式(2)的外系统能浸入到如下系统：

其中，

为稳态发生器的状态量，

为其导数，G,J,F,H为常系数矩阵，且(H,F)为可观矩阵对；χ(·)为非线性函数，满足如下关系式：

(s₁-s₂)^T(χ(s₁)-χ(s₂))≥0 (9)

其中，s₁、s₂为函数χ(·)的自变量，χ(s₁)、χ(s₂)为函数χ(·)的因变量。

设计如下非线性内模

其中，η为内模状态，

为内模状态量的导数，K为增益矩阵，

为待设计函数。

为将问题转换为关于原点的镇定问题，定义如下坐标变换

其中，

为内模状态与稳定状态之间的误差。

为保证上述误差系统渐近问题，取

其中，

为函数f₃(x,θ)的估计值，由神经网络逼近得到，F₀＝F-KH为系数矩阵。

将(12)式代入(10)式，得非线性内模方程为

根据式(8)和式(11)，可得前馈控制项为：

进一步地，步骤4具体为：利用步骤1建立的模型，利用加有探索噪声的容许控制器激励系统，收集被控系统的输入数据和状态数据，具体如下：

为摆脱对于精确数学模型的依赖，设计基于数据的控制方法，为获得系统输入-状态数据，可在容许控制中加入探索噪声，即

u＝u₁+ζ (15)

其中，u₁为初始的容许控制器，在该控制器作用下，系统能保持稳定，即系统的所有状态量都是有界的；ζ为探索噪声，一般由多个正弦或者余弦信号叠加而成，该探索噪声能充分激发系统特性，保证系统能找到更好的控制器。

进一步地，步骤5具体为：引入自适应动态规划算法，通过算法迭代获得更优的价值函数权重系数和策略函数权重系数，具体如下：

定义系统(5)的价值函数V(x,θ)，形式如下：

后文中，为简便起见，用V代表V(x,θ)，V^*为V的最优值，u^*为u的最优值。根据最优控制理论，最优控制器的求解可转化为哈密尔顿-雅克比-贝尔曼方程的求解问题，方程的具体表达式如下：

其中，

代表V对变量x求偏导，

代表V对变量θ求偏导。

又因为最优控制量u^*和最优值函数V^*满足如下条件：

其中，

代表V^*对变量x求偏导，

代表V对变量θ求偏导。

且最优控制量u^*同时满足如下方程

通过求解(19)式，可得

将(20)代入(18)，可得

由于难以直接通过求解(21)式，获得最优的价值函数V^*以及最优控制策略u^*。因此，研究人员提出了策略迭代算法求解最优控制策略。策略迭代算法包括如下两步：

(1)策略评估

(2)策略改进

其中，V_i和u_i分别为第i次的价值函数和控制策略函数，

和

分别代表

和

的转置。通过反复迭代(22)式和(23)式，当i取无限大时，便可得到最优的控制器u^*。

上述策略迭代算法虽然可避免哈密尔顿-雅克比-贝尔曼方程，但该求解过程仍然依赖系统信息f和g。为克服难以得到系统精确系统模型的问题，因此引入自适应动态规划算法解决这一问题，将(5)式重写为：

其中，

当i≥1，对第i次的价值函数进行求导，并将(22)式和(23)式代入，有

上式可进一步表示为：

其中，V_i(x(t_k+1),θ(t_k+1))、V_i(x(t_k),θ(t_k))为第i次迭代t_k+1和t_k时刻的价值函数V_i的值。

根据神经网络逼近原理，价值函数V_i(x,θ)和控制策略u_i+1可以由如下神经网络近似得到

其中，

分别为价值函数V_i(x,θ)和策略函数u_i+1的神经网络的基函数，N₁和N₂代表神经网络个数，

为第i次迭代时的价值函数V_i(x,θ)的估计值，

为第i+1次迭代时的策略函数u_i+1的估计值，

分别为

和

的权重系数。

将(27)式代入(26)式，可得如下迭代公式

其中，

为

的转置，E_i,k为逼近误差，最优的权重系数

由最小二乘法梯度下降得到。

进一步地，步骤6具体为：算法迭代，重复步骤5，直至相邻两次的价值函数权重系数的二范数之差小于给定误差精度或者达到算法预设的最大迭代次数，则算法结束，得到近似最优权重系数；

进一步地，步骤7具体为：利用步骤6得到的近似最优权重系数，获得近似最优反馈控制策略，并与步骤3中得到的前馈控制器进行整合，得到近似最优的前馈-反馈复合控制器。

本发明整合了输出调节理论和自适应动态规划理论，首先，利用输出调节理论，得到前馈控制器，并将最优输出调节问题转换为最优镇定问题；然后，利用自适应动态规划算法得到了近似最优反馈控制器。本发明首次将自适应动态规划和基于神经网络的非线性内模型相结合，得到了一种近似最优的前馈-反馈复合控制器，实现了在不依赖精确数学模型的基础上，完成了被打击目标的近似最优跟踪和外部海浪的扰动抑制，可以应用于其他舰载武器，包括舰载垂直起降飞行器的起降控制、舰载雷达的姿态控制等，为舰载武器的最优伺服控制提供了解决方案。

本发明未详细说明部分属本领域技术人员公知常识。

Claims (7)

1.一种数据驱动的舰载火箭炮发射装置最优跟踪控制方法，其特征在于，将基于神经网络的非线性内模和自适应动态规划相结合，得到近似最优的前馈-反馈复合控制器构建方法，具体包括以下步骤：

步骤1、建立舰载火箭炮发射装置的数学模型，用于后续系统数据收集；

步骤2、根据输出调节理论，利用调节方程的解，将最优输出调节问题转换为最优镇定问题；

步骤3、根据输出调节理论及神经网络逼近理论，设计非线性神经网络内模，获得输出调节方程的解，并设计前馈控制器；

步骤4、根据步骤1建立的模型，利用加有探索噪声的容许控制器激励系统，收集被控系统的输入数据和状态数据；

步骤5、引入自适应动态规划算法，通过算法迭代获得更优的价值函数权重系数和策略函数权重系数；

步骤6、算法迭代，重复步骤5，直至满足算法结束条件，得到近似最优权重系数；

步骤7、利用步骤6得到的近似最优权重系数，获得近似最优反馈控制策略，并与步骤3中得到的前馈控制器进行整合，得到最终的近似最优的前馈-反馈复合控制器。

2.根据权利要求1所述的数据驱动的舰载火箭炮发射装置最优跟踪控制方法，其特征在于，步骤1所述的建立舰载火箭炮发射装置的数学模型，用于后续系统数据收集，具体如下：

其中，θ_f为发射箱中心线与舰体甲板基准平面的夹角；ω_f为发射箱中心线与舰体甲板基准平面夹角的角速度，

为ω_f的导数；σ_f为中间变量，

为σ_f的导数；

为系统扰动输入，θ_c代表舰体甲板基准平面与水平面的夹角，

代表舰体甲板基准平面与水平面的角加速度，α为控制器输入，r为被跟踪信号，y为系统输出，e为跟踪误差，J为系统负载转动惯量与电机折算至负载端等效转动惯量之和，L为电机绕组等效电感，I为传动链减速比，R为电机绕组等效电阻，K_t为电机电流转矩系数，K_e为电机反电动势系数，F_b为电机粘滞摩擦系数；

舰体的上下摇摆运动θ_c由如下外系统产生：

其中，θ为外系统的状态量，

为θ的导数；S(θ)为非线性函数，Γ为输出系数矩阵；θ(0)、θ₀为外系统的状态量θ的初始值；

假设被跟踪信号r为常量，令r＝0°，即被打击目标与舰艇处于同一水平面上，控制目标表述为：在标准假设条件下设计控制器，在控制器作用下调整舰载火箭炮发射装置的发射角，以最小代价将发射箱中心线与水平面夹角调整为y＝θ_f+θ_c＝0°，即表示成功打击到目标。

3.根据权利要求2所述的数据驱动的舰载火箭炮发射装置最优跟踪控制方法，其特征在于，步骤2所述的根据输出调节理论，利用调节方程的解，将最优输出调节问题转换为最优镇定问题，具体如下：

根据输出调节理论，输出调节问题能被解决当且仅当如下输出调节方程有解：

其中，θ_f、ω_f、σ_f为系统稳定状态量，

为θ_f的导数，α为系统稳态控制输入，

表示ω_f对变量θ的求偏导，

表示σ_f对变量θ的求偏导；

定义状态变换x₁＝θ_f-θ_f,x₂＝ω_f-ω_f，x₃＝σ_f-σ_f和输入变换u＝α-α，则将最优输出调节问题转换为最优镇定问题：

其中，x₁、x₂、x₃为实际状态量θ_f、ω_f、σ_f与稳态状态量θ_f、ω_f、σ_f之间的误差；u为实际控制输入α与稳态控制输入α之间的误差；

将系统式(4)写成紧凑形式，有

其中，各变量的含义如下：

后文描述中用f、g代表f(x,θ)、g(x,θ)；

经过上述转换，最优输出调节问题被转换为最优镇定问题，该问题的具体描述如下：

针对由公式(1)表示的系统和由公式(2)表示的外系统，设计如下形式的复合控制器：

α^*＝u^*+α(θ) (6)

其中，α^*为近似最优的复合控制器，它由最优反馈控制器u^*和前馈控制器α(θ)构成；

考虑如下性能指标函数J(x₀,u)，表达式如下：

其中，x₀为状态x的初始值，r(x,u)＝Q(x)+u^TRu，Q(x)为正定函数，R为正定对称矩阵，u^T代表控制输入u的转置；

上述控制器使得系统满足以下条件：①闭环系统所有状态有界；②跟踪误差一致最终有界；③代价函数(7)取最小值。

4.根据权利要求3所述的数据驱动的舰载火箭炮发射装置最优跟踪控制方法，其特征在于，步骤3所述的根据输出调节理论及神经网络逼近理论，设计非线性神经网络内模，获得输出调节方程的解，并设计前馈控制器，具体如下：

设计非线性神经网络内模之前，给出必要的假设条件1，表述如下：

假设1：形如公式(2)的外系统能浸入到如下系统：

其中，

为稳态发生器的状态量，

为其导数，G,J,F,H为常系数矩阵，且(H,F)为可观矩阵对；χ(·)为非线性函数，满足如下关系式：

(s₁-s₂)^T(χ(s₁)-χ(s₂))≥0 (9)

其中，s₁、s₂为函数χ(·)的自变量，χ(s₁)、χ(s₂)为函数χ(·)的因变量；

设计如下非线性内模

其中，η为内模状态，

为内模状态量的导数，K为增益矩阵，

为待设计函数；

为将问题转换为关于原点的镇定问题，定义如下坐标变换

其中，

为内模状态与稳定状态之间的误差；

为保证上述误差系统渐近问题，取

其中，

为函数f₃(x,θ)的估计值，由神经网络逼近得到，F₀＝F-KH为系数矩阵；

将(12)式代入(10)式，得非线性内模方程为

根据式(8)和式(11)，得前馈控制项为：

5.根据权利要求4所述的数据驱动的舰载火箭炮发射装置最优跟踪控制方法，其特征在于，步骤4所述的根据步骤1建立的模型，利用加有探索噪声的容许控制器激励系统，收集被控系统的输入数据和状态数据，具体如下：

为摆脱对于精确数学模型的依赖，设计基于数据驱动的控制方法，为获得系统输入-状态数据，在容许控制中加入探索噪声，即

u＝u₁+ζ (15)

其中，u₁为初始的容许控制器，在该控制器作用下，系统能保持稳定，即系统的所有状态量都是有界的；ζ为探索噪声，由多个正弦或者余弦信号叠加而成。

6.根据权利要求5所述的数据驱动的舰载火箭炮发射装置最优跟踪控制方法，其特征在于，步骤5所述的引入自适应动态规划算法，通过算法迭代获得更优的价值函数权重系数和策略函数权重系数，具体如下：

定义系统式(5)的价值函数V(x,θ)，形式如下：

后文中用V代表V(x,θ)，V^*为V的最优值，u^*为u的最优值；

根据最优控制理论，最优控制器的求解转化为哈密尔顿-雅克比-贝尔曼方程的求解问题，方程的具体表达式如下：

其中，

代表V对变量x求偏导，

代表V对变量θ求偏导；

又因为最优控制量u^*和最优值函数V^*满足如下条件：

其中，

代表V^*对变量x求偏导，

代表V对变量θ求偏导；

且最优控制量u^*同时满足如下方程

通过求解式(19)，得

将式(20)代入式(18)，得

由于难以直接通过求解(21)式，获得最优的价值函数V^*以及最优控制策略u^*，因此研究人员提出了策略迭代算法求解最优控制策略，策略迭代算法包括如下两步：

(1)策略评估

(2)策略改进

其中，V_i和u_i分别为第i次的价值函数和控制策略函数，

和

分别代表

和

的转置；通过反复迭代式(22)和式(23)，当i取无限大时，得到最优的控制器u^*；

上述策略迭代算法虽然可避免哈密尔顿-雅克比-贝尔曼方程，但该求解过程仍然依赖系统信息f和g；为克服难以得到系统精确系统模型的问题，因此引入自适应动态规划算法解决这一问题，将式(5)重写为：

其中，

当i≥1，对第i次的价值函数进行求导，并将式(22)和式(23)代入，有

上式进一步表示为：

其中，V_i(x(t_k+1),θ(t_k+1))、V_i(x(t_k),θ(t_k))为第i次迭代t_k+1和t_k时刻的价值函数V_i的值；

根据神经网络逼近原理，价值函数V_i(x,θ)和控制策略u_i+1由如下神经网络近似得到

其中，

分别为价值函数V_i(x,θ)和策略函数u_i+1的神经网络的基函数，N₁和N₂代表神经网络个数，

为第i次迭代时的价值函数V_i(x,θ)的估计值，

为第i+1次迭代时的策略函数u_i+1的估计值，

分别为

和

的权重系数；

将式(27)代入式(26)，得如下迭代公式

其中，

为

的转置，E_i,k为逼近误差，最优的权重系数

由最小二乘法梯度下降得到。

7.根据权利要求6所述的数据驱动的舰载火箭炮发射装置最优跟踪控制方法，其特征在于，步骤6中所述的算法结束条件为直至相邻两次的价值函数权重系数的二范数之差小于给定误差精度或者达到算法预设的最大迭代次数。

Images