CN114527795B - 一种基于增量在线学习的飞行器智能控制方法 - Google Patents

Abstract

一种基于增量在线学习的飞行器智能控制方法，属于飞行器智能控制技术领域。方法如下：构建飞行器动力参数辨识神经网络，并获得可在线使用的飞行器动力参数辨识神经网络；设计参考模型、状态空间模型与模型参考自适应控制器；每间隔T时刻对参数辨识网络进行增量调整，获得飞行器参数辨识网络；获得飞行器实时动力参数，解算得到飞行器控制指令。本发明采用增量学习方法进行飞行器动力参数辨识神经网络的在线增量调整，实现了飞行器参数辨识网络能力在线提升；基于在线增量调整的飞行器参数辨识网络输出结果进行模型参考滑模自适应控制器设计，可有效提升飞行器对突发态势与强不确定性的适应能力，实现飞行器在线高精度控制。

Description

一种基于增量在线学习的飞行器智能控制方法

技术领域

本发明涉及一种基于增量在线学习的飞行器智能控制方法，属于飞行器智能控制技术领域。

背景技术

飞行器飞行过程中面临着飞行环境复杂、任务类型多变、态势突变等强不确定条件下的控制问题，传统控制方法的控制律形式的推导及控制参数的设计均依赖较完善、较确定的模型信息，且设计多需基于某一固定飞行剖面，在飞行器由于任务决策、轨迹在线规划导致飞行状态相较于标称条件偏离较大时，传统控制方法适应能力差，难以满足控制要求。

传统智能控制方法执行不同任务时需要对智能控制器进行针对性的训练，此外每次训练将遗忘已获得知识，仅可获得适应当前任务的智能控制器，无法满足飞行器在线飞行时任务变更的控制需求，无法应对飞行过程中的突发状况。

因此，亟待开发一种可实现飞行器控制能力在线提升的新型控制方法。

发明内容

为解决背景技术中存在的问题，本发明提供一种基于增量在线学习的飞行器智能控制方法。

实现上述目的，本发明采取下述技术方案：一种基于增量在线学习的飞行器智能控制方法，所述方法包括如下步骤：

S1：设计线下训练；

S2：调整线上增量。

与现有技术相比，本发明的有益效果是：

本发明采用基于弹性权重合并的增量学习方法进行飞行器动力参数辨识神经网络的在线增量调整，实现了飞行器参数辨识网络能力在线提升；基于在线增量调整的飞行器参数辨识网络输出结果进行模型参考滑模自适应控制器设计，可有效提升飞行器对突发态势与强不确定性的适应能力，实现飞行器在线高精度控制，克服了现有控制方法适应性不足，可实现飞行器在线飞行控制能力的提升，增强飞行器控制系统的适应性与智能化程度。

附图说明

图1是本发明的流程图；

图2是本发明的模型参考自适应控制器框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于增量在线学习的飞行器智能控制方法，所述方法包括如下步骤：

S1：设计线下训练；

S101：收集飞行器历史飞行数据集，构建飞行器动力参数辨识神经网络，并利用训练样本进行训练，获得可在线使用的飞行器动力参数辨识神经网络；

S10101：收集飞行器历史飞行数据集，分别构建飞行器俯仰通道、偏航通道以及滚转通道的动力参数辨识样本库；

S10102：建立全连接神经网络，采用梯度下降方法利用样本库进行飞行器俯仰通道、偏航通道以及滚转通道的动力参数辨识网络训练，即获得可在线使用的飞行器动力参数辨识神经网络。

以俯仰通道为例，网络输入为飞行器位置矢量、速度矢量、飞行高度、马赫数以及攻角，输出为俯仰通道动力系数。

S1010201：激活函数：为避免使用梯度下降算法对神经网络进行优化时出现梯度消失现象，本发明采用线性整流函数f(x)＝max(0,x)作为隐藏层的激活函数，以提高神经网络的优化效率；

S1010202：损失函数：选择均方误差(MSE)作为损失函数：

式(1)中：

表示模型预测值；

表示模型实际值；

N表示样本数；

S1010203：优化函数：选择学习率可自适应变化的Adam算法进行神经网络的训练优化。

S102：基于飞行器特性设计参考模型滑模控制器，设计参考模型、状态空间模型与模型参考自适应控制器。

S10201：设计参考模型：

对飞行器而言，其动态特性符合传统的二阶振荡系统特性，则可设计制导指令俯仰角

与输出俯仰角

之间的关系满足下式：

式(2)中：

为时间常数；

为阻尼比；

s为微分算子；

相应地，其时域模型为：

选取参考模型状态为

参考控制输入为u_my，则俯仰通道参考模型方程为：

式(4)中：

θ_m为弹道倾角；

ω_zm为俯仰角速率；

同理，可以求出偏航通道参考模型方程为：

式(5)中：

σ_m为弹道偏角；

ω_ym为偏航角速率；

ψ_m为偏航角；

ξ_ψ为偏航通道参考模型的期望阻尼系数；

T_ψ为偏航通道参考模型的期望时间常数；

参考控制输入为u_mz＝ψ_c，ψ_c为偏航通道制导指令；

同理，根据前述思路设计滚转通道的参考模型，则具有二阶振荡特性的滚转通道期望动力学响应模型如下：

式(6)中：

γ_m是滚转角参考模型的输出信号；

ξ_x为滚转通道的期望阻尼系数；

T_x为滚转通道的期望时间常数；

γ_c为滚转角制导指令；

s为微分算子；

选取状态变量为X_xm＝[γ_m ω_xm]^T，控制输入为u_mx＝γ_c，则滚转通道有

式(7)中：

ω_xm为滚转角速率；

将俯仰通道、偏航通道以及滚转通道参考模型统一写成状态方程为

式(8)中：

X_m为状态向量；

A_m为状态矩阵；

B_m为控制矩阵；

U_m为控制向量；

S10202：设计状态空间模型

通过小扰动线性化方法可得飞行器俯仰通道、偏航通道以及滚转通道状态空间模型，其中俯仰通道状态空间模型为：

式(9)中：

θ为飞行器弹道倾角；

为飞行器俯仰角；

ω_z为飞行器俯仰角速率；

为飞行器俯仰舵偏角；

F_y为俯仰方向外界干扰量及未建模动态；

为飞行器动力系数；

同理可得：

偏航通道状态空间模型为：

式(10)中：

σ为飞行器弹道偏角；

ψ为飞行器偏航角；

ω_y为飞行器偏航角速率；

δ_ψ为飞行器偏航舵偏角；

F_z为偏航方向外界干扰量及未建模动态；

为飞行器动力系数；

滚转通道的状态空间模型为：

式(11)中：

γ为飞行器滚转角；

ω_x为飞行器滚转角速率；

d₁、d₃为飞行器动力系数；

δ_γ为飞行器滚转舵偏角；

F_x为偏航方向外界干扰量及未建模动态；

因此，状态空间模型统一表示为：

式(12)中：

X为状态向量；

A、B为俯仰通道系数矩阵，且

U为状态空间模型控制向量；

F为建模误差及其他干扰项；偏航通道和滚转通道类似，不赘述。

为了便于系统统一设计，将俯仰通道、偏航通道和滚转通道的状态空间模型以及参考模型均变为两个状态量和一个控制量。

为了简化控制模型，降低系统复杂度，以俯仰通道为例，状态空间模型简化为：

参考模型简化为：

为俯仰通道制导指令；

偏航通道和滚转通道的处理方式与上同。

S10203：设计模型参考自适应控制器：

将前述建立的参考模型和实际状态空间模型进行统一如下：

根据式(15)可得误差方程为：

式(16)中：

e为模型跟踪误差矩阵；

为提高控制器对不确定性的适应能力，采用参考模型滑模控制方法，首先

选择滑模面S如下所示：

S＝Ce＝[κ₁,κ₂][e₁,e₂]^T (17)

式(17)中：

C＝[κ₁,κ₂]为滑模面的增益矩阵；

κ₁,κ₂为滑模面增益；

e＝[e₁,e₂]^T为模型跟踪误差矩阵，其中：

e₁,e₂为模型跟踪误差，且

为了实现在固定的时间内使得模型跟踪误差收敛至零域的附近，同时为了避免具有较大的控制增益对控制系统的影响，采用如下所示的固定时间收敛的趋近律：

式(18)中：

为滑模变量导数；

k₁、k₂为常数；

且k₁＞0,k₂＞0；

p、q为常数；

且0＜p＜1,q＞1，

e₂为模型跟踪误差；

和

均为自适应增益系数；

设计自适应增益调节律如下：

式(19)中：

θ₀∈(0,1)，且

θ₀为常数；

自适应增益的初值满足

和

σ₁，σ₂，σ₃为控制器待设计参数；

c₁、c₂和c₃为常数且满足下式：

式(20)中：

θ₁、θ₂、θ₃均为常数

且θ₁＞1/2，θ₂＞1/2，θ₃＞1/2；

σ₁，σ₂，σ₃为控制器待设计参数。

S2：调整线上增量。

S201：在线飞行时，收集并储存飞行器实时飞行数据，每间隔T时刻基于弹性权重合并(EWC)方法利用获得的飞行数据对参数辨识网络进行增量调整，以获得更加准确的飞行器参数辨识网络；

S20101：收集并储存飞行器实时飞行数据，将T时刻内的数据记为

利用所述数据训练神经网络的任务记为任务B，记先前参数辨识神经网络训练任务为A，则线上增量学习的目标为在任务A训练完成的基础上，进行任务B的学习，使神经网络能同时适应任务A与任务B，从而实现飞行器动力参数的准确辨识；

S20102：利用EWC对飞行器动力参数辨识网络进行增量调整：

定义：

任务A和任务B的参数(权重和偏差)分别表示为θ_A和θ_B，

任务A和任务B减少误差的参数集分别表示为

和

增量调整的目标即为寻找可同时在任务A和任务B中保持低误差的过度参数；

EWC利用贝叶斯方法衡量任务的参数的重要性，为任务B更新它的参数，同时缓慢更新对任务A重要的参数以保持在A的低误差区域；

具体地，参数的重要性建模为后验分布

这是给定一个任务的训练数据

的参数

的概率；使用贝叶斯规则，后验概率的对数值如下：

假设数据由两个独立的部分组成：则任务A的

和任务B的

可以改写为：

式(22)左侧是给定的整个数据集的后验分布，右侧为仅取决于任务B的损失函数，即

与任务A相关的所有信息都嵌入项

EWC想要从

抽取权重重要性的信息；不幸的是，

很难获得；因此，EWC通过参数

和Fisher信息矩阵

的对角线的对角精度的均值使其近似于高斯分布；这样，EWC中的新损失函数如下：

式(23)中：

为任务B的损失；

λ为增量调整权重；

i为权重向量中的每个索引；

若

则Fisher信息矩阵

为n×n矩阵，每个元素为：

式(24)中：

I为Fisher信息矩阵元素；

E_X为求数学期望符号；

j为Fisher信息矩阵元素列下标；

飞行器在线飞行中，每间隔时间T将任务B重新记为任务A，将时间T内收集的数据训练任务记为任务B，重复以上训练步骤，即可实现参数辨识网络的线上持续增量调整。

S202：将飞行器实际飞行状态输入增量调整后的飞行器参数辨识网络，获得飞行器实时动力参数，将动力参数输入飞行器模型参考自适应控制器，即可根据飞行器实时飞行状态解算得到更加准确的飞行器控制指令。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同条件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (2)

1.一种基于增量在线学习的飞行器智能控制方法，其特征在于：所述方法包括如下步骤：

S1：设计线下训练；

S101：构建飞行器动力参数辨识神经网络，并获得可在线使用的飞行器动力参数辨识神经网络；

S10101：收集飞行器历史飞行数据集，分别构建飞行器俯仰通道、偏航通道以及滚转通道的动力参数辨识样本库；

S10102：建立全连接神经网络，采用梯度下降方法利用样本库进行飞行器俯仰通道、偏航通道以及滚转通道的动力参数辨识网络训练，即获得可在线使用的飞行器动力参数辨识神经网络；

S1010201：激活函数：为避免使用梯度下降算法对神经网络进行优化时出现梯度消失现象，本发明采用线性整流函数f(x)＝max(0,x)作为隐藏层的激活函数，以提高神经网络的优化效率；

S1010202：损失函数：选择均方误差(MSE)作为损失函数：

式(1)中：

表示模型预测值；

表示模型实际值；

N表示样本数；

S1010203：优化函数：选择学习率可自适应变化的Adam算法进行神经网络的训练优化；

S102：设计参考模型、状态空间模型与模型参考自适应控制器；

S2：调整线上增量；

S201：在线飞行时，收集并储存飞行器实时飞行数据，每间隔T时刻对参数辨识网络进行增量调整，以获得飞行器参数辨识网络；

S20101：收集并储存飞行器实时飞行数据，将T时刻内的数据记为D_B，利用所述数据训练神经网络的任务记为任务B，记先前参数辨识神经网络训练任务为A，则线上增量学习的目标为在任务A训练完成的基础上，进行任务B的学习，使神经网络能同时适应任务A与任务B，从而实现飞行器动力参数的准确辨识；

S20102：利用弹性权重合并(EWC)对飞行器动力参数辨识网络进行增量调整：

定义：

任务A和任务B的参数分别表示为θ_A和θ_B，

任务A和任务B减少误差的参数集分别表示为

和

参数的重要性建模为后验分布

这是给定一个任务的训练数据

的参数

的概率；使用贝叶斯规则，后验概率的对数值如下：

假设数据由两个独立的部分组成：则任务A的

和任务B的

可以改写为：

式(22)左侧是给定的整个数据集的后验分布，右侧为仅取决于任务B的损失函数，即

与任务A相关的所有信息都嵌入项

EWC中的新损失函数如下：

式(23)中：

为任务B的损失；

λ为增量调整权重；

i为权重向量中的每个索引；

若

则Fisher信息矩阵

为n×n矩阵，每个元素为：

式(24)中：

I为Fisher信息矩阵元素；

E_X为求数学期望符号；

j为Fisher信息矩阵元素列下标；

飞行器在线飞行中，每间隔时间T将任务B重新记为任务A，将时间T内收集的数据训练任务记为任务B，重复S20101-S20102，即可实现参数辨识网络的线上持续增量调整；

S202：获得飞行器实时动力参数，解算得到飞行器控制指令。

2.根据权利要求1所述的一种基于增量在线学习的飞行器智能控制方法，其特征在于：所述S102包括如下步骤：

S10201：设计参考模型：

设计制导指令俯仰角

与输出俯仰角

之间的关系满足下式：

式(2)中：

为时间常数；

为阻尼比；

s为微分算子；

相应地，其时域模型为：

选取参考模型状态为

，参考控制输入为u_my，则俯仰通道参考模型方程为：

式(4)中：

θ_m为弹道倾角；

ω_zm为俯仰角速率；

同理，可以求出偏航通道参考模型方程为：

式(5)中：

σ_m为弹道偏角；

ω_ym为偏航角速率；

ψ_m为偏航角；

ξ_ψ为偏航通道参考模型的期望阻尼系数；

T_ψ为偏航通道参考模型的期望时间常数；

参考控制输入为u_mz＝ψ_c，ψ_c为偏航通道制导指令；

同理，滚转通道期望动力学响应模型如下：

式(6)中：

γ_m是滚转角参考模型的输出信号；

ξ_x为滚转通道的期望阻尼系数；

T_x为滚转通道的期望时间常数；

γ_c为滚转角制导指令；

选取状态变量为X_xm＝[γ_m ω_xm]^T，控制输入为u_mx＝γ_c，则滚转通道有

式(7)中：

ω_xm为滚转角速率；

将俯仰通道、偏航通道以及滚转通道参考模型统一写成状态方程为

式(8)中：

X_m为状态向量；

A_m为状态矩阵；

B_m为控制矩阵；

U_m为控制向量；

S10202：设计状态空间模型

通过小扰动线性化方法可得飞行器俯仰通道、偏航通道以及滚转通道状态空间模型，其中俯仰通道状态空间模型为：

式(9)中：

θ为飞行器弹道倾角；

为飞行器俯仰角；

ω_z为飞行器俯仰角速率；

为飞行器俯仰舵偏角；

F_y为俯仰方向外界干扰量及未建模动态；

为飞行器动力系数；

同理可得：

偏航通道状态空间模型为：

式(10)中：

σ为飞行器弹道偏角；

ψ为飞行器偏航角；

ω_y为飞行器偏航角速率；

δ_ψ为飞行器偏航舵偏角；

F_z为偏航方向外界干扰量及未建模动态；

为飞行器动力系数；

滚转通道的状态空间模型为：

式(11)中：

γ为飞行器滚转角；

ω_x为飞行器滚转角速率；

d₁、d₃为飞行器动力系数；

δ_γ为飞行器滚转舵偏角；

F_x为偏航方向外界干扰量及未建模动态；

因此，状态空间模型统一表示为：

式(12)中：

X为状态向量；

A、B为俯仰通道系数矩阵，且

U为状态空间模型控制向量；

F为建模误差及其他干扰项；

为了便于系统统一设计，将俯仰通道、偏航通道和滚转通道的状态空间模型以及参考模型均变为两个状态量和一个控制量；

S10203：设计模型参考自适应控制器：

将建立的参考模型和状态空间模型进行统一如下：

根据式(15)可得误差方程为：

式(16)中：

e为模型跟踪误差矩阵；

选择滑模面S如下所示：

S＝Ce＝[κ₁,κ₂][e₁,e₂]^T (17)

式(17)中：

C＝[κ₁,κ₂]为滑模面的增益矩阵；

κ₁,κ₂为滑模面增益；

e＝[e₁,e₂]^T为模型跟踪误差矩阵，其中：

e₁,e₂为模型跟踪误差，且

为了实现在固定的时间内使得模型跟踪误差收敛至零域的附近，同时为了避免具有较大的控制增益对控制系统的影响，采用如下所示的固定时间收敛的趋近律：

式(18)中：

为滑模变量导数；

k₁、k₂为常数；

且k₁＞0,k₂＞0；

p、q为常数；

且0＜p＜1,q＞1，

e₂为模型跟踪误差；

和

均为自适应增益系数；

设计自适应增益调节律如下：

式(19)中：

θ₀∈(0,1)，且

θ₀为常数；

自适应增益的初值满足

和

；

σ₁，σ₂，σ₃为控制器待设计参数；

c₁、c₂和c₃为常数且满足下式：

式(20)中：

θ₁、θ₂、θ₃均为常数

且θ₁＞1/2，θ₂＞1/2，θ₃＞1/2。

Images