CN117289709A - 基于深度强化学习的高超声速变外形飞行器姿态控制方法 - Google Patents
基于深度强化学习的高超声速变外形飞行器姿态控制方法 Download PDFInfo
- Publication number
- CN117289709A CN117289709A CN202311171003.7A CN202311171003A CN117289709A CN 117289709 A CN117289709 A CN 117289709A CN 202311171003 A CN202311171003 A CN 202311171003A CN 117289709 A CN117289709 A CN 117289709A
- Authority
- CN
- China
- Prior art keywords
- model
- network
- aircraft
- function
- attitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000002787 reinforcement Effects 0.000 title claims abstract description 40
- 238000011156 evaluation Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 57
- 230000008859 change Effects 0.000 claims description 22
- 230000009471 action Effects 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 230000008878 coupling Effects 0.000 claims description 7
- 238000010168 coupling process Methods 0.000 claims description 7
- 238000005859 coupling reaction Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 claims description 2
- 239000013604 expression vector Substances 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 claims 1
- 230000000750 progressive effect Effects 0.000 claims 1
- 230000007246 mechanism Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 239000003795 chemical substances by application Substances 0.000 description 5
- 238000004088 simulation Methods 0.000 description 4
- 238000011217 control strategy Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Feedback Control In General (AREA)
Abstract
本公开实施例中提供了一种基于深度强化学习的高超声速变外形飞行器姿态控制方法，属于控制技术领域，具体包括：步骤1，建立飞行器的三自由度非线性再入姿态控制模型，化简模型并转化为状态空间模型；步骤2，根据状态空间模型设计飞行器的超螺旋控制器；步骤3，定义马尔可夫决策过程，将姿态控制问题转化为深度强化学习模型；步骤4，在传统TD3算法基础上，建立双经验回放池，并分别在执行网络和评价网络中引入LSTM网络架构，对该深度强化学习模型进行离线训练，利用训练好的决策模型进行参数的自适应调整。通过本公开的方案，提高了控制的稳定性、鲁棒性和精准度。
Description
技术领域
本公开实施例涉及控制技术领域，尤其涉及一种基于深度强化学习的高超声速变外形飞行器姿态控制方法。
背景技术
目前，高超声速变外形飞行器是一类飞行速度大于5马赫，在大气层内或跨大气层高速飞行的飞行器，其可根据不同环境和任务需求改变自身的外形结构，具有飞行速度快，飞行距离远，任务可调整的特点。与传统的高超声速飞行器相比，高超声速变外形飞行器在姿态控制中主要存在以下突出问题：变形过程中，飞行器系统呈现出多模态、强非线性和强耦合的特点；飞行器系统存在外部干扰和模型不确定性，难以建立精确的动力学模型，保证系统的稳定性。同时，高超声速变外形飞行器具有的大尺度变形结构特点，为飞行器多模态飞行时的气动稳定性提出了更高的要求。
高超声速变外形飞行器具备一定的特殊性，传统的控制方法难以满足较高的稳定性、鲁棒性和控制精度的要求。
可见，亟需一种稳定性、鲁棒性和控制精准度高的基于深度强化学习的高超声速变外形飞行器姿态控制方法。
发明内容
有鉴于此，本公开实施例提供一种基于深度强化学习的高超声速变外形飞行器姿态控制方法，至少部分解决现有技术中存在稳定性、鲁棒性和控制精准度较差的问题。
本公开实施例提供了一种基于深度强化学习的高超声速变外形飞行器姿态控制方法，包括：
步骤1，建立飞行器的三自由度非线性再入姿态控制模型，化简模型并转化为状态空间模型；
步骤2，根据状态空间模型设计飞行器的超螺旋控制器；
步骤3，定义马尔可夫决策过程，将姿态控制问题转化为深度强化学习模型；
步骤4，在传统TD3算法基础上，建立双经验回放池，并分别在执行网络和评价网络中引入LSTM网络架构，对该深度强化学习模型进行离线训练，利用训练好的决策模型进行参数的自适应调整。
根据本公开实施例的一种具体实现方式，所述步骤1具体包括：
步骤1.1，所述三自由度非线性再入姿态控制模型的表达式为
其中，m,V分别为飞行器质量和速度，g是引力加速度矢量，α,β,σ分别为攻角、侧滑角和倾侧角，θ为航迹倾角，ωx,ωy,ωz分别表示横滚、偏航和俯仰的角速率，Ixx,Iyy,Izz为飞行器绕体轴转动惯量，Ixy为惯性积，Xt,Yt,Zt分别为总阻力、总升力和总侧力，Mtx,Mty,Mtz分别为滚转、偏航和俯仰通道的合力矩；
步骤1.2，忽略姿态运动方程中的质心运动相关项，考虑外界干扰以及由于模型简化和通道耦合引起的模型不确定性，将三自由度非线性再入姿态控制模型改写为
其中，Θ＝[α,β,σ]T为姿态角向量；ω＝[ωx,ωy,ωz]T表示姿态角速度向量；Μt为合力矩，d表示总扰动，矩阵I，ω×，R的具体表达式如下：
步骤1.3，令X1＝Θ，X2＝Rω，得到状态空间模型为
其中，g1＝RI-1,d1＝RI-1d，u＝Mt。
根据本公开实施例的一种具体实现方式，所述超螺旋控制器的表达式为
其中，e1为姿态角误差项，e2为三轴角速度的误差项，s1为设计的滑模面，||s1||表示矢量s1的二范数，K1，K2，K3表示待设计控制增益；
K1,K2,K3的具体表达式如下：
其中， 为L1(t)的导数，σsT、σeT均为常数，La1为自适应律调整参数。
根据本公开实施例的一种具体实现方式，所述步骤3具体包括：
步骤3.1，选择预设数量的多数据帧作为当前时刻的状态空间；
步骤3.2，将超螺旋控制器中的自适应律调整参数作为动作空间；
步骤3.3，设置姿态角跟踪误差连续奖励函数、角速度变化率奖励函数、舵偏角变化率奖励函数、滑模面奖励函数、角速率误差奖励函数、边界稀疏奖励函数和常量奖励函数，并将全部函数联立得到单步奖励函数。
根据本公开实施例的一种具体实现方式，所述姿态角跟踪误差连续奖励函数的表达式为
re＝k1|eα|+k2|eβ|+k3|eσ|；
所述角速度变化率奖励函数的表达式为r1＝|Δωx|+|Δωy|+|Δωz|；
所述舵偏角变化率奖励函数的表达式为r2＝|Δδx|+|Δδy|+|Δδz|；
所述滑模面奖励函数的表达式为r3＝|s1,α|+|s1,β|+|s1,σ|；
所述角速率误差奖励函数的表达式为r4＝|e2,1|+|e2,2|+|e2,3|；
所述边界稀疏奖励函数的表达式为r5＝t1r5,α+t2r5,β+t3r5,σ；
其中，eα,eβ,eσ表示姿态角的误差，Δωx,Δωy,Δωz表示三轴角速度的变化量，Δδx,Δδy,Δδz表示舵偏角的变化量，s1,α,s1,β,s1,σ表示滑模面的三个分量，e2,1,e2,2,e2,3表示三轴角速度的误差项，r5,α,r5,β,r5,σ均为常数，表示对三个姿态角超出边界的惩罚项，xi表示三个姿态角，i_high,i_low表示姿态角的上下边界值；
所述单步奖励函数的表达式为R＝-re-k1r1-k2r2-k3r3-k4r4-r5+c。
根据本公开实施例的一种具体实现方式，所述在传统TD3算法基础上，建立双经验回放池并分别在执行网络和评价网络中引入LSTM网络架构，对该深度强化学习模型进行离线训练的步骤，包括：
步骤4.1，初始化两个评价网络和执行网络πφ，评价网络的参数θ1,θ2、执行网络的参数φ、目标网络参数；
步骤4.2，建立正经验回放池Dpos和负经验回放池Dneg；
步骤4.3，预设回合数M，在每个回合中执行以下步骤：
步骤4.3.1、预设每个回合中飞行器的最大限定步数T；
步骤4.3.2、所述飞行器根据当前状态和策略选择动作，并添加随机噪声；
步骤4.3.3、根据当前执行动作计算下一状态并获得奖励；
步骤4.3.4、将步骤4.3.2和步骤4.3.3中的当前状态、策略选择执行动作、奖励及下一状态存储至经验回放池，根据奖励的大小将其存储至正经验回放池或负经验回放池，当奖励大于0时存储至正经验回放池，反之，存储至负经验回放池；
步骤4.3.5、为两个经验池设置重要系数δi：从Dpos和Dneg中提取的数量分别为：/>根据δi得到每个经验回放池的采样概率：Pi＝Pi+λδi，/>
步骤4.3.6、通过目标网络参数中的两个目标评价网络计算动作的期望回报，选择其中最小的期望回报，更新所述评价网络的参数；
步骤4.3.7、更新执行网络参数；
步骤4.3.8、更新完评价网络的参数和执行网络的参数后，更新目标网络参数；
步骤4.3.9、直到步数达到所述最大限定步数，结束一个回合。
根据本公开实施例的一种具体实现方式，所述分别在执行网络和评价网络中引入LSTM网络架构的步骤，包括：
针对执行网络部分，输入层根据飞行器状态量设置节点，隐藏层分别设置为LSTM网络层及全连接层，LSTM网络层设置为2层，全连接层设计为2层，均采用tach激活函数；
针对评价网络部分，隐藏层中的LSTM网络层设置为2层，全连接层设计为2层，均采用tach为激活函数，输出层设置为1个节点，采用L i near为激活函数。
本公开实施例中的基于深度强化学习的高超声速变外形飞行器姿态控制方案，包括：步骤1，建立飞行器的三自由度非线性再入姿态控制模型，化简模型并转化为状态空间模型；步骤2，根据状态空间模型设计飞行器的超螺旋控制器；步骤3，定义马尔可夫决策过程，将姿态控制问题转化为深度强化学习模型；步骤4，在传统TD3算法基础上，建立双经验回放池，并分别在执行网络和评价网络中引入LSTM网络架构，对该深度强化学习模型进行离线训练，利用训练好的决策模型进行参数的自适应调整。
本公开实施例的有益效果为：
1)利用了深度强化学习的感知和决策能力，提出了基于TD3的超螺旋控制算法，可根据环境自动调节超螺旋控制器参数，加速了系统到达滑动模态的过程，提高了系统鲁棒性并有效抑制抖振；
2)改进了传统的TD3深度强化学习算法，提高深度强化学习的泛化能力。使用双经验回放池以提高对经验数据的利用率，并提出经验分离机制、可变比例的回放策略和基于优先级采样的改进方法，加快智能体模型的收敛速度。在神经网络结构中添加LSTM网络以提高深度强化学习的学习能力，提升了算法的训练效率和效果；
3)实现了飞行器的多通道免解耦姿态控制，解决了飞行器控制过程中对强耦合非线性条件表现较差的问题；
4)通过在训练过程中引入模型的不确定性和外部干扰提升飞行器的适应能力和泛化性能。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本公开实施例提供的一种基于深度强化学习的高超声速变外形飞行器姿态控制方法的流程示意图；
图2为本公开实施例提供的一种基于深度强化学习的高超声速变外形飞行器姿态控制方法的控制系统框图；
图3为本公开实施例提供的一种改进TD3算法的网络结构图；
图4为本公开实施例提供的一种姿态角的跟踪效果图；
图5为本公开实施例提供的一种高超声速变外形飞行器的舵偏角曲线图；
图6为本公开实施例提供的一种深度强化学习方法的智能控制器参数曲线图；
图7为本公开实施例提供的一种TD3算法训练的奖励函数图；
图8为本公开实施例提供的一种与固定参数超螺旋控制的舵偏角结果对比图。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
本公开实施例提供一种基于深度强化学习的高超声速变外形飞行器姿态控制方法，所述方法可以应用于航空航天场景的高超声速外变形飞行器控制过程中。
参见图1，为本公开实施例提供的一种基于深度强化学习的高超声速变外形飞行器姿态控制方法的流程示意图。如图1所示，所述方法主要包括以下步骤：
如图2所示，基于深度强化学习的高超声速变外形飞行器姿态控制方法，建立了高超声速变外形飞行器三自由度非线性再入姿态控制模型，在超螺旋控制的基础上，进一步引入深度强化学习算法进行在线调整优化，以提高控制器在强非线性、强耦合性、参数不确定性、参数时变性和存在外界干扰等问题作用下的跟踪控制性能，对实现高超声速变外形飞行器姿态角的抗扰动高精度跟踪控制具有重要意义。首先可以建立高超声速变外形飞行器的三自由度非线性再入姿态控制模型，化简模型并转化为状态空间模型；
其中，m,V分别为飞行器质量和速度；α,β,σ分别为攻角、侧滑角和倾侧角；θ为航迹倾角；ωx,ωy,ωz分别表示横滚、偏航和俯仰的角速率；Ixx,Iyy,Izz为飞行器绕体轴转动惯量，Ixy为惯性积；Xt,Yt,Zt分别为总阻力、总升力和总侧力，Mtx,Mty,Mtz分别为滚转、偏航和俯仰通道的合力矩，其具体形式可表示为：
[Mtx,Mty,Mtz]T＝[Mx,My,Mz]T+[Msx,Msy,Msz]T (2)
其中，Mx,My,Mz分别表示无变形下滚转力矩、偏航力矩和俯仰力矩；Ms＝[Msx,Msy,Msz]T表示滚转、偏航和俯仰的附加力矩。
作用在飞行器上的气动力矩可表示为Ma＝[Mx,My,Mz]T，其分量形式为：
其中，bA为参考气动弦长，cA为参考气动展长；Cmx,Cmy,Cmz分别表示滚转力矩、偏航力矩和俯仰力矩系数。Sr为飞行器的参考面积，QA为动压，其表达式为：
其中，ρA为空气密度；ρA0,bh均为常数，且ρA0＝1.2258kg/m3，bh＝1.3785×10-4。V是飞行速度，R是飞行器质心的地心距，Re＝6371004m为地球半径。
高超声速变外形飞行器的质心运动状态量在绕质心运动状态量快速变化的过程中，并不会发生较大改变。因此，可忽略姿态运动方程中的质心运动相关项，考虑外界干扰以及由于模型简化和通道耦合引起的模型不确定性，将公式(1)中的三自由度模型改写为如下形式：
其中，Θ＝[α,β,σ]T为姿态角向量；ω＝[ωx,ωy,ωz]T表示姿态角速度向量；Μt为合力矩；d表示总扰动。矩阵I，ω×，R的具体表达式如下：
进一步，令X1＝Θ，X2＝Rω，则式(5)可改写为：
其中，g1＝RI-1,d1＝RI-1d，u＝Mt。
在不对系统模型进行解耦的情况下，设计高超声速变外形飞行器的超螺旋控制算法，定义跟踪误差为：
则跟踪误差系统可改写为：
然后，定义滑模面为：
其中，K1＝diag([k1,1,k1,2,k1,3])为正定对角矩阵，表示待设计控制增益，γ0∈(0,1)。
因此，滑模控制器可设计为：
其中，||*||表示矢量*的二范数，K2,K3是待设计控制增益。
其中，L1(t)为自适应律，可设计如下：
其中，σsT、σeT均为常数，La1为自适应律调整参数。
定义马尔可夫决策过程，包括状态空间、动作空间和奖励函数的设计，将姿态控制问题转化为深度强化学习问题；
步骤31：设定状态空间S
由于单数据帧状态空间只提供瞬时的环境状态，环境中的动态变化和与时序相关特征无法捕捉，可能导致模型的决策能力有限。故选择控制周期为5帧数据帧作为当前时刻的环境状态，状态空间为45维。高超声速变外形飞行器的单数据帧包含：在t时刻，飞行器的的攻角α，侧滑角β，倾侧角σ，俯仰角速度ωx，滚转角速度ωy和偏航角速度ωz。以及攻角误差Δα，侧滑角误差Δβ，倾侧角误差Δσ。
步骤32：设定动作空间A
为了提高姿态控制任务的鲁棒性及抗干扰能力，使得超螺旋控制算法的参数变化具有一定的连续性，将超螺旋控制器中自适应律调整参数作为智能体的动作，其取值范围为[0.001,0.5]。
步骤33：设计奖励函数R
为了使得智能体朝着姿态角误差的方向探索，使得各个状态量在整个飞行过程中平稳变化。设置奖励函数可分为姿态角跟踪误差连续奖励函数、角速度变化率奖励函数、舵偏角变化率奖励函数、滑模面奖励函数、角速率误差奖励函数、边界稀疏奖励函数、常量奖励函数等七个部分。
所述姿态角跟踪误差连续奖励函数为：re＝k1|eα|+k2|eβ|+k3|eσ|
所述角速度变化率奖励函数为：r1＝|Δωx|+|Δωy|+|Δωz|
所述舵偏角变化率奖励函数为：r2＝|Δδx|+|Δδy|+|Δδz|
所述滑模面奖励函数为：r3＝|s1,α|+|s1,β|+|s1,σ|
所述角速率误差奖励函数为：r4＝|e2,1|+|e2,2|+|e2,3|
所述边界稀疏奖励函数为：r5＝t1r5,α+t2r5,β+t3r5,σ
其中，eα,eβ,eσ表示姿态角的误差；Δωx,Δωy,Δωz表示三轴角速度的变化量；Δδx,Δδy,Δδz表示舵偏角的变化量；s1,α,s1,β,s1,σ表示滑模面的三个分量，e2,1,e2,2,e2,3表示三轴角速度的误差项，r5,α,r5,β,r5,σ均为常数，表示对三个姿态角超出边界的惩罚项；
xi表示三个姿态角。i_high,i_low表示姿态角的上下边界值。
故高超声速变外形飞行器最终单步奖励函数设置为：
R＝-re-k1r1-k2r2-k3r3-k4r4-r5+c (17)
改进深度强化学习网络模型如图3所示。为了提高TD3算法的泛化能力，对传统的TD3算法进行了以下改进：
一方面是建立了双经验缓存优先采样机制以提高对经验数据的利用率。传统的TD3算法采用了单经验回放随机采样机制，该方法不能合理利用收集的经验样本，利用经验进行针对性的训练，也不能选择高质量的经验加快收敛。该机制由三部分组成：
首先，设计经验分离机制分离正经验和负经验，当单步奖励大于0时存储至正经验回放池，反之，存储至负经验回放池；
然后，设计一种可变比例重放机制，每个用于训练mini-batch都是从正经验回放池和负经验回放池中以不同的比例选择。在训练之初，智能体没有合理的执行策略时，将以较大比例回放正经验数据，加快飞行器控制策略的优化。当训练已经达到最优的模型时，以较大比例回放失败经验，防止控制策略的过拟合，并增加决策模型的鲁棒性。
Nbatch表示minibatch的大小，分别从正、负经验回放池中抽取经验样本数量为Nbatch-p，Nbatch-n。从两个经验回放池抽样比例Φ与上一回合中正经验的数量Np和负经验的数量Nn有关，从而根据决策模型的优化程度真实的调整正经验和负经验的比例。
最后，设计了一种基于优先级的采样机制，从而高效利用高经验样本。根据训练过程中的采样频率和经验奖励值的大小设置重要程度影响系数δi，为每一个经验设置一个选定的概率Pi，重要程度越高，选择该经验的概率越大。
其中，ri代表经验的奖励值；Ni代表使用此经验的次数；T代表时间步数；Pi的初始值为1，N是经验回放池中的经验总数。
并分别在执行网络和评价网络中引入LSTM网络架构。将构建好的模型进行离线训练，利用训练好的网络模型来进行参数的自适应调整。
进一步的，所述步骤4具体包括如下步骤：
步骤41:初始化两个评价网络和执行网络πφ，评价网络的参数θ1,θ2、执行网络的参数φ、目标网络参数；
步骤42:建立正经验回放池Dpos和负经验回放池Dneg；
步骤43:预设回合数M，在每个回合中执行以下步骤：
步骤43-1、预设每个回合中所述飞行器的最大限定步数T；
步骤43-2、所述飞行器根据当前状态和策略选择动作，并加上随机噪声；
步骤43-3、根据当前执行动作计算下一状态并获得奖励；
步骤43-4、将步骤43-2和步骤43-3中的当前状态、策略选择执行动作、奖励及下一状态存储至经验回放池，根据奖励的大小将其存储至正经验回放池或负经验回放池，当奖励大于0时存储至正经验回放池，反之，存储至负经验回放池；
步骤43-5、为两个经验池设置重要系数δi：从Dpos和Dneg中提取的数量分别为：/>根据δi得到每个经验回放池的采样概率：Pi＝Pi+λδi，/>
步骤43-6、通过目标网络参数中的两个目标评价网络计算动作的期望回报，选择其中最小的期望回报，更新所述评价网络的参数；
步骤43-7、根据确定性策略梯度更新所述执行网络参数；
步骤43-8、更新完所述评价网络的参数和所述执行网络的参数后，更新所述目标网络的参数；
步骤43-9、直到步数达到所述最大限定步数，结束一个回合。
步骤44、在所有回合结束后，所述高超声速变外形飞行器的姿态控制策略的训练结束，通过不断更新现实网络和目标网络的参数，可以得到训练好的执行网络，将其与超螺旋控制结合，实现实时智能调整控制增益参数的目的。
本实施例提供的基于深度强化学习的高超声速变外形飞行器姿态控制方法，通过利用了深度强化学习的感知和决策能力，提出了基于TD3的超螺旋控制算法，可根据环境自动调节超螺旋控制器参数，加速了系统到达滑动模态的过程，提高了系统鲁棒性并有效抑制抖振；改进了传统的TD3深度强化学习算法，提高深度强化学习的泛化能力和。使用双经验回放池以提高对经验数据的利用率，并提出经验分离机制、可变比例的回放策略和基于优先级采样的改进方法，加快智能体模型的收敛速度。在神经网络结构中添加LSTM网络以提高深度强化学习的学习能力，提升了算法的训练效率和效果；实现了飞行器的多通道免解耦姿态控制，解决了飞行器控制过程中对强耦合非线性条件表现较差的问题；通过在训练过程中引入模型的不确定性和外部干扰提升飞行器的适应能力和泛化性能。
下面将结合一个具体实施例对本方案进行说明，飞行器的初始状态设置为：h0＝35km,v0＝3.2km/s,α0＝6°,β0＝0°,σ0＝20°,δf＝30°。超螺旋控制器参数为：K1＝[0.3,0.3,0.3]T，K2＝[1.8,1.8,1.8]T，K3＝[1.8,1.8,1.8]T，γ0＝0.5，σe1＝0.05°，σe2＝0.25°。设置折扣因子γ＝0.99，评价网络的学习率为0.001，执行网络的学习率为0.0001，经验回放池的容量为1000000。时间步长为0.01s，训练单回合共计1000步，仿真时长为10s，训练500回合数。
在训练时为了提高策略的抗干扰能力，引入了外部干扰力矩以及模型的不确定性。相关参数设置为：三轴气动力系数(CL,CD,CY)的偏差分别为-40％，+40％和-40％；三轴气动力系数(Cmx,Cmy,Cmz)的偏差分别为40％，-40％和-40％；惯性参数(Ixx,Iyy,Izz,Ixy)的偏差分别为40％，-40％，40％和40％；大气密度偏差为40％；三轴外干扰力矩分别为：
仿真结果分析：仿真结果如图4至图7所示。图6表示强化学习算法训练500回合的累计奖励情况，随着训练回合越来越多，智能体不断地通过尝试探索，学习经验策略，累计奖励值也在逐步增加直至收敛，得到最优参数更新策略如图6所示。图4表示姿态角的跟踪效果及其误差情况，其中，(a)为攻角的实际输出和期望指令对比图，(b)为侧滑角的实际输出和期望指令对比图，(c)为倾侧角的实际输出和期望指令对比图。从图中可知，在模型不确定性和外部干扰作用下，仍可以实现较高性能的姿态控制，可适应40％的模型偏差。且经过检验在机翼大尺度折叠飞行条件下，均能保证稳态误差不超过0.5°。如图8所示，对比自适应参数与固定参数的结果，深度强化学习明显降低了控制输入的抖振，从而提升了控制器的控制性能。
综合上述对实施例的仿真验证，证明了本发明一种基于深度强化学习的高超声速变外形飞行器姿态控制方法的有效性。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。
Claims (7)
1.一种基于深度强化学习的高超声速变外形飞行器姿态控制方法，其特征在于，包括：
步骤1，建立飞行器的三自由度非线性再入姿态控制模型，化简模型并转化为状态空间模型；
步骤2，根据状态空间模型设计飞行器的超螺旋控制器；
步骤3，定义马尔可夫决策过程，将姿态控制问题转化为深度强化学习模型；
步骤4，在传统TD3算法基础上，建立双经验回放池，并分别在执行网络和评价网络中引入LSTM网络架构，对该深度强化学习模型进行离线训练，利用训练好的决策模型进行参数的自适应调整。
2.根据权利要求1所述的方法，其特征在于,所述步骤1具体包括：
步骤1.1，所述三自由度非线性再入姿态控制模型的表达式为
其中，m,V分别为飞行器质量和速度，g是引力加速度矢量，α,β,σ分别为攻角、侧滑角和倾侧角，θ为航迹倾角，ωx,ωy,ωz分别表示横滚、偏航和俯仰的角速率，Ixx,Iyy,Izz为飞行器绕体轴转动惯量，Ixy为惯性积，Xt,Yt,Zt分别为总阻力、总升力和总侧力，Mtx,Mty,Mtz分别为滚转、偏航和俯仰通道的合力矩；
步骤1.2，忽略姿态运动方程中的质心运动相关项，考虑外界干扰以及由于模型简化和通道耦合引起的模型不确定性，将三自由度非线性再入姿态控制模型改写为
其中，Θ＝[α,β,σ]T为姿态角向量；ω＝[ωx,ωy,ωz]T表示姿态角速度向量；Μt为合力矩，d表示总扰动，矩阵I，ω×，R的具体表达式如下：
步骤1.3，令X1＝Θ，X2＝Rω，得到状态空间模型为
其中，g1＝RI-1,d1＝RI-1d，u＝Mt。
3.根据权利要求2所述的方法，其特征在于,所述超螺旋控制器的表达式为
其中，e1为姿态角误差项，e2为三轴角速度的误差项，s1为设计的滑模面，||s1||表示矢量s1的二范数，K1，K2，K3表示待设计控制增益；
K1,K2,K3的具体表达式如下：
其中， 为L1(t)的导数，σsT、σeT均为常数，La1为自适应律调整参数。
4.根据权利要求3所述的方法，其特征在于,所述步骤3具体包括：
步骤3.1，选择预设数量的多数据帧作为当前时刻的状态空间；
步骤3.2，将超螺旋控制器中的自适应律调整参数作为动作空间；
步骤3.3，设置姿态角跟踪误差连续奖励函数、角速度变化率奖励函数、舵偏角变化率奖励函数、滑模面奖励函数、角速率误差奖励函数、边界稀疏奖励函数和常量奖励函数，并将全部函数联立得到单步奖励函数。
5.根据权利要求4所述的方法，其特征在于,所述姿态角跟踪误差连续奖励函数的表达式为
re＝k1|eα|+k2|eβ|+k3|eσ|；
所述角速度变化率奖励函数的表达式为r1＝|Δωx|+|Δωy|+|Δωz|；
所述舵偏角变化率奖励函数的表达式为r2＝|Δδx|+|Δδy|+|Δδz|；
所述滑模面奖励函数的表达式为r3＝|s1,α|+|s1,β|+|s1,σ|；
所述角速率误差奖励函数的表达式为r4＝|e2,1|+|e2,2|+|e2,3|；
所述边界稀疏奖励函数的表达式为r5＝t1r5,α+t2r5,β+t3r5,σ；
其中，eα,eβ,eσ表示姿态角的误差，Δωx,Δωy,Δωz表示三轴角速度的变化量，Δδx,Δδy,Δδz表示舵偏角的变化量，s1,α,s1,β,s1,σ表示滑模面的三个分量，e2,1,e2,2,e2,3表示三轴角速度的误差项，r5,α,r5,β,r5,σ均为常数，表示对三个姿态角超出边界的惩罚项，i＝1,2,3，xi表示三个姿态角，i_high,i_low表示姿态角的上下边界值；
所述单步奖励函数的表达式为R＝-re-k1r1-k2r2-k3r3-k4r4-r5+c。
6.根据权利要求4所述的方法，其特征在于,所述在传统TD3算法基础上，建立双经验回放池并分别在执行网络和评价网络中引入LSTM网络架构，对该深度强化学习模型进行离线训练的步骤，包括：
步骤4.1，初始化两个评价网络和执行网络πφ，评价网络的参数θ1,θ2、执行网络的参数φ、目标网络参数；
步骤4.2，建立正经验回放池Dpos和负经验回放池Dneg；
步骤4.3，预设回合数M，在每个回合中执行以下步骤：
步骤4.3.1、预设每个回合中飞行器的最大限定步数T；
步骤4.3.2、飞行器根据当前状态和策略选择动作，并添加随机噪声；
步骤4.3.3、根据当前执行动作计算下一状态并获得奖励；
步骤4.3.4、将步骤4.3.2和步骤4.3.3中的当前状态、策略选择执行动作、奖励及下一状态存储至经验回放池，根据奖励的大小将其存储至正经验回放池或负经验回放池，当奖励大于0时存储至正经验回放池，反之，存储至负经验回放池；
步骤4.3.5、为两个经验池设置重要系数δi：从Dpos和Dneg中提取的数量分别为：/>根据δi得到每个经验回放池的采样概率：Pi＝Pi+λδi，/>
步骤4.3.6、通过目标网络参数中的两个目标评价网络计算动作的期望回报，选择其中最小的期望回报，更新评价网络的参数；
步骤4.3.7、更新执行网络参数；
步骤4.3.8、更新完评价网络的参数和执行网络的参数后，更新目标网络参数；
步骤4.3.9、直到步数达到最大限定步数，结束一个回合。
7.根据权利要求6所述的方法，其特征在于,所述分别在执行网络和评价网络中引入LSTM网络架构的步骤，包括：
针对执行网络部分，输入层根据飞行器状态量设置节点，隐藏层分别设置为LSTM网络层及全连接层，LSTM网络层设置为2层，全连接层设计为2层，均采用tach激活函数；
针对评价网络部分，隐藏层中的LSTM网络层设置为2层，全连接层设计为2层，均采用tach为激活函数，输出层设置为1个节点，采用Linear为激活函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311171003.7A CN117289709A (zh) | 2023-09-12 | 2023-09-12 | 基于深度强化学习的高超声速变外形飞行器姿态控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311171003.7A CN117289709A (zh) | 2023-09-12 | 2023-09-12 | 基于深度强化学习的高超声速变外形飞行器姿态控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117289709A true CN117289709A (zh) | 2023-12-26 |
Family
ID=89250957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311171003.7A Pending CN117289709A (zh) | 2023-09-12 | 2023-09-12 | 基于深度强化学习的高超声速变外形飞行器姿态控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117289709A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117518836A (zh) * | 2024-01-04 | 2024-02-06 | 中南大学 | 变体飞行器鲁棒深度强化学习制导控制一体化方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106774379A (zh) * | 2017-03-09 | 2017-05-31 | 北京航天自动控制研究所 | 一种智能超螺旋强鲁棒姿态控制方法 |
| US20210141395A1 (en) * | 2017-08-02 | 2021-05-13 | South China University Of Technology | Stable flight control method for multi-rotor unmanned aerial vehicle based on finite-time neurodynamics |
| CN113377121A (zh) * | 2020-07-02 | 2021-09-10 | 北京航空航天大学 | 一种基于深度强化学习的飞行器智能抗扰动控制方法 |
| CN114200950A (zh) * | 2021-10-26 | 2022-03-18 | 北京航天自动控制研究所 | 一种飞行姿态控制方法 |
| CN114237267A (zh) * | 2021-11-02 | 2022-03-25 | 中国人民解放军海军航空大学航空作战勤务学院 | 基于强化学习的飞行机动决策的辅助方法 |
| CN114489107A (zh) * | 2022-01-29 | 2022-05-13 | 哈尔滨逐宇航天科技有限责任公司 | 一种飞行器双延迟深度确定性策略梯度姿态控制方法 |
| CN115437406A (zh) * | 2022-09-16 | 2022-12-06 | 西安电子科技大学 | 基于强化学习算法的飞行器再入跟踪制导方法 |
| CN116540783A (zh) * | 2023-06-20 | 2023-08-04 | 河南机电职业学院 | 多旋翼飞行器控制方法 |
-
2023
- 2023-09-12 CN CN202311171003.7A patent/CN117289709A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106774379A (zh) * | 2017-03-09 | 2017-05-31 | 北京航天自动控制研究所 | 一种智能超螺旋强鲁棒姿态控制方法 |
| US20210141395A1 (en) * | 2017-08-02 | 2021-05-13 | South China University Of Technology | Stable flight control method for multi-rotor unmanned aerial vehicle based on finite-time neurodynamics |
| CN113377121A (zh) * | 2020-07-02 | 2021-09-10 | 北京航空航天大学 | 一种基于深度强化学习的飞行器智能抗扰动控制方法 |
| CN114200950A (zh) * | 2021-10-26 | 2022-03-18 | 北京航天自动控制研究所 | 一种飞行姿态控制方法 |
| CN114237267A (zh) * | 2021-11-02 | 2022-03-25 | 中国人民解放军海军航空大学航空作战勤务学院 | 基于强化学习的飞行机动决策的辅助方法 |
| CN114489107A (zh) * | 2022-01-29 | 2022-05-13 | 哈尔滨逐宇航天科技有限责任公司 | 一种飞行器双延迟深度确定性策略梯度姿态控制方法 |
| CN115437406A (zh) * | 2022-09-16 | 2022-12-06 | 西安电子科技大学 | 基于强化学习算法的飞行器再入跟踪制导方法 |
| CN116540783A (zh) * | 2023-06-20 | 2023-08-04 | 河南机电职业学院 | 多旋翼飞行器控制方法 |
Non-Patent Citations (5)
| Title |
|---|
| VIJAY V. PATEL, CHENGYU CAO, NAIRA HOVAKIMYAN, KEVIN A. WISE AND EUGENE LAVRETSKY: "L1 Adaptive Controller for Tailless Unstable Aircraft", 《IEEE》, 30 December 2007 (2007-12-30), pages 5272 - 5277 * |
| 刘西;南英;谢如恒;张绍良;: "DDPG优化基于动态逆的飞行器姿态控制", 计算机仿真, no. 07, 15 July 2020 (2020-07-15) * |
| 曹承钰，廖宇新，曹玉腾，李珺: "基于气动参数辨识的变体飞行器自适应控制方法", 《控制与信息技术》, no. 477, 30 December 2022 (2022-12-30), pages 8 - 16 * |
| 马少捷;惠俊鹏;王宇航;张旋: "变形飞行器深度强化学习姿态控制方法研究", 航天控制, no. 006, 31 December 2022 (2022-12-31) * |
| 高树一，林德福 ，郑多，胡馨予: "针对集群攻击的飞行器智能协同拦截策略", 《航空学报》, vol. 44, no. 18, 4 August 2023 (2023-08-04), pages 328301 - 1 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117518836A (zh) * | 2024-01-04 | 2024-02-06 | 中南大学 | 变体飞行器鲁棒深度强化学习制导控制一体化方法 |
| CN117518836B (zh) * | 2024-01-04 | 2024-04-09 | 中南大学 | 变体飞行器鲁棒深度强化学习制导控制一体化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111351488B (zh) | 飞行器智能轨迹重构再入制导方法 | |
| CN110806759B (zh) | 一种基于深度强化学习的飞行器航线跟踪方法 | |
| CN109725644A (zh) | 一种高超声速飞行器线性优化控制方法 | |
| CN112462792B (zh) | 一种基于Actor-Critic算法的水下机器人运动控制方法 | |
| CN111538241B (zh) | 一种平流层飞艇水平轨迹智能控制方法 | |
| CN113377121B (zh) | 一种基于深度强化学习的飞行器智能抗扰动控制方法 | |
| CN111994300B (zh) | 一种基于缩比模型的全尺寸飞行器飞行品质评定方法 | |
| CN113485304B (zh) | 一种基于深度学习故障诊断的飞行器分层容错控制方法 | |
| CN117289709A (zh) | 基于深度强化学习的高超声速变外形飞行器姿态控制方法 | |
| CN108427428B (zh) | 基于改进迭代算法的自适应滑模变结构航天器姿态控制方法 | |
| CN115220467A (zh) | 一种基于神经网络增量动态逆的飞翼飞行器姿态控制方法 | |
| CN114489107B (zh) | 一种飞行器双延迟深度确定性策略梯度姿态控制方法 | |
| CN114237268A (zh) | 一种基于深度强化学习的无人机强鲁棒姿态控制方法 | |
| CN116820134A (zh) | 基于深度强化学习的无人机编队保持控制方法 | |
| CN116620566A (zh) | 非合作目标附着多节点智能协同制导方法 | |
| CN116360258A (zh) | 基于固定时间收敛的高超声速变形飞行器抗干扰控制方法 | |
| CN115796021A (zh) | 一种基于神经网络的变体飞行器自适应pid控制参数整定方法 | |
| CN113821057B (zh) | 一种基于强化学习的行星软着陆控制方法及系统和存储介质 | |
| CN116088311A (zh) | 基于自适应神经网络扩张状态观测器的无人直升机二阶不确定滑模控制方法 | |
| CN116068894A (zh) | 基于双层强化学习的火箭回收制导方法 | |
| CN111708378B (zh) | 一种基于强化学习的导弹纵向姿态控制算法 | |
| Abouheaf et al. | An online reinforcement learning wing-tracking mechanism for flexible wing aircraft | |
| CN117784616B (zh) | 一种基于智能观测器组的高速飞行器故障重构方法 | |
| Chen et al. | Adaptive Dynamic Surface Saturated Control of Flexible Hypersonic Vehicle [J] | |
| CN117518836B (zh) | 变体飞行器鲁棒深度强化学习制导控制一体化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |