CN113050686B - 一种基于深度强化学习的作战策略优化方法及系统 - Google Patents
一种基于深度强化学习的作战策略优化方法及系统 Download PDFInfo
- Publication number
- CN113050686B CN113050686B CN202110294246.4A CN202110294246A CN113050686B CN 113050686 B CN113050686 B CN 113050686B CN 202110294246 A CN202110294246 A CN 202110294246A CN 113050686 B CN113050686 B CN 113050686B
- Authority
- CN
- China
- Prior art keywords
- missile
- neural network
- state
- network model
- enemy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000005457 optimization Methods 0.000 title claims abstract description 23
- 230000002787 reinforcement Effects 0.000 title claims abstract description 22
- 230000009471 action Effects 0.000 claims abstract description 50
- 238000003062 neural network model Methods 0.000 claims abstract description 48
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 39
- 230000006870 function Effects 0.000 claims abstract description 31
- 230000035515 penetration Effects 0.000 claims description 40
- 230000001133 acceleration Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005096 rolling process Methods 0.000 claims description 4
- 230000007123 defense Effects 0.000 abstract description 11
- 230000000694 effects Effects 0.000 abstract description 7
- 230000002265 prevention Effects 0.000 abstract description 5
- 230000007774 longterm Effects 0.000 abstract description 3
- 239000002245 particle Substances 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000662429 Fenerbahce Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000035899 viability Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/107—Simultaneous control of position or course in three dimensions specially adapted for missiles
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开了一种基于深度强化学习的作战策略优化方法及系统，该方法包括：构建高超声速滑翔弹模型，确定导弹的当前状态；构建神经网络模型，神经网络模型的输入为突防环境，输出为动作集；根据突防环境，基于神经网络模型，得到预测动作集；根据当前状态以及预测动作集，计算导弹的下一步状态并更新高超声速滑翔弹模型；采用Minimax算法计算敌方状态；根据下一步状态以及敌方状态计算奖惩函数；根据奖惩函数优化神经网络模型；基于优化后的神经网络模型得到最优作战策略。本发明具有短距离精确操作和长期规划预测的能力，推演效果符合预期，同时其具有较强的实时决策能力，可以很大程度的提高突防成功的概率，可作为滑翔弹突防的决策依据。
Description
技术领域
本发明涉及作战策略决策领域，特别是涉及一种基于深度强化学习的作战策略优化方法及系统。
背景技术
随着近年来agent自主决策技术的日渐成熟，高超声速飞行器再入段突防自主决策技术得到了较为广泛的研究。目前主要的高超声速飞行器自主决策方法主要分为两类：一类是基于数学模型的传统算法，如矩阵博弈算法、影像图算法、近似动态规划算法、微分博弈等，而另一类是基于人工智能的智能算法，包括利用专家系统、神经网络、遗传算法和强化学习等方法。传统算法将突防问题看作一个具体的数学模型，不能做到完全模拟突防环境。
发明内容
本发明的目的是提供一种基于深度强化学习的作战策略优化方法及系统，寻找最优空战策略，同时其具有较强的实时决策能力，能够很大程度的提高突防成功的概率，可作为滑翔弹突防的决策依据。
为实现上述目的，本发明提供了如下方案：
一种基于深度强化学习的作战策略优化方法，包括：
构建高超声速滑翔弹模型，确定导弹的当前状态；
获取突防环境；
构建神经网络模型，所述神经网络模型的输入为突防环境，输出为动作集；
根据所述突防环境，基于所述神经网络模型，得到预测动作集；
根据当前状态以及所述预测动作集，计算所述导弹的下一步状态并更新所述高超声速滑翔弹模型；所述下一步状态为所述预测动作集对应的导弹状态；
采用Minimax算法计算敌方状态；
根据所述下一步状态以及所述敌方状态计算奖惩函数；
根据所述奖惩函数优化所述神经网络模型；
基于优化后的神经网络模型得到最优作战策略。
进一步地，所述高超声速滑翔弹模型的表达式如下：
其中，(x，y)为导弹位置坐标，V为导弹的速度，Ψ为偏航角，m为飞行器质量，g为重力加速度，L为升力，φ为滚转角。
进一步地，
进一步地，所述突防环境包括我方高超声速导弹轴线相对敌方拦截弹的角度、敌方拦截弹轴线相对我方弹的角度、我方高超声速导弹轴线相对目标的角度、我方导弹距离敌方拦截弹的距离以及我方导弹与海上目标的距离。
进一步地，所述动作集的表达式如下：
a＝[w,u]
其中，a为动作集，w为滚转角速度，u为加速度。
本发明还提供了一种基于深度强化学习的作战策略优化系统，包括：
第一模型构建模块，用于构建高超声速滑翔弹模型，确定导弹的当前状态；
获取模块，用于获取突防环境；
第二模型构建模块，用于构建神经网络模型，所述神经网络模型的输入为突防环境，输出为动作集；
预测模块，用于根据所述突防环境，基于所述神经网络模型，得到预测动作集；
下一步状态计算模块，用于根据当前状态以及所述预测动作集，计算所述导弹的下一步状态并更新所述高超声速滑翔弹模型；所述下一步状态为所述预测动作集对应的导弹状态；
敌方状态计算模块，用于采用Minimax算法计算敌方状态；
奖惩函数函数计算模块，用于根据所述下一步状态以及所述敌方状态计算奖惩函数；
优化模块，用于根据所述奖惩函数优化所述神经网络模型；
最优作战策略确定模块，用于基于优化后的神经网络模型得到最优作战策略。
进一步地，所述高超声速滑翔弹模型的表达式如下：
其中，(x，y)为导弹位置坐标，V为导弹的速度，Ψ为偏航角，m为飞行器质量，g为重力加速度，L为升力，φ为滚转角。
进一步地，所述高超声速滑翔弹模型的约束包括热流率约束、飞行动压约束以及过载约。
进一步地，所述突防环境包括我方高超声速导弹轴线相对敌方拦截弹的角度、敌方拦截弹轴线相对我方弹的角度、我方高超声速导弹轴线相对目标的角度、我方导弹距离敌方拦截弹的距离以及我方导弹与海上目标的距离。
进一步地，所述动作集的表达式如下：
a＝[w,u]
其中，a为动作集，w为滚转角速度，u为加速度。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开了一种基于深度强化学习的作战策略优化方法及系统，该方法包括：构建高超声速滑翔弹模型，确定导弹的当前状态；获取突防环境；构建神经网络模型，所述神经网络模型的输入为突防环境，输出为动作集；根据所述突防环境，基于所述神经网络模型，得到预测动作集；根据当前状态以及所述预测动作集，计算所述导弹的下一步状态并更新所述高超声速滑翔弹模型；所述下一步状态为所述预测动作集对应的导弹状态；采用Minimax算法计算敌方状态；根据所述下一步状态以及所述敌方状态计算奖惩函数；根据所述奖惩函数优化所述神经网络模型；基于优化后的神经网络模型得到最优作战策略。本发明具有短距离精确操作和长期规划预测的能力，推演效果符合预期，同时其具有较强的实时决策能力，可以很大程度的提高突防成功的概率，可作为滑翔弹突防的决策依据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于深度强化学习的作战策略优化方法的流程图；
图2为二维模型示意图；
图3为DQN算法框架；
图4为突防环境定义；
图5为Q网络架构；
图6为敌我双方的实时决策输出曲线图；
图7为态势预测对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于深度强化学习的作战策略优化方法及系统，寻找最优空战策略，同时其具有较强的实时决策能力，能够很大程度的提高突防成功的概率，可作为滑翔弹突防的决策依据。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明公开的基于深度强化学习的作战策略优化方法，包括以下步骤：
步骤101：构建高超声速滑翔弹模型，确定导弹的当前状态。
所述高超声速滑翔弹模型的表达式如下：
其中，(x，y)为导弹位置坐标，V为导弹的速度，Ψ为偏航角，m为飞行器质量，g为重力加速度，L为升力，φ为滚转角。
所述高超声速滑翔弹模型的约束包括热流率约束、飞行动压约束以及过载约。
1)热流率约束
KQρnVm≤Qmax
一般取n＝0.5，m＝3.5，KQ是与飞行器头部截面积相关的参数，为常值，Qmax是飞行器可承受热流率的最大值。
2)飞行动压约束q
其中qmax为最大动压约束。
3)过载约束
其中，nLmax为最大允许过载约束。
步骤102：获取突防环境。所述突防环境包括我方高超声速导弹轴线相对敌方拦截弹的角度、敌方拦截弹轴线相对我方弹的角度、我方高超声速导弹轴线相对目标的角度、我方导弹距离敌方拦截弹的距离以及我方导弹与海上目标的距离。
步骤103：构建神经网络模型，所述神经网络模型的输入为突防环境，输出为动作集。
步骤104：根据所述突防环境，基于所述神经网络模型，得到预测动作集。
步骤105：根据当前状态以及所述预测动作集，计算所述导弹的下一步状态并更新所述高超声速滑翔弹模型；所述下一步状态为所述预测动作集对应的导弹状态。
步骤106：采用Minimax算法计算敌方状态。
敌方决策采用Minimax算法，该算法核心思想起源于博弈论，是一种回溯算法，假定敌方每次都做出最优决策。算法从当前状态出发评估每个可能的动作对游戏的后续影响，建立关于后续得分的树状结构，以当前状态为根节点，N步后的游戏状态为树的叶子结点，同时从根节点开始轮流令每一层为最大化器和最小化器。然后用评估函数分析每个叶节点的得分，然后推算其父节点的得分，对于最大化器层的节点，选择子节点中的最高分作为该父节点的得分；对于最小化器层的节点，选子节点中的最低分作为父节点的得分。如此反推到根节点下的第一层子节点，则该算法最终选择第一层子节点中的最大值作为最佳决策。在本发明中预估接下来3步所有可能的得分情况，从而得出最终决策。
步骤107：根据所述下一步状态以及所述敌方状态计算奖惩函数。
步骤108：根据所述奖惩函数优化所述神经网络模型。
步骤109：基于优化后的神经网络模型得到最优作战策略。
下面详细介绍本发明的原理：
(一)高超声速滑翔弹建模
高超声速飞行器进行突防时，虽然是在三维空间作战，但突防主要发生在高度相对稳定的阶段，故为简化模型，将三维质点模型简化为二维质点模型，用二维质点模型来描述高超声速飞行器的运动状态。高超声速飞行器的运动模型基于以下假设：
1)假设飞行器是刚体，即忽略变形；
2)认为地球是惯性坐标系，即忽略自转和公转；
3)忽略地球的曲率，即假设地球表面是平的；
导弹模型：
将飞行器视为质点，在惯性坐标系中其运动学方程与导弹的质点动力学方程为：
在上述两组公式中，τ代表航迹倾斜角，Ψ代表偏航角，μ是滚转角，α代表迎角，m代表飞行器质量，T代表推力，D代表空气阻力，L代表升力，vu代表速度，g代表重力加速度。
升力和阻力计算公式如下：
ρ表示飞行器所处空气的密度，S代表飞行器截面积，CL表示升力系数，CD表示阻力系数。
本模型由三自由度模型简化而来，由于只考虑二自由度，故令俯仰角θ＝0，侧滑角β＝0。二自由度模型示意图如图2所示，Ψ为偏航角，φ为滚转角，则可得：
其中，(x，y)为导弹位置坐标，V为导弹的速度。
考虑的约束：
1)热流率约束
KQρnVm≤Qmax
一般取n＝0.5，m＝3.5，KQ是与飞行器头部截面积相关的参数，为常值，Qmax是飞行器可承受热流率的最大值。
2)飞行动压约束q
其中qmax为最大动压约束。
3)过载约束
其中，nLmax为最大允许过载约束。
由于突防重在研究过程，注重动力学方面的约束，故假设满足热流率约束，主要考虑飞行动压约束和过载约束。
(二)DQN算法模型搭建
Q-learning是一个马尔科夫决策过程，整个决策过程的奖赏值可以表示为如下所示，γ是衰减因子。
Rt＝rt+γrt+1+γ2rt+2+...+γn-trn
对于策略π，令Jπ为总奖赏的期望值。则一般情况下，Q-learning的目标是估算得到满足下式的最优策略π*。其中rt表示t时刻的奖赏值，Eπ[·]是对于策略π和当前状态下的期望奖赏值。
对于稳定的策略π，定义状态值函数为
为了策略优化，定义状态-动作函数Qπ(s,a)如下：
根据Bellman最优理论，可以得到下式，R(s,a)是在状态s采取动作a时的理想期望值。
Q*(s,a)＝E[Rt+1+γmaxa′Q(st+1,a′)|St＝s,At＝a]
因此，最优状态-动作函数为
所以最优策略可以用下式得到：
差分学习是强化学习的关键思想，它以无模型、在线的方式直接从时间(TD)误差中学习经验，更新规则如下，α是学习率，[rt+γV(st+1)-V(st)]被称为TD误差。
V(st)←V(st)+α[rt+γV(st+1)-V(st)
由此可得，Q-learning中动作值函数的更新规则如下，该算法是离线控制算法。
Q(st,at)←Q(st,at)+α[rt+γQ(st+1,at+1)-Q(st,at)]
DQN利用深度学习对Q-learning的一个扩展，其应用深度学习方法解决状态空间较大时的Q表存储问题，从高度结构化的数据中心提取特征，代替Q-table。网络输入为当前状态和所采取的动作，相应Q值为输出，DQN框架示意图如图3。
在本发明中，引入四部分优化来提升算法的性能：引入ε-贪婪算法、引入DoubleDQN、引入Dueling DQN、引入加权经验重播。
(三)建立推演决策模型的导弹状态空间
导弹状态s由位置、速度、航向角和倾斜角确定。x，y表示导弹的位置，在x-y平面内没有约束。v是导弹的速度，限制在导弹的速度范围之间。航向角Ψ的范围是[-π,π]，导弹的转弯能力在很大程度上取决于滚转角，用φ表示。
s＝[x,y,v,ψ,φ]
(四)推演决策模型的突防环境建模
突防过程考虑一枚拦截弹的情况，其中下标r和b分别表示我方与敌方。为了提取状态的相对特征，采用方位角AA、AAA、ATA和距离R、RR用来描述突防状态，如图4所示。AA表示我方高超声速导弹轴线相对敌方拦截弹的角度；ATA表示敌方拦截弹轴线相对我方弹的角度；AAA表示我方高超声速导弹轴线相对目标的角度；定义R为我方导弹距离敌方拦截弹的距离；RR为我方导弹与海上目标的距离。
本发明采用[cos(ATA)，sin(ATA)，cos(AA)，sin(AA)，cos(AAA)，sin(AAA)]作为网络的部分特征输入，更好的反应双方速度和方位角等信息，网络的全部输入x如下所示：
(五)建立推演决策模型的动作集
动作集按下式定义，其中w为滚转角速度，控制滚转角，进而决定飞行器的偏航角速度，决定导弹的转弯能力，主要控制方向。加速度用u表示，可以控制飞行器的速度。
a＝[w,u]
离散的动作空间较有利于DQN算法。故定义五个有效动作以简化策略，分别表示左转40°、左转20°、右转40°、右转20°、保持倾斜角和速度，由于导弹的轴向速度几乎不可控，这里的加减速定义为极小值，具体值如下：
a∈{[0,-40°/s],[0,40°/s],[0,-20°/s],[0,20°/s],[0,0]}
此外，依据ADC评估方法选定敌我双方作战系统的效能系数，综合考虑敌我双方作战系统可用性、可信性、生存能力、突防能力、毁伤能力、等多方面影响因素，在动作集选择当中设定扰动系数，根据双方作战效能，模拟双方的作战场景，不同环境下各能力评估方式与权重系数由专家给出。
(六)建立推演决策模型的状态转移函数
该仿真基于质点动力学进行仿真。每次采取行动后，双方导弹根据状态转移函数分别更新其状态，每个动作在一个固定时间δt内重复N次，本发明中N＝5，δt＝0.05s。即两次决策中间会相隔0.25s。更新后的偏航角用于更新偏航速率
该特征可以确保导弹不会急速改变飞行方向，而使飞行器制定长期的策略。
(七)建立推演决策模型的奖赏函数
我方导弹的目标是达到并维持相对敌方拦截弹的位置优势，这是在真实突防中决定性条件。所以为了量化目标，为每个系统定义了奖励函数。在有限的时间内可能出现三种结果：突防成功、失败、平局。我方在敌我距离为R0时开始机动突防，当我方与目标距离小于毁伤半径RR时为突防成功，当敌方与我方导弹距离小于敌方毁伤半径RT时即为突防失败，当在仿真规定时间内未产生上述结果时为平局。
(八)建立推演决策模型的敌方策略模型
敌方决策采用Minimax算法，该算法核心思想起源于博弈论，是一种回溯算法，假定敌方每次都做出最优决策。算法从当前状态出发评估每个可能的动作对游戏的后续影响，建立关于后续得分的树状结构，以当前状态为根节点，N步后的游戏状态为树的叶子结点，同时从根节点开始轮流令每一层为最大化器和最小化器。然后用评估函数分析每个叶节点的得分，然后推算其父节点的得分，对于最大化器层的节点，选择子节点中的最高分作为该父节点的得分；对于最小化器层的节点，选子节点中的最低分作为父节点的得分。如此反推到根节点下的第一层子节点，则该算法最终选择第一层子节点中的最大值作为最佳决策。在本发明中预估接下来3步所有可能的得分情况，从而得出最终决策。
(九)仿真
仿真中，我方利用Q-network选取机动动作，然后更新双方导弹状态，再计算当前突防环境状态并计算得分，将此回合的数据包括双方状态、采取动作、得分一起存入记忆库，如果记忆库满，则对记忆库进行学习，然后判断本次突防是否结束，如果没有，则继续决策突防，直至突防结束。本发明使用与Double DQN相同的方法来训练网络，并使用双重网络架构进行多种操作，并采用SumTree结构进行加权采样。
该网络体系结构主要参考池化网络，具有两个分支来分别估计状态值和操作优势。本发明采用完整全连接层来对输入特征进行转换，再使用完整连接层的另外两个分支来处理高级要素，以获取状态值和操作优势。在最后一层，将状态值分支的输出与归一化的操作优势一起添加为Q因子。第一层有100个节点，第二层有30个节点。所有层均采用Tanh激活函数。网络结构图如图5所示。
本发明利用改进DQN算法进行决策训练，敌我双方模型完全一致。代码编写基于Pytorch框架完成，在GPU训练完成，一个回合即为一场真实的突防战斗，每一场战斗限制在60s内，即每一场最多有240步。通过遍历坐标平面建立所有位置的状态空间数据库，可以达到实现各种突防情形的效果，每一回合的初始状态在状态空间中随机抽取。学习率设置为0.001，衰减系数为0.99，批处理大小设置为128，记忆库大小为215＝32768，优先经验传播中的指数α和β分别设置为0.6和0.4。在开始的100000步中，ε从1.0线性减小到0.1，在此之后，ε固定为0.1。选用Adamas优化器。最终测试时，选输赢比最高的一组模型进行测试，敌我双方(分别攻防2000回合，通过对结果的统计得到最终的态势预测结果。
图6为敌我双方的实时决策输出曲线图。结果表明，在2000次不同的初始状态中，敌我双方经过决策作战，我方获胜比例约为67％，即在当前的参数设置下我方打击与攻防态势相对占优。绘制敌我双方双方的最终的态势预测结果对比图如图7，可以看出在当前参数的设定下，我方战场态势占优，推演效果符合预期。
该算法具有较强的实时决策能力，利用深度强化学习方法，考虑真实作战因素的影响，可以有效的抽取整体战场态势体现出的态势特征。通过强化学习方法不断地训练并且评估每个训练回合内推演的效果，持续优化得到最佳作战策略。特征和奖励是作为神经网络的输入和反馈精心开发的。训练结果显示，该算法具有较强的实时决策能力，推演效果符合预期，可以很大程度的提高突防成功的概率，为我方作战提供辅助决策作用。
本发明还提供了一种基于深度强化学习的作战策略优化系统，包括：
第一模型构建模块，用于构建高超声速滑翔弹模型，确定导弹的当前状态。
获取模块，用于获取突防环境。
第二模型构建模块，用于构建神经网络模型，所述神经网络模型的输入为突防环境，输出为动作集。
预测模块，用于根据所述突防环境，基于所述神经网络模型，得到预测动作集。
下一步状态计算模块，用于根据当前状态以及所述预测动作集，计算所述导弹的下一步状态并更新所述高超声速滑翔弹模型；所述下一步状态为所述预测动作集对应的导弹状态。
敌方状态计算模块，用于采用Minimax算法计算敌方状态。
奖惩函数函数计算模块，用于根据所述下一步状态以及所述敌方状态计算奖惩函数。
优化模块，用于根据所述奖惩函数优化所述神经网络模型。
最优作战策略确定模块，用于基于优化后的神经网络模型得到最优作战策略。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本发明中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种基于深度强化学习的作战策略优化方法，其特征在于，包括：
构建高超声速滑翔弹模型，确定导弹的当前状态；
获取突防环境；所述突防环境包括我方高超声速导弹轴线相对敌方拦截弹的角度、敌方拦截弹轴线相对我方弹的角度、我方高超声速导弹轴线相对目标的角度、我方导弹距离敌方拦截弹的距离以及我方导弹与海上目标的距离；
构建神经网络模型，所述神经网络模型的输入为突防环境，输出为动作集；所述动作集的表达式如下：
a＝[w,u]
其中，a为动作集，w为滚转角速度，u为加速度；
根据所述突防环境，基于所述神经网络模型，得到预测动作集；
根据当前状态以及所述预测动作集，计算所述导弹的下一步状态并更新所述高超声速滑翔弹模型；所述下一步状态为所述预测动作集对应的导弹状态；
采用Minimax算法计算敌方状态；
根据所述下一步状态以及所述敌方状态计算奖惩函数；
根据所述奖惩函数优化所述神经网络模型；
基于优化后的神经网络模型得到最优作战策略。
2.根据权利要求1所述的基于深度强化学习的作战策略优化方法，其特征在于，所述高超声速滑翔弹模型的表达式如下：
其中，(x，y)为导弹位置坐标，V为导弹的速度，Ψ为偏航角，m为飞行器质量，g为重力加速度，L为升力，φ为滚转角。
3.根据权利要求2所述的基于深度强化学习的作战策略优化方法，其特征在于，所述高超声速滑翔弹模型的约束包括热流率约束、飞行动压约束以及过载约束。
4.一种基于深度强化学习的作战策略优化系统，其特征在于，包括：
第一模型构建模块，用于构建高超声速滑翔弹模型，确定导弹的当前状态；
获取模块，用于获取突防环境；所述突防环境包括我方高超声速导弹轴线相对敌方拦截弹的角度、敌方拦截弹轴线相对我方弹的角度、我方高超声速导弹轴线相对目标的角度、我方导弹距离敌方拦截弹的距离以及我方导弹与海上目标的距离；
第二模型构建模块，用于构建神经网络模型，所述神经网络模型的输入为突防环境，输出为动作集；所述动作集的表达式如下：
a＝[w,u]
其中，a为动作集，w为滚转角速度，u为加速度；
预测模块，用于根据所述突防环境，基于所述神经网络模型，得到预测动作集；
下一步状态计算模块，用于根据当前状态以及所述预测动作集，计算所述导弹的下一步状态并更新所述高超声速滑翔弹模型；所述下一步状态为所述预测动作集对应的导弹状态；
敌方状态计算模块，用于采用Minimax算法计算敌方状态；
奖惩函数函数计算模块，用于根据所述下一步状态以及所述敌方状态计算奖惩函数；
优化模块，用于根据所述奖惩函数优化所述神经网络模型；
最优作战策略确定模块，用于基于优化后的神经网络模型得到最优作战策略。
5.根据权利要求4所述的基于深度强化学习的作战策略优化系统，其特征在于，所述高超声速滑翔弹模型的表达式如下：
其中，(x，y)为导弹位置坐标，V为导弹的速度，Ψ为偏航角，m为飞行器质量，g为重力加速度，L为升力，φ为滚转角。
6.根据权利要求5所述的基于深度强化学习的作战策略优化系统，其特征在于，所述高超声速滑翔弹模型的约束包括热流率约束、飞行动压约束以及过载约束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110294246.4A CN113050686B (zh) | 2021-03-19 | 2021-03-19 | 一种基于深度强化学习的作战策略优化方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110294246.4A CN113050686B (zh) | 2021-03-19 | 2021-03-19 | 一种基于深度强化学习的作战策略优化方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113050686A CN113050686A (zh) | 2021-06-29 |
| CN113050686B true CN113050686B (zh) | 2022-03-25 |
Family
ID=76513493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110294246.4A Active CN113050686B (zh) | 2021-03-19 | 2021-03-19 | 一种基于深度强化学习的作战策略优化方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113050686B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113435598B (zh) * | 2021-07-08 | 2022-06-21 | 中国人民解放军国防科技大学 | 知识驱动下的兵棋推演智能决策方法 |
| CN114237287A (zh) * | 2021-12-10 | 2022-03-25 | 中国空间技术研究院 | 基于滑翔弹能力约束的天基中制导信息应用方法 |
| CN114565261B (zh) * | 2022-02-24 | 2024-07-02 | 华中科技大学 | 基于gmqn的协同作战控制方法、系统、设备及介质 |
| CN115357051B (zh) * | 2022-10-18 | 2023-02-03 | 北京理工大学 | 变形与机动一体化的规避与突防方法 |
| CN116501086B (zh) * | 2023-04-27 | 2024-03-26 | 天津大学 | 一种基于强化学习的飞行器自主规避决策方法 |
| CN116430900B (zh) * | 2023-05-04 | 2023-12-05 | 四川大学 | 基于深度强化学习的高超声速弹头的博弈轨迹规划方法 |
| CN116880186B (zh) * | 2023-07-13 | 2024-04-16 | 四川大学 | 一种数据驱动的自适应动态规划空战决策方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111176892B (zh) * | 2019-12-23 | 2023-06-09 | 大连理工大学 | 一种基于备份策略的对抗式搜索方法 |
| CN110928329B (zh) * | 2019-12-24 | 2023-05-02 | 北京空间技术研制试验中心 | 一种基于深度q学习算法的多飞行器航迹规划方法 |
| CN111240344B (zh) * | 2020-02-11 | 2023-04-07 | 哈尔滨工程大学 | 基于强化学习技术的自主水下机器人无模型控制方法 |
| CN112052511A (zh) * | 2020-06-15 | 2020-12-08 | 成都蓉奥科技有限公司 | 一种基于深度随机博弈的空战机动策略生成技术 |
| CN111881518A (zh) * | 2020-07-30 | 2020-11-03 | 中国人民解放军火箭军工程大学 | 一种智能的高超声速飞行器再入机动制导方法及系统 |
-
2021
- 2021-03-19 CN CN202110294246.4A patent/CN113050686B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113050686A (zh) | 2021-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113050686B (zh) | 一种基于深度强化学习的作战策略优化方法及系统 | |
| CN113791634B (zh) | 一种基于多智能体强化学习的多机空战决策方法 | |
| CN113093802B (zh) | 一种基于深度强化学习的无人机机动决策方法 | |
| CN113221444B (zh) | 一种面向空中智能博弈的行为模仿训练方法 | |
| CN113095481A (zh) | 一种基于并行自我博弈的空战机动方法 | |
| Wang et al. | Improving maneuver strategy in air combat by alternate freeze games with a deep reinforcement learning algorithm | |
| CN113741500B (zh) | 仿哈里斯鹰智能捕食优化的无人机空战机动决策方法 | |
| CN113962012B (zh) | 无人机对抗策略优化方法及装置 | |
| CN113625740B (zh) | 一种基于迁移学习鸽群优化的无人机空战博弈方法 | |
| CN115291625A (zh) | 基于多智能体分层强化学习的多无人机空战决策方法 | |
| CN114840020A (zh) | 一种基于改进鲸鱼算法的无人机飞行轨迹规划方法 | |
| CN114063644B (zh) | 基于鸽群反向对抗学习的无人作战飞机空战自主决策方法 | |
| CN113282061A (zh) | 一种基于课程学习的无人机空中博弈对抗的解决方法 | |
| CN115755956B (zh) | 一种知识与数据协同驱动的无人机机动决策方法与系统 | |
| CN111773722B (zh) | 一种模拟环境中的战斗机规避机动策略集生成方法 | |
| CN115933717A (zh) | 基于深度强化学习的无人机智能空战机动决策训练系统及方法 | |
| CN116700079A (zh) | 基于ac-nfsp的无人机对抗占位机动控制方法 | |
| CN113625569A (zh) | 一种基于深度强化学习和规则驱动的小型无人机防控混合决策方法及系统 | |
| Chen et al. | Design and verification of UAV maneuver decision simulation system based on deep q-learning network | |
| Xianyong et al. | Research on maneuvering decision algorithm based on improved deep deterministic policy gradient | |
| Dong et al. | Trial input method and own-aircraft state prediction in autonomous air combat | |
| CN113741186A (zh) | 一种基于近端策略优化的双机空战决策方法 | |
| CN117908565A (zh) | 基于最大熵多智能体强化学习的无人机安全路径规划方法 | |
| CN117313561A (zh) | 无人机智能决策模型训练方法及无人机智能决策方法 | |
| Zhu et al. | Mastering air combat game with deep reinforcement learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |