CN116736729A - 一种抗感知误差的视距内空战机动策略生成方法 - Google Patents
一种抗感知误差的视距内空战机动策略生成方法 Download PDFInfo
- Publication number
- CN116736729A CN116736729A CN202311014421.5A CN202311014421A CN116736729A CN 116736729 A CN116736729 A CN 116736729A CN 202311014421 A CN202311014421 A CN 202311014421A CN 116736729 A CN116736729 A CN 116736729A
- Authority
- CN
- China
- Prior art keywords
- situation
- air combat
- error
- sight
- maneuver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000008447 perception Effects 0.000 title claims abstract description 11
- 238000004088 simulation Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 239000003795 chemical substances by application Substances 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 20
- 230000008901 benefit Effects 0.000 claims abstract description 18
- 238000005457 optimization Methods 0.000 claims abstract description 18
- 239000002243 precursor Substances 0.000 claims abstract description 14
- 238000003062 neural network model Methods 0.000 claims abstract description 13
- 230000002787 reinforcement Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000007493 shaping process Methods 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 17
- 230000009471 action Effects 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 230000002349 favourable effect Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 2
- 239000013598 vector Substances 0.000 description 11
- 230000005484 gravity Effects 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/092—Reinforcement learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Automation & Control Theory (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及视距内空战机动策略生成技术领域，开了一种抗感知误差的视距内空战机动策略生成方法，包括，根据无人机动力学方程，分别构建敌方战机和我方战机的动力学模型，并设定视距内空战优势机动；搭建符合马尔可夫性、具有态势感知误差的仿真训练环境，并设定敌方智能机动策略；使用基于门控循环单元提取特征的近端策略优化算法，以前序态势序列作为近端策略优化算法态势观测输入，通过优势态势解算单元、门控循环单元处理态势输入，同时对训练过程进行奖励塑造，在仿真训练环境对强化学习决策智能体训练，得到智能体神经网络模型。通过本发明所提供的技术方案，能够准确做出视距内空战优势机动决策。
Description
技术领域
本发明涉及视距内空战机动策略生成技术领域，具体是一种抗感知误差的视距内空战机动策略生成方法。
背景技术
自21世纪以来，制空权在现代战争中的重要性愈发突出，可以预见，未来空中作战将成为主导战争进程、影响战争胜负的核心领域。随着武器装备技术的发展，空战中的电子战烈度不断提升，导致无人机机载传感器对空战态势的感知容易出现误差，面对感知误差，传统机动决策方法难以快速有效作出优势机动决策。
深度强化学习在空战机动决策中虽已取得了重要进展，但现有方法并未考虑空战态势感知误差对深度强化学习训练的影响。
发明内容
本发明的目的在于克服现有技术的不足，提供一种抗感知误差的视距内空战机动策略生成方法，包括如下步骤:
S1，根据无人机动力学方程，分别构建敌方战机和我方战机的动力学模型，并根据敌方战机和我方战机的动力学模型构建视距内一对一空战相对态势模型，并设定视距内空战优势机动；
S2，搭建符合马尔可夫性、具有态势感知误差的仿真训练环境，并设定敌方智能机动策略；
S3，使用基于门控循环单元提取特征的近端策略优化算法，以前序态势序列作为近端策略优化算法态势观测输入，通过优势态势解算单元、门控循环单元处理态势输入，同时对训练过程进行奖励塑造，在仿真训练环境对强化学习决策智能体训练，得到智能体神经网络模型；
S4:使用训练得到的智能体神经网络模型，在视距内空战场景中实时生成机动策略。
进一步：步骤S2中所述的搭建符合马尔可夫性、具有态势感知误差的仿真训练环境，并设定敌方智能机动策略，包括：
S201，根据S1中构建的敌方战机和我方战机的动力学模型和视距内一对一空战相对态势模型，构建符合马尔可夫性的空战仿真解算引擎，实现对视距内一对一空战态势变化的仿真解算；
S202，对我方无人机获取的态势感知数据加入态势感知误差偏移量，以模拟机载感知设备对态势感知的误差；
S203，定义和构建空战仿真解算引擎与无人机控制端的数据交互接口，搭建仿真训练环境，并设定敌机机动策略。
进一步：所述的步骤S3中，使用基于门控循环单元提取特征的近端策略优化算法，以前序态势序列作为近端策略优化算法态势观测输入，通过优势态势解算单元、门控循环单元处理态势输入，同时对训练过程进行奖励塑造，在仿真训练环境对强化学习决策智能体训练，得到智能体神经网络模型，包括：
S301，设置优势态势解算单元，通过计算相对态势、剔除绝对态势与无用态势、计算俯仰优势值、量纲归一化处理的步骤，压缩状态空间维度，同时保留状态序列空间内的隐藏特征信息；
S302，根据空战真实态势数据的确定性与连续性、相邻时刻态势感知数据的相关性，在单一时刻将当前观测态势及前序态势合并，得到前序态势序列：
，作为近端策略优化算法态势观测预输入；
S303，对训练过程中仿真环境反馈的单步奖励函数进行奖励塑造，设计可量化空战机动优势的奖励塑造方法，得到单步奖励函数：
其中为量化后的距离奖励，/>为距离奖励系数，/>为高度奖励，/>为高度奖励系数，/>为追击角奖励，/>为追击角奖励系数，/>为逃逸角奖励，/>为逃逸角奖励系数，/>为速度奖励，/>为速度奖励系数，/>为航迹保持奖励，/>为航迹保持奖励系数；
S304，使用基于门控循环单元提取特征的近端策略优化算法控制，使用门控循环单元融合前序态势序列输出隐藏特征/>作为Actor神经网络的输入，进行动作选择，并在反向传播过程中将神经网络误差值梯度用于更新/>，同时更新Actor和Critic网络。
进一步：步骤S4中使用训练得到的智能体神经网络模型，在视距内空战场景中实时生成机动策略包括：
根据近端策略优化算法目标函数：
使用训练好的智能体神经网络模型计算并输出当前状态下采取动作/>的优势函数/>和概率密度函数/>，智能体根据概率密度函数/>，采用限制采样方差的正态分布采样方法选择机动动作输出，引导战机占据有利态势位置。
进一步，步骤S202中所述的对我方无人机获取的态势感知数据加入态势感知误差偏移量，以模拟机载感知设备对态势感知的误差，包括：
步骤S202中所述的对我方无人机获取的态势感知数据加入态势感知误差偏移量，以模拟机载感知设备对态势感知的误差，包括：
S20201：根据我方无人机与敌方无人机的欧氏距离构建误差强度系数：
式中，为我方无人机与敌方无人机的欧氏距离，/>分别代表机载传感器能精确感知低级态势的距离和感知误差达到最大的距离，/>为误差强度系数；
S20202：设计随机误差系数：
式中，为随机误差系数；
得到环境对态势感知的误差偏移量：
式中，为环境对态势感知的误差偏移量，/>为视距内空战仿真环境内真实态势感知数据；/>为误差强度系数；
S20203：得到我方无人机最终态势感知数据为：
即对各项真实态势数据随机加上或减去态势感知误差偏移量。
本发明的有益效果是： 本发明通过将前序态势序列作为观测输入、使用门控循环单元融合态势隐藏特征，有效减轻了态势感知误差对智能体决策的影响，确保所生成的策略在态势感知误差情况下能够正确实现优势机动决策，具有较好的鲁棒性；
本发明使用基于深度强化学习方法中的近端策略优化算法，经智能体神经网络模型输出目标函数、生成实时策略的过程耗时不超过10ms，决策响应的实时性强。
本发明通过构建战机动力学模型、空战相对态势模型、搭建仿真环境的手段，提供了适用于强化学习训练、高仿真度的训练环境，对现实空战问题的适应性强、泛化性能好。
本发明设置了独特的训练辅助手段，能够适应态势感知误差环境下的深度强化学习训练需要，帮助深度强化学习训练更快收敛、收敛到更优水平。
附图说明
图1为一种抗感知误差的视距内空战机动策略生成方法的流程图；
图2为本发明实施例的无人机水平面动力学模型；
图3为本发明实施例的无人机垂直面动力学模型；
图4为本发明实施例的视距内空战相对态势模型；
图5为本发明实施例中使用基于门控循环单元提取特征的近端策略优化算法进行强化学习训练的流程图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
为了使本发明的目的，技术方案及优点更加清楚明白，结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
而且，术语“包括”，“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程，方法，物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程，方法，物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程，方法，物品或者设备中还存在另外的相同要素。
以下结合实施例对本发明的特征和性能作进一步的详细描述。
如图1所示，在本实施例中，我方无人机对空战态势的感知存在误差，需要在此情况下通过一系列机动策略，完成针对敌机的优势机动，占据有利空战位置。使用一种抗感知误差的视距内空战机动策略生成技术，实时生成机动策略，引导我方无人机完成优势机动；如图1所示，该方法包括下述步骤：
S1:确定无人机机动仿真模型，以此为基础构建视距内一对一空战相对态势模型；
S2:搭建符合马尔可夫性、具有态势感知误差的仿真训练环境，设定敌机智能机动策略；
S3:使用基于门控循环单元提取特征的近端策略优化算法，以前序态势序列作为态势观测输入，通过设置优势态势解算单元和门控循环单元、进行奖励塑造共三重手段辅助，在仿真训练环境训练强化学习决策智能体；
S4:我机控制智能体使用训练得到的神经网络模型，在视距内空战场景中实时生成机动策略，引导我方无人机完成优势机动。
所述步骤S1具体包括以下步骤：
在本实施例中，将敌我无人机均视为对称且质量分布均匀的理想刚体模型，并假设实验全程所处空域的重力加速度、空气密度和无人机自身质量始终保持不变，假设飞机速度方向与机身朝向相同。同时，不考虑地球自转、曲率等因素对无人机运动的影响。使用三自由度飞行控制及仿真模型对无人机运动方式进行控制、解算与仿真，无人机动力学模型如图2、图3所示。三自由度模型下各运动状态量之间的关系方程如下：
其中，基于预设原点表示了无人机当前的空间方位，/>表示战机速度，/>为标准重力加速度，将无人机刚体模型所受除重力外的空气阻力、机翼升力、发动机推力等一切内外力视为统一合力，并沿速度方向及垂直速度方向进行分解，得到垂直速度方向分力/>及速度方向分力/>，即无人机切向与法向所承受的过载；/>表示无人机机身纵轴与其在水平面上的投影间的夹角，即俯仰角，取值范围为/>；/>表示无人机机身滚转角，取值范围为/>，/>表示表示速度在水平面的投影与正北方向的夹角，即航向角。/>、/>与/>可作为模型的三维动作输入，模拟实现对无人机机动的有效操控。
在本实施例中，我方无人机的机动决策目标是机动至敌方无人机战机尾部取得并保持空战优势态势，面向真实世界三维环境中的视距内空战场景，针对我方无人机与目标敌机的相对态势关系，建立三维几何模型如图4所示。
以表示我方无人机位置坐标，以/>表示敌方无人机位置坐标。/>为敌机相对我机的位置矢量，其模长记为/>，方向由我机位置指向敌机位置。/>为我机航向角，/>为敌机航向角，图中未标注的敌我俯仰角分别用/>和/>表示。/>代表我机速度矢量，/>代表敌机速度矢量。我机速度矢量与/>的夹角/>为追击角，亦称作天线偏转角，敌机速度矢量与/>的夹角/>为逃逸角，亦称作视界角。敌我速度矢量间的夹角为/>，称作航向交叉角。上述角与向量间的数值运算关系遵循以下方程:
所述步骤S2具体包含以下步骤：
S201：根据S1中构造的敌我战机的动力学模型和视距内一对一空战相对态势模型，构建符合马尔可夫性的空战仿真解算引擎，实现对视距内一对一空战态势变化的仿真解算；
S202：为恰当模拟机载感知设备对态势感知的误差，同时不影响空战仿真环境的马尔可夫性，本实施例中引入了态势感知误差量，对态势感知不准确的现象作出仿真和表征；
首先，构建误差强度系数：
式中，为我机与敌机的欧氏距离，/>分别代表机载传感器能精确感知低级态势的距离和感知误差达到最大的距离；
为表征误差的随机性，设计随机误差系数：，得到环境对态势感知的误差偏移量：/>，式中，/>代表视距内空战仿真环境内各项真实态势感知数据；/>为误差强度系数；
我方无人机最终得到的态势感知数据为：，即对各项真实态势数据随机加上或减去态势感知误差偏移量；
S203：定义和构建空战仿真解算引擎与无人机控制端的数据交互接口，搭建仿真训练环境，并根据需要设定敌机机动策略为具备一定智能与空战强度的传统状态机智能体。
所述步骤S3流程图如图5所示，具体包含以下步骤：
S301:设置优势态势解算单元，对前序态势序列中的每一时刻态势进行解算：首先根据敌我机动态势数据计算出敌机相对于我机的相对态势数据，包含相对位置、相对速度大小/>，以及相对航向角/>；随后，舍弃用于动作输入的我机切向过载、法向过载、滚转角三个维度数据，舍弃不包含空战态势特征的重力数据，舍弃与相对航向角带有相近信息的航向交叉角，舍弃相对位置信息已包含的距离信息；然后，根据敌我当前俯仰角及高度差计算俯仰优势值，定量体现敌我俯仰角度差的同时，定性地反映出我机俯仰角的优势方向：/>，为消除不同态势数据间的量纲差异带来的影响，对各态势数据作出归一化处理。经优势态势解算单元处理完毕后的单一时刻态势数据可表示为：/>，既压缩了状态空间维度，同时也不影响状态序列空间内的隐藏特征信息；
S302:根据空战真实态势数据的确定性与连续性、相邻时刻态势感知数据的相关性，在单一时刻将当前观测态势及前序态势合并，定义为前序态势序列：
，作为算法态势观测预输入；
S303:对训练过程中仿真环境反馈的单步奖励函数进行奖励塑造，设计量化空战机动优势的奖励塑造方法，确保最优动作较次优动作取得更大的奖励值；得到单步奖励函数：
，其其中/>为量化后的距离奖励，为距离奖励系数，/>为高度奖励，/>为高度奖励系数，/>为追击角奖励，/>为追击角奖励系数，/>为逃逸角奖励，/>为逃逸角奖励系数，/>为速度奖励，/>为速度奖励系数，/>为航迹保持奖励，/>为航迹保持奖励系数，从而确保免增速和保持航迹平滑带来的正奖励盖过不合理机动带来的惩罚。
S304:使用基于门控循环单元提取特征的近端策略优化算法控制，使用门控循环单元融合前序态势序列前序态势序列输出隐藏特征/>作为Actor神经网络的输入，进行动作选择，并在反向传播过程中将神经网络误差值梯度用于更新/>，同时更新Actor和Critic网络；
门控循环单元融合状态序列并提取隐藏特征的具体步骤包括：
S30401：算法启动时，初始化隐藏特征矩阵，填充为零。
S30402：算法运行时，将前一时刻隐藏特征与当前状态序列中未融合的首帧状态/>输入门控循环单元，经以下计算得到重置门神经元向量/>，更新门神经元向量/>，以及候选隐藏特征/>：
其中，分别为更新门、重置门与候选隐藏特征计算的可学习参数，/>为Sigmoid函数。
S30403：根据更新门神经元向量对前序隐藏特征/>和候选隐藏特征/>进行融合，更新当前隐藏特征：/>；
S30404：如状态序列中还有未进行特征融合的状态，返回步骤2，以与状态序列进行部分融合的当前隐藏特征和/>作为输入；
S30405：得到融合状态序列的隐藏特征作为门控循环单元的特征输出。
所述步骤S4具体包含以下步骤：
根据近端策略优化算法目标函数公式，使用训练好的神经网络计算并输出当前状态/>下采取动作/>的优势函数/>和概率密度函数/>，红方智能体根据概率密度函数/>，采用限制采样方差的正态分布采样方法选择机动动作输出，引导战机占据有利态势位置。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (5)
1.一种抗感知误差的视距内空战机动策略生成方法，其特征在于，包括如下步骤:
S1，根据无人机动力学方程，分别构建敌方战机和我方战机的动力学模型，并根据敌方战机和我方战机的动力学模型构建视距内一对一空战相对态势模型，并设定视距内空战优势机动；
S2，搭建符合马尔可夫性、具有态势感知误差的仿真训练环境，并设定敌方智能机动策略；
S3，使用基于门控循环单元提取特征的近端策略优化算法，以前序态势序列作为近端策略优化算法态势观测输入，通过优势态势解算单元、门控循环单元处理态势输入，同时对训练过程进行奖励塑造，在仿真训练环境对强化学习决策智能体训练，得到智能体神经网络模型；
S4:使用训练得到的智能体神经网络模型，在视距内空战场景中实时生成机动策略。
2.根据权利要求1所述的一种抗感知误差的视距内空战机动策略生成方法，其特征在于：步骤S2中所述的搭建符合马尔可夫性、具有态势感知误差的仿真训练环境，并设定敌方智能机动策略，包括：
S201，根据S1中构建的敌方战机和我方战机的动力学模型和视距内一对一空战相对态势模型，构建符合马尔可夫性的空战仿真解算引擎，实现对视距内一对一空战态势变化的仿真解算；
S202，对我方无人机获取的态势感知数据加入态势感知误差偏移量，以模拟机载感知设备对态势感知的误差；
S203，定义和构建空战仿真解算引擎与无人机控制端的数据交互接口，搭建仿真训练环境，并设定敌机机动策略。
3.根据权利要求1所述的一种抗感知误差的视距内空战机动策略生成方法，其特征在于，所述的步骤S3中，使用基于门控循环单元提取特征的近端策略优化算法，以前序态势序列作为近端策略优化算法态势观测输入，通过优势态势解算单元、门控循环单元处理态势输入，同时对训练过程进行奖励塑造，在仿真训练环境对强化学习决策智能体训练，得到智能体神经网络模型，包括：
S301，设置优势态势解算单元，通过计算相对态势、剔除绝对态势与无用态势、计算俯仰优势值、量纲归一化处理的步骤，压缩状态空间维度，同时保留状态序列空间内的隐藏特征信息；
S302，根据空战真实态势数据的确定性与连续性、相邻时刻态势感知数据的相关性，在单一时刻将当前观测态势及前序态势合并，得到前序态势序列：
，作为近端策略优化算法态势观测预输入；
S303，对训练过程中仿真环境反馈的单步奖励函数进行奖励塑造，设计可量化空战机动优势的奖励塑造方法，得到单步奖励函数：
其中为量化后的距离奖励，/>为距离奖励系数，/>为高度奖励，/>为高度奖励系数，/>为追击角奖励，/>为追击角奖励系数，/>为逃逸角奖励，/>为逃逸角奖励系数，/>为速度奖励，/>为速度奖励系数，/>为航迹保持奖励，/>为航迹保持奖励系数；
S304，使用基于门控循环单元提取特征的近端策略优化算法控制，使用门控循环单元融合前序态势序列输出隐藏特征/>作为Actor神经网络的输入，进行动作选择，并在反向传播过程中将神经网络误差值梯度用于更新/>，同时更新Actor和Critic网络。
4.根据权利要求1所述的一种抗感知误差的视距内空战机动策略生成方法，其特征在于：步骤S4中使用训练得到的智能体神经网络模型，在视距内空战场景中实时生成机动策略包括：
根据近端策略优化算法目标函数：
使用训练好的智能体神经网络模型计算并输出当前状态下采取动作/>的优势函数和概率密度函数/>，智能体根据概率密度函数/>，采用限制采样方差的正态分布采样方法选择机动动作输出，引导战机占据有利态势位置。
5.根据权利要求4所述的一种抗感知误差的视距内空战机动策略生成方法，其特征在于，步骤S202中所述的对我方无人机获取的态势感知数据加入态势感知误差偏移量，以模拟机载感知设备对态势感知的误差，包括：
S20201：根据我方无人机与敌方无人机的欧氏距离构建误差强度系数：
式中，为我方无人机与敌方无人机的欧氏距离，/>分别代表机载传感器能精确感知低级态势的距离和感知误差达到最大的距离，/>为误差强度系数；
S20202：设计随机误差系数：
式中，为随机误差系数；
得到环境对态势感知的误差偏移量：
式中，为环境对态势感知的误差偏移量，/>为视距内空战仿真环境内真实态势感知数据；/>为误差强度系数；
S20203：得到我方无人机最终态势感知数据为：
即对各项真实态势数据随机加上或减去态势感知误差偏移量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311014421.5A CN116736729B (zh) | 2023-08-14 | 2023-08-14 | 一种抗感知误差的视距内空战机动策略生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311014421.5A CN116736729B (zh) | 2023-08-14 | 2023-08-14 | 一种抗感知误差的视距内空战机动策略生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116736729A true CN116736729A (zh) | 2023-09-12 |
| CN116736729B CN116736729B (zh) | 2023-10-27 |
Family
ID=87910002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311014421.5A Active CN116736729B (zh) | 2023-08-14 | 2023-08-14 | 一种抗感知误差的视距内空战机动策略生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116736729B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117332680A (zh) * | 2023-09-15 | 2024-01-02 | 四川大学 | 基于安全强化学习的近距空战机动决策优化方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090325812A1 (en) * | 1996-07-29 | 2009-12-31 | Nanosphere, Inc. | Nanoparticles having oligonucleotides attached thereto and uses therefor |
| US20180219374A1 (en) * | 2014-07-16 | 2018-08-02 | Qcoefficient, Inc. | Systems and methods using decision analysis for controlling energy consumption and facilitating building participation in ancillary energy markets |
| CN110488861A (zh) * | 2019-07-30 | 2019-11-22 | 北京邮电大学 | 基于深度强化学习的无人机轨迹优化方法、装置和无人机 |
| CN113671825A (zh) * | 2021-07-07 | 2021-11-19 | 西北工业大学 | 一种基于强化学习的机动智能决策规避导弹方法 |
| CN113741186A (zh) * | 2021-08-22 | 2021-12-03 | 西北工业大学 | 一种基于近端策略优化的双机空战决策方法 |
| CN113950113A (zh) * | 2021-10-08 | 2022-01-18 | 东北大学 | 一种基于隐马尔科夫的车联网切换决策算法 |
| CN115291625A (zh) * | 2022-07-15 | 2022-11-04 | 同济大学 | 基于多智能体分层强化学习的多无人机空战决策方法 |
| CN115494732A (zh) * | 2022-09-29 | 2022-12-20 | 湖南大学 | 一种基于近端策略优化的无人机轨迹设计和功率分配方法 |
| CN115866574A (zh) * | 2022-11-21 | 2023-03-28 | 贵州大学 | 一种面向灾区救援的多无人机飞行搜救轨迹优化方法 |
| CN116125811A (zh) * | 2023-02-13 | 2023-05-16 | 天津大学 | 基于近端策略优化的航天器多空间碎片避撞自主决策方法 |
| CN116306979A (zh) * | 2023-03-23 | 2023-06-23 | 南京大学 | 一种基于ppo的多智能体深度强化学习训练方法 |
-
2023
- 2023-08-14 CN CN202311014421.5A patent/CN116736729B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090325812A1 (en) * | 1996-07-29 | 2009-12-31 | Nanosphere, Inc. | Nanoparticles having oligonucleotides attached thereto and uses therefor |
| US20180219374A1 (en) * | 2014-07-16 | 2018-08-02 | Qcoefficient, Inc. | Systems and methods using decision analysis for controlling energy consumption and facilitating building participation in ancillary energy markets |
| CN110488861A (zh) * | 2019-07-30 | 2019-11-22 | 北京邮电大学 | 基于深度强化学习的无人机轨迹优化方法、装置和无人机 |
| CN113671825A (zh) * | 2021-07-07 | 2021-11-19 | 西北工业大学 | 一种基于强化学习的机动智能决策规避导弹方法 |
| CN113741186A (zh) * | 2021-08-22 | 2021-12-03 | 西北工业大学 | 一种基于近端策略优化的双机空战决策方法 |
| CN113950113A (zh) * | 2021-10-08 | 2022-01-18 | 东北大学 | 一种基于隐马尔科夫的车联网切换决策算法 |
| CN115291625A (zh) * | 2022-07-15 | 2022-11-04 | 同济大学 | 基于多智能体分层强化学习的多无人机空战决策方法 |
| CN115494732A (zh) * | 2022-09-29 | 2022-12-20 | 湖南大学 | 一种基于近端策略优化的无人机轨迹设计和功率分配方法 |
| CN115866574A (zh) * | 2022-11-21 | 2023-03-28 | 贵州大学 | 一种面向灾区救援的多无人机飞行搜救轨迹优化方法 |
| CN116125811A (zh) * | 2023-02-13 | 2023-05-16 | 天津大学 | 基于近端策略优化的航天器多空间碎片避撞自主决策方法 |
| CN116306979A (zh) * | 2023-03-23 | 2023-06-23 | 南京大学 | 一种基于ppo的多智能体深度强化学习训练方法 |
Non-Patent Citations (2)
| Title |
|---|
| ZHONG YUN，等: "Formation and adjustment of manned/unmanned combat aerial vehicle cooperative engagement system", 《JOURNALOFSYSTEMSENGINEERINGANDELECTRONICS》, vol. 29, no. 4 * |
| 张博超，等: "基于近端策略优化的空战决策算法研究", 《航空工程进展》, vol. 14, no. 2 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117332680A (zh) * | 2023-09-15 | 2024-01-02 | 四川大学 | 基于安全强化学习的近距空战机动决策优化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116736729B (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109870162B (zh) | 一种基于竞争深度学习网络的无人机飞行路径规划方法 | |
| CN111580544B (zh) | 一种基于强化学习ppo算法的无人机目标跟踪控制方法 | |
| CN116736729B (zh) | 一种抗感知误差的视距内空战机动策略生成方法 | |
| CN113962012B (zh) | 无人机对抗策略优化方法及装置 | |
| CN111260040B (zh) | 基于内在奖励的视频游戏决策方法 | |
| CN113791634A (zh) | 一种基于多智能体强化学习的多机空战决策方法 | |
| CN110806756A (zh) | 基于ddpg的无人机自主引导控制方法 | |
| CN112286218B (zh) | 基于深度确定性策略梯度的飞行器大迎角摇滚抑制方法 | |
| CN113269363A (zh) | 一种高超声速飞行器的轨迹预测方法、系统、设备及介质 | |
| CN115033022A (zh) | 面向移动平台基于专家经验的ddpg无人机降落方法 | |
| CN114089776B (zh) | 一种基于深度强化学习的无人机避障方法 | |
| CN115016534A (zh) | 一种基于记忆增强学习的无人机自主避障导航方法 | |
| CN110673488A (zh) | 一种基于优先级随机抽样策略的Double DQN无人机隐蔽接敌方法 | |
| CN113741533A (zh) | 一种基于模仿学习与强化学习的无人机智能决策系统 | |
| Bae et al. | Deep reinforcement learning-based air-to-air combat maneuver generation in a realistic environment | |
| CN115755956B (zh) | 一种知识与数据协同驱动的无人机机动决策方法与系统 | |
| CN111461294A (zh) | 面向动态博弈的智能飞行器类脑认知学习方法 | |
| Yuan et al. | Research on UCAV maneuvering decision method based on heuristic reinforcement learning | |
| CN116661503A (zh) | 一种基于多智能体安全强化学习的集群航迹自动规划方法 | |
| Wang et al. | Unmanned surface vessel obstacle avoidance with prior knowledge‐based reward shaping | |
| CN116679711A (zh) | 一种基于有模型与无模型强化学习的机器人避障方法 | |
| CN117705113A (zh) | 一种改进ppo的无人机视觉避障及自主导航方法 | |
| CN116700079A (zh) | 基于ac-nfsp的无人机对抗占位机动控制方法 | |
| CN117313561B (zh) | 无人机智能决策模型训练方法及无人机智能决策方法 | |
| CN112540614B (zh) | 一种基于深度强化学习的无人艇航迹控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |