CN111368383B - 深度强化学习的战斗机自动近地防撞系统碰撞评估方法 - Google Patents

深度强化学习的战斗机自动近地防撞系统碰撞评估方法 Download PDF

Info

Publication number
CN111368383B
CN111368383B CN201811496910.8A CN201811496910A CN111368383B CN 111368383 B CN111368383 B CN 111368383B CN 201811496910 A CN201811496910 A CN 201811496910A CN 111368383 B CN111368383 B CN 111368383B
Authority
CN
China
Prior art keywords
flight
state
collision avoidance
collision
automatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811496910.8A
Other languages
English (en)
Other versions
CN111368383A (zh
Inventor
尹超
孙萍
夏小春
刘爽
王亚许
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Aviation Electric Co Ltd
Original Assignee
Shanghai Aviation Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aviation Electric Co Ltd filed Critical Shanghai Aviation Electric Co Ltd
Priority to CN201811496910.8A priority Critical patent/CN111368383B/zh
Publication of CN111368383A publication Critical patent/CN111368383A/zh
Application granted granted Critical
Publication of CN111368383B publication Critical patent/CN111368383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Abstract

本发明公开深度强化学习的战斗机自动近地防撞系统碰撞评估方法，在航空器飞行过程中，周期性预测航空器未来一段时间内的飞行轨迹；并生成对应区域内的地形包线。结合数字地形高程数据库，通过深度强化学习海量飞行数据及飞行员经验，来综合评估航空器撞地的风险。

Description

深度强化学习的战斗机自动近地防撞系统碰撞评估方法
技术领域
本发明涉及航空电子系统技术与人工智能技术领域，尤其是航空器中广泛应用的近地告警类设备中涉及的一项近地碰撞评估技术，此类系统包括但不限于近地防撞系统、近地告警系统、地形提示与警告系统等具体产品。
背景技术
近地防撞类系统(Auto Ground Collision Avoidance System，简称Auto GCAS)是提高航空器飞行安全性，减小可控飞行撞地事故(Controlled Flight Into Terrain，简称CFIT)的航空电子系统。Auto GCAS系统广泛应用于战斗机、攻击机以及具有作战任务的无人机等航空器。
Auto GCAS系统的核心技术之一是自动近地碰撞评估技术，结合数字地形高程数据库，通过深度强化学习海量飞行数据及飞行员经验，来综合评估航空器撞地的风险。
发明内容
本发明公开了一种基于深度强化学习的战斗机自动近地防撞系统碰撞评估方法，在航空器飞行过程中，周期性预测航空器未来一段时间内的飞行轨迹；并生成对应区域内的地形包线。结合数字地形高程数据库，通过深度强化学习海量飞行数据及飞行员经验，来综合评估航空器撞地的风险。
本发明提供了一种基于深度强化学习的战斗机自动近地防撞系统碰撞评估方法，包括以下步骤：
步骤A：初始化近地防撞评估策略π；
步骤B：设置随机状态S，包括飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS；
步骤C：根据步骤B的状态S，由近地防撞评估策略π选择出动作a，即过载指令曲线；并计算出值函数Q(s，a)，发送至数据存储空间；
步骤D：根据动作a，由飞行控制律计算出舵面指令De；
步骤E：根据舵面指令De，由飞行仿真计算出飞行状态FS，包括位置、速度、姿态角及角速率、过载；
步骤F：根据飞行状态FS，自动近地防撞功能从数字地形高程数据库中获取相应区域的地形高程数据DEM；
步骤G：自动近地防撞功能，计算出自动防撞指令GCAS，并将此信号发送给飞行控制律；
步骤H：自动近地防撞功能，根据实际飞行轨迹与地形的匹配值，计算出回报r；
步骤I：自动近地防撞功能，将下一状态S，包括飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS信息，发送给近地防撞评估策略和数据存储空间；
步骤J：重复步骤C至步骤H，直至出现碰撞为止；
步骤K：学习训练数据更新，从数据存储空间中随机采样，每一个采样包括状态S、动作a、单步回报r、下一步状态S、策略π；
步骤L：近地防撞评估策略，从学习训练数据更新中，选取一个采样，包括状态S、动作a、单步回报r、下一步状态S、策略π；并计算出对应的值函数Qnew(s，a)；
步骤M：近地防撞评估策略，从数据存储空间中获取对应状态-动作对(s，a)的值函数Q(s，a)
步骤N：近地防撞评估策略，通过梯度下降偏差，修正近地防撞评估策略内的参数
步骤O：重复步骤L至步骤N，直至学习训练数据更新中的样本选取完毕，即完成一轮的评估参数更新；
步骤P：重复步骤C至步骤O，直至将所有飞行数据学习，并将评估参数更新完毕为止。
进一步的，所述步骤A中近地防撞评估策略π，是根据输入状态S(飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS)，计算出动作a(过载指令曲线)以及对应的值函数Q(s，a)。其中，值函数是反映了在状态S情况下，采用动作a，所获得的累积回报。
进一步的，所述步骤B中设置随机状态S，包括飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS。
进一步的，所述步骤C中近地防撞评估策略π选择出动作a，即过载指令曲线；。并计算出值函数Q(s，a)，即状态S情况下，采用动作a，所获得的累积回报，发送至数据存储空间进行存储。
进一步的，所述步骤D的飞行控制律，是根据飞机飞行状态、环境以及指令，计算飞控舵面输出指令的模块。
进一步的，所述步骤E的飞行仿真，根据飞控舵面指令，计算出下一步的飞行状态FS，包括位置、速度、姿态角及角速率、过载等。
进一步的，所述步骤F的自动近地防撞功能，根据飞行位置与当前地形的关系，发出防撞告警信号；数字地形高程数据库，提供当前区域的地形高程数据DEM。
进一步的，所述步骤G的自动近地防撞功能，根据飞行位置与当前地形的关系，发出防撞告警信号，并将此信号发送给飞行控制律。
进一步的，所述步骤H的回报r，由实际飞行轨迹与地形的匹配值计算。如果实际飞行轨迹未与地形发生碰撞，回报为正向激励；否则，为负向激励。
进一步的，所述步骤I的数据存储空间，存储深度强化学习的元组，包括飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS等信息。
进一步的，所述步骤J的碰撞，即实际飞行轨迹与地形发生碰撞。
进一步的，所述步骤K的学习训练数据更新的内容，来源于数据存储空间中随机采样，采样包括状态S、动作a、单步回报r、下一步状态S、策略π。
进一步的，所述步骤L近地防撞评估策略，从学习训练数据更新中，选取一个采样，包括状态S、动作a、单步回报r、下一步状态S、策略π；并计算出对应的值函数Q new(s，a)。
进一步的，所述步骤M的近地防撞评估策略，从数据存储空间中获取对应状态-动作对(s，a)的值函数Q(s，a)。
进一步的，所述步骤N的近地防撞评估策略修正，采用参数梯度下降法，即策略π的参数
进一步的，所述步骤O的完成一轮的评估参数更新，即直至学习训练数据更新中的样本选取完毕。
进一步的，所述步骤P的深度强化学习结束的判断为：直至将所有飞行数据学习，并将评估参数更新完毕为止。
该方法可与自动近地防撞技术结合，在Auto GCAS设备中设计实现，为航空器提供近地防撞预警和机动规避。其告警结果可通过听觉、视觉的方式告知飞行机组，也可激活飞行控制系统中预置的机动程序，操控飞行器规避碰撞危险。
附图说明
以下将结合附图对本发明作进一步的说明。
图1图示了根据本发明的实施例的典型流程。
具体实施方式
以下通过较佳实施例对本发明的技术方案进行说明，但下述实施例并不能限制本发明的保护范围。
本发明所提供的航空器自动近地防撞评估方法可以软件的形式内置于航空器上的航空电子装置，如近地告警设备、飞行控制系统、飞行管理系统等航电设备。此外，本发明提供的航空器自动近地防撞评估方法不仅可用于战斗机，也可应用于攻击机、用于作战的无人机等。
附图1为根据本发明的一个实施例形成的单周期典型流程图。在每周期内，方法按照图1所示顺序执行。
参照图1，在方框100处，根据状态S，由近地防撞评估策略π选择出动作a，即过载指令曲线；并计算出值函数Q(s，a)，发送至数据存储空间。
参照图1，在方框101处，根据动作a，由飞行控制律计算出舵面指令De。
参照图1，在方框102处，根据舵面指令De，由飞行仿真计算出飞行状态FS，包括位置、速度、姿态角及角速率、过载等。
参照图1，在方框103处，根据飞行状态FS，自动近地防撞功能从数字地形高程数据库中获取相应区域的地形高程数据DEM；计算出自动防撞指令GCAS，并将此信号发送给飞行控制律；根据实际飞行轨迹与地形的匹配值，计算出回报r；将下一状态S，包括飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS等信息，发送给近地防撞评估策略和数据存储空间。
参照图1，在方框104处，数字地形高程数据库包含相应区域的地形高程数据DEM。
参照图1，在方框105处，数据存储空间包含飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS等信息；对应状态-动作对(s，a)的值函数Q(s，a)。
参照图1，在方框106处，学习训练数据更新从数据存储空间(方框105)中随机采样，每一个采样包括状态S、动作a、单步回报r、下一步状态S、策略π。
状态S(飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS)；
动作a(过载指令曲线)；
回报r(实际飞行轨迹与地形匹配值)；
下一步状态S(飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS)；
策略π(选择动作a的策略)。
值得说明的是，上述描述是基于发明的具体实施例而进行的，尽管参照较佳实施例在本发明进行了详细描述，但本领域的技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (16)

1.深度强化学习的战斗机自动近地防撞系统碰撞评估方法，其特征在于，包括以下步骤：
步骤A：初始化近地防撞评估策略π；
步骤B：设置随机状态S，包括飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS；
步骤C：根据步骤B的状态S，由近地防撞评估策略π选择出动作a，即过载指令曲线；并计算出值函数Q(s，a)，发送至数据存储空间；
步骤D：根据动作a，由飞行控制律计算出舵面指令De；
步骤E：根据舵面指令De，由飞行仿真计算出飞行状态FS，包括位置、速度、姿态角及角速率、过载；
步骤F：根据飞行状态FS，自动近地防撞功能从数字地形高程数据库中获取相应区域的地形高程数据DEM；
步骤G：自动近地防撞功能，计算出自动防撞指令GCAS，并将此信号发送给飞行控制律；
步骤H：自动近地防撞功能，根据实际飞行轨迹与地形的匹配值，计算出回报r；步骤I：自动近地防撞功能，将下一状态S，包括飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS信息，发送给近地防撞评估策略和数据存储空间；
步骤J：重复步骤C至步骤H，直至出现碰撞为止；
步骤K：学习训练数据更新，从数据存储空间中随机采样，每一个采样包括状态S、动作a、单步回报r、下一步状态S、策略π；
步骤L：近地防撞评估策略，从学习训练数据更新中，选取一个采样，包括状态S、动作a、单步回报r、下一步状态S、策略π；并计算出对应的值函数Q new(s，a)；
步骤M：近地防撞评估策略，从数据存储空间中获取对应状态-动作对(s，a)的值函数Q(s，a)
步骤N：近地防撞评估策略，通过梯度下降偏差，修正近地防撞评估策略内的参数步骤O：重复步骤L至步骤N，直至学习训练数据更新中的样本选取完毕，即完成一轮的评估参数更新；
步骤P：重复步骤C至步骤O，直至将所有飞行数据学习，并将评估参数更新完毕为止。
2.如权利要求1所述的方法，其特征在于，所述步骤A中近地防撞评估策略π，是根据输入状态S(飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS)，计算出动作a(过载指令曲线)以及对应的值函数Q(s，a)；其中，值函数是反映了在状态S情况下，采用动作a，所获得的累积回报。
3.如权利要求1所述的方法，其特征在于，所述步骤B中设置随机状态S，包括飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS。
4.如权利要求1所述的方法，其特征在于，所述步骤C中近地防撞评估策略π选择出动作a，即过载指令曲线；并计算出值函数Q(s，a)，即状态S情况下，采用动作a，所获得的累积回报，发送至数据存储空间进行存储。
5.如权利要求1所述的方法，其特征在于，所述步骤D的飞行控制律，是根据飞机飞行状态、环境以及指令，计算飞控舵面输出指令的模块。
6.如权利要求1所述的方法，其特征在于，所述步骤E的飞行仿真，根据飞控舵面指令，计算出下一步的飞行状态FS，包括位置、速度、姿态角及角速率、过载。
7.如权利要求1所述的方法，其特征在于，所述步骤F的自动近地防撞功能，根据飞行位置与当前地形的关系，发出防撞告警信号；数字地形高程数据库，提供当前区域的地形高程数据DEM。
8.如权利要求1所述的方法，其特征在于，所述步骤G的自动近地防撞功能，根据飞行位置与当前地形的关系，发出防撞告警信号，并将此信号发送给飞行控制律。
9.如权利要求1所述的方法，其特征在于，所述步骤H的回报r，由实际飞行轨迹与地形的匹配值计算；如果实际飞行轨迹未与地形发生碰撞，回报为正向激励；否则，为负向激励。
10.如权利要求1所述的方法，其特征在于，所述步骤I的数据存储空间，存储深度强化学习的元组，包括飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS信息。
11.如权利要求1所述的方法，其特征在于，所述步骤K的学习训练数据更新的内容，来源于数据存储空间中随机采样，采样包括状态S、动作a、单步回报r、下一步状态S、策略π。
12.如权利要求1所述的方法，其特征在于，所述步骤L近地防撞评估策略，从学习训练数据更新中，选取一个采样，包括状态S、动作a、单步回报r、下一步状态S、策略π；并计算出对应的值函数Q new(s，a)。
13.如权利要求1所述的方法，其特征在于，所述步骤M的近地防撞评估策略，从数据存储空间中获取对应状态-动作对(s，a)的值函数Q(s，a)。
14.如权利要求1所述的方法，其特征在于，所述步骤N的近地防撞评估策略修正，采用参数梯度下降法，即策略π的参数
15.如权利要求1所述的方法，其特征在于，所述步骤O的完成一轮的评估参数更新，即直至学习训练数据更新中的样本选取完毕。
16.如权利要求1所述的方法，其特征在于，所述步骤P的深度强化学习结束的判断为：直至将所有飞行数据学习，并将评估参数更新完毕为止。
CN201811496910.8A 2018-12-07 2018-12-07 深度强化学习的战斗机自动近地防撞系统碰撞评估方法 Active CN111368383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811496910.8A CN111368383B (zh) 2018-12-07 2018-12-07 深度强化学习的战斗机自动近地防撞系统碰撞评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811496910.8A CN111368383B (zh) 2018-12-07 2018-12-07 深度强化学习的战斗机自动近地防撞系统碰撞评估方法

Publications (2)

Publication Number Publication Date
CN111368383A CN111368383A (zh) 2020-07-03
CN111368383B true CN111368383B (zh) 2023-08-08

Family

ID=71203976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811496910.8A Active CN111368383B (zh) 2018-12-07 2018-12-07 深度强化学习的战斗机自动近地防撞系统碰撞评估方法

Country Status (1)

Country Link
CN (1) CN111368383B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882047B (zh) * 2020-09-28 2021-01-15 四川大学 一种基于强化学习与线性规划的快速空管防冲突方法
CN113792382A (zh) * 2021-09-10 2021-12-14 中国航空工业集团公司西安飞行自动控制研究所 一种基于机器学习的多任务模式近地告警方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903482A (zh) * 2012-12-26 2014-07-02 上海航空电器有限公司 一种近地告警系统中前视预测告警系统和方法
US9633567B1 (en) * 2014-12-04 2017-04-25 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Ground collision avoidance system (iGCAS)
CN108154715A (zh) * 2016-12-02 2018-06-12 上海航空电器有限公司 一种侧向碰撞监测方法
CN108549408A (zh) * 2018-05-29 2018-09-18 四川九洲空管科技有限责任公司 一种自动防撞地航迹规划方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2905756B1 (fr) * 2006-09-12 2009-11-27 Thales Sa Procede et dispositif pour aeronef,d'evitement des collisions avec le terrain

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903482A (zh) * 2012-12-26 2014-07-02 上海航空电器有限公司 一种近地告警系统中前视预测告警系统和方法
US9633567B1 (en) * 2014-12-04 2017-04-25 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Ground collision avoidance system (iGCAS)
CN108154715A (zh) * 2016-12-02 2018-06-12 上海航空电器有限公司 一种侧向碰撞监测方法
CN108549408A (zh) * 2018-05-29 2018-09-18 四川九洲空管科技有限责任公司 一种自动防撞地航迹规划方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种便携式近地告警测试设备的设计与实现;夏小春 等;《信息技术与网络安全》;第37卷(第10期);全文 *

Also Published As

Publication number Publication date
CN111368383A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
EP1936584B1 (en) A device at an airborne vehicle and a method for collision avoidance
EP2555179B1 (en) Aircraft traffic separation system
US20200369384A1 (en) Autonomous Unmanned Aerial Vehicle and Method of Control Thereof
EP1901143B1 (en) Onboard simulation device and simulation method
Kuchar et al. The traffic alert and collision avoidance system
US8744738B2 (en) Aircraft traffic separation system
EP3324386B1 (en) Maneuver prediction for surrounding traffic
US10650685B2 (en) Method for autonomous controlling of a remote controlled aerial vehicle and corresponding system
EP1240636B1 (en) System and method for avoidance of collision between vehicles
WO2017062151A1 (en) Autonomous vehicle control system
US8725472B2 (en) Arrangement and method for generating information
CN111368383B (zh) 深度强化学习的战斗机自动近地防撞系统碰撞评估方法
CN105824319A (zh) 飞行器回避一个或多个障碍的方法，相关计算机程序产品，电子系统和飞行器
EP3076379A1 (en) Method and device for an aircraft for handling potential collisions in air traffic
Barfield Autonomous collision avoidance: the technical requirements
US20230360546A1 (en) Method to navigate an unmanned aerial vehicle to avoid collisions
Lopez et al. Integration and flight test of small UAS detect and avoid on a miniaturized avionics platform
US20220020277A1 (en) Assurance module
CN109003470B (zh) 航迹一致性监测与告警方法及装置
Holdsworth Autonomous in-flight path planning to replace pure collision avoidance for free flight aircraft using automatic depedent surveillance broadcast
EP3159868B1 (de) Verfahren zum bestimmen einer ausweichempfehlung für ein fahrzeug
Stroeve et al. Remote pilot modelling for evaluation of ACAS Xu
CN114556996A (zh) 用于确定接收到的数据的可靠性的方法
Porretta et al. Strategic conflict detection and resolution using aircraft intent information
CN114930429A (zh) 用于飞机监控软件的安全测试的模拟架构

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant