CN111368383A - 一种基于深度强化学习的战斗机自动近地防撞系统碰撞评估方法 - Google Patents

一种基于深度强化学习的战斗机自动近地防撞系统碰撞评估方法 Download PDF

Info

Publication number
CN111368383A
CN111368383A CN201811496910.8A CN201811496910A CN111368383A CN 111368383 A CN111368383 A CN 111368383A CN 201811496910 A CN201811496910 A CN 201811496910A CN 111368383 A CN111368383 A CN 111368383A
Authority
CN
China
Prior art keywords
flight
collision avoidance
state
automatic
strategy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811496910.8A
Other languages
English (en)
Other versions
CN111368383B (zh
Inventor
尹超
孙萍
夏小春
刘爽
王亚许
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Aviation Electric Co Ltd
Original Assignee
Shanghai Aviation Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aviation Electric Co Ltd filed Critical Shanghai Aviation Electric Co Ltd
Priority to CN201811496910.8A priority Critical patent/CN111368383B/zh
Publication of CN111368383A publication Critical patent/CN111368383A/zh
Application granted granted Critical
Publication of CN111368383B publication Critical patent/CN111368383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Traffic Control Systems (AREA)

Abstract

本发明公开一种基于深度强化学习的战斗机自动近地防撞系统碰撞评估方法，在航空器飞行过程中，周期性预测航空器未来一段时间内的飞行轨迹；并生成对应区域内的地形包线。结合数字地形高程数据库，通过深度强化学习海量飞行数据及飞行员经验，来综合评估航空器撞地的风险。

Description

一种基于深度强化学习的战斗机自动近地防撞系统碰撞评估 方法
技术领域
本发明涉及航空电子系统技术与人工智能技术领域，尤其是航空器中广泛应用的近地告警类设备中涉及的一项近地碰撞评估技术，此类系统包括但不限于近地防撞系统、近地告警系统、地形提示与警告系统等具体产品。
背景技术
近地防撞类系统(Auto Ground Collision Avoidance System，简称Auto GCAS)是提高航空器飞行安全性，减小可控飞行撞地事故(Controlled Flight Into Terrain，简称CFIT)的航空电子系统。Auto GCAS系统广泛应用于战斗机、攻击机以及具有作战任务的无人机等航空器。
Auto GCAS系统的核心技术之一是自动近地碰撞评估技术，结合数字地形高程数据库，通过深度强化学习海量飞行数据及飞行员经验，来综合评估航空器撞地的风险。
发明内容
本发明公开了一种基于深度强化学习的战斗机自动近地防撞系统碰撞评估方法，在航空器飞行过程中，周期性预测航空器未来一段时间内的飞行轨迹；并生成对应区域内的地形包线。结合数字地形高程数据库，通过深度强化学习海量飞行数据及飞行员经验，来综合评估航空器撞地的风险。
本发明提供了一种基于深度强化学习的战斗机自动近地防撞系统碰撞评估方法，包括以下步骤：
步骤A：初始化近地防撞评估策略π(方块100)；
步骤B：设置随机状态S，包括飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS；
步骤C：根据步骤B的状态S，由近地防撞评估策略π(方块100)选择出动作a，即过载指令曲线；并计算出值函数Q(s，a)，发送至数据存储空间(方块105)；
步骤D：根据动作a，由飞行控制律(方块101)计算出舵面指令De；
步骤E：根据舵面指令De，由飞行仿真(方块102)计算出飞行状态FS，包括位置、速度、姿态角及角速率、过载等；
步骤F：根据飞行状态FS，自动近地防撞功能(方块103)从数字地形高程数据库(方块104)中获取相应区域的地形高程数据DEM；
步骤G：自动近地防撞功能(方块103)，计算出自动防撞指令GCAS，并将此信号发送给飞行控制律(方块101)；
步骤H：自动近地防撞功能(方块103)，根据实际飞行轨迹与地形的匹配值，计算出回报r；
步骤I：自动近地防撞功能(方块103)，将下一状态S，包括飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS等信息，发送给近地防撞评估策略(方块100)和数据存储空间(方块105)；
步骤J：重复步骤C至步骤H，直至出现碰撞为止；
步骤K：学习训练数据更新(方块106)，从数据存储空间(方块105)中随机采样，每一个采样包括状态S、动作a、单步回报r、下一步状态S、策略π；
步骤L：近地防撞评估策略(方块100)，从学习训练数据更新(方块106) 中，选取一个采样，包括状态S、动作a、单步回报r、下一步状态S、策略π；并计算出对应的值函数Q new(s，a)；
步骤M：近地防撞评估策略(方块100)，从数据存储空间(方块105)中获取对应状态-动作对(s，a)的值函数Q(s，a)
步骤N：近地防撞评估策略(方块100)，通过梯度下降偏差，修正近地防撞评估策略(方块100)内的参数
Figure RE-GDA0002157587790000031
Figure RE-GDA0002157587790000032
步骤O：重复步骤L至步骤N，直至学习训练数据更新(方块106)中的样本选取完毕，即完成一轮的评估参数更新；
步骤P：重复步骤C至步骤O，直至将所有飞行数据学习，并将评估参数更新完毕为止。
进一步的，所述步骤A中近地防撞评估策略π，是根据输入状态S(飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS)，计算出动作a(过载指令曲线)以及对应的值函数Q(s，a)。其中，值函数是反映了在状态S情况下，采用动作a，所获得的累积回报。
进一步的，所述步骤B中设置随机状态S，包括飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS。
进一步的，所述步骤C中近地防撞评估策略π选择出动作a，即过载指令曲线；。并计算出值函数Q(s，a)，即状态S情况下，采用动作a，所获得的累积回报，发送至数据存储空间进行存储。
进一步的，所述步骤D的飞行控制律，是根据飞机飞行状态、环境以及指令，计算飞控舵面输出指令的模块。
进一步的，所述步骤E的飞行仿真，根据飞控舵面指令，计算出下一步的飞行状态FS，包括位置、速度、姿态角及角速率、过载等。
进一步的，所述步骤F的自动近地防撞功能，根据飞行位置与当前地形的关系，发出防撞告警信号；数字地形高程数据库，提供当前区域的地形高程数据DEM。
进一步的，所述步骤G的自动近地防撞功能，根据飞行位置与当前地形的关系，发出防撞告警信号，并将此信号发送给飞行控制律。
进一步的，所述步骤H的回报r，由实际飞行轨迹与地形的匹配值计算。如果实际飞行轨迹未与地形发生碰撞，回报为正向激励；否则，为负向激励。
进一步的，所述步骤I的数据存储空间，存储深度强化学习的元组，包括飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS等信息。
进一步的，所述步骤J的碰撞，即实际飞行轨迹与地形发生碰撞。
进一步的，所述步骤K的学习训练数据更新的内容，来源于数据存储空间中随机采样，采样包括状态S、动作a、单步回报r、下一步状态S、策略π。
进一步的，所述步骤L近地防撞评估策略，从学习训练数据更新中，选取一个采样，包括状态S、动作a、单步回报r、下一步状态S、策略π；并计算出对应的值函数Q new(s，a)。
进一步的，所述步骤M的近地防撞评估策略，从数据存储空间中获取对应状态-动作对(s，a)的值函数Q(s，a)。
进一步的，所述步骤N的近地防撞评估策略修正，采用参数梯度下降法，即策略π的参数
Figure RE-GDA0002157587790000041
进一步的，所述步骤O的完成一轮的评估参数更新，即直至学习训练数据更新中的样本选取完毕。
进一步的，所述步骤P的深度强化学习结束的判断为：直至将所有飞行数据学习，并将评估参数更新完毕为止。
该方法可与自动近地防撞技术结合，在Auto GCAS设备中设计实现，为航空器提供近地防撞预警和机动规避。其告警结果可通过听觉、视觉的方式告知飞行机组，也可激活飞行控制系统中预置的机动程序，操控飞行器规避碰撞危险。
附图说明
以下将结合附图对本发明作进一步的说明。
图1图示了根据本发明的实施例的典型流程。
状态S(飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS)；
动作a(过载指令曲线)；
回报r(实际飞行轨迹与地形匹配值)；
下一步状态S(飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS)；
策略π(选择动作a的策略)。
具体实施方式
以下通过较佳实施例对本发明的技术方案进行说明，但下述实施例并不能限制本发明的保护范围。
本发明所提供的航空器自动近地防撞评估方法可以软件的形式内置于航空器上的航空电子装置，如近地告警设备、飞行控制系统、飞行管理系统等航电设备。此外，本发明提供的航空器自动近地防撞评估方法不仅可用于战斗机，也可应用于攻击机、用于作战的无人机等。
附图1为根据本发明的一个实施例形成的单周期典型流程图。在每周期内，方法按照图1所示顺序执行。
参照图1，在方框100处，根据状态S，由近地防撞评估策略π选择出动作a，即过载指令曲线；并计算出值函数Q(s，a)，发送至数据存储空间。
参照图1，在方框101处，根据动作a，由飞行控制律计算出舵面指令De。
参照图1，在方框102处，根据舵面指令De，由飞行仿真计算出飞行状态 FS，包括位置、速度、姿态角及角速率、过载等。
参照图1，在方框103处，根据飞行状态FS，自动近地防撞功能从数字地形高程数据库中获取相应区域的地形高程数据DEM；计算出自动防撞指令GCAS，并将此信号发送给飞行控制律；根据实际飞行轨迹与地形的匹配值，计算出回报r；将下一状态S，包括飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS等信息，发送给近地防撞评估策略和数据存储空间。
参照图1，在方框104处，数字地形高程数据库包含相应区域的地形高程数据DEM。
参照图1，在方框105处，数据存储空间包含飞行状态FS、预测飞行轨迹 TPA、地形高程数据DEM、自动防撞指令GCAS等信息；对应状态-动作对(s，a) 的值函数Q(s，a)。
参照图1，在方框106处，学习训练数据更新从数据存储空间(方块105) 中随机采样，每一个采样包括状态S、动作a、单步回报r、下一步状态S、策略π。
值得说明的是，上述描述是基于发明的具体实施例而进行的，尽管参照较佳实施例在本发明进行了详细描述，但本领域的技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (16)

1.一种基于深度强化学习的战斗机自动近地防撞系统碰撞评估方法，其特征在于，包括以下步骤：
步骤A：初始化近地防撞评估策略π；
步骤B：设置随机状态S，包括飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS；
步骤C：根据步骤B的状态S，由近地防撞评估策略π选择出动作a，即过载指令曲线；并计算出值函数Q(s，a)，发送至数据存储空间；
步骤D：根据动作a，由飞行控制律计算出舵面指令De；
步骤E：根据舵面指令De，由飞行仿真计算出飞行状态FS，包括位置、速度、姿态角及角速率、过载等；
步骤F：根据飞行状态FS，自动近地防撞功能从数字地形高程数据库(方块104)中获取相应区域的地形高程数据DEM；
步骤G：自动近地防撞功能，计算出自动防撞指令GCAS，并将此信号发送给飞行控制律；
步骤H：自动近地防撞功能，根据实际飞行轨迹与地形的匹配值，计算出回报r；
步骤I：自动近地防撞功能，将下一状态S，包括飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS等信息，发送给近地防撞评估策略和数据存储空间；
步骤J：重复步骤C至步骤H，直至出现碰撞为止；
步骤K：学习训练数据更新，从数据存储空间中随机采样，每一个采样包括状态S、动作a、单步回报r、下一步状态S、策略π；
步骤L：近地防撞评估策略，从学习训练数据更新中，选取一个采样，包括状态S、动作a、单步回报r、下一步状态S、策略π；并计算出对应的值函数Q new(s，a)；
步骤M：近地防撞评估策略，从数据存储空间中获取对应状态-动作对(s，a)的值函数Q(s，a)
步骤N：近地防撞评估策略，通过梯度下降偏差，修正近地防撞评估策略(方块100)内的参数
Figure FDA0001897118630000021
步骤O：重复步骤L至步骤N，直至学习训练数据更新(方块106)中的样本选取完毕，即完成一轮的评估参数更新；
步骤P：重复步骤C至步骤O，直至将所有飞行数据学习，并将评估参数更新完毕为止。
2.如权利要求1所述的方法，其特征在于，所述步骤A中近地防撞评估策略π，是根据输入状态S(飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS)，计算出动作a(过载指令曲线)以及对应的值函数Q(s，a)。其中，值函数是反映了在状态S情况下，采用动作a，所获得的累积回报。
3.如权利要求1所述的方法，其特征在于，所述步骤B中设置随机状态S，包括飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS。
4.如权利要求1所述的方法，其特征在于，所述步骤C中近地防撞评估策略π选择出动作a，即过载指令曲线；。并计算出值函数Q(s，a)，即状态S情况下，采用动作a，所获得的累积回报，发送至数据存储空间进行存储。
5.如权利要求1所述的方法，其特征在于，所述步骤D的飞行控制律，是根据飞机飞行状态、环境以及指令，计算飞控舵面输出指令的模块。
6.如权利要求1所述的方法，其特征在于，所述步骤E的飞行仿真，根据飞控舵面指令，计算出下一步的飞行状态FS，包括位置、速度、姿态角及角速率、过载。
7.如权利要求1所述的方法，其特征在于，所述步骤F的自动近地防撞功能，根据飞行位置与当前地形的关系，发出防撞告警信号；数字地形高程数据库，提供当前区域的地形高程数据DEM。
8.如权利要求1所述的方法，其特征在于，所述步骤G的自动近地防撞功能，根据飞行位置与当前地形的关系，发出防撞告警信号，并将此信号发送给飞行控制律。
9.如权利要求1所述的方法，其特征在于，所述步骤H的回报r，由实际飞行轨迹与地形的匹配值计算。如果实际飞行轨迹未与地形发生碰撞，回报为正向激励；否则，为负向激励。
10.如权利要求1所述的方法，其特征在于，所述步骤I的数据存储空间，存储深度强化学习的元组，包括飞行状态FS、预测飞行轨迹TPA、地形高程数据DEM、自动防撞指令GCAS等信息。
11.如权利要求1所述的方法，其特征在于，所述步骤K的学习训练数据更新的内容，来源于数据存储空间中随机采样，采样包括状态S、动作a、单步回报r、下一步状态S、策略π。
12.如权利要求1所述的方法，其特征在于，所述步骤L近地防撞评估策略，从学习训练数据更新中，选取一个采样，包括状态S、动作a、单步回报r、下一步状态S、策略π；并计算出对应的值函数Q new(s，a)。
13.如权利要求1所述的方法，其特征在于，所述步骤M的近地防撞评估策略，从数据存储空间中获取对应状态-动作对(s，a)的值函数Q(s，a)。
14.如权利要求1所述的方法，其特征在于，所述步骤N的近地防撞评估策略修正，采用参数梯度下降法，即策略π的参数
Figure FDA0001897118630000041
Figure FDA0001897118630000042
15.如权利要求1所述的方法，其特征在于，所述步骤O的完成一轮的评估参数更新，即直至学习训练数据更新中的样本选取完毕。
16.如权利要求1所述的方法，其特征在于，所述步骤P的深度强化学习结束的判断为：直至将所有飞行数据学习，并将评估参数更新完毕为止。
CN201811496910.8A 2018-12-07 2018-12-07 深度强化学习的战斗机自动近地防撞系统碰撞评估方法 Active CN111368383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811496910.8A CN111368383B (zh) 2018-12-07 2018-12-07 深度强化学习的战斗机自动近地防撞系统碰撞评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811496910.8A CN111368383B (zh) 2018-12-07 2018-12-07 深度强化学习的战斗机自动近地防撞系统碰撞评估方法

Publications (2)

Publication Number Publication Date
CN111368383A true CN111368383A (zh) 2020-07-03
CN111368383B CN111368383B (zh) 2023-08-08

Family

ID=71203976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811496910.8A Active CN111368383B (zh) 2018-12-07 2018-12-07 深度强化学习的战斗机自动近地防撞系统碰撞评估方法

Country Status (1)

Country Link
CN (1) CN111368383B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882047A (zh) * 2020-09-28 2020-11-03 四川大学 一种基于强化学习与线性规划的快速空管防冲突方法
CN113792382A (zh) * 2021-09-10 2021-12-14 中国航空工业集团公司西安飞行自动控制研究所 一种基于机器学习的多任务模式近地告警方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100042273A1 (en) * 2006-09-12 2010-02-18 Thales Method and device for aircraft, for avoiding collision with the terrain
CN103903482A (zh) * 2012-12-26 2014-07-02 上海航空电器有限公司 一种近地告警系统中前视预测告警系统和方法
US9633567B1 (en) * 2014-12-04 2017-04-25 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Ground collision avoidance system (iGCAS)
CN108154715A (zh) * 2016-12-02 2018-06-12 上海航空电器有限公司 一种侧向碰撞监测方法
CN108549408A (zh) * 2018-05-29 2018-09-18 四川九洲空管科技有限责任公司 一种自动防撞地航迹规划方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100042273A1 (en) * 2006-09-12 2010-02-18 Thales Method and device for aircraft, for avoiding collision with the terrain
CN103903482A (zh) * 2012-12-26 2014-07-02 上海航空电器有限公司 一种近地告警系统中前视预测告警系统和方法
US9633567B1 (en) * 2014-12-04 2017-04-25 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Ground collision avoidance system (iGCAS)
CN108154715A (zh) * 2016-12-02 2018-06-12 上海航空电器有限公司 一种侧向碰撞监测方法
CN108549408A (zh) * 2018-05-29 2018-09-18 四川九洲空管科技有限责任公司 一种自动防撞地航迹规划方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
夏小春 等: "一种便携式近地告警测试设备的设计与实现", 《信息技术与网络安全》, vol. 37, no. 10 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882047A (zh) * 2020-09-28 2020-11-03 四川大学 一种基于强化学习与线性规划的快速空管防冲突方法
CN111882047B (zh) * 2020-09-28 2021-01-15 四川大学 一种基于强化学习与线性规划的快速空管防冲突方法
CN113792382A (zh) * 2021-09-10 2021-12-14 中国航空工业集团公司西安飞行自动控制研究所 一种基于机器学习的多任务模式近地告警方法

Also Published As

Publication number Publication date
CN111368383B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
US10019005B2 (en) Autonomous vehicle control system
EP1936584B1 (en) A device at an airborne vehicle and a method for collision avoidance
US10650685B2 (en) Method for autonomous controlling of a remote controlled aerial vehicle and corresponding system
US20200369384A1 (en) Autonomous Unmanned Aerial Vehicle and Method of Control Thereof
US8781802B2 (en) Simulation device and simulation method
EP1901144B1 (en) Arrangement and method for generating input information to a simulation device
EP2555179A2 (en) Aircraft traffic separation system
US8924069B1 (en) Artificial immune system approach for airborne vehicle maneuvering
CN105824319A (zh) 飞行器回避一个或多个障碍的方法，相关计算机程序产品，电子系统和飞行器
CN111368383B (zh) 深度强化学习的战斗机自动近地防撞系统碰撞评估方法
EP3975157A1 (en) Method to navigate an unmanned aerial vehicle to avoid collisions
CN109814595B (zh) 基于多Agent的直升机-无人机协同打击信火同步控制方法
CN117151698A (zh) 基于数据分析的综合信息处理系统
Barfield Autonomous collision avoidance: the technical requirements
Martel et al. Unmanned aircraft systems sense and avoid avionics utilizing ADS-B transceiver
EP2876402A1 (en) System integration
US12087171B2 (en) Assurance module
US20190122570A1 (en) Method for determining endpoint(s) for deciding to trigger evasive maneuver by an aircraft, associated device and computer program
Pastor et al. Real-time simulations to evaluate the RPAS integration in shared airspace
Martın-Lammerding et al. A multi-UAS simulator for high density air traffic scenarios
Stroeve et al. Remote pilot modelling for evaluation of ACAS Xu
Corraro et al. Advanced functions for lowering nuisance alerts in a DAA system: Implementation and performance evaluation in real-time human-in-the-loop testing
IL179304A (en) Method and system for debriefing flying scenes
CN109903591B (zh) 一种基于专家规则的航空器自动近地碰撞评估方法及系统
Swihart et al. Autonomous collision avoidance system for air-to-air operations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant