CN114373337B - 一种航迹不确定性条件下的飞行冲突自主解脱方法 - Google Patents

一种航迹不确定性条件下的飞行冲突自主解脱方法 Download PDF

Info

Publication number
CN114373337B
CN114373337B CN202210050832.9A CN202210050832A CN114373337B CN 114373337 B CN114373337 B CN 114373337B CN 202210050832 A CN202210050832 A CN 202210050832A CN 114373337 B CN114373337 B CN 114373337B
Authority
CN
China
Prior art keywords
aircraft
conflict
track
flight
ith
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210050832.9A
Other languages
English (en)
Other versions
CN114373337A (zh
Inventor
蔡开泉
赖家键
喻兰辰晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202210050832.9A priority Critical patent/CN114373337B/zh
Publication of CN114373337A publication Critical patent/CN114373337A/zh
Application granted granted Critical
Publication of CN114373337B publication Critical patent/CN114373337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0043—Traffic management of multiple aircrafts from the ground
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提出一种航迹不确定性条件下的飞行冲突自主解脱方法，属于空中交通管理领域；具体是：首先，在地面搭建目标区域内的若干航空器飞行航迹的概率可达模型；利用各航空器的历史航迹数据拟合预测概率可达模型的参数，得到各航空器的航迹概率分布。然后，根据各航空器的航迹概率分布进行冲突判定，构建航空器冲突解脱的自主决策模型。最后，采用多智能体深度确定性策略梯度算法，对自主决策模型进行求解，得到在航迹不确定性条件下的n架航空器冲突时最优的改航点集合A。本发明利用数据驱动的方法提前获取航空器航迹概率分布，从而实现快速的中长期机载端航迹预测。

Description

一种航迹不确定性条件下的飞行冲突自主解脱方法
技术领域
本发明属于空中交通管理领域，具体是一种航迹不确定性条件下的飞行冲突自主解脱方法。
背景技术
航空运输量的持续增长使得空中交通运行的复杂度逐步加大，现行以地面管制员为中心、按管制扇区进行集中式间隔管控的方式，由于管制工作负荷大以及航空器飞行灵活性受限等原因，难以满足高复杂度空域环境下空中交通安全高效运行的需求。
美国航空无线电技术委员会于1995年提出“自由飞行”的运行概念，其核心是空中交通自主间隔管控，即通过将地面管制系统的间隔管制任务转移给航空器与机组人员，让机载端承担更多的飞行冲突探测与解脱责任，实现空地分布式的间隔保持与安全管控，改善空中航行的灵活性和自主性。
目前现有的机载飞行冲突解脱工具或方法，主要面向短期和中短期的飞行冲突，典型设备如以机载监视雷达为基础空中防撞系统(TCAS)，以广播式自动相关监视系统(ADS-B)为基础的机载分离辅助系统(ASAS)。但其对于中长期的解脱目标，尤其是在航迹不确定性条件的飞行冲突情况支持较少。在运行环境、设备性能和人为因素等不确定性因素的影响下，未来空地分布式的空中交通自主间隔保持将是一个对航迹自适应的综合管控系统，对机载航迹规划与冲突解脱的能力提出了更高的要求。
现有管控措施难以在实际运行中考虑航迹不确定性条件，保持航空器中长期间隔管控的安全与高效性。
发明内容
为解决上述问题，本发明提供了一种航迹不确定性条件下的飞行冲突自主解脱方法，可以在考虑航迹不确定性条件下满足单次改航的管制需求，实现机载飞行冲突的快速解脱，从而提高空中交通自主运行的安全与效率。
所述的航迹不确定性条件下的飞行冲突自主解脱方法，具体步骤如下：
步骤一、在地面搭建目标区域内的若干航空器飞行航迹的概率可达模型；
模型如下：
Figure BDA0003474234740000021
subject to:
Figure BDA0003474234740000022
Figure BDA0003474234740000023
其中，
Figure BDA0003474234740000024
是第j个航空器的可达范围参数，共ns个航空器；
Figure BDA0003474234740000025
是
Figure BDA0003474234740000026
的凸函数，为
Figure BDA0003474234740000027
行列式的对数。
Figure BDA0003474234740000028
表示第j个航空器实际位置p的所有可能取值；
航空器实际位置的所有可能取值，表示为：
Figure BDA0003474234740000029
航空器的理想航迹位置记为
Figure BDA00034742347400000210
航空器的实际航迹位置记为p；
Figure BDA00034742347400000211
表示在三维直角坐标系，δ∈(0,1)表示违反概率；
步骤二、利用各航空器的历史航迹数据拟合预测概率可达模型的参数，得到各航空器的航迹概率分布。
具体过程为：
针对单个航空器，首先将该航空器的历史航迹数据根据航线进行划分，针对存在偏差的航迹进行采样，获取N个样本，以N个确实约束替代C-COP中的机会约束，进而得到上述航迹模型的近似解；
即将N个样本的确定性偏差约束
Figure BDA00034742347400000212
替代原概率性约束
Figure BDA00034742347400000213
使问题转化为凸优化问题。
最后，利用CVX等凸优化工具箱对所转化的凸优化问题进行求解。
步骤三：根据各航空器的航迹概率分布进行冲突判定，并构建航空器冲突解脱的自主决策模型。
具体过程为：
步骤301、针对第i架航空器，对目标区域内所有其他航空器广播自身状态矢量，并接收其他n-1架航空器的广播信息；
n为空域中航空器的架数。
第i架航空器广播的自身状态矢量
Figure BDA00034742347400000214
vi为第i架航空器的飞行速度，
Figure BDA00034742347400000215
为第i架航空器的航向角，ai为第i架航空器在时间窗内的起始三维航迹点，di为第i架航空器在时间窗内的目标航迹点，
Figure BDA00034742347400000216
为第i架航空器的概率可达集形状参数。
第i架航空器接收的广播信息为：Vi＝[I1,...,Ii-1,Ii+1,...,In]；
步骤302、第i架航空器利用其他航空器的广播信息，判定自身是否与其他航空器存在冲突；
当下式成立时，两个航空器i和j存在冲突：
Figure BDA0003474234740000031
其中，
Figure BDA0003474234740000032
表示两个航空器的椭球预测航迹之间的距离，dmin为最小安全间隔，取值根据实际人为设定。
步骤303、当第i架航空器识别到飞行冲突风险后，在航迹的时间窗范围内选择搜索一个中间的改航点ci，使得重新规划后的航迹与周边航空器之间无冲突。
利用深度确定性梯度网络，通过指明搜索方向，搜索得到改航点ci，ci的所有可能取值组成第i架航空器的动作空间；ci需满足以下约束条件：
Figure BDA0003474234740000033
Figure BDA0003474234740000034
vmin为速度下界取值；vmax为速度上界取值；
Figure BDA0003474234740000035
代表航空器在起始航路点ai的时刻、
Figure BDA0003474234740000036
代表航空器在中间航路点ci的时刻、
Figure BDA0003474234740000037
代表航空器在目标航路点di的时刻。
步骤304、同理，遍历目标空域内的n架航空器，重复步骤301-303执行相应的解脱行为，生成n个中间改航点；
中间改航点的集合A＝[c1,c2,...,ci,...,cn]。
步骤305、利用奖励函数评估航空器选择了n个改航点组成的解，相比上一次解脱行为对于冲突状态的改善质量；
奖励函数计算公式为：
Figure BDA0003474234740000038
Ac表示奖励与惩罚的超参数，
Figure BDA0003474234740000039
是航空器执行一次中间动作后，与其他航空器之间椭球可达集距离相对于上一状态的变化量的最小值；
上式表明，当
Figure BDA00034742347400000310
获得奖励，反之，
Figure BDA00034742347400000311
则得到惩罚。
在单次训练搜索中，航空器的改航点不满足航空器性能约束或者达到最大搜索次数时，其奖励函数设计为：
Rterminal＝-100
最终，当n个改航点使得空域内所有航空器均无冲突时达到成功终止条件，此时改航点的解的质量用奖励函数R表示：
Figure BDA00034742347400000312
V为航空器接收到的其他航空器意图信息；Li为第i架航空器的原始航迹距离长度，Li′为第i架航空器改航后新产生的航迹距离；
Figure BDA0003474234740000041
为改航后第i架航空器的航迹偏离度。
步骤306、利用评估了质量后的n个改航点，搭建航空器冲突解脱的自主决策模型。
航空器冲突解脱的自主决策模型如下：
Figure BDA0003474234740000042
subject to:
Figure BDA0003474234740000043
Figure BDA0003474234740000044
Figure BDA0003474234740000045
其中，目标函数为各航空器之间的偏离最小；
步骤四、采用多智能体深度确定性策略梯度算法，对航空器冲突解脱的自主决策模型进行求解，得到在航迹不确定性条件下的n架航空器冲突时最优的改航点集合A。
(1)将每架航空器看作一个智能体，并对每个智能体构建决策神经网络；
第i架航空器的神经网络参数为φi，智能体的策略为μi，则智能体的动作完全由其策略和对应的参数决定：
ai＝μi(Ri|φi)
其中，ai为第i架航空器的改航点搜索方向，用坐标(dx,dy,dz)表示；Ri表示第i架航空器的观测信息；网络参数φi根据MADDPG的相关理论对模型进行训练获取；
(2)每个决策神经网络的输入为接收到的意图信息V，输出为建议的改航点寻找方向(dx,dy,dz)。
设每一次训练中，最大的迭代次数为k，则智能体给出的最终建议改航点为：
Figure BDA0003474234740000046
Figure BDA0003474234740000047
是原航线上的初始航路点，(dx1,dy1,dz1)是第一次迭代寻优时智能体给出的改航点搜索方向，(dx2,dy2,dz2)为第二次迭代给出的改航点搜索方向，以此类推。通过在搜索方向上的不断叠加，最终得到建议改航点c。
(3)当各个航空器的网络参数训练完成后，加载到航空器机载航电设备上，实现机载端的实时冲突解脱；
其应用阶段步骤如下：
a)航空器通过机载设备从地面或者周边航空器获取周边航空器的意图信息；
b)将意图信息输入到单机动作网络中，获得改航点搜索方向并不断迭代寻优，得到最佳改航点,航空器可以通过单次改航，即从起点a到达改航点c再达到终点d实现在该空域内的冲突解脱；
c)航空器执行相应的冲突解脱机动，在规定时间内到达中间改航点，实现冲突解脱。
本发明的优点与积极效果在于：
(1)本发明一种航迹不确定性条件下的飞行冲突自主解脱方法，考虑到航空器飞行时的不确定性影响因素难以通过数学模型准确建模的问题，利用数据驱动的方法提前获取航空器航迹概率分布，从而实现快速的中长期机载端航迹预测。
(2)本发明一种航迹不确定性条件下的飞行冲突自主解脱方法，考虑到现有基于深度强化学习的飞行冲突解脱方法往往需要高频次机动，即需要对此调整航向，速度等，难以符合管制和实际运行要求。本发明设计了基于中间虚拟航路点的强化学习冲突解脱方案，航空器只需要单次机动，即从起点a到达改航点c再达到终点d从而实现冲突解脱，大大提高了深度强化学习方法在冲突解脱领域的实用性。
附图说明
图1为本发明一种航迹不确定性条件下的飞行冲突自主解脱方法的流程图。
图2为本发明航空器的实际位置和理想位置之间的关系。
图3为本发明航空器之间的冲突风险预测流程图。
图4为本发明航空器自主冲突解脱的搜索迭代方法。
具体实施方式
为使本发明实施例的技术方案以及优点表达的更清楚，下面通过附图和实施例，对本发明的技术方案做进一步详细描述。
本发明提供的一种航迹不确定性条件下的飞行冲突自主解脱方法，分为训练阶段和应用阶段。训练阶段通过地面设备完成，包括利用各航空器的历史航迹数据对航空器飞行航迹概率性模型参数进行拟合，获得航空器各自的概率性航迹分布，以及基于深度强化学习的飞行冲突解脱模型进行两方面内容。
在应用阶段，将训练好的模型与设定参数加载到机载航电设备中，航空器根据自身态势信息，对自身飞行航迹进行概率性预测，并广播到空域中的所有其他航空器中。每一架航空器根据接收到的周边航空器态势信息，由机载端航电设备进行冲突风险预测，并通过已经训练好的模型解算得到相应的冲突解脱机动策略，从而实现实时的机载飞行冲突解脱，在降低飞行员与地面管制员操作负荷的同时，确保空中交通自主运行的安全和高效。
本发明针对航迹不确定性预测问题，通过构建各航空器的航迹概率性预测模型，并利用历史航迹数据拟合模型参数，获取航迹边界分布；基于概率分布结果进一步实现航迹预测。针对中长期机载实时高效飞行冲突解脱问题，构建适用于多航空器冲突场景的马尔可夫决策过程，设计基于深度强化学习的机载飞行冲突解脱决策方法，提高机载中长期航迹规划与冲突解脱能力，确保空中交通自主运行的安全高效。
所述的航迹不确定性条件下的飞行冲突自主解脱方法，如图1所示，具体步骤如下：
步骤一、在地面搭建目标区域内的若干航空器飞行航迹的概率可达模型；
如图2所示，假设航空器沿理想航迹飞行，航空器的理想航迹位置记为
Figure BDA0003474234740000061
由于受到实际风场和飞行位置雷达量测噪声的影响，航空器的实际航迹存在不确定程度的偏移，其实际位置记为p；表示由于不确定性条件导致的航迹偏差记为r；则
Figure BDA0003474234740000062
以位置
Figure BDA0003474234740000063
为中心，航空器的实际位置p位于椭球
Figure BDA0003474234740000064
内的概率不小于1-δ，椭球的形状矩阵为A＝sθ Tsθ，其中θ为确定椭球形状的参数。则在1-δ概率下航空器实际位置的所有可能取值，表示为：
Figure BDA0003474234740000065
Figure BDA0003474234740000066
表示第j个航空器实际位置p的所有可能取值；
Figure BDA0003474234740000067
表示在三维直角坐标系，δ表示违反概率；
在实际应用中，应尽可能减少航迹的预测偏差r，即令椭球
Figure BDA0003474234740000068
的体积尽可能小，故可以将航空器的最小化航迹预测误差问题构建为机会约束规划(ChanceConstrained Programming，C-COP)模型，如下：
Figure BDA0003474234740000069
subject to:
Figure BDA00034742347400000610
Figure BDA00034742347400000611
其中，
Figure BDA00034742347400000612
是第j个航空器的可达范围参数，共ns个航空器；
Figure BDA00034742347400000613
是
Figure BDA00034742347400000614
的凸函数，为
Figure BDA00034742347400000615
行列式的对数。
步骤二：利用各航空器的历史航迹数据拟合预测概率可达模型的参数，得到各航空器的航迹概率分布。
具体过程为：
针对单个航空器，首先将该航空器的历史航迹数据根据航线进行划分，由于所属同一条航线的航空器航迹在时空上受到不确定性因素的影响，其航迹存在偏差，因此对偏差数据信息进行采样，获取N个样本，以N个确实约束替代C-COP中的机会约束，进而得到上述航迹模型的近似解；
即将N个样本的确定性偏差约束
Figure BDA00034742347400000616
替代原概率性约束
Figure BDA00034742347400000617
使问题转化为凸优化问题。
最后，利用CVX等凸优化工具箱对所转化的凸优化问题进行求解。
步骤三、根据各航空器的航迹概率分布进行冲突判定，并构建航空器冲突解脱的自主决策模型。
本实施例从基于马尔可夫过程的状态空间，动作空间以及奖励函数三方面描述航空器冲突自主决策问题的设计过程。
如图3所示，具体过程为：
步骤301、针对第i架航空器，对目标区域内所有其他航空器广播自身状态矢量，并接收其他n-1架航空器的广播信息；
n为空域中航空器的架数。
第i架航空器广播的自身状态矢量
Figure BDA0003474234740000071
vi为第i架航空器的飞行速度，
Figure BDA0003474234740000072
为第i架航空器的航向角，ai为第i架航空器在时间窗内的起始三维航迹点，di为第i架航空器在时间窗内的目标航迹点，
Figure BDA0003474234740000073
为第i架航空器的概率可达集形状参数。
第i架航空器接收的广播信息为：Vi＝[I1,...,Ii-1,Ii+1,...,In]；
步骤302、第i架航空器利用其他航空器的广播信息，判定自身是否与其他航空器存在冲突；
如图4所示，当下式成立时，两个航空器i1和i2存在冲突：
Figure BDA0003474234740000074
其中，
Figure BDA0003474234740000075
表示两个航空器的椭球预测航迹之间的距离，dmin为最小安全间隔，取值根据实际人为设定。
步骤303、当第i架航空器识别到飞行冲突风险后，在航迹的时间窗范围内选择搜索一个中间的改航点ci，使得重新规划后的航迹与周边航空器之间无冲突。
利用深度确定性梯度网络，通过指明搜索方向，搜索得到改航点ci，ci的所有可能取值组成第i架航空器的动作空间；ci需满足以下约束条件：
Figure BDA0003474234740000076
Figure BDA0003474234740000077
vmin为速度下界取值；vmax为速度上界取值；
Figure BDA0003474234740000078
代表航空器在起始航路点ai的时刻、
Figure BDA0003474234740000079
代表航空器在中间航路点ci的时刻、
Figure BDA00034742347400000710
代表航空器在目标航路点di的时刻。
步骤304、同理，遍历目标空域内的n架航空器，重复步骤301-303执行相应的解脱行为，生成n个中间改航点；
中间改航点的集合A＝[c1,c2,...,ci,...,cn]。
步骤305、利用奖励函数评估航空器选择了n个改航点组成的解，相比上一次解脱行为对于冲突状态的改善质量；
奖励函数用于对航空器的冲突解脱行为质量进行反馈，航空器接收到其他航空器意图信息V后，选择中间航路点ci，根据其航路点的质量给出相应反馈(奖励或惩罚)R。记Li为第i架航空器的原始航迹距离长度，Li′为第i架航空器改航后新产生的航迹距离，故改航后第i架航空器的航迹偏离度近似地表示为
Figure BDA0003474234740000081
当n个改航点可以使得空域内所有航空器均无冲突时达到成功终止条件，此时其改航点的解的质量可以表示为：
Figure BDA0003474234740000082
在实际训练过程中，航空器所选择的改航点可能存在不满足无冲突条件的情况，此时将补充奖励函数设计为其对比于上一次解脱行为对于冲突状态的改善情况：
Figure BDA0003474234740000083
其中
Figure BDA0003474234740000084
是航空器执行采取一次中间动作后，与其他航空器之间椭球可达集距离相对于上一状态的变化量的最小值。上式表明，如果智能体的一次机动在扩大本机与各航空器之间的最小间隔，那么智能体获得奖励；反之，则得到惩罚；奖励与惩罚的具体数值与超参数Ac相关。
在单次训练中，航空器改航位置不满足航空器性能约束或者达到失败终止条件，其奖励函数设计为：
Rterminal＝-100
步骤306、利用评估了质量后的n个改航点，搭建航空器冲突解脱的自主决策模型。
航空器冲突解脱的自主决策模型如下：
Figure BDA0003474234740000085
subject to:
Figure BDA0003474234740000086
Figure BDA0003474234740000087
Figure BDA0003474234740000088
其中，目标函数为各航空器之间的偏离最小；
步骤四、采用多智能体深度确定性策略梯度(MADDPG)算法，对航空器冲突解脱的自主决策模型进行求解，由机载航电设备实时地解算出多航空器的冲突解脱决策，得到在航迹不确定性条件下的n架航空器冲突时最优的改航点集合A。
采用多智能体深度确定性策略梯度算法，对n架航空器冲突时改航点组合A进行求解，得到在考虑航迹不确定性条件下的多航空器自主冲突解脱改航点集合A。
(1)MAADPG算法的模型训练阶段。将每架航空器看作一个智能体，并对每个智能体构建决策神经网络；
网络参数通过不断对基于历史数据模拟的冲突场景进行冲突解脱而更新，当参数更新到一定程度后，可实现在航迹不确定性条件下的快速改航点计算。
第i架航空器的神经网络参数为φi，智能体的策略为μi，则智能体的动作完全由其策略和对应的参数决定：
ai＝μi(Ri|φi)
其中，ai为第i架航空器的改航点搜索方向，用坐标(dx,dy,dz)表示；Ri表示第i架航空器的观测信息；φi表示第i架航空器的神经网络参数，根据MADDPG的相关理论对模型进行训练获取；
模型训练的步骤如下：
a)通过历史航迹数据，利用航空器航迹仿真测试平台生成各种随机的航空器冲突场景，初始化各个智能体的神经网络参数，收集智能体的冲突解脱策略与对应观测值，并存储在回放经验池中。
b)每个智能体利用第一步收集到的数据进行处理分析，根据下述确定性策略梯度更新其网络参数φi：
Figure BDA0003474234740000091
其中，
Figure BDA0003474234740000092
表示动作网络目标函数，Ev,a～D表示随机策略序列的期望，v＝(v1,v2,...,vn)表示智能体的联合观测值，D代表了MADDPG中的经验池，包含了四元组(v,v′,a,r)，v代表当前的联合观测值，v′代表下一联合观测值，a代表联合动作，r代表联合奖励。
Figure BDA0003474234740000096
是一个中心化的动作-价值函数，输入为智能体的动作，输出为该动作的质量，Q函数的损失函数可以定义为:
L(θ)＝Es,a,r,s′[(Qi μ(s,a1,...,an)-y)2],
Figure BDA0003474234740000093
智能体通过不断对基于历史数据模拟的冲突场景进行冲突解脱，不断更新自身的策略
Figure BDA0003474234740000094
最终实现面向航迹不确定性条件下的航空器冲突解脱。
(2)每个决策神经网络
Figure BDA0003474234740000095
的输入为接收到的空域中各航空器的意图信息V，输出为建议的改航点ci寻找方向(dx,dy,dz)；
设每一次训练中，最大的迭代次数为k，则智能体给出的最终建议改航点为：
Figure BDA0003474234740000101
cs0是原航线上的初始航路点，(dx1,dy1,dz1)是第一次迭代寻优时智能体给出的改航点搜索方向，(dx2,dy2,dz2)为第二次迭代给出的改航点搜索方向，以此类推。通过在搜索方向上的不断叠加，最终得到建议改航点c。
(3)当各个航空器的网络参数训练完成后，加载到航空器机载航电设备上，实现机载端的实时冲突解脱；
其应用阶段步骤如下：
a)航空器通过机载设备从地面或者周边航空器获取周边航空器的意图信息；
b)将意图信息输入到单机动作网络中，获得改航点搜索方向并不断迭代寻优，得到最佳改航点,航空器可以通过单次改航，即从起点a到达改航点c再达到终点d实现在该空域内的冲突解脱；
c)航空器执行相应的冲突解脱机动，在规定时间内到达中间改航点，实现冲突解脱。
最后应说明的是：以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (2)

1.一种航迹不确定性条件下的飞行冲突自主解脱方法，其特征在于，具体步骤如下：假设航空器沿理想航迹飞行，航空器的理想航迹位置记为
Figure FDA0003879563150000011
航空器的实际航迹存在不确定程度的偏移，其实际位置记为p；表示由于不确定性条件导致的航迹偏差记为r；则
Figure FDA0003879563150000012
首先，在地面搭建目标区域内的若干航空器飞行航迹的概率可达模型；利用各航空器的历史航迹数据拟合预测概率可达模型的参数，得到各航空器的航迹概率分布；
所述的概率可达模型如下：
Figure FDA0003879563150000013
subject to:
Figure FDA0003879563150000014
Figure FDA0003879563150000015
其中，
Figure FDA0003879563150000016
是第j个航空器的可达范围参数，共ns个航空器；
Figure FDA0003879563150000017
是
Figure FDA0003879563150000018
的凸函数，为
Figure FDA0003879563150000019
行列式的对数；
Figure FDA00038795631500000110
表示第j个航空器实际位置p的所有可能取值；
航空器实际位置的所有可能取值，表示为：
Figure FDA00038795631500000111
航空器的理想航迹位置记为
Figure FDA00038795631500000112
航空器的实际航迹位置记为p；
Figure FDA00038795631500000113
表示在三维直角坐标系，δ∈(0,1)表示违反概率；
所述拟合预测概率可达模型的参数，得到各航空器的航迹概率分布的具体过程为：
针对单个航空器，首先将该航空器的历史航迹数据根据航线进行划分，针对存在偏差的航迹进行采样，获取N个样本，以N个确实约束替代C-COP中的机会约束，进而得到航迹模型的近似解；
即将N个样本的确定性偏差约束
Figure FDA00038795631500000114
替代原概率性约束
Figure FDA00038795631500000115
使问题转化为凸优化问题；
最后，利用凸优化工具箱对所转化的凸优化问题进行求解；
然后，根据各航空器的航迹概率分布进行冲突判定，并构建航空器冲突解脱的自主决策模型；
所述的构建航空器冲突解脱的自主决策模型的具体过程为：
步骤301、针对第i架航空器，对目标区域内所有其他航空器广播自身状态矢量，并接收其他n-1架航空器的广播信息；
n为空域中航空器的架数；
第i架航空器广播的自身状态矢量
Figure FDA00038795631500000116
vi为第i架航空器的飞行速度，
Figure FDA00038795631500000117
为第i架航空器的航向角，ai为第i架航空器在时间窗内的起始三维航迹点，di为第i架航空器在时间窗内的目标航迹点，
Figure FDA0003879563150000021
为第i架航空器的概率可达集形状参数；
第i架航空器接收的广播信息为：Vi＝[I1,...,Ii-1,Ii+1,...,In]；
步骤302、第i架航空器利用其他航空器的广播信息，判定自身是否与其他航空器存在冲突；
当下式成立时，两个航空器i和j存在冲突：
Figure FDA0003879563150000022
其中，
Figure FDA0003879563150000023
表示两个航空器的椭球预测航迹之间的距离，dmin为最小安全间隔，取值根据实际人为设定；
步骤303、当第i架航空器识别到飞行冲突风险后，在航迹的时间窗范围内选择搜索一个中间的改航点ci，使得重新规划后的航迹与周边航空器之间无冲突；
利用深度确定性梯度网络，通过指明搜索方向，搜索得到改航点ci，ci的所有可能取值组成第i架航空器的动作空间；ci需满足以下约束条件：
Figure FDA0003879563150000024
Figure FDA0003879563150000025
vmin为速度下界取值；vmax为速度上界取值；
Figure FDA0003879563150000026
代表航空器在起始航路点ai的时刻、
Figure FDA0003879563150000027
代表航空器在中间航路点ci的时刻、
Figure FDA0003879563150000028
代表航空器在目标航路点di的时刻；
步骤304、同理，遍历目标空域内的n架航空器，重复步骤301-303执行相应的解脱行为，生成n个中间改航点；
中间改航点的集合A＝[c1,c2,...,ci,...,cn]；
步骤305、利用奖励函数评估航空器选择了n个改航点组成的解，相比上一次解脱行为对于冲突状态的改善质量；
奖励函数计算公式为：
Figure FDA0003879563150000029
Ac表示奖励与惩罚的超参数，
Figure FDA00038795631500000210
是航空器执行一次中间动作后，与其他航空器之间椭球可达集距离相对于上一状态的变化量的最小值；
上式表明，当
Figure FDA00038795631500000211
获得奖励，反之，
Figure FDA00038795631500000212
则得到惩罚；
在单次训练搜索中，航空器的改航点不满足航空器性能约束或者达到最大搜索次数时，其奖励函数设计为：
Rterminal＝-100
最终，当n个改航点使得空域内所有航空器均无冲突时达到成功终止条件，此时改航点的解的质量用奖励函数R表示：
Figure FDA0003879563150000031
V为航空器接收到的其他航空器意图信息；Li为第i架航空器的原始航迹距离长度，Li′为第i架航空器改航后新产生的航迹距离；
Figure FDA0003879563150000032
为改航后第i架航空器的航迹偏离度；
步骤306、利用评估了质量后的n个改航点，搭建航空器冲突解脱的自主决策模型；
航空器冲突解脱的自主决策模型如下：
Figure FDA0003879563150000033
subject to:
Figure FDA0003879563150000034
Figure FDA0003879563150000035
Figure FDA0003879563150000036
其中，目标函数为各航空器之间的偏离最小；
最后，采用多智能体深度确定性策略梯度算法，对航空器冲突解脱的自主决策模型进行求解，得到在航迹不确定性条件下的n架航空器冲突时最优的改航点集合A。
2.如权利要求1所述的一种航迹不确定性条件下的飞行冲突自主解脱方法，其特征在于，所述的采用多智能体深度确定性策略梯度算法，对自主决策模型进行求解的过程为：
(1)将每架航空器看作一个智能体，并对每个智能体构建决策神经网络；
第i架航空器的神经网络参数为φi，智能体的策略为μi，则智能体的动作完全由其策略和对应的参数决定：
ai＝μi(Ri|φi)
其中，ai为第i架航空器的改航点搜索方向，用坐标(dx,dy,dz)表示；Ri表示第i架航空器的观测信息；络参数φi根据MADDPG的相关理论对模型进行训练获取；
(2)每个决策神经网络的输入为接收到的意图信息V，输出为建议的改航点寻找方向(dx,dy,dz)；
设每一次训练中，最大的迭代次数为k，则智能体给出的最终建议改航点为：
Figure FDA0003879563150000037
Figure FDA0003879563150000038
是原航线上的初始航路点，(dx1,dy1,dz1)是第一次迭代寻优时智能体给出的改航点搜索方向，(dx2,dy2,dz2)为第二次迭代给出的改航点搜索方向，以此类推；通过在搜索方向上的不断叠加，最终得到建议改航点c；
(3)当各个航空器的网络参数训练完成后，加载到航空器机载航电设备上，实现机载端的实时冲突解脱；
其应用阶段步骤如下：
a)航空器通过机载设备从地面或者周边航空器获取周边航空器的意图信息；
b)将意图信息输入到单机动作网络中，获得改航点搜索方向并不断迭代寻优，得到最佳改航点，航空器可以通过单次改航，即从起点a到达改航点c再达到终点d实现在空域内的冲突解脱；
c)航空器执行相应的冲突解脱机动，在规定时间内到达中间改航点，实现冲突解脱。
CN202210050832.9A 2022-01-17 2022-01-17 一种航迹不确定性条件下的飞行冲突自主解脱方法 Active CN114373337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210050832.9A CN114373337B (zh) 2022-01-17 2022-01-17 一种航迹不确定性条件下的飞行冲突自主解脱方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210050832.9A CN114373337B (zh) 2022-01-17 2022-01-17 一种航迹不确定性条件下的飞行冲突自主解脱方法

Publications (2)

Publication Number Publication Date
CN114373337A CN114373337A (zh) 2022-04-19
CN114373337B true CN114373337B (zh) 2022-11-22

Family

ID=81144940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210050832.9A Active CN114373337B (zh) 2022-01-17 2022-01-17 一种航迹不确定性条件下的飞行冲突自主解脱方法

Country Status (1)

Country Link
CN (1) CN114373337B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115499467B (zh) * 2022-09-06 2023-07-18 苏州大学 基于数字孪生的智能网联车测试平台及其搭建方法与系统
CN115512221B (zh) * 2022-09-22 2024-02-27 中国人民解放军海军航空大学 基于gnn的同步航迹鲁棒性关联方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106816045A (zh) * 2015-01-07 2017-06-09 江苏理工学院 一种基于4d航迹运行的飞行冲突解脱方法
CN109035870A (zh) * 2018-06-15 2018-12-18 北京航空航天大学 航迹保持性能的一致性监测方法和装置
CN111160631A (zh) * 2019-12-17 2020-05-15 西北工业大学 一种基于四维航迹运行的冲突探测及消解方法
CN111292563A (zh) * 2020-05-12 2020-06-16 北京航空航天大学 一种航班航迹预测方法
CN112466103A (zh) * 2020-11-12 2021-03-09 北京航空航天大学 航空器飞行威胁演化预警方法、装置、设备及存储介质
CN113485103A (zh) * 2021-06-29 2021-10-08 四川大学 一种基于深度强化学习的航空器冲突解脱方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11094206B2 (en) * 2018-10-02 2021-08-17 The Boeing Company Vertical flightpath optimization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106816045A (zh) * 2015-01-07 2017-06-09 江苏理工学院 一种基于4d航迹运行的飞行冲突解脱方法
CN109035870A (zh) * 2018-06-15 2018-12-18 北京航空航天大学 航迹保持性能的一致性监测方法和装置
CN111160631A (zh) * 2019-12-17 2020-05-15 西北工业大学 一种基于四维航迹运行的冲突探测及消解方法
CN111292563A (zh) * 2020-05-12 2020-06-16 北京航空航天大学 一种航班航迹预测方法
CN112466103A (zh) * 2020-11-12 2021-03-09 北京航空航天大学 航空器飞行威胁演化预警方法、装置、设备及存储介质
CN113485103A (zh) * 2021-06-29 2021-10-08 四川大学 一种基于深度强化学习的航空器冲突解脱方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Multi-Agent Reinforcement Learning Approach for Conflict Resolution in Dense Traffic Scenarios;Jiajian Lai等;《2021 IEEE/AIAA 40th Digital Avionics Systems Conference (DASC)》;20211115;全文 *
RIS-Aided Ground-Aerial NOMA Communications: A Distributionally Robust DRL Approach;Jingjing Zhao等;《IEEE Journal on Selected Areas in Communications 》;20220114;全文 *

Also Published As

Publication number Publication date
CN114373337A (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
CN114373337B (zh) 一种航迹不确定性条件下的飞行冲突自主解脱方法
Brittain et al. One to any: Distributed conflict resolution with deep multi-agent reinforcement learning and long short-term memory
Bertram et al. Distributed computational guidance for high-density urban air mobility with cooperative and non-cooperative collision avoidance
Brittain et al. A deep multi-agent reinforcement learning approach to autonomous separation assurance
Brittain et al. Scalable autonomous separation assurance with heterogeneous multi-agent reinforcement learning
Fu et al. Sense and collision avoidance of unmanned aerial vehicles using Markov decision process and flatness approach
Brittain et al. Autonomous separation assurance with deep multi-agent reinforcement learning
Bin et al. Research on cooperative collision avoidance problem of multiple UAV based on reinforcement learning
Rodionova et al. Learning-to-fly: Learning-based collision avoidance for scalable urban air mobility
Asadi et al. Multi-objective weight optimization for trajectory planning of an airplane with structural damage
Hu et al. UAS conflict resolution in continuous action space using deep reinforcement learning
Rodríguez-Sanz et al. 4D-trajectory time windows: definition and uncertainty management
Sahadevan et al. Ground-based 4d trajectory prediction using bi-directional LSTM networks
Wu et al. Heterogeneous Mission Planning for Multiple UAV Formations via Metaheuristic Algorithms
Deniz et al. A multi-agent reinforcement learning approach to traffic control at future urban air mobility intersections
Yang et al. Decentralised formation control and stability analysis for multi-vehicle cooperative manoeuvre
Wu et al. On-board multi-objective mission planning for unmanned aerial vehicles
Deniz et al. A Multi-Agent Reinforcement Learning Approach to Traffic Control at Merging Point of Urban Air Mobility
Yu et al. Collision-free trajectory generation for UAVs using Markov decision process
Musavi et al. A game theoretical modeling and simulation framework for the integration of unmanned aircraft systems in to the national airspace
Wells et al. Predicting suas conflicts in the national airspace with interacting multiple models and haversine-based conflict detection system
CN114756017A (zh) 一种无人机与无人艇结合的导航避障方法
Le Floch et al. Trajectory planning for autonomous parafoils in complex terrain
Zhao et al. Development of onboard decision supporting system for ship docking operations
Khaledian et al. Interacting Multiple Model Filtering for Aircraft Guidance Modes Identification from Surveillance Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant