CN115660446A

CN115660446A - 一种空中交通管制预案智能生成方法、装置及系统

Info

Publication number: CN115660446A
Application number: CN202211593145.8A
Authority: CN
Inventors: 王壮; 艾毅; 谢恬; 郑好; 王钰堃; 汤鹏程; 文旭光; 周少武
Original assignee: Nanning University; Civil Aviation Flight University of China
Current assignee: Nanning University; Civil Aviation Flight University of China
Priority date: 2022-12-13
Filing date: 2022-12-13
Publication date: 2023-01-31
Anticipated expiration: 2042-12-13
Also published as: CN115660446B

Abstract

本发明公开了一种空中交通管制预案智能生成方法、装置及系统，所述方法包括下述步骤：首先，构建管制预案生成智能体深度强化学习模型；然后，训练多个具有不同神经网络参数的管制预案生成智能体；接着，从管制扇区内所有航班电子进程单中提取预案生成所需信息，包括航班号、航空器机型、飞越导航台名称和预计时间；之后，选择一个管制预案生成智能体，输出各航空器飞越各导航台的高度，生成管制预案；最后，使用生成的管制预案进行冲突验证，如果不存在冲突则保存管制预案，如果存在冲突则更换管制预案生成智能体，重新生成管制预案。本发明可以应用在空中交通管制过程中，基于飞行计划生成管制预案，辅助管制员理清管制任务，提升决策效率。

Description

一种空中交通管制预案智能生成方法、装置及系统

技术领域

本发明涉及空中交通管理领域，特别涉及一种空中交通管制预案智能生成方法、装置及系统。

背景技术

空中交通管制过程是指管制员依据观察的空管态势，做出合理的管制决策，指挥引导管制空域内的航空器，保障飞行安全和运行效率。管制员在执行管制任务前，通常需要依据飞行计划制定管制预案。管制过程中，在预案的基础上对航空器进行指挥引导。空中交通管理正在向自动化、智能化发展，智能生成一份安全、准确、高效的管制预案，可减轻管制员压力，提升航空器运行安全与管制员决策效率。

空管态势具有航空器数量多且动态变化的特点，这使得现有方法难以生成有效的管制预案，管制员需要根据飞行计划，依靠个人经验，在执行管制任务前粗略形成非正式的管制预案。深度强化学习决策效率高、非线性处理能力强，适合解决序贯决策问题，在空中交通管理领域有许多研究。如进离港航班排序、空中交通流量预测、航空器冲突解脱等。对于一个管制扇区，以航空器预计飞越扇区边界和扇区内各导航台的时间为状态输入，以航空器高度调整为动作输出，训练基于深度强化学习的管制预案生成智能体。通过导航台对航空器进行引导控制，使航空器之间保持足够的垂直间隔，确保航空器安全。在执行管制任务前，生成无冲突的管制预案，可辅助管制员快速理清管制任务概况，并在执行管制任务中进行参考，进而提升管制效率。

发明内容

空中交通管制预案智能生成方法、装置及系统，在管制任务开始前生成管制预案，辅助管制员决策，提升管制安全性和效率。

为实现以上目的，达到以上技术效果，本发明采取如下技术方案：

一种空中交通管制预案智能生成方法，包括以下步骤：

步骤一，基于管制预案生成智能体状态空间、管制预案生成智能体动作空间、管制预案生成智能体神经网络结构以及奖励函数构建管制预案生成智能体深度强化学习模型；

步骤二，对管制预案生成智能体深度强化学习模型进行训练，设置不同的随机数发生器种子并初始化神经网络参数分别对管制预案生成智能体深度强化学习模型进行训练，训练生成多个具有不同神经网络参数的管制预案生成智能体；

步骤三，从管制扇区内所有航班电子进程单中提取管制预案生成所需信息，所述信息包括航空器航班号、航空器机型、进港航空器预计进入管制扇区飞越第一个导航台的时间、离港航空器预计离开管制扇区飞越最后一个导航台的时间、航空器飞越管制扇区内导航台的名称、航空器飞越管制扇区内导航台的预计时间；

步骤四，随机选择一个训练完成的管制预案生成智能体，以管制预案生成所需信息为输入，管制预案生成智能体输出各航空器飞越管制扇区内各导航台的时间和高度，生成一个管制预案；

步骤五，使用生成的管制预案进行冲突验证，管制扇区内所有航空器中任意两架航空器之间的垂直间隔和水平间隔同时小于所在空域规定的安全间隔，判定为存在冲突，如果不存在冲突则保存管制预案，如果存在冲突则更换管制预案生成智能体，重新生成管制预案。

优选的，步骤一中所述的基于管制预案生成智能体状态空间、管制预案生成智能体动作空间、管制预案生成智能体神经网络结构以及奖励函数构建管制预案生成智能体深度强化学习模型，其中的管制预案生成智能体状态空间与所述的管制预案生成所需信息匹配，为管制预案生成智能体的输入接口；

所述的管制预案生成智能体动作空间与管制员的管制指令集一致，为管制预案生成智能体的输出接口；

所述的管制预案生成智能体神经网络用于连接所述的管制预案生成智能体状态空间与所述的管制预案生成智能体动作空间，所述的管制预案生成智能体神经网络包括神经网络类型、神经网络层数、每层神经网络神经元的数量以及连接参数；

所述的奖励函数，在管制预案生成智能体训练中使用，如果存在冲突输出一个负奖励，如果不存在冲突输出一个正奖励。

优选的，步骤二中所述的设置不同的随机数发生器种子并初始化神经网络参数分别对管制预案生成智能体深度强化学习模型进行训练，训练生成多个具有不同神经网络参数的管制预案生成智能体，包括如下过程：对于每一个管制预案生成智能体，在训练前，分别设置一个与其他管制预案生成智能体不同的随机数发生器程序的种子值，不同的种子值下随机初始化得到不同的神经网络参数，经过训练，得到具有不同管制预案生成能力的管制预案生成智能体，在训练过程中使用管制扇区仿真场景进行阶段性验证，若在95%以上的仿真场景中不存在冲突，则停止训练，保存管制预案生成智能体。

优选的，步骤五中，所述的重新生成管制预案，在多个管制预案生成智能体中选择一个不同的智能体，生成一个新的管制预案；

使用所述的一个新的管制预案进行冲突验证，如果存在冲突，重复该步骤，直至管制扇区内所有航空器中任意两架航空器之间不发生冲突为止。

一种空中交通管制预案智能生成装置，包括：

管制预案生成智能体训练单元，用于基于管制预案生成智能体深度强化学习模型，初始化不同的随机数发生器种子，训练完成多个具有不同神经网络参数的管制预案生成智能体；

预案生成所需信息提取单元，用于从航班电子进程单中提取预案生成所需信息，并将所述的预案生成所需信息作为管制预案生成智能体的输入；

管制预案生成智能体使用单元，以管制预案生成所需信息为输入，管制预案生成智能体输出各航空器飞越管制扇区内各导航台的时间和高度，生成一个管制预案；

管制预案生成预案验证单元，使用生成的管制预案进行冲突验证，管制扇区内所有航空器中任意两架航空器之间的垂直间隔和水平间隔同时小于所在空域规定的安全间隔，判定为存在冲突，如果不存在冲突则保存管制预案，如果存在冲突则更换管制预案生成智能体，重新生成管制预案。

一种空中交通管制预案智能生成系统，包括存储器和处理器；所述存储器，用于存储计算机指令；所述处理器，用于调用所述存储器存储的计算机指令，以执行空中交通管制预案智能生成方法。

本发明相对于现有技术具有如下的优点和效果：

（1）本发明采用深度强化学习的方法构建管制预案生成智能体，在执行管制任务前协助管制员快速理清管制任务概况，具有较高的安全性和效率，是对当前空中交通管制过程的有效补充。

（2）本发明将人工智能方法应用在空中交通管理的管制任务中，智能生成的管制预案具有一定的多样性，突破管制员经验束缚，对提升管制员决策水平有一定的指导意义。

附图说明

图1为本实施例的一种空中交通管制预案智能生成方法的流程图；

图2为本实施例的一种空中交通管制预案智能生成方法的结构组成图；

图3为本实施例的一种空中交通管制预案智能生成方法、装置及系统的典型管制扇区及导航台示意图；

图4为本实施例的一种空中交通管制预案智能生成方法、装置及系统的管制任务中航空器进程单示意图；

图5为本实施例的一种空中交通管制预案智能生成方法、装置及系统生成的有冲突管制预案示意图；

图6为本实施例的一种空中交通管制预案智能生成方法、装置及系统生成的无冲突管制预案示意图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

为了使本发明的目的，技术方案及优点更加清楚明白，结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

而且，术语“包括”，“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程，方法，物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程，方法，物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程，方法，物品或者设备中还存在另外的相同要素。

以下结合实施例对本发明的特征和性能作进一步的详细描述。

如图1，图2所示，（1）基于管制预案生成智能体状态空间、管制预案生成智能体动作空间、管制预案生成智能体神经网络结构以及奖励函数构建管制预案生成智能体深度强化学习模型；

管制预案生成智能体状态空间与所述的预案生成所需信息匹配，是管制预案生成智能体的输入接口，包括飞越管制扇区内各导航台的航空器航班号、航空器机型、航空器预计飞越管制扇区内导航台时间；

管制预案生成智能体动作空间与管制员的管制指令集一致，是管制预案生成智能体的输出接口，在本实施例中，管制预案生成智能体动作空间是高度调整指令，以300m为一个高度层调整；

管制预案生成智能体神经网络结构是智能体的内部结构，连接所述的管制预案生成智能体状态空间与所述的管制预案生成智能体动作空间，包括神经网络类型、神经网络层数、每层神经网络神经元的数量以及连接参数，在本实施例中，管制预案生成智能体神经网络结构采用全连接神经网络，神经网络为3层，神经元数量分别为256、256、512个；

奖励函数，在管制预案生成智能体训练中使用，如果存在冲突输出一个负奖励，如果不存在冲突输出一个正奖励，在本实施例，如果存在冲突输出-1，如果不存在冲突输出1。

（2）对管制预案生成智能体深度强化学习模型进行训练，设置不同的随机数发生器种子并初始化神经网络参数分别对管制预案生成智能体深度强化学习模型进行训练，训练生成多个具有不同神经网络参数的管制预案生成智能体；

对于每一个管制预案生成智能体，在训练前，分别设置一个与其他管制预案生成智能体不同的随机数发生器程序的种子值，不同的种子值下随机初始化得到不同的神经网络参数，经过训练，可以得到具有不同管制预案生成能力的管制预案生成智能体；

在本实施例中，在训练环境中训练5个管制预案生成智能体，对于每一个智能体，在训练过程中使用管制扇区仿真场景进行阶段性验证，在95%以上的仿真场景中不存在冲突，停止训练，保存管制预案生成智能体，这样生成预案的无冲突率可达99.9999%。

（3）从管制扇区内所有航班电子进程单中提取预案生成所需信息，包括航空器航班号、航空器机型、进港航空器预计进入管制扇区飞越第一个导航台的时间、离港航空器预计离开管制扇区飞越最后一个导航台的时间、航空器飞越管制扇区内导航台的名称、航空器飞越管制扇区内导航台的预计时间；

在本实施例中，典型空域如图3所示，机场导航台为QU，近端导航台为XG、WG、SG、SH，远端导航台为TM、ZF、XS、KG。管制任务包含5个航班，进程单如图4所示，进港航空器2架，SAS996，机型为B767，预计ZF时间03分，WG时间12分，QU时间26分；B3475，机型为Y-7，预计KG时间07分，SH时间17分，QU时间22分；离港航空器3架，CSN3371，机型为Y-7，预计XG时间05分，TM时间13分；DAL304，机型为A310，预计WG时间08分，XS时间16分；SIA224，机型为B757，预计XG时间17分，SH时间20分，KG时间25分。

（4）随机选择一个训练完成的管制预案生成智能体，以管制预案生成所需信息为输入，管制预案生成智能体输出各航空器飞越管制扇区内各导航台的时间和高度，生成一个管制预案。

（5）使用生成的管制预案进行冲突验证，管制扇区内所有航空器中任意两架航空器之间的垂直间隔和水平间隔同时小于所在空域规定的安全间隔，判定为存在冲突，如果不存在冲突则保存管制预案，如果存在冲突则更换管制预案生成智能体，重新生成管制预案；

在本实施例中，有冲突的管制预案如图5所示，B3475在17分下降高度至1500m，SIA204在18分上升高度至3600m，在SH导航台附近会存在冲突。重新生成管制预案，在多个管制预案生成智能体中选择一个不同的智能体，生成一个新的管制预案；

在本实施例中，不冲突的预案如图6所示，TM导航台，CSN3371在13分4200m高度通过；XG导航台，CSN3371在05分2400m高度通过，SIA204在17分2400m高度通过；ZF导航台，SAS996在03分5100m高度通过；WG导航台，DAL304在08分1800m高度通过，SAS996在12分1200m高度通过；KG导航台，B3475在07分3900m高度通过，SIA204在25分4800m高度通过；SH导航台，B3475在17分1500m高度通过，SIA204在20分3600m高度通过；XS导航台，DAL304在16分4500m高度通过QU导航台，B3475在22分900m高度通过，SAS999在26分900m高度通过。

基于统一发明构思，本发明实施例中提供了一种空中交通管制预案智能生成装置，包括：

基于统一发明构思，本发明还提供一种空中交通管制预案智能生成系统，其特征在于包括存储器和处理器；所述存储器，用于存储计算机指令；所述处理器，用于根据所述指令进行操作以执行根据第一方面中任一项所述方法的步骤。

以上所述实施例仅表达了本发明的一种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以权利要求所述为准。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims

1.一种空中交通管制预案智能生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种空中交通管制预案智能生成方法，其特征在于，步骤一中所述的基于管制预案生成智能体状态空间、管制预案生成智能体动作空间、管制预案生成智能体神经网络结构以及奖励函数构建管制预案生成智能体深度强化学习模型，其中的管制预案生成智能体状态空间与所述的管制预案生成所需信息匹配，为管制预案生成智能体的输入接口；

3.根据权利要求2所述的一种空中交通管制预案智能生成方法，其特征在于，步骤二中所述的设置不同的随机数发生器种子并初始化神经网络参数分别对管制预案生成智能体深度强化学习模型进行训练，训练生成多个具有不同神经网络参数的管制预案生成智能体，包括如下过程：对于每一个管制预案生成智能体，在训练前，分别设置一个与其他管制预案生成智能体不同的随机数发生器程序的种子值，不同的种子值下随机初始化得到不同的神经网络参数，经过训练，得到具有不同管制预案生成能力的管制预案生成智能体，在训练过程中使用管制扇区仿真场景进行阶段性验证，若在95%以上的仿真场景中不存在冲突，则停止训练，保存管制预案生成智能体。

4.根据权利要求3所述的一种空中交通管制预案智能生成方法，其特征在于，步骤五中，所述的重新生成管制预案，在多个管制预案生成智能体中选择一个不同的智能体，生成一个新的管制预案；

5.一种空中交通管制预案智能生成装置，其特征在于，包括：

6.一种空中交通管制预案智能生成系统，其特征在于，包括存储器和处理器；所述存储器，用于存储计算机指令；所述处理器，用于调用所述存储器存储的计算机指令，以执行如权利要求1-4中任一项所述的空中交通管制预案智能生成方法。