CN115240475A - 融合飞行数据和雷达图像的航空器进近规划方法及装置 - Google Patents

融合飞行数据和雷达图像的航空器进近规划方法及装置 Download PDF

Info

Publication number
CN115240475A
CN115240475A CN202211163730.4A CN202211163730A CN115240475A CN 115240475 A CN115240475 A CN 115240475A CN 202211163730 A CN202211163730 A CN 202211163730A CN 115240475 A CN115240475 A CN 115240475A
Authority
CN
China
Prior art keywords
aircraft
network
approach
sector
actor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211163730.4A
Other languages
English (en)
Other versions
CN115240475B (zh
Inventor
林毅
刘海峰
伍元凯
杨波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202211163730.4A priority Critical patent/CN115240475B/zh
Publication of CN115240475A publication Critical patent/CN115240475A/zh
Application granted granted Critical
Publication of CN115240475B publication Critical patent/CN115240475B/zh
Priority to US18/154,776 priority patent/US11710412B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0026—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G08G5/0034—Assembly of a flight plan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G08G5/0039—Modification of a flight plan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0043—Traffic management of multiple aircrafts from the ground
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0082—Surveillance aids for monitoring traffic from a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种融合飞行数据和雷达图像的航空器进近规划方法及装置，包括以下步骤：步骤1：获取扇区雷达图像和航迹信息，获取扇区雷达图像的特征和航空器相对位置；步骤2：构建进近管制决策强化学习模型，进行训练；航路选择模块用于根据步骤1得到的扇区雷达图像的特征和航空器相对位置得到航空器飞往进近点的航路信息；融合模块用于根据航空器飞往进近点的航路信息和航迹信息得到融合飞行数据和雷达图像的融合特征；动作选择模块用于根据融合模块输出的融合特征得到航空器下一步指令；步骤3：通过进近管制决策强化学习模型，得到空管指令实现航空器进近管制决策；本发明方法能够保障进近空域安全、高效运行，缓解进近管制员压力。

Description

融合飞行数据和雷达图像的航空器进近规划方法及装置
技术领域
本发明涉及智能化空管技术领域，具体涉及一种融合飞行数据和雷达图像的航空器进近规划方法及装置。
背景技术
进近管制员的工作是空中交通管制中的重要环节。进近管制员需要从终端区入口开始承接区调管制员交接的到达航班，并通过雷达引导，使航空器在保持安全间隔的情况下到达最终进近点。现有的进近管制完全依靠管制员的决策，随着空中交通流量的不断加大，为了在有限的进近管制能力下确保航空器安全飞行，管制员做出的进近决策往往会降低一定的效率。
深度强化学习作为一种通用的机器学习范式，被证明能够很好地解决复杂状态下的灵活决策。现有的基于强化学习的航空器辅助决策通常采集待选航空器以及附近数架航空器的轨迹或ADS-B数据作为输入，这样的控制只考虑到了航空器在周边空域的间隔保持，并未考虑整个空域内的航空器规划。而进近管制员的管制指令不仅需要确保各个航空器保持安全间隔，还需要使航空器有序、高效的到达最终进近点，管制员做出如此复杂的决策依靠的是视觉获得的雷达图像。
发明内容
本发明针对现有技术存在的问题提供一种辅助进近管制员决策的融合飞行数据和雷达图像的航空器进近规划方法及装置。
本发明采用的技术方案是：
一种融合飞行数据和雷达图像的航空器进近规划方法，包括以下步骤：
步骤1：获取扇区雷达图像和航迹信息，对扇区雷达图像进行预处理，得到扇区雷达图像的特征和航空器相对位置；
步骤2：构建进近管制决策强化学习模型，并对模型进行训练；
进近管制决策强化学习模型包括航路选择模块、动作选择模块和融合模块；
航路选择模块用于根据步骤1得到的扇区雷达图像的特征和航空器相对位置得到航空器飞往进近点的航路信息；
融合模块用于根据航空器飞往进近点的航路信息和航迹信息得到融合飞行数据和雷达图像的融合特征；
动作选择模块用于根据融合模块输出的融合特征得到航空器下一步指令；
步骤3：将扇区雷达图像特征和航迹信息输入步骤2训练后的进近管制决策强化学习模型，即可得到空管指令实现航空器进近管制决策。
进一步的，所述步骤1中预处理包括以下处理过程：
S11：获取扇区雷达图像信息，调整图像的大小；
S12：对图像进行降采样，将降采样后的图像以三维数组形式输出；
S13：在步骤S12中的三维数组中查找航空器在图像中的RGB值，根据RGB值得到航空器的相对位置。
进一步的，所述步骤2中航路选择模块包括卷积神经网络单元和全连接单元；
卷积神经网络单元输入为扇区雷达图像，从图像中学习扇区特征，进行数据压缩；
全连接单元输入为航空器相对位置，学习相对位置特征；拼接扇区特征与相对位置特征后输入全连接单元，用于进一步提取特征。
进一步的，所述航路选择模块采用Actor-Critic强化学习方法进行训练；训练过程如下：
构建价值估计网络Critic，动作输出网络Actor；Critic网络评价Actor网络输出的动作；Actor网络输出航路选择；
通过奖励函数，对当前雷达图像对应的扇区情境给出奖励；
训练网络Critic和Actor，直至网络收敛。
进一步的，所述步骤2中融合模块包括全连接层和注意力机制；
全连接层用于将航路信息与航迹信息处理至相同长度；
注意力机制用于为航路信息与航迹信息分配权重后进行信息聚合，得到融合特征H，计算方法如下：
Figure 152401DEST_PATH_IMAGE001
式中：Q、K、V为注意力机制中的三个权重矩阵；X为处理后航路信息与航迹信息组成的矩阵，WQ、WK、WV为线性变换矩阵，bQ、bK、bV为偏置向量，d为向量维数，T表示矩阵的转置。
进一步的，所述步骤2中动作选择模块包括全连接层，将航路选择模块输出的航路信息和航迹信息拼接后输入全连接层，提取融合了飞行数据和雷达图像的特征；动作选择模块采用Actor-Critic强化学习方法进行训练，训练过程如下：
构建价值估计网络Critic，动作输出网络Actor；Critic网络评价Actor网络输出的动作；Actor网络输出空管决策动作；空管决策动作包括：包括当前状态、航空器左转、航空器右转、航空器上升高度、航空器下降高度、航空器提升速度和航空器降低速度；
通过奖励函数，对当前航迹信息对应的扇区情境给出奖励；
训练网络Critic和Actor，直至网络收敛。
进一步的，所述航路选择模块中的奖励函数如下：
Figure 335121DEST_PATH_IMAGE002
式中：r t 为航空器动作选择时第t步奖励，t为航空器动作步数，T为航空器动作步数最大值，α为常数。
进一步的，所述动作选择模块中奖励函数如下：
Figure 646016DEST_PATH_IMAGE004
式中：
Figure 306805DEST_PATH_IMAGE005
为航空器相对FAF点的角度，
Figure 386756DEST_PATH_IMAGE006
为机场跑道角度，
Figure 474798DEST_PATH_IMAGE007
为航空器飞行角度，h为航空器飞行高度，gp_altitude为航空器开始滑行的高度，dist为航空器与FAF点距离，limit_step为强化学习中一个回合中的步数限制，total_ steps为当前执行的步数，deg为计算相对角度的函数，α、β、γ均为权重系数，abs为求绝对值函数。
进一步的，所述训练网络Critic和Actor过程如下：
设Critic网络参数为
Figure 7411DEST_PATH_IMAGE008
，Actor网络参数
Figure 471890DEST_PATH_IMAGE009
，Critic网络优化目标为：
Figure 671927DEST_PATH_IMAGE010
Actor网络优化目标为：
Figure 930870DEST_PATH_IMAGE011
式中：
Figure 216358DEST_PATH_IMAGE012
为更新后的Critic网络参数，
Figure 218949DEST_PATH_IMAGE013
为Critic网络，s t 为t时刻扇区情景下雷达图像、航迹与所选航路的表示，
Figure 7914DEST_PATH_IMAGE014
为0到t时刻获得的奖励之和，
Figure 968916DEST_PATH_IMAGE015
为更新后的Actor网络参数，r t 为t时刻获得的奖励，s t+1为t+1时刻扇区情景下雷达图像、航迹与所选航路的表示，
Figure 476121DEST_PATH_IMAGE016
为Actor网络，
Figure 16824DEST_PATH_IMAGE017
为t时刻的航路选择动作或空管决策动作；
轮流计算两个网络的损失函数，采用梯度下降更新网络参数。
一种融合飞行数据和雷达图像的航空器进近规划方法的决策装置，包括：
视觉输入模块，用于采集扇区雷达图像信息和扇区内航空器航迹信息；
信息处理模块，用于对扇区雷达图像信息和扇区内航空器航迹信息进行预处理和融合；
决策模块，用于根据处理后的信息做出航空管制决策。
本发明的有益效果是：
（1）本发明将飞行数据和雷达图像作为输入，能够获取整个进近空域的必要信息，做出考虑空域内全部航空器飞行情况的决策，使得决策能够在保证航空器安全间隔的同时，高效地抵达最终进近点，充分利用机场跑道资源；
（2）本发明构建进近管制决策强化学习模型，包括航路选择模块和动作选择模块两部分，分别对两个模块进行训练，使得决策保持稳定，在保证效果的同时有效降低决策效率，实现与现有进离场程序的结合；
（3）本发明对管制员视觉图像进行处理，通过降采样和像素化的方式，在降低输入复杂度，减少模型计算量的同时不降低模型效果；
（4）本发明构建的奖励函数考虑了航空器角度、高度、位置于飞行时间的影响，对以上因素进行计算，用以确保强化学习模型的收敛；
（5）本发明融合雷达图像进行决策与规划更近似于管制员实际行为，得出的空管指令将更符合管制员的习惯，实现拟人化的决策方法。
附图说明
图1为本发明方法流程示意图。
图2为本发明中航路选择模块结构示意图。
图3为本发明中动作选择模块结构示意图。
图4为本发明中进近管制决策强化学习模型示意图。
图5为本发明中决策装置的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步说明。
如图1所示，一种融合飞行数据和雷达图像的航空器进近规划方法，包括以下步骤：
步骤1：获取扇区雷达图像和航迹信息，对扇区雷达图像进行预处理，得到扇区雷达图像的特征和航空器相对位置；
预处理过程如下：
S11：运行BlueSky的空中交通仿真环境，将BlueSky中radarwidget模块渲染的图像存入缓冲区中；从缓冲区中提取图像，按照进近管制决策强化学习模型的输入格式对图像的大小进行处理。
S12：对图像进行降采样，使图像呈现像素化的效果，并将降采样后的图像以三维数组形式读出。
S13：在步骤S12得到的数组中查找航空器在图像中的RGB值，获得航空器在图像中的相对位置，并根据RGB值的不同区分接收指令的航空器与管制区域内其它航空器。
步骤2：构建进近管制决策强化学习模型，并对模型进行训练；训练中分别对航路选择模块和动作选择模块进行训练。
如图4所示，进近管制决策强化学习模型包括航路选择模块、动作选择模块和融合模块；
航路选择模块用于根据步骤1得到的扇区雷达图像的特征和航空器相对位置得到航空器飞往进近点的航路信息；
如图2所示，航路选择模块包括卷积神经网络单元和全连接单元；
卷积神经网络单元输入为扇区雷达图像，从图像中学习扇区特征，进行数据压缩；
全连接单元输入为航空器相对位置，学习相对位置特征；拼接扇区特征与相对位置特征后输入全连接单元，用于进一步提取特征。
采用Actor-Critic的强化学习方法训练航路选择模块，直至模型稳定获得超过基准的奖励，并与航路选择模块级联得到进近管制决策强化学习模型。
训练过程如下：
构建价值估计网络Critic，动作输出网络Actor；Critic网络评价Actor网络输出的动作；Actor网络输出航路选择；
通过奖励函数，对当前雷达图像对应的扇区情境给出奖励；
训练网络Critic和Actor，直至网络收敛。网络Critic和Actor共享状态输入头即该模块的网络结构。
奖励函数如下：
Figure 925874DEST_PATH_IMAGE002
式中：r t 为航空器动作选择时第t步奖励，t为航空器动作步数，T为航空器动作步数最大值，α为常数。
融合模块用于根据航空器飞往进近点的航路信息和航迹信息得到融合飞行数据和雷达图像的融合特征；
融合模块包括全连接层和注意力机制；
全连接层用于将航路信息与航迹信息处理至相同长度；
注意力机制用于为航路信息与航迹信息分配权重后进行信息聚合，得到融合特征H，计算方法如下：
Figure 603585DEST_PATH_IMAGE001
式中：Q、K、V为注意力机制中的三个权重矩阵；X为处理后航路信息与航迹信息组成的矩阵，WQ、WK、WV为线性变换矩阵，bQ、bK、bV为偏置向量，d为向量维数，T表示矩阵的转置。
动作选择模块如图3所示，融合飞行数据和雷达图像，动作选择模块用于根据航空器飞往进近点的航路信息和航迹信息得到航空器下一步指令；
包括全连接层，将航路选择模块输出的航路信息和航迹信息拼接后输入全连接层，提取融合了飞行数据和雷达图像的特征；训练过程如下：
构建价值估计网络Critic，动作输出网络Actor；Critic网络评价Actor网络输出的动作，接收Actor网络输出的决策动作，输出一个标量作为当前情境下决策动作的价值；Actor网络输出空管决策动作；
通过奖励函数，对当前航迹信息对应的扇区情境给出奖励；
训练网络Critic和Actor，直至网络收敛。
奖励函数如下：
Figure 598086DEST_PATH_IMAGE019
式中：
Figure 942479DEST_PATH_IMAGE020
为航空器相对FAF点的角度，
Figure 706036DEST_PATH_IMAGE021
为机场跑道角度，
Figure 743262DEST_PATH_IMAGE022
为航空器飞行角度，h为航空器飞行高度，gp_altitude为航空器开始滑行的高度，dist为航空器与FAF点距离，limit_step为强化学习中一个回合中的步数限制，total_ steps为当前执行的步数，deg为计算相对角度的函数，α、β、γ均为权重系数，abs为求绝对值函数。
Actor网络输出的决策动作为离散的空管决策动作，包括保持当前状态、航空器左转、航空器右转、航空器上升高度、航空器下降高度、航空器提升速度和航空器降低速度。
训练网络Critic和Actor过程如下：
设Critic网络参数为
Figure 959480DEST_PATH_IMAGE023
，Actor网络参数为θ，Critic网络优化目标为：
Figure 107564DEST_PATH_IMAGE024
Actor网络优化目标为：
Figure 725628DEST_PATH_IMAGE011
式中：
Figure 199334DEST_PATH_IMAGE025
为更新后的Critic网络参数，
Figure 902848DEST_PATH_IMAGE026
为Critic网络，s t 为t时刻扇区情景下雷达图像、航迹与所选航路的表示，
Figure 589044DEST_PATH_IMAGE027
为0到t时刻获得的奖励之和，
Figure 327193DEST_PATH_IMAGE028
为更新后的Actor网络参数，r t 为t时刻获得的奖励，s t+1为t+1时刻扇区情景下雷达图像、航迹与所选航路的表示，
Figure 706222DEST_PATH_IMAGE029
为Actor网络，
Figure 897032DEST_PATH_IMAGE030
为t时刻的航路选择动作或空管决策动作；
轮流计算两个网络的损失函数，采用梯度下降更新网络参数。
如图5所示，一种融合飞行数据和雷达图像的航空器进近规划方法的决策装置，包括：
视觉输入模块，用于采集扇区雷达图像信息和扇区内航空器航迹信息；
信息处理模块，用于对扇区雷达图像信息和扇区内航空器航迹信息进行预处理和融合；
决策模块，用于根据处理后的信息做出航空管制决策。
本发明决策方法，通过采集管制员视角下的扇区雷达图像及航迹信息，使用深度神经网络构建的强化学习模型实现信息的特征提取。并提取稳定的进近管制决策对扇区内航空器进行管制，实现端到端的航空器进近管制决策。在系统的输入端，能够获得管制员视觉输入，使得系统拥有更强的鲁棒性，能够处理更为复杂的空中交通环境，做出更近似真实管制员的稳定决策。能够保障进近空域安全、高效运行，缓解进近管制员压力。

Claims (10)

1.一种融合飞行数据和雷达图像的航空器进近规划方法，其特征在于，包括以下步骤：
步骤1：获取扇区雷达图像和航迹信息，对扇区雷达图像进行预处理，得到扇区雷达图像的特征和航空器相对位置；
步骤2：构建进近管制决策强化学习模型，并对模型进行训练；
进近管制决策强化学习模型包括航路选择模块、动作选择模块和融合模块；
航路选择模块用于根据步骤1得到的扇区雷达图像的特征和航空器相对位置得到航空器飞往进近点的航路信息；
融合模块用于根据航空器飞往进近点的航路信息和航迹信息得到融合飞行数据和雷达图像的融合特征；
动作选择模块用于根据融合模块输出的融合特征得到航空器下一步指令；
步骤3：将扇区雷达图像特征和航迹信息输入步骤2训练后的进近管制决策强化学习模型，即可得到空管指令实现航空器进近管制决策。
2.根据权利要求1所述的一种融合飞行数据和雷达图像的航空器进近规划方法，其特征在于，所述步骤1中预处理包括以下处理过程：
S11：获取扇区雷达图像信息，调整图像的大小；
S12：对图像进行降采样，将降采样后的图像以三维数组形式输出；
S13：在步骤S12中的三维数组中查找航空器在图像中的RGB值，根据RGB值得到航空器的相对位置。
3.根据权利要求1所述的一种融合飞行数据和雷达图像的航空器进近规划方法，其特征在于，所述步骤2中航路选择模块包括卷积神经网络单元和全连接单元；
卷积神经网络单元输入为扇区雷达图像，从图像中学习扇区特征，进行数据压缩；
全连接单元输入为航空器相对位置，学习相对位置特征；拼接扇区特征与相对位置特征后输入全连接单元，用于进一步提取特征。
4.根据权利要求3所述的一种融合飞行数据和雷达图像的航空器进近规划方法，其特征在于，所述航路选择模块采用Actor-Critic强化学习方法进行训练；训练过程如下：
构建价值估计网络Critic，动作输出网络Actor；Critic网络评价Actor网络输出的动作；Actor网络输出航路选择；
通过奖励函数，对当前雷达图像对应的扇区情境给出奖励；
训练网络Critic和Actor，直至网络收敛。
5.根据权利要求1所述的一种融合飞行数据和雷达图像的航空器进近规划方法，其特征在于，所述步骤2中融合模块包括全连接层和注意力机制；
全连接层用于将航路信息与航迹信息处理至相同长度；
注意力机制用于为航路信息与航迹信息分配权重后进行信息聚合，得到融合特征H，计算方法如下：
Figure 535234DEST_PATH_IMAGE001
式中：Q、K、V为注意力机制中的三个权重矩阵；X为处理后航路信息与航迹信息组成的矩阵，WQ、WK、WV为线性变换矩阵，bQ、bK、bV为偏置向量，d为向量维数，T表示矩阵的转置。
6.根据权利要求1所述的一种融合飞行数据和雷达图像的航空器进近规划方法，其特征在于，所述步骤2中动作选择模块包括全连接层，输入为融合模块得到的融合特征；动作选择模块采用Actor-Critic强化学习方法进行训练，训练过程如下：
构建价值估计网络Critic，动作输出网络Actor；Critic网络评价Actor网络输出的动作；Actor网络输出空管决策动作；空管决策动作包括：包括当前状态、航空器左转、航空器右转、航空器上升高度、航空器下降高度、航空器提升速度和航空器降低速度；
通过奖励函数，对当前航迹信息对应的扇区情境给出奖励；
训练网络Critic和Actor，直至网络收敛。
7.根据权利要求4所述的一种融合飞行数据和雷达图像的航空器进近规划方法，其特征在于，所述航路选择模块中的奖励函数如下：
Figure 862311DEST_PATH_IMAGE002
式中：r t 为航空器动作选择时第t步奖励，t为航空器动作步数，T为航空器动作步数最大值，α为常数。
8.根据权利要求6所述的一种融合飞行数据和雷达图像的航空器进近规划方法，其特征在于，所述动作选择模块中奖励函数如下：
Figure 677820DEST_PATH_IMAGE004
式中：
Figure 355926DEST_PATH_IMAGE005
为航空器相对FAF点的角度，
Figure 649504DEST_PATH_IMAGE006
为机场跑道角度，
Figure 362245DEST_PATH_IMAGE007
为航空器飞行角度，h为航空器飞行高度，gp_altitude为航空器开始滑行的高度，dist为航空器与FAF点距离，limit_step为强化学习中一个回合中的步数限制，total_steps为当前执行的步数，deg为计算相对角度的函数，α、β、γ均为权重系数，abs为求绝对值函数。
9.根据权利要求4或6任一种所述融合飞行数据和雷达图像的航空器进近规划方法，其特征在于，所述训练网络Critic和Actor过程如下：
设Critic网络参数为
Figure 817497DEST_PATH_IMAGE008
，Actor网络参数为
Figure 982899DEST_PATH_IMAGE009
，Critic网络优化目标为：
Figure 814589DEST_PATH_IMAGE010
Actor网络优化目标为：
Figure 381837DEST_PATH_IMAGE011
式中：
Figure 273569DEST_PATH_IMAGE012
为更新后的Critic网络参数，
Figure 926267DEST_PATH_IMAGE013
为Critic网络，s t 为t时刻扇区情景下雷达图像、航迹与所选航路处理与融合后的表示，
Figure 561648DEST_PATH_IMAGE014
为0到t时刻获得的奖励之和，
Figure 717823DEST_PATH_IMAGE015
为更新后的Actor网络参数，r t 为t时刻获得的奖励，s t+1为t+1时刻扇区情景下雷达图像、航迹与所选航路的表示，
Figure 780457DEST_PATH_IMAGE016
为Actor网络，
Figure 654872DEST_PATH_IMAGE017
为t时刻的航路选择动作或空管决策动作；轮流计算两个网络的损失函数，采用梯度下降更新网络参数。
10.采用如权利要求1所述一种融合飞行数据和雷达图像的航空器进近规划方法的决策装置，其特征在于，包括：
视觉输入模块，用于采集扇区雷达图像信息和扇区内航空器航迹信息；
信息处理模块，用于对扇区雷达图像信息和扇区内航空器航迹信息进行预处理和融合；
决策模块，用于根据处理后的信息做出航空管制决策。
CN202211163730.4A 2022-09-23 2022-09-23 融合飞行数据和雷达图像的航空器进近规划方法及装置 Active CN115240475B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211163730.4A CN115240475B (zh) 2022-09-23 2022-09-23 融合飞行数据和雷达图像的航空器进近规划方法及装置
US18/154,776 US11710412B1 (en) 2022-09-23 2023-01-13 Method and device for flight path planning considering both the flight trajectory and the visual images from air traffic control systems for air traffic controllers

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211163730.4A CN115240475B (zh) 2022-09-23 2022-09-23 融合飞行数据和雷达图像的航空器进近规划方法及装置

Publications (2)

Publication Number Publication Date
CN115240475A true CN115240475A (zh) 2022-10-25
CN115240475B CN115240475B (zh) 2022-12-13

Family

ID=83667327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211163730.4A Active CN115240475B (zh) 2022-09-23 2022-09-23 融合飞行数据和雷达图像的航空器进近规划方法及装置

Country Status (2)

Country Link
US (1) US11710412B1 (zh)
CN (1) CN115240475B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115660446A (zh) * 2022-12-13 2023-01-31 中国民用航空飞行学院 一种空中交通管制预案智能生成方法、装置及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117806340B (zh) * 2023-11-24 2024-08-30 中国电子科技集团公司第十五研究所 基于强化学习的空域训练飞行路径自动规划方法和装置

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008110759A (ja) * 2008-01-21 2008-05-15 Toshiba Corp 空港管制支援システム
CN101572019A (zh) * 2009-06-01 2009-11-04 民航数据通信有限责任公司 雷达航迹拟合及统计分析的装置
CN101923790A (zh) * 2010-08-11 2010-12-22 清华大学 空中交通管制扇区动态调整系统及方法
RU2011130775A (ru) * 2011-07-13 2013-01-20 Виктор Иванович Дикарев Способ управления самолетом при заходе на посадку
CN104064057A (zh) * 2014-06-13 2014-09-24 沈阳飞机工业（集团）有限公司 图像跟踪测量数据与雷达测量数据互补融合的实现方法
CN106019987A (zh) * 2016-07-19 2016-10-12 四川九洲空管科技有限责任公司 一种三维交互式模拟航迹生成方法及系统
US20170330465A1 (en) * 2014-11-27 2017-11-16 Korea Aerospace Research Institute Method for coupling flight plan and flight path using ads-b information
CN109035872A (zh) * 2018-08-08 2018-12-18 湖北河海科技发展有限公司 气象信息与航迹融合显示系统及方法
CN111160770A (zh) * 2019-12-30 2020-05-15 南京航空航天大学 一种进场航班动态协同排序方法
US20200341493A1 (en) * 2018-01-18 2020-10-29 Israel Aerospace Industries Ltd. Automatic camera driven aircraft control for radar activation
CN112258898A (zh) * 2020-10-16 2021-01-22 中国民用航空华东地区空中交通管理局 基于数字孪生技术的空中交通管制方法、系统、电子设备及存储介质
CN113140134A (zh) * 2021-03-12 2021-07-20 北京航空航天大学 一种智慧空管系统的体系架构
CN113485103A (zh) * 2021-06-29 2021-10-08 四川大学 一种基于深度强化学习的航空器冲突解脱方法
CN113593308A (zh) * 2021-06-30 2021-11-02 四川大学 一种民航飞机智能化进场方法
CN113706931A (zh) * 2021-07-13 2021-11-26 清华大学 空域的流控策略推荐方法、装置、电子设备及存储介质
US20220036748A1 (en) * 2018-11-27 2022-02-03 Leonardo S.P.A. Suborbital space traffic control system with radar system and ads-b receiver
CN114141062A (zh) * 2021-11-30 2022-03-04 中国电子科技集团公司第二十八研究所 一种基于深度强化学习的航空器间隔管理决策方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050049762A1 (en) * 2003-08-26 2005-03-03 Dwyer David B. Integrated flight management and textual air traffic control display system and method
CA2528571A1 (en) * 2004-11-30 2006-05-30 William Wright System and method for interactive 3d air regions
FR2894368B1 (fr) * 2005-12-07 2008-01-25 Thales Sa Dispositif et procede de construction automatisee de trajectoire d'urgence pour aeronefs
US7734411B2 (en) * 2006-03-03 2010-06-08 Honeywell International Inc. Predicted path selection system and method for hazard coding in selectively constrained aircraft control systems
US20070288156A1 (en) * 2006-05-17 2007-12-13 The Boeing Company Route search planner
FR2908533B1 (fr) * 2006-11-14 2008-12-26 Thales Sa Methode et systeme de surveillance du suivi d'une trajectoire de reference par un aeronef
US8576094B2 (en) * 2008-08-29 2013-11-05 Honeywell International Inc. Method and system for displaying navigation corridors
US8160759B2 (en) * 2009-01-23 2012-04-17 Flightaware, Llc System and method for optimized flight planning
US8296281B2 (en) * 2009-01-26 2012-10-23 Flightaware, Llc System and method for notifications relating to flight tracking or planning
FR2951263B1 (fr) * 2009-10-09 2018-04-13 Thales Sa Dispositif d'aide a la gestion de vol d'un aeronef
EP2559017A2 (en) * 2010-04-12 2013-02-20 Flight Focus Pte. Ltd. Moving map display
US8280626B2 (en) * 2011-02-15 2012-10-02 General Electric Company Method for selecting meteorological data for updating an aircraft trajectory
US8977482B2 (en) * 2011-09-28 2015-03-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Method and apparatus for generating flight-optimizing trajectories
US9098997B2 (en) * 2011-09-30 2015-08-04 The Boeing Company Flight trajectory prediction with application of environmental conditions
US9443434B2 (en) * 2014-09-30 2016-09-13 The Boeing Company Flight path discontinuities
US9886861B2 (en) * 2015-07-27 2018-02-06 Hoenywell International Inc. Validating air traffic control messages during the course of flight
US11727813B2 (en) * 2016-06-10 2023-08-15 Metal Raptor, Llc Systems and methods for air traffic control for passenger drones
KR20180051996A (ko) * 2016-11-09 2018-05-17 삼성전자주식회사 무인 비행 장치 및 이를 이용한 피사체 촬영 방법
US20180141656A1 (en) * 2016-11-22 2018-05-24 Sharper Shape Oy Method and system for monitoring operational status of drone
US10675932B2 (en) * 2017-03-08 2020-06-09 Toyota Motor Engineering & Manufacturing North America, Inc. Dual-mode vehicle with wheel rotors
CN107504972B (zh) * 2017-07-27 2018-08-07 北京航空航天大学 一种基于鸽群算法的飞行器航迹规划方法及装置
US20190139420A1 (en) * 2017-11-08 2019-05-09 Sikorsky Aircraft Corporation, A Lockheed Martin Company Aircraft route systems
GB2584625A (en) * 2019-05-28 2020-12-16 Sita Information Networking Computing Uk Ltd System and method for flight arrival time prediction
US10860115B1 (en) * 2019-09-19 2020-12-08 Bao Tran Air transportation systems and methods
US11790794B2 (en) * 2020-06-05 2023-10-17 Apijet, Llc System and method for community provided weather updates for aircraft
US11574549B2 (en) * 2020-10-19 2023-02-07 Honeywell International Inc. Composite vertical profile display systems and methods
US20220189316A1 (en) * 2020-12-10 2022-06-16 Xwing, Inc. Unmanned aircraft control using ground control station
CA3156312A1 (en) * 2021-04-20 2022-10-20 Skytrac Systems Ltd. Flight management method and system using same
US20220343769A1 (en) * 2021-04-26 2022-10-27 Joulea Llc 3-dimensional flight plan optimization engine for building energy modeling
US20230077909A1 (en) * 2021-09-15 2023-03-16 Zoox, Inc. Road network validation
US11854407B2 (en) * 2021-10-12 2023-12-26 James W. Herriot System and method for airspace planning

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008110759A (ja) * 2008-01-21 2008-05-15 Toshiba Corp 空港管制支援システム
CN101572019A (zh) * 2009-06-01 2009-11-04 民航数据通信有限责任公司 雷达航迹拟合及统计分析的装置
CN101923790A (zh) * 2010-08-11 2010-12-22 清华大学 空中交通管制扇区动态调整系统及方法
RU2011130775A (ru) * 2011-07-13 2013-01-20 Виктор Иванович Дикарев Способ управления самолетом при заходе на посадку
CN104064057A (zh) * 2014-06-13 2014-09-24 沈阳飞机工业（集团）有限公司 图像跟踪测量数据与雷达测量数据互补融合的实现方法
US20170330465A1 (en) * 2014-11-27 2017-11-16 Korea Aerospace Research Institute Method for coupling flight plan and flight path using ads-b information
CN106019987A (zh) * 2016-07-19 2016-10-12 四川九洲空管科技有限责任公司 一种三维交互式模拟航迹生成方法及系统
US20200341493A1 (en) * 2018-01-18 2020-10-29 Israel Aerospace Industries Ltd. Automatic camera driven aircraft control for radar activation
CN109035872A (zh) * 2018-08-08 2018-12-18 湖北河海科技发展有限公司 气象信息与航迹融合显示系统及方法
US20220036748A1 (en) * 2018-11-27 2022-02-03 Leonardo S.P.A. Suborbital space traffic control system with radar system and ads-b receiver
CN111160770A (zh) * 2019-12-30 2020-05-15 南京航空航天大学 一种进场航班动态协同排序方法
CN112258898A (zh) * 2020-10-16 2021-01-22 中国民用航空华东地区空中交通管理局 基于数字孪生技术的空中交通管制方法、系统、电子设备及存储介质
CN113140134A (zh) * 2021-03-12 2021-07-20 北京航空航天大学 一种智慧空管系统的体系架构
CN113485103A (zh) * 2021-06-29 2021-10-08 四川大学 一种基于深度强化学习的航空器冲突解脱方法
CN113593308A (zh) * 2021-06-30 2021-11-02 四川大学 一种民航飞机智能化进场方法
CN113706931A (zh) * 2021-07-13 2021-11-26 清华大学 空域的流控策略推荐方法、装置、电子设备及存储介质
CN114141062A (zh) * 2021-11-30 2022-03-04 中国电子科技集团公司第二十八研究所 一种基于深度强化学习的航空器间隔管理决策方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
O. BAUD等: "Radar / ADS-B data fusion architecture for experimentation purpose", 《2006 9TH INTERNATIONAL CONFERENCE ON INFORMATION FUSION》 *
YI LIN等: "An algorithm for trajectory prediction of flight plan based on relative motion between positions", 《FRONTIERS OF INFORMATION TECHNOLOGY & ELECTRONIC ENGINEERING》 *
刘仁禹: "基于深度强化学习的终端区飞行冲突与调配", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》 *
刘洪等: "基于单一移动平台的飞机进近排序模型研究", 《四川大学学报(自然科学版)》 *
尚德佳: "空管多监视数据融合研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》 *
杨荣盛等: "一种ADS-B和多雷达数据融合方案研究", 《苏州科技学院学报(工程技术版)》 *
武喜萍等: "进港航班排序强化学习模型研究", 《工程科学与技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115660446A (zh) * 2022-12-13 2023-01-31 中国民用航空飞行学院 一种空中交通管制预案智能生成方法、装置及系统

Also Published As

Publication number Publication date
CN115240475B (zh) 2022-12-13
US11710412B1 (en) 2023-07-25

Similar Documents

Publication Publication Date Title
CN115240475B (zh) 融合飞行数据和雷达图像的航空器进近规划方法及装置
CN109948642B (zh) 基于图像输入的多智能体跨模态深度确定性策略梯度训练方法
Ruan et al. Mobile robot navigation based on deep reinforcement learning
CN114373360B (zh) 飞行模拟器智能训练系统、方法及装置
CN108216229A (zh) 交通工具、道路线检测和驾驶控制方法及装置
CN112766499A (zh) 一种通过强化学习技术实现无人机自主飞行的方法
CN113268081B (zh) 一种基于强化学习的小型无人机防控指挥决策方法及系统
CN116907282B (zh) 基于人工智能算法的无人靶机超低空飞行控制方法
CN115146873B (zh) 一种车辆轨迹预测方法及系统
Dong et al. Study on the resolution of multi-aircraft flight conflicts based on an IDQN
CN115016534A (zh) 一种基于记忆增强学习的无人机自主避障导航方法
CN116627154B (zh) 基于位姿预测和轨迹优化的无人机引导降落方法及无人机
CN111882047A (zh) 一种基于强化学习与线性规划的快速空管防冲突方法
CN112114592B (zh) 一种实现无人机自主穿越可移动框形障碍物的方法
Diniz et al. Visual-based assistive method for uav power line inspection and landing
CN117406762A (zh) 一种基于分段式强化学习的无人机远程控制算法
CN115164890A (zh) 一种基于模仿学习的群体无人机自主运动规划方法
CN114815891A (zh) 一种基于per-idqn的多无人机围捕战术方法
Pan et al. Semantic predictive control for explainable and efficient policy learning
CN113093568A (zh) 基于长短时记忆网络的飞机自动驾驶操作模拟方法
Timmis et al. Teaching vehicles to steer themselves with deep learning
Duc et al. An approach for UAV indoor obstacle avoidance based on AI technique with ensemble of ResNet8 and Res-DQN
Yao et al. Regional attention reinforcement learning for rapid object detection
Pienroj et al. Exploring deep reinforcement learning for autonomous powerline tracking
CN113065499B (zh) 基于视觉学习驱动的空中机器人集群控制方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant