CN112327903A - 一种基于深度混合密度网络的航空器轨迹生成方法 - Google Patents

Abstract

本发明公开一种基于深度混合密度网络的航空器轨迹生成方法，首先，读取航空器轨迹数据，并对数据进行质量分析及预处理；然后，构建深度混合密度网络模型，所述模型的结构从上到下为输入层、双向长短期记忆网络层、混合密度模型网络层、输出层；并对网络模型进行超参数以及权重参数设置及优化；最后，通过深度混合密度神经网络对大量的航空器轨迹进行建模，获取航空器轨迹的统计特性，采用轮赌盘采样方法对航空器轨迹数据进行采样生成轨迹。本发明能得出航空器轨迹的时空特性和运行规律，构建航空器轨迹生成模型，实现轨迹仿真模拟以及轨迹预测功能，以帮助航空器规划避碰演习并帮助进行离线性能和安全分析，从而提高航空运输的效率、安全性及可预测性。

Description

一种基于深度混合密度网络的航空器轨迹生成方法

技术领域

本发明属于民航技术领域，具体涉及一种基于深度混合密度网络的航空器轨迹生成方法。

背景技术

近年来，航空运输业持续快速发展，有限的空域资源和不断增长的空中交通流量之间的矛盾日益加深，使得航空器间潜在冲突加剧，管制员负荷加重，空域拥堵、航班延误等问题频繁出现。为此，世界各国逐步改变空域管理，开发新一代空中交通管理系统，以期通过管理和技术创新来解决空中交通管理中面临的问题，提高空中交通运输效率和安全性。

本专利聚焦在航空器轨迹生成技术，它对空中交通管理、空域规划评估、空中交通新技术评估等直观重要，能够提高航空运输的效率、安全性、可预测性。比如，轨迹生成方法可用于预测航空器的未来轨迹，基于预测的结果发现航空器间的潜在冲突，根据冲突发生的时间、概率、程度等，采取相应的规避措施。此外，通过对整个空域内航空器未来轨迹的预测，能够实现空域拥挤的掌控。除了日常空中交通管理外，航空器轨迹生成通过对航空器的轨迹进行模拟，能够应用于空域规划和新技术的评估。

目前，国内外对航空器轨迹生成技术也有一些研究，可以分为基于航空动力学模型的方法和基于数据驱动的方法。基于航空器动力学模型的轨迹生成方法属于一类物理学模型的方法，根据航空器受力和运动情况来生成航空器轨迹。该方法的性能依赖于准确的航空器参数，比如航空器重量、推力，但在实际情况中，很难获取这些参数的准确信息。基于数据驱动的轨迹生成方法根据大量历史轨迹数据，通过训练的方式构建一个生成模型。数据驱动的方法依赖于航空器轨迹大数据样本的完备程度以及模型对大量历史轨迹数据的表征能力，但现有数据驱动的轨迹生成方法，都采用了浅层网络结构，在表征航空器轨迹特征的能力上有限。本专利在深度学习架构下，结合混合密度网络的思想，提出了一种基于深度混合密度网络的航空器轨迹生成方法，能够提高轨迹生成模型的性能。

发明内容

发明目的：本发明提出一种基于深度混合密度网络的航空器轨迹生成方法，动态更新系统隐含态信息，对航空器轨迹的长时间序列数据进行建模，捕获航空器轨迹序列数据之间的隐含关系以及高维度映射关系，得出航空器轨迹的时空特性和运行规律，构建航空器轨迹生成模型，实现轨迹仿真模拟以及轨迹预测功能，以帮助航空器规划避碰演习并帮助进行离线性能和安全分析，从而提高航空运输的效率、安全性及可预测性。

技术方案：本发明所述的一种基于深度混合密度网络的航空器轨迹生成方法，包括以下步骤：

(1)读取航空器轨迹数据，并对数据进行质量分析；

(2)对步骤(1)获取的航空器轨迹数据进行预处理；

(3)构建深度混合密度网络模型，所述模型的结构从上到下为输入层、双向长短期记忆网络层、混合密度模型网络层、输出层；并对网络模型进行超参数以及权重参数设置及优化；

(4)生成航空器轨迹：通过深度混合密度神经网络对大量的航空器轨迹进行建模，获取航空器轨迹的统计特性，采用轮赌盘采样方法对航空器轨迹数据进行采样生成。

进一步地，步骤(1)所述的航空器轨迹数据包括时间、雷达波号、航空器型号、航空器所处经度、航空器所处纬度、航空器所处高度、航空器速度和航空器角度。

进一步地，所述步骤(2)实现过程如下：

(21)对步骤(1)获取的数据进行删除、插补、替换、排序；

(22)进行坐标变换，将地球的球坐标转换成笛卡尔坐标系：

X＝(N+h)×cosφ×cosλ (1)

Y＝(N+h)×cosφ×sinλ (2)

Z＝[N×(1-e²)+h]×sinφ (3)

其中，φ,λ,h分别表示纬度、经度、海拔高度；X,Y,Z表示三维笛卡尔坐标系坐标；N表示曲率半径，e表示偏心率；

(23)进行数据标准化处理，使用零均值标准化方法对航迹数据集进行标准化处理，从而生成无量纲的航迹数据集。

进一步地，步骤(3)所述的深度混合密度网络模型的构建过程如下：

其中，p(l_t|N_t)表示航迹各个时刻的混合概率密度分布函数，m是网络混合成分的个数；

是在t时刻，混合成分i的权重；N(·)是核函数，

是t时刻，混合成分i的方差；

是t时刻，混合成分i的均值；

网络模型输出是航迹点的概率分布参数，采用极大似然估计的思想，最大化轨迹每个时刻的真实值在相应概率分布中的概率，通过取对数后取相反数的方法，构造如式(7)所示的误差函数：

其中，T是轨迹序列长度，l_t为真实航迹在t时刻的位置信息，

是高斯概率密度函数。

进一步地，步骤(3)所述的超参数的设置及优化的过程如下：

网络的超参数包括序列长度、模型隐藏层数量、各隐藏层的神经元个数、每批次训练样本的大小、最大迭代次数、迭代停止准则、初始学习率、混合密度网络中混合成分的个数；其中，序列长度根据实际应用需求确定，剩余超参数通过设定各个超参数的取值来使用范围贝叶斯优化库进行优化来确定，从而确定最终的最优超参数；其中，在最小化验证误差过程中，采用10折交叉验证的方法，将之前分的训练集组合成10组不同的训练集和验证集，用10组验证误差的平均值作为模型最后的验证误差。

进一步地，步骤(3)所述的权重参数的设置及优化的实现过程如下：

网络的初始权值参数在[0,1]区间随机赋值，通过前馈传播过程，经双向长短时记忆神经网络层获取预测轨迹数据特征，学习轨迹序列数据间内部依赖和映射关系，通过混合密度模型神经网络的参数化，结合真实轨迹点，获取轨迹中每一个点的概率密度参数，计算损失函数，结合自适应矩估计优化器以及学习率指数衰减算法对网络权值参数的迭代更新。

进一步地，所述步骤(4)实现过程如下：

将深度混合密度网络的输出用以计算每个混合成分的累计权重q_j，随机生成变量r∈[0,1]，若累计权重q_j＞r，选择第j个混合成分作为航迹点的父代来生成新的航迹点；利用第j个混合成分的均值和方差建立混合高斯分布模型，从中随机选取一个满足该分布的点作为下一个航迹点的位置信息，即生成了新的航迹点；将新生成的航迹点信息加入输入数据集中，去掉初始航迹点数据集的第一个航迹点，获取新的航迹数据，航迹数据序列长度不变；然后继续加入网络训练，生成新的航迹点，如此往复迭代即可生成航空器轨迹：

其中，q_j为每个混合成分的累计权重；m为网络混合成分的个数；α_j为第j个混合成分的权重。

有益效果：与现有技术相比，本发明的有益效果：1、通过网络中的双向长短期记忆神经网络层，动态更新系统隐含态信息，能够保留较长时间序列下的有效信息，同时利用过去时刻和未来时刻两个方向上的信息，更加契合时序数据建模的问题，避免传统循环神经网络的梯度消失以及改善单向长短期记忆神经网络仅考虑过去时刻信息的不足；2、具备数据驱动特性，可从雷达数据生成模型，为任意机场自动创建生成模型；并可获取空域环境的相关统计属性，使生成的航空器轨迹目标变量具备更加完整的特征表达性；3、可以构建特定空域中飞机运行的三维仿真并获取飞机运行过程中轨迹的后验概率分布，帮助飞机规划避碰演习并帮助进行离线性能和安全分析，以更好地支持空中交通管制系统。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

本发明提出一种基于深度混合密度网络的航空器轨迹生成方法，如图1所示，首先读入航空器航迹相关数据，并对航迹数据进行质量分析和预处理，进一步对航空器航迹的球坐标位置转换到笛卡尔坐标系，在此基础上，构建神经网络模型，学习航空器轨迹的时空特性和运行规律，获取轨迹的统计特性。最后，采用轮赌盘采用算法生成航空器轨迹。具体步骤如下：

步骤1：读取航空器轨迹相关数据，并对数据进行质量分析。

读取航空器轨迹相关数据，包括时间、雷达波号、航空器型号、航空器所处经度、航空器所处纬度、航空器所处高度、航空器速度和航空器角度。

将读取的数据进行质量分析，从数据是否存在重复值、缺失值、异常值三个方面进行分析。对比飞机航迹信息数据集中的所有航迹点的所有属性，当两个航迹点之间的所有属性均相同时，则判断这两个航迹点为重复值；检查航迹点的属性值，当存在空值时，则该航迹信息为缺失值；异常值的判断采用聚类法，由于航迹信息数据是多变量数据，针对多变量异常值处理，采用快速聚类法，将数据对象分组成多个簇，从而挖掘出孤立点，判断出异常值数据。

步骤2：对航空器轨迹信息数据进行预处理。

对航空器轨迹信息数据集进行数据清洗。数据中存在的重复值采用删除法，剔除重复航迹信息的数据记录；数据中存在的缺失值采用删除法和插补法。当数据缺失属性大于85％时，删除该航迹点的信息数据，否则根据其他非缺失的变量，运用回归的方法对缺失值进行插补；数据中的异常值采用替换法，由于分位数不会受到计算值的影响，故使用中位数对异常值进行替换。将清洗后的数据根据时间顺序重新排序，形成时间序列下的航空器轨迹信息数据序列。

对航空器轨迹信息数据集进行坐标变换，将地球的球坐标转换成笛卡尔坐标系，具体计算公式如下:

X＝(N+h)×cosφ×cosλ (1)

Y＝(N+h)×cosφ×sinλ (2)

Z＝[N×(1-e²)+h]×sinφ (3)

其中，φ,λ,h分别表示纬度、经度、海拔高度；X,Y,Z表示三维笛卡尔坐标系坐标；N表示曲率半径，e表示偏心率。

对航空器轨迹信息数据集进行数据标准化处理，使用零均值标准化方法对航迹数据集进行标准化处理，从而生成无量纲的航迹数据集。

步骤3：构建深度混合密度网络模型，所述模型的结构从上到下为输入层、双向长短期记忆网络层、混合密度模型网络层、输出层；并对网络模型进行超参数以及权重参数设置及优化。

神经网络模型的结构从下到上包括：输入层、双向长短期记忆网络层、混合密度模型网络层、输出层。

构建深度混合密度网络模型需要对网络进行超参数以及权重参数设置及优化，包括如下过程：

超参数的设置及优化：网络的超参数包括序列长度、模型隐藏层数量、各隐藏层的神经元个数、每批次训练样本的大小、最大迭代次数、迭代停止准则、初始学习率、混合密度网络中混合成分的个数。其中，序列长度根据实际应用需求确定，剩余超参数通过设定各个超参数的取值来使用范围贝叶斯优化库进行优化来确定，从而确定最终的最优超参数。其中，在最小化验证误差过程中，采用10折交叉验证的方法，将之前分的训练集组合成10组不同的训练集和验证集，用10组验证误差的平均值作为模型最后的验证误差。

权重参数的设置及优化：网络的初始权值参数在[0,1]区间随机赋值。通过前馈传播过程，如公式(5)，经双向长短时记忆神经网络层获取预测轨迹数据特征，学习轨迹序列数据间内部依赖和映射关系。如公式(6)，通过混合密度模型网络层的参数化。如公式(7)，结合真实轨迹点，获取轨迹中每一个点的概率密度参数，计算损失函数。结合自适应矩估计优化器以及学习率指数衰减算法对网络权值参数的迭代更新。相关计算公式如下：

长短期记忆神经网络的公式表达：

其中，在式(4)中，σ(·)表示逻辑回归激活函数，将输入的数值映射到(0,1)区间内，以控制三个门控单元的开关；tanh(·)表示双曲正切激活函数，将输入的数值映射到(-1,1)区间内，对输入数据进行非线性映射；⊙表示矩阵乘积；f_t表示“遗忘门”控制单元，根据上一时刻的隐层状态S_t-1和当前时间的输入数据x_t决定以一定的概率控制遗忘多少上一层单元状态C_t-1，并将剩余信息保留到当前时刻的单元状态C_t中；i_t表示“输入门”控制单元，根据上一时刻的隐层状态S_t-1和当前时间的输入数据x_t决定更新多少信息到当前时刻的单元状态C_t中；o_t表示“输出门”控制单元，根据上一时刻的隐层状态S_t-1和当前时间的输入数据x_t决定当前时刻的隐层需要输出多少信息；C_t表示当前时刻t的单元状态，将遗忘门控制输出的上一时刻t-1的单元状态C_t-1与输入门更新的信息相加获得；S_t表示当前时刻t输出的隐藏状态信息，由当前时刻t的输出门控信息和单元状态信息结合输出。W_xy、W_sy、b_f、W_xi、W_si、b_i、W_xo、W_so、b_o、W_sc、W_xc、b_c是网络结构中的权值参数。

双向长短期记忆神经网络的输出结果公式表达：

其中，

表示正向长短期网络在时刻t输出的隐藏层状态信息；

表示反向长短期网络在时刻t输出的隐藏层状态信息；LSTM(·)为式子(4)所得的长短时记忆单元计算组合方程，用以计算每个时刻的前向以及后向的隐藏层单元状态；g(·)为修正线性单元激活函数,可以更好的解决梯度消失问题。

b_y是双向长短时记忆神经网络输出层的偏置。可以看出，正向长短时记忆单元与长短时记忆单元的权重的不共享的，向前和向后的两个长短时记忆单元之间的信息流动是独立互不干扰的。

混合密度网络的输出结果公式表达：

其中，p(l_t|N_t)表示航迹各个时刻的混合概率密度分布函数，m是混合成分的数量；

是在t时刻，混合成分i的权重；N(·)是核函数，由于高斯分布具有良好的计算特性，故本发明选择高斯核函数来估计各成分的概率密度。

是t时刻，混合成分i的方差；

是t时刻，混合成分i的均值。

网络模型输出是航迹点的概率分布参数，所以采用极大似然估计的思想，最大化轨迹每个时刻的真实值在相应概率分布中的概率，通过取对数后取相反数的方法，构造如式(7)所示的误差函数：

其中，T是轨迹序列长度；l_t为真实航迹在t时刻的位置信息，

是高斯概率密度函数。不同于其他网络中常用的损失函数(如均方根误差等)，L(x)不满足恒大于零的条件。

步骤4：生成航空器轨迹：通过深度混合密度神经网络对大量的航空器轨迹进行建模，获取航空器轨迹的统计特性，采用轮赌盘采样方法对航空器轨迹数据进行采样生成。

本发明采用轮赌盘采样算法生成航空器轨迹。如公式(8)所示，将深度混合密度网络的输出用以计算每个混合成分的累计权重q_j，随机生成变量r∈[0,1]，若累计权重q_j＞r，选择第j个混合成分作为航迹点的父代来生成新的航迹点。利用第j个混合成分的均值和方差建立混合高斯分布模型，从中随机选取一个满足该分布的点作为下一个航迹点的位置信息，即生成了新的航迹点。将新生成的航迹点信息加入输入数据集中，去掉初始航迹点数据集的第一个航迹点，获取新的航迹数据，航迹数据序列长度不变。然后继续加入网络训练，生成新的航迹点，如此往复迭代即可生成航空器轨迹：

其中，q_j为每个混合成分的累计权重；m为网络混合成分的个数；α_j为第j个混合成分的权重。

以广州白云机场终端区为例，采用了2018年9月至2019年2月之间的飞行数据，总共包括65000条轨迹数据，其中55000条轨迹用来训练模型，10000条轨迹进行实验对比。采用公知的散度方法来评价生成模型的性能，取值在0到1之间，散度值越趋近于0，模型生成的轨迹与实际越接近。表1是本发明方法和主流生成方法的实验结果对比。

表1不同方法的实验结果

可以看出，基于航空动力学模型的的散度值最大，本发明方法的散度值最小，说明本发明生成模型性能最好，更加符合实际情况。

Claims (7)

1.一种基于深度混合密度网络的航空器轨迹生成方法，其特征在于，包括以下步骤：

(1)读取航空器轨迹数据，并对数据进行质量分析；

(2)对步骤(1)获取的航空器轨迹数据进行预处理；

(3)构建深度混合密度网络模型，所述模型的结构从上到下为输入层、双向长短期记忆网络层、混合密度模型网络层、输出层；并对网络模型进行超参数以及权重参数设置及优化；

(4)生成航空器轨迹：通过深度混合密度神经网络对大量的航空器轨迹进行建模，获取航空器轨迹的统计特性，采用轮赌盘采样方法对航空器轨迹数据进行采样生成。

2.根据权利要求1所述的基于深度混合密度网络的航空器轨迹生成方法，其特征在于，步骤(1)所述的航空器轨迹数据包括时间、雷达波号、航空器型号、航空器所处经度、航空器所处纬度、航空器所处高度、航空器速度和航空器角度。

3.根据权利要求1所述的基于深度混合密度网络的航空器轨迹生成方法，其特征在于，所述步骤(2)实现过程如下：

(21)对步骤(1)获取的数据进行删除、插补、替换、排序；

(22)进行坐标变换，将地球的球坐标转换成笛卡尔坐标系：

X＝(N+h)×cosφ×cosλ (1)

Y＝(N+h)×cosφ×sinλ (2)

Z＝[N×(1-e²)+h]×sinφ (3)

其中，φ,λ,h分别表示纬度、经度、海拔高度；X,Y,Z表示三维笛卡尔坐标系坐标；N表示曲率半径，e表示偏心率；

(23)进行数据标准化处理，使用零均值标准化方法对航迹数据集进行标准化处理，从而生成无量纲的航迹数据集。

4.根据权利要求1所述的基于深度混合密度网络的航空器轨迹生成方法，其特征在于，步骤(3)所述的深度混合密度网络模型的构建过程如下：

其中，p(l_t|N_t)表示航迹各个时刻的混合概率密度分布函数，m是网络混合成分的个数；

是在t时刻，混合成分i的权重；N(·)是核函数，

是t时刻，混合成分i的方差；

是t时刻，混合成分i的均值；

网络模型输出是航迹点的概率分布参数，采用极大似然估计的思想，最大化轨迹每个时刻的真实值在相应概率分布中的概率，通过取对数后取相反数的方法，构造如式(7)所示的误差函数：

其中，T是轨迹序列长度，l_t为真实航迹在t时刻的位置信息，

是高斯概率密度函数。

5.根据权利要求1所述的基于深度混合密度网络的航空器轨迹生成方法，其特征在于，步骤(3)所述的超参数的设置及优化的过程如下：

网络的超参数包括序列长度、模型隐藏层数量、各隐藏层的神经元个数、每批次训练样本的大小、最大迭代次数、迭代停止准则、初始学习率、混合密度网络中混合成分的个数；其中，序列长度根据实际应用需求确定，剩余超参数通过设定各个超参数的取值来使用范围贝叶斯优化库进行优化来确定，从而确定最终的最优超参数；其中，在最小化验证误差过程中，采用10折交叉验证的方法，将之前分的训练集组合成10组不同的训练集和验证集，用10组验证误差的平均值作为模型最后的验证误差。

6.根据权利要求1所述的基于深度混合密度网络的航空器轨迹生成方法，其特征在于，步骤(3)所述的权重参数的设置及优化的实现过程如下：

网络的初始权值参数在[0,1]区间随机赋值，通过前馈传播过程，经双向长短时记忆神经网络层获取预测轨迹数据特征，学习轨迹序列数据间内部依赖和映射关系，通过混合密度模型神经网络的参数化，结合真实轨迹点，获取轨迹中每一个点的概率密度参数，计算损失函数，结合自适应矩估计优化器以及学习率指数衰减算法对网络权值参数的迭代更新。

7.根据权利要求1所述的基于深度混合密度网络的航空器轨迹生成方法，其特征在于，所述步骤(4)实现过程如下：

将深度混合密度网络的输出用以计算每个混合成分的累计权重q_j，随机生成变量r∈[0,1]，若累计权重q_j＞r，选择第j个混合成分作为航迹点的父代来生成新的航迹点；利用第j个混合成分的均值和方差建立混合高斯分布模型，从中随机选取一个满足该分布的点作为下一个航迹点的位置信息，即生成了新的航迹点；将新生成的航迹点信息加入输入数据集中，去掉初始航迹点数据集的第一个航迹点，获取新的航迹数据，航迹数据序列长度不变；然后继续加入网络训练，生成新的航迹点，如此往复迭代即可生成航空器轨迹：

其中，q_j为每个混合成分的累计权重；m为网络混合成分的个数；α_j为第j个混合成分的权重。

Images