CN109948716A

CN109948716A - 一种基于区域残差和lstm网络的机场延误预测方法

Info

Publication number: CN109948716A
Application number: CN201910226624.8A
Authority: CN
Inventors: 屈景怡; 叶萌; 渠星; 杨俊�; 陈敏
Original assignee: Civil Aviation University of China
Current assignee: Civil Aviation University of China
Priority date: 2019-03-25
Filing date: 2019-03-25
Publication date: 2019-06-28
Anticipated expiration: 2039-03-25
Also published as: CN109948716B

Abstract

本发明提供了一种基于区域残差和LSTM网络的机场延误预测方法，包括步骤如下：数据预处理：对机场数据、航班数据和气象数据融合后，进行编码；将预处理数据输入到区域残差网络，对数据的空间特征进行更深层次的提取，同时保留数据的时序关系；然后输入到单向池化层，进行数据维度的转换；将特征矩阵输入到LSTM网络，提取数据在时间维度上的依赖关系，得到最终的特征矩阵；将最终的特征矩阵输入到全连接层转换为一维矩阵，并利用分类器对一维特征矩阵进行分类，得到机场延误预测的分类结果。本发明所述的基于区域残差和LSTM网络的机场延误预测方法，充分的提取了机场数据、航班数据和气象数据的空间特征和时间特征，得到了更高的预测准确率。

Description

一种基于区域残差和LSTM网络的机场延误预测方法

技术领域

本发明属于大数据以及深度学习技术领域，尤其是涉及一种基于区域残差和LSTM网络的机场延误预测方法。

背景技术

随着国民经济和航空运输业的迅猛发展，大数据智能时代的来临，深度学习在诸多领域取得了突破性的进展。学者们试图运用循环神经网络的时间特性来预测机场的延误状况。针对机场延误的预测问题，国内外的相关学者已经开展了一些研究。文献“DEUTSCHMANN A,Prediction of airport delays based on non-linearconsiderations of airport systems[C]//The 28th Interational Congress of theAeronautical Sciences 2012:1-5”中提出了基于边界条件的机场延误预测方法。文献“MUKHERJEE A,GRABBE S,SRIDHAR B.Predicting ground delay program at an airportbased on meteorological conditions[C].The 14th AIAA Aviation

Technology,Tntegration,and Operations Conference.2014:2014-2713”中利用逻辑回归和决策树这两个机器学习模型来预测机场地面延迟的发生。文献“NOBORU T,RYOSUKE K,AKIHIDE S,et al.Prediction of delay due to air traffic control bymachine learning[C].AIAA Modeling and Simulation TechnologiesConference.2017:191-199”尝试利用浅层的人工神经网络对机场空域进行延误预测，但是该模型不能准确学习时间维度上的延误传播特性，在面对严重且持续性延误状况时，模型的预测结果并不理想。

上述方法都是针对小数据集样本进行训练，面对大量且高维的机场延误数据，通常需要进行降维处理，会造成原始数据信息的缺失；并且没有考虑到机场状态的时间相关性，所以预测结果并不理想。

发明内容

有鉴于此，本发明旨在提出一种基于区域残差和LSTM网络的机场延误预测方法，以提供一种能有效保证原始数据的时序性，预测结构更准确的基于区域残差和LSTM网络的机场延误预测方法。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于区域残差和LSTM网络的机场延误预测方法，包括如下步骤：1)数据预处理：融合机场数据、航班数据和气象数据，并对融合后的数据进行编码；2)将步骤1)得到的预处理数据输入到区域残差网络，对数据的空间特征进行深层提取，同时保留数据的时序关系；3)将步骤2)得到的特征矩阵输入到单项池化层，进行数据维度的转换；4)将步骤3)得到的特征矩阵输入到LSTM网络，提取数据在时间维度上的依赖关系，得到最终的特征矩阵；5)将步骤4)得到的最终特征矩阵输入到全连接层转换为一维矩阵，并利用softmax分类器对一维特征矩阵进行分类，得到机场延误预测的结果。

进一步的，步骤1)中的机场数据包括日期、时间、机场ID、机场所在城市ID、机场所在州的ID这五个属性。

进一步的，步骤1)中的航班数据包括航班起飞的年份、航班起飞的月份、航班起飞的具体日期、航班起飞的星期数、航空公司的ID、起飞机场ID、起飞机场序列ID、降落机场ID、降落机场序列ID、起飞城市ID、降落城市ID、航班号、飞机尾号、计划起飞时间、计划降落的时间、飞机起飞时起轮时间、飞机降落时放轮时间、飞机飞行的距离、航空公司的代码、航班是否取消、航班取消的代码、航班是否改航这22个属性。

进一步的，步骤1)中的气象数据包括天气观测站的类型、天气观测站的序号、时间、机场天气状态、能见度、天气类型、干球华氏温度、干球摄氏温度、湿球华氏温度、露点华氏温度、相对湿度、风向、风速、风的特征值、观测站气压、海平面气压、观测高度、记录类型这18个特征属性。

进一步的，步骤1)中数据预处理的具体过方法为：

以日期、航班起飞/降落时间以及天气观测时间这3个特征作为键值，对机场属性数据F、航班数据A和天气数据W进行融合；将原始数据特征属性分为离散型和连续型两种，首先对连续型特征进行min-max归一化编码，然后将离散型特征以100为阈值分为高低基数两类。接下来对低基数离散型数据采用独热编码；对高基数离散型数据进行Mean编码；将编码后的数据E按照起飞和降落时间进行排序，然后以长度为L，步长为1的分割窗口在时间维度上进行滑动分割，得到模型输入E_t。

进一步的，步骤2)的具体过方法为：将上述步骤1)得到的预处理数据输入到区域残差网络，将数据按照时间节点分割为固定长度的不同区域，利用一个区域ResNet接受独立的区域作为网络的输入；既可以保留数据的时序关系，同时也可以深层次的提取数据的空间特征。

进一步的，步骤3)的具体过方法为：将步骤2)得到的特征矩阵输入到单向池化层，利用步长为1，数量为128的1x1的卷积核，对特征矩阵进行降维；然后再进行单向全局池化，池化方程为：A_i＝(a_i,1,a_i,2,…,a_i,j,…,a_i,7)，s_i＝ave(A_i)其中，a_i,j表示上一层神经网络输出特征图中坐标为(i,j)的神经元，s_i为最大池化层中坐标为i的神经元，ave(·)表示求矩阵中所有元素的均值。

进一步的，步骤5)的具体过方法为：将步骤4)得到的最终特征矩阵输入全连接层，全连接层中每个神经元分别对特征矩阵中的数据进行非线性变换得到一维特征矩阵；然后将一维特征矩阵输入到softmax分类器进行分类，得到机场延误预测的结果。

相对于现有技术，本发明所述的基于区域残差和LSTM网络的机场延误预测方法具有以下优势：

(1)本发明所述的基于区域残差和LSTM网络的机场延误预测方法，采用了新的残差学习单元，使用的卷积核为3×1，有效保持原始数据的时序性；同时将shortcut的非线性激活函数替换了直通连接；最后每一层前都使用了批归一化，使得新的残差学习单元更容易训练且泛化性更强。

(2)本发明所述的基于区域残差和LSTM网络的机场延误预测方法，采用了LSTM网络对特征矩阵进行特征提取，提取了融合数据的时间相关性，充分利用了机场状态的时间相关性，使得机场延误预测更加精准。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的基于区域残差和LSTM网络的机场延误预测方法流程图；

图2为本发明实施例所述的区域残差网络结构图；

图3为单向池化层示意图；

图4为LSTM结构单元图；

图5为区域残差模块对预测准确率的影响；

图6为LSTM网络模块对预测准确率的影响。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面将参考附图并结合实施例来详细说明本发明。

名词解释：

单向池化层：只降低数据空间特征维度的池化层，保留数据的时序特征。

池化层：只对数据的的空间特征和时序特征都会降维。

卷积核：执行卷积运算时的权重。

Cell：神经元。

一种基于区域残差和LSTM网络的机场延误预测方法，如图1至图6所示，包括如下步骤：

1)数据预处理：融合机场数据、航班数据和气象数据，并对融合后的数据进行编码；

机场属性数据定义为A，包括日期、时间、机场ID、机场所在城市ID、机场所在州的ID这5个特征属性。

机场运行航班数据定义为F，包括航班起飞的年份、航班起飞的月份、航班起飞的具体日期、航班起飞的星期数、航空公司的ID、起飞机场ID、起飞机场序列ID、降落机场ID、降落机场序列ID、起飞城市ID、降落城市ID、航班号、飞机尾号、计划起飞时间、计划降落的时间、飞机起飞时起轮时间、飞机降落时放轮时间、飞机飞行的距离、航空公司的代码、航班是否取消、航班取消的代码、航班是否改航这22个特征属性。

机场天气数据定义为W，包括天气观测站的类型、天气观测站的序号、时间、机场天气状态、能见度、天气类型、干球华氏温度、干球摄氏温度、湿球华氏温度、露点华氏温度、相对湿度、风向、风速、风的特征值、观测站气压、海平面气压、观测高度、记录类型这18个特征属性。

数据预处理的步骤为：

<1>以日期、航班起飞/降落时间以及天气观测时间这3个特征作为键值，对机场属性数据F、航班数据A和天气数据W进行融合。

<2>将原始数据特征属性分为离散型和连续型两种，首先对连续型特征进行min-max归一化编码，然后将离散型特征以100为阈值分为高低基数两类。接下来对低基数离散型数据采用独热编码；对高基数离散型数据进行Mean编码。

<3>将编码后的数据E按照起飞和降落时间进行排序，然后以长度为L，步长为1的分割窗口在时间维度上进行滑动分割，得到模型输入E_t。

2)将步骤1)得到的预处理数据输入到区域残差网络，对数据的空间特征进行深层提取，同时保留数据的时序关系；

本发明提出的区域残差网络的单个模块结构如图2所示，不同层数的网络均由其堆叠而成。

设X为输入，经过批归一化和ReLU激活操作后，得到图2中卷积模块的非线性映射函数H(·)，定义如下：

式中，f(·)表示ReLU激活函数和BN操作的计算过程；W^(m1)、W^(m2)和W^(m3)依次为同一个结构块中三个卷积层的权值矩阵，式中的m1、m2和m3代表三个不同卷积层。

3)将步骤2)得到的特征矩阵输入到单项池化层，进行数据维度的转换；

为了将LSTM与区域残差网络进行有效的连接，本发明设计了单向池化层，该层与普通池化层不同，只对数据的空间特征进行了降维，不改变数据的时序特征，便于LSTM网络提取数据的时序特征；该层利用步长为1，数量为128的1x1的卷积核，卷积核即执行卷积运算时的权重，采用1x1的卷积核可以对数据的空间特征进行降维；然后再进行单向全局池化，池化方程为：A_i＝(a_i,1,a_i,2,…,a_i,j,…,a_i,7)，s_i＝ave(A_i)其中，a_i,j表示上一层神经网络输出特征图中坐标为(i,j)的神经元，s_i为最大池化层中坐标为i的神经元，ave(·)表示求矩阵中所有元素的均值。详细结构见图2。

4)将步骤3)得到的特征矩阵输入到LSTM网络，提取数据在时间维度上的依赖关系，得到最终的特征矩阵；

LSTM网络可以充分学习机场延误状态的时间相关性，LSTM网络通过一个记忆单元来存储输入数据的重要特征信息，每一个神经网络包含核心元素Cell即神经元和3个单元门，分别是输入门、遗忘门和输出门。LSTM的详细结构见图4。

LSTM单元的前向传播过程如式(2)-(7)所示。其中，和为l层t时刻LSTM单元输入门、遗忘门和输出门的输出。表示l-1层网络在t时刻的输出，而则表示l层网络在t-1时刻的输出。W_i、W_f和W_o为t时刻l-1层网络与该单元输入门、遗忘门、输出门的权重矩阵，同样U_i、U_f和U_o为t-1时刻l层网络与该单元各个门的权重矩阵。为核心元素Cell的输出，从图4和公式(6)可以看出，包含两个部分：第一部分是t-1时刻Cell状态和遗忘门输出的乘积，第二部分是输入门输出和的乘积。W_c为t时刻l-1层网络与Cell连接的权重矩阵，U_c为t-1时刻l层网络Cell连接的权重矩阵。则为最终LSTM的输出。f(·)、g(·)和h(·)均为激活函数。

LSTM误差项的反向传播包括两个方向：一个是沿时间维度的从当前t时刻开始，计算前面每个时刻的误差项；另一个是将误差传播。推导得出误差项沿网络层数的反向传播过程：

和分别各个门单元的误差项。

如式(8)-(12)：反向传播，即向前一层进行，

5)将步骤4)得到的最终特征矩阵输入到全连接层转换为一维矩阵，并利用softmax分类器对一维特征矩阵进行分类，得到机场延误预测的分类结果。

全连接层输出特征图的维度为(1×1)×q，q为分类类别数，本发明涉及的是二分类问题，所以q为2。对于每类有r个样本的集合可以表示为{(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),…,(x^(r),y^(r))}，其中y^(r)∈{1,2,…,q}，每一个类别j的输出概率值为p(y＝j|x)，如果用q个向量表示q个输出概率值，则函数为

式中，h_θ(x)为神经网络的输出；θ为网络参数；i为样本序号；为归一化因子。网络训练使用交叉熵作为代价函数，其表达式为

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于区域残差和LSTM网络的机场延误预测方法，其特征在于：包括如下步骤：

5)将步骤4)得到的最终特征矩阵输入到全连接层转换为一维矩阵，并利用softmax分类器对一维特征矩阵进行分类，得到机场延误预测的结果。

2.根据权利要求1所述的一种基于区域残差和LSTM网络的机场延误预测方法，其特征在于：步骤1)中的机场数据包括日期、时间、机场ID、机场所在城市ID、机场所在州的ID这五个属性。

3.根据权利要求1所述的一种基于区域残差和LSTM网络的机场延误预测方法，其特征在于：步骤1)中的航班数据包括航班起飞的年份、航班起飞的月份、航班起飞的具体日期、航班起飞的星期数、航空公司的ID、起飞机场ID、起飞机场序列ID、降落机场ID、降落机场序列ID、起飞城市ID、降落城市ID、航班号、飞机尾号、计划起飞时间、计划降落的时间、飞机起飞时起轮时间、飞机降落时放轮时间、飞机飞行的距离、航空公司的代码、航班是否取消、航班取消的代码、航班是否改航这22个属性。

4.根据权利要求1所述的一种基于区域残差和LSTM网络的机场延误预测方法，其特征在于：步骤1)中的气象数据包括天气观测站的类型、天气观测站的序号、时间、机场天气状态、能见度、天气类型、干球华氏温度、干球摄氏温度、湿球华氏温度、露点华氏温度、相对湿度、风向、风速、风的特征值、观测站气压、海平面气压、观测高度、记录类型这18个特征属性。

5.根据权利要求1所述的一种基于区域残差和LSTM网络的机场延误预测方法，其特征在于：步骤1)中数据预处理的具体过方法为：

以日期、航班起飞/降落时间以及天气观测时间这3个特征作为键值，对机场属性数据F、航班数据A和天气数据W进行融合；

将原始数据特征属性分为离散型和连续型两种，首先对连续型特征进行min-max归一化编码，然后将离散型特征以100为阈值分为高低基数两类。接下来对低基数离散型数据采用独热编码；对高基数离散型数据进行Mean编码；

将编码后的数据E按照起飞和降落时间进行排序，然后以长度为L，步长为1的分割窗口在时间维度上进行滑动分割，得到模型输入E_t。

6.根据权利要求1所述的一种基于区域残差和LSTM网络的机场延误预测方法，其特征在于：步骤2)的具体过方法为：将上述步骤1)得到的预处理数据输入到区域残差网络，将数据按照时间节点分割为固定长度的不同区域，利用一个区域ResNet接受独立的区域作为网络的输入；既可以保留数据的时序关系，同时也可以深层次的提取数据的空间特征。

7.根据权利要求1所述的一种基于区域残差和LSTM网络的机场延误预测方法，其特征在于：步骤3)的具体过方法为：将步骤2)得到的特征矩阵输入到单向池化层，利用步长为1，数量为128的1x1的卷积核，对特征矩阵进行降维；然后再进行单向全局池化，池化方程为：A_i＝(a_i,1,a_i,2,…,a_i,j,…,a_i,7)，s_i＝ave(A_i)其中，a_i,j表示上一层神经网络输出特征图中坐标为(i,j)的神经元，s_i为最大池化层中坐标为i的神经元，ave(·)表示求矩阵中所有元素的均值。

8.根据权利要求1所述的一种基于区域残差和LSTM网络的机场延误预测方法，其特征在于：步骤5)的具体过方法为：将步骤4)得到的最终特征矩阵输入全连接层，全连接层中每个神经元分别对特征矩阵中的数据进行非线性变换得到一维特征矩阵；然后将一维特征矩阵输入到softmax分类器进行分类，得到机场延误预测的结果。