CN109448445A - 基于长短期记忆神经网络的航班延误分级预警方法 - Google Patents

Abstract

本发明公开一种基于长短期记忆神经网络的航班延误分级预警方法，解析航空气象报文，得到航班延误预测所需的航空气象数据；进行多源数据融合，形成初始航班延误数据集；使用语义转换将非数值数据转换为数值数据，对延误特征进行分级预测，离散化划分机型特征及天气特征；进行数据清洗、缺失值补全、归一化处理，形成航班延误分级预测标准数据集，并进行划分；在训练集上分批次训练基于长短期记忆神经网络的航班延误等级预测模型；在验证集上得到具有最优超参数的长短期记忆神经网络模型；在测试集上对最优航班延误等级预测模型的性能进行验证；根据预测得到的航班延误等级确定延误预警等级。此种方法可有效提高航班延误预警的准确性和可靠性。

Description

基于长短期记忆神经网络的航班延误分级预警方法

技术领域

本发明属于机场航班延误预警方法技术领域，特别涉及一种基于长短期记忆神经网络的航班延误分级预警方法。

背景技术

随着国民经济的持续快速健康发展，航空运输需求也在不断增加。然而近年来，大面积航班延误现象日益凸显，成为困扰着民航部门和广大旅客的一个世界性难题。由于航班延误导致的旅客拒绝登机、霸机、冲击机场、殴打工作人员等恶性事件屡见不鲜，造成民航优质服务形象受损，严重影响了机场的安全运行秩序。为了降低由于航空公司自身原因，尤其是因航班计划制定不当而导致的延误，民航总局提出了《民航局开展保障航班正常和大面积航班延误应急处置专项整治工作方案》，旨在降低航班平均延误时间，提升航班运行效率。然而，造成航班发生延误的原因很多，主要原因是机场和空域的容量不足，其他的一些原因，例如天气、机场调度、公司计划、旅客、行李等也都可能导致航班延误。另外，航班延误还存在一个链式反应的问题：当一架航班发生延误，如果计划紧凑，就会影响到下一个航班的正点到达或起飞，从而间接波及到更多下游航班和机场。由于众多不确定性因素的存在，不可能完全避免飞机延误事件，但是若能在预测到某个不确定事件将会发生后来及时进行预警并采取应对措施，就可以减小航班延误波及、降低经济损失、并提高民航信誉。因此，航班延误预警具有重要的现实意义。

国内外对航班延误的预测和预警研究已经开展了多年并取得了一定的成果，研究内容主要集中在对智能算法的研究及其在航班延误预警中的应用。其中涉及到的方法种类繁多，各有利弊，问题主要体现在以下两个方面：

一、现有各种延误预警方法侧重模型的研究，不注重对实际运行数据的预处理

对实际采集的航班延误数据分析可知，这些数据包含大量的杂质数据，不加以合理的规范的预处理将直接影响预测模型的预测精度。脏数据的形成可能是现实中各种数据记录或者存储过程中发生的丢失以及错误记录或者存储时造成的失真，如果直接使用此类数据对模型进行训练，会使训练出来的模型参数会被错误的数据误导，使得每次数据输入后的预测的值都有比较大的变化并且预测准确度不高的问题，所以，对实时运行数据进行严格的预处理是非常有必要的，能使得数据集适用于各种智能预测算法。

二、现有航班延误预测模型忽略了航班延误的时序问题

传统的机器学习模型在对数据进行处理的时候，每条输入对应一个输出，每一次权重以及偏置项的更改都是基于单条数据内各个特征之间的影响，所以在这些模型的基础上无法考虑多条数据之间的相互影响。作为深度学习模型的一种，时间循环神经网络有效解决了这个问题，通过隐含状态在隐含层之间的传递考虑了数据之间的时序关系，在处理带有时序特征的数据上能表现出更好的效果。为了防止处理时序比较长的数据时会出现梯度消失的问题，尽量保证将前面时刻的数据信息传递给离它比较远的时间节点，长短期记忆神经网络使用遗忘门、输入门和输出门来控制状态的传送，解决了长短期的依赖问题。

发明内容

本发明的目的，在于提供一种基于长短期记忆神经网络的航班延误分级预警方法，其可有效提高航班延误预警的准确性和可靠性。

为了达成上述目的，本发明的解决方案是：

一种基于长短期记忆神经网络的航班延误分级预警方法，包括如下步骤：

步骤1，获取航班运行数据以及航空气象报文；

步骤2，解析航空气象报文，得到航班延误预测所需的结构化的航空气象数据；

步骤3，采用特征融合方法对航空气象数据以及航班运行数据进行多源数据融合，形成初始航班延误数据集；

步骤4，使用语义转换将所有数据集中的非数值数据转换为数值数据，使用民航业的延误等级划分方法对延误特征进行分级预测，根据飞机的载客量以及天气对飞机起飞影响的程度进行机型特征以及天气特征的离散化划分；

步骤5，对处理过的数据进行数据清洗，对缺失值进行数据补全或删除，基于特征的分析进行归一化处理，形成航班延误分级预测标准数据集，并将数据集划分为训练集、测试集和验证集；

步骤6，在训练集上，分批次训练基于长短期记忆神经网络的航班延误等级预测模型；

步骤7，在验证集上，逐步调节长短期记忆神经网络模型超参数的取值，得到具有最优超参数的长短期记忆神经网络模型；

步骤8，在测试集上，对训练得到的最优航班延误等级预测模型的性能进行验证，若不能满足预期要求，则返回步骤6进行重新训练；

步骤9，根据预测得到的航班延误等级确定延误预警等级。

上述步骤2的具体过程是：根据民航气象学解读航空气象报文的组成结构，从中分析和提取对飞行相关的天气特征的报文字段，例如能见度、风速、风向、天气、云高等信息，根据字段取值规律，对报文信息进行映射和转换，得到航班延误预测所需的结构化的航空气象数据。

上述步骤6的具体过程是：在训练集上，首先初始化长短期记忆神经网络模型的参数及隐含层权重，分批(1000次以上)加入训练数据后计算出模型的输出，通过梯度降下算法不断更新隐含层权重，直到预测模型的预测精度稳定在一个饱和值，损失值落入设定的区间。

采用上述方案后，本发明的有益效果如下：

(1)本发明具有智能学习能力，输入数据集即可完成模型的训练以及预测；

(2)对气象报文的解析以及部分气象数据的提取提供了合适的方法，并且也为航班运行数据和航空气象数据的融合提供了方法；

(3)本发明对数据预处理提出了一套可行的步骤使得模型的训练更加简单以及预测准确度更高，基于特征的数据融合，基于聚类分析的离群点处理，基于BP神经网络的数据补全，以及对航班运行数据以及气象数据的离散化处理等等一系列的数据预处理手段；

(4)本发明通过对数据集合理的比例的训练集、测试集以及验证集的划分保证了模型不会对测试集过拟合的问题，使得模型更有适用性。

附图说明

图1是本发明的流程图。

具体实施方式

以下将结合附图，对本发明的技术方案及有益效果进行详细说明。

如图1所示，本发明提供一种基于长短期记忆神经网络的航班延误分级预警方法，基于深度学习模型，智能程度高，能准确预测航班延误等级，有效提高了机场航班延误测预警的及时性和有效性；所述方法具体包括如下步骤：

步骤1，获取航班运行数据以及航空气象报文；

根据机场航空管理部门提供的每一架次航班的相关信息，如飞机起降机场、飞机机型、撤轮档时间、起飞时间、降落时间、延误时间等构成航班运行数据，由网络爬虫技术爬取的机场全年的气象报文作为航空气象数据。

步骤2，航空气象报文的解析以及存储；

由步骤1爬取的气象报文，根据气象报文的复杂的组成规则以及需要的天气特征，解析出气象报文中包含的时间、风速、风向、能见度、相关云层的高度以及天气作为最终数据的数据源之一。

步骤3，航空气象数据以及航班运行数据多源数据的融合，采用特征融合的手段对数据进行处理，融合成最初的航班延误数据集；

由步骤1的航班运行数据以及步骤2的航空气象数据作为两个数据源，采用数据融合技术中的特征融合，由于气象报文数据是隔半个小时播报一次，所以在特征融合时要采用以航班运行数据为主的最近的历史气象数据为融和条件形成最初的航班延误数据集D＝{(x₁₁,...,x_1d,y₁),(x₂₁,...,x_2d,y₂),...,(x_M1,...,x_Md,y_M)}。其中，D的每一个元组表示一个航班的具体信息，例如元组(x_i,y_i)＝(x_i1,...,x_id,y_i)(x_i∈R^d)中的前d个值(x_i1,...,x_id)表示第i(1≤i≤M)个航班的各个非目标属性的取值，最后一个目标属性值y_i(y_i＞0,y_i∈R)表示该航班具体的延误时间。

步骤4，使用语义转换实现对所有数据集中的非数值数据转换为数值数据，使用民航业普遍的延误等级划分方法对延误特征进行分级预测，根据飞机的载客量以及天气对飞机起飞影响的程度进行机型特征以及天气特征的离散化划分；

在融合后的数据中，航班数据中存在大量的字符型的信息，例如航班的起降机场，计划以及实际的使用机型等等的数据，这些数据不符合模型的输入的形式，在处理机场的四代码编号以及航班所属的航空公司时可以对所有的机场以及航空公司进行简单的整型数据的编号，在处理机型数据的时候由于机型的字符数据种类比较多，根据民航的相关知识可以对机型进行大型客机、中型客机以及小型客机的分类，对每一个类别进行编号处理。其次是离散化的处理，对于最后的研究目标-预测航班的延误时间，但是航班延误时间的分布是连续的数值，在做回归预测的时候预测的准确值很低(60％不到)，离散化处理就是解决此类问题的最简单有效的办法。分级预测即是把最后一个目标属性值y_i根据民航业内延误等级划分进行两次划分，第一次是0-1分类，分为延误和不延误两种状态，第二次是更加细分的划分，设定三个阈值，将航班延误值按区间转换成0(没有延误)、1(轻度)、2(中度)和3(重度)四种类别标签，即四个延误等级；根据不同机型的额定载客量对机型进行离散化处理，分为三类：大型机，中型机和小型机；按照对飞机起飞的影响程度把天气特征的取值转换为三类：1(完全不影响起飞)、2(影响飞机起飞但要看其他情况才要考虑起飞与否)和3(完全不能起飞的天气，如雷暴和冰雹等)。

步骤5，对处理过的数据进行数据清洗，清洗过程采用基于特征分析的方法以及以聚类分析的离群点的清洗，缺失值的处理过程采用数据补全以及删除的方法，对重要的缺失数据进行删除处理，对少量的缺失数据使用BP神经网络算法进行预测补全，基于特征的分析对部分特征进行归一化处理，形成航班延误分级预测标准数据集，最后通过几组对比实验得到最优的训练集、测试集和验证集的划分比例；

首先通过重要值(计划离港时间和实际离港时间)对缺失的数据进行删除，然后通过BP回归预测算法对前序航班延误时间等一些简单的数据进行数据补全工作，步骤3的D＝{(x₁₁,...,x_1d,y₁),(x₂₁,...,x_2d,y₂),...,(x_M1,...,x_Md,y_M)}数据集中的除了前序航班延误时间的其他x属性以及y属性作为非目标属性值，前序航班延误时间作为目标属性值对其进行回归预测。接下来是对离群点的处理，基于聚类算法K-means对数据进行聚类分析，然后对每个聚类结果进行基于特征的分析，删除掉在某些属性上偏离的数据。融合后的数据特别是气象数据，清晰度、云高等数据都是成百上千的数据，然后其他好多数据都是整型的十以内的分布，并且像清晰度和云高等数据的分布跨度很大，这些原本的数据可能会导致属性权重的不一致，以及模型中参数的计算会比较复杂，对这些数据进行归一化处理。最后通过控制变量的方法分别对不同划分的比例进行下面步骤的处理得出最优的划分。

步骤6，在训练集分批次训练基于长短期记忆神经网络的航班延误等级预测模型；

预测模型采用目前对带有时序特征的数据集处理效果最好的长短期记忆神经网络，航班延误数据集本身带有明显的时序特征，并且带有长期依赖问题，即每次航班计划的延误可能会影响接下来很多航班的计划，由于时间递归神经网络在解决长序依赖问题上缺乏可靠性，长短期记忆神经网络在对长期依赖问题上加了一个状态用来传送时序状态，并使用三个门(遗忘门、输入门和输出门)来控制状态的传送，所以该模型是解决航班延误预测是最优的选择。航班数据集是大量的，在训练模型时采用分批次的对模型进行输入，采用梯度下降的算法对模型进行参数的更新。

步骤7，在验证集上，逐步调节长短期记忆神经网络模型超参数的取值，得到具有最优超参数的长短期记忆神经网络模型；

把步骤6训练好的模型的权重值导入模型，并把验证集的特征输入模型得出模型的预测结果，然后通过控制变量法逐一对模型的超参数(学习率、隐含层节点数、隐层数量、时序长度、dropout层的参数)进行调整，然后分别对预测准确度等结果进行分析，得出预测结果最好的一组超参数的值。

在验证集上，按取值规律不断调整隐含层层数、学习率、隐含层节点数等超参数的取值，计算相应预测模型的预测精度，找到各个超参数的最佳取值，即获得最佳的航班延误等级预测模型。

步骤8，在测试集上，对训练得到的最优航班延误等级预测模型的性能进行验证，若不能满足预期要求，则返回步骤6进行重新训练；

使用步骤7得到的一组预测结果最好的超参数得出的模型，在测试集上进行测试，得到模型在测试集上的预测准确度，把该预测结果与验证集的预测结果进行对比，如果超出一定的置信区间，返回步骤6重新训练，否则模型建立完毕。

步骤9，根据预测得到的航班延误等级确定延误预警等级。

将当前的航班运行数据和天气数据作为输入，用经过验证的基于长短期记忆神经网络的航班延误等级预测模型对当前航班延误状况进行预测，若延误预测等级为1，则发出轻度延误预警；若延误预测等级为2，则发出中度延误预警；若延误预测等级为3，则发出重度延误预警。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (10)

1.一种基于长短期记忆神经网络的航班延误分级预警方法，其特征在于包括如下步骤：

步骤1，获取航班运行数据以及航空气象报文；

步骤2，解析航空气象报文，得到航班延误预测所需的结构化的航空气象数据；

步骤3，采用特征融合方法对航空气象数据以及航班运行数据进行多源数据融合，形成初始航班延误数据集；

步骤4，使用语义转换将所有数据集中的非数值数据转换为数值数据，使用民航业的延误等级划分方法对延误特征进行分级预测，根据飞机的载客量以及天气对飞机起飞影响的程度进行机型特征以及天气特征的离散化划分；

步骤5，对处理过的数据进行数据清洗，对缺失值进行数据补全或删除，基于特征的分析进行归一化处理，形成航班延误分级预测标准数据集，并将数据集划分为训练集、测试集和验证集；

步骤6，在训练集上，分批次训练基于长短期记忆神经网络的航班延误等级预测模型；

步骤7，在验证集上，逐步调节长短期记忆神经网络模型超参数的取值，得到具有最优超参数的长短期记忆神经网络模型；

步骤8，在测试集上，对训练得到的最优航班延误等级预测模型的性能进行验证，若不能满足预期要求，则返回步骤6进行重新训练；

步骤9，根据预测得到的航班延误等级确定延误预警等级。

2.如权利要求1所述的基于长短期记忆神经网络的航班延误分级预警方法，其特征在于：所述步骤2的具体过程是，根据民航气象学解读航空气象报文的组成结构，从中分析和提取与飞行相关的天气特征的报文字段，根据字段取值规律，对报文信息进行映射和转换，得到航班延误预测所需的结构化的航空气象数据。

3.如权利要求1所述的基于长短期记忆神经网络的航班延误分级预警方法，其特征在于：所述步骤3中，初始航班延误数据集表示为D＝{(x₁₁,...,x_1d,y₁),(x₂₁,...,x_2d,y₂),...,(x_M1,...,x_Md,y_M)}，其中，(x_i1,...,x_id,y_i)中的前d个值(x_i1,...,x_id)表示第i个航班的各个非目标属性的取值，1≤i≤M，最后一个目标属性值y_i表示该航班具体的延误时间，y_i＞0,y_i∈R。

4.如权利要求3所述的基于长短期记忆神经网络的航班延误分级预警方法，其特征在于：所述步骤4中，进行分级预测时，将最后一个目标属性值y_i根据民航业内延误等级划分进行两次划分，第一次是0-1分类，分为延误和不延误两种状态，第二次设定三个阈值，将航班延误值按区间转换成0-没有延误、1-轻度、2-中度和3-重度四种类别标签。

5.如权利要求4所述的基于长短期记忆神经网络的航班延误分级预警方法，其特征在于：所述步骤9中，将当前的航班运行数据和天气数据作为输入，用经过验证的基于长短期记忆神经网络的航班延误等级预测模型对当前航班延误状况进行预测，若延误预测等级为1，则发出轻度延误预警；若延误预测等级为2，则发出中度延误预警；若延误预测等级为3，则发出重度延误预警。

6.如权利要求1所述的基于长短期记忆神经网络的航班延误分级预警方法，其特征在于：所述步骤4中，进行机型特征的离散化划分包括根据不同机型的额定载客量将机型分为三类：大型机，中型机和小型机；进行天气特征的离散化划分包括按照对飞机起飞的影响程度把天气特征的取值转换为三类：1-完全不影响起飞、2-影响飞机起飞但要看其他情况才要考虑起飞与否和3-完全不能起飞的天气。

7.如权利要求1所述的基于长短期记忆神经网络的航班延误分级预警方法，其特征在于：所述步骤5中，对缺失值进行数据补全或删除的方法是：对于缺失的数据，首先基于BP神经网络进行预测补全，补全之后再为该特征做一个基于时序的分布图，通过拟合曲线对补全的数据进行二次删除或者修改处理。

8.如权利要求1所述的基于长短期记忆神经网络的航班延误分级预警方法，其特征在于：所述步骤5中，进行数据清洗是指使用聚类算法K-means对数据集做离群点分析，设置距离阈值，清除计算得到的离群点。

9.如权利要求1所述的基于长短期记忆神经网络的航班延误分级预警方法，其特征在于：所述步骤5中，根据不同特征的特性，选择0-1标准化或Z-score标准化，对各个特征值进行归一化处理。

10.如权利要求1所述的基于长短期记忆神经网络的航班延误分级预警方法，其特征在于：所述步骤6中，在训练集上，首先初始化长短期记忆神经网络模型的参数及隐含层权重，分批加入训练数据后计算出模型的输出，通过梯度降下算法不断更新隐含层权重，直到预测模型的预测精度稳定在一个饱和值，损失值落入设定的区间。