CN105956621A - 一种基于进化欠抽样集成学习的航班延误预警方法 - Google Patents

Abstract

本发明公开了一种基于进化欠抽样集成学习的航班延误预警方法，属于机场航班延误预警技术领域。本方法的具体步骤如下：首先，对航班延误实测数据集的目标属性进行离散化处理并清除噪声点，得到规范化的数据集；接着，使用进化欠抽样方法对这个类不平衡的数据集的多数类进行T次欠抽样，构建T个平衡的训练集；然后，使用网格搜索技术在每个平衡训练集上进行分类回归决策树分类器的参数寻优并生成分类器；最后，确定一种最佳集成方式将这些分类器构成一个集成系统EUS‑Bag，即为一个航班延误预警模型。该预警模型可为空管部门进行合理的空中交通调度提供决策依据。本方法智能化程度高，能有效的提高机场航班延误预警的准确度和可靠性。

Description

一种基于进化欠抽样集成学习的航班延误预警方法

技术领域

本发明涉及一种基于进化欠抽样集成学习的航班延误预警方法，属于机场航班延误预警方法技术领域。

背景技术

随着国民经济的持续快速健康发展，航空运输需求也在不断增加。然而近年来，大面积航班延误现象日益凸显，成为困扰着民航部门和广大旅客的一个世界性难题。由于航班延误导致的旅客拒绝登机、霸机、冲击机场、殴打工作人员等恶性事件屡见不鲜，造成民航优质服务形象受损，严重影响了机场的安全运行秩序。为了降低由于航空公司自身原因，尤其是因航班计划制定不当而导致的延误，民航总局提出了《民航局开展保障航班正常和大面积航班延误应急处置专项整治工作方案》，旨在降低航班平均延误时间，提升航班运行效率。然而，造成航班发生延误的原因很多，主要原因是机场和空域的容量不足，其他的一些原因，例如天气、机场调度、公司计划、旅客、行李等也都可能导致航班延误。另外，航班延误还存在一个链式反应的问题：当一架航班发生延误，如果计划紧凑，就会影响到下一个航班的正点到达或起飞，从而间接波及到更多下游航班和机场。由于众多不确定性因素的存在，不可能完全避免飞机延误事件，但是若能在预测到某个不确定事件将会发生后来及时进行预警并采取应对措施，就可以减小航班延误波及、降低经济损失、并提高民航信誉。因此，航班延误预警具有重要的现实意义。

国内外对航班延误的预测和预警研究已经开展了多年并取得了一定的成果，研究内容主要集中在对智能算法的研究及其在航班延误预警中的应用。其中涉及到的方法种类繁多，各有利弊，问题主要体现在以下两个方面：

①基于机器学习算法的预警模型种类繁多，难以在同一条件下客观评价其性能

现有的各种基于机器学习算法的航班延误预警模型，均在各自的实验条件下得出了相应的结论。考虑到各种算法均有自己的适用场合，因此还无法确定哪一种预警模型更有效，或者总是最有效的。实际上，对于在航班延误数据集上使用某种分类器学习算法生成的一个预警模型而言，有时它不能充分的学习到数据集中所蕴含的分类知识。也就是说，个体预警模型的泛化能力是有限的。

②各种算法普遍没有考虑实际航班延误数据集的类不平衡性

对实际采集的航班延误数据集进行统计可知，各个延误等级的样例分布是不平衡的，有的延误级别所含样例极少，而有的级别所含样例很多。这种不平衡的样例分布对分类器学习算法的分类性能会产生很大的负面影响，从而容易导致预警失效。由于训练分类器时大多数分类器学习算法的优化目标是总体分类精度(overall classificationaccuracy)，而包含样例的数目占训练集规模绝大多数的多数类通常对总体分类精度贡献最大，从而导致这些算法生成的分类器往往对多数类样例能够很好的进行分类，而对少数类样例的分类性能则非常差。然而少数类却通常包含一些对我们很有价值的信息并且比多数类重要的多，因此如何有效的改善对少数类延误级别的预警性能是需要解决的一个重要问题。

发明内容

本发明针对现有航班延误预警技术存在的缺陷，提出了一种基于进化欠抽样集成学习的航班延误预警方法，有效的提高航班延误预警的准确性和可靠性。

本发明为解决其技术问题采用如下技术方案：

一种基于进化欠抽样集成学习的航班延误预警方法，包括如下步骤：

步骤1：获取机场航班延误实测数据集；

步骤2：对实测数据集依次进行目标属性离散化、噪声数据点清除处理，创建航班延误数据集；

步骤3：利用进化欠抽样方法，对航班延误数据集的多数类进行T次欠抽样，分别与初始少数类数据子集合并，得到T个平衡的训练集；

步骤4：在每个平衡训练集上，使用网格搜索方法生成T个分类回归决策树分类器，构成一个集成系统EUS-Bag；

步骤5：确定集成系统EUS-Bag中基分类器的一种集成方式，使得该系统能获得最佳的分类性能，并将该集成系统作为航班延误预警模型。

所述步骤2的具体内容为：

通过设定4个阈值，将实测数据集中每个样例的目标属性“延误时间长度”，分别转换为0、1、2、3、4，五种类别标签，即五个延误等级；采用基于k近邻样例的类标签对比方法来识别并清除实测数据集中的孤立点，得到航班延误数据集。

在步骤3中，所述对航班延误数据集的多数类进行T次欠抽样，采用了一种同时考虑预测性能和多样性的适应度函数先选择出T个优质的多数类子集，再分别与初始少数类子集合并形成T个平衡的训练集。

所述步骤4的具体内容为：

利用网格搜索技术和交叉验证分别在T个平衡训练集上训练并选取平均分类精度最高的决策树，进而训练T个分类回归决策树分类器，构成了一个集成系统EUS-Bag。

所述步骤5的具体内容为：

分别用几种经典的分类器集成方法对EUS-Bag中的T个分类回归决策树分类器进行集成，选取分类精度最高的集成方式作为集成系统EUS-Bag的分类器集成方式，将EUS-Bag作为机场航班延误预警模型。

本发明的有益效果如下：

1、本方法具有智能学习能力，训练预警模型所需的航班延误数据集易于获取。

2、采用进化欠抽样方法作为平衡训练集获取方法，进化欠抽样方法根据设计的新适应度函数在实测数据集的多数类上自动运行多次，从而得到一些平衡的训练集。

3、采用Q统计多样性度量来衡量不同多数类子集之间的多样性程度，以客观的评估不同多数类子集之间的差别，从而确保得到的各个平衡训练集之间的多样性。

4、本方法通过结合进化欠抽样和集成学习的优势，能够生成一个由一些精确的且多样化的分类器构成的集成系统。将该集成系统作为航班延误预警模型，从而有效地提高航班延误预警的准确性和可靠性。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图对本发明创造做进一步详细说明。

本发明基于进化欠抽样集成学习的航班延误预警方法的流程如图1所示，具体包括如下步骤：

步骤1：获取机场航班延误实测数据集。

根据机场航空管理部门提供的每一架次航班的相关信息，如飞机机型、载客人数、天气情况、起飞时间、降落时间、延误时间等，构造机场航班延误实测数据集D＝{(x₁₁,...,x_1d,y₁),(x₂₁,...,x_2d,y₂),...,(x_M1,...,x_Md,y_M)}。其中，D的每一个元组表示一个航班的具体信息，例如元组(x_i,y_i)＝(x_i1,...,x_id,y_i)(x_i∈R^d)中的前d个值(x_i1,...,x_id)表示第i(1≤i≤M)个航班的各个非目标属性的取值，最后一个目标属性值y_i(y_i＞0,y_i∈R)表示该航班具体的延误时间。

步骤2：对实测数据集D依次进行目标属性离散化、噪声数据点清除处理，从而得到规范化的航班延误数据集D'。

根据经验为航班延误时间设置若干个区间p₁,...,p_Q(p_q＝[v_{q_1},v_{q_2})，0＜v_{q_1}＜v_{q_2}，1≤q≤Q)，这样就可按如下方式将每个样例的目标属性值转换成离散的类标签：根据数据集D'中样例(x_i1,...,x_id,y_i)(1≤i≤M)的目标属性值y_i，即该航班的具体延误时间(如10分钟、30分钟、60分钟等)，通过判断y_i属于哪个区间来将其转换成相应的类别标签。例如，若y_i∈p_q(1≤q≤Q)，则将q作为其类标签以表示第q个航班延误预警级别。将每个样例的目标属性值转换成离散的类标签后，就可利用基于k近邻样例的类标签对比技术来对D'中的噪声样例进行识别并清除，其基本思想如下。对每个样例(x_i1,...,x_id,y_i)(1≤i≤M)，首先使用欧氏距离找到它在数据集D'中的k(如k＝5)个邻居样例(x_j'∈R^d,j'∈{1,2,...,M},j'≠i)；然后将该样例的类标签y_i与它k个邻居样例s_i中最普遍的类标签y'进行比较，若两者不一致：y_i≠y'，则认为样例(x_i1,...,x_id,y_i)是一个噪声样例；最后，将所有被检测为噪声的样例从实测数据集D'中直接清除，从而得到净化的数据集D_ref。

步骤3：利用进化欠抽样方法，对具有不平衡类分布的数据集D_ref中的多数类进行T次欠抽样，从而得到T个平衡的训练集。

为了使进化欠抽样方法更加适用于套袋(Bagging)集成学习框架，为进化欠抽样方法设计了一种同时考虑预测性能和多样性的新适应度函数：其中：GM_s为使用染色体chrom_s编码的当前多数类子集构成训练集时，生成的分类器所取得的分类性能；α和β是反映第二项和第三项的相对重要程度的两个系数；Aver_Q_s为当前多数类子集与为前t-1个分类器选择的最优多数类子集之间的平均Q统计多样性；D_trmin为初始训练集中少数类的规模；D_{trmaj_s}为染色体chrom_s编码的当前多数类子集，以选择出一些能够提供良好预测性能且多样化的多数类子集，从而生成一些具有良好分类性能且多样化的分类器，以确保生成的集成系统具有理想的泛化性能。其中，适应度函数中的第一项GM_s表示，使用决策树作为基分类器时，在染色体chrom_s(1≤s≤ps)编码的当前多数类子集与少数类样例集D_trmin组成的训练集上(即D_{trmaj_s}∪D_trmin)运行一次5重交叉验证后得到的平均geometric mean(GM)值。因此，第一项用于衡量当前多数类子集所能提供的预测性能；第二项用于衡量当前多数类子集D_{trmaj_s}与少数类训练集在规模上的平衡程度，当D_{trmaj_s}的规模比D_trmin的规模过大或过小时给出一个惩罚；第三项表示，当使用进化欠抽样为第t(1＜t≤T)个分类器选择最优多数类子集时，考察的当前多数类子集D_{trmaj_s}与为前面的t-1个分类器C₁,...,C_t-1选择出的那些最优多数类子集之间的平均Q统计多样性。

具体的，首先通过在航班延误数据集D_ref的多数类训练集(x_j∈R^d)上运行T(T≥3)次进化欠抽样，可得到T个多样化的最优多数类子集：然后将它们分别与D_ref中的初始少数类训练集D_trmin结合，可得到T个平衡的训练集：D_{tr_1},D_{tr_2},...,D_{tr_T}，其中(1≤t≤T)。

步骤4：在每个平衡训练集上，使用网格搜索技术进行分类回归决策树分类器的参数寻优，并使用得到的最优参数在相应训练集上生成一个分类器。这样在T个训练集上可生成T个分类器，它们构成一个集成系统EUS-Bag。

具体的，在平衡训练集D_{tr_t}(1≤t≤T)上，使用网格搜索(grid search)技术来确定分类回归决策树的最优深度(depth)和叶子结点中的最少样例数目(min_eplnum)，其基本思想如下。使这两个参数在一定范围内按某一步长(如步长为0.1、0.5等)取值，对于平衡训练集D_{tr_t}，首先通过运行5重交叉验证来计算在每一对参数值(depth,min_eplnum)下生成的决策树所取得的平均分类性能，并将得到最优分类性能的那对参数作为当前训练集上分类回归决策树的最优训练参数；然后使用这一参数组合在训练集D_{tr_t}上生成一个分类回归决策树分类器：C_t＝Learn(D_{tr_t})(Learn表示分类回归决策树学习算法)。

通过以上方式可生成T个多样化的分类回归决策树分类器C₁,C₂,...,C_T，它们构成了一个集成系统EUS-Bag。

步骤5：确定集成系统EUS-Bag中基分类器的最佳集成方式，并将该集成系统作为航班延误预警模型，以对未来航班的延误等级进行预测。

通过对集成学习领域中几种经典的分类器集成方式，如简单多数投票、加权多数投票等，进行实证比较来确定一种最适合于当前应用领域的集成方式。对于每种集成方式，探讨使用该方式对集成系统EUS-Bag中的所有基分类器进行组合时所取得的集成分类性能，然后将取得最优分类性能的那种方式作为集成系统EUS-Bag的分类器集成方式。

将包含T个分类器的集成系统EUS-Bag作为航班延误预警模型，对一个新航班的延误等级进行预测时，首先使用每个分类器分别对该航班对应的属性元组x_t＝(x_t1,x_t2,...,x_td)进行分类，得到T个分类结果：C₁(x_t),C₂(x_t),...,C_T(x_t)；然后使用所确定的分类器集成方式f(·)将这些分类结果进行集成，从而得到对该航班延误等级的最终集成预测结果：f(x_t)＝f(C₁(x_t),C₂(x_t),...,C_T(x_t))。

Claims (5)

1.一种基于进化欠抽样集成学习的航班延误预警方法，其特征在于包括如下步骤：

步骤1：获取机场航班延误实测数据集；

步骤2：对实测数据集依次进行目标属性离散化、噪声数据点清除处理，创建航班延误数据集；

步骤3：利用进化欠抽样方法，对航班延误数据集的多数类进行T次欠抽样，分别与初始少数类数据子集合并，得到T个平衡的训练集；

步骤4：在每个平衡训练集上，使用网格搜索方法生成T个分类回归决策树分类器，构成一个集成系统EUS-Bag；

步骤5：确定集成系统EUS-Bag中基分类器的一种集成方式，使得该系统能获得最佳的分类性能，并将该集成系统作为航班延误预警模型。

2.根据权利要求1所述的一种基于进化欠抽样集成学习的航班延误预警方法，其特征在于：所述步骤2的具体内容为：

通过设定4个阈值，将实测数据集中每个样例的目标属性“延误时间长度”，分别转换为0、1、2、3、4，五种类别标签，即五个延误等级；采用基于k近邻样例的类标签对比方法来识别并清除实测数据集中的孤立点，得到航班延误数据集。

3.根据权利要求1所述的一种基于进化欠抽样集成学习的航班延误预警方法，其特征在于：在步骤3中，所述对航班延误数据集的多数类进行T次欠抽样，采用了一种同时考虑预测性能和多样性的适应度函数先选择出T个优质的多数类子集，再分别与初始少数类子集合并形成T个平衡的训练集。

4.根据权利要求1所述的一种基于进化欠抽样集成学习的航班延误预警方法，其特征在于：所述步骤4的具体内容为：

利用网格搜索技术和交叉验证分别在T个平衡训练集上训练并选取平均分类精度最高的决策树，进而训练T个分类回归决策树分类器，构成了一个集成系统EUS-Bag。

5.根据权利要求1所述的一种基于进化欠抽样集成学习的航班延误预警方法，其特征在于：所述步骤5的具体内容为：

分别用几种经典的分类器集成方法对EUS-Bag中的T个分类回归决策树分类器进行集成，选取分类精度最高的集成方式作为集成系统EUS-Bag的分类器集成方式，将EUS-Bag作为机场航班延误预警模型。