CN109446275A - 一种基于大数据的航空数据分析方法、设备及存储介质 - Google Patents

Abstract

本发明公开了一种基于大数据的航空数据分析方法、设备及存储介质，该方法包括：构建航班系统模型，所述航班系统模型采用K均值聚类算法；获取航空公司的航线过往原始数据；对航线过往原始数据进行预处理，所述预处理包括：将经过预处理后的航空公司的过往数据导入航班系统模型进行训练，得到航班K分类的结果。本发明将航空公司过往数据通过K均值聚类算法进行大数据分析结果供航班调整有了具体数据参考，更加的合理，避免根据人为经验判断来调整航的不精确问题，提高资源利用率，有利于提高航空公司收益。

Description

一种基于大数据的航空数据分析方法、设备及存储介质

技术领域

本发明涉及航空领域，具体涉及一种基于大数据的航空数据分析方法、设备及存储介质。

背景技术

通常航空公司的航班按照准点率、上座率、收益回报率等条件一般可分为黄金航班、大众航班、劣质航班三种，航空公司作为一种商业性的公司，都希望增加黄金航班，并减少劣质航班，来达到服务和收益更大化的目的。目前常用的方法一般为根据经验人为的进行判断来调整航班时间、频率、机型等参数，并不够精确。

发明内容

本发明的目的在于克服现有技术采用对航空数据经验人为判断进而调整航班等不够精准地问题，提出一种基于大数据的航空数据分析方法、设备及存储介质，将得出的数据分析结果给航班调整提供了具体数据参考，航空公司根据该结果进行航班调整更加合理和精确，能够避免由于人为经验判断导致调整航的不精确问题。

为达成上述目的，本发明采用如下技术方案：

本发明提供一种基于大数据的航空数据分析方法，包括如下步骤:

步骤一，构建航班系统模型；

所述航班系统模型采用K均值聚类算法，所述K均值聚类算法如下：

1)从N个数据随机选取K个数据作为质心，其中N、K均为正整数，且N≥K；

2)对剩余的每个数据测量其到每个质心的距离，并把它归到最近的质心的类；

3)重新计算已经得到的各个类的质心；

4)迭代2～3步直至新的质心与原质心相等或小于指定阈值，K均值聚类算法结束；

步骤二，获取航空公司的航线过往原始数据；所述航线过往原始数据包含以下一种或者多种：“passengerMeter”客公里、“seatMeter”座公里、“avincome”平均收入、“CAP”运力、“passengerNum”乘客数、“saleDiscount”折扣、“mileage”里程、“PLF”客座率、“seatLeft”、“flightDate”航班日期、“flightNum”航班号、“上座率”；

步骤三，对航线过往原始数据进行预处理，所述预处理包括：

1)从航线过往原始数据提取有效数据；

有效数据提取基于目前的分析目标，航线过往原始数据是对航班做多次数据收集得到的结果，其中存在大量的“非充分信息”，对得到的航线过往原始数据做二次提取，取‘receiveDate’处于结算点(该日期对应具体航班的最后一条收集数据)上的数据作为结算数据；

2)对有效数据进行数据完善；

对有效数据中代表航线的‘airline’字段，将其拆分为前后代表始发站/终点站的各多个字母，引入多个字码表，生成带有始发/终点机场和城市信息的数据序列，加入数据框。

步骤四，将经过预处理后的航空公司的过往数据导入航班系统模型进行训练，得到航班K分类的结果。

进一步的，本发明方法还根据到航班K分类的结果对航班调整。

进一步的，所述预处理还包括：剔除异常数据；所述剔除异常数据为将“seatLeft”字段为负的字段视为异常数据，从数据框中剔除seatLeft<0的数据。

另外，所述预处理还包括数据缺失值处理；所述数据缺失值处理为将数据部分含有缺失值为NaN的字段替换为0。

进一步，若数据部分含有缺失值为NaN的字段替换为0时，将使基础指标无法计算，则直接删除该条数据。

另外，所述预处理还包括唯一性处理；所述唯一性处理为将日期+航班号作为一条数据的唯一ID。

其中，在对有效数据进行数据完善步骤中，对有效数据中代表航线的‘airline’字段，将其拆分为前后代表始发站/终点站的各三个字母，引入三字码表。

在本发明另一实施例中的基于大数据的航空数据分析方法，进一步的，为了进一步保证数据运算的效率，在进入K均值聚类模型前，对数据做一些处理，处理的作用主要是降维，具体为本发明的基于大数据的航空数据分析方法将经过预处理后的航空公司的过往数据导入航班系统模型前，对预处理后的航空公司的过往数据进行PCA降维为二维变量。

优选的，所述航班系统模型采用K均值聚类算法进行分三个类别，分别为第一类航线簇、第二类航线簇、第三类航线簇；

所述第一类航线簇为“PLF”客座率最高；

所述第二类航线簇为“PLF”客座率小于所述第一类航线簇，“mileage”里程大于设定值、“saleDiscount”折扣最低；

所述第三类航线簇为“saleDiscount”折扣最高、“mileage”里程最低、“passengerMeter”客公里最低、“seatMeter”座公里最低、“CAP”运力最低、“avincome”平均收入最低、“PLF”客座率最低。

本发明的另一实施例还提供了一种设备，所述设备包括存储器及与所述存储器连接的处理器，所述存储器中存储有可在所述处理器上运行的处理系统，所述处理系统被所述处理器执行上述的基于大数据的航空数据分析方法的步骤。

本发明的另一实施例还一种可读存储介质，所述可读存储介质上存储有处理系统，所述处理系统被处理器执行时实现上述的基于大数据的航空数据分析方法的步骤。

与现有技术相比，通过本发明的基于大数据的航空数据分析方法、设备及存储介质，可以达到如下有益效果：

(1)本发明将航空公司过往数据进行大数据分析，得出的数据分析结果给航班调整提供了具体数据参考，航空公司根据该结果进行航班调整更加合理和精确，能够避免由于人为经验判断导致调整航的不精确问题；

(2)通过本发明对航空公司过往数据进行大数据分析结果进行航班调整，提高资源利用率，有利于提高航空公司收益；

(3)本发明构建航班系统模型，并采用K均值聚类算法对纷繁的航线进行分类，算法简单，聚类速度快；

(4)本发明对航空公司的航线过往原始数据进行有效数据提取、数据完善、剔除异常数据、数据缺失值处理等预处理，进一步提升了对航空公司过往数据进行大数据分析结果的可靠性、真实性；

(5)本发明还提出了对所述航班系统模型采用K均值聚类算法进行分三个类别，分别为第一类航线簇、第二类航线簇、第三类航线簇，航空公司过往数据进行大数据分析效果最佳，尽大可能的提高收益率，同时也要考虑到顾客体验度、战略布局等因素，更符合航班管理需求。

附图说明

此处所说明的附图用来提供对发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例的基于大数据的航空数据分析方法的流程示意图；

图2为本发明对航线过往原始数据进行预处理的流程示意图；

图3为本发明实施例2所述航班系统模型采用K均值聚类算法进行分三个类别的分析结果示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

实施例1

本发明的实施例1提供了一种基于大数据的航空数据分析方法，如附图1所示，包括如下步骤：

步骤S1，构建航班系统模型；

所述航班系统模型采用K均值聚类算法，所述K均值聚类算法如下：

1)从N个数据随机选取K个数据作为质心，其中N、K均为正整数，且N≥K；

2)对剩余的每个数据测量其到每个质心的距离，并把它归到最近的质心的类；

3)重新计算已经得到的各个类的质心；

4)迭代2～3步直至新的质心与原质心相等或小于指定阈值，K均值聚类算法结束；

步骤S2，获取航空公司的航线过往原始数据；所述航线过往原始数据包含以下一种或者多种：“passengerMeter”客公里、“seatMeter”座公里、“avincome”平均收入、“CAP”运力、“passengerNum”乘客数、“saleDiscount”折扣、“mileage”里程、“PLF”客座率、“seatLeft”、“flightDate”航班日期、“flightNum”航班号、“上座率”；

步骤S3，对航线过往原始数据进行预处理，如附图2所示，所述预处理包括：

步骤S3_1，从航线过往原始数据提取有效数据；

有效数据提取基于目前的分析目标，航线过往原始数据是对航班做多次数据收集得到的结果，其中存在大量的“非充分信息”，对得到的航线过往原始数据做二次提取，取‘receiveDate’处于结算点(该日期对应具体航班的最后一条收集数据)上的数据作为结算数据；

步骤S3_2，对有效数据进行数据完善；

对有效数据中代表航线的‘airline’字段，将其拆分为前后代表始发站/终点站的各多个字母，引入多个字码表，生成带有始发/终点机场和城市信息的数据序列，加入数据框。

步骤S4，将经过预处理后的航空公司的过往数据导入航班系统模型进行训练，得到航班K分类的结果。所述结果包括某个日期乘客最多、某个时间段乘客最多，某段路线、某款机型、某个舱位等详细数据。

根据到航班K分类的结果对航班调整。

所述预处理还包括步骤S3_3，：剔除异常数据；

所述剔除异常数据为将“seatLeft”字段为负的字段视为异常数据，从数据框中剔除seatLeft<0的数据。

经过初步的数据筛查，发现原数据中出现大量“seatLeft”字段为负的字段，经业务调研，该数据情况代表“提前订座”，但由于这种数据情况会导致运力指标无法计算，及客座率大于一，给现阶段的分析目标带来障碍，故将该数据情况视为异常，从数据框中剔除所有seatLeft<0的数据。

进一步的，所述预处理还包括步骤S3_4，数据缺失值处理；所述数据缺失值处理为将数据部分含有缺失值为NaN的字段替换为0。

若数据部分含有缺失值为NaN的字段替换为0时，将使基础指标无法计算，则直接删除该条数据。缺失值处理数据筛查发现了部分含有缺失值NaN的字段，对于其中不影响进一步基础指标计算的部分，将其替换为0，若其替换为0时将使基础指标无法计算(如0进入分母)，则直接删除该条记录。

根据权利要求1所述基于大数据的航空数据分析方法，其特征在于，

所述预处理还包括唯一性处理；所述唯一性处理为将日期+航班号作为一条数据的唯一ID。唯一性处理数据中的各项指标均不具备唯一性，经对数据的研究，日期+航班号(字段‘flightDate’+字段‘flightNum’)作为一条数据的唯一id。

在对有效数据进行数据完善步骤中，对有效数据中代表航线的‘airline’字段，将其拆分为前后代表始发站/终点站的各三个字母，引入三字码表。

本发明的用K均值聚类算法，也称K-Means聚类算法，第一步，在N个数据中选取K个中心数据，作为初始类中心，第二步，计算各个数据点和中心之间的欧式距离(空间点跟点之间的距离)，第三步，通过不断合并，形成K个类,第四步，在每个类别中，重新选取这每个类别中最中心的数据点作为新的类中心，重复以上二-四步骤，直到类中心不再发生变化。

实施例2

为了进一步保证数据运算的效率，在进入K均值聚类模型前，对数据做一些处理，处理的作用主要是降维本发明的基于大数据的航空数据分析方法将经过预处理后的航空公司的过往数据导入航班系统模型前，对预处理后的航空公司的过往数据进行PCA降维为二维变量。具体为，对数据按照航线groupby做聚类分析，各数据求均值，再做Z-Score归一化处理，以PCA(主成分分析)降维为二维变量，进入KMeans模型，经过模型算法，获得三种航班分类的结果。其中，本实施例的所述基于大数据的航空数据分析方法的步骤与实施例1相似，本实施例在此不再赘述。

所述航班系统模型采用K均值聚类算法进行分三个类别，分别为第一类航线簇、第二类航线簇、第三类航线簇；

所述第一类航线簇为“PLF”客座率最高；

所述第二类航线簇为“PLF”客座率小于所述第一类航线簇，“mileage”里程大于设定值、“saleDiscount”折扣最低；

所述第三类航线簇为“saleDiscount”折扣最高、“mileage”里程最低、“passengerMeter”客公里最低、“seatMeter”座公里最低、“CAP”运力最低、“avincome”平均收入最低、“PLF”客座率最低。

经多次实验，本发明实施例为分三类效果最佳实施例，可知航线将被分为三个各具特点的类别，航班被聚为三个“航班簇”，下图是对三个类别(label0,1,2，对应颜色蓝绿红)八个变量特点的还原展示。由于量纲不同，分析使用用归一化之后的数据，为了展示时避免负数，做了向上平移。

如附图3所示，可知，第一类(label＝0，蓝色)航线簇的特点是：绝大多数数据均属中等，乘客情况相对最高(乘客数几乎并列第二，客座率最高)，这类航线可称是“平均航班”，应该说支撑起了日常航空需求。

第二类(label＝1，绿色)航线簇的特点是，里程指标长、运力足、折扣最低、收益最高、客座率不如第一类。

第三类(label＝2，红色)航线簇的特点是，最高折扣，最短距离(里程最低、客公里座公里最低)、最低运力、最低上座率、收益最低，客座率也最低。冷门航线，且各项指标看似不是很“健康”。

下面举例进行说明，三个类别的代表性航班展示：

第一类(大众型、日常型)：广州——青岛、郑州——重庆、厦门——武汉、厦门——南京、厦门——北京等等。

第二类(平均里程长、各项指标平均较高)：广州——烟台、长春——厦门、海口——烟台、合肥——南京。

第三类(短途、高折扣、低上座率、低收益)：包头——青岛、广州——厦门、银川——济南、呼和浩特——天津、武夷ft——厦门。

实施例3

一种设备，所述设备包括存储器及与所述存储器连接的处理器，所述存储器中存储有可在所述处理器上运行的处理系统，所述处理系统被所述处理器执行基于大数据的航空数据分析方法的步骤。

其中，本实施例的所述基于大数据的航空数据分析方法的步骤与实施例1相同，本实施例在此不再赘述。

实施例4

一种可读存储介质，所述可读存储介质上存储有处理系统，所述处理系统被处理器执行时实现基于大数据的航空数据分析方法的步骤。

其中，本实施例的所述基于大数据的航空数据分析方法的步骤与实施例1相同，本实施例在此不再赘述。

以上各实施例仅用以说明本发明的技术方案，但应当理解本发明并非局限于上述实施例，通过本发明的启示，本领域技术人员结合公知或现有技术、知识所进行的修改，或者对其中部分或者全部技术特征进行等同替换也应视为在本发明的保护范围内。

Claims (10)

1.一种基于大数据的航空数据分析方法，其特征在于，包括如下步骤:

步骤一，构建航班系统模型；

所述航班系统模型采用K均值聚类算法，所述K均值聚类算法如下：

1)从N个数据随机选取K个数据作为质心，其中N、K均为正整数，且N≥K；

2)对剩余的每个数据测量其到每个质心的距离，并把它归到最近的质心的类；

3)重新计算已经得到的各个类的质心；

4)迭代2～3步直至新的质心与原质心相等或小于指定阈值，K均值聚类算法结束；

步骤二，获取航空公司的航线过往原始数据；所述航线过往原始数据包含以下一种或者多种：“passengerMeter”客公里、“seatMeter”座公里、“avincome”平均收入、“CAP”运力、“passengerNum”乘客数、“saleDiscount”折扣、“mileage”里程、“PLF”客座率、“seatLeft”、“flightDate”航班日期、“flightNum”航班号、“上座率”；

步骤三，对航线过往原始数据进行预处理，所述预处理包括：

1)从航线过往原始数据提取有效数据；

有效数据提取基于目前的分析目标，航线过往原始数据是对航班做多次数据收集得到的结果，其中存在大量的“非充分信息”，对得到的航线过往原始数据做二次提取，取‘receiveDate’处于结算点上的数据作为结算数据；

2)对有效数据进行数据完善；

对有效数据中代表航线的‘airline’字段，将其拆分为前后代表始发站/终点站的各多个字母，引入多个字码表，生成带有始发/终点机场和城市信息的数据序列，加入数据框。

步骤四，将经过预处理后的航空公司的过往数据导入航班系统模型进行训练，得到航班K分类的结果。

2.根据权利要求1所述基于大数据的航空数据分析方法，其特征在于，

根据到航班K分类的结果对航班调整。

3.根据权利要求1所述基于大数据的航空数据分析方法，其特征在于，

所述预处理还包括：剔除异常数据；

所述剔除异常数据为将“seatLeft”字段为负的字段视为异常数据，从数据框中剔除seatLeft<0的数据。

4.根据权利要求1所述基于大数据的航空数据分析方法，其特征在于，

所述预处理还包括数据缺失值处理；所述数据缺失值处理为将数据部分含有缺失值为NaN的字段替换为0；

若数据部分含有缺失值为NaN的字段替换为0时，将使基础指标无法计算，则直接删除该条数据。

5.据权利要求1所述基于大数据的航空数据分析方法，其特征在于，

所述预处理还包括唯一性处理；所述唯一性处理为将日期+航班号作为一条数据的唯一ID。

6.根据权利要求1所述基于大数据的航空数据分析方法，其特征在于，

在对有效数据进行数据完善步骤中，对有效数据中代表航线的‘airline’字段，将其拆分为前后代表始发站/终点站的各三个字母，引入三字码表。

7.根据权利要求1所述基于大数据的航空数据分析方法，其特征在于，

所述航班系统模型采用K均值聚类算法进行分三个类别，分别为第一类航线簇、第二类航线簇、第三类航线簇；

所述第一类航线簇为“PLF”客座率最高；

所述第二类航线簇为“PLF”客座率小于所述第一类航线簇，“mileage”里程大于设定值、“saleDiscount”折扣最低；

所述第三类航线簇为“saleDiscount”折扣最高、“mileage”里程最低、“passengerMeter”客公里最低、“seatMeter”座公里最低、“CAP”运力最低、“avincome”平均收入最低、“PLF”客座率最低。

8.根据权利要求1所述基于大数据的航空数据分析方法，其特征在于，

将经过预处理后的航空公司的过往数据导入航班系统模型前，对预处理后的航空公司的过往数据进行PCA降维为二维变量。

9.一种设备，其特征在于，

所述设备包括存储器及与所述存储器连接的处理器，所述存储器中存储有可在所述处理器上运行的处理系统，所述处理系统被所述处理器执行权利要求1至8中任一项所述的基于大数据的航空数据分析方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有处理系统，所述处理系统被处理器执行时实现如权利要求1至8中任一项所述的基于大数据的航空数据分析方法的步骤。