CN110335507A - 基于空管航迹大数据的航班运行态势规律分析方法 - Google Patents

基于空管航迹大数据的航班运行态势规律分析方法 Download PDF

Info

Publication number
CN110335507A
CN110335507A CN201910504703.0A CN201910504703A CN110335507A CN 110335507 A CN110335507 A CN 110335507A CN 201910504703 A CN201910504703 A CN 201910504703A CN 110335507 A CN110335507 A CN 110335507A
Authority
CN
China
Prior art keywords
data
track
flight
blank pipe
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910504703.0A
Other languages
English (en)
Other versions
CN110335507B (zh
Inventor
莫海健
严勇杰
丁辉
王斌
肖英超
殷逸冰
续龙飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 28 Research Institute
Original Assignee
CETC 28 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 28 Research Institute filed Critical CETC 28 Research Institute
Priority to CN201910504703.0A priority Critical patent/CN110335507B/zh
Publication of CN110335507A publication Critical patent/CN110335507A/zh
Application granted granted Critical
Publication of CN110335507B publication Critical patent/CN110335507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0043—Traffic management of multiple aircrafts from the ground

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于空管航迹大数据的航班运行态势规律分析方法。本属于空中交通管理数据处理分析以及其他数据分析领域；发明实现了如何基于空管航迹大数据完成航班运行态势规律分析的处理分析方法，创新地提出利用大数据手段通过空管航迹数据的采集及预处理手段完成数据准备。基于机器学习算法和分布式计算处理方式，基于改进的K均值聚类算法实现空管航迹数据的挖掘分析，为展开航班运行效能分析、航班轨迹预测的研究提供了理论与实践基础。

Description

基于空管航迹大数据的航班运行态势规律分析方法
技术领域
本发明属于空中交通管理数据处理分析以及其他数据分析领域，本发明是在空管数据处理分析中实现的一种基于空管航迹大数据的航班运行态势规律分析方法。
背景技术
目前随着航空运输领域的各类系统、设备的部署增加，软件规模的持续增长和功能提高，系统间交互日趋频繁，带来了信息增量急剧膨胀且数量庞大、种类众多、格式差异大、时效性强的各种数据；目前空管领域的系统/软件多数还运行于传统模式下，数据的使用及功能的实现基于原有单机架构；传统的数据存储、分析计算技术难以处理和分析超大量的空管领域系统数据尤其是海量的航迹数据；为了更好地实现海量数据的综合应用，突破现有功能性能的瓶颈，提高运行效能，提高业务的覆盖面和分析深层次需求，需要新的大数据相关技术与方法；航班运行态势规律分析作为重要的应用分析场景，是航班运行效能分析、航班轨迹预测的应用基础，如何利用大数据相关技术构建高效实用的态势规律分析方法是需要着重解决和研究的课题。
根据空管航迹数据特点，利用计算机，结合聚类等先进的数据处理算法实现航迹数据处理，是航班运行态势规律分析的研究重点；目前一些研究如下；
目标航迹聚类能够从海量的航迹数据中发现目标的潜在运动轨迹，是态势数据挖掘、行为意图分析的重要技术手段；提出一种能够对目标航迹数据进行聚类分析、发现目标潜在运动轨迹的算法，以航迹线段作为分析对象，根据垂直距离、平行距离和角度距离综合判断航迹线段之间的距离，将距离相近的线段聚为一类；实验结果表明，该算法能够从大量航迹数据中发现目标运动的轨迹特征。(陈勇.一种目标航迹数据聚类挖掘分析方法.[J]无线电工程,2015,45(3):22-24)。
一种基于空管历史数据挖掘的短时航迹预测方法。其首先对空管系统记录的航空器轨迹数据进行提取、归类处理，将同类航迹构成航迹群；其次通过消除航空器各航迹的冗余信息，提取得到可以表征航迹群信息的关键航迹点航迹群；然后对关键航迹点航迹群进行时空配准，之后再进行聚类分析，形成经验关键航迹点，进而形成经验航迹；最后基于经验航迹进行航空器的短时航迹预测，并利用航空器实际运行航迹对经验航迹进行更新。本发明以真实空管数据为数据源，通过实验说明本方法能够排除离群航迹对航迹预测的不良影响，依据已知航迹信息做出准确航迹预测，可应用到航路规划、空中交通管理和空域监视等方面，具有航迹预测准确度高，参数要求简单的优点(专利名称：基于空管历史数据挖掘的短时航迹预测方法；专利申请公布号CN105225541A；发明人：苏志刚等；申请人：中国民航大学)。。
总之，现有技术或方法侧重的是基于传统聚类分析方法实现小批量航迹点的处理和预测方法研究，而本专利基于海量航迹数据，利用大数据机器学习处理方法，针对任意航班飞行轨迹进行运行规律的分析。随着业务系统的增长和航班飞行的复杂化，空管历史航迹数据规模越来越呈现爆炸式增长；现有方法无法很好地解决海量航迹数据下的航班运行规律分析任务的计算和处理。
发明内容
本发明的目的在于提供一种可用于空中交通管理数据处理分析以及其他数据分析领域的基于空管航迹大数据的航班运行态势规律分析方法。阐述了数据采集、数据预处理、数据存储、数据挖掘分析、数据可视化整个数据分析处理流程。通过结合大数据分布式计算处理技术和机器学习算法实现了以航班对象的海量航迹数据处理和分析。通过航班运行态势规律分析为后期航班运行效能分析、航班轨迹预测的提供应用和实施基础。
本发明的技术方案是：基于空管航迹大数据的航班运行态势规律分析方法，包括以下步骤：
步骤1、分析空管的航迹数据源，确认航迹数据来自何种监视设备或系统生成，选取合适的航迹数据源，执行步骤2；
步骤2、根据数据源中航迹数据类型及特点，开发和部署具体航迹数据采集软件；采集软件通过数据源输出接口和数据格式的方式进行，确认程序能够采集的航迹数据包含关键信息；数据采集器以二进制报文或文本文件的方式进行输出；执行步骤3；
步骤3、根据采集时间及采集范围的采集策略方式，综合考虑网络传输状况及数据量，采取定时批量从存储系统中采集或实时对接信号源实时采集的方式，根据预定的存储需求，将采集到的原始数据存储到大数据存储中心，执行步骤4；
步骤4、利用大数据预处理手段对存储的数据进行数据清洗及数据转换进行加工处理，通过去除废弃数据、纠正错误数据及格式转换操作，对数据进行初步的处理和加工，确保数据正确性、完整性、一致性、价值性；对于类别不同的数据源数据，利用数据标注分类完成数据分类集成；执行步骤5；
步骤5、针对空管航迹数据，按照标准数据格式，构建统一规范的航迹数据存储模型，对于预处理后的航迹数据进行规范存储，形成以航班对象和时间戳为主键索引的航班对象数据主题仓库；执行步骤6；
步骤6、分析航班对象的海量航迹数据，根据趋势规律分析业务需求，进行数据抽象，基于成熟的机器学习算法或自定义模型算法，形成能够处理和满足航迹趋势分析的算法模型，构建模型算法的参数计算方法，生成到算法与模型库中；执行步骤7；
步骤7、根据算法模型，借助大数据分布式计算引擎，构建以航班对象的航迹趋势规律计算任务流，采取多机集群的分布式计算处理方法，实现运行态势规律分析，执行步骤8；
步骤8、将步骤7的计算分析结果进行持久化存储，形成报表及数据视图的方式，执行步骤9；
步骤9、利用大数据可视化技术将分析结果以图形、列表、文字、散点地图渲染的方式通过可视化手段进行前端展示和交互分析。
进一步的，步骤4中归纳出利用大数据手段进行空管航迹数据的预处理，包括航迹大数据的数据质量问题，航迹大数据的数据质量包括正确性、完整性、一致性及价值性，航迹大数据作为典型的时空序列数据，其数据处理包括以下步骤：
步骤4.1、分析步骤3存储的原始数据，编写航迹原始报文解析程序，根据报文头字节长度和报文体偏移值计算报文体开始读取位置，利用程序读入内存，按照报文格式解析并提取原始数据信息；
步骤4.2、判断航迹点数据中关键信息是否缺失或异常，如缺失或异常，则按照缺失异常字段对应修正规则执行修正补充，光滑噪声数据，数据处理成功则跳过步骤4.3，否则执行步骤4.3；
步骤4.3、对于无法修正或者无意义的数据，标记为废弃脏数据，丢弃错误数据实现数据清洗；
步骤4.4、分析需要转换和分类的数据字段，根据标准数据格式要求和转换分类规则，对特定字段实现格式、内容的转换和分类，具体包括以下步骤：
步骤4.4.1、分析提取的时间值字段是否为绝对时间，如果不是，需要计算为绝对时间；
步骤4.4.2、按照标准格式和统一单位，对各个数据字段进行数据规约，根据统一高度速度航向的数据进行计算单位和数据格式；
步骤4.4.3、按照分类规则，对于需要划分主题的数据进行按类别拆分，打上分类标签，完成空管航迹点数据标注相关工作；
步骤4.4.4、利用大数据分布式处理，将以上预处理手段通过分布式编程范式，提交给分布式计算引擎，通过并行计算任务实现海量航迹数据的预处理。
进一步的，步骤6中根据航班运行趋势规律分析需求，将现实对象进行计算机能够处理的数据抽象，基于机器学习算法或自定义模型，形成能够处理和满足空管航班航迹数据趋势分析的算法模型，构建模型算法的参数计算方法，其计算包含以下步骤：
步骤6.1、数据抽象，将以航班为对象的航迹大数据转化为包含多维度特征的向量；其特征指是以航迹数据的时间、空间、高度、速度及航向为航班对象的属性字段；
步骤6.2、研究符合航迹大数据趋势规律分析得的机器学习算法，航迹规律分析属于机器学习中的无监督学习，采用迭代K均值聚类分析的方式可以实现航迹点趋势的分析；
步骤6.3、聚类分析：确定不同的航班对象选取有效的超参数k的取值算法；每一个航班轨迹数据集对应的k取值按以下方式选择：
通过航班对象数据范围内平均运行采样点个数才指定初始k值，其中是该航班对象实际到达时间，是航班实际降落时间，Δt为航迹数据采集间隔。
进一步的，步骤7中根据算法模型，借助大数据分布式计算引擎，构建以航班对象的航迹趋势规律计算的并行任务，实现运行态势规律分析，利用分布式内存计算模型RDD，所述的RDD即弹性分布式数据集来抽象表示每个航班的航迹数据集，对航班航迹数据的实现进行计算处理；其计算处理的方法包含以下步骤：
步骤7.1、基于大数据分布式编程范式编写分布式计算程序；
步骤7.2、从数据仓库中将预处理后的数据读取到分布式内存引擎中，基于步骤6的聚类算法模型进行分布式迭代计算，其算法的具体步骤如下：
第一步、根据步骤6.3确定的k值，随机在该航班某一批次航迹数据中选取k个航迹点作为初始聚类质心点，
第二步、重复下面过程直到收敛。
对于每一个数据样例点i,计算其应该属于的类：
对于每一个类j，重新计算该类的质心：
步骤7.3、通过逐步减低目标代价函数的误差值，当目标代价函数收敛或者达到一定的精度要求时，作为机器学习的终止条件，得到最终航班对象的聚类结果；其中，
代价函数如下：
式中，μc(i)表示第i个聚类的均值；所述的代价函数利用迭代的方法，通过大数据的分布式内存计算技术非常适合海量分布式数据的迭代计算，从而计算出每个航班航迹点的规律分布结果。
本发明的有益效果是：本发明实现了如何基于空管航迹大数据完成航班运行态势规律分析的处理分析方法，创新地提出利用大数据手段通过空管航迹数据的采集及预处理手段完成数据准备。基于机器学习算法和分布式计算处理方式，基于改进的K均值聚类算法实现空管航迹数据的挖掘分析，为展开航班运行效能分析、航班轨迹预测的研究提供了理论与实践基础。
附图说明
图1空管航迹数据采集与预处理流程图；
图2空管航迹数据存储模型图；
图3空管航迹数据聚类算法的结构示意图；
图4空管航迹数据分布式处理流程图。
具体实施方式
本发明；基于空管航迹大数据的航班运行态势规律分析方法，包括以下步骤：
步骤1、分析空管的航迹数据源，确认航迹数据来自何种监视设备或系统生成，选取合适的航迹数据源，执行步骤2；
步骤2、根据数据源中航迹数据类型及特点，开发和部署具体航迹数据采集软件；采集软件通过数据源输出接口和数据格式的方式进行，确认程序能够采集的航迹数据包含关键信息；如航班号、时间戳、经度、纬度、高度、速度、航向等重要属性信息数据采集器，以二进制报文或文本文件的方式进行输出；执行步骤3；
步骤3、根据采集时间及采集范围的采集策略方式，综合考虑网络传输状况及数据量，采取定时批量从存储系统中采集或实时对接信号源实时采集的方式，根据预定的存储需求，将采集到的原始数据存储到大数据存储中心，执行步骤4；
步骤4、利用大数据预处理手段对存储的数据进行数据清洗及数据转换进行加工处理，通过去除废弃数据、纠正错误数据及格式转换操作，对数据进行初步的处理和加工，确保数据正确性、完整性、一致性、价值性；对于类别不同的数据源数据，利用数据标注分类完成数据分类集成；执行步骤5；
步骤5、针对空管航迹数据，按照标准数据格式，构建统一规范的航迹数据存储模型，对于预处理后的航迹数据进行规范存储，形成以航班对象和时间戳为主键索引的航班对象数据主题仓库；执行步骤6；
步骤6、分析航班对象的海量航迹数据，根据趋势规律分析业务需求，进行数据抽象，基于成熟的机器学习算法或自定义模型算法，形成能够处理和满足航迹趋势分析的算法模型，构建模型算法的参数计算方法，生成到算法与模型库中；执行步骤7；
步骤7、根据算法模型，借助大数据分布式计算引擎，构建以航班对象的航迹趋势规律计算任务流，采取多机集群的分布式计算处理方法，实现运行态势规律分析，执行步骤8；
步骤8、将步骤7的计算分析结果进行持久化存储，形成报表及数据视图的方式，执行步骤9；
步骤9、利用大数据可视化技术将分析结果以图形、列表、文字、散点地图渲染的方式通过可视化手段进行前端展示和交互分析。
进一步的，步骤4中归纳出利用大数据手段进行空管航迹数据的预处理，包括航迹大数据的数据质量问题，航迹大数据的数据质量包括正确性、完整性、一致性、价值性、时效性及可信性等方面，航迹大数据作为典型的时空序列数据，其数据处理包括以下步骤：
步骤4.1、分析步骤3存储的原始数据，编写航迹原始报文解析程序，根据报文头字节长度和报文体偏移值计算报文体开始读取位置，利用程序读入内存，按照报文格式解析并提取原始数据信息；
步骤4.2、判断航迹点数据中关键信息是否缺失或异常，如缺失或异常，则按照缺失异常字段对应修正规则执行修正补充，光滑噪声数据，数据处理成功则跳过步骤4.3，否则执行步骤4.3；
步骤4.3、对于无法修正或者无意义的数据，标记为废弃脏数据，丢弃错误数据实现数据清洗；
步骤4.4、分析需要转换和分类的数据字段，根据标准数据格式要求和转换分类规则，对特定字段实现格式、内容的转换和分类，具体包括以下步骤：
步骤4.4.1、分析提取的时间值字段是否为绝对时间，如果不是，需要计算为绝对时间；
步骤4.4.2、按照标准格式和统一单位，对各个数据字段进行数据规约，根据统一高度速度航向的数据进行计算单位和数据格式；
步骤4.4.3、按照分类规则，对于需要划分主题的数据进行按类别拆分，打上分类标签，完成空管航迹点数据标注相关工作；
步骤4.4.4、利用大数据分布式处理，将以上预处理手段通过分布式编程范式，提交给分布式计算引擎，通过并行计算任务实现海量航迹数据的预处理。
进一步的，步骤6中根据航班运行趋势规律分析需求，将现实对象进行计算机能够处理的数据抽象，基于机器学习算法或自定义模型，形成能够处理和满足空管航班航迹数据趋势分析的算法模型，构建模型算法的参数计算方法，其计算包含以下步骤：
步骤6.1、数据抽象，将以航班为对象的航迹大数据转化为包含多维度特征的向量；其特征指是以航迹数据的时间、空间、高度、速度及航向为航班对象的属性字段；
步骤6.2、研究符合航迹大数据趋势规律分析得的机器学习算法，航迹规律分析属于机器学习中的无监督学习，采用迭代K均值聚类分析的方式可以实现航迹点趋势的分析；
步骤6.3、聚类分析：确定不同的航班对象选取有效的超参数k的取值算法；每一个航班轨迹数据集对应的k取值按以下方式选择：
通过航班对象数据范围内平均运行采样点个数才指定初始k值，其中是该航班对象实际到达时间，是航班实际降落时间，Δt为航迹数据采集间隔。
进一步的，步骤7中根据算法模型，借助大数据分布式计算引擎，构建以航班对象的航迹趋势规律计算的并行任务，实现运行态势规律分析，利用分布式内存计算模型RDD，所述的RDD即弹性分布式数据集来抽象表示每个航班的航迹数据集，对航班航迹数据的实现进行计算处理；其计算处理的方法包含以下步骤：
步骤7.1、基于大数据分布式编程范式编写分布式计算程序；
步骤7.2、从数据仓库中将预处理后的数据读取到分布式内存引擎中，基于步骤6的聚类算法模型进行分布式迭代计算，其算法的具体步骤如下：
第一步、根据步骤6.3确定的k值，随机在该航班某一批次航迹数据中选取k个航迹点作为初始聚类质心点，
第二步、重复下面过程直到收敛。
对于每一个数据样例点i,计算其应该属于的类：
对于每一个类j，重新计算该类的质心：
步骤7.3、通过逐步减低目标代价函数的误差值，当目标代价函数收敛或者达到一定的精度要求时，作为机器学习的终止条件，得到最终航班对象的聚类结果；其中，
代价函数如下：
式中，μc(i)表示第i个聚类的均值；所述的代价函数利用迭代的方法，通过大数据的分布式内存计算技术非常适合海量分布式数据的迭代计算，从而计算出每个航班航迹点的规律分布结果。
如图1所示，是本发明采用的空管航迹数据采集及预处理流程；其中，空管的航班航迹数据源来自于多个区域，通过利用分布式数据采集手段获取实时最新的航级数据；数据采集包括实时数据采集和批量历史数据的接入，都是通过数据采集模块实现不同地区不同系统的航迹数据汇聚，每一个数据采集的末端部署数据预处理模块，数据预处理包括了数据的清洗、数据转换等处理手段，数据经过预处理，存储到分布式数据存储(如HDFS或者HBase)和后端的空管数据仓库。
如图2所示，是本发明设计的空管航迹大数据的数据存储模型，为后续规律分析和访问计算提供了标准数据格式；本发明主要以航班为对象的规律分析，为了查找访问效率设计航班号加上时间戳作为航迹数据存储的主键，航班对象的其他的属性，如经度、维度、速度、航向等则作为INFO列族的维度数据存储。
如图3所示，是本发明采用的航迹聚类分析算法；首先将待分析的海量航迹数据从数据仓库中获取，根据每个航班对象确定该次计算任务的聚类参数值k及初始的聚类中心；利用机器算法结合分布式并行迭代计算开始计算聚类中心与所有航迹点的距离，通过航迹相似度分析，进行航迹聚类簇的划分，通过迭代次数及目标代价函数计算判断是否到达终止条件，从而获得最后的聚类中心结果集。
如图4所示，是本发明利用大数据分布式计算引擎完成海量航迹数据的计算和分析，由于待分析的航班数据规模大、迭代计算复杂，必须引入新的计算方式来快速完成航迹规律的分析和计算；利用分布式计算框架和动态资源调度机制，将计算任务平均分配到大数据计算集群之上，充分利用多个数据节点和计算节点的存储资源和计算资源来完成航班运行态势规律的分析。
通过上述步骤，实现了一种基于空管航迹大数据的航班运行态势规律分析方法，可以为空中交通管理运行提供快速、准确、灵活的数据分析和计算手段。实现了空管大数据中心关于海量数据采集、预处理、存储和分析计算的规律分析方法。通过对航班运行态势规律的挖掘分析，从而为后续航班运行效能分析、航班轨迹预测提供全面的技术手段和研究基础。
本发明实现了如何基于空管航迹大数据完成航班运行态势规律分析的处理分析方法，创新地提出利用大数据手段通过空管航迹数据的采集及预处理手段完成数据准备。基于机器学习算法和分布式计算处理方式，基于改进的K均值聚类算法实现空管航迹数据的挖掘分析，为展开航班运行效能分析、航班轨迹预测的研究提供了理论与实践基础。

Claims (4)

1.基于空管航迹大数据的航班运行态势规律分析方法，其特征在于，包括以下步骤：
步骤1、分析空管的航迹数据源，确认航迹数据来自何种监视设备或系统生成，选取合适的航迹数据源，执行步骤2；
步骤2、根据数据源中航迹数据类型及特点，开发和部署具体航迹数据采集软件；采集软件通过数据源输出接口和数据格式的方式进行，确认程序能够采集的航迹数据包含关键信息；数据采集器以二进制报文或文本文件的方式进行输出；执行步骤3；
步骤3、根据采集时间及采集范围的采集策略方式，综合考虑网络传输状况及数据量，采取定时批量从存储系统中采集或实时对接信号源实时采集的方式，根据预定的存储需求，将采集到的原始数据存储到大数据存储中心，执行步骤4；
步骤4、利用大数据预处理手段对存储的数据进行数据清洗及数据转换进行加工处理，通过去除废弃数据、纠正错误数据及格式转换操作，对数据进行初步的处理和加工，确保数据正确性、完整性、一致性、价值性；对于类别不同的数据源数据，利用数据标注分类完成数据分类集成；执行步骤5；
步骤5、针对空管航迹数据，按照标准数据格式，构建统一规范的航迹数据存储模型，对于预处理后的航迹数据进行规范存储，形成以航班对象和时间戳为主键索引的航班对象数据主题仓库；执行步骤6；
步骤6、分析航班对象的海量航迹数据，根据趋势规律分析业务需求，进行数据抽象，基于成熟的机器学习算法或自定义模型算法，形成能够处理和满足航迹趋势分析的算法模型，构建模型算法的参数计算方法，生成到算法与模型库中；执行步骤7；
步骤7、根据算法模型，借助大数据分布式计算引擎，构建以航班对象的航迹趋势规律计算任务流，采取多机集群的分布式计算处理方法，实现运行态势规律分析，执行步骤8；
步骤8、将步骤7的计算分析结果进行持久化存储，形成报表及数据视图的方式，执行步骤9；
步骤9、利用大数据可视化技术将分析结果以图形、列表、文字、散点地图渲染的方式通过可视化手段进行前端展示和交互分析。
2.根据权利要求1所述的基于空管航迹大数据的航班运行态势规律分析方法，其特征在于，步骤4中归纳出利用大数据手段进行空管航迹数据的预处理，包括航迹大数据的数据质量问题，航迹大数据的数据质量包括正确性、完整性、一致性及价值性，航迹大数据作为典型的时空序列数据，其数据处理包括以下步骤：
步骤4.1、分析步骤3存储的原始数据，编写航迹原始报文解析程序，根据报文头字节长度和报文体偏移值计算报文体开始读取位置，利用程序读入内存，按照报文格式解析并提取原始数据信息；
步骤4.2、判断航迹点数据中关键信息是否缺失或异常，如缺失或异常，则按照缺失异常字段对应修正规则执行修正补充，光滑噪声数据，数据处理成功则跳过步骤4.3，否则执行步骤4.3；
步骤4.3、对于无法修正或者无意义的数据，标记为废弃脏数据，丢弃错误数据实现数据清洗；
步骤4.4、分析需要转换和分类的数据字段，根据标准数据格式要求和转换分类规则，对特定字段实现格式、内容的转换和分类，具体包括以下步骤：
步骤4.4.1、分析提取的时间值字段是否为绝对时间，如果不是，需要计算为绝对时间；
步骤4.4.2、按照标准格式和统一单位，对各个数据字段进行数据规约，根据统一高度速度航向的数据进行计算单位和数据格式；
步骤4.4.3、按照分类规则，对于需要划分主题的数据进行按类别拆分，打上分类标签，完成空管航迹点数据标注相关工作；
步骤4.4.4、利用大数据分布式处理，将以上预处理手段通过分布式编程范式，提交给分布式计算引擎，通过并行计算任务实现海量航迹数据的预处理。
3.根据权利要求1所述的基于空管航迹大数据的航班运行态势规律分析方法，其特征在于，步骤6中根据航班运行趋势规律分析需求，将现实对象进行计算机能够处理的数据抽象，基于机器学习算法或自定义模型，形成能够处理和满足空管航班航迹数据趋势分析的算法模型，构建模型算法的参数计算方法，其计算包含以下步骤：
步骤6.1、数据抽象，将以航班为对象的航迹大数据转化为包含多维度特征的向量；其特征指是以航迹数据的时间、空间、高度、速度及航向为航班对象的属性字段；
步骤6.2、研究符合航迹大数据趋势规律分析得的机器学习算法，航迹规律分析属于机器学习中的无监督学习，采用迭代K均值聚类分析的方式可以实现航迹点趋势的分析；
步骤6.3、聚类分析：确定不同的航班对象选取有效的超参数k的取值算法；每一个航班轨迹数据集对应的k取值按以下方式选择：
通过航班对象数据范围内平均运行采样点个数才指定初始k值，其中是该航班对象实际到达时间，是航班实际降落时间，Δt为航迹数据采集间隔。
4.根据权利要求1所述的基于空管航迹大数据的航班运行态势规律分析方法，其特征在于，步骤7中根据算法模型，借助大数据分布式计算引擎，构建以航班对象的航迹趋势规律计算的并行任务，实现运行态势规律分析，利用分布式内存计算模型RDD，所述的RDD即弹性分布式数据集来抽象表示每个航班的航迹数据集，对航班航迹数据的实现进行计算处理；其计算处理的方法包含以下步骤：
步骤7.1、基于大数据分布式编程范式编写分布式计算程序；
步骤7.2、从数据仓库中将预处理后的数据读取到分布式内存引擎中，基于步骤6的聚类算法模型进行分布式迭代计算，其算法的具体步骤如下：
第一步、根据步骤6.3确定的k值，随机在该航班某一批次航迹数据中选取k个航迹点作为初始聚类质心点，
第二步、重复下面过程直到收敛。
对于每一个数据样例点i,计算其应该属于的类：
对于每一个类j，重新计算该类的质心：
步骤7.3、通过逐步减低目标代价函数的误差值，当目标代价函数收敛或者达到一定的精度要求时，作为机器学习的终止条件，得到最终航班对象的聚类结果；其中，
代价函数如下：
式中，μc (i)表示第i个聚类的均值；所述的代价函数利用迭代的方法，通过大数据的分布式内存计算技术非常适合海量分布式数据的迭代计算，从而计算出每个航班航迹点的规律分布结果。
CN201910504703.0A 2019-06-12 2019-06-12 基于空管航迹大数据的航班运行态势规律分析方法 Active CN110335507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910504703.0A CN110335507B (zh) 2019-06-12 2019-06-12 基于空管航迹大数据的航班运行态势规律分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910504703.0A CN110335507B (zh) 2019-06-12 2019-06-12 基于空管航迹大数据的航班运行态势规律分析方法

Publications (2)

Publication Number Publication Date
CN110335507A true CN110335507A (zh) 2019-10-15
CN110335507B CN110335507B (zh) 2021-01-26

Family

ID=68141144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910504703.0A Active CN110335507B (zh) 2019-06-12 2019-06-12 基于空管航迹大数据的航班运行态势规律分析方法

Country Status (1)

Country Link
CN (1) CN110335507B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807954A (zh) * 2019-11-12 2020-02-18 上海眼控科技股份有限公司 异常航迹点的识别方法和设备
CN111180011A (zh) * 2019-12-31 2020-05-19 上海依智医疗技术有限公司 一种病灶基因突变的检测方法及装置
CN111785091A (zh) * 2020-06-11 2020-10-16 青岛民航空管实业发展有限公司 空中交通管制管制员与航班行为融合构建装置及系统
CN112347090A (zh) * 2020-10-30 2021-02-09 民航数据通信有限责任公司 Rvsm运行偏差事件分析获取方法及系统
CN112965777A (zh) * 2021-03-11 2021-06-15 北京鲸世科技有限公司 空管数据的处理方法及装置、系统
CN113157800A (zh) * 2021-03-31 2021-07-23 西南电子技术研究所（中国电子科技集团公司第十研究所） 实时发现空中动态目标识别方法
CN113239039A (zh) * 2021-05-11 2021-08-10 北京理工新源信息科技有限公司 动态数据的存储方法、查询方法、管理方法及管理系统
CN113284369A (zh) * 2021-05-14 2021-08-20 中国民航大学 一种基于ads-b实测航路数据的预测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496313A (zh) * 2011-12-31 2012-06-13 南京莱斯信息技术股份有限公司 监视数据对飞行器计划预测轨迹的修正方法
CN103456192A (zh) * 2013-09-01 2013-12-18 中国民航大学 一种基于轨迹谱聚类的终端区盛行交通流识别方法
CN105225541A (zh) * 2015-10-29 2016-01-06 中国民航大学 基于空管历史数据挖掘的短时航迹预测方法
CN105677917A (zh) * 2016-03-03 2016-06-15 威海众成信息科技股份有限公司 面向航空发动机性能监控的海量数据管理方法及系统
US20160293021A1 (en) * 2015-06-15 2016-10-06 WxOps, Inc. Prediction and warning of transported turbulence in long-haul aircraft operations
CN106971432A (zh) * 2017-04-11 2017-07-21 中国人民解放军海军航空工程学院青岛校区 一种飞机数据管理记录系统及数据表示方法
CN109446275A (zh) * 2018-09-03 2019-03-08 厦门快商通信息技术有限公司 一种基于大数据的航空数据分析方法、设备及存储介质
CN109542876A (zh) * 2018-11-20 2019-03-29 南京莱斯信息技术股份有限公司 基于Hadoop数据挖掘航空器经验轨迹模型关键因子的提取方法
CN109615937A (zh) * 2019-01-18 2019-04-12 南京航空航天大学 航段运行时间优化计算装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496313A (zh) * 2011-12-31 2012-06-13 南京莱斯信息技术股份有限公司 监视数据对飞行器计划预测轨迹的修正方法
CN103456192A (zh) * 2013-09-01 2013-12-18 中国民航大学 一种基于轨迹谱聚类的终端区盛行交通流识别方法
US20160293021A1 (en) * 2015-06-15 2016-10-06 WxOps, Inc. Prediction and warning of transported turbulence in long-haul aircraft operations
CN105225541A (zh) * 2015-10-29 2016-01-06 中国民航大学 基于空管历史数据挖掘的短时航迹预测方法
CN105677917A (zh) * 2016-03-03 2016-06-15 威海众成信息科技股份有限公司 面向航空发动机性能监控的海量数据管理方法及系统
CN106971432A (zh) * 2017-04-11 2017-07-21 中国人民解放军海军航空工程学院青岛校区 一种飞机数据管理记录系统及数据表示方法
CN109446275A (zh) * 2018-09-03 2019-03-08 厦门快商通信息技术有限公司 一种基于大数据的航空数据分析方法、设备及存储介质
CN109542876A (zh) * 2018-11-20 2019-03-29 南京莱斯信息技术股份有限公司 基于Hadoop数据挖掘航空器经验轨迹模型关键因子的提取方法
CN109615937A (zh) * 2019-01-18 2019-04-12 南京航空航天大学 航段运行时间优化计算装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
TAPAN SHARMA 等: "Multiple K Means++ Clustering of Satellite Image Using Hadoop MapReduce and Spark", 《IJASCSE》 *
付婷婷 等: "基于大数据的预警情报分析系统研究", 《空军预警学院学报》 *
梁复台 等: "空中目标活动规律挖掘分析方法研究", 《飞航导弹》 *
王凯 等: "基于机器学习的航班四维轨迹预测", 《电子技术与软件工程》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807954A (zh) * 2019-11-12 2020-02-18 上海眼控科技股份有限公司 异常航迹点的识别方法和设备
CN111180011A (zh) * 2019-12-31 2020-05-19 上海依智医疗技术有限公司 一种病灶基因突变的检测方法及装置
CN111785091A (zh) * 2020-06-11 2020-10-16 青岛民航空管实业发展有限公司 空中交通管制管制员与航班行为融合构建装置及系统
CN112347090A (zh) * 2020-10-30 2021-02-09 民航数据通信有限责任公司 Rvsm运行偏差事件分析获取方法及系统
CN112965777A (zh) * 2021-03-11 2021-06-15 北京鲸世科技有限公司 空管数据的处理方法及装置、系统
CN113157800A (zh) * 2021-03-31 2021-07-23 西南电子技术研究所（中国电子科技集团公司第十研究所） 实时发现空中动态目标识别方法
CN113157800B (zh) * 2021-03-31 2023-03-28 西南电子技术研究所（中国电子科技集团公司第十研究所） 实时发现空中动态目标识别方法
CN113239039A (zh) * 2021-05-11 2021-08-10 北京理工新源信息科技有限公司 动态数据的存储方法、查询方法、管理方法及管理系统
CN113239039B (zh) * 2021-05-11 2023-11-14 北京理工新源信息科技有限公司 动态数据的存储方法、查询方法、管理方法及管理系统
CN113284369A (zh) * 2021-05-14 2021-08-20 中国民航大学 一种基于ads-b实测航路数据的预测方法
CN113284369B (zh) * 2021-05-14 2022-07-01 中国民航大学 一种基于ads-b实测航路数据的预测方法

Also Published As

Publication number Publication date
CN110335507B (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
CN110335507A (zh) 基于空管航迹大数据的航班运行态势规律分析方法
CN108417033B (zh) 基于多维因素的高速路交通事故分析预测方法
CN108985380B (zh) 一种基于聚类集成的转辙机故障识别方法
CN107832778B (zh) 一种基于空间综合相似度的相同目标识别方法
CN113157800B (zh) 实时发现空中动态目标识别方法
CN110532340B (zh) 空间信息时空元数据构建方法
CN111178587A (zh) 一种基于spark框架的短期电力负荷快速预测方法
CN109033178B (zh) 一种挖掘能见度多维时空数据之间格兰杰因果关系的方法
CN106951455A (zh) 一种相似轨迹分析系统及其分析方法
CN111784022A (zh) 一种基于Wrapper方法与SVM方法结合的短时邻近大雾预测方法
CN114997344B (zh) 一种基于城市大脑的多源数据规划方法及系统
CN112749266A (zh) 一种工业问答方法、装置、系统、设备及存储介质
CN113688558A (zh) 一种基于大数据库样本的汽车行驶工况构建方法及系统
CN114925238A (zh) 一种基于联邦学习的视频片段检索方法及系统
CN114328663A (zh) 一种基于数据挖掘的高维剧场数据降维可视化处理方法
CN115546735A (zh) 一种冷却塔结冰检测识别系统、方法和存储介质
CN115048873A (zh) 一种用于飞机发动机的剩余使用寿命预测系统
CN114969325A (zh) 一种多要素城市地质大数据存储管理和挖掘分析系统
CN108874974A (zh) 基于频繁词集的并行化话题跟踪方法
CN111460160B (zh) 一种基于强化学习的流式文本数据的事件聚类方法
CN113313213A (zh) 一种加速目标检测算法训练的数据集处理方法
Mao et al. Research on track clustering algorithm based on historical radar data
Jingbo Big Data Classification Model and Algorithm Based on Double Quantum Particle Swarm Optimization
CN117891961B (zh) 基于地图产品聚合的数据级联共享方法及系统
Ni et al. Fusion learning model for mobile face safe detection and facial gesture analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant