CN108052616A - 基于远程嵌入式数据采集的航空大数据智能分析方法 - Google Patents

基于远程嵌入式数据采集的航空大数据智能分析方法 Download PDF

Info

Publication number
CN108052616A
CN108052616A CN201711344776.5A CN201711344776A CN108052616A CN 108052616 A CN108052616 A CN 108052616A CN 201711344776 A CN201711344776 A CN 201711344776A CN 108052616 A CN108052616 A CN 108052616A
Authority
CN
China
Prior art keywords
data
big data
hdfs
aviation
big
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711344776.5A
Other languages
English (en)
Inventor
杨龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Hanke Computer Info-Tech Co Ltd
Original Assignee
Sichuan Hanke Computer Info-Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Hanke Computer Info-Tech Co Ltd filed Critical Sichuan Hanke Computer Info-Tech Co Ltd
Priority to CN201711344776.5A priority Critical patent/CN108052616A/zh
Publication of CN108052616A publication Critical patent/CN108052616A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • G06F16/156Query results presentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/172Caching, prefetching or hoarding of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40Business processes related to the transportation industry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及基于远程嵌入式数据采集的航空大数据智能分析方法,利用航空大数据分析监控飞机健康状况以及开展故障诊断。一方面实现机上视频、音频、及告警系统、飞参系统等多种监视手段的综合化,让系统记录和存储更多的飞行数据;另一方面将航空大数据应用软件嵌入在机载计算机系统中,以实现对飞机的实时监控,同时根据最新的研究成果对应用软件进行不断的升级,系统存储的数据也可以在地面结合历史数据进行趋势分析,还可以在教学、科研工作中进行再次利用。

Description

基于远程嵌入式数据采集的航空大数据智能分析方法
技术领域
本发明涉及航空数据分析领域,具体涉及一种基于远程嵌入式数据采集的航空大数据智能分析方法。
背景技术
随着技术的进步和时代的更替,越来越多的人选择以飞机作为出行的交通工具,飞机航线也日益增多,伴随而来的飞行事故也更多。这些飞行事故给人们带来了巨大的伤痛,目前对于飞行事故的分析技术还较为落后,只能根据飞行数据记录仪来推算。
飞行数据记录仪,就是常说的黑匣子。飞机黑匣子到底是什么东西呢。实际上,"黑匣子"是俗名,它的真名很普通:飞行数据记录仪。它是一种将飞机飞行的情况储存下来的仪器,当以后需要了解飞行情况时,可以通过重放设备把它们放出来。在一个匣子里,装上磁记录设备,它可以实时地把飞行员说的话,飞行员机外通讯及飞行数据记录下来。一般在飞机出事前30分钟的各种信息,它都可以保留下来。这样,就为事后分析故障提供了方便。最早利用黑匣子的是军用飞机。1908年,美国发生了第一起军用飞机事故。以后,随着飞行事故增加,迫切需要有一种研究事故原因的仪器。二战时,飞行记录仪正式在军用飞机上使用。战后,开始用到民航飞机上。早期的记录方式比较落后,用的是机械记录的方法,记录在照相纸上。磁记录方式发明后,才变得方便可靠了。
现有技术的缺点在于:黑匣子一般用于飞行事故发生以后的数据分析,因此,目前急需提出一种新的方式来解决飞行事故中遇到的问题,通过提前分析飞行数据减少事故的发生。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于远程嵌入式数据采集的航空大数据智能分析方法,利用航空大数据分析监控飞机健康状况以及开展故障诊断。一方面实现机上视频、音频、及告警系统、飞参系统等多种监视手段的综合化,让系统记录和存储更多的飞行数据;另一方面将航空大数据应用软件嵌入在机载计算机系统中,以实现对飞机的实时监控,同时根据最新的研究成果对应用软件进行不断的升级,系统存储的数据也可以在地面结合历史数据进行趋势分析,还可以在教学、科研工作中进行再次利用。
本发明的目的是通过以下技术方案来实现的:
基于远程嵌入式数据采集的航空大数据智能分析方法,包括以下步骤:
嵌入式远程数据采集:包括现场数据采集模块、数据传输网络以及用于集中处理数据的服务器,现场数据采集模块的功能包括检测数据、前端处理、模数转换、通信传输等模块;数据的传输可以通过有线网络或无线网络;数据处理服务器主要是接受从现场传回的各种数据,并自动将数据上传到HDFS;
大数据预处理:当程序检测到有新的数据文件到达HDFS后,将自动启动数据预处理程序,预处理程序基于MapReduce技术实现大规模数据处理的并行计算模型和方法,按不同的数据文件类型分别并行进行不同的并行处理,按数据包格式和通道标识进行拆分,将大的数据文件拆分成多个按通道合并的数据文件并保存到与源数据不同的HDFS目录中;
大数据存储:系统的原始数据是超大规模的二进制文件,存储采用Hadoop分布式文件系统HDFS,HDFS是一个高度容错性的系统,可以部署在廉价的机器上;
大数据分析:前端提供数据分析模型设计器并将判读逻辑转化为JSON格式,后端自动解析用户提交的批处理判读逻辑,分析出其中包含的逻辑信息及其相关的ICD和信号信息,通过java动态编译技术将逻辑转换为可执行的目标代码,通过内存大数据引擎Spark从HDFS预处理目标数据处提取该处理批次所有相关的信号数据集并缓存在内存中,通过多次弹性分布式数据集RDD变换和行动操作可以实现信号数据的,并可以将Hadoop集群中的应用在内存中的运行速度提升100倍;
大数据展示:分析结果采用HighCharts组件在前端以图表方式展示飞机状态、模式、告警,可以大量数据集中显示,并且可以放大某一部分的图形,将图表的精度增大,进行详细的显示,可以选择横向或者纵向放大,也可以通过phantomjs在后端将图表生成为图片并使用jacob调用Windows的com对象,将图片插入预定义的word模板并生成报告。
优选的,所述统计汇总如极值、最大差值、时间范围、值域、曲线斜率、公式转换、采样。
本发明的有益效果是:
a)通过研究、总结飞参数据的判读模式,提出了自动判读模型的可视化定义,把整个飞行阶段分阶段、分系统进行判读,并对重要设备进行重点分析。
b)使用多种判读方法,如曲线模式、报表模式、极值模式、数据模式等,实现了支持数据判读全过程的、支持开放式数据服务的航空大数据自动智能分析系统。
c)数据处理平台基于大数据架构,具备分布式并行计算能力,支持内存迭代计算,计算精度高,处理速度快,提高了航空大数据处理的实时性、数据精确性和可靠性。
d)以组态技术为基础,构建了插件式的灵活系统框架,大幅提升了整个软件系统的可升级性、可维护性、可扩展性、可移植性。
e)通过建立判读规则库、判读结论数据库以及执行引擎,完成判读约束和判读逻辑的自动判读,并将判读结论发送给测试监视终端,实现飞参数据的自动判读和显示,能够大大提高数据判读工作效率。
f)将判读结论推送给判读结论数据库进行存储,能够对飞参数据的历史判读结论进行分析并形成报表,增强了飞参数据的可分析性。
具体实施方式
下面结合具体实施例进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。
基于远程嵌入式数据采集的航空大数据智能分析方法,其具体实现如下:
a)嵌入式远程数据采集:包括现场数据采集模块、数据传输网络以及用于集中处理数据的服务器。现场数据采集模块的功能包括检测数据、前端处理、模数转换、通信传输等模块;数据的传输可以通过有线网络或无线网络;数据处理服务器主要是接受从现场传回的各种数据,并自动将数据上传到HDFS。
b)大数据预处理:当程序检测到有新的数据文件到达HDFS后,将自动启动数据预处理程序。预处理程序基于MapReduce技术实现大规模数据处理的并行计算模型和方法,按不同的数据文件类型分别并行进行不同的并行处理,按数据包格式和通道标识进行拆分,将大的数据文件拆分成多个按通道合并的数据文件并保存到与源数据不同的HDFS目录中。
c)大数据存储:系统的原始数据是超大规模的二进制文件,存储采用Hadoop分布式文件系统(HDFS),HDFS是一个高度容错性的系统,可以部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。
d)大数据分析:前端提供数据分析模型设计器并将判读逻辑转化为JSON格式,后端自动解析用户提交的批处理判读逻辑,分析出其中包含的逻辑信息及其相关的ICD和信号信息,通过java动态编译技术将逻辑转换为可执行的目标代码,通过Spark(内存大数据引擎)从HDFS预处理目标数据处提取该处理批次所有相关的信号数据集并缓存在内存中,通过多次弹性分布式数据集RDD变换(Transformation) 和行动(Action)操作可以实现信号数据的统计汇总,如极值、最大差值、时间范围、值域、曲线斜率、公式转换、采样等,并可以将Hadoop集群中的应用在内存中的运行速度提升100倍。
e)大数据展示:分析结果采用HighCharts组件在前端以图表方式展示飞机状态、模式、告警等,可以大量数据集中显示,并且可以放大某一部分的图形,将图表的精度增大,进行详细的显示,可以选择横向或者纵向放大,也可以通过phantomjs在后端将图表生成为图片并使用jacob调用Windows的com对象,将图片插入预定义的word模板并生成报告。
利用航空大数据分析监控飞机健康状况以及开展故障诊断。一方面实现机上视频、音频、及告警系统、飞参系统等多种监视手段的综合化,让系统记录和存储更多的飞行数据;另一方面将航空大数据应用软件嵌入在机载计算机系统中,以实现对飞机的实时监控,同时根据最新的研究成果对应用软件进行不断的升级,系统存储的数据也可以在地面结合历史数据进行趋势分析,还可以在教学、科研工作中进行再次利用。
技术指标:
a)利用航空大数据测试验证飞机的设计性能,为飞机的结构强度、可靠性测试提供科学依据。
b)利用航空大数据调查失事飞机的事故原因,可以给调查人员提供证据,有关专家便根据其中的科学数据进行分析研究,准确判断事故原因,进而排除类似的飞行隐患。
c)利用航空大数据评估飞行考核,利用飞参数据中飞机的航向、姿态以及飞行员对飞机的操纵等信息,通过智能方法对飞行动作进行分析,从而对飞行员的操作水平进行评估。
d)利用航空大数据对飞机进行维护和监控,把各类数据以曲线、报表等形式显示出来,并对异常数据进行初步的判别并进行通报,提醒地勤人员对相关的部件进行重点检查。
e)利用航空大数据实现三维动态仿真,在电脑上生动地模拟和再现飞机在整个飞行过程中的飞行动作和飞行航迹。
技术线路:
系统采用B/S架构,便于知识和信息的共享,杜绝信息孤岛,支持多用户并发使用。
Web端主体框架采用MVC的设计模式,通过视图,控制器,模型的分离减少了代码的耦合度,能构造良好的少互扰性的构件。系统后端框架基于SpringMVC,Hibernate,前端框架基于Ext JS。
大数据端采用Hadoop框架,HDFS作为底层的分布式存储,对大数据的处理主要通过Hadoop原生的MapReduce或Spark的内存运算。
项目的研发严格按照相关国家软件工程标准以及GJB5000A过程管理体系执行,采用先突破整个项目过程中的关键问题及核心技术,然后在此基础上构建整个系统的原型。经过原型验证后,在原型的基础上完善系统设计,设计完成后将整个大系统划分为若干子系统进行研发,最后进行系统集成。
具体实施方案如下:
a)首先针对产品需求,构建系统研发方案;
b)论证研发方案所涉及的关键及核心技术的可行性与可靠性;
c)关键技术突破;
d)构建项目原型关键技术进行验证;
e)原型验证成功,完善系统设计方案;
f)各分系统研发及测试;
g)系统集成及测试。
以上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。

Claims (2)

1.基于远程嵌入式数据采集的航空大数据智能分析方法,其特征在于包括以下步骤:
嵌入式远程数据采集:包括检测数据、前端处理、模数转换、通信传输等模块;数据的传输可以通过有线网络或无线网络;数据处理服务器主要是接受从现场传回的各种数据,并自动将数据上传到HDFS;
大数据预处理:当程序检测到有新的数据文件到达HDFS后,将自动启动数据预处理程序,预处理程序基于MapReduce技术实现大规模数据处理的并行计算模型和方法,按不同的数据文件类型分别并行进行不同的并行处理,按数据包格式和通道标识进行拆分,将大的数据文件拆分成多个按通道合并的数据文件并保存到与源数据不同的HDFS目录中;
大数据存储:系统的原始数据是超大规模的二进制文件,存储采用Hadoop分布式文件系统HDFS,HDFS是一个高度容错性的系统,可以部署在廉价的机器上;
大数据分析:前端将判读逻辑转化为JSON格式,后端自动解析用户提交的批处理判读逻辑,分析出其中包含的逻辑信息及其相关的ICD和信号信息,通过java动态编译技术将逻辑转换为可执行的目标代码,通过内存大数据引擎Spark从HDFS预处理目标数据处提取该处理批次所有相关的信号数据集并缓存在内存中,通过多次弹性分布式数据集RDD变换和行动操作可以实现信号数据的,并可以将Hadoop集群中的应用在内存中的运行速度提升100倍;
大数据展示:分析结果采用HighCharts组件在前端以图表方式展示飞机状态、模式、告警,可以大量数据集中显示,并且可以放大某一部分的图形,将图表的精度增大,进行详细的显示,可以选择横向或者纵向放大,也可以通过phantomjs在后端将图表生成为图片并使用jacob调用Windows的com对象,将图片插入预定义的word模板并生成报告。
2.根据权利要求1所述的基于远程嵌入式数据采集的航空大数据智能分析方法,其特征在于,所述统计汇总如极值、最大差值、时间范围、值域、曲线斜率、公式转换、采样。
CN201711344776.5A 2017-12-15 2017-12-15 基于远程嵌入式数据采集的航空大数据智能分析方法 Pending CN108052616A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711344776.5A CN108052616A (zh) 2017-12-15 2017-12-15 基于远程嵌入式数据采集的航空大数据智能分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711344776.5A CN108052616A (zh) 2017-12-15 2017-12-15 基于远程嵌入式数据采集的航空大数据智能分析方法

Publications (1)

Publication Number Publication Date
CN108052616A true CN108052616A (zh) 2018-05-18

Family

ID=62133012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711344776.5A Pending CN108052616A (zh) 2017-12-15 2017-12-15 基于远程嵌入式数据采集的航空大数据智能分析方法

Country Status (1)

Country Link
CN (1) CN108052616A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783480A (zh) * 2018-12-19 2019-05-21 深圳供电局有限公司 一种调度年报生成的方法及系统、电子设备、介质
CN109918709A (zh) * 2019-01-21 2019-06-21 中国南方航空股份有限公司 一种起飞性能分析方法、电子设备及存储介质
CN109934956A (zh) * 2019-03-13 2019-06-25 北京五维星宇科技有限公司 一种飞参数据判读方法、系统、设备及介质
CN110109896A (zh) * 2019-04-13 2019-08-09 成都飞机工业(集团)有限责任公司 Uav飞行参数智能还原方法
CN112732687A (zh) * 2020-12-29 2021-04-30 中国民用航空飞行学院 基于数据清洗的航空飞行数据可视化处理系统及分析方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016060364A1 (ko) * 2014-10-16 2016-04-21 (주)이투오피에스 동적시스템에 적용할 수 있는 휴먼요인의 트리비트리거 데이터를 이용한 빅데이터 구축 방법과 빅데이터의 활용방법
CN107229695A (zh) * 2017-05-23 2017-10-03 深圳大学 多平台航空电子大数据系统及方法
CN107273867A (zh) * 2017-06-27 2017-10-20 航天星图科技(北京)有限公司 空天遥感数据处理一体机
CN112085869A (zh) * 2020-09-18 2020-12-15 陕西千山航空电子有限责任公司 一种基于飞参数据的民机飞行安全性分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016060364A1 (ko) * 2014-10-16 2016-04-21 (주)이투오피에스 동적시스템에 적용할 수 있는 휴먼요인의 트리비트리거 데이터를 이용한 빅데이터 구축 방법과 빅데이터의 활용방법
CN107229695A (zh) * 2017-05-23 2017-10-03 深圳大学 多平台航空电子大数据系统及方法
CN107273867A (zh) * 2017-06-27 2017-10-20 航天星图科技(北京)有限公司 空天遥感数据处理一体机
CN112085869A (zh) * 2020-09-18 2020-12-15 陕西千山航空电子有限责任公司 一种基于飞参数据的民机飞行安全性分析方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘丰恺 等: "航空大数据技术的发展与应用", 《电讯技术》 *
钟伟: "大数据驱动的飞行信息物理融合系统的分析与设计方法", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
高红旭 等: "大数据技术在民航空管监控系统中的应用", 《现代导航》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783480A (zh) * 2018-12-19 2019-05-21 深圳供电局有限公司 一种调度年报生成的方法及系统、电子设备、介质
CN109918709A (zh) * 2019-01-21 2019-06-21 中国南方航空股份有限公司 一种起飞性能分析方法、电子设备及存储介质
CN109934956A (zh) * 2019-03-13 2019-06-25 北京五维星宇科技有限公司 一种飞参数据判读方法、系统、设备及介质
CN110109896A (zh) * 2019-04-13 2019-08-09 成都飞机工业(集团)有限责任公司 Uav飞行参数智能还原方法
CN112732687A (zh) * 2020-12-29 2021-04-30 中国民用航空飞行学院 基于数据清洗的航空飞行数据可视化处理系统及分析方法
CN112732687B (zh) * 2020-12-29 2023-05-02 中国民用航空飞行学院 基于数据清洗的航空飞行数据可视化处理系统及分析方法

Similar Documents

Publication Publication Date Title
CN108052616A (zh) 基于远程嵌入式数据采集的航空大数据智能分析方法
CN110059631B (zh) 接触网非接触式监测缺陷识别方法
CN111177095B (zh) 日志分析方法、装置、计算机设备及存储介质
CN111178456A (zh) 异常指标检测方法、装置、计算机设备和存储介质
EP3684033A1 (en) Systems and methods for collecting, monitoring, and analyzing vehicle data from a plurality of vehicles using edge computing
CN104011719B (zh) 消息跟踪和检查的方法和系统
US20160203659A1 (en) Apparatus and Method for Testing Aircraft Message Trigger Logics
CN108052617A (zh) 基于远程嵌入式数据采集的航空大数据智能分析系统
CN102903024A (zh) 用于飞行器的改进的诊断
EP2874106A1 (fr) Système et procédé de diagnostic de panne aéronef
CN111046022A (zh) 一种基于大数据技术的数据库审计方法
CN112084224A (zh) 一种数据管理方法、系统、设备及介质
CN106371961A (zh) 一种对总线记录器进行测试的设备及方法
Ducoffe et al. Anomaly detection on time series with Wasserstein GAN applied to PHM
CN113411229A (zh) 一种数据处理、回放数据获取方法及装置、可移动平台
JPWO2021079792A5 (zh)
CN111881105A (zh) 业务数据的标注模型及其模型训练方法
CN114355789A (zh) 一种基于路试数据的仿真场景重构方法、系统及计算机可读存储介质
CN115083229B (zh) 基于ai视觉识别的飞行训练设备智能识别与警示系统
US20220068042A1 (en) Automated prediction of repair based on sensor data
CN115511131A (zh) 一种轨道交通多专业运维数据处理方法及系统
CN115292321A (zh) 一种数据处理方法、系统、装置、电子设备和存储介质
CN113691390A (zh) 一种云端协同的边缘节点报警系统及方法
CN114266472A (zh) 基于Spark的地铁站疏散风险分析方法
JP2018005554A (ja) 故障木作成装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180518