CN115695409A - 一种大容量飞参数据及总线数据的卸载处理方法 - Google Patents
一种大容量飞参数据及总线数据的卸载处理方法 Download PDFInfo
- Publication number
- CN115695409A CN115695409A CN202211060976.9A CN202211060976A CN115695409A CN 115695409 A CN115695409 A CN 115695409A CN 202211060976 A CN202211060976 A CN 202211060976A CN 115695409 A CN115695409 A CN 115695409A
- Authority
- CN
- China
- Prior art keywords
- data
- unloading
- file
- flight parameter
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种大容量飞参数据及总线数据的卸载处理方法,包括S1、识别数据卡并启动数据卸载服务;S2、提取并保存数据包文件的数据文件头信息;S3、依据数据文件头信息建立数据存储目录;S4、按预设长度读取数据包文件中的数据,将数据包文件依次拆分为多个小数据包;存储多个小数据包,并建立索引文件;同时,根据数据存储目录以及小数据包的索引信息,采用多核多线程并行处理方式同步处理小数据包。本发明设计的卸载处理方法可以实现数据卡中海量数据根据用户的需求高效、快速、自动化的卸载及处理,提高数据的卸载处理效率。
Description
技术领域
本发明属于航空电子技术领域,涉及飞参数据处理技术,具体涉及一种大容量飞参数据及总线数据的卸载处理方法。
背景技术
飞参记录设备设置在飞机上,用来记录飞机飞行过程中的飞参、总线等各类型数据。飞行结束后将飞参记录设备记录的飞参数据发送给地面处理设备,对飞参总线数据进行快速处理及回放判读,为飞机日常保障及飞行训练提供技术手段。
目前,随着航空电子技术的飞速发展,新一代飞机记录单架次的飞参及总线数据量已达到50GB以上,飞参及总线数据由飞参记录设备发送至地面处理设备的传统卸载方法为:将数据存储或记录设备中数据全部导出并存储到地面处理设备上,然后进行处理或者发送到服务器上再进行处理,飞参及总线数据的处理不能满足快速处理时间要求,无法支撑飞机快速出动或再次放飞,因此需要对飞参及总线数据的快速卸载处理方法和模式进行改进,以提高数据由飞参记录设备输出至地面处理设备,以及对输出的飞参及总线数据处理的效率。
发明内容
本发明的目的是设计一种大容量飞参数据及总线数据的卸载处理方法,其可以实现数据卡中海量数据根据用户的需求高效、快速、自动化的卸载及处理,提高数据的卸载处理效率。
实现发明目的的技术方案如下:一种大容量飞参数据及总线数据的卸载处理方法,数据卡中数据包文件经数据卸载设备卸载至客户端,经服务器对客户端中数据进行处理。
其中,大容量飞参数据及总线数据的卸载处理方法包括以下步骤:
S1、识别数据卡并启动数据卸载服务;
S2、提取并保存数据包文件的数据文件头信息;
S3、依据数据文件头信息建立数据存储目录;
S4、按预设长度读取数据包文件中的数据,将数据包文件依次拆分为多个小数据包;存储多个小数据包,并建立索引文件;
同时,根据数据存储目录以及小数据包的索引信息,采用多核多线程并行处理方式同步处理小数据包。
进一步的,步骤S2中,数据文件头信息在首次接收数据包文件时,从数据包文件中提取的履历信息,包括机型、机号、履历时间、飞参型号、参数解算版本。
更进一步的,步骤S3中,数据存储目录依据数据文件头信息中飞机机型、机号、履历时间建立。
进一步的,步骤S4中,小数据包的文件命名方式为数据包类型加履历时间。
进一步的,步骤S4中,索引文件包括数据包文件的小数据包数量、小数据包长度。
进一步的,数据卡、数据卸载设备、客户端、服务器之间采用万兆网络交换接口进行数据传输。
与现有技术相比,本发明的有益效果是:
1.采用网络化自动卸载大容量数据包文件,可以有效的提高数据卸载效率。
2.将数据卸载和数据处理过程进行并行处理,实现了数据的边卸载边处理,能够有效减少数据卸载处理时间,减少了大容量数据包文件带来的用户使用等待问题,提高用户满意度。
3.数据处理采用机多核性能和软件并行多线程处理机制,极大提高数据处理效率。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为本发明大容量飞参数据及总线数据的卸载处理方法的流程图;
图2为具体实施方式中数据卡、数据卸载设备、客户端、服务器连接原理架构图;
图3为具体实施方式中数据包文件的卸载处理方法连接软件运行流程图。
具体实施方式
下面结合具体实施例来进一步描述本发明,本发明的优点和特点将会随着描述而更为清楚。但这些实施例仅是范例性的,并不对本发明的范围构成任何限制。本领域技术人员应该理解的是,在不偏离本发明的精神和范围下可以对本发明技术方案的细节和形式进行修改或替换,但这些修改和替换均落入本发明的保护范围内。
本具体实施方式提供了一种大容量飞参数据及总线数据的卸载处理方法,数据卡中数据包文件经数据卸载设备卸载至客户端,经服务器对客户端中数据进行处理。参见图1~图3所示,图1为本发明大容量飞参数据及总线数据的卸载处理方法的流程图;图2为具体实施方式中数据卡、数据卸载设备、客户端、服务器连接原理架构图;图3为具体实施方式中数据包文件的卸载处理方法连接软件运行流程图。
如图1~图3所示,大容量飞参数据及总线数据的卸载处理方法包括以下步骤:
S1、识别数据卡并启动数据卸载服务。
飞机进行飞行任务时数据记录设备采集的飞行数据(包括飞参数据以及总线数据等)记录在数据卡中。当飞机完成飞行任务时,数据卡中的数据需要卸载输出,参见图2所示,数据卡插入数据卸载设备后,将数据卸载设备与客户端(即客户端计算机)连接启动卸载服务;与客户端连接的服务器(即客户端计算机)对数据进行同步处理。其中,数据卡、数据卸载设备、客户端、服务器之间采用万兆网络交换接口进行数据传输。
在本实施例中,数据卸载设备实现对数据卡的类型进行识别并自动启动卸载服务,例如自动识别维护数据卡、数据传输卡。
S2、提取并保存数据包文件的数据文件头信息。
本步骤中,数据文件头信息在首次接收数据包文件时,从数据包文件中提取的履历信息,包括机型、机号、履历时间、飞参型号、参数解算版本。
S3、依据数据文件头信息建立数据存储目录。
本步骤中,数据存储目录依据数据文件头信息中飞机机型、机号、履历时间建立。
S4、按预设长度读取数据包文件中的数据,将数据包文件依次拆分为多个小数据包;存储多个小数据包,并建立索引文件;同时,根据数据存储目录以及小数据包的索引信息,采用多核多线程并行处理方式同步处理小数据包。
本步骤中,在读取数据包文件中的数据时,还需要读取数据包文件的数据的包配置信息,数据包配置信息包括数据包通道标识、数据包采样周期、端模式、数据包类型。同时,数据数据包文件中的数据的卸载拆分以及后端服务器对各小数据包的处是同步进行的,且
本步骤中,小数据包的文件命名方式为数据包类型加履历时间。索引文件包括数据包文件的小数据包数量、小数据包长度。
数据包文件中小数据包采用多核多线程并行处理方式处理,具体的,根据数据包文件的数据存储信息及索引文件中各个小数据包的索引信息,按照实际通道个数启动任务线程,一个小数据包通道对应一个线程,同时利用软件启动服务器多核处理性能,当完成数据包文件的卸载读取整理工作时,同步完成数据的处理工作。
本具体实施方式提供的卸载处理方法:采用网络化自动卸载大容量数据包文件,可以有效的提高数据卸载效率。将数据卸载和数据处理过程进行并行处理,实现了数据的边卸载边处理,能够有效减少数据卸载处理时间,减少了大容量数据包文件带来的用户使用等待问题,提高用户满意度。数据处理采用机多核性能和软件并行多线程处理机制,极大提高数据处理效率。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (6)
1.一种大容量飞参数据及总线数据的卸载处理方法,数据卡中数据包文件经数据卸载设备卸载至客户端,经服务器对客户端中数据进行处理,其特征在于,大容量飞参数据及总线数据的卸载处理方法包括以下步骤:
S1、识别数据卡并启动数据卸载服务;
S2、提取并保存数据包文件的数据文件头信息;
S3、依据数据文件头信息建立数据存储目录;
S4、按预设长度读取数据包文件中的数据,将数据包文件依次拆分为多个小数据包;存储多个小数据包,并建立索引文件;
同时,根据数据存储目录以及小数据包的索引信息,采用多核多线程并行处理方式同步处理小数据包。
2.根据权利要求1所述的大容量飞参数据及总线数据的卸载处理方法,其特征在于:步骤S2中,数据文件头信息在首次接收数据包文件时,从数据包文件中提取的履历信息,包括机型、机号、履历时间、飞参型号、参数解算版本。
3.根据权利要求2所述的大容量飞参数据及总线数据的卸载处理方法,其特征在于:步骤S3中,数据存储目录依据数据文件头信息中飞机机型、机号、履历时间建立。
4.根据权利要求1所述的大容量飞参数据及总线数据的卸载处理方法,其特征在于:步骤S4中,小数据包的文件命名方式为数据包类型加履历时间。
5.根据权利要求1所述的大容量飞参数据及总线数据的卸载处理方法,其特征在于:步骤S4中,索引文件包括数据包文件的小数据包数量、小数据包长度。
6.根据权利要求1所述的大容量飞参数据及总线数据的卸载处理方法,其特征在于:数据卡、数据卸载设备、客户端、服务器之间采用万兆网络交换接口进行数据传输。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211060976.9A CN115695409A (zh) | 2022-08-31 | 2022-08-31 | 一种大容量飞参数据及总线数据的卸载处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211060976.9A CN115695409A (zh) | 2022-08-31 | 2022-08-31 | 一种大容量飞参数据及总线数据的卸载处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115695409A true CN115695409A (zh) | 2023-02-03 |
Family
ID=85061096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211060976.9A Pending CN115695409A (zh) | 2022-08-31 | 2022-08-31 | 一种大容量飞参数据及总线数据的卸载处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115695409A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116933143A (zh) * | 2023-09-15 | 2023-10-24 | 成都旋极历通信息技术有限公司 | 一种飞行参数数据分类方法 |
-
2022
- 2022-08-31 CN CN202211060976.9A patent/CN115695409A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116933143A (zh) * | 2023-09-15 | 2023-10-24 | 成都旋极历通信息技术有限公司 | 一种飞行参数数据分类方法 |
CN116933143B (zh) * | 2023-09-15 | 2023-11-21 | 成都旋极历通信息技术有限公司 | 一种飞行参数数据分类方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106657213B (zh) | 文件传输方法和装置 | |
US7742414B1 (en) | Lightweight indexing for fast retrieval of data from a flow-level compressed packet trace | |
CN109739818A (zh) | 一种便捷式高吞吐量大数据采集方法及系统 | |
CN110704400A (zh) | 实时数据同步方法以及装置、服务器 | |
CN115695409A (zh) | 一种大容量飞参数据及总线数据的卸载处理方法 | |
US11210014B2 (en) | Method and apparatus for processing I/O information of data, method and apparatus for analyzing I/O information of data, and related devices | |
CN114201421A (zh) | 一种数据流处理方法、存储控制节点及可读存储介质 | |
CN109240607A (zh) | 一种文件读取方法和装置 | |
CN108762979B (zh) | 一种基于匹配树的终端信息备份方法及备份设备 | |
CN110515797A (zh) | 一种数据处理方法、装置、设备及计算机可读存储介质 | |
CN110505307B (zh) | 一种网间交通流数据的交换方法及系统 | |
CN114553852A (zh) | 一种基于异步工业文件服务器的快速上传方法 | |
CN114401261A (zh) | 文件下载方法及装置 | |
CN107301203B (zh) | 一种海量数据的比对方法及系统 | |
CN111131512B (zh) | 设备信息的处理方法、装置、存储介质及处理器 | |
CN102479211A (zh) | 基于数据库的海量数据处理系统及方法 | |
CN102663053A (zh) | 一种基于图像内容搜索的分布式服务器系统 | |
CN114401461B (zh) | 基于物联网技术多路数据采集及存储系统 | |
CN116644136A (zh) | 一种增量和全量数据的数据采集方法、装置、设备及介质 | |
CN114124643B (zh) | 一种基于PaaS的网络设备流量采集方法及装置 | |
CN115687477A (zh) | 数据转换方法、装置、信息消费端及存储介质 | |
CN114363304B (zh) | Rtp视频流存储、播放方法及装置 | |
CN106599326B (zh) | 一种云化架构下的记录数据剔重处理方法及系统 | |
CN114995748A (zh) | 请求处理方法及装置 | |
CN103646056B (zh) | 一种基于特征值存储的历史数据存储和抽取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |