CN107862762A - 一种飞机数据快速采集与存储系统 - Google Patents

一种飞机数据快速采集与存储系统 Download PDF

Info

Publication number
CN107862762A
CN107862762A CN201711021131.8A CN201711021131A CN107862762A CN 107862762 A CN107862762 A CN 107862762A CN 201711021131 A CN201711021131 A CN 201711021131A CN 107862762 A CN107862762 A CN 107862762A
Authority
CN
China
Prior art keywords
data
storage device
real
short term
term storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711021131.8A
Other languages
English (en)
Inventor
李洛峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Jinhang Computing Technology Research Institute
Original Assignee
Tianjin Jinhang Computing Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Jinhang Computing Technology Research Institute filed Critical Tianjin Jinhang Computing Technology Research Institute
Priority to CN201711021131.8A priority Critical patent/CN107862762A/zh
Publication of CN107862762A publication Critical patent/CN107862762A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G06F3/0649—Lifecycle management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/068—Hybrid storage device
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/0875—Registering performance data using magnetic data carriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种飞机数据快速采集与存储系统，其包括：实时采集存储设备，采集飞机数据并存储于分钟级的实时文件中，并周期将数据迁移至短期存储设备；短期存储设备，接收实时采集存储设备发送的实时文件，将该实时文件数据存储于小时级的短期文件中，并周期将数据迁移至长期存储设备；长期存储设备，接收短期存储设备发送的短期文件，将该短期文件数据存储于天级的长期文件中。本发明采用多种存储机制，提高了数据存储速率，增强了可靠性；采用内存式文件系统，提高了实时存储速率，减轻了硬件CPU负担，避免了数据丢失；采用磁盘阵列，极大的提高了系统存储数据量，保证了数据安全，减少了飞机维护工作。

Description

一种飞机数据快速采集与存储系统
技术领域
本发明属于数据采集存储技术领域，涉及一种飞机数据快速采集与存储系统。
背景技术
某型飞机综合航电系统为飞行员提供人机界面，完成多型武器发射控制和投放任务。在武器发射控制与投放过程中，会出现武器报故或分系统设备故障情况，需实时记录并存储各设备间及武器上报的数据，为故障分析提供数据。
传统数据采集与存储系统采用通用文件系统，直接将数据采集后存储于硬盘，主要存在以下问题：
1、数据存储速度有限
综合航电系统需要记录大量的音频、视频和总线数据，传统数据采集与存储系统直接采用单板处理器和硬盘存储，周期采集数据并将数据写入硬盘，处理器运行压力大，平均存储速度有限，当记录的音频、视频和总线数据超过平均存储速度时，易造成数据丢失。
2、数据存储周期短
由于综合航电系统记录的数据量大，飞机飞行频繁，需不断将已有记录数据拷出，否则会被后续飞行数据覆盖，数据存储周期短。
发明内容
(一)发明目的
本发明的目的是：提供一种飞机数据快速采集与存储系统，提高数据采集与存储速度，提升数据存储的快速性和可靠性，实现飞机数据的实时高效的记录存储。
(二)技术方案
为了解决上述技术问题，本发明提供一种飞机数据快速采集与存储系统，其包括：实时采集存储设备、短期存储设备和长期存储设备；实时采集存储设备，采集飞机数据并存储于分钟级的实时文件中，并周期将数据迁移至短期存储设备；短期存储设备接收实时采集存储设备发送的实时文件，将该实时文件数据存储于小时级的短期文件中，并周期将数据迁移至长期存储设备；长期存储设备接收短期存储设备发送的短期文件，将该短期文件数据存储于天级的长期文件中。
其中，所述实时采集存储设备与短期存储设备之间，以及短期存储设备和长期存储设备之间，均通过光纤以太网连接。
其中，所述实时采集存储设备包括数据采集模块、数据存储模块和数据迁移模块；数据采集模块负责周期采集飞机总线数据、音频数据、视频数据，并写入缓存；数据存储模块周期读入缓存数据，将数据写入内存文件系统，并按分钟产生新的数据文件；数据迁移模块周期扫描内存文件系统，将已完成的数据文件迁移至短期存储设备。
其中，所述实时采集存储设备采用内存文件系统，内存文件系统物理介质为内存。
其中，所述短期存储设备用于数据迁移，实时接收实时采集存储设备发送的分钟级文件数据，并将其写入小时级数据文件，按小时产生新的数据文件；同时，短期存储设备周期扫描文件系统，将已完成的数据文件迁移至长期存储设备。
其中，所述短期存储设备采用通用文件系统，物理存储介质采用固态硬盘。
其中，所述长期存储设备实时接收短期存储设备发送的数据文件，将其写入天级数据文件，并按天产生新的数据文件。
其中，所述长期存储设备采用通用文件系统，物理存储介质采用磁盘阵列。
其中，所述磁盘阵列采用磁盘镜像。
(三)有益效果
上述技术方案所提供的飞机数据快速采集与存储系统，采用多种存储机制，提高了数据存储速率，增强了可靠性；采用内存式文件系统，提高了实时存储速率，减轻了硬件CPU负担，避免了数据丢失；采用磁盘阵列，极大的提高了系统存储数据量，保证了数据安全，减少了飞机维护工作；采用数据迁移机制，有效的解决了存储速率和存储容量的矛盾，为飞机数据采集存储提供了一种高效的解决方案。
附图说明
图1为本发明实施例中飞机数据快速采集与存储系统硬件架构图。
图2为本发明实施例中数据文件迁移图。
图3为本发明实施例中实时采集存储设备软件模块图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
图1表示飞机数据快速采集与存储系统硬件架构图。图2表示飞机数据快速采集与存储系统存储机制下数据文件迁移图。
数据快速采集与存储系统由实时采集存储设备、短期存储设备和长期存储设备组成。实时采集存储设备、短期存储设备和长期存储设备之间，均通过光纤以太网连接。实时采集存储设备，将飞机数据采集后存储于分钟级的实时文件中，并周期将数据迁移至短期存储设备；短期存储设备接收实时采集存储设备发送的实时文件，将该实时文件数据存储于小时级的短期文件中，并周期将数据迁移至长期存储设备；长期存储设备接收短期存储设备发送的短期文件，将该短期文件数据存储于天级的长期文件中。
传统飞机数据采集与存储设备采用单一板卡进行采集和存储，周期采集数据并写入文件系统，板卡CPU占用率高且平均文件存储效率低。本发明的数据快速采集与存储系统将存储功能细化，按存储时间，将单一存储设备变为多类存储设备，减小了单一存储设备运行压力，极大提高了存储时间。
本实施例中，实时采集存储设备采用内存文件系统。与通用文件系统采用硬盘相比，内存文件系统物理介质为内存，极大的提高了数据存储速度和存储效率，避免了由于存储速度慢而造成的数据丢失。但由于物理内存往往有限，往往只能存储分钟级的数据文件，需不断将数据迁移至短期存储设备。
图3是实时采集存储设备软件模块图。实时采集存储设备软件由数据采集模块、数据存储模块和数据迁移模块组成。数据采集模块负责周期采集飞机总线数据、音频数据、视频数据，并写入缓存。数据存储模块周期读入缓存数据，将数据写入内存文件系统，并按分钟产生新的数据文件。数据迁移模块周期扫描内存文件系统，将已完成的数据文件迁移至短期存储设备。
短期存储设备采用通用文件系统，物理存储介质采用固态硬盘，提高数据写入速度。与传统存储设备周期写入数据相比，短期存储设备接收分钟级的大数据文件，单次写入数据量大，数据存储效率高，数据存储速度快。短期存储设备软件主要负责数据迁移，实时接收实时采集存储设备发送的分钟级文件数据，将其写入小时级数据文件，并按小时产生新的数据文件。同时，该软件周期扫描文件系统，将已完成的数据文件迁移至长期存储设备。
短期存储设备存储小时级的短期文件，能够使地勤人员短时间内快速将最近飞行架次的数据信息拷出，方便地勤人员处理当前飞行数据，对飞机故障快速定位。
长期存储设备采用通用文件系统，物理存储介质采用磁盘阵列，提高数据存储容量。磁盘阵列采用磁盘镜像，保证数据的安全。长期存储设备软件实时接收短期存储设备发送的数据文件，将其写入天级数据文件，并按天产生新的数据文件。
在实时采集存储设备和长期存储设备之间设置短期存储设备的目的：短期存储设备存储空间相对长期存储设备存储空间小，用于存储飞机最近架次的飞行数据。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种飞机数据快速采集与存储系统，其特征在于，包括：实时采集存储设备、短期存储设备和长期存储设备；实时采集存储设备，采集飞机数据并存储于分钟级的实时文件中，并周期将数据迁移至短期存储设备；短期存储设备接收实时采集存储设备发送的实时文件，将该实时文件数据存储于小时级的短期文件中，并周期将数据迁移至长期存储设备；长期存储设备接收短期存储设备发送的短期文件，将该短期文件数据存储于天级的长期文件中。
2.如权利要求1所述的飞机数据快速采集与存储系统，其特征在于，所述实时采集存储设备与短期存储设备之间，以及短期存储设备和长期存储设备之间，均通过光纤以太网连接。
3.如权利要求1所述的飞机数据快速采集与存储系统，其特征在于，所述实时采集存储设备包括数据采集模块、数据存储模块和数据迁移模块；数据采集模块负责周期采集飞机总线数据、音频数据、视频数据，并写入缓存；数据存储模块周期读入缓存数据，将数据写入内存文件系统，并按分钟产生新的数据文件；数据迁移模块周期扫描内存文件系统，将已完成的数据文件迁移至短期存储设备。
4.如权利要求3所述的飞机数据快速采集与存储系统，其特征在于，所述实时采集存储设备采用内存文件系统，内存文件系统物理介质为内存。
5.如权利要求1所述的飞机数据快速采集与存储系统，其特征在于，所述短期存储设备用于数据迁移，实时接收实时采集存储设备发送的分钟级文件数据，并将其写入小时级数据文件，按小时产生新的数据文件；同时，短期存储设备周期扫描文件系统，将已完成的数据文件迁移至长期存储设备。
6.如权利要求5所述的飞机数据快速采集与存储系统，其特征在于，所述短期存储设备采用通用文件系统，物理存储介质采用固态硬盘。
7.如权利要求1所述的飞机数据快速采集与存储系统，其特征在于，所述长期存储设备实时接收短期存储设备发送的数据文件，将其写入天级数据文件，并按天产生新的数据文件。
8.如权利要求7所述的飞机数据快速采集与存储系统，其特征在于，所述长期存储设备采用通用文件系统，物理存储介质采用磁盘阵列。
9.如权利要求8所述的飞机数据快速采集与存储系统，其特征在于，所述磁盘阵列采用磁盘镜像。
CN201711021131.8A 2017-10-27 2017-10-27 一种飞机数据快速采集与存储系统 Pending CN107862762A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711021131.8A CN107862762A (zh) 2017-10-27 2017-10-27 一种飞机数据快速采集与存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711021131.8A CN107862762A (zh) 2017-10-27 2017-10-27 一种飞机数据快速采集与存储系统

Publications (1)

Publication Number Publication Date
CN107862762A true CN107862762A (zh) 2018-03-30

Family

ID=61696905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711021131.8A Pending CN107862762A (zh) 2017-10-27 2017-10-27 一种飞机数据快速采集与存储系统

Country Status (1)

Country Link
CN (1) CN107862762A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109398745A (zh) * 2018-09-25 2019-03-01 陕西飞机工业（集团）有限公司 一种飞机地面数据综合处理设备
CN112100654A (zh) * 2020-09-02 2020-12-18 军事科学院系统工程研究院网络信息研究所 一种基于终端的设备数据库资源管理方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929222A (zh) * 2012-09-29 2013-02-13 上海市电力公司 变电站视频监控系统
CN102945207A (zh) * 2012-10-26 2013-02-27 浪潮(北京)电子信息产业有限公司 一种块级数据的缓存管理方法及系统
CN202957845U (zh) * 2012-10-17 2013-05-29 北京西塔网络科技股份有限公司 数据采集存储系统
CN202976239U (zh) * 2012-10-30 2013-06-05 浙江吉利汽车研究院有限公司杭州分公司 一种车辆行驶状态记录仪
CN103516987A (zh) * 2013-10-09 2014-01-15 哈尔滨工程大学 一种高速图像采集及实时存储系统
JP2014126885A (ja) * 2012-12-25 2014-07-07 Fuji Heavy Ind Ltd 車両情報記憶装置および車両情報記憶方法
CN104504105A (zh) * 2014-12-30 2015-04-08 青岛海信网络科技股份有限公司 一种实时数据库的存储方法
CN106296875A (zh) * 2016-08-16 2017-01-04 湖南纽思曼导航定位科技有限公司 一种行车记录仪及存储方法
CN106897033A (zh) * 2017-05-03 2017-06-27 北京石竹科技股份有限公司 一种基于fpga和固态硬盘的高速采集记录装置
CN107273403A (zh) * 2017-04-24 2017-10-20 西安电子科技大学 一种历史数据收集及存储的方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929222A (zh) * 2012-09-29 2013-02-13 上海市电力公司 变电站视频监控系统
CN202957845U (zh) * 2012-10-17 2013-05-29 北京西塔网络科技股份有限公司 数据采集存储系统
CN102945207A (zh) * 2012-10-26 2013-02-27 浪潮(北京)电子信息产业有限公司 一种块级数据的缓存管理方法及系统
CN202976239U (zh) * 2012-10-30 2013-06-05 浙江吉利汽车研究院有限公司杭州分公司 一种车辆行驶状态记录仪
JP2014126885A (ja) * 2012-12-25 2014-07-07 Fuji Heavy Ind Ltd 車両情報記憶装置および車両情報記憶方法
CN103516987A (zh) * 2013-10-09 2014-01-15 哈尔滨工程大学 一种高速图像采集及实时存储系统
CN104504105A (zh) * 2014-12-30 2015-04-08 青岛海信网络科技股份有限公司 一种实时数据库的存储方法
CN106296875A (zh) * 2016-08-16 2017-01-04 湖南纽思曼导航定位科技有限公司 一种行车记录仪及存储方法
CN107273403A (zh) * 2017-04-24 2017-10-20 西安电子科技大学 一种历史数据收集及存储的方法
CN106897033A (zh) * 2017-05-03 2017-06-27 北京石竹科技股份有限公司 一种基于fpga和固态硬盘的高速采集记录装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109398745A (zh) * 2018-09-25 2019-03-01 陕西飞机工业（集团）有限公司 一种飞机地面数据综合处理设备
CN112100654A (zh) * 2020-09-02 2020-12-18 军事科学院系统工程研究院网络信息研究所 一种基于终端的设备数据库资源管理方法

Similar Documents

Publication Publication Date Title
CN109491859B (zh) 针对Kubernetes集群中容器日志的收集方法
CN103885726B (zh) 一种高效的多线程日志写入方法
CN101436207B (zh) 一种基于日志快照的数据恢复和同步方法
CN103176860B (zh) 数据备份方法和系统
CN103678045A (zh) 虚拟机的数据备份方法
CN101453489B (zh) 一种网络附加存储装置及其数据备份和数据恢复方法
CN103440244A (zh) 一种大数据存储优化方法
CN103064731A (zh) 一种提高消息队列系统性能的装置及其方法
CN106066890B (zh) 一种分布式高性能数据库一体机系统
CN103455577A (zh) 云主机镜像文件的多备份就近存储和读取方法及系统
CN109299072A (zh) 一种数据库在线迁移的方法及装置
CN110704400A (zh) 实时数据同步方法以及装置、服务器
CN110609813B (zh) 一种数据存储系统及方法
CN102541779A (zh) 一种提高多数据缓冲区dma效率的系统和方法
CN102833580A (zh) 基于infiniband的高清视频应用系统及方法
CN107317838A (zh) 一种基于流式数据处理架构的天文元数据归档方法及系统
CN107862762A (zh) 一种飞机数据快速采集与存储系统
CN103150128A (zh) 基于ssd和磁盘的可靠混合存储系统实现方法
CN108123976A (zh) 集群间的数据备份方法、装置及系统
CN101945131A (zh) 一种基于存储虚拟化的数据迁移方法
CN110442646A (zh) 一种ceph数据同步模块主端写性能优化系统及方法
CN110083306A (zh) 一种分布式对象存储系统及存储方法
CN105897859A (zh) 一种存储系统
CN103377163A (zh) 超声成像系统及其实时采集数据传输方法
CN113360098A (zh) 一种数据写入方法、装置、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180330

WD01 Invention patent application deemed withdrawn after publication