CN104657462A - 一种海量测量数据准实时入库方法 - Google Patents

一种海量测量数据准实时入库方法 Download PDF

Info

Publication number
CN104657462A
CN104657462A CN201510070227.8A CN201510070227A CN104657462A CN 104657462 A CN104657462 A CN 104657462A CN 201510070227 A CN201510070227 A CN 201510070227A CN 104657462 A CN104657462 A CN 104657462A
Authority
CN
China
Prior art keywords
data
submodule
test
database
real time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510070227.8A
Other languages
English (en)
Other versions
CN104657462B (zh
Inventor
亓朝玉
何信华
徐华丽
叶成敏
程博
赵雷
蔡剑波
连彦泽
韩亮
颜廷贵
蓝鲲
李世鹏
沈志军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Launch Vehicle Technology CALT
Beijing Institute of Astronautical Systems Engineering
Original Assignee
China Academy of Launch Vehicle Technology CALT
Beijing Institute of Astronautical Systems Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Launch Vehicle Technology CALT, Beijing Institute of Astronautical Systems Engineering filed Critical China Academy of Launch Vehicle Technology CALT
Priority to CN201510070227.8A priority Critical patent/CN104657462B/zh
Publication of CN104657462A publication Critical patent/CN104657462A/zh
Application granted granted Critical
Publication of CN104657462B publication Critical patent/CN104657462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种海量测量数据准实时入库方法，通过海量测量数据准实时入库系统实现，该海量测量数据准实时入库系统包括数据服务子模块、数据处理子模块、参数定义子模块、数据库表映射子模块、网络通信子模块、IP配置子模块、数据库参数配置子模块、缓冲文件库和Oracle数据库，本发明针对海量数据入库的难题，创新设计了海量数据入库系统，通过系统中各个模块的并行协同工作，并采用批量入库的模式，实现了海量遥测数据的实时处理、存储，该方法显著提高了入库效率，实现了测量系统海量数据的快速、准确、可靠入库，有助于测量信息的集成统一管理。

Description

一种海量测量数据准实时入库方法
技术领域
本发明涉及一种海量测量数据准实时入库方法，属于航天飞行器测量系统的信息化、集成化管理技术领域。
背景技术
测量系统是航天飞行器不可缺少的重要组成部分，作为一种工程应用型的信息系统，其包括信息的采集、传送与处理三大环节，其中遥测参数装订、遥测数据实时处理和管理是处理环节中的关键工作之一。近年来，随着测量系统10Mbps高码率数据传输技术和控制系统1553B总线数据传输技术的应用，遥测测试参数翻了两番，达到5000个，且测量数据类型多种多样，包括缓变参数、速变参数、总线数据、计算机字、平台高串数据、速率陀螺数据、GPS数据、图像数据以及位控指令等多种数据类型。测量系统每次试验约30分钟，产生的数据量达到10Gb左右。传统的针对2Mbps遥测数据的实时处理与存储软件由于采用内存缓存、SQL语句插入方式，已无法满足实时处理、存储要求要求。随着参数量的成倍增加，采用人工装订参数的方式一个人至少需要两周时间才能完成全部装订工作，而且极易出现漏装、错装问题。与此同时，测量系统的参数、数据分布在各类信息系统中，相互间没有接口，形成了信息孤岛，无法实现对参数、数据的集中管理和有效的数据分析。
发明内容
本发明的目的在于克服现有技术的上述缺陷，提供一种海量测量数据准实时入库方法，该方法显著提高了入库效率，实现了测量系统海量数据的快速、准确、可靠入库，有助于测量信息的集成统一管理。
本发明的上述目的主要是通过如下技术方案予以实现的：
一种海量测量数据准实时入库方法，通过海量测量数据准实时入库系统实现，所述海量测量数据准实时入库系统包括数据服务子模块、数据处理子模块、参数定义子模块、数据库表映射子模块、网络通信子模块、IP配置子模块、数据库参数配置子模块、缓冲文件库和Oracle数据库，具体实现方法如下：
步骤(一)、数据处理子模块接收外部用户输入的试验名称，根据试验名称调用参数定义子模块获取所述试验名称对应的试验参数信息；
步骤(二)数据处理子模块调用数据库表映射子模块，在数据库表映射子模块中建立所述试验参数信息的试验记录，并生成试验数据结果表；
步骤(三)数据处理子模块调用IP配置子模块中的IP配置信息，并将所述IP配置信息输出给网络通信子模块，网络通信子模块建立数据处理子模块与数据服务子模块的TCP连接；
步骤(四)、数据服务子模块调用数据库参数配置子模块中的数据库配置信息，建立数据库服务子模块与Oracle数据库之间的连接，从数据库表映射子模块中读取步骤(二)中建立的试验记录和生成的试验数据结果表；
步骤(五)数据处理子模块从外部网路实时接收遥测原码数据，根据步骤(一)中获取的试验参数信息对遥测原码数据进行实时处理，即将遥测原码数据中的十六进制数据处理为十进制的物理量数据；
步骤(六)数据处理子模块将步骤(五)中得到的十进制的物理量数据进行打包后，通过步骤(三)中建立的TCP连接发送到数据服务子模块；
步骤(七)数据服务子模块根据步骤(四)中读取的所述试验记录和试验数据结果表，将步骤(六)中收到的十进制物理量数据包中的数据转换为Oracle SQL*Loader识别的数据文件和控制文件，并写入缓冲文件库中；
步骤(八)当数据服务子模块从数据处理子模块接收到的数据包个数达到设定阈值时，调用Oracle SQL*Loader命令行工具从缓冲文件库中读取所述数据文件和控制文件执行数据入库，即将所述数据文件和控制文件中的数据存储到Oracle数据库中；
步骤(九)重复步骤(五)-步骤(八)，实现数据的实时入库。
在上述海量测量数据准实时入库方法中，步骤(二)中生成的试验数据结果表包括n个数据表，每个数据表中包括m个试验参数，其中每个数据表中存储同一系统中同一类型的试验参数，其中n、m均为正整数。
在上述海量测量数据准实时入库方法中，步骤(五)中的十进制数据包括int、float形式的电压、电流、温度、压力和转速数据。
在上述海量测量数据准实时入库方法中，步骤(八)中数据服务子模块将数据文件和控制文件中的数据存储到Oracle数据库中的同时，实时执行步骤(七)，即将收到的十进制物理量数据转换为Oracle SQL*Loader识别的数据文件和控制文件，并写入缓冲文件库中。
在上述海量测量数据准实时入库方法中，步骤(八)中的设定阈值为3000-10000。
本发明与现有技术相比具有如下有益效果：
(1)本发明针对海量数据入库的难题，创新设计了海量数据入库系统，通过系统中各个模块的并行协同工作，并采用批量入库的模式，实现了海量遥测数据的实时处理、存储，该方法显著提高了入库效率，实现了测量系统海量数据的快速、准确、可靠入库，有助于测量信息的集成统一管理。
(2)、本发明科学合理的设定了批量入库阈值，准确判断数据入库时机，提高了硬件资源的使用率，进一步提高了入库效率和可靠性；大量试验表明本发明设定阈值为3000-10000时，性能最优，当设定阈值小于3000时，阈值越小调用Oracle SQL*Loader的频率越高，导致入库性能下降，当设定阈值大于10000时，对Oracle SQL*Loader的每次调用执行时间延长，明显影响入库性能。
附图说明
图1为本发明海量测量数据入库系统结构示意图；
图2为本发明海量测量数据入库原理图；
图3为本发明试验数据结果表形式示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细的描述：
如图1所示为本发明海量测量数据入库系统结构示意图，本发明海量测量数据准实时入库方法通过海量测量数据准实时入库系统实现，由图1可知本发明海量测量数据准实时入库系统包括数据服务子模块(CDlgService)、数据处理子模块(CDlgClient)、参数定义子模块(ParamSysNode)、数据库表映射子模块(DataTable)、网络通信子模块(CMySocketComm)、IP配置子模块(CDlgIPSetting)、数据库参数配置子模块(CDlgDBSetting)、缓冲文件库和Oracle数据库。
如图2所示为本发明海量测量数据入库原理图，本发明海量测量数据入库的具体实现方法如下：
步骤(一)、数据处理子模块接收外部用户输入的试验名称，根据该试验名称调用参数定义子模块获取该试验名称对应的试验参数信息。
步骤(二)数据处理子模块调用数据库表映射子模块，在数据库表映射子模块中建立该试验参数信息的试验记录，并生成试验数据结果表。如图3所示为本发明试验数据结果表形式示意图，试验数据结果表包括n个数据表，每个数据表中包括m个试验参数，其中每个数据表中存储同一系统中同一类型的试验参数，其中n、m均为正整数。
步骤(三)数据处理子模块调用IP配置子模块中的IP配置信息，并将该IP配置信息输出给网络通信子模块，网络通信子模块建立数据处理子模块与数据服务子模块的TCP连接。
步骤(四)、数据服务子模块调用数据库配置子模块中的数据库配置信息，建立数据库服务子模块与Oracle数据库之间的连接，从数据库表映射子模块中读取步骤(二)中建立的试验记录和生成的试验数据结果表。
步骤(五)数据处理子模块从外部网路实时接收遥测原码数据，根据步骤(一)中获取的试验参数信息对遥测原码数据进行实时处理，即将遥测原码数据中的十六进制数据处理为十进制的物理量数据，十进制数据包括int、float形式的电压、电流、温度、压力、转速数据。
步骤(六)数据处理子模块将步骤(五)中得到的十进制的物理量数据进行打包后，通过步骤(三)中建立的TCP连接发送到数据服务子模块。
步骤(七)数据服务子模块根据步骤(四)中读取的所述试验记录和试验数据结果表，将步骤(六)中收到的十进制物理量数据包中的数据转换为Oracle SQL*Loader识别的数据文件和控制文件，并写入缓冲文件库中。
步骤(八)当数据服务子模块从数据处理子模块接收到的数据包个数达到设定阈值时，调用Oracle SQL*Loader命令行工具从缓冲文件库中读取该数据文件和控制文件执行数据入库，即将该数据文件和控制文件中的数据存储到Oracle数据库中。实时入库的性能与设定阈值、运行的计算机硬件配置直接相关。
该步骤中数据服务子模块将数据文件和控制文件中的数据存储到Oracle数据库中的同时，实时执行步骤(七)，即将收到的十进制物理量数据转换为Oracle SQL*Loader识别的数据文件和控制文件，并写入缓冲文件库中。
步骤(九)重复步骤(五)-步骤(八)，实现数据的实时入库。
实施例1
基于本方法对频率为50Hz、数据量为10Mbps的测量系统原码数据进行实时入库。硬件环境如表1所示。在入库结果表个数为60，每个结果表包含的参数个数为20的情况下，对不同阈值条件下的入库性能进行了测试，测试结果见表2。
表1硬件环境
表2测试结果
阈值 每秒入库数据量
50 2.5MB/S
500 3.6MB/S
1000 4.7MB/S
2000 5.5MB/S
3000 7.6MB/S
5000 9.3MB/S
7000 10.8MB/S
9000 9.9MB/S
10000 7.5MB/S
11000 3.9MB/S
测试结果表明，设定阈值在3000-10000时，性能最优，当设定阈值小于3000时，阈值越小调用Oracle SQL*Loader的频率越高，导致入库性能下降，当设定阈值大于10000时，对Oracle SQL*Loader的每次调用执行时间延长，明显影响入库性能；此外运行计算机的内核数越高、内存越大，实时入库的性能越高。
以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (5)

1.一种海量测量数据准实时入库方法，其特征在于：通过海量测量数据准实时入库系统实现，所述海量测量数据准实时入库系统包括数据服务子模块、数据处理子模块、参数定义子模块、数据库表映射子模块、网络通信子模块、IP配置子模块、数据库参数配置子模块、缓冲文件库和Oracle数据库，具体实现方法如下：
步骤(一)、数据处理子模块接收外部用户输入的试验名称，根据试验名称调用参数定义子模块获取所述试验名称对应的试验参数信息；
步骤(二)数据处理子模块调用数据库表映射子模块，在数据库表映射子模块中建立所述试验参数信息的试验记录，并生成试验数据结果表；
步骤(三)数据处理子模块调用IP配置子模块中的IP配置信息，并将所述IP配置信息输出给网络通信子模块，网络通信子模块建立数据处理子模块与数据服务子模块的TCP连接；
步骤(四)、数据服务子模块调用数据库参数配置子模块中的数据库配置信息，建立数据库服务子模块与Oracle数据库之间的连接，从数据库表映射子模块中读取步骤(二)中建立的试验记录和生成的试验数据结果表；
步骤(五)数据处理子模块从外部网路实时接收遥测原码数据，根据步骤(一)中获取的试验参数信息对遥测原码数据进行实时处理，即将遥测原码数据中的十六进制数据处理为十进制的物理量数据；
步骤(六)数据处理子模块将步骤(五)中得到的十进制的物理量数据进行打包后，通过步骤(三)中建立的TCP连接发送到数据服务子模块；
步骤(七)数据服务子模块根据步骤(四)中读取的所述试验记录和试验数据结果表，将步骤(六)中收到的十进制物理量数据包中的数据转换为Oracle SQL*Loader识别的数据文件和控制文件，并写入缓冲文件库中；
步骤(八)当数据服务子模块从数据处理子模块接收到的数据包个数达到设定阈值时，调用Oracle SQL*Loader命令行工具从缓冲文件库中读取所述数据文件和控制文件执行数据入库，即将所述数据文件和控制文件中的数据存储到Oracle数据库中；
步骤(九)重复步骤(五)-步骤(八)，实现数据的实时入库。
2.根据权利要求1所述的一种海量测量数据准实时入库方法，其特征在于：所述步骤(二)中生成的试验数据结果表包括n个数据表，每个数据表中包括m个试验参数，其中每个数据表中存储同一系统中同一类型的试验参数，其中n、m均为正整数。
3.根据权利要求1所述的一种海量测量数据准实时入库方法，其特征在于：所述步骤(五)中的十进制数据包括int、float形式的电压、电流、温度、压力和转速数据。
4.根据权利要求1所述的一种海量测量数据准实时入库方法，其特征在于：所述步骤(八)中数据服务子模块将数据文件和控制文件中的数据存储到Oracle数据库中的同时，实时执行步骤(七)，即将收到的十进制物理量数据转换为Oracle SQL*Loader识别的数据文件和控制文件，并写入缓冲文件库中。
5.根据权利要求1所述的一种海量测量数据准实时入库方法，其特征在于：所述步骤(八)中的设定阈值为3000-10000。
CN201510070227.8A 2015-02-10 2015-02-10 一种海量测量数据准实时入库方法 Active CN104657462B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510070227.8A CN104657462B (zh) 2015-02-10 2015-02-10 一种海量测量数据准实时入库方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510070227.8A CN104657462B (zh) 2015-02-10 2015-02-10 一种海量测量数据准实时入库方法

Publications (2)

Publication Number Publication Date
CN104657462A true CN104657462A (zh) 2015-05-27
CN104657462B CN104657462B (zh) 2017-12-22

Family

ID=53248590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510070227.8A Active CN104657462B (zh) 2015-02-10 2015-02-10 一种海量测量数据准实时入库方法

Country Status (1)

Country Link
CN (1) CN104657462B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105808778A (zh) * 2016-03-30 2016-07-27 中国银行股份有限公司 一种海量数据抽取、转换、加载方法及装置
CN111339041A (zh) * 2020-03-10 2020-06-26 中国建设银行股份有限公司 文件解析入库、文件生成方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183382A (zh) * 2007-12-14 2008-05-21 北京康拓科技开发总公司 一种航天测试系统专用的实时海量的存储设备
US20110004788A1 (en) * 2008-02-29 2011-01-06 Euroclear Sa/Nv Handling and processing of massive numbers of processing instructions in real time
CN102916844A (zh) * 2012-11-22 2013-02-06 南京恩瑞特实业有限公司 海量数据融合及实时监视系统
CN103559217A (zh) * 2013-10-17 2014-02-05 北京航空航天大学 一种面向异构数据库的海量组播数据入库实现方法
CN103970903A (zh) * 2014-05-27 2014-08-06 重庆大学 基于Web的大型工业系统反馈数据实时处理方法及系统
CN104317800A (zh) * 2014-09-19 2015-01-28 山东大学 一种海量智能用电数据混合存储系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183382A (zh) * 2007-12-14 2008-05-21 北京康拓科技开发总公司 一种航天测试系统专用的实时海量的存储设备
US20110004788A1 (en) * 2008-02-29 2011-01-06 Euroclear Sa/Nv Handling and processing of massive numbers of processing instructions in real time
CN102916844A (zh) * 2012-11-22 2013-02-06 南京恩瑞特实业有限公司 海量数据融合及实时监视系统
CN103559217A (zh) * 2013-10-17 2014-02-05 北京航空航天大学 一种面向异构数据库的海量组播数据入库实现方法
CN103970903A (zh) * 2014-05-27 2014-08-06 重庆大学 基于Web的大型工业系统反馈数据实时处理方法及系统
CN104317800A (zh) * 2014-09-19 2015-01-28 山东大学 一种海量智能用电数据混合存储系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105808778A (zh) * 2016-03-30 2016-07-27 中国银行股份有限公司 一种海量数据抽取、转换、加载方法及装置
CN105808778B (zh) * 2016-03-30 2019-04-26 中国银行股份有限公司 一种海量数据抽取、转换、加载方法及装置
CN111339041A (zh) * 2020-03-10 2020-06-26 中国建设银行股份有限公司 文件解析入库、文件生成方法及装置
CN111339041B (zh) * 2020-03-10 2024-01-12 中国建设银行股份有限公司 文件解析入库、文件生成方法及装置

Also Published As

Publication number Publication date
CN104657462B (zh) 2017-12-22

Similar Documents

Publication Publication Date Title
CN104346433B (zh) 用于数据库查询操作的可缩放加速的方法和系统
US10664169B2 (en) Performance of object storage system by reconfiguring storage devices based on latency that includes identifying a number of fragments that has a particular storage device as its primary storage device and another number of fragments that has said particular storage device as its replica storage device
CN102968498B (zh) 数据处理方法及装置
CN102955977A (zh) 一种基于云技术的能效服务方法及其能效服务平台
Hu et al. Towards" full containerization" in containerized network function virtualization
CN104317795A (zh) 一种二维过滤器的生成方法、查询方法及装置
CN110781184A (zh) 数据表的构建方法、装置、设备及存储介质
CN103841647A (zh) 基于基站资源池的多粒度可伸缩封装装置和方法
CN103823638A (zh) 一种虚拟设备访问方法及装置
CN104657462A (zh) 一种海量测量数据准实时入库方法
CN110784336A (zh) 基于物联网的多设备智能定时延时场景设置方法及系统
CN105359142A (zh) 哈希连接方法、装置和数据库管理系统
CN109739433A (zh) 数据处理的方法及终端设备
CN114217920A (zh) 作业调度方法和装置、计算机机群、计算机可读存储介质
CN110943883A (zh) 网络流量统计方法、系统、网关及计算机可读存储介质
CN104598354B (zh) 基于软硬架构的高端容错计算机fpga专用调试方法及其装置
CN103902443A (zh) 一种程序运行性能分析方法及装置
Saab et al. Energy efficiency in mobile cloud computing: Total offloading selectively works. does selective offloading totally work?
CN110855654B (zh) 基于流量互访关系的漏洞风险量化管理方法和系统
CN103955394A (zh) 一种基于推迟提交的gpu虚拟化优化方法
Tang et al. Towards high-performance packet processing on commodity multi-cores: current issues and future directions
CN106970837B (zh) 一种信息处理方法及电子设备
CN207764835U (zh) 电力投资风险预警系统
CN104077282B (zh) 处理数据的方法和装置
CN105654106A (zh) 一种决策树生成方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant