CN102542029A - 一种工业数据的分块压缩存储方法 - Google Patents

一种工业数据的分块压缩存储方法 Download PDF

Info

Publication number
CN102542029A
CN102542029A CN2011104363960A CN201110436396A CN102542029A CN 102542029 A CN102542029 A CN 102542029A CN 2011104363960 A CN2011104363960 A CN 2011104363960A CN 201110436396 A CN201110436396 A CN 201110436396A CN 102542029 A CN102542029 A CN 102542029A
Authority
CN
China
Prior art keywords
data
data block
stored
database unit
key word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011104363960A
Other languages
English (en)
Inventor
王宏
林跃
康凯
姬小兵
张锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Zhongke Bowei Automation Technology Co Ltd
Original Assignee
Shenyang Zhongke Bowei Automation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Zhongke Bowei Automation Technology Co Ltd filed Critical Shenyang Zhongke Bowei Automation Technology Co Ltd
Priority to CN2011104363960A priority Critical patent/CN102542029A/zh
Publication of CN102542029A publication Critical patent/CN102542029A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种工业数据的分块压缩存储方法，包括数据库单元，所述数据库单元中存储有多个数据块，所述一数据块内存储有同段时间内的同一类型的数据。所述的分块压缩存储方法，包括以下步骤：步骤1，获取数据库单元文件的路径；步骤2，根据获取的数据库单元文件的路径，打开数据库单元文件；步骤3，查找数据库单元文件内各个数据块的关键字；步骤4，读取查找到的数据块的数据部分，通过对比该数据块的存储起始时间和待存储数据的结束时间，选择存储当前待存储数据的方式。本发明方法将工业数据按照时间段分块压缩的方式存储，具有存储方便、数据占据空间小、维护方便等特点。

Description

一种工业数据的分块压缩存储方法
技术领域
本发明涉及工业数据的存储方法，具体说是一种工业数据的分块压缩存储方法。
背景技术
在工业自动化生产中，工控设备持续运行时间长，需要将工业设备工作过程产生的数据进行记录；工控设备的读取/存储数据量大、数据项复杂，传统的操作方式是将大量的数据存储至硬盘中。上述方式需要工控设备提供大量的硬盘空间来存储数据，不仅浪费存储空间，而且容易出错；然而伴随数据的增多，系统设备运行效率也会大大降低，影响生产率。大量的数据会给工作人员的维护带来很大难度。
发明内容
针对上述技术不足，本发明的目的提供一种快速、准确的工业数据分块压缩存储方法。
为实现上述目的本发明采用的技术方案是：
一种工业数据的分块压缩存储方法，包括数据库单元，所述数据库单元中存储有多个数据块，所述一数据块内存储有同段时间内的同一类型的数据。
所述的分块压缩存储方法，包括以下步骤：
步骤1，获取数据库单元文件的路径；
步骤2，根据获取的数据库单元文件的路径，打开数据库单元文件；
步骤3，查找数据库单元文件内各个数据块的关键字；
步骤4，读取查找到的数据块的数据部分，通过对比该数据块的存储起始时间和待存储数据的结束时间，选择存储当前待存储数据的方式。
在所述步骤2中，如果按照获取的数据库单元文件的路径不能打开数据库单元文件，则返回错误信息并退出。
在所述步骤2中，如果按照获取的数据库单元文件的路径能打开数据库单元文件，则读取该路径下的数据库单元文件。
在所述步骤3中，查找数据库单元文件内各个数据块的关键字，所述关键字包括：该数据块的标签属性和存储起始时间。
在所述步骤3中查找数据块的关键字采用如下步骤：
步骤a，判断该数据块中的关键字是否与所需关键字一致；
步骤b，如果步骤a中判断为关键字不一致，判断当前数据块是否是最后一个数据块；
步骤c，如果步骤b中判断为不是最后一个数据块，查找下一个数据块。
所述步骤b中，判断当前数据块是最后一个数据块，则创建新的数据块，将当前待存储的数据存入新的数据块中。
在所述步骤b中，如果关键字一致，读取该数据块的数据部分；所述数据块的数据部分包括：该数据的结束时间和数据类型。
所述读取该数据块的数据部分，通过对比该数据块的存储起始时间和待存储数据的结束时间，选择存储当前待存储数据的方式；
所述该方式采取如下步骤：
读取待存储数据的结束时间，与当前数据块中关键字的存储起始时间做比较；
如果待存储数据的结束时间小于前数据块中关键字的存储起始时间240秒，则该数据块存储当前待存储的数据；
如果待存储数据的结束时间大于当前数据块中关键字的存储起始时间240秒，则该数据块不能存储当前待存储的数据，那么创建新的数据块，将当前待存储的数据存入新的数据块中。
本发明的优点是：
1、节省存储空间。本发明是将一段时间内的同一类型数据存储在同一数据块内，减少了重复的数据头，节省了存储空间。
2、存储安全性高，不易出错。本发明存储数据通过读取关键字和存储时间两项来存储，不易出错。
附图说明
图1为本发明分块压缩存储数据的流程图；
图2为本发明查找数据块内关键字的流程图；
图3为本发明读取数据块的数据部分来选择存储方式的流程图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
一种工业数据的分块压缩存储方法，包括数据库单元，所述数据库单元中存储有多个数据块，所述一数据块内存储有同段时间内的同一类型的数据。
所述的分块压缩存储方法，包括以下步骤：
步骤1，获取数据库单元文件的路径；
步骤2，根据获取的数据库单元文件的路径，打开数据库单元文件；
步骤3，查找数据库单元文件内各个数据块的关键字；
步骤4，读取查找到的数据块的数据部分，通过对比该数据块的存储起始时间和待存储数据的结束时间，选择存储当前待存储数据的方式。
在所述步骤2中，如果按照获取的数据库单元文件的路径不能打开数据库单元文件，则返回错误信息并退出。
在所述步骤2中，如果按照获取的数据库单元文件的路径能打开数据库单元文件，则读取该路径下的数据库单元文件。
在所述步骤3中，查找数据库单元文件内各个数据块的关键字，所述关键字包括：该数据块的标签属性和存储起始时间。
在所述步骤3中查找数据块的关键字采用如下步骤：
步骤a，判断该数据块中的关键字是否与所需关键字一致；
步骤b，如果步骤a中判断为关键字不一致，判断当前数据块是否是最后一个数据块；
步骤c，如果步骤b中判断为不是最后一个数据块，查找下一个数据块。
所述步骤b中，判断当前数据块是最后一个数据块，则创建新的数据块，将当前待存储的数据存入新的数据块中。
在所述步骤b中，如果关键字一致，读取该数据块的数据部分；所述数据块的数据部分包括：该数据的结束时间和数据类型。
所述读取该数据块的数据部分，通过对比该数据块的存储起始时间和待存储数据的结束时间，选择存储当前待存储数据的方式；
所述该方式采取如下步骤：
读取待存储数据的结束时间，与当前数据块中关键字的存储起始时间做比较；
如果待存储数据的结束时间小于前数据块中关键字的存储起始时间240秒，则该数据块存储当前待存储的数据；
如果待存储数据的结束时间大于当前数据块中关键字的存储起始时间240秒，则该数据块不能存储当前待存储的数据，那么创建新的数据块，将当前待存储的数据存入新的数据块中。
如图1所示，分块压缩存储数据流程如下。
获取数据库单元文件路径；
根据获取的数据库单元文件路径，判断是否能打开数据库单元文件；
如果不能打开数据库单元文件，报告错误并退出；
如果能打开数据库单元文件，则查找数据库单元文件内各个数据块的关键字；
读取数据块的数据部分，通过对比该数据块的存储起始时间和待存储数据的结束时间，选择存储当前待存储数据的方式。
如图2所示，查找数据块内关键字包括以下流程：
判断当前数据块中的关键字是否与所需关键字一致；
如果不一致，判断当前数据块是否为最后一个数据块；
如果不是最后一个数据块，查找下一数据块，判断下一数据块中的关键字是否与所需关键字一致；
如果当前数据块中的关键字与所需关键字一致，则读取该数据块的数据部分，选择当前待存储数据的存储方式。
如图3所示，所述的读取数据块的数据部分，选择存储方式的流程如下：
判断当前数据块中的关键字是否与所需关键字一致；
如果一致，读取该数据块的数据部分，通过对比该数据块的存储起始时间和待存储数据的结束时间；
如果待存储数据的结束时间小于前数据块中关键字的存储起始时间240秒，则该数据块存储当前待存储的数据；
如果待存储数据的结束时间大于当前数据块中关键字的存储起始时间240秒，则该数据块不能存储当前待存储的数据，那么创建新的数据块，将当前待存储的数据存入新的数据块中；
如果当前数据块中的关键字与所需关键字不一致，那么创建新的数据块，将当前待存储的数据存入新的数据块中。

Claims (9)

1.一种工业数据的分块压缩存储方法，包括数据库单元，其特征在于，所述数据库单元中存储有多个数据块，所述一数据块内存储有同段时间内的同一类型的数据。
2.按照权利要求1所述的一种工业数据的分块压缩存储方法，其特征在于，包括以下步骤：
步骤1，获取数据库单元文件的路径；
步骤2，根据获取的数据库单元文件的路径，打开数据库单元文件；
步骤3，查找数据库单元文件内各个数据块的关键字；
步骤4，读取查找到的数据块的数据部分，通过对比该数据块的存储起始时间和待存储数据的结束时间，选择存储当前待存储数据的方式。
3.按照权利要求1所述的一种工业数据的分块压缩存储方法，其特征在于：在所述步骤2中，如果按照获取的数据库单元文件的路径不能打开数据库单元文件，则返回错误信息并退出。
4.按照权利要求2所述的一种工业数据的分块压缩存储方法，其特征在于：在所述步骤2中，如果按照获取的数据库单元文件的路径能打开数据库单元文件，则读取该路径下的数据库单元文件。
5.按照权利要求1所述的一种工业数据的分块压缩存储方法，其特征在于：在所述步骤3中，查找数据库单元文件内各个数据块的关键字，所述关键字包括：该数据块的标签属性和存储起始时间。
6.按照权利要求5所述的一种工业数据的分块压缩存储方法，其特征在于：在所述步骤3中查找数据块的关键字采用如下步骤：
步骤a，判断该数据块中的关键字是否与所需关键字一致；
步骤b，如果步骤a中判断为关键字不一致，判断当前数据块是否是最后一个数据块；
步骤c，如果步骤b中判断为不是最后一个数据块，查找下一个数据块。
7.按照权利要求6所述的一种工业数据的分块压缩存储方法，其特征在于：所述步骤b中，判断当前数据块是最后一个数据块，则创建新的数据块，将当前待存储的数据存入新的数据块中。
8.按照权利要求6所述的一种工业数据的分块压缩存储方法，其特征在于：所述步骤b中，如果关键字一致，读取该数据块的数据部分；
所述数据块的数据部分包括：该数据的结束时间和数据类型。
9.按照权利要求8所述的一种工业数据的分块压缩存储方法，其特征在于：所述读取该数据块的数据部分，通过对比该数据块的存储起始时间和待存储数据的结束时间，选择存储当前待存储数据的方式；
所述该方式采取如下步骤：
读取待存储数据的结束时间，与当前数据块中关键字的存储起始时间做比较；
如果待存储数据的结束时间小于前数据块中关键字的存储起始时间240秒，则该数据块存储当前待存储的数据；
如果待存储数据的结束时间大于当前数据块中关键字的存储起始时间240秒，则该数据块不能存储当前待存储的数据，那么创建新的数据块，将当前待存储的数据存入新的数据块中。
CN2011104363960A 2011-12-22 2011-12-22 一种工业数据的分块压缩存储方法 Pending CN102542029A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011104363960A CN102542029A (zh) 2011-12-22 2011-12-22 一种工业数据的分块压缩存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011104363960A CN102542029A (zh) 2011-12-22 2011-12-22 一种工业数据的分块压缩存储方法

Publications (1)

Publication Number Publication Date
CN102542029A true CN102542029A (zh) 2012-07-04

Family

ID=46348911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011104363960A Pending CN102542029A (zh) 2011-12-22 2011-12-22 一种工业数据的分块压缩存储方法

Country Status (1)

Country Link
CN (1) CN102542029A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544157A (zh) * 2012-07-11 2014-01-29 阿里巴巴集团控股有限公司 一种数据的存储方法和设备
CN106940625A (zh) * 2017-03-15 2017-07-11 四川创能海博科技有限公司 智能电表的数据存储方法
CN110855802A (zh) * 2020-01-15 2020-02-28 广州欧赛斯信息科技有限公司 职教诊改系统的数据分片分发存储方法、装置及服务器
CN111290697A (zh) * 2018-12-07 2020-06-16 上海寒武纪信息科技有限公司 数据压缩方法、编码电路和运算装置
CN112732700A (zh) * 2021-01-25 2021-04-30 中冶赛迪重庆信息技术有限公司 一种轧钢生产数据切片方法、系统、介质及电子终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1564158A (zh) * 2004-04-12 2005-01-12 南京大学 实时数据库建模、存储和访问方法
CN1858742A (zh) * 2006-03-17 2006-11-08 华为技术有限公司 一种在实时数据库中实现更新数据的方法和系统
CN101692252A (zh) * 2009-08-31 2010-04-07 上海宝信软件股份有限公司 文件空闲块的分配和回收方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1564158A (zh) * 2004-04-12 2005-01-12 南京大学 实时数据库建模、存储和访问方法
CN1858742A (zh) * 2006-03-17 2006-11-08 华为技术有限公司 一种在实时数据库中实现更新数据的方法和系统
CN101692252A (zh) * 2009-08-31 2010-04-07 上海宝信软件股份有限公司 文件空闲块的分配和回收方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
毛幼维: "大型实时历史数据库的系统设计与技术实现", 《自动化仪表》 *
陈蓉华等: "PI数据库中建点技术的研究", 《江苏电机工程》 *
陈鑫铎: "实时历史数据库架构和实时数据压缩算法的设计与实现", 《CNKI中国优秀硕士学位论文全文数据库》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544157A (zh) * 2012-07-11 2014-01-29 阿里巴巴集团控股有限公司 一种数据的存储方法和设备
CN103544157B (zh) * 2012-07-11 2017-08-15 阿里巴巴集团控股有限公司 一种数据的存储方法和设备
CN106940625A (zh) * 2017-03-15 2017-07-11 四川创能海博科技有限公司 智能电表的数据存储方法
CN111290697A (zh) * 2018-12-07 2020-06-16 上海寒武纪信息科技有限公司 数据压缩方法、编码电路和运算装置
CN111290697B (zh) * 2018-12-07 2022-01-28 上海寒武纪信息科技有限公司 数据压缩方法、编码电路和运算装置
CN110855802A (zh) * 2020-01-15 2020-02-28 广州欧赛斯信息科技有限公司 职教诊改系统的数据分片分发存储方法、装置及服务器
CN110855802B (zh) * 2020-01-15 2022-02-11 广州欧赛斯信息科技有限公司 职教诊改系统的数据分片分发存储方法、装置及服务器
CN112732700A (zh) * 2021-01-25 2021-04-30 中冶赛迪重庆信息技术有限公司 一种轧钢生产数据切片方法、系统、介质及电子终端

Similar Documents

Publication Publication Date Title
CN110019396B (zh) 一种基于分布式多维分析的数据分析系统及方法
CN103970903B (zh) 基于Web的大型工业系统反馈数据实时处理方法及系统
CN102542029A (zh) 一种工业数据的分块压缩存储方法
CN102521405B (zh) 支持高速加载的海量结构化数据存储、查询方法和系统
CN106599197B (zh) 数据采集交换引擎
CN103593371B (zh) 推荐搜索关键词的方法和装置
CN104331446A (zh) 一种基于内存映射的海量数据预处理方法
CN105677683B (zh) 批量数据查询方法和装置
CN102419752B (zh) 一种工业数据库报文存储方法
CN103995161B (zh) 一种用于甄别偷漏电用户的方法及系统
CN109284299A (zh) 重构具有存储感知的混合索引的方法
CN102521374B (zh) 基于关系型联机分析处理的智能数据聚集方法及其系统
CN104240496A (zh) 一种出行路径的确定方法和装置
CN104204980A (zh) 信息收集系统、信息收集方法、以及存储介质
CN104516677A (zh) 磁盘数据读写方法及磁盘存储装置
CN105630934A (zh) 一种数据统计方法及系统
CN101751475B (zh) 号段记录压缩方法及其装置
CN102890719A (zh) 一种对车牌号进行模糊搜索的方法及装置
CN104484373A (zh) 一种发动机健康数据存储方法
CN110377598B (zh) 一种基于智能制造过程的多源异构数据存储方法
CN102663068B (zh) 锅炉控制中的基于opc服务器的实时数据库实现数据实时更新的装置及数据实时更新方法
CN101894166A (zh) 网络智能搜索引擎系统
CN110765074B (zh) 一种采集终端用电负荷曲线数据的快速存取方法及系统
CN110888861A (zh) 一种新型大数据存储方法
CN116737511A (zh) 基于图的调度作业监控方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120704