CN102361458B

CN102361458B - 一种在快速数据管理系统实现高效数据压缩的方法

Info

Publication number: CN102361458B
Application number: CN 201110235290
Authority: CN
Inventors: 李亮举; 高雷; 凌杰; 彭会军; 周月杰
Original assignee: Beijing Shougang Automation Information Technology Co Ltd
Current assignee: Beijing Shougang Automation Information Technology Co Ltd
Priority date: 2011-08-16
Filing date: 2011-08-16
Publication date: 2013-09-04
Anticipated expiration: 2031-08-16
Also published as: CN102361458A

Abstract

一种在快速数据管理系统实现高效数据压缩的方法，属于对流程工厂中的大量过程数据采集后压缩处理技术领域。压缩步骤为：根据过程数据的数据类型和取值范围对数据进行类型的基本压缩；采用阈值自适应的变点存储方法；采用段页式时间存储法。优点在于，摈弃了大部分系统采样的直接将过程数据存入数据库的模式，直接将过程数据文件压缩处理，形成二进制文件，实现了对历史数据文件的高效压缩，有效节约了存储空间。

Description

一种在快速数据管理系统实现高效数据压缩的方法

技术领域

本发明属于对流程工厂中的大量过程数据采集后压缩处理技术领域，特别涉及提供了一种在快速数据管理系统实现高效数据压缩的方法。具体涉及到在采集到大量的快速数据和普通过程数据后，对大量数据实现高效的数据压缩的方法。

背景技术

在流程工程中，随着自动化水平的不断提高，设备也越来越复杂。生长过程的数据点也越来越多。通过对这些过程数据进行回放不仅可以再现生产过程，同时也是设备调试、生产过程数据优化、生产过程故障问题的有效手段。通常情况下，这些数据采集周期小、数据通讯量大，动辄上万点甚至更多。如果不对这些采集到的数据进行一定的压缩处理而直接存储，生成的数据文件会在极短的时间内会占据大量的存储空间，从而造成对存储空间容量的需求越来越高，造成极大的浪费。

发明内容

本发明的目的在于提供一种在快速数据管理系统实现高效数据压缩的方法，解决了对采集到的大量的过程数据实现高效压缩的问题是。与传统的数据采集系统对比，利用该方法后，解决了把大量过程数据不加处理的存入数据库表或文件中，造成大量存储空间浪费的问题。

为了解决以上问题，本发明的实施方案步骤如下：

步骤1、根据过程数据的数据类型和取值范围对数据进行类型的基本压缩。

数据压缩模块对采集到的过程数据进行高效的压缩，最终形成二进制数据文件。压缩的算法包括参从数据类型、阈值自适应的变点存储和数据时间戳三个方面进行。首先是数据类型的压缩。数据的类型决定数据占内存的字节数和取值范围。在采集的过程数据中，一般都是整型(int)和浮点型(float)。单精度的实型，使用四个字节空间存储，取值范围为10-38～10+38，数据的有效位数为7位数字；而对于双精度实型，使用八个字节空间存储，取值范围为10-308～10+308，数据的有效位数为15位数字。无疑，如果按照这样存储的方式进行存储，会带来极大存储空间的浪费。

本发明的方法在于，对于BOOL型数据，我们按照一个字节进行存储，对于float型和long型数据，在精度允许范围内，我们转换成short类型进行存储，将存储空间从4字节有效的降低为2字节。

步骤2、采用阈值自适应的变点存储方法。对每个过程数据，都会有最大值和最小值。本发明结合最大值和最小值的范围设定阈值，每个采样周期，系统对采集到的数据与前一个采样周期的数据进行对比，如果两个数的差小于阈值，则认为该数未发生变化，在该采样周期不对该数进行采集，只有当前采样周期的数值与上一个采样数据的大小差超过阈值的时候我们才对该数进行存储。同时，结合过程数据采集的过程中的范围，对阈值说的大小进行不断的修正和自学习，以达到阈值的最佳取值。

阈值自学习方法在于，对每个压缩周期(例如1小时)内的数据的最大值和最小值进行记录后，最大值和最小值的差的一定比例(例如万分之一或者千分之一)作为下一个压缩周期内数据采集的阈值。这样，该阈值可以根据数据范围进行不断的调整和优化。

步骤3，采用段页式时间存储法。生产过程数据如果没用时间坐标，也没有任何意义。从第二步的计算中可以看出，每个数据的时间戳在存储过程中占用了大部分的存储空间。为了解决该问题，本发明了以下段页式时间存储方法。首先，我们选择一个时间基准点，我们称为段时间T0，该时间我们称为标准时间戳。从段时间T0开始，对于该周期的时间戳，我们选取他与段时间的间隔，我们称为页时间，也就是时间偏移量。段时间在存储的时候占有8字节，而页时间为short类型，只占2字节。数据压缩率进一步得到提高。

本发明取得了以下效果：摈弃了大部分系统采样的直接将过程数据存入数据库的模式，直接将过程数据文件压缩处理，形成二进制文件，实现了对历史数据文件的高效压缩，有效节约了存储空间。

附图说明

图1为工业生产过程数据采集分析整体架构示意图。

图2为压缩过程水温变化趋势示意图。

具体实施方式

下面结合附图对所述的压缩过程的具体方法进行说明。

图1是工业生产过程数据采集分析整体架构示意图。PLC一侧最为数据源，将过程数据源源不断的发送给数据接收端。数据接收服务接收到数据后，发送给快速数据分析系统。数据分析系统对这部分数据进行压缩。

以现场水温参数为例，最小值为0摄氏度，最大值为100摄氏度，阈值首先设定为0.1，采样周期为500ms。如果不做任何处理，经过一天的时间，水温数据文件所占空间为：4×2×24×3600＝691200字节。压缩过程如下：

假设，采集过程中水温的变化趋势在一定的时间内如图2所示：

水温的类型为float类型，存储的时候占据4字节，而水温的范围为0-100。因此在存储的时候，我们首先将25.0、25.1和25.2等数据按照250，251和252进行存储，这样数据转换为short型，存储占据2字节。

再次，根据变点存储的方式，从25.0到25.3，数据从图中看出，采集到的数据显示变化超过了30次，但是因为我们定义的阈值范围，从图中可以看出，我们只有3次该值的变化超过了阈值，所以采集的过程中我们只存储三次即可。

最后，对于段页式时间存储方式。按照常规的模式，数据时间在存储的时候，我们采用系统时间的格式进行，需要8字节。而采用段页式时间存储的模式，我们仅对T0存储的时候采用系统时间的格式，而对于T1、T2和T3则为时间的偏移量，以500ms作为一个采样周期的话，T1则为3000，T2则为10500，T3则为11000。时间存储占用的空间明显减少。

Claims

1.一种在快速数据管理系统实现高效数据压缩的方法，数据压缩模块对采集到的过程数据进行高效的压缩，最终将压缩后的过程数据以二进制数据文件的形式进行存储；压缩的算法采用以下三个步骤：数据类型、阈值自适应的变点存储和数据时间戳；首先是数据类型的压缩，数据的类型决定数据占内存的字节数和取值范围，在采集的过程数据中，都是整型int和浮点型float，单精度的实型，使用四个字节空间存储，取值范围为10^-38~10^+38，数据的有效位数为7位数字；而对于双精度实型，使用八个字节空间存储，取值范围为10^-308~10^+308，数据的有效位数为15位数字；无疑，如果按照这样存储的方式进行存储，会带来极大存储空间的浪费；其特征和步骤如下：

（1）根据过程数据的数据类型和取值范围对数据进行类型的基本压缩

对于BOOL型数据，按照一个字节进行存储，对于float型和long型数据，在精度允许范围内，我们转换成short类型进行存储，将存储空间从4字节有效的降低为2字节；

（2）采用阈值自适应的变点存储方法：对每个过程数据，都会有最大值和最小值；结合最大值和最小值的范围设定阈值，每个采样周期，系统对采集到的数据与前一个采样周期的数据进行对比，如果两个数的差小于阈值，则认为该数未发生变化，在该采样周期不对该数进行采集，只有当前采样周期的数值与上一个采样数据的大小差超过阈值的时候我们才对该数进行存储；同时，结合过程数据采集的过程中的范围，对阈值的大小进行不断的修正和自学习，以达到阈值的最佳取值；

阈值自学习方法在于，对每个压缩周期1小时内的数据的最大值和最小值进行记录后，最大值和最小值的差的一定比例：万分之一或者千分之一作为下一个压缩周期内数据采集的阈值；这样，该阈值可以根据数据范围进行不断的调整和优化；

（3）采用段页式时间存储法：首先，选择一个时间基准点，称为段时间T0，该时间我们称为标准时间戳；从段时间T0开始，对于该周期的时间戳，选取他与段时间的间隔，称为页时间，也就是时间偏移量；段时间在存储的时候占有8字节，而页时间为short类型，只占2字节；数据压缩率进一步得到提高。