CN113612483A - 一种工业实时数据无损编码压缩方法 - Google Patents

Abstract

本发明公开了一种工业实时数据无损编码压缩方法，包括步骤：1)获取输入的一个工业实时数据测点的一组时序性的待存储数据集合，将集合中第一个数据完整存储；2)对数据集合中第二个数据开始依次进行编码压缩，对于每个待压缩数据依次将数据的时戳部分、质量部分、值部分压缩，以编码压缩格式存储。本发明根据工业实时数据的物理特征进行高效的数据编码压缩，使工业实时数据的传输和存储效率更高、系统资源占用更低。

Description

一种工业实时数据无损编码压缩方法

技术领域

本发明属于数据处理技术领域，具体涉及一种工业实时数据无损编码压缩方法。

背景技术

随着信息时代的飞速发展，不论是学术界还是工业界，其产生的数据量都在爆炸式增长。特别在工业界中，整个工业生产流程中数据采集点规模随着设备数量的增加而不断增大，通常有几万到几十万。这些生产数据一般都是以秒级甚至毫秒级的采样频率采集的，采集到的数据量非常大。为了实现高效的实时数据传输和存储，对实时数据进行压缩是一个可行且热门的解决方案，而合适的压缩算法可以有效地降低数据传输和存储所需的时间与空间。

工业实时数据压缩一般可分为有损压缩算法和无损压缩算法两大类，经过有损压缩的数据会产生一定的信息损失，该方法普遍应用于数据采样阶段，可在确保数据精度的情况下降低数据的采样密度，比较有名的有OSI公司的旋转门压缩算法。但有损压缩算法不适用于工业实时数据的传输和存储，因为数据的传输和存储阶段必须要保证数据的完整性，因此为了提高系统传输效率，减少磁盘空间占用，工业实时数据的传输和存储阶段需要采用无损压缩算法。无损压缩技术的工作原理是通过一定的编码手段减少数据中的重码冗余部分，从而降低数据的大小，在恢复时按照解压的规则完整地恢复数据。不同的无损压缩技术优势主要体现在压缩率和压缩速度上，针对数据的结构及种类，不同压缩技术的表现相差很大。

为了提升工业实时数据传输和存储效率，目前大部分的工业实时数据库采用Zip、LZO或Snappy等通用型无损压缩算法。但是这种类型的压缩算法没有考虑到工业实时数据的物理特征，算法比较复杂，CPU运算量普遍较大，如果在工业实时数据库的海量实时数据压缩中使用这些压缩算法，会造成工业实时数据库系统资源占用过高，数据查询性能降低等一系列问题。

发明内容

本发明的目的是为了针对上述现有技术的不足，提供了一种工业实时数据无损编码压缩方法，根据工业实时数据的物理特征进行高效的数据编码压缩，使工业实时数据的传输和存储效率更高、系统资源占用更低。

为了实现上述目的，本发明采用的技术方案是：

一种工业实时数据无损编码压缩方法，包括以下步骤：

1)获取输入的一个工业实时数据测点的一组时序性的待存储数据集合，将集合中第一个数据完整存储；

2)对数据集合中第二个数据开始依次进行编码压缩，对于每个待压缩数据依次将数据的时戳部分、质量部分、值部分压缩，以编码压缩格式存储。

本发明进一步的改进在于，步骤1)所述的数据集合中的第一个数据在压缩时不经过编码，直接存储在压缩集合的首位。

本发明进一步的改进在于，步骤2)中，每个待压缩数据以前一数据为基准，通过与前一数据对比进行压缩，具体实现方法如下：

对待压缩数据的时戳秒值进行编码压缩，将待压缩数据秒值减去前一数据秒值，差值作为秒值编码；

对待压缩数据的时戳豪秒值进行编码压缩，将待压缩数据毫秒值与前一数据毫秒值对比，相同的毫秒值压缩不存储，不同的毫秒值作为毫秒值编码；

对待压缩数据的质量值进行编码压缩，将待压缩数据质量值与前一数据质量值对比，相同的质量值压缩不存储，不同的质量值作为质量值编码；

对待压缩数据的数据值进行编码压缩，不同数据类型的数据进行相应的编码。

本发明进一步的改进在于，所述的不同数据类型编码方法分为四类：开关类型；int32、uint32、float32类型；int64、uint64类型；float64类型；其中：

开关类型值为0、1、2时，压缩不存储，为其他值时，值作为数据值编码；

int32、uint32、float32类型值从高字节向低字节与前一数据值进行对比，如果高字节相同，则压缩这个字节，继续向低字节比较，否则停止压缩，未压缩值作为数据值编码；

int64、uint64类型值从高字节向低字节以2字节为单位与前一数据值进行对比，如果高2字节相同，则压缩这两个字节，继续向低位比较，否则停止压缩，未压缩值作为数据值编码；

float64类型值的低4字节不压缩，对高4字节从高字节向低字节与前一数据值进行对比，如果高字节相同，则压缩这个字节，继续向低字节比较，否则停止压缩，未压缩值作为数据值编码。

本发明进一步的改进在于，所述编码压缩格式由五个部分构成：压缩状态码、秒差值、毫秒值、质量值和数据值。

本发明进一步的改进在于，压缩后的时戳秒差值、毫秒值、质量值、数据值编码存储在对应的部分中。

本发明进一步的改进在于，所述编码压缩格式中的压缩状态码包含四个区域：秒差值字节数、毫秒值字节数、质量值字节数和值字节数。

本发明进一步的改进在于，压缩后的时戳秒差值、毫秒值、质量值、数据值编码状态存储在对应的区域中。

本发明至少具有如下有益的技术效果：

1.本发明方法可以对一测点的一组时序性数据集合进行高效的无损压缩。虽然集合中第一个数据没有进行压缩，但后续所有数据均可以得到充分的压缩，因为数据集合中数据间关联性很高，方法有效地压缩了前后数据关联性部分，且不会丢失任何信息。

2.本发明方法很巧妙地利用了工业实时数据的物理特征：一般由时戳、质量和值三部分组成，对每个待压缩数据以前一数据为基准，分别对时戳、质量和值进行充分压缩。由于数据集合是时序性的，因此时戳部分只增不减，可以有效地利用秒值的差值来高度压缩；毫秒值部分大多数场景未被利用，可以被高度压缩；质量部分值大多数相同，有少量波动，可以被高度压缩；值部分在数据采样过程中，两次采样值一般不会有太大的变化，可以根据数据类型针对性压缩。

3.本发明方法对不同测点数据类型分别进行分析，主要分为开关类型、整数类型和浮点类型数据，从每个数据类型测点值之间特点出发，对数据值充分压缩。其中开关类型数据大部分为0、1、2的三种状态，其他状态最大占用1个字节，可以被高度压缩；整数类型数据通过计算前后值之差来缩小数据范围进行压缩；浮点类型数据在前后值相差的波动不大时，低字节底数部分差别较大，不易被压缩，但高字节的符号位和指数部分可压缩性更大一些。

4.本发明方法解压时以第一个完整数据为参照，根据压缩状态码可以很快地进行逆向解码，且不会造成数据损失。压缩状态码记录了压缩字节数，根据压缩值与前数据值就可以直接恢复出原值，计算量很小。

综上，本发明方法增强了数据无损压缩编码的针对性，利用工业实时数据的物理性质，通过对编码结构及压缩算法重新设计，对数据的时戳、质量、值的每一部分分别进行了充分压缩。其优点在于压缩结构简单，针对工业实时数据压缩相比通用方法的压缩率和性能都得到了很大的提升，从而很大的提升了实时数据存储效率。

附图说明

图1为无损编码压缩与解压步骤示例图；

图2为工业实时数据无损编码压缩结构设计图；

图3为压缩结构中压缩状态码结构设计图；

图4为时戳秒值压缩时的执行处理流程图；

图5为时戳毫秒值压缩时的执行处理流程图；

图6为质量值压缩时的执行处理流程图；

图7为开关量压缩时的执行处理流程图；

图8为int32、uint32、float32压缩时的执行处理流程图；

图9为int64、uint64压缩时的执行处理流程图；

图10为float64压缩时的执行处理流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下结合具体实施方式与附图对本发明进一步详细说明。

如图1所示，为本发明的无损编码压缩与解压方法流程示意，包括以下步骤：

1)压缩开始，获取输入的一个工业实时数据测点的一组时序性的待存储数据集合，将集合中第一个数据完整存储；

2)对数据集合中第二个数据开始依次进行编码压缩，对于每个待压缩数据依次将数据的时戳部分(秒与毫秒)、质量部分、值部分压缩，以编码压缩格式存储：

单个待压缩数据编码压缩操作分为四个步骤(具体操作在后面说明)：时戳秒值编码M11，时戳毫秒值编码M12，质量值编码M13，值编码M14。

编码压缩结构如图2所示，包括压缩状态码(见图2中S11)，占1字节，存储当前压缩数据的压缩状态；秒差值(见图2中S12)占用1到3字节，存储当前压缩数据与前一数据秒值差，占用大小与差值范围相关；毫秒值(见图2中S13)占用0到2字节，存储当前压缩数据的毫秒值，占用大小与毫秒值范围相关；质量值(见图2中S14)占用0到2字节，存储当前压缩数据的质量值，占用大小与质量值是否为0相关；数据值(见图2中S15)占用字节与数据类型相关，存储当前压缩数据的数据值，占用大小与数据类型相关。

其中压缩状态码S11存储S12、S13、S14、S15每个值的压缩状态，如图3所示，分为秒差值字节数(见图3中S111)占用1字节的最高两位(bit)，存储秒差值字节数状态；毫秒值字节数(见图2中S112)占用S111后两位，存储毫秒值字节数状态；质量值字节数(见图2中S113)占用S112后两位，存储质量值字节数状态；值字节数(见图2中S114)占用最低两位，存储数据值字节数状态。

3)在没有剩余待压缩数据后，压缩停止。

4)解压开始，获取压缩集合，将第一个数据不解码直接拷贝，作为第一个基准参考数据；

5)对压缩集合中第二个数据开始依次进行解码解压，对于每个待解压数据依次将数据的时戳部分(秒和毫秒)、质量部分、值部分解压，根据压缩状态码和对应压缩格式的值进行解码，无损恢复原数据。

单个待解压数据解码解压操作同样分为四个步骤(具体操作在后面说明)：时戳秒值解码M21，时戳毫秒值解码M22，质量值解码M23，值解码M24。

6)在没有剩余待解压数据后，解压停止。

本发明在一种可能的实施方式中，所述的单个待压缩数据的编码操作有以下步骤：

步骤M11，如图4的执行流程对时戳秒值进行编码压缩。将当前待压缩数据的时戳秒值与前数据时戳秒值相减，差值存储在S12中。当差值小于等于255时，S12中存储一个字节，S111置为00H；当差值大于255而小于等于65535时(约18个小时)，S12中存储两个字节，S111置为01H；当差值大于65535时，S12中存储三个字节，S111置为10H；差值大于16777215的情况一般不会出现，因此最多存储三个字节；

步骤M12，如图5的执行流程对时戳毫秒值进行编码压缩。将当前待压缩数据的时戳毫秒值与前数据时戳毫秒值对比，值存储在S13中。当毫秒值相同时，S13中不存储，S112置为00H；当毫秒值小于等于255时，S13中存储一个字节，S112置为01H；当毫秒值大于255时，S13中存储两个字节，S112置为10H；

步骤M13，如图6的执行流程对质量值进行编码压缩。将当前待压缩数据的质量值与前数据质量值对比，值存储在S14中。当质量值相同时，S14中不存储，S113置为00H；当质量值小于等于225时，S14中存储一个字节，S113置为01H；当质量值大于255时，S14中存储两个字节，S113置为10H；

步骤M14，对数据值进行编码压缩，根据数据类型分为开关类型、整数类型与浮点类型，后两者有32位与64位之分，根据不同数据类型分别采取不同的编码方式，值存储在S15中。

在通常的数据分类中，M14步骤包括：

步骤M141，如图7的执行流程对开关类型值进行编码压缩。开关值为0时，S15中不存储，S114置为00H，代表开关值0；开关值为1时，S15中不存储，S114置为01H，代表开关值1；开关值为2时，S15中不存储，S114置为10H，代表开关值2；开关值为其他值时，S15中存储一个字节，S114置为11H；

步骤M142，如图8的执行流程对int32、uint32、float32类型值进行编码压缩。将当前待压缩数据的值与前数据值从高字节向低字节进行对比，如果高字节相同，则压缩这个字节，继续向低字节比较，否则停止压缩。S114中00H到11H分别代表S15中存储一、二、三、四个字节；

步骤M143，如图9的执行流程对int64、uint64类型值进行编码压缩。将当前待压缩数据的值与前数据值从高字节向低字节以2字节为单位进行对比，如果高2字节相同，则压缩这两个字节，继续向低位比较，否则停止压缩。S114中00H到11H分别代表S15中存储二、四、六、八个字节；

步骤M144，如图10的执行流程对float64类型值进行编码压缩。低4字节不压缩，对高4字节进行M142步骤方法压缩。S114中00H到11H分别代表S15中存储五、六、七、八个字节。

本发明在一种可能的实施方式中，所述的单个待解压数据的解码操作有以下步骤：

步骤M21，对时戳秒值进行解码，将前数据秒值加上S12中值，恢复为当前数据秒值；

步骤M22，对时戳毫秒值进行解码，参照S112的值，判断当前待解压数据毫秒值与前数据毫秒值是否相同。当S112为00H时，毫秒值相同，直接按前数据毫秒值恢复；当S112为其他状态时，按S13中值恢复当前数据毫秒值；

步骤M23，对质量值进行解码，参照S113的值，判断当前待解压数据质量值与前数据质量值是否相同。当S113为00H时，质量值相同，直接按前数据质量值恢复；当S113

为其他状态时，按S14中值恢复当前数据质量值；

步骤M24，对数据值进行解码，在通常的数据分类中，M24步骤包括：

步骤M241，对开关类型值进行解码，参照S114的值，判断当前待解压开关值。当S114为00H时，开关值恢复为0；当S114为01H时，开关值恢复为1；当S114为10H时，开关值恢复为2；当S114为11H时，按S15中值恢复当前数据开关值；

步骤M242，对int32、uint32、float32类型值进行解码，参照S114的值，判断当前待解压值恢复字节数。S114为00H时，待解压数据高三字节与前数据值相同，按S15中值恢复最低字节；S114为01H时，待解压数据高二字节与前数据值相同，按S15中值恢复低二字节；S114为10H时，待解压数据最高字节与前数据值相同，按S15中值恢复低三字节；S114为11H时，按S15中值恢复当前数据值；

步骤M243，对int64、uint64类型值进行解码，参照S114的值，判断当前待解压值恢复字节数。S114为00H时，待解压数据高六字节与前数据值相同，按S15中值恢复低二字节；S114为01H时，待解压数据高四字节与前数据值相同，按S15中值恢复低四字节；S114为10H时，待解压数据高二字节与前数据值相同，按S15中值恢复低六字节；S114为11H时，按S15中值恢复当前数据值；

步骤M244，对float64类型值进行解码，参照S114的值，判断当前待解压值恢复高4字节数。S114为00H时，待解压数据高三字节与前数据值相同，按S15中值恢复低五字节；S114为01H时，待解压数据高二字节与前数据值相同，按S15中值恢复低六字节；S114为10H时，待解压数据最高字节与前数据值相同，按S15中值恢复低七字节；S114为11H时，按S15中值恢复当前数据值。

本发明在睿腾实时数据库系统中的数据存档模块得到应用，在数据归档时，对归档数据进行无损压缩后存储在存档文件中，取得了很好的压缩率提升。不同类型的数据压缩率如表1所示。

表1

在其中一个特定的应用实例中，对睿腾实时数据库系统中一段实际存储的数据进行压缩存储，利用本发明编码压缩方法与LZO压缩进行了对比测试。测试结果对比如表2所示。

表2

经过测试对比，本发明无论从压缩率还是压缩速度上都远优于LZO压缩算法，可以很好的提升数据归档效率。睿腾实时数据库系统在运用无损编码压缩后，数据存储的性能得到了稳固的提升，磁盘利用率得到了很大的提升。且经过编码压缩后的数据，无法使用LZO压缩进行有效的二次压缩，二次压缩率会高于100％，有力证明本发明有效性。

本发明对应的解码方法，包括以下步骤：

1)将压缩集合中第一个数据直接完整拷贝，不做解码操作；

2)将第一个数据作为解压的起始基准值，对压缩集合中第二个数据开始依次进行解码，根据编码压缩格式中压缩状态码存储的压缩状态以及秒差值、毫秒值、质量值、数据值的编码逆向进行解码。

目前，应用本发明的睿腾实时数据库系统已经在多个电厂的SIS项目中部署运行，面临全厂海量的工业实时数据归档，系统长期运行稳定，数据存储完好，性能优良，节省大量磁盘空间，取得了很好的经济效应。

Claims (8)

1.一种工业实时数据无损编码压缩方法，其特征在于，包括以下步骤：

1)获取输入的一个工业实时数据测点的一组时序性的待存储数据集合，将集合中第一个数据完整存储；

2)对数据集合中第二个数据开始依次进行编码压缩，对于每个待压缩数据依次将数据的时戳部分、质量部分、值部分压缩，以编码压缩格式存储。

2.根据权利要求1所述的一种工业实时数据无损编码压缩方法，其特征在于，步骤1)所述的数据集合中的第一个数据在压缩时不经过编码，直接存储在压缩集合的首位。

3.根据权利要求1所述的一种工业实时数据无损编码压缩方法，其特征在于，步骤2)中，每个待压缩数据以前一数据为基准，通过与前一数据对比进行压缩，具体实现方法如下：

对待压缩数据的时戳秒值进行编码压缩，将待压缩数据秒值减去前一数据秒值，差值作为秒值编码；

对待压缩数据的时戳豪秒值进行编码压缩，将待压缩数据毫秒值与前一数据毫秒值对比，相同的毫秒值压缩不存储，不同的毫秒值作为毫秒值编码；

对待压缩数据的质量值进行编码压缩，将待压缩数据质量值与前一数据质量值对比，相同的质量值压缩不存储，不同的质量值作为质量值编码；

对待压缩数据的数据值进行编码压缩，不同数据类型的数据进行相应的编码。

4.根据权利要求3所述的一种工业实时数据无损编码压缩方法，其特征在于，所述的不同数据类型编码方法分为四类：开关类型；int32、uint32、float32类型；int64、uint64类型；float64类型；其中：

开关类型值为0、1、2时，压缩不存储，为其他值时，值作为数据值编码；

int32、uint32、float32类型值从高字节向低字节与前一数据值进行对比，如果高字节相同，则压缩这个字节，继续向低字节比较，否则停止压缩，未压缩值作为数据值编码；

int64、uint64类型值从高字节向低字节以2字节为单位与前一数据值进行对比，如果高2字节相同，则压缩这两个字节，继续向低位比较，否则停止压缩，未压缩值作为数据值编码；

float64类型值的低4字节不压缩，对高4字节从高字节向低字节与前一数据值进行对比，如果高字节相同，则压缩这个字节，继续向低字节比较，否则停止压缩，未压缩值作为数据值编码。

5.根据权利要求1所述的一种工业实时数据无损编码压缩方法，其特征在于，所述编码压缩格式由五个部分构成：压缩状态码、秒差值、毫秒值、质量值和数据值。

6.根据权利要求5所述的一种工业实时数据无损编码压缩方法，其特征在于，压缩后的时戳秒差值、毫秒值、质量值、数据值编码存储在对应的部分中。

7.根据权利要求5所述的一种工业实时数据无损编码压缩方法，其特征在于，所述编码压缩格式中的压缩状态码包含四个区域：秒差值字节数、毫秒值字节数、质量值字节数和值字节数。

8.根据权利要求7所述的一种工业实时数据无损编码压缩方法，其特征在于，压缩后的时戳秒差值、毫秒值、质量值、数据值编码状态存储在对应的区域中。

Images