CN102437854B - 一种高压缩比的工业实时数据压缩方法 - Google Patents

Abstract

本发明公开了一种高压缩比的工业实时数据压缩方法，读入n个数据点采用最小二乘拟合方法拟合直线方程，如果这n个数据点不满足直线方程偏离小于压缩限值，则起点保存，再读入起点后的n个数据点拟合直线方程，重新开始。如果满足，读入判断后续数据点数据值偏离是否小于等于压缩限值δ，如果小于，则舍弃，继续读入判断后续数据点，直到大于压缩限值δ；如果大于，前一个数据点的拟合值，以前一个数据点为读入数据的起点，重新读入n个数据点，进行拟合判断和保存，直到将所有的工业实时数据压缩完毕。本发明中，直线方程的走向更符合后续数据点的变化趋势，在一定压缩限值范围内都有非常好的数据压缩率，高于任何几种传统的压缩方法。

Description

一种高压缩比的工业实时数据压缩方法

技术领域

本发明属于数据压缩技术领域，更为具体地讲，涉及一种高压缩比的工业实时数据压缩方法。

背景技术

1、数据压缩概述

数据压缩技术在图像，音频处理等领域已有非常广泛的应用，技术日趋先进成熟并已形成了国际化标准，如图像处理领域的JEPG压缩技术，音频处理中的MP3压缩技术等。但是由于现代存储设备容量的不断增大，在工业自动化领域则应用的较少，在电力系统、故障检测与诊断系统、过程控制、过程监测、多通道数据采集系统等会产生海量实时和历史数据的自动化系统中，数据压缩还没有得到广泛的重视和应用。在多通道自动测试系统中数据一般由数据采集模块采集得到，采集的信号一般为传感器信号，目前的数据采集模块采样频率都较高，例如总采样速率为100KHz，则如果系统为16个通道，单个通道每秒可采集62次，现行更高的从几十MHz到几十GHz不等的采集模块比这个次数还要高的多，这样每秒就可产生大量高精度的浮点数据，面对海量的存储数据，人们解决的办法只是单纯的增加存储设备，而很少应用数据压缩技术对其中大量的冗余数据进行压缩，以达到减少数据量，节约存储设备的目的。

2.现有工业实时数据压缩方法

数据压缩根据不同编码对原始文件数据产生的不同损失效果，可把数据压缩技术分为无损压缩和有损压缩。无损压缩一般以通用压缩理论为基础，采取哈佛曼算法等经典的压缩算法，具有无失真、无差错或无噪声编码的性质。有损压缩是在压缩过程中损失一定的信息以获得较高的压缩比。有损压缩虽然不能完全恢复原始数据，但损失的数据对理解原始数据的信息影响不大，并由此获得较大的压缩比，从而节约大量存储空间。

目前比较有效并且应用较多的工业实时数据压缩方法主要有稳态阈值法，即死区算法，旋转门算法，线性外插算法，这三种方法均属于有损压缩。

2.1稳态阈值法

稳态阈值法的原理是以一般能容忍的失真范围为限定，通过判断当前数据值与下一个数据值是否大于压缩限值来决定是否舍弃或记录该数据，限值设置越大，数据压缩率越高，但失真度也越大。如图1所示，如果压缩限值设置为0.5，当前数据值是10.0，则下一个数据值如果在10.5以上或9.5以下都将被记录，并以记录的数据点为起点，设该点的值为y，0.5为判别门限，判断下一个数据值是否在y±0.5之间，如果在，则舍弃该数据点，如果不在，则记录该数据点，再以记录的数据点为起点，进行判断，对数据进行压缩。如图1中，打圈的数据点被记录下来。

2.2旋转门算法

旋转门算法是一种线性趋势化压缩算法，将线性趋势化的斜率变化情况作为重点考虑的因素，强调寻找改变斜率的线性“触发点”，主要有平行四边形和三角形两种处理方式。算法的主要思想是利用当前数据点与前一个存储点缩构成的压缩限值覆盖区来判断数据是否应当保留。如果两点构成的压缩覆盖区能覆盖两点之间所有数据点，则舍弃当前数据点，反之如果有数据点落在覆盖区以外，就保存当前点的前一个数据点，并以该点为新的起点与后读入的点构成新的覆盖区继续判断压缩的取舍点。具体压缩判断流程介绍如下：

设旋转门的压缩限值设为0.1，数据存储时间间隔为1s。从读入的第一个数据点开始，以它到当前数据点之间的连线为中轴，过这两点做一个宽度为2倍压缩限值的平行四边形，判断平行四边形覆盖的区域是否能覆盖所有从上个存储点到当前点之间的所有数据点，随着数据点的读入，以同样的方法作新的平行四边形，如图2所示。

当产生的平行四边形不能容纳上个存储点到当前点之间的所有数据点时，即有数据点落在当前平行四边形覆盖面积之外时，则对当前点通过本段压缩，将一个数据点保存，其他点舍弃。如图2中，第10秒时有数据点落在了平行四边形覆盖范围之外，所以将起点和前一点，即第9秒的数据点保存，其余数据舍弃。以新保存的数据点为起点继续重复上述过程，判断后续数据点是否满足判别要求。

2.3线性外插算法

线性外插算法也是一种利用线性化思想进行压缩处理的方法，其主要处理方式是读入两个数据点，用这两点作出一条直线，直线方程为y＝ax+b，设后续点的横坐标值为x_i，把横坐标的值带入直线方程，算出该点的对应的函数值y_i是实际读入点的数据值，δ是门限值，判断后续点是否满足y′-δ＜y＜y′+δ，若满足则舍弃该数据点，不满足则记录该数据点及该数据点的前一点的值。并以不满足门限值的数据点为下次判断直线的起点，与后续的一个数据点作出直线进行判断，算法的主要思路如图3所示。

重复上述判别步骤，经过判断，只有图3中打圈的点被保存下来，其余满足判别门限的点都被压了。

上述方法中，稳态阈值法更适用于相对稳态的变化数据，对实时变化较大的数据效果则不是很好；旋转门压缩算法，主要利用当前数据点与前一个存储点所构成的压缩限制覆盖区来判断数据是否该保留，此算法中，需重复判断多个数据点，从而使压缩时间过长；线性外插算法对压缩限值较小的数据压缩效果较好，对压缩限值较大时效果则较差。

发明内容

本发明的目的在于克服线性外插算法的不足，提供一种高压缩比的工业实时数据压缩方法。

为实现上述发明目的，本发明高压缩比的工业实时数据压缩方法，其特征在于，包括以下步骤：

(1)、若工业实时数据剩余点少于n个，n≥3，则已到工业实时数据的末尾，则把这几个数据点的数据值全部保存下来；否则，对工业实时数据顺序读入n个数据点(x_i，y_i)，x_i＝i，i＝1，2，…，n，y_i为第i个点对应的数据值；

采用最小二乘拟合方法，对这n个数据进行直线拟合，拟合的直线方程为：

y＝a₀+a₁x                       (1)

其中，a₀，a₁是拟合直线的系数；

把这n个数据点的x_i值依次代入拟合出的直线方程，得到拟合值

(2)、判断n个数据点数据值y_i是否满足判别条件

δ为压缩限值；

①、若n个数据点数据值y_i全部满足判别条件，则舍弃这n个数据点数据值y_i，只把这n个数据起点对应的拟合值，即拟合值

保存下来，跳转到第(3)步；

②、若有不满足判别条件的拟合值，则保存这n个数据中起点对应的拟合值，即拟合值

保存下来，然后，将读入数据的起点向后移一位，返回第(1)步；

(3)继续读入下一个数据点，拟合直线后读入的下一个数据点坐标为x_j，x_j＝n+1，代入(1)中拟合出的直线方程，求得相应拟合值

根据压缩限值δ，以及实际读入的下一个数据值y_j，判断：

如果

成立，则说明该数据点在预测范围内，该数据点舍去，继续用拟合的直线方程，采用本步骤的方法依次判断下一个数据点，数据点坐标为x_j＝n+2，n+3，…，直到不满足为止；

如果

不成立，则说明该数据点超出了预测数据加减压缩限值的范围，记录不满足判别条件的数据点的前一个数据点的拟合值，并以前一个数据点为读入数据的起点，返回步骤(1)。

本发明的发明目的是这样实现的：

本发明高压缩比的工业实时数据压缩方法为预测递推法，读入n个数据点采用最小二乘拟合方法拟合直线方程，如果这n个数据点不满足偏离直线方程小于压缩限值δ，则把这n个数据点的起点保存，然后，再读入起点后的n个数据点拟合直线方程，并判断，依次类推，直到n个数据点满足偏离直线方程小于压缩限值δ。然后，读入判断后续数据点数据值y_j与根据直线方程得到的预测的拟合值

的偏离是否小于等于压缩限值δ的判别条件，如果小于，则舍弃，继续读入判断后续数据点，直到大于压缩限值δ；如果大于，则保存不满足判别条件的数据点的前一个数据点的拟合值，并以前一个数据点为读入数据的起点，重新读入n个数据点，进行拟合判断和保存，直到将所有的工业实时数据压缩完毕。

在本发明中，直线方程的走向更符合后续数据点的变化趋势，在一定压缩限值范围内都有非常好的数据压缩率，高于任何几种传统的压缩方法。在压缩时间方面，由于拟合次数相比线性外插法少，计算时间相应减少，压缩时间的快速方面也得到了提高，对工业数据有实时性的要求有较好的改进。因此，本发明高压缩比的工业实时数据压缩方法适合数据有一定波动，精度要求不是太高，而对数据压缩率和压缩速度要求较高的数据的压缩。

附图说明

图1是现有技术稳态阈值法一实例示意图；

图2是现有技术旋转门算法一实例示意图；

图3是现有技术线性外插算法一实例示意图；

图4是本发明高压缩比的工业实时数据压缩方法一具体实施方式示意图；

图5是图4所示高压缩比的工业实时数据压缩方法的具体流程图；

图6是需要压缩的工业实时数据；

图7是图6的工业实时数据四种压缩方法在不同压缩限值下的压缩比曲线图；

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图4是本发明高压缩比的工业实时数据压缩方法一具体实施方式示意图。

在本实施例中，如图4所示，对工业实时数据以起点读入n个数据点(x_i，y_i)，n＝5，x_i＝i，i＝1，2，…，5，y_i为第i个点对应的数据值，将5个点按一次阶拟合出一条直线如图4-1(a)所示，拟合的直线方程为：

y＝a₀+a₁x                            (1)

其中，a₀，a₁是拟合直线的系数；

把进行直线拟合的5个点的x_i依次带入拟合出的直线方程，求出对应的拟合值

判断进行拟合的5个数据点数据值是否满足判别条件

如图4(b)所示：

①、若5个数据点数据值y_i全部满足判别条件，则舍弃这5个数据点数据值y_i，只把这5个数据起点对应的拟合值，即拟合值

保存下来；

继续读入下一个数据点(x_j，y_j)，拟合直线后读入的下一个数据点坐标为x_j，x_j＝j，j＝n+1代入(1)中拟合出的直线方程，求得相应拟合值

根据压缩限值δ，以及实际读入的下一个数据值y_j，判断：

如果

成立，则说明该数据点在预测范围内，该数据点舍去，继续用拟合的直线方程，采用本步骤的方法依次判断下一个数据点，数据点坐标为x_j＝5+2，5+3，…，如图4(c)所示，直到不满足为止。

如果

不成立，则说明该数据点超出了预测数据加减压缩限值的范围，记录不满足判别条件的数据点的前一个数据点的拟合值，并以前一个数据点为读入数据的起点，如图4(d)所示，然后返回，重新读入n＝5个数据进行压缩，如图4(e)、(f)、(g)、(h)所示，最后归档的数据点为图4(h)中打圈的数据点。

②、若有不满足判别条件的拟合值，则保存这n个数据起点对应的拟合值，即拟合值

保存下来，然后，将读入数据的起点向后移一位，然后返回，重新读入n＝5个数据进行压缩。

图5是图4所示高压缩比的工业实时数据压缩方法的具体流程图。

在本实施例中，如图5所示，采用first作为读取数据的起点变量，用于记录起点数据在整个需要压缩的工业实时数据的位置，初始值为1；

以first为起点，在需要压缩的工业实时数据中读取5个数据点拟合一条直线，判断5个数据点是否满足压缩限值，即是否满足判别条件

如果不满足，则存储first对应的拟合值，将first加1存入到first中，即保存这n个数据中起点对应的拟合值，即拟合值

保存下来，然后，将读入数据的起点向后移一位，然后返回，重新读入n＝5个数据进行压缩。

如果满足，继续读入下一个数据点(x_j，y_j)，下一点数据在需要压缩的工业实时数据中的位置用check变量来确定，check＝first+5；然后，依据拟合出的直线方程，求出相应的拟合值

判断数据值y_j是否满足压缩门限δ，即是否满足

如果不满足，则说明该数据点超出了预测数据加减压缩限值的范围，记录不满足判别条件的数据点的前一个数据点的拟合值，并以前一个数据点为读入数据的起点，即first＝check-1，返回重新读入n＝5个数据进行压缩，如果满足，则说明该数据点在预测范围内，该数据点舍去，继续用拟合的直线方程，采用本步骤的方法依次判断下一个数据点，即check＝check+1，继续进行下下一个数据点的判断，直到不满足为止。

1、四种种压缩方法压缩率的比较

压缩测试即为对压缩效果的测试，本测试工业实时数据如图6所示，点数为6000点，噪声为0.5，得出各压缩方法在不同压缩限值时的压缩测试结果。“点数”表示压缩后数据点数，ratio表示压缩比，结果如表1所示。

表1

图7是图6的工业实时数据四种压缩方法在不同压缩限值下的压缩比曲线图。如表1、图7所示，本发明的方法，即预测递推法与现有技术的线外插算法相比，在压缩限值较大时，压缩比得到了大幅度的提高。

2、各压缩算法测试时间比较

表2

表2是在噪声为0.0，压缩限值为0.5时进行测试得到的压缩时间。从表2可以看出，本发明的方法，即预测递推方法压缩时间较短。

3、递推预测法与线性外插算法的比较

本发明是以线性外插算法为基础进行的改进，线性外插算法以连接实际数据点做出的直线作为判断后续数据点的标准，不需要判断进行直线连接的两个数据点是否是一串稳定数据中的异常点，这就导致了作为判别标准的直线有可能是偏差极大的直线，并且继续以该直线作为后续数据点的判别依据而不做任何纠正的处理，从而产生更大的误差，保存越来越多的数据，使压缩率降低。这从实验数据中也可得到印证，由表1中的实验结果可知，当压缩限值设置得较小时，线性外插算法相比其他算法有更高的数据压缩率，但当压缩率设置得越大，线性外插算法的压缩率增大的并不多，大至一定程度时，数据压缩率成为几种压缩算法中最差的一种。由此可知，线性外插算法更适合对数据波动很小，十分稳定，精度要求较高的数据进行压缩。而对波动较大，精度要求不是很高，而对压缩率要求很高的数据是不适合的。

而在预测递推法中，作为后续数据点判别标准的直线是通过最小二乘拟合出的直线，其最小标准偏差满足每一个进行拟合的数据点，因此直线的走向更符合后续数据点的变化趋势，在一定压缩限值范围内都有非常好的数据压缩率，高于任何几种传统的压缩算法。在压缩时间方面，由于拟合次数相比线性外插少，计算计算时间相应减少，压缩时间的快速方面也得到了提高，对工业数据有实时性的要求有较好的改进。因此，预测递推压缩算法适合数据有一定波动，精度要求不是太高，而对数据压缩率和压缩速度要求较高的数据。

本发明在于针对工业实时数据的特点，分析和研究其采集数据的特点与结构，探索和设计出适用于工业实时数据，切实可行，可靠高效的数据压缩方法，使大量的采集数据得到更好的压缩效果，提高压缩率，减少压缩时间，节约存储空间，降低工业生产成本，提高系统处理数据的速度。

在工业自动化领域应用数据压缩技术具有非常重要的意义。首先，现有的工业自动化系统很难处理工业生产过程中产生的海量实时和历史数据，这里说很难处理，包括处理速度和磁盘容量。磁盘容量只是问题的一个方面，另一方面，数据的高压缩率意味着整个系统的数据处理速度更快，这体现在：高压缩率的数据，占用磁盘空间小，将数据从磁盘读入内存的速度快，网络传输的速度快，数据在内存中占用的空间小。一个良好的工业自动化系统，必须要解决好数据的实时处理问题，利用数据压缩技术，不仅能节约存储设备，还能提高系统速度，使系统的整体性能达到某个可用性指标。本发明的方法，即预测递推法针对工业实时数据的特点，不仅具有很好的数据压缩率，并且判断速度快，具有良好的实时处理性，可以很好的解决工业数据的处理问题。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种高压缩比的工业实时数据压缩方法，其特征在于，包括以下步骤：

（1）、若工业实时数据剩余点少于n个，n≥3，则已到工业实时数据的末尾，则把这几个数据点的数据值全部保存下来；否则，对工业实时数据顺序读入n个数据点(x_i,y_i)，x_i=i，i=1,2,…,n，y_i为第i个点对应的数据值；

采用最小二乘拟合方法，对这n个数据进行直线拟合，拟合的直线方程为：

y=a₀+a₁x  （1）

其中，a₀，a₁是拟合直线的系数；

把这n个数据点的x_i值依次代入拟合出的直线方程，得到拟合值y′_i；

（2）、判断n个数据点数据值y_i是否满足判别条件|y_i-y′_i|<δ，δ为压缩限值；

①、若n个数据点数据值y_i全部满足判别条件，则舍弃这n个数据点数据值y_i，只把这n个数据起点对应的拟合值，即拟合值y′₁保存下来，跳转到第（3）步；

②、若有不满足判别条件的拟合值，则保存这n个数据中起点对应的拟合值，即拟合值y′₁保存下来，然后，将读入数据的起点向后移一位，返回第（1）步；

（3）继续读入下一个数据点，拟合直线后读入的下一个数据点坐标为x_j，x_j=n+1，代入（1）中拟合出的直线方程，求得相应拟合值y′_j，根据压缩限值δ，以及实际读入的下一个数据值y_j，判断：

如果|y_j-y′_j|≤δ成立，则说明该数据点在预测范围内，该数据点舍去，继续用拟合的直线方程，采用本步骤的方法依次判断下一个数据点，数据点坐标为x_j=n+2,n+3,…，直到不满足为止；

如果|y_j-y′_j|≤δ不成立，则说明该数据点超出了预测数据加减压缩限值的范围，记录不满足判别条件的数据点的前一个数据点的拟合值，并以前一个数据点为读入数据的起点，返回步骤（1）。

Images