CN103701468B - 基于正交小波包变换与旋转门算法的数据压缩与解压方法 - Google Patents

Abstract

本发明公开了一种基于正交小波包变换与旋转门算法的两级数据压缩与解压方法，数据压缩包括如下步骤：（1）对原始数据进行正交小波包变换，得到小波包系数；（2）对步骤（1）中得到的小波包系数进行阈值处理；（3）采用旋转门算法对经过阈值处理后的小波包系数进行二级压缩。压缩后的数据存储至历史数据库或磁盘。对压缩后的数据进行解压，包括如下步骤（4）对压缩后的数据进行线性插值，恢复得到一级压缩数据；（5）对一级压缩数据进行小波包重构，得到原始数据。本发明解决了大型实时数据库中非平稳模拟信号难以压缩的问题，提供了一种实现简单，数据压缩率高，对非平稳变化信号压缩效果明显的数据压缩与解压方法。

Description

基于正交小波包变换与旋转门算法的数据压缩与解压方法

技术领域

本发明涉及海量数据存储技术领域，具体涉及一种实时数据库的两级数据压缩与解压方法。

背景技术

大型实时数据库系统用于存储各类联网设备的实时采集、加工、整理后的数据，从而实现所有设备的在线运行监控、操作参数优化、调度指挥，以及在线故障诊断等，对提高企业的生产管理水平、保障装置的安全稳定运行具有重要的意义。在一些面向流程工业的大型应用中，必须要实现海量数据的存储。

对于海量数据而言，如果将这些数据直接存储，会极大地浪费磁盘空间，降低数据的存取效率。由于生产实时数据有其特殊的规律性，如果用流行的关系数据库保存历史数据不可行，因为一是压缩比小，二是查询速度慢，不能保证实时系统的需要。因此，在实际应用中必须采用有效的数据压缩算法对数据进行压缩处理。

数据压缩分为物理压缩和逻辑压缩。其中物理压缩是采用一定的编码算法对磁盘文件进行压缩，如ara、jpg、zip等压缩格式文件。物理压缩又分为无损压缩和有损压缩，图形图像文件、音频文件等一般采用有损压缩，而其他文档文件一般采用无损压缩。常见的无损压缩有Huffman算法、LZ77算法、LZ78算法等；有损算法则包可分为预测编码、变换编码、量化编码、信息熵编码等。逻辑压缩是根据数据变化规律，在一定的精度范围内，根据压缩算法实现对数据的压缩处理，如基于时间序列的旋转门压缩技术、LAW算法、RLZ算法。

但是，目前大多数实时数据库采用单一的压缩方法，无法同时兼顾压缩比和压缩效果。同时在实际应用中,通用的压缩算法还面临一些问题。例如,在某些重要领域如电力系统中，存在一些非平稳信号，这些非平稳信号中包含大量的高频信息，这些高频信息的频带很宽，且不易详细区分其中哪些频带部分是有用的和无用的。因此，需要将信息分成重要频带和不重要频带进行压缩。对于不重要的低频段信息可以去除，不参与压缩；当不能肯定具体频带时也可以把其信息考虑进去。因此，需要一种压缩比高、适于非平稳信号压缩、抗干扰能力强的数据压缩方法，来解决非平稳信号的压缩问题。

发明内容

为了解决非平稳信号数据压缩效果不佳的问题，本发明提供了一种易于实现，压缩比高，适于非平稳信号压缩，抗干扰能力强的数据压缩与解压方法。

为了解决上述问题，本发明的所采取的技术方案是：

一种基于正交小波包变换与旋转门算法的数据压缩与解压方法，其特征在于：包括以下步骤：

（1）对原始数据进行正交小波包变换，得到小波包系数；

（2）对步骤（1）中得到的小波包系数进行阈值处理；

（3）采用旋转门算法对经过阈值处理后的小波包系数进行二级压缩。

对压缩后的数据进行解压，包括如下步骤：

（4）对压缩后的数据进行线性插值，恢复得到一级压缩数据；

（5）对一级压缩数据进行正交小波包重构，得到原始数据。

本发明解决了大型实时数据库中非平稳模拟信号难以压缩的问题，提供了一种实现简单，数据压缩率高，对非平稳变化信号压缩效果明显的数据压缩与解压方法。

前述的一种基于正交小波包变换与旋转门算法的数据压缩与解压方法，选用紧支撑集正交小波包变换，对原始数据进行小波包变换；对频率进行多层次划分，并根据被分解数据的特征，自适应地选择相应的频带，以与信号频谱相匹配，从而达到更好的压缩效果。即将原始数据按紧支撑集正交小波包展开，然后对低频系数使用矢量量化法，对高频系数使用标量量化法，从而达到较高的压缩比。

所述步骤（1）的具体步骤为：

a1）选用具有紧支撑集的正交小波函数：本发明中选用近似对称的正交小波--Coilflet小波作为波函数进行初级数据的压缩。

a2）确定最优小波包基：选用Shannon熵作为数据压缩的熵标准：约定0log0=0；其中EL(s)即为Shannon熵，s_i代表输入信号（即被压缩信号）S在一个正交小波包基下展开得到的小波包系数序列。

在进行小波包分解时，由上至下分别计算下一层的熵值，然后与上一层的熵值进行比较，由最小熵标准，依次判断小波包最优分解的方向，最后确定基于此熵标准的最小波包分解基。

a3）采用通用的Mallet算法进行小波包分解。

前述的一种基于正交小波包变换与旋转门算法的两级数据压缩与解压方法，将原始数据进行小波包分解后，对每个节点系数分别设定不同的阈值，对节点系数进行阈值处理后得到有用系数（即一级压缩数据）。阈值处理是舍弃小于阈值的分解系数，保留阈值之上的分解系数。阈值的选取非常关键，不仅要求将原始信号与重构信号的误差控制在允许范围之内，而且要获得尽可能大的压缩比。

所述步骤（2）的具体步骤为：

b1）选择节点阈值，各节点的阈值设定如下：

thrn=u_n×max(|u_n|) (1)

式中0<u_n<1为各节点的阈值系数，根据设定的误差限|u_n|自动调整，n为分解的节点数。

b2）阈值处理。按照下式对各节点的分解系数进行阈值处理，舍弃小于阈值的分解系数，保留阈值之上的分解系数：

阈值处理完毕后的小波包系数大量减少，这样就达到了数据压缩的目的，得到了一级压缩数据。

所述步骤（3）的具体步骤为：

假设实时数据库中有一级压缩数据缓冲区（存储步骤（2）中得到的数据）和二级压缩数据缓冲区（存储本步骤得到的数据）；针对一级数据缓冲区中的某一数据点X，P_m表示X在二级压缩数据缓冲区中的最新值，Q_n表示X在一级压缩数据缓冲区中的最新值，e表示点X的数据偏差。旋转门压缩算法的步骤如下：

c1）以P_m到Q_n画一条线为平行四边形的中线，则平行四边形的四个顶点分别为(t_m,P_m-e)，(t_m,P_m+e)，(t_n,Q_n-e)，(t_n,Q_n+e)，t_m和t_n分别为对应于值P_m和Q_n的采样时刻，m和n为数据点X的值编号；

c2）如果Q_n之前的数据值中有至少一个点落在平行四边形之外，则将Q_n-1转入二级压缩数据缓冲区，作为一个新的P_m，丢弃Q_n-1之前的所有数据值，将Q_n作为一级压缩数据缓冲区中的第一点；

c3）若二级压缩数据缓冲区已满，跳转至第5）步骤；

c4）当有新点Q_n到达时，转入第1）步；

c5）将二级压缩数据缓冲区中的数据进入数据归档队列。

前述的一种基于正交小波包变换与旋转门算法的两级数据压缩与解压方法，其特征在于：所述步骤（4）的具体步骤为：

对二级压缩数据进行线性插值，得到一级压缩数据。

前述的一种基于正交小波包变换与旋转门算法的两级数据压缩与解压方法，其特征在于：所述步骤（5）的具体步骤为：

采用通用的Mallet算法进行小波包系数重构。

至此，完成了本发明的所有详细陈述。

本方法的有益效果是，一方面能够采用小波包压缩算法，在降低实时数据噪声的同时，有效压缩非平稳数据；另一方面，采用两级压缩算法，比普通的一级压缩算法能够提高压缩比，减少所占用的存储空间。

为了有效存储海量历史数据，减小占用空间，本发明采用一种基于正交小波包变换和旋转门算法的两级数据压缩算法对实时数据进行压缩。其中，该算法的第一级压缩采用正交小波包变换方法，即对模拟量数据进行正交小波包变换，然后对产生的小波包系数进行阈值处理；第二级压缩采用旋转门算法，对小波包系数进一步压缩。进行数据解压时，只需对压缩数据先进行线性差值，再进行小波包重构，即可恢复原始数据。该种压缩方法一方面采用正交小波包变换，对非平稳模拟信号（如电气冲击脉冲）的数据压缩具有显著效果，能够在相同的失真度下，提高压缩性能；另一方面采用旋转门数据压缩算法进行二级压缩，可以有效提高数据压缩率。

本发明所采用的两级数据压缩方法，主要针对模拟量，尤其是非平稳模拟信号的数据压缩。该方法在降低数据噪声的同时，能够显著提高数据压缩比，节省数据存储空间。

附图说明

图1为本发明一种基于正交小波包变换与旋转门算法的两级数据压缩方法的示意图；

图2为本发明一种基于正交小波包变换与旋转门算法的两级数据压缩方法在大型数据采集与存储中的应用。

具体实施方式

下面结合附图对本发明做进一步的描述。

如图1所示，本发明的基于正交小波包变换与旋转门算法的两级数据压缩与解压方法，包括以下步骤：

（1）对原始数据进行正交小波包变换，得到小波包系数；

（2）对步骤（1）中得到的小波包系数进行阈值处理；

（3）采用旋转门算法对经过阈值处理后的小波包系数进行二级压缩。

对压缩后的数据进行解压，包括如下步骤：

（4）对压缩后的数据进行线性插值，恢复得到一级压缩数据；

（5）对一级压缩数据进行正交小波包重构，得到原始数据。

如图2所示，下层设备5，6，7，8的实时数据，经过数据采集设备4采集并传输至实时数据库服务器1，经过实时数据库服务器1的分类、处理和筛选，发送至上层客户端9显示，或者经由Web服务器3发送至远程客户端10，供远程客户监视和控制。实时数据被经过筛选后，一些重要的数据被作压缩处理，压缩后的历史数据被存储至历史服务器2，进行长期的存储。

在图2中，本发明一种基于正交小波包变换与旋转门算法的两级数据压缩方法，就是在实时数据库服务器1中实现的，该算法采用软件实现。由于实时数据库服务器本身的性能很高，再加上所采用的二级压缩算法，所以整个数据压缩过程快速而高效，能够短时间内处理海量实时数据，达到较高的压缩比。在同样的存储容量下，采用该算法能够保存更多的历史数据。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物为界。

Claims (5)

1.一种基于正交小波包变换与旋转门算法的数据压缩与解压方法，其特征在于：对数据进行压缩的步骤如下：

(1)对原始数据进行正交小波包变换，得到小波包系数；

(2)对步骤(1)中得到的小波包系数进行阈值处理；

(3)采用旋转门算法对经过阈值处理后的小波包系数进行二级压缩；

对压缩后的数据进行解压的步骤如下：

(4)对压缩后的数据进行线性插值，恢复得到一级压缩数据；

(5)对一级压缩数据进行正交小波包重构，得到原始数据；

所述步骤(3)的具体步骤为：

设实时数据库中有一级压缩数据缓冲区和二级压缩数据缓冲区；针对一级压缩数据缓冲区中的某一数据点X，P_m表示X在二级压缩数据缓冲区中的最新值，Q_n表示X在一级压缩数据缓冲区中的最新值，ε表示点X的数据偏差；

旋转门压缩算法的步骤如下：

c1)以P_m到Q_n画一条线为平行四边形的中线，则平行四边形的四个顶点分别为(t_m,P_m-ε)，(t_m,P_m+ε)，(t_n,Q_n-ε)，(t_n,Q_n+ε)，t_m和t_n分别为对应于值P_m和Q_n的采样时刻，m和n为数据点X的值编号；

c2)如果Q_n之前的数据值中有至少一个点落在平行四边形之外，则将Q_n-1转入二级压缩数据缓冲区，作为一个新的P_m，丢弃Q_n-1之前的所有数据值，将Q_n作为一级压缩数据缓冲区中的第一点；

c3)若二级压缩数据缓冲区已满，跳转至第c5)步骤；

c4)当有新点Q_n到达时，转入第c1)步；

c5)将二级压缩数据缓冲区中的数据进入数据归档队列。

2.根据权利要求1所述的基于正交小波包变换与旋转门算法的数据压缩与解压方法，其特征在于：采用紧支撑集正交小波包变换，对原始数据进行小波包变换；对频率进行多层次划分，并根据被分解数据的特征，选择相应的频带，以与信号频谱相匹配，对低频系数使用矢量量化法，对高频系数使用标量量化法。

3.根据权利要求1所述的基于正交小波包变换与旋转门算法的数据压缩与解压方法，其特征在于：将原始数据进行小波包分解后，对每个节点系数分别设定不同的阈值，对节点系数进行阈值处理后得到一级压缩数据。

4.根据权利要求3所述的基于正交小波包变换与旋转门算法的数据压缩与解压方法，其特征在于：所述步骤(2)的具体步骤为：

b1)选择节点阈值，各节点的阈值设定如下：

thrn＝u_n×max(|v_n|) (1)；

式中0<u_n<1为各节点的阈值系数，根据设定的误差限|v_n|自动调整，n为分解的节点数；

b2)阈值处理：按照下式对各节点的分解系数进行阈值处理，舍弃小于阈值的分解系数，保留阈值之上的分解系数：

${\stackrel{\&OverBar;}{\mathrm{\&upsi;}}}_n=\left\{\begin{array}{cc}{\mathrm{\&upsi;}}_n& \left|{\mathrm{\&upsi;}}_n\right|\&GreaterEqual;thrn\\ 0& \left|{\mathrm{\&upsi;}}_n\right|<thrn\end{array}\right.---\left(2\right);$

得到了一级压缩数据。

5.根据权利要求1所述的基于正交小波包变换与旋转门算法的数据压缩与解压方法，其特征在于：所述步骤(5)采用通用的Mallet算法进行小波包系数重构。