CN104168085A - 一种基于冗余熵变换的数据压缩方法 - Google Patents

Abstract

本发明公开了一种基于冗余熵变换的数据压缩方法，传感器采集到的数据首先进入去冗余熵变换模块，使变换后数据的概率分布更有规律，更有利于熵编码；之后，变换后的数据进入熵网络编码实现数据压缩、融合，压缩融合后的数据通过无线通信模块发送出去，到达解压缩过程，然后将解压缩后的数据进入去冗余熵逆变换，恢复出原始的传感数据。本发明的算法简单，占用内存少，压缩和解压缩过程中耗能很少；模型通过各种变换数据的概率分布，进行去冗余熵变换，使得信源的极限熵减小或者降低信源的冗余熵，如果此时还能保持相同的编码效率得到更短的平均码长，就可以实现更好的压缩效果，从而实现更高的压缩率。

Description

一种基于冗余熵变换的数据压缩方法

技术领域

本发明属于传感节点无损压缩算法领域，尤其涉及一种基于冗余熵变换的数据压缩方法。

背景技术

目前，传感节点中的无损压缩算法研究，还停留在比较原始的阶段。主要表现是还没有专用的算法出现，还停留在对PC机上经典算法进行改造并使之可以运行于节点之中的阶段。其实，传感节点所采集到的数据有自己的分布规律，通过分析这些规律就可以找到更适合的压缩方法。同时，传感节点的CPU也有自己的特点，通过分析这些特点就可以开发出更高效的压缩算法。

数据可以进行压缩的根本原因是数据本身存在冗余，冗余度大小与数据中每个信源符号的概率和数据间的相关性有关，减少或去除数据间的相关性就可以实现数据压缩。数据压缩的理论的极限是信源的极限熵，而信源的极限熵又与信源符号的概率分布有关，当信源符号为等概率分布(即均匀分布)时，极限熵取得最大值，等于信源的最大熵；反过来，当信源符号的概率分布越不均匀时，极限熵越小。经文献查阅，多种信源编码的压缩率已经接近或达到了信源数据压缩的理论极限，基于信源编码的数据压缩研究已无太大的潜力可挖，但其效率与实际应用对数据压缩的需求相比，仍有一定差距，因此，实际应用中，通常会对信源先进行变换，再进行编码，以实现更高的压缩率。

发明内容

本发明的目的在于提供一种基于冗余熵变换的数据压缩方法，旨在降低数据压缩和解压缩过程中的能耗，实现更高的压缩率。

本发明是这样实现的，一种基于冗余熵变换的数据压缩方法是这样实现的：传感器采集到的数据首先进入去冗余熵变换模块，使变换后数据的概率分布更有规律，更有利于熵编码；之后，变换后的数据进入熵网络编码实现数据压缩、融合，压缩融合后的数据通过无线通信模块发送出去，到达解压缩过程，然后将解压缩后的数据进入去冗余熵逆变换，恢复出原始的传感数据。

进一步，所述的基于冗余熵变换的数据压缩方法采用的是基于冗余熵变换的数据压缩方法。

进一步，所述的基于冗余熵变换的数据压缩方法的具体方法为：

步骤一、在编码时，首先根据E1_n+1＝E1_n+d_n+1式计算出E1值，再根据和式计算出拟合残差，计算这两步时，均需要对结果进行越限判断，判断E1是否越限是为了避免其超过传感器数据总线上限而造成溢出；判断残差是否越限是为了实现分段拟合，以提高拟合精度；

步骤二、当一段输入数据的拟合残差全部计算完后，就可以构造出{d_n,E1_n,DFR₃,DFR₄,…DFR_n}所示的数据包，通过S-Huffman编码方法对其进行熵编码，然后发送出去，接收端解码时，先将接收到的一组数据解码，还原出{d_n,E1_n,DFR₃,DFR₄,…DFR_n}式所示的数据包，然后根据式计算并还原出所有原始数据。

进一步，所述的拟合差值残差去冗余熵变换算法的伪C码为：

E1＝d1+d2

i＝3

While(I<＝n)

{

E1＝E1+d_i

CalculateΔd'_ifrom E1and d_i by formula(5.32)；

DFR_i＝d_i-Δd'_i；

If(DFR_iwithin threshold)break；

}

Output sequence:{d_i,E1,DFR₃,DFR₄…DFR_i}TO ND-encoding module。

进一步，所述的拟合差值残差去冗余熵逆变换的伪C码为：

i＝n；

while(i>1)

{

CalculateΔd'_ifrom E1 and d_iby(5.32)

E₁＝E₁-d_i；

}

d₁＝E₁。

效果汇总

本发明的基于冗余熵变换的数据压缩方法，算法简单，占用内存少，压缩和解压缩过程中耗能很少；模型通过各种变换数据的概率分布，进行去冗余熵变换，使得信源的极限熵减小或者降低信源的冗余熵，如果此时还能保持相同的编码效率得到更短的平均码长，就可以实现更好的压缩效果，从而实现更高的压缩率。

附图说明

图1是本发明实施例提供的基于去冗余熵的数据压缩框图；

图2是本发明实施例提供的差值拟合残差去冗余熵变换算法框图；

图3是本发明实施例提供的测试DFR和S-Huffman算法性能的3组数据分布图；

图4是本发明实施例提供的DFR和S-Huffman算法的压缩率对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明是这样实现的，一种基于冗余熵变换的数据压缩方法是这样实现的：传感器采集到的数据首先进入去冗余熵变换模块，使变换后数据的概率分布更有规律，更有利于熵编码；之后，变换后的数据进入熵网络编码实现数据压缩、融合，压缩融合后的数据通过无线通信模块发送出去，到达解压缩过程，然后将解压缩后的数据进入去冗余熵逆变换，恢复出原始的传感数据。

熵网络编码首先需要合并最小的概率，指定内部节点的每一对树枝上的0和1，得到分配给每个信源的码字，这样就构造出一个码树；在构造一个D元码的Huffman过程中，每一步合并最小的D个概率，如果通过k+1步得到这个码树，其中k≥0，那么就有k+1个内部节点和D+k(D-1)个叶子，其中每一个叶子对应字母表中的一个信源符号，如果字母表的大小m具有形式D+k(D-1),则可以直接应用Huffman过程，否则，需要给字母表中添加概率是0的虚拟字符，以使得字符总数具有D+k(D-1)的形式。因为Huffman码就是前缀码的一种，因此Huffman码的期望长度至少是信源的熵。

进一步，所述的基于冗余熵变换的数据压缩方法采用的是基于冗余熵变换的数据压缩方法。

进一步，如图2所示，所述的基于冗余熵变换的数据压缩方法的具体方法为：

步骤一、在编码时，首先根据E1_n+1＝E1_n+d_n+1式计算出E1值，再根据和式计算出拟合残差，计算这两步时，均需要对结果进行越限判断，判断E1是否越限是为了避免其超过传感器数据总线上限而造成溢出；判断残差是否越限是为了实现分段拟合，以提高拟合精度；

步骤二、当一段输入数据的拟合残差全部计算完后，就可以构造出{d_n,E1_n,DFR₃,DFR₄,…DFR_n}所示的数据包，通过S-Huffman编码方法对其进行熵编码，然后发送出去，接收端解码时，先将接收到的一组数据解码，还原出{d_n,E1_n,DFR₃,DFR₄,…DFR_n}式所示的数据包，然后根据式计算并还原出所有原始数据。

进一步，所述的拟合差值残差去冗余熵变换算法的伪C码为：

E1＝d1+d2

i＝3

While(I<＝n)

{

E1＝E1+d_i

CalculateΔd'_ifrom E1and d_iby formula(5.32)；

DFR_i＝d_i-Δd'_i；

If(DFR_iwithin threshold)break；

}

Output sequence:{d_i,E1,DFR₃,DFR₄…DFR_i}TO ND-encoding module。

进一步，所述的拟合差值残差去冗余熵逆变换的伪C码为：

i＝n；

while(i>1)

{

CalculateΔd'_ifrom E1 and d_iby(5.32)

E₁＝E₁-d_i；

}

d₁＝E₁。

为了验证差值拟合残差去冗余熵算法的有效性和适用性，采用了3组数据进行对比验证，分别为平缓数据、轻微波动数据和较大波动数据，数据分布情况如图3所示，数据压缩测试结果如图4所示；从图4的测试结果可以看出，1.随着输入数据波动的加大，两种方法的压缩率均要下降，下降的幅度差不多；2.对于这3种常出现的数据类型，去冗余熵算法的压缩率比S-Huffman的要高，压缩效果好。说明去冗余熵变换可以改变原始数据的信源熵，因而可以很好的压缩数据。

本发明的基于冗余熵变换的数据压缩方法，算法简单，占用内存少，压缩和解压缩过程中耗能很少；模型通过各种变换数据的概率分布，进行去冗余熵变换，使得信源的极限熵减小或者降低信源的冗余熵，如果此时还能保持相同的编码效率得到更短的平均码长，就可以实现更好的压缩效果，从而实现更高的压缩率。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性的劳动即可做出的各种修改或变形仍在本发明的保护范围之内。

Claims (6)

1.一种基于冗余熵变换的数据压缩方法，其特征在于，所述的基于冗余熵变换的数据压缩方法为：

传感器采集到的数据首先进入去冗余熵变换模块，使变换后数据的概率分布更有规律，更有利于熵编码；之后，变换后的数据进入熵网络编码实现数据压缩、融合，压缩融合后的数据通过无线通信模块发送出去，到达解压缩过程，然后将解压缩后的数据进入去冗余熵逆变换，恢复出原始的传感数据。

2.如权利要求1所述的基于冗余熵变换的数据压缩方法，其特征在于，所述的基于冗余熵变换的数据压缩方法采用的是基于冗余熵变换的数据压缩方法。

3.如权利要求1所述的基于冗余熵变换的数据压缩方法，其特征在于，所述的基于冗余熵变换的数据压缩方法的步骤为：

步骤一、在编码时，首先根据E1_n+1＝E1_n+d_n+1式计算出E1值，再根据和式计算出拟合残差，计算这两步时，均需要对结果进行越限判断，判断E1是否越限是为了避免超过传感器数据总线上限而造成溢出；判断残差是否越限是为实现分段拟合；

步骤二、当一段输入数据的拟合残差全部计算完后，就构造出{d_n,E1_n,DFR₃,DFR₄,…DFR_n}所示的数据包，通过S-Huffman编码方法对进行熵编码，然后发送出去，接收端解码时，先将接收到的一组数据解码，还原出{d_n,E1_n,DFR₃,DFR₄,…DFR_n}式所示的数据包，然后根据式计算并还原出所有原始数据。

4.如权利要求1所述的基于冗余熵变换的数据压缩方法，其特征在于，所述的数据压缩方法的拟合差值残差去冗余熵变换算法的伪C码为：

E1＝d1+d2

i＝3

While(I<＝n)

{

E1＝E1+d_i

CalculateΔd'_ifrom E1and d_iby formula(5.32)；

DFR_i＝d_i-Δd'_i；

If(DFR_iwithin threshold)break；

}

Output sequence:{d_i,E1,DFR₃,DFR₄…DFR_i}TO ND-encoding module。

5.如权利要求1所述的基于冗余熵变换的数据压缩方法，其特征在于，所述的拟合差值残差去冗余熵逆变换的伪C码为：

i＝n；

while(i>1)

{

CalculateΔd'_ifrom E1 and d_iby(5.32)

E₁＝E₁-d_i；

}

d₁＝E₁。

6.如权利要求1所述的基于冗余熵变换的数据压缩方法，其特征在于，熵网络编码首先需要合并最小的概率，指定内部节点的每一对树枝上的0和1，得到分配给每个信源的码字，这样就构造出一个码树；在构造一个D元码的Huffman过程中，每一步合并最小的D个概率，如果通过k+1步得到这个码树，其中k≥0，那么就有k+1个内部节点和D+k(D-1)个叶子，其中每一个叶子对应字母表中的一个信源符号，如果字母表的大小m具有形式D+k(D-1),则可以直接应用Huffman过程，否则，需要给字母表中添加概率是0的虚拟字符，以使得字符总数具有D+k(D-1)的形式。