CN104168085A - 一种基于冗余熵变换的数据压缩方法 - Google Patents
一种基于冗余熵变换的数据压缩方法 Download PDFInfo
- Publication number
- CN104168085A CN104168085A CN201410377845.2A CN201410377845A CN104168085A CN 104168085 A CN104168085 A CN 104168085A CN 201410377845 A CN201410377845 A CN 201410377845A CN 104168085 A CN104168085 A CN 104168085A
- Authority
- CN
- China
- Prior art keywords
- entropy
- data
- redundancy
- dfr
- compression method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种基于冗余熵变换的数据压缩方法,传感器采集到的数据首先进入去冗余熵变换模块,使变换后数据的概率分布更有规律,更有利于熵编码;之后,变换后的数据进入熵网络编码实现数据压缩、融合,压缩融合后的数据通过无线通信模块发送出去,到达解压缩过程,然后将解压缩后的数据进入去冗余熵逆变换,恢复出原始的传感数据。本发明的算法简单,占用内存少,压缩和解压缩过程中耗能很少;模型通过各种变换数据的概率分布,进行去冗余熵变换,使得信源的极限熵减小或者降低信源的冗余熵,如果此时还能保持相同的编码效率得到更短的平均码长,就可以实现更好的压缩效果,从而实现更高的压缩率。
Description
技术领域
本发明属于传感节点无损压缩算法领域,尤其涉及一种基于冗余熵变换的数据压缩方法。
背景技术
目前,传感节点中的无损压缩算法研究,还停留在比较原始的阶段。主要表现是还没有专用的算法出现,还停留在对PC机上经典算法进行改造并使之可以运行于节点之中的阶段。其实,传感节点所采集到的数据有自己的分布规律,通过分析这些规律就可以找到更适合的压缩方法。同时,传感节点的CPU也有自己的特点,通过分析这些特点就可以开发出更高效的压缩算法。
数据可以进行压缩的根本原因是数据本身存在冗余,冗余度大小与数据中每个信源符号的概率和数据间的相关性有关,减少或去除数据间的相关性就可以实现数据压缩。数据压缩的理论的极限是信源的极限熵,而信源的极限熵又与信源符号的概率分布有关,当信源符号为等概率分布(即均匀分布)时,极限熵取得最大值,等于信源的最大熵;反过来,当信源符号的概率分布越不均匀时,极限熵越小。经文献查阅,多种信源编码的压缩率已经接近或达到了信源数据压缩的理论极限,基于信源编码的数据压缩研究已无太大的潜力可挖,但其效率与实际应用对数据压缩的需求相比,仍有一定差距,因此,实际应用中,通常会对信源先进行变换,再进行编码,以实现更高的压缩率。
发明内容
本发明的目的在于提供一种基于冗余熵变换的数据压缩方法,旨在降低数据压缩和解压缩过程中的能耗,实现更高的压缩率。
本发明是这样实现的,一种基于冗余熵变换的数据压缩方法是这样实现的:传感器采集到的数据首先进入去冗余熵变换模块,使变换后数据的概率分布更有规律,更有利于熵编码;之后,变换后的数据进入熵网络编码实现数据压缩、融合,压缩融合后的数据通过无线通信模块发送出去,到达解压缩过程,然后将解压缩后的数据进入去冗余熵逆变换,恢复出原始的传感数据。
进一步,所述的基于冗余熵变换的数据压缩方法采用的是基于冗余熵变换的数据压缩方法。
进一步,所述的基于冗余熵变换的数据压缩方法的具体方法为:
步骤一、在编码时,首先根据E1n+1=E1n+dn+1式计算出E1值,再根据和式计算出拟合残差,计算这两步时,均需要对结果进行越限判断,判断E1是否越限是为了避免其超过传感器数据总线上限而造成溢出;判断残差是否越限是为了实现分段拟合,以提高拟合精度;
步骤二、当一段输入数据的拟合残差全部计算完后,就可以构造出{dn,E1n,DFR3,DFR4,…DFRn}所示的数据包,通过S-Huffman编码方法对其进行熵编码,然后发送出去,接收端解码时,先将接收到的一组数据解码,还原出{dn,E1n,DFR3,DFR4,…DFRn}式所示的数据包,然后根据式计算并还原出所有原始数据。
进一步,所述的拟合差值残差去冗余熵变换算法的伪C码为:
E1=d1+d2
i=3
While(I<=n)
{
E1=E1+di
CalculateΔd'ifrom E1and di by formula(5.32);
DFRi=di-Δd'i;
If(DFRiwithin threshold)break;
}
Output sequence:{di,E1,DFR3,DFR4…DFRi}TO ND-encoding module。
进一步,所述的拟合差值残差去冗余熵逆变换的伪C码为:
i=n;
while(i>1)
{
CalculateΔd'ifrom E1 and diby(5.32)
E1=E1-di;
}
d1=E1。
效果汇总
本发明的基于冗余熵变换的数据压缩方法,算法简单,占用内存少,压缩和解压缩过程中耗能很少;模型通过各种变换数据的概率分布,进行去冗余熵变换,使得信源的极限熵减小或者降低信源的冗余熵,如果此时还能保持相同的编码效率得到更短的平均码长,就可以实现更好的压缩效果,从而实现更高的压缩率。
附图说明
图1是本发明实施例提供的基于去冗余熵的数据压缩框图;
图2是本发明实施例提供的差值拟合残差去冗余熵变换算法框图;
图3是本发明实施例提供的测试DFR和S-Huffman算法性能的3组数据分布图;
图4是本发明实施例提供的DFR和S-Huffman算法的压缩率对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明是这样实现的,一种基于冗余熵变换的数据压缩方法是这样实现的:传感器采集到的数据首先进入去冗余熵变换模块,使变换后数据的概率分布更有规律,更有利于熵编码;之后,变换后的数据进入熵网络编码实现数据压缩、融合,压缩融合后的数据通过无线通信模块发送出去,到达解压缩过程,然后将解压缩后的数据进入去冗余熵逆变换,恢复出原始的传感数据。
熵网络编码首先需要合并最小的概率,指定内部节点的每一对树枝上的0和1,得到分配给每个信源的码字,这样就构造出一个码树;在构造一个D元码的Huffman过程中,每一步合并最小的D个概率,如果通过k+1步得到这个码树,其中k≥0,那么就有k+1个内部节点和D+k(D-1)个叶子,其中每一个叶子对应字母表中的一个信源符号,如果字母表的大小m具有形式D+k(D-1),则可以直接应用Huffman过程,否则,需要给字母表中添加概率是0的虚拟字符,以使得字符总数具有D+k(D-1)的形式。因为Huffman码就是前缀码的一种,因此Huffman码的期望长度至少是信源的熵。
进一步,所述的基于冗余熵变换的数据压缩方法采用的是基于冗余熵变换的数据压缩方法。
进一步,如图2所示,所述的基于冗余熵变换的数据压缩方法的具体方法为:
步骤一、在编码时,首先根据E1n+1=E1n+dn+1式计算出E1值,再根据和式计算出拟合残差,计算这两步时,均需要对结果进行越限判断,判断E1是否越限是为了避免其超过传感器数据总线上限而造成溢出;判断残差是否越限是为了实现分段拟合,以提高拟合精度;
步骤二、当一段输入数据的拟合残差全部计算完后,就可以构造出{dn,E1n,DFR3,DFR4,…DFRn}所示的数据包,通过S-Huffman编码方法对其进行熵编码,然后发送出去,接收端解码时,先将接收到的一组数据解码,还原出{dn,E1n,DFR3,DFR4,…DFRn}式所示的数据包,然后根据式计算并还原出所有原始数据。
进一步,所述的拟合差值残差去冗余熵变换算法的伪C码为:
E1=d1+d2
i=3
While(I<=n)
{
E1=E1+di
CalculateΔd'ifrom E1and diby formula(5.32);
DFRi=di-Δd'i;
If(DFRiwithin threshold)break;
}
Output sequence:{di,E1,DFR3,DFR4…DFRi}TO ND-encoding module。
进一步,所述的拟合差值残差去冗余熵逆变换的伪C码为:
i=n;
while(i>1)
{
CalculateΔd'ifrom E1 and diby(5.32)
E1=E1-di;
}
d1=E1。
为了验证差值拟合残差去冗余熵算法的有效性和适用性,采用了3组数据进行对比验证,分别为平缓数据、轻微波动数据和较大波动数据,数据分布情况如图3所示,数据压缩测试结果如图4所示;从图4的测试结果可以看出,1.随着输入数据波动的加大,两种方法的压缩率均要下降,下降的幅度差不多;2.对于这3种常出现的数据类型,去冗余熵算法的压缩率比S-Huffman的要高,压缩效果好。说明去冗余熵变换可以改变原始数据的信源熵,因而可以很好的压缩数据。
本发明的基于冗余熵变换的数据压缩方法,算法简单,占用内存少,压缩和解压缩过程中耗能很少;模型通过各种变换数据的概率分布,进行去冗余熵变换,使得信源的极限熵减小或者降低信源的冗余熵,如果此时还能保持相同的编码效率得到更短的平均码长,就可以实现更好的压缩效果,从而实现更高的压缩率。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性的劳动即可做出的各种修改或变形仍在本发明的保护范围之内。
Claims (6)
1.一种基于冗余熵变换的数据压缩方法,其特征在于,所述的基于冗余熵变换的数据压缩方法为:
传感器采集到的数据首先进入去冗余熵变换模块,使变换后数据的概率分布更有规律,更有利于熵编码;之后,变换后的数据进入熵网络编码实现数据压缩、融合,压缩融合后的数据通过无线通信模块发送出去,到达解压缩过程,然后将解压缩后的数据进入去冗余熵逆变换,恢复出原始的传感数据。
2.如权利要求1所述的基于冗余熵变换的数据压缩方法,其特征在于,所述的基于冗余熵变换的数据压缩方法采用的是基于冗余熵变换的数据压缩方法。
3.如权利要求1所述的基于冗余熵变换的数据压缩方法,其特征在于,所述的基于冗余熵变换的数据压缩方法的步骤为:
步骤一、在编码时,首先根据E1n+1=E1n+dn+1式计算出E1值,再根据和式计算出拟合残差,计算这两步时,均需要对结果进行越限判断,判断E1是否越限是为了避免超过传感器数据总线上限而造成溢出;判断残差是否越限是为实现分段拟合;
步骤二、当一段输入数据的拟合残差全部计算完后,就构造出{dn,E1n,DFR3,DFR4,…DFRn}所示的数据包,通过S-Huffman编码方法对进行熵编码,然后发送出去,接收端解码时,先将接收到的一组数据解码,还原出{dn,E1n,DFR3,DFR4,…DFRn}式所示的数据包,然后根据式计算并还原出所有原始数据。
4.如权利要求1所述的基于冗余熵变换的数据压缩方法,其特征在于,所述的数据压缩方法的拟合差值残差去冗余熵变换算法的伪C码为:
E1=d1+d2
i=3
While(I<=n)
{
E1=E1+di
CalculateΔd'ifrom E1and diby formula(5.32);
DFRi=di-Δd'i;
If(DFRiwithin threshold)break;
}
Output sequence:{di,E1,DFR3,DFR4…DFRi}TO ND-encoding module。
5.如权利要求1所述的基于冗余熵变换的数据压缩方法,其特征在于,所述的拟合差值残差去冗余熵逆变换的伪C码为:
i=n;
while(i>1)
{
CalculateΔd'ifrom E1 and diby(5.32)
E1=E1-di;
}
d1=E1。
6.如权利要求1所述的基于冗余熵变换的数据压缩方法,其特征在于,熵网络编码首先需要合并最小的概率,指定内部节点的每一对树枝上的0和1,得到分配给每个信源的码字,这样就构造出一个码树;在构造一个D元码的Huffman过程中,每一步合并最小的D个概率,如果通过k+1步得到这个码树,其中k≥0,那么就有k+1个内部节点和D+k(D-1)个叶子,其中每一个叶子对应字母表中的一个信源符号,如果字母表的大小m具有形式D+k(D-1),则可以直接应用Huffman过程,否则,需要给字母表中添加概率是0的虚拟字符,以使得字符总数具有D+k(D-1)的形式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410377845.2A CN104168085B (zh) | 2014-08-01 | 2014-08-01 | 一种基于冗余熵变换的数据压缩方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410377845.2A CN104168085B (zh) | 2014-08-01 | 2014-08-01 | 一种基于冗余熵变换的数据压缩方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104168085A true CN104168085A (zh) | 2014-11-26 |
CN104168085B CN104168085B (zh) | 2017-11-24 |
Family
ID=51911741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410377845.2A Expired - Fee Related CN104168085B (zh) | 2014-08-01 | 2014-08-01 | 一种基于冗余熵变换的数据压缩方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104168085B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106055834A (zh) * | 2016-06-22 | 2016-10-26 | 江西服装学院 | 一种三维立体服装设计系统 |
CN106121621A (zh) * | 2016-07-15 | 2016-11-16 | 西南石油大学 | 一种智能钻井专家系统 |
CN106248491A (zh) * | 2016-07-25 | 2016-12-21 | 黑龙江科技大学 | 岩石损伤和渗透测试系统 |
CN106302680A (zh) * | 2016-08-06 | 2017-01-04 | 内蒙古大学 | 一种基于物联网的数据显示后台系统 |
CN106296343A (zh) * | 2016-08-01 | 2017-01-04 | 王四春 | 一种基于互联网和大数据的电子商务交易监测方法 |
CN106453274A (zh) * | 2016-09-22 | 2017-02-22 | 华北水利水电大学 | 一种智能数据安全管理控制系统和控制方法 |
CN106446250A (zh) * | 2016-10-14 | 2017-02-22 | 张成良 | 一种基于云计算的个性化在线新闻评论情绪预测系统 |
CN106446249A (zh) * | 2016-10-13 | 2017-02-22 | 刘海玲 | 一种地理信息获取方法及地理信息获取系统 |
CN106647399A (zh) * | 2016-12-26 | 2017-05-10 | 北华大学 | 一种智能英语学习机控制系统及控制方法 |
CN106779146A (zh) * | 2016-11-15 | 2017-05-31 | 广州铁路职业技术学院 | 一种用于提供推荐旅游路线的旅游服务系统 |
CN106943119A (zh) * | 2017-03-09 | 2017-07-14 | 北京大学第三医院 | 一种麻醉和意识深度监测系统 |
CN107067273A (zh) * | 2016-11-30 | 2017-08-18 | 四川省巴食巴适电子商务有限公司 | 基于互联网电子商务信息发布与推广的控制系统及方法 |
CN108537059A (zh) * | 2018-04-09 | 2018-09-14 | 湖南城市学院 | 一种新型信息管理系统 |
CN114374393A (zh) * | 2021-12-31 | 2022-04-19 | 天津大学 | 一种针对工业物联网时序数据的去冗余压缩方法 |
CN116684003A (zh) * | 2023-07-27 | 2023-09-01 | 南京中科齐信科技有限公司 | 一种基于量子通信的铁路沿线空地综合监测方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101783954A (zh) * | 2010-03-12 | 2010-07-21 | 厦门大学 | 一种视频图像编解码方法 |
EP2464018A1 (en) * | 2009-08-06 | 2012-06-13 | Panasonic Corporation | Encoding method, decoding method, encoding device and decoding device |
CN103634089A (zh) * | 2013-07-05 | 2014-03-12 | 山东科技大学 | 熵分复用方法 |
-
2014
- 2014-08-01 CN CN201410377845.2A patent/CN104168085B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2464018A1 (en) * | 2009-08-06 | 2012-06-13 | Panasonic Corporation | Encoding method, decoding method, encoding device and decoding device |
CN101783954A (zh) * | 2010-03-12 | 2010-07-21 | 厦门大学 | 一种视频图像编解码方法 |
CN103634089A (zh) * | 2013-07-05 | 2014-03-12 | 山东科技大学 | 熵分复用方法 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106055834A (zh) * | 2016-06-22 | 2016-10-26 | 江西服装学院 | 一种三维立体服装设计系统 |
CN106121621A (zh) * | 2016-07-15 | 2016-11-16 | 西南石油大学 | 一种智能钻井专家系统 |
CN106248491A (zh) * | 2016-07-25 | 2016-12-21 | 黑龙江科技大学 | 岩石损伤和渗透测试系统 |
CN106296343A (zh) * | 2016-08-01 | 2017-01-04 | 王四春 | 一种基于互联网和大数据的电子商务交易监测方法 |
CN106302680A (zh) * | 2016-08-06 | 2017-01-04 | 内蒙古大学 | 一种基于物联网的数据显示后台系统 |
CN106453274A (zh) * | 2016-09-22 | 2017-02-22 | 华北水利水电大学 | 一种智能数据安全管理控制系统和控制方法 |
CN106446249A (zh) * | 2016-10-13 | 2017-02-22 | 刘海玲 | 一种地理信息获取方法及地理信息获取系统 |
CN106446250A (zh) * | 2016-10-14 | 2017-02-22 | 张成良 | 一种基于云计算的个性化在线新闻评论情绪预测系统 |
CN106779146A (zh) * | 2016-11-15 | 2017-05-31 | 广州铁路职业技术学院 | 一种用于提供推荐旅游路线的旅游服务系统 |
CN107067273A (zh) * | 2016-11-30 | 2017-08-18 | 四川省巴食巴适电子商务有限公司 | 基于互联网电子商务信息发布与推广的控制系统及方法 |
CN106647399A (zh) * | 2016-12-26 | 2017-05-10 | 北华大学 | 一种智能英语学习机控制系统及控制方法 |
CN106943119A (zh) * | 2017-03-09 | 2017-07-14 | 北京大学第三医院 | 一种麻醉和意识深度监测系统 |
CN108537059A (zh) * | 2018-04-09 | 2018-09-14 | 湖南城市学院 | 一种新型信息管理系统 |
CN114374393A (zh) * | 2021-12-31 | 2022-04-19 | 天津大学 | 一种针对工业物联网时序数据的去冗余压缩方法 |
CN114374393B (zh) * | 2021-12-31 | 2024-12-24 | 天津大学 | 一种针对工业物联网时序数据的去冗余压缩方法 |
CN116684003A (zh) * | 2023-07-27 | 2023-09-01 | 南京中科齐信科技有限公司 | 一种基于量子通信的铁路沿线空地综合监测方法及系统 |
CN116684003B (zh) * | 2023-07-27 | 2023-10-24 | 南京中科齐信科技有限公司 | 一种基于量子通信的铁路沿线空地综合监测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN104168085B (zh) | 2017-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104168085B (zh) | 一种基于冗余熵变换的数据压缩方法 | |
US9454552B2 (en) | Entropy coding and decoding using polar codes | |
CN102752798B (zh) | 一种无线传感器网络数据无损压缩的方法 | |
CN102122960A (zh) | 一种针对二进制数据的多字符组合无损数据压缩方法 | |
CN108810553B (zh) | 一种基于稀疏化处理的移动节点监测数据序列压缩方法 | |
CN103236847A (zh) | 基于多层哈希结构与游程编码的数据无损压缩方法 | |
CN100517979C (zh) | 一种数据压缩及解压缩方法 | |
Spiegel et al. | A comparative experimental study of lossless compression algorithms for enhancing energy efficiency in smart meters | |
Tsiftes et al. | Efficient sensor network reprogramming through compression of executable modules | |
WO2019080670A1 (zh) | 基因测序数据压缩解压方法、系统及计算机可读介质 | |
CN107666324A (zh) | 一种polar码结合算术编码的信源有损压缩编码方法 | |
CN106656198A (zh) | 一种基于lz77的编码方法 | |
CN101534124A (zh) | 一种用于短小自然语言的压缩算法 | |
CN102932012B (zh) | 一种容误码的删除rs码编码参数盲识别方法 | |
WO2020015481A1 (zh) | 数据压缩方法及装置和计算机可读存储介质 | |
Ren et al. | Separate source channel coding is still what you need: An LLM-based rethinking | |
Mahmood et al. | An Efficient 6 bit Encoding Scheme for Printable Characters by table look up | |
CN104682966A (zh) | 列表数据的无损压缩方法 | |
CN103618554B (zh) | 基于字典的内存页面压缩方法 | |
CN105631000A (zh) | 基于移动终端位置特征信息的终端缓存的数据压缩方法 | |
CN102323541A (zh) | 基于参考向量和位掩码的soc的测试方法 | |
CN102710263B (zh) | 基于熵判决最优差分编码的lzw压缩方法 | |
CN110798224A (zh) | 一种压缩编码、检错及解码方法 | |
Săcăleanu et al. | An adaptive Huffman algorithm for data compression in wireless sensor networks | |
CN114401013B (zh) | 一种适用于deflate格式的Huffman压缩编码字符频率统计装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171124 |