CN113676187A

CN113676187A - 一种哈夫曼修正编码方法、系统及相关组件

Info

Publication number: CN113676187A
Application number: CN202110920688.5A
Authority: CN
Inventors: 张永兴; 刘宇豪
Original assignee: Shandong Yunhai Guochuang Cloud Computing Equipment Industry Innovation Center Co Ltd
Current assignee: Shandong Yunhai Guochuang Cloud Computing Equipment Industry Innovation Center Co Ltd
Priority date: 2021-08-11
Filing date: 2021-08-11
Publication date: 2021-11-19

Abstract

本申请公开了一种哈夫曼修正编码方法、系统及相关组件，该方法包括：获取目标文件中的目标数据块；对目标数据块中的所有目标元素进行频率分布统计并排序得到元素排序结果；利用元素排序结果构建第一哈夫曼树；判断第一哈夫曼树的深度是否超出预设值；若否，利用第一哈夫曼树对目标数据块编码；若是，则按照元素排序结果，将备份顺序码长表中的原始元素替换为目标元素得到目标顺序码长表，并生成对应目标顺序码长表的第二哈夫曼码表对目标数据块编码。本申请在哈夫曼树的深度超出预设值时利用备用顺序码长表和当前元素排序结果生成目标顺序码长表和第二哈夫曼码表进行编码，不需对第一哈夫曼码树遍历，同样达到校正超长码的效果，且效率明显提高。

Description

一种哈夫曼修正编码方法、系统及相关组件

技术领域

本发明涉及数据压缩领域，特别涉及一种哈夫曼修正编码方法、系统及相关组件。

背景技术

随着信息科学领域数据爆发式的增长，服务器对如何存储海量数据有较大压力，数据压缩成为减轻服务器存储负担、降低存储成本的有效手段。常见的数据压缩标准，如Gzip、zip、zlib等，会将数据块压缩封装为一种deflate格式的数据，deflate是一种无损数据压缩算法，其中采用LZ77算法查找数据中的重复数据，采用哈夫曼编码对重复数据进行表征和编码。

由于哈夫曼编码时经过排序生成的哈夫曼树可能存在过深、编码出现超长码的情况，在超过deflate协议规定的最大深度时，必须对超过最大深度的哈夫曼树进行校正。目前常用的超长码校正方法基于软件算法，需要遍历搜索二叉树，在其中找到超长节点的位置和超长节点的嫁接点。这种方法能够得到保证最优压缩率的哈夫曼树，但是遍历搜索耗时极高，特殊情况下不能并行遍历，极端情形下，校正哈夫曼树的时间消耗可能会数倍于构建哈夫曼树的时间消耗。

因此，如何提供一种解决上述技术问题的方案是目前本领域技术人员需要解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种哈夫曼修正编码方法、系统及相关组件。其具体方案如下：

一种哈夫曼修正编码方法，包括：

获取目标文件中的目标数据块；

对所述目标数据块中的所有目标元素进行频率分布统计并排序，得到元素排序结果；

利用所述元素排序结果构建第一哈夫曼树；

判断所述第一哈夫曼树的深度是否超出预设值；

若否，则利用所述第一哈夫曼树生成第一哈夫曼码表，并利用所述第一哈夫曼码表对所述目标数据块编码；

若是，则结合所述元素排序结果和备份顺序码长表得到目标顺序码长表，并按照协议规范生成对应所述目标顺序码长表的第二哈夫曼码表，利用所述第二哈夫曼码表对所述目标数据块编码；

其中，所述备份顺序码长表中码长最大值不超过所述预设值。

优选的，所述利用所述第一哈夫曼树生成第一哈夫曼码表，并利用所述第一哈夫曼码表对所述目标数据块编码之后，还包括：

当所述第一哈夫曼树的深度未超出所述预设值，根据所述第一哈夫曼树更新所述备份顺序码长表。

优选的，所述备份顺序码长表具体为所述目标文件中已编码数据块的所述第一哈夫曼树在未超出所述预设值时对应的顺序码长表。

优选的，所述已编码数据块具体为所述目标文件中与所述目标数据块相邻的已编码数据块。

优选的，所述预设值为15。

优选的，所述哈夫曼修正编码方法通过硬件电路实现。

相应的，本申请还公开了一种哈夫曼修正编码系统，包括获取模块，排序模块，构建模块，判断模块，表模块，编码模块：

所述获取模块用于获取目标文件中的目标数据块；

所述排序模块用于对所述目标数据块中的所有目标元素进行频率分布统计并排序，得到元素排序结果；

所述构建模块利用所述元素排序结果构建第一哈夫曼树；

所述判断模块判断所述第一哈夫曼树的深度是否超出预设值；若否，则触发所述表模块利用所述第一哈夫曼树生成第一哈夫曼码表，并触发所述编码模块利用所述第一哈夫曼码表对所述目标数据块编码；

若是，则触发所述表模块结合所述元素排序结果和备份顺序码长表得到目标顺序码长表，并按照协议规范生成对应所述目标顺序码长表的第二哈夫曼码表，触发所述编码模块利用所述第二哈夫曼码表对所述目标数据块编码；

本申请还公开了一种哈夫曼修正编码装置，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上文任一项所述哈夫曼修正编码方法的步骤。

优选的，所述处理器为硬件电路。

相应的，本申请还公开了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文任一项所述哈夫曼修正编码方法的步骤。

本申请公开了一种哈夫曼修正编码方法，包括：获取目标文件中的目标数据块；对所述目标数据块中的所有目标元素进行频率分布统计并排序，得到元素排序结果；利用所述元素排序结果构建第一哈夫曼树；判断所述第一哈夫曼树的深度是否超出预设值；若否，则利用所述第一哈夫曼树生成第一哈夫曼码表，并利用所述第一哈夫曼码表对所述目标数据块编码；若是，则结合所述元素排序结果和备份顺序码长表得到目标顺序码长表，并按照协议规范生成对应所述目标顺序码长表的第二哈夫曼码表，利用所述第二哈夫曼码表对所述目标数据块编码；其中，所述备份顺序码长表中码长最大值不超过所述预设值。本申请在哈夫曼树的深度超出预设值时利用备用顺序码长表和当前元素排序结果生成目标顺序码长表和第二哈夫曼码表进行编码，这一过程中不需对第一哈夫曼码树进行遍历，同样能达到校正超长码的效果，且效率明显提高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例中一种哈夫曼修正编码方法的步骤流程图；

图2为本发明实施例中一种哈夫曼树的结构示意图；

图3为本发明实施例中另一种哈夫曼树的结构示意图；

图4为本发明实施例中数据块之间哈夫曼表相似性数据分布曲线图；

图5为本发明实施例中一种哈夫曼修正编码系统的结构分布图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前常用的超长码校正方法基于软件算法，需要遍历搜索二叉树，在其中找到超长节点的位置和超长节点的嫁接点。这种方法能够得到保证最优压缩率的哈夫曼树，但是遍历搜索耗时极高，特殊情况下不能并行遍历，极端情形下，校正哈夫曼树的时间消耗可能会数倍于构建哈夫曼树的时间消耗。

本申请在哈夫曼树的深度超出预设值时利用备用顺序码长表和当前元素排序结果生成目标顺序码长表和第二哈夫曼码表进行编码，这一过程中不需对第一哈夫曼码树进行遍历，同样能达到校正超长码的效果，且效率明显提高。

本发明实施例公开了一种哈夫曼修正编码方法，参见图1所示，包括：

S1：获取目标文件中的目标数据块；

可以理解的是，对任何文件进行压缩时，首先将目标文件分割为若干数据块，然后对每个数据块进行deflate编码，deflate编码的过程包括利用lz77算法模块查找数据块中的重复数据，然后利用哈夫曼编码模块对重复数据进行表征和编码，本实施例正是哈夫曼编码模块的表征和编码部分的校正优化，此处目标数据块为哈夫曼编码模块的输入内容。

S2：对目标数据块中的所有目标元素进行频率分布统计并排序，得到元素排序结果；

S3：利用元素排序结果构建第一哈夫曼树；

S4：判断第一哈夫曼树的深度是否超出预设值；

可以理解的是，由于本实施例基于deflate协议编码，deflate协议要求哈夫曼树的深度不超过15，因此此处预设值为15。

S5：若否，则利用第一哈夫曼树生成第一哈夫曼码表，并利用第一哈夫曼码表对目标数据块编码；

S6：若是，则结合元素排序结果和备份顺序码长表得到目标顺序码长表；

S7：按照协议规范生成对应目标顺序码长表的第二哈夫曼码表，利用第二哈夫曼码表对目标数据块编码。

可以理解的是，第一哈夫曼码表、第二哈夫曼码表、均对应一个具体的哈夫曼树，每个哈夫曼码表中具有元素和哈夫曼码的一一对应关系，在一个未超出预设值的哈夫曼树上，元素的哈夫曼码的码长被统计后按码长从小到大排列到备份顺序码长表中。例如图2所示的哈夫曼树，对应的备份码长表为下表1所示，表1对应的备份顺序码长表可如表2或表3所示：

表1备份码长表示例

元素	a	b	c	d	e	f	g
								码长	2	2	3	3	4	5	5
元素	h	i	j	k	l	m	n
								码长	5	5	5	6	7	8	8

表2备份顺序码长表示例一

序号	1	2	3	4	5	6	7
								码长	2	2	3	3	4	5	5
序号	8	9	10	11	12	13	14
								码长	5	5	5	6	7	8	8

表3备份顺序码长表示例二

码长	0	1	2	3	4	5	6	7	8
										出现次数	0	0	2	2	1	5	1	1	2

其中，表2为仅对表1中元素的码长按照从小到大排序的结果，表3为统计每个码长的出现次数后将从小到大排序的码长和出现次数对应起来的结果。表2和表3均属于备份顺序码长表可行的记录形式。

可以理解的是，备份码长表对应的元素排序结果中，元素a的频率最高，n的频率最低。忽略备份码长表中的元素，仅考虑码长本身，则得到备份顺序码长表，将目标数据块的元素排序结果和备份顺序码长表结合生成目标顺序码长表，实际上是按照元素排序结果，将备份码长表中的原始元素替换为目标元素，也即将第i个原始元素替换为第i个目标元素，第i个目标元素的码长与第i个原始元素的码长相同，假设目标数据块中元素排序结果从高到低为：H、j、k、L、g、a、b、c、d、e、m、n、g、f、I，则将原始元素替换为目标元素得到的目标顺序码长表如下表4所示：

表4目标顺序码长表

符号	H	j	k	L	a	b	c
								码长	2	2	3	3	4	5	5
符号	d	e	m	n	g	f	I
								码长	5	5	5	6	7	8	8

此时目标顺序码长表对应的第二哈夫曼树可如图3所示，进一步可按照协议规范生成对应目标顺序码长表的第二哈夫曼码表，利用第二哈夫曼码表对目标数据块编码。这一过程中，实际保留了备份顺序码长表对应的哈夫曼树型，同时将目标元素按照相同的元素排序顺序填入哈夫曼树型，从而得到了第二哈夫曼树和第二哈夫曼码表。当然，除了完全相同的哈夫曼树型外，目标顺序码长表允许生成码长相同、深度相同但形状与备份哈夫曼树型不同的第二哈夫曼树。

进一步的，本实施例中第二哈夫曼码表的出现是为了修正第一哈夫曼树超出预设值时的超长码问题，因此第二哈夫曼码表对应的哈夫曼树的深度应当不超出预设值，本实施例选择深度不超出预设值的哈夫曼树对应的备份顺序码长表，方便起见，设置备份顺序码长表具体为目标文件中已编码数据块的第一哈夫曼树未超出预设值时对应的顺序码长表。

进一步的，已编码数据块具体为目标文件中与目标数据块相邻的已编码数据块。

可以理解的是，同一目标文件中数据块之间存在相关性，数据块越近，其相关性越强。通过收集统计相关数据，可对同一文件中数据块的哈夫曼数据进行分析，以相似性最常用的评价参数峰值信噪比(Peak Signal to Noise Ratio，PSNR)作为评价参数，PSNR值越高，相似性越大，通常PSNR大于35，数据块接近一致，PSNR大于25，数据块高度一致，PSNR小于20，数据块高度较低，具体的计算公式如下：

其中n为样本的值的比特数，这里可取4，MSE为均方差，计算公式如下：

图4为某一目标文件的数据块之间的哈夫曼码表相似性数据分布曲线，横坐标为不同组数据块的序号，纵轴为每组数据块的PSNR值，图中实线为literal tree类型的哈夫曼树的PSNR，取值大致在30上下，虚线为distance tree类型的哈夫曼树的PSNR，取值在25左右，因此可以认为同一目标文件中的数据块之间的哈夫曼码表具有很高的相似性，在目标数据块的哈夫曼树深度超过预设值时，可利用已编码数据块的顺序码长表作为备用顺序码长表，对目标数据块进行编码。

为了验证本实施例的有效性，现对两个数据压缩测试集cantrbry和silesia内的文件进行压缩测试，下表为背景技术中软件算法和本实施例两种算法的测试结果：

表1测试结果对比

表中，第一列file_name与第二列src_size分别为测试集内文件名及其文件大小，第三列soft_ratio为使用背景技术中软件算法压缩文件得到的压缩比，第四列ratio(context)为本实施例中方法压缩文件得到的压缩比，第五列delta_ratio为软件算法与本实施例的差别，最后一行mean是以上总体数据的均值。从第五列的数据可以看出，本实施例的方案与软件软法在压缩比上差异很小，平均差值只有0.0094，因此本实施例的压缩效果是较为理想的。同时本实施例中哈夫曼校正编码方法可选择通过硬件电路实现，硬件电路利用本实施例进行编码的效率要远高于使用原软件算法的效率。

进一步的，步骤S5利用第一哈夫曼树生成第一哈夫曼码表，并利用第一哈夫曼码表对目标数据块编码之后，还包括：

S8：根据第一哈夫曼码树更新备份顺序码长表。

可以理解的是，当前第一哈夫曼树的深度未超出预设值，因此第一哈夫曼码树可作为目标文件中其他数据块的编码参考，因此根据当前第一哈夫曼码树更新备份顺序码长表中，之后新的目标数据块解码可将将该备份顺序码长表作为参考依据。

本申请实施例公开了一种哈夫曼修正编码方法，包括：获取目标文件中的目标数据块；对所述目标数据块中的所有目标元素进行频率分布统计并排序，得到元素排序结果；利用所述元素排序结果构建第一哈夫曼树；判断所述第一哈夫曼树的深度是否超出预设值；若否，则利用所述第一哈夫曼树生成第一哈夫曼码表，并利用所述第一哈夫曼码表对所述目标数据块编码；若是，则结合所述元素排序结果和备份顺序码长表得到目标顺序码长表，并按照协议规范生成对应所述目标顺序码长表的第二哈夫曼码表，利用所述第二哈夫曼码表对所述目标数据块编码；其中，所述备份顺序码长表中码长最大值不超过所述预设值。本申请在哈夫曼树的深度超出预设值时利用备用顺序码长表和当前元素排序结果生成目标顺序码长表和第二哈夫曼码表进行编码，这一过程中不需对第一哈夫曼码树进行遍历，同样能达到校正超长码的效果，且效率明显提高。

相应的，本申请实施例还公开了一种哈夫曼修正编码系统，参见图5所示，包括获取模块1，排序模块2，构建模块3，判断模块4，表模块5，编码模块6：

获取模块1用于获取目标文件中的目标数据块；

排序模块2用于对目标数据块中的所有目标元素进行频率分布统计并排序，得到元素排序结果；

构建模块3利用元素排序结果构建第一哈夫曼树；

判断模块4判断第一哈夫曼树的深度是否超出预设值；若否，则触发表模块5利用第一哈夫曼树生成第一哈夫曼码表，并触发编码模块6利用第一哈夫曼码表对目标数据块编码；若是，则触发表模块5结合元素排序结果和备份顺序码长表得到目标顺序码长表，并按照协议规范生成对应目标顺序码长表的第二哈夫曼码表，触发编码模块6利用第二哈夫曼码表对目标数据块编码；

其中，备份顺序码长表中码长最大值不超过预设值。

本申请实施例在哈夫曼树的深度超出预设值时利用备用顺序码长表和当前元素排序结果生成目标顺序码长表和第二哈夫曼码表进行编码，这一过程中不需对第一哈夫曼码树进行遍历，同样能达到校正超长码的效果，且效率明显提高。

相应的，本申请实施例还公开了一种哈夫曼修正编码装置，包括：

存储器，用于存储计算机程序；

在一些具体的实施例中，所述处理器为硬件电路。

其中，本实施例中有关哈夫曼修正编码方法的具体内容可以参照上文实施例中的相关描述，此处不再赘述。

其中，本实施例中哈夫曼修正编码装置和可读存储介质均具有与上文实施例中哈夫曼修正编码方法相同的技术效果，此处不再赘述。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种哈夫曼修正编码方法、系统及相关组件进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种哈夫曼修正编码方法，其特征在于，包括：

获取目标文件中的目标数据块；

利用所述元素排序结果构建第一哈夫曼树；

判断所述第一哈夫曼树的深度是否超出预设值；

2.根据权利要求1所述哈夫曼修正编码方法，其特征在于，所述利用所述第一哈夫曼树生成第一哈夫曼码表，并利用所述第一哈夫曼码表对所述目标数据块编码之后，还包括：

3.根据权利要求1所述哈夫曼修正编码方法，其特征在于，所述备份顺序码长表具体为所述目标文件中已编码数据块的所述第一哈夫曼树在未超出所述预设值时对应的顺序码长表。

4.根据权利要求3所述哈夫曼修正编码方法，其特征在于，所述已编码数据块具体为所述目标文件中与所述目标数据块相邻的已编码数据块。

5.根据权利要求1所述哈夫曼修正编码方法，其特征在于，所述预设值为15。

6.根据权利要求1至5任一项所述哈夫曼修正编码方法，其特征在于，所述哈夫曼修正编码方法通过硬件电路实现。

7.一种哈夫曼修正编码系统，其特征在于，包括获取模块，排序模块，构建模块，判断模块，表模块，编码模块：

所述获取模块用于获取目标文件中的目标数据块；

所述构建模块利用所述元素排序结果构建第一哈夫曼树；

所述判断模块判断所述第一哈夫曼树的深度是否超出预设值；若否，则触发所述表模块利用所述第一哈夫曼树生成第一哈夫曼码表，并触发所述编码模块利用所述第一哈夫曼码表对所述目标数据块编码；若是，则触发所述表模块结合所述元素排序结果和备份顺序码长表得到目标顺序码长表，并按照协议规范生成对应所述目标顺序码长表的第二哈夫曼码表，触发所述编码模块利用所述第二哈夫曼码表对所述目标数据块编码；

8.一种哈夫曼修正编码装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述哈夫曼修正编码方法的步骤。

9.根据权利要求8所述哈夫曼修正编码装置，其特征在于，所述处理器为硬件电路。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述哈夫曼修正编码方法的步骤。