CN110518917B - 基于Huffman编码的LZW数据压缩方法及系统 - Google Patents

Abstract

本发明提供了一种基于Huffman编码的LZW数据压缩方法及系统，包括：编码步骤：对原始数据进行Huffman编码，得到只有0和1组成的字符串；压缩步骤：根据预设的压缩比构造索引表，然后根据索引表对得到的字符串进行LZW压缩；一次解码步骤：根据索引表对编码文件进行解码操作，得到字符串；二次解码步骤：根据Huffman编码表对得到的字符串进行解码，得到原始数据。在保证压缩效率的前提下，提高了压缩率。

Description

基于Huffman编码的LZW数据压缩方法及系统

技术领域

本发明涉及数据处理领域，具体地，涉及一种基于Huffman编码的LZW数据压缩方法及系统。

背景技术

随着信息技术的发展，各行各业开始向信息化转型，各个系统平台对数据的存储和传输提出了更高的要求。数据量的上升，分布式技术的发展，以及各种冗余技术的使用使得存储系统的压力越来越大，如果不做处理，存储系统就会存在溢出的风险。同时，信息化的进程使得数据的传输更加的频繁，受到网络环境限制，传输的数据量和任务失败率成正比关系；很多系统对数据的实时性要求很高，因此对数据的传输延迟提出了更高的要求。数据压缩是指在不丢失有用信息的前提下减少数据量，以减少存储空间，提高传输和处理的效率。适当的压缩数据对解决数据存储和数据传输意义重大。

数据压缩可以被分为有损压缩和无损压缩。无损压缩利用了现实世界中数据的统计冗余特性，可以更加简练、完整的传输数据。有损压缩通常应用在视频和音频数据的传输中，利用人的眼睛和耳朵无法分辨出视频和音频中细微的差别使用较少的位数表示图像、视频或者音频。常用的压缩算法主要有Lempel-Ziv，Huffman， LZW等。Lempel-Ziv算法通过对一个由0、1组成的预先串另加一个新的比特进行编码，来实现对比特序列的压缩。通过一个字典存储压缩过程中出现的比特串，当对一个新的短语编码时，指明已有短语在字典中的位置，并附加新字母。Lempel-Ziv 算法多用于比特编码压缩时，而且实现复杂，算法复杂度较高。Huffman算法利用了各个短语在文档中出现的频率信息，频率越高采用越的短编码串，频率越低使用的编码串越长，这样来有效的进行编码的组织。虽然Huffman的压缩率只有40％左右，但是它可以将整个文档转化为只有0和1表示的格式，为后续的处理提供了方便。LZW算法是通过建立一个字符串表，用较短的代码来表示较长的字符串，从而实现压缩的。LZW算法中的字符串和编码的对应关系是动态生成的，从原始的文档中提取出字符串，将其转化成较短的索引，并用索引表示文档中出现的相应字符串。由此可见，如果原始文档中的数据元素相对所较少，为字符串提取阶段可以被大大的简化。

公开号CN109614043A的专利公开了一种数据压缩方法、装置、系统及计算机可读存储介质，利用预设事件计算主机与存储介质的负载情况，进行对比后选择负载较低的设备作为数据压缩的主体设备，从而来提高数据压缩的效率。原理是检索到可以提供较大计算能力的设备，加快压缩速度，其本质上对于数据压缩算法的效率和压缩比率并没有任何的改变与提高，而且数据压缩的预设事件往往也很难检测到。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于Huffman编码的LZW数据压缩方法及系统。

根据本发明提供的一种基于Huffman编码的LZW数据压缩方法，包括：

编码步骤：对原始数据进行Huffman编码，得到只有0和1组成的字符串；

压缩步骤：根据预设的压缩比构造索引表，然后根据索引表对得到的字符串进行LZW 压缩；

一次解码步骤：根据索引表对编码文件进行解码操作，得到字符串；

二次解码步骤：根据Huffman编码表对得到的字符串进行解码，得到原始数据。

优选地，所述编码步骤包括：

统计原始数据中各个字符出现的频率，根据频率构造Huffman树；

按照左子树0，右子树1的方法对Huffman树的叶子结点进行赋值，构造每个字符的Huffman编码，并存储在一个Map结构HuffmanMap中；

根据Huffman编码的结果，将原始数据的内容转化为0和1组成的字符串。

优选地，所述压缩步骤包括：

根据压缩需求，确定压缩比率，包括确定需要替换的字符串的长度m；

根据m的长度建立字符串索引的集合，将字符串及字符串 的索引存储到一个Map类型的结构LZWMap中；

读取Huffman编码的文件，根据字符串和索引的对应关系，将Huffman编码转化为索引的格式。

优选地，所述一次解码步骤包括：

读取LZWMap的内容，获得索引以及对应的字符串；

将索引按照对应关系转化为字符串。

优选地，所述二次解码步骤包括：

读取HuffmanMap的内容，获取Huffman编码与原始数据的对应关系；

根据HuffmanMap对字符串进行解码，得到原始数据。

根据本发明提供的一种基于Huffman编码的LZW数据压缩系统，包括：

编码模块：对原始数据进行Huffman编码，得到只有0和1组成的字符串；

压缩模块：根据预设的压缩比构造索引表，然后根据索引表对得到的字符串进行LZW 压缩；

一次解码模块：根据索引表对编码文件进行解码操作，得到字符串；

二次解码模块：根据Huffman编码表对得到的字符串进行解码，得到原始数据。

优选地，所述编码模块包括：

统计原始数据中各个字符出现的频率，根据频率构造Huffman树；

按照左子树0，右子树1的方法对Huffman树的叶子结点进行赋值，构造每个字符的Huffman编码，并存储在一个Map结构HuffmanMap中；

根据Huffman编码的结果，将原始数据的内容转化为0和1组成的字符串。

优选地，所述压缩模块包括：

根据压缩需求，确定压缩比率，包括确定需要替换的字符串的长度m；

根据m的长度建立字符串索引的集合，将字符串及字符串 的索引存储到一个Map类型的结构LZWMap中；

读取Huffman编码的文件，根据字符串和索引的对应关系，将Huffman编码转化为索引的格式。

优选地，所述一次解码模块包括：

读取LZWMap的内容，获得索引以及对应的字符串；

将索引按照对应关系转化为字符串。

优选地，所述二次解码模块包括：

读取HuffmanMap的内容，获取Huffman编码与原始数据的对应关系；

根据HuffmanMap对字符串进行解码，得到原始数据。

与现有技术相比，本发明具有如下的有益效果：

1)实现了LZW算法的压缩比率的提高。

2)减少了存储的空间。

3)提高了数据传输的效率。

4)为海量数据存储与传输提供了解决方案。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明数据压缩过程的流程图；

图2为Huffman树结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明的主要步骤包括数据的压缩和解压两个大的过程。压缩过程包括 Huffman编码操作，构建字符串索引表，执行LZW压缩等步骤。解压过程包括根据索引表解压成Huffman编码格式，再将Huffman转换为原始数据。下面来详细介绍各个步骤的过程。

如图1所示，根据本发明提供的一种基于Huffman编码的LZW数据压缩方法，包括步骤：

1.在压缩数据时，先对原始数据进行Huffman编码，将其转换为只有0和1组成的字符串。

2.根据设定的压缩比构造索引表，然后根据索引表进行LZW压缩。

3.在解压数据时，先根据索引表对编码文件进行解码操作，得到的数据为Huffman编码的结果。

4.根据Huffman编码表对步骤3得到的结果进行解码，得到的结果即为原始数据。

其中，步骤1的详细过程如下：

1.1统计原始文件中各个字符出现的频率，根据频率构造Huffman树，参考图2所示。

1.2按照左子树0，右子树1的方法对Huffman树的叶子结点进行赋值，构造每个字符的Huffman编码，并将其存储在一个Map结构HuffmanMap中。

1.3根据Huffman编码的结果，将原始文件的内容转化为0和1组成的字符串。

步骤2的详细过程如下：

2.1根据压缩需求，确定压缩比率，即确定需要替换的字符串的长度m。

2.2根据m的长度建立字符串索引的集合。例如为长度为4的字符串建立索引，由于Huffman编码后的数据只有0和1两种字符，所以，长度为4的字符串只有24即16 种情况，将这16种以及其索引存储到一个Map类型的结构LZWMap中。

2.3读取Huffman编码的文件，根据2.2步骤中建立的字符串和索引的对应关系，将Huffman编码转化为索引的格式。由于LZWMap中的索引涵盖了指定长度的字符串的所有的类型，所以Huffman编码的所有的数据均可以转换为索引来表示，大大增加了压缩比率。

步骤3的详细过程如下：

3.1解压数据时，首先需要读取LZWMap的内容，获得索引以及其对应的字符串的信息。

3.2将压缩文件中的索引按照对应关系转化为0和1的字符串，即Huffman编码的中间结果。

步骤4的详细过程如下：

4.1读取HuffmanMap的内容，获取Huffman编码与原始字符的对应关系。

4.2根据HuffmanMap对3.2中得到的Huffman编码的中间结果进行解码，将编码信息还原为原始数据信息。

在上述一种基于Huffman编码的LZW数据压缩方法的基础上，本发明还提供一种基于Huffman编码的LZW数据压缩系统，包括：

编码模块：对原始数据进行Huffman编码，得到只有0和1组成的字符串；

压缩模块：根据预设的压缩比构造索引表，然后根据索引表对得到的字符串进行LZW 压缩；

一次解码模块：根据索引表对编码文件进行解码操作，得到字符串；

二次解码模块：根据Huffman编码表对得到的字符串进行解码，得到原始数据。

实施举例1：在分布式文件系统中，对于文件的存储可以利用本方法，先利用Huffman 算法将数据编码为只有0和1组成的格式；然后利用LZW的原理，使用长度较短的索引替换编码文档中的字符串，从而实现数据压缩，达到节约存储空间的目的。在读取数据时，对数据进行解压还原，即可达到原始的数据信息。

实施举例2：在数据传输的过程中，可以利用本方法先对数据进行压缩，由于本方法可以根据需要指定压缩比率，故可以结合网络传输情况和数据传输的实时要求对数据进行压缩，从而大大提高数据传输的效率。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种基于Huffman编码的LZW数据压缩方法，其特征在于，包括：

编码步骤：对原始数据进行Huffman编码，得到只有0和1组成的字符串；

压缩步骤：根据预设的压缩比构造索引表，然后根据索引表对得到的字符串进行LZW压缩；

一次解码步骤：根据索引表对编码文件进行解码操作，得到字符串；

二次解码步骤：根据Huffman编码表对得到的字符串进行解码，得到原始数据；

所述编码步骤包括：

统计原始数据中各个字符出现的频率，根据频率构造Huffman树；

按照左子树0，右子树1的方法对Huffman树的叶子结点进行赋值，构造每个字符的Huffman编码，并存储在一个Map结构HuffmanMap中；

根据Huffman编码的结果，将原始数据的内容转化为0和1组成的字符串。

2.根据权利要求1所述的基于Huffman编码的LZW数据压缩方法，其特征在于，所述压缩步骤包括：

根据压缩需求，确定压缩比率，包括确定需要替换的字符串的长度m；

根据m的长度建立字符串索引的集合，将字符串及字符串 的索引存储到一个Map类型的结构LZWMap中；

读取Huffman编码的文件，根据字符串和索引的对应关系，将Huffman编码转化为索引的格式。

3.根据权利要求2所述的基于Huffman编码的LZW数据压缩方法，其特征在于，所述一次解码步骤包括：

读取LZWMap的内容，获得索引以及对应的字符串；

将索引按照对应关系转化为字符串。

4.根据权利要求3所述的基于Huffman编码的LZW数据压缩方法，其特征在于，所述二次解码步骤包括：

读取HuffmanMap的内容，获取Huffman编码与原始数据的对应关系；

根据HuffmanMap对字符串进行解码，得到原始数据。

5.一种基于Huffman编码的LZW数据压缩系统，其特征在于，包括：

编码模块：对原始数据进行Huffman编码，得到只有0和1组成的字符串；

压缩模块：根据预设的压缩比构造索引表，然后根据索引表对得到的字符串进行LZW压缩；

一次解码模块：根据索引表对编码文件进行解码操作，得到字符串；

二次解码模块：根据Huffman编码表对得到的字符串进行解码，得到原始数据；

所述编码模块包括：

统计原始数据中各个字符出现的频率，根据频率构造Huffman树；

按照左子树0，右子树1的方法对Huffman树的叶子结点进行赋值，构造每个字符的Huffman编码，并存储在一个Map结构HuffmanMap中；

根据Huffman编码的结果，将原始数据的内容转化为0和1组成的字符串。

6.根据权利要求5所述的基于Huffman编码的LZW数据压缩系统，其特征在于，所述压缩模块包括：

根据压缩需求，确定压缩比率，包括确定需要替换的字符串的长度m；

根据m的长度建立字符串索引的集合，将字符串及字符串 的索引存储到一个Map类型的结构LZWMap中；

读取Huffman编码的文件，根据字符串和索引的对应关系，将Huffman编码转化为索引的格式。

7.根据权利要求6所述的基于Huffman编码的LZW数据压缩系统，其特征在于，所述一次解码模块包括：

读取LZWMap的内容，获得索引以及对应的字符串；

将索引按照对应关系转化为字符串。

8.根据权利要求7所述的基于Huffman编码的LZW数据压缩系统，其特征在于，所述二次解码模块包括：

读取HuffmanMap的内容，获取Huffman编码与原始数据的对应关系；

根据HuffmanMap对字符串进行解码，得到原始数据。

Images