CN115865099B - 基于霍夫曼编码的多类型数据分段压缩方法及系统 - Google Patents

Abstract

本发明提供了一种基于霍夫曼编码的多类型数据分段压缩方法及系统，涉及数据处理技术领域，该方法包括：获取待压缩数据；使用不同的分组数分别对待压缩数据进行分组，获取每个分组数对应的每组数据的霍夫曼编码效率和编码时长；获取每个分组数的编码评分；根据每个编码评分获取最优分组数；根据最优分组数将待压缩数据分为多组，对每组待压缩数据进行霍夫曼编码并赋予标识码，完成待压缩数据的分段压缩；本发明通过对待压缩数据进行最优分组数下的霍夫曼编码，解决了相关技术中在对多类型的数据进行霍夫曼编码时，霍夫曼树较大导致的编码效率低下的技术问题。

Description

基于霍夫曼编码的多类型数据分段压缩方法及系统

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于霍夫曼编码的多类型数据分段压缩方法及系统。

背景技术

随着信息化的到来，每天都有海量的数据产生，对数据的压缩存储成为研究的热点。在数字系统中，可以对数据进行压缩以节省存储成本或减少传输时间。当前数据压缩方式有很多种，霍夫曼编码因为其编码原理简单、高效，在数据压缩中应用广泛。霍夫曼编码是根据同种数据类型出现的概率进行编码，同种数据类型出现的概率越大编码长度越短，同种数据类型出现的概率越小编码长度越长；通过对待压缩数据进行霍夫曼编码，可以实现对待压缩数据的无损压缩。

现有技术中在对数据进行霍夫曼编码压缩时，对数据中的每个类型数据依次进行霍夫曼编码压缩，因此，对于多类型数据来说在进行霍夫曼编码压缩后形成的霍夫曼树往往是巨大的，排在末尾的数据类型拥有较长的码长，造成致编码效率低下。

发明内容

为了解决相关技术中在对数据进行霍夫曼编码时存在霍夫曼树大，以及编码效率低下的技术问题，本发明提供了一种基于霍夫曼编码的多类型数据分段压缩方法及系统，该方法通过对待压缩数据进行多次分组，并根据每次分组后每组待压缩数据的霍夫曼编码效率和编码时长，获取每次分组后对待压缩数据的编码评分；根据编码评分获取最优分组数；根据最优分组数将所述待压缩数据分为多组数据；并对多组数据分别进行霍夫曼编码，并对编码后的数据赋予标识码，得到分段压缩后的待压缩数据；有鉴于此，本发明通过以下技术方案予以是实现。

本发明的一个方案提供了一种基于霍夫曼编码的多类型数据分段压缩方法，包括：

获取待压缩数据，并判断所述待压缩数据是否需要分段压缩；

获取需要分段压缩的待压缩数据，并使用多种不同的分组方式对所述待压缩数据进行分组，获取每次分组后每组待压缩数据进行霍夫曼编码时的编码效率和编码时长；

根据每次分组后每组待压缩数据的编码效率和编码时长，获取每次分组后对待压缩数据的目标编码评分；根据所述目标编码评分获取最优编码评分，根据所述最优编码评分获取对所述待压缩数据的最优分组数；

根据所述最优分组数对所述待压缩数据进行分组，对分组后的所述待压缩数据进行霍夫曼编码，并对编码后的数据赋予标识码，得到分段压缩后的待压缩数据。

进一步地，判断所述待压缩数据是否需要分段压缩的过程为：

获取所述待压缩数据进行第一霍夫曼编码时的第一编码效率和第一编码时长；根据所述第一编码效率和第一编码时长获取第一编码评分；

将所述待压缩数据分为两组，分别获取每组待压缩数据进行第二霍夫曼码时的编码效率和编码时长；根据每组待压缩数据进行第二霍夫曼编码时的编码效率和编码时长获取第二编码评分；当所述第二编码评分大于所述第一编码评分时，所述待压缩数据需要分段压缩。

进一步地，所述第一编码评分通过第一编码效率与第一编码时长的比值得到；所述第二编码评分通过将每组待压缩数据的编码评分进行加和得到。

进一步地，获取每次分组后对待压缩数据的目标编码评分的过程中，所述目标编码评分通过将每次分组后每组待压缩数据的编码评分进行求和得到。

进一步地，根据所述最优编码评分获取对所述待压缩数据的最优分组数的过程中，将最大目标编码评分作为最优编码评分，并将最优编码评分对应的分组数确定为最优分组数。

进一步地，根据所述最优编码评分获取对所述待压缩数据的最优分组数的过程为：

根据每个分组数对应的目标编码评分拟合一个关于目标编码评分和分组数的函数，以所述分组数为横坐标，所述目标编码评分为纵坐标作曲线图；选取所述曲线图中最大目标编码评分对应的分组数作为最优分组数。

进一步地，选取所述曲线图中最大目标编码评分对应的分组数作为最优分组数的过程中，当所述最大目标编码评分对应的分组数为非整数时，对所述非整数进行就近向上或向下取整数，并将所述整数作为最优分组数。

本发明的另一个方案提供了一种基于霍夫曼编码的多类型数据分段压缩系统，包括：

数据获取模块，用于获取待压缩数据，并判断所述待压缩数据是否需要分段压缩；

数据分组模块，用于使用多种不同的分组方式对所述数据获取模块获取的需要分段压缩的待压缩数据进行分组，获取每次分组后每组待压缩数据进行霍夫曼编码时的编码效率和编码时长；根据所述目标编码评分获取最优编码评分，根据所述最优编码评分获取对所述待压缩数据的最优分组数；

数据压缩模块，用于根据所述数据分组模块获得的最优分组数对所述待压缩数据进行分组，对分组后的所述待压缩数据进行霍夫曼编码，并对编码后的数据赋予标识码，得到分段压缩后的待压缩数据。

与现有技术相比，本发明的有益效果是：

本发明提供了一种基于霍夫曼编码的多类型数据分段压缩方法及系统，该方法包括：获取待压缩数据，并判断待压缩数据是否需要进行分段压缩；在判断待压缩数据是否需要进行分段压缩的过程中，当待压缩数据需要进行分段压缩，说明对待压缩数据进行分段压缩时压缩效率会更高，当待压缩数据不需要分段压缩时，直接对待压缩数据进行霍夫曼编码即可，并再次获取待压缩数据，直至得到需要分段压缩的待压缩数据；使用多种不同的分组方式对待压缩数据进行分组，获取每次分组后每组待压缩数据的霍夫曼编码效率和编码时长；根据每次分组后每组待压缩数据的霍夫曼编码效率和编码时长，获取每次分组后对待压缩数据的目标编码评分；在获得每次分组后对待压缩数据的目标编码评分后，根据每次分组后对待压缩数据的目标编码评分可得出最优评分对应的分组次数，获取最优编码评分，根据最优编码评分获取对待压缩数据的最优分组数；根据最优分组数对待压缩数据进行分组，由此实现对待压缩数据的最佳分组数，根据最佳分组数对待压缩数据分为多组，对每组待压缩数据进行霍夫曼编码，可实现对待压缩数据最大效率的压缩；对分组后的待压缩数据进行霍夫曼编码，能够减小编码时的霍夫曼树，对编码后的数据赋予标识码，得到分段压缩后的待压缩数据；本发明的技术方案通过对待压缩数据进行最优分组数下的霍夫曼编码，解决了相关技术中，在对多类型的数据进行霍夫曼编码时，霍夫曼树较大导致的编码效率低下的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的分段压缩方法的流程示意图；

图2为本发明实施例提供的分段压缩系统的原理示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例的一个目的是提供一种基于霍夫曼编码的多类型数据分段压缩方法，如图1所示，包括：

S101，获取待压缩数据，并判断所述待压缩数据是否需要分段压缩；

需要说明的是，本实施例中判断所述待压缩数据是否需要分段压缩的过程为，对待压缩数据进行第一霍夫曼编码，第一编码评分通过下式表示：

上式中：Ω₁为第一编码评分；η₁为第一霍夫曼编码的效率；t₁为第一霍夫曼编码的时长；

根据第一霍夫曼编码的编码效率和编码时长获得待压缩数据的第一编码评分；将待压缩数据分为两组，分别对每组待压缩数据进行第二霍夫曼编码，根据每组待压缩数据的第二编码效率和编码时长，获得每组待压缩数据的编码评分，根据每组待压缩数据的编码评分获取第二编码评分；第二编码评分通过将每组待压缩数据的编码评分进行加和得到；第二编码评分通过下式表示：

上式中：Ω₂为第二编码评分；η_2,1为第一组待压缩数据的编码效率；t_2,1为第一组待压缩数据的编码时长；η_2,2为第二组待压缩数据的编码效率；t_2,2为第二组待压缩数据的编码时长；

第二编码评分通过将每组待压缩数据的编码评分进行加和得到；通过比较第一编码评分和第二编码评分的大小，判断待压缩数据是否需要分段压缩；当第二编码评分大于第一编码评分时，待压缩数据需要分段压缩；在确定出待压缩数据需要进行分段压缩的过程中，当待压缩数据需要进行分段压缩，说明对待压缩数据进行分段压缩时压缩效率会更高，当待压缩数据不需要分段压缩时，直接对待压缩数据进行霍夫曼编码即可，并再次获取待压缩数据，直至得到需要分段压缩的待压缩数据；

S102，获取对待压缩数据的最优分组数；

使用多种不同的分组方式对待压缩数据进行分组，获取每次分组后每组待压缩数据的霍夫曼编码效率和编码时长；根据每次分组后每组待压缩数据的霍夫曼编码效率和编码时长，获取每次分组后对待压缩数据的目标编码评分；根据目标编码评分获取最优编码评分，根据最优编码评分获取对待压缩数据的最优分组数；

需要说明的是，本实施例中采用首项为2等差为2的等差数列对应的分组数获取待压缩数据全部分组数，获取每个分组数对应的每组数据的霍夫曼编码效率和编码时长；根据每个分组数对应的每组数据的霍夫曼编码效率和编码时长，获取每个分组数的目标编码评分；分组数的目标编码评分通过将分组数中每组数据的编码评分进行求和得到，每组数据的编码评分通过每组数据的霍夫曼编码效率与编码时长的比值；

根据每次分组后每组待压缩数据的霍夫曼编码效率和编码时长，获取每次分组后对待压缩数据的目标编码评分；获取最优编码评分，根据最优编码评分获取对待压缩数据的最优分组数；根据每个分组数对应的编码评分拟合一个关于目标编码评分和分组数的函数，以分组数为横坐标，目标编码评分为纵坐标作曲线图；选取曲线图中最大目标编码评分对应的分组数作为最优分组数；选取曲线图中最大目标编码评分对应的分组数作为最优分组数的过程中，当最大目标编码评分对应的分组数为非整数时，对非整数进行就近向上或向下取整数，并将整数作为最优分组数；

需要说明的是，在获得每次分组后对待压缩数据的目标编码评分后，根据每次分组后对待压缩数据的编码评分可得出最优评分对应的分组次数，这里对分组次数不做限制，通过分组次数和编码效率得到一条关于分组次数和目标编码效率的曲线，根据曲线可拟合出最优评分对应的分组数；获取最优编码评分，根据最优编码评分获取对待压缩数据的最优分组数；在获取最优分组数的过程中，也可以将最大目标编码评分最为最优编码评分，并将最优编码评分对应的分组数确定为最优分组数；

S103，根据最优分组数对待压缩数据进行分组，对分组后的待压缩数据进行霍夫曼编码，并对编码后的数据赋予标识码；

需要说明的是，本实施例中根据最优分组数对待压缩数据进行分组，对分组后的待压缩数据进行霍夫曼编码，并对编码后的数据赋予标识码，得到分段压缩后的待压缩数据；根据最优评分确定对待压缩数据的最优分组数，根据最优分组数将待压缩数据分为多组待压缩数据，分别对每组待压缩数据进行霍夫曼编码，相对于直接根据待压缩数据中的数据种类对待压缩数据进行压缩，可极大的减小霍夫曼树，并有效提升对待压缩数据的压缩效率。

本实施例提供了一种基于霍夫曼编码的多类型数据分段压缩方法及系统，该方法包括：获取待压缩数据，并判断待压缩数据是否需要进行分段压缩；在判断待压缩数据是否需要进行分段压缩的过程中，当待压缩数据需要进行分段压缩，说明对待压缩数据进行分段压缩时压缩效率会更高，当待压缩数据不需要分段压缩时，直接对待压缩数据进行霍夫曼编码即可，并再次获取待压缩数据，直至得到需要分段压缩的待压缩数据；使用多种不同的分组方式对待压缩数据进行分组，获取每次分组后每组待压缩数据的霍夫曼编码效率和编码时长；根据每次分组后每组待压缩数据的霍夫曼编码效率和编码时长，获取每次分组后对待压缩数据的目标编码评分；在获得每次分组后对待压缩数据的目标编码评分后，根据每次分组后对待压缩数据的目标编码评分可得出最优评分对应的分组次数，这里对分组次数不做限制，通过分组次数和目标编码评分得到一条关于分组次数和目标编码评分的曲线，根据曲线可拟合出最优编码评分对应的分组数；获取最优编码评分，根据最优编码评分获取对待压缩数据的最优分组数；根据最优分组数对待压缩数据进行分组，由此实现对待压缩数据的最佳分组数，根据最佳分组数对待压缩数据分为多组，对每组待压缩数据进行霍夫曼编码，可实现对待压缩数据最大效率的压缩；对分组后的待压缩数据进行霍夫曼编码，并对编码后的数据赋予标识码，得到分段压缩后的待压缩数据；本实施例的技术方案通过对待压缩数据进行最优分组数下的霍夫曼编码，解决了相关技术中，在对多类型的数据进行霍夫曼编码时，霍夫曼树较大导致的编码效率低下的技术问题。

本实施例的另一个目的是提供一种基于霍夫曼编码的多类型数据分段压缩系统，如图2所示，系统包括：

数据获取模块，用于获取待压缩数据，并判断所述待压缩数据是否需要分段压缩；

数据分组模块，用于使用多种不同的分组方式对所述数据获取模块获取的需要分段压缩的待压缩数据进行分组，获取每次分组后每组待压缩数据进行霍夫曼编码时的编码效率和编码时长；根据所述目标编码评分获取最优编码评分，根据所述最优编码评分获取对所述待压缩数据的最优分组数；

数据压缩模块，用于根据所述数据分组模块获得的最优分组数对所述待压缩数据进行分组，对分组后的所述待压缩数据进行霍夫曼编码，并对编码后的数据赋予标识码，得到分段压缩后的待压缩数据。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于霍夫曼编码的多类型数据分段压缩方法，其特征在于，包括以下步骤：

获取待压缩数据，并判断所述待压缩数据是否需要分段压缩；

获取需要分段压缩的待压缩数据，并使用多种不同的分组方式对所述待压缩数据进行分组，获取每次分组后每组待压缩数据进行霍夫曼编码时的编码效率和编码时长；

根据每次分组后每组待压缩数据的编码效率和编码时长，获取每次分组后对待压缩数据的目标编码评分；根据所述目标编码评分获取最优编码评分，根据所述最优编码评分获取对所述待压缩数据的最优分组数；

根据所述最优分组数对所述待压缩数据进行分组，对分组后的所述待压缩数据进行霍夫曼编码，并对编码后的数据赋予标识码，得到分段压缩后的待压缩数据；

判断所述待压缩数据是否需要分段压缩的过程为：

获取所述待压缩数据进行第一霍夫曼编码时的第一编码效率和第一编码时长；根据所述第一编码效率和第一编码时长获取第一编码评分；

将所述待压缩数据分为两组，分别获取每组待压缩数据进行第二霍夫曼码时的编码效率和编码时长；根据每组待压缩数据进行第二霍夫曼编码时的编码效率和编码时长获取第二编码评分；当所述第二编码评分大于所述第一编码评分时，所述待压缩数据需要分段压缩；

所述第一编码评分通过第一编码效率与第一编码时长的比值得到；所述第二编码评分通过将每组待压缩数据的编码评分进行加和得到；

获取每次分组后对待压缩数据的目标编码评分的过程中，所述目标编码评分通过将每次分组后每组待压缩数据的编码评分进行求和得到。

2.根据权利要求1所述的基于霍夫曼编码的多类型数据分段压缩方法，其特征在于，根据所述最优编码评分获取对所述待压缩数据的最优分组数的过程中，将最大目标编码评分作为最优编码评分，并将最优编码评分对应的分组数确定为最优分组数。

3.根据权利要求1所述的基于霍夫曼编码的多类型数据分段压缩方法，其特征在于，根据所述最优编码评分获取对所述待压缩数据的最优分组数的过程为：

根据每个分组数对应的目标编码评分拟合一个关于目标编码评分和分组数的函数，以所述分组数为横坐标，所述目标编码评分为纵坐标作曲线图；选取所述曲线图中最大目标编码评分对应的分组数作为最优分组数。

4.根据权利要求3所述的基于霍夫曼编码的多类型数据分段压缩方法，其特征在于，选取所述曲线图中最大目标编码评分对应的分组数作为最优分组数的过程中，当所述最大目标编码评分对应的分组数为非整数时，对所述非整数进行就近向上或向下取整数，并将所述整数作为最优分组数。

5.一种基于霍夫曼编码的多类型数据分段压缩系统，其特征在于，包括：

数据获取模块，用于获取待压缩数据，并判断所述待压缩数据是否需要分段压缩；

数据分组模块，用于使用多种不同的分组方式对所述数据获取模块获取的需要分段压缩的待压缩数据进行分组，获取每次分组后每组待压缩数据进行霍夫曼编码时的编码效率和编码时长；根据每次分组后每组待压缩数据的编码效率和编码时长，获取每次分组后对待压缩数据的目标编码评分；根据所述目标编码评分获取最优编码评分，根据所述最优编码评分获取对所述待压缩数据的最优分组数；

数据压缩模块，用于根据所述数据分组模块获得的最优分组数对所述待压缩数据进行分组，对分组后的所述待压缩数据进行霍夫曼编码，并对编码后的数据赋予标识码，得到分段压缩后的待压缩数据；

判断所述待压缩数据是否需要分段压缩的过程为：

获取所述待压缩数据进行第一霍夫曼编码时的第一编码效率和第一编码时长；根据所述第一编码效率和第一编码时长获取第一编码评分；

将所述待压缩数据分为两组，分别获取每组待压缩数据进行第二霍夫曼码时的编码效率和编码时长；根据每组待压缩数据进行第二霍夫曼编码时的编码效率和编码时长获取第二编码评分；当所述第二编码评分大于所述第一编码评分时，所述待压缩数据需要分段压缩；

所述第一编码评分通过第一编码效率与第一编码时长的比值得到；所述第二编码评分通过将每组待压缩数据的编码评分进行加和得到；

获取每次分组后对待压缩数据的目标编码评分的过程中，所述目标编码评分通过将每次分组后每组待压缩数据的编码评分进行求和得到。