CN113965207A

CN113965207A - 一种基于deflate霍夫曼编码的动态码表生成装置和方法

Info

Publication number: CN113965207A
Application number: CN202111551901.6A
Authority: CN
Inventors: 王振; 刘宇豪; 张永兴; 王明明
Original assignee: Suzhou Inspur Intelligent Technology Co Ltd
Current assignee: Suzhou Inspur Intelligent Technology Co Ltd
Priority date: 2021-12-17
Filing date: 2021-12-17
Publication date: 2022-01-21
Anticipated expiration: 2041-12-17
Also published as: WO2023109019A1; CN113965207B

Abstract

本发明提供了一种基于deflate霍夫曼编码的动态码表生成装置和方法，装置包括：码长统计电路，码长统计电路配置为计算待编码数据中各个码子的码长数量；最小编码电路，最小编码电路配置为接收码长统计电路的数据，并基于待编码数据中各个码子的码长数量计算各个码长对应的最小编码；码表生成电路，码表生成电路配置为接收最小编码电路的数据，并基于待编码数据中各个码长对应的最小编码生成动态码表，并将动态码表存储到寄存器中。通过使用本发明的方案，能够大幅减少了动态码表生成的时间，能够增加装置的通用性，能够增加装置的灵活性。

Description

一种基于deflate霍夫曼编码的动态码表生成装置和方法

技术领域

本发明涉及计算机领域，并且更具体地涉及一种基于deflate霍夫曼编码的动态码表生成装置和方法。

背景技术

随着时代的发展，人们使用和获取数据信息不再单纯的来自于书本，杂志，报刊等。同时伴随着移动互联，5G，社交网络，物联网，大数据，人工智能(AI)，云计算，安全监控等技术的成熟与发展，使得各种数据正迅速的膨胀并变大，呈爆炸性增长的趋势。5G正在加速普及，越来越多的设备和便捷的联网条件给存储市场带来了前所未有的机会。随着数据量的急剧增长，不断对数据存储系统提出挑战。在所有这些技术当中，云计算技术相当于人的大脑，提供着大容量的数据存储以及高效的计算方式，计算资源和存储资源也更加集中。但是同时使得产生的海量的数据指数级增长，对现有的存储设备带来了巨大的压力。如何能够高效的传输和存储海量数据，同时对CPU不造成过大负荷影响的问题成为关键。因此，高效安全的数据压缩技术成为降低存储成本，节省存储资源有效方法。同时如果将压缩和解压缩任务交给专用硬件电路处理，会大幅减少CPU的负荷，并且在提升存储性能方面非常可观。

Deflate是一种无损压缩标准，是由LZ77编码和霍夫曼编码组合的编码形式。Deflate中使用的霍夫曼编码就是“范式霍夫曼编码”，范式霍夫曼编码最早由Schwartz提出，它是霍夫曼编码的一个子集。其中心思想是使用某些强制的约定，仅通过很少的数据便能重构出霍夫曼编码树的结构。

霍夫曼编码是对数据经过 LZ77 压缩后的二次压缩，又进一步提高了压缩率，它是通过统计字符出现次数，对数据处理的可变长编码，利用字符出现的次数构造霍夫曼二叉树，从树的叶子节点到根节点进行编码，出现的越多的字符让短一些的码替换，同时出现次数少的字符被长一些的码替换掉，可以实现数据的总体大小减小，达到压缩的目的。

Deflate格式的霍夫曼编码分为静态霍夫曼编码和动态霍夫曼编码，动态霍夫曼编码的关键就是根据不同的数据块通过霍夫曼编码算法实时产生对应的动态编码码表。然而动态码表的生成约占整个压缩性能的百分之八十，因此，动态码表的高效实现对整个压缩性能影响至关重要。其中，霍夫曼编码动态码表的生成分为码字长度生成（CL）和码表（code table）生成。然而，传统的码表生成过程占用了约一半的霍夫曼编码动态码表生成时间。

发明内容

有鉴于此，本发明实施例的目的在于提出一种基于deflate霍夫曼编码的动态码表生成装置和方法，通过使用本发明的技术方案，能够大幅减少了动态码表生成的时间，能够增加装置的通用性，能够增加装置的灵活性。

基于上述目的，本发明的实施例的一个方面提供了一种基于deflate霍夫曼编码的动态码表生成装置，包括：

码长统计电路，码长统计电路配置为计算待编码数据中各个码子的码长数量；

最小编码电路，最小编码电路配置为接收码长统计电路的数据，并基于待编码数据中各个码子的码长数量计算各个码长对应的最小编码；

码表生成电路，码表生成电路配置为接收最小编码电路的数据，并基于待编码数据中各个码长对应的最小编码生成动态码表，并将动态码表存储到寄存器中。

根据本发明的一个实施例，还包括：

控制电路，控制电路分别连接到码长统计电路、最小编码电路和码表生成电路，控制电路配置为接收码长统计电路的完成信号后向最小编码电路发送使能信号，接收最小编码电路的完成信号后向码表生成电路发送使能信号。

根据本发明的一个实施例，码长统计电路包括：

比较器，比较器配置为将每个比较器设定为固定且不同的码长值作为比较基准值，分别将待编码数据中literal（待压缩文本字符）和length（重复出现的文本字符长度）对应的计算区间中的码长输入到码长值对应的比较器中，各个比较器分别并行对相同并有效的码长使用标记信号进行标记；

统计单元，统计单元包括加法器，加法器配置为将标记相同的每个码长出现的个数进行相加以得到各个码子的码长数量。

根据本发明的一个实施例，最小编码电路包括：

数据输入单元，每个数据输入单元配置为输入每个码长对应的码长数量；

相加单元，每个相加单元的第一输入端连接到每个数据输入单元；

触发器，每个触发器的数据输入信号连接到同级相加单元的输出端，数据输出信号连接到下一级相加单元的第二输入端并输出每个码长的最小编号。

根据本发明的一个实施例，码表生成电路包括：

比较器，比较器配置为将每个比较器设定为固定且不同的码长值作为比较基准值，分别将待编码数据中literal和length对应的计算区间中的码长输入到码长值对应的比较器中；

计数器，计数器配置为输入端连接到比较器的输出端以统计每个比较器对应的码长值出现的次数；

相加单元，相加单元的第一输入端输入码长的最小编码，第二输入端连接到计数器的输出端，输出端输出每个码长的码表。

根据本发明的一个实施例，码长的区间范围为1-15。

根据本发明的一个实施例，待编码数据中literal和length对应的计算区间为0-285。

本发明的实施例的另一个方面，还提供了一种基于deflate霍夫曼编码的动态码表生成的方法，方法包括：

计算待编码数据中各个码子的码长数量；

基于待编码数据中各个码子的码长数量计算各个码长对应的最小编码；

基于待编码数据中各个码长对应的最小编码生成动态码表，并将动态码表存储到寄存器中。

根据本发明的一个实施例，计算待编码数据中各个码子的码长数量包括：

获取待编码的Literal值对应的Huffman码字长度和Length值对应的码字长度的统计表；

基于获取到的统计表统计每个码子长度在统计表中出现的次数。

根据本发明的一个实施例，码长的区间范围为1-15。

本发明具有以下有益技术效果：本发明实施例提供的基于deflate霍夫曼编码的动态码表生成装置，通过设置码长统计电路，码长统计电路配置为计算待编码数据中各个码子的码长数量；最小编码电路，最小编码电路配置为接收码长统计电路的数据，并基于待编码数据中各个码子的码长数量计算各个码长对应的最小编码；码表生成电路，码表生成电路配置为接收最小编码电路的数据，并基于待编码数据中各个码长对应的最小编码生成动态码表，并将动态码表存储到寄存器中的技术方案，能够大幅减少了动态码表生成的时间，能够增加装置的通用性，能够增加装置的灵活性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为根据本发明一个实施例的基于deflate霍夫曼编码的动态码表生成装置的示意图；

图2为根据本发明一个实施例的码长统计电路的示意图；

图3为根据本发明一个实施例的统计单元硬件电路的示意图；

图4为根据本发明一个实施例的最小编码电路的示意图；

图5为根据本发明一个实施例的码表生成电路的示意图；

图6为根据本发明一个实施例的基于deflate霍夫曼编码的动态码表生成方法的示意流程图。

具体实施方式

以下描述了本公开的实施例。然而，应该理解，所公开的实施例仅仅是示例，并且其他实施例可以采取各种替代形式。附图不一定按比例绘制；某些功能可能被夸大或最小化以显示特定部件的细节。因此，本文公开的具体结构和功能细节不应被解释为限制性的，而仅仅是作为用于教导本领域技术人员以各种方式使用本发明的代表性基础。如本领域普通技术人员将理解的，参考任何一个附图所示出和描述的各种特征可以与一个或多个其他附图中所示的特征组合以产生没有明确示出或描述的实施例。所示特征的组合为典型应用提供了代表性实施例。然而，与本公开的教导相一致的特征的各种组合和修改对于某些特定应用或实施方式可能是期望的。

基于上述目的，本发明的实施例的第一个方面，提出了一种基于deflate霍夫曼编码的动态码表生成装置的一个实施例。图1示出的是该装置的示意图。

如图1中所示，该装置可以包括：

该装置完全使用硬件电路设计，关键电路结构采用并行流水设计，大幅减少了动态码表生时间。同时此装置可以根据应用系统的频率，可配置选择加法电路级数，增加了该装置通用性。此装置由控制电路、码长统计电路、最小编码电路和码表生成电路组成。此装置的整个计算流程受控制电路控制，最小编码电路需要等待码长统计电路完成计算后开始工作。同样，码表生成电路需要等待最小编码电路计算完成后工作。等待码表生成电路计算完成后，将动态的码表锁存在寄存器中，同时此装置输出完成标志。Literal和length码字的动态码表硬件装置和distance（重复出现的文本字符和第一次出现的文本字符之间的距离）码字的动态码表硬件装置完全相同，可相互复用，通过传参实现。

通过本发明的技术方案，能够大幅减少了动态码表生成的时间，能够增加装置的通用性，能够增加装置的灵活性。

在本发明的一个优选实施例中，还包括：

控制电路包括CL_NUMBER单元、SMALL_CODE单元和CODE_TABLE单元。CL_NUMBER单元控制码长统计电路进行各相同码长的数量统计，可支持对literal和length码字对应的区间码[0，285]和distance码字对应的区间码[0，29]和游成编码的游程头[0，18]的码长进行相同码长的数量统计，SMALL_CODE单元控制最小编码电路计算每个码长的最小编码值，CODE_TABLE单元控制码表生成电路计算literal和length码字对应的区间码[0，285]的码表和distance码字对应的区间码[0，29]的码表。

在本发明的一个优选实施例中，码长统计电路包括：

比较器，比较器配置为将每个比较器设定为固定且不同的码长值作为比较基准值，分别将待编码数据中literal和length对应的计算区间中的码长输入到码长值对应的比较器中，各个比较器分别并行对相同并有效的码长使用标记信号进行标记；

统计单元，统计单元包括加法器，加法器配置为将标记相同的每个码长出现的个数进行相加以得到各个码子的码长数量。如图2所示，码长统计电路主要计算literal、length码字和distance码字的各码长数量，此电路采用并行流水结构，加速了码长统计速度，最快两个时钟周期即可输出统计结果。对literal、length的286个码字区间（码字区间范围0~285）的码长进行判断，分别并行对相同并有效的码长（码长范围1-15）使用标记信号对其标记。如2图中所示，设置了0-14共15个比较器，每个比较器对应一个码长范围，建立数组flag[0][i]- flag[14][i]，数组中的前一个数字为码长范围，后一个数字为码子区间的值，即0-285的值，数组分别为码长1到码长15的标志信号。这个过程使用并行电路，一个时钟周期即可完成。接下来统计单元根据各码长的标志信号，根据不同的码长并行对其进行统计，得到不同码长的数量。

如图3所示，统计单元实现了286个标志信号的有效个数统计，根据配置信号可以选择使用1级加法电路、3级加法电路或4级加法电路。可根据系统频率，配置采用不同级数并行加法电路的硬件设计方式，计算出每个码长286个标志信号的数量，统计出每个码长的数量。

在本发明的一个优选实施例中，最小编码电路包括：

触发器，每个触发器的数据输入信号连接到同级相加单元的输出端，数据输出信号连接到下一级相加单元的第二输入端并输出每个码长的最小编号。最小编码电路采用流水方式计算码长为1到15最小编码值，由于每个码字长度的最小编码值受前一个码字长度影响，所以此电路需要15个时钟周期可以计算出每个码长的最小编码值。如图4所示，码长为1的最小编码固定为0，因此电路开始先计算码长为2的最小编码，该电路中设置了15级的计算电路，对应15个码长，相加单元的第一个输入端输入上一个码长的数量，第二输入端输入上一个码长的最小编码，两者组合即为下一个码长的最小编码，这个过程需要一个时钟周期，每个时钟周期依次计算出每个码长的最小编码并存储起来。

在本发明的一个优选实施例中，码表生成电路包括：

相加单元，相加单元的第一输入端输入码长的最小编码，第二输入端连接到计数器的输出端，输出端输出每个码长的码表。当获得码长1到15的最小编码后，通过码表生成电路，即可生成Literal、length码字和Distance码字的动态码表。图5所示为码表生成电路，从码字0开始，每个时钟周期判断其对应的码长，同时对应码长为1到15的码长计数器进行加一计数，表示相应的码长是第几次出现。最后用该码长的最小编码和计数器值相加，得到对应的码字编码值。下一个时钟周期依次按照此方法计算码字1到码字285的编码值，最终得到Literal、length码字和Distance码字的动态码表。

在本发明的一个优选实施例中，码长的区间范围为1-15。

在本发明的一个优选实施例中，待编码数据中literal和length对应的计算区间为0-285。

基于上述目的，本发明的实施例的第二个方面，提出了一种基于deflate霍夫曼编码的动态码表生成的方法，如图6所示，方法包括：

S1计算待编码数据中各个码子的码长数量；

S2基于待编码数据中各个码子的码长数量计算各个码长对应的最小编码；

S3基于待编码数据中各个码长对应的最小编码生成动态码表，并将动态码表存储到寄存器中。

在本发明的一个优选实施例中，计算待编码数据中各个码子的码长数量包括：

在本发明的一个优选实施例中，码长的区间范围为1-15。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

上述实施例，特别是任何“优选”实施例是实现的可能示例，并且仅为了清楚地理解本发明的原理而提出。可以在不脱离本文所描述的技术的精神和原理的情况下对上述实施例进行许多变化和修改。所有修改旨在被包括在本公开的范围内并且由所附权利要求保护。

Claims

1.一种基于deflate霍夫曼编码的动态码表生成装置，其特征在于，包括：

码长统计电路，所述码长统计电路配置为计算待编码数据中各个码子的码长数量；

最小编码电路，所述最小编码电路配置为接收所述码长统计电路的数据，并基于待编码数据中各个码子的码长数量计算各个码长对应的最小编码；

码表生成电路，所述码表生成电路配置为接收所述最小编码电路的数据，并基于待编码数据中各个码长对应的最小编码生成动态码表，并将所述动态码表存储到寄存器中。

2.根据权利要求1所述的装置，其特征在于，还包括：

控制电路，所述控制电路分别连接到所述码长统计电路、所述最小编码电路和所述码表生成电路，所述控制电路配置为接收所述码长统计电路的完成信号后向所述最小编码电路发送使能信号，接收所述最小编码电路的完成信号后向所述码表生成电路发送使能信号。

3.根据权利要求1所述的装置，其特征在于，所述码长统计电路包括：

比较器，所述比较器配置为将每个比较器设定为固定且不同的码长值作为比较基准值，分别将待编码数据中literal和length对应的计算区间中的码长输入到码长值对应的比较器中，各个比较器分别并行对相同并有效的码长使用标记信号进行标记；

统计单元，所述统计单元包括加法器，所述加法器配置为将标记相同的每个码长出现的个数进行相加以得到各个码子的码长数量。

4.根据权利要求1所述的装置，其特征在于，所述最小编码电路包括：

数据输入单元，每个所述数据输入单元配置为输入每个码长对应的码长数量；

相加单元，每个所述相加单元的第一输入端连接到每个所述数据输入单元；

触发器，每个所述触发器的数据输入信号连接到同级所述相加单元的输出端，数据输出信号连接到下一级所述相加单元的第二输入端并输出每个码长的最小编号。

5.根据权利要求1所述的装置，其特征在于，码表生成电路包括：

比较器，所述比较器配置为将每个比较器设定为固定且不同的码长值作为比较基准值，分别将待编码数据中literal和length对应的计算区间中的码长输入到码长值对应的比较器中；

计数器，所述计数器配置为输入端连接到所述比较器的输出端以统计每个比较器对应的码长值出现的次数；

相加单元，所述相加单元的第一输入端输入码长的最小编码，第二输入端连接到所述计数器的输出端，输出端输出每个码长的码表。

6.根据权利要求1所述的装置，其特征在于，码长的区间范围为1-15。

7.根据权利要求3所述的装置，其特征在于，待编码数据中literal和length对应的计算区间为0-285。

8.一种基于deflate霍夫曼编码的动态码表生成的方法，其特征在于，所述方法包括：

计算待编码数据中各个码子的码长数量；

基于待编码数据中各个码长对应的最小编码生成动态码表，并将所述动态码表存储到寄存器中。

9.根据权利要求8所述的方法，其特征在于，计算待编码数据中各个码子的码长数量包括：

基于获取到的统计表统计每个码子长度在所述统计表中出现的次数。

10.根据权利要求8所述的方法，其特征在于，码长的区间范围为1-15。