CN103746702B - 数据的无损压缩方法与装置 - Google Patents

Abstract

本发明适用于数据压缩技术领域，提供了一种数据的无损压缩方法，所述方法包括：接收长度为M位的二进制数据，并进行缓存；将所述二进制数据与内容可寻址存储器的数据匹配处理，获取匹配类型；根据所述数据匹配处理结果，选择匹配度最接近的N组匹配类型；从所述N组匹配类型中选择最优的匹配类型，并将该匹配类型及对应该匹配类型的数据在所述内容可寻址存储器的位置输出；根据预设编码规则对数据编码处理。本发明还相应的提供一种数据的无损压缩装置。借此，本发明的无损压缩具有很高的吞吐量，且整体的工作频率可以达到400MHz。

Description

数据的无损压缩方法与装置

技术领域

本发明涉及数据压缩技术领域，尤其涉及一种数据的无损压缩方法与装置。

背景技术

数据压缩技术是计算机设备处理应用时必不可缺少的技术之一，通过对数据的压缩可以减小点用空间，并提高传输速度。现有的数据压缩技术包括有损压缩和无损压缩，相对于有损压缩来说，无损压缩的占用空间大，压缩比不高，但是它100％地保存了原始信息，没有任何信号丢失并且音质高，不受信号源的影响。但现有技术的无损压缩又不能满足高速数据通路的吞吐量要求，且硬件结构复杂度比较高。

综上可知，现有的数据的压缩方法与装置，在实际使用上显然存在不便与缺陷，所以有必要加以改进。

发明内容

针对上述的缺陷，本发明的目的在于提供一种数据的无损压缩方法与装置，其结构简单，可以达到很高的吞吐量及处理速度。

为了实现上述目的，本发明提供一种数据的无损压缩方法，所述方法包括：

接收长度为M位的二进制数据，并进行缓存；

将所述二进制数据与内容可寻址存储器的数据匹配处理，获取匹配类型；

根据所述数据匹配处理结果，选择匹配度最接近的N组匹配类型；

从所述N组匹配类型中选择最优的匹配类型，并将该匹配类型及对应该匹配类型的数据在所述内容可寻址存储器的位置输出；

根据预设编码规则对数据编码处理。

根据本发明的数据的无损压缩方法，所述内容可寻址存储器为宽度为M位；

所述将所述二进制数据与内容可寻址存储器的数据匹配处理，获取匹配类型的步骤包括：

将所述M位的二进制数据与内容可寻址存储器的数据比较；

若所述内容可寻址存储器具有与所述M位二进制数据完全匹配的数据，则将该匹配数据移动至所述内容可寻址存储器的顶端，并将所述匹配数据位置之上的数据依次下移；

若所述内容可寻址存储器不具有与所述M位二进制数据完全匹配的数据，则将所述M位二进制数据插入到内容可寻址存储器的顶端。

根据本发明的数据的无损压缩方法，所述方法还包括：

将编码后不足M位的数据，用“0”补足M位后输出。

根据本发明的数据的无损压缩方法，所述M值为对应4Byte数据的32；

所述匹配类型包括：4Byte数据全匹配、3Byte数据匹配、2Byte数据匹配、1Byte数据匹配及无数据匹配，其中，每个匹配的Byte数据位置记1，不匹配的Byte数据位置记0；

所述4Byte数据全匹配的数据编码规则：将压缩标记位、匹配类型和匹配数据位置按序排列为一个数组；

所述3Byte数据全匹配的数据编码规则：将压缩标记位、匹配类型、匹配数据位置以及未匹配的1Byte数据按序排列为一个数组；

所述2Byte数据全匹配的数据编码规则：将压缩标记位、匹配类型、匹配数据位置以及未匹配的2Byte数据按序排列为一个数组。

根据本发明的数据的无损压缩方法，所述方法还包括：对预设组数的数据预编码，若所述预编码结果达到预设可编阈值，则判定该组数据可以编码，否则不对所述该组数据编码。

本发明还提供一种数据的无损压缩装置，包括

缓存模块，用于接收到长度为M位的二进制数据时，缓存所述数据；

匹配处理模块，用于将所述二进制数据与内容可寻址存储器的数据匹配处理，获取匹配类型；

选择模块，用于根据所述数据匹配处理结果，选择匹配度最接近的N组匹配类型；

输出处理模块，用于从所述N组匹配类型中选择最优的匹配类型，并将该匹配类型及对应该匹配类型的数据在所述内容可寻址存储器的位置输出；

编码模块，用于根据预设编码规则对数据编码处理。

根据本发明的数据的无损压缩装置，所述内容可寻址存储器为宽度为M位；

所述匹配处理模块进一步用于将所述M位的二进制数据与内容可寻址存储器的数据比较；

若所述内容可寻址存储器具有与所述M位二进制数据完全匹配的数据，则将该匹配数据移动至所述内容可寻址存储器的顶端，并将所述匹配数据位置之上的数据依次下移；

若所述内容可寻址存储器不具有与所述M位二进制数据完全匹配的数据，则将所述M位二进制数据插入到内容可寻址存储器的顶端。

根据本发明的数据的无损压缩装置，所述编码模块还用于将编码后不足M位的数据，用“0”补足M位后输出。

根据本发明的数据的无损压缩装置，所述M值为对应4Byte数据的32；

所述匹配类型包括：4Byte数据全匹配、3Byte数据匹配、2Byte数据匹配、1Byte数据匹配及无数据匹配，其中，每个匹配的Byte数据位置记1，不匹配的Byte数据位置记0；

所述编码模块对所述4Byte数据全匹配的数据编码规则：将压缩标记位、匹配类型和匹配数据位置按序排列为一个数组；

所述编码模块对所述3Byte数据全匹配的数据编码规则：将压缩标记位、匹配类型、匹配数据位置以及未匹配的1Byte数据按序排列为一个数组；

所述编码模块对所述2Byte数据全匹配的数据编码规则：将压缩标记位、匹配类型、匹配数据位置以及未匹配的2Byte数据按序排列为一个数组。

本发明通过压缩装置接收一定长度的二进制数据，并进行缓存，然后将所述二进制数据与内容可寻址存储器的数据匹配处理，获取匹配类型，比如全匹配或非全匹配，并根据所述数据匹配处理结果，选择匹配度最接近的N组匹配类型，从所述N组匹配类型中选择最优的匹配类型，最后将该匹配类型及对应该匹配类型的数据在所述内容可寻址存储器的位置输出，编码模根据预设编码规则对输出的数据编码处理。本发明采用上述多级流水处理，具有很高的吞吐量，可以达到1.6GBytes/s，且整体的工作频率可以达到400MHz，大大提高了压缩效率，并简化了硬件结构。

附图说明

图1是本发明一实施例的无损压缩装置结构示意图；

图2是本发明另一实施例的无损压缩装置结构示意图；

图3A是本发明一实施例的无损压缩装置的部分结构示意图；

图3B是图3A所示实施例的无损压缩装置的另一部分结构示意图；

图4是本发明一实施例的数据的无损压缩方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明是基于CAM(content addressable memory,内容可寻址存储器)算法(又称“字典算法”)的压缩编码，同时为方便实施例描述，本发明定义CAM的宽度为4Byte，即32bit(位)，深度为32，即CAM可以保存32个4Byte的数据，每周期输入的数据可以与这32个数据进行比较，找出最优的匹配。需要说明的，CAM的宽度与深度的大小可根据不同的需求设定，其不限于以上数据。

参见图1和图2，本发明提供了一种数据的无损压缩装置，该装置通过FSM(Finite State Machine，状态机)接收二进制数据，然后进行缓存压缩处理，该无损压缩装置100具有压缩处理模块101及拼接模块102，所述压缩处理模块101至少包括缓存模块10、匹配处理模块20、选择模块30、输出处理模块40以及编码模块50五级流水线结构，结合图3A，

缓存模块10，用于接收到长度为M位的二进制数据时，缓存所述数据。该缓存模块10是与外部的接口模块，且M的值为32，即缓存模块10每次接收缓存32bit(4Byte)的二进制数据。

匹配处理模块20，用于将所述二进制数据与内容可寻址存储器(CAM)的数据匹配处理，获取匹配类型。本发明将1Byte数据作为最小比较单元，将输入的4个byte与字典中的数据进行比较，对应位置相同则为匹配，据此将匹配分为三大类：

Full match：4个byte全匹配；

Partial match：2个或3个byte匹配；

Miss：1个或0个byte匹配；

每个匹配类型具有对应的码字，具体规则为：每个匹配的Byte数据位置记1，不匹配的Byte数据位置记0。

具体如下表1所示：

表1

具体的，匹配处理模块20进一步用于将4byte的二进制数据与内容可寻址存储器的数据比较，若所述内容可寻址存储器具有与所述数据完全匹配的数据，则将该匹配数据移动至所述内容可寻址存储器的顶端，并将所述匹配数据位置之上的数据依次下移；若所述内容可寻址存储器不具有与所述数据完全匹配的数据，则将所述数据插入到内容可寻址存储器的顶端，对应的内容可寻址存储器的数据均依次向下移动，借此，内容可寻址存储器可以在下个周期与下一笔数据完成比较与移动，且所述数据与内容可寻址存储器的匹配结果可通过上表所述的码字表示。

选择模块30，用于根据所述数据匹配处理结果，选择匹配度最接近的N组匹配类型。根据匹配处理模块20的匹配结果，进行两两比较，比较出匹配类型更高级的，若匹配类型相同，则选择匹配位置靠上的，本实施例中由32组中选出16组。

输出处理模块40，用于从所述16组匹配类型中选择最优的匹配类型，并将该匹配类型及对应该匹配类型的数据在所述内容可寻址存储器的位置输出。具体的，输出处理模块40输出的为匹配类型对应的码字。

编码模块50，用于根据预设编码规则对数据编码处理。具体实施例中，所述4Byte数据全匹配的数据编码规则：将压缩标记位、匹配类型和匹配数据位置按序排列为一个数组；所述3Byte数据全匹配的数据编码规则：将压缩标记位、匹配类型、匹配数据位置以及未匹配的1Byte数据按序排列为一个数组；所述2Byte数据全匹配的数据编码规则：将压缩标记位、匹配类型、匹配数据位置以及未匹配的2Byte数据按序排列为一个数组，所述排列后的数组即是编码后的数据。具体参见下表2：

表2

其中：

上表中的MT表示match type，用于标记匹配类型，码字长度为4bit；

ML表示match location，用于标记匹配位置，即在CAM中的位置，码字长度为5bit；

Literal表示miss match byte，用于记录不匹配的1个byte，码字长度为8bit；

RLI:run length internal

Counter用于表示游长编码下的计数器，长度为8bit；

Flag用于标记这一笔数据是否为压缩。

本发明通过以上五级流水结构完成对数据的压缩编码，其可以实现400MHz的工作频率以及1.6GBytes/s的数据吞吐量，且采用RLI(游长)编码，不仅简化了硬件结构，且对于大量重复出现的数据，具有很高的压缩速率。

优选的是，本发明的无损压缩装置100还包括一拼接模块102，用于接收编码模块50输出的编码数据，并对其进一步处理。结合图3B，由于不同的数据的压缩长度可能会出现压缩后数据的长度不一致，该拼接模块102可以对不定长度的压缩数据进行拼接，再将数据已32bit固定长度输出。

拼接模块102根据上个模块输出的固定长度的33bit(32bit数据加1bit Flag标记位)数据，以及有效数据长度，将33bit数据全部放入数据槽，数据指针按照数据长度移动，一旦有效数据长度超过32bit，则将前32bit数据输出，且在一个block数据完结的时候要完成对最后一笔数据的补齐，即数据不足32bit，用“0”补足32bit。

实际的数据压缩应用于，由于有些数据不适宜用压缩(编码没有规则)，导致压缩完之后的数据没有明显的减少数据量，甚至比编码之前数据量更大，本发明采用预判机制克服上述缺陷。具体为：对前32组数据进行预编码，如果编码可以达到一定的可编码性，即所述预编码结果达到预设可编阈值，则判定此数据可以编码，否则不对这组数据编码，借此进一步有效提高压缩效率。

参见图4，本发明提供了一种数据的无损压缩方法，其可以通过如图1所示的无损压缩装置100实现，该方法包括：

步骤S401，接收长度为M位的二进制数据，并进行缓存。该步骤通过与外部接口的缓存模块10实现，且本实施例中M的值为32，即缓存模块10每次接收缓存32bit(4Byte)的二进制数据。

步骤S402，将所述二进制数据与内容可寻址存储器的数据匹配处理，获取匹配类型。本发明将1Byte数据作为最小比较单元，将输入的4个byte与字典中的数据进行比较，对应位置相同则为匹配，据此将匹配分为三大类：

Full match：4个byte全匹配；

Partial match：2个或3个byte匹配；

Miss：1个或0个byte匹配；

每个匹配类型具有对应的码字，具体规则为：每个匹配的Byte数据位置记1，不匹配的Byte数据位置记0。

无损压缩装置100可以将4byte的二进制数据与内容可寻址存储器的数据比较，若所述内容可寻址存储器具有与所述数据完全匹配的数据，则将该匹配数据移动至所述内容可寻址存储器的顶端，并将所述匹配数据位置之上的数据依次下移；若所述内容可寻址存储器不具有与所述数据完全匹配的数据，则将所述数据插入到内容可寻址存储器的顶端，对应的内容可寻址存储器的数据均依次向下移动，借此，内容可寻址存储器可以在下个周期与下一笔数据完成比较与移动，且所述数据与内容可寻址存储器的匹配结果可通过表1所述的码字表示。

步骤S403，根据所述数据匹配处理结果，选择匹配度最接近的N组匹配类型。具体的，根据步骤S402的匹配结果，进行两两比较，比较出匹配类型更高级的，若匹配类型相同，则选择匹配位置靠上的，本实施例中由32组中选出16组。需要说明的，本实施例中所述匹配类型更高级的指的是匹配度较高的，比如匹配类型为“1111”的即高于匹配类型为“1101”或其它类型，本发明可以根据匹配类型码字中“1”的数据来判定匹配的高级与否。

步骤S404，从所述N组匹配类型中选择最优的匹配类型，并将该匹配类型及对应该匹配类型的数据在所述内容可寻址存储器的位置输出。

步骤S405，根据预设编码规则对数据编码处理。本实施例中，所述4Byte数据全匹配的数据编码规则：将压缩标记位、匹配类型和匹配数据位置按序排列为一个数组；所述3Byte数据全匹配的数据编码规则：将压缩标记位、匹配类型、匹配数据位置以及未匹配的1Byte数据按序排列为一个数组；所述2Byte数据全匹配的数据编码规则：将压缩标记位、匹配类型、匹配数据位置以及未匹配的2Byte数据按序排列为一个数组，所述排列后的数组即是编码后的数据，具体编码规则可参见前述实施例中的表2。

优选的是，本发明在执行完上述流程后，还可以对压缩数据进行如下操作：将编码后不足32位的数据，用“0”补足32位后输出。具体的，通过拼接模块102根据输出的固定长度的33bit(32bit数据加1bit Flag标记位)数据，以及有效数据长度，将33bit数据全部放入数据槽，数据指针按照数据长度移动，一旦有效数据长度超过32bit，则将前32bit数据输出，且在一个block数据完结的时候要完成对最后一笔数据的补齐，即数据不足32bit，用“0”补足32bit。

实际的数据压缩应用于，由于有些数据不适宜用压缩(编码没有规则)，导致压缩完之后的数据没有明显的减少数据量，甚至比编码之前数据量更大，本发明采用预判机制克服上述缺陷。具体为：对前32组数据进行预编码，如果编码可以达到一定的可编码性，即所述预编码结果达到预设可编阈值，则判定此数据可以编码，否则不对这组数据编码，借此进一步有效提高压缩效率。

综上所述，本发明通过压缩装置接收一定长度的二进制数据，并进行缓存，然后将所述二进制数据与内容可寻址存储器的数据匹配处理，获取匹配类型，比如全匹配或非全匹配，并根据所述数据匹配处理结果，选择匹配度最接近的N组匹配类型，从所述N组匹配类型中选择最优的匹配类型，最后将该匹配类型及对应该匹配类型的数据在所述内容可寻址存储器的位置输出，编码模根据预设编码规则对输出的数据编码处理。本发明采用上述多级流水处理，具有很高的吞吐量，可以达到1.6GBytes/s，且整体的工作频率可以达到400MHz，大大提高了压缩效率，并简化了硬件结构。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.一种数据的无损压缩方法，其特征在于，所述方法包括：

接收长度为M位的二进制数据，并进行缓存；

将所述二进制数据与内容可寻址存储器的数据匹配处理，获取匹配类型；

根据所述数据匹配处理结果，选择匹配度最接近的N组匹配类型；

从所述N组匹配类型中选择最优的匹配类型，并将该匹配类型及对应该匹配类型的数据在所述内容可寻址存储器的位置输出；

根据预设编码规则对数据编码处理；

所述内容可寻址存储器为宽度为M位；

所述将所述二进制数据与内容可寻址存储器的数据匹配处理，获取匹配类型的步骤包括：

将所述M位的二进制数据与内容可寻址存储器的数据比较；

若所述内容可寻址存储器具有与所述M位二进制数据完全匹配的数据，则将该匹配数据移动至所述内容可寻址存储器的顶端，并将所述匹配数据位置之上的数据依次下移；

若所述内容可寻址存储器不具有与所述M位二进制数据完全匹配的数据，则将所述M位二进制数据插入到内容可寻址存储器的顶端。

2.根据权利要求1所述的数据的无损压缩方法，其特征在于，所述方法还包括：

将编码后不足M位的数据，用“0”补足M位后输出。

3.根据权利要求1所述的数据的无损压缩方法，其特征在于，所述M值为对应4Byte数据的32；

所述匹配类型包括：4Byte数据全匹配、3Byte数据匹配、2Byte数据匹配、1Byte数据匹配及无数据匹配，其中，每个匹配的Byte数据位置记1，不匹配的Byte数据位置记0；

所述4Byte数据全匹配的数据编码规则：将压缩标记位、匹配类型和匹配数据位置按序排列为一个数组；

所述3Byte数据全匹配的数据编码规则：将压缩标记位、匹配类型、匹配数据位置以及未匹配的1Byte数据按序排列为一个数组；

所述2Byte数据全匹配的数据编码规则：将压缩标记位、匹配类型、匹配数据位置以及未匹配的2Byte数据按序排列为一个数组。

4.根据权利要求1所述的数据的无损压缩方法，其特征在于，所述方法还包括：对预设组数的数据预编码，若所述预编码结果达到预设可编阈值，则判定该组数据可以编码，否则不对所述该组数据编码。

5.一种数据的无损压缩装置，其特征在于，包括

缓存模块，用于接收到长度为M位的二进制数据时，缓存所述数据；

匹配处理模块，用于将所述二进制数据与内容可寻址存储器的数据匹配处理，获取匹配类型；

选择模块，用于根据所述数据匹配处理结果，选择匹配度最接近的N组匹配类型；

输出处理模块，用于从所述N组匹配类型中选择最优的匹配类型，并将该匹配类型及对应该匹配类型的数据在所述内容可寻址存储器的位置输出；

编码模块，用于根据预设编码规则对数据编码处理；

所述内容可寻址存储器为宽度为M位；

所述匹配处理模块进一步用于将所述M位的二进制数据与内容可寻址存储器的数据比较；

若所述内容可寻址存储器具有与所述M位二进制数据完全匹配的数据，则将该匹配数据移动至所述内容可寻址存储器的顶端，并将所述匹配数据位置之上的数据依次下移；

若所述内容可寻址存储器不具有与所述M位二进制数据完全匹配的数据，则将所述M位二进制数据插入到内容可寻址存储器的顶端。

6.根据权利要求5所述的数据的无损压缩装置，其特征在于，所述装置还包括拼接模块，用于将编码后不足M位的数据，用“0”补足M位后输出。

7.根据权利要求5所述的数据的无损压缩装置，其特征在于，所述M值为对应4Byte数据的32；

所述匹配类型包括：4Byte数据全匹配、3Byte数据匹配、2Byte数据匹配、1Byte数据匹配及无数据匹配，其中，每个匹配的Byte数据位置记1，不匹配的Byte数据位置记0；

所述编码模块对所述4Byte数据全匹配的数据编码规则：将压缩标记位、匹配类型和匹配数据位置按序排列为一个数组；

所述编码模块对所述3Byte数据全匹配的数据编码规则：将压缩标记位、匹配类型、匹配数据位置以及未匹配的1Byte数据按序排列为一个数组；

所述编码模块对所述2Byte数据全匹配的数据编码规则：将压缩标记位、匹配类型、匹配数据位置以及未匹配的2Byte数据按序排列为一个数组。