CN106569750A - 一种数据压缩方法及装置 - Google Patents

Abstract

本发明公开了一种数据压缩方法，该方法包括以下步骤：在达到设定的时间间隔时，读取输入数据缓冲区中的多路数据；对读取到的多路数据进行聚合处理，获得聚合数据块；对聚合数据块中的重复数据进行压缩处理，获得压缩数据块；将压缩数据块放入输出数据缓冲区中。应用本发明实施例所提供的技术方案，在时间维度上对多路数据构成的聚合数据块进行了压缩处理，来自同一时间维度的数据往往来自同一个应用、属于同一种数据类型、或者具有相似的数据属性，重复数据的数量较多，可以提高压缩率，节省存储空间。本发明还公开了一种数据压缩装置，同样具有上述技术效果。

Description

一种数据压缩方法及装置

技术领域

本发明涉及存储技术领域，特别是涉及一种数据压缩方法及装置。

背景技术

在存储系统中，在对数据进行存储的过程中，多需要对数据进行压缩处理，以节省存储空间。

现有的数据压缩方法是基于数据位置这一维度进行的，也称为基于数据位置的压缩算法，即Location-based Compression Algorithm。预设一个滑动窗口，只有在滑动窗口内的连续数据块中的重复数据才会被压缩，如果重复数据位于滑动窗口范围之外，则无法进行压缩。

如图1所示，1/2/3分别代表三块独立的可同时读写的数据块，使用滑动窗口技术确定压缩数据范围，图1右侧数据块中重复数据“ABCDEFG”在位置上不相邻，分别位于三个滑动窗口中，无法被压缩。

也就是说，同一个滑动窗口内重复数据的数量直接决定了压缩率的高低。而位于滑动窗口内的数据块往往并不具有很强的相关性，所以重复数据较少，最终导致压缩率不高，占用较多的存储空间。

发明内容

本发明的目的是提供一种数据压缩方法及装置，以提高压缩率，节省存储空间。

为解决上述技术问题，本发明提供如下技术方案：

一种数据压缩方法，包括：

在达到设定的时间间隔时，读取输入数据缓冲区中的多路数据；

对读取到的多路数据进行聚合处理，获得聚合数据块；

对所述聚合数据块中的重复数据进行压缩处理，获得压缩数据块；

将所述压缩数据块放入输出数据缓冲区中。

在本发明的一种具体实施方式中，还包括：

在对所述聚合数据块中的重复数据进行压缩处理过程中，生成所述聚合数据对应的数据字典。

在本发明的一种具体实施方式中，在所述获得压缩数据块之后、所述将所述压缩数据块放入输出数据缓冲区中之前，还包括：

确定所述输出数据缓冲区的剩余空间的长度是否大于或等于所述压缩数据块的长度；

如果是，则执行所述将所述压缩数据块放入输出数据缓冲区中的步骤。

在本发明的一种具体实施方式中，还包括：

在确定所述输出数据缓冲区的剩余空间的长度小于所述压缩数据块的长度时，按照预设规则，在所述输出数据缓冲区的剩余空间中进行数据填充处理；

在所述输出数据缓冲区满后，将所述输出数据缓冲区中的数据块写入到磁盘中。

在本发明的一种具体实施方式中，在所述将所述输出数据缓冲区中的数据写入到磁盘中之后，还包括：

记录写入到磁盘中的数据块对应的物理空间和虚拟空间的映射关系。

一种数据压缩装置，包括：

数据读取模块，用于在达到设定的时间间隔时，读取输入数据缓冲区中的多路数据；

聚合数据块获得模块，用于对读取到的多路数据进行聚合处理，获得聚合数据块；

压缩数据块获得模块，用于对所述聚合数据块中的重复数据进行压缩处理，获得压缩数据块；

数据块放入模块，用于将所述压缩数据块放入输出数据缓冲区中。

在本发明的一种具体实施方式中，还包括：

数据字典生成模块，用于在对所述聚合数据块中的重复数据进行压缩处理过程中，生成所述聚合数据对应的数据字典。

在本发明的一种具体实施方式中，还包括长度确定模块，用于：

在所述获得压缩数据块之后，确定所述输出数据缓冲区的剩余空间的长度是否大于或等于所述压缩数据块的长度；如果是，则触发所述压缩数据块获得模块。

在本发明的一种具体实施方式中，还包括：

数据填充模块，用于在确定所述输出数据缓冲区的剩余空间的长度小于所述压缩数据块的长度时，按照预设规则，在所述输出数据缓冲区的剩余空间中进行数据填充处理；

数据写入模块，用于在所述输出数据缓冲区满后，将所述输出数据缓冲区中的数据块写入到磁盘中。

在本发明的一种具体实施方式中，还包括映射关系记录模块，用于：

在所述将所述输出数据缓冲区中的数据写入到磁盘中之后，记录写入到磁盘中的数据块对应的物理空间和虚拟空间的映射关系。

应用本发明实施例所提供的技术方案，在达到设定的时间间隔时，读取输入数据缓冲区中的多路数据，对读取到的多路数据进行聚合处理，获得聚合数据块，对聚合数据块中的重复数据进行压缩处理，获得压缩数据块，将压缩数据块放入输出数据缓冲区中，在时间维度上对多路数据构成的聚合数据块进行了压缩处理，来自同一时间维度的数据往往来自同一个应用、属于同一种数据类型、或者具有相似的数据属性，重复数据的数量较多，可以提高压缩率，节省存储空间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中数据压缩过程的一种示意图；

图2为本发明实施例中一种数据压缩方法的实施流程图；

图3为本发明实施例中输入数据缓冲区输入数据的一种示意图；

图4为本发明实施例中数据压缩过程的一种示意图；

图5为本发明实施例中输出数据缓冲区输出数据的一种示意图；

图6为本发明实施例中一种数据压缩装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图2所示，为本发明实施例所提供的一种数据压缩方法的实施流程图，该方法可以包括以下步骤：

S110：在达到设定的时间间隔时，读取输入数据缓冲区中的多路数据。

在实际应用中，存储系统中，多路IO可以同时写入数据。待写入到磁盘的数据先存入输入数据缓冲区中。在输入数据缓冲区中存入的数据的长度不固定，可以相同，还可以不同，如图3所示。

在达到设定的时间间隔时，可以读取输入数据缓冲区中的多路数据。具体的，可以利用时间窗口技术，读取输入数据缓冲区中在一个时间窗口内的数据。

时间间隔的大小可以根据实际情况进行设定和调整，本发明实施例对此不做限制。

S120：对读取到的多路数据进行聚合处理，获得聚合数据块。

在步骤S110，读取到输入数据缓冲区中的多路数据后，可以对读取到的多路数据进行聚合处理，获得聚合数据块。具体的，可以按照预设顺序将读取到的多路数据进行聚合。

S130：对聚合数据块中的重复数据进行压缩处理，获得压缩数据块。

在步骤S120获得聚合数据块，对聚合数据块中的重复数据进行压缩处理，可以获得压缩数据块。

聚合数据块中可能会存在多个重复数据组，每个重复数据组可以包含多个重复数据。对聚合数据块中的数据进行检测，可以确定聚合数据块中包含的重复数据组。针对每个重复数据组，使用对应的标识替换重复数据，达到数据压缩的目的。

如图4所示，1/2/3表示三路IO同时写入的数据，这三路数据被聚合在一起进行压缩处理。

在对聚合数据块中的重复数据进行压缩处理过程中，可以生成聚合数据对应的数据字典。数据字典的生成过程为动态过程，不同的聚合数据对应的数据字典不同。

S140：将压缩数据块放入输出数据缓冲区中。

将压缩数据块放入输出数据缓冲区中，以便进行后续处理。

应用本发明实施例所提供的方法，在达到设定的时间间隔时，读取输入数据缓冲区中的多路数据，对读取到的多路数据进行聚合处理，获得聚合数据块，对聚合数据块中的重复数据进行压缩处理，获得压缩数据块，将压缩数据块放入输出数据缓冲区中，在时间维度上对多路数据构成的聚合数据块进行了压缩处理，来自同一时间维度的数据往往来自同一个应用、属于同一种数据类型、或者具有相似的数据属性，重复数据的数量较多，可以提高压缩率，节省存储空间。

这种基于时间维度的压缩方法可以简称为TCA(Timeline-based CompressionAlgorithm)。

在本发明的一个实施例中，在步骤S130之后、步骤S140之前，该方法还可以包括以下步骤：

确定输出数据缓冲区的剩余空间的长度是否大于或等于压缩数据块的长度，如果是，则执行步骤S140的操作。

在本发明实施例中，在达到设定的时间间隔时，读取到输入数据缓冲区中的多路数据后，对读取到的多路数据进行聚合、压缩处理，获得压缩数据块，先将压缩数据块放入输出数据缓冲区中。

输出数据缓冲区具有一定的容量，其中可能已经存放了一些数据块，如果当前压缩数据块的长度大于输出数据缓冲区的剩余空间的长度，则当前压缩数据块将无法放入到输出数据缓冲区中。

可以先确定输出数据缓冲区的剩余空间的长度是否大于或等于压缩数据块的长度。如果是，则可以继续执行步骤S140，将压缩数据块放入输出数据缓冲区中的操作。如果否，则无法将压缩数据块放入输出数据缓冲区中，可以等待输出数据缓冲区的剩余空间的长度大于或者等于压缩数据块的长度时，再将其放入。

在本发明的一种具体实施方式中，还可以包括以下步骤：

步骤一：在确定输出数据缓冲区的剩余空间的长度小于压缩数据块的长度时，按照预设规则，在输出数据缓冲区的剩余空间中进行数据填充处理；

步骤二：在输出数据缓冲区满后，将输出数据缓冲区中的数据块写入到磁盘中。

为便于描述，将上述两个步骤结合起来进行说明。

在确定输出数据缓冲区的剩余空间的长度小于压缩数据块的长度时，压缩数据块将无法放入输出数据缓冲区中。在这种情况下，可以按照预设规则，在输出数据缓冲区的剩余空间中进行数据填充处理。具体的，可以在输出数据缓冲区的剩余空间中填入无实际意义的数据，如空数据等。

通过多次向输出数据缓冲区中放入压缩数据块，或者向输出数据缓冲区的剩余空间中填充数据，可以将输出数据缓冲区填满。

在输出数据缓冲区满后，可以将输出数据缓冲区中的数据块写入到磁盘中。输出数据缓冲区输出的数据长度一致，如图5所示，便于管理。

对读取到的输入数据缓冲区中的数据进行聚合、压缩处理后，将压缩数据块放入到输出数据缓冲区中，再写入到磁盘中，可以降低磁盘IO次数，提高磁盘利用率。

在将输出数据缓冲区中的数据块写入到磁盘中后，可以记录写入到磁盘中的数据块对应的物理空间和虚拟空间的映射关系，建立相应的索引，以便用户通过虚拟空间可以访问到相应的数据。

本发明实施例所提供的输入缓冲长度不定输出缓冲长度固定的压缩方法可以简称为VIFO(Variable Input Fixed Output)压缩方法。

相应于上面的方法实施例，本发明实施例还提供了一种数据压缩装置，下文描述的一种数据压缩装置与上文描述的一种数据压缩法可相互对应参照。

参见图6所示，该装置包括以下模块：

数据读取模块210，用于在达到设定的时间间隔时，读取输入数据缓冲区中的多路数据；

聚合数据块获得模块220，用于对读取到的多路数据进行聚合处理，获得聚合数据块；

压缩数据块获得模块230，用于对聚合数据块中的重复数据进行压缩处理，获得压缩数据块；

数据块放入模块240，用于将压缩数据块放入输出数据缓冲区中。

应用本发明实施例所提供的装置，在达到设定的时间间隔时，读取输入数据缓冲区中的多路数据，对读取到的多路数据进行聚合处理，获得聚合数据块，对聚合数据块中的重复数据进行压缩处理，获得压缩数据块，将压缩数据块放入输出数据缓冲区中，在时间维度上对多路数据构成的聚合数据块进行了压缩处理，来自同一时间维度的数据往往来自同一个应用、属于同一种数据类型、或者具有相似的数据属性，重复数据的数量较多，可以提高压缩率，节省存储空间。

在本发明的一种具体实施方式中，还包括：

数据字典生成模块，用于在对聚合数据块中的重复数据进行压缩处理过程中，生成聚合数据对应的数据字典。

在本发明的一种具体实施方式中，还包括长度确定模块，用于：

在获得压缩数据块之后，确定输出数据缓冲区的剩余空间的长度是否大于或等于压缩数据块的长度；如果是，则触发压缩数据块获得模块230。

在本发明的一种具体实施方式中，还包括：

数据填充模块，用于在确定输出数据缓冲区的剩余空间的长度小于压缩数据块的长度时，按照预设规则，在输出数据缓冲区的剩余空间中进行数据填充处理；

数据写入模块，用于在输出数据缓冲区满后，将输出数据缓冲区中的数据块写入到磁盘中。

在本发明的一种具体实施方式中，还包括映射关系记录模块，用于：

在将输出数据缓冲区中的数据写入到磁盘中之后，记录写入到磁盘中的数据块对应的物理空间和虚拟空间的映射关系。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种数据压缩方法，其特征在于，包括：

在达到设定的时间间隔时，读取输入数据缓冲区中的多路数据；

对读取到的多路数据进行聚合处理，获得聚合数据块；

对所述聚合数据块中的重复数据进行压缩处理，获得压缩数据块；

将所述压缩数据块放入输出数据缓冲区中。

2.根据权利要求1所述的数据压缩方法，其特征在于，还包括：

在对所述聚合数据块中的重复数据进行压缩处理过程中，生成所述聚合数据对应的数据字典。

3.根据权利要求1或2所述的数据压缩方法，其特征在于，在所述获得压缩数据块之后、所述将所述压缩数据块放入输出数据缓冲区中之前，还包括：

确定所述输出数据缓冲区的剩余空间的长度是否大于或等于所述压缩数据块的长度；

如果是，则执行所述将所述压缩数据块放入输出数据缓冲区中的步骤。

4.根据权利要求3所述的数据压缩方法，其特征在于，还包括：

在确定所述输出数据缓冲区的剩余空间的长度小于所述压缩数据块的长度时，按照预设规则，在所述输出数据缓冲区的剩余空间中进行数据填充处理；

在所述输出数据缓冲区满后，将所述输出数据缓冲区中的数据块写入到磁盘中。

5.根据权利要求4所述的数据压缩方法，其特征在于，在所述将所述输出数据缓冲区中的数据写入到磁盘中之后，还包括：

记录写入到磁盘中的数据块对应的物理空间和虚拟空间的映射关系。

6.一种数据压缩装置，其特征在于，包括：

数据读取模块，用于在达到设定的时间间隔时，读取输入数据缓冲区中的多路数据；

聚合数据块获得模块，用于对读取到的多路数据进行聚合处理，获得聚合数据块；

压缩数据块获得模块，用于对所述聚合数据块中的重复数据进行压缩处理，获得压缩数据块；

数据块放入模块，用于将所述压缩数据块放入输出数据缓冲区中。

7.根据权利要求6所述的数据压缩装置，其特征在于，还包括：

数据字典生成模块，用于在对所述聚合数据块中的重复数据进行压缩处理过程中，生成所述聚合数据对应的数据字典。

8.根据权利要求6或7所述的数据压缩装置，其特征在于，还包括长度确定模块，用于：

在所述获得压缩数据块之后，确定所述输出数据缓冲区的剩余空间的长度是否大于或等于所述压缩数据块的长度；如果是，则触发所述压缩数据块获得模块。

9.根据权利要求8所述的数据压缩装置，其特征在于，还包括：

数据填充模块，用于在确定所述输出数据缓冲区的剩余空间的长度小于所述压缩数据块的长度时，按照预设规则，在所述输出数据缓冲区的剩余空间中进行数据填充处理；

数据写入模块，用于在所述输出数据缓冲区满后，将所述输出数据缓冲区中的数据块写入到磁盘中。

10.根据权利要求9所述的数据压缩装置，其特征在于，还包括映射关系记录模块，用于：

在所述将所述输出数据缓冲区中的数据写入到磁盘中之后，记录写入到磁盘中的数据块对应的物理空间和虚拟空间的映射关系。