CN103138766A - 数据压缩与解压缩的方法及装置 - Google Patents

Abstract

本发明公开了一种数据压缩方法，包括：对原始数据进行分块处理，获得分块数据块，其中分块数据块具有m个或Q个数据行，每一数据行的长度为n个数据单位，m、n和Q均为自然数；将分块数据块作为m*n或Q*n的第一目标矩阵；对第一目标矩阵进行转置变换，获得n*m或n*Q的第二目标矩阵;对第二目标矩阵进行压缩，得到压缩数据块。

Description

数据压缩与解压缩的方法及装置

技术领域

本发明涉及数据压缩与解压缩领域，特别涉及数据压缩与解压缩的方法及装置。

背景技术

随着计算机技术的快速发展，各种系统数据量越来越大，为了能够节省数据存储的时间与空间，必须对大量的数据进行压缩，数据的压缩率越高，数据的存储空间就会越小。同时还要对压缩数据进行解压以得到原始数据。

对于一些定长（每一数据行的长度是固定的）、行与行之间所存储的数据相似度较大的文件，比如常见的日志文件、清单类的文件等，如果充分利用其行与行之间的相关性，将会提高数据的压缩率。

发明内容

有鉴于此，本发明的目的在于提供数据压缩与解压缩的方法及装置，以实现对定长、行与行之间所存储的数据相似度较大的文件的压缩与解压缩。

为实现上述目的，本发明提供如下技术方案：

一种数据压缩方法，包括：

对原始数据进行分块处理，获得分块数据块，所述分块数据块具有m个或Q个数据行，每一数据行的长度为n个数据单位，所述m、n和Q均为自然数；

将所述分块数据块作为m*n或Q*n的第一目标矩阵；

对所述第一目标矩阵进行转置变换，获得n*m或n*Q的第二目标矩阵;

对所述第二目标矩阵进行压缩，得到压缩数据块。

优选的，所述原始数据包括P个数据行，每一数据行的长度为n个数据单位,所述m、Q不大于所述P，并且，所述Q不大于所述m，所述P和n为自然数；

所述分块数据块数量为X个，所述X为自然数；

所述分块处理具体包括：

将所述原始数据划分为X个分块数据块，在所述X个分块数据块中，其中一个分块数据块包括Q个数据行，另外X-1个分块数据块包括m个数据行，并且m*(X-1)+Q=P。

优选的，所述对所述第二目标矩阵进行压缩包括：采用LZ77、gzip或bzip2压缩算法对所述第二目标矩阵进行压缩。

一种解压缩方法，包括：对压缩数据块进行解压缩，获得解压缩数据块，所述解压缩数据块具有n个数据行，每一数据行包括m个或Q个数据单位，所述m、n和Q均为自然数；

将所述解压缩数据块作为n*m或n*Q的第二目标矩阵；

对所述第二目标矩阵进行转置变换，获得m*n或Q*n第一目标矩阵;

将所述第一目标矩阵作为组合数据块，所述组合数据块具有m个或Q个数据行，每一数据行的长度为n个数据单位，所述m、n和Q均为自然数；

对所述组合数据块进行组合，获得原始数据。

优选的，所述对压缩数据块进行解压缩包括：采用与LZ77、gzip或bzip2压缩算法相对应的解压缩算法，对所述压缩数据块进行解压缩

一种数据压缩装置，包括分块处理模块、第一目标矩阵生成模块、第二目标矩阵生成模块和数据压缩模块；

所述分块处理模块用于对原始数据进行分块处理，获得分块数据块，所述分块数据块具有m个或Q个数据行，每一数据行的长度为n个数据单位，所述m、n和Q均为自然数；

所述第一目标矩阵生成模块用于将分块数据块作为m*n或Q*n的第一目标矩阵；

所述第二目标矩阵生成模块用于对所述第一目标矩阵进行转置变换，获得n*m或n*Q的第二目标矩阵；

所述数据压缩模块用于对所述第二目标矩阵进行压缩，得到压缩数据块。

优选的，所述原始数据包括P个数据行，每一数据行的长度为n个数据单位,所述m、Q不大于所述P，并且，所述Q不大于所述m，所述P和n为自然数；

所述分块数据块数量为X个，所述X为自然数；

所述分块处理模块包括分块单元，用于将所述原始数据划分为X个分块数据块，在所述X个分块数据块中，其中一个分块数据块包括Q个数据行，另外X-1个分块数据块包括m个数据行，并且m*(X-1)+Q=P。

优选的，所述数据压缩模块包括压缩单元，用于采用LZ77、gzip或bzip2压缩算法对所述第二目标矩阵进行压缩。

一种解压缩装置，包括数据解压缩模块、第二目标矩阵生成模块、第一目标矩阵生成模块、组合数据块生成模块和组合模块；

所述数据解压缩模块用于对压缩数据块进行解压缩，获得解压缩数据块，所述解压缩数据块具有n个数据行，每一数据行包括m个或Q个数据单位，所述m、n和Q均为自然数；

所述第二目标矩阵生成模块用于将所述解压缩数据块作为n*m或n*Q的第二目标矩阵；

所述第一目标矩阵生成模块用于对所述第二目标矩阵进行转置变换，获得m*n或Q*n第一目标矩阵;

所述组合数据块生成模块用于将所述第一目标矩阵作为组合数据块，所述组合数据块具有m个或Q个数据行，每一数据行的长度为n个数据单位，所述m、n和Q均为自然数；

所述组合模块用于对所述组合数据块进行组合，获得原始数据。

优选的，所述数据解压缩模块包括解压缩单元，用于采用与LZ77、gzip或bzip2压缩算法相对应的解压缩算法，对所述压缩数据块进行解压缩。

由上述的技术方案可以看出，在本发明实施例中，首先对原始数据进行分块处理，获得分块数据块（每一分块数据块具有m个或Q个数据行，每一数据行的长度为n个数据单位）。再而，将分块数据块作为m*n或Q*n的第一目标矩阵，并对第一目标矩阵进行转置变换，获得n*m或n*Q的第二目标矩阵。最后，对第二目标矩阵进行压缩，得到压缩数据块。由于原始数据为行与行之间所存储的数据相似度较大的文件中的数据，所以第二目标矩阵中的每行中相似的字符很多，因此再对第二目标矩阵进行压缩时将会大大提高数据的压缩率。同时采用本发明实施例中的与上述压缩方法相对应的解压缩方法，可将压缩后的数据还原为原始数据。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的数据压缩方法的流程图；

图2是本发明实施例提供的解压缩方法的流程图；

图3是本发明实施例提供的数据压缩装置的模块图；

图4是本发明实施例提供的解压缩装置的模块图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种数据压缩方法，如图1所示，该方法至少包括以下步骤：

步骤S1：对原始数据进行分块处理，获得分块数据块；

上述原始数据可包括P个数据行，每一数据行的长度为n个数据单位；分块数据块可具有m个或Q个数据行（本文后续将进行详细介绍），每一数据行的长度亦为n个数据单位，m、Q不大于P，Q不大于m，并且m、n、Q和P均为自然数；分块数据块数量可为X个，X为自然数；

需要说明的是，上述数据单位可以是字节。1个汉字占用2字节，1字节(Byte)=8bit，而一个英文字符或一位数字字符可占用1字节。例如某一数据行为AB132,则字符A、B各占用一个数据单位，字符1、3和2同理也各占用一个数据单位，因此，数据行AB132的长度为5个数据单位。当然，本领域技术人员也可自行设计汉字、字母、数字或其他字符所占用的字节数，在此不作赘述。此外，上述数据单位也可以是比特。

具体的，对原始数据进行分块处理具体包括：将原始数据划分为X个分块数据块；在X个分块数据块中，其中一个分块数据块可包括Q个数据行，另外X-1个分块数据块可包括m个数据行，并且m*(X-1)+Q=P；X的取值可依据实际情况而定。

举例来讲，假设原始数据为 $\begin{array}{c}\mathrm{GZ}131\\ \mathrm{GZ}132\\ \mathrm{GZ}135\end{array}$ （定长数据），可将 $\begin{array}{c}\mathrm{GZ}131\\ \mathrm{GZ}132\\ \mathrm{GZ}135\end{array}$ 划分为2个分块数据块(X=2)，其中一个分块数据块可为 $\begin{array}{c}\mathrm{GZ}131\\ \mathrm{GZ}132\end{array},$ 包括2个数据行（m=2），另一个分块数据块可为GZ135，包括1个数据行(Q=1),并且2*(2-1)+1=3(即m*(X-1)+Q=P)。

步骤S2:将分块数据块作为m*n或Q*n的第一目标矩阵；

仍沿用上述举例，将分块数据块 $\begin{array}{c}\mathrm{GZ}131\\ \mathrm{GZ}132\end{array}$ 作为2*5的第一目标矩阵 $\left[\begin{array}{c}\mathrm{GZ}131\\ \mathrm{GZ}132\end{array}\right],$ 将分块数据块GZ135作为1*5的第一目标矩阵[GZ135]。

步骤S3:对第一目标矩阵进行转置变换，获得n*m或n*Q的第二目标矩阵；

仍沿用上述例子，对2*5的第一目标矩阵 $\left[\begin{array}{c}\mathrm{GZ}131\\ \mathrm{GZ}132\end{array}\right]$ 进行转置变换，可获得5*2的第二目标矩阵 $\left[\begin{array}{c}\mathrm{GG}\\ \mathrm{ZZ}\\ 11\\ 33\\ 12\end{array}\right],$ 同理对1*5的第一目标矩阵[GZ135]进行转置变换，可获得5*1的第二目标矩阵 $\left[\begin{array}{c}G\\ Z\\ 1\\ 3\\ 5\end{array}\right].$

步骤S4:对第二目标矩阵进行压缩，得到压缩数据块。

具体的，对第二目标矩阵进行压缩包括：采用LZ77、gzip或bzip2等传统的压缩算法对第二目标矩阵进行压缩。

由上可见，在本发明实施例中，首先对原始数据进行分块处理，获得分块数据块（每一分块数据块具有m个或Q个数据行，每一数据行的长度为n个数据单位）。再而，将分块数据块作为m*n或Q*n的第一目标矩阵，对第一目标矩阵进行转置变换，获得n*m或n*Q的第二目标矩阵。最后，对第二目标矩阵进行压缩，得到压缩数据块。由于原始数据为行与行之间所存储的数据相似度较大的文件中的数据，所以第二目标矩阵中的每行中相似的字符很多，因此再对第二目标矩阵进行压缩时将会大大提高数据的压缩率。同时采用本发明实施例中的与上述压缩方法相对应的解压缩方法，可将压缩后的数据还原为原始数据。

在本发明其它实施例中，当原始数据为非定长数据时（每一数据行的长度是不固定的），可在每一行中补充空格，使每一数据行的长度变为固定长度的，从而使原始数据变为定长数据。当然，除空格外，还可补充其他不常用字符。

本发明实施例还公开了一种解压缩方法，如图2所示，该方法至少包括以下步骤：

步骤S31:对压缩数据块进行解压缩，获得解压缩数据块，假设解压缩数据块的个数为X个，每一解压缩数据块具有n个数据行，每一数据行包括m个或Q个数据单位，m、n和Q均为自然数；

具体的，对压缩数据块进行解压缩包括：采用与上述LZ77、gzip或bzip2压缩算法相对应的解压缩算法，对上述压缩数据块进行解压缩，从而获得解压缩数据块。

仍沿用上述例子，解压缩数据块可为 $\begin{array}{c}\mathrm{GG}\\ \mathrm{ZZ}\\ 11\\ 33\\ 12\end{array}$ 和 $\begin{array}{c}G\\ Z\\ 1\\ 3\\ 5\end{array}.$ 解压缩数据块 $\begin{array}{c}\mathrm{GG}\\ \mathrm{ZZ}\\ 11\\ 33\\ 12\end{array},$ 包括5个数据行（n=5），每一数据行包括2个数据单位（m=2）；

解压缩数据块 $\begin{array}{c}G\\ Z\\ 1\\ 3\\ 5\end{array},$ 也包括5个数据行（n=5），每一数据行包括1个数据单位（Q=1）。

步骤S32:将解压缩数据块作为n*m或n*Q的第二目标矩阵；

具体的，仍沿用上述举例，可将解压缩数据块 $\begin{array}{c}\mathrm{GG}\\ \mathrm{ZZ}\\ 11\\ 33\\ 12\end{array}$ 作为5*2的第二目标矩阵 $\left[\begin{array}{c}\mathrm{GG}\\ \mathrm{ZZ}\\ 11\\ 33\\ 12\end{array}\right],$ 将解压缩数据块 $\begin{array}{c}G\\ Z\\ 1\\ 3\\ 5\end{array}$ 作为5*1的第二目标矩阵 $\left[\begin{array}{c}G\\ Z\\ 1\\ 3\\ 5\end{array}\right].$

步骤S33:对第二目标矩阵进行转置变换，获得m*n或Q*n第一目标矩阵；

具体的，仍沿用上述举例，对5*2的第二目标矩阵 $\left[\begin{array}{c}\mathrm{GG}\\ \mathrm{ZZ}\\ 11\\ 33\\ 12\end{array}\right]$ 进行转置变换，可获得2*5的第一目标矩阵 $\left[\begin{array}{c}\mathrm{GZ}131\\ \mathrm{GZ}132\end{array}\right];$ 对5*1的第二目标矩阵 $\left[\begin{array}{c}G\\ Z\\ 1\\ 3\\ 5\end{array}\right]$ 进行转置变换，可获得1*5的第一目标矩阵[GZ135]。

步骤S34：将第一目标矩阵作为组合数据块，组合数据块具有m个或Q个数据行，每一数据行的长度为n个数据单位，m、n和Q均为自然数；

前已述及，解压缩数据块为X个则，则相应的，组合数据块数量也为X个。

具体的，将2*5的第一目标矩阵 $\left[\begin{array}{c}\mathrm{GZ}131\\ \mathrm{GZ}132\end{array}\right]$ 作为组合数据块 $\begin{array}{c}\mathrm{GZ}131\\ \mathrm{GZ}132\end{array},$ 将1*5的第一目标矩阵[GZ135]作为组合数据块GZ135。

步骤S35：对组合数据块进行组合，获得原始数据。

对X个组合数据块进行组合，得到原始数据。

仍沿用上述举例，将组合数据块 $\begin{array}{c}\mathrm{GZ}131\\ \mathrm{GZ}132\end{array}$ 和GZ135进行组合，即可得到原始数据 $\begin{array}{c}\mathrm{GZ}131\\ \mathrm{GZ}132\\ \mathrm{GZ}135\end{array}.$

与上述数据压缩方法相对应的，本发明还公开了一种数据压缩装置，如图3所示，包括分块处理模块51、第一目标矩阵生成模块52、第二目标矩阵生成模块53和数据压缩模块54；

分块处理模块51用于对原始数据进行分块处理，获得分块数据块，分块数据块具有m个或Q个数据行，每一数据行的长度为n个数据单位，m、n和Q均为自然数；原始数据包括P个数据行，每一数据行的长度亦为n个数据单位，m、Q不大于P，并且，Q不大于m；并且分块数据块数量为X个，所述X为自然数；

具体的，分块处理模块51包括分块单元，用于

将原始数据划分为X个分块数据块；在X个分块数据块中，其中一个分块数据块包括Q个数据行，另外X-1个分块数据块包括m个数据行，并且m*(X-1)+Q=P。

第一目标矩阵生成模块52用于将分块数据块作为m*n或Q*n的第一目标矩阵；

第二目标矩阵生成模块53用于对第一目标矩阵进行转置变换，获得n*m或n*Q的第二目标矩阵；

数据压缩模块54用于对第二目标矩阵进行压缩，得到压缩数据块。

具体的，数据压缩模块54包括压缩单元，用于采用LZ77、gzip或bzip2压缩算法对所述第二目标矩阵进行压缩。

分块处理模块51、第一目标矩阵生成模块52、第二目标矩阵生成模块53和数据压缩模块54的各细化功能可参见上述数据压缩方法的记载，在此不再赘述。

与上述解压缩方法相对应的，本发明还公开了一种解压缩的装置，如图4所示，包括数据解压缩模块71、第二目标矩阵生成模块72、第一目标矩阵生成模块73、组合数据块生成模块74和组合模块75；

数据解压缩模块71用于对压缩数据块进行解压缩，获得解压缩数据块，解压缩数据具有n个数据行，每一数据行包括m个或Q个数据单位，m、n和Q均为自然数；

具体的，数据解压缩模块71包括解压缩单元，用于采用与LZ77、gzip或bzip2压缩算法相对应的解压缩算法，对所述压缩数据块进行解压缩。

第二目标矩阵生成模块72用于将解压缩数据块作为n*m或n*Q的第二目标矩阵；

第一目标矩阵生成模块73用于对第二目标矩阵进行转置变换，获得m*n或Q*n第一目标矩阵；

组合数据块生成模块74用于将第一目标矩阵作为组合数据块，组合数据块具有m个或Q个数据行，每一数据行的长度为n个数据单位，m、n和Q均为自然数；

组合模块75用于对组合数据块进行组合，获得原始数据。

数据解压缩模块71、第二目标矩阵生成模块72、第一目标矩阵生成模块73、组合数据块生成模块74和组合模块75的各细化功能可参见上述解压缩方法的记载，在此不再赘述。

需要说明的是，分块处理模块51、第一目标矩阵生成模块52、第二目标矩阵生成模块53、数据压缩模块54、数据解压缩模块71、第二目标矩阵生成模块72、第一目标矩阵生成模块73、组合数据块生成模块74和组合模块75的功能可由多个单独的CPU或单片机实现，也可由只由一个CPU或单片机实现。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据压缩方法，其特征在于，包括：

对原始数据进行分块处理，获得分块数据块，所述分块数据块具有m个或Q个数据行，每一数据行的长度为n个数据单位，所述m、n和Q均为自然数；

将所述分块数据块作为m*n或Q*n的第一目标矩阵；

对所述第一目标矩阵进行转置变换，获得n*m或n*Q的第二目标矩阵;

对所述第二目标矩阵进行压缩，得到压缩数据块。

2.根据权利要求1所述的方法，其特征在于：

所述原始数据包括P个数据行，每一数据行的长度为n个数据单位,所述m、Q不大于所述P，并且，所述Q不大于所述m，所述P和n为自然数；

所述分块数据块数量为X个，所述X为自然数；

所述分块处理具体包括：

将所述原始数据划分为X个分块数据块，在所述X个分块数据块中，其中一个分块数据块包括Q个数据行，另外X-1个分块数据块包括m个数据行，并且m*(X-1)+Q=P。

3.根据权利要求1所述的方法，其特征在于，所述对所述第二目标矩阵进行压缩包括：采用LZ77、gzip或bzip2压缩算法对所述第二目标矩阵进行压缩。

4.一种解压缩方法，其特征在于，包括：

对压缩数据块进行解压缩，获得解压缩数据块，所述解压缩数据块具有n个数据行，每一数据行包括m个或Q个数据单位，所述m、n和Q均为自然数；

将所述解压缩数据块作为n*m或n*Q的第二目标矩阵；

对所述第二目标矩阵进行转置变换，获得m*n或Q*n第一目标矩阵;

将所述第一目标矩阵作为组合数据块，所述组合数据块具有m个或Q个数据行，每一数据行的长度为n个数据单位，所述m、n和Q均为自然数；

对所述组合数据块进行组合，获得原始数据。

5.根据权利要求4所述的方法，其特征在于，所述对压缩数据块进行解压缩包括：采用与LZ77、gzip或bzip2压缩算法相对应的解压缩算法，对所述压缩数据块进行解压缩。

6.一种数据压缩装置，其特征在于，包括分块处理模块、第一目标矩阵生成模块、第二目标矩阵生成模块和数据压缩模块；

所述分块处理模块用于对原始数据进行分块处理，获得分块数据块，所述分块数据块具有m个或Q个数据行，每一数据行的长度为n个数据单位，所述m、n和Q均为自然数；

所述第一目标矩阵生成模块用于将分块数据块作为m*n或Q*n的第一目标矩阵；

所述第二目标矩阵生成模块用于对所述第一目标矩阵进行转置变换，获得n*m或n*Q的第二目标矩阵；

所述数据压缩模块用于对所述第二目标矩阵进行压缩，得到压缩数据块。

7.根据权利要求6所述的装置，其特征在于，所述原始数据包括P个数据行，每一数据行的长度为n个数据单位,所述m、Q不大于所述P，并且，所述Q不大于所述m，所述P和n为自然数；

所述分块数据块数量为X个，所述X为自然数；

所述分块处理模块包括分块单元，用于将所述原始数据划分为X个分块数据块，在所述X个分块数据块中，其中一个分块数据块包括Q个数据行，另外X-1个分块数据块包括m个数据行，并且m*(X-1)+Q=P。

8.根据权利要求6所述的装置，其特征在于，所述数据压缩模块包括压缩单元，用于采用LZ77、gzip或bzip2压缩算法对所述第二目标矩阵进行压缩。

9.一种解压缩装置，其特征在于，包括数据解压缩模块、第二目标矩阵生成模块、第一目标矩阵生成模块、组合数据块生成模块和组合模块；

所述数据解压缩模块用于对压缩数据块进行解压缩，获得解压缩数据块，所述解压缩数据块具有n个数据行，每一数据行包括m个或Q个数据单位，所述m、n和Q均为自然数；

所述第二目标矩阵生成模块用于将所述解压缩数据块作为n*m或n*Q的第二目标矩阵；

所述第一目标矩阵生成模块用于对所述第二目标矩阵进行转置变换，获得m*n或Q*n第一目标矩阵;

所述组合数据块生成模块用于将所述第一目标矩阵作为组合数据块，所述组合数据块具有m个或Q个数据行，每一数据行的长度为n个数据单位，所述m、n和Q均为自然数；

所述组合模块用于对所述组合数据块进行组合，获得原始数据。

10.根据权利要求9所述的装置，其特征在于，所述数据解压缩模块包括解压缩单元，用于采用与LZ77、gzip或bzip2压缩算法相对应的解压缩算法，对所述压缩数据块进行解压缩。

Images