CN100517979C

CN100517979C - 一种数据压缩及解压缩方法

Info

Publication number: CN100517979C
Application number: CNB2005101078998A
Authority: CN
Inventors: 王建军
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2005-10-10
Filing date: 2005-10-10
Publication date: 2009-07-22
Anticipated expiration: 2025-10-10
Also published as: CN1949670A

Abstract

本发明公开了一种数据压缩及解压缩方法。压缩包括步骤：将原始数据流分割成若干段符号，每段符号都是由N比特数据组成，再将所述若干段符号组成为连续的符号流；在所述分割后的若干段符号中确定出现次数最多的符号，并将其作为主符号，其余符号为非主符号；在输出的压缩数据流的首位写入一个表示压缩的标志，然后再写入主符号；顺序输入原始数据流，对其中出现的非主符号，将非主符号的出现的个数信息、出现非主符号的位置信息，与在各位置出现的对应的非主符号分别写入输出的压缩数据流中的主符号信息之后。按照本发明所述方法，能够实现高效的数据压缩，并且保证不会过度扩张输出的码流。

Description

一种数据压缩及解压缩方法

技术领域

本发明涉及一种数据压缩及解压缩方法，具体地说，是涉及一种数据无损压缩及解压缩方法。

背景技术

数据压缩起源于20世纪40年代的信息论，其主要目的是通过数据压缩手段将信息数据量以压缩形式进行存储或者传输。一般情况下每个符号都有一定的出现概率，如果要压缩一条信息，必须首先分析清楚信息中每个符号出现的概率。在压缩程序中，用来处理输入信息并计算符号出现概率和决定输出哪个或哪些代码的模块称之为模型。通过一定的模型与编码进行组合计算就构成压缩技术的主要思路。根据不同的编码对原始文件数据产生不同的损失效果，可把压缩技术分为有损压缩和无损压缩两大类。其中，无损压缩的方法包括：游程、Huffman(霍夫曼编码)、算术编码等方法。

游程编码是一种非常简单的编码方法，它将数据流中连续出现的数据(游程)用该数据以及它连续出现的个数来表示。游程编码(Run LengthEncoding，RLE)是一种利用空间冗余度进行压缩的方法，相对比较简单。它属于统计编码类，是一种无损基本压缩方法，可分为定长编码和变长编码两类。

游程编码在当数据中出现连续重复的字符形成的字符串时，如果给定形成这个字符串的字符、长度和串的位置，就能恢复出原始的数据。游程编码的编码基本数据由标志位、游程长度、重复字符位构成。对于相同种类的数据采用两个字节进行表示，第1个字节表示重复的个数(游程长度)，第2个字节表示重复的数据，如果重复数超过255个字节数，应重新计数。例如，假设有一段数据流：

...0A0A0A0A0D0D0D0F0F0F0F0F0F0F...

经过游程编码后，该数据流可以表示为：

...040A030D070F...

很显然，这种编码方法实现了数据的压缩。由于这种方法编码和解码的算法都非常简单，因此得到了广泛的应用。

虽然游程编码方法的通用性较好，其效率不是最优。比如，传统处理的方法是以字节为单位，降低了处理2-7bits重复数据时游程处理的效果，传统的游程长度是基于字节的，对于数据量低于256的，显然是一种浪费。

另外，对于有一种符号大量出现的数据流，采用游程方法需要反复标记这个字符，显然也是一种浪费。

因此，如何提供一种压缩效率高的数据压缩及解压缩方法，成为亟待解决的问题。

发明内容

本发明所要解决的技术问题是提供一种数据压缩及解压缩方法。来实现高效的数据压缩效率，并且保证不会过度扩张输出的码流。

为解决上述技术问题，本发明提供方案如下：

一种数据压缩方法，当“0”为原始数据流中出现次数最多的符号时，包括如下步骤：

将原始数据流分割成若干段符号，每段符号都是由N比特数据组成，再将所述若干段符号组成为连续的符号流；

将非“0”符号作为非主符号；

在输出的压缩数据流的首位写入一个表示压缩的标志；

顺序输入原始数据流，对其中出现的非主符号，将非主符号的出现的个数信息、出现非主符号的位置信息，与在各位置出现的对应的非主符号分别写入输出的压缩数据流中的压缩标志之后。

一种对上述数据压缩方法压缩后的数据流进行解压缩的方法，包括如下步骤：

输入压缩数据流，当遇到压缩标志时，准备解压缩；

根据压缩标志后的非主符号出现的个数信息，确定需要还原的非主符号个数；

根据压缩标志后的非主符号的位置信息，确定该非主符号的还原位置；

根据压缩标志后的非主符号信息，在输出的解压缩数据流中，在所述确定的还原位置写入该非主符号；

在还原的非主符号个数与所述确定的个数信息相符后，在输出的解压缩数据流中的其余位置写入“0”。

一种数据压缩方法，包括如下步骤：

在所述分割后的若干段符号中确定出现次数最多的符号，并将其作为主符号，其余符号为非主符号；

在输出的压缩数据流的首位写入一个表示压缩的标志，然后再写入主符号；

顺序输入原始数据流，对其中出现的非主符号，将非主符号的出现的个数信息、出现非主符号的位置信息，与在各位置出现的对应的非主符号分别写入输出的压缩数据流中的主符号信息之后。

输入压缩数据流，当遇到压缩标志时，准备解压缩；

根据压缩标志后的主符号信息，确定主符号；

根据主符号信息后的非主符号出现的个数信息，确定需要还原的非主符号个数；

根据主符号后的非主符号的位置信息，确定该非主符号的还原位置；

根据主符号后的非主符号信息，在输出的解压缩数据流中，在所述确定的还原位置写入该非主符号；

在还原的非主符号个数与所述确定的个数信息相符后，在输出的解压缩数据流中的其余位置写入所述确定的主符号。

与现有技术相比，本发明的优点在于：

本发明所述方法，通过分析数据的有效特征，采用位置编码的方法进行编码压缩，极大地提高了数据的压缩效率。

本发明所要解决的技术问题、技术方案要点及有益效果，将结合实施例，参照附图作进一步的说明。

附图说明

图1为本发明所述数据压缩方法的流程图；

图2为本发明对所述数据压缩方法所压缩数据的解压缩方法的流程图；

图3a为本发明所述方法实施例表示原始数据的示意图；

图3b为本发明所述方法实施例表示压缩后数据的示意图。

具体实施方式

如图1所示，为本发明所述数据压缩方法的流程图。

一种数据压缩方法，包括如下步骤：

首先，将原始数据流分割成若干段符号，每段符号都是由N比特数据组成，再将所述若干段符号组成为连续的符号流(步骤11)；

然后，在所述分割后的若干段符号中确定出现次数最多的符号，并将其作为主符号，其余符号为非主符号(步骤12)；

设定一个压缩门限数，并统计非主符号出现的次数；

当所述非主符号的出现次数大于该压缩门限数时，则输出一个非压缩标志，然后将输入的原始数据流依序输出，编码结束；

当所述非主符号的出现次数小于该压缩门限数时，则继续执行步骤(13)。

在输出的压缩数据流的首位写入一个表示压缩的标志，然后再写入主符号(步骤13)；

最后，顺序输入原始数据流，对其中出现的非主符号，将非主符号的出现的个数信息、出现非主符号的位置信息，与在各位置出现的对应的非主符号分别写入输出的压缩数据流中的主符号信息之后(步骤14)，即，具体实现如下：

(14-1)顺序输入原始数据流，如果遇到主符号，则输入缓冲下移动一位，接收下一个输入；如果遇到非主符号，则在输出的压缩数据流中记录该非主符号在原始数据流中的位置与该非主符号；

(14-2)重复执行步骤(14-1)，直至原始数据流输入结束；

(14-3)统计输入的非主符号个数，并将该个数信息插入到输出的压缩数据流中的主符号信息之后。

如图2所示，为本发明对所述压缩方法压缩数据的解压缩方法。

首先，输入压缩数据流，当遇到压缩标志时，准备解压缩(步骤201)；然后，根据压缩标志后的主符号信息，确定主符号；并根据主符号信息后的非主符号出现的个数信息，确定需要还原的非主符号个数；根据主符号后的非主符号的位置信息，确定该非主符号的还原位置(步骤202)；然后，根据主符号后的非主符号信息，在输出的解压缩数据流中，在所述确定的还原位置写入该非主符号(步骤203)；最后，在还原的非主符号个数与所述确定的个数信息相符后，在输出的解压缩数据流中的其余位置写入所述确定的主符号(步骤204)。

在上述数据压缩及解压缩方法中，如果原始数据流中“0”的出现次数最多，则，在压缩的过程中，可以省略输出主符号“0”到压缩后的码流中，而在解压缩过程中，则在还原主符号时，直接以“0”来填充。

下面，我们来看一个数据压缩的实例。

我们先设定数据的分割基数为4bits，数据位置表示的长度也为4bits，设定非主符号出现次数的门限为L＝3。

步骤1：将8Bytes数据以4Bits为单位分割，得到的原始码流为：00 0000 00 00 40 50 00，如图3a所示；

步骤2：统计分析数据流，发现0(4bit)出现次数最多，为14次，即主符号＝0；

步骤3：分析非主符号出现次数，为2次，小于L＝3，因此可以压缩；

步骤4：输出一个压缩标志其为1bit值1，为降低移位的负担，实际输出的是0001(占位为4bits)；将4bit的主符号数值＝0写到输出码流中；

步骤5：编码输入码流，如果碰到符号0，则输入缓冲下移动一位，接收下一个输入；如果碰到非主符号，则直接用位置(4Bit)+单个非主符号数据(4Bit)值来压缩数据，比如第十一位的数据4，4位置为11，如果以零来标记原始码流中的第一位，则第11位应该1010；所以输出码流为：1010(4的位置，4Bit)+4(实际数据4Bit)，合并后就是：A4；同理，第十三位的5的输出码流为：C5；

步骤6：继续按照步骤5接收输入码流，直到输入流结束，统计编码后的非0数据流长度(以4bits+4bits为统计单位)，这里是2。

步骤7：将编码后统计的非主符号数据出现次数数值2插入到编码后的码流开始处，具体位置为编码标志及主符号数值的后面，长度为K bits(这个长度与L，m，n，原始码流长度等有关系)这里采用的是4bits。压缩后的数据如图3b所示。

正如上述，在输入码流中出现大量“0”的情况下，本方法存在改进措施。例如，由于经常在压缩前做预处理如差分编码、BWT编码，导致输入码流中“0”的出现次数最多，这时，在输出编码时可以将主符号＝0的输出也省略了，而解压缩时，对应位置直接以“0”还原即可。

本发明所述的一种数据压缩及解压缩方法，并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明之领域，对于熟悉本领域的人员而言可容易地实现另外的优点和进行修改，因此在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的图示示例。

Claims

1、一种数据压缩方法，用于对输入数据流中“0”的出现次数最多时的数据压缩，其特征在于，包括如下步骤：

步骤(1)：将原始数据流分割成若干段符号，每段符号都是由N比特数据组成，再将所述若干段符号组成为连续的符号流；

步骤(2)：将非“0”符号作为非主符号；

步骤(3)：在输出的压缩数据流的首位写入一个表示压缩的标志；

步骤(4)：顺序输入原始数据流，对其中出现的非主符号，将非主符号的出现的个数信息、出现非主符号的位置信息，与在各位置出现的对应的非主符号分别写入输出的压缩数据流中的压缩标志之后。

2、如权利要求1所述的方法，其特征在于，在所述步骤(2)之后，进一步包括如下步骤：

设定一个压缩门限数，并统计非主符号出现的次数；

当所述非主符号的出现次数小于该压缩门限数时，则继续执行步骤(3)。

3、如权利要求1所述的方法，其特征在于，所述步骤(4)，包括如下步骤：

(4-1)顺序输入原始数据流，如果遇到主符号，则输入缓冲下移动一位，接收下一个输入；如果遇到非主符号，则在输出的压缩数据流中记录该非主符号在原始数据流中的位置与该非主符号；

(4-2)重复执行步骤(4-1)，直至原始数据流输入结束；

(4-3)统计输入的非主符号个数，并将该个数信息插入到输出的压缩数据流中的压缩标志之后。

4、如权利要求1所述的方法，其特征在于，进一步包括以下步骤：

(5)如果输出的压缩数据流的比特长度不是8的倍数，则以比特值“0”填充至输出数据流的尾部，以使其长度为8的倍数。

5、一种对利用如权利要求1所述的数据压缩方法压缩后的数据流进行解压缩的方法，其特征在于，包括如下步骤：

输入压缩数据流，当遇到压缩标志时，准备解压缩；

6、一种数据压缩方法，其特征在于，包括如下步骤：

步骤(11)：将原始数据流分割成若干段符号，每段符号都是由N比特数据组成，再将所述若干段符号组成为连续的符号流；

步骤(12)：在所述分割后的若干段符号中确定出现次数最多的符号，并将其作为主符号，其余符号为非主符号；

步骤(13)：在输出的压缩数据流的首位写入一个表示压缩的标志，然后再写入主符号；

步骤(14)：顺序输入原始数据流，对其中出现的非主符号，将非主符号的出现的个数信息、出现非主符号的位置信息，与在各位置出现的对应的非主符号分别写入输出的压缩数据流中的主符号信息之后。

7、如权利要求6所述的方法，其特征在于，在所述步骤(12)之后，进一步包括如下步骤：

设定一个压缩门限数，并统计非主符号出现的次数；

8、如权利要求6所述的方法，其特征在于，所述步骤(14)，包括如下步骤：

(14-2)重复执行步骤(14-1)，直至原始数据流输入结束；

9、如权利要求6所述的方法，其特征在于，进一步包括以下步骤：

(15)如果输出的压缩数据流的比特长度不是8的倍数，则以比特值“0”填充至输出数据流的尾部，以使其长度为8的倍数。

10、一种对利用如权利要求6所述的数据压缩方法压缩后的数据流进行解压缩的方法，其特征在于，包括如下步骤：

输入压缩数据流，当遇到压缩标志时，准备解压缩；

根据压缩标志后的主符号信息，确定主符号；