CN104682966A - 列表数据的无损压缩方法 - Google Patents

Abstract

本发明公开了列表数据的无损压缩方法，属于计算机数据压缩的技术领域。压缩方法，首先循环读入列表各项后将各项插入前缀树，接着输出压缩型序列化字节流，最后再次压缩字节流。将列表数据各项插入前缀树后，依据根节点与子树第一子节点的距离信息输出压缩型序列化字节流，可用于无序数据的压缩，提高了压缩效率；在输出压缩型序列化字节流后，配合现有的压缩方法，可进一步提高列表数据的压缩效果。本发明还给出了对应于所述压缩方法的解压缩方法。

Description

列表数据的无损压缩方法

技术领域

本发明公开了列表数据的无损压缩方法，属于计算机数据压缩的技术领域。

背景技术

数据压缩分为无损压缩和有损压缩，有损压缩能以牺牲相对不重要的细节来大幅度压缩数据，可以用来压缩音频、图像和视频等。对于文本或其他精确数据，因为需要保留所有细节，只能采用无损压缩。无损压缩是通过去除冗余数据来达到数据压缩的目的，一切存在冗余数据的地方都是无损压缩的关注点。

最简单的无损压缩方法是游程编码RLE(Run-LengthEncoding)，RLE通过将连续重复数据编码成数据加数量来达到压缩的目的。RLE可以是基于位、字节，也可以基于更长的数据单位，最常见的是基于字节。另外一类常见的无损压缩方法是熵编码。熵编码理论由信息学之父香农所创立，最常用的熵编码是哈夫曼编码，哈夫曼编码是算术编码的一种特例。不过由于算术编码受多项专利保护，与算术编码类似的区间编码在开源社区得到更多应用。所有熵编码的压缩极限都是熵值，在二进制下为H/8，H即熵，p_i是各字符在文中的出现概率。熵编码是上下文无关的，因此无法去除上下文冗余，能去除上下文冗余的是一系列叫做字典编码的压缩方法。第一种字典压缩算法是LZ77，其名字是两位发明者的名字首字母合成，77是发明的年份，LZ77采用一种叫做滑动窗口的方法来动态生成隐式字典，该算法能有效去除上下文冗余，对重复数据的压缩具有很好的效果，因而产生了一系列的衍生算法，比较著名的是DEFLATE/DEFLATE64和LZMA/LZMA2.LZ还有一个版本叫LZ78，与LZ77不同的是LZ78对数据生成一个显式字典，然后将存在于字典内的数据替换为字典序，该方法实际上等同于LZ77。LZ78最著名的衍生算法是LZW，LZW经过一些改进，比LZ78具有更好的压缩率。实际上RLE也是一种简单的字典算法，去除的也是上下文冗余信息。针对上下文冗余的压缩算法还有动态马尔可夫编码DMC、上下文树权算法CTW、部分匹配预测PPM，PAQ等，这些算法基本上是通过模型预测或统计上下文冗余，然后再通过算术编码等来有效去除这些冗余数据。还有一类算法是通过可逆变换来制造上下文冗余，如BWT算法、差分编码、MTF算法，这些变换是可逆的，通过制造上下文冗余，再应用其他压缩方法就能取得很好的压缩效果。为了得到更好的压缩率，无损压缩方法还在不断更新和拓展，一方面是对已有算法做优化，另一方面是寻找和尝试更有效的算法，如子串枚举算法CSE等。

发明内容

本发明所要解决的技术问题是针对上述背景技术的不足，提供了列表数据的无损压缩方法，解决了列表数据应用传统的压缩方法压缩效果不足的问题，实现了对列表数据的更高的压缩效果。

本发明为实现上述发明目的采用如下技术方案：

列表数据的无损压缩方法，包括如下步骤：

循环读入列表各项后将各项插入前缀树；

输出压缩型序列化字节流；

再次压缩字节流。

作为所述列表数据的无损压缩方法的进一步优化方案，输出压缩型序列化字节流的步骤具体为：

输出根节点；

依据字典序并按深度遍历方法输出各子树：输出前缀数字以及与根节点连同的所有子树的各子节点，所述前缀数字表示根节点到各子树第一子节点的距离。

进一步的，所述列表数据的无损压缩方法中，列表数据包括：单词列表、地址列表、网络地址列表、数据库表记录。

进一步的，所述列表数据的无损压缩方法中，所述列表数据为单一字段或多字段，所述多字段列表数据的顺序任意，通过字段序号或字段名称定位多字段列表数据中的任一字段。

进一步的，所述列表数据的无损压缩方法中，再次压缩字节流步骤，利用游程编码法、动态马尔可夫编码法、上下文树权法、部分匹配预测法实现。

解压列表数据的方法，为所述方法的逆过程，解压得到字节流，将字节流反序列化为前缀树，完整输出前缀树得到列表数据。

本发明采用上述技术方案，具有以下有益效果：

(1)将列表数据各项插入前缀树后，依据根节点与子树第一子节点的距离信息输出压缩型序列化字节流，可用于无序数据的压缩，提高了压缩效率；

(2)在输出压缩型序列化字节流后，配合现有的压缩方法，可进一步提高列表数据的压缩效果。

附图说明

图1为列表数据用前缀树压缩为序列化字节流的示意图。

图2为压缩列表数据的流程图。

图3为解压缩列表数据的流程图。

具体实施方式

下面结合附图对发明的技术方案进行详细说明。

本发明提出的列表数据无损压缩方法是一种利用前缀树来做无损压缩的新方法。这个方法可应用于对列表数据的压缩，通过将列表数据编排后插入前缀树，再输出为压缩型序列化格式，然后再应用其他无损压缩方法进一步压缩，可取得显著的压缩效果。

列表数据包括各种列表，如单词列表、字典列表、各种地址列表、各种数据库表记录等，地址列表包括文件地址列表、网络地址列表等。列表数据可以是单一字段，也可以是多字段，多字段的顺序也可以随意调整，可以通过字段序号或者字段名称定位到该字段。

列表数据的无损压缩方法如图1、图2所示，具体包括以下步骤：

(1)循环处理列表各项，调换各字段顺序，将有较多重复前缀的字段放在前面，如果仅有一个字段则忽略本步骤；

(2)循环读入列表各项，将其插入到前缀树中；

(3)输出压缩型序列化字节流，序列化顺序如下：先输出根结点trie，然后按字典序输出各子树，输出子树按照深度遍历方法，将根结点连同所有子树的第一个子节点完整输出，第二个子节点及其后的所有子节点前面附加一个数字前缀，该前缀数字表示的是该子节点到根结点的深度，输出的字节流即为该列表的压缩形态，压缩型序列化的格式如下：

(4)还可以用其他字节流压缩方法(如哈夫曼编码或者字典编码)对其进一步压缩。

作为压缩数据的逆过程，用本发明所述方法压缩后的列表数据可用如下方法按照图3所示流程解压缩，首先对经过一般/传统压缩过的字节流做解压操作，然后将其字节流反序列化为前缀树，然后将前缀树完整输出，此即为原始列表数据。

(1)读取压缩条目；

(2)根据前缀数字表示的子节点到根结点的深度信息查找上级节点，将上级节点插入前缀树中；

(3)循环读入压缩条目，将由各条目确定的上级节点插入前缀树；

(4)从根节点开始遍历前缀树各节点，进而输出列表数据。

完整性序列化的格式如下：

综上所述，发明具有以下有益效果：

(1)将列表数据各项插入前缀树后，依据根节点与子树第一子节点的距离信息输出压缩型序列化字节流，可用于无序数据的压缩，提高了压缩效率；

(2)在输出压缩型序列化字节流后，配合现有的压缩方法，可进一步提高列表数据的压缩效果。

Claims (6)

1.列表数据的无损压缩方法，其特征在于，包括如下步骤：

循环读入列表各项后将各项插入前缀树；

输出压缩型序列化字节流；

再次压缩字节流。

2.根据权利要求1所述的列表数据的无损压缩方法，其特征在于，所述输出压缩型序列化字节流的步骤具体为：

输出根节点；

依据字典序并按深度遍历方法输出各子树：输出前缀数字以及与根节点连同的所有子树的各子节点，所述前缀数字表示根节点到各子树第一子节点的距离。

3.根据权利要求1或2所述的列表数据的无损压缩方法，其特征在于，所述列表数据包括：单词列表、地址列表、网络地址列表、数据库表记录。

4.根据权利要求1或2所述的列表数据的无损压缩方法，其特征在于，所述列表数据为单一字段或多字段，所述多字段列表数据的顺序任意，通过字段序号或字段名称定位多字段列表数据中的任一字段。

5.根据权利要求1或2所述的列表数据的无损压缩方法，其特征在于，所述再次压缩字节流的步骤，利用游程编码法、动态马尔可夫编码法、上下文树权法、部分匹配预测法实现。

6.解压列表数据的方法，为权利要求1或2中任意一项所述方法的逆过程，其特征在于，解压得到字节流，将字节流反序列化为前缀树，完整输出前缀树得到列表数据。