CN103258030A - 基于字典与游长编码的移动设备内存压缩方法 - Google Patents

Abstract

本发明公开了一种基于字典与游长编码的移动设备内存压缩方法，主要解决已有的字典编码与游长编码压缩方法对内存数据压缩率低的问题，其实现步骤是：(1)读入内存数据和内存数据长度；（2）判断内存数据是否为可压缩数据，若不是可压缩数据，则直接记录数据长度和数据，若是，则对连续相同字符串采用游长编码压缩格式；(3)对其他普通内存数据则采用字典压缩格式压缩；(4)判断是否压缩到内存数据尾，若是则终止，若不是，则继续读入内存数据。本发明与现有的其他的内存压缩方法相比，压缩率更高，进而能为移动设备内存释放出更多的剩余空间，提高移动设备的运行效率，可用于需要内存压缩的移动设备中。

Description

基于字典与游长编码的移动设备内存压缩方法

技术领域

本发明属于数据处理技术领域，涉及设备内存的数据压缩装置，可用在内存受限的嵌入式移动设备中。

背景技术

近年来，随着移动互联网的发展，移动设备越来越成为人们不可或缺的一种日常生活用品，由于移动设备的内存受限，就要求最好能对其内存数据进行压缩，节约内存空间，提高设备的整体性能。现代社会信息量的不断增长，人们对计算机系统的性能也提出了更高的要求，如更高的速度、更低的耗能、更小的体积、能存取更多的信息等等。为了达到上面的各种性能要求，人们提出了各种改进的方法。其中，比较廉价的改进方法之一是数据压缩技术。如若在计算机系统中运用了数据压缩技术，则在数据传输中占用了更小的带宽；在小的移动设备如手机，MP4等电子设备占用的存储空间更小；也可以降低频繁的物理磁盘或闪存与CPU之间的I/O读取，从而延长了存储设备的寿命和节省能耗。鉴于上述技术的各种优点，运用这种简单而廉价的改进计算机系统性能的技术，研究数据压缩技术是很有必要的。

用于移动设备内存数据的压缩算法，要求方法高效，解压缩速度快，适用于内存数据的特点等一系列要求。目前，数据无损压缩方法有很多，而解压缩速度很快，可以达到实时解压缩内存数据的主要有LZO(Lempel-Ziv-Oberhumer)和RLE(run-lengthencoding)两种。

LZO是一种基于字典的数据无损压缩算法，主要通过记录重复字符段的重复位置和重复长度来完成编码。LZO压缩与解压缩速度相当快，而且解压简单，不需要另外开辟内存，可以满足嵌入式设备需要快速解压数据的要求。LZO方法虽然具有解压缩快速等优点，但是它并不完全适用于内存数据的压缩，在压缩长的连续相同字符串时，LZO需要较多的字符去记录数据，因此压缩率不高。

游长编码RLE，又称变动长度编码法，是一种简单的非破坏性资料压缩法，其好处是压缩和解压缩都非常快，特别是对于压缩长的连续相同字符串，相比于LZO，其可以用更少的字符去记录，但在普通数据的压缩上，其效果并不如LZO。

发明内容

本发明目的在于克服已有的字典编码与游长编码压缩方法对内存数据压缩率低的缺点，在基本保证其压缩和解压缩速度的前提下，结合两者各自的优点，提出一种基于字典与游长编码的内存压缩方法，以提高整体的压缩率。

实现本发明的基本思想是：根据要压缩的内存数据特点选择字典压缩格式或游长编码压缩格式，用字典编码方法压缩一般重复字符串，用游长编码压缩长的连续相同字符串，并针对长的连续相同字符串设计游长编码的压缩格式。其具体实现步骤包括如下：

（1）读取移动设备中的内存数据与内存数据的长度；

（2）判断所读数据是否为新数据，若所读数据没有记录在哈希表中，则判为新数据，并把该新数据计入哈希表中，继续读取内存数据，直到未出现新数据为止，执行步骤（3）对所读数据直接进行压缩编码；

（3）根据内存数据形式确定编码方式：

3a)对于长度长于4的重复相同字符串，将其长度先与数值255比较，再进行压缩：

如果该字符串的长度小于255，将第一个字节记录为标志位，将第二个字节直接记录重复的长度；

如果该字符串的长度大于等于255，将第一个字节记录为标志位，将第二个字节记录为0，将第三个字节记录为255的整倍数，将第四个字节记录为除去255的整数倍剩余的字符串的长度；

3b)对于普通的重复字符串，即除了长度长于4的重复相同字符串以外的其他重复字符串，则用字典编码；

（4）判断是否编到内存数据结尾，若是，则输出压缩后数据和压缩后数据的长度，并记下结束标志，否则，返回步骤（2），继续读入新数据。

本发明与现有的其他的内存压缩方法相比，由于其能对重复相同字符串用更少的字节去压缩，所以压缩率比其他方法更高，进而能为移动设备内存释放出更多的剩余空间，提高了移动设备的运行效率。

附图说明

图1是本发明的流程图；

图2是本发明中的新字符记录子流程图；

图3是本发明中的压缩编码子流程图。

具体实施方式

下面结合附图1对本发明作进一步详细描述：

步骤一：读入内存数据长度，按内存数据的长度开辟存储空间，将移动设备的内存数据读入所开辟的存储空间，再为哈希表开辟存储空间。

步骤二：取内存数据的四个字元做哈希运算，按所计算的哈希值从哈希表中取出数据与新字符对比，若相同，则说明数据在哈希表内，不是新字符，执行步骤三，若不相同，则把新字符计入哈希表，执行步骤五；

步骤三：记录新字符。

参照图2，本步骤的具体实现如下：

(3a)计算新字符的长度，如果新字符长度小于3个，由上一个编码格式的倒数第二个字节来记录长度，然后执行步骤（3d）记录新字符，否则，执行步骤(3b)；

(3b)若是新字符长度小于17大于3个，记下新字符长度减3，然后执行步骤(3d)记录新字符，否则，执行步骤(3c)；

(3c)若是新字符长度大于17，则先记录一个0，再记录新字符长度减去17的差值，如该差值大于255，则在第一个0后再记录一个0，同时把差值再减去255得到新的差值，再把新的差值继续与255比较，直到最后的差值小于255时，记下最后的差值，然后执行步骤(3d)记录新字符；

(3d)记录新字符，并执行步骤四。

步骤四：压缩编码。

参照图3，本压缩编码步骤主要分为两种情况：

第一种情况：对于长度长于4的重复0字符串，将其长度先与数值255比较后，再进行如下压缩：

如果该字符串的长度小于255，将第一个字节记录为标志位，将第二个字节直接记录重复的长度；

如果该字符串的长度大于等于255，将第一个字节记录为标志位，将第二个字节记录为0，将第三个字节记录为255的整倍数，将第四个字节记录为除去255的整数倍剩余的字符串的长度。

第二种情况：对于其他的普通字符串用字典编码，可采用目前通用方法有LZ（Lempel Ziv）字典编码方法、LZSS（Lempel Ziv Storer Szymanski）字典编码方法和LZO（Lempel Ziv Oberhumer）字典编码方法等，本实例采用但不局限于使用LZO方法，其编码格式有如下五种：

由字符串重复长度和指回距离选用LZO编码格式，该指回距离，是指字元当前位置与哈希表内记录位置之间的距离：

对于字符串重复长度小于8，且指回距离小于2K的内存数据，将第一个字节记录为长度，将第二个字元记录为字元当前位置与哈希表内记录位置之间的距离；

对于字符串重复长度小于8，且指回距离小于16K的内存数据，将第一个字节记录为长度，将第二个和第三个字节记录为字元当前位置与哈希表内记录位置之间的距离；

对于字符串重复长度小于8，且指回距离小于48K的内存数据，将第一个字节最后3个比特记录为长度，将第一个字节第4比特、第二个字节和第三个字节记录为字元当前位置与哈希表内记录位置之间的距离；

对于字符串重复长度大于8，且指回距离小于16K的内存数据，将前两个字节记录为重复长度，将后两个字节记录为字元当前位置与哈希表内记录位置之间的距离；

对于字符串重复长度大于8，且指回距离小于48K的内存数据，将前两个字节记录为重复长度，将后两个字节记录为字元当前位置与哈希表内记录位置之间的距离。

步骤五：检查内存数据的下一个字元是否编到数据结尾，如果是，则执行步骤六，否则，返回步骤二。

步骤六：记录结束标志，输出压缩后内存数据和内存数据的长度。

本发明的效果可以通过以下实验进一步说明：

本实验采用C语言来编写发明所提出的压缩方法，通过比较本发明与传统LZO字典方法对内存数据页的压缩效果，来说明本发明方法压缩率高的优点。本实验所采用的内存数据为典型移动设备的4K大小的内存数据页，压缩结果如表1，表1中数据为对内存数据页压缩编码后的数据大小，数值越小，说明压缩率越高。

内存数据	LZO压缩大小	本发明压缩大小	提高率
				0001	387	369	5%
0002	905	864	5%

0003	1583	1544	2%
				0004	1102	1016	8%
0005	1183	1141	4%
				0006	1933	1924	0%
0007	1007	994	1%
				0008	28	12	57%
0009	691	672	3%
				0010	936	893	5%
0011	900	858	5%
				0012	888	833	6%
0013	809	757	6%
				0014	1772	1757	1%

表1

从表1中可知，本发明方法相对于现有的LZO压缩编码方法，在压缩率上均有提高，特别是内存数据页的数值全为0时，压缩率能提高57%之多。由于本发明方法对内存数据的压缩率更高，所以能为移动设备内存释放出更多的剩余空间，提高了移动设备的整体运行效率。

Claims (2)

1.一种基于字典与游长编码的移动设备内存压缩方法，包括以下步骤：

（1）读取移动设备中的内存数据与内存数据的长度；

（2）判断所读数据是否为新数据，若所读数据没有记录在哈希表中，则判为新数据，并把该新数据计入哈希表中，继续读取内存数据，直到未出现新数据为止，执行步骤（3）对所读数据直接进行压缩编码；

（3）根据内存数据形式确定编码方式：

3a)对于长度长于4的重复相同字符串，将其长度先与数值255比较，再进行压缩：

如果该字符串的长度小于255，将第一个字节记录为标志位，将第二个字节直接记录重复的长度；

如果该字符串的长度大于等于255，将第一个字节记录为标志位，将第二个字节记录为0，将第三个字节记录为255的整倍数，将第四个字节记录为除去255的整数倍剩余的字符串的长度；

3b)对于普通的重复字符串，即除了长度长于4的重复相同字符串以外的其他重复字符串，则用字典编码；

（4）判断是否编到内存数据结尾，若是，则输出压缩后数据和压缩后数据的长度，并记下结束标志，否则，返回步骤（2），继续读入新数据。

2.根据权利要求1所述，其中所述步骤3b)中用字典编码，根据重复长度和指回距离，即字元当前位置与哈希表内记录位置之间的距离，选用不同的编码格式进行编码：

对于字符串重复长度小于8，且指回距离小于2K的内存数据，将第一个字节记录为长度，将第二个字元记录为当前位置与哈希表内记录位置之间的距离；

对于字符串重复长度小于8，且指回距离小于16K的内存数据，将第一个字节记录为长度，将第二个和第三个字节记录为字元当前位置与哈希表内记录位置之间的距离；

对于字符串重复长度小于8，且指回距离小于48K的内存数据，将第一个字节最后3个比特记录为长度，将第一个字节第4比特、第二个字节和第三个字节记录为字元当前位置与哈希表内记录位置之间的距离；

对于字符串重复长度大于8，且指回距离小于16K的内存数据，将前两个字节记录为重复长度，将后两个字节记录为字元当前位置与哈希表内记录位置之间的距离；

对于字符串重复长度大于8，且指回距离小于48K的内存数据，将前两个字节记录为重复长度，将后两个字节记录为字元当前位置与哈希表内记录位置之间的距离。

Images