CN1251151C - 压缩数据包的方法 - Google Patents

Abstract

一种压缩数据的方法，其中所述数据为离散单元的形式，通过确定对所述单元为特定的总码来压缩数据，包括步骤：a)根据常见表现模式对单元分组；b)对于单元的每个所述组，指定一个组特定码，所述组码的大小依照单元出现的概率来定制；c)指定特定的单元标识符码以识别组内的单独字符，总码包括相互连接的组特定码和标识符码，特征在于其中的步骤c)，标识符码为最小大小以使可在那个组中出现的每个单元被专门指定。

Description

压缩数据包的方法

技术领域

许多数字通信系统以包来发送数据。这些包包含位于数据开始处的头部。头部包括信息，例如涉及包的目标地址、包的长度以及被包含在内的有效负载(payload)数据的类型。头部可被认为是包括位串的长字符。

背景技术

移动电信网络和互联网正在其功能性方面趋于一致。对第三代移动手机来说，理想的是直接理解互联网(IP或ATM)数据包以允许给移动用户的无缝电子邮件、网页浏览和多媒体服务。诸如IP的协议被设计以在带宽丰富的固定网络上运行，并因此它们在移动电话环境中是昂贵的。当被用于载运语音时，使用IP所产生的开销可达75％的总网络容量，这对于移动网络来说是不可接受的。

对这个问题的解决是就在其穿过空中接口之前压缩IP头部。存在多种压缩方案用于该目的(Van Jacobson，CRTP等)，其以不同方式在效率、灵活性和简单性之间进行折中。

发明内容

本发明的目的是提供一种压缩和随后解压缩二进制(或其它)数据单元的字符和头部的改进方法。

本发明者已确定了压缩数字数据的改进方法，其利用检测相继数据块中的表现模式(behavior pattern)，使得有有效的数据压缩。表现模式被限定为任何形式的非随机性并可采取任何适当形式，例如重复(repeat)、计数器，其中计数器被增量1，或者其中数据块在小数量的值之间交替。

已知数据压缩系统包括霍夫曼算法，其在共同未决的申请中被详细讨论。这个可公用的标准被广泛用于许多压缩方案，包括“WinZip”。霍夫曼编码一次一个字符地压缩数据流，其中一个字符通常为一个字节。基本压缩不是很有效，但有可能通过递归地应用该方法或通过增加一个字符的大小而获得较好的结果。然而，这增加了算法的处理和/或存储要求。

本发明者已开发了霍夫曼方法的改进版本，其具有比普通霍夫曼明显低的存储要求，允许一个字符的大小被增加并因此给出较好的压缩比。

附图说明

图1示出普通霍夫曼如何工作。

图2示出本发明的简单基本实例。

图3示出一个实例并说明了本发明以及其操作优点是如何引起的。

具体实施方式

为了理解本发明，现在将说明现有技术。

普通霍夫曼

霍夫曼编码为可公用的压缩标准，其被用于许多流行的压缩方案，如“WinZip”。所有霍夫曼压缩器对字符(例如ASCII字符)流进行工作。基本思想是生成一组新的被压缩字符或码，其中每个正常字符映射到一个被压缩字符上，并且反之亦然。频繁出现的即常见字符被给予比不常用字符短的压缩码，这减小了数据流的平均大小。通过增加一个字符的大小可提高压缩比，但代价是较高的存储要求。事实上，当运行霍夫曼压缩器时所用的存储随字符的大小呈指数增长，因此16位字符需要8位字符的256倍多的存储。

图1示出普通霍夫曼如何工作。在该实例中涉及10个不同的可能字符(一组10个ASCII字符)，如在单引号中所示(通常，字符可以是一切，例如字节、头部、ASCII字符等)。对于字符，先决条件是知道那个字符在数据序列中出现的近似概率，技术人员将理解这能以任何适当的方式来实现(例如取一个大的字符流而确定每个字符出现的频率)。

在工作实例中，普通霍夫曼树需要10个起始节点，每个可能字符一个。这些节点与字符在未压缩数据流中出现的百分比几率一起被画在霍夫曼树的顶部。字符通常以概率增加的顺序被安排。空白字符是很常见的字符并被放在最后。如图中所示，每个字符下的框表示出现概率。为构建该树，有最小概率的两个节点被连接以形成新的节点。左手的分支以“1”来标记，而右手的分支以“0”来标记。新节点以组合的根节点的概率(在第一情况下为6％)而被获得。该过程继续到仅剩一个节点，在该点处完成该树。通常，有最小概率的分支以“1”来标记，而第二小的以“0”来标记。这两个概率的和被置于新的节点中。工作实例的所完成霍夫曼树如以下所示：

为压缩字符，从正确的节点开始并顺着树向下，在其出现的地方读取“1”和“0”。所产生的位串为压缩字符，例如“E”，并顺着树向下到其根部；这给出0001。由此E由0001表示。

被压缩字符有时是向后的，因此E由1000表示。这使得较容易解压缩(因为我们可通过从左到右读取被压缩字符而顺着树向上)。

类似地，为解压缩字符，只需使用被压缩位串顺着树向上，从而决定在每个节点处向左转或向右转。最后到达原来的十个节点之一，并且发现正确的被解压缩字符。

如可以看到的，常见字符由较少的位表示；“空白”字符在此由0表示。

改进的霍夫曼

在基于霍夫曼压缩字符流的众所周知的增强方法中，每个字符被指定一个组，并且正是这些组被当做常规霍夫曼算法的字符。该方法具有比普通霍夫曼明显低的存储要求，允许一个字符的大小被增加并因此给出较好的压缩比。改进的霍夫曼方法亦使用“字符组”而不是字符本身来构建树；这些组实质上成为普通霍夫曼的字符。

改进的霍夫曼树分两级被构建。在第一级中，字符依照常见表现模式被分组。表现模式可例如为相同的概率，因此字符依照其相对频率被分组。

然而问题在于被压缩字符，用于组的霍夫曼码之后必须跟随识别组内的哪个字符已被压缩的位模式(bitpattern)。如果所述组不包含两个字符的幂(power)，则位模式被浪费，给出较差的压缩效率。本发明者已确定了一种克服这些问题的方法。

本发明包括一种压缩数据的方法，其中所述数据为离散单元的形式，通过确定对所述单元为特定的总码来压缩数据，包括步骤：

a)根据常见表现模式对单元分组；

b)对于单元的每个所述组，指定一个组特定码，所述组码的大小依照单元出现的概率来定制(order)；

c)指定特定的单元标识符码以识别组内的单独字符，

总的码包括相互连接(cocatenated)的组特定码和标识符码，特征在于其中的

步骤c)，标识符码为最小大小以使可在那个组中出现的每个单元被专门指定。

现在将参照实例来较详细地描述本发明。

实例1

现在将参照图2来描述本发明的以下简单基本实例。在工作实例中有4个组或表现模式。组A包含以3％的概率出现的所有字符，也就是“B”、“C”、“1”和“2”。而其它组根据遇到字符的概率而被设置：组B包含字符“A”、“E”和“？”。组C包括“D”和“$”，而最后的组D仅包含SPACE字符。

字符	出现机率	组	标识符
				SPACE	54％	A
A	8％	B
				E	8％	B
？	8％	B
				$	5％	C
D	5％	C
				1	3％	D	00
2	3％	D	01
				B	3％	D	10
C	3％	D	11

树最初从每个组(总共4个)的一个节点开始。节点以组中的字符数以及组中那一个字符在随机字符流中出现的概率来标记。

为构建该树，有三个可能的运算。在组中有偶数个字符的地方，放置一个节点；该节点被指定加倍概率，但新节点的计数器示出半数字符。节点被指定一个字符的变量“X”，其根据组中哪个字符被选择压缩而在以后被填充。每次当进一步向树根移动时，新节点被生成；概率被加倍，而计数器中的元素数被减半。当该树被用于压缩数据时，根据哪个字符出现，来填充“X”。取代在树顶具有多个分支，对于一个标识符，有单个轨迹和小阵列。

例如，为解压缩该数据，字符码为101011，1向左走，0向左走，1向左走。然后得知其为B、C、1或2，最后2位告诉你它是哪个字符。

实质上，压缩码包括两个部分；一个部分包括识别所述组的码，组码。仍同霍夫曼一样，例如包含很少出现的字符的组具有比有常见字符的那些组长的组码。压缩码的另一个部分包括标识符码，它是将一区别于组内其它字符的码。有奇数数量字符的组被分为两个组；一个字符被去除以产生具有偶数数量字符的新组和仅包含一个所去除字符的新组。

如果在组中有奇数数量的字符，该组被分为两个节点。一个分支表示仅一个字符；另一个表示所有其它字符，并且现在表示具有偶数数量字符的一个集合。在没有分支的节点处，改进的霍夫曼树实质上包含额外的符号“X”以用作标识符。在有来自具有奇数数量成分的组的分支的地方，有一个为0或1的标识符“D”以表示在上述分解之后哪个分支是哪个，即如果“D”的值为1，这可表示代表从组中被去除以提供偶数数量组的字符的分支，而“0”表示新的偶数数量组。

“D”符号被用于将所述组分为两个新组。由于每个新组具有其自己的组标识符，不需要指定0和1给“D”符号。*

原来和新的偶数组中的“X”标识符识别偶数组内的字符。

如上述，本发明者已确定，为最优化效率，可将一个节点分为两个节点，其通过使用单个数字)标识符来表示。在本说明书中，我们称之为“D”。

“X”和“D”实质上是识别代码的数字，并且用于在有相同表现模式的任何两个字符之间区分。压缩的初始步骤是以唯一的识别数来标记每个字符，该识别数将其区别于有相同表现模式的其它字符。

生成用于改进霍夫曼算法的树的一般方法如下：

搜索有最小概率的节点。假定该节点包含n个字符。下一步依赖于n的值：

1)如果n为偶数，则生成新节点，同时加倍概率但减半字符数n。将该新节点连接于老节点，并以“X”来标记该分支。

2)如果n为奇数且n＞1，则生成有相同概率的两个新节点，左边的一个包含n-1个字符，而右边的一个包含1个字符。将这些新节点连接于老节点，以“D”来标记分支。

3)如果n＝1，则搜索有第二小概率的节点。假定该节点包含m个字符。

a)如果m＞1，则生成有相同概率的两个新节点，一个包含m-1个字符，而另一个包含1个字符。将这些新节点连接于老节点，以“D”来标记分支。

b)现在有了一个有最小概率的节点和一个有第二小概率的节点，两者都包含一个字符。连接这些节点以形成包含一个字符的新节点。使用“1”来标记有最小概率的分支并使用“0”来标记第二小。将两个概率的和置于新节点中。

为压缩和解压缩，组中的每个字符应以来自集合{0，1，2，...}的唯一识别数来标记。这用于在相同组中的两个字符之间区分。

假定待压缩的字符具有唯一标识符i。在树上寻找正确的表现模式并顺着树向下，在每个节点处采取这些步骤：

1)如果节点具有“0”或“1”分支，则将该位加给压缩位的串。

2)如果标记为“X”，则将i的最低有效位加给压缩位的串。然后将i除以2(向下舍入)。

3)对于标记“D”，如果i为0，顺着分支向右。否则将i减小1，并顺着分支向左。

结果位串为被压缩字符。解压缩仅仅是逆转该过程的问题，即通过使用压缩位顺着树向上返回正确的表现模式。唯一标识符i应在最初被设置为0，并且通过在每个节点处采取以下步骤来重构：

1)如果节点有分支，则使用被压缩串中的相应位来确定跟随哪个分支。

2)如果到达“X”，则将i乘以2，然后如果相应的压缩位亦为“1”，则将i增加1。

3)如果到达左手的“D”分支，则将i增加1。

如可以看到的，两种方法之间的差异是普通霍夫曼编码需要用于每个字符的单独节点。

头部的应用

在本发明的特定实施例中，整个头部被当做单个字符。

对于320位头部，这意味着可以有可能的2^320个不同的头部。在此情况下实施普通霍夫曼树将是不可能的。然而，通过使用依照本发明的改进霍夫曼，所有可能的头部可被分为基本上为被减小数量的组，每个组包含具有常见表现模式的头部。例如，它们可被分组为比方说1000个组，每个不同的组具有以相同概率出现的头部；这样就有任何头部可能引起的1000个不同概率。在每个概率组内可以有(特别是对于较不常见的头部)多达百万的头部。当为头部而实施改进的霍夫曼方法时，一个组头部概率和这些组被当做霍夫曼字符。

实例2

图3示出一个实例并说明了本发明以及其操作优点是如何引起的。头部包括320个位，并且可以是不规则的，即有2的320次幂个可能的头部。这些被分组为比方说4个表现模式：以概率A％出现的(比方说包含4个头部)、以概率B％出现的(比方说包含4个头部)、以概率C％出现的(比方说包含10个头部)和以概率D％出现的(比方说该组是不规则的，并且包含剩余的头部，即2的320次幂-18)。概率A到D为降序。改进的霍夫曼树如图3所示被构建。组A由1表示，组B由01表示，组C由001表示，而组D由000表示。这些是被压缩头部的第一部分并且实质上是用于所述组的霍夫曼码。第二部分为将该头部区别于相同组内的其它头部的标识符。在第一组A中，有4个头部，因此人们仅需要具有2位的标识符寄存器(register)，其给出4个可能性。对于组A的成分，被压缩的头部由此总共包括三位，“0”然后是标识符”。对于组D，仍有头部的很多不同可能性2^320-18。在此情况下，不可能每个都具有标识符查找表，因此头部本身成为标识符。这样，整个头部成为被标记到头部本身上的000。尽管被压缩头部在此情况下实际上长了3位，通过使用该系统，仍有节省，这是因为将被遇到的大多数头部不是不规则的，并且由此被以如在霍夫曼中的组码但基本上较短的标识符来压缩。

作为结果，树不必用节点来构建以区分每个和所有可能头部，否则其将变得难以实施地大。

该实例描述了头部被分为4个组的简单实例。这是说明本发明的极端情况，而为了最佳效率，组数将以适当方式被选择。典型的是可以有1000个组，但这仍然比计算机不可能处理的2^320可管理。通常，对于霍夫曼，字符数为处理时间的量度。

在仍进一步的优选实施例中，利用了头部被分为多个字段的事实。这些字段趋向于彼此独立地表现。

实例3

在优选实施例的简单实例中，一个或多个子单元可依照上述的改进霍夫曼方法来压缩。用于整个头部的压缩码将包括相互连接的用于子单元的压缩码和不被压缩的任何子单元的子单元本身。

例如，如果头部包括两个子单元，第一子单元包括地址，而第二子单元包括随机数据串，整个被压缩的头部将包括与随机数据串相互连接的压缩地址字段。

注意，被压缩头部中的字段不必以与未压缩头部中的字段相同的顺序来出现。*

下表示出了典型的头部；可包含字段如IP头部、版本数、头部长度、保留标志、源地址、目标地址、服务类型。每个字段具有多个不同的可能表现：例如地址字段为32位字段，表示数据包的目的地；对于最后的头部往往是一样的，例如数据包转到移动电话，并且仅在极偶然的情况下可能已切换到不同的电话，例如静态(与先前头部中的字段值相同)、交替(在小数量的值之间交替)、不规则(完全随机——不能被压缩)、被推断(可从不同字段例如长度字段中算出值——长头部如何通过所有其它字段被算出)。这在以下工作实例中示出，其包括头部的表，该头部包括3个字段：

字段1

字段2

字段3

S/IN   S/I/A    S

每个字段可具有一个或多个不同的表现。在该实例中，第一字段可具有字段两个不同类型的表现，STATIC或INFERRED，第二字段具有三个可能的不同类型表现STATIC、INFERRED或ALTERNATING，而第三个字段仅有一个STATIC。这在下表的第2列中示出。

实例4

现在将描述较复杂的优选实施例。它适用于具有字段的头部，其中一个或多个字段可具有不同类型的表现。对于每个字段，第一步是指定一个或多个不同表现类型。下一步是为每个字段确定其将具有特定表现类型的概率，例如为每个字段确定其将为STATIC或INFERRED等的概率。这在下表的最后一列中示出。

为了确定被应用于改进霍夫曼方法的不同组的数量，即整个头部不同表现的数量，为每个字段增加出不同字段表现的数量。在该实例中，一个字段表现从字段1拾取，一个表现从字段2并且一个表现从字段3拾取。然后为字段表现的每个组合而重复。这在以下的第二个表中示出。另外，每个组合的概率被确定为第二个表的最后一列中所示。然后霍夫曼树被安排以使为头部类型的特定组合的霍夫曼树顶部的组被安排，从而使有最小概率的那些具有最多分支和由此最长的组码并且有最大出现概率的那些具有最短的分支和组码。

在本实施例另外的实施例中，有利的是为每个表现模式保持其可变化多少种方式的寄存器。例如，一个字段可以是静态即它不变化，仅有一种方式，对于8位字段，有作为不规则的256种方式，并且可能有交替的4种方式。这种了解允许标识符码的大小被确定。在字段为不规则且有存在不规则的256种方式的情况下，标识符码寄存器需要8位的大小，并且标识符码将包括字段本身。在字段交替于4个值之间的情况下，标识符寄存器仅需要为两位的大小，这使得有四种不同组合。

表现数	表现类型	展示表现的字段值数	字段将展示表现的概率
				字段1  1	STATIC	1	80％
2	INFERRED	1	20％
				字段2  1	STATIC	1	80％
2	ALTERNATING	4	15％
				3	IRREGULAR	256	5％
字段3  1	STATIC	1	100％

概率	第1字段	第2字段	第3字段	组合概率g
					1	S	S	S	0.8×0.8×1
2	S	I	S	0.8×0.05×1
					3	S	A	S	0.8×0.15×1
4	N	S	S	0.2×0.8×1
					5	N	I	S	0.2×0.05×1
6	N	A	S	0.2×0.15×1

可采用各种方法从而为进行压缩而安排。在静态模式中，方案被手动编程从而以最佳效率来压缩一个协议堆栈。输入为协议堆栈内的字段清单，以及对于每个字段的字段表现的一组可能方式。该输入清单被转换为适合于改进霍夫曼方法的形式，如以上所述。该方法计算用于被压缩头部的最佳格式并以霍夫曼树的形式来存储该结果。可选的是，压缩器和解压缩器通过发送包含字段表现模式清单的特定特性(profiling)消息而被编程。不论何时当新协议堆栈需要被加给系统时，这个消息通常由网络管理器来发送。进一步的可选是“学习模式”，其扫描任意的包流并动态地学习如何最佳地压缩包的头部。该模式的效率依赖于可被检测的表现类型数。进一步的优选实施例为“混合(hybrid)模式”，其中系统被预先编程以就象在静态模式中一样压缩协议堆栈，但在协议堆栈可被更加有效地压缩的情况下，学习模式亦被激活。该模式对处理协议堆栈表现模式的意外变化是特别有用的。

生成字节对准的头部

某些链接层协议需要所有数据包为字节的整个数量的长度。由于有效负载已经是这种形式，这意味着被压缩头部必须亦为字节对准的。字节对准的头部能以两种方式被生成。最简单的是以足够的位填充每个头部以将头部向上舍入到字节的整个数量。这些额外的位可被用于CRC校验和或序列数以保护不损失包。然而，该方法是低效率的，并且趋向于使从一个头部到下一个校验的误差量随机化。较好的替换是，总在第一位置中生成字节对准的头部。在普通霍夫曼中，这可通过递归连接有最小概率的256个节点(取代有最小概率的2个节点)而实现。256个分支中的每个以不同的8位模式来标记。改进的霍夫曼算法亦可被修改从而以类似方式生成字节对准的头部。

该系统亦可容易地处理可变长度的字段。事实上，这仅仅是为可变长度字段的每个可能长度增加一个表现模式的问题。注意，该编码明确地包括字段的长度，因此如果有包含长度值的单独字段，则它应被分类为INFERRED以避免传输两次信息。

Claims (9)

1.一种压缩数据的方法，其中所述数据为离散单元的形式，所述方法包括以下步骤：

a)根据常见概率对单元分组；

b)对于单元的每个所述组，指定一个组特定码，所述组特定码的大小依照单元出现的概率来定制；

c)指定特定的单元标识符码，用于识别组内的单独字符，

总码包括相互连接的组特定码和标识符码，其特征在于其中

步骤c)，所述标识符码最小，以便使可在那个组中出现的每个单元被具体指定。

2.如权利要求1的方法，其中标识符码包括离散单元本身。

3.如权利要求2的方法，其中所述离散单元被分为多个子单元，并且至少一个子单元被处理并压缩，总压缩码包括任何被压缩子单元码和任何未压缩子单元本身的相互连接。

4.如权利要求3的方法，其中至少一个子单元被指定多个表现类型，并且单元的所述组根据具有子单元表现类型的组合而被分组。

5.如权利要求4的方法，其中子单元依照特定子单元将出现的特定概率范围而被分组。

6.如权利要求4的方法，其中依照至少一个以下类型的表现而被分组：静态、交替、所推断的或不规则。

7.如权利要求4、5或6的方法，其中可在子单元组中出现的可能子单元的数量被确定以确定用于子单元码的寄存器大小。

8.如权利要求3的方法，其中子单元表现类型的每个组合的概率被确定，每个组合形成单独的组。

9.如权利要求1-6中任何一项的方法，其中所述离散单元为头部。

Images