CN1111467A - 数据通信中编码和解码压缩数据的方法和装置 - Google Patents

Abstract

用于在数据通信中对压缩数据编码和解码的方 法和装置，包括采用解码器的树结构布置，在非1级 节点(72，78，79)中使用子计数器(62)。数字通信装 置利用这种树结构完成信号传输。

Description

本申请涉及数字通信设备，特别涉及能够改善数据通信效率和速度的数据压缩系统及其方法。

数据通信是利用传输系统把计算机编码的信息从一个点移动到另一个点。数据通信可以实现几乎是瞬时的长距离信息交换。

数据通信连接了发送或接收数据的数据终端设备（DTE），诸如终端、打印机或计算机。数据通信设备（DCE）是连接在DTE与处理传输信号或数据的通信信道之间的装置。DCE通常包括一个微处理器和随机存取存储器（RAM）。通信信道虽然可以是一种蜂窝网、数字通信网或卫星网，但它通常是一个电话网。

由发射机DTE（TXDTE）向接收机DTE（RXDTE）传送的信息由一系列字符构成。这种信息通常包含大量的冗余码，为此，该信息可被压缩，以使它在较短时间内在通信信道上传输。

已知的数据压缩方法中有一种Ziv-Lempel78算法（“ZL78”）。在ZL78算法中，发送DCE（TXDCE）记录最新发送数据的过程，其做法是把字符串存入存储在TXDCE  RAM中的汇编（Vocabulary）（也被称为“汇编树”）中。把当前数据的顺序单元与汇编相比较，从中找出冗余数据。TXDCE不发送整个的冗余序列，而是发送一个代码字，它指向汇编树中较早出现的冗余数据位置。在发送代码字所需的比特数小于冗余数据序列中的比特数时，就出现数据压缩。在已转让给本受让人的由Brian  Ta-Cheng  Hou，Craig  D.Cohen，James  A.Pasco-Anderson和Michael  Gutman提出的未决申请07/976，298号中描述了另一种数据压缩方法。该申请中包含的信息也含在本申请中。

接收机DCE（RXDCE）在信道的另一端，在RXDCE  RAM中保存一个与TXDCE所保存的汇编相同的汇编。一接收到来自TXDCE的代码字，RXDCE就用该代码字在汇编中寻找冗余数据序列。然后，RXDCE向TXDCE传送数据序列。

如上所述，每当要求发送代码字所需的比特数小于冗余数据序称中的比特数时，就发生数据压缩。在某些情况下，例如信息接近于字符的随机序列时，代码字实际上比原始数据要长，在这种情况下就会出现数据扩展（与数据压缩相反）。如果出现数据扩展，TXDCE就向DXDCE发出信号，使其不执行数据压缩操作。这种没有数据压缩的通信方法被称为“透明模式”（TM）。TXDCE随后监视TXD，以确定压缩是否有益。如果压缩是有益的，TXDCE就通知RXDCE开始压缩，并按“压缩模式”（CM）操作。在正常的通信期间，TXDCE和RXDCE可能在CM和TM之间反复多次地转换。其他方法还可以参见Clark的美国专利5，177，480号。

随着信息的发送，TXDCE按照一组规则建成一个汇编。该汇编是一个树结构的数据库，它具有各级互连的节点。在Clark的美国专利5，153，591号和Welsh的美国专利4，558，302中充分描述了用于建立汇编树、更新汇编树、以及对汇编树的节点进行删除或增加的过程。这种树结构在用于CCITT（国际电报和电话咨询委员会）的V.42bis应用中已被采纳。

解码器汇编中（除第一级节点之外）的每个节点需要9个字节：一字节用于由节点代表的字符，两字节用于下指针，两字节用于左指针，两字节用于右指针，两字节用于上指针。据此，解码器树结构所需的存储器是很大的。特别是在一个DCE包含多重汇编的情况下更是如此，例如由Brian  Ta-Cheng  Hou，Graig  D.Cohen，JamesA.Pasco-Anderson和Michael  Gutman提出的，属于本申请人的07/976，298号申请“Dynamic  Vocabulary  Storage  for  Adaptive  Date  Compression  of  Frame-Multiplexed  Traffic”中所述。

另外，如果在树上增加一个叶（leaf）节点，用于相邻叶节点的指针就要被更新，需要使各相应的叶都能读、写该指针。这种操作会消耗微处理器的时间，因此会减少DCE的通过量。

当用于汇编的RAM被充满时，节点就被删除。节点的删除需要修改所有与被删除节点有关的指针，其结果会耗费时间并减慢DXDCE的通过量。

先有的编码和解码方法允许串匹配程序在一个最长的串匹配之前结束，在该时刻发送用于任一局部匹配串的代码字。在某些V.42bis过程中，可能会由于模式转换或溢出而出现这种情况。对一些从V.42bis发展的同步数据压缩来说，结束帧或同步误差会导致这种结果。在过早结束的串匹配程序之后的第一个字符被编码且作为不匹配的字符来处理。编码器通常把一个不匹配的字符加到匹配的串上，并开始一个带有该字符的新串。然而，当串匹配程序在一个最长串匹配之前已结束时，下一个字符可能已进入了汇编。因此，编码器在汇编中检索该字符，并且在汇编中没有该字符时反增加该字符。

当解码器接收用于新串的代码字时，它把修正字符作为先前串中的不匹配字符来处理。解码器通常是把修正字符加到先前串上并开始一个带有修正字符的新串。然而，由于编码器可以在找到最长串匹配之前结束串匹配程序，修正的字符可能已在汇编中。因此，解码器就在汇编中检索该修正字符，并当其不在汇编中时仅增加该字符。

在典型的方式下，对于每个非根（non-root）节点解码器需要有9个字节;即一字节字符，两字节下指针，两字节左指针，两字节右指针，以及两字节上指针。这种数据结构均使解码器能在树结构中上、下及横向移动。

在这些方式下，在透明模式期间建立汇编的方法同样被用于压缩模式。因此解码器就必须保存透明模式期间的汇编。为在透明模式期间保存汇编要求解码器执行检索操作，这其中包含树结构的上、下及横向移动。解码器在压缩模式期间增加一个节点之前必须核查汇编中的重复串，并且解码器必须在透明模式期间上、下及横向移动树结构。因此，解码器必须保存压缩模式期间的完整树结构（即向下及横向移动树的能力）。

在透明模式下的检索操作和压缩模式下的重复串核查都要求解码器能向下及横向移动树。增删节点时需要更新所有的指针。因此，对于微处理器的应用来说，向下及横向移动树结构的能力是昂贵的。

这样，编码器和解码器双方都保存透明模式和压缩模式下的遗漏字符，即使是该遗漏字符仅是在透明模式下使用。为了保存遗漏字符，编码器和解码器双方都须核查数据中的每个字符，以便查出遗漏字符的出现，并且在从数据中检测到一个遗漏字符时更新该遗漏字符。

因此，压缩数据的这些编码和解码方法需要大量的存储容量及微处理器的应用。因此需要一种能减少存储器和微处理器应用的方法。

图1是连接到一个DTE上的DCE的框图;

图2是DCE在发送和接收模式下的功能框图，由此构成一个数据通信系统;

图3示出了一种反扩展控制;

图4代表最佳实施例的一个汇编节点;

图5代表最佳实施例的一个树结构;

图6示出了DCE中使用的一种方法;

图7示出了一种字符处理方法;

图8示出了一种指令处理方法;

图9示出了一种用于测试压缩的方法;

图10示出了一种遗漏字符处理方法;

图11示出了下一字符的一种例外处理方法;

图12示出了数据压缩解码器的操作方法;

图13示出了透明模式期间的解码器操作方法。

（象数据通信中通用的情况，“RX”标记代表“接收机”，而“TX”标记代表“发送机”。）

图1示出了数据通信系统的框图。DTE10被连接到DCE12。DTE10向DCE12传送用于传输的信息（TXD）。类似地，DTE10从DCE12获得接收的信息（RXD）。DCE12包括微处理器14，微处理器14执行数据压缩编码器16、发送数据泵18、数据压缩解码器20，以及接收数据泵22的功能。数据压缩编码器16提取TXD，并且在可能的情况下把TXD压缩成代码字。发送数据泵18经由通信信道30把压缩的TXD传送给某些其他地点的DCE/DTE对。

类似地，接收数据泵22从通信信道24获取压缩的RXD。然后由数据压缩解码器20把压缩的RXD恢复成供DTE10使用的RXD。

RAM26连接到微处理器14。RAM26中除其它内容之外还包含汇编和微处理器的控制程序。

图2示出了图1的DCE12在发送和接收模式下的功能框图。TXDCE26通过通信信道30与RXDCE28联系。（多数情况下，一个DCE中包含TXDCE和RXDCE两者）。

TXDCE26经由发送DTE接口中（TXDCE）32接收TXD。TXD随后进入数据压缩编码器34和遗漏字符处理器36。遗漏字符处理器36处理除了在DTE之间传送的信息之外的被指定应传送给DTE的遗漏字符。

编码器汇编35由数据压缩编码器34进行读出和写入。如果按FM操作TXDCE26，反扩展控制38就从遗漏处理器36接收字符。如果按CM操作TXDCE26，反扩展控制38就从数据压缩编码器34接收代码字。

TX误差校正40从反扩展控制38接收数据，并把数据传送给TX数据泵18，以便经通信信道30传输给RXDCE28。发送反扩展控制38可以通过复位线清除编码器汇编35。RX数据泵22从通信信道30接收数据。RX差错校正42处理该数据，并将其传送给解码器反扩展控制44。在压缩模式（CM）下的数据是代码字，因此就传送给数据压缩解码器46。然后就由数据压缩解码器46利用解码器汇编47对代码解码，然后把代码字代表的字符串传送给RXDTE接口50。

在透明模式（TM）下，数据从解码器反扩展控制44被传送给解码器遗漏字符处理器48。由遗漏字符处理器48处理后的数据被传送给RX  DTE接口50。

与按照V.42bis描述的方法相反，编码器遗漏字符处理器36和解码器遗漏字符处理器48不对CM数据进行操作，或是不在CM时间内操作。与其它解码/编码方法相比，这样做能显著地节省处理周期。

图3以框图形式示出了TXDCE26的反扩展控制38。反扩展控制38接收透明模式数据（TM数据）和压缩模式数据（CM数据）。透明模式数据处理器54翻译TM数据。TM数据处理器54向TX差错校正40传送TM数据。它还可以向编码器汇编35传送复位的存储（RM），并向RXDCE28传送ENTER  COMPRESSED  MODE（ECM）控制字符。（如对V.42bis的描述中所述，也可向RXDCE28传送其他控制字符）。

压缩模式数据处理器56向TX误差校正40传送CM数据和ENTER  TRANSPARENT  MODE（ETM）指令代码字。其他指令代码字也可被传送给RXDCE28。

图4示出了最佳实施例中用于非第一级节点60的数据结构。节点60具有一个字符字66、两个上指针62的字节、以及两个用于子（children）计数器64的字节。

解码器汇编实例的一部分树结构如图5所示。

在图6中示出了汇编的树结构。由树代表的字符串有“T”、“TH”、“THE”、“THI”、“THIS”、“TO”、“TOI”、“TU”和“TUG”。

在最佳实施例中，TXD数据中可能的256个单字符串中的每个字符串总是由汇编树来表示。由于它们共享一个公共的母体，也就是树的根，因此1级节点不必存储在汇编中。在本例中，所有2级节点的上指针62存储其母体1级节点的字符。用大于255的数值代表所有非1级或是2级节点的上指针，就能防止上指针62的含义不明确。在上指针值小于256时结束串解码器程序。代表串“TH”72的2级节点具有一个指向包含字符“T”的1级节点“T”的上指针，并具有一个子计数器。该节点包含字符“H”，它是字符串“TH”的后缀。

2级节点“TH”72包含字符“H”。它具有两个“子”，即“THE”和“THI”，因此，用于节点72的子计数器为2。子计数器对除子之外的后代不计数，因此节点的72的子计数器不包括“孙子”节点77。3级节点“THE”74包含字符“E”。该节点没有子（相关的4级节点），节点74的子计数器因此为零。其母体是节点72，因此，节点74的上指针包含节点72的存储器地址。3级节点“THI”76包含字符“I”。它有一个子，即4级节点“THIS”77，因此，用于节点76的子计数器为1。其母体是节点72，因此，用于节点72，因此，用于节点76的上指针包含节点72的存储器地址。4级节点“THIS”77包含字符“S”。它没有子，因此，用于节点77的子计数器为零。其母体节点是节点76，因此，用于节点77的上指针包含节点76的存储器地址。

代表字符串“TO”78的2级节点包含字符“O”。它没有子，因此，节点78的子计数器为零。其母体节点是1级节点“T”，因此，节点78的上指针包含字符值“T”。2级节点“TU”79包含字符“U”。它有一个子，即3级节点“TUG”80，因此，节点79的子计数器为1。其母体节点为1级节点“T”，因此，节点79的上指针包含字符值“T”。代表字符串“TUG”80的3级节点包含字符“G”。它没有子，因此，节点80的子计数器为零。其母体节点是节点79，因此，节点80的上指针包含节点79的存储器地址。

为了删除一个节点，仅需要减少上级节点的子计数器。

例如，若要删除代表字符串“THE”的3级节点74（此处2级节点72）为字符串“TH”，则三级节点74的母体的子计数器就从1减为零。

一些现有的资料中判别被删除节点的标准是该节点不应有子（叶节点）。这种节点在本实施例中的识别方法是该节点的子计数器为零。这是因为在每个节点的存储中包括子计数器。由于在本例中不会删除1级节点，因此，1级节点不需要后代计数器。

若要增加一个节点，上级节点的子计数器就要增加。例如若要在树上增加字符串“TUGZ”，它就应该接在代表串“TUG”的叶节点80之后，叶节点80的子计数器就应增加到1。

增加一个节点需要增加一个存储器位置，而减少一个节点需要减少一个存储器位置。众所周知，用微处理器减少和增加存储器位置是两种由微处理器执行的较快的操作，因此，增删节点的处理过程是很快的。

另外，本实施例的存储器费用也是很小的，因为每个非1级节点仅需5个字节。由于每个节点的存储器较少，在给定容量的RAM中可以容纳较多的节点。反之，对给定数目的节点来说，需要的RAM减少了44%。

由于对每个字符的处理减少，在给定的处理周期数中可以增加DCE的通过量。反之，对给定的通过量而言，微处理器可以把节省的处理周期用于其他需要。使用这种数据结构的模拟试验反映出通过量可以增加20%以上。

图6示出了上述装置中使用的方法。在通信开始时（框200），DCE等待字符（框202）。若接收到一个字符（框204），就处理该字符（框206，参见图7）。若接收到溢出，EOF（结束帧）或是SYNCH-ERROR（同步误差）指令请求（框210），就处理该指令（框210;见图8）。如果接收到测试压缩请求（框212），就执行测试，根据当前状态确定是否应开始或结束压缩。

图7示出了字符处理程序（框206）。从字典中检索一个字符串加下一个字符（框208）。如果未找到该字符串加下一个字符（框210），就把该字符串加到字典中（框212）。

如果找到了字符串（框210），就测试字符串加下一个字符，以便确定是否其与先前传送的字符串相同（框214）。如果相同，就把该字符串加到字典中（框212）。若不同，就把该字符串设定为字符串加下一个字符（框216）。

若没有找到字符串，就测试模式（框211）。如果系统在压缩模式下操作，就传送代码字（框213）。然后把该字符串加到字典中（框212）。

无论是否找到字符串（框210），都将字符串初始化成不匹配字符（框218）。

然后核查DCE，以确定其是否按压缩或透明模式操作（框220）。如果DCE是按压缩模式操作，就结束字符处理（框226）。另一方面，如果DCE按透明模式操作，就传送字符（框222）并且执行遗漏字符处理（框224，见下文所述图10），并且退出该程序。

图8示出了指令处理方法（框210）。核查DCE，以便确定模式（框230）。如果其操作在透明模式，就传送缓冲的字符（框232），并结束该指令程序。

如果DCE按压缩模式操作，就核查数据，查清字符串是不是空的（框234）。如果是，就传送字符（框236）。否则就传送代码字（框238）。然后传送指令（框240），并且另外处理下一字符（框242;参见下文所述的图11）。然后结束该指令处理（框244）。

图9示出了测试压缩的方法（框212）。采用压缩测试来判断是否能用压缩来加快信息的传输（框250）。接着确定是否应转换模式（框252）。如果不需要转换模式，就结束测试压缩的程序（框254）。

如果需要转换模式，就核查DCE的当前模式（框256）。

若处在压缩模式，就核查字符串，以确定其是否为空字符串（框258）。若不是，就传送代码字（框260），并且传送指令，从而进入透明模式（框262）。如果字符串是空的（框258），就立即传送进入压缩模式的指令（框262）。然后对遗漏字符初始化（框264），并进入透明模式（框266）。然后另外处理下一字符（框268），并结束该程序（框254）。

如果处在透明模式，就传送遗漏字符（框270），重新初始化解码器字典（框272），传送进入压缩模式指令（框274），并且进入压缩模式（框276）。

下一字符被另外处理（框268），并且退出该程序（框254）。

图10示出了遗漏字符处理过程（框224，参见图7）。对字符进行测试，以确定其是否为一个遗漏字符（框280）。若不是，就退出该程序。如果是，就传送数据控制字符中的遗漏（框282），并且更新该遗漏字符（框284）。

图11示出了另外处理下一字符的过程（参见图8中框242）。DCE等待下一字符（框290）。如果接收到一个溢出（FLUSH），EOF或同步误差（SYNC-ERROR）指令请求（框292），DCE就等待下一字符（框290）。

如果接收到一个字符（框294），就把字符串初始化成该字符（框296）。然后核查模式（框298）。在压缩模式下，没有进一步的处理，并且退出该程序（框300）。

在透明模式下，就传送字符（框202），传送遗漏字符（框304），并退出该程序（框300）。

图12示出了数据压缩解码器46，在压缩模式下的操作方式（框210）。解码器46等待代码字（框212）。在接收到代码字时（框214），对代码字进行核查（框216），判断其是否是指令代码字。如果该代码字是溢出，EOF或同步误差指令代码字，就处理该指令。

如果代码字是TXDCE26产生的进入透明模式（ETM）指令代码字（见274，图9），就对遗漏字符初始化（框220），并且进入透明模式（框222，参见下文所述图13）。

若接收到一个字符串代码字，就将代码字解码成字符串（框224）。在Clark的美国专利5，153，591和Welsh的美国专利4，558，302号中描述了代码字的解码方法。如果在先的代码字与该字符串相等（框326），就更新汇编（框328），并把字符串传送给TX数据泵18（框330）。

图13示出了透明模式下的解码器操作方式（框322）。RXDCE28等待字符（框340）。在接收到一个字符时（框342），就核查该字符以便确定其是否是一个遗漏字符（框344）。

若不是，就把该字符放入输出缓冲器（框346）。

如果是，就更新遗漏字符（框348）。RXDCE28等待下一字符（框350），得到指令（框352），然后执行该指令（框354）。如果该指令是进入压缩模式（ECM）指令（见图9中框274），就重新初始化解码器汇编（框356），并退出该程序（框358）。

注意汇编35、47的重新初始化可以是整个删掉当前的汇编，或是通过外部识别或TXDCE26与RXDCE28之间的交涉来清除树结构的汇编35、47。

否则，就把先前的字符放入输出缓冲器（框344），而RXDCE28再次等待下一字符（框334）。

图14示出了用于更新解码器汇编的方法（框400）。选择一个候选的空余节点（框402）。检查该候选节点，以确定该节点的子数（框404）。如果子节点不为零，就选择新的候选节点（框402）。

如果子计数器为零，就把当前字符串的第一字符存入空余节点的字符字节（框406），将空余节点的子计数器置零（框408），把母体节点的存储器位置存入空余节点的上指针（框410），并使母体节点的子计数器增值（框412）。然后退出该程序（框414）。

如图4所示，解码器数据结构至少需要一个字符字段，一个上指针字段和一个字计数器字段。解码器不需要向下或横向移动树，因此没有下、左或右指针。下指针由子计数器字段替代，它是一个节点的子数的计数，并被用来确定该节点是不是叶节点。改进的结果是减少了解码器所需的RAM，并减少了为保存这种解码器数据结构所需的处理工作。在最佳实施例中，字符字段占一字节，上指针场点两字节，而子计数器字段也占两字节。子计数器字段之所以需要两字节是因为一个节点可能有零到256个子，这就需要超过1字节的存储量。另一种方案是使用1字节子计数器字段，并可以在上指针字段中某处设1比特标志。

解码器之所以能使用图4所示的数据结构，是因为它在把一个修正的字符加到先前的字符串上之前并不核查重复的字符串。解码器在透明模式期间不保存汇编。如果从透明模式转换到压缩模式，编码器和解码器都清除汇编。在增加一个“子”时，就增加节点的子计数器字段，而在删除一个“子”时，就减少子计数器字段，并且当子计数器字段为零时，该节点就是一个叶节点。

在最佳实施例中，一旦编码器在最长字符串匹配之前结束了字符串匹配程序，就开始带有了下一字符的新的字符串，但该字符并不被加到汇编中去。在模式转换，溢出，结束帧，或是同步误差之后会出现这种情况。编码器向解码器明确地发出模式转换，溢出，结束帧，或同步误差信号（在每次溢出操作之后传送溢出的代码字）。除了紧随模式转换，溢出，结束帧，或同步误差之后的等一个修正字符之外，解码器把字符串的修正字符加到先前的字符串上，而不去核查重复的字符串。

在另一种实施方案中，即使加上了一个重复，解码器仍把字符串的修正的字符加到先前的字符串上。编码器在其汇编中可以也可以不增加重复的字符串。如果编码器在其汇编中不增加重复的字符串，编码器就保留应增加的那个节点的代码字，就象已增加了该节点时一样。编码器不传送其汇编中任何重复字符串的代码字。重复字符串不被用于构成较长的字符串。代表重复字符串的节点仍然是叶节点，并且在保存该汇编时从树上被删除。

在压缩模式期间，编码器和解码器不需要保存遗漏字符。因此，编码器和解码器不必在数据中为了遗漏字符而核查每个字符，并且在数据中找到一个遗漏字符时更新遗漏字符。在最佳实施例中，编码器和解码器在压缩模式期间可以连续地保存遗漏的字符，并且在从压缩模式转换到透明模式时把该遗漏字符清除成其初始值（0）。另一种方案是，编码器和解码器在压缩模式期间都不必修改遗漏的字符。

Claims (6)

1、一种经通信信道连接第一和第二数字终端进行信号通信的数字通信系统，所述信号包括数字信息，其特征在于，该系统包括：

第一数字通信装置，它包括：

连接数字通信装置和第一数字终端的接口；

一个数据压缩编码器；

连接到数据压缩编码器上的编码器汇编，该编码器汇编使用第一树结构来存储编码器汇编中的入口；

连接到通信信道上的发送数据泵；以及

第二数字通信装置，它包括：

连接到通信信道上的接收数据泵；

连接第二数字终端和第二数字通信装置的接口；

一个数据压缩解码器；

连接到数据压缩解码器的解码器汇编，该解码器汇编具有用于存储解码器汇编中的入口的第二树结构。

2、按照权利要求1的数字通信系统，其特征在于，第一数字通信装置包括编码器反扩展控制，用于对数据压缩编码器的启动进行控制。

3、按照权利要求2的数字通信系统，其特征在于，编码器反扩展控制中进一步包括用于禁止数据压缩编码器的装置。

4、按照权利要求3的数字通信系统，其特征在于，编码器反扩展控制中进一步包括用于启动或禁止第二数字通信装置的数据压缩解码器的装置。

5、连接到通信信道的数据压缩解码器，该解码器接收由压缩信息构成的信号，该解码器连接到解码器汇编，该解码器产生分层的树结构，用于存储进入解码器汇编的信息，树结构有多个节点，节点的特征在于，分层的结构，使至少第一多个节点与其他节点相比具有不同的分层等级，第一多个节点中的一些包含与该节点相关的低级节点数目的标志。

6、一种用于更新数据压缩解码器中的解码器汇编的方法，其特征在于，包括以下步骤;

（a）选择一候选节点;

（b）确定该节点是否还有任何后代节点;

（c）如果该候选节点没有后代节点，就用该候选节点存储一个新的汇编入口。

Images