CN102194499A - 一种压缩字典同步的方法和装置 - Google Patents

Abstract

本发明实施例提供一种压缩字典同步的方法和装置。所述方法包括：获取压缩字典中待发送数据对应的字典条目的同步信息字段；根据上述同步信息字段判断接收端网络设备是否具有上述字典条目；若上述接收端网络设备不具有上述字典条目，则与上述接收端网络设备进行上述字典条目的同步，以使上述接收端网络设备接收到根据上述字典条目进行冗余数据消除压缩的上述待发送数据后，能够根据上述字典条目对经过压缩的上述待发送数据进行解压缩。本发明实施例通过减少设备间进行无效的字典条目同步以降低数据冗余。

Description

一种压缩字典同步的方法和装置

技术领域

本发明涉及数据压缩技术，尤其涉及一种压缩字典同步的方法和装置。

背景技术

数据压缩技术的应用比较广泛，可以对文字、图像、音频、视频等各种文件格式进行压缩。压缩处理不仅可以在个人电脑、服务器、各种专用设备上进行，也可以在网络设备(如路由器、交换机)上处理，最典型的应用场景就是企业的各个网络设备之间的数据传输。在数据传输过程中，由于存在大量的数据冗余，发送端的网络设备先对数据进行压缩，到接收端的网络设备上进行解压缩，可以有效的减少网络上的数据传输量，充分利用网络带宽并减少传输时延。

网络设备上常用的数据压缩技术有两大类，一种是LZ(Lempel-Ziv)压缩技术，另一种是冗余数据消除技术。LZ压缩技术一般采用LZ压缩算法或者LZ压缩算法的扩展算法，通常是在数据块内部通过滑动窗口进行最长匹配，生成压缩字典并进行压缩，接收端根据算法自动生成相应的压缩字典并进行解压缩，通常压缩率只有40％左右。冗余数据消除技术的原理则是利用数据传输过程中的大数据块的重复性，由网络设备保存经过的大数据块，并在字典中记录相应的内容，以后发现重复的数据块就使用字典中的索引进行替换。压缩比一般能达到50∶1以上，但是字典条目需要同步。

冗余数据消除技术中，发送端和接收端的字典中都有相同的若干个条目，发送端的网络设备在传输数据时，设备对传输的数据进行分段，并根据字典条目把分段后的数据用字典中的索引进行替换，然后发送出去。接收端的网络设备再根据字典条目进行解压缩，还原成原始的数据流并发送到目的地。上述的数据压缩和解压缩过程都需要使用压缩字典，字典条目通常是由发送端网络设备生成，并且同步到接收端的设备。如果接收端没有相应的字典条目，就无法进行解压缩处理，无法还原出原始数据。字典同步可以通过设备间预定义的协议交互来完成，当接收端因为找不到字典条目而无法解压缩时，可以向发送端网络设备发送请求，要求发送端网络设备重新进行字典条目的同步过程，这种情况称为被动同步，主要用于异常情况(如字典同步失败、某一端的字典条目被替换等)，因为这种方式会导致当前传输的数据时延增加，只能等字典条目同步之后才能解压缩。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：当上述的数据压缩只在两个网络设备间进行时，字典的同步过程只需要在这两个设备间进行，相对比较简单。但是当企业的网络设备比较多的时候，字典同步就需要在多个网络设备间进行，复杂度大大提高。现有一种技术方案是在一个网络设备上为其他网络设备分别维护一个单独的压缩字典，但其最大的问题就是存储空间的浪费，企业内部各网络设备之间的数据有很大的冗余性。还有一种现有技术方案的字典同步方法，该方法使用统一字典模式，并采用全局网络设备的字典同步机制，但这种方法其实属于盲目同步，因为设备无法预知后续是否使用该同步的字典条目，在没有相似的数据传输时这些字典条目没有任何用处，最终会超时老化或者由于空间限制被其他条目替换掉，且字典条目中包括索引、生存期、对应的数据段等内容，这种全部网络设备间的同步也会占用设备上的大量的内存和磁盘空间，网络设备比较多时会严重的加大了网络上的数据流量。综上可见，现有技术仍然无法避免设备间减少字典条目同步，以降低数据冗余。

发明内容

本发明实施例提供一种压缩字典同步的方法和装置，通过减少设备间进行字典条目同步，以降低数据冗余。

一方面，本发明实施例提供了一种压缩字典同步的方法，所述方法包括：获取压缩字典中待发送数据对应的字典条目的同步信息字段；根据上述同步信息字段判断接收端网络设备是否具有上述字典条目；若上述接收端网络设备不具有上述字典条目，则与上述接收端网络设备进行上述字典条目的同步，以使上述接收端网络设备接收到根据上述字典条目进行冗余数据消除压缩的上述待发送数据后，能够根据上述字典条目对经过压缩的上述待发送数据进行解压缩。

另一方面，本发明实施例提供了一种压缩字典同步的装置，所述装置包括：获取单元，用于获取压缩字典中待发送数据对应的字典条目的同步信息字段；判断单元，用于根据上述同步信息字段判断接收端网络设备是否具有上述字典条目；同步单元，用于若上述接收端网络设备不具有上述字典条目，则与上述接收端网络设备进行上述字典条目的同步，以使上述接收端网络设备接收到根据上述字典条目进行冗余数据消除压缩的上述待发送数据后，能够根据上述字典条目对经过压缩的上述待发送数据进行解压缩。

上述技术方案具有如下有益效果：因为采用在字典条目中增加一个字段，记录其他各对端网络设备中是否具有该字典条目，这样设备在进行数据传输时就可以根据这个字段判断对端网络设备是否具有该字典条目，如果没有该条目，就先进行该条目的同步过程的技术手段，所以通过减少设备间进行字典条目同步，降低了数据冗余，节省了网络设备的存储空间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的字典条目内容示意图；

图2为本发明实施例同步信息字段结构示意图；

图3为本发明实施例对端网络设备参数信息示意图；

图4为本发明实施例一种压缩字典同步的方法流程图；

图5为本发明实施例具体实例的网络结构示意图；

图6为本发明实施例一种压缩字典同步的装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种在多个网络设备之间进行压缩字典同步的方法，可以在字典条目中增加一个字段，记录其他各对端网络设备中是否具有该字典条目，这样设备在进行数据传输时就可以根据这个字段判断对端网络设备是否具有该字典条目，如果没有该条目，就先进行该条目的同步过程。

如图1所示，为本发明实施例的字典条目内容示意图，该字典条目内容中至少包括索引、数据块内容和同步信息。同步信息字段可以是一个任意多个比特的比特串(Bit String)，该比特串中的每个比特对应一个对端网络设备。如图2所示，为本发明实施例同步信息字段结构示意图，该同步信息字段中的某一比特(例如从左数第1、3、4个比特)如果为1，表示对应的网络设备上具有该字典条目；如果为0，没有该字典条目。本领域普通技术人员可以理解，也可用0表示对应的网络设备上具有该字典条目，1表示没有该字典条目。

网络设备启动时，会发起网络设备发现过程，确定有哪些对端网络设备，并协商一些参数。在网络设备发现过程之后，每个网络设备确定了有哪些对端网络设备，并且把对端网络设备的IP地址、协商的参数等信息保存起来(如图3所示，为本发明实施例对端网络设备参数信息示意图)，供后续数据传输时使用。在每个设备的维护信息中，对应的比特位置表明了应该使用同步信息字段的哪个比特记录该网络设备中是否具有相应的字典条目。为了方便程序的实现，对应的比特也可以采用掩码的形式来表示，例如00000100就表示该设备对应于同步信息字段中从右数第3个比特，判断时把00000100和同步信息字段进行与操作，如果结果大于1，就表示对应的网络设备上具有该字典条目，否则就表示没有该字典条目。本领域普通技术人员可以理解，如果用0表示对应的网络设备上具有该字典条目，则将掩码和同步信息字段进行或操作，如果结果的各比特均为1则表示对应的网络设备上没有该字典条目。为了方便后续的字典同步，可以要求这些设备信息按照某个规则进行排序(例如按照设备的IP地址排序)，这样每个设备对应的比特位置都是一样的，可以方便查找网络设备对应的比特，以确定其是否存在相应的字典条目。当网络设备检测到对端的网络设备重新启动后，如果本设备中有字典条目，就把所有字典条目的同步信息字段中对应于该对端网络设备的比特位重新置为0，表示对端网络设备没有该字典条目。

如图4所示，为本发明实施例一种压缩字典同步的方法流程图，该方法应用于发送端网络设备和某一接收端网络设备进行数据压缩传输时，所述方法包括：

401、获取压缩字典中待发送数据对应的字典条目的同步信息字段。

可选的，上述步骤可以包括：发送端网络设备对上述待发送数据进行分段，并在自身的压缩字典中查找各分段是否有对应的字典条目。

如果上述发送端网络设备在自身的压缩字典中没有查找到其中一个或多个分段对应的字典条目，则为该分段建立新的字典条目。然后可以与上述接收端网络设备进行上述新的字典条目的同步，并将上述新的字典条目中的同步信息字段进行修改，例如对该同步信息字段的相应比特进行修改，使其表示该接收端网络设备已同步上述新的字典条目的信息，之后可以跳过步骤402、403(因为同步新的字典条目并修改同步信息字段相当于步骤402、403)，也可以继续执行步骤402。也可以在建立该新的字典条目后，将该新的字典条目的同步信息的各比特都设置为表示其对应的网络设备未同步该字典条目的信息，继续执行步骤402。

如果上述发送端网络设备在自身的压缩字典中查找到其中一个或多个分段对应的字典条目，则获取上述对应的字典条目的同步信息字段。

402、根据上述同步信息字段判断接收端网络设备是否具有上述字典条目。

可选的，所述同步信息字段可以为比特串，可以用所述比特串中的某一比特对应所述接收端网络设备，以表示所述接收端网络设备是否已同步所述字典条目的信息。

403、若上述接收端网络设备不具有上述字典条目，则与上述接收端网络设备进行上述字典条目的同步，以使上述接收端网络设备接收到根据上述字典条目进行冗余数据消除压缩的上述待发送数据后，能够根据上述字典条目对经过压缩的上述待发送数据进行解压缩。

可选的，可以通过消息交互的方式或通过在传输的数据中捎带上述字典条目的方式与上述接收端网络设备进行上述字典条目的同步。若根据根据上述同步信息字段判断接收端网络设备不具有上述字典条目，则可以在发送压缩数据之前或同时也可以在之后，主动向接收端网络设备同步上述字典条目，这时就可以向接收端网络设备发送消息，通过消息交互的方式与上述接收端网络设备进行上述字典条目的同步。发送端网络设备也可以通过在传输的数据中捎带接收端网络设备不具有上述字典条目的方式与上述接收端网络设备进行上述字典条目的同步，即将上述待发送数据压缩后，在携带该压缩后的数据的报文中携带需要同步的字典条目。接收端网络设备接收发送端网络设备发送的压缩后的数据后，将捎带的字典条目添加到自身的压缩字典中，即进行字典条目的同步，根据同步后的字典对相应的压缩字段进行解压缩。

若上述接收端网络设备具有上述字典条目，则不需要进行上述字典条目的同步，可以直接向接收端网络设备发送数据，接收端网络设备根据其已经具有的上述字典条目进行解压缩。

以图5的网络结构为具体实例，说明本发明实施例的字典同步方法。网络设备A、B、C是某企业的出口路由器，它们位于不同的城市，通过广域网(Wide Area Network，WAN)进行数据传输。假设C和A之间正在进行数据传输，C对传输的数据进行分段，并逐段在压缩字典中查找是否具有对应的字典条目：以其中一个分段为例，如果该分段没有对应的字典条目，C就为该分段建立一个字典条目，并分配一个索引值，设置对应的生存期等信息，并且把该字典条目的内容同步给A，以便A在接收数据时进行解压缩。C把该字典条目的同步信息字段中对应A的比特位置设为1，表示A设备上已有该字典条目。最后进行数据压缩，使用索引替换数据块。如果C上有对应的字典条目，则根据同步信息字段中的对应A的比特位置判断A上是否有该条目，如果有，就直接进行压缩，如果没有，就需要把该字典条目同步给A，并把该字典条目的同步信息字段中对应A的比特位置修改为1，最后进行数据压缩。

由于设备的存储空间有限，可以采用定时老化的机制删除字典条目：当一个字典条目超过一段时间未被使用时，将删除该条目，这是第一种删除字典条目的情况。另一种删除的情况发生在存储空间不够时，新的字典条目没有空间存储，只能把旧的字典条目删除掉。当删除字典条目时，需要通知同步信息字段中的对应的比特为1的网络设备，本端的网络设备通知对端的网络设备该字典条目已经被删除，对端的网络设备将更新字典条目中对应的比特，保持两端的一致性。上述的字典条目删除可能比较多，因此对应的同步消息也比较多，此时可以采用批量更新的方法，在一个同步过程中进行多个字典条目的同步，以减少消息数量。

本发明实施例所述方案单个设备上采用同一个压缩字典，需要利用相关的字典条目时才进行同步，减少了数据冗余；发送端网络设备在压缩时能知道接收端网络设备是否有相应的字典条目，没有的话可以在数据报文中捎带传输，避免了被动字典同步时的时延问题；不需要进行全局网络设备的字典同步，减少设备间的字典同步数据量以及存储空间，并节约了网络带宽。

对应于上述方法实施例，如图6所示，为本发明实施例一种压缩字典同步的装置结构示意图，所述装置包括：

获取单元601，用于获取压缩字典中待发送数据对应的字典条目的同步信息字段；

判断单元602，用于根据上述同步信息字段判断接收端网络设备是否具有上述字典条目；

同步单元603，用于若上述接收端网络设备不具有上述字典条目，则与上述接收端网络设备进行上述字典条目的同步，以使上述接收端网络设备接收到根据上述字典条目进行冗余数据消除压缩的上述待发送数据后，能够根据上述字典条目对经过压缩的上述待发送数据进行解压缩。

可选的，上述获取单元601，进一步用于对上述待发送数据进行分段，并在压缩字典中查找各分段是否有对应的字典条目：如果在上述压缩字典中查找到对应的字典条目，则获取上述对应的字典条目的同步信息字段。获取单元601，进一步用于如果在所述压缩字典中没有查找到对应的字典条目，则为进行分段的所述待发送数据建立新的字典条目，然后与所述接收端网络设备进行所述新的字典条目的同步，并将所述压缩字典中所述新的字典条目中的同步信息字段进行修改，使其包含所述接收端网络设备已同步所述字典条目的信息。上述同步信息字段可以为比特串，可以用上述比特串中的某一比特对应上述接收端网络设备，以表示上述接收端网络设备是否已同步上述字典条目的信息；判断单元602，进一步用于根据上述同步信息字段中的所述接收端网络设备对应的所述比特判断所述接收端网络设备是否具有所述字典条目。上述获取单元601，进一步可以用于将上述压缩字典中上述新的字典条目中的同步信息字段中的上述接收端网络设备对应的上述比特进行修改，使其包含上述接收端网络设备已同步上述字典条目的信息。

可选的，上述同步单元603，进一步可以用于通过消息交互的方式或通过在传输的数据中捎带所述字典条目的方式与上述接收端网络设备进行上述字典条目的同步。上述的字典同步可以使用专门的消息交互过程来实现，也可以在压缩后的数据中捎带，使用预定义的报文格式进行字典同步，这样对端网络设备就可以直接从压缩后的数据中提取信息生成对应字典条目。在同步时可以把整个字典条目的信息(索引、数据块、生存期、同步信息)都发送给对端的网络设备，使得两边的条目信息保持一致。

本发明实施例所述方案单个设备上采用同一个压缩字典，需要利用相关的字典条目时才进行同步，减少了数据冗余；发送端网络设备在压缩时能知道接收端网络设备是否有相应的字典条目，没有的话可以在数据报文中捎带传输，避免了被动字典同步时的时延问题；不需要进行全局网络设备的字典同步，减少设备间的字典同步数据量以及存储空间，并节约了网络带宽。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述全部或部分步骤，所述的存储介质，如：ROM/RAM、磁盘、光盘等。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种压缩字典同步的方法，其特征在于，所述方法包括：

获取压缩字典中待发送数据对应的字典条目的同步信息字段；

根据所述同步信息字段判断接收端网络设备是否具有所述字典条目；

若所述接收端网络设备不具有所述字典条目，则与所述接收端网络设备进行所述字典条目的同步，以使所述接收端网络设备接收到根据所述字典条目进行冗余数据消除压缩的所述待发送数据后，能够根据所述字典条目对经过压缩的所述待发送数据进行解压缩。

2.如权利要求1所述方法，其特征在于，所述获取压缩字典中待发送数据对应的字典条目的同步信息字段，包括：

对所述待发送数据进行分段，并在压缩字典中查找各分段是否有对应的字典条目：

如果在所述压缩字典中查找到对应的字典条目，则获取所述对应的字典条目的同步信息字段。

3.如权利要求2所述方法，其特征在于，所述获取压缩字典中待发送数据对应的字典条目的同步信息字段，还包括：

如果在所述压缩字典中没有查找到对应的字典条目，则为进行分段的所述待发送数据建立新的字典条目，然后与所述接收端网络设备进行所述新的字典条目的同步，并将所述压缩字典中所述新的字典条目中的同步信息字段进行修改，使其包含所述接收端网络设备已同步所述字典条目的信息。

4.如权利要求2或3所述方法，其特征在于，所述同步信息字段为比特串，用所述比特串中的某一比特对应所述接收端网络设备，以表示所述接收端网络设备是否已同步所述字典条目的信息；

所述根据所述同步信息字段判断接收端网络设备是否具有所述字典条目，包括：

根据所述同步信息字段中的所述接收端网络设备对应的所述比特判断所述接收端网络设备是否具有所述字典条目。

5.如权利要求3所述方法，其特征在于，所述将所述压缩字典中所述新的字典条目中的同步信息字段进行修改，使其包含所述接收端网络设备已同步所述字典条目的信息，包括：

将所述压缩字典中所述新的字典条目中的同步信息字段中的所述接收端网络设备对应的所述比特进行修改，使其包含所述接收端网络设备已同步所述字典条目的信息。

6.如权利要求1所述方法，其特征在于，所述与所述接收端网络设备进行所述字典条目的同步，包括：

通过消息交互的方式或通过在传输的数据中捎带所述字典条目的方式与所述接收端网络设备进行所述字典条目的同步。

7.一种压缩字典同步的装置，其特征在于，所述装置包括：

获取单元，用于获取压缩字典中待发送数据对应的字典条目的同步信息字段；

判断单元，用于根据所述同步信息字段判断接收端网络设备是否具有所述字典条目；

同步单元，用于若所述接收端网络设备不具有所述字典条目，则与所述接收端网络设备进行所述字典条目的同步，以使所述接收端网络设备接收到根据所述字典条目进行冗余数据消除压缩的所述待发送数据后，能够根据所述字典条目对经过压缩的所述待发送数据进行解压缩。

8.如权利要求7所述装置，其特征在于，所述获取单元，进一步用于对所述待发送数据进行分段，并在压缩字典中查找各分段是否有对应的字典条目：如果在所述压缩字典中查找到对应的字典条目，则获取所述对应的字典条目的同步信息字段。

9.如权利要求8所述装置，其特征在于，所述获取单元，进一步用于如果在所述压缩字典中没有查找到对应的字典条目，则为进行分段的所述待发送数据建立新的字典条目，然后与所述接收端网络设备进行所述新的字典条目的同步，并将所述压缩字典中所述新的字典条目中的同步信息字段进行修改，使其包含所述接收端网络设备已同步所述字典条目的信息。

10.如权利要求8或9所述装置，其特征在于，所述同步信息字段为比特串，用所述比特串中的某一比特对应所述接收端网络设备，以表示所述接收端网络设备是否已同步所述字典条目的信息；

所述判断单元，进一步用于根据所述同步信息字段中的所述接收端网络设备对应的所述比特判断所述接收端网络设备是否具有所述字典条目。

11.如权利要求9所述装置，其特征在于，所述获取单元，进一步用于将所述压缩字典中所述新的字典条目中的同步信息字段中的所述接收端网络设备对应的所述比特进行修改，使其包含所述接收端网络设备已同步所述字典条目的信息。

12.如权利要求7所述装置，其特征在于，所述同步单元，进一步用于通过消息交互的方式或通过在传输的数据中捎带所述字典条目的方式与所述接收端网络设备进行所述字典条目的同步。

Images