CN111464635A

CN111464635A - 一种字典索引传输方法及装置

Info

Publication number: CN111464635A
Application number: CN202010246335.7A
Authority: CN
Inventors: 张洪硕
Original assignee: New H3C Security Technologies Co Ltd
Current assignee: New H3C Security Technologies Co Ltd
Priority date: 2020-03-31
Filing date: 2020-03-31
Publication date: 2020-07-28
Anticipated expiration: 2040-03-31
Also published as: CN111464635B

Abstract

本发明提供了一种字典索引传输方法及装置，用于提高DRE技术中字典索引的传输效率。本发明在进行批量的重复数据块的传输时，采用索引组对待传输到接收端的多个字典索引进行打包压缩，接收端对打包压缩的字典索引进行解压缩还原出原始数据。本发明针对使用广域网应用服务WAAS的DRE技术进行了改进，将待传输的多个数据块的字典索引进行压缩传输，从而提高网络传输带宽的利用率。

Description

一种字典索引传输方法及装置

技术领域

本发明涉及通信领域，尤其涉及一种字典索引传输方法及装置。

背景技术

广域网应用服务(Wide Area Application Services，WAAS)是能够对广域网链路流量提供优化的一种广域网技术。WAAS设备可以通过配置优化动作，改善广域网链路高延迟、低带宽的缺点。相互通信的WAAS设备在TCP连接三次握手过程中，通过TCP选项协商两端优化动作。WAAS优化动作包括：传输层流优化(Transport Flow Optimization，TFO)、数据冗余消除(Data Redundancy Elimination，DRE)和LZ压缩(Lempel-Ziv Compression，LZC)。

DRE技术用于消除网络传输中的冗余数据，该技术的基本原理是：在相互通信的WAAS设备上保存重复数据块与字典索引对应的数据字典。数据发送前首先查找字典，如果查找到该数据块的字典表项，则认为之前发送过该数据块，称为重复数据块。发送端将重复数据块替换为字典索引在广域网链路上传输。接收端通过识别字典索引，将其还原成重复数据块，以减少广域网链路传输的数据量，提高数据传输速度。用字典索引替换重复数据块的过程称为DRE压缩。用重复数据块替换字典索引的过程称为DRE解压缩。

在相互通信的WAAS设备上保存重复数据块及用于实现DRE的数据字典，数据字典中的表项与重复数据块一一对应，数据字典中的字典索引用于唯一标识一个重复数据块。发送端发送数据块之前，首先查找数据字典，如果查找到该数据块的字典表项，则认为之前发送过该数据块，称为重复数据块。发送端将重复数据块替换为字典索引，并生成该数据块的MD5摘要，把字典索引和MD5摘要信息发送至接收端。接收端通过识别字典索引，将其还原成重复数据块，以减少广域网链路传输的数据量，提高数据传输速度。用字典索引替换重复数据块的过程称为DRE压缩，用重复数据块替换字典索引的过程称为DRE解压缩。然而，现有DRE技术的数据压缩效率不高，尤其是大数据量传输的情况下，字典索引的传输方式效率不高，对传输带宽造成一定浪费。

发明内容

本发明提供一种字典索引传输方法及装置，用于提高DRE技术中字典索引的传输效率，避免网络带宽的浪费。

基于本发明实施，提供一种字典索引传输方法方法，该方法应用于广域网应用服务WAAS发送端设备，该方法包括：

发送数据块之前，判断所述数据块是否为重复数据块；

当判定所述数据块为重复数据块时，判断是否已建立索引组，所述索引组用于打包压缩多个字典索引；

若未建立索引组，则建立索引组并将所述数据块对应的字典索引存入所述索引组；若已建立索引组，则将所述数据块对应的字典索引存入所述索引组；

判断索引组是否超过预设尺寸；

若判定索引组超过预设尺寸，则将索引组传输给接收端并删除当前索引组；

若判定索引组未超过预设尺寸，则判断后续是否还有新的数据块传输；

如果判定还有待传输的数据块，则执行判断后续数据块是否为重复数据块的步骤；

如果判定没有待传输的数据块，则将索引组传输给接收端并在本地删除当前索引组。

进一步地，在判定所述数据块为重复数据块后，判断是否已建立索引组之前，所述方法还包括：

判断所述数据块的是否在数据字典中匹配到字典索引，如果未匹配到字典索引，则生成所述数据块的字典索引，并执行数据字典及相应数据块的同步。

进一步地，所述索引组包括起始索引值、终止索引值和序列表三个字段，其中，起始索引值为添加到索引组中的最小的字典索引的索引值，终止索引值为添加到索引组中的最大的字典索引的索引值；序列表包括排序标志位和偏移量排序字段，排序标志位用于指示是否对索引组中索引值进行排序，偏移量排序字段以起始索引值为基准，采用索引组内添加的索引值与起始索引值的差值作为排序依据对索引组内的索引值进行排序，记录索引组所包括的索引值和排序顺序。

进一步地，在将所述索引组发送给接收端之前，所述方法还包括：对索引组进行正确性检查，若通过正确性检查，则发送索引组，若未通过正确性检查，则重新建立索引组。

基于本发明实施例，本发明还提供一种字典索引传输装置，所述装置应用于广域网应用服务WAAS发送端设备中，该装置包括：

重复判定模块，用于在发送数据块之前，判断所述数据块是否为重复数据块；

索引组建立模块，用于在判定所述数据块为重复数据块时，判断是否已建立索引组，若未建立索引组，则建立索引组，所述索引组用于打包压缩多个字典索引；

索引添加模块，用于将重复数据块的字典索引存入所述索引组；

容量处理模块，用于判断索引组是否超过预设尺寸；若判定索引组超过预设尺寸，则通知索引组传输模块将索引组传输给接收端并删除当前索引组；若判定索引组未超过预设尺寸，则通知余量判断模块判断后续是否还有新的数据块传输；

索引组传输模块，用于将索引组传输给接收端并删除当前索引组；

余量判断模块，用于判断后续是否还有新的数据块传输，如果判定还有待传输的数据块，则通知所述重复判定模块执行判断后续数据块是否为重复数据块的步骤；如果判定没有待传输的数据块，则通知索引组传输模块将索引组传输给接收端并在本地删除当前索引组。

进一步地，所述装置还包括：同步模块，用于在判定所述数据块为重复数据块后，判断是否已建立索引组之前，判断所述数据块的是否在数据字典中匹配到字典索引，如果未匹配到字典索引，则生成所述数据块的字典索引，并执行数据字典及相应数据块的同步。

进一步地，所述索引组包括起始索引值、终止索引值和序列表三个字段，其中，起始索引值为添加到索引组中的最小的字典索引的索引值，终止索引值为添加到索引组中的最大的字典索引的索引值；序列表包括排序标志位和偏移量排序字段，排序标志位用于指示是否对索引组中索引值进行排序，偏移量排序字段以起始索引值为基准，所述索引添加模块采用索引组内添加的索引值与起始索引值的差值作为排序依据对索引组内的索引值进行排序，记录索引组所包括的索引值和排序顺序。

进一步地，在索引组传输模块将所述索引组发送给接收端之前，还用于对索引组进行正确性检查，若通过正确性检查，则发送索引组，若未通过正确性检查，则通知所述索引组建立模块重新建立索引组。

基于以上技术方案，本发明针对使用广域网应用服务WAAS的DRE技术进行了改进，将待传输的多个数据块的字典索引进行压缩传输，从而提高网络传输带宽的利用率。

附图说明

为了更加清楚地说明本发明实施例或者现有技术中的技术方案，下面将对本发明实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本发明实施例的这些附图获得其他的附图。

图1为本发明提供的一种字典索引传输方法的流程图；

图2为本发明一实施例提供的一种字典索引传输设备的结构示意图；

图3为本发明一实施例提供的一种字典索引传输装置的结构示意图。

具体实施方式

在本发明实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本发明实施例。本发明实施例和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。本发明中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在相互通信的WAAS设备上，数据发送端发送数据块之前，首先查找数据字典，如果在数据字典中查找到该数据块对应的字典索引，说明之前发送过该数据块，该数据块为重复数据块。在某些网络传输业务场景中，可能会有大量重复的数据块，如果一个一个传输这些重复数据块的字典索引，传输的效率不高，会浪费一定网络带宽。为解决该技术问题，本发明对WAAS设备采用DRE技术进行数据传输的过程进行了改进，提供了一种字典索引传输方法，图1为本发明实施例提供的一种字典索引传输方法流程图，该方法包括：

步骤101.发送数据块之前，判断所述数据块是否为重复数据块？

WAAS设备采用的DRE技术采用被动数据缓存方式，在发送数据的过程中建立用于DRE压缩的数据字典，数据字典中存储重复数据块的字典索引，接收端和发送端同步数据字典和重复数据块及重复数据块的MD5摘要。发送端在发送数据块之前，首先检测当前要发送的数据块是否为重复数据块，如果是重复数据块则需要将该数据块替换为对应的字典索引发送到接收端。本发明在检测到有重复数据块时，不马上进行字典索引的替换及传输操作，而是尝试建立用于压缩传输字典索引的索引组，以提高字典索引的传输效率。

若当前数据块未匹配到数据字典中的字典索引，需要在两端进行数据字典及相应数据块的同步，这时需要创建新的字典索引，在数据字典同步后，也需要进行判断索引组是否已创建的步骤，处理分支同步骤102。

步骤102.当判定所述数据块为重复数据块时，判断是否已建立索引组？所述索引组用于打包压缩多个字典索引。

本发明提供的索引组用于压缩字典索引，其数据结构可包括三个字段，分别为起始索引值、终止索引值和序列表，其中起始索引值为添加到索引组中的重复数据块的字典索引中索引值最小的索引值，终止索引值为添加到索引组中重复数据块的字典索引中索引值最大的索引值。序列表包括两个字段，第一字段为排序标志位，用于指示是否对索引组中索引值进行排序，例如以1比特位0和1来区分不排序和排序两种情况，第二字段为偏移量排序字段，该字段以起始索引值为基准，采用索引组内添加的索引值与起始索引值的差值作为排序依据对索引组内的索引值进行排序，记录索引组所包括的索引值和排序顺序。例如，索引组中起始索引值为100，终止索引值为200，则索引值100在偏移量排序地段中对应的偏移量即为0，索引值108的偏移量即为8，通过排序字段可进一步压缩非连续多个字典索引的数据传输量。

步骤103.若未建立索引组，则建立索引组并将所述数据块对应的字典索引存入所述索引组。

步骤104.若已建立索引组，则将所述数据块对应的字典索引存入所述索引组。

如果需要对索引值进行排序，则该步骤中会在添加字典索引的同时对索引组中的序列表进行更新，以反映最新的排序结果。

步骤105.判断索引组是否超过预设尺寸？

步骤106.若判定索引组超过预设尺寸，则将索引组传输给接收端并删除当前索引组。

为了对区分每次建立的索引组，可为每次建立的索引组分配唯一标识，用于双方检测所接收到的索引组是否重复。

发送端在索引组达到或超过预设的尺寸，例如1兆字节时，停止向索引组中继续添加字典索引，并立即将当前的索引组发送给接收端，当索引组发送完后，需要在本地将当前索引组标识已处理或删除，并在下次判断到由新的重复数据块时，建立新的索引组。

步骤107.若判定索引组未超过预设尺寸，则判断后续是否还有新的数据块传输？

步骤108.如果判定还有待传输的数据块，则再次执行步骤101。

步骤109.如果判定没有待传输的数据块了，则将索引组传输给接收端并在本地删除当前索引组。

向索引组停止添加新的重复数据块的一个条件为判定后续没有待传输的数据块了，这说明发送端已发送完要发送的数据了，即一次完整的数据传输过程已经结束。

本发明另一实施例中，在将索引组发送给接收端之前，还包括：对索引组进行正确性检查，若通过正确性检查，则发送索引组，若未通过正确性检查，则再次基于前述步骤重新建立索引组或不再进行字典索引的压缩直接逐一传送产生错误的索引组。所述正确性检查主要指数据格式正确性的检查，例如索引组数据格式是否正确；索引组包括序列表的情况下，判断序列表中偏移量是否在起始索引值和终止索引值的之差+1的范围内等。

以下举例说明采用索引组方式进行字典索引传输的技术效果，假设设备上最多可以有256个字典索引，则数据字典索引值需要使用8bit表示，如果当前需要传输16个连续的索引值(240～255)，使用原有方式传输，16个索引值顺序排列，共计8*16＝128bits。若使用索引组传输，如果不需要重新排序，数据结构如表1所示，共需17比特位。

表1

起始索引值占8bits，终止索引值占8bits，排序标志位占1bits，共17比特位。

如果需要排序，那么每个偏移量需要占用4比特位(因为一共16个索引值)，则数据结构如表2所示，共需81比特位。

起始索引值	终止索引值	排序标志位	偏移量排序字段
				240	255	1(不排序)	16个偏移量

起始索引值占8bits，终止索引值占8bits，排序标志位占1bits，序列表字段占4*16＝64bits，共81比特位。

相比于原有DRE数据字典的字典索引的传输方式，所占用字节数大幅减少。

相对应地，接收端在接收到发送端发送的采用本发明提供的字典索引传输方法传送的字典索引时，需要根据索引组的结构按顺序还原出重复数据块的字典索引，根据字典索引读取本地缓存的重复数据块，从而还原出发送端发送原始数据。

图2本发明一实施例提供的一种字典索引传输设备的结构示意图，该设备包括：诸如中央处理单元(CPU)的处理器201、内部总线202、网络接口203以及非暂时性存储介质204。其中，处理器201、网络接口203以及非暂时性存储介质204可以通过内部总线202相互通信。非暂时性存储介质204可存储有实现本发明提供的字典索引传输方法的机器可执行指令。基于本发明提供的字典索引传输方法，本发明一实施例还提供了一种字典索引传输装置300，该字典索引传输装置300的各组成单元所实现的功能分别与本发明提供的字典索引传输方法的步骤对应。处理器201读取并执行非暂时性存储介质204中存储的字典索引传输装置300所对应的机器可执行指令，即可实现本发明提供的字典索引传输方法的步骤及功能。

图3为本发明一实施例提供的字典索引传输装置300的结构示意图，该装置应用于广域网应用服务WAAS发送端设备中，该装置包括：

重复判定模块301，用于在发送数据块之前，判断所述数据块是否为重复数据块；

索引组建立模块302，用于在判定所述数据块为重复数据块时，判断是否已建立索引组，若未建立索引组，则建立索引组，所述索引组用于打包压缩多个字典索引；

索引添加模块303，用于将重复数据块的字典索引存入所述索引组；

容量处理模块304，用于判断索引组是否超过预设尺寸；若判定索引组超过预设尺寸，则通知索引组传输模块将索引组传输给接收端并删除当前索引组；若判定索引组未超过预设尺寸，则通知余量判断模块判断后续是否还有新的数据块传输；

索引组传输模块305，用于将索引组传输给接收端并删除当前索引组；

余量判断模块306，用于判断后续是否还有新的数据块传输，如果判定还有待传输的数据块，则通知所述重复判定模块执行判断后续数据块是否为重复数据块的步骤；如果判定没有待传输的数据块，则通知索引组传输模块将索引组传输给接收端并在本地删除当前索引组。

进一步地，所述装置还包括同步模块，用于在判定所述数据块为重复数据块后，判断是否已建立索引组之前，判断所述数据块的是否在数据字典中匹配到字典索引，如果未匹配到字典索引，则生成所述数据块的字典索引，并执行数据字典及相应数据块的同步。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims

1.一种字典索引传输方法，其特征在于，所述方法应用于广域网应用服务WAAS发送端设备，该方法包括：

发送数据块之前，判断所述数据块是否为重复数据块；

判断索引组是否超过预设尺寸；

2.根据权利要求1所述的方法，其特征在于，在判定所述数据块为重复数据块后，判断是否已建立索引组之前，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，

所述索引组包括起始索引值、终止索引值和序列表三个字段，其中，起始索引值为添加到索引组中的最小的字典索引的索引值，终止索引值为添加到索引组中的最大的字典索引的索引值；序列表包括排序标志位和偏移量排序字段，排序标志位用于指示是否对索引组中索引值进行排序，偏移量排序字段以起始索引值为基准，采用索引组内添加的索引值与起始索引值的差值作为排序依据对索引组内的索引值进行排序，记录索引组所包括的索引值和排序顺序。

4.根据权利要求1所述的方法，其特征在于，在将所述索引组发送给接收端之前，所述方法还包括：对索引组进行正确性检查，若通过正确性检查，则发送索引组，若未通过正确性检查，则重新建立索引组。

5.一种字典索引传输装置，其特征在于，所述装置应用于广域网应用服务WAAS发送端设备中，该装置包括：

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

同步模块，用于在判定所述数据块为重复数据块后，判断是否已建立索引组之前，判断所述数据块的是否在数据字典中匹配到字典索引，如果未匹配到字典索引，则生成所述数据块的字典索引，并执行数据字典及相应数据块的同步。

7.根据权利要求5所述的装置，其特征在于，

所述索引组包括起始索引值、终止索引值和序列表三个字段，其中，起始索引值为添加到索引组中的最小的字典索引的索引值，终止索引值为添加到索引组中的最大的字典索引的索引值；序列表包括排序标志位和偏移量排序字段，排序标志位用于指示是否对索引组中索引值进行排序，偏移量排序字段以起始索引值为基准，所述索引添加模块采用索引组内添加的索引值与起始索引值的差值作为排序依据对索引组内的索引值进行排序，记录索引组所包括的索引值和排序顺序。

8.根据权利要求5所述的装置，其特征在于，在索引组传输模块将所述索引组发送给接收端之前，还用于对索引组进行正确性检查，若通过正确性检查，则发送索引组，若未通过正确性检查，则通知所述索引组建立模块重新建立索引组。