CN111478938B - 一种数据冗余消除方法及装置 - Google Patents

Abstract

本发明提供了一种数据冗余消除方法及装置，用于避免DRE本身加剧资源紧张，提高数据字典利用率。本发明在计算和存储资源及传输链路带宽资源在预设阈值内时，基于待传输数据生成数据字典，并主动进行数据字典和非重复数据块的同步，在实际进行待传输数据的传输时，当判定据块索引存在于数据字典中，将该数据块替换为数据块索引发送给对端。本发明能够在避免原有数据冗余消除DRE及DRE的被动数据缓存所带来的弊端，将设备的闲时带宽也加以利用进行主动的数据缓存计算和数据字典的生成，从而减轻流量较大时，数据冗余消除功能本身占用数据缓存和占用网络带宽给设备及网络传输造成压力，同时还可提高数据字典的利用率。

Description

一种数据冗余消除方法及装置

技术领域

本发明涉及通信领域，尤其涉及一种数据冗余消除方法及装置。

背景技术

广域网应用服务(Wide Area Application Services，WAAS)是能够对广域网链路流量提供优化的一种广域网技术。WAAS设备可以通过配置优化动作，改善广域网链路高延迟、低带宽的缺点。相互通信的WAAS设备在TCP连接三次握手过程中，通过TCP选项协商两端优化动作。WAAS优化动作包括：传输层流优化(Transport Flow Optimization，TFO)、数据冗余消除(Data Redundancy Elimination，DRE)和LZ压缩(Lempel-Ziv Compression，LZC)。

DRE技术用于消除网络传输中的冗余数据，该技术的基本原理是：在相互通信的WAAS设备上保存重复数据块与字典索引对应的数据字典。数据发送前首先查找字典，如果查找到该数据块的字典表项，则认为之前发送过该数据块，称为重复数据块。发送端将重复数据块替换为字典索引在广域网链路上传输。接收端通过识别字典索引，将其还原成重复数据块，以减少广域网链路传输的数据量，提高数据传输速度。用字典索引替换重复数据块的过程称为DRE压缩。用重复数据块替换字典索引的过程称为DRE解压缩。

现有DRE所采用的缓存技术属于流量驱动的被动数据缓存(Passive Data Cache，PDC)技术，此技术的缺点之一是：不能有效利用设备的闲时带宽，与之相对应的，当设备带宽紧张时，设备还需要同时缓存所需要的计算与存储等任务，增加了设备的运行压力。缺点之二是：数据字典的来源单一，仅仅将之前发送过的数据作为生成数据缓存的依据，在数据重复率较高的场景下压缩效果明显，否则数据字典的利用率低。

发明内容

本发明提供一种数据冗余消除方法及装置，用于避免DRE本身在资源紧张情况下加剧占用率，提高数据字典的利用率。

基于本发明实施，提供一种数据冗余消除方法，所述方法包括：

获取待传输数据信息；

在本端的计算和存储资源在预设阈值内时，基于待传输数据生成用于消除待传输数据冗余的数据字典，所述数据字典包含非重复数据块的数据块索引；

在传输链路带宽资源在预设阈值内时，主动进行所述数据字典和非重复数据块的同步；

在实际进行待传输数据的传输时，首先判断当前数据块的数据块索引是否存在于数据字典中，若存在则将该数据块替换为数据块索引发送给对端。

进一步地，所述方法中，通过实时监测模式或自定义模式监测本端的计算和存储资源、传输链路带宽资源是否在预设阈值内。

进一步地，所述方法中，获取待传输数据信息的方式为通过预置的预设置接口，由用户预先设定待传输数据的信息，或由业务应用系统自动调用内部接口获取待传输数据信息。

进一步地，所述方法中，基于待传输数据生成用于消除待传输数据冗余的数据字典的方法为：将待传输数据分割为固定大小的数据块，建立数据块索引，并以数据块为单位进行重复性检测，对于非重复数据块，将该数据块索引添加到数据字典中，并生成该数据块的数据摘要。

进一步地，可将所述方法应用于邮件系统，所述待传输数据为邮件箱中等待批量发送的邮件或草稿箱中的邮件草稿。

基于本发明实施例，还提供一种数据冗余消除装置，所述装置包括：

数据获取模块，用于获取待传输数据信息；

资源监测模块，用于监测本端的计算和存储资源，以及监测传输链路带宽资源；

字典生成模块，用于在本端的计算和存储资源在预设阈值内时，基于待传输数据生成用于消除待传输数据冗余的数据字典，所述数据字典包含非重复数据块的数据块索引；

数据预同步模块，用于在传输链路带宽资源在预设阈值内时，主动进行所述数据字典和非重复数据块的同步；

数据传输模块，用于在实际进行待传输数据的传输时，首先判断当前数据块的数据块索引是否存在于数据字典中，若存在则将该数据块替换为数据块索引发送给对端。

进一步地，资源监测模块通过实时监测模式或自定义模式监测本端的计算和存储资源、传输链路带宽资源是否在预设阈值内。

进一步地，所述数据获取模块获取待传输数据信息的方式为通过预置的预设置接口，由用户预先设定待传输数据的信息，或通过业务应用系统的内部接口获取待传输数据信息。

进一步地，所述字典生成模块通过如下方式生成数据字典：将待传输数据分割为固定大小的数据块，建立数据块索引，并以数据块为单位进行重复性检测，对于非重复数据块，将该数据块索引添加到数据字典中，并生成该数据块的数据摘要。

进一步地，可将所述装置应用于邮件系统，所述数据获取模块获取的待传输数据为邮件箱中等待批量发送的邮件或草稿箱中的邮件草稿。

基于以上技术方案，本发明能够在避免原有数据冗余消除DRE及DRE的被动数据缓存所带来的弊端，将设备的闲时带宽也加以利用进行主动的数据缓存计算和数据字典的生成，从而减轻流量较大时，数据冗余消除功能本身占用数据缓存和占用网络带宽给设备及网络传输造成压力，同时还可提高数据字典的利用率。

附图说明

为了更加清楚地说明本发明实施例或者现有技术中的技术方案，下面将对本发明实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本发明实施例的这些附图获得其他的附图。

图1为本发明提供的一种数据冗余消除方法的流程图；

图2为本发明一实施例提供的一种数据冗余消除设备的结构示意图；

图3为本发明一实施例提供的数据冗余消除装置的结构示意图。

具体实施方式

在本发明实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本发明实施例。本发明实施例和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。本发明中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

DRE采用被动的数据缓存方式，当由大量数据需要发送，网络带宽资源紧张的情况下，还需要付出额外的带宽、存储、计算等资源来满足DRE本身所需的资源需求，从而加重了资源紧张的状况。此外，DRE仅仅根据之前发送过的数据作为生成数据缓存的基础，导致数据字典在某些情况下利用率不高。

图1为本发明提供的一种数据冗余消除方法的流程图，本发明提供的数据冗余消除方法，能够在保留原有流量驱动生成缓存的基础上，将设备的闲时带宽也加以利用进行缓存计算和生成，减轻流量较大时数据缓存功能给设备的运行压力，同时还可提高数据字典的利用率。

在网络上传输数据通常是端到端，也可能是端到多端，因此本发明所提供的数据冗余消除方法需要两端协作才能实现。对于待传输数据的发送端来说，该方法包括如下处理过程：

步骤101.获取待传输数据信息。

步骤102.在本端的计算和存储资源在预设阈值内时，基于待传输数据生成用于消除待传输数据冗余的数据字典，所述数据字典包含非重复数据块的数据块索引。

本发明在本端计算和存储资源在预设阈值内的空闲时间，利用资源空闲时间主动进行用于消除待传输数据冗余的数据字典的生成处理，避免抢占本地计算和存储资源。

步骤103.在传输链路带宽资源在预设阈值内时，主动进行所述数据字典和非重复数据块的同步。

步骤104.在实际进行待传输数据的传输时，首先判断当前数据块的数据块索引是否存在于数据字典中，若存在则将该数据块替换为数据块索引发送给对端。

进一步地，如果在实际传输时，数据块索引未存在于数据字典中，则实时建立数据块索引并将数据块索引添加到数据字典后同步数据字典，及将数据块发送给对端。如果接收端由于某些原因无法读取数据块索引，DRE会启动判断字典有效性的机制，若判定数据字典无效，则会重新生成数据字典并再次和对端同步。

本发明在传输链路带宽资源在预设阈值内的空闲时间，主动进行数据字典和数据块的同步，以避免在传输待传输数据给对端时，抢占传输链路的链路资源，从而避免影响其他业务的传输质量。

在本发明一实施例中，通过实时监测模式或自定义模式监测本端的计算和存储资源、传输链路带宽资源是否在预设阈值内。

实时监测模式：获取资源监测进程的监测数据，基于所获取的监测数据进行实时地判断。资源监测进程可以是操作系统本身的资源监测进程，也可以是自己开发或第三方开发的资源监测程序运行后的进程。资源监测进程可对本端设备的存储资源、计算资源、广域网(Wide Area Network，W)传输链路资源的利用率进行实时监测，本发明通过获取的监测数据判断本端设备的相关资源的空闲率是否满足数据字典的生成和同步需求，当满足需求时，即可执行相应的数据字典生成或同步处理过程。为了防止数据字典生成和同步处理过程对其他更高优先级的业务产生干扰，每次数据字典生成或同步处理过程的同时启动预设的定时器，周期性的获取监测进程的监测数据，当相应资源的利用率超过预置门限时，暂停数据字典生成或同步处理过程。

自定义模式：根据整体网络的运行情况，通过定时任务的方式启动数据字典生成或数据字典同步处理过程。例如，用户可根据整体网络的运行情况，定制计划任务，通过这些计划任务来启动数据字典生成或数据字典同步处理过程，例如规定每天凌晨0点启动，到当前6点暂停。

在本发明一实施例中，获取待传输数据信息的一个方式是通过预置的预设置接口，由用户预先设定待传输数据的信息。另一个方式是由业务应用系统自动设置，例如在某些业务应用系统中，会定制一些定时数据传输任务，在这些定时任务开始之前，可由业务应用系统自动调用内部接口获取待传输数据信息。其中，带传输数据信息包括：带传输数据内容和传输所使用的传输协议，例如FTP协议、HTTP协议等。

需要说明的是，此处所述的待传输数据，不要求和最终传输的数据完全相同，因为进行数据字典同步的时候是把数据分解为数据块进行双端缓存的，因此实际传输的数据与此处预获得待传输数据有一定差异是允许的，同样可以达到本发明的技术效果。

本发明实施例中，采用数据主动缓存(Initiative Data Cache，IDC)技术来避免DRE中所采用的被动缓存技术所带来的弊端。采用IDC技术时，选择在本端计算和存储资源在预设阈值内时，基于待传输数据生成用于消除待传输数据冗余的数据字典，并在传输链路带宽资源在预设阈值内时，主动进行数据字典和数据块的同步。生成数据字典和主动进行数据字典及数据块同步的过程为：

步骤1021.在本端的计算和存储资源在预设阈值内时，将待传输数据分割为固定大小的数据块，建立数据块索引，并以数据块为单位进行重复性检测，对于非重复数据块，将该数据块索引添加到数据字典中，并生成该数据块的数据摘要。

在初始情况下，对待传输数据建立数据字典时，数据字典为空，数据字典至少包括数据块索引，数据块索引用于标识待传输数据中的数据块，非重复的数据块的索引各不相同，重复数据块的索引相同。本发明中，是以待传输数据的所有数据块的整体来生成数据索引，而不仅是基于之前发送过的数据为基础建立索引。

对于重复数据块，由于对应的数据块索引已经在数据字典中存在，所以不需要做额外处理。数据块摘要用于对数据块进行一致性检查，可以使用MD5来生成摘要，摘要在传输过程中可以视为数据块的一部分随数据块一起同步到对端。

步骤1031.在传输链路带宽资源在预设阈值内时，主动进行所述数据字典和非重复数据块的同步，将数据字典和非重复数据块。

由于数据字典的生成过程主要影响本端的计算和存储资源，而数据字典和数据块的同步主要影响网络的传输链路带宽资源，因此生成数据字典的过程可以和同步过程同时进行，也可以先完整地生成数据字典后，再进行数据字典和数据块的同步，主要视不同资源的使用情况而定。

本发明实施例，通过IDC生成的数据字典和PDC模式生成的字典在实际数据传输时使用方式基本相同。在实际进行待传输数据的传输时，在发送数据块前，首先判断该数据块的数据块索引是否存在于数据字典中，若存在则说明之前已发送过该数据块，将该数据块替换为数据块索引发送给对端。接收端通过识别字典索引，将其还原成重复数据块，以减少广域网链路传输的数据量，提高数据传输速度。

相应地，本发明另一实施例，针对接收数据的一端也提供了一种数据冗余消除方法，对于待传输数据的接收端来说，该方法包括如下处理过程：

步骤S1.接收对端发送的主动同步请求，在实际传输待传输数据之前主动进行所述待传输数据的数据字典和非重复数据块的同步；

步骤S2.在实际进行待传输数据的传输时，当对端传输的数据包中包含的是数据块索引时，基于数据块索引从本地缓存中读取该数据块索引对应的数据块。

本发明可以应用于基本预知完整的待传输内容的应用场景，例如可用于邮件系统中定时批量邮件的发送场景，特别是携带的大附件的情况下，可以将发件箱或草稿箱中的内容作为预置数据存入采用本发明的WAAS设备中，设备利用闲时资源进行主动缓存，用户最终需要发送的数据必然有一部分是与发件箱或草稿箱中内容相同的，那么此部分数据在实际发送时就可以直接以字典索引的形式发送了，既减轻了设备的运行压力，同时优化了压缩效果，提升了用户体验。

图2本发明一实施例提供的一种数据冗余消除设备的结构示意图，该设备包括：诸如中央处理单元(CPU)的处理器201、内部总线202、网络接口203以及非暂时性存储介质204。其中，处理器201、网络接口203以及非暂时性存储介质204可以通过内部总线202相互通信。非暂时性存储介质204可存储有实现本发明提供的数据冗余消除方法的可执行指令。基于本发明提供的数据冗余消除方法，本发明一实施例还提供了一种数据冗余消除装置300，该数据冗余消除装置300的各组成单元所实现的功能分别与本发明提供的数据冗余消除方法的步骤对应。处理器201读取并执行非暂时性存储介质204中存储的数据冗余消除装置300所对应的机器可执行指令，即可实现本发明提供的数据冗余消除方法的步骤及功能。

图3为本发明一实施例提供的数据冗余消除装置300的结构示意图，该数据冗余消除装置300包括：

数据获取模块301，用于获取待传输数据信息；

资源监测模块302，用于监测本端的计算和存储资源，以及监测传输链路带宽资源；

字典生成模块303，用于在本端的计算和存储资源在预设阈值内时，基于待传输数据生成用于消除待传输数据冗余的数据字典，所述数据字典包含非重复数据块的数据块索引；

数据预同步模块304，用于在传输链路带宽资源在预设阈值内时，主动进行所述数据字典和非重复数据块的同步；

数据传输模块305，用于在实际进行待传输数据的传输时，首先判断当前数据块的数据块索引是否存在于数据字典中，若存在则将该数据块替换为数据块索引发送给对端。

资源监测模块302可通过实时监测模式或自定义模式监测本端的计算和存储资源、传输链路带宽资源是否在预设阈值内。

数据获取模块301获取待传输数据信息的方式为：通过预置的预设置接口，由用户预先设定待传输数据的信息，或通过业务应用系统的内部接口获取待传输数据信息。

字典生成模块303通过如下方式生成数据字典：将待传输数据分割为固定大小的数据块，建立数据块索引，并以数据块为单位进行重复性检测，对于非重复数据块，将该数据块索引添加到数据字典中，并生成该数据块的数据摘要。

将所述数据冗余消除设备200或数据冗余消除装置300应用于邮件系统中，以利用资源空闲期间进行主动地缓存数据，从而减轻邮件系统运行压力，优化压缩效果，提升了用户体验。其中获取模块301获取的待传输数据为邮件箱中等待批量发送的邮件或草稿箱中的邮件草稿。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种数据冗余消除方法，其特征在于，所述方法包括：

获取待传输数据信息；

在本端的计算和存储资源在预设阈值内时，基于待传输数据生成用于消除待传输数据冗余的数据字典，所述数据字典包含非重复数据块的数据块索引；

在传输链路带宽资源在预设阈值内时，主动进行所述数据字典和非重复数据块的同步；

在实际进行待传输数据的传输时，首先判断当前数据块的数据块索引是否存在于数据字典中，若存在则将该数据块替换为数据块索引发送给对端。

2.根据权利要求1所述的方法，其特征在于，通过实时监测模式或自定义模式监测本端的计算和存储资源、传输链路带宽资源是否在预设阈值内。

3.根据权利要求1所述的方法，其特征在于，所述获取待传输数据信息的方式为通过预置的预设置接口，由用户预先设定待传输数据的信息，或由业务应用系统自动调用内部接口获取待传输数据信息。

4.根据权利要求1所述的方法，其特征在于，所述基于待传输数据生成用于消除待传输数据冗余的数据字典的方法为：

将待传输数据分割为固定大小的数据块，建立数据块索引，并以数据块为单位进行重复性检测，对于非重复数据块，将该数据块索引添加到数据字典中，并生成该数据块的数据摘要。

5.根据权利要求1所述的方法，其特征在于，将所述方法应用于邮件系统，所述待传输数据为邮件箱中等待批量发送的邮件或草稿箱中的邮件草稿。

6.一种数据冗余消除装置，其特征在于，所述装置包括：

数据获取模块，用于获取待传输数据信息；

资源监测模块，用于监测本端的计算和存储资源，以及监测传输链路带宽资源；

字典生成模块，用于在本端的计算和存储资源在预设阈值内时，基于待传输数据生成用于消除待传输数据冗余的数据字典，所述数据字典包含非重复数据块的数据块索引；

数据预同步模块，用于在传输链路带宽资源在预设阈值内时，主动进行所述数据字典和非重复数据块的同步；

数据传输模块，用于在实际进行待传输数据的传输时，首先判断当前数据块的数据块索引是否存在于数据字典中，若存在则将该数据块替换为数据块索引发送给对端。

7.根据权利要求6所述的装置，其特征在于，

所述资源监测模块通过实时监测模式或自定义模式监测本端的计算和存储资源、传输链路带宽资源是否在预设阈值内。

8.根据权利要求6所述的装置，其特征在于，

所述数据获取模块获取待传输数据信息的方式为通过预置的预设置接口，由用户预先设定待传输数据的信息，或通过业务应用系统的内部接口获取待传输数据信息。

9.根据权利要求6所述的装置，其特征在于，所述字典生成模块通过如下方式生成数据字典：

将待传输数据分割为固定大小的数据块，建立数据块索引，并以数据块为单位进行重复性检测，对于非重复数据块，将该数据块索引添加到数据字典中，并生成该数据块的数据摘要。

10.根据权利要求6所述的装置，其特征在于，将所述装置应用于邮件系统，所述数据获取模块获取的待传输数据为邮件箱中等待批量发送的邮件或草稿箱中的邮件草稿。

Images