CN104350488A

CN104350488A - 用于资源受限主机的选择性数据冗余消除的系统和方法

Info

Publication number: CN104350488A
Application number: CN201380015285.XA
Authority: CN
Inventors: 张艳; 尼曼·安萨里; 吴明权; 虹·希瑟·郁
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2012-04-04
Filing date: 2013-04-04
Publication date: 2015-02-11
Also published as: WO2013152229A3; EP2834753A2; WO2013152229A2; EP2834753A4; US20130265869A1; EP2834753B1; WO2013152229A8

Abstract

提供了用于选择性数据冗余消除的系统和方法实施例。在实施例中，所述方法包括在传输点处接收包含内容的传入数据包，其中所述内容包括内容类型；当所述内容类型匹配选择性数据冗余消除类型时，使用所述传输点将冗余数据元素从所述数据包中消除；以及当所述内容类型匹配绕过-消除类型时，使用所述传输点绕过选择性数据冗余消除。

Description

用于资源受限主机的选择性数据冗余消除的系统和方法

技术领域

本发明涉及一种用于数据冗余消除的系统和方法，以及在具体实施例中，涉及一种用于资源受限主机的选择性数据冗余消除的系统和方法。

背景技术

当前信息技术(IT)组织往往在广域网(WAN)地理上部署其基础设施来提高生产效率，支持全球协作以及最大限度地降低成本，从而构成了当前以WAN为中心的环境。与局域网(LAN)相比，WAN通常是一种覆盖了广阔区域的电信网络；WAN可跨越都市、地区和/或国家边界连接。传统的以LAN为导向的基础设施不足以支持高应用性能、低成本的全球协作。由于WAN的高时延和高丢包率等内在本质，在WAN上部署应用通常会导致性能下降。LAN中不常遇到的很多因素可以迅速导致跨WAN运行的应用性能下降。

提升WAN速度的需求刺激了WAN上的应用性能的改善。WAN优化，通常也被称为WAN加速，大体描述了WAN上的应用性能的提升。WAN加速旨在提供对远程数据(例如文件和视频)的高性能访问。已提出了多种WAN加速技术。一些技术着重于最大限度地提高带宽利用率，其他技术着重于解决延迟问题，还有一些技术着重于解决协议的低效率问题，该低效率问题阻碍了跨WAN的数据包的有效传递。数据压缩降低了在WAN传输期间链路上消耗的带宽量，也可以通过减少传输的数据量来减少特定数据遍历WAN的传输时间。数据冗余消除(DRE)，也称为数据去重，是一种数据精简技术，是数据压缩的衍生。数据压缩通过消除对象内包含的冗余数据来缩减文件大小，而DRE可以识别和消除对象间和对象内复制的数据元素(例如整个文件和数据块)来减少待传输或存储的数据量。当检测到相同数据元素的多个实例时，仅传输或存储该数据元素一个副本。冗余数据元素替换为唯一数据副本的引用或指针。

基于算法粒度，DRE算法可以分为三类：整个文件散列(whole file hashing)、子文件散列(sub-file hashing)和增量编码(delta encoding)。传统DRE，例如网络缓存在应用层操作来消除冗余数据传输。随着互联网中网络流量的快速增长，已基于不同的分块和取样方法部署了对单个数据包进行操作的DRE技术。包级冗余消除识别并消除了所有数据包的冗余数据块。如果在服务提供商的接入链路或路由器之间部署包级冗余消除技术，可以平均节省15％至60％的带宽。

发明内容

根据实施例，一种用于选择性数据冗余消除的方法包括在传输点处接收包含内容的传入数据包，其中所述内容包括内容类型；当所述内容类型匹配选择性冗余消除类型时，使用所述传输点将冗余数据元素从所述数据包中消除；以及当所述内容类型匹配绕过-消除类型时，使用所述传输点绕过选择性冗余消除。

根据另一实施例，一种用于选择性数据冗余消除的网络部件包括处理器以及计算机可读存储介质，所述计算机可读存储介质存储由所述处理器执行的程序，所述程序包括如下指令：接收包含内容的传入数据包，其中所述内容包括内容类型；当所述内容类型匹配选择性冗余消除类型时，将冗余数据元素从所述数据包中消除；以及当所述内容类型匹配绕过-消除类型时，绕过选择性冗余消除。

根据另一实施例，一种用于选择性数据冗余消除(SDRE)的系统包括SDRE管理器，用于维护端到端SDRE列表；包分类器，用于对内容类型的传入数据包进行分类；包缓存管理器，用于在包缓存中存储数据包；以及端到端SDRE模块，用于将冗余元素从数据包中消除，所述数据包的内容类型与用于执行数据冗余消除(DRE)过程的类型相匹配，其中内容类型与用于进行SDRE的类型不匹配的数据包在不执行所述DRE过程的情况下被转发到末端节点。

附图说明

为了更完整地理解本发明及其优点，现在参考以下结合附图进行的描述，其中：

图1示出了用于传输数据的网络；

图2示出了SDRE管理器的实施例；

图3示出了选择性数据冗余消除方法300；

图4为示出了对于不同智能手机流量跟踪和不同大小的数据包存储缓存(从100MB到1MB)SDRE相对DRE的带宽节约率的图400；以及

图5是可用于实施各种实施例的处理系统。

具体实施方式

下文将详细论述当前优选实施例的制作和使用。然而，应了解，本发明提供可在各种具体上下文中体现的许多适用的发明性概念。所论述的具体实施例仅仅说明用以实施和使用本发明的具体方式，而不限制本发明的范围。

数据冗余消除(DRE)通过识别及消除对象内和对象间复制的数据元素来减少待传输或存储的数据。在终端主机部署DRE最大限度地节约带宽，因为发送到目标主机的内容量被减至最小。但是，就存储和处理能力而言，特别是在资源受限的主机上，用于识别冗余内容块的标准DRE非常昂贵。通过分析网络应用流量跟踪，已经确定一些类型的内容的冗余内容比其他类型的多，例如文本的冗余数据元素比视频的多，因为视频通常以压缩格式存储，所以视频内几乎无冗余数据块。因此，选择性地并且适时地在比其他内容类型具有更多的冗余数据元素的内容上应用DRE来节省主机处的存储和处理资源，这一做法是有可能的。

实施例提供了基于内容类型的选择性DRE(SDRE)，其选择性地在具有最多冗余内容识别机会的内容上部署DRE。实施例SDRE利用更少的计算资源和更高的存储利用率实现了与标准DRE几乎相同的带宽节省。带宽节省的缩减通常是由于SDRE没有识别出从源传输到目标的所有内容中的冗余内容。

实施例提供了基于内容类型的选择性数据冗余消除(SDRE)，SDRE在具有最多冗余内容识别机会的内容上选择性地部署DRE，以便资源受限主机节省计算和存储资源。实施例减少了WAN应用的数据传输，并且使用更少的计算功率和存储实现了几乎相同的性能。实施例可应用于WAN系统和设备，例如WAN优化控制器以及应用交付控制器。

图1示出了用于传输数据的网络100。网络100包括多个具有覆盖区域112的接入点(AP)110、多个用户设备(UE)120、网络130以及多个源节点140。本文所用的术语“AP”还可称为传输点(TP)、基站(BS)或基站收发信台(BTS)，这些术语可在本发明中互换使用。这些覆盖区域112表示每个AP110很好地传输数据的范围，相邻AP110的覆盖区域可能具有一些重叠114以适应每当UE120退出一个覆盖区域112并进入相邻覆盖区域112时AP110之间的切换。AP110可包括尤其能够通过与UE120建立上行(虚线)和/或下行(点线)连接提供无线接入的任意部件，例如基站收发信台(BTS)、增强基站(eNB)、毫微微小区以及其他启用无线的设备。UE120可包括能够与AP110建立无线连接的任意部件。例如，UE120可为智能手机、笔记本电脑、平板电脑、无线电话等。UE120还可称为无线设备、移动设备或无线移动设备。网络130可包括回程网络、互联网、内网、广域网(WAN)和/或局域网(LAN)。网络130可为允许数据在AP110和源节点140之间进行交换的任意部件或各部件的任意集合。在一些实施例中，网络100可包括各种其他无线设备，例如中继器、毫微微小区等。源节点140可向UE120提供内容(例如文本、图片、音频、视频、应用)。

AP110可将从源节点140接收的数据包转发到合适的UE120(例如目标节点)。数据包可包括视频、音频、文本、图片、图像、应用或控制包。AP110可分析数据包并确定内容类型。基于内容类型，AP110可在内容上执行DRE，或者如果内容所属类型不太可能具有冗余，可在不执行DRE的情况下将内容传送到UE120上。例如，视频、音频和图像不太可能包含冗余数据。因此，这些数据包可在不执行DRE的情况下转发到合适的UE120上，从而降低AP110的处理成本。其他数据包(例如包含文本的数据包)很有可能包含冗余数据，可在这些数据包上执行DRE，从而减少流量并提高带宽。因此，AP110可进行选择性DRE(SDRE)。

SDRE通常为包级基于内容类型的端到端数据冗余消除技术，该技术在具有最多冗余内容识别机会的内容上选择性地部署DRE。图2示出了SDRE管理器200的实施例。SDRE管理器200可在图1所绘的任意AP110中实施。如图2所示，SDRE管理器200包括包分类器202、DRE包缓存管理器204以及多个端到端SDRE模块206，这些模块根据端到端流量动态创建和终止。

包分类器202根据TCP流元组维护内容类型表，该表由源IP地址、源端口、目标IP地址以及目标端口组成。对于通过网络应用的TCP连接从源传输到目标的任意内容，应当在内容递送前先传输HTTP头。因此，包分类器202可以通过识别HTTP头中的“内容类型(CONTENT-TYPE)”HTTP字段对以下内容包的内容类型进行分类。

DRE包缓存管理器204为端到端DRE技术中的另一部件，该管理器对资源受限主机而言是有用的，因为内容源连接多个终端用户并且每个终端用户同时连接到多个内容源，同时限制了用于冗余消除的包缓存大小。包缓存管理算法提高了DRE技术的有效性。包缓存可以在所有主机到主机的连接之间均分，但是这可能降低包缓存的利用率和DRE的有效性，因为相较于其他主机到主机的连接，某些主机到主机的连接可传输更多内容。因此，相较于基于连接的缓存分配，基于流量的包缓存分配对于端到端DRE技术而言可以是一种更有效的方法。

SDRE模块为将冗余元素从包中消除的部件。SDRE模块的开始和终止由SDRE管理器控制，该管理器维护端到端SDRE列表。当SDRE管理器检测到新源IP地址时，在端到端SDRE列表中插入新记录。当源已完成所有内容传输时，SDRE管理器将其记录从端到端SDRE列表中移除。

图3示出了选择性数据冗余消除方法300。方法300可开始于方框302，其中当新包到达时，SDRE管理器首先对照端到端SDRE列表检查其源IP地址。如果在方框302处不存在匹配的记录(例如，如果是来自新源的数据包)，新记录将会插入端到端SDRE列表。同时，如果内容类型属于绕过冗余消除类型中的一种，创建新的端到端SDRE模块并且将包缓存中的一些空间分配给该新模块。否则，将不创建端到端SDRE模块并且不为该源到目标的连接分配DRE包缓存，直至终端用户接收了一个包含不属于所有绕过冗余消除类型的净荷的包。随后，在方框306处，对已终止的源到目标连接进行检查并将这些连接从列表中移除。

如果在方框308处，包净荷长度小于拉宾滑动窗口的大小，包净荷绕过绕过冗余消除流程；否则，包净荷根据其源IP地址传送到一个SDRE模块。对于每个传送到SDRE模块的抵达包，在方框310处，确定该包是否包含HTTP头并且如果该包包含完整或部分HTTP头，是否将该包分类为HTTP头包；否则，该包分类为HTTP内容包。如果在方框310处，该包包含HTTP头包，方法300前进到方框312，其中过滤出HTTP字段“CONTENT-TYPE”并且字段值用于包内容分类。在方框314处，识别抵达报文的内容类型。如果，在方框316处，抵达报文的内容类型属于SDRE消除类型中的一种，抵达报文绕过冗余消除；否则，在方框318处，识别并根据DRE包缓存消除抵达报文中的冗余数据元素，在方框318之后，方法300可结束。

已调查在智能手机流量跟踪上部署SDRE的益处。首先，收集七个用户的七种智能手机3G流量跟踪并用于SDRE评估。每个用户使用各自的智能手机正常访问因特网，并且网络应用流量自动记录到文件中。记录每个用户至少七天的网络应用流量。

网络流量的主要部分通常为文本、图像、视频、音频和应用。网络应用中还使用其他类型的内容，例如消息、模型和分片对象，但是它们仅构成整个网络流量的一小部分。根据这七种流量跟踪的内容类型划分流量，如下表I所示：

表I：智能流量跟踪划分

跟踪

流量

文本

图像

视频

音频

应用

1

39.7MB

19％

10％

39％

0

32％

2

23.7MB

38％

19％

0

43％

3

61.9MB

23％

9％

0

42％

26％

4

24.4MB

29％

35％

10％

0

26％

5

24.4MB

33％

16％

7％

0

44％

6

27.9MB

34％

27％

0％

0

39％

7

52.7MB

21％

25％

3％

0

51％

所记录的这七个用户的总流量在20到60MB之间。在这七种流量跟踪中，文本、图像以及应用类型的内容分别构成总流量的19％至38％、9％至35％以及26％至51％。在这七个用户之间，只有一人(跟踪1)曾使用其智能手机观看了大量的视频内容。视频内容构成了该跟踪记录中总流量的39％。其他六人很少使用各自的智能手机在线观看视频。仅一人收听过一些音频内容(跟踪3)，这占据了该用户总流量的42％，在这七条跟踪中无其他人下载任何音频内容。

图4为示出了对于不同智能手机流量跟踪和不同大小的数据包存储缓存(从100MB到1MB)SDRE相对DRE的带宽节约率的图400。在该评估中部署MODP指纹计算算法和最大匹配机制。滑动窗口大小通常设置为32个字节来最大化DRE的有效性。对于具有一定包缓存大小的一个流量跟踪，每个点表示SDRE相对DRE的带宽节约率。

在该评估中使用基于连接的包缓存管理。评估了两种放通DRE内容类型场景。一种包括视频和音频，另一种放通DRE内容类型集包括图像、视频和音频。由于图像、视频和音频的原始尺寸相较于文本文件相对较大，图像、视频和音频通常以压缩格式存储。因此，该压缩内容(例如图像、视频和音频)内的冗余相当有限；这提供了机会降低DRE算法的计算开销同时实现几乎相同的DRE有效性。如果有足够的包缓存，SDRE相对DRE的带宽节约率表示已放通的DRE内容类型增加了多少冗余。在该情况下，100MB的包缓存大小足以移除DRE技术可以识别的所有冗余数据块。从100MB的包内存结果可知，所有比率都小于1，因为仅检查了部分报文的冗余数据块，但是超过90％的冗余数据块可以由SDRE识别。该结果通常证实了图像、视频和音频内的冗余相当有限。

随着DRE包缓存的缩小，SDRE节省的带宽率标准DRE的多。由于具有更多冗余数据块的内容在DRE包缓存中停留更久，并且未由具有较少冗余的内容来刷新，所以可以提高用于冗余数据识别的包缓存的有效性。在所有七种智能手机跟踪中，通过分别使用{图像、视频、音频}以及{视频、音频}建立DRE放通内容类型，可以减少为冗余数据识别所处理的约19％至51％以及3％至42％的流量。图3中的结果显示了SDRE可以使用更少的计算和更小的存储实现与标准DRE几乎相同的带宽节省。

图5是处理系统500的方框图，处理系统500可以用来实现本文公开的设备和方法。特定设备可以利用所示的所有部件，或仅部件的子集，且集成水平随设备而异。进一步地，设备可以包含部件的多个实例，如多个处理单元、处理器、存储器、发射器、接收器等等。处理系统500可以包括配备有一个或多个输入/输出设备的处理单元501，所述输入/输出设备包括扬声器、麦克风、鼠标、触摸屏、小键盘、键盘、打印机、显示器等等。处理单元可包括中央处理器(CPU)502、存储器504、大容量存储设备506、视频适配器508、网络接口512以及连接至总线516的I/O接口514。

总线516可是一个或多个任意类型的若干总线架构，包括存储总线或存储控制器、外设总线以及视频总线等等。所述CPU502可包括任意类型的电子数据处理器。存储器504可包括任意类型的系统存储器，例如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、同步DRAM(SDRAM)、只读存储器(ROM)或其组合等等。在实施例中，存储器504可包括在开机时使用的ROM以及执行程序时使用的存储程序和数据的DRAM。

大容量存储设备506可包括任意类型的存储设备，其用于存储数据、程序和其他信息，并使这些数据、程序和其他信息通过总线516访问。大容量存储设备506可包括如下项中的一种或多种：固态磁盘、硬盘驱动器、磁盘驱动器、光盘驱动器等等。

视频适配器508和I/O接口514提供接口以将外部输入输出设备耦合到处理单元。如图所示，输入输出设备的示例包括耦合到视频适配器508的显示器510和耦合到I/O接口514的鼠标/键盘/打印机518。其它设备可以耦合到处理单元501，且可以利用更多或更少的接口卡。例如，可使用串行接口卡(未示出)将串行接口提供给打印机。

处理单元还包括一个或多个网络接口512，其可包括以太网电缆等有线链路和/或到接入节点或不同网络的无线链路。网络接口512允许处理单元通过网络518与远程单元通信。比如，网络接口512可以通过一个或多个发送器/发射天线以及一个或多个接收器/接收天线提供无线通信。在实施例中，所述处理单元501耦合至局域网或广域网用于数据处理并与远程设备进行通信，所述远程设备可包括其他处理单元、互联网、远程存储设施等等。

尽管该描述已详细描述，但应理解，可在不脱离由所附权利要求书界定的本发明的精神和范围的情况下，对本文做出各种改变、替代和更改。此外，本发明的范围不应限于本发明中描述的特定实施例，所属领域的一般技术人员将从本发明中容易了解到，可根据本发明利用执行与本文本所述对应实施例大致相同的功能或实现与本文本所述对应实施例大致相同的效果的过程、机器、制造工艺、物质成分、构件、方法或步骤，包括目前存在的或以后将开发的。因此，所附权利要求书既定在其范围内包括此类过程、机器、制造工艺、物质成分、构件、方法或步骤。

Claims

1.一种用于选择性冗余消除的方法，其特征在于，所述方法包括：

在传输点处接收包含内容的传入数据包，其中所述内容包括内容类型；

当所述内容类型匹配选择性冗余消除类型时，使用所述传输点将冗余数据元素从所述数据包中消除；以及

当所述内容类型匹配绕过-消除类型时，使用所述传输点绕过选择性冗余消除。

2.根据权利要求1所述的方法，其特征在于，进一步包括当所述数据包长度小于阈值时，绕过选择性冗余消除。

3.根据权利要求2所述的方法，其特征在于，所述阈值大小等于拉宾滑动窗口大小。

4.根据权利要求1所述的方法，其特征在于，从所述数据包中的超文本传输协议(HTTP)头中识别所述内容类型。

5.根据权利要求1所述的方法，其特征在于，所述绕过-消除类型包括图像、视频和音频中的至少一个。

6.根据权利要求1所述的方法，其特征在于，所述选择性冗余消除类型包括文本和应用中的至少一个。

7.根据权利要求1所述的方法，其特征在于，维护包分类器，其中所述包分类器根据传输控制协议流元组维护内容类型表。

8.根据权利要求7所述的方法，其特征在于，所述内容类型表包括源因特网协议(IP)地址、源端口、目标IP地址以及目标端口中的至少一个。

9.一种用于选择性数据冗余消除的网络部件，其特征在于，包括：

处理器；以及

计算机可读存储介质，所述计算机可读存储介质存储由所述处理器执行的程序，所述程序包括如下指令：

接收包含内容的传入数据包，其中所述内容包括内容类型；

当所述内容类型匹配选择性冗余消除类型时，将冗余数据元素从所述数据包中消除；以及

当所述内容类型匹配绕过-消除类型时，绕过选择性冗余消除。

10.根据权利要求9所述的网络部件，其特征在于，所述程序进一步包括如下指令：当所述数据包长度小于阈值时，绕过选择性冗余消除。

11.根据权利要求10所述的网络部件，其特征在于，所述阈值大小等于拉宾滑动窗口大小。

12.根据权利要求9所述的网络部件，其特征在于，从所述数据包中的超文本传输协议(HTTP)头中识别所述内容类型。

13.根据权利要求9所述的网络部件，其特征在于，所述绕过-消除类型包括图像、视频和音频中的至少一个。

14.根据权利要求9所述的网络部件，其特征在于，所述选择性冗余消除类型包括文本和应用中的至少一个。

15.根据权利要求9所述的网络部件，其特征在于，所述程序进一步包括维护包分类器的指令，所述包分类器根据传输控制协议流元组维护内容类型表。

16.根据权利要求15所述的网络部件，其特征在于，所述内容类型表包括源因特网协议(IP)地址、源端口、目标IP地址以及目标端口中的至少一个。

17.一种用于选择性数据冗余消除(SDRE)的系统，其特征在于，包括：

SDRE管理器，用于维护端到端SDRE列表；

包分类器，用于对传入数据包进行内容类型的分类；

包缓存管理器，用于在包缓存中存储数据包；以及

端到端SDRE模块，用于将冗余元素从数据包中消除，所述数据包的内容类型匹配用于执行数据冗余消除(DRE)过程的类型，

其中内容类型不匹配用于进行SDRE的类型的数据包在不执行所述DRE过程的情况下被转发到末端节点。

18.根据权利要求17所述的系统，其特征在于，所述SDRE管理器用于为每个源目标对创建单独的端到端SDRE例示。

19.根据权利要求17所述的系统，其特征在于，当检测到新源因特网协议(IP)地址时，所述SDRE管理器用于将新记录插入到所述端到端SDRE列表；当源完成所有所述源内容传输时，所述SDRE管理器用于将记录从所述端到端SDRE列表移除。

20.根据权利要求17所述的系统，其特征在于，所述包缓存管理器用于基于流量分配包缓存。