CN103888317A - 一种协议无关的网络冗余流量消除方法 - Google Patents

Abstract

本发明公开了一种协议无关的网络冗余流量消除方法，预先从网络中抓取一定数量数据包并按照载荷大小分组并统计分组的数据量累计概率，再确定对应的载荷阈值，发送端对载荷大于等于载荷阈值的数据包进行冗余流量消除：对载荷根据弱哈希值进行分块，将每个数据块的强哈希值作为指纹与指纹库中的指纹进行匹配，如果匹配不成功则将该指纹和数据块更新至指纹库和数据块库，发送端用数据包中所有数据块在数据包中的起始位置和在数据块库中的位置作为载荷重新生成数据包并发送给接收端，接收端根据接收数据包中的数据块信息对数据包进行恢复。本发明针对数据包之间的冗余数据进行处理，不受应用层通信协议影响，具有较好的冗余流量消除效果和处理时效。

Description

一种协议无关的网络冗余流量消除方法

技术领域

本发明属于网络流量管理技术领域，更为具体地讲，涉及一种协议无关的网络冗余流量消除方法。

背景技术

伴随着互联网科技应用的快速发展，网页浏览、文件共享、视频分发、娱乐游戏等网络流量呈现高速增长态势，互联网上大量相同或相似的内容被网络边缘的用户多次请求，造成了数据在网络上的重复传输，导致了大量的冗余流量的产生，不但消耗网络带宽，而且降低了互联网的效率。网络冗余流量消除已成为网络流量管理技术新的研究热点。

大部分传统的冗余消除方案在应用层和对象层级别上操作的，例如数据压缩可以删除一个对象内的冗余流量。对象缓存，包括web代理缓存和对等的媒体缓存，他们可以代替资源所在的源服务器用缓存来对频繁和重复的请求进行响应，然而，对于只有少部分修改的内容，无论是对象压缩还是对象级别的缓存都不能很好的工作。

发明内容

本发明的目的在于克服现有技术的不足，提供一种协议无关的网络冗余流量消除方法，针对数据包之间的冗余数据进行处理，提高冗余消除效果以及处理时效。

为实现上述发明目的，本发明协议无关的网络冗余流量消除方法，其特征在于包括：

S1：在网络中预先设置指纹库和数据块库，指纹库中的指纹和数据块库中的数据块一一对应；

S2：设置载荷分组基础字节大小c，根据分组基础字节c将N个数据包划分为X组，其中s表示最大传输单元的大小，

表示向上取整；

预先在网络中抓取N个数据包，提取每个数据包的载荷大小，然后进行分组，将载荷大小范围为[(x-1)×c,x×c)的数据包分为第x个分组，x的取值范围为x=1,2,…,X；

第x个分组中数据包出现的次数概率记为p_x，然后构建次数向量P=[p₁,p₂,…,p_x,…,p_X]，构建载荷大小向量m=[c,2c,…,x×c,…,X×c]，并计算除载荷总量M=p*m^T，其中，上标T表示转置；

计算各分组的数据量概率v_x=(p_x×x×c)/M，则前Y个分组的数据量累计概率：

$V_Y=\underset{x=1}{\overset{Y}{\mathrm{\Σ}}}{v}_x,Y=\mathrm{1,2},...,X;$

从小于等于预设数据量累计概率阈值V_T的所有数据量累计概率V_Y中选取出最大值

，以其对应分组的载荷上限Y_max×c作为数据包冗余流量消除的载荷阈值t；

S3：发送端每次构建好一个数据包后，判断其载荷是否大于等于载荷阈值t，如果是，进入步骤S4进行冗余流量消除，如果不是，则不经过冗余流量消除直接传输该数据包；

S4：对数据包的载荷进行分块，分块方法包括以下步骤：

S4.1：预设两个正整数a、b，并且a<b，设置滑动窗口大小为Q个字节，以载荷起点为窗口滑动起点；

S4.2：令滑动窗口从滑动起点开始以一个字节为步长在载荷上滑动，每滑动一次即计算该窗口内数据的弱哈希值f(Q)，如果a=mod(f(Q),b)，其中mod(·)表示取余函数，则以本次滑动起点作为数据块起点，当前滑动窗口的末字节K作为数据块终点，进入步骤S4.3；否则继续滑动；

S4.3：判断是否分块完毕，如果是，结束载荷分块进入步骤S5；如果不是，令起点为K+1字节，返回步骤S4.2定位下一个数据块；

S5：计算该数据包中每个数据块内容的强哈希值作为该数据块的指纹，与指纹库中的指纹进行匹配，如果匹配成功，进入步骤S6，如果匹配不成功，则将该数据块的指纹存入指纹库，将该数据块存入数据块库，进入步骤S6；

S6：发送端用数据包中所有数据块在数据包中的起始位置和在数据块库中的位置作为载荷重新生成数据包并发送给接收端，接收端根据各个数据块在数据块库中的位置从数据块库中提取出数据块，并按照数据块在数据包中的起始位置对数据包进行恢复。

进一步地，数据量累计概率阈值V_T的取值范围为0.15≤V_T≤0.4。

进一步地，指纹库中每个指纹对应一个计时器，指纹每次匹配成功后，对应的计时器重置为0，当计时器数值大于预设阈值时，则删除该指纹，并将数据块库中对应数据块删除。

进一步地，指纹库中每个指纹对应一个计数器，指纹每匹配成功一次，对应的计数器则加1，指纹库按预设扫描周期扫描指纹库中的所有计数器，当某个指纹的计数器数值小于预设阈值时，则删除该指纹，并将数据块库中对应数据块删除，否则不作任何操作。

进一步地，指纹库中每个指纹对应一个计数器，指纹每匹配成功一次，对应的计数器则加1，指纹库按预设扫描周期扫描指纹库中的所有计数器，当某个指纹的计数器数值小于预设阈值时，则删除该指纹，并将数据块库中对应数据块删除，否则将计数器数据重置为0。

本发明协议无关的网络冗余流量消除方法，预先从网络中抓取一定数量数据包，按照载荷大小进行分组，统计各个分组的数据量概率以及分组的数据量累计概率，根据预设的数据量累计概率阈值确定对应的载荷阈值，发送端对构建好的数据包进行判断，当载荷大于等于载荷阈值时，才进行冗余流量消除：首先对数据包的载荷根据弱哈希值进行分块，将每个数据块的强哈希值作为其指纹与指纹库中的指纹进行匹配，如果匹配不成功则将该指纹和数据块更新至指纹库和数据块库，发送端用数据包中所有数据块在数据包中的起始位置和在数据块库中的位置作为载荷重新生成数据包并发送给接收端，接收端根据各个数据块在数据块库中的位置从数据块库中提取出数据块，并按照数据块在数据包中的起始位置对数据包进行恢复。

本发明具有以下有益效果：

（1）本发明针对数据包进行冗余流量消除，不受应用层通信协议的影响；

（2）通过载荷阈值来忽略冗余流量消除贡献小的数据包，从而在保证冗余流量消除效果的前提下提高处理时效性；

（3）采用弱哈希值来对载荷进行变长分块，当载荷中部分数据发行变化时，减少对载荷分块的影响，提高指纹库匹配成功率，提升冗余流量消除率；

（4）本发明提供了对指纹库和数据块库的老化管理方法，可以在保证冗余流量消除效果的前提下降低存储容量需求，节约存储资源。

附图说明

图1是本发明协议无关的网络冗余流量消除方法的具体实施方式流程图；

图2是数据包集合1中各数据包分组的次数概率和数据量概率示意图；

图3是数据包集合2中各数据包分组的次数概率和数据量概率示意图；

图4是数据包集合3中各数据包分组的次数概率和数据量概率示意图；

图5是数据包集合1中数据包分组的数据量累计概率；

图6是数据包集合2中数据包分组的数据量累计概率；

图7是数据包集合3中数据包分组的数据量累计概率；

图8是数据包载荷分块方法示意图；

图9是数据块匹配功能次数的分布示意图；

图10是数据块对冗余流量消除的贡献示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

本发明协议无关的网络冗余流量消除有别于基于应用层的协议相关的对象级别的冗余抑制技术，本发明的主要思想是数据包之间的冗余数据，处理对象是单个的数据包，当检测到相同的数据元素在多个数据包中时，只有一个单一的数据元素的副本被传输或存储，而冗余数据元素被替换为唯一数据元素的引用或指针进行传输。

实施例

图1是本发明协议无关的网络冗余流量消除方法的具体实施方式流程图。如图1所示，本发明协议无关的网络冗余流量消除方法包括以下步骤：

S101：预设指纹库和数据块库：

本发明中，指纹库中存储的是数据块对应的指纹，即数据块的唯一标识，数据块库中存储的是网络中会被重复传输的数据块。因此采用本发明的通信网络，需要在网络中预先设置指纹库和数据块库，指纹库中的指纹和数据块库中的数据块一一对应。指纹库和数据块库的物理存储设备可以根据确定在网络的安放位置，初始的指纹库和数据块库可以为空，也可以是其他类似的指纹库和数据块库的拷贝。

S102：提取数据包，分析得到载荷阈值：

设置载荷分组基础字节大小c，根据分组基础字节c将N个数据包划分为X组，

，其中s表示最大传输单元的大小，表示向上取整；

预先在网络中抓取N个数据包，提取每个数据包的载荷大小，然后进行分组，将载荷大小范围为[(x-1)×c,x×c)的数据包分为第x个分组，x的取值范围为x=1,2,…，X。

表1是数据包集合表。

数据包集合	日期	时间	时长/h	大小/GB
					1	2013.10.09	9am	1	37.5
2	2013.10.18	9am	1	27.5
					3	2013.10.14	9am	12	20

表1

表1中三个数据包集合中，集合1和2均采集自校园接入网，第3个集合来自校园某实验楼。网络中最大传输单元s=1472字节，设置载荷分组基础字节大小c=64，可得本实施例中数据包分组数量X=23，即载荷大小属于[0,64)的数据包为第1组，载荷大小属于[64,128)的数据包为第2组，以此类推。

第x个分组中数据包出现的次数概率记为p_x，次数概率即为分组中数据包数量占所有数据包数量的百分比，构建次数向量P=[p₁,p₂,…,p_x,…,p_X]，载荷大小向量m=[c,2c,…,x×c,…,X×c]，计算载荷总量M=p*m^T，其中上标T表示转置。

计算各分组的数据量概率v_x=(p_x×x×c)/M，则前Y个分组的数据量累计概率：

$V_Y=\underset{x=1}{\overset{Y}{\mathrm{\&Sigma;}}}{v}_x,Y=\mathrm{1,2},...,X.$

图2是数据包集合1中各数据包分组的次数概率和数据量概率示意图。图3是数据包集合2中各数据包分组的次数概率和数据量概率示意图。图4是数据包集合3中各数据包分组的次数概率和数据量概率示意图。如图2至图4所示，各数据包集合中，每个数据包中的载荷大小分布呈现出明显的双峰特性，即载有少量载荷的数据包和满载荷的数据包占据了网络中90%的数据流量。

图5是数据包集合1中数据包分组的数据量累计概率。图6是数据包集合2中数据包分组的数据量累计概率。图7是数据包集合3中数据包分组的数据量累计概率。图5至图7体现了数据包集合的冗余特性。如图5至图7所示，虽然带有少量载荷的数据包接近所有数据包的一半左右，但由数据包的冗余特性得出这部分的数据包占总的冗余流量很小的一部分，对这部分数据包进行冗余流量消除处理，对整个网络中冗余流量消除的贡献很小，本发明中将这部分数据包称为对冗余流量消除无用的数据包，在进行冗余消除的时候就不需要对这些无用数据包进行处理，从而提高冗余流量消除的效率。

为了识别无用数据包，预设数据量累计概率阈值V_T，从小于等于预设数据量累计概率阈值V_T的所有数据量累计概率V_Y中选取出最大值，以其对应分组的载荷上限Y_max×c作为数据包冗余流量消除的载荷阈值t。为了兼顾冗余流量消除的效率和效果，数据量累计概率阈值V_T的设置范围为0.15≤V_T≤0.4，本实施例中设置V_T=0.2，可见对应的分组为第16个分组，其载荷上限为1024，则数据包冗余流量消除的载荷阈值t=1024。

S103：发送端构建数据包：

本发明中，发送端每次构建好一个数据包后，并不直接发送，而是先进入步骤S104进行判断。

S104：判断其载荷是否大于等于载荷阈值t，如果是，进入步骤S106，如果不是，进入步骤S105。

S105：发送端直接传输该数据包。

S106：载荷分块：

图8是数据包载荷分块方法示意图。如图8所示，本发明中采用的载荷分块方法包括以下步骤：

S601：预设两个正整数a、b，并且a<b，设置滑动窗口大小为Q个字节，以载荷起点（即图8中K₀）为窗口滑动起点。

S602：令滑动窗口从起点开始以一个字节为步长在载荷上滑动，每滑动一次即计算该窗口内数据的弱哈希值f(Q)，如果a=mod(f(Q),b)，其中mod(·)表示取余函数，即a为f(Q)除以b得到的余数，则以滑动起点作为数据块起点，当前滑动窗口的末字节K作为数据块终点，得到一个数据块，进入步骤S4.3；否则继续滑动。

本发明中采用弱哈希值来对载荷进行分块，当相同载荷中由于数据插入、删除或修改操作发生变化时，只有变化点之后的小部分数据块的边界需要重新划分，产生少量的新数据块，其余边界仍可保存不变，保证后续冗余消除率的提升。

S603：判断是否分块完毕，如果是，结束载荷分块进入步骤S5；如果不是，令新的滑动起点为K+1字节，即滑动窗口向前滑动Q个字节，返回步骤S4.2定位下一个数据块。

S107：数据块指纹计算：本发明中采用数据块的强哈希值作为数据块的指纹。

S108：判断数据块指纹是否已存在指纹库中，即将数据块的指纹与指纹库中的指纹进行匹配，如果匹配成功，则说明该指纹已存在指纹库中，直接进入步骤S110；如果匹配不成功，则进入步骤S109：

S109：更新指纹库和数据块库，即将该数据块的指纹存入指纹库，将该数据块存入数据块库，进入步骤S110。

S110：对数据块进行编码传输，即发送端用数据包中所有数据块在数据包中的起始位置数据和在数据块库中的位置数据作为数据块的编码，将编码作为载荷重新生成数据包并发送给接收端。

S111：接收端根据各个数据块在数据块库中的位置从数据块库中提取出数据库，并按照在数据包中的起始位置对数据包进行恢复。对于在发送端未经冗余流量消除而是直接传输的数据包，接收端直接接收即可。

在实际应用中，由于指纹库和数据块库的容量是有限的，因此还需要对其进行数据老化管理，降低数据的冗余。数据老化管理的一种优选方式为：为指纹库中每个指纹设置一个对应的计时器，指纹每次匹配成功后，对应的计时器重置为0，当计时器数值大于预设阈值时，则删除该指纹，并将数据块库中对应数据块删除，否则不作任何操作。

造成网络流量重复传输的原因是少量的相同数据块的大量传输，还是大量的相同数据块的少次传输？如果是前者，那么在进行冗余消除部署的时候只需要空间小的数据块库就可以用来保存和识别这些少量的相同数据块；如果是后者，那么就需要空间大的数据包库来保存这些大量相同的数据块。为此跟踪了每个匹配的数据块以及统计了每个数据块被匹配成功的次数，将所有数据块按照匹配成功次数从高到低进行排列。图9是数据块匹配功能次数的分布示意图。如图9所示，横坐标为每个数据块的排名，纵坐标为对应的数据块被匹配成功的次数，由图9可以看出这个线性的双对数坐标图符合Zipf-like分布。图10是数据块对冗余流量消除的贡献示意图。如图10所示，横坐标为按照被匹配的次数从高到低排列的数据块队列中的排名百分比，纵坐标为对应的这部分数据块对冗余流量消除的贡献百分比。从图20可以明显看出，约80%的冗余流量消除贡献来自排名前20%的数据块；而为了获得剩余的20%的冗余流量消除贡献需要保留80%的重复数据块。这意味着只需要一个小缓存能获得大部分的冗余消除效果，但如果想获得完整的冗余流量消除贡献则需要大量的缓存。

根据以上分析可知，还可以采用另一种方法对指纹库和数据块库进行数据老化管理，具体方法为：为指纹库中每个指纹设置一个对应的计数器，指纹每匹配成功一次，对应的计数器则加1，指纹库按预设扫描周期扫描指纹库中的所有计数器，当某个指纹的计数器数值小于预设阈值时，则删除该指纹，并将数据块库中对应数据块删除，否则不作任何操作。为了避免某些历史匹配次数很高但是已经不再使用的数据块占用存储空间，可以在每次扫描结束后，将保留的指纹对应的计数器置为0，然后重新开始计数。

在实际应用中，还可以将采用计时器老化管理和计数器老化管理两种方法结合应用，例如当任意一个老化条件达到时即删除相应数据，也可以避免某些历史匹配次数很高但是已经不再使用的数据块占用存储空间。

为了说明本发明的有益效果，采用本发明与两种对比算法进行对比实验，两种对比算法分别为基于最大值选择的指纹选择算法（Maxp），基于静态查找表选择算法（samplebyte，SB）。表2是对比实验所采用的数据包。

数据包集合

数据源

时长（h）

大小（GB）

A	校园接入网	1	31.3
				B	校园接入网	1	10.6
C	校园实验楼	12	12.6

表2

表3是三种方法对表2中数据包进行冗余流量消除的CPU运行时间对照表。CPU时间消耗包括指纹计算、缓存查找和指纹库更新等操作的时间开销。

表3

表4是三种方法对表2中数据包进行冗余流量消除后的字节节省率对照表。字节节省率定义为冗余流量消除后传输字节数与冗余流量消除前的传输字节数的比值。

表4

从表3和表4中可以看出，本发明所提出的冗余流量消除方法与Maxp算法相比，在CPU运行时间和字节节省率两个方面均优于Maxp算法；与SB算法相比，由于本发明通过载荷阈值忽略了对冗余流量消除贡献小的数据包的冗余流量消除处理，因此虽然本发明的字节节省率略低于SB算法，但在CPU运行时间方面明显优于SB算法，相对于SB算法可以节约大约25%。而且从表4中可以看出，本发明在对数据量较大的数据包集合A进行冗余流量消除时，其字节节省率与SB算法差异不大，可见本发明在网络流量大的情况下具有良好的应用效果。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (5)

1.一种协议无关的网络冗余流量消除方法，其特征在于，包括以下步骤：

S1：在网络中预先设置指纹库和数据块库，指纹库中的指纹和数据块库中的数据块一一对应；

S2：设置载荷分组基础字节大小c，根据分组基础字节c将N个数据包划分为X组，

，其中s表示最大传输单元的大小，

表示向上取整；

预先在网络中抓取个数据包，提取每个数据包的载荷大小，然后进行分组，将载荷大小范围为[(x-1)×c,x×c)的数据包分为第x个分组，x的取值范围为x=1,2,…,X；

第x个分组中数据包出现的概率记为px，然后构建次数向量P=[p₁,p₂,…,p_x,…,p_X]，载荷大小向量m=[c,2c,…,x×c,…,X×c]，并计算除载荷总量M=p*m^T，其中，上标T表示转置；

计算各分组的数据量概率v_x=(p_x×x×c)/M，则前Y个分组的数据量累计概率：

$V_Y=\underset{x=1}{\overset{Y}{\mathrm{\&Sigma;}}}{v}_x,Y=\mathrm{1,2},...,X;$

从小于等于预设数据量累计概率阈值V_T的所有数据量累计概率V_Y中选取出最大值

，以其对应分组的载荷上限Y_max×c作为数据包冗余流量消除的载荷阈值t；

S3：发送端每次构建好一个数据包后，判断其载荷是否大于等于载荷阈值t，如果是，进入步骤S4进行冗余流量消除，如果不是，则不经过冗余流量消除直接传输该数据包；

S4：对数据包的载荷进行分块，分块方法包括以下步骤：

S4.1：预设两个正整数a、b，并且a<b，设置滑动窗口大小为Q个字节，以载荷起点为窗口滑动起点；

S4.2：令滑动窗口从滑动起点开始以一个字节为步长在载荷上滑动，每滑动一次即计算该窗口内数据的弱哈希值f(Q)，如果a=mod(f(Q),b)，其中mod(·)表示取余函数，则以本次滑动起点作为数据块起点，当前滑动窗口的末字节K作为数据块终点，进入步骤S4.3；否则继续滑动；

S4.3：判断是否分块完毕，如果是，结束载荷分块进入步骤S5；如果不是，令起点为K+1字节，返回步骤S4.2定位下一个数据块；

S5：计算该数据包中每个数据块内容的强哈希值作为该数据块的指纹，与指纹库中的指纹进行匹配，如果匹配成功，进入步骤S6，如果匹配不成功，则将该数据块的指纹存入指纹库，将该数据块存入数据块库，进入步骤S6；

S6：发送端用数据包中所有数据块在数据包中的起始位置和在数据块库中的位置作为载荷重新生成数据包并发送给接收端，接收端根据各个数据块在数据块库中的位置从数据块库中提取出数据块，并按照数据块在数据包中的起始位置对数据包进行恢复。

2.根据权利要求1所述的网络冗余流量消除方法，其特征在于，所述数据量累计概率阈值V_T的取值范围为0.15≤V_T≤0.4。

3.根据权利要求1所述的网络冗余流量消除方法，其特征在于，所述指纹库中每个指纹对应一个计时器，指纹每次匹配成功后，对应的计时器重置为0，当计时器数值大于预设阈值时，则删除该指纹，并将数据块库中对应数据块删除。

4.根据权利要求1所述的网络冗余流量消除方法，其特征在于，所述指纹库中每个指纹对应一个计数器，指纹每匹配成功一次，对应的计数器则加1，指纹库按预设扫描周期扫描指纹库中的所有计数器，当某个指纹的计数器数值小于预设阈值时，则删除该指纹，并将数据块库中对应数据块删除，否则不作任何操作。

5.根据权利要求1所述的网络冗余流量消除方法，其特征在于，所述指纹库中每个指纹对应一个计数器，指纹每匹配成功一次，对应的计数器则加1，指纹库按预设扫描周期扫描指纹库中的所有计数器，当某个指纹的计数器数值小于预设阈值时，则删除该指纹，并将数据块库中对应数据块删除，否则将计数器数据重置为0。

Images