CN101252485B - 业务流的自适应非线性抽样统计方法 - Google Patents

Abstract

业务流的自适应非线性抽样统计方法属于业务流统计技术领域。其特征在于，在高速宽带网络转发设备对每一个业务流进行分类后，用计数器来抽样统计业务流，根据计数器的计数值来调整抽样概率，对小的业务流采用大的抽样概率，而对于大的业务流采用小的抽样概率。无论是大的业务流还是小的业务流，该方法都可以保证准确的统计结果。

Description

业务流的自适应非线性抽样统计方法

技术领域

本发明是一种用于业务流的自适应非线性抽样统计方法，可以应用于高速宽带网络转发设备中以实现准确的业务流统计，属于业务流统计技术领域。

背景技术

因特网经过不断地进化，已经发展成承载各种业务的通用通信基础设施，但是与此同时对因特网的监控和管理也变得越来越难。被动业务量测量(Passive traffic measurement)可以提供丰富的网络状态信息，包括业务量矩阵，分组长度分布，业务量，会话持续时间等。这些信息对于网络计费，服务质量控制，网络安全等应用提供了很大的帮助。

随着网络线速和业务流数目的增加，每流测量(per-flow measurement)成为一个巨大的挑战。一方面，网络线速的提高要求高速存储器，如SRAM；另一方面，业务流数目的增加要求大容量的存储器，如DRAM。但是目前市场上并不存在的既大又快的存储器能同时满足业务流数目巨大的高速网络的要求。为了解决这一挑战，相关文献提出采用抽样的方法来解决。常用的抽样方法是静态抽样方法，它以固定概率p对到达分组进行抽样。假设真实的业务流大小为n个分组，计数器的计数值为c，那么根据计数器的计数值反向估计值是 $\hat{n}=c/p,$ 其相对误差是

由此看出，当业务流较小时，相对误差将非常大。如果我们采用p＝0.1的抽样概率对大小为n＝1的业务流进行抽样时，相对误差将达到300％。

发明内容

针对上述静态抽样方法的问题，本发明提出一种新的自适应非线性抽样方法(ANLS：Adaptive Non-Linear Sampling)，无论对于大流还是小流，都可以提供精确的统计结果。

本发明的特征在于该方法是在高速宽带网络转发设备中依次按照如下步骤实现的：

步骤(1)，初始化；

在所述高速宽带网络转发设备中建立业务流分类模块、流号与计数器地址映射模块，抽样模块，抽样概率计算模块，以及计数模块，其中，

业务流分类模块设有分组头部输入端，以及分类后的业务流号输出端；

计数模块是一组计数器，对不同业务流采用不同抽样概率P(c)来统计业务流，设有计数器地址输入端，更新计数器指令输入端，以及计数值输出端，以便根据计数器的计数值来调整抽样概率P(c)，其中c是计数器的计数值；

流号与计数器地址映射模块设有业务流号输入端，以及所连计数器模块的计数器地址输出端；

抽样概率计算模块设有实数空间内的递增凸函数f(c)，满足f(0)＝0，f(1)＝1，f(c)＜f(c+1)≤bf(c)+1，b＞1，c＞0，其中b是预设的参数，c是计数器的计数值；还设有用于计算抽样概率的函数P(c)＝1/[f(c+1)-f(c)]，所述抽样概率计算模块设有计数器计数值的输入端和抽样概率的输出端；

抽样模块设有来自所述业务流分类模块的业务流号输入端，去往所述流号与计数器地址映射模块的业务流号输出端，来自所述计数器模块的计数器计数值的输入端，去往所述计数器模块的计数器地址，更新计数器指令和更新计数器值的输出端，来自所述抽样概率计算模块的抽样概率输入端，以及去往抽样概率计算模块的计数值输出端；

步骤(2)，依次按以下步骤进行业务流统计(如图1所示)：

步骤(2.1)，业务流分类模块对输入的分组先进行分类，并赋予不同业务流以不同的业务流号，

步骤(2.2)，抽样模块把从所述业务流分类模块获取的业务流号送往流号与计数器地址映射模块，流号与计数器地址映射模块根据流号与计数器地址映射表得到计数器地址，送往抽样模块，

步骤(2.3)，抽样模块把获取的计数器地址送往计数器模块，计数器模块将此时的计数器计数值c送往抽样模块，

步骤(2.4)，抽样模块把获取的计数器计数值送往抽样概率计算模块，抽样概率计算模块按下式计算收到的计数值c对应的抽样概率P(c)并送往抽样模块，

                    P(c)＝1/[f(c+1)-f(c)]

步骤(2.5)，抽样模块按照获得的概率P(c)决定是否对计数器更新，按照概率P(c)将计数器的值加一并更新计数器的计数值，按照概率1-P(c)保持原有的计数器计数值；

步骤(3)，在统计时间完成之后，抽样模块按照下式获取业务流大小的估计值，

$\hat{n}=f\left(c\right).$

当自适应非线性抽样方法采用 $\hat{n}=f\left(c\right)$ 作为无偏估计时，相对误差的上界是

我们可以得到静态抽样和ANLS方法的相对误差的曲线，如图3所示。从图中可以看出，静态方法对于小流的相对误差很大，而ANLS方法无论对于任何大小的业务流来说，相对误差基本保持不变，而对于静态抽样方法对于小流的误差却非常大。

采用自适应非线性抽样方法的计数器所需要的位数的上界是

(

表示向上取整)。而静态抽样的计数器所需要的位数的上界是

我们将结果表示在图4中。当n比较小的时候，静态抽样所需要的计数器位数比较少，而当n比较大的时候，自适应非线性抽样方法所需要的计数器位数比较少。值得注意的是，设计计数系统时，一个业务流对应于一个计数器，而每一个计数器的宽度是由需要统计的最大计数值决定的，所以ANLS可以对每一个计数器采用更小的宽度。当采用相同数目的计数器时，ANLS所需要的总的存储空间更小。

附图说明

图1：自适应非线性抽样统计方法中步骤(2)的流程图。

图2：f(c)和P(c)的例子。

图3：相对误差结果比较。图中虚线表示静态抽样的结果，实线表示本发明装置的结果。

图4：占用计数器位数比较。图中虚线表示静态抽样的结果，实线表示本发明装置的结果。

图5：真实业务流下的计数误差。

具体实施方式

自适应非线性抽样方法对每一个业务流维护一个计数器来统计其分组数目。

自适应非线性抽样方法对不同的业务流单独计算不同的抽样概率。和静态抽样方法相比，自适应非线性抽样方法用一个函数P(c)，其中c是计数器的计数值，来代替固定的抽样概率p，从而可以根据已经抽样的分组数目(即计数器的计数值)来调整抽样概率。时间t时的计数器计数值为c_t，经过t′时刻后有到达一个分组，此时，计数器的计数值将按照下式更新。

我们定义抽样概率P(c)＝1/[f(c+1)-f(c)]，其中抽样函数f(c)，c≥0，满足如下条件，1)f(c)是一个实数空间内的递增凸函数；

2)初始条件，f(0)＝0并且f(1)＝1；

3)f(c)＜f(c+1)≤bf(c)+1，b＞1，c＞0。

给定一个满足上述定义的f(c)，我们可以根据计数器的值来动态调整抽样概率。由定义可知，c↑→[f(c+1)-f(c)]↑→P(c)↓，即抽样概率随着计数器计数值的增加而减小。ANLS对于抽样概率的调整是根据精确的计数值来进行的，而不是根据预测或者反向估计值之类本身存在一定误差的输入为依据的。图2给出了f(c)和P(c)的例子。

自适应非线性抽样方法的无偏估计是 $\hat{n}=f\left(c\right).$

实施例1

从P(c)定义中给出的一类抽样函数中选出一个如下的特定函数：

             f(c)＝[(1+u)^c-1]/u；0＜u＜1.

其中u是常数参数。很容易证明，只要设定b＝1+u，上式就可以满足P(c)定义。 $\hat{n}=[{(1+u)}^c-1]/u$ 是当上式作为抽样函数时的无偏估计。此时我们可以得到精确的相对误差：

由此可以看出，n的变化对于相对误差的影响很小，当n趋于无穷大时，相对误差趋于

实施例2

我们合成了不同分布的业务流量。假设我们测量一个满负荷工作的OC-48(2.5Gbps)链路，测量的时间窗口是一分钟。我们一共生成了3种服从不同业务流大小分布的业务流量：Pareto分布，其形状(shape)参数为1.053，标度(scale)参数为4；指数分布，其位置参数＝500(即平均业务流大小为500)；均匀分布，业务流大小在1和1000之间。采用f(c)＝[(1+u)^c-1]/u；0＜u＜1来计算P(c)时的结果如下表所示。从中可以看出，不同的分布对相对误差影响不大。

分布	相对误差	缓存大小
			Pareto分布	0.07	4.49Mb
指数分布	0.07	2.1Mb
			均匀分布	0.07	503.1kb

实施例3

我们将自适应非线性抽样方法用于OC-192链路下的真实的业务流量的统计。其结果如图5所示。结果表明，ANLS对于大流和小流都能提供很好的准确度。

Claims (1)

1.业务流的自适应非线性抽样统计方法，其特征在于所述方法是在高速宽带网络转发设备中依次按照如下步骤实现的：

步骤(1)，初始化；

在所述高速宽带网络转发设备中建立业务流分类模块、流号与计数器地址映射模块，抽样模块，抽样概率计算模块，以及计数器模块，其中，

业务流分类模块设有分组头部输入端，以及分类后的业务流号输出端；

计数器模块是一组计数器，对不同业务流采用不同抽样概率P(c)来统计业务流，设有计数器地址输入端，更新计数器指令输入端，以及计数值输出端，以便根据计数器的计数值来调整所述抽样概率P(c)，其中c是计数器的计数值；

流号与计数器地址映射模块设有业务流号输入端，以及所连计数器模块的计数器地址输出端；

抽样概率计算模块设有实数空间内的递增凸函数f(c)，满足f(0)＝0，f(1)＝1，f(c)＜f(c+1)≤bf(c)+1，b＞1，c＞0，其中b是预设的参数，c是计数器的计数值；还设有用于计算抽样概率的函数P(c)＝1/[f(c+1)-f(c)]，所述抽样概率计算模块设有计数器计数值的输入端和抽样概率的输出端；

抽样模块设有来自所述业务流分类模块的业务流号输入端，去往所述流号与计数器地址映射模块的业务流号输出端，来自所述计数器模块的计数器计数值的输入端，去往所述计数器模块的计数器地址，更新计数器指令和更新计数器值的输出端，来自所述抽样概率计算模块的抽样概率输入端，以及去往抽样概率计算模块的计数值输出端；

步骤(2)，在统计时间内，每到达一个分组时，依次按以下步骤(2.1)-(2.5)进行业务流统计：

步骤(2.1)，业务流分类模块对输入的分组先进行分类，并赋予不同业务流以不同的业务流号，

步骤(2.2)，抽样模块把从所述业务流分类模块获取的业务流号送往流号与计数器地址映射模块，流号与计数器地址映射模块根据流号与计数器地址映射表得到计数器地址，送往抽样模块，

步骤(2.3)，抽样模块把获取的计数器地址送往计数器模块，计数器模块将此时的计数器计数值c送往抽样模块，

步骤(2.4)，抽样模块把获取的计数器计数值送往抽样概率计算模块，抽样概率计算模块按下式计算收到的计数值c对应的所述抽样概率P(c)并送往抽样模块，

P(c)＝1/[f(c+1)-f(c)]

步骤(2.5)，抽样模块按照获得的所述抽样概率P(c)决定是否对计数器更新，按照概率P(c)将计数器的值加一并更新计数器的计数值，按照概率1-P(c)保持原有的计数器计数值；

步骤(3)，抽样模块按照下式获取业务流大小的估计值，

Images