CN104009884B - 网络业务流分组数与流长度并行测量装置 - Google Patents

Abstract

本发明公开了一种网络业务流分组数与流长度并行测量装置，涉及业务流统计技术领域。本发明将SRAM存储器分为容量相同的存储部分和回写部分，并且由控制模块判断其存储部分是否存在数据溢出，若存在数据溢出，则直接把存储部分和回写部分进行对换，从而实现了实时并行统计每流的分组数和流长度信息，并防止数据频繁溢出。本发明还通过对分组数和流长度实现非线性压缩，从而进一步降低计数器增长速度，防止计数器值频繁溢出。

Description

网络业务流分组数与流长度并行测量装置

技术领域

本发明涉及业务流统计技术领域，特别涉及一种网络业务流分组数与流长度并行测量装置。

背景技术

网络测量为网络及其各种应用的管理、优化与控制提供有效的支撑，对业务流进行测量和监控是实施网络管理的重要步骤。作为网络的原子统计信息，以每流统计(Per-Flow)的方式测量得到的业务流分组数目和流长度信息对网络的短期监控(如网络拥塞的发生和拒绝服务攻击的检测等)和网络的长期规划(如网络容量规划、流量工程和网络计费等)都具有十分重要的意义，是其正确执行的前提条件。

在测量过程中，每个业务流的分组数和流长度计数器被维护在硬件存储器中。然而，在当前网络内容与链路速率飞速增长的环境下，目前已有的线性测量方法或固定概率采样测量方法都无法有效地为互联网的管理和控制平面提供实时、准确的每流分组数与流长度信息。其根本技术问题在于无法平衡在进行高速数据采集时所面临的存储器速度和存储器空间之间的矛盾。随着网络链路速度和流数目的提升，现有的存储器无法同时满足高速和大容量的需求。大容量的DRAM能够支持大量的流记录但是它的低存取速率无法支持高速的寄存器读写需求；另一方面，高速的SRAM能够支持高速读写需求但是由于其低容量而容易频繁溢出。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何实时并行统计每流的分组数和流长度信息，并防止数据频繁溢出。

(二)技术方案

为解决上述技术问题，本发明提供了一种网络业务流分组数与流长度并行测量装置，所述装置包括：输入模块、计数器地址映射模块、控制模块、分组数计算模块、流长度计算模块、随机数产生模块、写回模块、SRAM存储器和回导模块，所述SRAM存储器分为容量相同的存储部分和回写部分，所述分组数计算模块包括：采样概率计算单元和第一比较单元，所述流长度计算模块包括：浮点运算单元和第二比较单元；

所述输入模块，用于获取待测量网络链路上的IP数据报，并对所述IP数据报进行解析，以获取对应的IP五元组和报文长度；

所述计数器地址映射模块，用于查找与所述IP五元组对应的业务流计数器地址；

所述控制模块，用于根据所述业务流计数器地址从所述SRAM存储器的存储部分中读取完整流计数器值，并从所述完整流计数器值中提取出分组数计数器值和流长度计数器值；

所述随机数产生模块，用于产生第一随机数和第二随机数，所述第一随机数和第二随机数的取值范围均为不小于0且不大于1；

所述采样概率计算单元，用于根据所述分组数计数器值计算第一采样概率；

所述第一比较单元，用于比较所述第一随机数和第一采样概率，并根据比较结果调整第一采样命令的标志位；

所述浮点运算单元，用于根据所述流长度计数器值和报文长度计算第二采样概率和基本增量；

所述第二比较单元，用于比较所述第二随机数和第二采样概率，并根据比较结果调整第二采样命令的标志位；

所述写回模块，用于根据所述第一采样命令的标志位对所述分组数计数器值进行更新，根据所述第二采样命令的标志位和基本增量对所述流长度计数器值进行更新，并将更新后的分组数计数器值和流长度计数器值进行拼接，以获得更新后的完整流计数器值；

所述控制模块，还用于根据所述业务流计数器地址将所述更新后的完整流计数器值存储至所述SRAM存储器的存储部分中，并判断所述SRAM存储器的存储部分是否存在数据溢出，若存在数据溢出，则清空所述SRAM存储器的回写部分，并将所述SRAM存储器的存储部分和回写部分进行对换；

所述回导模块，用于对所述SRAM存储器的回写部分中的所有完整流计数器值逐一进行封装，并将封装后的数据传输至上位机。

其中，所述控制模块通过以下两个条件判断所述SRAM存储器的存储部分存在数据溢出：条件一、所述更新后的完整流计数器值等于所述SRAM存储器的位宽所表示的最大数值；条件二、所述业务流计数器地址等于所述SRAM存储器的存储部分的最大容量所表示的地址。

其中，所述采样概率计算单元根据所述分组数计数器值通过下式计算第一采样概率，

p′(s)＝1/[f(s+1)-f(s)]，

其中，s为分组数计数器值，b为常参数，p′(s)为第一采样概率。

其中，所述浮点运算单元根据所述流长度计数器值和报文长度通过下式计算第二采样概率和基本增量，

其中，c为流长度计数器值，l为报文长度，p(c,l)为第二采样概率，delta(c,l)为基本增量，[·]为向上取整符，b为常参数，f^-1(·)为f(·)的反函数。

其中，所述第一比较单元在比较结果满足下式时，将所述第一采样命令的标志位置为1，

p′≥q′

其中，p′为第一采样概率，q′为第一随机数，所述第一采样命令的标志位初始值为0。

其中，所述写回模块根据所述第一采样命令的标志位通过下式对所述分组数计数器值进行更新，

其中，s为更新前的分组数计数器值，s′为更新后的分组数计数器值。

其中，所述第二比较单元在比较结果满足下式时，将所述第二采样命令的标志位置为1，

p≥q

其中，p为第二采样概率，q为第二随机数，所述第二采样命令的标志位初始值为0。

其中，所述写回模块根据所述第二采样命令的标志位和基本增量通过下式对所述流长度计数器值进行更新，

其中，c为更新前的流长度计数器值，c′为更新后的流长度计数器值，delta为基本增量。

其中，所述控制模块由FPGA芯片实现。

其中，所述IP五元组包括：源IP地址、目的IP地址、源端口号、目的端口号和协议号。

(三)有益效果

本发明将SRAM存储器分为容量相同的存储部分和回写部分，并且由控制模块判断其存储部分是否存在数据溢出，若存在数据溢出，则直接将存储部分和回写部分进行对换，从而实现了实时并行统计每流的分组数和流长度信息，并防止数据频繁溢出。

本发明还通过对分组数和流长度实现非线性压缩，从而进一步降低计数器增长速度，防止计数器值频繁溢出。

附图说明

图1是本发明一种实施方式的网络业务流分组数与流长度并行测量装置的结构示意图；

图2是将SRAM存储器划分为两部分的示意图；

图3是图1所示的装置与采样测量方法SAC在不同的计数器位宽的条件下，测量流长度时的误差曲线比较图；

图4是图1所示的装置测量流长度的误差分布图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1是本发明一种实施方式的网络业务流分组数与流长度并行测量装置的结构示意图；参照图1，所述装置包括：输入模块、计数器地址映射模块、控制模块、分组数计算模块、流长度计算模块、随机数产生模块、写回模块、SRAM存储器和回导模块，所述SRAM存储器分为容量相同的存储部分和回写部分，所述分组数计算模块包括：采样概率计算单元和第一比较单元，所述流长度计算模块包括：浮点运算单元和第二比较单元；

所述输入模块，用于获取待测量网络链路上的IP数据报，并对所述IP数据报进行解析，以获取对应的IP五元组和报文长度，优选地，所述IP五元组包括：源IP地址、目的IP地址、源端口号、目的端口号和协议号；

所述计数器地址映射模块，用于查找与所述IP五元组对应的业务流计数器地址，本实施方式中，所述计数器地址映射模块的查找过程具体为：先通过查找地址映射表的方式确认该IP五元组与哪条业务流对应，再查找该业务流所对应的业务流计数器地址；

所述控制模块，用于根据所述业务流计数器地址从所述SRAM存储器的存储部分中读取完整流计数器值，并从所述完整流计数器值中提取出分组数计数器值和流长度计数器值；

所述随机数产生模块，用于产生第一随机数和第二随机数，所述第一随机数和第二随机数的取值范围均为不小于0且不大于1；

所述采样概率计算单元，用于根据所述分组数计数器值计算第一采样概率；

所述第一比较单元，用于比较所述第一随机数和第一采样概率，并根据比较结果调整第一采样命令的标志位；

所述浮点运算单元，用于根据所述流长度计数器值和报文长度计算第二采样概率和基本增量；

所述第二比较单元，用于比较所述第二随机数和第二采样概率，并根据比较结果调整第二采样命令的标志位；

所述写回模块，用于根据所述第一采样命令的标志位对所述分组数计数器值进行更新，根据所述第二采样命令的标志位和基本增量对所述流长度计数器值进行更新，并将更新后的分组数计数器值和流长度计数器值进行拼接，以获得更新后的完整流计数器值；

所述控制模块，还用于根据所述业务流计数器地址将所述更新后的完整流计数器值存储至所述SRAM存储器的存储部分中，并判断所述SRAM存储器的存储部分是否存在数据溢出，若存在数据溢出，则清空所述SRAM存储器的回写部分，并将所述SRAM存储器的存储部分和回写部分进行对换；

所述回导模块，用于对所述SRAM存储器的回写部分中的所有完整流计数器值逐一进行封装，并将封装后的数据传输至上位机(所述上位机可为外部数据中心)。

为准确判断SRAM存储器的存储部分存在数据溢出，优选地，所述控制模块通过以下两个条件判断所述SRAM存储器的存储部分存在数据溢出：条件一、所述更新后的完整流计数器值等于所述SRAM存储器的位宽所表示的最大数值(纵向溢出)；条件二、所述业务流计数器地址等于所述SRAM存储器的存储部分的最大容量所表示的地址(横向溢出)。

其中，所述SRAM存储器利用硬件开发平台上的高速SRAM存储芯片实现；该模块中的每一个存储单元都存储一个业务流的完整计数器值，用相应的存储地址进行写入和读取；该模块通过最高地址位(置0或置1)把全部存储空间划分为相同容量的两个部分(即存储部分和回写部分)，在测量装置工作时，该模块只利用其中一部分维护当前使用的流计数器，另一部分用于把已完成的统计数据回导至上位机，为保证装置的测量效率，数据的回导与正常测量工作同时进行，且回写部分中的数据必须在当前存储部分中的计数器溢出之前完成回导，如果SRAM存储器的地址位宽是20位，如图2所示，可以根据最高位划分两个部分的存储空间(两部分分别表示为bankA和bankB)。

为对分组数实现非线性压缩，从而进一步防止分组数计数器值频繁溢出，需要计算第一采样概率，优选地，所述采样概率计算单元根据所述分组数计数器值通过下式计算第一采样概率，

p′(s)＝1/[f(s+1)-f(s)]，

其中，s为分组数计数器值，b为常参数，p′(s)为第一采样概率。

为对流长度实现非线性压缩，从而进一步防止流长度计数器值频繁溢出，故而需要计算出采样概率和基本增量，优选地，所述浮点运算单元根据所述流长度计数器值和报文长度通过下式计算第二采样概率和基本增量，

其中，c为流长度计数器值，l为报文长度，p(c,l)为第二采样概率，delta(c,l)为基本增量，[·]为向上取整符，b为常参数，f^-1(·)为f(·)的反函数。

本实施方式中以标志位为1为采样有效的标识，确定是否对本次分组进行采样，优选地，所述第一比较单元在比较结果满足下式时，将所述第一采样命令的标志位置为1，

p′≥q′

其中，p′为第一采样概率，q′为第一随机数，所述第一采样命令的标志位初始值为0。

为对分组数实现非线性压缩，便于更新所述分组数计数器值，优选地，所述写回模块根据所述第一采样命令的标志位通过下式对所述分组数计数器值进行更新，

其中，s为更新前的分组数计数器值，s′为更新后的分组数计数器值。

本实施方式中以标志位为1为采样有效的标识，为确定是否在基本增量的基础上，再对流长度计数器值进行采样补齐进位，优选地，所述第二比较单元在比较结果满足下式时，将所述第二采样命令的标志位置为1，

p≥q

其中，p为第二采样概率，q为第二随机数，所述第二采样命令的标志位初始值为0。

为对流长度实现非线性压缩，优选地，所述写回模块根据所述第二采样命令的标志位和基本增量通过下式对所述流长度计数器值进行更新，

其中，c为更新前的流长度计数器值，c′为更新后的流长度计数器值，delta为基本增量。

为便于实现，优选地，所述控制模块由FPGA芯片实现。

参照图1，本实施方式的网络业务流分组数与流长度并行测量装置的工作流程为：

步骤101：将所述SRAM存储器分为容量相同的存储部分和回写部分，

步骤102：所述输入模块获取待测量网络链路上的IP数据报，并对所述IP数据报进行解析，以获取对应的IP五元组和报文长度；

步骤103：所述计数器地址映射模块查找与所述IP五元组对应的业务流计数器地址；

步骤104：所述控制模块判断所述业务流计数器地址是否等于所述SRAM存储器的存储部分的最大容量所表示的地址，若不等于，则执行步骤105，若等于，则直接执行步骤111；

步骤105：所述控制模块根据所述业务流计数器地址从所述SRAM存储器的存储部分中读取完整流计数器值，并从所述完整流计数器值中提取出分组数计数器值和流长度计数器值；

步骤106：所述采样概率计算单元根据所述分组数计数器值计算第一采样概率；所述浮点运算单元，用于根据所述流长度计数器值和报文长度计算第二采样概率和基本增量；

步骤107：所述第一比较单元，用于比较所述随机数产生模块产生的第一随机数和第一采样概率，并根据比较结果调整第一采样命令的标志位；所述第二比较单元，用于比较所述随机数产生模块产生的第二随机数和第二采样概率，并根据比较结果调整第二采样命令的标志位；

步骤108：所述写回模块根据所述第一采样命令的标志位对所述分组数计数器值进行更新，根据所述第二采样命令的标志位和基本增量对所述流长度计数器值进行更新，并将更新后的分组数计数器值和流长度计数器值进行拼接，以获得更新后的完整流计数器值；

步骤109：所述控制模块判断所述更新后的完整流计数器值等于所述SRAM存储器的位宽所表示的最大数值，若不等于，则执行步骤110，若等于，则直接执行步骤111；

步骤110：所述控制模块根据所述业务流计数器地址将所述更新后的完整流计数器值存储至所述SRAM存储器的存储部分中，并返回步骤102；

步骤111：所述控制模块向所述SRAM存储器发送回导命令，使得所述SRAM存储器的回写部分被清空，并将所述SRAM存储器的存储部分和回写部分对换；

步骤112：所述回导模块对所述SRAM存储器的回写部分中的所有完整流计数器值逐一进行封装，并将封装后的数据传输至上位机。

由于SRAM存储器的存储部分和回写部分是独立的，故而步骤102～110的计数器更新流程与步骤112的回导流程是并行执行的。

一个并行测量周期完成后，业务流计数器中的数据通过装置的回导模块输出到上位机去处理，若分组数或流长度计数器采样压缩前的真实值为n，通过n＝f(c)来反向估计计数器真实值，并且这个估计是统计无偏的。利用该函数作为无偏估计时，本装置测量的相对误差的上界是

下面选择了另一个对业务流长度进行采样统计的方法SAC作为参照方法，比较了本装置与SAC在不同的计数器位宽的条件下，测量流长度时的误差情况。在测量系统中，一个业务流对应一个计数器，每个计数器的位宽决定了该计数器能统计的最大计数区间范围。图3所示为两种方法的相对误差曲线，图中圆圈曲线为SAC方法的误差曲线，十字曲线为本发明测量装置的误差曲线。从图中可以看出，本发明测量装置对流长度统计的相对误差明显低于SAC方法。

实施例1

在函数f(c)的定义中，我们选择参数b＝1.002，设定流长度计数器位宽为12位，设定分组数计数器位宽为12位，由于IP分组的长度最大不超过1500字节，所以传递分组长度l用11位二进制寄存器即可。实现控制单元的FPGA芯片的时钟频率为400MHz，SRAM存储器的频率为400MHz，一共可以记录1M个流计数器，分为两个相同的Bank使用，每个Bank内包括512K个流计数器。

为了处理线速为10Gbps的链路流量，最坏情况下，处理一个分组的时钟周期不能超过

SRAM存储器在功能上被分为两个部分使用，一个部分用于当前的测量工作，另一个部分储存待回导的数据。一个表项的回导需要一次SRAM读和一次SRAM写操作。认为一次读写各需要10个SRAM周期(实际时间小于此值)，则回导一次所有待回导的数据所需要的时间为

通过系统结构设计和在FPGA上的Verilog代码实现，完全可以满足以上要求，实现线速实时测量10Gbps的链路流量。

实施例2

我们通过三种不同的综合流量对本发明测量装置进行性能评价。这三种类型的流量是：

方案1：每个流有x个分组，其中x是符合帕累托分布的随机变量。帕累托分布的形状参数是1.053，规模参数为4。分组长度(一个数据包中的字节数)符合位置参数为100的位于40和1500之间的截断指数分布。在这种情况下，每流有48.99个分组和5.2K字节的数据。

方案2：每个流有x个分组，x为符合位置参数为800的指数分布的随机变量。分组长度符合位置参数为100的位于40和1500之间的截断指数分布。在这种情况下，每流有778.30个分组和82.7K字节的数据。

方案3：每个流有x个分组，x为位于2和1600之间均匀分布的随机变量。分组长度符合位置参数为100的位于40和1500之间的截断指数分布。在这种情况下，每流有772.01个分组和83.6K字节的数据。

下表说明了在实施例1的配置环境下，本发明测量装置在三种不同方案流量下的相对误差性能。从中可以看出，不同的分布对相对误差影响不大。

分布	相对误差
		Pareto分布	0.038
指数分布	0.038
		均匀分布	0.041

实施例3

为了验证本发明测量装置的实际有效性，我们将其部署在真实OC-192网络链路上，测试其统计真实业务流流长度的能力，测量结果表示在图4中。从图4可以看出，本装置对流长度的统计误差并没有随着流长度的增加而变大，对于大流和小流都能提供很好的准确度，一直维持在较低的稳定区域内，证明本发明测量装置具有良好的实际可行性和可扩展性。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (3)

1.一种网络业务流分组数与流长度并行测量装置，其特征在于，所述装置包括：输入模块、计数器地址映射模块、控制模块、分组数计算模块、流长度计算模块、随机数产生模块、写回模块、SRAM存储器和回导模块，所述SRAM存储器分为容量相同的存储部分和回写部分，所述分组数计算模块包括：采样概率计算单元和第一比较单元，所述流长度计算模块包括：浮点运算单元和第二比较单元；

所述输入模块，用于获取待测量网络链路上的IP数据报，并对所述IP数据报进行解析，以获取对应的IP五元组和报文长度；

所述计数器地址映射模块，用于查找与所述IP五元组对应的业务流计数器地址；

所述控制模块，用于根据所述业务流计数器地址从所述SRAM存储器的存储部分中读取完整流计数器值，并从所述完整流计数器值中提取出分组数计数器值和流长度计数器值；

所述随机数产生模块，用于产生第一随机数和第二随机数，所述第一随机数和第二随机数的取值范围均为不小于0且不大于1；

所述采样概率计算单元，用于根据所述分组数计数器值计算第一采样概率；

所述第一比较单元，用于比较所述第一随机数和第一采样概率，并根据比较结果调整第一采样命令的标志位；

所述浮点运算单元，用于根据所述流长度计数器值和报文长度计算第二采样概率和基本增量；

所述第二比较单元，用于比较所述第二随机数和第二采样概率，并根据比较结果调整第二采样命令的标志位；

所述写回模块，用于根据所述第一采样命令的标志位对所述分组数计数器值进行更新，根据所述第二采样命令的标志位和基本增量对所述流长度计数器值进行更新，并将更新后的分组数计数器值和流长度计数器值进行拼接，以获得更新后的完整流计数器值；

所述控制模块，还用于根据所述业务流计数器地址将所述更新后的完整流计数器值存储至所述SRAM存储器的存储部分中，并判断所述SRAM存储器的存储部分是否存在数据溢出，若存在数据溢出，则清空所述SRAM存储器的回写部分，并将所述SRAM存储器的存储部分和回写部分进行对换；

所述回导模块，用于对所述SRAM存储器的回写部分中的所有完整流计数器值逐一进行封装，并将封装后的数据传输至上位机；

所述控制模块通过以下两个条件判断所述SRAM存储器的存储部分存在数据溢出：条件一、所述更新后的完整流计数器值等于所述SRAM存储器的位宽所表示的最大数值；条件二、所述业务流计数器地址等于所述SRAM存储器的存储部分的最大容量所表示的地址；

所述采样概率计算单元根据所述分组数计数器值通过下式计算第一采样概率，

p′(s)＝1/[f(s+1)-f(s)]，

其中，s为分组数计数器值，b为常参数，p′(s)为第一采样概率；

所述浮点运算单元根据所述流长度计数器值和报文长度通过下式计算第二采样概率和基本增量，

$\left\{\begin{array}{c}p(c,l)=\frac{l+f\left(c\right)-f(c+delta(c,l\left)\right)}{f(c+delta(c,l)+1)-f(c+delta(c,l\left)\right)}\\ delta(c,l)=\[f^{-1}(l+f\left(c\right))-c\]-1\end{array}\right.$

其中，c为流长度计数器值，l为报文长度，p(c,l)为第二采样概率，delta(c,l)为基本增量，[·]为向上取整符，b为常参数，f^-1(·)为f(·)的反函数；

所述第一比较单元在比较结果满足下式时，将所述第一采样命令的标志位置为1，

p′≥q′

其中，p′为第一采样概率，q′为第一随机数，所述第一采样命令的标志位初始值为0；

所述写回模块根据所述第一采样命令的标志位通过下式对所述分组数计数器值进行更新，

其中，s为更新前的分组数计数器值，s′为更新后的分组数计数器值；

所述第二比较单元在比较结果满足下式时，将所述第二采样命令的标志位置为1，

p≥q

其中，p为第二采样概率，q为第二随机数，所述第二采样命令的标志位初始值为0；所述写回模块根据所述第二采样命令的标志位和基本增量通过下式对所述流长度计数器值进行更新，

其中，c为更新前的流长度计数器值，c′为更新后的流长度计数器值，delta为基本增量。

2.如权利要求1所述的装置，其特征在于，所述控制模块由FPGA芯片实现。

3.如权利要求1所述的装置，其特征在于，所述IP五元组包括：源IP地址、目的IP地址、源端口号、目的端口号和协议号。