CN102801624B

CN102801624B - 一种网络数据流抽样方法及装置

Info

Publication number: CN102801624B
Application number: CN201210291647.5A
Authority: CN
Inventors: 黄万伟; 冶晓隆; 董永吉; 张建辉; 马海龙; 于婧; 李玉峰; 卜佑军; 黄惠群
Original assignee: PLA Information Engineering University
Current assignee: PLA Information Engineering University
Priority date: 2012-08-16
Filing date: 2012-08-16
Publication date: 2015-03-04
Anticipated expiration: 2032-08-16
Also published as: CN102801624A

Abstract

本发明提供了一种网络数据流抽样方法及装置，依据计算得到的网络数据流测量系统中存储器的接口的空闲速率，确定网络数据流的抽样比，使用所述抽样比对网络数据流进行抽样，因此，抽样比不仅仅与网络的流量有关，也与网络数据流测量系统的后端存储器有关，从而使得抽样比能够适应整个测量系统，避免了出现报文丢失的问题，从而提高了测量的精度。

Description

一种网络数据流抽样方法及装置

技术领域

本发明涉及互联网领域，尤其涉及一种网络数据流抽样方法及装置。

背景技术

网络数据流测量是掌握网络行为特征，管理网络的有效依据和科学支撑，随着高速网技术不断的发展，网络数据流抽样技术成为网络数据流测量技术的研究重点。

现有的自适应网络数据流抽样方法依据网络数据流的大小调整抽样比，以所述抽样比进行抽样，虽然可以适应网络数据流的变化，但这种方法仅仅关注于抽样比是否适应于网络数据流，并未从网络数据流测量系统的整体进行考虑，在网络速率较高的情况下，网络测量系统的前端能够实现精确抽样，而后端有可能没有足够的处理能力与之匹配，从而会造成报文丢弃，很大程度上降低了测量的精度。

发明内容

有鉴于此，本发明提供了一种网络数据流抽样方法及装置，目的在于解决现有的自适应网络数据流抽样方法因报文丢弃而导致的测量精度不高的问题。

一种网络数据流抽样方法，应用于网络数据流测量系统，包括：

计算所述网络数据流测量系统中存储器接口的空闲速率；

依据所述空闲速率，确定网络数据流的抽样比；

使用所述抽样比，对所述网络数据流进行抽样。

优选地，所述计算所述网络数据流测量系统中存储器接口的空闲速率包括：

获取所述网络数据流测量系统中存储器接口的空闲带宽及预设的报文的比特数；

依据所述空闲带宽及所述比特数，计算所述网络数据流测量系统中存储器接口的空闲速率。

优选地，所述依据所述空闲速率，确定网络数据流的抽样比包括：

当所述空闲速率等于零时，依据预设的第一抽样比公式计算网络数据流的抽样比；

当所述空闲速率不等于零时，依据预设的第二抽样比公式计算网络数据流的抽样比。

优选地，所述预设的第一抽样比公式具体为：

当前时刻的抽样比等于前一抽样周期的抽样比与抽样比调节粒度及抽样系数的乘积的和；

所述预设的第二抽样比公式具体为：

当前时刻的抽样比等于前一抽样周期的抽样比与抽样比调节粒度及抽样系数的乘积的差。

优选地，所述抽样比调节粒度具体为：

网络数据流测量系统报文最大处理速率与链路最大报文速率的商。

优选地，所述抽样系数具体为：

当前时刻的链路报文速率与上一抽样周期的链路报文速率的商的向上取整的值。

优选地，所述使用所述抽样比，对所述网络数据流进行抽样包括：

为当前报文分配伪随机序列；

比较所述报文的伪随机序列及所述抽样比；

当所述报文的伪随机序列小于所述抽样比时，对所述报文进行抽样。

优选地，还包括：

计算抽样采集到的报文在所述网络数据流测量系统中的存储器中的存储地址；

依据所述存储地址将所述抽样采集到的报文所属的流进行存储。

一种网络数据流抽样装置，包括：

计算模块，用于计算所述网络数据流测量系统中存储器接口的空闲速率；

抽样比确定模块，依据所述空闲速率，确定网络数据流的抽样比；

抽样模块，用于使用所述抽样比，对所述网络数据流进行抽样。

优选地，所述计算模块包括：

参数获取单元，用于获取所述网络数据流测量系统中存储器接口的空闲带宽及预设的报文的比特数；

第一计算单元，用于依据所述空闲带宽及所述比特数，计算所述网络数据流测量系统中存储器接口的空闲速率。

优选地，所述抽样比确定模块包括：

判断单元，用于判断所述空闲速率是否等于零；

第二计算单元，用于当所述空闲速率等于零时，依据预设的第一抽样比公式计算网络数据流的抽样比；当所述空闲速率不等于零时，依据预设的第二抽样比公式计算网络数据流的抽样比。

优选地，所述抽样模块包括：

伪随机序列生成器，用于为当前报文分配伪随机序列；

比较单元，用于比较所述报文的伪随机序列及所述抽样比；

抽样单元，用于当所述报文的伪随机序列小于所述抽样比时，对所述报文进行抽样。

优选地，还包括：

第三计算单元，用于计算抽样采集到的报文在所述网络数据流测量系统中的存储器中的存储地址；

存储器，用于依据所述存储地址将所述抽样采集到的报文所属的流进行存储。

本发明实施例提供的一种网络数据流抽样方法及装置，依据计算得到的网络数据流测量系统中存储器的接口的空闲速率，确定网络数据流的抽样比，使用所述抽样比对网络数据流进行抽样，因此，抽样比不仅仅与网络的流量有关，也与网络数据流测量系统的后端存储器有关，从而使得抽样比能够适应整个测量系统，避免了出现报文丢失的问题，从而提高了测量的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种网络数据流抽样方法的流程图；

图2为本发明实施例公开的一种网络数据流抽样方法中使用所述抽样比，对所述网络数据流进行抽样的流程图；

图3为本发明实施例公开的又一种网络数据流抽样方法的流程图；

图4为本发明实施例公开的一种网络数据流抽样装置的结构示意图；

图5为本发明实施例公开的一种网络数据流抽样装置中计算模块的结构示意图；

图6为本发明实施例公开的一种网络数据流抽样装置中抽样比确定模块的结构示意图；

图7为本发明实施例公开的一种网络数据流抽样装置中抽样模块的结构示意图。

具体实施方式

本发明提供了一种网络数据流抽样方法及装置，其核心发明点在于，依据网络数据流测量系统中存储器接口的空闲速率确定对网络中的数据流的抽样比，从而使得抽样比能够与网络数据流测量系统中的存储器的处理能力相匹配。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明公开了一种网络数据流抽样方法，应用于网络数据流测量系统，所述系统的前端装置对数据流进行抽样，后端存储器对抽样得到的报文进行存储，如图1所示，所述方法包括：

S101：计算所述网络数据流测量系统中存储器接口的空闲速率；

本实施例中，优选以下公式对空闲速率进行计算：

PPS_RAM=Rate_RAM/M

其中，PPS_RAM为所述网络数据流测量系统中存储器接口的空闲速率，Rate_RAM为所述网络数据流测量系统中存储器接口的空闲带宽，由于每个抽样的报文都需要提取M bit的统计信息在存储器的表项空间内进行更新，因此，Rate_RAM要除以预设的报文的比特数M，以确保PPS_RAM以一个报文为单位。预设的报文的比特数可以为所述网络数据流测量系统中可传送的报文的固定的比特值。

需要说明的是，所述网络数据流测量系统中存储器接口的空闲带宽为当前没有被占用的带宽，具体为前时刻存储器接口空闲带宽Rate_RAM等于存储器最大接口带宽Rate_MAX减去存储器更新表项信息的带宽Rate_RE以及对表项管理占用的带宽Rate_MA，即：

Rate_RAM=Rate_MAX-Rate_RE-Rate_MA。

S102：依据所述空闲速率，确定网络数据流的抽样比；

抽样比是指，一个集合中的任意一个元素被抽到的概率。本实施例中的抽样比为包抽样比，是指网络中任意一个报文被抽样到的概率。例如：抽样比为0.03，意味着从100个报文中抽取3个，即一个报文被抽到的概率为0.03。

得到所述存储器接口空闲速率后，通过预设的抽样比调节粒度及抽样系数，计算出所述网络数据流的抽样比，具体地，包括：

即：如果PPS_RAM=0，说明当前时刻存储器接口无空闲带宽，存储器满速率抽样有可能在实际抽样中会造成报文丢失，这时需要降低抽样比，预设的第一抽样比公式可以为：

Rate_C=Rate_B-G*C；

如果PPS_RAM>0，说明存储器接口有空闲带宽，可以增大抽样比预设的第二抽样比公式可以：

Rate_C=Rate_B+G*C。

其中，Rate_C为当前时刻的抽样比，Rate_B为当前时刻的上一抽样周期的抽样比，G为抽样比调节粒度，C为抽样系数。通常，所述网络数据流测量系统中存储器接口的空闲速率不会为负值。

需要说明的是，本实施例中，如果当前的抽样时刻为第一个抽样周期时，因为不存在上一抽样周期，因此，可以预先定义上一抽样周期的抽样比为MAX_RATE/2，其中MAX_RATE为抽样系统的最大抽样比。实际应用中，可以根据实际情况上对第一抽样周期的前一抽样周期的抽样比Rate_B进行设置。

本实例中，优选抽样比调节粒度具体为：

网络数据流测量系统最大报文处理速率与链路最大报文速率的商，即：

G = \frac{R_{M}}{R_{P}}

其中，G为抽样比调节粒度，R_M为抽样比调节粒度网络数据流测量系统报文最大处理速率，R_P为链路最大报文速率。

链路的最大报文速率R_P为网络链路的最大带宽B_P除以链路中最短的包长。实际的网络中最大带宽根据链路的规模和类型等是确定的，以太网中规定最短的包长为64字节，即：

R_P=B_P/(64*8)。

例如，10G以太网链路最大报文速率为10¹⁰/(64*8)包/秒。

抽样系统最大处理报文速率R_M等于存储器的处理带宽B_M与每个报文的表项信息位宽M的商除以最小处理时间。存储器对每个抽样包的处理时间包括读表项时间T_R，计算时间T_C和写表项时间T_W，则：

R_{M} = \frac{B_{M} / M}{\min (T_{R} + T_{C} + T_{W})} .

因此，对于固定的网络数据流测量系统及固定的网络来说，R_M和R_P是固定的，进一步地，抽样比调节粒度也是固定的。

本实施例中，优选抽样系数具体：

当前时刻的链路报文速率与上一抽样周期的链路报文速率的商的向上取整的值，即：

其中，C为抽样系数，PPS_C为当前时刻的链路报文速率，PPS_B为当前时刻的上一抽样周期的链路报文速率。

每个周期的链路报文速率可以通过单位抽样周期内的报文数量除以时间间隔ΔT得到，其中，时间间隔ΔT根据链路速率实时调整，保证抽样的平稳性。

S103：使用所述抽样比，对所述网络数据流进行抽样。

如图2所示，本步骤具体包括：

S201：为当前报文分配伪随机序列；

S202：比较所述报文的伪随机序列及所述抽样比；

S203：当所述报文的伪随机序列小于所述抽样比时，对所述报文进行抽样。

本实施例中，对进入所述网络数据流测量系统的每个报文都分配伪随机序列，对比每个报文来说，当其伪随机序列小于所述抽样比时，都会被抽样。

现有技术中，抽样比的调整只依赖于网络中当前的数据流量的大小，如果数据流量大，则增大抽样比，而网络数据流测量系统中后端的存储器接口的空闲速率是有限的的，当抽样比过大时，抽样得到的报文就无法被存储器接口处理，因此会导致报文的丢弃，进一步地，导致网络数据流测量结果的不准确；而本实施例所述的网络数据流抽样方法，根据计算得到的网络数据流测量系统中存储器接口的空闲速率，确定当前时刻的抽样比与上一抽样周期的抽样比相比，是增大还是减小，由此可以看出，本实施例所述的抽样方法，能够以存储器接口的空闲速率为依据调整抽样比，因此，避免了存储器接口对抽样报文的丢弃，提高了网络数据流测量的准确性。

并且，现有的网络数据流抽样方法都是由处理器实现的，而本实施例所述的网络数据流抽样方法，可以由可编程逻辑单元实现，而不必依赖于处理器，因此可以减轻处理器的处理负担，同时提高本实施例所述方法的通用性。

下面，对本发明所述的方法进行详细的描述：

本发明实施例公开的又一种网络数据流抽样方法，应用于网络数据流测量系统，所述系统的前端装置对数据流进行抽样，后端存储器对抽样得到的报文进行存储，如图3所示，所述方法包括：

S301：计算当前抽样周期的抽样比调节粒度及抽样系数；

其中，抽样比调节粒度抽样系数计算方法与上述实施例相同，这里不再赘述，需要说明的是，如果当前抽样周期为第一抽样周期而没有前一次抽样周期，则抽样系数中PPS_B的值可以根据实际情况及需求进行预先设定，例如，对于固定抽样系统，如果最大抽样比为MAX_RATE，则可以定义初始化抽样比为MAX_RATE/2，这里不做限定。

S302：计算所述网络数据流测量系统中存储器接口的空闲带宽：Rate_RAM=Rate_MAX-Rate_RE-Rate_MA；

S302：依据所述空闲带宽，计算所述网络数据流测量系统中存储器接口的空闲速率：PPS_RAM=Rate_RAM/M；

其中，S301和S302可以交换顺序。

S303：判断所述PPS_RAM是否等于零，如果是，则执行S304，如果否，则执行S305。

S304：依据第一抽样比计算公式Rate_C＝Rate_B-G*C，计算抽样比。

S305：依据第二抽样比计算公式Rate_C＝Rate_B+G*C，计算抽样比。

S306：为当前的报文分配伪随机序列；

S307：比较所述报文的伪随机序列是否小于所述抽样比，如果是，执行S308，如果否，则结束。

S308：对所述报文进行抽样；

S309：为抽样采集到的报文计算存储地址，依据所述存储地址将所述抽样采集到的报文所属的流进行存储。

具体为：对采集的报文根据五元组信息利用哈希算法建立流和流表项之间的关系，生成位宽为M bit的表项信息。查询表项空间确定此流是否存在，如果存在，更新此表项信息；不存在，新建表项，更新表项空间。

本实施例所述的网络数据流抽样方法，能够避免存储器接口对抽样报文的丢弃，提高网络数据流测量的准确性。并且，本实施例所述的方法，可以由可编程逻辑单元实现，而不必依赖于处理器，因此可以减轻处理器的处理负担，同时提高本实施例所述方法的通用性。

与上述方法实施例相对应的，本发明实施例还公开了一种网络数据流抽样装置，如图4所示，包括：

计算模块401，用于计算所述网络数据流测量系统中存储器接口的空闲速率；

其中，所述网络数据流测量系统中存储器接口的空闲速率的计算方法与上述实施例相同，这里不再赘述。

抽样比确定模块402，依据所述空闲速率，确定网络数据流的抽样比；

当所述空闲速率等于零时，依据预设的第一抽样比公式：Rate_C=Rate_B-G*C₂，计算网络数据流的抽样比；

当所述空闲速率不等于零时，依据预设的第二抽样比公式：Rate_C＝Rate_B+G*C，计算网络数据流的抽样比。

其中，第一抽样比公式和第二抽样比公式中的各项参数及计算方法与上述实施例相同，这里不再赘述。

抽样模块403，用于使用所述抽样比，对所述网络数据流进行抽样。

本实施例所述的装置对网络数据流进行抽样的具体过程为：计算模块计算得到网络数据流系统中的存储器接口的空闲速率，抽样比确定模块依据所述存储器的接口空闲速率对当前时刻的抽样比进行调整，抽样模块依据所述当前时刻的抽样比对网络中的数据流就行抽样。

本实施例所述的网络数据流抽样装置，根据计算得到的网络数据流测量系统中存储器接口的空闲速率，确定当前时刻的抽样比与上一抽样周期的抽样比相比，是增大还是减小，由此可以看出，本实施例所述的抽样方法，能够以存储器接口的空闲速率为依据调整抽样比，因此，避免了存储器接口对抽样报文的丢弃，提高了网络数据流测量的准确性。

进一步地，如图5所示，所述计算模块包括：

参数获取单元501，用于获取所述网络数据流测量系统中存储器接口的空闲带宽及预设的报文的比特数；

第一计算单元502，用于依据所述空闲带宽及所述比特数，计算所述网络数据流测量系统中存储器接口的空闲速率。

进一步地，如图6所示，所述抽样比确定模块包括：

判断单元601，用于判断所述空闲速率是否等于零；

第二计算单元602，用于当所述空闲速率等于零时，依据预设的第一抽样比公式计算网络数据流的抽样比；当所述空闲速率不等于零时，依据预设的第二抽样比公式计算网络数据流的抽样比。

进一步地，如图7所示，所述抽样模块包括：

伪随机序列生成器701，用于为当前报文分配伪随机序列；

比较单元702，用于比较所述报文的伪随机序列及所述抽样比；

抽样单元703，用于当所述报文的伪随机序列小于所述抽样比时，对所述报文进行抽样。

进一步地，本实施例所述的装置还包括：

这里所述的存储器即为网络数据流测量系统中的存储器。

需要说明的是，上述的第一计算单元、第二计算单元、第三计算单元可以分别单独设置，也可以集成在一起。本实施例不做限定。

本实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本发明实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备（可以是个人计算机，服务器，移动计算设备或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种网络数据流抽样方法，应用于网络数据流测量系统，其特征在于，包括：

计算所述网络数据流测量系统中存储器接口的空闲速率，包括：获取所述网络数据流测量系统中存储器接口的空闲带宽及预设的报文的比特数；依据所述空闲带宽及所述比特数，计算所述网络数据流测量系统中存储器接口的空闲速率；

依据所述空闲速率，确定网络数据流的抽样比，包括：当所述空闲速率等于零时，依据预设的第一抽样比公式计算网络数据流的抽样比；当所述空闲速率不等于零时，依据预设的第二抽样比公式计算网络数据流的抽样比；

使用所述抽样比，对所述网络数据流进行抽样。

2.根据权利要求1所述的方法，其特征在于，所述预设的第一抽样比公式具体为：

当前时刻的抽样比等于前一抽样周期的抽样比与抽样比调节粒度及抽样系数的乘积的和，其中抽样比调节粒度具体为：网络数据流测量系统最大报文处理速率与链路最大报文速率的商，抽样系数具体为：当前时刻的链路报文速率与上一抽样周期的链路报文速率的商的向上取整的值；

所述预设的第二抽样比公式具体为：

3.根据权利要求2所述的方法，其特征在于，所述使用所述抽样比，对所述网络数据流进行抽样包括：

为当前报文分配伪随机序列；

比较所述报文的伪随机序列及所述抽样比；

4.根据权利要求1所述的方法，其特征在于，还包括：

5.一种网络数据流抽样装置，其特征在于，包括：

抽样模块，用于使用所述抽样比，对所述网络数据流进行抽样；

所述计算模块包括：

第一计算单元，用于依据所述空闲带宽及所述比特数，计算所述网络数据流测量系统中存储器接口的空闲速率；

所述抽样比确定模块包括：

判断单元，用于判断所述空闲速率是否等于零；

6.根据权利要求5所述的装置，其特征在于，所述抽样模块包括：

伪随机序列生成器，用于为当前报文分配伪随机序列；

比较单元，用于比较所述报文的伪随机序列及所述抽样比；

7.根据权利要求5所述的装置，其特征在于，还包括：