CN101051952A - 高速多链路逻辑信道环境下的自适应抽样流测量方法 - Google Patents

Abstract

高速多链路逻辑信道环境下的自适应抽样流测量方法是一种用于计算机网络设备的自适应抽样流测量方法，该方法基于对NetraMet和NetFlow系统设计的分析，本发明使用了支持高速多链路逻辑信道网络测量的抽样比，能根据网络流量的状况自调节报文抽样比和流抽样比，并且支持时间片方式输出流信息，以通用的方式支持任何信道的流量监测。本发明利用基于阈值检测－趋势触发的报文抽样比自适应调节算法和基于抽样一保持流抽样算法以较小的资源开销监测任何高速多链路逻辑信道，并在流量突发的情况下维持系统开销不变，支持以时间片的方式输出链路上的流量信息，误差小，为流量分析、异常检测等应用提供了精确的信息。

Description

高速多链路逻辑信道环境下的自适应抽样流测量方法

技术领域

本发明是一种用于计算机网络设备的自适应抽样流测量方法，属于计算机网络监测与分析的技术领域。

背景技术

在网络发展的早期，单计算机处理能力足以应付低速网络流量监测的处理需要，网络测量系统的研究和实现基本上以基于单机的处理模式为主。IETF的RTFM[1]和IPFIX[2]工作组就分别从基于单机处理模式的测量系统体系结构的设计和IP流测量系统的数据交换角度制定了大量RFC标准化建议。这些标准化建议很大程度上影响了目前已有的测量系统的结构设计，其中NetraMet[3]和NetFlow[4]是目前国际上使用最多、最具备代表性的两个测量系统。

NetraMet按照RTFM工作组提出的RFC 2722设计，其代表了基于单机处理方式的测量器设计上的成熟。但其设计构想主要针对早期低速网络环境，难以适用于近年新出现的高速网络环境，不足主要表现在：1、基于单机串行处理模式的系统设计不适用于多链路逻辑信道环境下的流量测量任务；2、为网络计费服务的流组聚合和流统计属性构想无法服务于高速网络流量研究对数据需求的多样性；3、缺乏对抽样流测量的支持；4、基于SNMP MIB的数据交换方式不适合高速数据输出需要。

Cisco公司的NetFlow在NetraMet的基础上对系统结构和功能需求进行了简化，改进了数据交换方式，增加了抽样以及流信息终止策略以更好的适应高速网络环境下测量的需要。但其也有一些不足：

1.流记录数极大的依赖流量中的流成分。Sampled NetFlow采用的报文抽样方式可以控制进入测量系统的报文数量，但是单纯的报文抽样算法无法控制SampledNetFlow中的流记录数目，流记录数目极大依赖信道流量的成分，使得在主干环境下Sampled NetFlow抽样比的设置无法有效增强测量的稳定性和可靠性。

2.网络管理员必须手工设置抽样比率。合理的抽样比设置是测量的精度和测量系统的稳定性的保证。然而主干网络流量随着网络用户行为的周期性存在着长期明显的潮汐现象，并且病毒传播、大规模扫描和DDos等网络滥用行为都会带来短期内的流量剧烈波动。因此Sampled NetFlow依赖于手工静态的抽样比设置难以获得最优的设置效果，且无法适应主干流量的快速变化。

3.流结束方式与流分析的需要矛盾。目前不少流分析和可视化表示研究[5，6，7]都参考了IPFIXI作组对流的定义以时间片内流信息作为数据处理对象。而NetFlow中只有当流结束时流信息记录才输出，不兼容时间片处理方式。

目前国际上使用最多的流抽样算法是Estan和George提出的抽样-保持算法(简称SH算法)[8]。但其存在着一个潜在的反馈影响问题，难以对抽样控制效果进行定量描述。

参考文献：

[1]Realtime Traffic Flow Measurement(rtfm)[EB/OL].

http://www.ietf.org/html.charters/OLD/rtfm-charter.html.

[2]IP Flow Information Export(ipfix)[EB/OL].

http://www.ietf.org/html.charters/ipfix-charter.html.

[3]NeTraMet++[EB/OL].http://www2.auckland.ac.nz/net/NeTraMet/.

[4]Cisco Netflow[EB/OL].

http://www.cisco.com/warp/public/732/Tech/netflow.

[5]Paul Barford，Jeffrey Kline，et al.A signal analysis of network trafficanomalies[C].In Internet Measurement Workshop，November 2002.

[6]Anja Feldmann，Albert Greenberg，et al.Deriving traffic demands foroperational IP networks：Methodology and experience[C].In Proceedings ofthe ACM SIGCOMM，pages 257-270，August 2000.

[7]David Plonka.Flowscan：A network traffic flow reporting andvisualization tool[C].In USENIX LISA，pages 305-317，December 2000.

[8]Cristian Estan，George Varghese.New Directions in Traffic Measurementand Accounting：Focusing on the Elephants，Ignoring the Mice[C].ACMTransactions on Computer Systems，August 2003.

发明内容

技术问题：本发明的目的是提供一种高速多链路逻辑信道环境下的自适应抽样流测量方法，解决传统流测量系统所存在的三个问题：1、从系统结构上支持多链路逻辑信道网络环境；2、根据系统负载状况自适应动态调节抽样的比率以适应高速网络环境下流量的变化，保证系统稳定运行；3、支持以时间片的方式输出流信息。

技术方案：基于对NetraMet和NetFlow系统设计的分析，本发明使用了支持高速多链路逻辑信道网络测量的抽样比，能根据网络流量的状况自调节报文抽样比和流抽样比，并且支持时间片方式输出流信息，以通用的方式支持任何信道的流量监测。

本发明利用基于阈值检测—趋势触发的报文抽样比自适应调节算法和基于抽样-保持流抽样算法以较小的资源开销监测任何高速多链路逻辑信道，并在流量突发的情况下维持系统开销不变，支持以时间片的方式输出链路上的流量信息，误差小，为流量分析、异常检测等应用提供了精确的信息。

1)、多路归并多级优化模型

高速多链路逻辑信道是指在主干路由或交换设备间通过多条平行的物理链路来构成带宽容量更大(且更可靠)的传输信道。由于一条流可能会同时存在于多条逻辑信道上，因此需要归并多链路采集的报文信息，以给出整条信道上的流量信息。图1(a)是一般多路归并的直接模型。在该系统模型中，来自多链路的报文中的传输信息需全部在系统报文处理和流信息维护层各计算节点间进行交换。该模型的数据交换压力过重，不能直接适用于测量系统的实现。例如，当测量系统接入4路千兆GE流量时，设数据流的平均数据报长为500字节，而多路归并中交换的信息为报文协议信息和时间标记信息约70字节，根据4*2*1024*(70/512)＝1120Mbps，即便采用千兆交换设备仍无法支持系统层间的数据交换需要，测量系统不可实现。此外，层间报文数据的交换还带来了处理节点负载安排不合理和系统规模可伸缩性的缺乏。

在图1(b)所示的改进分层多机模型中，系统结构包括链路信息处理、信道流信息处理和报告生成三层。模型中第一层为链路处理层，该层的处理节点除负责原有的报文处理工作外还负责在本地将链路报文归并为链路流信息并投递给信道流信息处理层的处理节点。信道流信息处理层的处理节点负责将来自链路信息处理节点的链路流信息归并成逻辑信道下的流信息以及流信息的维护。报文生成层的处理节点负责生成最终测量报告。在改进的模型中，通过将多路归并操作后移到流信息维护层，测量系统避免了分层多机直接模型存在的性能和成本问题。一方面，基于链路流信息的多路归并大大降低了系统内多路归并的数据交换压力，同时也减少了二层处理节点的负载和资源需要；另一方面，对流信息的拆分(链路流信息和信道流信息)和链路信息维护功能的迁移合理均衡了系统第一层和第二层处理节点的负载，提高了系统总体设计的合理性。

2)、自适应报文抽样

本发明使用基于阈值检测-趋势触发(下简称TD²)的自适应报文抽样调节算法处理高速网络及流量突发，保证测量系统处理器资源的安全和系统运行的可靠性。图2是TD²算法的结构示意图。TD²算法包括基于阈值的流速变化检测和流速变化趋势分析两个步骤来实现对抽样比调节时机的判断。

基于阈值的流速变化检测通过设置抽样比变化速率阈值和抽样比变化量阈值来检测潜在的流量变化可能性。其首先根据PPS_当前(每秒钟报文到达数)和测量系统CPU(中央处理器)安全的最大报文流速设置PPS_CPU计算出理论抽样比。令Rate_C代表与当前报文流速PPS相对应的抽样比，Rate_CL代表前一次PPS采样所得的PPS对应的抽样比值，Rate_L代表当前正在使用的报文抽样比，k和d分别代表当前PPS采样前后的抽样比变化强度和当前PPS对应抽样比Rate_C与当前使用中的Rate_L之间的偏差量，即 $k=\frac{({\mathrm{Rate}}_C-{\mathrm{Rate}}_{\mathrm{CL}})}{\mathrm{\Δ}{t}_{\mathrm{pps}}},$ d＝Rate_C-Rate_L，K和D分别表示k和d所对应的最大阈值限制。通过阈值K的设置和比较k与K的关系可以检测到短期内突发性的流量变化，而阈值D的作用是检测流量的缓慢趋向性变化。若k的绝对值＞K或d的绝对值＞D，则流量有变化的情况发生。此时，若d＞0，则流量显著增大；若d＜0，流量显著减小。

流速变化趋势分析通过由前一步骤检出的流量变化可能性的趋势分析来判定是否触发抽样比的调整。在趋势判断算法中，只有当前和前一次流量变动表现出一致的趋向时，即流速同为增或同为减时才认定流量出现了明显的改变趋势并触发抽样比的改变。

同时，为了避免主干网PPS快速多变造成调节算法的频繁误触发，采用基于动态报文计数的PPS计算算法，不以固定采样间隔内的报文总量来计算报文流速PPS，而是首先根据当前PPS值预计在接下来相同的时间间隔内应有多少报文到达作为PPS计算公式中的报文计数量Pkt，然后根据到达报文计数达到Pkt时的实际Δt_PPS来计算PPS。当流量突发增长时，完成预计报文总量的计数时间会小于预期的报文计数时间，从而缩短了PPS计算间隔Δt_PPS。当流量恢复稳定后，PPS采样间隔也会恢复。

3)、自适应流抽样

自适应流抽样的主要目的是通过抽样方式控制进入测量系统的流数量以保证测量系统内存资源安全。自适应流抽样包括可调节流抽样和自适应抽样调节两个部分。前者是自适应流抽样的执行部分，负责根据可动态调节的抽样比设置执行流抽样；后者是自适应流抽样的决策部分，负责对流抽样的动态控制。通过自适应抽样调节功能部分对可调节流抽样的控制，使不断变化的新流到达速率S_flow-arrival经过抽样控制后以稳定的流记录生成速度S_flow-create输出。

目前国际上使用最多的流抽样算法是Estan和George提出的抽样-保持算法(简称SH算法)。但其存在着一个潜在的反馈影响问题，难以对抽样控制效果进行定量描述。随着抽样的不断进行，流量中越来越多的流成为了已存在流，会反馈影响进入抽样的新的报文流的流分布，难以得出准确的抽样控制模型来描述抽样对新流记录生成速度的影响。对此，本发明引入两点改进：1、抽样和原有的流存在性检查变为平行关系，抽样对流存在性检查的影响将不再能反馈影响抽样，简化了抽样控制模型的设计；2、引入了两次流存在性检查。前者用来起到原SH算法中的保持作用，而后者是为了在新算法的框架中与抽样算法合作实现原算法中的对新流的抽样功能。同时，本发明使用报文随机抽样作为流抽样控制算法，其可与报文自调节抽样中的随机抽样合并；使用基于32位的循环冗余校验CRC32和3个哈希函数的128k字节的Bloomfilter位图进行快速流存在查询。

根据改进后的SH算法思想，本发明得出报文随机抽样对流抽样在概率上具有以下关系： $E\left(P_{\mathrm{flow}}\right)=1-\underset{i=1}{\overset{\∞}{\mathrm{\Σ}}}(P_{\mathrm{flow}}(\mathrm{len}=i)\×q^i)=1-a_{1}q-a_2{q}^2\·\·\·,|a_i=P_{\mathrm{flow}}(\mathrm{len}=i).$ 其中q为报文丢弃率，P_flow为流丢弃率，流抽样比R_Flow＝1-P_flow，即报文抽样对应的流抽样率的概率期望是报文丢弃率的一元高次多项式函数，该函数的数学性质与实际流量测试结果相符合。且在实际拟合实验中发现多项式阶数k的取3或4为宜，过高的k值设定会引起拟合的曲线围绕原始测量曲线出现大幅波动而背离原函数。由于4次以上的一元多项式不存在常规解法，因此本发明采用k＝3作为拟合函数的最高次数，即P_flow＝c₀+c₁q+c₂q²+c₃q³。为了能够得出方程系数c₀～c₃，首先使用任意4个q值运行系统对应得到4个不同的流丢弃率P_flow，将4组不同的(P_flow，q)代入方程，求该四元一次方程组得到c₀～c₃，从而得到P_flow和q的对应关系。

最后，本发明将系统可用流记录空间按照比例划分为多个阈值，将阈值作为流计数触发调节来触发抽样比的调节。若内存的使用超过某个阈值，则通过增大报文丢弃率q以增大流丢弃率P_flow，从而减少流抽样比R_Flow，达到减缓内存消耗的目的。

4)高速多链路逻辑信道环境下的自适应抽样流测量方法具体步骤为：

(1)原始报文经过采集器，首先统计其数量，使用当前每秒报文到达数量PPS计算间隔Δt_PPS内的报文数量除以Δt_PPS，得出当前链路的PPS，记为PPS_当前，并以此改变下一次的计算间隔Δt_PPS，

(2)计算报文抽样比，过程如下：

a)根据PPS_当前和测量系统中央处理器CPU安全的最大报文流速设置PPS_CPU计算出理论抽样比Rate_C，

b)使用理论抽样比Rate_C、前一次PPS采样所对应的抽样比值Rate_CL和当前正在使用的报文抽样比Rate_L，计算出当前PPS采样前后的抽样比变化量k和当前PPS对应抽样比与当前使用中的之间的偏差量d，

c)若当前PPS采样前后的抽样比变化量k的绝对值大于抽样比最大阈值限制K或者当前PPS对应抽样比与当前使用中的之间的偏差量d的绝对值大于偏差量最大阈值限制D，则流量有变化的情况发生。此时，若d＞0，则流量显著增大；若d＜0，流量显著减小，

d)若此次流量变化趋势和前一次变化趋势相同，则使用理论抽样比Rate_C设置新的报文抽样比Rate_L，否则Rate_L不变，

(3)使用报文抽样比Rate_L进行报文的抽样采集，

(4)对采集到的报文组流，并计算流抽样比，过程如下：

a)提取每个报文中的源、宿IP地址，源、宿端口号和传输层协议信息作为流标识，将此五元组相等并且报文间隔时间小于64秒的报文归结为同一条流记录，

b)利用128k字节的多哈希”Bloomfilter”位图进行流存在查询，如果流已经存在，则更新内存中的流信息，否则，使用当前的流抽样比来决定是否记录该流，

c)如果内存的使用超过某个预先设定的阈值，则将当前流抽样比降低为新抽样比R_Flow，其是通过计算方程1-R_Flow＝c₀+c₁q+c₂q²+c₃q³得到报文丢弃率q，进而改变报文丢弃率来实现的，其中c₀、c₁、c₂、c₃为常数，

(5)定时器超时，前端系统执行系统中哈希索引表的轮换、使用报文抽样比和流抽样比还原出本链路上的流量基本信息、流记录缓存的清空，并以用户数据报协议UDP报文的形式将流信息发送到后端系统，

(6)后端系统接收多条链路来的流信息报告，将流量总体信息累加，同一条流的信息合并，形成信道流信息报告，

(7)根据用户所定义的时间片设置定时，轮换后端系统的哈希索引表、清空信道流记录缓存、形成信道流综合信息报告并以UDP报文形式输出供后续其它分析程序使用。

5)、本发明工作过程

基于上面的设计思想，测量系统的总体结构如图3所示，分为前后两级子系统：前端链路流信息监测单元子系统和后端逻辑信道流信息综合单元子系统。其中前端子系统实现链路流信息的自调节抽样测量，后端子系统实现了对逻辑信道中多路链路流信息的归并和综合。各单元子系统直接由用户命令集中控制，采用网络时间协议NTP方式实现多机系统内时间同步。

链路流信息监测单元子系统通过光耦合器分光作用获取主干光纤链路上双向网络流量镜像作为输入，以用户数据报协议UDP数据报的形式输出链路流信息报告。总体结构如图4所示，控制调度模块的主要功能为接收来自用户的控制信息，完成对整个子系统的配置并控制子系统的工作状态(运行或停止)；数据处理模块负责执行报文的采集，报文的自适应抽样和抽样组流功能；数据发送模块则负责以UDP报文方式异步发送链路流信息报告。其中，数据处理模块实现了上文所述的自调节抽样链路流信息测量算法，通过数据处理状态维护、自适应报文抽样、自适应流抽样以及流信息维护四个功能块实现所有功能。数据处理状态维护功能块收集报文抽样功能和流抽样功能的抽样比信息以及当前链路的每秒报文到达数PPS和每秒字节到达数BPS信息，将当前单元子系统进行数据处理的状况信息也通过数据发送模块发送至后端子系统以便于对单元运行状况的监控。自适应报文抽样功能和自适应流抽样功能分别实现了对报文抽样和流记录抽样生成算法。流信息维护功能封装了单元流信息记录缓存数据结构及对该数据结构的操作。

逻辑信道流信息综合单元子系统接收链路流信息报告，将来自多条的链路流信息进行归并综合生成信道流信息报告，并以Cisco公司定义的NetFlow流信息报告格式输出。子系统总体结构如图5所示，控制调度主要用于控制其他部分的配置和运行。上文所述的多路流信息归并和综合算法分别由链路流信息接收处理以及时间片定时处理两个模块实现。链路流数据接受处理模块由链路流信息报告的到达驱动，其负责接收来自前端链路流信息监测单元的链路流信息并对属于同一流的链路流信息进行同流归并以及流属性的综合。而时间片定时则由系统定时器触发，它根据时间片设置定时执行系统中哈希索引表的轮换、信道流记录缓存的清空和信道流综合信息报告的输出。

有益效果：

1)、多链路逻辑信道采集与归并综合

由于中间交换层的限制，现有的技术或产品只能处理单链路信道或者由较少逻辑链路组成的信道。本发明对多链路归并直接模型进行了改进，使得中间层只交换链路流信息，以处理任意多条逻辑链路组成的信道，同时均衡了个处理节点的负载，提高了系统的总体性能。

2)、较小的内存和CPU资源消耗

本发明采用基于机器性能和当前网络状态的自适应调节报文抽样与流抽样比，使得系统可以运行于较少的内存和CPU资源上，并在任何高速网络及流量突发的情况下维持内存与CPU资源的消耗不变，保证系统运行的稳定性。

3)、支持时间片方式输出流信息

本发明可以根据用户设置的时间定时执行系统中哈希索引表的轮换和信道流记录缓存的清空，达到以时间片方式输出信道流综合信息报告的效果，满足现行很多流分析和可视化表示研究的要求。

附图说明

图1是被动流测量系统分层多机优化模型，

图2是链路流信息监测子系统总体结构，

图3是被动自调节抽样流测量系统总体结构，

图4是链路流信息监测子系统总体结构，

图5是逻辑信道流信息综合子系统总体结构，

图6是测量系统实例，

图7是抽样比效果图，

图8自适应流抽样调节中报文抽样与流抽样情况

具体实施方式

如图6所示，在两路由或交换设备之间(如ASON、CWDM)有n条平行的物理链路构成传输信道。通过部署n个分光器将网络流量引入n个流信息监测单元，各个流信息监测单元通过百兆交换机与后端的流信息综合单元相连，以UDP数据包的形式将链路流信息发送到后端，由流信息综合单元归并，再以NetFlow报告格式输出。

1)原始报文经过采集器，首先统计其数量，使用当前每秒报文到达数量PPS计算间隔Δt_PPS内的报文数量除以Δt_PPS，得出当前链路的PPS，记为PPS_当前，并以此改变下一次的计算间隔Δt_PPS，

2)计算报文抽样比，过程如下：

a)根据PPS_当前和测量系统中央处理器CPU安全的最大报文流速设置PPS_CPU计算出理论抽样比Rate_C，

b)使用理论抽样比Rate_C、前一次PPS采样所对应的抽样比值Rate_CL和当前正在使用的报文抽样比Rate_L，计算出当前PPS采样前后的抽样比变化量k和当前PPS对应抽样比与当前使用中的之间的偏差量d，

c)若当前PPS采样前后的抽样比变化量k的绝对值大于抽样比最大阈值限制K或者当前PPS对应抽样比与当前使用中的之间的偏差量d的绝对值大于偏差量最大阈值限制D，则流量有变化的情况发生。此时，若d＞0，则流量显著增大；若d＜0，流量显著减小，

d)若此次流量变化趋势和前一次变化趋势相同，则使用理论抽样比Rate_C设置新的报文抽样比Rate_L，否则Rate_L不变，

3)使用报文抽样比Rate_L进行报文的抽样采集，

4)对采集到的报文组流，并计算流抽样比，过程如下：

a)提取每个报文中的源、宿IP地址，源、宿端口号和传输层协议信息作为流标识，将此五元组相等并且报文间隔时间小于64秒的报文归结为同一条流记录，

b)利用128k字节的多哈希”Bloomfilter”位图进行流存在查询，如果流已经存在，则更新内存中的流信息，否则，使用当前的流抽样比来决定是否记录该流，

c)如果内存的使用超过某个预先设定的阈值，则将当前流抽样比降低为新抽样比R_Flow，其是通过计算一元三次方程1-R_Flow＝c₀+c₁q+c₂q²+c₃q³得到报文丢弃率q，进而改变报文丢弃率来实现的，其中c₀、c₁、c₂、c₃为常数。

5)定时器超时，前端系统执行系统中哈希索引表的轮换、使用报文抽样比和流抽样比还原出本链路上的流量基本信息、流记录缓存的清空，并以用户数据报协议UDP报文的形式将流信息发送到后端系统，

6)后端系统接收多条链路来的流信息报告，将流量总体信息累加，同一条流的信息合并，形成信道流信息报告，

7)根据用户所定义的时间片设置定时，轮换后端系统的哈希索引表、清空信道流记录缓存、形成信道流综合信息报告并以UDP报文形式输出供后续其它分析程序使用。

举例说明，报文抽样比的调节：

下表列举了网络流量和处理器性能限制描述量，其中PPS_CPU，DPPS_CPU和DT_CPU三个量可以通过测量器压力测试来获得。而WPPS可以根据网络管理员根据链路的流量变化给出经验性的指标设定，也可以通过对链路流量记录进行基于最大概率似然分析由计算获得。

类别	描述指标量	说明
			测量器性能限制描述	PPSCPU	对于测量器CPU资源安全的PPS上限值
DPPSCPU	测量器允许的CPU安全的高于PPSCPU的PPS短期过载量
		DTCPU		DPPSCPU对应的CPU安全的短期过载时间
被测链路流量特性描述	WPPS				被测链路以ΔtPPS-defualt时间粒度测得的PPS波动曲线中，PPS瞬态波动的波动幅度经验上界

根据表中的描述指标可以得出流量短期波动带来的抽样比波动率上限K1为：

$K1=\frac{\mathrm{WPPS}}{{\mathrm{PPS}}_{\mathrm{CPU}}\×\mathrm{\Δ}{t}_{\mathrm{PPS}-\mathrm{default}}}.$

测量器可容忍的短期流量过载所对应的抽样比波动率上限K2为：

$K2=\frac{{\mathrm{DPPS}}_{\mathrm{CPU}}}{{\mathrm{PPS}}_{\mathrm{CPU}}\×\mathrm{\Δ}{t}_{\mathrm{PPS}-\mathrm{default}}}$

作为尽量消除流量波动对趋势分析的影响和同时保证测量器系统CPU资源安全，K的合理取值应尽量满足： $\left\{\begin{array}{c}K\≥K1\\ K\≤K2.\end{array}\right.$ 如果K1大于等于K2，则出于保护测量器系统CPU资源安全的需要，K应设置为：，以首先满足系统稳定性的需要而牺牲部分消除瞬态波动影响的有效性。实现中可简单的取K＝K2。

此外在缓慢增长的PPS流量到达威胁测量器CPU资源安全之前需要触发抽样调节，监测D的取值应满足 $D\≤\frac{{\mathrm{DPPS}}_{\mathrm{cpu}}}{2}.$ 实现中可取 $D=\frac{{\mathrm{DPPS}}_{\mathrm{cpu}}}{3}.$

基于上述阈值的取值，得到图7中所示的结果。图(a)是CERNET华东北地区网络主干链路某时间段内PPS的观测记录，采取4秒钟的采样粒度。图(b)表示三种抽样比调节算法的调整效果。由于PPS的快速变化，直接调节所获得的抽样比随着时间频繁的波动。而只使用了阈值检测算法的抽样比调节算法则只有当流量PPS波动幅度超过阈值限制时才触发抽样比的调节。因此，使用阈值检测的调节算法引起的抽样比波动比直接调节大量减少。但是当流量的瞬态波动幅度过大超过了阈值的限制情况下，阈值检测调节算法则失去了稳定抽样比调节的作用，出现大量的误触发动作，如图中第9次PPS采样时刻和第73次PPS计算时刻至最后的变化曲线所示。而使用了阈值检测和流量趋势分析算法的抽样比曲线中，超过阈值范围流量瞬态波动被趋势分析所抑制，只出现了2次抽样比的调节，且在第67次计算PPS到最后出现的报文流速快速波动时也未出现误触发情况。根据实际数据测试，基于阈值检测-趋势触发的报文抽样比调节算法达到了本发明所期望的调节效果。

流抽样比的调节：

本发明通过对报文随机抽样的抽样率P_pkt的调节来控制流抽样的抽样率P_flow的改变。其中， ${P_{\mathrm{flow}}}^{*}=\frac{\mathrm{\Δ}{\mathrm{SUM}}_{\mathrm{flow}-\mathrm{sampled}}}{{\mathrm{\ΔSUM}}_{\mathrm{flow}-\mathrm{arrival}}},$ 可在第二次流存在性检查中当流不存在插入新流记录时通过计数方式获得ΔSUM_flow-sampled，而ΔSUM_flow-arrival参量则可以在报文到达时通过添加针对整个被测链路流计数的Bloom filter位图数据结构来求得。

在实际中，为了能够在一个Δt时间片内求出方程 ${P_{\mathrm{flow}}}^{*}=c_0+c_{1}q+c_2{q}^2+c_3{q}^3$ 的四个参数，首先使用四组Bloom filter位图，对应四组不同的报文抽样比(可取20％、40％、60％、80％)，同时对报文进行抽样组流，得到四个不同的P_flow，进而在一次参量采样中计算出流抽样控制一元3次多项式模型的参数[c₀，c₁，c₂，c₃]。

图8所示为实际测量中所得的报文抽样比与流抽样比的关系。可以看出，即使测量系统由于内存限制仅仅维护了不足一半的流总数，但通过流抽样后仍能捕获到占流量报文总数的95％以上的报文，达到了捕获流量主要成分的目的。

Claims (1)

1.一种高速多链路逻辑信道环境下的自适应抽样流测量方法，其特征在于该测量方法为：

1)原始报文经过采集器，首先统计其数量，使用当前每秒报文到达数量PPS计算间隔Δt_PPS内的报文数量除以Δt_PPS，得出当前链路的PPS，记为PPS_当前，并以此改变下一次的计算间隔Δt_PPS，

2)计算报文抽样比，过程如下：

a)根据PPS_当前和测量系统中央处理器CPU安全的最大报文流速设置PPS_CPU计算出理论抽样比Rate_C，

b)使用理论抽样比Rate_C、前一次PPS采样所对应的抽样比值Rate_CL和当前正在使用的报文抽样比Rate_L，计算出当前PPS采样前后的抽样比变化量k和当前PPS对应抽样比与当前使用中的之间的偏差量d，

c)若当前PPS采样前后的抽样比变化量k的绝对值大于抽样比最大阈值限制K或者当前PPS对应抽样比与当前使用中的之间的偏差量d的绝对值大于偏差量最大阈值限制D，则流量有变化的情况发生；此时，若d＞0，则流量显著增大；若d＜0，流量显著减小，

d)若此次流量变化趋势和前一次变化趋势相同，则使用理论抽样比Rate_C设置新的报文抽样比Rate_L，否则Rate_L不变，

3)使用报文抽样比Rate_L进行报文的抽样采集，

4)对采集到的报文组流，并计算流抽样比，过程如下：

a)提取每个报文中的源、宿IP地址，源、宿端口号和传输层协议信息作为流标识，将此五元组相等并且报文间隔时间小于64秒的报文归结为同一条流记录，

b)利用128k字节的多哈希”Bloomfilter”位图进行流存在查询，如果流已经存在，则更新内存中的流信息，否则，使用当前的流抽样比来决定是否记录该流，

c)如果内存的使用超过某个预先设定的阈值，则将当前流抽样比降低为新抽样比R_Flow，其是通过计算一元三次方程1-R_Flow＝c₀+c₁q+c₂q²+c₃q³得到报文丢弃率q，进而改变报文丢弃率来实现的，其中c₀、c₁、c₂、c₃为常数，

5)定时器超时，前端系统执行系统中哈希索引表的轮换、使用报文抽样比和流抽样比还原出本链路上的流量基本信息、流记录缓存的清空，并以用户数据报协议UDP报文的形式将流信息发送到后端系统，

6)后端系统接收多条链路来的流信息报告，将流量总体信息累加，同一条流的信息合并，形成信道流信息报告，

7)根据用户所定义的时间片设置定时，轮换后端系统的哈希索引表、清空信道流记录缓存、形成信道流综合信息报告并以UDP报文形式输出供后续其它分析程序使用。

Images