CN102355376B - 一种流量监控方法和装置 - Google Patents

Abstract

本发明提供了一种流量监控方法和装置。其中，该方法包括：每隔设定周期获取硬件芯片向处理单元发送采样数据的采样数据上传速率；获取的采样数据上传速率不在设定的采样数据安全上传速率区间内，则利用所述设备中端口的流量速率和从所述采样数据安全上传速率区间中确定的速率重新计算所述硬件芯片需要采用的采样率，控制所述硬件芯片利用计算出的采样率替代当前采用的采样率继续对设备中端口的流量进行采样得到所述硬件芯片向所述处理单元发送的采样数据。采用本发明，能够保证CPU正常运行，又充分利用CPU资源。

Description

一种流量监控方法和装置

技术领域

本发明涉及网络通信技术，特别涉及一种流量监控方法和装置。

背景技术

采样流(sFlow：sampled Flow)是一种基于报文采样的网络流量监控技术，主要用于对网络流量进行统计分析。sFlow包括以下两种采样机制：Flow采样和Counter采样。Flow采样是基于报文的采样，用于从经过设备端口的报文中抽取一个或者多个，分析该抽取的报文的特征，以反映进出该端口所有报文的情况，实际应用中，Flow采样是通过拷贝抽取的报文中的数据信息实现的，拷贝的数据长度由用户定义，一般要求拷贝的数据信息至少包含报文的基本特征如Ethernet头、IP头等信息。至于Counter采样，其是基于时间的端口统计信息采样，用于获取端口的统计信息，该Counter采样与本申请关系不大，这里暂不叙述。

目前，Flow采样是由设备中的硬件芯片完成。如图1所示，硬件芯片按照设置的采样率从设备的端口采样到报文中的数据信息(记为采样数据)后，将该采样数据发送给该设备中的CPU，由该CPU负责将该采样数据用sFlow协议报文格式封装成sFlow报文，然后当sFlow报文缓冲区满或者设定的时间超时时，由CPU将封装成的sFlow报文发送到sFlow Collector。sFlowCollector对接收的sFlow报文进行分析，并显示分析结果，该分析结果一般包含sFlow报文的基本信息，比如源MAC地址、目的MAC地址、源IP地址、目的IP地址等。另外，sFlow Collector还可以根据sFlow报文携带的采样数据推算出端口的流量大小，方便网管人员维护设备。

发明内容

本发明提供了一种流量监控方法和装置，用于动态调整硬件芯片的采样率。

本发明提供的技术方案包括：

一种流量监控方法，包括：

每隔设定周期获取硬件芯片向处理单元发送采样数据的采样数据上传速率；

获取的采样数据上传速率不在设定的采样数据安全上传速率区间内，则利用所述设备中端口的流量速率和从所述采样数据安全上传速率区间中确定的速率重新计算所述硬件芯片需要采用的采样率，控制所述硬件芯片利用计算出的采样率替代当前采用的采样率继续对设备中端口的流量进行采样得到所述硬件芯片向所述处理单元发送的采样数据。

一种流量监控装置，该装置包括：

获取单元，用于每隔设定周期获取硬件芯片向处理单元发送采样数据的采样数据上传速率；

第一控制单元，用于在所述获取单元获取的采样数据上传速率不在设定的采样数据安全上传速率区间内时，利用所述设备中端口的流量速率和从所述采样数据安全上传速率区间中确定的速率重新计算所述硬件芯片需要采用的采样率，控制所述硬件芯片利用计算出的采样率替代当前采用的采样率继续对设备中端口的流量进行采样得到所述硬件芯片向所述处理单元发送的采样数据。

由以上技术方案可以看出，本发明中，硬件芯片并非始终采用固定不变的采样率对设备中端口的流量进行采样，而是根据设备中硬件芯片向处理单元发送采样数据的采样数据上传速率是否在设定的采样数据安全上传速率区间内来决定是否动态调整采样率，其中，动态调整的采样率是利用所述设备中端口的流量速率和从所述采样数据安全上传速率区间中确定的速率重新计算的，这相比于现有技术，一方面可以实现硬件芯片动态调整采样率对设备中端口的流量进行采样，另一方面能够保证处理单元如CPU正常运行，并充分利用CPU资源。

附图说明

图1为现有Flow采样示意图；

图2为本发明实施例提供的基本流程图；

图3为本发明实施例提供的详细流程图；

图4为本发明实施例提供的装置结构图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

对于现有的Flow采样，硬件芯片是利用固定的端口流量速率设置的固定采样率采样报文，即每隔固定的报文数采样一个报文。例如，采样率为1000，则表示硬件芯片每隔1000个报文对设备中端口的报文进行采样。

其中，硬件芯片采用的采样率需要考虑以下两个因素：

1、CPU性能。如上所述，Flow采样是由硬件芯片完成，而封装采样数据包、以及发送sFlow报文至sFlow Collector均是由设备的CPU完成的。当设备端口的报文流量比较大即单位时间内进出端口的报文数量比较多，而设置的采样率又比较小时，硬件芯片发送采样数据至设备上CPU的速率就会很大，对设备的CPU造成很大的压力。举个例子说明，假如设备中CPU的处理性能为每秒最大处理500个采样数据，设备端口的报文速率为每秒1000000个报文，采样率被设置为1000，那么硬件芯片发送采样数据到CPU的速率为1000000/1000＝1000个/秒，超过了CPU本身的处理性能，影响CPU的正常运行。

2、用户的需求。对于用户而言，采样精度越高，越能更加真实的反映端口流量变化情况，而采样精度越高，对应的采样率就应越小。

为了兼顾CPU的处理性能和用户的需求，必须为硬件芯片设置一个适当的采样率值，既要保证CPU正常工作不受影响，又要保证采样精度，较为准确的反映端口的流量变化情况。通过研究发现通过以下方法确定采样率能够达到上述要求：固定端口报文速率，则通过设置不同采样率比较CPU的利用率，当CPU利用率达到其正常工作的安全运行门限时，确定此时的采样率为最佳值，也即为设备所能设置的最佳采样率。

以端口报文速率为每秒1000000个报文(即1000000个/秒)，则表1示出了采样率与CPU利用率对应关系：

从表1可以看出，一旦CPU正常工作的安全门限确定，则硬件芯片采用的最佳采样率也就固定下来了。比如，CPU正常工作的安全运行门限为50％，则依据表1可以固定设置硬件芯片的采样率为3000。

但是，对于实际网络中端口的流量并非稳定在表1所示的每秒1000000个报文，而是有波动的，比如，有时某一秒内的报文远大于1000000个报文，有时会远小于1000000个报文，而硬件芯片采用依赖于端口流量为每秒1000000个报文的情况设置的固定采样率对端口的报文进行采样，这在端口的流量发生波动时是不合适的，比如，当端口流量小于每秒1000000个报文时，如果还依赖于端口流量为每秒1000000个报文的情况设置的固定采样率对端口的报文进行采样，这会导致CPU的利用不充分，造成CPU资源浪费；而当端口流量大于每秒1000000个报文时，如果还依赖于端口流量为每秒1000000个报文的情况设置的固定采样率对端口的报文进行采样，这会导致CPU的压力过大，影响CPU正常运行。

基于此，本发明只要采样率跟随端口流量变化做出动态调整，就能一方面保证CPU正常安全运行，另一方面又兼顾了用户的需求，即最大限度地保证采样精度，准确反映端口流量情况。

图2示出了本发明实施例提供的方法流程图。如图2所示，该流程可包括以下步骤：

步骤201，每隔设定周期获取硬件芯片向处理单元发送采样数据的采样数据上传速率。

该设定周期可根据实际情况比如网络中端口流量的变化情况等设置。

步骤202，获取的采样数据上传速率不在设定的采样数据安全上传速率区间内，则利用所述设备中端口的流量速率和从所述采样数据安全上传速率区间中确定的速率重新计算所述硬件芯片需要采用的采样率，控制所述硬件芯片利用计算出的采样率替代当前采用的采样率继续对设备中端口的流量进行采样得到所述硬件芯片向所述处理单元发送的采样数据。

优选地，作为本发明实施例的一种扩展，获取的采样数据上传速率在设定的采样数据安全上传速率区间内时，控制所述硬件芯片继续利用当前采用的采样率对所述设备中端口的流量进行采样得到所述硬件芯片向所述处理单元发送的采样数据。

至此，完成图2所示的流程。

在上面描述中，处理单元可为CPU，下面以处理单元为CPU为例，通过图3对图2所示的流程进行详细描述。

参见图3，图3为本发明实施例提供的详细流程图。如图3所示，该流程可包括以下步骤：

步骤301，根据设备中CPU的处理性能和用户需求的采样精度设定采样数据安全上传速率区间。

本步骤301具体可包括：根据设备中CPU的处理性能确定CPU的安全运行门限范围，基于用户需求针对该设备预估出比较稳定的端口报文速率，依据确定的安全运行门限范围、以及预估出的比较稳定的端口报文速率确定采样数据安全上传速率区间。以背景技术中的表1为例，假如根据设备的CPU处理性能确定出该CPU的安全运行门限范围为45％至50％，以及基于用户需求预估出的比较稳定的端口报文速率为1000000个(报文)/秒，则从表1可以得到，采样数据安全上传速率区间为(285，400)。

可以看出，采样数据安全上传速率区间是基于CPU性能和用户需求设定的，当硬件芯片在设定的采样数据安全上传速率区间内向CPU发送采样数据，则CPU处于正常安全运行，同时又兼顾了用户的需求即最大限度地保证了采样精度，准确反映端口流量变化情况，否则，则CPU未处于正常安全运行，同时也不能最大限度地保证采样精度，以及不能准确反映端口流量变化情况。

步骤302，针对该设定的采样数据安全上传速率区间设置该设备中硬件芯片采用的初始采样率，将设定的初始采样率写到该硬件芯片中。

本步骤302中，初始采样率可基于预估出的比较稳定的端口报文速率和从采样数据安全上传速率区间中选取的设定速率确定出。其中，该设定速率可为采样数据安全上传速率区间中的任一速率。以背景技术中的表1为例，假如预估出的比较稳定的端口报文速率为1000000个(报文)/秒，采样数据安全上传速率区间为(285，400)，如果从采样数据安全上传速率区间(285，400)中选取的设定速率为333，则从表1可以得到，基于预估出的比较稳定的端口报文速率和从采样数据安全上传速率区间中选取的设定速率可确定出初始采样率为3000。

步骤303，硬件芯片利用所述初始采样率对设备上使能了sFlow功能的所有端口的流量进行采样，并按照第一设定周期将采样的数据发送至CPU。

通常，对于一些端口，其流量比较小，不会影响系统性能，因此，没有必要监控该端口，而对于另外一些端口，其流量比较大，则需要监控该端口。为便于区分，本发明将流量比较大的端口使能sFlow功能，只针对使能了sFlow功能的端口执行本发明。

步骤304，每隔第二设定周期获取硬件芯片向CPU发送采样数据的采样数据上传速率，判断该获取的采样数据上传速率是否在设定的采样数据安全上传速率区间内，如果是，执行步骤305，否则，执行步骤306。

在现网中，设备端口的流量大小一般来讲变化是相对较慢的，因此，建议步骤304中的第二设定周期为分钟级别。

另外，本步骤304中的获取可通过软件实现。

步骤305，控制硬件芯片继续利用当前采用的采样率对设备上使能了sFlow功能的所有端口的流量进行采样，硬件芯片按照所述第一设定周期将采样的数据发送至CPU，并返回步骤304。

本步骤305是硬件芯片在设定的采样数据安全上传速率区间内向CPU发送的采样数据的情况下执行的，此时表示CPU当前处于正常安全运行，同时又能兼顾了用户的需求即最大限度地保证了采样精度，准确反映端口流量变化情况。

步骤306，延时设定时间，并在所述设定时间到达时，再次获取硬件芯片向CPU发送采样数据的采样数据上传速率，判断该再次获取的采样数据上传速率是否在设定的采样数据安全上传速率区间内，如果是，返回执行步骤305，否则，执行步骤307。

现网中设备上端口的流量经常会出现突变的情况，比如，在T1时刻，设备上端口的流量比较稳定，硬件芯片采用的采样率为最优采样率，而在T2时刻，流量突变，比如突然变大很多，如此，T1时刻采用的采样率不再为最优，但在T2+t(t为很短时间)时刻，流量又恢复T1时刻时的情况，即硬件芯片在T1时刻采用的采样率仍然为最优。对于这种异常情况，本发明建议不调整硬件芯片采用的采样率，为达到该目的，可以通过延时设定时间，该时间可根据实际情况设备，通常会小于或等于上述第二设定周期，在第二设定周期为分钟级别的情况下，建议该设定时间为秒级别。在延时的所述设定时间到达时，再次获取硬件芯片向CPU发送采样数据的采样数据上传速率，判断该再次获取的采样数据上传速率是否在设定的采样数据安全上传速率区间内，如果是，则确定为上述异常情况，没有必要调整硬件芯片的采样率，返回上述步骤305，即实现了针对上述异常情况不调整硬件芯片采用的采样率的目的；而如果否，则确定不为上述异常情况，需要调整硬件芯片的采样率，具体参见步骤307。

需要说明的是，本步骤306中，在延时的设定时间内，仍然控制硬件芯片继续利用之前采用的采样率对设备上使能了sFlow功能的所有端口的流量进行采样，并不改变硬件芯片的采样率。

步骤307，对所述设备上使能了sFlow功能的所有端口的流量速率求平均，得到平均后的端口流量速率，用所述平均后的端口流量速率除以从所述采样数据安全上传速率区间中确定的速率，得到的商作为所述硬件芯片需要采用的采样率。之后执行步骤308。

其中，所述从采样数据安全上传速率区间中确定的速率为采样数据安全上传速率区间中的任一速率。

本步骤307是硬件芯片不在设定的采样数据安全上传速率区间内向CPU发送采样数据的情况下执行的，其中，硬件芯片不在设定的采样数据安全上传速率区间内向CPU发送采样数据包含两种情况：一种情况为：硬件芯片以小于采样数据安全上传速率区间中最小速率的采样数据上传速率向CPU发送采样数据，产生这种情况的原因为所述设备上使能了sFlow功能的所有端口的平均端口流量速率变小，小于步骤301中所述的预估出的端口报文速率；另一种情况为：硬件芯片以大于采样数据安全上传速率区间中最大速率的采样数据上传速率向CPU发送采样数据，产生这种情况的原因为所述设备上使能了sFlow功能的所有端口的平均端口流量速率变大，大于步骤301中所述的预估出的端口报文速率。

通过上述步骤307能够实现图2中步骤203中的利用所述设备中端口的流量速率和从所述采样数据安全上传速率区间中确定的速率重新计算所述硬件芯片需要采用的采样率的操作。

步骤308，利用步骤307得到的采样率更新硬件芯片已写入的采样率，以控制所述硬件芯片利用步骤307得到采样率替代当前采用的采样率继续对设备上端口的流量进行采样，硬件芯片按照所述第一设定周期将采样的数据发送至CPU，并返回步骤304。

通过本步骤308，能够实现硬件芯片跟随设备中使能了sFlow功能的端口流量的变化做出调整，以保证CPU正常安全运行，又能准确反映端口流量变化情况。

至此，完成图3所示的流程。

下面对本发明提供的装置进行描述：

参见图4，图4为本发明实施例提供的装置结构图。如图4所示，该装置包括：

获取单元，用于每隔设定周期获取硬件芯片向处理单元发送采样数据的采样数据上传速率；

第一控制单元，用于在所述获取单元获取的采样数据上传速率不在设定的采样数据安全上传速率区间内时，利用所述设备中端口的流量速率和从所述采样数据安全上传速率区间中确定的速率重新计算所述硬件芯片需要采用的采样率，控制所述硬件芯片利用计算出的采样率替代当前采用的采样率继续对设备中端口的流量进行采样得到所述硬件芯片向所述处理单元发送的采样数据。

优选地，如图4所示，该装置还包括：

第二控制单元，用于延时设定时间，控制所述硬件芯片在所述设定时间内继续利用当前采用的采样率对设备上端口的流量进行采样；所述设定时间小于或等于所述设定周期；

第三控制单元，用于在所述设定时间到达时，再次获取硬件芯片向处理单元发送采样数据的采样数据上传速率，如果该再次获取的采样数据上传速率不在设定的采样数据安全上传速率区间内，则触发所述第一控制单元执行重新计算采样率的操作；

第四控制单元，用于在获取的采样数据上传速率在设定的采样数据安全上传速率区间内时，控制所述硬件芯片继续利用当前采用的采样率对所述设备中端口的流量进行采样得到所述硬件芯片向所述处理单元发送的采样数据。

优选地，所述设备中的端口为所述设备中使能了采样流sFlow功能的所有端口。基于此，如图4所示，所述第一控制单元包括：

第一计算子单元，用于对所述设备上使能了sFlow功能的所有端口的流量速率求平均，得到平均后的端口流量速率；

第二计算子单元，用于用所述平均后的端口流量速率除以从所述采样数据安全上传速率区间中确定的速率，得到的商作为所述硬件芯片需要采用的采样率，其中，所述从采样数据安全上传速率区间中确定的速率为采样数据安全上传速率区间中的任一速率；

控制子单元，用于控制所述硬件芯片利用所述第二计算子单元计算出的采样率替代当前采用的采样率继续对设备中端口的流量进行采样得到所述硬件芯片向所述处理单元发送的采样数据。

至此，完成图4所示的装置结构图。

上面描述中，处理单元可为CPU。

由以上技术方案可以看出，本发明中，硬件芯片并非始终采用固定不变的采样率对设备中端口的流量进行采样，而是根据设备中硬件芯片向处理单元发送采样数据的采样数据上传速率是否在设定的采样数据安全上传速率区间内来决定是否动态调整采样率，其中，动态调整的采样率是利用所述设备中端口的流量速率和从所述采样数据安全上传速率区间中确定的速率重新计算的，这相比于现有技术，一方面可以实现硬件芯片动态调整采样率对设备中端口的流量进行采样，另一方面能够保证CPU正常运行，并充分利用CPU资源。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (9)

1.一种流量监控方法，其特征在于，该方法包括：

每隔设定周期获取硬件芯片向处理单元发送采样数据的采样数据上传速率；

获取的采样数据上传速率不在设定的采样数据安全上传速率区间内，则利用设备中端口的流量速率和从所述采样数据安全上传速率区间中确定的速率重新计算所述硬件芯片需要采用的采样率，控制所述硬件芯片利用计算出的采样率替代当前采用的采样率继续对设备中端口的流量进行采样得到所述硬件芯片向所述处理单元发送的采样数据；

如果获取的采样数据上传速率在设定的采样数据安全上传速率区间内，则该方法进一步包括：

控制所述硬件芯片继续利用当前采用的采样率对所述设备中端口的流量进行采样得到所述硬件芯片向所述处理单元发送的采样数据。

2.根据权利要求1所述的方法，其特征在于，在利用所述设备中端口的流量速率和从所述采样数据安全上传速率区间中确定的速率重新计算所述硬件芯片需要采用的采样率之前，进一步包括：

延时设定时间，控制所述硬件芯片在所述设定时间内继续利用当前采用的采样率对设备上端口的流量进行采样；所述设定时间小于或等于所述设定周期；

在所述设定时间到达时，再次获取硬件芯片向处理单元发送采样数据的采样数据上传速率，判断该再次获取的采样数据上传速率是否在设定的采样数据安全上传速率区间内，如果否，继续执行所述利用设备中端口的流量速率和从所述采样数据安全上传速率区间中确定的速率重新计算所述硬件芯片需要采用的采样率的操作。

3.根据权利要求1所述的方法，其特征在于，所述设备中的端口为所述设备中使能了采样流sFlow功能的所有端口。

4.根据权利要求3所述的方法，其特征在于，所述利用设备中端口的流量速率和从所述采样数据安全上传速率区间中确定的速率重新计算所述硬件芯片需要采用的采样率包括：

对所述设备上使能了sFlow功能的所有端口的流量速率求平均，得到平均后的端口流量速率；

用所述平均后的端口流量速率除以从所述采样数据安全上传速率区间中确定的速率，得到的商作为所述硬件芯片需要采用的采样率；

其中，所述从采样数据安全上传速率区间中确定的速率为采样数据安全上传速率区间中的任一速率。

5.根据权利要求1所述的方法，其特征在于，所述采样数据安全上传速率区间根据所述处理单元的处理性能和用户需求的采样精度设定。

6.一种流量监控装置，其特征在于，该装置包括：

获取单元，用于每隔设定周期获取硬件芯片向处理单元发送采样数据的采样数据上传速率；

第一控制单元，用于在所述获取单元获取的采样数据上传速率不在设定的采样数据安全上传速率区间内时，利用设备中端口的流量速率和从所述采样数据安全上传速率区间中确定的速率重新计算所述硬件芯片需要采用的采样率，控制所述硬件芯片利用计算出的采样率替代当前采用的采样率继续对设备中端口的流量进行采样得到所述硬件芯片向所述处理单元发送的采样数据；

第四控制单元，用于在获取的采样数据上传速率在设定的采样数据安全上传速率区间内时，控制所述硬件芯片继续利用当前采用的采样率对所述设备中端口的流量进行采样得到所述硬件芯片向所述处理单元发送的采样数据。

7.根据权利要求6所述的装置，其特征在于，该装置还包括：

第二控制单元，用于延时设定时间，控制所述硬件芯片在所述设定时间内继续利用当前采用的采样率对设备上端口的流量进行采样；所述设定时间小于或等于所述设定周期；

第三控制单元，用于在所述设定时间到达时，再次获取硬件芯片向处理单元发送采样数据的采样数据上传速率，如果该再次获取的采样数据上传速率不在设定的采样数据安全上传速率区间内，则触发所述第一控制单元执行重新计算采样率的操作。

8.根据权利要求6所述的装置，其特征在于，所述设备中的端口为所述设备中使能了采样流sFlow功能的所有端口。

9.根据权利要求8所述的装置，其特征在于，所述第一控制单元包括：

第一计算子单元，用于对所述设备上使能了sFlow功能的所有端口的流量速率求平均，得到平均后的端口流量速率；

第二计算子单元，用于用所述平均后的端口流量速率除以从所述采样数据安全上传速率区间中确定的速率，得到的商作为所述硬件芯片需要采用的采样率，其中，所述从采样数据安全上传速率区间中确定的速率为采样数据安全上传速率区间中的任一速率；

控制子单元，用于控制所述硬件芯片利用所述第二计算子单元计算出的采样率替代当前采用的采样率继续对设备中端口的流量进行采样得到所述硬件芯片向所述处理单元发送的采样数据。