CN114157592B - 网络设备流量管理的测试系统及方法 - Google Patents

Abstract

本发明提出了一种网络设备流量管理的测试系统及方法，测试系统包括：第一设备、防火墙设备、第二设备和第三设备，第一设备和第二设备通过防火墙设备通信连接，第三设备与第一设备、防火墙设备及第二设备均通信连接，第三设备分别按对应的预设周期从第一设备、防火墙设备及第二设备采集数据，并基于采集的数据与对应的预设阈值间的关系，来判断网络设备流量管理的有效性。本发明可实时分析速率信息和被测防火墙的丢包日志信息，并进行实时比较，可提前预判测试结果，节省测试时间。而且，本发明增加了测试有效性问题，可从统计意义上计算出与预期值的偏离程度，使结果量化。另外，本发明节省了仪表成本和人力成本。

Description

网络设备流量管理的测试系统及方法

技术领域

本发明涉及网络通信技术领域，尤其涉及一种网络设备流量管理的测试系统及方法。

背景技术

在传统的IP网络中，所有的报文都无区别的等同对待，每个路由器对所有的报文采用先入先出的策略FIFO处理，它尽最大的努力(Besteffort)将报文送到目的地，但对报文传送的可靠性、传送延迟等性能不提供任何保证。

随着IP网络上新的应用不断出现，对IP网络的服务质量也提出了新的要求。传统的IP网络的尽力服务已不能满足应用的需要。如VoIP业务，报文传送如果延时太长，将是用户所不能接受的。相对而言，Email和FTP对时间延迟并不敏感。流量管理就是针对各种不同的需求，提供不同的服务质量的，如提供以下的功能：

a、支持为用户提供专用带宽；

b、减少报文丢失率；

c、避免和管理网络拥塞；

d、流量整形；

e、设置报文优先级。

以避免和管理网络拥塞为例，当报文的发送速率大于接收速率，或者下游设备的界面速率小于上游设备的界面速率，就会引起网络拥塞。如果不限制用户发送的业务流量，大量用户不断突发的业务数据会使网络更加拥挤。为了使有限的网络资源能够更好地发挥效用，更好地为更多的用户服务，必须对用户的业务流量加以限制。而流量管理就可以通过监督进入网络的流量速率，限制流量及其资源的使用，保证更好的用户服务。

而测试流量管理的有效性就变得尤为重要。

发明内容

本发明要解决的技术问题是如何提高防火墙流量管理有效性的测试效率和测试结果的可靠性，本发明提出一种网络设备流量管理的测试系统及方法。

根据本发明实施例的网络设备流量管理的测试系统，包括：第一设备、防火墙设备、第二设备和第三设备，所述第一设备和所述第二设备通过所述防火墙设备通信连接，所述第三设备与所述第一设备、所述防火墙设备及所述第二设备均通信连接，所述第三设备分别按对应的预设周期从所述第一设备、所述防火墙设备及所述第二设备采集数据，并基于采集的数据与对应的预设阈值间的关系，来判断网络设备流量管理的有效性。

根据本发明的一些实施例，采集的数据包括：所述第一设备的实时发送速率、所述第二设备的实时接收速率及所述防火墙设备的实时丢包数。

在本发明的一些实施例中，对应的所述预设阈值包括：实时发送速率阈值、实时接收速率阈值、实时丢包数阈值。

根据本发明的一些实施例，所述对应的预设阈值还包括：发送限制宽带、接收限制宽带、以及丢包限制数中的至少一个。

在本发明的一些实施例中，所述对应的预设阈值还包括：发送方差阈值、接收方差阈值、以及丢包数方差阈值中的至少一个。

根据本发明的一些实施例，所述第三设备与所述第一设备、所述防火墙设备及所述第二设备均远程通信连接。

根据本发明实施例的网络设备流量管理的测试方法，所述方法采用如上所述的网络设备流量管理的测试系统对网络设备流量管理的有效性进行测试，所述方法包括：

分别对所述第一设备、所述第二设备、所述第三设备及所述防火墙设备进行参数配置，并设置对应的预设阈值；

控制所述第一设备向所述第二设备发送流量数据；

控制所述第三设备分别按对应的预设样周期从所述第一设备、所述防火墙设备及所述第二设备采集数据；

控制所述第三设备基于采集的数据与对应的预设阈值间的关系，来判断网络设备流量管理的有效性。

根据本发明的一些实施例，所述控制所述第三设备基于采集的数据与对应的预设阈值间的关系，来判断网络设备流量管理的有效性，包括：

所述第三设备判断所述第一设备的实时发送速率与发送速率阈值的差值是否超过预设第一浮动范围，若超过，则判定所述网络流量管理设备无效；

所述第三设备判断所述第二设备的实时接收速率与接收速率阈值的差值是否超过预设的第二浮动范围，若超过，则判定所述网络流量管理设备无效；

所述第三设备判断所述防火墙设备的实时丢包数与丢包数阈值的差值是否超过预设的第三浮动范围，若超过，则判定所述网络流量管理设备无效。

在本发明的一些实施例中，所述第三设备基于采集的数据与对应的预设阈值间的关系，来判断网络设备流量管理的有效性，还包括：

流量数据在所述第二设备接收到所述第一设备发送的流量数据后，所述第三设备判断从所述第一设备获取的发送速率离散值的发送算术平均值与发送限制宽带的差值是否超过预设的第四浮动范围，若超过，则所述网络流量管理设备测试不通过；

如未超出，则计算所述发送速率离散值与发送限制宽带的方差，并判断该方差是否超过发送方差阈值，若超过，则测试不通过。

根据本发明的一些实施例，所述第三设备基于采集的数据与对应的预设阈值间的关系，来判断网络设备流量管理的有效性，还包括：

在所述第二设备接收到所述第一设备发送的流量数据后，所述第三设备判断从所述第二设备获取的接收速率离散值的接收算术平均值与接收限制宽带的差值是否超过预设的第五浮动范围，若超过，则所述网络流量管理设备测试不通过；

如未超出，则计算所述接收速率离散值与接收算术平均值的方差，并判断该方差是否超过接收方差阈值，若超过，则测试不通过。

本发明可实时分析速率信息和被测防火墙的丢包日志信息，并进行实时比较，可提前预判测试结果，节省测试时间。而且，本发明增加了测试有效性问题，可从统计意义上计算出与预期值的偏离程度，使结果量化。另外，本发明节省了仪表成本和人力成本。

附图说明

图1为现有技术中通过测试仪表测量测试流量管理效果的系统网络拓扑示意图；

图2为根据本发明实施例的络设备流量管理的测试系统网络拓扑示意图；

图3为根据本发明实施例的网络设备流量管理的测试方法流程图；

图4为根据本发明实施例的网络设备流量管理的测试方法流程图。

附图标记：

测试系统100，

第一设备10，第二设备20，第三设备30，防火墙设备40。

具体实施方式

为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。

现有技术中，使用测试仪表测试流量管理效果，设备与仪表之间的连接和通信关系如图1所示：

测试仪表接口1作为客户端，测试仪表接口2作为服务器端，测试仪表从1口发出流量，经过被测防火墙设备，到达服务器端，测试仪表通过统计计算给出报告，手工分析报告给出测试结论。

上述方案中，通过测试仪表测试防火墙设备流量管理的过程如下：

A1，将被测防火墙设备与测试仪表按照图1进行物理连接；

A2，在测试仪表上手动创建工程，分别对接口网络地址、路由、流量类型、新建会话数量、测试时间等进行配置；

A3，在防火墙设备上配置流量管理策略，以限制带宽为例；

A4，手动驱动仪表发起从客户端发出的流量，流量速率大于限制带宽；

A5，流量发送完毕后，等待仪表生成报告。

A6，通过手工分析测试报告，如果实际通过设备的流量被限制在设置的限制带宽附近，那么此流量管理的限制带宽测试结果为测试通过；否则，为不通过。

上述方案存在如下技术缺陷：

上述技术方案不能实时分析速率信息和被测防火墙的丢包日志信息，不能进行实时比较，必须流量发送完毕才可判断是否测试通过。

上述技术方案，若仅通过仪表测试报告得出的结论比较粗糙，并没有从统计意义上算出与预期值的偏离程度，偏离程度不可量化。

上述技术方案需要依赖测试仪表，测试仪表一般比较贵重，若同时测试多台设备，则需要串行执行，效率不高。

另外，使用测试仪表不适合当前设备的软件平台的快速迭代，消耗过多人力成本。

针对现有技术的缺陷，本发明提出一种网络设备流量管理的测试系统及方法。

本发明旨在解决如下技术问题：

1)解决防火墙流量管理模块的测试问题，可实时分析速率信息和被测防火墙的丢包日志信息，并进行实时比较，可提前预判测试是否通过，如不通过可直接结束，节省测试时间。

2)解决防火墙流量管理模块的测试有效性问题，并可从统计意义上计算出与预期值的偏离程度，使结果可量化。

3)提出的自动化方案，主要依赖于搭建的自动化测试环境，从而降低流量管理模块测试对测试仪表的过渡依赖，节省仪表成本和人力成本。

4)通过自动化方案来解决当前软件版本快速迭代，如手工使用仪表测试则会增加时间成本的问题。

根据本发明实施例的网络设备流量管理的测试系统100，包括：第一设备10、第二设备20、第三设备30和防火墙设备40，第一设备10和第二设备20通过防火墙设备40通信连接，第三设备30与第一设备10、第二设备20及防火墙设备40均通信连接，第三设备30分别按对应的预设周期从第一设备10、第二设备20及防火墙设备40采集数据，并基于采集的数据与对应的预设阈值间的关系，来判断网络设备流量管理的有效性。

根据本发明的一些实施例，采集的数据包括：第一设备10的实时发送速率、第二设备20的实时接收速率及防火墙设备40的实时丢包数。

在本发明的一些实施例中，对应的预设阈值包括：实时发送速率阈值、实时接收速率阈值、实时丢包数阈值。

根据本发明的一些实施例，对应的预设阈值还包括：发送限制宽带、接收限制宽带、以及丢包限制数中的至少一个。

在本发明的一些实施例中，对应的预设阈值还包括：发送方差阈值、接收方差阈值、以及丢包数方差阈值中的至少一个。

根据本发明的一些实施例，第三设备30与第一设备10、第二设备20及防火墙设备40均远程通信连接。

根据本发明实施例的网络设备流量管理的测试方法，方法采用如上的网络设备流量管理的测试系统100对网络设备流量管理的有效性进行测试，方法包括：

S100，分别对第一设备、第二设备、第三设备及防火墙设备进行参数配置，并设置对应的预设阈值；

S200，控制第一设备向第二设备发送流量数据；

S300，控制第三设备分别按对应的预设样周期从第一设备、防火墙设备及第二设备采集数据；

S400，控制第三设备基于采集的数据与对应的预设阈值间的关系，来判断网络设备流量管理的有效性。

根据本发明的一些实施例，控制第三设备基于采集的数据与对应的预设阈值间的关系，来判断网络设备流量管理的有效性，包括：

S410，第三设备30判断第一设备10的实时发送速率与发送速率阈值的差值是否超过预设第一浮动范围，若超过，则判定网络流量管理设备无效；

S420，第三设备30判断第二设备20的实时接收速率与接收速率阈值的差值是否超过预设的第二浮动范围，若超过，则判定网络流量管理设备无效；

S430，第三设备30判断防火墙设备40的实时丢包数与丢包数阈值的差值是否超过预设的第三浮动范围，若超过，则判定网络流量管理设备无效。

在本发明的一些实施例中，第三设备30基于采集的数据与对应的预设阈值间的关系，来判断网络设备流量管理的有效性，还包括：

S441，流量数据在第二设备20接收到第一设备10发送的流量数据后，第三设备30判断从第一设备10获取的发送速率离散值的发送算术平均值与发送限制宽带的差值是否超过预设的第四浮动范围，若超过，则网络流量管理设备测试不通过；

S442，如未超出，则计算发送速率离散值与发送限制宽带的方差，并判断该方差是否超过发送方差阈值，若超过，则测试不通过。

根据本发明的一些实施例，第三设备30基于采集的数据与对应的预设阈值间的关系，来判断网络设备流量管理的有效性，还包括：

S451，在第二设备20接收到第一设备10发送的流量数据后，第三设备30判断从第二设备20获取的接收速率离散值的接收算术平均值与接收限制宽带的差值是否超过预设的第五浮动范围，若超过，则网络流量管理设备测试不通过；

S452，如未超出，则计算接收速率离散值与接收算术平均值的方差，并判断该方差是否超过接收方差阈值，若超过，则测试不通过。

本发明提出的网络设备流量管理的测试系统100及方法具有如下优点：

可实时分析速率信息和被测防火墙的丢包日志信息，并进行实时比较，且采样周期和预期取值范围的波动区间可根据实际需要调整，如流量管理模块设计不合理可提前预判，节省测试时间。

本发明增加了测试有效性问题，并可从统计意义上计算出与预期值的偏离程度，使结果量化。

本发明中提出的自动化方案，主要依赖于搭建的自动化测试环境，从而降低测试对测试仪表的过渡依赖，节省仪表成本和人力成本。

本发明侧重通过自动化方案来解决当前软件版本快速迭代，如手工使用仪表测试则会增加时间成本的问题。

本发明还可适用于流量管理中的保证带宽、流量整形等功能的测试。

本发明提出的网络设备流量管理的测试方法及系统，应用于包括第一设备10、防火墙设备40、第二设备20和第三设备30的网络系统中，具体测试拓扑图如图2所示。

其中，第一设备10和第二设备20通过防火墙设备40连接而相互通信；第三设备30作为测试脚本运行设备，通过远程连接的方式分别对第一设备10、防火墙设备40，以及第二设备20下发相关命令，并搜集运行结果产生报告；报文产生工具属于开源工具，无成本投入，且可以提供实时速率信息。

同时，通过自动化方式对流量管理的相应特性——如限制带宽、保证带宽、流量整形等进行测试，以解决使用仪表测试导致的不可实时分析速率信息和被测防火墙的丢包日志信息，并可进行实时速率与预期值实时比较、丢包统计与预期值实时比较、以及从统计意义上计算与预期值得偏离程度、降低流量管理模块测试对测试仪表的过渡依赖，节省仪表成本和人力成本等问题，还可适应当前软件版本快速迭代。

本发明提出的网络设备流量管理的测试方法及系统，包括如下两个部分：

第一部分，如图3所示，自动化测试系统100总体执行过程：

设计流量管理模块测试用例和编写相应测试脚本；

初始化自动化测试系统100；

执行测试脚本，自动化实时统计与观测；

生成测试报告。

第二部分，测试脚本的具体执行过程可分解为包括以几个步骤：

清除环境影响配置。

分别配置第一设备10、第二设备20、第三设备30、防火墙设备40。使第一设备10与第二设备20可通过防火墙进行通信。第三设备30可远程连接至第一设备10、第二设备20、防火墙设备40实时获取相应消息。

在被测防火墙上进行流量管理模块的相关的被测配置，现以限制带宽配置为例。

测试脚本中设置实时速率可上下波动的百分比。

第一设备10使用软件构造流量，流量速率需大于防火墙上设置的限制带宽。

流量到达设备后，由于流量管理模块作用，会对流该量进行限制，正常情况下，会对超出的流量进行丢包处理。

第三设备30通过远程连接的方式，以固定时间为采样周期，定期获取第一设备10的实时发送速率、第二设备20的实时接收速率。如实时速率上下波动不符设置的百分比，则测试不通过。

同理，第三设备30通过远程连接的方式，以固定时间为采样周期，定期获取防火墙设备40的丢包日志，与实时与预期的丢包数量实时比较。如果不符预期，测试不通过。

流量发送完毕后，第三设备30计算通过从第一设备10获取的离散速率值来计算其算术平均值，并与设置的限制带宽进行比较，如超出预期百分比，则测试不通过。如未超出则需判断该组离散值与限制带宽的方差，从而可观测到实时速率与其限制带宽偏离程度。如方差不符合预期，则测试不通过。

同理，第三设备30计算通过从第二设备20获取的离散的速率值来计算其算数平均值，也与设置的限制带宽进行比较，如超出预期百分比，则测试不通过。如未超出则需判断该组离散值与其限制带宽的方差，从而可观测到与限制带宽的偏离程度。如方差不符合预期，则测试不通过。

第三设备30通过计算从防火墙设备40获取总丢包数，并与总预期丢包进行比较。如果不符预期，测试不通过。

从以上几个维度进行测试，均符合预期，测试通过。否则，测试不通过。

下面以一个用于防火墙流量管理的测试设计的具体实例，阐述使用本发明提出的网络设备流量管理的测试方法及系统。

自动化测试系统100总体执行过程与上述一致，本实例重点介绍测试脚本的具体执行过程。

按照本发明详细描述中的方法，具体的流程如下：

测试脚本的具体执行过程：

S1，初始化自动化测试系统，清除一切干扰配置。

S2，分别配置第一设备、第二设备、第三设备、防火墙设备的网络地址和路由，并进行连通性测试，使第一设备与第二设备可通过防火墙正常通信。同时保证第三设备可远程连接至第一设备、第二设备、防火墙设备实时获取相应消息。

S3，在被测防火墙上进行流量管理模块的相关的被测配置，现以限制带宽配置为例，设置上行限制带宽为200Mbps。

S4，测试脚本中设置实时速率可上下波动的百分比为20％。

S5，第一设备使用开源软件构造流量，流量速率需大于防火墙上设置的限制带宽，例如发送速率为500Mbps。

S6，流量到达设备后，由于流量管理模块作用，会对流该量进行限制，正常情况下，会对超出的流量进行丢包处理。

S7，第三设备通过远程连接的方式，以固定时间为采样周期，设置为50ms，定期获取第一设备的实时发送速率(统计发送成功的)、第二设备的实时接收速率。如实时速率上下波动不符设置的百分比20％，则测试不通过。

由于设置的限制带宽为200Mbps，那么实时速率可接受的最小值为160Mbps，最大值为240Mbps。

如此时的速率为250Mbps，那么直接测试不通过。具体如下：

检测实时速率(Mbps)	该步骤是否通过
		250	否
150	否
		210	是

同理，第三设备通过远程连接的方式，以固定时间为采样周期，定期获取防火墙设备的丢包日志，与实时与预期的丢包数量实时比较。如果不符预期，测试不通过。

假设预期实时丢包数量可浮动范围为20％。

假设为发送的数据包为UDP包，二层帧长度为：512字节荷载+8字节UDP头+20字节IP头+14以太网帧头+2字节尾帧＝558字节

当前距离第一设备开始发送时间为5s，预期丢包数量为[(500-200)*1000000*5]/[(558+20)*8]＝324394个，可接受丢包范围为259515-389273个。

注：其中20字节为前导码和帧间隙的长度；乘以8为字节数转换为比特数。

实时丢包(个)	该步骤是否通过
		240000	否
390000	否
		330000	是

S8，流量发送结束后，第三设备计算通过从第一设备获取的离散的速率值来计算其算术平均值，并与设置的限制带宽进行比较，如超出预期百分比——设置为10％，则测试不通过。如未超出则需判断该组离散值与限制带宽的方差，从而可观测到与其数学期望的偏离程度。如方差不符合预期，则测试不通过。

设定预期平均速率波动百分比为10％，那么其算数平均值在180bps-220bps均可通过。

假设发包时间为100s，那么从第一设备获取的离散速率值为100*1000/50＝2000个。

其算数平均值在上述范围内，此步骤通过。

计算该组离散值与限制带宽之间偏离程度，即计算其方差。设定方差不超过5可通过测试。

3.45小于5，测试通过。

同理，第三设备计算通过从第二设备获取的离散的速率值来计算其算数平均值，也与设置的限制带宽进行比较，如超出预期百分比，则测试不通过。如未超出则需判断该组离散值与其算数平均值的方差，从而可观测到与其数学期望的偏离程度。如方差不符合预期，则测试不通过。

S9，第三设备通过计算从防火墙设备获取总丢包数，并与总预期丢包进行比较。如果不符预期，测试不通过。

S10，从以上几个维度进行测试，均符合预期，测试通过。否则，测试不通过。

需要说明的是，本发明可应用在网络节点接入联盟链前的身份认证场景，本发明远程通过远程连接的方式，以固定时间为采样周期，定期获取实时发送速率和实时接收速率，并通过自动化脚本实时判断实时速率上下波动范围是否符合设置的百分比。与现有使用仪表的技术进行测试相比，使用自动化方式效率提高；与完全运行脚本后的自动化方式相比，可提前预判被测模块是否通过测试，节省测试时间。

本发明远程通过远程连接的方式，以固定时间为采样周期，定期获取防火墙设备的丢包日志，并与实时与预期的丢包数量实时比较，判断其是否符合预期。与现有使用仪表的技术进行测试相比，使用自动化方式效率提高；与完全运行脚本后的自动化方式相比，可提前预判被测模块是否通过测试，节省测试时间。

流量发送完毕后，通过计算实时发送速率和实时接收速率的算数平均值，并通过自动化脚本判断此算数平均值是否在设置的限制带宽之内。现有技术——使用仪表测试，仪表的测试报告比较繁冗，图表和数据需要人工二次处理，而本技术方案可直接设置合理区间和直接获得最后测试结论。

如果上述算数平均未超过设置的限制带宽，则判断该组离散的实时速率值与限制带宽的方差，从而可观测到实时速率与其限制带宽偏离程度是否符合预期。与现有技术——使用仪表测试相比，仪表测试仅可通过报告中的图表观测其偏离程度，本技术方案可通过量化的方式其偏离程度。

本发明通过计算从防火墙设备获取总丢包数，并与总预期丢包进行比较，并判断是否符合预期。与现有技术——使用仪表测试相比，仪表测试仍需通过人工二次处理才能比较其丢包数量，而本技术方案可直接设置合理区间和直接获得最后测试结论。

本发明带来的有益效果：

可实时分析速率信息和被测防火墙的丢包日志信息，并进行实时比较，且采样周期和预期取值范围的波动区间可根据实际需要调整，如流量管理模块设计不合理可提前预判，节省测试时间。

本发明增加了测试有效性问题，并可从统计意义上计算出与预期值的偏离程度，使结果量化。

本申请中提出的自动化方案，主要依赖于搭建的自动化测试环境，从而降低测试对测试仪表的过渡依赖，节省仪表成本和人力成本。

本申请侧重通过自动化方案来解决当前软件版本快速迭代，如手工使用仪表测试则会增加时间成本的问题。

本申请还可适用于流量管理中的保证带宽、流量整形等功能的测试。

通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。

Claims (6)

1.一种网络设备流量管理的测试系统，其特征在于，包括：第一设备、防火墙设备、第二设备和第三设备，所述第一设备和所述第二设备通过所述防火墙设备通信连接，所述第三设备与所述第一设备、所述防火墙设备及所述第二设备均通信连接，所述第三设备分别按对应的预设周期从所述第一设备、所述防火墙设备及所述第二设备采集数据，并基于采集的数据与对应的预设阈值间的关系，来判断网络设备流量管理的有效性；

其中，采集的数据包括：所述第一设备的实时发送速率、所述第二设备的实时接收速率及所述防火墙设备的实时丢包数；

并且，所述第一设备的实时发送速率、所述第二设备的实时接收速率及所述防火墙设备的实时丢包数分别与对应阈值比较，且流量发送完毕后，第一设备和第二设备的离散速率值的算数平均值与限制带宽进行比较，以及离散速率值与限制带宽的偏离程度、防火墙的总丢包数均未超过预设值时，判定网络设备流量管理具备有效性。

2.根据权利要求1所述的网络设备流量管理的测试系统，其特征在于，对应的所述预设阈值包括：实时发送速率阈值、实时接收速率阈值、实时丢包数阈值。

3.根据权利要求2所述的网络设备流量管理的测试系统，其特征在于，所述对应的预设阈值还包括：发送限制宽带、接收限制宽带、以及丢包限制数中的至少一个。

4.根据权利要求3所述的网络设备流量管理的测试系统，其特征在于，所述对应的预设阈值还包括：发送方差阈值、接收方差阈值、以及丢包数方差阈值中的至少一个。

5.根据权利要求1-4中任一项所述的网络设备流量管理的测试系统，其特征在于，所述第三设备与所述第一设备、所述防火墙设备及所述第二设备均远程通信连接。

6.一种网络设备流量管理的测试方法，其特征在于，所述方法采用如权利要求1-5中任一项所述的网络设备流量管理的测试系统对网络设备流量管理的有效性进行测试，所述方法包括：

分别对所述第一设备、所述第二设备、所述第三设备及所述防火墙设备进行参数配置，并设置对应的预设阈值；

控制所述第一设备向所述第二设备发送流量数据；

控制所述第三设备分别按对应的预设样周期从所述第一设备、所述防火墙设备及所述第二设备采集数据，其中，采集的数据包括：所述第一设备的实时发送速率、所述第二设备的实时接收速率及所述防火墙设备的实时丢包数；

控制所述第三设备基于采集的数据与对应的预设阈值间的关系，来判断网络设备流量管理的有效性，具体包括：

所述第三设备判断所述第一设备的实时发送速率与发送速率阈值的差值是否超过预设第一浮动范围，若超过，则判定所述网络流量管理设备无效；

所述第三设备判断所述第二设备的实时接收速率与接收速率阈值的差值是否超过预设的第二浮动范围，若超过，则判定所述网络流量管理设备无效；

所述第三设备判断所述防火墙设备的实时丢包数与丢包数阈值的差值是否超过预设的第三浮动范围，若超过，则判定所述网络流量管理设备无效；

流量数据在所述第二设备接收到所述第一设备发送的流量数据后，所述第三设备判断从所述第一设备获取的发送速率离散值的发送算术平均值与发送限制宽带的差值是否超过预设的第四浮动范围，若超过，则所述网络流量管理设备测试不通过；

如未超出，则计算所述发送速率离散值与发送限制宽带的方差，并判断该方差是否超过发送方差阈值，若超过，则测试不通过；

在所述第二设备接收到所述第一设备发送的流量数据后，所述第三设备判断从所述第二设备获取的接收速率离散值的接收算术平均值与接收限制宽带的差值是否超过预设的第五浮动范围，若超过，则所述网络流量管理设备测试不通过；

如未超出，则计算所述接收速率离散值与接收算术平均值的方差，并判断该方差是否超过接收方差阈值，若超过，则测试不通过。