CN107547309A - 一种安全网关性能的自动化测试方法及装置 - Google Patents

Abstract

本发明实施例公开了一种安全网关性能的自动化测试方法及装置，方法包括：接收用户输入的安全网关性能测试的预期值和测试参数，并根据测试参数在若干个被测设备中确定目标被测设备；接收商用测试仪表的测试命令，并根据测试命令对目标被测设备进行测试，得到测试结果；将测试结果与预期值进行对比，若测试结果不满足预期值，则对当前网络进行流量调整后，重新根据测试命令对目标被测设备进行测试。通过接收测试参数，可自动确定目标被测设备；结合商用测试仪表的测试命令，可自动进行设备测试，实现多个测试用例的自动连续测试，将测试结果与用户输入的预期值自动比对，自动重新测试，以满足性能测试预期，无需人为干预，大大提高测试效率。

Description

一种安全网关性能的自动化测试方法及装置

技术领域

本发明实施例涉及网络测试技术领域，具体涉及一种安全网关性能的自动化测试方法及装置。

背景技术

近年来，随着下一代互联网技术的发展，全球已初步形成了基于IPv4/IPv6协议的互联互通的网络基础设施平台。多年的实践表明：现有的互联网对高性能视频应用的支持显得力不从心。如果不使用有效的网络性能测量工具，进行前期的有效测量和大量的应用测试，找到制约高带宽、高服务质量的传输瓶颈，并根据测量测试结果采取端到端服务质量保证措施优化网络带宽资源，此类应用是不能成功的。

当前性能测试由于DUT(Device Under Test，测试中设备)硬件的不断更新换代，性能随之越来越强，针对模拟的测试设备要求也就随之越来越高，以往采用软件压力测试的工具就代价越来越大，后续商用测试仪表的跟进，解决了多服务器集群部署带来的管理、配置等工作量，同时商业仪表也存在问题，就是GUI(Graphical User Interface，图形用户界面)限制以及可定制化的局限性。

在实现本发明实施例的过程中，发明人发现现有的安全网关性能测试方法受限于商用测试仪表的使用，无法自动执行多个测试用例，需要人为干预，大大降低了测试效率。

发明内容

由于现有方法存在上述问题，本发明实施例提出一种安全网关性能的自动化测试方法及装置。

第一方面，本发明实施例提出一种安全网关性能的自动化测试方法，包括：

接收用户输入的安全网关性能测试的预期值和测试参数，并根据所述测试参数在若干个被测设备中确定目标被测设备；

接收商用测试仪表的测试命令，并根据所述测试命令对所述目标被测设备进行测试，得到测试结果；

将所述测试结果与所述预期值进行对比，若所述测试结果不满足所述预期值，则对当前网络进行流量调整后，重新根据所述测试命令对所述目标被测设备进行测试。

可选地，所述方法还包括：

若所述测试结果满足所述预期值，则根据所述测试结果和测试报告模板，生成标准测试报告，并将所述标准测试报告发送给目标终端。

可选地，所述对当前网络进行流量调整，具体包括：

根据二分法对当前网络进行流量调整。

可选地，所述对当前网络进行流量调整后，重新根据所述测试命令对所述目标被测设备进行测试，具体包括：

获取当前网络的平均流量，将所述平均流量作为所述预期值，重新根据所述测试命令对所述目标被测设备进行测试。

第二方面，本发明实施例还提出一种安全网关性能的自动化测试装置，包括：

参数接收模块，用于接收用户输入的安全网关性能测试的预期值和测试参数，并根据所述测试参数在若干个被测设备中确定目标被测设备；

设备测试模块，用于接收商用测试仪表的测试命令，并根据所述测试命令对所述目标被测设备进行测试，得到测试结果；

流量调整模块，用于将所述测试结果与所述预期值进行对比，若所述测试结果不满足所述预期值，则对当前网络进行流量调整后，重新根据所述测试命令对所述目标被测设备进行测试。

可选地，所述装置还包括：

报告发送模块，用于若所述测试结果满足所述预期值，则根据所述测试结果和测试报告模板，生成标准测试报告，并将所述标准测试报告发送给目标终端。

可选地，所述流量调整模块具体用于根据二分法对当前网络进行流量调整。

可选地，所述流量调整模块具体用于获取当前网络的平均流量，将所述平均流量作为所述预期值，重新根据所述测试命令对所述目标被测设备进行测试。

第三方面，本发明实施例还提出一种电子设备，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述方法。

第四方面，本发明实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述方法。

由上述技术方案可知，本发明实施例通过接收用户输入的测试参数，可自动确定目标被测设备；结合商用测试仪表的测试命令，可自动进行设备测试，实现多个测试用例的自动连续测试，且能够将测试结果与用户输入的预期值自动比对，自动重新测试，以满足性能测试预期，无需人为干预，大大提高测试效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明一实施例提供的一种安全网关性能的自动化测试方法的流程示意图；

图2为本发明一实施例提供的一种安全网关性能的自动化测试平台的结构示意图；

图3为本发明一实施例提供的一种安全网关性能的自动化测试平台的运行流程示意图；

图4为本发明一实施例提供的一种安全网关性能的自动化测试装置的结构示意图；

图5为本发明一实施例提供的电子设备的逻辑框图。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

图1示出了本实施例提供的一种安全网关性能的自动化测试方法的流程示意图，包括：

S101、接收用户输入的安全网关性能测试的预期值和测试参数，并根据所述测试参数在若干个被测设备中确定目标被测设备。

其中，所述预期值为用户预先输入的预期达到的安全网关性能测试的数值或数值范围。

所述测试参数为用户输入的进行自动化测试需要的一组参数。

所述目标被测设备为当前测试用例中需要进行测试的被测设备。

具体地，接收到测试参数后，由于可自动连续测试多个测试用例对应的被测设备，因此需要从测试参数中解析得到当前测试用例中的被测设备的标识，根据该标识从若干个被测设备中获取当前测试用例中的被测设备。

由于现有的商用测试仪表无法覆盖所有DUT交互的配置，本实施例可以在1个测试用例执行完，下一个测试用例执行的时候，与DUT交互，以便自动化开始继续测试其他测试用例，对具体的被测设备进行测试。

S102、接收商用测试仪表的测试命令，并根据所述测试命令对所述目标被测设备进行测试，得到测试结果。

其中，所述测试命令为商用测试仪表中生成的用于测试的命令。

所述测试结果为根据商用测试仪表的测试命令对目标被测设备进行测试后得到的结果。

需要说明的是，所述测试结果可以包括多个被测设备测试后得到的结果。

S103、将所述测试结果与所述预期值进行对比，若所述测试结果不满足所述预期值，则对当前网络进行流量调整后，重新根据所述测试命令对所述目标被测设备进行测试。

其中，所述流量调整为根据预设算法对当前流量进行调整后，重新进行目标被测设备的测试，便于得到预期值，满足性能测试要求。

具体地，由于商用测试仪表已经有完整的DUT单测试用例的测试执行报告，但是并没有基于当前DUT测试结果的判定，导致仍然需要人工分析测试结果是否符合预期，本实施例可以基于用户的预期输入来自动化判定是否符合预期；通过集成商用测试仪表的优点，配合性能测试自动化平台，来发挥商业仪表和自动化测试的优势，得到最大化效率提升。

需要说明的是，本实施例基于python语言实现，可以灵活的增加各种实际业务需求，做二次开发，商用仪表封闭，无法实现灵活的二次开发需求，因为性能测试不同于功能测试的重要点就是不同产品、不同指标，评估验证的方法都不一样，不是固定输入固定输出的判定方式，是根据具体测试用例的预期，测试用例和测试用例之间的预期有时不一样，所以二次开发需求对于实现性能自动化来说，至关重要。

本实施例通过接收用户输入的测试参数，可自动确定目标被测设备；结合商用测试仪表的测试命令，可自动进行设备测试，实现多个测试用例的自动连续测试，且能够将测试结果与用户输入的预期值自动比对，自动重新测试，以满足性能测试预期，无需人为干预，大大提高测试效率。

进一步地，在上述方法实施例的基础上，所述方法还包括：

S104、若所述测试结果满足所述预期值，则根据所述测试结果和测试报告模板，生成标准测试报告，并将所述标准测试报告发送给目标终端。

具体地，商用测试仪表没有友好用户通知机制来通告用户测试情况，包括测试进度，测试结论、测试汇总结果，本实施例可以在测试结束时，自动通告测试结果，包括测试汇总报告，可以通过邮件方式，也可以通过其他可以实现的方式。

商用测试仪表没有综合的汇总报告，只能基于单个测试用例的结果，本实施例可以提供综合的汇总报告，方便用户查看。

本实施例解决了用户统一输入、自动执行测试、测试结果判定、测试结果通告、测试结果汇总五大类综合执行需求，真正的实现了安全网关类产品的自动化性能测试。

进一步地，在上述方法实施例的基础上，S103中所述对当前网络进行流量调整，具体包括：

根据二分法对当前网络进行流量调整。

其中，所述二分法具体为：对于区间[a，b]上连续不断且f(a)·f(b)<0的函数y＝f(x)，通过不断地把函数f(x)的零点所在的区间一分为二，使区间的两个端点逐步逼近零点，进而得到零点近似值的方法。

二分法在查找中是一种通用的方法，通过使用二分法对当前网络进行流量调整，能够提高测试效率。

进一步地，在上述方法实施例的基础上，S103中所述对当前网络进行流量调整后，重新根据所述测试命令对所述目标被测设备进行测试，具体包括：

获取当前网络的平均流量，将所述平均流量作为所述预期值，重新根据所述测试命令对所述目标被测设备进行测试。

具体地，采用极速方法对当前网络进行流量调整。所述极速方法为采用图2所示的RESULT ANALYSIS模块中给出的平均值作为下一次测试的输入预期指标，这样可以模拟人类思维，快速测试出来结果，节省自动化测试时间以及运行成本，对比二分法再次提升效率。

图2为本实施例提供的安全网关性能的自动化测试平台的结构示意图，其中性能自动化系统中包括的7个模块即用于实现本实施例提供的安全网关性能的自动化测试方法，所述7个模块包括：CHASSIS模块、DUT CONFIG模块、MAIN模块、USER INPUT模块、TESTREPORT OUTPUT模块、DATA REPORT OUTPUT模块和RESULT ANALYSIS模块。商用测试仪表将测试用例(case)下发至性能自动化系统中，性能自动化系统进行控制，修改DUT配置通信，对被测设备进行测试，并将测试结果通报至测试执行以及相关告知人员。

性能自动化系统中各模块的功能如下：

1)CHASSIS模块，提供商用测试仪表自动化测试api接口，提供命令行级别的测试用例执行功能；

2)DUT CONFIG模块，提供被测设备的配置接口，用于实现自动化case by case(逐个测试用例测试)过程中切换被测设备的配置使用；

3)MAIN模块，提供自动化系统主运行API调度各个模块执行；

4)USER INPUT模块，提供用户统一输入API，用于输入自动化测试过程中所必要的参数，包含测试结果预期值等；

5)RESULT ANALYSIS模块，提供测试结果分析API，用于结果解析和判定；

6)TEST REPORT OUTPUT模块，提供测试结果通报API，用于实现mail汇总报告发送；

7)DATA REPORT OUTPUT模块，提供基于测试结果整理测试报告模版，输出标准测试报告；

对应地，本实施例提供的安全网关性能的自动化测试平台的运行流程示意图如图3所示，首先输入测试预期，可以通过Input.csv文件存储；然后通过USER INPUT模块进行解析，并由DUT CONFIG模块下发配置，由CHASSIS模块下发执行测试，接着由RESULT ANALYSIS模块进行分析，并根据预期进行判断，如满足预期，直接由TEST REPORT模块生成测试报告；否则由流量调整模块进行流量调整后，CHASSIS模块重新下发执行测试。

图4示出了本实施例提供的一种安全网关性能的自动化测试装置的结构示意图，所述装置包括：参数接收模块401、设备测试模块402和流量调整模块403，其中：

所述参数接收模块401用于接收用户输入的安全网关性能测试的预期值和测试参数，并根据所述测试参数在若干个被测设备中确定目标被测设备；

所述设备测试模块402用于接收商用测试仪表的测试命令，并根据所述测试命令对所述目标被测设备进行测试，得到测试结果；

所述流量调整模块403用于将所述测试结果与所述预期值进行对比，若所述测试结果不满足所述预期值，则对当前网络进行流量调整后，重新根据所述测试命令对所述目标被测设备进行测试。

具体地，所述参数接收模块401接收用户输入的安全网关性能测试的预期值和测试参数，并根据所述测试参数在若干个被测设备中确定目标被测设备；所述设备测试模块402接收商用测试仪表的测试命令，并根据所述测试命令对所述目标被测设备进行测试，得到测试结果；所述流量调整模块403将所述测试结果与所述预期值进行对比，若所述测试结果不满足所述预期值，则对当前网络进行流量调整后，重新根据所述测试命令对所述目标被测设备进行测试。

本实施例通过接收用户输入的测试参数，可自动确定目标被测设备；结合商用测试仪表的测试命令，可自动进行设备测试，实现多个测试用例的自动连续测试，且能够将测试结果与用户输入的预期值自动比对，自动重新测试，以满足性能测试预期，无需人为干预，大大提高测试效率。

进一步地，在上述装置实施例的基础上，所述装置还包括：

报告发送模块，用于若所述测试结果满足所述预期值，则根据所述测试结果和测试报告模板，生成标准测试报告，并将所述标准测试报告发送给目标终端。

进一步地，在上述装置实施例的基础上，所述流量调整模块403具体用于根据二分法对当前网络进行流量调整。

进一步地，在上述装置实施例的基础上，所述流量调整模块403具体用于获取当前网络的平均流量，将所述平均流量作为所述预期值，重新根据所述测试命令对所述目标被测设备进行测试。

本实施例所述的安全网关性能的自动化测试装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。

参照图5，所述电子设备，包括：处理器(processor)501、存储器(memory)502和总线503；

其中，

所述处理器501和存储器502通过所述总线503完成相互间的通信；

所述处理器501用于调用所述存储器502中的程序指令，以执行上述各方法实施例所提供的方法。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种安全网关性能的自动化测试方法，其特征在于，包括：

接收用户输入的安全网关性能测试的预期值和测试参数，并根据所述测试参数在若干个被测设备中确定目标被测设备；

接收商用测试仪表的测试命令，并根据所述测试命令对所述目标被测设备进行测试，得到测试结果；

将所述测试结果与所述预期值进行对比，若所述测试结果不满足所述预期值，则对当前网络进行流量调整后，重新根据所述测试命令对所述目标被测设备进行测试。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述测试结果满足所述预期值，则根据所述测试结果和测试报告模板，生成标准测试报告，并将所述标准测试报告发送给目标终端。

3.根据权利要求1所述的方法，其特征在于，所述对当前网络进行流量调整，具体包括：

根据二分法对当前网络进行流量调整。

4.根据权利要求1所述的方法，其特征在于，所述对当前网络进行流量调整后，重新根据所述测试命令对所述目标被测设备进行测试，具体包括：

获取当前网络的平均流量，将所述平均流量作为所述预期值，重新根据所述测试命令对所述目标被测设备进行测试。

5.一种安全网关性能的自动化测试装置，其特征在于，包括：

参数接收模块，用于接收用户输入的安全网关性能测试的预期值和测试参数，并根据所述测试参数在若干个被测设备中确定目标被测设备；

设备测试模块，用于接收商用测试仪表的测试命令，并根据所述测试命令对所述目标被测设备进行测试，得到测试结果；

流量调整模块，用于将所述测试结果与所述预期值进行对比，若所述测试结果不满足所述预期值，则对当前网络进行流量调整后，重新根据所述测试命令对所述目标被测设备进行测试。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

报告发送模块，用于若所述测试结果满足所述预期值，则根据所述测试结果和测试报告模板，生成标准测试报告，并将所述标准测试报告发送给目标终端。

7.根据权利要求5所述的装置，其特征在于，所述流量调整模块具体用于根据二分法对当前网络进行流量调整。

8.根据权利要求5所述的装置，其特征在于，所述流量调整模块具体用于获取当前网络的平均流量，将所述平均流量作为所述预期值，重新根据所述测试命令对所述目标被测设备进行测试。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至4任一所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行如权利要求1至4任一所述的方法。