CN112187580B - 网关插件自动化测试框架及测试方法 - Google Patents

Abstract

本发明揭示了一种网关插件自动化测试框架及测试方法，测试框架包括：主测试模块，用于输入执行参数并执行对应的测试用例，获取测试用例中的关键字、执行插件的自动化测试流程；远程操作模块，包含有构建的远程主机，用于在远程主机上执行命令并返回结果；命令行模块，用于执行本地命令及远程命令；判决模块，用于判断当前测试用例是否通过；用例模块，用于输出包含关键字的测试用例格式并对已编写的测试用例进行保存；日志模块，用于依据生成日志信息并输出。本发明采用数据驱动的方式，利用pytest框架实现了测试用例与测试代码分离，使用测试用例来驱动关键字，最终完成了整个自动化测试流程。

Description

网关插件自动化测试框架及测试方法

技术领域

本发明涉及一种测试框架及应用该框架的测试方法，具体而言，涉及一种利用Python实现的网关插件自动化测试框架及测试方法，属于互联网运维技术领域。

背景技术

近年来，随着互联网的快速发展，各类平台、项目层出不穷，为了满足日益复杂、严苛的应用需求，各种不同功能的插件开始被大规模地应用于系统平台中。

插件(Plug-in,又称addin、add-in、addon或add-on等)是一种遵循一定规范的应用程序接口编写出来的程序。由于插件需要调用原纯净系统所提供的函数库或者数据，因此其只能运行在程序所规定的一个或多个系统平台下，而不能脱离指定的平台单独运行。绝大多数的软件内都存在有插件、插件则有无数种，例如在IE中，安装相关的插件后，WEB浏览器能够直接调用插件程序，用于处理特定类型的文件。而为了保证系统平台中的插件都能够实时、安全无误地被调用，针对插件的测试也是互联网行业内从业人员的日常工作项目。

就插件测试的方式而言，毫无疑问地，自动化测试将会是未来行业内的主流发展方向。但尽管如此，在目前的技术条件下，对于家庭网关内的插件测试，仍然以手动测试的方式为主。手动测试家庭网关内的插件，缺陷和难点主要集中在以下几个方面：

1、插件数量庞大，测试项目繁杂，条目众多；

2、测试过程中存在着大量重复性操作，对于企业内的人力资源而言是一种浪费；

3、不同插件内的用例格式并不统一，给测试人员的统一管理造成了一定的困难；

4、在进行回归测试时执行测试用例的效率低下，不利于敏捷迭代；

5、测试操作要求测试人员登录网关进行操作，但网关登录很容易出现超时的问题，因此测试人员在长时间操作时往往需要多次、重复登陆，影响操作效率。

……

由以上描述可以得知，现行的手动测试方法使得整个测试过程既耗时又费力，给测试人员带来了大量无谓的工作，严重地影响了测试效率。

Python是一种跨平台的计算机程序设计语言， 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言，近年来在互联网领域内的应用也十分广泛，特别是由Python脚本所构建的pytest测试框架凭借其所具有的简洁、高效等特点，开始逐渐受到众多测试人员的关注。

基于上述技术现状，如果能够将pytest测试框架有针对性地应用于家庭网关内插件的测试过程中，提出一种全新的、利用Python实现的网关插件自动化测试框架及测试方法，以克服现有技术条件下所存在的诸多缺陷，那么必将会对整个互联网行业产生积极的影响。

发明内容

鉴于现有技术存在上述缺陷，本发明的目的是提出一种利用Python实现的网关插件自动化测试框架及测试方法，具体如下。

一种网关插件自动化测试框架，包括：

主测试模块，与网关通信连接，用于输入执行参数并执行对应的测试用例，获取所述测试用例中的关键字、执行插件的自动化测试流程；

远程操作模块，包含有构建的远程主机，所述远程主机与所述主测试模块及网关通信连接，用于在所述远程主机上执行命令并返回结果；

命令行模块，与所述主测试模块通信连接，用于执行本地命令及远程命令；

判决模块，与所述主测试模块通信连接，用于判断当前测试用例是否通过；

用例模块，与所述主测试模块通信连接，用于输出包含关键字的测试用例格式、供测试人员编写测试用例并对已编写的测试用例进行保存、等待所述主测试模块调用；

日志模块，与所述主测试模块通信连接，用于依据测试用例执行后的返回结果生成日志信息并输出，将最近一次操作保存在日志文件中。

优选地，在所述远程操作模块中，获取所述远程主机上的返回结果时，

所述返回结果只包含最后一条命令执行后的返回值。

优选地，所述远程主机的配置信息记录于测试床文件中；所述测试床文件中还记录有变量的配置信息以及测试用例的配置信息。

优选地，所述测试用例格式中的关键字包括：

ops，用于编写测试步骤，编写内容为shell命令，单个所述测试用例中可以包含有多个测试步骤；

expect，用于编写测试预期、即操作步骤返回的结果，或编写一个操作步骤同时验证多个测试预期；

resetops，用于实现所述测试用例的复位操作；

judgetype，用于标注该所述测试用例所对应的判决方法。

一种网关插件自动化测试方法，基于如上所述的网关插件自动化测试框架，包括如下步骤：

S1、用例模块输出包含关键字的测试用例格式、供测试人员编写测试用例，所述测试用例编写完成后，所述用例模块对已编写的所述测试用例进行保存、等待主测试模块调用；

S2、所述主测试模块调用所述用例模块内保存的所述测试用例并执行；

S3、远程操作模块通过远程主机接入待测设备；

S4、命令行模块执行测试用例中的命令行参数；

S5、判决模块接收所述测试用例操作步骤中最后一条语句的返回值，经所述判决模块的判断后、输出判断结果；

S6、日志模块依据所述测试用例执行后的返回结果生成日志信息并输出，将最近一次操作保存在日志文件中。

本发明的优点主要体现在以下几个方面：

本发明所提供的一种网关插件自动化测试框架及测试方法，采用数据驱动的方式，利用pytest框架实现了测试用例与测试代码分离，使用测试用例来驱动关键字，最终完成了整个自动化测试流程。本发明减少了测试用例但提高了测试覆盖率，为敏捷迭代提供了测试基础，实现了研发过程与测试过程的紧密结合。

相较于现有技术，本发明可以有效地解决手动测试过程中网关登录易超时、需要测试人员反复登录的问题，而且本发明更多地依靠机器进行测试，免除了测试人员的大量重复性操作，在显著提升测试效率的同时最大限度上节约了企业内的人力资源。

此外，本发明也为同领域内的其他相关方案提供了参考，可以以此为依据进行拓展延伸，运用于同领域内其他与插件自动化测试相关的技术方案中，具有十分广阔的应用前景。

以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。

附图说明

图1为本发明中测试框架的架构示意图；

图2为本发明中测试方法的流程示意图。

具体实施方式

本发明提出了一种利用Python实现的网关插件自动化测试框架及测试方法，具体方案如下。

如图1所示，一种网关插件自动化测试框架，包括主测试模块、远程操作模块、命令行模块、判决模块、用例模块以及日志模块。

所述主测试模块，与网关通信连接，用于执行测试人员所编写的测试用例，依据pytest框架、输入对应的执行参数并执行对应的测试用例，获取所述测试用例中的关键字、执行插件的自动化测试流程。所述远程操作模块，包含有构建的远程主机，此处所述远程主机是为了解决登录设备易超时退出的问题而抽象出的概念，所述远程主机与所述主测试模块及网关通信连接，用于通过ssh/telnet等协议在所述远程主机上执行命令并返回结果。此处需要强调的是，所述返回结果只包含最后一条命令执行后的返回值。

需要补充说明的是，所述远程操作模块实现ssh/telnet登录的操作均是基于python中的paramiko库和telnetlib库实现。所述远程主机的配置信息记录于测试床文件中；此外，所述测试床文件中还记录有变量的配置信息以及测试用例的配置信息。

所述命令行模块，与所述主测试模块通信连接，用于执行本地命令及远程命令。在测试执行过程中均使用shell命令，在执行远程命令时可通过所述远程操作模块登录相应设备。

所述判决模块，与所述主测试模块通信连接，用于依据Python语言，实现判断当前测试用例是否通过的逻辑。其输入为所述测试用例操作步骤中最后一条语句的返回值，关键字为result；输出为判断结果，用True/False表示。

所述用例模块，与所述主测试模块通信连接，用于依据Yml公共库，输出包含关键字的测试用例格式、供测试人员编写测试用例并对已编写的测试用例进行保存、等待所述主测试模块调用。

此处所述测试用例格式中的关键字至少包括：

ops，用于编写测试步骤，编写内容为shell命令，单个所述测试用例中可以包含有多个测试步骤；

expect，用于编写测试预期、即操作步骤返回的结果，或编写一个操作步骤同时验证多个测试预期；

resetops，用于实现所述测试用例的复位操作；

judgetype，用于标注该所述测试用例所对应的判决方法。

所述日志模块，与所述主测试模块通信连接，用于依据测试用例执行后的返回结果生成日志信息并输出，将最近一次操作保存在日志文件中。

如图2所示，一种网关插件自动化测试方法，基于如上所述的网关插件自动化测试框架，包括如下步骤：

S1、用例模块输出包含关键字的测试用例格式、供测试人员编写测试用例，所述测试用例编写完成后，所述用例模块对已编写的所述测试用例进行保存、等待主测试模块调用；

S2、所述主测试模块调用所述用例模块内保存的所述测试用例并执行；

S3、远程操作模块通过远程主机接入待测设备；

S4、命令行模块执行测试用例中的命令行参数；

S5、判决模块接收所述测试用例操作步骤中最后一条语句的返回值，经所述判决模块的判断后、输出判断结果；

S6、日志模块依据所述测试用例执行后的返回结果生成日志信息并输出，将最近一次操作保存在日志文件中。

以下结合一个具体的操作实例对本发明的方法步骤进行补充说明。

本发明的框架可以通过Github下载源码文件，所述源码文件包含了本发明框架的模块代码以及配置文件；其中sample文件夹中放置测试执行的测试床文件和测试用例文件，都是Yml格式，运行环境在liunx中。

在sample文件夹中配置测试床文件，所述测试床文件中的配置格式主要包含用例位置、提供给测试用例的变量，进一步而言，所述测试床配置包括远程主机配置、变量配置以及用例配置。

其中远程主机配置的设计是使用remote作为主键，其后使用远程主机的名称(name)作为键，且名称(name)在测试用例中使用。value为其标准属性，使用分号分隔的一系列内容，格式为proto;ip/name;port;user;pass。其中proto表示协议类型，当前支持telnet/ssh，后续可扩展，ip/hostname表示远程主机的IP或者名称(域名)，port表示远程协议的端口，user表示用户名，pass表示密码，注意telnet不需要。在本实施例中使用telnet登录使用loginkv模式，即登录远程主机的键值对列表，每个元素为字典格式，包含“expect、exitcmd、cmd”这三种属性，expect表示期待的字符串，telnet客户端在没有获取该期待内容时，会一直等待，直到默认20秒超时；exitcmd表示当前视图的退出命令，可以不存在，视图即表示在当前状态下可执行命令，故输入用户名之后的状态不是视图；cmd表示进入下一视图的命令，也可以不存在。令用户名为root，密码为abcd，然后再出现"# "字符串后，进入1级视图输入"saf-mtk console"进入另一个状态，然后等待“Password: ”，再输入两次命令["upt", ""]，最终等待出现"root@SAF"，如此进入最终视图。

随后根据所编写的测试用例，根据提供的关键字ops、expect、judgetype进行测试测试用例编写。在本实施例中显示调用远程主机的格式$$remote$$name，其中$$remote为固定前缀，其后的name为远程主机定义的名称；实例中网关插件在文件目录下，在测试床文件中配置变量，若调用该变量时，格式为${name},name是变量名称；通过“-”分组实现一条命令多个验证的测试场景，注意与第一条用例不同的是，该步骤写在“expect”，用于验证的关键字是“cmd_result”。

最后依据pytest框架，在所述源码文件所在的目录下，执行如下命令：pytest --bed sample/xxx.yml -v 。最后通过执行该命令返回每条用例的执行情况，包含用例是否执行通过；若不通过，再由所述日志模块将错误信息打印窗口上。

综上所述，本发明所提供的一种网关插件自动化测试框架及测试方法，采用数据驱动的方式，利用pytest框架实现了测试用例与测试代码分离，使用测试用例来驱动关键字，最终完成了整个自动化测试流程。本发明减少了测试用例但提高了测试覆盖率，为敏捷迭代提供了测试基础，实现了研发过程与测试过程的紧密结合。

相较于现有技术，本发明可以有效地解决手动测试过程中网关登录易超时、需要测试人员反复登录的问题，而且本发明更多地依靠机器进行测试，免除了测试人员的大量重复性操作，在显著提升测试效率的同时最大限度上节约了企业内的人力资源。

此外，本发明也为同领域内的其他相关方案提供了参考，可以以此为依据进行拓展延伸，运用于同领域内其他与插件自动化测试相关的技术方案中，具有十分广阔的应用前景。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

最后应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (1)

1.一种网关插件自动化测试方法，基于一种网关插件自动化测试框架，所述网关插件自动化测试框架包括，

主测试模块，与网关通信连接，用于输入执行参数并执行对应的测试用例，获取所述测试用例中的关键字、执行插件的自动化测试流程；

远程操作模块，包含有构建的远程主机，所述远程主机与所述主测试模块及网关通信连接，用于在所述远程主机上执行命令并返回结果；

命令行模块，与所述主测试模块通信连接，用于执行本地命令及远程命令；

判决模块，与所述主测试模块通信连接，用于判断当前测试用例是否通过；

用例模块，与所述主测试模块通信连接，用于输出包含关键字的测试用例格式、供测试人员编写测试用例并对已编写的测试用例进行保存、等待所述主测试模块调用；

日志模块，与所述主测试模块通信连接，用于依据测试用例执行后的返回结果生成日志信息并输出，将最近一次操作保存在日志文件中；

在所述远程操作模块中，获取所述远程主机上的返回结果时，所述返回结果只包含最后一条命令执行后的返回值；

所述远程主机的配置信息记录于测试床文件中；所述测试床文件中还记录有变量的配置信息以及测试用例的配置信息；

所述测试用例格式中的关键字包括，

ops，用于编写测试步骤，编写内容为shell命令，单个所述测试用例中包含有多个测试步骤；

expect，用于编写测试预期、即操作步骤返回的结果，或编写一个操作步骤同时验证多个测试预期；

resetops，用于实现所述测试用例的复位操作；

judgetype，用于标注所述测试用例所对应的判决方法；

其特征在于，方法包括如下步骤：

S1、用例模块输出包含关键字的测试用例格式、供测试人员编写测试用例，所述测试用例编写完成后，所述用例模块对已编写的所述测试用例进行保存、等待主测试模块调用；

S2、所述主测试模块调用所述用例模块内保存的所述测试用例并执行；

S3、远程操作模块通过远程主机接入待测设备；

S4、命令行模块执行测试用例中的命令行参数；

S5、判决模块接收所述测试用例操作步骤中最后一条语句的返回值，经所述判决模块的判断后、输出判断结果；

S6、日志模块依据所述测试用例执行后的返回结果生成日志信息并输出，将最近一次操作保存在日志文件中。

Images