CN107092558A - 一种命令行界面命令集合自动化测试系统和方法 - Google Patents

Abstract

本发明涉及一种命令行界面命令集合自动化测试系统，包括上下两层分层架构，其中，只能上层对下层进行调用，上层是系统框架层，下层是通信传输层和测试执行层；所述系统框架层用于提供用户接口、配置运行环境和调用下层模块；所述通信传输层用于负责测试机和被测试机之间的远程连接；所述测试执行层用于执行整个测试任务，包括测试脚本和测试数据，通过采用数据驱动脚本的测试思想，将测试数据从测试脚本中分离并单独存放。本发明还涉及一种命令行界面命令集合自动化测试方法。本发明可以减少测试的工作量，提高测试效率。

Description

一种命令行界面命令集合自动化测试系统和方法

技术领域

本发明涉及命令行界面(Command Line Interface，简称“CLI”)的功能测试技术领域，特别是涉及一种命令行界面命令集合自动化测试系统和方法。

背景技术

CLI是指可在用户提示符下键入可执行指令的界面，它通常不支持鼠标，用户通过键盘输入指令，计算机接收到指令后予以执行。CLI是管理和配置网络设备的一种接口模式，它具有功能强大、易使用、扩充方便、资源占用率少等优点，几乎所有的网络设备都支持CLI接口模式。

在用户操作方面，CLI没有图形用户界面(Graphical User Interface，简称“GUI”)便利，因为CLI的软件通常需要用户记忆操作的命令。但是CLI要比GUI节约计算机系统的资源；而且在熟记命令的前提下，使用CLI往往要比使用GUI的操作速度要快。所以在GUI模式的操作系统中，通常都保留着可选的CLI模式，对CLI的功能进行测试必不可少。

CLI的功能测试通常需要测试人员具备专业知识，熟悉相关操作的CLI指令。因此，目前CLI的功能测试大部分都采用手工测试，操作繁琐，不易排错。对于简单的回归测试，可以采用录制生成脚本的方式来提高一定的测试效率，但脚本的维护量大，复用性低。操作系统需要CLI来提供丰富的系统管理能力，因此高效地保证CLI的质量就变得十分重要。

发明内容

本发明所要解决的技术问题是提供一种命令行界面命令集合自动化测试系统和方法，减少测试的工作量，提高测试效率。

本发明解决其技术问题所采用的技术方案是：提供一种命令行界面命令集合自动化测试系统，包括上下两层分层架构，其中，只能上层对下层进行调用，上层是系统框架层，下层是通信传输层和测试执行层；所述系统框架层用于提供用户接口、配置运行环境和调用下层模块；所述通信传输层用于负责测试机和被测试机之间的远程连接；所述测试执行层用于执行整个测试任务，包括测试脚本和测试数据，通过采用数据驱动脚本的测试思想，将测试数据从测试脚本中分离并单独存放。

所述系统框架层提供图形化用户接口，通过图形化用户接口加载、执行、查看整个测试过程。

所述系统框架层配置运行环境时包括测试的运行环境和被测试机的登录数据。

所述被测试机的登录数据包括被测试机的IP、用户名和密码。

所述通信传输层包括共存且独立的SSH远程登录模块和Telnet远程登录模块。

所述测试数据包括多个测试集合，每个测试集合由多个测试用例组成，所述测试用例包含CLI命令、用例ID、用例名称和期望结果，其中期望结果用于测试执行时与实时运行结果做比较。

所述测试脚本包括整个测试的业务逻辑：初始化测试环境、执行工作流、清理测试环境，其中的工作流包括读取测试数据、执行测试用例、输出实时结果并打印日志。

所述实时结果包括测试时间、测试内容和测试结果，所述测试结果以通过和失败两种形式来标记，判定测试结果通过和失败的原则是：在测试脚本中为单条测试用例的执行时间设定阈值，若某条测试用例在设定的阈值内未执行完毕，则判定该条测试用例的结果为失败，并自动执行下一条测试用例；若某条测试用例在设定的阈值内执行完毕，则将实时运行结果和测试用例的期望结果做比较，如果相同就判定该条测试用例的结果为通过，如果不同就判定该条测试用例的结果为失败。

本发明解决其技术问题所采用的技术方案是：提供一种命令行界面命令集合自动化测试方法，采用上述的命令行界面命令集合自动化测试系统，包括以下步骤：

(1)通过用户接口选择远程登录方式，然后在登录对话框输入登录信息，登录成功则进入主窗口，登录失败则退出程序；

(2)登录成功后，通过主窗口选择需要测试的数据文件；

(3)选择测试数据后，若确定执行本次测试，则通过主窗口调用测试脚本；

(4)调用后，测试脚本自动执行整个测试过程：首先初始化测试环境；然后读取所选择的测试数据，编译、执行测试用例；执行完毕后按照脚本设定的输出形式将实时结果输出到用户界面，同时按照脚本设定的日志等级，将不同等级的日志记录保存到相应的日志文件中；最后清理测试环境。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：

1.系统框架层提供的图形化用户接口可以确保用户操作的简单便利性，避免出错频率；

2.通信传输层采用模块化思想，在保证信息安全的前提下，满足不同操作系统用户的使用需求；

3.测试执行层采用数据驱动脚本的测试思想，可以有效减少脚本的维护量，增强了测试脚本的复用度，提高了CLI命令集合的测试效率。

4.测试脚本打印不同等级的日志文件，优化了测试效果，便于后期的检查和调试。

附图说明

图1是本发明的系统结构图；

图2是本发明的整体实施工作流程图；

图3是远程登录被测试机的逻辑流程图；

图4是测试结果的判定流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的第一实施方式涉及一种命令行界面命令集合自动化测试系统，如图1所示，包括上下两层分层架构，其中，只能上层对下层进行调用，上层是系统框架层，下层是通信传输层和测试执行层；所述系统框架层用于提供用户接口、配置运行环境和调用下层模块；所述通信传输层用于负责测试机和被测试机之间的远程连接；所述测试执行层用于执行整个测试任务，包括测试脚本和测试数据，通过采用数据驱动脚本的测试思想，将测试数据从测试脚本中分离并单独存放。

系统框架层能够提供图形化用户接口，测试人员可以通过图形化用户接口加载、执行、查看整个测试过程。系统框架层在配置运行环境时测试的运行环境和被测试机的登录数据，其中被测试机的登录数据包括各个被测试机对应的IP、用户名和密码，这些数据在远程登录被测试机时用来与登录对话框的输入信息做匹配。

通信传输层由SSH远程登录模块和Telnet远程登录模块组成。信息安全方面，Telnet远程登录模块在网络上用明文传送口令和数据，容易造成信息泄露，而SSH远程登录模块将传输的数据进行加密，可以有效防止远程管理过程中的信息泄露问题；用户操作方面，SSH远程登录方式可以在Linux系统下直接使用，在Windows系统下使用的前提是：需要安装所用编程语言的第三方库函数，而Telnet远程登录方式在两种操作系统下都可以直接使用。因此，本发明采用模块化思想，将通信传输层分为两个模块，用户可以根据自身需要选择合适的远程登录方式。

SSH远程登录方式使用编程语言的第三方库函数来实现时，在Windows系统下，安装第三方库函数后可以直接使用该通信传输脚本；在Linux系统下，无需安装第三方库函数，直接利用该通信传输脚本调用SSH服务进行远程登录。

测试执行层由测试脚本和测试数据组成。利用测试驱动脚本的思想，将测试数据从测试脚本中分离并单独存放的好处在于，若一些测试用例改变，只需要改变测试数据，不需要改变测试脚本，提高了测试脚本的复用度。其中，所述测试数据包括多个测试集合，每个测试集合由多个测试用例组成，所述测试用例包含CLI命令、用例ID、用例名称和期望结果，其中期望结果用于测试执行时与实时运行结果做比较；其中，一个CLI命令对应一条测试用例。测试脚本包括整个测试的业务逻辑：初始化测试环境、执行工作流、清理测试环境，其中的工作流包括读取测试数据、执行测试用例、输出实时结果并打印日志。其中，利用本实施方式进行自动化测试时不需要限定编程语言，同时测试用例可以采用通用的文件格式来编写。

在进行测试时，测试执行层会根据测试脚本设定的输出形式将实时结果输出到测试机屏幕，同时按照测试脚本设定的日志等级，如简易、详细、异常等日志等级，将不同等级的日志记录保存到相应的日志文件中。实时结果和日志记录包括测试时间、测试内容、测试结果等信息。实时结果和日志记录中的测试结果以通过和失败两种形式来标记，测试结果通过和失败的判定原则是：在测试脚本中为单条测试用例的执行时间设定阈值，若某条测试用例在设定的阈值内未执行完毕，则判定该条测试用例的结果为失败，并自动执行下一条测试用例；若某条测试用例在设定的阈值内执行完毕，则将实时运行结果和测试用例的期望结果做比较，如果相同就判定该条测试用例的结果为通过，如果不同就判定该条测试用例的结果为失败。

本发明的第二实施方式涉及一种命令行界面命令集合自动化测试方法，该方法采用第一实施方式的命令行界面命令集合自动化测试系统，如图2所示，具体包括以下步骤：

(1)通过用户图形化接口远程登录被测试机，其中远程登录的逻辑流程图如附图3所示，测试人员首先通过用户接口选择远程登录方式，然后在登录对话框输入登录信息，系统将输入的登录信息与配置文件中被测试机的登录数据进行匹配，匹配一致则登录成功，进入主窗口，否则登录失败，退出程序；

(2)登录成功后，通过主窗口选择需要测试的数据文件；

(3)选择测试数据文件后，若确定执行本次测试，则通过主窗口调用测试脚本；

(4)调用后，测试脚本会自动执行整个测试逻辑：首先初始化测试环境；然后读取所选择的测试数据，编译、执行测试用例；执行完毕后按照脚本设定的输出形式将实时结果输出到用户界面，同时按照脚本设定的日志等级，如简易、详细、异常等日志等级，将不同等级的日志记录保存到相应的日志文件中；最后清理测试环境。其中，实时结果和日志文件中测试结果的判定逻辑如图4所示，若测试用例在设定的阈值未执行完毕，则判定该条测试用例的结果为失败；若测试用例在设定的阈值内执行完毕，则将实时运行结果和测试用例的期望结果做比较，如果相同就判定该条测试用例的结果为通过，若如果不同就判定该条测试用例的结果为失败。

下面以一个具体的实施例来进一步说明本发明。

在当前的自动化测试领域，Python语言的使用率越来越高，所以本实施例选择Python作为编程语言，一种CLI命令集合自动化测试方法，其具体实施步骤如下：

(1)在测试机上安装Python，并安装Python的第三方库：PyQt和paramiko:；

(2)使用Python脚本语言实现本发明所述的自动化测试方法：应用PyQt的主窗体QMainWindow搭建用户图形化接口；通信传输层分别利用Python的paramiko模块和telnetlib模块来实现SSH登录和Telnet登录；测试脚本运用Python的单元测试框架unittest来编写；

(3)采用Excel存储测试数据文件和配置文件；

(4)测试CLI命令集合时，用户首先需要通过图形化接口登录被测试机，图形化接口的远程登录对话框所采用的方案是：在打开主窗体前打开登录对话框，如果验证成功，再创建主窗体并打开，即在__init__方法里创建并显示登录对话框，如果成功则显示主窗体，失败则退出程序；登录对话框的两种登录方式采用PyQt的QTabWidget选项进行切换；

(5)登录成功后，用户选择需要测试的数据文件，选择测试数据的文件对话框可以利用PyQt的FileDialog选项实现；

(6)选择测试数据后，需要调用测试脚本来执行测试，调用测试脚本直接通过主窗体QMainWindow的点击事件triggered完成；

(7)调用测试脚本后，脚本自动执行整个测试逻辑，测试脚本的整个执行流程应用Python的单元测试框架unittest来编写：首先定义一个继承自unittest.TestCase的测试用例类class CLI_Test_Tool(unittest.TestCase)，然后分别通过setUp()和tearDown()在测试用例执行前后进行测试环境的初始化和清理，接着定义测试用例test_CLI()，最后调用unittest.main()函数启动测试。测试用例test_CLI()中包含的工作流有：读取测试数据、执行测试用例、输出实时结果并打印日志。其中，首先利用Python的xlrd模块读取Excel中存储的测试数据；然后执行测试用例时，应用wait_time()来限定用例的执行时间，运用output_format()函数来定义实时运行结果runtime_return，并通过if…else语句将实时运行结果runtime_return与测试数据中的理想结果expect_return做匹配，采用子父进程的subprocess.Popen()函数来记录实时结果screen_output；最后使用print语句将实时结果输出到测试机，并通过open()、write()、close()语句将测试内容和测试结果保存到日志文件中。

不难发现，本发明的系统框架层提供的图形化用户接口可以确保用户操作的简单便利性，避免出错频率；本发明的通信传输层采用模块化思想，在保证信息安全的前提下，满足不同操作系统用户的使用需求；本发明的测试执行层采用数据驱动脚本的测试思想，可以有效减少脚本的维护量，增强了测试脚本的复用度，提高了CLI命令集合的测试效率。另外，测试脚本可以打印不同等级的日志文件，优化了测试效果，便于后期的检查和调试。

Claims (9)

1.一种命令行界面命令集合自动化测试系统，其特征在于，包括上下两层分层架构，其中，只能上层对下层进行调用，上层是系统框架层，下层是通信传输层和测试执行层；所述系统框架层用于提供用户接口、配置运行环境和调用下层模块；所述通信传输层用于负责测试机和被测试机之间的远程连接；所述测试执行层用于执行整个测试任务，包括测试脚本和测试数据，通过采用数据驱动脚本的测试思想，将测试数据从测试脚本中分离并单独存放。

2.根据权利要求1所述的命令行界面命令集合自动化测试系统，其特征在于，所述系统框架层提供图形化用户接口，通过图形化用户接口加载、执行、查看整个测试过程。

3.根据权利要求1所述的命令行界面命令集合自动化测试系统，其特征在于，所述系统框架层配置运行环境时包括测试的运行环境和被测试机的登录数据。

4.根据权利要求3所述的命令行界面命令集合自动化测试系统，其特征在于，所述被测试机的登录数据包括被测试机的IP、用户名和密码。

5.根据权利要求1所述的命令行界面命令集合自动化测试系统，其特征在于，所述通信传输层包括共存且独立的SSH远程登录模块和Telnet远程登录模块。

6.根据权利要求1所述的命令行界面命令集合自动化测试系统，其特征在于，所述测试数据包括多个测试集合，每个测试集合由多个测试用例组成，所述测试用例包含CLI命令、用例ID、用例名称和期望结果，其中期望结果用于测试执行时与实时运行结果做比较。

7.根据权利要求1所述的命令行界面命令集合自动化测试系统，其特征在于，所述测试脚本包括整个测试的业务逻辑：初始化测试环境、执行工作流、清理测试环境，其中的工作流包括读取测试数据、执行测试用例、输出实时结果并打印日志。

8.根据权利要求7所述的命令行界面命令集合自动化测试系统，其特征在于，所述实时结果包括测试时间、测试内容和测试结果，所述测试结果以通过和失败两种形式来标记，判定测试结果通过和失败的原则是：在测试脚本中为单条测试用例的执行时间设定阈值，若某条测试用例在设定的阈值内未执行完毕，则判定该条测试用例的结果为失败，并自动执行下一条测试用例；若某条测试用例在设定的阈值内执行完毕，则将实时运行结果和测试用例的期望结果做比较，如果相同就判定该条测试用例的结果为通过，如果不同就判定该条测试用例的结果为失败。

9.一种命令行界面命令集合自动化测试方法，其特征在于，采用如权利要求1-8中任一所述的命令行界面命令集合自动化测试系统，包括以下步骤：

(1)通过用户接口选择远程登录方式，然后在登录对话框输入登录信息，登录成功则进入主窗口，登录失败则退出程序；

(2)登录成功后，通过主窗口选择需要测试的数据文件；

(3)选择测试数据后，若确定执行本次测试，则通过主窗口调用测试脚本；

(4)调用后，测试脚本自动执行整个测试过程：首先初始化测试环境；然后读取所选择的测试数据，编译、执行测试用例；执行完毕后按照脚本设定的输出形式将实时结果输出到用户界面，同时按照脚本设定的日志等级，将不同等级的日志记录保存到相应的日志文件中；最后清理测试环境。