CN101052020A - 一种自动化测试执行过程的监控方法和系统 - Google Patents

Abstract

本发明公开了一种自动化测试执行过程监控系统，包括测试用例的执行控制模块，还包括：监控控制模块、数据收集模块、监控数据库模块、过程策略配置模块、用户通知模块，其中，监控控制模块与所述执行控制模块进行通讯，在测试用例执行测试时，监控测试过程，控制数据收集模块收集测试数据或异常，分析用例执行结果，根据用户定义的过程策略，控制所述执行控制模块调整测试用例执行顺序；通过用户通知模块，将执行过程中的异常信息通知到具体的测试人员。本发明实现了自动化测试过程监控，收集测试过程中的异常信息，为测试结果的分析提供参考数据，减少因异常导致的测试时间浪费，提高了测试效率。

Description

一种自动化测试执行过程的监控方法和系统

技术领域

本发明涉及自动化测试领域，尤其涉及针对数据产品设备进行的自动化测试中的监控方法及系统。

背景技术

在数据设备的产品测试中，手动测试已经难以满足越来越复杂的测试需求，自动化测试方法得到了更多的重视，通过自动化测试的方法批量执行测试用例脚本，可以提高测试效率，减轻测试人员的负担。

自动化测试系统在运行过程中，不需要测试人员干预，可以按照测试人员选择的测试用例按顺序执行，但如果测试过程中某一个脚本出现问题，譬如死循环、或被测设备出现异常等，常常会导致后面的所有测试用例都不能执行或执行失败，只有当全部的测试用例执行完毕后，用户主动去检查时，才能发现问题。在对数据设备的测试中，当被测设备的某一个协议模块出现异常时，继续测试该协议模块是没有意义的，或者当被测设备整体出现异常的话，后面所有的测试用例的执行都是没有意义的，如果不停止测试，并进行相应处理的话，等到所有的测试用例都执行完毕，将会浪费大量的测试时间。因此，如何对自动化测试执行过程中的出现的异常信息及时进行处理，减少由于异常等导致的测试时间浪费，是自动化测试系统在执行过程中需要考虑的一个问题。

当某一次自动化测试执行完成后，在分析测试用例执行结果过程中，自动化测试系统只是提供了一些日志信息。对于针对数据设备进行的协议测试来说，仅靠日志信息，很难分析错误的具体原因，如果能够查看测试用例执行过程中实际的协议交互报文，可以很快的分析出错误的具体原因。

常用自动化测试系统没有提供对测试过程的监控功能，用户很难对测试过程进行灵活的定义和控制，测试系统基本是按照指定的顺序进行执行测试用例，最后仅提供测试日志和结果。

因此，需要一种能够在自动化测试执行过程中进行监控的方法和系统，实时监控测试过程并及时对测试结果及异常情况进行处理，节省测试时间提高测试效率。

发明内容

本发明所要解决的技术问题在于，克服现有自动化测试系统中不能有效的对测试执行过程进行监控控制的问题，提供一种对自动化测试执行过程进行监控的方法和系统。

为解决上述问题，本发明提供一种自动化测试执行过程监控系统，包括测试用例的执行控制模块，该监控系统还包括：

监控控制模块，与所述执行控制模块进行通讯，控制数据收集模块的行为，分析用例执行结果，根据用户定义的过程策略，控制所述执行控制模块调整测试用例执行顺序；

数据收集模块，与所述监控控制模块交互连接，用于收集测试用例执行过程中测试脚本与外部的交互数据，以及测试环境中的网络交互数据，以及测试环境中的异常时间消息；

监控数据库模块，与所述监控控制模块交互连接，用于保存测试用例执行过程中数据收集模块收集到的数据信息；

过程策略配置模块，与所述监控控制模块交互连接，对脚本执行过程中的异常事件规则进行预定义，监控控制模块根据策略定义反馈控制所述执行控制模块及时调整脚本的执行顺序；

用户通知模块，与所述监控控制模块连接，用于接收监控控制模块指示消息，将执行过程中的异常信息通知到具体的测试人员。

其中，所述数据收集模块，收集测试系统中通讯的协议数据包，通过winpcap来抓取特定的协议报文，或者通过winpcap的远程抓包方式来抓取远程网络中的数据包，或者对测试网络中的异常事件进行收集，如收集网络连接状态、设备端口状态。

其中，所述监控数据库模块，在存储监控数据时，采用测试用例名称和用例执行时间的方式来索引某一个监控数据，某一个测试用例的监控数据打包成一个文件进行存储。

其中，所述用户通知模块，通过配置邮件服务器的方法给测试人员发送邮件，将测试执行过程中的各种异常能够及时地通知到测试人员，及时解决存在的问题，保证其它测试用例的继续执行。

所述过程策略配置模块，采用用户提供的执行策略配置文件，控制执行模块根据实际的情况来调整执行流程。

本发明还提供一种基于上述监控系统的对自动化测试执行过程进行监控的方法，包括如下步骤：

(1)测试用例执行控制模块开始执行所选测试套脚本时，向监控控制模块发送测试开始消息，监控模块完成初始化操作；

(2)所述执行控制模块读取一个测试用例后，向监控控制模块发送监控注册消息和待监控事件，在执行该测试脚本的同时，监控控制模块监控数据的收集；

(3)该测试用例执行结束后，执行控制模块向监控控制模块发送撤销监控消息，并发送该测试用例执行结果到监控控制模块；

(4)如果监控控制模块在最大执行时间段内没有收到撤销监控测试用例的消息，将停止监控并通过用户通知模块通知测试人员处理；

(5)监控控制模块根据该测试用例的测试结果判断是否保存在该测试用例执行期间所收集的监控数据到监控数据库中；

(6)监控控制模块根据测试人员定义的过程策略进行判断，给执行控制模块返回预定义事件；

(7)重复步骤(2)-(6)，直到所有选择的测试用例都执行结束；

(8)执行控制模块给监控控制模块发送测试结束消息，监控模块结束监控，通知测试人员测试执行结束。

进一步地，所述步骤(2)进一步可分为：

2A、执行控制模块通知监控控制模块需要监控的事件信息；

2B、监控控制模块控制数据收集模块开始数据收集；

2C、数据收集模块通过收集函数收集数据，并将数据存放到临时文件中；

2D、如果数据收集模块收集到特殊异常事件，则通知监控控制模块，由监控模块根据用户预先定义的过程策略进行判断；

2E、如果该异常事件需要通知用户，则监控控制模块通过用户通知模块通知用户；

2F、测试用例执行结束，把测试用例执行结果通知给监控控制模块，监控控制模块停止数据收集模块的工作；

2G、监控控制模块根据测试用例的执行结果判断是否需要存储该测试用例执行过程中收集到的数据，如果需要，则把测试用例信息、执行时间信息、收集的数据信息写入监控数据库。

进一步地，所述步骤(6)进一步可分为：

6A、监控控制模块根据测试用例的执行结果和执行过程中收集的信息，更新当前的策略状态参数，该策略状态参数包括模块最大脚本失败率，模块连续失败脚本个数、脚本最长执行时间；

6B、把当前的策略状态参数与预定义数值进行匹配，判断是否符合预定义数值；

6C、如果当前的策略状态满足预定义，则把对应的处理消息反馈给测试用例执行控制模块；

6D、测试用例执行控制模块根据反馈的消息，调整当前脚本的执行顺序，选择符合的测试用例继续执行。

采用本发明所述方法和装置，与现有技术相比，可以了对自动化测试过程进行监控和控制，收集测试过程中的异常信息，为测试结果的分析提供了有益的参考数据，减少了由于异常导致的测试时间浪费，提高了测试效率。

附图说明

图1是本发明的自动化测试运行过程监控系统的结构示意图；

图2是本发明的对自动化测试运行过程进行监控的方法流程图；

图3是本发明的对执行过程进行数据收集的流程图；

图4是本发明的对执行过程进行用户策略处理的流程图。

具体实施方式

下面将结合附图及具体实施例对本发明技术方案进行详细的描述。

本发明的技术方案要点为：为自动化测试执行过程增加监控功能，通过测试用例执行过程与监控模块的消息交互，分离执行控制和执行过程的数据收集，通过用户策略定义，实现对测试执行过程的控制。

图1是自动化测试执行过程监控系统的系统框图。如图1所示，本系统包括下面几个模块：执行控制模块、监控控制模块、数据收集模块、用户通知模块、过程策略配置模块、监控数据库模块。

执行控制模块，主要负责执行测试用例的执行流程控制，它通过控制消息与监控控制模块进行交互，在每一个测试用例开始执行前，发送监控注册消息和测试用例相关信息，通知监控控制模块开始为该测试用例收集相关数据信息，当测试用例执行结束后，执行控制模块把该测试用例的执行结果提交给监控控制模块，由监控控制模块更新相关策略参数，并根据用户定义的过程策略进行分析处理。

监控控制模块，与测试用例执行控制模块进行交互通讯，控制数据收集模块的行为，分析用例执行结果，根据过程策略配置模块中用户定义的过程策略，控制测试用例的执行模块调整测试用例执行顺序。

数据收集模块，主要收集网络中通讯的协议数据包，可以通过winpcap来抓取特定的协议报文，也可以通过winpcap的远程抓包方式来抓取远程网络中的数据包。数据收集模块还负责收集测试环境中的一些异常事件消息，譬如网络的不可达事件，设备端口的状态down事件等，通过这些信息的收集，为测试用例的结果分析提供参考数据，快速的定位错误。

过程策略配置模块，通过对执行过程中的一些策略进行定义，来控制测试执行模块的脚本执行顺序。如在测试执行过程中，如果某一个模块有200个脚本，但是前20个脚本全部运行失败，那么可能设备上的这个协议模块存在问题，这个模块的其它脚本就可以不需要测试了，继续测试其它协议模块。或者当网络中出现异常事件的时候，若希望可以中断当前执行，转入指定测试用例的执行，这些都是运行过程中的一些控制策略。用户通过提供执行策略配置文件，控制执行模块根据实际的情况来调整执行流程。

监控数据库，主要负责对监控的数据进行存储，在存储监控数据的时候，我们采用测试用例名称和用例执行时间的方式来索引某一个监控数据，某一个测试用例的监控数据可以打包成一个文件进行存储，这样方便用户在分析测试结果的时候，快速的读取。

用户通知模块，是为了把测试执行过程中的各种异常能够及时地通知到测试人员，可以通过配置邮件服务器的方法给测试人员发送邮件，即时的解决存在的问题，保证其它测试用例的继续执行。

图2是自动化测试系统执行过程的监控流程图。如图2所示，本发明对自动化测试系统的执行过程进行监控的流程包括下面几个步骤：

步骤201：执行控制模块开始执行用户选择的测试用例，并给监控控制模块发送开始执行消息，监控模块完成初始化。

步骤202：执行控制模块读取一个测试用例，给监控模块发送监控注册消息和需要监控的事件，监控模块控制数据收集模块开始收集数据。

步骤203：执行完测试用例以后，执行控制模块给监控模块发送测试结果信息和取消监控消息，监控模块停止监控，根据测试结果对监控数据进行处理。

步骤204：如果监控模块在最大执行时间内收不到执行控制模块的注销监控消息，表示测试用例陷入死循环，则监控模块可以根据用户的策略定义，通知用户，由用户来解决问题。

步骤205：监控模块根据测试结果的更新策略参数，并与用户定义的进行比较，把比较的策略处理结果反馈给执行控制模块。

步骤206：执行控制模块根据反馈的结果对执行过程进行调整。

步骤207：重复执行步骤202-206，直到所有的测试用例运行完毕

步骤208：执行控制模块在测试结束后，给监控控制模块发送测试完成消息。通知用户测试结果。

在步骤202中，收集的数据主要包括测试用例与被测设备交互的命令信息，网络上交互的协议报文信息等。另外数据收集模块还会收集相关的测试异常事件，如果网络断开、测试端口down等。每一个测试用例执行过程中收集的监控数据通过一个数据文件进行存储，如果测试用例执行失败的话，将会把这些数据保存到监控数据库中。

所述数据收集模块的执行流程如图3所示，包括下面几个步骤：

步骤301：监控控制模块收到监控注册消息后，控制数据收集模块开始收集数据；

步骤302：数据收集模块分别启动网络协议报文收集线程和异常事件收集线程，分别收集网络中交互的协议报文数据和异常事件；

步骤303：监控控制模块收到监控注销消息后，停止监控。并把数据提交给监控控制模块处理；

步骤304：监控控制模块根据测试用例的执行结果判断是否需要存储收集的数据信息，如果需要的话，则把这些数据写入到监控数据库中；

步骤305：等待下一个监控消息的开始。

在收集到异常事件后，监控控制模块根据用户定义的策略进行处理，如果发现网络一直处于断开状态，或者端口一直处于down状态，可能是被测设备已经崩溃了，需要测试人员手动来处理。

图4是对测试执行过程进行策略控制的流程图。如图4所示，包括下面步骤：

步骤401：监控控制模块根据收集到的异常事件和测试用例的执行结果更新策略参数值，一般的策略参数主要有：模块最大失败率、连续失败脚本个数、脚本最长执行时间等；

步骤402：监控控制模块把实际的这些策略参数和用户定义的策略参数进行对比，根据用户的策略定义，生成预定操作代码，并将操作代码反馈给执行控制模块。预定操作代码是指事先定义好的一些控制操作，譬如，当连续失败的脚本数达到20个时，停止测试用例执行，并通知测试人员手动处理，或者当某一个模块的失败的测试用例太多时，用户希望跳入下一个模块执行等。

步骤403：执行控制模块根据反馈的操作代码执行对应操作。

步骤404：如果停止执行测试用例的话，则直接转入停止执行，并给监控控制模块发送停止执行消息。

步骤405：如果转入执行模块执行，则跳出当前模块的执行，并执行指定模块的脚本。

步骤406：如果跳出当前模块的执行，那么将进入下一个模块的执行。

步骤407：选择当前需要执行的测试用例，开始一个新的测试用例的参数。

通过以上描述可知，本发明通过为自动化测试的执行过程提供监控和数据收集功能，能够控制测试用例的执行过程，调整执行顺序，并且可以收集测试用例执行过程中的相关数据，为测试用例的结果分析提供有用的信息。通过对测试执行的监控，能够减少由于异常导致的测试时间浪费，提高测试效率。

Claims (8)

1、一种自动化测试执行过程监控系统，包括测试用例的执行控制模块，其特征在于，该监控系统还包括：

监控控制模块，与所述执行控制模块进行通讯，控制数据收集模块的行为，分析用例执行结果，根据用户定义的过程策略，控制所述执行控制模块调整测试用例执行顺序；

数据收集模块，与所述监控控制模块交互连接，用于收集测试用例执行过程中测试脚本与外部的交互数据，以及测试环境中的网络交互数据，以及测试环境中的异常时间消息；

监控数据库模块，与所述监控控制模块交互连接，用于保存测试用例执行过程中数据收集模块收集到的数据信息；

过程策略配置模块，与所述监控控制模块交互连接，对脚本执行过程中的异常事件规则进行预定义，监控控制模块根据策略定义反馈控制所述执行控制模块及时调整脚本的执行顺序；

用户通知模块，与所述监控控制模块连接，用于接收监控控制模块指示消息，将执行过程中的异常信息通知到具体的测试人员。

2、如权利要求1所述的监控系统，其特征在于，所述数据收集模块，收集测试系统中通讯的协议数据包，通过winpcap来抓取特定的协议报文，或者通过winpcap的远程抓包方式来抓取远程网络中的数据包，或者对测试网络中的异常事件进行收集，如收集网络连接状态、设备端口状态。

3、如权利要求1所述的监控系统，其特征在于，所述监控数据库模块，在存储监控数据时，采用测试用例名称和用例执行时间的方式来索引某一个监控数据，某一个测试用例的监控数据打包成一个文件进行存储。

4、如权利要求1所述的监控系统，其特征在于，所述用户通知模块，通过配置邮件服务器的方法给测试人员发送邮件，将测试执行过程中的各种异常能够及时地通知到测试人员，及时解决存在的问题，保证其它测试用例的继续执行。

5、如权利要求1所述的监控系统，其特征在于，所述过程策略配置模块，采用用户提供的执行策略配置文件，控制执行模块根据实际的情况来调整执行流程。

6、一种基于权利要求1所述监控系统的对自动化测试执行过程进行监控的方法，其特征在于，包括如下步骤：

(1)测试用例执行控制模块开始执行所选测试套脚本时，向监控控制模块发送测试开始消息，监控模块完成初始化操作；

(2)所述执行控制模块读取一个测试用例后，向监控控制模块发送监控注册消息和待监控事件，在执行该测试脚本的同时，监控控制模块监控数据的收集；

(3)该测试用例执行结束后，执行控制模块向监控控制模块发送撤销监控消息，并发送该测试用例执行结果到监控控制模块；

(4)如果监控控制模块在最大执行时间段内没有收到撤销监控测试用例的消息，将停止监控并通过用户通知模块通知测试人员处理；

(5)监控控制模块根据该测试用例的测试结果判断是否保存在该测试用例执行期间所收集的监控数据到监控数据库中；

(6)监控控制模块根据测试人员定义的过程策略进行判断，给执行控制模块返回预定义事件；

(7)重复步骤(2)-(6)，直到所有选择的测试用例都执行结束；

(8)执行控制模块给监控控制模块发送测试结束消息，监控模块结束监控，通知测试人员测试执行结束。

7、如权利要求6所述的对自动化测试执行过程进行监控的方法，其特征在于，所述步骤(2)进一步可分为：

2A、执行控制模块通知监控控制模块需要监控的事件信息；

2B、监控控制模块控制数据收集模块开始数据收集；

2C、数据收集模块通过收集函数收集数据，并将数据存放到临时文件中；

2D、如果数据收集模块收集到特殊异常事件，则通知监控控制模块，由监控模块根据用户预先定义的过程策略进行判断；

2E、如果该异常事件需要通知用户，则监控控制模块通过用户通知模块通知用户；

2F、测试用例执行结束，把测试用例执行结果通知给监控控制模块，监控控制模块停止数据收集模块的工作；

2G、监控控制模块根据测试用例的执行结果判断是否需要存储该测试用例执行过程中收集到的数据，如果需要，则把测试用例信息、执行时间信息、收集的数据信息写入监控数据库。

8、如权利要求6所述的对自动化测试执行过程进行监控的方法，其特征在于，所述步骤(6)进一步可分为：

6A、监控控制模块根据测试用例的执行结果和执行过程中收集的信息，更新当前的策略状态参数，该策略状态参数包括模块最大脚本失败率，模块连续失败脚本个数、脚本最长执行时间；

6B、把当前的策略状态参数与预定义数值进行匹配，判断是否符合预定义数值；

6C、如果当前的策略状态满足预定义，则把对应的处理消息反馈给测试用例执行控制模块；

6D、测试用例执行控制模块根据反馈的消息，调整当前脚本的执行顺序，选择符合的测试用例继续执行。

Images