CN101246439B - 一种基于任务调度的自动化测试方法及系统 - Google Patents

Abstract

本发明公开了一种基于任务调度的自动化测试方法和系统，其方法包括以下步骤：配置测试拓扑环境，注册测试执行端到测试任务调度端；测试任务调度端接收执行任务，分解执行任务，生成任务调度队列；所述测试任务调度端监控所述测试执行端的运行状态，请求满足当前空闲状态测试执行端的测试子任务，下发到该测试执行端进行测试执行。本发明方法和系统由于采用了任务调度的方式，实现了多个测试子任务的并发执行，从而提高了自动化测试效率和测试资源利用率，在很大程度上提高了自动化测试水平。

Description

一种基于任务调度的自动化测试方法及系统

技术领域

本发明涉及一种自动化测试领域的方法和系统，尤其涉及的是一种测试用例比较多、测试周期比较长情况下的自动化测试方法和系统。

技术背景

在现有技术的一般自动化测试过程中，一个测试团队有多个测试组，每个测试组有自己的测试环境，即测试环境独立。测试组在执行一次测试任务时，提交相关测试用例脚本到测试环境执行机构，由执行机构执行测试用例脚本，并在执行完成后反馈结果给相关测试组。

在现有技术的自动化测试过程中，一般存在如下问题：

一、测试资源利用率不高。

每个测试组有自己独立的测试环境、测试资源。在很多情况下是，在某一时间内，并不是每个测试环境的执行机构都在工作。当一个执行机构忙碌工作时，其他测试环境的执行机构可能被闲置，由此造成测试资源的利用率下降，造成资源的浪费。

二、存在测试环境拓扑重叠。

每个测试环境有自己的测试拓扑，并且测试拓扑可能是重叠的。测试人员在执行测试任务时，会根据任务调整测试拓扑，甚至重新构建测试拓扑。每执行一次测试任务，可能要调整一次拓扑，这样就严重影响了自动化测试的效率。

三、测试任务执行周期长。

在一次测试任务中，如果包含测试用例比较多，比如2000个，如果仅靠一个测试执行机构，从提交到完成，整个流程周期长，有时长达两天，也严重影响了自动化测试的效率。

因此，在上述现有技术的自动化测试方法和系统中，测试资源利用率不高、测试任务执行周期长，使自动化测试的高效性受到影响，现有技术还有待于改进和发展。

发明内容

本发明的目的在于提出一种基于任务调度的自动化测试方法和系统，针对现有技术的上述技术问题，提高测试资源利用率和测试任务的执行效率，改善自动化测试的质量。

本发明的技术方案包括：

一种基于任务调度的自动化测试方法，其包括以下步骤：

A、配置测试拓扑环境，注册测试执行端到测试任务调度端；

B、测试任务调度端接收执行任务，分解执行任务，生成任务调度队列；

C、所述测试任务调度端监控所述测试执行端的运行状态，请求满足当前空闲状态测试执行端的测试子任务，下发到该测试执行端进行测试执行。

所述的方法，其中，还包括步骤：

D、所述测试执行端接收测试子任务，由其测试环境管理模块进行测试拓扑一致性检查，其测试用例管理模块进行测试用例一致性检查，并从所述测试用例服务器更新本地测试用例脚本。

所述的方法，其中，还包括步骤：

E、所述测试执行端的测试用例执行模块执行更新后的测试用例脚本，生成测试日志，统计测试结果；执行完成后提交结果日志到所述测试日志服务器，并提交测试结果到所述测试任务调度端。

所述的方法，其中，还包括步骤：

F、所述测试任务调度端根据所述测试执行端的测试结果，管理和维护任务调度队列，管理和维护测试执行端队列。

所述的方法，其中，所述步骤A还包括：

A1、所述测试执行端的测试环境管理模块向测试任务调度端发出注册请求；

B1、所述测试任务调度端的执行端管理模块遍历测试执行端列表，进行拓扑重叠检查；

C1、如果拓扑重叠检查通过，则接受该注册请求，并将该测试执行端添加到测试执行端列表，同时通知该测试执行端注册成功。

所述的方法，其中，所述步骤C1还包括：

D1、如果拓扑重叠检查失败，则拒绝该注册请求，同时通知该测试执行端注册失败，给出失败的描述信息。

所述的方法，其中，所述步骤B还包括基于测试拓扑的任务分解过程：

B11、所述测试任务调度端接收执行任务后，检查测试执行端的测试拓扑；

B12、分析测试执行端的测试拓扑与测试任务各模块的测试拓扑需求，对各模块按测试拓扑分类，分解任务为一系列满足某一测试拓扑的测试子任务，并生成测试子任务队列。

所述的方法，其中，所述步骤B还包括基于任务优先级的任务分解过程：

B21、所述测试任务调度端接收执行任务后，分析测试任务各模块的优先级；

B22、按照优先级进行排队，分解为一系列测试子任务，并生成测试子任务队列。

所述的方法，其中，所述步骤C中所述测试任务调度端的测试执行端管理机制包括：

当所述测试执行端在执行子任务且任务未完成时，为工作状态；在工作状态下的测试执行端不再下发测试子任务；

当测试执行端与所述测试任务调度端通信良好且没有任务执行时，则为空闲状态，空闲状态的测试执行端可以继续接收子任务；

如果测试执行端出现故障，则为故障状态，处于故障状态的测试执行端不纳入任务调度行列。

所述的方法，其中，所述步骤C中所述测试任务调度端的测试执行端管理机制还包括：

所述测试执行端接收子任务并开始执行时，该测试执行端的状态由空闲状态变为工作状态；

所述测试执行端完成子任务并提交测试结果后，该测试执行端状态由工作状态变为空闲状态。

所述的方法，其中，所述步骤F还包括：

如果测试报告内容为执行失败，当测试执行端拓扑一致性检查失败时、则设置该测试执行端为空闲状态；当出现运行故障时，则设置该测试执行端为故障状态；

如果测试报告内容为执行任务，则设置该测试执行端为工作状态；

如果测试报告内容为执行完成，则设置该测试执行端为空闲状态。

一种基于任务调度的自动化测试系统，其包括：一测试用例服务器，用于存储测试用例；一测试日志服务器，用于存储测试日志；其中，还包括一测试任务调度端，用于对测试执行端进行调度控制；至少一测试执行端，与所述测试任务调度端通讯连接，并设置在所述测试用例服务器与所述测试日志服务器之间，用于执行对应的测试用例，并将测试结果写入测试日志，保存到所述测试日志服务器。

所述的系统，其中，所述测试任务调度端还包括：任务分解模块、执行端管理模块和任务调度模块；

所述任务分解模块用于管理、维护测试任务分解策略，从执行端管理模块获取分解策略辅助信息，根据分解策略分解任务，生成测试子任务；

所述执行端管理模块用于与所述测试执行端的通信管理，维护、监控测试执行端的状态，为所述任务分解模块提供分解策略信息，为所述任务调度模块提供测试结果信息；

所述任务调度模块用于管理、维护任务调度队列，经由执行端管理模块下发测试子任务到对应的测试执行端。

所述的系统，其中，所述测试执行端还包括：通信管理模块、测试环境管理模块、测试用例管理模块，测试脚本执行模块；

所述通信管理模块用于与所述测试任务调度端通信，接收测试任务，并与所述测试用例服务器通信；

所述测试用例管理模块用于从所述测试用例服务器请求测试用例脚本，对测试用例脚本一致性检查；

所述测试环境管理模块用于管理测试环境及设备参数，管理测试拓扑及测试拓扑一致性检查；

所述测试用例执行模块用于获取测试环境配置信息，执行测试用例脚本，以及输出测试日志和测试结果。

所述的系统，其中，所述所述测试用例管理模块采用缓存测试用例脚本机制。

本发明所提供的一种基于任务调度的自动化测试方法和系统，由于采用了任务调度的方式，实现了多个测试子任务的并发执行，从而提高了自动化测试效率和测试资源利用率，在很大程度上提高了自动化测试水平。

附图说明

附图中：

图1是本发明所述自动化测试系统逻辑框图；

图2是本发明所述系统测试任务调度端模块组成示意图；

图3是本发明所述系统测试执行端模块组成示意图；

图4是本发明所述系统的数据流示意图；

图5是本发明方法和系统的测试任务调度端拓扑一致性检查流程图；

图6是本发明方法和系统的任务分解模块流程图；

图7是本发明方法和系统的任务调度模块流程图。

具体实施方式

下面结合附图，将详细说明本发明的具体实施例，以方便对本发明技术方案和有益效果的理解。

本发明所述基于任务调度的自动化测试系统，如图1所示，包括：测试任务调度端110；至少一测试执行端120，与所述测试任务调度端110通讯连接；以及一测试用例服务器130、一测试日志服务器140，在所述测试用例服务器130与所述测试日志服务器140之间设置所述测试执行端120，可用于执行各测试用例，并将测试过程和结果写入测试日志，保存到所述测试日志服务器140上。

所述测试任务调度端110用来管理和监控多个测试执行端120的队列；管理和维护任务调度机制；管理和维护任务分解策略；管理和维护任务调度队列，调度测试子任务。

所述测试用例服务器130用于管理和维护测试用例；导出测试用例脚本列表；根据测试任务导出测试用例脚本。

所述测试执行端120，设置为至少一个，所述测试执行端从测试任务调度端110接收测试任务；从测试用例服务器130请求测试用例脚本；执行测试任务并生成测试日志；并提交测试报告到测试任务调度端110。

所述测试日志服务器140用于收集各测试执行端120的测试日志、统计结果，并可以邮件通知相关的测试人员。

本发明的上述自动化测试系统其核心在于所述测试任务调度端110，并包括：任务分解模块111、执行端管理模块112和任务调度模块113，如图2所示：

所述任务分解模块111用于管理、维护测试任务分解策略，从执行端管理模块112获取分解策略辅助信息，根据分解策略分解任务，生成测试子任务。

所述执行端管理模块112负责与所述测试执行端120的通信管理，维护、监控测试执行端120的状态，为所述任务分解模块提供分解策略信息，为所述任务调度模块113提供测试结果信息。

所述任务调度模块113用于管理、维护任务调度队列，经由执行端管理模块112下发子任务到测试执行端。

上述本发明自动化测试系统的另一重要组成，是所述测试执行端120，其包括：通信管理模块121、测试环境管理模块122、测试用例管理模块123，测试脚本执行模块124，如图3所示：

所述通信管理模块121负责与所述测试任务调度端110的通信，接收测试任务，并负责与所述测试用例服务器130的通信。

所述测试用例管理模块123负责从测试用例服务器130请求测试用例脚本，测试用例脚本一致性检查。为了提高测试用例管理效率，所述测试用例管理模块123采用了缓存测试用例脚本机制。

所述测试环境管理模块122用于管理测试环境及设备参数，管理测试拓扑及测试拓扑一致性检查等。

所述测试用例执行模块124用于获取测试环境配置信息，执行测试用例脚本，以及输出测试日志和测试结果等。

如图4所示是本发明所述自动化测试方法和系统的数据流图，下面参考该数据流图将详细阐述本发明方法和系统的任务调度与执行流程。

第一步①、配置所述测试执行端120的测试拓扑环境，注册测试执行端120到测试任务调度端110，测试任务调度端110管理、维护所述各测试执行端120。

第二步②、所述测试任务调度端110接收执行任务，其任务分解模块111管理、维护任务分解策略，根据任务分解策略，分解执行任务，生成任务调度队列到所述任务调度模块113。

第三步③、所述测试任务调度端110的执行端管理模块112监控所述测试执行端120的运行状态，如果某测试执行端为“空闲状态”，则从所述任务调度模块113中请求满足当前空闲状态测试执行端的测试子任务，下发该任务到该测试执行端进行测试执行。

第四步④、所述测试执行端120接收测试子任务，由所述测试环境管理模块122进行测试拓扑一致性检查，所述测试用例管理模块123进行测试用例一致性检查，并从所述测试用例服务器130更新本地测试用例脚本。

第五步⑤、所述测试执行端120的测试用例执行模块124执行更新后的测试用例脚本，生成测试日志，统计测试结果；执行完成后提交结果日志到所述测试日志服务器140，并提交测试结果到所述测试任务调度端110。

第六步⑥、所述测试任务调度端110根据所述测试执行端120的测试结果，管理和维护任务调度队列，管理和维护测试执行端队列。

在上述第一步①中，本发明方法还提供了一种测试拓扑检查机制，以使测试环境拓扑不重叠，如图5所述，其包括步骤：

A1、所述测试执行端120的测试环境管理模块122向测试任务调度端110发出注册请求。

B1、所述测试任务调度端110接收到测试执行端120的注册请求，由其执行端管理模块112遍历测试执行端列表，进行拓扑重叠检查。

C1、如果拓扑重叠检查通过，则接受该注册请求，将该测试执行端添加到测试执行端列表，同时通知该测试执行端注册成功。

D1、如果拓扑重叠检查失败，则拒绝该注册请求，同时通知该测试执行端注册失败，给出失败的描述信息。

在本发明方法的上述第二步②中，提供了任务分解机制，如图6所示，其包括步骤：

首先所述测试任务调度端接收测试总任务，然后由所述任务分解模块111进行任务分解。

基于测试拓扑的任务分解：所述测试任务调度端接收执行任务后，检查测试执行端的测试拓扑；分析测试执行端的测试拓扑与测试任务各模块的测试拓扑需求，对各模块按测试拓扑分类，分解任务为一系列满足某一测试拓扑的测试子任务，并生成测试子任务队列，用于发送给相应的测试执行端进行测试操作。

基于任务优先级的任务分解：所述测试任务调度端110接收执行任务后，分析测试任务各模块的优先级，按照优先级进行排队，分解为一系列测试子任务，并生成测试子任务队列，用于给相应的测试执行端进行测试操作。

本发明所述测试任务调度端还提供了一种测试执行端管理机制，包括以下步骤：

A3、所述测试任务调度端维护一个测试执行端管理队列，管理测试执行端的运行状态。

B3、当所述测试执行端在执行子任务且任务未完成时，为工作状态；在工作状态下的测试执行端不再下发测试子任务。

C3、当测试执行端与所述测试任务调度端通信良好且没有任务执行时，则为空闲状态，空闲状态的测试执行端可以继续接收子任务。

D3、如果测试执行端出现故障，则为故障状态。处于故障状态的测试执行端不纳入任务调度行列。

E3、所述测试执行端接收子任务并开始执行时，该测试执行端的状态由空闲状态变为工作状态。

F3、所述测试执行端完成子任务并提交测试结果后，该测试执行端状态由工作状态变为空闲状态。

在本发明方法的上述第三步中，还提供了一种测试任务调度机制，如图7所示其包括步骤：

A7、所述测试任务调度端的执行端管理模块监控测试执行端的运行状态，如果某一测试执行端为“空闲状态”时，则从所述任务调度模块请求测试任务给该测试执行端。

B7、所述任务调度模块根据任务调度策略，获取所述测试子任务提交到所述执行端管理模块。

C7、如果采用基于测试拓扑的任务调度策略，则根据测试拓扑进行任务调度。其具体步骤包括：

C71、所述任务调度模块遍历任务调度队列，获取满足当前空闲状态的测试执行端测试拓扑的，且状态为“未下发”的子任务，提交该子任务到所述执行端管理模块，同时标记该任务“已下发”。

C72、所述任务调度模块收到关于该任务的测试报告。如果报告为执行失败，则重置任务状态为“未下发”；如果任务在执行，则标记该任务为“在执行”；如果该任务执行完成，则标记该任务为“已完成”状态。

D7、如果采用基于优先级的任务调度策略，则根据任务优先级进行任务调度，其步骤包括：

D71、所述任务调度模块遍历任务调度队列，获取优先级高且满足当前测试拓扑的状态为“未下发”的测试子任务，下发该子任务到所述执行端管理模块，同时标记该任务“已下发”。

D72、所述任务调度模块收到关于该任务的测试报告。如果报告为执行失败，则重置任务状态为“未下发”；如果任务在执行，则标记该任务为“在执行”；如果该任务执行完成，则标记该任务为“已完成”状态。

本发明方法还提供了一种执行端任务有效性检查机制，具体包括如下步骤：

A4、所述测试执行端接收到执行任务，其测试环境管理模块进行测试拓扑一致性检查。如果执行端拓扑满足子任务要求的测试拓扑，则拓扑一致性检查通过，接收该任务，否则拒绝该任务，同时通知测试任务调度端该任务检查的结果。

B4、如果接收该任务，所述测试用例管理模块继续进行测试用例一致性检查。对于需要更新的测试用例，从测试用例服务器更新测试用例；对于不存在的测试用例，从测试用例服务器请求该测试用例。

C4、所述测试用例一致性检查完成后，所述测试用例执行模块测试任务中测试用例脚本。

D4、所述测试用例执行模块执行完成测试任务后，提交测试结果到任务调度端，并提交测试日志到所述测试日志服务器。

同时，本发明方法还提供了一种管理维护测试执行端的机制，具体包括如下步骤：

A6、所述测试执行端提交测试报告到所述任务调度端，分析测试报告；

B6、如果测试报告内容为“执行失败”，当测试执行端拓扑一致性检查失败时、则设置该测试执行端为空闲状态；当出现运行故障时，则设置该测试执行端为故障状态。

C6、如果测试报告内容为“执行任务”，则设置该测试执行端为工作状态；

D6、如果测试报告内容为“执行完成”，则设置该测试执行端为空闲状态。

本发明基于任务调度的自动化测试方法和系统，由于采用了测试任务调度端的设置，可以充分利用多个测试执行端，进行管理和调度，实现了多个测试子任务的并发执行，从而提高了自动化测试效率和测试资源利用率，在很大程度上提高了自动化测试水平。

应当理解的是，上述针对本发明具体实施例的描述较为具体，并不能因此而理解为对本发明专利保护范围的限制，本发明的专利保护范围应以所附权利要求为准。

Claims (13)

1.一种基于任务调度的自动化测试方法，其包括以下步骤：

A、配置测试拓扑环境，注册测试执行端到测试任务调度端；

B、测试任务调度端接收执行任务，分解执行任务，生成任务调度队列；

C、所述测试任务调度端监控所述测试执行端的运行状态，请求满足当前空闲状态测试执行端的测试子任务，下发到该测试执行端进行测试执行；

D、测试执行端接收测试子任务，并从测试用例服务器下载相应的测试用例脚本到执行端；

E、测试执行端执行下载后的测试用例脚本，生成测试日志；

F、测试执行端完成测试任务后，统计测试结果、提交测试报告到测试任务调度端处理；

G、所述测试任务调度端根据所述测试执行端的测试结果，管理和维护任务调度队列，管理和维护测试执行端队列。

2.根据权利要求1所述的方法，其特征在于，所述步骤D还包括：

由测试执行端的测试环境管理模块进行测试拓扑一致性检查，以及进行测试用例一致性检查，并从所述测试用例服务器更新本地测试用例脚本。

3.根据权利要求1所述的方法，其特征在于，所述步骤A还包括：

A1、所述测试执行端的测试环境管理模块向测试任务调度端发出注册请求；

B1、所述测试任务调度端的执行端管理模块遍历测试执行端列表，进行拓扑重叠检查；

C1、如果拓扑重叠检查通过，则接受该注册请求，并将该测试执行端添加到测试执行端列表，同时通知该测试执行端注册成功。

4.根据权利要求3所述的方法，其特征在于，所述步骤C1还包括：

D1、如果拓扑重叠检查失败，则拒绝该注册请求，同时通知该测试执行端注册失败，给出失败的描述信息。

5.根据权利要求1所述的方法，其特征在于，所述步骤B还包括基于测试拓扑的任务分解过程：

B11、所述测试任务调度端接收执行任务后，检查测试执行端的测试拓扑；

B12、分析测试执行端的测试拓扑与测试任务各模块的测试拓扑需求，对各模块按测试拓扑分类，分解任务为一系列满足某一测试拓扑的测试子任务，并生成测试子任务队列。

6.根据权利要求3所述的方法，其特征在于，所述步骤B还包括基于任务优先级的任务分解过程：

B21、所述测试任务调度端接收执行任务后，分析测试任务各模块的优先级；

B22、按照优先级进行排队，分解为一系列测试子任务，并生成测试子任务队列。

7.根据权利要求1所述的方法，其特征在于，所述步骤C中所述测试任务调度端的测试执行端管理机制包括：

当所述测试执行端在执行子任务且任务未完成时，为工作状态；在工作状态下的测试执行端不再下发测试子任务；

当测试执行端与所述测试任务调度端通信良好且没有任务执行时，则为空闲状态，空闲状态的测试执行端可以继续接收子任务；

如果测试执行端出现故障，则为故障状态，处于故障状态的测试执行端不纳入任务调度行列。

8.根据权利要求7所述的方法，其特征在于，所述步骤C中所述测试任务调度端的测试执行端管理机制还包括：

所述测试执行端接收子任务并开始执行时，该测试执行端的状态由空闲状态变为工作状态；

所述测试执行端完成子任务并提交测试结果后，该测试执行端状态由工作状态变为空闲状态。

9.根据权利要求1所述的方法，其特征在于，所述步骤G还包括：

如果测试报告内容为执行失败，当测试执行端拓扑一致性检查失败时、则设置该测试执行端为空闲状态；当出现运行故障时，则设置该测试执行端为故障状态；

如果测试报告内容为执行任务，则设置该测试执行端为工作状态；

如果测试报告内容为执行完成，则设置该测试执行端为空闲状态。

10.一种基于任务调度的自动化测试系统，其包括：一测试用例服务器，用于存储测试用例；一测试日志服务器，用于存储测试日志；其特征在于，还包括一测试任务调度端，用于对测试执行端进行调度控制；至少一测试执行端，与所述测试任务调度端通讯连接，并设置在所述测试用例服务器与所述测试日志服务器之间，用于执行对应的测试用例，并将测试结果写入测试日志，保存到所述测试日志服务器。

11.根据权利要求10所述的系统，其特征在于，所述测试任务调度端还包括：任务分解模块、执行端管理模块和任务调度模块；

所述任务分解模块用于管理、维护测试任务分解策略，从执行端管理模块获取分解策略辅助信息，根据分解策略分解任务，生成测试子任务；

所述执行端管理模块用于与所述测试执行端的通信管理，维护、监控测试执行端的状态，为所述任务分解模块提供分解策略信息，为所述任务调度模块提供测试结果信息；

所述任务调度模块用于管理、维护任务调度队列，经由执行端管理模块下发测试子任务到对应的测试执行端。

12.根据权利要求10或11所述的系统，其特征在于，所述测试执行端还包括：通信管理模块、测试环境管理模块、测试用例管理模块，测试脚本执行模块；

所述通信管理模块用于与所述测试任务调度端通信，接收测试任务，并与所述测试用例服务器通信；

所述测试用例管理模块用于从所述测试用例服务器请求测试用例脚本，对测试用例脚本一致性检查；

所述测试环境管理模块用于管理测试环境及设备参数，管理测试拓扑及测试拓扑一致性检查；

所述测试用例执行模块用于获取测试环境配置信息，执行测试用例脚本，以及输出测试日志和测试结果。

13.根据权利要求12所述的系统，其特征在于，所述所述测试用例管理模块采用缓存测试用例脚本机制。

Images