CN102141962A - 一种安全性分布式测试框架系统及其测试方法 - Google Patents

Abstract

本发明一种安全性分布式测试框架系统及其测试方法，所述的安全性分布式测试框架系统包括测试数据准备模块、测试执行控制模块、测试结果评估模块和测试中间件。本发明根据大型武器装备系统测试特点建立符合其测试需求的测试用例以及测试脚本，编排测试任务，实现软件测试过程在异构操作系统平台上的自动化执行，并对测试执行效果进行评估，并可以在测试框架基础上根据新的测试需求进行扩展以适合不同的测试环境。本发明具有可重用性，易用性，灵活性的特点，并在保持以上特点的同时充分考虑大型武器装备系统的安全性需求，在测试实现和系统运行的时候通过测试环境验证以及测试环境监控提高系统的安全性。

Description

一种安全性分布式测试框架系统及其测试方法

技术领域

本发明涉及软件自动化测试领域，具体涉及一种安全性分布式测试框架系统及其测试方法。

背景技术

随着国防工业的发展，大型武器装备系统等一系列信息化高端产品被投入很大精力进行研发和改进，实现信息化装备在作战中发挥高效，精确的目的，提高部队的作战能力。软件作为大型武器装备系统的重要组成部分，对整个系统的影响越来越大，而且需求中对软件功能以及软件质量的要求也越来越高。作为大型武器装备系统中最为复杂的软件系统，通常呈现出规模庞大，功能复杂，跨平台、多分系统协同，实时性要求高等特点，这就使得对其进行软件测试的难度和工作量都有所增加。因此，如何保证这些软件系统的质量和可靠性成为目前大型武器装备系统软件测试中的一个亟待解决的难题。

传统的软件测试方法是测试人员在软件开发周期的每个阶段完成软件测试流程的测试需求分析，测试用例设计以及测试用例执行的工作。然而软件规模的不断增长使得软件测试的规模也随之增长，这就要求需要投入更多的测试人员或者花费更多的测试时间来完成相应的测试工作。软件测试的成本逐渐攀升。同时，大型武器装备系统中的一些测试用例呈现出时序相关性，用例各个组成部分的自动执行需要以一定的时序关系进行，相应的运行结果也应该具有一定的时序关系，如何很好的编排以及控制执行时的时序关系以及测试结果的时序关系验证也是大型武器装备系统中测试的难点所在。

软件自动化测试被认为是解决大型武器装备系统软件测试问题的关键技术。根据具体测试需求正确地实施自动化测试过程可以达到以下效果：

1、减少软件测试人力资源和时间资源，降低测试成本。

2、通过重复测试、扩大测试覆盖性等方式加强测试工作强度，部分取代人工执行测试

3、完成许多人工测试难以完成(如特殊的性能测试，时间相关性测试等)的任务。

4、通过提高软件测试的覆盖度以及对测试结果分析的精确性，可以大大提高软件质量。现有的Framework for Integrated Test(Fit)、Software Testing AutomationFramework(STAF)、Selenium、Test Automation TX等开源或收费的软件测试框架已经不同程度上解决了一些软件自动化测试问题。然而由于各个测试框架的侧重点不同，使用它们进行软件自动化测试的时候需要受到一些约束的影响。这些现有的测试框架在不同的方面表现的不足有：

1、不支持远程执行用例、对分布式应用环境的支持不足。

2、操作系统平台支持不足，仅支持Windows或仅支持Unix、Linux。

3、复杂的使用过程使一般的测试人员难于编写测试用例等。

4、封闭的测试框架体系难于扩展，测试框架对安全性考虑不足。

从上面的分析可以看出，对于大型武器装备系统的软件测试问题，现有的软件测试框架难以完成其软件自动化测试的工作。

发明内容

本发明所要解决的技术问题是根据现有大型武器装备系统软件的特点，提供一种面向大型武器装备系统的安全性分布式测试框架系统及其测试方法。所述的大型武器装备系统是指现有技术中的大型武器装备的软件系统，由多个分系统组成，协同完成任务功能，而且由于需求的不同各个分系统的操作系统平台也存在差异。本发明根据大型武器装备系统测试特点建立符合其测试需求的测试用例以及测试脚本，编排测试任务，实现软件测试过程在异构操作系统平台上的自动化执行，并对测试执行效果进行评估，并可以在测试框架基础上根据新的测试需求进行扩展以适合不同的测试环境。本发明具有可重用性，易用性，灵活性的特点，并在保持以上特点的同时充分考虑大型武器装备系统的安全性需求，在测试实现和系统运行的时候通过测试环境验证以及测试环境监控提高系统的安全性。

本发明提出一种安全性分布式测试框架系统，包括：测试数据准备模块、测试执行控制模块、测试结果评估模块和测试中间件。

所述的测试数据准备模块由测试数据库和测试任务准备单元组成，所述的测试数据库包括测试脚本库、测试用例库、测试任务库、测试文档库、测试结果库和测试对象库等相关内容，用户可以通过测试数据库的人机界面接口对测试脚本库、测试用例库、测试任务库、测试文档库、测试结果库和测试对象库进行创建、编辑等处理，并按照一定的规则进行存储，为测试任务的编排以及自动化执行提供必要的数据支持；测试任务准备单元通过对测试用例库、测试脚本库和测试对象库的进行编排，建立测试任务库，测试任务库是自动化测试过程中的整体表现，说明了自动化测试执行的目的以及内容。

所述的测试执行控制模块包括测试过程监控单元、测试执行控制单元以及测试异常处理单元。测试过程监控单元负责在测试任务执行时对整个测试环境进行监控，通过操作日志记录本记录分布式测试框架系统的详细操作过程，生成操作留痕记录，并实时的收集被测系统及其环境的状态信息；测试执行控制单元对测试任务执行过程的各个指令进行解析并做出相应的响应处理，在收到测试任务“开始执行”指令后，测试执行控制单元从测试数据库中获取准备好的测试任务，并将测试任务中的子任务顺序转发至各个被测节点，部署在各个被测节点上的测试执行代理解释执行测试脚本，生成测试结果并通过测试中间件回传给测试结果评估模块，其间测试执行控制单元还将监听“暂停”、“终止”等测试控制指令；测试异常处理单元将测试过程中异常信息进行回收并根据不同的策略进行恢复处理。

所述的测试结果评估模块包括结果处理单元、结果统计单元和测试评估单元。结果处理单元对测试执行控制模块的测试任务执行产生的测试结果数据进行解析处理并显示，其中与时序关系相关的测试结果，结果处理单元还对其进行时序分析验证，然后结果统计单元会根据每个测试用例的测试结果以及测试任务的概述信息给出整个测试任务的结果统计信息；最后经过测试评估单元给出测试任务的执行效果评估信息。

所述的测试中间件分别与测试数据准备模块、测试执行控制模块和测试结果评估模块相连接，为整个测试系统提供基础的服务支持，有利于系统在各个模块实现分布式的协同处理，同时还可以大大增强系统的可扩展性。基础服务包括时间服务、文件服务、进程服务、异常服务、消息通信服务、环境检测服务以及测试监控服务，这些服务均通过统一的测试中间件分别与测试数据准备模块、测试执行控制模块和测试结果评估模块相连接的API接口来实现，并且这种统一的API接口提供本地和远程的无差别访问，以适应分布式系统的特点。且通过测试中间件与被测系统(运行于Windows或Linux若干的被测执行代理)API接口的连接，实现整个测试系统与被测系统之间的连通。所述的时间服务、文件服务、进程服务和异常服务属于分布式测试系统基本的服务，提供时间同步，系统对时，文件系统访问和进程处理等基本的分布式系统功能，而消息通信服务，环境检测服务以及测试监控服务属于分布式测试系统专有的测试服务，提供测试过程消息通信，被测环境检测验证，测试环境监控，测试过程管理等基本的测试系统功能，其中消息通信服务利用数据备份技术将测试系统运行时的测试交互数据进行备份，形成消息通信记录备份。

本发明提出一种安全性分布式测试框架系统的测试方法，具体包括以下几个步骤：

步骤一：测试数据准备阶段：

1、测试用例准备：

(1)测试任务准备单元创建新的测试用例。创建测试用例是自动化测试过程的基本单元，测试任务准备单元通过编辑测试用例的一系列属性如用例名称、用例版本和用例所属软件等来确定测试用例的基本信息；

(2)测试任务准备单元创建测试用例相关的测试脚本，测试脚本为自动化测试执行提供支持，可以通过录制或编辑两种方式创建测试脚本，当采用录制方式进行测试脚本创建时，通过用户在被测系统上实际操作执行测试用例过程生成用例脚本信息，当采用编辑方式进行测试脚本创建时，通过用户根据脚本语言的语法规范编辑能够体现测试用例的执行过程的测试脚本，之后将测试用例中的检查点加入到测试脚本中即完成了测试脚本程序的创建。

(3)将编辑好的测试用例添加到测试数据准备模块中测试数据库的测试用例库中，如欲继续添加测试用例，则重复步骤一1的(1)～(3)。

2、测试任务准备：

(1)在测试数据库的测试任务库内创建新的测试任务，测试任务是描述自动化测试过程的测试实例，测试任务准备单元通过编辑测试任务的属性如任务名称、任务阶段和任务描述等来确定测试任务的基本信息；

(2)测试任务准备单元向测试任务中添加测试用例，索引测试用例库，若找到要添加的测试用例则将其加入到测试任务中，若不存在则进入测试用例库的创建过程(即返回步骤一1)，然后添加到测试任务库中(即进行步骤一2)；如果欲继续添加测试用例，则重复本步骤。

步骤二：测试任务执行阶段：

1、测试执行控制单元选择要执行的测试任务，然后根据测试任务标识从测试数据准备模块的测试数据库中提取测试用例及脚本资源；

2、由测试执行控制单元将测试脚本进行封装预处理，封装成被测系统中的测试执行代理可以识别的形式，若处理失败，则提示用户出错信息，重新准备测试任务，返回步骤一2中；若处理成功，测试执行代理可以识别，则测试执行控制模块的测试执行控制单元将测试用例编排成可以顺序执行的测试序列；

3、测试执行控制单元从测试序列中选取测试用例，根据测试序列中测试脚本执行环境的不同将测试脚本分发至各个测试执行代理；测试执行代理在收到来自测试执行控制模块的测试请求之后，执行本地的测试脚本，完成测试用例的自动化执行过程后检查测试序列是否为空，若测试序列为空则结束测试任务执行流程，回收测试结果资源，否则重复步骤二3，重复从测试序列中选取测试用例执行的过程；其间测试执行控制单元将持续监听测试控制指令，响应“暂停”“终止”等指令，如有“暂停”“终止”指令时，清空测试序列后回收测试结果资源，如无，继续监听测试控制指令并由测试过程监控单元进行测试过程监控处理，收集测试执行过程中被测软件及其环境的信息。测试异常处理单元将测试过程中异常信息进行回收并根据不同的策略进行恢复处理。

步骤三：测试结果评估阶段：

1、在测试任务执行完成之后，通过测试中间件对测试任务执行结果信息进行收集后回传到测试结果评估模块的结果处理单元进行分析处理，同时将此执行结果存入测试数据库的测试结果库中，其中将进行时序相关的测试结果分析，使其能以时序关系进行列表并展现给用户；

2、结果统计单元提取测试任务的基本信息和生成的测试序列信息，根据测试任务的整体信息给出测试任务统计执行结果信息，并可综合历史执行状况给出本次测试任务执行结果与历史执行结果对比统计信息；

3、测试评估单元计算测试评估参数如测试通过率和测试执行率等，评估本次测试任务执行的效果和被测软件的质量等，通过与预设评估参数标准值进行对比，判定是否需要进行重复测试，显示评估结果；若在测试用例中发现测试失败用例，测试结果评估模块可以给出此失败用例执行时监控信息辅助进行原因分析。

所述的测试中间件负责为整个安全性分布式测试框架系统提供基础支撑服务，通过一系列的服务接口对测试数据准备模块、测试执行控制模块和测试结果评估模块提供统一的支撑服务，这些进行了封装的服务使得上述各模块之间可以进行统一的服务访问。测试中间件的结构包括：统一接口层、访问处理层、测试支撑服务层以及服务结果输出层。统一接口层提供统一的服务访问接口，监听来自测试数据准备模块、测试执行控制模块以及测试评估模块的请求，然后由访问处理层解析处理访问请求信息，确定请求的服务内容，并调用测试支撑服务层接口获取请求相应的服务；测试支撑服务层负责时间服务、文件服务、进程服务、异常服务、消息通信服务、环境检测服务和测试监控服务的具体实现；服务结果输出层将服务结果回送给请求端。所述的统一接口层和服务结果输出层均分别与测试数据准备模块、测试执行控制模块和测试结果评估模块相连，用于传递访问请求以及服务结果，测试支撑服务层与被测系统相连，用于实现测试相关服务。

本发明提出的一种安全性分布式测试框架系统的优点在于：

(1)本发明针对现有大型武器装备系统软件功能复杂，多平台，多分系统协同等特点，结合访问权限控制、数据备份，记录留痕以及异常出错处理等安全策略，实现了安全性分布式测试框架系统，对大部分测试环境具有很好的适应性；

(2)本发明支持测试用例的远程执行与控制，尤其在测试用例需要多机协同操作时，能很好地解决这类时序相关测试用例中的控制问题，很好的适应了分布式测试环境。

(3)本发明采用远程测试执行代理屏蔽被测环境中的操作系统差异问题，采用不同的脚本驱动方式支持测试脚本在各个操作系统之间的重用。

(4)本发明通过友好的人机界面、简洁的功能使用方式使测试人员能很快熟悉并使用本系统，测试人员无需经过专门培训就能方便的建立测试用例，执行测试任务。

(5)由于使用模块化设计思想设计本分布式测试框架系统，本发明使得系统能够适应的测试业务需求的发展，因此可以在本测试框架系统基础上进行简化或者扩展开发，增强系统的可扩展性。

附图说明

图1为本发明一种安全性分布式测试框架系统的结构示意图；

图2为本发明一种安全性分布式测试框架系统的测试用例准备流程图；

图3为本发明一种安全性分布式测试框架系统的测试任务准备流程图；

图4为本发明一种安全性分布式测试框架系统的测试执行流程图；

图5为本发明一种安全性分布式测试框架系统的测试评估流程图；

图6为本发明一种安全性分布式测试框架系统的测试中间件结构示意图。

图中：

1-测试数据准备模块；   2-测试执行控制模块；   3-测试结果评估模块；

4-测试中间件；         101-测试数据库；       102-测试任务准备单元；

201-测试过程监控单元； 202-测试执行控制单元； 203-测试异常处理单元；

301-结果处理单元；     302-结果统计单元；     303-测试评估单元；

401-统一接口层；       402-访问处理层；       403-测试支撑服务层；

404-服务结果输出层。

具体实施方式

下面将结合附图对本发明作进一步的详细说明。

本发明提出一种安全性分布式测试框架系统，如图1所示，包括：测试数据准备模块1、测试执行控制模块2、测试结果评估模块3和测试中间件4。

所述的测试数据准备模块1由测试数据库101和测试任务准备单元102组成，所述的测试数据库101包括测试脚本库、测试用例库、测试任务库、测试文档库、测试结果库和测试对象库等相关内容，用户可以通过测试数据库101的人机界面接口对测试脚本库、测试用例库、测试任务库、测试文档库、测试结果库和测试对象库进行创建、编辑等处理，并按照一定的规则进行存储，为测试任务的编排以及自动化执行提供必要的数据支持；测试任务准备单元102通过对测试用例库、测试脚本库和测试对象库的进行编排，建立测试任务库，测试任务库是自动化测试过程中的整体表现，说明了自动化测试执行的目的以及内容。

所述的测试执行控制模块2包括测试过程监控单元201、测试执行控制单元202以及测试异常处理单元203。测试过程监控单元201负责在测试任务执行时对整个测试环境进行监控，通过操作日志记录本记录分布式测试框架系统的详细操作过程，生成操作留痕记录，并实时的收集被测系统及其环境的状态信息；测试执行控制单元202对测试任务执行过程的各个指令进行解析并做出相应的响应处理，在收到测试任务“开始执行”指令后，测试执行控制单元202从测试数据库101中获取准备好的测试任务，并将测试任务中的子任务顺序转发至各个被测节点，部署在各个被测节点上的测试执行代理解释执行测试脚本，生成测试结果并通过测试中间件4回传给测试结果评估模块3，其间测试执行控制单元202还将监听“暂停”、“终止”等测试控制指令；测试异常处理单元203将测试过程中异常信息进行回收并根据不同的策略进行恢复处理。

所述的测试结果评估模块3包括结果处理单元301、结果统计单元302和测试评估单元303。结果处理单元301对测试执行控制模块2的测试任务执行产生的测试结果数据进行解析处理并显示，其中与时序关系相关的测试结果，结果处理单元301还对其进行时序分析验证，然后结果统计单元302会根据每个测试用例的测试结果以及测试任务的概述信息给出整个测试任务的结果统计信息；最后经过测试评估单元303给出测试任务的执行效果评估信息。

所述的测试中间件4分别与测试数据准备模块1、测试执行控制模块2和测试结果评估模块3相连接，为整个测试系统提供基础的服务支持，有利于系统在各个模块实现分布式的协同处理，同时还可以大大增强系统的可扩展性。基础服务包括时间服务、文件服务、进程服务、异常服务、消息通信服务、环境检测服务以及测试监控服务，这些服务均通过统一的测试中间件4分别与测试数据准备模块1、测试执行控制模块2和测试结果评估模块3相连接的API接口来实现，并且这种统一的API接口提供本地和远程的无差别访问，以适应分布式系统的特点。且通过测试中间件4与被测系统(运行于Windows或Linux若干的被测执行代理)API接口的连接，实现整个测试系统与被测系统之间的连通。所述的时间服务、文件服务、进程服务和异常服务属于分布式测试系统基本的服务，提供时间同步，系统对时，文件系统访问和进程处理等基本的分布式系统功能，而消息通信服务，环境检测服务以及测试监控服务属于分布式测试系统专有的测试服务，提供测试过程消息通信，被测环境检测验证，测试环境监控，测试过程管理等基本的测试系统功能，其中消息通信服务利用数据备份技术将测试系统运行时的测试交互数据进行备份，形成消息通信记录备份。

本发明提出的安全性分布式测试框架系统的测试方法具体将自动化测试过程分为测试数据准备阶段、测试任务执行阶段和测试结果评估阶段，而在测试数据准备阶段将完成自动化测试执行的相关资源准备工作，其中包括测试用例准备和测试任务准备；在测试任务执行阶段将会选择准备好的测试任务，分发并控制测试脚本在被测环境中运行，回收测试结果；在测试结果评估阶段将依据测试执行产生的测试结果，分析评估测试效果以及被测软件质量，并给出一些后期测试工作建议。

本发明提出一种安全性分布式测试框架系统的测试方法，具体包括以下几个步骤：

步骤一：测试数据准备阶段：

1、测试用例准备，如图2所示：

(1)测试任务准备单元102创建新的测试用例。创建测试用例是自动化测试过程的基本单元，测试任务准备单元102通过编辑测试用例的一系列属性如用例名称、用例版本和用例所属软件等来确定测试用例的基本信息；

(2)测试任务准备单元102创建测试用例相关的测试脚本，测试脚本为自动化测试执行提供支持，可以通过录制或编辑两种方式创建测试脚本，当采用录制方式进行测试脚本创建时，通过用户在被测系统上实际操作执行测试用例过程生成用例脚本信息，当采用编辑方式进行测试脚本创建时，通过用户根据脚本语言的语法规范编辑能够体现测试用例的执行过程的测试脚本，之后将测试用例中的检查点加入到测试脚本中即完成了测试脚本程序的创建。

(3)将编辑好的测试用例添加到测试数据准备模块1中测试数据库101的测试用例库中，如欲继续添加测试用例，则重复步骤一1的(1)～(3)。

2、测试任务准备，如图3所示：

(1)在测试数据库101的测试任务库内创建新的测试任务，测试任务是描述自动化测试过程的测试实例，测试任务准备单元102通过编辑测试任务的属性如任务名称、任务阶段和任务描述等来确定测试任务的基本信息；

(2)测试任务准备单元102向测试任务中添加测试用例，索引测试用例库，若找到要添加的测试用例则将其加入到测试任务中，若不存在则进入测试用例库的创建过程(即返回步骤一1)，然后添加到测试任务库中(即进行步骤一2)；如果欲继续添加测试用例，则重复本步骤。

步骤二：测试任务执行阶段，如图4所示：

1、测试执行控制单元202选择要执行的测试任务，然后根据测试任务标识从测试数据准备模块1的测试数据库101中提取测试用例及脚本资源；

2、由测试执行控制单元202将测试脚本进行封装预处理，封装成被测系统中的测试执行代理可以识别的形式，若处理失败，则提示用户出错信息，重新准备测试任务，返回步骤一2中；若处理成功，测试执行代理可以识别，则测试执行控制模块2的测试执行控制单元202将测试用例编排成可以顺序执行的测试序列；

3、测试执行控制单元202从测试序列中选取测试用例，根据测试序列中测试脚本执行环境的不同将测试脚本分发至各个测试执行代理；测试执行代理在收到来自测试执行控制模块2的测试请求之后，执行本地的测试脚本，完成测试用例的自动化执行过程后检查测试序列是否为空，若测试序列为空则结束测试任务执行流程，回收测试结果资源，否则重复步骤二3，重复从测试序列中选取测试用例执行的过程；其间测试执行控制单元202将持续监听测试控制指令，响应“暂停”“终止”等指令，如有“暂停”“终止”指令时，清空测试序列后回收测试结果资源，如无，继续监听测试控制指令并由测试过程监控单元201进行测试过程监控处理，收集测试执行过程中被测软件及其环境的信息。测试异常处理单元203将测试过程中异常信息进行回收并根据不同的策略进行恢复处理。

步骤三：测试结果评估阶段，如图5所示：

1、在测试任务执行完成之后，通过测试中间件4对测试任务执行结果信息进行收集后回传到测试结果评估模块3的结果处理单元301进行分析处理，同时将此执行结果存入测试数据库101的测试结果库中，其中将进行时序相关的测试结果分析，使其能以时序关系进行列表并展现给用户；

2、结果统计单元302提取测试任务的基本信息和生成的测试序列信息，根据测试任务的整体信息给出测试任务统计执行结果信息，并可综合历史执行状况给出本次测试任务执行结果与历史执行结果对比统计信息；

3、测试评估单元303计算测试评估参数如测试通过率和测试执行率等，评估本次测试任务执行的效果和被测软件的质量等，通过与预设评估参数标准值进行对比，判定是否需要进行重复测试，显示评估结果；若在测试用例中发现测试失败用例，测试结果评估模块3可以给出此失败用例执行时监控信息辅助进行原因分析。

所述的测试中间件4负责为整个安全性分布式测试框架系统提供基础支撑服务，如图6所示，通过一系列的服务接口对测试数据准备模块1、测试执行控制模块2和测试结果评估模块3提供统一的支撑服务，这些进行了封装的服务使得上述各模块之间可以进行统一的服务访问。测试中间件4的结构包括：统一接口层401、访问处理层402、测试支撑服务层403以及服务结果输出层404。统一接口层401提供统一的服务访问接口，监听来自测试数据准备模块1、测试执行控制模块2以及测试评估模块的请求，然后由访问处理层402解析处理访问请求信息，确定请求的服务内容，并调用测试支撑服务层403接口获取请求相应的服务；测试支撑服务层403负责时间服务、文件服务、进程服务、异常服务、消息通信服务、环境检测服务和测试监控服务的具体实现；服务结果输出层404将服务结果回送给请求端。所述的统一接口层401和服务结果输出层404均分别与测试数据准备模块1、测试执行控制模块2和测试结果评估模块3相连，用于传递访问请求以及服务结果，测试支撑服务层403与被测系统相连，用于实现测试相关服务(包括时间服务、文件服务、进程服务、异常服务、消息通信服务、环境检测服务和测试监控服务)。

下面将以一个简单的邮件系统测试为例，说明本发明是如何实现自动化测试过程的。

步骤一：测试数据准备阶段。

1、测试用例准备。

(1)测试任务准备单元102创建测试用例“登录测试”，编辑用例属性，用例名称“登录测试”，用例版本“0.0.1”；

(2)测试任务准备单元102创建测试用例相关的测试脚本，以“登录测试”为例，采用录制方式，编辑脚本属性信息，启动被测软件，例如mail.exe，依次操作登录动作，输入用户名“user”，密码“password”，点击“登录”按钮，结束脚本录制过程生成“登录测试”相关测试脚本；

(3)将“登录测试”用例添加测试数据准备模块1的测试用例库中，按照步骤一1的(1)～(3)继续添加“发邮件测试”和“收邮件测试用例”的测试用例。

2、测试任务准备。

(1)在测试数据库101中的测试任务库内创建测试任务“邮件系统测试任务1”，测试任务准备单元102编辑测任务属性，如任务名称“邮件系统测试任务1”，测试阶段为“验收测试”；

(2)测试任务准备单元102索引邮件系统的测试用例库，将“登录测试”、“发邮件测试”以及“收邮件测试”三个测试用例添加到该测试任务库中。

步骤二：测试任务执行阶段。

1、测试执行控制单元202选择要执行的测试任务“邮件系统测试任务1”，从测试数据准备模块1的测试数据库101中提取“登录测试”，“发邮件测试”以及“收邮件测试”测试用例及其脚本资源；

2、由测试执行控制单元202将测试脚本进行封装预处理，封装成被测系统中的测试执行代理可以识别的形式，并将测试用例编排成可以顺序执行的测试序列，本例测试序列依次为“登录功能测试”、“发邮件功能测试”、“收邮件功能测试”；

3、测试执行控制单元202从测试序列中选取测试用例“登录测试”，根据“登录测试”测试脚本执行环境将测试脚本分发至测试执行代理；测试执行代理执行测试脚本，之后依次选取“发邮件功能测试”和“收邮件功能测试”执行。

步骤三：测试结果评估阶段。

1、在测试任务执行完成之后，测试结果评估模块3的结果处理单元301分析处理，同时将此执行结果存入测试数据库101的测试结果库中，得出测试用例执行结果，“登录测试”测试用例通过，“发邮件测试”测试用例通过，“收邮件测试”测试用例通过；

2、结果统计单元302根据“邮件系统测试任务1”的信息给出测试任务统计执行结果信息，测试任务包括三个用例，执行用例3个，通过用例3个，未通过用例0个，执行失败用例0个，；

3、测试评估单元303计算测试评估参数，测试通过率为100％，测试执行率为100％，根据评估参数判定无需进行重复测试，显示评估结果。

Claims (8)

1.一种安全性分布式测试框架系统，其特征在于：包括测试数据准备模块、测试执行控制模块、测试结果评估模块和测试中间件；

所述的测试数据准备模块由测试数据库和测试任务准备单元组成；所述的测试数据库为测试任务的编排以及自动化执行提供数据支持；测试任务准备单元用于建立测试任务；

所述的测试执行控制模块包括测试过程监控单元、测试执行控制单元以及测试异常处理单元；测试过程监控单元负责在测试任务执行时进行监控，记录测试框架系统的详细操作过程，生成操作留痕记录，并实时的收集被测系统及其环境的状态信息；测试执行控制单元对测试任务执行过程的各个指令进行解析并做出相应的响应处理，在收到测试任务开始执行指令后，测试执行控制单元从测试数据库中获取准备好的测试任务，并将测试任务中的子任务顺序转发至各个被测节点，部署在各个被测节点上的测试执行代理解释执行测试脚本，生成测试结果，并通过测试中间件回传给测试结果评估模块；测试异常处理单元将测试过程中异常信息进行回收并根据策略进行恢复处理；

所述的测试结果评估模块包括结果处理单元、结果统计单元和测试评估单元；结果处理单元对测试执行控制模块的测试任务执行产生的测试结果数据进行解析处理并显示，结果处理单元对与时序关系相关的测试结果数据进行时序分析验证；结果统计单元根据每个测试用例的测试结果以及测试任务的概述信息给出整个测试任务的结果统计信息，经过测试评估单元给出测试任务的执行效果评估信息；

所述的测试中间件通过服务接口分别与测试数据准备模块、测试执行控制模块和测试结果评估模块相连接，为整个测试系统提供基础的服务支持。

2.根据权利要求1所述的一种安全性分布式测试框架系统，其特征在于：所述的测试数据库包括测试脚本库、测试用例库、测试任务库、测试文档库、测试结果库和测试对象库。

3.根据权利要求1所述的一种安全性分布式测试框架系统，其特征在于：所述的测试中间件包括统一接口层、访问处理层、测试支撑服务层和服务结果输出层；所述的统一接口层提供统一的服务访问接口，监听来自测试数据准备模块、测试执行控制模块以及测试评估模块的请求，然后由访问处理层解析处理访问请求信息，确定请求的服务内容，并调用测试支撑服务层接口获取请求相应的服务；测试支撑服务层负责服务的具体实现；服务结果输出层将服务结果回送给请求端。

4.根据权利要求3所述的一种安全性分布式测试框架系统，其特征在于：所述的统一接口层和服务结果输出层均分别与测试数据准备模块、测试执行控制模块和测试结果评估模块相连，用于传递访问请求以及服务结果。

5.根据权利要求3所述的一种安全性分布式测试框架系统，其特征在于：所述的测试支撑服务层与被测系统相连，用于实现测试服务。

6.根据权利要求5所述的一种安全性分布式测试框架系统，其特征在于：所述的测试服务具体包括时间服务、文件服务、进程服务、异常服务、消息通信服务、环境检测服务和测试监控服务。

7.一种安全性分布式测试框架系统的测试方法，其特征在于：包括以下几个步骤：

步骤一：测试数据准备阶段：

(1)测试用例准备：

①测试任务准备单元创建新的测试用例；

②测试任务准备单元创建测试用例相关的测试脚本；

③将编辑好的测试用例添加到测试数据准备模块中测试数据库的测试用例库中，若继续添加测试用例，重复步骤一(1)①～③过程；

(2)测试任务准备：

①测试任务准备单元在测试数据库的测试任务库内创建新的测试任务；

②测试任务准备单元向测试任务中添加测试用例，索引测试用例库，若找到要添加的测试用例则将其加入到测试任务中，若不存在，返回步骤一(1)；若继续添加测试用例，则重复本步骤；

步骤二：测试任务执行阶段：

(1)测试执行控制单元选择要执行的测试任务，然后根据测试任务标识从测试数据准备模块的测试数据库中提取测试用例及脚本资源；

(2)由测试执行控制单元将测试脚本进行封装预处理，封装成被测系统中的测试执行代理识别的形式，若处理失败，则提示用户出错信息，重新准备测试任务，返回步骤一(2)中；若处理成功，测试执行代理识别，则测试执行控制模块的测试执行控制单元将测试用例编排成顺序执行的测试序列；

(3)测试执行控制单元从测试序列中选取测试用例，根据测试序列中测试脚本执行环境的不同将测试脚本分发至各个测试执行代理；测试执行代理在收到来自测试执行控制模块的测试请求之后，执行本地的测试脚本，完成测试用例的自动化执行过程后，检查测试序列是否为空，若测试序列为空则结束测试任务执行流程，回收测试结果资源，否则重复步骤二3；测试执行控制单元持续监听测试控制指令，响应“暂停”“终止”指令，若有“暂停”“终止”指令时，清空测试序列后回收测试结果资源，若无，继续监听测试控制指令并由测试过程监控单元进行测试过程监控处理，收集测试执行过程中被测软件及其环境的信息；

步骤三：测试结果评估阶段：

(1)通过测试中间件对测试任务执行结果信息进行收集后回传到测试结果评估模块的结果处理单元进行分析处理，同时将此执行结果存入测试数据库的测试结果库中，进行时序相关的测试结果分析；

(2)结果统计单元提取测试任务的基本信息和生成的测试序列信息，根据测试任务的整体信息给出测试任务统计执行结果信息，并综合历史执行状况给出本次测试任务执行结果与历史执行结果对比统计信息；

(3)测试评估单元计算测试评估参数如测试通过率和测试执行率，评估本次测试任务执行的效果和被测软件的质量，通过与预设评估参数标准值进行对比，判定是否需要进行重复测试，显示评估结果；若在测试用例中发现测试失败用例，测试结果评估模块给出此失败用例执行时监控信息辅助进行原因分析。

8.根据权利要求7所述的一种安全性分布式测试框架系统的测试方法，其特征在于：步骤一(1)②中所述的测试脚本通过录制或编辑两种方式创建，当采用录制方式进行测试脚本创建时，通过用户在被测系统上实际操作执行测试用例过程生成用例脚本信息；当采用编辑方式进行脚本创建时，通过用户根据脚本语言的语法规范，编辑体现测试用例的执行过程的测试脚本，再将测试用例中的检查点加入到测试脚本中，完成测试脚本程序的创建过程。

Images