CN102546300B - 测试系统及操作域设备 - Google Patents

Abstract

本发明公开了测试系统及操作域设备，涉及通信领域及测试领域，以适应数据业务平台的发展需要，使得可以根据测试需求灵活制定测试任务中的测试用例。本发明的测试系统，应用于数据业务平台的测试，包括：管理域，用于通过远程接口接收分配指令，并相应分配测试任务，以及通过局域网将所述测试任务同步到操作域，并记录和管理操作域返回的测试结果；操作域，用于通过远程接口接收测试指令，并执行和测试管理域同步来的相关任务，以及通过局域网将测试结果同步到管理域。

Description

测试系统及操作域设备

本申请是对申请人于2007年12月29日申请的、申请号为200710304756.5、发明名称为《测试系统、测试方法、管理域及操作域》的专利申请的分案申请。

技术领域

本发明涉及通信领域及测试领域，特别是涉及测试系统及操作域设备。

背景技术

目前在移动通信领域，数据业务平台的测试主要采用通过与实际的相关网元设备互连，人工执行常规业务流程来实现，同时，为了避免对现网业务的影响，该类测试一般多在实验室环境进行。

当前的数据业务平台测试以实际业务网元配合为主。随着移动数据业务的发展，业务平台的种类及复杂度都有了较大提高，以往的测试方式已经不能满足现有测试的需要。

综上，现有技术不能适应数据业务平台的发展需要，而且测试任务中的测试用例相对固定，不能根据测试需求灵活制定。

发明内容

本发明实施例提供测试系统、测试方法、管理域及操作域，以适应数据业务平台的发展需要，使得可以根据测试需求灵活制定测试任务中的测试用例。

本发明实施例的一种测试系统，应用于数据业务平台的测试，包括：管理域，用于通过远程接口接收分配指令，并相应分配测试任务，以及通过局域网将所述测试任务同步到操作域，并记录和管理操作域返回的测试结果；操作域，用于通过远程接口接收测试指令，并执行和测试管理域同步来的相关任务，以及通过局域网将测试结果同步到管理域。

本发明实施例的一种测试系统中的管理域，包括：测试管理模块，用于通过远程接口接收分配指令，并相应分配测试任务，以及记录和管理测试结果；操作域同步模块，用于通过局域网将所述测试任务同步到操作域，以及通过局域网接收操作域同步来的测试结果。

本发明实施例的一种测试系统中的操作域，包括：任务调度模块，用于调度完成测试任务；测试用例缓存模块，由任务调度模块引导，用于在本地存储测试任务中的测试用例，并提供调用接口；协议适配模块，由任务调度模块引导，用于初始化相关协议栈，并提供通信协议调用接口；当测试用例激活后，根据用例规定的流程与被测设备进行协议通信；数据解析模块，由任务调度模块引导，用于采集与被测设备测的协议交互数据，并根据测试用例规定的流程过滤并解析相应的数据流，对比解析结果与标准输出结果得出测试结果，并输出；测试结果缓存模块，用于保存数据解析模块输出的测试结果，并关联相应的测试用例；管理域同步模块，用于通过局域网将测试结果同步到管理域，以及接收管理域同步来的测试任务。

本发明实施例的一种测试方法，应用于数据业务平台的测试，包括下列步骤：管理域通过远程接口接收分配指令，并相应分配测试任务；管理域通过局域网将所述测试任务同步到操作域；操作域通过远程接口接收测试指令，并执行和测试管理域同步来的相关任务；操作域通过局域网将测试结果同步到管理域；管理域记录和管理测试结果。

本发明采用“域”概念，将操作和管理职能分离，通过操作域和管理域实现两者的分治与统一，所以适应了数据业务平台的发展需要，使得可以根据测试需求灵活制定测试任务中的测试用例，并且采用“域”概念，将操作和管理职能分离，使得测试独立执行、全局控制和信息保存得以实现，避免数据泄漏和因错误造成的数据丢失。

附图说明

图1为本发明实施中的测试系统结构示意图；

图2为本发明实施中的管理域结构示意图；

图3为本发明实施中的操作域结构示意图；

图4为本发明实施中的测试方法步骤流程图；

图5为本发明实施中在管理域创建测试任务并分配给操作域的流程图；

图6为本发明实施中操作域对测试用例的执行流程图。

具体实施方式

为了适应数据业务平台的发展需要，使得可以根据测试需求灵活制定测试任务中的测试用例，本发明提供了一种测试系统，一种测试系统中的管理域，一种测试系统中的操作域，以及一种测试方法，其采用“域”概念，将操作和管理职能分离，通过操作域和管理域实现两者的分治与统一。以下分别对本发明的系统、管理域、操作域和方法逐一详述。

参见图1所示，本发明的测试系统中管理域与操作域作为核心内部组件。

管理域提供了面向移动管理人员的远程接口(如：Web接口)，测试管理员远程登录管理域后，可以发出分配指令来分配和管理测试任务，并且管理域通过局域网与操作域连接，将测试任务同步到操作域，并记录和管理操作域返回的测试结果。

操作域提供了面向厂家测试的远程接口(如：Web接口)，测试工程师通过远程登录操作域(如：通过Internet)后，可以发出测试指令来执行和测试管理域同步来的相关任务，并且操作域通过局域网与管理域连接，将测试结果同步到管理域。

下面将分别介绍管理域与操作域中各模块的结构设计及功能实现。

管理域作为本发明的控制核心，从任务的建立到结束都起到管理监督职能，每个内部模块都针对整个测试的各个细节提供相应的功能，其可以包括测试管理模块和操作域同步模块，测试管理模块中具体包括测试任务管理子模块和测试结果管理子模块；进一步，测试管理模块中还可包括下列子模块之一或任意组合：测试问题管理子模块、测试数据管理子模块、测试日志管理子模块和测试报告管理子模块；进一步，管理域中还可包括下列模块之一或任意组合：系统管理模块、用户管理模块、日志管理模块和管理域门户模块。

参见图2所示，以管理域包括上述所有模块和子模块为例。

其中，系统管理模块：负责整个系统(管理域+操作域)的用户角色建立、权利分配和连接设置；管理域的用户创建、用户角色分配。

其中，用户管理模块：负责操作域的用户创建、用户角色分配；厂家信息建立及维护，比如厂家参与测试的产品信息、软硬件信息以及更新信息等。

其中，日志管理模块：负责这个系统的操作记录、错误记录等。

其中，管理域门户模块(移动Web门户)：为移动人员提供的操作接口，管理域所有功能的可执行界面和结果均通过web门户展现，比如管理员可在门户上创建用户，分配测试等操作。

其中，测试管理模块：该模块是管理域的核心模块，负责与具体测试相关的所有功能，具体又分为以下6个子模块。

测试任务管理子模块：负责具体测试任务的创建，包括测试用例的选择，添加或修改，测试的周期等；同时提供通知功能，比如当测试进度超期或者测试出现重大告警时，会通过短信或email方式通知相应测试任务的负责人。

测试结果管理子模块：负责记录和管理单项测试任务中单个测试用例每一次的执行结果，移动管理员可以查询到任何一条测试结果的详细记录。

测试问题管理子模块：负责记录和管理测试过程中出现的所有问题，与测试结果管理子模块配合调用，对于任何“未通过”的结果都将记录相应的测试现象和测试问题定位。

测试数据管理子模块：负责保存和管理每次执行测试用例的数据流，与测试任务管理子模块、测试结果管理子模块联合调用，自动关联相应的测试用例和执行情况。

测试日志管理子模块：负责保存和管理操作域的使用记录，帮助移动管理员了解测试人员的使用情况。

测试报告管理子模块：负责生成并管理测试报告(以测试任务为输出单位)，提供测试报告的模块设计功能，可根据具体需求定义某一类测试任务的标准测试报告形式，并以常用格式输出(比如txt、doc、xls等)；该子模块与测试任务管理子模块联合调用，自动关联测试任务。

其中，操作域同步模块：负责将管理域的操作命令和数据同步给操作域，并接收来自操作域的测试结果。

操作域是本发明的执行核心，面向厂家测试工程师，负责测试具体细节及执行环境，其可以包括任务调度模块、测试用例缓存模块、协议适配模块、数据解析模块、测试结果缓存模块和管理域同步模块；进一步还可包括操作域门户模块、参数配置模块、测试问题缓存模块和测试日志缓存模块。

参见图3所示，以操作域包括上述所有模块为例。

其中，操作域门户模块(厂家web门户模块)：为厂家测试工程师提供的操作接口，操作域所有功能的可执行界面和结果均通过web门户展现，比如厂家工程师可在门户上执行设备参数配置，测试激活，测试结果查询等操作。

其中，任务调度模块：操作域的核心模块，跟踪测试执行的全过程。负责解析管理域同步的任务信息，调度测试用例缓存区同步相关测试用例、协议适配模块初始化相应的协议栈等。

其中，测试用例缓存模块：由任务调度模块引导，从管理域同步并在本地存储相关的测试用例，为其他模块提供调用接口。

其中，参数配置模块：由任务调度模块引导，提供被测设备与测试平台连接的参数设置接口，比如IP地址、连接密码、设备ID等。

其中，协议适配模块：由任务调度模块引导，初始化相关协议栈(所述协议栈包括但不限于：Webservers、SMS_CMPP、SMS_SMPP、MMS_MM7、Pushmail_cmpop、AGPS_Ls)、关联测试用例缓存区，提供通信协议调用接口；当测试用例激活(触发)后，根据用例规定的流程与被测设备进行协议通信。

其中，数据解析模块：由任务调度模块引导，关联测试用例缓存区；采集被测设备与平台的协议交互数据，根据测试用例规定的流程过滤并解析相应的消息流；对比解析结果与标准输出，判断协议交互的一致性和正确性；输出对比结果至相关模块。

其中，测试结果缓存模块：负责保存数据解析模块的对比结果，并关联相应的测试用例和执行批次；对比结果异常时，同步结果给测试问题缓存模块。

其中，测试问题缓存模块：根据同步的异常测试结果，查询定义的测试错误集，匹配分析结果并记录。

其中，测试日志缓存模块：负责记录测试的执行情况，如登录情况、用例执行情况(执行覆盖率、成功率等)。

其中，管理域同步模块：负责将测试执行中生成的所有数据和结果同步给管理域，并接收来自管理域的同步数据。

本发明还提供了一种测试方法，参见图4所示，包括下列主要步骤：

S1、管理域通过远程接口接收分配指令，并相应分配测试任务。

S2、管理域通过局域网将所述测试任务同步到操作域。

S3、操作域通过远程接口接收测试指令，并执行和测试管理域同步来的相关任务。

S4、操作域通过局域网将测试结果同步到管理域。

S5、管理域记录和管理测试结果。

下面以MAS服务器测试为例，详细介绍测试的流程及各模块间的协同工作关系。

参见图5所示，在管理域创建测试任务并分配给操作域，例如：测试初期首先由移动工程师在管理域创建测试任务并分配给相关参测厂家，具体步骤如下：

11：管理域创建厂家信息、参测产品信息，以及登录帐户；

移动工程师通过管理域门户模块登录管理域Web门户后，通过用户管理模块建立或更新厂家及其参测产品的信息，并可进行校验，以及分配一个登录帐户(需要与测试厂家绑定)及其角色等。

12：管理域创建测试任务；

移动工程师可先通过测试问题管理子模块提取问题记录，并依据分析结果向管理域中的测试任务管理子模块发出分配指令，所述分配指令包括：测试任务中的测试用例的选择指令，和/或添加指令，和/或修改指令，和/或测试周期指令。测试任务管理子模块根据分配指令相应创建测试任务，制定测试用例和测试周期，绑定登录帐户。比如，如果是软件补丁测试，系统会根据测试问题记录自动加载需要的测试用例。

13：同步给操作域；

通过操作域同步模块将创建的测试任务，制定的测试用例，测试周期，以及分配的操作域登录帐户信息同步到操作域。

14：操作域接收管理域同步来的信息；

厂家工程师通过操作域门户模块使用管理域分配的登录帐户登录操作域Web门户，并通过管理域同步模块接收测试任务，以及测试用例缓存模块在本地存储管理域同步来的测试任务中的测试用例。同时可以通过任务调度模块调整测试用例的顺序，通过参数配置模块配置参测设备与测试平台的连接参数和必要业务信息等，比如，MAS服务器测试需要厂家具体填写MAS设备的硬件配置，核心业务软件版本，配置参测设备的ip地址、业务端口、MASID、登录密码、服务代码等必要信息。所有预设置正确完成后，厂家工程师可以通过操作域提供的Web接口向操作域发出测试指令，以激活测试用例。

测试任务分配完成后，主要执行将由厂家工程师完成，在此期间，移动工程师可以通过管理域随时了解测试进度及情况。如果测试需求有变化，也可以在已分配的测试任务中增减测试用例并同步给操作域。

参见图6所示，操作域对测试用例的执行，例如：厂家工程师可以选择全自动模式(自动执行测试任务中的所有测试用例，无需人为干预)和半自动模式(通过web门户人为触发单项测试用例或测试例组)，但是对于每一次测试用例的执行都有如下具体步骤：

21：操作域完成协议栈配置；

测试用例激活后，如果需要配置特定参数，则任务调度模块将自动提示厂家工程师否则继续，如果厂家工程师选择继续，则通过参数配置模块进行配置。参数配置完毕后，协议适配模块初始化测试用例需要的协议栈，并根据测试用例规定的交互流程自动发起业务请求或回应。

22：操作域采集分析交互的数据；

测试用例激活后，数据解析模块的采集功能开启直至一次测试用例执行结束，并根据测试用例规定的交互流程过滤出相关交互信息，提取重要参数与标准输出对比，检查参测设备协议交互的合法性和正确性，最终将结果提交测试结果缓存模块。

23：操作域对测试结果进行处理；

测试结果缓存模块根据数据解析模块提交的比对结果，记录测试结果；对于异常结果，进一步提交至测试问题缓存模块分析并记录测试问题；该步骤的所有过程都被记录在测试日志缓存模块，包括每项测试用例的执行次数，成功率，执行覆盖率等。

24：同步到管理域；

管理域同步模块将操作域生成的所有测试信息都同步给管理域，并由相关模块处理，如果出现严重错误或测试进度拖延等情况，管理域的测试数据管理子模块会自动触发通知给移动工程师(即项目负责人)。

当厂家工程师提交测试结束请求或任务时间到期，管理域的测试报告管理子模块会根据定义好的报告模板自动生成测试报告，移动工程师可以选择以常用格式(如txt、doc、xls等)下载到本地。

管理域的用户管理模块根据测试结果自动更新测试厂家的产品信息，同时对参测的软件信息进行版本管理，为后期补丁测试或升级测试提供参考依据。

综上所述，本发明实施例提供了远程访问接口，通过仿真业务网元功能与被测平台实体实现业务交互，同时支持模拟各种非常规流程，采用自动或半自动模式执行测试，全面解决了当前测试手段的低效性和局限性。通过本发明可以得到以下有益效果：

高扩展性：由于平台采用模块化设计，支持协议栈的扩展，实现了根据业务发展需要的可扩展能力。

高安全性：采用“域隔离”机制，独立测试执行、全局控制和信息保存，避免数据泄漏和因错误造成的数据丢失。

高智能性：采用多模块关联方式，利用测试用例管理模块可以根据测试需求或测试情况的变化，灵活制定或更新测试任务和测试策略。

高移动性：由于平台采用分布式设计，B/S结构框架，摆脱了地域限制，被测设备可以通过Internet接入平台参与测试，web门户为厂家工程师、移动管理人员提供了即时处理的远程方式。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种测试系统，应用于数据业务平台的测试，其特征在于，包括：

管理域设备，用于通过面向管理人员的远程接口接收来自测试管理员的分配指令，并相应分配测试任务，以及通过局域网将所述测试任务同步到操作域设备，并记录和管理操作域设备返回的测试结果；

操作域设备，用于通过面向厂家测试的远程接口接收来自测试工程师的测试指令，并执行和测试管理域设备同步来的相关任务，以及通过局域网将测试结果同步到管理域设备；所述操作域设备中包括：

任务调度模块，用于调度完成测试任务；

测试用例缓存模块，由任务调度模块引导，用于在本地存储管理域设备同步来的测试任务中的测试用例，并提供调用接口；

协议适配模块，由任务调度模块引导，用于初始化相关协议栈，并提供通信协议调用接口；当测试用例被所述测试指令激活后，根据用例规定的流程与被测设备进行协议通信；

数据解析模块，由任务调度模块引导，用于采集所述系统与被测设备的协议交互数据，并根据测试用例规定的流程过滤并解析相应的数据流，对比解析结果与标准输出结果得出测试结果，并输出；

测试结果缓存模块，用于保存数据解析模块输出的测试结果，并关联相应的测试用例；

管理域同步模块，用于通过局域网将测试结果同步到管理域设备，以及接收管理域设备同步来的测试任务。

2.如权利要求1所述的测试系统，其特征在于，所述管理域设备中包括：

测试管理模块，用于通过远程接口接收分配指令，并相应分配测试任务，以及记录和管理操作域设备返回的测试结果；

操作域同步模块，用于通过局域网将所述测试任务同步到操作域设备，以及通过局域网接收操作域设备返回的测试结果。

3.如权利要求2所述的测试系统，其特征在于，所述测试管理模块中包括：

测试任务管理子模块，用于根据所述分配指令，创建和分配测试任务；

测试结果管理子模块，用于记录和管理操作域设备同步来的单项测试任务中单个测试用例每一次的测试结果。

4.如权利要求3所述的测试系统，其特征在于，所述测试管理模块中还包括下列子模块之一或任意组合：

测试问题管理子模块，用于记录和管理测试过程中出现的问题信息，并与测试结果管理子模块联合调用，记录不满足要求的测试结果；

测试数据管理子模块，用于保存和管理每次执行测试用例的数据流，并与测试任务管理子模块、测试结果管理子模块联合调用，自动关联相应的测试用例和执行情况；

测试日志管理子模块，用于保存和管理操作域设备的使用记录；

测试报告管理子模块，用于与测试任务管理子模块联合调用，自动关联测试任务，并生成和管理测试报告。

5.如权利要求2所述的测试系统，其特征在于，所述管理域设备中还包括下列模块之一或任意组合：

系统管理模块，用于建立所述系统的用户角色、权限分配和连接设置；以及创建管理域的用户和用户角色分配；

用户管理模块，用于创建操作域的用户和用户角色分配；以及建立和维护被测设备信息；

日志管理模块，用于保存所述系统的操作记录和/或错误记录；

管理域门户模块，用于为管理域用户提供操作接口和可执行界面，以及呈现测试结果。

6.如权利要求1所述的测试系统，其特征在于，所述操作域设备中还包括下列模块之一或任意组合：

操作域门户模块，用于为操作域用户提供操作接口和可执行界面；

参数配置模块，由任务调度模块引导，用于提供设置所述系统与被测设备之间连接参数的接口；

测试问题缓存模块，用于接收测试结果缓存模块在测试结果异常时同步来的测试结果，并相应查询定义的测试错误集，匹配分析结果并记录；

测试日志缓存模块，用于记录测试的执行情况。

7.如权利要求1所述的测试系统，其特征在于，所述远程接口为Web接口。

8.一种测试系统中的操作域设备，其特征在于，包括：

任务调度模块，用于调度完成测试任务；

测试用例缓存模块，由任务调度模块引导，用于在本地存储测试系统中的管理域设备同步来的测试任务中的测试用例，并提供调用接口；其中，所述管理域设备同步来的测试任务是，所述管理域设备根据其通过面向管理人员的远程接口接收到的、来自测试管理员的分配指令所分配的；

协议适配模块，由任务调度模块引导，用于初始化相关协议栈，并提供通信协议调用接口；当测试用例被所述操作域设备通过面向厂家测试的远程接口接收到的、来自测试工程师的测试指令激活后，根据用例规定的流程与被测设备进行协议通信；

数据解析模块，由任务调度模块引导，用于采集与被测设备的协议交互数据，并根据测试用例规定的流程过滤并解析相应的数据流，对比解析结果与标准输出结果得出测试结果，并输出；

测试结果缓存模块，用于保存数据解析模块输出的测试结果，并关联相应的测试用例；

管理域同步模块，用于通过局域网将测试结果同步到管理域设备，以及接收管理域设备同步来的测试任务。

9.如权利要求8所述的操作域设备，其特征在于，所述操作域设备中还包括下列模块之一或任意组合：

操作域门户模块，用于为操作域用户提供操作接口和可执行界面；

参数配置模块，由任务调度模块引导，用于提供设置所述系统与被测设备之间连接参数的接口；

测试问题缓存模块，用于接收测试结果缓存模块在测试结果异常时同步来的测试结果，并相应查询定义的测试错误集，匹配分析结果并记录；

测试日志缓存模块，用于记录测试的执行情况。