CN102238048A - 一种协议一致性测试方法和系统 - Google Patents

Abstract

本发明公开了一种协议一致性测试方法和系统，所述方法包括：测试系统通过被测系统与测试执行的对应关系获取多个被测系统所对应的多个测试执行；所述测试系统利用所述多个测试执行并行对所述多个被测系统进行协议一致性测试。通过本发明的技术方案，大幅度提高了测试效率，并且该并行测试方法具有良好的系统扩展性。

Description

一种协议一致性测试方法和系统

技术领域

本发明涉及通信技术领域，尤其涉及一种协议一致性测试方法和系统。

背景技术

随着通信网络技术和应用的迅速发展，网络协议日益复杂，一致性测试是保证协议实现的重要手段，且是性能测试、互操作性测试和健壮性测试的基础；其中，一致性测试是产品开发研制过程中的支撑手段，且发展成为网络技术的重要分支。也就是说，对一致性测试的研究将直接影响到网络技术的进步和网络市场的竞争与发展。

协议一致性测试是指在一定的网络环境下，利用一组测试序列对IUT（Implementation Under Test，被测协议实现）进行测试，通过比较IUT的实际输出与预期输出的异同，判定待测协议在多大程度上与标准描述相一致，并以此来保证通过一致性测试的协议在不同网络中的表现一致。

当前协议一致性测试广泛应用于通信协议测试和互联网协议测试中，且协议一致性测试采用串行测试方式，同一时刻运行一个测试脚本对一个被测系统进行测试。

在实现本发明的过程中，发明人发现现有技术中至少存在以下问题：

由于协议一致性测试的测试用例集中测试脚本数量庞大，采用串行测试的方法遍历执行整个测试用例集，需要耗费大量的时间，尤其在产品研发阶段，由于涉及特性增加、修改或版本Bug修复等，则会导致版本较多，继而导致耗费大量的时间。进一步的，串行测试会导致测试效率很低，同一时刻只能运行一个测试脚本对一个被测系统进行测试。

发明内容

本发明提供一种协议一致性测试方法和系统，以并行对多个被测系统进行协议一致性测试，提高测试效率。

为了达到上述目的，本发明实施例提供一种协议一致性测试方法，该方法包括：

测试系统通过被测系统与测试执行的对应关系获取多个被测系统所对应的多个测试执行；

所述测试系统利用所述多个测试执行并行对所述多个被测系统进行协议一致性测试。

本发明实施例提供一种协议一致性测试系统，该系统至少包括：成分管理实体和多个测试执行实体；

所述成分管理实体，用于通过被测系统与测试执行的对应关系获取多个被测系统所对应的多个测试执行；

所述多个测试执行实体，用于利用所述多个测试执行并行对所述多个被测系统进行协议一致性测试。

与现有技术相比，本发明实施例至少具有以下优点：通过并行对多个被测系统进行协议一致性测试，可以大幅度提高测试效率；而且由于在并行测试时，测试执行、系统适配与被测系统之间一一对应，通过扩展增加测试执行、系统适配与被测系统的对应数目，可实现系统扩展，即系统扩展性好。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中现有技术中进行一致性测试的串行测试系统框图；

图2为本发明实施例一提供的一种协议一致性测试方法的流程示意图；

图3为本发明实施例二中测试执行实体、被测系统与系统适配实体之间存在一一对应的映射关系时的系统框图；

图4为本发明实施例二中测试执行实体、被测系统与系统适配实体之间存在多对一的映射关系时的系统框图；

图5为本发明实施例二提供的一种协议一致性测试方法的流程示意图；

图6本本发明实施例三提供的一种协议一致性测试系统结构示意图。

具体实施方式

发明人在实现本发明的过程中注意到：

当前采用串行测试方式进行协议一致性测试，如图1所示，为现有技术中进行一致性测试的串行测试系统框图，同一时刻只有一对TE（Test Execute，测试执行）与SA（System Adapter，系统适配）执行，因此只能对单一SUT（System Under Test，被测系统）执行测试；即在协议一致性测试系统中，由测试执行触发相关的测试流程，并由系统适配来适配对应的被测系统。

现有技术中，采用串行测试方式会导致耗费大量的时间，且导致测试效率很低；为了解决上述问题，提高系统测试能力，现有技术中可在采用串行测试方式的同时，改进硬件性能（即提高硬件性能）或配备多套测试系统。

但是，在改进硬件性能时，协议测试主要侧重于对协议流程的测试，且相关流程均有具体的时间范围规定，单纯提高硬件性能无法提高测试效率；配备多套测试系统时，系统可扩展性差，不能通过扩展硬件配置实现同时对多套被测系统的并行测试。

针对上述问题，本发明实施例提供一种协议一致性测试方法和系统，通过采用并行测试的方式，达到并行对多个被测系统进行协议测试的目的，大幅度提高了测试效率，并且该并行测试方法具有良好的系统扩展性。

下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明实施例一提供一种协议一致性测试方法，以并行对多个被测系统进行协议一致性测试。如图2所示，该方法包括以下步骤：

步骤201，测试系统通过被测系统与测试执行的对应关系获取多个被测系统所对应的多个测试执行。

需要说明的是，被测系统与测试执行具有一一对应关系，例如，被测系统1与测试执行1对应、被测系统2与测试执行2对应、被测系统3与测试执行3对应；当测试系统需要对多个被测系统（1、2、3）进行协议一致性测试时，该测试系统需要获得被测系统1对应的测试执行1、被测系统2对应的测试执行2、被测系统3对应的测试执行3。

步骤202，测试系统利用多个测试执行并行对多个被测系统进行协议一致性测试。例如，测试系统利用测试执行1对被测系统1进行协议一致性测试，测试系统利用测试执行2对被测系统2进行协议一致性测试，测试系统利用测试执行3对被测系统3进行协议一致性测试。

具体的，在测试系统并行对多个被测系统进行协议一致性测试的过程中，测试系统将建立与多个测试执行相同数量的测试任务，通过每个测试任务执行对应的测试执行，并利用测试执行对对应的被测系统进行协议一致性测试。例如，测试系统建立测试任务1、测试任务2、测试任务3，并通过测试任务1执行测试执行1，之后利用测试执行1对被测系统1进行协议一致性测试；以此类推，通过测试任务2执行测试执行2，通过测试任务3执行测试执行3。

需要说明的是，测试系统可通过多线程或多进程的方式实现多个测试任务，且测试系统可为每个测试任务设置任务标识，并利用任务标识（即上述的测试任务1、测试任务2、测试任务3）控制测试任务所执行的测试执行。例如，在对被测系统2进行协议一致性测试的过程中，测试系统如果需要终止该测试过程，则测试系统可中断测试任务2，继而中断测试执行2，终止对被测系统2进行的协议一致性测试。

本发明实施例中，由于测试系统与被测系统之间可能会无法实现数据通信过程，因此还可以在测试系统中设置系统适配，在测试系统利用测试执行对被测系统进行协议一致性测试的过程中，测试系统确定与测试执行和被测系统相对应的系统适配，并通过该系统适配传输测试执行与被测系统之间的用于进行协议一致性测试的测试数据。

需要注意的是，每个测试执行具有唯一对应的系统适配，且每个被测系统具有唯一对应的系统适配，每个测试执行唯一对应有被测系统，因此测试执行、系统适配、被测系统之间具有唯一的对应关系。例如，当设置与测试执行相同数量的系统适配时，测试执行1、系统适配1、被测系统1之间具有唯一的对应关系，测试执行2、系统适配2、被测系统2之间具有唯一的对应关系，测试执行3、系统适配3、被测系统3之间具有唯一的对应关系。又例如，只设置一个系统适配时，测试执行1、系统适配1、被测系统1之间具有唯一的对应关系，测试执行2、系统适配1、被测系统2之间具有唯一的对应关系，测试执行3、系统适配1、被测系统3之间具有唯一的对应关系。

因此，在确定与测试执行和被测系统相对应的系统适配时，测试系统可通过测试执行与系统适配的唯一对应关系、以及被测系统与系统适配的唯一对应关系，确定与测试执行和被测系统相对应的系统适配。例如，与测试执行1和被测系统1相对应的系统适配为系统适配1。

本发明实施例中，在测试系统中包括对应测试执行的测试执行实体和对应系统适配的系统适配实体，在测试系统通过系统适配传输测试执行与被测系统之间的用于进行协议一致性测试的测试数据的过程中：（1）测试执行实体将测试数据发送给系统适配实体，系统适配实体将测试数据适配为被测系统支持的测试数据，并将适配后的测试数据发送给被测系统。（2）被测系统将测试数据发送给系统适配实体，系统适配实体将测试数据适配为测试执行实体支持的测试数据，并将适配后的测试数据发送给测试执行实体。

综上所述，本发明实施例中，通过并行对多个被测系统进行协议一致性测试，可以大幅度提高测试效率；而且由于在并行测试时，测试执行、系统适配与被测系统之间一一对应，通过扩展增加测试执行、系统适配与被测系统的对应数目，可实现系统扩展，即系统扩展性好。

实施例二

基于上述实施例一，本发明实施例二提供一种协议一致性测试方法，具体阐述并行对多个被测系统进行协议一致性测试的过程。本发明实施例中，在测试系统中具有CH（Component Handle，成分管理）实体（可为功能模块）、测试执行实体（可为功能模块）、系统适配实体（可为功能模块）。

该成分管理实体用于管理多个测试执行同时运行，实现对多对测试执行与系统适配的并行处理（具体实现可采用多进程或多线程等方式），从而实现对被测系统的并行测试。其中，测试执行实体与被测系统一一对应，且测试执行实体与被测系统间通过系统适配实体连接。

测试执行实体与系统适配实体根据实际情况可以是一一对应的关系（如设置与测试执行相同数量的系统适配），此时，被测系统与系统适配实体根据实际情况是一一对应的关系，如图3所示的测试执行实体、被测系统与系统适配实体之间存在一一对应的映射关系时的系统框图。

测试执行实体与系统适配实体根据实际情况可以是多对一的关系（如设置一个系统适配），此时，被测系统与系统适配实体根据实际情况是多对一的关系，如图4所示的测试执行实体、被测系统与系统适配实体之间存在多对一的映射关系时的系统框图。

本发明实施例中，基于上述测试系统的结构，成分管理实体实现并行测试成分之间的协调工作和分布式测试应用，管理多个测试执行实体的并行执行，每个测试执行实体执行一项测试任务（如执行特定的测试用例集，进行测试结果判决、测试报告生成及测试log生成等），并通过系统适配实体对应唯一的被测系统，而各测试执行实体之间相互独立，从而达到并行测试的目的，并大幅度提高测试效率；而且可以通过扩展增加测试执行实体、系统适配实体与被测系统的对应数目实现系统扩展，系统扩展性好。

基于上述测试系统的结构，如图5所示，该方法包括以下步骤：

步骤501，成分管理实体通过被测系统与测试执行的对应关系获取多个被测系统所对应的多个测试执行。每个测试执行中包含有用于对被测系统进行协议一致性测试的测试用例集。

步骤502，成分管理实体为每个测试执行建立相应的测试任务，该测试任务用于执行对应的测试执行。例如，成分管理实体根据N（N为大于1的整数）个测试执行新建N个测试任务。

具体的，系统初始化之后，成分管理实体建立N个相互独立的，相同或不同的测试任务，实际应用中可为N个测试任务设置N个不同的ID，并通过N个不同的ID并行控制N个测试执行。其中，成分管理实体可通过测试任务的ID来控制和管理测试任务，以进一步控制和管理测试执行。例如，当需要停止第5个测试执行时，成分管理实体可控制第5个测试任务停止测试。

步骤503，当启动协议一致性测试后，执行各测试任务，由各测试任务执行对应的测试执行。

步骤504，测试执行实体执行测试用例集中的测试用例。

在执行测试用例的过程中，测试执行实体需要将测试数据发送给对应的系统适配实体，由系统适配实体将测试数据适配为被测系统支持的测试数据，并将适配后的测试数据发送给被测系统；之后，被测系统将测试数据发送给系统适配实体，系统适配实体将测试数据适配为测试执行实体支持的测试数据，并将适配后的测试数据发送给测试执行实体。

本发明实施例中，为了实现上述测试数据的通信过程，测试执行实体、系统适配实体和被测系统可具有地址信息（如IP地址和端口），并通过该地址信息实现测试数据的传输。为此，成分管理实体还需要为测试执行实体和系统适配实体设置IP地址和端口等信息，以在每个测试执行实体与系统适配实体之间建立专用的通信链路。

步骤505，当测试用例集中的一个测试用例执行结束后，测试执行实体判断测试用例集中是否还有未执行的测试用例，如果有，则执行下一个测试用例，转到步骤504；否则，执行步骤506。

步骤506，测试执行实体根据测试用例集中所有测试用例的执行情况生成测试报告。多个测试执行实体生成的测试报告可由成分管理实体统一管理。

需要说明的是，步骤503-步骤506是相对独立的N个测试过程，N个测试过程相互独立，虽然并行进行N个测试用例集，但是测试过程可以不同步，例如，在第一个测试用例集测试了2个测试用例时，第2个测试用例集可以只测试了1个测试用例。

综上所述，本发明实施例中，通过成分管理实体的管理和控制，对多个测试执行与系统适配并行执行测试，从而达到同时对多个被测系统进行协议测试的目的，由于协议一致性测试系统的成本主要是软件成本，因而成本较单一进程测试系统并没有显著增加，同时大幅度提高了测试效率，并且该并行测试方法具有良好的系统扩展性。

实施例三

基于与上述方法同样的发明构思，本发明实施例三中还提供了一种协议一致性测试系统，如图6所示，该系统至少包括：成分管理实体11和多个测试执行实体12；

所述成分管理实体11，用于通过被测系统与测试执行的对应关系获取多个被测系统所对应的多个测试执行；

所述多个测试执行实体12，用于利用所述多个测试执行并行对所述多个被测系统进行协议一致性测试。

所述成分管理实体11，还用于建立与所述多个测试执行相同数量的测试任务，每个测试任务用于执行对应的测试执行；

测试执行实体12，用于利用所述测试执行对对应的被测系统进行协议一致性测试。

所述成分管理实体11，还用于确定与所述测试执行和所述被测系统相对应的系统适配；

所述测试执行实体12，具体用于通过所述系统适配传输所述测试执行与所述被测系统之间的用于进行协议一致性测试的测试数据。

每个测试执行具有唯一对应的系统适配，且每个被测系统具有唯一对应的系统适配；

所述成分管理实体11，具体用于通过测试执行与系统适配的唯一对应关系、以及被测系统与系统适配的唯一对应关系，确定与所述测试执行和所述被测系统相对应的系统适配。

还包括系统适配实体13，图6中以系统适配实体13与测试执行实体12一一连接为例进行说明；

所述测试执行实体12，用于将测试数据发送给所述系统适配实体；

所述系统适配实体13，用于将所述测试数据适配为所述被测系统支持的测试数据，并将适配后的测试数据发送给所述被测系统。

所述系统适配实体13，用于接收来自所述被测系统的测试数据，将所述测试数据适配为所述测试执行实体支持的测试数据，并将适配后的测试数据发送给所述测试执行实体。

与所述多个测试执行相同数量的测试任务具体为：所述测试系统通过多线程或多进程方式实现的多个测试任务。

所述成分管理实体11，还用于为每个测试任务设置任务标识，并利用所述任务标识控制所述测试任务所执行的测试执行。

综上所述，本发明实施例中，通过并行对多个被测系统进行协议一致性测试，可以大幅度提高测试效率；而且由于在并行测试时，测试执行、系统适配与被测系统之间一一对应，通过扩展增加测试执行、系统适配与被测系统的对应数目，可实现系统扩展，即系统扩展性好。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (16)

1.一种协议一致性测试方法，其特征在于，该方法包括：

测试系统通过被测系统与测试执行的对应关系获取多个被测系统所对应的多个测试执行；

所述测试系统利用所述多个测试执行并行对所述多个被测系统进行协议一致性测试。

2.如权利要求1所述的方法，其特征在于，所述测试系统利用所述多个测试执行并行对所述多个被测系统进行协议一致性测试，包括：

所述测试系统建立与所述多个测试执行相同数量的测试任务，通过每个测试任务执行对应的测试执行，并利用所述测试执行对对应的被测系统进行协议一致性测试。

3.如权利要求2所述的方法，其特征在于，所述测试系统利用所述测试执行对对应的被测系统进行协议一致性测试，包括：

所述测试系统确定与所述测试执行和所述被测系统相对应的系统适配；

所述测试系统通过所述系统适配传输所述测试执行与所述被测系统之间的用于进行协议一致性测试的测试数据。

4.如权利要求3所述的方法，其特征在于，每个测试执行具有唯一对应的系统适配，且每个被测系统具有唯一对应的系统适配；

所述测试系统确定与所述测试执行和所述被测系统相对应的系统适配，包括：

所述测试系统通过测试执行与系统适配的唯一对应关系、以及被测系统与系统适配的唯一对应关系，确定与所述测试执行和所述被测系统相对应的系统适配。

5.如权利要求3所述的方法，其特征在于，所述测试系统包括对应所述测试执行的测试执行实体和对应所述系统适配的系统适配实体；

所述测试系统通过所述系统适配传输所述测试执行与所述被测系统之间的用于进行协议一致性测试的测试数据，包括：

所述测试执行实体将测试数据发送给所述系统适配实体，所述系统适配实体将所述测试数据适配为所述被测系统支持的测试数据，并将适配后的测试数据发送给所述被测系统。

6.如权利要求3所述的方法，其特征在于，所述测试系统包括对应所述测试执行的测试执行实体和对应所述系统适配的系统适配实体；

所述测试系统通过所述系统适配传输所述测试执行与所述被测系统之间的用于进行协议一致性测试的测试数据，包括：

所述被测系统将测试数据发送给所述系统适配实体，所述系统适配实体将所述测试数据适配为所述测试执行实体支持的测试数据，并将适配后的测试数据发送给所述测试执行实体。

7.如权利要求2所述的方法，其特征在于，与所述多个测试执行相同数量的测试任务具体为：所述测试系统通过多线程或多进程方式实现的多个测试任务。

8.如权利要求2或7所述的方法，其特征在于，所述方法还包括：

所述测试系统为每个测试任务设置任务标识，并利用所述任务标识控制所述测试任务所执行的测试执行。

9.一种协议一致性测试系统，其特征在于，该系统至少包括：成分管理实体和多个测试执行实体；

所述成分管理实体，用于通过被测系统与测试执行的对应关系获取多个被测系统所对应的多个测试执行；

所述多个测试执行实体，用于利用所述多个测试执行并行对所述多个被测系统进行协议一致性测试。

10.如权利要求9所述的系统，其特征在于，

所述成分管理实体，还用于建立与所述多个测试执行相同数量的测试任务，每个测试任务用于执行对应的测试执行；

测试执行实体，用于利用所述测试执行对对应的被测系统进行协议一致性测试。

11.如权利要求10所述的系统，其特征在于，

所述成分管理实体，还用于确定与所述测试执行和所述被测系统相对应的系统适配；

所述测试执行实体，具体用于通过所述系统适配传输所述测试执行与所述被测系统之间的用于进行协议一致性测试的测试数据。

12.如权利要求11所述的系统，其特征在于，每个测试执行具有唯一对应的系统适配，且每个被测系统具有唯一对应的系统适配；

所述成分管理实体，具体用于通过测试执行与系统适配的唯一对应关系、以及被测系统与系统适配的唯一对应关系，确定与所述测试执行和所述被测系统相对应的系统适配。

13.如权利要求11所述的系统，其特征在于，还包括系统适配实体；

所述测试执行实体，用于将测试数据发送给所述系统适配实体；

所述系统适配实体，用于将所述测试数据适配为所述被测系统支持的测试数据，并将适配后的测试数据发送给所述被测系统。

14.如权利要求11所述的系统，其特征在于，还包括系统适配实体；

所述系统适配实体，用于接收来自所述被测系统的测试数据，将所述测试数据适配为所述测试执行实体支持的测试数据，并将适配后的测试数据发送给所述测试执行实体。

15.如权利要求10所述的系统，其特征在于，与所述多个测试执行相同数量的测试任务具体为：所述测试系统通过多线程或多进程方式实现的多个测试任务。

16.如权利要求10或15所述的系统，其特征在于，

所述成分管理实体，还用于为每个测试任务设置任务标识，并利用所述任务标识控制所述测试任务所执行的测试执行。

Images