CN103209180B - 一种协议一致性测试的方法及系统 - Google Patents

Abstract

本发明提供了一种协议一致性测试的方法和系统，其中所述方法包括：启动多个子测试任务，所述子测试任务由对测试任务分解而成，各个子测试任务分别具有绑定的测试服务器和测试配置参数，所述测试服务器具有关联的被测设备，所述子测试任务中包括测试用例集；分别在所述子测试任务绑定的测试服务器及其关联的被测设备上，采用相应的测试配置参数执行所述子测试任务中的测试用例集。本发明可用于在启动一项测试任务时能够支持多套被测设备进行自动化测试，因而在无人值守的情况下提高测试效率、降低测试成本。

Description

一种协议一致性测试的方法及系统

技术领域

本发明涉及通信技术领域，特别是涉及一种协议一致性测试的方法，以及，一种协议一致性测试的系统。

背景技术

计算机网络尤其是internet正以前所未有的速度走进人类生活的方方面面并发挥着日益重要的作用。协议是网络的灵魂，是通信双方共同遵守的标准与规范，是网络建立和应用的基础，理所当然地成为当前研究的热点。但是在实践中，通常制定协议与实现协议是由不同的技术人员完成的，因此对于同一协议标准，不同的厂家可能有不同的实现，因此迫切需要一种有力的方法来对协议实现进行判别，这种方法就是“协议测试”。

协议测试一般分为三类：一致性测试，性能测试和互操作性测试。一致性测试是协议测试的基础，协议只有保证它的实现与标准的一致性，才能进行下一步的性能测试与互操作测试。目前的协议一致性测试系统大都支持两种测试模式：手动测试与自动化测试。由于协议一致性测试系统的测试用例集中且测试用例数量庞大，采用手动测试的方法遍历执行整个测试集往往需要耗费大量的时间，故主要用于产品研发前期（产品研发前期特性支持不全，Bug（漏洞）较多）进行特性集成测试以及Bug定位。随着产品特性的丰富，采用常规的手动测试无法满足需求，自动化测试的需求重要性不言而喻。

现有的协议一致性测试系统自动化测试中，由测试执行(TestExecute，简称TE)触发相关的测试流程（现有的自动化测试测试流程如图1所示），由自动化测试服务器(Automation Test Server，简称AT Server)适配被测系统(System Under Test，简称SUT)的自动测试服务，测试执行(TE)与自动化测试服务器(AT Server)一一对应实现对被测系统(SUT)的自动化协议测试。现有的协议一致性测试系统自动化测试多采用上述“一对一”的测试配置方案，即在一项测试任务下测试执行(TE)与被测系统(SUT)之间的配置关系是一一对应的。

参照图2示出了“一对一”集中式部署自动化测试系统的结构框图，所述一项测试任务下测试执行(TE)与被测系统(SUT)之间的配置关系可以一一对应的部署在同一台机器中；或者，参照图3示出了“一对一”分布式部署自动化测试系统的结构框图，所述一项测试任务下测试执行(TE)与被测系统(SUT)之间的配置关系可以一一对应的部署在不同的机器。不管如何，测试执行(TE)与被测系统(SUT)之间都属于“一对一”的部署方式，这就决定了在一项测试任务下只能对一套被测系统的自动化测试。

上述的协议一致性测试系统自动化测试采用的“一对一”的测试配置方案存在以下不足：

(1)测试效率低，采用“一对一”的测试配置方案，一项测试任务下只能对一套被测系统(SUT)进行自动化测试；

(2)测试配置不灵活，如果采用集中式部署，在支持多套被测系统的测试的情况下，将导致“驱动泛滥”(如同一台机器装载多套被测系统的驱动软件)，容易引起软件冲突；如果采用分布式部署，虽然解决了软件冲突，但还是无法解决同一项任务下只能对一套被测系统(SUT)进行自动化测试的问题。

(3)测试成本高，自动化测试多在无人值守的情况下进行，如果需要对多套被测系统(SUT)进行自动化测试，需要配置多套测试执行(TE，多指仪表)，而测试执行(TE)价格昂贵，将会导致测试成本大幅增加。

因此，本领域技术人员所要解决的技术问题是提供一种一致性测试系统自动化测试机制，用以灵活进行自动化测试，提高自动化测试的效率，降低自动化测试成本。

发明内容

本发明所要解决的技术问题是提供一种协议一致性测试的方法，用于在启动一项测试任务时能够支持多套被测设备进行自动化测试，因而在无人值守的情况下提高测试效率、降低测试成本。

相应的，本发明还提供了一种协议一致性测试的系统，用以保证上述方法的实现及应用。

为了解决上述问题，本发明公开了一种协议一致性测试的方法，包括：

启动多个子测试任务，所述子测试任务由对测试任务分解而成，各个子测试任务分别具有绑定的测试服务器和测试配置参数，所述测试服务器具有关联的被测设备，所述子测试任务中包括测试用例集；

分别在所述子测试任务绑定的测试服务器及其关联的被测设备上，采用相应的测试配置参数执行所述子测试任务中的测试用例集。

优选地，所述分别在子测试任务绑定的测试服务器及其关联的被测设备上，采用相应的测试配置参数执行所述子测试任务中的测试用例集的步骤包括：

按测试需求选择N个子测试任务，其中所述N大于1；

获取所述N个子测试任务的测试逻辑；

分别在子测试任务绑定的测试服务器及其关联的被测设备上，按照所述测试逻辑采用相应的测试配置参数执行所述N个子测试任务中的测试用例集。

优选地，所述测试逻辑包括所述N个子测试任务的执行顺序以及运行模式。

优选地，所述测试配置参数包括运行脚本参数以及测试指令集，其中所述运行脚本参数用于配置测试用例的测试流程；所述测试指令集用于根据不同终端配置与其对应的终端指令。

优选地，其特征在于，所述子测试任务控制其自身绑定的测试服务器与被测设备之间的通信链路。

优选地，所述的方法还包括：

生成测试报告。

本发明还公开了一种协议一致性测试的系统，包括：

子测试任务启动模块，用于启动多个子测试任务，所述子测试任务由对测试任务分解而成，各个子测试任务分别具有绑定的测试服务器和测试配置参数，所述测试服务器具有关联的被测设备，所述子测试任务中包括测试用例集；

测试用例执行模块，用于分别在所述子测试任务绑定的测试服务器及其关联的被测设备上，采用相应的测试配置参数执行所述子测试任务中的测试用例集。

优选地，所述测试用例执行模块包括：

子测试计划选择子模块，用于按测试需求选择N个子测试任务，其中所述N大于1；

测试逻辑获取子模块，用于获取所述N个子测试任务的测试逻辑；

测试用例集执行子模块，用于分别在子测试任务绑定的测试服务器及其关联的被测设备上，按照所述测试逻辑采用相应的测试配置参数执行所述N个子测试任务中的测试用例集。

优选地，所述测试逻辑包括所述N个子测试任务的执行顺序以及运行模式。

优选地，所述测试配置参数包括运行脚本参数以及测试指令集，其中所述运行脚本参数用于配置测试用例的测试流程；所述测试指令集用于根据不同终端配置与其对应的终端指令。

优选地，所述子测试任务控制其自身绑定的测试服务器与被测设备之间的通信链路。

优选地，所述的系统还包括：

测试报告生成模块，用于生成测试报告。

与现有技术相比，本发明包括以下优点：

本发明分解测试任务为多项子测试任务构成，每项子测试任务拥有本次子测试任务的测试参数配置，并独立绑定自动化测试服务器(AT Server)适配被测系统(SUT)。另一方面，本发明引入复合测试任务(MTP，每个MTP可由一个或多个子测试任务依照一定的规则顺序组合)，驱动复合测试任务(MTP)实现多终端、分布式的自动化测试，从而达到以下有益效果：

1、提高测试效率

采用“一对多”的测试配置方案，启动一项测试任务对应多项子测试任务，能够对多套被测设备进行自动化测试，因而无人值守的情况下支持对多套被测设备进行自动化测试。

2、测试配置灵活

采用分布式部署，可以支持一套或多套被测系统的测试，而且很好地解决了“驱动泛滥”(如同一台机器装载多套被测设备的驱动软件)的问题，不会引起软件冲突，很好地实现了分布式、多被测设备的自动化测试。

3、降低测试成本

在无人值守的情况下进行，可以支持对多套被测设备进行自动化测试，而不需要配置多套测试执行(TE，多指仪表)，有效了降低了测试成本。

4、系统扩展性好

引入子测试任务管理机制，通过自动化测试服务器(AT Server)适配被测系统(SUT)的自动化测试服务，可以灵活地配置测试执行(TE)与被测设备的之间的关系(一对多，每项子测试任务亦可以有不同的配置)，具有较好的扩展性。

附图说明

图1是本发明一种协议一致性测试的方法背景技术中现有的自动化测试测试流程图；

图2是本发明一种协议一致性测试的方法背景技术中“一对一”集中式部署自动化测试系统的结构框图；

图3是本发明一种协议一致性测试的方法背景技术中“一对一”分布式部署自动化测试系统的结构框图；

图4是本发明一种协议一致性测试的方法实施例的步骤流程图；

图5是本发明一种协议一致性测试的方法的多终端、分布式、自动化测试系统结构框图；

图6是本发明一种协议一致性测试的方法实施例的在应用场景中的测试流程图；

图7是本发明一种协议一致性测试的系统实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例的核心构思在于，引入子测试任务管理机制，并抽象整个测试任务为子测试任务(TP)或复合测试任务；每项子测试任务执行一项子测试任务的任务(如执行特定的测试用例集，进行测试结果判决、测试报告生成及测试log生成等)，而且拥有本次子测试任务的测试参数配置，并通过自动化测试服务器(AT Server)适配被测设备提供多终端、分布式的自动化测试服务。采用此方案测试配置灵活，既节约了成本，解决了“驱动泛滥”，还能够实现在单一任务下实现对多终端的自动化测试，而且测试效率也得到了一定程度的提高。

参照图4，示出了本发明一种协议一致性测试的方法实施例的步骤流程图，具体包括以下步骤：

步骤101：启动多个子测试任务，所述子测试任务由对测试任务分解而成，各个子测试任务分别具有绑定的测试服务器和测试配置参数，所述测试服务器具有关联的被测设备，所述子测试任务中包括测试用例集；

具体而言，测试设备接收到测试任务后，将测试任务分解成一项或多项子测试任务，其中，测试任务主要基于测试目标而言，例如要测试哪款终端，要对这款终端测试哪些用例集，要使用什么样的运行模式运行，是否生成Log文件等。

在具体实现中，由于测试设备与被测设备之间可能会无法实现数据通信，因此可以在各个子测试任务分别绑定测试服务器以提供自动化测试服务，由测试服务器(ATServer)适配被测设备(SUT)的自动化测试服务。

由于一项子测试任务绑定一套测试服务器与一套被测系统，多项子测试任务就有多套测试服务器与多套被测系统，并且每项子测试任务控制各自的测试配置参数以及其自身绑定的测试服务器与被测设备之间的通信链路，其中，测试服务器与被测设备之间的通信链路在物理实现上可以采用网线或串口。

所述各个子测试任务中还可以包括测试用例集，以及绑定的测试配置参数。具体而言，所述测试配置参数可以包括测试用例配置参数、自动化测试指令等，在具体实现中，测试配置参数可以分为两种：一种是运行脚本参数：可以包括测试用例的用例流程配置、系统配置、网络侧能力、被测设备能力等；另一种是自动化测试指令集：由于不同的终端的自动化测试指令集可能不一样的，因此针对不同终端，为其设置与其对应的终端指令集，如开机指令、关机指令等。

步骤102：分别在所述子测试任务绑定的测试服务器及其关联的被测设备上，采用相应的测试配置参数执行所述子测试任务中的测试用例集。

在具体实现中，可以使用测试执行（TE，多指仪表）触发所述子测试任务的测试流程，所述测试执行是指能够驱动测试计划执行的运行内核或者主程序。在本发明实施例中，测试执行依据测试配置参数执行所述子测试任务中的测试用例集。

在本发明的一种优选实施例中，所述步骤102可以包括如下子步骤：

子步骤S11：按测试需求选择N个子测试任务，其中所述N大于1；

在具体实现中，可以根据需要在所述多个子测试任务中选择子测试任务组成复合测试任务，例如若所述多项子测试任务的项数为M，根据测试需求在M中选择N项子测试任务组成复合测试任务，其中所述N≠1且N<=M。

子步骤S12：获取所述N个子测试任务的测试逻辑；

在具体实现中，还可以获取所述选择的N个子测试任务（复合测试任务）的测试逻辑，所述测试逻辑可以为所述N个子测试任务的运行模式（如循环执行次数、遇到用例失败停止执行、遇到用例失败自动尝试多次执行等模式）以及执行顺序（先执行哪个子测试任务，后执行哪个子测试任务）。

子步骤S13：分别在子测试任务绑定的测试服务器及其关联的被测设备上，按照所述测试逻辑采用相应的测试配置参数执行所述N个子测试任务中的测试用例集。

优选地，在本发明实施例中，在执行完选择的测试用例后，还包括：

生成测试报告。

参考图5所示的多终端、分布式、自动化测试系统结构框图，在具体实现中，在所述各个子测试任务绑定的测试服务器及其关联的被测设备上，测试执行（TE）可以按照设定的测试逻辑采用相应的测试配置参数以串行的方式执行所述复合测试任务中的测试用例集。这样对于一项测试任务，一个测试执行（TE）可以支持多套被测设备的测试，有效解决了“驱动泛滥”(如同一台机器装载多套被测系统的驱动软件)的问题，不会引起软件冲突，并且有效地降低了测试成本。需要说明的是，测试服务器可以选择是否与测试执行(TE)部署在同一台机器，即同时适用于集中式及分布式部署。具体而言，当测试服务器选择与测试执行(TE)部署在同一台机器时，属于集中式部署；否则，属于分布式部署；当既有测试服务器与测试执行（TE）部署在同一台机器，也有测试服务器与测试执行部署在不同机器时，就属于同时适用于集中式及分布式部署，用户可以根据情况选择部署方式。

另外，测试执行（TE）与被测设备之间的通信链路，在物理实现上可以采用射频线缆，当存在多个被测设备与单个测试设备连接时，可通过功分器适配。

参照如图6所示，结合应用场景对本发明实施例进行进一步的说明，并抽象每项子测试任务为测试计划（Test Plan，简称TP），引用测试计划管理机制管理测试任务，同时引入复合测试计划(MTP)概念，用户可以自行定制测试任务(抽象测试任务为TP或MTP)，这样一项测试任务就可以由一项或多项测试计划(TP)构成。具体可以包括以下步骤：

步骤S01：定制测试任务；

具体而言，在定制测试任务时，分解测试任务为一项或多项子测试任务，每项子测试任务对应一项测试计划(TP)；其中，一项测试计划可以包括执行测试用例集，测试所需配置参数，测试对象(或被测设备，如终端)等。

步骤S02：建立测试计划；

其中，所述测试计划对应其中一项“子测试任务”；

作为本实施例的一种优选示例，所述建立测试计划的步骤可以包括：

（1）设置被测对象，输入被测对象信息(如厂商，软件版本，硬件版本，芯片型号等)；

（2）选取用例集，并设置运行用例集整体模式(如循环多次执行、遇到用例失败停止执行、遇到用例失败自动尝试多次执行)；

（3）编辑特殊用例运行模式(覆盖用例集整体运行模式)。

步骤S03：设置测试计划的测试配置参数；

在本实施例的一种优选示例中，所述测试配置参数可以包括两方面的内容：

运行脚本参数：如设置被测设备的环境参数配置、网络侧能力、终端能力、用例配置参数等；

自动化测试指令集：如自动化测试指令的集合等；但是不同的被测终端自动化测试指令集可能不一样。

步骤S04：选择测试用例；

在具体实现中，可以先导入测试计划的测试用例集，选择测试用例，决定执行测试用例的范围。

步骤S05：绑定测试服务器；

在具体实现中，绑定测试计划的自动化测试服务器，以提供自动化测试服务。

步骤S06：建立测试服务器与被测设备的通信链路；

在具体实现中，所述测试服务器与被测设备的通信链路在物理实现上可以采用网线或串口。

步骤S07：建立测试执行（TE）与被测设备的通信链路；

在具体实现中，所述测试执行（TE）与被测设备的通信链路在物理实现上多采用射频电缆。当存在多被测设备与测试设备连接时，可通过功分器适配。

步骤S08：判断是否继续建立测试计划；若是，返回执行步骤S02；若否，执行步骤S09；

步骤S09：编辑复合测试计划（Multiple Test Plan，简称MTP）；

在具体实现中，可以根据需要添加已建立的测试计划(TP)，并可以设置测试计划(TP)的运行模式(如循环执行次数)、各测试计划(TP)的执行顺序等。

具体而言，复合测试计划（MTP）类似一个容器，可以容纳一项或多项测试计划(TP)，且可以定义各测试任务(TP)的运行模式、执行顺序等。

需要说明的是，只有当执行多个被测设备连续自动化测试时，才需要执行步骤S09。

步骤S10：启动自动化测试；

具体而言，启动对测试计划(TP)或复合测试计划(MTP)的自动化测试。

步骤S11：判断是否存在待执行的测试用例；若是，执行步骤S11；若否，执行步骤S15；

在具体实现中，可以将所有测试用例集存储在队列中，每执行一个测试用例，就从队列中出队，然后检查队列中是否还有用例的方法来判断是否存在待执行的测试用例。

步骤S12：执行下一个测试用例；

步骤S13：测试用例执行结束；

步骤S14：判断是否存在待测试用例，若是，返回执行步骤S12；若否，执行步骤S15；

步骤S15：生成测试报告；

具体而言，所述测试报告可以包括两方面内容：一种是总体报告，包括运行模式，被测终端的信息(如厂商，软件版本，硬件版本，芯片型号等)，测试结果统计信息，测试结果饼图，每个测试用例结果，其中总体报告是.mht格式；另一种是详细报告，包括每个用例还有独立的报告，如每个用例执行过程中的相关Log，执行流程的报告(Html格式)，详细消息交互信息、失败原因(文本格式)等。

步骤S16：结束。

具体而言，所述结束为结束整个测试流程。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

参照图7，示出了本发明一种协议一致性测试的系统实施例的结构框图，具体包括以下模块：

子测试任务启动模块201，用于启动多个子测试任务，所述子测试任务由对测试任务分解而成，各个子测试任务分别具有绑定的测试服务器和测试配置参数，所述测试服务器具有关联的被测设备，所述子测试任务中包括测试用例集；

在具体实现中，各个子测试任务分别具有绑定的测试服务器和测试配置参数，所述子测试任务控制其自身绑定的测试服务器与被测设备之间的通信链路。

测试用例执行模块202，用于分别在所述子测试任务绑定的测试服务器及其关联的被测设备上，采用相应的测试配置参数执行所述子测试任务中的测试用例集。

在本发明的一种优选实施例中，所述测试用例执行模块202可以包括如下子模块：

子测试计划选择子模块，用于按测试需求选择N个子测试任务，其中所述N大于1；

测试逻辑获取子模块，用于获取所述N个子测试任务的测试逻辑；

测试用例集执行子模块，用于分别在子测试任务绑定的测试服务器及其关联的被测设备上，按照所述测试逻辑采用相应的测试配置参数执行所述N个子测试任务中的测试用例集。

其中，所述测试逻辑可以包括所述N个子测试任务的执行顺序以及运行模式。

在本发明的一种优选实施例中，所述测试配置参数包括测试指令集以及运行脚本参数，其中所述运行脚本参数用于配置测试用例的测试流程；所述测试指令集用于根据不同终端配置与其对应的终端指令。

测试报告生成模块203，用于生成测试报告。

对于图7所示的系统实施例而言，由于其与前述方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种协议一致性测试的方法，以及，一种协议一致性测试的系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种协议一致性测试的方法，其特征在于，包括：

启动多个子测试任务，所述子测试任务由对测试任务分解而成，各个子测试任务分别具有绑定的测试服务器和测试配置参数，所述测试服务器具有关联的被测设备，所述子测试任务中包括测试用例集；所述测试配置参数包括运行脚本参数和自动化测试指令集；

分别在所述子测试任务绑定的测试服务器及其关联的被测设备上，采用相应的测试配置参数执行所述子测试任务中的测试用例集。

2.根据权利要求1所述的方法，其特征在于，所述分别在子测试任务绑定的测试服务器及其关联的被测设备上，采用相应的测试配置参数执行所述子测试任务中的测试用例集的步骤包括：

按测试需求选择N个子测试任务，其中所述N大于1；

获取所述N个子测试任务的测试逻辑；

分别在子测试任务绑定的测试服务器及其关联的被测设备上，按照所述测试逻辑采用相应的测试配置参数执行所述N个子测试任务中的测试用例集。

3.根据权利要求2所述的方法，其特征在于，所述测试逻辑包括所述N个子测试任务的执行顺序以及运行模式。

4.根据权利要求2所述的方法，其特征在于，其中所述运行脚本参数用于配置测试用例的测试流程；所述测试指令集用于根据不同终端配置与其对应的终端指令。

5.根据权利要求1所述的方法，其特征在于，所述子测试任务控制其自身绑定的测试服务器与被测设备之间的通信链路。

6.根据权利要求1-5任一权利要求所述的方法，其特征在于，还包括：

生成测试报告。

7.一种协议一致性测试的系统，其特征在于，包括：

子测试任务启动模块，用于启动多个子测试任务，所述子测试任务由对测试任务分解而成，各个子测试任务分别具有绑定的测试服务器和测试配置参数，所述测试服务器具有关联的被测设备，所述子测试任务中包括测试用例集；所述测试配置参数包括运行脚本参数和自动化测试指令集；

测试用例执行模块，用于分别在所述子测试任务绑定的测试服务器及其关联的被测设备上，采用相应的测试配置参数执行所述子测试任务中的测试用例集。

8.根据权利要求7所述的系统，其特征在于，所述测试用例执行模块包括：

子测试计划选择子模块，用于按测试需求选择N个子测试任务，其中所述N大于1；

测试逻辑获取子模块，用于获取所述N个子测试任务的测试逻辑；

测试用例集执行子模块，用于分别在子测试任务绑定的测试服务器及其关联的被测设备上，按照所述测试逻辑采用相应的测试配置参数执行所述N个子测试任务中的测试用例集。

9.根据权利要求8所述的系统，其特征在于，所述测试逻辑包括所述N个子测试任务的执行顺序以及运行模式。

10.根据权利要求8所述的系统，其特征在于，其中所述运行脚本参数用于配置测试用例的测试流程；所述测试指令集用于根据不同终端配置与其对应的终端指令。

11.根据权利要求7所述的系统，其特征在于，所述子测试任务控制其自身绑定的测试服务器与被测设备之间的通信链路。

12.根据权利要求7-11任一权利要求所述的系统，其特征在于，还包括：

测试报告生成模块，用于生成测试报告。