CN103500139B - 一种通信软件集成测试系统及测试方法 - Google Patents

Abstract

本发明一种通信软件集成测试系统及测试方法，属于通讯软件测试系统技术领域，解决的技术问题是：提供一种可视的、可重复编辑的通讯软件集成测试的系统和测试方法；采用的技术方案是：一种通信软件集成测试系统，包括：功能协作关系单元、接口管理单元、测试规程管理单元、消息管理单元、测试用例管理单元、用例执行单元、通信代理单元、脚本语言单元和数据库单元，本发明适用于软件测试领域。

Description

一种通信软件集成测试系统及测试方法

技术领域

本发明一种通信软件集成测试系统及测试方法，属于通讯软件测试系统技术领域，具体涉及一种基于测试规程脚本转换的通信软件集成测试系统及测试方法。

背景技术

通信软件系统一般由不同子系统单元协同完成某项功能，而各系统单元间使用相应的协议来进行描述，并遵循标准或私有协议，接口定义不同，如全球移动通信系统的基站控制器（BSC）和基站（BS），二者之间接口为Abis，通信采用LAPD协议描述，在应用层通过不同的消息类型来区分不同的消息。

对于这种通信软件系统，待各系统单元开发完备后，经常采用人工方式集成调试，这种方法没有重复性，集成周期长；或采用编写测试代码，来模拟各系统单元间接口消息，完成集成和测试工作，虽具有可重复性，无法保证为测试编写的代码的准确性，由于需要编码，存在测试代码调试，因此一般效率较低；或利用基于TCL、Python等语言的测试工具来手工编写测试用例，编写工作量巨大，并往往需要在被测模块中嵌入测试代理单元。

发明内容

本发明克服现有技术存在的不足，所要解决的技术问题是：提供一种可视的、可重复编辑的通讯软件集成测试的系统和测试方法。

为解决上述技术问题，本发明所采用的技术方案是：一种通信软件集成测试系统，包括：功能协作关系单元：用于提供某一通讯功能的不同通讯系统单元间的功能协作约束时序图的绘制方法和接口定义规则，将某一通讯功能的不同通讯系统单元间的功能协作关系绘制成功能协作约束时序图，并将功能协作约束时序图转换为脚本语言描述的集成测试规程脚本模板，保存在集成测试规程库中；将接口定义文档转化为采用树结构描述的接口定义，并保存在接口库中；

接口管理单元：用于编辑所述接口库，并且能够根据接口定义对一段消息码流进行反向解析，查找该段消息码流所属的接口定义；

测试规程管理单元：用于编辑所述集成测试规程库；

消息管理单元：用于测试规程实例化时填充脚本中的接口，根据接口定义格式，按照规则填写各接口实例值，形成消息码流，按照消息名称保存在消息库中；

测试用例管理单元：按照测试规程中定义的脚本，用消息库中的消息填写集成测试规程脚本模板中的接口名称，完善各个脚本命令的参数，形成测试用例脚本，按照测试要求将待测用例归纳为同一组，形成用例组，保存在测试用例组库中；

用例执行单元：用于选择待执行的用例组，设置各用例组的执行顺序，启动执行命令后，通过通信代理单元建立的链路发送和接收消息，对接收到消息码流进行利用接口管理单元的反向解析功能，识别该段消息码流，根据执行脚本命令的状态，选择该脚本命令相应的动作，完成该命令的执行，控制脚本中各条命令执行，直至遇到结束命令，代表本用例执行完毕，继续执行本组内的下一条用例，串行顺序逐一执行同一用例组内的用例，并行执行不同用例组内的用例，所有用例执行完毕后，标识各用例的执行情况，显示本次集成测试的完成或者本次集成测试为成功用例或者失败用例，并保存在测试结果中；

通信代理单元：用于建立用例执行单元与被测单元之间的通信链路，实现不同系统单元间的通信协议，为用例执行单元提供消息转发和接受代理功能；

脚本语言单元：用于描述测试规程和测试用例，定义脚本命令。

所述通信软件集成测试系统还包括数据库单元：用于保存所述集成测试规程库，接口库、消息库，测试用例组库和测试结果。

所述脚本命令包括：用例开始命令、结束命令、发送消息命令、接收消息命令、循环控制命令、接收消息选择命令、跳转命令、定时命令和错误命令，所述接收消息选择命令分为接收满足条件的某一条消息即结束和接受所有消息才结束两种格式。

所述脚本命令的语法格式如下：

标签：标识一行语句，可用字母或数字标识；

用例开始命令：关键字用PROCEDURE描述，形如PROCEDUREname??ms，定义一个用例开始语句，参数为用例名称，和执行的最大时长，如该用例执行超出限制，标志该用例执行失败，该语句与用例结束命令成对出现；

结束命令：关键字END，本用例执行正常结束，与用例开始命令成对出现；

空命令：关键字为NULL，不作任何动作；

发送消息命令：关键字SEND，参数为消息名称或接口定义名称，形如SENDmsg，通过通信代理向待测单元发送消息；

接收消息命令：关键字RECEIVE，如RECEIVEmsg1Sendmsg2??msSendMsg3，??ms为定时器参数，接收通信代理转发待测单元的消息，利用接口库定义的接口元素，反向解析该消息码流，查找消息库，识别该消息，如为所需消息，则执行下一动作，否则，继续等待新消息，如一段时间一直接收不到所需消息，则按照超时处理，本命令执行的下一动作可以是发送消息、跳转、错误退出命令或空命令一起使用；

接收消息选择命令：为块命令，关键字为SWTICH，辅助关键字为OR、AND，OR表示只要有一个条件满足即可，AND为其消息必须被接受到，块以ENDSWTICH关键字结束；OR和AND后为具体消息，和收到该消息的执行动作，该执行动作为可以是发送消息、跳转、错误退出命令或空命令一起使用；

循环命令：关键字WHILE，参数为执行次数和执行命令。对命令进行计数,每次加一，如计数满则命令完成；

跳转命令：关键字GOTO，如GOTOLa。跳转至La标签所在命令重新执行；

定时命令：关键字TIMER，参数为时间，单位为ms，如TIMER??ms设置定时器，定时器到代表本命令执行完毕；

错误命令：关键字ERROR，表示本用例非正常结束，意味着本次测试失败。

所述通信软件集成测试系统的测试方法包括集成测试用例设计阶段和集成测试用例执行阶段；

所述集成测试用例设计阶段包括以下步骤：

步骤101、通过功能协作关系单元根据某一通讯功能不同通讯系统单元间的功能协作关系，绘制功能协作约束时序图，定义不同通讯系统单元间协作中需要的接口，完善接口定义文档；

步骤102、通过功能协作关系单元转换出采用树结构描述的接口定义，保存在接口库中，或者通过接口管理单元对接口库进行编辑；

步骤103、通过功能协作关系单元转换出采用脚本语言描述的集成测试规程脚本模板，保存在集成测试规程库中，或者通过测试规程管理单元对集成测试规程库进行编辑；

步骤104、选择接口库中的相应接口，按照测试用例设计的消息内容填写完整各个消息元素，组合成具体的消息码流，保存在消息库中；

步骤105、选择需要的测试规程，对脚本中需要实例化的接口，选择填写已定义消息，并完善脚本命令中的定时器参数，形成具体的测试用例，保存在测试用例库中；

步骤106、选择需要执行的测试用例，按照测试需要划分为不同执行用例组，保存在配置的用例组中；

所述集成测试用例执行阶段包括以下步骤：

步骤201、配置通信代理单元需要的模拟参数，与被测单元建立通信链路；

步骤202、选择已经配置的用例组，设置执行顺序，启动测试用例执行命令；

步骤203、按照串行顺序逐一执行同一用例组内用例，读取该用例脚本，解析脚本命令，按照逻辑顺序执行各条命令，如执行至结束命令或错误命令，则执行本用例组的下一条命令；不同的用例组并行执行；

步骤204、统计各条用例的执行情况，标识执行失败和成功用例，在界面上进行呈现。

本发明与现有技术相比具有的有益效果是：本发明根据通信系统的设计过程，首先通过需求分析阶段定义的功能协作关系与测试接口定义文档，自动转换出以脚本语言描述的集成测试规程脚本模板和以树结构描述的接口定义；其次对接口定义和测试规程实例化，形成完整的测试用例；然后模拟功能协作单元，对被测试单元执行测试用例脚本，通过通信代理单元，发送和接受消息，解析处理脚本命令，完成集成测试工作，从而提供了一种可视的，可重复的，效率高的集成测试系统和方法；保证通信软件功能的正确性和可靠性，提升通信软件的开发效率。

附图说明

下面结合附图对本发明做进一步详细的说明：

图1是本发明的系统结构的示意图；

图2是本发明示例的功能协作约束时序图；

图3是本发明示例的接口定义示意图；

图4是本发明的测试用例设计示意图；

图5是本发明的测试用例执行示意图。

具体实施方式

如图1所示，本发明一种通信软件集成测试系统，包括：功能协作关系单元：用于提供某一通讯功能的不同通讯系统单元间的功能协作约束时序图的绘制方法和接口定义规则，将某一通讯功能的不同通讯系统单元间的功能协作关系绘制成功能协作约束时序图，并将功能协作约束时序图转换为脚本语言描述的集成测试规程脚本模板，保存在集成测试规程库中；将接口定义文档转化为采用树结构描述的接口定义，并保存在接口库中。

接口管理单元：用于编辑所述接口库，并且能够根据接口定义对一段消息码流进行反向解析，查找该段消息码流所属的接口定义。

测试规程管理单元：用于编辑所述集成测试规程库。

根据需求分析阶段定义的功能协作关系，绘制出功能协作约束时序图，其后由功能协作约束时序图自动转换为用脚本语言描述的集成测试规程脚本模板，所述功能协作约束时序图类似于UML时序图，可看作UML时序图的扩展，为了精确描述系统之间的时序，在UML时序图的基础上增添了OR、Repeat等约束关系，此外由接口定义文档导出以树形结构描述的接口定义，转换功能由功能协作关系单元、接口管理单元和测试规程管理单元三个单元共同完成，是本系统的主要核心。

消息管理单元：用于测试规程实例化时填充脚本中的接口，根据接口定义格式，按照规则填写各接口实例值，形成消息码流，按照消息名称保存在消息库中。

测试用例管理单元：按照测试规程中定义的脚本，用消息库中的消息填写集成测试规程脚本模板中的接口名称，完善各个脚本命令的参数，形成测试用例脚本，按照测试要求将待测用例归纳为同一组，形成用例组，保存在测试用例组库中。

用例执行单元：用于选择待执行的用例组，设置各用例组的执行顺序，启动执行命令后，通过通信代理单元建立的链路发送和接收消息，对接收到消息码流进行利用接口管理单元的反向解析功能，识别该段消息码流，根据执行脚本命令的状态，选择该脚本命令相应的动作，完成该命令的执行，控制脚本中各条命令执行，直至遇到结束命令，代表本用例执行完毕，继续执行本组内的下一条用例，串行顺序逐一执行同一用例组内的用例，并行执行不同用例组内的用例，所有用例执行完毕后，标识各用例的执行情况，显示本次集成测试的完成或者本次集成测试为成功用例或者失败用例，并保存在测试结果中。

通信代理单元：用于建立用例执行单元与被测单元之间的通信链路，实现不同系统单元间的通信协议，为用例执行单元提供消息转发和接受代理功能，被测单元感觉不到该模拟单元与实际系统的差别，即被测单元无需进行适配。

数据库单元：用于保存所述集成测试规程库，接口库、消息库，测试用例组库和测试结果，可采用商业数据库或文件格式，本系统采用文件格式进行分类保存。

脚本语言单元：用以描述测试规程模板和测试用例，脚本语言抽象为若干个精简实用的脚本原子命令，包括：用例开始命令、结束命令、发送消息命令、接收消息命令、循环控制命令、接收消息选择命令、跳转命令、定时命令和错误命令，其中接收消息选择命令为块命令，所述接收消息选择命令分为接收满足条件的某一条消息即结束和接受所有消息才结束两种格式。

所述脚本命令的语法格式如下：

标签：标识一行语句，可用字母或数字标识；

用例开始命令：关键字用PROCEDURE描述，形如PROCEDUREname??ms，定义一个用例开始语句，参数为用例名称，和执行的最大时长，如该用例执行超出限制，标志该用例执行失败，该语句与用例结束命令成对出现；

结束命令：关键字END，本用例执行正常结束，与用例开始命令成对出现；

空命令：关键字为NULL，不作任何动作；

发送消息命令：关键字SEND，参数为消息名称或接口定义名称，形如SENDmsg，通过通信代理向待测单元发送消息；

接收消息命令：关键字RECEIVE，如RECEIVEmsg1Sendmsg2??msSendMsg3，??ms为定时器参数，接收通信代理转发待测单元的消息，利用接口库定义的接口元素，反向解析该消息码流，查找消息库，识别该消息，如为所需消息，则执行下一动作，否则，继续等待新消息，如一段时间一直接收不到所需消息，则按照超时处理，本命令执行的下一动作可以是发送消息、跳转、错误退出命令或空命令一起使用；

接收消息选择命令：为块命令，关键字为SWTICH，辅助关键字为OR、AND，OR表示只要有一个条件满足即可，AND为其消息必须被接受到，块以ENDSWTICH关键字结束；OR和AND后为具体消息，和收到该段消息码流的执行动作，该执行动作为可以是发送消息、跳转、错误退出命令或空命令一起使用；

循环命令：关键字WHILE，参数为执行次数和执行命令。对命令进行计数,每次加一，如计数满则命令完成；

跳转命令：关键字GOTO，如GOTOLa。跳转至La标签所在命令重新执行；

定时命令：关键字TIMER，参数为时间，单位为ms，如TIMER??ms设置定时器，定时器到代表本命令执行完毕；

错误命令：关键字ERROR，表示本用例非正常结束，意味着本次测试失败。

通信软件集成测试系统的测试方法，包括集成测试用例设计阶段和集成测试用例执行阶段。

如图2所示为功能协作约束时序图例，绘制系统单元1和系统单元2的功能协作约束时序图，定义系统单元1为测试系统，即由本系统来实现，系统单元2为被测单元，执行测试规程转换，转换为本系统定义脚本命令实现的测试规程模板，转换结果可如下：

PROCEDUREParamCfg??ms

SendAcsRequest;

RECEIVEAcsRepons??ms

SWTICHOR

RECEIVECfgParam1SendCfgParam1Ack??ms

RECEIVECfgParam2SendCfgParam2Ack??ms

ENDSWTICH

END

在测试用例管理单元中，利用定义好的消息分别实例化规程中的AcsRequest、AcsRepons、CfgParam1、CfgParam2、CfgParam1Ack、CfgParam2Ack等接口元素，并完善模板中的通配符??值，形成完整的测试用例，用于集成测试执行。

为描述方便，本发明还提供了接口描述方式的实例：为便于消息的查找，本发明中接口库的接口按照树的结构进行定义，整条路径完成一条接口的定义，每一父节点提供关键字段作为子节点的依据，一个接口的完整描述是从根节点至叶子进行的，采用这种方式，有助于提高消息码流的解析查询效率。

如图3所示，采用树的结构，以IP的接口为例，根节点为IP，定义IP报文头格式，其中协议标识作为主键，定义其子节点，协议标识为06代表TCP，定义TCP报文头格式，其中端口作为关键字定义下一层节点，端口为21代表TELNET协议，定义TELNET的数据格式，由于已到叶子，不再划分关键字段，对TELNET的接口定义即为IP.TCP.TELNET；端口为23代表FTP协议，对其定义即为IP.TCP.FTP。

如图4所示，所述集成测试用例设计阶段包括以下步骤：

步骤101、通过功能协作关系单元根据某一通讯功能不同通讯系统单元间的功能协作关系，绘制功能协作约束时序图，定义不同通讯系统单元间协作中需要的接口，完善接口定义文档；

步骤102、通过功能协作关系单元转换出采用树结构描述的接口定义，保存在接口库中，或者通过接口管理单元对接口库进行编辑；

步骤103、通过功能协作关系单元转换出采用脚本语言描述的集成测试规程脚本模板，保存在集成测试规程库中，或者通过测试规程管理单元对集成测试规程库进行编辑；

步骤104、选择接口库中的相应接口，按照测试用例设计的消息内容填写完整各个消息元素，组合成具体的消息码流，保存在消息库中；

步骤105、选择需要的测试规程，对脚本中需要实例化的接口，选择填写已定义消息，并完善脚本命令中的定时器参数，形成具体的测试用例，保存在测试用例库中；

步骤106、选择需要执行的测试用例，按照测试需要划分为不同执行用例组，保存在配置的用例组中。

如图5所示，所述集成测试用例执行阶段包括以下步骤：

步骤201、配置通信代理单元需要的模拟参数，与被测单元建立通信链路；

步骤202、选择已经配置的用例组，设置执行顺序，启动测试用例执行命令；

步骤203、按照串行顺序逐一执行同一用例组内用例，读取该用例脚本，解析脚本命令，按照逻辑顺序执行各条命令，如执行至结束命令或错误命令，则执行本用例组的下一条命令；不同的用例组并行执行；

步骤204、统计各条用例的执行情况，标识执行失败和成功用例，在界面上进行呈现。

Claims (5)

1.一种通信软件集成测试系统，其特征在于：包括：

功能协作关系单元：用于提供某一通讯功能的不同通讯系统单元间的功能协作约束时序图的绘制方法和接口定义规则，将某一通讯功能的不同通讯系统单元间的功能协作关系绘制成功能协作约束时序图，并将功能协作约束时序图转换为脚本语言描述的集成测试规程脚本模板，保存在集成测试规程库中；将接口定义文档转化为采用树结构描述的接口定义，并保存在接口库中；

接口管理单元：用于编辑所述接口库，并且能够根据接口定义对一段消息码流进行反向解析，查找该段消息码流所属的接口定义；

测试规程管理单元：用于编辑所述集成测试规程库；

消息管理单元：用于测试规程实例化时填充脚本中的接口，根据接口定义格式，按照规则填写各接口实例值，形成消息码流，按照消息名称保存在消息库中；

测试用例管理单元：按照测试规程中定义的脚本，用消息库中的消息填写集成测试规程脚本模板中的接口名称，完善各个脚本命令的参数，形成测试用例脚本，按照测试要求将待测用例归纳为同一组，形成用例组，保存在测试用例组库中；

用例执行单元：用于选择待执行的用例组，设置各用例组的执行顺序，启动执行命令后，通过通信代理单元建立的链路发送和接收消息，对接收到消息码流进行利用接口管理单元的反向解析功能，识别该段消息码流，根据执行脚本命令的状态，选择该脚本命令相应的动作，完成该命令的执行，控制脚本中各条命令执行，直至遇到结束命令，代表本用例执行完毕，继续执行本组内的下一条用例，串行顺序逐一执行同一用例组内的用例，并行执行不同用例组内的用例，所有用例执行完毕后，标识各用例的执行情况，显示本次集成测试的完成或者本次集成测试为成功用例或者失败用例，并保存在测试结果中；

通信代理单元：用于建立用例执行单元与被测单元之间的通信链路，实现不同系统单元间的通信协议，为用例执行单元提供消息转发和接受代理功能；

脚本语言单元：用于描述测试规程和测试用例，定义脚本命令。

2.根据权利要求1所述的一种通信软件集成测试系统，其特征在于：所述通信软件集成测试系统还包括数据库单元：用于保存所述集成测试规程库，接口库、消息库，测试用例组库和测试结果。

3.根据权利要求1或2所述的一种通信软件集成测试系统，其特征在于：所述脚本命令包括：用例开始命令、结束命令、发送消息命令、接收消息命令、循环控制命令、接收消息选择命令、跳转命令、定时命令和错误命令，所述接收消息选择命令分为接收满足条件的某一条消息即结束和接受所有消息才结束两种格式。

4.根据权利要求3所述的一种通信软件集成测试系统，其特征在于：所述脚本命令的语法格式如下：

标签：标识一行语句，可用字母或数字标识；

用例开始命令：关键字用PROCEDURE描述，形如PROCEDUREname??ms，定义一个用例开始语句，参数为用例名称，和执行的最大时长，如该用例执行超出限制，标志该用例执行失败，该语句与用例结束命令成对出现；

结束命令：关键字END，本用例执行正常结束，与用例开始命令成对出现；

空命令：关键字为NULL，不作任何动作；

发送消息命令：关键字SEND，参数为消息名称或接口定义名称，形如SENDmsg，通过通信代理向待测单元发送消息；

接收消息命令：关键字RECEIVE，如RECEIVEmsg1Sendmsg2??msSendMsg3，??ms为定时器参数，接收通信代理转发待测单元的消息，利用接口库定义的接口元素，反向解析该消息码流，查找消息库，识别该消息该段消息码流，如为所需消息，则执行下一动作，否则，继续等待新消息，如一段时间一直接收不到所需消息，则按照超时处理，本命令执行的下一动作可以是发送消息、跳转、错误退出命令或空命令一起使用；

接收消息选择命令：为块命令，关键字为SWTICH，辅助关键字为OR、AND，OR表示只要有一个条件满足即可，AND为其消息必须被接受到，块以ENDSWTICH关键字结束；OR和AND后为具体消息，和收到该消息的执行动作，该执行动作为可以是发送消息、跳转、错误退出命令或空命令一起使用；

循环命令：关键字WHILE，参数为执行次数和执行命令，对命令进行计数,每次加一，如计数满则命令完成；

跳转命令：关键字GOTO，如GOTOLa，跳转至La标签所在命令重新执行；

定时命令：关键字TIMER，参数为时间，单位为ms，如TIMER??ms设置定时器，定时器到代表本命令执行完毕；

错误命令：关键字ERROR，表示本用例非正常结束，意味着本次测试失败。

5.如权利要求1所述一种通信软件集成测试系统的测试方法，其特征在于：包括集成测试用例设计阶段和集成测试用例执行阶段；

所述集成测试用例设计阶段包括以下步骤：

步骤101、通过功能协作关系单元根据某一通讯功能不同通讯系统单元间的功能协作关系，绘制功能协作约束时序图，定义不同通讯系统单元间协作中需要的接口，完善接口定义文档；

步骤102、通过功能协作关系单元转换出采用树结构描述的接口定义，保存在接口库中，或者通过接口管理单元对接口库进行编辑；

步骤103、通过功能协作关系单元转换出采用脚本语言描述的集成测试规程脚本模板，保存在集成测试规程库中，或者通过测试规程管理单元对集成测试规程库进行编辑；

步骤104、选择接口库中的相应接口，按照测试用例设计的消息内容填写完整各个消息元素，组合成具体的消息码流，保存在消息库中；

步骤105、选择需要的测试规程，对脚本中需要实例化的接口，选择填写已定义消息，并完善脚本命令中的定时器参数，形成具体的测试用例，保存在测试用例库中；

步骤106、选择需要执行的测试用例，按照测试需要划分为不同执行用例组，保存在配置的用例组中；

所述集成测试用例执行阶段包括以下步骤：

步骤201、配置通信代理单元需要的模拟参数，与被测单元建立通信链路；

步骤202、选择已经配置的用例组，设置执行顺序，启动测试用例执行命令；

步骤203、按照串行顺序逐一执行同一用例组内用例，读取该用例脚本，解析脚本命令，按照逻辑顺序执行各条命令，如执行至结束命令或错误命令，则执行本用例组的下一条命令；不同的用例组并行执行；

步骤204、统计各条用例的执行情况，标识执行失败和成功用例，在界面上进行呈现。