CN101145984A - 基于参数自适应的自动化测试方法 - Google Patents

Abstract

本发明公开了一种基于参数自适应的自动化测试方法，包括：步骤S302，测试装置提取与被测系统的第一测试环境相关的第一关键特性参数，根据第一关键特性参数生成测试用例以及与测试用例对应的测试模板；步骤S304，测试装置提取与被测系统的第二测试环境相关的第二关键特性参数，加载并执行测试用例，并收集被测系统的输出报文；步骤S306，测试装置从收集的输出报文中提取其关键特性参数与第二关键特性参数匹配的输出报文集；步骤S308，测试装置加载测试模板以及与测试模板对应的第一关键特性参数；以及步骤S310，用第二关键特定参数替换第一关键特性参数，启动回归比较流程，完成一次测试。

Description

基于参数自适应的自动化测试方法

技术领域

本发明涉及通信领域，并且特别地，涉及一种基于参数自适应的自动化测试方法。

背景技术

目前，在测试工作中，手工测试工作占了很大的比重，并且经常出现测试人员进行重复性工作的情况。其主要原因在于：一方面，测试版本的更新和提交，需要测试人员不停地进行测试；另一方面，对于同一功能的测试，由于一个或几个参数的变化而成为不同的测试用例，对测试人员而言，同样意味着大量重复的测试。为了提高测试效率和测试质量，需要在测试中引入自动化测试方法，用于替代部分手工测试或完成手工测试无法进行的测试工作。

在通讯领域中，接口报文是测试人员经常关注的测试内容之一，对接口报文进行有效测试的手段之一是进行自动化回归测试，其主要方法是：首先，制作用于在被测系统中作为输入的测试用例，然后运行测试用例，收集被测系统的输出报文，输出报文经验证无误后作为测试模板予以保存；其次，在新一轮测试中启动回归测试，在被测系统中运行测试用例，收集被测系统的输出报文；最后将收集到的输出报文与测试模板中保存的输出报文进行比较，根据比较结果确定新一轮测试中被测系统对数据的处理是否正确。

此方法解决了版本的频繁提交导致的重复测试问题，但是该方法也存在以下缺陷：第一，一个测试用例必须有一个测试模板与之对应，如果存在大量的测试用例，则需要制作同样数量的测试模板，从而导致大量的重复工作；第二，进行回归测试时的测试环境和测试操作与制作测试用例时的测试环境和测试操作必须完全一致，否则将给回归测试造成不可预期的结果，失去测试价值。

另一种方法是实时测试，与上一种方法不同，该方法采用动态构造输入报文和预期输出报文的方法，将构造的输入报文在被测试系统上作输入，然后收集被测系统的输出报文，将输出报文与构造的预期输出报文进行比较，完成一次测试。该方法的不足之处在于：每做一个测试操作，必须首先动态生成输入报文和预期输出报文。这样做导致的问题有：(1)如果一个测试操作需要大量的输入报文，则需要对每一条输入报文进行构造；(2)如果一个用作输入的测试用例包含多个不同的测试操作，或者一个输入报文在被测系统中激发大量的输出报文，则需要对每一条输入报文、预期输出报文分别进行构造，然后再组成一个完整的测试用例和测试模板；(3)对测试方法和操作完全相同，仅参数不同的同一类功能进行测试，同样需要大量的重复性报文构造工作。

目前，尚未提出能够自动应对相同方法和功能的测试中的参数变化、并且适用于多种测试环境的测试方案。

发明内容

考虑到上述问题而做出本发明。

为此，根据本发明的实施例，提供了一种基于参数自适应的自动化测试方法。

该方法包括：步骤S302，测试装置提取与被测系统的第一测试环境相关的第一关键特性参数，根据第一关键特性参数生成测试用例以及与测试用例对应的测试模板；步骤S304，测试装置提取与被测系统的第二测试环境相关的第二关键特性参数，加载并执行测试用例，并收集被测系统的输出报文；步骤S306，测试装置从收集的输出报文中提取其关键特性参数与第二关键特性参数匹配的输出报文集；步骤S308，测试装置加载测试模板以及与测试模板对应的第一关键特性参数；以及步骤S310，用第二关键特定参数替换第一关键特性参数，启动回归比较流程，完成一次测试。

其中，在步骤S302中生成的测试用例用作被测系统的输入。

并且，步骤S302进一步包括以下处理：测试装置提取并保存第一关键特性参数；测试装置根据第一关键特性参数生成测试用例；测试装置执行测试用例，并收集被测系统的输出报文；以及测试装置对收集的输出报文进行验证，在验证通过后将输出报文集保存作为用于回归比较的测试模板。

在步骤S306中，测试装置对输出报文中的关键特性参数进行判断，并删除与第二关键特性参数不匹配的输出报文。

在步骤S308中，在测试用例执行完毕并且输出报文提取完毕后，加载测试模板。

并且，在步骤S308中，还可以包括以下处理：遍历测试模板中的报文，获取每条报文中包含的第一关键特性参数；将报文中的第一关键特性参数与指定的测试环境的第一关键特性参数相比较；保留其第一关键特性参数与测试环境的第一关键特性参数一致的报文作为保留报文，并删除其他报文。

在步骤S310中，进一步包括以下处理：遍历保留报文，将保留报文中的第一关键特性参数用与其匹配的第二关键特性参数替换；将保留报文与步骤S306中提取的输出报文集进行比较，记录比较结果，完成测试。

此外，在该方法中，关键特性参数、第一关键特性参数、或第二关键特性参数包含于被测系统的接口报文中，并对测试结果有决定性影响。

根据本发明的实施例，还提供了一种基于参数自适应的自动化测试装置。

该装置包括：测试用例控制与执行模块，用于生成测试用例，并执行测试用例；报文收集与回归处理模块，用于收集报文，并进行回归处理；以及控制中心，连接至测试用例控制与执行模块和报文收集与回归处理模块，用于控制测试环境关键特性参数的相关处理。

通过本发明的上述技术方案，可以在关键特性参数不同的环境中通过在模板内部进行相应调整来执行有效的测试，提高了测试模板的通用性，并且省去了传统测试方法中制作大量新模板的操作，节约了成本，提高了测试效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的基于参数自适应的自动化测试方法的测试装置的框图；

图2是借助于图1中示出的测试装置进行同步数字体系测试的接入框架的框图；

图3是根据本发明实施例的基于参数自适应的自动化测试方法的流程图；

图4是根据本发明实施例的基于参数自适应的自动化测试方法中生成测试模板的详细处理流程图；以及

图5是根据本发明实施例的基于参数自适应的自动化测试方法中回归测试的详细处理流程图。

具体实施方式

装置实施例

在本发明的实施例中，提供了一种基于参数自适应的自动化测试装置。

如图1所示，用于实现基于参数自适应的自动化测试方法的装置包括：测试用例控制与执行模块102，用于生成测试用例，并执行测试用例；报文收集与回归处理模块104，用于收集报文，并进行回归处理；以及控制中心106，连接至测试用例控制与执行模块102和报文收集与回归处理模块104，用于控制测试环境关键特性参数的相关处理。

其中，测试用例控制与执行模块102与被测系统的子系统A连接，而报文收集与回归处理模块104与被测系统的子系统A和子系统B之间的接口连接。

图2示出了借助于上述测试装置进行SDH(同步数字体系)告警测试的示意图。如图2所示，测试装置加载并执行测试用例(可以由测试用例控制与执行模块102生成)用作被测系统的输入，并向测试平台输入测试环境关键特性参数，经过报文收集与数据处理以及回归比较分析后，完成测试。

方法实施例

在本发明的实施例中，提供了一种基于参数自适应的自动化测试方法。

在该方法中，关键特性参数，包括以下提到的第一关键特性参数、第二关键特性参数，包含于被测系统的接口报文中，并对测试结果有决定性影响，并且第一关键特性参数与第二关键特性参数所指含义相同，只是出于说明方便的目的在不同的阶段给予不同的称呼。

另外，优选地，在该方法中，关键特性参数可以至少包括以下之一：单板槽位、单板端口、管理单元组号；被测系统可以是同步数字体系网管。

如图3所示，该方法包括：步骤S302，测试装置提取与被测系统的第一测试环境相关的第一关键特性参数，根据第一关键特性参数生成测试用例以及与测试用例对应的测试模板；步骤S304，测试装置提取与被测系统的第二测试环境相关的第二关键特性参数，加载并执行测试用例，并收集被测系统的输出报文；步骤S306，测试装置从收集的输出报文中提取其关键特性参数与第二关键特性参数匹配的输出报文集；步骤S308，测试装置加载测试模板以及与测试模板对应的第一关键特性参数；以及步骤S310，用第二关键特定参数替换第一关键特性参数，启动回归比较流程，完成一次测试。

其中，在步骤S302中生成的测试用例用作被测系统的输入。

并且，步骤S302可以进一步包括以下处理：测试装置提取并保存第一关键特性参数；测试装置根据第一关键特性参数生成测试用例(优选地，可以采用第三方的自动录制回放装置记录对界面进行的操作来形成测试用例)；测试装置执行测试用例，并收集被测的输出报文；以及测试装置对收集的输出报文进行验证(例如，人工验证)，在验证通过后将输出报文集保存作为用于回归比较的测试模板。

图4示出了步骤S302中生成测试模板的详细处理流程。

如图4所示，具体包括以下处理：

步骤401，提取与测试环境相关的关键特性参数(即，上述的第一关键特性参数)；

步骤402，生成作为被测系统的输入的测试用例；

步骤403，输入测试环境关键特性参数，执行测试用例，其中，优选地，在完成关键特性参数的提取以及测试用例的生成之后，可以利用第三方的自动录制回放调用测试用例，然后将测试环境关键特性参数传递给测试平台，并执行测试用例，回放对被测系统的操作；

步骤404，收集被测系统的输出报文，将测试平台接入到被测系统和同步数字体系设备之间的接口处，测试开始后，测试平台同步收集输出报文；

步骤405，测试用例执行完毕，测试人员对测试用例和被测系统的输出报文进行验证，如果测试用例或输出报文存在非预期的结果或出现错误，则重新制作测试用例和收集输出报文。

步骤406，经验证正确无误后，保存测试用例、测试模板以及测试环境关键特性参数，以供回归测试时使用。

此外，在步骤S306中，测试装置对输出报文中的关键特性参数进行判断，并删除与第二关键特性参数不匹配的输出报文。

在步骤S308中，在测试用例执行完毕并且输出报文提取完毕后，加载测试模板。

并且，在步骤S308中，还可以包括以下处理：遍历测试模板中的报文，获取每条报文中包含的第一关键特性参数；将报文中的第一关键特性参数与指定的测试环境的第一关键特性参数相比较；保留其第一关键特性参数与测试环境的第一关键特性参数一致的报文作为保留报文，并删除其他报文。也就是说，例如，系统具有5个端口，如果此时仅需要检测其中的端口1，则将剩余的4个端口的关键特性参数对应的报文删除，从而简化了处理，并且方便了之后将要进行的回归比较。

在步骤S310中，进一步包括以下处理：遍历保留报文，将保留报文中的第一关键特性参数用与其匹配的第二关键特性参数替换；将保留报文与步骤S306中提取的输出报文集进行比较，记录比较结果，完成测试。

图5示出了根据本发明实施例的基于参数自适应的自动化测试方法在实际实施过程中回归比较的处理流程。

如图5所示，具体包括以下步骤：

步骤501，提取与被测系统测试环境相关的新的关键特性参数，即，上述的第一关键特性参数。

步骤502，测试开始后，第三方测试工具将获取到的测试环境的关键特性参数，即，单位槽位、单板端口、管理单元组号传递给测试平台；

步骤503，第三方自动录制回放在将关键特性参数传递给测试平台后，调入测试用例并执行，在被测系统界面上进行回放操作；

步骤504，测试平台在被测系统接口处收集输出报文，直至测试用例执行完毕；

步骤505，在输出报文收集完毕之后，测试平台遍历输出报文，并提取出每一条报文中包含的关键特性参数，将所有与测试环境关键特性参数一致的报文予以保存，删除关键特性参数不匹配的报文；

步骤506，在测试用例执行完毕并且匹配报文提取完成之后，测试平台读入与测试用例对应的测试模板；

步骤507，加载与测试模板对应的测试环境的关键特性参数；

步骤508，遍历测试模板中的报文，获取每一条报文中的关键特性参数；

步骤509，保留测试模板中所有特性参数与模板测试环境特性参数一致的报文，删除关键特性参数不一致的报文；

步骤510，遍历测试模板中的每一条报文，将报文中的测试环境关键特性参数用当前测试环境关键特性参数替换。

步骤511，遍历测试模板和当前报文集合中的每一条报文，进行报文匹配，对匹配的报文进行比较，记录比较结果，完成一次测试。

从上面的描述中可以看出，本发明克服了以往对被测系统的同一类功能的测试需要制作大量测试模板的缺陷。在实施本发明时，只制作了一个测试模板，对于其他功能相同的测试用例，只要采用参数自适应原则，均可以基于这个测试模板进行测试。同时，本发明也克服了以往自动化测试方法中，测试环境不能变化的缺点，只要能提取出测试环境关键特性参数，即使相同功能的测试在新的测试环境中关键特性参数发生了变化，仍旧可以执行有效的测试，真正发挥出了自动化测试的优势。

综上所述，借助于本发明的技术方案，可以在关键特性参数不同的环境中通过在模板内部进行相应调整来执行有效的测试，从而省去了传统测试方法中制作大量新模板的操作。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于参数自适应的自动化测试方法，其特征在于，包括：

步骤S302，测试装置提取与被测系统的第一测试环境相关的第一关键特性参数，根据所述第一关键特性参数生成测试用例以及与所述测试用例对应的测试模板；

步骤S304，所述测试装置提取与所述被测系统的第二测试环境相关的第二关键特性参数，加载并执行所述测试用例，并收集所述被测系统的输出报文；

步骤S306，所述测试装置从收集的所述输出报文中提取其关键特性参数与所述第二关键特性参数匹配的输出报文集；

步骤S308，所述测试装置加载所述测试模板以及与所述测试模板对应的所述第一关键特性参数；以及

步骤S310，用所述第二关键特定参数替换所述第一关键特性参数，启动回归比较流程，完成一次测试。

2.根据权利要求1所述的基于参数自适应的自动化测试方法，其特征在于，在所述步骤S302中生成的所述测试用例用作所述被测系统的输入。

3.根据权利要求1所述的基于参数自适应的自动化测试方法，其特征在于，所述步骤S302进一步包括以下处理：

所述测试装置提取并保存所述第一关键特性参数；

所述测试装置根据所述第一关键特性参数生成测试用例；

所述测试装置执行所述测试用例，并收集所述被测系统的输出报文；以及

所述测试装置对收集的所述输出报文进行验证，在验证通过后将输出报文集保存作为用于回归比较的测试模板。

4.根据权利要求1所述的基于参数自适应的自动化测试方法，其特征在于，在所述步骤S306中，所述测试装置对所述输出报文中的关键特性参数进行判断，并删除与所述第二关键特性参数不匹配的输出报文。

5.根据权利要求1所述的基于参数自适应的自动化测试方法，其特征在于，在所述步骤S308中，在所述测试用例执行完毕并且输出报文提取完毕后，加载所述测试模板。

6.根据权利要求1所述的基于参数自适应的自动化测试方法，其特征在于，在所述步骤S308中，进一步包括以下处理：遍历所述测试模板中的报文，获取每条报文中包含的第一关键特性参数；

将所述报文中的第一关键特性参数与指定的测试环境的第一关键特性参数相比较；以及

保留其第一关键特性参数与所述测试环境的第一关键特性参数一致的报文作为保留报文，并删除其他报文。

7.根据权利要求6所述的基于参数自适应的自动化测试方法，其特征在于，在所述步骤S310中，进一步包括以下处理：

遍历所述保留报文，将所述保留报文中的所述第一关键特性参数用与其匹配的所述第二关键特性参数替换；

将所述保留报文与所述步骤S306中提取的输出报文集进行比较，记录比较结果，完成测试。

8.根据权利要求1至7中任一项所述的基于参数自适应的自动化测试方法，其特征在于，所述关键特性参数、所述第一关键特性参数、或所述第二关键特性参数包含于所述被测系统的接口报文中，并对测试结果有决定性影响。

9.一种基于参数自适应的自动化测试装置，其特征在于，包括：

测试用例控制与执行模块，用于生成测试用例，并执行测试用例；

报文收集与回归处理模块，用于收集报文，并进行回归处理；以及

控制中心，连接至所述测试用例控制与执行模块和所述报文收集与回归处理模块，用于控制测试环境关键特性参数的相关处理。

Images