CN102495798A - 自动化回归测试方法及系统 - Google Patents

Abstract

本发明提供了一种自动化回归测试方法，包括以下步骤：S1、脚本执行容器执行脚本，将执行状态反馈给脚本执行控制模块；S2、若脚本执行异常，脚本执行控制模块提取异常信息，获知异常代码；S3、智能异常管理模块从脚本执行控制模块获知异常代码，查找异常代码数据库是否有匹配代码，若是，执行步骤S4，若否执行步骤S5；S4、提取相应的处理过程代码，并执行；S5、采取默认行为，根据策略通知给脚本执行控制模块。本发明的自动化回归测试方法及系统提高了大规模回归测试的灵活性、可靠性，以及测试效率，节约自动化回归的成本。

Description

自动化回归测试方法及系统

技术领域

本发明涉及网络通信技术领域，尤其涉及一种网络设备的自动化回归测试方法及系统。

背景技术

目前对网络设备的自动化测试一般拥有庞大的自动化测试脚本库，为了真正实现测试的自动化都会设计一个用于连续执行自动化测试脚本库的方案，我们称这一个过程为自动化回归测试。

随着自动化测试脚本库中测试用例的增加，对自动回归测试系统提出下面的要求：

1）根据回归的目的智能选取适合的自动化脚本集合。随着自动化脚本量的增加，回归整个测试脚本需要几周甚至更长的时间，一方面长时间的资源占用增加自动化测试的成本，另一方面由于产品市场压力等方面的因素，实际并不允许花几周或者更长的时间来做验证。因此如何根据回归的目的选取最恰当的用例集合，缩减回归验证时间的同时，对质量的影响降到最小。

2）丰富的异常处理能力，保证平台能够长期的稳定的运行。自动化回归是对大量的自动化脚本集合的批量的运行，由于环境、脚本等因素，长时间的运行过程中会碰到各种异常事件，根据异常的种类建立知识经验库，自动化处理异常提高自动回归的可靠性，大大减少人工干预的时间。

3）断点继续功能，管理员根据情况可以临时中断或暂停测试。几周的运行过程中，管理员可能面临一些情况要求对环境或资源进行变动，自动回归系统必须支持管理员暂停自动回归测试，并更新当前一些环境变量、回归设置等。

4）强大的脚本管理、日志管理能力。对脚本管理和日志的检索能力是回归测试系统的一项基本功能，也是根据回归目的智能选取适当的自动化脚本集合的知识经验库和信息来源。

现有技术中，专利号为200510032851.5的中国专利揭示了一种可再现的自动测试方案，该发明提出建立自动化测试用例和回归方法。但回归过程中只是机械的逐个执行单个测试用例，不适合大规模的自动测试，不能解决上面提及的自动化回归的4个需求。

有鉴于此，有必要提供一种自动化回归测试方法及系统以解决上述问题。

发明内容

本发明的目的在于提供自动化回归测试方法及系统。

本发明的一种自动化回归测试方法，所述方法包括以下步骤：

S1、脚本执行容器执行脚本，将执行状态反馈给脚本执行控制模块；

S2、若脚本执行异常，脚本执行控制模块提取异常信息，获知异常代码；

S3、智能异常管理模块从脚本执行控制模块获知异常代码，查找异常代码数据库是否有匹配代码，若是，执行步骤S4，若否执行步骤S5；

S4、提取相应的处理过程代码，并执行；

S5、采取默认行为，根据策略通知给脚本执行控制模块，所述策略包括暂停回归过程通知管理员处理、忽略此过程继续执行、重设回归环境继续下一个用例。

作为本发明的进一步改进，所述步骤S1前还包括：

脚本执行控制模块从脚本及日志数据库中提取脚本信息并送给脚本执行容器。

作为本发明的进一步改进，所述“提取脚本信息”具体为：

根据用户输入采用相应的智能算法从脚本及日志数据库中选取最优化的脚本用于本次回归。

作为本发明的进一步改进，所述智能算法依赖于用户对脚本的分类、脚本历史日志分析、限定本次回归时长来完成对用例的抽取，然后报告本次抽取的覆盖率。

作为本发明的进一步改进，所述步骤S2具体为：

若当前脚本在历史时间的2倍仍未结束，则中止脚本执行并抛出异常，脚本执行控制模块提取异常信息，获知异常代码。

相应地，一种自动化回归测试系统，所述系统包括：

脚本及日志数据库：用于存放脚本及日志信息；

异常处理经验数据库：用于存放错误代码的处理过程；

脚本执行容器：用于执行脚本，将执行状态反馈给脚本执行控制模块；

脚本执行控制模块：用于监控脚本的执行过程，抓取脚本执行过程中的异常，抓取脚本运行的日志信息，接受智能异常处理模块的同步信息，接受用户控制指令。

智能异常管理模块：用于从脚本执行控制模块获知异常代码，查找异常代码数据库是否有匹配代码，若是，提取相应的处理过程代码，并执行，若否，采取默认行为，根据策略通知给脚本执行控制模块。

作为本发明的进一步改进，所述通知脚本执行控制模块的策略包括：暂停回归过程通知管理员处理、忽略此过程继续执行、重设回归环境继续下一个用例。

作为本发明的进一步改进，所述系统还包括脚本及日志管理模块，用于管理和维护脚本及日志数据库。

作为本发明的进一步改进，所述系统还包括智能化用例选取模块，用于从脚本及日志数据库中提取脚本信息并送给脚本执行容器。

作为本发明的进一步改进，所述智能化用例选取模块还用于根据用户输入采用相应的智能算法从脚本及日志数据库中选取最优化的脚本用于本次回归。

本发明的有益效果是：本发明的自动化回归测试方法及系统中引入智能测试选取、异常处理人工智能、断点管理、脚本和日志检索技术，解决大规模的自动化回归测试中碰到回归时间长、异常人工干预多、无法实现断点继续功能、脚本和日志检索能力弱的缺点。提高了大规模回归测试的灵活性、可靠性，以及测试效率，节约自动化回归的成本。

附图说明

图1为本发明一实施方式中自动化回归测试方法的流程图。

图2为本发明一实施方式中自动化回归测试方法的示意图。

图3为本发明一实施方式中自动化回归测试系统的示意图。

具体实施方式

以下将结合附图所示的各实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

参图1、图2所示，本发明一实施方式中自动化回归测试方法包括以下步骤：

S1、脚本执行容器执行脚本，将执行状态反馈给脚本执行控制模块；

S2、若脚本执行异常，脚本执行控制模块提取异常信息，获知异常代码。脚本执行控制模块执行过程实时监控脚本执行容器的执行过程，记录当前脚本执行的开始时间及结束时间，如果当前脚本在历史时间的2倍仍未结束则中止此脚本执行并抛出异常，抓取脚本执行过程中的异常，对脚本运行过程中的错误进行提取，并提交相应的异常给异常处理模块；

S3、智能异常管理模块从脚本执行控制模块获知异常代码，查找异常代码数据库是否有匹配代码，若是，执行步骤S4，若否执行步骤S5；

S4、提取相应的处理过程代码，并执行。如果查找成功提取相应的处理过程代码，执行此过程，然后通知脚本执行控制模块处理的结果；

S5、采取默认行为，根据策略通知给脚本执行控制模块，上述策略包括暂停回归过程通知管理员处理、忽略此过程继续执行、重设回归环境继续下一个用例。如果查找不成功，说明尚未建立此错误代码的处理过程，则采取默认行为，并根据策略选取下面其一通知给脚本执行控制模块：暂停回归过程通知管理员处理；忽略此过程继续执行；重设回归环境继续下一个用例。

优选地，上述步骤S1前还包括：

脚本执行控制模块从脚本及日志数据库中提取脚本信息并送给脚本执行容器。

其中上述“提取脚本信息”具体为：

根据用户输入采用相应的智能算法从脚本及日志数据库中选取最优化的脚本用于本次回归。智能算法依赖于用户对脚本的分类、脚本历史日志分析、限定本次回归时长来完成对用例的抽取，然后报告本次抽取的覆盖率。

相应地，参图3所示为本发明一实施方式中自动化回归测试系统100的示意图。在本发明的优选实施方式中，该系统包括脚本及日志管理模块10、智能异常管理模块20、智能化用例选取模块30、脚本执行控制模块40、脚本及日志数据库50、异常处理经验数据库60、脚本执行容器70七个部分，提供了功能丰富的稳定自动化回归平台。

其中各部分的原理及用途如下：

脚本及日志数据库50，用于存放脚本及日志信息。

异常处理经验数据库60，用于存放错误代码的处理过程。

脚本执行容器70，主要提供脚本运行的环境，用于执行脚本，将执行状态反馈给脚本执行控制模块40。

脚本执行控制模块40，本模块功能主要有：

(1)从脚本库中提取脚本送给脚本执行容器70执行。从脚本库中提取脚本送给脚本执行器执行根据智能化用例选取模块30选取的脚本集合，检索脚本及日志数据库50，提取脚本内容然后提交给脚本执行容器70；

(2)监控脚本的执行过程。监控脚本的执行过程实时监控脚本执行容器70的执行过程，记录当前脚本执行的开始时间及结束时间，如果当前脚本在历史时间的2倍仍未结束则中止此脚本执行并抛出异常；

(3)抓取脚本执行过程中的异常。抓取脚本执行过程中的异常，对脚本运行过程中的错误进行提取，并提交相应的异常给异常处理模块；

(4)抓取脚本运行的日志信息。抓取脚本运行的日志信息，实时抓取脚本运行的日志信息，提交到脚本及日志数据库50数据库；

(5)接受智能异常处理模块的同步信息。接受智能异常处理模块的同步信息，负责和智能异常处理模块的同步；

(6)接受用户控制指令。接受用户控制指令，提供用户暂停和继续脚本回归，更新回归环境变量的用户控制指令。

智能异常管理模块20，结合图2所示，用于从脚本执行控制模块40获知异常代码，查找异常代码数据库是否有匹配代码，若是，提取相应的处理过程代码，并执行，然后通知脚本执行控制模块40处理的结果；若否，说明尚未建立此错误代码的处理过程，则采取默认行为，并根据策略通知给脚本执行控制模块40，该策略可为：暂停回归过程通知管理员处理；忽略此过程继续执行；重设回归环境继续下一个用例。。

脚本及日志管理模块10，本模块主要提供用户脚本及日志数据库50管理和维护。用户可以灵活的导入自动化脚本、检索自动化脚本信息、提取脚本运行的历史日志。

智能化用例选取模块30，根据用户输入采用相应的智能算法从脚本及日志数据库50中选取最优化的脚本集合用于本次回归。智能算法依赖于用户对脚本的分类、脚本历史日志分析、限定本次回归时长来完成对用例的抽取，然后报告本次抽取的覆盖率。

与现有技术相比，本发明的自动化回归测试方法及系统中引入智能测试选取、异常处理人工智能、断点管理、脚本和日志检索技术，解决大规模的自动化回归测试中碰到回归时间长、异常人工干预多、无法实现断点继续功能、脚本和日志检索能力弱的缺点。提高了大规模回归测试的灵活性、可靠性，以及测试效率，节约自动化回归的成本。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施方式或者实施方式的某些部分所述的方法。

以上所描述的装置实施方式仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施方式方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本申请可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (10)

1.一种自动化回归测试方法，其特征在于，所述方法包括以下步骤：

S1、脚本执行容器执行脚本，将执行状态反馈给脚本执行控制模块；

S2、若脚本执行异常，脚本执行控制模块提取异常信息，获知异常代码；

S3、智能异常管理模块从脚本执行控制模块获知异常代码，查找异常代码数据库是否有匹配代码，若是，执行步骤S4，若否执行步骤S5；

S4、提取相应的处理过程代码，并执行；

S5、采取默认行为，根据策略通知给脚本执行控制模块，所述策略包括暂停回归过程通知管理员处理、忽略此过程继续执行、重设回归环境继续下一个用例。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1前还包括：

脚本执行控制模块从脚本及日志数据库中提取脚本信息并送给脚本执行容器。

3.根据权利要求2所述的方法，其特征在于，所述“提取脚本信息”具体为：

根据用户输入采用相应的智能算法从脚本及日志数据库中选取最优化的脚本用于本次回归。

4.根据权利要求3所述的方法，其特征在于，所述智能算法依赖于用户对脚本的分类、脚本历史日志分析、限定本次回归时长来完成对用例的抽取，然后报告本次抽取的覆盖率。

5.根据权利要求1所述的方法，其特征在于，所述步骤S2具体为：

若当前脚本在历史时间的2倍仍未结束，则中止脚本执行并抛出异常，脚本执行控制模块提取异常信息，获知异常代码。

6.一种如权利要求1所述的自动化回归测试系统，其特征在于，所述系统包括：

脚本及日志数据库：用于存放脚本及日志信息；

异常处理经验数据库：用于存放错误代码的处理过程；

脚本执行容器：用于执行脚本，将执行状态反馈给脚本执行控制模块；

脚本执行控制模块：用于监控脚本的执行过程，抓取脚本执行过程中的异常，抓取脚本运行的日志信息，接受智能异常处理模块的同步信息，接受用户控制指令；

智能异常管理模块：用于从脚本执行控制模块获知异常代码，查找异常代码数据库是否有匹配代码，若是，提取相应的处理过程代码，并执行，若否，采取默认行为，根据策略通知给脚本执行控制模块。

7.根据权利要求6所述的系统，其特征在于，所述通知脚本执行控制模块的策略包括：暂停回归过程通知管理员处理、忽略此过程继续执行、重设回归环境继续下一个用例。

8.根据权利要求6所述的系统，其特征在于，所述系统还包括脚本及日志管理模块，用于管理和维护脚本及日志数据库。

9.根据权利要求6所述的系统，其特征在于，所述系统还包括智能化用例选取模块，用于从脚本及日志数据库中提取脚本信息并送给脚本执行容器。

10.根据权利要求9所述的系统，其特征在于，所述智能化用例选取模块还用于根据用户输入采用相应的智能算法从脚本及日志数据库中选取最优化的脚本用于本次回归。

Images