CN102999417B - 自动化测试管理系统及方法 - Google Patents

Abstract

本发明涉及自动化测试技术，其公开了一种自动化测试管理方法，对自动化测试过程进行监控管理，减少人力投入，提高测试效率。该方法对提交到自动化测试平台的多个测试模块中相关联的模块进行分组归类，并通过创建分组临时文件记录各个分组的分组信息；并通过创建测试监控进程，对自动化测试过程进行监控，定时轮询分组临时文件，判断是否存在下属测试模块测试全部完成的分组，如果存在，则对分组中测试完成的测试模块的测试结果进行汇总，生成相应的汇总统计报表；判断分组中是否所有的测试模块的测试结果均已汇总并生成相应的汇总统计报表，如果是，则删除该分组。此外，本发明还公开了相应的测试管理系统，适用于对自动化测试进行监控管理。

Description

自动化测试管理系统及方法

技术领域

本发明涉及自动化测试技术，特别涉及针对自动化测试过程中的管理系统及管理方法。

背景技术

目前，大部分自动化测试系统都支持并行运行多个测试进程，每个测试进程对应一个被测模块，在某一个被测模块测试完成之后，自动化平台会收集这个被测模块的测试结果；在传统技术中，当需要统计多个被测模块的自动化测试结果时，测试人员只有等到所有被测模块全部执行完毕后，才能得到所有被测模块的测试结果，并对相关联的多个模块测试结果进行汇总，最终生成需要的多份自动化测试报表；而对于测试失败的分析，则需要人工去分析是自动化测试脚本错误还是被测模块所在系统的错误；因此，传统技术在自动化测试中仍然需要投入较多的人力，测试效率无法得到充分发挥。

发明内容

本发明所要解决的技术问题是：提出一种自动化测试管理系统及方法，对自动化测试过程进行监控管理，减少人力投入，提高测试效率。

本发明解决上述技术问题所采用的方案是：自动化测试管理系统，包括：

分组管理模块，用于对提交到自动化测试平台的多个被测模块按照关联关系进行分组，并创建用于记录所有分组信息的分组临时文件；在接收到测试结果统计模块的通知后，删除分组临时文件中当前所有被测模块全部测试完成的分组；

测试执行模块，用于在分组管理模块创建分组临时文件后，同时启动分组临时文件中各分组的所有被测模块对应的自动化测试进程，并同步通知测试监控模块；

测试监控模块，用于接收测试执行模块的通知后，创建并启动测试监控进程，定时轮询分组临时文件，判断是否存在所有被测模块测试完成的分组，如果有，则通知测试结果统计模块；

测试结果统计模块，用于接收测试监控模块的通知，对当前分组中所有被测模块的测试结果进行汇总，生成相应的汇总统计报表后，通知分组管理模块。

进一步，所述测试监控模块，还用于判断各个分组中的被测模块是否出现测试异常，如果出现测试异常，则通知分组管理模块从分组临时文件的对应分组中删除测试异常的被测模块；所述分组管理模块，还用于删除分组临时文件的对应分组中测试异常的被测模块。

进一步，所述分组信息包括：各个分组的分组名、分组中包含的被测模块对应的自动化测试进程的进程号。

进一步，所述分组管理模块，还用于收到测试监控模块的通知后，对各个分组中的测试完成的被测模块标注完成标记，所述测试监控模块根据被测模块是否存在完成标记来判断该被测模块是否测试完成。

进一步，该管理系统还包括：

错误管理模块，用于对自动化测试过程中被测模块对应自动化测试进程中的测试脚本执行失败的原因进行记录，并区分测试脚本执行失败原因为测试脚本错误或者被测模块错误，如果为被测模块错误，则自动向错误管理平台提交该错误。

进一步，所述错误管理模块包括：

日志记录模块，用于对各个被测模块对应自动化测试进程中的测试脚本执行状况进行记录，如果测试脚本执行失败，则记录具体失败原因，如果测试脚本中的预期结果和实际结果不符合并且调用到了失败接口函数，则除了记录具体失败原因之外，还记录相应的失败代码；

脚本分析模块，用于对日志记录模块的记录项进行分析，区分测试脚本执行失败原因为测试脚本错误或者被测模块错误：如果日志记录项中包含失败代码，则判定测试脚本执行失败原因为被测模块错误，则在结合失败代码对系统错误进行描述后触发错误提交模块；如果日志记录项中未包含失败代码，则判定脚本执行失败原因为脚本错误；

错误提交模块，用于结合错误管理系统提供的内部接口，由自动化平台调用，实现错误的提交。

本发明的另一目的，还在于提出一种自动化测试管理方法，该方法包括以下步骤：

a.分组管理模块对提交到自动化测试平台的多个被测模块按照关联关系进行分组，并创建用于记录所有分组信息的分组临时文件；

b.测试执行模块在分组管理模块创建分组临时文件后，同时启动分组临时文件中各分组的被测模块对应的自动化测试进程，并同步通知测试监控模块；测试监控模块创建并启动测试监控进程；

c.测试监控进程定时轮询分组临时文件，判断是否存在所有被测模块测试完成的分组，如果存在，则进入步骤d，否则返回步骤c；

d.测试结果统计模块对分组中所有被测模块的测试结果进行汇总，生成相应的汇总统计报表；

e.测试结果统计模块判断分组中是否所有的被测模块的测试结果均已汇总并生成相应的汇总统计报表，如果是，则进入步骤f，否则返回步骤d；

f.分组管理模块从分组临时文件中删除该分组，返回步骤c。

进一步，所述各个分组的分组信息包括：各个分组的分组名、分组中包含的被测模块对应的自动化测试进程的进程号。

进一步，步骤c中还包括：测试监控模块判断分组临时文件中的各个分组中的被测模块是否出现测试异常，如果出现测试异常，则通知分组管理模块从分组临时文件的对应分组中删除测试异常的被测模块。

进一步，在步骤c中，还包括：对自动化测试过程中被测模块对应自动化测试进程中的测试的脚本执行失败的原因进行记录，并区分测试脚本执行失败原因为测试脚本错误或者被测模块错误，如果为被测模块错误，则自动向错误管理平台提交该错误。

本发明的有益效果是：对自动化测试过程进行监控，既可以通过自动汇总功能实现测试结果的汇总，节约人力，提高测试效率；还可以由用户根据需求通过手工命令进行实时汇总，以适应不同的自动化测试执行策略；此外，本发明还具备对脚本执行失败原因进行分析的功能，区分出脚本执行失败时因为脚本错误或被测模块错误，并对错误进行自动上报，便于技术人员及时处理，以提高自动化测试的稳定性。

附图说明

图1为本发明的自动化测试管理方法实施例流程图；

图2为自动化测试管理方法实施例中的错误提交流程图；

图3为自动化测试管理系统的一种实施例结构框图；

图4为错误管理模块的结构框图。

具体实施方式

下面结合附图及实施例对本发明的技术方案作进一步的描述。

参见图1，本例中的自动化测试管理方法采用以下步骤实现：

101、提交被测模块到自动化平台，指定该被测模块所属分组名；在本步骤中，测试人员在提交被测模块到自动化平台时，指定该被测模块所属分组名，其中分组名由测试人员指定，可将特性相关联的多个被测模块提交到指定的同一个分组中，达到将多被测模块分组的目的；这里分组的方式可以包括命令行和图形化界面两种方式。

102、创建分组临时文件并启动自动化测试进程；在本步骤中，由分组管理模块通过创建分组临时文件来记录在步骤101中归类分组的分组名和各个分组下的被测模块对应的测试进程的进程号，在创建分组临时文件后启动自动化测试进程，进入自动化测试过程。

103、创建并启动测试监控进程；在本步骤中，通过创建测试监控进程用于间隔一定时间轮询分组临时文件，在创建本进程的时候会检测在系统中是否已经存在同样的监控进程，如果存在，则不需要再创建。

104、在某个被测模块完成测试后，在分组临时文件中对应的被测模块的测试进程上标注完成标记；本步骤是一个独立的步骤，在前面三个步骤执行完成后，提交到测试平台的被测模块会进入执行状态，当有被测模块完成测试后才进入本步骤，在本步骤中，会在分组临时文件中查找是否存在该已经完成的被测模块的进程号记录，如果存在，则修改分组临时文件，在对应的被测模块进程记录上标注上完成标记，目的是便于测试监控进程轮询；如果不存在则略过。

105、间隔轮询分组临时文件，检查是否有测试全部完成的分组以及每个被测模块对应的测试进程是否异常；在步骤103中的测试监控进程创建后即进入轮询状态，本步骤中的“间隔轮询”是指每隔一定的时间间隔就检查分组临时文件，检查是否有测试全部完成的分组（即分组下的所有被测模块均已测试完成），如果有测试全部完成的分组，则进入步骤108，如果不存在测试全部完成的分组，则进入步骤107等待下一次轮询；此外，在本步骤中还检查每个被测模块测试是否出现异常，如果出现异常则进入步骤106；

106、从分组临时文件中删除该测试进程对应的被测模块记录；如果在步骤105中判断出有被测模块对应的测试进程异常才进入此步骤，本步骤中，会更新分组临时文件，即把分组临时文件中异常的被测模块进程记录从分组临时文件中删除，主要目的是定期删除分组临时文件中已经异常的被测模块进程，保证最终汇总统计结果的有效性。在本步骤完成后，会等待监控进程的下一次轮询。

107、进入下一轮监控进程调度；即等待监控进程的下一次轮询；当监控进程轮询到有被测模块对应的测试进程出现异常，在从分组临时文件中删除该测试进程对应的模块记录后进入本步骤，或者当轮询到没有测试全部完成的分组时也进入本步骤。

108、对分组中所有已经完成的被测模块进行日志汇总，生成该分组中多个被测模块的汇总报表；当监控进程轮询时，检查到有测试全部完成的分组，则进入本步骤，在本步骤中，对该分组下的所有测试完成的模块的记录进行汇总，形成该分组的汇总统计报表；此外，如果有用户通过步骤110手动命令触发汇总操作，则也进入本步骤，这样使得本发明具备自动汇总功能和手动实时汇总功能，以适应不同的自动化测试执行策略；

109、在分组临时文件中删除测试全部完成的分组以及对应的被测模块；在步骤108对分组的测试结果进行汇总后，如果该分组中的所有被测模块均已执行完成，则对该分组进行删除，如果是用户通过手动命令触发汇总操作时，该分组中尚有部分被测模块未执行完成，则仅仅对执行完成的被测模块的测试结果进行汇总，但是不删除该分组，而是继续等待下一次轮询。

110、手工命令触发执行结果实时分组汇总；步骤为实时分组汇总操作，当不需要等待某个分组中所有被测模块全部完成再汇总时，通过此步骤可以做到实时汇总。本步骤中，实时汇总的方式包含命令行和图形化界面两种方式。

此外，本发明的自动化测试管理方法中还提供了一种错误自动提交功能，即在进入自动化测试过程中，如果某个脚本执行失败，则脚本执行失败的原因进行记录，并区分脚本执行失败原因为脚本错误或者被测模块错误，如果为被测模块错误，则自动向错误管理平台提交该错误；具体流程参见图2，其包括以下步骤：

201、对自动化测试过程中被测模块对应自动化测试进程中的测试脚本执行失败的原因进行记录；在本步骤中，如果有脚本执行失败，则在日志中记录执行失败的原因，如果是脚本中的预期结果和实际结果不符合并且调用到了失败接口函数，则除了记录具体失败原因之外，还会记录一个由数字组成的失败代码，该失败代码包括脚本的优先级，失败步骤的严重程度；而如果是脚本错误，则只记录执行失败的具体原因，并不记录失败代码；本步骤是为了后续步骤区分脚本错误或者被测模块错误做准备。

202、对日志进行分析，区分脚本执行失败的原因是脚本错误或被测模块错误；在本步骤中，区分的具体方法是：如果日志记录中包含了失败代码，则判定脚本执行失败原因是被测模块错误，则根据失败代码中包含的脚本优先级和失败步骤的严重程度进行错误的描述组合，然后进入步骤203，反之，如果日志记录中未包含失败代码，则判定脚本执行失败原因是脚本错误，则不需要提交错误，进入步骤204，结束本流程；

203、向错误管理平台提交该错误；在本步骤中，结合错误管理系统提供的内部接口，由自动化平台调用，实现错误的提交。

204、结束本流程；当在步骤202中判定脚本执行失败原因是脚本错误时或者步骤203中实现错误提交之后进入本步骤。

本发明还提出了相应的自动化测试管理系统，参见图3，该系统包括：

分组管理模块301，用于对提交到自动化测试平台的多个被测模块按照关联关系进行分组，并创建用于记录所有分组信息的分组临时文件；在接收到测试结果统计模块的通知后，删除分组临时文件中当前所有被测模块全部测试完成的分组；所述分组管理模块301还用于删除分组临时文件的对应分组中测试异常的被测模块；

测试执行模块302，用于在分组管理模块创建分组临时文件后，同时启动分组临时文件中各分组的所有被测模块对应的自动化测试进程，并同步通知测试监控模块；

测试监控模块303，用于接收测试执行模块的通知后，创建并启动测试监控进程，定时轮询分组临时文件，判断是否存在所有被测模块测试完成的分组，如果有，则通知测试结果统计模块；所述测试监控模块303，还用于判断各个分组中的被测模块是否出现测试异常，如果出现测试异常，则通知分组管理模块从分组临时文件的对应分组中删除测试异常的被测模块；

测试结果统计模块304，用于接收测试监控模块的通知，对当前分组中所有被测模块的测试结果进行汇总，生成相应的汇总统计报表后，通知分组管理模块；

错误管理模块305，用于对自动化测试过程中被测模块对应自动化测试进程中的测试脚本执行失败的原因进行记录，并区分测试脚本执行失败原因为测试脚本错误或者被测模块错误，如果为被测模块错误，则自动向错误管理平台提交该错误；

其中错误管理模块，如图4所示，其具体包括：

日志记录模块401，用于对各个被测模块的脚本执行状况进行记录，如果脚本执行失败，则记录具体失败原因，如果脚本中的预期结果和实际结果不符合并且调用到了失败接口函数，则除了记录具体失败原因之外，还记录相应的失败代码；

脚本分析模块402，用于对日志记录模块的记录项进行分析，区分脚本执行失败原因为脚本错误或者被测模块错误：如果日志记录项中包含失败代码，则判定脚本执行失败原因为被测模块错误，则在结合失败代码对系统错误进行描述后触发错误提交模块；如果日志记录项中未包含失败代码，则判定脚本执行失败原因为脚本错误；

错误提交模块403，用于结合错误管理系统提供的内部接口，由自动化平台调用，实现错误的提交。

Claims (7)

1.自动化测试管理系统，其特征在于，包括：

分组管理模块，用于对提交到自动化测试平台的多个被测模块按照关联关系进行分组，并创建用于记录所有分组信息的分组临时文件；在接收到测试结果统计模块的通知后，删除分组临时文件中当前所有被测模块全部测试完成的分组；

测试执行模块，用于在分组管理模块创建分组临时文件后，同时启动分组临时文件中各分组的所有被测模块对应的自动化测试进程，并同步通知测试监控模块；

测试监控模块，用于接收测试执行模块的通知后，创建并启动测试监控进程，定时轮询分组临时文件，判断是否存在所有被测模块测试完成的分组，如果有，则通知测试结果统计模块；

测试结果统计模块，用于接收测试监控模块的通知，对当前分组中所有被测模块的测试结果进行汇总，生成相应的汇总统计报表后，通知分组管理模块；

日志记录模块，用于对各个被测模块对应自动化测试进程中的测试脚本执行状况进行记录，如果测试脚本执行失败，则记录具体失败原因，如果测试脚本中的预期结果和实际结果不符合并且调用到了失败接口函数，则除了记录具体失败原因之外，还记录相应的失败代码；

脚本分析模块，用于对日志记录模块的记录项进行分析，区分测试脚本执行失败原因为测试脚本错误或者被测模块错误：如果日志记录项中包含失败代码，则判定测试脚本执行失败原因为被测模块错误，则在结合失败代码对系统错误进行描述后触发错误提交模块；如果日志记录项中未包含失败代码，则判定脚本执行失败原因为脚本错误；

错误提交模块，用于结合错误管理系统提供的内部接口，由自动化平台调用，实现错误的提交。

2.如权利要求1所述的自动化测试管理系统，其特征在于，

所述测试监控模块，还用于判断各个分组中的被测模块是否出现测试异常，如果出现测试异常，则通知分组管理模块从分组临时文件的对应分组中删除测试异常的被测模块；

所述分组管理模块，还用于删除分组临时文件的对应分组中测试异常的被测模块。

3.如权利要求1或2所述的自动化测试管理系统，其特征在于，所述分组信息包括：各个分组的分组名、分组中包含的被测模块对应的自动化测试进程的进程号。

4.如权利要求1或2所述的自动化测试管理系统，其特征在于，

所述分组管理模块，还用于收到测试监控模块的通知后，对各个分组中的测试完成的被测模块标注完成标记，所述测试监控模块根据被测模块是否存在完成标记来判断该被测模块是否测试完成。

5.自动化测试管理方法，其特征在于，该方法包括以下步骤：

a.分组管理模块对提交到自动化测试平台的多个被测模块按照关联关系进行分组，并创建用于记录所有分组信息的分组临时文件；

b.测试执行模块在分组管理模块创建分组临时文件后，同时启动分组临时文件中各分组的被测模块对应的自动化测试进程，并同步通知测试监控模块；测试监控模块创建并启动测试监控进程；

c.测试监控进程定时轮询分组临时文件，判断是否存在所有被测模块测试完成的分组，如果存在，则进入步骤d，否则返回步骤c；

d.测试结果统计模块对分组中所有被测模块的测试结果进行汇总，生成相应的汇总统计报表；

e.测试结果统计模块判断分组中是否所有的被测模块的测试结果均已汇总并生成相应的汇总统计报表，如果是，则进入步骤f，否则返回步骤d；

f.分组管理模块从分组临时文件中删除该分组，返回步骤c；

该方法还包括：对自动化测试过程中被测模块对应自动化测试进程中的测试脚本执行失败的原因进行记录：如果有脚本执行失败，则在日志中记录执行失败的原因，如果是脚本中的预期结果和实际结果不符合并且调用到了失败接口函数，则除了记录具体失败原因之外，还记录一个由数字组成的失败代码，该失败代码包括脚本的优先级，失败步骤的严重程度；而如果是脚本错误，则只记录执行失败的具体原因；

对日志进行分析，区分脚本执行失败的原因是脚本错误或被测模块错误：如果日志记录中包含了失败代码，则判定脚本执行失败原因是被测模块错误，则根据失败代码中包含的脚本优先级和失败步骤的严重程度进行错误的描述组合，再向错误管理平台提交该错误；如果日志记录中未包含失败代码，则判定脚本执行失败原因是脚本错误，不需要提交错误。

6.如权利要求5所述的自动化测试管理方法，其特征在于，所述各个分组的分组信息包括：各个分组的分组名、分组中包含的被测模块对应的自动化测试进程的进程号。

7.如权利要求5或6所述的自动化测试管理方法，其特征在于，步骤c中还包括：

测试监控模块判断分组临时文件中的各个分组中的被测模块是否出现测试异常，如果出现测试异常，则通知分组管理模块从分组临时文件的对应分组中删除测试异常的被测模块。