CN111008137B - 一种定制化测试集的方法和系统 - Google Patents

Abstract

本发明公开了一种定制化测试集的方法和系统，所述定制化测试集的方法包括：根据测试集是否重跑，建立需要重跑的第一测试集路径和不需要重跑的第二测试集路径；分别在所述第一测试集路径和所述第二测试集路径上配置定制用例集，对所述定制用例集中所有测试用例进行执行时，筛选掉已经执行成功的所述测试用例，并将所述测试用例的执行结果更新到数据库中。本发明实施例在对执行成功的测试用例的执行结果更新到数据库中，通过不同的路径定制不同的测试集，在定制化的建立测试集时可以精确的对执行成功的测试用例不再重复执行，解决了重跑多个测试计划的问题，达到了在软件迭代中快速验证维护结果的期望，显著提高自动化测试过程中的执行效率。

Description

一种定制化测试集的方法和系统

技术领域

本发明涉及自动化测试领域，具体涉及一种定制化测试集的方法和系统。

背景技术

在自动化测试中对测试用例进行执行时，经常有自动化测试的测试用例执行失败了，但重跑一次又会成功的情况。为提高测试的稳定性，减少人肉逐个检查失败的成本，一般都会增加自动重跑一次失败用例的方案。现有方案只能在当次计划执行中进行重跑，每次计划都需要重新构建所有的测试集，无法满足我们针对不同计划定制测试集的需求；例如，并在快速的UI界面迭代中，很多失败用例实际是由同一UI界面变更导致的，在维护这些用例的过程中，无法定制用例集导致在验证过程中需执行所有用例耗时较长。此外，目前对于测试用例的执行情况进行标记的方法仅仅限于执行失败的情况进行数据关联，这种情况会导致关联不精确情况的发生，导致对于测试用例执行的效率同样不佳。

例如，专利号为:CN201910610425.7的发明专利公开了一种测试用例筛选方法、装置、计算机设备和存储介质。其中方法包括：当每次检测到待测代码文件时，则识别待测代码文件的代码修改标签，并将代码修改标签存储至历史表中；获取多个测试用例，基于每次待测代码文件执行多个测试用例；将测试结果为测试失败的测试用例与相应代码修改标签进行关联，将相应关联关系记录在历史表中；基于历史表计算每种代码修改标签关联的每种测试用例的失败次数；根据每种代码修改标签及关联的每个测试用例的失败次数，确定与每种代码修改标签对应的目标测试用例。采用这种方法虽然能够在测试代码修改后业务系统时，提高测试用例针对性。但是这种对于测试用例执行失败进行关联的情况对于大部分已经执行成功的测试用例而言也会重复执行，且这种关联存在关联不精确，导致重复执行的情况发生，同样会降低执行测试用例的效率。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种定制化测试集的方法和系统，能够针对性的对执行成功的测试用例进行精确定位并筛选，从而显著提高了自动化测试的效率。

为解决上述技术问题，本发明采用的技术方案是：

第一方面，本发明实施例提供了一种定制化测试集的方法，包括以下步骤：

根据测试集是否重跑，建立需要重跑的第一测试集路径和不需要重跑的第二测试集路径；

分别在所述第一测试集路径和所述第二测试集路径上配置定制用例集，对所述定制用例集中所有测试用例进行执行时，筛选掉已经执行成功的所述测试用例，并将所述测试用例的执行结果更新到数据库中。

进一步地，建立所述第二测试集路径后包括对所述测试集进行初始化，并对所述测试集的状态进行重置。

进一步地，建立所述第一测试集路径后包括检测测试计划中是否存在已经执行成功的所述测试用例，当所述测试计划中存在已经执行成功的测试用例时，直接配置所述定制用例集，当所述测试计划中不存在已经执行成功的测试用例时，对所述测试任务中的所述测试用例进行初始化，并对所述测试集的状态进行重置。

进一步地，所述定制用例集包括需要重跑的第一定制用例集和不需要重跑的第二定制用例集，所述第一定制用例集对应于所述第一测试集路径，所述第二定制用例集对应于所述第二测试集路径。

进一步地，对所述测试计划中是否存在已经执行成功的所述测试用例的检测是根据所述数据库中所述执行结果。

另一方面，本发明实施例还提供了一种定制化测试集的系统，包括：

路径建立模块，用于根据测试集的是否重跑，建立需要重跑的第一测试集路径和不需要重跑的第二测试集路径；

执行选择模块，用于在所述第一测试集路径和所述第二测试集路径上配置定制用例集，对所述定制用例集中所有测试用例进行执行时，筛选掉已经执行成功的所述测试用例，并将所述测试用例的执行结果更新到数据库中。

进一步地，所述路径建立模块包括有初始化单元，所述初始化单元用于在建立所述第二测试集路径后包括对所述测试集进行初始化，并对所述测试集的状态进行重置。

进一步地，所述执行选择模块包括有执行结果判断单元，所述执行结果判断单元用于在建立所述第一测试集路径后包括检测测试计划中是否存在已经执行成功的所述测试用例，当所述测试计划中存在已经执行成功的测试用例时，直接配置所述定制用例集，当所述测试计划中不存在已经执行成功的测试用例时，对所述测试任务中的所述测试用例进行初始化，并对所述测试集的状态进行重置。

进一步地，所述执行选择模块包括重跑分类单元，所述重跑分类单元将需要重跑的测试用例分类为第一定制用例集，将不需要重跑的测试用例分类为第二定制用例集，所述第一定制用例集对应于所述第一测试集路径，所述第二定制用例集对应于所述第二测试集路径。

进一步地，所述执行选择模块对所述测试计划中是否存在已经执行成功的所述测试用例的检测是根据所述数据库中所述执行结果。

本发明实施例提供的技术方案带来的有益效果是：

本发明实施例公开了一种定制化测试集的方法和系统，在对测试集进行定制化的过程中，首先根据测试集是否重跑，建立需要重跑的第一测试集路径和不需要重跑的第二测试集路径；然后分别在所述第一测试集路径和所述第二测试集路径上配置定制用例集，对所述定制用例集中所有测试用例进行执行时，筛选掉已经执行成功的所述测试用例，并将所述测试用例的执行结果更新到数据库中。在对执行成功的测试用例的执行结果更新到数据库中，通过不同的路径定制不同的测试集，在定制化的建立测试集时可以精确的对执行成功的测试用例不再重复执行，解决了重跑多个测试计划的问题，达到了在软件迭代中快速验证维护结果的期望，显著提高自动化测试过程中的执行效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的定制化测试集的方法的一种定制方法示意图；

图2是本发明实施例公开的定制化测试集的方法的一种定制逻辑示意图；

图3是本发明实施例公开的定制化测试集的系统的一种结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

如图1所示，本发明实施例提供了一种定制化测试集的方法，包括以下步骤：

S1：根据测试集是否重跑，建立需要重跑的第一测试集路径和不需要重跑的第二测试集路径；

S2：分别在所述第一测试集路径和所述第二测试集路径上配置定制用例集，对所述定制用例集中所有测试用例进行执行时，筛选掉已经执行成功的所述测试用例，并将所述测试用例的执行结果更新到数据库中。

具体地，如图2公开的定制化测试集的方法的一种逻辑示意图，从图中可以看出整个测试集的定制过程，其中在判断的过程中N表示否，Y表示是，首先进行的是测试集是否重跑的判断，也即是确定根据是否进行测试集的重跑建立不同的测试路径，其中对不需要重跑的第二测试集路径再次进行测试计划中是否已经存在执行成功的测试用例的判断，从而再次将第二测试路径进行分开，从而精确的筛选掉已经执行成功的测试用例，避免了重复执行的情况，在对执行成功的测试用例的执行结果更新到数据库中，通过不同的路径定制不同的测试集，在定制化的建立测试集时可以精确的对执行成功的测试用例不再重复执行，解决了重跑多个测试计划的问题，达到了在软件迭代中快速验证维护结果的期望，显著提高自动化测试过程中的执行效率。

优选地，建立所述第二测试集路径后包括对所述测试集进行初始化，并对所述测试集的状态进行重置。其中，对于不需要重跑的测试集直接进行测试用例的初始化，包括对测试计划中所有测试用例的状态进行重置，使得后续对于定制的第二定制用例集中包括执行成功、执行失败和未执行的所有测试用例。

优选地，建立所述第一测试集路径后包括检测测试计划中是否存在已经执行成功的所述测试用例，当所述测试计划中存在已经执行成功的测试用例时，直接配置所述定制用例集，当所述测试计划中不存在已经执行成功的测试用例时，对所述测试任务中的所述测试用例进行初始化，并对所述测试集的状态进行重置。进一步地，对所述测试计划中是否存在已经执行成功的所述测试用例的检测是根据所述数据库中所述执行结果。如图2所示的定制过程，在每次对测试用例进行执行后，都会在数据库中更新测试用例的执行结果，以便后续对需要重跑的且执行成功的测试用例进行数据上的筛选，从而保证第二测试集路径中对于执行成功的测试用例都能够进行精确性、针对性强的排除，保证每一次重跑都不会重复执行，也即是在第一定制用例集以及仅仅只有执行失败或者未执行的测试用例，提高了执行的精确度和执行的效率，例如，在快速的UI迭代中，很多失败用例实际是由同一UI界面变更导致的，在维护这些用例的过程中，通过定制用例集可以保证在验证过程中需执行的测试用例较少，提高对于UI界面迭代的测试效率。

优选地，所述定制用例集包括需要重跑的第一定制用例集和不需要重跑的第二定制用例集，所述第一定制用例集对应于所述第一测试集路径，所述第二定制用例集对应于所述第二测试集路径。具体地，第二定制用例集中的所有测试用例都需要执行，第一定制用例集中已经不包括数据库中记载的以及执行成功的测试用例，因此，通过第一测试集路径可以快速完成测试用例的执行，其中，数据库中保存有所有的执行结果，包括有执行失败、未执行和执行成功的，数据库为自动对执行成功的进行标记定位，方便下一次进行执行结果检测和筛选时精确定位，避免了目前技术中对执行失败的数据代码关联时出现关联错误的情况，显著提高了执行的针对性。

实施例二：

如图3所示，本实施例提供了一种定制化测试集的系统，包括：

路径建立模块1，用于根据测试集的是否重跑，建立需要重跑的第一测试集路径和不需要重跑的第二测试集路径；

执行选择模块2，用于在所述第一测试集路径和所述第二测试集路径上配置定制用例集，对所述定制用例集中所有测试用例进行执行时，筛选掉已经执行成功的所述测试用例，并将所述测试用例的执行结果更新到数据库3中。

具体地，路径建立模块1首先进行的是测试集是否重跑的判断，也即是确定根据是否进行测试集的重跑建立不同的测试路径，执行选择模块2再对不需要重跑的第二测试集路径再次进行测试计划中是否已经存在执行成功的测试用例的判断，从而再次将第二测试路径进行分开，从而精确的筛选掉已经执行成功的测试用例，避免了重复执行的情况，在对执行成功的测试用例的执行结果更新到数据库3中，通过不同的路径定制不同的测试集，在定制化的建立测试集时可以精确的对执行成功的测试用例不再重复执行，解决了重跑多个测试计划的问题，达到了在软件迭代中快速验证维护结果的期望，显著提高自动化测试过程中的执行效率。

优选地，所述路径建立模块1包括有初始化单元11，所述初始化单元11用于在建立所述第二测试集路径后包括对所述测试集进行初始化，并对所述测试集的状态进行重置。其中，对于不需要重跑的测试集直接进行测试用例的初始化，包括对测试计划中所有测试用例的状态进行重置，使得后续对于定制的第二定制用例集中包括执行成功、执行失败和未执行的所有测试用例。

优选地，所述执行选择模块2包括有执行结果判断单元21，所述执行结果判断单元21用于在建立所述第一测试集路径后包括检测测试计划中是否存在已经执行成功的所述测试用例，当所述测试计划中存在已经执行成功的测试用例时，直接配置所述定制用例集，当所述测试计划中不存在已经执行成功的测试用例时，对所述测试任务中的所述测试用例进行初始化，并对所述测试集的状态进行重置。进一步地，所述执行选择模块2对所述测试计划中是否存在已经执行成功的所述测试用例的检测是根据所述数据库3中所述执行结果。在每次对测试用例进行执行后，都会在数据库3中更新测试用例的执行结果，以便后续对需要重跑的且执行成功的测试用例进行数据上的筛选，从而保证第二测试集路径中对于执行成功的测试用例都能够进行精确性、针对性强的排除，保证每一次重跑都不会重复执行，也即是在第一定制用例集以及仅仅只有执行失败或者未执行的测试用例，提高了执行的精确度和执行的效率，例如，在快速的UI迭代中，很多失败用例实际是由同一UI界面变更导致的，在维护这些用例的过程中，通过定制用例集可以保证在验证过程中需执行的测试用例较少，提高对于UI界面迭代的测试效率。

优选地，所述执行选择模块2包括重跑分类单元22，所述重跑分类单元22将需要重跑的测试用例分类为第一定制用例集，将不需要重跑的测试用例分类为第二定制用例集，所述第一定制用例集对应于所述第一测试集路径，所述第二定制用例集对应于所述第二测试集路径。具体地，第二定制用例集中的所有测试用例都需要执行，第一定制用例集中已经不包括数据库3中记载的以及执行成功的测试用例，因此，通过第一测试集路径可以快速完成测试用例的执行，其中，数据库3中保存有所有的执行结果，包括有执行失败、未执行和执行成功的，数据库3为自动对执行成功的进行标记定位，方便下一次进行执行结果检测和筛选时精确定位，避免了目前技术中对执行失败的数据代码关联时出现关联错误的情况，显著提高了执行的针对性。

上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。

需要说明的是：上述实施例提供的定制化测试集的系统在对测试集进行定制化时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将定制化测试集的系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的定制化测试集的系统与定制化测试集的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种定制化测试集的方法，其特征在于，包括以下步骤：

根据测试集是否重跑，建立需要重跑的第一测试集路径和不需要重跑的第二测试集路径；

分别在所述第一测试集路径和所述第二测试集路径上配置定制用例集，对所述定制用例集中所有测试用例进行执行时，筛选掉已经执行成功的所述测试用例，并将所述测试用例的执行结果更新到数据库中；

其中，分别在所述第一测试集路径和所述第二测试集路径上配置定制用例集，具体包括：

在所述第一测试集路径上配置需要重跑的第一定制用例集；

在所述第二测试集路径上配置不需要重跑的第二定制用例集；

在建立需要重跑的第一测试集路径之后，所述方法还包括：

检测测试计划中是否存在已经执行成功的所述测试用例；

对所述定制用例集中所有测试用例进行执行时，筛选掉已经执行成功的所述测试用例，具体包括：

对所述第二定制用例集中所有测试用例进行执行时，筛选掉已经执行成功的所述测试用例。

2.根据权利要求1所述的定制化测试集的方法，其特征在于，在建立所述第二测试集路径之后，所述方法还包括：

对所述测试集进行初始化，并对所述测试集的状态进行重置；其中，所述测试集为所述第二定制用例集。

3.根据权利要求1所述的定制化测试集的方法，其特征在于，所述检测测试计划中是否存在已经执行成功的所述测试用例，具体包括：

当所述测试计划中存在已经执行成功的测试用例时，直接配置所述定制用例集，当所述测试计划中不存在已经执行成功的测试用例时，对测试任务中的所述测试用例进行初始化，并对所述测试集的状态进行重置。

4.根据权利要求3所述的定制化测试集的方法，其特征在于，对所述测试计划中是否存在已经执行成功的所述测试用例的检测是根据所述数据库中所述执行结果。

5.一种定制化测试集的系统，其特征在于，包括：

路径建立模块，用于根据测试集的是否重跑，建立需要重跑的第一测试集路径和不需要重跑的第二测试集路径；

执行选择模块，用于在所述第一测试集路径和所述第二测试集路径上配置定制用例集，对所述定制用例集中所有测试用例进行执行时，筛选掉已经执行成功的所述测试用例，并将所述测试用例的执行结果更新到数据库中；

其中，所述执行选择模块包括重跑分类单元，所述重跑分类单元将需要重跑的测试用例分类为第一定制用例集，将不需要重跑的测试用例分类为第二定制用例集；

所述执行选择模块具体用于在所述第一测试集路径上配置需要重跑的第一定制用例集、在所述第二测试集路径上配置不需要重跑的第二定制用例集；

所述系统还包括执行结果判断单元，所述执行结果判断单元用于在建立所述第一测试集路径之后检测测试计划中是否存在已经执行成功的所述测试用例；

所述执行选择模块具体用于对所述第二定制用例集中所有测试用例进行执行时，筛选掉已经执行成功的所述测试用例。

6.根据权利要求5所述的定制化测试集的系统，其特征在于，所述路径建立模块包括有初始化单元，所述初始化单元用于在建立所述第二测试集路径之后对所述测试集进行初始化，并对所述测试集的状态进行重置；其中，所述测试集为所述第二定制用例集。

7.根据权利要求5所述的定制化测试集的系统，其特征在于，所述执行结果判断单元具体用于当所述测试计划中存在已经执行成功的测试用例时，直接配置所述定制用例集，当所述测试计划中不存在已经执行成功的测试用例时，对测试任务中的所述测试用例进行初始化，并对所述测试集的状态进行重置。

8.根据权利要求7所述的定制化测试集的系统，其特征在于，所述执行选择模块对所述测试计划中是否存在已经执行成功的所述测试用例的检测是根据所述数据库中所述执行结果。

Images