CN110515843B

CN110515843B - 基于缺陷集合与倒排索引的测试用例优先排序方法

Info

Publication number: CN110515843B
Application number: CN201910745043.5A
Authority: CN
Inventors: 朱建文; 曹亚红; 陈琛
Original assignee: Chengdu Aircraft Industrial Group Co Ltd
Current assignee: Chengdu Aircraft Industrial Group Co Ltd
Priority date: 2019-08-13
Filing date: 2019-08-13
Publication date: 2022-05-06
Anticipated expiration: 2039-08-13
Also published as: CN110515843A

Abstract

本发明涉及软件测试技术领域，特别涉及一种基于缺陷集合与倒排索引的测试用例优先排序方法。将软件缺陷进行分类，形成缺陷集合；将缺陷集合与测试用例建立倒排索引关系，形成测试用例集合；根据缺陷集合的等级和软件缺陷个数，计算缺陷集合权值；依据缺陷集合权值依次执行缺陷集合关联的测试用例集合。本发明的基于缺陷集合与倒排索引的测试用例优先排序方法，将功能缺陷进行分类形成缺陷集合，建立缺陷集合与测试用例的倒排索引形成测试用例集合，按缺陷等级计算缺陷集合权重，按权重大小进行排序提高测试用例排序效率，多轮回归测试过程中动态调整缺陷集合权值，使缺陷集合权值较高的相关测试用例优先执行，提高回归测试的执行效率。

Description

基于缺陷集合与倒排索引的测试用例优先排序方法

技术领域

本发明涉及软件测试技术领域，特别涉及一种基于缺陷集合与倒排索引的测试用例优先排序方法。

背景技术

在软件生命周期中的任何一个阶段, 只要软件发生了改变，就可能给该软件带来问题。软件的改变可能是源于发现了错误并做了修改，也有可能是因为在集成或维护阶段加入了新的模块。当软件中所含错误被发现时, 如果错误跟踪与管理系统不够完善，就可能会遗漏对这些错误的修改；而开发者对错误理解的不够透彻, 也可能导致所做的修改只修正了错误的外在表现，而没有修复错误本身从而造成修改失败；修改还有可能产生副作用从而导致软件未被修改的部分产生新的问题，使本来工作正常的功能产生错误。同样,在有新代码加入软件的时候, 除了新加入的代码中有可能含有错误外新代码还有可能对原有的代码带来影响。因此，每当软件发生变化时，我们就必须重新测试现有的功能，以便确定修改是否达到了预期的目的，检查修改是否损害了原有的正常功能。同时, 还需要补充新的测试用例来测试新的或被修改了的功能。为了验证修改的正确性及其影响就需要进行回归测试。

回归测试作为软件生命周期的一个组成部分，在整个软件测试过程中占有很大的工作量比重，软件开发的各个阶段都会进行多次回归测试。在渐进和快速迭代开发中，新版本的连续发布使回归测试进行得更加频繁，而在极端编程方法中, 更是要求每天都进行若干次回归测试。因此，通过选择正确的回归测试策略来改进回归测试的效率和有效性是非常有意义的。

但统计数据表明，回归测试一般占软件产品测试预算的80%以上，占软件维护预算的50%以上，为此如何降低回归测试成本、提高回归测试效率成为软件测试的研究热点，测试用例优先排序技术是提高回归测试执行效率的关键技术，通过设定特定排序准则，对测试用例进行排序以优化其执行次序，提升回归测试效率、降低回归测试成本。实践表明，测试用例优先排序技术可以协助测试人员提高缺陷检测速率并使开发人员尽早展开调试工作。

发明内容

本发明的目的在于：提供一种提高回归测试执行效率的基于缺陷集合与倒排索引的测试用例优先排序方法。

本发明通过下述技术方案实现：基于缺陷集合与倒排索引的测试用例优先排序方法，包括以下步骤：

步骤S1:开始，将软件缺陷进行分类，形成缺陷集合；

步骤S2:将缺陷集合与测试用例建立倒排索引关系，形成测试用例集合；

步骤S3:根据缺陷集合中缺陷集合的等级和软件缺陷个数，计算缺陷集合权值；

步骤S4:依据缺陷集合权值由大到小排序，依次执行缺陷集合关联的测试用例集合；

步骤S5:在执行测试用例过程中，当缺陷数量发生变化时，跳转步骤S3；

步骤S6：结束。

进一步地，为了更好的实现本发明，特别采用下述设置：所述的步骤S1中，依据功能业务关联关系将软件缺陷进行分类形成缺陷集合。

进一步地，为了更好的实现本发明，特别采用下述设置：所述的缺陷集合中的软件缺陷和测试用例集合中的测试用例一一对应，针对缺陷集合中的某个软件缺陷可以快速找到对应的测试用例集合中的测试用例。

进一步地，为了更好的实现本发明，特别采用下述设置：所述的缺陷集合的等级分为致命、重要、一般、提示四个等级。

进一步地，为了更好的实现本发明，特别采用下述设置：所述的缺陷集合的权值为Φ，其计算公式为Φ=i·N_i，i=1，2，3，4，其中N_i为各个缺陷等级下的缺陷数量，Φ为缺陷集合的权值，i为缺陷等级，i=1，2，3，4分别对应缺陷集合等级中的提示、一般、重要以及致命四个等级。

进一步地，为了更好的实现本发明，特别采用下述设置：所述的步骤S4中，依次执行缺陷集合关联的测试用例集合时，优先比较含有致命等级缺陷的缺陷集合，即i=4，其权值为Φ=4·N₄，权值Φ较高的缺陷集合优先执行。

进一步地，为了更好的实现本发明，特别采用下述设置：当缺陷集合中致命等级缺陷的权值Φ相同时，则进一步比较缺陷集合中含有重要等级缺陷的权值，权值较高的缺陷集合优先执行。

进一步地，为了更好的实现本发明，特别采用下述设置：当缺陷集合中重要等级缺陷的权值Φ相同时，则进一步比较缺陷集合中含有一般等级缺陷的权值，权值较高的缺陷集合优先执行。

进一步地，为了更好的实现本发明，特别采用下述设置：当缺陷集合中一般等级缺陷的权值Φ相同时，则进一步比较缺陷集合中含有提示等级缺陷的权值，权值较高的缺陷集合优先执行。

本发明与现有技术相比，具有以下优点及有益效果：本发明的基于缺陷集合与倒排索引的测试用例优先排序方法，将功能缺陷进行分类形成缺陷集合，建立缺陷集合与测试用例的倒排索引形成测试用例集合，按缺陷等级计算缺陷集合权重，按权重大小进行排序提高测试用例排序效率，多轮回归测试过程中动态调整缺陷集合权值，使缺陷集合权值较高的相关测试用例优先执行，提高回归测试的执行效率。

本发明方法在考虑缺陷之间关联性的前提下，提高测试用例的排序效率、优化测试用例的执行顺序，进而提升了回归测试的测试效率和降低回归测试成本。

附图说明

图1为本发明的基于缺陷集合与倒排索引的测试用例优先排序方法的一种流程框图；

图2为本发明的基于缺陷集合与倒排索引的测试用例优先排序方法的分类架构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1：

本发明通过下述技术方案实现，如图1、图2所示，本发明的基于缺陷集合与倒排索引的测试用例优先排序方法，包括以下步骤：

步骤S1:开始，将软件缺陷进行分类，形成缺陷集合；

步骤S6：结束。

本发明的基于缺陷集合与倒排索引的测试用例优先排序方法，将功能缺陷进行分类形成缺陷集合，建立缺陷集合与测试用例的倒排索引形成测试用例集合，按缺陷等级计算缺陷集合权重，按权重大小进行排序提高测试用例排序效率，多轮回归测试过程中动态调整缺陷集合权值，使缺陷集合权值较高的相关测试用例优先执行，提高回归测试的执行效率。首先，收集软件缺陷，并将软件缺陷进行分类，形成多个缺陷集合；接着将缺陷集合与测试用例建立倒排索引关系，形成测试用例集合；然后根据缺陷集合的等级和软件缺陷个数计算缺陷集合的权值，按照权值从大到小的顺序依次执行测试用例集合；在测试过程中，当缺陷数量发生变化时，重新计算缺陷集合的权值，重新按照权值从大到小的顺序依次执行测试用例集合，直至测试完毕；按权重大小进行排序提高测试用例排序效率，多轮回归测试过程中动态调整缺陷集合权值，使缺陷集合权值较高的相关测试用例优先执行，提高回归测试的执行效率。

实施例2：

本实施例在上述实施例的基础上做进一步优化，所述的步骤S1中，依据功能业务关联关系将软件缺陷进行分类形成缺陷集合。由于考虑测试缺陷之间的关联关系，即某些功能缺陷是由相关模块的缺陷引起的，因此依据功能业务关联关系将缺陷进行分类形成缺陷集合，具有较好的测试反馈效果和执行效率。

实施例3：

本实施例在上述实施例的基础上做进一步优化，所述的缺陷集合中的软件缺陷和测试用例集合中的测试用例一一对应，针对缺陷集合中的某个软件缺陷可以快速找到对应的测试用例集合中的测试用例。为了提升测试用例的执行效率，测试用例和缺陷集合建立倒排索引形成测试用例集合，缺陷集合中的功能缺陷和测试用例集合中的测试用例一一对应，针对缺陷集合中的某个功能缺陷可以快速找到对应的测试用例集合中的测试用例。

实施例4：

本实施例在上述实施例的基础上做进一步优化，所述的缺陷集合的等级分为致命、重要、一般、提示四个等级。所述的缺陷集合的权值为Φ，其计算公式为Φ=i·N_i，i=1，2，3，4，其中N_i为各个缺陷等级下的缺陷数量，Φ为缺陷集合的权值，i为缺陷等级，i=1，2，3，4分别对应缺陷集合等级中的提示、一般、重要以及致命四个等级。

实施例5：

本实施例在上述实施例的基础上做进一步优化，所述的步骤S4中，依次执行缺陷集合关联的测试用例集合时，优先比较含有致命等级缺陷的缺陷集合，即i=4，其权值为Φ=4·N₄，权值Φ较高的缺陷集合优先执行，若都是致命等级，但是优先执行N大的测试用例集合，此时N越大，其权值Φ越高。当缺陷集合中致命等级缺陷的权值Φ相同时，则进一步比较缺陷集合中含有重要等级缺陷的权值，权值较高的缺陷集合优先执行。当缺陷集合中重要等级缺陷的权值Φ相同时，则进一步比较缺陷集合中含有一般等级缺陷的权值，权值较高的缺陷集合优先执行。当缺陷集合中一般等级缺陷的权值Φ相同时，则进一步比较缺陷集合中含有提示等级缺陷的权值，权值较高的缺陷集合优先执行。

作为一种优选的实施方式，首先，考虑测试缺陷之间的关联关系，即某些功能缺陷是由相关模块的缺陷引起的，因此依据功能业务关联关系将缺陷进行分类形成缺陷集合，例如某些功能模块的输入是某些功能模块的输出，还可以将同类缺陷分成一类，例如各个模块通用功能的缺陷等等。

然后，为了提升测试用例的执行效率，测试用例和缺陷集合建立倒排索引形成测试用例集合，缺陷集合中的软件缺陷（主要为功能缺陷）和测试用例集合中的测试用例一一对应，针对缺陷集合中的某个软件缺陷可以快速找到对应的测试用例集合中的测试用例，建立过程如图2所示，缺陷集合①对应的缺陷编号为Ⅰ、Ⅳ，与测试用例Case1和Case4建立倒排索引。

然后，依据缺陷集合中的缺陷等级和缺陷个数计算缺陷集合的权值。缺陷等级分为致命、重要、一般、提示四个等级。所述的缺陷集合的权值为Φ，其计算公式为Φ=i·N_i，i=1，2，3，4，其中N_i为各个缺陷等级下的缺陷数量，Φ为缺陷集合的权值，i为缺陷等级，i=1，2，3，4分别对应缺陷集合等级中的提示、一般、重要以及致命四个等级。

然后，权值较高的缺陷集合优先执行，依据缺陷集合的排序准则为：依次执行缺陷集合关联的测试用例集合，优先比较含有致命等级缺陷的缺陷集合，即i=4，其权值为Φ=4·N₄，权值Φ较高的缺陷集合优先执行，若都是致命等级，但是优先执行N大的测试用例集合，此时N越大，其权值Φ越高。当缺陷集合中致命等级缺陷的权值Φ相同时，则进一步比较缺陷集合中含有重要等级缺陷的权值，权值较高的缺陷集合优先执行。当缺陷集合中重要等级缺陷的权值Φ相同时，则进一步比较缺陷集合中含有一般等级缺陷的权值，权值较高的缺陷集合优先执行。当缺陷集合中一般等级缺陷的权值Φ相同时，则进一步比较缺陷集合中含有提示等级缺陷的权值，权值较高的缺陷集合优先执行。

在执行测试用例过程中，当缺陷个数发生变化，则需要根据当前缺陷集合中的缺陷个数和缺陷等级重新计算缺陷集合的权值，优化缺陷集合的排序，进而优化测试用例集合的排序。

实施效果评估：假设测试用例数量为N，缺陷集合数量为M，显然可知M<N，直接对测试用例排序的平均时间复杂度为O（N log N）。按照本发明方法，对测试用例优先排序的时间消耗分为两个方面：一方面，依据功能缺陷集合分类，按缺陷等级进行排序的时间复杂度为O（M log M），另一方面，由于缺陷集合与测试用例建立倒排索引，当缺陷集合排序完成后，可在常数时间复杂度内找到相应的测试用例进行执行，显然可知，本发明方法对测试用例优先排序的时间复杂度为O（M log M）。在多轮回归测试中，会根据前一轮的回归测试结果优化测试用例的排序顺序，进一步提高测试用例的执行效率。本发明方法在考虑缺陷之间关联性的前提下，提高测试用例的排序效率、优化测试用例的执行顺序，进而提升了回归测试的测试效率和降低回归测试成本。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims

1.基于缺陷集合与倒排索引的测试用例优先排序方法，其特征在于包括以下步骤：

步骤S1:开始，将软件缺陷进行分类，形成缺陷集合；所述的步骤S1中，依据功能业务关联关系将软件缺陷进行分类形成缺陷集合；所述的缺陷集合中的软件缺陷和测试用例集合中的测试用例一一对应，针对缺陷集合中的某个软件缺陷可以快速找到对应的测试用例集合中的测试用例；所述的缺陷集合的等级分为致命、重要、一般、提示四个等级；所述的缺陷集合的权值为Φ，其计算公式为Φ=i·N_i，i=1，2，3，4，其中N_i为各个缺陷等级下的缺陷数量，Φ为缺陷集合的权值，i为缺陷等级，i=1，2，3，4分别对应缺陷集合等级中的提示、一般、重要以及致命四个等级；

步骤S4:依据缺陷集合权值由大到小排序，依次执行缺陷集合关联的测试用例集合；所述的步骤S4中，依次执行缺陷集合关联的测试用例集合时，优先比较含有致命等级缺陷的缺陷集合，即i=4，其权值为Φ=4·N₄，权值Φ较高的缺陷集合优先执行；

步骤S6：结束。

2.根据权利要求1所述的基于缺陷集合与倒排索引的测试用例优先排序方法，其特征在于：当缺陷集合中致命等级缺陷的权值Φ相同时，则进一步比较缺陷集合中含有重要等级缺陷的权值，权值较高的缺陷集合优先执行。

3.根据权利要求2所述的基于缺陷集合与倒排索引的测试用例优先排序方法，其特征在于：当缺陷集合中重要等级缺陷的权值Φ相同时，则进一步比较缺陷集合中含有一般等级缺陷的权值，权值较高的缺陷集合优先执行。

4.根据权利要求2所述的基于缺陷集合与倒排索引的测试用例优先排序方法，其特征在于：当缺陷集合中一般等级缺陷的权值Φ相同时，则进一步比较缺陷集合中含有提示等级缺陷的权值，权值较高的缺陷集合优先执行。