CN103019933B - 测试用例覆盖度自动识别方法及装置 - Google Patents

Abstract

本发明提供了一种测试用例覆盖度自动识别方法及装置，该方法包括：将混合源码分离为系统源码和用户源码；根据原始的覆盖率信息，针对所述用户源码进行统计分析，重新计算所述用户源码的有效覆盖率；将所述有效覆盖率与预设的覆盖率阈值进行比较，若所述有效覆盖率不小于所述预设的覆盖率阈值，则测试结束，否则给出告警信息。本发明能够提高测试用例的覆盖度、识别准确度，并能够快速定位没有被测试用例覆盖的源码位置。

Description

测试用例覆盖度自动识别方法及装置

技术领域

本发明涉及代码测试技术，尤其涉及一种测试用例覆盖度自动识别方法及装置。

背景技术

测试人员对软件产品进行测试时，往往不能量化判断测试用例设计是否全面，测试是否完全，因此会出现软件上线后才发现漏测的问题，导致需要重新开发，再次测试。如此不断循环，既影响到软件质量、浪费测试资源，又导致软件发布周期延长。

图1示出了现有技术中的一种测试覆盖率统计方法，包括：在步骤11处，增加编译选项，例如可以对源码编译信息进行配置，该源码编译信息可以包括编译时产生的源码文件名、代码行信息以及程序流信息；在步骤12处，产生源码信息；在步骤13处，执行测试用例；在步骤14处，产生语句覆盖信息，该语句覆盖信息例如可以包括用例运行结束后记录的语句所在文件名、语句行号信息、语句执行次数以及每个基本块执行次数等信息；在步骤15处，产生覆盖率报告。该方法使用简便，在用例运行一遍后，可以给出所有源码的覆盖率情况，可以给出已经覆盖到的源码行和未覆盖到的源码行信息。现有技术中的覆盖率工具通常都采用图1所示的方法。

现有技术的覆盖率统计方法具有覆盖率不准确、无法自动识别测试用例设计是否全面等问题。

发明内容

本发明要解决的技术问题是提供一种测试用例覆盖度自动识别方法及装置，能够提高测试用例的覆盖度、识别准确度，并能够快速定位没有被测试用例覆盖的源码位置。

为解决上述技术问题，本发明提供了一种测试用例覆盖度自动识别方法，包括：

将混合源码分离为系统源码和用户源码；

根据原始的覆盖率信息，针对所述用户源码进行统计分析，重新计算所述用户源码的有效覆盖率；

将所述有效覆盖率与预设的覆盖率阈值进行比较，若所述有效覆盖率不小于所述预设的覆盖率阈值，则测试结束，否则给出告警信息。

根据本发明的一个实施例，在给出告警信息时，还一并获取所述用户源码中的未覆盖有效源码。

根据本发明的一个实施例，所述原始的覆盖率信息是通过执行测试用例获得的，在执行每一测试用例后还一并记录该测试用例的用例号，并将该测试用例的用例号以及该测试用例覆盖的用户源码有效代码行的行号信息记录为用例源码映射信息，所述用户源码有效代码指的是所述用户源码中符合预定义的有效代码行规则的代码行。

根据本发明的一个实施例，获取所述用户源码中的未覆盖有效源码包括:

将当前的用户源码与旧用户源码进行比对，根据所述有效代码行规则对比对所得的差异代码行进行有效代码行判断，以获取有效差异代码行信息；

根据所述有效差异代码行信息查询所述用例源码映射信息，若未查询到与所述有效差异代码行信息对应的用例号，则输出该有效代码行信息。

根据本发明的一个实施例，所述有效覆盖率包括有效语句覆盖率、有效函数覆盖率和有效分支覆盖率，所述有效覆盖率不小于所述预设的覆盖率阈值指的是所述有效语句覆盖率不小于预设的语句覆盖率阈值、所述有效函数覆盖率不小于预设的函数覆盖率阈值并且所述有效分支覆盖率不小于预设的分值覆盖率阈值。

本发明还提供了一种测试用例覆盖度自动识别装置，包括：

源码分离模块，将混合源码分离为系统源码和用户源码；

有效覆盖率重新计算模块，根据原始的覆盖率信息，针对所述用户源码进行统计分析，重新计算所述用户源码的有效覆盖率；

测试告警模块，将所述有效覆盖率与预设的覆盖率阈值进行比较，若所述有效覆盖率不小于所述预设的覆盖率阈值，则测试结束，否则给出告警信息。

根据本发明的一个实施例，所述装置还包括：未覆盖有效源码获取模块，在所述有效覆盖率小于所述预设的覆盖率阈值时，获取所述用户源码中的未覆盖有效源码。

根据本发明的一个实施例，所述原始的覆盖率信息是通过执行测试用例获得的，所述装置还包括：

用例源码映射信息生成模块，在执行每一测试用例后还一并记录该测试用例的用例号，并将该测试用例的用例号以及该测试用例覆盖的用户源码有效代码行的行号信息记录为用例源码映射信息，所述用户源码有效代码指的是所述用户源码中符合预定义的有效代码行规则的代码行。

根据本发明的一个实施例，所述未覆盖有效源码获取模块包括：

比对单元，将当前的用户源码与旧用户源码进行比对，根据所述有效代码行规则对比对所得的差异代码行进行有效代码行判断，以获取有效差异代码行信息；

查询单元，根据所述有效差异代码行信息查询所述用例源码映射信息，若未查询到与所述有效差异代码行信息对应的用例号，则输出该有效代码行信息。

根据本发明的一个实施例，所述有效覆盖率包括有效语句覆盖率、有效函数覆盖率和有效分支覆盖率，所述有效覆盖率不小于所述预设的覆盖率阈值指的是所述有效语句覆盖率不小于预设的语句覆盖率阈值、所述有效函数覆盖率不小于预设的函数覆盖率阈值并且所述有效分支覆盖率不小于预设的分值覆盖率阈值。

与现有技术相比，本发明具有以下优点：

本发明实施例的测试用例覆盖度自动识别方法对混合源码进行分析和分离，根据预定义的用户源码规则进行筛选，得到用户源码，并根据原始的覆盖率信息仅针对分离得到的用户源码进行统计分析，重新计算得到用户源码的有效覆盖率，之后与预设的覆盖率阈值比较，判断测试是否完全。由于本发明实施例针对分离得到的用户源码进行统计分析，因而覆盖率更加准确，也有利于降低测试成本。

进一步地，在测试不完全时，本发明实施例还能够准确展示变更的代码中有哪些有效代码行没有被覆盖，从而能够有的放矢地设计测试用例，有利于提高测试效率。

附图说明

图1示出了现有技术中的一种测试覆盖率统计方法；

图2示出了现有技术中的覆盖率统计方法；

图3示出了本发明实施例的覆盖度自动识别方法；

图4和图5示出了本发明实施例对于无测试用例的新增用户源码的处理方法；

图6示出了本发明实施例的覆盖度自动识别方法的详细流程图；

图7示出了本发明实施例的覆盖度自动识别装置的结构框图。

具体实施方式

下面结合具体实施例和附图对本发明作进一步说明，但不应以此限制本发明的保护范围。

参考图2，现有技术中，覆盖率22是根据混合源码信息21得到的，该混合源码通常包括系统源码和用户源码，其中系统源码是系统中固有的源代码，其内容相对固定；而用户源码是用户自定义的源代码，在开发过程中经常需要变更，系统源码和用户源码二者是相对的概念。而现有技术中，语句覆盖率统计方法是把系统源码与用户源码混合在一起计算的。发明人发现，现有技术由于用户定义的源码与系统文件混合，因此在需要只统计用户定义的源码覆盖率时，会导致覆盖率不准确，降低了覆盖率工具的指导意义；另外，采用现有技术的方法无法自动识别测试用例的设计是否全面，而且当增加注释行等无效代码时，无法实现自动化过滤，需要人工判断哪些代码行是无效代码，效率低下。

下面对本发明实施例的测试用例覆盖度自动识别方法进行详细说明，该方法包括：将混合源码分离为系统源码和用户源码；根据原始的覆盖率信息，针对所述用户源码进行统计分析，重新计算所述用户源码的有效覆盖率；将所述有效覆盖率与预设的覆盖率阈值进行比较，若所述有效覆盖率不小于所述预设的覆盖率阈值，则测试结束，否则给出告警信息。

参考图3，在32处，对混合源码31进行分离处理，得到系统源码33和用户源码34。分离过程例如可以根据设定的用户源码规则进行，比如测试人员可以输入用户自定义的源码模块的名称，将其与系统源码区分开，或者测试人员也可以输入用户源码的目录名称，将其与系统源码分离。分离之后，后续将仅对用户源码进行操作处理，使得后续的覆盖率统计更加具有针对性和可读性。

在分离得到用户源码之后，还可以根据预先定义的有效代码行规则进行筛选，将其中的有效代码行筛选出来。其中，有效代码行指的是应当被识别的、具有实质功能的代码行，例如注释行、空行和头文件的加载行是无效代码行，不应当被覆盖率工具识别，而能够被覆盖率工具识别的代码行称为有效代码行。有效代码行规则所定义的就是符合何种规则的代码行可以被认定为是有效代码行。

在36处，根据用户源码覆盖信息35，针对用户源码34重新计算用户源码34的有效覆盖率。由于测试往往只关心用户自定义的源码，因此只计算用户源码的有效覆盖率，可以提高测试判断的准确度，也有利于提高测试效率。其中，用户源码覆盖信息35是原始的覆盖信息，例如是前一次执行测试用例生成的覆盖信息。

有效覆盖率可以包括语句覆盖率、函数覆盖率、分支覆盖率中的一项或多项，或者还可以包括本领域技术人员公知的其他覆盖率的衡量方式。作为一个非限制性的例子，本实施例中的有效覆盖率包括语句覆盖率、函数覆盖率、分支覆盖率三项。

其中，有效语句覆盖率的含义如下：测试用例执行后，至少被执行一次的语句数量占有效代码总行数的比例，可以用effLineCov表示，即：

effLineCov＝(至少被执行一次的语句数量/有效代码行数)*100％；

有效函数覆盖率的含义如下：测试用例执行后，至少被执行一次的函数数量占有效函数总个数的比例，可以用effFunCov表示，即：

effFunCov＝(覆盖到的函数个数/有效函数总个数)*100％；

有效分支覆盖率的含义如下：测试用例执行后，会产生相应的分支覆盖信息，至少被执行一次的分支数量占有效分支总个数的比例，可以用effBranCov表示，即：

effBranCov＝(覆盖到的分支个数/有效分支总个数)*100％。

在37处，将重新计算所得的有效覆盖率与预设的覆盖率阈值进行比较，如果计算所得的有效覆盖率不小于覆盖率阈值，则测试结束，否则给出告警信息。其中，覆盖率阈值是预先设定的，用户可以根据项目的不断进行对该阈值的经验值进行调整。作为一个非限制性的例子，在本实施例中，需要同时满足以下三个条件才结束测试：有效语句覆盖率不小于语句覆盖率阈值；有效函数覆盖率不小于函数覆盖率阈值；有效分支覆盖率不小于分支覆盖率阈值。其中任一条件不满足，则给出告警信息，提示用户当前的测试用例还不够完善，测试并不完全。

作为一个优选的实施例，在用户源码的有效覆盖率小于预设的覆盖率阈值时，还可以获取用户源码中的未覆盖有效源码，向用户提示用户源码中测试不全面的有效代码行。其中，获取的未覆盖有效源码的相关信息可以包括相关的文件名、代码行号等信息。

参考图4，在有效覆盖率小于阈值时，提示测试不完全，并给出未覆盖到的用户源码信息(即未覆盖有效源码)。在实际测试过程中，这部分往往是用户新增的源码，准确地给出未覆盖有效源码的位置，能够减少人工阅读代码时间，提高测试效率。例如，对于用户源码新增第m行至第n行41，可以分别设计用例1至用例n对其进行测试，以对其进行覆盖。

参考图5，图5在图4基础上示出了更加详细的处理过程。在51处，对于用户源码新增第m行至n行，在52处，根据有效代码行规则对其进行筛选，获取其中的有效代码行，得到新增有效代码第m至p行，……，新增有效代码第z至n行。之后对于每一部分的新增有效代码，分别设计测试用例，例如用例1至用例n，以实现对新增代码的覆盖。

参考图6，图6示出了覆盖度自动识别方法的一个具体实例，该实例中，在602处，对混合源码601进行分离处理，得到系统源码603和用户源码604。分离操作可以根据预定义的用户源码规则进行，例如用户可以输入用户源码目录名，将系统源码与用户自定义的用户源码分离开来，将混合源码601分离为系统源码603和用户源码604，后续将只对用户源码进行操作。

在605处，重新计算有效覆盖率。进一步而言，可以在612处获取原始的覆盖率信息，之后仅针对用户源码604进行统计分析，重新计算得到用户源码604的有效覆盖率。其中，原始的覆盖率信息的获得方式如下：在610处，修改覆盖率编译选项；在611处，执行用例，从而在612处获得原始覆盖率信息。有效覆盖率可以包括有效语句覆盖率、有效函数覆盖率和有效分支覆盖率。

在重新计算有效覆盖率之后，在606处，将计算所得的有效覆盖率与预设的覆盖率阈值进行比较，如果有效覆盖率不小于预设的覆盖率阈值，则转至607处，测试结束。在本实例中，需要以下三个条件同时满足测试才结束：有效语句覆盖率不小于语句覆盖率阈值；有效函数覆盖率不小于函数覆盖率阈值；有效分支覆盖率不小于分支覆盖率阈值。其中任一条件不满足，则给出告警信息。

在本实例中，如果重新计算的有效覆盖率小于预设的覆盖率阈值，还跳转至608处，获取有效源码变更信息。进一步而言，在609处进行新旧源码比对，更加具体而言，将当前的用户源码604与旧用户源码进行比对，对于比对所得的差异代码行，根据预设的有效代码行规则进行筛选，从而获取有效差异代码行信息，该有效差异代码行信息例如可以包括行号。

在获取有效源码变更信息之后，前进至步骤615，按照行号查询相关用例号。具体而言，在611处执行用例(可以是手工用例也可以是自动化用例)之后，还在613处一并记录执行的用例号，将测试用例的用例号以及该测试用例覆盖的用户源码有效代码行的行号信息集成记录在用例源码映射信息中，也就是得到用例源码映射关系614。用例源码映射信息中可以包括用例号信息、用户源码的文件名、有效代码行的行号信息、内部的流程信息等，其可以采用映射关系表的形式来保存，按照用例号来索引区分。

在615处，按照有效差异代码行信息的行号在用例源码映射关系614中查询与该行号对应的用例号，并在616处对查询结果进行判断，若查询不到则表明该有效差异代码行并未设计用例，则转向步骤617，给出无用例的有效代码行位置，可以和告警信息一并输出至用户。如果查询到有相关的用例，则转向步骤618，判断是否有变更信息，如果无变更信息则前进至步骤607，结束测试；如果有变更信息，则返回至步骤608。

更加具体而言，查询相关用例的步骤可以包括：1)根据获得的有效差异代码行信息，在用例源码映射关系614中查询，如果查询到相应的用例，则表明该差异的有效代码行已经被覆盖到，进入步骤2)，如果查询不到相应的用例，则进入步骤3)；2)进入下一个有效差异代码行信息查询，如果没有有效差异代码行信息，则结束，若还有有效差异代码行信息，则返回步骤1)继续查询；3)存储没有相应用例的有效差异代码行信息；4)输出没有测试用例的有效差异代码行信息，结束测试。

参考图7，本实施例还提供了一种测试用例覆盖度自动识别装置，包括：源码分离模块71，将混合源码分离为系统源码和用户源码；有效覆盖率重新计算模块72，根据原始的覆盖率信息，针对所述用户源码进行统计分析，重新计算所述用户源码的有效覆盖率；测试告警模块73，将所述有效覆盖率与预设的覆盖率阈值进行比较，若所述有效覆盖率不小于所述预设的覆盖率阈值，则测试结束，否则给出告警信息；未覆盖有效源码获取模块75，在所述有效覆盖率小于所述预设的覆盖率阈值时，获取所述用户源码中的未覆盖有效源码；用例源码映射信息生成模块74，在执行每一测试用例后还一并记录该测试用例的用例号，并将该测试用例的用例号以及该测试用例覆盖的用户源码有效代码行的行号信息记录为用例源码映射信息。

其中，未覆盖有效源码获取模块75可以包括：比对单元，将当前的用户源码与旧用户源码进行比对，根据所述有效代码行规则对比对所得的差异代码行进行有效代码行判断，以获取有效差异代码行信息；查询单元，根据所述有效差异代码行信息查询所述用例源码映射信息，若未查询到与所述有效差异代码行信息对应的用例号，则输出该有效代码行信息。

关于该测试用例覆盖度自动识别装置的工作原理和工作过程请参考以上实施例中测试用例覆盖度自动识别方法的描述，这里不再赘述。

综上，本实施例的技术方案首先可以根据预设的覆盖率阈值来判断测试是否完全；其次，当测试不完全时，还可以准确展示有效变更的代码行位置，从而可以多个角度量化判断测试是否完全，给测试人员提供测试判断的依据。当测试不完全时，可以准确给出变更的代码中哪些代码行还没有覆盖到，从而有的放矢地设计测试用例，提高测试效率。

此外，本实施例的技术方案通过分离系统源码和用户源码，能够提高代码覆盖率的判断准确度，从覆盖率的各个维度来提高测试完全的准确率，并能够准确定位到未覆盖到的差异代码位置。

本发明虽然以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。

Claims (10)

1.一种测试用例覆盖度自动识别方法，其特征在于，包括：

将混合源码分离为系统源码和用户源码，所述系统源码是系统各种固有的源代码，其内容固定，所述用户源码是用户自定义的源代码，其内容可变更；

根据原始的覆盖率信息，针对所述用户源码进行统计分析，重新计算所述用户源码的有效覆盖率，所述原始的覆盖率信息是通过执行测试用例获得的，重新计算所述用户源码的有效覆盖率包括：获取所述原始的覆盖率信息，仅针对所述用户源码进行统计分析以计算得到所述用户源码的有效覆盖率；

将所述有效覆盖率与预设的覆盖率阈值进行比较，若所述有效覆盖率不小于所述预设的覆盖率阈值，则测试结束，否则给出告警信息。

2.根据权利要求1所述的测试用例覆盖度自动识别方法，其特征在于，在给出告警信息时，还一并获取所述用户源码中的未覆盖有效源码。

3.根据权利要求2所述的测试用例覆盖度自动识别方法，其特征在于，在执行每一测试用例后还一并记录该测试用例的用例号，并将该测试用例的用例号以及该测试用例覆盖的用户源码有效代码行的行号信息记录为用例源码映射信息，所述用户源码有效代码指的是所述用户源码中符合预定义的有效代码行规则的代码行。

4.根据权利要求3所述的测试用例覆盖度自动识别方法，其特征在于，获取所述用户源码中的未覆盖有效源码包括:

将当前的用户源码与旧用户源码进行比对，根据所述有效代码行规则对比对所得的差异代码行进行有效代码行判断，以获取有效差异代码行信息；

根据所述有效差异代码行信息查询所述用例源码映射信息，若未查询到与所述有效差异代码行信息对应的用例号，则输出该有效代码行信息。

5.根据权利要求1至4中任一项所述的测试用例覆盖度自动识别方法，其特征在于，所述有效覆盖率包括有效语句覆盖率、有效函数覆盖率和有效分支覆盖率，所述有效覆盖率不小于所述预设的覆盖率阈值指的是所述有效语句覆盖率不小于预设的语句覆盖率阈值、所述有效函数覆盖率不小于预设的函数覆盖率阈值并且所述有效分支覆盖率不小于预设的分值覆盖率阈值。

6.一种测试用例覆盖度自动识别装置，其特征在于，包括：

源码分离模块，将混合源码分离为系统源码和用户源码，所述系统源码是系统各种固有的源代码，其内容固定，所述用户源码是用户自定义的源代码，其内容可变更；

有效覆盖率重新计算模块，根据原始的覆盖率信息，针对所述用户源码进行统计分析，重新计算所述用户源码的有效覆盖率，所述原始的覆盖率信息是通过执行测试用例获得的，重新计算所述用户源码的有效覆盖率包括：获取所述原始的覆盖率信息，仅针对所述用户源码进行统计分析以计算得到所述用户源码的有效覆盖率；

测试告警模块，将所述有效覆盖率与预设的覆盖率阈值进行比较，若所述有效覆盖率不小于所述预设的覆盖率阈值，则测试结束，否则给出告警信息。

7.根据权利要求6所述的测试用例覆盖度自动识别装置，其特征在于，还包括：

未覆盖有效源码获取模块，在所述有效覆盖率小于所述预设的覆盖率阈值时，获取所述用户源码中的未覆盖有效源码。

8.根据权利要求7所述的测试用例覆盖度自动识别装置，其特征在于，所述原始的覆盖率信息是通过执行测试用例获得的，所述装置还包括：

用例源码映射信息生成模块，在执行每一测试用例后还一并记录该测试用例的用例号，并将该测试用例的用例号以及该测试用例覆盖的用户源码有效代码行的行号信息记录为用例源码映射信息，所述用户源码有效代码指的是所述用户源码中符合预定义的有效代码行规则的代码行。

9.根据权利要求8所述的测试用例覆盖度自动识别装置，其特征在于，所述未覆盖有效源码获取模块包括：

比对单元，将当前的用户源码与旧用户源码进行比对，根据所述有效代码行规则对比对所得的差异代码行进行有效代码行判断，以获取有效差异代码行信息；

查询单元，根据所述有效差异代码行信息查询所述用例源码映射信息，若未查询到与所述有效差异代码行信息对应的用例号，则输出该有效代码行信息。

10.根据权利要求6至9中任一项所述的测试用例覆盖度自动识别装置，其特征在于，所述有效覆盖率包括有效语句覆盖率、有效函数覆盖率和有效分支覆盖率，所述有效覆盖率不小于所述预设的覆盖率阈值指的是所述有效语句覆盖率不小于预设的语句覆盖率阈值、所述有效函数覆盖率不小于预设的函数覆盖率阈值并且所述有效分支覆盖率不小于预设的分值覆盖率阈值。