CN105468517B

CN105468517B - 一种基于黑盒测试用例约简的统计错误定位方法

Info

Publication number: CN105468517B
Application number: CN201510759523.9A
Authority: CN
Inventors: 姜淑娟; 王兴亚; 高鹏飞; 于巧; 张艳梅; 鞠小林; 王荣存
Original assignee: China University of Mining and Technology CUMT
Current assignee: China University of Mining and Technology CUMT
Priority date: 2015-11-10
Filing date: 2015-11-10
Publication date: 2018-03-02
Anticipated expiration: 2035-11-10
Also published as: CN105468517A

Abstract

本发明涉及一种基于黑盒测试用例约简的统计错误定位方法，针对给定的测试用例集合，利用距离度量方法度量测试用例间的差异程度，从而构建测试用例距离矩阵；在此基础上设置测试需求，采用贪心算法开展测试用例约简工作从而生成满足测试需求的测试用例集，同时收集约简测试用例集的程序覆盖信息和程序执行结果，进而构建测试用例覆盖矩阵；之后开展统计错误定位来度量程序中语句出错的可疑度，最终生成软件错误定位报告。本发明目的在于解决目前存在的统计错误定位方法需要花费较长时间进行测试信息收集的问题，进而大幅提升统计错误定位方法的效率和易用性，提高了程序调试工作效率，从而更好的保证软件的质量。

Description

一种基于黑盒测试用例约简的统计错误定位方法

技术领域

本发明属于软件测试与程序调试领域，尤其是程序调试中的错误定位领域，用于定位软件中错误的程序实体，是一种保障软件质量与可靠性的方法。

背景技术

随着计算机硬件技术的持续发展和应用需求的多样化，计算机软件系统的规模和复杂度不断提升。与此同时，人类社会对软件系统的开发效率和产品质量要求越来越高。软件测试与程序调试是工业界检测并修正软件错误、保证软件质量的主要手段，两者密切相关：首先通过软件测试来检测软件中的错误，然后通过程序调试来定位并修复错误，从而减少软件中的缺陷，提高软件产品的质量与可靠性。

软件错误定位是程序调试过程中的一个重要步骤。据调查显示，程序调试消耗的成本约占所有软件开发和维护成本的50％以上，而错误定位又是程序调试过程中最为耗时和费力的工作。因此，优秀、成功的错误定位过程对提高软件系统开发的效率、保证软件产品的质量有着重要的意义。

统计错误定位方法是一类有效的错误定位方法，该类方法针对程序实体在成功执行和失败执行中的差异利用统计方法度量程序实体与程序失败的关联程度(又称可疑度)，从而生成一个程序实体序列进行错误定位。在统计错误定位过程中，一个重要的步骤就是收集程序在不同执行下的测试信息(如程序覆盖信息、程序执行结果等)，之后再根据这些信息开展错误定位工作。可以看到，测试用例的数量对错误定位的效率有直接的影响。直观的，测试用例数目越多，测试信息越充足，错误定位的效果越好。然而，在实际的软件错误定位过程中，受限于软件开发资源与成本，开发人员难以开展完备的测试工作并收集完整的测试信息。因此，需要在程序执行前预先对测试用例集进行约简，降低覆盖信息收集的规模，进而提高软件错误定位、程序调试的效率。

发明内容

本发明目的在于提供一种基于黑盒测试用例约简的统计错误定位方法，解决目前存在的统计错误定位方法需要花费较长时间进行测试信息收集的问题，进而大幅提升统计错误定位方法的效率和易用性，提高了程序调试工作效率，从而更好的保证软件的质量。

为达成上述目的，本发明提出一种基于黑盒测试用例约简的统计错误定位方法，该方法针对给定的测试用例集合，利用距离度量方法度量测试用例间的差异程度，从而构建测试用例距离矩阵；在此基础上设置测试需求，采用贪心算法开展测试用例约简工作从而生成满足测试需求的测试用例集，同时收集约简测试用例集的程序覆盖信息和程序执行结果，进而构建测试用例覆盖矩阵；之后开展统计错误定位来度量程序中语句出错的可疑度，最终生成软件错误定位报告。具体而言，该方法包括下列步骤。

1)测试用例距离矩阵的构建。给定一个包含n个元素的测试用例集合T，针对T中的每一个测试用例t，根据其内容映射为一个字符串str，并计算该字符串与所有测试用例字符串间的海明距离(Hamming Distance)，从而生成一个长度为n的测试用例距离向量vec_distance。字符串str1与str2的海明距离distance_hamming计算公式如下：

其中，c1_i和c2_i分别表示str1与str2中的第i个字符，函数isEqual(c1_i,c2_i)用于判断c1_i和c2_i是否相同，如果相同返回1，否则返回0。在计算字符串间海明距离时，如果字符串向量长度不同，用字符’0’对短字符串进行补齐，使得字符串间长度相同，从而保证计算正常开展，length表示补齐后字符串的长度。合并n个测试用例距离向量，从而生成1个n*n维的测试用例距离矩阵matrix_distance。

2)测试用例集的自动约简。以1个失败测试用例t_f1初始化选择测试用例集T_selected，根据步骤1)得到的matrix_distance用贪心算法进行测试用例选择：从未选择测试用例集T_unselected中逐步选择与T_selected距离最远的测试用例t_i，并将其加入到T_selected。执行t_i，判断程序执行结果并收集程序覆盖信息。判断T_selected是否已经满足测试需求，如果满足，则停止选择测试用例并将已选择测试用例T_selected作为结果输出，测试用例自动约简完成；如果不满足，则继续选择下一个测试用例。其中，测试需求包括以下2点：T_selected同时包含成功测试用例和失败测试用例，T_selected满足语句覆盖准则。

3)测试用例覆盖矩阵的构建。程序P包含m条语句。针对T_selected中的每个测试用例，根据步骤2)得到的覆盖信息生成1个长度为m的语句向量vector_stmt，向量中每个元素的位置对应程序的1条语句，当覆盖信息包含该语句时，向量对应位置的值为1，否则向量对应位置的值为0。合并n个测试用例的语句向量，生成一个m*n维的语句覆盖矩阵matrix_stmt。根据步骤2)得到的程序执行结果，映射程序在n个测试用例下的执行结果为1个1*n维的执行结果矩阵matrix_result。将matrix_stmt和matrix_result进行合并，生成1个(m+1)*n维的测试用例覆盖矩阵matrix_coverage。

4)软件错误定位报告的生成。针对程序中的每条语句s，根据步骤3)得到的测试用例覆盖矩阵matrix_coverage，计算s的四个属性<n_cs,n_cf,n_us,n_uf>，这些属性表示了s与测试用例成功或失败的关系：

n_cs(s)：T_selected中执行语句s并且执行成功的测试用例个数；

n_cf(s)：T_selected中执行语句s并且执行失败的测试用例个数；

n_us(s)：T_selected中未执行语句s并且执行成功的测试用例个数；

n_uf(s)：T_selected中未执行语句s并且执行失败的测试用例个数；

使用可疑度计算函数Tarantula计算语句s的可疑度(suspiciousness)，如下：

其中n_s和n_f分别表示T_selected中成功测试用例和失败测试用例的数目。所有语句的可疑度计算完成后，按照语句的可疑度降序排列程序中的语句，从而生成软件错误定位报告，提供给开发人员开展错误定位。

进一步，其中上述步骤1)的具体步骤如下：

步骤1)-1：起始状态；

步骤1)-2：将测试用例集T中的每个测试用例映射为1个字符串str；

步骤1)-3：针对T中的每一个测试用例t，计算其对应的字符串与所有的测试用例字符串间的海明距离distance_hamming，从而生成一个关于测试用例t的距离向量vector_distance。海明距离计算公式如下：

其中，c1_i和c2_i分别表示测试用例字符串str1与str2中的第i个字符，函数isEqual(c1_i,c2_i)用于判断c1_i和c2_i是否相同，如果相同返回1，否则返回0；当字符串str1与str2长度不相同时，如果str1长度大于str2时，用’0’对str2进行补齐，反之亦然；length表示补齐后字符串的长度；

步骤1)-4：假设测试用例集T中的元素个数为n，合并所有的测试用例距离向量，生成1个n*n维的测试用例距离矩阵matrix_distance，该矩阵中第i行j列的数据表示第i个测试用例字符串与第j个测试用例字符串间的海明距离；

步骤1)-5：测试用例距离矩阵的自动构建完毕。

进一步，其中上述步骤2)的具体步骤如下：

步骤2)-1：起始状态；

步骤2)-2：随机选择1个失败测试用例t_f1，初始化选择测试用例集合T_selected和未选择测试用例集合T_unselected:

T_selected＝{t_f1}

T_unselected＝T-{t_f1}

步骤2)-3：选择T_unselected中与T_selected距离最远的测试用例t_i。距离最远表示，与T_unselected中的其他测试用例相比，t_i与T_selected的最小距离distance_min最大。函数distance_min(T,t)表示测试用例t与测试用例集T中的最小距离；

步骤2)-4：更新T_selected与T_unselected，在T_selected与T_unselected中分别加入和删除t_i：

T_selected＝T_selected∪

T_unselected＝T_unselected-{t_i}

步骤2)-5：执行t_i，判断并记录程序执行结果，同时收集程序覆盖信息；

步骤2)-6：判断T_selected是否满足测试需求。测试需求包括以下2点：T_selected同时包含成功测试用例和失败测试用例，T_selected满足语句覆盖准则。如果T_selected满足测试需求，继续向下执行，否则回到步骤2)-3；

步骤2)-7：输出符合测试需求的测试用例集T_selected，约简后的测试用例数目为n_selected；

步骤2)-8：测试用例集的自动约简完成。

进一步，其中上述步骤3)的具体步骤如下：

步骤3)-1：起始状态；

步骤3)-2：假设程序中的语句数目为m，将根据步骤2)生成的测试用例集T_selected中的每个测试用例语句覆盖信息映射为一个包含m个元素的语句向量vector_stmt；

步骤3)-3：合并T_selected中所有的测试用例语句向量，生成1个m*n_selected维的语句覆盖矩阵matrix_stmt，该矩阵中第i行j列的数据表示语句s_i是否在测试用例t_j中被覆盖，如果覆盖matrix_stmt_1,j＝1，否则matrix_stmt_1,j＝0；

步骤3)-4：映射程序在T_selected中的执行结果为1个1*n_selected维的程序执行结果矩阵matrix_result，该矩阵中第1行j列的数据表示程序在测试用例t_j中的执行结果，如果程序执行成功matrix_result_i,j＝0，否则matrix_result_i,j＝1；

步骤3)-5：合并matrix_stmt与matrix_result，生成1个(m+1)*n_selected的测试用例覆盖矩阵matrix_coverage。

步骤3)-6：测试用例覆盖矩阵的构建完成。

进一步，其中上述步骤4)的具体步骤如下：

步骤4)-1：起始状态；

步骤4)-2：取出程序中1条未计算可疑度的语句s_i，根据步骤3)生成的测试用例覆盖矩阵matrix_coverage计算与其相关的四元组信息qt(s_i)＝[n_cs,n_cf,n_us,n_uf]，其中n_cs、n_cf、n_us、n_uf的计算方法如下：

步骤4)-3：假设T_selected中成功测试用例和失败测试用例的数目分别为n_s和n_f。用根据可疑度计算公式Tarantula，计算语句s_i包含错误的可疑度suspiciousness，计算公式如下：

步骤4)-4：判断所有可疑度的语句是否计算完成。如果可疑度计算完成，则按照可疑度由高到低降序排列语句并将其作为软件错误定位报告提供给开发人员进一步开展程序调试，否则回到步骤4)-2；

步骤4)-5：软件错误定位报告的生成完毕。

本发明基于黑盒测试用例约简来减少冗余测试信息的收集，大幅提高了软件统计错误定位的效率和易用性；使用了海明距离计算了测试用例间的差异性，采用了贪心算法逐步识别了满足测试需求的测试用例子集，在此基础上利用可疑度计算方法度量语句出错的可能性，从而提供给开发人员进行错误定位。由此，提高了软件错误定位的效率，进一步提高了程序调试的效率，从而更好的保证软件产品的质量。

附图说明

图1为本发明实施中的一种基于黑盒测试用例约简的统计错误定位方法的流程图。

图2为图1中测试用例距离矩阵的构建的流程图。

图3为图1中测试用例集的自动约简的流程图。

图4为图1中测试用例覆盖矩阵的构建的流程图。

图5为图1中软件错误定位报告的生成的流程图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施并配合所附图式说明如下。

图1为本发明实施的一种基于黑盒测试用例约简的统计错误定位方法的流程图。

一种基于黑盒测试用例约简的统计错误定位方法，其特征在于，包括下列步骤。

S1测试用例距离矩阵的构建，给定一个测试用例集，针对其中的每个测试用例将其映射为一个测试用例字符串，利用距离度量方法度量测试用例字符串间的距离，从而生成一个测试用例距离矩阵，该矩阵中的每一个位置记录了两个测试用例间的距离信息。

S2测试用例集的自动约简，设置测试需求，根据S1构建得到的测试用例距离矩阵，利用贪心算法逐步识别最有可能满足测试需求的测试用例，在完成每步的测试用例选择后，执行该测试用例并记录程序执行结果和语句覆盖信息。当选择的测试用例集满足所有的测试需求时，停止测试用例约简，输出已选择的测试用例，测试用例自动约简完成。

S3测试用例覆盖矩阵的构建，针对S2收集的已选择测试用例的程序执行结果和语句覆盖信息，确定程序执行结果是否成功和程序语句是否被覆盖的数值表达方式，进而构建测试用例覆盖矩阵。

S4软件错误定位报告的生成，对于程序中的每条语句，根据S3构建得到的测试用例覆盖矩阵，利用语句可疑度计算方法计算语句的可疑度。所有语句的可疑度计算完成后，按照语句可疑度由高到低降序排列程序中的语句，从而一个语句可以序列提供给开发人员进一步开展程序调试。

图2为测试用例距离矩阵的构建流程图。针对给定的测试用例，采用海明距离度量方法度量每一个测试用例映射的字符串与所有测试用例字符串的距离，从而构建一个测试用例距离矩阵。具体步骤如下。

步骤1：起始状态；步骤2：将每1个测试用例映射为1个字符串；步骤3：计算每1个测试用例字符串与所有的测试用例字符串间的海明距离，由此构建该测试用例相关的测试用例距离向量vector_distance；步骤4：合并测试用例集中的所有的n个测试用例距离向量，生成1个n*n维的测试用例距离矩阵；步骤5：测试用例距离矩阵的构建完毕。

图3为测试用例集的自动约简流程图。针对初始的测试用例集，利用贪心算法逐步选择最大化满足测试需求的测试用例，同时记录程序在该测试用例下的执行结果和语句覆盖信息，生成满足测试需求的测试用例，从而完成测试用例集的自动约简。具体步骤如下。

步骤1：起始状态；步骤2：随机选择1个失败测试用例t_f1，初始化选择测试用例集T_selected＝{t_f1}；步骤3：在未选择测试用例集T_unselected中选择与T_selected距离最远的测试用例t_i；步骤4：分别在T_selected和T_unselected中添加和删除t_i；步骤5：执行t_i，判断程序执行结果并收集程序语句覆盖信息；步骤6：判断T_selected是否满足测试需求，如果满足进入下一步，否则返回步骤2；步骤7：输出T_selected；步骤8：测试用例集的自动约简完毕。

图4为测试用例覆盖矩阵的构建流程图。针对已选择测试用例集中的程序执行结果和语句覆盖信息，确定程序执行结果是否成功和程序语句是否被覆盖的数值表达方式，进而构建测试用例覆盖矩阵。具体步骤如下。

步骤1：起始状态；步骤2：针对约简后的测试用例集T_selected，映射其中的每1个测试用例语句覆盖信息为1个包含m个元素的语句向量vector_stmt；步骤3：合并T_selected中所有的n_selected个测试用例的语句向量，生成1个m*n_selected维的语句覆盖矩阵matrix_stmt；步骤4：针对程序在T_selected中的执行结果，生成1个1*n_selected维德程序执行结果矩阵matrix_result；步骤5：合并matrix_stmt和matrix_result，生成1个(m+1)*n_selected维的测试用例覆盖矩阵matrix_coverage。步骤6：测试用例覆盖矩阵的构建完毕。

图5为软件错误定位报告的生成流程图。根据构建生成测试用例覆盖矩阵，利用语句可疑度计算方法计算程序中所有语句的可疑度。所有语句的可疑度计算完成后，按照语句可疑度由高到低降序排列程序中的语句，从而一个语句可以序列提供给开发人员进一步开展程序调试。具体步骤如下。

步骤1：起始状态；步骤2：取出程序中1条未计算可疑度的语句s_i，根据测试用例覆盖矩阵matrix_coverage计算与其相关的四元组信息qt(s_i)＝[n_cs,n_cf,n_us,n_uf]；步骤3：根据可疑度计算公式Tarantula，计算语句s_i包含错误的可疑度suspiciousness；步骤4：判断所有语句的可疑度是否计算完成，如果计算完成则进行下一步，否则返回步骤2；步骤5：根据语句可疑度由高到低降序排列语句，由此生成一个语句序列供开发人员进一步开展程序调试；步骤6：软件错误定位报告的生成完毕。

综上所述，本发明解决了统计错误定位方法测试信息收集效率低导致程序调试低的问题，不仅大幅提升统计错误定位方法的效率和易用性，提高了程序调试工作效率，从而更好的保证软件的质量。

Claims

1.一种基于黑盒测试用例约简的统计错误定位方法，其特征在于，针对给定的测试用例集合，利用距离度量方法度量测试用例间的差异程度，从而构建测试用例距离矩阵，在此基础上设置测试需求，采用贪心算法开展测试用例约简从而生成满足测试需求的测试用例集，同时收集约简测试用例集的程序覆盖信息和程序执行结果，进而构建测试用例覆盖矩阵；之后开展统计错误定位来度量程序中语句出错的可疑度，最终生成软件错误定位报告；该方法包括下列步骤：

1)测试用例距离矩阵的构建，给定一个包含n个元素的测试用例集，将其中的每个测试用例映射为一个测试用例字符串，利用距离度量方法度量测试用例字符串间的距离，计算公式如下：

<mrow> <msub> <mi>distance</mi> <mrow> <mi>h</mi> <mi>a</mi> <mi>m</mi> <mi>min</mi> <mi>g</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mi>t</mi> <mi>r</mi> <mn>1</mn> <mo>,</mo> <mi>s</mi> <mi>t</mi> <mi>r</mi> <mn>2</mn> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>l</mi> <mi>e</mi> <mi>n</mi> <mi>g</mi> <mi>t</mi> <mi>h</mi> </mrow> </munderover> <mi>i</mi> <mi>s</mi> <mi>E</mi> <mi>q</mi> <mi>u</mi> <mi>a</mi> <mi>l</mi> <mrow> <mo>(</mo> <mi>c</mi> <msub> <mn>1</mn> <mi>i</mi> </msub> <mo>,</mo> <mi>c</mi> <msub> <mn>2</mn> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow>

式中str1和str2表示两个测试用例字符串，hamming表示计算str1和str2的海明距离，c1_i和c2_i分别表示str1与str2中的第i个字符，函数isEqual(c1_i,c2_i)用于判断c1_i和c2_i是否相同，如果相同返回1，否则返回0；在计算字符串间距离时，如果字符串向量长度不同，用字符’0’对短字符串进行补齐，使得字符串间长度相同，从而保证计算正常开展，length表示补齐后字符串的长度；由此生成一个测试用例距离矩阵matrix_distance，该矩阵中的每一个位置记录了两个测试用例间的距离信息；

2)测试用例集的自动约简，设置测试需求为：约简后测试用例集T_selected同时包含成功测试用例和失败测试用例，T_selected满足语句覆盖准则；根据步骤1)构建得到的matrix_distance，利用贪心算法逐步识别与T_selected距离最远的测试用例，并将其加入到T_selected中；在完成每步的测试用例选择后，执行该测试用例并记录程序执行结果和语句覆盖信息；当选择的测试用例集满足所有的测试需求时，停止测试用例约简，输出已选择的测试用例T_selected，测试用例自动约简完成；

3)测试用例覆盖矩阵的构建，针对步骤2)得到的T_selected中的程序执行结果和语句覆盖信息，确定程序执行结果是否成功和程序语句是否被覆盖的数值表达方式，语句被覆盖值为1，未被覆盖值为0；程序执行失败值为1，执行成功值为0，进而构建测试用例覆盖矩阵matrix_coverage；

4)软件错误定位报告的生成，对于程序中的每条语句，根据步骤3)构建得到的matrix_coverage，利用语句可疑度计算方法Tarantula计算语句的可疑度；所有语句的可疑度计算完成后，按照语句可疑度由高到低降序排列程序中的语句，从而一个语句可以序列提供给开发人员进一步开展程序调试。

2.根据权利要求1所述的基于黑盒测试用例约简的统计错误定位方法，其特征在于，在步骤1)中，构建测试用例距离矩阵；测试用例间的距离通过测试用例对应的字符串距离来描述；所有测试用例间的距离通过矩阵形式来记录。

3.根据权利要求1所述的基于黑盒测试用例约简的统计错误定位方法，其特征在于，在步骤2)中，对测试用例进行自动约简，从而减少需要测试信息收集的规模；根据测试用例距离矩阵，利用贪心算法逐步选择最有可能满足测试需求的测试用例，知道已选择的测试用例完全满足测试需求，从而完成测试用例约简工作；记录约简后测试用例的程序覆盖信息和语句执行结果。

4.根据权利要求1所述的基于黑盒测试用例约简的统计错误定位方法，其特征在于，在步骤3)中，构建测试用例覆盖矩阵；测试用例覆盖矩阵记录了约简后测试用例集中程序覆盖信息和执行结果，降低了测试信息的规模；测试用例覆盖矩阵中记录的信息采用数值方式来表示，方便了程序语句可疑度的计算。

5.根据权利要求1所述的基于黑盒测试用例约简的统计错误定位方法，其特征在于，在步骤4)中，对程序中语句出错的可能程度进行度量；对于程序中的语句，自动计算它出错的可疑程度；所有语句的可疑度计算完成后，按照可疑度降序排列所有语句生成一个软件错误定位报告。