CN109376080B - 时间适配的自动化缺陷定位方法和装置 - Google Patents

Abstract

本发明提供一种时间适配的自动化缺陷定位方法和装置，其能使软件行业从业人员在程序调试实际工作中进行更高效的缺陷定位并提高定位精准度。本发明的时间适配的自动化缺陷定位方法包括：测量选定的不同现有自动化缺陷定位方法的执行时间，并按照执行时间将这些选定的方法划分为由快至慢的不同级别；执行最快级别方法的组合，或者慢级别方法与较其快速的各级别方法的组合，分别对各组合的输出结果进行分数归一化处理，然后进行训练以建立各组合的排序学习模型；在具体程序调试场景中，依次执行由快至慢的各级别选定的方法，当软件开发和维护人员请求缺陷定位结果时，根据当前执行完毕的级别，使用各组合的排序学习模型自动综合结果分数并进行排序。

Description

时间适配的自动化缺陷定位方法和装置

技术领域

本发明属于软件行业中的缺陷定位技术领域，具体涉及一种时间适配的高 效自动化缺陷定位方法和装置。

背景技术

在软件的开发和维护过程中，会出现各种程序缺陷，需要进行缺陷定位和 修复，即程序调试。因此，缺陷定位技术的改进能够降低软件开发和维护的成本， 极具研究价值。

近年来，国内外对缺陷定位技术进行了深入研究，提出了各种提高缺陷定 位效率的自动化缺陷定位方法。但这些缺陷定位技术的精准度仍不够理想，不能 满足软件行业从业人员在实际工作中进行高效缺陷定位的需求。

发明内容

鉴于上述现状，本发明的目的是提供一种时间适配的自动化缺陷定位方法 或装置，其能使软件行业从业人员在程序调试的实际工作中进行更高效的缺陷定 位，同时能够提高缺陷定位精准度。

为了达成此目的，本发明的发明人进行了深入调查与研究后发现，在软件 开发和维护人员的实际工作中，大多数情况下并不需要很高的定位精准度，而是 需要在定位精准度和时间成本上达到平衡，才能更高效的进行程序调试。

为了取得这个平衡，本发明提出了一种时间适配的自动化缺陷定位方法， 其特征在于包括，测量选定的不同现有自动化缺陷定位方法的执行时间，并按照 执行时间将这些选定的方法划分为由快至慢的不同级别；执行最快级别方法的组 合，或者慢级别方法与较其快速的各级别方法的组合，分别对各组合的输出结果 进行分数归一化处理，然后进行训练以建立各组合的排序学习模型；在具体程序 调试场景中，依次执行由快至慢的各级别选定的方法，当软件开发和维护人员请 求缺陷定位结果时，根据当前执行完毕的级别，使用各组合的排序学习模型自动 综合结果分数并进行排序。

并且，本发明提出了一种时间适配的自动化缺陷定位装置，其特征在于包 括，测量选定的不同现有自动化缺陷定位方法的执行时间，并按照执行时间将这 些选定的方法划分为由快至慢的不同级别的装置；执行最快级别方法的组合，或 者慢级别方法与较其快速的各级别方法的组合，分别对各组合的输出结果进行分 数归一化处理，然后进行训练以建立各组合的排序学习模型的装置；在具体程序 调试场景中，依次执行由快至慢的各级别选定的方法，当软件开发和维护人员请 求缺陷定位结果时，根据当前执行完毕的级别，使用各组合的排序学习模型自动 综合结果分数并进行排序的装置。

通过本发明的这种时间适配的自动化缺陷定位方法或装置，软件开发和维 护人员可以根据程序的调试场景选择对应的不同现有自动化缺陷定位方法的组 合进行执行，从而可以在限定的时间范围内获得精准度更高的结果，提高缺陷定 位效率。

作为本发明的时间适配的自动化缺陷定位方法或装置的改进，所述选定的 不同现有自动化缺陷定位方法为基于频谱的缺陷定位、基于变异的缺陷定位、动 态程序切片、堆栈跟踪分析、谓词转换、基于信息检索的缺陷定位、基于历史的 缺陷定位。

作为本发明的时间适配的自动化缺陷定位方法或装置的进一步改进，当软 件开发和维护人员请求定位结果的时间为秒级水平时，所执行的最快级别方法的 组合为堆栈跟踪分析、基于历史的缺陷定位、基于信息检索的缺陷定位。

作为本发明的时间适配的自动化缺陷定位方法或装置的进一步改进，当软 件开发和维护人员请求定位结果的时间为分钟级水平时，所执行的各级别方法的 组合为堆栈跟踪分析、基于历史的缺陷定位、基于信息检索的缺陷定位、基于频 谱的缺陷定位、动态程序切片。

作为本发明的时间适配的自动化缺陷定位方法或装置的进一步改进，当软 件开发和维护人员请求定位结果的时间为小时级水平时，所执行的各级别方法的 组合为堆栈跟踪分析、基于历史的缺陷定位、基于信息检索的缺陷定位、基于频 谱的缺陷定位、动态程序切片、谓词转换、基于变异的缺陷定位。在时间允许的 范围内，这种缺陷定位方法或装置能够最大程度的提高缺陷定位的精准度，满足 程序调试的实际工作中对高精准度缺陷定位的需求。

具体实施方式

在本发明的时间适配的自动化缺陷定位方法或装置中，所执行的选定的不 同现有自动化缺陷定位方法可以是国内外科研人员提出的任何自动化缺陷定位 方法，针对这些方法，大家关注的是它们作为缺陷定位技术是否有效，而并没有 系统调研相关技术所需时间，自然也不会有人对其进行时间排序。本发明的发明 人正是因为意识到实际工作中的缺陷定位效率需要谋求精准度和时间成本的平 衡，才产生测量各种自动化缺陷定位方法并对它们进行时间排序和分类的动机。

1.测量选定的自动化缺陷定位方法的执行时间并进行分级

在计算设备上对调试对象执行选定的不同自动化缺陷定位方法，测量它们 各自所耗费的时间，定位粒度可以是语句、方法和文件等。

上述自动化缺陷定位方法可以从现有的全部自动化缺陷定位方法进行选 取。作为计算设备，可以选择任何有能力执行上述自动化缺陷定位家族和排序学 习的设备。作为调试对象，可以是任何含有真实缺陷的程序。

然后，根据测得的执行时间，按照由快至慢的顺序将上述选定的不同自动 化缺陷定位方法从低到高进行分级，分级的时间水平标准可以根据需要合理设 定，可以是秒级水平、分钟级水平、十分钟级水平、小时级水平等。

2.对不同级别的方法的组合执行排序学习进行训练

执行最低级别方法的组合，或者高级别方法与低于该级别的各级别方法的 组合，执行结束后对各组合的输出结果进行分数归一化(Normalization)处理。

对于输出结果包含怀疑度分数的方法，如基于频谱的缺陷定位、基于变异 的缺陷定位、基于历史的缺陷定位等，使用如下方法进行分数归一化：

1)对于含有缺陷的程序P，缺陷定位方法T_i，计算P的每个程序元素e_j(元 素的粒度可以为语句、方法、文件等)的怀疑度分数：Suspiciousness_raw(T_i,e_j,P)；

2)对于P中的所有元素e，计算其最大值Max(T_i,P)＝ Max(Suspiciousness_raw(T_i,e_j,P)for all j)；

3)对于P中的每个元素e，计算其归一化后的怀疑度Suspiciousness(T_i,e_j,P) ＝Suspiciousness_raw(T_i,e_j,P)/Max(T_i,P)。

对于输出结果中不包含怀疑度分数，只含有怀疑度排名的方法，如堆栈跟 踪分析等，使用如下方法进行分数归一化：

1)对于含有缺陷的程序P，缺陷定位方法T_i，计算P的每个程序元素e_j的 怀疑度排名：Rank(T_i,e_j,P)(Rank取值从1开始，为1,2,3...)；

2)对于排名列表中的每个元素e，计算其归一化后的怀疑度 Suspiciousness(T_i,e_j,P)＝1/Rank(T_i,e_j,P)；

3)对于不在排名列表中的元素，定义其怀疑度Suspiciousness(T_i,e_j,P)＝0。

对于输出结果中不包含怀疑度分数及排名，只判断是否可疑的技术，如动 态程序切片等，使用如下方法进行分数归一化：

1)对于含有缺陷的程序P，缺陷定位方法T_i，计算P的每个程序元素e_j的 是否可疑；

2)对于可疑元素，定义其归一化后的怀疑度Suspiciousness(T_i,e_j,P)＝1；

3)对于不可疑元素，定义其归一化后的怀疑度Suspiciousness(T_i,e_j,P)＝0。

对各组合的分数归一化处理的结果进行训练，以建立排序学习模型。

3.顺次执行各级别选定的方法并使用排序学习模型自动综合结果分数进行 排序

执行最低级别方法的组合，或者高级别方法与低于该级别的各级别方法的 组合，执行顺序为从低级别方法到高级别方法。

在具体程序调试场景中，当软件开发和维护人员请求缺陷定位结果时，根 据当前执行完毕的级别使用排序学习模型自动综合结果分数并进行排序，得到表 征本发明的缺陷定位精准度的E_inspect@n和EXAM值。E_inspect@n值表示在程序元 素排序列表中前n个位置定位到的缺陷数量。EXAM表示在程序元素排序列表中 定位到缺陷之前所必须查看的位置占总位置数的比例。

实施例

下面结合一个具体的实施例对本发明的时间适配的自动化缺陷定位方法或 装置进行说明。

计算设备：操作系统：Ubuntu 14.04.5 LTS；CPU：Intel XEON E5-2640v4@2.4GHz；内存：64GB；硬盘：3TB。

调试对象：Defects4J数据集(版本1.0.1，含357个真实缺陷)。

选定的不同现有自动化缺陷定位方法：基于频谱的缺陷定位 (Spectrum-basedfault localization，SBFL)、基于变异的缺陷定位(Mutation-based faultlocalization，MBFL)、动态程序切片(Dynamic program slicing，DPS)、堆 栈跟踪分析(Stack trace analysis，STA)、谓词转换(Predicate switching，PS)、 基于信息检索的缺陷定位(Information retrieval-based fault localization，IRBFL)、 基于历史的缺陷定位(History-based fault localization，HBFL)。

执行这些方法，记录它们的执行时间t，定位粒度为语句，按本发明的上述 方法进行分级，结果示于以下的表1中。为了体现本发明对不同现有自动化缺陷 定位方法进行组合的效果，还对这些方法进行了上述分数化归一处理，并将结果 一并列入表1中，以便与以下表2中现有方法组合的效果进行对比。

表1

将级别1中的方法的组合定义为组合1，级别1～2中的方法的组合定义为组 合2，级别1～3中的方法的组合定义为组合3，级别1～4中的方法的组合定义为 组合4，执行组合1～4，按照上述方法对执行结果分别进行分数归一化处理后， 使用RankSVM算法对处理结果进行训练，建立组合1～4各自的排序学习模型。

然后，顺次执行级别1～4中的方法，当软件开发和维护人员请求缺陷定位 结果时，根据当前执行完毕的级别使用相应的排序学习模型，自动综合结果分数 并进行排序，得到表2所示表征本发明的缺陷定位结果的E_inspect@n和EXAM值。

表2中还示出了请求缺陷定位结果时，执行完毕当前的级别所耗费的时间t。 由于执行排序学习模型自动得出结果分数并进行排序的时间为11s，上述执行完 毕当前的级别所耗费的时间t为执行相应级别的时间与执行排序学习模型时间之 和。

表2

比较表1和表2中各现有方法和现有方法组合的E_inspect@n和EXAM值可知， 包含一个级别的现有技术的组合所消耗的时间仅比该组合中各项现有技术略高， 但总是改善精准度，因此包含一个级别的现有技术的组合为取得精准度与时间成 本的最佳策略。特别是表2中的组合4，即将全部选定的不同现有缺陷定位方法 组合而进行缺陷定位的方法，比表1中的现有缺陷定位方法的最高精准度于 E_inspect@1,3,5,10分别提高了213％、69％、51％、31％，EXAM从0.033升至0.0173， 提高了48％。

而且，在包含前一个级别的现有技术的组合所消耗的时间仅比该组合略高， 但精准度也得到很大提高的情况下，包含前一个级别的现有技术的组合为取得精 准度与时间成本的最佳策略。基于此考虑，软件开发和维护人员可以根据表2所 示组合选择最佳的缺陷定位方法。例如，在实时调试场景中，开发人员可以选择 组合2，这只需要花费几分钟；在其它一些场景中，开发人员可能需要花费数天 来定位和修复错误，这时选择组合4不仅在时间上合理，还能产生精准度最高的 结果从而节省人力成本；如果缺陷属于崩溃缺陷，开发人员可以先选择执行组合 1，这会立即给出对崩溃缺陷有效的结果。

需要理解的是，各种自动化缺陷定位方法均有其执行时间，因此均可应用 于本发明的时间适配的自动化缺陷定位方法和装置，本发明所述选定的不同现有 自动化缺陷定位方法不局限于上述实施例中选定的方法。另外，计算设备、定位 粒度和，并按照执行时间将这些选定的方法划分为由快至慢的不同级别；执行最 快级别方法的组合，或者慢级别方法与较其快速的各级别方法的组合，分别对各 组合的输出结果进行分数归一化处理，然后进行训练以建立各组合的排序学习模 型；在具体程序调试场景中，依次执行由快至慢的各级别选定的方法，训练算法 等也可以根据本领域技术人员的实际需要进行选择。

另外，作为本发明的附加实施方式，还可以包括以下方面：

1)一种自动化缺陷定位方法，其特征在于包括，执行选定的不同现有自动 化缺陷定位方法，对输出结果进行分数归一化处理，然后进行训练以建立排序学 习模型；执行这些选定的方法，使用排序学习模型自动综合结果分数并进行排序。

2)一种自动化缺陷定位装置，其特征在于包括，执行选定的不同现有自动 化缺陷定位方法，对输出结果进行分数归一化处理，然后进行训练以建立排序学 习模型的装置；执行这些选定的方法，使用排序学习模型自动综合结果分数并进 行排序的装置。

3)作为上述自动化缺陷定位方法或装置的改进，所述选定的不同现有自动 化缺陷定位方法为堆栈跟踪分析、基于历史的缺陷定位、基于信息检索的缺陷定 位。

4)作为上述自动化缺陷定位方法或装置的改进，所述选定的不同现有自动 化缺陷定位方法为堆栈跟踪分析、基于历史的缺陷定位、基于信息检索的缺陷定 位、基于频谱的缺陷定位、动态程序切片。

5)作为上述自动化缺陷定位方法或装置的改进，所述选定的不同现有自动 化缺陷定位方法为堆栈跟踪分析、基于历史的缺陷定位、基于信息检索的缺陷定 位、基于频谱的缺陷定位、动态程序切片、谓词转换、基于变异的缺陷定位。

Claims (10)

1.一种时间适配的自动化缺陷定位方法，其特征在于包括：

测量选定的不同现有自动化缺陷定位方法的执行时间，并按照执行时间将这些选定的方法划分为由快至慢的不同级别；

执行最快级别方法的组合，或者慢级别方法与较其快速的各级别方法的组合，分别对各组合的输出结果进行分数归一化处理，然后进行训练以建立各组合的排序学习模型；

在具体程序调试场景中，依次执行由快至慢的各级别选定的方法，当软件开发和维护人员请求缺陷定位结果时，根据当前执行完毕的级别，使用各组合的排序学习模型自动综合结果分数并进行排序。

2.一种时间适配的自动化缺陷定位装置，其特征在于包括：

测量选定的不同现有自动化缺陷定位方法的执行时间，并按照执行时间将这些选定的方法划分为由快至慢的不同级别的装置；

执行最快级别方法的组合，或者慢级别方法与较其快速的各级别方法的组合，分别对各组合的输出结果进行分数归一化处理，然后进行训练以建立各组合的排序学习模型的装置；

在具体程序调试场景中，依次执行由快至慢的各级别选定的方法，当软件开发和维护人员请求缺陷定位结果时，根据当前执行完毕的级别，使用各组合的排序学习模型自动综合结果分数并进行排序的装置。

3.根据权利要求1所述的时间适配的自动化缺陷定位方法，其特征在于，

所述选定的不同现有自动化缺陷定位方法为基于频谱的缺陷定位、基于变异的缺陷定位、动态程序切片、堆栈跟踪分析、谓词转换、基于信息检索的缺陷定位、基于历史的缺陷定位。

4.根据权利要求1所述的时间适配的自动化缺陷定位方法，其特征在于，

当软件开发和维护人员请求定位结果的时间为秒级水平时，所执行的最快级别方法的组合为堆栈跟踪分析、基于历史的缺陷定位、基于信息检索的缺陷定位。

5.根据权利要求1所述的时间适配的自动化缺陷定位方法，其特征在于，

当软件开发和维护人员请求定位结果的时间为分钟级水平时，所执行的各级别方法的组合为堆栈跟踪分析、基于历史的缺陷定位、基于信息检索的缺陷定位、基于频谱的缺陷定位、动态程序切片。

6.根据权利要求1所述的时间适配的自动化缺陷定位方法，其特征在于，

当软件开发和维护人员请求定位结果的时间为小时级水平时，所执行的各级别方法的组合为堆栈跟踪分析、基于历史的缺陷定位、基于信息检索的缺陷定位、基于频谱的缺陷定位、动态程序切片、谓词转换、基于变异的缺陷定位。

7.根据权利要求2所述的时间适配的自动化缺陷定位装置，其特征在于，

所述选定的不同现有自动化缺陷定位方法为基于频谱的缺陷定位、基于变异的缺陷定位、动态程序切片、堆栈跟踪分析、谓词转换、基于信息检索的缺陷定位、基于历史的缺陷定位。

8.根据权利要求2所述的时间适配的自动化缺陷定位装置，其特征在于，

当软件开发和维护人员请求定位结果的时间为秒级水平时，所执行的最快级别方法的组合为堆栈跟踪分析、基于历史的缺陷定位、基于信息检索的缺陷定位。

9.根据权利要求2所述的时间适配的自动化缺陷定位装置，其特征在于，

当软件开发和维护人员请求定位结果的时间为分钟级水平时，所执行的各级别方法的组合为堆栈跟踪分析、基于历史的缺陷定位、基于信息检索的缺陷定位、基于频谱的缺陷定位、动态程序切片。

10.根据权利要求2所述的时间适配的自动化缺陷定位装置，其特征在于，

当软件开发和维护人员请求定位结果的时间为小时级水平时，所执行的各级别方法的组合为堆栈跟踪分析、基于历史的缺陷定位、基于信息检索的缺陷定位、基于频谱的缺陷定位、动态程序切片、谓词转换、基于变异的缺陷定位。