CN110851353B - 一种基于Delta Debugging与约束求解的并发程序缺陷定位方法 - Google Patents

Abstract

本发明公开了一种基于Delta Debugging与约束求解的并发程序缺陷定位方法，利用内存访问模式来抽象程序执行轨迹(Trace)来帮助程序开发人员理解错误原因，利用Delta Debugging方法快速找到导致并发程序失败的内存访问模式集合，以及利用约束求解技术生成满足要求的可执行程序轨迹(Trace)。本发明利用Delta Debugging算法，可以快速准确定位到导致错误的原因；利用约束求解技术可以高效找到符合要求的可执行程序序列，进一步提高定位速度。

Description

一种基于Delta Debugging与约束求解的并发程序缺陷定位 方法

技术领域

本发明属于软件工程和软件测试领域，尤其涉及一种基于约束求解的并发程序错误定位方法。

背景技术

由于并发程序的状态空间巨大，程序线程交错复杂，对于并发程序缺陷定位一直是困扰学术界和产业界的问题。为了解决或者部分解决并发程序缺陷定位速度慢，定位准确度低的问题，已经有很多方法提出。这些方法根据是否正真执行并发程序可以被分成静态方法、动态方法和混合方法三类，当然也存在一些其他分类方法。其中：静态方法并不真正执行并发程序，一般是通过对程序源代码分析或者对已经收集到的程序执行轨迹进行分析从而定位到导致程序错误的原因；而动态方法一般通过插装(Instrumentation)的方式将相关的分析程序插入到程序源代码中，在通过执行修改过的源码获得更多的信息，从而找到导致错误的根本原因。然而无论是静态方法还是动态方法都有一定的缺陷，静态方法由于无法真正运行程序，可能会错误估计实际无法产生的错误，从而产生假阳性(FalsePositive)的问题，也就是定位到的原因实际上不会导致程序失败，而动态方法由于要执行程序，一般由于时间的缘故，无法覆盖到全部的状态空间，可能会有假阴性(FalseNegative)的问题，也就是找到的导致程序失败的原因不完全。

为了克服以上的问题，混合方法综合静态方法和动态方法的优点，一般先通过静态分析程序源代码定位到错误原因，在通过动态方法进行验证，减轻误报问题，然而混合的方法的缺点是实现比较复杂，不利于理解。

发明内容

本发明旨在解决并发程序缺陷定位中定位精度差，定位速度慢的问题，本发明提出一种基于Delta Debugging与约束求解的并发程序缺陷定位方法，通过将包含并发缺陷的程序抽象成内存访问模式集合，再利用Delta Debugging和约束求解方法快速找到导致并发程序错误的内存访问模式的最小集合从而定位到导致并发程序缺陷的根本原因。

本发明的一种基于Delta Debugging与约束求解的并发程序缺陷定位方法，整体流程包括以下步骤：

步骤一、给定一个并发程序；

步骤二、利用程序调度器，不断按照随机调度的方法执行程序直到时间达到设定的阈值，得到多条程序执行轨迹Trace，从中选出一条正确执行轨迹Trace p和一条错误执行轨迹Trace f，p,f之间满足关系：在所有收集到的正确执行轨迹集合P和错误执行轨迹集合F中，令diff(f,p)表示一条错误执行轨迹f与正确执行轨迹p的差异；作为流程的输入；每条轨迹Trace都是执行语句的集合，而语句用一个四元组(t_i，s_i，r_i，w_i)来表示，其中，t_i表示线程i，s_i表示执行代码中的第i行代码，r_i表示读取变量的集合，w_i表示写变量的集合；

步骤三：提取程序执行轨迹中的内存访问模式集合S，即：从正确轨迹序列p中提取出的内存访问模式集合为S_p，从失败轨迹序列f中提取出的模式集合为S_f；提取内存访问模式的过程为：首先利用贪心算法，构建长度为2的内存访问模式，然后利用所有长度为2的模式，拼接成长度为3和4的模式，同时删除组成它们的长度为2的模式，最后将拼接出的长度为3和4的模式，以及不是任意其他模式组成部分的长度为2的模式整合到一起，就获得了是最终从轨迹Trace中提取的内存访问模式；

步骤四、利用Delta Debugging算法逐步缩小可疑模式集合U，直到集合中只剩一个模式或者无法再继续缩小，如图4所示，是Delta Debugging的算法流程图。具体处理如下：

最初始的可疑模式集合U＝S_f-S_D。给定了初始的可疑模式集合U之后：

(1)首先判断U内的模式数量是否为1，如果为1，则表明程序正确运行序列和程序错误执行序列差别只在于一个模式，这个模式就代表导致错误的根源原因；如果模式数量不是1，利用算法进一步尝试缩小可疑模式集合的大小，直到集合大小为1或者无法进一步缩小；

(2)然后对U进行N等分得到U的子集合的集合X＝{x₁,x₂,...,x_N}，N初始设为2；

(3)从集合X中按顺序选出U的子集x_i；

(4)接下来通过运行程序来检验打断x_i中所有的模式，同时保留其他可疑模式，判断程序是否不再出错；

(5)如果不再出错，证明集合x_i中包含导致程序错误的根源原因，如果程序依旧出错，证明x_i中的模式集合不是导致错误的原因或者不完全是导致错误的原因；

(6)如果X中的某个x_i被打断之后，程序不再出错，算法就将可疑模式集合U设为x_i，同时N重新置为2，再继续循环上面的过程，直到将可疑模式集合U的大小减到最小；

(7)如果X中的所有x_i模式子集合被打断之后都无法导致程序不再出错，就令N＝N*2，重新进行(2)-(6)的过程，直到找到一个子集合x_i，x_i中的任意模式子集合被打断都不能使并发程序不出错，而包含x_i的模式集合被打断，都能保证并发程序缺陷不再出现。

(8)返回经过算法筛选的最小可疑模式集合U；

步骤五、约束求解生成满足要求的新的可执行程序轨迹Trace序列，即：通过将程序正常执行需要满足的条件提取出来，再与打断内存访问模式的约束合并到一起，把所有约束加入到约束求解器中，得到的序列保证一定是可执行的；从程序执行轨迹中提取出约束在MCR中；在MCR提供的约束基础上，加入对内存访问模式打断的约束。

本发明的有益效果如下：

(1)利用Delta Debugging算法，可以快速准确定位到导致错误的原因。

(2)利用约束求解技术可以高效找到符合要求的可执行程序序列，进一步提高定位速度。

附图说明

图1为本发明一种基于Delta Debugging与约束求解的并发程序缺陷定位方法整体流程图；

图2为示例Java程序。

图3为示例程序的一条简化执行轨迹。

图4为Delta Debugging算法流程图。

具体实施方式

下面结合附图和实施例对本发明技术方案进行详细描述。

本发明的一种基于Delta Debugging与约束求解的并发程序缺陷定位方法，主体可以分成三个部分：利用内存访问模式来抽象程序执行轨迹(Trace)，帮助程序开发人员理解错误原因；利用Delta Debugging方法快速找到导致并发程序失败的内存访问模式集合；以及利用约束求解技术生成满足要求的可执行程序轨迹(Trace)，验证实验结果。

如图1所示，为本发明一种基于Delta Debugging与约束求解的并发程序缺陷定位方法整体流程图。

步骤一、给定一个并发程序；

步骤二、利用程序调度器，不断按照随机调度(在并发程序执行时，程序调度器随机选择下一步要执行的线程)的方法执行程序直到时间达到设定的阈值，得到多条程序执行轨迹Trace，从中选出一条正确执行轨迹Trace p和一条错误执行轨迹Trace f，p,f之间满足关系：在所有收集到的正确执行轨迹集合P和错误执行轨迹集合F中，令diff(f,p)表示一条错误执行轨迹f与正确执行轨迹Trace p的差异，对于所有的f∈F，p∈P，diff(f,p)最大；作为流程的输入；每条轨迹Trace都是执行语句的集合，而语句用一个四元组(t_i，s_i，r_i，w_i)来表示，其中，t_i表示线程i，s_i表示执行代码中的第i行代码，r_i表示读取变量的集合，w_i表示写变量的集合；

步骤三：提取程序执行轨迹中的内存访问模式(Memory Access Pattern)集合S，即从上述的一条正确轨迹序列p中提取出的内存访问模式集合为S_p，从上述的一条失败轨迹序列f中提取出的模式集合为S_f。17种内存访问模式根据其模式中语句的个数可以分成三类模式，分别为长度为2、长度为3和长度为4的内存访问模式。其中长度为4的内存访问模式，又可以被认为是关联双变量的内存访问模式，而长度为2和3的模式为单变量内存访问模式。提取内存访问模式的过程，首先利用贪心算法，构建长度为2的内存访问模式，然后利用所有长度为2的模式，拼接成长度为3和4的模式，同时删除组成它们的长度为2的模式，最后将拼接出的长度为3和4的模式，以及不是任意其他模式组成部分的长度为2的模式整合到一起。就是最终从轨迹Trace中提取的内存访问模式了。内存访问模式可以有效的揭示导致并发程序错误的原因。

如图2、图3所示分别为示例Java程序、示例程序的一条简化程序执行轨迹。

例如对于图3的轨迹Trace，提取出的长度为2的模式有：(p₂₃，p₂₄)，(p₂₆，p₂₈)，(p₁₆，p₂₁)，(p₁₆，p₂₄)，(p₂₄，p₂₈)，(p₂₈，p₃₁)，(p₃₁，p₃₉)。而通过这些长度为2的模式，获得(p₂₃，p₂₄，p₂₈),(p₂₆，p₂₈，p₃₁)，(p₁₆，p₂₄，p₂₈),(p₂₄，p₂₈，p₃₁)这4个长度为3的模式，同时删去(p₂₃，p₂₄),(p₂₄，p₂₈),(p₂₆，p₂₈),(p₂₈，p₃₁),(p₁₆，p₂₄)这5个长度为2的模式。由于示例程序只涉及单变量，因此没有长度为4的模式被提取出来，因此，最后Trace中提取出(p₁₆，p₂₁),(p₃₁，p₃₉),(p₂₃，p₂₄，p₂₈),(p₂₆，p₂₈，p₃₁),(p₁₆，p₂₄，p₂₈),(p₂₄，p₂₈，p₃₁)这6个模式。

步骤四、利用Delta Debugging算法逐步缩小可疑模式集合U，直到集合中只剩一个模式或者无法再继续缩小，如图4所示，是Delta Debugging的算法流程图。具体处理如下：

最初始的可疑模式集合U＝S_f-S_D。给定了初始的可疑模式集合U之后：

(1)首先判断U内的模式数量是否为1，如果为1，则表明程序正确运行序列和程序错误执行序列差别只在于一个模式，这个模式就代表导致错误的根源原因；如果模式数量不是1，利用算法进一步尝试缩小可疑模式集合的大小，直到集合大小为1或者无法进一步缩小；

(2)然后对U进行N等分得到U的子集合的集合X＝{x₁,x₂,...,x_N}，N初始设为2；

(3)从集合X中按顺序选出U的子集x_i；

(4)接下来通过运行程序来检验打断x_i中所有的模式，同时保留其他可疑模式，判断程序是否不再出错；

(5)如果不再出错，证明集合x_i中包含导致程序错误的根源原因，如果程序依旧出错，证明x_i中的模式集合不是导致错误的原因或者不完全是导致错误的原因；

(6)如果X中的某个x_i被打断之后，程序不再出错，算法就将可疑模式集合U设为x_i，同时N重新置为2，再继续循环上面的过程，直到将可疑模式集合U的大小减到最小；

(7)如果X中的所有x_i模式子集合被打断之后都无法导致程序不再出错，就令N＝N*2，重新进行(2)-(6)的过程，直到找到一个子集合x_i，x_i中的任意模式子集合被打断都不能使并发程序不出错，而包含x_i的模式集合被打断，都能保证并发程序缺陷不再出现。

(8)最后返回经过算法筛选的最小可疑模式集合U。

例如步骤二中的模式集合，令可疑模式集合U＝{(p₁₆，p₂₁)，(p₃₁，p₃₉)，(p₂₃，p₂₄，p₂₈)，(p₂₆，p₂₈，p₃₁)，(p₁₆，p₂₄，p₂₈)，(p₂₄，p₂₈，p₃₁)}。首先判断U的大小，U中包含6个模式，大小不为1，因此将U进行二等分，得到X＝{{(p₁₆，p₂₁)，(p₃₁，p₃₉)，(p₂₃，p₂₄，p₂₈)}，{(p₂₆，p₂₈，p₃₁)，(p₁₆，p₂₄，p₂₈)，(p₂₄，p₂₈，p₃₁)}。首先从X中选出x₁＝{(p₁₆，p₂₁)，(p₃₁，p₃₉)，(p₂₃，p₂₄，p₂₈)}。利用约束求解生成新的可执行轨迹，经过运行发现程序依然出错，然后从X中选出子集合x₂＝{(p₂₆，p₂₈，p₃₁)，(p₁₆，p₂₄，p₂₈)，(p₂₄，p₂₈，p₃₁)}。打断x₂中的所有模式，程序最终没有出错，因此令U＝x₂。U中包含的模式数量为3，因此对U再一次进行二分，得到X＝{(p₂₆，p₂₈，p₃₁)，(p₁₆，p₂₄，p₂₈)}，{(p₂₄，p₂₈，p₃₁)}。从X中继续选出新的x₁＝{(p₂₆，p₂₈，p₃₁)，(p₁₆，p₂₄，p₂₈)}。然后打断x₁中的模式，程序不再出错，因此将U进一步设为{(p₂₆，p₂₈，p₃₁)，(p₁₆，p₂₄，p₂₈)}。由于U的大小仍然不为1，因此继续将U二等分，得到新的X＝{(p₂₆，p₂₈，p₃₁)}，{(p₁₆，p₂₄，p₂₈)}。从X中选出新的子模式集合(p₂₆，p₂₈，p₃₁)，发现打断后程序依然正确，因此将U设为{(p₂₆，p₂₈，p₃₁)}，又因为最新的U中只包含一个模式，因此算法结束，返回模式(p₂₆，p₂₈，p₃₁)作为并发缺陷的根本原因。通过该模式，可以看出是图2中程序的16行对customerCost变量的读写被另一线程第16行的写所打断，因此需要程序开发人员在程序第16行加入锁，保护第16行的代码原子性执行，不被其他线程的共享变量访问操作打断。

通过上面的例子，可以看出，本来大小为6的模式集合最多有64种子集合，利用本发明的方法，仅需要运行3次程序就能到找到导致错误的根本原因，而不需要运行64次程序。同时，本发明返回的结果更利于程序员理解，返回的内存访问模式能令程序开发人员快速理解错误，从而找到修复程序的方法。

步骤五、约束求解生成满足要求的新的可执行程序轨迹Trace序列，具体为：通过将程序正常执行需要满足的条件提取出来，再与打断内存访问模式的约束合并到一起，把所有约束加入到约束求解器中，得到的序列保证一定是可执行的。如何生成满足Java语言规范，也就是如何从程序执行轨迹中提取出约束在MCR中，本发明在MCR提供的约束基础上，加入对内存访问模式打断的约束。例如如果想要打断内存访问模式子集合X＝{(p₂₆，p₂₈，p₃₁)，(p₁₆，p₂₄，p₂₈)}，本发明会生成下面的约束：

(O₂₈＜O₂₆∪O₂₈＞O₃₁)∩(O₂₄＜O₁₆∪O₂₄＞O₂₈)

其中，O₂₈代表当前轨迹的第28个语句在新的执行轨迹中的位置，也就是p₂₈(t₁₉，s₁₆，{}，{amount})在新的可执行序列中出现的次序。因此上面的约束就可以解释为在新的可执行序列中：p₂₈要在p₂₆之前执行或者p₂₈在p₃₁之后执行，在满足这条约束的同时也要满足p₂₄在p₁₆之前执行，后者p₂₄在p₂₈之后执行。通过求解上面的约束和MCR中提供的约束，得到的解就是可执行的且打断访问模式子集合X的序列。

约束求解是找到满足一系列条件限制的解集(Solutions)的过程。在本发明中，为了找到满足条件的可执行程序序列，提出四种约束分别是：先发生于(Happens Before)规则、锁互斥(Lock Mutual)规则、数据有效(Data Validity)规则以及打断内存访问模式(Pattern Stop)规则。利用Z3约束求解器进行约束求解，要么可以获得多个满足所有四种约束的解，也就是可执行程序轨迹，只需要从中任意选取一个即可，要么无法求出解，从而说明没有满足约束的可执行程序轨迹存在。

本发明对以上算法利用MCR实现了一个针对Java程序的并发缺陷检测工具，通过对27个现实中的Java并发缺陷进行测试，发现本发明平均仅需要2个内存访问模式就可以定位到程序并发缺陷的根本原因，同时绝大多数程序仅在几秒内就可以完成所有流程，在经过人工判断之后，发现本发明报告的内存访问模式都是导致程序失败的原因，本发明能正确定位导致程序失败的原因。

Claims (1)

1.一种基于Delta Debugging与约束求解的并发程序缺陷定位方法，其特征在于，该方法整体流程包括以下步骤：

步骤一、给定一个并发程序；

步骤二、利用程序调度器，不断按照随机调度的方法执行程序直到时间达到设定的阈值，得到多条程序执行轨迹Trace，从中选出一条正确执行轨迹Tracep和一条错误执行轨迹Tracef，p,f之间满足关系：在所有收集到的正确执行轨迹集合P和错误执行轨迹集合F中，令diff(f,p)表示一条错误执行轨迹f与正确执行轨迹p的差异；作为流程的输入；每条轨迹Trace都是执行语句的集合，而语句用一个四元组(t_i，s_i，r_i，w_i)来表示，其中，t_i表示线程i，s_i表示执行代码中的第i行代码，r_i表示读取变量的集合，w_i表示写变量的集合；

步骤三：提取程序执行轨迹中的内存访问模式集合S，即：从正确轨迹序列p中提取出的内存访问模式集合为S_p，从失败轨迹序列f中提取出的模式集合为S_f；提取内存访问模式的过程为：首先利用贪心算法，构建长度为2的内存访问模式，然后利用所有长度为2的模式，拼接成长度为3和4的模式，同时删除组成它们的长度为2的模式，最后将拼接出的长度为3和4的模式，以及不是任意其他模式组成部分的长度为2的模式整合到一起，就获得了是最终从轨迹Trace中提取的内存访问模式；

步骤四、利用Delta Debugging算法逐步缩小可疑模式集合U，直到集合中只剩一个模式或者无法再继续缩小，如图4所示，是Delta Debugging的算法流程图；具体处理如下：

最初始的可疑模式集合U＝S_f-S_D；给定了初始的可疑模式集合U之后：

(1)首先判断U内的模式数量是否为1，如果为1，则表明程序正确运行序列和程序错误执行序列差别只在于一个模式，这个模式就代表导致错误的根源原因；如果模式数量不是1，利用算法进一步尝试缩小可疑模式集合的大小，直到集合大小为1或者无法进一步缩小；

(2)然后对U进行N等分得到U的子集合的集合X＝{x₁,x₂,...,x_N}，N初始设为2；

(3)从集合X中按顺序选出U的子集x_i；

(4)接下来通过运行程序来检验打断x_i中所有的模式，同时保留其他可疑模式，判断程序是否不再出错；

(5)如果不再出错，证明集合x_i中包含导致程序错误的根源原因，如果程序依旧出错，证明x_i中的模式集合不是导致错误的原因或者不完全是导致错误的原因；

(6)如果X中的某个x_i被打断之后，程序不再出错，算法就将可疑模式集合U设为x_i，同时N重新置为2，再继续循环上面的过程，直到将可疑模式集合U的大小减到最小；

(7)如果X中的所有x_i模式子集合被打断之后都无法导致程序不再出错，就令N＝N*2，重新进行(2)-(6)的过程，直到找到一个子集合x_i，x_i中的任意模式子集合被打断都不能使并发程序不出错，而包含x_i的模式集合被打断，都能保证并发程序缺陷不再出现；

(8)返回经过算法筛选的最小可疑模式集合U；

步骤五、约束求解生成满足要求的新的可执行程序轨迹Trace序列，即：通过将程序正常执行需要满足的条件提取出来，再与打断内存访问模式的约束合并到一起，把所有约束加入到约束求解器中，得到的序列保证一定是可执行的；从程序执行轨迹中提取出约束在MCR中；在MCR提供的约束基础上，加入对内存访问模式打断的约束。

Images