CN110059014B - 一种并发程序数据竞争指令级定位方法 - Google Patents

Abstract

针对并发程序数据竞争定位问题，公开了一种并发程序数据竞争指令级定位方法，属于软件测试技术领域。本方法首先利用数据竞争定义对并发程序动态二进制插桩过程中所得的指令信息进行数据竞争初步检测，同时为每条线程设置向量时钟来跟踪并记录线程访问共享内存的时间；然后通过happens‑before规则判断各条指令所在线程的向量时钟是否存在偏序关系来判断是否发生数据竞争，形成最终数据竞争定位报告。本发明提供了一种并发程序数据竞争指令级定位方法，并有效降低了检测误报率及漏报率，用于提高并发程序测试的精度及效率。

Description

一种并发程序数据竞争指令级定位方法

技术领域

本发明属于软件测试技术领域，具体涉及到并发程序测试中数据竞争精确定位问题，提供了一种动态跟踪程序每条指令并遍历所有指令对来定位数据竞争的方法，主要解决在并发程序测试中如何检测发生数据竞争的指令所在位置的问题，提高软件测试精度及测试效率。

背景技术

在大数据时代，软件规模与数据量日益增长，计算机多核硬件也飞速发展，多线程并发程序带来的缺陷也很快蔓延开来，由于多线程程序内在的并发性和不确定性，这些缺陷难以检测、调试和修复，这些问题给并发程序的分析带来了巨大的挑战，软件的开发与维护人员需要耗费大量的时间和精力来检测、定位和修复这些问题。

数据竞争是多线程程序中常见的并发错误，它们中的许多可能会导致程序结果发生错误，更为严重地并发错误会直接导致程序和服务器崩溃，数据竞争不一定导致程序错误，因为有些程序员故意让程序有数据竞争以提高运行的效率，但是调查表明5％-24％的数据竞争会对程序产生坏影响。

目前，国内外已经提出了很多数据竞争检测和验证的方法，主要分为3类:静态数据竞争检测方法，动态数据竞争检测方法以及动静结合的数据竞争检测方法。1997年，Savage等人提出基于lockset的动态数据竞争检测方法Eraser，该方法在程序执行过程中维护每个线程当前的锁集信息，同时更新共享变量持有的锁集信息，当共享变量不再受到锁保护的时候，报告出数据竞争。Dinning、Mellor-Crummey和Perkovic等人于1990-1996年先后基于Lamport的happens-before关系提出了使用逻辑时钟来动态地检测数据竞争。Pozniansky(Djit+)、Flanagan(FastTrack)、Cai(Loft)以及Ok-Kyoon等人于2003年至2015年先后提出了改进后的基于happens-before关系的动态数据竞争检测方法。2016年，ZhenYang、Zhen Yu等人采用了动静结合的分析方法来检测数据竞争。2017年，Yu Guo、Yan Cai、Zijiang Yang等人提出基于抽样算法的数据竞争检测方法。

以上方法虽然能降低一定的误检及漏检并且能降低测试开销，但都只是在语句层次进行检测，无法实现对数据竞争指令对进行定位，为此，本发明以数据竞争定义和happens-before规则为基础，提出了一种指令级动态插桩并分析指令对的并发程序数据竞争定位方法，有助于并发程序数据竞争的精准定位。

发明内容

本发明主要解决的问题：现有的检测方法无法实现对并发程序数据竞争指令对进行定位，本发明将被测并发程序进行动态指令级插桩，以数据竞争定义和happens-before规则为基础，遍历所有指令对来分析是否发生数据竞争，为该问题提供一种精确并有效的数据竞争指令级定位方法。

本发明的技术方案：一种并发程序数据竞争指令级定位方法，其特征包括以下步骤：(1)设被测并发程序P的指令数为inscount，线程数为n，利用英特尔公司推出的二进制插桩工具PIN3.4对被测并发程序P中每条访问内存地址的指令进行动态插桩，指定每条指令的编号num，第一条运行指令的num为1，记录每条指令的指令地址ip、访问内存地址addr、读写操作op、所在线程编号tid以及对应的源码行号line；

(2)针对被测并发程序P中某个被访问的共享内存S，创建向量时钟矩阵

其中

表示线程1的向量时钟，以此类推，

表示线程n的向量时钟，第i个线程的向量时钟

t_ij(j＝1,2,...,n)表示线程i所记录的线程j访问共享内存S的时间，初始值设为0；

(3)判断条件num＝inscount，若该条件成立，进入步骤(9)，否则每运行一条指令，其指令编号num＝num+1，遍历当前指令INS与之前的所有指令，设置k初始值为1，若线程i中的指令访问共享内存S，则增加自己的时间戳t_ii＝t_ii+1，当线程i与线程j同步运行时，线程i释放共享内存S后线程j开始访问共享内存S，线程j更新自己向量时钟中的t_jj＝t_jj+1，并且同时将两个线程向量时钟的值更新为：

即此时两个向量时钟中每个维度的较大值；

若线程i与线程j不同步时，线程j更新自己向量时钟中的t_jj＝t_jj+1，其它值不变，若被测程序运行过程中出现新的共享内存G，则创建新的向量时钟矩阵VG_n×n，并设置初始值为0；

(4)判断k是否等于当前指令的编号num，如果等于，跳回步骤(3)，若不等于，进入步骤(5)；

(5)若当前指令INS的读写操作op为读操作，进入步骤(6)，若为写操作，进入步骤(7)；

(6)如果第k条指令的读写操作op为读操作，则k＝k+1，跳回步骤(4)；若第k条指令的读写操作为写操作，进入步骤(7)；

(7)若当前指令与第k条指令的访问内存地址addr一致并且两者所在线程tid不同，进入步骤(8)，否则k＝k+1，跳回步骤(4)；

(8)设当前指令所在线程为e(e＝1,2,...,n)，第k条指令所在线程为q(q＝1,2,...,n)，判断线程e的向量时钟

与线程q的向量时钟

是否存在偏序关系，若存在，令k＝k+1并跳回步骤(4)，否则报告数据竞争，输出当前指令与第k条指令的num、指令地址ip与其对应的源码行号line，然后令k＝k+1，跳回步骤(4)；

(9)程序动态运行结束，输出数据竞争报告。

附图说明

图1为本发明的流程图。

图2为实施方式中实例测试并发程序datarace_true代码。

图3为实施方式中实例测试并发程序datarace_true初步动态插桩结果。

图4为并发程序datarace_true中共享变量global的向量时钟矩阵更新情况。

图5为实施方式中实例测试并发程序datarace_true数据竞争定位结果。

具体实施方式

以下结合实例具体说明本发明的数据竞争定位方法的实施方式，但本发明的实施不限于此，本实验的实验环境为：操作系统Ubuntul16.04，插桩工具：英特尔公司动态插桩工具PIN，版本号为3.4。

如图1所示，一种并发程序数据竞争指令级定位方法包括以下步骤：

在图2所示的实例代码datarace_true中，主线程对共享变量global进行了一次读操作，子线程thrd1与子线程thrd2分别对共享变量global进行了一次写操作，而子线程thrd3对共享变量global进行了一次读操作，因为主线程与三条子线程的所有操作都不受任何锁保护，所以它们不存在同步运行关系，主线程和子线程thrd3中对共享变量global的读访问都可能与子线程thrd1或thrd2中对共享变量的写访问构成数据竞争，并且子线程thrd1与子线程thrd2中对共享变量的写访问也可能会造成数据竞争，由此可见，主线程中对共享变量global的读访问与子线程thrd1和thrd2中对共享变量global的写访问分别会构成一次潜在的数据竞争，子线程thrd3分别会与thrd1和thrd2构成一次潜在的数据竞争，并且子线程thrd1与thrd2也会构成一次潜在的数据竞争，该并发程序实例的真实数据竞争一共为5次。

(1)对并发程序datarace_true进行动态插桩。

利用动态插桩工具PIN3.4，针对图2所示的实例并发程序datarace_true进行指令级动态插桩，为便于后续分析，剔除所有无对应源码的指令(注：一个程序中，不是所有指令都有对应的源码，并且绝大多数指令没有对应的源码)，生成了如图3所示的插桩结果，该并发程序的指令数inscount为39，共享变量global的内存地址memaddress为0x60105c。

其中，num表示指令编号，insaddress表示指令所在地址，op为该指令对内存的读写操作(’R’表示读操作，’W’表示写操作)，memaddress表示为指令所访问的内存地址，tid为指令所在的线程ID，主线程的tid为0，子线程thrd1的tid为1，thrd2的tid为2，thrd3的tid为3，line表示该指令所对应的源码行号。

(2)创建向量时钟矩阵Q对共享变量global进行跟踪。

在并发程序datarace_true中，一共有四条线程对共享变量global进行访问，所以创建一个4行4列的矩阵Q_4×4对共享变量global进行跟踪，初始值设为

其中第一行表示主线程的向量时钟

第二行表示子线程thrd1的向量时钟

以此类推，第四行表示子线程thrd3的向量时钟

元素t₁₁表示主线程记录自身访问共享内存global的时间戳，元素t₁₂为主线程记录子线程thrd1访问共享内存global的时间戳，元素t₂₁表示子线程thrd1记录主线程访问共享内存global的时间戳，元素t₂₂为子线程thrd1记录自身访问共享内存global的时间戳。

(3)遍历当前指令与之前所有指令形成的指令对。

在动态插桩的过程中，每运行一条指令，遍历当前指令与之前所有指令形成的指令对，如图3中，当并发程序datarace_true运行到第20条指令时，遍历之前的19条指令与之形成的指令对(20,1)、(20,2)....(20,19)，设置k的初始值为1，若主线程的指令访问了共享内存global，则增加主线程自身的时间戳t₁₁＝t₁₁+1，若主线程与子线程thrd1同步运行且当主线程释放共享内存global后子线程开始访问共享内存global，子线程thrd1增加自己的时间戳t₂₂＝t₂₂+1，并同时将主线程和子线程的向量时钟的值更新为此时两个向量时钟中每个维度的较大值，如下所示：

若主线程与子线程不同步运行且当主线程释放共享内存global后子线程开始访问共享内存global，则子线程增加自己的时间戳t₂₂＝t₂₂+1，其他值不变。

同理，并发程序datarace_true中任何线程对共享内存global进行访问后，其向量时钟都以上述方式进行更新。

(4)判断终止条件。

判断条件num＝inscount，若该条件成立，程序动态插桩结束，输出数据竞争报告，否则判断k是否等于当前指令的编号num，如果等于，说明当前指令之前的所有指令已经遍历完成，跳回步骤(3)，若不等于，进入步骤(5)；

(5)判断当前指令的读写操作。

若当前指令INS的读写操作op为读操作，进入步骤(6)，若为写操作，忽略步骤(6)进入步骤(7)；

(6)判断第k条指令的读写操作。

如果第k条指令的读写操作op为读操作，根据数据竞争定义，构成数据竞争的两条指令至少有一条为写操作，而当前指令与第k条指令都为读操作，不可能造成数据竞争，如图4中的第26条指令与第34条指令，它们的读写操作都为’R’，所以不存在数据竞争，k＝k+1，跳回步骤(4)；若第k条指令的读写操作为写操作，进入步骤(7)；

(7)初步判断数据竞争。

若当前指令与第k条指令的访问内存地址addr一致并且两者所在线程tid不同，初步报告数据竞争，虽然这时当前指令与第k条指令访问一个共享内存，来自不同线程且至少有一条为写操作，但两条指令不一定会同时访问，因为在某些锁保护的情况下，两条指令的访问顺序有着明确的先后关系，如此就不会造成数据竞争，所以进入步骤(8)进一步判断两条指令访问共享内存是否存在明确的先后关系；若当前指令与第k条指令的访问内存地址addr不一致或者两者所在线程tid相同，则k＝k+1，跳回步骤(4)；

(8)利用happens-before规则判断各个线程向量时钟是否存在偏序关系。

设当前指令所在线程为e(e＝1,2,3,4)，第k条指令所在线程为q(q＝1,2,3,4)，判断线程e的向量时钟

与线程q的向量时钟

是否存在偏序关系，若存在，则令k＝k+1并跳回步骤(4)，否则报告数据竞争，输出当前指令与第k条指令的num、指令地址ip与其对应的源码行号line，然后令k＝k+1，跳回步骤(4)；

由图3可知，当并发程序datarace_true运行到第19条指令时(num＝19)，子线程thrd1对共享内存global进行了第一次访问(由于子线程thrd1是对内存进行写访问，其对应的写操作指令的前一条指令必为读指令，所以第18条指令可忽略，以下出现类似情况不再进行解释)，所以更新其向量时钟中元素t₂₂＝t₂₂+1，向量时钟更新为

向量时钟矩阵更新为

当并发程序运行到第23条指令时(num＝23)，子线程thrd2对共享内存global进行了第二次访问，更新其向量时钟中的元素t₃₃＝t₃₃+1，向量时钟更新为

由于子线程thrd2访问的共享内存global是由子线程thrd1释放，但两者并不存在同步关系，所以其它值不变，此时向量时钟矩阵为

第23条指令与第19条指令初步判断为数据竞争(num＝23,k＝19)，判断两条指令所在线程thrd1与thrd2的向量时钟是否存在偏序关系，综上所诉，

与

并不存在偏序关系，报告数据竞争，输出两条指令的指令编号num 19和23，指令地址insaddress4196408和4196445，指令所对应的源码行号line 45和65；

当当前指令num＝26且k＝19时，子线程thrd3对共享变量进行了第三次访问，首先更新其向量时钟中元素t₄₄＝t₄₄+1，向量时钟更新为

由图3可知，第26条指令与第19条指令初步判断为数据竞争，子线程thrd3访问的共享内存global是由子线程thrd1释放，但两者并不存在同步关系，所以其它值不变，向量时钟矩阵为

此时两条指令所在线程的向量时钟

于

并不存在偏序关系，所以报告数据竞争，输出两条指令的指令编号num 19和26，指令地址insaddress4196408和4196477，指令所对应的源码行号line 45和87；

当当前指令num依然为26且k＝23时，当前指令没有发生变化，程序没有对共享变量global进行访问，所以向量时钟矩阵不需要更新，此时两条指令被初步判断为数据竞争，但它们所在线程的向量时钟

于

并不存在偏序关系，所以报告数据竞争，输出两条指令的指令编号num 23和26，指令地址insaddress 4196445和4196477，指令所对应的源码行号line 65和87；

当当前指令num＝34且k＝19时，主线程对共享变量进行了第四次访问，首先更新其向量时钟中元素t₁₁＝t₁₁+1，向量时钟更新为

由图3可知，第34条指令与第19条指令初步判断为数据竞争，主线程访问的共享内存global是由子线程thrd3释放，但两者并不存在同步关系，所以其它值不变，向量时钟矩阵为

此时两条指令所在线程的向量时钟

于

并不存在偏序关系，报告数据竞争，输出两条指令的指令编号num 19和34，指令地址insaddress4196408和4196330，指令所对应的源码行号line 45和30；

当当前指令num＝34且k＝23时，当前指令没有发生变化，并发程序没有对共享变量global进行访问，所以向量时钟矩阵不需要更新，此时两条指令被初步判断为数据竞争，但它们所在线程的向量时钟

于

并不存在偏序关系，所以报告数据竞争，输出两条指令的指令编号num 23和34，指令地址insaddress 4196445和4196330，指令所对应的源码行号line 65和30；

所以在并发程序datarace_true动态插桩过程中，共享内存global的向量时钟矩阵更新情况为图4所示。

综上所述，针对并发程序datarace_true，本方法检测出来5对可能造成数据竞争的指令对，分别为第19条与第23条、第19条与第26条、第23条与第26条、第19条与第34条、第23条与第34条，检测漏报为0，检测误报为0，具体检测结果如表1所示，其中racewith表示与之构成数据竞争的指令的指令编号num，图5为并发程序datarace_true数据竞争定位结果图。

此外，通过表2中从github上选取的10个多线程案例分析结果可得，本文所提出的方法INSRaceTest优于现有的三种动态数据竞争检测方法。其中，HB表示基于happens-before规则的检测方法，HY表示基于happens-before和lockset的混合方法，racecount为各个方法检测出来的数据竞争数量，FP为误报数量，FN为漏报数量，FPR表示误报率，FNR表示漏报率。这10个案例真实数据竞争数量为240，INSRaceTest检测出248对数据竞争，其中误报数量为8，漏报数量为0，误报率和漏报率分别为3.33％和0，相对于其他三种现有的动态检测方法，INSRaceTest的误报率FPR以及漏报率FNR明显较低。由此可知，本文所提出的方法较准确的定位出并发程序数据竞争指令对所在位置，验证了该并发程序数据竞争定位方法的有效性，提高了并发软件测试的精度及测试效率。

表1本文方法检测结果

表2各方法检测结果

Claims (2)

1.一种并发程序数据竞争指令级定位方法，其特征包括以下步骤：

(1)设被测并发程序P的指令数为inscount，线程数为n，利用二进制插桩工具PIN3.4对被测并发程序P中每条访问内存地址的指令进行动态插桩，指令的编号为num，第一条访问内存地址指令的num为1，后续指令依次类推，记录每条指令的指令地址ip、访问内存地址addr、读写操作op、所在线程编号tid以及对应的源码行号line；

(2)针对被测并发程序P中某个被访问的共享内存S，创建向量时钟矩阵

其中

表示线程1的向量时钟，依此类推，

表示线程n的向量时钟，第i个线程的向量时钟

t_ij(j＝1,2,...,n)表示线程i所记录的线程j访问共享内存S的时间，初始值设为0；

(3)判断条件num＝inscount，若该条件成立，进入步骤(9)，否则每运行一条指令，其指令编号num＝num+1，遍历当前指令INS与之前的所有指令，设置k初始值为1，若线程i中的指令访问共享内存S，则增加自己的时间戳t_ii＝t_ii+1，当线程i与线程j同步运行时，线程i释放共享内存S后线程j开始访问共享内存S，线程j更新自己向量时钟中的t_jj＝t_jj+1，并且同时将两个线程向量时钟的值更新为：

即此时两个向量时钟中每个维度的较大值；

若线程i与线程j不同步时，线程j更新自己向量时钟中的t_jj＝t_jj+1，其它值不变，若被测程序运行过程中出现新的共享内存G，则创建新的向量时钟矩阵VG_n×n，并设置初始值为0；

(4)判断k是否等于当前指令的编号num，如果等于，跳回步骤(3)，若不等于，进入步骤(5)；

(5)若当前指令INS的读写操作op为读操作，进入步骤(6)，若为写操作，进入步骤(7)；

(6)如果第k条指令的读写操作op为读操作，则k＝k+1，跳回步骤(4)；若第k条指令的读写操作为写操作，进入步骤(7)；

(7)若当前指令与第k条指令的访问内存地址addr一致并且两者所在线程tid不同，进入步骤(8)，否则k＝k+1，跳回步骤(4)；

(8)设当前指令所在线程为e(e＝1,2,...,n)，第k条指令所在线程为q(q＝1,2,...,n)，判断线程e的向量时钟

与线程q的向量时钟

是否存在偏序关系，若存在，令k＝k+1并跳回步骤(4)，否则报告数据竞争，输出当前指令与第k条指令的num、指令地址ip与其对应的源码行号line，然后令k＝k+1，跳回步骤(4)；

(9)被测程序动态执行结束，输出数据竞争报告。

2.根据权利要求1所述的一种并发程序数据竞争指令级定位方法，其特征在于：该方法能用于并发程序数据竞争指令级定位，可以定位到并发程序数据竞争发生的指令对和语句对，并能有效的降低数据竞争检测误报率及漏报率。

Images