CN103729290A

CN103729290A - 一种基于共享变量访问频度的采样率决策方法与系统

Info

Publication number: CN103729290A
Application number: CN201310716578.2A
Authority: CN
Inventors: 金海�; 邵志远; 黄能; 彭建
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2013-12-23
Filing date: 2013-12-23
Publication date: 2014-04-16

Abstract

本发明公开了一种基于共享变量访问频度的采样率决策方法和系统，通过将该方法应用到数据竞争动态检测领域，可以实现在线的实时动态数据竞争检测。该方法首先对共享变量访问频度进行统计，接着利用共享变量的访问频度差异对这些变量进行分组，然后再针对不同的分组变量分派不同的采样率，从而减少不必要的共享变量访问和同步操作检测代码，带来极小的性能开销（时间2-4倍，空间1-2倍），同时能够保证相应的检测准确率。利用该方法可以有效地实现低开销多线程程序数据竞争的实时在线分析。

Description

一种基于共享变量访问频度的采样率决策方法与系统

技术领域

本发明属于多线程程序调试领域，更具体地，涉及一种基于共享变量访问频度的采样率决策方法与系统，主要应用于多核/众核处理器平台下多线程程序的实时在线数据竞争检测。

背景技术

随着支持多线程技术的操作系统与多核处理器技术的普及，多线程编程成为了21世纪的热点，并展现出广阔的应用前景。越来越多的高并发量业务的商业应用都采用了多线程技术，然而多线程技术为人们带来更高性能的同时也带来很多问题。通常来说，相对于传统的单线程编程，多线程编程是比较难以设计和实现的。程序员编程的过程中很容易由于疏忽等原因而引入同步性的错误，这类错误通常很隐蔽，在调试期间难于被发现和定位。在众多错误类型中，数据竞争错误最为典型，它发生在两个或多个线程同时访问一个共享变量，而没有为这个变量设置同步保护机制并且多个线程中至少有一个线程改变了共享变量状态的时候。其中同步保护机制是针对程序中临界资源而言的，因为多个线程能够并发的访问临界资源而由于线程访问顺序的不确定性，所以会导致程序最终运行结果不确定。为了解决这种程序运行结果不确定性，操作系统或编程语言无一例外采用了同步保护机制(锁机制)来对临界资源加以排他性的锁，通过加锁后的临界资源在任意时刻只能有一个线程中的同步方法访问，但这种对临界资源访问的序列化将会严重的影响程序的性能。因此，如何提高多线程程序的质量，有效的检测多线程程序中所存在的数据竞争错误是非常值得研究的问题。

现有的数据竞争检测方法主要分为两类，包括静态分析方法和动态分析方法。静态分析方法通过对待测程序的代码或文档进行静态分析来寻找可能存在的问题，但由于数据竞争错误是一种运行时故障，静态分析模拟程序的在线环境比较困难，随着待测程序规模的增大可能会出现状态空间的爆炸。和静态分析方法相比，动态分析方法能够在程序运行过程中动态地检测数据竞争，更为准确，但是监测代码基本都要花费原有程序开销的3倍到30倍。此外，动态测试依赖于测试用例，由于线程调度的不确定性，导致一个数据竞争故障往往需要几周或者数月才能被检测出来。

有很多专家学者在数据竞争故障的动态检测技术方面做出了不少工作，其中利用lockset算法和happen-before算法或两者的结合来检测数据竞争故障是该领域的主流做法。基于这些算法的检测都采用了动态分析的方法，即需要运行待测程序进行调测，通过维护锁的使用策略或指令发生序关系来检测数据竞争。这类方法有一个重要缺点，即针对程序的一种输入对程序的一次执行进行检测，不能检测出所有的可行数据竞争。所以，为了充分发现实际存在的数据竞争，只有依靠反复执行待测程序来获取覆盖率。但是，单纯重复插入检测代码检测程序势必带来不能容忍的性能开销。目前，一种较为先进的做法就是每次执行程序时采用一种有效的标准对部分代码进行检测，这种方法称为采样。采样策略的好坏直接决定了采样方法的效率（性能开销和准确率）。

发明内容

本发明的目的是：克服数据竞争在线检测性能开销巨大的问题，提出一种可应用于低开销的在线数据竞争实时分析检测技术。

为实现上述目的，按照本发明的一个方面，提供了一种基于共享变量访问频度的采样率决策方法，包括：

（1）基于共享变量访问频度的统计步骤，对共享变量的访问进行监控，统计共享变量的访问频度；

（2）基于共享变量访问频度分布的变量分组步骤，根据共享变量访问频度的统计结果中，各共享变量访问频度的分布情况，对各共享变量进行分组；

（3）基于分组差异的自适应采样率调整步骤，根据各共享变量的分组结果，计算各共享变量的采样率。

优选地，所述步骤（1）中采用哈希表统计共享变量的访问频度，其中哈希表中的每个元素由共享变量的内存地址ID和访问频度n构成的键值对组成，访问共享变量ID的时候，采用如下更新策略对哈希表进行更新：1）若共享变量ID已存在于哈希表中，则将对应的哈希表中的元素（ID,n）更改为（ID,n+1）；2）若共享变量ID不存在于哈希表中，则增添一个新的元素（ID,1）至哈希表中。

优选地，所述步骤（2）中采用绝对阈值和相对阈值结合的方式对各共享变量进行分组，在程序处于启动过程中的时候，采用基于绝对阈值的方法进行分组，而在程序处于稳定运行的阶段，采用基于相对阈值的方法进行分组，具体地：

所述基于绝对阈值的方法进行分组为：根据预设的n个阈值（g₁,g₂,g₃,…，g_n）将共享变量的访问频度分为（0～g₁，g₁～g₂，g₂～g₃，…，g_n-1～g_n，g_n～+∞）共n+1个频度区间，判断共享变量x_i的访问f_i处于的频度区间，则将共享变量x_i划分到该频度区间对应的分组；

所述基于相对阈值的方法进行分组为：首先将变量x_i的访问频度f_i映射到当前时刻的相对访问频度h_i，则

然后在相对访问频度空间，采用基于相对阈值h_i的绝对阈值方法将变量进行分组。

优选地，所述步骤（3）中采用梯度下降函数对不同分组分派相应的采样率，若该组的访问频度越高，则采样率越小。

优选地，所述步骤（3）中的梯度下降函数为二次方梯度下降或者线性梯度下降函数，其中下降速度根据组间差异自定义。

按照本发明的另一方面，还提供了一种基于共享变量访问频度的采样率决策系统，所述系统包括：

基于共享变量访问频度的统计模块，用于对共享变量的访问进行监控，统计共享变量的访问频度；

基于共享变量访问频度分布的变量分组模块，用于根据共享变量访问频度的统计结果中，各共享变量访问频度的分布情况，对各共享变量进行分组；

基于分组差异的自适应采样率调整模块，用于根据各共享变量的分组结果，计算各共享变量的采样率。

具体地，所述基于共享变量访问频度的统计模块包括哈希表构建子模块和哈希表更新子模块，其中：

所述哈希表构建子模块，用于构建统计共享变量访问频度的哈希表，哈希表中的每个元素由共享变量的内存地址ID和访问频度n构成的键值对组成；

所述哈希表更新子模块，用于在监控在共享变量的访问时，采用如下更新策略对哈希表进行更新：1）若共享变量ID已存在于哈希表中，则将对应的哈希表中的元素（ID,n）更改为（ID,n+1）；2）若共享变量ID不存在于哈希表中，则增添一个新的元素（ID,1）至哈希表中。

具体地，所述基于共享变量访问频度分布的变量分组模块包括绝对阈值分组子模块和相对阈值分组子模块，其中：

所述绝对阈值分组子模块，用于在程序处于启动过程中的时候，根据预设的n个阈值（g₁,g₂,g₃,…，g_n）将共享变量的访问频度分为（0-g₁，g₁-g₂，…，g_n-1-g_n，g_n～+∞）共n+1个频度区间，判断共享变量x_i的访问f_i处于的频度区间，则将共享变量x_i划分到该频度区间对应的分组；

所述相对阈值分组子模块，用于在程序处于稳定运行的阶段，首先将变量x_i的访问频度f_i映射到当前时刻的相对访问频度h_i，则

然后在相对访问频度空间，采用基于相对阈值的方法将变量进行分组。

具体地，所述基于分组差异的自适应采样率调整模块，采用梯度下降函数对不同分组分派相应的采样率，若该组的访问频度越高，则采样率越小。

优选地，所述梯度下降函数为二次方梯度下降或者线性梯度下降函数，其中下降速度根据组间差异自定义。

本发明能够通过对共享变量的访问频度进行统计和分析，然后利用这些历史访问信息对后面的采样策略进行智能调节，提供更为精准的采样决策，从而减少对访问频度高的共享变量的采样操作，在保证精度的同时，尽量减少检测开销。

附图说明

图1是本发明提出的基于共享变量访问频度的采样率决策方法的示意图；

图2是本发明提出的采样决策计算流程示意图；

图3是基于本发明提出的基于共享变量访问频度的采样率决策方法进行数据竞争检测的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

当一个程序启动执行时候，通过对源程序二进制代码中的共享变量访问操作和同步操作进行监测代码插入，从而有效的分析该程序是否存在数据竞争。指定一个全局采样率r，即使用一定的概率来对所有的共享变量访问和同步操作进行分析，而不是对所有的共享变量和同步操作都进行代码插桩，可以有效降低检测开销。而进一步通过为每一个共享变量计算合适的采样率r，可以使得这种检测开销更小，并且不影响原有的准确率。

通过对多线程程序的特性研究表明，越是访问频繁的变量，其发生数据竞争的可能性越小，因为如果其经常发生数据竞争，就会更早被程序员发现和修复。利用这种现象，本发明提出一种基于共享变量访问频度的采样率决策方法，主要通过降低高频访问共享变量的采样率手段来实现低开销。

如图1所示，本发明主要包含三个模块：基于共享变量访问频度的统计模块、基于共享变量访问频度分布的变量分组模块和基于分组差异的自适应采样率调整模块。

基于共享变量访问频度的统计模块用于统计每个变量的访问次数，本发明可以采用哈希表（HashMap）这种数据结构来对共享变量的访问频度进行统计。其中哈希表中的每个元素由共享变量的内存地址ID和访问频度n构成的键值对组成，如（ID，n）。每次访问共享变量ID的时候，本发明采用如下更新策略对哈希表进行实时更新：1）若共享变量ID已存在于哈希表中，则将对应的哈希表中的元素（ID,n）更改为（ID,n+1）；2）若共享变量ID不存在于哈希表中，则增添一个新的元素（ID,1）至哈希表中。

在该模块中，需要考虑的关键问题是如何实现对变量的快速索引，以快速更新变量的访问次数。由于哈希表是一种通用的快速索引工具，本发明采用哈希表对变量的访问次数进行统计。以下为使用哈希表的一种算法范例：

基于访问频度的变量分组模块用于将变量按照访问频度的高低划分到不同的组，使得组内的变量的访问频度具有某种相似性，组间的变量的访问频度具有一定的差异性。

本发明中，分组可以采用两种确定阈值（绝对阈值和相对阈值）的方法进行。首先，当程序处于刚启动阶段时候，假设设定4个绝对阈值g₁,g₂,g₃,g₄。当程序执行到稳定阶段（如默认执行一分钟后），将g₁,g₂,g₃,g₄调整为根据总体访问频度分布呈现的相对阈值区间。

在该模块中，分组的数目是重要参数所在，组数太少，不能体现变量访问频度的差异性，组数太多，会增加分析程序的复杂度，为了平衡有效性和时间开销，依据前述，此处分组个数为5。分组的准则是该模块的关键技术所在。一种简单的分组方法是基于绝对阈值的方法进行分组。假设存在n个不同的变量x₁，x₂，x₃，…，x_n，对应的访问频度分别为f₁，f₂，f₃，…，f_n，基于绝对阈值的方法可通过设置四个绝对阈值g₁,g₂,g₃,g₄将变量快速划分为五组，如下列的四阈值五分段函数所示：

(x_{i}, f_{i}) &Element; \{\begin{matrix} G_{1} & f_{i} \leq g_{1} \\ G_{2} & g_{1} < f_{i} \leq g_{2} \\ G_{3} & g_{2} < f_{i} \leq g_{3} \\ G_{4} & g_{3} < f_{i} \leq g_{4} \\ G_{5} & f_{i} > g_{4} \end{matrix}

其中的绝对阈值g₁,g₂,g₃,g₄可根据经验主义设定。基于绝对阈值的分组方法的优点是简单快速，但是由于阈值的设置没有考虑到实际程序的特性，从而可能产生阈值设置不合理导致将所有的变量划分到同一个高频组或低频组的情况，从而使得基于分组的自适应采样模块不能合理地调整变量的采样率，达不到减少开销或保持高精度的效果。另外一种分组方法是基于相对阈值的分组方法进行分组。该方法首先将变量x_i的访问频度f_i映射到当前时刻的相对访问频度h_i，则

然后在相对访问频度空间，采用基于相对阈值的方法将变量进行分组。该方法的优点是能够自动探测程序的变量访问分布特性，并能够随着时间的迁移和变量访问频度的变化自适应的调整变量的分组。但是该方法的缺陷在于，当程序处于启动过程中时，容易误将低频访问的变量划分到高频访问组，从而降低对变量的采样操作，间接地降低数据竞争检测率。在本发明中，结合两种分组方法，在程序处于启动过程中的时候，采用基于绝对阈值的方法进行分组，而在程序处于稳定运行的阶段，采用基于相对阈值的方法进行分组，从而使得分组能够自适应程序的特性，并能适用于程序的各个运行状态，保证合理的分组和采样策略。图2简要指出了这种思想的主要流程。

基于分组的自适应采样模块，用于根据变量所属的组号调整变量的采样率，通过采样率分派函数对不同分组分派不一样的采样率。具体地，本发明根据每个组的访问频度高低计算该组的采样率（Sampling Rate），若该组的访问频度越高，则采样率越小。采样率r是和组频度（g或G）相关的函数。主要是基于频繁访问某一共享变量，那么该变量导致的数据竞争会在很早就被发现和修复这一理论准则，即频繁访问共享变量的采样率较小原则，采用一定的递减分派函数使得高频访问变量具有较低的采样率，而低频访问变量具有较高的采样率，在减少采样分析开销的同时，保证较高的检测精度。假设对于变量x_i，其采样率

为：

（其中r₀是用户给定的初始采样率），表示当前变量x_i在g_j分组分派的采样率。则在具体实现中，F(g_j|r₀)可通过梯度下降函数实现，如二次方梯度下降或者线性梯度下降，具体下降速度可以根据组间差异自定义。

本发明利用共享变量访问频度信息，对共享变量进行粗粒度的分组，接着利用组内相似性、组间差异性对不同组的共享变量使用不同的采样率检测数据竞争，从而实现低开销的目的。

以上介绍了本发明的主体内容，可根据本发明的方法对共享变量的采样率进行调整，并用于数据竞争检测过程中，图3展示了将这种方法用于数据竞争检测中的使用流程。本发明仅以PACER算法作为范例介绍如何使用这种分派采样方式。PACER的主要算法思想是指用户首先设置一个采样率r₀，在每次垃圾回收阶段，生成一个随机数R，判断R是否落在[0,r₀]区间中。如果在，则属于采样区间，对接下来的共享变量访问和同操作进行采样分析操作；如果不在，则属于非采样区间，放弃对共享变量访问进行分析，仅对同步关系进行分析。使用本发明的基于共享变量访问频度的采样率决策方法之后，在每次垃圾回收阶段，会针对每一个共享变量计算其对应于r₀的采样率r，然后对该变量用r的概率采样，具体后续实施细节和PACER类似。

对于本发明适用在线实时检测系统而言，可以保证有效的检测准确性和相对其他方法更低的性能开销，特别的，根据惯例人员掌握可调节的性能和精度使得它可以适用于一些可部署环境的全天作业。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明权利要求的保护范围。

Claims

1.一种基于共享变量访问频度的采样率决策方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述步骤（1）中采用哈希表统计共享变量的访问频度，其中哈希表中的每个元素由共享变量的内存地址ID和访问频度n构成的键值对组成，访问共享变量ID的时候，采用如下更新策略对哈希表进行更新：1）若共享变量ID已存在于哈希表中，则将对应的哈希表中的元素（ID,n）更改为（ID,n+1）；2）若共享变量ID不存在于哈希表中，则增添一个新的元素（ID,1）至哈希表中。

3.如权利要求1或2所述的方法，其特征在于，所述步骤（2）中采用绝对阈值和相对阈值结合的方式对各共享变量进行分组，在程序处于启动过程中的时候，采用基于绝对阈值的方法进行分组，而在程序处于稳定运行的阶段，采用基于相对阈值的方法进行分组，具体地：

然后在相对访问频度空间，采用基于相对阈值h_i的绝对阈值划分方法将变量进行分组。

4.如权利要求1至3任一项所述的方法，其特征在于，所述步骤（3）中采用梯度下降函数对不同分组分派相应的采样率，若该组的访问频度越高，则采样率越小。

5.如权利要求4所述的方法，其特征在于，所述步骤（3）中的梯度下降函数为二次方梯度下降或者线性梯度下降函数，其中下降速度根据组间差异自定义。

6.一种基于共享变量访问频度的采样率决策系统，其特征在于，所述系统包括：

7.如权利要求6所述的系统，其特征在于，所述基于共享变量访问频度的统计模块包括哈希表构建子模块和哈希表更新子模块，其中：

所述哈希表构建子模块，用于构建统计共享变量访问频度信息统计的哈希表，哈希表中的每个元素由共享变量的内存地址ID和访问频度n构成的键值对组成；

8.如权利要求6或7所述的系统，其特征在于，所述基于共享变量访问频度分布的变量分组模块包括绝对阈值分组子模块和相对阈值分组子模块，其中：

所述绝对阈值分组子模块，用于在程序处于启动过程中的时候，根据预设的n个阈值（g₁,g₂,g₃,…，g_n）将共享变量的访问频度分为（0～g₁，g₁～g₂，g₂～g₃，…，g_n-1～g_n，g_n～+∞）共n+1个频度区间，判断共享变量x_i的访问频度f_i处于的频度区间，则将共享变量x_i划分到该频度区间对应的分组；

所述相对阈值分组子模块，用于在程序处于稳定运行的阶段，首先将变量x_i的访问频度f_i映射到当前时刻的相对访问频度hi，则

9.如权利要求6至8任一项所述的系统，其特征在于，所述基于分组差异的自适应采样率调整模块，采用梯度下降函数对不同分组分派相应的采样率，若该组的访问频度越高，则采样率越小。

10.如权利要求9所述的系统，其特征在于，所述梯度下降函数为二次方梯度下降或者线性梯度下降函数，其中下降速度根据组间差异自定义。