CN103679038B - 并行程序共享数据类漏洞的检测方法及系统 - Google Patents

并行程序共享数据类漏洞的检测方法及系统 Download PDF

Info

Publication number
CN103679038B
CN103679038B CN201310659010.1A CN201310659010A CN103679038B CN 103679038 B CN103679038 B CN 103679038B CN 201310659010 A CN201310659010 A CN 201310659010A CN 103679038 B CN103679038 B CN 103679038B
Authority
CN
China
Prior art keywords
collection
instruction
fetter
instantaneous
leak
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310659010.1A
Other languages
English (en)
Other versions
CN103679038A (zh
Inventor
武永卫
陈康
郑纬民
章明星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201310659010.1A priority Critical patent/CN103679038B/zh
Publication of CN103679038A publication Critical patent/CN103679038A/zh
Priority to US14/562,706 priority patent/US20150161030A1/en
Application granted granted Critical
Publication of CN103679038B publication Critical patent/CN103679038B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577Assessing vulnerabilities and evaluating computer system security
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/70Software maintenance or management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/362Software debugging
    • G06F11/3632Software debugging of specific synchronisation aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3604Software analysis for verifying properties of programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Stored Programmes (AREA)

Abstract

本发明提出一种并行程序共享数据类漏洞的检测方法,包括以下步骤:为软件不变量中的各条指令的动态实例定义瞬时Fetter集,其中,软件不变量是指程序中执行顺序预先固定的指令集合;获取瞬时Fetter集的包含集和义务集;将包含集和义务集进行剪枝以获取剪枝后的结果,并将剪枝后的结果存储在不变量数据库中;利用检测组件检测各个瞬时Fetter集是否出现不满足对应的包含集和义务集的第一瞬时Fetter集,如果是,则判断第一瞬时Fetter集包含漏洞,检测组件生成违例报告;暂停当前运行的线程以阻止检测到的漏洞的运行。本发明的方法,可以自动地检测以及防止程序中潜在的共享数据类漏洞。本发明还提出一种并行程序共享数据类漏洞的检测系统。

Description

并行程序共享数据类漏洞的检测方法及系统
技术领域
本发明涉及软件工程技术领域,尤其涉及一种并行程序共享数据类漏洞的检测方法及系统。
背景技术
一般来说,关于数据竞争类型的漏洞的研究可以分为两大部分,基于锁的方法(lock-setapproach)(如Eraser)和基于时间序列的方法(happened-before)(如SigRace)。虽然有关数据竞争类型的漏洞已经得到较为充分的研究,但即使完美解决了所有数据竞争类漏洞也是不够的。原因在于:1)很大一部分的数据竞争漏洞并不会造成什么实质性的后果。即,它们是良性的;2)不存在数据竞争的原子性违反类漏洞并不少见;3)绝大多数的顺序性违例类漏洞并不能通过简单地将它们包入关键区之中得到解决。
由于单一地检测数据竞争类漏洞的工具的局限性,关于如何解决原子性违例类漏洞的研究成了一个热门的话题并成为许多研究工作的重心。因而,只有少数关于顺序性违例类漏洞的研究。而且在这些少量的研究中基本上都只能处理自己定义的一个顺序性违例类漏洞的子集。举例来说,虽然ConMem中的Con-NULL和DefUse的Local/Remote(LR)Invariants各自处理了一部分,但是“写-写”顺序性违例类漏洞都不能得到很好的处理。
此外,漏洞的防治与漏洞的检测是一类相互补充的方法。这一方法仍存在以下问题:1)即使经过了相当充分的测试,仍然不能保证所有的漏洞都已经被找到;2)对一个已报告的漏洞的误解可能导致由修复用的补丁引入新的漏洞;3)从漏洞被发现到被修复之间的时间间隔太长。虽然已有大量的改进的方法,如PSet,LifeTxes、Pacman、Rcdc和Bulksc。但是它们都需要复杂的硬件支持,而且大部分无法处理顺序性违例类漏洞。
关于大量的以块为单位的执行代码,如内存事务(Transaction Memory)这一相对成熟的技术,已经有很多相关的方法被提出。这些方法或硬件被用于降低多线程程序的不确定性,从而减少漏洞的发现几率和调试的难度。但是,尽管使用了新型的编程模型,也并没有杜绝漏洞的发生。更重要的是,由于组成一个顺序性违例的两条指令中的一条比另一条要更加靠近分叉点在基于块的执行方式中是不存在的,因此基于块的执行方式反而提高了顺序性违例类漏洞的发生几率。
发明内容
本发明旨在至少解决上述技术问题之一。
为此,本发明的第一个目的在于提出一种并行程序共享数据类漏洞的检测方法。该方法可以自动地检测以及防止程序中潜在的共享数据类漏洞。
本发明的第二个目的在于提出一种并行程序共享数据类漏洞的检测系统。
为了实现上述目的,本发明第一方面实施例的并行程序共享数据类漏洞的检测方法包括以下步骤:为软件不变量中的各条指令的动态实例定义瞬时Fetter集,其中,软件不变量是指程序中执行顺序预先固定的指令集合;获取所述瞬时Fetter集的包含集和义务集;将所述包含集和义务集进行剪枝以获取剪枝后的结果,并将所述剪枝后的结果存储在不变量数据库中;利用检测组件检测各个所述瞬时Fetter集是否出现不满足对应的所述包含集和义务集的第一瞬时Fetter集,如果是,则判断所述第一瞬时Fetter集包含漏洞,检测组件生成违例报告;暂停当前运行的线程以阻止检测到的所述漏洞的运行。
根据本发明实施例的并行程序共享数据类漏洞的检测方法,可以自动地检测以及防止程序中潜在的共享数据类漏洞,无需开发者手工注释,且应用范围广。
在一些示例中,所述瞬时Fetter集具体是指:在所有先于所述指令执行的指令中,与所述指令相邻且与所述指令访问了同一内存的指令集合。
在一些示例中,所述包含集是指所述指令的所有动态实例的所述瞬时Fetter集的并集;所述义务集是指所述指令的所有动态实例的所述瞬时Fetter集的交集。
在一些示例中,所述暂停当前运行的线程以阻止检测到的所述漏洞的运行,当暂停时间达到预设时间阈值或暂停次数达到预设次数阈值时,暂停状态解除。
在一些示例中,还包括:判断触发集是否包含于所述义务集,如果否,则暂停当前运行的线程,并生成违例报告,其中,所述触发集是所述义务集的镜像集合。
本发明第二方面实施例的并行程序共享数据类漏洞的检测系统,包括:提取模块,用于计算瞬时Fetter集的包含集和义务集,并不断更新所述包含集和义务集;剪枝模块,用于去除所述包含集和义务集中置信度低的部分,以获取剪枝后的结果;检测模块,用于利用检测组件检测各个所述瞬时Fetter集是否出现不满足对应的所述包含集和义务集的所述第一瞬时Fetter集,如果是,则判断所述第一瞬时Fetter集包含漏洞,检测组件生成违例报告;防治模块,用于暂停当前运行的线程以阻止检测到的所述漏洞的运行;发掘模块,用于发掘多线程运行指令中隐藏的漏洞。
根据本发明实施例的并行程序共享数据类漏洞的检测系统,可以自动地检测以及防止程序中潜在的共享数据类漏洞,无需开发者手工注释,且应用范围广。
在一些示例中,所述瞬时Fetter集具体是指:在所有先于所述指令执行的指令中,与所述指令相邻且与所述指令访问了同一内存的指令集合。
在一些示例中,所述瞬时Fetter集的包含集是指所述指令的所有动态实例的所述瞬时Fetter集的并集;所述瞬时Fetter集的义务集是指所述指令的所有动态实例的所述瞬时Fetter集的交集。
在一些示例中,所述防治模块还用于,当暂停时间达到预设时间阈值或暂停次数达到预设次数阈值时,暂停状态解除。
在一些示例中,所述发掘模块还用于,判断触发集是否包含于所述义务集,如果否,则暂停当前运行的线程,并向生成违例报告,其中,所述触发集是所述义务集的镜像集合。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中,
图1是根据本发明一个实施例的并行程序共享数据类漏洞的检测方法的流程图;
图2是本发明一个实施例的具体运行过程示意图;和
图3是根据本发明一个实施例的并行程序共享数据类漏洞的检测系统的结构框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。相反,本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
在本发明的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
下面参考附图描述根据本发明实施例的并行程序共享数据类漏洞的检测方法及系统。
本发明提出的一种并行程序共享数据类漏洞的检测方法,包括以下步骤:为软件不变量中的各条指令的动态实例定义瞬时Fetter集;获取瞬时Fetter集的包含集和义务集;将包含集和义务集进行剪枝以获取剪枝后的结果,并将剪枝后的结果存储在不变量数据库中;利用检测组件检测各个瞬时Fetter集是否出现不满足对应的包含集和义务集的第一瞬时Fetter集,如果是,则判断所述第一瞬时Fetter集包含漏洞,检测组件生成违例报告;暂停当前运行的线程以阻止检测到的漏洞的运行。
图1是根据本发明一个实施例的并行程序共享数据类漏洞的检测方法的流程图,图2是本发明一个实施例的具体运行过程示意图。
结合图1和图2,并行程序共享数据类漏洞的检测方法的具体实现过程如下:
步骤S101:为软件不变量中的各条指令的动态实例定义瞬时Fetter集。其中,软件不变量是指程序中执行顺序预先固定的指令集合。
具体地,为软件不变量中的各条指令的动态实例(Dynamic instance of a static instruction)I定义一个瞬时Fetter集,即CFS(I)。数学上CFS(I)是一个指令的集合,由所有先于I执行的指令中,与I相邻且与I访问了同一内存的指令构成。如果这种指令的数量为零,则标记为NUL。例如,线程1中的指令I1被称为与线程2中的指令I2相邻,当且仅当在I1和I2的执行之间线程1没有运行任何访问同一片内存的指令。
步骤S102:获取瞬时Fetter集的包含集和义务集。
具体地,某条指令I的包含集(Belonging Invariants Set),即BIS(I),是一个指令的集合,描述这条指令能否被包含于另一条指令的CFS中。它的值等于这条指令的所有动态实例CFS的并集。如果所有的指令都可以属于I的CFS,BIS(I)被标记为ALL。
某条指令I的义务集(Enforcing Invariants Set),即EIS(I),用来描述这条指令是否必须被包含于另一条指令的CFS中。在数学上,它是指这条指令所有动态实例的CFS的交集。
在实际运行中,为了在没有任何人力标注介入的条件下自动的获取FI(FetterInvariants),即瞬时Fetter集的包含集BIS和义务集EIS的总和,需要一定数量的正确运行的动态实例。对于多线程程序而言,由于多线程程序运行的不确定性,甚至对于同一输入数据的多次运行,也了可以被认为是不同的运行的动态实例,因此获取大量的运行的动态实例是比较容易的。常用的系统测试工具,如CHESS和CTrigge,可以用来发掘尽可能全面的运行动态实例。
在实现上,通过跟踪程序的执行来获取指令之间顺序关系。具体地,在程序的运行期间,提取组件会为每一组<线程ID,内存地址>记录最后一条执行的指令。这个线程对此片内存的每一次操作都会更新这个记录。通过这些记录,可以动态的获取指令I的动态实例对应的CFS(I)。得到CFS(I)之后,进行如下操作:
(1)初始化FI,即BIS(I)和EIS(I)。
具体地,将BIS(I)和EIS(I)分别初始化为和ALL。
(2)更新FI,具体的操作如下所示:
BIS(I)←BIS(I)∪CFS(I)
EIS(I)←EIS(I)∩CFS(I)
其中,等式右侧的BIS(I)和EIS(I)是指令I的当前动态实例执行前获取到的FI。
(3)经过上述的学习训练后,每条指令I学习到的FI会被存放起来等待剪枝。
特别地,在具体地执行过程中,需要动态的维护recorder变量来记录当前内存的访问情况。
步骤S103:将包含集和义务集进行剪枝以获取剪枝后的结果,并将剪枝后的结果存储在不变量数据库中。
由于多线程程序的复杂性,训练阶段的测试可能是不充分的。即,测试样例可能不能覆盖所有可能的运行路径。因此,为了解决不充分训练可能带来的问题,待上述步骤S102的程序执行完毕后,提取组件将负责进行剪枝操作,去除FI中置信度不高的部分,剩下的部分即剪枝后的结果。将剪枝后的结果存放于不变量数据库中,等待后续的操作。
具体地,剪枝的实现过程如下:
(1)剪去出现几率低的软件不变量。
一般地,用于学习训练用的正确运行的动态实例的数量至少为10次。因此,可以认为,在所有的训练实例中只出现了一次的不变量的置信度(出现的可能性)是很低的。因此,这些不变量会从EIS中去除。同样地,如果BIS中相当比例不变量的置信度都不高,就将这条指令的BIS被标成ALL。如前所述,ALL表示所有的指令都属于这条指令的CFS。如果一条指令对应的FI中EIS为空且BIS为ALL,这条指令则可以省略,以节省内存空间。
具体地,需要依次访问所有获得的EIS和BIS对,使用一个map数据结构对这些EIS和BIS对进行计数。然后遍历这个map,将只出现过一次的EIS和BIS对标记为不充分,并将其从EIS中去除。最后检查所有的BIS,计算其中不充分的指令所占的比例,如果这一比例高于事先设定的某一阈值,则将其标记为ALL。
(2)剪去过于受欢迎的指令。
在经常被调用的小函数中的指令拥有大量的BIS,此时可以将这些BIS标为ALL。
同样的,还有处于动态链接库中的指令,他们的PC数会随着装载时的条件而变化,从而获得很大的BIS。此时,只需检查所有的BIS,计算其大小,如果大于预设阈值(一般设为5),则将其标记为ALL。
(3)剪去不访问共享变量的指令。
由于本发明实施例的方法处理的是共享数据类的漏洞,因此将去除不访问共享变量的指令。具体地,不访问共享变量的指令可以通过程序执行过程中动态维护的recorder变量获得,将这些指令从EIS和BIS中删除即可。
经过上述剪枝的FI将被存放于不变量数据库中。
步骤S104:利用检测组件检测各个瞬时Fetter集是否出现不满足对应的所述包含集和义务集的第一瞬时Fetter集,如果是,则判断所述第一瞬时Fetter集包含漏洞,检测组件生成违例报告。
具体实现过程如下:
(1)从不变量数据库中读取FI,即BIS和EIS,并对其进行初始化。
(2)检测组件通过维护特定的域来动态的计算每一条指令I动态实例的CFS(I),并与相应的FI进行比较。对于每一条指令,如果监测到运行的动态实例的特性不满足其对应的FI,则判断发生违例,检测组件生成违例报告并发送给开发者,用于更进一步的分析。其中,违例指在运行当中,不满足下列条件的状况:
特别地,为了节省内存和时间,这一操作只对访问共享变量的指令执行。
另外,检测阶段也可以用于进一步去掉不充分的不变量。经分析,造成违例的原因并不是漏洞的那部分违例可以从FI中删除。即,当开发者根据报告与对程序的分析做出当前违例并不是漏洞的断定后,通过执行与步骤S103中的“剪去出现几率低的不变量”类似的方法将这一指令从不变量数据库中将其剔除。这样,之后再出现同样的指令交错时,将不会再产生疑似漏洞的违例报告。
步骤S105:暂停当前运行的线程以阻止检测到的漏洞的运行。
在上述步骤S104检测到违例的基础上,直接通过暂停当前线程来解决这一违例的方法来防治漏洞的发生。特别地,为了阻止违例的发生,检测违例的步骤是先于指令的实际执行之前进行。
具体地,通过只允许部分经过测试的线程间指令交错的运行,可以在漏洞实际暴露之前检测到潜在的漏洞,通过暂停当前执行的线程直到其它线程的运行解决了这一违例的方法来阻止漏洞的运行。在当前线程暂停的过程中,如果其它线程访问了同一片内存,当前线程的CFS会被重新计算并再一次检测,如果成功就解除暂停状态。在程序运行过程中,依然需要动态的维护recorder变量用以记录当前内存的访问情况。
不可否认的是,并不是所有的FI违例都可以通过暂停的办法来解决。由于学习训练可能是不充分的,唯一合适的指令交错有可能并未在训练学习FI的阶段出现,因而也就无法被学习到。为了保证程序不会因此出现无限的死锁,需要根据程序的具体情况设置一个合理的阈值值。当暂停时间达到预设时间阈值或暂停次数达到预设次数阈值时,暂停状态解除。并向开发者报告这一违例无法解决。经开发者析后,如果造成这一状况的原因并非漏洞,可以通过对FI打补丁的办法来放松限制,允许这一指令交错在今后的执行。补丁的具体方法也与步骤S103中的“剪去出现几率低的不变量”的方法类似。
优选地,在软件的实际运行环节,步骤S105在步骤S104讲述的检测违例的基础上,可以作为一种独立的防治模式,直接通过暂停当前线程来解决这一违例的方法来防治漏洞的发生,而不需向开发者发送违例报告。
进一步地,在本发明的一个实施例中,还给出了一种检测在普通的运行环境中,暴露多线程漏洞的方法。即:判断触发集是否包含义务集,如果否,则暂停当前运行的线程,并生成违例报告。其中,触发集是义务集的镜像集合。
在实际的运行过程中,单纯地通过前述的步骤去检测那些极少出现的漏洞是不太现实的。在本发明的一个实施例中,根据FI的定义,如果指令I1属于指令I2的EIS,表示在所有正确运行的动态实例中I1都在I2之前执行。反之,可能是隐藏的漏洞。
为了检测这样的性质,本发明实施例的用于发掘潜在漏洞的方法的实现步骤如下:
(1)为各个指令I定义一个对应的触发集Trigger Set(TS(I))。
数学上,TS是EIS的镜像指令的集合。即,I1属于I2的TS,当且仅当I2属于I1的EIS。
(2)从不变量数据库读取EIS,并初始化。
(3)动态地计算各个指令I的CSF(I)后,判断下式是否成立:
TS ( I ) &SubsetEqual; EIS ( I )
如果则当前线程将被暂停。这一规则将会被持续测试,直到条件得到满足或达到相应的阈值(应当设置得比步骤S105相对长一些)。
由于TS是EIS的反射,EIS所暗含的指令预定的执行顺序,在正确的指令交错之中一定会发生关于TS的违例。从而,当前线程被发掘组件暂停,进一步加大了两指令运行顺序翻转的几率。但是,如果顺序是被代码使用信号量之类的顺序性同步原语保证了的,这一违例会被持续,直至达到阈值。
根据本发明实施例的并行程序共享数据类漏洞的检测方法,可以自动地检测以及防止程序中潜在的共享数据类漏洞,无需开发者手工注释,且应用范围广。
本发明另一方面的实施例提出了一种并行程序共享数据类漏洞的检测系统,如图3所示,包括:提取模块100、剪枝模块200、检测模块300、防治模块400和发掘模块500。
其中,提取模块100用于获取瞬时Fetter集的包含集和义务集,并不断更新包含集和义务集。剪枝模块200用于去除包含集和义务集中置信度低的部分,以获取剪枝后的结果。检测模块300用于利用检测组件检测各个瞬时Fetter集是否出现不满足对应的包含集和义务集的第一瞬时Fetter集,如果是,则判断第一瞬时Fetter集包含漏洞,检测组件生成违例报告。防治模块400用于暂停当前运行的线程以阻止检测到的漏洞的运行。发掘模块500用于发掘多线程运行指令中隐藏的漏洞。
具体地,首先为软件不变量中的各条指令的动态实例(Dynamic instance of a staticinstruction)I定义一个瞬时Fetter集,即CFS(I),其中,软件不变量是指程序中执行顺序预先固定的指令集合。数学上CFS(I)是一个指令的集合,由所有先于I执行的指令中,与I相邻且与I访问了同一内存的指令构成。如果这种指令的数量为零,则标记为NUL。例如,线程1中的指令I1被称为与线程2中的指令I2相邻,当且仅当在I1和I2的执行之间线程1没有运行任何访问同一片内存的指令。
在提取模块100中,获取瞬时Fetter集的包含集和义务集,并不断更新包含集和义务集。具体地,某条指令I的包含集(Belonging Invariants Set),即BIS(I),是一个指令的集合,描述这条指令能否被包含于另一条指令的CFS中。它的值等于这条指令的所有动态实例CFS的并集。如果所有的指令都可以属于I的CFS,BIS(I)被标记为ALL。
某条指令I的义务集(Enforcing Invariants Set),即EIS(I),用来描述这条指令是否必须被包含于另一条指令的CFS中。在数学上,它是指这条指令所有动态实例的CFS的交集。
在实际运行中,为了在没有任何人力标注介入的条件下自动的获取FI(FetterInvariants),即瞬时Fetter集的包含集BIS和义务集EIS的总和,需要一定数量的正确运行的动态实例。对于多线程程序而言,由于多线程程序运行的不确定性,甚至对于同一输入数据的多次运行,也了可以被认为是不同的运行的动态实例,因此获取大量的运行的动态实例是比较容易的。常用的系统测试工具,如CHESS和CTrigge,可以用来发掘尽可能全面的运行动态实例。
在实现上,通过跟踪程序的执行来获取指令之间顺序关系。具体地,在程序的运行期间,提取组件会为每一组<线程ID,内存地址>记录最后一条执行的指令。这个线程对此片内存的每一次操作都会更新这个记录。通过这些记录,可以动态的获取指令I的动态实例对应的CFS(I)。得到CFS(I)之后,进行如下操作:
(1)初始化FI,即BIS(I)和EIS(I)。
具体地,将BIS(I)和EIS(I)分别初始化为和ALL。
(2)更新FI,具体的操作如下所示:
BIS(I)←BIS(I)∪CFS(I)
EIS(I)←EIS(I)∩CFS(I)
其中,等式右侧的BIS(I)和EIS(I)是指令I的当前动态实例执行前获取到的FI。
(3)经过上述的学习训练后,每条指令I学习到的FI会被存放起来等待剪枝。
特别地,在具体地执行过程中,需要动态的维护recorder变量来记录当前内存的访问情况。
在剪枝模块200中,由于多线程程序的复杂性,训练阶段的测试可能是不充分的。即,测试样例可能不能覆盖到所有可能的运行路径。因此,为了解决不充分训练可能带来的问题,待上述提取模块100中的程序执行完毕后,提取组件将负责进行剪枝操作,去除FI中置信度不高的部分,剩下的部分即剪枝后的结果。将剪枝后的结果存放于不变量数据库中,等待后续的操作。
具体地,剪枝的实现过程如下:
(1)剪去出现几率低的软件不变量。
一般地,用于学习训练用的正确运行的动态实例的数量至少为10次。因此,可以认为,在所有的训练实例中只出现了一次的不变量的置信度(出现的可能性)是很低的。因此,这些不变量会从EIS中去除。同样地,如果BIS中相当比例不变量的置信度都不高,就将这条指令的BIS被标成ALL。如前所述,ALL表示所有的指令都属于这条指令的CFS。如果一条指令对应的FI中EIS为空且BIS为ALL,这条指令则可以省略,以节省内存空间。
具体地,需要依次访问所有获得的EIS和BIS对,使用一个map数据结构对这些EIS和BIS对进行计数。然后遍历这个map,将只出现过一次的EIS和BIS对标记为不充分,并将其从EIS中去除。最后检查所有的BIS,计算其中不充分的指令所占的比例,如果这一比例高于事先设定的某一阈值,则将其标记为ALL。
(2)剪去过于受欢迎的指令。
在经常被调用的小函数中的指令拥有大量的BIS,此时可以将这些BIS标为ALL。
同样地,还有处于动态链接库中的指令,他们的PC数会随着装载时的条件而变化,从而获得很大的BIS。此时,只需检查所有的BIS,计算其大小,如果大于预设阈值(一般设为5),则将其标记为ALL。
(3)剪去不访问共享变量的指令。
由于本发明实施例的方法处理的是共享数据类的漏洞,因此将去除不访问共享变量的指令。具体地,不访问共享变量的指令可以通过程序执行过程中动态维护的recorder变量获得,将这些指令从EIS和BIS中删除即可。
经过上述剪枝的FI将被存放于不变量数据库中。
在检测模块300中,利用检测组件检测各个瞬时Fetter集是否出现不满足对应的包含集和义务集的第一瞬时Fetter集,如果是,则判断第一瞬时Fetter集包含漏洞,检测组件生成违例报告。
具体实现过程如下:
(1)从不变量数据库中读取FI,即BIS和EIS,并对其进行初始化。
(2)检测组件通过维护特定的域来动态的计算每一条指令I动态实例的CFS(I),并与相应的FI进行比较。对于每一条指令,如果监测到运行的动态实例的特性不满足其对应的FI,则判断发生违例,检测组件生成违例报告并发送给开发者,用于更进一步的分析。其中,违例指在运行当中,不满足下列条件的状况:
特别地,为了节省内存和时间,这一操作只对访问共享变量的指令执行。另外,检测模块300也可以用于进一步去掉不充分的不变量。经分析,造成违例的原因并不是漏洞的那部分违例可以从FI中删除。即,当开发者根据报告与对程序的分析做出当前违例并不是漏洞的断定后,通过执行与剪枝模块200中的“剪去出现几率低的不变量”类似的方法将这一指令从不变量数据库中将其剔除。这样,之后再出现同样的指令交错时,将不会再产生疑似漏洞的违例报告。
防治模块400用于暂停当前运行的线程以阻止检测到的漏洞的运行。具体地,通过只允许部分经过测试的线程间指令交错的运行,可以在漏洞实际暴露之前检测到潜在的漏洞,通过暂停当前执行的线程直到其它线程的运行解决了这一违例的方法来阻止漏洞的运行。在当前线程暂停的过程中,如果其它线程访问了同一片内存,当前线程的CFS会被重新计算并再一次检测,如果成功就解除暂停状态。在程序运行过程中,依然需要动态的维护recorder变量用以记录当前内存的访问情况。
不可否认的是,并不是所有的FI违例都可以通过暂停的办法来解决。由于学习训练可能是不充分的,唯一合适的指令交错有可能并未在训练学习FI的阶段出现,因而也就无法被学习到。为了保证程序不会因此无限的死锁,需要根据程序的具体情况设置一个合理的阈值。当暂停时间达到预设时间阈值或暂停次数达到预设次数阈值时,暂停状态解除。并向开发者报告这一违例无法解决。经开发者分析后,如果造成这一状况的原因并非漏洞,可以通过对FI打补丁的办法来放松限制,允许这一指令交错在今后的执行。补丁的具体方法也与剪枝模块200中的“剪去出现几率低的不变量”的方法类似。
优选地,在软件的实际运行环节,防治模块400与检测模块300是可以相互独立运行的两个模块。但是,防治模块400中的违例的检测部分与检测模块300中的检测方法相同。不同的是,为了阻止违例的发生,检测违例的步骤是先于指令的实际执行之前进行且不需向开发者发送违例报告。
在发掘模块500中,给出了一种检测在普通的运行环境中,暴露多线程漏洞的方法。即:判断触发集是否包含义务集,如果否,则暂停当前运行的线程,并生成违例报告。其中,触发集是义务集的镜像集合。
在实际的运行过程中,单纯地通过前述的系统模块去检测那些极少出现的漏洞是不太现实的。在本发明的一个实施例中,根据FI的定义,如果指令I1属于指令I2的EIS,表示在所有正确运行的动态实例中I1都在I2之前执行。反之,可能是隐藏的漏洞。
为了检测这样的性质,本发明实施例的用于发掘潜在漏洞的发掘模块500的主要功能步骤如下:
(1)为各个指令I定义一个对应的触发集Trigger Set(TS(I))。
数学上,TS是EIS的镜像指令的集合。即,I1属于I2的TS,当且仅当I2属于I1的EIS。
(2)从不变量数据库读取EIS,并初始化。
(3)动态地计算各个指令I的CSF(I)后,判断下式是否成立:
TS ( I ) &SubsetEqual; EIS ( I )
如果则当前线程将被暂停。这一规则将会被持续测试,直到条件得到满足或达到相应的阈值(应当设置得比防治模块400中相对长一些)。
由于TS是EIS的反射,EIS所暗含的指令预定的执行顺序,在正确的指令交错之中一定会发生关于TS的违例。从而,当前线程被发掘组件暂停,进一步加大了两指令运行顺序翻转的几率。但是,如果顺序是被代码使用信号量之类的顺序性同步原语保证了的,这一违例会被持续,直至达到阈值。
优选地,在实际实现过程中,在本发明实施例中使用Intel的指令监视工具PIN实现了整个并行程序共享数据类漏洞的检测系统。
根据本发明实施例的并行程序共享数据类漏洞的检测系统,可以自动地检测以及防止程序中潜在的共享数据类漏洞,无需开发者手工注释,且应用范围广。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (4)

1.一种并行程序共享数据类漏洞的检测方法,其特征在于,包括以下步骤:
为软件不变量中的各条指令的动态实例定义瞬时Fetter集,其中,软件不变量是指程序中执行顺序预先固定的指令集合,其中,所述瞬时Fetter集具体是指:在所有先于指令I执行的指令中,与所述指令I相邻且与所述指令I访问了同一内存的指令集合;
获取所述瞬时Fetter集的包含集和义务集,其中,所述包含集是指所述指令I的所有动态实例的所述瞬时Fetter集的并集,所述义务集是指所述指令I的所有动态实例的所述瞬时Fetter集的交集;
将所述包含集和义务集进行剪枝以获取剪枝后的结果,并将所述剪枝后的结果存储在不变量数据库中;
利用检测组件检测各个所述瞬时Fetter集是否出现不满足对应的所述包含集和义务集的第一瞬时Fetter集,如果是,则判断所述第一瞬时Fetter集包含漏洞,检测组件生成违例报告;以及
暂停当前运行的线程以阻止检测到的所述漏洞的运行,当暂停时间达到预设时间阈值或暂停次数达到预设次数阈值时,暂停状态解除。
2.如权利要求1所述的方法,其特征在于,还包括:判断触发集是否包含于所述义务集,如果否,则暂停当前运行的线程,并生成违例报告,其中,所述触发集是所述义务集的镜像集合。
3.一种并行程序共享数据类漏洞的检测系统,其特征在于,包括:
提取模块,用于计算瞬时Fetter集的包含集和义务集,并不断更新所述包含集和义务集,其中,所述瞬时Fetter集具体是指:在所有先于指令I执行的指令中,与所述指令I相邻且与所述指令I访问了同一内存的指令集合,所述包含集是指所述指令I的所有动态实例的所述瞬时Fetter集的并集,所述义务集是指所述指令I的所有动态实例的所述瞬时Fetter集的交集;
剪枝模块,用于去除所述包含集和义务集中置信度低的部分,以获取剪枝后的结果;
检测模块,用于利用检测组件检测各个所述瞬时Fetter集是否出现不满足对应的所述包含集和义务集的第一瞬时Fetter集,如果是,则判断所述第一瞬时Fetter集包含漏洞,检测组件生成违例报告;
防治模块,用于暂停当前运行的线程以阻止检测到的所述漏洞的运行,当暂停时间达到预设时间阈值或暂停次数达到预设次数阈值时,暂停状态解除;
发掘模块,用于发掘多线程运行指令中隐藏的漏洞。
4.如权利要求3所述的系统,其特征在于,所述发掘模块还用于,判断触发集是否包含于所述义务集,如果否,则暂停当前运行的线程,并向生成违例报告,其中,所述触发集是所述义务集的镜像集合。
CN201310659010.1A 2013-12-06 2013-12-06 并行程序共享数据类漏洞的检测方法及系统 Active CN103679038B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310659010.1A CN103679038B (zh) 2013-12-06 2013-12-06 并行程序共享数据类漏洞的检测方法及系统
US14/562,706 US20150161030A1 (en) 2013-12-06 2014-12-06 Detecting method and system for concurrency bugs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310659010.1A CN103679038B (zh) 2013-12-06 2013-12-06 并行程序共享数据类漏洞的检测方法及系统

Publications (2)

Publication Number Publication Date
CN103679038A CN103679038A (zh) 2014-03-26
CN103679038B true CN103679038B (zh) 2016-09-21

Family

ID=50316548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310659010.1A Active CN103679038B (zh) 2013-12-06 2013-12-06 并行程序共享数据类漏洞的检测方法及系统

Country Status (2)

Country Link
US (1) US20150161030A1 (zh)
CN (1) CN103679038B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598379B (zh) * 2015-01-04 2017-08-18 中国人民解放军信息工程大学 利用处理器pmc特性检测隐藏执行指令的方法
US9996354B2 (en) * 2015-01-09 2018-06-12 International Business Machines Corporation Instruction stream tracing of multi-threaded processors
US10754640B2 (en) 2017-03-24 2020-08-25 Microsoft Technology Licensing, Llc Engineering system robustness using bug data
US11288592B2 (en) 2017-03-24 2022-03-29 Microsoft Technology Licensing, Llc Bug categorization and team boundary inference via automated bug detection
US10585780B2 (en) 2017-03-24 2020-03-10 Microsoft Technology Licensing, Llc Enhancing software development using bug data
US10860411B2 (en) * 2018-03-28 2020-12-08 Futurewei Technologies, Inc. Automatically detecting time-of-fault bugs in cloud systems
US10599552B2 (en) 2018-04-25 2020-03-24 Futurewei Technologies, Inc. Model checker for finding distributed concurrency bugs

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8572606B1 (en) * 2005-12-29 2013-10-29 Vmware, Inc. System and method for avoiding synchronization bugs through virtualization
US20120089873A1 (en) * 2010-08-17 2012-04-12 Nec Laboratories America, Inc. Systems and methods for automated systematic concurrency testing
US8862942B2 (en) * 2010-12-23 2014-10-14 Intel Corporation Method of system for detecting abnormal interleavings in concurrent programs

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Detecting Concurrency Bugs from the Perspectives of Synchronization Intentions;Shan Lu et al.;《IEEE TRANSACTION ON PARALLEL AND DISTRIBUTED SYSTEMS》;20120630;第23卷(第6期);1068页第7.4节第2段1-3行 *
一种基于异常处理的并发程序容错机制;牛如美等;《计算机工程》;20120731;第38卷(第13期);44-47页 *

Also Published As

Publication number Publication date
US20150161030A1 (en) 2015-06-11
CN103679038A (zh) 2014-03-26

Similar Documents

Publication Publication Date Title
CN103679038B (zh) 并行程序共享数据类漏洞的检测方法及系统
Kim et al. MeCC: memory comparison-based clone detector
Arumuga Nainar et al. Statistical debugging using compound Boolean predicates
Jeanneret et al. Estimating footprints of model operations
US10664601B2 (en) Method and system automatic buffer overflow warning inspection and bug repair
CN105868116A (zh) 基于语义变异算子的测试用例生成和优化方法
Vahabzadeh et al. Fine-grained test minimization
CA2966533C (en) Application testing
Walkinshaw et al. Are 20% of files responsible for 80% of defects?
Li et al. Mutation testing in practice using ruby
Harman et al. Dependence clusters in source code
Ibrahim et al. Automatic prefetching by traversal profiling in object persistence architectures
Deng et al. Testing database transaction concurrency
CN107247663B (zh) 一种冗余变异体识别方法
Azatchi et al. Advanced analysis techniques for cross-product coverage
Andrade et al. Towards the systematic testing of virtual reality programs
Zellag et al. Consad: a real-time consistency anomalies detector
Wheeler et al. Visualizing massively multithreaded applications with threadscope
Jalbert et al. Using clone detection to identify bugs in concurrent software
Vert et al. Detection of incorrect pointer dereferences for C/C++ programs using static code analysis and logical inference
Köhler Reachable markings of object Petri nets
Zhang et al. Using monterey phoenix to formalize and verify system architectures
Oosterman et al. Evojava: A tool for measuring evolving software
Wert Uncovering performance antipatterns by systematic experiments
Dragos Stack retention in debuggers for concurrent programs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant