CN109857641B

CN109857641B - 对程序源文件进行缺陷检测的方法及装置

Info

Publication number: CN109857641B
Application number: CN201811636917.5A
Authority: CN
Inventors: 徐亮
Original assignee: Beijing Qihu Ceteng Security Technology Co ltd; Qianxin Technology Group Co Ltd
Current assignee: Beijing Qihu Ceteng Security Technology Co ltd; Qianxin Technology Group Co Ltd
Priority date: 2018-12-29
Filing date: 2018-12-29
Publication date: 2022-09-13
Anticipated expiration: 2038-12-29
Also published as: CN109857641A

Abstract

本发明实施例提供的一种对程序源文件进行缺陷检测的方法及装置，通过对所述待测程序源文件进行分析，获得对应的程序语言类型；根据所述程序语言类型获取对应的前端解析程序，所述前端解析程序为采用与所述程序语言类型相同语言编写的源代码解析程序；采用所述前端解析程序对待测程序源文件进行词法、语法、语义分析，获得中间表示文件；获取缺陷分析程序，采用所述缺陷分析程序对所述中间表示文件进行源代码模拟执行，结合加载规则完成控制流分析和数据流分析，确定缺陷点，实现采用源代码解析与缺陷检测分离技术，提高了源代码检测的缺陷覆盖度，同时提高了源代码缺陷检测的准确性。

Description

对程序源文件进行缺陷检测的方法及装置

技术领域

本发明涉及文件检测技术领域，尤其涉及一种对程序源文件进行缺陷检测的方法及装置。

背景技术

目前对所有编程语言的不当使用会带来一些安全的风险甚至漏洞。不管是由于程序逻辑导致的对污染数据的不当处理，或者是对API的不当调用，都会给整个系统带来风险。

源代码缺陷检测技术，是指对程序的源代码进行分析建模，模拟源代码执行的流程，检查其中的API调用，找出存在问题的代码。通常的做法是利用源代码构建出抽象语法树，并模拟建立抽象语法树及其成员之间的关联关系。在此基础上，对代码进行模拟执行，查找可能存在的缺陷。

对于不同的语言，虽然其语法千差万别，但最终的模拟执行方式却基本是相同的，所以大部分语言都可以抽象成统一的语法树。因此，为了提高开发效率，一般同一个检测框架会被用来对多种不同的语言进行缺陷检测。从另一个角度来看，这导致了检测程序的语言与被检测源代码语言不一致的情况，由于不同的语言的特性通常存在较大的差异，跨语言的语句翻译与模拟执行通常会存在以下几个问题，这些问题导致跨语言转换不够精确，造成了缺陷检测的不准确：

1)在进行词法、语法及语义分析时，工作量较大，且容易出错，导致分析的结果与原本的信息不一致。

2)当被检测语言的版本升级时，检测程序同样需要进行相应的修改，并且修改成本比较高。

3)由于不同的语言特性的不同，在进行跨语言转换时，难免会丢失掉一些信息，而这些信息往往是有用的，从而无法准确的描述出源代码的信息。

发明内容

本发明实施例提供一种对程序源文件进行缺陷检测的方法及装置，用于解决上述问题。

第一方面，本发明实施例提供一种对程序源文件进行缺陷检测的方法，其特征在于，包括：

对待测程序源文件进行前端解析处理，获得中间表示文件；

对所述中间表示文件进行缺陷分析处理，获得检测结果。

第二方面，本发明实施例提供一种对程序源文件进行缺陷检测的装置，包括：

第一检测模块，用于对待测程序源文件进行前端解析处理，获得中间表示文件；

第二检测模块，用于对所述中间表示文件进行缺陷分析处理，获得检测结果。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上述述对程序源文件进行缺陷检测的方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如上述对程序源文件进行缺陷检测的方法的步骤。

由上述技术方案可知，本发明实施例提供的一种对程序源文件进行缺陷检测的方法，通过对待测程序源文件进行前端解析处理，获得中间表示文件，并对所述中间表示文件进行缺陷分析处理，获得检测结果，实现采用源代码解析与缺陷检测分离技术，提高了源代码检测的缺陷覆盖度，同时提高了源代码缺陷检测的准确性。

附图说明

图1为本发明一实施例提供的对程序源文件进行缺陷检测的方法的流程示意图；

图2为本发明一实施例提供的对程序源文件进行缺陷检测的方法的流程示意图；

图3为本发明一实施例提供的JNI程序的编写流程以及数据处理流程图；

图4为本发明一实施例提供的对程序源文件进行缺陷检测的装置的结构示意图；

图5为本发明一实施例提供的对程序源文件进行缺陷检测的装置的结构示意图；

图6为本发明一实施例提供的电子设备的装置的结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1示出了本发明一实施例提供一种对程序源文件进行缺陷检测的方法，包括：

S11、对待测程序源文件进行前端解析处理，获得中间表示文件；

S12、对所述中间表示文件进行缺陷分析处理，获得检测结果。

针对步骤S11和S12，需要说明的是，在本发明实施例中，程序源文件由编程语言进行编写。编程语言是用来定义计算机程序的形式语言。它是一种被标准化的交流技巧，用来向计算机发出指令。一种计算机语言让程序员能够准确地定义计算机所需要使用的数据，并精确地定义在不同情况下所应当采取的行动。目前编程语言包括很多，如C语言、Go语言、VB语言、JAVA语言等等。无论哪种语言编写源文件，对语言的不当使用会带来一些安全的风险甚至漏洞。不管是由于程序逻辑导致的对污染数据的不当处理，或者是对API的不当调用，都会给整个系统带来风险。因此，需要对程序源文件进行缺陷检测，保证系统的安全性。

在本发明实施例中，为了避免由于语言差异造成的语法树解析的不准确以及缺陷检测的不准确，本发明实施例所述方法采用源代码解析与缺陷检测分离的方案。具体为：对待测程序源文件进行前端解析处理，获得中间表示文件。即：采用前端解析程序对源代码进行解析和简单的缺陷分析，保留了原有语言特征，从而不会漏掉任何细节，大幅提高检测准确性。然后对所述中间表示文件进行缺陷分析处理，获得检测结果。即：采用缺陷分析程序模拟代码的执行过程，进行一些复杂的数据流、控制流分析，查找污染数据的来源，对污染数据进行追踪，确定可能的缺陷点。

本发明实施例提供的一种对程序源文件进行缺陷检测的方法，通过对待测程序源文件进行前端解析处理，获得中间表示文件，并对所述中间表示文件进行缺陷分析处理，获得检测结果，实现采用源代码解析与缺陷检测分离技术，提高了源代码检测的缺陷覆盖度，同时提高了源代码缺陷检测的准确性。

图2示出了本发明一实施例提供的一种对程序源文件进行缺陷检测的方法，包括：

S21、对所述待测程序源文件进行分析，获得对应的程序语言类型；

S22、根据所述程序语言类型获取对应的前端解析程序，所述前端解析程序为采用与所述程序语言类型相同语言编写的源代码解析程序；

S23、采用所述前端解析程序对待测程序源文件进行词法、语法、语义分析，获得中间表示文件；

S24、获取缺陷分析程序，采用所述缺陷分析程序对所述中间表示文件进行源代码模拟执行，结合加载规则完成控制流分析和数据流分析，确定缺陷点。

针对步骤S11-步骤S23，需要说明的是，在本发明实施例中，针对不同语言类型编写的程序源文件，需要相同语言类型编写的前端解析程序进行前端解析工作，以保留了原有语言特征，从而不会漏掉任何细节，大幅提高检测准确性。因此，对所述待测程序源文件进行分析，获得对应的程序语言类型，然后根据所述程序语言类型获取对应的前端解析程序，所述前端解析程序为采用与所述程序语言类型相同语言编写的源代码解析程序。

在本发明实施例中，前端解析过程中，采用所述前端解析程序对待测程序源文件进行词法、语法、语义分析，获得中间表示文件。具体可包括：

S231、采用前端解析程序对待测程序源文件进行读取，根据关键字及符号，将待测程序源文件转换成对应的标记序列Token；

S232、采用前端解析程度对标记序列Token进行读取，根据语法特征构建对应于待测程序源文件的抽象语法树；

S233、根据构建的抽象语法树，结合语义特征确定各个语法元素的类型，建立各个语法元素之间的关联关系，生成中间表示文件。

下面Go语言编写的源文件以及Go语言编写的前端解析程序为例进行解释说明。

1)词法分析

程序读取并扫描输入代码的源文件，依据Go语言的关键字及符号，将源代码转换为一系列的Token。

2)语法分析

程序扫描词法分析生成的Token，根据Go语言的语法特征，构建出源代码的抽象语法树。

3)语义分析

根据构建出的所有抽象语法树，结合Go语言的语义特征，确定各个语法元素的类型，建立各个语法元素之间的关联关系，最后产生语法树的中间表示文件。

另外，在本发明实施例中，为了方便进行简单的缺陷分析，需要采用所述前端解析程序对抽象语法树进行遍历，建立语法树的SSA检测规则，然后根据SSA检测规则对待测程序源文件进行初步缺陷分析，得到初步缺陷文件，并结合到所述中间表示文件中。

继续以Go语言编写的源文件以及Go语言编写的前端解析程序为例进行解释说明：

用Go语言编写的代码除了可能会有常见的安全缺陷，由于Go语言自身的特点，也容易有一些Go语言特有的安全缺陷，这些缺陷的特征往往与Go语言有很强的关联性，所以对这些缺陷的准确检测就要求保证语法树的精度。而前端程序正是Go语言编写的，能很好的还原精确的语法结构。前端程序针对这些缺陷制定了一系列规则，针对每一条规则会遍历整个语法树，查找可能存在的缺陷，最后将检测的结果传给下一级的检测程序进行进一步的分析。

针对步骤S24，需要说明的是，在本发明实施例中，获取缺陷分析程序，采用所述缺陷分析程序对所述中间表示文件进行源代码模拟执行，结合加载规则完成控制流分析和数据流分析，确定缺陷点。

缺陷分析程序可称之为后端程序，主要由适合编写大型项目的Java编写。程序会模拟代码的执行过程，进行一些复杂的数据流、控制流分析，查找污染数据的来源，对污染数据进行追踪，确定可能的缺陷点。

针对上述的初步缺陷文件，在步骤S24中，可对所述初步缺陷文件进行审核处理，最终将处理后的初步缺陷文件和缺陷点作为检测结果输出。

在本发明实施例中，为了进一步提高检测的精度，在数据流分析时，对于一些Go语言特有的、不方便进行跨语言模拟的一些特性，采用JNI调用的方式，直接让Java程序调用原生的Go语言API来处理。因此，使用C语言与Go语言编写一个二进制的JNI程序，供数据流分析时调用。这样，就避免了跨语言的模拟带来的信息完整性损失，从而提高检测的准确性。

例如，我们查找一个源代码中所使用的正则表达式是否合法，然后对其进行数据流标记，JNI程序的编写流程以及数据处理流程如图3所示，具体如下：

1)使用Go语言编写检测正则表达式是否合法的API，判断传入的字符串是否合法，并返回布尔值：

func validRegexp(s string)bool{

_,err:＝regexp.Compile(s)

return err＝＝nil

}

2)使用C语言编写Go与JNI的字符串转换接口，实现Java字符串C格式的字符串的相互转换：

static inline const char*GetStringUTFChars(JNIEnv*env,jstring str)

{

return(*env)->GetStringUTFChars(env,str,0)；

}

static inline void ReleaseStringUTFChars(JNIEnv*env,jstring str,constchar*chars){

(*env)->ReleaseStringUTFChars(env,str,chars)；

}

static inline jstring NewStringUTF(JNIEnv*env,const char*chars){

return(*env)->NewStringUTF(env,chars)；

}

3)编写Go语言代码，调用C作为媒介的字符串类型转换接口，将Java字符串转换为Go字符串：

4)封装需要导出到Java的Go函数，该函数接受Java传递的数据，使用3)定义的接口对字符串进行转换，并调用1)编写的API进行合法性检测，最终返回检测结果：

5)以上代码进行编译后，Java缺陷分析程序将需要检测的数据传入4)中定义的JNI函数，经过一系列的处理，获取检测结果并用于Java程序后续的处理流程。

本发明实施例提供的一种对程序源文件进行缺陷检测的方法，通过对所述待测程序源文件进行分析，获得对应的程序语言类型；根据所述程序语言类型获取对应的前端解析程序，所述前端解析程序为采用与所述程序语言类型相同语言编写的源代码解析程序；采用所述前端解析程序对待测程序源文件进行词法、语法、语义分析，获得中间表示文件；获取缺陷分析程序，采用所述缺陷分析程序对所述中间表示文件进行源代码模拟执行，结合加载规则完成控制流分析和数据流分析，确定缺陷点，实现采用源代码解析与缺陷检测分离技术，提高了源代码检测的缺陷覆盖度，同时提高了源代码缺陷检测的准确性。

图4示出了本发明一实施例提供的一种对程序源文件进行缺陷检测的装置，包括第一检测模块31和第二检测模块32，其中：

第一检测模块31，用于对待测程序源文件进行前端解析处理，获得中间表示文件；

第二检测模块32，用于对所述中间表示文件进行缺陷分析处理，获得检测结果。

由于本发明实施例所述装置与上述实施例所述方法的原理相同，对于更加详细的解释内容在此不再赘述。

需要说明的是，本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。

本发明实施例提供的一种对程序源文件进行缺陷检测的装置，通过对待测程序源文件进行前端解析处理，获得中间表示文件，并对所述中间表示文件进行缺陷分析处理，获得检测结果，实现采用源代码解析与缺陷检测分离技术，提高了源代码检测的缺陷覆盖度，同时提高了源代码缺陷检测的准确性。

图5示出了本发明一实施例提供的一种对程序源文件进行缺陷检测的装置，包括匹配单元41、获取单元42、分析单元43和第二检测模块44，其中：

匹配单元41，用于对所述待测程序源文件进行分析，获得对应的程序语言类型；

获取单元42，用于根据所述程序语言类型获取对应的前端解析程序，所述前端解析程序为采用与所述程序语言类型相同语言编写的源代码解析程序；

分析单元43，用于采用所述前端解析程序对待测程序源文件进行词法、语法、语义分析，获得中间表示文件；

第二检测模块44，用于对所述中间表示文件进行缺陷分析处理，获得检测结果。

本发明实施例提供的一种对程序源文件进行缺陷检测的装置，通过对所述待测程序源文件进行分析，获得对应的程序语言类型；根据所述程序语言类型获取对应的前端解析程序，所述前端解析程序为采用与所述程序语言类型相同语言编写的源代码解析程序；采用所述前端解析程序对待测程序源文件进行词法、语法、语义分析，获得中间表示文件；获取缺陷分析程序，采用所述缺陷分析程序对所述中间表示文件进行源代码模拟执行，结合加载规则完成控制流分析和数据流分析，确定缺陷点，实现采用源代码解析与缺陷检测分离技术，提高了源代码检测的缺陷覆盖度，同时提高了源代码缺陷检测的准确性。

图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行如下方法：对待测程序源文件进行前端解析处理，获得中间表示文件，并对所述中间表示文件进行缺陷分析处理，获得检测结果。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非暂态计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种对程序源文件进行缺陷检测的方法，其特征在于，包括：

对待测程序源文件进行前端解析处理，获得中间表示文件；

对所述中间表示文件进行缺陷分析处理，获得检测结果；

其中，所述对待测程序源文件进行前端解析处理，获得中间表示文件还包括：对所述待测程序源文件进行初步缺陷分析，包括：

对所述待测程序源文件的抽象语法树进行遍历，建立语法树的SSA检测规则；

根据SSA检测规则对待测程序源文件进行初步缺陷分析，得到初步缺陷文件，并结合到所述中间表示文件中；

所述对所述中间表示文件进行缺陷分析处理，获得检测结果，包括：

获取缺陷分析程序，采用所述缺陷分析程序对所述中间表示文件进行源代码模拟执行，结合加载规则完成控制流分析和数据流分析，在进行数据流分析过程中，调用二进制的JNI程序，完成数据流分析，确定缺陷点；

对所述初步缺陷文件进行审核处理，并将处理后的初步缺陷文件和缺陷点作为检测结果输出。

2.根据权利要求1所述的方法，其特征在于，所述对待测程序源文件进行前端解析处理，获得中间表示文件，包括：

对所述待测程序源文件进行分析，获得对应的程序语言类型；

根据所述程序语言类型获取对应的前端解析程序，所述前端解析程序为采用与所述程序语言类型相同语言编写的源代码解析程序；

采用所述前端解析程序对待测程序源文件进行词法、语法、语义分析，获得中间表示文件。

3.根据权利要求2所述的方法，其特征在于，所述采用所述前端解析程序对待测程序源文件进行词法、语法、语义分析，获得中间表示文件，包括：

采用前端解析程序对待测程序源文件进行读取，根据关键字及符号，将待测程序源文件转换成对应的标记序列Token；

采用前端解析程度对标记序列Token进行读取，根据语法特征构建对应于待测程序源文件的抽象语法树；

根据构建的抽象语法树，结合语义特征确定各个语法元素的类型，建立各个语法元素之间的关联关系，生成中间表示文件。

4.根据权利要求3所述的方法，其特征在于，所述采用所述前端解析程序对待测程序源文件进行词法、语法、语义分析，获得中间表示文件，还包括：采用所述前端解析程序对所述待测程序源文件进行初步缺陷分析。

5.一种对程序源文件进行缺陷检测的装置，其特征在于，包括：

第二检测模块，用于对所述中间表示文件进行缺陷分析处理，获得检测结果；

其中，所述第一检测模块，还用于对所述待测程序源文件进行初步缺陷分析，具体为：

所述第二检测模块具体用于：

6.根据权利要求5所述的装置，其特征在于，所述第一检测模块包括匹配单元、获取单元和分析单元，其中：

匹配单元，用于对所述待测程序源文件进行分析，获得对应的程序语言类型；

获取单元，用于根据所述程序语言类型获取对应的前端解析程序，所述前端解析程序为采用与所述程序语言类型相同语言编写的源代码解析程序；

分析单元，用于采用所述前端解析程序对待测程序源文件进行词法、语法、语义分析，获得中间表示文件。

7.根据权利要求6所述的装置，其特征在于，所述分析单元具体用于：

8.根据权利要求7所述的装置，其特征在于，所述分析单元还用于：采用所述前端解析程序对所述待测程序源文件进行初步缺陷分析。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述对程序源文件进行缺陷检测的方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述对程序源文件进行缺陷检测的方法的步骤。