CN110704065B - 基于非法程序输入的编译器前端差分测试方法 - Google Patents

Abstract

基于非法程序输入的编译器前端差分测试方法，属于软件编译领域。该方法首先将自动生成的测试用例表示为抽象语法树,即AST树；然后通过循环删除AST树的节点及其子节点构造非法测试用例，将其作为编译器的输入，并收集编译之后的警告信息和错误信息；通过对多个不同版本和不同类别编译器的警告信息和错误信息的比较，收集导致信息不一致和信息缺失的非法测试用例；最后将收集到的非法测试用例进行约减并提交bug报告。本发明能够有效测试编译器前端的的正确性与健壮性，一旦发现了触发编译器前端bug的非法测试用例，在对该测试用例进行约减之后可直接提交给开发者修复。

Description

基于非法程序输入的编译器前端差分测试方法

技术领域

本发明属于软件编译领域，涉及编译器前端语法分析器的测试，具体为基于非法程序输入的编译器前端差分测试方法。

背景技术

编译器在软件开发中是一种重要的基础设施工具，能帮助加快软件开发过程。编译器包括前端、中端和后端。编译器前端经过词法分析、语法分析和语义分析，将符合语法规范的高级语言源程序编译为中间代码。中间代码经过编译器优化，最终被编译为平台可运行的二进制文件。对于不符合编程语言规范的源程序，即非法程序，编译器前端在进行静态分析时会输出程序中的错误和警告信息，包括行列位置信息，错误/警告类型以及错误/警告详细信息。这些非法程序无法通过编译器前端生成中间代码，也不能在目标平台上被正常运行。

错误/警告信息有助于软件开发者快速定位并分析非法程序中的错误。如果编译器前端出现bug，这些错误/警告信息会误导开发者从而降低开发效率，同时也会降低编译器的可用性。因此，尽可能多地发现编译器前端存在的bug可帮助完善编译器。由于编译器结构复杂且输入是高级语言源程序，对编译器测试通常采用差分测试的方法，即将同一个源程序输入到不同版本或不同类型的编译器中，如若不同编译器的输出信息不一致，则少数不一致的编译器中存在bug。编译器差分测试的输入通常是符合高级语言规范的源程序，然而这种源程序并不适合测试编译器前端。为了解决这一问题，本发明通过对源程序的AST树进行删除从而构造非法程序作为编译器的输入，进而采用差分测试的方法对编译器前端进行测试。

发明内容

本发明的目的是提供了一种基于非法程序输入的编译器前端差分测试方法。

本发明的技术方案：

基于非法程序输入的编译器前端差分测试方法，步骤如下：

步骤1、构建测试用例的抽象语法树，即AST树：使用Csmith工具自动生成完整的可编译的测试用例，并使用Pyparser工具构建该测试用例的AST树。

步骤2、每棵AST树循环删除节点信息数次，并将删除信息记录在删除列表中。每进行一次删除操作后，对该AST树还原为源代码，得到新的测试用例。

步骤3、使用差分测试方法将新的测试用例输入到不同类型和不同版本的编译器中，得到编译输出信息。编译输出信息是指编译器前端进行词法分析、语法分析和语义分析后，输出的错误信息和警告信息的集合。

步骤4：将同一个测试用例的编译输出信息进行对齐操作，首先从输出信息中将错误信息和警告信息所在的行列、类型以及详细信息提取出来，然后分别对行列位置信息对齐、类型信息对齐以及详细信息对齐。其中，详细信息对齐通过计算Levenshtein距离进行比较。

经过对齐操作之后可将输出信息分为三类：

(1)一致信息：是指报告该错误或警告的行列信息、错误类型信息和详细信息完全一致；

(2)不一致信息：是指报告该错误或警告的行列信息、错误类型信息和详细信息中的一种或两种信息出现不一致情况；

(3)缺失信息：是指报告该错误或警告的行列信息、错误类型信息和详细信息完全不一致，即编译器缺失某些错误信息或警告信息的诊断。

后两种类型的信息能够检测到编译器前端存在的bug，通过修复这些bug，提高编译器前端的正确性与健壮性。

步骤5：将出现缺失信息和不一致信息的测试用例C的删除列表D进行约减。保留删除列表D中最后一次删除的节点信息，并依次将其他删除的节点信息进行还原，得到新的测试用例。重复步骤3和步骤4，如果新的测试用例的输出信息得到和测试用例C一致的分类，则将该删除信息从删除列表D中移除；若不一致，则该删除操作保留到删除列表D中，最终得到删除列表的一个子集D＇。

步骤6：在原始AST树中查找删除列表D＇中的节点信息的位置，并标记该节点位置。对AST树采用深度优先遍历方法，标记D＇中每个删除节点的路径位置。将所有标记的节点还原为代码，并作为初步约减的测试用例，之后对该测试用例进行手动约减。约减之后的测试用例需要保证和未约减之前的测试用例触发相同的编译器bug。约减之后的测试用例以及触发的编译器bug信息以bug报告形式提交给编译器开发者，帮助修复完善编译器。

本发明的有益效果：能够有效测试编译器前端的正确性与健壮性，一旦发现了触发编译器前端bug的测试用例，在对该测试用例进行约减之后可直接提交给开发者修复。

附图说明

图1是本发明的编译器前端测试方法流程示意图。

具体实施方式

本方法部署在x86_64-Linux14.04服务器上，并编译安装GCC 6-9、LLVM 6-8、Csmith以及Pyparser等工具。方法由基于AST树的非法测试用例生成程序、编译测试用例程序、文本对齐程序、测试用例约减程序构成。

步骤1：使用Csmith工具自动生成完整的c语言测试用例，并维持每个测试用例的代码行数在500行左右。对每个完整的测试用例，使用Pyparser工具构建AST树。

步骤2：随机删除每棵AST树上的某个节点i及其子节点，并将删除信息d_i记录在删除列表D中,即D∩{d_i}。每进行一次删除操作之后，将删除节点后的AST树转换为c语言代码，得到新的测试用例(非法.c文件)。此步骤重复5次，每次删除都是在前一个AST树上进行，可得到5个不同的测试用例。

步骤3：使用不同版本的GCC6-9编译器和LLVM6-8编译器中对新的测试用例(非法.c文件)进行编译，得到编译输出信息(O_i＝E_i∪W_i)。将输出信息按照信息类型进一步分为错误信息(E_i＝{e_i1,e_i2,e_i3,…})和警告信息(W_i＝{w_i1,w_i2,w_i3,…})。

步骤4：分别将错误信息和警告信息进行对齐(E₁vs.E₂,W₁ vs.W₂)操作。首先使用正则表达式将错误信息和警告信息所在的位置(EL_i∈E₁,E₂或者WL_i∈W₁,W₂)，类型(ET_i∈E₁,E₂或者WT_i∈W₁,W₂)以及详细信息(EI_i∈E₁,E₂或者WI_i∈W₁,W₂)提取出来。然后比较这些信息是否一致，即EL₁vs.EL₂，ET₁vs.ET₂,EI₁ vs.EI₂或者WL₁ vs.WL₂,WT₁ vs.WT₂,WI₁ vs.WI₂。位置信息和类型信息进行字符串比较实现对齐操作。详细信息通过计算Levenshtein距离进行比较：

其中o1和o2是需要对齐的字符串，i和j分别是字符串o1和o2的长度。如果o1_i＝o2_j，lev_o1,o2(i,j)＝lev_o1,o2(i-1,j-1)。如果lev_o1,o2(i,j)/min(i,j)>50％，可以认为o1和o2是不相似字符串。

经过对齐之后，可将警告信息或错误信息分为三个等级：

①如果

说明编译器缺失某些错误信息或警告信息的诊断。

②如果a∈o1∧b∈o2，说明编译器诊断信息出现不一致情况。

③如果o1＝o2，说明编译器诊断信息完全一致。

步骤5：将步骤4中①②类型的测试用例(记为C)的删除列表D进行约减。首先保留列表D中最后一个删除的节点信息至D＇＝{d₅}，然后还原d₄节点信息。将还原之后的测试用例重新输入到编译器中，重复步骤3和步骤4。如若得到和测试用例C不一致的分类，则该节点信息保存至D＇＝{d₄,d₅}；如若一致，则D＇不做任何变动。重复步骤5直至删除列表D中的其他节点(d₁,d₂,d₃)都被还原过一次，最终得到删除列表D的一个子集D＇。

步骤6：对AST树采用深度优先遍历，标记经过D＇中节点的路径位置。将所有标记的AST树节点还原为代码，之后对该代码进一步手动约减。将约减之后的代码以及编译器bug信息形成bug报告提交到Bugzilla中，供编译器开发者核实并修复。

Claims (3)

1.基于非法程序输入的编译器前端差分测试方法，其特征在于，步骤如下：

步骤1、构建测试用例的抽象语法树，即AST树：使用Csmith工具自动生成完整的可编译的测试用例，并使用Pyparser工具构建该测试用例的AST树；

步骤2、每棵AST树循环删除节点信息数次，并将删除信息记录在删除列表中；每进行一次删除操作后，对该AST树还原为源代码，得到新的测试用例；

步骤3、使用差分测试方法将新的测试用例输入到不同类型和不同版本的编译器中，得到编译输出信息；编译输出信息是指编译器前端进行词法分析、语法分析和语义分析后，输出的错误信息和警告信息的集合；

步骤4：将同一个测试用例的编译输出信息进行对齐操作，首先从输出信息中将错误信息和警告信息所在的行列、类型以及详细信息提取出来，然后分别对行列位置信息对齐、类型信息对齐以及详细信息对齐；其中，详细信息对齐通过计算Levenshtein距离进行比较；

经过对齐操作之后可将输出信息分为三类：

(1)一致信息：是指报告该错误信息或警告信息的行列信息、错误类型信息和详细信息完全一致；

(2)不一致信息：是指报告该错误信息或警告信息的行列信息、错误类型信息和详细信息中的一种或两种信息出现不一致情况；

(3)缺失信息：是指报告该错误信息或警告信息的行列信息、错误类型信息和详细信息完全不一致，即编译器缺失某些错误信息或警告信息的诊断；

后两种类型的信息能够检测到编译器前端存在的bug，通过修复这些bug，提高编译器前端的正确性与健壮性；

步骤5：将出现缺失信息和不一致信息的测试用例C的删除列表D进行约减；保留删除列表D中最后一次删除的节点信息，并依次将删除列表D中，除最后一次删除的节点信息之外的其他删除的节点信息进行还原，得到新的测试用例；重复步骤3和步骤4，如果新的测试用例的输出信息得到和测试用例C一致的分类，则将步骤5中的删除信息从删除列表D中移除；若不一致，则步骤5中的删除操作保留到删除列表D中，最终得到删除列表的一个子集D＇；

步骤6：在原始AST树中查找删除列表D＇中的节点信息的位置，并标记该节点信息的位置；对AST树采用深度优先遍历方法，标记D＇中每个删除节点的路径位置；将所有标记的节点还原为代码，并作为初步约减的测试用例，之后对该测试用例进行手动约减；约减之后的测试用例需要保证和未约减之前的测试用例触发相同的编译器bug；约减之后的测试用例以及触发的编译器bug信息以bug报告形式提交给编译器开发者，帮助修复完善编译器。

2.根据权利要求1所述的基于非法程序输入的编译器前端差分测试方法，其特征在于，所述步骤2中，对原始测试用例的变异是通过构造程序的AST树，循环删除节点实现的，比现有的将程序当作文本进行变异的方法更高效；另外，删除节点之后可得到非法测试用例，这些非法测试用例比现有的正常测试用例更适合测试编译器前端的bug。

3.根据权利要求1或2所述的基于非法程序输入的编译器前端差分测试方法，其特征在于，步骤4中，将详细信息视为字符串，通过计算Levenshtein距离进行对齐：

其中o1和o2是需要对齐的字符串，i和j分别是字符串o1和o2的长度；当o1_i＝o2_j时，lev_o1,o2(i,j)＝lev_o1,o2(i-1,j-1)；当lev_o1,o2(i,j)/min(i,j)>50％时，认为o1和o2是不相似字符串。

Images