CN101833500A - 一种基于Agent的嵌入式软件智能测试方法 - Google Patents

Abstract

本发明涉及一种基于Agent的嵌入式软件智能测试方法，是一种改进的以Linux系统作为嵌入式操作系统内核的软件测试方法，主要包括三个Agent模块：首先为预处理Agent模块，包括词法分析Agent和语法分析Agent，主要用来生成源程序的语法树结构；其次是程序插桩Agent模块，包括语法树分析Agent和自动插桩Agent，主要用来对语法树进行分析，找出源程序的关键点，并自动往源程序中插入探针函数，从而获取程序执行中的动态信息；再次是动态测试信息分析Agent模块，包括覆盖率分析Agent和查询Agent，主要用来实现源程序的语句和分支覆盖率测试，以及自动查询覆盖率不满足要求时源程序中未覆盖目标的相关情况。本发明能够应用到不同的程序，简单快捷，能大大提高软件自动化测试的效率，通用性强。

Description

一种基于Agent的嵌入式软件智能测试方法

技术领域

发明涉及一种软件测试方法，特别地涉及一种基于Agent的嵌入式软件智能测试方法。

背景技术

嵌入式软件作为计算机软件的重要分支，已经在消费电子产品、交通系统、工业控制、医疗设备和军事领域等应用越来越广泛。Linux作为当前非常流行的一种操作系统种类，被广泛地用于嵌入式操作系统内核。随着嵌入式技术的发展，嵌入式应用的不断增长以及嵌入式系统复杂性的不断提高，要求嵌入式软件的规模和复杂性也不断提高，嵌入式软件的质量和开发周期对产品的最终质量和上市时间起到决定性的影响。

软件测试是保证软件系统正确性的一个重要手段，也是计算机软件工程方法和技术的一个主要组成部分。虽然测试并不能证明软件系统的正确性，但是，它通过运行选定的测试用例来发现软件中的错误，并通过纠正错误使软件的质量达到令人以满意的程度。所以，在今后相当长的时间内测试仍是保证软件质量的主要手段。

在测试理论发展的同时，各种软件测试方法被相继提出。如基于程序插装的软件测试方法，这种方法的核心思想是在保持程序原有逻辑完整的基础上，在程序中插入“探测仪”，以便获取程序中的控制流和数据流信息，通过对获取的数据进行分析来判断程序中包含错误。还有一种基于程序变异的测试方法，该方法通过对源程序和变异后的程序执行结果的比较来进行软件故障的检测。这些测试方法的提出，为软件测试工作提供了帮助。

但是，这些已有的软件测试理论及测试方法中，一般仍然或多或少存在以下不足：

(1)对软件可靠性评价只是一个整体的概念，预测软件缺陷的个数，但不能具体指出缺陷存在的位置；

(2)对隐含的代码错误测试效果不好，如果再次测试将花费大量的人力物力；

(3)人为参与的步骤太多，使用起来很不方便；

(4)得到的覆盖率指标比较单一，不能全面的反映软件的质量。

(5)大部分测试软件价格昂贵，很难大规模普及。

发明内容

本发明要解决的技术问题是针对目前流行的以Linux系统作为嵌入式操作系统内核的嵌入式软件，如何能减少人为参与且能快速有效地对软件进行智能测试。

为了解决上述问题，本发明提供了一种基于Agent的软件智能测试方法，包括以下步骤：

1.)预处理Agent模块，包括词法分析Agent和语法分析Agent，主要用来生成源程序的语法树结构。

2.)程序插桩Agent模块。包括语法树分析Agent和自动插桩Agent，主要用来对语法树进行分析，找出源程序的关键点，并自动往源程序中插入探针函数，从而获取程序执行中的动态信息。

3.)动态测试信息分析Agent模块，包括覆盖率分析Agent和查询Agent，主要用来实现源程序的语句和分支覆盖率测试，以及自动查询覆盖率不满足要求时源程序中未覆盖目标的相关情况。

进一步地，预处理Agent模块中，词法分析Agent是采用Linux下的lex将被测程序分解成单独的词的表示，形成初步的符号表，并将结果传递给语法分析Agent；语法分析Agent则通过接收词法分析Agent的结果，采用yacc将输入字符串识别为单词符号流，找出变量声明语句，并相应分离出指针变量和数组变量。其结果是生成语法树，每一个语法规则对应一个相应的处理函数，并作为树的一个节点挂在语法树上，提供对外的接口。

进一步地，程序插桩Agent模块中，语法树分析Agent是在语法树的基础上自动分析源程序的关键点，即插桩位置；自动插桩Agent通过接收语法树分析Agent传来的分析结果，自动往程序的关键点处插入探针函数即插桩语句，从而在程序运行到插桩点时记录下有关的运行情况。

进一步地，动态测试信息分析Agent模块中，通过输入测试用例，覆盖率分析Agent可通过插桩函数库自动计算出源程序的语句和分支覆盖率；当覆盖率不满足要求时，查询Agent可自动分析源程序中未覆盖目标的相关情况，并找出到达此目标的路径。

与现有技术相比，本发明提出的基于Agent技术的嵌入式软件智能测试方法有如下显著优点：将Agent的观念运用到测试技术中，是一种利用Agent帮助测试者进行软件测试的智能测试工具。在测试过程中，本发明利用Agent的自治特性，在没有其它Agent或测试者的直接命令和干预下进行独立的判断，利用Agent的智能特性理解测试者的测试目标，利用Agent的社交能力与其它的Agent进行通信。该多Agent软件测试系统能够减少测试者的直接干预，并提供一个良好的集成测试环境，可以大大提高自动化测试的效率。另外，本发明方法实现简单快捷，且能大大降低测试费用。

附图说明

图1为本发明的体系结构图。

图2为本发明程序插桩Agent模块中的静态插桩模型。

具体实施方式

本发明的核心思想是：利用Agent的自治特性，在没有其它Agent或测试者的直接命令和干预下进行独立的判断，利用Agent的智能特性理解测试者的测试目标，利用Agent的社交能力与其它的Agent进行通信。下面结合附图1对本发明的工作流程及各模块功能进行详细说明。

1.预处理Agent模块

词法分析Agent和语法分析Agent主要采用Linux环境下的lex和yacc来完成。Lex与yacc是Linux系统所提供的词法分析工具和语法分析工具，使用这两个工具可以生成词法和语法分析器，缩短开发系统软件的周期，节约时间，提高工作效率。

(1)词法分析Agent。Lex是一个词法分析程序的生成程序，它是为了对字符输入流进行词法分析处理而专门设计的，这个程序的核心是正规表达式，用来描述输入串的词法结构。

本发明针对词法分析Agent设计的步骤为：首先写出一个词法规则文件lex.1，给出特定的词法规则，即表达式和相关动作。之后，由lex将其转变成一个通用宿主语言，生成一个C程序lex.yy.c，其主函数为yylex()。其功能是识别输入字符流中的单词，并返回指定的单词或其他语法单位的代号。当yyparse()(语法分析主函数)调用yylex()时，将按照yylex()返回的代号值进行语法分析。

(2)语法分析Agent。Yacc是inux上一个用来生成编译器的编译器。Yacc生成的编译器主要是用C语言写成的语法解析器，需要与词法解析器Lex一起使用，再把两部份产生出来的C程序一并编译。

本发明针对语法分析Agent设计的步骤为：首先根据任务需求制定一个输入处理的功能说明，即一个语法规则文件yacc.y，其内容就是指定的语法规则集及其各规则对应的动作。然后，由yacc将这样的说明转换成一个处理相应输入流的C语言程序yy.tab.c，其主函数是yyparse()。它通过调用词法分析Agent的分析程序yylex()，进而从输入流中找到“单词”，再根据输入结构对这些单词加以组织。当某条规则被匹配，并完整地识别出来后，就调用用户指定的对应于这条规则的一个动作，该动作具有返回值和利用其他动作的值的能力。

本发明中，语法分析Agent可将生成的分析信息以一种双向链表的形式组织起来。在双向链表中有一些特殊的结点这些结点中记录了程序结构信息。例如有记录函数的起始位置和结束位置的结点，有记录循环起始位置和结束位置的结点，有记录程序跳转位置的结点，还有记录基本程序块的起始位置和结束位置的结点等。这些节点会作为重要数据传递给程序插桩模块中的语法树分析Agent，并经过进一步分析整理，确定插桩位置。

本发明将词法分析Agent(lex)和语法分析Agent(yacc)结合起来使用，它们之间的接口非常简单，lex只接收正则表达式，而yacc写出的语法分析程序则可以接收很广泛的一类上下文无关语法。当lex被用作这个语法分析程序的预处理程序时，它的工作是把输入流分成小段，而语法分析程序则指出这些小段间的结构。

本发明的预处理Agent模块(词法分析Agent和语法分析Agent)实现过程如下：对分析器定义运行yacc；对词法定义运行lex；编译生成的yacc源文件；编译生成的lex源文件；编译任何其他的模块；将lex、yacc和其他源链接为一个可执行文件。这里采用编写Makefile的方法来连接这些源程序，通过执行“make”命令生成可执行文件。

2.程序插桩Agent模块

语法树分析Agent主要用来对预处理Agent模块生成的语法树进行分析，找出源程序的关键点，确定探针函数的插桩位置；自动插桩Agent则是通过接收语法树分析Agent发送来的分析结果，自动地往插桩位置插入探针函数，从而获取程序执行中的动态信息。

本发明采用静态插装技术。静态插装技术是一种不通过执行程序，只对源程序静态分析找出插装点，同时根据对程序的分析得到插装库代码，然后将代码插装到对应的插装点，从而完成插装过程的一种技术。静态插装技术的过程模型如图2所示。静态插装过程是通过静态扫描程序代码获取程序结构并插入一些获取所需信息的代码，因此静态插装在程序运行过程中不会产生额外的开销(被插入的代码执行时所产生的开销除外)，并且静态插装实现起来较为简单。

本发明中，语法树分析Agent首先接收预处理Agent模块中生成的语法树结构中的重要节点，并对语法树结构进行进一步的分析，从而得到源程序的所有关键点，并将分析结果传递给自动插桩Agent。在对语法树进行分析时主要考虑以下几个问题：

(1)探测哪些信息；

(2)在程序的什么部位设置探测点；

(3)需要设置多少个探测点。

鉴于如上所述的几个问题，本发明中，为了减小测试的复杂性，采用一次插装算法。语法树分析Agent主要识别源程序语法树结构中的如下几个关键点：

(1)If选择结构中，then分支和else分支处；

(2)switch语句的每个分支处；

(3)对于循环结构(for、while、do...while)，存在两个分支，即空循环分支和循环1次，这两个分支均需考虑；

(4)顺序结构中，在程序入口处和出口处、子函数入口处和出口处、转移指令return语句，break语句，continue语句等处。

语法树分析Agent结果产生后，由其返回值来启动自动插桩Agent。自动插桩Agent通过接收语法树分析Agent的结果，自动地往这些位置插入能收集源程序控制流信息的语句即插桩函数，并且这些插装函数能在执行过程中将执行标记写入到特定的文件。待插桩结束，自动插桩Agent会自动将这些信息传递给动态测试信息分析Agent，从而测试出源程序的语句和分支覆盖率情况。

本发明中，自动插桩Agent的探针函数按如下原则来设计：

(1)分支覆盖探针函数。在分支语句的各个分支插入计数器函数统计各个分支的执行次数。当输入测试用例，被测程序执行时，可以通过观察计数器的值确定程序执行情况。

(2)语句覆盖探针函数。计数器插入以块为单位，所谓“块”指逻辑上连续执行相邻最大的语句集。

根据需要的不同的插桩代码，可将所有的插桩函数编辑成一函数库，即插桩库。插装库是实现探针功能的所有函数实体以及测试程序的集合，为了插装程序插装方便，对所有函数进行编号，建立函数索引表。这样在插装过程中，就可以根据函数ID进行选择，从而快速植入探针。

另外，在插装的过程中，对于某些语句可能要做某些修改，但是修改的前提是不能改变程序的逻辑功能。如if语句，if语句有如下两种情况：

if(表达式)

语句

if(表达式)

语句

else

语句

其中语句又分为简单语句和复合语句。当为简单语句时，由于插装语句的插入，都会处理成为复合语句。当没有配对的else时，为了对假分支进行插装也必须增加一个else。上面两种修改是可行的，因为它们并不改变程序的逻辑功能，并应将源程序中每个能产生分支的关键词后面的语句用“{”和“}”包含将其做为复合语句。

3.动态测试信息分析Agent

将插桩后的源程序进行编译并运行，输入事先准备好的测试用例，通过选择需要的测试类型(分支覆盖或语句覆盖)，覆盖率分析Agent会调用自动插桩Agent中的语句或分支覆盖探针函数库，同时相应地生成一个插桩记录文件，里面记录了该测试类型中的所有函数的位置或者ID号，同时还能将测试结果记录到事先确定的缓冲区或文件中。通过将测试结果与期望值相比较，即能判定覆盖情况是否满足要求。另外，此模块还需返回比较结果的值，满足要求返回“1”，不满足要求则返回“0”。

若不能满足要求，即覆盖率分析Agent返回“0”，查询Agent便会自动开始工作，首先分析覆盖率分析Agent生成的插桩记录文件，找出未覆盖目标，然后根据控制流图，找出到达此目标的路径。之后测试人员便可依据此路径上各分支节点找出要到达此目标应满足的条件，设计新的测试用例，以增加覆盖率，最后将结果以GUI的形式显示。

以上所述，即为本发明的具体实施方式。本发明提出了一种基于Agent技术的嵌入式软件智能测试方法，将Agent技术引入软件测试过程中，利用Agent自身的特性对嵌入式软件系统进行代码性能测试，有效地解决了传统手工测试程序运行效率低、繁琐等一些问题，保证了嵌入式软件系统的高效稳定的运行，通用性强，同时还能大大降低测试费用。

Claims (4)

1.一种基于Agent的嵌入式软件智能测试方法，其特征在于，包括如下三个Agent模块：

1.)预处理Agent模块，包括词法分析Agent和语法分析Agent，主要用来生成源程序的语法树结构。

2.)程序插桩Agent模块。包括语法树分析Agent和自动插桩Agent，主要用来对语法树进行分析，找出源程序的关键点，并自动往源程序中插入探针函数，从而获取程序执行中的动态信息。

3.)动态测试信息分析Agent模块，包括覆盖率分析Agent和查询Agent，主要用来实现源程序的语句和分支覆盖率测试，以及自动查询覆盖率不满足要求时源程序中未覆盖目标的相关情况。

2.如权利要求1中所述方法，其特征在于，所述预处理Agent模块中，词法分析Agent是采用Linux下的lex将被测程序分解成单独的词的表示，形成初步的符号表，并将结果传递给语法分析Agent；语法分析Agent则通过接收词法分析Agent的结果，采用yacc将输入字符串识别为单词符号流，找出变量声明语句，并相应分离出指针变量和数组变量。其结果是生成语法树，每一个语法规则对应一个相应的处理函数，并作为树的一个节点挂在语法树上，提供对外的接口。

3.如权利要求1中所述方法，其特征在于，所述程序插桩Agent模块中，语法树分析Agent是在语法树的基础上自动分析源程序的关键点，即插桩位置；自动插桩Agent通过接收语法树分析Agent传来的分析结果，自动往程序的关键点处插入探针函数即插桩语句，从而在程序运行到插桩点时记录下有关的运行情况。

4.如权利要求1中所述方法，其特征在于，所述动态测试信息分析Agent模块中，通过输入测试用例，覆盖率分析Agent可通过插桩函数库自动计算出源程序的语句和分支覆盖率；当覆盖率不满足要求时，查询Agent可自动分析源程序中未覆盖目标的相关情况，并找出到达此目标的路径，从而据此设计新的测试用例。

Images