CN103268285A - 针对api接口的健壮性测试用例自动生成方法和装置 - Google Patents

Abstract

本发明提出一种针对API接口的健壮性测试用例自动生成方法，包括以下步骤：获取待测API接口的源代码；对源代码进行静态分析以获得静态扫描结果，并从静态扫描结果中获取API接口中函数的函数名、参数名、参数类型和返回值；建立基本数据集合，其中，基本数据集合包括多个基本数据类型和每个基本数据类型对应的相关数据；根据API接口中函数的参数类型和基本数据集合生成API接口的测试数据；根据测试数据生成API接口的测试用例。本发明使用计算机代替人力，自动化的生成测试用例，节省了人力成本，提高了效率。本发明还公开了一种针对API接口的健壮性测试用例自动生成装置。

Description

针对API接口的健壮性测试用例自动生成方法和装置

技术领域

本发明涉及软件测试技术领域，特别涉及一种针对API接口的健壮性测试用例自动生成方法和装置。

背景技术

软件测试利用测试工具，按照测试方案和流程对软件产品进行功能和性能测试。软件测试使用人工或者自动手段运行或测试某个系统的过程，检验系统是否满足规定的需求。

现在的测试代码一般都是通过测试人员手工编写。虽然已经有单元测试框架类似gtest、btest，但是并没有自动产生真正的测试代码。例如gtest测试框架可以在不同平台上，如Linux、Mac OS X、Windows、Cygwin、WindowsCE和Symbian上编写C++测试用例，但是只是提出了框架，还需要人工撰写测试代码。

完成测试过程需要准备测试数据、测试代码和测试环境。测试数据需要对业务有一定了解，并且需要经验累积；测试代码一般是人通过分析已有代码手工进行撰写；测试环境是在人对业务了解和代码了解的基础上搭建的。测试人员完成上述过程本质上是通过了解业务、累积经验、熟悉代码来完成的。通用性的健壮测试忽略业务之间的差异，通过经验累积和代码了解来进行健壮性测试。由于屏蔽了业务的差异，因此通用性的健壮测试有更多的规律，而现有技术严重依赖人工，浪费了人力，并且耗时长，效率低。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。

为此，本发明的一个目的在于提出一种针对API接口的健壮性测试用例自动生成方法，使用计算机代替人力，自动化的生成测试用例，节省了人力成本，提高了效率。

本发明的第二个目的在于提出一种针对API接口的健壮性测试用例自动生成装置。

为达到上述目的，本发明第一方面的实施例提出了一种针对API接口的健壮性测试用例自动生成方法，包括以下步骤：获取待测API接口的源代码；对所述源代码进行静态分析以获得静态扫描结果，并从静态扫描结果中获取所述API接口中函数的函数名、参数名、参数类型和返回值；建立基本数据集合，其中，所述基本数据集合包括多个基本数据类型和每个基本数据类型对应的相关数据；根据所述API接口中函数的参数类型和所述基本数据集合生成所述API接口的测试数据；根据所述测试数据生成所述API接口的测试用例。

根据本发明实施例的针对API接口的健壮性测试用例自动生成方法通过分析代码，自动生成函数对应的测试数据，并组合成健壮性测试用例。在单元测试中可以加快单元测试的撰写速度，也支持无人参与的健壮性测试。通过计算机自动化的方法生成健壮性测试用例，代替了人工，避免了人力学习和熟悉业务以及编码，提高了测试代码生成的效率，节省了人力成本，提高了效率。

在本发明的一个实施例中，所述根据API接口中函数的参数类型和所述基本数据集合生成所述API接口的测试数据进一步包括：

如果所述API接口中函数的参数类型为基本类型，则查询所述基本数据集合直接生成基本类型对应的数据；如果所述API接口中函数的参数类型是组合类型，则分别获得所述组合类型中的多个基本类型，并查询所述基本数据集合直接获取所述多个基本类型对应的多个数据，并对所述多个数据进行组合以生成所述组合类型对应的数据。

在本发明的一个实施例中，所述API接口的测试用例包括数据赋值代码和函数调用代码。

在本发明的一个实施例中，所述函数调用代码根据所述函数名和参数名按照函数的调用格式组装获得。

在本发明的一个实施例中，所述数据赋值代码通过所述函数的参数类型和所述测试数据获得。

本发明第二方面的实施例提出了一种针对API接口的健壮性测试用例自动生成装置，包括源代码获取模块、静态分析模块、基本数据集合建立模块、测试数据生成模块和测试用例生成模块。

源代码获取模块用于获取待测API接口的源代码；静态分析模块用于对所述源代码进行静态分析以获得静态扫描结果，并从静态扫描结果中获取所述API接口中函数的函数名、参数名、参数类型和返回值；基本数据集合建立模块用于建立基本数据集合，其中，所述基本数据集合包括多个基本数据类型和每个基本数据类型对应的相关数据；用于根据所述API接口中函数的参数类型和所述基本数据集合生成所述API接口的测试数据；用于根据所述测试数据生成所述API接口的测试用例。

根据本发明实施例的针对API接口的健壮性测试用例自动生成装置通过分析代码，自动生成函数对应的测试数据，并组合成健壮性测试用例。在单元测试中可以加快单元测试的撰写速度，也支持无人参与的健壮性测试。通过计算机自动化的方法生成健壮性测试用例，代替了人工，避免了人力学习和熟悉业务以及编码，提高了测试代码生成的效率，节省了人力成本，提高了效率。

在本发明的一个实施例中，在所述API接口中函数的参数类型为基本类型时，所述测试数据生成模块查询所述基本数据集合直接获取基本类型对应的数据。

在本发明的一个实施例中，在所述API接口中函数的参数类型是组合类型时，所述测试数据生成模块分别获得所述组合类型中的多个基本类型，并查询所述基本数据集合直接获取所述多个基本类型对应的多个数据，以及对所述多个数据进行组合以获得所述组合类型对应的数据。

在本发明的一个实施例中，所述API接口的测试用例包括数据赋值代码和函数调用代码。

在本发明的一个实施例中，所述函数调用代码根据所述函数名和参数名按照函数的调用格式组装获得。

在本发明的一个实施例中，所述数据赋值代码通过所述函数的参数类型和所述测试数据获得。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明实施例的针对API接口的健壮性测试用例自动生成方法的流程图；

图2a是根据本发明实施例的文件存储树的示意图；

图2b是根据本发明实施例的文件存储树中my_add函数调用示意图；

图3是根据本发明实施例的接口my_add的测试用例；

图4是根据本发明实施例的测试用例的结构化效果展示图；和

图5是根据本发明实施例的针对API接口的健壮性测试用例自动生成装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

下面参考图1描述根据本发明实施例的针对API接口的健壮性测试用例自动生成方法，包括以下步骤：

步骤S110：获取待测API接口的源代码。

步骤S120：对源代码进行静态分析以获得静态扫描结果，并从静态扫描结果中获取API接口中函数的函数名、参数名、参数类型和返回值。

步骤S130：建立基本数据集合，其中，基本数据集合包括多个基本数据类型和每个基本数据类型对应的相关数据。

步骤S140：根据API接口中函数的参数类型和基本数据集合生成API接口的测试数据。

根据API接口中函数的参数类型和基本数据集合生成API接口的测试数据进一步包括：

如果API接口中函数的参数类型为基本类型，则查询基本数据集合直接生成基本类型对应的数据；以及

如果API接口中函数的参数类型是组合类型，则分别获得组合类型中的多个基本类型，并查询基本数据集合直接获取多个基本类型对应的多个数据，并对多个数据进行组合以生成组合类型对应的数据。

步骤S150：根据测试数据生成API接口的测试用例。

其中，API接口的测试用例包括数据赋值代码和函数调用代码。函数调用代码根据函数名和参数名按照函数的调用格式组装获得。数据赋值代码通过函数的参数类型和测试数据获得。

具体地，结合API每个参数类型对应的测试数据(比如int类型对应的数据1)和API接口参数类型所对应的赋值语法(比如int的语法要求为一个参数类型+空格+变量名称+等号+int数据)可自动撰写一个API接口每个参数类型的赋值代码(对于int类型，该部分的结果为int a＝1)。然后，根据API接口的调用语法(也就是函数名+括号+参数名+逗号+参数名+...)，将赋值代码中参数名称传给API接口名称，从而完成一个API接口的函数调用代码。综上，产生了测试用例。

机器代替人写代码的关键是让机器模拟人思考和判断的过程。API接口的健壮性测试用例包括测试数据、测试代码和运行环境。本方法使用计算机代替人进行经验累积学习过程和代码了解，自动准备测试数据、撰写测试用例、自动化搭建运行环境、自动运行测试用例，实现针对API接口的自动健壮性测试。

下面以一个具体的例子对本发明进行说明，可以理解的是，下述说明仅出于示例目的，根据本发明的实施例不限于此。

步骤S210：获取待测API接口的源代码。

步骤S220：对源代码进行静态分析。

应用GCC编译选项生成待测源代码的静态扫描结果，分析该扫描结果，得到每个待测API接口的函数名、参数名、参数类型、返回值。

如图2a所示，对于接口my_add，对应的扫描结果部分如下所示。扫描结果是一棵用文件存储的树，针对文件存储树的结构特点提取出需要的信息。

图2b描述了my_add函数名的获得过程，在文件存储树中，从函数节点function_decl出发，得到函数的名字my_add，同理可以得到函数的参数名、参数类型和返回值。

步骤S230：根据静态扫描结果，建立基本测试数据集合。

首先，由人工收集各种基本数据类型以及对应的异常数据，建立基本数据类型和每个基本数据类型的相关数据的对应关系，称为基本数据集合。表1为基本数据集合的一个示例表。其中，基本数据类型包括整形、枚举类型、字符类型和统一资源定位符等，对应的相关数据分别在右侧列出。如整形对应的相关数据包括0、1、-1、INT_MIN_VALUE和INT_MAX_VALUE。

表1

步骤S240：获得静态扫描结果得到函数输入参数的参数类型，根据不同的参数类型，按照如下方法得到不用参数类型所对应的数据。

(一)、参数类型是基本类型。如果参数类型是基本类型，查询查询基本数据集合，根据建立的基本类型和基本类型对应的相关数据的对应关系，直接得到基本类型对应的相关数据。

(二)、参数类型是组合类型。由于组合类型是由基本类型组成的，因此首先获得组合类型中的基本类型，查询基本数据集合直接获取每个基本类型对应的数据，并将基本类型对应的数据进行组合，生成组合类型对应的组合数据。

步骤S250：根据测试数据生成API接口的测试用例。

步骤S251：得到函数每个输入参数对应的数据集合。如果一个函数有M个参数，每个参数的对应的简单类型对应内置的Ni个数据，根据组合原理可以生成N1*N2*...*Nm个测试数据，每种测试数据组合对应一个测试用例。但是在实际应用中，一般不对数据进行穷举，而是根据成对组合原理来减少组合个数。

步骤S252：根据已知的函数的函数名、参数名、参数类型和每个函数对应的数据，编写测试用例。

例如，对于上述接口my_add，测试用例对应的代码如图3所示，int a＝1、int b＝1为数据赋值代码，my_add(a，b)为函数调用代码。其中，根据已获取的函数名和参数名，按照函数的调用格式组装函数调用代码。步骤S251中已得到数据赋值代码中的数据，所以本步的关键是撰写数据赋值代码。

具体地，根据静态分析结果得到函数输入参数的参数类型，不同的参数类型根据下面的不同情况对应不同的数据赋值代码。

(一)、参数类型是基本类型。对于每种基本类型，撰写的语法是固定的。根据基本类型的语法特点声明该基本类型，并将步骤S251得到的数据赋给声明的基本类型，完成数据赋值代码。

(二)、参数类型是简单组合类型。简单组合类型由简单类型组成，因此简单组合类型的语法也是固定的。根据组合类型的语法特点，撰写组合类型的声明。组合类型的数据选用对应的基本类型对应的数据，由基本类型对应的数据组合生成组合类型对应的组合数据，将组合类型的组合数据赋给组合类型，从而完成组合类型的数据赋值代码。

(三)、参数类型是复杂组合类型。复杂组合类型的基本组成部分是其它函数的返回值。为了得到其它参数的返回值，需要递归调用函数，直到函数的参数类型为非复杂组合类型为止。

步骤S260：运行测试用例，进行结构化展示。

获得测试数据、测试代码和运行环境后，运行测试用例。例如，健壮性的预期结果为不出core、不死循环。这种预期结果可以通过自动化的方式进行判断，因此运行测试用例后，可以自动化判断出该测试用例执行失败与否，做到机器自动化的判断和分析结果，从而实现了整个过程的完全自动化。

测试产生的测试用例的结构化效果展示如图4所示。通过newTesta(1，2)，构造新的测试用例，调用testa-＞GetC()执行测试用例。

最终的执行效果如表2summary所示，表2中Total tests表示测试用例总数为2，Passed/Failed tests表示通过/失败的测试用例，其中，通过的测试用例为2个，失败的测试用例为0个。Verdict为结论，本表中结论为测试通过。

表2

根据本发明实施例的针对API接口的健壮性测试用例自动生成方法应用在单元测试中可以加快单元测试的撰写速度，通过数据fuzz和数据筛选技术，可以用于无人参与的健壮性测试，例如支持在所有c/c++模块上普遍适用的”无人参与的健壮性测试“应用场景。本方法针对API接口代码，使用机器模拟人来撰写测试代码。一般情况下，利用本方法产生的测试代码，结合相应的Makefile文件后，只需执行make就可以运行测试程序。通过机器自动对运行结果进行分析，实现了针对API接口代码的健壮性测试用例自动生成。本方法通过计算机自动化的方法生成测试用例并分析结果，提高了测试代码生成的效率，节省了人力成本，提高了效率。

下面参考图3描述根据本发明实施例的针对API接口的健壮性测试用例自动生成装置100，包括源代码获取模块110、静态分析模块120、基本数据集合建立模块130、测试数据生成模块140和测试用例生成模块150。

其中，源代码获取模块110用于获取待测API接口的源代码；静态分析模块120用于对源代码进行静态分析以获得静态扫描结果，并从静态扫描结果中获取API接口中函数的函数名、参数名、参数类型和返回值；基本数据集合建立模块130用于建立基本数据集合，其中，基本数据集合包括多个基本数据类型和每个基本数据类型对应的相关数据；测试数据生成模块140用于根据API接口中函数的参数类型和基本数据集合生成API接口的测试数据；测试用例生成模块150用于根据测试数据生成API接口的测试用例。

在API接口中函数的参数类型为基本类型时，测试数据生成模块140查询基本数据集合直接获取基本类型对应的数据。在API接口中函数的参数类型是组合类型时，测试数据生成模块140分别获得组合类型中的多个基本类型，并查询基本数据集合直接获取多个基本类型对应的多个数据，以及对多个数据进行组合以获得组合类型对应的数据。

API接口的测试用例包括数据赋值代码和函数调用代码。其中，函数调用代码根据函数名和参数名按照函数的调用格式组装获得。数据赋值代码通过函数的参数类型和测试数据获得。

机器代替人写代码的关键是让机器模拟人思考和判断的过程。API接口的健壮性测试用例包括测试数据、测试代码和运行环境。本装置使用计算机代替人进行经验累积学习过程和代码了解，自动准备测试数据、撰写测试用例、自动化搭建运行环境、自动运行测试用例，实现针对API接口的自动健壮性测试。

下面以一个具体的例子对本发明进行说明，可以理解的是，下述说明仅出于示例目的，根据本发明的实施例不限于此。

源代码获取模块110获取待测API接口的源代码。

静态分析模块120对源代码进行静态分析。静态分析模块120应用GCC编译选项生成待测源代码的静态扫描结果，分析该扫描结果，得到每个待测API接口的函数名、参数名、参数类型、返回值。

如图2a所示，对于接口my_add，静态分析模块120对应的扫描结果部分如下所示。扫描结果是一棵用文件存储的树，针对文件存储树的结构特点提取出需要的信息。

图2b描述了my_add函数名的获得过程，在文件存储树中，从函数节点function_decl出发，得到函数的名字my_add，同理可以得到函数的参数名、参数类型和返回值。

基本数据集合建立模块130根据静态扫描结果，建立基本测试数据集合。

首先，由人工收集各种基本数据类型以及对应的异常数据，建立基本数据类型和每个基本数据类型的相关数据的对应关系，称为基本数据集合。表1为基本数据集合的一个示例表。其中，基本数据类型包括整形、枚举类型、字符类型和统一资源定位符等，对应的相关数据分别在右侧列出。如整形对应的相关数据包括0、1、-1、INT_MIN_VALUE和INT_MAX_VALUE。

测试数据生成模块140获得静态扫描结果得到函数输入参数的参数类型，根据不同的参数类型，按照如下方法得到不用参数类型所对应的数据。

(一)、参数类型是基本类型。如果参数类型是基本类型，查询查询基本数据集合，根据建立的基本类型和基本类型对应的相关数据的对应关系，直接得到基本类型对应的相关数据。

(二)、参数类型是组合类型。由于组合类型是由基本类型组成的，因此首先获得组合类型中的基本类型，查询基本数据集合直接获取每个基本类型对应的数据，并将基本类型对应的数据进行组合，生成组合类型对应的组合数据。

测试用例生成模块150根据测试数据生成API接口的测试用例。

测试用例生成模块150得到函数每个输入参数对应的数据集合。如果一个函数有M个参数，每个参数的对应的简单类型对应内置的Ni个数据，根据组合原理可以生成N1*N2*...*Nm个测试数据，每种测试数据组合对应一个测试用例。但是在实际应用中，一般不对数据进行穷举，而是根据成对组合原理来减少组合个数。

测试用例生成模块150根据已知的函数的函数名、参数名、参数类型和每个函数对应的数据，编写测试用例。

例如，对于上述接口my_add，测试用例对应的代码如图3所示，int a＝1、int b＝1为数据赋值代码，my_add(a，b)为函数调用代码。

其中，根据已获取的函数名和参数名，按照函数的调用格式组装函数调用代码。测试用例生成模块150中已得到数据赋值代码中的数据，所以本步的关键是撰写数据赋值代码。

具体地，根据静态分析结果得到函数输入参数的参数类型，不同的参数类型根据下面的不同情况对应不同的数据赋值代码。

(一)、参数类型是基本类型。对于每种基本类型，撰写的语法是固定的。根据基本类型的语法特点声明该基本类型，并将测试用例生成模块150得到的数据赋给声明的基本类型，完成数据赋值代码。

(二)、参数类型是简单组合类型。简单组合类型由简单类型组成，因此简单组合类型的语法也是固定的。根据组合类型的语法特点，撰写组合类型的声明。组合类型的数据选用对应的基本类型对应的数据，由基本类型对应的数据组合生成组合类型对应的组合数据，将组合类型的组合数据赋给组合类型，从而完成组合类型的数据赋值代码。

(三)、参数类型是复杂组合类型。复杂组合类型的基本组成部分是其它函数的返回值。为了得到其它参数的返回值，需要递归调用函数，直到函数的参数类型为非复杂组合类型为止。

运行测试用例后，可以进行结构化展示。

获得测试数据、测试代码和运行环境后，运行测试用例。例如，健壮性的预期结果为不出core、不死循环。这种预期结果可以通过自动化的方式进行判断，因此运行测试用例后，可以自动化判断出该测试用例执行失败与否，做到机器自动化的判断和分析结果，从而实现了整个过程的完全自动化。

测试产生的测试用例的结构化效果展示如图4所示。通过new Testa(1，2)，构造新的测试用例，调用testa-＞GetC()执行测试用例。

最终的执行效果如表2summary所示，表2中Total tests表示测试用例总数为2，Passed/Failed tests表示通过/失败的测试用例，其中，通过的测试用例为2个，失败的测试用例为0个。Verdict为结论，本表中结论为测试通过。

根据本发明实施例的针对API接口的健壮性测试用例自动生成装置应用在单元测试中可以加快单元测试的撰写速度，通过数据fuzz和数据筛选技术，可以用于无人参与的健壮性测试，例如支持在所有c/c++模块上普遍适用的“无人参与的健壮性测试”应用场景。本装置针对API接口代码，使用机器模拟人来撰写测试代码。一般情况下，利用本装置产生的测试代码，结合相应的Makefile文件后，只需执行make就可以运行测试程序。通过机器自动对运行结果进行分析，实现了针对API接口代码的健壮性测试用例自动生成。本装置通过计算机自动化的方法生成测试用例并分析结果，提高了测试代码生成的效率，节省了人力成本，提高了效率。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (11)

1.一种针对API接口的健壮性测试用例自动生成方法，其特征在于，包括以下步骤：

获取待测API接口的源代码；

对所述源代码进行静态分析以获得静态扫描结果，并从静态扫描结果中获取所述API接口中函数的函数名、参数名、参数类型和返回值；

建立基本数据集合，其中，所述基本数据集合包括多个基本数据类型和每个基本数据类型对应的相关数据；

根据所述API接口中函数的参数类型和所述基本数据集合生成所述API接口的测试数据；以及

根据所述测试数据生成所述API接口的测试用例。

2.如权利要求1所述的方法，其特征在于，所述根据API接口中函数的参数类型和所述基本数据集合生成所述API接口的测试数据进一步包括：

如果所述API接口中函数的参数类型为基本类型，则查询所述基本数据集合直接生成基本类型对应的数据；以及

如果所述API接口中函数的参数类型是组合类型，则分别获得所述组合类型中的多个基本类型，并查询所述基本数据集合直接获取所述多个基本类型对应的多个数据，并对所述多个数据进行组合以生成所述组合类型对应的数据。

3.如权利要求1或2所述的方法，其特征在于，所述API接口的测试用例包括数据赋值代码和函数调用代码。

4.如权利要求1-3任一项所述的方法，其特征在于，所述函数调用代码根据所述函数名和参数名按照函数的调用格式组装获得。

5.如权利要求3所述的方法，其特征在于，所述数据赋值代码通过所述函数的参数类型和所述测试数据获得。

6.一种针对API接口的健壮性测试用例自动生成装置，其特征在于，包括：

源代码获取模块，用于获取待测API接口的源代码；

静态分析模块，用于对所述源代码进行静态分析以获得静态扫描结果，并从静态扫描结果中获取所述API接口中函数的函数名、参数名、参数类型和返回值；

基本数据集合建立模块，用于建立基本数据集合，其中，所述基本数据集合包括多个基本数据类型和每个基本数据类型对应的相关数据；

测试数据生成模块，用于根据所述API接口中函数的参数类型和所述基本数据集合生成所述API接口的测试数据；以及

测试用例生成模块，用于根据所述测试数据生成所述API接口的测试用例。

7.如权利要求6所述的装置，其特征在于，在所述API接口中函数的参数类型为基本类型时，所述测试数据生成模块查询所述基本数据集合直接获取基本类型对应的数据。

8.如权利要求6所述的装置，其特征在于，在所述API接口中函数的参数类型是组合类型时，所述测试数据生成模块分别获得所述组合类型中的多个基本类型，并查询所述基本数据集合直接获取所述多个基本类型对应的多个数据，以及对所述多个数据进行组合以获得所述组合类型对应的数据。

9.如权利要求7或8所述的装置，其特征在于，所述API接口的测试用例包括数据赋值代码和函数调用代码。

10.如权利要求9所述的装置，其特征在于，所述函数调用代码根据所述函数名和参数名按照函数的调用格式组装获得。

11.如权利要求9所述的装置，其特征在于，所述数据赋值代码通过所述函数的参数类型和所述测试数据获得。

Images