CN115098389B

CN115098389B - 一种基于依赖模型的rest接口测试用例生成方法

Info

Publication number: CN115098389B
Application number: CN202210780999.0A
Authority: CN
Inventors: 杨秋辉; 刘盈盈
Original assignee: Sichuan University
Current assignee: Sichuan University
Priority date: 2022-07-05
Filing date: 2022-07-05
Publication date: 2024-06-07
Anticipated expiration: 2042-07-05
Also published as: CN115098389A

Abstract

本发明针对REST接口测试用例生成问题，首先解析REST接口的OpenAPI描述文档，收集接口操作间的数据依赖，据此建立操作间依赖模型。然后训练了一个基于BERT模型作的参数间依赖关系分类模型，利用该分类模型对所有参数进行依赖关系分类，建立参数间依赖模型。最后，基于两个依赖模型，利用约束求解器以及动态响应字典求解合法参数组合与合法参数值，并从三方面生成测试预言，得到完备的测试用例。该方法基于被测接口操作间与参数间的依赖关系，建立了具有实际业务意义的测试用例，能够达到较高的OpenAPI文档输入/输出度量覆盖率，可以有效地检测到REST接口内部异常，具有高效、实用等特点。

Description

一种基于依赖模型的REST接口测试用例生成方法

技术领域

本发明属于软件工程中的软件测试领域，尤其涉及一种REST接口的测试用例生成方法。

背景技术

REST架构风格定义了一组架构约束，基于这些约束所构建的API称为REST接口或RESTful接口。为了保证 REST 接口的质量，开放软件的接口在发布前都必须经过详细的测试，在目前已有研究中，大部分采用了基于模型的方法来生成REST接口测试用例，比如RESTler与RESTest模型。

RESTler模型通过分析各请求之间的生产者-消费者依赖关系，以及测试时的动态响应信息来生成请求序列；而RESTest模型使用了基于约束的方法和随机方法生成输入数据，具有测试覆盖率高、测试用例维护简单等优点。但是，一方面，目前基于模型的方法大多针对接口的单个操作进行测试，难以检测由多个连续操作触发的缺陷。另一方面，并未考虑接口各操作内部的参数间依赖关系，在有限时间成本内难以遍历整个参数空间，无法生成具有实际业务意义的参数组合。

发明内容

本发明公开了一种针对REST接口的测试用例生成方法。首先，利用REST接口的OpenAPI描述文档，收集接口操作间的数据依赖，建立操作间依赖模型。然后，构建了一个基于BERT的参数间依赖关系分类模型，使用此分类模型建立被测接口的参数间依赖模型。最后，基于操作间和参数间依赖模型，利用约束求解、动态响应字典生成具有合法参数组合的合理操作序列，并生成测试预言，得到完整的执行用例。

一种基于依赖模型的REST接口测试用例生成方法，主要包含以下四大步骤：

步骤1，构建操作间依赖模型：

首先，解析OpenAPI文档，收集待测接口的所有操作形成操作列表；

然后，遍历操作列表，记录每个操作中输入数据与响应数据的参数字段名与数据模式；

最后，利用分析规则检查所有操作的参数字段名与数据模式，提取不同操作间的共享数据，根据共享数据确定数据依赖关系，进而确定操作依赖关系，并据此建立操作间依赖模型。

步骤2，构建基于BERT的参数间依赖关系分类模型：

首先，从已有研究以及API仓库中收集大量参数描述文本，对文本数据进行预处理后，以6:2:2比例划分训练集、验证集与测试集。使用预训练BERT模型作为特征提取器，获得训练集的向量表示；

然后，将向量表示作为输入，针对四类参数间依赖关系：Require、Both、Either、None，训练一个由一层全连接层与一层Softmax层构成的参数间依赖关系分类器，使用验证集调整模型超参数；

最后，使用测试集评估模型分类效果，计算精确率、准确率、召回率和Macro-F1值。

步骤3，构建参数间依赖关系模型：

依次从操作列表中取出一个操作，加载参数间依赖关系分类模型，对操作中的参数进行两两间参数关系分类；

分析完成所有操作后，得到的部分参数间依赖关系可能不准确，需要识别并去除矛盾的依赖关系，最终获得参数间依赖关系模型。

步骤4，基于依赖模型生成测试用例：

首先，利用已生成的操作间依赖模型，使用随机搜索方法生成操作序列；

然后，将生成的操作序列与参数间依赖模型共同作为约束，使用约束求解器求解，以确定参数的合法组合；

由于一些操作的参数值需要根据前序操作的输出值来确定，因此，使用动态响应字典来记录每次响应返回的负载数据，在每次调用时可从响应字典中查找相同结构的数据作为参数值；

最后，从响应状态码、JSON-Schema以及Key-Value三个层次生成测试预言，获得完备的可执行测试用例。

本方法针对REST接口测试用例生成问题，首先解析REST接口的OpenAPI描述文档，根据字段名、数据模式收集接口操作间的数据依赖，根据数据依赖建立操作间依赖模型。然后使用预训练BERT模型作为特征提取器，获得参数描述文本的向量表示，建立参数间依赖关系分类模型。利用该分类模型对操作内所有参数进行依赖关系分类，建立参数间依赖模型。最后，基于操作间依赖模型生成操作序列，使用参数间依赖模型、约束求解器以及动态响应字典求解合法参数组合与合法参数值，根据OpenAPI文档定义，从响应码、JSON-Schema以及Key-Value三方面生成测试预言，得到完备可执行的测试用例。该方法基于被测接口操作间与参数间的依赖关系，建立了具有实际业务意义的测试用例，能够达到较高的OpenAPI文档输入/输出度量覆盖率，可以有效地检测到REST接口内部异常，具有高效、实用等特点。

附图说明

图1为本发明方法的流程示意图。

图2为参数间依赖关系分类模型架构。

图3为模型超参数设置。

具体实施方式

为了更加清楚地展示本发明的目的和技术方案，下面将结合具体的实施过程和附图，对本发明的具体实施方式和参数进行更加详细的描述。

一种基于依赖模型的REST接口测试用例生成方法，如图1所示，主要包含四个步骤。

步骤1，构建操作间依赖模型，如图1中的G1部分所示。

进一步的，步骤1包含3个子步骤。

步骤1-1，根据字段名确定数据依赖：

由于REST接口的输入参数或相应数据的字段名是高度语义化的，因此，可以通过判断不同操作的数据字段名是否具有相同语义来确定两个操作之间是否具有数据依赖：将OpenAPI文档中，各操作的parameters和requestBody元素中的数据字段名，与其他操作的responses元素中的数据字段名进行比较，判断字段名是否具有相同语义；

在比较两个字段名是否具有相同语义时，首先，比较两个词是否相等，若相等则代表两个词具有相同语义；否则，进一步提取两个词的词干，如果词干相等则代表两个词词性不同但具有相同语义；

如果两个操作的数据字段名包含相同语义，那么这两个操作将被视为存在数据依赖。

步骤1-2，根据数据模式确定数据依赖：

由于OpenAPI文档中的复合数据类型使用Schema对象定义，因此，可以通过比较对应的Schema对象结构来判断复合数据中是否包含共享数据；

Schema对象的比较过程即是判断一个Schema对象是否为另一个Schema对象的子结构：首先，比较两个数据模式定义的数据类型是否完全相同，若相同且都为原始数据类型，则代表两个数据模式完全相同；否则，两个数据模式不同。对于数据类型为复合数据类型的数据，递归判断两个数据模式的子结构是否相同；

如果复合数据中存在共享数据，那么对应的操作将被视为存在数据依赖。

步骤1-3，根据数据依赖建立操作间依赖模型：

根据1-1、1-2步骤所得到的数据依赖确定操作次序，建立操作间依赖关系模型G(N,N₀,N_f,E) ：

其中N代表从OpenAPI文档中提取的所有操作集合，N₀表示不依赖任何操作的操作集合，N_f 表示不被任何操作所依赖的操作集合， E代表有向边集合，即操作间依赖关系集合。例如，存在操作o₁和o₂，且o₁ 、o₂∈N，若o₂存在对o₁的依赖关系，则有e = o₁→ o₂，且e∈E。

步骤2，构建基于BERT的参数间依赖关系分类模型，如图1中的G2部分所示。

从已有研究以及API仓库中收集大量参数描述文本，对文本数据进行清洗后，以#和$符号分别标识每段参数描述文本中的两个实体，以6:2:2比例划分训练集、验证集与测试集；

由于OpenAPI中的参数描述文本都是由开发人员以自然语言定义的，因此，考虑使用自然语言模型BERT作为特征提取器，获得参数描述文本的语义表示，辅助进行参数间依赖关系分类；

构建一个参数间依赖关系分类模型，该模型包括两个主要部分：第一部分为BERT预训练模型，主要任务是特征提取，即获得参数描述文本的向量表示；第二部分为一个分类器，包含一个全连接层与一层Softmax层，主要对第一部分提取的向量进行关系分类。图2为参数间依赖关系分类模型的具体结构。

第一部分，使用BERT预训练模型作为特征提取器：

通过transforms库的tokenizer对训练集进行分词，获得词向量、文本向量和位置向量的和，将其作为BERT模型的输入。模型的输出为输入文本对应位置的语义表示，称为词嵌入；以[CLS]标记的对应位置输出为整个句子的语义表示，称为该文本的句嵌入；

给定一段参数描述文本，其中包含的两个参数分别记为 e ₁、e₂，设BERT模型的最后一个隐层的输出为H，其中向量H_i至H_j是参数 e₁对应的隐层输出， H_k至 H_m是参数 e₂对应的隐层输出。分别对参数e₁ 和e₂ 对应的隐层输出向量进行平均以获得e₁ 、 e₂ 的向量表示，进行激活操作后分别输入到一个全连接层，将输出分别记为 H₁ ^’ 和H₂ ^’ ：

[CLS]对应的隐层输出H₀直接进行激活操作，然后输入全连接层，获得输出H₀ ^’ ：

其中，参数矩阵W₀∈R^d×d，W₁∈R^d×d，W₂∈R^d×d，其中d 是BERT隐层输出的大小，d=768 。

第二部分，使用分类器对参数间依赖关系进行分类：

将H₀ ^’ 、H₁ ^’ 、H₂ ^’ 进行拼接再输入到全连接层，全连接层的输出同样使用Softmax处理。最后，获得每个类别的分类概率 p ：

式中：W₃∈R^L×3d； L：关系类别种类，本发明中L=4； p ：输出概率

使用验证集调整本模型的超参数，调整后的超参数如图3所示。由于参数间依赖关系分类属于文本多分类问题，训练集具有数据不平衡的特点，因此，在测试集上选择使用精确率、召回率、准确率以及Macro-F1指标对模型性能进行评估。

步骤3，构建参数间依赖模型，如图1中的G3部分所示。

进一步的，步骤3包含2个子步骤。

步骤3-1，使用分类模型推断参数间依赖关系：

首先，依次提取操作列表中的操作以及对应的参数描述文本，加载步骤2所得到的参数间依赖关系分类模型，对操作中的参数进行两两间依赖关系的分类。

步骤3-2，建立参数间依赖关系模型：

由于分类模型的准确率很难达到100%，因此所生成的参数间依赖关系中可能包含矛盾依赖关系，需要识别并去除矛盾的关系，输出保留的依赖关系，最终获得参数间依赖关系模型。

步骤4，基于依赖模型生成测试用例，如图1中的G4部分所示。

进一步的，该步骤包含6个子步骤。

步骤4-1，根据操作间依赖模型生成操作序列：

根据操作依赖模型，使用随机搜索的方法生成操作序列。首先，以预设序列最大长度、最长运行时间作为输入，利用1-3步骤得到的操作间依赖模型，使用 N₀ 初始化若干序列，形成序列集合，然后从中随机选择一个长度小于预设值的序列，可确定与该序列中操作存在数据依赖的操作集合，从该集合中随机选取一个操作附加到已有序列末尾，将生成的序列加入至序列集合中，并不断重复上述过程直至最长运行时间，最后，获得操作序列集合。

步骤4-2，基于约束求解确定参数组合：

将4-1步骤生成的操作序列集合，与3-2步骤得到的参数间依赖模型共同作为约束，对于四种参数间依赖关系，分别将其映射到约束求解问题域，使用约束求解器求解获得合法参数组合。

步骤4-3，使用动态响应字典为参数赋值：

为了充分利用已运行用例所产生的信息，本发明使用动态响应字典记录每次响应包含的负载信息；

首先，在测试运行前，对REST接口的OpenAPI文档进行一次静态分析，从中提取可用的示例数据，将其作为静态数据记录在动态响应字典中；

然后，针对4-1步骤获得的操作序列中的每一个操作，从4-2步骤生成的参数组合中依次取出一个参数，检查响应字典中是否包含相同结构的数据，若包含，则返回该数据；若不包含，需要随机生成数据，根据参数的数据类型不同，采用不同的数据生成方法，直至处理完成参数组合中的所有参数；

处理完所有操作后，构造HTTP请求并执行，执行结束后解析响应数据并进行测试预言。若测试通过，则将响应数据添加至响应字典中；若测试未通过，停止本次测试，返回失败结果；

最终为操作序列中各操作的参数赋上合法的参数值。

步骤4-4，使用响应状态码生成测试预言：

解析OpenAPI文档，提取文档中预定义的正确或错误处理请求时客户端收到的响应码类型，将其作为测试预言。

步骤4-5，使用JSON-Schema生成测试预言：

OpenAPI规范允许接口设计人员基于JSON-Schema规范自定义数据类型，而JSON-Schema规范中给出了一组用于限制数据范围和结构的属性。因此，可以根据JSON-Schema中定义的限制关系，对接口响应数据的数据类型与数据值生成测试预言。

步骤4-6，使用Key-Value生成测试预言：

为了检测响应数据在业务意义上是否满足预期，在4-1，4-2步骤后，由测试人员手动根据测试序列中的操作设计输入参数并记录预期响应，扩展自动生成的测试预言，即手动将Key Value预言附加到已有预言之后；

最终，获得完备的可执行测试用例。

Claims

1.一种基于依赖模型的REST接口测试用例生成方法，其特征在于，包括以下步骤：

步骤1：构建操作间依赖模型：

解析OpenAPI文档，根据待测接口各操作的参数字段名是否存在相同语义，以及复合数据类型中是否存在共享数据，判断是否存在数据依赖，进而根据数据依赖建立操作间依赖模型；

步骤2：构建基于BERT的参数间依赖关系分类模型：

模型包括两部分：第一部分为预训练BERT模型，主要任务是特征提取，即获得参数描述文本的向量表示；第二部分为一个分类器，主要利用第一部分提取的向量对参数进行关系分类；

步骤3：构建参数间依赖模型：

利用步骤2所生成的参数间依赖关系分类模型，对被测接口中每个操作的参数进行依赖关系分类，获得参数间依赖关系模型；

步骤4：基于依赖模型生成测试用例：

利用操作间依赖模型生成操作序列，并将生成的操作序列与参数间依赖模型共同作为约束，使用约束求解器、动态响应字典生成合法参数组合与合法参数值；

最后，生成测试预言，获得完备的可执行测试用例。

2.根据权利要求1所述方法，其特征在于，所述步骤2，构建基于BERT的参数间依赖关系分类模型，进一步包括：

数据收集与预处理：从API仓库中收集接口文档，从中提取参数描述文本；然后，对收集的原始数据进行数据清洗，使用“#”与“$”符号标记出两个参数实体；最后，以6:2:2的比例划分训练集、验证集以及测试集；

特征提取：使用预训练BERT模型作为特征提取器，获得训练集、验证集以及测试集的向量表示，从中提取参数词向量与句向量；

参数间依赖关系分类器建立：建立一个由一层全连接层与一层Softmax层构成的参数间依赖关系分类器；以训练集的向量表示作为输入，使用验证集调整超参数，最后，使用多个指标在测试集上评估分类器效果。

3.根据权利要求1所述方法，其特征在于，所述步骤4，基于依赖模型生成测试用例，进一步包括：

根据操作间依赖模型生成操作序列：使用随机搜索方法，利用已生成的操作间依赖模型生成待测接口的操作序列；

基于约束求解确定参数组合：将生成的操作序列与参数间依赖模型共同作为约束，使用约束求解器求解，确定参数的合法组合；

使用动态响应字典确定参数值：使用动态响应字典记录每次响应返回的负载数据，从而在每次调用时可以从响应字典中查找相同结构的数据为参数赋值；

使用响应状态码生成测试预言：使用OpenAPI文档定义的预期响应码来生成测试预言；

使用JSON-Schema生成测试预言：根据JSON-Schema规范中给出的相关属性与限制关系，对REST接口的调用结果生成测试预言；

使用Key-Value生成测试预言：由测试人员手动根据操作序列设计输入参数并记录预期响应，最后扩展为测试预言。

4.根据权利要求3所述方法，其特征在于，所述的随机搜索方法，具体包括：

设定终止条件：设定最大运行时间，最长序列长度；

初始化序列：从初始节点集合N_0中选择若干操作，初始化若干长度小于预设长度的序列，生成序列集；

确定操作集合：随机选择一个序列，利用操作间依赖模型可确定与序列中存在数据依赖的操作集合；

序列扩展：从操作集合中随机选择一个操作，将其附加到操作序列最后，完成一次对序列的扩展，并将序列添加至序列集中。

5.根据权利要求3所述方法，其特征在于，所述的动态响应字典，具体包括：

静态分析：静态分析OpenAPI文档，从中提取可用示例数据作为静态数据存储至响应字典中；

随机生成：响应字典内没有可复用数据时，根据参数数据类型的不同，随机生成数据：若所述数据类型为枚举类型，则从对应参数节点下随机选择一个数据；若数据类型为原始类型，随机生成对应的数据；若所述数据类型为数组类型，则递归地检查数组子元素的数据类型，直至成功生成随机数据；若所述数据类型为对象类型，则分别递归地检查该对象类型的每一个子类型，直至生成随机数据；最终为操作序列赋上合法的参数值。