CN117349188A - 一种基于大模型的测试用例生成方法和装置 - Google Patents

Abstract

本发明公开了一种基于大模型的测试用例生成方法和装置，包括：获取待测试项接口文件；从所述待测试项接口文件提取待测试项信息；基于所述待测试项信息构建描述生成指令，同时构建第一格式化指令；采用大模型基于所述待测试项信息响应于所述描述生成指令生成描述文件和应用场景，响应于所述第一格式化指令输出所述描述文件和应用场景；获取需求文件；通过语义识别从所述需求文件提取需求信息；基于所述需求信息构建用例生成指令，同时构建第二格式化指令；采用大模型响应于所述用例生成指令调用所述描述文件和应用场景生成测试用例文件，响应于所述第二格式化指令输出所述测试用例文件。

Description

一种基于大模型的测试用例生成方法和装置

技术领域

本发明涉及测试用例自动生成技术领域，具体地，涉及一种基于大模型的测试用例生成方法和装置。

背景技术

随着软件系统复杂性的增加和开发周期的缩短，传统的手动测试用例构建方法已经无法满足现代软件系统的测试需求。自动化测试作为一种有效的解决方案，可以显著提高测试效率并确保软件质量。然而，现有的测试用例几乎全部由人工构建，特别是复杂的测试用例。因此，设计一种基于大模型的自动化测试用例构建方法，以满足降低人效，提高自动化率的测试需求。

目前市场上的主要解决方案为：单独针对不同类别的功能，如接口、界面元素的测试都有不同类别的应用软件进行支持，其中在接口方面的自动化程度最高，其他方面均未手工。上述解决方案，实现成本高；没有综合性，不互通；大部分依赖人工。

发明内容

为解决上述问题的至少一个方面，本发明提供一种基于大模型的测试用例生成方法，包括：获取待测试项接口文件；从所述待测试项接口文件提取待测试项信息；基于所述待测试项信息构建描述生成指令，同时构建第一格式化指令；采用大模型基于所述待测试项信息响应于所述描述生成指令生成描述文件和应用场景，响应于所述第一格式化指令输出所述描述文件和应用场景；获取需求文件；通过语义识别从所述需求文件提取需求信息；基于所述需求信息构建用例生成指令，同时构建第二格式化指令；采用大模型响应于所述用例生成指令调用所述描述文件和应用场景生成测试用例文件，响应于所述第二格式化指令输出所述测试用例文件。

优选地，在响应于所述第一格式化指令输出所述描述文件和应用场景步骤之后还包括：将所述描述文件和应用场景存储在待测试项数据库中，采用大模型响应于与所述用例生成指令从所述待测试项数据库中调用所述描述文件和应用场景生成测试用例文件。

优选地，所述待测试项接口文件包括接口名称、接口地址、接口参数、参数描述、调用示例和环境信息。

优选地，所述需求文件包括需求名称、需求描述、功能描述和需求目标。

优选地，所述测试用例文件包括：测试用例名称、测试用例描述、测试接口地址、接口传入参数、参数的数值和测试代码。

另一方面，提供一种基于大模型的测试用例生成装置，包括：适配器，所述适配器包括待测试信息提取模块、第一指令生成模块，以及描述文件和应用场景模块，所述待测试信息提取模块接收输入的待测试项接口文件， 从所述待测试项接口文件提取待测试项信息，第一指令生成模块基于所述待测试项信息构建描述生成指令，构建第一格式化指令，描述文件和应用场景模块采用大模型基于所述待测试项信息、所述描述生成指令和所述第一格式化指令生成描述文件和应用场景格式化文档；生成器，所述生成器包括需求信息提取模块、第二指令生成模块和测试用例生成模块，所述需求信息提取模块接收输入的需求文件，通过语义识别从所述需求文件提取需求信息，所述第二指令生成模块基于所述需求信息构建用例生成指令，并构建第二格式化指令，所述测试用例生成模块采用大模型响应于所述用例生成指令调用所述描述文件和应用场景生成测试用例文件，响应于第二格式化指令输出所述测试用例文件。

优选地，还包括待测试项数据库，所述待测试项数据库用于接收并存储所述描述文件和应用场景，所述测试用例生成模块采用模型响应于所述用例生成指令从所述待测试项数据库调用所述描述文件和应用场景生成测试用例文件。

优选地，所述待测试项接口文件包括接口名称、接口地址、接口参数、参数描述、调用示例和环境信息。

优选地，所述需求文件包括需求名称、需求描述、功能描述和需求目标。

优选地，所述测试用例文件包括：测试用例名称、测试用例描述、测试接口地址、接口传入参数、参数的数值和测试代码。

本发明的基于大模型的测试用例生成方法和装置具有以下有益效果：通过新增一层适配器和一层生成器的结构，并且使用大模型作为上述两种结构的实现工具，完全实现了从原始功能和需求之间构建测试用例过程中的自动化。通过适配器完成了多种待测试功能的接入，实现了测试对象的全覆盖。

附图说明

为了更好地理解本发明的上述及其他目的、特征、优点和功能，可以参考附图中所示的实施方式。附图中相同的附图标记指代相同的部件。本领域技术人员应该理解，附图旨在示意性地阐明本发明的优选实施方式，对本发明的范围没有任何限制作用，图中各个部件并非按比例绘制。

图1示出了根据本发明实施例的基于大模型的测试用例生成方法的流程图；

图2示出了根据本发明实施例的基于大模型的测试用例生成装置的结构框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个，本公开的实施例提出了一种基于大模型的测试用例生成方法，如图1所示，包括：

步骤S1，获取待测试项接口文件。

具体地，如图1所示，待测试项接口文件为从接口管理工具导出的格式化文件。待测试项接口文件的格式可以根据实际的应用场景进行选择。

在一些实施例中，待测试项接口文件包括接口名称、接口地址、接口参数、参数描述、调用示例和环境信息。本领域技术人员可以理解地，待测试项接口文件包括但不限与上述待测试项信息，在另外的实施例中，根据待测试项或者接口管理工具的不同，导出的待测试项接口文件包括的待测试项信息也会有所不同。

步骤S2，从待测试项接口文件提取待测试项信息。

具体地，采用语义识别对待测试项中包括的待测事项信息进行提取。或者根据实际的应用场景，对目标格式的待测试接口文件设置信息提取规则，从而实现对待测试接口文件中的待测试项信息进行提取。提取的待测试项信息包括接口名称、接口地址、接口参数、参数描述、调用示例和环境信息等。

步骤S3，基于待测试项信息构建描述生成指令，同时构建第一格式化指令。

具体地，根据提取的待测试项信息，按照预设的描述生成指令规则构建描述生成指令，使描述生成指令包括待测试项信息。不同的待测试项对应不同的描述生成指令，接口名称、接口描述信息、参数描述都会影响生成指令，比如：参数中有秘钥之类的参数，则构建的描述生成指令中会包含“获取秘钥”相关操作/描述。

第一格式化指令为预设的文档格式输出指令，对应不同的待测试项，构建的第一格式化指令相同。

步骤S4，采用大模型基于待测试项信息响应于描述生成指令生成描述文件和应用场景，响应于第一格式化指令输出描述文件和应用场景。

具体地，大模型采用现有技术的大语言深度学习模型，其具有的功能为可以使用自然语言的方式回答用户的问题。例如，OpenAI的Chatgpt3.5或chatgpt4、讯飞的星火大模型、百度的文心一言等。

大模型响应于接收的待测试项信息和描述生成指令生成描述文件和应用场景。例如，描述生成指令用于使大模型根据待测试项信息对该待测试项接口生成详细的自然语言描述，如：“这是一个用户登录接口，有3个参数，分别为username、password、token，其中密码不能为空”。第一格式化指令用于使发模型针对上一步的信息继续生成可以存储到数据库的格式化数据，如{“接口名”：”login”，“接口地址”：”/adapter/app/user/login”，“参数”：{“username”：”***”，“password”：”***”，“token”：”***”， 接口描述：”这是一个用户登录接口……”}。

步骤S6，获取需求文件。

具体地，需求文件采用预设的文档格式，需求文件包括预设的需求信息。

在一些实施例中，需求文件包括需求名称、需求描述、功能描述和需求目标。

具体地，用户需求文件以预设文档格式提供，如：“发表评论功能：用户可以在自己可见的文章下发表评论，包括文字、图片、视频三种格式，用户可以对发表的评论进行删除、修改等操作，但是用户的文字长度为200个，图片个数为9个，视频个数为1个且市场不能超过1分钟。”

步骤S7，通过语义识别从需求文件提取需求信息。

具体地，通过语义识别需求文件中的需求信息，使用大模型总结文章、去除文章中多余的符号、描述及重复的内容。使用大模型根据上一步骤生成的总结内容中按照如下格式生成测试需求：【功能】【描述】【目标】。如：【发表评论】【测试用户在使用文字、图片、视频发表评论功能，覆盖所有的边界条件】【用户成功发表评论】

步骤S8，基于需求信息构建用例生成指令，同时构建第二格式化指令。

具体地，用例生成指令基于当前的测试目标进行构建，如当前的测试目标为：验证用户登录功能是否正常，则构建的用例生成指令指向为测试该接口的功能性。

第二格式化输出指令是固定的，第二格式化指令为预设文档格式输出指令，目的是为了可以针对输出的数据进行格式化存储和处理。即对于不同的需求信息，构建的第二格式化指令相同。

步骤S9，采用大模型响应于用例生成指令调用描述文件和应用场景生成测试用例文件，响应于第二格式化指令输出测试用例文件。

具体地，大模型采用现有技术的大语言深度学习模型，其具有的功能为可以使用自然语言的方式回答用户的问题。用例生成指令用于使大模型调用描述文件和应用场景生成测试用例文件。第二格式化指令用于使大模型输出预设格式的测试用例文件。

在一些实施例中，测试用例文件包括：测试用例名称、测试用例描述、测试接口地址、接口传入参数、参数的数值和测试代码。

在一些实施例中，在响应于第一格式化指令输出描述文件和应用场景步骤之后还包括：步骤S5，将描述文件和应用场景存储在待测试项数据库中，采用大模型响应于与用例生成指令从待测试项数据库中调用描述文件和应用场景生成测试用例文件。

具体地，待测试项数据库用于接收并存储步骤S4中大模型输出的描述文件和应用场景。步骤S4输出的描述文件和应用场景作为一一对应的组件存储在待测试项数据库，则从待测试项数据库包括多个组件。步骤S9中的大模型根据接收的用例生成指令从待测试项数据库中匹配对应的描述文件和应用场景，以进一步生成测试用例文件。

例如，某组件在待测试项数据库中的描述为：“这是一个用户登录接口，有3个参数，分别为username、password、token，其中密码不能为空”；对应的在需求文件中的可能描述为：“当前需要测试用户登录功能是否正常，包括用户名为空、密码为空、token不正确三个场景”。此时大模型会根据对应的描述从待测试项数据库里选择对应的组件。

另一方面，提供一种基于大模型的测试用例生成装置，包括：适配器，适配器包括待测试信息提取模块、第一指令生成模块，以及描述文件和应用场景模块，待测试信息提取模块接收输入的待测试项接口文件，从待测试项接口文件提取待测试项信息，第一指令生成模块基于待测试项信息构建描述生成指令，构建第一格式化指令；描述文件和应用场景模块采用大模型基于待测试项信息、描述生成指令和第一格式化指令生成描述文件和应用场景格式化文档；生成器，生成器包括需求信息提取模块、第二指令生成模块和测试用例生成模块，需求信息提取模块接收输入的需求文件，通过语义识别从需求文件提取需求信息，第二指令生成模块基于需求信息构建用例生成指令，并构建第二格式化指令，测试用例生成模块采用大模型响应于用例生成指令调用描述文件和应用场景生成测试用例文件，响应于第二格式化指令输出测试用例文件。

具体地，如图2所示，适配器具有输入单元，输入单元用于接收用户输入的待测试项接口文件。待测试信息提取模块包括指令存储单元和处理单元，指令存储单元包括程序指令，处理单云用于运行指令存储单元存储的程序指令以实现根据待测试接口文件提取待测试项信息。第一指令生成模块包括指令存储单元和处理单元，指令存储单元包括程序指令，处理单云用于运行指令存储单元存储的程序指令以接收待测试项信息，并基于待测试项信息构建描述生成指令和第一格式化指令。描述文件和应用场景模块被配置为接收待测试项信息、描述生成指令和第一格式化指令，并输出描述文件和应用场景。描述文件和应用场景模块包括现有技术的大语言深度学习模型，其具有的功能为可以使用自然语言的方式回答用户的问题。或者在另外的实施例中，描述文件和应用场景模块包括大模型的访问输入接口和输出接口，输入接口用于向大模型输入待测试项信息、描述生成指令和第一格式化指令，输出接口用于接收大模型生成的描述文件和应用场景。

生成器具有输入单元，输入单元用于接收用户输入的需求文件。需求信息提取模块包括指令存储单元和处理单元，指令存储单元包括程序指令，处理单云用于运行指令存储单元存储的程序指令以通过语义识别从需求文件提取需求信息。第二指令生成模块包括指令存储单元和处理单元，指令存储单元包括程序指令，处理单云用于运行指令存储单元存储的程序指令以基于需求信息构建用例生成指令，并构建第二格式化指令。测试用例生成模块包括现有技术的大语言深度学习模型，其具有的功能为可以使用自然语言的方式回答用户的问题，测试用例生成模块包括处理单元以运行大模型，并基于接收的用例生成指令和第二格式化指令生成测试用例文件。

在一些实施例中，还包括待测试项数据库，待测试项数据库用于接收并存储描述文件和应用场景，用例生成模块采用模型响应于用例生成指令从待测试项数据库调用描述文件和应用场景生成测试用例文件。

具体地，如图2所示，待测试项数据库采用具有数据接收、处理和存储功能的服务器。待测试项数据库通过描述文件和应用场景模块接收大模型生成的描述文件和应用场景。测试用例生成模块通过待测试项数据库调用用例生成指令匹配的描述文件和应用场景。

在一些实施例中，待测试项接口文件包括接口名称、接口地址、接口参数、参数描述、调用示例和环境信息。

在一些实施例中，需求文件包括需求名称、需求描述、功能描述和需求目标。

在一些实施例中，测试用例文件包括：测试用例名称、测试用例描述、测试接口地址、接口传入参数、参数的数值和测试代码。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文。

Claims (10)

1.一种基于大模型的测试用例生成方法，其特征在于，包括：

获取待测试项接口文件；

从所述待测试项接口文件提取待测试项信息；

基于所述待测试项信息构建描述生成指令，同时构建第一格式化指令；

采用大模型基于所述待测试项信息响应于所述描述生成指令生成描述文件和应用场景，响应于所述第一格式化指令输出所述描述文件和应用场景；

获取需求文件；

通过语义识别从所述需求文件提取需求信息；

基于所述需求信息构建用例生成指令，同时构建第二格式化指令；

采用大模型响应于所述用例生成指令调用所述描述文件和应用场景生成测试用例文件，响应于所述第二格式化指令输出所述测试用例文件。

2.根据权利要求1所述的方法，其特征在于，在响应于所述第一格式化指令输出所述描述文件和应用场景步骤之后还包括：将所述描述文件和应用场景存储在待测试项数据库中，采用大模型响应于与所述用例生成指令从所述待测试项数据库中调用所述描述文件和应用场景生成测试用例文件。

3.根据权利要求2所述的方法，其特征在于，所述待测试项接口文件包括接口名称、接口地址、接口参数、参数描述、调用示例和环境信息。

4.根据权利要求2所述的方法，其特征在于，所述需求文件包括需求名称、需求描述、功能描述和需求目标。

5.根据权利要求2所述的方法，其特征在于，所述测试用例文件包括：测试用例名称、测试用例描述、测试接口地址、接口传入参数、参数的数值和测试代码。

6.一种基于大模型的测试用例生成装置，其特征在于，包括：

适配器，所述适配器包括待测试信息提取模块、第一指令生成模块，以及描述文件和应用场景模块，所述待测试信息提取模块接收输入的待测试项接口文件，从所述待测试项接口文件提取待测试项信息，所述第一指令生成模块基于所述待测试项信息构建描述生成指令，构建第一格式化指令，所述描述文件和应用场景模块采用大模型基于所述待测试项信息、所述描述生成指令和所述第一格式化指令生成描述文件和应用场景格式化文档；

生成器，所述生成器包括需求信息提取模块、第二指令生成模块和测试用例生成模块，所述需求信息提取模块接收输入的需求文件，通过语义识别从所述需求文件提取需求信息，所述第二指令生成模块基于所述需求信息构建用例生成指令，并构建第二格式化指令，所述测试用例生成模块采用大模型响应于所述用例生成指令调用所述描述文件和应用场景生成测试用例文件，响应于所述第二格式化指令输出所述测试用例文件。

7.根据权利要求6所述的装置，其特征在于，还包括待测试项数据库，所述待测试项数据库用于接收并存储所述描述文件和应用场景，所述测试用例生成模块采用模型响应于所述用例生成指令从所述待测试项数据库调用所述描述文件和应用场景生成测试用例文件。

8.根据权利要求7所述的装置，其特征在于，所述待测试项接口文件包括接口名称、接口地址、接口参数、参数描述、调用示例和环境信息。

9.根据权利要求7所述的装置，其特征在于，所述需求文件包括需求名称、需求描述、功能描述和需求目标。

10.根据权利要求7所述的装置，其特征在于，所述测试用例文件包括：测试用例名称、测试用例描述、测试接口地址、接口传入参数、参数的数值和测试代码。