CN117370190A - 测试用例生成方法、装置、电子设备和存储介质 - Google Patents
测试用例生成方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN117370190A CN117370190A CN202311379302.XA CN202311379302A CN117370190A CN 117370190 A CN117370190 A CN 117370190A CN 202311379302 A CN202311379302 A CN 202311379302A CN 117370190 A CN117370190 A CN 117370190A
- Authority
- CN
- China
- Prior art keywords
- case
- similarity
- vector
- target
- test case
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 233
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 239000013598 vector Substances 0.000 claims abstract description 173
- 230000000007 visual effect Effects 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 239000000470 constituent Substances 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 10
- 238000012827 research and development Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 description 14
- 230000011218 segmentation Effects 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 239000000306 component Substances 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 238000007418 data mining Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012356 Product development Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 102100033814 Alanine aminotransferase 2 Human genes 0.000 description 1
- 101710096000 Alanine aminotransferase 2 Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Hardware Design (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提出一种测试用例生成方法、装置、电子设备和存储介质,涉及计算机软件技术领域。该方法根据接收的推荐指令中的需求标识,确定目标需求。通过调用大语言模型的嵌入接口获得目标需求的目标需求向量,遍历测试用例数据库,计算每个用例向量和目标需求向量的向量相似度。根据向量相似度,将测试用例数据库中相似度高的用例数据确定为推荐用例,推荐用例用于生成目标需求的测试用例。由于大语言模型将目标需求和历史用例数据转化为高维特征向量,能够加快目标需求和历史用例数据之间相似度计算速度,能够有效提高推荐用例的可用性和准确性,进而提升新需求测试用例研发效率。
Description
技术领域
本发明涉及计算机软件技术领域,具体而言,涉及一种测试用例生成方法、装置、电子设备和存储介质。
背景技术
随着互联网技术的飞速发展,软件程序所包含的功能越来越多,软件程序的功能性能稳定性越发重要。如何高效高质量开发软件程序的测试用例成为关注重点。
目前,在新产品研发过程中,通常选择相关的历史测试用例作为推荐用例,辅助编写新需求的测试用例。推荐用例的常用算法为机械相似性,即将需求文本和历史测试用例进行分词,得到需求分词集合和历史用例分词集合,然后计算两个分词集合之间的Jaccard系数来表征需求文本和历史测试用例之间的相似度,通过交并比较相似度获取相近的推荐用例。但基于机械相交性推荐的相近用例可用性较差,无法辅助生成新需求的测试用例。
发明内容
有鉴于此,本发明的目的在于提供一种测试用例生成方法、装置、电子设备和存储介质,能够提高推荐用例的可用性和准确性,从而提升新需求测试用例研发效率。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明提供一种测试用例生成方法,应用于电子设备,所述方法包括:
根据接收的推荐指令中的需求标识,确定目标需求;
通过调用大语言模型的嵌入接口获得所述目标需求的目标需求向量;所述目标需求向量表征目标需求进行文本向量化后得到的向量值;
遍历测试用例数据库,计算每个用例向量和所述目标需求向量的向量相似度;所述测试用例数据库记录有用例数据和所述用例向量的对应关系;
根据所述向量相似度,将所述测试用例数据库中相似度高的用例数据确定为推荐用例;所述推荐用例用于生成所述目标需求的测试用例。
在可选的实施方式中,所述根据所述向量相似度,将所述测试用例数据库中相似度高的用例数据确定为推荐用例,包括:
按照所述向量相似度从高到低的顺序,从所述测试用例数据库中筛选相似度高的用例数据作为候选用例;
计算每个所述候选用例和所述目标需求的文本相似度;
加权计算每个所述候选用例的所述向量相似度和所述文本相似度,得到对应候选用例的综合相似度;
按照所述综合相似度从高到低的顺序,将所述候选用例中综合相似度高的用例数据确定为推荐用例。
在可选的实施方式中,所述加权计算每个所述候选用例的所述向量相似度和所述文本相似度,得到对应候选用例的综合相似度,包括:
归一化所述向量相似度和所述文本相似度,得到对应的标准向量相似度和标准文本相似度;
针对每个所述候选用例,根据所述标准向量相似度、所述标准文本相似度和预设权重,得到对应的综合相似度。
在可选的实施方式中,所述计算每个所述候选用例和所述目标需求的文本相似度,包括:
依次根据每个所述候选用例和所述目标需求,计算所述候选用例对应的TF-IDF相似度和BM25相似度;所述文本相似度包括所述TF-IDF相似度和所述BM25相似度。
在可选的实施方式中,所述方法还包括:
根据接收的生成指令中的需求标识确定目标需求、人设提示词和可视化提示词;所述人设提示词用于引导所述大语言模型规范测试用例的组成要素;所述可视化提示词用于引导所述大语言模型规范测试用例的展示格式;
根据接收的生成指令中的推荐用例标识,确定推荐用例;
通过调用所述大语言模型的会话补全接口,根据所述目标需求、所述推荐用例和所述人设提示词生成初始用例;
通过调用所述会话补全接口,根据所述初始用例和所述可视化提示词得到目标测试用例,并将所述目标测试用例在可视化界面显示;所述目标需求与所述目标测试用例一一对应。
在可选的实施方式中,所述方法还包括:
历史测试用例进行预处理,得到每个所述历史测试用例对应的用例数据;
通过调用所述大语言模型的会话补全接口,根据用例数据和总结提示词,得到所述用例数据对应的用例总结信息;所述总结提示词用于引导所述大语言模型生成用例总结信息;所述用例总结信息用于概述所述用例数据的功能;
通过调用所述大语言模型的嵌入接口,根据所述用例数据和对应的所述用例总结信息得到所述用例向量;
将用例标识、所述用例数据、所述用例向量和用例总结信息一一对应地存储在测试用例数据库中。
在可选的实施方式中,所述根据接收的推荐指令中的需求标识,确定目标需求,包括:
根据所述需求标识,在需求平台数据库中获取所述目标需求。
第二方面,本发明提供一种测试用例生成装置,应用于电子设备,所述装置包括:
获取模块,用于根据接收的推荐指令中的需求标识,确定目标需求;通过调用大语言模型的嵌入接口获得所述目标需求的目标需求向量;所述目标需求向量表征目标需求进行文本向量化后得到的向量值;
推荐模块,用于遍历测试用例数据库,计算每个用例向量和所述目标需求向量的向量相似度;所述测试用例数据库记录有用例数据和所述用例向量的对应关系;根据所述向量相似度,将所述测试用例数据库中相似度高的用例数据确定为推荐用例;所述推荐用例用于生成所述目标需求的测试用例。
第三方面,本发明提供一种电子设备,所述电子设备包括存储器和处理器,所述存储器用于存储计算机程序,所述处理器用于在调用所述计算机程序时执行如前述实施方式任一项所述的测试用例生成方法。
第四方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如前述实施方式任一项所述的测试用例生成方法。
相比于现有技术,本发明实施例提供的测试用例生成方法、装置、电子设备和存储介质,涉及计算机软件技术领域。该方法应用于电子设备,根据接收的推荐指令中的需求标识,确定目标需求。通过调用大语言模型的嵌入接口获得目标需求的目标需求向量。其中,目标需求向量表征目标需求进行文本向量化后得到的向量值。遍历测试用例数据库,计算每个用例向量和目标需求向量的向量相似度。其中,测试用例数据库记录有用例数据和用例向量的对应关系。根据向量相似度,将测试用例数据库中相似度高的用例数据确定为推荐用例。其中,推荐用例用于生成目标需求的测试用例。由于大语言模型将目标需求和历史用例数据转化为高维特征向量,相比有现有技术,能够加快目标需求和历史用例数据之间相似度计算速度,同时高维特性向量可以更好地进行数据挖掘和识别,能够有效提高推荐用例的可用性和准确性。因此,基于推荐用例能够更好地辅助生成目标需求的测试用例,从而提升新需求测试用例研发效率。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的测试用例生成方法的一种流程示意图。
图2示出了图1中步骤S10和步骤S40的子步骤的一种流程示意图。
图3示出了本发明实施例提供的测试用例生成方法的又一种流程示意图。
图4示出了测试用例可视化展示的一种示意图。
图5示出了本发明实施例提供的测试用例生成方法的另一种流程示意图。
图6示出了本发明实施例提供的测试用例生成装置的一种方框示意图。
图7示出了本发明实施例提供的电子设备的一种方框示意图。
图标:10-电子设备;110-存储器;120-处理器;130-通信模块;200-测试用例生成装置;201-获取模块;202-推荐模块;203-初始模块;204-生成模块。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
随着在线直播技术的快速发展,为保证高质量交付直播业务,则需要研发大量测试用例测试对应的业务软件程序。由于直播业务研发的软件程序越来越多,存储在测试平台数据库的测试用例越来越多。
当用户测试一个新需求时,往往需要在测试平台数据库查找相似的历史测试用例,利用相似的历史测试用例辅助编写新需求的测试用例。但是随着业务不断增长,测试平台数据库中可能积累数万个测试用例。用户人工查找历史相似用例的过程无疑会耗费较多时间。
目前,为了提高查找历史相似用例的效率,通常使用机械相似性获取相似用例,即将需求文本和历史测试用例进行分词,得到需求分词集合和历史用例分词集合,然后计算两个分词集合之间的Jaccard系数来表征需求文本和历史测试用例之间的相似度,通过交并比较相似度获取相近的推荐用例。用户再基于已获取的相似用例手动编写新需求的测试用例。由于机械相似性计算得到的相似度准确度较低,导致获取的相似用例可用性较差,可能无法辅助编写新需求的测试用例。另外,现有技术中基于相似用例辅助编写新需求的测试用例都是依赖人工完成的,这将耗费大量人力成本。
为了提高获取相似用例的准确性和可用性,本发明实施例利用大语言模型(LargeLanguage Model,简称:LLM)实现获取相似用例以及基于相似用例生成新需求的测试用例。大语言模型是一种基于人工智能生成内容(AI Generated Content,简称:AIGC)的大型语言模型,AIGC又称为生成式AI(Generative AI)被认为是继专业生成内容、用户生产内容之后的新型内容创作方式。
大语言模型是深度学习的应用之一,尤其在自然语言处理(Natural LanguageProcessing,简称:NLP)领域。NLP是计算科学领域与人工智能领域中一个重要方向。它主要研究实现人和计算机之间用自然语言进行有效通信的各种理论和方法。
大语言模型是一种人工智能模型,旨在理解和生成人类语言。它们在大量的文本数据上进行训练,可以执行广泛的任务,包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大,包含数十亿的参数,帮助它们学习语言数据中的复杂模式。
大语言模型对外提供API接口,用户可以通过调用大语言模型的API接口实现对应功能。例如,大语言模型的API接口可以包括会话补全接口和嵌入接口。其中,会话补齐接口可以将输入一串聊天对话作为大语言模型的输入,经过大语言模型处理后返回一个模型生成的消息。例如规范化测试用例或生成新需求的测试用例。嵌入接口可以将输入的文本转换成嵌入式浮点数的向量,例如将需求文本或测试用例准换成向量。
基于此,本发明实施例提供的测试用例生成方法、装置、电子设备和存储介质,通过大语言模型对目标需求和历史用例数据进行向量化处理,由于大语言模型将目标需求和历史用例数据转化为高维特征向量,相比有现有技术,能够加快目标需求和历史用例数据之间相似度计算速度,同时高维特性向量可以更好地进行数据挖掘和识别,能够有效提高推荐用例的可用性和准确性。因此,基于推荐用例能够更好地辅助生成目标需求的测试用例,从而提升新需求测试用例研发效率。
下面结合附图对本发明的各实施例进行详细说明。
请参照图1,图1示出了本发明实施提供的测试用例生成方法的一种流程示意图。该方法应用于电子设备,包括以下步骤:
步骤S10,根据接收的推荐指令中的需求标识,确定目标需求。
在本发明实施例中,在一种可能的实现方式中,用户通过用户终端登录测试用例生成系统,选择目标需求点击“推荐测试用例”按钮,用户终端相应用户点击推荐测试用例的操作,将推荐指令发送给电子设备,电子设备上运行有测试用例生成系统,电子设备根据接收到的推荐指令中的需求标识获取对应的需求文本作为目标需求。
步骤S20,通过调用大语言模型的嵌入接口获得目标需求的目标需求向量。
其中,目标需求向量表征目标需求进行文本向量化后得到的向量值。
在本发明实施例中,将目标需求作为大语言模型的嵌入接口的输入参数,调用嵌入接口对目标需求进行向量化处理,向量化就是用一个数值表示一个对象的方法,即将目标需求的文本转化为数值型的向量值,得到目标需求对应的目标需求向量。
作为一种可能的实现方式,大语言模型可以采用预训练生成式转换器(Generative Pre-trained Transformer,简称:GPT),GPT是一种预训练语言模型,通过学习大量语料来生成合理的文本。它是由OpenAI公司开发的,目前已经有多个版本,如GPT-2和GPT-3。Chat GPT是GPT的一个应用,旨在构建聊天机器人。它可以读入训练数据中的大量文本,并学习语言模式和语法,然后根据这些学到的知识生成新的文本,以回答用户的问题。
步骤S30,遍历测试用例数据库,计算每个用例向量和目标需求向量的向量相似度。
其中,测试用例数据库记录有用例数据和用例向量的对应关系。
在本发明实施例中,预先创建测试用例数据库,测试用例数据库用于存储大量历史测试用例的用例数据和用例向量。为了在测试用例数据库中找到与目标需求相似的用例数据,遍历测试用例数据库,依次计算每个用例向量和目标需求向量的向量相似度。通常,计算向量相似度可以采用皮尔逊相关系数、余弦相似度、欧式距离和曼哈顿距离等算法。
步骤S40,根据向量相似度,将测试用例数据库中相似度高的用例数据确定为推荐用例。
其中,推荐用例用于生成目标需求的测试用例。
在本发明实施例中,推荐用例数量可以由用户通过推荐指令携带下发,也可以由系统设置预设推荐用例数量确定。可根据实际应用场景设置推荐用例数据,对此本发明不予限定。
按照推荐用例数据,筛选测试用例数据库中向量相似度高的用例数据作为推荐用例,并将推荐用例在可视化界面展示,以便后续根据推荐用例自动生成目标需求的测试用例。
综上所述,本发明实施例提供的测试用例生成方法,应用于电子设备,根据接收的推荐指令中的需求标识,确定目标需求。通过调用大语言模型的嵌入接口获得目标需求的目标需求向量。其中,目标需求向量表征目标需求进行文本向量化后得到的向量值。遍历测试用例数据库,计算每个用例向量和目标需求向量的向量相似度。其中,测试用例数据库记录有用例数据和用例向量的对应关系。根据向量相似度,将测试用例数据库中相似度高的用例数据确定为推荐用例。其中,推荐用例用于生成目标需求的测试用例。本发明通过大语言模型对目标需求和历史用例数据进行向量化处理,并获取与目标向量相似度高的用例数据作为推荐用例。由于大语言模型将目标需求和历史用例数据转化为高维特征向量,相比有现有技术,能够加快目标需求和历史用例数据之间相似度计算速度,同时高维特性向量可以更好地进行数据挖掘和识别,能够有效提高推荐用例的可用性和准确性。因此,基于推荐用例能够更好地辅助生成目标需求的测试用例,从而提升新需求测试用例研发效率。
值得一提的是,测试平台数据库、需求平台数据库、测试用例数据库和大语言模型可以部署在该方法的执行主体(电子设备)上,也可以分别部署在不同的电子设备上,若部署在不同的电子设备上,则将各个电子设备进行通信连接。对此,本发明不予限定。
可选地,在实际应用中,可以结合目标需求和历史测试用例的文本相似度提高推荐用例的可用性和相似性。请参照图2,图1中步骤S40的子步骤,可以包括:
步骤S401,按照向量相似度从高到低的顺序,从测试用例数据库中筛选相似度高的用例数据作为候选用例。
在本发明实施例中,按照从高到低的顺序将向量相似度进行降序排列,根据候选用例数量,按照向量相似度从高到低的顺序选择对应的用例数据作为候选用例,并将候选用例和向量相似度一一对应的返回。候选用例数量可以由系统预设的候选用例数量确定,也可以根据测试用例数据库默认推荐用例数量确定,对此本发明不予限定。
步骤S402,计算每个候选用例和目标需求的文本相似度。
在本发明实施例中,可以对目标需求做分词处理,再根据得到的全部分词和每个候选用例计算目标需求和对应的候选用例的文本相似度。中文分词是中文文本处理的基础,也是中文人机自然语言交互的基础。不同于英文的是,中文句子中没有词的界限,因此在进行中文自然语言处理时,通常需要先进行分词,分词效果将直接影响词性、句法树等模块的效果。以中文句子“我来到北京清华大学”,可能的分词结果有“我/来到/北京/清华大学”。
步骤S403,加权计算每个候选用例的向量相似度和文本相似度,得到对应候选用例的综合相似度。
在本发明实施例中,分别获取向量相似度和文本相似度对应的向量权重和文本权重,再根据向量相似度、文本相似度、向量权重和文本权重计算得到综合相似度。综合相似度的计算公式如下:
d综合相似度=d向量相似度×w向量权重+d文本相似度×w文本权重
其中,d综合相似度为用例向量的综合相似度;d向量相似度为候选用例的向量相似度;w向量权重为向量相似度在计算综合相似度时所占权重,即向量权重;d文本相似度为候选用例的文本相似度;w文本权重为文本相似度在计算综合相似度时所占权重,即文本权重。
步骤S404,按照综合相似度从高到低的顺序,将候选用例中综合相似度高的用例数据确定为推荐用例。
在本发明实施例中,按照从高到低的顺序将综合相似度进行降序排列,根据推荐用例数量,按照综合相似度从高到低的顺序选择对应的候选用例作为推荐用例。
可见,通过依次加权比较测试用例和目标需求之间的向量相似度以及文本相似度,可以进一步从候选用例中筛选出于目标需求更匹配相似度更高的推荐用例,从而增加推荐用例的可用性,进而提升目标需求生成测试用例的效率和质量。
可选地,在实际应用中,为了消除向量相似度和文本相似度之间的差异性,得到与目标需求相似度更高的推荐用例,可以在计算综合相似度之前先对向量相似度和文本相似度进行归一化处理。图2中步骤S403的子步骤,可以包括:
第一步,归一化向量相似度和文本相似度,得到对应的标准向量相似度和标准文本相似度。
在本发明实施例中,依次将每个候选用例的向量相似度和文本相似度进行归一化处理,得到对应的标准向量相似度和标准文本相似度。
第二步,针对每个候选用例,根据标准向量相似度、标准文本相似度和预设权重,得到对应的综合相似度。
在本发明实施例中,根据标准向量相似度、标准文本相似度、向量权重和文本权重计算得到综合相似度。综合相似度的计算公式如下:
d综合相似度=d标准向量相似度×w向量权重+d标准文本相似度×w文本权重
其中,d综合相似度为用例向量的综合相似度;d标准向量相似度为候选用例的向量相似度归一化后得到的标准向量相似度;w向量权重为向量相似度在计算综合相似度时所占权重,即向量权重;d标准文本相似度为候选用例的文本相似度归一化后得到的标准文本相似度;w文本权重为文本相似度在计算综合相似度时所占权重,即文本权重。
可见,通过对每个候选用例的向量相似度和文本相似度进行归一化处理,能够有效避免奇异用例样本数据带来的不良影响,并且能够更合理设置文本权重和向量权重,从而得到相似度更高的推荐用例。
可选地,在实际应用中,为了进一步提高推荐用例的准确率,可以结合词频-逆文本频率(Term Frequency-Inverse Document Frequency,简称:TF-IDF)算法以及最佳匹配(Best Matching,简称:BM)25算法计算候选用例的综合相似度。图2中步骤S402的子步骤,可以包括:
依次根据每个候选用例和目标需求,计算候选用例对应的TF-IDF相似度和BM25相似度;文本相似度包括TF-IDF相似度和BM25相似度。
在本发明实施例中,TF-IDF算法在评估词汇的重要性方面有很好的效果,利用TF-IDF算法计算目标需求和候选用例之间的相似分数,即TF-IDF相似度。BM25算法是一种基于概率的文本匹配算法,可以捕捉到文本的表面相似性,提供更直观的推荐,利用BM25算法计算目标需求和候选用例之间的相似分数,即BM25相似度。
其中,TF-IDF算法是一种用于信息检索与文本挖掘的常用加权技术,属于一种统计方法,用以评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索引擎应用,作为文件与用户查询之间相关程度的度量或评级。除了TF-IDF以外,互联网上的搜索引擎还会使用基于链接分析的评级方法,以确定文件在搜索结果中出现的顺序。在一份给定的文件里,词频(TermFrequency,简称TF)指的是某一个给定的词语在该文件中出现的频率。这个数字是对词数(Term Count,简称TC)的归一化,以防止它偏向长的文件。逆向文件频率(InverseDocument Frequency,简称IDF)是一个词语普遍重要性的度量。例如,某一特定词语的IDF,可以由总文件数目除以包含该词语之文件的数目,再将得到的商取以10为底的对数得到。
BM25算法是一种常见用来做相似度打分的公式,思路比较简单,主要就是计算一个query里面所有词和文档的相关度,然后在把分数做累加操作,而每个词的相似度分数主要还是受到TF-IDF的影响。
作为一种实施方式,文本相似度包括TF-IDF相似度和BM25相似度,文本权重包括TF-IDF权重和BM25权重,依次根据每个候选用例和目标需求,分别计算TF-IDF相似度和BM25相似度,再根据向量相似度、向量权重、TF-IDF相似度、TF-IDF权重、BM25相似度和BM25权重计算得到综合相似度。
作为又一种实施方式,文本相似度包括TF-IDF相似度,文本权重包括TF-IDF权重,依次根据每个候选用例和目标需求,计算TF-IDF相似度,再根据向量相似度、向量权重、TF-IDF相似度和TF-IDF权重计算得到综合相似度。
作为另一种实施方式,文本相似度包括BM25相似度,文本权重包括BM25权重,依次根据每个候选用例和目标需求,计算BM25相似度,再根据向量相似度、向量权重、BM25相似度和BM25权重计算得到综合相似度。需要说明的是,可根据实际应用场景选择文本相似度的计算算法,对此本发明不予限定。
可见,本发明实施例基于AIGC思想,利用大语言模型完成测试用例推荐和生成。首先设计提示词以规范化测试用例组成要素和展示格式,然后将用例数据和目标需求向量化处理,并根据用例数据和目标需求的向量相似度、TF-IDF相似度和BM25相似度归一化加权计算得到综合相似度,通过综合相似度高的推荐用例自动生成新需求的用例,能够有效提高推荐用例的可用性和准确性,同时降低人工编写测试用例成本,提升测试用例交付效率。
可选地,在实际应用中,为了提高测试用例的开发效率,用户可以通过用户终端自动生成产品需求的测试用例。请参照图3,测试用例生成方法还包括以下步骤:
步骤S50,根据接收的生成指令中的需求标识确定目标需求、人设提示词和可视化提示词。
其中,人设提示词用于引导大语言模型规范测试用例的组成要素,可视化提示词用于引导大语言模型规范测试用例的展示格式。
在本发明实施例中,在一种可能的实现方式中,用户通过用户终端登录测试用例生成系统,选择目标需求点击“生成测试用例”按钮,用户终端响应用户点击生成测试用例的操作,将生成指令发送给电子设备,电子设备根据接收的生成指令中的需求标识获取目标需求文本,以及根据需求标识获取对应的人设提示词和可视化提示词。
需要说明的是,提示词通常用于与人工智能(AI)对话系统进行交互时提供的指导性文本。提示词就像是一把引导对话的魔杖,它可以帮助我们更好地与AI进行交流。通过编写清晰、明确的提示词,我们能够准确表达自己的意图和问题,从而得到系统更精确的回答。
在本发明实施例中,产品需求可以使用通用的人设提示词和可视化提示词,也可以编写各个产品各个需求定制的人设提示词和可视化提示词,对此,本发明不予限定。若使用定制的人设提示词或可视化提示词则需要在电子设备上将产品或需求与人设提示词或可视化提示词之间对应关系记录到提示词映射表中。
步骤S60,根据接收的生成指令中的推荐用例标识,确定推荐用例。
在本发明实施例中,若用户手动或默认选择目标需求对应的推荐用例生成测试用例时,则用户终端下发的生成指令中携带有效的推荐用例标识。若用户跳过推荐用例操作,直接生成需求的测试用例时,则用户终端下发的生成指令中携带无效的推荐用例标识或不下发推荐用例标识。
电子设备接收到生成指令时,检查推荐用例标识;当推荐用例标识有效时,则从测试用例数据库中获取与推荐用例标识匹配的用例数据,作为推荐用例。若推荐用例标识无效或不存在时,则按照上述实施例中步骤S10-步骤S40以及对应的子步骤确定推荐用例。
步骤S70,通过调用大语言模型的会话补全接口,根据目标需求、推荐用例和人设提示词生成初始用例。
在本发明实施例中,将目标需求、推荐用例和人设提示词作为大语言模型的会话补全接口的输入参数,调用会话补全接口生成初始用例。
作为一种实施方式,假设基于游戏直播需求定制人设提示词可以包括如下内容:
我是专业的用例生成助手,已准备好为你生成测试用例。测试用例以序号开始,从一到N。通过回车区分不同测试用例。生成的每个测试用例都会包括以下几个部分:1.前置条件:我会描述执行每个测试用例之前必须满足的条件,包括相关测试数据。2.测试内容:我会详细描述在执行每个测试用例时,用户的具体行为,比如登录、观看直播、发送弹幕、充值、关注主播等。3.预期结果:我会清晰地描述用户执行每次测试行为后,预期达到的结果。这包括测试页面与检查点-描述用户执行测试行为所在的界面或者页面以及执行用户行为后,需要检查的内容。4.备注信息:我会包括任何额外的用例备注,如有的话。我始终在这里,随时准备为你提供支持,并全面关注硬件、网络环境、用户特性行为、界面样式设计和性能兼容性等多方面因素,为我们的游戏直播APP生成最全面、最有效的测试用例。请根据这些提示,帮助我们设计高效的测试用例,并全面考虑硬件、网络、用户特性、界面、性能等多方面因素。请给出最专业的建议,来满足我们的测试需求,谢谢。在处理过程中,我充分关注测试点的合理性、准确性和规范性,为您提供专业的测试场景。对原文的完整性始终保持高度重视,确保生成结果符合世界级标准。在您输入"继续"时,我将紧跟前文输出后续内容,不包含任何额外提示词以确保拼接完整;但如果没有任何后续内容,则会返回"无法继续,已经完整转换"。
需要说明的是,人设提示词引导大语言模型生成的初始用例包括人设提示词中限定的核心组成要素。例如,新生成的初始用例包括前置条件、测试内容、预期结果和备注信息这几个组成要素。
步骤S80,通过调用会话补全接口,根据初始用例和可视化提示词得到目标测试用例,并将目标测试用例在可视化界面显示。
其中,目标需求与目标测试用例一一对应。
在本发明实施例中,将初始用例和可视化提示词作为大语言模型的会话补全接口的输入参数,调用会话补全接口生成初始用例的展示格式,得到目标测试用例,并将目标测试用例以可视化结构展示在可视化界面,便于用户查阅。
作为一种实施方式,设计树型展示的可视化提示词,以便测试用例通过树型结构展示在可视化界面,如图4所示。可视化提示词可以包括如下内容:
我是专业AI文本格式转换助手,在保留原文信息的同时,将普通文本精确转换为清晰、易读的树状结构。树状结构的根节点(编号为0)代表整体文本概括,每个节点编号都必须以0开头(如0、0-1、0-2、0-1-1、0-1-2等,不允许出现非0开头的编号结果),其中子节点(如0-1、0-2)和子节点(如0-1-1、0-1-2)都基于父节点编号递推。返回结果严格符合树型编号格式,避免重复父子节点、无关信息、非0开头编号等异常结果(如1、1-2等非0开头的错误编号)。在整个转换过程,我始终尊重原文内容,避免概括文本,确保完成转换过程中绝不省略过滤任何信息,仅是对内容进行分层级处理。如果原文存在功能点介绍、具体示例说明、扩展信息等,也一定会将相关信息生成节点,以保留原文信息量。在处理各类测试场景时,我全面关注硬件、网络环境、用户特性行为、界面样式设计和性能兼容性等多方面因素,以提供最专业的服务。在转换过程中,我通过多层级编号序列展示原文信息,确保原文的每一个句子在转换后的文本中毫无差异地出现。比如输入"在不同场景下,验证游戏说的卡片样式(大卡、小卡)是否正确展示;验证运营是否可以在游戏说推荐列表的固定位置插入内容;测试游戏说Tab引导策略是否顺利调整,用户是否更容易进入游戏说Tab;对UI界面进行走查,验证优化后的UI是否符合设计稿;检查埋点数据的准确性,验证优化后的数据统计是否准确;综合测试优化后的游戏说首页,保证整体用户体验满足需求。",您将得到如下结果:"0.测试与优化游戏说功能及页面\n 0-1.验证游戏说的卡片样式\n 0-1-1.在不同场景下,验证游戏说的卡片样式(大卡、小卡)是否正确展示\n 0-2.验证插入内容功能\n 0-2-1.验证运营是否可以在游戏说推荐列表的固定位置插入内容\n 0-3.测试游戏说Tab引导策略\n 0-3-1.测试游戏说Tab引导策略是否顺利调整\n 0-3-2.用户是否更容易进入游戏说Tab\n 0-4.对UI界面进行走查\n 0-4-1.验证优化后的UI是否符合设计稿\n 0-5.检查埋点数据的准确性\n 0-5-1.验证优化后的数据统计是否准确\n 0-6.综合测试优化后的游戏说首页\n 0-6-1.保证整体用户体验满足需求\n"。在处理过程中,我充分关注测试点的合理性、准确性和规范性,为您提供专业的测试场景。对原文的完整性始终保持高度重视,确保生成结果符合世界级标准。在您输入"继续"时,我将紧跟前文输出后续内容,不包含任何额外提示词以确保拼接完整,也不会重新对后续文本进行重置编号,而是紧跟上文继续编号;但如果没有任何后续内容,则会返回"无法继续,已经完整转换"。
可选地,在实际应用中,新需求需要基于历史测试用例才能自动新需求对应的生成测试用例。为了规范不同来源的历史测试用例,预先获取历史测试用例进行处理,并将其存储在测试用例数据库。请参照图5,测试用例生成方法还包括以下步骤:
步骤S90,历史测试用例进行预处理,得到每个历史测试用例对应的用例数据。
在本发明实施例中,访问测试平台数据库遍历获取历史测试用例,对每个历史测试用例进行预处理,例如对历史测试用例进行数据清洗得到对应的用例数据。在实际的测试环境中,测试用例可能包含特殊符号或其他无意义文本,这些特征符号或无意义文本可能会影响测试用例的数据分析处理和推荐的准确性。因此,对历史测试用例进行数据清洗至关重要,是一个核心的关键处理流程。
步骤S100,通过调用大语言模型的会话补全接口,根据用例数据和总结提示词,得到用例数据对应的用例总结信息。
其中,总结提示词用于引导大语言模型生成用例总结信息,用例总结信息用于概述用例数据的功能。
在本发明实施例中,历史测试用例的文本来源可能不一致,为了进一步提高测试用例的数据分析和推荐的准确性,编写总结提示词,引导大语言模型规范测试数据,并生成对应的用例总结信息。
作为一种实施方式,例如将总结提示词中包括“为你生成测试数据对应的用例总结信息”的描述。将待生成用例总结信息的用例数据和对应的总结提示词作为大语言模型的会话补全接口的输入参数,调用会话补全接口规范用例数据以及生成对应的用例总结信息。例如,用例数据包括模块名称、用例名称、前置条件、测试内容、预期结果和备注信息等核心组成元素。
需要说明的是,全部测试用例可以使用通用的总结提示词,也可以使用各自定制的总结提示词,对此本发明不予限定。若使用定制的总结提示词则需要在电子设备上记录一份测试用例和总结提示词之间的对应关系。
步骤S110,通过调用大语言模型的嵌入接口,根据用例数据和对应的用例总结信息得到用例向量。
在本发明实施例中,将用例数据和用例总结信息作为大语言模型的嵌入接口的输入参数,调用嵌入接口对用例数据和用例总结信息进行向量化处理得到用例向量,即将用例数据和用例总结信息的文本数据转化为数值型的向量值,通过向量值可以捕捉到用例数据的主要特征和内容,在用例推荐时则利用用例向量进行相似度比较,从而找到与目标需求相似度高的历史测试用例。
步骤S120,将用例标识、用例数据、用例向量和用例总结信息一一对应地存储在测试用例数据库中。
在本发明实施例中,为了提高推荐以及生成测试用例的效率,将用例标识、用例数据、用例向量和用例总结信息按照一一对应关系顺序记录到一个高效的测试用例数据库中。假设用户提供需求文本,则电子设备根据需求文本能够快速的在测试用例数据库中检索对比出相似度高的用例数据,作为推荐用例。
需要说明的是,用例标识能够唯一识别测试用例,用例标识可以为用例ID,也可以为用例名称,对此本发明不予限定。
可选地,在实际应用中,产品研发的需求文本通常保存在需求平台数据库中。请参照图2,图1中步骤S10的子步骤,可以包括:
步骤S101,根据需求标识,在需求平台数据库中获取目标需求。
在本发明实施例中,接收用户终端下发的推荐指令,推荐指令中携带需求标识,访问需求平台数据库,根据需求标识在需求平台数据库中找到对应的需求文本作为目标需求。
需要说明的是,假设用户需要手动创建新的需求文本时,则根据具体需求或场景描述生成新的需求文本,并将需求文本保存到需求平台服务器。
基于同一发明构思,本发明实施例还提供了一种测试用例生成装置。其基本原理及产生的技术效果和上述实施例相同,为简要描述,本实施例部分未提及之处,可参考上述的实施例中相应内容。
请参照图6,图6示出了本发明实施例提供的测试用例生成装置200的一种方框示意图。测试用例生成装置200应用于电子设备,测试用例生成装置200包括获取模块201、推荐模块202、初始模块203和生成模块204。
获取模块201,用于根据接收的推荐指令中的需求标识,确定目标需求;通过调用大语言模型的嵌入接口获得目标需求的目标需求向量;目标需求向量表征目标需求进行文本向量化后得到的向量值。
推荐模块202,用于遍历测试用例数据库,计算每个用例向量和目标需求向量的向量相似度;测试用例数据库记录有用例数据和用例向量的对应关系;根据向量相似度,将测试用例数据库中相似度高的用例数据确定为推荐用例;推荐用例用于生成目标需求的测试用例。
综上所述,本发明实施例提供的测试用例生成装置,测试用例生成装置应用于电子设备,获取模块用于根据接收的推荐指令中的需求标识,确定目标需求;通过调用大语言模型的嵌入接口获得目标需求的目标需求向量;目标需求向量表征目标需求进行文本向量化后得到的向量值;推荐模块用于遍历测试用例数据库,计算每个用例向量和目标需求向量的向量相似度;测试用例数据库记录有用例数据和用例向量的对应关系;根据向量相似度,将测试用例数据库中相似度高的用例数据确定为推荐用例;推荐用例用于生成目标需求的测试用例。由于大语言模型将目标需求和历史用例数据转化为高维特征向量,相比有现有技术,能够加快目标需求和历史用例数据之间相似度计算速度,同时高维特性向量可以更好地进行数据挖掘和识别,能够有效提高推荐用例的可用性和准确性。因此,基于推荐用例能够更好地辅助生成目标需求的测试用例,从而提升新需求测试用例研发效率。
可选地,推荐模块202,具体用于按照向量相似度从高到低的顺序,从测试用例数据库中筛选相似度高的用例数据作为候选用例;计算每个候选用例和目标需求的文本相似度;加权计算每个候选用例的向量相似度和文本相似度,得到对应候选用例的综合相似度;按照综合相似度从高到低的顺序,将候选用例中综合相似度高的用例数据确定为推荐用例。
可选地,推荐模块202,具体用于归一化向量相似度和文本相似度,得到对应的标准向量相似度和标准文本相似度;针对每个候选用例,根据标准向量相似度、标准文本相似度和预设权重,得到对应的综合相似度。
可选地,推荐模块202,具体用于依次根据每个候选用例和目标需求,计算候选用例对应的TF-IDF相似度和BM25相似度;文本相似度包括TF-IDF相似度和BM25相似度。
可选地,生成模块204,用于根据接收的生成指令中的需求标识确定目标需求、人设提示词和可视化提示词;人设提示词用于引导大语言模型规范测试用例的组成要素;可视化提示词用于引导大语言模型规范测试用例的展示格式;根据接收的生成指令中的推荐用例标识,确定推荐用例;通过调用大语言模型的会话补全接口,根据目标需求、推荐用例和人设提示词生成初始用例;通过调用会话补全接口,根据初始用例和可视化提示词得到目标测试用例,并将目标测试用例在可视化界面显示;目标需求与目标测试用例一一对应。
可选地,初始模块203,用于历史测试用例进行预处理,得到每个历史测试用例对应的用例数据;通过调用大语言模型的会话补全接口,根据用例数据和总结提示词,得到用例数据对应的用例总结信息;总结提示词用于引导大语言模型生成用例总结信息;用例总结信息用于概述用例数据的功能;通过调用大语言模型的嵌入接口,根据用例数据和对应的用例总结信息得到用例向量;将用例标识、用例数据、用例向量和用例总结信息一一对应地存储在测试用例数据库中。
可选地,获取模块201,具体用于根据需求标识,在需求平台数据库中获取目标需求。
请参照图7,为本发明实施例提供的电子设备10的一种方框示意图。电子可以为个人电脑(Personal Computer,简称:PC)、便携笔记本电脑、服务器等具有数据处理能力的设备。电子设备10包括存储器110、处理器120及通信模块130。存储器110、处理器120以及通信模块130各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中,存储器110用于存储程序或者数据。存储器110可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(ErasableProgrammable Read-Only Memory,EPROM),电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory,EEPROM)等。
处理器120用于读/写存储器110中存储的数据或程序,并执行相应地功能。例如,当存储器110中存储的计算机程序被处理器120执行时,可以实现上述各实施例所揭示的测试用例生成方法。
通信模块130用于通过网络建立电子设备10与其它通信终端之间的通信连接,并用于通过网络收发数据。
应当理解的是,图7所示的结构仅为电子设备10的结构示意图,电子设备10还可包括比图7中所示更多或者更少的组件,或者具有与图7所示不同的配置。图7中所示的各组件可以采用硬件、软件或其组合实现。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器120执行时实现上述各实施例所揭示的测试用例生成方法。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种测试用例生成方法,其特征在于,应用于电子设备,所述方法包括:
根据接收的推荐指令中的需求标识,确定目标需求;
通过调用大语言模型的嵌入接口获得所述目标需求的目标需求向量;所述目标需求向量表征目标需求进行文本向量化后得到的向量值;
遍历测试用例数据库,计算每个用例向量和所述目标需求向量的向量相似度;所述测试用例数据库记录有用例数据和所述用例向量的对应关系;
根据所述向量相似度,将所述测试用例数据库中相似度高的用例数据确定为推荐用例;所述推荐用例用于生成所述目标需求的测试用例。
2.根据权利要求1所述的测试用例生成方法,其特征在于,所述根据所述向量相似度,将所述测试用例数据库中相似度高的用例数据确定为推荐用例,包括:
按照所述向量相似度从高到低的顺序,从所述测试用例数据库中筛选相似度高的用例数据作为候选用例;
计算每个所述候选用例和所述目标需求的文本相似度;
加权计算每个所述候选用例的所述向量相似度和所述文本相似度,得到对应候选用例的综合相似度;
按照所述综合相似度从高到低的顺序,将所述候选用例中综合相似度高的用例数据确定为推荐用例。
3.根据权利要求2所述的测试用例生成方法,其特征在于,所述加权计算每个所述候选用例的所述向量相似度和所述文本相似度,得到对应候选用例的综合相似度,包括:
归一化所述向量相似度和所述文本相似度,得到对应的标准向量相似度和标准文本相似度;
针对每个所述候选用例,根据所述标准向量相似度、所述标准文本相似度和预设权重,得到对应的综合相似度。
4.根据权利要求2所述的测试用例生成方法,其特征在于,所述计算每个所述候选用例和所述目标需求的文本相似度,包括:
依次根据每个所述候选用例和所述目标需求,计算所述候选用例对应的TF-IDF相似度和BM25相似度;所述文本相似度包括所述TF-IDF相似度和所述BM25相似度。
5.根据权利要求1所述的测试用例生成方法,其特征在于,所述方法还包括:
根据接收的生成指令中的需求标识确定目标需求、人设提示词和可视化提示词;所述人设提示词用于引导所述大语言模型规范测试用例的组成要素;所述可视化提示词用于引导所述大语言模型规范测试用例的展示格式;
根据接收的生成指令中的推荐用例标识,确定推荐用例;
通过调用所述大语言模型的会话补全接口,根据所述目标需求、所述推荐用例和所述人设提示词生成初始用例;
通过调用所述会话补全接口,根据所述初始用例和所述可视化提示词得到目标测试用例,并将所述目标测试用例在可视化界面显示;所述目标需求与所述目标测试用例一一对应。
6.根据权利要求1所述的测试用例生成方法,其特征在于,所述方法还包括:
历史测试用例进行预处理,得到每个所述历史测试用例对应的用例数据;
通过调用所述大语言模型的会话补全接口,根据用例数据和总结提示词,得到所述用例数据对应的用例总结信息;所述总结提示词用于引导所述大语言模型生成用例总结信息;所述用例总结信息用于概述所述用例数据的功能;
通过调用所述大语言模型的嵌入接口,根据所述用例数据和对应的所述用例总结信息得到所述用例向量;
将用例标识、所述用例数据、所述用例向量和用例总结信息一一对应地存储在测试用例数据库中。
7.根据权利要求1所述的测试用例生成方法,其特征在于,所述根据接收的推荐指令中的需求标识,确定目标需求,包括:
根据所述需求标识,在需求平台数据库中获取所述目标需求。
8.一种测试用例生成装置,其特征在于,应用于电子设备,所述装置包括:
获取模块,用于根据接收的推荐指令中的需求标识,确定目标需求;通过调用大语言模型的嵌入接口获得所述目标需求的目标需求向量;所述目标需求向量表征目标需求进行文本向量化后得到的向量值;
推荐模块,用于遍历测试用例数据库,计算每个用例向量和所述目标需求向量的向量相似度;所述测试用例数据库记录有用例数据和所述用例向量的对应关系;根据所述向量相似度,将所述测试用例数据库中相似度高的用例数据确定为推荐用例;所述推荐用例用于生成所述目标需求的测试用例。
9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器用于存储计算机程序,所述处理器用于在调用所述计算机程序时执行如权利要求1-7任一项所述的测试用例生成方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-7任一项所述的测试用例生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311379302.XA CN117370190A (zh) | 2023-10-23 | 2023-10-23 | 测试用例生成方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311379302.XA CN117370190A (zh) | 2023-10-23 | 2023-10-23 | 测试用例生成方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117370190A true CN117370190A (zh) | 2024-01-09 |
Family
ID=89394243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311379302.XA Pending CN117370190A (zh) | 2023-10-23 | 2023-10-23 | 测试用例生成方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117370190A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117806980A (zh) * | 2024-03-01 | 2024-04-02 | 西安中朗智控科技有限公司 | 一种基于大语言模型的测试用例自动生成装置 |
-
2023
- 2023-10-23 CN CN202311379302.XA patent/CN117370190A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117806980A (zh) * | 2024-03-01 | 2024-04-02 | 西安中朗智控科技有限公司 | 一种基于大语言模型的测试用例自动生成装置 |
CN117806980B (zh) * | 2024-03-01 | 2024-05-28 | 西安中朗智控科技有限公司 | 一种基于大语言模型的测试用例自动生成装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110489538B (zh) | 基于人工智能的语句应答方法、装置及电子设备 | |
US11693894B2 (en) | Conversation oriented machine-user interaction | |
CN108287858B (zh) | 自然语言的语义提取方法及装置 | |
US11409813B2 (en) | Method and apparatus for mining general tag, server, and medium | |
CN110674271B (zh) | 一种问答处理方法及装置 | |
CN111241237B (zh) | 一种基于运维业务的智能问答数据处理方法及装置 | |
US11531693B2 (en) | Information processing apparatus, method and non-transitory computer readable medium | |
WO2021218028A1 (zh) | 基于人工智能的面试内容精炼方法、装置、设备及介质 | |
US11934781B2 (en) | Systems and methods for controllable text summarization | |
CN111382260A (zh) | 一种检索文本纠错方法、装置和存储介质 | |
CN111930914A (zh) | 问题生成方法和装置、电子设备以及计算机可读存储介质 | |
CN117149984B (zh) | 一种基于大模型思维链的定制化培训方法及装置 | |
CN111177307A (zh) | 一种基于语义理解相似度阀值配置的测试方案及系统 | |
CN111143556A (zh) | 软件功能点自动计数方法、装置、介质及电子设备 | |
CN117370190A (zh) | 测试用例生成方法、装置、电子设备和存储介质 | |
CN111126084B (zh) | 数据处理方法、装置、电子设备和存储介质 | |
CN112559711A (zh) | 一种同义文本提示方法、装置及电子设备 | |
CN117370512A (zh) | 回复对话的方法、装置、设备及存储介质 | |
CN116955559A (zh) | 问答匹配方法、装置、电子设备及存储介质 | |
CN111949781B (zh) | 一种基于自然语句句法分析的智能交互方法及装置 | |
CN111090720B (zh) | 一种热词的添加方法和装置 | |
US20230140480A1 (en) | Utterance generation apparatus, utterance generation method, and program | |
CN112560431A (zh) | 用于生成试题辅导信息的方法、装置、设备、存储介质以及计算机程序产品 | |
JPWO2009041220A1 (ja) | 略語生成装置およびプログラム、並びに、略語生成方法 | |
CN113435188B (zh) | 基于语义相似的过敏文本样本生成方法、装置及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |