CN111708703A - 测试案例集生成方法、装置、设备及计算机可读存储介质 - Google Patents

测试案例集生成方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111708703A
CN111708703A CN202010563141.XA CN202010563141A CN111708703A CN 111708703 A CN111708703 A CN 111708703A CN 202010563141 A CN202010563141 A CN 202010563141A CN 111708703 A CN111708703 A CN 111708703A
Authority
CN
China
Prior art keywords
test case
case set
training
test
knowledge base
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010563141.XA
Other languages
English (en)
Inventor
袁文静
周杰
卢道和
方镇举
翁玉萍
陈文龙
黄涛
韩海燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202010563141.XA priority Critical patent/CN111708703A/zh
Publication of CN111708703A publication Critical patent/CN111708703A/zh
Priority to PCT/CN2021/081873 priority patent/WO2021253904A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及金融科技技术领域，公开了一种测试案例集生成方法、装置、设备及计算机可读存储介质。该测试案例集生成方法包括：获取案例关键词，对案例关键词进行语义分析，得到语义分析结果；根据语义分析结果，检索测试案例集知识库以获取检索结果，其中，测试案例集知识库是由BERT模型结合知识图谱构建得到的预设训练模型训练生成的；若根据检索结果判定测试案例集知识库中存在相似案例集，则获取目标相似案例集；利用知识图谱对案例关键词和目标相似案例集进行分析以生成测试案例集。本发明通过检索测试案例集知识库，根据检索结果中的相似测试案例集，推理生成测试案例集，不需手工编写生成，可提高测试案例集的生成效率。

Description

测试案例集生成方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及金融科技(Fintech)技术领域，尤其涉及一种测试案例集生成方法、装置、设备及计算机可读存储介质。
背景技术
随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。
在产品开发和测试过程中，产品开发人员往往需要一些测试案例来进行开发测试，测试案例通常包括使用场景及其对应的测试结果。目前，测试案例主要是由人工进行编写维护，人工编写效率低下且需消耗大量人力。同时，现有的自动化案例编写方案，需要先将历史案例保存至数据库中，通过数据库检索匹配来生成测试案例集。虽然存在一定的自动化过程，但是数据库检索过程中只能检索已有案例，同时数据库无法自动化生产新的案例，数据库中历史案例的输入需要手动输入且案例的检索范围十分有限，效率较低且无法真正实现测试案例的自动化生成。
发明内容
本发明的主要目的在于提供一种测试案例生成方法、装置、设备及计算机可读存储介质，旨在实现自动化生成测试案例，提高测试案例的生成效率。
为实现上述目的，本发明提供一种测试案例集生成方法，所述测试案例集生成方法包括：
获取案例关键词，对所述案例关键词进行语义分析，得到语义分析结果；
根据所述语义分析结果，检索测试案例集知识库以获取检索结果，其中，所述测试案例集知识库是由BERT模型结合知识图谱构建得到的预设训练模型训练生成的；
若根据所述检索结果判定所述测试案例集知识库中存在相似案例集，则获取目标相似案例集；
利用知识图谱对所述案例关键词和所述目标相似案例集进行分析以，推理生成测试案例集。
可选地，所述获取案例关键词，对所述案例关键词进行语义分析，得到语义分析结果的步骤之前，还包括：
根据无标注的第一训练测试案例集，对预设训练模型进行预处理训练，得到初始训练模型，其中，所述预设训练模型是基于BERT模型结合知识图谱构建得到的；
根据标注的第二训练测试案例集对所述初始训练模型进行微调训练，得到语言表征模型；
通过所述语言表征模型对所述第一训练测试案例集和所述第二训练测试案例集进行分类，根据分类结果生成测试案例集知识库。
可选地，所述根据无标注的第一训练测试案例集，对预设训练模型进行预处理训练，得到初始训练模型的步骤包括：
获取无标注的第一训练测试案例集的第一属性信息；
根据所述第一属性信息对所述第一训练测试案例集进行划分，得到多个第一训练测试案例子集；
分别根据多个第一训练测试案例子集对预设训练模型进行预处理训练，得到对应的多个初始训练模型，其中，所述预设训练模型是基于BERT模型结合知识图谱构建得到的；
所述根据标注的第二训练测试案例集对所述初始训练模型进行微调训练，得到训练好的语言表征模型的步骤包括：
获取标注的第二训练测试案例集及其第二属性信息；
根据所述第二属性信息和所述第二训练测试集进行划分，得到多个第二训练测试案例子集；
分别根据多个第二训练测试案例子集对对应的初始训练模型进行微调训练，得到与所述第一属性信息对应的多个语言表征模型；
所述根据所述语言表征模型对所述第一训练测试案例集和所述第二训练测试案例集进行分类，根据分类结果生成测试案例集知识库的步骤包括：
通过多个语言表征模型对对应的第一训练测试案例子集和第二训练测试案例子集进行分类，得到与所述第一属性信息对应的多个测试案例集，并基于所述多个测试案例集生成测试案例集知识库。
可选地，获取备选属性信息；
所述根据所述语义分析结果，检索测试案例集知识库以获取检索结果的步骤包括：
在所述测试案例集知识库中确定与所述备选属性信息对应的目标测试案例集；
根据所述语义分析结果检索所述目标测试案例集，以获取所述案例关键词与所述目标测试案例集中测试案例的相似度，得到检索结果。
可选地，所述根据所述语义分析结果检索所述目标测试案例集，以获取所述案例关键词与所述目标测试案例集中测试案例的相似度，得到检索结果的步骤之后，还包括：
检测所述检索结果中的相似度是否大于或等于第一预设阈值；
若所述相似度大于或等于所述第一预设阈值，则判定所述测试案例集知识库中存在与所述案例关键词对应的相同案例集，则获取目标相同案例集，并输出。
可选地，所述检测所述检索结果中的相似度是否大于或等于第一预设阈值的步骤之后，还包括：
若所述相似度小于所述第一预设阈值，则检测所述相似度是否大于第二预设阈值，其中，所述第二预设阈值小于所述第一预设阈值；
若所述相似度大于所述第二预设阈值，则判定所述测试案例集知识库中存在相似案例集，则执行步骤：获取目标相似案例集；
若所述相似度小于或等于所述第二预设阈值，则输出提示信息以提示用户人工生成测试案例集。
可选地，所述输出提示信息以提示用户人工生成测试案例集的步骤之后，还包括：
获取用户人工生成的标注测试案例集；
根据所述标注测试案例集更新所述测试案例集知识库。
此外，为实现上述目的，本发明还提供一种测试案例集生成装置，所述测试案例集生成装置包括：
分析模块，用于获取案例关键词，对所述案例关键词进行语义分析，得到语义分析结果；
检索模块，用于根据所述语义分析结果，检索测试案例集知识库以获取检索结果，其中，所述测试案例集知识库是由BERT模型结合知识图谱构建得到的预设训练模型训练生成的；
第一获取模块，用于若根据所述检索结果判定所述测试案例集知识库中存在相似案例集，则获取目标相似案例集；
第一生成模块，用于利用知识图谱对所述案例关键词和所述目标相似案例集进行分析以生成测试案例集。
此外，为实现上述目的，本发明还提供一种测试案例集生成设备，所述测试案例集生成设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的测试案例集生成程序，所述测试案例集生成程序被所述处理器执行时实现如上所述的测试案例集生成方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有测试案例集生成程序，所述测试案例集生成程序被处理器执行时实现如上所述的测试案例集生成方法的步骤。
本发明提供一种测试案例集方法、装置、设备及计算机可读存储介质，获取案例关键词，对所述案例关键词进行语义分析，得到语义分析结果；根据所述语义分析结果，检索测试案例集知识库以获取检索结果，其中，所述测试案例集知识库是由BERT模型结合知识图谱构建得到的预设训练模型训练生成的；若根据所述检索结果判定所述测试案例集知识库中存在相似案例集，则获取目标相似案例集；利用知识图谱对所述案例关键词和所述目标相似案例集进行分析以生成测试案例集。通过上述方式，可以利用已有的测试案例集知识库，根据案例关键词在测试案例集知识库中进行检索以获取检索结果，之后，再根据检索结果中的目标相似案例集，利用知识图谱自动推理生成新的测试案例集。因此，本发明相比于现有技术，可以根据已有的测试案例集知识库自动推理生成新的测试案例集，从而能够提高测试案例集的生成效率。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明测试案例集生成方法第一实施例的流程示意图；
图3为本发明测试案例集生成装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例测试案例集生成设备可以是智能手机，也可以是PC(PersonalComputer，个人计算机)、平板电脑、便携计算机等终端设备。
如图1所示，该测试案例集生成设备可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如Wi-Fi接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的测试案例集生成设备结构并不构成对测试案例集生成设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及测试案例集生成程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的测试案例集生成程序，并执行以下测试案例集生成方法的各个步骤。
基于上述硬件结构，提出本发明测试案例集生成方法的各实施例。
本发明提供一种测试案例集生成方法。
参照图2，图2为本发明测试案例集生成方法第一实施例的流程示意图。
在本实施例中，该测试案例集生成方法包括：
步骤S10，获取案例关键词，对所述案例关键词进行语义分析，得到语义分析结果；
本实施例的测试案例集生成方法是由测试案例集生成设备实现的，该设备搭载有测试案例集生成器。
在本实施例中，测试案例集是开发人员以及测试人员在产品开发过程中可能使用到的一些测试场景以及对应的预期测试结果，可选地，包括一些异常场景的相关测试信息，如对于一个登陆界面，测试案例集可以包括中文登陆名、英文登录名、特殊字符登录名等不同的使用场景，同时还包括在这些不同测试场景下进行测试时的测试结果。当需要生成新的测试案例集时，工作人员可通过工作端的对应软件输入想要生成的测试案例集的案例关键词，如“登陆”，以触发测试案例集生成指令，此时，测试案例集生成器接收到该测试案例集生成指令时，获取工作人员输入的案例关键词，然后对案例关键词进行语义分析，以利用语义分析进行上下文有关性质的审查，从而得到相应的语义分析结果，其中，本申请中采用的语义分析方法为常用的语义分析方法，如潜在语义分析等。
步骤S20，根据所述语义分析结果，检索测试案例集知识库以获取检索结果，其中，所述测试案例集知识库是由BERT模型结合知识图谱构建得到的预设训练模型训练生成的；
然后，根据语义分析结果，检索测试案例集知识库以获取检索结果。
其中，测试案例集知识库中包含所有与产品相关的案例集，测试案例集知识库由BERT模型结合知识图谱构建得到的预设训练模型训练生成。其中，BERT(BidirectionalEncoder Representations from Transformers，一种基于神经网络的自然语言处理预训练的技术)可以很好的处理自然语言语义分析、分类等场景，但也存在一些不足，例如，常识的缺失。测试案例需要大量的测试背景知识支持，BERT学习到的是文本匹配模型，大量的测试背景常识是隐式且模糊的，很难在预训练数据中体现；同时还缺乏对语义的理解，缺乏推理能力，因此在预训练过程中融入知识图谱信息，可以组织测试中的知识，基于符号语义的计算模型，可以为BERT提供先验知识，使其具备一定的测试常识和推理能力。因此在本申请中利用BERT结合知识图谱的预设训练模型训练生成测试案例集知识库，可使得测试案例集知识库能够知道不同的测试常识并利用测试常识推理生成新的测试案例集。
检索结果是对于案例关键词进行语义分析后与测试案例集知识库中已有案例的相似度，根据相似度，检索结果一般包括完全相同、相似、基本不相同等三种不同的检索结果。
步骤S30，若根据所述检索结果判定所述测试案例集知识库中存在相似案例集，则获取目标相似案例集。
若根据检索结果判定测试案例集知识库中存在相似案例集，则获取目标相似案例集。具体的，对于输入的案例关键词，根据其语义分析结果，与测试案例集知识库中的测试集进行比较，获取与各测试集的相似度，其中，同时将与不同测试集的相似度值中相似度最大的作为最终的检索结果并将与最大相似度值对应的案例集作为目标相似案例集。
步骤S40，利用知识图谱对所述案例关键词和所述目标相似案例集进行分析以生成测试案例集；
最后，利用知识图谱对案例关键词和目标相似案例集进行分析，推理生成测试案例集。知识图谱为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形。知识图谱的推理包括演绎推理和归纳推理，由于归纳推理可以增加新知识，因此，本申请中主要是使用归纳推理。归纳推理还可以使用FOIL(First OrderInductive Learner，第一顺序电感学习)算法、不完备知识库的关联规则挖掘算法以及路径排序算法。具体的，先利用上述一种或多种算法对目标相似案例集进行学习或构建规则，再根据案例关键词及目标相似案例集中的实体按照学习或构建得到的规则推理出新的实体，进而基于推理得到新的实体即可构建得到测试案例集。如输入的案例关键词为登陆密码，已有的目标相似案例集为登陆名，则利用登陆密码与登陆名可以推理生成与登陆密码相关的测试案例集。
本发明实施例提供一种测试案例集生成方法，获取案例关键词，对所述案例关键词进行语义分析，得到语义分析结果；根据所述语义分析结果，检索测试案例集知识库以获取检索结果，其中，所述测试案例集知识库是由BERT模型结合知识图谱构建得到的预设训练模型训练生成的；若根据所述检索结果判定所述测试案例集知识库中存在相似案例集，则获取目标相似案例集；利用知识图谱对所述案例关键词和所述目标相似案例集进行分析，推理生成测试案例集。通过上述方式，可以利用已有的测试案例集知识库，根据案例关键词在测试案例集知识库中进行检索以获取检索结果，之后，再根据检索结果中的目标相似案例集，利用知识图谱自动推理生成新的测试案例集。因此，本发明相比于现有技术，可以根据已有的测试案例集知识库自动推理生成新的测试案例集，从而能够提高测试案例集的生成效率。
进一步地，基于图2所示的第一实施例，提出本发明测试案例集生成方法的第二实施例。
在本实施例中，在上述步骤S10之前，该测试案例集生成方法还包括：
步骤A，根据无标注的第一训练测试案例集，对预设训练模型进行预处理训练，得到初始训练模型，其中，所述预设训练模型是基于BERT模型结合知识图谱构建得到的；
本实施例中，先根据无标注的第一训练测试案例集，对预设训练模型进行预处理训练，得到初始训练模型，其中，预设训练模型是基于BERT模型结合知识图谱构建得到的。
其中，无标注的第一训练测试案例集是之前已经存储的测试案例集。预设训练模型是基于BERT模型结合知识图谱构建得到的，BERT可以很好的处理自然语言语义分析、分类等场景，但也存在一些不足，例如，常识的缺失。测试案例需要大量的测试背景知识支持，BERT学习到的是文本匹配模型，大量的测试背景常识是隐式且模糊的，很难在预训练数据中体现；同时还缺乏对语义的理解，缺乏推理能力，因此在预训练过程中融入知识图谱信息，可以组织测试中的知识，基于符号语义的计算模型，可以为BERT提供先验知识，使其具备一定的测试常识和推理能力。BERT在大量的测试案例语料库上进行预训练的方式来实现对于测试案例文本语义的理解。具体地，BERT先随机隐藏掉一些测试中单词，然后再通过上下文预测的方式来实现语言表征，得到初始训练模型。例如，对于“迪伦在1962年创作了《答案在风中飘扬》，并在2004年写了《历代志：第一册》”这一语句，BERT可以随机隐藏其中的“迪伦”、“1962”、“答案在风中飘扬”等词语，但是通过不断的训练，模型可以判断这几个词之间存在关系并可以存储这几个词之间的关系，从而能够使模型可以知道词语间的关系，即语言表征。需要说明的是，在预处理训练过程之前，将BERT与知识图谱结合，利用了知识图谱中的多信息实体(如上例中的迪伦、《答案在风中飘扬》等一个个具体的实例)来作为外部知识改善语言表征，使模型能够知道每个词语本身的含义、而不只是多个词语之间的关系，同时实现了结构化的知识编码和异质信息融合(其中，结构化的知识编码的实现方式即为：将抽象的知识变为向量等形式，用于语言表征，但由于知识和文本的向量表示空间不同，通过预设效率模型将文本与知识融合在统一的特征空间中；异质信息即为词汇、句法和知识信息等不同类型的信息)，实现了在BERT模型的基础上，融合知识图谱构建出预设训练模型。具体地，对于抽象的知识信息，需要将它们进行编码，这样才能够将知识用于语言表征，同时BERT预训练时对单词的编码和对知识的编码是不同的，虽然都是将其转化为向量，但是却位于不同的向量空间，因此就需要对模型进行设计，来实现对于词汇、句法和知识信息等异质信息的融合，而BERT结合知识图谱的模型可以解决上述的问题。
步骤B，根据标注的第二训练测试案例集对所述初始训练模型进行微调训练，得到语言表征模型；
然后，根据标注的第二训练测试案例集对初始训练模型进行微调训练，得到语言表征模型。
其中，标注的第二训练测试集是原本已有的第一训练测试案例集中没有的训练测试集，如新的登录名的测试案例集。通过标注的第二训练测试案例集可以对第一训练测试集进行补充，从而使得到的语言表征模型更加全面，构建得到更符合真正测试场景的测试案例集知识库。
微调训练过程由文本编码器和知识编码器两个模块完成。文本编码器负责获取第二训练测试案例集的输入标记的词法和句法等语义信息，对标记向量、分割向量和位置向量进行求和来获得输入向量，然后通过多层的双向转换编码器来实现对于语义特征的提取。知识编码器将额外的面向实体的知识信息整合到来自底层的文本信息中，这样就可以在一个统一的特征空间中表征标记和实体的异构信息。用{w1,…,wn}表示标记序列的向量，用{e1,…,en}来表示该序列中实体的向量。两序列按如下公式计算：
Figure BDA0002545302930000101
Figure BDA0002545302930000102
其中，MH-ATT是attention(关注)层。
再将序列中的标记与相应的实体对齐(实体与对应的首位标记对齐)，然后将这样的序列输入到信息融合层当中，信息融合层的计算步骤如下：
Figure BDA0002545302930000103
Figure BDA0002545302930000104
Figure BDA0002545302930000105
其中，hj表示融合标记和实体信息的内部隐藏状态，b表示偏置，Wt代表隐藏层中的权重，σ()为非线性激活函数。
通过上述的微调过程，得到语言表征模型，以便于后续基于语言表征模型得到测试案例集知识库。
步骤C，通过所述语言表征模型对所述第一训练测试案例集和所述第二训练测试案例集进行分类，根据分类结果生成测试案例集知识库；
最后，通过语言表征模型对第一训练测试案例集和第二训练测试案例集进行分类，根据分类结果生成测试案例集知识库。具体的，语言表征模型是基于概率分布计算公式得到不同训练测试案例集的分类，进而最终生成测试案例集知识库，其中，预测的概率分布计算公式如下所示：
Figure BDA0002545302930000106
其中，linear()代表线性层。
即对不同的训练测试案例集中的各个案例分类，将属于同一类的案例合为同一类案例，进而由不同类的案例构建得到测试案例集知识库，进而，如对于用户名与密码，其都可以属于登陆案例。
本实施例中，根据无标注的第一训练测试案例集，对预设训练模型进行预处理训练，得到初始训练模型，其中，所述预设训练模型是基于BERT模型结合知识图谱构建得到的；根据标注的第二训练测试案例集对所述初始训练模型进行微调训练，得到语言表征模型；通过所述语言表征模型对所述第一训练测试案例集和所述第二训练测试案例集进行分类，根据分类结果生成测试案例集知识库。根据预训练过程以及微调训练过程对于训练模型进行训练得到测试案例集知识库，实现了对于不同的测试案例集进行分类，便于之后的检索，从而提高后续测试案例集生成的效率，此外，通过预训练过程和微调训练过程对模型进行训练，之后按照训练的模型对训练测试案例集进行分类，最终生成测试案例集知识库，相比于传统的人工编写测试案例本发明更加贴切实例的案例，进一步提高了测试案例生成的准确性。
进一步地，基于上述各实施例，提出本发明测试案例集生成方法的第三实施例。
在本实施例中，步骤A包括：
步骤a1，获取无标注的第一训练测试案例集的第一属性信息；
步骤a2，根据所述第一属性信息对所述第一训练测试案例集进行划分，得到多个第一训练测试案例子集；
步骤a3，分别根据多个第一训练测试案例子集对预设训练模型进行预处理训练，得到对应的多个初始训练模型，其中，所述预设训练模型是基于BERT模型结合知识图谱构建得到的。
本实施例中，可根据属性信息对训练测试案例集(包括第一训练测试案例集和第二训练测试案例集)进行划分，以训练得到多个不同属性信息对应的语言表征模型，进而结合语言表征模型的分类结果及属性信息进行分类，并构建测试案例集知识库。
具体的，先获取无标注的第一训练测试案例集的第一属性信息；然后，根据第一属性信息对第一训练测试案例集进行划分，得到多个第一训练测试案例子集。
本实施例中，，训练模型输入源由测试知识公共库、BUG数据库、业务场景库和训练数据库这四部分组成，测试知识公共库主要是常见的具有业务共性的测试用例，例如登录、密码校验等；BUG数据库是生产上发现的BUG用例；业务场景库是在特定业务场景下编写的测试用例集合，训练数据库是在TCTP平台人工标注的测试用例集。训练参数案例集会按照全量产品案例、特定项目产品案例、个性化编写案例三个纬度的训练数据分别进行训练，对应的，第一属性信息可以包括全量产品案例、特定项目产品案例、个性化编写案例等不同属性。全量产品案例如为保险等一类产品的测试案例集，项目产品案例为如登录等特定产品的测试案例集，个性化保险案例可为与每个编写人员关联的测试案例集。
对于不同属性的第一训练测试案例子集，其形成的初始训练模型中相同案例的分类结果可能不同，同时不同实体间的关联关系可能存在差异。从而分别根据多个第一训练测试案例子集对预设训练模型进行预处理训练，得到对应的多个初始训练模型，其中，预设训练模型是基于BERT模型结合知识图谱构建得到的。
此时，步骤B包括：
步骤b1，获取标注的第二训练测试案例集及其第二属性信息；
步骤b2，根据所述第二属性信息和所述第二训练测试集进行划分，得到多个第二训练测试案例子集；
步骤b3，分别根据多个第二训练测试案例子集对对应的初始训练模型进行微调训练，得到与所述第二属性信息对应的多个语言表征模型。
对于标注的第二训练测试案例集，与第一训练测试案例集类似，根据第二训练测试案例集的第二属性信息，分别确定与其第二属性信息匹配的初始训练模型，将第二训练测试案例集中根据第二属性信息添加到对应的初始训练模型中进行微调训练，得到多个语言表征模型。
基于上述方式生成语言表征模型，根据属性信息确定不同的语言表征模型，从而可以获取不同属性的模型，得到的语言表征模型的分类结果更加准确，同时增加语言表征模型的多样性以适应不同的测试场景。
此时，步骤C包括：
步骤c1，通过多个语言表征模型对对应的第一训练测试案例子集和第二训练测试案例子集进行分类，得到与所述第一属性信息对应的多个测试案例集，并基于所述多个测试案例集生成测试案例集知识库；
将多个不同属性的语言表征模型一起组成装置的测试案例集知识库。测试案例集知识库包括案例、属性(全量产品案例、特定项目产品案例、个性化产品案例、个性化编写案例)以及测试集。对于不同的测试集，会分类到对应的案例中，同时对于同一测试集，根据属性的不同，可能会在不同属性的测试案例集子知识库中对应不同的案例。
本实施例中，将多个不同属性的语音表征模型组成最终的测试案例集知识库，从而保证测试案例集知识库的完整，也使测试案例集能够根据不同的属性匹配更多的使用场景，更进一步提高了测试案例集生成的准确度，同时，可在工作人员进行检索时，基于输入的备选属性信息缩小检索范围，提供检索效率，进而提高测试案例集的生成效率。
进一步地，基于上述各实施例，提出本发明测试案例集生成方法的第四实施例。
在本实施例中，在上述步骤S20之后，该测试案例集生成方法还包括：
步骤D，获取备选属性信息；
本实施例中，工作人员在触发测试案例集生成指令时，除可输入案例关键词外，还可以输入备选属性信息，其中，备选属性信息即为待生成的测试案例集对应的属性信息，同时备选属性信息与测试案例集知识库各语言表征模型的属性信息对应，即之后在检索时利用备选属性信息给出相关联的测试案例集，对应的，测试案例集生成器可先获取备选属性信息。
步骤S20包括：
步骤E，在所述测试案例集知识库中确定与所述备选属性信息对应的目标测试案例集；
步骤F，根据所述语义分析结果检索所述目标测试案例集，以获取所述案例关键词与所述目标测试案例集中测试案例的相似度，得到检索结果；
然后，在测试案例集知识库中确定与备选属性信息对应的目标测试案例集，进而根据语义分析结果检索目标测试案例集，以获取案例关键词与目标测试案例集中测试案例的相似度，得到检索结果。
当选定一个或多个备选属性信息后，输出结果根据测试属性关联的案例给出符合该属性的测试案例集。同时在检索过程中，根据选定的备选属性信息，只会检索属性信息与备选属性信息相同的测试案例集知识库中的那个语言表征模型。如备选属性为特定项目产品案例集，则只检索属性为特定产品案例集的测试案例集知识库，而不用检索全量产品案例和个性化编写案例，可以通过检索过程中的效率，同时检索结果也更加准确。通过案例关键词与对应属性的测试案例集中测试案例的相似度，确定相应的检索结果。
通过上述方式，本实施例可检索过程中根据备选属性信息缩小需要检索的测试案例集知识库的范围，从而通过检索的效率以及准确性。
进一步地，基于上述各实施例，提出本发明测试案例集生成方法的第五实施例。
在本实施例中，步骤S20之后包括：
步骤G，检测所述检索结果中的相似度是否大于或等于第一预设阈值；
步骤H，若所述相似度大于或等于所述第一预设阈值，则判定所述测试案例集知识库中存在与所述案例关键词对应的相同案例集，则获取目标相同案例集，并输出；
本实施例中，检测检索结果中的相似度是否大于或等于第一预设阈值，当相似度大于或等于第一预设阈值时，说明当前测试案例集知识库已经存在与输入的案例关键词相同的案例集，则直接根据相似度确定目标相同案例集并输出，即可输出需要的测试案例集。
进一步地，步骤H之后，还包括：
步骤I，若所述相似度小于所述第一预设阈值，则检测所述相似度是否大于第二预设阈值，其中，所述第二预设阈值小于所述第一预设阈值；
当相似度小于第一预设阈值时，说明测试案例集知识库中不存在相同的测试案例集，但BERT结合知识图谱的训练模型生成的测试案例集知识库本身具有一定的学习能力，因此接下来判断是否存在相似案例，即判断相似度是否大于第二预设阈值。
步骤J，若所述相似度大于所述第二预设阈值，则判定所述测试案例集知识库中存在相似案例集，则执行步骤S30：获取目标相似案例集；
当大于第二预设阈值，则测试案例集知识库中虽然不存在相同测试集，但是存在与案例关键词关联的相似案例集，则根据案例关键词以及目标相似案例集，利用知识图谱的推理能力推理生成并生成测试案例集。如案例关键词为用户密码，而判定测试案例集知识库中存在相似测试集为用户名相关的测试集如不包含特殊字符、长度至少为六个字符等，则可以推理生成用户密码中不包含特殊字符、长度至少为六个字符的测试案例集。
步骤K，若所述相似度小于或等于所述第二预设阈值，则输出提示信息以提示用户人工生成测试案例集；
当相似度小于或等于第二预设阈值，则说明测试案例集知识库中的测试案例与输入的案例关键词差异都较大，输入的案例关键词对应的案例应该是全新的案例，此时无法利用已有的测试案例集进行直接输出或推理生成测试案例集。需要用户手动生成测试案例集，则手动增加测试案例集。
进一步地，步骤K之后，还包括：
步骤k1，获取用户人工生成的标注测试案例集；
步骤k2，根据所述标注测试案例集更新所述测试案例集知识库；
当用户手动输入新的标注测试案例集后，记录用户人工生成的标注测试案例集，并将标注测试案例集作为新的标注的测试案例集输入，以对测试案例集知识库进行更新，从而使测试案例集知识库能够根据标注测试案例集进行学习，进而扩充测试案例集知识库。
在本实施例中，可根据检索结果按相似度直接输出相同测试案例集，或者根据相似测试案例集推理生成测试案例集，当无法根据测试案例集知识库输出测试案例集时，可通过人工生成的方式生成标注测试案例集，进而标注测试案例集更新测试案例集知识库，以扩充测试案例集知识库。
本发明还提供一种测试案例集生成装置。
参照图3，图3为本发明测试案例集生成装置第一实施例的功能模块示意图。
如图3所示，所述测试案例集生成装置包括：
分析模块10，用于获取案例关键词，对所述案例关键词进行语义分析，得到语义分析结果；
检索模块20，用于根据所述语义分析结果，检索测试案例集知识库以获取检索结果，其中，所述测试案例集知识库是由BERT模型结合知识图谱构建得到的预设训练模型训练生成的；
第一获取模块30，用于若根据所述检索结果判定所述测试案例集知识库中存在相似案例集，则获取目标相似案例集；
第一生成模块40，用于利用知识图谱对所述案例关键词和所述目标相似案例集进行分析，推理生成测试案例集。
进一步地，所述测试案例集生成装置还包括：
预训练模块，根据无标注的第一训练测试案例集，对预设训练模型进行预处理训练，得到初始训练模型，其中，所述预设训练模型是基于BERT模型结合知识图谱构建得到的；
微调训练模块，用于根据标注的第二训练测试案例集对所述初始训练模型进行微调训练，得到语言表征模型；
第二生成模块，用于通过所述语言表征模型对所述第一训练测试案例集和所述第二训练测试案例集进行分类，根据分类结果生成测试案例集知识库。
进一步地，所述预训练模块还包括：
第一获取单元，用于获取无标注的第一训练测试案例集的第一属性信息；
第一划分单元，用于根据所述第一属性信息对所述第一训练测试案例集进行划分，得到多个第一训练测试案例子集；
预训练单元，用于分别根据多个第一训练测试案例子集对预设训练模型进行预处理训练，得到对应的多个初始训练模型，其中，所述预设训练模型是基于BERT模型结合知识图谱构建得到的；
所述微调训练模块还包括：
第二获取单元，用于获取标注的第二训练测试案例集及其第二属性信息；
第二划分单元，用于根据所述第二属性信息和所述第二训练测试集进行划分，得到多个第二训练测试案例子集；
微调训练单元，用于分别根据多个第二训练测试案例子集对对应的初始训练模型进行微调训练，得到与所述第二属性信息对应的多个语言表征模型；
所述第二生成模块还包括：
第一生成单元，用于通过多个语言表征模型对对应的第一训练测试案例子集和第二训练测试案例子集进行分类，得到与所述第一属性信息对应的多个测试案例集，并基于所述多个测试案例集生成测试案例集知识库。
进一步地，所述测试案例集生成装置还包括：
第二获取单元，用于获取备选属性信息；
所述第一获取模块还包括：
确定单元，用于在所述测试案例集知识库中确定与所述备选属性信息对应的目标测试案例集；
第三获取单元，用于根据所述语义分析结果检索所述目标测试案例集，以获取所述案例关键词与所述目标测试案例集中测试案例的相似度，得到检索结果。
进一步地，所述测试案例集生成装置还包括：
第一检测模块，用于检测所述检索结果中的相似度是否大于或等于第一预设阈值；
第一输出模块，用于若所述相似度大于或等于所述第一预设阈值，则判定所述测试案例集知识库中存在与所述案例关键词对应的相同案例集，则获取目标相同案例集，并输出。
进一步地，所述测试案例集生成装置还包括：
第二检测模块，用于若所述相似度小于所述第一预设阈值，则检测所述相似度是否大于第二预设阈值，其中，所述第二预设阈值小于所述第一预设阈值；
第四获取模块，用于若所述相似度大于所述第二预设阈值，则判定所述测试案例集知识库中存在相似案例集，则执行步骤：获取目标相似案例集；
第二生成模块，用于若所述相似度小于或等于所述第二预设阈值，则输出提示信息以提示用户人工生成测试案例集。
进一步地，所述测试案例集生成装置还包括：
第五获取模块，用于获取用户人工生成的标注测试案例集；
更新模块，用于根据所述标注测试案例集更新所述测试案例集知识库。
其中，上述测试案例集生成装置中各个模块的功能实现与上述测试案例集生成方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有测试案例集生成程序，所述测试案例集生成程序被处理器执行时实现如以上任一项实施例所述的测试案例集生成方法的步骤。
本发明计算机可读存储介质的具体实施例与上述测试案例集生成方法各实施例基本相同，在此不作赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种测试案例集生成方法，其特征在于，所述测试案例集生成方法包括：
获取案例关键词，对所述案例关键词进行语义分析，得到语义分析结果；
根据所述语义分析结果，检索测试案例集知识库以获取检索结果，其中，所述测试案例集知识库是由BERT模型结合知识图谱构建得到的预设训练模型训练生成的；
若根据所述检索结果判定所述测试案例集知识库中存在相似案例集，则获取目标相似案例集；
利用知识图谱对所述案例关键词和所述目标相似案例集进行分析以生成测试案例集。
2.如权利要求1所述的测试案例集生成方法，其特征在于，所述获取案例关键词，对所述案例关键词进行语义分析，得到语义分析结果的步骤之前，还包括：
根据无标注的第一训练测试案例集，对预设训练模型进行预处理训练，得到初始训练模型，其中，所述预设训练模型是基于BERT模型结合知识图谱构建得到的；
根据标注的第二训练测试案例集对所述初始训练模型进行微调训练，得到语言表征模型；
通过所述语言表征模型对所述第一训练测试案例集和所述第二训练测试案例集进行分类，根据分类结果生成测试案例集知识库。
3.权利要求2所述的测试案例集生成方法，其特征在于，所述根据无标注的第一训练测试案例集，对预设训练模型进行预处理训练，得到初始训练模型的步骤包括：
获取无标注的第一训练测试案例集的第一属性信息；
根据所述第一属性信息对所述第一训练测试案例集进行划分，得到多个第一训练测试案例子集；
分别根据多个第一训练测试案例子集对预设训练模型进行预处理训练，得到对应的多个初始训练模型，其中，所述预设训练模型是基于BERT模型结合知识图谱构建得到的；
所述根据标注的第二训练测试案例集对所述初始训练模型进行微调训练，得到训练好的语言表征模型的步骤包括：
获取标注的第二训练测试案例集及其第二属性信息；
根据所述第二属性信息和所述第二训练测试集进行划分，得到多个第二训练测试案例子集；
分别根据多个第二训练测试案例子集对对应的初始训练模型进行微调训练，得到与所述第二属性信息对应的多个语言表征模型；
所述根据所述语言表征模型对所述第一训练测试案例集和所述第二训练测试案例集进行分类，根据分类结果生成测试案例集知识库的步骤包括：
通过多个语言表征模型对对应的第一训练测试案例子集和第二训练测试案例子集进行分类，得到与所述第一属性信息对应的多个测试案例集，并基于所述多个测试案例集生成测试案例集知识库。
4.如权利要求3所述的测试案例集生成方法，其特征在于，所述根据所述语义分析结果，检索测试案例集知识库以获取检索结果的步骤之前，还包括：
获取备选属性信息；
所述根据所述语义分析结果，检索测试案例集知识库以获取检索结果的步骤包括：
在所述测试案例集知识库中确定与所述备选属性信息对应的目标测试案例集；
根据所述语义分析结果检索所述目标测试案例集，以获取所述案例关键词与所述目标测试案例集中测试案例的相似度，得到检索结果。
5.如权利要求4所述的测试案例集生成方法，其特征在于，所述根据所述语义分析结果检索所述目标测试案例集，以获取所述案例关键词与所述目标测试案例集中测试案例的相似度，得到检索结果的步骤之后，还包括：
检测所述检索结果中的相似度是否大于或等于第一预设阈值；
若所述相似度大于或等于所述第一预设阈值，则判定所述测试案例集知识库中存在与所述案例关键词对应的相同案例集，则获取目标相同案例集，并输出。
6.如权利要求5所述的测试案例生成方法，其特征在于，所述检测所述检索结果中的相似度是否大于或等于第一预设阈值的步骤之后，还包括：
若所述相似度小于所述第一预设阈值，则检测所述相似度是否大于第二预设阈值，其中，所述第二预设阈值小于所述第一预设阈值；
若所述相似度大于所述第二预设阈值，则判定所述测试案例集知识库中存在相似案例集，则执行步骤：获取目标相似案例集；
若所述相似度小于或等于所述第二预设阈值，则输出提示信息以提示用户人工生成测试案例集。
7.如权利要求6所述的测试案例集生成方法，其特征在于，所述输出提示信息以提示用户人工生成测试案例集的步骤之后，还包括：
获取用户人工生成的标注测试案例集；
根据所述标注测试案例集更新所述测试案例集知识库。
8.一种测试案例集生成装置，其特征在于，所述测试案例集生成装置包括：
分析模块，用于获取案例关键词，对所述案例关键词进行语义分析，得到语义分析结果；
检索模块，用于根据所述语义分析结果，检索测试案例集知识库以获取检索结果，其中，所述测试案例集知识库是由BERT模型结合知识图谱构建得到的预设训练模型训练生成的；
第一获取模块，用于若根据所述检索结果判定所述测试案例集知识库中存在相似案例集，则获取目标相似案例集；
第一生成模块，用于利用知识图谱对所述案例关键词和所述目标相似案例集进行分析以生成测试案例集。
9.一种测试案例集生成设备，其特征在于，所述测试案例集生成设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的测试案例集生成程序，所述测试案例集生成程序被所述处理器执行时实现如权利要求1至7中任一项所述的测试案例集生成方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有测试案例集生成程序，所述测试案例集生成程序被处理器执行时实现如权利要求1至7中任一项所述的测试案例集生成方法的步骤。
CN202010563141.XA 2020-06-18 2020-06-18 测试案例集生成方法、装置、设备及计算机可读存储介质 Pending CN111708703A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010563141.XA CN111708703A (zh) 2020-06-18 2020-06-18 测试案例集生成方法、装置、设备及计算机可读存储介质
PCT/CN2021/081873 WO2021253904A1 (zh) 2020-06-18 2021-03-19 测试案例集生成方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010563141.XA CN111708703A (zh) 2020-06-18 2020-06-18 测试案例集生成方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111708703A true CN111708703A (zh) 2020-09-25

Family

ID=72541309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010563141.XA Pending CN111708703A (zh) 2020-06-18 2020-06-18 测试案例集生成方法、装置、设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN111708703A (zh)
WO (1) WO2021253904A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112199285A (zh) * 2020-10-12 2021-01-08 中国农业银行股份有限公司 一种测试案例优选方法、装置及电子设备
CN112256566A (zh) * 2020-09-28 2021-01-22 建信金融科技有限责任公司 一种测试案例的保鲜方法和装置
CN112528893A (zh) * 2020-12-15 2021-03-19 南京中兴力维软件有限公司 异常状态的识别方法、装置及计算机可读存储介质
CN112906361A (zh) * 2021-02-09 2021-06-04 上海明略人工智能(集团)有限公司 文本数据的标注方法和装置、电子设备和存储介质
CN113392642A (zh) * 2021-06-04 2021-09-14 北京师范大学 一种基于元学习的育人案例自动标注系统及方法
CN113609011A (zh) * 2021-07-30 2021-11-05 建信金融科技有限责任公司 一种保险产品工厂的测试方法、装置、介质和设备
WO2021253904A1 (zh) * 2020-06-18 2021-12-23 深圳前海微众银行股份有限公司 测试案例集生成方法、装置、设备及计算机可读存储介质
CN113900954A (zh) * 2021-10-28 2022-01-07 航天中认软件测评科技（北京）有限责任公司 一种使用知识图谱的测试用例推荐方法及装置
CN115328813A (zh) * 2022-10-11 2022-11-11 成都飞机工业（集团）有限责任公司 一种测试用例设计方法、装置、设备及存储介质
CN117033253A (zh) * 2023-10-10 2023-11-10 北京轻松怡康信息技术有限公司 一种接口测试方法、装置、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230088970A1 (en) * 2021-09-20 2023-03-23 Salesforce.Com, Inc. Impact analysis based on api functional tesing
CN117057173B (zh) * 2023-10-13 2024-01-05 浙江大学 一种支持发散思维的仿生设计方法、系统及电子设备
CN117453576B (zh) * 2023-12-25 2024-04-09 企迈科技有限公司 基于DXM模型的SaaS软件测试用例构建方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10073840B2 (en) * 2013-12-20 2018-09-11 Microsoft Technology Licensing, Llc Unsupervised relation detection model training
CN109885823A (zh) * 2017-12-01 2019-06-14 武汉楚鼎信息技术有限公司 一种金融行业的分布式语义识别方法及系统装置
CN110727779A (zh) * 2019-10-16 2020-01-24 信雅达系统工程股份有限公司 基于多模型融合的问答方法及系统
CN111160756A (zh) * 2019-12-26 2020-05-15 马上游科技股份有限公司 基于二次人工智能算法的景区评估方法及模型
CN111708703A (zh) * 2020-06-18 2020-09-25 深圳前海微众银行股份有限公司 测试案例集生成方法、装置、设备及计算机可读存储介质

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021253904A1 (zh) * 2020-06-18 2021-12-23 深圳前海微众银行股份有限公司 测试案例集生成方法、装置、设备及计算机可读存储介质
CN112256566A (zh) * 2020-09-28 2021-01-22 建信金融科技有限责任公司 一种测试案例的保鲜方法和装置
CN112256566B (zh) * 2020-09-28 2024-03-05 中国建设银行股份有限公司 一种测试案例的保鲜方法和装置
CN112199285B (zh) * 2020-10-12 2023-08-01 中国农业银行股份有限公司 一种测试案例优选方法、装置及电子设备
CN112199285A (zh) * 2020-10-12 2021-01-08 中国农业银行股份有限公司 一种测试案例优选方法、装置及电子设备
CN112528893A (zh) * 2020-12-15 2021-03-19 南京中兴力维软件有限公司 异常状态的识别方法、装置及计算机可读存储介质
CN112906361A (zh) * 2021-02-09 2021-06-04 上海明略人工智能(集团)有限公司 文本数据的标注方法和装置、电子设备和存储介质
CN113392642A (zh) * 2021-06-04 2021-09-14 北京师范大学 一种基于元学习的育人案例自动标注系统及方法
CN113392642B (zh) * 2021-06-04 2023-06-02 北京师范大学 一种基于元学习的育人案例自动标注系统及方法
CN113609011B (zh) * 2021-07-30 2023-11-03 建信人寿保险股份有限公司 一种保险产品工厂的测试方法、装置、介质和设备
CN113609011A (zh) * 2021-07-30 2021-11-05 建信金融科技有限责任公司 一种保险产品工厂的测试方法、装置、介质和设备
CN113900954B (zh) * 2021-10-28 2022-06-10 航天中认软件测评科技（北京）有限责任公司 一种使用知识图谱的测试用例推荐方法及装置
CN113900954A (zh) * 2021-10-28 2022-01-07 航天中认软件测评科技（北京）有限责任公司 一种使用知识图谱的测试用例推荐方法及装置
CN115328813A (zh) * 2022-10-11 2022-11-11 成都飞机工业（集团）有限责任公司 一种测试用例设计方法、装置、设备及存储介质
CN115328813B (zh) * 2022-10-11 2023-02-03 成都飞机工业（集团）有限责任公司 一种测试用例设计方法、装置、设备及存储介质
CN117033253A (zh) * 2023-10-10 2023-11-10 北京轻松怡康信息技术有限公司 一种接口测试方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2021253904A1 (zh) 2021-12-23

Similar Documents

Publication Publication Date Title
CN111708703A (zh) 测试案例集生成方法、装置、设备及计算机可读存储介质
CN111027327B (zh) 机器阅读理解方法、设备、存储介质及装置
CN109697162B (zh) 一种基于开源代码库的软件缺陷自动检测方法
CN111026842B (zh) 自然语言处理方法、自然语言处理装置及智能问答系统
CN110781276A (zh) 文本抽取方法、装置、设备及存储介质
CN111198948A (zh) 文本分类校正方法、装置、设备及计算机可读存储介质
Banerjee et al. Bengali question classification: Towards developing qa system
CN112711660A (zh) 文本分类样本的构建方法和文本分类模型的训练方法
CN112100377B (zh) 文本分类方法、装置、计算机设备和存储介质
CN116821318B (zh) 基于大语言模型的业务知识推荐方法、装置及存储介质
CN108228567B (zh) 用于提取组织机构的简称的方法和装置
CN110390110B (zh) 用于语义匹配的预训练生成句子向量的方法和装置
CN111782800B (zh) 一种面向事件追溯的智能会议分析方法
Yang et al. Aspect-based api review classification: How far can pre-trained transformer model go?
CN115391527A (zh) 基于提示学习的意图识别方法、问答方法及装置
CN112069069A (zh) 缺陷自动定位分析方法、设备及可读存储介质
CN111274822A (zh) 语义匹配方法、装置、设备及存储介质
CN111783425B (zh) 基于句法分析模型的意图识别方法及相关装置
CN113779202B (zh) 命名实体识别方法、装置、计算机设备和存储介质
CN115525750A (zh) 机器人话术检测可视化方法、装置、电子设备及存储介质
CN114942981A (zh) 问答查询方法、装置、电子设备及计算机可读存储介质
CN114491209A (zh) 基于互联网信息抓取的企业业务标签挖掘的方法和系统
CN114254622A (zh) 一种意图识别方法和装置
CN112541091A (zh) 图像搜索方法、装置、服务器和存储介质
Li et al. STCP: An Efficient Model Combining Subject Triples and Constituency Parsing for Recognizing Textual Entailment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination