CN116594914B - 测试数据的生成方法、装置、设备及存储介质 - Google Patents
测试数据的生成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116594914B CN116594914B CN202310870820.5A CN202310870820A CN116594914B CN 116594914 B CN116594914 B CN 116594914B CN 202310870820 A CN202310870820 A CN 202310870820A CN 116594914 B CN116594914 B CN 116594914B
- Authority
- CN
- China
- Prior art keywords
- case
- feature
- test
- context
- test data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 754
- 238000000034 method Methods 0.000 title claims abstract description 114
- 238000012512 characterization method Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 description 39
- 238000013515 script Methods 0.000 description 36
- 238000013507 mapping Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 22
- 238000007726 management method Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 17
- 238000010801 machine learning Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000009286 beneficial effect Effects 0.000 description 9
- 238000013523 data management Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000013522 software testing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种测试数据的生成方法、装置、设备及存储介质,属于互联网和计算机领域。所述方法包括:获取第一测试用例,第一测试用例中包括至少一个用例内容;从候选的特征上下文中确定与第一测试用例匹配的至少一个特征上下文,作为至少一个第一特征上下文,特征上下文用于表征用例内容的组合;根据预先存储的特征上下文与测试数据之间的关联关系,获取至少一个第一特征上下文分别关联的测试数据;根据至少一个第一特征上下文分别关联的测试数据,生成第一测试用例的测试数据,第一测试用例的测试数据用于对第一测试用例中包括的各个用例内容进行测试。通过上述方法有助于提升测试数据的生成效率。
Description
技术领域
本申请涉及互联网和计算机技术领域,特别涉及一种测试数据的生成方法、装置、设备及存储介质。
背景技术
使用大量测试数据对应用程序进行测试,能够及时发现应用程序中的潜在问题并针对这些问题进行调整,减少在用户使用应用程序过程出现漏洞的可能性。
相关技术中,对于某个测试任务,需要生成用于该测试任务的测试用例,由测试脚本基于测试用例进行测试,在测试过程中测试脚本需要使用用于对测试用例中包括的各个用例步骤进行测试的测试数据。计算机设备每获取一个新的测试用例,都需要人工该测试用例进行建设,根据经验设置并调试该测试用例的测试数据,避免测试用例的测试数据不合理,影响测试过程的正常进行。
然而,相关技术中测试用例的测试数据生成过程中存在大量人工执行的工作,生成测试用例的测试数据的效率较低。
发明内容
本申请提供了一种测试数据的生成方法、装置、设备及存储介质。所述技术方案如下:
根据本申请实施例的一个方面,提供了一种测试数据的生成方法,所述方法包括:
获取第一测试用例,所述第一测试用例中包括至少一个用例内容;
从候选的特征上下文中确定与所述第一测试用例匹配的至少一个特征上下文,作为至少一个第一特征上下文,所述特征上下文用于表征用例内容的组合;
根据预先存储的特征上下文与测试数据之间的关联关系,获取所述至少一个第一特征上下文分别关联的测试数据;
根据所述至少一个第一特征上下文分别关联的测试数据,生成所述第一测试用例的测试数据,所述第一测试用例的测试数据用于对所述第一测试用例中包括的各个用例内容进行测试。
根据本申请实施例的一个方面,提供了一种测试数据的生成装置,所述装置包括:
用例获取模块,用于获取第一测试用例,所述第一测试用例中包括至少一个用例内容;
上下文确定模块,应用从候选的特征上下文中确定与所述第一测试用例匹配的至少一个特征上下文,作为至少一个第一特征上下文,所述特征上下文用于表征用例内容的组合;
测试数据确定模块,用于根据预先存储的特征上下文与测试数据之间的关联关系,获取所述至少一个第一特征上下文分别关联的测试数据;
测试数据生成模块,用于根据所述至少一个第一特征上下文分别关联的测试数据,生成所述第一测试用例的测试数据,所述第一测试用例的测试数据用于对所述第一测试用例中包括的各个用例内容进行测试。
根据本申请实施例的一个方面,提供了一种计算机设备,所述计算机设备包括:处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行以实现上述测试数据的生成方法。
根据本申请实施例的一个方面,提供了一种计算机可读存储介质,所述存储介质中存储有计算机程序,所述计算机程序由处理器加载并执行以实现上述测试数据的生成方法。
根据本申请实施例的一个方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机指令,所述计算机指令存储在计算机可读存储介质中,处理器从所述计算机可读存储介质读取并执行所述计算机指令以实现上述测试数据的生成方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
本方法中通过确定与测试用例匹配的特征上下文,并根据特征上下文关联的测试数据生成测试用例的测试数据。一方面,在生成测试数据的过程中无需人工参与,实现了自动生成测试用例的测试数据,有助于提升测试用例的测试数据的生成效率。
另一方面,由于不同的用例内容的测试数据之间可能存在重复,相比于存储各个用例内容的测试数据,使用特征上下文表征多个用例内容,使得特征上下文关联的测试数据能够作为其表征的多个用例内容的测试数据,减少了同一个测试数据的重复存储,有助于减轻计算机设备对测试数据的存储压力。
附图说明
图1是本申请一个示例性实施例提供的方案实施环境的示意图;
图2是本申请一个示例性实施例提供的总体构架的示意图;
图3是本申请一个示例性实施例提供的测试数据的生成方法的流程图;
图4是本申请一个示例性实施例提供的测试用例组成的示意图;
图5是本申请一个示例性实施例提供的语料表示方式的示意图;
图6是本申请一个示例性实施例提供的挂靠关系的示意图;
图7是本申请一个示例性实施例提供的测试数据类型的示意图;
图8是本申请一个示例性实施例提供的测试结果的示意图;
图9是本申请一个示例性实施例提供的特征信息与语料的示意图;
图10是本申请一个示例性实施例提供的人工分类特征信息的示意图;
图11是本申请一个示例性实施例提供的用例内容获取方法的示意图;
图12是本申请另一个示例性实施例提供的用例内容获取方法的示意图;
图13是本申请一个示例性实施例提供的测试数据的生成装置的框图;
图14是本申请一个示例性实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
首先,对本申请中涉及到的名词进行介绍说明。
MBT(Model Based Testing,基于模型的测试):是指一种软件测试领域的方法,MBT的原理是根据软件的需求构造用于测试的测试模型。工作人员可以根据测试目的、测试对象和测试特征,针对待测试软件、应用程序等相关属性建立测试模型。
测试用例:是指测试任务的语言描述。
测试脚本:是指用于执行具体测试任务中使用的代码。测试脚本基于测试用例,测试用例的测试数据和断言对待测试软件、应用程序进行测试。
图1是本申请一个示例性实施例提供的方案实施环境的示意图。该方案实施环境可以包括:测试设备100和后台系统200。
测试设备100可以是诸如PC(Personal Computer,个人计算机)、平板电脑、手机、可穿戴设备、智能家电、车载终端、飞行器等电子设备。测试设备100至少具有接收功能和计算过程。通过测试设备100的接收功能测试用例的测试数据,通过测试设备100的计算功能测试脚本对待测试软件、应用程序进行测试,并生成测试结果。
后台系统200用于为测试设备100提供后台服务。后台系统200可以包括多个模块系统模块201。各个模块系统201的功能不同,各个系统模块之间存在数据连接,以便系统模块201之间进行数据传输,相互协作生成测试用例的测试数据,并在测试设备100进行测试的过程中向测试设备100提供测试数据。
可选地,后台系统200可以实现成为服务器,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务内容分发网络、(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器,但并不局限于此。
图2是本申请一个示例性实施例提供的总体构架的示意图。
后台系统200包括以下几个模块系统中的至少一个:测试用例管理系统、特征与上下文管理系统、脚本测试数据管理系统、脚本代码管理系统、脚本断言管理系统。
其中,测试用例管理系统用于构建测试用例。可选地,测试用例管理系统用于存储历史测试用例,以及对至少一个用例内容进行排列生成新的测试用例。
特征与上下文管理系统用于存储用例内容的特征信息和特征上下文,语料是指用例内容的自然语言描述形式,用例内容的特征信息是指根据内容用例的语料生成的、用于唯一标识用例内容的信息。
脚本测试数据管理系统用于存储特征上下文关联的测试数据、测试用例的测试数据,特征上下文中包括多个特征信息。在进行测试的过程中,测试资源管理系统用于向测试设备提供测试用例的测试数据。
脚本代码管理系统用于存储至少一个实现测试脚本的程序。在进行测试的过程中,脚本代码管理系统用于向测试设备提供测试脚本的脚本代码。
脚本断言管理系统用于存储测试用例对应的断言,断言是指测试用例对应的期望测试结果。脚本代码管理系统的过程中,脚本断言管理系统用于向测试设备提供测试用例对应的断言。
可选地,脚本调试人员可以参与后台系统200,通过脚本调试人员对测试数据、断言和脚本代码进行调整,避免由测试数据、断言和脚本代码等因素导致测试过程出现故障,帮助测试过程正常进行对应用程序中的待检测功能进行验证。
在本申请提供的测试数据生成方法主要涉及上述测试用例管理系统、特征与上下文管理系统和脚本测试数据管理系统。在本方法中,根据用例内容的特征信息生成至少一个特征上下文,并确定特征上下文的关联的测试数据;在后台服务需要生成某个测试用例的测试数据时,从上下文管理系统中找到与该测试用例匹配的特征上下文,并根据与测试用例匹配的特征上下文分别关联的测试数据,生成该测试用例的测试数据。
通过这种方法能够自动生成测试用例的测试数据,有助于提升测试用例的测试数据的生成效率,并且在这种方法中,与特征上下文关联的测试数据是预先确定的,特征上下文关联的测试数据不合理的可能性较低,使得根据特征上下文关联的测试数据所生成的测试用例的测试数据具有一定的合理性。相比于人工对测试数据进行调试,一方面节约了人力成本,提升了测试用例的测试数据的生成效率,另一方面,避免了人工调试测试数据时由主观判断引入的不稳定因素。
图3是本申请一个示例性实施例提供的测试数据的生成方法的流程图。示例性地,该方法的执行主体可以是图1所示的方案实施环境中的后台服务100。如图3所示,该方法可以包括如下几个步骤(310~340)中的至少一个步骤:
步骤310,获取第一测试用例,第一测试用例中包括至少一个用例内容。
在一些实施例中,测试用例是指测试任务的语言描述,测试任务是指对应用程序进行测试的目标。可选地,同一个测试任务可以包括至少一个不同的测试用例。
在一些实施例中,测试用例包括4个部分:用例名、前置条件、操作步骤、预期结果。图4是本申请一个示例性实施例提供的测试用例组成的示意图。
可选地,用例名用于唯一标识测试用例,用例名的类型包括但不限于以下至少之一:测试用例的名称、测试用例的序号、测试用例的图标,以及上述至少两项的组合。
可选地,前置条件是指测试用例中需要满足的条件。示例性地,前置条件中包括判断步骤和判断结果。例如,某个前置条件为:“该用户支付账户的默认钱包是否为xx钱包:是”。
可选地,操作步骤用于指示测试过程中需执行的步骤。示例性地,操作步骤用于模拟用户在使用应用程序过程中的行为;操作步骤对应的测试步骤具有唯一性,也即一个操作步骤对应的测试目的唯一。
可选地,预期结果是指使用测试用例对应用程序进行测试后,期望达到的结果,若使用测试用例对应用程序进行测试得到的实际结果与预期结果不同,则说明应用程序的功能可能存在漏洞,需要进行对应的调整。
在一些实施例中,前置条件和操作步骤通过语料表示,语料是指便于理解的自然语言描述,也即通过语料标识的用例内容。可选地,为了方便对数量庞大的前置条件和操作步骤进行过管理,计算机设备为各个用例内容的语料设置语料标识,以便通过语料标识快速查找用例内容,以及建立用例内容与其他信息之间的映射关系。
图5是本申请一个示例性实施例提供的语料表示方式的示意图。图5中“语料”一列即为用例内容的自然语言标识方式,为了方便对用例内容进行管理,计算机设备还可以设置用于标识语料的“语料ID”和“语料序号”。
可选地,某些前置条件和操作步骤之间存在挂靠关系,挂靠关系是指在符合前置条件的情况下,才执行操作步骤。例如,前置条件A和操作步骤a之间存在挂靠关系,则在对测试用例进行测试的过程中,只有满足前置条件A的测试脚本才会执行操作步骤a。挂靠关系可以称为挂载关系。
图6是本申请一个示例性实施例提供的挂靠关系的示意图。
前置条件610与操作步骤620之间存在挂靠关系,在前置条件610出现的情况下,前置条件610之后的用例内容630即为操作步骤620相同。640表示特征上下文,有关特征上下文的步骤请参考下文介绍。
可选地,某些前置条件和操作步骤之间存在不共存关系,假设前置条件B和操作步骤b之间具有不共存关系,若前置条件B出现,则操作步骤b不能出现;若操作步骤b出现,则前置条件B不能出现。
在一些实施例中,第一测试用例是指待生成测试数据的测试用例。示例性地,在应用程序推出新的功能之后,需要对新的功能进行测试,针对这场景需要构造新的测试用例,该新的测试用例即可作为第一测试用例。示例性地,对于拥有测试数据的测试用例,在需要更新该测试用例的测试数据的情况下,该测试用例可作为第一测试用例。
在一些实施例中,测试用例包括至少一个用例内容,用例内容是指前置条件和操作步骤的统称。可选地,一个用例内容对应一个前置条件,或者,一个用例内容对应一个操作步骤。
在一些实施例中,计算机设备获取第一测试用例,包括:在需要生成测试数据的情况下,计算机设备读取用例名、前置条件、操作步骤和预期结果;计算机设备将用例名、前置条件、操作步骤和预期结果进行整合,得到第一测试用例。
可选地,计算机设备从历史测试用例库中获取第一测试用例,其中,历史测试用例库中的测试用例对应有至少一个测试数据。可选地,计算机设备通过输入设备获取第一测试用例。
示例性地,待测试的应用程序出现新功能之后,后台服务中的测试用例管理系统对操作步骤和前置条件进行组合得到第一测试用例中的用例内容。
步骤320,从候选的特征上下文中确定与第一测试用例匹配的至少一个特征上下文,作为至少一个第一特征上下文,特征上下文用于表征用例内容的组合。
在一些实施例中,特征上下文用于表征多个用例内容,也就是说,特征上下文中包括中至少两个用例内容,该至少两个用例内容组成了用例内容的组合。例如,某个特征上下文用于表征3个用例内容,则用例内容的组合由该3个用例内容组成。
可选地,用例内容的组合包括的多个用例内容之间存在顺序。例如,某个用例内容的组合1中包括:前置条件1、操作步骤1、前置条件2和操作步骤2,则在测试过程中若符合在计算机设备判断符合前置条件1之后,才会执行操作步骤1,在执行操作步骤1之后,计算机设备判断是否符合前置条件2,在符合前置条件2的情况下,计算机设备才执行操作步骤2。
示例性地,用例内容的组合是历史测试用例中连续的多个用例内容,也即特征上下文基于历史测试用例获取,有关特征上下文的获取方法请参考下文实施例。
在一些实施例中,特征上下文表征的内容用例的组合中包括前置条件和操作步骤中的至少一类用例内容。例如,内容用例的组合中包括至少两个前置条件、内容用例的组合中包括至少两个操作步骤,或者内容用例的组合包括若至少一个前置条件和至少一个操作步骤。
可选地,不同的特征上下文用于表征的用例内容的组合不同。示例性地,不同的特征上下文用于表征的用例内容的组合中分别包括的用例内容的数量不同。例如,某个用例内容的组合中包括3个用例内容,某个用例内容的组合中包括5个用例内容。示例性地,不同的特征上下文用于表征的用例内容的组合包括至少一个不同的用例内容,例如,某个用例内容的组合中包括用例内容1,另一个用例内容的组合中不包括用例内容1。示例性地,不同的特征上下文用于表征的用例内容的组合包括的用例内容的排列顺序不同。例如,某个用例内容的组合中各个用例内容的按照执行的先后顺序排列为:用例内容1、用例内容2;另一个用例内容的组合中各个用例内容的按照执行的先后顺序排列为:用例内容2、用例内容1。
可选地,同一个特征上下文能够表征多个用例内容的组合,且该多个用例内容的组合具有相同的测试目的。由上文内容可知,用例内容通过自然语言描述,因此可能存在n个用例内容,该n个用例内容分别对应的自然语言描述方式不同,但该n个用例内容具有相同的语义,也即该n个用例内容用于指示计算机设备在测试过程中执行相同的执行步骤,n为正整数。
例如,某个用例内容的组合中包括用例内容3-1和用例内容4-1,另一个用例内容的组合中包括用例内容3-2和用例内容4-2,其中,用例内容3-1和用例内容3-2具有的语义相同,用例内容4-1和用例内容4-2具有语义相同,则上述两个用例内容的组合可以由同一个特征上下文表征。
建立特征上下文使得具有相同或者相似含义,但是描述上不完全相同的用例内容的组合能够对应同一个的特征上下文,通过这种方式有助于提升特征上下文对不同的描述方式的用例内容的组合的泛化能力,减少存储重复的特征上下文的情况出现,减少引入本测试数据生成方法带来的计算压力和存储压力。
在一些实施例中,候选的特征上下文是指关联有测试数据的特征上下文,候选的特征上下文用于与第一测试用例进行匹配,以便得到与第一测试用例相匹配的第一特征上下文。示例性地,候选的特征上下文由人工预先指定。
在一些实施例中,第一特征上下文是指能够与第一测试用例匹配的候选特征上下文。也即,在使用第一测试用例进行测试的过程中,测试设备会执行第一特征上下文表征的用例内容的组合。也就是说,第一特征上下文中包括的至少一个用例内容中,存在第一特征上下文用于表征的用例内容组合中的用例内容。例如,某个第一测试用例中包括用例内容1、用例内容2、用例内容3和用例内容4,某个候选的特征上下文包括用例内容2、用例内容3,则该候选的特征上下文可以作为第一特征上下文;另一个候选的特征上下文包括用例内容1、用例内容3,则该候选的特征上下文也可以作为第一特征上下文;再一个候选的特征上下文包括用例内容1、用例内容5,则该候选的特征上下文不可以作为第一特征上下文。
在一些实施例中,第一测试用例对应多个第一特征上下文;可选地,多个第一特征上下文分别用于表征的用例内容的组合不同。示例性地,对于任意两个第一特征上下文,该两个第一特征上下文分别表征的用例内容的组合中包括至少一个不同的用例内容。
示例性地,该两个第一特征上下分别表征的用例内容的组合之间不存在重叠。例如,第一特征上下文1用于表征用例内容的组合a,用例内容的组合a中包括用例内容1和用例内容5;第一特征上下文2用于表征用例内容的组合b,用例内容的组合b中包括用例内容4和用例内容6。
示例性地,该两个第一特征上下分别表征的用例内容的组合之间存在重叠(也即存在至少一个相同的用例内容)。例如,第一特征上下文3用于表征用例内容的组合c,用例内容的组合c中包括用例内容1、用例内容3和用例内容5,第一特征上下文4用于表征用例内容的组合d,用例内容的组合d中包括用例内容2和用例内容5,则第一特征上下文3和第一特征上下文4包括相同的用例内容5。
在一些实施例中,计算机设备根据第一测试用例中包括的用例内容,从候选的特征上下文中确定至少一个第一特征上下文,有关第一特征上下文的确定方法请参考下文实施例。
步骤330,根据预先存储的特征上下文与测试数据之间的关联关系,获取至少一个第一特征上下文分别关联的测试数据。
在一些实施例中,候选的特征上下文关联有测试数据,候选的特征上下文关联的测试数据用于:对候选的特征上下文用于表征的用例步骤的组合中包括的各个用例内容进行测试。
可选地,计算机设备在数据库中预先存储测试数据,并建立测试数据与特征上下文之间的关联关系;在确定出至少一个第一特征上下文之后,计算机设备根据至少一个第一特征上下文,从数据库中确定出至少一个第一特征上下文分别关联的测试数据。示例性地,计算机设备根据第一特征上下文的上下文标识,从数据中查找与第一特征上下文关联的数据。
步骤340,根据至少一个第一特征上下文分别关联的测试数据,生成第一测试用例的测试数据,第一测试用例的测试数据用于对第一测试用例中包括的各个用例内容进行测试。
在一些实施例中,第一测试用例用于在测试脚本根据第一测试用例进行测试的过程中,根据测试数据生成第一测试用例的实际测试结果。可选地,测试数据包括测试帐号、可测应用接口(Application Programming Interface,API)和输入数据;其中,测试帐号用于模拟应用程序在实际使用过程所服务的对象使用的帐号,可测应用接口是指需要进行测试的应用接口,应用接口用于调用应用程序对应的函数,以实现应用程序中的功能;输入数据是指用于模拟用户输入的数据,例如,输入数据为用户在密码设置过程中输入的密码。
示例性地,在不同的测试场景中,测试帐号的类型不完全相同。
下面以支付测试场景为例对测试帐号进行介绍,其他测试场景中测试帐号的类型根据实际需要进行设定,在此不一一赘述。图7是本申请一个示例性实施例提供的测试数据类型的示意图。在支付测试场景中,测试帐号包括需付款的用户帐号和需收款的商户帐号,测试脚本通过测试帐号模拟应用程序实际运行过程中需要进行的支付任务。可选地,测试帐号包括多个用户帐号和多个商户帐号,以满足不同场景的测试需求。可测应用接口是指图7中的API函数。
在一些实施例中,在确定出至少一个第一特征上下文分别关联的测试数据之后,计算机设备将至少一个第一特征上下文分别关联的测试数据进行组合,生成第一测试用例的测试数据。
例如,某个测试用例中包括2个第一特征上下文,第一特征上下文1关联6个测试数据,第一特征上下文2关联5个测试数据,则计算机设备对该2个第一特征上下文分别对应的测试数据进行组合,得到第一测试用例的测试数据。
可选地,为了提升第一测试用例的测试数据的合理性,避免生成的第一测试用例的测试数据存在错误,计算机设备还会对至少一个第一特征上下文分别关联的测试数据进行筛选,并将筛选后的测试数据进行组合,得到第一测试用例的测试数据,有关该步骤的具体内容请参考下文实施例。
可选地,在得到测试数据之后,测试设备使用第一测试用例的测试数据进行测试,得到实际测试结果,计算机设备将实际测试结果与预期结果进行比较,确定待测应用程序是否出现异常。图8是本申请一个示例性实施例提供的测试结果的示意图,实际测试结果810和预期结果820可以显示在同一用户界面中。示例性地,预期结果由后台系统中的脚本断言管理系统管理。在通过本方法生成第一测试用例的测试数据之后,测试数据存储在脚本测试数据管理系统中,测试设备进行测试的过程中,从脚本测试数据管理系统获取第一测试用例的测试数据,从脚本代码管理系统获取根据第一测试用例执行测试过程所需要的测试脚本,从脚本断言管理系统中获取第一测试用例对应的预期结果,并根据上述三个信息进行测试过程。综上所述,本方法中通过确定与测试用例匹配的特征上下文,并根据特征上下文关联的测试数据生成测试用例的测试数据。一方面,在生成测试数据的过程中无需人工参与,实现了自动生成测试用例的测试数据,有助于提升测试用例的测试数据的生成效率。
另一方面,由于不同的用例内容的测试数据之间可能存在重复,相比于存储各个用例内容的测试数据,使用特征上下文表征多个用例内容,使得特征上下文关联的测试数据能够作为其表征的多个用例内容的测试数据,减少了同一个测试数据的重复存储,有助于减轻计算机设备对测试数据的存储压力。
下面通过几个实施例对第一特征上下文的确定方法进行介绍说明。
在一些实施例中,步骤320:从候选的特征上下文中确定与第一测试用例匹配的至少一个特征上下文,作为至少一个第一特征上下文,还包括以下几个子步骤:
子步骤322,计算机设备确定第一测试用例的特征标识序列,特征标识序列中包括至少一个用例内容分别对应的特征标识,特征标识用于标识用例内容的特征信息,具有相似语义的用例内容对应同一个特征信息。
在一些实施例中,用例内容的特征信息用于表征用例内容的语义。可选地,具有同一语义的用例内容对应同一个特征信息,具有不同语义的用例内容的特征信息不同。例如,用例内容c的自然语言描述为:“该xx用户的xx支付账户是否仅开通xx钱包:是”,该用例内容c的特征信息表示为:“待|支付账户|仅|开通|xx钱包:是”;用例内容d的自然语言描述为:“该xx支付用户的xx支付账户是否只开通xx钱包:是”,该用例内容d的特征信息也表示为:“待|支付账户|仅|开通|xx钱包:是”,也即用例内容c和用例内容d的特征信息相同。
图9是本申请一个示例性实施例提供的特征信息与语料的示意图。如图9所示,同一个特征信息对应至少一个具有相同含义的语料(也即用例内容)。
可选地,计算机设备确定第一测试用例中包括的各个用例内容的特征信息包括:对于至少一个用例内容中的任一个用例内容,若该用例内容属于历史用例内容,则将历史用例内容的特征信息作为该用例内容的特征信息;若该用例内容不属于历史用例内容,则计算机设备使用机器学习模型确定该用例内容的特征信息。
示例性地,历史用例内容是指历史测试用例中的用例内容,历史用例内容的特征信息可以通过人工分类得到。图10是本申请一个示例性实施例提供的人工分类特征信息的示意图。人工对历史用例内容进行处理,得到历史用例内容的特征信息,可选地,在人工对历史用例内容进行处理之后,会生成历史用例内容的工单1000,工单1000中包括历史用例内容的描述方式,也即自然语料1010和历史用例内容的特征信息1020。
示例性地,历史用例内容的特征信息通过用于进行自然语言处理的机器学习模型对历史用例内容的语料进行处理得到。该机器学习模型是BERT(Bidirectional EncoderRepresentation from Transformers,基于Transformers的双向编码器表示)模型,也可以是基于注意力机制建立的其他自然语言处理模型,计算机设备确定历史用例内容的输入表征,将该历史用例内容的输入表征作为机器学习模型输入,通过机器学习模型对输入表征进行处理,输出的历史用例内容的特征信息,具有相同语义的历史用例内容的特征信息相同。
可选地,用例内容的特征信息可以理解成用例内容的名称。在一些实施例中,为了方便对用例内容进行查找,计算机设备根据用例内容的特征信息确定用例内容对应的特征标识,用例内容对应的特征标识用于唯一标识用例内容。
在一些实施例中,在确定出用例内容的特征信息之后,计算机设备查找至少一个特征信息的编号,将特征信息的编号作为特征信息的特征标识,也即将该特征信息的编号作为用例内容对应的特征标识。例如则特征信息1的编号为01、则特征信息1的编号为02,则特征信息1的特征标识为01、则特征信息1的特征标识为02。
可选地,特征信息的编号与特征信息的内容有关,内容相似的特征信息的编号更接近,内容不同的两个特征信息的编号之间间隔较大。
可选地,对于第一测试用例包括的任一个用例内容,计算机设备对用例内容进行处理,确定用例内容的特征信息,并将该特征信息的编号确定为用例内容对应的特征标识。由上文内容可知多个具有相同语义的用例内容的特征信息相同,对应的特征标识相同。
在一些实施例中,特征标识序列包括第一测试用例的全部用例内容分别对应的特征标识。例如,第一测试用例中包括10个用例内容,则特征标识序列中包括该10个用例内容分别对应的特征标识。
可选地,在特征标识序列中包括多个特征标识的情况下,各个特征标识在特征标识序列中的顺序与用例内容在测试用例中的执行顺序有关。示例性地,计算机设备根据测试内容在测试用例中的执行顺序,确定特征标识在特征标识序列中的顺序。测试用例中执行顺序靠前的测试用例对应的特征标识,在特征标识序列中的位置靠前;测试用例中执行顺序靠后的测试用例对应的特征标识,在特征标识序列中的位置靠后。
子步骤324,对于任一个候选的特征上下文,若候选的特征上下文包括的特征标识均存在于特征标识序列中,则计算机设备将候选的特征上下文作为第二特征上下文。
在一些实施例中,候选的特征上下文包括的特征标识是指候选的特征上下文用于表征的用例内容的组合中各个用例内容分别对应的特征标识。也就是说,候选的特征上下文包括的特征标识包括特征上下文用于表征的用例内容的组合中全部的用例内容分别对应的特征标识。
可选地,候选的特征上下文2用于表征的用例内容的组合2,该用例内容的组合2中包括用例内容4、用例内容5和用例内容6;其中,用例内容4对应特征标识1、用例内容5对应特征标识2、用例内容6对应特征标识3,则该候选的特征上下文2包括的特征标识为:特征标识1、特征标识2和特征标识3。
在一些实施例中,第二特征上下文是指用于表征的用例内容的组合包含在第一测试用例中的候选特征上下文,通过第二特征上下文进行筛选,能够确定与第一测试用例匹配的第一特征上下文。
在一些实施例中,在确定出特征标识序列之后,计算机设备分别判断至少一个候选的特征上下文包括的特征标识是否存在于特征标识序列。若某个候选的特征上下文包括的特征标识存在于特征标识序列,则计算机设备将该候选的特征上下文作为第二特征上下文;若某个候选的特征上下文包括的特征标识不存在于特征标识序列,则计算机设备不会将该候选的特征上下文作为第二特征上下文。
子步骤326,计算机设备根据确定的至少一个第二特征上下文,得到至少一个第一特征上下文。
在一些实施中,若第一测试用例对应一个第二特征上下文,则计算机设备将该第二特征上下文作为第一特征上下文。若第一测试用例对应多个第二特征上下文,则计算机设备需要对多个第二特征上下文进行筛选,减少多个第二上下文中出现存在包含关系的特征上下文的可能性,由于存在包含关系的第二特征上下文相关联的测试数据之间可能存在重复,通过对第二特征上下文进行筛选,减少确定出的第一测试用例的测试数据的重复程度。
在一些实施例中,计算机设备从候选的特征上下文中确定与第一测试用例匹配的至少一个特征上下文,作为至少一个第二特征上下文,包括:设置第一测试用例的用例映射值,将第一测试用例中包含的至少一个用例内容与用例映射值进行关联,对于至少一个候选的特征上下文中任一个特征上下文,若特征上下文用于表征的用例内容与所述用例映射值相关联,则将该特征上下文作为所述第二特征上下文;计算机设备根据确定的至少一个第二特征上下文,得到至少一个第一特征上下文。
可选地,用例映射值用于快捷查找第二特征上下文,不同的测试用例的用例映射值不相同。可选地,计算机设备将所述第一测试用例中包含的至少一个用例内容与用例映射值进行关联,包括:对于至少一个用例内容中的任一个用例内容,计算机设备确定该用例内容的特征信息;计算机设备将该用例映射值加入用例内容的特征信息的映射值集合中。
示例性地,计算机设备将该用例内容的特征信息的特征标识对应有映射值集合,该映射值集合用于存储包括该用例内容的全部测试用例分别对应的用例映射值。例如,对于用例内容1,测试用例1、测试用例2和测试用例3中均包括该用例内容1,则用例内容1的特征信息的映射值集合中包括测试用例1的用例映射值、测试用例2的用例映射值和测试用例3的用例映射值。
在将第一测试用例中包括的至少一个用例内容与第一测试用例的用例映射值进行关联之后,计算机设备根据用例映射值从至少一个候选的特征上下文中确定第二特征上下文。示例性地,对于任一个候选的特征上下文,计算机设备判断该特征上下文用于表征用例内容组合的用例内容是否与第一测试用例的用例映射值之间存在关联。
若某个候选的特征上下文用于表征的全部用例内容与用例映射值之间存在关联,则计算机设备将该候选的特征上下文作为第二特征上下文,也就是说,对于候选的特征上下文用于表征的全部用例内容中的任一个用例内容,该用例内容对应的特征标识的映射值集合包括第一测试用例的用例映射值。若某个候选的特征上下文用于表征的至少一个用例内容与用例映射值之间不存在关联,则将该候选的特征上下文不能作为第二特征上下文,也就是说,若候选的特征上下文用于表征的用例内容的组合中包括至少一个异常用例内容,该异常用例内容对应的特征标识的映射值集合不包括第一测试用例的用例映射值。
在一些实施例中,计算机设备通过哈西算法确定第一测试用例的用例映射值。示例性地,计算机设备将第一测试用例中包括的用例内容对应的特征标识作为哈西数值对中的键(key),将第一测试用例的用例映射值作为该哈西数值对中的值(value),也即,特征标识的映射值集合包括特征标识作为哈西数值对中的键(key)时,对应的全部“值”。这样后续计算机设备能够根据候选的特征上下文用于表征的用例内容的特征标识,快速判断该用例内容是否存在于第一测试用例中。
例如对于某个候选的特征上下文,对于该候选的特征上下文用于表征的各个用例内容中的第一用例内容,计算机设备根据第一用例内容对应的特征标识,确定该特征标识对应的“值”中是否包括第一测试用例的用例映射值,若该第一用例内容特征标识对应的“值”包括第一测试用例的用例映射值,则计算机设备对于该特征上下文中的下一个第一用例内容继续重复执行上述步骤;若该第一用例内容特征标识对应的“值”不包括第一测试用例的用例映射值,则计算机设备确定该候选的特征上下文不能作为第二特征上下文;若该候选的特征上下文中的所有第一用例内容的特征标识对应的“值”均包括第一测试用例的用例映射值,则计算机设备将该候选的特征上下文作为第二特征上下文。
有关计算机设备根据确定的至少一个第二特征上下文,得到至少一个第一特征上下文的具体步骤请参考下文实施例,在此不进行赘述。
通过建立测试用例与用例内容之间的映射关系,在确定与测试用例匹配的特征上下文的过程中,根据候选的特征上下文对应的用例内容确定该候选的特征上下文是否能够与测试用例匹配,有助于提升从大量的候选的特征上下文中查找第一特征上下文的速度,减少匹配第一特征上下文过程中计算开销,有助于提升测试用例的测试数据的生成速度。
可选地,通过上述方法确定第二特征上下文的过程中,除了需要满足第二特征上下文对应的测试用例均为第一测试用例包括的测试用例之外,还需要确定特征上下文中的挂靠信息与第一测试用例中相关用例内容的挂靠信息相同,和/或,确定特征上下文中的非共存信息与第一测试用例中的相关用例内容的非共存信息相同;其中,挂靠信息用于表征第一测试用例或者特征上下文中存在挂靠关系的用例内容,非共存信息用于表征第一测用例或者特征上下文中存在非共存关系的用例内容,相关用例内容的是指特征上下文与第一测试用例中共有的用例内容。
下面通过几个实施例对第二特征上下文的筛选方法进行介绍说明。
在一些实施中,子步骤326,计算机设备根据确定的至少一个第二特征上下文,得到至少一个第一特征上下文,可以通过以下几个步骤实现:
子步骤326a,在存在多个第二特征上下文的情况下,若多个第二特征上下文中存在具有包含关系的两个第二特征上下文,则计算机设备根据两个第二特征上下文分别拥有的用例内容数量,从两个第二特征上下文中选择一个第二特征上下文,并将另一个第二特征上下文从多个第二特征上下文中剔除,得到剩余的第二特征上下文,包含关系是指一个特征上下文所表征的用例内容的组合包括另一个特征上下文所表征的用例内容的组合。
在一些实施例中,计算机设备判断多个第二特征上下文中是否存在具有包含关系的第二特征上下文,若多个第二特征上下文中不存在具有包含关系的第二特征上下文,则计算机设备将多个特征上下文作为第一特征上下文。
可选地,若多个第二特征上下文中存在具有包含关系的两个第二特征上下文,则计算机设备从具有包含关系的两个第二特征上下文中选择一个作为第一特征上下文,未被选择的第二特征上下文不能作为第一特征上下文。也就是说,在这种情况下,具有包含关系的两个第二特征上下文中只有被选择的第二特征上下文可以作为第一特征上下文。
在一些实施例中,第二特征上下文拥有的用例内容数量是指第二特征上下文用于表征的用例内容的组合所包括的用例内容的数量。例如,第二特征上下文用于表征的用例内容的组合包括6个用例内容,则第二特征上下文拥有的用例内容数量等于6个。
可选地,计算机设备根据第二特征上下文包括的特征标识的数量,快速确定第二特征上下文拥有的用例内容的数量,第二特征上下文拥有的用例内容的数量等于第二特征上下文包括的特征标识的数量。
可选地,对于具有包含关系的两个第二特征上下文,计算机设备根据第二特征上下文分别拥有的用例内容数量,从具有包含关系的两个第二特征上下文选择一个第二特征上下文,包括:计算机设备从具有包含关系的两个第二特征上下文中选择拥有的用例内容数量较大的第二特征上下文。例如,对于存在包含关系的第二特征上下文1和第二特征上下文2,第二特征上下文1拥有的用例内容数量为6个,第二特征上下文2拥有的用例内容数量为2个,则计算机设备从第二特征上下文1和第二特征上下文2中选择第二特征上下文1,也即将第二特征上下文2从多个第二特征上下文中剔除。
子步骤326b,计算机设备将剩余的第二特征上下文分别作为第一特征上下文。
在一些实施例中,剩余的第二特征上下文包括至少一个特征上下文,剩余的第二特征上下文中不存在具有包含关系的特征上下文。假设,经过子步骤326a的筛选过程,得到了9个剩余的第二特征上下文,则计算机设备将该9个剩余的第二特征上下文作为第一特征上下文,也即计算机设备从候选的特征上下文中确定出与第一测试用例匹配的9个第一特征上下文。
通过对特征上下文进行筛选,减少了测试用例匹配的特征上下文的数量,有助于减少测试用例匹配的特征上下文相关联的测试数据,得到的测试用例的测试数据的重复度,有助于提升生成的测试用例的测试数据的合理性,减少人工对生成的测试数据进行调试的必要。
下面通过几个实施例第一测试用例的测试数据的生成方法进行介绍说明。
在一些实施例中,步骤340,计算机设备根据至少一个第一特征上下文分别关联的测试数据,生成第一测试用例的测试数据,包括:计算机设备对至少一个第一特征上下文分别关联的测试数据进行组合,得到第一测试用例的测试数据。
可选地,第一特征上下文关联的测试数据由人工预设置,第一特征上下文关联的测试数据之间很少存在冲突,也即,在测试过程中不会产生由于测试数据导致的错误。
在一些实施例中,计算机设备对至少一个第一特征上下文分别关联的测试数据进行组合是指将至少一个第一特征上下文分别关联的测试数融合,得到第一测试用例的测试数据,也即第一测试用例的测试数据中包括第一特征上下文分别关联的测试数据。例如,某个第一特征上下文关联的测试数据为测试数据a和测试数据b,另一个第一特征上下文分别关联的测试数据为测试数据c;第一测试用例匹配的第一上下文仅包括上述两个第一特征上下文,则计算机设备根据上述两个第一特征上下文分别关联的测试数据,生成第一测试用例的测试数据中包括测试数据a、测试数据b和测试数据c。
由于特征上下文关联的测试数据是预先存储的,特征上下文关联的测试数据能够实现对特征上下文表征的用例内容的组合进行测试,因此,通过将特征上下文关联的测试数据生成测试用例的测试数据,相比于根据用例内容关联的测试数据,生成的测试用例的测试数据,有助于减少生成的测试数据中包括的各个测试数据存在矛盾的概率,从而提升测试用例测试数据的合理性,减少人工对测试数据进行调整的需求,有助于实现测试用例的测试数据的自动化生成。
下面通过几个实施例对测试数据的生成方法进行介绍说明。
在一些实施例中,计算机设备对至少一个第一特征上下文分别关联的测试数据进行组合,得到第一测试用例的测试数据,还包括以下几个子步骤:
若至少一个第一特征上下文分别关联的测试数据不存在冲突,则计算机设备将至少一个第一特征上下文分别关联的测试数据合并,得到第一测试用例的测试数据。
在一些实施例中,测试数据包括以下至少之一测试数据项:用户帐号、商户号、优惠信息、输入变量和可测试应用接口。示例性地,使用测试用例进行测试的过程由测试脚本实现,测试脚本获取某个测试用例、该测试用例的测试数据和断言(测试的期望结果),并使用上述3个内容进行测试过程;在一些情况中,测试脚本在根据测试用例进行测试过程中只能允许使用一个测试数据项。
以支付测试为例(测试数据中包括商户),在一次测试过程中,测试脚本仅支持对第一商户进行测试;若至少一个第一特征上下文分别关联的测试数据中分别包括不同的商户,则说明至少一个第一特征上下文分别关联的测试数据之间存在冲突,对于这种情况的处理方式具体请参考下文实施例。
在一些实施例中,至少一个第一特征上下文分别关联的测试数据存在冲突是指:至少两个第一特征上下文分别关联的测试数据中包括至少一个不能在同一个测试过程中出现的测试数据项。可选地,测试脚本仅能在测试数据中包括稳定的用户帐号、商户号、优惠信息的情况下,基于测试用例完成测试过程,因此,在至少一个第一特征上下文分别关联的测试数据中的用户帐号、商户号或者优惠信息中的至少一个不统一的情况下,至少一个第一特征上下文分别关联的测试数据存在冲突。为了方便理解,假设某个第一测试用例用于进行支付测试,该第一测试用例中包括的至少一个用例内容与两个第一特征上下文匹配,第一特征上下文1表征的用例内容的组合用于修改支付密码,第一特征上下文2表征的用例内容的组合用于使用支付密码进行支付,假设第一特征上下文1关联的测试数据中的用户帐号,与特征上下文2关联的测试数据中的用户帐号不同,会导致根据第一测试用例进行的测试无需正常进行,因此同一个测试用例中,一些测试数据项需要保持统一,在本步骤中需要对这些测试数据项进行统一,以避免测试数据之间存在冲突。
例如,以优惠信息进行举例,第一特征上下文1关联的测试数据中包括优惠信息1,第一特征上下文关联2的测试数据中包括优惠信息2,优惠信息1和优惠信息2不同,则说明第一特征上下文1和第一特征上下文2关联的测试数据存在冲突;第一特征上下文1关联的测试数据中包括优惠信息1,第一特征上下文3关联的测试数据中包括优惠信息1,则说明第一特征上下文1和第一特征上下文3关联的测试数据之间不存在冲突。
在一些实施例中,若第一特征上下文分别对应的测试数据不冲突,则计算机设备将至少一个第一特征上下文分别关联的测试数据合并,得到第一测试用例的测试数据。也就是说,计算机设备将至少一个第一特征上下文分别关联的测试数据加入到测试数据集合,该测试数据集合可以看作第一测试用例的测试数据。
在一些实施例中,若至少一个第一特征上下文分别关联的测试数据存在冲突,则对于存在冲突的测试数据,计算机设备根据存在冲突的测试数据分别对应的第一特征上下文的优先级,从存在冲突的测试数据中选择优先测试数据;计算机设备将至少一个第一特征上下文分别关联的测试数据中不存在冲突的测试数据与优先测试数据合并,得到第一测试用例的测试数据。
可选地,第一特征上下文的优先级与第一特征上下文的创建时长有关。示例性地,创建时长越短的第一特征上下文的优先级越高,创建时长越长的第一特征上下文的优先级越低,创建时长是指从确定第一特征上下文的关联测试数据开始到当前时刻的时长。计算机设备将创建时长最短的第一特征上下文对应的测试数据作为优先测试数据;随后计算机设备将至少一个第一特征上下文分别关联的测试数据中不存在冲突的测试数据与优先测试数据合并,得到第一测试用例的测试数据。
可选地,第一特征上下文的优先级与第一特征上下文用于表征的用例内容的组合的规模有关。示例性地,若用例内容的组合中包括的用例内容的数量越多,则第一特征上下文的优先级越高;若用例内容的组合中包括的用例内容的数量越少,则第一特征上下文的优先级越低,计算机设备将优先级较高的第一特征上下文关联的测试数据作为优先测试数据。
通过这种方法在特征上下文的测试数据出现冲突的情况下,对出现冲突的测试数据进行筛选,有助于提升生成的测试用例的测试数据的合理性。
在一些实施例中,测试数据的生成方法还包括:计算机设备获取用于生成特征上下文的多个用例内容;计算机设备确定多个用例内容分别对应的特征信息,具有相似语义的用例内容对应同一个特征信息;计算机设备将多个用例内容分别对应的特征信息进行组合,得到特征上下文。
在一些实施例中,该多个用例内容在历史测试用例中出现频率大于频率阈值,频率阈值为正整数,例如,频率阈值等于10。假设多个用例内容在历史测试用例中同时出现的频率大于频率阈值,则计算机设备将将该多个用例内容作为用于生成特征上下文的特征用例内容。
可选地,计算机设备获取候选的多个用例内容,计算机设备从至少一个历史测试用例中确定该候选的多个用例内容在至少一个历史测试用例中共同的出现频率,若该候选的多个用例内容在历史测试用例中出现频率大于频率阈值,则计算机设备将该候选的多个用例内容作为,用于生成特征上下文的多个用例内容,并分别确定多个用例内容分别对应的特征信息。
在一些实施例中,计算机设备确定多个用例内容分别对应的特征信息,包括:对于多个用例内容中的任一个用例内容,计算机设备对用例内容进行分词的得到至少一个语义单元,所述语义单元是指具有独立语义的最小单位;计算机设备确定所述至少一个语义单元的嵌入表征;计算机设备根据至少一个语义单元的嵌入表征,生成用例内容的输入向量;计算机设备通过机器学习模型对输入向量进行编码-解码处理,得到用例内容的特征信息。
可选地,语义单元为具有独立含义的词语或者语料中具有独立作用的字符。该机器学习模型可以是上文实施例中的BERT模型。
在一些实施例中,计算机设备将用例内容分别对应的特征信息组合,得到特征上下文,也即特征上下文中包括多个用例内容的特征信息。
在一些实施例中,计算机设备确定多个用例内容分别对应的特征信息,包括:对于多个用例内容中的每一个用例内容,计算机设备根据用例内容对应的语料的语义,确定用例内容对应的特征信息。
在一些实施例中,用例内容对应的语义是指用例内容的自然语言描述。可选地,由人工根据用例内容对应的语料的语义,确定用例内容对应的特征信息。可选地,通过机器学习模型对用例内容的语料进行处理,得到用例内容对应的特征信息,这种方法有助于进一步减少生成用例内容的过程中人工的参与,提升测试数据生成方法的自动化水平。
通过确定用例内容的特征信息,实现了对具有相同语义的用例内容进行归类,使得存在至少一个用例内容对应同一个特征信息,有助于减少根据多个用例内容生成的特征上下文的数量,有助于减少数据库中对候选的特征上下文,以及候选的上下文关联的测试数据进行存储的压力,减少引入本测试数据生成方法对产生的存储开销。
在一些实施例中,用例内容为前置条件或操作步骤,计算机设备获取用于生成特征上下文的多个用例内容,包括:计算机设备确定用于生成特征上下文的至少一个前置条件;计算机设备确定与至少一个前置条件具有挂靠关系的至少一个操作步骤;计算机设备获取用于生成特征上下文的多个用例内容,多个用例内容包括至少一个前置条件和至少一个操作步骤。
可选地,若多个用例内容中包括存在挂靠关系的前置条件和操作步骤,则计算机设备在生成多个用例内容对应的特征上下文的过程中,生成挂靠信息,该挂靠信息用于表征特征上下文拥有的多个用例内容中哪些用例内容之间存在挂靠关系。
在根据特征标识序列确定第一测试用例匹配的第一特征上下文的过程中,若某个候选的特征上下文包括的特征标识均存在于特征标识序列,且该候选的特征上下文的挂靠信息与第一测试用例包括的至少一个用例数据之间的挂靠关系相同的情况下,将该候选的特征上下文确定为第二特征上下文。
由于存在挂靠关系的前置条件和操作步骤分别对应的测试数据具有相似性,或者存在挂靠关系的前置条件和操作步骤分别对应的测试数据相同,因此,相比于将存在挂靠关系的前置条件和操作步骤设置在不同的特征上下文中,将存在挂靠关系的前置条件和操作步骤设置在同一个特征上下文中,有助于减少需要特征上下文关联的测试数据的数量,有助于降低存储特征上下文关联的测试数据消耗的存储空间,降低本测试数据生成方法对现有的测试数据生成构架的影响。
在一些实施例中,测试数据的生成方法还包括:计算机设备获取与特征上下文相关的至少一个第二测试用例,第二测试用例中包括特征上下文表征的用例内容的组合;计算机设备从第二测试用例的测试数据中,确定用于测试特征上下文表征的用例内容的组合的测试数据,作为候选测试数据;计算机设备根据各个第二测试用例中获取的候选测试数据,得到与特征上下文具有关联关系的测试数据。
在一些实施例中,第二测试用例属于历史测试用例,也即第二测试用例具有至少一个测试数据。可选地,第二测试用例中包括特征上下文表征的用例内容的组合第二测试用例中包括用于生成特征上下文的多个测试用例。可选地,用例内容的组合由用于生成特征上下文的多个测试用例组成。
在一些实施例中,若各个第二测试用例中获取的候选测试数据不相同,则计算机设备将各个第二测试用例中获取的候选测试数据中共有的测试数据,作为特征上下文关联的特征数据。计算机设备根据用例内容的组合中包括的多个用例内容分别对应的特征标识,作为特征上下文包括的特征标识;计算机设备根据特征上下文包括的特征标识确定特征上下文的上下文标识,该上下文标识用于唯一标识该特征上下文。
图11是本申请一个示例性实施例提供的用例内容获取方法的示意图。
通过用例内容添加控件1120能够在构建特征上下文的过程中,增加用例内容的组合中增加用例内容。通过查询控件能够确定:包括该用例内容的组合1110的第二测试用例的数量1140,如图11所示,某个测试用例中包括的某几个用例内容1130与用例内容的组合1110一致,也即该测试用例中包括该用例内容组合,该测试用例即为第二测试用例。
图12是本申请一个示例性实施例提供的用例内容获取方法的示意图。计算机设备在确定出用例内容的组合之后,根据用例内容的组合中各个用例内容分别对应的测试数据1200,确定与特征上下文关联的测试数据。
计算机设备在数据库中存储特征上下文关联的测试数据,并建立测试数据与上下文标识之间的关联关系,使得计算机设备能够通过上下文表示从数据库中查找得到特征上下文关联的测试数据。有助于加快计算机设备确定特征上下文关联的测试数据的速度。
下面通过一个示例对测试数据的生成方法进行介绍说明。
步骤A10:计算机设备获取用于生成特征上下文的多个用例内容;确定多个用例内容分别对应的特征信息,具有相似语义的用例内容对应同一个特征信息;将多个用例内容分别对应的特征信息进行组合,得到特征上下文。
可选地,计算机设备根据用例内容的用例标识,确定该用例内容是否属于历史用例内容,若该用例内容属于历史用例内容,则计算机设备通过用例标识进行查找,确定该用例内容对应的特征信息。若该用例内容不属于历史用例内容(也即该用例内容的用例标识未识别),则计算机设备通过机器学习模型确定该用例内容对应的特征信息。计算机设备将多个用例内容分别对应的特征信息进行组合得到特征上下文。
可选地,在生成存在挂靠关系的特征上下文的过程中,计算机设备确定用于生成特征上下文的至少一个前置条件;计算机设备确定与至少一个前置条件具有挂靠关系的至少一个操作步骤;计算机设备获取用于生成特征上下文的多个用例内容,多个用例内容包括至少一个前置条件和至少一个操作步骤。也即在特征上下文中用于表征前置条件的情况下,特征上下文还需要表征挂靠在该前置条件上的操作步骤。
步骤A20:计算机设备获取与特征上下文相关的至少一个第二测试用例,第二测试用例中包括特征上下文表征的用例内容的组合;从第二测试用例的测试数据中,确定用于测试特征上下文表征的用例内容的组合的测试数据,作为候选测试数据;根据各个第二测试用例中获取的候选测试数据,得到与特征上下文具有关联关系的测试数据。
在一些实施例中,计算机设备根据各个用例内容分别对应的测试数据,生成特征上下文的特征数据。
步骤A30:计算机设备获取第一测试用例,第一测试用例中包括至少一个用例内容,用例内容为前置条件或操作步骤。
可选地,第一测试用例是指需要生成测试数据的测试用例,或者第一测试用例是指需要更新测试数据的测试用例。
步骤A40:计算机设备确定第一测试用例的特征标识序列,特征标识序列中包括至少一个用例内容分别对应的特征标识,特征标识用于标识用例内容的特征信息,具有相似语义的用例内容对应同一个特征信息;对于任一个候选的特征上下文,若候选的特征上下文包括的特征标识均存在于特征标识序列中,则将候选的特征上下文作为第二特征上下文;根据确定的至少一个第二特征上下文,得到至少一个第一特征上下文。
可选地,计算机设备确定第一测试用例中包括的全部用例内容分别对应的特征信息,将得到的特征信息的特征标识确定为用例内容的特征标识。计算机设备第一测试用例包括全部用例内容分别对应的特征标识组合,得到特征标识序列。
计算机设备对候选的特征上下文包括的特征标识与特征标识序列进行匹配,若某个候选的特征上下文中包括的特征标识均存在于特征标识序列,则计算机设备将该候选的特征上下文作为第二特征上下文;计算机设备从多个第二特征上下文中剔除存在包含关系的第二特征上下文,并将未被剔除的特征上下文作为第一特征上下文。
可选地,在候选的特征上下文用于表征的用例内容的组合中存在挂靠关系的前置条件和操作步骤的情况下,则在候选的特征上下文与第一测试用例中存在相同的挂靠关系,且候选的上下文中包括的特征标识均存在于特征标识序列,则将该候选的特征上下文作为第二特征上下文。
步骤A50:计算机设备根据预先存储的特征上下文与测试数据之间的关联关系,获取至少一个第一特征上下文分别关联的测试数据。
步骤A60:计算机设备对至少一个第一特征上下文分别关联的测试数据进行组合,得到第一测试用例的测试数据。
有关上述步骤中未详细介绍的请参考上文实施例。本方法中的测试数据生成方法可以用于生成对支付功能进行测试的测试数据、用于对社交应用中的通信功能进行测试的测试数据、用于对游戏进行测试的测试数据等等,本申请在此不进行限定,对于不同的测试场景,测试数据中包括的测试数据项的类型,用例内容也不相同,测试数据中测试数据项的类型根据实际测试场景进行设定本申请在此不进行设定。
通过本申请提供的测试数据的生成方法有助于节省的现有的测试用例的测试数据的人工调试时间和维护成本;特征上下文关联的测试数据可以预先经过多次验证、总结得到,特征上下文关联的测试数据对特征上下文中用于表征的用例内容的测试效果较好,有助于提升基于测试数据生成的测试脚本的交付质量。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
图13示出了本申请一个示例性实施例提供的测试数据的生成装置的框图。该装置可以通过软件、硬件或者两者的结合实现成为计算机设备的全部或一部分。该装置1300可以包括:用例获取模块1310、上下文确定模块1320、测试数据确定模块1330和测试数据生成模块1340。
用例获取模块1310,用于获取第一测试用例,所述第一测试用例中包括至少一个用例内容;
上下文确定模块1320,应用从候选的特征上下文中确定与所述第一测试用例匹配的至少一个特征上下文,作为至少一个第一特征上下文,所述特征上下文用于表征用例内容的组合;
测试数据确定模块1330,用于根据预先存储的特征上下文与测试数据之间的关联关系,获取所述至少一个第一特征上下文分别关联的测试数据;
测试数据生成模块1340,用于根据所述至少一个第一特征上下文分别关联的测试数据,生成所述第一测试用例的测试数据,所述第一测试用例的测试数据用于对所述第一测试用例中包括的各个用例内容进行测试。
在一些实施例中,所述上下文确定模块1320,包括:序列生成单元,用于确定所述第一测试用例的特征标识序列,所述特征标识序列中包括所述至少一个用例内容分别对应的特征标识,所述特征标识用于标识所述用例内容的特征信息,具有相似语义的用例内容对应同一个特征信息;标识核对单元,用于对于任一个所述候选的特征上下文,若所述候选的特征上下文包括的特征标识均存在于所述特征标识序列中,则将所述候选的特征上下文作为第二特征上下文;上下文确定单元,用于根据确定的至少一个所述第二特征上下文,得到所述至少一个第一特征上下文。
在一些实施例中,所述下文确定单元,用于在存在多个所述第二特征上下文的情况下,若多个所述第二特征上下文中存在具有包含关系的两个第二特征上下文,则根据所述两个第二特征上下文分别拥有的用例内容数量,从所述两个第二特征上下文中选择一个第二特征上下文,并将另一个第二特征上下文从多个所述第二特征上下文中剔除,得到剩余的第二特征上下文,所述包含关系是指一个特征上下文所表征的用例内容的组合包括另一个特征上下文所表征的用例内容的组合;将所述剩余的第二特征上下文分别作为所述第一特征上下文。
在一些实施例中,所述测试数据生成模块1340,包括数据组合单元,用于对所述至少一个第一特征上下文分别关联的测试数据进行组合,得到所述第一测试用例的测试数据。
在一些实施例中,所述对数据组合单元,用于若所述至少一个第一特征上下文分别关联的测试数据不存在冲突,则将所述至少一个第一特征上下文分别关联的测试数据合并,得到所述第一测试用例的测试数据;若所述至少一个第一特征上下文分别关联的测试数据存在冲突,则对于存在冲突的测试数据,根据所述存在冲突的测试数据分别对应的第一特征上下文的优先级,从所述存在冲突的测试数据中选择优先测试数据;将所述至少一个第一特征上下文分别关联的测试数据中不存在冲突的测试数据与所述优先测试数据合并,得到所述第一测试用例的测试数据。
在一些实施例中,所述装置1300还包括:内容获取模块,用于获取用于生成所述特征上下文的多个用例内容;信息确定模块,用于确定所述多个用例内容分别对应的特征信息,具有相似语义的用例内容对应同一个特征信息;上下文生成模块,用于将所述多个用例内容分别对应的特征信息进行组合,得到所述特征上下文。
在一些实施例中,所述上下文生成模块,用于:对于所述多个用例内容中的每一个用例内容,根据所述用例内容对应的语料的语义,确定所述用例内容对应的特征信息。
在一些实施例中,所述用例内容为前置条件或操作步骤,所述内容获取模块,用于确定用于生成所述特征上下文的至少一个前置条件;确定与所述至少一个前置条件具有挂靠关系的至少一个操作步骤;获取用于生成所述特征上下文的所述多个用例内容,所述多个用例内容包括所述至少一个前置条件和所述至少一个操作步骤。
在一些实施例中,所述装置还包括:数据关联模块,用于获取与所述特征上下文相关的至少一个第二测试用例,所述第二测试用例中包括所述特征上下文表征的用例内容的组合;从所述第二测试用例的测试数据中,确定用于测试所述特征上下文表征的用例内容的组合的测试数据,作为候选测试数据;根据各个所述第二测试用例中获取的所述候选测试数据,得到与所述特征上下文具有关联关系的测试数据。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内容结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法侧的实施例,这里不再赘述。上述实施例提供的装置的有益效果请参考方法侧实施例的描述,这里也不再赘述。
图14示出了本申请一个示例性实施例提供的计算机设备的结构框图。
通常,计算机设备1400包括有:处理器1401和存储器1402。
处理器1401可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1401可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(FieldProgrammable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1401也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1401可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1401还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1402可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是有形的和非暂态的。存储器1402还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1402中的非暂态的计算机可读存储介质存储有计算机程序,该计算机程序由处理器1401加载并执行以实现上述各方法实施例提供的测试数据的生成方法。
本申请实施例还提供一种计算机可读存储介质,该存储介质中存储有计算机程序,所述计算机程序由处理器加载并执行以实现上述各方法实施例提供的测试数据的生成方法。
该计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM(RandomAccess Memory,随机存取存储器)、ROM(Read-Only Memory,只读存储器)、EPROM(ErasableProgrammable Read-Only Memory,可擦写可编程只读存储器)、EEPROM(ElectricallyErasable Programmable Read-Only Memory,电可擦写可编程只读存储器)、闪存或其他固态存储技术,CD-ROM、DVD(Digital Video Disc,高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知该计算机存储介质不局限于上述几种。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括计算机指令,所述计算机指令存储在计算机可读存储介质中,处理器从所述计算机可读存储介质读取并执行所述计算机指令,以实现上述各方法实施例提供的测试数据的生成方法。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同切换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种测试数据生成方法,其特征在于,所述方法包括:
获取用于生成特征上下文的多个用例内容,所述特征上下文用于表征用例内容的组合;
对于所述多个用例内容中的每一个用例内容,根据所述用例内容对应的语料的语义,确定所述用例内容对应的特征信息,具有相似语义的用例内容对应同一个特征信息;
将所述多个用例内容分别对应的特征信息进行组合,得到所述特征上下文;
获取第一测试用例,所述第一测试用例中包括至少一个用例内容;
从候选的特征上下文中确定与所述第一测试用例匹配的至少一个特征上下文,作为至少一个第一特征上下文;
根据预先存储的特征上下文与测试数据之间的关联关系,获取所述至少一个第一特征上下文分别关联的测试数据;
根据所述至少一个第一特征上下文分别关联的测试数据,生成所述第一测试用例的测试数据,所述第一测试用例的测试数据用于对所述第一测试用例中包括的各个用例内容进行测试。
2.根据权利要求1所述的方法,其特征在于,所述从候选的特征上下文中确定与所述第一测试用例匹配的至少一个特征上下文,作为至少一个第一特征上下文,包括:
确定所述第一测试用例的特征标识序列,所述特征标识序列中包括所述至少一个用例内容分别对应的特征标识,所述特征标识用于标识所述用例内容的特征信息,具有相似语义的用例内容对应同一个特征信息;
对于任一个所述候选的特征上下文,若所述候选的特征上下文包括的特征标识均存在于所述特征标识序列中,则将所述候选的特征上下文作为第二特征上下文;
根据确定的至少一个所述第二特征上下文,得到所述至少一个第一特征上下文。
3.根据权利要求2所述的方法,其特征在于,所述根据确定的至少一个所述第二特征上下文,得到所述至少一个第一特征上下文,包括:
在存在多个所述第二特征上下文的情况下,若多个所述第二特征上下文中存在具有包含关系的两个第二特征上下文,则根据所述两个第二特征上下文分别拥有的用例内容数量,从所述两个第二特征上下文中选择一个第二特征上下文,并将另一个第二特征上下文从多个所述第二特征上下文中剔除,得到剩余的第二特征上下文,所述包含关系是指一个特征上下文所表征的用例内容的组合包括另一个特征上下文所表征的用例内容的组合;
将所述剩余的第二特征上下文分别作为所述第一特征上下文。
4.根据权利要求1所述的方法,其特征在于,所述根据所述至少一个第一特征上下文分别关联的测试数据,生成所述第一测试用例的测试数据,包括:
对所述至少一个第一特征上下文分别关联的测试数据进行组合,得到所述第一测试用例的测试数据。
5.根据权利要求4所述的方法,其特征在于,所述对所述至少一个第一特征上下文分别关联的测试数据进行组合,得到所述第一测试用例的测试数据,包括:
若所述至少一个第一特征上下文分别关联的测试数据不存在冲突,则将所述至少一个第一特征上下文分别关联的测试数据合并,得到所述第一测试用例的测试数据;
若所述至少一个第一特征上下文分别关联的测试数据存在冲突,则对于存在冲突的测试数据,根据所述存在冲突的测试数据分别对应的第一特征上下文的优先级,从所述存在冲突的测试数据中选择优先测试数据;将所述至少一个第一特征上下文分别关联的测试数据中不存在冲突的测试数据与所述优先测试数据合并,得到所述第一测试用例的测试数据。
6.根据权利要求1所述的方法,其特征在于,所述用例内容为前置条件或操作步骤,所述获取用于生成所述特征上下文的多个用例内容,包括:
确定用于生成所述特征上下文的至少一个前置条件;
确定与所述至少一个前置条件具有挂靠关系的至少一个操作步骤;
获取用于生成所述特征上下文的所述多个用例内容,所述多个用例内容包括所述至少一个前置条件和所述至少一个操作步骤。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取与所述特征上下文相关的至少一个第二测试用例,所述第二测试用例中包括所述特征上下文表征的用例内容的组合;
从所述第二测试用例的测试数据中,确定用于测试所述特征上下文表征的用例内容的组合的测试数据,作为候选测试数据;
根据各个所述第二测试用例中获取的所述候选测试数据,得到与所述特征上下文具有关联关系的测试数据。
8.一种测试数据的生成装置,其特征在于,所述装置包括:
内容获取模块,用于获取用于生成特征上下文的多个用例内容,所述特征上下文用于表征用例内容的组合;
信息确定模块,用于对于所述多个用例内容中的每一个用例内容,根据所述用例内容对应的语料的语义,确定所述用例内容对应的特征信息,具有相似语义的用例内容对应同一个特征信息;
上下文生成模块,用于将所述多个用例内容分别对应的特征信息进行组合,得到所述特征上下文;
用例获取模块,用于获取第一测试用例,所述第一测试用例中包括至少一个用例内容;
上下文确定模块,用于从候选的特征上下文中确定与所述第一测试用例匹配的至少一个特征上下文,作为至少一个第一特征上下文,所述特征上下文用于表征用例内容的组合;
测试数据确定模块,用于根据预先存储的特征上下文与测试数据之间的关联关系,获取所述至少一个第一特征上下文分别关联的测试数据;
测试数据生成模块,用于根据所述至少一个第一特征上下文分别关联的测试数据,生成所述第一测试用例的测试数据,所述第一测试用例的测试数据用于对所述第一测试用例中包括的各个用例内容进行测试。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的测试数据的生成方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有计算机程序,所述计算机程序由处理器加载并执行以实现如权利要求1至7任一项所述的测试数据的生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310870820.5A CN116594914B (zh) | 2023-07-17 | 2023-07-17 | 测试数据的生成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310870820.5A CN116594914B (zh) | 2023-07-17 | 2023-07-17 | 测试数据的生成方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116594914A CN116594914A (zh) | 2023-08-15 |
CN116594914B true CN116594914B (zh) | 2023-12-26 |
Family
ID=87604844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310870820.5A Active CN116594914B (zh) | 2023-07-17 | 2023-07-17 | 测试数据的生成方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116594914B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107957957A (zh) * | 2017-12-28 | 2018-04-24 | 网易(杭州)网络有限公司 | 测试用例的获取方法和装置 |
CN112597014A (zh) * | 2020-12-16 | 2021-04-02 | 软通动力信息技术(集团)股份有限公司 | 基于数据驱动的自动化测试方法、装置、介质及电子设备 |
CN113515440A (zh) * | 2020-12-22 | 2021-10-19 | 腾讯科技(深圳)有限公司 | 测试用例分配方法、装置、计算机设备及存储介质 |
CN114116503A (zh) * | 2021-12-01 | 2022-03-01 | 中科新松有限公司 | 一种测试方法、装置、电子设备及存储介质 |
CN115774672A (zh) * | 2022-12-05 | 2023-03-10 | 中国工商银行股份有限公司 | 测试用例的生成方法、生成装置、服务器和存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11288173B1 (en) * | 2020-09-22 | 2022-03-29 | International Business Machines Corporation | Test case selection |
-
2023
- 2023-07-17 CN CN202310870820.5A patent/CN116594914B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107957957A (zh) * | 2017-12-28 | 2018-04-24 | 网易(杭州)网络有限公司 | 测试用例的获取方法和装置 |
CN112597014A (zh) * | 2020-12-16 | 2021-04-02 | 软通动力信息技术(集团)股份有限公司 | 基于数据驱动的自动化测试方法、装置、介质及电子设备 |
CN113515440A (zh) * | 2020-12-22 | 2021-10-19 | 腾讯科技(深圳)有限公司 | 测试用例分配方法、装置、计算机设备及存储介质 |
CN114116503A (zh) * | 2021-12-01 | 2022-03-01 | 中科新松有限公司 | 一种测试方法、装置、电子设备及存储介质 |
CN115774672A (zh) * | 2022-12-05 | 2023-03-10 | 中国工商银行股份有限公司 | 测试用例的生成方法、生成装置、服务器和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116594914A (zh) | 2023-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017514218A (ja) | サードパーティアプリケーションの実行 | |
US11720825B2 (en) | Framework for multi-tenant data science experiments at-scale | |
CN111401722B (zh) | 智能决策方法和智能决策系统 | |
CN109614312A (zh) | 测试用例生成方法、装置、电子设备及存储介质 | |
US11663113B2 (en) | Real time fault localization using combinatorial test design techniques and test case priority selection | |
CN114238134A (zh) | 一种测试结果展示方法、装置、设备及存储介质 | |
CN114328132A (zh) | 外部数据源的状态监控方法、装置、设备和介质 | |
CN112100070A (zh) | 版本缺陷的检测方法、装置、服务器及存储介质 | |
CN113032258A (zh) | 一种电子地图的测试方法、装置、电子设备及存储介质 | |
CN116594914B (zh) | 测试数据的生成方法、装置、设备及存储介质 | |
CN115712571A (zh) | 一种交互服务测试、装置、计算机设备及存储介质 | |
CN110544166A (zh) | 样本生成方法、装置及存储介质 | |
CN115858556A (zh) | 一种数据处理方法、装置、存储介质及电子设备 | |
CN115185819A (zh) | 系统测试方法、装置、设备及计算机可读存储介质 | |
CN115270923A (zh) | 一种基于场景的可视化智能决策方法及系统 | |
CN114817482A (zh) | 一种产品制造程序的确定方法、装置、设备及存储介质 | |
CN114650211A (zh) | 故障修复方法、装置、电子设备和计算机可读存储介质 | |
CN117076332B (zh) | 一种测试用例的测试方法、装置、电子设备及存储介质 | |
CN114884720B (zh) | 资源请求处理方法、装置、电子设备和存储介质 | |
CN113760475A (zh) | 线上系统迁移方法、装置、介质及电子设备 | |
CN113448822B (zh) | 测试方法、装置、计算机可读介质及电子设备 | |
US20230342553A1 (en) | Attribute and rating co-extraction | |
CN114996157A (zh) | 变更代码的风险识别方法、装置、设备以及存储介质 | |
CN115757097A (zh) | 一种测试用例生成方法、装置、电子设备及存储介质 | |
CN115964556A (zh) | 内容推荐方法、装置、计算机设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |