CN112256578B - 测试用例的管理方法及系统、电子设备、存储介质 - Google Patents
测试用例的管理方法及系统、电子设备、存储介质 Download PDFInfo
- Publication number
- CN112256578B CN112256578B CN202011146795.9A CN202011146795A CN112256578B CN 112256578 B CN112256578 B CN 112256578B CN 202011146795 A CN202011146795 A CN 202011146795A CN 112256578 B CN112256578 B CN 112256578B
- Authority
- CN
- China
- Prior art keywords
- operation object
- case
- test case
- test
- missing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 527
- 238000007726 management method Methods 0.000 title claims abstract description 172
- 238000000034 method Methods 0.000 claims abstract description 73
- 238000013100 final test Methods 0.000 claims description 48
- 238000013461 design Methods 0.000 claims description 43
- 238000012795 verification Methods 0.000 claims description 30
- 238000012986 modification Methods 0.000 claims description 26
- 230000004048 modification Effects 0.000 claims description 26
- 238000013101 initial test Methods 0.000 claims description 22
- 238000012216 screening Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 12
- 230000008439 repair process Effects 0.000 description 6
- 230000007717 exclusion Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种测试用例的管理方法及系统、电子设备、存储介质,其中,所述方法应用于管理端,具体包括:对比所述管理端的操作对象列表与目标服务的操作对象列表,将仅存在于所述管理端的操作对象列表中的操作对象确定为缺失操作对象;分别针对每个所述缺失操作对象,确定出所述缺失操作对象的替换操作对象,并将所述缺失操作对象相关的测试用例以及用例部件中的所述缺失操作对象替换为所述替换操作对象;分别为所述测试用例以及所述用例部件配置,将所述缺失操作对象替换为所述替换操作对象后缺失的参数;发布不再缺失操作对象和参数的所述测试用例以及所述用例部件。从而实现一种可以智能批量修复测试用例的方法,提高了服务测试的效率。
Description
技术领域
本申请涉及服务测试应用领域,特别涉及一种测试用例的管理方法及系统、电子设备、存储介质。
背景技术
互联网时代下,桌面端、移动端的应用呈现出爆发性增长的态势,使得端的测试变得至关重要。
目前界面自动化测试中,界面服务的操作对象、用例部件、测试用例的添加及修改等都由专门的人员负责。但当界面元素失效时或者更新新的功能时,通过人工并不能很好地确定缺失的操作对象,以及定位到所涉及的用例部件和测试用例,所以只能由测试开发人员根据自身记录修改或者界面自动化测试用例运行出错时检测到,此时再去排查问题,并进行相应的修复。
由于界面服务需要频繁的修改更新,因此先执行有问题的测试用例,后续再逐一进行排查,再由测试人员人为逐一进行修复,这不仅存在严重滞后性,影响测试效率,并且会耗费大量的时间和人力。
发明内容
基于上述现有技术的不足,本申请提供了一种测试用例的管理方法及系统、电子设备、存储介质,以解决现有缺乏有效的测试用例的管理方式,导致测试效率较低,且存在严重滞后性的问题。
为了实现上述目的,本申请提供了以下技术方案:
本申请第一方面提供了一种测试用例的管理方法,应用于管理端,所述测试用例的管理方法,包括:
对比所述管理端的操作对象列表与目标服务的操作对象列表,将仅存在于所述管理端的操作对象列表中的操作对象确定为缺失操作对象;
分别针对每个所述缺失操作对象,确定出所述缺失操作对象的替换操作对象,并将所述缺失操作对象相关的测试用例以及用例部件中的所述缺失操作对象替换为所述替换操作对象;
分别为所述测试用例以及所述用例部件配置,将所述缺失操作对象替换为所述替换操作对象后缺失的参数;
发布不再缺失操作对象和参数的所述测试用例以及所述用例部件;
所述分别为所述测试用例以及所述用例部件配置,将所述缺失操作对象替换为所述替换操作对象后缺失的参数,包括:
判断被替换的缺失操作对象是否有输入和输出的参数,若缺失操作对象不存在输入以及输出的参数,则依次检测缺失操作对象相关的各个测试用例和测试部件是否还存在其他的缺失操作对象;
若不存在其他的缺失操作对象,则针对该测试用例或测试部件执行发布不再缺失操作对象和参数的所述测试用例以及所述用例部件的步骤;若存在其他的缺失操作对象,则等待其他的缺失操作对象被替换后,执行发布不再缺失操作对象和参数的所述测试用例以及所述用例部件的步骤;
若被替换的缺失操作对象存在输入以及输出参数,为缺失操作对象相关的测试用例及用例部件中替换后的替换操作对象配置默认输入输出参数,并在确定该测试用例或用例部件不再缺失其他的缺失操作对象时,执行发布不再缺失操作对象和参数的所述测试用例以及所述用例部件步骤,否则置该测试用例或用例部件的参数状态为不齐全。
可选地,在上述的测试用例的管理方法中,所述对比所述管理端的操作对象列表与目标服务的操作对象列表,将仅存在于所述管理端的操作对象列表中的操作对象确定为缺失操作对象之前,还包括:
获取上报的所述目标服务的操作对象列表以及别名类型;
判断管理端中是否已存在与所述目标服务的别名类型相同的别名类型;
若判断出所述管理端中未存在与所述目标服务器的别名类型相同的别名类型,则在所述管理端中增加所述别名类型,并将所述目标服务的操作对象列表挂载在所述别名类型下;
若判断出所述管理端中已存在与所述目标服务器的别名类型相同的别名类型,则判断所述管理端中的所述别名类型对应的服务是否已在线;
若判断出所述管理端中的所述别名类型对应的服务已在线,则直接执行所述对比管理端的操作对象列表与目标服务的操作对象列表,将仅存在于所述管理端的操作对象列表中的操作对象确定为缺失操作对象;
若判断出所述管理端中的所述别名类型对应的服务未在线,则在将仅存在于所述目标服务的操作对象列表中的操作对象增加至所述管理端的操作对象列表中后,执行所述对比管理端的操作对象列表与目标服务的操作对象列表,将仅存在于所述管理端的操作对象列表中的操作对象确定为缺失操作对象。
可选地,在上述的测试用例的管理方法中,所述将仅存在于所述管理端的操作对象列表中的操作对象确定为缺失操作对象之后,还包括:
分别确定出每个所述缺失操作对象相关的所述测试用例及所述用例部件;
分别将每个所述缺失操作对象相关的所述测试用例及所述用例部件的可用状态置为对象缺失。
可选地,在上述的测试用例的管理方法中,所述分别为所述测试用例以及所述用例部件配置,将所述缺失操作对象替换为所述替换操作对象后缺失的参数之后,还包括:
确定出每个已替换为所述替换操作对象的所述缺失操作对象相关的测试用例以及用例部件;
获取每个所述测试用例的测试用例信息以及每个所述用例部件的用例部件信息;
分别根据每个所述测试用例的测试用例信息,确定出不缺失其他用例部件、操作对象及参数的各个所述测试用例,并将确定出的各个所述测试用例的可用状态置空,以及分别根据每个所述测试用例的测试用例信息,确定出不缺失其他用例部件、操作对象及参数的各个所述测试用例,并将确定出的各个所述测试用例的可用状态置空。
可选地,在上述的测试用例的管理方法中,还包括:
设计界面上实时突出显示无相关的测试用例的所述目标服务的操作对象;
响应用户的设计操作,针对所述用户选择的所述目标服务的操作对象,利用所述用户输入的设计信息创建测试用例或用例部件;其中,所述设计信息包括所述测试用例或所述用例部件的属性信息以及所述操作对象的输入参数;
保存创建的所述测试用例或所述用例部件;
若创建所述用例部件,则利用用例部件校验规则对所述用例部件及其相关的操作对象检验规则进行校验;
若所述用例部件及其相关的操作对象通过检验,则对与所述用例部件相关的操作对象进行状态修改处理,并发布所述用例部件;
若创建所述测试用例,则利用测试用例校验规则对所述测试用例及其相关的操作对象进行校验;
若所述测试用例及其相关的操作对象通过校验,则对所述测试用例相关的操作对象进行状态修改处理,并发布所述测试用例。
可选地,在上述的测试用例的管理方法中,所述发布所述测试用例后,还包括:
根据所述测试用例与其他测试用例在操作对象、用例部件、以及输入参数上的重复度,确定出所述测试用例的多级前端重复度;
根据所述测试用例与其他测试用例所指向的后台代码的重复度,确定出所述测试用例的多级后端重复度。
可选地,在上述的测试用例的管理方法中,还包括:
获取测试用例列表;其中,所述测试用例列表包括各个所述测试用例的名称、标签以及添加时间;
从所述测试用例列表中的前端重复度不低于配置的前端重复度的测试用例中,选取添加时间最早的测试用例,以及从所述测试用例列表中选取所有前端重复度不高于所述配置的前端重复度的测试用例,作为初选测试用例;
从所述初选测试用例中的后端重复度不低于配置的后端重复度的测试用例中选取添加时间最早的测试用例,以及从所述选取初选测试用例中选取所有后端重复度不高于所述配置的后端重复度的测试用例,作为终选测试用例。
可选地,在上述的测试用例的管理方法中,所述从所述初选测试用例中的后端重复度不低于配置的后端重复度的测试用例中选取添加时间最早的测试用例,以及从所述选取初选测试用例中选取所有后端重复度不高于所述配置的后端重复度的测试用例,作为终选测试用例之后,还包括:
分别针对每个所述终选测试用例,执行各个所述终选测试用例,并记录各个所述终选测试用例的执行的各个节点及用例部件的执行数据,以及监控各个所述终选测试用例的执行状态;其中,所述执行数据包括所述节点及用例部件的执行顺序、输入参数、输出参数;
根据执行数据生成所述终选测试用例的执行流水图,并将所述执行流水图显示在显示界面上;
当所述终选测试用例的在任意一个节点执行失败时,停止执行所述终选测试用例,并将用户选取的所述终选测试用例的起始节点至执行失败的所述节点间的节点作为重现节点;
响应用户的重现操作,依次执行各个所述重现节点;其中,若所述重现节点被配置为暂定节点,则在执行至所述节点时暂停执行。
本申请第二方面提供了一种测试用例的管理系统,包括管理端,所述管理端包括:
对比单元,用于对比所述管理端的操作对象列表与目标服务的操作对象列表,将仅存在于所述管理端的操作对象列表中的操作对象确定为缺失操作对象;
替换单元,用于分别针对每个所述缺失操作对象,确定出所述缺失操作对象的替换操作对象,并将所述缺失操作对象相关的测试用例以及用例部件中的所述缺失操作对象替换为所述替换操作对象;
配置单元,用于分别为所述测试用例以及所述用例部件配置,将所述缺失操作对象替换为所述替换操作对象后缺失的参数;
发布单元,用于发布不再缺失操作对象和参数的所述测试用例以及所述用例部件;
所述配置单元具体用于:
判断被替换的缺失操作对象是否有输入和输出的参数,若缺失操作对象不存在输入以及输出的参数,则依次检测缺失操作对象相关的各个测试用例和测试部件是否还存在其他的缺失操作对象;
若不存在其他的缺失操作对象,则针对该测试用例或测试部件执行发布不再缺失操作对象和参数的所述测试用例以及所述用例部件的步骤;若存在其他的缺失操作对象,则等待其他的缺失操作对象被替换后,执行发布不再缺失操作对象和参数的所述测试用例以及所述用例部件的步骤;
若被替换的缺失操作对象存在输入以及输出参数,为缺失操作对象相关的测试用例及用例部件中替换后的替换操作对象配置默认输入输出参数,并在确定该测试用例或用例部件不再缺失其他的缺失操作对象时,执行发布不再缺失操作对象和参数的所述测试用例以及所述用例部件步骤,否则置该测试用例或用例部件的参数状态为不齐全。
可选地,在上述的测试用例的管理系统中,还包括:
第一获取单元,用于获取上报的所述目标服务的操作对象列表以及别名类型;
第一判断单元,用于判断管理端中是否已存在与所述目标服务的别名类型相同的别名类型;
增加单元,用于在所述第一判断单元判断出所述管理端中未存在与所述目标服务器的别名类型相同的别名类型时,在所述管理端中增加所述别名类型,并将所述目标服务的操作对象列表挂载在所述别名类型下;
第二判断单元,用于在所述第一判断单元判断出所述管理端中已存在与所述目标服务器的别名类型相同的别名类型时,判断所述管理端中的所述别名类型对应的服务是否已在线;
其中,若所述第二判断单元判断出所述管理端中的所述别名类型对应的服务已在线时,则所述对比单元直接执行所述对比管理端的操作对象列表与目标服务的操作对象列表,将仅存在于所述管理端的操作对象列表中的操作对象确定为缺失操作对象;
若第二判断单元判断出所述管理端中的所述别名类型对应的服务未在线,则所述对比单元在将仅存在于所述目标服务的操作对象列表中的操作对象增加至所述管理端的操作对象列表中后,执行所述对比管理端的操作对象列表与目标服务的操作对象列表,将仅存在于所述管理端的操作对象列表中的操作对象确定为缺失操作对象。
可选地,在上述的测试用例的管理系统中,还包括:
第一确定单元,用于分别确定出每个所述缺失操作对象相关的所述测试用例及所述用例部件;
第一状态修改单元,用于分别将每个所述缺失操作对象相关的所述测试用例及所述用例部件的可用状态置为对象缺失。
可选地,在上述的测试用例的管理系统中,还包括:
第二确定单元,用于确定出每个已替换为所述替换操作对象的所述缺失操作对象相关的测试用例以及用例部件;
第二获取单元,用于获取每个所述测试用例的测试用例信息以及每个所述用例部件的用例部件信息;
第二状态修改单元,用于分别根据每个所述测试用例的测试用例信息,确定出不缺失其他用例部件、操作对象及参数的各个所述测试用例,并将确定出的各个所述测试用例的可用状态置空,以及分别根据每个所述测试用例的测试用例信息,确定出不缺失其他用例部件、操作对象及参数的各个所述测试用例,并将确定出的各个所述测试用例的可用状态置空。
可选地,在上述的测试用例的管理系统中,还包括设计单元,其中,所述设计单元,包括:
显示单元,用于在设计界面上实时突出显示无相关的测试用例的所述目标服务的操作对象;
创建单元,用于响应用户的设计操作,针对所述用户选择的所述目标服务的操作对象,利用所述用户输入的设计信息创建测试用例或用例部件;其中,所述设计信息包括所述测试用例或所述用例部件的属性信息以及所述操作对象的输入参数;
保存单元,用于保存所述创建单元创建的所述测试用例或所述用例部件;
第一校验单元,用于在所述创建单元创建所述用例部件时,利用用例部件校验规则对所述用例部件及其相关的操作对象检验规则进行校验;
第一处理单元,用于在所述用例部件及其相关的操作对象通过检验时,对与所述用例部件相关的操作对象进行状态修改处理,并发布所述用例部件;
第二校验单元,用于在所述创建单元创建所述测试用例时,利用测试用例校验规则对所述测试用例及其相关的操作对象进行校验;
第二处理单元,用于在所述测试用例及其相关的操作对象通过校验时,对所述测试用例相关的操作对象进行状态修改处理,并发布所述测试用例。
可选地,在上述的测试用例的管理系统中,还包括重复度计算单元,其中,所述重复度计算单元,包括:
前端重复度计算单元,用于根据所述测试用例与其他测试用例在操作对象、用例部件、以及输入参数上的重复度,确定出所述测试用例的多级前端重复度;
后端重复度计算单元,用于根据所述测试用例与其他测试用例所指向的后台代码的重复度,确定出所述测试用例的多级后端重复度。
可选地,在上述的测试用例的管理系统中,还包括:
第三获取单元,用于获取测试用例列表;其中,所述测试用例列表包括各个所述测试用例的名称、标签以及添加时间;
前端筛选单元,用于从所述测试用例列表中的前端重复度不低于配置的前端重复度的测试用例中,选取添加时间最早的测试用例,以及从所述测试用例列表中选取所有前端重复度不高于所述配置的前端重复度的测试用例,作为初选测试用例;
后端筛选单元,用于从所述初选测试用例中的后端重复度不低于配置的后端重复度的测试用例中选取添加时间最早的测试用例,以及从所述选取初选测试用例中选取所有后端重复度不高于所述配置的后端重复度的测试用例,作为终选测试用例。
可选地,在上述的测试用例的管理系统中,还包括:
执行单元,用于分别针对每个所述终选测试用例,执行各个所述终选测试用例,并记录各个所述终选测试用例的执行的各个节点及用例部件的执行数据,以及监控各个所述终选测试用例的执行状态;其中,所述执行数据包括所述节点及用例部件的执行顺序、输入参数、输出参数;
生成单元,用于根据执行数据生成所述终选测试用例的执行流水图,并将所述执行流水图显示在显示界面上;
选取单元,用于当所述终选测试用例的在任意一个节点执行失败时,停止执行所述终选测试用例,并将用户选取的所述终选测试用例的起始节点至执行失败的所述节点间的节点作为重现节点;
重现单元,用于响应用户的重现操作,依次执行各个所述重现节点;其中,若所述重现节点被配置为暂定节点,则在执行至所述节点时暂停执行。
本申请第三方面提供了一种电子设备,包括处理器和存储器;其中:
所述存储器用于存储计算机指令;
所述处理器用于执行所述存储器存储的计算机指令,具体执行如上述任意一项所述的测试用例的管理方法。
本申请第四方面提供了一种存储介质,用于存储程序,所述程序被执行时,用于实现如上述任意一项所述的测试用例的管理方法。
本申请公开的一种测试用例的管理方法,通过对比管理端的操作对象列表与目标服务的操作对象列表,将仅存在于管理端的操作对象列表中的操作对象确定为缺失操作对象。然后,分别针对每个缺失操作对象,确定出缺失操作对象的替换操作对象,并将缺失操作对象相关的测试用例以及用例部件中的所述缺失操作对象替换为替换操作对象,分别为测试用例以及所述用例部件配置,将缺失操作对象替换为替换操作对象后缺失的参数,最后发布不再缺失操作对象和参数的测试用例以及用例部件,从而快速地定位出需要进行修复的测试用例以及用例部件,进而可以对其进行批量修复,有效地提高了测试的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种管理端的系统结构示意图;
图2为本申请另一实施例提供的一种测试用例的管理方法的流程示意图;
图3为本申请另一实施例提供的一种操作对象的注册方法的流程示意图;
图4为本申请另一实施例提供的一种修改测试用例及用例部件的状态的方法的流程示意图;
图5为本申请另一实施例提供的一种修复测试用例以及用例部件的状态的方法的流程示意图;
图6为本申请另一实施例提供的一种测试用例及用例部件的设计方法的流程示意图;
图7为本申请另一实施例提供的一种操作对象的状态修改处理方法的流程示意图;
图8为本申请另一实施例提供的测试用例的筛选方法的流程示意图;
图9为本申请另一实施例提供的测试重现的方法的流程示意图;
图10为本申请另一实施例提供的一种管理端的结构示意图;
图11为本申请另一实施例提供的一种设计单元的结构示意图;
图12为本申请另一实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请提供了一种测试用例的管理方法,以解决现有的测试用例的管理方式无法高效地管理测试用例的问题。
可选地,申请实施例提供了一种用于管理测试用例的管理系统,所述管理系统包括管理端,所述管理端用于实现本申请提供的测试用例的管理方法。如图1所示,该管理端可以包括有:
操作对象管理模块、用例部件管理模块、用例设计器、用例重复筛选器以及用例运行监控器。
其中,操作对象管理模块主要用于接收上传的操作对象,并对操作对象进行检测等,且用户可在操作对象管理模板查看并管理操作对象等。
用例部件管理模块主要用于将多个操作对象组装成用例部件以及管理各个不同类型服务的用例部件等。具体的,用例部件管理模块中,可以显示对应类型服务所设计的用例部件,如果用例部件只是设计保存未发布,则在未发布界面查看,未发布的用例部件,不能被用例设计或者部件设计时调用。未发布的部件可以随意删除,已发布的用例部件则在已发布界面查看并设计,已发布的用例部件在删除时,会查询是否关联已发布的用例,如果已经关联,则不能删除该部件,否则可以删除。
用例设计器则主要用于设计用例部件以及用例,以及用户用例前端重复度校验等。用例重复筛选器主要用于重新设计发布用例、并且根据前端用例重复度、描述等关键信息快速筛选有效用例等。用例运行监视器主要用于监控用例的执行情况,以及在用例执行失败时,筛选对应的必经操作进行复现等。所以,本申请提供的管理端具有测试用例的智能批量修复、测试用例的设计、前后端重复度计算、测试用例筛选、测试用例运行重现等管理功能。
基于上述公开的管理端,本申请另一实施例提供了一种测试用例的管理方法,如图2所示,具体包括以下步骤:
S201、对比管理端的操作对象列表与目标服务的操作对象列表,将仅存在于管理端的操作对象列表中的操作对象确定为缺失操作对象。
首先需要说明的是,测试开发人员可以将开发完成的服务,封装成操作对象,上报至管理端。例如,将已开发完成的界面服务封装界面操作对象,每个操作对象可以是一个简单的操作,如收入框的点击操作,也可以是一系列操作的组合。需要说明的是,若是针对界面操作服务,则每个界面操作服务必须最少指定一个起始页面操作对象,起始页面操作对象用于执行自动化用例时,打开所需测试界面入口。
可选地,在本申请另一实施例中,在执行步骤S201之前还包括向管理端注册操作对象,具体如图3所示,包括:
S301、获取上报的目标服务的操作对象列表以及别名类型。
具体的,当启动目标服务时,上报目标服务的别名类型以及存在与目标服务的操作对象列表。
S302、判断管理端中是否已存在与目标服务的别名类型相同的别名类型。
需要说明的是,相同的服务具有相同的别名类型。由于目标服务并不定是首次使用,可能只是改版更新,所以可以通过服务的别名类型确定先前是否已上报过该别名类型的服务的操作对象列表。
其中,若判断出管理端中未存在与目标服务器的别名类型相同的别名类型,则执行步骤S303。若判断出管理端中已存在与目标服务器的别名类型相同的别名类型,则执行步骤S304。
S303、在管理端中增加别名类型,并将目标服务的操作对象列表挂载在别名类型下。
具体的,在管理端中增加目标服务对应的别名类型,然后将目标服务的操作对象列表挂载在增加的别名类型下,并将新盖章的操作对象的使用状态置为未使用。需要说明的是,同一类型的服务所上报的界面操作对象,在界面操作对象管理模块中,根据是否已关联自动化用例或者用例操作部件,且根据用例或者部件是否发布状态,分为已使用、未使用两种。
S304、判断管理端中的别名类型对应的服务是否已在线。
其中,若判断出管理端中的所述别名类型对应的服务已在线,说明已有该类型的服务注册使用,所以此时检测新上线的目标服务示范缺失已注册的操作对象,因此直接执行步骤S201,即执行步骤S306,进而执行后续步骤。其中,此时步骤S201的具体实施方式为:逐条检测管理端的操作对象列表中的各个操作对象是否存在于目标服务的操作对象列表中。如果存在,则为相应的操作对象对应的已上线服务增加新的服务记录,如果不存在,则确定该操作对象为缺失操作对象,并且可以为该操作对象对应的上线服务增加缺失该服务的记录。
若判断出管理端中的别名类型对应的服务未在线,即不存在同样别名类型的在线服务,则执行步骤S305。
S305、将仅存在于目标服务的操作对象列表中的操作对象增加至管理端的操作对象列表中。
需要说明的是,在执行步骤S305后,再执行步骤S201,即执行步骤S306,进而执行后续步骤。
可选地,具体的实施方式可以是:置空管理端的操作对象列表的检测状态,然后逐条检测目标服务的操作对象列表中的操作对象是否存在于管理端的操作对象列表中,若不存在,则说明该操作对象仅存在于目标服务的操作对象列表中,所以将该操作对象增加至管理端的操作对象列表中,并置该操作对象的使用状态为未使用。若存在,则将管理端的操作对象列表中的该操作对象的检测状态置为已检测,该操作对象已上行服务列表增加新的服务记录。
在检测完目标服务的操作对象列表后,检测管理端的操作对象列表中是否有未检测到的操作对象,即仅存在管理端的操作对象列表中操作对象。若没有,则结束检测;若存在,则遍历管理端的操作对象列表中未检测到的操作对象,并且如果该操作对象的使用状态为未使用,则删除该操作对象。若该操作对象的使用状态为已使用,则置该操作对象的可用状态为缺失,即确定该操作对象为缺失操作对象,并在已上线服务增加缺失的相应服务的记录。在检测完成后,判断是否存在缺失操作对象,若不存在则在界面操作对象管理端隐藏修复按钮;如果存在缺失操作对象,则展现修复按钮,以让用户触发执行后续的修复操作。
需要说明的是,在删除操作对象时,先检查操作对象是否有关联过的已发布的部件或用例,若存在则将操作对象的可用状态置为归档,相当于删除了该操作对象;若不存在,则可以直接删除该操作对象。
可选地,在本申请另一实施例中,在确定出缺失操作对象后,还可以进一步修改缺失操作对象相关的测试用例及用例部件的状态,如图4所示,具体包括:
S401、分别确定出每个缺失操作对象相关的测试用例及用例部件。
其中,缺失操作对象相关的测试用例包括与缺失操作对象直接相关的测试用例以及与操作对象相关的用例部件所涉及的测试用例,即也包括与缺失操作对象间接相关的测试用例。
S402、分别将每个缺失操作对象相关的测试用例及用例部件的可用状态置为对象缺失。
具体的,在确定出每个缺失操作对象相关的测试用例及用例部件后,分别针对确定出的测试用例组成的用例列表和用例部件组成的部件列表。若用例列表非空,则依次将用例列表中的可用状态为空的测试用例的可用状态置为对象缺失。同样,针对部件列表中的每个用例部件,若用例部件的可用状态为空,则不作修改,否则将其可用状态置为对象缺失。
S202、分别针对每个缺失操作对象,确定出缺失操作对象的替换操作对象,并将缺失操作对象相关的测试用例以及用例部件中的缺失操作对象替换为替换操作对象。
具体的,针对每个缺失操作对象,当用户选中一个缺失操作对象后,可以向用户展示该缺失操作对象相关的测试用例以及用例部件,并提示是否等待服务补充。如果用户选择等待,则结束当前对该缺失操作对象的修复。若用户选择不等待,则提示是否替换新的操作对象,若用户点击不替换,则置该缺失操作对象的可用状态为归档。若用户选择替换操作对象,则可以向用户展示该缺失操作对象的替换操作对象,在用户选择替换操作对象后,将缺失操作对象相关的测试用例以及用例部件中的缺失操作对象替换为替换操作对象。
S203、分别为测试用例以及用例部件配置,将缺失操作对象替换为替换操作对象后缺失的参数。
具体的,先判断被替换的缺失操作对象是否有输入和输出的参数,若缺失操作对象不存在输入以及输出的参数,则依次检测缺失操作对象相关的各个测试用例和测试部件是否还存在其他的缺失操作对象。若不存在其他的缺失操作对象,则可以针对该测试用例或测试部件执行步骤S204。若存在其他的缺失操作对象,则需要等其他的缺失操作对象也被替换后,才能发布。若被替换的缺失操作对象存在输入、输出参数,则需要为缺失操作对象相关的测试用例及用例部件中替换后的替换操作对象配置默认输入输出参数,并在确定该测试用例或用例部件不再缺失其他的缺失操作对象时,执行步骤S204,否则置该测试用例或用例部件的参数状态为不齐全。
可选地,在本申请另一实施例中,在执行步骤S202和步骤S203后,还可以进一步修复缺失操作对象相关的测试用例以及用例部件的状态。具体,如图5所示,包括以下步骤:
S501、确定出每个已替换为替换操作对象的缺失操作对象相关的测试用例以及用例部件。
S502、获取每个测试用例的测试用例信息以及每个用例部件的用例部件信息。
其中,测试用例信息中包括测试用例所缺失的操作对象的信息以及缺失参数的信息。同样,用例部件信息中则包括用例部件所缺失的操作对象的信息以及缺失的参数的信息。
S503、分别根据每个测试用例的测试用例信息,确定出不缺失其他用例部件、操作对象及参数的各个测试用例,并将确定出的各个测试用例的可用状态置空。
具体的,依次针对确定出每个测试用例,根据测试用例的测试用例信息,判断测试用例是否没有其他操作对象以及参数缺失。若判断为是,则将测试用例的部件状态置为空。其中,确定出的测试用例包括缺失操作对象直接相关的测试用例以及确定出的各个用例部件的测试用例。同样,依次判断各个用例部件是否存在其他操作对象或参数缺失,若判断出不存在,则将用例部件的可用状态置空。
S204、发布不再缺失操作对象和参数的测试用例以及用例部件。
当进行修复后的测试用例以及用例部件不缺失操作对象和参数时,则完成了对测试用例或用例部件的修改,从而可以进一步将测试用例或用例部件进行发布。
本申请实施例提供的测试用例的管理方法,通过对比管理端的操作对象列表与目标服务的操作对象列表,将仅存在于管理端的操作对象列表中的操作对象确定为缺失操作对象。然后,分别针对每个缺失操作对象,确定出缺失操作对象的替换操作对象,并将缺失操作对象相关的测试用例以及用例部件中的所述缺失操作对象替换为替换操作对象,分别为测试用例以及所述用例部件配置,将缺失操作对象替换为替换操作对象后缺失的参数,最后发布不再缺失操作对象和参数的测试用例以及用例部件,从而快速地定位出需要进行修复的测试用例以及用例部件,进而可以对其进行批量修复,有效地提高了测试的效率。
可选地,本申请另一实施例提供的测试用例的管理方法中,还可以进一步包括利用目标服务的操作对象设计测试用例或用例部件。如图6所示,具体的设计方法包括以下步骤:
S601、在设计界面上实时突出显示无相关的测试用例的目标服务的操作对象。
需要说明的是,在设计界面上除了显示出无相关的测试用例的目标服务的操作对象外,也可以同时显示出目标服务的其他的操作对象,但对于无相关的测试用例的需要突出显示,具体可以是通过红色进行显示,从而方便用户有针对性对无测试用例的操作对象进行测试用例的用例。
S602、响应用户的设计操作,针对用户选择的目标服务的操作对象,利用用户输入的设计信息创建测试用例或用例部件。
其中,设计信息用例或用例部件的属性信息以及操作对象的输入参数。而用例或用例部件的属性信息具体可以包括有服务类型、名称、描述、标签、添加类型等信息。
具体的,用户在需要新增测试用例或用例部件时,可以进入用例设计器的界面,进行测试用例或用例部件的设计。需要说明的是,用例设计器的界面可以展示用户所选择类型服务的操作对象及组件,用户可根据测试步骤选择对应的操作对象或者组件进行顺序编排。其中,用户所选择的操作对象或者组件有输入输出参数时,则必须配置输入参数,输出参数可根据需要转为自定义变量,供给下一个操作对象或者部件使用。具体的,如果设计类型为用例部件,可为用例部件配置外部输入输出参数,用例部件的输入参数在用例部件内部都可用过自定义变量获取,如果用例部件内部某个操作对象的输出参数需要对用例部件外部的用例进行输出,可配置对外自定义变量,即部件输出参数,供外部获取。如果设计类型为测试用例,可配置全局变量,全局变量可作为测试用例内部对象及部件的输入参数。
S603、保存创建的测试用例或用例部件。
需要说明的是,测试用例或用例部件在保存后,不可再修改对应的类型。在涉及的过程中用户可点击保持,对设计的测试用例或用例部件进行保持。
可选地,如果保存的是用例部件,则校验是否有用例部件重复,如果已发布的用例部件列表中,已存在所使用的操作对象以及编排顺序都与保存的用例部件一致的用例部件,则进行向用户进行重复添加的确认,在用户确认后可保存成功,否则保存失败。同理,如果保存的是测试用例,则校验是否有完全一样的测试用例,如果已发布的用例列表中,某个测试用例中所使用的操作对象、部件及其编排顺序与保存的测试用例完全一致,则进行重复保存提示,在用户确认保存后,则保存该测试用例,否则保存失败。
需要说明的是,保存成功的用例部件可在用例部件管理模块中查看、删除并重新设计发布,而测试用例可以在用例重复筛选器中查看、删除并重新设计发布。
S604、利用相应的校验规则对创建的测试用例或用例部件及其相关的操作对象进行校验,并判断是否通过校验。
其中,若创建的测试用例或用例部件及其相关的操作对象通过校验,则执行步骤S605。
具体的,若创建的是用例部件,即用户设计的是用例部件,则利用用例部件校验规则对创建的用例部件及组成该用例部件的操作对像进行校验。其中,具体的用例部件校验规则可以包括:1、每个操作对象的输入参数是否配置齐全,未配置齐全,则校验失败,否则校验成功;2、每个操作对象是否存在于该类型的对象管理模块中,且存在状态及可用状态为空,如果不存在或者存在状态或可用状态不为空,则校验失败,否则校验成功;3、所使用的用例部件是否都是已发布,如果有任意一个用例部件不存在,则校验失败,否则校验成功;4、使用的用例部件的输入参数是否配置齐全,若未配置齐全,则校验失败,否则校验成功。
若创建的是测试用例,即用户设计的是测试用例,则利用测试用例校验规则对测试用例及其相关的操作对象进行校验。其中,在界面测试领域中,测试用例校验规则通常为:测试用例的第一个操作对象或者测试用例的第一个用例部件的第一个操作对象是否为该测试用例测试的服务的起始操作页面对象,如果是,则校验通过,否则校验失败。
S605、对创建的测试用例或用例部件相关的操作对象进行状态修改处理,并发布创建的测试用例或用例部件。
需要说明的是,若创建的是测试用例,则对测试用例相关的操作对象进行状态修改处理;若创建的是用例部件,则对用例部件相关的操作对象进行状态修改处理。但是,对测试用例或用例部件相关的操作对象进行状态修改处理的方式是相同的,具体的方式如图7所示,具体包括如下步骤:
S701、获取创建的该测试用例或用例部件保存的操作对象的操作对象列表以及已发布的操作对象的操作对象列表。
S702、通过对比保存的操作对象的操作对象列表和已发布的操作对象的操作列表,确定出仅包含于保存的操作对象的操作对象列表中的操作对象,所组成的第一操作对象列表,以及确定仅包含于已发布的操作对象的操作对象列表中的操作对象,所组成的第二操作对象列表。
S703、依次针对第一操作对象列表中的每个操作对象,判断操作对象是否关联其他已发布的测试用例或用例部件。
其中,若判断出操作对象未关联有其他已发布的测试用例或用例部件,则执行步骤S704。
S704、置未关联有其他已发布的测试用例或用例部件的操作对象的使用状态为未使用。
在执行步骤S704后,还可以进一步针对未关联有其他已发布的测试用例或用例部件的操作对象,执行步骤S705。
S705、分别判断各个操作对象的存在状态为缺失。
若判断出操作对象的存在状态为缺失,则执行步骤S706。
S706、置该操作对象的存在状态为空,并置该操作对象的可用状态为归档。
S707、分别针对第二操作对象列表中的每个操作对象,判断操作对象的使用状态是否为未使用。
其中,若判断出操作对象的使用状态为未使用,则执行步骤S708。
S708、将操作对象的使用状态置为使用。
需要说明的是,步骤S707和步骤S708并不一定在步骤S706之后执行,只需要在步骤S702之后,依次执行即可,本申请实施例中的执行顺序仅是其中一种可选的方式。
可选地,在本申请另一实施例中,在发布测试用例后,还可以进一步包括计算测试用例的前端重复度以及后端重复度。其中,前端重复度的计算方式为:根据测试用例与其他测试用例在操作对象、用例部件、以及输入参数上的重复度,确定出测试用例的多级前端重复度。
其中,前端重复度的级别以及每个级别对应的前端重复度的大小,都可以根据需求进行设置。例如,前端重复度可以设置为:完全前端重复、高度前端重复、中度前端重复以及低度前端重复四个级别。每个级别的对应的前端重复度的大小具体为:完全前端重复指的是测试用例与某一个测试用例的操作对象及用例部件在测试用例设计中的顺序完全一致,且参数值完全一致;高度前端重复则为:测试用例与其他测试用例的操作对象或者用例部件、输入对象重复度在70%以上,但未完全重复;中度前端重复:测试用例与其他测试用例的操作对象或者用例部件、输入对象重复度在40%以上,但是未达到70%。低度前端重复度则为:测试用例与其他测试用例的操作对象或者部件、输入对象重复度低于40%。
后端重复度的计算方法具体可以是:根据测试用例与其他测试用例所指向的后台代码的重复度,确定出测试用例的多级后端重复度。
同理,后端重复度的级别以及每个级别对应的后端重复度的大小,都可以根据需求进行设置。例如,后端重复度同样可以设置为:完全逻辑重复、高度逻辑重复、中度逻辑重复以及低度逻辑重复四个级别,具体各个级别对应的后端重复度为:测试用例与其他用测试例所执行的后台代码完全一致,则后端重复度为完全逻辑重复;测试用例与其他测试用例所执行的后台代码重复度高于等于70%,但是未达到100%,则后端重复度为高度逻辑重复;测试用例与其他测试用例所执行的后台代码重复度高于40%,但是未达到70%中,则后端重复度为中度逻辑重复;测试用例与其他测试用例所执行的后台代码重复度未达到40%,则后台重读度为低度逻辑重复。
在用例发布成功后,可在用户点击测试用例的运行按钮时,响应用户的操作获取测试用例的后端重复度。
可选地,在本申请另一实施例中,可以基于上述计算得到的前端重复度、后端重复度以及测试用例的标签,实现对测试用例的自动筛选,以便能够快速为所验证的场景提供有效测试用例。具体的筛选方式,如图8所示,包括以下步骤:
S801、获取测试用例列表,测试用例列表包括各个测试用例的名称、标签以及添加时间。
S802、从测试用例列表中的前端重复度不低于配置的前端重复度的测试用例中,选取添加时间最早的测试用例,以及从测试用例列表中选取所有前端重复度不高于配置的前端重复度的测试用例,作为初选测试用例。
其中,配置的前端重复度指的是配置的筛选前端重复度的筛选标准,即配置的需要被筛选掉的某个级别以及该级别以上级别的前端重复度。例如,在上述示例的基础上,配置的前端重复度则相应地可以是:排除完全前端重复、排除高度前端重复、排除中度前端重复、排除低度前端重复以及不排除,五个标准中的一个,具体若配置的是排除完全前端重复,则完全前端重复的测试用例中只取添加时间最早的测试用例,其他的完全前端重复的测试用例则不再添加,并且还取剩下高度、中度、低度前端重复测试用例,在进行去重后进行添加。如果配置的是排除高度前端重复,则从完全前端重复、高度前端重复的测试用例中,取添加时间最早的测试用例,并且取剩下中度、低度前端重复的测试用例,在进行去重后进行添加。同理,可以相应的得出对于配置的排除中度前端重复、排除低度前端重复以及不排除时具体的筛选方式,因此此处不再赘述。
S803、从初选测试用例中的后端重复度不低于配置的后端重复度的测试用例中选取添加时间最早的测试用例,以及从选取初选测试用例中选取所有后端重复度不高于配置的后端重复度的测试用例,作为终选测试用例。
同理,配置的后端重复度指的是配置的筛选后端重复度的筛选标准,即配置的需要被筛选掉的某个级别以及该级别以上级别的后端重复度。例如,通常在上述示例的基础上,配置的后端重复度则相应地可以是:排除完全逻辑重复、排除高度逻辑重复、排除中度逻辑重复以及排除低度逻辑重复以及不排除,五个中的一个。
需要说明的是,基于后端重复度进行筛选的方式与基于前端重读度筛选的方式相同,因此基于后端重复度进行筛选的方式可相应地参考上述基于前端重读度筛选的方式,此处不再赘述。
还需要说明的是,本申请实施例在基于前端重复度进行筛选后,又进一步基于后端重复度进行筛选,仅是一种可选的方式。也可以仅是基于前端重复度进行筛选,或者仅是基于后端重复度进行筛选。
可选地,在筛选出测试用例后则可以执行测试用例,并监控测试用例的执行,在测试用例用例执行失败时,可以及时进行重试。具体的过程,如图9所示,包括:
S901、分别针对每个终选测试用例,执行各个终选测试用例,并记录各个终选测试用例的执行的各个节点及用例部件的执行数据,以及监控各个终选测试用例的执行状态。
具体的,在测试用例筛选结束后,用户可以点击运行,从而运行筛选出的测试用例。在运行过程中,管理端将记录每个运行节点以及用例部件的留痕以及输入输出参数,并保存至用例运行表中。在测试用例运行过程中,用户可以通过用例运行监控器查看每个测试用例的执行状态及执行信息,例如,执行中、等待执行、执行成功、执行失败以及对应的执行客户端等。
S902、根据执行数据生成终选测试用例的执行流水图,并将执行流水图显示在显示界面上。
根据执行数据生成终选测试用例的执行流水图,从而在测试用例执行失败时,用户可以进入用例执行流水图里面查看具体失败的节点,查看该节点的输入输出参数等,也便于用户选择重试的节点。
S903、当终选测试用例的在任意一个节点执行失败时,停止执行终选测试用例,并将用户选取的终选测试用例的起始节点至执行失败的节点间的节点作为重现节点。
需要说明的是,用户可以根据起始点,选择至失败点必要操作节点,从而在测试用例运行失败重现时,能略过非必要步骤,并可在对应节点下配置是否需要暂停,如果配置暂停,运行至该节点暂停,方便人员跟踪问题。此时,需要用户再次点击运行,则继续运行剩余节点。
S904、响应用户的重现操作,依次执行各个重现节点,若当前执行的重现节点被配置为暂定节点,则暂停执行。
需要说明的是,若选取的节点为起始节点,则管理端直接按照该节点的输入参数进行重试。若该节点非起始页面操作节点,自动获取该用例中,该节点临近的起始页面操作节点为起始点。
本申请另一实施例提供了一种测试用例的管理系统,包括管理端,所述管理端如图10所示,具体包括以下单元:
对比单元1001,用于对比管理端的操作对象列表与目标服务的操作对象列表,将仅存在于管理端的操作对象列表中的操作对象确定为缺失操作对象。
替换单元1002,用于分别针对每个缺失操作对象,确定出缺失操作对象的替换操作对象,并将缺失操作对象相关的测试用例以及用例部件中的缺失操作对象替换为替换操作对象。
配置单元1003,用于分别为测试用例以及用例部件配置,将缺失操作对象替换为替换操作对象后缺失的参数。
发布单元1004,用于发布不再缺失操作对象和参数的测试用例以及用例部件。
可选地,在本申请另一实施例提供的测试用例的管理系统中,还进一步包括以下单元:
第一获取单元,用于获取上报的目标服务的操作对象列表以及别名类型。
第一判断单元,用于判断管理端中是否已存在与目标服务的别名类型相同的别名类型。
增加单元,用于在第一判断单元判断出管理端中未存在与目标服务器的别名类型相同的别名类型时,在管理端中增加别名类型,并将目标服务的操作对象列表挂载在别名类型下。
第二判断单元,用于在第一判断单元判断出管理端中已存在与目标服务器的别名类型相同的别名类型时,判断管理端中的别名类型对应的服务是否已在线;
其中,若第二判断单元判断出管理端中的别名类型对应的服务已在线时,则对比单元直接执行对比管理端的操作对象列表与目标服务的操作对象列表,将仅存在于管理端的操作对象列表中的操作对象确定为缺失操作对象;
若第二判断单元判断出管理端中的别名类型对应的服务未在线,则对比单元在将仅存在于目标服务的操作对象列表中的操作对象增加至管理端的操作对象列表中后,执行对比管理端的操作对象列表与目标服务的操作对象列表,将仅存在于管理端的操作对象列表中的操作对象确定为缺失操作对象。
可选地,在本申请另一实施例提供的测试用例的管理系统中,还包括用于修改测试用例的可用状态的单元,具体包括:
第一确定单元,用于分别确定出每个缺失操作对象相关的测试用例及用例部件。
第一状态修改单元,用于分别将每个缺失操作对象相关的测试用例及用例部件的可用状态置为对象缺失。
可选地,在本申请另一实施例提供的测试用例的管理系统中,还包括以下单元:
第二确定单元,用于确定出每个已替换为替换操作对象的缺失操作对象相关的测试用例以及用例部件。
第二获取单元,用于获取每个测试用例的测试用例信息以及每个用例部件的用例部件信息。
第二状态修改单元,用于分别根据每个测试用例的测试用例信息,确定出不缺失其他用例部件、操作对象及参数的各个测试用例,并将确定出的各个测试用例的可用状态置空,以及分别根据每个测试用例的测试用例信息,确定出不缺失其他用例部件、操作对象及参数的各个测试用例,并将确定出的各个测试用例的可用状态置空。
可选地,在本申请另一实施例提供的测试用例的管理系统中,还包括设计单元。其中,如图11所示,设计单元,包括以下单元:
显示单元1101,用于在设计界面上实时突出显示无相关的测试用例的目标服务的操作对象。
创建单元1102,用于响应用户的设计操作,针对用户选择的目标服务的操作对象,利用用户输入的设计信息创建测试用例或用例部件。
其中,设计信息包括测试用例或用例部件的属性信息以及操作对象的输入参数。
保存单元1103,用于保存创建单元创建的测试用例或用例部件。
第一校验单元1104,用于在创建单元1102创建用例部件时,利用用例部件校验规则对用例部件及其相关的操作对象检验规则进行校验。
第一处理单元1105,用于在用例部件及其相关的操作对象通过检验时,对与用例部件相关的操作对象进行状态修改处理,并发布用例部件。
第二校验单元1106,用于在创建单元1102创建测试用例时,利用测试用例校验规则对测试用例及其相关的操作对象进行校验。
第二处理单元1107,用于在测试用例及其相关的操作对象通过校验时,对测试用例相关的操作对象进行状态修改处理,并发布测试用例。
可选地,在本申请另一实施例提供的测试用例的管理系统中,还包括重复度计算单元。其中,重复度计算单元,包括:
前端重复度计算单元,用于根据测试用例与其他测试用例在操作对象、用例部件、以及输入参数上的重复度,确定出测试用例的多级前端重复度。
后端重复度计算单元,用于根据测试用例与其他测试用例所指向的后台代码的重复度,确定出测试用例的多级后端重复度。
可选地,在本申请另一实施例提供的测试用例的管理系统中,还包括用于筛选测试用例的单元,具体包括以下单元:
第三获取单元,用于获取测试用例列表。
其中,测试用例列表包括各个测试用例的名称、标签以及添加时间。
前端筛选单元,用于从测试用例列表中的前端重复度不低于配置的前端重复度的测试用例中,选取添加时间最早的测试用例,以及从测试用例列表中选取所有前端重复度不高于配置的前端重复度的测试用例,作为初选测试用例。
后端筛选单元,用于从初选测试用例中的后端重复度不低于配置的后端重复度的测试用例中选取添加时间最早的测试用例,以及从选取初选测试用例中选取所有后端重复度不高于配置的后端重复度的测试用例,作为终选测试用例。
可选地,在本申请另一实施例提供的测试用例的管理系统中,还可以进一步包括:
执行单元,用于分别针对每个终选测试用例,执行各个终选测试用例,并记录各个终选测试用例的执行的各个节点及用例部件的执行数据,以及监控各个终选测试用例的执行状态。其中,执行数据包括节点及用例部件的执行顺序、输入参数、输出参数。
生成单元,用于根据执行数据生成终选测试用例的执行流水图,并将执行流水图显示在显示界面上。
选取单元,用于当终选测试用例的在任意一个节点执行失败时,停止执行终选测试用例,并将用户选取的终选测试用例的起始节点至执行失败的节点间的节点作为重现节点。
重现单元,用于响应用户的重现操作,依次执行各个重现节点。
其中,若重现节点被配置为暂定节点,则在执行至节点时暂停执行。
需要说明的是,本申请上述实施例提供的测试用例的管理系统的各个单元的具体工作过程可相应地参考上述方法实施例中的相应步骤的实施过程,此处不再赘述。
本申请另一实施例提供了一种电子设备,如图12所示,包括:处理器1201和存储器1202。
其中,存储器1202用于存储计算机指令;处理器1201用于执行存储器1202存储的计算机指令,具体执行如上述任意一个实施例提供的测试用例的管理方法。
本申请第四方面提供了一种存储介质,用于存储程序,程序被执行时,用于实现如上述任意一项的测试用例的管理方法。
其中,该存储介质为计算机存储介质。计算机存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (18)
1.一种测试用例的管理方法,其特征在于,应用于管理端,所述测试用例的管理方法,包括:
对比所述管理端的操作对象列表与目标服务的操作对象列表,将仅存在于所述管理端的操作对象列表中的操作对象确定为缺失操作对象;
分别针对每个所述缺失操作对象,确定出所述缺失操作对象的替换操作对象,并将所述缺失操作对象相关的测试用例以及用例部件中的所述缺失操作对象替换为所述替换操作对象;
分别为所述测试用例以及所述用例部件配置,将所述缺失操作对象替换为所述替换操作对象后缺失的参数;
发布不再缺失操作对象和参数的所述测试用例以及所述用例部件;
所述分别为所述测试用例以及所述用例部件配置,将所述缺失操作对象替换为所述替换操作对象后缺失的参数,包括:
判断被替换的缺失操作对象是否有输入和输出的参数,若缺失操作对象不存在输入以及输出的参数,则依次检测缺失操作对象相关的各个测试用例和测试部件是否还存在其他的缺失操作对象;
若不存在其他的缺失操作对象,则针对该测试用例或测试部件执行发布不再缺失操作对象和参数的所述测试用例以及所述用例部件的步骤;若存在其他的缺失操作对象,则等待其他的缺失操作对象被替换后,执行发布不再缺失操作对象和参数的所述测试用例以及所述用例部件的步骤;
若被替换的缺失操作对象存在输入以及输出参数,为缺失操作对象相关的测试用例及用例部件中替换后的替换操作对象配置默认输入输出参数,并在确定该测试用例或用例部件不再缺失其他的缺失操作对象时,执行发布不再缺失操作对象和参数的所述测试用例以及所述用例部件步骤,否则置该测试用例或用例部件的参数状态为不齐全。
2.根据权利要求1所述的方法,其特征在于,所述对比所述管理端的操作对象列表与目标服务的操作对象列表,将仅存在于所述管理端的操作对象列表中的操作对象确定为缺失操作对象之前,还包括:
获取上报的所述目标服务的操作对象列表以及别名类型;
判断管理端中是否已存在与所述目标服务的别名类型相同的别名类型;
若判断出所述管理端中未存在与所述目标服务器的别名类型相同的别名类型,则在所述管理端中增加所述别名类型,并将所述目标服务的操作对象列表挂载在所述别名类型下;
若判断出所述管理端中已存在与所述目标服务器的别名类型相同的别名类型,则判断所述管理端中的所述别名类型对应的服务是否已在线;
若判断出所述管理端中的所述别名类型对应的服务已在线,则直接执行所述对比管理端的操作对象列表与目标服务的操作对象列表,将仅存在于所述管理端的操作对象列表中的操作对象确定为缺失操作对象;
若判断出所述管理端中的所述别名类型对应的服务未在线,则在将仅存在于所述目标服务的操作对象列表中的操作对象增加至所述管理端的操作对象列表中后,执行所述对比管理端的操作对象列表与目标服务的操作对象列表,将仅存在于所述管理端的操作对象列表中的操作对象确定为缺失操作对象。
3.根据权利要求1所述的方法,其特征在于,所述将仅存在于所述管理端的操作对象列表中的操作对象确定为缺失操作对象之后,还包括:
分别确定出每个所述缺失操作对象相关的所述测试用例及所述用例部件;
分别将每个所述缺失操作对象相关的所述测试用例及所述用例部件的可用状态置为对象缺失。
4.根据权利要求1所述的方法,其特征在于,所述分别为所述测试用例以及所述用例部件配置,将所述缺失操作对象替换为所述替换操作对象后缺失的参数之后,还包括:
确定出每个已替换为所述替换操作对象的所述缺失操作对象相关的测试用例以及用例部件;
获取每个所述测试用例的测试用例信息以及每个所述用例部件的用例部件信息;
分别根据每个所述测试用例的测试用例信息,确定出不缺失其他用例部件、操作对象及参数的各个所述测试用例,并将确定出的各个所述测试用例的可用状态置空,以及分别根据每个所述测试用例的测试用例信息,确定出不缺失其他用例部件、操作对象及参数的各个所述测试用例,并将确定出的各个所述测试用例的可用状态置空。
5.根据权利要求1所述的方法,其特征在于,还包括:
在设计界面上实时突出显示无相关的测试用例的所述目标服务的操作对象;
响应用户的设计操作,针对所述用户选择的所述目标服务的操作对象,利用所述用户输入的设计信息创建测试用例或用例部件;其中,所述设计信息包括所述测试用例或所述用例部件的属性信息以及所述操作对象的输入参数;
保存创建的所述测试用例或所述用例部件;
若创建所述用例部件,则利用用例部件校验规则对所述用例部件及其相关的操作对象检验规则进行校验;
若所述用例部件及其相关的操作对象通过检验,则对与所述用例部件相关的操作对象进行状态修改处理,并发布所述用例部件;
若创建所述测试用例,则利用测试用例校验规则对所述测试用例及其相关的操作对象进行校验;
若所述测试用例及其相关的操作对象通过校验,则对所述测试用例相关的操作对象进行状态修改处理,并发布所述测试用例。
6.根据权利要求5所述的方法,其特征在于,所述发布所述测试用例后,还包括:
根据所述测试用例与其他测试用例在操作对象、用例部件、以及输入参数上的重复度,确定出所述测试用例的多级前端重复度;
根据所述测试用例与其他测试用例所指向的后台代码的重复度,确定出所述测试用例的多级后端重复度。
7.根据权利要求6所述的方法,其特征在于,还包括:
获取测试用例列表;其中,所述测试用例列表包括各个所述测试用例的名称、标签以及添加时间;
从所述测试用例列表中的前端重复度不低于配置的前端重复度的测试用例中,选取添加时间最早的测试用例,以及从所述测试用例列表中选取所有前端重复度不高于所述配置的前端重复度的测试用例,作为初选测试用例;
从所述初选测试用例中的后端重复度不低于配置的后端重复度的测试用例中选取添加时间最早的测试用例,以及从所述选取初选测试用例中选取所有后端重复度不高于所述配置的后端重复度的测试用例,作为终选测试用例。
8.根据权利要求7所述的方法,其特征在于,所述从所述初选测试用例中的后端重复度不低于配置的后端重复度的测试用例中选取添加时间最早的测试用例,以及从所述选取初选测试用例中选取所有后端重复度不高于所述配置的后端重复度的测试用例,作为终选测试用例之后,还包括:
分别针对每个所述终选测试用例,执行各个所述终选测试用例,并记录各个所述终选测试用例的执行的各个节点及用例部件的执行数据,以及监控各个所述终选测试用例的执行状态;其中,所述执行数据包括所述节点及用例部件的执行顺序、输入参数、输出参数;
根据执行数据生成所述终选测试用例的执行流水图,并将所述执行流水图显示在显示界面上;
当所述终选测试用例的在任意一个节点执行失败时,停止执行所述终选测试用例,并将用户选取的所述终选测试用例的起始节点至执行失败的所述节点间的节点作为重现节点;
响应用户的重现操作,依次执行各个所述重现节点;其中,若所述重现节点被配置为暂定节点,则在执行至所述节点时暂停执行。
9.一种测试用例的管理系统,其特征在于,包括管理端,所述管理端包括:
对比单元,用于对比所述管理端的操作对象列表与目标服务的操作对象列表,将仅存在于所述管理端的操作对象列表中的操作对象确定为缺失操作对象;
替换单元,用于分别针对每个所述缺失操作对象,确定出所述缺失操作对象的替换操作对象,并将所述缺失操作对象相关的测试用例以及用例部件中的所述缺失操作对象替换为所述替换操作对象;
配置单元,用于分别为所述测试用例以及所述用例部件配置,将所述缺失操作对象替换为所述替换操作对象后缺失的参数;
发布单元,用于发布不再缺失操作对象和参数的所述测试用例以及所述用例部件;
所述配置单元具体用于:
判断被替换的缺失操作对象是否有输入和输出的参数,若缺失操作对象不存在输入以及输出的参数,则依次检测缺失操作对象相关的各个测试用例和测试部件是否还存在其他的缺失操作对象;
若不存在其他的缺失操作对象,则针对该测试用例或测试部件执行发布不再缺失操作对象和参数的所述测试用例以及所述用例部件的步骤;若存在其他的缺失操作对象,则等待其他的缺失操作对象被替换后,执行发布不再缺失操作对象和参数的所述测试用例以及所述用例部件的步骤;
若被替换的缺失操作对象存在输入以及输出参数,为缺失操作对象相关的测试用例及用例部件中替换后的替换操作对象配置默认输入输出参数,并在确定该测试用例或用例部件不再缺失其他的缺失操作对象时,执行发布不再缺失操作对象和参数的所述测试用例以及所述用例部件步骤,否则置该测试用例或用例部件的参数状态为不齐全。
10.根据权利要求9所述的测试用例的管理系统,其特征在于,还包括:
第一获取单元,用于获取上报的所述目标服务的操作对象列表以及别名类型;
第一判断单元,用于判断管理端中是否已存在与所述目标服务的别名类型相同的别名类型;
增加单元,用于在所述第一判断单元判断出所述管理端中未存在与所述目标服务器的别名类型相同的别名类型时,在所述管理端中增加所述别名类型,并将所述目标服务的操作对象列表挂载在所述别名类型下;
第二判断单元,用于在所述第一判断单元判断出所述管理端中已存在与所述目标服务器的别名类型相同的别名类型时,判断所述管理端中的所述别名类型对应的服务是否已在线;
其中,若所述第二判断单元判断出所述管理端中的所述别名类型对应的服务已在线时,则所述对比单元直接执行所述对比管理端的操作对象列表与目标服务的操作对象列表,将仅存在于所述管理端的操作对象列表中的操作对象确定为缺失操作对象;
若第二判断单元判断出所述管理端中的所述别名类型对应的服务未在线,则所述对比单元在将仅存在于所述目标服务的操作对象列表中的操作对象增加至所述管理端的操作对象列表中后,执行所述对比管理端的操作对象列表与目标服务的操作对象列表,将仅存在于所述管理端的操作对象列表中的操作对象确定为缺失操作对象。
11.根据权利要求9所述的测试用例的管理系统,其特征在于,还包括:
第一确定单元,用于分别确定出每个所述缺失操作对象相关的所述测试用例及所述用例部件;
第一状态修改单元,用于分别将每个所述缺失操作对象相关的所述测试用例及所述用例部件的可用状态置为对象缺失。
12.根据权利要求9所述的测试用例的管理系统,其特征在于,还包括:
第二确定单元,用于确定出每个已替换为所述替换操作对象的所述缺失操作对象相关的测试用例以及用例部件;
第二获取单元,用于获取每个所述测试用例的测试用例信息以及每个所述用例部件的用例部件信息;
第二状态修改单元,用于分别根据每个所述测试用例的测试用例信息,确定出不缺失其他用例部件、操作对象及参数的各个所述测试用例,并将确定出的各个所述测试用例的可用状态置空,以及分别根据每个所述测试用例的测试用例信息,确定出不缺失其他用例部件、操作对象及参数的各个所述测试用例,并将确定出的各个所述测试用例的可用状态置空。
13.根据权利要求9所述的测试用例的管理系统,其特征在于,还包括设计单元,其中,所述设计单元,包括:
显示单元,用于在设计界面上实时突出显示无相关的测试用例的所述目标服务的操作对象;
创建单元,用于响应用户的设计操作,针对所述用户选择的所述目标服务的操作对象,利用所述用户输入的设计信息创建测试用例或用例部件;其中,所述设计信息包括所述测试用例或所述用例部件的属性信息以及所述操作对象的输入参数;
保存单元,用于保存所述创建单元创建的所述测试用例或所述用例部件;
第一校验单元,用于在所述创建单元创建所述用例部件时,利用用例部件校验规则对所述用例部件及其相关的操作对象检验规则进行校验;
第一处理单元,用于在所述用例部件及其相关的操作对象通过检验时,对与所述用例部件相关的操作对象进行状态修改处理,并发布所述用例部件;
第二校验单元,用于在所述创建单元创建所述测试用例时,利用测试用例校验规则对所述测试用例及其相关的操作对象进行校验;
第二处理单元,用于在所述测试用例及其相关的操作对象通过校验时,对所述测试用例相关的操作对象进行状态修改处理,并发布所述测试用例。
14.根据权利要求13所述的测试用例的管理系统,其特征在于,还包括重复度计算单元,其中,所述重复度计算单元,包括:
前端重复度计算单元,用于根据所述测试用例与其他测试用例在操作对象、用例部件、以及输入参数上的重复度,确定出所述测试用例的多级前端重复度;
后端重复度计算单元,用于根据所述测试用例与其他测试用例所指向的后台代码的重复度,确定出所述测试用例的多级后端重复度。
15.根据权利要求14所述的测试用例的管理系统,其特征在于,还包括:
第三获取单元,用于获取测试用例列表;其中,所述测试用例列表包括各个所述测试用例的名称、标签以及添加时间;
前端筛选单元,用于从所述测试用例列表中的前端重复度不低于配置的前端重复度的测试用例中,选取添加时间最早的测试用例,以及从所述测试用例列表中选取所有前端重复度不高于所述配置的前端重复度的测试用例,作为初选测试用例;
后端筛选单元,用于从所述初选测试用例中的后端重复度不低于配置的后端重复度的测试用例中选取添加时间最早的测试用例,以及从所述选取初选测试用例中选取所有后端重复度不高于所述配置的后端重复度的测试用例,作为终选测试用例。
16.根据权利要求15所述的测试用例的管理系统,其特征在于,还包括:
执行单元,用于分别针对每个所述终选测试用例,执行各个所述终选测试用例,并记录各个所述终选测试用例的执行的各个节点及用例部件的执行数据,以及监控各个所述终选测试用例的执行状态;其中,所述执行数据包括所述节点及用例部件的执行顺序、输入参数、输出参数;
生成单元,用于根据执行数据生成所述终选测试用例的执行流水图,并将所述执行流水图显示在显示界面上;
选取单元,用于当所述终选测试用例的在任意一个节点执行失败时,停止执行所述终选测试用例,并将用户选取的所述终选测试用例的起始节点至执行失败的所述节点间的节点作为重现节点;
重现单元,用于响应用户的重现操作,依次执行各个所述重现节点;其中,若所述重现节点被配置为暂定节点,则在执行至所述节点时暂停执行。
17.一种电子设备,其特征在于,包括处理器和存储器;其中:
所述存储器用于存储计算机指令;
所述处理器用于执行所述存储器存储的计算机指令,具体执行如权利要求1至8中任意一项所述的测试用例的管理方法。
18.一种存储介质,其特征在于,用于存储程序,所述程序被执行时,用于实现如权利要求1至8中任意一项所述的测试用例的管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011146795.9A CN112256578B (zh) | 2020-10-23 | 2020-10-23 | 测试用例的管理方法及系统、电子设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011146795.9A CN112256578B (zh) | 2020-10-23 | 2020-10-23 | 测试用例的管理方法及系统、电子设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112256578A CN112256578A (zh) | 2021-01-22 |
CN112256578B true CN112256578B (zh) | 2024-01-19 |
Family
ID=74263307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011146795.9A Active CN112256578B (zh) | 2020-10-23 | 2020-10-23 | 测试用例的管理方法及系统、电子设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112256578B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001016705A2 (en) * | 1999-08-31 | 2001-03-08 | Accenture Llp | System, method, and article of manufacture for piecemeal retrieval in an information services patterns environment |
US6601192B1 (en) * | 1999-08-31 | 2003-07-29 | Accenture Llp | Assertion component in environment services patterns |
CN109101415A (zh) * | 2018-06-25 | 2018-12-28 | 平安科技(深圳)有限公司 | 基于数据库比对的接口测试方法、系统、设备和存储介质 |
CN109344048A (zh) * | 2018-08-17 | 2019-02-15 | 中国平安人寿保险股份有限公司 | 一种测试方法、存储介质和服务器 |
CN109669700A (zh) * | 2018-12-17 | 2019-04-23 | 恒生电子股份有限公司 | 自动递交方法、装置及系统 |
CN110659197A (zh) * | 2018-06-28 | 2020-01-07 | 亿度慧达教育科技(北京)有限公司 | 应用程序的测试用例生成方法、装置和软件测试系统 |
CN110941546A (zh) * | 2019-10-12 | 2020-03-31 | 平安健康保险股份有限公司 | Web页面用例的自动化测试方法、装置、设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9767009B2 (en) * | 2014-11-10 | 2017-09-19 | International Business Machines Corporation | Adaptation of automated test scripts |
-
2020
- 2020-10-23 CN CN202011146795.9A patent/CN112256578B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001016705A2 (en) * | 1999-08-31 | 2001-03-08 | Accenture Llp | System, method, and article of manufacture for piecemeal retrieval in an information services patterns environment |
US6601192B1 (en) * | 1999-08-31 | 2003-07-29 | Accenture Llp | Assertion component in environment services patterns |
CN109101415A (zh) * | 2018-06-25 | 2018-12-28 | 平安科技(深圳)有限公司 | 基于数据库比对的接口测试方法、系统、设备和存储介质 |
CN110659197A (zh) * | 2018-06-28 | 2020-01-07 | 亿度慧达教育科技(北京)有限公司 | 应用程序的测试用例生成方法、装置和软件测试系统 |
CN109344048A (zh) * | 2018-08-17 | 2019-02-15 | 中国平安人寿保险股份有限公司 | 一种测试方法、存储介质和服务器 |
CN109669700A (zh) * | 2018-12-17 | 2019-04-23 | 恒生电子股份有限公司 | 自动递交方法、装置及系统 |
CN110941546A (zh) * | 2019-10-12 | 2020-03-31 | 平安健康保险股份有限公司 | Web页面用例的自动化测试方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
自动化测试工具在核测量系统软件集成测试中的应用;靳永毅 等;;《仪器仪表用户》;第27卷(第6期);第74-77页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112256578A (zh) | 2021-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8589884B2 (en) | Method and system for identifying regression test cases for a software | |
US9612937B2 (en) | Determining relevant events in source code analysis | |
US11327742B2 (en) | Affinity recommendation in software lifecycle management | |
CN102138130A (zh) | 检测规则生成装置、检测规则生成方法和计算机程序 | |
US7937176B2 (en) | Hybrid part installation process combining mass part installation techniques with discrete part number assembly activities | |
CN110377471B (zh) | 接口校验数据的生成方法、装置、存储介质及电子设备 | |
CN103679390B (zh) | 配置系统的后台测试方法及装置 | |
CN111158730B (zh) | 系统更新方法、装置、电子设备和可读存储介质 | |
CN113396395A (zh) | 有效评估日志模式的方法 | |
CN111258881B (zh) | 一种用于工作流程测试的智能测试系统 | |
CN114443332B (zh) | 一种存储池的检测方法、装置、电子设备及存储介质 | |
CN112162761A (zh) | 自动化部署项目至公有云容器化平台的方法、系统及设备 | |
CN115964272A (zh) | 交易数据自动化测试方法、装置、设备及可读存储介质 | |
CN115237422A (zh) | 代码编译方法、装置、计算机设备和存储介质 | |
CN114546749A (zh) | 一种芯片随机测试用例回归方法、装置、设备及可读介质 | |
CN116467975B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
US11176022B2 (en) | Health diagnostics and analytics for object repositories | |
CN112256578B (zh) | 测试用例的管理方法及系统、电子设备、存储介质 | |
CN117851484A (zh) | 基于规则引擎的数据处理方法、装置、计算机设备 | |
CN116662197A (zh) | 一种接口自动化测试方法、系统、计算机和可读存储介质 | |
CN109697161A (zh) | 一种存储过程的测试方法、存储介质和数据库服务器 | |
US20140129879A1 (en) | Selection apparatus, method of selecting, and computer-readable recording medium | |
CN116303040A (zh) | 一种报告发送的检查提醒方法、装置、设备及存储介质 | |
CN116010244A (zh) | 自动化测试方法、装置、电子设备及存储介质 | |
US12073295B2 (en) | Machine learning model operation management system and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |