CN111209208B - 测试方案生成方法、装置、设备和存储介质 - Google Patents
测试方案生成方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN111209208B CN111209208B CN202010034717.3A CN202010034717A CN111209208B CN 111209208 B CN111209208 B CN 111209208B CN 202010034717 A CN202010034717 A CN 202010034717A CN 111209208 B CN111209208 B CN 111209208B
- Authority
- CN
- China
- Prior art keywords
- coverage
- test
- dimension
- target
- test case
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3676—Test management for coverage analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例提供一种测试方案生成方法、装置、设备和存储介质,该方法包括:确定目标测试方案的已选测试用例集中的已选测试用例在多个维度的覆盖率;基于各个已选测试用例在各个维度的覆盖率,确定目标测试方案在各个维度的已达成覆盖率;确定目标测试方案在各个维度的已达成覆盖率是否均满足目标覆盖率;若均满足目标覆盖率,则基于已选测试用例生成目标测试方案。根据本发明实施例的技术方案,不仅能够减少目标测试方案中的用例执行的工作量,而且能够降低生成测试方案的时间复杂度和空间复杂度,进而能够更高效地生成多维度覆盖的目标测试方案。
Description
技术领域
本发明涉及软件测试技术领域,尤其涉及一种测试方案生成方法、装置、设备和存储介质。
背景技术
随着软件开发技术的发展,软件测试成为了软件开发过程中必不可少的流程。如何在软件开发的过程中高效地生成测试方案成为了关注的焦点。
目前,在软件测试中,生成测试方案的方法大多是针对单维度覆盖的。为了生成覆盖多维度的测试方案,在一种技术方案中,将生成多维度覆盖的测试方案的问题进行分拆,转化为生成多个单维度覆盖的测试方案。然而,在这种技术方案中,没有考虑单个测试用例可能覆盖多个不同的维度的情况,导致生成测试方案的时间复杂度和空间复杂度较高。
因此,如何方便高效地生成多维度覆盖的测试方案成为了亟待解决的技术难题。
发明内容
本发明实施例提供一种测试方案生成方法、装置、设备和存储介质,用于解决由于将多维度覆盖的问题分拆转化为多个单维度覆盖的问题,导致生成测试方案的时间复杂度和空间复杂度较高的问题。
本发明实施例第一方面,提供了一种测试方案生成方法,包括:确定目标测试方案的已选测试用例集中的已选测试用例在多个维度的覆盖率;基于各个所述已选测试用例在各个所述维度的覆盖率,确定所述目标测试方案在各个所述维度的已达成覆盖率;确定所述目标测试方案在各个所述维度的所述已达成覆盖率是否均满足目标覆盖率;若均满足所述目标覆盖率,则基于所述已选测试用例生成所述目标测试方案。
在本发明的一些实施例中,基于上述方案,所述方法还包括:若未均满足所述目标覆盖率,则从待选测试用例集中选取目标测试用例加入到所述已选测试用例集;基于所述目标测试用例在各个所述维度的覆盖率,更新所述目标测试方案在各个所述维度的所述已达成覆盖率;继续确定所述目标测试方案在各个所述维度的所述已达成覆盖率是否均满足目标覆盖率。
在本发明的一些实施例中,基于上述方案,所述从待选测试用例集中选取目标测试用例加入到所述已选测试用例集,包括:确定待选测试用例集中各个待选测试用例的覆盖率价值,其中,所述覆盖率价值用于衡量所述待选测试用例在所述多个维度的测试覆盖价值;基于所述覆盖率价值的大小选择目标测试用例,将所选择的所述目标测试用例加入到所述已选测试用例集中。
在本发明的一些实施例中,基于上述方案,所述确定待选测试用例集中各个待选测试用例的覆盖率价值,包括:确定所述待选测试用例在各个维度的键值是否已经在所述目标测试方案的对应维度的已覆盖键值中;若在所述已覆盖键值中,则确定所述待选测试用例在所述对应维度的所述测试覆盖价值为零;若未在所述已覆盖键值中,则确定所述待选测试用例在所述对应维度的所述测试覆盖价值的权重;基于所述待选测试用例在各个维度的覆盖率以及对应的所述权重,确定所述待选测试用例的覆盖率价值。
在本发明的一些实施例中,基于上述方案,所述确定所述待选测试用例在所述对应维度的所述测试覆盖价值的权重,包括:确定所述目标测试方案在所述对应维度的所述目标覆盖率与所述已达成覆盖率之间的差值;若所述差值大于零,则将所述差值作为所述待选测试用例在所述对应维度的所述测试覆盖价值的权重;若所述差值小于或等于零,则确定所述待选测试用例在所述对应维度的所述测试覆盖价值的权重为零。
在本发明的一些实施例中,基于上述方案,基于所述待选测试用例在各个维度的覆盖率以及对应的所述权重,确定所述待选测试用例的覆盖率价值,包括:对所述待选测试用例在各个维度的覆盖率以及对应的所述权重进行加权求和;将所述加权求和的结果除以所述待选测试用例的工作量,得到所述待选测试用例的覆盖率价值。
在本发明的一些实施例中,基于上述方案,所述确定待选测试用例集中各个待选测试用例的覆盖率价值,包括:通过下式确定待选测试用例集中各个待选测试用例的覆盖率价值,
其中,vi表示测试用例i的覆盖率价值,K(j,i)表示测试用例i在维度j的键值,L表示所述目标测试方案的已覆盖键值,F(K(j,i))表示K(j,i)是否已经在L中,dj表示维度j的目标覆盖率,tj表示维度j的已达成覆盖率,G(tj,dj)表示目标覆盖率为dj、已达成覆盖率为tj的情况下测试用例i在维度j上的测试覆盖价值的权重,C(j,i)表示测试用例i在维度j的覆盖率,wi表示测试用例i的工作量。
在本发明的一些实施例中,基于上述方案,所述基于所述目标测试用例在各个所述维度的覆盖率,更新所述目标测试方案在各个所述维度的所述已达成覆盖率,包括:确定所述目标测试用例在各个维度的键值是否已经在所述目标测试方案的对应维度的已覆盖键值中;若未在所述已覆盖键值中,则将所述目标测试用例在各个维度的覆盖率与所述目标测试方案的对应维度的已达成覆盖率相加;基于相加的结果更新所述目标测试方案中的所述对应维度的所述已达成覆盖率。
在本发明的一些实施例中,基于上述方案,所述方法还包括:将所述目标测试用例的各个维度的键值添加到所述目标测试方案的对应维度的所述已覆盖键值中。
在本发明的一些实施例中,基于上述方案,所述基于所述目标测试用例在各个所述维度的覆盖率,更新所述目标测试方案在各个所述维度的所述已达成覆盖率,包括:基于所述目标测试用例在各个所述维度的覆盖率,通过下式更新所述目标测试方案在各个所述维度的所述已达成覆盖率,
t′k=tk+C(k,i)×F(K(k,i))
其中,t′k表示更新之后的所述目标测试方案在维度k的已达成覆盖率,tk表示更新之前的所述目标测试方案在维度k的已达成覆盖率,C(k,i)表示测试用例i在维度k的覆盖率,K(k,i)表示测试用例i在维度k的键值,F(K(k,i))表示K(k,i)是否已经在所述目标测试方案的已覆盖键值中。
本发明实施例的第二方面,提供了一种测试方案生成装置,包括:覆盖率确定模块,用于确定目标测试方案的已选测试用例集中的已选测试用例在多个维度的覆盖率;已达成覆盖率确定模块,用于基于各个所述已选测试用例在各个所述维度的覆盖率,确定所述目标测试方案在各个所述维度的已达成覆盖率;判断模块,用于确定所述目标测试方案在各个所述维度的所述已达成覆盖率是否均满足目标覆盖率;测试方案生成模块,用于若均满足所述目标覆盖率,则基于所述已选测试用例生成所述目标测试方案。
在本发明的一些实施例中,基于上述方案,所述装置还包括:用例选取模块,用于若未均满足所述目标覆盖率,则从待选测试用例集中选取目标测试用例加入到所述已选测试用例集;覆盖率更新模块,用于基于所述目标测试用例在各个所述维度的覆盖率,更新所述目标测试方案在各个所述维度的所述已达成覆盖率;继续执行模块,用于继续确定所述目标测试方案在各个所述维度的所述已达成覆盖率是否均满足目标覆盖率。
在本发明的一些实施例中,基于上述方案,所述用例选取模块包括:价值确定单元,用于确定待选测试用例集中各个待选测试用例的覆盖率价值,其中,所述覆盖率价值用于衡量所述待选测试用例在所述多个维度的测试覆盖价值;选择单元,用于基于所述覆盖率价值的大小选择目标测试用例,将所选择的所述目标测试用例加入到所述已选测试用例集中。
在本发明的一些实施例中,基于上述方案,所述价值确定单元包括:键值判断单元,用于确定所述待选测试用例在各个维度的键值是否已经在所述目标测试方案的对应维度的已覆盖键值中;第一确定单元,用于若在所述已覆盖键值中,则确定所述待选测试用例在所述对应维度的所述测试覆盖价值为零;第二确定单元,若未在所述已覆盖键值中,则确定所述待选测试用例在所述对应维度的所述测试覆盖价值的权重;价值计算单元,用于基于所述权重以及所述待选测试用例在各个维度的覆盖率,确定所述待选测试用例的覆盖率价值。
在本发明的一些实施例中,基于上述方案,所述第二确定单元包括:差值确定单元,用于确定所述目标测试方案在所述对应维度的所述目标覆盖率与所述已达成覆盖率之间的差值;第一权重确定单元,用于若所述差值大于零,则将所述差值作为所述待选测试用例在所述对应维度的所述测试覆盖价值的权重;第二权重确定单元,用于若所述差值小于或等于零,则确定所述待选测试用例在所述对应维度的所述测试覆盖价值的权重为零。
在本发明的一些实施例中,基于上述方案,所述价值计算单元包括:求和单元,用于对所述待选测试用例在各个维度的覆盖率以及对应的所述权重进行加权求和;将所述加权求和的结果除以所述待选测试用例的工作量,得到所述待选测试用例的覆盖率价值。
在本发明的一些实施例中,基于上述方案,所述价值确定单元被配置为:通过下式确定待选测试用例集中各个待选测试用例的覆盖率价值,
其中,vi表示测试用例i的覆盖率价值,K(j,i)表示测试用例i在维度j的键值,L表示所述目标测试方案的已覆盖键值,F(K(j,i))表示K(j,i)是否已经在L中,dj表示维度j的目标覆盖率,tj表示维度j的已达成覆盖率,G(tj,dj)表示目标覆盖率为dj、已达成覆盖率为tj的情况下测试用例i在维度j上的测试覆盖价值的权重,C(j,i)表示测试用例i在维度j的覆盖率,wi表示测试用例i的工作量。
在本发明的一些实施例中,基于上述方案,所述基于所述目标测试用例在各个所述维度的覆盖率,更新所述目标测试方案在各个所述维度的所述已达成覆盖率,包括:确定所述目标测试用例在各个维度的键值是否已经在所述目标测试方案的对应维度的已覆盖键值中;若未在所述已覆盖键值中,则将所述目标测试用例在各个维度的覆盖率与所述目标测试方案的对应维度的已达成覆盖率相加;基于相加的结果更新所述目标测试方案中的所述对应维度的所述已达成覆盖率。
在本发明的一些实施例中,基于上述方案,所述方法还包括:将所述目标测试用例的各个维度的键值添加到所述目标测试方案的对应维度的所述已覆盖键值中。
在本发明的一些实施例中,基于上述方案,所述覆盖率更新模块被配置为:基于所述目标测试用例在各个所述维度的覆盖率,通过下式更新所述目标测试方案在各个所述维度的所述已达成覆盖率,
t′k=tk+C(k,i)×F(K(k,i))
其中,t′k表示更新之后的所述目标测试方案在维度k的已达成覆盖率,tk表示更新之前的所述目标测试方案在维度k的已达成覆盖率,C(k,i)表示测试用例i在维度k的覆盖率,K(k,i)表示测试用例i在维度k的键值,F(K(k,i))表示K(k,i)是否已经在所述目标测试方案的已覆盖键值中。
本发明实施例的第三方面,提供了一种测试方案生成设备,包括:接收器、处理器、存储器以及发送器;存储器用于存储计算机程序和数据,所述处理器调用存储器存储的计算机程序,以执行第一方面任一实施例提供的测试方案生成方法。
本发明第四方面提供一种计算机可读存储介质,所述计算机可读存储介质包括计算机程序,所述计算机程序在被处理器执行时用于执行第一方面任一实施例提供的测试方案生成方法。
根据本发明实施例提供的测试方案生成方法、装置、设备和存储介质,基于已选测试用例集中的已选测试用例在各个维度的覆盖率,确定目标测试方案在各个维度的已达成覆盖率,若目标测试方案在各个维度的已达成覆盖率均满足要求的目标覆盖率,则基于已选测试用例生成目标测试方案。由于充分考虑了同一测试用例覆盖多个不同维度的情况,利用已选测试用例的各个维度的覆盖率生成满足目标覆盖率的目标测试方案,与生成多个单维度覆盖的测试方案相比,不仅能够减少目标测试方案中的用例执行的工作量,而且能够降低生成测试方案的时间复杂度和空间复杂度,进而能够更高效地生成多维度覆盖的目标测试方案。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为根据本发明的一些实施例提供的测试方案生成方法的流程示意图;
图2为根据本发明的一些实施例提供的更新目标测试方案的已达成覆盖率的流程示意图;
图3为根据本发明的一些实施例提供的确定待选测试用例的覆盖率价值的流程示意图;
图4为根据本发明的另一些实施例提供的测试方案生成方法的流程示意图;
图5为根据本发明的一些实施例提供的测试方案生成装置的示意框图;
图6为根据本发明的另一些实施例提供的测试方案生成装置的示意框图;
图7为根据本发明的一些实施例提供的测试方案生成设备实施例的示意框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,生成测试方案的方法大多是针对单维度覆盖的。为了生成覆盖多维度的测试方案,在一种技术方案中,将生成多维度覆盖的测试方案的问题进行分拆,转化为生成多个单维度覆盖的测试方案。然而,在这种技术方案中,没有考虑单个测试用例可能覆盖多个不同的维度的情况,因此,生成的多个单维度覆盖的测试方案中包含的测试用例的工作量较多。
基于上述内容,本发明的基本思想在于,为了减少目标测试方案中包含的测试用例的工作量,从待选测试用例集中选取多个测试用例作为已选测试用例集,基于已选测试用例集中的已选测试用例在各个维度的覆盖率,确定目标测试方案在各个维度的已达成覆盖率,若目标测试方案在各个维度的已达成覆盖率均满足要求的目标覆盖率,则基于已选测试用例生成目标测试方案。在本发明实施例的技术方案中,充分考虑了同一测试用例覆盖多个不同维度的情况,充分利用了每个已选测试用例的各个维度的覆盖率生成多维度覆盖的目标测试方案,能够降低生成测试方案的时间复杂度和空间复杂度。
在介绍了本发明的基本原理之后,下面具体介绍本发明的各种非限制性实施例。
图1示出了根据本发明的一些实施例提供的测试方案生成方法的流程示意图。该测试方案生成方法包括步骤S110至步骤S140,可以应用于终端设备或服务器。下面结合附图对该测试方案生成方法进行详细的说明。
参照图1所示,在步骤S110中,确定目标测试方案的已选测试用例集中的已选测试用例在多个维度的覆盖率。
在示例实施例中,目标测试方案为多维度覆盖的测试方案。目标测试方案可以包括手机游戏兼容性测试方案、应用程序兼容性测试方案,也可以是其他适当的多维度覆盖的测试方案,本发明对此不进行特殊限定。下面以目标测试方案为手机游戏兼容性测试方案为例进行说明。
在示例实施例中,针对目标测试方案,选取测试用例加入到已选测试用例集中,确定加入已选测试用例集中的已选测试用例在多个维度的覆盖率。以手机游戏兼容性测试方案为例,多个维度可以包括操作系统维度、屏幕分辨率维度、屏幕尺寸维度等维度,每个维度都有多个可选键值,各个维度的覆盖率为各个维度的键值的市场占比,例如,在一个已选测试用例中,操作系统维度的键值为Android 6,操作系统维度的覆盖率即市场占比为15%;屏幕分辨率维度的键值为2880*1440,屏幕分辨率维度的覆盖率为10%;屏幕尺寸维度的键值为6英寸,屏幕尺寸维度的覆盖率为11%。进一步地,可以预先针对目标测试方案配置多个测试用例的测试用例表,测试用例表中存储有各个测试用例的各个维度的键值以及对应的覆盖率。
在步骤S120中,基于各个已选测试用例在各个维度的覆盖率,确定目标测试方案在各个维度的已达成覆盖率。
在示例实施例中,在确定了各个已选测试用例在各个维度的覆盖率之后,将各个已选测试用例在同一维度的不同键值的覆盖率相加,得到目标测试方案在各个维度的已达成覆盖率。例如,在手机兼容性测试方案中,测试用例集中包含4个已选测试用例,4个已选测试用例集中操作系统维度的键值分别为Android 6、Android 7、Android 6、Android 5,则操作系统维度覆盖了Android 5、Android 6、Android 7共三个不同的键值,其中,Android 5对应的覆盖率为15%,Android 6对应的覆盖率为20%,Android 7对应的覆盖率为10%,则目标测试方案在操作系统维度的已达成覆盖率为45%即15%+20%+10%=45%,其中,已选测试用例1与已选测试用例3的键值都为Android 6,计算目标测试方案在操作系统维度的已达成覆盖率时仅计算一次即不重复计算。
在步骤S130中,确定目标测试方案在各个维度的已达成覆盖率是否均满足目标覆盖率。
在示例实施例中,针对目标测试方案,在各个维度上都设置了要求的目标覆盖率,比较目标测试方案在各个维度的已达成覆盖率与要求的目标覆盖率,确定目标测试方案在各个维度的已达成覆盖率是否均满足要求的目标覆盖率。例如,在一个手机兼容性测试方案中,操作系统维度要求的目标覆盖率为35%,屏幕分辨率维度要求的目标覆盖率为15%,屏幕尺寸维度要求的目标覆盖率为30%,若目标测试方案在操作系统维度的已达成覆盖率为45%,大于目标测试方案要求的目标覆盖率35%,则确定目标测试方案在操作系统维度的已达成覆盖率满足目标覆盖率。
在步骤S140中,若均满足目标覆盖率,则基于已选测试用例生成目标测试方案。
在示例实施例中,若目标测试方案在各个维度的已达成覆盖率均满足目标覆盖率,则基于已选测试用例生成目标测试方案。例如,在一个手机兼容性测试方案中,操作系统维度要求的目标覆盖率为35%,屏幕分辨率维度要求的目标覆盖率为15%,屏幕尺寸维度要求的目标覆盖率为30%,若目标测试方案在操作系统维度的已达成覆盖率为45%,屏幕分辩分辨率维度的已达成覆盖率为20%,屏幕尺寸维度的已达成覆盖率为40%,则确定目标测试方案在各个维度的已达成覆盖率均满足目标覆盖率,基于测试用例集中的已选测试用例生成目标测试方案。
根据图1的示例实施例中的技术方案,基于已选测试用例集中的已选测试用例在各个维度的覆盖率,确定目标测试方案在各个维度的已达成覆盖率,若目标测试方案在各个维度的已达成覆盖率均满足要求的目标覆盖率,则基于已选测试用例生成目标测试方案。由于充分考虑了同一测试用例覆盖多个不同维度的情况,利用已选测试用例的各个维度的覆盖率生成满足目标覆盖率的目标测试方案,与生成多个单维度覆盖的测试方案相比,不仅能够减少目标测试方案中的用例执行的工作量,而且能够降低生成测试方案的时间复杂度和空间复杂度,进而能够更高效地生成多维度覆盖的目标测试方案。
图2为根据本发明的一些实施例提供的更新目标测试方案的已达成覆盖率的流程示意图。
参照图2所示,在步骤S210中,若目标测试方案在各个维度的已达成覆盖率未均满足目标覆盖率,则从待选测试用例集中选取目标测试用例加入到已选测试用例集。
在示例实施例中,若目标测试方案的一个维度的已达成覆盖率未满足目标覆盖率,也就是说,目标测试方案在各个维度的已达成覆盖率未均满足目标覆盖率,则从待选测试用例集中选取目标测试用例,将选取的目标测试用例加入到已选测试用例集中。
具体而言,可以根据未满足目标覆盖率的维度的键值从待选测试用例集中选取目标测试用例,举例而言,若目标测试方案的某一维度的已达成覆盖率未满足目标覆盖率,则可以从待选测试用例集中选取该维度的覆盖率较大的测试用例作为目标测试用例,将选取的目标测试用例加入到已选测试用例集中。例如,若目标测试方案的操作系统维度的已达成覆盖率未满足目标覆盖率,则选择操作系统维度的覆盖率最大的测试用例作为目标测试用例例如Android 7操作系统的覆盖率最大,将Android 7操作系统对应的测试用例作为目标测试用例。
在步骤S220中,基于目标测试用例在各个维度的覆盖率,更新目标测试方案在各个维度的已达成覆盖率。
在示例实施例中,获取目标测试用例在各个维度的覆盖率,基于目标测试用例在各个维度的覆盖率,更新目标测试方案在各个维度的已达成覆盖率。具体而言,确定目标测试用例在各个维度的键值是否已经在目标测试方案的对应维度的已覆盖键值中;若未在已覆盖键值中,则将目标测试用例在各个维度的覆盖率与目标测试方案的对应维度的已达成覆盖率相加;基于相加的结果更新目标测试方案中的对应维度的已达成覆盖率。
举例而言,在手机游戏兼容性测试方案中,设已选测试用例集中有一个已选测试用例,该已选测试用例的操作系统维度的键值为Android 6,操作系统维度的覆盖率为15%;屏幕分辨率维度的键值为2880*1440,屏幕分辨率维度的覆盖率为10%;屏幕尺寸维度的键值为6英寸,屏幕尺寸维度的覆盖率为11%,则该手机游戏兼容性测试方案中,操作系统维度的已达成覆盖率为15%,屏幕分辨率维度的已达成覆盖率为10%,屏幕尺寸维度的已达成覆盖率为11%。设目标测试用例在操作系统维度的键值为Android 7,覆盖率为20%;屏幕分辨率维度的键值为2880*1440,覆盖率为10%;屏幕尺寸维度的键值为5英寸,覆盖率为12%,则将目标测试用例与该已选测试用例的同一维度但是键值不同的覆盖率相加,得到该手机游戏兼容性测试方案在各个维度的更新之后的已达成覆盖率,即更新后的操作系统的已达成覆盖率为35%,屏幕分辨率维度的已达成覆盖率为10%,屏幕尺寸维度的已达成覆盖率为23%,由于目标测试用例的屏幕分辨率维度的键值与已选测试用例的屏幕分辨率维度的键值相同,表示该键值已经在目标测试方案的对应维度的已覆盖键值,则不更新该维度的已达成覆盖率。
在步骤S230中,继续确定目标测试方案在各个维度的已达成覆盖率是否均满足目标覆盖率。
在示例实施例中,继续比较目标测试方案在各个维度的已达成覆盖率与要求的目标覆盖率,确定目标测试方案在各个维度的已达成覆盖率是否均满足要求的目标覆盖率,若未均满足要求的目标覆盖率,则继续执行步骤S210。例如,在上述手机兼容性测试方案中,操作系统维度要求的目标覆盖率为35%,屏幕分辨率维度要求的目标覆盖率为15%,屏幕尺寸维度要求的目标覆盖率为30%,则该手机兼容性测试方案在屏幕分辨率维度的已达成覆盖率为10%小于15%,确定该手机兼容性测试方案的各个维度的已达成覆盖率未均满足目标覆盖率,则继续执行步骤S210。
进一步地,为了更高效地生成目标测试方案,根据待选测试用例的覆盖率价值从待选测试用例集中选择测试用例,待选测试用例的覆盖率价值用于衡量待选测试用例针对目标测试方案在多个维度的测试覆盖价值,具体而言,设目标测试方案的各个维度的已覆盖键值为L,若待选测试用例各个维度的键值在已覆盖键值L中出现的越少,则待选测试用例的覆盖率价值越大,反之,若待选测试用例的各个维度的键值在已覆盖键值L中出现越多,则待选测试用例的覆盖率价值越小。
进一步地,在示例实施例中,从待选测试用例集中选取目标测试用例加入到已选测试用例集,包括:确定待选测试用例集中各个待选测试用例的覆盖率价值,其中,该覆盖率价值用于衡量待选测试用例在多个维度的测试覆盖价值;基于覆盖率价值的大小选择目标测试用例,将所选择的目标测试用例加入到已选测试用例集中。例如,选择覆盖率价值最大的待选测试用例作为目标测试用例,将所选择的目标测试用例加入到已选测试用例集中。通过选择覆盖率价值最大的待选测试用例加入到已选测试用例集,能够更高效地增加目标测试方案的各个维度的已达成覆盖率,从而能够更高效地生成目标测试方案,并且能够减少目标测试方案中的测试用例包含的工作量。
图3为根据本发明的一些实施例提供的确定待选测试用例的覆盖率价值的流程示意图。
参照图3所示,在步骤S310中,确定待选测试用例在各个维度的键值是否已经在目标测试方案的对应维度的已覆盖键值中。
在示例实施例中,设目标测试方案的已覆盖键值为L,若从L中查询到待测试用例的一个维度的键值,则确定待测试用例在该维度的键值已经在目标测试方案的对应维度的已覆盖键值中。
进一步地,在示例实施例中,通过下式(1)确定待选测试用例在各个维度的键值是否已经在目标测试方案的对应维度的已覆盖键值中,
其中,K(j,i)表示测试用例i在维度j的键值,L表示目标测试方案的已覆盖键值,F(K(j,i))表示K(j,i)是否已经在L中。
在步骤S320中,若在已覆盖键值中,则确定待选测试用例在对应维度的测试覆盖价值为零。
在示例实施例中,若待选测试用例在某一维度的键值在目标测试方案的已覆盖键值中,则确定该待选测试用例在该维度的测试覆盖价值为零。
在步骤S330中,若未在已覆盖键值中,则确定待选测试用例在对应维度的测试覆盖价值的权重。
在示例实施例中,待选测试用例在某一维度的键值未在目标测试方案的已覆盖键值中,则确定该待选测试用例在该维度的测试覆盖价值的权重。具体而言,确定待选测试用例在对应维度的测试覆盖价值的权重,包括:确定目标测试方案在对应维度的目标覆盖率与已达成覆盖率之间的差值;若该差值大于零,则将该差值作为待选测试用例在对应维度的测试覆盖价值的权重;若该差值小于或等于零,则确定待选测试用例在该对应维度的测试覆盖价值的权重为零。举例而言,若,目标测试方案在维度1要求的目标覆盖率为30%,维度2要求的目标覆盖率为20%,维度3要求的目标覆盖率为15%,目标测试方案在维度1的已达成覆盖率为10%,维度2的已达成覆盖率为5%,维度3的已达成覆盖率为20%,则待选测试用例在各个维度的测试覆盖价值的权重分别为:维度1、30%-10%=20%;维度2、20%-5%=15%;维度3、15%-20%=-0.05,则维度1的测试覆盖价值的权重为0.2,维度2的测试覆盖价值的权重为0.15,维度3的测试覆盖价值的权重为0。
进一步地,在示例实施例中,通过下式(2)确定待选测试用例在对应维度的测试覆盖价值的权重。
其中,dj表示维度j的目标覆盖率,tj表示维度j的已达成覆盖率,G(tj,dj)表示目标覆盖率为dj、已达成覆盖率为tj的情况下测试用例i在维度j上的测试覆盖价值的权重。
在步骤S340中,基于待选测试用例在各个维度的覆盖率以及对应的权重,确定待选测试用例的覆盖率价值。
在示例实施例中,对待选测试用例在各个维度的覆盖率以及对应的所述权重进行加权求和;将所述加权求和的结果作为该待选测试用例的覆盖率价值。
在另一些示例实施例中,对待选测试用例在各个维度的覆盖率以及对应的权重进行加权求和;将加权求和的结果除以待选测试用例的工作量,得到待选测试用例的覆盖率价值。
图4为根据本发明的另一些实施例提供的测试方案生成方法的流程示意图。
参照图4所示,在步骤S410中,获取多个测试用例在多个维度的覆盖率。
在示例实施例中,从测试用例表中获取多个测试用例在多个维度的覆盖率。设编号为m测试用例在维度n的键值为K(n,m)、覆盖率为C(n,m)。在初始时刻,目标测试方案的已选测试用例集或已选测试用例列表为空,目标测试方案在各个维度的已覆盖键值L也为空,设目标测试方案的各个维度的已达成覆盖率为为T(t1,t2,…,tn),T初始时为T(0,0,…,0)。下表1示出了m个测试用例的测试用例表,下表2示出了示例实施例中的4个测试用例的测试用例表,每个测试用例有3个维度。
表1.m个测试用例的测试用例表
表2.示例实施例中的4个测试用例的测试用例表
在示例实施例中,参照表2所示,目标测试方案为手机兼容性测试方案中,从测试用例表中获取第1个测试用例,加入到已选测试用例集中。该已选测试用例的操作系统维度的键值为Android 6,操作系统维度的覆盖率即市场占比为15%;屏幕分辨率维度的键值为2880*1440,屏幕分辨率维度的覆盖率为10%;屏幕尺寸维度的键值为6英寸,屏幕尺寸维度的覆盖率为11%,则目标测试方案在这三个维度的已达成覆盖率分别为15%、10%、11%。
在步骤S420中,确定目标测试方案在各个维度的已达成覆盖率是否均满足要求的目标覆盖率。
在示例实施例中,设目标测试方案要求的目标覆盖率为D=(d1,d2,…,dn),dn表示在维度n要求的目标覆盖率为dn。通过下式(3)来确定目标测试方案在各个维度的已达成覆盖率是否均满足要求的目标覆盖率:
其中,ti表示目标测试方案在维度i的已达成覆盖率,di表示目标测试方案在维度i的目标覆盖率。
在示例实施例中,设操作系统维度要求的目标覆盖率为35%,屏幕分辨率维度要求的目标覆盖率为15%,屏幕尺寸维度要求的目标覆盖率为30%,在手机兼容性测试方案中,目标测试方案在这三个维度的已达成覆盖率分别为15%、10%、11%,目标测试方案在这三个维度的已达成覆盖率未均满足要求的目标覆盖率,则进行至步骤S430。
进一步地,在步骤S420中,若目标测试方案在各个维度的已达成覆盖率均满足要求的目标覆盖率,则目标测试方案生成已完成,即基于已选测试用例生成目标测试方案。
在步骤S430中,确定未加入到已选测试用例集的待选测试用例当前的覆盖率价值,基于覆盖率价值选择目标测试用例。
在示例实施例中,通过下式(1)、(2)、(4)确定未加入到已选测试用例集的待选测试用例当前的覆盖率价值:
其中,vi表示测试用例i的覆盖率价值,K(j,i)表示测试用例i在维度j的键值,L表示所述目标测试方案的已覆盖键值,F(K(j,i))表示K(j,i)是否已经在L中,dj表示维度j的目标覆盖率,tj表示维度j的已达成覆盖率,G(tj,dj)表示目标覆盖率为dj、已达成覆盖率为tj的情况下测试用例i在维度j上的测试覆盖价值的权重,C(j,i)表示测试用例i在维度j的覆盖率,wi表示测试用例i的工作量。
进一步地,确定了各个待选测试用例的覆盖率价值之后,将覆盖率价值最大的待选测试用例加入到已选测试用例集中。
在步骤S440中,基于新增加的目标测试用例的各个维度的覆盖率,更新目标测试方案的各个维度的已达成覆盖率。
在示例实施例中,通过下式(5)来更新目标测试方案的各个维度的已达成覆盖率:
t′k=tk+C(k,i)×F(K(k,i)) (5)
其中,t′k表示更新之后的所述目标测试方案在维度k的已达成覆盖率,tk表示更新之前的所述目标测试方案在维度k的已达成覆盖率,C(k,i)表示测试用例i在维度k的覆盖率,K(k,i)表示测试用例i在维度k的键值,F(K(k,i))表示K(k,i)是否已经在所述目标测试方案的已覆盖键值中。
进一步地,在示例实施例中,将新增加的测试用例的各个维度的键值加入到目标测试方案的已覆盖键值L中。
在步骤S450中,循环执行步骤S420至步骤S440,直到目标测试方案在各个维度的已达成覆盖率均满足要求的目标覆盖率,即直到生成目标测试方案。
图5为根据本发明的一些实施例提供的测试方案生成装置的示意框图。参照图5所示,该测试方案生成装置500包括:覆盖率确定模块510,用于确定目标测试方案的已选测试用例集中的已选测试用例在多个维度的覆盖率;已达成覆盖率确定模块520,用于基于各个所述已选测试用例在各个所述维度的覆盖率,确定所述目标测试方案在各个所述维度的已达成覆盖率;判断模块530,用于确定所述目标测试方案在各个所述维度的所述已达成覆盖率是否均满足目标覆盖率;测试方案生成模块540,用于若均满足所述目标覆盖率,则基于所述已选测试用例生成所述目标测试方案。
在本发明的一些实施例中,基于上述方案,参照图6所示,所述装置500还包括:用例选取模块610,用于若未均满足所述目标覆盖率,则从待选测试用例集中选取目标测试用例加入到所述已选测试用例集;覆盖率更新模块620,用于基于所述目标测试用例在各个所述维度的覆盖率,更新所述目标测试方案在各个所述维度的所述已达成覆盖率;继续执行模块630,用于继续确定所述目标测试方案在各个所述维度的所述已达成覆盖率是否均满足目标覆盖率。
在本发明的一些实施例中,基于上述方案,所述用例选取模块包括:价值确定单元,用于确定待选测试用例集中各个待选测试用例的覆盖率价值,其中,所述覆盖率价值用于衡量所述待选测试用例在所述多个维度的测试覆盖价值;选择单元,用于基于所述覆盖率价值的大小选择目标测试用例,将所选择的所述目标测试用例加入到所述已选测试用例集中。
在本发明的一些实施例中,基于上述方案,所述价值确定单元包括:键值判断单元,用于确定所述待选测试用例在各个维度的键值是否已经在所述目标测试方案的对应维度的已覆盖键值中;第一确定单元,用于若在所述已覆盖键值中,则确定所述待选测试用例在所述对应维度的所述测试覆盖价值为零;第二确定单元,若未在所述已覆盖键值中,则确定所述待选测试用例在所述对应维度的所述测试覆盖价值的权重;价值计算单元,用于基于所述权重以及所述待选测试用例在各个维度的覆盖率,确定所述待选测试用例的覆盖率价值。
在本发明的一些实施例中,基于上述方案,所述第二确定单元包括:差值确定单元,用于确定所述目标测试方案在所述对应维度的所述目标覆盖率与所述已达成覆盖率之间的差值;第一权重确定单元,用于若所述差值大于零,则将所述差值作为所述待选测试用例在所述对应维度的所述测试覆盖价值的权重;第二权重确定单元,用于若所述差值小于或等于零,则确定所述待选测试用例在所述对应维度的所述测试覆盖价值的权重为零。
在本发明的一些实施例中,基于上述方案,所述价值计算单元包括:求和单元,用于对所述待选测试用例在各个维度的覆盖率以及对应的所述权重进行加权求和;将所述加权求和的结果除以所述待选测试用例的工作量,得到所述待选测试用例的覆盖率价值。
在本发明的一些实施例中,基于上述方案,所述价值确定单元被配置为:通过下式确定待选测试用例集中各个待选测试用例的覆盖率价值,
其中,vi表示测试用例i的覆盖率价值,K(j,i)表示测试用例i在维度j的键值,L表示所述目标测试方案的已覆盖键值,F(K(j,i))表示K(j,i)是否已经在L中,dj表示维度j的目标覆盖率,tj表示维度j的已达成覆盖率,G(tj,dj)表示目标覆盖率为dj、已达成覆盖率为tj的情况下测试用例i在维度j上的测试覆盖价值的权重,C(j,i)表示测试用例i在维度j的覆盖率,wi表示测试用例i的工作量。
在本发明的一些实施例中,基于上述方案,所述基于所述目标测试用例在各个所述维度的覆盖率,更新所述目标测试方案在各个所述维度的所述已达成覆盖率,包括:确定所述目标测试用例在各个维度的键值是否已经在所述目标测试方案的对应维度的已覆盖键值中;若未在所述已覆盖键值中,则将所述目标测试用例在各个维度的覆盖率与所述目标测试方案的对应维度的已达成覆盖率相加;基于相加的结果更新所述目标测试方案中的所述对应维度的所述已达成覆盖率。
在本发明的一些实施例中,基于上述方案,所述方法还包括:将所述目标测试用例的各个维度的键值添加到所述目标测试方案的对应维度的所述已覆盖键值中。
在本发明的一些实施例中,基于上述方案,所述覆盖率更新模块被配置为:基于所述目标测试用例在各个所述维度的覆盖率,通过下式更新所述目标测试方案在各个所述维度的所述已达成覆盖率,
t′k=tk+C(k,i)×F(K(k,i))
其中,t′k表示更新之后的所述目标测试方案在维度k的已达成覆盖率,tk表示更新之前的所述目标测试方案在维度k的已达成覆盖率,C(k,i)表示测试用例i在维度k的覆盖率,K(k,i)表示测试用例i在维度k的键值,F(K(k,i))表示K(k,i)是否已经在所述目标测试方案的已覆盖键值中。
本申请实施例提供的测试方案生成装置能够实现前述方法实施例中的各个过程,并达到相同的功能和效果,这里不再重复。
图7示出了本发明的一些实施例提供的测试方案生成设备实施例一的结构示意图,如图7所示,本实施例提供的测试方案生成设备700可以包括:存储器710以及处理器720。
存储器710用于存储计算机程序和数据,处理器720调用存储器存储的计算机程序,以执行前述任一方法实施例提供的测试方案生成方法的技术方案。
可选的,该测试方案生成设备700还可以包括总线。其中,总线用于实现各元件之间的连接。
其中,存储器和处理器之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接,如可以通过总线连接。存储器中存储有实现数据访问控制方法的计算机执行指令,包括至少一个可以软件或固件的形式存储于存储器201中的软件功能模块,处理器通过运行存储在存储器内的计算机程序以及模块,从而执行各种功能应用以及测试方案生成方法。
存储器可以是,但不限于,随机存取存储器(Random Access Memory,简称:RAM),只读存储器(Read Only Memory,简称:ROM),可编程只读存储器(Programmable Read-OnlyMemory,简称:PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,简称:EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,简称:EEPROM)等。其中,存储器用于存储程序,处理器在接收到执行指令后,执行程序。进一步地,上述存储器内的软件程序以及模块还可包括操作系统,其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动,并可与各种硬件或软件组件相互通信,从而提供其他软件组件的运行环境。
处理器可以是一种集成电路芯片,具有信号的处理能力。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称:CPU)、网络处理器(NetworkProcessor,简称:NP)等。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以理解,图7的结构仅为示意,还可以包括比图7中所示更多或者更少的组件,或者具有与图7所示不同的配置。图7中所示的各组件可以采用硬件和/或软件实现。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时可以实现上述任一方法实施例提供的测试方案生成方法。
本实施例中的计算机可读存储介质可以是计算机能够存取的任何可用介质,或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备,可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如SSD)等。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (13)
1.一种测试方案生成方法,其特征在于,包括:
确定目标测试方案的已选测试用例集中的已选测试用例在多个维度的覆盖率;
基于各个所述已选测试用例在各个所述维度的覆盖率,确定所述目标测试方案在各个所述维度的已达成覆盖率;
确定所述目标测试方案在各个所述维度的所述已达成覆盖率是否均满足目标覆盖率;
若均满足所述目标覆盖率,则基于所述已选测试用例生成所述目标测试方案。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若未均满足所述目标覆盖率,则从待选测试用例集中选取目标测试用例加入到所述已选测试用例集;
基于所述目标测试用例在各个所述维度的覆盖率,更新所述目标测试方案在各个所述维度的所述已达成覆盖率;
继续确定所述目标测试方案在各个所述维度的所述已达成覆盖率是否均满足目标覆盖率。
3.根据权利要求2所述的方法,其特征在于,所述从待选测试用例集中选取目标测试用例加入到所述已选测试用例集,包括:
确定待选测试用例集中各个待选测试用例的覆盖率价值,其中,所述覆盖率价值用于衡量所述待选测试用例在所述多个维度的测试覆盖价值;
基于所述覆盖率价值的大小选择目标测试用例,将所选择的所述目标测试用例加入到所述已选测试用例集中。
4.根据权利要求3所述的方法,其特征在于,所述确定待选测试用例集中各个待选测试用例的覆盖率价值,包括:
确定所述待选测试用例在各个维度的键值是否已经在所述目标测试方案的对应维度的已覆盖键值中;
若在所述已覆盖键值中,则确定所述待选测试用例在所述对应维度的所述测试覆盖价值为零;
若未在所述已覆盖键值中,则确定所述待选测试用例在所述对应维度的所述测试覆盖价值的权重;
基于所述待选测试用例在各个维度的覆盖率以及对应的所述权重,确定所述待选测试用例的覆盖率价值。
5.根据权利要求4所述的方法,其特征在于,所述确定所述待选测试用例在所述对应维度的所述测试覆盖价值的权重,包括:
确定所述目标测试方案在所述对应维度的所述目标覆盖率与所述已达成覆盖率之间的差值;
若所述差值大于零,则将所述差值作为所述待选测试用例在所述对应维度的所述测试覆盖价值的权重;
若所述差值小于或等于零,则确定所述待选测试用例在所述对应维度的所述测试覆盖价值的权重为零。
6.根据权利要求5所述的方法,其特征在于,所述基于所述待选测试用例在各个维度的覆盖率以及对应的所述权重,确定所述待选测试用例的覆盖率价值,包括:
对所述待选测试用例在各个维度的覆盖率以及对应的所述权重进行加权求和;
将所述加权求和的结果除以所述待选测试用例的工作量,得到所述待选测试用例的覆盖率价值。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述基于所述目标测试用例在各个所述维度的覆盖率,更新所述目标测试方案在各个所述维度的所述已达成覆盖率,包括:
确定所述目标测试用例在各个维度的键值是否已经在所述目标测试方案的对应维度的已覆盖键值中;
若未在所述已覆盖键值中,则将所述目标测试用例在各个维度的覆盖率与所述目标测试方案的对应维度的已达成覆盖率相加;
基于相加的结果更新所述目标测试方案中的所述对应维度的所述已达成覆盖率。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
将所述目标测试用例的各个维度的键值添加到所述目标测试方案的对应维度的所述已覆盖键值中。
10.根据权利要求1至7中任一项所述的方法,其特征在于,所述基于所述目标测试用例在各个所述维度的覆盖率,更新所述目标测试方案在各个所述维度的所述已达成覆盖率,包括:
基于所述目标测试用例在各个所述维度的覆盖率,通过下式更新所述目标测试方案在各个所述维度的所述已达成覆盖率,
t′k=tk+C(k,i)×F(K(k,i))
其中,t′k表示更新之后的所述目标测试方案在维度k的已达成覆盖率,tk表示更新之前的所述目标测试方案在维度k的已达成覆盖率,C(k,i)表示测试用例i在维度k的覆盖率,K(k,i)表示测试用例i在维度k的键值,F(K(k,i))表示K(k,i)是否已经在所述目标测试方案的已覆盖键值中。
11.一种测试方案生成装置,其特征在于,包括:
覆盖率确定模块,用于确定目标测试方案的已选测试用例集中的已选测试用例在多个维度的覆盖率;
已达成覆盖率确定模块,用于基于各个所述已选测试用例在各个所述维度的覆盖率,确定所述目标测试方案在各个所述维度的已达成覆盖率;
判断模块,用于确定所述目标测试方案在各个所述维度的所述已达成覆盖率是否均满足目标覆盖率;
测试方案生成模块,用于若均满足所述目标覆盖率,则基于所述已选测试用例生成所述目标测试方案。
12.一种测试方案生成设备,其特征在于,包括:处理器以及存储器;所述存储器用于存储计算机程序和数据,所述处理器调用所述存储器存储的计算机程序,以执行权利要求1至10中任一项所述的测试方案生成方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机程序,所述计算机程序在被处理器执行时用于执行权利要求1至10中任一项所述的测试方案生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010034717.3A CN111209208B (zh) | 2020-01-14 | 2020-01-14 | 测试方案生成方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010034717.3A CN111209208B (zh) | 2020-01-14 | 2020-01-14 | 测试方案生成方法、装置、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111209208A CN111209208A (zh) | 2020-05-29 |
CN111209208B true CN111209208B (zh) | 2023-05-16 |
Family
ID=70787126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010034717.3A Active CN111209208B (zh) | 2020-01-14 | 2020-01-14 | 测试方案生成方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111209208B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106294174A (zh) * | 2016-08-19 | 2017-01-04 | 北京航空航天大学 | 测试充分性的多维度度量方法及装置 |
CN109902019A (zh) * | 2019-03-11 | 2019-06-18 | 北京城市网邻信息技术有限公司 | 一种基于多维权重的自动化测试分级方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8381184B2 (en) * | 2008-09-02 | 2013-02-19 | International Business Machines Corporation | Dynamic test coverage |
-
2020
- 2020-01-14 CN CN202010034717.3A patent/CN111209208B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106294174A (zh) * | 2016-08-19 | 2017-01-04 | 北京航空航天大学 | 测试充分性的多维度度量方法及装置 |
CN109902019A (zh) * | 2019-03-11 | 2019-06-18 | 北京城市网邻信息技术有限公司 | 一种基于多维权重的自动化测试分级方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111209208A (zh) | 2020-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106034138A (zh) | 一种远程服务调用方法及装置 | |
CN113591068B (zh) | 一种在线登录设备管理方法、装置及电子设备 | |
CN110704677A (zh) | 一种节目推荐方法、装置、可读存储介质及终端设备 | |
CN112800197A (zh) | 一种目标故障信息的确定方法和装置 | |
CN114816393B (zh) | 信息生成方法、装置、设备以及存储介质 | |
CN114429195A (zh) | 混合专家模型训练的性能优化方法和装置 | |
CN111209208B (zh) | 测试方案生成方法、装置、设备和存储介质 | |
CN115964984B (zh) | 用于数字芯片版图平衡绕线的方法和装置 | |
CN113850675A (zh) | 用于企业交易关系数据的信息处理方法和装置 | |
CN115190010B (zh) | 基于软件服务依赖关系的分布推荐方法和装置 | |
CN109271224B (zh) | 用于确定位置的方法和设备 | |
CN112258300B (zh) | 一种针对订单生成的审核方法及装置 | |
CN112068895B (zh) | 代码配置方法、装置、视频播放设备及存储介质 | |
CN111813407B (zh) | 游戏开发方法、游戏运行方法、装置和电子设备 | |
CN112988810A (zh) | 信息查找方法、装置及设备 | |
CN113722629A (zh) | 一种智能页面缓存方法、系统及可读存储介质 | |
CN114301847A (zh) | 一种生成虚拟网络功能vnf服务链的方法及装置 | |
CN110852873A (zh) | 数据授信方法、装置、设备及计算机可读存储介质 | |
CN111737784A (zh) | 基于数字化三维的zxmp s385子架的板卡选型配置方法及设备 | |
CN111079390A (zh) | 一种复选框列表的选择状态确定方法以及装置 | |
CN112445390B (zh) | 子菜单选择方法、装置及终端设备 | |
CN111107037B (zh) | 一种业务触发的方法及装置 | |
CN115469909B (zh) | 指令更新方法、软件平台的工作方法、装置、设备和介质 | |
CN111832029B (zh) | 一种cve白名单配置方法及相关装置 | |
CN115080412A (zh) | 软件更新质量评估方法、装置、设备及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |