CN112463636A - 一种测试用例排序管理方法及系统 - Google Patents
一种测试用例排序管理方法及系统 Download PDFInfo
- Publication number
- CN112463636A CN112463636A CN202011456694.1A CN202011456694A CN112463636A CN 112463636 A CN112463636 A CN 112463636A CN 202011456694 A CN202011456694 A CN 202011456694A CN 112463636 A CN112463636 A CN 112463636A
- Authority
- CN
- China
- Prior art keywords
- test
- test cases
- cases
- test case
- case
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 517
- 238000012163 sequencing technique Methods 0.000 title claims abstract description 51
- 238000007726 management method Methods 0.000 title claims abstract description 40
- 230000007547 defect Effects 0.000 claims abstract description 111
- 238000001514 detection method Methods 0.000 claims abstract description 99
- 238000000034 method Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000001035 drying Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000013522 software testing Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- RKTYLMNFRDHKIL-UHFFFAOYSA-N copper;5,10,15,20-tetraphenylporphyrin-22,24-diide Chemical compound [Cu+2].C1=CC(C(=C2C=CC([N-]2)=C(C=2C=CC=CC=2)C=2C=CC(N=2)=C(C=2C=CC=CC=2)C2=CC=C3[N-]2)C=2C=CC=CC=2)=NC1=C3C1=CC=CC=C1 RKTYLMNFRDHKIL-UHFFFAOYSA-N 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Abstract
本发明提出了一种测试用例排序管理方法,其特征是,包括:根据测试用例的功能点类型将多个测试用例划分为多个测试单元,每个测试单元执行一种功能点类型的多个测试用例;回归测试阶段,同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型,计算每个测试用例的重要性指标参数;根据测试用例的重要性指标参数对同一测试单元中的多个测试用例进行优先级排序,本发明还提出了一种测试用例排序管理系统,有效解决由于现有技术造成测试用例管理排序中考虑因素较为单一的问题,使得测试用例的优先级执行更合理,有效的提高了测试用例的测试管理效率,进而优化测试流程,降低回归测试成本。
Description
技术领域
本发明涉及测试用例管理领域,尤其是涉及一种测试用例排序管理方法及系统。
背景技术
随着人工智能、区块链、大数据等技术的日趋成熟,人类进入了智能化时代。互联网技术尤其是移动终端技术的发展极大地影响了人们的生活和工作方式,软件的功能越来越强大,人们对软件的需求量不断增加,各式各样的软件应运而生。随着我国软件行业的快速发展,软件的规模和复杂度不断增大,软件中存在缺陷的概率也随之增大;因此,保证软件的质量、提高系统的可靠性是软件行业发展的重要目标。
如何发现和处理这些软件缺陷直接影响系列软件的可靠性和质量。尽管当前存在代码审查、形式化验证等辅助手段,软件测试依然是目前最主要的软件质量保障手段,在软件的整个生命周期中发挥着极其重要的作用。在典型的软件开发项目中,软件测试工作量占软件工作总量的40%以上,测试时间占整个软件工程中所有研发时间的40%-50%,测试费用是的生存期费用所占的比例高达20%。
回归测试作为一种有效的软件测试方法,可有效保证代码修改的正确性并避免代码修改对被测程序其他模块产生的副作用。但统计数据表明,回归测试一般占软件产品测试预算的80%以上,占软件维护预算的50%以上。为了最大限度削减测试耗费,国内外研究人员围绕如何提高回归测试效率,降低回归测试花销展开深入研究,其中,测试管理的设计是重点,一般现有的测试管理,执行测试用例的方法为:导入测试用例,筛选排序测试用户用例,测试执行人根据筛选排序结果执行测试用例,并记录测试结果;根据记录测试结果,导出测试报告。
测试用例执行时虽然增加了排序的测试管理,但是一般分类较为简单,在排序测试用例优先级时,考虑的因素比较单一,过于依赖测试人员主观设置;然而在实际项目的回归测试中,有较多因素影响着测试用例优先级排序效果,如果只考虑一个因素排序,或者完全依赖测试执行者主观判断,对于测试用例的优先级执行不够合理,不利于提高测试用例的测试管理效率。
发明内容
本发明为了解决现有技术中存在的问题,创新提出了一种测试用例排序管理方法及系统,有效解决由于现有技术造成测试用例管理排序中考虑因素较为单一的问题,使得测试用例的优先级执行更合理,有效的提高了测试用例的测试管理效率。
本发明第一方面提供了一种测试用例排序管理方法,包括:
根据测试用例的功能点类型将多个测试用例划分为多个测试单元,每个测试单元执行一种功能点类型的多个测试用例;
回归测试阶段,同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型,计算每个测试用例的重要性指标参数;
根据测试用例的重要性指标参数对同一测试单元中的多个测试用例进行优先级排序。
可选地,根据测试用例的功能点类型将多个测试用例划分为多个测试单元具体是:测试用例的功能点类型包括基本功能点、拓展功能点、易用性功能点,其中,基本功能点为实现软件基本功能的功能点,拓展功能点为拓展软件基本功能以外的功能点,易用性功能点为软件易用性测试功能点;测试单元对应包括基本功能点测试单元、拓展功能点测试单元、易用性功能点测试单元,基本功能点测试单元包括多个功能点类型为基本功能点的测试用例,拓展功能点测试单元包括多个功能点类型为拓展功能点的测试用例,易用性功能点测试单元包括多个功能点类型为易用性功能点的测试用例。
进一步地,基本功能点测试单元中测试用例的执行优先级高于拓展功能点测试单元中测试用例的执行优先级,拓展功能点测试单元中测试用例的执行优先级高于易用性功能点测试单元中测试用例的执行优先级。
可选地,同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型具体包括:
获取每个测试用例的缺陷检测率、缺陷检测比、严重性检测能力;
构建重要性指标参数模型,具体是:
pj=bj×xj,其中,pj为第j个测试用例Tj的重要性指标参数,bj为第j个测试用例Tj的权重系数,xj为第j个测试用例Tj的初始重要性指标参数,其表达式具体是:
xj=a1×RFTj+a2×RFDj+a3×RDAj,其中,RFTj为第j个测试用例Tj的缺陷检测率,a1为第j个测试用例Tj的缺陷检测率的权重系数,RFDj为第j个测试用例Tj的缺陷检测比,a2为第j个测试用例Tj的缺陷检测比的权重系数,RDAj为第j个测试用例Tj的严重性检测能力,a3为第j个测试用例Tj的严重性检测能力的权重系数;
进一步地,第k个缺陷的严重性程度值具体是根据缺陷等级赋予对应的严重性程度值,其中,缺陷等级包括崩溃、严重、次要、轻微、建议,其中,崩溃为造成死机、崩溃、异常退出、数据丢失;严重为未实现软件需求,导致软件不能正常使用;次要为未实现软件需求,软件功能可正常使用;轻微为已实现软件需求,软件功能可正常使用;建议为软件易用性方面。
可选地,在回归测试阶段之前,同一测试单元中测试用例初次执行测试时,根据测试用例的初始顺序进行优先级排序测试。
可选地,每执行一轮回归测试,更新测试用例的重要性指标参数,并更新同一测试单元中多个测试用例的优先级排序。
可选地,获取不同测试单元中测试用例的测试结果,输出测试报告。
可选地,还包括:建立晾晒池,所述晾晒池用于存储测试失败且影响其他测试用例执行的测试用例。
本发明第二方面提供了一种测试用例排序管理系统,包括:
划分模块,根据测试用例的功能点类型将多个测试用例划分为多个测试单元,每个测试单元执行一种功能点类型的多个测试用例;
构建计算模块,回归测试阶段,同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型,计算每个测试用例的重要性指标参数;
排序模块,根据测试用例的重要性指标参数对同一测试单元中的多个测试用例进行排序。
本发明采用的技术方案包括以下技术效果:
1、本发明在测试用例排序中,根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型,有效解决由于现有技术造成测试用例管理排序中考虑因素较为单一的问题,使得测试用例的优先级执行更合理,有效的提高了测试用例的测试管理效率。
2、本发明技术方案中测试用例测试之前,根据测试用例功能点类型划分为不同的测试单元,同一测试单元中仅执行同一种功能点类型的测试用例,不同测试单元之间也进行优先级划分,进一步地提高了测试用例的测试管理以及排序效率。
3、本发明技术方案中根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型,不仅参考缺陷的数量、缺陷检测的时间以及缺陷等级进行综合考虑,而且,也可以根据测试用例的重要程度进行调整权重系数,使得测试用例的测试排序管理更合理,满足不同软件以及不同测试用例的测试排序管理需求。
4、本发明技术方案中根据缺陷等级赋予对应的严重性程度值,使得缺陷的严重程度进行量化,为测试用例的优先级排序提供了可靠的数据基础。
5、本发明技术方案中每执行一轮回归测试,更新测试用例的重要性指标参数,并更新同一测试单元中多个测试用例的优先级排序,使得同一测试单元中的测试用例可以根据上一轮测试实际情况实时进行调整,使得测试用例的优先级排序更合理,满足实际测试需求。
6、本发明技术方案中还包括建立晾晒池,晾晒池用于存储测试失败且影响其他测试用例执行的测试用例,避免了因为某些测试用例失败阻碍其他测试用例测试,影响替他测试用例的执行以及测试结果,进一步地提高了测试用例测试的可靠性。
应当理解的是以上的一般描述以及后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
为了更清楚说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单介绍,显而易见的,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明方案中实施例一方法的流程示意图;
图2为本发明方案中实施例二方法的流程示意图;
图3为本发明方案中实施例三方法的流程示意图;
图4为本发明方案中实施例四方法的流程示意图;
图5为本发明方案中实施例五系统的结构示意图。
具体实施方式
为能清楚说明本方案的技术特点,下面通过具体实施方式,并结合其附图,对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。此外,本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意,在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
实施例一
如图1所示,本发明提供了一种测试用例排序管理方法,包括:
S1,根据测试用例的功能点类型将多个测试用例划分为多个测试单元,每个测试单元执行一种功能点类型的多个测试用例;
S2,回归测试阶段,同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型,计算每个测试用例的重要性指标参数;
S3,根据测试用例的重要性指标参数对同一测试单元中的多个测试用例进行优先级排序。
其中,在步骤S1中,在开发软件初期,导入测试用例以及测试用例信息(测试功能点类型、项目、版本、模块、需求、测试执行人、测试用例设计者),然后,用户就可以首先通过这些选项初步筛选排序用例。根据测试用例的功能点类型将多个测试用例划分为多个测试单元具体是:测试用例的功能点类型包括基本功能点、拓展功能点、易用性功能点,其中,基本功能点(主要功能点)为实现软件基本功能的功能点,保证软件功能是稳定的,软件主要功能测试以及重要的错误测试和重要边界测试;拓展功能点(次要功能点)为拓展软件基本功能以外的功能点,包括拓展软件功能,使软件功能功能变得更详细,包括次要边界测试、次要错误测试和配置测试;易用性功能点(细部功能点)为软件易用性测试功能点,包括软件GUI(Graphical User Interface,图形用户界面或图形用户接口)、软件错误信息、软件易用性等方面;测试单元对应包括基本功能点测试单元、拓展功能点测试单元、易用性功能点测试单元,基本功能点测试单元包括多个功能点类型为基本功能点的测试用例,拓展功能点测试单元包括多个功能点类型为拓展功能点的测试用例,易用性功能点测试单元包括多个功能点类型为易用性功能点的测试用例。
基本功能点测试单元中测试用例的执行优先级高于拓展功能点测试单元中测试用例的执行优先级,拓展功能点测试单元中测试用例的执行优先级高于易用性功能点测试单元中测试用例的执行优先级。
在步骤S2中,同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型具体包括:
获取每个测试用例的缺陷检测率、缺陷检测比、严重性检测能力;
构建重要性指标参数模型,具体是:
pj=bj×xj,其中,pj为第j个测试用例Tj的重要性指标参数,bj为第j个测试用例Tj的权重系数,可由测试人员设置的主观重要性权重系数,(初始状态下默认为1,设置范围可以是0.5-1.5,如果某一项测试用例比较重要,适当增大bj,如果某一项测试用例重要性较低,适当减小bj),xj为第j个测试用例Tj的初始重要性指标参数,其表达式具体是:
xj=a1×RFTj+a2×RFDj+a3×RDAj,其中,RFTj为第j个测试用例Tj的缺陷检测率(Rate of Fault Detection),a1为第j个测试用例Tj的缺陷检测率的权重系数,RFDj为第j个测试用例Tj的缺陷检测比(Rate of Fault Detected),a2为第j个测试用例Tj的缺陷检测比的权重系数,RDAj为第j个测试用例Tj的严重性检测能力(Risk Detection Ability),a3为第j个测试用例Tj的严重性检测能力的权重系数;a1、a2、a3可以是归一化的权重系数,即a1+a2+a3=1,三者可以根据不同测试指标(缺陷检测率、缺陷检测比、严重性检测能力)的重要性,调整a1、a2、a3的大小,也可以根据实际情况进行灵活调整,本发明在此不做限制。
第k个缺陷的严重性程度值具体是根据缺陷等级赋予对应的严重性程度值,其中,缺陷等级包括崩溃、严重、次要、轻微、建议,其中,崩溃为造成死机、崩溃、异常退出、数据丢失;严重为未实现软件需求,导致软件不能正常使用;次要为未实现软件需求,软件功能可正常使用;轻微为已实现软件需求,软件功能可正常使用;建议为软件易用性方面。根据缺陷等级赋予对应的严重性程度值,以便于定量衡量各类缺陷对软件造成的危害程度,具体地,崩溃、严重、次要、轻微、建议分别对应的严重性程度值可以是10、8、6、4、2,也可以是归一化的严重性程度值1、0.8、0.6、0.4、0.2,本发明在此不做限制。
具体情况如下表所示:
也可以根据实际情况,对缺陷等级进行不同数量等级的划分,例如3个、4个或6个以上等,本发明在此均不作限制。
进一步地,每执行一轮回归测试,更新测试用例的重要性指标参数,并更新同一测试单元中多个测试用例的优先级排序。
用户按照测试用例排序进行测试工作,在测试结束之后,用户在反馈测试结果之外,还要反馈测试所用时间timej。然后测试系统用户如果对于该测试用例重要性不满意的话,可以在一定范围内调整第j个测试用例Tj的权重系数bj。
在回归迭代测试中,每一轮的测试用例可能是在动态改变的。比如上一轮没有通过的测试用例,这一轮肯定优先级需要有所上升;或者在上轮测试中,测试工程师对于执行测试用例所需时间或者其重要程度进行了错误估计,同样也就需要优化调整一下测试用例优先级。故本测试管理在每一个迭代的测试用例执行完毕之后,都会通过测试用例实际执行情况实际动态地进行改变,并且测试人员在执行完测试用例之后都可以对测试用例的实际执行时间、检测的缺陷数、缺陷的严重程度等方面进行反馈,来调整测试用例优先级,优化下一轮回归测试用例的执行顺序。
具体地,以a1、a2、a3为0.25、0.25、0.5为例进行举例说明,在本例中,更看重在有限的时间内找出更多的严重性高的bug,所以,a3设置为0.5,在RDAj中,测出的缺陷类型会影响其数据,为了衡量缺陷的严重程度,测试系统管理员设置崩溃、严重、次要、轻微、建议分别对应的严重性程度值可以是10、8、6、4、2。
在初次测试系统用户在反馈测试用例测试结果,所用时间,以及主观权重系数,其中主观权重系数的范围同样由系统管理员设置为0.5-1.5。
以下表格为第一次测试之后反馈的测试情况:
带入对应的计算公式,可以得出列表:
测试用例 | RFT<sub>j</sub> | RFD<sub>j</sub> | RDA<sub>j</sub> | x<sub>j</sub> |
T<sub>1</sub> | 3.33 | 1 | 2 | 8.33 |
T<sub>2</sub> | 0 | 0 | 0 | 0 |
T<sub>3</sub> | 0 | 0 | 0 | 0 |
T<sub>4</sub> | 2 | 2 | 1.8 | 7.6 |
T<sub>5</sub> | 6 | 3 | 2.8 | 14.6 |
T<sub>6</sub> | 0 | 0 | 0 | 0 |
T<sub>7</sub> | 6.67 | 2 | 2.67 | 14 |
T<sub>8</sub> | 2.5 | 1 | 0.5 | 4.5 |
T<sub>9</sub> | 2 | 1 | 0.4 | 3.8 |
然后再考虑到测试功能点类型以及测试用例Tj的权重系数反馈之后,实际在下一轮迭代测试中,测试用例的排序则为:
本发明在测试用例排序中,根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型,有效解决由于现有技术造成测试用例管理排序中考虑因素较为单一的问题,使得测试用例的优先级执行更合理,有效的提高了测试用例的测试管理效率。
本发明技术方案中测试用例测试之前,根据测试用例功能点类型划分为不同的测试单元,同一测试单元中仅执行同一种功能点类型的测试用例,不同测试单元之间也进行优先级划分,进一步地提高了测试用例的测试管理以及排序效率;通过优化测试用例的执行次序来提高回归测试效率和软件产品的可靠性,进而优化测试流程,降低回归测试成本。
本发明技术方案中根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型,不仅参考缺陷的数量、缺陷检测的时间以及缺陷等级进行综合考虑,而且,也可以根据测试用例的重要程度进行调整权重系数,使得测试用例的测试排序管理更合理,满足不同软件以及不同测试用例的测试排序管理需求。
本发明技术方案中根据缺陷等级赋予对应的严重性程度值,使得缺陷的严重程度进行量化,为测试用例的优先级排序提供了可靠的数据基础。
本发明技术方案中每执行一轮回归测试,更新测试用例的重要性指标参数,并更新同一测试单元中多个测试用例的优先级排序,使得同一测试单元中的测试用例可以根据上一轮测试实际情况实时进行调整,使得测试用例的优先级排序更合理,满足实际测试需求。
实施例二
如图2所示,本发明提供了一种测试用例排序管理方法,包括:
S1,根据测试用例的功能点类型将多个测试用例划分为多个测试单元,每个测试单元执行一种功能点类型的多个测试用例;
S2,在回归测试阶段之前,同一测试单元中测试用例初次执行测试时,根据测试用例的初始顺序进行优先级排序测试;
S3,回归测试阶段,同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型,计算每个测试用例的重要性指标参数;
S4,根据测试用例的重要性指标参数对同一测试单元中的多个测试用例进行优先级排序;
在步骤S2中,初始顺序可以是根据测试用例除功能点类型以外的其他信息设置的初始顺序(默认顺序)进行排序测试。
实施例三
如图3所示,本发明技术方案还提供了一种测试用例排序管理方法,包括:
S1,根据测试用例的功能点类型将多个测试用例划分为多个测试单元,每个测试单元执行一种功能点类型的多个测试用例;
S2,在回归测试阶段之前,同一测试单元中测试用例初次执行测试时,根据测试用例的初始顺序进行优先级排序测试;
S3,回归测试阶段,同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型,计算每个测试用例的重要性指标参数;
S4,根据测试用例的重要性指标参数对同一测试单元中的多个测试用例进行优先级排序;
S5,获取不同测试单元中测试用例的测试结果,输出测试报告。
本发明技术方案通过对测试结果进行统计,输出测试报告,便于测试人员根据测试结果调整软件功能,提高了软件开发效率。
实施例四
如图4所示,本发明技术方案还提供了一种测试用例排序管理方法,包括:
S1,根据测试用例的功能点类型将多个测试用例划分为多个测试单元,每个测试单元执行一种功能点类型的多个测试用例;
S2,在回归测试阶段之前,同一测试单元中测试用例初次执行测试时,根据测试用例的初始顺序进行优先级排序测试;
S3,回归测试阶段,同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型,计算每个测试用例的重要性指标参数;
S4,根据测试用例的重要性指标参数对同一测试单元中的多个测试用例进行优先级排序;
S5,建立晾晒池,所述晾晒池用于存储测试失败且影响其他测试用例执行的测试用例;
S6,获取不同测试单元中测试用例的测试结果,输出测试报告。
其中,在步骤S5中,在测试不同需求时,可能会存在测试用例,如果执行失败,可能会阻碍其他测试用例执行。
本发明技术方案中还包括建立晾晒池,晾晒池可以是某一预设存储区域,存储测试失败且影响其他测试用例(可以是同一单元测试用例或不同单元测试用例)执行的测试用例,避免了因为某些测试用例失败阻碍其他测试用例测试,影响替他测试用例的执行以及测试结果,进一步地提高了测试用例测试的可靠性。
实施例五
如图5所示,本发明技术方案还提供了一种测试用例排序管理系统,包括:
划分模块101,根据测试用例的功能点类型将多个测试用例划分为多个测试单元,每个测试单元执行一种功能点类型的多个测试用例;
构建计算模块102,回归测试阶段,同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型,计算每个测试用例的重要性指标参数;
排序模块103,根据测试用例的重要性指标参数对同一测试单元中的多个测试用例进行排序。
本发明在测试用例排序中,根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型,有效解决由于现有技术造成测试用例管理排序中考虑因素较为单一的问题,使得测试用例的优先级执行更合理,有效的提高了测试用例的测试管理效率。
本发明技术方案中测试用例测试之前,根据测试用例功能点类型划分为不同的测试单元,同一测试单元中仅执行同一种功能点类型的测试用例,不同测试单元之间也进行优先级划分,进一步地提高了测试用例的测试管理以及排序效率。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种测试用例排序管理方法,其特征是,包括:
根据测试用例的功能点类型将多个测试用例划分为多个测试单元,每个测试单元执行一种功能点类型的多个测试用例;
回归测试阶段,同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型,计算每个测试用例的重要性指标参数;
根据测试用例的重要性指标参数对同一测试单元中的多个测试用例进行优先级排序。
2.根据权利要求1所述的测试用例排序管理方法,其特征是,根据测试用例的功能点类型将多个测试用例划分为多个测试单元具体是:测试用例的功能点类型包括基本功能点、拓展功能点、易用性功能点,其中,基本功能点为实现软件基本功能的功能点,拓展功能点为拓展软件基本功能以外的功能点,易用性功能点为软件易用性测试功能点;测试单元对应包括基本功能点测试单元、拓展功能点测试单元、易用性功能点测试单元,基本功能点测试单元包括多个功能点类型为基本功能点的测试用例,拓展功能点测试单元包括多个功能点类型为拓展功能点的测试用例,易用性功能点测试单元包括多个功能点类型为易用性功能点的测试用例。
3.根据权利要求2所述的测试用例排序管理方法,其特征是,基本功能点测试单元中测试用例的执行优先级高于拓展功能点测试单元中测试用例的执行优先级,拓展功能点测试单元中测试用例的执行优先级高于易用性功能点测试单元中测试用例的执行优先级。
4.根据权利要求1所述的测试用例排序管理方法,其特征是,同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型具体包括:
获取每个测试用例的缺陷检测率、缺陷检测比、严重性检测能力;
构建重要性指标参数模型,具体是:
pj=bj×xj,其中,pj为第j个测试用例Tj的重要性指标参数,bj为第j个测试用例Tj的权重系数,xj为第j个测试用例Tj的初始重要性指标参数,其表达式具体是:
xj=a1×RFTj+a2×RFDj+a3×RDAj,其中,RFTj为第j个测试用例Tj的缺陷检测率,a1为第j个测试用例Tj的缺陷检测率的权重系数,RFDj为第j个测试用例Tj的缺陷检测比,a2为第j个测试用例Tj的缺陷检测比的权重系数,RDAj为第j个测试用例Tj的严重性检测能力,a3为第j个测试用例Tj的严重性检测能力的权重系数;
5.根据权利要求4所述的测试用例排序管理方法,其特征是,第k个缺陷的严重性程度值具体是根据缺陷等级赋予对应的严重性程度值,其中,缺陷等级包括崩溃、严重、次要、轻微、建议,其中,崩溃为造成死机、崩溃、异常退出、数据丢失;严重为未实现软件需求,导致软件不能正常使用;次要为未实现软件需求,软件功能可正常使用;轻微为已实现软件需求,软件功能可正常使用;建议为软件易用性方面。
6.根据权利要求1所述的测试用例排序管理方法,其特征是,在回归测试阶段之前,同一测试单元中测试用例初次执行测试时,根据测试用例的初始顺序进行优先级排序测试。
7.根据权利要求1所述的测试用例排序管理方法,其特征是,还包括:每执行一轮回归测试,更新测试用例的重要性指标参数,并更新同一测试单元中多个测试用例的优先级排序。
8.根据权利要求1所述的测试用例排序管理方法,其特征是,获取不同测试单元中测试用例的测试结果,输出测试报告。
9.根据权利要求1-8任一所述的测试用例排序管理方法,其特征是,还包括:建立晾晒池,所述晾晒池用于存储测试失败且影响其他测试用例执行的测试用例。
10.一种测试用例排序管理系统,其特征是,包括:
划分模块,根据测试用例的功能点类型将多个测试用例划分为多个测试单元,每个测试单元执行一种功能点类型的多个测试用例;
构建计算模块,回归测试阶段,同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型,计算每个测试用例的重要性指标参数;
排序模块,根据测试用例的重要性指标参数对同一测试单元中的多个测试用例进行排序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011456694.1A CN112463636B (zh) | 2020-12-11 | 2020-12-11 | 一种测试用例排序管理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011456694.1A CN112463636B (zh) | 2020-12-11 | 2020-12-11 | 一种测试用例排序管理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112463636A true CN112463636A (zh) | 2021-03-09 |
CN112463636B CN112463636B (zh) | 2023-01-06 |
Family
ID=74800770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011456694.1A Active CN112463636B (zh) | 2020-12-11 | 2020-12-11 | 一种测试用例排序管理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112463636B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113127277A (zh) * | 2021-03-26 | 2021-07-16 | 山东英信计算机技术有限公司 | 一种设备测试方法、装置、电子设备及可读存储介质 |
CN113590472A (zh) * | 2021-07-06 | 2021-11-02 | 四川大学 | 一种回归测试中测试用例优先级排序方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104536896A (zh) * | 2015-01-12 | 2015-04-22 | 牟永敏 | 面向函数调用路径的回归测试用例选择与排序方法及系统 |
CN110377496A (zh) * | 2019-04-28 | 2019-10-25 | 北京轩宇信息技术有限公司 | 一种软件回归测试过程中基于智能水滴的测试用例优先级确定方法 |
CN110941545A (zh) * | 2018-09-25 | 2020-03-31 | 中国石油化工股份有限公司 | 基于缺陷的回归测试用例的处理方法、装置及计算设备 |
-
2020
- 2020-12-11 CN CN202011456694.1A patent/CN112463636B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104536896A (zh) * | 2015-01-12 | 2015-04-22 | 牟永敏 | 面向函数调用路径的回归测试用例选择与排序方法及系统 |
CN110941545A (zh) * | 2018-09-25 | 2020-03-31 | 中国石油化工股份有限公司 | 基于缺陷的回归测试用例的处理方法、装置及计算设备 |
CN110377496A (zh) * | 2019-04-28 | 2019-10-25 | 北京轩宇信息技术有限公司 | 一种软件回归测试过程中基于智能水滴的测试用例优先级确定方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113127277A (zh) * | 2021-03-26 | 2021-07-16 | 山东英信计算机技术有限公司 | 一种设备测试方法、装置、电子设备及可读存储介质 |
CN113127277B (zh) * | 2021-03-26 | 2022-11-25 | 山东英信计算机技术有限公司 | 一种设备测试方法、装置、电子设备及可读存储介质 |
CN113590472A (zh) * | 2021-07-06 | 2021-11-02 | 四川大学 | 一种回归测试中测试用例优先级排序方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112463636B (zh) | 2023-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111553590B (zh) | 一种雷达嵌入式健康管理系统 | |
CN112463636B (zh) | 一种测试用例排序管理方法及系统 | |
CN108649892B (zh) | 光伏电站的缺陷诊断方法及装置 | |
CN107861876A (zh) | 测试方法、装置、计算机设备及可读存储介质 | |
CN110515843B (zh) | 基于缺陷集合与倒排索引的测试用例优先排序方法 | |
CN113821976A (zh) | 一种基于集成算法的锂电池故障诊断建模方法 | |
CN111782532B (zh) | 一种基于网络异常节点分析的软件故障定位方法及系统 | |
CN113591393A (zh) | 智能变电站的故障诊断方法、装置、设备和存储介质 | |
CN111198979A (zh) | 一种用于对输变电可靠性评估大数据进行清洗的方法及系统 | |
CN111160329A (zh) | 一种根因分析的方法及装置 | |
CN111091141B (zh) | 一种基于分层Softmax的光伏背板故障诊断方法 | |
WO2019019429A1 (zh) | 一种虚拟机异常检测方法、装置、设备及存储介质 | |
CN114720899A (zh) | 退役电池梯次利用分选方法及系统、电子设备、存储介质 | |
CN110443481B (zh) | 基于混合k-近邻算法的配电自动化终端状态评价系统及方法 | |
CN113326612A (zh) | 配电网可靠性评估方法及装置 | |
CN112016248A (zh) | 一种基于Elman神经网络SCR脱硝系统不良数据辨识方法 | |
CN116954624A (zh) | 基于软件开发包的编译方法、软件开发系统及服务器 | |
CN115759479B (zh) | 一种基于综合值的复杂设备故障定位优化方法和系统 | |
CN111880957A (zh) | 一种基于随机森林模型的程序错误定位方法 | |
CN115170097B (zh) | 一种空间数据分布式质检方法及系统 | |
CN114665986B (zh) | 一种蓝牙钥匙的测试系统及方法 | |
CN113591909B (zh) | 电力系统的异常检测方法、异常检测装置以及存储介质 | |
CN115587331A (zh) | 电网设备运行状态诊断预测方法及系统 | |
CN109165108B (zh) | 软件可靠性加速测试的失效数据还原方法及测试方法 | |
CN116628508B (zh) | 模型训练过程异常检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |