CN112463636B - 一种测试用例排序管理方法及系统 - Google Patents

一种测试用例排序管理方法及系统 Download PDF

Info

Publication number
CN112463636B
CN112463636B CN202011456694.1A CN202011456694A CN112463636B CN 112463636 B CN112463636 B CN 112463636B CN 202011456694 A CN202011456694 A CN 202011456694A CN 112463636 B CN112463636 B CN 112463636B
Authority
CN
China
Prior art keywords
test
test case
cases
test cases
jth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011456694.1A
Other languages
English (en)
Other versions
CN112463636A (zh
Inventor
冯祥伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202011456694.1A priority Critical patent/CN112463636B/zh
Publication of CN112463636A publication Critical patent/CN112463636A/zh
Application granted granted Critical
Publication of CN112463636B publication Critical patent/CN112463636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

本发明提出了一种测试用例排序管理方法，其特征是，包括：根据测试用例的功能点类型将多个测试用例划分为多个测试单元，每个测试单元执行一种功能点类型的多个测试用例；回归测试阶段，同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型，计算每个测试用例的重要性指标参数；根据测试用例的重要性指标参数对同一测试单元中的多个测试用例进行优先级排序，本发明还提出了一种测试用例排序管理系统，有效解决由于现有技术造成测试用例管理排序中考虑因素较为单一的问题，使得测试用例的优先级执行更合理，有效的提高了测试用例的测试管理效率，进而优化测试流程，降低回归测试成本。

Description

一种测试用例排序管理方法及系统
技术领域
本发明涉及测试用例管理领域，尤其是涉及一种测试用例排序管理方法及系统。
背景技术
随着人工智能、区块链、大数据等技术的日趋成熟，人类进入了智能化时代。互联网技术尤其是移动终端技术的发展极大地影响了人们的生活和工作方式，软件的功能越来越强大，人们对软件的需求量不断增加，各式各样的软件应运而生。随着我国软件行业的快速发展，软件的规模和复杂度不断增大，软件中存在缺陷的概率也随之增大；因此，保证软件的质量、提高系统的可靠性是软件行业发展的重要目标。
如何发现和处理这些软件缺陷直接影响系列软件的可靠性和质量。尽管当前存在代码审查、形式化验证等辅助手段，软件测试依然是目前最主要的软件质量保障手段，在软件的整个生命周期中发挥着极其重要的作用。在典型的软件开发项目中，软件测试工作量占软件工作总量的40％以上，测试时间占整个软件工程中所有研发时间的40％-50％，测试费用是的生存期费用所占的比例高达20％。
回归测试作为一种有效的软件测试方法，可有效保证代码修改的正确性并避免代码修改对被测程序其他模块产生的副作用。但统计数据表明，回归测试一般占软件产品测试预算的80％以上，占软件维护预算的50％以上。为了最大限度削减测试耗费，国内外研究人员围绕如何提高回归测试效率，降低回归测试花销展开深入研究，其中，测试管理的设计是重点，一般现有的测试管理，执行测试用例的方法为：导入测试用例，筛选排序测试用户用例，测试执行人根据筛选排序结果执行测试用例，并记录测试结果；根据记录测试结果，导出测试报告。
测试用例执行时虽然增加了排序的测试管理，但是一般分类较为简单，在排序测试用例优先级时，考虑的因素比较单一，过于依赖测试人员主观设置；然而在实际项目的回归测试中，有较多因素影响着测试用例优先级排序效果，如果只考虑一个因素排序，或者完全依赖测试执行者主观判断，对于测试用例的优先级执行不够合理，不利于提高测试用例的测试管理效率。
发明内容
本发明为了解决现有技术中存在的问题，创新提出了一种测试用例排序管理方法及系统，有效解决由于现有技术造成测试用例管理排序中考虑因素较为单一的问题，使得测试用例的优先级执行更合理，有效的提高了测试用例的测试管理效率。
本发明第一方面提供了一种测试用例排序管理方法，包括：
根据测试用例的功能点类型将多个测试用例划分为多个测试单元，每个测试单元执行一种功能点类型的多个测试用例；
回归测试阶段，同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型，计算每个测试用例的重要性指标参数；
根据测试用例的重要性指标参数对同一测试单元中的多个测试用例进行优先级排序。
可选地，根据测试用例的功能点类型将多个测试用例划分为多个测试单元具体是：测试用例的功能点类型包括基本功能点、拓展功能点、易用性功能点，其中，基本功能点为实现软件基本功能的功能点，拓展功能点为拓展软件基本功能以外的功能点，易用性功能点为软件易用性测试功能点；测试单元对应包括基本功能点测试单元、拓展功能点测试单元、易用性功能点测试单元，基本功能点测试单元包括多个功能点类型为基本功能点的测试用例，拓展功能点测试单元包括多个功能点类型为拓展功能点的测试用例，易用性功能点测试单元包括多个功能点类型为易用性功能点的测试用例。
进一步地，基本功能点测试单元中测试用例的执行优先级高于拓展功能点测试单元中测试用例的执行优先级，拓展功能点测试单元中测试用例的执行优先级高于易用性功能点测试单元中测试用例的执行优先级。
可选地，同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型具体包括：
获取每个测试用例的缺陷检测率、缺陷检测比、严重性检测能力；
构建重要性指标参数模型，具体是：
pj＝bj×xj，其中，pj为第j个测试用例Tj的重要性指标参数，bj为第j个测试用例Tj的权重系数，xj为第j个测试用例Tj的初始重要性指标参数，其表达式具体是：
xj＝a1×RFTj+a2×RFDj+a3×RDAj，其中，RFTj为第j个测试用例Tj的缺陷检测率，a1为第j个测试用例Tj的缺陷检测率的权重系数，RFDj为第j个测试用例Tj的缺陷检测比，a2为第j个测试用例Tj的缺陷检测比的权重系数，RDAj为第j个测试用例Tj的严重性检测能力，a3为第j个测试用例Tj的严重性检测能力的权重系数；
缺陷检测率RFTj为测试用例单位时间内发现的平均缺陷数，其表达式为：
Figure BDA0002829603950000041
Nj为第j个测试用例Tj发现的缺陷数量，timej为第j个测试用例Tj发现的缺陷数量的检测时间；
缺陷检测比RFDj为测试用例发现的平均缺陷数与总缺陷数N的比值，其表达式为：
Figure BDA0002829603950000042
其中，N为第j个测试用例Tj总缺陷数量；
严重性检测能力RDAj为单位时间内检测测试用例严重缺陷的能力，其表达式为：
Figure BDA0002829603950000043
其中，Sj为第j个测试用例Tj的严重性程度值，表达式为：
Figure BDA0002829603950000044
其中，SVk为第j个测试用例Tj中第k个缺陷的严重性程度值。
进一步地，第k个缺陷的严重性程度值具体是根据缺陷等级赋予对应的严重性程度值，其中，缺陷等级包括崩溃、严重、次要、轻微、建议，其中，崩溃为造成死机、崩溃、异常退出、数据丢失；严重为未实现软件需求，导致软件不能正常使用；次要为未实现软件需求，软件功能可正常使用；轻微为已实现软件需求，软件功能可正常使用；建议为软件易用性方面。
可选地，在回归测试阶段之前，同一测试单元中测试用例初次执行测试时，根据测试用例的初始顺序进行优先级排序测试。
可选地，每执行一轮回归测试，更新测试用例的重要性指标参数，并更新同一测试单元中多个测试用例的优先级排序。
可选地，获取不同测试单元中测试用例的测试结果，输出测试报告。
可选地，还包括：建立晾晒池，所述晾晒池用于存储测试失败且影响其他测试用例执行的测试用例。
本发明第二方面提供了一种测试用例排序管理系统，包括：
划分模块，根据测试用例的功能点类型将多个测试用例划分为多个测试单元，每个测试单元执行一种功能点类型的多个测试用例；
构建计算模块，回归测试阶段，同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型，计算每个测试用例的重要性指标参数；
排序模块，根据测试用例的重要性指标参数对同一测试单元中的多个测试用例进行排序。
本发明采用的技术方案包括以下技术效果：
1、本发明在测试用例排序中，根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型，有效解决由于现有技术造成测试用例管理排序中考虑因素较为单一的问题，使得测试用例的优先级执行更合理，有效的提高了测试用例的测试管理效率。
2、本发明技术方案中测试用例测试之前，根据测试用例功能点类型划分为不同的测试单元，同一测试单元中仅执行同一种功能点类型的测试用例，不同测试单元之间也进行优先级划分，进一步地提高了测试用例的测试管理以及排序效率。
3、本发明技术方案中根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型，不仅参考缺陷的数量、缺陷检测的时间以及缺陷等级进行综合考虑，而且，也可以根据测试用例的重要程度进行调整权重系数，使得测试用例的测试排序管理更合理，满足不同软件以及不同测试用例的测试排序管理需求。
4、本发明技术方案中根据缺陷等级赋予对应的严重性程度值，使得缺陷的严重程度进行量化，为测试用例的优先级排序提供了可靠的数据基础。
5、本发明技术方案中每执行一轮回归测试，更新测试用例的重要性指标参数，并更新同一测试单元中多个测试用例的优先级排序，使得同一测试单元中的测试用例可以根据上一轮测试实际情况实时进行调整，使得测试用例的优先级排序更合理，满足实际测试需求。
6、本发明技术方案中还包括建立晾晒池，晾晒池用于存储测试失败且影响其他测试用例执行的测试用例，避免了因为某些测试用例失败阻碍其他测试用例测试，影响替他测试用例的执行以及测试结果，进一步地提高了测试用例测试的可靠性。
应当理解的是以上的一般描述以及后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
为了更清楚说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见的，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方案中实施例一方法的流程示意图；
图2为本发明方案中实施例二方法的流程示意图；
图3为本发明方案中实施例三方法的流程示意图；
图4为本发明方案中实施例四方法的流程示意图；
图5为本发明方案中实施例五系统的结构示意图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
实施例一
如图1所示，本发明提供了一种测试用例排序管理方法，包括：
S1，根据测试用例的功能点类型将多个测试用例划分为多个测试单元，每个测试单元执行一种功能点类型的多个测试用例；
S2，回归测试阶段，同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型，计算每个测试用例的重要性指标参数；
S3，根据测试用例的重要性指标参数对同一测试单元中的多个测试用例进行优先级排序。
其中，在步骤S1中，在开发软件初期，导入测试用例以及测试用例信息(测试功能点类型、项目、版本、模块、需求、测试执行人、测试用例设计者)，然后，用户就可以首先通过这些选项初步筛选排序用例。根据测试用例的功能点类型将多个测试用例划分为多个测试单元具体是：测试用例的功能点类型包括基本功能点、拓展功能点、易用性功能点，其中，基本功能点(主要功能点)为实现软件基本功能的功能点，保证软件功能是稳定的，软件主要功能测试以及重要的错误测试和重要边界测试；拓展功能点(次要功能点)为拓展软件基本功能以外的功能点，包括拓展软件功能，使软件功能功能变得更详细，包括次要边界测试、次要错误测试和配置测试；易用性功能点(细部功能点)为软件易用性测试功能点，包括软件GUI(Graphical User Interface，图形用户界面或图形用户接口)、软件错误信息、软件易用性等方面；测试单元对应包括基本功能点测试单元、拓展功能点测试单元、易用性功能点测试单元，基本功能点测试单元包括多个功能点类型为基本功能点的测试用例，拓展功能点测试单元包括多个功能点类型为拓展功能点的测试用例，易用性功能点测试单元包括多个功能点类型为易用性功能点的测试用例。
基本功能点测试单元中测试用例的执行优先级高于拓展功能点测试单元中测试用例的执行优先级，拓展功能点测试单元中测试用例的执行优先级高于易用性功能点测试单元中测试用例的执行优先级。
在步骤S2中，同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型具体包括：
获取每个测试用例的缺陷检测率、缺陷检测比、严重性检测能力；
构建重要性指标参数模型，具体是：
pj＝bj×xj，其中，pj为第j个测试用例Tj的重要性指标参数，bj为第j个测试用例Tj的权重系数，可由测试人员设置的主观重要性权重系数，(初始状态下默认为1，设置范围可以是0.5-1.5，如果某一项测试用例比较重要，适当增大bj，如果某一项测试用例重要性较低，适当减小bj)，xj为第j个测试用例Tj的初始重要性指标参数，其表达式具体是：
xj＝a1×RFTj+a2×RFDj+a3×RDAj，其中，RFTj为第j个测试用例Tj的缺陷检测率(Rate of Fault Detection)，a1为第j个测试用例Tj的缺陷检测率的权重系数，RFDj为第j个测试用例Tj的缺陷检测比(Rate of Fault Detected)，a2为第j个测试用例Tj的缺陷检测比的权重系数，RDAj为第j个测试用例Tj的严重性检测能力(Risk Detection Ability)，a3为第j个测试用例Tj的严重性检测能力的权重系数；a1、a2、a3可以是归一化的权重系数，即a1+a2+a3＝1，三者可以根据不同测试指标(缺陷检测率、缺陷检测比、严重性检测能力)的重要性，调整a1、a2、a3的大小，也可以根据实际情况进行灵活调整，本发明在此不做限制。
缺陷检测率RFTj为测试用例单位时间内发现的平均缺陷数，其表达式为：
Figure BDA0002829603950000101
Nj为第j个测试用例Tj发现的缺陷数量，timej为第j个测试用例Tj发现的缺陷数量的检测时间；
缺陷检测比RFDj为测试用例发现的平均缺陷数与总缺陷数N的比值，其表达式为：
Figure BDA0002829603950000102
其中，N为第j个测试用例Tj总缺陷数量；
严重性检测能力RDAj为单位时间内检测测试用例严重缺陷的能力，其表达式为：
Figure BDA0002829603950000103
其中，Sj为第j个测试用例Tj的严重性程度值，表达式为：
Figure BDA0002829603950000104
其中，SVk为第j个测试用例Tj中第k个缺陷的严重性程度值。
第k个缺陷的严重性程度值具体是根据缺陷等级赋予对应的严重性程度值，其中，缺陷等级包括崩溃、严重、次要、轻微、建议，其中，崩溃为造成死机、崩溃、异常退出、数据丢失；严重为未实现软件需求，导致软件不能正常使用；次要为未实现软件需求，软件功能可正常使用；轻微为已实现软件需求，软件功能可正常使用；建议为软件易用性方面。根据缺陷等级赋予对应的严重性程度值，以便于定量衡量各类缺陷对软件造成的危害程度，具体地，崩溃、严重、次要、轻微、建议分别对应的严重性程度值可以是10、8、6、4、2，也可以是归一化的严重性程度值1、0.8、0.6、0.4、0.2，本发明在此不做限制。
具体情况如下表所示：
Figure BDA0002829603950000111
也可以根据实际情况，对缺陷等级进行不同数量等级的划分，例如3个、4个或6个以上等，本发明在此均不作限制。
进一步地，每执行一轮回归测试，更新测试用例的重要性指标参数，并更新同一测试单元中多个测试用例的优先级排序。
用户按照测试用例排序进行测试工作，在测试结束之后，用户在反馈测试结果之外，还要反馈测试所用时间timej。然后测试系统用户如果对于该测试用例重要性不满意的话，可以在一定范围内调整第j个测试用例Tj的权重系数bj。
在回归迭代测试中，每一轮的测试用例可能是在动态改变的。比如上一轮没有通过的测试用例，这一轮肯定优先级需要有所上升；或者在上轮测试中，测试工程师对于执行测试用例所需时间或者其重要程度进行了错误估计，同样也就需要优化调整一下测试用例优先级。故本测试管理在每一个迭代的测试用例执行完毕之后，都会通过测试用例实际执行情况实际动态地进行改变，并且测试人员在执行完测试用例之后都可以对测试用例的实际执行时间、检测的缺陷数、缺陷的严重程度等方面进行反馈，来调整测试用例优先级，优化下一轮回归测试用例的执行顺序。
具体地，以a1、a2、a3为0.25、0.25、0.5为例进行举例说明，在本例中，更看重在有限的时间内找出更多的严重性高的bug，所以，a3设置为0.5，在RDAj中，测出的缺陷类型会影响其数据，为了衡量缺陷的严重程度，测试系统管理员设置崩溃、严重、次要、轻微、建议分别对应的严重性程度值可以是10、8、6、4、2。
在初次测试系统用户在反馈测试用例测试结果，所用时间，以及主观权重系数，其中主观权重系数的范围同样由系统管理员设置为0.5-1.5。
以下表格为第一次测试之后反馈的测试情况：
Figure BDA0002829603950000121
Figure BDA0002829603950000131
带入对应的计算公式，可以得出列表：
测试用例 RFT<sub>j</sub> RFD<sub>j</sub> RDA<sub>j</sub> x<sub>j</sub>
T<sub>1</sub> 3.33 1 2 8.33
T<sub>2</sub> 0 0 0 0
T<sub>3</sub> 0 0 0 0
T<sub>4</sub> 2 2 1.8 7.6
T<sub>5</sub> 6 3 2.8 14.6
T<sub>6</sub> 0 0 0 0
T<sub>7</sub> 6.67 2 2.67 14
T<sub>8</sub> 2.5 1 0.5 4.5
T<sub>9</sub> 2 1 0.4 3.8
然后再考虑到测试功能点类型以及测试用例Tj的权重系数反馈之后，实际在下一轮迭代测试中，测试用例的排序则为：
Figure BDA0002829603950000132
Figure BDA0002829603950000141
本发明在测试用例排序中，根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型，有效解决由于现有技术造成测试用例管理排序中考虑因素较为单一的问题，使得测试用例的优先级执行更合理，有效的提高了测试用例的测试管理效率。
本发明技术方案中测试用例测试之前，根据测试用例功能点类型划分为不同的测试单元，同一测试单元中仅执行同一种功能点类型的测试用例，不同测试单元之间也进行优先级划分，进一步地提高了测试用例的测试管理以及排序效率；通过优化测试用例的执行次序来提高回归测试效率和软件产品的可靠性，进而优化测试流程，降低回归测试成本。
本发明技术方案中根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型，不仅参考缺陷的数量、缺陷检测的时间以及缺陷等级进行综合考虑，而且，也可以根据测试用例的重要程度进行调整权重系数，使得测试用例的测试排序管理更合理，满足不同软件以及不同测试用例的测试排序管理需求。
本发明技术方案中根据缺陷等级赋予对应的严重性程度值，使得缺陷的严重程度进行量化，为测试用例的优先级排序提供了可靠的数据基础。
本发明技术方案中每执行一轮回归测试，更新测试用例的重要性指标参数，并更新同一测试单元中多个测试用例的优先级排序，使得同一测试单元中的测试用例可以根据上一轮测试实际情况实时进行调整，使得测试用例的优先级排序更合理，满足实际测试需求。
实施例二
如图2所示，本发明提供了一种测试用例排序管理方法，包括：
S1，根据测试用例的功能点类型将多个测试用例划分为多个测试单元，每个测试单元执行一种功能点类型的多个测试用例；
S2，在回归测试阶段之前，同一测试单元中测试用例初次执行测试时，根据测试用例的初始顺序进行优先级排序测试；
S3，回归测试阶段，同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型，计算每个测试用例的重要性指标参数；
S4，根据测试用例的重要性指标参数对同一测试单元中的多个测试用例进行优先级排序；
在步骤S2中，初始顺序可以是根据测试用例除功能点类型以外的其他信息设置的初始顺序(默认顺序)进行排序测试。
实施例三
如图3所示，本发明技术方案还提供了一种测试用例排序管理方法，包括：
S1，根据测试用例的功能点类型将多个测试用例划分为多个测试单元，每个测试单元执行一种功能点类型的多个测试用例；
S2，在回归测试阶段之前，同一测试单元中测试用例初次执行测试时，根据测试用例的初始顺序进行优先级排序测试；
S3，回归测试阶段，同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型，计算每个测试用例的重要性指标参数；
S4，根据测试用例的重要性指标参数对同一测试单元中的多个测试用例进行优先级排序；
S5，获取不同测试单元中测试用例的测试结果，输出测试报告。
本发明技术方案通过对测试结果进行统计，输出测试报告，便于测试人员根据测试结果调整软件功能，提高了软件开发效率。
实施例四
如图4所示，本发明技术方案还提供了一种测试用例排序管理方法，包括：
S1，根据测试用例的功能点类型将多个测试用例划分为多个测试单元，每个测试单元执行一种功能点类型的多个测试用例；
S2，在回归测试阶段之前，同一测试单元中测试用例初次执行测试时，根据测试用例的初始顺序进行优先级排序测试；
S3，回归测试阶段，同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型，计算每个测试用例的重要性指标参数；
S4，根据测试用例的重要性指标参数对同一测试单元中的多个测试用例进行优先级排序；
S5，建立晾晒池，所述晾晒池用于存储测试失败且影响其他测试用例执行的测试用例；
S6，获取不同测试单元中测试用例的测试结果，输出测试报告。
其中，在步骤S5中，在测试不同需求时，可能会存在测试用例，如果执行失败，可能会阻碍其他测试用例执行。
本发明技术方案中还包括建立晾晒池，晾晒池可以是某一预设存储区域，存储测试失败且影响其他测试用例(可以是同一单元测试用例或不同单元测试用例)执行的测试用例，避免了因为某些测试用例失败阻碍其他测试用例测试，影响替他测试用例的执行以及测试结果，进一步地提高了测试用例测试的可靠性。
实施例五
如图5所示，本发明技术方案还提供了一种测试用例排序管理系统，包括：
划分模块101，根据测试用例的功能点类型将多个测试用例划分为多个测试单元，每个测试单元执行一种功能点类型的多个测试用例；
构建计算模块102，回归测试阶段，同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型，计算每个测试用例的重要性指标参数；
排序模块103，根据测试用例的重要性指标参数对同一测试单元中的多个测试用例进行排序。
本发明在测试用例排序中，根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型，有效解决由于现有技术造成测试用例管理排序中考虑因素较为单一的问题，使得测试用例的优先级执行更合理，有效的提高了测试用例的测试管理效率。
本发明技术方案中测试用例测试之前，根据测试用例功能点类型划分为不同的测试单元，同一测试单元中仅执行同一种功能点类型的测试用例，不同测试单元之间也进行优先级划分，进一步地提高了测试用例的测试管理以及排序效率。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种测试用例排序管理方法，其特征是，包括：
根据测试用例的功能点类型将多个测试用例划分为多个测试单元，每个测试单元执行一种功能点类型的多个测试用例；
回归测试阶段，同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型，计算每个测试用例的重要性指标参数；其中，同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型具体包括：
获取每个测试用例的缺陷检测率、缺陷检测比、严重性检测能力；
构建重要性指标参数模型，具体是：
Figure 885742DEST_PATH_IMAGE001
，其中，
Figure 193096DEST_PATH_IMAGE002
为第j个测试用例
Figure 35150DEST_PATH_IMAGE003
的重要性指标参数，
Figure 164780DEST_PATH_IMAGE004
为第j个测试用例
Figure 385677DEST_PATH_IMAGE005
的权重系数，
Figure 208139DEST_PATH_IMAGE006
为第j个测试用例
Figure 271910DEST_PATH_IMAGE007
的初始重要性指标参数，其表达式具体是：
Figure 126603DEST_PATH_IMAGE008
，其中，
Figure 264323DEST_PATH_IMAGE009
为第j个测试用例
Figure 523266DEST_PATH_IMAGE010
的缺陷检测率，
Figure 74333DEST_PATH_IMAGE011
为第j个测试用例
Figure 217870DEST_PATH_IMAGE007
的缺陷检测率的权重系数，
Figure 475676DEST_PATH_IMAGE012
为第j个测试用例
Figure 702258DEST_PATH_IMAGE007
的缺陷检测比，
Figure 412725DEST_PATH_IMAGE013
为第j个测试用例
Figure 871869DEST_PATH_IMAGE007
的缺陷检测比的权重系数，
Figure 249761DEST_PATH_IMAGE014
为第j个测试用例
Figure 381665DEST_PATH_IMAGE007
的严重性检测能力，
Figure 845007DEST_PATH_IMAGE015
为第j个测试用例
Figure 595926DEST_PATH_IMAGE005
的严重性检测能力的权重系数；
缺陷检测率
Figure 828324DEST_PATH_IMAGE016
为测试用例单位时间内发现的平均缺陷数，其表达式为：
Figure 131129DEST_PATH_IMAGE017
，
Figure 81768DEST_PATH_IMAGE018
为第j个测试用例
Figure 620065DEST_PATH_IMAGE003
发现的缺陷数量，
Figure 769287DEST_PATH_IMAGE020
为第j个测试用例
Figure 446256DEST_PATH_IMAGE021
发现的缺陷数量的检测时间；
缺陷检测比
Figure 556294DEST_PATH_IMAGE022
为测试用例发现的平均缺陷数与总缺陷数N的比值，其表达式为：
Figure 711332DEST_PATH_IMAGE023
，其中，N为第j个测试用例
Figure 980639DEST_PATH_IMAGE024
总缺陷数量；
严重性检测能力
Figure 562930DEST_PATH_IMAGE025
为单位时间内检测测试用例严重缺陷的能力，其表达式为：
Figure 409533DEST_PATH_IMAGE026
，其中，
Figure 368261DEST_PATH_IMAGE027
为第j个测试用例
Figure 492075DEST_PATH_IMAGE028
的严重性程度值，表达式为：
Figure 510847DEST_PATH_IMAGE029
，其中，
Figure 595477DEST_PATH_IMAGE030
为第j个测试用例
Figure 889055DEST_PATH_IMAGE028
中第k个缺陷的严重性程度值；
根据测试用例的重要性指标参数对同一测试单元中的多个测试用例进行优先级排序。
2.根据权利要求1所述的测试用例排序管理方法，其特征是，根据测试用例的功能点类型将多个测试用例划分为多个测试单元具体是：测试用例的功能点类型包括基本功能点、拓展功能点、易用性功能点，其中，基本功能点为实现软件基本功能的功能点，拓展功能点为拓展软件基本功能以外的功能点，易用性功能点为软件易用性测试功能点；测试单元对应包括基本功能点测试单元、拓展功能点测试单元、易用性功能点测试单元，基本功能点测试单元包括多个功能点类型为基本功能点的测试用例，拓展功能点测试单元包括多个功能点类型为拓展功能点的测试用例，易用性功能点测试单元包括多个功能点类型为易用性功能点的测试用例。
3.根据权利要求2所述的测试用例排序管理方法，其特征是，基本功能点测试单元中测试用例的执行优先级高于拓展功能点测试单元中测试用例的执行优先级，拓展功能点测试单元中测试用例的执行优先级高于易用性功能点测试单元中测试用例的执行优先级。
4.根据权利要求1所述的测试用例排序管理方法，其特征是，第k个缺陷的严重性程度值具体是根据缺陷等级赋予对应的严重性程度值，其中，缺陷等级包括崩溃、严重、次要、轻微、建议，其中，崩溃为造成死机、崩溃、异常退出、数据丢失；严重为未实现软件需求，导致软件不能正常使用；次要为未实现软件需求，软件功能可正常使用；轻微为已实现软件需求，软件功能可正常使用；建议为软件易用性方面。
5.根据权利要求1所述的测试用例排序管理方法，其特征是，在回归测试阶段之前，同一测试单元中测试用例初次执行测试时，根据测试用例的初始顺序进行优先级排序测试。
6.根据权利要求1所述的测试用例排序管理方法，其特征是，还包括：每执行一轮回归测试，更新测试用例的重要性指标参数，并更新同一测试单元中多个测试用例的优先级排序。
7.根据权利要求1所述的测试用例排序管理方法，其特征是，获取不同测试单元中测试用例的测试结果，输出测试报告。
8.根据权利要求1-7任一所述的测试用例排序管理方法，其特征是，还包括：建立晾晒池，所述晾晒池用于存储测试失败且影响其他测试用例执行的测试用例。
9.一种测试用例排序管理系统，其特征是，包括：
划分模块，根据测试用例的功能点类型将多个测试用例划分为多个测试单元，每个测试单元执行一种功能点类型的多个测试用例；
构建计算模块，回归测试阶段，同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型，计算每个测试用例的重要性指标参数；同一测试单元中的多个测试用例根据缺陷检测率、缺陷检测比、严重性检测能力构建重要性指标参数模型具体包括：
获取每个测试用例的缺陷检测率、缺陷检测比、严重性检测能力；
构建重要性指标参数模型，具体是：
Figure 805059DEST_PATH_IMAGE031
，其中，
Figure 181682DEST_PATH_IMAGE032
为第j个测试用例
Figure 815926DEST_PATH_IMAGE028
的重要性指标参数，
Figure 178774DEST_PATH_IMAGE033
为第j个测试用例
Figure 949284DEST_PATH_IMAGE021
的权重系数，
Figure 247542DEST_PATH_IMAGE034
为第j个测试用例
Figure 369081DEST_PATH_IMAGE024
的初始重要性指标参数，其表达式具体是：
Figure 270041DEST_PATH_IMAGE035
，其中，
Figure 160637DEST_PATH_IMAGE036
为第j个测试用例
Figure 554097DEST_PATH_IMAGE037
的缺陷检测率，
Figure 959670DEST_PATH_IMAGE038
为第j个测试用例
Figure 867583DEST_PATH_IMAGE024
的缺陷检测率的权重系数，
Figure 799636DEST_PATH_IMAGE022
为第j个测试用例
Figure 502013DEST_PATH_IMAGE024
的缺陷检测比，
Figure 394883DEST_PATH_IMAGE039
为第j个测试用例
Figure 247432DEST_PATH_IMAGE024
的缺陷检测比的权重系数，
Figure 112620DEST_PATH_IMAGE040
为第j个测试用例
Figure 48215DEST_PATH_IMAGE024
的严重性检测能力，
Figure 366064DEST_PATH_IMAGE041
为第j个测试用例
Figure 537151DEST_PATH_IMAGE021
的严重性检测能力的权重系数；
缺陷检测率
Figure 256845DEST_PATH_IMAGE042
为测试用例单位时间内发现的平均缺陷数，其表达式为：
Figure 363341DEST_PATH_IMAGE043
，
Figure 168486DEST_PATH_IMAGE044
为第j个测试用例
Figure 893997DEST_PATH_IMAGE028
发现的缺陷数量，
Figure 468198DEST_PATH_IMAGE020
为第j个测试用例
Figure 480016DEST_PATH_IMAGE021
发现的缺陷数量的检测时间；
缺陷检测比
Figure 693829DEST_PATH_IMAGE022
为测试用例发现的平均缺陷数与总缺陷数N的比值，其表达式为：
Figure 285347DEST_PATH_IMAGE045
，其中，N为第j个测试用例
Figure 776371DEST_PATH_IMAGE024
总缺陷数量；
严重性检测能力
Figure 162353DEST_PATH_IMAGE025
为单位时间内检测测试用例严重缺陷的能力，其表达式为：
Figure 879773DEST_PATH_IMAGE026
，其中，
Figure 9403DEST_PATH_IMAGE027
为第j个测试用例
Figure 354934DEST_PATH_IMAGE028
的严重性程度值，表达式为：
Figure 177397DEST_PATH_IMAGE029
，其中，
Figure 97292DEST_PATH_IMAGE030
为第j个测试用例
Figure 827351DEST_PATH_IMAGE028
中第k个缺陷的严重性程度值；
排序模块，根据测试用例的重要性指标参数对同一测试单元中的多个测试用例进行排序。
CN202011456694.1A 2020-12-11 2020-12-11 一种测试用例排序管理方法及系统 Active CN112463636B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011456694.1A CN112463636B (zh) 2020-12-11 2020-12-11 一种测试用例排序管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011456694.1A CN112463636B (zh) 2020-12-11 2020-12-11 一种测试用例排序管理方法及系统

Publications (2)

Publication Number Publication Date
CN112463636A CN112463636A (zh) 2021-03-09
CN112463636B true CN112463636B (zh) 2023-01-06

Family

ID=74800770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011456694.1A Active CN112463636B (zh) 2020-12-11 2020-12-11 一种测试用例排序管理方法及系统

Country Status (1)

Country Link
CN (1) CN112463636B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113127277B (zh) * 2021-03-26 2022-11-25 山东英信计算机技术有限公司 一种设备测试方法、装置、电子设备及可读存储介质
CN113590472B (zh) * 2021-07-06 2023-03-14 四川大学 一种回归测试中测试用例优先级排序方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104536896A (zh) * 2015-01-12 2015-04-22 牟永敏 面向函数调用路径的回归测试用例选择与排序方法及系统
CN110377496A (zh) * 2019-04-28 2019-10-25 北京轩宇信息技术有限公司 一种软件回归测试过程中基于智能水滴的测试用例优先级确定方法
CN110941545A (zh) * 2018-09-25 2020-03-31 中国石油化工股份有限公司 基于缺陷的回归测试用例的处理方法、装置及计算设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104536896A (zh) * 2015-01-12 2015-04-22 牟永敏 面向函数调用路径的回归测试用例选择与排序方法及系统
CN110941545A (zh) * 2018-09-25 2020-03-31 中国石油化工股份有限公司 基于缺陷的回归测试用例的处理方法、装置及计算设备
CN110377496A (zh) * 2019-04-28 2019-10-25 北京轩宇信息技术有限公司 一种软件回归测试过程中基于智能水滴的测试用例优先级确定方法

Also Published As

Publication number Publication date
CN112463636A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN111553590B (zh) 一种雷达嵌入式健康管理系统
CN112463636B (zh) 一种测试用例排序管理方法及系统
CN107478455B (zh) 一种适用于威布尔分布型产品的定时截尾可靠性试验方法
CN108649892B (zh) 光伏电站的缺陷诊断方法及装置
CN110515843B (zh) 基于缺陷集合与倒排索引的测试用例优先排序方法
CN113591393A (zh) 智能变电站的故障诊断方法、装置、设备和存储介质
CN110443481B (zh) 基于混合k-近邻算法的配电自动化终端状态评价系统及方法
CN111612371A (zh) 一种基于层次分析法的智能电表质量评估方法
CN114720899A (zh) 退役电池梯次利用分选方法及系统、电子设备、存储介质
CN109359742B (zh) 一种地铁子系统预防维修周期的生成方法
CN111198979A (zh) 一种用于对输变电可靠性评估大数据进行清洗的方法及系统
WO2019019429A1 (zh) 一种虚拟机异常检测方法、装置、设备及存储介质
CN114691521A (zh) 一种基于人工智能的软件测试平台
CN111091141B (zh) 一种基于分层Softmax的光伏背板故障诊断方法
CN115759479B (zh) 一种基于综合值的复杂设备故障定位优化方法和系统
CN116954624A (zh) 基于软件开发包的编译方法、软件开发系统及服务器
CN115587331A (zh) 电网设备运行状态诊断预测方法及系统
CN109376959A (zh) 一种配电终端检修时间预估方法及装置
CN115170097A (zh) 一种空间数据分布式质检方法及系统
CN111125078A (zh) 一种继电保护装置缺陷数据修正方法
CN112445632A (zh) 基于故障数据建模的hpc可靠性评估方法
CN117439899B (zh) 一种基于大数据的通信机房巡检方法及系统
CN109165108B (zh) 软件可靠性加速测试的失效数据还原方法及测试方法
CN114665986B (zh) 一种蓝牙钥匙的测试系统及方法
CN118051743B (zh) 一种航空发动机气路故障诊断方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant