CN113157571A - 一种基于度量的软件质量测试方法 - Google Patents
一种基于度量的软件质量测试方法 Download PDFInfo
- Publication number
- CN113157571A CN113157571A CN202110407473.3A CN202110407473A CN113157571A CN 113157571 A CN113157571 A CN 113157571A CN 202110407473 A CN202110407473 A CN 202110407473A CN 113157571 A CN113157571 A CN 113157571A
- Authority
- CN
- China
- Prior art keywords
- defect
- defects
- rate
- data
- total
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000005259 measurement Methods 0.000 title claims abstract description 20
- 238000011156 evaluation Methods 0.000 claims abstract description 7
- 230000007547 defect Effects 0.000 claims description 104
- 238000012360 testing method Methods 0.000 claims description 58
- 238000013442 quality metrics Methods 0.000 claims description 11
- 230000008439 repair process Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 238000013461 design Methods 0.000 claims description 7
- 230000004083 survival effect Effects 0.000 claims description 5
- 238000012552 review Methods 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000013522 software testing Methods 0.000 abstract description 11
- 238000007726 management method Methods 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 abstract description 2
- 238000011161 development Methods 0.000 description 7
- 239000000047 product Substances 0.000 description 6
- 238000012827 research and development Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000000528 statistical test Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 210000004916 vomit Anatomy 0.000 description 1
- 230000008673 vomiting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本发明提供一种基于度量的软件质量测试方法，包括确定指标，获取数据，分析数据，看板显示；在软件测试的不同阶段对不同的评价项指定一个量化指标，以度量的方式对整个软件测试周期进行全方位监控，抓住细节，以指标数据形成看板，美观、直观。不仅规范项目流程及监督各环节的交付质量，还为管理层提供了强有力的考核数据，为高效的工作输出，准确的人力分配提供了很好的依据。
Description
技术领域
本发明涉及软件开发技术领域，特别涉及一种基于度量的软件质量测试方法。
背景技术
随着科技的飞速发展，软件在系统中显得越来越重要，占比也越来越高。可以说，软件质量的好坏直接关系到应用系统的成败，而质量问题己成为影响软件行业发展的重要因素。
软件测试作为保证软件质量的重要手段，其重要性已经展现，软件测试占整个项目周期的时间也越来越长。如何评价和提高软件测试质量是一个非常重要的研究课题，尤其是对于内部测试和三方测试机构来说，软件测评机构和人员作为软件能力水平的检查者，其自身工作直接影响到被测软件的最终质量，只有在健全、良好的监督审查机制下，软件测试工作才能最大化的发挥作用，避免软件测试“走过场、完形式”，为软件质量保驾护航；同时，对于组织来说，只有客观了解每个项目的软件测试质量，才能知道目前存在的不足，制定有效的提升方案，以持续改善和提升软件测试质量。
当前，由于人类逻辑思维的差异性和灵活性，使得测试工作具有一定的抽象性、不确定性和难于度量等特性。目前工程实践中，对于软件测试的质量，大多从软件工程化的角度进行过程审查，对被测软件生命周期不同阶段的产物，如测试计划、测试说明、测试报告等采取会议或会签评审的方式进行把关，实际上这些标准说白了就是在评审文档格式是否正确，内容是否全面，评审通过之后也只能说明测试过程相对符合规范，并不能保证测试质量，因为没有具体的量化指标直接可视化展现。
因此，现有技术需要进一步改进。
发明内容
针对现有技术存在的问题，本发明提供一种基于度量的软件质量测试方法。
为实现上述目的，本发明的具体方案如下：
提供一种基于度量的软件质量测试方法，包括如下步骤：S1，确定指标；S2，获取数据；S3，分析数据；S4，看板显示；
其中步骤S1还包括确定如下指标：
A1、测试工作度量；B1、研发质量度量；C1、计划偏离度量；D1、产品质量度量；
步骤S2还包括获取如下数据：
A2、研发实现数据；B2、用例评测数据；C2、需求评审数据；D2、测试验证数据。
进一步地，在步骤S1中，所述A1、测试工作度量还包括如下指标：A11需求平均用例数；A12用例覆盖率；A13测试执行率；A14测试用例命中率；
其中，需求平均用例数＝总用例数/需求总数；用例覆盖率＝已设计用例/计划设计用例数；测试执行率＝已执行测试数/计划执行的测试数；测试用例命中率＝缺陷总量/用例数量。
进一步地，在步骤S1中，所述B1、研发质量度量还包括如下指标：B11、缺陷生存周期；B12、重复激活占比；B13、缺陷有效率；
其中，缺陷生存周期＝缺陷生存总时长/缺陷数；重复激活占比＝缺陷的二次重开数量/缺陷总数量；缺陷有效率＝有效缺陷数量/缺陷总数量。
进一步地，在步骤S1中，所述C1、计划偏离度量还包括如下指标：C11、工作量偏离；C12、预算使用比例；C13、问题等待时间；
其中，工作量偏离＝(实际工作量-计划工作量)/计划工作量；预算使用比例＝已花费测试预算/计划总测试预算；问题等待时间＝具体问题等待解决时间。
进一步地，在步骤S1中，所述D1、产品质量度量还包括如下指标：D11、缺陷严重级别分布；D12、缺陷类型分布；D13、缺陷模块分布；D14、缺陷修复率；D15、需求上线率；
其中，缺陷严重级别分布＝对应严重级别缺陷数/缺陷总数；缺陷类型分布＝对应类型缺陷数/缺陷总数；缺陷模块分布＝对应模块缺陷数/缺陷总数；缺陷修复率＝已修复缺陷数/缺陷总数；需求上线率＝以通过需求/已计划需求。
采用本发明的技术方案，具有以下有益效果：
本发明提供一种基于度量的软件质量测试方法，在软件测试的不同阶段对不同的评价项指定一个量化指标，以度量的方式对整个软件测试周期进行全方位监控，抓住细节，以指标数据形成看板，美观、直观。不仅规范项目流程及监督各环节的交付质量，还为管理层提供了强有力的考核数据，为高效的工作输出，准确的人力分配提供了很好的依据。
附图说明
图1是本发明具体实施方式的软件质量测试步骤图；
图2是本发明具体实施方式的软件质量测试方法量化指标图；
图3是本发明具体实施方式的质量数据看板图；
图4是本发明具体实施方式的工作数据看板图。
具体实施方式
以下结合附图和具体实施例，对本发明进一步说明。
结合图1-图4对本发明的具体原理和步骤进行说明：
1、本发明的上述目的可以通过以下技术措施来达到，一种软件测试质量评价方法，具有如下技术特征：在测试的不同阶段，对用例设计有效性、测试规范性、客户满意度、缺陷探测率、软件使用质量和组织资产贡献度六个评价项建立量化的软件测试质量数学评价模型；
主要量化指标考核包括测试工作度量，研发质量度量，计划偏离度量，产品质量度量。
(1)测试工作度量，主要对内部测试执行过程中，测试人员的工作效率和质量把关。主要包含需求平均用例数，用例覆盖率，测试执行率，测试用例命中率这几个量化指标。
需求平均用例数＝总用例数/需求总数，对单位需求的工作量评估。
用例覆盖率＝已设计用例/计划设计用例数，用于监控测试设计的进度情况，计划设计用例数这个数字比较模糊可能来自估算，可以采用自下而上的方式收集，即让模块负责人进行局部数据收集，再汇总统计。
测试执行率＝已执行测试数/计划执行的测试数，测试已被执行的情况，用户测试进度跟踪。执行率并不关注测试失败情况，进一步细化可以展开统计测试通过，失败，阻塞和未执行的比率。
测试用例命中率＝缺陷总量/用例数量，通过用例发现的缺陷数量统计，衡量测试设计的有效性。
(2)研发质量度量，通过测试数据映射研发人员的工作效率和质量。主要包含缺陷生存周期，重复激活占比，缺陷有效率这几个指标。
缺陷生存周期＝缺陷生存总时长/缺陷数，通过统计缺陷从打开到关闭的平均时长，衡量研发吐团队的缺陷修复能力
重复激活占比＝缺陷的二次重开数量/缺陷总数量，缺陷多次重开会造成去缺陷修复的周期拉长，说明：开发修复缺陷能力存疑、测试团队缺陷质量存疑、开发测试之间的沟通效率存疑；
缺陷有效率＝有效缺陷数量/缺陷总数量，测试团队提交的缺陷有多少比重是有效缺陷，应该就具体缺陷失效原因进行分析。
(3)计划偏离度量，主要包含工作量偏离，预算使用比例，问题等待时间这几个指标。
工作量偏离＝(实际工作量-计划工作量)/计划工作量，用于衡量计划的合理度，是否有大量计划外工作未被纳入估算当中；
预算使用比例＝已花费测试预算(人/天)/计划总测试预算，用于计算测试预算的花费情况；
问题等待时间＝具体问题等待解决时间，等待时间通常难以被计划，通过计算等待时间可以帮助衡量项目瓶颈所在，并为后续项目组织提供思路。可细化为需求等待时间，测试阻塞时间等。
(4)产品质量度量，主要包含缺陷严重级别分布，缺陷类型分布，缺陷模块分布，缺陷修复率，需求上线率这几个指标。
缺陷严重级别分布＝对应严重级别缺陷数/缺陷总数，缺陷的数量并不能总是体现出产品实际质量，比如最严重级缺陷过多显然是一个问题，所以缺陷统计应该体现数量和严重级别二维分布。
缺陷类型分布＝对应类型缺陷数/缺陷总数，通过对应缺陷类型分布来衡量软件某一方面的质量；
缺陷模块分布＝对应模块缺陷数/缺陷总数，通过对应缺陷模型分布来衡量软件各个模块的质量；
缺陷修复率＝已修复缺陷数/缺陷总数，缺陷已被修复的比例统计；
需求上线率＝以通过需求/已计划需求，体现需求的完成度。
2、具体实施步骤：
(1)确定指标
如上述技术解决方案中介绍，当前一种基于度量的软件质量测试方法中最终确定的指标主要有测试质量度量、研发质量度量、整体计划偏离、最终的产品质量度量这四个方面，如图2所示。
(2)获取数据
所有指标需要的基准数据都是从整个软件周期而来，需求评审阶段，我们能得到的是一个需求终纳数量，也就是总的需求数，以及研发，测试的预估工时；研发实现阶段，能够得到的数据为研发的实际消耗工时；用例评审阶段，能够得到总用例数；测试验证阶段，通过每日测试日报记录，第三方工具(禅道等)，能够收集到关于缺陷相关的大部分数据，缺陷总数，缺陷生存总时长，缺陷激活次数(二次重开数量)，有效缺陷数量等，其他数据如，实际执行用例数等。
(3)计算指标
基础数据获取之后，就进入数据分析阶段，版本上线之后，将基准数据导入数据分析平台(自研测试平台)，根据算法自动生成指标。
(4)看板展示：
通过平台定时任务，导入基础数据之后，定时生成看板并发送邮件至相关人员，如图3-图4所示。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的保护范围内。
Claims (5)
1.一种基于度量的软件质量测试方法，其特征在于，包括如下步骤：
S1，确定指标；
S2，获取数据；
S3，分析数据；
S4，看板显示；
其中步骤S1还包括确定如下指标：
A1、测试工作度量；B1、研发质量度量；C1、计划偏离度量；D1、产品质量度量；
步骤S2还包括获取如下数据：
A2、研发实现数据；B2、用例评测数据；C2、需求评审数据；D2、测试验证数据。
2.根据权利要求1所述的一种基于度量的软件质量测试方法，其特征在于，在步骤S1中，所述A1、测试工作度量还包括如下指标：
A11、需求平均用例数；A12、用例覆盖率；A13、测试执行率；A14、测试用例命中率；
其中，需求平均用例数＝总用例数/需求总数；用例覆盖率＝已设计用例/计划设计用例数；测试执行率＝已执行测试数/计划执行的测试数；测试用例命中率＝缺陷总量/用例数量。
3.根据权利要求1所述的一种基于度量的软件质量测试方法，其特征在于，在步骤S1中，所述B1、研发质量度量还包括如下指标：
B11、缺陷生存周期；B12、重复激活占比；B13、缺陷有效率；
其中，缺陷生存周期＝缺陷生存总时长/缺陷数；重复激活占比＝缺陷的二次重开数量/缺陷总数量；缺陷有效率＝有效缺陷数量/缺陷总数量。
4.根据权利要求1所述的一种基于度量的软件质量测试方法，其特征在于，在步骤S1中，所述C1、计划偏离度量还包括如下指标：
C11、工作量偏离；C12、预算使用比例；C13、问题等待时间；
其中，工作量偏离＝(实际工作量-计划工作量)/计划工作量；预算使用比例＝已花费测试预算/计划总测试预算；问题等待时间＝具体问题等待解决时间。
5.根据权利要求1所述的一种基于度量的软件质量测试方法，其特征在于，在步骤S1中，所述D1、产品质量度量还包括如下指标：
D11、缺陷严重级别分布；D12、缺陷类型分布；D13、缺陷模块分布；D14、缺陷修复率；D15、需求上线率；
其中，缺陷严重级别分布＝对应严重级别缺陷数/缺陷总数；缺陷类型分布＝对应类型缺陷数/缺陷总数；缺陷模块分布＝对应模块缺陷数/缺陷总数；缺陷修复率＝已修复缺陷数/缺陷总数；需求上线率＝以通过需求/已计划需求。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110407473.3A CN113157571A (zh) | 2021-04-15 | 2021-04-15 | 一种基于度量的软件质量测试方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110407473.3A CN113157571A (zh) | 2021-04-15 | 2021-04-15 | 一种基于度量的软件质量测试方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113157571A true CN113157571A (zh) | 2021-07-23 |
Family
ID=76867887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110407473.3A Pending CN113157571A (zh) | 2021-04-15 | 2021-04-15 | 一种基于度量的软件质量测试方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113157571A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116150737A (zh) * | 2022-11-23 | 2023-05-23 | 北京东方通科技股份有限公司 | 一种软件开发过程中一站式安全测试和管理的方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105868888A (zh) * | 2016-03-23 | 2016-08-17 | 中国电子科技集团公司第十研究所 | 软件测试质量评价方法 |
| CN107122298A (zh) * | 2017-04-21 | 2017-09-01 | 千寻位置网络有限公司 | 可视化软件开发过程质量的展示方法 |
-
2021
- 2021-04-15 CN CN202110407473.3A patent/CN113157571A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105868888A (zh) * | 2016-03-23 | 2016-08-17 | 中国电子科技集团公司第十研究所 | 软件测试质量评价方法 |
| CN107122298A (zh) * | 2017-04-21 | 2017-09-01 | 千寻位置网络有限公司 | 可视化软件开发过程质量的展示方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116150737A (zh) * | 2022-11-23 | 2023-05-23 | 北京东方通科技股份有限公司 | 一种软件开发过程中一站式安全测试和管理的方法及系统 |
| CN116150737B (zh) * | 2022-11-23 | 2023-11-24 | 北京东方通科技股份有限公司 | 一种软件开发过程中一站式安全测试和管理的方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ibanez et al. | How scheduling can bias quality assessment: Evidence from food-safety inspections | |
| Barnard et al. | Managing code inspection information | |
| Kanoun et al. | Qualitative and quantitative reliability assessment | |
| Lazic et al. | Cost effective software test metrics | |
| US20100004976A1 (en) | Demand curve analysis method for analyzing demand patterns | |
| CN105868888A (zh) | 软件测试质量评价方法 | |
| Catolino et al. | How the experience of development teams relates to assertion density of test classes | |
| Luijten et al. | Faster defect resolution with higher technical quality of software | |
| Silva et al. | A Scale for measuring perceived construction project success–Sri Lankan Perspective | |
| CN113157571A (zh) | 一种基于度量的软件质量测试方法 | |
| Card | Defect analysis: basic techniques for management and learning | |
| Hjalmarsson et al. | Quantifying leanness combining value stream mapping with a data envelopment analysis based method—a case study at a Swedish logistics company | |
| Fernández-Corrales et al. | Application of statistical process control to software defect metrics: An industry experience report | |
| Tawakkal et al. | Implementing heuristic miner for information system audit based on DSS01 COBIT5 (Case study: CV Narnia distribution) | |
| Lukens et al. | The role of transactional data in prognostics and health management work processes | |
| Grbac et al. | Quantifying value of adding inspection effort early in the development process: A case study | |
| El-Mallakh et al. | Evaluating change: a simple technique for determining the statistical significance of proportional criteria | |
| Xiao et al. | How Domain Knowledge Accumulation Influences Software Defects: An Empirical Analysis | |
| Wang | Modelling condition monitoring inspection using the delay-time concept | |
| Putri et al. | Effectiveness Analysis of Using The Vehicle Tools Feature on ERP Systems with Delone & McLean Approach at PT. Putra Mulia Telecommunication | |
| Cook | Estimating required contingency funds for construction projects using multiple linear regression | |
| Yauwtanthy | Effect of Time Pressure, Audit Risk and Materiality to Disclosure Prematures to Audit Procedures | |
| Lavazza | Evaluating the Accuracy of Estimates: the Case of Model-based COSMIC Functional Size Estimation | |
| Hakim et al. | Success Factor Analysis of Multiple Project Management | |
| Benghiat et al. | Forecasting Product/Item Demand |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |