CN105868888A - 软件测试质量评价方法 - Google Patents

软件测试质量评价方法 Download PDF

Info

Publication number
CN105868888A
CN105868888A CN201610173443.XA CN201610173443A CN105868888A CN 105868888 A CN105868888 A CN 105868888A CN 201610173443 A CN201610173443 A CN 201610173443A CN 105868888 A CN105868888 A CN 105868888A
Authority
CN
China
Prior art keywords
evaluation
test
software
quality
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610173443.XA
Other languages
English (en)
Inventor
阳长永
孙肖
李娜
谢光亮
王磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 10 Research Institute
Original Assignee
CETC 10 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 10 Research Institute filed Critical CETC 10 Research Institute
Priority to CN201610173443.XA priority Critical patent/CN105868888A/zh
Publication of CN105868888A publication Critical patent/CN105868888A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395Quality analysis or management

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开一种软件测试质量评价方法,旨在提供一种在不同阶段对不同评价项进行控制和评价,提升软件质量的评价方法。本发明通过下述技术方案予以实现:在测试的不同阶段,对用例设计有效性、测试规范性、客户满意度、缺陷探测率、软件使用质量和组织资产贡献度六个评价项建立量化的软件测试质量数学评价模型;评价活动包括评价策划、基础评价、扩展评价和总体评价,其中,基础评价包括四项基础评价项:用例设计有效性、测试规范性、客户满意度和缺陷探测率;扩展评价包括两项加/减分评价项:软件使用质量和组织资产贡献度;总体评价得分为所有基础评价项得分加权累计之和,减去软件使用质量得分,再加组织资产贡献度得分,最后进行总体评价。

Description

软件测试质量评价方法
技术领域
本发明涉及软件测试管理领域的软件测试质量评价方法,尤其是内部测试和三方测试的软件测试质量评价方法。
背景技术
随着我国软件行业的发展,软件在系统中占的比重越来越高,软件质量的好坏关系到应用系统的成败,质量问题己成为影响软件行业发展的重要因素。软件测试作为保证软件质量的重要手段,越来越受到重视,软件测试时间占整个项目周期的时间也越来越长,如何评价和提高软件测试质量是一个非常重要的研究课题,尤其是对于内部测试和三方测试机构来说,软件测评机构和人员作为软件能力水平的“检察者”,其自身工作直接影响到被测软件的最终质量,只有在健全、良好的监督审查机制下,软件测试工作才能最大化的发挥作用,避免软件测试“走过场、完形式”,为软件质量保驾护航;同时,对于组织来说,只有客观了解每个项目的软件测试质量,才能知道目前存在的不足,制定有效的提升方案,以持续改善软件测试质量,进而提升被测软件的质量。
软件测试是一项智力活动,由于人类逻辑思维的差异性和灵活性,使得测试工作具有一定的抽象性、不确定性和难于度量等特性。目前工程实践中,对于软件测试的质量,大多从软件工程化的角度进行过程审查,对被测软件生命周期不同阶段的产物,如测试计划、测试说明、测试报告等采取会议或会签评审的方式进行把关,不过由于会议时间、与会人员背景知识等多方面的限制,评审往往重点关注文档格式是否正确,内容是否全面,并对有争议的点进行讨论等,所有的测试文档通过了评审只能说明测试过程符合标准规范,并不能完全保证测试质量,也不能简单地用评审结果来进行全面的、量化的软件测试质量评价。
当前,国内外的软件测试领域专家学者己经着力于对软件测试有效性的度量和评估进行研究,有的基于软件测试成熟度模型提出软件规模、复杂度、测试密度和测试用例数等为代表的度量指标;《软件测试与质量保证》将软件测试的有效性分为三类,即:客户满意度度量、缺陷度量和覆盖度量;“基于模糊决策方法的软件测试过程效率评估”将对软件测试的效率评估与模糊综合评价模型相结合,提出了基于模糊评价法的软件测试效率评估方法;“基于多维度覆盖率的软件测试动态评价方法”中提出了一种基于多维度测试覆盖率的软件测试动态评价方法,并给出了综合测试覆盖率的定义和经验公式。虽然目前已有一些研究提出了针对软件测试度量和评估的方法,但仍不成熟,且没有形成统一的、具备较高工程实践意义的软件测试质量评估体系。
ANSI/IEEE STD 729-1983定义软件质量为“与软件产品满足规定的和隐含的需求和能力有关的特征和特性的全体”。软件产品的价值取决于软件产品的质量,软件测试的目的是提高软件质量,因此软件测试质量的评价也应围绕软件测试的目标进行,同时要能反映出软件测试活动本身的质量。评价指标可以分为定性指标和定量指标两种。理论上讲,为了能够科学客观地反映软件测试的质量,应该尽量选择定量指标。但是对于软件测试过程来说,并不是所有的质量特征都可以用定量指标进行描述,所以不可避免地要采用一定的定性指标。同时,选择的评价指标不是越多越好,关键在于指标在评价中所起的作用的大小。如果评价指标太多,不仅增加结果的复杂性,有时甚至会影响评价的客观性。因此制定一套有助于提升软件质量的、完整的、适用于工程实践的软件测试质量评价方案具有切实的意义。
发明内容
为了解决上述技术问题,本发明的目的是提供一种在软件测试的不同阶段对不同的评价项进行控制和评价,提升软件质量的软件测试质量评价方法。
本发明的上述目的可以通过以下措施来达到,一种软件测试质量评价方法,具有如下技术特征:在测试的不同阶段,对用例设计有效性、测试规范性、客户满意度、缺陷探测率、软件使用质量和组织资产贡献度六个评价项建立量化的软件测试质量数学评价模型;软件测试质量评价的主要活动包括评价策划、基础评价、扩展评价和总体评价,其中,基础评价包括四项基础评价项:用例设计有效性、测试规范性、客户满意度和缺陷探测率;扩展评价包括两项加/减分评价项:软件使用质量和组织资产贡献度;总体评价得分为基础评价项各单项得分加权累计之和,减去软件使用质量评价得分,再加上组织资产贡献度评价得分,最后根据总体评价得分对整个测试项目的软件测试质量进行总体评价;其主要活动为:
1)评价策划,软件测试质量评价策划开展的时机为项目测试工作开展前;
2)基础评价,用例设计有效性评价开展的时机为测试过程中、回归测试以前,测试规范性评价开展的时机为测试过程中,客户满意度评价开展的时机为测试结束后,缺陷探测率评价开展的时机为后续其它测评机构对被测项目进行测试结束后;用例设计有效性:对设计的测试用例进行全面审查,从用例设计的颗粒度、正确性和充分性三方面进行评价;测试规范性:根据软件工程化管理的要求,对测试过程的规范性和测试文档的规范性进行评价,评价方式为:依据标准检查表中的各项内容对测试过程和工作产品进行符合性审查;客户满意度:对测试过程中整个团队的测试技术水平、工作效率、沟通协调能力和责任心四个评价子项进行打分;缺陷探测率:采用对比后期其它测评机构的测试结果来进行评价,评价角度包括缺陷发现率和缺陷发现效率;单个基础评价项的评价步骤包括:定义每个评价子项的权重和得分标准;计算每个评价子项的得分;单个基础评价项的评价得分为每个评价子项得分加权之和;
3)扩展评价,软件使用质量:对交付使用一段时间内暴露出来的缺陷进行分析、统计,在对项目进行扩展评价时,进行减分,评价步骤包括:定义每个评价子项的减分标准;计算每个评价子项的得分;软件使用质量评价得分为每个评价子项得分之和;组织资产贡献度:根据测试团队总结、提炼的组织资产进行加分,评价步骤包括:定义每个评价子项的加分标准;收集每个评价子项的贡献数据,组织领域专家对贡献内容进行得分评估;组织资产贡献度评价得分为每个评价子项得分之和;
4)总体评价,收集并确认所有评价项的评价结果后,计算被测项目的软件测试质量评价总体得分,并对被测项目的软件测试质量进行总体评价;步骤包括:定义每个基础评价项的权重;确认每个评价项的单项得分;计算软件测试质量评价总体得分,即所有基础评价项得分加权累计之和,减去软件使用质量评价得分,再加上组织资产贡献度评价得分;定义项目软件测试质量总体得分不同区间的评价结论,并对项目的软件测试质量进行总体评价。
本发明的优点和积极效果在于:
量化了测试质量。本发明建立了一个数学评价模型,可以有效的量化软件测试质量,通过用例设计有效性、测试规范性、客户满意度、缺陷探测率、软件使用质量和组织资产贡献度这六个大的评价项,对软件测试质量进行量化评价,为组织对项目的软件测试质量评价提供了依据。
提高了测试质量。本发明不只是为了进行事后的评价,更重视软件测试过程控制,在测试的不同阶段,对不同的评价项进行评价,特别是在测试过程中引入具备领域知识的专业人员对所有测试用例进行审查,不光针对显性需求的用例设计进行审查,还对隐含需求的用例设计进行审查,针对用例设计的正确性和充分性,提出需要修改和增加的测试用例建议,并根据审查结果对测试用例进行修改和补充完善,从技术上改善和提高了测试质量;同时,在测试过程中对测试规范性进行监控,确保测试过程符合标准,测试文档符合要求,从流程上保证和提高了测试质量。
提供了改进方向。软件质量是设计出来的,软件测试仅能协助提高软件质量,由于不同软件本身的设计质量、客观条件和环境等不同,测试结果中的绝对缺陷数不能作为评价软件测试质量的指标,本发明通过对比其它机构的测试结果,用缺陷的探测程度来衡量软件测试工作的质量,对测试效果进行客观评价,有利于团队、组织了解同行测试水平和本团队的测试水平现状;同时对客户满意度进行调研,了解客户的需求和关注的重点,为组织提高和改善团队的测试技术水平提供了方向。
积累了测试经验。通过对其它机构测试发现的缺陷进行分析,了解同行测试的重点,使用的测试手段、技术等,开阔了视野,提高了测试水平;同时,对软件使用过程中暴露的缺陷进行收集,对漏测缺陷的原因进行分析,深入了解软件的业务流程,对软件使用的场景、容易暴露缺陷的操作方式等进行总结,进一步熟悉产品和软件,积累了测试经验。
提高了测试技能。充分考虑人的主观能动性,激发测试人员的责任意识,鼓励测试人员创新,同时对测试经验进行总结、分享,沉淀测试成果,积累组织资产,通过提取通用的测试用例集/测试数据,积累可复用的用例/数据库,以便指导以后的测试,提高了测试效率;通过总结典型缺陷,便于以后同类或类似项目测试时重点关注,提高了测试质量;通过编写技术总结和领域知识进行交流、分享,鼓励探索新技术的应用,持续改进,提高了整个团队的测试水平。
本发明通过在测试的不同阶段,对用例设计有效性、测试规范性、客户满意度、缺陷探测率、软件使用质量和组织资产贡献度六个评价项进行评价,建立了数学评价模型,量化了软件测试质量;突出特点:分阶段对不同评价项进行监控和评价,量化了评价结果,提高了测试质量,积累了组织资产,提升了团队的测试效率和测试技能。
附图说明
图1是本发明软件测试质量评价的流程示意图。
图2是图1的基础评价项示意图。
图3是图1的加/减分评价项示意图。
图4是图2的用例设计有效性评价项示意图。
图5是图2的测试规范性评价项示意图。
图6是图2的客户满意度评价项示意图。
图7是图2的缺陷探测率评价项示意图。
图8是图3的软件使用质量评价项示意图。
图9是图3的组织资产贡献度评价项示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,同时也为了便于本领域普通技术人员理解和实施本发明,下面结合附图对本发明作进一步详细、深入的描述。应当理解,此处所描述的实施仅用作说明和解释本发明,并不用于限定本发明。
参阅图1。在以下描述的实施例中,根据本发明,在测试的不同阶段,对用例设计有效性、测试规范性、客户满意度、缺陷探测率、软件使用质量和组织资产贡献度六个评价项建立量化的软件测试质量数学评价模型;软件测试质量评价的主要活动包括评价策划、基础评价、扩展评价和总体评价,其中,基础评价包括四项基础评价项:用例设计有效性、测试规范性、客户满意度和缺陷探测率;扩展评价包括两项加/减分评价项:软件使用质量和组织资产贡献度;总体评价得分为基础评价项各单项得分加权累计之和,减去软件使用质量评价得分,再加上组织资产贡献度评价得分,最后根据总体评价得分对整个测试项目的软件测试质量进行总体评价;具体步骤包括:
步骤101、评价策划,软件测试质量评价策划开展的时机为项目测试工作开展前,确定被测项目是否需要开展软件测试质量评价,同时根据测试难度为项目合理分配测试人员和时间资源,并提供必要的物力资源及其它支持,以保证测试质量;同时为被测项目配备具有深厚专业知识的领域测试专家,或有相同或相似项目测试经验的测试人员作为用例审查人员,比例根据组织的人力资源而定,最好是1:1,即一个测试人员对应一个用例审查人员。
步骤102、基础评价,软件测试质量基础评价包括四项基础评价项:用例设计有效性、测试规范性、客户满意度和缺陷探测率,其中,用例设计有效性评价开展的时机为测试过程中、回归测试以前,测试规范性评价开展的时机为测试过程中,客户满意度评价开展的时机为测试结束后,缺陷探测率评价开展的时机为后续其它测评机构对被测项目进行测试结束后;用例设计有效性由用例审查人员进行评价,测试规范性由软件质量师进行评价,客户满意度由客户进行评价,缺陷探测率需要收集后续其它测评机构的测试数据,由测试经理组织测试人员对其它测评机构的测试数据进行分析、确认后进行评价;四项评价的得分均需经过分管质量的负责人确认。
用例设计有效性,在测试过程中对设计的测试用例进行全面审查,从用例设计的颗粒度、正确性和充分性三方面进行评价,评价子项包括:用例设计的颗粒度、显性需求覆盖的正确性、隐含需求覆盖的正确性、显性需求覆盖的充分性和隐含需求覆盖的充分性,组织可以根据实际情况定义每个评价子项的权重和得分标准,其中,其主要算法公式为:
①用例设计的颗粒度:
②显性需求覆盖的正确性:
③隐含需求覆盖的正确性:
④显性需求覆盖的充分性:
⑤隐含需求覆盖的充分性:
用例设计有效性评价得分为每个评价子项得分加权之和,即
测试规范性,根据软件工程化管理的要求,对测试过程的规范性和测试文档的规范性两个评价子项进行评价,评价方式为:依据标准检查表中的各项内容对测试过程和工作产品进行符合性审查,包括测试过程的规范性、测试文档的齐套性、文档内容的完整性和正确性等;组织可以根据实际情况定义每个评价子项的权重R2i和得分标准,其中1≤i≤2,其主要算法公式为:
①测试过程的规范性:
②测试文档的规范性:
测试规范性评价得分为每个评价子项得分加权之和,即
客户满意度,对测试过程中整个团队的测试技术水平、工作效率、沟通协调能力和责任心四个评价子项进行打分;组织可以根据实际情况定义每个评价子项的权重R3i和得分标准,其中1≤i≤4;客户满意度评价得分为每个评价子项得分加权之和,即
缺陷探测率,采用对比后期其它测评机构的测试结果来进行评价,评价角度包括缺陷发现率和缺陷发现效率,评价子项包括:软件缺陷的发现率、文档缺陷的发现率、重要缺陷的发现率和缺陷发现的效率,组织可以根据实际情况定义每个评价子项的权重R4i和得分标准,其中1≤i≤4,其主要算法公式为:
①软件缺陷的发现率:
②文档缺陷的发现率:
③重要缺陷的发现率:
④缺陷发现的效率:
缺陷探测率评价得分为每个评价子项得分加权之和,即
步骤103、扩展评价,包括两项加/减分评价项:软件使用质量和组织资产贡献度,评价的时机为软件交付使用一段时间后,如交付使用半年后;软件使用质量评价需要收集软件交付使用后暴露出来的缺陷数据,由测试经理组织测试人员对缺陷进行分析、确认后进行评价;组织资产贡献度由组织资产管理员组织领域专家对贡献内容进行得分评估后进行评价;两项评价的得分均需经过分管质量的负责人确认。
软件使用质量,对交付使用一段时间内暴露出来的缺陷进行分析、统计,确认属于漏测的缺陷,在对项目进行扩展评价时,进行减分,评价子项包括:缺陷漏测率和重要缺陷漏测数,组织可以根据实际情况定义允许的缺陷漏测率和不同缺陷漏测率的减分标准,以及重要缺陷漏测数的减分标准;其主要算法公式为:
①缺陷漏测率:
②重要缺陷漏测数Q2:软件交付使用后出现的、确认漏测的致命和严重软件缺陷数;
软件使用质量评价得分为每个评价子项得分之和,即
组织资产贡献度,根据测试团队总结、提炼的组织资产进行加分,评价子项包括:测试用例集、典型缺陷、新测试技术、方法或工具的使用、测试总结交流,以及其它贡献,组织可以根据实际情况定义每个评价子项的加分标准;评价算法公式及步骤包括:收集每个评价子项的贡献数据,组织领域专家对贡献内容进行得分评估;组织资产贡献度评价得分为每个评价子项得分之和,即
步骤104、总体评价,收集并确认所有评价项的评价结果后,计算被测项目的软件测试质量评价总体得分,并对被测项目的软件测试质量进行总体评价;其主要算法公式及步骤为:
①定义每个基础评价项的权重Ri,其中1≤i≤4;
②确认每个评价项的单项得分,即Si、Q和C,其中1≤i≤4;
③软件测试质量评价总体得分:
④定义项目软件测试质量总体得分不同区间的评价结论,对项目的软件测试质量进行总体评价。
参阅图2。在本发明中,基础评价的具体评价项如下:
基础评价项1,用例设计有效性,测试用例是在覆盖测试需求的情况下形成于测试设计阶段的产物,是测试执行的参照物和基础,测试用例的数量与质量对软件测试质量有重大影响;
在测试过程中对设计的测试用例进行全面审查,从用例设计的颗粒度、正确性和充分性三方面进行评价,其中颗粒度指用例设计的总数是否满足要求,正确性指设计的测试用例是否正确覆盖需求,用设计的测试用例中正确的、不需要修改的用例数的比例进行评价,充分性指设计的测试用例是否全面覆盖所有的需求,用已设计的用例数占总的应设计的用例数的比例进行评价;由于软件质量是指“软件与明确的和隐含的定义的需求相一致的程度”,因此软件需求覆盖的正确性和充分性评价需分别针对明确要求的显性需求和未明确要求的隐含需求两方面,因此用例设计有效性评价子项包括:用例设计的颗粒度、显性需求覆盖的正确性、
隐含需求覆盖的正确性、显性需求覆盖的充分性和隐含需求覆盖的充分性,组织可以根据实际情况定义每个评价子项的权重R1i和得分标准,其中1≤i≤5,如表所示。
参阅图4。用例设计有效性评价包括:
①用例设计的颗粒度:
②显性需求覆盖的正确性:
③隐含需求覆盖的正确性:
④显性需求覆盖的充分性:
⑤隐含需求覆盖的充分性:
表1用例设计有效性评价子项得分标准
用例设计有效性评价得分为每个评价子项得分加权之和,即
基础评价项2,测试规范性,根据软件工程化管理的要求,对测试过程的规范性和测试文档的规范性两个评价子项进行评价,评价方式为:依据标准检查表中的各项内容对测试过程和工作产品进行符合性审查,包括测试过程的规范性、测试文档的齐套性、文档内容的完整性和正确性等;组织可以根据实际情况定义每个评价子项的权重R2i和得分标准,其中1≤i≤2,如表2所示。
参阅图5。测试规范性评价包括:
①测试过程的规范性:
②测试文档的规范性:
表1测试规范性评价得分标准
测试规范性评价得分为每个评价子项得分加权之和,即
基础评价项3,客户满意度,对测试过程中整个团队的测试技术水平、工作效率、沟通协调能力和责任心四个评价子项进行打分,参阅图6。组织可以根据实际情况定义每个评价子项的权重R3i和得分标准,其中1≤i≤4,如表2所示。
表2客户满意度评价得分标准
客户满意度评价的步骤为:收集每个评价子项的得分;客户满意度评价得分为每个评价子项得分加权之和,即
基础评价项4,缺陷探测率,由于测试不可能实现穷举,测试工作需在一定的时间和人力成本内完成,因此所有的测试理论上均不可能探测到所有的缺陷,同时由于不同软件本身的设计质量、客观条件和环境等不同,测试结果中的绝对缺陷数不能作为评价软件测试质量的指标,因此采用对比后期其它测评机构的测试结果来进行评价,其中,对于内部测试质量评价,后期其它测评机构的测试可以是三方测试;对于三方测试质量评价,后期其它测评机构的测试可以是定型测试或验收测试;本发明中,缺陷探测率从缺陷发现率和缺陷发现效率的角度进行对比评价,评价子项包括:软件缺陷的发现率、文档缺陷的发现率、重要缺陷的发现率和缺陷发现的效率,组织可以根据实际情况定义每个评价子项的权重R4i和得分标准,其中1≤i≤4,如表3所示。
参阅图7。缺陷探测率评价包括:
①软件缺陷的发现率:
②文档缺陷的发现率:
③重要缺陷的发现率:
④缺陷发现的效率:
表3缺陷探测率评价得分标准
序号 评价子项 权重 得分标准
1 软件缺陷的发现率 40% 软件缺陷的发现率≥90%得100分;低于100分的按比例递减
2 文档缺陷的发现率 30% 文档缺陷的发现率≥80%得100分;低于100分的按比例递减
3 重要缺陷的发现率 15% 重要缺陷的发现率≥90%得100分;低于100分的按比例递减
4 缺陷发现的效率 15% 缺陷发现的效率≥1得100分;低于100分的按比例递减
缺陷探测率评价得分为每个评价子项得分加权之和,即
参阅图3。在本发明中,扩展评价的具体评价项如下:
减分评价项,软件使用质量,对测试后交付使用的软件质量进行跟踪,对交付使用一段时间内暴露出来的缺陷进行分析、统计,确认属于漏测的缺陷,在对项目进行扩展评价时,进行减分,评价子项包括:缺陷漏测率和重要缺陷漏测数,组织可以根据实际情况定义允许的缺陷漏测率和不同缺陷漏测率的减分标准,以及重要缺陷漏测数的减分标准,减分标准如表4所示。
参阅图8。软件使用质量评价包括:
①缺陷漏测率:
②重要缺陷漏测数Q2:软件交付使用后出现的、确认漏测的致命和严重软件缺陷数;
表4软件使用质量评价得分标准
软件使用质量评价得分为每个评价子项得分之和,即
加分评价项,组织资产贡献度,根据测试团队总结、提炼的组织资产进行加分,评价子项包括:测试用例集、典型缺陷、新测试技术、方法或工具的使用、测试总结交流,以及其它贡献,参阅图9。组织可以根据实际情况定义每个评价子项的加分标准,加分标准如表5所示。
表5组织资产贡献度评价得分标准
组织资产贡献度评价的步骤为:收集每个评价子项的贡献数据,组织领域专家对贡献内容进行得分评估;组织资产贡献度评价得分为每个评价子项得分之和,即
在本发明中,总体评价由分管质量的负责人收集并确认所有评价项的评价结果后,计算被测项目的软件测试质量评价总体得分,并对被测项目的软件测试质量进行总体评价。
软件测试质量总体评价所需要的算法公式步骤为:
1、定义每个基础评价项的权重Ri,其中1≤i≤4;如Ri依次为40%、20%、10%、30%;
2、确认每个评价项的单项得分,即Si、Q和C,其中1≤i≤4;
3、软件测试质量评价总体得分:
4、定义项目软件测试质量总体得分不同区间的评价结论,对项目的软件测试质量进行总体评价;如将软件测试质量总体评价分为A、B、C、D、E五个档,各档对应得分如表6所示。
表6软件测试质量总体评价
等级 A B C D E
结论 优秀 良好 中等 合格 不合格
总体得分 90及以上 [80,90) [70,80) [60,70) 60以下
如此,对项目的软件测试质量进行完整的评价,有数据有结论,量化了测试质量,提高了测试效果,积累了测试经验,提升了测试技能。
以上实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和原则下,所作的任何修改、等同替换、改进等,均包含在本发明的保护范围之内。

Claims (10)

1.一种软件测试质量评价方法,具有如下技术特征:在测试的不同阶段,对用例设计有效性、测试规范性、客户满意度、缺陷探测率、软件使用质量和组织资产贡献度六个评价项建立量化的软件测试质量数学评价模型;软件测试质量评价的主要活动包括评价策划、基础评价、扩展评价和总体评价,其中,基础评价包括四项基础评价项:用例设计有效性、测试规范性、客户满意度和缺陷探测率;扩展评价包括两项加/减分评价项:软件使用质量和组织资产贡献度;总体评价得分为基础评价项各单项得分加权累计之和,减去软件使用质量评价得分,再加上组织资产贡献度评价得分,最后根据总体评价得分对整个测试项目的软件测试质量进行总体评价;其主要活动为:
1)评价策划,软件测试质量评价策划开展的时机为项目测试工作开展前;
2)基础评价,用例设计有效性评价开展的时机为测试过程中、回归测试以前,测试规范性评价开展的时机为测试过程中,客户满意度评价开展的时机为测试结束后,缺陷探测率评价开展的时机为后续其它测评机构对被测项目进行测试结束后;用例设计有效性:对设计的测试用例进行全面审查,从用例设计的颗粒度、正确性和充分性三方面进行评价;测试规范性:根据软件工程化管理的要求,对测试过程的规范性和测试文档的规范性进行评价,评价方式为:依据标准检查表中的各项内容对测试过程和工作产品进行符合性审查;客户满意度:对测试过程中整个团队的测试技术水平、工作效率、沟通协调能力和责任心四个评价子项进行打分;缺陷探测率:采用对比后期其它测评机构的测试结果来进行评价,评价角度包括缺陷发现率和缺陷发现效率;单个基础评价项的评价步骤包括:定义每个评价子项的权重和得分标准;计算每个评价子项的得分;单个基础评价项的评价得分为每个评价子项得分加权之和;
3)扩展评价,软件使用质量:对交付使用一段时间内暴露出来的缺陷进行分析、统计,在对项目进行扩展评价时,进行减分,评价步骤包括:定义每个评价子项的减分标准;计算每个评价子项的得分;软件使用质量评价得分为每个评价子项得分之和;组织资产贡献度:根据测试团队总结、提炼的组织资产进行加分,评价步骤包括:定义每个评价子项的加分标准;收集每个评价子项的贡献数据,组织领域专家对贡献内容进行得分评估;组织资产贡献度评价得分为每个评价子项得分之和;
4)总体评价,收集并确认所有评价项的评价结果后,计算被测项目的软件测试质量评价总体得分,并对被测项目的软件测试质量进行总体评价;步骤包括:定义每个基础评价项的权重;确认每个评价项的单项得分;计算软件测试质量评价总体得分,即所有基础评价项得分加权累计之和,减去软件使用质量评价得分,再加上组织资产贡献度评价得分;定义项目软件测试质量总体得分不同区间的评价结论,并对项目的软件测试质量进行总体评价。
2.如权利要求1所述的软件测试质量评价方法,其特征在于:用例设计的颗粒度
3.如权利要求1所述的软件测试质量评价方法,其特征在于:用例设计的正确性包括:
4.如权利要求1所述的软件测试质量评价方法,其特征在于:用例设计的充分性包括:用例设计的充分性包括:
5.如权利要求1所述的软件测试质量评价方法,其特征在于:测试规范性包括:
6.如权利要求1所述的软件测试质量评价方法,其特征在于:缺陷探测率包括:
缺陷探测率包括:
软件缺陷的发现率
文档缺陷的发现率
重要缺陷的发现率
7.如权利要求1所述的软件测试质量评价方法,其特征在于:在软件交付使用一段时间后对项目进行扩展评价,对软件使用质量进行减分,评价子项包括:缺陷漏测率和重要缺陷漏测数。
8.如权利要求7所述的软件测试质量评价方法,其特征在于:如权利要求7所述的软件测试质量评价方法,其特征在于:
9.如权利要求1所述的软件测试质量评价方法,其特征在于:在对项目进行扩展评价时,对组织资产贡献度进行加分,评价子项包括:测试用例集、典型缺陷、新测试技术、方法或工具的使用、测试总结交流,以及其它贡献。
10.如权利要求1所述的软件测试质量评价方法,其特征在于:软件测试质量评价总体得分其中Si为基础评价项的得分,Ri为基础评价项的权重,Q为软件使用质量评价得分,C为组织资产贡献度评价得分。
CN201610173443.XA 2016-03-23 2016-03-23 软件测试质量评价方法 Pending CN105868888A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610173443.XA CN105868888A (zh) 2016-03-23 2016-03-23 软件测试质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610173443.XA CN105868888A (zh) 2016-03-23 2016-03-23 软件测试质量评价方法

Publications (1)

Publication Number Publication Date
CN105868888A true CN105868888A (zh) 2016-08-17

Family

ID=56625844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610173443.XA Pending CN105868888A (zh) 2016-03-23 2016-03-23 软件测试质量评价方法

Country Status (1)

Country Link
CN (1) CN105868888A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106502878A (zh) * 2016-11-15 2017-03-15 北京中电普华信息技术有限公司 一种基于相对成熟度的业务系统评价方法及装置
CN106897059A (zh) * 2017-01-23 2017-06-27 中国电力科学研究院 一种智能电网调度控制系统软件质量评价平台及评价方法
CN107122302A (zh) * 2017-04-28 2017-09-01 郑州云海信息技术有限公司 一种软件测试有效性度量和评估方法
CN107256299A (zh) * 2017-06-02 2017-10-17 上海望友信息科技有限公司 集成电路设计的可制造性评分方法、装置、介质及设备
CN109146402A (zh) * 2018-07-13 2019-01-04 成都颠峰科创信息技术有限公司 一种软件开发供应商交付质量的评估方法
CN109271314A (zh) * 2018-08-21 2019-01-25 郑州云海信息技术有限公司 一种软件测试人员绩效评估系统及其使用方法
CN109542510A (zh) * 2018-11-16 2019-03-29 北京广利核系统工程有限公司 一种基于贝叶斯理论的软件v&v有效性度量方法
CN109815126A (zh) * 2018-12-21 2019-05-28 浙江数链科技有限公司 软件测试方法、装置、计算机设备和存储介质
CN110347599A (zh) * 2019-07-11 2019-10-18 电信科学技术第十研究所有限公司 一种基于测试缺陷数据的管理方法及装置
CN110490413A (zh) * 2019-07-12 2019-11-22 中国人民解放军63961部队 软件测评项目定量管理方法、装置、设备及可读存储介质
CN110908911A (zh) * 2019-11-26 2020-03-24 京东数字科技控股有限公司 软件测试方法、装置、电子设备及计算机可读介质
CN111177004A (zh) * 2019-12-30 2020-05-19 中信百信银行股份有限公司 软件测试综合评价方法、装置、电子设备及存储介质
CN111488273A (zh) * 2020-03-18 2020-08-04 Oppo(重庆)智能科技有限公司 测试验证方法、测试验证装置、存储介质与电子设备
CN111858377A (zh) * 2020-07-29 2020-10-30 中国工商银行股份有限公司 测试脚本的质量评价方法、装置、电子设备及存储介质
CN113157571A (zh) * 2021-04-15 2021-07-23 深圳前海联动云软件科技有限公司 一种基于度量的软件质量测试方法
CN113608719A (zh) * 2021-07-21 2021-11-05 江苏徐工工程机械研究院有限公司 一种软件开发需求质量的评价方法及系统
CN113626323A (zh) * 2021-07-31 2021-11-09 西南电子技术研究所(中国电子科技集团公司第十研究所) 软件生命周期各阶段质量Bug测试评价方法
CN113971520A (zh) * 2021-10-25 2022-01-25 重庆允成互联网科技有限公司 一种研发团队交付的软件产品质量评价方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106502878A (zh) * 2016-11-15 2017-03-15 北京中电普华信息技术有限公司 一种基于相对成熟度的业务系统评价方法及装置
CN106897059A (zh) * 2017-01-23 2017-06-27 中国电力科学研究院 一种智能电网调度控制系统软件质量评价平台及评价方法
CN107122302A (zh) * 2017-04-28 2017-09-01 郑州云海信息技术有限公司 一种软件测试有效性度量和评估方法
CN107256299A (zh) * 2017-06-02 2017-10-17 上海望友信息科技有限公司 集成电路设计的可制造性评分方法、装置、介质及设备
CN109146402A (zh) * 2018-07-13 2019-01-04 成都颠峰科创信息技术有限公司 一种软件开发供应商交付质量的评估方法
CN109271314A (zh) * 2018-08-21 2019-01-25 郑州云海信息技术有限公司 一种软件测试人员绩效评估系统及其使用方法
CN109542510A (zh) * 2018-11-16 2019-03-29 北京广利核系统工程有限公司 一种基于贝叶斯理论的软件v&v有效性度量方法
CN109815126A (zh) * 2018-12-21 2019-05-28 浙江数链科技有限公司 软件测试方法、装置、计算机设备和存储介质
CN110347599A (zh) * 2019-07-11 2019-10-18 电信科学技术第十研究所有限公司 一种基于测试缺陷数据的管理方法及装置
CN110490413A (zh) * 2019-07-12 2019-11-22 中国人民解放军63961部队 软件测评项目定量管理方法、装置、设备及可读存储介质
CN110908911A (zh) * 2019-11-26 2020-03-24 京东数字科技控股有限公司 软件测试方法、装置、电子设备及计算机可读介质
CN110908911B (zh) * 2019-11-26 2023-09-26 京东科技控股股份有限公司 软件测试方法、装置、电子设备及计算机可读介质
CN111177004A (zh) * 2019-12-30 2020-05-19 中信百信银行股份有限公司 软件测试综合评价方法、装置、电子设备及存储介质
CN111488273A (zh) * 2020-03-18 2020-08-04 Oppo(重庆)智能科技有限公司 测试验证方法、测试验证装置、存储介质与电子设备
CN111858377A (zh) * 2020-07-29 2020-10-30 中国工商银行股份有限公司 测试脚本的质量评价方法、装置、电子设备及存储介质
CN111858377B (zh) * 2020-07-29 2024-02-27 中国工商银行股份有限公司 测试脚本的质量评价方法、装置、电子设备及存储介质
CN113157571A (zh) * 2021-04-15 2021-07-23 深圳前海联动云软件科技有限公司 一种基于度量的软件质量测试方法
CN113608719A (zh) * 2021-07-21 2021-11-05 江苏徐工工程机械研究院有限公司 一种软件开发需求质量的评价方法及系统
CN113608719B (zh) * 2021-07-21 2023-05-05 江苏徐工工程机械研究院有限公司 一种软件开发需求质量的评价方法及系统
CN113626323A (zh) * 2021-07-31 2021-11-09 西南电子技术研究所(中国电子科技集团公司第十研究所) 软件生命周期各阶段质量Bug测试评价方法
CN113626323B (zh) * 2021-07-31 2024-03-15 西南电子技术研究所(中国电子科技集团公司第十研究所) 软件生命周期各阶段质量Bug测试评价方法
CN113971520A (zh) * 2021-10-25 2022-01-25 重庆允成互联网科技有限公司 一种研发团队交付的软件产品质量评价方法

Similar Documents

Publication Publication Date Title
CN105868888A (zh) 软件测试质量评价方法
Feng et al. Exploring the interactive effects of safety investments, safety culture and project hazard on safety performance: An empirical analysis
Konisky et al. Measuring state environmental policy
McCarl Model validation: an overview with some emphasis on risk models
Mitchison et al. Safety management systems under Seveso II: Implementation and assessment
Mohaghegh et al. Measurement techniques for organizational safety causal models: Characterization and suggestions for enhancements
CN102521685A (zh) 一种电子监察系统
Li et al. A validation research on fuzzy logic-AHP-based assessment method of operator’s situation awareness reliability
Gomes et al. Measuring efficiency of safe work environment from the perspective of the decent work Agenda
Fulin et al. Improved estimation model and empirical analysis of relationship between agricultural mechanization level and labor demand
Husin et al. The Significance Risk for Factors of Labour, Material, and Equipment on Construction Project Quality
Permana et al. Designing of Performance Management System for Auditor Certification Body Using Management by Objective and Behaviorally Anchor Rating Scale
Dewi et al. The Effect of Safety Culture and Sense of Belonging on The Performance of Company Employees in Banten During the Covid-19
Mahmoud et al. Safety performance framework at construction site for self-regulation by building developers
Payne-Sturges et al. A review of state-level analytical approaches for evaluating disproportionate environmental health impacts
Dahyana et al. Incentive system impact on individual performance through motivation in a corporate university in Indonesia
Syrotenko et al. Evaluation of the effectiveness of the internal control system of the institution using key performance indicators
Ningsih et al. The optimization of employee performance improvement reviewed from the perspectives of performance allowances, work motivation, and work discipline in the Lpd Banyuning, Lpd Lumbanan, Lpd Padang Bulia, Lpd Sari Mekar
Irfan et al. The Moderating Effect of Organizational Commitment on the Relationship Between Accounting Information Systems and Internal Control Systems on the Quality of Financial Reporting
Li et al. Small-area estimation of modern contraceptive prevalence rates in 10 low-income countries: a Bayesian hierarchical approach
Forteza Oliver Analysis and relations between organizational factors, company performance and risk level on site at construction sector
Endroyo et al. Further Validation of Learning Outcome Assessment Instruments on Occupational Safety & Health (K3/OSH) for Students of Building/Civil Engineering
Fargione Definition and Validation of approaches special for OS&H in Research Universities, from Risk Assessment to Quality Management in the frame of PoliTo-UniTo Guideline
Максімова DIRECTIONS FOR IMPROVING THE INTERNAL AUDIT OF BUDGETARY INSTITUTIONS
Oberkampf Technology assessment: Need and motivation of industry

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160817

RJ01 Rejection of invention patent application after publication