CN111177004A

CN111177004A - 软件测试综合评价方法、装置、电子设备及存储介质

Info

Publication number: CN111177004A
Application number: CN201911404657.3A
Authority: CN
Inventors: 张馨文; 高深; 刘志鹏
Original assignee: CITIC Aibank Corp Ltd
Current assignee: CITIC Aibank Corp Ltd
Priority date: 2019-12-30
Filing date: 2019-12-30
Publication date: 2020-05-19

Abstract

本发明公开了一种软件测试综合评价方法，包括：获取至少一个评价因素，所述评价因素包括：可测性、测试充分性、可维护性、性能、可用性、开发质量、正确性、流程完整性和环境稳定性；将所述评价因素的测量参数转化为百分制，得到质量分；根据客户对所述评价因素的问题反馈计算各所述评价因素的权重值；将各所述质量分与各自所述权重值相乘之后取和，得到软件测试综合评价值。使用该方法可以从不同维度综合评价软件测试质量，同时使不同维度的评价因素可以转化为相同维度、从而可相互比较计算的数值，使软件测试综合评价便利高效。

Description

软件测试综合评价方法、装置、电子设备及存储介质

技术领域

本发明涉及互联网技术领域，特别是涉及一种软件测试综合评价方法、装置、电子设备及存储介质。

背景技术

随着软件技术的不断发展，软件测试技术也随着得到了重视，测试理念、测试方法、测试工具等也都在不断发展。许多国际组织和个人已经对软件度量技术进行了研究，提出了相关的技术和度量方法。

目前的测试质量度量评价方发多偏向于理论研究，缺少一种简单易行在生产中可以直接使用的质量评价方法或完整度量工具，也没有可以通过测试质量度量数据来自动发现问题，通过数据自驱动来促进改进提升质量的方法。

在实际应用中不同维度、不同数量级的评价指标数据难以聚合，导致不同项目的数据难以聚合到一个开发团队。以及确定各个质量维度在综合质量评分计算中的计算权重，难以建立综合质量评价模型。通过测试质量度量数据来自动发现问题，解决人工反馈跟踪不及时的问题。

发明内容

基于此，本发明提供一种软件测试综合评价方法的方法和装置，能够使不同维度、不同数量级的评价指标数据得以聚合，提高软件测试综合评价的便利性和效率。

本发明第一个方面，提供一种软件测试综合评价方法，该方法包括：

获取至少一个评价因素，所述评价因素包括：可测性、测试充分性、可维护性、性能、可用性、开发质量、正确性、流程完整性和环境稳定性；

将所述评价因素的测量参数转化为百分制，得到质量分；

根据客户对所述评价因素的问题反馈计算各所述评价因素的权重值；

将各所述质量分与各自所述权重值相乘之后取和，得到软件测试综合评价值。

本发明第二个方面，提供一种软件测试综合评价装置，该装置包括：

获取模块，用于获取至少一个评价因素，所述评价因素包括：可测性、测试充分性、可维护性、性能、可用性、开发质量、正确性、流程完整性和环境稳定性；

转化模块，用于将所述评价因素的测量参数转化为百分制，得到质量分；

权重计算模块，用于根据客户对所述评价因素的问题反馈计算各所述评价因素的权重值

软件测试综合评价模块，用于根据客户对所述评价因素的问题反馈计算各所述评价因素的权重值。

本发明第三方面，提供一种终端，所述终端包括处理器以及存储器：

所述存储器用于存储计算机程序；

所述处理器用于根据所述计算机程序执行本申请第一方面所述的质量评价方法。

本发明第四方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序由处理器执行时实现本发明的软件测试综合评价方法所述的步骤。

综上本发明通过在软件测试综合评价阶段计算生成评价因素的质量分和各评价因素的权重值，并将二者乘积求和计算，得到软件测试综合评价值。此方法能够使不同维度、不同数量级的评价指标数据得以聚合，提高软件测试综合评价的便利性和效率。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例中软件测试综合评价方法的流程示意图；

图2为本发明另一实施例中软件测试综合评价装置的架构示意图；

图3为本发明另一实施例中软件测试综合评价终端的架构示意图；

图4为本发明另一实施例中软件测试综合评价方法的质量分数示意图；

图5为本发明另一实施例中软件测试综合评价方法中评价因素的测量参数示意图。

具体实施方式

下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

实施例1

如图1所示，一种软件测试综合评价方法，其特征在于，包括：

将所述评价因素的测量参数转化为百分制，得到质量分；

此步骤可以将不同维度的评价因素转化为同一维度的质量分。

对于客户的问题反馈可以采取语音关键字自动识别方法、AI人工智能客服的智能语音识别方法或用户界面输入等方式获取。

将各所述质量分与各自所述权重值相乘之后取和，得到软件测试综合评价值，使用此方法可以将不同项目的数据便利地聚合到一个开发团队，增强团队间协作，提高工作效率。

优选地，其特征在于，该方法还包括：

各所述评价因素包括至少一个质量指标；

所述可测性的质量指标包括：是/否实施单元测试、单元测试覆盖率、单元测试增量覆盖率、准入测试通过率、是/否实施接口自动化测试、接口自动化测试通过率；

将质量因素具体化，便于从各数据平台直接获取软件测试的各项指标，如图5所示。

所述测试充分性的质量指标包括：功能测试覆盖率、功能测试增量覆盖率；

所述可维护性的质量指标包括：千行代码复杂方法数、千行代码重复块、千行代码坏味道、千行代码Bugs、千行代码漏洞数；

所述性能的质量指标包括：对内接口、对外接口、对内页面、对外页面；

所述可用性的质量指标包括：500错误数/每百万PV；

所述开发质量的质量指标包括：千行代码bug数、千行代码严重bug数(P0+P1)、严重bug占比、bugreopen数、bugreopen率；

所述正确性的质量指标包括：线上(P0+P1)bug率、线上(P2+P3)bug率；

其中bug的优先程度用P加数字表示，P0～P3表示从最紧要级别到最次要级别，

所述流程完整性的质量指标包括：测试报告评审次数、预览环境发布次数、投产时间风险、发布流程完整性

所述环境稳定性的质量指标包括：阻断性故障总数、阻断性故障平均修复时间、阻断性故障最长修复时间、违规操作使用导致环境故障

优选地，该方法还包括：

获取所述质量指标所占比例，使得任意一个所述评价因素的所有质量指标的比例之和为1；

从数据平台获取所述质量指标的测量值。

根据权利要求3所述的软件测试综合评价方法，其特征在于，该方法包括：

所述评价因素的编号为i，{i|1≤i≤n,n属于正整数}；

将所述问题反馈按所述评价因素分类，按重要程度打分，将各所述评价因素获得的分数相加，得到所述评价因素i的重要度a_i，所述i为所述评价因素的编号，{i|1≤i≤n,n属于正整数}；

将任意两个评价因素的重要度进行比较，得到判断矩阵B；

对所述判断矩阵B每一行的数值之和做归一化处理，得到所述评价因素i的权重值W_i。

优选地，该方法包括：

所述判断矩阵

其中

{j|1≤j≤n,n属于正整数}，且{i|1≤i≤n,n属于正整数}＝{j|1≤j≤n,n属于正整数}；

所述权重值

其中

优选地，该方法还包括：

根据历史测量值确定零分线，将所述测量值按所述零分线进行归一化百分制转换，得到所述质量指标的质量分。

示例性的，对软件测试综合评价方法进行举例：

1)根据每个指标的测量值，做线性变换的归一化处理，得到所有指标的百分制评分，如表1所示：

表1评价因素百分数转化表

R_可测性＝0.1*100+0.1*40+0.2*50+0.1*50+0.1*100+0.3*75＝61.5

R_{测试充分性}＝0.3*38+0.7*80＝67.4

R_可维护性＝0.2*(90+96+75+90+90)＝88.2

R_性能＝0.25*(75+82+97+90)＝86

R_正确性＝0.7*90+0.3*80＝87

R_可使用性＝1*60＝60

同样方法算出R_{流程完整性}＝85，R_{环境稳定性}＝90，R_开发质量＝82.2,不再详细列举。

实际应用中质量分的计算结果展示如图4所示。

2)由客户反馈BUG点数计算指标的原始重要度

对三个月内客户反馈的BUG进行分级分类统计，统计表如表2所示：

表2.客户反馈的BUG统计表

3)计算度量指标

将任意2个指标的重要度进行比较，即得到判断矩阵B，其中b_ij表示第i个指标与第j个指标相对重要程度的比较值。

将判断矩阵的各行数值相加，得到向量W’＝(8.24，7.23，8.24，11.21，9.11.10.98,8.99,10.61,8.09)^T

对W’做归一化处理,可以得出各指标的权重向量:

W＝(0.099,0.088,0.099,0.136,0.11,0.133,0.109,0.128,0.098)

4)计算综合质量评价值

表3.

ZZ＝0.099*85+0.088*90+0.099*61.5+0.136*87+0.11*82.2+0.133+67.4+0.109*88.2+0.128*86+0.098*60＝78.76

实施例2

如图2所示，一种软件测试综合评价装置，该装置用于运行本发明软件测试综合评价方法，该装置包括：

优选地，所述评价因素包括：

所述可用性的质量指标包括：500错误数/每百万PV；

所述流程完整性的质量指标包括：测试报告评审次数、预览环境发布次数、投产时间风险、发布流程完整性；

所述环境稳定性的质量指标包括：阻断性故障总数、阻断性故障平均修复时间、阻断性故障最长修复时间、违规操作使用导致环境故障。

实施例3

如图3所示，一种终端，所述终端包括存储器、处理器，所述存储器用于存储计算机程序；其特征在于，所述处理器用于执行所述计算机程序时实现如上述本发明的软件测试综合评价方法所述的步骤。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种质量评价方法、质量评价装置进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims

1.一种软件测试综合评价方法，其特征在于，包括：

将所述评价因素的测量参数转化为百分制，得到质量分；

2.根据权利要求1所述的软件测试综合评价方法，其特征在于，该方法还包括：

各所述评价因素包括至少一个质量指标；

所述可用性的质量指标包括：500错误数/每百万PV；

3.根据权利要求2所述的软件测试综合评价方法，其特征在于，该方法还包括：

从数据平台获取所述质量指标的测量值。

4.根据权利要求3所述的软件测试综合评价方法，其特征在于，该方法包括：

所述评价因素的编号为i，{i|1≤i≤n,n属于正整数}；

将任意两个评价因素的重要度进行比较，得到判断矩阵B；

5.根据权利要求4所述的软件测试综合评价方法，其特征在于，该方法包括：

所述判断矩阵

其中

所述权重值

其中

6.根据权利要求5所述的软件测试综合评价方法，其特征在于，该方法还包括：

7.一种软件测试综合评价装置，其特征在于，所述装置包括：

8.根据权利要求7所述的软件测试综合评价装置，其特征在于，所述评价因素包括：

所述可用性的质量指标包括：500错误数/每百万PV；

9.一种终端，所述终端包括存储器、处理器，所述存储器用于存储计算机程序；其特征在于，所述处理器用于执行所述计算机程序时实现如上述权利要求1至7任一项所述的软件测试综合评价方法所述的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序由处理器执行时实现权利要求1至7任一项所述的软件测试综合评价方法所述的步骤。