CN101551776A - 一种面向测试过程的软件可信性度量与评估方法 - Google Patents

Abstract

一种面向测试过程的软件可信性度量与评估方法，包括四大步骤：管理可信性度量与评估、过程可信性度量与评估、产品可信性度量与评估和综合评估软件产品的可信性。本发明从管理可信、过程可信和最终产品可信及其之间相互影响的关系来对软件可信性进行度量与评估，保证了最终评估结果的真实性，为相关人员做出进一步的决策提供可靠的参考。

Description

一种面向测试过程的软件可信性度量与评估方法

技术领域

本发明涉及软件可信性度量与评估的方法，特别地，本发明是一种面向测试过程的软件可信性度量与评估方法。

技术背景

随着社会的进步，经济的发展，软件应用已经渗透到国民经济和国防建设的各个领域。人们对软件系统的依赖越来越强，要求也越来越高，特别是对关乎国家利益和民生安全的软件系统的可信性要求尤为突出。然而，现在的软件状况却不尽如人意。国内外，由于软件缺陷而导致的重大灾难，严重损失屡见不鲜。一方面，人们对功能的需求不断增加，软件规模越来越大，导致软件的开发、集成、和维护工作越来越复杂。另一方面，软件的开发环境和运行环境已经变成了互联网环境，存在很多不安全、不确定因素。因此，什么样的软件是可信的，如何去判断、度量和评估软件的可信性成为业界研究的一个热点问题。

软件测试过程是软件生产过程的关键过程，监控软件测试过程、对测试过程和测试结果进行分析是对软件可信性进行度量和评估的有效途径之一。国内外有关软件质量度量和评估以及专门针对软件可信性属性的研究有一系列的成果。如有关软件过程度量的标准和模型的ISO系列标准、CMM/CMMI模型、实用软件度量PSM。支持软件过程控制与改进的主动度量模型AMM(active measurement model)和度量方法，度量模型化技术，基于TMM模型的面向过程基于度量的评估模型，针对高可信性软件的可信属性的研究，面向软件测试和可靠性的早期警告度量集等。尽管与软件质量和可信性相关的研究工作已经取得了很大的进步，但对软件可信性的度量和评估目前仍然存在不足，具体表现在：

第一，对软件产品可信属性方面的度量和评估，大部分只考虑软件可信性包含的一个或几个特性，没有从软件可信性增长角度来考虑如何去度量和评估软件产品的可信性。

第二，单纯从软件产品的角度对可信性进行度量和评估，没有完全考虑软件生产过程中管理可信和过程可信对最终软件可信性的影响，即没有从软件管理、过程和产品的综合角度对软件可信性进行度量和评估。

发明内容

本发明的目的在于：克服现有技术的不足，提供一种面向测试过程的软件可信性度量与评估方法，从管理可信、过程可信和最终产品可信及其之间相互影响的关系来对软件可信性进行度量与评估，保证了最终评估结果的真实性，为相关人员做出进一步的决策提供可靠的参考。

本发明的技术解决方案：面向测试过程的软件可信性度量与评估方法包括：管理可信性度量与评估、过程可信性度量与评估、产品可信性度量与评估和综合评估软件产品的可信性四个步骤：

步骤一：测试管理可信度量与评估，包括评审指标、可追踪指标和管理可信指标的评估：

(1)评审指标

如果测试需求、计划和用例3个部分是经过评审的，则认为该指标提升软件可信度；以Treq表示测试需求，Tplan表示测试计划Tcase表示测试用例，则具体方法如下：如果测试需求经过评审，则Treq＝1；若没有经过评审，则Treq＝0；同样，Tplan和Tcase赋值策略同Treq，最终评估值为：

IsAssessed＝(Treq+Tplan+Tcase)/3            (1)

IsAssessed取值范围为[0，1]，且指标值越大，说明测试过程中的质量保证工作做的越好；

(2)可追踪指标

如果测试需求、测试计划、测试用例、测试活动，测试结果和软件问题6个部分是受管理和可追踪的，则同样认为该指标提升软件可信度，具体方法如下：如果测试需求可追踪，则Treq＝1，否则Treq＝0；同样，Tplan，Tcase，Tactiv，Tresult，Spr赋值策略同Treq，最终评估值为：

IsTraced＝(Treq+Tplan+Tcase+Tactiv+Tresult+Spr)/6            (2)

其中：Treq表示测试需求，Tplan表示测试计划，Tcase表示测试用例，Tactiv表示测试活动，Tresult表示测试结果，Spr表示软件问题。IsTraced取值范围为[0，1]，且指标值越大，说明测试过程中所控制和管理的对象越多、范围越广；

(3)管理可信指标

综合评审指标和可追踪性两个指标，其中MAX{IsAssessed+IsTraced}＝2，定义管理可信评估指标IndexManagement：

IndexManagement＝(IsAssessed+IsTraced)/2            (3)

IndexMagement取值范围为[0，1]，且指标值越大，说明管理越可信；

步骤二：过程可信性度量与评估，该部分从测试过程是否稳定的角度对过程可信性进行度量和评估，具体方法如下：

(1)统计每个工作周期T时间内，测试需求变更次数-CTReq_i，测试计划变更次数-CTplan_i和测试活动变更次数-CTactiv_i，其中i为测试项目的工作周期，一般为周、月等时间单位，i＝1，2…n；

(2)利用统计过程控制图XmR分别绘制三个指标的单点值和移动值域图；

(3)根据判断过程是否稳定的原则，分析三个指标的XmR图，判断三个指标在测试过程中的变化是否处于稳定状态，分别用测试需求变更稳定指标IndexReq、测试计划变更稳定指标IndexPlan及测试活动变更稳定指标IndexActiv来表示，若过程稳定则相应的指标值为1，否则值为0。

(4)最终过程可信评估指标IndexProcess定义如下：

IndexProcess＝(IndexReq+IndexPlan+IndexActiv)/3            (7)

IndexProcess取值范围[0，1]，且指标越大，过程越稳定；

步骤三：软件产品的可信性增长评估，该部分从可信性增长的角度，以测试用例为依托进行评估，具体方法如下：

(1)首先定义测试用例对被测产品覆盖程度TC如下：

TC＝RB/BS    (8)

RB表示测试用例或测试用例集实际执行所覆盖的执行覆盖块数，BS表示被测软件的执行覆盖块总数。这里，执行覆盖块是指被测试软件函数或方法内部的不存在(会引起分支的)控制语句的一组执行语句或分支语句中的一个条件判断。如果一个分支语句的某一分支中没有可执行语句(空分支)，那么该分支下也对应着一个执行覆盖块(空语句)。如语句if(x＞1or y＜10)then{a＝a+1；b＝a+1；}；它对应着四个执行覆盖块B1：(x＞1)；B2：(y＜10)；B3：(a＝a+1；b＝a+1；)；B4：(空语句)。

对一个测试用例集来说，该测试用例集的TC值越大，即越接近1，它的可信性就越高；

(2)定义可信判断度Ri为：

Ri＝ΔPEi/ΔTCi，i＝1，…，M-1            (9)

序列：R1，R2，…，RM    (10)

这里，M为测试周期的个数，ΔTCi表示两个测试周期Pi+1，Pi中用例的代码覆盖度增量，PE表示软件问题当量数，ΔPEi为两个周期软件问题当量数的增量，软件问题的当量数定义如下：

$\mathrm{PE}=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{ci}*\mathrm{Ni}$

其中Ni表示软件问题中严重程度为i级的软件问题的个数。m为软件问题严重程度的分级数，通常为3-5级。ci表示严重程度为i级的软件问题在计算软件问题当量数PE时所占的权重。

如果序列(10)的趋势是下降的，那么说明随着测试的不断进行，单位增量的测试用例所发现的软件问题在减少，软件产品的质量和可信度在提高；

(3)根据序列(10)，得出可信判断度Ri的最大值MaxR以及评估周x，即距离开始测试的第x周的可信判断度Rx，则软件产品的可信指标定义为：

IndexProduct＝(MaxR-Rx)/MaxR            (11)

该指标取值范围为[0，1]，且指标越大，软件产品可信性越高；步骤四：综合评估软件可信性，步骤如下：

(1)定义对应5个等级的隶属度函数

f1(x)＝exp-(x)²；             (12)

f2(x)＝exp-(x-0.25)^2，        (13)

f3(x)＝exp-(x-0.50)²；        (14)

f4(x)＝exp-(x-0.75)²；        (15)

f5(x)＝exp-(x-1.00)²；        (16)

x取值范围为[0，1]；

(2)将步骤一、步骤二和步骤三得出的管理可信IndexManagement，过程可信IndexProcess和软件产品可信IndexProduct指标分别带入5个隶属度函数得出度量指标对应可信性五个等级的隶属度；

(3)运用D-S合并理论，将管理可信IndexManagement，过程可信IndexProcess和软件产品可信IndexProduct对应的5个等级隶属度进行合并，最终得到软件可信性的评估指标。

本发明与现有技术相比的优点在于：

(1)传统软件可信性评估仅仅从软件产品的角度来考虑，而本发明从管理可信，过程可信以及最终软件产品可信三维的角度来度量和评估软件的可信性。

(2)摒弃了单一从软件可信性的五大属性来度量和评估软件产品的可信性，提出了一种通过软件可信性增长的方法来度量和评估软件产品的可信性

附图说明

图1为本发明方法的整体流程图；

图2为本发明的管理可信度量与评估流程图；

图3为本发明的过程可信评估流程图；

图4为本发明的软件产品可信性评估流程图；

图5为本发明的软件可信性评估流程图；

图6为本发明实施例中被测软件产品可信度图。

具体实施方式

如图1所示，本发明的方法包括四大步骤：管理可信性度量与评估；过程可信性度量与评估；产品可信性度量与评估；综合评估软件产品的可信性。

步骤一：测试管理可信度量与评估，如图2所示。

管理可信是最终产品可信的第一道门槛。实践表明，达到管理可信的有效手段是对整个测试过程进行有效的管理，包括测试需求、测试计划和进度、测试用例设计、测试任务、测试结果、测试状态的管理等。

具体评估方法如下：

符号说明

Treq：测试需求      Tplan：测试计划      Tcase：测试用例

Tactiv：测试活动    Tresult：测试结果    Spr：软件问题

集合定义

IsAssessed＝{Treq，Tplan，Tcase}

IsTraced＝{Treq，Tplan，Tcase，Tactiv，Tresult，Spr}

评估方法

1、评审指标

如果测试需求、计划和用例是经过评审的，则认为该指标提升软件可信度。具体方案如下：如果测试需求经过评审，则Treq＝1；若没有经过评审，则Treq＝0；同样，Tplan和Tcase赋值策略同Treq。最终评估值为：

IsAssessed＝(Treq+Tplan+Tcase)/3            (1)

2、可追踪指标

如果测试需求、测试计划、测试用例、测试活动，测试结果和软件问题是受管理和可追踪的，则同样认为该指标提升软件可信度。具体方案如下：如果测试需求可追踪，则Treq＝1，否则Treq＝0；同样，Tplan，Tcase，Tactiv，Tresult，Spr赋值策略同Treq。最终评估值为：

IsTraced＝(Treq+Tplan+Tcase+Tactiv+Tresult+Spr)/6            (2)

3、管理可信指标

综合评审指标和可追踪性两个指标，其中MAX{IsAssessed+IsTraced}＝2。故，定义管理可信评估指标IndexManagement：

IndexManagement＝(IsAssessed+IsTraced)/2            (3)

IndexMagement取值范围为[0，1]，且指标值越大，说明管理越可信。

步骤二：过程可信性度量与评估，如图3所示。

测试过程的稳定性是一个很重要的特性，只有一个稳定的测试过程，才能够根据过程现有的性能来预测其将来可能的发展趋势。如果一个过程不稳定，说明有一些可归属的因素来影响过程的执行，消除了这些因素，不仅能够保证过程的稳定性，也能够提高过程的性能。过程可信具体评估方法如下：

符号说明

CTReq：测试需求变更      CTplan：测试计划变更

CTactiv：测试活动变更    T：周期(以周或月为单位)

集合定义

CredibleProcess＝{CTReq，CTplan，CTactiv}

评估方法

1.统计每个工作周期T时间内，测试需求变更次数-CTReq_i，测试计划变更次数-CTplan_i和测试活动变更次数-CTactiv_i，其中i＝1，2…n；n为到目前为止，测试的周数。

2、利用统计过程控制图XmR分别绘制三个指标的单点值和移动值域图。

3、根据判断过程是否稳定的原则，分析三个指标的XmR图，判断三个指标在测试过程中的变化是否处于稳定状态，分别用测试需求变更稳定指标IndexReq、测试计划变更稳定指标IndexPlan及测试活动变更稳定指标IndexActiv来表示，若过程稳定则相应的指标值为1，否则值为0；

4、最终过程可信评估指标IndexProcess定义如下：

IndexProcess＝(IndexReq+IndexPlan+IndexActiv)/3            (7)

IndexProcess取值范围[0，1]，且指标越大，过程越稳定。

步骤三：软件产品的可信性增长评估，如图4所示。

软件测试是一个不断的产生测试用例-测试软件产品-发现软件问题并修改-测试结果分析-再产生新的测试用例的迭代过程。随着测试的不断深入，软件的可信性不断增加。该部分从可信性增长的角度，以测试用例为依托进行评估，具体如下：

符号说明

TC：测试用例(集)代码覆盖度

RB：测试用例(集)实际执行所覆盖的执行覆盖块数

BS：被测软件的执行覆盖块总数

P1，P2，…PM：被测软件经过测试的周期

PE：软件问题当量数

ΔTCi：两个测试周期Pi+1，Pi中用例的代码覆盖度增量

ΔPEi为两个周期软件问题当量数的增量

含义说明

1、执行覆覆盖块

是指被测试软件函数或方法内部的不存在(会引起分支的)控制语句的一组执行语句或分支语句中的一个条件判断。如果一个分支语句的某一分支中没有可执行语句(空分支)，那么该分支下也对应着一个执行覆盖块(空语句)。如语句if(x＞1 or y＜10)then{a＝a+1；b＝a+1；}；它对应着四个执行覆盖块B1：(x＞1)；B2：(y＜10)；B3：(a＝a+1；b＝a+1；)；B4：(空语句)。

2、软件问题当量数

$\mathrm{PE}=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{ci}*\mathrm{Ni}$

其中Ni表示软件问题中严重程度为i级的软件问题的个数。m为软件问题严重程度的分级数，通常为3-5级。ci表示严重程度为i级的软件问题在计算软件问题当量数PE时所占的权重，这些值由测试组织根据自身特点确定。

评估方法

(1)首先定义测试用例对被测产品覆盖程度如下：

TC＝RB/BS            (8)

对一个测试用例集来说，该测试用例集的TC值越大(即，越接近1)，它的可信性就越高。同时，利用测试用例的TC及RB值，还可以度量和评估测试用例的效率和不同测试用例之间的相似度，为设计和评价测试用例提供依据。

(2)在软件测试的迭代过程中，随着软件问题的修复可能注入新的缺陷，因此在测试过程中软件的真实质量状况及可信性是动态变化的。为此，定义可信判断度Ri为：

Ri＝ΔPEi/ΔTCi，i＝1，…，M-1            (9)

序列：R1，R2，…，RM            (10)

如果序列(10)的趋势是下降的，那么说明随着测试的不断进行，单位增量的测试用例所发现的软件问题在减少，软件产品的质量和可信度在提高。

(3)根据序列(10)，得出可信判断度Ri的最大值MaxR以及评估周x(距离开始测试的第x周)的可信判断度Rx。则软件产品的可信指标定义为：

IndexProduct＝(MaxR-Rx)/MaxR            (11)

该指标取值范围为[0，1]，且指标越大，软件产品可信性越高。

步骤四：综合评估软件可信性，如图5所示。

通过前面对产品可信属性的分析，以及管理的有效性和过程的稳定性对产品可信性的影响，以D-S理论为基础，得出最终评估结果，步骤如下：

含义说明

1、可信度等级：

将信度分为五个等级，由低到高。即肯定可信A，很可能可信B，可能可信C，不可能可信D，绝对不可能可信E。

2、等级隶属度：评估指标属于每个等级的信度

3、隶属度函数：计算评估指标对应每个等级信度的函数

评估方法

1、定义对应5个等级的隶属度函数

f1(x)＝exp-(x)²；         (12)

f2(x)＝exp-(x-0.25)^2；    (13)

f3(x)＝exp-(x-0.50)²；    (14)

f4(x)＝exp-(x-0.75)²；    (15)

f5(x)＝exp-(x-1.00)²；    (16)

x取值范围为[0，1]。

2、将步骤一、步骤二和步骤三得出的管理可信IndexManagement，过程可信IndexProcess和软件产品可信IndexProduct分别带入5个隶属度函数。得出度量指标对应可信性五个等级的隶属度。如IndexManagement对应五个等级隶属度(0.3，0.4，0.2，0.1，0)

3、运用D-S合并理论，将管理可信IndexManagement，过程可信IndexProcess和软件产品可信IndexProduct对应的5个等级隶属度进行合并，最终得到软件可信性的评估指标。

下面通过具体的实施例来进一步阐述本发明的内容。

实施例1，项目来源：xxx实际项目

测试方法：黑盒测试和白盒测试，包括85％语句覆盖和分支覆盖。

由于有白盒测试语句与分支覆盖率的要求，因此，认为将两个测试周期的代码覆盖增量ΔTCi替换成两个测试周期的测试用例增量是合理的。

数据：为简单起见，采用两个测试周期的软件问题增量来代替ΔPEi。

表1列出了一些测试数据及软件可信性度评估的数据，相应如图6所示。

表1测试数据

测试周期Pi	测试用例增量	软件问题增量	可信度Ri
				1	299	64	0.21
2	451	82	0.18
				3	165	54	0.33
4	225	50	0.22
				5	250	22	0.09
6	274	15	0.05
				7	182	9	0.05
8	131	33	0.25
				9	148	26	0.18
10	182	9	0.05
				11	347	11	0.03

图6中，Ri在节点8，9比较高的原因是因为软件在测试过程中增加了新的需求，代码变动较大。以上数据显示软件可信性在增加。

根据得出的软件产品的可信度趋势，及上述步骤二和步骤三提到的评估标准，请专家进行评审，得出产品可信性，管理有效性和过程稳定性对应软件可信性五个等级的隶属度分别为：(0.25，0.35，0.2，0.15，0.05)、(0.05，0.15，0.45，0.3，0.05)、(0.1，0.25，0.35，0.15，0.15)根据D-S合并理论，最终软件可信性对应五个等级的隶属度为(0.0237，0.2484，0.5948，0.1272，0.0068)。由此可以看出该软件对应等级C-可能可信的隶属度最高(0.5948)，所以可能可信的可信度比较大，并且属于其他等级的可信度也并不为零，相关人员可以以该结果作为参考，做出进一步的决策。

显而易见，在此描述的本发明内容可以有许多变化，这种变化不能认为偏离本发明的精神和范围。因此，所有对本领域技术人员显而易见的改变，都包括在本权利要求书的涵盖范围之内。

Claims (1)

1、一种面向测试过程的软件可信性度量与评估方法，其特征在于包括：管理可信性度量与评估、过程可信性度量与评估、产品可信性度量与评估和综合评估软件产品的可信性四个步骤：

步骤一：测试管理可信度量与评估，包括评审指标、可追踪指标和管理可信指标的评估：

(1)评审指标

如果测试需求、计划和用例3个部分是经过评审的，则认为该指标提升软件可信度；以Treq表示测试需求，Tplan表示测试计划Tcase表示测试用例，则具体方法如下：如果测试需求经过评审，则Treq＝1；若没有经过评审，则Treq＝0；同样，Tplan和Tcase赋值策略同Treq，最终评估值为：

IsAssessed＝(Treq+Tplan+Tcase)/3    (1)

IsAssessed取值范围为[0，1]，且指标值越大，说明测试过程中的质量保证工作做的越好；

(2)可追踪指标

如果测试需求、测试计划、测试用例、测试活动，测试结果和软件问题6个部分是受管理和可追踪的，则同样认为该指标提升软件可信度，具体方法如下：如果测试需求可追踪，则Treq＝1，否则Treq＝0；同样，Tplan，Tcase，Tactiv，Tresult，Spr赋值策略同Treq，最终评估值为：

IsTraced＝(Treq+Tplan+Tcase+Tactiv+Tresult+Spr)/6    (2)

其中：Treq表示测试需求，Tplan表示测试计划，Tcase表示测试用例，Tactiv表示测试活动，Tresult表示测试结果，Spr表示软件问题，IsTraced取值范围为[0，1]，且指标值越大，说明测试过程中所控制和管理的对象越多、范围越广；

(3)管理可信指标

综合评审指标和可追踪性两个指标，其中MAX{IsAssessed+IsTraced}＝2，定义管理可信评估指标IndexManagement：

IndexManagement＝(IsAssessed+IsTraced)/2    (3)

IndexMagement取值范围为[0，1]，且指标值越大，说明管理越可信；

步骤二：过程可信性度量与评估，该部分从测试过程是否稳定的角度对过程可信性进行度量和评估，具体方法如下：

(1)统计每个工作周期T时间内，测试需求变更次数-CTReq_i，测试计划变更次数-CTplan_i和测试活动变更次数-CTactiv_i，其中i为测试项目的工作周期，一般为周、月等时间单位，i＝1，2…n；

(2)利用统计过程控制图XmR分别绘制三个指标的单点值和移动值域图；

(3)根据判断过程是否稳定的原则，分析三个指标的XmR图，判断三个指标在测试过程中的变化是否处于稳定状态，分别用测试需求变更稳定指标IndexReq、测试计划变更稳定指标IndexPlan及测试活动变更稳定指标IndexActiv来表示，若过程稳定则相应的指标值为1，否则值为0；

(4)最终过程可信评估指标IndexProcess定义如下：

IndexProcess＝(IndexReq+IndexPlan+IndexActiv)/3    (7)

IndexProcess取值范围[0，1]，且指标越大，过程越稳定；

步骤三：软件产品的可信性增长评估，该部分从可信性增长的角度，以测试用例为依托进行评估，具体方法如下：

(1)首先定义测试用例对被测产品覆盖程度TC如下：

TC＝RB/BS    (8)

RB表示测试用例或测试用例集实际执行所覆盖的执行覆盖块数，BS表示被测软件的执行覆盖块总数；

对一个测试用例集来说，该测试用例集的TC值越大，即越接近1，它的可信性就越高；

(2)定义可信判断度Ri为：

Ri＝ΔPEi/ΔTCi，i＝1，…，M-1    (9)

序列：R1，R2，…，RM    (10)

这里，M为测试周期的个数，ΔTCi表示两个测试周期Pi+1，Pi中用例的代码覆盖度增量，PE表示软件问题当量数，ΔPEi为两个周期软件问题当量数的增量，软件问题的当量数定义如下：

$\mathrm{PE}=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{ci}*\mathrm{Ni}$

其中Ni表示软件问题中严重程度为i级的软件问题的个数。m为软件问题严重程度的分级数，通常为3-5级。ci表示严重程度为i级的软件问题在计算软件问题当量数PE时所占的权重；

如果序列(10)的趋势是下降的，说明随着测试的不断进行，单位增量的测试用例所发现的软件问题在减少，软件产品的质量和可信度在提高；

(3)根据序列(10)，得出可信判断度Ri的最大值MaxR以及评估周x，即距离开始测试的第x周的可信判断度Rx，则软件产品的可信指标定义为：

IndexProduct＝(MaxR-Rx)/MaxR    (11)

该指标取值范围为[0，1]，且指标越大，软件产品可信性越高；

步骤四：综合评估软件可信性，步骤如下：

(1)定义对应5个等级的隶属度函数

f1(x)＝exp-(x)²；         (12)

f2(x)＝exp-(x-0.25)²；    (13)

f3(x)＝exp-(x-0.50)²；    (14)

f4(x)＝exp-(x-0.75)²；    (15)

f5(x)＝exp-(x-1.00)²；    (16)

x取值范围为[0，1]；

(2)将步骤一、步骤二和步骤三得出的管理可信IndexManagement，过程可信IndexProcess和软件产品可信IndexProduct指标分别带入5个隶属度函数得出度量指标对应可信性五个等级的隶属度；

(3)运用D-S合并理论，将管理可信IndexManagement，过程可信IndexProcess和软件产品可信IndexProduct对应的5个等级隶属度进行合并，最终得到软件可信性的评估指标。

Images