CN103530229B - 一种考虑测试效用的软件可靠性检测方法 - Google Patents

Abstract

本发明属于软件可靠性研究领域，特别是考虑测试资源消耗对软件可靠性的影响的一种考虑测试效用的软件可靠性检测方法。本发明包括：采集预期消耗的总测试效用，曲线类型参数，测试效用；采集并计算软件故障总数，故障检测率；计算每单位测试效用的故障检测率；初始时刻软件可靠性：本发明提出的考虑测试效用的软件可靠性检测方法能表示Concave型和S‑shaped型两种不同类型失效数据，使拟合和预测能力得到极大提高。

Description

一种考虑测试效用的软件可靠性检测方法

技术领域

本发明属于软件可靠性研究领域，特别是考虑测试资源消耗对软件可靠性的影响的一种考虑测试效用的软件可靠性检测方法。

背景技术

随着软件应用领域的扩展和功能要求的提高，软件系统规模日益增大，计算机系统中由软件实现的功能所占的比例迅速增加，软件的可靠性成为人们关注的焦点之一。如何准确的度量和预测软件系统的可靠性是当前软件可靠性研究领域的一个热点。软件可靠性增长模型是评估和预测软件可靠性的主要方法，是开展相关研究的核心和关键。

测试效用是一种重要的测试过程因素,是指在测试过程中所消耗的资源,可用人力、执行的测试用例、CPU时间等信息来度量。测试效用是影响软件可靠性重要因素，测试效用随测试时间的变化情况对软件可靠性增长曲线的形状具有显著影响。测试效用函数（test effortfunction，以下简称TEF）描述了测试效用随测试时间变化的情况，一般用W(t)表示。测试效用函数不仅可以描述测试所消耗资源随时间的变化，同时也是建立考虑测试效用的软件可靠性增长模型的前提和基础。如何建立准确的测试效用函数已成为软件可靠性领域的研究热点之一。

软件失效数据通常分为Concave型和S-shaped型两类。同样，目前已有的测试效用函数曲线也分为Concave型和S-shaped型，如图1所示。文献：Yamada S在1993年发表的《Softwarereliability growth model with Weibull testing effort:a model and application》提出了应当在建立软件可靠性增长模型的过程中考虑测试资源的影响，并给出了三种经典的Concave型的测试效用函数：Exponential TEF、Rayleigh TEF、Weibull TEF。这些测试效用函数具有形式灵活的优点，但无法很好地描述S-shaped型的软件失效数据。Huang C Y和Kuo S Y在2002年发表的《Analysis and assessment of incorporating logistic testingeffort function into software reliability modeling》中认为测试效用随时间的增长速率是先增后减的S-shaped型增长趋势，提出了Logistic TEF，但该测试效用函数对应的初始测试效用值不为0,这一结论与经验值不相符。李秋英、李海峰等在2010年发表的《基于S型测试工作量函数的软件可靠性增长模型》将两种经典的S-shaped函数用于描述测试效用，提出了两种测试效用函数：Delayed S-shaped TEF和Inflection S-shaped TEF。基于这两种测试效用函数的软件可靠性增长模型在拟合S-shaped型的软件失效数据方面表现良好，但在拟合Concave型软件失效数据时，表现一般。

表1是对现有的测试效用函数的总结，从表中可以看出现有的测试效用函数形式多种多样，研究人员需要在大量的函数中选择一个合适的函数来进行描述测试资源的消耗。为了得到一个通用的测试效用函数，需要提出一种能够表示Concave型和S-shaped型两种不同类型的测试效用函数。

表1测试效用函数的总结

发明内容

本发明的目的在于提出一种考虑软件测试过程中测试资源消耗对软件可靠性影响的软件可靠性检测方法。

本发明的目的是这样实现的：

（1）采集预期消耗的总测试效用N，曲线类型参数A，当A＝0时，为S-shaped测试效用函数；当A≠0时，为Concave测试效用函数；比例参数h，h＞0，曲线形状参数m、θ，m＞0，θ＞0，

测试效用 $W\left(t\right)=N\×\frac{{(1-e^{{-\mathrm{ht}}^m})}^{\mathrm{\θ}}}{1+{\mathrm{Ae}}^{{-\mathrm{ht}}^m}};$

（2）采集并计算软件故障总数a，故障检测率b(t)，b(t)为时间间隔t到t+Δt内期望的故障发生数，与t时刻剩余的故障数的比值，m(t)为均值函数，用于表示故障数的期望值；

（3）计算每单位测试效用的故障检测率r，b(t)＝r×w(t)，w(t)为当前时刻的测试效用；

（4）初始时刻m(0)＝0，W^*(t)＝W(t)-W(0)，W(0)＝0，W(t)＝t软件可靠性： $m\left(t\right)=a(1-e^{-r\×N\×\frac{{(1-e^{-h{t}^m})}^{\mathrm{\θ}}}{1+{\mathrm{Ae}}^{{-\mathrm{ht}}^m}}}).$

本发明的有益效果在于：本发明提出的考虑测试效用的软件可靠性检测方法能表示Concave型和S-shaped型两种不同类型失效数据，使拟合和预测能力得到极大提高。

说明书附图

图1是测试效用函数曲线；

图2是本发明的方法流程图；

图3是各个测试效用函数的拟合曲线；

图4是各个模型的拟合曲线和95%的置信区间示意图；

图5是各个模型预测能力的评估曲线。

具体实施方式

下面结合附图对本发明做进一步描述：

本发明考虑软件测试过程中测试资源消耗对软件可靠性的影响，针对现有的测试效用函数无法表示Concave和S-shaped两种不同类型失效数据的情况，提出一种新的考虑测试效用的软件可靠性检测方法。

本发明提出一种新的考虑测试效用的软件可靠性检测方法，具体有以下步骤：

步骤一、定义新的测试效用函数。

定义新的测试效用函数，形式为：其中，N，A，h，m，θ为待定系数。

步骤二、估计新的测试效用函数参数。

使用新的测试效用函数拟合失效数据中的测试效用，并采用最小二乘法估计新的测试效用函数的参数。

步骤三、构建一种新的考虑测试效用的软件可靠性检测。

具体为：包含以下几个步骤：

步骤一、定义新的测试效用函数。

定义新的测试效用函数，形式为：其中，N，A，h，m，θ为待定系数，其具体的物理意义如下：

1）N表示预期消耗的总的测试效用，N＞0。

2）A为曲线类型参数，当参数A＝0时，表示S-shaped测试效用函数；当参数A≠0时，表示Concave测试效用函数。

3）h表示比例参数，其值的大小决定了曲线斜率，h＞0。

4）m、θ为曲线形状参数，其值的大小决定了峰值位置，m＞0，θ＞0。

步骤二、估计新的测试效用函数参数。

使用新的测试效用函数拟合失效数据中的测试效用，并采用最小二乘法估计新的测试效用函数的参数。

步骤三、构建一种新的考虑测试效用的软件可靠性检测方法。

模型的构建基于以下基本假设：

1）软件失效遵循NHPP过程；

2）软件中每个故障是相互独立的，每个错误导致系统发生失效的可能性也相同；

3）故障一旦被发现，立即被修正，且软件排错过程不引入新的故障；

4）任意时间间隔t到t+Δt内期望的故障发生数，与t时刻剩余的故障数成比例，且比值为故障检测率函数b(t)。

5）故障检测率函数b(t)与当前的时刻的测试效用w(t)成比例，且比值为每单位测试效用的故障检测率r。

由假设1～4得：

$\frac{\mathrm{dm}\left(t\right)}{\mathrm{dt}}=b\left(t\right)[a-m\left(t\right)]---\left(1\right)$

由假设5得：

b(t)＝r×w(t) （2）

将公式（2）代入公式（1）得到：

$\frac{\mathrm{dm}\left(t\right)}{\mathrm{dt}}\frac{1}{w\left(t\right)}=r[a-m\left(t\right)]---\left(3\right)$

其中，r为每单位测试效用的故障检测率，a是软件故障总数。

初始条件：

m(0)＝0 （4）

利用初始条件，由公式(9)得：

$m\left(t\right)=a(1-e^{{-\mathrm{rW}}^{*}\left(t\right)})---\left(5\right)$

其中，W^*(t)＝W(t)-W(0)。

当W(0)＝0时得：

m(t)＝a(1-e^-rW(t)) （6）

当W(t)＝t时，该模型即为G-O模型。将新的测试效用函数代入上式，得到基于EIS TEF的软件可靠性模型：

$m\left(t\right)=a(1-e^{-r\×N\×\frac{{(1-e^{{-\mathrm{ht}}^m})}^{\mathrm{\θ}}}{1+{\mathrm{Ae}}^{{-\mathrm{ht}}^m}}})---\left(7\right)$

本发明的一种新的考虑测试效用的软件可靠性检测方法的具体如图2所示，包含以下步骤：

步骤一、定义新的测试效用函数。

新的测试效用函数应满足下列要求：

（1）W(0)＝0

软件开始测试前，已用人力、执行的测试用例、CPU时间等测试资源的消耗均为0，因此，W(0)＝0。

（2）w(t)＝W′(t)≥0

由于测试资源的消耗是一个递增的过程，则W(t)是一个递增的函数，即w(t)＝W′(t)≥0。

（3）W(t)能同时描述Concave和S-shaped的失效数据

因此，在Inflection S-shaped TEF基础上提出形式与该测试效用函数相似，但更加灵活的增强变形S型测试效用函数（Enhance Inflection S-shaped TEF，以下简称EIS TEF）：

$W\left(t\right)=N\×\frac{{(1-e^{{-\mathrm{ht}}^m})}^{\mathrm{\θ}}}{1+{\mathrm{Ae}}^{{-\mathrm{ht}}^m}}---\left(1\right)$

增长速率为：

$w\left(t\right)=W^{\′}\left(t\right)={\mathrm{Nhmt}}^{m-1}{e}^{{-\mathrm{ht}}^m}\frac{\mathrm{\θ}{(1-e^{{-\mathrm{ht}}^m})}^{\mathrm{\θ}-1}(1+{\mathrm{Ae}}^{{-\mathrm{ht}}^m})+A{(1-e^{{-\mathrm{ht}}^m})}^{\mathrm{\θ}}}{{(1+{\mathrm{Ae}}^{{-\mathrm{ht}}^m})}^2}---\left(2\right)$

其中，N，A，h，m，θ为待定系数，其具体的物理意义如下：

（1）N表示预期消耗的总的测试效用，N＞0。

（2）A为曲线类型参数，当参数A＝0时，表示S-shaped测试效用函数；当参数A≠0时，表示Concave测试效用函数。

（3）h表示比例参数，其值的大小决定了曲线斜率，h＞0。

（4）m、θ为曲线形状参数，其值的大小决定了峰值位置，m＞0，θ＞0。

当t＝0时,初始测试效用W(0)＝0，满足条件（1）；因为系数N，A，h，m，θ均大于0，w(t)＝W′(t)≥0，满足条件（2）；当参数A取不同值时，可表示不同类型的测试效用，满足条件（3）。当系数N，A，h，m，θ取合适的值时，能变形为许多典型的测试效用函数。例如：

当m＝1,θ＝1,A＝0时，该测试效用函数即为Exponential TEF；

当m＝2,θ＝1,A＝0时，该测试效用函数即为Rayleigh TEF；

当θ＝1,A＝0时，该测试效用函数即为Weibull TEF；

当m＝2,A＝0时，该测试效用函数即为Burr type X TEF；

当A＝0时，该测试效用函数即为Exponential Weibull TEF；

当m＝1,A＝0时，该测试效用函数即为Generalized Exponential TEF；

当m＝1,θ＝0时，该测试效用函数即为Logistic TEF；

当m＝1时，该测试效用函数即为Inflection S-shaped TEF。

步骤二、估计新的测试效用函数参数。

使用新的测试效用函数拟合失效数据中的测试效用，并采用最小二乘法估计新的测试效用函数的参数。

已有的软件系统失效数据见表2所示，（参考文献：M.Ohba表的《Software reliabilityanalysis models》）。表中列出了19周（Week）发现的累积故障数目（Cumulative Failures）和消耗的测试效用（用CPU时间度量）。

表2系统失效数据

采用最小二乘法估计测试效用函数的参数，采用下列四个指标度量测试效用函数的拟合能力。

1)误差：

PE_i＝Actual_i-Estimated_i （3）

2)偏差：

$\mathrm{Bias}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{{\mathrm{PE}}_i}{n}---\left(4\right)$

3)变异系数：

$\mathrm{Variation}=\sqrt{\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{({\mathrm{PE}}_i-\mathrm{Bias})}^2}{n-1}}---\left(5\right)$

4)相对误差量：

$\mathrm{MRE}=\left|\frac{M_{\mathrm{estimated}}-M_{\mathrm{actual}}}{M_{\mathrm{actual}}}\right|---\left(6\right)$

其中，Actual_i和Estimated_i分别表示在t_i时刻，实际测试效用值和测试效用函数的估算值。n为样本数目，M_estimated测试效用函数估算值的均值，M_actual为实际测试效用的均值。PE_i，Bias，Variation，MRE越小，测试效用函数拟合效果越好。

通过最小二乘法确定函数的参数值见表3。图3给出了各个测试效用函数的拟合仿真曲线，仿真结果显示EIS TEF拟合效果优于其他测试效用函数。表4列出EIS TEF与其他对比测试效用函数的四个比较标准：PE_i，Bias，Variation，MRE。从该表可得拟合效果较好前3个函数依次为：EIS TEF、Inflection S-shaped TEF、logistic TEF。EIS TEF的4项标准值均是最小，说明本发明提出的EIS TEF表现良好。

表3各个测试效用函数的估计参数

表4各个测试效用函数的拟合结果

步骤三、构建一种新的考虑测试效用的软件可靠性检测方法。

模型的构建基于以下基本假设：

1）软件失效遵循NHPP过程；

2）软件中每个故障是相互独立的，每个错误导致系统发生失效的可能性也相同；

3）故障一旦被发现，立即被修正，且软件排错过程不引入新的故障；

4）任意时间间隔t到t+Δt内期望的故障发生数，与t时刻剩余的故障数成比例，且比值为故障检测率函数b(t)。

5）故障检测率函数b(t)与当前的时刻的测试效用w(t)成比例，且比值为每单位测试效用的故障检测率r。

由假设1～4得：

$\frac{\mathrm{dm}\left(t\right)}{\mathrm{dt}}=b\left(t\right)[a-m\left(t\right)]---\left(7\right)$

由假设5得：

b(t)＝r×w(t) （8）

将公式（8）代入公式（7）得到：

$\frac{\mathrm{dm}\left(t\right)}{\mathrm{dt}}\frac{1}{w\left(t\right)}=r[a-m\left(t\right)]---\left(9\right)$

其中，r为每单位测试效用的故障检测率，a是软件故障总数。

初始条件：

m(0)＝0 （10）

利用初始条件，由公式(9)得：

$m\left(t\right)=a(1-e^{{-\mathrm{rW}}^{*}\left(t\right)})---\left(11\right)$

其中，W^*(t)＝W(t)-W(0)。

当W(0)＝0时得：

m(t)＝a(1-e^-rW(t)) （12）

当W(t)＝t时，该模型即为G-O模型。将新的测试效用函数代入上式，得到基于EIS TEF的软件可靠性模型（以下简称SRGM with EIS TEF）：

$m\left(t\right)=a(1-e^{-r\×N\×\frac{{(1-e^{{-\mathrm{ht}}^m})}^{\mathrm{\θ}}}{1+{\mathrm{Ae}}^{{-\mathrm{ht}}^m}}})---\left(13\right)$

下通过实验来比较研究本发明提出的SRGM with EIS TEF和其他典型模型的拟合和预测能力。选取5个软件可靠性增长模型作为对比模型，其中前3个是经常用于软件可靠性建模验证研究的经典模型：G-O Model、Delayed S-shaped SRGM和Inflection S-shaped SRGM；后2个选择在步骤二中对各数据集的测试效用中拟合效果较好的测试效用函数Logistic TEF和Inflection S-shaped TEF，代入公式(19)作为考虑测试效用的软件可靠性检测方法类的对比模型。采用最小二乘法估计模型的参数值，并选择误差平方和SSE和回归指数R-square作为软件可靠性检测方法拟合能力的评价标准，使用RE（Relative Error）用来计算模型的预测能力。

误差平方和（SumofSquareError，SSE）：

其中，n表示失效数据集中失效样本的数目；i＝1,2,3...,n，m(t_i)表示到t_i时刻为止失效累积数的估算值，y_i表示到t_i时刻为止失效累积数的实测值。SSE的值越小，曲线拟合的误差越小。

回归曲线方程的相关指数（R-square）被定义为：

$R-\mathrm{spuare}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(m\left(t_i\right)-\stackrel{-}{y})}^2}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(y_i-\stackrel{-}{y})}^2}---\left(15\right)$

其中，n表示失效数据集中失效样本的数目；i＝1,2,3...,n，m(t_i)表示到t_i时刻为止失效累积数的估算值，y_i表示到t_i时刻为止失效累积数的实测值。

$\stackrel{-}{y}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i---\left(16\right)$

R-square的值越接近于1，表示模型的拟合效果越佳。

相对误差RE(RealativeError,RE)被定义为：

$\mathrm{RE}=\frac{m\left(t_i\right)-y_i}{y_i}---\left(17\right)$

其中，n表示失效数据集中失效样本的数目；i＝1,2,3...,n，m(t_i)表示到t_i时刻为止失效累积数的估算值，y_i表示到t_i时刻为止失效累积数的实测值。

各模型的参数估计值和模型拟合能力见表。通过该表可得，拟合结果前3的模型依次是SRGM with EIS TEF、SRGM with Logistic TEF、SRGM with Inflection S-shaped TEF，其中SRGM with EIS TEF的拟合结果最优（SSE最小，R-square最接近于1）。

表5各个模型的估计参数估计值和拟合能力

各个模型的拟合曲线和95%的置信区间，如图4所示。置信区间通常表示值以一定的置信度落在制定区间。对于非齐次泊松类模型，均值函数100×(1-α/2)%的置信区间的计算方法如下：

$\mathrm{Upperbound}=m\left(t\right)+k_{1-\mathrm{\α}/2}\sqrt{m\left(t\right)}---\left(18\right)$

$\mathrm{Lowerbound}=m\left(t\right)-k_{1-\mathrm{\α}/2}\sqrt{m\left(t\right)}---\left(19\right)$

其中，k_1-α/2是100×(1-α/2)%标准正态分布值。通过查表可得，当置信区间为95%时，k_1-α/2的值为1.96。

观察图4，SRGM with EIS TEF在整个软件测试过程的拟合效果最好，实际数据完全模型拟合数据的置信区间内；而其他模型拟合效果不太理想，如在11周后大部分的对比模型的预期累计失效数都小于实际值，出现乐观估计。

各个模型的预测能力评估曲线如图5所示。SRGM with EIS TEF的RE值从第2周开始都在0.02内，且在第8周后，已经几乎接近于0，是所有模型中最快趋近于0的；相对来说，其他模型虽都有收敛到0的趋势，但收敛速度较慢。说明了，SRGM with EIS TEF的预测能力相比于其他模型具有明显的优势。

综上所述，本发明提出的一种新的考虑测试效用的软件可靠性检测方法的拟合和预测能力均优于现有模型。

Claims (1)

1.一种考虑测试效用的软件可靠性检测方法，其特征在于：

(1)采集预期消耗的总测试效用N，曲线类型参数A，当A＝0时，为S-shaped测试效用函数；当A≠0时，为Concave测试效用函数；比例参数h，h＞0，曲线形状参数m、θ，m＞0，θ＞0，

测试效用

增长速率为：

$w\left(t\right)=W^{\′}\left(t\right)={\mathrm{Nhmt}}^{m-1}{e}^{-{\mathrm{ht}}^m}\frac{\mathrm{\θ}{(1-e^{-{\mathrm{ht}}^m})}^{\mathrm{\θ}-1}(1+{\mathrm{Ae}}^{-{\mathrm{ht}}^m})+A{(1-e^{-{\mathrm{ht}}^m})}^{\mathrm{\θ}}}{{(1+{\mathrm{Ae}}^{-{\mathrm{ht}}^m})}^2}$

其中，N，A，h，m，θ为待定系数，具体的物理意义如下：

N表示预期消耗的总的测试效用，N＞0；

A为曲线类型参数，当参数A＝0时，表示S-shaped测试效用函数；当参数A≠0时，表示Concave测试效用函数；

h表示比例参数，h＞0；

m、θ为曲线形状参数，m＞0，θ＞0；

(2)采集并计算软件故障总数a，故障检测率b(t)，b(t)为时间间隔t到t+Δt内期望的故障发生数，与t时刻剩余的故障数的比值，m(t)为均值函数，用于表示故障数的期望值；

(3)计算每单位测试效用的故障检测率r，b(t)＝r×w(t)，w(t)为当前时刻的测试效用；

采用下列四个指标度量测试效用函数的拟合能力：

误差：

PE_i＝Actual_i-Estimated_i

偏差：

$Bias=\underset{i=1}{\overset{n}{\Σ}}\frac{{\mathrm{PE}}_i}{n}$

变异系数：

$Variation=\sqrt{\frac{\underset{i=1}{\overset{n}{\Σ}}{({\mathrm{PE}}_i-Bias)}^2}{n-1}}$

相对误差量：

$MRE=\left|\frac{M_{estimated}-M_{actual}}{M_{actual}}\right|$

其中，Actual_i和Estimated_i分别表示在t_i时刻，实际测试效用值和测试效用函数的估算值；n为样本数目，M_estimated测试效用函数估算值的均值，M_actual为实际测试效用的均值；

(4)初始时刻：m(0)＝0，W^*(t)＝W(t)-W(0)，W(0)＝0，W(t)＝t构建软件可靠性增长模型：

使用RE计算模型的预测能力，

误差平方和：

$SSE=\underset{i=1}{\overset{n}{\Σ}}{(y_i-m(t_i\left)\right)}^2$

其中，n表示失效数据集中失效样本的数目；i＝1,2,3…,n，m(t_i)表示到t_i时刻为止失效累积数的估算值，y_i表示到t_i时刻为止失效累积数的实测值；

回归曲线方程的相关指数为：

$R-square=\frac{\underset{i=1}{\overset{n}{\Σ}}{\left(m\right(t_i)-\stackrel{\‾}{y})}^2}{\underset{i=1}{\overset{n}{\Σ}}{(y_i-\stackrel{\‾}{y})}^2}$

其中，n表示失效数据集中失效样本的数目；i＝1,2,3…,n，m(t_i)表示到ti时刻为止失效累积数的估算值，y_i表示到t_i时刻为止失效累积数的实测值；

$\stackrel{\‾}{y}=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{y}_i$

相对误差为：

$RE=\frac{m\left(t_i\right)-y_i}{y_i}$

其中，n表示失效数据集中失效样本的数目；i＝1,2,3…,n，m(t_i)表示到t_i时刻为止失效累积数的估算值，y_i表示到t_i时刻为止失效累积数的实测值。