CN109857582B - 一种基于排错过程引进故障的开源软件可靠性建模方法 - Google Patents

Abstract

本发明属于开源软件可靠性模型技术领域，具体涉及一种基于排错过程引进故障的开源软件可靠性建模方法。本发明基于排错过程引进故障的开源软件可靠性建模方法，包括以下步骤：(1)提出模型假设；(2)建立微分方程；(3)建立开源软件故障检测可靠性模型的。本申请在充分考虑实际的开源软件故障检测和故障去除之间存在时间延迟的基础上，并且考虑去除故障时可能引进故障的情况来建立相应的开源软件可靠性模型。由于考虑了在开源软件故障去除时，可能引进故障的情况，因此，建立地开源软件可靠性模型更符合实际的故障检测和故障去除变化的过程，建立地开源软件可靠性模型的假设更加的合理和可信。

Description

一种基于排错过程引进故障的开源软件可靠性建模方法

技术领域

本发明属于开源软件可靠性模型技术领域，具体涉及一种基于排错过程引进故障的开源软件可靠性建模方法。

背景技术

在现代信息社会中，软件的应用越来越广泛。不仅软件的编码规模和功能越来越大，而且其开发方式也发生了很大的变化。例如，近年来流行的开源软件开发方法。开源软件的发展不同于传统的闭源软件开发。Raymond把开源软件的开发模式称为Bazaar(集市)，把传统的闭源软件开发称为Cathedral(大教堂)。此外，开源软件的测试由开发人员、社区志愿者和用户完成。由于开源软件开发具有开放性和动态性特点，它的可靠性受到了广泛质疑。

一般来说，我们可以使用软件可靠性增长模型来评估软件可靠性和预测软件中剩余故障的数量。在开源软件可靠性建模方面，Tamura和Yamada提出一种基于随机微分方程的软件可靠性模型，但只考虑故障检测过程。Zou和Davis用几种传统的经典闭源软件可靠性模型对开源软件进行可靠性评估。实验结果表明，传统的闭源软件可靠性模型可以用来评估开源软件的可靠性。特别是，基于威布尔分布的软件可靠性模型在评估开源软件可靠性方面具有更好的拟合和预测性能。Li等人考虑开源软件开发过程中志愿者的兴趣随测试时间的变化情况，提出一种基于故障检测率随测试时间有先增后减变化的开源软件可靠性模型。

一般来说，开源软件的开发环境要比闭源软件复杂得多。开源软件的开发和测试相关人员比闭源软件更具多样性。开源软件的管理比闭源软件更松散。开源软件的开发过程比闭源软件更具动态性。因此，使用闭源软件可靠性模型来评估开源软件的可靠性，这与实际的软件测试环境是不完全一致的。虽然一些开源软件的可靠性模型已经建立，可以用来评估开源软件在某些软件测试情况下的可靠性，但大多数都是基于故障检测建立的，没有考虑故障排错和故障检测之间的时间延迟情况。而实际上在开源软件测试过程中，存在着故障检测和排错之间的时间延迟现象。例如，在Apache开源软件项目中，检测到的错误将被标记为创建、更新和解决时间等。检测到的故障状态可以开放、重新开放、解决和关闭等。因此，很明显看到开源软件中检测故障与排错故障之间存在时间延迟问题。另外，由于故障已被标记为已解决或已关闭，可以在以后重新被开放，说明在排除该故障时，原故障没有被完全消除或引入新故障。因此，在开源软件测试过程中，在建立开源软件可靠性模型时，还需要全面考虑故障引入现象。

最近，Liu等人提出了一种基于马尔可夫的软件可靠性评估方法，并采用加权最小二乘估计方法对模型参数进行估计。Liu等人认为故障检测和排错过程之间的时间延迟是服从指数或威布尔分布的随机变量，并提出了相应的软件可靠性模型。他们还建立了多版本软件可靠性模型，并使用开源软件故障数据集来验证相关模型的性能。此外，Yang等人假设故障检测和排错过程之间的时间延迟服从伽马(Gamma)分布，并建立了多版本软件可靠性模型。他们还使用了两个开源软件故障数据集来验证模型的性能。由于开源软件的开发和测试环境的复杂性，建立开源软件的可靠性模型是非常困难的。Ullah等人提出了一种优化选择模型的方法，并对已建立的软件可靠性模型进行优化选择。最终选择出最优的模型来进行开源软件可靠性评估。虽然已建立地开源软件可靠性模型考虑了故障检测和故障排错之间存在延迟的问题，但在实际的开源软件开发和测试过程中，由于没有考虑故障去除过程可能引进故障的情况，因此，用于建立地时间延迟的开源软件可靠性模型的假设并不符合实际的开源软件去除故障的情况，它们假设的合理性受到质疑。

发明内容

本发明针对现有技术中开源软件可靠性的问题，提供一种基于排错过程引进故障的开源软件可靠性建模方法。

本发明是解决上述问题而采取的技术方案为：

一种基于排错过程引进故障的开源软件可靠性建模方法，其特征是包括以下步骤：

(1)提出模型假设：

开源软件故障检测过程与故障排错过程服从非齐次泊松过程；

瞬时检测到故障的数量与开源软件中剩余故障的数量成正比；

瞬时修正后的故障数量与开源软件检测到的故障但未去除的故障数量成正比；

检测出的故障不会立即被去除，在排错时可能以概率α引入新的故障；

(2)在步骤(1)假设的基础上建立微分方程如下：

公式中m_d(t)表示：期望故障检测的数量函数，t表示时间，b(t)表示故障检测率函数，a(t)表示故障内容总个数函数，m_c(t)表示：期望排错数量的函数，c(t)表示排错故障率，α表示故障引进率；

已知条件a(0)＝a,方程(8)可以得出下式，

a(t)＝a(1+αm(t)) (9)

公式中m(t)表示期望检测出故障数量函数，

当b(t)＝b，把等式(9)代入等式(6)，得出以下方程式式，

公式中a表示期望软件中最初存在故障的数量，b表示故障检测率，

当c(t)＝c，把等式(9)代入等式(7)，我们可以得出下式，

公式中c表示故障排错修正率，

因此，故障检测和不完美排错过程的均值函数如下所示，

(3)开源软件故障检测可靠性模型的建立：

将公式(9)代入公式(6)，得到下述方程

将方程(13)上式两边积分如下：

∫d(ln(a-(1-α)m_d(t)))＝-(1-α)∫bdt

ln(a-(1-α)m_d(t))＝∫-(1-α)bdt

a-(1-α)m_d(t)＝C₁exp(-(1-α)bt)

其中c₁为常量，当t＝0，md(0)＝0，因此,开源软件故障检测可靠性模型为：

(4)开源软件故障排错可靠性模型的建立：

设

那么公式(7)可以改写成以下形式：

exp(c(t))dm_c(t)+exp(c(t))c(t)m_c(t)dt＝exp(c(t))c(t)m_d(t)dt

两边积分得，

把公式(9)代入公式(16)，

其中公式中c(t)表示排错故障概率。

本发明采用上述技术方案，首先提出了考虑故障排错和故障引入的开源软件可靠性模型，并将故障检测与排错之间的时间延迟和故障引入现象作为建立开源软件可靠性模型的两个重要因素，在开源软件的实际开发过程中，提出的模型可以被用来评估开源软件的可靠性。因此，本申请在充分考虑实际的开源软件故障检测和故障去除之间存在时间延迟的基础上，并且考虑去除故障时可能引进故障的情况来建立相应的开源软件可靠性模型。由于考虑了在开源软件故障去除时，可能引进故障的情况，因此，建立地开源软件可靠性模型更符合实际的故障检测和故障去除变化的过程，建立地开源软件可靠性模型的假设更加的合理和可信。

附图说明

图1是本发明实施例估计累计检测和排错故障数量与实际观察到的故障检测和排错的数量进行比较情况，(a)、(b)和(c)分别表示提出模型用开源软件项目Firefox 3.0、3.5和3.6时故障检测和故障排错的拟合情况，d)、(e)、(f)和(g)分别表示提出模型用开源软件项目；

图2是本发明模型用开源软件项目Firefox作为故障数据集情况下的故障检测和排错过程的相对误差比较图；

图3是本发明模型用开源软件项目Gnome2 Control-center作为故障数据集情况下的故障检测和排错过程的相对误差比较图；

图4是本发明故障排错模型的参数敏感性分析，(a)、(b)、(c)和(d)分别表示用开源软件项目Firefox 3.0时提出的故障排错模型的参数a、α、b和c的敏感性分析图。

具体实施方式

实施例1

一种基于排错过程引进故障的开源软件可靠性建模方法，包括以下步骤：

(1)提出模型假设：

开源软件故障检测过程与故障排错过程服从非齐次泊松过程；

瞬时检测到故障的数量与开源软件中剩余故障的数量成正比；

瞬时修正后的故障数量与开源软件检测到的故障但未去除的故障数量成正比；

检测出的故障不会立即被去除，在排错时可能以概率α引入新的故障；

(2)在步骤(1)假设的基础上建立微分方程如下：

公式中m_d(t)表示：期望故障检测的数量函数，t表示时间，b(t)表示故障检测率函数，a(t)表示故障内容总个数函数，m_c(t)表示：期望排错数量的函数，c(t)表示排错故障率，α表示故障引进率；

已知条件a(0)＝a,方程(8)可以得出下式，

a(t)＝a(1+αm(t)) (9)

公式中m(t)表示期望检测出故障数量函数，

当b(t)＝b，把等式(9)代入等式(6)，得出以下方程式式，

公式中a表示期望软件中最初存在故障的数量，b表示故障检测率，

当c(t)＝c，把等式(9)代入等式(7)，我们可以得出下式，

公式中c表示故障排错修正率，

因此，故障检测和不完美排错过程的均值函数如下所示，

(3)开源软件故障检测可靠性模型的建立：

将公式(9)代入公式(6)，得到下述方程

将方程(13)上式两边积分如下：

∫d(ln(a-(1-α)m_d(t)))＝-(1-α)∫bdt

ln(a-(1-α)m_d(t))＝∫-(1-α)bdt

a-(1-α)m_d(t)＝C₁exp(-(1-α)bt)

其中c₁为常量，当t＝0，md(0)＝0，因此,开源软件故障检测可靠性模型为：

(4)开源软件故障排错可靠性模型的建立：

设

那么公式(7)可以改写成以下形式：

exp(c(t))dm_c(t)+exp(c(t))c(t)m_c(t)dt＝exp(c(t))c(t)m_d(t)dt

两边积分得，

把公式(9)代入公式(16)，

其中公式中c(t)表示排错故障概率。

为进一步表明本发明方案的效果，本发明作了如下验证：

1、模型拟合和预测性能比较

本发明使用了两个开源软件的故障数据集来估计本文所用的模型的参数。此外，本发明还使用了四个模型比较标准来评估模型的拟合性能，即，MSE_d、MSE_c、

和

还用了两个模型的比较标准来评估模型的预测性能，即，RE_d和RE_c。对提出的模型还进行了相应的参数敏感性分析。

1.1开源软件故障数据集

本发明所使用的两个开源软件故障数据集来自文献Yang Jianfeng,Liu Yu.XieMin,et al.Modeling and analysis of reliability of multi-release open sourcesoftware incorporating both fault detection and correction processes[J].Journal of Systems&Software.2016(115):102-110。它们是从在线bug跟踪系统Bugzilla中Mozilla(https://bugzilla.mozilla.org/)和GNOME(https://bugzilla.gnome.org/)两个开源软件项目收集和重新整理得到的。故障数据集之一是Firefox 3.0、3.5和3.6，它们是三个连续版本，并且从Appendix列表中收集得到。另一个故障数据集是来自GNOME开源软件项目，包括四个连续的版本，它们也是从Appendix列表中收集得到的。例如，2.0x，2.1x，2.2x和2.3x。本文使用的故障数据集更详细信息，请参阅文献Yang Jianfeng,Liu Yu.Xie Min,et al.Modeling and analysis of reliability ofmulti-release open source software incorporating both fault detection andcorrection processes[J].Journal of Systems&Software.2016(115):102-110。

1.2模型比较标准

1)模型的拟合性能比较标准(Goodness-of-fit criteria)

其中，MSE_d和MSE_c分别表示故障检测和故障排错过程中的均值平方误差。越小的MSE_d和MSE_c值，表示模型拟合性能越好。

其中，

和

被用来评测故障检测和故障排错过程中模型的拟合性能。

和

的值越接近于1，模型的拟合性能越好。

2)模型的预测性能比较标准，

3)

RE_d和RE_c分别表示故障检测和故障排错的相对误差(the relative errors，RE)。相对误差是一步预测(one-step prediction)，用于测量模型的预测性能。公式(24)和(25)分别表示在故障检测和故障排错过程中，到t_i时刻为止检测或去除故障数据来估计模型的参数值，并计算t_i+1时刻故障检测和故障排错的数量。RE_d和RE_c越接近于零，表示模型的预测性能越好。当RE_d和RE_c大于零时，表示高估了软件中故障检测和故障去除的数量。否则，当RE_d和RE_c小于零时，表示低估了软件中故障检测和故障去除的数量。

1.3模型性能比较和分析

1.3.1模型拟合性能比较(Goodness-of-Fit)

从表1，我们可以看到，在开源软件项目Firefox 3.0、3.5和3.6中提出模型的MSE_d逐渐减少。这表明提出模型的故障检测拟合性越来越好。但是，提出模型的MSE_c却在开源软件项目Firefox 3.0、3.5和3.6中首先是下降，然后是增长的趋势。这一结果指出故障排错过程是一个复杂的过程，受到许多主观因素的影响，即调试者调试能力、调试技巧和调试心理变化等。因此，故障排错过程比故障检测过程有更大的波动性。此外，提出模型的

和

与MSEd和MSEc在模型的拟合变化上具有相同的变化趋势。

表1.用100％的开源故障数据集(F_IRFOX)对提出模型的拟合性能进行比较

表2.用100％的开源故障数据集(Gnome2)对提出模型的拟合性能进行比较

从表2可以看到，提出模型的MSE_d在开源软件项目Gnome2 Control-center 2.0x、2.1x、2.2x和2.3中逐渐降低。提出模型的MSE_c在开源软件项目Gnome2 Control-center2.0x、2.1x、2.2x和2.3中也是逐渐减少。另外，提出模型的

基本上是逐渐增加的。而且，提出模型的

在开源软件项目Gnome2Control-center 2.0x、2.1x、2.2x到2.3却是首先减少，然后增加。从

变化情况看，我们能够得出在开源软件项目Gnome2Control-center中排错过程仍是一个复杂和不规律变化的情况。例如，提出模型的

在开源软件项目Gnome2Control-center 2.2x的值较低，也说明开源软件排错过程的不确定性。

从表1和2，我们也能够看到提出模型的MSE_d在开源软件项目Firefox和提出模型的MSE_d在开源软件项目Gnome的变化趋势一致，都是逐渐下降的。但是提出模型的MSE_c在开源软件项目Firefox和提出模型的MSE_c在开源软件项目Gnome的变化趋势不一致，一个是先减少后增加；一个是逐渐减少。此外，提出模型的

在开源软件项目Firefox和提出模型的

在开源软件项目Gnome的变化趋势一致。但是提出模型的

在开源软件项目Firefox和提出模型的

在开源软件项目Gnome的变化趋势相反。一个是先增加后减少，一个是先减少后增加。

从图1，我们也能看到提出模型的故障检测和故障排除的数量随测试时间的变化情况。图1(a)和图1(b)和(c)相比较，提出模型的故障检测和故障排错过程的拟合性能略差。图1(d)与图1(e)、(g)相比较，提出的模型的故障检测和故障排错过程的拟合性能较差。

从上面的分析，可以得出下面几点，

(1)提出模型的故障检测过程的拟合性能要好于提出模型的故障排错过程的拟合性能。

(2)在开源软件早期的版本中，提出模型的故障检测和故障排错的拟合性能相当，都很一般。

(3)在开源软件开发和测试过程中，故障排错过程比故障检测过程更加困难、复杂和不确定性。

(4)一般来说，提出的模型在整个开源软件故障数据集(包括故障检测和故障排错故障数据集)上有较好的拟合性能。

4.3.2模型预测性能比较

从图2中可以看出，提出的模型在开源软件中期版本中的故障排错过程比故障检测过程具有更好的预测性能。但提出的模型在开源软件后期版本中的故障检测过程比故障排错过程具有更高的预测精度。这说明故障排错过程比故障检测过程更加复杂和多变。一般来说，从图2可以看到，提出的模型在故障检测和故障排错过程中都有很好的预测性能。

从图3可以看到，提出的模型在整个故障数据集上故障检测过程比故障排错过程具有更好的预测性能。它表明预测排错故障的数量比预测检测到的故障数量要困难得多。此外，从图3，我们还可以看到，提出的模型在故障检测和故障排错上有良好预测未来的失效和修正行为。

4.3.3提出模型的敏感性分析

敏感性分析是确定模型中哪些参数有重要影响的一种方法。敏感性分析的一般方法是改变模型中一个参数的值并让模型中其它参数值保持不变^[25]。

从图4中，我们可以清楚地看到提出模型中参数a、α和c有重要的影响。直觉上来讲，提出的模型中参数α与开源软件在开发和测试过程中的故障引入有关。提出的模型中参数c与开源软件在开发和测试过程中的故障排错现象有关。提出的模型中参数a与开源软件在开发和测试过程中的初始故障总数有关。它们都与开源软件在开发和测试过程中影响软件可靠性建模的重要因素有关，如引入故障的数量、故障检测和故障排错之间的时间延迟以及开源软件中的初始故障总数。因此，敏感性分析的结果与开源软件的实际测试情况是一致的。故障引入和故障检测与排错之间的时间延迟是建立开源软件可靠性模型的两个重要因素。

总之本发明提出了一种整合故障排错和故障引进过程的开源软件可靠性模型。特别是对故障引入现象进行了相应的研究，并首次将其整合到开源软件的排错过程中。我们使用了两个真实的开源软件故障数据集来验证模型的拟合性能和预测性能。实验结果表明，提出的模型具有良好的拟合和预测性能，可以应用于开源软件的可靠性测试过程中。我们还讨论并分析了提出模型的参数敏感性。结果表明参数a、c和α对模型有重要影响。而且故障的引入和故障检测与排错之间的时间延迟是两个重要因素，建立开源软件可靠性模型时需要慎重考虑这两个重要因素。

Claims (1)

1.一种基于排错过程引进故障的开源软件可靠性建模方法，其特征是包括以下步骤：

(1)提出模型假设：

开源软件故障检测过程与故障排错过程服从非齐次泊松过程；

瞬时检测到故障的数量与开源软件中剩余故障的数量成正比；

瞬时修正后的故障数量与开源软件检测到的故障但未去除的故障数量成正比；

检测出的故障不会立即被去除，在排错时以 概率α引入新的故障；

(2)在步骤(1)假设的基础上建立微分方程如下：

公式中m_d(t)表示：期望故障检测的数量函数，t表示时间，b(t)表示故障检测率函数，a(t)表示故障内容总个数函数，m_c(t)表示：期望排错数量的函数，c(t)表示排错故障率，α表示故障引进率；

已知条件a(0)＝a,方程(8)可以得出下式，

a(t)＝a(1+αm(t)) (9)

公式中m(t)表示期望检测出故障数量函数，

当b(t)＝b，把等式(9)代入等式(6)，得出以下方程式式，

公式中a表示期望软件中最初存在故障的数量，b表示故障检测率，

当c(t)＝c，把等式(9)代入等式(7)，我们可以得出下式，

公式中c表示故障排错修正率，

因此，故障检测和不完美排错过程的均值函数如下所示，

(3)开源软件故障检测可靠性模型的建立：

将公式(9)代入公式(6)，得到下述方程

将方程(13)上式两边积分如下：

∫d(ln(a-(1-α)m_d(t)))＝-(1-α)∫bdt

ln(a-(1-α)m_d(t))＝∫-(1-α)bdt

a-(1-α)m_d(t)＝C₁exp(-(1-α)bt)

其中c₁为常量，当t＝0，md(0)＝0，因此,开源软件故障检测可靠性模型为：

a-(1-α)m_d(t)＝aexp(-(1-α)bt)

(4)开源软件故障排错可靠性模型的建立：

设

那么公式(7)可以改写成以下形式：

exp(c(t))dm_c(t)+exp(c(t))c(t)m_c(t)dt＝exp(c(t))c(t)m_d(t)dt

两边积分得，

∫d(exp(C(t))m_c(t))＝∫exp(C(t))C(t)m_d(t)dt

把公式(9)代入公式(16)，

其中公式中c(t)表示排错故障概率。

Images