CN103257921A - 一种基于改进随机森林算法的软件故障预测系统及其方法 - Google Patents

Abstract

本发明公开了一种基于改进随机森林算法的软件故障预测系统及其方法，所述系统包括数据处理层、预测模型构建层和故障预测层，其故障预测过程是：首先计算用来得到训练模型的软件项目属性集合从而得到软件故障预测模型的训练数据集，对训练数据集进行平衡化处理；然后根据改进的随机森林算法构建预测模型；其次根据准确率以及查全率的性能限制来筛选模型；最后根据待测软件项目的属性集合信息及训练好的预测模型来对该软件项目进行预测并对预测结果和预测模型进行显示。本发明具有预测准确率高、性能稳定和执行效率高的优点，可评估最终的软件产品是否达到了规定的质量或者满足用户期望，且可指导开发人员制定软件测试和形式化验证资源的分配策略。

Description

一种基于改进随机森林算法的软件故障预测系统及其方法

技术领域

本发明涉及软件工程质量检测领域，具体涉及一种评估最终的软件产品是否达到了规定的质量或者是否满足用户的期望，或指导开发人员制定软件测试和形式化验证资源的分配策略的一种基于改进随机森林算法的软件故障预测的系统以及方法。

背景技术

软件故障预测技术可以帮助开发人员在软件发布之前及时发现故障，能够减少软件维护成本，有效提高软件质量。软件度量和软件故障数据常常被用于构建软件故障倾向预测模型。软件故障预测的基本原理是如果当前正在开发的模块与之前已开发好的某故障模块具有相似的软件质量属性则说明当前的软件模块具有故障倾向。因此软件故障预测中要用到之前开发的软件版本模块的故障记录来进行预测。根据软件故障预测技术的原理可以将其分为静态故障预测和动态故障预测两种；静态预测技术，主要是指基于故障相关的度量数据，对故障的数量或者分布进行预测的技术；而动态故障预测技术则是基于故障或者失效产生的时间，对系统故障随时间的分布进行预测的技术。

软件质量属性是对软件质量的量化，最早的软件质量指标为LOC(Lines of Code)，它被用来衡量软件的规模，由于其计算简单至今仍然被使用和研究。随着软件开发过程越来越复杂，开始出现对软件复杂度进行度量的属性集合，目前使用最广泛的是1976年提出来的McCabe属性集合和1977年提出的Halstead属性集合。McCabe主要以图形理论为基础，通过分析程序的控制流图来对软件复杂度进行度量；Halstead主要是基于源代码来对软件进行度量，主要思想为根据操作符，操作数的个数等源代码的特征来估计人力和程序员开发该程序所花费的时间。McCabe和Halstead软件属性集合主要是针对结构化的程序设计，对于软件质量的度量侧重于复杂度。随着软件开发技术不断发展，在软件开发过程中软件管理越来越重要，由于具有易维护、质量高、效率高以及易扩展等特点，面向对象开发思想开始广泛流行起来。由于面向对象系统与结构化的系统特征完全不同，因此针对其面向对象的特性必须也要有相应的属性来对其进行质量度量，对于采用面向对象设计软件的度量(Object-OrientedMetrics，OO属性)目前应用最广泛的为C&K度量集合，该属性集合主要是针对系统的耦合以及内聚性进行度量。耦合性越强的模块越容易出错，因为与其关联的模块数量过多，对其他关联模块的修改均会影响该模块，其他关联模块如果出现故障该模块也会出现故障，因此该模块的可维护性很差，出现故障的可能性较高。动态属性是对软件开发过程的衡量，针对软件开发过程的改变情况来对软件质量进行度量，比如根据该模块在开发过程中出现故障的次数，修改该模块代码的人员数目等等来度量该模块的健壮程度。

现存的软件故障预测方法都仅采用单一的属性集合来度量软件项目，没有根据软件项目的全方位质量属性信息来对软件进行故障预测。

多数的故障倾向预测模型都采用半监督的学习方法，以软件度量数据作为输入。目前已经有很多机器学习算法被应用于软件故障预测领域，包括主要有贝叶斯、支持向量机、神经网络、逻辑回归以及决策树等方法。

基于贝叶斯方法的预测模型包括贝叶斯网络和朴素贝叶斯分类器，朴素贝叶斯分类器的基础假设为：给定目标值、属性之间相互条件独立和每个实例x由属性值的特征向量表示。目标函数根据现有的集合V中的可能取值进行取值，根据一系列得到目标函数的训练样本集以及新实例的特征向量来预测新实例的目标值。Menzies将根据朴素贝叶斯算法与决策树算法的预测模型进行分类性能对比，对数据采取对数处理后实验结果显示朴素贝叶斯算法构建的模型比决策树算法构建的模型具有更好的分类性能。贝叶斯网络不确定性处理问题的能力很强大，可以高效地进行多元信息的融合与表达，已经被广泛地用于软件故障预测。Fenton等人基于贝叶斯网络提出在不同生命模型中合适的软件故障预测模型以及遗留故障预测模型，对贝叶斯网络在生命周期早期预测故障的效果进行了分析。

支持向量机是Vapnik等提出的一种以统计学习理论为基础的新的通用机器学习算法。与采用经验风险最小化原则的神经网络相比，采用结构风险最小化原则的支持向量机具有更好的泛化能力。支持向量机(SVM)可以用于非线性回归和模式分类是一种通用的前馈神经网络。Elish采用NASA的数据集将支持向量机与其他的统计以及机器学习算法进行故障预测性能对比，得出的结论是支持向量机的预测性能并不比其他方法的性能差。

神经网络是由大量的节点以及节点之间的相互联接构成，是一种运算模型。神经网络通过对内部大量节点之间相互连接关系的调整来对信息进行处理，它是一种解决高复杂度问题的有效方法，常常用于解决两类问题——回归和分类。Lessmann将其应用在NASA的故障数据集上，根据实验结果可知在对NASA MDP的PC1和PC2进行故障预测时，神经网路具有较好的预测性能。

Logistic回归分析作为一种有效的数据处理方法被广泛应用，尤其在医学、社会调查、生物信息处理等领域。它是概率型非线性回归模型，是研究分类观察结果与一些影响因素之间关系的一种多变量分析方法。

决策树是一个可以自动对数据进行分类的树形结构，是树形结构的知识表示，决策树可以直接转换为一系列的决策规则。决策树算法主要是对离散值的属性进行学习来生成分类规则，因此数值型的属性必须被离散化才能被学习。决策树的内部节点为属性，叶子节点为最终分类好的类别，内部节点上的属性也称为分类属性。首先根据训练数据集对决策树进行训练，然后输入需要进行预测实例的属性向量，根据决策树的规则来对该未知实例进行预测分类。

2001年LEO Breiman提出了随机森林(Random Forest，RF)算法，森林中决策树的训练样本是对原始训练样本进行随机采样产生的，在随机森林中决策树内部节点的候选分割属性集是所有属性的一个非空真子集，该子集是从所有特征属性中随机选取一定数目的属性作为候选属性集，使用属性分裂衡量函数来对候选属性集中属性的分类能力进行判别，最终选取最优分裂属性。在大数理论的支撑下，随机森林可以避免机器学习中一个重要的难题，它可以做到不存在过拟合，这是随机森林的一个突出优点。

上述方法中除了随机森林算法以外，其他预测方法都存在训练数据与训练模型之间的过拟合问题；现存方法的预测模型都不能保证比较稳定的预测性能；原始的随机森林算法不能保证模型的精简。

发明内容

鉴于现有技术的不足，本发明旨在于提供一种基于改进随机森林算法的软件故障预测系统及其方法，以实现在软件故障预测过程中保证预测模型具有较好的预测性能以及较高的预测效率。实现本发明目的的技术方案是吸取现有的基于随机森林算法的软件故障预测方法的优点，通过计算软件项目的多个属性集的值来全面度量软件项目，对训练数据集进行平衡化处理，构造随机森林模型时根据剪枝算法对预测模型进行精简，根据模型的预测准确率以及查全率来筛选符合性能指标的预测模型，从而构造出一种新的基于改进随机森林的软件故障预测方法。

为了实现上述目的，本发明采用的技术方案如下：

一种基于改进随机森林的软件故障预测系统，所述系统由以下组成：

数据处理层，包括数据采集和数据预处理，其中，所述数据采集利用历史模块故障数据通过模块属性计算得出原始训练数据集，所述数据预处理将获得的原始训练数据集进行平衡化处理，得到平衡化后的训练数据集；

预测模型构建层，将通过所述数据处理层预处理得到的平衡化后的训练数据集进行随机采样，并利用采样后得到的训练数据子集构建预测模型并优化；

故障预测层，计算被测系统质量属性集合的向量数据，利用优化后的预测模型对被测系统进行预测并输出预测结果。

需要说明的是，所述模块属性计算包括计算软件项目的静态属性，面向对象属性以及动态属性。

上述软件故障预测系统的预测方法具体步骤是：

（1）属性计算，通过计算软件项目的静态属性，面向对象属性以及动态属性对软件项目进行全面的度量；

（2）平衡化训练数据集，对训练数据集进行了平衡化处理，即将多数类Smaj随机分割成规模相等的子集：Smaj1,Smaj2,…,Smajk,，由于随机分割的多数类子集Smaji必须与少数类Smin中的实例个数相同，因此多数类子集的个数k依赖于少数类Smin的大小，将Smin与Smaji结合则成为一个平衡的训练数据子集，由此原始的训练数据集转化为k个平衡训练数据子集；

（3）构建改进随机森林模型，所述随机森林模型中的决策树个数是由训练数据集中平衡训练数据子集的数量k所决定，将上一个步骤中所得到的平衡训练数据集作为预测模型的训练数据集，根据随机森林算法构建预测模型，其中随机森林中每棵决策树的训练数据集都是平衡化后的训练数据子集，采取C4.5算法来构建森林中的每棵决策树；

（4）保存符合要求的随机森林模型，完成上一步骤的决策树构建完成之后，根据准确率以及查全率对训练出来的模型进行性能评估并保存作为软件故障预测模型使用；

（5）对待测系统进行故障预测，计算待测系统的软件质量属性集合的向量数据，根据上一步骤保存的软件故障预测模型以及属性向量数据来对待测软件进行故障预测；

（6）输出故障预测结果，所述方法的故障预测结果由两部分组成，对待测软件中具有故障倾向的类进行高亮显示；对预测模型进行树型显示。

需要说明的是，所述中静态属性为方法级属性，包括代码行数，圈复杂度等代码的固有属性；所述面向对象属性是对代码的面向对象特征内聚性和耦合性进行度量，包括类之间的调用关系，类的嵌套程度等属性；所述动态属性关注的是待测软件项目在开发过程中变化着的属性，是对软件开发过程的度量。

为了对软件故障预测模型进行了精简，保证模型具有较高的预测效率，作为一种优选的方案，在所述构建改进随机森林模型的过程中，对所述模型中的每棵决策树进行剪枝处理，所述剪枝算法采用的是PEP剪枝算法，所述算法根据训练集得到错误估计，是一种自上而下的算法不需要单独的剪枝数据集。

需要说明的是，当所述的模型预测的准确率和查全率分别高于80%和高于75%时，所述模型才会被保存作为预测模型使用；当模型不能达到所述预设的准确率和查全率，则迭代训练直到得到符合预设指标的模型为止，作为一种优选的方案，最高的迭代次数为100。

需要说明的是，所述预测模型的树形显示表现为显示森林中的多棵决策树，通过点击决策树的序号可查看显示该决策树预测规则的树形结构，了解整个故障预测过程。

本发明由于计算了软件项目的多个属性集的值，更全面地度量了该软件项目，所以构建的软件故障预测模型具有更好的性能；对随机森林模型进行精简确保了模型具有较高的预测效率；通过性能指标筛选预测模型可以保证模型具有稳定并且较好的性能。上述的改进特点使得本发明拥有较高的模型准确率，查全率以及较高的效率。

附图说明

图1为本发明的软件故障预测系统结构图；

图2为本发明的软件故障预测流程图；

图3为本发明的改进随机森林模型结构图。

具体实施方式

如图1所示，本发明的故障预测系统由以下组成：数据处理层，预测模型构建层和故障预测层组成，其中数据处理层包括数据采集和数据预处理，所述数据采集利用历史模块故障数据通过模块属性计算得出原始训练数据集，所述数据预处理将获得的原始训练数据集进行平衡化处理，得到平衡化后的训练数据集；

所述预测模型构建层将通过所述数据处理层预处理得到的平衡化后的训练数据集进行随机采样，并利用采样后得到的训练数据子集构建预测模型并优化；

所述故障预测层计算被测系统质量属性集合的向量数据，利用优化后的预测模型对被测系统进行预测并输出预测结果。

如图2、图3所示，本发明的故障预测步骤如下：

（1）根据静态属性、面向对象属性以及动态属性的计算规则统计出用来训练预测模型的软件项目的属性集信息，根据该软件项目的属性集合以及故障记录信息得到训练数据集。

（2）将训练数据集中的多数类Smaj（本发明中指的是没有故障的软件模块）随机分割成规模相等的子集：Smaj1,Smaj2,…,Smajk,。由于随机分割的多数类子集Smaji必须与少数类Smin中的实例个数相同，需要说明的是，本发明中指的是发生故障的软件模块，因此多数类子集的个数k依赖于少数类Smin的大小。将Smin与Smaji结合则成为一个平衡的训练数据子集，由此可知原始的训练数据集转化为k个平衡训练数据子集。

（3）将上一个步骤中得到的平衡训练数据集作为预测模型的训练数据集，根据随机森林算法构建预测模型，为了提高模型的预测效率本发明在随机森林算法中引入PEP剪枝策略。

（4）本发明中通过限制预测模型的准确率和召回率范围来筛选最终用于软件故障预测的模型，其中模型筛选条件为其准确率高于80%，查全率高于75%。对于未达到性能指标的模型，本发明将会迭代训练模型直到训练出的模型符合标准为止，最高的迭代次数为100。

（5）计算待预测软件项目的质量属性集合并根据保存的软件故障预测模型来对其进行故障预测。

（6）输出故障预测结果，本发明中的软件故障预测结果是由两部分组成的。一部分是对待测软件项目中具有故障倾向的类进行高亮显示；一部分是对预测模型的显示，在本发明中指的是对改进随机森林模型的显示，根据随机森林中决策树的序号可以查看该序号对应决策树决策规则的树型显示，从而方便用户了解该模型的故障预测过程。

本发明中对软件项目进行度量的综合属性中部分属性集合如下表所示。

对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。

Claims (7)

1.一种基于改进随机森林的软件故障预测系统，其特征在于，所述系统由以下组成：

数据处理层，包括数据采集和数据预处理，其中，所述数据采集利用模块的历史故障数据和模块属性数据得出原始训练数据集，所述数据预处理将获得的原始训练数据集进行平衡化处理，得到平衡化后的训练数据集；

预测模型构建层，将通过所述数据处理层预处理得到的平衡化后的训练数据集进行随机采样，并利用采样后得到的训练数据子集构建预测模型并优化；

故障预测层，计算被测系统质量属性集合的向量数据，利用优化后的预测模型对被测系统进行预测并输出预测结果。

2.根据权利要求1所述的软件故障预测系统，其特征在于，所述模块属性计算包括计算软件项目的静态属性，面向对象属性以及动态属性。

3.一种利用权利要求1的软件故障预测方法，其特征在于，包括如下步骤：

（1）属性计算，通过计算软件项目的静态属性，面向对象属性以及动态属性对软件项目进行全面的度量；

（2）平衡化训练数据集，对训练数据集进行了平衡化处理，即将多数类Smaj随机分割成规模相等的子集：Smaj1,Smaj2,…,Smajk,，由于随机分割的多数类子集Smaji必须与少数类Smin中的实例个数相同，因此多数类子集的个数k依赖于少数类Smin的大小，将Smin与Smaji结合则成为一个平衡的训练数据子集，由此原始的训练数据集转化为k个平衡训练数据子集；

（3）构建改进随机森林模型，所述随机森林模型中的决策树个数是由训练数据集中平衡训练数据子集的数量k所决定，将上一个步骤中所得到的平衡训练数据集作为预测模型的训练数据集，根据随机森林算法构建预测模型，其中随机森林中每棵决策树的训练数据集都是平衡化后的训练数据子集，采取C4.5算法来构建森林中的每棵决策树；

（4）保存符合要求的随机森林模型，完成上一步骤的决策树构建完成之后，根据准确率以及查全率对训练出来的模型进行性能评估并保存作为软件故障预测模型使用；

（5）对待测系统进行故障预测，计算待测系统的软件质量属性集合的向量数据，根据上一步骤保存的软件故障预测模型以及属性向量数据来对待测软件进行故障预测；

（6）输出故障预测结果，所述方法的故障预测结果由两部分组成，对待测软件中具有故障倾向的类进行高亮显示；对预测模型进行树型显示。

4.根据权利要求3所述的软件故障预测方法，其特征在于，所述中静态属性为方法集属性，包括代码行数，圈复杂度等代码的固有属性；所述面向对象属性是对代码的面向对象特征内聚性和耦合性进行度量，包括类之间的调用关系，类的嵌套程度等属性；所述动态属性关注的是待测软件项目在开发过程中变化着的属性，是对软件开发过程的度量。

5.根据权利要求3所述的软件故障预测方法，其特征在于，在所述构建改进随机森林模型的过程中，对所述模型中的每棵决策树进行剪枝处理，所述剪枝算法采用的是PEP剪枝算法，所述算法根据训练集得到错误估计，是一种自上而下的算法不需要单独的剪枝数据集。

6.根据权利要求3所述的软件故障预测方法，其特征在于，当所述的模型预测的准确率和查全率分别高于80%和高于75%时，所述模型才会被保存作为预测模型使用；当模型不能达到所述预设的准确率和查全率，则迭代训练直到得到符合预设指标的模型为止。

7.根据权利要求3所述的软件故障预测方法，其特征在于，所述预测模型的树形显示表现为显示森林中的多棵决策树，通过点击决策树的序号可查看显示该决策树预测规则的树形结构，了解整个故障预测过程。

Images