CN107957946B - 基于邻域嵌入保护算法支持向量机的软件缺陷预测方法 - Google Patents

Abstract

本发明提出一种基于邻域嵌入保护算法支持向量机的软件缺陷预测方法，用于解决软件度量数据冗余的问题。包括：从软件缺陷预测数据集中选择训练集X₁和测试集X₂；采用NPE算法对所述训练集X₁和测试集X₂进行降维；将降维后的训练集Y₁作为训练输入集，使用支持向量机SVM进行训练，获得经过训练后的缺陷预测模型；将降维后的测试集Y₂作为测试输入集，使用训练后的缺陷预测模型进行预测，将预测结果与实际结果进行比较，如果预测结果满足终止条件，则此时的软件缺陷预测模型为最优软件缺陷预测模型；否则，重新执行SVM训练进行优化。

Description

基于邻域嵌入保护算法支持向量机的软件缺陷预测方法

技术领域

本发明涉及一种基于邻域嵌入保护算法支持向量机的软件缺陷预测方法，属于软件预测技术领域。

背景技术

软件缺陷：IEEE729-1983对缺陷有一个标准的定义，从产品内部看，缺陷是软件产品开发或维护过程中存在的错误、毛病等各种问题；从产品外部看，缺陷是软件系统与其原本所需要实现的某种功能的失效或违背。

静态预测：静态软件缺陷预测技术是出现较早也是目前研究和应用最多的预测技术，其主要基于提取软件相关的度量信息建立相应的预测模型进行缺陷预测。

基于机器学习的预测模型：基于机器学习的预测模型主要通过选取适当的学习算法针对历史的缺陷信息进行学习，以建立相应的预测模型从而对未知的模块进行缺陷相关的预测。

数据冗余：数据冗余是指数据之间的重复，也可以说是同一数据存储在不同数据文件中的现象。在本专利中具体指重复的软件度量信息。在软件缺陷预测过程中，过多的度量属性将会导致数据冗余，从而导致较高的预测成本和较低的预测精度。

维数：又称维度，在此指度量信息中独立参数的数目。

支持向量机(SVM)：SVM方法是通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维的特征空间中，使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题。它通常用来进行模式识别、分类以及回归分析。

领域嵌入保护算法(NPE)：NPE算法的主要思想就是在高维的空间中，每个数据点由K个邻域表示。当维度降低后，每个最近邻点的权重都将保持不变，重构维数被简化为对应数据点，使得重构误差最小。它是处理高维数据的一种重要方法，NPE算法可以在维数降低过程中保持数据的局部几何结构不变。

软件缺陷分布预测在软件开发过程中起着重要的作用，对缺陷软件模块的及时准确预测将能够大大提高软件测试资源的有效配置。静态分析能够在软件发布前发现软件中存在的缺陷，且不会降低软件运行的效率。因此近年来，许多研究人员通过提取软件模块的软件度量属性形成训练样本，并利用机器学习技术构建软件缺陷分布预测模型，将机器学习技术应用于软件缺陷静态预测领域。

为了更准确地预测软件中的各种缺陷以提高软件的质量，降低高维软件度量数据的维度是非常有必要的事情。流形学习是处理高维数据的一种重要方法，它可以发现隐藏在高维软件度量数据中的真实结构。经过降维之后的度量数据需要使用机器学习的方法构建预测模型对其进行分类。传统的缺陷预测模型主要指在缺陷数据充足的情况下，利用常用的有监督的机器学习算法，对同一软件中的缺陷数据进行训练和预测的模型，是目前研究最为广泛以及应用最多的模型。其中常用到的机器学习算法主要包括决策树(DT)、随机森林(RF)、朴素贝叶斯(NB)、逻辑回归(LR)、支持向量机(SVM)等。

随着现代大规模软件系统在软件规模和软件复杂性方面的增长，使用机器学习方法构建软件缺陷预测模型需要面对巨大的高维度数据。在软件缺陷预测过程中，过多的度量属性将会导致数据冗余，从而导致较高的预测成本和较低的预测精度。目前，研究者主要提出了局部线性嵌入(LLE)和等距特征映射等方法，但它们有一个共同的缺陷：只有在训练数据中映射，不直接映射新的测试数据，这将导致样本外检验的问题。而在直接使用NPE算法时，将会产生时间空间消耗巨大、特征矩阵无法计算等缺陷，因此目前而言预测的精度与使用的效率都有一些待改进的地方。

发明内容

本发明提出一种基于邻域嵌入保护算法支持向量机的软件缺陷预测方法，用于解决软件度量数据冗余的问题，使得最后的缺陷分布预测结果较其他传统的预测技术相比拥有更高的准确度。

本发明通过以下技术方案来实现：一种基于邻域嵌入保护算法(NPE)支持向量机的软件缺陷预测方法，包括：

从软件缺陷预测数据集中选择训练集X₁和测试集X₂；

采用NPE算法对所述训练集X₁和测试集X₂进行降维；

将降维后的训练集Y₁作为训练输入集，使用支持向量机SVM进行训练，获得经过训练后的缺陷预测模型；

将降维后的测试集Y₂作为测试输入集，使用训练后的缺陷预测模型进行预测，将预测结果与实际结果进行比较，如果预测结果满足终止条件，则此时的软件缺陷预测模型为最优软件缺陷预测模型；否则，重新执行SVM训练进行优化。

本发明的有益效果：

1、本发明使用邻域嵌入保护算法(NPE)对软件度量数据进行降维，保留其局部几何特性，然后利用降维后的数据构建缺陷分布预测模型，该模型使用SVM作为软件缺陷分布预测模型的基本分类器，从而解决软件度量数据冗余的问题，使得最后的缺陷分布预测结果较其他传统的预测技术相比拥有更高的准确度。

2、本发明改进了NPE算法，克服了高维小采样情况下广义特征分解的奇异问题，不需要采用其他中间过程来预降维，并可以有效的对高维数据进行特征分解，得到的特征向量更稳定正确，有效地降低了计算复杂程度和计算成本开销。

3、与传统预测方法相比，本发明提出的预测模型提高了软件缺陷分布预测方面3％～4％的准确率和查全率。

具体实施方式

本发明的一种基于邻域嵌入保护算法支持向量机的软件缺陷预测方法，具体实施例包括以下步骤：

(1)获得预测数据集：

本实施例使用的实验数据来自NASA组织提供的MDP，它被广泛应用于软件缺陷预测研究。它包含13个数据集，如表1所示。每个数据集合包含多个样本，每个样本对应于一个软件模块，并且每个软件模块由几个静态代码属性组成，并标识软件模块中的属性数。静态代码属性对每条数据中进行标识，包括代码行(Loc)，Halstead属性和McCabe属性。在本实施例中选择NASA中CM1，KC3，MW1和PC1作为预测数据集。

Table 1：13 data sets provided by NASA

(2)从步骤(1)中获得的预测数据集中选择训练集X₁和测试集X₂，使用改进的NPE算法分别对两个数据集进行降维。

为了验证提出的模型的预测能力，本发明采用十字交叉法进行验证实验。步骤1中获得的预测数据集被随机地分为20个子集，每次实验需要1个子集作为测试集，其余为训练集。以这种方式，一共进行20次实验，每次实验使用1个测试集。最后，模型的性能以20次实验结果的平均值进行评估。每次使用的训练集和测试集分别用X₁和X₂表示。

构建降维算法首先需要对训练集X₁进行分析，将训练集X₁视作X矩阵，D为训练集的维数，n为样本个数，则训练集用矩阵表示为X＝[x₁,x₂…x_n]，X矩阵为一个D*n的矩阵，使用改进的NPE算法对训练集和测试集进行降维；所述改进的NPE算法包括以下步骤：

1、获得X矩阵的几何空间计量模型，即最优权重矩阵W，它用量化的方法表示了数据之间的“空间结构”，在此根据NPE算法，对于X矩阵中每个数据点X_i，采用其局部最近邻点X_j进行线性重建。

2、根据步骤1中获得的W矩阵，计算获得降维所需要的线性投影矩阵G，即G＝[g₁,g₂…g_d]；G矩阵为一个d*n的矩阵，其中d为降维处理后数据集应具有的维数，改进的NPE算法将原本NPE算法中奇异的广义特征计算问题转化为两个特征分解问题，其中，第一个特征分解在不损失有用的判别信息的情况下，简化广义特征计算问题；第二个特征分解将不稳定的广义特征计算问题转化为稳定的特征分解；具体步骤如下：

计算获得降维所需要的线性投影矩阵G时，采用以下方法简化广义特征计算问题：

计算矩阵{X[(1-W)^TI]}^TX[(1-W)^TI]∈R^2n*2n的特征分解，如公式(1-1)所示

其中[I]_I是由该矩阵的非零特征值按从大到小顺序排列而成的对角矩阵，I

称为单位矩阵，V_r和

为分别由相应的非零特征值对应的特征向量和零特征值对应的特征向量组成；

计算矩阵S_t＝XMX^T+XX^T∈R^D*D的特征分解中的矩阵U_r和∑_I，其中M＝(I-W)^T(1-W)，见公式(1-2)

其中U_r及

分别由S_t矩阵对应于非零特征值的特征向量和对应于零特征值的特征向量组成，

∑_I＝[I]_I，

根据上述特征分解所得到的U_r与∑_I，计算矩阵

的特征分解，如公式(1-3)所示

其中Γ是矩阵

的非零特征值按从大到小顺序排列而成的对角矩阵，

则由∑_I矩阵进行开方运算得到，通过以上计算，得到P矩阵；

通过以上三次特征分解所获得的值，计算矩阵

该矩阵的前d个单元列向量组成G矩阵。

3、根据步骤2中获得的线性投影矩阵G，计算矩阵Y₁＝G^TX₁，Y₂＝G^TX₂，求得的Y₁为经过降维的训练集，Y₂为经过降维的测试集。

(3)、将获得的降低维数的训练集Y₁用作训练输入集，使用SVM进行训练，获得经过训练的缺陷预测模型：

将经过降维的训练集Y₁作为训练输入集，使用SVM构建软件缺陷预测模型。在SVM模型中选择RBF函数作为支持向量机的核函数，根据定义的值间隔和步长，使用网络搜索和十字交叉验证来优化参数，该方法用于优化SVM模型的参数，找到其中对应的C和g的值，其中C为惩罚因子，g为核函数参数，使其能够提高SVM的分类准确率。

(4)、将获得的经过降低维度的测试集Y₂作为测试输入集，使用从步骤4中获得的经过训练的缺陷预测模型进行预测：

将测试输入集作为步骤3中获得的缺陷预测模型的输入，使用缺陷预测模型获得的预测结果将与实际结果进行比较。如果预测结果满足终止条件，则此时的软件缺陷预测模型为最优结果，获得优化的软件缺陷预测模型；否则，步骤3将继续执行，以此进行优化。在该过程中，终止条件是模型的预测精度达到给定阈值或周期数超过先前设置的最大周期数。

Claims (4)

1.一种基于邻域嵌入保护算法支持向量机的软件缺陷预测方法，其特征在于，包括：

从软件缺陷预测数据集中选择训练集X₁和测试集X₂；

采用NPE算法对所述训练集X₁和测试集X₂进行降维，具体为：

将训练集X₁视作X矩阵，D为训练集的维数，n为样本个数，则训练集用矩阵表示为，X＝[x₁，x₂，...x_i，...x_n]，X矩阵为一个D*n的矩阵；

对于X矩阵中每个数据点x_i，采用其局部最近邻点的方式进行线性重建，获得X矩阵的最优权重矩阵W；

根据获得的最优权重矩阵W，计算获得降维所需要的线性投影矩阵G，即G＝[g₁，g₂…g_d]；G矩阵为一个d*n的矩阵，其中d为降维处理后数据集的维数；计算矩阵Y₁＝G^TX₁，Y₂＝G^TX₂，求得经过降维的训练集Y₁和降维的测试集Y₂；

所述计算获得降维所需要的线性投影矩阵G时，采用以下方法简化广义特征计算问题：

计算矩阵{X[(1-W)^TI]}^TX[(1-W)^TI]∈R^2n*2n的特征分解，如公式(1-1)所示

其中[I]_I是由该矩阵的非零特征值按从大到小顺序排列而成的对角矩阵，I称为单位矩阵，V_r和

为分别由相应的非零特征值对应的特征向量和零特征值对应的特征向量组成；

计算矩阵S_t＝XMX^T+XX^T∈R^D*D的特征分解中的矩阵U_r和∑_I，其中D为训练集的维数，M＝(I-W)^T(1-W)，见公式(1-2)

其中U_r及

分别由S_t矩阵对应于非零特征值的特征向量和对应于零特征值的特征向量组成，

∑_I＝[I]_I，

根据上述特征分解所得到的U_r与∑_I，计算矩阵

的特征分解，如公式(1-3)所示

其中Γ是矩阵

的非零特征值按从大到小顺序排列而成的对角矩阵，

则由∑_I矩阵进行开方运算得到，通过以上计算，得到P矩阵；

通过以上三次特征分解所获得的值，计算矩阵

该矩阵的前d个单元列向量组成G矩阵；

将降维后的训练集Y₁作为训练输入集，使用支持向量机SVM进行训练，获得经过训练后的缺陷预测模型；

将降维后的测试集Y₂作为测试输入集，使用训练后的缺陷预测模型进行预测，将预测结果与实际结果进行比较，如果预测结果满足终止条件，则此时的软件缺陷预测模型为最优软件缺陷预测模型；否则，重新执行SVM训练进行优化。

2.如权利要求1所述的一种基于邻域嵌入保护算法支持向量机的软件缺陷预测方法，其特征在于，所述的终止条件是模型的预测精度达到给定阈值。

3.如权利要求1或2所述的一种基于邻域嵌入保护算法支持向量机的软件缺陷预测方法，其特征在于，所述SVM中选择RBF函数作为支持向量机的核函数，根据定义的值间隔和步长，使用网络搜索和十字交叉验证来优化参数，找到其中对应的惩罚因子C和核函数参数g的值。

4.如权利要求3所述的一种基于邻域嵌入保护算法支持向量机的软件缺陷预测方法，其特征在于，重新执行SVM训练进行优化时重新设置SVM中惩罚因子C和核函数参数g的值，再进行优化。