CN102637143A - 基于改进的支持向量机的软件缺陷优先级预测方法 - Google Patents

Abstract

基于改进的支持向量机的软件缺陷优先级预测方法主要采用一种改进的支持向量机模型为缺陷优先级的预测建模，对缺陷报告的处理优先级进行判断和预测，步骤1)选取状态为已解决的，已关闭的，已确定的错误报告做为训练数据；步骤2)提取出我们需要的特征；步骤3)对所有样本赋以一个抽样权重在此样本上用支持向量机训练一个分类器对样本分类，步骤4)用得到的错误率去更新分布权值向量：对错误分类的样本分配更大的权值,正确分类的样本赋予更小的权值。步骤5)就这样依次迭代，最后我们得到的强分类器就是多个弱分类器的加权和。本发明用机器学习的发法训练出分类器，从而使缺陷优先级的确定自动化，减少人员和成本的消耗。

Description

基于改进的支持向量机的软件缺陷优先级预测方法

技术领域

本发明涉及一种缺陷报告优先级预测的方法，主要采用一种改进的支持向量机模型为缺陷优先级的预测建模，对缺陷报告的处理优先级进行判断和预测，属于软件测试领域。

背景技术

我们已经处于数字时代。半个多世纪以来，计算机技术的高速发展使得信息技术已经渗透到人类活动的各个领域。数据库，数据仓库以及因特网技术的应用普及使得我们需要处理的数据规模越来越巨大。这些数据都是非常宝贵的资源。然而，在拥有海量数据的同时，我们对数据知识的提取很大程度上依旧停留在过去查询、简单检索的水平上、信息的载体是数据，但是数据本身不等于信息。激增的数据后面蕴涵着大量的“宝藏”[1]。

近年来，软件开发商鼓励软件使用者通过Jira或Bugzilla积极地报告他们遇到的错误(bug)，这样，开发人员在新的版本的研究就可以致力于解决这些问题[2]。

错误报告是开发人员和使用者在软件开发和维护者提交的软件系统的错误，通常这些错误都存放在软件库当中。在测试工程师的日常工作中，最经常做的也是必须做的就是提交缺陷报告。在提交错误的时候，我们要给出这个错误解决的优先级，开发人员会根据错误的优先级来决定先修复哪个错误，后修复哪个错误，所以优先级的正确与否会影响到错误的解决时间进而可能会影响测试和开发的进度。传统上，预测错误优先级的方法是人工辨别，这种方法既耗时又费力还浪费资源[3]，从而延误了关键错误的修复，造成大量的损失。

因此，我们需要自动的方式能够预测出错误的优先级，使开发人员能分离出重要和不重要的错误，从而提高修复错误的效率，改善软件的质量。但是当前预测错误优先级的方法并不多，大多针对的是预测错误的数量和在代码中定位错误[4]，还有一些是预测错误严重程度。但是，错误的优先级同样很重要，不容忽视，它直接决定这修复错误的先后顺序，延误了正要错误的修复，会产生不容小觑的损失。

[1]刘英博 王建民.面向缺陷分析的软件库挖掘方法综述，计算机科学2007，(34).

[2]Ahmed Lamkanfi，Serge Demeyer，Quinten David Soetens，Tim Verdonck.Comparing MiningAlgorithms for Predicting the Severity of a Reported Bug.European Conference on SoftwareMaintenance and Reengineering，2011.

[3]Jaweria Kanwal，Onaiza Maqbool.Managing Open Bug Repositories through Bug ReportPrioritization Using SVMs.Proceedings of the 4th International Conference on Open-SourceSystems and Technologies(ICOSST 2010)，December，2010：22-24.

[4]Lian Yu，Wei-Tek Tsai，Wei Zhao，and Fang Wu.Predicting Defect Priority Based on NeuralNetworks.ADMA 2010，Part II，LNCS 6441，2010：356-367.

发明内容

技术问题：本发明的目的是提供一种基于改进的支持向量机的软件缺陷优先级预测方法，用一种机器学习的方法建立一种错误解决的优先级的预测模型，使其能自动的对新到错误报告库的错误分配一个适当的优先级。传统上，预测错误优先级的方法是人工辨别，这种方法既耗时又费力还浪费资源，从而延误了关键错误的修复，造成大量的损失。

Jaweria Kanwal等在2010年提出的利用支持向量机预测缺陷优先级的推荐器。支持向量机一直以来都是研究人员热衷的分类算法之一，在这之前已经用于文本分类和软件库分类了，并显示有不错的前景。但是第三等级并非最重要的等级，第一等级的错误才是最重要，最需要优先修复的，而此方法，第一等级的准确度和召回率却不是最高的。

本发明是把支持向量机模型结合了自适应强度算法，使其精确度和召回率更高。

技术方案：本发明需要选取合适的错误报告数据作为训练数据，而且，该训练数据要求其属性是已解决的，已关闭的，已确认的。因为这样的错误报告是分类人员或开发人员修复之后确定的优先级，这样的优先级更为准确，训练出来的分类器准确性也很高。本发明结合了自适应强度算法(Adaboost)和支持向量机算法(SVM)，由支持向量机做弱学习机，对错误报告的优先级进行机器训练学习，得到弱学习机，再利用自适应强度算法得到强学习机。

基于改进的支持向量机的软件缺陷优先级预测方法分为两大部分：

一、数据分析

步骤11)收集错误报告数据集；

步骤12)对错误报告进行分析，提取其中的产品，组件，版本，平台，操作系统，缺陷状态，错误解决状况，优先级，严重程度，主题，详细描述的信息；

步骤13)把主题和详细描述中的停用词这样无意义的单词去掉，把所有单词转换成其基本形式；

步骤14)对每个样本标记上优先级，在这里，优先级分为五个等级：P1，P2，P3，P4，P5，其中P1的优先级最高，依次递减；

二、变换支持向量机的参数，针对同一训练集训练出不同的分类器，然后把这些分类器集合起来，

步骤21)先对所有样本赋以一个抽样权重，一般开始的时候权重都一样即认为均匀分布，也就是训练集如果有N个样本，每个样本的分布概率为1/N；

步骤22)调整高斯宽度σ，采用径向基函数(简称RBF)内核，其中最常用的径向基函数是高斯函数，形式为

其中x_c为核函数中心，σ为函数的宽度参数，共同控制了函数的径向作用范围。在训练过程中通过适当地调整可以获得适当精确的支持向量机分类器；

步骤23)如果σ大于已设定的高斯宽度值，就使用支持向量机训练弱学习机，否则，转到步骤7)；

步骤24)计算弱学习机的错误率，如公式2，如果错误率大于50％，降低σ，再转到步骤3)；

${\mathrm{\ϵ}}_t=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i^t,y_i\≠h_t\left(x_i\right)$ 公式2

其中ε_t表示弱学习机的错误率；N表示样本个数；t表示第t个训练周期，则表示第i个样本在第t个训练周期数的权重；x_i表示样本属性组成的向量，y_i表示该样本的类别标签；h_t(x_i)表示第t轮训练得到的弱学习机；

如果ε_t＞0.5，减少σ的值，重新利用支持向量机算法训练弱学习机；

步骤25)用得到的错误率计算弱学习机的权重，如公式3；

${\mathrm{\α}}_t=\frac{1}{2}\ln \left(\frac{1-{\mathrm{\ϵ}}_t}{{\mathrm{\ϵ}}_t}\right)$ 公式3

其中，α_t表示弱学习机的权值；ε_t表示弱学习机的错误率。可见，弱学习机的错误率越低，所分得的权重越高；

步骤26)更新样本权值向量，如公式4，再返回步骤2)；

$w_i^{t+1}=\frac{w_i^t\exp \{-{\mathrm{\α}}_t{y}_i{h}_t\left(x_i\right)\}}{C_t}$ 公式4

此处的C_t表示归一化常量，而且

其中，N表示样本的个数；t表示第t个训练周期，则

表示第i个样本在第t个训练周期数的权重；x_i表示样本属性组成的向量，y_i表示该样本的类别标签；α_t表示弱学习机的权重；h_t(x)表示第t轮训练周期得到的弱学习机；

步骤27)把多个弱分类器进行加权和，就得到了所需的强分类器，如公式5，大体是误差越大分类器的权重就越小；

$f\left(x\right)=\mathrm{sign}\left(\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\α}}_t{h}_t\left(x\right)\right)$ 公式5

其中，t表示第t个训练周期；α_t表示弱学习机的权重；x表示样本属性组成的向量；h_t(x)表示第t轮训练周期得到的弱学习机；

经过以上步骤，就得到了高精确度，且各个错误不相关的分类器。

有益效果：自适应增强算法是一种迭代算法，其核心思想是：针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的。本发明具有以下一些特殊优点和有益成果：

在支持向量机算法结合自适应增强算法中提出了一个简单有效的方法，用支持向量机训练出的分类器进一步优化。也就是说，利用自适应增强算法(Adaboost)把不同参数的支持向量机集合起来，构成一个更强的最终分类器(强分类器)。

附图说明

图1是本发明分类器框架图。

图2是本发明方案的分类器的训练流程图。

具体实施方式

该方法主要包括以下模块，最上层是用户界面模块，主要负责获取用户输入并将结果输出用户；中间是控制模块，负责调度所有功能模块完成错误优先级预测；核心模块是布局特征抽取模块、空间数据库模块、机器学习匹配模块。

建立缺陷优先级预测模型需要以下步骤：

步骤1)选取状态为已解决的，已关闭的，已确定的错误报告做为训练数据；

步骤2)提取出我们需要的特征；

步骤3)对所有样本赋以一个抽样权重(一般开始的时候权重都一样即认为均匀分布，也就是训练集如果有n个样本，每个样本的分布概率为1/n)，在此样本上用支持向量机训练一个分类器对样本分类，这样可以得到这个分类器的错误率。

步骤4)用得到的错误率去更新分布权值向量：对错误分类的样本分配更大的权值，正确分类的样本赋予更小的权值。这样训练的下一个分类器就会侧重这些分错的样本。

步骤5)就这样依次迭代，最后我们得到的强分类器就是多个弱分类器的加权和。

1.收集训练数据

2.对训练数据进行分析处理

步骤1)对错误报告进行分析，提取其中的产品，组件，版本，平台，操作系统，缺陷状态，错误解决状况，优先级，严重程度，主题，详细描述等信息；

步骤2)把主题和详细描述中的停用词这样无意义的单词去掉，把所有单词转换成其基本形式；

步骤3)对每个样本标记上优先级y_i，则每个样本表示为(x_i，y_i)，x_i表示样本属性组成的向量，y_i表示该样本的类别标签。在这里，优先级分为五个等级：P1，P2，P3，P4，P5，其中P1的优先级最高，一次递减。

3.变换支持向量机的参数，针对同一训练集训练出不同的分类器，然后把这些分类器集合起来

步骤1)先对所有样本赋以一个抽样权重，一般开始的时候权重都一样即认为均匀分布，也就是训练集如果有N个样本，每个样本的分布概率为1/N，见公式1；

$w_i^1=\{\frac{1}{N},...\frac{1}{N}\},$ i＝1，2，3，...，N    (1)

其中，N表示样本的个数，i表示第i个样本。

步骤2)调整σ；

本发明采用RBF内核，其中的关键设置参数是σ，增大该参数的值，就会减少学习机的复杂性，也降低了分类器的性能。然而，减少该参数的值会导致更复杂的学习模型，但提高了性能。所以，在训练过程中通过适当地调整可以获得适当精确的支持向量机分类器。

步骤3)如果σ大于已设定的高斯宽度值，就使用支持向量机训练弱学习机，否则，转到步骤7)；

步骤4)计算弱学习机的错误率，见公式2。如果错误率大于50％，降低σ，再转到步骤3)；

${\mathrm{\ϵ}}_t=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i^t,y_i\≠h_t\left(x_i\right)---\left(2\right)$

如果ε_t＞0.5，减少σ的值，重新利用支持向量机算法训练弱学习机。其中t表示第t个训练周期，则表示第i个样本在第t个训练周期数的权重；x_i表示样本属性组成的向量，y_i表示该样本的类别标签。

步骤5)用得到的错误率计算弱学习机的权重，见公式3；

${\mathrm{\α}}_t=\frac{1}{2}\ln \left(\frac{1-{\mathrm{\ϵ}}_t}{{\mathrm{\ϵ}}_t}\right)---\left(3\right)$

可见，弱学习机的错误率越低，所分得的权重越高。

步骤6)更新样本权值向量，见公式4，再返回步骤2)；

$w_i^{t+1}=\frac{w_i^t\exp \{-{\mathrm{\α}}_t{y}_i{h}_t\left(x_i\right)\}}{C_t}---\left(4\right)$

此处的C_t表示归一化常量，而且

对错误分类的样本分配更大的权值，正确分类的样本赋予更小的权值。这样训练的下一个分类器就会侧重这些分错的样本；

步骤7)把多个弱分类器进行加权和，就得到了所需的强分类器，见公式5，大体是误差越大分类器的权重就越小；

$f\left(x\right)=\mathrm{sign}\left(\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\α}}_t{h}_t\left(x\right)\right)---\left(5\right)$

经过以上步骤，就得到了精确度较高，且各个错误不相关的的分类器。

Claims (1)

1.一种基于改进的支持向量机的软件缺陷优先级预测方法，其特征在于该方法分为两大部分：

一、数据分析

步骤11)收集错误报告数据集；

步骤12)对错误报告进行分析，提取其中的产品，组件，版本，平台，操作系统，缺陷状态，错误解决状况，优先级，严重程度，主题，详细描述的信息；

步骤13)把主题和详细描述中的停用词这样无意义的单词去掉，把所有单词转换成其基本形式；

步骤14)对每个样本标记上优先级，在这里，优先级分为五个等级：P1，P2，P3，P4，P5，其中P1的优先级最高，依次递减；

二、变换支持向量机的参数，针对同一训练集训练出不同的分类器，然后把这些分类器集合起来，

步骤21)先对所有样本赋以一个抽样权重，一般开始的时候权重都一样即认为均匀分布，也就是训练集如果有N个样本，每个样本的分布概率为1/N；

步骤22)调整高斯宽度σ，采用径向基函数RBF内核，其中最常用的径向基函数是高斯函数，形式为

其中x_c为核函数中心，σ为函数的宽度参数，共同控制了函数的径向作用范围。在训练过程中通过适当地调整可以获得适当精确的支持向量机分类器；

步骤23)如果σ大于已设定的高斯宽度值，就使用支持向量机训练弱学习机，否则，转到步骤7)；

步骤24)计算弱学习机的错误率，如公式2，如果错误率大于50％，降低σ，再转到步骤3)；

${\mathrm{\ϵ}}_t=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_i^t,y_i\≠h_t\left(x_i\right)$ 公式2

其中ε_t表示弱学习机的错误率；N表示样本个数；t表示第t个训练周期，则

表示第i个样本在第t个训练周期数的权重；x_i表示样本属性组成的向量，y_i表示该样本的类别标签；h_t(x_i)表示第t轮训练得到的弱学习机；

如果ε_t＞0.5，减少σ的值，重新利用支持向量机算法训练弱学习机；

步骤25)用得到的错误率计算弱学习机的权重，如公式3；

${\mathrm{\α}}_t=\frac{1}{2}\ln \left(\frac{1-{\mathrm{\ϵ}}_t}{{\mathrm{\ϵ}}_t}\right)$ 公式3

其中，α_t表示弱学习机的权值；ε_t表示弱学习机的错误率。可见，弱学习机的错误率越低，所分得的权重越高；

步骤26)更新样本权值向量，如公式4，再返回步骤2)；

$w_i^{t+1}=\frac{w_i^t\exp \{-{\mathrm{\α}}_t{y}_i{h}_t\left(x_i\right)\}}{C_t}$ 公式4

此处的C_t表示归一化常量，而且其中，N表示样本的个数；t表示第t个训练周期，则表示第i个样本在第t个训练周期数的权重；x_i表示样本属性组成的向量，y_i表示该样本的类别标签；α_t表示弱学习机的权重；h_t(x)表示第t轮训练周期得到的弱学习机；

步骤27)把多个弱分类器进行加权和，就得到了所需的强分类器，如公式5，大体是误差越大分类器的权重就越小；

$f\left(x\right)=\mathrm{sign}\left(\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\mathrm{\α}}_t{h}_t\left(x\right)\right)$ 公式5

其中，t表示第t个训练周期；α_t表示弱学习机的权重；x表示样本属性组成的向量；h_t(x)表示第t轮训练周期得到的弱学习机；

经过以上步骤，就得到了高精确度，且各个错误不相关的分类器。

Images