CN113448840A - 基于预测缺陷率和模糊综合评价模型的软件质量评价方法 - Google Patents

Abstract

本发明公开了基于预测缺陷率和模糊综合评价模型的软件质量评价方法，包括以下步骤，S1：采集软件代码的固有属性数据并进行整理；S2：对软件预测缺陷率模型进行训练和测试；S3：将步骤S1中采集的软件代码固有属性数据输入步骤S2中测试后的软件预测缺陷率模型中，得到软件的预测缺陷率；S4：建立模糊综合评价模型，将步骤S3中得出的预测缺陷率作为第二层的评价指标，构建判断矩阵，根据判断矩阵确定因素权重；S5：建立评价集，根据每一层每一个因素的评价等级建立模糊隶属度矩阵，结合模糊隶属度矩阵和权重矩阵进行综合评判，计算软件评价的综合得分。本发明中的方法能够提高软件缺陷判断的效率，同时还可以对软件的质量特性进行综合评价。

Description

基于预测缺陷率和模糊综合评价模型的软件质量评价方法

技术领域

本发明涉及软件质量评价技术领域，尤其涉及基于预测缺陷率和模糊综合评价模型的软件质量评价方法。

背景技术

软件质量的综合评价是软件质量评价中较为重要的一个方面。软件质量评价技术经历了近二十年的发展，已经形成了较为稳定的层次评估方法。模糊综合评价法根据数学模型的模糊隶属度理论，可以将定性评价转化为定量评价。但对软件进行评估打分时，评分的大小取决于评分者的经验决定，评价的主观性很大。而软件缺陷预测技术是通过软件代码的固有属性，例如树的数量，循环的数量等，通过机器学习的方法通过这些固有属性预测软件的缺陷率，预测的精确度完全取决于模型的效果，是客观的不具有人为的主观性，但是只通过软件缺陷预测技术不能完全的表现一个软件的好坏。

发明内容

针对上述存在的问题，本发明旨在提供一种基于预测缺陷率和模糊综合评价模型的软件质量评价方法，可以提高软件缺陷判断的效率，节省寻找软件缺陷的时间和资金，同时还可以对软件的质量特性进行综合评价。

为了实现上述目的，本发明所采用的技术方案如下：

基于预测缺陷率和模糊综合评价模型的软件质量评价方法，其特征在于，包括以下步骤，

S1：采集软件代码的固有属性数据并进行整理，作为软件预测缺陷率模型的输入；

S2：对软件预测缺陷率模型进行训练和测试；

S3：将步骤S1中采集的软件代码固有属性数据输入步骤S2中测试后的软件预测缺陷率模型中，得到软件的预测缺陷率；

S4：建立模糊综合评价模型，将步骤S3中得出的预测缺陷率作为第二层的评价指标，构建判断矩阵，根据判断矩阵确定因素权重；

S5：建立评价集，根据每一层每一个因素的评价等级建立模糊隶属度矩阵，结合模糊隶属度矩阵和权重矩阵进行综合评判，计算软件评价的综合得分。

进一步的，步骤S1中所述的软件代码的固有属性包括空代码行数、分支数、调用对的次数、代码和注释的行数、注解的行数、条件数、圈复杂度、圈密度、决定数数字、设计复杂性、设计密度数值、边数数字、必要的复杂性数值、周向密度、可执行数字、参数计数、全局数据的复杂性、全局数据密度、霍尔斯特德含量、霍尔斯特德困难、霍尔斯特德努力、霍尔斯特德误差、霍尔斯特德长度、霍尔斯特德水平、霍尔斯特德进度时间、霍尔斯特德体积、维护程度、修改条件数、多个条件数、节点数、归一化稳压复杂度、操作数、操作符、唯一操作数、唯一运算符、行数、评论百分比、总数。

进一步的，步骤S2中所述的软件预测缺陷率模型采用FLGBDT机器学习方法对软件缺陷进行预测，所述FLGBDT机器学习方法的损失函数为

式中，α和γ为超参数，y＝0，1为正样本或负样本，p_t表示预测概率。

进一步的，FLGBDT机器学习方法的损失函数中，α为0.25，γ为2。

进一步的，步骤S2中对软件预测缺陷率模型进行训练和测试的具体操作包括以下步骤，

S201：建立软件预测缺陷率模型评价指标；所述软件预测缺陷率模型评价指标包括命中率、误报率和临界成功指数；

S202：对训练集数据进行预处理；

S203：利用预处理后的训练集数据对软件预测缺陷率模型进行训练；

S204：将测试集数据输入训练后的软件预测缺陷率模型进行测试，利用步骤S201中建立的评价指标，评价软件预测缺陷率的评价精确度。

进一步的，步骤S202中采用SMOTE的过采样方法对训练集数据进行过采样预处理，过采样的比例为3∶1。

进一步的，步骤S4的具体操作步骤包括，

S401：建立三层的模糊综合评价模型；

S402：对模糊综合评价模型中的两两因素进行重要性比较，得出判断矩阵；

S403：根据每一层的判断矩阵计算权重向量W＝[w₁，w₂，...，w_n]^T。

进一步的，步骤S301中所述的模糊综合评价模型第一层为软件质量评价的最终得分；

第二层为软件的功能性、可靠性、易用性、维护性、可移植性、效率性和预测缺陷率；

第三层为：

软件的功能性所对应的准确性、适用性、互操作性、安全性和功能依从性；

软件的可靠性所对应的容错性、成熟性、易恢复性和可靠依从性；

软件的易用性所对应的易学性、易理解性、易操作性、吸引性和易用依从性；

软件的维护性所对应的易分析性、易改变性、稳定性、易测试性和维护依从性；

软件的可移植性所对应的适应性、共存性、易安装性、易替换性和移植依从性；

软件的效率性所对应的时间特性、资源利用性和效率依从性；

软件的预测缺陷率所对应的软件代码的固有属性。

进一步的，步骤S403的具体操作包括以下步骤，

S4031：设某一层有n个因素，则判断矩阵为n阶矩阵，计算判断矩阵的每一行元素的乘积T_j，

式中，a_ij表示因素i相较于因素j的重要标度；

S4032：对T_j开n次方得到

S4033：对m_j进行归一化处理，得到该层的权重值

S4044：根据每一层的权重值可得权重向量为W＝[w₁，w₂，...，w_n]^T。

进一步的，步骤S5的具体操作包括以下步骤，

S501：建立评价集V_i＝{V₁，V₂，V₃，V₄}＝{优秀，良好，中等，差}，依据四个评价等级，对每一层的每一个因素进行打分，确定隶属度；

S502：令第i层第j个因素的隶属度为r_ij，则模糊隶属度矩阵

S503：根据模糊隶属度矩阵和模糊综合评价模型的权重向量进行一级和二级综合评判；

S504：按照最大隶属度原则，对评价结果量化分值，采用模糊加权平均法进行处理，将评价集V_i＝{V₁，V₂，V₃，V₄}＝{优秀，良好，中等，差}对应的等级用[100，90)，[90，80)，[80，60)，[60，0]的四个区间值取中间值表示，最后乘以权重向量得到评价分值。

本发明的有益效果是：

1、本发明中在对软件预测缺陷率进行预测时所采用的软件预测缺陷率模型选用FLGBDT算法，相较于GBDT算法更适用于软件缺陷预测，可以在保留一定正负样本比例的前提下得到较为精确的预测结果，同时，FLGBDT更关注于对难分样本的预测，大大节省了算法在难分样本上浪费的时间，提高了算法的效率。

2、本发明将预测缺陷率与模糊综合评价模型相结合，能帮助软件质量评判人员进行综合和客观的质量评价，提高软件缺陷判断的效率，节省寻找软件缺陷的时间和资金的使用，同时还可以对软件的质量特性进行综合评价。

附图说明

图1为本发明中软件质量评价方法流程图。

图2为本发明中软件预测缺陷率模型中FLGBDT算法示意图。

图3为本发明中GBDT与FLGBDT对数据集预测的POD结果对比图。

图4为本发明中GBDT与FLGBDT对数据集预测的FAR结果对比图。

图5为本发明中GBDT与FLGBDT对数据集预测的CSI结果对比图。

图6为本发明中三层的模糊综合评价模型示意图。

具体实施方式

为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。

参照附图1所示，基于预测缺陷率和模糊综合评价模型的软件质量评价方法，包括以下步骤，

S1：采集软件代码的固有属性数据并进行整理，作为软件预测缺陷率模型的输入；

所述的软件代码的固有属性包括空代码行数、分支数、调用对的次数、代码和注释的行数、注解的行数、条件数、圈复杂度、圈密度、决定数数字、设计复杂性、设计密度数值、边数数字、必要的复杂性数值、周向密度、可执行数字、参数计数、全局数据的复杂性、全局数据密度、霍尔斯特德含量、霍尔斯特德困难、霍尔斯特德努力、霍尔斯特德误差、霍尔斯特德长度、霍尔斯特德水平、霍尔斯特德进度时间、霍尔斯特德体积、维护程度、修改条件数、多个条件数、节点数、归一化稳压复杂度、操作数、操作符、唯一操作数、唯一运算符、行数、评论百分比、总数，共计38种。

S2：对软件预测缺陷率模型进行训练和测试；

具体的，所述软件预测缺陷率模型采用FLGBDT机器学习方法对软件缺陷进行预测，FLGBDT是一种基于焦点改进梯度提升树的机器学习方法，通过替换GBDT(GradientBoosting Decision Tree，梯度提升树)的损失函数实现对易分与难分样本的关注；GBDT是一种boosting算法，它通过将若干弱分类器集合成强分类器；GBDT算法模型为加法模型，学习算法为前向分步算法，基函数为CART树，损失函数为平方损失函数的回归问题，为指数函数的分类问题和为一般损失函数的一般决策问题。

GBDT二分类算法过程如下：

初始化一个弱分类器：

其中，P(Y＝1|x)是训练样本中Y＝1的比例，利用先验信息来初始化学习器。

建立M棵分类回归树，m＝1，2，3，...，M，计算残差

i＝1，2，3，...，N，N为训练数据个数；

利用CART回归树拟合数据(x_i，r_m，i)，得到第m棵树，其对应叶子节点区域为R_m，j，其中j＝1，2，3，...，J_m，且J_m为第m棵回归树叶子结点的个数，每一个叶子节点赋一个参数c用来拟合残差：

更新强学习器：

得到最终强学习器：

在传统的GBDT分类问题中，一般使用交叉熵损失函数作为损失函数，但软件缺陷数据集存在着数据不平衡的问题，如果使用一般的损失函数会导致训练结果偏向于没有缺陷的结果，Focal loss函数可以解决样本失衡的问题，Focal Loss函数通过对原有交叉熵损失函数加入两个超参数，影响不平衡数据的权重从而提高预测的准确性。

因此，本发明中所述的FLGBDT机器学习算法模型即在传统GBDT的基础上，只对损失函数进行改进，采用Focal Loss损失函数

如附图2所示，式中，α和γ为超参数，y＝0，1为正样本或负样本，p_t表示预测概率。

优选的，根据经验值对FLGBDT机器学习方法的损失函数中的α和γ进行设置，α为0.25，γ为2。超参数关注难分样本与易分样本，对于难分样本与预测结果差值较大进行两倍的指数运算后值更大，增强模型对于难分样本与易分样本的关注度，从而增强模型的迭代效果，提高准确度。

进一步的，对软件预测缺陷率模型进行训练和测试的具体操作包括以下步骤，

S201：建立软件预测缺陷率模型评价指标；所述软件预测缺陷率模型评价指标包括命中率(POD)、误报率(FAR)和临界成功指数(CSI)；预测结果与实际结果的四种情况如下表1所示。

表1软件缺陷预测情况

命中率(POD)指的是预测结果与实际结果同为有缺陷的比率，它反映的是模型对软件缺陷的识别能力；误报率(FAR)指的是模型预测有缺陷错误的比率，反应的是模型误报缺陷的比率；临界成功指数(CSI)是指模型预测有缺陷或软件实际有缺陷并正确预测出结果的比率，命中率(POD)和临界成功指数(CSI)值越接近于1，说明模型预测能力越强，误报率(FAR)值越接近于0，模型预测能力越强。

计算公式分别为

S202：对训练集数据进行预处理；

在本发明中，采用美国国家航空航天局(NASA)的MDP(Metric Data Program)项目中MC1、PC2、PC4、PC5数据集对软件预测缺陷率模型进行训练和测试，下表2显示了这4个数据集的缺陷数据比例。从每个数据集中选取70％作为训练数据集，30％作为预测数据集，基学习器的个数统一为8个，学习率为0.02。

表2数据集缺陷数据比例表

在这4个数据集中都存在着数据不平衡的问题，为了解决不平衡问题，增强模型的预测效果，同时不过分损坏样本的分布情况，采用SMOTE的过采样方法对训练集数据进行过采样预处理，SMOTE过采样方法是基于随机过采样方法的一种改进方法，该算法的主要思想是通过K近邻技术，通过分析和模拟少数类样本，在数据集中添加新的人工样本来增加少数类样本的个数，其步骤可总结如下：

1)对于样本中的所有少数类样本，分别计算它们到其他样本的欧氏距离，得到若干近邻；

2)确定一个采样倍率；

3)从若干近邻中选出若干近邻样本；

4)通过每个近邻样本构建新的样本。

S203：利用预处理后的训练集数据对软件预测缺陷率模型进行训练；

S204：将测试集数据输入训练后的软件预测缺陷率模型进行测试，利用步骤S201中建立的评价指标，评价软件预测缺陷率的评价精确度。

利用本发明中的FLGBDT机器学习方法以及传统的GBDT方法对四个数据集的预测结果如下表3所示，对比结果如附图3～附图5所示。

表3不同预测方法预测结果对比表

结合表3和附图3～5可以看出，通过Focal Loss函数改进的GBDT模型在多个软件缺陷数据集上，针对命中率(POD)、误报率(FAR)和临界成功指数(CSI)都有着明显的提升。

S3：将步骤S1中采集的软件代码固有属性数据输入步骤S2中测试后的软件预测缺陷率模型中，得到软件的预测缺陷率；

S4：建立模糊综合评价模型，将步骤S3中得出的预测缺陷率作为第二层的评价指标，构建判断矩阵，根据判断矩阵确定因素权重；

具体的，S401：建立三层的模糊综合评价模型，如附图6所示。

模糊综合评价模型第一层为软件质量评价的最终得分；

第二层为软件的功能性、可靠性、易用性、维护性、可移植性、效率性和预测缺陷率；

第三层为：

软件的功能性所对应的准确性、适用性、互操作性、安全性和功能依从性；

软件的可靠性所对应的容错性、成熟性、易恢复性和可靠依从性；

软件的易用性所对应的易学性、易理解性、易操作性、吸引性和易用依从性；

软件的维护性所对应的易分析性、易改变性、稳定性、易测试性和维护依从性；

软件的可移植性所对应的适应性、共存性、易安装性、易替换性和移植依从性；

软件的效率性所对应的时间特性、资源利用性和效率依从性；

软件的预测缺陷率所对应的软件代码的固有属性，也即空代码行数、分支数、调用对的次数、代码和注释的行数、注解的行数、条件数、圈复杂度、圈密度、决定数数字、设计复杂性、设计密度数值、边数数字、必要的复杂性数值、周向密度、可执行数字、参数计数、全局数据的复杂性、全局数据密度、霍尔斯特德含量、霍尔斯特德困难、霍尔斯特德努力、霍斯特德误差、霍尔斯特德长度、霍尔斯特德水平、霍尔斯特德进度时间、霍斯特德体积、维护程度、修改条件数、多个条件数、节点数、归一化稳压复杂度、操作数、操作符、唯一操作数、唯一运算符、行数、评论百分比和总数38个评价指标。

S402：对模糊综合评价模型中的两两因素进行重要性比较，得出判断矩阵；判断矩阵的构建标准如下表4所示。

表4判断矩阵构建标准

反之，后者与前者的比较就是标度的分数，例如前者相较于后者的重要标度为3，则后者相较于前者的重要标度为1/3。

S403：根据每一层的判断矩阵计算权重向量W＝[w₁，w₂，...，w_n]^T。

具体的，S4031：设某一层有n个因素，则判断矩阵为n阶矩阵，计算判断矩阵的每一行元素的乘积T_j，

式中，a_ij表示因素i相较于因素j的重要标度；

S4032：对T_j开n次方得到

S4033：对m_j进行归一化处理，得到该层的权重值

S4044：根据每一层的权重值可得权重向量为W＝[w₁，w₂，...，w_n]^T。

S5-建立评价集，根据每一层每一个因素的评价等级建立模糊隶属度矩阵，结合模糊隶属度矩阵和权重矩阵进行综合评判，计算软件评价的综合得分。

具体的，

S501：建立评价集V_i＝{V₁，V₂，V₃，V₄}＝{优秀，良好，中等，差}，依据四个评价等级，对每一层的每一个因素进行打分，确定隶属度；

假设有t位专家对软件质量评判，其中有k位专家认定因素U_ij的评价等级为V_i，则因素U_ij的隶属度为r_ij＝k/t。

S502：令第i层第j个因素的隶属度为r_ij，则模糊隶属度矩阵

S503：根据模糊隶属度矩阵和模糊综合评价模型的权重向量进行综合评判；

具体的，一级模糊综合评价模型如公式

所示，由第三层隶属度矩阵乘以第三层权重得出；二级模糊综合评价模型如公式

所示，由一级模糊综合评价乘以第二层权重得出，对二级模糊评价进行量化分值得到最终的评价结果；其中

为合成算子。

S504：按照最大隶属度原则，对评价结果量化分值，采用模糊加权平均法进行处理，将评价集V_i＝{V₁，V₂，V₃，V₄}＝{优秀，良好，中等，差}对应的等级用[100，90)，[90，80)，[80，60)，[60，0]的四个区间值取中间值表示，最后乘以权重向量得到评价分值。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.基于预测缺陷率和模糊综合评价模型的软件质量评价方法，其特征在于，包括以下步骤，

S1：采集软件代码的固有属性数据并进行整理，作为软件预测缺陷率模型的输入；

S2：对软件预测缺陷率模型进行训练和测试；

S3：将步骤S1中采集的软件代码固有属性数据输入步骤S2中测试后的软件预测缺陷率模型中，得到软件的预测缺陷率；

S4：建立模糊综合评价模型，将步骤S3中得出的预测缺陷率作为第二层的评价指标，构建判断矩阵，根据判断矩阵确定因素权重；

S5：建立评价集，根据每一层每一个因素的评价等级建立模糊隶属度矩阵，结合模糊隶属度矩阵和权重矩阵进行综合评判，计算软件评价的综合得分。

2.根据权利要求1所述的基于预测缺陷率和模糊综合评价模型的软件质量评价方法，其特征在于：步骤S1中所述的软件代码的固有属性包括空代码行数、分支数、调用对的次数、代码和注释的行数、注解的行数、条件数、圈复杂度、圈密度、决定数数字、设计复杂性、设计密度数值、边数数字、必要的复杂性数值、周向密度、可执行数字、参数计数、全局数据的复杂性、全局数据密度、霍尔斯特德含量、霍尔斯特德困难、霍尔斯特德努力、霍尔斯特德误差、霍尔斯特德长度、霍尔斯特德水平、霍尔斯特德进度时间、霍尔斯特德体积、维护程度、修改条件数、多个条件数、节点数、归一化稳压复杂度、操作数、操作符、唯一操作数、唯一运算符、行数、评论百分比、总数。

3.根据权利要求1所述的基于预测缺陷率和模糊综合评价模型的软件质量评价方法，其特征在于，步骤S2中所述的软件预测缺陷率模型采用FLGBDT机器学习方法对软件缺陷进行预测，所述FLGBDT机器学习方法的损失函数为

式中，α和γ为超参数，y＝0，1为正样本或负样本，p_t表示预测概率。

4.根据权利要求3所述的基于预测缺陷率和模糊综合评价模型的软件质量评价方法，其特征在于，FLGBDT机器学习方法的损失函数中，α为0.25，γ为2。

5.根据权利要求1所述的基于预测缺陷率和模糊综合评价模型的软件质量评价方法，其特征在于，步骤S2中对软件预测缺陷率模型进行训练和测试的具体操作包括以下步骤，

S201：建立软件预测缺陷率模型评价指标；所述软件预测缺陷率模型评价指标包括命中率、误报率和临界成功指数；

S202：对训练集数据进行预处理；

S203：利用预处理后的训练集数据对软件预测缺陷率模型进行训练；

S204：将测试集数据输入训练后的软件预测缺陷率模型进行测试，利用步骤S201中建立的评价指标，评价软件预测缺陷率的评价精确度。

6.根据权利要求5所述的基于预测缺陷率和模糊综合评价模型的软件质量评价方法，其特征在于，步骤S202中采用SMOTE的过采样方法对训练集数据进行过采样预处理，过采样的比例为3：1。

7.根据权利要求1所述的基于预测缺陷率和模糊综合评价模型的软件质量评价方法，其特征在于，步骤S4的具体操作步骤包括，

S401：建立三层的模糊综合评价模型；

S402：对模糊综合评价模型中的两两因素进行重要性比较，得出判断矩阵；

S403：根据每一层的判断矩阵计算权重向量W＝[w₁，w₂，...，w_n]^T。

8.根据权利要求7所述的基于预测缺陷率和模糊综合评价模型的软件质量评价方法，其特征在于，步骤S301中所述的模糊综合评价模型第一层为软件质量评价的最终得分；

第二层为软件的功能性、可靠性、易用性、维护性、可移植性、效率性和预测缺陷率；

第三层为：

软件的功能性所对应的准确性、适用性、互操作性、安全性和功能依从性；

软件的可靠性所对应的容错性、成熟性、易恢复性和可靠依从性；

软件的易用性所对应的易学性、易理解性、易操作性、吸引性和易用依从性；

软件的维护性所对应的易分析性、易改变性、稳定性、易测试性和维护依从性；

软件的可移植性所对应的适应性、共存性、易安装性、易替换性和移植依从性；

软件的效率性所对应的时间特性、资源利用性和效率依从性；

软件的预测缺陷率所对应的软件代码的固有属性。

9.根据权利要求7所述的基于预测缺陷率和模糊综合评价模型的软件质量评价方法，其特征在于，步骤S403的具体操作包括以下步骤，

S4031：设某一层有n个因素，则判断矩阵为n阶矩阵，计算判断矩阵的每一行元素的乘积T_j，

式中，a_ij表示因素i相较于因素j的重要标度；

S4032：对T_j开n次方得到

S4033：对m_j进行归一化处理，得到该层的权重值

S4044：根据每一层的权重值可得权重向量为W＝[w₁，w₂，...，w_n]^T。

10.根据权利要求1所述的基于预测缺陷率和模糊综合评价模型的软件质量评价方法，其特征在于，步骤S5的具体操作包括以下步骤，

S501：建立评价集V_i＝{V₁，V₂，V₃，V₄}＝{优秀，良好，中等，差}，依据四个评价等级，对每一层的每一个因素进行打分，确定隶属度；

S502：令第i层第j个因素的隶属度为r_ij，则模糊隶属度矩阵

S503：根据模糊隶属度矩阵和模糊综合评价模型的权重向量进行一级和二级综合评判；

S504：按照最大隶属度原则，对评价结果量化分值，采用模糊加权平均法进行处理，将评价集V_i＝{V₁，V₂，V₃，V₄}＝{优秀，良好，中等，差}对应的等级用[100，90)，[90，80)，[80，60)，[60，0]的四个区间值取中间值表示，最后乘以权重向量得到评价分值。

Images