CN110543411B - 一种演化环境下变异测试强度需求预测方法 - Google Patents

Abstract

本发明涉及一种演化环境下变异测试强度需求预测方法。该方法基于特征提取和错误检测数目对软件的各个版本通过数据清洗和特征选择，构建用于模型训练的特征矩阵和强度向量；在此基础上，应用BP神经网络方法构建预测模型，并在模型构建时不断通过信号前向传播和误差后向传播结果调整模型权重，从而学习生成一个变异测试强度需求预测模型BP‑Model；最后，将当前软件版本的特征向量输入到BP‑Model中，最终生成当前软件版本的变异测试强度需求。本发明目的在于解决目前存在的新版本软件变异测试强度未知的难题，进而帮助测试人员制订合理的变异测试需求，帮助测试人员在有限的时间内构建有效的测试用例集。

Description

一种演化环境下变异测试强度需求预测方法

技术领域

本发明属于软件测试与程序分析领域，尤其适用于软件测试中的测试充分性度量领域，其目的在于为软件测试人员在系统演化环境下开展变异测试提供指导，是一种帮助软件测试人员在有限时间内确定更加合理的软件变异测试强度需求的方法。

背景技术

软件在演化过程中，其结构和功能会持续发生变化。例如，修复遗留的错误、增加新的功能、删除过时的功能；又例如，更改功能的实现方式、触发位置等。通过演化，软件结构也变得更加合理、功能和服务也更加完善。与此同时，软件的测试用例集也需要随之改变。以面向对象程序的单元测试为例，一个单元测试用例通常包含了初始化、调用、检查、清除等四个组成部分。当软件演化后被测类的构造方式、被测方法的参数类型及返回值类型发生变化时，已有测试用例的初始化、调用、检查、清除方式都不可避免的会受到影响，由此造成测试用例难以再重复使用。这表明，在软件持续演化过程中维护一个始终可用的、有效的测试用例集是一项具有挑战性的工作。

如何评价一个测试用例集的有效性是一种重要的研究问题。当软件中错误数量是已知时，测试用例集能检测到的错误越多，则可称该测试用例集的有效性越高。然而在生产实践中，软件中错误的总数量是未知的。对此，研发人员只能依赖于其它手段(如程序代码覆盖率、变异测试等)来辅助分析测试用例集的有效性。变异测试是一种评估测试用例错误检测能力的有效方法：首先，针对源程序通过变异算子生成一系列变异程序；其次，执行并记录源程序和各个变异程序执行结果；最后，分析计算与源程序执行结果不同的变异程序执行结果所占的比例，记为变异得分。变异得分越高，则表明测试用例集的错误检测能力越强，因而构建的测试用例集最好能够获得最高的变异得分，即100％。然而，构建一个具有最高变异得分的测试用例集通常是难以实现的：一方面，变异算子种类多样、变异位置选择众多，使得潜在的变异程序数量十分庞大，针对不同的变异程序设计相应的测试用例给测试人员带来大量的负担；另一方面，当前随着软件开发理念、方法、技术、工具的不断进步以及硬件产品性能的显著提升，软件产品的研发模式也更多地由原来顺序开展的瀑布模型逐渐演变为强调迭代、循序渐进的敏捷模式，由此造成每个软件产品迭代周期渐短，留给测试人员的时间更是少之又少。因此，在软件演化过程中始终使测试用例集的变异测试强度维持在最高水平几乎是不可能的，测试人员需要在待测产品质量、软件测试时间、变异测试强度之间取得平衡。

对此，本发明提出一种演化环境下变异测试强度需求预测方法。本发明的基本思想为：在软件历史各版本中，具有良好质量的软件版本所具有的特征和相应测试用例集的变异测试强度可以为当前软件版本变异测试强度的确定提供有效地指导信息。对此，针对软件仓库SR(Software Repository)中的不同软件版本及其特征(包括内在特征、演化特征、变异特征)、错误检测数目、变异测试强度等信息，首先，通过数据清洗获得原始数据矩阵和强度向量；其次，对清洗得到数据依据特征分别做归一化处理，并选择与变异测试强度存在显著相关的特征构建特征矩阵；再次，针对特征矩阵和强度向量应用BP神经网络算法构建变异测试强度预测模型BP-Model；最后，给定当前版本的特征信息，进而通过BP-Model预测当前版本的变异测试强度需求。通过该方法，可以帮助测试人员判断当前版本在给定时间内可能达到的变异得分，进而设计变异测试强度需求，减少测试人员的决策时间，从而有效提高软件测试、软件研发效率。

发明内容

本发明通过提供一种演化环境下变异测试强度需求预测方法，来有效解决目前存在的新版本软件变异测试强度需求未知的难题，进而帮助测试人员制订合理的变异测试需求，帮助测试人员在有限的时间内构建有效的测试用例集。

为达成上述目标，本发明提出一种演化环境下变异测试强度需求预测方法。该方法基于特征提取和错误检测数目对软件的各个版本通过数据清洗和特征选择，构建用于模型训练的特征矩阵Data和强度向量vec^strength；在此基础上，应用BP神经网络方法构建预测模型，并在模型构建时不断通过信号前向传播和误差后向传播结果调整模型权重，从而学习生成一个变异测试强度需求预测模型BP-Model；最后，将当前软件版本的特征向量vec_c＝<a_c ^I，a_c ^E，a_c ^M>输入到BP-Model中，最终生成当前软件版本的变异测试强度需求strength_c ^mutation。具体而言，该方法包括下列步骤。

1)数据清洗。给定软件仓库SR＝{v₀，…，V_i-1，v_i，v_i+1，…，v_c}，其中v₀表示待测软件的初始版本(Initial Version)，v_i-1，v_i，v_i+1分别表示软件的第i-1、i、i+1个版本，v_c表示软件的当前版本(Current Version)，满足1≤i≤c-1。其中，每一个版本v_i可以表示为一个五元组<a_i ^I，a_i ^E，a_i ^M，num_i ^checked，score_i ^mutation>，a_i ^I、a_i ^E、a_i ^M分别表示软件的内在特征(如类/方法/代码数、功能点数、平均复杂度/耦合度/内聚度、测试用例集的代码覆盖率等)、演化特征(如类/方法/代码变化数、功能点增加/减少/更改数、平均复杂度/耦合度内聚度变化、测试用例集的代码覆盖率变化比例等)、变异特征(如可用变异算子的类型、测试用例集的变异杀死率及变异杀死率变化比例等)，num_i ^checked表示发布v_i+1版本前在v_i版本中发现的缺陷数量，score_i ^mutation表示测试用例集的变异得分。

本步骤的目的是从SR中去除测试效果不佳的软件版本，保留测试效果良好的软件版本的内在特征、演化特征、变异特征及变异测试强度，为后续特征选择和模型构建提供原始数据。由于，v₀缺乏演化特征，v_c是待预测版本，因此首先去除v₀和v_c。对于余下版本{v₁，v₂，…，v_c-1}，通过比较错误检测数目进一步去除num^checked高于平均错误检测数目ave^checked的版本。ave^checked的计算公式如下：

对于每个保留版本，新建一个特征向量vec＝<a_i ^I，a_i ^E，a_i ^M>，并将其添加到原始数据矩阵Data^raw中。同时，根据该版本的变异得分score_i ^mutation度量测试用例集的变异测试强度strength_i ^mutation，并将其添加到强度向量vec^strength中。strength^mutation的度量公式如下：

2)特征选择。给定原始数据矩阵Data^raw和强度向量vec^strength，对vec^strength和Data^raw中的每一列数据vec^column通过Min-Max标准化进行归一化处理，从而将数据置于更加合理的区间中。

归一化完成后，通过Pearson相关系数度量每列数据vec^column与vec^strength的相关性r以及相关显著性p-value，保留至少存在中等强度(r＞0.4)且显著性相关(p-value＜0.05)的数据至特征矩阵Data中。所有数据比较完成后，特征矩阵Data和vec^strength生成完毕。

3)模型构建。给定特征矩阵Data和强度向量vec^strength，初始化BP神经网络模型各层，包括输入层、隐藏层和输出层。依次从特征矩阵中选择每一个样本数据vec^row以及对应的变异测试强度strength^mutation输入到模型中，计算各个隐藏层和输出层的输入输出。对比实际输出结果与strength^mutation计算反向误差，后向修正输出层、各个隐藏层和输入层的权值。计算全局误差。所有样本都输入到模型后，或当全局误差为0时，学习过程结束，输出训练后的BP神经网络模型BP-Model。

4)强度预测。给定模型BP-Model以及当前软件版本v_c的特征向量vec_c＝<a_c ^I，a_c ^E，a_c ^M>，归一化vec_c并将其输入到BP-Model中，最终生成v_c的变异测试强度需求strength_c ^mutation。

进一步，其中上述步骤1)的具体步骤如下：

步骤1)-1：起始状态；

步骤1)-2：输入各个版本信息SR＝{v_i|i∈[1，c-1]}；

步骤1)-3：计算所有版本的平均错误数ave^checked；

步骤1)-4：从SR中选择一个版本v_i＝<a_i ^I，a_i ^E，a_i ^M，num_i ^checked，score_i ^mutation>；

步骤1)-5：判断num_i ^checked是否小于等于ave^checked，若是则执行下一步，若否则执行步骤1)-4；

步骤1)-6：新建特征向量vec＝<a_i ^I，a_i ^E，a_i ^M>，并将其添加到原始数据矩阵Data^raw中；

步骤1)-7：度量变异测试强度strength_i ^mutation，并将其添加到强度向量vec^strength中；

步骤1)-8：判断SR是否遍历完成，若是则执行下一步，若否则执行步骤1)-4；

步骤1)-9：输出原始数据矩阵Data^raw和强度向量vec^strength；

步骤1)-10：结束状态。

进一步，其中上述步骤2)的具体步骤如下：

步骤2)-1：起始状态；

步骤2)-2：输入原始数据矩阵Data^raw和强度向量vec^strength；

步骤2)-3：归一化vec^strength；

步骤2)-4：从Data^raw中取出一列数据vec^column；

步骤2)-5：归一化vec^column；

步骤2)-6：计算vec^strength与vec^column的Pearson相关系数r及相关显著性p-value；

步骤2)-7：判断条件“r＞0.4&&p-value＜0.05”是否满足，若是则执行下一步，若否则执行步骤2)-3；

步骤2)-8：添加vec^column到特征矩阵Data中；

步骤2)-9：判断Data^raw是否遍历完成，若是则执行下一步，若否则执行步骤2)-3；

步骤2)-10：输出特征矩阵Data和归一化后的强度向量vec^strength；

步骤2)-11：结束状态。

进一步，其中上述步骤3)的具体步骤如下：

步骤3)-1：起始状态；

步骤3)-2：输入特征矩阵Data和强度向量vec^strength；

步骤3)-3：初始化BP-神经网络模型中的输入层、隐藏层和输出层；

步骤3)-4：从特征矩阵Data中选择一个样本vec^row，从vec^strength中选择相应的变异强度strength^mutation；

步骤3)-5：计算隐藏层、输出层各个节点的输入和输出；

步骤3)-6：对比strength^mutation与实际输出结果并计算反向误差；

步骤3)-7：修正输出层、隐藏层和输入层中各个神经元的权值；

步骤3)-8：计算全局误差；

步骤3)-9：若Data中所有样本遍历完毕或全局误差为0则执行下一步，否则执行步骤3)-4；

步骤3)-10：输出训练后的BP神经网络模型BP-Model；

步骤3)-11：结束状态。

进一步，其中上述步骤4)的具体步骤如下：

步骤4)-1：起始状态；

步骤4)-2：输入当前版本v_c的特征向量vec_c＝<a_c ^I，a_c ^E，a_c ^M>和模型BP-Model；

步骤4)-3：归一化vec_c；

步骤4)-4：基于BP-Model预测v_c的变异测试强度需求strength_c ^mutation；

步骤4)-5：输出strength_c ^mutation；

步骤4)-6：结束状态。

附图说明

图1为本发明实施中的一种演化环境下变异测试强度需求预测方法的流程图。

图2为图1中数据清洗的流程图。

图3为图1中特征选择的流程图。

图4为图1中模型构建的流程图。

图5为图1中强度预测的流程图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

图1为本发明实施的一种演化环境下变异测试强度需求预测方法的流程图。

一种演化环境下变异测试强度需求预测方法，其特征在于，包括下列步骤。

S1数据清洗，比较每一个版本发布后检测到的错误数目与所有版本的平均错误检测数目，提取错误数目低于平均数目版本的特征，包括内在特征、演化特征和变异特征，并将它们添加到原始数据矩阵；选择与原始数据矩阵中样本相关的变异测试强度，并将它们添加到强度向量中；所有样本分析结束后，生成原始数据矩阵和强度向量。

S2特征选择，归一化强度向量，同时依据特征归一化原始数据矩阵中每一列数据；基于Pearson相关系数度量强度向量与每列数据的相关性和相关显著性，保留至少存在中等强度相关且存在显著性相关的数据构建特征矩阵；所有数据分析结束后，生成特征矩阵和归一化后的强度向量。

S3模型构建，给定特征矩阵和强度向量，将每一个样本作为输入通过BP-神经网络模型进行训练，在模型构建时不断通过信号前向传播和误差后向传播结果调整模型权重，从而学习生成一个变异测试强度需求预测模型BP-Model。

S4强度预测，给定当前软件版本的内在特征、演化特征和变异特征，在对这些特征进行归一化的基础上，通过BP-Model预测当前软件版本的变异测试强度需求。

图2为数据清洗的流程图。针对软件仓库中每一个版本，通过其发布后错误检测数筛选具有良好测试效果的软件版本所具有的特征及对应测试用例集的变异测试强度，从而生成原始数据矩阵和强度向量。具体步骤如下：

步骤1：起始状态；步骤2：输入各个版本信息SR＝{v_i|i∈[1，c-1]}；步骤3：计算所有版本的平均错误数ave^checked；步骤4：从SR中选择一个版本v_i＝<a_i ^I，a_i ^E，a_i ^M，num_i ^checked，score_i ^mutation>；步骤5：判断num_i ^checked是否小于等于ave^checked，若是则执行下一步，若否则执行步骤4；步骤6：新建特征向量vec＝<a_i ^I，a_i ^E，a_i ^M>，并将其添加到原始数据矩阵Data^raw中；步骤7：度量变异测试强度strength_i ^mutation，并将其添加到强度向量vec^strength中；步骤8：判断SR是否遍历完成，若是则执行下一步，若否则执行步骤4；步骤9：输出原始数据矩阵Data^raw和强度向量vec^strength；步骤10：结束状态。

图3为特征选择的流程图。归一化强度数据和原始数据矩阵中的每一列数据，并通过Pearson相关系数度量强度向量与每列数据的相关性和相关显著性，保留至少存在中等强度且存在显著性相关的数据构建特征矩阵，从而生成特征矩阵和归一化的强度向量。具体步骤如下：

步骤1：起始状态；步骤2：输入原始数据矩阵Data^raw和强度向量vec^strength；步骤3：归一化vec^strength；步骤4：从Data^raw中取出一列数据vec^column；步骤5：归一化vec^column；步骤6：计算vec^strength与vec^column的Pearson相关系数r及相关显著性p-value；步骤7：判断条件“r＞0.4&&p-value＜0.05”是否满足，若是则执行下一步，若否则执行步骤3；步骤8：添加vec^column到特征矩阵Data中；步骤9：判断Data^raw是否遍历完成，若是则执行下一步，若否则执行步骤3；步骤10：输出特征矩阵Data和归一化后的强度向量vec^strength；步骤11：结束状态。

图4为模型构建的流程图。以特征矩阵和强度向量作为输入，通过BP神经网络算法训练生成变异测试强度需求预测模型BP-Model。具体步骤如下：

步骤1：起始状态；步骤2：输入特征矩阵Data和强度向量vec^strength；步骤3：初始化BP-神经网络模型中的输入层、隐藏层和输出层；步骤4：从特征矩阵Data中选择一个样本vec^row，从vec^strength中选择相应的变异强度strength^mutation；步骤5：计算隐藏层、输出层各个节点的输入和输出；步骤6：对比strength^mutation与实际输出结果并计算反向误差；步骤7：修正输出层、隐藏层和输入层中各个神经元的权值；步骤8：计算全局误差；步骤9：若Data中所有样本遍历完毕或全局误差为0则执行下一步，否则执行步骤4；步骤10：输出训练后的BP神经网络模型BP-Model；步骤11：结束状态。

图5为强度预测的流程图。以当前软件版本归一化后的内在特征、演化特征、变异特征作为输入，通过BP-Model预测当前版本的变异测试强度。具体步骤如下：

步骤1：起始状态；步骤2：输入当前版本v_c的特征向量vec_c＝<a_c ^I，a_c ^E，a_c ^M>和模型BP-Model；步骤3：归一化vec_c；步骤4：基于BP-Model预测v_c的变异测试强度需求strength_c ^mutation；步骤5：输出strength_c ^mutation；步骤6：结束状态。

综上所述，本发明解决了目前存在的新版本软件变异测试强度需求未知的难题，从而能帮助测试人员制订合理的变异测试需求，帮助测试人员在有限的时间内构建有效的测试用例集，最终起到提高软件测试效率、保障软件质量的目的。

Claims (1)

1.一种演化环境下变异测试强度需求预测方法，其特征在于，基于特征提取和错误检测数目对软件的各个版本通过数据清洗和特征选择，构建用于模型训练的特征矩阵Data和强度向量vec^strength；在此基础上，应用BP神经网络方法构建预测模型，并在模型构建时不断通过信号前向传播和误差后向传播结果调整模型权重，从而学习生成一个变异测试强度需求预测模型BP-Model；最后，将当前软件版本的特征向量vec_c＝<a_c ^I，a_c ^E，a_c ^M>输入到BP-Model中，最终生成当前软件版本的变异测试强度需求strength_c ^mutation；该方法包括下列步骤：

1)数据清洗，给定软件仓库SR＝{v₀，…，v_i-1，v_i，v_i+1，…，v_c}，其中v₀表示待测软件的初始版本Initial Version，v_i-1，v_i，v_i+1分别表示软件的第i-1、i、i+1个版本，v_c表示软件的当前版本Current Version，满足1≤i≤c-1；其中，每一个版本v_i可以表示为一个五元组<a_i ^I，a_i ^E，a_i ^M，num_i ^checked，score_i ^mutation>，a_i ^I、a_i ^E、a_i ^M分别表示软件的内在特征、演化特征、变异特征，num_i ^checked表示发布v_i+1版本前在v_i版本中发现的缺陷数量，score_i ^mutation表示测试用例集的变异得分；

本步骤的目的是从SR中去除测试效果不佳的软件版本，保留测试效果良好的软件版本的内在特征、演化特征、变异特征及变异测试强度，为后续特征选择和模型构建提供原始数据；由于，v₀缺乏演化特征，v_c是待预测版本，因此首先去除v₀和v_c；对于余下版本{v₁，v₂，…，v_c-1}，通过比较错误检测数目进一步去除num^checked高于平均错误检测数目ave^checked的版本；ave^checked的计算公式如下：

对于每个保留版本，新建一个特征向量vec＝<a_i ^I，a_i ^E，a_i ^M>，并将其添加到原始数据矩阵Data^raw中；同时，根据该版本的变异得分score_i ^mutation度量测试用例集的变异测试强度strength_i ^mutation，并将其添加到强度向量vec^strength中；strength^mutation的度量公式如下：

2)特征选择，给定原始数据矩阵Data^raw和强度向量vec^strength，对vec^strength和Data^raw中的每一列数据vec^column通过Min-Max标准化进行归一化处理，从而将数据置于更加合理的区间中；

归一化完成后，通过Pearson相关系数度量每列数据vec^column与vec^strength的相关性r以及相关显著性p-value，保留至少存在中等强度r＞0.4且显著性相关p-value＜0.05的数据至特征矩阵Data中；所有数据比较完成后，特征矩阵Data和vec^strength生成完毕；

3)模型构建，给定特征矩阵Data和强度向量vec^strength，初始化BP神经网络模型各层，包括输入层、隐藏层和输出层；依次从特征矩阵中选择每一个样本数据vec^row以及对应的变异测试强度strength^mutation输入到模型中，计算各个隐藏层和输出层的输入输出；对比实际输出结果与strength^mutation计算反向误差，后向修正输出层、各个隐藏层和输入层的权值；计算全局误差；所有样本都输入到模型后，或当全局误差为0时，学习过程结束，输出训练后的BP神经网络模型BP-Model；

4)强度预测，给定模型BP-Model以及当前软件版本v_c的特征向量vec_c＝<a_c ^I，a_c ^E，a_c ^M>，归一化vec_c并将其输入到BP-Model中，最终生成v_c的变异测试强度需求strength_c ^mutation。

Images