CN111090585B - 一种基于众测过程的众测任务关闭时间自动预测方法 - Google Patents

Abstract

本发明提供了一种基于众测过程的众测任务关闭时间自动预测方法，该方法包括：监控众测过程，按时间顺序收集众测报告；自动评估众测任务需求的术语覆盖度，判断术语覆盖度是否满足设定阈值；将特定数目的众测报告作为一个增量采样组；自动检测众测报告间的重复性；基于众测报告间的重复性，得到以增量采样组为单元的缺陷到达趋势，采用捕获再捕获方法预测被测软件含有的缺陷数目，如果已经发现的缺陷数目和预测的缺陷数目相同且术语覆盖度已经满足，则当前时间为任务的关闭时间，否则继续监控众测过程。本发明通过实时监控众测过程，预测合适的众测任务关闭时间，既保证测试充分性又可降低众测成本。

Description

一种基于众测过程的众测任务关闭时间自动预测方法

技术领域

本发明属于计算机技术领域，涉及软件测试技术，尤其是众包软件测试(简称众测)，用于管理众测过程，通过实时监控众测过程，预测合适的众测任务关闭时间，既保证测试充分性又降低众测成本，为一种基于众测过程的众测任务关闭时间自动预测方法。

背景技术

众测是指在软件正式发布前，软件公司将测试任务发布到互联网上的众测平台，平台上的众测人员执行测试，并提交众测报告。由于软件错误会导致用户流失和经济损失，在软件公司专业测试人员相对短缺的情况下，众测技术在当前互联网公司软件研发或更新过程中被广泛采用。

测试工程师时常面临评估“多少测试就足够了”的问题。不充分的测试会降低软件质量，过量的测试会潜在的延长项目周期、导致成本浪费。因众测环境下移动应用程序的复杂性和分布式众测过程的不可预测性，这个问题在众测环境下表现得尤为突出。为了更好的计划和管理众测过程，软件测试管理已有实践采用基于经验的、基于风险的、基于价值的方法等。然而，这些方法对于新兴的众测场景是不适用的，因为众测环境下众测人员的活动是自发的、不可控的，且管理者对于众测过程的干预也很难发挥作用。

在当前的众测实践中，项目管理人员严重的依赖专家经验来决定何时关闭众测任务，包括设置固定的任务周期(例如5天)、设置固定的参与人员(例如400个人)等。基于真实的众测平台数据调查发现，不同的众测任务在1)缺陷达到速率，2)任务周期，3)达到特定质量等级所需要的成本等方面差异很大。为了应对这些差异带来的影响，管理者倾向于设置很大的阈值(例如任务周期、参与人员)，这导致众测过程非常的低效，有很多的成本浪费，也就是在众测过程的后面阶段，没有或者只有极少的缺陷发现。

因此，对于如何管理众测过程、何时关闭众测任务以便降低众测成本同时保证测试充分性，管理者面临很大的挑战。本发明通过自动监控众测过程，建模缺陷的到达趋势，从而自动评估测试完成情况，预测合适的任务关闭时间，既保证测试充分性，又降低众测成本。

发明内容

本发明要解决的技术问题是：提出一种基于众测过程的众测任务关闭时间自动预测方法，为进行中的众测任务实时确定关闭时间，既保证测试充分性，又降低众测成本。

本发明的技术方案为：

一种基于众测过程的众测任务关闭时间自动预测方法，包括以下步骤：

(1)监控众测过程，按时间顺序收集众测报告；

(2)基于收集到的众测报告自动评估众测任务需求的术语覆盖度，判断术语覆盖度是否满足设定阈值；

(3)采用增量采样方法处理按时间顺序收集的众测报告，将特定数目的众测报告作为一个增量采样组；

(4)自动检测众测报告间的重复性；

(5)基于众测报告间的重复性，得到以增量采样组为单元的缺陷到达趋势，采用捕获再捕获方法预测被测软件含有的缺陷数目，如果已经发现的缺陷数目和预测的缺陷数目相同且术语覆盖度已经满足，则当前时间为任务的关闭时间，否则继续监控众测过程。

进一步地，步骤(1)包括以下几个子步骤：

1a)记录每个众测报告的到达时间、ID及报告自然语言描述；

1b)将众测报告按照到达时间排序，以备后续处理。

进一步地，步骤(2)包括以下几个子步骤：

2a)收集该众测平台上已经完成的其他众测任务的需求和众测报告，将所有收集到的需求和众测报告均作为文档；

2b)基于所有收集到的文档的自然语言描述，得到描述术语库：

首先，对以上文档的自然语言描述进行分词操作，将其划分为独立的词语，并去掉停用词；

其次，计算所有词语的文档频率，即每个词语在多少个文档中出现过；

最后，过滤掉文档频率最高的一定比例m的词语和文档频率最低的一定比例n的词语，剩余的词语即为描述术语库；

进一步地，m和n可为5％-15％，文档频率过高或过低的词语几乎不能带来区分性信息；

2c)获取当前众测任务的需求的自然语言描述，将文本进行分词、去停用词，得到任务需求的术语集合；基于描述术语库对任务需求的术语集合进行过滤，过滤掉没有出现在描述术语库中的词语，得到该需求的描述术语集合Lreq；

2d)获取已经收到的每个众测报告的自然语言描述，将文本进行分词、去停用词操作，得到报告的术语集合；基于描述术语库对报告的术语集合进行过滤，过滤掉没有出现在描述术语库中的词语，得到每个报告的描述术语集合Lptj；

2e)术语覆盖度采用如下公式计算：

(其中，U为集合Lptj的并集，j∈[1,K]，K为当前收到的众测报告数目)；如果得到的术语覆盖度满足给定阈值，则为满足术语覆盖度。

进一步地，步骤(2)中如果希望更好地保障测试充分性，则所述阈值设定应尽量大，例如可以设定为0.9；如果希望更多地节省成本，则该阈值设定应尽量小，例如可以设定为0.6；阈值设定同时取决于众测任务需求的描述粒度，如果需求描述得很简略，则该阈值设定应尽量大，如果需求描述得很细致，则该阈值设定应尽量小。

进一步地，步骤(3)中组的规模G是需要设置的参数，一般设置为6-12，第i组包括报告R(i-1)*G+1到报告Ri*G。

进一步地，步骤(4)自动检测众测报告间的重复性，包括以下几个子步骤：

4a)获取每个众测报告的自然语言描述，将文本进行分词、去停用词操作，得到每个报告的术语集合；

4b)基于语料训练词向量模型，将每个术语表示成一个d维词向量；

4c)将每个众测报告表示成一个矩阵，其中每行代表报告中的一个术语，每列代表词向量的一个维度，表格内容为每个术语对应的词向量表示；

4d)对于矩阵的每列，将该列对应的所有行的值求平均，即得到每个维度的词向量的平均值，即为众测报告的语义向量；

4e)计算新产生的增量采样组的每个众测报告和该众测任务之前接收到的每个众测报告的语义向量之间的相似性，如果最大的相似性大于指定阈值，即新报告和该报告重复，并记录该报告ID。

更进一步地，上述相似性阈值为需要用户设定的参数，一般设置为0.8-0.9。

进一步地，步骤(5)基于报告间的重复性，得到以增量采样组为单元的缺陷到达趋势，包括以下几个子步骤：

5a)建立二维的缺陷到达表，记录缺陷到达趋势，行为每个增量采样组，列为非重复的缺陷；

5b)每当新的增量采样组形成时，首先在缺陷到达表中添加一行(假设为i行)，然后查看该增量采样组包含的每个众测报告，如果报告和之前增量采样组的某个众测报告是重复的(假设是列k)，则在i行k列标注1；如果该报告和之前的报告不重复，则在缺陷到达表中新增一列(假设为列w)，同时在i行w列标注1；i行其余单元格均标记为0；注意：如果该报告和当前增量采样组的某众测报告重复，记为一个报告。

进一步地，步骤(5)基于当前的缺陷到达趋势，采用捕获再捕获模型，预测被测软件含有的总缺陷数目，包括以下几个子步骤：

5c)基于当前的缺陷到达表，计算如下几个变量：1)当前已经发现的实际缺陷数目D，对应缺陷到达表中的列数；2)捕获数目t，对应缺陷到达表中的行数；3)每次捕获中发现的缺陷数目nj，对应缺陷到达表中在行j中内容为1的单元格数目；4)所有捕获中正好捕获了k次的缺陷数目fk，首先统计每列中值为1的单元格的数目，记为ri，fk即为值为k的ri的数目；

5d)基于以上变量，总的缺陷数目估算为

其中

进一步地，步骤(5)判断众测任务当前已经发现的缺陷数目是否等于预测的被测软件的总缺陷数目、以及术语覆盖度是否满足，如果两者均为是，则当前时刻为任务的任务时间，否则继续监控众测过程，包括以下几个子步骤：

5e)统计当前已经收到的非重复缺陷的数目(重复缺陷只记为1个)，判断是否该数据和预测的总缺陷数目相同；

5f)基于步骤(2)的结论，得到术语覆盖度是否已经满足。

与现有技术相比，本发明的有益效果如下：通过自动监控众测过程，建模缺陷的到达趋势，从而自动评估测试完成情况，预测合适的任务关闭时间，既保证测试充分性，又降低众测成本，减少了人为判断任务关闭时间带来的经验偏差或决策低效等问题，有效的提升众测实践的成本效益。

附图说明

图1为基于众测过程的众测任务关闭时间自动预测方法的框架图。

具体实施方式

以下结合附图，通过具体实施方式对本方法作进一步说明。

本发明的方法流程如图1所示，其具体步骤为：

步骤1监控众测过程，按时间顺序收集的众测报告；需要基于报告的提交时间排列报告，并用于后续各个步骤；

步骤2基于众测任务的需求和已经收到的全部众测报告，自动评估术语覆盖度是否已经满足；其中包含描述术语库获取操作，是为了过滤掉信息量小的术语，更好的评估需求覆盖度，也就是当前的测试完成度；判断术语覆盖度是否满足需要设定阈值，如果希望更好的保障测试充分性，则该阈值尽量大，例如0.95；如果希望更多的节省成本，则该阈值尽量小，例如0.6；这也取决于众测任务的需求描述粒度，如果需求描述得很简略，则该阈值应尽量大，如果需求描述得很细致，则该阈值应尽量小；

步骤3采用增量采样方法处理按时间顺序收集的众测报告，将设定数目的众测报告作为一个增量采样组；需要将众测报告分组，以便在后续步骤中按照增量采样组建模缺陷到达趋势，从而基于捕获再捕获模型进行预测；组的规模是需要设置的参数，一般设置为6-12；

步骤4自动检测众测报告间的重复性；需要采用外部语料训练词向量，最好采用领域相关的语料，以便得到这些术语在相似语境中的语义表示，得到更有效的词向量模型，可以采用历史众测项目的数据、应用程序商店中的程序描述、维基百科中和计算机相关的词条等；

步骤5基于报告间的重复性，得到以增量采样组为单元的缺陷到达趋势；需要将缺陷达到趋势存储在二维的缺陷到达表中，示例如下：

这个示例中，增量采样1中有三个缺陷，增量采样2中有二个缺陷，其中一个是和增量采样1中的#3重复。

步骤6基于当前的缺陷到达趋势，采用捕获再捕获模型，预测被测软件含有的总缺陷数目；基于上述表格中的缺陷到达表，得到的各个变量如下：

基于上面表格示例的变量值，预测得到的被测软件的缺陷总数目为24。

步骤7)判断众测任务当前已经发现的缺陷数目是否达到被测软件的总缺陷数目、以及术语覆盖度是否满足，如果两者均为是，则当前时刻为任务的任务时间，否则继续监控众测过程；之所以需要满足两个条件才能判断任务关闭，是因为基于缺陷数目的预测，得到的是基于动态趋势的任务关闭决策，基于术语覆盖度，得到的是基于静态测试充分性信息的任务关闭决策，两者结合，能够避免任务错误的提前关闭，造成测试的不充分性。

尽管为说明目的公开了本发明的具体内容、实施算法以及附图，其目的在于帮助理解本发明的内容并据以实施，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。例如本权利要求书用到的捕获再捕获模型为多种捕获再捕获模型中的一种，对于其他同类模型的应用也属于本发明要求保护的范围。本发明不应局限于本说明书最佳实施例和附图所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (9)

1.一种基于众测过程的众测任务关闭时间自动预测方法，包括以下步骤：

(1)监控众测平台上的众测过程，按时间顺序收集当前众测任务的众测报告；

(2)基于收集到的众测报告，自动评估众测任务需求的术语覆盖度，判断术语覆盖度是否满足设定阈值；

(3)采用增量采样方法处理收集的众测报告，将特定数目的众测报告作为一个增量采样组；

(4)自动检测众测报告间的重复性；

(5)基于众测报告间的重复性，得到以增量采样组为单元的缺陷到达趋势，采用捕获再捕获方法预测被测软件含有的缺陷数目，如果已经发现的缺陷数目和预测的缺陷数目相同且术语覆盖度已经满足，则当前时间为任务的关闭时间，否则继续监控众测过程，包括：

5a)建立二维的缺陷到达表，记录缺陷到达趋势，行为每个增量采样组，列为非重复的缺陷；

5b)每当新的增量采样组形成时，首先在缺陷到达表中添加一行i，然后查看该增量采样组包含的每个众测报告，如果报告和之前增量采样组的某个众测报告是重复的，则在i行当前k′列标注1；如果该报告和之前的报告不重复，则在缺陷到达表中新增一列w，同时在i行w列标注1；i行其余单元格均标记为0；

5c)基于当前的缺陷到达表，计算如下几个变量：1)当前已经发现的实际缺陷数目D，对应缺陷到达表中的列数；2)捕获数目t，对应缺陷到达表中的行数；3)每次捕获中发现的缺陷数目n_j，对应缺陷到达表中在行j中内容为1的单元格数目，其中j既为捕获的序号，又为当前的缺陷到达表的行号；4)所有捕获中正好捕获了k次的缺陷数目f_k，首先统计每列中值为1的单元格的数目，记为γ_i，f_k即为值为k的γ_i的数目，其中i为列号；

5d)基于以上变量，总的缺陷数目估算为

其中

5e)统计当前已经收到的非重复缺陷的数目，判断是否该数目和预测的总缺陷数目相同；

5f)基于步骤(2)的结论，得到术语覆盖度是否已经满足。

2.如权利要求1所述的一种基于众测过程的众测任务关闭时间自动预测方法，其特征在于，步骤(1)包括：

1a)记录每个众测报告的到达时间、ID及自然语言描述；

1b)将众测报告按照到达时间进行排序。

3.如权利要求1所述的一种基于众测过程的众测任务关闭时间自动预测方法，其特征在于，步骤(2)包括：

2a)收集该众测平台上已经完成的其他众测任务的需求和众测报告，将收集到的全部需求和众测报告均作为文档；

2b)基于收集到的全部文档的自然语言描述，得到描述术语库；

2c)获取当前众测任务的需求的自然语言描述，得到该任务需求的术语集合，基于所述描述术语库对该术语集合进行过滤，过滤掉没有出现在所述描述术语库中的词语，得到该任务需求的描述术语集合Lreq；

2d)获取已经收集到的每个众测报告的自然语言描述，得到报告的术语集合，基于所述描述术语库对报告的术语集合进行过滤，过滤掉没有出现在所述描述术语库中的词语，得到每个报告的描述术语集合Lpt_j′，其中j′为报告的序号；

2e)术语覆盖度采用如下公式计算：

其中，U为集合Lpt_j′的并集，K为当前收到的众测报告数目，如果得到的术语覆盖度满足设定阈值，则为满足术语覆盖度。

4.如权利要求3所述的一种基于众测过程的众测任务关闭时间自动预测方法，其特征在于，所述描述术语库的构建方法包括：

2b-1)对所述文档的自然语言描述进行分词操作，将其划分为独立的词语，并去掉停用词；

2b-2)计算所有词语的文档频率；

2b-3)过滤掉文档频率最高的一定比例m的词语和文档频率最低的一定比例n的词语，剩余的词语即构成描述术语库。

5.如权利要求4所述的一种基于众测过程的众测任务关闭时间自动预测方法，其特征在于，所述m和n均为5％-15％。

6.如权利要求1-5任一所述的一种基于众测过程的众测任务关闭时间自动预测方法，其特征在于，所述阈值为0.6-0.9。

7.如权利要求1所述的一种基于众测过程的众测任务关闭时间自动预测方法，其特征在于，所述特定数目为6-12。

8.如权利要求1所述的一种基于众测过程的众测任务关闭时间自动预测方法，其特征在于，步骤(4)包括：

4a)获取每个众测报告的自然语言描述，得到每个报告的术语集合；

4b)基于语料训练词向量模型，将每个术语表示成一个d维词向量；

4c)将每个众测报告表示成一个矩阵，其中每行代表报告中的一个术语，每列代表词向量的一个维度，表格内容为每个术语对应的词向量表示；

4d)对于矩阵的每列，将该列对应的所有行的值求平均，即得到每个维度的词向量的平均值，即为众测报告的语义向量；

4e)计算新产生的增量采样组的每个众测报告和该众测任务之前接收到的每个众测报告的语义向量之间的相似性，如果最大的相似性大于指定相似性阈值，即新报告和该报告重复，并记录该报告ID。

9.如权利要求8所述的一种基于众测过程的众测任务关闭时间自动预测方法，其特征在于，所述相似性阈值为0.8-0.9。

Images