CN109948940B - 一种基于启发式算法的Web服务众包测试任务分配方法 - Google Patents

Abstract

本发明公开了一种基于启发式算法的Web服务众包测试任务分配方法，包括以下步骤：S1：请求者将多个众包工作以测试任务的形式提交众包平台；S2：任务分配优化系统建立至少包含测试任务属性、测试工人属性、分配因素的任务分配模型，根据任务分配模型确认目标函数和约束条件；S3：任务分配优化系统基于任务分配模型采用HE算法进行测试任务和测试工人之间的优化分配，并根据众包平台设置的任务发布条件发布任务，并将任务信息显示给测试工人；S4：测试工人完成相应任务后将结果反馈给众包平台，众包平台将各任务的完成结果进行归纳整理。

Description

一种基于启发式算法的Web服务众包测试任务分配方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于启发式算法的Web服务众包测试任务分配方法。

背景技术

目前，随着web服务的应用愈加广泛，人们越来越关注web服务的质量，而web服务测试是其质量保证的重要手段。由于传统web服务测试由雇佣的顾问和专业人员来执行，其提交的结果存在单一性和片面性，同时专业人员数量小任务重，导致测试任务的效率较低。而众包测试是近年来新兴的一种测试方式，可以利用大众的测试能力和测试资源，在短时间内完成测试，并且可反馈更加全面真实的人为测试结果。因此，众包测试成为我们的首选，使用众测方式对web服务进行测试是一种可行有效的测试方式。其中，在众包环境下的web服务测试中，测试任务的分配是一个重要的问题。在众包中，任务分配是通过众包平台将请求者发布的任务合适的匹配给满足一定条件的测试者。但是采用何种分配算法，设定何种约束条件，以及约束条件的阈值设为多少，都将会影响最终匹配结果的质量。文献[2]提出的在众包环境下测试任务的分配方法是在每个测试区域内选择一个测试工人，来代表该范围内所有工人对任务的测试结果(因为相同区域内的网络环境相似，可能会提交相似的结果，因此为了避免冗余，仅选一个做代表)。该方法虽保证了测试范围，但没有考虑工人的能力水平和工资要求。而文献[1]提出了Smartcrowd框架用于优化知识密集型人群的任务分配，将知识密集型工人的分配问题作为优化问题，此方法中考虑了工人的专业技能，工资要求等条件，他将web服务测试中的任务分配问题规约为约束求解问题，通过目标函数以及约束条件使其找到最优分配，以提高web服务测试任务的完成质量。还提出了贪婪算法，使它在给定的任务和工作池的情况下，用不同的概率随机的抽取工人，通过计算该工人的边际增益，以及多次平滑来确定是否将该工人加入该任务，从而得到全局最优解。由于[1]中的方法考虑到了工人的能力水平和工资要求，

上述文献[1]中的方法可以通过约束求解器和贪婪算法来实现。通过约束求解方法，可以得到全局最优的分配结果。但它仅在任务和工人数都较少时，可以在可接受的时间里完成分配方案的求解，但是当要处理的任务数和工人数较多时，优化时间将大大增加。可见，约束求解方法只能快速的解决小规模任务时的问题，当要处理的数据规模较大时，执行效率将大大下降。而使用贪婪算法，虽然可以保证一定的求解效率，但其所求的分配结果的质量较低。因此，这两种方法始终不能很好的平衡执行效率和解的质量之间的关系。上述文献[2]中的方法，仅考虑覆盖到更大的测试区域，避免了各个区域内工人提交的测试结果的冗余。对众包测试者的能力，工资等要求没有考虑。总体来说考虑的因素都比较片面。

发明内容

根据现有技术存在的问题，本发明公开了一种基于启发式算法的Web服务众包测试任务分配方法，具体包括以下步骤：

S1：请求者将多个众包工作以测试任务的形式提交众包平台，众包平台将测试任务传送给任务分配优化系统进行web服务测试任务与测试工人之间的匹配；

S2：建立至少包含测试任务属性、测试工人属性、分配因素的任务分配模型，根据任务分配模型确认该模型的目标函数和约束条件；

S3：基于任务分配模型采用HE算法进行测试任务和测试工人之间的优化分配，并根据众包平台设置的任务发布条件发布任务，并将任务信息显示给测试工人；

S4：测试工人完成相应任务后将结果反馈给众包平台，众包平台将各测试任务的完成结果进行归纳整理。

进一步的，所述任务分配模型的目标函数为：

其中该目标函数的约束条件为：

分配给某任务的测试工人来自不同的国家，测试工人来自国家的个数应满足：

测试工人处于不同的网络环境、测试工人来自的网络环境的个数应满足：

分配给某个任务的所有测试工人的技能值之和大于任务在该知识领域内的要求：

完成各测试任务的测试工人的工资要求之和小于或等于阈值：

执行每个测试任务的人数满足任务设定的测试工人个数的阈值：

每个测试工人完成的任务个数应小于或等于某个最多完成任务个数的阈值、且大于或等于某个最低完成任务个数的阈值：

其中s_ik表示工人i的第k项技能值，w_ij表示工人i完成任务j的报酬，S_jk表示完成任务j所需第k项技能的最小值，R_j表示完成任务j的最大报酬值，r_i表示是否选择该测试工人，表示分配给任务j的工人所属国家的类别数，CT_j表示分配给任务j的工人所属国家的类别数的最小值，AS_j表示分配给任务j的工人所属网络号类别数的最小值，/>表示分配给任务j的工人所属网络号的类别数，wn_j表示完成任务j所需的最大测试工人数，ln_i表示工人i完成的最小任务数，hn_i表示工人i完成的最大任务数。

进一步的，采用HE算法进行测试任务和测试工人之间优化分配采用如下方式：

随机初始化任务和测试工人的匹配过程得到初始分配解；

根据目标函数计算该初始分配解的适应度值；

将初始分配解作为父代测试工人集，对每次生成的父代测试工人进行替换，设定随机概率值，如果随机概率值大于交叉率则进行部分映射交叉，如果随机概率值小于交叉率则不交叉；

当未进行部分映射交叉时，则测试任务的父类测试工人集和交叉工人集根据工人的所属国家和所属网络环境种类数进行判断并设定种类阈值：如果父类测试工人集和交叉工人集均大于种类阈值，则选择适应度值大的一组工人作为新一代测试工人，如果有其一小于种类阈值，则选择初始解满足种类阈值的一组工人作为新一代的测试工人；

当进行部分映射交叉时则测试任务的父类测试工人集、交叉工人集和变异工人集根据工人的所属国家和网络环境种类数进行判断，若三者均满足种类阈值，则选择适应度值大的一组工人作为新一代测试工人，若存在其一满足种类阈值，则选择满足阈值的工人作为新一代测试工人，若都不满足，选择初始工人测试集作为新一代的测试工人。

进一步的，所述测试任务属性至少包括任务编号、该任务在各个知识领域所需要的能力要求、完成该任务花费的最大成本以及测试任务交由执行的测试工人的数量信息；所述测试工人属性至少包括测试工人的编号、测试工人在各个知识领域内的技能水平、测试工人完成某个任务的最少报酬、测试工人对任务的接受率、测试工人所属的国家、测试工人所处的网络环境，测试工人最少可执行的任务数量和测试工人最多可执行的任务数量。

由于采用了上述技术方案，本发明提供的一种基于启发式算法的Web服务众包测试任务分配方法，本方法通过确定web服务测试任务和测试工人各属性之间的关系以及对各影响因素值的限定，进而通过采用启发式方法对web测试任务和测试工人进行合理的匹配，该启发式方法相比传统的约束求解方法大大缩短了求解的时间，相比贪婪方法大大提高了测试工作求解的质量，所以总体来说，该启发式方法在保持较高求解质量的基础上提高了工作效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法的流程图。

具体实施方式

为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1所示的一种基于启发式算法的Web服务众包测试任务分配方法，具体包括以下步骤：

S1：请求者将需要处理的一系列众包工作以web服务测试任务的形式提交给众包平台；众包平台负责接收任务，并将一系列的众包测试任务传送给任务分配优化算法进行web服务测试任务与测试工人之间的匹配。

S2：建立至少包含测试任务属性、测试工人属性、分配因素的任务分配模型,根据任务分配模型确认该模型的目标函数和约束条件。

S3：基于任务分配模型采用HE算法进行测试任务和测试工人之间的优化分配，并根据众包平台设置的任务发布条件发布任务，并将任务信息显示给测试工人。

S4：测试工人根据任务信息及自身条件接受并执行分配的某个任务；测试工人完成相应任务后，将结果反馈给众包平台，众包平台将各任务的完成结果进行归纳整理，最终反馈给请求者。

进一步的，步骤S2中主要对测试任务、测试工人和影响分配结果的因素进行分析然后建立任务分配模型，确定各个测试任务和各个测试工人包含的属性，以及各属性值的取值范围，因此我们对测试任务，测试工人所包含的信息以及影响分配结果的因素进行设定。

其中：每个众包测试任务的属性包括：任务编号(唯一标识某个测试任务)，该任务在各个知识领域所需要的能力要求，完成该任务可以花费的最大成本即测试工人完成任务之后，会得到相应的奖励，每个测试任务交由执行的测试工人的数量。每个众包测试工人的相关属性有：测试工人的编号(唯一标识某个工人)，测试工人在各个知识领域内的技能水平，测试工人完成某个任务可接受的最少报酬，测试工人对任务的接受率，测试工人所属的国家，测试工人所处的网络环境，测试工人最少可执行的任务数和测试工人最多可执行的任务数。

我们考虑到如下几个影响因素：如测试工人所处的国家(Country)，工人所在的网络环境(AS)，工人针对不同任务所掌握的技能水平(skill)，工人的薪资要求(w)，以及每个工人可接受任务的边界值(ln，hn)。

进一步的，具备以上建模条件之后我们需要建立目标函数，并为其添加约束，从而完善我们的模型。该任务分配模型的最大化任务值为V，即支付给工人的报酬总和最小，同时完成任务的质量水平最高。该任务分配模型的目标函数的形式化表述为：

其中T表示任务的集合，m表示工人技能的类别数，p_i表示工人i接受任务的概率，

s_ik表示工人i的第k项技能值，w_ij表示工人i完成任务j的报酬，S_jk表示完成任务j所需第k项技能的最小值，R_j表示完成任务j的最大报酬值，r_i表示是否选择该测试工人(0or 1表示)表示分配给任务j的工人所属国家的类别数，CT_j表示分配给任务j的工人所属国家的类别数的最小值，AS_j表示分配给任务j的工人所属网络号类别数的最小值，/>表示分配给任务j的工人所属网络号的类别数，wn_j表示完成任务j所需的最大测试工人数，ln_i表示工人i可完成的最小任务数，hn_i表示工人i可完成的最大任务数。

在该目标函数下添加了几个约束公式

s.t:

即：

约束1：要使得分配给某任务的测试工人尽可能多的来自不同的国家，测试工人来自国家的个数应满足(1)。

约束2：测试工人尽可能多的处于不同的网络环境，测试工人来自的网络环境的个数应满足(2)。

约束3：要使得分配给某个任务的所有测试工人的技能值之和大于任务在该知识领域内的要求。

约束4：使完成各测试任务的测试工人的工资要求之和小于或等于阈值。

约束5：执行每个测试任务的人数满足任务设定的测试工人个数的阈值要求。

约束6：每个测试工人完成的任务个数应小于或等于某个最多完成任务个数的阈值，且大于或等于某个最低完成任务个数的阈值。

进一步的，步骤S2中负责实现将web测试任务高质量的匹配给测试工人，在此过程中主要使用HE算法进行任务与工人匹配的优化求解，HE(High Efficiency)算法包括初始分配解的生成、分配变异操作，分配交叉操作，选择测试工人。具体的执行流程为：

1、首先采用随机的方式初始化任务和测试工人的匹配，得到初始分配解。

2、根据适应度函数计算该初始分配解的适应度值(适应度函数即为建模中的目标函数)。

3、将初始分配解作为父代测试工人集，对测试工人进行替换，分为以下情况：

3.1、若该解中测试工人集覆盖的国家个数和网络环境数均满足阈值条件，则从该分配的测试工人集中随机的选取测试工人作为被变异者，从不在当前集合中的测试工人集中随机的选取测试工人作为变异者。

3.2、若该测试工人集覆盖的网络环境和国家种类数任有其一不满足阈值：

3.21、当国家个数不满足阈值时，则统计当前解中来自哪个国家的工人最多，在属于该国家的工人之中选取测试工人作为被变异者，然后选择当前解中不包含的国家的工人作为变异者。

3.22、当国家个数满足阈值，但网络环境个数不满足阈值时，则统计当前解中来自哪个网络环境的工人最多，在属于该网络环境的工人之中选取测试工人作为被变异者，然后选择当前解中不包含的网络环境的工人作为变异者。

4、设定交叉率为：先随机产生一个交叉概率，若达到交叉率则进行部分映射交叉，即对父代测试工人集和变异测试工人集中的工人进行交换，未达到则不进行部分映射交叉。交叉时，随机产生一个工人映射点，将两个集合中工人映射点后的全部工人进行交换，产生交叉测试工人集，计算适应度值。

5、根据上个步骤分为两种选择情况如下：

①若没有进行部分映射交叉，则针对某一任务，若父代测试工人集和变异测试工人集中涉及的国家和网络环境种类数量，均满足国家个数阈值和网络环境阈值时，选取其中适应度值较大的测试工人集作为新一代的测试工人集；若某个测试工人集仅满足其中一个条件的阈值或均不满足，则选择初始解或者满足条件的测试工人集作为新一代测试工人集。

②若进行了部分映射交叉，则针对某一任务，从父代测试工人集、交叉测试工人集和变异测试工人集中进行选择。若父类、变异和交叉测试工人集均满足国家个数阈值和网络环境个数阈值时，选取其中适应度值较大测试工人集作为新一代的测试工人集；若父类、变异和交叉测试工人集中存在某个测试工人集满足其中一个阈值或两个均不满足，则选择该测试工人集作为新一代测试工人集，若都不满足，则选择初始测试工人集作为新一代工人集。

5、重复迭代多次，将每一代得到的分配结果从(2)开始执行。迭代多次后得到的结果作为最终分配结果。

进一步的，得到任务匹配结果之后，众包平台将按照该分配结果将web服务测试任务分发给测试工人，待测试工人完成之后，提交其测试结果，会得到对应的报酬。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

参考文献

{1}Senjuti Basu Roy,Ioanna Lykourentzou,Saravanan Thirumuruganathan,Sihem Amer-Yahia,Gautam Das:Task assignment optimization in knowledge-intensive crowdsourcing.VLDB J.24(4):467-491(2015).

{2}Minzhi Yan,Hailong Sun,Xudong Liu.:Efficient Testing of WebServices with Mobile Crowdsourcing.In:the 7th Asia-Pacific Symposium onInternetware,pp.157-165.Wuhan,China,November 6,(2015).

Claims (2)

1.一种基于启发式算法的Web服务众包测试任务分配方法，其特征在于：包括以下步骤：

S1：请求者将多个众包工作以测试任务的形式提交众包平台，众包平台将测试任务传送给任务分配优化系统进行web服务测试任务与测试工人之间的匹配；

S2：建立至少包含测试任务属性、测试工人属性、分配因素的任务分配模型，根据任务分配模型确认该模型的目标函数和约束条件；

S3：基于任务分配模型采用HE算法进行测试任务和测试工人之间的优化分配，并根据众包平台设置的任务发布条件发布任务，并将任务信息显示给测试工人；

S4：测试工人完成相应任务后将结果反馈给众包平台，众包平台将各测试任务的完成结果进行归纳整理；

采用HE算法进行测试任务和测试工人之间优化分配采用如下方式：

随机初始化任务和测试工人的匹配过程得到初始分配解；

根据目标函数计算该初始分配解的适应度值；

将初始分配解作为父代测试工人集，对每次生成的父代测试工人进行替换，设定随机概率值，如果随机概率值大于交叉率则进行部分映射交叉，如果随机概率值小于交叉率则不交叉；

当未进行部分映射交叉时，则测试任务的父类测试工人集和交叉工人集根据工人的所属国家和所属网络环境种类数进行判断并设定种类阈值：如果父类测试工人集和交叉工人集均大于种类阈值，则选择适应度值大的一组工人作为新一代测试工人，如果有其一小于种类阈值，则选择初始解满足种类阈值的一组工人作为新一代的测试工人；

当进行部分映射交叉时则测试任务的父类测试工人集、交叉工人集和变异工人集根据工人的所属国家和网络环境种类数进行判断，若三者均满足种类阈值，则选择适应度值大的一组工人作为新一代测试工人，若存在其一满足种类阈值，则选择满足阈值的工人作为新一代测试工人，若都不满足，选择初始工人测试集作为新一代的测试工人；

所述测试任务属性至少包括任务编号、该任务在各个知识领域所需要的能力要求、完成该任务花费的最大成本以及测试任务交由执行的测试工人的数量信息；所述测试工人属性至少包括测试工人的编号、测试工人在各个知识领域内的技能水平、测试工人完成某个任务的最少报酬、测试工人对任务的接受率、测试工人所属的国家、测试工人所处的网络环境，测试工人最少可执行的任务数量和测试工人最多可执行的任务数量。

2.根据权利要求1所述的一种基于启发式算法的Web服务众包测试任务分配方法，其特征还在于：所述任务分配模型的目标函数为：

^V表示该任务分配模型的最大化任务值，其中该目标函数的约束条件为：

分配给某任务的测试工人来自不同的国家，测试工人来自国家的个数应满足：

测试工人处于不同的网络环境、测试工人来自的网络环境的个数应满足：

分配给某个任务的所有测试工人的技能值之和大于任务在该知识领域内的要求：

T表示任务的集合，m表示工人技能的类别数，_pi表示工人i接受任务的概率；

完成各测试任务的测试工人的工资要求之和小于或等于阈值：

执行每个测试任务的人数满足任务设定的测试工人个数的阈值：

每个测试工人完成的任务个数应小于或等于某个最多完成任务个数的阈值、且大于或等于某个最低完成任务个数的阈值：

其中_sik表示工人i的第k项技能值，_wij表示工人i完成任务j的报酬，_Sjk表示完成任务j所需第k项技能的最小值，_Rj表示完成任务j的最大报酬值，_ri表示是否选择该测试工人，表示分配给任务j的工人所属国家的类别数，_CTj表示分配给任务j的工人所属国家的类别数的最小值，_ASj表示分配给任务j的工人所属网络号类别数的最小值，/>表示分配给任务j的工人所属网络号的类别数，_wnj表示完成任务j所需的最大测试工人数，_lni表示工人i完成的最小任务数，_hni表示工人i完成的最大任务数。