CN104794573A - 产品评估任务中的结果估计方法及众包众测平台 - Google Patents

Abstract

本发明提供了一种产品评估任务中的结果估计方法及众包众测平台，包括步骤：在搜集到众包人上传上来的个人评估后，执行迭代算法，最终输出待评价产品的准确评估结果。本发明可以通过迭代学习估计出众包人的评估准确度，从而提高了在众包和众测平台中产品评估任务的评估准确度，进而提升了众包及众测平台的总体可信度和应用价值。

Description

产品评估任务中的结果估计方法及众包众测平台

技术领域

本发明涉及网络领域，具体地，涉及一种在众包、众测平台中产品评估任务的评估方法众包众测平台。

背景技术

随着互联网技术的广泛普及，众包平台孕育而生。众包，即任务发起人通过众包平台将问题通过公开招标的方式发给一群解决问题的群体(众包人)。在互联网普及的今天，这种过程通常以互联网为媒介进行。众包、众测平台帮助企业或个人完成调研、设计以及数据采集。众包人利用自己的技能知识来帮助任务发起人解决相关问题，同时能根据任务发起人对其回答的满意程度来获得相应报酬。平台通过整合众包人的回答来得到问题的答案。

众包、众测平台需要处理的任务有许多种，有设计方面相对主观的任务，也有评判、录入等相对客观的任务。在以前的工作中，着重解决的是众包、众测平台对识别和分类问题的处理方法。David R.Karger等人2013年的Proceedings of theACM SIGMETRICS/international conference on Measurement and modeling ofcomputer systems发表的“efficient crowdsourcing for multi-class labeling”中提出的方法很好地解决了上述的问题。

但是众包、众测平台需要处理的问题除了识别分类这一类问题之外，还包括产品评估任务，属于打分类问题。打分类问题是指问题答案是一个连续的分数区间。对于这一类问题，通常的做法是取所有众包人回答的算术平均值作为问题的答案。但是这种做法忽视了众包人能力的不同，即在估计答案的阶段，能力强的众包人的回答和能力弱的众包人的回答被一视同仁。这种做法可能导致整合的答案与正确答案相差较远。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种产品评估任务中的结果估计方法及众包众测平台。

根据本发明提供的一种产品评估任务中的结果估计方法，包括如下步骤：

步骤1：准备m个产品评估任务，m个产品评估任务的标准评估值的集合表示T，其中，t_i表示第i个产品评估任务的标准评估值，t_i∈[a,b]，[a,b]为产品评估任务的评价区间，[m]表示1至m的序号取值；

步骤2：将m个产品评估任务分配给n个众包人，n个众包人的评估准确度的集合表示为W，其中，w_j表示第j个众包人的评估准确度，[n]表示1至n的序号取值；

步骤3：根据众包人对产品评估任务给出的回答，得到回答矩阵A；

步骤4：对回答矩阵A通过加权最大相关算法WMCE进行运算，得到任务评估结果。

优选地，所述步骤2包括如下步骤：

将m个产品评估任务按照正则随机二分图规则分配分给n个众包人，表示为：

G＝(T∪W,E)

其中，G表示二分图，T表示m个产品评估任务的标准评估值的集合，W表示n个众包人的评估准确度的集合，E表示产品评估任务的分配，(T∪W,E)表示T∪W所对应的点与E所对应的边组成的二分图，∪表示顶点取并集；

如果第i个产品评估任务分配给了第j个众包人，那么(t_i,w_j)∈E，其中，(t_i,w_j)表示t_i,w_j连成的边；T的度为l，即一个产品评估任务被随机分配给了l个众包人，W的度为r，即一个众包人接到r个产品评估任务，l的取值范围为1至n，r的取值范围为1至m。

优选地，所述步骤3包括如下步骤：

将众包人给出的回答，组成回答矩阵A：

A＝[A_ij]^m×n

其中，A_ij为第j个众包人对于第i个产品评估任务的回答，且A_ij∈{[a,b]∪null}，null表示不存在；若第i个产品评估任务没有分配给第j个众包人，则A_ij＝null。

优选地，所述步骤4包括如下步骤：

步骤S1：设置最大迭代次数h_max，初始化表征众包人的评估准确度的参数向量其中，1ⁿ为n维全1向量；

步骤S2：重复执行步骤i和步骤ii直至收敛或迭代次数超过最大迭代次数h_max；

步骤i：对m个产品评估任务，执行如下计算式：

${\hat{t}}_i^{\left(h\right)}=\arg \underset{x\∈[a,b]}{\max }\underset{j\∈\∂i}{\mathrm{\Σ}}{\hat{q}}_j^{\left(h\right)}R(x,A_{\mathrm{ij}})$

其中，表示第h次迭代中第i个产品评估任务的评估值，表示与第i个产品评估任务关联的众包人，表示第h次迭代中第j个众包人的评估准确度的估计值，R(x,A_ij)表示x与A的相关度，x表示评估值的变量；

步骤ii：对n个众包人，执行如下计算式：

${\hat{q}}_j^{(h+1)}=\frac{1}{r}\underset{i\∈\∂j}{\mathrm{\Σ}}R({\hat{t}}_i^{\left(h\right)},A_{\mathrm{ij}})$

其中，表示第h+1次迭代中第j个众包人的评估准确度的估计值，r表示一个众包人接收到的产品评估任务数量，表示与第j个众包人关联的产品评估任务，表示第h次迭代中第i个任务的评估值与答案A的相关度；

步骤S3：输出评估向量作为任务评估结果：

$\hat{t}={\hat{t}}^{\left(h_{\max }\right)}$

其中，表示达到最终迭代次数后的产品评估任务的评估值。

优选地，对于产品评估任务的评价区间在连续区间[a,b]中的产品评估任务，用相关度函数R(x,y)表征众包人的回答之间的相关度，定义如下：

$R(x,y)=\left\{\begin{array}{cc}0& \mathrm{if}|x-y|>\frac{1}{\sqrt{c}}\\ 1-c{(x-y)}^2& \mathrm{otherwise}\end{array}\right.,$

其中，c为一个常数，x、y为自变量。

根据本发明提供的一种众包众测平台，包括相互连接的任务收集模块、任务下发模块、任务评估模块，所述任务评估模块通过上述的产品评估任务中的结果估计方法得到产品评估任务的任务评估结果。

优选地，所述产品评估任务为室内定位任务。

与现有技术相比，本发明具有如下的有益效果：

1、本发明利用迭代学习的方式来完成众包、众测平台对产品评估任务中评估值的获取，即在每次迭代中，先估计出任务的评估值，再结合估计的值于众包人的个人评估计算各个众包人的评估准确度，如此反复直至收敛。在迭代学习的过程中，能力强的众包人会被逐渐甄别出来，他的评估会愈受重视；能力弱的众包人也会被逐渐甄别出来，他的评估会愈被忽视。

2、本发明解决了传统的多数投票方法没有考虑众包人个体差异的缺点，最后的产品估计值的精度会有较大幅度的提升。具体地，本发明可以应用于网络众包、众测平台的产品评估中。本发明利用众包模式的特点，提高了众包、众测平台的产品评估任务的结果准确度。众包、众测平台的工作模式由任务提供者、平台和众包人组成，首先由任务提供者将任务提交给众包、众测平台，平台在接收到任务后，将任务按一定规则下发至众包人处，并等待众包人按一定规则作答后的结果，收集到众包人提供的结果后，以一定的规则得到最终的评估结果，将其反馈至任务提供者。现有的最终评估值的得到方法为取平均的方法，但其忽略了众包人的个体差异，本发明主要针对的是任务的发放规则以及答案的得到规则，根据现有众包产品评估方法的不足，本发明考虑了众包人个体评估准确度的差异，提出了一种新的众包产品评估方法。

3、本发明通过代学习估计出众包人的评估准确度进而提高任务答案的精度。本发明提出了WMCE算法，不仅可以应用于众包、众测平台中的产品评估任务，还可以应用于众包平台中的其他打分类任务，例如商品推荐与室内定位等。

4、本发明能在得出产品最终评估值的同时得到众包众包人的评估准确度，可以作为个人信息储存在平台服务器中，供以后使用，同时也可以作为有偿众包平台的费用支付依据之一。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为加权最大相关算法WMCE(Weighted Maximum Correlation Estimate)的流程图。

图2为众包系统流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明提供了一种在众包和众测平台中产品评估任务的评估结果的获得方法，在搜集到众包人上传上来的个人评估后，执行本方法中的加权最大相关算法WMCE，最终输出待评价产品的准确评估结果。本发明可以通过迭代学习估计出众包人的评估准确度，从而提高了在众包和众测平台中产品评估任务的评估准确度，进而提升了众包及众测平台的总体可信度和应用价值。

根据本发明提供的一种众包众测平台，包括相互连接的任务收集模块、任务下发模块、任务评估模块，所述任务评估模块通过上述的产品评估任务中的结果估计方法得到产品评估任务的任务评估结果。优选地，所述产品评估任务为室内定位任务。

所述产品评估任务中的结果估计方法，包括如下步骤：

步骤1：准备m个产品评估任务，m个产品评估任务的标准评估值的集合表示T，其中，t_i表示第i个产品评估任务的标准评估值，t_i∈[a,b]，[a,b]为产品评估任务的评价区间，[m]表示1至m的序号取值；

步骤2：将m个产品评估任务分配给n个众包人，n个众包人的评估准确度的集合表示为W，其中，w_j表示第j个众包人的评估准确度，[n]表示1至n的序号取值；

步骤3：根据众包人对产品评估任务给出的回答，得到回答矩阵A；

步骤4：对回答矩阵A通过加权最大相关算法WMCE进行运算，得到任务评估结果。

优选地，所述步骤2包括如下步骤：

将m个产品评估任务按照正则随机二分图规则分配分给n个众包人，表示为：

G＝(T∪W,E)

其中，G表示二分图，T表示m个产品评估任务的标准评估值的集合，W表示n个众包人的评估准确度的集合，E表示产品评估任务的分配，(T∪W,E)表示T∪W所对应的点与E所对应的边组成的二分图，∪表示顶点取并集；

如果第i个产品评估任务分配给了第j个众包人，那么(t_i,w_j)∈E，其中，(t_i,w_j)表示在二分图中t_i,w_j连成的边；T的度为l，即一个产品评估任务被随机分配给了l个众包人，W的度为r，即一个众包人接到r个产品评估任务，l的取值范围为1至n，r的取值范围为1至m。

优选地，所述步骤3包括如下步骤：

将众包人给出的回答，组成回答矩阵A：

A＝[A_ij]^m×n

其中，A_ij为第j个众包人对于第i个产品评估任务的回答，且A_ij∈{[a,b]∪null}，null表示不存在；若第i个产品评估任务没有分配给第j个众包人，则A_ij＝null。

优选地，所述步骤4包括如下步骤：

步骤S1：设置最大迭代次数h_max，初始化表征众包人的评估准确度的参数向量其中，1ⁿ为n维全1向量；

步骤S2：重复执行步骤i和步骤ii直至收敛或迭代次数超过最大迭代次数h_max；

步骤i：对m个产品评估任务，执行如下计算式：

${\hat{t}}_i^{\left(h\right)}=\arg \underset{x\∈[a,b]}{\max }\underset{j\∈\∂i}{\mathrm{\Σ}}{\hat{q}}_j^{\left(h\right)}R(x,A_{\mathrm{ij}})$

其中，表示第h次迭代中第i个产品评估任务的评估值，表示与第i个产品评估任务关联的众包人，表示第h次迭代中第j个众包人的评估准确度的估计值，R(x,A_ij)表示x与A的相关度，x表示评估值的变量；

步骤ii：对n个众包人，执行如下计算式：

${\hat{q}}_j^{(h+1)}=\frac{1}{r}\underset{i\∈\∂j}{\mathrm{\Σ}}R({\hat{t}}_i^{\left(h\right)},A_{\mathrm{ij}})$

其中，表示第h+1次迭代中第j个众包人的评估准确度的估计值，r表示一个众包人接收到的产品评估任务数量，表示与第j个众包人关联的产品评估任务，表示第h次迭代中第i个任务的评估值与答案A的相关度；

步骤S3：输出评估向量作为任务评估结果：

$\hat{t}={\hat{t}}^{\left(h_{\max }\right)}$

其中，表示达到最终迭代次数后的产品评估任务的评估值。

优选地，对于产品评估任务的评价区间在连续区间[a,b]中的产品评估任务，用相关度函数R(x,y)表征众包人的回答之间的相关度，定义如下：

$R(x,y)=\left\{\begin{array}{cc}0& \mathrm{if}|x-y|>\frac{1}{\sqrt{c}}\\ 1-c{(x-y)}^2& \mathrm{otherwise}\end{array}\right.,$

其中，c为一个常数，x、y为自变量。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (7)

1.一种产品评估任务中的结果估计方法，其特征在于，包括如下步骤：

步骤1：准备m个产品评估任务，m个产品评估任务的标准评估值的集合表示T，T＝{t_i}_i∈[m]，其中，t_i表示第i个产品评估任务的标准评估值，t_i∈[a,b]，[a,b]为产品评估任务的评价区间，[m]表示1至m的序号取值；

步骤2：将m个产品评估任务分配给n个众包人，n个众包人的评估准确度的集合表示为W，W＝{w_j}_j∈[n]，其中，w_j表示第j个众包人的评估准确度，[n]表示1至n的序号取值；

步骤3：根据众包人对产品评估任务给出的回答，得到回答矩阵A；

步骤4：对回答矩阵A通过加权最大相关算法WMCE进行运算，得到任务评估结果。

2.根据权利要求1所述的产品评估任务中的结果估计方法，其特征在于，所述步骤2包括如下步骤：

将m个产品评估任务按照正则随机二分图规则分配分给n个众包人，表示为：

G＝(T∪W,E)

其中，G表示二分图，T表示m个产品评估任务的标准评估值的集合，W表示n个众包人的评估准确度的集合，E表示产品评估任务的分配，(T∪W,E)表示T∪W所对应的点与E所对应的边组成的二分图，∪表示顶点取并集；

如果第i个产品评估任务分配给了第j个众包人，那么(t_i,w_j)∈E，其中，(t_i,w_j)表示t_i,w_j连成的边；T的度为l，即一个产品评估任务被随机分配给了l个众包人，W的度为r，即一个众包人接到r个产品评估任务，l的取值范围为1至n，r的取值范围为1至m。

3.根据权利要求1所述的产品评估任务中的结果估计方法，其特征在于，所述步骤3包括如下步骤：

将众包人给出的回答，组成回答矩阵A：

A＝[A_ij]^m×n

其中，A_ij为第j个众包人对于第i个产品评估任务的回答，且A_ij∈{[a,b]∪null}，null表示不存在；若第i个产品评估任务没有分配给第j个众包人，则A_ij＝null。

4.根据权利要求3所述的产品评估任务中的结果估计方法，其特征在于，所述步骤4包括如下步骤：

步骤S1：设置最大迭代次数h_max，初始化表征众包人的评估准确度的参数向量其中，1ⁿ为n维全1向量；

步骤S2：重复执行步骤i和步骤ii直至收敛或迭代次数超过最大迭代次数h_max；

步骤i：对m个产品评估任务，执行如下计算式：

${{\hat{t}}_i}^{\left(h\right)}=\arg \underset{x\∈[a,b]}{\max }\underset{j\∈\∂i}{\mathrm{\Σ}}{\hat{q}}_j^{\left(h\right)}R(x,A_{\mathrm{ij}})$

其中，表示第h次迭代中第i个产品评估任务的评估值，表示与第i个产品评估任务关联的众包人，表示第h次迭代中第j个众包人的评估准确度的估计值，R(x,A_ij)表示x与A的相关度，x表示评估值的变量；

步骤ii：对n个众包人，执行如下计算式：

${\hat{q}}_j^{(h+1)}=\frac{1}{r}\underset{i\∈\∂j}{\mathrm{\Σ}}R({{\hat{t}}_i}^{\left(h\right)},A_{\mathrm{ij}})$

其中，表示第h+1次迭代中第j个众包人的评估准确度的估计值，r表示一个众包人接收到的产品评估任务数量，表示与第j个众包人关联的产品评估任务，表示第h次迭代中第i个任务的评估值与答案A的相关度；

步骤S3：输出评估向量作为任务评估结果：

$\hat{t}={\hat{t}}^{\left(h_{\max }\right)}$

其中，表示达到最终迭代次数后的产品评估任务的评估值。

5.根据权利要求4所述的产品评估任务中的结果估计方法，其特征在于，对于产品评估任务的评价区间在连续区间[a,b]中的产品评估任务，用相关度函数R(x,y)表征众包人的回答之间的相关度，定义如下：

$R(x,y)=\left\{\begin{array}{cc}0& \mathrm{if}|x-y|>\frac{1}{\sqrt{c}}\\ 1-c{(x-y)}^2& \mathrm{otherwise}\end{array}\right.,$

其中，c为一个常数，x、y为自变量。

6.一种众包众测平台，包括任务收集模块、任务下发模块、任务评估模块，其特征在于，所述任务评估模块通过权利要求1所述的产品评估任务中的结果估计方法得到产品评估任务的任务评估结果。

7.根据权利要求6所述的众包众测平台，其特征在于，所述产品评估任务为室内定位任务。