CN107609833A - 一种众包系统中基于检测问题的激励机制的实现方法 - Google Patents

Abstract

本发明公开了一种众包系统中基于检测问题的激励机制的实现方法，该机制解决了在标签任务问题中现有技术缺少足够的激励性、无法很好地监督促进工人认真完成标签任务的不足。该机制与以往研究的相关机制相比，高质量的答案比低质量的答案额外获得的报酬更大，从而更好地激励工人按照任务发布者的要求完成标签任务、提供高质量的答案。同时，在确保高质量的答案能获得更高的报酬的基础上，该机制所需要支付的平均报酬更低。

Description

一种众包系统中基于检测问题的激励机制的实现方法

技术领域

本发明涉及众包系统领域，具体涉及众包系统中标签任务的激励机制的实现方法。

背景技术

随着互联网与人工智能的发展，机器学习受到越来越多学者的关注。相应地，对标签数据的需求也呈现大幅增长的趋势。因此，作为一个良好的数据收集平台，众包系统已经逐渐成为机器学习领域的一个重要辅助工具。在众包系统中，任务发布者通过支付一定报酬，将标签任务分发给若干个工人完成，得到多组原始标签数据，并通过一定的数据聚集方法对这些数据进行处理与分析。相对于雇佣专家来完成标签任务，众包系统的优势在于成本低廉。研究表明，在很多标签任务中，通过选择适当的数据聚集方法，大量的廉价非专业工人的答案的表现已经可以媲美专家的答案。

然而，由于客观上缺少足够的专业性以及主观上的消极怠工，在标签任务中，工人的答案的质量往往无法得到保证，相应的标签任务完成质量也无法令人满意。针对这一问题，很多学者提出了不同的改进方法，其中一类重要的方法就是设计激励机制。在很多现实的数据集中，往往可以看到，工人答案的总体质量对任务的完成情况有很大影响。在提高工人答案质量方面，将报酬与答案质量挂钩的激励机制和监督检测机制是常见的思路。这样的激励机制在理论上可以促进工人付出更多的努力来完成标签任务，从而提高答案的质量，同时，对潜在的质量差的答案，可以通过减少报酬来减少任务发布者的损失。因此，在众包系统中引进基于检测问题的激励机制可以帮助提高标签任务的完成质量。

一般来说，按照工人完成的标签任务数量给予对应的报酬是最常见的一种报酬支付方式，这种支付方式对每个完成的任务都给予固定的报酬。显然，这种报酬支付方式对消极怠工的工人来说是脆弱的，工人可以通过随意选择标签完成任务来提高效率，以获得更高的收益。对于任务发布者来说，这种行为无疑是希望被约束的。因此，一些学者利用检测问题提出了不同的改进方法。但是，目前的相关研究大多将检测问题作为一种监督机制，利用检测问题来检查工人的实时工作质量，并决定下一步如何分配任务。这种改进方法需要对工人的状态进行概率方法建模，然而，这种建模往往夸大了工人状态的波动，同时在主观上也缺少足够的激励工人按照要求完成任务的能力。也有少数一些研究考虑根据工人在检测问题上的回答情况给予相应的报酬。然而，现有的这类研究对问题模型的建模都加入了一些额外的限制，使得系统的效率降低。

发明内容

本发明要解决的技术问题是：本技术克服现有技术的一些主要缺点，在尽可能少地对问题模型建模进行额外限制的基础上，提供一种众包系统中基于检测问题的标签任务的报酬激励机制的实现方法。

本发明解决其技术问题的解决方案是：一种众包系统中基于检测问题的激励机制的实现方法，包括以下步骤：(1)建立问题环境；(2)设计报酬函数；(3)报酬函数实现。

作为上述技术方案的进一步改进，所述步骤(1)的问题环境假设的具体步骤如下：

(1.1)建立标签任务集合；在众包系统中，假设要完成的标签任务由N个问题组成，其中包含G(1≤G≤N)个检测问题，每个问题都有B个选项，其中有且只有一个选项是正确的，在检测问题中，正确选项是已知的，在其他问题中，正确选项是客观存在但未知的，同时，对于工人来说，哪些问题是检测问题是未知的；

(1.2)建立报酬函数；由于任务发布者只知道检测问题的正确答案，任务发布者将根据工人在检测问题上的回答情况给予相应的报酬，为了减少误差，工人可以在一个问题中选择多个选项，同时也可以选择跳过该问题，定义工人在检测问题i上的回答情况为x_i∈{-(B-1),...,B}，其中x_i的绝对值表示工人选择的选项数，且当工人选择的选项中包含正确答案时，x_i的符号为正，否则x_i的符号为负；

因此，报酬函数f根据工人在G个问题中的回答情况给出一个确定的报酬值，定义报酬函数f如下：

f:{-(B-1),...,B}^G→[α_min,α_max]

其中α_min和α_max分别表示给予报酬的最小值和最大值；

(1.3)建立工人的行为集合；工人在回答问题时的目标一般是最大化自己的收益，任务发布者给出一个阈值ρ，任务发布者希望工人回答问题时选择所有他认为正确率大于ρ的选项，注意可能存在工人认为所有选项的准确率都小于ρ的情况，此时工人应该选择跳过该问题，同时需要注意的是，在给定ρ之后，工人可以选择的最大选项数不超过1/ρ，令由于ρ≥1/B，因此H≤B。

作为上述技术方案的进一步改进，所述步骤(2)的设计报酬函数的具体步骤如下：

(2.1)确定报酬函数的设计要求；所述的报酬函数具有激励相容性与节约性，一个报酬函数f是节约的，当且仅当对任意满足f(1,…,1)＝g(1,…,1)的报酬函数g，有f(H,…,H)≤g(H,…,H)；

(2.2)报酬函数的设计，可以证明，当任务发布者的要求是希望工人只选择所有他认为正确率大于某个给定的阈值ρ时，报酬函数f同时满足激励相容性与节约性当且仅当

其中a，b和c是常数，a≥0,b>0,c≤(B-H)ρ，I()是指示函数，在给定α_min和α_max的情况下，通过适当调整参数a，b和c的值即可得到合适的报酬激励函数。

作为上述技术方案的进一步改进，所述步骤(3)中报酬函数实现的具体步骤如下：

(3.1)报酬函数的参数建立，一般来说，a的值可以取α_min，c的值主要影响工人间总报酬的方差，c＝(B-H)ρ作为基准参数，在这一参数下，若工人在某个检测问题上的评分为-H，则总报酬为α_min；

此时，若令f(1,…,1)＝α_max，则可求得

(3.2)报酬函数的具体实现，在具体实现该报酬激励机制时，可以按照如下步骤进行：

(3.2.1)给定α_min，α_max和ρ，令对每个工人，首先给予基本报酬α_min；

(3.2.2)告知工人检测问题的存在，并告知工人一个基准额外报酬

(3.2.3)对每个检测问题i，若工人的回答情况为x_i，则工人的基准额外报酬乘上一个倍数

(H-|x_i|)ρ+I(x_i>0)

(3.2.4)检查工人在所有检测问题上的回答情况，按照步骤(3.2.3)计算工人能得到的最终的额外收益。

本发明的有益效果是：本发明与现有技术相比有如下优点：

(1)允许工人选择多个选项，减少了单一选项的误差；(2)高质量的答案比低质量的答案额外获得的报酬更大，从而更好地激励工人按照任务发布者的要求完成标签任务，提供高质量的答案；(3)在确保高质量的答案能获得更高的报酬的基础上，该机制所需要支付的平均报酬更低。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单说明。显然，所描述的附图只是本发明的一部分实施例，而不是全部实施例，本领域的技术人员在不付出创造性劳动的前提下，还可以根据这些附图获得其他设计方案和附图。

图1为本发明的流程图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，文中所提到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。

如图1所示，本发明的一种众包系统中基于检测问题的标签任务的报酬激励机制，包括以下步骤：(1)建立问题环境；(2)设计报酬函数；(3)报酬函数实现。

进一步的，所述步骤(1)的建立问题环境的具体步骤如下：

(1.1)建立标签任务集合。在众包系统中，假设要完成的标签任务由N个问题组成，其中包含G(1≤G≤N)个检测问题。每个问题都有B个选项，其中有且只有一个选项是正确的。在检测问题中，正确选项是已知的，在其他问题中，正确选项是客观存在但未知的。同时，对于工人来说，哪些问题是检测问题是未知的。

(1.2)建立报酬函数。不失一般性，只需要考虑某一个工人的情况。由于任务发布者只知道检测问题的正确答案，任务发布者将根据工人在检测问题上的回答情况给予相应的报酬。为了减少误差，工人可以在一个问题中选择多个选项，同时也可以选择跳过该问题。定义工人在检测问题i上的回答情况为x_i∈{-(B-1),...,B}，其中x_i的绝对值表示工人选择的选项数，且当工人选择的选项中包含正确答案时，x_i的符号为正，否则x_i的符号为负。

因此，报酬函数f根据工人在G个问题中的回答情况给出一个确定的报酬值。定义报酬函数f如下：

f:{-(B-1),...,B}^G→[α_min,α_max]

其中α_min和α_max分别表示给予报酬的最小值和最大值。

(1.3)建立工人的行为集合。工人在回答问题时的目标一般是最大化自己的收益。在前文设定中，由于工人不知道哪些问题是检测问题，因此本文假设工人的目标是最大化自己的期望收益。

在众包系统中，由于工人一般不是专业性人士，加上主观上工人可能消极怠工，工人答案的质量无法得到保证。为了解决这个问题，任务发布者希望工人选择所有他认为正确的选项。准确来说，任务发布者给出一个阈值ρ，任务发布者希望工人回答问题时选择所有他认为正确率大于ρ的选项，注意可能存在工人认为所有选项的准确率都小于ρ的情况，此时工人应该选择跳过该问题。同时需要注意的是，在给定ρ之后，工人可以选择的最大选项数不超过1/ρ，令由于ρ≥1/B，因此H≤B。

此外，为了保证最优性，本文假设工人认为任一选项的正确率都不恰好为ρ。显然，这一假设本身并不严格。

进一步的，所述步骤(2)的报酬函数设计的具体步骤如下：

(2.1)确定报酬函数的设计要求。在设计报酬函数时，任务发布者一般希望工人按照自己的要求完成标签任务，也就是说，工人在按要求完成标签任务时获得的收益应该更大。这个准则可以归纳为如下性质：

激励相容性：一个报酬函数是激励相容的，当且仅当工人按照任务发布者的要求完成任务时所获得的报酬是严格最大的。

这个性质是激励机制设计的基本要求，然而，对某个特定的要求，可能存在多个符合激励相容性的机制，此时，另外一个性质也需要进行考虑：

节约性：一个报酬函数f是节约的，当且仅当对任意满足f(1,…,1)＝g(1,…,1)的报酬函数g，有f(H,…,H)≤g(H,…,H)。

(2.2)报酬函数的设计、建立。可以证明，当任务发布者的要求是希望工人只选择所有他认为正确率大于某个给定的阈值ρ时，报酬函数f同时满足激励相容性与节约性当且仅当

其中a，b和c是常数，a≥0,b>0,c≤(B-H)ρ，I()是指示函数。在给定α_min和α_max的情况下，通过适当调整参数a，b和c的值即可得到合适的报酬激励函数。

进一步的，所述步骤(3)中报酬函数实现的具体步骤如下：

(3.1)报酬函数的参数建立。一般来说，a的值可以取α_min。c的值主要影响工人间总报酬的方差，这里不妨选取c＝(B-H)ρ作为基准参数。在这一参数下，若工人在某个检测问题上的评分为-H，则总报酬为α_min。

此时，若令f(1,…,1)＝α_max，则可求得

在实际应用中，b的取值可在此基础上进行适当的调整。

(3.2)报酬函数的具体实现。在具体实现该报酬激励机制时，可以按照如下步骤进行：

(3.2.1)给定α_min，α_max和ρ，令对每个工人，首先给予基本报酬α_min。

(3.2.2)告知工人检测问题的存在，并告知工人一个基准额外报酬

(3.2.3)对每个检测问题i，若工人的回答情况为x_i，则工人的基准额外报酬乘上一个倍数

(H-|x_i|)ρ+I(x_i>0)

(3.2.4)检查工人在所有检测问题上的回答情况，按照步骤3)计算工人能得到的最终的额外收益。

以上对本发明的较佳实施方式进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变型或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (4)

1.一种众包系统中基于检测问题的激励机制的实现方法，其特征在于：包括以下步骤：

(1)建立问题环境；

(2)设计报酬函数；

(3)报酬函数实现。

2.根据权利要求1所述的众包系统中基于检测问题的激励机制的实现方法，其特征在于：所述步骤(1)的问题环境假设的具体步骤如下：

(1.1)建立标签任务集合；在众包系统中，假设要完成的标签任务由N个问题组成，其中包含G(1≤G≤N)个检测问题，每个问题都有B个选项，其中有且只有一个选项是正确的，在检测问题中，正确选项是已知的，在其他问题中，正确选项是客观存在但未知的，同时，对于工人来说，哪些问题是检测问题是未知的；

(1.2)建立报酬函数；由于任务发布者只知道检测问题的正确答案，任务发布者将根据工人在检测问题上的回答情况给予相应的报酬，为了减少误差，工人可以在一个问题中选择多个选项，同时也可以选择跳过该问题，定义工人在检测问题i上的回答情况为x_i∈{-(B-1),...,B}，其中x_i的绝对值表示工人选择的选项数，且当工人选择的选项中包含正确答案时，x_i的符号为正，否则x_i的符号为负；

因此，报酬函数f根据工人在G个问题中的回答情况给出一个确定的报酬值，定义报酬函数f如下：

f:{-(B-1),...,B}^G→[α_min,α_max]

其中α_min和α_max分别表示给予报酬的最小值和最大值；

(1.3)建立工人的行为集合；工人在回答问题时的目标一般是最大化自己的收益，任务发布者给出一个阈值ρ，任务发布者希望工人回答问题时选择所有他认为正确率大于ρ的选项，注意可能存在工人认为所有选项的准确率都小于ρ的情况，此时工人应该选择跳过该问题，同时需要注意的是，在给定ρ之后，工人可以选择的最大选项数不超过1/ρ，令由于ρ≥1/B，因此H≤B。

3.根据权利要求2所述的众包系统中基于检测问题的激励机制的实现方法，其特征在于：所述步骤(2)的设计报酬函数的具体步骤如下：

(2.1)确定报酬函数的设计要求；所述的报酬函数具有激励相容性与节约性，一个报酬函数f是节约的，当且仅当对任意满足f(1,…,1)＝g(1,…,1)的报酬函数g，有f(H,…,H)≤g(H,…,H)；

(2.2)报酬函数的设计，可以证明，当任务发布者的要求是希望工人只选择所有他认为正确率大于某个给定的阈值ρ时，报酬函数f同时满足激励相容性与节约性当且仅当

<mrow> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>x</mi> <mi>G</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>a</mi> <mo>+</mo> <mi>b</mi> <munderover> <mo>&amp;Pi;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>G</mi> </munderover> <mo>&amp;lsqb;</mo> <mrow> <mo>(</mo> <mi>B</mi> <mo>-</mo> <mo>|</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>|</mo> <mo>)</mo> </mrow> <mi>&amp;rho;</mi> <mo>+</mo> <mi>I</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>&gt;</mo> <mn>0</mn> <mo>)</mo> </mrow> <mo>-</mo> <mi>c</mi> <mo>&amp;rsqb;</mo> </mrow>

其中a，b和c是常数，a≥0,b>0,c≤(B-H)ρ，I()是指示函数，在给定α_min和α_max的情况下，通过适当调整参数a，b和c的值即可得到合适的报酬激励函数。

4.根据权利要求3所述的众包系统中基于检测问题的激励机制的实现方法，其特征在于：所述步骤(3)中报酬函数实现的具体步骤如下：

(3.1)报酬函数的参数建立，一般来说，a的值可以取α_min，c的值主要影响工人间总报酬的方差，c＝(B-H)ρ作为基准参数，在这一参数下，若工人在某个检测问题上的评分为-H，则总报酬为α_min；

此时，若令f(1,…,1)＝α_max，则可求得

<mrow> <mi>b</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>&amp;alpha;</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> </msub> </mrow> <msup> <mrow> <mo>&amp;lsqb;</mo> <mn>1</mn> <mo>+</mo> <mrow> <mo>(</mo> <mi>H</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mi>&amp;rho;</mi> <mo>&amp;rsqb;</mo> </mrow> <mi>G</mi> </msup> </mfrac> </mrow>

(3.2)报酬函数的具体实现，在具体实现该报酬激励机制时，可以按照如下步骤进行：

(3.2.1)给定α_min，α_max和ρ，令对每个工人，首先给予基本报酬α_min；

(3.2.2)告知工人检测问题的存在，并告知工人一个基准额外报酬

<mrow> <mi>b</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>&amp;alpha;</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> </msub> </mrow> <msup> <mrow> <mo>&amp;lsqb;</mo> <mn>1</mn> <mo>+</mo> <mrow> <mo>(</mo> <mi>H</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mi>&amp;rho;</mi> <mo>&amp;rsqb;</mo> </mrow> <mi>G</mi> </msup> </mfrac> </mrow>

(3.2.3)对每个检测问题i，若工人的回答情况为x_i，则工人的基准额外报酬乘上一个倍数

(H-|x_i|)ρ+I(x_i>0)

(3.2.4)检查工人在所有检测问题上的回答情况，按照步骤(3.2.3)计算工人能得到的最终的额外收益。