CN110443292A - 多影响因素的众包答案决策方法 - Google Patents

Abstract

本发明提供了一种多影响因素的众包答案决策方法，对分配的任务进行难度量化；根据用户对不同领域的擅长程度、任务难度和用户提交的答案集合建立用户质量模型；根据量化的任务难度和用户质量模型确定用户正确回答问题的概率；将量化的任务难度、用户质量模型和用户正确回答问题的概率作为贝叶斯决策算法的输入，计算每个候选答案的后验概率；选取后验概率最大值对应的候选答案作为众包答案。本方法综合考虑多个因素，可以获得较高的答案准确度和执行效率。

Description

多影响因素的众包答案决策方法

技术领域

本发明涉及众包答案决策领域，尤其涉及一种多影响因素的众包答案决策方法。

背景技术

对于众包平台来说，用户的质量控制和答案决策是两个关键技术。由于众包平台的开放性，用户可能会产生低质量的答案甚至是干扰答案，因此，现有平台普遍采用基于冗余的方法，首先将每个任务分配给多个用户，然后聚合多个用户的答案进行答案决策。

近年来，国内外学者对答案决策算法进行了大量的研究。少数服从多数(MajorityVoting,MV)方法是最基本的答案决策方法，它考虑每个候选答案的用户个数，主要决策思想是少数服从多数。由于众包平台上不同用户的经验水平是不同的，MV方法没有考虑用户质量，因此它决策出来的答案可靠性比较低。由此，研究者们又提出两种基于概率的方法，即迭代的答案决策方法和非迭代的答案决策方法。非迭代的答案决策方法将用户的准确性考虑到答案决策过程中，根据用户回答问题的准确性以及答案，计算每个候选答案的后验概率分布，后验概率最大的答案作为决策答案。非迭代的方法认为用户质量是固定的，实质上用户的质量会随着用户回答问题的难度和个数而动态改变；迭代的答案决策方法利用期望最大化(Expectation Maximization，EM)算法不断迭代更新用户质量和答案后验概率分布，直至后验概率分布收敛为止，得到最终决策的答案。由于EM算法需要大量的迭代，运行时间较长。为了更好地进行答案决策，研究者们不仅考虑用户质量的变化，而且挖掘出了多个影响答案决策的因素。Jacob Whitehill等人于2010年提出了难度敏感的答案决策方法，该方法认为每个任务的难度是不同的，每个用户对不同难度任务的表现也是不一样的，提出了一种概率模型，并利用该模型同时推断出图像的标签、用户的质量以及每幅图像的标注难度。该方法得出的任务难度依赖于用户的表现，即多数用户回答正确，任务难度就低，否则任务难度就高。Yudian Zheng等人于2017年提出了领域敏感的答案决策方法，该方法认为任务涉及多个领域，且用户在不同领域的擅长程度不同。该方法使用知识库，例如Wikipedia和Freebase来检测任务和用户的领域向量，利用领域敏感的用户模型来精确地推断任务的真实答案。Yili Fang等人于2017年提出了选项相似度敏感的方法，该方法将使用欧拉距离计算的候选答案的相似度带入答案决策，并进行了两轮答案决策以提高答案决策的准确率。

但是，上述现有技术中的众包任务分配算法存在如下问题：

(1)未能合理地量化任务难度。任务难度完全依靠用户的表现决定，实际上，每个任务的难度是客观的，不随用户表现变化而变化。

(2)未考虑任务选项的语义相似性。选项相似性仅仅依靠传统的距离计算方法，无法客观表现选项间的相似度。

(3)答案决策方法并未综合考虑多种影响因素。现有答案决策算法往往从单个影响因素出发，未能对多种影响因素进行综合考虑。

发明内容

本发明提供了一种多影响因素的众包答案决策方法，以解决现有技术中的缺陷。

为了实现上述目的，本发明采取了如下技术方案。

本发明提供了一种多影响因素的众包答案决策方法，其特征在于，包括：

对分配的任务进行难度量化；

根据用户对不同领域的擅长程度、任务难度和用户的答案集合建立用户质量模型；

根据量化的任务的难度和用户质量模型确定用户正确回答问题的概率；

将任务量化的难度、用户质量模型和用户正确回答问题的概率作为贝叶斯决策算法的输入，计算每个候选答案的后验概率；

选取后验概率最大值对应的候选答案作为众包答案。

优选地，对分配的任务进行难度量化，包括：根据所述分配的任务的领域和候选答案确定任务领域的离散程度和任务候选答案的整体相似度，进而利用熵权法计算任务领域的离散程度和任务候选答案的整体相似度的权重，从而得到所述分配任务的难度。

优选地，根据所述分配的任务的领域和候选答案确定任务领域的离散程度和任务候选答案的整体相似度，包括：根据下式(1)通过信息熵计算的领域熵表示任务领域的离散程度：

根据下式(2)的欧拉距离计算各个候选答案之间的相似度，利用下式(3)的中位数法则得到任务候选答案的整体相似度：

其中，e_i表示任务t_i的领域熵，表示任务t_i与领域g的关联程度，v_ig越大，则任务t_i与领域g越相关，v_ig∈[0，1]，且有sim(a_ix，a_iy)为任意两个候选答案a_ix和a_iy的相似度，它们的词向量表示为word(a_ix)＝[w_x1，w_x2，...，w_xh]，word(a_iy)＝[w_y1，w_y2，...，w_yh]，为任务候选答案的整体相似度，候选答案集 为任务t_i的候选答案相似度向量，z为候选答案个数，中任意s_ig∈[0，1]。

优选地，用户质量模型包括：用户集合W＝{w₁，w₂，...，w_m}，每个用户有一个用户质量向量，记为 表示用户w_j对领域k的擅长程度以及对涉及该领域的不同难度的历史任务的胜任程度，q_jk越大，则表明用户w_j对领域k越擅长，且能胜任难度较高的任务，反之，则不擅长该领域且难以胜任难度高的任务，其中，w_j∈W且q_jk∈[0，1]，用户答案集合为

优选地，根据量化的任务的难度和用户质量模型确定用户正确回答问题的概率，包括：根据下式(4)计算用户正确回答问题的概率：

其中，r_i＝a_ic表示任务t_i的候选答案a_ic为t_i的真值，θ_i＝π表示任务t_i的当前领域为π； 为用户w_j在领域π上回答t_i正确的概率，δ(·)表示狄利克雷函数，当输入的判定为真，δ(·)的输出为1；反之，输出为0；δ(u_ij＝a_ic)和δ(u_ij≠a_ic)分别表示当用户w_j针对任务t_i的答案u_ij与真值a_ic一致或者不一致的情况，随着任务t_i的难度d_i的增加，或者用户在领域π上的质量q_jπ的下降，用户w_j回答正确的概率趋于0.5，即用户可能在不确定的情况下随机地给出答案，z为候选答案的个数。

优选地，将量化的任务难度、用户质量模型和用户正确回答问题的概率作为贝叶斯决策算法的输入，计算每个候选答案的后验概率，包括：所述的每个候选答案的后验概率如下式(5)所示：

其中，ρ_ic表示候选答案a_ic为真值的后验概率， 为用户w_j在领域π上回答t_i正确的概率，随着任务t_i的难度d_i的增加，或者用户在领域π上的质量q_jπ的下降，用户w_j回答正确的概率趋于0.5，δ(·)表示狄利克雷函数，当输入的判定为真，δ(·)的输出为1；反之，输出为0；δ(u_ij＝a_ic)和δ(u_ij≠a_ic)分别表示当用户w_j针对任务t_i的答案u_ij与真值a_ic一致或者不一致的情况；v_iπ表示任务t_i与领域π的关联程度，z为候选答案的个数。

优选地，该方法还包括：根据众包结果对用户质量模型进行实时更新，具体的更新内容如下式(6)所示：

其中，q_jπ为用户w_j在领域π上的质量，d_i为任务t_i的难度，v_iπ为任务t_i与领域π相关程度，为用户w_j给出的答案u_ij对应的候选答案的后验概率，δ(θ_i＝π)判断任务t_i当前涉及的领域是否为π，δ(r_i＝u_ij)判断用户w_j的答案u_ij是否与真值一致。

由上述本发明的多影响因素的众包答案决策方法提供的技术方案可以看出，本发明方法通过考虑用户质量、任务难度、任务领域以及候选答案的相似度，根据任务提供的信息(任务描述、候选答案)计算任务的领域向量以及候选答案的相似度，由此量化任务难度；然后根据用户历史提交答案的数据对用户质量建模；根据任务难度和用户质量建模综合计算用户回答问题正确的概率，进而综合影响因素确定每个候选答案的后验概率，最终将后验概率最大的候选答案作为众包任务答案，本方法综合考虑多个因素，可以获得较高的答案准确度和执行效率。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为实施例的多影响因素的众包答案决策方法流程示意图；

图2为实施例的多影响因素的众包答案决策方法原理示意图；

图3为对分配的任务进行难度量化流程示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的意思。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明。

实施例

图1为本实施例的多影响因素的众包答案决策方法流程示意图，图2为本实施例的多影响因素的众包答案决策方法原理示意图，参照图1和图2，该方法包括：

S1对分配的任务进行难度量化。

根据分配的任务的领域和候选答案确定任务领域的离散程度和任务候选答案的整体相似度，进而利用熵权法计算任务领域的离散程度和任务候选答案的整体相似度的权重，从而得到所述分配任务的难度。具体流程如图3所示。

由于每个任务的难度是不同的，而且任务难度是客观的，不会随着用户行为的变化而变化，因此，可以利用任务的原始信息对任务难度进行量化。本实施例主要从两个影响因素来考虑对难度的量化：1)领域的离散程度。如果一个任务与多个领域关联，也就是说，该任务涉及多个领域，需要用户具备多样的领域知识，那么该任务是比较难的；2)候选答案的相似度。如果一个任务的候选答案的相似程度高，即选项的区分度低，难以选择，该任务的难度也比较高。因此，本实施例通过对这两个影响因素进行量化，进而得到任务难度。

给定一个任务集合T＝{t₁，t₂，...，t_n}。对于每一个任务t_i∈T，都有一个任务的文本描述以及一个候选答案集根据实体发现技术，对每个任务t_i进行建模，可以得到一个领域向量其中，表示任务t_i与领域g的关联程度，v_ig越大，则任务t_i与领域g越相关，v_ig∈[0，1]，且有

给定一个任务t_i以及它的领域向量任务t_i的领域熵用于反映任务领域的离散程度，记为e_i，e_i∈[0，+∞]。任务的领域熵越大，则该任务涉及的领域越广泛；反之，涉及的领域少，领域集中度高。

根据下式(1)通过信息熵计算的领域熵表示任务领域的离散程度：

给定任务t_i以及它的候选答案集利用Word2Vec进行词向量的划分，通过词向量计算两个候选答案的语义相似度，可以得到任务t_j的候选答案相似度向量，记为其中，z为候选答案个数，中任意s_ig∈[0，1]。

根据下式(2)的欧拉距离计算各个候选答案之间的相似度：

利用下式(3)的中位数法则得到任务候选答案的整体相似度：

其中，e_i表示任务t_i的领域熵，sim(a_ix，a_iy)为任意两个候选答案a_ix和a_iy的相似度，它们的词向量表示为word(a_ix)＝[w_x1，w_x2，...，w_xh]，word(a_iy)＝[w_y1，w_y2，...，w_yh]，为任务候选答案的整体相似度，候选答案集为任务t_i的候选答案相似度向量。

根据任务t_i以及它的领域熵e_i和选项整体相似度通过熵权法分别得到e_i和对任务难度的权重，得到任务t_i的难度记为d_i，计算如下：

其中，d_i∈[0，1]，w₁、w₂分别表示领域熵和选项整体相似度的权重，d_i越大，表明任务t_i的难度越大。

S2根据用户对不同领域的擅长程度、任务难度和用户的答案集合建立用户质量模型。

用户质量模型包括：用户集合W＝{w₁，w₂，...，w_m}，每个用户有一个用户质量向量，记为由于用户质量受到多因素的影响，因此用户质量向量不仅需要反映用户对不同领域的擅长程度，同时也需要反映用户对难度不同的任务的胜任程度。表示用户w_j对领域k的擅长程度以及对涉及该领域的不同难度的历史任务的胜任程度，q_jk越大，则表明用户w_j对领域k越擅长，且能胜任难度较高的任务。反之，则不擅长该领域且难以胜任难度高的任务。其中，w_j∈W且q_jk∈[0，1]，用户答案集合为

通过与不同领域相关的资格测试来初始化每个用户的质量向量

需要说明的是，本实施例的方法还包括：在得到任务t_i∈T所有候选答案的后验概率后，需要更新用户的质量向量。每个用户的质量代表他们对不同领域的擅长程度。为了准确地更新用户的质量向量，本实施例同时考虑了与用户所回答的任务相关的领域以及这些任务的难度。直观地说，如果一个用户正确地回答了一个困难的任务，他应该被给予比正确地回答相对容易的任务更高的质量。反之，如果一个用户对一项任务的回答是错误的，则不应直接降低该用户的质量。也就是说，用户质量的更新需考虑任务的难度和任务的领域。

根据众包结果对用户质量模型进行实时更新，具体的更新内容如下式(5)所示：

q_jπ为用户w_j在领域π上的质量，d_i为任务t_i的难度，v_iπ为任务t_i与领域π相关程度，为用户w_j答案u_ij对应的候选答案的后验概率，δ(θ_i＝π)判断任务t_i当前涉及的领域是否为π，δ(r_i＝u_ij)判断用户w_j的答案u_ij是否与真值一致。

其中，q_jπ的更新是基于：领域π与任务t_i的关联程度v_iπ；任务的难度d_i；用户答案对应的候选答案的后验概率

S3根据量化的任务的难度和用户质量模型确定用户正确回答问题的概率。

用户回答一个任务t_i∈T时，他回答正确的概率主要受以下三个因素的影响：任务t_i的难易程度d_i；用户的质量向量任务的领域相关程度任务真值r_i。随着任务t_i的难度d_i的增加，即使是最能干的用户也只有50％的机会把任务做好，即随机地回答问题。也就是说，用户w_j回答正确的概率不仅受到任务t_i的领域相关程度影响，而且受到难易程度d_i的影响。将用户w_j在领域π上正确回答t_i的概率记为计算公式如下：

在该模型下，随着任务ti的难度di的增加，或者用户在领域π上的质量q_jπ的下降，用户w_j回答正确的概率趋于0.5，说明用户w_j只是通过猜测随机选择答案。

相反，如果用户w_j的答案u_ij是错误的，不考虑候选答案的先验概率，则z-1个错误选项被误判为正确答案的概率相等，那么u_ij被误认为是正确答案的概率计算如下：

根据下式(8)计算用户正确回答问题的概率：

其中，r_i＝a_ic表示任务t_i的候选答案a_ic为t_i的真值。由于一个任务可能涉及多个领域，θ_i＝π表示任务t_i的当前领域为π。 为用户w_j在领域π上正确回答t_i的概率。δ(·)表示狄利克雷函数，即判定函数。当输入的判定为真，δ(·)的输出为1；反之，输出为0。δ(u_ij＝a_ic)和δ(u_ij≠a_ic)分别表示当用户w_j针对任务t_i的答案u_ij与真值a_ic一致或者不一致的情况。由(6)式可知，随着任务t_i的难度d_i的增加，或者用户在领域π上的质量q_jπ的下降，用户w_j回答正确的概率趋于0.5，即用户可能在不确定的情况下随机地给出答案，z为候选答案的个数。

S4将量化的任务难度、用户质量模型和用户正确回答问题的概率作为贝叶斯决策算法的输入，计算每个候选答案的后验概率。

贝叶斯决策理论将在事件B发生的情况下事件A发生的概率表示为： 表示在用户给出的答案集合的条件下，任务t_i的真值r_i为候选答案a_ic的概率。其中，候选答案先验知识P(a_ic)未知，设所有候选答案先验知识相等，根据贝叶斯决策理论得到

本实施例将多个影响众包答案决策的因素考虑在内。多个因素的相互影响关系总结如下：

(1)对于任务的难度而言，任务的领域熵越大或者任务的候选答案的相似度越大，则该任务越难。反之，任务简单。

(2)对于任务而言，接受任务的用户越熟悉该任务相关领域，即对该领域任务的完成质量越高，则推断得到的答案越可靠。反之，如果接受任务的用户不熟悉该任务相关领域，即对该领域任务的完成质量低，则推断答案不可信。

(3)对于用户而言，影响其质量向量的除了他对每个领域的擅长程度，还有他回答任务的难度。如果任务难度高，即使是最能干的用户也容易在回答中出错。与此同时，用户在某个领域的表现越好，即用户在某领域相关的任务上得到正确答案的次数越多，用户在该领域的质量就越高。

给定一组任务，每个任务有一段文字描述及一组候选答案，每个任务可以分配给多个用户回答，每个用户可以回答多个任务。答案决策的目标是推断出每个任务的真值，且动态更新用户质量。给定任务t_i、它的候选答案集以及候选答案的后验概率集合任务的真值即是后验概率集合中的最大值所对应的候选答案，记任务t_i的真值为r_i。

计算每个候选答案是否为真值的后验概率，将任务难度d_i和t_i的领域向量考虑在内，计算如下：

候选答案的后验概率即为候选答案在每个领域上为真值的概率之和，其中表示候选答案a_ic在领域π上为任务t_i真值的概率。假设候选答案的先验概率未知，则有每个选项的先验概率为则有：

最终得到每个候选答案的后验概率如下式(11)所示：

ρ_ic表示候选答案a_ic为真值的后验概率， 为用户w_j在领域π上回答t_i正确的概率，随着任务t_i的难度d_i的增加，或者用户在领域π上的质量q_jπ的下降，用户w_j回答正确的概率趋于0.5。δ(·)表示狄利克雷函数，即判断函数。当输入的判定为真，δ(·)的输出为1；反之，输出为0。δ(u_ij＝a_ic)和δ(u_ij≠a_ic)分别表示当用户w_j针对任务t_i的答案u_ij与真值a_ic一致或者不一致的情况。v_iπ表示任务t_i与领域π的关联程度，z为候选答案的个数。

S5选取后验概率最大值对应的候选答案作为众包答案。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种多影响因素的众包答案决策方法，其特征在于，包括：

对分配的任务进行难度量化；

根据用户对不同领域的擅长程度、任务难度和用户的答案集合建立用户质量模型；

根据量化的任务的难度和用户质量模型确定用户正确回答问题的概率；

将任务量化的难度、用户质量模型和用户正确回答问题的概率作为贝叶斯决策算法的输入，计算每个候选答案的后验概率；

选取后验概率最大值对应的候选答案作为众包答案。

2.根据权利要求1所述的方法，其特征在于，所述的对分配的任务进行难度量化，包括：根据所述分配的任务的领域和候选答案确定任务领域的离散程度和任务候选答案的整体相似度，进而利用熵权法计算任务领域的离散程度和任务候选答案的整体相似度的权重，从而得到所述分配任务的难度。

3.根据权利要求2所述的方法，其特征在于，所述的根据所述分配的任务的领域和候选答案确定任务领域的离散程度和任务候选答案的整体相似度，包括：根据下式(1)通过信息熵计算的领域熵表示任务领域的离散程度：

根据下式(2)的欧拉距离计算各个候选答案之间的相似度，利用下式(3)的中位数法则得到任务候选答案的整体相似度：

其中，e_i表示任务t_i的领域熵，表示任务t_i与领域g的关联程度，v_ig越大，则任务t_i与领域g越相关，v_ig∈[0，1]，且有sim(a_ix，a_iy)为任意两个候选答案a_ix和a_iy的相似度，a_ix，它们的词向量表示为word(a_ix)＝[w_x1，w_x2，...，w_xh]，word(a_iy)＝[w_y1，w_y2，...，w_yh]，为任务候选答案的整体相似度，候选答案集 为任务t_i的候选答案相似度向量，z为候选答案个数，中任意s_ig∈[0，1]。

4.根据权利要求1所述的方法，其特征在于，所述的用户质量模型包括：用户集合W＝{w₁，w₂，...，w_m}，每个用户有一个用户质量向量，记为 表示用户w_j对领域k的擅长程度以及对涉及该领域的不同难度的历史任务的胜任程度，q_jk越大，则表明用户w_j对领域k越擅长，且能胜任难度较高的任务，反之，则不擅长该领域且难以胜任难度高的任务，其中，w_j∈W且q_jk∈[0，1]，用户答案集合为

5.根据权利要求1所述的方法，其特征在于，所述的根据量化的任务的难度和用户质量模型确定用户正确回答问题的概率，包括：根据下式(4)计算用户正确回答问题的概率：

其中，r_i＝a_ic表示任务t_i的候选答案a_ic为t_i的真值，θ_i＝π表示任务t_i的当前领域为π； 为用户w_j在领域π上回答t_i正确的概率，δ(·)表示狄利克雷函数，当输入的判定为真，δ(·)的输出为1；反之，输出为0；δ(u_ij＝a_ic)和δ(u_ij≠a_ic)分别表示当用户w_j针对任务t_i的答案u_ij与真值a_ic一致或者不一致的情况，随着任务t_i的难度d_i的增加，或者用户在领域π上的质量q_jπ的下降，用户w_j回答正确的概率趋于0.5，即用户可能在不确定的情况下随机地给出答案，z为候选答案的个数。

6.根据权利要求1所述的方法，其特征在于，所述的将量化的任务难度、用户质量模型和用户正确回答问题的概率作为贝叶斯决策算法的输入，计算每个候选答案的后验概率，包括：所述的每个候选答案的后验概率如下式(5)所示：

其中，ρ_ic表示候选答案a_ic为真值的后验概率， 为用户w_j在领域π上回答t_i正确的概率，随着任务t_i的难度d_i的增加，或者用户在领域π上的质量q_jπ的下降，用户w_j回答正确的概率趋于0.5，δ(·)表示狄利克雷函数，当输入的判定为真，δ(·)的输出为1；反之，输出为0；δ(u_ij＝a_ic)和δ(u_ij≠a_ic)分别表示当用户w_j针对任务t_i的答案u_ij与真值a_ic一致或者不一致的情况；v_iπ表示任务t_i与领域π的关联程度，z为候选答案的个数。

7.根据权利要求1所述的方法，其特征在于，所述的方法还包括：根据众包结果对用户质量模型进行实时更新，具体的更新内容如下式(6)所示：

其中，q_jπ为用户w_j在领域π上的质量，d_i为任务t_i的难度，v_iπ为任务t_i与领域π相关程度，为用户w_j给出的答案u_ij对应的候选答案的后验概率，δ(θ_i＝π)判断任务t_i当前涉及的领域是否为π，δ(r_i＝u_ij)判断用户w_j的答案u_ij是否与真值一致。