CN113947270A - 一种用于提高众包任务标注质量的方法 - Google Patents

Abstract

本发明提供一种用于提高众包任务标注质量的方法，获取众包平台上众包工人的用户信息，包括：能力等级和所属领域；通过能力等级和所属领域将多个众包工人分类；将待标定任务按照所属领域分类，并将每类待标定任务分组，将每组待标定任务按照领域分配至众包工人；众包工人对待标定任务标定完成后，对标定完成的任务进行审核，并根据审核结果对众包工人进行可靠度评价值计算，根据可靠度评价值对众包工人进行能力等级更新；向能力等级靠前的众包工人分配难度较高的待标定任务。本发明根据众包工人能力等级和所属领域，对众包工人进行标签化管理和等级评分，并进行等级的实时更新，在任务分配过程中为多样化任务匹配合适标注员，提高任务的标注质量。

Description

一种用于提高众包任务标注质量的方法

技术领域

本发明涉及众包任务分配领域，尤其涉及一种用于提高众包任务标注质 量的方法。

背景技术

在人工智能时代，以监督学习为代表的新一轮人工智能基于海量的数据 和高效的算力，监督学习需要海量的结构化数据，但是现实中的数据绝大多 数是非结构化数据，比如互联网上的数据、安防的摄像头拍摄的数据、人们 自然交互过程中的语音数据等都是等待结构化的数据。

海量的数据是大数据主要的特征之一，因此仅依靠一个公司或一个组织 的在职员工来完成海量数据的采集和标注任务是不现实的，众包技术正好弥 补了这方面的缺失，众包在数据标注中发挥着非常重要的力量，但同时众包 平台一直面临如何提高众包工人标注后的众包任务质量的问题。

发明内容

本发明提供一种用于提高众包任务标注质量的方法，以克服上述技术问 题。

本发明提供一种用于提高众包任务标注质量的方法，包括以下步骤：

获取众包平台上每个众包工人的用户信息并通过所述众包工人能力等级 和所属领域将多个所述众包工人进行分类；所述用户信息包括：众包工人能 力等级和所属领域；

将待标定任务按照所属领域进行分类，并将每类待标定任务分组，将每 组待标定任务按照所述领域分配至所述众包工人；

在所述众包工人完成对所述待标定任务标定后，对标定完成的任务进行 审核，并根据审核结果对所述众包工人进行可靠度评价值计算，根据所述可 靠度评价值对所述众包工人进行能力等级更新；

基于众包工人的能力等级匹配任务难度，并分配待标定任务；所述待标 定任务基于任务难度数据划分难度等级。

进一步地，所述任务难度数据至少包括：众包工人审题时间长/标注时间 长/被跳过的任务。

进一步地，所述方法还包括基于众包工人的任务完成度确定报酬，其确 定报酬的方法包括：付费翻倍和归零机制；所述付费翻倍和归零机制包括：

众包工人选择已分组待标定任务，对所述分组待标定任务标定无误，则 获得一定系数乘法相加的报酬；

对所述分组待标定任务标定有误，则无报酬。

进一步地，还包括：成本分摊机制；所述成本分摊机制包括：

待标定任务以总价发布，每组待标定任务根据难易程度定价，给付完成 高难度标注任务的标注员高的报酬以激励众包工人的技能提升；

预留总价一半放入待分配资金池作为奖励金，所有待标定任务整体完成 后，对难度较高的任务标注无误的众包工人进行额外奖励，所述额外奖励为 简单任务标价的二倍。

进一步地，还包括：黄金题机制，所述黄金题机制包括：

将已经知道答案的标注任务作为黄金题，将不同的所述黄金题加入每组 待标定任务中，所述黄金题标注错误，所述黄金题所在任务组的报酬为零。

本发明根据众包工人能力等级和所属领域，对众包工人进行标签化管理 和等级评分，并进行等级的实时更新，在任务分配过程中为多样化任务匹配 合适标注员，提高任务的标注质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下 面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在 不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例整体流程示意图；

图2为本发明实施例待标定任务示意图；

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发 明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获 得的所有其他实施例，都属于本发明保护的范围。

众包是指“一种把过去由专职员工执行的工作任务通过公开的Web平 台,以自愿的形式外包给非特定的解决方案提供者群体来完成的分布式问题 求解模式。因此，利用众包技术，海量数据的标定可以分配给公司或组织之 外的众包工人来完成。但是由于众包工人在知识结构、专业技能、工作态度 等方面千差万别，因此有众包工人完成的数据标定的质量也是参差不齐。

本发明提供一种用于提高众包任务标注质量的方法，如图1所示，包括 以下步骤：

获取众包平台上每个众包工人的用户信息并通过所述众包工人能力等级 和所属领域将多个所述众包工人进行分类；所述用户信息包括：众包工人能 力等级和所属领域；

将待标定任务按照所属领域进行分类，并将每类待标定任务分组，将每 组待标定任务按照所述领域分配至所述众包工人；

在所述众包工人完成对所述待标定任务标定后，对标定完成的任务进行 审核，并根据审核结果对所述众包工人进行可靠度评价值计算，根据所述可 靠度评价值对所述众包工人进行能力等级更新；

基于众包工人的能力等级匹配任务难度，并分配待标定任务；所述待标 定任务基于任务难度数据划分难度等级。

所述对标定完成的任务进行审核，采用以下公式：

其中，S_w为标定质量；T为待标定任务集；PT为公共待标定任务项集； pt∈PT为单个公共待标定文本任务项；tl(pt)为定义的标定类别，w为单个众 包工人；wl(pt)为单个众包工人对单个公共待标定任务的标定结果；|PT|为待 标定任务项个数。

具体而言，若已定义待标定文本任务集中待标定文本任务项的标定类别， 首先，提取第(下)一个众包工人w标定的待标定任务集T_w，判断众包工人w 对T_w中的所有待标定文本任务项的标定结果是否满足标定规范，即判断与已 定义的标定类别tl(pt)是否相同，如果不满足则判定众包工人w的标定结果没 有通过审核；如果满足，则判断公共待标定文本任务项是否已经标注，如果 没有则利用所述公共待标定文本任务项计算所述标定类别，然后计算众包工 人w的标定质量S_w，如果S_w>α(α为所述待标定文本任务集的标定质量的阈值),那么判定众包工人w的标定结果通过审核，否则判定众包工人w的标定 结果没有通过审核。如此往复，直到所有众包工人的标定结果审核完毕。

进一步地，所述任务难度数据至少包括：众包工人审题时间长/标注时间 长/被跳过的任务。

进一步地，所述方法还包括基于众包工人的任务完成度确定报酬，其确 定报酬的方法包括：付费翻倍和归零机制；所述付费翻倍和归零机制包括：

众包工人选择已分组待标定任务，对所述分组待标定任务标定无误，则 获得一定系数乘法相加的报酬；

对所述分组待标定任务标定有误，则无报酬。

具体而言，运用付费翻倍和归零机制来计算众包工人的报酬。采用博弈 的思路，针对众包工人，标注任务分组进行，待标定任务分组规模采用定量 模式，答错给予答案作废的惩罚，无足够把握的问题提供跳过选项，整组题 目无错误给予支付报酬的奖励。付费翻倍和归零机制是一种乘法机制，在无 差错情况下，个人所得收入以乘积的形式比例增长。例如：众包工人选择任 务执行，在完成整个标注的过程中未出现任何差错，则获得的报酬按一定系 数乘法增加；反之，在标注过程中出现差错，则任务失败，不可领取报酬。 本机制允许众包工人跳过认为有难度的待标定任务，即不确定是否正确的任 务可以更换至下一任务。这种付费激励机制既可以保证任务准确性上升，即 “真实性”准则，同时保证用户能力及效率的激励性，即“没有免费的午餐” 准则，从而能够有效在标注员主观产出上保证数据质量。

进一步地，还包括：成本分摊机制；所述成本分摊机制包括：

待标定任务以总价发布，每组待标定任务根据难易程度定价，给付完成 高难度标注任务的标注员高的报酬以激励众包工人的技能提升；

预留总价一半放入待分配资金池作为奖励金，所有待标定任务整体完成 后，对难度较高的任务标注无误的众包工人进行额外奖励，所述额外奖励为 简单任务标价的二倍。

进一步地，还包括：黄金题机制，所述黄金题机制包括：

将已经知道答案的标注任务作为黄金题，将不同的所述黄金题加入每组 待标定任务中，通过检测黄金题的被标注结果决定每组任务是否标注正确； 黄金题目的比例恒定，为了避免单个题目的多次利用以使得黄金题目被察觉， 需要更换题目内容。然而初期提供的黄金题目数量是有限且较少的，需要在 标注过程中新造黄金题目。初期标注过程每组题目中混杂较高比例的原始黄 金题目，新的被采纳的题目作为新增黄金题目加入题库中，可靠度较高的标 注员的标注结果具有更高的概率被选择入黄金题库。被选入黄金题库的答案 在后续被使用过程中，如果出现多个做题人答案一致、与参考答案不同、且 做题人之间答案一致情况时，对答案进行修正处理。

用于众包平台上众包任务结果的质量把控过程中。用户希望通过众包平台 解决大量多而简单的众包任务，但是由于众包人员的技能和专业水平层次不 齐，完成任务的质量水平也相差较大。本方案的发明点解决了众包平台上任 务质量难以把控的问题，从高质量结果的生产源头和筛选环节两方面采取措 施，能够减少大量人工质检环节以节约平台的运营成本。

众多商业众包平台上都有很多众包工人，因为众包平台上有不同难度的任 务，所以需要掌握不同技能的众包工人完成，但是众包工人的诉求是在尽可 能短的时间内答完更多的费用更高的题目而不管题目回答的是否正确。所以 针对众包工人，在众包平台中嵌入付费激励机制和择优推送机制，对众包工 人进行标签化管理，针对“能够给出高质量结果”和“能够解决复杂问题” 的众包工人给予更大的报酬奖励，激励众包工人从主观层面提供高质量答案。

众包平台上的众包任务是一系列子任务的集合，子任务的难度水平各不相 同，完成不同难度的任务需要给付对等水平的报酬，因此平台需要引入任务 分级机制对任务进行分级。众包任务的特殊性导致了分级的操作需要实时进 行，这样就需要引入成本分摊机制来划分整个众包任务的报酬以使得分配合 理。

任务完成之后需要给众包工人的完成质量进行及时的反馈，即需要对任务 结果进行正确或错误的评判，故引入黄金题机制，避免大量的人工质检同时 保证对正确答案的审查力度。

从众包工人的角度来看，众包平台要提供下述操作的流程。众包工人 执行完一个任务通常经过(1)任务准备阶段(2)任务执行阶段(3)任务回 收阶段，通常在阶段(1)的过程中会将黄金题放到正式的任务过程中，以随 机的方式或者分层的方式掺杂到正式任务过程中，假设要对如下的图片进行 判断：

如图2所示的题目，

Worker A：2道题是回答正确的，3个题目跳过了，所以

Payment＝1*2*2*1*1*1＝4分钱(答对一道题目能拿到一分钱)；

Worker B:2道题目回答正确的，2道题目是跳过的，1道题目回答错误

Payment＝1*2*2*1*1*0＝0分钱(假设同上)；

因为众包过程中会将大的任务拆解成众多小的任务，所以众包工人对于 一批小的任务如果没有回答对的话拿不到报酬，这样众包工人会更加小心的 选择回答众包的题目而消除工人的侥幸心理。

对比方案1：抽取固定比例任务结果进行人工质检，以抽样结果的质量 代表整体任务的质量水平；

对比方案2：混入固定比例题目在整体任务中，这些题目具有标准答 案，以在这些题目上的表现来评判整体的标注质量；

对比方案1需要有人工参与进行质检，两个方案本质上都是从整体任 务题目中抽取一定比例的任务来检测：假设要完成1000万张图片的标注，抽 取1000张图片来检测质量是否合格，其实这样的抽样比例是不能覆盖所有的 样本完整性的，同时这1000张图片的检测也是要消耗众多质检人员的时间。 而且这样的方案以抽样结果代表整体结果，从众包工人角度，具有较大的自 由度，容易让众包工人存在侥幸心理，即只要没被检测到的任务错了也没关 系，从而没办法从源头上解决质量问题。增大抽样比例可以有效缓解这一问 题，但是抽样比例的增加，意味着对比方案1中需要进行人力成本的增加， 对比方案二中需要生产更多的标准答案而标准答案来源往往很少，增加标准 答案的使用次数又会造成含标准答案的题目易被察觉。

本案设计付费激励机制以保证众包工人放弃存在侥幸心理，同时激励他 们提供自己认为的最正确的答案，没有把握的问题选择跳过而不是随便选择 一个答案。设计择优推送机制将难度较高任务推送至优质众包标注员，并给 付较普通任务更多的报酬，激励众包工人进行相关方面专业技能的提升，设 计任务分级机制与择优推送机制进行配合。设计成本分摊机制以解决由于实 时报酬给付和实时难度定级之间的矛盾，同时保证对众包工人的激励力度。 设计黄金题机制以减少人工质检的成本，仅需要少量的启动黄金题，在后续 的众包任务进行过程中进行黄金题的再造，避免了同一题目的多次利用。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对 其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通 技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并 不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种用于提高众包任务标注质量的方法，其特征在于，包括以下步骤：

获取众包平台上每个众包工人的用户信息并通过所述众包工人能力等级和所属领域将多个所述众包工人进行分类；所述用户信息包括：众包工人能力等级和所属领域；

将待标定任务按照所属领域进行分类，并将每类待标定任务分组，将每组待标定任务按照所述领域分配至所述众包工人；

在所述众包工人完成对所述待标定任务标定后，对标定完成的任务进行审核，并根据审核结果对所述众包工人进行可靠度评价值计算，根据所述可靠度评价值对所述众包工人进行能力等级更新；

基于众包工人的能力等级匹配任务难度，并分配待标定任务；所述待标定任务基于任务难度数据划分难度等级。

2.根据权利要求1所述的方法，其特征在于，所述任务难度数据至少包括：众包工人审题时间长/标注时间长/被跳过的任务。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括基于众包工人的任务完成度确定报酬，其确定报酬的方法包括：付费翻倍和归零机制；所述付费翻倍和归零机制包括：

众包工人选择已分组待标定任务，对所述分组待标定任务标定无误，则获得一定系数乘法相加的报酬；

对所述分组待标定任务标定有误，则无报酬。

4.根据权利要求3所述的方法，其特征在于，还包括：成本分摊机制；所述成本分摊机制包括：

待标定任务以总价发布，每组待标定任务根据难易程度定价，给付完成高难度标注任务的标注员高的报酬以激励众包工人的技能提升；

预留总价一半放入待分配资金池作为奖励金，所有待标定任务整体完成后，对难度较高的任务标注无误的众包工人进行额外奖励，所述额外奖励为简单任务标价的二倍。

5.根据权利要求4所述的方法，其特征在于，还包括：黄金题机制，所述黄金题机制包括：

将已经知道答案的标注任务作为黄金题，将不同的所述黄金题加入每组待标定任务中，所述黄金题标注错误，所述黄金题所在任务组的报酬为零。

Images