CN104573359A - 一种基于任务难度与标注者能力的众包标注数据整合方法 - Google Patents

Abstract

本发明公开了一种基于任务难度与标注者能力的众包标注数据整合方法，其根据以下两种现象：(1)能力较高的标注者对大多数任务的标注结果与其他的标注者相同；(2)难度越低的任务，标注者们对它的标注结果的一致度越高；提出了新的任务难度的评估方法以及标注者能力的评估方法，并构建了基于二者的众包标注数据的整合方法，利用迭代的方式进行快速求解，使得标注者的能力评估更加客观准确，可以非常方便地对各种众包标注任务进行有效地难度评定；同时本发明对各种类型的众包标注数据均适用，包括但不限于：图像、文本、视频等任务的二值标注、多值标注等。

Description

一种基于任务难度与标注者能力的众包标注数据整合方法

技术领域

本发明属于数据标注技术领域，具体涉及一种基于任务难度与标注者能力的众包标注数据整合方法。

背景技术

高质量的标注数据集是计算机研究和应用领域中非常重要的资源。在计算机视觉、人工智能、机器学习等领域的算法大都是基于相应的标注数据集进行训练和优化的。快速有效地获得高质量大规模的标注数据集一直以来都是各研究者关注的问题。传统的获得标注数据集的方法是雇佣专家以手工的方式对数据集进行标注。这种方式下获得的标注数据质量高，但是标注的耗时长，且雇佣专家所需的财务开销也非常大。

近年来，随着众包技术的发展，利用众包技术进行数据标注引起了研究者的关注。众包技术是一种分布式的问题求解方式。该技术利用众人的智慧和力量来解决计算机难以解决的任务，尤其是数据标注、对象识别等这类对人类来说非常简单，但是对计算机来讲非常困难的任务。利用众包技术进行数据标注的过程中，需要将标注任务分配给众多的标注者进行标注，然后收集这些工作者对各个任务的标注数据。但是由于参与标注的标注者的能力各不相同，所收集到的标注结果中存在很多的噪声，因此需要对所收集到的众包标注数据进行过滤和整合，得到每个任务最终的标注结果。

目前对众包标注数据的整合方法中，最常用的方法是大数投票，即通过统计标注任务的各个标注结果的得票数，将得票最多的标注结果作为该任务的最终标注结果。这种方式的特点是简单，将所有的标注者统一对待，却忽略了在标注的过程中各个标注者的能力是不同的，因此不同的标注者所给出的标注结果的可信度也是不同的。后来Qiang Liu等人构建了基于标注者的能力的标注数据整合模型，利用变分推理的方法在该模型上同时对标注者的能力和各任务的最终标注结果进行估计。但是这种方式下将每个标注者的能力看作一个常量，忽略了同一个标注者在不同的任务上的专业度不同导致的可信度也不同的事实。Dengyong Zhou等人通过构建标注者与任务的混淆矩阵来表达工作者对不同任务的不同标注能力，并利用最小熵原则进行推理求解出各个任务的最终标注结果。上述方式虽然在一定程度上提高了对标注数据的整合精度，但是在此过程中，对标注者的能力的定义仅仅是根据标注者所标注的所有数据与最终确定的各个任务的标注结果一致性来确定的。然而通过整合获得的任务的标注结果并不一定的是正确的，这就导致了对标注者的能力的评定是存在偏差的，因此在上述基于工作者能力的整合模型中所获得的最终的标注结果的准确度也存在较大偏差。同时当前的标注数据整合模型中缺乏任务的难度这一重要的影响因素的评定方法，进而忽略了任务难度在整个标注数据的整合过程中的重要作用，导致最后获得的标注结果依然具有较大偏差。

发明内容

针对现有技术所存在的上述技术问题，本发明提供了一种基于任务难度与标注者能力的众包标注数据整合方法，通过从收集的标注数据中，自动化地对每一个标注任务的难度及每一个参与标注任务的标注者的能力进行评估的同时，对每一个标注任务生成一个更加准确的标注结果。

一种基于任务难度与标注者能力的众包标注数据整合方法，包括如下步骤：

(1)对于任一个任务，根据其返回的所有标注结果计算出该任务的难度；

(2)初始化每个标注者对该任务的标注能力值；

(3)根据标注能力值计算任务每一类标注结果从所有标注者处所获得的得分，并取最大得分对应的标注结果作为任务的暂时标注结果；

(4)根据所述的暂时标注结果计算每个标注者的标注准确度；

(5)对于任务计算每个标注者与其他标注者之间的一致度；

(6)根据所述的一致度、标注准确度以及任务难度更新所述的标注能力值；

(7)返回步骤(3)循环迭代，直至任务前后两次的暂时标注结果一致，并取该暂时标注结果作为任务的最终标注结果。

所述的步骤(1)中计算任务难度的具体步骤如下：

1.1统计任务的标注结果种类以及每类标注结果所占的比率；

1.2计算各类标注结果所占比率之间平均方差的倒数作为任务的平衡度；

1.3根据所述的平衡度通过以下公式计算任务的难度：

$D_i=\frac{1}{1+e^{-{\mathrm{\β}}_i{K}_i}}$

其中：D_i为第i个任务的难度，K_i为第i个任务的标注结果种类数，β_i为第i个任务的平衡度，i为自然数且1≤i≤a，a为任务总数。

所述的步骤(3)中通过以下公式计算任务每一类标注结果从所有标注者处所获得的得分：

$S_i^k=\underset{w}{\mathrm{\Σ}}{C}_i^w\·I(L_i^w=l_k^i)+\underset{w}{\mathrm{\Σ}}\frac{1}{K_{i-1}}(1-C_i^w)\·I(L_i^w\≠l_k^i)$

$\begin{array}{cc}I(L_i^w=l_k^i)=\left\{\begin{array}{ccc}1,& \mathrm{if}& L_i^w=l_k^i\\ 0,& \mathrm{if}& L_i^w\≠l_k^i\end{array}\right.& I(L_i^w\≠l_k^i)\end{array}=\left\{\begin{array}{ccc}1,& \mathrm{if}& L_i^w\≠l_k^i\\ 0,& \mathrm{if}& L_i^w=l_k^i\end{array}\right.$

其中：为第i个任务的第k类标注结果从所有标注者处所获得的得分，为第w个标注者对第i个任务的标注能力值，K_i为第i个任务的标注结果种类数，为第w个标注者对第i个任务的标注结果，为第i个任务的第k类标注结果，i为自然数且1≤i≤a，a为任务总数，w为自然数且1≤w≤W，W为标注者总数，k为自然数且1≤k≤K_i。

所述的步骤(4)中通过以下公式计算每个标注者的标注准确度：

$A^w=\frac{\underset{i}{\mathrm{\Σ}}I(L_i^w=f_i)}{\underset{i}{\mathrm{\Σ}}I(L_i^w=f_i)+\underset{i}{\mathrm{\Σ}}I(L_i^w\≠f_i)}$

$\begin{array}{cc}I(L_i^w=f_i)=\left\{\begin{array}{ccc}1,& \mathrm{if}& L_i^w=f_i\\ 0,& \mathrm{if}& L_i^w\≠f_i\end{array}\right.& I(L_i^w\≠f_i)\end{array}=\left\{\begin{array}{ccc}1,& \mathrm{if}& L_i^w\≠f_i\\ 0,& \mathrm{if}& L_i^w=f_i\end{array}\right.$

其中：A^w为第w个标注者的标注准确度，f_i为第i个任务的暂时标注结果，为第w个标注者对第i个任务的标注结果，i为自然数且1≤i≤a，a为任务总数，w为自然数且1≤w≤W，W为标注者总数。

所述的步骤(5)中通过以下公式计算每个标注者与其他标注者之间的一致度；

$\begin{array}{cc}{G}_i^w=\frac{\underset{p}{\mathrm{\Σ}}{C}_i^p\·I(L_i^p=L_i^w)}{\underset{p}{\mathrm{\Σ}}{C}_i^p}& I(L_i^p=L_i^w)=\left\{\begin{array}{ccc}1,& \mathrm{if}& L_i^p=L_i^w\\ 0,& \mathrm{if}& L_i^p\≠L_i^w\end{array}\right.\end{array}$

其中：为对于第i个任务第w个标注者与其他标注者之间的一致度，为第p个标注者对第i个任务的标注能力值，为第p个标注者对第i个任务的标注结果，为第w个标注者对第i个任务的标注结果，i为自然数且1≤i≤a，a为任务总数，p和w均为自然数且1≤w≤W，1≤p≤W，W为标注者总数。

所述的步骤(6)中通过以下公式更新标注能力值：

$C_i^{w^{*}}=\frac{\mathrm{\τ}{A}^w+(1-\mathrm{\τ})G_i^w}{D_i}$

其中：为第w个标注者对第i个任务更新后的标注能力值，为对于第i个任务第w个标注者与其他标注者之间的一致度，A^w为第w个标注者的标注准确度，D_i为第i个任务的难度，τ为预设的场景调节参数，i为自然数且1≤i≤a，a为任务总数，w为自然数且1≤w≤W，W为标注者总数。

本发明根据以下两种现象：(1)能力较高的标注者对大多数任务的标注结果与其他的标注者相同；(2)难度越低的任务，标注者们对它的标注结果的一致度越高；提出了新的任务难度的评估方法以及标注者能力的评估方法，并构建了基于二者的众包标注数据的整合方法，利用迭代的方式进行快速求解。由此，本发明方法与传统方法相比具有以下有益效果：

(1)本发明方法使得标注者的能力评估更加客观准确；

(2)本发明方法可以非常方便地对各种众包标注任务进行有效地难度评定；

(3)本发明方法同时利用标注者能力和任务难度进行众包标注结果的整合，使得整合的标注结果更加准确；

(4)本发明方法对各种类型的众包标注数据均适用，包括但不限于：图像、文本、视频等任务的二值标注、多值标注等。

附图说明

图1为本发明方法的步骤流程示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

本发明方法的流程如图1所示，具体包括以下步骤：

步骤(1)：任务难度的评估任务难度评估是从所收集到的标注数据集合中求出所有任务的难度集合{D_i|i∈[1,a]}；其中是第w个标注者对第i个任务的标注结果，D_i表示第i个任务的难度，a是任务的总数，W是标注者的总数。下面以分析第i个任务的难度为例对该方法进行介绍，步骤如下：

1-1：将所收集到的标注数据集合进行统计，得到所有标注者对第i个任务所做的标注结果的种类数量K_i，以及各个类别的标注结果所占有的比例集合其中表示所有标注者将第i个任务标注为的次数与所有标注者对第i个任务的总标注次数的比例，其中k依次取1到K_i之间的各个整数值，K_i也是第i个任务的候选标注结果的数目，而为所有标注者对第i个任务的标注结果中的第k类结果。

1-2：求出集合中的所有数值的平均值n_i，并计算出各个与n_i的差的平方和的平均值β_i。其中β_i的倒数表明了第i个任务的各个标注结果所获得的标注者支持率的平衡程度，该平衡程度越高，则说明该任务的难度越大。

1-3：根据K_i和β_i计算出第i个任务的难度D_i，计算公式如下：

$D_i=\frac{1}{1+e^{-\left(\frac{K_i}{{\mathrm{\β}}_i}\right)}}$

通过对所有的任务进行步骤(1)中的操作，即可得到各个任务的难度集合{D_i|i∈[1,a]}。

步骤(2)：初始化用户能力的集合中的所有元素为1，迭代步数的最大值m＝10，以及迭代步数计数器h＝1。集合是各标注者在各任务上的综合能力，该集合中的元素是第w个标注者在第i个任务上的能力。

步骤(3)：利用标注数据集合和用户的能力集合计算出每个任务在其各个候选标注结果上的得分的集合其中集合的元素是第i个任务的第k个候选标注结果从所有标注者处所获得的得分，计算公式如下：

$S_i^k=\underset{w}{\mathrm{\Σ}}{C}_i^w\·I(L_i^w=l_k^i)+\underset{w}{\mathrm{\Σ}}\frac{1}{K_{i-1}}(1-C_i^w)\·I(L_i^w\≠l_k^i)$

其中，函数

上式中为第i个任务的第k类标注结果，的的计算由两部分组成，前一部分表达了当标注者对第i个任务的标注结果是其第k类标注结果时所获得的得分，后一部分表达了当标注者对第i个任务的标注结果不是其第k类标注结果时所获得的得分。利用上式对所有的任务及其候选结果计算出

步骤(4)：利用步骤(3)中得出的计算出每个任务的整合标注结果集合{f_i|i∈[1,a]}，f_i是第i个任务的整合标注结果。计算方法是取第i个任务的所有候选结果得分中最高的候选结果作为其整合标注结果，即集合中最大的值所对应的第k个候选结果即为第i个任务的整合标注结果。

步骤(5)：利用步骤(4)中所得的各个任务的标注结果集合{f_i|i∈[1,a]}以及标注数据集合计算并更新每个标注者在所有任务上的准确度集合{A^w|w∈[1,W]}。A^w是第w个标注者在所有任务上的准确度，计算公式如下：

$A^w=\frac{\underset{i}{\mathrm{\Σ}}I(L_i^w=f_i)}{\underset{i}{\mathrm{\Σ}}I(L_i^w=f_i)+\underset{i}{\mathrm{\Σ}}I(L_i^w\≠f_i)}$

步骤(6)：利用各个标注者对各个任务的能力集合以及标注数据集合计算各个标注者对在各个任务上与其他标注者的一致度集合是第w个标注者在第i个任务上与其他标注者的一致度，计算公式如下：

$G_i^w=\frac{\underset{p}{\mathrm{\Σ}}{C}_i^p\·I(L_i^p=L_i^w)}{\underset{p}{\mathrm{\Σ}}{C}_i^p}$

步骤(7)：利用步骤(1)、步骤(5)和步骤(6)中得到的所有任务的难度集合{D_i|i∈[1,a]}、每个标注者在所有任务上的准确度集合{A^w|w∈[1,W]}以及各个标注者对在各个任务上与其他标注者的一致度集合计算并更新各个标注者的能力的集合计算公式如下：

$C_i^{w^{*}}=\frac{\mathrm{\τ}{A}^w+(1-\mathrm{\τ})G_i^w}{D_i}$

各个标注者的能力评估方法综合考虑了该标注者在所有任务上的标注准确度A^w以及该标注者在特定任务上与其他标注者的一致度以及特定任务的难度D_i。当A^w和越高，且D_i越低，则该工作者在该任务上的能力就越高。其中τ的取值为0到1之间的小数。本实施方式中τ＝0.7(0.7为建议值，可根据实际应用场景调节)。

步骤(8)：将迭代步数计数器h加1，判断更新后的迭代步数计数器h是否达到步骤(2)中设定的迭代步数的最大值m。如果是，则输出各个任务的整合标注结果集合{f_i|i∈[1,a]}、各个标注者的能力的集合各个任务的难度集合{D_i|i∈[1,a]}；否则，转至执行步骤(3)，判断任务前后两次的整合标注结果{f_i|i∈[1,a]}是否一致，若是则迭代终止，输出对应的整合标注结果{f_i|i∈[1,a]}作为任务最终的标注结果。

上述实施例并非是对于本发明的限制，本发明并非仅限于上述实施例，只要符合本发明要求，均属于本发明的保护范围。

Claims (6)

1.一种基于任务难度与标注者能力的众包标注数据整合方法，包括如下步骤：

(1)对于任一个任务，根据其返回的所有标注结果计算出该任务的难度；

(2)初始化每个标注者对该任务的标注能力值；

(3)根据标注能力值计算任务每一类标注结果从所有标注者处所获得的得分，并取最大得分对应的标注结果作为任务的暂时标注结果；

(4)根据所述的暂时标注结果计算每个标注者的标注准确度；

(5)对于任务计算每个标注者与其他标注者之间的一致度；

(6)根据所述的一致度、标注准确度以及任务难度更新所述的标注能力值；

(7)返回步骤(3)循环迭代，直至任务前后两次的暂时标注结果一致，并取该暂时标注结果作为任务的最终标注结果。

2.根据权利要求1所述的众包标注数据整合方法，其特征在于：所述的步骤(1)中计算任务难度的具体步骤如下：

1.1统计任务的标注结果种类以及每类标注结果所占的比率；

1.2计算各类标注结果所占比率之间平均方差的倒数作为任务的平衡度；

1.3根据所述的平衡度通过以下公式计算任务的难度：

$D_i=\frac{1}{1+e^{-{\mathrm{\β}}_i{K}_i}}$

其中：D_i为第i个任务的难度，K_i为第i个任务的标注结果种类数，β_i为第i个任务的平衡度，i为自然数且1≤i≤a，a为任务总数。

3.根据权利要求1所述的众包标注数据整合方法，其特征在于：所述的步骤(3)中通过以下公式计算任务每一类标注结果从所有标注者处所获得的得分：

$S_i^k=\underset{w}{\mathrm{\Σ}}{C}_i^w\·I(L_i^w=l_k^i)+\underset{w}{\mathrm{\Σ}}\frac{1}{K_i-1}(1-C_i^w)\·I(L_i^w\≠l_k^i)$

$I(L_i^w=l_k^i)=\left\{\begin{array}{ccc}1,& \mathrm{if}& L_i^w=l_k^i\\ 0,& \mathrm{if}& L_i^w\≠l_k^i\end{array}\right.$ $I(L_i^w\≠l_k^i)=\left\{\begin{array}{ccc}1,& \mathrm{if}& L_i^w\≠l_k^i\\ 0,& \mathrm{if}& L_i^w=l_k^i\end{array}\right.$

其中：为第i个任务的第k类标注结果从所有标注者处所获得的得分，为第w个标注者对第i个任务的标注能力值，K_i为第i个任务的标注结果种类数，为第w个标注者对第i个任务的标注结果，为第i个任务的第k类标注结果，i为自然数且1≤i≤a，a为任务总数，w为自然数且1≤w≤W，W为标注者总数，k为自然数且1≤k≤K_i。

4.根据权利要求1所述的众包标注数据整合方法，其特征在于：所述的步骤(4)中通过以下公式计算每个标注者的标注准确度：

$A^w=\frac{\underset{i}{\mathrm{\Σ}}I(L_i^w=f_i)}{\underset{i}{\mathrm{\Σ}}I(L_i^w=f_i)+\underset{i}{\mathrm{\Σ}}I(L_i^w\≠f_i)}$

$I(L_i^w=f_i)=\left\{\begin{array}{ccc}1,& \mathrm{if}& L_i^w=f_i\\ 0,& \mathrm{if}& L_i^w\≠f_i\end{array}\right.$ $I(L_i^w\≠f_i)=\left\{\begin{array}{ccc}1,& \mathrm{if}& L_i^w\≠f_i\\ 0,& \mathrm{if}& L_i^w=f_i\end{array}\right.$

其中：A^w为第w个标注者的标注准确度，f_i为第i个任务的暂时标注结果，为第w个标注者对第i个任务的标注结果，i为自然数且1≤i≤a，a为任务总数，w为自然数且1≤w≤W，W为标注者总数。

5.根据权利要求1所述的众包标注数据整合方法，其特征在于：所述的步骤(5)中通过以下公式计算每个标注者与其他标注者之间的一致度；

$G_i^w=\frac{\underset{p}{\mathrm{\Σ}}{C}_i^p\·I(L_i^p=L_i^w)}{\underset{p}{\mathrm{\Σ}}{C}_i^p}$ $I(L_i^p=L_i^w)=\left\{\begin{array}{ccc}1,& \mathrm{if}& L_i^p=L_i^w\\ 0,& \mathrm{if}& L_i^p\≠L_i^w\end{array}\right.$

其中：为对于第i个任务第w个标注者与其他标注者之间的一致度，为第p个标注者对第i个任务的标注能力值，为第p个标注者对第i个任务的标注结果，为第w个标注者对第i个任务的标注结果，i为自然数且1≤i≤a，a为任务总数，p和w均为自然数且1≤w≤W，1≤p≤W，W为标注者总数。

6.根据权利要求1所述的众包标注数据整合方法，其特征在于：所述的步骤(6)中通过以下公式更新标注能力值：

$C_i^{w*}=\frac{\mathrm{\τ}{A}^w+(1-\mathrm{\τ})G_i^w}{D_i}$

其中：为第w个标注者对第i个任务更新后的标注能力值，为对于第i个任务第w个标注者与其他标注者之间的一致度，A^w为第w个标注者的标注准确度，D_i为第i个任务的难度，τ为预设的场景调节参数，i为自然数且1≤i≤a，a为任务总数，w为自然数且1≤w≤W，W为标注者总数。