CN111291567A - 人工标注质量的评估方法、装置、电子设备及存储介质 - Google Patents

人工标注质量的评估方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111291567A
CN111291567A CN202010080303.4A CN202010080303A CN111291567A CN 111291567 A CN111291567 A CN 111291567A CN 202010080303 A CN202010080303 A CN 202010080303A CN 111291567 A CN111291567 A CN 111291567A
Authority
CN
China
Prior art keywords
annotation
data
person
labeling
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010080303.4A
Other languages
English (en)
Other versions
CN111291567B (zh
Inventor
鲍红飞
王道广
袁灿
于政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mininglamp Software System Co ltd
Original Assignee
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mininglamp Software System Co ltd filed Critical Beijing Mininglamp Software System Co ltd
Priority to CN202010080303.4A priority Critical patent/CN111291567B/zh
Publication of CN111291567A publication Critical patent/CN111291567A/zh
Application granted granted Critical
Publication of CN111291567B publication Critical patent/CN111291567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供了一种人工标注质量的评估方法、装置、电子设备及存储介质，其中，所述评估方法包括获取多个标注人员中每个标注人员对每份待评估数据中实体特征的改动标注；基于改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值；统计每个标注人员在各个维度下的评估值，确定汇总值；确定所有汇总值中最大的汇总值所对应的标注人员为标注质量最差的标注人员。本申请实施例筛除了标注质量最差的标注人员对数据进行改动标注的标注结果，提高了数据标注的标注质量。

Description

人工标注质量的评估方法、装置、电子设备及存储介质
技术领域
本申请涉及人工标注质量评估技术领域，尤其是涉及一种人工标注质量的评估方法、装置、电子设备及存储介质。
背景技术
近年来，随着人工智能和知识图谱的发展，自然语言处理技术在更多领域体现其重要作用，具体到某一领域的知识图谱的构建中，命名实体识别(Named EntityRecognition，NER)算法是其构建的重要环节，而命名实体识别算法离不开标注好的实体数据。
现有技术中利用机器学习自动标记后的结果再进行人工矫正是一个不错的标注方法，该方法的数据标注流程一般为利用实体识别算法自动标注语料、对已标注数据发布标注任务、标注人员领取任务、完成人工标注、提交标注结果并完成审核。数据标注的质量直接影响命名实体识别的性能，进而需要对实体识别算法自动标注后的结果进行矫正，通过矫正来提高数据标注的质量，但是人工标注矫正的好坏因人而异，因此针对人工标注后的结果进行审核尤为重要。
发明内容
有鉴于此，本申请的目的在于提供一种人工标注质量的评估方法、装置、电子设备及存储介质，确定在改动标注量排序维度，和/或改动标注量相似度维度，和/或改动标注的标注差异维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值，统计每个标注人员在各个维度下的评估值，得到汇总值；确定所有汇总值中最大的汇总值所对应的标注人员为标注质量最差的标注人员，进而筛除标注质量最差的标注人员对数据进行改动标注的标注结果，以提高数据标注的标注质量。
第一方面，本申请提供了一种人工标注质量的评估方法，所述评估方法包括：
获取多个标注人员中每个标注人员对每份待评估数据中实体特征的改动标注；
基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值；
统计每个标注人员在各个维度下的评估值，确定汇总值；
确定所有汇总值中最大的汇总值所对应的标注人员为标注质量最差的标注人员。
优选地，当所述标注评估维度包括改动标注量排序维度时，所述基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值，包括：
针对每个待评估数据，确定各个标注人员在同一待评估数据中改动标注的改动数量，并按照改动数量从高到低的顺序，确定各个标注人员对于同一待评估数据的改动数量排序；
基于每个标注人员对于每个待评估数据的改动数量排序，确定针对进行改动标注的多个待评估数据，每个标注人员的平均改动量排序；
对每个标注人员对应的平均改动量排序进行归一化处理，并将归一化处理的结果确定为每个标注人员在改动标注量排序维度下的的评估值。
优选地，当所述标注评估维度包括改动标注量相似度维度时，所述基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值，包括：
获取目标标注人员以及所有标注人员中除了所述目标标注人员之外的每个其他标注人员在同一份待评估数据中改动标注的改动数量，其中，所述目标标注人员为所有标注人员中的任意一个；
确定所述目标标注人员与每个所述其他标注人员之间的改动数量相似度；
对每个标注人员对应的多个改动数量相似度的平均相似度进行归一化处理，并将归一化处理的结果确定为每个标注人员在改动标注量相似度维度下的评估值。
优选地，在所述获取多个标注人员中每个标注人员对每份待评估数据中实体特征的改动标注之前，所述评估方法还包括：
获取多个样本数据，所述多个样本数据中的每个样本数据均包含多个实体特征；
基于所述实体特征对每个样本数据进行预标注，确定多个预标注数据；
将每个预标注数据划分成多份，确定每份含有所述实体特征的预标注数据为待评估数据；
将每份所述待评估数据分发给多个标注人员中的预设数量的标注人员。
优选地，当所述标注评估维度包括改动标注的标注差异维度时，所述基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值，包括：
基于所述预标注数据中的预标注，确定每个预标注数据中的预标注的第一概率分布；
基于与每个所述预标注数据相对的待评估数据中的改动标注，确定与每个所述预标注数据相对的每份所述待评估数据中的改动标注的第二概率分布；
确定所述第一概率分布与所述第二概率分布之间的相对熵；
对每个标注人员对应的多个相对熵分别进行归一化处理，并将归一化处理后的求和值确定为每个标注人员在改动标注的标注差异维度下的评估值。
优选地，所述改动标注包括添加漏标的标注、删除多标的标注和修正错标的标注中的一种或多种。
第二方面，本申请提供了一种人工标注质量的评估装置，所述评估装置包括：
改动标注获取模块，用于获取多个标注人员中每个标注人员对每份待评估数据中实体特征的改动标注；
评估值确定模块，用于基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值；
汇总值确定模块，用于统计每个标注人员在各个维度下的评估值，确定汇总值；
最差人员确定模块，用于确定所有汇总值中最大的汇总值所对应的标注人员为标注质量最差的标注人员。
优选地，当所述标注评估维度包括改动标注量排序维度时，所述评估值确定模块在用于基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值时，所述评估值确定模块用于：
针对每个待评估数据，确定各个标注人员在同一待评估数据中改动标注的改动数量，并按照改动数量从高到低的顺序，确定各个标注人员对于同一待评估数据的改动数量排序；
基于每个标注人员对于每个待评估数据的改动数量排序，确定针对进行改动标注的多个待评估数据，每个标注人员的平均改动量排序；
对每个标注人员对应的平均改动量排序进行归一化处理，并将归一化处理的结果确定为每个标注人员在改动标注量排序维度下的的评估值。
优选地，当所述标注评估维度包括改动标注量相似度维度时，所述评估值确定模块在用于基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值时，所述评估值确定模块用于：
获取目标标注人员以及所有标注人员中除了所述目标标注人员之外的每个其他标注人员在同一份待评估数据中改动标注的改动数量，其中，所述目标标注人员为所有标注人员中的任意一个；
确定所述目标标注人员与每个所述其他标注人员之间的改动数量相似度；
对每个标注人员对应的多个改动数量相似度的平均相似度进行归一化处理，并将归一化处理的结果确定为每个标注人员在改动标注量相似度维度下的评估值。
优选地，所述评估装置还包括：
样本数据获取模块，用于获取多个样本数据，所述多个样本数据中的每个样本数据均包含多个实体特征；
预标注数据确定模块，用于基于所述实体特征对每个样本数据进行预标注，确定多个预标注数据；
待评估数据确定模块，用于将每个预标注数据划分成多份，确定每份含有所述实体特征的预标注数据为待评估数据；
数据分发模块，用于将每份所述待评估数据分发给多个标注人员中的预设数量的标注人员。
优选地，当所述标注评估维度包括改动标注的标注差异维度时，所述评估值确定模块在用于基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值时，所述评估值确定模块用于：
基于所述预标注数据中的预标注，确定每个预标注数据中的预标注的第一概率分布；
基于与每个所述预标注数据相对的待评估数据中的改动标注，确定与每个所述预标注数据相对的每份所述待评估数据中的改动标注的第二概率分布；
确定所述第一概率分布与所述第二概率分布之间的相对熵；
对每个标注人员对应的多个相对熵分别进行归一化处理，并将归一化处理后的求和值确定为每个标注人员在改动标注的标注差异维度下的评估值。
优选地，所述改动标注包括添加漏标的标注、删除多标的标注和修正错标的标注中的一种或多种。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如上所述的人工标注质量的评估方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的人工标注质量的评估方法的步骤。
本申请实施例提供了一种人工标注质量的评估方法、装置、电子设备及存储介质，所述评估方法包括获取多个标注人员中每个标注人员对每份待评估数据中实体特征的改动标注；基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值；统计每个标注人员在各个维度下的评估值，确定汇总值；确定所有汇总值中最大的汇总值所对应的标注人员为标注质量最差的标注人员。
本申请实施例基于改动标注，确定在改动标注量排序维度，和/或改动标注量相似度维度，和/或改动标注的标注差异维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值，统计每个标注人员在各个维度下的评估值，得到汇总值；确定所有汇总值中最大的汇总值所对应的标注人员为标注质量最差的标注人员，进而筛除标注质量最差的标注人员对数据进行改动标注的标注结果，以提高数据标注的标注质量。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例所提供的一种人工标注质量的评估方法的流程图；
图2为本申请实施例所提供的另一种人工标注质量的评估方法的流程图；
图3为本申请实施例所提供的一种人工标注质量的评估装置的结构示意图之一；
图4为本申请实施例所提供的一种人工标注质量的评估装置的结构示意图之二；
图5为本申请实施例所提供的一种电子设备的结构示意图。
附图标记：300-评估装置；310-改动标注获取模块；320-评估值确定模块；330-汇总值确定模块；340-最差人员确定模块；350-样本数据获取模块；360-预标注数据确定模块；370-待评估数据确定模块；380-数据分发模块；500-电子设备；510-处理器；520-存储器；530-总线。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容，结合特定应用场景“评估人工标注质量”，给出以下实施方式。对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景，虽然本申请主要围绕如何评估人工标注质量进行描述，即在命名实体识别方法中对机器标注好的数据进行人工矫正标注，从而评估人工矫正标注质量的好坏，但是应该理解，这仅是一个示例性实施例。
现有技术中，利用机器学习自动标记后的结果再进行人工矫正是一个不错的标注方法，该方法的数据标注流程一般为利用实体识别算法自动标注语料、对已标注数据发布标注任务、标注人员领取任务、完成人工标注、提交标注结果并完成审核。数据标注的质量直接影响命名实体识别的性能，进而需要对实体识别算法自动标注后的结果进行矫正，通过矫正来提高数据标注的质量，但是人工标注矫正的好坏因人而异，因此针对人工标注后的结果进行审核尤为重要。基于此，本申请实施例提供了一种人工标注质量的评估方法、装置、电子设备及存储介质，确定在改动标注量排序维度，和/或改动标注量相似度维度，和/或改动标注的标注差异维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值，统计每个标注人员在各个维度下的评估值，得到汇总值；确定所有汇总值中最大的汇总值所对应的标注人员为标注质量最差的标注人员，进而筛除标注质量最差的标注人员对数据进行改动标注的标注结果，以提高数据标注的标注质量。
请参阅图1，图1为本申请实施例所提供的一种人工标注质量的评估方法的流程图，如图1中所示，本申请实施例提供了一种人工标注质量的评估方法，所述评估方法包括：
S110、获取多个标注人员中每个标注人员对每份待评估数据中实体特征的改动标注。
本申请实施例中，多个标注人员中的每个标注人员对每份待评估数据中的实体特征的改动标注包括两种情况，第一种情况是部分标注人员对每份待评估数据中的实体特征确实进行了改动标注，第二种情况是另一部分标注人员对每份待评估数据中的实体特征的改动标注为零，而获取多个标注人员中每个标注人员对每份待评估数据中实体特征的改动标注也包括改动标注为零的情况。
随着人工智能和知识图谱的发展，自然语言处理技术在更多领域体现其重要作用，具体到某一领域的知识图谱的构建中，关系抽取和命名实体识别是其构建的重要环节，而命名实体识别方法自然离不开标注好的实体特征数据。具体的，实体特征一般指的是数据文本中具有特定意义或者指代性强的实体，通常包括人名、地名、组织机构名、日期时间和专有名词等。
本申请实施例中，作为一种可选实施例，改动标注包括添加漏标的标注、删除多标的标注和修正错标的标注中的一种或多种。
具体而言，基于训练好的机器学习模型自动标记待评估数据，但是机器自动标注待评估数据会存在一些误差，比如：遗漏了一些本应该标注的内容，多标了一些不该标注的内容，或是在标注过程中出现标错的情况等，进而需要标注人员对机器标注的内容进行矫正，其中，标注人员进行矫正的改动标注包括添加漏标的标注、删除多标的标注和修正错标的标注。
S120、基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值。
本申请实施例中，基于标注人员对待评估数据的改动标注，从多个标注评估维度来分析每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值，使得对每个标注人员的标注质量的评估更加准确，最终提高数据标注的质量。
具体而言，标注评估维度为改动标注量排序维度，改动标注量相似度维度，和改动标注的标注差异维度中的一种或多种。
S130、统计每个标注人员在各个维度下的评估值，确定汇总值。
本申请实施例中，将每个标注人员在各个维度下的评估值相加，得到汇总值，由于各个维度的标准不一样，每个维度下的评估值可能相差较多，本申请实施例采用对每个维度下的评估值进行归一化处理的方式，使得汇总值能够直观的进行比较大小。
S140、确定所有汇总值中最大的汇总值所对应的标注人员为标注质量最差的标注人员。
本申请实施例中，每个标注人员对应一个汇总值，比较所有标注人员对应的汇总值，根据各个维度下的评估值代表的含义可知，汇总值越大，代表该标注人员的标注质量越差，从而确定所有汇总值中最大的汇总值所对应的标注人员为标注质量最差的标注人员。
但是在命名实体识别中，为了保证获得的实体特征数据更加准确，筛除的标注人员不仅仅局限于最差的标注人员，进而，需要对所有汇总值按照数值从大到小的顺序排序，根据实际标注人员的数量以及对数据标注质量的要求程度，确定需要筛除的标注人员的数量，此时需要筛除的标注人员的数量不小于1，进而从最大的汇总值对应的标注人员开始依次筛除，直至筛除的人员数量满足预先确定的数量的要求为止。
本申请实施例提供的人工标注质量的评估方法，包括获取多个标注人员中每个标注人员对每份待评估数据中实体特征的改动标注；基于改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值；统计每个标注人员在各个维度下的评估值，确定汇总值；确定所有汇总值中最大的汇总值所对应的标注人员为标注质量最差的标注人员。本申请实施例筛除了标注质量最差的标注人员对数据进行改动标注的标注结果，提高了数据标注的标注质量。
请参阅图2，图2为本申请实施例所提供的另一种人工标注质量的评估方法的流程图，如图2中所示，本申请实施例提供了另一种人工标注质量的评估方法，所述评估方法包括：
S210、获取多个样本数据，所述多个样本数据中的每个样本数据均包含多个实体特征。
本申请实施例中，样本数据需要预先满足两个前提条件，第一个条件为样本数据有足够多的待标注实体特征，该份样本数据不需要再做额外清洗，可直接应用于实体识别算法；第二个条件为样本数据的实体特征以及实体特征的种类分布合理。
S220、基于所述实体特征对每个样本数据进行预标注，确定多个预标注数据。
本申请实施例中，基于已有命名实体算法对每个样本数据进行自动标注，此为预标注的过程，通过预标注得到多个预标注数据，每个预标注数据上带有各个实体特征的标注信息。
S230、将每个预标注数据划分成多份，确定每份含有所述实体特征的预标注数据为待评估数据。
本申请实施例中，S230表示数据清洗的过程，将每个预标注数据划分成多份，多份预标注数据一共分为两类，分别为包含实体特征的预标注数据和不包含实体特征的预标注数据，按照一定的比例筛选，并统计包含实体特征的预标记数据中的各个实体特征的数量，清洗后保留多份带有实体特征的预标注数据，并将带有实体特征的预标注数据确定为待评估数据，且对所有的待评估数据按顺序编号。
S240、将每份所述待评估数据分发给多个标注人员中的预设数量的标注人员。
本申请实施例中，预设数量的最大值为所有标注人员的总数，预设数量的最小值为三，为考虑效率和人力成本，可选择每份待评估数据只分发给部分标注人员，但是部分标注人员至少为三人，即每份待评估数据至少要分发给三个标注人员，这样，根据三个标注人员彼此的标注情况，可以确定其中标注质量最差的标注人员。
S240为任务分发的过程，将每份待评估数据分发给多个标注人员，对标注人员进行编号，直至将所有的待评估数据均分发到标注人员手上；标注人员对分到的待评估数据进行人工矫正标注，由于机器自动标注数据的方法肯定会存在漏标、错标或多标的问题，由标注人员根据先验知识或标注规则来矫正，比如原本漏标的实体特征会由标注人员重新标注上、多标的实体特征会由标注人员删除等。
S250、获取多个标注人员中每个标注人员对每份待评估数据中实体特征的改动标注。
S260、基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值。
S270、统计每个标注人员在各个维度下的评估值，确定汇总值。
S280、确定所有汇总值中最大的汇总值所对应的标注人员为标注质量最差的标注人员。
其中，S250至S280的描述可以参照S110至S140的描述，并且能够达到相同的技术效果，对此不再赘述。
本申请实施例提供的人工标注质量的评估方法，收集整理各个标注人员人工改动标注后的待评估数据，通过人工改动标注后的待评估数据和原始预标注数据的对比，判断标注人员对每份预标注数据的标注动作，统计标注过程中标注人员对漏标、错标和多标的实体特征分别进行矫正动作的改动数量，对漏标的预标注需要人工重新添加标注，多标的预标注需要人工进行删除，错标的预标注在相同位置进行人工修正，最后在至少一个维度下，确定每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值，统计每个标注人员在各个维度下的评估值，得到汇总值；确定所有汇总值中最大的汇总值所对应的标注人员为标注质量最差的标注人员，进而筛除标注质量最差的标注人员对数据进行改动标注的标注结果，以提高数据标注的标注质量。
本申请实施例中，作为一种可选实施例，当所述标注评估维度包括改动标注量排序维度时，所述基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值，包括：
针对每个待评估数据，确定各个标注人员在同一待评估数据中改动标注的改动数量，并按照改动数量从高到低的顺序，确定各个标注人员对于同一待评估数据的改动数量排序。
本申请实施例中，针对同一份待评估数据来说，确定对该待评估数据进行改动标注的所有标注人员的改动数量，然后按照改动数量从高到低的顺序进行排序，即针对每份待评估数据，参与标注的标注人员都会有一个改动数量排序。
基于每个标注人员对于每个待评估数据的改动数量排序，确定针对进行改动标注的多个待评估数据，每个标注人员的平均改动量排序。
本申请实施例中，确定每个标注人员针对标注过的所有待评估数据所对应的多个改动数量排序，并对多个改动数量排序进行求平均值，得到每个标注人员的平均改动量排序。
对每个标注人员对应的平均改动量排序进行归一化处理，并将归一化处理的结果确定为每个标注人员在改动标注量排序维度下的的评估值。
本申请实施例中，作为一种可选实施例，当所述标注评估维度包括改动标注量相似度维度时，所述基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值，包括：
获取目标标注人员以及所有标注人员中除了所述目标标注人员之外的每个其他标注人员在同一份待评估数据中改动标注的改动数量，其中，所述目标标注人员为所有标注人员中的任意一个。
本申请实施例中，计算每个标注人员与其他标注人员针对同一份待评估数据中改动标注的改动数量的相似度。
确定所述目标标注人员与每个所述其他标注人员之间的改动数量相似度。
本申请实施例中，每个标注人员对多份待评估数据进行改动标注，进而每个标注人员具有多个改动数量的相似度，统计每个标注人员所对应的多个改动数量的相似度，并进行平均值计算，得到每个标注人员对应的平均相似度。
对每个标注人员对应的多个改动数量相似度的平均相似度进行归一化处理，并将归一化处理的结果确定为每个标注人员在改动标注量相似度维度下的评估值。
本申请实施例中，作为一种可选实施例，当所述标注评估维度包括改动标注的标注差异维度时，所述基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值，包括：
基于所述预标注数据中的预标注，确定每个预标注数据中的预标注的第一概率分布；
基于与每个所述预标注数据相对的待评估数据中的改动标注，确定与每个所述预标注数据相对的每份所述待评估数据中的改动标注的第二概率分布；
确定所述第一概率分布与所述第二概率分布之间的相对熵。
本申请实施例中，相对熵可以衡量两个随机分布之间的距离，当两个随机分布相同时，它们的相对熵为零，当两个随机分布的差别增大时，它们的相对熵也会增大，所以相对熵可以用于比较文本的相似度，先统计出词的频率，然后计算相对熵。
本申请实施例通过计算第一概率分布和第二概率分布之间的相对熵，确定标注人员的改动标注与机器的预标注之间的差异程度，当差异程度较大时，代表标注人员的改动标注与机器的预标注之间相差较大，此时可以初步判定标注人员的标注质量较差，当第一概率分布和第二概率分布相同时，代表预标注数据中的预标注与待评估数据中的改动标注的分布相同；除此之外，为了使评估结果更加准确，需要结合其他维度下的评估值来进一步确定标注人员的标注质量的好坏。
对每个标注人员对应的多个相对熵分别进行归一化处理，并将归一化处理后的求和值确定为每个标注人员在改动标注的标注差异维度下的评估值。
本申请实施例中，标注人员每对一份待评估数据进行改动标注时，都会确定一个相对熵，相对熵的数量与标注人员进行标注处理的待评估数据的数量相同，将每一个相对熵都进行归一化处理，针对同一个标注人员来说，将同一个标注人员所对应的所有相对熵归一化的结果相加，并将求和值确定为每个标注人员在改动标注的标注差异维度下的评估值。
本申请实施例提供的人工标注质量的评估方法，从改动标注量排序维度、改动标注量相似度维度和改动标注的标注差异维度三个方面，确定每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值，检查了各个标注人员对机器预标注结果的依赖程度，避免了部分标注人员改动少或随意改动带来的标注质量差的结果。
请参阅图3和图4，图3为本申请实施例所提供的一种人工标注质量的评估装置的结构示意图之一，图4为本申请实施例所提供的一种人工标注质量的评估装置的结构示意图之二，如图3中所示，所述评估装置300包括：
改动标注获取模块310，用于获取多个标注人员中每个标注人员对每份待评估数据中实体特征的改动标注；
评估值确定模块320，用于基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值；
汇总值确定模块330，用于统计每个标注人员在各个维度下的评估值，确定汇总值；
最差人员确定模块340，用于确定所有汇总值中最大的汇总值所对应的标注人员为标注质量最差的标注人员。
如图4中所示，所述评估装置300还包括：
样本数据获取模块350，用于获取多个样本数据，所述多个样本数据中的每个样本数据均包含多个实体特征；
预标注数据确定模块360，用于基于所述实体特征对每个样本数据进行预标注，确定多个预标注数据；
待评估数据确定模块370，用于将每个预标注数据划分成多份，确定每份含有所述实体特征的预标注数据为待评估数据；
数据分发模块380，用于将每份所述待评估数据分发给多个标注人员中的预设数量的标注人员。
优选地，当所述标注评估维度包括改动标注量排序维度时，所述评估值确定模块320在用于基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值时，所述评估值确定模块320用于：
针对每个待评估数据，确定各个标注人员在同一待评估数据中改动标注的改动数量，并按照改动数量从高到低的顺序，确定各个标注人员对于同一待评估数据的改动数量排序；
基于每个标注人员对于每个待评估数据的改动数量排序，确定针对进行改动标注的多个待评估数据，每个标注人员的平均改动量排序；
对每个标注人员对应的平均改动量排序进行归一化处理，并将归一化处理的结果确定为每个标注人员在改动标注量排序维度下的的评估值。
优选地，当所述标注评估维度包括改动标注量相似度维度时，所述评估值确定模块320在用于基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值时，所述评估值确定模块320用于：
获取目标标注人员以及所有标注人员中除了所述目标标注人员之外的每个其他标注人员在同一份待评估数据中改动标注的改动数量，其中，所述目标标注人员为所有标注人员中的任意一个；
确定所述目标标注人员与每个所述其他标注人员之间的改动数量相似度；
对每个标注人员对应的多个改动数量相似度的平均相似度进行归一化处理，并将归一化处理的结果确定为每个标注人员在改动标注量相似度维度下的评估值。
优选地，当所述标注评估维度包括改动标注的标注差异维度时，所述评估值确定模块320在用于基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值时，所述评估值确定模块320用于：
基于所述预标注数据中的预标注，确定每个预标注数据中的预标注的第一概率分布；
基于与每个所述预标注数据相对的待评估数据中的改动标注，确定与每个所述预标注数据相对的每份所述待评估数据中的改动标注的第二概率分布；
确定所述第一概率分布与所述第二概率分布之间的相对熵；
对每个标注人员对应的多个相对熵分别进行归一化处理，并将归一化处理后的求和值确定为每个标注人员在改动标注的标注差异维度下的评估值。
优选地，所述改动标注包括添加漏标的标注、删除多标的标注和修正错标的标注中的一种或多种。
本申请实施例提供的人工标注质量的评估装置，包括改动标注获取模块、评估值确定模块、汇总值确定模块和最差人员确定模块，其中，改动标注获取模块用于获取多个标注人员中每个标注人员对每份待评估数据中实体特征的改动标注；评估值确定模块用于基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值；汇总值确定模块用于统计每个标注人员在各个维度下的评估值，确定汇总值；最差人员确定模块用于确定所有汇总值中最大的汇总值所对应的标注人员为标注质量最差的标注人员。本申请实施例基于改动标注，确定在改动标注量排序维度，和/或改动标注量相似度维度，和/或改动标注的标注差异维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值，统计每个标注人员在各个维度下的评估值，得到汇总值；确定所有汇总值中最大的汇总值所对应的标注人员为标注质量最差的标注人员，进而筛除标注质量最差的标注人员对数据进行改动标注的标注结果，以提高数据标注的标注质量。
请参阅图5，图5为本申请实施例所提供的一种电子设备的结构示意图。如图5中所示，所述电子设备500包括处理器510、存储器520和总线530。
所述存储器520存储有所述处理器510可执行的机器可读指令，当电子设备500运行时，所述处理器510与所述存储器520之间通过总线530通信，所述机器可读指令被所述处理器510执行时，可以执行如上述图1以及图2所示方法实施例中的一种人工标注质量的评估方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图1以及图2所示方法实施例中的一种人工标注质量的评估方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random AccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种人工标注质量的评估方法，其特征在于，所述评估方法包括：
获取多个标注人员中每个标注人员对每份待评估数据中实体特征的改动标注；
基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值；
统计每个标注人员在各个维度下的评估值，确定汇总值；
确定所有汇总值中最大的汇总值所对应的标注人员为标注质量最差的标注人员。
2.根据权利要求1所述的评估方法，其特征在于，当所述标注评估维度包括改动标注量排序维度时，所述基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值，包括：
针对每个待评估数据，确定各个标注人员在同一待评估数据中改动标注的改动数量，并按照改动数量从高到低的顺序，确定各个标注人员对于同一待评估数据的改动数量排序；
基于每个标注人员对于每个待评估数据的改动数量排序，确定针对进行改动标注的多个待评估数据，每个标注人员的平均改动量排序；
对每个标注人员对应的平均改动量排序进行归一化处理，并将归一化处理的结果确定为每个标注人员在改动标注量排序维度下的的评估值。
3.根据权利要求1所述的评估方法，其特征在于，当所述标注评估维度包括改动标注量相似度维度时，所述基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值，包括：
获取目标标注人员以及所有标注人员中除了所述目标标注人员之外的每个其他标注人员在同一份待评估数据中改动标注的改动数量，其中，所述目标标注人员为所有标注人员中的任意一个；
确定所述目标标注人员与每个所述其他标注人员之间的改动数量相似度；
对每个标注人员对应的多个改动数量相似度的平均相似度进行归一化处理，并将归一化处理的结果确定为每个标注人员在改动标注量相似度维度下的评估值。
4.根据权利要求1所述的评估方法，其特征在于，在所述获取多个标注人员中每个标注人员对每份待评估数据中实体特征的改动标注之前，所述评估方法还包括：
获取多个样本数据，所述多个样本数据中的每个样本数据均包含多个实体特征；
基于所述实体特征对每个样本数据进行预标注，确定多个预标注数据；
将每个预标注数据划分成多份，确定每份含有所述实体特征的预标注数据为待评估数据；
将每份所述待评估数据分发给多个标注人员中的预设数量的标注人员。
5.根据权利要求4所述的评估方法，其特征在于，当所述标注评估维度包括改动标注的标注差异维度时，所述基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值，包括：
基于所述预标注数据中的预标注，确定每个预标注数据中的预标注的第一概率分布；
基于与每个所述预标注数据相对的待评估数据中的改动标注，确定与每个所述预标注数据相对的每份所述待评估数据中的改动标注的第二概率分布；
确定所述第一概率分布与所述第二概率分布之间的相对熵；
对每个标注人员对应的多个相对熵分别进行归一化处理，并将归一化处理后的求和值确定为每个标注人员在改动标注的标注差异维度下的评估值。
6.根据权利要求1所述的评估方法，其特征在于，所述改动标注包括添加漏标的标注、删除多标的标注和修正错标的标注中的一种或多种。
7.一种人工标注质量的评估装置，其特征在于，所述评估装置包括：
改动标注获取模块，用于获取多个标注人员中每个标注人员对每份待评估数据中实体特征的改动标注；
评估值确定模块，用于基于所述改动标注，确定在至少一个标注评估维度下，每个标注人员针对对应改动标注的待评估数据进行改动标注的评估值；
汇总值确定模块，用于统计每个标注人员在各个维度下的评估值，确定汇总值；
最差人员确定模块，用于确定所有汇总值中最大的汇总值所对应的标注人员为标注质量最差的标注人员。
8.根据权利要求7所述的评估装置，其特征在于，所述评估装置还包括：
样本数据获取模块，用于获取多个样本数据，所述多个样本数据中的每个样本数据均包含多个实体特征；
预标注数据确定模块，用于基于所述实体特征对每个样本数据进行预标注，确定多个预标注数据；
待评估数据确定模块，用于将每个预标注数据划分成多份，确定每份含有所述实体特征的预标注数据为待评估数据；
数据分发模块，用于将每份所述待评估数据分发给多个标注人员中的预设数量的标注人员。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至6中任一所述的人工标注质量的评估方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至6中任一所述的人工标注质量的评估方法的步骤。
CN202010080303.4A 2020-02-05 2020-02-05 人工标注质量的评估方法、装置、电子设备及存储介质 Active CN111291567B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010080303.4A CN111291567B (zh) 2020-02-05 2020-02-05 人工标注质量的评估方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010080303.4A CN111291567B (zh) 2020-02-05 2020-02-05 人工标注质量的评估方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111291567A true CN111291567A (zh) 2020-06-16
CN111291567B CN111291567B (zh) 2023-08-25

Family

ID=71026729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010080303.4A Active CN111291567B (zh) 2020-02-05 2020-02-05 人工标注质量的评估方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111291567B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284509A (zh) * 2021-05-06 2021-08-20 北京百度网讯科技有限公司 语音标注的正确率获取方法、装置和电子设备
CN113326890A (zh) * 2021-06-17 2021-08-31 北京百度网讯科技有限公司 标注数据处理方法、相关装置及计算机程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0310301A (ja) * 1989-06-08 1991-01-17 Nippon Steel Corp 品質診断知識学習方法
EP3313073A1 (en) * 2016-10-20 2018-04-25 Netscout Systems, Inc. Method for assessing the perceived quality of adaptive video streaming
CN109271520A (zh) * 2018-10-25 2019-01-25 北京小度信息科技有限公司 数据提取方法、数据提取装置、存储介质和电子设备
CN109389275A (zh) * 2017-08-08 2019-02-26 北京图森未来科技有限公司 一种图像标注方法和装置
CN110309309A (zh) * 2019-07-03 2019-10-08 中国搜索信息科技股份有限公司 一种用于评估人工标注数据质量的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0310301A (ja) * 1989-06-08 1991-01-17 Nippon Steel Corp 品質診断知識学習方法
EP3313073A1 (en) * 2016-10-20 2018-04-25 Netscout Systems, Inc. Method for assessing the perceived quality of adaptive video streaming
CN109389275A (zh) * 2017-08-08 2019-02-26 北京图森未来科技有限公司 一种图像标注方法和装置
CN109271520A (zh) * 2018-10-25 2019-01-25 北京小度信息科技有限公司 数据提取方法、数据提取装置、存储介质和电子设备
CN110309309A (zh) * 2019-07-03 2019-10-08 中国搜索信息科技股份有限公司 一种用于评估人工标注数据质量的方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284509A (zh) * 2021-05-06 2021-08-20 北京百度网讯科技有限公司 语音标注的正确率获取方法、装置和电子设备
CN113284509B (zh) * 2021-05-06 2024-01-16 北京百度网讯科技有限公司 语音标注的正确率获取方法、装置和电子设备
CN113326890A (zh) * 2021-06-17 2021-08-31 北京百度网讯科技有限公司 标注数据处理方法、相关装置及计算机程序产品
CN113326890B (zh) * 2021-06-17 2023-07-28 北京百度网讯科技有限公司 标注数据处理方法、相关装置及计算机程序产品

Also Published As

Publication number Publication date
CN111291567B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN109800320B (zh) 一种图像处理方法、设备及计算机可读存储介质
US20120304157A1 (en) Method for testing operation of software
CN110489449B (zh) 一种图表推荐方法、装置和电子设备
CN108764705A (zh) 一种数据质量评估平台以及方法
CN110544155A (zh) 用户信用评分的获取方法、获取装置、服务器及存储介质
CN109711424B (zh) 一种基于决策树的行为规则获取方法、装置及设备
CN108734405A (zh) 一种数据价值评估平台和方法
CN106919957A (zh) 处理数据的方法及装置
CN111291567B (zh) 人工标注质量的评估方法、装置、电子设备及存储介质
CN110647913B (zh) 基于聚类算法的异常数据检测方法及装置
CN111209538A (zh) 一种表数据质量探查方法及装置
CN114840531B (zh) 基于血缘关系的数据模型重构方法、装置、设备及介质
CN113934937A (zh) 一种内容智能推荐方法、装置、终端和存储介质
Wang et al. Quality evaluation of Wikipedia articles through edit history and editor groups
CN111311276B (zh) 一种异常用户团体的识别方法、识别装置及可读存储介质
CN108764995A (zh) 一种数据价值确定系统和方法
CN112613983A (zh) 一种机器建模过程中的特征筛选方法、装置及电子设备
Praserttitipong et al. Elective course recommendation model for higher education program.
CN112035605A (zh) 题目推荐方法、装置、设备及存储介质
CN109460778B (zh) 活动评估方法、装置、电子设备及存储介质
CN111476371A (zh) 对服务方面临的特定风险进行评估的方法及装置
CN116167457A (zh) 一种数据标注方法、装置、计算机设备和存储介质
Rabbi et al. An intelligent crowd-worker selection approach for reliable content labeling of food images
CN108829750A (zh) 一种数据质量确定系统以及方法
CN112132239B (zh) 一种训练方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant