CN108875775A - 一种应用于数据标注领域的评估系统及其方法 - Google Patents

Abstract

本发明公开了一种应用于数据标注领域的评估系统，其包括云端服务器、分别与所述云端服务器通信连接的客户端、标注端、以及审核端，其中所述客户端接收发布来自客户的标注任务和客户的评价反馈，所述标注端供标注人员进行标注，所述审核端供审核人员进行审核，所述云端服务器包括一登记模块和一统计模块，所述登记模块将参与标注任务的标注人员和审核人员的的信息保存至相应的标注任务的属性信息中，所述统计模块根据来自客户的评价反馈和每个标注任务的属性信息中包含的标注人员信息和审核人员信息对参与该标注任务的标注人员和审核人员作出评估。

Description

一种应用于数据标注领域的评估系统及其方法

技术领域

本发明涉及数据标注审核领域，更详而言之涉及一种应用于数据标注领域的评估系统。

背景技术

众所周知，数据标注领域的流程一般为客户发布数据标注任务、标注人员领取任务并对数据进行标注、审核人员对标注结果进行审核、以及将合格的数据标注结果反馈给客户等。数据标注的结果质量是客户关注的重中之重，只有合格有效的数据标注才能对客户产生价值。因此，针对数据标注之后的审核显得尤为重要。但是在现有技术中，对于数据标注结果的审核机制还较为单一。通常在对标注结果进行审核之后，后续不会再有相应的流程来对审核结果进行分析处理。

一方面，由于审核工作是由人工来完成的，现有的审核机制无法对审核人员进行监督，无法保证审核的质量，从而进一步影响标注的质量。另一方面，现有技术对于审核结果相关数据的利用率很低，没有对审核结果进行评估分析，无法筛选出优秀的审核人员和标注人员来进一步提高数据标注的质量。

发明内容

本发明的一个目的在于提供一种应用于数据标注领域的评估系统及其方法，实现了对审核人员的审核结果进行监控评估，防止因审核人员的失误造成数据标注的偏差，为数据的标注和审核提供了有效保障。

本发明的另一个目的在于提供一种应用于数据标注领域的评估系统及其方法，便于发布数据标注任务的客户对标注结果进行评价反馈，为筛选出优秀的审核人员和标注人员提供数据支持，从而进一步提高数据标注的质量。

因此，为了实现上述目的，本发明提供一种应用于数据标注领域的评估系统，其包括：

云端服务器；

客户端，所述客户端通过电子通讯网络与所述云端服务器通信连接，所述客户端包括任务发布模块、接收模块、以及评价模块，其中所述任务发布模块被设置接收处理来自客户的标注任务并进行发布；

标注端，所述标注端通过电子通讯网络与所述云端服务器通信连接，所述云端服务器将标注任务自所述客户端发送至所述标注端供标注人员进行标注并产生标注结果；以及

审核端，其中所述审核端通过电子通讯网络与所述云端服务器通信连接，所述云端服务器将标注结果自所述标注端发送至所述审核端供审核人员进行审核并产生审核结果，所述接收模块被设置自所述审核端接收已完成标注和审核的标注任务提供给客户，所述评价模块接收来自客户对于标注任务的评价反馈，所述云端服务器对来自客户的评价反馈进行统计分析。

根据本发明的优选实施例，所述云端服务器包括一登记模块和一统计模块，当标注人员完成对标注任务的标注，所述登记模块将标注人员的的信息保存至标注任务的属性信息中，当审核人员完成对该标注任务的审核，所述登记模块将该审核人员的信息保存至标注任务的属性信息中，所述统计模块根据来自客户的评价反馈和每个标注任务的属性信息中包含的标注人员信息和审核人员信息对参与该标注任务的标注人员和审核人员作出评估。

根据本发明的优选实施例，客户通过所述评价模块对标注任务作出正反馈或负反馈。

根据本发明的优选实施例，所述标注任务为视频图像标注任务、文本标注任务、语音标注任务中的一种或组合。

依本发明的另一个方面，本发明进一步提供一种应用于数据标注领域的评估方法，其包括以下步骤：

(A)分发标注任务至标注人员进行标注，在完成标注后将标注人员的信息保存至标注任务的属性信息中；

(B)将已完成标注的标注任务分发至审核人员进行审核，在完成审核后将审核人员的信息保存至标注任务的属性信息中；

(C)接收来自客户的对完成标注和审核的标注任务的评价反馈；以及

(D)根据评价反馈和标注任务的属性信息中保存的标注人员信息和审核人员信息对参与该标注任务的标注人员和审核人员作出统计评估。

根据本发明的优选实施例，所述应用于数据标注领域的评估方法进一步包括步骤(E)：对好评率高的标注人员增加标注任务的推送量，对好评率高的审核人员增加审核任务的推送量。

本发明的上述以及其它目的、特征、优点将通过下面的详细说明、附图、以及所附的权利要求进一步明确。

附图说明

图1是根据本发明的优选实施例的应用于数据标注领域的评估系统的配置示意图；

图2是根据本发明的优选实施例的应用于数据标注领域的评估系统的另一配置示意图；

图3是根据本发明的优选实施例的应用于数据标注领域的评估方法的流程示意图；

图中：云端服务器10；登记模块11；统计模块12；客户端20；任务发布模块21；评价模块22；接收模块23；标注端30；审核端40。

具体实施方式

下面，结合附图以及具体实施方式，对发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

参看附图之图1和图2，根据本发明的优选实施例的应用于数据标注领域的评估系统将在接下来的描述中被阐明，其中所述应用于数据标注领域的评估系统包括云端服务器10、客户端20、标注端30、以及审核端40。所述客户端20，所述标注端30，以及所述审核端40分别通过电子通讯网络与所述云端服务器10通信连接。换句话来说，所述客户端20，所述标注端30，以及所述审核端40分别通过电子通讯网络耦接于所述云端服务器10。

本领域技术人员容易理解的是，所述电子通讯网络可以是任何实现所述云端服务器10分别与所述客户端20，所述标注端30，以及所述审核端40之间通讯的电子通讯网络。例如，所述电子通讯网络可为一局域网(LAN)，一城域网(MAN)，一广域网(WAN)，等互联网网络的一种。所述电子通讯网络也可以是其它能够实现所述云端服务器10和所述客户端20，所述标注端30，以及所述审核端40之间通讯的通讯网络，如GSM、3G移动通讯网络(CDMA、CDMA200、TD-CDMA、WCDMA等)、4G移动通信网络(TD-LTE、FDD-LTE等)、5G移动通讯网络、卫星通讯等通讯网络等。

具体地来说，所述客户端20包括一任务发布模块21，其中所述任务发布模块21被设置接收处理来自客户的标注任务并进行发布。所述云端服务器10将标注任务自所述客户端20发送至所述标注端30供标注人员进行标注并产生标注结果。所述云端服务器10将标注结果自所述标注端30发送至所述审核端40供审核人员进行审核并产生审核结果。

本领域技术人员可以理解的是，当客户发布的标注任务被进行标注和审核之后，就代表该标注任务已经被完成了。所述客户端20进一步包括一接收模块23和一评价模块22，其中所述接收模块23被设置自所述审核端40接收已完成标注和审核的标注任务提供给客户。客户对已完成的标注任务进行查看和验收，并根据标注任务的完成质量做出评价。所述评价模块22接收来自客户对于标注任务的评价反馈，所述云端服务器10对来自客户的评价反馈进行统计分析。

值得一提的是，所述云端服务器10包括一登记模块11和一统计模块12。当标注人员完成对标注任务的标注，所述登记模块11将标注人员的的信息保存至标注任务的属性信息中；当审核人员完成对该标注任务的审核，所述登记模块11将该审核人员的信息保存至标注任务的属性信息中。所述统计模块12根据来自客户的评价反馈和每个标注任务的属性信息中包含的标注人员信息和审核人员信息对参与该标注任务的标注人员和审核人员作出评估。

具体地来说，所述评价模块22被设置提供正反馈和负反馈两种评价结果供客户进行选择。正反馈表示标注任务的完成质量符合标准，负反馈表示标注任务的完成质量不符合标准。客户放弃评价则默认选择为正反馈。

由于每个标注任务的属性信息中包含参与该标注任务的标注人员和审核人员的信息，所以每个标注任务的评价结果关联到参与该标注任务的标注人员和审核人员的表现评估。当标注任务的评价结果为正反馈时，所述统计模块12对相关联的标注人员和审核人员的表现评估也为正反馈；反之，当标注任务的评价结果为负反馈时，所述统计模块12对相关联的标注人员和审核人员的表现评估也为负反馈。

进一步地，所述统计模块12可以分别统计标注人员收到的历史正反馈数量和历史负反馈数量。相应的，所述统计模块12可以分别统计审核人员收到的历史正反馈数量和历史负反馈数量。由此，所述统计模块12能够计算出标注人员和审核人员的历史正反馈率。容易理解的，标注人员的历史正反馈率越高，代表标注人员完成的标注操作质量越高；审核人员的历史正反馈率越高，代表审核人员完成的审核质量越高。

所述云端服务器10被设置根据标注人员的历史正反馈率对历史正反馈率高的标注人员增加标注任务的推送量。相应的，所述云端服务器10被设置根据审核人员的历史正反馈率对历史正反馈率高的审核人员增加审核任务的推送量。通过这样的方式，提高了标注任务的完成质量。

本领域技术人员容易理解的是，不同的标注任务具有不同的属性，比如按照文件类型可以将标注任务分为视频图像标注任务、文本标注任务、以及语音标注任务等，根据标注任务的属性可以对标注任务进行分类。所述统计模被设置能够统计同一属性的所有标注任务接收到的评价反馈，从而统计分析出每一种属性标注任务的整体满意度。

如附图3所示，本发明进一步提供一种应用于数据标注领域的评估方法，其包括以下步骤：

(A)分发标注任务至标注人员进行标注，在完成标注后将标注人员的信息保存至标注任务的属性信息中；

(B)将已完成标注的标注任务分发至审核人员进行审核，在完成审核后将审核人员的信息保存至标注任务的属性信息中；

(C)接收来自客户的对完成标注和审核的标注任务的评价反馈；以及

(D)根据评价反馈和标注任务的属性信息中包存的标注人员信息和审核人员信息对参与该标注任务的标注人员和审核人员作出统计评估。

进一步地，所述应用于数据标注领域的评估方法进一步包括步骤(E)：对好评率高的标注人员增加标注任务的推送量，对好评率高的审核人员增加审核任务的推送量。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (7)

1.一种应用于数据标注领域的评估系统，其特征在于，包括：

云端服务器；

客户端，所述客户端通过电子通讯网络与所述云端服务器通信连接，所述客户端包括任务发布模块和评价模块，其中所述任务发布模块被设置接收处理来自客户的标注任务并进行发布；

标注端，所述标注端通过电子通讯网络与所述云端服务器通信连接，所述云端服务器将标注任务自所述客户端发送至所述标注端供标注人员进行标注并产生标注结果；以及

审核端，其中所述审核端通过电子通讯网络与所述云端服务器通信连接，所述云端服务器将标注结果自所述标注端发送至所述审核端供审核人员进行审核并产生审核结果，所述评价模块接收来自客户对于标注任务的评价反馈，所述云端服务器对来自客户的评价反馈进行统计分析。

2.如权利要求1所述之应用于数据标注领域的评估系统，其特征在于，所述云端服务器包括一登记模块和一统计模块，所述登记模块将标注人员和审核人员的信息保存至标注任务的属性信息中，所述统计模块根据来自客户的评价反馈和每个标注任务的属性信息中包含的标注人员信息和审核人员信息对参与该标注任务的标注人员和审核人员作出评估。

3.如权利要求2所述之应用于数据标注领域的评估系统，其特征在于，客户通过所述评价模块对标注任务作出正反馈或负反馈。

4.如权利要求2所述之应用于数据标注领域的评估系统，其特征在于，所述客户端进一步包括接收模块，所述接收模块被设置自所述审核端接收已完成标注和审核的标注任务提供给客户。

5.如权利要求1至4中任一项所述之应用于数据标注领域的评估系统，其特征在于，所述标注任务为视频图像标注任务、文本标注任务、语音标注任务中的一种或组合。

6.一种应用于数据标注领域的评估方法，其特征在于，包括以下步骤：

(A)分发标注任务至标注人员进行标注，在完成标注后将标注人员的信息保存至标注任务的属性信息中；

(B)将已完成标注的标注任务分发至审核人员进行审核，在完成审核后将审核人员的信息保存至标注任务的属性信息中；

(C)接收来自客户对完成标注和审核的标注任务的评价反馈；以及

(D)根据评价反馈和标注任务的属性信息中保存的标注人员信息和审核人员信息对参与该标注任务的标注人员和审核人员作出统计评估。

7.如权利要求6所述之应用于数据标注领域的评估方法，其特征在于，进一步包括步骤(E)：对好评率高的标注人员增加标注任务的推送量，对好评率高的审核人员增加审核任务的推送量。