CN111695613B - 数据标注系统、计算机可读存储介质及电子设备 - Google Patents

Abstract

本公开涉及计算机和区块链领域，揭示了一种数据标注系统、介质及电子设备。该系统包括：账户管理模块，用于维护账户和对应的权限；管理员模块，用于根据管理员账户的指令创建标注任务；数据接收模块，用于接收管理员账户上传的数据；自动标注模块包括标注模型，用于处理标注任务；标注员模块，用于向标注员账户提供由自动标注模块标注的数据及标注结果，使标注员账户对标注结果复核，接收复核结果；或向标注员账户提供未标注数据，使标注员账户对未标注数据进行标注，接收标注结果；发送模块，用于将目标数据及复核结果或标注结果发送至管理员账户，其中，复核结果和/或标注结果可存储于区块链中。本公开实现了数据标注效率和准确率间的兼顾。

Description

数据标注系统、计算机可读存储介质及电子设备

技术领域

本公开涉及计算机和区块链技术领域，特别涉及一种数据标注系统、计算机可读存储介质及电子设备。

背景技术

随着机器学习以及人工智能等新兴技术的发展，数据标注已经成为监督学习领域不可避免并且需要耗费大量人力的工作。为了对大量数据进行标注，需要投入大量的人力物力，从而导致了数据标注的工作量较大，数据标注效率低下，标注成本较高。

发明内容

在计算机和区块链技术领域，为了解决上述技术问题，本公开的目的在于提供一种数据标注系统、计算机可读存储介质及电子设备。

根据本公开的一方面，提供了一种数据标注系统，所述数据标注系统包括：

账户管理模块，用于维护所述数据标注系统的账户和各账户对应的权限，所述数据标注系统的账户包括管理员账户和标注员账户，所述管理员账户的权限包括创建标注任务，所述标注员账户的权限包括处理标注任务；

管理员模块，用于根据所述管理员账户的指令创建标注任务；

数据接收模块，用于接收由所述管理员账户上传的与所述标注任务对应的目标数据；

自动标注模块，包括多个数据标注模型，每一数据标注模型用于处理与该数据标注模型匹配的标注任务，以对该标注任务对应的目标数据进行标注，得到对所述目标数据的标注结果；

标注员模块，用于向所述标注员账户提供已由所述自动标注模块标注的所述目标数据及对应的标注结果，以便所述标注员账户通过对所述已标注的所述目标数据的标注结果进行复核来处理所述标注任务，并接收所述标注员账户返回的复核结果；或者

向所述标注员账户提供未标注的所述目标数据，以便所述标注员账户通过对所述未标注的所述目标数据进行标注来处理所述标注任务，并接收所述标注员账户返回的标注结果；

发送模块，用于将所述目标数据以及与各目标数据对应的复核结果和/或标注结果发送至所述管理员账户。

根据本公开的另一方面，提供了一种计算机可读存储介质，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机实现如前所述的数据标注系统。

根据本公开的另一方面，提供了一种电子设备，所述电子设备包括：

处理器；

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如前所述的数据标注系统。

本公开的实施例提供的技术方案可以包括以下有益效果：

在本公开提供的一种数据标注系统、计算机可读存储介质及电子设备中，通过构建数据标注系统并利用该数据标注系统中的自动标注模块对目标数据进行标注，因此提高了数据标注效率并降低了数据标注成本；另外，由于数据标注系统的标注员模块还可以将由自动标注模块对目标数据的标注结果交由标注员账户进行复核，因此实现了数据标注效率和数据标注准确率之间的兼顾。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种数据标注系统的应用架构示意图；

图2是根据一示例性实施例示出的一种数据标注系统的系统架构示意图；

图3是根据一示例性实施例示出的一种多级标签和单级标签的分类示意图；

图4是根据一示例性实施例示出的一种实现上述数据标注系统的电子设备示例框图；

图5是根据一示例性实施例示出的一种实现上述数据标注系统的程序产品。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的系统和电子设备的例子。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。

本公开首先提供了一种数据标注系统。数据标注是指为数据打上标签以为这些数据建立对应的标注信息或者标注结果的过程，一项数据被打上的标签通常为该项数据的特征或者属性，这些特征或者属性能够被用来了解该项数据。比如，可以为一张人脸的照片标注性别的标签，也可以标注年龄的标签，那么易于理解，这些被标注的标签的照片即可被用来训练相应类型的机器学习模型，例如，标注了性别标签的人脸照片可以用来训练用于根据人脸识别性别的机器学习模型，而标注了年龄标签的人脸照片可以用来训练用于根据人脸识别年龄的机器学习模型；因此，数据标注在机器学习和人工智能领域是非常重要的一项工作，而本公开提供的数据标注系统则为数据标注提供了一种高效的工具。

本公开的实施终端可以是任何具有运算、处理以及通信功能的设备，该设备可以与外部设备相连，用于接收或者发送数据，具体可以是便携移动设备，例如智能手机、平板电脑、笔记本电脑、PDA(Personal Digital Assistant)等，也可以是固定式设备，例如，计算机设备、现场终端、台式电脑、服务器、工作站等，还可以是多个设备的集合，比如云计算的物理基础设施或者服务器集群。

可选地，本公开的实施终端可以为服务器或者云计算的物理基础设施。

图1是根据一示例性实施例示出的一种数据标注系统的应用架构示意图。如图1所示，该应用架构包括服务器110、管理员终端120以及标注员终端130，管理员终端120以及标注员终端130均通过通信链路与服务器110相连，通过该通信链路，管理员终端120和标注员终端130可以接收服务器110发来的数据，也可以向服务器110发送数据，服务器110上运行有数据标注系统，因此，在本实施例中服务器110为本公开的实施终端。当本公开提供的一种数据标注系统应用于图1所示的应用架构中时，一个应用方式可以是这样的：标注员终端130上安装有与数据标注系统对应的标注员客户端，而管理员终端120上安装有与数据标注系统对应的管理员客户端，服务器110上的数据标注系统维护着管理员账户和标注员账户以及两种账户对应的权限；首先，管理员通过操作管理员客户端，与数据标注系统的管理员模块进行通信，从而创建标注任务，然后通过操作管理员客户端与数据标注系统的数据接收模块通信，从而上传属于该标注任务的目标数据；接着，数据标注系统的自动标注模块在多个数据标注模型中确定出与该标注任务匹配的数据标注模型，并利用该数据标注模型对目标数据进行标注，生成标注结果；接下来，数据标注系统的标注员模块会与标注员客户端进行通信，从而将已标注的目标数据和对应的标注结果推送给标注员账户，并接收标注员账户返回的复核结果；最后，数据标注系统的发送模块会将目标数据和与目标数据对应的复核结果发送给管理员账户，从而完成数据标注工作。

值得一提的是，图1仅为本公开的一个实施例。虽然在本实施例中的实施终端为服务器，但在其他实施例中，实施终端可以为如前所述的各种终端或设备；虽然在本实施例中，数据标注系统的各个模块位于同一终端上，但在其他实施例中，各模块可以位于不同终端上。虽然在本实施例中，管理员账户和标注员账户分别通过管理员客户端和标注员客户端与数据标注系统进行通信，并且管理员客户端和标注员客户端分别位于本端之外的不同终端上，但在其他实施例或者具体应用中，管理员客户端和/或标注员客户端可以位于包括本端在内的同一终端上，管理员账户和标注员账户也不限于通过客户端的方式与数据标注系统进行通信，本公开对此不作任何限定，本公开的保护范围也不应因此而受到任何限制。

图2是根据一示例性实施例示出的一种数据标注系统的系统架构示意图。本实施例提供的数据标注系统可以由服务器实现并执行，如图2所示，该数据标注系统200包括：

账户管理模块210，用于维护所述数据标注系统的账户和各账户对应的权限，所述数据标注系统的账户包括管理员账户和标注员账户，所述管理员账户的权限包括创建标注任务，所述标注员账户的权限包括处理标注任务。

创建标注任务是建立一个可以执行的标注任务的过程，可以包括录入任务信息、启动任务流程等具体步骤。

处理标注任务为进行实际的对数据标注有关的流程，比如可以包括标注数据等。

管理员模块220，用于根据所述管理员账户的指令创建标注任务。

比如，管理员模块具体执行的动作可以是这样的：通过前端向使用管理员账户的用户推送用于创建标注任务的页面，页面上有创建任务的按钮和用于录入任务信息的录入框，使用管理员账户的用户在用于录入任务信息的录入框录入了任务信息后，通过点击创建任务的按钮即可创建标注任务。

数据接收模块230，用于接收由所述管理员账户上传的与所述标注任务对应的目标数据。

目标数据可以是各种可以进行标注并用于训练机器学习模型的数据，比如可以是图像数据、语音数据、文本数据等。

比如，若目标数据是图像数据，那么对应的标注任务可以是标注图像中人脸的性别；若目标数据是语音数据，那么对应的标注任务可以是标注语音所表达的内容。

在一个实施例中，所述管理员模块还用于根据所述管理员账户的指令删除已由所述管理员账户上传的目标数据。

在本实施例中允许管理员账户将已由其上传的目标数据删除，保护了用户隐私。

自动标注模块240，包括多个数据标注模型，每一数据标注模型用于处理与该数据标注模型匹配的标注任务，以对该标注任务对应的目标数据进行标注，得到对所述目标数据的标注结果。

多个数据标注模型中任意两个数据标注模型之间可以是类似的数据标注模型，也可以是差异很大的数据标注模型。比如，两个数据标注模型可以都是用于标注图像数据的模型，可以分别是用于标注图像数据和语音数据的模型。

在一个实施例中，所述管理员模块进一步用于：

将与所述自动标注模块中各数据标注模型分别对应的信息发送至所述管理员账户，并在获取到由所述管理员账户选择的信息后，将与所述信息对应的数据标注模型作为与所述标注任务匹配的数据标注模型。

在本实施例中，通过允许管理员自主选择用于进行标注任务的数据标注模型，提高了用户体验。

比如，一个数据标注模型对应的信息可以包括数据标注模型的名称和功能描述(例如，名称为性别标注模型，功能描述为对图片中人物的性别进行标注)，那么当由管理员账户创建的标注任务需要标注图片数据中的人物的性别时，可以选择该信息，从而将该信息对应的数据标注模型作为与标注任务匹配的数据标注模型。

在一个实施例中，所述管理员模块进一步用于：在所述管理员账户创建标注任务时获取由所述管理员账户上传的标注任务描述信息；

所述数据标注系统还包括：

模型匹配模块，用于根据所述标注任务描述信息在所述自动标注模块的多个数据标注模型中确定出与所述标注任务匹配的数据标注模型。

比如，所述自动标注模块还包括与每一数据标注模型对应的模型描述信息；可以确定所述标注任务描述信息与各模型描述信息的相似度，然后确定出对应的相似度最大的模型描述信息，并将该模型描述信息对应的数据标注模型作为与标注任务匹配的数据标注模型。

在本实施例中，实现了数据标注模型与标注任务的自动匹配。

标注员模块250，用于向所述标注员账户提供已由所述自动标注模块标注的所述目标数据及对应的标注结果，以便所述标注员账户通过对所述已标注的所述目标数据的标注结果进行复核来处理所述标注任务，并接收所述标注员账户返回的复核结果；或者

向所述标注员账户提供未标注的所述目标数据，以便所述标注员账户通过对所述未标注的所述目标数据进行标注来处理所述标注任务，并接收所述标注员账户返回的标注结果。

与目标数据对应的标注结果即为目标数据的标签或者与目标数据对应的标注信息。

已由自动标注模块标注的目标数据及对应的标注结果可以由数据标注系统的标注员模块通过主动向标注员账户推送，从而实现向标注员账户提供；也可以由标注员账户通过主动从数据标注系统的标注员模块拉取，从而实现将目标数据及对应的标注结果提供给标注员账户。

标注结果比如可以是标签，而复核结果比如可以是对标注结果进行了是否正确的判断后，修正得到的新的标注结果。

在一个实施例中，所述标注员模块还用于向所述标注员账户推送任务列表，所述任务列表包括所述标注任务，其中，向所述标注员账户推送所述自动标注模块已标注的所述目标数据及对应的标注结果或者向所述标注员账户推送未标注的所述目标数据是在所述任务列表中的所述标注任务被触发的情况下进行的。

比如，标注员模块可以向标注员账户推送一个页面，页面中包含的任务列表为至少一个任务对应的按钮，该按钮可触发，当该按钮被标注员账户触发时，响应于该触发，从而向标注员账户发起推送。

向标注员账户提供未标注的所述目标数据，以便标注员账户通过对未标注的目标数据进行标注来处理标注任务，在这种处理标注任务的方式下，标注任务完全由人来进行，可以确保标注保持较高的准确率；向标注员账户提供已由自动标注模块标注的目标数据及对应的标注结果，以便标注员账户通过对已标注的目标数据的标注结果进行复核来处理标注任务，这种方式下，用户仅需要对目标数据的标注结果进行复核即可处理标注任务，对目标数据的标注任务绝大部分由模型来自动完成，整个标注任务的处理由人机协同完成，从而提高了标注效率。

需要强调的是，为进一步保证上述复核结果和/或标注结果的私密和安全性，上述数据标注系统中的复核结果和/或标注结果还可以存储于一区块链的节点中，即数据标注系统可以部署在区块链上。

发送模块260，用于将所述目标数据以及与各目标数据对应的复核结果和/或标注结果发送至所述管理员账户。

对于有对应的复核结果的目标数据，可以将目标数据以及与目标数据对应的所有复核结果和标注结果发送至管理员账户，也可以仅将目标数据和对应的复核结果发送至管理员账户；而对于没有对应的复核结果而仅有对应的标注结果的目标数据，可以将目标数据以及对应的标注结果发送至管理员账户。

在一个实施例中，所述管理员账户的权限还包括上传与标注任务对应的样本数据及与样本数据对应的标注结果，所述数据标注系统还包括：

自动训练模块，用于接收由所述管理员账户上传的与所述标注任务对应的多个样本数据以及与各样本数据对应的标注结果，以便在所述自动标注模块的多个数据标注模型中不存在与所述标注任务匹配的数据标注模型时，利用所述多个样本数据以及与各样本数据对应的标注结果对所述自动标注模块中与所述标注任务匹配程度最高的数据标注模型进行优化，并将优化后的所述与所述标注任务匹配程度最高的数据标注模型作为与所述标注任务匹配的数据标注模型。

比如，自动标注模块包括与数据标注模型对应的模型信息，管理员模块用于将任务创建页面发送至管理员账户，该任务创建页面包括各数据标注模型分别对应的信息、任务描述信息录入框以及用于管理员账户提交关于不存在与标注任务匹配的数据标注模型的按钮，当该按钮被点击时，即认为多个数据标注模型中不存在与标注任务匹配的数据标注模型，管理员账户通过该任务创建页面提交任务描述信息，自动训练模块可以基于各模型信息和任务描述信息确定与标注任务匹配程度最高的数据标注模型，然后利用样本数据以及对应的标注结果即可对该数据标注模型进行优化。

例如，标注任务为标注一张图像中是否存在马这种动物，而已有的多个数据标注模型中不存在用于标注图像中是否存在马的模型，仅存在用于标注图像中是否存在羊的模型，此时用一些被标注了是否存在马的图像样本数据即可对该用于标注图像中是否存在羊的模型进行优化，使得优化后的模型能处理标注任务。

在本实施例中优化后的数据标注模型可以用于处理该标注任务，即使没有与标注任务匹配的数据标注模型，通过利用自动训练模块快速在少量样本上完成模型优化，可以实现对该标注任务的数据自动标注。

在一个实施例中，所述数据标注系统中的所述复核结果和/或所述标注结果存储于区块链中，所述管理员账户的权限还包括上传自定义数据标注模型和利用自定义数据标注模型处理标注任务，所述数据标注系统还包括：

自定义模块，用于获取管理员账户上传的自定义数据标注模型，并根据所述管理员账户的指令利用所述自定义数据标注模型处理由所述管理员账户创建的标注任务。

在本实施例中，通过允许管理员账户自主上传数据标注模型，使用户可以利用自己的模型完成标注任务，可以为用户提供更加定制化和高效的标注服务。

在一个实施例中，所述管理员模块进一步用于：

获取所述管理员账户创建标注任务时提交的标签类型，所述标签类型包括单级标签及多级标签，其中，当所述管理员账户提交的标签类型为多级标签时，所述管理员账户还提交标签的层级信息和各层级的范围信息，其中所述层级信息为标签下的各层级的子标签数量以及各子标签间的关系，各层级的范围信息为子标签的内容。

在本实施例中，由于数据标注系统支持多级标签，因此可以实现对更细粒度的标注任务的处理。

图3是根据一示例性实施例示出的一种多级标签和单级标签的分类示意图。参见图3所示，车和人为多级标签，车牌识别为单级标签。车这一标签包括两个子标签，这些可以是层级信息，颜色这一子标签属于车这一标签，黄色、蓝色、紫色的子标签属于颜色这一子标签，这些可以是各层级的范围信息。

在一个实施例中，所述管理员账户为项目管理员账户，所述数据标注系统的账户还包括系统管理员账户，所述账户管理模块维护的所述系统管理员账户的权限包括账户信息审核权限，所述数据标注系统还包括：

注册模块，用于获取项目管理员提交的注册信息，所述注册信息用于为所述项目管理员创建项目管理员账户；

系统管理员模块，用于将由所述注册模块获取的注册信息提供给所述系统管理员账户进行审核，并在审核通过时创建与所述注册信息对应的项目管理员账户。

本实施例中允许项目管理员在数据标注系统上自主创建项目管理员账户。

在一个实施例中，所述账户管理模块维护的所述项目管理员账户的权限还包括：设置处理所述标注任务的目标标注员账户的权限，所述管理员模块还用于获取由所述项目管理员账户配置的处理所述标注任务的目标标注员账户，所述标注员模块进一步用于：

向所述目标标注员账户提供已由所述自动标注模块标注的所述目标数据及对应的标注结果，以便所述目标标注员账户通过对所述已标注的所述目标数据的标注结果进行复核来处理所述标注任务，并接收所述目标标注员账户返回的复核结果。

在本实施例中，由于允许项目管理员账户自由设置哪些标注员账户可以处理标注任务，因此可以使项目管理员账户有针对性地选择特定的标注员账户进行标注任务的处理，提高了用户体验。

在一个实施例中，所述账户管理模块维护的项目管理员账户的权限还包括：设置处理所述标注任务的标注员账户对已标注的所述目标数据的标注结果进行复核的第一比例的权限，所述管理员模块还用于获取由项目管理员账户配置的第一比例，所述标注员模块进一步用于：

在已由所述自动标注模块标注的所述目标数据及对应的标注结果中随机选取所述第一比例的已标注的所述目标数据及对应的标注结果提供给所述标注员账户，以便所述标注员账户通过对随机选取的与所述已标注的所述目标数据对应的标注结果进行复核来处理所述标注任务，并接收所述标注员账户返回的复核结果。

在本实施例中，赋予了项目管理员账户能将多大比例的目标数据及对应的标注结果提供给标注员账户进行复核的权限。

在一个实施例中，所述数据标注系统的账户还包括审核员账户，所述账户管理模块维护的审核员账户的权限包括对标注员账户的复核结果进行审核的权限以及获取与所审核的标注员账户的复核结果对应的审核结论的权限，所述账户管理模块维护的项目管理员账户的权限还包括获取对标注员账户的审核结论的权限，其中，所述标注员账户为处理由该项目管理员账户创建的标注任务的标注员账户，所述数据标注系统还包括：

审核员模块，用于在获取到来自所述标注员模块的目标数据及与各目标数据对应的复核结果和/或标注结果后，将至少部分目标数据及与各目标数据对应的复核结果和/或标注结果发送至所述审核员账户进行审核，并接收来自所述审核员账户的对至少部分与各目标数据对应的所述复核结果和/或所述标注结果的审核结果；

决策模块，用于基于由所述审核员模块提供的所述审核结果生成审核结论；

信息呈现模块，用于根据来自所述审核员账户和/或所述项目管理员账户的请求，向所述审核员账户和/或所述项目管理员账户返回所述审核结论。

审核结果比如可以包括标注员账户的复核是否正确、标注是否正确、哪些目标数据复核错误等信息，审核结论是对审核结果的总结性信息。审核结论自动生成可以减少审核人员手动输入的工作量，加速审核效率。

在本实施例中，通过允许利用审核员模块对标注员模块的工作进行审核，可以起到监督作用，使数据标注任务能够更加高效地完成。

在一个实施例中，所述账户管理模块维护的项目管理员账户的权限还包括获取对处理由该项目管理员账户创建的标注任务的标注员账户的打分结果，所述账户管理模块维护的标注员账户的权限还包括获取对该标注员账户的打分结果，所述标注员模块还用于基于所述标注员账户对所述标注任务的完成情况生成完成进度信息；

所述决策模块还用于获取所述标注员账户对所述标注任务的完成进度信息，并基于所述审核结果和所述完成进度信息为所述标注员账户进行打分；

所述信息呈现模块还用于根据来自所述标注员账户和/或所述项目管理员账户的请求，向所述标注员账户和/或所述项目管理员账户返回对所述标注员账户的打分结果。

完成进度信息比如可以包括标注任务已完成的第一百分比，比如基于审核结果可以统计得到复核正确的目标数据的数量在所有已复核的目标数据的数量中的第二百分比，基于第一百分比和第二百分比可以利用一定规则得到一个分数，即可以将该分数作为为标注员账户进行打分而得到的打分结果。

通过向标注员账户反馈打分结果，可以向标注员账户提供正向的反馈和激励，从而可以提高标注员账户的对标注任务的处理效果；而通过向项目管理员账户反馈打分结果，可以使项目管理员账户获知标注员账户对标注任务的处理情况。

在一个实施例中，所述账户管理模块维护的项目管理员账户的权限还包括：设置处理所述标注任务的目标审核员账户的权限，所述管理员模块还用于获取由项目管理员账户配置的处理所述标注任务的目标审核员账户，所述审核员模块进一步用于：

在获取到来自所述标注员模块的目标数据及与各目标数据对应的复核结果和/或标注结果后，将至少部分与各目标数据对应的复核结果和/或标注结果发送至所述目标审核员账户进行审核，并接收来自所述目标审核员账户的对至少部分与各目标数据对应的所述复核结果和/或所述标注结果的审核结果。

在本实施例中，通过允许项目管理员账户自由设置哪些审核员账户可以处理标注任务，提高了用户体验。

在一个实施例中，所述账户管理模块维护的项目管理员账户的权限还包括：设置处理所述标注任务所需使用的标注方法的权限，所述管理员模块还用于获取所述项目管理员账户上传的标注方法并将所述标注方法提供给所述标注员模块，所述标注员模块还用于将所述标注方法提供给处理由所述项目管理员账户创建的标注任务的标注员账户，由所述标注员账户按照所述标注方法执行所述标注任务。

所述项目管理员账户提供的标注方法可以是由所述项目管理员账户自主提供的，也可以是由管理员模块向所述项目管理员账户推送多个标注方法后，根据项目管理员账户的选择而确定由所述项目管理员账户提供的。

比如，数据标注系统内预先配置有多个标注方法，数据标注系统的管理员模块向项目管理员账户推送包含这些标注方法的页面，项目管理员账户在该页面上选择一个标注方法后，管理员模块即将该标注方法作为获取得到的由项目管理员账户提供的标注方法。

标注方法是标注员账户进行标注的方式，比如可以是通过打钩进行标注还是通过按钮进行标注，还可以是标注对错还是标注准确结果等。

在一个实施例中，所述账户管理模块维护的项目管理员账户的权限还包括获取各标注员账户对由该项目管理员账户创建的标注任务的完成进度信息的权限，所述管理员模块还用于根据来自所述项目管理员账户的请求，向所述项目管理员账户返回至少一个标注员账户对由所述项目管理员账户创建的标注任务的完成进度信息。

可以通过编写代码统计标注员账户对标注任务的完成情况，从而得到完成进度信息。

在一个实施例中，所述账户管理模块维护的项目管理员账户的权限还包括：设置审核员账户对来自所述标注员模块的复核结果进行审核的第二比例的权限，所述管理员模块还用于获取由项目管理员账户配置的第二比例，所述审核员模块进一步用于：

在获取到来自所述标注员模块的目标数据及与各目标数据对应的复核结果和/或标注结果后，随机选取所述第二比例的目标数据及与各目标数据对应的复核结果和/或标注结果发送至所述审核员账户进行审核，并接收来自所述审核员账户的对所述第二比例的与各目标数据对应的所述复核结果和/或所述标注结果的审核结果。

在本实施例中，赋予了项目管理员账户能允许审核员模块将多大比例的目标数据及对应的复核结果和/或标注结果提供给审核员账户进行审核的权限，提高了用户体验。

在一个实施例中，所述账户管理模块维护的项目管理员账户的权限还包括：设置优化方式的权限，所述优化方式用于对处理由该项目管理员账户创建的标注任务的数据标注模型进行优化，所述管理员模块还用于获取由项目管理员账户配置的优化方式。

在一个实施例中，所述优化方式包括通过所述管理员模块定期获取由项目管理员账户上传的与所述标注任务对应的已标注的数据，以对处理由该项目管理员账户创建的标注任务的数据标注模型进行训练。

在一个实施例中，所述优化方式包括优化条件以及与优化条件对应的优化手段。

在一个实施例中，所述优化条件包括：对应的标注结果与复核结果不一致的目标数据的数目达到预定数目阈值、对应的标注结果与复核结果不一致的目标数据的数目与所有复核结果的数目的比值达到预定比值阈值，所述与优化条件对应的优化手段包括：通过所述管理员模块获取由所述项目管理员账户上传的与所述标注任务对应的多个预先标注的数据和对应的标注结果，以对处理所述标注任务的数据标注模型进行训练、通过所述标注员模块将所述自动标注模块已标注的所述目标数据以及与所述目标数据对应的复核结果发送至处理所述标注任务的数据标注模型，以进行训练。

优化条件可以是反映了数据标注模型不能准确地完成标注任务，从而需要对数据标注模型的条件，比如，对于“对应的标注结果与复核结果不一致的目标数据的数目达到预定数目阈值”这一优化条件，对于同样一组目标数据来说，它反映了数据标注模型对该目标数据的标注结果与标注员账户对该标注结果进行复核的符合结果不一致的情况比较多，而人工复核结果的精确度一般大于数据标注模型的标注结果的精确度，因此，该优化条件可以反映出数据标注模型处理标注任务的准确性不高，此时通过上述优化方式可以该数据标注模型进行优化，从而可以提高数据标注模型处理标注任务的准确性。

需要指出的是，图2示出的数据标注系统的系统架构示意图中各模块的连接关系是示例性的，实际应用中可以将各模块之间设计为各种连接方式，本公开对此不作限制。

综上所述，根据图2实施例提供的数据标注系统，通过构建数据标注系统并利用该数据标注系统中的自动标注模块对目标数据进行标注，因此提高了数据标注效率并降低了数据标注成本；另外，由于数据标注系统的标注员模块还可以将由自动标注模块对目标数据的标注结果交由标注员账户进行复核，因此实现了数据标注效率和数据标注准确率之间的兼顾。

根据本公开的第二方面，还提供了一种能够实现上述数据标注系统的电子设备。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图4来描述根据本公开的这种实施方式的电子设备400。图4显示的电子设备400仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图4所示，电子设备400以通用计算设备的形式表现。电子设备400的组件可以包括但不限于：上述至少一个处理单元410、上述至少一个存储单元420、连接不同系统组件(包括存储单元420和处理单元410)的总线430。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元410执行，使得所述处理单元410执行本说明书上述“实施例”部分中描述的根据本公开各种示例性实施方式的步骤。

存储单元420可以包括易失性存储单元形式的计算机可读存储介质，例如随机存取存储单元(RAM)421和/或高速缓存存储单元422，还可以进一步包括只读存储单元(ROM)423。

存储单元420还可以包括具有一组(至少一个)程序模块425的程序/实用工具424，这样的程序模块425包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线430可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备400也可以与一个或多个外部设备600(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备400交互的设备通信，和/或与使得该电子设备400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口450进行。并且，电子设备400还可以通过网络适配器460与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器460通过总线430与电子设备400的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性计算机可读存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的数据标注系统。

根据本公开的第三方面，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述数据标注系统的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性系统”部分中描述的根据本公开各种示例性实施方式的步骤。

参考图5所示，描述了根据本公开的实施方式的用于实现上述数据标注系统的程序产品500，其存储在计算机可读存储介质上，可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本公开示例性实施例的数据标注系统所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (7)

1.一种数据标注系统，其特征在于，所述数据标注系统包括：

账户管理模块，用于维护所述数据标注系统的账户和各账户对应的权限，所述数据标注系统的账户包括管理员账户和标注员账户，所述管理员账户的权限包括创建标注任务及上传与标注任务对应的样本数据及与样本数据对应的标注结果，所述标注员账户的权限包括处理标注任务；

管理员模块，用于根据所述管理员账户的指令创建标注任务及在所述管理员账户创建标注任务时获取由所述管理员账户上传的标注任务描述信息；

数据接收模块，用于接收由所述管理员账户上传的与所述标注任务对应的目标数据；

自动标注模块，包括多个数据标注模型，每一数据标注模型用于处理与该数据标注模型匹配的标注任务，以对该标注任务对应的目标数据进行标注，得到对所述目标数据的标注结果；

模型匹配模块，用于根据所述标注任务描述信息在所述自动标注模块的多个数据标注模型中确定出与所述标注任务匹配的数据标注模型；

自动训练模块，用于接收由所述管理员账户上传的与所述标注任务对应的多个样本数据以及与各样本数据对应的标注结果，以便在所述自动标注模块的多个数据标注模型中不存在与所述标注任务匹配的数据标注模型时，利用所述多个样本数据以及与各样本数据对应的标注结果对所述自动标注模块中与所述标注任务匹配程度最高的数据标注模型进行优化，并将优化后的所述与所述标注任务匹配程度最高的数据标注模型作为与所述标注任务匹配的数据标注模型；

标注员模块，用于向所述标注员账户提供已由所述自动标注模块标注的所述目标数据及对应的标注结果，以便所述标注员账户通过对已标注的所述目标数据的标注结果进行复核来处理所述标注任务，并接收所述标注员账户返回的复核结果；或者

向所述标注员账户提供未标注的所述目标数据，以便所述标注员账户通过对所述未标注的所述目标数据进行标注来处理所述标注任务，并接收所述标注员账户返回的标注结果；

发送模块，用于将所述目标数据以及与各目标数据对应的复核结果和/或标注结果发送至所述管理员账户。

2.根据权利要求1所述的数据标注系统，其特征在于，所述数据标注系统中的所述复核结果和/或所述标注结果存储于区块链中，所述管理员账户的权限还包括上传自定义数据标注模型和利用自定义数据标注模型处理标注任务，所述数据标注系统还包括：

自定义模块，用于获取管理员账户上传的自定义数据标注模型，并根据所述管理员账户的指令利用所述自定义数据标注模型处理由所述管理员账户创建的标注任务。

3.根据权利要求1所述的数据标注系统，其特征在于，所述管理员模块进一步用于：

获取所述管理员账户创建标注任务时提交的标签类型，所述标签类型包括单级标签及多级标签，其中，当所述管理员账户提交的标签类型为多级标签时，所述管理员账户还提交标签的层级信息和各层级的范围信息，其中所述层级信息为标签下的各层级的子标签数量以及各子标签间的关系，各层级的范围信息为子标签的内容。

4.根据权利要求1-3任意一项所述的数据标注系统，其特征在于，所述管理员账户为项目管理员账户，所述数据标注系统的账户还包括系统管理员账户，所述账户管理模块维护的所述系统管理员账户的权限包括账户信息审核权限，所述数据标注系统还包括：

注册模块，用于获取项目管理员提交的注册信息，所述注册信息用于为所述项目管理员创建项目管理员账户；

系统管理员模块，用于将由所述注册模块获取的注册信息提供给所述系统管理员账户进行审核，并在审核通过时创建与所述注册信息对应的项目管理员账户。

5.根据权利要求4所述的数据标注系统，其特征在于，所述账户管理模块维护的所述项目管理员账户的权限还包括：设置处理所述标注任务的目标标注员账户的权限，所述管理员模块还用于获取由所述项目管理员账户配置的处理所述标注任务的目标标注员账户，所述标注员模块进一步用于：

向所述目标标注员账户提供已由所述自动标注模块标注的所述目标数据及对应的标注结果，以便所述目标标注员账户通过对所述已标注的所述目标数据的标注结果进行复核来处理所述标注任务，并接收所述目标标注员账户返回的复核结果。

6.根据权利要求4所述的数据标注系统，其特征在于，所述账户管理模块维护的项目管理员账户的权限还包括：设置处理所述标注任务的标注员账户对已标注的所述目标数据的标注结果进行复核的第一比例的权限，所述管理员模块还用于获取由项目管理员账户配置的第一比例，所述标注员模块进一步用于：

在已由所述自动标注模块标注的所述目标数据及对应的标注结果中随机选取所述第一比例的已标注的所述目标数据及对应的标注结果提供给所述标注员账户，以便所述标注员账户通过对随机选取的与所述已标注的所述目标数据对应的标注结果进行复核来处理所述标注任务，并接收所述标注员账户返回的复核结果。

7.根据权利要求4所述的数据标注系统，其特征在于，所述数据标注系统的账户还包括审核员账户，所述账户管理模块维护的审核员账户的权限包括对标注员账户的复核结果进行审核的权限以及获取与所审核的标注员账户的复核结果对应的审核结论的权限，所述账户管理模块维护的项目管理员账户的权限还包括获取对标注员账户的审核结论的权限，其中，所述标注员账户为处理由该项目管理员账户创建的标注任务的标注员账户，所述数据标注系统还包括：

审核员模块，用于在获取到来自所述标注员模块的目标数据及与各目标数据对应的复核结果和/或标注结果后，将至少部分目标数据及与各目标数据对应的复核结果和/或标注结果发送至所述审核员账户进行审核，并接收来自所述审核员账户的对至少部分与各目标数据对应的所述复核结果和/或所述标注结果的审核结果；

决策模块，用于基于由所述审核员模块提供的所述审核结果生成审核结论；

信息呈现模块，用于根据来自所述审核员账户和/或所述项目管理员账户的请求，向所述审核员账户和/或所述项目管理员账户返回所述审核结论。

Images