CN118278369A - 标注任务处理方法及相关设备 - Google Patents

Abstract

本公开提供一种标注任务处理方法，包括：从标注人员池确定与所述标注任务对应的至少一个目标标注人员；从待标注数据集中提取至少一个题目以及至少一个数据字段的数据，生成与所述标注任务对应的数据表；将所述数据表提交至问卷系统，由问卷系统基于预先设定的问卷表单模板以及所述数据表生成并反馈与所述标注任务对应的问卷表单以及所述问卷表单的访问链接；以及将所述问卷表单的访问链接下发至所述至少一个目标标注人员。本公开还提供了标注任务处理装置、电子设备、存储介质以及程序产品。

Description

标注任务处理方法及相关设备

技术领域

本公开涉及计算机技术领域，尤其涉及一种标注任务处理方法及相关设备。

背景技术

数据标注工作目前仍大多需要标注人员手动完成。受到实际条件的限制，很多标注人员只能在移动终端或者利用碎片化的时间进行数据标注，而现有的数据标注平台却无法充分满足标注人员的操作需求，导致数据标注的需求无法得到满足。

发明内容

有鉴于此，本公开的实施例提供一种标注任务处理方法，可以以问卷表单的方式向标注人员下发标注任务，如此，标注人员可以利用移动终端以及碎片化的时间完成标注任务。上述方法操作简单，既不需要标注人员登录进行身份验证也不需要标注人员具有较高的网站操作经验，从而极大地缓解了现阶段对数据标注的需求。

本公开实施例所述的标注任务处理方法可以包括：从标注人员池确定与所述标注任务对应的至少一个目标标注人员；从待标注数据集中提取至少一个题目以及至少一个数据字段，生成与所述标注任务对应的数据表；将所述数据表提交至问卷系统，由所述问卷系统基于预先设定的问卷表单模板以及所述数据表生成并反馈与所述标注任务对应的问卷表单以及所述问卷表单的访问链接；以及将所述问卷表单的访问链接下发至所述至少一个目标标注人员。

在本公开的实施例中，从标注人员池确定与所述标注任务对应的至少一个目标标注人员包括：为标注任务发布方提供所述标注人员池中可用标注人员信息列表，供所述任务发布方进行目标标注人员选择；以及基于所述标注任务发布方的选择确定所述至少一个目标标注人员。

在本公开的实施例中，从标注人员池确定与所述标注任务对应的至少一个目标标注人员包括：根据预先设定的标注人员选择策略基于所述标注任务的相关信息以及所述标注人员池中各标注人员的相关信息从所述标注人员池中选择与所述标注任务对应的至少一个目标标注人员。

在本公开的实施例中，从待标注数据集中提取至少一个题目以及至少一个数据字段的数据，生成与所述标注任务对应的数据表包括：为标注任务发布方提供所述待标注数据集的题目列表以及数据字段列表；从所述待标注数据集中提取所述标注任务发布方选择的至少一个题目以及至少一个数据字段；以及将提取的至少一个题目以及至少一个数据字段写入所述数据表。

在本公开的实施例中，从待标注数据集中提取至少一个题目以及至少一个数据字段，生成与所述标注任务对应的数据表包括：基于预先设定的题目抽取数量或者预先设定的题目抽取比例从所述待标注数据集中随机抽取至少一个题目以及与所述至少一个题目相关联的至少一个数据字段；以及将提取的至少一个题目以及与至少一个数据字段写入所述数据表。

在本公开的实施例中，基于预先设定的问卷表单模板以及所述数据表生成与所述标注任务对应的问卷表单以及所述问卷表单的链接包括：按照所述问卷表单模板设定的格式从所述数据表中提取相应的数据填入所述问卷表单模板，得到待标注问卷表单；响应于确定所述目标标注人员的数量等于1，存储所述待标注问卷表单，并基于所述待标注问卷表单的存储地址生成所述待标注问卷表单的访问链接；响应于确定所述目标标注人员的数量大于1，基于所述目标标注人员的数量对所述待标注问卷表单进行复制得到多份待标注问卷表单；其中，复制后得到的待标注问卷表单的数量与所述目标标注人员的数量相等；分别存储所述多份待标注问卷表单；并基于所述多份待标注问卷表单的存储地址分别生成所述多份待标注问卷表单的访问链接。

在本公开的实施例中，将所述问卷表单的访问链接下发至所述至少一个目标标注人员包括：响应于确定所述目标标注人员的数量等于1，将所述待标注问卷表单的访问链接发送至所述目标标注人员；响应于确定所述目标标注人员的数量大于1，建立所述多份待标注问卷表单与所述目标标注人员之间对应关系，以及基于所述对应关系将所述待标注问卷表单的访问链接发送至相应的目标标注人员。

在本公开的实施例中，将所述问卷表单的访问链接下发至所述至少一个目标标注人员包括：将所述待标注问卷表单、所述待标注问卷表单的访问链接以及所述至少一个所述目标标注人员反馈至所述标注任务发布方，由所述标注任务发布方将所述问卷表单的访问链接下发至所述至少一个目标标注人员。

本公开实施例所述的方法，进一步包括：获取所述待标注问卷表单的标注结果；以及将所述标注结果回写至所述待标注数据集中。

在本公开的实施例中，将所述标注结果回写至所述待标注数据集中包括：对所述标注结果进行核验；以及将核验正确的标注结果回写至所述待标注数据集中。

在本公开的实施例中，生成与所述标注任务对应的数据表包括：从所述待标注数据集中提取至少一个题目以及至少一个数据字段；从辅助数据集中提取与所述至少一个题目相关联的至少一个辅助信息字段的数据作为所述至少一个题目的辅助信息；以及将提取的至少一个题目、所述至少一个数据字段以及所述至少一个题目的辅助信息写入所述数据表；以及对所述标注结果进行核验包括：基于所述至少一个题目的辅助信息分别对所述问卷表单中的每一个题目的标注结果进行核验。

在本公开的实施例中，所述至少一个题目的辅助信息包括：所述至少一个题目的正确答案；以及基于所述至少一个题目的辅助信息分别对所述问卷表单中的每一个题目的标注结果进行核验包括：基于所述至少一个题目的正确答案分别对所述问卷表单中的每一个题目的标注结果进行核验。

在本公开的实施例中，对所述标注结果进行核验包括：将所述问卷表单以及所述标注结果发送至复核人员进行人工核验；以及获取复核人员对所述标注结果的核验结果。

对应于上述标注任务处理方法，本公开的实施例还提供了一种标注任务处理装置。上述标注任务处理装置包括：

目标标注人员确定模块，用于从标注人员池确定与所述标注任务对应的至少一个目标标注人员；

数据表确定模块，用于从待标注数据集中提取至少一个题目以及至少一个数据字段的数据，生成与所述标注任务对应的数据表；

交互模块，用于将所述数据表提交至问卷系统，由问卷系统基于预先设定的问卷表单模板以及所述数据表生成并反馈与所述标注任务对应的问卷表单以及所述问卷表单的访问链接；以及接收来自问卷系统的与所述标注任务对应的问卷表单以及所述问卷表单的访问链接；

标注任务分发模块，用于将所述问卷表单的访问链接下发至所述至少一个目标标注人员。

此外，本公开的实施例还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述标注任务处理方法。

本公开的实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行上述标注任务处理方法。

本公开的实施例还提供了一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行上述标注任务处理方法。

在本公开实施例所述的标注任务处理方法及相关设备中，可以生成问卷表单形式的标注任务，并通过下发问卷表单的访问链接的方式向标注人员下发标注任务。如此，标注人员可以直接利用移动终端以及碎片化的时间通过上述访问链接获取问卷表单，解答相关题目并提交后即可完成标注任务，操作非常简单，既不需要标注人员登录进行身份验证也不需要标注人员具有较高的网站操作经验，极大地降低了标注人员启动标注工作的门槛，从而可以极大地缓解现阶段数据标注的巨大需求。

此外，通过问卷表单的方式下发标注任务，来自标注人员的标注结果将统一直接返回并存储到问卷系统中，这样，即使标注人员使用不同的操作系统，也不存在跨平台数据无法及时同步的问题。

而且，通过建立对标注结果的核验操作，还可以进一步对目标标注人员标注结果的准确率进行评估，从而能够从整体上对标注人员的能力进行管理和把控，进而有效提升标注任务的完成质量。

附图说明

为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1显示了本公开实施例所述标注任务处理系统的整体结构；

图2显示了本公开实施例所述的标注任务处理方法的实现流程；

图3显示了本公开一些实施例所述的从标注人员池中选择与标注任务对应的至少一个目标标注人员的方法的实现流程；

图4显示了本公开一些实施例所述的从待标注数据集中提取至少一个题目以及至少一个数据字段的数据的方法的实现流程；

图5显示了本公开实施例所述的一个问卷表单模板的示例；

图6显示了本公开实施例所述的标注任务处理装置的内部结构；

图7示出了本公开一些实施例所述的一种更为具体的电子设备硬件结构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

可以理解的是，在使用本公开中各个实施例的技术方案之前，均会通过恰当的方式对所涉及的个人信息的类型、使用范围、使用场景等告知用户，并获得用户的授权。

例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确的提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主的选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。

作为一种可选的但非限定的实现方式，响应于接受到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。

可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其他满足相关法律法规的方式也可应用于本公开的实现方式中。

如前所述，随着人工智能技术的不断发展，现阶段数据标注的需求越来越旺盛，但是，现有的数据标注平台却无法充分满足标注人员的操作需求，导致数据标注的需求无法得到满足。

目前一种主流的数据标注平台是基于个人计算机的在线的标注平台，虽然适用场景广泛，但是需要标注人员使用个人计算机进行操作，需要标注人员登录标注平台进行身份核验，还需要标注人员具有较高的网站操作经验等等。另一种主流的数据标注平台是基于移动终端的标注平台，虽然不需要标注人员使用个人计算机，但是也通常需要标注人员进行登录等身份验证操作，而且也需要标注人员有一定的网站操作经验。而且，使用移动终端进行数据标注还存在跨平台数据无法同步的问题。

为了解决上述问题，本公开的实施例提供了一种标注任务处理方法，可以以问卷表单的方式向标注人员下发标注任务，如此，标注人员可以直接利用移动终端以及碎片化的时间完成标注任务。上述方法操作简单，既不需要标注人员登录标注平台进行身份验证，也不需要标注人员具有较高的网站操作经验，从而可以极大地缓解现阶段数据标注的巨大需求。

如前所述，在本公开实施例所述的标注任务处理方法中，生成的标注任务是以问卷表单的形式下发到标注人员手中的。因此，本公开的实施例所述的标注任务处理方法可以由数据标注平台以及问卷系统共同协调完成。

为了对本公开实施例所述的标注任务方法进行清楚的说明，本公开的实施例提供了图1。图1显示了本公开实施例所述标注任务处理系统的整体结构。如图1所示，在本公开实施例中，实现上述标注任务处理的标注任务处理系统可以包括：数据标注平台110以及问卷系统120。其中，上述数据标注平台110主要用于根据标注任务发布方130的需求生成并发布标注任务。上述问卷系统120主要用于生成与标注任务相对应的问卷表单以及问卷表单的访问链接，以实现问卷表单形式的标注任务。

具体地，在实际应用中，在发布一项标注任务之前，标注任务发布方130需要首先在上述数据标注平台110中创建一个待标注数据集112，其中包含了需要进行标注的数据。具体地，上述待标注数据集112可以包括：至少一个题目以及至少一个数据字段。通常情况下，将某一个题目以及其中一个或多个数据字段的数据进行组合后可以得到一个完整的题目。标注人员可以基于上述一个或多个数据字段的数据对题目进行解答，从而完成对与上述一个或多个数据字段中数据的标注。例如，假设题目为完成对所提供图像某种具体形式的标注，则上述一个或多个数据字段将包含一副或多幅图像；假设题目为完成对所提供文本某种具体形式的标注，则上述一个或多个数据字段将包含一段或多段文本；假设题目是基于一项或多项信息进行某种具体结果的预测，则上述一个或多个数据字段将包含一项或多项信息。而为了便于在各个题目之间的进行区分以及标记，上述待标注数据集中的每一个题目还将对应一个题目标识(例如记为QID)。

除了上述待标注数据集112之外，上述数据标注平台110还将包括一个标注人员池114，用于记录已注册的标注人员列表。该标注人员列表中将包含多个标注人员的用户信息，例如可以包括以下信息中一项或者多项：用户标识(例如记为UID)、用户名称以及下发标注任务的途径(例如，通过移动终端下发标注任务，则上述途径应当为用户的移动终端号码)等等。此外，上述用户信息还可以包括用户等级等附加信息。在一些实施例中，上述用户等级可以是对标注人员标注结果的准确性以及及时性等因素进行评估后得到的。这些附加信息可以应用于标注任务的分配。

在一些应用中，在收到标注人员提交的标注结果后，还需要对标注人员提交的标注结果进行核验。在这种情况下，为了辅助标注结果的核验，上述数据标注平台110还可以进一步包括一个辅助数据集116。上述辅助数据集116可以包括：至少一个题目以及辅助解答上述题目的辅助信息，例如，可以辅助题目解答的额外的数据或者甚至是上述题目的正确答案等等。需要说明的是，上述辅助数据集116中包括的题目应当与待标注数据集中的题目对应，或者是待标注数据集中至少一个题目的子集。而且，为了方便将辅助数据集116中的题目与待标注数据集112中的题目进行关联，上述辅助数据集116中包括的题目也可以对应一个QID，且该QID与待标注数据集112中相同题目对应QID相同。这样，利用题目本身和/或QID就可以在待标注数据集112和辅助数据集116找到相同的题目对应的各项数据，从而提取与题目相关的辅助信息，进而实现对标注结果的核验。

下面将结合图1所示的标注任务处理系统的结构对本公开实施例所述的标注任务处理方法进行说明。

图2显示了本公开实施例所述的标注任务处理方法的实现流程。在本公开的实施例中，图2所示的标注任务处理方法可以由上述系统中的数据标注平台110实现。如图2所示，本公开实施例所述的标注任务处理方法可以包括如下步骤：

在步骤210，从标注人员池确定与标注任务对应的至少一个目标标注人员。

在本公开的实施例中，上述目标标注人员即为被分配用于执行标注任务的标注人员。需要说明的是，在本公开的实施例中，上述标注任务对应的目标标注人员可以是一个也可以是多个。当目标标注人员是多个的情况下，上述多个目标标注人员将执行相同的标注任务。

在步骤220，从待标注数据集中提取至少一个题目以及至少一个数据字段的数据，生成与上述标注任务对应的数据表。

如前所述，在本公开的实施例中，上述待标注数据集中可以包括：至少一个题目以及至少一个数据字段。通常情况下，将某一个题目以及其中一个或多个数据字段的数据进行组合后可以得到一个完整的题目。标注人员可以基于上述一个或多个数据字段的数据对题目进行解答，从而完成对与上述一个或多个数据字段中数据的标注。如此，在本公开的实施例中，上述步骤220中可以从待标注数据集中提取至少一个题目以及至少一个数据字段的数据，生成一个数据表。其中，上述数据表将用于创建标注任务。可以理解，上述数据表为待标注数据集的一个子集，具体可以包括：至少一个题目以及至少一个数据字段。需要说明的是，关于生成数据表的具体方法将在后文详细说明，在此暂且略过。

在步骤230，将上述数据表提交至问卷系统120，由上述问卷系统120基于预先设定的问卷表单模板以及上述数据表生成并反馈与上述标注任务对应的问卷表单以及上述问卷表单的访问链接。

在本公开的实施例中，上述问卷表单模板通常可以是标注任务发布方自定义或者按照业务需要配置或选择的模板。上述问卷表单模板定义了问卷表单中所包含各项数据的编排形式以及各个数据字段之间的关联逻辑等等。可以理解，在设定了问卷表单模板之后，可以将数据表中的数据按照问卷表单模板的配置逐项自动填入到问卷表单模板中，从而生成与数据表对应的问卷表单。

在本公开的一些实施例中，上述问卷表单通常可以包含至少一个页面，其中，每一个页面上可以包含由一个题目以及与该题目相关联的数据字段中数据组合得到的完整题目。标注人员则可以通过填写上述问卷表单实现对上述至少一个数据字段中数据的标注。

在本公开的实施例中，上述问卷表单的访问链接通常对应上述问卷表单的存储地址。标注人员可以通过问卷表单的访问链接完成对问卷表单的读写操作。例如，标注人员可以通过一个访问链接访问一份问卷表单，并且在标注人员完成题目作答并选择提交标注结果后，标注人员所提供的标注结果也将写入上述访问链接所对应的存储地址的存储器内，从而完成标注结果的提交。

在步骤240，将上述问卷表单的访问链接下发至上述至少一个目标标注人员。

在上述步骤240，在生成了问卷表单的访问链接，再将其下发至目标标注人员后，目标标注人员即可随时随地利用自身使用的任何联网设备访问上述问卷表单的访问链接，填写并提交上述问卷表单中的题目后，即完成了分配给自己的标注任务。

关于本公开实施例所述的问卷表单访问链接的具体下发方法也将在后文详细说明，在此也暂且略过。

从上述方法可以看出，在本公开实施例所述的标注任务处理方法中，可以生成问卷表单形式的标注任务，并通过下发问卷表单的访问链接的方式向标注人员下发标注任务。如此，标注人员可以直接利用移动终端以及碎片化的时间通过上述访问链接获取问卷表单，解答相关题目并提交后即可完成标注任务，操作非常简单，既不需要标注人员登录进行身份验证也不需要标注人员具有较高的网站操作经验，极大地降低了标注人员启动标注工作的门槛，从而可以极大地缓解现阶段数据标注的巨大需求。此外，通过问卷表单的方式下发标注任务，来自标注人员的标注结果将统一直接返回并存储到问卷系统中，这样，即使标注人员使用不同的操作系统，也不存在跨平台数据无法同步的问题。

下面将进一步结合附图以及具体的示例对上述方法中的各个步骤进行详细说明。

针对上述步骤210，数据标注平台110可以基于手动或者自动的方式从标注人员池中选择与上述标注任务对应的至少一个目标标注人员。

在一些实施例中，手动选择标注人员的方式通常是由标注任务发布方130通过数据标注平台110来完成的，其具体过程可以如图3所示，包括如下步骤。

在步骤310，在接收到来自标注任务发布方130的标注任务发布请求后，数据标注平台110将基于标注人员池114生成可用标注人员信息列表。

在本公开的实施例中，上述可用标注人员信息列表将包括：各标注人员的全部或部分用户信息。上述可用标注人员信息列表还可以包括：各标注人员的全部或部分附加信息，以辅助标注任务发布方130进行目标标注人员的选择。其中，标注人员信息列表中所包含的用户信息和附加信息的具体内容可以根据实际需要进行配置。

在步骤320，数据标注平台110将可用标注人员信息列表反馈给任务发布方230，供任务发布方230进行目标标注人员选择。

在步骤330，数据标注平台110将基于标注任务发布方130的选择确定与上述标注任务对应的至少一个目标标注人员。

在另一些实施例中，自动选择标注人员的方式通常是由数据标注平台110独自完成的。具体过程可以包括：数据标注平台110根据预先设定的标注人员选择策略基于标注任务的相关信息以及标注人员池114中各标注人员的相关信息从标注人员池114中选择与上述标注任务对应的至少一个目标标注人员。

在上述实施例中，上述标注任务的相关信息可以包括：标注任务发布方设置的标注任务分配的具体要求，例如，所需的标注人员的人数和/或所需的标注人员的等级等等。上述标注人员的相关信息可以包括：标注人员的用户信息和/或标注人员的附加信息等等。上述标注人员选择策略则定义了基于标注任务的相关信息以及标注人员的相关信息选择目标标注人员的具体算法，可以由数据标注平台110预先设定或者也可以由标注任务发布方130通过数据标注平台110进行配置。本公开的实施例对进行目标标注人员选择的具体算法不进行限定。

针对上述步骤220，数据标注平台110也可以基于手动或者自动的方式从待标注数据集中提取至少一个题目以及至少一个数据字段的数据，然后生成数据表。

在一些实施例中，手动选择数据的方式通常是由标注任务发布方130通过数据标注平台110来完成的。具体过程可以如图4所示，包括如下步骤。

在步骤410，在接收到来自标注任务发布方130的标注任务发布请求后，数据标注平台110生成待标注数据集112的题目列表以及数据字段列表。

在步骤420，数据标注平台110将上述题目列表以及数据字段列表反馈给任务发布方230，供任务发布方230进行数据选择。

在步骤430，数据标注平台110从待标注数据集112中提取标注任务发布方130选择的至少一个题目以及至少一个数据字段。

在步骤440，数据标注平台110将提取的至少一个题目以及至少一个数据字段写入数据表。

在另一些实施例中，自动选择数据的方式通常是由数据标注平台110独自完成的。具体过程可以包括：首先，数据标注平台110基于预先设定的题目抽取数量或者预先设定的题目抽取比例从所述待标注数据集中随机抽取至少一个题目以及与所述至少一个题目相关联的至少一个数据字段。其中，上述题目抽取数量或者预先设定的题目抽取比例可以由数据标注平台110预先设定或者标注任务发布方130通过数据标注平台110进行配置。其次，数据标注平台110将提取的至少一个题目以及至少一个数据字段写入数据表。

在本公开的实施例中，上述数据表的格式可以预先设定，比如，需要进一步为所提取的至少一个题目设定题号等等，上述题号标明了题目在当前标注任务中所处位置。如此，在上述步骤220中，数据标注平台110可以直接按照设定的数据表的格式将提取的至少一个题目以及至少一个数据字段逐项写入上述数据表即可。本公开的实施例对其具体的实现方法不进行限定。

需要说明的是，在生成了上述与标注任务对应的数据表之后，数据标注平台110即可将生成的数据表提交至问卷系统120，进一步由问卷系统120基于上述数据表生成问卷表单以及问卷表单的访问链接。

针对上述步骤230，如前所述，上述问卷表单模板定义了问卷表单中所包含各项数据的编排形式以及各个数据字段之间的关联逻辑等等。因此，在步骤230中，问卷系统120在接收到数据标注平台110提交的数据表之后，可以首先按照问卷表单模板设定的格式从上述数据表中提取相应的数据并填入上述问卷表单模板中，即可得到待标注问卷表单。

需要说明的是，在本公开的实施例中，关于问卷表单模板的设定，可以由标注任务发布方130通过数据标注平台110进行设置。在这种情况下，数据标注平台110可以先获取问卷系统120所支持的问卷表单模板类型。然后，数据标注平台110再向标注任务发布方130提供相应的问卷表单模板类型配置选项，由标注任务发布方130完成问卷表单模板的定制。

图5显示了本公开实施例所述的一个问卷表单模板的示例。如图5所示，上述问卷表单模板可以包括：标注人员信息框510，用于提示标注人员填写其用户信息，例如，标注人员的标识、姓名以及移动终端号码等等信息中的一项或多项。题号信息框520，用于提示标注人员填写标注任务中待解答的题目的题号，从而可以生成并在当前页面上显示相应的题目。题目信息框530，用于显示基于数据表生成的与标注人员所填写题号对应的题目的信息。其中，题目信息框530具体可以包括题目框532和信息框534，上述题目框532用于填写数据表中的题目；上述信息框534用于填写数据表中与题目对应的数据字段中的数据。题目答案框540，用于提示标注人员填写针对题目信息框530中所显示题目的答案。在目标标注人员打开问卷表单的访问链接，并在标注人员信息框510填写了用户信息以及在题号信息框520填写了相应的题号后，上述题目信息框530中的题目框532将自动填入数据表中上述题号对应的题目，而且上述题目信息框530中的信息框534将自动填入数据表中上述题号对应题目的一个或多个数据字段中的数据。基于上述题目信息框530中的信息，目标标注人员可以在题目答案框540中填写相应的答案。在目标标注人员提交了针对当前题目的答案后，问卷表单将跳转到下一页，此时，通常无需目标标注人员再次填写其用户信息和题号，这些上述信息可以从上一页面中自动获取，例如，可以自动复制目标标注人员在上一页面输入的用户信息，而上一页面上目标标注人员输入的题号加1，从而获得当前页面的用户信息以及对应的题号。此时，上述题目信息框530中的题目框532将自动填入数据表中上述题号对应的题目，而且上述题目信息框530中的信息框534将自动填入数据表中上述题号对应题目的一个或多个数据字段中的数据。也就是在当前页面上为目标标注人员直接显示下一个题目。基于上述题目信息框530中的信息，目标标注人员可以继续在题目答案框540中填写相应的答案。如此继续，直至目标标注人员完成当前标注任务全部题目的解答。需要说明的是，上述图5所示的问卷表单模板仅为一个示例，本公开的实施例对问卷表单模板中所包含的信息项以及编排方式不进行限制。

此外，如前所述，上述问卷表单的访问链接将对应于上述问卷表单的存储地址。标注人员可以通过问卷表单的访问链接完成对问卷表单的读写操作。因此，为了防止不同的目标标注人员对存储在同一地址的同一份问卷表单进行重复的操作，上述问卷表单的访问链接应当与目标标注人员一一对应。也即需要为不同的目标标注人员分配不同的问卷表单的访问链接。

具体地，在上述步骤230中，在生成了待标注问卷表单之后，问卷系统120将进一步根据选择的目标标注人员完成待标注问卷表单的存储，从而生成问卷表单的访问链接。为了实现上述目标，数据标注平台110至少需要将确定的目标标注人员的数量与数据表一起提交至问卷系统120。如此，问卷系统120将具体执行如下的问卷表单的存储过程：

响应于确定目标标注人员的数量等于1，存储上述待标注问卷表单，并基于上述待标注问卷表单的存储地址生成上述待标注问卷表单的访问链接；

响应于确定目标标注人员的数量大于1，基于目标标注人员的数量对上述待标注问卷表单进行复制得到多份待标注问卷表单；其中，复制后得到的待标注问卷表单的数量与目标标注人员的数量应当相等；分别存储上述多份待标注问卷表单，并基于上述多份待标注问卷表单的存储地址分别生成上述多份待标注问卷表单的访问链接。

可见，通过上述方法每个目标标注人员均将可以对应一个单独的待标注问卷表单的访问链接，从而可以避免不同的目标标注人员对存储在同一地址的同一份问卷表单进行重复操作的问题。

在生成了上述问卷表单以及问卷表单的访问链接后，在一些实施例中，问卷系统120可以将生成的问卷表单以及相应的访问链接返回给数据标注平台110，进而由数据标注平台110进行标注任务的分发。在另一些实施例中，数据标注平台110可以进一步将生成的问卷表单以及相应的访问链接反馈给标注任务发布方130，由标注任务发布方130进行问卷表单的核查以及标注任务的分发。作为替代方案，数据标注平台110也可以配置问卷系统120将生成的问卷表单以及相应的访问链接直接反馈给标注任务发布方130，进而由标注任务发布方130进行问卷表单的核查以及标注任务的分发。

在由数据标注平台110进行标注任务分发的场景下，上述数据标注平台110将执行如下操作：

响应于确定目标标注人员的数量等于1，将待标注问卷表单的访问链接发送至目标标注人员；或者，

响应于确定目标标注人员的数量大于1，建立多份待标注问卷表单的访问链接与目标标注人员之间对应关系，并基于上述对应关系将所述待标注问卷表单的访问链接发送至相应的目标标注人员。

而在由标注任务发布方130进行标注任务分发的场景下，可以由数据标注平台110将来自问卷系统120的待标注问卷表单、待标注问卷表单的访问链接以及上述至少一个目标标注人员的列表反馈至标注任务发布方130，由标注任务发布方130将问卷表单的访问链接下发至至少一个目标标注人员。

或者，作为上述方案的替代方案，在由标注任务发布方130进行标注任务分发的场景下，自问卷系统120也可以直接将待标注问卷表单以及待标注问卷表单的访问链接反馈给标注任务发布方130。此时，数据标注平台110还需要将上述至少一个目标标注人员的列表反馈至标注任务发布方130，由标注任务发布方130将问卷表单的访问链接下发至至少一个目标标注人员。

在将问卷表单的访问链接下发至至少一个目标标注人员后，目标标注人员将进行问卷表单的填写，然后提交。在提交了问卷表单的标注结果后，问卷系统120将接收到并存储上述问卷表单的标注结果。在这种情况下，数据标注平台110还可以进一步执行如下操作：获取所述待标注问卷表单的标注结果；以及将所述标注结果回写至待标注数据集中。

在本公开的实施例中，数据标注平台110可以通过事件监听或状态机轮询两种方式之一或其组合将用户提交的标注结果从问卷系统120回捞回来，然后回写到待标注数据集对应的题目中。

其中，对于事件监听的方式，数据标注平台110可以在问卷系统120中注册针对问卷表单的结果列表变更或单次结果记录提交的监听机制以及回调接口。如果发生了上述问卷表单的结果列表变更或单次结果记录提交事件，数据标注平台110可以通过注册的回调接口接收到标注人员提交的标注结果。可以理解，在这种方式下，数据标注平台110可以及时获得目标标注人员提交的标注结果，可以满足高时效性的业务需求。

对于状态机轮询方式，数据标注平台110可以设置一个轮询周期。这样，每隔上述一个轮询周期，数据标注平台110会向问卷系统120请求获取当前轮询周期内的全部标注结果。通过上述状态机轮询方式数据标注平台110可以从问卷系统120批量获取标注结果。可以理解，在这种方式下，可以降低并发量，对时效要求不高但重视稳定性的业务比较友好。

此外，在将标注结果进行回写的过程中，还可以先对标注结合进行核验，然后，再将核验正确的标注结果回写至所述待标注数据集中。而对于核验不正确的标注结果可以采用附加人工核验或者丢弃等处理手段。

在本公开的实施例中，上述核验可以包括自动核验和人工核验两种方式。

对于自动核验，可以根据预先设置的自动核验策略进行自动核验。例如，对于目标标注人员有多个的情况下，可以根据设置的自动核验策略对接收到的多个标注结果进行核验处理，得到核验后的正确的标注结果。例如，按照设定的比例，当针对一个题目的标注结果在多个目标标注人员返回的标注结果中达到预先设定的比例时，上述标注结果才可被认定为正确。

对于人工核验，可以将所述问卷表单以及上述标注结果发送至相应的复核人员进行人工核验；并基于复核人员对标注结果的核验结果，确定标注结果的正确性。在本公开的实施例中，针对人工核验任务的下发也可以采用本公开实施例所述的标注任务的下发方式，从而方便复核人员对标注结果进行复核。

在本公开的另一些实施例中，上述核验还可以将人工核验和自动核验相结合。应用中，可以仅仅对于自动核验未通过的标注结果发送至相应的复核人员进行人工核验；并基于复核人员对标注结果的核验结果，确定标注结果的正确性。

为了辅助对标注结果的核验，在本公开的一些实施例中，还可以设置一个辅助数据集(如图2中的辅助数据集116所示)。如此，在上述步骤220中，首先，从待标注数据集中提取至少一个题目以及至少一个数据字段；然后，再从辅助数据集中提取与上述至少一个题目相关联的至少一个辅助信息字段的数据作为上述至少一个题目的辅助信息；最后，再将提取的至少一个题目、至少一个数据字段以及所述辅助信息写入上述数据表。

在本公开的实施例中，虽然在上述数据表中加入了辅助信息，并且生成的问卷表单中也可以携带上述辅助信息，但是，上述辅助信息并不会显示给目标标注人员，而仅应用在对目标标注人员返回的标注结果的核验过程中。

例如，在本公开的一些实施例中，上述辅助信息为上述题目对应的正确答案，上述正确答案不会显示在为目标标注人员呈现的各个页面上。上述正确答案仅应用于对标注结果的核验过程中。例如，可以直接将目标标注人员提供的标注结果与题目的正确答案进行比对，从而直接确定核验结果。这种比对可以通过自动核验的方式实现，不需要进行人工核验。

又例如，在本公开的另一些实施例中，上述辅助信息为上述题目对应的辅助信息，可以在人工核验时与问卷表单和标注结果一起提供给复核人员，复核人员可以参考这些辅助信息来核验标注结果是否正确。

可见，通过提供辅助信息，可以提高对标注结果进行核验的准确度，从而提升核验的质量和效率。

如前所述，对于核验正确的标注结果，数据标注平台110会将标注结果回写至待标注数据集的对应题目中。也即，上述待标注数据中，对应每个题目还将包括一个标注结果字段，用于存储上述题目的标注结果。

最终，上述待标注数据集中的数据均将包含标注结果，此时，标注任务提供方130可以将上述包含标注结果的数据集应用于机器学习模型的训练中。

从上述方法可以看出，在本公开实施例所述的标注任务处理方法中，可以生成问卷表单形式的标注任务，并通过下发问卷表单的访问链接的方式向标注人员下发标注任务。如此，标注人员可以直接利用移动终端以及碎片化的时间通过上述访问链接获取问卷表单，解答相关题目并提交后即可完成标注任务，操作非常简单，既不需要标注人员登录进行身份验证也不需要标注人员具有较高的网站操作经验，极大地降低了标注人员启动标注工作的门槛，从而可以极大地缓解现阶段数据标注的巨大需求。

此外，通过问卷表单的方式下发标注任务，来自标注人员的标注结果将统一直接返回并存储到问卷系统中，这样，即使标注人员使用不同的操作系统，也不存在跨平台数据无法同步的问题。

而且，通过建立对标注结果的核验操作，还可以进一步对目标标注人员标注结果的准确率进行评估，从而能够从整体上对标注人员的能力进行管理和把控，进而提升标注任务的完成质量。

对应上述标注任务处理方法，本公开的实施例还公开了一种标注任务处理装置。图6显示了本公开一些实施例所述的标注任务处理装置的内部结构。如图6所示，上述标注任务处理装置可以包括如下模块：

目标标注人员确定模块610，用于从标注人员池确定与所述标注任务对应的至少一个目标标注人员；

数据表确定模块620，用于从待标注数据集中提取至少一个题目以及至少一个数据字段的数据，生成与所述标注任务对应的数据表；

交互模块630，用于将所述数据表提交至问卷系统，由问卷系统基于预先设定的问卷表单模板以及所述数据表生成并反馈与所述标注任务对应的问卷表单以及所述问卷表单的访问链接；以及接收来自问卷系统的与所述标注任务对应的问卷表单以及所述问卷表单的访问链接；

标注任务分发模块640，用于将所述问卷表单的访问链接下发至所述至少一个目标标注人员。

上述各个模块的具体实现可以参考前述方法以及附图，在此不再重复说明。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。上述实施例的装置用于实现前述任一实施例中相应的标注任务处理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的标注任务处理方法。

图7示出了本实施例所提供的一种更为具体的电子设备的硬件结构示意图，该设备可以包括：处理器2010、存储器2020、输入/输出接口2030、通信接口2040、以及总线2050。其中，处理器2010、存储器2020、输入/输出接口2030和通信接口2040通过总线2050实现彼此之间在设备内部的通信连接。

处理器2010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器2020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器2020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器2020中，并由处理器2010来调用执行。

输入/输出接口2030用于连接输入/输出设备，以实现信息输入及输出。其中，输入/输出设备可以作为组件配置在设备中，也可以外接于设备以提供相应功能。其中输入设备可以包括麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口2040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线2050包括一通路，在设备的各个组件(例如处理器2010、存储器2020、输入/输出接口2030和通信接口2040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器2010、存储器2020、输入/输出接口2030、通信接口2040、以及总线2050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

上述实施例的电子设备用于实现前述任一实施例中相应的标注任务处理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的标注任务处理方法。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的任务处理方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本公开实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (17)

1.一种标注任务处理方法，包括：

从标注人员池确定与所述标注任务对应的至少一个目标标注人员；

从待标注数据集中提取至少一个题目以及至少一个数据字段，生成与所述标注任务对应的数据表；

将所述数据表提交至问卷系统，由所述问卷系统基于预先设定的问卷表单模板以及所述数据表生成并反馈与所述标注任务对应的问卷表单以及所述问卷表单的访问链接；以及

将所述问卷表单的访问链接下发至所述至少一个目标标注人员。

2.根据权利要求1所述的方法，其中，从标注人员池确定与所述标注任务对应的至少一个目标标注人员包括：

为标注任务发布方提供所述标注人员池中可用标注人员信息列表，供所述任务发布方进行目标标注人员选择；以及

基于所述标注任务发布方的选择确定所述至少一个目标标注人员。

3.根据权利要求1所述的方法，其中，从标注人员池确定与所述标注任务对应的至少一个目标标注人员包括：

根据预先设定的标注人员选择策略基于所述标注任务的相关信息以及所述标注人员池中各标注人员的相关信息从所述标注人员池中选择与所述标注任务对应的至少一个目标标注人员。

4.根据权利要求1所述的方法，其中，从待标注数据集中提取至少一个题目以及至少一个数据字段的数据，生成与所述标注任务对应的数据表包括：

为标注任务发布方提供所述待标注数据集的题目列表以及数据字段列表；

从所述待标注数据集中提取所述标注任务发布方选择的至少一个题目以及至少一个数据字段；以及

将提取的至少一个题目以及至少一个数据字段写入所述数据表。

5.根据权利要求1所述的方法，其中，从待标注数据集中提取至少一个题目以及至少一个数据字段，生成与所述标注任务对应的数据表包括：

基于预先设定的题目抽取数量或者预先设定的题目抽取比例从所述待标注数据集中随机抽取至少一个题目以及与所述至少一个题目相关联的至少一个数据字段；以及

将提取的至少一个题目以及与至少一个数据字段写入所述数据表。

6.根据权利要求1所述的方法，其中，基于预先设定的问卷表单模板以及所述数据表生成与所述标注任务对应的问卷表单以及所述问卷表单的链接包括：

按照所述问卷表单模板设定的格式从所述数据表中提取相应的数据填入所述问卷表单模板，得到待标注问卷表单；

响应于确定所述目标标注人员的数量等于1，存储所述待标注问卷表单，并基于所述待标注问卷表单的存储地址生成所述待标注问卷表单的访问链接；

响应于确定所述目标标注人员的数量大于1，基于所述目标标注人员的数量对所述待标注问卷表单进行复制得到多份待标注问卷表单；其中，复制后得到的待标注问卷表单的数量与所述目标标注人员的数量相等；分别存储所述多份待标注问卷表单；并基于所述多份待标注问卷表单的存储地址分别生成所述多份待标注问卷表单的访问链接。

7.根据权利要求1所述的方法，其中，将所述问卷表单的访问链接下发至所述至少一个目标标注人员包括：

响应于确定所述目标标注人员的数量等于1，将所述待标注问卷表单的访问链接发送至所述目标标注人员；

响应于确定所述目标标注人员的数量大于1，建立所述多份待标注问卷表单与所述目标标注人员之间对应关系，以及基于所述对应关系将所述待标注问卷表单的访问链接发送至相应的目标标注人员。

8.根据权利要求1所述的方法，其中，将所述问卷表单的访问链接下发至所述至少一个目标标注人员包括：

将所述待标注问卷表单、所述待标注问卷表单的访问链接以及所述至少一个所述目标标注人员反馈至所述标注任务发布方，由所述标注任务发布方将所述问卷表单的访问链接下发至所述至少一个目标标注人员。

9.根据权利要求1所述的方法，还包括：

获取所述待标注问卷表单的标注结果；以及

将所述标注结果回写至所述待标注数据集中。

10.根据权利要求9所述的方法，其中，将所述标注结果回写至所述待标注数据集中包括：

对所述标注结果进行核验；以及

将核验正确的标注结果回写至所述待标注数据集中。

11.根据权利要求10所述的方法，其中，

生成与所述标注任务对应的数据表包括：从所述待标注数据集中提取至少一个题目以及至少一个数据字段；从辅助数据集中提取与所述至少一个题目相关联的至少一个辅助信息字段的数据作为所述至少一个题目的辅助信息；以及将提取的至少一个题目、所述至少一个数据字段以及所述至少一个题目的辅助信息写入所述数据表；以及

对所述标注结果进行核验包括：基于所述至少一个题目的辅助信息分别对所述问卷表单中的每一个题目的标注结果进行核验。

12.根据权利要求11所述的方法，其中，所述至少一个题目的辅助信息包括：所述至少一个题目的正确答案；以及

基于所述至少一个题目的辅助信息分别对所述问卷表单中的每一个题目的标注结果进行核验包括：基于所述至少一个题目的正确答案分别对所述问卷表单中的每一个题目的标注结果进行核验。

13.根据权利要求10所述的方法，其中，对所述标注结果进行核验包括：

将所述问卷表单以及所述标注结果发送至复核人员进行人工核验；以及

获取复核人员对所述标注结果的核验结果。

14.一种标注任务处理装置，包括：

目标标注人员确定模块，用于从标注人员池确定与所述标注任务对应的至少一个目标标注人员；

数据表确定模块，用于从待标注数据集中提取至少一个题目以及至少一个数据字段的数据，生成与所述标注任务对应的数据表；

交互模块，用于将所述数据表提交至问卷系统，由问卷系统基于预先设定的问卷表单模板以及所述数据表生成并反馈与所述标注任务对应的问卷表单以及所述问卷表单的访问链接；以及接收来自问卷系统的与所述标注任务对应的问卷表单以及所述问卷表单的访问链接；

标注任务分发模块，用于将所述问卷表单的访问链接下发至所述至少一个目标标注人员。

15.一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-13中任意一项所述的标注任务处理方法。

16.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行权利要求1-13任意一项所述的标注任务处理方法。

17.一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行如权利要求1-13中任意一项所述的标注任务处理方法。