CN113255339B - 标注任务的处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供了一种标注任务的处理方法、装置、电子设备及存储介质，其中，方法包括：响应用户发起的标注任务接取请求，获取标注任务；标注任务包括已分配真值标签的第一类型标注题和未分配标注标签的第二类型标注题；向用户发送标注任务，以使用户针对标注任务进行标注操作；接收用户发送的标注任务对应的标注结果；其中，标注结果包括：第一类型标注题对应的第一标注结果和第二类型标注题对应的第二标注结果；根据预设的标注任务激励规则，向用户终端反馈标注任务的任务激励。本申请能够提高玩家的做标注任务的积极性。

Description

标注任务的处理方法、装置、电子设备及存储介质

技术领域

本申请涉及任务标注技术领域，尤其是涉及一种标注任务的处理方法、装置、电子设备及存储介质。

背景技术

现有的标注任务有很多种，包括面部表情标注任务、图片标注任务、动作标注任务和视频标注任务等，标注任务中的每个标注题目有多个可标注的对象，标注人员需要从多个对象中选择出最符合题目要求的一个进行标注，以完成标注任务。

目前，上述标注任务一般会通过电子问卷的形式发放给标注人员，然后标注人员需要针对电子问卷中的每个标注题目进行人为标注，在任务完成时给予相应的工资结算。由于标注工作非常枯燥，标记过程耗时较久，导致标注人员的标记效率很差，普通用户参与标注任务的积极性不高。

发明内容

本申请的目的在于提供一种标注任务的处理方法、装置、电子设备及存储介质，可以提高玩家的做标注任务的积极性。

第一方面，本申请实施例提供一种标注任务的处理方法，方法包括：响应用户发起的标注任务接取请求，获取标注任务；标注任务包括已分配真值标签的第一类型标注题和未分配标注标签的第二类型标注题；向用户发送标注任务，以使用户针对标注任务进行标注操作；接收用户发送的标注任务对应的标注结果；其中，标注结果包括：第一类型标注题对应的第一标注结果和第二类型标注题对应的第二标注结果；根据预设的标注任务激励规则，向用户终端反馈标注任务的任务激励。

在一些实施例中，上述标注任务激励规则包括：根据第一标注题对应的已分配真值标签和第一标注结果的异同情况确定所述任务激励。

在一些实施例中，上述获取标注任务的步骤，包括：从包含有第一类型标注题的第一标注题库中提取第一预设数量的第一类型标注题；从包含有第二类型标注题的第二标注题库中提取第二预设数量的第二类型标注题；根据提取到的第一类型标注题和第二类型标注题确定标注任务。

在一些实施例中，上述第二标注题库采用以下方式生成：获取图像集；对图像集中的图像进行数据清洗操作；根据数据清洗操作后的图像生成第二标注题库。

在一些实施例中，上述根据数据清洗操作后的图像生成第二标注题库的步骤，包括：提取每个数据清洗操作后的图像对应的特征值；根据每个图像对应的特征值，计算两两图像间的相似度；相似度用于表征两个图像对应的特征距离；根据两两图像间的相似度，生成多个三元组标注题；将多个三元组标注题添加至第二标注题库。

在一些实施例中，上述方法还包括：根据第一类型标注题对应的已分配真值标签和第一标注结果，确定标注任务的任务评价指标值；任务评价指标值至少包括以下之一：标注正确率和任务得分；判断任务评价指标值是否大于指标值对应的阈值；如果是，确定标注任务为有效任务。

在一些实施例中，上述根据第一类型标注题对应的已分配真值标签和第一标注结果，确定标注任务的任务评价指标值的步骤，包括：统计第一类型标注题对应的第一标注结果中，与第一类型标注题对应的已分配真值标签一致的第一目标标注结果数量；根据第一目标标注结果数量确定标注任务的任务评价指标值。

在一些实施例中，上述方法还包括：获取预设任务周期内或指定数量的标注任务中的有效任务组成的任务集合；根据任务集合中的每个有效任务中的第二类型标注题对应的第二标注结果，判断每个第二类型标注题是否达到预设的一致性要求；一致性要求用于表征第二类型标注题的标注结果的可信度；将达到一致性要求的第二类型标注题添加至标注数据库中。

在一些实施例中，上述根据任务集合中的每个有效任务中的第二类型标注题对应的第二标注结果，判断每个第二类型标注题是否达到预设的一致性要求的步骤，包括：将有效任务中的每个第二类型标注题作为当前标注题，均执行以下操作：根据当前标注题对应的第二标注结果，统计当前标注题对应的标注结果数量；判断标注结果数量是否达到预设数量阈值；如果是，根据标注结果数量和当前标注题对应的第二标注结果，计算当前标注题的可信度；如果可信度大于预设的第一可信度阈值，确定当前标注题达到预设的一致性要求。

在一些实施例中，上述根据标注结果数量和当前标注题对应的第二标注结果，计算当前标注题的可信度的步骤，包括：根据当前标注题对应的第二标注结果，统计具有相同标注标签的第二目标标注结果数量；计算第二目标标注结果数量中的最大值与标注结果数量的比值；将比值作为当前标注题的可信度。

在一些实施例中，上述方法还包括：如果标注结果数量未达到所述预设数量阈值，或者如果可信度小于等于第一可信度阈值，且大于预设的第二可信度阈值，将当前标注题再添加至第二标注题库；其中，第二可信度阈值小于第一可信度阈值。

在一些实施例中，上述方法还包括：在用户针对标注任务进行标注操作过程中，检测第一类型标注题对应的标注正确率；根据标注正确率向用户播放标注正确率对应的音效；不同标注正确率对应不同音效。

在一些实施例中，上述根据第一类型标注题对应的已分配真值标签和第一标注结果，确定标注任务的任务评价指标值的步骤之后，方法还包括：汇总标注任务对应的所有用户的任务评价指标值；对所有的任务评价指标值进行排名，生成排行榜；向用户显示排行榜。

在一些实施例中，上述方法还包括：响应用户终端的图像上传请求，根据图像上传请求中携带的用户图像生成三元组标注题；将三元组标注题添加至第二标注题库中。

在一些实施例中，上述标注任务为面部表情标注任务；根据图像上传请求中携带的用户图像生成三元组标注题的步骤，包括：计算用户图像的表情编码值；根据表情编码值，从第二标注题库中查找与用户图像最相似的两个图像；将查找到的两个图像和用户图像组成一个三元组标注题。

在一些实施例中，上述标注任务包括以下之一：面部表情标注任务、图片标注任务、动作标注任务和视频标注任务；标注题包括以下之一：面部表情标注题、图片标注题、动作标注题和视频标注题。

第二方面，本申请实施例还提供一种标注任务的处理装置，装置包括：任务获取模块，用于响应用户发起的标注任务接取请求，获取标注任务；标注任务包括已分配真值标签的第一类型标注题和未分配标注标签的第二类型标注题；任务发送模块，用于向用户发送标注任务，以使用户针对标注任务进行标注操作；标注结果接收模块，用于接收用户发送的标注任务对应的标注结果；其中，标注结果包括：第一类型标注题对应的第一标注结果和第二类型标注题对应的第二标注结果；任务激励模块，用于根据预设的标注任务激励规则，向用户终端反馈标注任务的任务激励。

第三方面，本申请实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面所述的方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述第一方面所述的方法。

本申请实施例提供的标注任务的处理方法、装置、电子设备及存储介质中，通过响应用户发起的标注任务接取请求，获取标注任务；该标注任务包括已分配真值标签的第一类型标注题和未分配标注标签的第二类型标注题；然后向用户发送标注任务，以使用户进行标注操作，并接收到用户发送的标注任务对应的标注结果，最后根据预设的标注任务激励规则，向用户反馈标注任务的任务激励。本申请实施例中，将标注任务以游戏任务的形式供用户领取，游戏任务中包括有已分配真值标签的第一类型标注题和未分配标注标签的第二类型标注题，根据用户针对第一类型标注题的标注结果，以及第一类型标注题对应的已分配真值标签，能够评价玩家的任务完成情况或标注有效性，并反馈相应的任务激励，可以提高用户的做标注任务的积极性。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种标注任务的处理方法的流程图；

图2为本申请实施例提供的一种的题库生成方法的流程图；

图3为本申请实施例提供的一种标注题示意图；

图4为本申请实施例提供的一种的任务激励方法的流程图；

图5为本申请实施例提供的一种的标注结果分析方法的流程图；

图6为本申请实施例提供的一种标注任务的处理装置的结构框图；

图7为本申请实施例提供的另一种标注任务的处理装置的结构框图；

图8为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合实施例对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前的标注任务包括有多种不同的类型，比如面部表情标注任务、图片标注任务、动作标注任务和视频标注任务等，每种标注任务中的每个标注题目都包括一个题目要求和至少三个选项，标注人员需要从多个选项中选择出最符合题目要求的一个，以完成标注。

以面部表情标注为例，通常面部表情任务中的标注题为三元组标注题，即标注题目中除了包括题目要求，还包括三个面部图像，比如，题目要求为选择出以下表情中最不同的一个，则需要标注人员从三个面部图像中选择出表情差异最大的一个,标注人员从三个面部图像中选择一个进行标注，即可完成该标注题的标注。

现有技术中上述标注任务一般会通过电子问卷的形式发放给标注人员，以使标注人员针对每个标注任务进行人为标注，由于标注工作非常枯燥，标记过程耗时较久，导致标记效率很差，普通用户的参与度更低。

基于此，本申请实施例提供一种标注任务的处理方法、装置、电子设备及存储介质，为便于对本实施例进行理解，首先对本申请实施例所公开的一种标注任务的处理方法进行详细介绍。

本申请实施例提供一种标注任务的处理方法，能够通过游戏任务的形式向玩家提供标注任务，以使玩家在玩游戏的过程中完成标注任务以获取相应的任务激励。在一些实施例中，上述标注任务可以是设置于某个游戏场景中的一个可接取的任务，比如玩家在领取标注任务并完成后，会得到角色升级奖励或者解锁新技能奖励等；在另一些实施例中，上述标注任务可以是单独的一个游戏化小程序，可以应用于微信平台中，玩家可以在微信小程序中接取标注任务并进行标注操作，以获取相应的游戏奖励，比如免费领取礼品或者领取一定金额的红包等。

图1为本申请实施例提供的一种标注任务的处理方法的流程图，该方法可以应用于服务器，也可以应用于客户端。比如，可以通过客户端程序(例如：游戏程序)给用户提供标注操作的入口，也可以是通过网页等提供操作入口。具体包括以下步骤：

步骤S102，响应用户发起的标注任务接取请求，获取标注任务；标注任务包括已分配真值标签的第一类型标注题和未分配标注标签的第二类型标注题。

具体实施时，用户可以通过游戏客户端进入游戏场景，或者从微信中的游戏小程序进入游戏场景，然后在游戏场景中进行标注任务接取，比如从任务菜单中选择标注任务，或者在游戏化小程序中点击开始挑战，即可发起标注任务接取请求。

服务器或客户端在接收到用户发起的上述标注任务接取请求后，会自动获取标注任务，该标注任务包括已分配真值标签的第一类型标注题和未分配标注标签的第二类型标注题，上述真值标签用于表征标注题中最符合题目要求的选项，通俗地讲，就相当于一道选择题的标准答案。上述第二类型标注题为未分配标注标签的标注题，也就是真正需要进行标注的标注任务。两种类型的标注题的数量可根据实际情况进行调整，在此不做具体限定。

上述标注任务包括以下之一：面部表情标注任务、图片标注任务、动作标注任务和视频标注任务；上述标注题包括以下之一：面部表情标注题、图片标注题、动作标注题和视频标注题。

步骤S104，向用户发送标注任务，以使用户针对标注任务进行标注操作。

获取到标注任务后，将标注任务发送给用户，用户即可针对上述标注任务进行标注操作，比如，标注任务包含10道标注题，用户可以针对每道标注题进行标注。

步骤S106，接收用户发送的标注任务对应的标注结果；其中，标注结果包括：第一类型标注题对应的第一标注结果和第二类型标注题对应的第二标注结果。

在用户针对标注任务中的标注题进行标注操作后，服务器或客户端接收到标注任务对应的标注结果，比如，标注任务中包含有10道标注题，在用户全部完成的情况下，标注结果中会包含10道题分别对应的标注信息，也就是每道标注题对应的标注选项。上述任务对应的标注结果中会包括：第一类型标注题对应的第一标注结果和第二类型标注题对应的第二标注结果。

步骤S108，根据预设的标注任务激励规则，向用户反馈标注任务的任务激励。

上述第一类型标注题对应有已分配真值标签，也就相当于有标准答案，可以利用第一类型标注题对应的已分配真值标签和用户的第一标注结果进行对比，来评价用户的标注任务完成情况，任务完成情况可以通过多种任务评价指标值进行考量，比如，标注正确率或任务得分等。基于预设的标注任务激励规则，可以向用户反馈标注任务的任务激励，比如，不考虑用户的完成情况，只要做了标注任务，就反馈任务激励，或者，根据标注任务的完成情况给予相应的任务激励，如，标注正确率达到80％以上，可以给用户解锁一个新技能，或者提高用户在游戏中的角色等级等。

需要说明的是，本申请实施例中的任务激励可以根据不同的游戏类型、不同的游戏情景设定不同的激励机制，在此不做具体限定。激励机制的设定是为了提高用户接取并完成标注任务的积极性，提高标注任务的趣味性。

本申请实施例提供的标注任务的处理方法，能够将标注任务以游戏任务的形式供用户领取，标注任务中包括有真值标签的标注题和未分配标注标签的标注题，根据用户针对有真值标签的标注题的标注结果，评价用户的任务完成情况或标注有效性，并根据预设的标注任务激励规则，反馈相应的任务激励，以提高用户做标注任务的积极性。

为了保证用户针对标注任务的标注结果的可信度，本申请实施例中采用两种不同的标注题组成标注任务，即标注任务中包含已分配真值标签的第一类型标注题和未分配标注标签的第二类型标注题，该标注任务的获取过程如下：

(1)从包含有第一类型标注题的第一标注题库中提取第一预设数量的第一类型标注题。

(2)从包含有第二类型标注题的第二标注题库中提取第二预设数量的第二类型标注题。

(3)根据提取到的第一类型标注题和第二类型标注题确定标注任务。

上述第一标注题库中包括的第一类型标注题为已分配真值标签的标注题，实际应用中，该第一标注题库可以是通过各种不同途径获取到的题库，其中包含有大量AI知道答案的标注题，即已分配真值标签的标注题。

上述第二标注题库中包括的第二类型标注题为未分配标注标签的标注题，也就是真正需要用户进行标注的标注任务。对于标注题中需要用到图像的标注任务，如面部表情标注任务、动作标注任务或图片标注任务，其对应的第二标注题库可以采用以下方式实现，参见图2所示的流程图：

步骤S202，获取图像集。对于面部表情标注任务需要获取大量人脸图像；对于动作标注任务需要获取大量包含动作的图像；对于图片标注任务，需要获取大量图像。

步骤S204，对图像集中的图像进行数据清洗操作。

在上述获取的大量图像中，通常会有一些是不符合标注要求的图像，需要标注人员进行清洗操作，以面部表情标注任务为例，在获取到大量人脸图像后，会先通过识别人像的算法进行初步处理，然后再对识别到的人像经过标注员做进一步的清洗，主要是移除以下人像数据集：

A.去除非正常人脸(疾病，血腥，色情，浓妆，非人类)的情况；

B.对于dlib检测效果不好的人脸(检测到的不是完整人脸这类的情况)；

C.遮挡，模糊的人脸(有水印，配饰之类的遮挡)；

D.角度奇怪的人脸(尽量保持近似正面)。

通过对上述大量图像进行数据清洗，然后再生成题库，可以提高标注题库中标注题的有效性。

步骤S206，根据数据清洗操作后的图像生成第二标注题库。具体可以通过以下方式实现：

(1)提取每个数据清洗操作后的图像对应的特征值。在面部表情标注中，上述特征值为图像嵌入的表情编码值；在图片标注中，上述特征值为图像的特征点向量；在动作标注中，上述特征值为图像对应的关键骨骼点、长度和方向。

(2)根据每个图像对应的特征值，计算两两图像间的相似度；相似度用于表征两个图像对应的特征距离；即通过两个图像分别对应特征值，可以计算出两个图像间的特征距离，如欧式距离，该特征距离就可以看作是两图像间的相似度。

(3)根据两两图像间的相似度，生成多个三元组标注题。比如，一个三元组标注题的题目要求为：快来选出最不同的表情，那么就选择三个最相似的图像组成一个三元组标注题，如图3所示。再比如，选出最不同的动作，那么就找到最相似的三个动作图像组成一个三元组标注题。

(4)将多个三元组标注题添加至第二标注题库。

本申请实施例中，从两种包含不同类型标注题的题库中提取两种类型标注题，得到标注任务，一方面可使用户对未分配标注标签的第二类型标注题进行标注，以完成标注任务，另一方面，利用有真值标签的第一类型标注题的标注结果对用户标注任务进行评价，判断用户对未分配标注标签的第一类型标注题的标注有效性，以保证用户针对标注任务的标注结果的可信度。

为了激发用户更好地完成标注任务，需要保证任务激励和标注任务完成情况相匹配，因此，本申请实施例中采用根据任务评价指标值确定相应的任务激励的方式，具体过程参见图4所示的流程图实现：

步骤S402，根据第一类型标注题对应的已分配真值标签和第一标注结果，确定标注任务的任务评价指标值。

任务评价指标值至少可以包括以下之一：标注正确率和任务得分。具体计算过程如下：

(1)统计第一类型标注题对应的第一标注结果中，与第一类型标注题对应的已分配真值标签一致的第一目标标注结果数量。比如，标注任务中有6道第一类型标注题，用户的第一标注结果中，有3个标注结果与已分配真值标签一致，即上述第一目标标注结果数量为3。

(2)根据第一目标标注结果数量确定标注任务的任务评价指标值。

还以上述例子进行说明，比如，上述第一目标标注结果数量为3，假如每题得一分，那么用户的任务得分就是3，利用第一目标标注结果数量3除以总题量6，就是用户的标注正确率50％。

步骤S404，根据任务评价指标值确定任务激励。

服务器或客户端中可以预先存储有标注正确率或任务得分与任务激励的匹配关系，在计算出用户的标注任务的任务评价指标值后，进一步根据任务评价指标值从上述匹配关系中查找到任务评价指标值对应的任务激励，然后反馈给用户。

本申请实施例利用有真值标签的第一类型标注题的标注结果对用户标注任务进行评价，并给予相应的任务激励，可提高用户的标注兴趣及标注专注度。

为了保证标注任务的标注结果的可信度，以获取更好地标注数据库，以使标注数据库为AI训练提供更精准的训练数据，在上述确定出玩家的标注任务的任务评价指标值之后，本申请实施例中还可以根据该任务评价指标值进一步判断该玩家的标注任务是否为有效任务，即：根据第一类型标注题对应的已分配真值标签和第一标注结果的异同情况确定用户的标注结果的有效性，从而确定是否采纳用户的第二标注结果，例如：判断上述任务评价指标值是否大于指标值对应的阈值；如果是，确定标注任务为有效任务。由于对于有效任务对应的标注结果进行分析判断，才能确定出更精准的标注数据，本申请实施例还提供一种标注数据筛选方式，参见图5所示的流程图：

步骤S502，获取预设任务周期内或指定数量的标注任务中的有效任务组成的任务集合。比如，上述任务周期为2天，每隔2天获取一次有效任务组成的任务集合，或者每隔2天获取这2天内的有效任务组成的任务集合；或者，当标注任务的数量达到一定数值时，获取一次有效任务组成的任务集合。上述任务集合中包括第一类型标注题对应的第一标注结果和第二类型标注题对应的第二标注结果。其中，第二类型标注题包括有多个，每个第二类型标注题对应的标注结果也有多个，即多个用户分别标注的标注结果。

步骤S504，根据任务集合中的每个有效任务中的第二类型标注题对应的第二标注结果，判断每个第二类型标注题是否达到预设的一致性要求；一致性要求用于表征第二类型标注题的标注结果的可信度。

具体实施时，通过以下几个步骤实现上述判断过程：将有效任务中的每个第二类型标注题作为当前标注题，均执行以下操作：

(1)根据当前标注题对应的第二标注结果，统计当前标注题对应的标注结果数量。比如，当前标注题Q有三个选项，A、B、C，统计出各用户对该当前标注题的标注结果有10个。

(2)判断标注结果数量是否达到预设数量阈值。服务器中预先设定好一个数量阈值，比如6，也就是说，同一个标注题对应的标注结果达到6个及以上，才会被进行后续分析，如果小于6个，则需要将该当前标注题再次添加进第二标注题库中，以再次生成标注任务，供用户进行标注。如上述例子中，当前标注题的标注结果有10个，即可以执行下一步。

(3)如果是，根据标注结果数量和当前标注题对应的第二标注结果，计算当前标注题的可信度。具体的，根据当前标注题对应的第二标注结果，统计具有相同标注标签的第二目标标注结果数量；计算第二目标标注结果数量中的最大值与标注结果数量的比值；将比值作为当前标注题的可信度。还以上述例子进行说明，比如，统计出选A的标注结果有7个，选B的标注结果有2个，选C的标注结果有1个，那么可信度计算过程为，第二目标标注结果数量中的最大值7除以标注结果数量10，得到可信度为0.7。

(4)如果可信度大于预设的第一可信度阈值，确定当前标注题达到预设的一致性要求。比如，第一可信度阈值设定为2/3，约等于0.667，上述可信度0.7显然大于该第一可信度阈值0.667，那么就可以确定当前标注题达到预设的一致性要求。

这里所述的一致性要求实际为“强一致”要求，即标注结果达成一致人数超过2/3。比如：对于一个三元组标注题，一共有‘1’，‘2’，‘3’个答案项，90％的人选择了‘1’，5％的人选了‘2’，5％的人选了‘3’，这种情况下，超过2/3的人都能达成一致，即可认为这个三元组标注题的标签就是1，认为是强一致。

步骤S506，将达到一致性要求的第二类型标注题添加至标注数据库中。

根据有效任务中的用户对没有标注标签的第二类型标注题的标注结果，判断第二类型标注题是否达到预设一致要求，将达到要求的添加至标注数据库中，可以保证标注数据库中标注数据的置信度，以使标注数据库为AI训练提供更精准的训练数据。

在上述标注结果分析过程中，如果标注结果数量未达到预设数量阈值，或者如果可信度小于等于第一可信度阈值，且大于预设的第二可信度阈值，将当前标注题再添加至第二标注题库；其中，第二可信度阈值小于第一可信度阈值。

这里的第二可信度阈值实际为达到“弱一致”要求时对应的阈值，比如，3个选项的标注题，第二可信度阈值可以为1/3。即如果上述第二目标标注结果数量中的最大值，与总标注结果数量的比值，大于1/3，小于2/3，则可以认为当前标注题达到“弱一致”要求，而未达到“强一致”要求，这种情况下，可以将该标注题再次添加到第二标注题库中，以再次生成标注任务，供用户标注。

此外，如果可信度小于第二可信度阈值，将当前标注题移出第二标注题库。这种情况下，说明当前标注题连“弱一致”要求都没有达到，也就是说，不同用户针对该题有不同的理解，无法达成一致意见，其标注结果对于AI训练来说也是无意义的，因此，可以将该题移出第二标注题库，不再参与标注任务的生成过程。

按照上述这种方式可以将第二标注题库中的标注题都尽量快速地完成有效标注，以加入到标注数据库中，供AI训练使用。

需要说明的是，上述标注数据库与上述第二标注题库可以是不同的数据库，也可以是同一个数据库，如果是同一个数据库，在选择题目生成标注任务时，需要排除有效任务中已达到“强一致”要求的题，以避免重复标注，浪费资源。

为了提升标注任务的趣味性，促进用户的标注积极性，本申请实施例还提出以下激励方案：

(1)在用户针对标注任务进行标注操作过程中，检测第一类型标注题对应的标注正确率；根据标注正确率向用户播放标注正确率对应的音效；不同标注正确率对应不同音效。

比如，用户一共标注10道题(三元组)，其中存在6题有真值标签，该6题用于判断用户标注结果的有效性，以此给用户最多6个区分度的分数，以便划分等级(比如：金，银，铜/Excellent,very good,good)，根据用户每组题目中标注正确率进行标注音效加成，标注的音效会根据连续标注的正确率进行增强，以提高用户标注的信心和投入度，及时给用户激励反馈增加用户信心。

(2)汇总标注任务对应的所有用户的任务评价指标值；对所有的任务评价指标值进行排名，生成排行榜；向用户显示排行榜。

任务完成后，显示排行榜，对用户进行激励，或者也可以进行积分奖励，积分达到一定数值时可换购物品等。

为了能够不断扩充第二标注题库或标记数据库，服务器或客户端还可以根据用户手动录入的表情图片，自动生成一个相似三元组，达到不断扩充标记数据库的目的，同时也为后期模型训练提供了更加有价值的数据集。具体做法是：响应用户的图像上传请求，根据图像上传请求中携带的用户图像，计算用户图像的表情编码值；根据表情编码值，从第二标注题库中查找与用户图像最相似的两个图像；将查找到的两个图像和用户图像组成一个三元组标注题，将三元组标注题添加至第二标注题库中。

用户在完成标注任务之余，还可以选择把新图片加入到第二标注题库中，以对标记数据库进行不断扩充更新，从而可以提升AI能力。

本申请实施例提供的标注任务的处理方法，通过游戏任务的方式将标注任务提供给用户进行标注，标注任务会有两种不同类型标注题，以及标注过程中根据标注正确性进行音效加成，根据任务完成情况会有一定的激励机制，解能够提高标注任务的趣味、提高游戏用户的标注专注度，提升标注效率和标注结果的有效性。此外，服务器还会根据汇总多个用户的标注任务的标注结果，判断为有效任务且达到强一致要求的情况下添加到标注数据库中，从而保证用户的标注是可信的，标注置信度高。另外，还可以根据用户手动录入的表情图片，自动生成一个相似三元组，达到不断扩充标注数据库的目的，同时也为后期模型训练提供了更加有价值的数据集。

基于上述方法实施例，本申请实施例还提供一种标注任务的处理装置，参见图6所示，该装置包括：

任务获取模块602，用于响应用户发起的标注任务接取请求，获取标注任务；标注任务包括已分配真值标签的第一类型标注题和未分配标注标签的第二类型标注题；任务发送模块604，用于向用户发送标注任务，以使用户针对标注任务进行标注操作；标注结果接收模块606，用于接收用户发送的标注任务对应的标注结果；其中，标注结果包括：第一类型标注题对应的第一标注结果和第二类型标注题对应的第二标注结果；任务激励模块608，用于根据预设的标注任务激励规则，向用户反馈标注任务的任务激励。

本申请实施例提供的标注任务的处理装置，能够将标注任务以游戏任务的形式供用户领取，标注任务中包括有真值标签的标注题和未分配标注标签的标注题，根据用户针对有真值标签的标注题的标注结果，评价用户的任务完成情况或标注有效性，并根据预设的标注任务激励规则反馈相应的任务激励，以提高用户做标注任务的积极性。

上述标注任务激励规则包括：根据第一标注题对应的已分配真值标签和第一标注结果的异同情况确定所述任务激励。

上述任务获取模块602，还用于从包含有第一类型标注题的第一标注题库中提取第一预设数量的第一类型标注题；从包含有第二类型标注题的第二标注题库中提取第二预设数量的第二类型标注题；根据提取到的第一类型标注题和第二类型标注题确定标注任务。

参见图7所示，上述装置还包括题库生成模块610，用于获取图像集；对图像集中的图像进行数据清洗操作；根据数据清洗操作后的图像生成第二标注题库。

上述题库生成模块610，还用于提取每个数据清洗操作后的图像对应的特征值；根据每个图像对应的特征值，计算两两图像间的相似度；相似度用于表征两个图像对应的特征距离；根据两两图像间的相似度，生成多个三元组标注题；将多个三元组标注题添加至第二标注题库。

在一些实施例中，上述装置还包括任务判断模块612还用于：根据第一类型标注题对应的已分配真值标签和第一标注结果，确定标注任务的任务评价指标值；任务评价指标值至少包括以下之一：标注正确率和任务得分；判断任务评价指标值是否大于指标值对应的阈值；如果是，确定标注任务为有效任务。在一些实施例中，上述任务判断模块612还用于：统计第一类型标注题对应的第一标注结果中，与第一类型标注题对应的已分配真值标签一致的第一目标标注结果数量；根据第一目标标注结果数量确定标注任务的任务评价指标值。

在一些实施例中，上述装置还包括：标注结果分析模块614，用于获取预设任务周期内或指定数量的标注任务中的有效任务组成的任务集合；根据任务集合中的每个有效任务中的第二类型标注题对应的第二标注结果，判断每个第二类型标注题是否达到预设的一致性要求；一致性要求用于表征第二类型标注题的标注结果的可信度；将达到一致性要求的第二类型标注题添加至标注数据库中。

在一些实施例中，上述标注结果分析模块614还用于，将有效任务中的每个第二类型标注题作为当前标注题，均执行以下操作：根据当前标注题对应的第二标注结果，统计当前标注题对应的标注结果数量；判断标注结果数量是否达到预设数量阈值；如果是，根据标注结果数量和当前标注题对应的第二标注结果，计算当前标注题的可信度；如果可信度大于预设的第一可信度阈值，确定当前标注题达到预设的一致性要求。

在一些实施例中，上述标注结果分析模块614还用于，根据当前标注题对应的第二标注结果，统计具有相同标注标签的第二目标标注结果数量；计算第二目标标注结果数量中的最大值与标注结果数量的比值；将比值作为当前标注题的可信度。

在一些实施例中，上述装置还包括题目反馈模块616，用于如果标注结果数量未达到所述预设数量阈值，或者如果可信度小于等于第一可信度阈值，且大于预设的第二可信度阈值，将当前标注题再添加至第二标注题库；其中，第二可信度阈值小于第一可信度阈值。

在一些实施例中，上述装置还包括正确率检测模块618，用于在用户针对标注任务进行标注操作过程中，检测第一类型标注题对应的标注正确率；根据标注正确率向用户播放标注正确率对应的音效；不同标注正确率对应不同音效。

在一些实施例中，上述装置还包括排行榜生成模块620用于：汇总标注任务对应的所有用户的任务评价指标值；对所有的任务评价指标值进行排名，生成排行榜；向用户显示排行榜。

在一些实施例中，上述装置还包括：用户图像处理模块622，用于响应用户终端的图像上传请求，根据图像上传请求中携带的用户图像生成三元组标注题；将三元组标注题添加至第二标注题库中。

在一些实施例中，上述标注任务为面部表情标注任务；上述用户图像处理模块722还用于计算用户图像的表情编码值；根据表情编码值，从第二标注题库中查找与用户图像最相似的两个图像；将查找到的两个图像和用户图像组成一个三元组标注题。

在一些实施例中，上述标注任务包括以下之一：面部表情标注任务、图片标注任务、动作标注任务和视频标注任务；标注题包括以下之一：面部表情标注题、图片标注题、动作标注题和视频标注题。

本申请实施例提供的标注任务的处理装置，其实现原理及产生的技术效果和前述标注任务的处理方法实施例相同，为简要描述，标注任务的处理装置的实施例部分未提及之处，可参考前述标注任务的处理方法实施例中相应内容。

本申请实施例还提供了一种电子设备，如图8所示，为该电子设备的结构示意图，其中，该电子设备包括处理器71和存储器70，该存储器70存储有能够被该处理器71执行的计算机可执行指令，该处理器71执行该计算机可执行指令以实现上述方法。

在图7示出的实施方式中，该电子设备还包括总线72和通信接口73，其中，处理器71、通信接口73和存储器70通过总线72连接。

其中，存储器70可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口73(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线72可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线72可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器71可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器71中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器71可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器71读取存储器中的信息，结合其硬件完成前述实施例的方法的步骤。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述方法，具体实现可参见前述方法实施例，在此不再赘述。

本申请实施例所提供的标注任务的处理方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本申请的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (17)

1.一种标注任务的处理方法，其特征在于，所述方法包括：

响应用户发起的标注任务接取请求，获取标注任务；所述标注任务为游戏任务形式，包括已分配真值标签的第一类型标注题和未分配标注标签的第二类型标注题；

向所述用户发送所述标注任务，以使所述用户针对所述标注任务进行标注操作；

接收所述用户发送的所述标注任务对应的标注结果；其中，所述标注结果包括：所述第一类型标注题对应的第一标注结果和所述第二类型标注题对应的第二标注结果；

根据预设的标注任务激励规则，向所述用户反馈所述标注任务的任务激励；

所述方法还包括：

获取预设任务周期内或指定数量的标注任务中的有效任务组成的任务集合；其中，所述有效任务为任务评价指标值超过阈值的标注任务；所述任务评价指标值基于所述第一类型标注题对应的已分配真值标签和第一标注结果确定；

根据任务集合中的每个所述有效任务中的第二类型标注题对应的第二标注结果，判断每个所述第二类型标注题是否达到预设的一致性要求；其中，所述一致性要求用于表征第二类型标注题的标注结果的可信度；可信度超过阈值的第二类型标注题达到预设的一致性要求；所述可信度为：在第二类型标注题的总标注结果数量超过阈值的情况下，具有相同标注标签的最大标注结果数量与所述总标注结果数量的比值；

将达到所述一致性要求的第二类型标注题添加至标注数据库中。

2.根据权利要求1所述的方法，其特征在于，所述标注任务激励规则包括：根据所述第一类型标注题对应的已分配真值标签和第一标注结果的异同情况确定所述任务激励。

3.根据权利要求1所述的方法，其特征在于，获取标注任务的步骤，包括：

从包含有第一类型标注题的第一标注题库中提取第一预设数量的第一类型标注题；

从包含有第二类型标注题的第二标注题库中提取第二预设数量的第二类型标注题；

根据提取到的所述第一类型标注题和所述第二类型标注题确定标注任务。

4.根据权利要求3所述的方法，其特征在于，所述第二标注题库采用以下方式生成：

获取图像集；

对所述图像集中的图像进行数据清洗操作；

根据数据清洗操作后的图像生成第二标注题库。

5.根据权利要求4所述的方法，其特征在于，根据数据清洗操作后的图像生成第二标注题库的步骤，包括：

提取每个所述数据清洗操作后的图像对应的特征值；

根据每个所述图像对应的特征值，计算两两图像间的相似度；所述相似度用于表征两个图像对应的特征距离；

根据所述两两图像间的相似度，生成多个三元组标注题；

将多个三元组标注题添加至第二标注题库。

6.根据权利要求1所述的方法，其特征在于，所述有效任务的确定过程如下：

根据所述第一类型标注题对应的已分配真值标签和第一标注结果，确定所述标注任务的任务评价指标值；所述任务评价指标值至少包括以下之一：标注正确率和任务得分；

判断所述任务评价指标值是否大于所述指标值对应的阈值；

如果是，确定所述标注任务为有效任务。

7.根据权利要求6所述的方法，其特征在于，根据所述第一类型标注题对应的已分配真值标签和第一标注结果，确定所述标注任务的任务评价指标值的步骤，包括：

统计所述第一类型标注题对应的第一标注结果中，与所述第一类型标注题对应的已分配真值标签一致的第一目标标注结果数量；

根据所述第一目标标注结果数量确定所述标注任务的任务评价指标值。

8.根据权利要求3所述的方法，其特征在于，根据任务集合中的每个所述有效任务中的第二类型标注题对应的第二标注结果，判断每个所述第二类型标注题是否达到预设的一致性要求的步骤，包括：

将所述有效任务中的每个第二类型标注题作为当前标注题，均执行以下操作：

根据所述当前标注题对应的第二标注结果，统计所述当前标注题对应的标注结果数量；

判断所述标注结果数量是否达到预设数量阈值；

如果是，根据所述标注结果数量和所述当前标注题对应的第二标注结果，计算所述当前标注题的可信度；

如果所述可信度大于预设的第一可信度阈值，确定所述当前标注题达到预设的一致性要求。

9.根据权利要求8所述的方法，其特征在于，根据所述标注结果数量和所述当前标注题对应的第二标注结果，计算所述当前标注题的可信度的步骤，包括：

根据所述当前标注题对应的第二标注结果，统计具有相同标注标签的第二目标标注结果数量；

计算所述第二目标标注结果数量中的最大值与所述标注结果数量的比值；

将所述比值作为所述当前标注题的可信度。

10.根据权利要求8所述的方法，其特征在于，所述方法还包括：

如果所述标注结果数量未达到所述预设数量阈值，或者如果所述可信度小于等于所述第一可信度阈值，且大于预设的第二可信度阈值，将所述当前标注题添加至所述第二标注题库；其中，所述第二可信度阈值小于所述第一可信度阈值。

11.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述用户针对所述标注任务进行标注操作过程中，检测所述第一类型标注题对应的标注正确率；

根据所述标注正确率向所述用户播放所述标注正确率对应的音效；不同标注正确率对应不同音效。

12.根据权利要求6所述的方法，其特征在于，根据所述第一类型标注题对应的已分配真值标签和第一标注结果，确定所述标注任务的任务评价指标值的步骤之后，所述方法还包括：

汇总所述标注任务对应的所有用户的任务评价指标值；

对所有的任务评价指标值进行排名，生成排行榜；

向所述用户显示所述排行榜。

13.根据权利要求3所述的方法，其特征在于，所述方法还包括：

响应所述用户的图像上传请求，根据所述图像上传请求中携带的用户图像生成三元组标注题；

将所述三元组标注题添加至所述第二标注题库中；

所述标注任务为面部表情标注任务；

根据所述图像上传请求中携带的用户图像生成三元组标注题的步骤，包括：

计算所述用户图像的表情编码值；

根据所述表情编码值，从所述第二标注题库中查找与所述用户图像最相似的两个图像；

将查找到的两个图像和所述用户图像组成一个三元组标注题。

14.根据权利要求1所述的方法，其特征在于，所述标注任务包括以下之一：面部表情标注任务、图片标注任务、动作标注任务和视频标注任务；所述标注题包括以下之一：面部表情标注题、图片标注题、动作标注题和视频标注题。

15.一种标注任务的处理装置，其特征在于，所述装置包括：

任务获取模块，用于响应用户发起的标注任务接取请求，获取标注任务；所述标注任务为游戏任务形式，包括已分配真值标签的第一类型标注题和未分配标注标签的第二类型标注题；

任务发送模块，用于向所述用户发送所述标注任务，以使所述用户针对所述标注任务进行标注操作；

标注结果接收模块，用于接收所述用户发送的所述标注任务对应的标注结果；其中，所述标注结果包括：所述第一类型标注题对应的第一标注结果和所述第二类型标注题对应的第二标注结果；

任务激励模块，用于根据预设的标注任务激励规则，向所述用户反馈所述标注任务的任务激励；

所述装置还包括：标注题添加模块，用于获取预设任务周期内或指定数量的标注任务中的有效任务组成的任务集合；其中，所述有效任务为任务评价指标值超过阈值的标注任务；所述任务评价指标值基于所述第一类型标注题对应的已分配真值标签和第一标注结果确定；根据任务集合中的每个所述有效任务中的第二类型标注题对应的第二标注结果，判断每个所述第二类型标注题是否达到预设的一致性要求；其中，所述一致性要求用于表征第二类型标注题的标注结果的可信度；可信度超过阈值的第二类型标注题达到预设的一致性要求；所述可信度为：在第二类型标注题的总标注结果数量超过阈值的情况下，具有相同标注标签的最大标注结果数量与所述总标注结果数量的比值；将达到所述一致性要求的第二类型标注题添加至标注数据库中。

16.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至14任一项所述的方法。

17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至14任一项所述的方法。