CN113326890A - 标注数据处理方法、相关装置及计算机程序产品 - Google Patents

Abstract

本公开提供了标注数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，涉及数据处理、测评反馈等人工智能技术领域。该方法的一具体实施方式包括：确定与待标注数据类型一致的历史标注数据，并获取与该历史标注数据对应的平均打回轮次，获取标注对象对该待标注数据进行标注的过程中的实际打回轮次，根据实际打回轮次和所述平均打回轮次的轮次差，确定对该待标注数据进行标注的标注质量信息。该实施方式通过引入计算平均打回轮次与实际打回轮次的轮次差，提升了确定出的标注质量信息的准确性。

Description

标注数据处理方法、相关装置及计算机程序产品

技术领域

本公开涉及计算机技术领域，具体涉及数据处理、测评反馈等人工智能技术领域，尤其涉及标注数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

随着人工智能在各方面的发展和应用，对数据进行符合要求的标注的需求量得到空前增长。数据标注是为人工智能算法提供结构化数据的过程，标注过程一般通过数据众包或者代理的方式，由标注员去完成。现今的自动标注模型的实用性还无法满足要求。

因此，如何更好的处理标注数据，是本领域技术人员研究的重点。

发明内容

本公开实施例提出了一种标注数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

第一方面，本公开实施例提出了一种标注数据处理方法，包括：确定与待标注数据类型一致的历史标注数据，并获取与该历史标注数据对应的平均打回轮次；获取标注对象对该待标注数据进行标注的过程中的实际打回轮次；根据该实际打回轮次和该平均打回轮次的轮次差，确定对该待标注数据进行标注的标注质量信息。

第二方面，本公开实施例提出了一种标注数据处理装置，包括：历史标注数据获取及平均轮次确定单元，该历史标注数据获取及平均轮次确定单元中包括被配置成被配置成确定与待标注数据类型一致的历史标注数据的历史标注数据获取子单元，以及被配置成获取与该历史标注数据对应的平均打回轮次的平均轮次确定子单元；实际轮次确定单元，被配置成获取标注对象对该待标注数据进行标注的过程中的实际打回轮次；质量信息生成单元，被配置成根据该实际打回轮次和该平均打回轮次的轮次差，确定对该待标注数据进行标注的标注质量信息。

第三方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的标注数据处理方法。

第四方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的标注数据处理方法。

第五方面，本公开实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的标注数据处理方法。

本公开实施例提供的标注数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，确定与待标注数据类型一致的历史标注数据，并获取与该历史标注数据对应的平均打回轮次后，获取标注对象对该待标注数据进行标注的过程中的实际打回轮次，以便于根据该实际打回轮次和该平均打回轮次的轮次差，确定评价系数，最终生成与该评价系数对应的标注质量信息。

本公开基于与待标注数据类型一致的历史数据确定平均打回轮次后，获取标注对象对待标注数据进行标注的过程中的实际打回轮次，通过比较平均打回轮次与实际标注过程的实际打回轮次，确定出打回的轮次差，从而基于该轮次差的大小来更准确的反映标注对象在对待标注数据进行标注的标注质量信息，提升了标注质量信息的准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：

图1是本公开可以应用于其中的示例性系统架构；

图2为本公开实施例提供的一种标注数据处理方法的流程图；

图3为本公开实施例提供的另一种标注数据处理方法的流程图；

图4为本公开实施例提供的一种标注数据处理装置的结构框图；

图5为本公开实施例提供的一种适用于执行标注数据处理方法的电子设备的结构示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

此外，本公开涉及的技术方案中，所涉及的用户个人信息的获取、存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

图1示出了可以应用本公开的标注数据处理方法、装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103和服务器105上可以安装有各种用于实现两者之间进行信息通讯的应用，例如标注数据类应用、工作反馈类应用、即时通讯类应用等。

终端设备101、102、103和服务器105可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等；当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器；服务器为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。

服务器105通过内置的各种应用可以提供各种服务，以可以提供标注质量信息的标注数据类应用为例，服务器105在运行该标注数据类应用时可实现如下效果：首先，通过网络104从终端设备101、102、103中获取待标注数据的类型，然后通过本地存储的历史数据中寻找与该待标注数据类型一致的历史标注数据，并获取与该历史标注数据对应的平均打回轮次；然后，服务器105获取标注对象对该待标注数据进行标注的过程中的实际打回轮次；最后，服务器105根据实际打回轮次和平均打回轮次的轮次差，确定对待标注数据进行标注的标注质量信息。

需要指出的是，待标注数据和/或待标注数据的类型除可以从终端设备101或其它终端设备通过网络104获取到之外，也可以通过各种方式预先存储在服务器105本地。因此，当服务器105检测到本地已经存储有这些数据时(例如开始处理之前留存的待标注数据任务)，可选择直接从本地获取这些数据，在此种情况下，示例性系统架构100也可以不包括终端设备101、102、103和网络104。

此外，上述历史标注数据也可以预先存储在上述服务器105本地以方便调取，也可以存储在其他非服务器105本地的电子设备之中，相应的，在服务器105需要获取到该历史标注数据时，可通过向该电子设备发送获取命令来获取相应的历史标注数据。

由于确定平均打回轮次、实际打回轮次需要占用较多的运算资源和较强的运算能力，因此本公开后续各实施例所提供的标注数据处理方法一般由拥有任务分配和统筹能力的服务器105来执行，相应地，标注数据处理装置一般也设置于服务器105中。但同时也需要指出的是，在终端设备101、102、103也具有满足要求的任务分配和统筹能力时，终端设备101、102、103也可以通过其上安装的标注数据类应用完成上述本交由服务器105做的各项运算，进而输出与服务器105同样的结果。尤其是在同时存在多种具有不同运算能力的终端设备的情况下，但标注数据类应用判断所在的终端设备拥有较强的运算能力和剩余较多的运算资源时，可以让终端设备来执行上述运算，从而适当减轻服务器105的运算压力，相应的，标注数据处理装置也可以设置于终端设备101或其它终端设备中。在此种情况下，示例性系统架构100也可以不包括服务器105和网络104。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

请参考图2，图2为本公开实施例提供的一种标注数据处理方法的流程图，其中流程200包括以下步骤：

步骤201，确定与待标注数据类型一致的历史标注数据，并获取与历史标注数据对应的平均打回轮次。

在本实施例中，由标注数据处理方法的执行主体(例如图1所示的服务器105)在获取到待标注数据的类型后，确定与该待标注数据类型一致的历史标注数据，并获取与该历史标注数据对应的平均打回轮次。

其中，待标注数据类型通常可以根据待标注数据的文件类型进行确定，例如可以包括中图像类型、音频类型和文字类型的中至少一种，也可以根据对待标注数据的标注需求进行确定，例如可以包括特征提取、内容转写、判断清洗、图像打点和图片区域语义定义等。

此外，历史标注数据对应的平均打回轮次差，可以是基于相同标注对象多次对该历史标注数据进行标注时涉及到的打回轮次差确定，也可以是基于不同标注对象对该历史标注数据(同次或多次)进行标注时涉及到的打回轮次差确定。

需要指出的是，历史标注数据以及相对应的平均打回轮次数可以由上述执行主体直接从本地的存储设备获取，也可以从非本地的存储设备(例如图1所示的终端设备101、102、103)中获取。本地的存储设备可以是设置在上述执行主体内的一个数据存储模块，例如服务器硬盘，在此种情况下，历史标注数据以及相对应的平均打回轮次数可以在本地快速读取到；非本地的存储设备还可以为其它任何被设置用于存储数据的电子设备，例如一些用户终端等，在此情况下，上述执行主体可以通过向该电子设备发送获取命令来获取所需的历史标注数据以及相对应的平均打回轮次数。

步骤202，获取标注对象对待标注数据进行标注的过程中的实际打回轮次。

在本实施例中，由上述执行主体获取标注对象在对待标注数据进行标注过程中的实际打回轮次，该打回轮次可以基于标注对象所使用的终端设备反馈得到，也可以基于上述执行主体统计获取。

在实践中，为了提升确定的实际打回轮次质量，可以要求在标注对象对标注数据进行标注的过程中，每次涉及到打回时，由标注对象使用的终端设备或者待标注数据的处理任务提供方进行反馈，以便于上述执行主体中获取到准确、真实的实际打回轮次数。

步骤203，根据实际打回轮次和平均打回轮次的轮次差，确定对待标注数据进行标注的标注质量信息。

在本实施例中，基于上述步骤201中确定的平均打回轮次差和步骤202中获取到的实际打回轮次差，来确定标注对象对待标注数据进行标注时的标注质量信息。

其中，该标注质量信息的形式通常可以为直接的评分数值、优良等级等方式，以可以根据该标注质量信息反馈标注对象对待标注类型进行标注的标注质量。

在本公开的一些可选的实施例中，获取历史标注数据对应的平均打回轮次和实际打回轮次数后，进行比较，以确定实际打回轮次和平均打回轮次之间的轮次差，并根据该轮次差确定评价系数，评价系数可以在根据实际打回轮次与平均打回轮次确定的轮次差后，根据该轮次差与平均打回轮次的比值确定，也可以根据确定的轮次差数值，对基于实际打回轮次和平均打回确定的比值系数进行调整，以得到最终的评价系数，例如在实际打回轮次与该平均打回轮次相等时，确定评价系数为1，在后续确定实际打回轮次小于该平均打回轮次时，评价系数随轮次差的递增而从1开始递增，在后续确定实际打回轮次大于该平均打回轮次时，评价系数随轮次差的递增而从1开始递减，在确定有评价信息后，生成与该评价系数对应的标注质量信息，其中，可以预先设置相应的反馈规则，以便于在获取到该评价系数后，生成对应的标注质量信息，例如，预设多个等级区间，在确定评价系数的数值后查询与该评价系数对应的等级区间，输出相应的等级等作为标注质量信息，以便于更为直观的反馈出标注对象的标注质量。

本公开实施例提供的标注数据处理方法，基于与待标注数据类型一致的历史数据确定平均打回轮次后，获取标注对象对待标注数据进行标注的过程中的实际打回轮次，通过比较平均打回轮次与实际标注过程的实际打回轮次，确定出打回的轮次差，从而基于该轮次差的大小来更准确的反映标注对象在对待标注数据进行标注的标注质量信息，提升标注质量信息的准确性。

在本实施例的一些可选的实现方式中，该方法还包括：获取标注数据的期望打回轮次；响应于该期望打回轮次小于该平均打回轮次数，且该期望打回轮次与该平均打回轮次之间的差距大于第一预设阈值，根据该期望打回轮次调整该平均打回轮次。

具体的，还可以获取对于标注数据的期望打回轮次，该期望打回轮次指的完成待标注数据所对应的理想打回轮次，具体可以基于发送待标注数据的任务方的实际需求进行确定，也可以根据上述执行主体的历史统计结果确定，若对于待标注数据的处理任务处于一个标注数据任务集合中时，还可以根据对该标注数据任务集合中各任务的分配时间等进行确定，在获取到该期望打回轮次后，若该期望打回轮次小于平均打回轮次数，且期望打回轮次与平均打回轮次之间的差距大于第一预设阈值，则可以根据该期望打回轮次对平均打回轮次进行调整，或者将该期望打回轮次调整为平均打回轮次，以便于根据实际情况对标注对象的评价标准进行调整，避免造成标注资源浪费。

请参考图3，图3为本公开实施例提供的另一种标注数据处理方法的流程图，其中流程300包括以下步骤：

步骤301，确定与待标注数据类型一致的历史标注数据，并获取与历史标注数据对应的平均打回轮次。

步骤302，获取标注对象对待标注数据进行标注的过程中的实际打回轮次。

步骤303，根据实际打回轮次和平均打回轮次的轮次差，确定对待标注数据进行标注的标注质量信息。

以上步骤301-303与如图2所示的步骤201-203一致，相同部分内容请参见上一实施例的相应部分，此处不再进行赘述。

步骤304，获取标注对象与待标注数据类型对应的能力标签。

在本实施例中，根据该待标注数据的类型，获取标注对象与该待标注数据类型对应的能力标签，该能力标签可以是一个，也可以是多个，例如在待标注数据的类型为图像类型和图像类型中的图像打点时，可以确定该能力标签为图像打点，也可以确定能力标签为图像类型和图像打点。

其中，能力标签用于反映标注对象对于与该能力标签对应的待标注数据类型的处理能力，通常可以利用评分、等级等方式进行标注，以便于区分标注对象对于特定待标注数据类型的处理能力。

步骤305，根据标注质量信息对能力标签进行修正，并根据修正后的标签确定后续发送给标注对象的目标待标注数据。

在本实施例中，根据上述步骤304中确定的反馈信息对该能力标签进行修正，例如，标注对象对于图像类型的处理能力为B，但标注质量信息显示，标注对象对于图像类型的处理能力分值为1.5(处理能力为B对应的分值为0.5，处理能力A对应的分值为1.0，处理能力A+对应的分值为1.5，B＜A＜A+)，根据该标注质量信息显示确定有该标注对象对于图像类型的处理能力应对应为A+，则可以根据该标注质量信息对能力标签修正为该标注对象对图像类型的处理能力为A+，并根据修正后的标签确定后续发送给该标注对象的目标待标注数据。

其中，后续发送给该标注对象的目标待标注数据可以根据实际情况对待标注数据的难度进行调整，以将与处理能力为A+对应的待标注数据确定为目标待标注数据，也可以调整后续发送给该标注对象的与处理能力为B对应的待标注数据的目标标注数据的数量，以便于该标注对象获取更多的与处理能力为B对应的待标注数据，以提供与标注对象能力对应的待标注数据，便于待标注对象获取更为匹配能力的待标注数据。

本实施例在上述图2所对应实施例的基础上，进一步的可以根据标注对象对待标注数据的标注结果来调整与该待标注数据类型对应的能力标签，以便于后续根据该调整后的能力标签，调整对该标注对象下发的目标待标注数据的种类、数量，在保证标注数据工作质量的前提下，提升工作效率。

在本实施例的一些可选的实现方式中，为了确定历史标注数据对应的平均打回轮次的质量，避免因个别异常数据影响到确定的平均打回轮次的质量，获取与该历史标注数据对应的平均打回轮次，包括：获取该待标注数据的数据类型，并根据该数据类型确定有效数据调整规则；根据该有效数据调整规则对该历史标注数据对应的打回轮次数据集合进行调整，该打回轮次数据集合中记录有对该历史标注数据进行标注的标注对象的数量以及与各标注对象对应的打回轮次；根据调整后的打回轮次数据集合获取与该历史标注数据对应的平均打回轮次。

具体的，可以根据待标注数据的数据类型确定相应的筛选规则(例如在图像类型下，可以去除用于计算平均打回轮次的打回轮次数据集合中的首10％和/或尾10％的数据，以避免异常数据影响到计算到的平均打回轮次的结果)，在确定待标注数据类型后，获取预该待标注数据类型对应的有效数据调整规则，并根据该有效数据调整规则对历史标注数据对应的打回轮次数据集合进行调整，以便于去除该打回轮次数据集合中的异常数据，并根据调整后的打回轮次数据集合确定更为准确的平均打回轮次。

在上述任一实施例的基础上，该标注数据处理方法还包括：根据该标注对象分别对不同的待标注数据进行标注后得到的标注质量信息生成标注质量信息集合；响应于该标注质量信息集合中一类标注质量信息的数量占比超过第一预设比例，为该标注对象生成第一标识；其中，该一类标注质量信息指标注质量信息反映的标注质量低于预设的标注质量。

具体的，获取该标注对象与各个标注数据对应的标注质量信息，并生成相应的标注质量信息集合后，根据对标注对象的评价需求设置相应的评价标准、确定预设的标注质量，以及对应的预设比例后，根据该评价标准对标注质量信息集合中的标注质量信息进行划分，将标注质量信息反映待标注质量低于该预设的标注质量的标注质量信息确定为一类标注质量信息，在该标注质量信息中存在的一类标注质量信息的数量占比超过第一预设比例时，生成与该标注对象对应的第一标识，以在考虑多次标注质量信息的情况下，更为直观的体现该标注对象的在对于不同的待标注数据的进行处理时的评价。

相应的，为了更加全面的呈现对于标注对象的评价，在一些可选的实施例中，该标注数据处理方法，还包括：响应于该标注质量信息集合中二类标注质量信息的数量占比超过第二预设比例，为该标注对象生成第二标识；其中，该二类标注质量信息指标注质量信息反映的标注质量高于预设的标注质量。

具体的，获取该标注对象与各个标注数据对应的标注质量信息，并生成相应的标注质量信息集合后，根据对标注对象的评价需求设置相应的评价标准、确定预设的标注质量，以及对应的预设比例后，根据该评价标准对标注质量信息集合中的标注质量信息进行划分，将标注质量信息反映待标注质量低于该预设的标注质量的标注质量信息确定为一类标注质量信息，在该标注质量信息中存在的一类标注质量信息的数量占比超过第一预设比例时，生成与该标注对象对应的第一标识，以在考虑多次标注质量信息的情况下，更为直观的体现该标注对象的在对于不同的待标注数据的进行处理时的评价。

具体的，根据对标注对象的评价需求设置相应的评价标准、确定预设的标注质量，以及对应的预设比例后，根据该评价标准对标注质量信息集合中的标注质量信息进行划分，将标注质量信息反映待标注质量高于该预设的标注质量的标注质量信息确定为二类标注质量信息，在该标注质量信息中存在的二类标注质量信息的数量占比超过第二预设比例时，生成与该标注对象对应的第二标识，以在考虑多次标注质量信息的情况下，更为直观的体现该标注对象的在对于不同的待标注数据的进行处理时的评价。

在一些可选的实施例中，上述用于确定一类、二类标注质量信息时所用设置的预设的标注质量可以不同，以满足不同的标记、反馈需求。

进一步的，为了更加直观的了解到不同标注对象的处理能力、处理质量，以便于更合理的确定标注对象和对应的待标注数据，该标注数据处理方法还包括：根据各标注对象各自对应的第一标识和/或第二标识的数量关系，生成与各标注对象相对应的标注能力等级信息；根据该标注能力等级信息对各标注对象进行排序，并根据排序结果生成标注对象信息清单。

具体的，还可以将各标注对象各自对应的第一标识和/或第二标识的数量关系生成与各标注对象相对应的标注能力等级信息，并根据该标注能力等级信息对各标注对象进行排序，以最终根据排序结果生成标注对象信息清单，便于根据该信息清单直观的了解到各标注对象的标注数据处理质量和能力。

为加深理解，本公开还结合一个具体应用场景，给出了一种具体的实现方案，生成与待标注对象A对应的标注质量信息，具体如下：

获取到图像类型的待标注数据后，确定与该待标注数据类型一致的历史标注数据，确定与该历史标注数据对应的打回轮次数据集合，该打回轮次数据集合中记录有(标注对象B-打回轮次11次，标注对象C-打回轮次13次，标注对象D-打回轮次13次，标注对象E-打回轮次15次)；

获取与图像类型对应的有效数据调整规则(去除打回轮次数据集合中最高的一个打回轮次和最低的一个打回轮次)，并根据该调整规则对打回轮次数据集合进行调整后，确定该历史标注数据对应的平均打回轮次(13次)。

获取标注对象A的实际打回轮次10次，基于该实际打回轮次与平均打回轮次的轮次差，确定评价系数(3/13)，确定对该待标注数据进行标注的标注质量信息“领先历史均值约23％，完成效率高”，以获取到更为准确的标注对象对该待标注数据的标注质量信息。

进一步参考图4，作为对上述各图所示方法的实现，本公开提供了一种标注数据处理装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图4所示，本实施例的标注数据处理装置400可以包括：历史标注数据获取及平均轮次确定单元401、实际轮次确定单元402和质量信息生成单元403。其中，历史标注数据获取及平均轮次确定单元401中包括被配置成被配置成确定与待标注数据类型一致的历史标注数据的历史标注数据获取子单元，以及被配置成获取与该历史标注数据对应的平均打回轮次的平均轮次确定子单元；实际轮次确定单元402，被配置成获取标注对象对该待标注数据进行标注的过程中的实际打回轮次；质量信息生成单元403，被配置成根据该实际打回轮次和该平均打回轮次的轮次差，确定对该待标注数据进行标注的标注质量信息。

在本实施例中，标注数据处理装置400中：历史标注数据获取及平均轮次确定单元401、实际轮次确定单元402和质量信息生成单元403的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-203的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，该标注数据处理装置400还包括：能力标签获取单元，被配置成获取该标注对象与该待标注数据类型对应的能力标签；能力标签修正及分配调整单元，被配置成根据该标注质量信息对该能力标签进行修正，并根据修正后的标签确定后续发送给该标注对象的目标待标注数据。

在本实施例的一些可选的实现方式中，该平均轮次确定子单元，包括：调整规则确定模块，被配置成获取该待标注数据的数据类型，并根据该数据类型确定有效数据调整规则；轮次数据调整模块，被配置成根据该有效数据调整规则对该历史标注数据对应的打回轮次数据集合进行调整，该打回轮次数据集合中记录有对该历史标注数据进行标注的标注对象的数量以及与各标注对象对应的打回轮次；平均轮次确定模块，被配置成根据调整后的打回轮次数据集合获取与该历史标注数据对应的平均打回轮次。

在本实施例的一些可选的实现方式中，该标注数据处理装置400还包括：期望轮次获取单元，被配置成获取标注数据的期望打回轮次；平均轮次调整单元，被配置成响应于该期望打回轮次小于该平均打回轮次数，且该期望打回轮次与该平均打回轮次之间的差距大于第一预设阈值，根据该期望打回轮次调整该平均打回轮次。

在本实施例的一些可选的实现方式中，该标注数据处理装置400还包括：质量信息集合生成单元，被配置成根据该标注对象分别对不同的待标注数据进行标注后得到的标注质量信息生成标注质量信息集合；；第一标识生成单元，被配置成响应于该标注质量信息集合中一类标注质量信息的数量占比超过第一预设比例，为该标注对象生成第一标识；其中，该一类标注质量信息指标注质量信息反映的标注质量低于预设的标注质量。

在本实施例的一些可选的实现方式中，该标注数据处理装置400还包括：第二标识生成单元，被配置成第二标识生成单元，被配置成响应于该标注质量信息集合中二类标注质量信息的数量占比超过第二预设比例，为该标注对象生成第二标识；其中，该二类标注质量信息指标注质量信息反映的标注质量高于预设的标注质量。

在本实施例的一些可选的实现方式中，该标注数据处理装置400还包括：标注能力等级生成单元，被配置成根据各标注对象各自对应的第一标识和/或第二标识的数量关系，生成与各标注对象相对应的标注能力等级信息；标注对象清单生成单元，根据该标注能力等级信息对各标注对象进行排序，并根据排序结果生成标注对象信息清单。

本实施例作为对应于上述方法实施例的装置实施例存在，本实施例提供的标注数据处理装置基于与待标注数据类型一致的历史数据确定平均打回轮次后，获取标注对象对待标注数据进行标注的过程中的实际打回轮次，通过比较平均打回轮次与实际标注过程的实际打回轮次，确定出打回的轮次差，从而基于该轮次差的大小来更准确的反映标注对象在对待标注数据进行标注的标注质量信息，提升标注质量信息的准确性。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如标注数据处理方法。例如，在一些实施例中，标注数据处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的标注数据处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行标注数据处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS，Virtual Private Server)服务中存在的管理难度大，业务扩展性弱的缺陷。服务器也可以分为分布式系统的服务器，或者是结合了区块链的服务器。

根据本公开实施例的技术方案，基于与待标注数据类型一致的历史数据确定平均打回轮次后，获取标注对象对待标注数据进行标注的过程中的实际打回轮次，通过比较平均打回轮次与实际标注过程的实际打回轮次，确定出打回的轮次差，从而基于该轮次差的大小来更准确的反映标注对象在对待标注数据进行标注的标注质量信息，提升标注质量信息的准确性。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种标注数据处理方法，包括：

确定与待标注数据类型一致的历史标注数据，并获取与所述历史标注数据对应的平均打回轮次；

获取标注对象对所述待标注数据进行标注的过程中的实际打回轮次；

根据所述实际打回轮次和所述平均打回轮次的轮次差，确定对所述待标注数据进行标注的标注质量信息。

2.根据权利要求1所述的方法，还包括：

获取所述标注对象与所述待标注数据类型对应的能力标签；

根据所述标注质量信息对所述能力标签进行修正，并根据修正后的标签确定后续发送给所述标注对象的目标待标注数据。

3.根据权利要求2所述的方法，其中，所述获取与所述历史标注数据对应的平均打回轮次，包括：

获取所述待标注数据的数据类型，并根据所述数据类型确定有效数据调整规则；

根据所述有效数据调整规则对所述历史标注数据对应的打回轮次数据集合进行调整，所述打回轮次数据集合中记录有对所述历史标注数据进行标注的标注对象的数量以及与各标注对象对应的打回轮次；

根据调整后的打回轮次数据集合获取与所述历史标注数据对应的平均打回轮次。

4.根据权利要求1所述的方法，还包括：

获取标注数据的期望打回轮次；

响应于所述期望打回轮次小于所述平均打回轮次数，且所述期望打回轮次与所述平均打回轮次之间的差距大于第一预设阈值，根据所述期望打回轮次调整所述平均打回轮次。

5.根据权利要求1所述的方法，还包括：

根据所述标注对象分别对不同的待标注数据进行标注后得到的标注质量信息生成标注质量信息集合；

响应于所述标注质量信息集合中一类标注质量信息的数量占比超过第一预设比例，为所述标注对象生成第一标识；其中，所述一类标注质量信息指标注质量信息反映的标注质量低于预设的标注质量。

6.根据权利要求5所述的方法，还包括：

响应于所述标注质量信息集合中二类标注质量信息的数量占比超过第二预设比例，为所述标注对象生成第二标识；其中，所述二类标注质量信息指标注质量信息反映的标注质量高于预设的标注质量。

7.根据权利要求6所述的方法，还包括：

根据各标注对象各自对应的第一标识和/或第二标识的数量关系，生成与各标注对象相对应的标注能力等级信息；

根据所述标注能力等级信息对各标注对象进行排序，并根据排序结果生成标注对象信息清单。

8.一种标注数据处理装置，包括：

历史标注数据获取及平均轮次确定单元，所述历史标注数据获取及平均轮次确定单元中包括被配置成被配置成确定与待标注数据类型一致的历史标注数据的历史标注数据获取子单元，以及被配置成获取与所述历史标注数据对应的平均打回轮次的平均轮次确定子单元；

实际轮次确定单元，被配置成获取标注对象对所述待标注数据进行标注的过程中的实际打回轮次；

质量信息生成单元，被配置成根据所述实际打回轮次和所述平均打回轮次的轮次差，确定对所述待标注数据进行标注的标注质量信息。

9.根据权利要求8所述的装置，还包括：

能力标签获取单元，被配置成获取所述标注对象与所述待标注数据类型对应的能力标签；

能力标签修正及分配调整单元，被配置成根据所述标注质量信息对所述能力标签进行修正，并根据修正后的标签确定后续发送给所述标注对象的目标待标注数据。

10.根据权利要求9所述的装置，其中，所述平均轮次确定子单元，包括：

调整规则确定模块，被配置成获取所述待标注数据的数据类型，并根据所述数据类型确定有效数据调整规则；

轮次数据调整模块，被配置成根据所述有效数据调整规则对所述历史标注数据对应的打回轮次数据集合进行调整，所述打回轮次数据集合中记录有对所述历史标注数据进行标注的标注对象的数量以及与各标注对象对应的打回轮次；

平均轮次确定模块，被配置成根据调整后的打回轮次数据集合获取与所述历史标注数据对应的平均打回轮次。

11.根据权利要求8所述的装置，还包括：

期望轮次获取单元，被配置成获取标注数据的期望打回轮次；

平均轮次调整单元，被配置成响应于所述期望打回轮次小于所述平均打回轮次数，且所述期望打回轮次与所述平均打回轮次之间的差距大于第一预设阈值，根据所述期望打回轮次调整所述平均打回轮次。

12.根据权利要求8所述的装置，还包括：

质量信息集合生成单元，被配置成根据所述标注对象分别对不同的待标注数据进行标注后得到的标注质量信息生成标注质量信息集合；；

第一标识生成单元，被配置成响应于所述标注质量信息集合中一类标注质量信息的数量占比超过第一预设比例，为所述标注对象生成第一标识；其中，所述一类标注质量信息指标注质量信息反映的标注质量低于预设的标注质量。

13.根据权利要求12所述的装置，还包括：

第二标识生成单元，被配置成响应于所述标注质量信息集合中二类标注质量信息的数量占比超过第二预设比例，为所述标注对象生成第二标识；其中，所述二类标注质量信息指标注质量信息反映的标注质量高于预设的标注质量。

14.根据权利要求13所述的装置，还包括：

标注能力等级生成单元，被配置成根据各标注对象各自对应的第一标识和/或第二标识的数量关系，生成与各标注对象相对应的标注能力等级信息；

标注对象清单生成单元，根据所述标注能力等级信息对各标注对象进行排序，并根据排序结果生成标注对象信息清单。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的标注数据处理方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的标注数据处理方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的标注数据处理方法。

Images