CN113313196A - 标注数据处理方法、相关装置及计算机程序产品 - Google Patents

Abstract

本公开提供了标注数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，涉及数据标注、信息处理和任务分配等人工智能技术领域。该方法的一具体实施方式包括：根据待标注任务的数据类型和标注需求种类确定相应的标注需求项后，确定与该标注需求项对应的第一能力项，在不存在完全具有该第一能力项的匹配标注对象时，根据剩余的非匹配标注对象所具有的第二能力项与该第一能力项的差异，确定替代标注对象，最终将该待标注任务分配给该替代标注对象进行标注，得到替代标注结果。该实施方式在缺少与标注需求项完全匹配的标注对象时寻找替代标注对象，以通过替代标注对象提升数据标注质量。

Description

标注数据处理方法、相关装置及计算机程序产品

技术领域

本公开涉及计算机技术领域，具体涉及数据标注、信息处理和任务分配等人工智能技术领域，尤其涉及标注数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

随着人工智能在各方面的发展和应用，对数据进行符合要求的标注的需求量得到空前增长。数据标注是为人工智能算法提供结构化数据的过程，标注过程一般通过数据众包或者代理的方式，由标注员去完成。现今的自动标注模型的实用性还无法满足要求。

因此，如何更好的处理标注数据，是本领域技术人员研究的重点。

发明内容

本公开实施例提出了一种标注数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

第一方面，本公开实施例提出了一种标注数据处理方法，包括：根据待标注任务的数据类型和标注需求种类确定相应的标注需求项；确定与该标注需求项对应的第一能力项；响应于不存在完全具有该第一能力项的匹配标注对象，根据剩余的非匹配标注对象所具有的第二能力项与该第一能力项的差异，确定替代标注对象；将该待标注任务分配给该替代标注对象进行标注，得到替代标注结果。

第二方面，本公开实施例提出了一种标注数据处理装置，包括：标注需求项确定单元，被配置成根据待标注任务的数据类型和标注需求种类确定相应的标注需求项；第一能力项确定单元，被配置成确定与该标注需求项对应的第一能力项；替代标注对象确定单元，被配置成响应于不存在完全具有该第一能力项的匹配标注对象，根据剩余的非匹配标注对象所具有的第二能力项与该第一能力项的差异，确定替代标注对象；替代标注结果生成单元，被配置成将该待标注任务分配给该替代标注对象进行标注，得到替代标注结果。

第三方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的标注数据处理方法。

第四方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的标注数据处理方法。

第五方面，本公开实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的标注数据处理方法。

本公开实施例提供的标注数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，根据待标注任务的数据类型和标注需求种类确定相应的标注需求项后，确定与该标注需求项对应的第一能力项，在不存在完全具有该第一能力项的匹配标注对象时，根据剩余的非匹配标注对象所具有的第二能力项与该第一能力项的差异，确定替代标注对象，最终将该待标注任务分配给该替代标注对象进行标注，得到替代标注结果。

本公开在缺少与基于待标注任务的数据类型和标注需求种类确定的标注需求项完全匹配的标注对象时，通过剩余的非匹配标注对象所具有的第二能力项与第一能力项的差异寻找替代标注对象，以通过替代标注对象提升数据标注质量。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：

图1是本公开可以应用于其中的示例性系统架构；

图2为本公开实施例提供的一种标注数据处理方法的流程图；

图3为本公开实施例提供的另一种标注数据处理方法的流程图；

图4为本公开实施例提供的在一应用场景下的标注数据处理方法的流程示意图；

图5为本公开实施例提供的一种标注数据处理装置的结构框图；

图6为本公开实施例提供的一种适用于执行标注数据处理方法的电子设备的结构示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

此外，本公开涉及的技术方案中，所涉及的用户个人信息的获取(例如待标注任务中涉及到的用户个人信息)、存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

图1示出了可以应用本公开的标注数据处理方法、装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103和服务器105上可以安装有各种用于实现两者之间进行信息通讯的应用，例如众包标注类应用、协作办公类应用、即时通讯类应用等。

终端设备101、102、103和服务器105可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等；当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器；服务器为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。

服务器105通过内置的各种应用可以提供各种服务，以可以提供待标注任务和标注对象匹配、下发的众包标注类应用为例，服务器105在运行该众包标注类应用时可实现如下效果：首先，通过网络104从终端设备101接收传入的待标注任务；然后，确定该待标注任务的数据类型和标注需求种类确定相应的标注需求项；接着，确定与该标注需求项对应的第一能力项；接下来，在不存在完全具有该第一能力项的匹配标注对象的时候，根据剩余的非匹配标注对象所具有的第二能力项与该第一能力项的差异，确定替代标注对象；最后，将该待标注任务分配给该替代标注对象对应的终端设备(例如终端设备102、103)进行标注，得到替代标注结果。

需要指出的是，待标注任务除可以从终端设备101或其它终端设备通过网络104获取到之外，也可以通过各种方式预先存储在服务器105本地。因此，当服务器105检测到本地已经存储有这些数据时(例如开始处理之前留存的待标注任务)，可选择直接从本地获取这些数据，此外，服务器105也可以直接从终端设备101或其它终端设备中之前获取到待标注任务的数据类型和标注需求种类，以便于在服务器105本地根据获取到的待标注任务的数据类型和标注需求种类确定相应的标注需求向后，寻找到合适的替代标注对象，直接指示将待标注任务发送给替代标注对象，以减少待标注任务的多次传输，提高交互效率。

本公开后续各实施例所提供的标注数据处理方法一般由拥有任务分配和统筹能力的服务器105来执行，相应地，标注数据处理装置一般也设置于服务器105中。但同时也需要指出的是，在终端设备101、102、103也具有满足要求的任务分配和统筹能力时，终端设备101、102、103也可以通过其上安装的众包标注类应用完成上述本交由服务器105做的各项运算，进而输出与服务器105同样的结果。在此种情况下，示例性系统架构100也可以不包括服务器105和网络104。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

请参考图2，图2为本公开实施例提供的一种标注数据处理方法的流程图，其中流程200包括以下步骤：

步骤201，根据待标注任务的数据类型和标注需求种类确定相应的标注需求项。

在本实施例中，由标注数据处理方法的执行主体(例如图1所示的服务器105)在获取到待标注任务后，根据该待标注任务的数据类型和标注需求种类确定相应的标注需求项，其中，数据类型通常可以包括图像类型、音频类型和文本类型等，标注需求通常与数据类型相对应，例如提取图像特征、圈定图像中的特定对象等。

需要指出的是，待标注任务可以由上述执行主体直接从本地的存储设备获取，也可以从非本地的存储设备(例如图1所示的终端设备101、102、103)中获取。本地的存储设备可以是设置在上述执行主体内的一个数据存储模块，例如服务器硬盘，在此种情况下，待标注任务和对应的数据类型可以在本地快速读取到；非本地的存储设备还可以为其它任何被设置用于存储数据的电子设备，例如一些用户终端等，在此情况下，上述执行主体可以通过向该电子设备发送获取命令来获取所需的待标注任务和数据类型。

应当理解的是，待标注任务可以为请求方用户预先上传至上述执行主体的，也可以是即时的根据需求上传的，也可以是在请求方用户向上述执行主体发送标注数据处理请求后，上述执行主体根据该数据处理请求中包括的数据类型和标注需求来确定相应的标注需求项，以实现无需直接获取该标注任务对应的文件、即可获取标注需求项的目的，以减少数据传输，增强交互效率。

步骤202，确定与标注需求项对应的第一能力项。

在本实施例中，在上述步骤201的基础上获取到标注需求项后，上述执行主体根据该标注需求项中的内容确定可以满足该标注需求项的第一能力项，该第一能力项可用于表征处理该待标注任务时，所需要的标注对象具备的能力。

其中，该第一能力项通常可以包括具体的能力类别作为能力项，例如图像特征提取能力、图像打点能力、音频切分能力、音频混合能力等，对应能力项设置相应的能力项参数，作为对能力项下具体能力水平的体现，例如“优秀”、“良好”、“具备基础能力”、“不具备基础能力”等作为能力项对应的能力项参数，以便于区分标注对象对应不同能力类别下的实际处理能力。

应当理解的是，在针对标注需求项确定对应的第一能力项时，该第一能力项可以是一个或者多个不同能力类别的组合，以判断标注对象是否具有相应的能力，以完成较为复杂的标注数据处理工作，例如该标注需求项为“在图像中提取目标车辆，并标注目标车辆所处的车道”，则对应的第一能力项可以为“优秀的图像特征提取能力”和“优秀的车道线划分能力”。

步骤203，响应于不存在完全具有第一能力项的匹配标注对象，根据剩余的非匹配标注对象所具有的第二能力项与第一能力项的差异，确定替代标注对象。

在本实施例中，在基于上述步骤202中确定有与标注需求项对应的第一能力项后，在无法搜寻到完全具有该第一能力项的匹配标注对象时，即不存在完全满足标注需求项对应的第一能力项要求的匹配标注对象时，则根据剩余的非匹配标注对象所具有的第二能力项所对应的各个能力类别与该第一能力项所要求的能力类别之间的差异来确定替代标注对象，例如，第一能力项所要求的视频特征提取能力，在不存在完全具有视频特征提取能力时，因图像特征提取与视频特征提取较为接近、差异较小，则可以将视频拆分为多个帧图像的方式，寻找图像特征提取能力可以满足要求的替代对象，确定替代标注对象。

其中，第一能力项与第二能力项之间的差异，可以是针对同类别能力上能力等级的差异，也可以是较为近似的、不同类别能力的差异，在基于不同类别能力确定替代标注对象时，可以基于第一能力项和第二能力项所对应的能力的语义分析结果，以确定第一能力项和第二能力项之间的近似程度，在近似程度满足预设要求时，确定相应的替代标注对象。

进一步的，根据待标注任务的实际需求不同，还可以相应的设置有不同的差异容忍范围，以寻找与该待标注任务对应的标注需求项所需求能力较为近似的至少一个替代标注对象。

步骤204，将待标注任务分配给替代标注对象进行标注，得到替代标注结果。

在本实施例中，在基于上述步骤203中确定有替代标注对象后，将待标注任务分配给该替代标注对象进行标注，以得到替代标注结果。

本公开实施例提供的标注数据处理方法，在缺少与基于待标注任务的数据类型和标注需求种类确定的标注需求项完全匹配的标注对象时，通过剩余的非匹配标注对象所具有的第二能力项与第一能力项的差异寻找替代标注对象，以通过替代标注对象提升数据标注质量。

在本实施例的一些可选的实现方式中，该标注数据处理方法，还包括：根据该替代标注结果与该待标注任务的标准标注结果之间的差异，调整该替代标注对象的能力项和/或能力项参数。

具体的，在获取到替代标注对象进行标注后得到的替代标注结果后，还可以将该替代标注结果与基于其他方式确定的该待标注任务的标准标注结果进行比较，以确定替代标注结果和标准标注结果之间的差异，以实现对替代标注对象的标注质量进行评价，并根据该差异对替代标注对象的能力项和/或能力项参数进行调整，即对替代标注对象的能力类别、能力等级等内容进行调整，以反馈出该替代标注对象的真实能力，以实现对替代标注对象更为全面、有效的评价，以便于后续根据该替代标注对象的能力项和/或能力项参数进行任务分配，提升标注数据处理的效率。

进一步的，为了更加准确的反映出替代对象的标注能力，避免因替代对象在针对本次的待标注任务进行替代标注过程中，因状态异常造成错误的反馈，在本实施例的一些可选的实现方式中，根据该替代标注结果与该待标注任务的标准标注结果的差异，调整该替代标注对象的能力项和/或能力项参数，包括：响应于该替代标注结果与该待标注任务的标准结果的差异程度小于第一差异程度，获取具有该标注需求项的验证标注数据；获取该替代标注对象对该验证标注数据进行标注得到的验证标注结果；响应于该验证标注结果与相应的标准结果的差异程度小于第二差异程度，调整该替代标注对象的能力项和/或能力项参数；其中，该第一差异程度小于第二差异程度。

具体的，在确定替代标注结果与待标注任务的标准标注结果之间的差异程度小于第一差异程度时，获取具有该标注需求项的验证标注数据，该验证标注数据的数据类型和标注需求种类与待标注任务数据相近，并将该验证标注数据发送给该替代标注对象进行标注，得到相应的验证标注结果，在该验证标注结果与相应的标准结果的差异程度小于第二差异程度，调整该替代标注对象的能力项和/或能力项参数。

其中，第一差异程度可以根据实际的需求，根据期望对替代标注对象的能力项和/或能力项参数进行更新时的标准进行确定，例如在替代标注结果与待标注任务的标准标注结果之间的差异度小于5％时，则认为替代标注对象可能存在有与该标注需求项相对应的第一能力项，需要对该替代标注对象的能力项和/或能力项进行更新，同理，第二差异程度也可以根据实际的需求进行设置，以便于在确定验证标注结果与相应的标准结果的差异程度小于第二差异程度小于该第二差异程度时，确定该替代标注对象具有与该标注需求项相对应的第一能力项。

请参考图3，图3为本公开实施例提供的另一种标注数据处理方法的流程图，其中流程300包括以下步骤：

步骤301，根据待标注任务的数据类型和标注需求种类确定相应的标注需求项。

步骤302，确定与标注需求项对应的第一能力项。

步骤303，根据第二能力项和第一能力项各自对应的能力类别，确定相同能力类别和缺失能力类别。

在本实施例中，根据第二能力项和第一能力项各自对应的能力类别，并从中筛选出第一能力项和第二能力项同时存在的相同能力类别，以及在第一能力项存在的、第二能力项不存在的缺失能力类别。

步骤304，根据相同能力类别的第一能力项和第二能力项的能力项参数，确定相同能力类别下的已有能力差异。

在本实施例中，根据上述步骤303中确定的相同能力类别下，第一能力项中需求的期望能力项参数和第二能力项中的实际能力项参数，确定在该相同能力类别下的已有能力差异。

步骤305，根据缺失能力类别确定缺失能力差异。

在本实施例中，将上述步骤中确定的第一能力项存在的、第二能力项不存在的缺失能力类别，作为缺失能力差异。

步骤306，根据已有能力差异和缺失能力差异，确定替代标注对象。

在本实施例中，根据已有能力差异和缺失能力差异，确定该替代标注对象，通常，可以为已有能力差异设置相应的阈值条件，在已有能力差异处于满足该阈值条件的要求时，确定该已有能力差异是“可被接受”的，以及利用设置核心能力类别的方式，以确定第二能力项中相对于第一能力项所缺失的能力类别是否为核心类别，在确定缺失能力为非核心类别时，同样确定该差异是“可被接受的”，在两者均属于“可被接受”的情况下，可确定对应的替代标注对象。

在实践中，为了便于确定已有能力差异和缺失能力差异各自、整体是否为“可被接受”的，可以相应的为已有能力差异和缺失能力差异各自进行打分，以便于根据打分结果确定该替代标注对象所对应的第二能力项与第一能力项之间的差异是否“可被接受”。

步骤307，将待标注任务分配给替代标注对象进行标注，得到替代标注结果。

以上步骤301、302和307与如图2所示的步骤201、202、204相对于，相同部分内容请参见上一实施例的相应部分，此处不再进行赘述，本实施例中提供的标注数据处理方法，在图2所示的实施例的基础上，进一步的细化第一能力项和第二能力项之间差异情况，以便于根据细化都得到的已有能力差异能缺失能力差异对标注对象进行更为准确的分析，筛选出最为接近标注需求项的替代标注对象。

在本实施例的一些可选的实现方式中，根据该已有能力差异和该缺失能力差异，确定该替代标注对象，包括：获取与该已有能力差异对应的第一权值、与该缺失能力差异对应的第二权值；利用经该第一权值加权后的已有能力差异、经该第二权值加权后的缺失能力差异，确定综合差异；根据该综合差异确定该替代标注对象。

具体的，为了综合考虑已有可能差异和缺失能力差异，可以与标注需求项对应的或者待标注任务的请求方的实际需求设置相应的与已有能力差异对应的第一权值和与缺失能力差异对应的第二权值，进一步利用经该第一权值加权后的已有能力差异、经该第二权值加权后的缺失能力差异，确定综合差异，在该综合差异满足要求时，根据该综合差异确定该替代标注对象，以便于综合考虑已有可能差异和缺失能力差异，筛选出最为接近标注需求项的替代标注对象。

其中，为了提供质量更为优的标注数据处理工作，优选地，第一权值和第二权值基于待标注任务的请求方的权重说明信息确定得到，以便于根据该权重说明信息为该请求方配置相应的权值，寻找到符合请求方要求的替代标注对象。

在本实施例的一些可选的实现方式中，该根据该综合差异确定该替代标注对象，包括：将拥有数值最小的综合差异的非匹配标注对象，确定为该替代标注对象；或按该综合差异的数值大小排序，将排在前预设数量或前预设比例的拥有数值较大的非匹配标注对象确定为该替代标注对象。

具体的，在基于上述方式确定有综合差异后，可以将拥有数值最小的综合差异的非匹配标注对象，确定为该替代标注对象，以便于确定与标注需求项对应的第一能力项差异最小的替代标注对象，或按照相近似的方式，将综合差异的数值大小排序，将排在前预设数量或前预设比例的拥有数值较大的非匹配标注对象确定为该替代标注对象，以便于确定多个质量较高的替代标注对象。

为加深理解，本公开还结合一个具体应用场景，给出了一种具体的实现方案，请参见如图4所示的流程400，其中包括待标注任务的请求方A，用于执行标注数据处理方法的服务器B，以及替代标注对象C。

步骤401，接收待标注任务。

具体的，由请求方A向服务器B发送待标注数据任务，该待标注数据任务为“标注音频文件中存在的背景音乐播放开始时间、结束时间以及背景音乐内容”。

步骤402，确定标注需求项目。

具体的，由服务器B根据待标注任务的数据类型和标注需求种类确定相应的标注需求项，即确定数据类型为“音频类型”，需求种类为“提取音频中的背景音乐”。

步骤403，确定与标注需求项对应的第一能力项。

具体的，服务器B确定与标注需求项对应的第一能力项为“拆分音频文件”和“提取音频中的部分音乐”。

步骤404，确定替代标注对象。

具体的，在服务器B响应于不存在完全具有该第一能力项的匹配标注对象时，根据剩余的非匹配标注对象所具有的第二能力项与该第一能力项的差异，其中确定到非匹配标注对象C具有的第二能力项为“拆分视频”和“提取视频中的背景音乐”，该替代标注对象第二能力项与第一能力项之间的差异满足预设要求，将该非匹配标注对象C确定为替代标注对象。

步骤405，将待标注任务分配给替代标注对象进行标注。

具体的，服务器B将该标注任务分配给替代标注对象C进行标注，并从替代标注对象C处获取替代标注结果。

步骤406，将替代标注结果返回至请求方A。

进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种标注数据处理装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的标注数据处理装置500可以包括：标注需求项确定单元501、第一能力项确定单元502、替代标注对象确定单元503和替代标注结果生成单元504。其中，标注需求项确定单元501，被配置成根据待标注任务的数据类型和标注需求种类确定相应的标注需求项；第一能力项确定单元502，被配置成确定与该标注需求项对应的第一能力项；替代标注对象确定单元503，被配置成响应于不存在完全具有该第一能力项的匹配标注对象，根据剩余的非匹配标注对象所具有的第二能力项与该第一能力项的差异，确定替代标注对象；替代标注结果生成单元504，被配置成将该待标注任务分配给该替代标注对象进行标注，得到替代标注结果。

在本实施例中，标注数据处理装置500中：标注需求项确定单元501、第一能力项确定单元502、替代标注对象确定单元503和替代标注结果生成单元504的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-204的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，该替代标注对象确定单元503，包括：能力类别确定子单元，被配置成根据该第二能力项和该第一能力项各自对应的能力类别，确定相同能力类别和缺失能力类别；已有能力差异确定子单元，被配置成根据该相同能力类别的第一能力项和第二能力项的能力项参数，确定相同能力类别下的已有能力差异；缺失能力差异确定子单元，被配置成根据该缺失能力类别确定缺失能力差异；替代标注对象确定子单元，被配置成根据该已有能力差异和该缺失能力差异，确定该替代标注对象。

在本实施例的一些可选的实现方式中，该替代标注对象确定子单元503，包括：第一权值获取模块，被配置成获取与该已有能力差异对应的第一权值；第二权值获取模块，被配置成获取与该缺失能力差异对应的第二权值；综合差异确定模块，被配置成利用经该第一权值加权后的已有能力差异、经该第二权值加权后的缺失能力差异，确定综合差异；替代标注对象确定模块，被配置成根据该综合差异确定该替代标注对象。

在本实施例的一些可选的实现方式中，第一权值和该第二权值基于该待标注任务的请求方的权重说明信息确定得到。

在本实施例的一些可选的实现方式中，该替代标注对象确定模块进一步被配置成，将拥有数值最小的综合差异的非匹配标注对象，确定为该替代标注对象；或按该综合差异的数值大小排序，将排在前预设数量或前预设比例的拥有数值较大的非匹配标注对象确定为该替代标注对象。

在本实施例的一些可选的实现方式中，该标注数据处理装置500，还包括：能力调整单元，被配置成根据该替代标注结果与该待标注任务的标准标注结果之间的差异，调整该替代标注对象的能力项和/或能力项参数。

在本实施例的一些可选的实现方式中，该能力调整单元，包括：验证标注数据获取子单元，被配置成响应于该替代标注结果与该待标注任务的标准结果的差异程度小于第一差异程度，获取具有该标注需求项的验证标注数据；验证标注结果获取子单元，被配置成获取该替代标注对象对该验证标注数据进行标注得到的验证标注结果；能力调整子单元，被配置成响应于该验证标注结果与相应的标准结果的差异程度小于第二差异程度，调整该替代标注对象的能力项和/或能力项参数；其中，该第一差异程度小于第二差异程度。

本实施例作为对应于上述方法实施例的装置实施例存在，本实施例提供的标注数据处理装置在缺少与基于待标注任务的数据类型和标注需求种类确定的标注需求项完全匹配的标注对象时，通过剩余的非匹配标注对象所具有的第二能力项与第一能力项的差异寻找替代标注对象，以通过替代标注对象提升数据标注质量。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如标注数据处理方法。例如，在一些实施例中，标注数据处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的标注数据处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行标注数据处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS，Virtual Private Server)服务中存在的管理难度大，业务扩展性弱的缺陷。服务器也可以分为分布式系统的服务器，或者是结合了区块链的服务器。

根据本公开实施例的技术方案，在缺少与基于待标注任务的数据类型和标注需求种类确定的标注需求项完全匹配的标注对象时，通过剩余的非匹配标注对象所具有的第二能力项与第一能力项的差异寻找替代标注对象，以通过替代标注对象提升数据标注质量。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种标注数据处理方法，包括：

根据待标注任务的数据类型和标注需求种类确定相应的标注需求项；

确定与所述标注需求项对应的第一能力项；

响应于不存在完全具有所述第一能力项的匹配标注对象，根据剩余的非匹配标注对象所具有的第二能力项与所述第一能力项的差异，确定替代标注对象；

将所述待标注任务分配给所述替代标注对象进行标注，得到替代标注结果。

2.根据权利要求1所述的方法，其中，所述根据剩余的非匹配标注对象所具有的第二能力项与所述第一能力项的差异，确定替代标注对象，包括：

根据所述第二能力项和所述第一能力项各自对应的能力类别，确定相同能力类别和缺失能力类别；

根据所述相同能力类别的第一能力项和第二能力项的能力项参数，确定相同能力类别下的已有能力差异；

根据所述缺失能力类别确定缺失能力差异；

根据所述已有能力差异和所述缺失能力差异，确定所述替代标注对象。

3.根据权利要求2所述的方法，其中，所述根据所述已有能力差异和所述缺失能力差异，确定所述替代标注对象，包括：

获取与所述已有能力差异对应的第一权值、与所述缺失能力差异对应的第二权值；

利用经所述第一权值加权后的已有能力差异、经所述第二权值加权后的缺失能力差异，确定综合差异；

根据所述综合差异确定所述替代标注对象。

4.根据权利要求3所述的方法，所述第一权值和所述第二权值基于所述待标注任务的请求方的权重说明信息确定得到。

5.根据权利要求3所述的方法，其中，所述根据所述综合差异确定所述替代标注对象，包括：

将拥有数值最小的综合差异的非匹配标注对象，确定为所述替代标注对象；

或

按所述综合差异的数值大小排序，将排在前预设数量或前预设比例的拥有数值较大的非匹配标注对象确定为所述替代标注对象。

6.根据权利要求1所述的方法，还包括：

根据所述替代标注结果与所述待标注任务的标准标注结果之间的差异，调整所述替代标注对象的能力项和/或能力项参数。

7.根据权利要求6所述的方法，其中，所述根据所述替代标注结果与所述待标注任务的标准标注结果的差异，调整所述替代标注对象的能力项和/或能力项参数，包括：

响应于所述替代标注结果与所述待标注任务的标准结果的差异程度小于第一差异程度，获取具有所述标注需求项的验证标注数据；

获取所述替代标注对象对所述验证标注数据进行标注得到的验证标注结果；

响应于所述验证标注结果与相应的标准结果的差异程度小于第二差异程度，调整所述替代标注对象的能力项和/或能力项参数；其中，所述第一差异程度小于第二差异程度。

8.一种标注数据处理装置，包括：

标注需求项确定单元，被配置成根据待标注任务的数据类型和标注需求种类确定相应的标注需求项；

第一能力项确定单元，被配置成确定与所述标注需求项对应的第一能力项；

替代标注对象确定单元，被配置成响应于不存在完全具有所述第一能力项的匹配标注对象，根据剩余的非匹配标注对象所具有的第二能力项与所述第一能力项的差异，确定替代标注对象；

替代标注结果生成单元，被配置成将所述待标注任务分配给所述替代标注对象进行标注，得到替代标注结果。

9.根据权利要求8所述的装置，其中，所述替代标注对象确定单元，包括：

能力类别确定子单元，被配置成根据所述第二能力项和所述第一能力项各自对应的能力类别，确定相同能力类别和缺失能力类别；

已有能力差异确定子单元，被配置成根据所述相同能力类别的第一能力项和第二能力项的能力项参数，确定相同能力类别下的已有能力差异；

缺失能力差异确定子单元，被配置成根据所述缺失能力类别确定缺失能力差异；

替代标注对象确定子单元，被配置成根据所述已有能力差异和所述缺失能力差异，确定所述替代标注对象。

10.根据权利要求9所述的装置，其中，所述替代标注对象确定子单元，包括：

第一权值获取模块，被配置成获取与所述已有能力差异对应的第一权值；

第二权值获取模块，被配置成获取与所述缺失能力差异对应的第二权值；

综合差异确定模块，被配置成利用经所述第一权值加权后的已有能力差异、经所述第二权值加权后的缺失能力差异，确定综合差异；

替代标注对象确定模块，被配置成根据所述综合差异确定所述替代标注对象。

11.根据权利要求10所述的装置，所述第一权值和所述第二权值基于所述待标注任务的请求方的权重说明信息确定得到。

12.根据权利要求10所述的装置，其中，所述替代标注对象确定模块进一步被配置成，将拥有数值最小的综合差异的非匹配标注对象，确定为所述替代标注对象；

或

按所述综合差异的数值大小排序，将排在前预设数量或前预设比例的拥有数值较大的非匹配标注对象确定为所述替代标注对象。

13.根据权利要求8所述的装置，还包括：

能力调整单元，被配置成根据所述替代标注结果与所述待标注任务的标准标注结果之间的差异，调整所述替代标注对象的能力项和/或能力项参数。

14.根据权利要求13所述的装置，其中，所述能力调整单元，包括：

验证标注数据获取子单元，被配置成响应于所述替代标注结果与所述待标注任务的标准结果的差异程度小于第一差异程度，获取具有所述标注需求项的验证标注数据；

验证标注结果获取子单元，被配置成获取所述替代标注对象对所述验证标注数据进行标注得到的验证标注结果；

能力调整子单元，被配置成响应于所述验证标注结果与相应的标准结果的差异程度小于第二差异程度，调整所述替代标注对象的能力项和/或能力项参数；其中，所述第一差异程度小于第二差异程度。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的标注数据处理方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的标注数据处理方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的标注数据处理方法。

Images