CN113326888B - 标注能力信息确定方法、相关装置及计算机程序产品 - Google Patents

Abstract

本公开提供了一种标注能力信息确定方法、装置、电子设备、计算机可读存储介质及计算机程序产品，涉及数据标注、标注结果分析、标注任务分配等技术领域。该方法包括：根据待标注任务的标注需求确定试标对象；根据标注需求和预设的试标要求，确定试标数据；根据试标对象的属性确定试标时长，并根据试标对象在试标时长内对试标数据的标注结果，确定试标对象的标注能力信息。该实施方式结合标注需求和预设的试标要求确定了试标数据，同时根据试标对象的属性来合理的确定试标时长，权衡了标注成本和标注质量，由此，提升了标注能力信息的准确性。

Description

标注能力信息确定方法、相关装置及计算机程序产品

技术领域

本公开涉及数据处理技术领域，具体涉及数据标注、标注结果分析、标注任务分配等技术领域，尤其涉及一种标注能力信息确定方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

随着人工智能在各方面的发展和应用，对数据进行符合要求的标注的需求量得到空前增长。数据标注是为人工智能算法提供结构化数据的过程，标注过程一般通过数据众包或者代理的方式，由标注员去完成。现今的自动标注模型的实用性还无法满足要求。

因此，如何准确确定标注对象的标注能力，是本领域技术人员研究的重点。

发明内容

本公开实施例提出了一种标注能力信息确定方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

第一方面，本公开实施例提出了一种标注能力信息确定方法，包括：根据待标注任务的标注需求确定试标对象；根据标注需求和预设的试标要求，确定试标数据；根据试标对象的属性确定试标时长，并根据试标对象在试标时长内对试标数据的标注结果，确定试标对象的标注能力信息。

第二方面，本公开实施例提出了一种标注能力信息确定装置，包括：试标对象确定单元，被配置成根据待标注任务的标注需求确定试标对象；试标数据确定单元，被配置成根据标注需求和预设的试标要求，确定试标数据；试标时长及标注能力确定单元，被配置成根据试标对象的属性确定试标时长，并根据试标对象在试标时长内对试标数据的标注结果，确定试标对象的标注能力信息。

第三方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的标注能力信息确定方法。

第四方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的标注能力信息确定方法。

第五方面，本公开实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的标注能力信息确定方法。

本公开实施例提供的标注能力信息确定方法，首先，根据待标注任务的标注需求确定试标对象；然后，根据标注需求和预设的试标要求，确定试标数据；接着，根据试标对象的属性确定试标时长；最后，根据试标对象在试标时长内对试标数据的标注结果，确定试标对象的标注能力信息。

本公开在根据标注需求确定试标对象的基础上，结合标注需求和预设的试标要求确定了试标数据，同时根据试标对象的属性来合理的确定试标时长，权衡了标注成本和标注质量，由此，提升了标注能力信息的准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：

图1是本公开可以应用于其中的示例性系统架构；

图2为本公开实施例提供的一种标注能力信息确定方法的流程图；

图3为本公开实施例提供的另一种标注能力信息确定方法的流程图；

图4为本公开实施例提供的一种确定试标时长的方法的流程图；

图5为本公开实施例提供的一种标注能力信息确定装置的结构框图；

图6为本公开实施例提供的一种适用于执行标注能力信息确定方法的电子设备的结构示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，采取了必要的保密措施，且不违背公序良俗。

图1示出了可以应用本公开的标注能力信息确定方法、装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103和服务器105上可以安装有各种用于实现两者之间进行信息通讯的应用，例如标注能力信息确定类应用、标注数据传输类应用、试标数据准备类应用等。

终端设备101、102、103和服务器105可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等；当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器；服务器为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。

服务器105通过内置的各种应用可以提供各种服务，以可以提供试标和确定试标对象的标注对象服务的标注能力信息确定类应用为例，服务器105在运行该标注能力信息确定类应用时可实现如下效果：首先，通过网络104从终端设备101接收传入的待标注任务；然后，根据待标注任务的标注需求确定试标对象(例如图1所示的终端设备102、103对应的用户)；接着，根据标注需求和预设的试标要求，确定试标数据；下一步，根据试标对象的属性确定试标时长；最后，通过将试标数据通过网络104下发给终端设备102、103对应的用户来进行时长为试标时长的试标操作，最终根据接收到的终端设备102、103传回的在试标时长内对试标数据的标注结果，确定相应的试标对象的标注能力信息。

需要指出的是，待标注任务除可以从终端设备101通过网络104获取到之外，也可以通过各种方式预先存储在服务器105本地。因此，当服务器105检测到本地已经存储有这些数据时(例如开始处理之前留存的待标注任务)，可选择直接从本地获取这些数据，在此种情况下，示例性系统架构100也可以不包括终端设备101和网络104。

本公开后续各实施例所提供的标注任务处理方法一般由拥有任务分配和统筹能力的服务器105来执行，相应地，标注任务处理装置一般也设置于服务器105中。但同时也需要指出的是，在终端设备101、102、103也具有满足要求的任务分配和统筹能力时，终端设备101、102、103也可以通过其上安装的标注任务处理类应用完成上述本交由服务器105做的各项运算，进而最终得到与服务器105同样的结果。相应的，标注任务处理装置也可以设置于终端设备101、102、103中。在此种情况下，示例性系统架构100也可以不包括服务器105和网络104。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

请参考图2，图2为本公开实施例提供的一种标注能力信息确定方法的流程图，其中流程200包括以下步骤：

步骤201：根据待标注任务的标注需求确定试标对象；

本步骤旨在由标注能力确定方法的执行主体(例如图1所示的服务器105)根据待标注任务的标注需求确定与之对应的标注能力，然后根据该标注能力确定合适的标注对象作为后续进行试标注的试标对象。

其中，标注需求包括多种，从大类上可以分为判断清洗、内容转写、内容提取以及富集等多种，每种大类又可以结合具体的数据类型细分出多种子类，数据类型包括图片、语音、文本、视频、网页等，以图片+内容提取为例，可将标注需求再细分为图片元素框选、图片打点、图片区域语义定义、图片车道线标注等。同时，除对标注目标、标注形式等需求信息之外，标注需求还可以包括进行标注的标注对象的能力水平的相关需求，例如要求对图片元素框选方面进行了多少数量的历史标注行为、历史平均标注正确率等等。

在具有该标注需求对应的所有标注能力的标注对象未被占用时，可直接将其作为试标对象；在具有该标注需求对应的所有标注能力的标注对象被占用时，则可以适当的选取拥有与所需标注能力差异最小的标注对象作为试标对象。其中，差异最小既可以根据所差异的标注能力的数量来确定，也可以所差异的标注能力的重要性来确定。

步骤202：根据标注需求和预设的试标要求，确定试标数据；

在步骤201的基础上，本步骤旨在由上述执行主体根据标注需求和预设的试标要求，确定试标数据。其中，标注需求用于确定待标注任务的相关参数，以便于根据该标注需求来选取与待标注任务一致或近似的数据作为试标数据；预设的试标要求则是在该标注需求的情况下，为了全方面的覆盖标注需求对应的标注能力所给出的要求，包括对试标数据多个维度的要求，例如数据类型、所覆盖的场景类型、数据量、数据复杂度等等，结合标注需求来使试标数据能够在偏向待标注任务的基础上对全面的标注能力进行考核。

步骤203：根据试标对象的属性确定试标时长；

在步骤202的基础上，本步骤旨在由上述执行主体根据试标对象的属性确定试标时长。其中，试标对象的属性既可以包括与其身份对应的属性信息，例如性别、年龄、工龄、工作状态等等，也可以与将要进行的标注任务相关的历史标注记录信息，例如历史标注数据量、历史标注数据类型占比分布、历史平均单次标注时长、历史标注正确率、历史标注正确率随时间的变化趋势等等。

此外，上述属性信息除可以作为影响因素直接确定出试标时长外，还可以作为影响因子来修正一个用于试标的基础时长，从而将经修正后的时长作为实际的试标时长，以匹配于当前的试标对象。

步骤204：根据试标对象在试标时长内对试标数据的标注结果，确定试标对象的标注能力信息。

在步骤203的基础上，本步骤旨在由上述执行主体根据试标对象在试标时长内对试标数据的标注结果，来确定出表征试标对象的标注能力信息，该标注能力信息用于表示所属对象所实际拥有的标注能力。以便基于确定出的标注能力来确定该试标对象能否作为实际标注待标注任务的标注对象。

当根据标注需求所确定出的标注能力可细分为标注能力类别和每种能力类别下的能力值参数时，试标对象可以仅为具有与标注能力类别相应的标注能力的标注对象，然后根据本步骤确定出的标注能力信息来具体确定该试标对象在该标注能力类别下的标注能力值。

其中，每种能力类别可以表现为一个独立的能力标签，该能力类别下的能力值参数则可以作为该标签中记录的具体数值或其它表现形式的信息，例如在以等级划分每种能力类别的能力值时，可以为每种等级分配一种相应的颜色，以通过显示相应颜色的能力标签的方式表征所属标注对象在该标注能力类别下的具体标注能力等级。

本公开实施例提供的标注能力确定方法，在根据标注需求确定试标对象的基础上，结合标注需求和预设的试标要求确定了试标数据，同时根据试标对象的属性来合理的确定试标时长，权衡了标注成本和标注质量，由此，提升了标注能力信息的准确性。

进一步的，还可以在确定试标对象在标注能力类别下的标注能力值之后，根据试标对象的标注能力值，为试标对象分配相应比例的待标注任务。即试标对象所具有的标注能力值越高、为其分配占待标注任务的总任务量越大的部分待标注任务，进而充分利用拥有较高标注能力的标注对象，提升总体的标注质量。更进一步的，还可以在为各试标对象分配标注任务之前，确定其具体的标注能力值是否大于预设的最小值，并通过控制仅具有超出该最小值的实际标注能力值的试标对象真正参与待标注任务的标注。

请参考图3，图3为本公开实施例提供的另一种标注能力确定方法的流程图，其中流程300包括以下步骤：

步骤301：根据待标注任务的标注需求确定试标对象；

步骤302：根据试标需求确定待标注数据的数据类型、待标注元素、标注方式；

本步骤根据试标需求具体确定了用于选取试标数据的三个参数：作为试标数据的待标注数据的数据类型、待标注元素、标注方式。数据类型可包括图片、语音、文本、视频、网页等，以图片为例，其中的待标注元素可包括：行人、障碍物、静态物体、行车、车牌等等，标注方式则可以包括：元素框选、坐标标注、颜色判别、语义转写、文本识别等等。

步骤303：根据试标要求确定与待标注元素对应的要求数量范围、与待标注数据对应的要求数据量、与数据类型对应的要求场景类型集合；

在步骤302的基础上，本步骤旨在由上述执行主体根据试标要求来确定与步骤302对应的三个要求，即与待标注元素对应的要求数量范围、与待标注数据对应的要求数据量、与数据类型对应的要求场景类型集合。其中，以标注图片中包含的行人为例，要求数量范围可以为[0,100)，要求场景类型集合中包括的要求场景类型则可以为：十字路口场景、T字路口场景、东西向路口场景、南北向路口场景、双向2车道场景、双向4车道场景、白天路口场景、傍晚路口场景、晚上路口场景等等，要求数据量则可以要求作为样本的图片应当不少于1000张。

步骤304：将待标注元素的实际数量覆盖要求数量范围、数据类型下的实际场景类型覆盖要求场景类型集合中各要求场景类型、实际数据量不少于要求数据量的待标注数据，确定为试标数据；

在步骤303的基础上，本步骤旨在由上述执行主体将待标注元素的实际数量覆盖要求数量范围、数据类型下的实际场景类型覆盖要求场景类型集合中各要求场景类型、实际数据量不少于要求数据量的待标注数据，确定为试标数据。即本步骤的目的是选取类型全面、数据量合适的待标注数据作为试标数据，以充分、全面、准确的确定试标对象的标注能力。

步骤305：根据试标对象的属性确定试标时长；

步骤306：确定试标对象在试标时长内对试标数据的实际标注量；

步骤307：根据实际标注量与试标数据的总量的比值，确定试标完成率；

因存在试标对象在试标时长内为完成对给予的全部试标数据的标注的情况，因此步骤306-步骤307旨在由上述执行主体通过确定实际标注量与试标数据的总量的比值来确定试标完成率。在未完成全部的试标数据的标注的情况下，试标完成率均小于100％。

当然，若试标对象在试标时长内提前完成了对全部试标数据的标注，也可以根据提前完成时长得到一个大于100％的试标完成率。

步骤308：确定实际标注量的已标注数据中与各要求场景类型分别对应的试标正确率；

步骤309：根据试标正确率和试标完成率，确定试标对象对不同要求场景类型的待标注数据的标注能力信息。

不同于步骤307从标注数量上确定出的试标完成率，步骤308-步骤309从已标注数据中与各要求场景类型分别对应的标注正确率来确定试标正确率，并最终结合试标正确率和试标完成率，确定出表征试标对象对不同要求场景类型的待标注数据的标注能力的信息。

区别于流程200所示实施例，本实施例通过步骤302-步骤304具体提供了一种确定出试标数据的实现方式，结合数据类型、待标注元素、标注方式，和要求场景类型集合、要求元素数量范围、要求数据量，从而保证试标数据拥有足够的数据量、复杂度覆盖全面、场景类型覆盖全面；还通过步骤306-步骤309提供了具体一种确定标注能力的实现方式，结合试标完成率和试标正确率和不同的要求场景类型，从而能够从多方面、较为细致的确定出表征试标对象标注能力的信息。

应当理解的是，步骤302-步骤304所提供的具体实现方式与步骤306-步骤309所提供的具体实现方式之间可以不存在因果和依赖关系，两种具体实现方式完全可以以替换流程200中相应的上位实现方案的方式，形成各自独立的实施例，本实施例仅作为一个同时包含两部分具体实现方式的优选实施例存在。

在流程300所示实施例的基础上，为了进一步的提升所确定出的标注能力的准确性，还可以结合试标过程中的标注效率参数来确定是否存在过高或过低的异常标注效率，从而通过去除异常部分的方式来评估得到一个与实际情况更加匹配的标注能力。

一种包括且不限于的实现方式为：

确定试标对象在构成试标时长的各试标时段对试标数据的实际标注效率；

确定各实际标注效率中的异常标注效率；

将与异常标注效率对应的已标注数据排除于实际标注量和标注正确率的计算范围。

假定基于大量历史标注记录统计得到的正常标注效率为：3～7个/分钟(指每分钟完成对图片中3～7个目标对象的标注)，那么以每分钟为单位，可将每分钟标注效率小于0.5及大于10的部分作为异常数据排除于计算范围内。

进一步的，为了避免误判，还可以通过获取相应时段的网络质量来判别低标注效率是否因网络质量波动造成，以及还可以通过获取相应时段的待标注图片的相似性来判别高标注效率是否因连续、内容重复度高的图片所导致。当然，也可以采用其它的验证手段来降低误判。

在上述任意实施例的基础上，本公开还在此处通过图4具体提供了一种确定试标时长的方法，仅作为一种可行的示例来证实方案的可行性和合理性，本领域技术人员可根据指导思想在不同的实际场景下调整得到不同的具体实现方案，其中流程400包括以下步骤：

步骤401：根据试标对象的历史标注记录确定历史单次标注时长和历史标注难度；

步骤402：根据试标数据的预期标注难度与历史标注难度，确定差异系数；

该差异系数可以通过做量化的预期标注难度与历史标注难度的差来实现，此时差异系数为正表示预期标注难度大于历史标注难度，差异系数为负表示预期标注难度小于历史标注难度。

当然，也可以通过做量化的预期标注难度与历史标注难度的商来实现，此时差异系数大于1表示预期标注难度大于历史标注难度，差异系数大于0小于1表示预期标注难度小于历史标注难度。

步骤403：根据差异系数调整历史单次标注时长，得到试标时长。

在步骤402的基础上，若差异系数表征预期标注难度大于历史标注难度，则对历史单次标注时长的调整为下调；若差异系数表征预期标注难度小于历史标注难度，则对历史单次标注时长的调整为上调。

一种具体的调整方式可以为：

响应于差异系数为正，将差异系数与历史单次标注时长的乘积，作为试标时长；

响应于差异系数为负，将历史单次标注时长与差异系数的商的绝对值，作为试标时长。

本实施例旨在由上述执行主体根据历史标注难度与与其标注难度所确定出的差异系数，来对其历史单次标注时长进行调整，从而得到时长与实际难度匹配的试标时长。

进一步的，若最终确定出的试标时长较长，还可以结合实际情况下允许进行的试标时长上限，成比例的进行缩减。

进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种标注能力确定装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的标注能力信息确定装置500可以包括：试标对象确定单元501、试标数据确定单元502、试标时长及标注能力信息确定单元503。其中，试标对象确定单元501，被配置成根据待标注任务的标注需求确定试标对象；试标数据确定单元502，被配置成根据标注需求和预设的试标要求，确定试标数据；试标时长及标注能力信息确定单元503，被配置成根据试标对象的属性确定试标时长，并根据试标对象在试标时长内对试标数据的标注结果，确定试标对象的标注能力信息。

在本实施例中，标注能力信息确定装置500中：试标对象确定单元501、试标数据确定单元502、试标时长及标注能力信息确定单元503的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-203的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，试标数据确定单元502可以被进一步配置成：

根据试标需求确定待标注数据的数据类型、待标注元素、标注方式；

根据试标要求确定与待标注元素对应的要求数量范围、与待标注数据对应的要求数据量、与数据类型对应的要求场景类型集合；

将待标注元素的实际数量覆盖要求数量范围、数据类型下的实际场景类型覆盖要求场景类型集合中各要求场景类型、实际数据量不少于要求数据量的待标注数据，确定为试标数据。

在本实施例的一些可选的实现方式中，试标时长及标注能力信息确定单元503包括被配置成根据试标对象在试标时长内对试标数据的标注结果确定试标对象的标注能力信息的标注能力信息确定子单元，标注能力信息确定子单元可以被进一步配置成：

确定试标对象在试标时长内对试标数据的实际标注量；

根据实际标注量与试标数据的总量的比值，确定试标完成率；

确定实际标注量的已标注数据中与各要求场景类型分别对应的试标正确率；

根据试标正确率和试标完成率，确定试标对象对不同要求场景类型的待标注数据的标注能力信息。

在本实施例的一些可选的实现方式中，标注能力信息确定装置500中还可以包括：

实际标注效率确定单元，被配置成确定试标对象在构成试标时长的各试标时段对试标数据的实际标注效率；

异常标注效率确定单元，被配置成确定各实际标注效率中的异常标注效率；

异常数据排查单元，被配置成将与异常标注效率对应的已标注数据排除于实际标注量和标注正确率的计算范围。

在本实施例的一些可选的实现方式中，试标时长及标注能力信息确定单元503包括被配置成根据试标对象的属性确定试标时长的试标时长确定子单元，试标时长确定子单元可以包括：

历史标注参数确定模块，被配置成根据试标对象的历史标注记录确定历史单次标注时长和历史标注难度；

差异系数确定模块，被配置成根据试标数据的预期标注难度与历史标注难度，确定差异系数；

试标时长确定模块，被配置成根据差异系数调整历史单次标注时长，得到试标时长。

在本实施例的一些可选的实现方式中，试标时长确定模块可以被进一步配置成：

响应于差异系数为正，将差异系数与历史单次标注时长的乘积，作为试标时长；其中，差异系数为正表示预期标注难度大于历史标注难度；

响应于差异系数为负，将历史单次标注时长与差异系数的商的绝对值，作为试标时长；其中，差异系数为负表示预期标注难度小于历史标注难度。

在本实施例的一些可选的实现方式中，试标对象确定单元可以被进一步配置成：

根据待标注任务的标注需求确定所需的标注能力类别；

将具有标注能力类别相应的标注能力的标注对象，确定为试标对象；

对应的，试标时长及标注能力信息确定单元包括确定试标对象的标注能力信息的标注能力信息确定子单元，标注能力信息确定子单元被进一步配置成：

确定试标对象在标注能力类别下的标注能力值。

在本实施例的一些可选的实现方式中，标注能力信息确定装置500中还可以包括：

待标注任务分配单元，被配置成在确定试标对象在标注能力类别下的标注能力值之后，根据试标对象的标注能力值，为试标对象分配相应比例的待标注任务。

本实施例作为对应于上述方法实施例的装置实施例存在，本实施例提供的标注能力确定装置，在根据标注需求确定试标对象的基础上，结合标注需求和预设的试标要求确定了试标数据，同时根据试标对象的属性来合理的确定试标时长，权衡了标注成本和标注质量，由此，提升了标注能力信息的准确性。

根据本公开的实施例，本公开还提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现上述任意实施例所描述的标注能力信息确定方法。

根据本公开的实施例，本公开还提供了一种可读存储介质，该可读存储介质存储有计算机指令，该计算机指令用于使计算机执行时能够实现上述任意实施例所描述的标注能力信息确定方法。

本公开实施例提供了一种计算机程序产品，该计算机程序在被处理器执行时能够实现上述任意实施例所描述的标注能力信息确定方法。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如标注能力信息确定方法。例如，在一些实施例中，标注能力信息确定方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的标注能力信息确定方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行标注能力信息确定方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS，Virtual Private Server)服务中存在的管理难度大，业务扩展性弱的缺陷。

根据本公开实施例的技术方案，在根据标注需求确定试标对象的基础上，结合标注需求和预设的试标要求确定了试标数据，同时根据试标对象的属性来合理的确定试标时长，权衡了标注成本和标注质量，由此，提升了标注能力信息的准确性。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (14)

1.一种标注能力信息确定方法，包括：

根据待标注任务的标注需求确定试标对象；

根据所述标注需求确定待标注数据的数据类型、待标注元素、标注方式；根据预设的试标要求确定与所述待标注元素对应的要求数量范围、与所述待标注数据对应的要求数据量、与所述数据类型对应的要求场景类型集合；将所述待标注元素的实际数量覆盖所述要求数量范围、所述数据类型下的实际场景类型覆盖所述要求场景类型集合中各要求场景类型、实际数据量不少于所述要求数据量的待标注数据，确定为试标数据；

根据所述试标对象的历史标注记录确定历史单次标注时长和历史标注难度；根据所述试标数据的预期标注难度与所述历史标注难度，确定差异系数；根据所述差异系数调整所述历史单次标注时长，得到试标时长，并根据所述试标对象在所述试标时长内对所述试标数据的标注结果，确定所述试标对象的标注能力信息。

2.根据权利要求1所述的方法，其中，所述根据所述试标对象在所述试标时长内对所述试标数据的标注结果，确定所述试标对象的标注能力信息，包括：

确定所述试标对象在所述试标时长内对所述试标数据的实际标注量；

根据所述实际标注量与所述试标数据的总量的比值，确定试标完成率；

确定所述实际标注量的已标注数据中与各所述要求场景类型分别对应的试标正确率；

根据所述试标正确率和所述试标完成率，确定所述试标对象对不同要求场景类型的待标注数据的标注能力信息。

3.根据权利要求2所述的方法，还包括：

确定所述试标对象在构成所述试标时长的各试标时段对所述试标数据的实际标注效率；

确定各所述实际标注效率中的异常标注效率；

将与所述异常标注效率对应的已标注数据排除于所述实际标注量和所述试标正确率的计算范围。

4.根据权利要求1所述的方法，其中，所述根据所述差异系数调整所述历史单次标注时长，得到所述试标时长，包括：

响应于所述差异系数为正，将所述差异系数与所述历史单次标注时长的乘积，作为所述试标时长；其中，所述差异系数为正表示所述预期标注难度大于所述历史标注难度；

响应于所述差异系数为负，将所述历史单次标注时长与所述差异系数的商的绝对值，作为所述试标时长；其中，所述差异系数为负表示所述预期标注难度小于所述历史标注难度。

5.根据权利要求1-4任一项所述的方法，其中，所述根据待标注任务的标注需求确定试标对象，包括：

根据所述待标注任务的标注需求确定所需的标注能力类别；

将具有所述标注能力类别相应的标注能力的标注对象，确定为所述试标对象信息；

对应的，所述确定所述试标对象的标注能力信息，包括：

确定所述试标对象在所述标注能力类别下的标注能力值。

6.根据权利要求5所述的方法，其中，在确定所述试标对象在所述标注能力类别下的标注能力值之后，还包括：

根据所述试标对象的标注能力值，为所述试标对象分配相应比例的待标注任务。

7.一种标注能力信息确定装置，包括：

试标对象确定单元，被配置成根据待标注任务的标注需求确定试标对象；

试标数据确定单元，被配置成根据所述标注需求确定待标注数据的数据类型、待标注元素、标注方式；根据预设的试标要求确定与所述待标注元素对应的要求数量范围、与所述待标注数据对应的要求数据量、与所述数据类型对应的要求场景类型集合；将所述待标注元素的实际数量覆盖所述要求数量范围、所述数据类型下的实际场景类型覆盖所述要求场景类型集合中各要求场景类型、实际数据量不少于所述要求数据量的待标注数据，确定为试标数据；

试标时长及标注能力信息确定单元，被配置成根据所述试标对象的历史标注记录确定历史单次标注时长和历史标注难度；根据所述试标数据的预期标注难度与所述历史标注难度，确定差异系数；根据所述差异系数调整所述历史单次标注时长，得到试标时长，并根据所述试标对象在所述试标时长内对所述试标数据的标注结果，确定所述试标对象的标注能力信息。

8.根据权利要求7所述的装置，其中，所述试标时长及标注能力信息确定单元包括被配置成根据所述试标对象在所述试标时长内对所述试标数据的标注结果确定所述试标对象的标注能力信息的标注能力信息确定子单元，所述标注能力确定信息子单元被进一步配置成：

确定所述试标对象在所述试标时长内对所述试标数据的实际标注量；

根据所述实际标注量与所述试标数据的总量的比值，确定试标完成率；

确定所述实际标注量的已标注数据中与各所述要求场景类型分别对应的试标正确率；

根据所述试标正确率和所述试标完成率，确定所述试标对象对不同要求场景类型的待标注数据的标注能力信息。

9.根据权利要求8所述的装置，还包括：

实际标注效率确定单元，被配置成确定所述试标对象在构成所述试标时长的各试标时段对所述试标数据的实际标注效率；

异常标注效率确定单元，被配置成确定各所述实际标注效率中的异常标注效率；

异常数据排查单元，被配置成将与所述异常标注效率对应的已标注数据排除于所述实际标注量和所述试标正确率的计算范围。

10.根据权利要求7所述的装置，其中，所述试标时长及能力标注信息确定单元包括被配置成根据所述差异系数调整所述历史单次标注时长得到试标时长的试标时长确定子单元，所述试标时长确定子单元被进一步配置成：

响应于所述差异系数为正，将所述差异系数与所述历史单次标注时长的乘积，作为所述试标时长；其中，所述差异系数为正表示所述预期标注难度大于所述历史标注难度；

响应于所述差异系数为负，将所述历史单次标注时长与所述差异系数的商的绝对值，作为所述试标时长；其中，所述差异系数为负表示所述预期标注难度小于所述历史标注难度。

11.根据权利要求7-10任一项所述的装置，其中，所述试标对象确定单元被进一步配置成：

根据所述待标注任务的标注需求确定所需的标注能力类别；

将具有所述标注能力类别相应的标注能力的标注对象，确定为所述试标对象；

对应的，所述试标时长及标注能力信息确定单元包括确定所述试标对象的标注能力信息的标注能力信息确定子单元，所述标注能力信息确定子单元被进一步配置成：

确定所述试标对象在所述标注能力类别下的标注能力值。

12.根据权利要求11所述的装置，还包括：

待标注任务分配单元，被配置成在确定所述试标对象在所述标注能力类别下的标注能力值之后，根据所述试标对象的标注能力值，为所述试标对象分配相应比例的待标注任务。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的标注能力信息确定方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的标注能力信息确定方法。