CN111507405A - 图片标注方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开了图片标注方法、装置、电子设备及计算机可读存储介质，涉及信息标注领域。该方法的一具体实施方式包括：获取待标注图片；从多级标注节点中确定起始标注节点，并将该起始标注节点确定为当前的标注节点；执行以下标注步骤：将该待标注图片下发给当前的标注节点进行标注；接收当前的标注节点返回的标注后图片；若当前接收到的标注后图片中的标注信息满足预设的一致性要求，则将标注有满足一致性要求的标注信息的标注后图片确定为正确标注图片；若未满足一致性要求，则从多级标注节点中重新确定新的当前的标注节点，并返回继续执行标注步骤。该实施方式提供了一种基于多级标注机制进行的图片标注方法，显著提升了图片标注的准确率。

Description

图片标注方法、装置、电子设备及计算机可读存储介质

技术领域

本申请实施例涉及信息标注技术领域，尤其涉及人工智能算法模型的训练技术领域。

背景技术

为了训练人工智能的算法模型，需要提供大量已经定性的图片，而这些图片则需要人工标注进行定性，只有在图片是定性正确的前提下，算法模型才能更趋向于准确，即提升图片标注的准确性对提升基于正确标注图片构建得到的算法模型的准确性，起到非常重要的作用。

现有数据标注技术普遍采用如下两种方案来解决：

1、普通标注：用户打开图片后，页面一般已经展示了图片可能的几个结果，由标注者根据图片选择已提供的几种答案进行选择，或者直接手动输入答案，这便是定性标注一张图片，这样一张图片便标注完了；2、抽取标注：不管用户是采用标签标注，还是其它任何形式的标注，最终的标注结果交付后，由发任务方的专业人士去取样抽取少量数据检查其正确率，正确率低于设定的值并全部返回给标注者重新标注，或者直接不采取此标注者的标注结果。

发明内容

本申请实施例提出了一种图片标注方法、装置、电子设备及计算机可读存储介质。

第一方面，本申请实施例提出了一种图片标注方法，包括：获取待标注图片；从多级标注节点中确定起始标注节点，并将起始标注节点确定为当前的标注节点；执行以下标注步骤：将待标注图片下发给当前的标注节点进行标注；接收当前的标注节点返回的标注后图片；若当前接收到的标注后图片中的标注信息满足预设的一致性要求，则将标注有满足所述一致性要求的标注信息的标注后图片确定为正确标注图片；若当前接收到的标注后图片中的标注信息未满足预设的一致性要求，则从所述多级标注节点中重新确定新的当前的标注节点，并返回继续执行所述标注步骤。

第二方面，本申请实施例提出了一种图片标注装置，包括：待标注图片获取单元，被配置成获取待标注图片；当前标注节点确定单元，被配置成从多级标注节点中确定起始标注节点，并将起始标注节点确定为当前的标注节点；标注执行单元，被配置成执行以下标注步骤：将待标注图片下发给当前的标注节点进行标注；接收当前的标注节点返回的标注后图片；若当前接收到的标注后图片中的标注信息满足预设的一致性要求，则将标注有满足所述一致性要求的标注信息的标注后图片确定为正确标注图片；若当前接收到的标注后图片中的标注信息未满足预设的一致性要求，则从多级标注节点中重新确定新的当前的标注节点，并返回继续执行所述标注步骤。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的图片标注方法。

第四方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的图片标注方法。

本申请实施例提供的图片标注方法、装置、电子设备及计算机可读存储介质，首先获取待标注图片，之后从多级标注节点中确定起始标注节点，并将起始标注节点确定为当前的标注节点，然后执行以下标注步骤：将待标注图片下发给当前的标注节点进行标注；接收当前的标注节点返回的标注后图片；若当前接收到的标注后图片中的标注信息满足预设的一致性要求，则将标注有满足所述一致性要求的标注信息的标注后图片确定为正确标注图片；若当前接收到的标注后图片中的标注信息未满足预设的一致性要求，则从多级标注节点中重新确定新的当前的标注节点，并返回继续执行该标注步骤。

本申请为待标注图片提供了一种多级标注方案，通过验证每级标注节点的标注后图片中标注信息是否具有一致性，从而判断出是否已得到了正确标注图片，当不具有一致性时更换其它等级的标注节点对其进行再次标注，使得不同标注难度的待标注图片的标注准确率均能够在多级标注节点的共同参与下得到显著提升

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构；

图2是根据本申请的图片标注方法的一个实施例的流程图；

图3是根据本申请的图片标注方法的另一个实施例的流程图；

图4是根据本申请的图片标注方法的一个应用场景的流程图；

图5是根据本申请的图片标注装置的一个实施例的结构示意图；

图6是适于用来实现本申请实施例的图片标注方法的电子设备的框图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的图片标注方法、装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如图片标注应用、图像处理类应用、搜索类应用等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来作为各级标注节点完成待标注图片的标注业务)，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如通过网络104向在本申请中表现为各级标注节点的终端设备101、102、103下发待标注图片以让其使用者完成信息标注，并通过网络104接收终端设备101、102、103完成标注的标注后图片，并对接收到的标注后图片是否满足预设的一致性要求进行判断，从而做出后续处理，直至得到正确标注图片。

需要说明的是，本申请后续各实施例所提供的图片标注方法一般由服务器105执行，相应地，图片标注装置一般设置于服务器105中。

需要指出的是，待标注图片、标注后图片以及正确标注图片均可以存储在服务器105的本地，也可以根据实际应用场景下所有可能存储的特殊需求，将这些图片分散存储在终端设备101、102、103中，存储终端设备101、102、103的可以为原件，也可以为备份，此处不做具体限定。当终端设备101、102、103为运行在服务器105上的虚拟机时，示例性系统架构100也可以不包括终端设备101、102、103和网络104。

还需要指出的是，终端设备101、102、103中也可以安装有图片标注应用，终端设备101、102、103也完全可以完成对标注后图片的一致性要求是否满足的判断，并基于判断结果得到正确标注图片或者选择新的当前的标注节点继续下发该待标注图片进行后续标注。此时，图片标注方法也可以由终端设备101、102、103执行，相应地，图片标注装置也可以设置于终端设备101、102、103中。此时，示例性系统架构100也可以不包括服务器105和网络104。

需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供图片标注服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，其示出了根据本申请的图片标注方法的一个实施例的实现流程200。该图片标注方法，包括以下步骤：

步骤201，获取待标注图片。

在本实施例中，图片标注方法的执行主体(例如图1所示的服务器105)可以从本地或非本地的存储设备(例如图1所示的终端设备101、102、103)获取待标注图片。本地的存储设备可以为设置在上述执行主体内的一个数据存储模块，在此情况下，待标注图片只需要从通过本地读取即可获取；非本地的存储设备还可以为其它专用于存储待标注图片的另一数据存储服务器，在此情况下，上述执行主体可以通过向该数据存储服务器发送待标注图片获取命令来获取由数据存储服务器返回的待标注图片。

其中，待标注图片是指还未得到准确标注信息的图片，该待标注图片根据实际应用场景的不同，可以为医学影像、也可以为其它类型的图片。

在一些实施例中，大量待标注图片可以直接收集并集中存放在数据库中。在此场景下，上述执行主体可以从数据库中获取用户数据集。在另外一些实施例中，大量待标注图片可以存储在各式用户终端设备中。在此场景下，上述执行主体可以从各式用户终端设备中获取待标注图片。

步骤202，从多级标注节点中确定起始标注节点，并将起始标注节点确定为当前的标注节点。

在步骤201的基础上，本步骤旨在由上述执行主体从多级标注节点中确定出起始标注节点，并通过将确定出的起始标注节点确定为当前的标注节点，以便后续对待标注图片进行标注操作。

其中，本实施例预先将多个等级、每个等级数量不限的标注节点构成了多级标注节点，根据实际情况的不同，多级标注节点中的多个等级可按照不同的方式进行排序，例如按照一次性标注准确率从小到大排序为初级标注节点、中级标注节点、高级标注节点，也可以按照就近原则将距离上述执行主体从近到远的节点排序为近距离节点、中距离节点、远距离节点等，还可以按照包括数量原则、负载量原则在内的多种排序方式对多个等级的标注节点进行排序。应当理解的是，为实现本申请提升标注标准率的目的，优选将多级标注节点按照一次性标注准确率大小进行排序，以得到一次性标注准确率从小到大排列的多个不同等级的标注节点。

起始标注节点为对待标注图片进行首次信息标注的节点，通常情况下，起始标注节点可以固定为多级标注节点中某个等级的标注节点，例如上述例子中的初级标注节点，以适用于普遍情况下对各式待标注图片的处理。但在不同的情况下，也可以动态的选用与待标注图片实际情况相对应的等级的标注节点作为起始标注节点，以在实现准确率提升目的的基础上，实现诸如提升效率在内的其它效果。

例如，在按照一次性标注准确率排序得到的初、中、高三个等级的标注节点的情况下，若在对所有标注难度的待标注图片进行标注时，都将初级标注节点选做起始标注节点，不免会因为初级标注节点的判断准确率不够，导致其得到的标注后图片中的标注信息通常不满足一致性要求，大概率还需要中级标注节点甚至高级标注节点进行标注后才能得到正确标注图片。因此，出于效率上的考虑，可在发现待标注图片属于高标注难度时，直接将拥有更高一次性标注准确率的中、高等级标注节点选做起始标注节点。

具体的，待标注图片可通过多种形式表示其标注难度，例如附加额外的标记、增加表达相应信息的标志位、使用不同的命名等等，此处不做具体限定，可根据实际情况灵活选择。

其它的情况，例如具有保密内容的待标注图片也需要选用经过保密能力认证的标注节点作为起始标注节点，甚至还需要保证后续所有的标注节点都需要具有保密能力认证。

步骤203，将待标注图片下发给当前的标注节点进行标注。

从本步骤开始，进入对待标注图片进行标注以得到正确标注图片的标注循环步骤。在步骤202的基础上，本步骤旨在由上述执行主体将待标注图片下发给当前的标注节点进行标注。

结合图2和整个标注循环步骤可知，当前的标注节点会随着标注循环的不断执行更换为多级标注节点中不同等级的标注节点，换句话说，不同等级的标注节点将可能作为与不同时刻对应的当前的标注节点。例如，在循环首次执行时，当前的标注节点具体为起始标注节点(例如初、中、高三级标注节点中的初级标注节点)，若起始标注节点返回的标注后图片中的标注信息未通过一致性要求，则在循环第二次执行至本步骤时，当前的标注节点将可能已变更为中级标注节点，若仍未通过一致性要求，则在循环第三次执行至本步骤时，当前的标注节点将可能已经变更为高级标注节点。

步骤204，接收当前的标注节点返回的标注后图片。

在步骤203的基础上，本步骤旨在由上述执行主体接收当前的标注节点返回的标注后图片，也就是说，当前的标注节点在上述执行主体通过步骤203向其下发待标注图片后，接收到待标注图片的当前的标注节点均按指示对其进行了信息标注。

步骤205，确定当前接收到的标注后图片中的标注信息是否满足预设的一致性要求，若是，执行步骤206，否则执行步骤207。

在步骤204的基础上，本步骤旨在由上述执行主体判断接收到的标注后图片中的标注信息是否满足预设的一致性要求，从而根据判断结果确定出后续应执行的步骤。

具体的，该一致性要求并非可以仅指接收到的多个标注信息全部一致，因为并非所有情景都需要强一致性，根据实际情况可自行调整满足一致性要求的具体程度，例如通常可将满足该一致性要求设置为过半数，即存在一致的标注信息占比超过50％即可，例如在当前的标注节点数量为5时，只要其中3个待标注图片中的标注信息一致即可认为满足一致性要求。当然，若当前的标注节点数量足够多，该比例还可以下调至低于50％，例如当前的标注节点数量有10000个，此时若一致的标注信息占比超过40％也可以认为满足一致性要求。

步骤206，将标注有满足一致性要求的标注信息的标注后图片确定为正确标注图片。

本步骤建立在步骤205的判断结果为当前的标注节点的标注后图片中的标注信息满足一致性要求的基础上，旨在由上述执行主体将标注有满足一致性要求的标注信息的标注后图片确定为正确标注图片，即本步骤作为满足循环跳出条件后的标注循环跳出步骤存在。

进一步的，为了构建各级标注节点在图片标注准确率上的良性增长，还可以将被确定为正确标注图片下发给目标标注节点，该目标标注节点指所有未标注得到被确定为正确标注图片的标注节点，以便先前那些标注错误的标注节点可以将正确标注图片中的标注信息作为正确答案来学习改进自己的标注水平。例如，若在由初、中、高三级标注节点构成的多级标注机制下，初、中、高三级标注节点分别对应一次性标注准确率从低到高的标注节点，假定依次经过初、中两级标注节点均为得到正确标注节点，最终由高级标注节点得到正确标注图片，那么此时目的标注节点即包括初级标注节点和中级标注节点。

步骤207，从多级标注节点中重新确定新的当前的标注节点。

本步骤建立在步骤205的判断结果为当前的标注节点的标注后图片中的标注信息未满足一致性要求的基础上，说明当前的标注节点给出的标注后图片无法被认定为正确标注图片。因此，将由上述执行主体从多级标注节点中重新确定新的当前的标注节点，并在确定新的当前的标注节点后，返回步骤203再次进行循环，直至满足一致性要求输出正确标注图片。特殊的，若遍历过所有等级的标注节点后仍未能得到正确标注图片，此时还可以输出异常进行提示。

其中，将多级标注节点中哪个等级的标注节点重新确定为新的当前的标注节点，也需要根据实际情况下所有可能存在的特殊要求灵活选择，可简单根据等级是否相同分成两类，即将与当前的标注节点同等级的标注节点或不同等级的确定为新的当前的标注节点。进一步的，若将与当前的标注节点同等级的标注节点选做新的当前的标注节点，还可以选择是否将当前的标注节点再次选择为新的当前的标注节点来进行重复性验证，从而尽可能的排除因暂时性判断失常造成的不满足一致性要求的结果。当然除上述分类和新的当前标注节点的确定方式之外，还可以根据实际应用场景所有可能存在的特殊要求自行选择合适的分类和新的当前标注节点的确定方式，例如，按照负载量多少、距离远近等等，此处不再一一赘述。

需要说明的是，本申请实施例提供的图片标注方法同样适用于待标注图片存放在各式用户终端设备上的场景。在这种场景下，用户终端设备执行步骤201-207，得到正确标注图片。随后，用户终端设备只需将得到的正确标注图片发送给服务器，以便服务器基于正确标注图片构建人工智能的模型。

本申请实施例提供的图片标注方法，首先获取待标注图片，之后从多级标注节点中确定起始标注节点，并将起始标注节点确定为当前的标注节点，然后执行以下标注步骤：将待标注图片下发给当前的标注节点进行标注；接收当前的标注节点返回的标注后图片；若当前接收到的标注后图片中的标注信息满足预设的一致性要求，则将标注有满足一致性要求的标注信息的标注后图片确定为正确标注图片；若当前接收到的标注后图片中的标注信息未满足预设的一致性要求，则从多级标注节点中重新确定新的当前的标注节点，并返回继续执行标注步骤。本申请为待标注图片提供了一种多级标注方案，通过验证每级标注节点的标注后图片中标注信息是否具有一致性，从而判断出是否已得到了正确标注图片，当不具有一致性时更换其它等级的标注节点对其进行再次标注，使得不同标注难度的待标注图片的标注准确率均能够在多级标注节点的共同参与下得到显著提升。

在上述实施例的基础上，本申请还通过图3提供了另一种图片标注方法的流程300，对如何确定标注循环步骤中新的当前的标注节点给出了一种具体的方案，包括如下步骤：

步骤301，获取待标注图片。

步骤302，从多级标注节点中确定起始标注节点，并将起始标注节点确定为当前的标注节点。

步骤303，将待标注图片下发给当前的标注节点进行标注。

步骤304，接收当前的标注节点返回的标注后图片。

步骤305，确定当前接收到的标注后图片中的标注信息是否满足预设的一致性要求。

步骤306，将标注有满足一致性要求的标注信息的标注后图片确定为正确标注图片。

以上步骤301-306与如图2所示的步骤201-206一致，相同部分内容请参见上一实施例的相应部分，此处不再进行赘述。

步骤307，将当前的标注节点的下一级标注节点确定为新的当前的标注节点。

本步骤建立在步骤305的判断结果为当前接收到的标注后图片中的标注信息未满足预设的一致性要求的基础上，旨在由上述执行主体将当前的标注节点的下一级标注节点确定为新的当前的标注节点。

可以看出，标注循环步骤每循环一次都会更换为下一级标注节点作为当前的标注节点，在各级标注节点按照一次性标注准确率从小到大排序、初级标注节点被选为起始标注节点的情况下，按照本实施例所提供的循环方式，每张待标注图片将会在不满足一致性要求的情况下，不断的被更换为拥有更高一次性标注准确率的标注节点进行标注，从而通过逐级递进的方式逐步提升得到正确标注图片的概率。

区别于本实施例提供的将当前的标注节点的下一级标注节点确定为新的当前的标注节点的方案，在本申请的另一些实施例中，则还可以将当前的标注节点的其它同级标注节点确定为新的当前的标注节点，该其它同级标注节点为同级标注节点中除当前的标注节点之外的标注节点，以通过选用的其它同级标注节点来进一步确认导致不满足一致性要求的原因是否为当前的某些标注节点存在异常，该方案可以尽可能的减少对其它等级(主要是更高等级的标注节点)标注节点的占用，因为更高等级的标注节点往往也存在其要解决的问题。

同理，在本申请的另一些实施例中，为了尽可能的排除当前的某些标注节点因存在异常导致暂时性的判断失常，还可以将当前的标注节点再次确定为新的当前的标注节点，也就是说通过这种方式进行重复性验证，以通过比对重复验证结果来确认是否存在暂时性的判断失常，从而尽可能的在较低等级的标注节点中就得到正确标注节点。

进一步的，在将当前的标注节点再次确定为新的当前的标注节点的情况下，除待标注图片之外，还可以将被判断为不满足一致性要求的所有标注后图片返回至每个当前的标注节点，以便于其可以通过由其它标注节点对待标注图片的标注信息来检查自己给出的标注信息是否存在错误，从而尽可能的在当前等级标注节点满足一致性要求，并输出正确标注图片。

为加深理解，本申请还结合一个具体应用场景，给出了一种具体的实现方案，请参见如图4所示的流程400。

该应用场景所要进行标注的图片为对患者拍摄得到患处医学影像，由具有相应医学知识的医生来对患处医学影像所表征出的患病情况进行信息标注。因此，考虑到这一应用场景的特殊性，在提升准确率的基础上，结合医生的数量和效率问题，本实施例设立了一个由较多数量的普通标注节点、较少数量的专家标注节点以及数量唯一的仲裁标注节点构成的多级标注机制，普通标注节点对应于数量较多的普通医生，专家标注节点则对应于数量较少的专家级医生，而仲裁标注节点则作为能够给出权威认证的患病情况的医生唯一存在。

具体的，以在单个医院的单个科室收集正确标注图片为例，设置普通标注节点的数量为3，专家标注节点的数量为2，仲裁标注节点的数量为1。

如图4所示的流程400包括如下步骤：

步骤401，获取待标注图片；

步骤402，将待标注图片分别下发给3个普通标注节点进行标注，并接收返回的3张普通标注图片；

步骤403，3张普通标注图片中是否至少存在2个一致的标注信息，若是，执行步骤407，否则执行步骤404；

即本步骤由上述执行主体判断从3张普通标注图片中提取得到的3个标注信息是否有过半数是一致的。

步骤404，将待标注图片分别下发给2个专家标注节点进行标注，并接收返回的2张专家标注图片；

本步骤建立在步骤403的判断结果为3张普通标注图片中提取得到的3个标注信息一致的没有过半数的基础上，因此转而将其再次下发给下一级的专家标注节点。

进一步的，在本步骤被执行之前，还可以参照如图2所示实施例中步骤207中的内容，再次将3张普通标注图片均返回给3个普通标注节点，以让3个普通标注节点基于接收到的其它普通标注节点的标注信息来进行自检和修改。如果通过自检修改后再次得到的普通标注图片仍不满足一致性要求，则执行本步骤交由专家标注节点进行标注。

步骤405，2张专家标注图片中的标注信息是否一致，若是，执行步骤407，否则执行406；

步骤406，将待标注图片分别下发给唯一的仲裁标注节点进行标注，并将返回的仲裁标注图片输出为正确标注图片；

本步骤建立在步骤405的判断结果为2张专家标注图片中提取得到的2个标注信息不一致的基础上，因此转而将其再次下发给下一级的仲裁标注节点。具体的，仲裁标注节点可以在通过在两个不一致的专家标注图片中选择自己认为正确的图片作为仲裁标注图片，也可以自己自行基于待标注图片完成标注。

步骤407，将至少存在2个一致的标注信息的普通标注图片或2个标注信息一致的专家标注图片输出为正确标注图片。

区别于如图2所示的流程200，本实施例如图4所示的流程400基于实际应用场景下的医生数量限制、成本限制，提供了一种合理的具体实现方式。

进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种图片标注装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的图片标注装置500可以包括：待标注图片获取单元501、当前标注节点确定单元502、标注执行单元503。其中，待标注图片获取单元501，被配置成获取待标注图片；当前标注节点确定单元502，被配置成从多级标注节点中确定起始标注节点，并将起始标注节点确定为当前的标注节点；标注执行单元503，被配置成执行以下标注步骤：将待标注图片下发给当前的标注节点进行标注；接收当前的标注节点返回的标注后图片；若当前接收到的标注后图片中的标注信息满足预设的一致性要求，则将标注有满足一致性要求的标注信息的标注后图片确定为正确标注图片；若当前接收到的标注后图片中的标注信息未满足预设的一致性要求，则从多级标注节点中重新确定新的当前的标注节点，并返回继续执行标注步骤。

在本实施例中，用于图片标注装置500中：待标注图片获取单元501、当前标注节点确定单元502、标注执行单元503的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-207的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，标注执行单元503进一步被配置成：将当前的标注节点的下一级标注节点确定为新的当前的标注节点。

在本实施例的一些可选的实现方式中，标注执行单元503进一步被配置成：将当前的标注节点的其它同级标注节点确定为新的当前的标注节点；其中，其它同级标注节点为同级标注节点中除当前的标注节点之外的标注节点。

在本实施例的一些可选的实现方式中，当当前的标注节点的等级小于预设等级时，标注执行单元503进一步被配置成：将当前的标注节点再次确定为新的当前的标注节点。

在本实施例的一些可选的实现方式中，当将当前的标注节点再次确定为新的当前的标注节点时，该图片标注装置还包括：非正确图片返回单元，被配置成将未通过一致性要求的标注后图片返回新的当前的标注节点。

在本实施例的一些可选的实现方式中，该图片标注装置还包括：正确标注信息返回单元，被配置成在确定出正确标注图片之后，将正确标注图片下发给目标标注节点；其中，目标标注节点为未能标注得到被确定为正确标注图片的标注节点。

在本实施例的一些可选的实现方式中，当共存在3级不同的标注节点时，3级不同的标注节点包括依次排列的普通标注节点、专家标注节点、仲裁标注节点。

在本实施例的一些可选的实现方式中，普通标注节点的数量大于专家标注节点，专家标注节点大于仲裁标注节点。

本实施例作为对应于上述方法实施例的装置实施例存在，本实施例提供的图片标注装置通过验证每级标注节点的标注后图片中标注信息是否具有一致性，从而判断出是否已得到了正确标注图片，当不具有一致性时更换其它等级的标注节点对其进行再次标注，使得不同标注难度的待标注图片的标注准确率均能够在多级标注节点的共同参与下得到显著提升。

根据本申请的实施例，本申请还提供了一种电子设备和一种计算机可读存储介质。

如图6所示，是根据本申请实施例的图片标注方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。

存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的图片标注方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图片标注方法。

存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图片标注的方法对应的程序指令/模块(例如，附图5所示的待标注图片获取单元501、当前标注节点确定单元502、标注执行单元503)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图片标注方法。

存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储用于图片标注的电子设备在使用时所创建的各类数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至用于图片标注的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

用于图片标注的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。

输入装置603可接收输入的数字或字符信息，以及产生用于图片标注的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，通过验证每级标注节点的标注后图片中标注信息是否具有一致性，从而判断出是否已得到了正确标注图片，当不具有一致性时更换其它等级的标注节点对其进行再次标注，使得不同标注难度的待标注图片的标注准确率均能够在多级标注节点的共同参与下得到显著提升。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (18)

1.一种图片标注方法，包括：

获取待标注图片；

从多级标注节点中确定起始标注节点，并将所述起始标注节点确定为当前的标注节点；

执行以下标注步骤：将所述待标注图片下发给当前的标注节点进行标注；

接收当前的标注节点返回的标注后图片；若当前接收到的标注后图片中的标注信息满足预设的一致性要求，则将标注有满足所述一致性要求的标注信息的标注后图片确定为正确标注图片；若当前接收到的标注后图片中的标注信息未满足预设的一致性要求，则从所述多级标注节点中重新确定新的当前的标注节点，并返回继续执行所述标注步骤。

2.根据权利要求1所述的图片标注方法，其中，所述从所述多级标注节点中重新确定新的当前的标注节点，包括：

将当前的标注节点的下一级标注节点确定为新的当前的标注节点。

3.根据权利要求1所述的图片标注方法，其中，所述从所述多级标注节点中重新确定新的当前的标注节点，包括：

将当前的标注节点的其它同级标注节点确定为新的当前的标注节点；其中，所述其它同级标注节点为同级标注节点中除当前的标注节点之外的标注节点。

4.根据权利要求1所述的图片标注方法，其中，当当前的标注节点的等级小于预设等级时，所述从所述多级标注节点中重新确定新的当前的标注节点，包括：

将当前的标注节点再次确定为新的当前的标注节点。

5.根据权利要求4所述的图片标注方法，其中，当将当前的标注节点再次确定为新的当前的标注节点时，还包括：

将未通过所述一致性要求的标注后图片返回新的当前的标注节点。

6.根据权利要求1所述的图片标注方法，其中，在确定出所述正确标注图片之后，还包括：

将所述正确标注图片下发给目标标注节点；其中，所述目标标注节点为未能标注得到被确定为所述正确标注图片的标注节点。

7.根据权利要求1至6任一项所述的图片标注方法，其中，当共存在3级不同的标注节点时，3级不同的标注节点包括依次排列的普通标注节点、专家标注节点、仲裁标注节点。

8.根据权利要求7所述的方法，其中，所述普通标注节点的数量大于所述专家标注节点，所述专家标注节点大于所述仲裁标注节点。

9.一种图片标注装置，包括：

待标注图片获取单元，被配置成获取待标注图片；

当前标注节点确定单元，被配置成从多级标注节点中确定起始标注节点，并将所述起始标注节点确定为当前的标注节点；

标注执行单元，被配置成执行以下标注步骤：将所述待标注图片下发给当前的标注节点进行标注；接收当前的标注节点返回的标注后图片；若当前接收到的标注后图片中的标注信息满足预设的一致性要求，则将标注有满足所述一致性要求的标注信息的标注后图片确定为正确标注图片；若当前接收到的标注后图片中的标注信息未满足预设的一致性要求，则从所述多级标注节点中重新确定新的当前的标注节点，并返回继续执行所述标注步骤。

10.根据权利要求9所述的图片标注装置，其中，所述标注执行单元进一步被配置成：

将当前的标注节点的下一级标注节点确定为新的当前的标注节点。

11.根据权利要求9所述的图片标注装置，其中，所述标注执行单元进一步被配置成：

将当前的标注节点的其它同级标注节点确定为新的当前的标注节点；其中，所述其它同级标注节点为同级标注节点中除当前的标注节点之外的标注节点。

12.根据权利要求9所述的图片标注装置，其中，当当前的标注节点的等级小于预设等级时，所述标注执行单元进一步被配置成：

将当前的标注节点再次确定为新的当前的标注节点。

13.根据权利要求12所述的图片标注装置，其中，当将当前的标注节点再次确定为新的当前的标注节点时，还包括：

非正确图片返回单元，被配置成将未通过所述一致性要求的标注后图片返回新的当前的标注节点。

14.根据权利要求9所述的图片标注装置，还包括：

正确标注信息返回单元，被配置成在确定出所述正确标注图片之后，将所述正确标注图片下发给目标标注节点；其中，所述目标标注节点为未能标注得到被确定为所述正确标注图片的标注节点。

15.根据权利要求9至14任一项所述的图片标注装置，其中，当共存在3级不同的标注节点时，3级不同的标注节点包括依次排列的普通标注节点、专家标注节点、仲裁标注节点。

16.根据权利要求15所述的图片标注装置，其中，所述普通标注节点的数量大于所述专家标注节点，所述专家标注节点大于所述仲裁标注节点。

17.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的图片标注方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的图片标注方法。

Images