CN108197658A - 图像标注信息处理方法、装置、服务器及系统 - Google Patents

Abstract

本说明书实施例公开了一种图像标注信息处理方法、装置、服务器及系统，可以提供多个节点不同处理结果的监督和判断处理逻辑，当图像标注信息出错时可以自动返回结果，使作业人员进行重新审查、修改等处理。这样可以在不断的审核反馈交互中提升作业人员的业务能力，逐渐提高图像标注效率，极大提高了训练集图片标注准确率。利用本说明实施方案可以有效的保证标注质量，并提供了作业流中及时、有效的信息反馈，提高样本图像标注信息作业效率。

Description

图像标注信息处理方法、装置、服务器及系统

技术领域

本说明书实施例方案属于计算机数据处理的技术领域，尤其涉及一种图像中的标注信息处理方法、装置、服务器及系统。

背景技术

现有应用中检测图像中物体的方式主要是依靠训练得到的目标检测/识别模型，如车辆定损业务中的部件识别模型、通过拍照图片确定购买物品的模型等。这些目标检测/识别的模型通常需要依赖于大量的已打标样本图像进行训练得到，因此样本图像中标注信息的准确性对模型输出结果的影响十分重大。

前期样本图像标注信息的处理时，样本图像中常常出现包括多个目标主体的情况。多目标标注任务相对于常规的类似判断某张图片上是否是狗或者猫的显著性很强的单个主体分类更加复杂，常常要求在一个图像中标注所有目标的所在区域并给出对应的目标分类结果。尤其是在一些较为专业的业务领域中，有些任务不仅需要靠常规认识/理解来完成，通常还要求标注人员具有一定专业性，还需要一定的专业培训和技巧强化过程。一些为某个专业领域的图像多目标检测算法准备训练样本的专业多目标标注处理要求十分严格，例如识别并标注人体器官、骨骼结构是医学领域专业人员或者非专业人员经过一段时间专业培训后才能进行标注的复杂任务类型。而当需要处理的样本图像数量较多、多数图像中的目标主体较为密集(至少两个)时，人工标注处理时一方面因为注意力有限，另一方面因为分类过多，需要专业性的同时还容易混淆，常常导致输出的样本图像标注信息准确率不高，难以保障标注质量，进而导致图像识别算法效果不佳，图像中目标预测准确率低。

因此，所以如何有效保障样本图像标注信息的准确率是目前亟需解决的一个技术问题。

发明内容

本说明书实施例目的在于提供一种图像标注信息处理方法、装置、服务器及系统，可以有效提高多目标样本图像标注信息的处理准确率，进而提高图像目标检测算法的准确率。

本说明书实施例提供的一种图像标注信息处理方法、装置、服务器及系统是包括以下方式实现的：

一种图像标注信息处理方法，所述方法包括：

第一节点接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别，以及所述目标的标注框；

第一节点接收所述任务图像的检查结果，将第一检查处理后的任务图像发送给第二节点，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；

所述第二节点接收复查结果，若所述复查结果包括标注信息存在错误，则将复查结果发送给所述第一节点进行第一重检查处理，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型；

所述第一节点接收第一重检查结果，将所述第一重检查结果发送给所述第二节点进行所述第二检查处理，所述第一重检查结果包括基于所述复查结果中的错误类型对所述任务图像的标注信息进行修正得到的标注结果。

一种图像标注信息处理方法，所述方法包括：

接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别，以及所述目标的标注框；

接收所述任务图像的检查结果，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；

接收所述任务图像的复查结果，若所述复查结果包括标注信息存在错误，则反馈错误类型，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型；

接收第一重检查结果，对所述第一重检查结果进行所述第二检查处理，所述第一重检查结果包括基于所述错误类型对所述任务图像的标注信息进行修正得到的标注结果。

一种样本图像标注信息处理装置，所述装置包括：

图像接收模块，用于接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别，以及所述目标的标注框；

标注检查交互模块，用于接收所述任务图像的检查结果，将第一检查处理后的任务图像发送给标注复查交互模块，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；还用于接收第一重检查结果，将所述第一重检查结果发送所述标注复查交互模块进行第二检查处理，所述第一重检查结果包括基于复查结果中的错误类型对所述任务图像的标注信息进行修正得到的标注结果；

标注复查交互模块，用于接收复查结果，以及在所述复查结果包括标注信息存在错误时，将复查结果发送给所述标注检查交互模块进行第一重检查处理，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型。

一种服务器，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：

接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别以及所述目标的标注框；

接收所述任务图像的检查结果，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；

接收所述任务图像的复查结果，若所述复查结果包括标注信息存在错误，则反馈错误类型，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型；

接收第一重检查结果，对所述第一重检查结果进行所述第二检查处理，所述第一重检查结果包括基于所述错误类型对所述任务图像的标注信息进行修正得到的标注结果。

一种样本图像标注信息处理系统，包括：

第一处理终端，用于接收任务图像以及所述任务图像的检查结果，将检查处理后的任务图像发送给第二处理终端；还用于接收第一重检查结果，将所述第一重检查结果发送第二终端进行第二检查处理，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别以及所述目标的标注框，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果，所述第一重检查结果包括基于所述复查结果中的错误类型对所述任务图像的标注信息进行修正得到的标注结果；

第二处理终端，用于接收复查结果，以及在所述复查结果包括标注信息存在错误时，将复查结果发送给所述第一处理终端进行第一重检查处理；还用于接收第二重检查结果，将所述第二重检查结果发送给第三处理终端，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型，所述第二重检查结果包括基于所述抽检信息对相应的任务图像的标注信息进行修正得到的标注结果；

第三处理终端，用于接收所述第二处理终端发送的标注信息正确的任务图像，还用于接收抽检结果，以及在所述抽检结果包括标注信息存在错误时，将相应的抽检图像的抽检信息发送至所述第二终端进行第二重检查处理，所述抽检结果包括：按照预设规则从接收的任务图像中选取抽检图像，验证所述抽检图像的标注信息是否正确而得到的处理结果。

本说明书实施例提供的一种样本图像标注信息处理方法、装置、服务器及系统，可以在复杂和专业性较强的多目标样本图像标注信息处理作业中提供多个节点不同处理结果的监督和判断处理逻辑，当图像标注信息出错时可以自动返回结果，使作业人员进行重新审查、修改等处理，实现系统与作业人员的良好交互反馈、质量监控、能力检测、防止不同节点作业人员串通等。这样可以在不断的审核反馈交互中提升作业人员的业务能力，逐渐提高图像标注效率，有效提高训练样本图像标注信息的准确率。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本说明书所述方法一种对样本图像中的多目标进行标注的作业场景示意图；

图2是本说明书提供的所述一种样本图像标注信息处理方法实施例的流程示意图；

图3是本说明书一个实施场景中在第二节点对任务图像进行复查的处理过程示意图；

图4是本说明书提供的所述方法另一个实施例的方法流程示意图；

图5是本说明书一个确定检查准确率的处理场景示意图；

图6是本说明书提供的一种用于服务器的样本图像标注信息处理方法流程示意图；

图7是本发明实施例的一种训练样本图像标注信息处理服务器的硬件结构框图；

图8是本说明书提供的一种样本图像标注信息处理装置实施例的模块结构示意图；

图9是本说明书提供的所述装置另一种实施例的模块结构示意图；

图10是本说明书提供的所述装置另一种实施例的模块结构示意图

图11是本说明书提供的所述装置另一种实施例的模块结构示意图；

图12是本说明书提供的所述系统一种实施例的框架结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书中的一部分实施例，而不是全部的实施例。基于本说明书中的一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书实施例保护的范围。

在一些业务场景中，常常需要处理目标分类繁多或专业性较强的训练样本图像标注信息的情况。在样本图像标注信息处理中，通常要求识别出图像中的目标主体、标记出目标的类别、目标在图像中的位置区域等。所述的类别可以包括目标的不同分类或选取的某一维度的属性值(如基于位置、连接关系、材质、颜色、用途等的分类)，可以是类别的名称或代码、编号等，具体的可以预先根据规则定义目标的分类。本说明书中所述的目标通常的包括图像中的主体物体，如人体解剖图像中的各个器官或组织、车辆图像中的各个车辆部件等。训练样本的图像处理，在识别出图像中的目标后，通常还需要标注出目标的位置区域，具体的可以在图像中以标注框的方式体现主体的位置区域。所述的标注框可以为矩形或其他规则、不规则的图形表示，可以为封闭的图形，如矩形框，也可以包括类似线段加箭头的方式指示位置区域的方式，具体的对此不做限制。为了统一描述，本说明书的一个或多个实施例中可以将标识图像中目标位置区域的标注信息统一称为标注框。

当图像中目标分类较多，通常还会要求标注出图像中所有的目标以及类型和框图，但实际应用中由于标注人员存在自身注意力、工作状态、记忆力等多种局限，往往出现各种类型的错误，如误检、漏检、分类标号错误、标注框过大或过小等。以上任何一类错误发生都会影响最终进入训练集中的样本图像标注信息的准确率，进而导致算法训练效果不佳，预测准确率降低。一个应用场景示例如图1所示，图1是一种对样本图像中的多目标进行标注的作业场景示意图，要求作业人员标注出汽车各个部件及对应部件分类标号，例如轮胎的标号为31，31对应的标注框大小要合理的框出轮胎所在位置区域。但实际作业中，标注人员因为受到人本身注意力有限和专业性不足等的影响，总会犯错误，例如标注框31太小，或轮胎标号标错为30，或者遗漏图像中的“前挡泥板”部件。而目前普遍采用的是单一的业务层面上的培训来提高训练样本图像标注信息的准确率，如专业领域知识培训、汽车部件分类标号记忆等。

而本说明书提供的一个或多个样本图像标注信息处理方法的实施例中，采用机器与作业人员的快速、高效的标注信息交互反馈，实现标准化作业流转，有效发现和反馈作业问题，监督和提高样本图像标注信息处理质量。可以通过设置多个控制节点的标注信息的检查处理来及时反馈、修正错误的标注信息，使得作业人员在样本图像标注信息的持续作业中逐渐提高标注作业能力，并可以有效保障标注质量，使得整个标注处理系统的效率得到提高。本说明书提供的一些实施例中，可以根据对标注信息的不同处理阶段划分多个控制节点，如用于检查样本图像中初始的标注信息的第一节点、对第一节点检测处理后的图像的标注信息进行复查的第二节点，甚至在一些实施例中还可以加入随机抽检第一节点或第二节点标注处理结果的第三节点。当某个节点发现上个节点的标注信息出现错误时可以及时的进行反馈，进行修正后可以继续检查。标注信息检查通过的图像可以作为模型训练的样本图像，加入到训练样本集合中。这样，通过不同节点之间的交互处理和信息反馈，可以实现标注信息的质量监控，逐渐提高标注人员业务能力，极大的提高了落入训练样本集合中标注样本的准确率。

例如一个简单的应用示例中，第二节点的作业人员A发现第一节点的标注人员B做错了，可以在系统中选择标注信息错误的选项，并可以给出错误备注或错误分类，系统可以自动返回给第一节点，使得第一节点的标注人员B进行及时的修改。B修改后可以返回给第二节点的作业人员A继续检查，如果正确就通过，如果错误还可以再次返回。通过本方案的图像标注信息处理方式，标注人员B可以逐渐的减少样本图像标注信息的错误率。

本说明书提供的一种实施方案可以应用到多终端的系统构架中(包括属于同一系统的不同终端)、分布式系统中，或者专用的图像标注信息处理应用中。所述的系统可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式系统结构。在一些应用场景中，作业人员可以与所述系统进行交互，本说明书的一个实施例中可以根据不同的作业人员或不同的作业阶段(流程)将所述系统划分为相应的处理节点，例如上述中所述的检查样本图像中初始的标注信息的第一节点、对第一节点检测处理后的图像的标注信息进行复查的第二节点等。需要说明的是，所述的第一节点、第二节点，以及其他实施例中所涉及的第三节点，可以为标注信息处理系统的不同终端，例如给外包作业人员对服务器自动生成的标注信息进行首次检查的第一节点的计算机终端，类似的还可以有专门提供给作业人员进行标注信息复查的第二节点的计算机终端，以及内部人员对标注信息进行随机抽检的第三节点的计算机终端。当然，本说明书不排除其他的实施方式中，所述的第一节点、第二节点、第三节点等中的一个或多个可以为相同的终端，或者其中的部分节点为相同的终端。这些相同或不同的终端，所述方法在具体的应用系统中实施时可以从业务处理逻辑上划分为不同的处理节点，这些节点可以是物理上分开的不同终端，也可以为同一终端设备。

下面以一个具体的车损样本图像应用场景为例对本说明书实施方案进行说明。具体的，图2是本说明书提供的所述一种样本图像标注信息处理方法实施例的流程示意图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本说明书实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置、服务器或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境、甚至包括分布式处理、服务器集群的实施环境)

具体的一种实施例如图2所示，所述方法可以包括：

S0：第一节点接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别以及所述目标的标注框。

在本实施例一个车损样本图像标注信息处理的应用场景中，可以对现场采集的原始的车损图像进行标注信息的预处理，得到本实施例中需要处理的任务图像。所述的预处理可以包括对所述车损图像的目标进行标注，获取标注信息。一般的，在所述预处理中获取标注信息通畅可以采用预设算法进行快速的识别出图像中的部件，标记出部件的类别编号，同时可以框出部件所在位置的标注框。任务图像中的标注信息可以采用多种图标目标检测算法实现，本说明书实施例对此不做限制。

一些应用场景中，可以通过作业的案件级别将所述任务图像以派单方式传送给第一节点进行处理。例如可以一次给出一个车损案件的所有图片，作业人员在第一节点的终端设备上对AI(Artificial Intelligence，人工智能，这里可以指采用预设算法对车损图像进行预处理得到标注信息的服务器系统)预标注的标注信息进行检查和修改。终端设备的标注界面上可以给出AI预测的标注框并可以允许作业人员修改。作业人员可以对第一节点接收的任务图像中的标注信息进行第一检测处理，检测任务图像中的标注信息是否存在错误，若存在错误，则可以进行修正，保存修正后的检测结果；对于一张任务图像而言，若作业人员检测后发现目标均检测正确并且所有标注框和分类也正确，则可以确定该任务图像标注信息没有错误的检测结果。

作业人员在第一节点对任务图像中的标注信息检测，对AI预标注错误的标注信息进行修正后流转至第二节点，若没有错误，则可以直接流转至第二节点。因此，所述方法中进一步的还可以包括：

S2：第一节点接收所述任务图像的检查结果，将检查处理后的任务图像发送给第二节点，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果。

第二节点处的作业人员可以对第一节点进行第一检测处理后的任务图像进行复查。该节点的作业人员主要是对第一节点的作业任务的标识检测作业结果的对错做出判断，具体的应用中，标注处理界面可以与第一节点作业人员的处理界面相似，不同是可以单独给出第一节点作业人员标注作业处理错误的错误类型。如图3所示，当第二节点的作业人员复查任务图像P1的标注信息时，判断标注信息是否存在错误，若有则可以选出第一节点作业人员在进行第一检测处理时得到的第一检测结果的错误类型，若没有，则可以直接通过。例如图3中，没有错误时，可以在第二节点的终端设备的标注处理界面上勾选“A：正确”，若存在错误，则可以根据相应的错误类型勾选“B1：遗漏标记框”、“B2：分类错误”、“B3误检(无损伤判断为有损伤)”等等中的一个或多个错误类型。在第二节点处，若作业人员复查到认为图像的标注信息存在错误，则可以将该图片的复查结果退回给第一节点，使第一节点的作业人员重新进行检查，修正标注信息(在此可以称为第一重检查处理)。因此，所述方法进一步的可以包括：

S4：所述第二节点接收复查结果，若所述复查结果包括标注信息存在错误，则将复查结果发送给所述第一节点进行第一重检查处理，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型；

S6：所述第一节点接收第一重检查结果，将所述第一重检查结果发送给所述第二节点进行所述第二检查处理，所述第一重检查结果包括基于所述复查结果中的错误类型对所述任务图像的标注信息进行修正得到的标注结果。

当第二节点的作业人员进行第二检测发现第一节点的检测结果出现错误时，可以将错误的信息如本实施例中所示的错误类型反馈给第一节点。第一节点可以将该复查结果展示在第一节点终端设备的展示界面上，或者以通知、提醒的信息方式展示，使得第一节点的作业人员根据反馈的复查结果对检测错误的任务图像的标注信息进行重新检查处理。

一种实施方式中，第二节点返回给第一节点的复查结果可以包括第一检测结果出现错误的错误类型，而不包括错误对应的任务图像，这种情况下第一节点可以使用缓存或者备用的任务图像进行重新检查处理，这样可以减少第二节点发送给第一节点是数据量，节约网络开销。当然，本说明书的其他实施例中，所述的复查结果也可以包括复查中出现标注信息错误的任务图像，将错误类型连通相应的任务图像一同反馈给第一节点，这样可以使第一节点的作业人员快速定位重新检查的图像，及时进行处理，提高错误修正处理效率。

需要说明是，上述中所述第一检查处理、第二检查处理、第一重检查处理，甚至包括下述实施例中所述的第二重检查处理，可以为相同的对图像标注信息检查的处理方式，如相同的标注信息检查项目或相同的检查作业流程、要求等。当然，也可以设置第二检查处理与第二检查处理不同，由于第二检查主要实现对第二节点作业人员的检测结果进行复查，因此可以根据实际作业场景设置针对性的第二检测处理的操作。

第一节点的作业人员根据复查结果对出现错误的任务图像进行重新修正处理后确定第一重检结果，然后可以将对应任务图像的第一重检结果再次发送给第二节点，由第二节点的作业人员再次进行第二检查处理。重新修正处理后，如果标注信息还出现错误，本实施例应用场景中可以再次反馈复查结果给第一节点进行处理；如果修正后第二检查处理没有发现错误，则标注信息在第二节点的复查通过，可以流转至下一处理节点。

样本图像标注信息的处理是一项基础且重要的业务处理，对后续线上产品的目标检测、识别，以及相关联业务如产品定位、搜索、推送等的影响十分重大。在本说明书的一个或多个实施例中，通过对其中至少两个节点的作业人员的交互和作业结果反馈处理，可以有效并及时的发现和反馈标错误的标注信息。通常本实施例方案中作业人员与各个节点的信息交互反馈，可以使各个节点作业人员不断的意识到自己的薄弱环节，进而辅助其针对性的逐步改进作业能力，提高整个样本图像标注信息的处理质量。

上述实施例中经过第二节点复查处理后的任务图像可以作为样本图像，放入相应的样本图像集合中，也可以对第二节点处理后的任务图像进行其他处理后再标记为样本图像。本说明书提供的所述方法的另一个实施例中，还可以增加第三节的与作业人员交互反馈处理。所述的第三节点可以对第二节点的复查结果进行抽检处理，验证第二节点作业人员处理的任务图像的标注信息是否正确。如果抽检的图像中发现标注信息存在错误，一种实施方式中可以将标注信息错误的任务图像发送给第二节点进行重新检查，另一种实施方式中可以将标注信息错误的任务图像所在的那一批次的任务图像发送给第二节点。第三节点的作业人员可以包括内部的质检人员，或者专门设置的定期或不定期对任务图像的标注信息进行抽检处理的作业人员，可以是内部的作业人员，也可以是委托的第三方机构。因此，如图4所示，图4是本说明提供的所述方法的另一个实施例，所述方法还可以包括：

S80：将所述复查结果中所述标注信息正确的任务图像发送至第三节点；

S82：所述第三节点接收抽检结果，若所述抽检结果包括标注信息存在错误，则将相应的抽检图像的抽检信息发送至所述第二节点进行第二重检查处理，所述抽检结果包括：按照预设规则从接收的任务图像中选取抽检图像，验证所述抽检图像的标注信息是否正确而得到的处理结果；

S84：所述第二节点接收第二重检查结果，将所述第二重检查结果发送给所述第三节点，所述第二重检查结果包括基于所述抽检信息对相应的任务图像的标注信息进行修正得到的标注结果。

第三节点的作业人员可以随机抽取任务图像，也可以基于“检查人”或“复检人”、“检查日期”中的一个或多个来抽取任务图像，为便于描述，这里将按照预设规则从接收的任务图像中选取处理的用于筹集处理的图像称为抽检图像。因此，所述方法的一个实施例中，所述选取抽检图像可以包括：基于标注信息处理的用户标识和执行日期中的至少一项选取任务图像。所述的执行日期可以包括上述中第二节点进行复查的复查日期。当然，其他的实施例中，如果是对第一节点的任务图像进行复查的实施场景，则执行日期可以包括作业人员在第一节点进行检查的检查日期。

第二节点将复查中标注信息正确的任务图像发送给第三节点，第三节点可以持久化任务图像。第三节点的作业人员可以从第三节点中获取抽检图像进行标注信息的验证处理。如果抽检图像的标注信息抽检结果为正确，则可以将相应的任务图像或者任务图像对应的批次标记为训练样本。如果所述抽检结果包括标注信息存在错误，则可以将相应的抽检图像的抽检信息发送至所述第二节点进行第二重检查处理。所述的第二检查处理和同上述实施例中所述的第二检查处理相同，或者与第一重检查处理相同。当然，也可以针对抽检结果单独设置标注信息处理的方式。

上述中抽检处理中发现标注信息错误发生给第二节点的抽检信息，一种实施例中可以将标注信息错误的抽检图像发送给第二节点，可以不用发送具体的错误信息和任务图像；另一种实施方式中，可以仅将标识错误信息发送给第二图像，标识错误信息中可以包括抽检的是哪张图像发生的什么错误的具体信息，可以不发送任务图像；其他的实施例中，若标注信息存在错误，则可以将该批次对应的所有图像发送给第二节点进行重新检查。因此，本说明书所述方法的另一个实施例中，所述将相应的抽检图像的抽检信息发送至所述第二节点包括下述中的至少一种方式：

将标注信息存在错误的抽检图像发送给所述第二节点；

若标注信息存在错误，则将抽检图像对应的任务图像集合发送给所述第二节点；

将抽检图像的标注错误信息发送给所述第二节点。

当然，一些实施例中也可以结合上述其中多种方式进行处理。如将存在标注信息错误的批次的所有任务图像返回给第二节点，同时返回标注错误信息。所述的批次可以包括按照预定维度划分的任务图像的集合，例如一个车损案件为一个批次，其案件下的所有图像均在一个任务图像集合中，如一个车辆单车碰撞事故的案件中包含100张车损图像，经过AI预标注、第一节点检查修正、第二节点复查后，在第三节点随机抽检该案件的10张图像来验证其标注信息是否正确。如果10张图像的标注信息均正确，则该案件的100张车损图像均加入样本图像训练集，如果抽检的10张图像中有至少一种图像的标注信息不正确，则可以将该案件的100张车损图像全部返回给第二节点(一些实施例中也可以直接返回给第一节点)，由第二节点的作业人员重新检查处理。或者也可以按照第一节点检测人员的身份标识或检查日期划分批次，例如当抽检复查人员A在日期2017年12月20日的复查结果中发现标注信息存在错误，则可以将改复查人员A在2017年12月20日这一天中所有复查处理的任务图像全部返还至第二节点进行重新检查。当然，根据实际的作业需要或质量监控标准，可以相应的设置返回的抽检信息的具体内容和方式。

本实施例中所述的第三节点的抽检处理具体的实施中可以是对每一批次的任务图像进行抽检处理，在抽检通过之后才能作为训练样本图像。也可以是定期不定期的对第二节点流转来的任务图像中的部分图像进行抽检处理，没有被抽检处理到的任务图像或任务图像集合(批次)可以按照正确的业务流程作为训练样本图像，如持久化3天后没有内抽检处理则默认通过，可以加入到相应的样本图像训练集中。因此，本说明书所述方法的另一个实施例中，还可以包括：

将抽检结果为标注信息正确的抽检图像所对应的任务图像集合标记为训练样本图像。

这样，利用本实施例样本图像标记信息处理方法得到的训练样本图像中的标记信息的准确率更高，标记质量和作业人员水平逐步稳健提高，进而提高基于训练样本图像的算法的准确率。上述所述的抽检图像所对应的任务图像集合可以包括任务图像所在的批次的图像集合，通常包括多张任务图像，但本说明书不排除所述的任务图像集合中包括一张任务图像的实施情况。

本说明书提供的所述方法的另一些实施例中，还可以设置在任务图像中进行埋点，以检测作业人员在工作流中标注信息处理的正确率。设置了埋点信息的任务图像在此可以称为监控图像，所述的监控图像通常包括预先已经识别并确定出的图像中的所有目标、目标所属的类别和目标的标记框大小位置等。可以预先在任务图片中添加一定比例的监控图像，一个实施例中可以在第一节点处根据对监控图像的标注信息的识别结果来确定第一节点作业人员处理的检测结果的准确率。具体的一个实施例中，所述方法还包括：

S102：在所述任务图像中添加预定比例的监控图像，所述监控图像的已知标注信息包括识别出的目标以及对应的类别和标注框信息；

S104：获取所述检查结果中所述监控图像的标注信息的识别结果；

S106：比较所述识别结果与所述已知标注信息，确定所述检查结果的检查准确率。

例如一个具体的实施示例如图5所示，可以对比监控图像中已识别出的目标的标注框与作业人员检测处理得到的检查结果中的标注框的面积比值(本示例中可以采用框图交叉面积/两个框的合并面积，图5中实线框和虚线框所示)以及对应的类别。若标记的目标的类别正确，均为车辆前门，且标注框面积比值在误差范围内，则可以认为作业人员处理的检查结果中的标记框为标注正确。对一张图像而言，如果所有框都标注正确则可以确定该图像的标注信息正确。

在实际应用中，在待标注图片中加入一定比例的正确框图作为埋点，可以监测标注人员工作流中的检查正确率，然后可以设置基于该检查正确率触发相应的消息或动作，有效实现标注信息监督和质量把控。因此，一些实施例中，所述方法还可以包括：

当所述检查准确率在第一预设周期内达到第一阈值时，发出相应的通知消息。

上述一些实施例中描述了可以在任务图像中添加监控图像并在第一节点的检查结果中根据监控图像的标注信息的识别结果来确定作业人员检查准确率。本说明书提供的所述方法的另一个实施例中，也可以通过所述监控图像来埋点检测第二节点复查人员复查结果处理的准确率，实现复查处理的质量监督和反馈。具体的，所述方法还可以包括：

S122：在所述任务图像中添加预定比例的监控图像，所述监控图像的已知标注信息包括识别出的目标以及对应的类别和标注框信息；

S124：获取所述复查结果中所述监控图像的标注信息的识别结果；

S126：基于所述识别结果确定所述复查结果的复查准确率。

通过上述方案可以通过实时监控复查准确率。可以基于有标准监控信息监控图像的检查结果，对比复查人员对监控图像标注信息的检查结果，在两者的误差符合预期时可以任务复查人员的复查处理正常，符合岗位要求。

参考检查准确率的处理，所述方法的另一个实施例中还可以包括：

当所述复查准确率在第二预设周期内达到第二阈值时，发出相应的通知消息。

所述的第一预设周期、第二预设周期，以及相应的发出通知的第一阈值、第二阈值可以根据实际需要进行设置。例如若所述复查准确率在第二预设周期内低于第二阈值，则向指定接收方发出调岗建议消息，所述第二阈值可以设置小于所述第一阈值。

例如，对某些时间段准确率低的标注人员进行建议提醒，对长期正确率低的标注人员可以向指定接收方，如管理人终端或人事管理终端发出调岗建议消息。利用本实施例方案还可以获取标注人员标注的准确率时间关系，作为优化管理的数据支撑，提高标注信息处理效率。

需要说明的是，上述所述的通过埋点获得检查准确率、复查准确率的处理可以在指定的节点实现，例如在第一节点计算检查准确率，在第二节点计算复查准确率，也可以单独设置逻辑处理单元实现。本说明书提供的所述方法的另一个实施例中，在所述第三节点的抽检处理中，可以结合复查准确率和抽检结果来确定任务图像是否可以作为训练样本图像。具体的，所述方法的另一个实施例中，还可以包括：

S140：若所述复查准确率在误差范围内，且所述抽检结果通过，则将抽检图像对应的任务图像集合添加至训练样本集合。

可以对比复查人员复查结果和埋点检测结果的一致率，如果内部抽检通过，且一致率符合预期，则可以批量通过该复查人员处理的任务图像，将其添加到相应的训练样本集合中。

上述实施例的不同节点和检查准确率、复查准确率的计算在实际应用中可以布局在不同的处理环节，例如一个应用示例中，第一节点和第二节点可以由外部的作业人员进行处理，而第三节的内部抽查可以由内部作业人员进行处理，这样通过外部和内部两个环节的任务质检，可以避免外部作业人员串通导致大批任务图像的标注处理任务放水。同时还可以在内部通过埋点检测作业人员处理的准确率，及时发现问题，反馈给作业人员或提醒更换作业人员等。通过本说明书提供的一个或多个实施例的节点交互和反馈处理，可以有效提高最终落入训练样本集中图像标注信息的准确率，相比于常规的不断强调标注规则和内容培训，可以从另一个角度使得整个样本图像标注信息处理实现边做边学边进步，有效的保证了标注质量，并提供了作业流中及时、有效的信息反馈，提高样本图像标注信息作业效率。

上述实施例描述了可以以不同逻辑处理节点来实现样本图像标注信息处理方法的实施方式，具体不同的处理节点可以为系统中不同的终端设备实现，如第一节点的第一服务器、第二节点的第二服务器、第三节点的第三服务器，或者第一节点和第二节点的实施步骤由相同的服务器或服务器系统(应用)实现。本说明书提供的所述方法也可以由同一物理终端设备实现，或者成套的多个终端设备实现，如样本图像标注信息系统服务器，该系统服务器中不同的作业人员可以与之进行信息交互，例如作业人员A可以在该系统服务器上对任务图像的标注信息进行检查，修正AI的标注信息，确定并持久化检查结果。作业人员B可以在该系统服务器上对作业人员A的检查结果进行复查，如果发现标注信息错误，则可以进行标记并通过系统服务器反馈给作业人员A标注信息错误的错误类型。相应的，作业人员C也可以通过该系统服务器对作业人员B的复查结果进行抽查，当然一些实施场景中也可以实现对作业人员A的检查结果进行抽查。因此，本说明书提供的一种样本图像标注信息处理方法的另一个实施例中，可以包括：

S100：接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别，以及所述目标的标注框；

S200：接收所述任务图像的检查结果，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；

S300：接收所述任务图像的复查结果，若所述复查结果包括标注信息存在错误，则反馈错误类型，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型；

S400：接收第一重检查结果，对所述第一重检查结果进行所述第二检查处理，所述第一重检查结果包括基于所述错误类型对所述任务图像的标注信息进行修正得到的标注结果。

图6是本说明书提供的所述方法另一种实施例的方法流程示意图。当然，如前述实施例描述，所述方法的另一个实施例中，还可以实现对任务图像的抽检，以进一步保障训练样本图像的标注信息的准确率。因此，所述方法还可以包括：

S500：接收所述任务图像的抽检结果，所述抽检结果包括：按照预设规则从复查结果为所述标注信息正确的任务图像中选取抽检图像，验证所述抽检图像的标注信息是否正确而得到的处理结果；

S502：若所述抽检结果包括标注信息存在错误，则反馈相应的抽检图像的抽检信息；

S504：接收第二重检查结果，所述第二重检查结果包括基于所述抽检信息对相应的任务图像的标注信息进行修正得到的标注结果。

需要说明的是，本说明书上述实施例所述的可以应用到同一系统服务器的样本图像标注信息处理方法，根据前述划分多个节点、设置相应节点终端设备的方法实施例的描述还可以包括其他的实施方式，例如设置埋点监测不同处理节点作业人员标注信息处理的正确率等。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。

本说明书实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图7是本发明实施例的一种训练样本图像标注信息处理服务器的硬件结构框图。如图7所示，服务器10可以包括一个或多个(图中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。本领域普通技术人员可以理解，图7所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器10还可包括比图7中所示更多或者更少的组件，例如还可以包括其他的处理硬件，如GPU(Graphics Processing Unit，图像处理器)，或者具有与图7所示不同的配置。

存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的搜索方法对应的程序指令/模块，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述导航交互界面内容展示的处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输模块106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输模块106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输模块106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

基于上述所述的样本图像标注信息处理方法，本说明书还提供一种样本图像标注信息处理装置。所述的装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的设备装置。基于同一创新构思，本说明书提供的一种实施例中的处理装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的处理装置的实施可以参见前述方法的实施，重复之处不再赘述。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。具体的，如图8所示，图8是本说明书提供的一种样本图像标注信息处理装置实施例的模块结构示意图，具体的可以包括：

图像接收模块201，可以用于接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别以及所述目标的标注框；

标注检查交互模块202，可以用于接收所述任务图像的检查结果，将检查处理后的任务图像发送给标注复查交互模块203，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；还可以用于接收第一重检查结果，将所述第一重检查结果发送所述标注复查交互模块103进行第二检查处理，所述第一重检查结果包括基于所述复查结果中的错误类型对所述任务图像的标注信息进行修正得到的标注结果；

标注复查交互模块203，可以用于接收复查结果，以及在所述复查结果包括标注信息存在错误时，将复查结果发送给所述标注检查交互模块102进行第一重检查处理，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型。

如图9所示，图9是本说明书提供的一种样本图像标注信息处理装置另一种实施例的模块结构示意图，所述装置还可以包括：

标注抽查交互模块104，可以用于所述标注复查交互模块103发送的标注信息正确的任务图像，还可以用于接收抽检结果，以及在所述抽检结果包括标注信息存在错误时，将相应的抽检图像的抽检信息发送至所述标注复查交互模块103进行第二重检查处理，所述抽检结果包括：按照预设规则从接收的任务图像中选取抽检图像，验证所述抽检图像的标注信息是否正确而得到的处理结果；

相应的，所述标注复查交互模块103还可以用于接收第二重检查结果，将所述第二重检查结果发送给所述标注抽查交互模块104，所述第二重检查结果包括基于所述抽检信息对相应的任务图像的标注信息进行修正得到的标注结果。

所述装置的另一个实施例中，所述标注抽查交互模块104选取抽检图像具体的可以包括：

基于标注信息处理的用户标识和执行日期中的至少一项选取任务图像。

所述装置的另一个实施例中，所述标注抽查交互模块104将相应的抽检图像的抽检信息发送至所述标注复查交互模块103可以包括下述中的至少一种方式：

将标注信息存在错误的抽检图像发送给所述标注复查交互模块103；

若标注信息存在错误，则将抽检图像对应的任务图像集合发送给所述标注复查交互模块103；

将抽检图像的标注错误信息发送给所述标注复查交互模块103。

所述装置的另一个实施例中，可以将抽检通过的任务图像或者任务图像对应的图像集合加入到对应的训练样本集合中，这样得到的训练样本集合中的图像的标注信息更加准确，使得后续基于训练样本图像的算法处理准确率更高。具体的，另一个实施例中，所述装置还可以包括：

输出模块205，可以用于将抽检结果为标注信息正确的抽检图像所对应的任务图像集合标记为训练样本图像，存入至相应的训练样本集合中。

本说明书提供的所述装置另一种实施例中还可以包括：

第一埋点处理模块206，可以用于识别在所述任务图像中添加的预定比例的监控图像，所述监控图像的已知标注信息包括识别出的目标以及对应的类别和标注框信息；还可以用于获取所述检查结果中所述监控图像的标注信息的识别结果；还可以用于比较所述识别结果与所述已知标注信息，确定所述检查结果的检查准确率。

图10是本说明书提供的所述装置另一种实施例的模块结构示意图，如图10所示，所述装置的另一个实施例中还可以对第二节点的作业人员的复查结果进行埋点监测。此处埋点监测使用的监控图像可以与第一节点或第一埋点处理模块106使用的监控图像相同，即可以使用同一批监控图像来计算不同作业人员标注信息处理的正确率，当然，也可以使用不同的监控图像。具体的，所述装置的另一个实施例中，还可以包括：

第二埋点处理模块207，可以用于识别在所述任务图像中添加的预定比例的监控图像，所述监控图像的已知标注信息包括识别出的目标以及对应的类别和标注框信息；还可以用于获取所述检查结果中所述监控图像的标注信息的识别结果；还可以用于比较所述识别结果与所述已知标注信息，确定所述检查结果的检查准确率。

所述装置的另一个实施例中，还可以根据埋点计算得到的检测准确率或复查准确率相应的发出通知消息。例如作业人员A检查准确率在一周内处于第一阈值区间时，可以向作业人员A发出“标注信息准确率较低，请检查原因，慎重处理”。若作业人员A在10个工作日的检查准确率平均低于最低考核阈值，则可以向指定的监督终端发出通知消息，例如向标注抽查交互模块104或专用的终端设备发出消息，甚至可以附带建议调岗或者统计错误类型等信息一同反馈给指定接收方。因此，本说明书提供的所述装置的另一个实施例中，还可以包括：

第一通知模块2082，可以用于当所述检查准确率在第一预设周期内达到第一阈值时，发出相应的通知消息。

相应的，所述装置的另一个实施例中，还可以包括：

第二通知模块2084，可以用于当所述复查准确率在第二预设周期内达到第二阈值时，发出相应的通知消息。

图11是本说明书提供的所述装置另一种实施例的模块结构示意图。

所述装置的另一个实施例中，所述输出模块105可以结合抽检结果和埋点计算得到的复查准确率来确定抽检的任务图像或任务图像集合是否通过。具体的，所述装置的另一个实施例中，所述输出模块105在所述复查准确率在误差范围内，且所述抽检结果通过时，将对应的任务图像集合添加至训练样本集合。

本说明书实施例提供的样本图像标注信息处理方法可以在计算机中由处理器执行相应的程序指令来实现，如使用windows、Linux操作系统的应用编程语言在PC端实现，或其他例如android、iOS系统相对应的应用设计语言集合必要的硬件实现，或者基于量子计算机的处理逻辑实现等。具体的，本说明书提供的一种服务器实现上述方法的实施例中，所述服务器可以包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：

接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别以及所述目标的标注框；

接收所述任务图像的检查结果，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；

接收所述任务图像的复查结果，若所述复查结果包括标注信息存在错误，则反馈错误类型，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型；

接收第一重检查结果，对所述第一重检查结果进行所述第二检查处理，所述第一重检查结果包括基于所述错误类型对所述任务图像的标注信息进行修正得到的标注结果。

所述的服务器可以为单独的服务器，也可以为服务器集群，或者分布式系统中的服务器，其分布在不同处理节点的服务器终端可以被视为同一服务器。

基于上述所述的方法、装置或服务器，本说明书还提供一种样本图像标注信息处理系统，图12是本说明书提供的所述系统一种实施例的框架结构示意图，如图11所示，可以包括：

第一处理终端，可以用于接收任务图像以及所述任务图像的检查结果，将检查处理后的任务图像发送给第二处理终端，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别以及所述目标的标注框，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；还用于接收第一重检查结果，将所述第一重检查结果发送所述第一终端进行第二检查处理，所述第一重检查结果包括基于所述复查结果中的错误类型对所述任务图像的标注信息进行修正得到的标注结果；

第二处理终端，可以用于接收复查结果，以及在所述复查结果包括标注信息存在错误时，将复查结果发送给所述第一处理终端进行第一重检查处理，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型；还可以用于接收第二重检查结果，将所述第二重检查结果发送给第三处理终端，所述第二重检查结果包括基于所述抽检信息对相应的任务图像的标注信息进行修正得到的标注结果

第三处理终端，可以用于接收所述第二处理终端发送的标注信息正确的任务图像，还用于接收抽检结果，以及在所述抽检结果包括标注信息存在错误时，将相应的抽检图像的抽检信息发送至所述第二终端进行第二重检查处理，所述抽检结果包括：按照预设规则从接收的任务图像中选取抽检图像，验证所述抽检图像的标注信息是否正确而得到的处理结果。

上述的指令可以存储在多种计算机可读存储介质中。所述计算机可读存储介质可以包括用于存储信息的物理装置，可以将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。本实施例所述的计算机可读存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。下述所述的装置或服务器或客户端或系统中的指令同上描述。

需要说明的是，本说明书实施例上述所述的装置、服务器、系统，根据相关方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照方法实施例的描述，在此不作一一赘述。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书提供多处作业节点不同处理结果的交互判断处理逻辑，当图像标注信息出错时可以自动返回使作业人员进行重新审查、修改等处理。这样可以在不断的反馈交互中提升作业人员的业务能力，逐渐提高标注效率，有效提高训练样本图像标注信息的准确率。

虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

尽管本说明书实施例内容中提到通过标注框面积计算检查准确率/复查准确率、第三节点对第二节点进行抽查等之类的数据获取、交互、计算、判断等操作和数据描述，但是，本说明书实施例并不局限于必须是符合行业通信标准、标准图像数据处理协议、通信协议和标准数据模型/模板或本说明书实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例，仍然可以属于本说明书的可选实施方案范围之内。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

虽然本说明书实施例提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本说明书实施例的实施例而已，并不用于限制本说明书实施例。对于本领域技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的权利要求范围之内。

Claims (24)

1.一种图像标注信息处理方法，所述方法包括：

第一节点接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别，以及所述目标的标注框；

第一节点接收所述任务图像的检查结果，将第一检查处理后的任务图像发送给第二节点，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；

所述第二节点接收复查结果，若所述复查结果包括标注信息存在错误，则将复查结果发送给所述第一节点进行第一重检查处理，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型；

所述第一节点接收第一重检查结果，将所述第一重检查结果发送给所述第二节点进行所述第二检查处理，所述第一重检查结果包括基于所述复查结果中的错误类型对所述任务图像的标注信息进行修正得到的标注结果。

2.如权利要求1所述的方法，所述方法还包括：

将所述复查结果中所述标注信息正确的任务图像发送至第三节点；

所述第三节点接收抽检结果，所述抽检结果包括：按照预设规则从接收的任务图像中选取抽检图像，验证所述抽检图像的标注信息是否正确而得到的处理结果；

若所述抽检结果包括标注信息存在错误，则将相应的抽检图像的抽检信息发送至所述第二节点进行第二重检查处理；

相应的，所述第二节点接收第二重检查结果，将所述第二重检查结果发送给所述第三节点，所述第二重检查结果包括基于所述抽检信息对相应的任务图像的标注信息进行修正得到的标注结果。

3.如权利要求2所述的方法，所述选取抽检图像包括：

基于标注信息处理的用户标识和执行日期中的至少一项选取任务图像。

4.如权利要求2所述的方法，所述将相应的抽检图像的抽检信息发送至所述第二节点包括下述中的至少一种方式：

将标注信息存在错误的抽检图像发送给所述第二节点；

若标注信息存在错误，则将抽检图像对应的任务图像集合发送给所述第二节点；

将抽检图像的标注错误信息发送给所述第二节点。

5.如权利要求2所述的方法，所述方法还包括：

将抽检结果为标注信息正确的抽检图像所对应的任务图像集合标记为训练样本图像。

6.如权利要求1所述的方法，所述方法还包括：

在所述任务图像中添加预定比例的监控图像，所述监控图像的已知标注信息包括识别出的目标以及对应的类别和标注框信息；

获取所述检查结果中所述监控图像的标注信息的识别结果；

比较所述识别结果与所述已知标注信息，确定所述检查结果的检查准确率。

7.如权利要求6所述的方法，所述方法还包括：

当所述检查准确率在第一预设周期内达到第一阈值时，发出相应的通知消息。

8.如权利要求2所述的方法，所述方法还包括：

在所述任务图像中添加预定比例的监控图像，所述监控图像的已知标注信息包括识别出的目标以及对应的类别和标注框信息；

获取所述复查结果中所述监控图像的标注信息的识别结果；

比较所述识别结果与所述已知标注信息，确定所述复查结果的复查准确率。

9.如权利要求8所述的方法，所述方法还包括：

当所述复查准确率在第二预设周期内达到第二阈值时，发出相应的通知消息。

10.权利要求8所述的方法，所述方法还包括：

若所述复查准确率在误差范围内，且所述抽检结果通过，则将抽检图像对应的任务图像集合添加至训练样本集合。

11.一种图像标注信息处理方法，所述方法包括：

接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别，以及所述目标的标注框；

接收所述任务图像的检查结果，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；

接收所述任务图像的复查结果，若所述复查结果包括标注信息存在错误，则反馈错误类型，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型；

接收第一重检查结果，对所述第一重检查结果进行所述第二检查处理，所述第一重检查结果包括基于所述错误类型对所述任务图像的标注信息进行修正得到的标注结果。

12.如权利要求11所述的方法，所述方法还包括：

接收所述任务图像的抽检结果，所述抽检结果包括：按照预设规则从复查结果为所述标注信息正确的任务图像中选取抽检图像，验证所述抽检图像的标注信息是否正确而得到的处理结果；

若所述抽检结果包括标注信息存在错误，则反馈相应的抽检图像的抽检信息；

接收第二重检查结果，所述第二重检查结果包括基于所述抽检信息对相应的任务图像的标注信息进行修正得到的标注结果。

13.一种样本图像标注信息处理装置，所述装置包括：

图像接收模块，用于接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别，以及所述目标的标注框；

标注检查交互模块，用于接收所述任务图像的检查结果，将第一检查处理后的任务图像发送给标注复查交互模块，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；还用于接收第一重检查结果，将所述第一重检查结果发送所述标注复查交互模块进行第二检查处理，所述第一重检查结果包括基于复查结果中的错误类型对所述任务图像的标注信息进行修正得到的标注结果；

标注复查交互模块，用于接收复查结果，以及在所述复查结果包括标注信息存在错误时，将复查结果发送给所述标注检查交互模块进行第一重检查处理，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型。

14.如权利要求13所述的装置，所述装置还包括：

标注抽查交互模块，用于接收所述标注复查交互模块发送的标注信息正确的任务图像，还用于接收抽检结果，以及在所述抽检结果包括标注信息存在错误时，将相应的抽检图像的抽检信息发送至所述标注复查交互模块进行第二重检查处理，所述抽检结果包括：按照预设规则从接收的任务图像中选取抽检图像，验证所述抽检图像的标注信息是否正确而得到的处理结果；

相应的，所述标注复查交互模块还用于接收第二重检查结果，将所述第二重检查结果发送给所述标注抽查交互模块，所述第二重检查结果包括基于所述抽检信息对相应的任务图像的标注信息进行修正得到的标注结果。

15.如权利要求14所述的装置，所述标注抽查交互模块选取抽检图像包括：

基于标注信息处理的用户标识和执行日期中的至少一项选取任务图像。

16.如权利要求14所述的装置，所述标注抽查交互模块将相应的抽检图像的抽检信息发送至所述标注复查交互模块包括下述中的至少一种方式：

将标注信息存在错误的抽检图像发送给所述标注复查交互模块；

若标注信息存在错误，则将抽检图像对应的任务图像集合发送给所述标注复查交互模块；

将抽检图像的标注错误信息发送给所述标注复查交互模块。

17.如权利要求14所述的装置，所述装置还包括：

输出模块，用于将抽检结果为标注信息正确的抽检图像所对应的任务图像集合标记为训练样本图像，存入至相应的训练样本集合中。

18.如权利要求13所述的装置，所述装置还包括：

第一埋点处理模块，用于识别在所述任务图像中添加的预定比例的监控图像，所述监控图像的已知标注信息包括识别出的目标以及对应的类别和标注框信息；还用于获取所述检查结果中所述监控图像的标注信息的识别结果；还用于比较所述识别结果与所述已知标注信息，确定所述检查结果的检查准确率。

19.如权利要求14所述的装置，所述装置还包括：

第二埋点处理模块，用于识别在所述任务图像中添加的预定比例的监控图像，所述监控图像的已知标注信息包括识别出的目标以及对应的类别和标注框信息；还用于获取所述复查结果中所述监控图像的标注信息的识别结果；还用于比较所述识别结果与所述已知标注信息，确定所述复查结果的检查准确率。

20.如权利要求18所述的装置，还包括：

第一通知模块，用于当所述检查准确率在第一预设周期内达到第一阈值时，发出相应的通知消息。

21.如权利要求19所述的装置，还包括：

第二通知模块，用于当所述复查准确率在第二预设周期内达到第二阈值时，发出相应的通知消息。

22.如权利要求21所述的装置，其中，所述装置还包括输出模块，用于在所述复查准确率在误差范围内，且所述抽检结果通过时，将对应的任务图像集合添加至训练样本集合。

23.一种服务器，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：

接收任务图像，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别以及所述目标的标注框；

接收所述任务图像的检查结果，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果；

接收所述任务图像的复查结果，若所述复查结果包括标注信息存在错误，则反馈错误类型，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型；

接收第一重检查结果，对所述第一重检查结果进行所述第二检查处理，所述第一重检查结果包括基于所述错误类型对所述任务图像的标注信息进行修正得到的标注结果。

24.一种图像标注信息处理系统，包括：

第一处理终端，用于接收任务图像以及所述任务图像的检查结果，将检查处理后的任务图像发送给第二处理终端；还用于接收第一重检查结果，将所述第一重检查结果发送第二终端进行第二检查处理，所述任务图像中至少包括下述标注信息：识别出的任务图像中的目标所对应的类别以及所述目标的标注框，所述检查结果包括：对所述任务图像的标注信息进行第一检查处理，确定所述标注信息存在错误时，对所述标注信息进行修正后得到的标注结果，所述第一重检查结果包括基于所述复查结果中的错误类型对所述任务图像的标注信息进行修正得到的标注结果；

第二处理终端，用于接收复查结果，以及在所述复查结果包括标注信息存在错误时，将复查结果发送给所述第一处理终端进行第一重检查处理；还用于接收第二重检查结果，将所述第二重检查结果发送给第三处理终端，所述复查结果包括：对所述任务图像进行第二检查处理，在所述标注信息存在错误时，确定的所述检查结果出现错误的错误类型，所述第二重检查结果包括基于所述抽检信息对相应的任务图像的标注信息进行修正得到的标注结果；

第三处理终端，用于接收所述第二处理终端发送的标注信息正确的任务图像，还用于接收抽检结果，以及在所述抽检结果包括标注信息存在错误时，将相应的抽检图像的抽检信息发送至所述第二终端进行第二重检查处理，所述抽检结果包括：按照预设规则从接收的任务图像中选取抽检图像，验证所述抽检图像的标注信息是否正确而得到的处理结果。