CN111078908A - 一种数据标注的检测方法和装置 - Google Patents

Abstract

本申请公开了一种数据标注的检测方法和装置，该方法包括：获取目标图像以及对目标图像进行人工标注后得到的人工标注结果，人工标注结果包括多个第一对象的类别和坐标；根据预先确定的目标识别模型对目标图像进行识别，得到目标标注结果，目标标注结果包括多个第二对象的类别和坐标，目标识别模型基于目标检测网络对样本图像、对样本图像进行标注后得到多个样本对象的类别和坐标训练得到；根据人工标注结果和目标标注结果，确定人工标注结果中是否存在错误的标注结果。这样，由于目标识别模型的识别结果准确度较高，因此，将目标标注结果作为质检标准，可以有效地帮助质检人员全面地将错误的人工标注结果检测出来，从而提高数据标注的准确率。

Description

一种数据标注的检测方法和装置

技术领域

本申请涉及数据标注领域，尤其涉及一种数据标注的检测方法和装置。

背景技术

目前，为了实现基于人工智能进行图像识别的目的，标注人员可以对大量的图像进行数据标注，以便进行人工智能识别的机器可以根据标注结果对图像中的特征进行学习，从而对图像进行识别。

标注人员在对图像进行数据标注后，为了保证标注结果的准确率，通常需要质检人员对标注人员的标注结果进行质检，以确定是否存在漏标或错标的问题，并在确定存在漏标或错标的问题时，及时对标注结果进行更正，从而提高标注结果的准确率。

然而，由于质检人员在对标注结果质检时，通常采用随机抽样的方法，因此，导致质检人员无法全面地将漏标或错标的问题质检出来，从而影响标注结果的准确率。

发明内容

本申请实施例提供一种数据标注的检测方法和装置，用于解决在质检人员对标注结果进行质检时，无法全面地将错标或漏标的标注结果质检出来，从而影响标注结果准确率的问题。

为解决上述技术问题，本申请实施例是这样实现的：

第一方面，提出一种数据标注的检测方法，包括：

获取目标图像以及对所述目标图像进行人工标注后得到的标注结果，所述标注结果包括多个第一对象的类别和坐标；

根据预先确定的目标识别模型对所述目标图像进行识别，得到目标标注结果，所述目标标注结果包括多个第二对象的类别和坐标，所述目标识别模型基于目标检测网络对样本图像、对所述样本图像进行标注后得到多个样本对象的类别和坐标训练得到；

根据所述标注结果和所述目标标注结果，确定所述标注结果中是否存在错误的标注结果。

第二方面，提出一种数据标注的检测装置，包括：

获取模块，获取目标图像以及对所述目标图像进行人工标注后得到的标注结果，所述标注结果包括多个第一对象的类别和坐标；

确定模块，根据预先确定的目标识别模型对所述目标图像进行识别，得到目标标注结果，所述目标标注结果包括多个第二对象的类别和坐标，所述目标识别模型基于目标检测网络对样本图像、对所述样本图像进行标注后得到多个样本对象的类别和坐标训练得到；

确定模块，根据所述标注结果和所述目标标注结果，确定所述标注结果中是否存在错误的标注结果。

第三方面，提出一种电子设备，该电子设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，该可执行指令在被执行时使该处理器执行以下操作：

获取目标图像以及对所述目标图像进行人工标注后得到的标注结果，所述标注结果包括多个第一对象的类别和坐标；

根据预先确定的目标识别模型对所述目标图像进行识别，得到目标标注结果，所述目标标注结果包括多个第二对象的类别和坐标，所述目标识别模型基于目标检测网络对样本图像、对所述样本图像进行标注后得到多个样本对象的类别和坐标训练得到；

根据所述标注结果和所述目标标注结果，确定所述标注结果中是否存在错误的标注结果。

第四方面，提出一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下方法：

获取目标图像以及对所述目标图像进行人工标注后得到的标注结果，所述标注结果包括多个第一对象的类别和坐标；

根据预先确定的目标识别模型对所述目标图像进行识别，得到目标标注结果，所述目标标注结果包括多个第二对象的类别和坐标，所述目标识别模型基于目标检测网络对样本图像、对所述样本图像进行标注后得到多个样本对象的类别和坐标训练得到；

根据所述标注结果和所述目标标注结果，确定所述标注结果中是否存在错误的标注结果。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

本申请实施例提供的技术方案，可以预先基于目标检测网络训练得到用于对图像中的对象进行识别的目标识别模型，这样，在对目标图像的人工标注结果进行质检时，可以使用目标识别模型对目标图像进行识别，将识别到的对象的类别和坐标作为目标标注结果，并根据目标标注结果对人工标注结果中包括的对象的类别和坐标进行质检，确定人工标注结果中是否存在错误的标注结果。由于目标标注结果是基于目标识别模型对目标图像进行识别得到，目标识别模型的识别结果准确度较高，因此，将目标标注结果作为质检标准，可以有效地帮助质检人员全面地将错误的人工标注结果检测出来，从而提高数据标注的准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请的一个实施例数据标注的检测方法的流程示意图；

图2是本申请的一个实施例语义分割的示意图；

图3是本申请的一个实施例数据标注的检测方法的流程示意图；

图4是本申请的一个实施例电子设备的结构示意图；

图5是本申请的一个实施例数据标注的检测装置的结构示意图。

具体实施方式

在标注人员对图像进行数据标注后，可以对标注结果进行质检，以确定是否存在错标或漏标的情况，从而提高标注结果的准确率。目前，在对人工标注结果进行质检，通常采用随机抽检的方式。具体地，质检人员可以随机抽取几张图像以及这几张图像的标注结果进行查看，确定标注结果中是否存在漏标或错标的标注结果，并在确定存在漏标或错标的标注结果时，对出现漏标或错标的标注结果进行改正，从而提高标注结果的准确率。

然而，随机抽检的方式并不能全面地将漏标或错标的问题质检出来，这样，便可能会影响标注结果的准确率。

为了全面地对人工标注结果进行质检，目前，还可以采用语义分割模型的方法对人工标注结果进行质检。具体地，可以将包含目标对象的图像输入到预先确定的语义分割模型中，模型可以输出目标对象的预测掩码，并将该预测掩码与人工标注得到的对象的掩码进行像素比对，从而确定是否存在漏标或错标的标注结果。

然而，在采用语义分割模型的方法进行质检时，由于语义分割模型获取目标对象的掩码的准确度不高，导致在质检时经常会出现误判的情况，比如不能将漏标或错标的问题质检出来，或者将正确的标注结果误判为错误的标注结果，从而无法对人工标注结果进行有效地质检。

为了解决上述技术问题，本申请实施例提出一种数据标注的检测方法和装置，该方法包括：获取目标图像以及对所述目标图像进行人工标注后得到的标注结果，所述标注结果包括多个第一对象的类别和坐标；根据预先确定的目标识别模型对所述目标图像进行识别，得到目标标注结果，所述目标标注结果包括多个第二对象的类别和坐标，所述目标识别模型基于目标检测网络对样本图像、对所述样本图像进行标注后得到多个样本对象的类别和坐标训练得到；根据所述标注结果和所述目标标注结果，确定所述标注结果中是否存在错误的标注结果。

这样，由于目标标注结果是基于目标识别模型对目标图像进行识别得到，目标识别模型的识别结果准确度较高，因此，将目标标注结果作为质检标准，可以有效地帮助质检人员全面地将错误的人工标注结果检测出来，从而提高数据标注的准确率。

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1是本申请的一个实施例数据标注的检测方法的流程示意图。所述方法如下所述。

S102：获取目标图像以及对所述目标图像进行人工标注后得到的人工标注结果，所述人工标注结果包括多个第一对象的类别和坐标。

在S102中，标注人员可以对目标图像中的多个待标注对象进行人工标注，并得到人工标注结果，人工标注结果中可以包括对象的类别和坐标，以下为了便于区分，可以由第一对象表示人工标注得到的对象。

例如，标注人员可以对目标图像中的汽车、行人、大树进行人工标注，假设目标图像中包括4个对象，4个对象中包括两辆汽车，一个行人和一棵树，那么，人工标注结果可以是：对象1，类别为汽车，坐标为该对象1在目标图像中的坐标，对象2，类别为汽车，坐标为该对象2在目标图像中的坐标，对象3，类别为行人，坐标为该对象3在目标图像中的坐标，对象4，类别为大树，坐标为该对象4在目标图像中的坐标。

标注人员在对目标图像进行人工标注时，可以采用2D拉框标注的方法，也可以采用语义分割标注的方法，还可以采用实例分割标注的方法。其中，在对目标图像中的多个待标注对象进行2D拉框标注后，可以得到多个第一对象的类别和坐标，其中，一个第一对象的坐标对应一个矩形框，该矩形框可以是包围第一对象的多边形框的最大外接矩形框。

在对目标图像中的多个待标注对象进行语义分割标注后，可以得到多个第一对象的类别和坐标，其中，一个第一对象的坐标对应一个非矩形框，该非矩形框可以是包围第一对象的多边形框。

其中，语义分割标注可以理解为对目标图像中的待标注对象的掩码以及掩码的类别进行标注，其中，根据多个掩码的形状可以确定多个多边形，一个多边形可以包围一个待标注对象，得到多个第一对象对应的多个坐标。每一种类别的掩码可以用同一像素颜色来表示。如图2所示，在对目标图像中的待标注对象进行语义分割标注后，可以得到图2所示的语义分割图，其中，一种灰度可以代表一种类别的掩码。

在对目标图像中的多个待标注对象进行实例分割标注后，可以得到多个第一对象的类别和坐标，其中，一个第一对象的坐标对应一个非矩形框，该非矩形框可以是包围第一对象的多边形框。

其中，实例分割标注与语义分割标注类似，实例分割标注可以理解为对目标图像中的待标注对象的掩码以及掩码的类别进行标注，其中，根据多个掩码的形状可以确定多个多边形，一个多边形可以包围一个待标注对象，得到多个第一对象对应的多个坐标，与语义分割标注不同的是，实例分割标注中对同一类别的不同待标注对象的掩码可以用不同的像素颜色表示。

本实施例中，可以以标注人员同时采用2D拉框标注的方法、语义分割标注的方法和实例分割标注的方法进行人工标注为例进行说明。在采用2D拉框标注的方法、语义分割标注和实例分割标注的方法进行人工标注后，可以得到多个第一对象的类别和坐标，其中，多个第一对象的坐标可以对应矩形框和非矩形框。

在得到人工标注结果后，在对人工标注结果进行质检时，可以获取目标图像以及对目标对象进行人工标注后得到的人工标注结果。

S104：根据预先确定的目标识别模型对所述目标图像进行识别，得到目标标注结果，所述目标标注结果包括多个第二对象的类别和坐标，所述目标识别模型基于目标检测网络对样本图像、对所述样本图像进行标注后得到多个样本对象的类别和坐标训练得到。

在本申请实施例中，目标识别模型用于对人工标注结果进行质检。在对人工标注结果进行质检之前，可以预先基于目标检测网络对样本图像、对样本图像进行标注后得到多个样本对象的类别和坐标训练，得到目标识别模型。具体训练过程如下：

第一，获取样本图像。

样本图像的个数可以是多个，一个样本图像中可以包括多个样本对象，这些样本对象可以是汽车、行人、大树等。

第二，获取对样本图像进行正确标注后得到的多个样本对象的类别和坐标。

其中，一个样本对象的坐标可以对应一个矩形框，该矩形框可以是包围该样本对象的多边形的最大外接矩形框。

第三，基于目标检测网络对多个样本图像、多个样本对象的类别和坐标进行学习训练，得到目标识别模型。具体实现方式如下：

首先，构建目标检测网络。

在构建目标检测网络时，优选地，可以选用识别精度较高的retinanet网络，这样，可以便于将样本图像中的样本对象全部识别出来。

其次，将多个样本图像、多个样本对象的类别和坐标输入至目标检测网络中进行模型训练，得到目标识别模型。

在本实施例中，在将多个样本图像、多个样本对象的类别和坐标输入至目标检测网络后，可以基于retinanet网络对多个样本图像以及多个样本对象的类别和坐标进行学习训练，得到目标识别模型。

在训练得到目标识别模型之后，可以将获取到的目标图像输入至目标识别模型中，目标识别模型可以对目标图像进行特征提取，经过多尺度变换处理，识别出目标图像中的目标，得到对第二对象的识别结果，该识别结果包括第二对象的类别和第二对象在目标图像中的位置坐标，该识别结果可以视为目标标注结果。其中，由于在进行模型训练时，样本数据中一个样本对象的坐标对应一个矩形框，因此，在目标标注结果中，一个第二对象的坐标也可以对应一个矩形框，该矩形框可以是包围第二对象的多边形的最大外接矩形框。

需要说明的是，若人工标注结果中的多个第一对象的类别相同，即需要对一种类别的对象的人工标注结果进行质检，则目标识别模型的个数可以是一个，若人工标注结果中的多个第一对象的类别不同，即需要对多种类别的对象的人工标注结果进行质检，则目标识别模型的个数可以是多个。当目标识别模型的个数为一个时，一个目标识别模型可以用于对一种类别的对象进行识别，最终得到的多个第二对象的类别可以包括一种，当目标识别模型的个数为多个时，多个目标识别模型可以用于对多种类别的对象进行识别，得到的多个第二对象的类别可以包括多种。

例如，当需要识别目标图像中的汽车时，可以使用用于识别汽车的目标识别模型对目标图像进行识别，得到目标图像中的一个或多个汽车对应的目标标注结果。

当需要识别目标图像中的信号灯、汽车、行人时，可以使用用于识别信号灯的目标识别模型、用于识别汽车的目标识别模型、用于识别行人的目标识别模型依次对目标图像进行识别，得到目标图像中的一个或多个信号灯、汽车、行人各自对应的目标标注结果。

需要说明的是，在本实施例中，一个目标识别模型识别得到的多个第二对象的类别可以包括多个子类别，当人工标注结果中包括的多个第一对象的类别为其中一个子类别时，为了保证后续使用相同类别第二对象进行第一对象进行质检，在识别得到多个第二对象的类别后，可以将第二对象中除第一对象的类别之外的其他子类别过滤掉，这样，后续可以基于过滤后的第二对象的类别和坐标进行质检。

例如，汽车的目标识别模型中，可以识别出目标图像中的小轿车、卡车、货车等，当需要识别目标图像中的小轿车时，可以对识别结果为小轿车的坐标保留，对识别结果为卡车、货车等坐标过滤。

需要说明的是，目标标注结果中除了包括第二对象的类别和坐标，还可以包括第二对象的置信度，其中，置信度用于表征目标识别模型对多个第二对象的识别准确度。其中，置信度越高，说明对第二对象的识别准确度越高，即该第二对象的识别结果比较准确。

S106：根据所述人工标注结果和所述目标标注结果，确定所述人工标注结果中是否存在错误的标注结果。

本实施例中，错误的标注结果可以包括缺少标注结果和类别标注错误。

需要说明的是，在根据人工标注结果和目标标注结果，确定所述人工标注结果中是否存在错误的标注结果时，若上述S104中采用了一个目标识别模型对目标图像进行识别，得到一种类别的多个第二对象和坐标，则可以直接根据该多个第二对象的类别和坐标对人工标注结果进行检测，若上述S104中采用了多个目标识别模型对目标图像进行识别，得到多种类别的多个第二对象和坐标，则可以分别针对每种类别的第二对象和坐标，基于相同的方法对相应类别的人工标注结果进行检测。以下可以以一种类别的多个第二对象和坐标，对人工标注结果进行检测为了进行说明。

可选地，基于上述S104可知，目标标注结果中还包括置信度，在基于目标标注结果进行质检时，为了提高质检结果的准确度，可以选择目标标注结果中置信度较高的对象进行质检。

具体地，可以将目标标注结果中多个第二对象的置信度与第一预设阈值进行比较，确定多个第二对象中置信度大于或等于第一预设阈值的第三对象。这样，在根据人工标注结果和目标标注结果，确定所述人工标注结果中是否存在错误的标注结果时，可以根据人工标注结果和目标标注结果中第三对象的类别和坐标，确定所述人工标注结果中是否存在错误的标注结果。为了便于描述，本申请实施例中，可以以多个第二对象的置信度均大于或等于第一预设阈值为了进行说明。

在确定人工标注结果中是否存在错误的标注结果时，可以将目标标注结果中第二对象的坐标与人工标注结果中第一对象的坐标进行对比，在进行坐标对比时，可以将第二对象的坐标对应的多边形框与第一对象的坐标对应的多边形框进行对比。

基于上述S102和S104记载的内容可知，目标标注结果中第二对象的坐标对应的多边形框为矩形框，为了便于区分，这里可以由目标矩形框表示，人工标注结果中第一对象的坐标对应的多边形框包括矩形框和非矩形框，为了便于区分，这里可以由人工标注框表示。

由于非矩形框不能直接与矩形框进行比较，因此，需要将人工标注结果中的非矩形框转化为矩形框。具体地，以其中一个非矩形框为例，可以确定非矩形框对应的最大外接矩形框，该最大外接矩形框可以视为将非矩形框转化后得到的矩形框。

在将人工标注结果中包括的非矩形框转化为矩形框后，可以得到第一标注结果，该第一标注结果中可以包括第一对象的类别和坐标，该坐标对应的多边形框为矩形框，以下可以表示为人工标注矩形框。

为了便于描述，可以以人工标注结果中第一对象的坐标对应的多边形框均为矩形框为例进行说明。

在本实施例中，在根据人工标注结果和目标标注结果，确定人工标注结果中是否存在错误的标注结果时，具体可以包括：

首先，针对目标标注结果中每个第二对象，根据第二对象的坐标，确定第二对象对应的目标矩形框；

其次，根据多个第一对象的坐标，确定多个第一对象对应的多个人工标注矩形框；

最后，根据第二对象对应的目标矩形框和类别，以及多个第一对象对应的人工标注矩形框和类别，确定人工标注结果中是否存在错误的标注结果。

具体地，可以遍历多个人工标注矩形框，判断多个人工标注矩形框中是否存在第一矩形框，其中，第一矩形框和目标矩形框重合的面积与目标矩形框的面积的重合度大于或等于第二预设阈值。

若不存在第一矩形框，则可以确定标注结果中缺少对第二对象的人工标注结果，即人工标注结果中出现漏标的问题；若存在第一矩形框，则可以确定人工标注结果中不缺少对第二对象的标注结果。

在确定人工标注结果中不缺少对第二对象的标注结果的情况下，考虑到人工标注时可能将对象的类别标注错误，因此，还可以进一步判断第一矩形框对应的第一对象的类别与第二对象的类别是否一致。

若判断结果为一致，则可以确定人工标注结果中对第一对象的标注结果是正确的；若判断结果为不一致，则可以确定人工标注结果中对第一对象的类别标注错误。

可选地，当使用一个目标识别模型对目标图像进行检测时，在人工标注结果中存在类别标注错误的标注结果的情况下，将不能有效地检测出来，在这种情况下，为了提高标注结果的检测准确度，可以遍历多个目标识别模型，以对目标图像进行识别和检测。

例如，目标图像中包括三个行人，标注人员除了标注出这三个行人之外，还将目标图像中的一个汽车误标为行人，在使用用于对行人进行识别的目标识别模型对人工标注结果进行检测时，并不能检测出将汽车误标为行人，在这种情况下，为了提高检测准确度，可以使用用于对汽车进行识别的目标识别模型对目标图像进行识别，并根据识别结果对人工标注结果进行检测，从而确定人工标注结果中将类别标注错误的标注结果。

可选地，在确定人工标注结果中存在错误的标注结果后，还可以将错误的标注结果反馈给质检人员，一方面，可以防止发生误判，另一方面，质检人员可以对错误的标注结果进行改正。

为了便于理解本申请实施例提供的技术方案，可以参见图3。图3为本申请的一个实施例数据标注的检测方法的流程示意图，具体可以包括以下步骤：

S301：获取目标图像以及对目标图像进行人工标注后得到的人工标注结果。

其中，人工标注结果可以包括多个第一对象的类别和坐标。

S302：根据预先确定的目标识别模型对目标图像进行识别，得到目标标注结果。

其中，目标识别模型是目标检测网络对样本图像、对样本图像进行标注后得到多个样本对象的类别和坐标训练得到的，具体训练方法可以参见图1所示实施例中相应步骤的具体实现，这里不再重复描述。

在得到目标识别模型之后，可以将获取到的目标图像输入至目标识别模型中，根据目标识别模型对目标图像进行识别，得到目标标注结果，其中，目标标注结果可以包括多个第二对象的类别与坐标。

其中，目标识别模型的个数可以是一个或多个，这里可以以目标识别模型的个数是一个为例进行说明。

需要说明的是，目标标注结果中还包括第二对象的置信度，为了提高质检结果的准确度，可以选择目标标注结果中置信度较高的对象进行质检，具体地，可以针对第二对象中，置信度大于或等于第一预设阈值的第三对象的类别和坐标确定人工标注结果中是否存在错误的标注结果。

为了便于描述，本实施例中，可以以多个第二对象的置信度均大于或等于第一预设阈值为例进行说明。

S303：针对目标标注结果中每个第二对象，根据第二对象的坐标确定第二对象对应的目标矩形框。

其中，目标标注结果中第二对象的坐标对应的多边形框为矩形框，这里可以由目标矩形框表示。

S304：根据多个第一对象的坐标，确定多个第一对象对应的多个人工标注矩形框。

其中，第一对象的坐标对应的多边形框有可能为非矩形框，在这种情况下，可以将非矩形框转换为矩形框。具体实现方式可以参见图1所示实施例中S106中记载的相应内容，这里不再重复说明。

S305：判断多个人工标注矩形框中是否存在第一矩形框。

其中，第一矩形框和目标矩形框重合的面积与目标矩形框的面积的重合度大于或等于第二预设阈值。

若存在，则可以执行S306；若不存在，则确定漏标，并执行S307。

S306：判断第一矩形框对应的第一对象的类别与第二对象的类别是否一致。

若一致，则可以执行S308；若不一致，则可以执行S307。

S307：确定人工标注结果中存在错误的标注结果。

可选地，在确定人工标注结果中存在错误的标注结果后，可以将错误的标注结果反馈给质检人员，一方面，可以便于质检人员对错误的标注结果进行改正，另一方面，可以防止发生误判。

S308：确定人工标注结果正确。

本申请实施例提供的技术方案，可以预先基于目标检测网络训练得到用于对图像中的对象进行识别的目标识别模型，这样，在对目标图像的人工标注结果进行质检时，可以使用目标识别模型对目标图像进行识别，将识别到的对象的类别和坐标作为目标标注结果，并根据目标标注结果对人工标注结果中包括的对象的类别和坐标进行质检，确定人工标注结果中是否存在错误的标注结果。由于目标标注结果是基于目标识别模型对目标图像进行识别得到，目标识别模型的识别结果准确度较高，因此，将目标标注结果作为质检标准，可以有效地帮助质检人员全面地将错误的人工标注结果检测出来，从而提高数据标注的准确率。

上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

图4是本申请的一个实施例电子设备的结构示意图。请参考图4，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成数据标注的检测装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取目标图像以及对所述目标图像进行人工标注后得到的人工标注结果，所述人工标注结果包括多个第一对象的类别和坐标；

根据预先确定的目标识别模型对所述目标图像进行识别，得到目标标注结果，所述目标标注结果包括多个第二对象的类别和坐标，所述目标识别模型基于目标检测网络对样本图像、对所述样本图像进行标注后得到多个样本对象的类别和坐标训练得到；

根据所述人工标注结果和所述目标标注结果，确定所述人工标注结果中是否存在错误的标注结果。

上述如本申请图4所示实施例揭示的数据标注的检测装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1的方法，并实现数据标注的检测装置在图1所示实施例中的功能，本申请实施例在此不再赘述。

当然，除了软件实现方式之外，本申请的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1所示实施例的方法，并具体用于执行以下操作：

获取目标图像以及对所述目标图像进行人工标注后得到的人工标注结果，所述人工标注结果包括多个第一对象的类别和坐标；

根据预先确定的目标识别模型对所述目标图像进行识别，得到目标标注结果，所述目标标注结果包括多个第二对象的类别和坐标，所述目标识别模型基于目标检测网络对样本图像、对所述样本图像进行标注后得到多个样本对象的类别和坐标训练得到；

根据所述人工标注结果和所述目标标注结果，确定所述人工标注结果中是否存在错误的标注结果。

图5是本申请的一个实施例数据标注的检测装置50的结构示意图。请参考图5，在一种软件实施方式中，所述数据标注的检测装置50可包括：获取模块51、识别模块52和确定模块53，其中：

获取模块51，获取目标图像以及对所述目标图像进行人工标注后得到的人工标注结果，所述人工标注结果包括多个第一对象的类别和坐标；

识别模块52，根据预先确定的目标识别模型对所述目标图像进行识别，得到目标标注结果，所述目标标注结果包括多个第二对象的类别和坐标，所述目标识别模型基于目标检测网络对样本图像、对所述样本图像进行标注后得到多个样本对象的类别和坐标训练得到；

确定模块53，根据所述人工标注结果和所述目标标注结果，确定所述人工标注结果中是否存在错误的标注结果。

可选地，所述识别模块52通过以下方式确定得到所述目标识别模型：

获取所述样本图像，所述样本图像中包括所述多个样本对象；

获取对样本图像进行正确标注后得到的所述多个样本对象的类别和坐标；

基于所述目标检测网络对所述多个样本图像、所述多个样本对象的类别和坐标进行学习训练，得到所述目标识别模型。

可选地，所述多个第一对象的坐标对应的多边形框包括矩形框和非矩形框，所述第二对象的坐标对应的多边形框为矩形框；

其中，所述确定模块53，根据所述标注结果和所述目标标注结果，确定所述人工标注结果中是否存在错误的标注结果，包括：

将所述非矩形框转化为矩形框，得到第一标注结果；

根据所述第一标注结果和所述目标标注结果，确定所述人工标注结果中是否存在错误的标注结果。

可选地，所述目标标注结果还包括所述第二对象的置信度，所述置信度用于表征对所述多个第二对象的识别准确度；

其中，所述确定模块53，所根据所述标注结果和所述目标标注结果，确定所述人工标注结果中是否存在错误的标注结果，包括：

根据所述多个第二对象的置信度，确定所述多个第二对象中的多个第三对象，所述多个第三对象的置信度大于或等于第一预设阈值；

根据所述标注结果和所述第三对象的类别和坐标，确定所述人工标注结果中是否存在错误的标注结果。

可选地，所述识别模块52，目标识别模型的个数为一个或多个，其中：

一个目标识别模型用于对一种类别的对象进行识别，得到的所述多个第二对象的类别包括一种，多个目标识别模型用于对多种类别的对象进行识别，得到的所述多个第二对象的类别包括多种。

可选地，所述确定模块53，根据所述人工标注结果和所述目标标注结果，确定所述人工标注结果中是否存在错误的标注结果，包括：

针对所述目标标注结果中每个第二对象，执行以下操作：

根据所述第二对象的坐标，确定所述第二对象对应的目标矩形框；

根据所述多个第一对象的坐标，确定所述多个第一对象对应的多个人工标注矩形框；

根据所述第二对象对应的目标矩形框和类别，以及所述多个第一对象对应的人工标注矩形框和类别，确定所述人工标注结果中是否存在错误的标注结果。

可选地，所述确定模块53，根据所述第二对象对应的目标矩形框和类别、所述多个第一对象对应的人工标注矩形框和类别，确定所述人工标注结果中是否存在错误的标注结果，包括：

判断所述多个人工标注矩形框中是否存在第一矩形框，所述第一矩形框与所述目标矩形框重合的面积与所述目标矩形框的面积的重合度大于或等于第二预设阈值；

若不存在所述第一矩形框，则确定所述标注结果中缺少对所述第二对象的标注结果；

若存在所述第一矩形框，则判断所述第一矩形框对应的第一对象的类别是否与所述第二对象的类别一致；

若一致，则确定所述人工标注结果中对所述第二对象的标注结果正确；

若不一致，则确定所述人工标注结果中对所述第二对象的类别标注错误。

本申请实施例提供的数据标注的检测装置50还可执行图1和图3的方法，并实现数据标注的检测装置在图1和图3所示实施例的功能，本申请实施例在此不再赘述。

总之，以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种数据标注的检测方法，其特征在于，包括：

获取目标图像以及对所述目标图像进行人工标注后得到的人工标注结果，所述人工标注结果包括多个第一对象的类别和坐标；

根据预先确定的目标识别模型对所述目标图像进行识别，得到目标标注结果，所述目标标注结果包括多个第二对象的类别和坐标，所述目标识别模型基于目标检测网络对样本图像、对所述样本图像进行标注后得到多个样本对象的类别和坐标训练得到；

根据所述人工标注结果和所述目标标注结果，确定所述人工标注结果中是否存在错误的标注结果。

2.如权利要求1所述的方法，其特征在于，所述目标识别模型通过以下方式确定得到：

获取所述样本图像，所述样本图像中包括所述多个样本对象；

获取对样本图像进行正确标注后得到的所述多个样本对象的类别和坐标；

基于所述目标检测网络对所述多个样本图像、所述多个样本对象的类别和坐标进行学习训练，得到所述目标识别模型。

3.如权利要求1所述的方法，其特征在于，

所述多个第一对象的坐标对应的多边形框包括矩形框和非矩形框，所述第二对象的坐标对应的多边形框为矩形框；

其中，所述根据所述标注结果和所述目标标注结果，确定所述人工标注结果中是否存在错误的标注结果，包括：

将所述非矩形框转化为矩形框，得到第一标注结果；

根据所述第一标注结果和所述目标标注结果，确定所述人工标注结果中是否存在错误的标注结果。

4.如权利要求1所述的方法，其特征在于，

所述目标标注结果还包括所述第二对象的置信度，所述置信度用于表征对所述多个第二对象的识别准确度；

其中，所述根据所述标注结果和所述目标标注结果，确定所述人工标注结果中是否存在错误的标注结果，包括：

根据所述多个第二对象的置信度，确定所述多个第二对象中的多个第三对象，所述多个第三对象的置信度大于或等于第一预设阈值；

根据所述标注结果和所述第三对象的类别和坐标，确定所述人工标注结果中是否存在错误的标注结果。

5.如权利要求1所述的方法，其特征在于，所述目标识别模型的个数为一个或多个，其中：

一个目标识别模型用于对一种类别的对象进行识别，得到的所述多个第二对象的类别包括一种，多个目标识别模型用于对多种类别的对象进行识别，得到的所述多个第二对象的类别包括多种。

6.如权利要求1所述的方法，其特征在于，所述根据所述人工标注结果和所述目标标注结果，确定所述人工标注结果中是否存在错误的标注结果，包括：

针对所述目标标注结果中每个第二对象，执行以下操作：

根据所述第二对象的坐标，确定所述第二对象对应的目标矩形框；

根据所述多个第一对象的坐标，确定所述多个第一对象对应的多个人工标注矩形框；

根据所述第二对象对应的目标矩形框和类别，以及所述多个第一对象对应的人工标注矩形框和类别，确定所述人工标注结果中是否存在错误的标注结果。

7.如权利要求6所述的方法，其特征在于，根据所述第二对象对应的目标矩形框和类别、所述多个第一对象对应的人工标注矩形框和类别，确定所述人工标注结果中是否存在错误的标注结果，包括：

判断所述多个人工标注矩形框中是否存在第一矩形框，所述第一矩形框与所述目标矩形框重合的面积与所述目标矩形框的面积的重合度大于或等于第二预设阈值；

若不存在所述第一矩形框，则确定所述标注结果中缺少对所述第二对象的标注结果；

若存在所述第一矩形框，则判断所述第一矩形框对应的第一对象的类别是否与所述第二对象的类别一致；

若一致，则确定所述人工标注结果中对所述第二对象的标注结果正确；

若不一致，则确定所述人工标注结果中对所述第二对象的类别标注错误。

8.一种数据标注的检测装置，其特征在于，包括：

获取模块，获取目标图像以及对所述目标图像进行人工标注后得到的人工标注结果，所述人工标注结果包括多个第一对象的类别和坐标；

识别模块，根据预先确定的目标识别模型对所述目标图像进行识别，得到目标标注结果，所述目标标注结果包括多个第二对象的类别和坐标，所述目标识别模型基于目标检测网络对样本图像、对所述样本图像进行标注后得到多个样本对象的类别和坐标训练得到；

确定模块，根据所述人工标注结果和所述目标标注结果，确定所述人工标注结果中是否存在错误的标注结果。

9.一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，该可执行指令在被执行时使该处理器执行以下操作：

获取目标图像以及对所述目标图像进行人工标注后得到的人工标注结果，所述人工标注结果包括多个第一对象的类别和坐标；

根据预先确定的目标识别模型对所述目标图像进行识别，得到目标标注结果，所述目标标注结果包括多个第二对象的类别和坐标，所述目标识别模型基于目标检测网络对样本图像、对所述样本图像进行标注后得到多个样本对象的类别和坐标训练得到；

根据所述人工标注结果和所述目标标注结果，确定所述人工标注结果中是否存在错误的标注结果。

10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下方法：

获取目标图像以及对所述目标图像进行人工标注后得到的人工标注结果，所述人工标注结果包括多个第一对象的类别和坐标；

根据预先确定的目标识别模型对所述目标图像进行识别，得到目标标注结果，所述目标标注结果包括多个第二对象的类别和坐标，所述目标识别模型基于目标检测网络对样本图像、对所述样本图像进行标注后得到多个样本对象的类别和坐标训练得到；

根据所述人工标注结果和所述目标标注结果，确定所述人工标注结果中是否存在错误的标注结果。

Images