CN114972893A - 一种数据标注方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请涉及人工智能技术领域，尤其涉及一种数据标注方法、装置、电子设备和存储介质，用以提高训练数据的生成效率。其中，方法包括：通过已训练的目标检测模型，对各个初始图像分别进行目标检测，获得各个初始图像各自的目标检测结果；基于各个目标检测结果，从各个初始图像中确定出包含目标对象的多个中间图像；通过已训练的目标标注模型对各个中间图像包含的目标对象进行标注，获得各个中间图像各自的标注信息；基于各个中间图像以及各自包含的目标对象，从各个中间图像中确定出至少一个目标图像，并获取各个目标图像的标注信息。由于本申请通过对初始图像进行目标检测及标注，获得目标图像和相应的标注信息，能够有效提高训练数据的生成效率。

Description

一种数据标注方法、装置、电子设备和存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种数据标注方法、装置、电子设备和存储介质。

背景技术

人工智能算法和机器学习技术已经风靡全球，而数据是人工智能算法在强大的预测分析过程中使用的关键元素。其中，训练数据是机器从人类输入中学习的唯一途径，且训练数据与机器学习模型的性能直接相关。

机器学习可以分为有监督学习和无监督学习，通常而言，有监督的机器学习算法的训练数据包含标注信息，效果更好，因此，需要大量的标注数据来进行模型训练，改进机器学习算法的性能。

相关技术中，针对模型训练过程中所需的训练数据，主要是采用人工对收集到的数据进行标注的方式。但是，基于上述方式获得训练数据，需要的人工成本高，耗费时间长，因此，如何提高训练数据的生成效率成为目前亟待解决的问题。

发明内容

本申请实施例提供一种数据标注方法、装置、电子设备和存储介质，用以提高训练数据的生成效率。

本申请实施例提供的一种数据标注方法，包括：

通过已训练的目标检测模型，对各个初始图像分别进行目标检测，获得所述各个初始图像各自的目标检测结果；

基于各个目标检测结果，从所述各个初始图像中确定出包含目标对象的多个中间图像；

通过已训练的目标标注模型对各个中间图像包含的目标对象进行标注，获得所述各个中间图像各自的标注信息，所述标注信息用于表示相应的中间图像中目标对象的位置；

基于所述各个中间图像以及各自包含的目标对象，从所述各个中间图像中确定出至少一个目标图像，并获取各个目标图像的标注信息。

本申请实施例提供的一种数据标注装置，包括：

检测单元，用于通过已训练的目标检测模型，对各个初始图像分别进行目标检测，获得所述各个初始图像各自的目标检测结果；

第一筛选单元，用于基于各个目标检测结果，从所述各个初始图像中确定出包含目标对象的多个中间图像；

标注单元，用于通过已训练的目标标注模型对各个中间图像包含的目标对象进行标注，获得所述各个中间图像各自的标注信息，所述标注信息用于表示相应的中间图像中目标对象的位置；

第二筛选单元，用于基于所述各个中间图像以及各自包含的目标对象，从所述各个中间图像中确定出至少一个目标图像，并获取各个目标图像的标注信息。

可选的，所述第二筛选单元具体用于：

基于所述各个中间图像各自包含的目标对象，确定所述各个中间图像中的候选中间图像；从去除所述候选中间图像后剩余的中间图像中，确定出所述至少一个目标图像，所述候选中间图像用于表征包含的目标对象的对象分辨率或置信度不符合预设条件的中间图像；

基于所述各个中间图像之间的相似度，确定所述各个中间图像中的目标相似图像，所述目标相似图像与对应的中间图像之间的相似度高于相似度阈值；从去除所述目标相似图像后剩余的中间图像中，确定出所述至少一个目标图像。可选的，所述第二筛选单元具体用于：

基于所述各个中间图像各自的标注信息，确定所述各个中间图像各自包含的目标对象的对象分辨率；将对应的分辨率不属于预设分辨率区间的中间图像，作为候选中间图像；和/或

基于已训练的分类模型，分别对所述各个中间图像中各自包含的目标对象进行分类，获得各个目标对象各自的置信度；将对应的置信度低于置信度阈值的中间图像，作为候选中间图像。

可选的，所述第二筛选单元具体用于：

分别对所述各个中间图像进行特征提取，获得各个中间图像特征；

分别基于所述各个中间图像特征，确定所述各个中间图像中，每两个中间图像之间的相似度；

基于各个相似度，确定所述各个相似度中高于相似度阈值的各个目标相似度，并将所述各个目标相似度各自对应的两个中间图像作为候选相似图像；

分别确定每两个候选相似图像各自包含的目标对象的置信度，将每两个置信度中较低的置信度对应的候选相似图像作为所述目标相似图像。

可选的，所述装置还包括分类单元，用于：

基于已训练的分类模型，分别对所述各个中间图像包含的目标对象进行分类，获得所述各个中间图像包含的目标对象各自对应的置信度，并确定出高于置信度阈值的置信度对应的目标对象所在的中间图像；

从确定出的各个中间图像中确定出至少一个目标图像。

可选的，所述初始图像为视频帧图像；通过下列方式获得所述各个初始图像：

获取各个视频帧图像的视频帧标识，所述视频帧标识用于标识所述各个视频帧图像的先后顺序；

基于各个视频帧标识对所述各个视频帧图像进行筛选，获得所述各个初始图像。

可选的，所述中间图像为视频帧图像；所述装置还包括获取单元，用于：

获取各个中间图像的中间标识，所述中间标识用于标识所述各个中间图像的先后顺序；

基于各个中间标识对所述各个中间图像进行筛选，获得筛选后的中间图像。

可选的，所述装置还包括清洗单元，用于：

分别对各个待清洗图像进行特征提取，获得各个清洗图像特征，所述各个待清洗图像为初始图像或中间图像；

分别基于各个清洗图像特征，确定所述各个待清洗图像中，每两个清洗图像之间的相似度；

基于各个相似度，确定所述各个相似度中高于相似度阈值的各个目标相似度，以及所述各个目标相似度分别对应的两个候选相似图像；

分别确定每两个候选相似图像各自包含的目标对象的置信度，将每两个置信度中较高的置信度对应的候选相似图像作为清洗后的待清洗图像。

可选的，所述置信度用于表示所述目标对象的清晰度类别置信度和所述目标对象的对象类别置信度中的至少一种。

可选的。所述装置还包括分析单元，用于：

按照至少一种统计维度，对各个待分析图像的分布进行统计分析，获得相应的统计分析信息，其中，所述各个待分析图像包括所述中间图像和所述目标图像中的至少一种；

基于所述统计分析信息，对所述初始图像的数量进行扩充，并基于扩充的初始图像获得相应的目标图像以及各个目标图像的标注信息。

可选的，所述分析单元具体用于：

按照所述各个待分析图像的标注信息，对所述各个待分析图像的分布进行统计分析，获得标注统计分析信息；

按照所述各个待分析图像的场景信息，对所述各个待分析图像的分布进行统计分析，获得场景统计分析信息，其中，每个待分析图像的场景信息是通过对相应的待分析图像进行场景分类获得的。

可选的，所述待分析图像的标注信息包括所述待分析图像的图像分辨率、所述待分析图像中的目标对象的对象分辨率和所述目标对象的类别信息中的至少一种。

可选的，通过以下方式获得所述已训练的目标检测模型：

获取第一训练样本集，所述第一训练样本集中的每个第一训练样本包括：包含所述目标对象的第一样本图像；

基于所述第一训练样本集对待训练的目标检测模型进行预训练，获得中间检测模型；

基于第二训练样本集对所述中间检测模型进行循环迭代训练，获得所述已训练的目标检测模型，所述第二训练样本集中的每个第二训练样本包括：第二样本图像，所述第二样本图像包含或不包含所述目标对象；其中，在一次循环迭代训练过程中执行以下操作：

将当前的第二训练样本集中的第二样本图像输入所述中间检测模型进行目标检测，获得包含所述目标对象的第二样本图像，并基于所述包含所述目标对象的第二样本图像更新所述第二训练样本集。

可选的，通过以下方式获得所述已训练的目标标注模型：

获取第三训练样本集，所述第三训练样本集中的每个第三训练样本包括：包含所述目标对象的第三样本图像，以及所述第三样本图像中的目标对象的标注信息；

基于所述第三训练样本集对待训练的目标标注模型进行预训练，获得中间标注模型；

基于第四训练样本集对所述中间标注模型进行循环迭代训练，获得所述已训练的目标标注模型，所述第四训练样本集中的每个第四训练样本包括：第四样本图像，所述第四样本图像包含或不包含所述目标对象；其中，在一次循环迭代训练过程中执行以下操作：

将当前的第四训练样本集中的第四样本图像输入所述中间标注模型进行标注，获得包含所述目标对象的第四样本图像的标注信息，并基于所述包含所述目标对象的第四样本图像和对应的标注信息更新所述第四训练样本集。

本申请实施例提供的一种电子设备，包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行上述任意一种数据标注方法的步骤。

本申请实施例提供一种计算机可读存储介质，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备执行上述任意一种数据标注方法的步骤。

本申请实施例提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中；当电子设备的处理器从计算机可读存储介质读取所述计算机程序时，所述处理器执行所述计算机程序，使得所述电子设备执行上述任意一种数据标注方法的步骤。

本申请有益效果如下：

本申请实施例提供了一种数据标注方法、装置、电子设备和存储介质，由于本申请通过已训练的目标检测模型，对各个初始图像分别进行目标检测，获得各个初始图像各自的目标检测结果；基于各个目标检测结果，从所述各个初始图像中确定出包含目标对象的多个中间图像，能够快速从多个初始图像中获得包含目标对象的图像；进而，通过已训练的目标标注模型对各个中间图像包含的目标对象进行标注，获得各个中间图像各自的标注信息，无需人工标注，有效提升了数据标注效率；最后，基于各个中间图像以及各自包含的目标对象，能够根据训练数据需要对各个中间图像进行筛选，确定出至少一个目标图像和相应的标注信息，缩短训练数据的准备时间，提高训练数据的生成效率。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中的一种应用场景的一个可选的示意图；

图2为本申请实施例中的一种数据标注方法的实施流程图；

图3A为本申请实施例中的一种目标标注模型的训练过程示意图；

图3B为本申请实施例中的一种目标相似图像的获取过程示意图；

图4A为本申请实施例中的第一种数据标注系统的结构示意图；

图4B为本申请实施例中的第二种数据标注系统的结构示意图；

图5为本申请实施例中的一种数据标注方法的流程示意图；

图6本申请实施例中的一种数据标注装置的结构示意图；

图7为应用本申请实施例的一种电子设备的一个硬件组成结构示意图；

图8为应用本申请实施例的另一种电子设备的一个硬件组成结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。

下面对本申请实施例中涉及的部分概念进行介绍。

初始图像：由于初始图像中可以包含目标对象，也可以不包含目标对象，因此可以通过目标检测模型对初始图像进行目标检测，将包含目标对象的初始图像（即中间图像）筛选出来，以进行后续的标注操作。

中间图像：指包含目标对象的图像，例如，训练鼠标检测模型时，需要的样本图像为包含鼠标的图像，则中间图像为包含鼠标的图像。

目标图像：指包含目标对象并且包含针对目标对象的标注信息的图像，可以通过对中间图像中的候选中间图像、相似或重复图像进行筛选获得目标图像。

第一样本图像：用于对待训练的目标检测模型进行预训练，第一样本图像实质上与中间图像相同，均为包含目标对象的图像。

第二样本图像：用于对中间检测模型进行循环迭代训练，获得已训练的目标检测模型，第二样本图像可以包含目标对象，也可以不包含目标对象，并且在循环迭代训练过程中获得的包含目标对象的第二样本图像，也可以加入第二训练样本集，用于循环迭代训练。

第三样本图像：用于对待训练的目标标注模型进行预训练，第三样本图像包含目标对象，并且包含针对目标对象的标注信息。

第四样本图像：用于对中间标注模型进行循环迭代训练，获得已训练的目标标注模型，第四样本图像可以包含目标对象，也可以不包含目标对象，并且在循环迭代训练过程中获得的包含目标对象的第四样本图像和对应的标注信息，也可以加入第四训练样本集，用于循环迭代训练。

以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如图1所示，其为本申请实施例的应用场景示意图。该应用场景图中包括两个终端设备110和一个服务器120。

在本申请实施例中，终端设备110包括但不限于手机、平板电脑、笔记本电脑、台式电脑、电子书阅读器、智能语音交互设备、智能家电、车载终端等设备；终端设备上可以安装有数据标注相关的客户端，该客户端可以是软件（例如浏览器、制图软件等），也可以是网页、小程序等，服务器120则是与软件或是网页、小程序等相对应的后台服务器，或者是专门用于进行数据标注的服务器，本申请不做具体限定。服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（Content Delivery Network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。

需要说明的是，本申请实施例中的数据标注方法可以由电子设备执行，该电子设备可以为服务器120或者终端设备110，即，该方法可以由服务器120或者终端设备110单独执行，也可以由服务器120和终端设备110共同执行。比如由服务器120和终端设备110共同执行时，服务器120通过已训练的目标检测模型，对各个初始图像分别进行目标检测，获得各个初始图像各自的目标检测结果；基于各个目标检测结果，对各个初始图像进行筛选，确定出多个包含目标对象的中间图像；通过已训练的目标标注模型对各个中间图像包含的目标对象进行标注，获得各个中间图像各自的标注信息；服务器120将获得的各个中间图像以及各自的标注信息发送给终端设备110，终端设备110基于各个中间图像以及各自包含的目标对象，从各个中间图像中确定出至少一个目标图像，并获取各个目标图像的标注信息。

在一种可选的实施方式中，终端设备110与服务器120之间可以通过通信网络进行通信。

在一种可选的实施方式中，通信网络是有线网络或无线网络。

需要说明的是，图1所示只是举例说明，实际上终端设备和服务器的数量不受限制，在本申请实施例中不做具体限定。

本申请实施例中，当服务器的数量为多个时，多个服务器可组成为一区块链，而服务器为区块链上的节点；如本申请实施例所公开的数据标注方法，其中所涉及的初始图像可保存于区块链上等。

此外，本申请实施例可应用于各种场景，不仅包括数据标注场景，还包括但不限于云技术、人工智能、智慧交通、辅助驾驶等场景。

下面结合上述描述的应用场景，参考附图来描述本申请示例性实施方式提供的数据标注方法，需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。

参阅图2所示，为本申请实施例提供的一种数据标注方法的实施流程图，以执行主体为服务器为例，该方法的具体实施流程包括如下步骤S21-S24：

S21：服务器通过已训练的目标检测模型，对各个初始图像分别进行目标检测，获得各个初始图像各自的目标检测结果；

其中，初始图像可以包含目标对象，也可以不包含目标对象，目标检测结果用于表示相应的初始图像中是否包含目标对象，即目标检测结果为初始图像包含目标对象，或者为初始图像不包含目标对象；以目标对象为鼠标为例，则目标检测模型为鼠标检测模型，可以对初始图像中是否包含鼠标进行检测，一个初始图像的目标检测结果为包含鼠标，或不包含鼠标。

已训练的目标检测模型可以是已有的检测效果较好的模型，则直接利用已有的模型进行目标检测，并将检测置信度高的图像收集起来作为包含目标对象的中间对象；也可以是本地基于包含目标对象的训练样本集对待训练的目标检测模型进行循环迭代训练，获得已训练的目标检测模型。

S22：服务器基于各个目标检测结果，从各个初始图像中确定出包含目标对象的多个中间图像；

具体地，基于目标检测结果，若一个初始图像的目标检测结果为包含目标对象，则将此初始图像作为中间图像。

在模型训练过程中，如果需要训练一个目标检测模型（以鼠标检测模型为例），首先需要收集包含鼠标的样本图像。收集样本图像的途径包括新采集图像以及在已有的图像数据库中收集图像两种方式。其中，在海量的图像数据库里面找出具有鼠标的图像（中间图像）就可以基于步骤S21-S22实现。

在已有的图像数据库中收集图像面临以下两种情况：

情况一、算法模型仓库里有鼠标检测效果好的模型（即已训练的目标检测模型），算法模型仓库包含已公开的算法模型和本地训练的算法模型，那么直接利用已有的模型进行鼠标检测，将检测置信度高的图像收集起来；

情况二、算法模型仓库里没有对应类别的检测模型，则需要训练一个目标检测模型用于进行目标检测；

在一种可选的实施方式中，通过以下步骤1-3获得已训练的目标检测模型：

步骤1：获取第一训练样本集，第一训练样本集中的每个第一训练样本包括：包含目标对象的第一样本图像；

步骤2：基于第一训练样本集对待训练的目标检测模型进行预训练，获得中间检测模型；

步骤3：基于第二训练样本集对中间检测模型进行循环迭代训练，获得已训练的目标检测模型，第二训练样本集中的每个第二训练样本包括：第二样本图像，第二样本图像包含或不包含目标对象；其中，在一次循环迭代训练过程中执行以下操作：将当前的第二训练样本集中的第二样本图像输入中间检测模型进行目标检测，获得包含目标对象的第二样本图像，并基于包含目标对象的第二样本图像更新第二训练样本集。

具体地，第一样本图像包含目标对象，使用第一训练样本集对待训练的目标检测模型进行预训练获得中间检测模型，中间检测模型可以初步实现对目标对象的检测，但仍存在一些问题，例如耗时长、模型结构大，仍需要对中间检测模型进行循环迭代训练，获得已训练的目标检测模型。在迭代训练过程中，第二样本图像可以包含目标对象也可以不包含，中间检测模型对第二样本图像进行目标检测，能够获得包含目标对象的第二样本图像，将包含目标对象的第二样本图像加入第二训练样本集中，通过扩充模型的训练样本集，提高目标检测模型的检测准确率。

以已训练的目标检测模型为鼠标检测模型为例，首先找出小部分包含鼠标的图像（即第一样本图像），例如，如果有关联目标的检测模型，可以使用关联目标的模型进行检测，比如鼠标通常和键盘一起，可以使用键盘检测模型先自动搜索出一部分包含键盘的图像，再对这部分图像确认是否包含鼠标，获得包含鼠标的图像；再对包含鼠标的图像进行标注、训练得到鼠标的检测模型（即中间检测模型），再利用这个模型去检索更多的图像和标注图像，再将标注正确的图像纳入训练集中迭代训练，如此反复，优化模型。得到的已训练的目标检测模型可以保存到算法模型仓库中。

在本申请实施例中，提出了一种数据智能搜索的方法，利用算法模型检索数据，在模型效果不好或者没有模型的情况下，利用少量数据先训练一个模型，再用这个模型去检索数据、标注数据，扩充训练集，再训练优化模型，如此反复，直到得到检测效果好的模型。

S23：服务器通过已训练的目标标注模型对各个中间图像包含的目标对象进行标注，获得各个中间图像各自的标注信息；

其中，标注信息用于表示相应的中间图像中目标对象的位置，可以通过目标对象所在的标注框的宽高表示目标对象的位置，也可以通过标注框的坐标信息表示目标对象的位置。

对图像中的目标对象进行标注也可分为以下两种情况：

情况一：已有标注效果好的模型，可以直接使用模型对数据进行智能预标注；

情况二：没有用于进行标注的模型，则需要训练一个目标标注模型，用于标注图像中的目标对象。

在一种可选的实施方式中，通过以下步骤S231-S233获得已训练的目标标注模型：

S231：获取第三训练样本集，第三训练样本集中的每个第三训练样本包括：包含目标对象的第三样本图像，以及第三样本图像中的目标对象的标注信息；

S232：基于第三训练样本集对待训练的目标标注模型进行预训练，获得中间标注模型；

S233：基于第四训练样本集对中间标注模型进行循环迭代训练，获得已训练的目标标注模型，第四训练样本集中的每个第四训练样本包括：第四样本图像，第四样本图像包含或不包含目标对象；其中，在一次循环迭代训练过程中执行以下操作：将当前的第四训练样本集中的第四样本图像输入中间标注模型进行标注，获得包含目标对象的第四样本图像的标注信息，并基于包含目标对象的第四样本图像和对应的标注信息更新第四训练样本集。

具体地，第三样本图像包含目标对象以及目标对象的标注信息，使用第三训练样本集对待训练的目标标注模型进行预训练获得中间标注模型，中间标注模型可以初步实现对目标对象的标注，但仍存在一些问题，例如耗时长、模型结构大，仍需要对中间标注模型进行循环迭代训练，获得已训练的目标标注模型。在迭代训练过程中，第四样本图像可以包含目标对象也可以不包含，中间标注模型对第四样本图像进行标注，能够获得包含目标对象的第四样本图像的标注信息，将包含目标对象的第四样本图像和对应的标注信息加入第四训练样本集中，通过扩充模型的训练样本集，提高目标标注模型的标注准确率。

参阅图3A，为本申请实施例中的一种目标标注模型的训练过程示意图，在训练目标标注模型过程中，可以先人工标注少量样本得到第三训练样本集，通过第三训练样本集训练模型，得到中间标注模型，再利用中间标注模型自动标注第四训练样本集中的图像，在每次循环迭代训练过程中，得到标注正确图像、未标注图像和标注错误图像，对未标注图像进行人工补标注，对标注错误图像进行纠错获得标注正确图像，最后将标注正确图像和新标注图像扩充到第四训练样本集中进行更新，再基于更新的第四训练样本集训练中间标注模型，智能标注新的图像，人工补标注和纠错，将新标注数据扩充到第四训练样本集中，如此反复，优化模型。最终得到目标标注模型，利用模型进行智能自动化标注，将大部分的标签智能化生成，减少人工标注的工作量。

在本申请实施例中，提出了一种数据智能标注的方法，利用算法模型智能标注图像数据，在模型效果不好或者没有模型的情况下，利用少量数据先训练一个模型，再用这个模型标注更多的数据扩充训练集，再训练优化模型，如此反复，直到得到标注效果好的模型与标注结果。

S24：服务器基于各个中间图像以及各自包含的目标对象，从各个中间图像中确定出至少一个目标图像，并获取各个目标图像的标注信息。

具体地，可以根据需要对中间图像进行筛选，例如，去除清晰度较低的中间图像，或者去除与其他图像的相似度较高的中间图像，或者去除目标对象的置信度较低的中间图像，还可以根据其他需求对中间图像进行筛选，本申请在此不做具体限定。

在本申请实施例中，通过已训练的目标检测模型，对各个初始图像分别进行目标检测，获得各个初始图像各自的目标检测结果；基于各个目标检测结果，从各个初始图像中确定出包含目标对象的多个中间图像，能够快速从多个初始图像中获得包含目标对象的图像；进而，通过已训练的目标标注模型对各个中间图像包含的目标对象进行标注，获得各个中间图像各自的标注信息，无需人工标注，有效提升了数据标注效率；最后，基于各个中间图像以及各自包含的目标对象，能够根据训练数据需要对各个中间图像进行筛选，确定出至少一个目标图像和相应的标注信息，缩短训练数据的准备时间，提高训练数据的生成效率。

在一种可选的实施方式中，步骤S24中获得目标对象的方式包括以下两种：

方式一：基于各个中间图像各自包含的目标对象，确定各个中间图像中的候选中间图像；从去除候选中间图像后剩余的中间图像中，确定出至少一个目标图像；

其中，候选中间图像用于表征包含的目标对象的对象分辨率或置信度不符合预设条件的中间图像，因此，对候选中间图像进行目标检测的难度较大，也可称为困难图像。例如，可以设置对象分辨率不属于预设范围的中间图像为候选中间图像，或者设置目标对象的置信度小于预设阈值的中间图像，去除候选中间图像后，剩余的中间图像为目标图像。

方式二：基于各个中间图像之间的相似度，确定各个中间图像中的目标相似图像，从去除目标相似图像后剩余的中间图像中，确定出至少一个目标图像。

其中，目标相似图像与对应的中间图像之间的相似度高于相似度阈值，分别计算中间图像之间的相似度，目标相似图像即重复图像或相似图像，去除目标相似图像后，剩余的中间图像为目标图像。

其中，方式一中确定中间图像中的候选中间图像的方法包括以下两种：

方法一：基于各个中间图像各自的标注信息，确定各个中间图像各自包含的目标对象的对象分辨率；并将对应的分辨率不属于预设分辨率区间的中间图像，作为候选中间图像；

其中，基于目标对象的对象分辨率可以确定目标对象的标注框尺寸，例如对象分辨率为10×10，则目标对象的标注框尺寸为10×10，中间图像1的对象分辨率为24×24，中间图像2的对象分辨率为5×8，中间图像3的对象分辨率为32×32，中间图像4的对象分辨率为64×64，预设分辨率区间为20×20-40×40，即目标对象的标注框的宽和高都必须在20-40之间，则中间图像2和中间图像4为候选中间图像。

基于上述方式，根据目标对象的对象分辨率，将包含过大或过小的目标对象的中间图像作为候选中间图像，获得需要的图像，能够提高获得的目标图像的质量。

方法二：基于已训练的分类模型，分别对各个中间图像各自包含的目标对象进行分类，获得各个目标对象各自的置信度；并将对应的置信度低于置信度阈值的中间图像，作为候选中间图像。

其中，中间图像对应的置信度即为此中间图像包含的目标对象的置信度，分类模型可以是对目标对象的清晰度进行分类，例如分为清晰度高和清晰度第两个类别，则目标对象的置信度为属于清晰度高的概率，若置信度低于置信度阈值，表明目标对象的清晰度较差，不适合用作训练数据，可以作为候选中间图像并去除；分类模型可以是对目标对象的类别进行分类，例如分为属于目标类别和不属于目标类别两个类别，则目标对象的置信度为属于目标类别的概率，若置信度低于置信度阈值，表明目标对象的很可能不是需要的类别的目标对象，则标记为候选中间图像并去除。分类模型可以是已有的效果好的模型，对目标进行评分，置信度低的为困难样本

需要说明的是，在本申请中确定困难样本的两种方法可以使用其中的一种，也可以基于方法一确定并删除候选中间图像后，再基于方法二确定剩余的中间图像中的候选中间图像并删除，还可以是基于方法二确定并删除候选中间图像后，再基于方法以确定剩余的中间图像中的候选中间图像并删除，本申请在此不做具体限定。

在本申请实施例中，通过对中间图像进行候选中间图像判别，去除中间图像中的候选中间图像，能够获得高质量的目标图像，基于目标图像构建模型的训练数据，提高模型的准确率。

在一种可选的实施方式中，置信度用于表示目标对象的清晰度类别置信度和目标对象的对象类别置信度中的至少一种。

具体地，置信度用于表示目标对象的清晰度类别置信度时，清晰度类别可以分为清晰度高和清晰度低，清晰度类别置信度表示目标对象的清晰度高的置信度，例如，目标对象的清晰度类别置信度为0.7；置信度用于表示目标对象的对象类别置信度时，对象类别可以分为属于目标类别和不属于目标类别，对象类别置信度表示属于目标对象的置信度，例如，目标类别为老虎，目标对象的对象类别置信度为0.8，则目标对象属于老虎的置信度为0.8。

在一种可选的实施方式中，如图3B所示，其为本申请实施例中的一种目标相似图像的获取过程示意图，通过以下步骤S31-S34获得目标相似图像：

S31：分别对各个中间图像进行特征提取，获得各个中间图像特征；

S32：分别基于各个中间图像特征，确定各个中间图像中，每两个中间图像之间的相似度；

S33：基于各个相似度，确定各个相似度中高于相似度阈值的各个目标相似度，并将各个目标相似度各自对应的两个中间图像作为候选相似图像；

S34：分别确定每两个候选相似图像各自包含的目标对象的置信度，将每两个置信度中较低的置信度对应的候选相似图像作为目标相似图像。

具体地，可以通过比对两个中间图像的中间图像特征，获得两个中间图像之间的相似度，候选相似图像包含的目标对象的置信度为清晰度类别置信度或对象类别置信度。以中间图像1-5为例，相似度阈值为0.5，每两个中间图像之间计算一次相似度，能够获得10个相似度，其中，中间图像1和中间图像5的相似度1为0.7，中间图像2和中间图像3的相似度2为1，剩余的相似度均小于相似度阈值，则相似度1为目标相似度1，相似度2为目标相似度2，中间图像1和中间图像5为候选相似图像，中间图像2和中间图像3为候选相似图像，中间图像1包含的目标对象的置信度为0.7，中间图像2包含的目标对象的置信度为0.5，则中间图像2为目标相似图像，中间图像2包含的目标对象的置信度为0.6，中间图像3包含的目标对象的置信度为0.5，则中间图像3为目标相似图像。

在本申请实施例中，通过图像的去重技术，进行重复数据或相似数据的清洗，将不需要的数据移除或给予标记，将需要的数据筛选出来，能够减少数据量，节约计算成本，提高数据质量。

在一种可选的实施方式中，步骤S24可以实施为：

基于已训练的分类模型，分别对各个中间图像包含的目标对象进行分类，获得各个中间图像包含的目标对象各自对应的置信度，并确定出高于置信度阈值的置信度对应的目标对象所在的中间图像；从确定出的各个中间图像中确定出至少一个目标图像。

具体地，中间图像对应的置信度即为此中间图像包含的目标对象的置信度，分类模型可以是对目标对象的清晰度进行分类，例如分为清晰度高和清晰度第两个类别，则目标对象的置信度为属于清晰度高的概率，若置信度高于置信度阈值，表明目标对象的清晰度较好，可以用作训练数据；分类模型可以是对目标对象的类别进行分类，例如，分为属于目标类别和不属于目标类别两个类别，则目标对象的置信度为属于目标类别的概率，若置信度高于置信度阈值，表明目标对象的是需要的类别的目标对象的概率较高。确定出高于置信度阈值的置信度对应的目标对象所在的中间图像后，从确定出的各个中间图像中确定出至少一个目标图像。

在本申请实施例中，提出了一种数据智能质检的方法，利用算法模型对标注信息进行评分，筛选评分低的结果进行人工质检。

在收集图像数据的过程中，可能会遇到收集到的数据有很多是相似的，如果是视频序列的图像可以先采用每隔几帧采集一次的方法，如果是无序的数据或抽帧之后还是有很多重复的，那么可以利用图像去重技术，移除相似或相同的数据。

在一种可选的实施方式中，初始图像为视频帧图像；通过以下步骤S41获得各个初始图像：

步骤S41：首先，获取各个视频帧图像的视频帧标识；然后，基于各个视频帧标识对各个视频帧图像进行筛选，获得各个初始图像。

其中，视频帧标识用于标识各个视频帧图像的先后顺序。若初始图像为视频帧图像，即有序的图像，由于视频帧图像可能会存在很多相似的图像，可以根据视频帧图像的视频帧标识，采用每隔几帧采集一次的方式进行抽帧，减少获得的相似或重复图像，基于上述方式对视频帧图像进行筛选后获得各个初始图像。

在一种可选的实施方式中，中间图像为视频帧图像；在步骤S23之前，可以执行以下步骤S42：

首先，获取各个中间图像的中间标识，中间标识用于标识各个中间图像的先后顺序；然后，基于各个中间标识对各个中间图像进行筛选，获得筛选后的中间图像。

其中，中间标识用于标识各个中间图像的先后顺序，相当于视频帧标识。同样，可以根据中间图像的视频帧标识，采用每隔几帧采集一次的方式进行抽帧，减少获得的相似或重复图像，获得筛选后的中间图像。需要说明的是，步骤S42可以单独执行，即仅对中间图像进行抽帧筛选，也可以是先基于步骤S41进行一次抽帧筛选，获得各个初始图像之后，对后续获得的中间图像再进行一次抽帧筛选。

图像也可能是无序的，或者抽帧之后还是有很多重复的，那么可以利用图像去重技术，移除相似或相同的数据。

在一种可选的实施方式中，在步骤S23之前，可以执行以下步骤：

首先，分别对各个待清洗图像进行特征提取，获得各个清洗图像特征；然后，分别基于各个清洗图像特征，确定各个待清洗图像中，每两个清洗图像之间的相似度；进而，基于各个相似度，确定各个相似度中高于相似度阈值的各个目标相似度，以及各个目标相似度分别对应的两个候选相似图像；最后分别确定每两个候选相似图像各自包含的目标对象的置信度，将每两个置信度中较高的置信度对应的候选相似图像作为清洗后的待清洗图像。

其中，各个待清洗图像为全部为初始图像或全部为中间图像，基于上述方式对初始图像或中间图像进行图像去重，去除相似图像或重复图像。

具体地，以各个待清洗图像分别为初始图像1-5为例，相似度阈值为0.5，每两个初始图像之间计算一次相似度，能够获得10个相似度，其中，初始图像1和初始图像5的相似度1为0.6，初始图像2和初始图像3的相似度2为0.8，剩余的相似度均小于相似度阈值，则相似度1为目标相似度1，相似度2为目标相似度2，初始图像1和初始图像5为候选相似图像，初始图像2和初始图像3为候选相似图像，初始图像1包含的目标对象的置信度为0.8，初始图像2包含的目标对象的置信度为0.4，则初始图像1为清洗后的初始图像，初始图像2包含的目标对象的置信度为0.6，初始图像3包含的目标对象的置信度为0.5，则初始图像2为清洗后的初始图像，并且初始图像4没有相似度较高的图像，因此初始图像4也作为清洗后的初始图像保留。

在一种可选的实施方式中，通过以下步骤4-5进行统计分析：

步骤4：按照至少一种统计维度，对各个待分析图像的分布进行统计分析，获得相应的统计分析信息；

步骤5：基于统计分析信息，对初始图像的数量进行扩充，并基于扩充的初始图像获得相应的目标图像以及各个目标图像的标注信息。

其中，各个待分析图像为中间图像和目标图像中的至少一种，即可以在获得中间图像后进行统计分析，也可以在获得目标图像后进行数据的统计分析，统计的维度可以包括图像分辨率分布情况、目标分辨率分布情况、目标类别分布情况、目标在不同场景中的分布情况等，获得的统计分布信息则包括图像分辨率分布信息、目标分辨率分布信息、目标类别分布信息、场景分布信息。另外，可以通过自动化脚本对已标注的数据进行统计与分析，提高统计分析效率。

统计分析信息可以反映数据的分布是否合理，如不合理给出建议，对初始图像的数量进行扩充，例如，统计分析信息显示当前图像中，场景为白天的为10张，场景为黑夜的占90张，则需要扩充场景为白天的初始图像的数量，增加80张场景为白天的初始图像，然后根据增加的初始图像，继续执行步骤S21-S24，对增加的80张初始图像进行目标检测，确定出包含目标对象的中间图像，对确定出的中间图像进行标注，并从标注后的中间图像中获得相应的目标图像，以及各个目标图像的标注信息。

此外，在对增加的初始图像进行目标检测获得中间图像，并从中间图像中确定出相应的目标图像，以及各个目标图像的标注信息的过程中，也可进行对初始图像和中间图像进行筛选和清洗的步骤，具体参见上述实施例，重复之处不再赘述。

需要说明的是，步骤4-5对图像数据进行统计分析可以在步骤S24之前确定出中间图像后，对中间图像进行统计分析，也可以在步骤S24确定出目标图像之后，对目标图像进行统计分析，在此不做具体限定。

在本申请实施例中，提出了一种数据智能分析的方法，利用自动化脚本对已标注的数据进行统计与分析，对于标注以外的信息可以利用人工智能训练得到，例如想要统计图像的场景信息，可以利用场景多标签分类模型得到。基于上述方式进行统计分析，并根据统计分析结果扩充初始图像的数量，获得的目标图像类别更加均衡。

在一种可选的实施方式中，步骤4可以实施为：

按照各个待分析图像的标注信息，对各个待分析图像的分布进行统计分析，获得标注统计分析信息；

按照各个待分析图像的场景信息，对各个待分析图像的分布进行统计分析，获得场景统计分析信息。

其中，每个待分析图像的场景信息是通过对相应的待分析图像进行场景分类获得的，即图像的场景信息可以通过多标签分类算法训练得到。待分析图像的标注信息，例如图像分辨率、目标分辨率、目标类别都可以通过解析标注信息得到。

在一种可选的实施方式中，待分析图像的标注信息包括待分析图像的图像分辨率、待分析图像中的目标对象的对象分辨率和目标对象的类别信息中的至少一种。

其中，待分析图像的图像分辨率、待分析图像中的目标对象的对象分辨率和目标对象的类别信息都可以通过解析标注信息得到。例如，通过对待分析图像1的标注信息进行解析，获得图像分辨率为64×64，对象分辨率为32×32，目标对象的类别信息为键盘。

在本申请实施例中，提出了一种数据智能清洗的方法，基于中间图像和包含的目标对象，利用标注结果、智能统计分析结果和智能模型去清洗图像数据。

参阅图4A，其为本申请实施例中的第一种数据标注系统的结构示意图，包括以下模块：数据智能搜索模块、数据智能标注模块、数据智能质检模块、数据智能分析模块、数据智能清洗模块。其中，数据智能搜索模块：包含算法模型仓库、模型训练工具、自动化批处理脚本，对初始图像进行智能搜索，获得包含目标对象的中间图像；数据智能质检模块：对标注数据进行智能质检，筛选出可能标错的数据进行人工核对；数据智能分析模块：对图像数据进行智能统计分析；数据智能清洗模块：对中间图像进行智能清洗，清洗重复数据和相似数据；根据分析结果再次清洗目标图像数据。

参阅图4B，其为本申请实施例中的第二种数据标注系统的结构示意图，其中，在数据智能搜索模块（简称搜索模块）对初始图像进行智能搜索之前，可以通过数据智能清洗模块（简称清洗模块）对视频序列数据进行抽帧筛选，获得初始图像，也可以通过图像去重，去除相似或重复的图像，获得初始图像；在搜索模块获得中间图像之后，可以通过抽帧筛选和/或图像去重对中间图像再次清洗，并将清洗后的中间图像送入数据智能标注模块进行标注。数据智能质检模块可以对标注后的中间图像进行评价打分，获得中间图像的置信度，置信度高的通过质检，否则不通过。数据智能分析模块可以对通过质检的中间图像进行统计分析，根据统计分析结果，调整初始图像的类别。最后，清洗模块去除候选中间图像和目标相似图像，将需要的图像筛选出来。

参阅图5，其为本申请实施例中的一种数据标注方法的流程示意图，包括以下步骤：

S51：对初始图像进行智能搜索，获得包含目标对象的中间图像；

S52：对中间图像数据进行智能清洗，清洗重复数据和相似数据；

S53：对中间图像进行智能标注；

S54：对标注图像进行智能质检；

S55：对获得的图像进行智能统计分析；

S56：根据分析结果再次清洗目标图像。

本申请中的数据标注方法，利用人工智能提高了数据收集、标注、整理的效率，代替大部分手工劳动，缩短深度学习训练数据的准备工期，减少人力投入。

基于相同的发明构思，本申请实施例还提供一种数据标注装置。如图6所示，其为数据标注装置600的结构示意图，可以包括：

检测单元601，用于基于已训练的目标检测模型，对各个初始图像中的各个初始图像分别进行目标检测，获得各个初始图像各自的目标检测结果，目标检测结果用于表示相应的初始图像中是否包含目标对象；

第一筛选单元602，用于基于各个目标检测结果，对各个初始图像中的初始图像进行筛选，获得多个包含目标对象的中间图像；

标注单元603，用于基于已训练的目标标注模型对各个中间图像中的目标对象进行标注，获得各个中间图像各自的标注信息，标注信息用于表示相应的中间图像中目标对象的位置；

第二筛选单元604，用于基于各个中间图像以及包含的目标对象，对各个中间图像进行筛选，获得至少一个目标图像，并获取相应的标注信息。

可选的，第二筛选单元604具体用于：

基于各个中间图像各自包含的目标对象，确定各个中间图像中的候选中间图像；从去除候选中间图像后剩余的中间图像中，确定出至少一个目标图像，候选中间图像用于表征包含的目标对象的对象分辨率或置信度不符合预设条件的中间图像；

基于各个中间图像之间的相似度，确定各个中间图像中的目标相似图像，目标相似图像与对应的中间图像之间的相似度高于相似度阈值；从去除目标相似图像后剩余的中间图像中，确定出至少一个目标图像。可选的，第二筛选单元604具体用于：

基于各个中间图像各自的标注信息，确定各个中间图像各自包含的目标对象的对象分辨率；将对应的分辨率不属于预设分辨率区间的中间图像，作为候选中间图像。

可选的，第二筛选单元604具体用于：

基于已训练的分类模型，分别对各个中间图像中各自包含的目标对象进行分类，获得各个目标对象各自的置信度；将对应的置信度低于置信度阈值的中间图像，作为候选中间图像。

可选的，第二筛选单元604具体用于：

分别对各个中间图像进行特征提取，获得各个中间图像特征；

分别基于各个中间图像特征，确定各个中间图像中，每两个中间图像之间的相似度；

基于各个相似度，确定各个相似度中高于相似度阈值的各个目标相似度，并将各个目标相似度各自对应的两个中间图像作为候选相似图像；

分别确定每两个候选相似图像各自包含的目标对象的置信度，将每两个置信度中较低的置信度对应的候选相似图像作为目标相似图像。

可选的，装置还包括分类单元605，用于：

基于已训练的分类模型，分别对各个中间图像包含的目标对象进行分类，获得各个中间图像包含的目标对象各自对应的置信度，并确定出高于置信度阈值的置信度对应的目标对象所在的中间图像；

从确定出的各个中间图像中确定出至少一个目标图像。

可选的，初始图像为视频帧图像；通过下列方式获得各个初始图像：

获取各个视频帧图像的视频帧标识，视频帧标识用于标识各个视频帧图像的先后顺序；

基于各个视频帧标识对各个视频帧图像进行筛选，获得各个初始图像。

可选的，中间图像为视频帧图像；装置还包括获取单元606，用于：

获取各个中间图像的中间标识，中间标识用于标识各个中间图像的先后顺序；

基于各个中间标识对各个中间图像进行筛选，获得筛选后的中间图像。

可选的，装置还包括清洗单元607，用于：

分别对各个待清洗图像进行特征提取，获得各个清洗图像特征，各个待清洗图像为初始图像或中间图像；

分别基于各个清洗图像特征，确定各个待清洗图像中，每两个清洗图像之间的相似度；

基于各个相似度，确定各个相似度中高于相似度阈值的各个目标相似度，以及各个目标相似度分别对应的两个候选相似图像；

分别确定每两个候选相似图像各自包含的目标对象的置信度，将每两个置信度中较高的置信度对应的候选相似图像作为清洗后的待清洗图像。

可选的置信度用于表示目标对象的清晰度类别置信度和目标对象的对象类别置信度中的至少一种。

可选的。装置还包括分析单元608，用于：

按照至少一种统计维度，对各个待分析图像的分布进行统计分析，获得相应的统计分析信息，其中，各个待分析图像为中间图像或目标图像；基于统计分析信息，对相应的初始图像的数量进行调整。

可选的，分析单元608具体用于：

按照至少一种统计维度，对各个待分析图像的分布进行统计分析，获得相应的统计分析信息，其中，各个待分析图像包括中间图像和目标图像中的至少一种；

基于统计分析信息，对初始图像的数量进行扩充，并基于扩充的初始图像获得相应的目标图像以及各个目标图像的标注信息。

可选的，待分析图像的标注信息包括待分析图像的图像分辨率、待分析图像中的目标对象的对象分辨率和目标对象的类别信息中的至少一种。

可选的，通过以下方式获得已训练的目标检测模型：

获取第一训练样本集，第一训练样本集中的每个第一训练样本包括：包含目标对象的第一样本图像；

基于第一训练样本集对待训练的目标检测模型进行预训练，获得中间检测模型；

基于第二训练样本集对中间检测模型进行循环迭代训练，获得已训练的目标检测模型，第二训练样本集中的每个第二训练样本包括：第二样本图像，第二样本图像包含或不包含目标对象；其中，在一次循环迭代训练过程中执行以下操作：

将当前的第二训练样本集中的第二样本图像输入中间检测模型进行目标检测，获得包含目标对象的第二样本图像，并基于包含目标对象的第二样本图像更新第二训练样本集。

可选的，通过以下方式获得已训练的目标标注模型：

获取第三训练样本集，第三训练样本集中的每个第三训练样本包括：包含目标对象的第三样本图像，以及第三样本图像中的目标对象的标注信息；

基于第三训练样本集对待训练的目标标注模型进行预训练，获得中间标注模型；

基于第四训练样本集对中间标注模型进行循环迭代训练，获得已训练的目标标注模型，第四训练样本集中的每个第四训练样本包括：第四样本图像，第四样本图像包含或不包含目标对象；其中，在一次循环迭代训练过程中执行以下操作：

将当前的第四训练样本集中的第四样本图像输入中间标注模型进行标注，获得包含目标对象的第四样本图像的标注信息，并基于包含目标对象的第四样本图像和对应的标注信息更新第四训练样本集。

在本申请实施例中，通过已训练的目标检测模型，对各个初始图像分别进行目标检测，获得各个初始图像各自的目标检测结果；基于各个目标检测结果，从所述各个初始图像中确定出包含目标对象的多个中间图像，能够快速从多个初始图像中获得包含目标对象的图像；进而，通过已训练的目标标注模型对各个中间图像包含的目标对象进行标注，获得各个中间图像各自的标注信息，无需人工标注，有效提升了数据标注效率；最后，基于各个中间图像以及各自包含的目标对象，能够根据训练数据需要对各个中间图像进行筛选，确定出至少一个目标图像和相应的标注信息，缩短训练数据的准备时间，提高训练数据的生成效率。

为了描述的方便，以上各部分按照功能划分为各模块（或单元）分别描述。当然，在实施本申请时可以把各模块（或单元）的功能在同一个或多个软件或硬件中实现。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备。在一种实施例中，该电子设备可以是服务器，如图1所示的服务器120。在该实施例中，电子设备的结构可以如图7所示，包括存储器701，通讯模块703以及一个或多个处理器702。

存储器701，用于存储处理器702执行的计算机程序。存储器701可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。

存储器701可以是易失性存储器（volatile memory），例如随机存取存储器（random-access memory，RAM）；存储器701也可以是非易失性存储器（non-volatilememory），例如只读存储器，快闪存储器（flash memory），硬盘（hard disk drive，HDD）或固态硬盘（solid-state drive，SSD）；或者存储器701是能够用于携带或存储具有指令或数据结构形式的期望的计算机程序并能够由计算机存取的任何其他介质，但不限于此。存储器701可以是上述存储器的组合。

处理器702，可以包括一个或多个中央处理单元（central processing unit，CPU）或者为数字处理单元等等。处理器702，用于调用存储器701中存储的计算机程序时实现上述数据标注方法。

通讯模块703用于与终端设备和其他服务器进行通信。

本申请实施例中不限定上述存储器701、通讯模块703和处理器702之间的具体连接介质。本申请实施例在图7中以存储器701和处理器702之间通过总线704连接，总线704在图7中以粗线描述，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线704可以分为地址总线、数据总线、控制总线等。为便于描述，图7中仅用一条粗线描述，但并不描述仅有一根总线或一种类型的总线。

存储器701中存储有计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于实现本申请实施例的数据标注方法。处理器702用于执行上述的数据标注方法，如图2所示。

在另一种实施例中，电子设备也可以是其他电子设备，如图1所示的终端设备110。在该实施例中，电子设备的结构可以如图8所示，包括：通信组件810、存储器820、显示单元830、摄像头840、传感器850、音频电路860、蓝牙模块870、处理器880等部件。

通信组件810用于与服务器进行通信。在一些实施例中，可以包括电路无线保真（Wireless Fidelity，WiFi）模块，WiFi模块属于短距离无线传输技术，电子设备通过WiFi模块可以帮助用户收发信息。

存储器820可用于存储软件程序及数据。处理器880通过运行存储在存储器820的软件程序或数据，从而执行终端设备110的各种功能以及数据处理。存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器820存储有使得终端设备110能运行的操作系统。本申请中存储器820可以存储操作系统及各种应用程序，还可以存储执行本申请实施例数据标注方法的计算机程序。

显示单元830还可用于显示由用户输入的信息或提供给用户的信息以及终端设备110的各种菜单的图形用户界面（graphical user interface，GUI）。具体地，显示单元830可以包括设置在终端设备110正面的显示屏832。其中，显示屏832可以采用液晶显示器、发光二极管等形式来配置。显示单元830可以用于显示本申请实施例中的数据标注用户界面等。

显示单元830还可用于接收输入的数字或字符信息，产生与终端设备110的用户设置以及功能控制有关的信号输入，具体地，显示单元830可以包括设置在终端设备110正面的触摸屏831，可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。

其中，触摸屏831可以覆盖在显示屏832之上，也可以将触摸屏831与显示屏832集成而实现终端设备110的输入和输出功能，集成后可以简称触摸显示屏。本申请中显示单元830可以显示应用程序以及对应的操作步骤。

摄像头840可用于捕获静态图像，用户可以将摄像头840拍摄的图像通过应用发布评论。摄像头840可以是一个，也可以是多个。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件（charge coupled device，CCD）或互补金属氧化物半导体（complementary metal-oxide-semiconductor，CMOS）光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器880转换成数字图像信号。

终端设备还可以包括至少一种传感器850，比如加速度传感器851、距离传感器852、指纹传感器853、温度传感器854。终端设备还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。

音频电路860、扬声器861、传声器862可提供用户与终端设备110之间的音频接口。音频电路860可将接收到的音频数据转换后的电信号，传输到扬声器861，由扬声器861转换为声音信号输出。终端设备110还可配置音量按钮，用于调节声音信号的音量。另一方面，传声器862将收集的声音信号转换为电信号，由音频电路860接收后转换为音频数据，再将音频数据输出至通信组件810以发送给比如另一终端设备110，或者将音频数据输出至存储器820以便进一步处理。

蓝牙模块870用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，终端设备可以通过蓝牙模块870与同样具备蓝牙模块的可穿戴电子设备（例如智能手表）建立蓝牙连接，从而进行数据交互。

处理器880是终端设备的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器820内的软件程序，以及调用存储在存储器820内的数据，执行终端设备的各种功能和处理数据。在一些实施例中，处理器880可包括一个或多个处理单元；处理器880还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器880中。本申请中处理器880可以运行操作系统、应用程序、用户界面显示及触控响应，以及本申请实施例的数据标注方法。另外，处理器880与显示单元830耦接。

在一些可能的实施方式中，本申请提供的数据标注方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在电子设备上运行时，计算机程序用于使电子设备执行本说明书上述描述的根据本申请各种示例性实施方式的数据标注方法中的步骤，例如，电子设备可以执行如图2中所示的步骤。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请的实施方式的程序产品可以采用便携式紧凑盘只读存储器（CD-ROM）并包括计算机程序，并可以在电子设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的计算机程序，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。计算机程序可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络包括局域网（LAN）或广域网（WAN）连接到用户电子设备，或者，可以连接到外部电子设备（例如利用因特网服务提供商来通过因特网连接）。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用计算机程序的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序命令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序命令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的命令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序命令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的命令产生包括命令装置的制造品，该命令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序命令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的命令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (17)

1.一种数据标注方法，其特征在于，该方法包括：

通过已训练的目标检测模型，对各个初始图像分别进行目标检测，获得所述各个初始图像各自的目标检测结果；

基于各个目标检测结果，从所述各个初始图像中确定出包含目标对象的多个中间图像；

通过已训练的目标标注模型对各个中间图像包含的目标对象进行标注，获得所述各个中间图像各自的标注信息，所述标注信息用于表示相应的中间图像中目标对象的位置；

基于所述各个中间图像以及各自包含的目标对象，从所述各个中间图像中确定出至少一个目标图像，并获取各个目标图像的标注信息。

2.如权利要求1所述的方法，其特征在于，所述基于所述各个中间图像以及各自包含的目标对象，从所述各个中间图像中确定出至少一个目标图像的步骤，包括以下至少一种方式：

基于所述各个中间图像各自包含的目标对象，确定所述各个中间图像中的候选中间图像；从去除所述候选中间图像后剩余的中间图像中，确定出所述至少一个目标图像，所述候选中间图像用于表征包含的目标对象的对象分辨率或置信度不符合预设条件的中间图像；

基于所述各个中间图像之间的相似度，确定所述各个中间图像中的目标相似图像，所述目标相似图像与对应的中间图像之间的相似度高于相似度阈值；从去除所述目标相似图像后剩余的中间图像中，确定出所述至少一个目标图像。

3.如权利要求2所述的方法，其特征在于，所述基于所述各个中间图像各自包含的目标对象，确定所述各个中间图像中的候选中间图像，包括：

基于所述各个中间图像各自的标注信息，确定所述各个中间图像各自包含的目标对象的对象分辨率；将对应的分辨率不属于预设分辨率区间的中间图像，作为候选中间图像；和/或

基于已训练的分类模型，分别对所述各个中间图像各自包含的目标对象进行分类，获得各个目标对象各自的置信度；将对应的置信度低于置信度阈值的中间图像，作为候选中间图像。

4.如权利要求2所述的方法，其特征在于，所述基于所述各个中间图像之间的相似度，确定所述各个中间图像中的目标相似图像，包括：

分别对所述各个中间图像进行特征提取，获得各个中间图像特征；

分别基于所述各个中间图像特征，确定所述各个中间图像中，每两个中间图像之间的相似度；

基于各个相似度，确定所述各个相似度中高于相似度阈值的各个目标相似度，并将所述各个目标相似度各自对应的两个中间图像作为候选相似图像；

分别确定每两个候选相似图像各自包含的目标对象的置信度，将每两个置信度中较低的置信度对应的候选相似图像作为所述目标相似图像。

5.如权利要求1所述的方法，其特征在于，所述基于所述各个中间图像以及各自包含的目标对象，从所述各个中间图像中确定出至少一个目标图像，包括：

基于已训练的分类模型，分别对所述各个中间图像包含的目标对象进行分类，获得所述各个中间图像包含的目标对象各自对应的置信度，并确定出高于置信度阈值的置信度对应的目标对象所在的中间图像；

从确定出的各个中间图像中确定出至少一个目标图像。

6.如权利要求1所述的方法，其特征在于，所述中间图像为视频帧图像；在所述通过已训练的目标标注模型对各个中间图像包含的目标对象进行标注之前，还包括：

获取各个中间图像的中间标识，所述中间标识用于标识所述各个中间图像的先后顺序；

基于各个中间标识对所述各个中间图像进行筛选，获得筛选后的中间图像。

7.如权利要求1所述的方法，其特征在于，在所述基于已训练的目标标注模型对各个中间图像中的目标对象进行标注之前，还包括：

分别对各个待清洗图像进行特征提取，获得各个清洗图像特征，所述各个待清洗图像为初始图像或中间图像；

分别基于各个清洗图像特征，确定所述各个待清洗图像中，每两个清洗图像之间的相似度；

基于各个相似度，确定所述各个相似度中高于相似度阈值的各个目标相似度，以及所述各个目标相似度分别对应的两个候选相似图像；

分别确定每两个候选相似图像各自包含的目标对象的置信度，将每两个置信度中较高的置信度对应的候选相似图像作为清洗后的待清洗图像。

8.如权利要求2~5、7任一所述的方法，其特征在于，所述置信度用于表示所述目标对象的清晰度类别置信度和所述目标对象的对象类别置信度中的至少一种。

9.如权利要求1-7任一所述的方法，其特征在于，所述方法还包括：

按照至少一种统计维度，对各个待分析图像的分布进行统计分析，获得相应的统计分析信息，其中，所述各个待分析图像包括所述中间图像和所述目标图像中的至少一种；

基于所述统计分析信息，对所述初始图像的数量进行扩充，并基于扩充的初始图像获得相应的目标图像以及各个目标图像的标注信息。

10.如权利要求9所述的方法，其特征在于，所述按照至少一种统计维度，对各个待分析图像的分布进行统计分析，获得相应的统计分析信息，包括：

按照所述各个待分析图像的标注信息，对所述各个待分析图像的分布进行统计分析，获得标注统计分析信息；

按照所述各个待分析图像的场景信息，对所述各个待分析图像的分布进行统计分析，获得场景统计分析信息，其中，每个待分析图像的场景信息是通过对相应的待分析图像进行场景分类获得的。

11.如权利要求10所述的方法，其特征在于，所述待分析图像的标注信息包括所述待分析图像的图像分辨率、所述待分析图像中的目标对象的对象分辨率和所述目标对象的类别信息中的至少一种。

12.如权利要求1~7任一项所述的方法，其特征在于，通过以下方式获得所述已训练的目标检测模型：

获取第一训练样本集，所述第一训练样本集中的每个第一训练样本包括：包含所述目标对象的第一样本图像；

基于所述第一训练样本集对待训练的目标检测模型进行预训练，获得中间检测模型；

基于第二训练样本集对所述中间检测模型进行循环迭代训练，获得所述已训练的目标检测模型，所述第二训练样本集中的每个第二训练样本包括：第二样本图像，所述第二样本图像包含或不包含所述目标对象；其中，在一次循环迭代训练过程中执行以下操作：

将当前的第二训练样本集中的第二样本图像输入所述中间检测模型进行目标检测，获得包含所述目标对象的第二样本图像，并基于所述包含所述目标对象的第二样本图像更新所述第二训练样本集。

13.如权利要求1~7任一项所述的方法，其特征在于，通过以下方式获得所述已训练的目标标注模型：

获取第三训练样本集，所述第三训练样本集中的每个第三训练样本包括：包含所述目标对象的第三样本图像，以及所述第三样本图像中的目标对象的标注信息；

基于所述第三训练样本集对待训练的目标标注模型进行预训练，获得中间标注模型；

基于第四训练样本集对所述中间标注模型进行循环迭代训练，获得所述已训练的目标标注模型，所述第四训练样本集中的每个第四训练样本包括：第四样本图像，所述第四样本图像包含或不包含所述目标对象；其中，在一次循环迭代训练过程中执行以下操作：

将当前的第四训练样本集中的第四样本图像输入所述中间标注模型进行标注，获得包含所述目标对象的第四样本图像的标注信息，并基于所述包含所述目标对象的第四样本图像和对应的标注信息更新所述第四训练样本集。

14.一种数据标注装置，其特征在于，包括：

检测单元，用于通过已训练的目标检测模型，对各个初始图像分别进行目标检测，获得所述各个初始图像各自的目标检测结果；

第一筛选单元，用于基于各个目标检测结果，从所述各个初始图像中确定出包含目标对象的多个中间图像；

标注单元，用于通过已训练的目标标注模型对各个中间图像包含的目标对象进行标注，获得所述各个中间图像各自的标注信息，所述标注信息用于表示相应的中间图像中目标对象的位置；

第二筛选单元，用于基于所述各个中间图像以及各自包含的目标对象，从所述各个中间图像中确定出至少一个目标图像，并获取各个目标图像的标注信息。

15.一种电子设备，其特征在于，其包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1~13中任一所述方法的步骤。

16.一种计算机可读存储介质，其特征在于，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备执行权利要求1~13中任一所述方法的步骤。

17.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序存储在计算机可读存储介质中；当电子设备的处理器从所述计算机可读存储介质读取所述计算机程序时，所述处理器执行所述计算机程序，使得所述电子设备执行权利要求1~13中任一所述方法的步骤。

Images