CN108334602A - 数据标注方法和装置、电子设备、计算机存储介质、程序 - Google Patents

Abstract

本公开实施例提供了一种数据标注方法和装置、电子设备、计算出存储介质、程序，其中，方法包括：获得目标人物对应的多个图像，每个图像包括至少一个人脸图像；基于对所述多个图像中包括的多个人脸图像的筛选，得到所述目标人物的底数据库，所述底数据库包括所述多个人脸图像中与所述目标人物对应的至少一个人脸图像；基于所述底数据库，对所述多个图像进行所述目标人物的标注。本公开上述实施例，基于底数据库对图像进行标注，加快了标注速度。

Description

数据标注方法和装置、电子设备、计算机存储介质、程序

技术领域

本公开涉及计算机视觉技术，尤其是一种数据标注方法和装置、电子设备、计算机存储介质、程序。

背景技术

近些年在计算机视觉领域，深度学习已经被广泛应用在图像分类、定位、分割、识别等任务中。网络结构是深度网络能够解决各种机器视觉应用问题的核心和基础。

数据集是深度学习技术发展的基石。在人脸识别领域，由于人对应的人名数量庞大，训练可靠的人脸识别和人脸验证的模型，需要大规模的数据集。建立大规模人脸数据集主要分为两个步骤：图片搜集和数据标注。

发明内容

本公开实施例提供的一种数据标注技术。

根据本公开实施例的一个方面，提供的一种数据标注方法，包括：

获得目标人物对应的多个图像，每个图像包括至少一个人脸图像；

基于对所述多个图像中包括的多个人脸图像的筛选，得到所述目标人物的底数据库，所述底数据库包括所述多个人脸图像中与所述目标人物对应的至少一个人脸图像；

基于所述底数据库，对所述多个图像进行所述目标人物的标注。

在基于本发明上述方法的另一个实施例中，所述基于对所述多个图像中包括的多个人脸图像的筛选，获得所述目标人物的底数据库，包括：

从所述多个图像中选择预设数量的候选图像；

基于对所述预设数量的候选图像中包括的多个候选人脸图像的筛选，得到所述目标人物的底数据库。

在基于本发明上述方法的另一个实施例中，所述基于对所述预设数量的候选图像中包括的多个候选人脸图像的筛选，得到所述目标人物的底数据库，包括：

将所述多个候选人脸图像中出现次数最多的人物所对应的至少一个候选人脸图像添加到所述目标人物的底数据库。

在基于本发明上述方法的另一个实施例中，所述将所述多个候选人脸图像中出现次数最多的人物所对应的至少一个候选人脸图像添加到所述目标人物的底数据库，包括：

响应于所述多个候选人脸图像中出现次数最多的人物所对应的至少一个候选人脸图像的数量大于或等于预设阈值，将所述至少一个候选人脸图像添加到所述目标人物的底数据库。

在基于本发明上述方法的另一个实施例中，所述方法还包括：将所述至少一个候选人脸图像标注为所述目标人物。

在基于本发明上述方法的另一个实施例中，所述方法还包括：

响应于所述多个候选人脸图像中出现次数最多的人物所对应的至少一个候选人脸图像的数量小于所述预设阈值，终止对所述目标人物的标注。

在基于本发明上述方法的另一个实施例中，所述从所述多个图像中选择预设数量的候选图像，包括：

将所述多个图像中与所述目标人物的相关度最高的预设数量的图像确定为所述候选图像。

在基于本发明上述方法的另一个实施例中，在所述基于对所述多个图像中包括的多个人脸图像的筛选，得到所述目标人物的底数据库之前，还包括：

对所述多个图像中的至少一个图像进行人脸识别，获得所述至少一个图像中每个图像的至少一个人脸框，每个所述人脸框对应一个人脸图像。

在基于本发明上述方法的另一个实施例中，所述对所述多个图像中的至少一个图像进行人脸识别，获得所述至少一个图像中每个图像的至少一个人脸框，包括：

利用神经网络对所述至少一个图像中的每个图像进行人脸识别，获得所述每个图像中的至少一个人脸框。

在基于本发明上述方法的另一个实施例中，还包括：

确定所述每个图像对应的至少一个人脸图像的标号；

基于所述底数据库，对所述多个图像进行所述目标人物的标注，包括：

基于所述底数据库，利用所述标号对所述多个图像中每个图像对应的至少一个人脸图像进行所述目标人物的标注。

在基于本发明上述方法的另一个实施例中，所述基于所述底数据库，对所述多个图像进行所述目标人物的标注，包括：

基于所述底数据库，对所述多个图像中除所述底数据库包括的至少一个人脸图像所属的图像之外的其他图像进行所述目标人物的标注。

在基于本发明上述方法的另一个实施例中，所述基于所述底数据库，对所述多个图像中除所述底数据库包括的至少一个人脸图像所属的图像之外的其他图像进行所述目标人物的标注，包括：

基于所述其他图像包括的至少一个人脸图像与所述底数据库中包括的人脸图像之间的相似度，对所述其他图像包括的至少一个人脸图像进行所述目标人物的标注。

在基于本发明上述方法的另一个实施例中，所述获得目标人物对应的多个图像，包括：

基于人名搜索，获得目标人物对应的多个图像。

根据本公开实施例的另一个方面，提供的一种数据标注装置，包括：

图像获取单元，用于获得目标人物对应的多个图像，每个图像包括至少一个人脸图像；

建库单元，用于基于对所述多个图像中包括的多个人脸图像的筛选，得到所述目标人物的底数据库，所述底数据库包括所述多个人脸图像中与所述目标人物对应的至少一个人脸图像；

标注单元，用于基于所述底数据库，对所述多个图像进行所述目标人物的标注。

在基于本发明上述装置的另一个实施例中，所述建库单元，包括：

候选选择模块，用于从所述多个图像中选择预设数量的候选图像；

底库建立模块，用于基于对所述预设数量的候选图像中包括的多个候选人脸图像的筛选，得到所述目标人物的底数据库。

在基于本发明上述装置的另一个实施例中，所述底库建立模块，具体用于将所述多个候选人脸图像中出现次数最多的人物所对应的至少一个候选人脸图像添加到所述目标人物的底数据库。

在基于本发明上述装置的另一个实施例中，所述底库建立模块，具体用于响应于所述多个候选人脸图像中出现次数最多的人物所对应的至少一个候选人脸图像的数量大于或等于预设阈值，将所述至少一个候选人脸图像添加到所述目标人物的底数据库。

在基于本发明上述装置的另一个实施例中，所述底库建立模块，还用于将所述至少一个候选人脸图像标注为所述目标人物。

在基于本发明上述装置的另一个实施例中，所述底库建立模块，还用于响应于所述多个候选人脸图像中出现次数最多的人物所对应的至少一个候选人脸图像的数量小于所述预设阈值，终止对所述目标人物的标注。

在基于本发明上述装置的另一个实施例中，所述候选选择模块，具体用于将所述多个图像中与所述目标人物的相关度最高的预设数量的图像确定为所述候选图像。

在基于本发明上述装置的另一个实施例中，所述建库单元，还包括：

人脸识别模块，用于对所述多个图像中的至少一个图像进行人脸识别，获得所述至少一个图像中每个图像的至少一个人脸框，每个所述人脸框对应一个人脸图像。

在基于本发明上述装置的另一个实施例中，所述人脸识别模块，具体用于利用神经网络对所述至少一个图像中的每个图像进行人脸识别，获得所述每个图像中的至少一个人脸框。

在基于本发明上述装置的另一个实施例中，还包括：标号单元，用于确定所述每个图像对应的至少一个人脸图像的标号；

所述标注单元，具体用于基于所述底数据库，利用所述标号对所述多个图像中每个图像对应的至少一个人脸图像进行所述目标人物的标注。

在基于本发明上述装置的另一个实施例中，所述标注单元，具体用于基于所述底数据库，对所述多个图像中除所述底数据库包括的至少一个人脸图像所属的图像之外的其他图像进行所述目标人物的标注。

在基于本发明上述装置的另一个实施例中，所述标注单元，具体用于基于所述其他图像包括的至少一个人脸图像与所述底数据库中包括的人脸图像之间的相似度，对所述其他图像包括的至少一个人脸图像进行所述目标人物的标注。

在基于本发明上述装置的另一个实施例中，所述图像获取单元，具体用于基于人名搜索，获得目标人物对应的多个图像。

根据本公开实施例的另一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上所述的数据标注装置。

根据本公开实施例的另一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；

以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上所述数据标注方法的操作。

根据本公开实施例的另一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，所述指令被执行时执行如上所述数据标注方法的操作。

根据本公开实施例的另一个方面，提供的一种计算机程序，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现如上所述数据标注方法中各步骤的指令。

根据本公开实施例的再一个方面，提供的一种计算机程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任一可能的实现方式中所述的数据标注方法。

在一个可选实施方式中，所述计算机程序产品具体为计算机存储介质，在另一个可选实施方式中，所述计算机程序产品具体为软件产品，例如SDK等。

根据本公开实施例还提供了另一种数据标注方法及其对应的装置和电子设备、计算机存储介质、计算机程序以及计算机程序产品，其中，该方法包括：获得目标人物对应的多个图像，每个图像包括至少一个人脸图像；基于对所述多个图像中包括的多个人脸图像的筛选，得到所述目标人物的底数据库，所述底数据库包括所述多个人脸图像中与所述目标人物对应的至少一个人脸图像；基于所述底数据库，对所述多个图像进行所述目标人物的标注。

基于本公开上述实施例提供的一种数据标注方法和装置、电子设备、计算机存储介质、程序，获得目标人物对应的多个图像，基于对多个图像中包括的多个人脸图像的筛选，得到目标人物的底数据库，基于底数据库，对多个图像进行目标人物的标注，基于相对准确的底数据库对图像进行标注，加快了标注速度。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1为本公开实施例提供的数据标注方法的流程图。

图2为本公开实施例提供的数据标注方法的一个示例图。

图3为本公开实施例提供的数据标注方法一个示例的标注示意图。

图4为本公开实施例提供的数据标注方法另一个示例的标注示意图。

图5为本公开实施例提供的数据标注装置的结构示意图。

图6为适于用来实现本公开实施例的终端设备或服务器的电子设备的结构示意图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

在网络模型的训练中，由于数据集过于庞杂，涉及的人数往往在1k以上的量级，图片搜集一般不通过人工采集的方式，而是抓取网络上已有的图片数据。对于从网络获取的数据，图片上的人的id不是完全可控的，因此需要数据标注环节。一方面是清理掉不为人脸的图片，另一方面是把属于同一个id的图片归为一类。

大规模人脸数据集普遍通过自动清理的方式来获得。自动清理的数据噪音分为outlier noise和flip noise，前者指属于不同人的图片被数据集归为同一个id，后者指属于同一个人的图片在数据集不同的id中出现，这些噪音对人脸模型的训练是有害的。人工标注能一定程度上解决自动标注的噪音问题，然而人工标注方式较为费时，成本较高。

图1为本公开实施例提供的数据标注方法的流程图。如图1所示，该实施例方法包括：

步骤110，获得目标人物对应的多个图像。

其中，每个图像包括至少一个人脸图像。

在本公开实施例中，可以通过多种方式获得目标人物对应的多个图像。可选地，可以基于网络爬虫，获得该多个图像。在一个例子中，基于人名搜索，获得目标人物对应的多个图像，通过基于人名搜索图像，降低了将同一人的图像标注不同人名的概率，即降低了flip noise翻转噪音。例如，可以在某个搜索引擎中输入目标人物的人名，搜索结果中包含目标人物对应的多个图像。由于是基于人名进行搜索，因此，获得的是与该人名相关的图像，这些图像中可以包括该目标人物的人脸图像和/或其他人物的人脸图像，此时，本公开实施例中的多个图像可以是搜索结果的全部或部分结果，并且该多个图像中每个图像可以包括至少一个人脸图像，本公开实施例不限制具体获取目标人物对应的多个图像的方法。

步骤120，基于对多个图像中包括的多个人脸图像的筛选，得到目标人物的底数据库。

其中，底数据库包括多个人脸图像中与目标人物对应的至少一个人脸图像。

在一个或多个可选的实施例中，从多个图像中选择预设数量的候选图像，

并基于对预设数量的候选图像中包括的多个候选人脸图像的筛选，得到目标人物的底数据库。

该候选图像的数量可以小于或等于多个图像的数量。

在一些实施例中，为了快速获取底数据库，简化筛选过程，该预设数量远小于多个图像的数量，例如，可以从多个图像中选择10个图像，此时，可以仅对预设数量的候选图像中包括的人脸图像进行筛选，获得目标人物的底数据库，为了便于理解，以下将候选图像中包括的人脸图像称为候选人脸图像。

可选地，可以统计该多个候选图像中的人脸图像(即多个候选人脸图像)对应的人物出现的次数，即确定该多个候选人脸图像中对应于同一人物的人脸图像的个数，并依据该多个候选人脸图像中出现的不同人物分别对应的人脸图像个数，确定目标人物对应的至少一个人脸图像。

在一个例子中，可以将多个候选人脸图像中出现次数最多的人物所对应的至少一个候选人脸图像添加到目标人物的底数据库。

具体地，候选图像中可能包括多个候选人脸图像，此时，通常以出现次数最多的人脸对应的候选人脸图像作为对应该目标人物的人脸图像，基于获得的出现次数最多的人脸对应的候选人脸图像建立底数据库，其中，底数据库中的至少一个人脸图像之间的相似度大于或等于预设相似度。

在一些可选实施例中，判断人脸的出现次数，可以包括：基于神经网络对候选图像进行人脸识别，获得候选图像包括的候选人脸图像，再对得到多个候选人脸图像进行统计，将相似度大于或等于预设阈值的候选人脸图像确定为对应于同一人物的候选人脸图像，基于统计的结果确定人脸/人物出现的次数。在一些可选实施例中，也可以通过人工方式识别判断出现次数最多的人物所对应的候选人脸图像，本公开实施例不限制具体判断人脸/人物出现次数的方法。

在本公开实施例中，可以直接将出现次数最多的人物/人脸对应的候选人脸图像确定为底数据库中的人脸图像。

或者，也可以在该出现次数最多的人物/人脸对应的候选人脸图像满足一定条件时，才将该人物/人脸对应的候选人脸图像添加到底数据库，例如，该出现次数最多的人物/人脸对应的候选人脸图像个数(即该人物/人脸出现的次数)大于或等于预设阈值。

在一些可选实施例中，响应于多个候选人脸图像中出现次数最多的人物所对应的至少一个候选人脸图像的数量大于或等于预设阈值，将至少一个候选人脸图像添加到目标人物的底数据库。

此时，可以将底数据库中该至少一个候选人脸图像标注为目标人物。

具体地，当底数据库中包括的人脸图像的数量大于或等于预设阈值时，说明候选图像中包括目标人物的候选人脸图像较多，此时获得的底数据库具有对图像进行数据标注的参考价值；基于该实施例建立的底数据库进行数据标注，由于去除了无效数据，大大降低了后续标注的成本。

在一个或多个可选的实施例中，响应于多个候选人脸图像中出现次数最多的人物所对应的至少一个候选人脸图像的数量小于预设阈值，终止对目标人物的标注。

如果出现次数最多的人物/人脸对应的候选人脸图像个数小于预设阈值，即出现次数最多的人物的出现次数小于预设阈值，说明候选图像中对应任何一个人物都没有满足条件的数量的人脸图像，说明这些候选图像不是基于目标人物获得的概率较大，在后续需要基于该目标人物进行标注时，这些候选图像没有参考价值，此时，不建立人物对应的底数据库，结束对目标人物的标注；通过该实施例清理了一部分(如：20％～30％)的无效图像，降低了后续标注的成本。

步骤130，基于底数据库，对多个图像进行目标人物的标注。

基于本公开上述实施例提供的一种数据标注方法，获得目标人物对应的多个图像，基于对多个图像中包括的多个人脸图像的筛选，得到目标人物的底数据库，基于底数据库，对多个图像进行目标人物的标注，基于相对准确的底数据库对图像进行标注，在加快标注速度的同时，还降低了将不同人的图像标注为同一人名的概率，即降低了outlier noise异常噪音。

在一个或多个可选的实施例中，从多个图像中选择预设数量的候选图像，包括：

将多个图像中与目标人物的相关度最高的预设数量的图像确定为候选图像。

可选地，还可以通过其他方式确定候选图像，本公开实施例对此不做限定。

可选地，在获取目标人物对应的多个图像之后，还可以对获得的多个图像按照相关度排序。此时，在一些实施例中，可以从排序后的多个图像中选择排在最前面的预设数量的图像确定为候选图像。

例如，对于采用搜索引擎获得的多个图像，搜索得到的图像是基于与人名的相关度进行排序的，即：搜索结果中排序在前的图像与人名的相关度更大，排序在后的图像与人名的相关度更小，因此，基于相关度排序的操作可以简化为直接获取搜索结果中的至少一张图像，从搜索结果中取排在最前的预设数量的图像作为预测图像，例如：从获得的图像中选取相关度最高的10张图像，如果获取的图像不足10张就全选；获取候选图像的目的是简化操作，使底数据库中的图像更好识别，提高标注的效率。

在一个或多个可选的实施例中，还包括：

对多个图像中的至少一个图像进行人脸识别，获得至少一个图像中每个图像的至少一个人脸框。

其中，每个人脸框对应一个人脸图像，为了便于识别图像中包括的至少一个人脸图像，本实施例采用人脸框的方式将人脸图像从原图像中识别出来，可选地，利用人脸识别网络，对图像进行人脸识别，获得至少一个人脸框。通常，人脸识别网络可以很好的将图像中的人脸识别出来，本实施例采用人脸识别网络，将图像中至少一个人脸图像识别并采用人脸框进行标识，使后续对比或标注都能更快速的进行。

在一个或多个可选的实施例中，在执行操作130之前，还可以包括：

确定每个图像对应的至少一个人脸图像的标号；

此时，操作130，包括：

基于底数据库，利用标号对所述多个图像中每个图像对应的至少一个人脸图像进行目标人物的标注。具体地，标号可以是随机标号或基于人脸质量对人脸框进行标号，其中，人脸质量为人脸框对应的人脸图像的质量；利用标号对人脸图像进行目标人物的标注，可以通过选择相应的标号对该标号对应的人脸图像进行标注，加快了标注的速度。

图2为本公开实施例提供的数据标注方法的一个示例图。如图2所示，在一张图像中包括两个人脸图像，此时将这两个人脸图像用人脸框0和人脸框1进行标注，标注的序号是根据人脸图像的质量决定的，该人脸质量与人脸图像的大小、清晰度、人脸角度等相关，人脸质量的具体计算不属于本实施例的重点，本实施例对此不做限制，只需应用人脸质量的计算结果即可，即人脸质量好的标号较小，人脸质量差的标号较大。随机标注时，对图像中的人脸框没有特别规定，直接标注上不同的标号作为识别即可。

如需人工标注时，标注人员看到的图像上绘制了人脸框以及对应的序号。在标注时，标注人员不需要手动绘制人脸框，只需选择对应的序号即可。这种半自动的标注方式的效率明显高于纯人工的标注方式。

在一个或多个可选的实施例中，操作130包括：

基于底数据库，对多个图像中除底数据库包括的至少一个人脸图像所属的图像之外的其他图像进行目标人物的标注。

通过将图像中的人脸图像与底数据库中的人脸图像进行相似度判断，基于相似度判断的结果对该剩余图像进行目标人物的标注，由于底数据库中的人脸图像是相对准确的，因此，基于底数据库进行标注得到的标注结果比现有技术的自动标注准确率高得多，并且，降低了将不同人的图像标注为同一人名的概率，即降低了outlier noise异常噪音。

可选地，基于底数据库，对多个图像中除底数据库包括的至少一个人脸图像所属的图像之外的其他图像进行目标人物的标注，包括：

基于其他图像包括的至少一个人脸图像与底数据库中包括的人脸图像之间的相似度，对其他图像包括的至少一个人脸图像进行目标人物的标注。

对其他图像包括的至少一个人脸图像进行目标人物的标注可以基于人工判别或基于网络判别，基于一个已知的人脸图像从多个人脸图像中获得对应的人脸图像，具体地，可通过相似度计算，分别计算已知的人脸图像与多个人脸图像中所有人脸图像的相似度，将相似度达到预设相似度的人脸图像作为识别结果。

图3为本公开实施例提供的数据标注方法一个示例的标注示意图。如图3所示，标注人员看到的待标注图像为没有人脸框的原始图像，通过手动拉框的方式标注出目标人名的人脸图像；这种方法能有效地保留数据集中的高难度样本，让数据集的难度不受限与人脸检测模型的性能。

图4为本公开实施例提供的数据标注方法另一个示例的标注示意图。如图4所示，标注人员看到的待标注图像为带有人脸框的图像。标注时不需要手动拉框，只需选择对应的人脸候选框即可。这种方法能有效提高标注效率，降低标注成本。

在基于人脸框对人脸图像进行目标人物标注时，可以先对图像中的每个人脸框进行标号，在具体标注时，只需选择对应标号即可完成标注，简化了标注过程，提高了标注的速度。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图5为本公开实施例提供的数据标注装置的结构示意图。该实施例的装置可用于实现本公开上述各方法实施例。如图5所示，该实施例的装置包括：

图像获取单元51，用于获得目标人物对应的多个图像，每个图像包括至少一个人脸图像。

在本公开实施例中，可以通过多种方式获得目标人物对应的多个图像。可选地，可以基于网络爬虫，获得该多个图像。在一个例子中，基于人名搜索，获得目标人物对应的多个图像。例如，可以在某个搜索引擎中输入目标人物的人名，搜索结果中包含目标人物对应的多个图像。由于是基于人名进行搜索，因此，获得的是与该人名相关的图像，这些图像中可以包括该目标人物的人脸图像和/或其他人物的人脸图像，此时，本公开实施例中的多个图像可以是搜索结果的全部或部分结果，并且该多个图像中每个图像可以包括至少一个人脸图像，本公开实施例不限制具体获取目标人物对应的多个图像的方法。

建库单元52，用于基于对多个图像中包括的多个人脸图像的筛选，得到目标人物的底数据库。

其中，底数据库包括多个人脸图像中与目标人物对应的至少一个人脸图像。

在一个或多个可选的实施例中，建库单元52，包括：

候选选择模块，用于从多个图像中选择预设数量的候选图像；

底库建立模块，用于基于对预设数量的候选图像中包括的多个候选人脸图像的筛选，得到目标人物的底数据库。

该候选图像的数量可以小于或等于多个图像的数量。在一些实施例中，为了快速获取底数据库，简化筛选过程，该预设数量远小于多个图像的数量，例如，可以从多个图像中选择10个图像，此时，可以仅对预设数量的候选图像中包括的人脸图像进行筛选，获得目标人物的底数据库，为了便于理解，以下将候选图像中包括的人脸图像称为候选人脸图像。

可选地，可以统计该多个候选图像中的人脸图像(即多个候选人脸图像)对应的人物出现的次数，即确定该多个候选人脸图像中对应于同一人物的人脸图像的个数，并依据该多个候选人脸图像中出现的不同人物分别对应的人脸图像个数，确定目标人物对应的至少一个人脸图像。

在一个例子中，底库建立模块，具体用于将多个候选人脸图像中出现次数最多的人物所对应的至少一个候选人脸图像添加到目标人物的底数据库。

具体地，候选图像中可能包括多个候选人脸图像，此时，通常以出现次数最多的人脸对应的候选人脸图像作为对应该目标人物的人脸图像，基于获得的出现次数最多的人脸对应的候选人脸图像建立底数据库，其中，底数据库中的至少一个人脸图像之间的相似度大于或等于预设相似度。

在一些可选实施例中，判断人脸的出现次数，可以包括：基于神经网络对候选图像进行人脸识别，获得候选图像包括的候选人脸图像，再对得到多个候选人脸图像进行统计，将相似度大于或等于预设阈值的候选人脸图像确定为对应于同一人物的候选人脸图像，基于统计的结果确定人脸/人物出现的次数。在一些可选实施例中，也可以通过人工方式识别判断出现次数最多的人物所对应的候选人脸图像，本公开实施例不限制具体判断人脸/人物出现次数的方法。

在本公开实施例中，可以直接将出现次数最多的人物/人脸对应的候选人脸图像确定为底数据库中的人脸图像。或者，也可以在该出现次数最多的人物/人脸对应的候选人脸图像满足一定条件时，才将该人物/人脸对应的候选人脸图像添加到底数据库，例如，该出现次数最多的人物/人脸对应的候选人脸图像个数(即该人物/人脸出现的次数)大于或等于预设阈值。

在一些可选实施例中，底库建立模块，具体用于响应于多个候选人脸图像中出现次数最多的人物所对应的至少一个候选人脸图像的数量大于或等于预设阈值，将至少一个候选人脸图像添加到目标人物的底数据库。

此时，底库建立模块，还可以用于将至少一个候选人脸图像标注为目标人物。

具体地，当底数据库中包括的人脸图像的数量大于或等于预设阈值时，说明候选图像中包括目标人物的候选人脸图像较多，此时获得的底数据库具有对图像进行数据标注的参考价值；基于该实施例建立的底数据库进行数据标注，由于去除了无效数据，大大降低了后续标注的成本。

在一个或多个可选的实施例中，底库建立模块，还用于响应于多个候选人脸图像中出现次数最多的人物所对应的至少一个候选人脸图像的数量小于预设阈值，终止对目标人物的标注。

如果出现次数最多的人物/人脸对应的候选人脸图像个数小于预设阈值，即出现次数最多的人物的出现次数小于预设阈值，说明候选图像中对应任何一个人物都没有满足条件的数量的人脸图像，说明这些候选图像不是基于目标人物获得的概率较大，在后续需要基于该目标人物进行标注时，这些候选图像没有参考价值，此时，不建立人物对应的底数据库，结束对目标人物的标注。

标注单元53，用于基于底数据库，对多个图像进行目标人物的标注。

基于本公开上述实施例提供的一种数据标注方法，获得目标人物对应的多个图像，基于对多个图像中包括的多个人脸图像的筛选，得到目标人物的底数据库，基于底数据库，对多个图像进行目标人物的标注，基于相对准确的底数据库对图像进行标注，在加快标注速度的同时，大大降低了将不同人的图像标注为同一人名的概率，即降低了outliernoise异常噪音。

在一个或多个可选的实施例中，候选选择模块，具体用于将多个图像中与目标人物的相关度最高的预设数量的图像确定为候选图像。

在一个或多个可选的实施例中，建库单元52，还包括：

人脸识别模块，用于对多个图像中的至少一个图像进行人脸识别，获得至少一个图像中每个图像的至少一个人脸框。

其中，每个人脸框对应一个人脸图像，为了便于识别图像中包括的至少一个人脸图像，本实施例采用人脸框的方式将人脸图像从原图像中识别出来，可选地，人脸识别模块，具体用于利用人脸识别网络，对图像进行人脸识别，获得至少一个人脸框。通常，人脸识别网络可以很好的将图像中的人脸识别出来，本实施例采用人脸识别网络，将图像中至少一个人脸图像识别并采用人脸框进行标识，使后续对比或标注都能更快速的进行。

在一个或多个可选的实施例中，还包括：标号单元，用于确定每个图像对应的至少一个人脸图像的标号；

标注单元53，具体用于基于底数据库，利用标号对多个图像中每个图像对应的至少一个人脸图像进行目标人物的标注。

具体地，标号可以是随机标号或基于人脸质量对人脸框进行标号，其中，人脸质量为人脸框对应的人脸图像的质量；利用标号对人脸图像进行目标人物的标注，可以通过选择相应的标号对该标号对应的人脸图像进行标注，加快了标注的速度。

在一个或多个可选的实施例中，标注单元53，具体用于基于底数据库，对多个图像中除底数据库包括的至少一个人脸图像所属的图像之外的其他图像进行目标人物的标注。

通过将图像中的人脸图像与底数据库中的人脸图像进行相似度判断，基于相似度判断的结果对该剩余图像进行目标人物的标注，由于底数据库中的人脸图像是相对准确的，因此，基于底数据库进行标注得到的标注结果比现有技术的自动标注准确率高得多，并且，降低了将不同人的图像标注为同一人名的概率，即降低了outlier noise异常噪音。

可选地，标注单元53，具体用于基于其他图像包括的至少一个人脸图像与底数据库中包括的人脸图像之间的相似度，对其他图像包括的至少一个人脸图像进行目标人物的标注。

在一个或多个可选的实施例中，图像获取单元51，具体用于基于人名搜索，获得目标人物对应的多个图像。

通过基于人名搜索图像，降低了将同一人的图像标注不同人名的概率，即降低了flip noise翻转噪音。

根据本公开实施例的另一个方面，提供的一种电子设备，包括处理器，处理器包括本公开上述任一实施例的数据标注装置。

根据本公开实施例的另一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；

以及处理器，用于与存储器通信以执行可执行指令从而完成本公开提供的数据标注方法上述任一实施例的操作。

根据本公开实施例的另一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，指令被执行时执行本公开提供的数据标注方法上述任一实施例的操作。

根据本公开实施例的另一个方面，提供的一种计算机程序，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行本公开提供的数据标注方法中各步骤的指令。

根据本公开实施例的再一个方面，提供的一种计算机程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任一可能的实现方式中所述的数据标注方法。

在一个或多个可选实施方式中，本公开实施例还提供了一种计算机程序程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任一实施例中所述的数据标注方法。

该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选例子中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选例子中，所述计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

根据本公开实施例还提供了另一种数据标注方法及其对应的装置和电子设备、计算机存储介质、计算机程序以及计算机程序产品，其中，该方法包括：获得目标人物对应的多个图像，每个图像包括至少一个人脸图像；基于对多个图像中包括的多个人脸图像的筛选，得到目标人物的底数据库，底数据库包括多个人脸图像中与目标人物对应的至少一个人脸图像；基于底数据库，对多个图像进行目标人物的标注。

在一些实施例中，该数据标注指示可以具体为调用指令，第一装置可以通过调用的方式指示第二装置执行数据标注，相应地，响应于接收到调用指令，第二装置可以执行上述数据标注方法中的任意实施例中的步骤和/或流程。

应理解，本公开实施例中的“第一”、“第二”等术语仅仅是为了区分，而不应理解成对本公开实施例的限定。

还应理解，在本公开中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

本公开实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图6，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备600的结构示意图：如图6所示，计算机系统600包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)601，和/或一个或多个图像处理器(GPU)613等，处理器可以根据存储在只读存储器(ROM)602中的可执行指令或者从存储部分608加载到随机访问存储器(RAM)603中的可执行指令而执行各种适当的动作和处理。通信部612可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡。

处理器可与只读存储器602和/或随机访问存储器630中通信以执行可执行指令，通过总线604与通信部612相连、并经通信部612与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，获得目标人物对应的多个图像，每个图像包括至少一个人脸图像；基于对多个图像中包括的多个人脸图像的筛选，得到目标人物的底数据库，底数据库包括多个人脸图像中与目标人物对应的至少一个人脸图像；基于底数据库，对多个图像进行目标人物的标注。

此外，在RAM 603中，还可存储有装置操作所需的各种程序和数据。CPU601、ROM602以及RAM603通过总线604彼此相连。在有RAM603的情况下，ROM602为可选模块。RAM603存储可执行指令，或在运行时向ROM602中写入可执行指令，可执行指令使处理器601执行上述通信方法对应的操作。输入/输出(I/O)接口605也连接至总线604。通信部612可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

需要说明的，如图6所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图6的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本公开公开的保护范围。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，获得目标人物对应的多个图像，每个图像包括至少一个人脸图像；基于对多个图像中包括的多个人脸图像的筛选，得到目标人物的底数据库，底数据库包括多个人脸图像中与目标人物对应的至少一个人脸图像；基于底数据库，对多个图像进行目标人物的标注。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。

可能以许多方式来实现本公开的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种数据标注方法，其特征在于，包括：

获得目标人物对应的多个图像，每个图像包括至少一个人脸图像；

基于对所述多个图像中包括的多个人脸图像的筛选，得到所述目标人物的底数据库，所述底数据库包括所述多个人脸图像中与所述目标人物对应的至少一个人脸图像；

基于所述底数据库，对所述多个图像进行所述目标人物的标注。

2.根据权利要求1所述的方法，其特征在于，所述基于对所述多个图像中包括的多个人脸图像的筛选，获得所述目标人物的底数据库，包括：

从所述多个图像中选择预设数量的候选图像；

基于对所述预设数量的候选图像中包括的多个候选人脸图像的筛选，得到所述目标人物的底数据库。

3.根据权利要求2所述的方法，其特征在于，所述基于对所述预设数量的候选图像中包括的多个候选人脸图像的筛选，得到所述目标人物的底数据库，包括：

将所述多个候选人脸图像中出现次数最多的人物所对应的至少一个候选人脸图像添加到所述目标人物的底数据库。

4.根据权利要求3所述的方法，其特征在于，所述将所述多个候选人脸图像中出现次数最多的人物所对应的至少一个候选人脸图像添加到所述目标人物的底数据库，包括：

响应于所述多个候选人脸图像中出现次数最多的人物所对应的至少一个候选人脸图像的数量大于或等于预设阈值，将所述至少一个候选人脸图像添加到所述目标人物的底数据库。

5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：将所述至少一个候选人脸图像标注为所述目标人物。

6.一种数据标注装置，其特征在于，包括：

图像获取单元，用于获得目标人物对应的多个图像，每个图像包括至少一个人脸图像；

建库单元，用于基于对所述多个图像中包括的多个人脸图像的筛选，得到所述目标人物的底数据库，所述底数据库包括所述多个人脸图像中与所述目标人物对应的至少一个人脸图像；

标注单元，用于基于所述底数据库，对所述多个图像进行所述目标人物的标注。

7.一种电子设备，其特征在于，包括处理器，所述处理器包括权利要求6所述的数据标注装置。

8.一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；

以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至5任意一项所述数据标注方法的操作。

9.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至5任意一项所述数据标注方法的操作。

10.一种计算机程序，包括计算机可读代码，其特征在于，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现权利要求1至5任意一项所述数据标注方法中各步骤的指令。