CN106503691B - 一种人脸图片的身份标注方法和装置 - Google Patents

Abstract

本发明公开一种人脸图片的身份标注方法，包括：先从获取的待标注人脸图片集中抽取若干待标注人脸图片，运用多种人脸识别算法识别待标注人脸图片的人脸特征，识别人脸特征的身份并判断识别结果是否有效，然后通过投票策略选取待标注人脸图片对应的身份以及判断识别结果是否有效，进而通过投票策略选取待标注人脸图片集对应的身份以及判断识别结果是否有效，对识别结果有效的待标注人脸图片集标注对应的身份。本发明公开的人脸图片的身份标注方法能够实现对人脸图片的自动识别，识别结果具有较高的准确率和置信度，扩展性强。

Description

一种人脸图片的身份标注方法和装置

技术领域

本发明涉及人脸识别技术领域，尤其设计一种人脸图片的身份标注方法和装置。

背景技术

人脸识别技术是近年来逐步成熟并应用于商业的技术，现在主流做法都是应用深度学习技术来实现，而深度学习技术需要大量的人脸图片数据用于训练和测试,所以大规模的人脸数据集是所有人脸识别技术的基础。

原来的技术方案主要有两种：

1、基于人脸比对的人脸数据集标注，该方案重点在于利用相似人脸网络检索确定人份后再用机器学习方法提取已确定人脸身份图片的特征，其他人脸图片用相同机器学习方法提取特征后与所有已知身份人脸图片的特征进行对比来判断两张图片是否属于同一个人。

该方案的不足之处在于：利用网络检索方法确定人脸身份的准备率不高；只用一种机器学习方法提取特征再对比特征确定两张图片是否属于同一个人，这样形成的数据集准确率本身受限于该机器学习算法的准确率，准确率不高；且无可扩展性。

2、基于连续视频帧人脸边缘角点变化和唇动检测的人脸数据集标注,该方案重点在于对视频中某一帧进行人脸检测，然后对接下来的视频帧计算边缘角点变化和唇动检测，然后用传统方法提取人脸特征，再对特征对比来判断两张图片是否属于同一个人。

该方案的不足之处在于：应用传统算法对人脸进行编码，相对于机器学习算法来说准确率也不高；无可扩展性。

发明内容

本发明在于提供一种人脸图片的身份标注方法，能够实现对人脸图片的自动识别，识别结果具有较高的准确率和置信度，扩展性强。

为实现上述目的，本发明提供一种人脸图片的身份标注方法，包括以下步骤：

获取至少一个待标注人脸图片集；其中，每一所述待标注人脸图片集包括若干表示同一个人的待标注人脸图片；

从每一所述待标注人脸图片集中抽取预置数量的所述待标注人脸图片；采用N种预设人脸识别算法对每一抽取的所述待标注人脸图片提取人脸特征；其中，N为整数，且N≥2；

对于每一所述人脸特征，在对应人脸识别算法的预设的人脸模板特征集中进行检索识别，从而获得所述人脸特征的第一身份和对应的置信度，并判定所述置信度超过预设置信度阈值的所述第一身份为有效第一身份；

选取所述待标注人脸图片的有效第二身份；其中，所述有效第二身份为选取在所述有效第一身份中所占的第二比例值超过预设第二比例阈值的第二身份，所述第二身份为选取在所述有效第一身份中表示同一个人最多的有效第一身份；

选取所述待标注人脸图片集的最终身份；其中，所述最终身份为选取在所述有效第二身份中所占的第四比例值超过预设第四比例阈值的第三身份，所述第三身份为选取所述有效第二身份中表示同一人最多的所述有效第二身份；

根据所述最终身份，对每一具有所述最终身份的所述可识别的待标注人脸图片集中的所有待标注人脸图片进行身份的标注；

其中，所述人脸图片的身份标注方法还包括预设所述人脸模板特征集，所述预设人脸模板特征集包括：

采用N种所述预设人脸识别算法对若干人脸数据集中所分别随机抽取的一张人脸图片进行人脸特征提取从而制成N个所述人脸模板特征集；其中，所述人脸数据集为预先建立，同一所述人脸数据集中所有的所述人脸图片对应同一个人；所述人脸图片已预先标注身份；同一所述人脸模板特征集中的所述人脸模板特征为通过同一种所述人脸识别算法提取的。

与现有技术相比，本发明提供的一种人脸图片的身份标注方法，采用多图片多算法的人脸识别投票策略，运用多种通用算法和多种特定算法对人脸图片进行识别，通用算法保证了识别结果的有限的一定的准确率，而那些图片所在的场景的特定算法的识别结果在准确率和置信度方面都对通用算法的识别结果有了修复性的提高，相比于单一算法，其结果的准确率和置信度都会大大提高；此外，本发明的最终识别结果为对人脸图片集的识别结果，能包含不被识别人脸姿态的图片，有利于扩展识别数据集。

进一步地，所述人脸图片的身份标注方法还包括预设所述人脸模板特征集，所述预设人脸模板特征集包括:

采用N种所述预设人脸识别算法对若干人脸数据集中所分别随机抽取的一张人脸图片进行人脸特征提取从而制成N个所述人脸模板特征集；

其中，所述人脸数据集为预先建立，同一所述人脸数据集中所有的所述人脸图片对应同一个人；所述人脸图片已预先标注身份；同一所述人脸模板特征集中的所述人脸模板特征为通过同一种所述人脸识别算法提取的。

进一步地，所述获取至少一个待标注人脸图片包括:

通过多人脸同时追踪技术从连续视频帧中追踪到至少表示一个人的若干人脸框；

通过对所述人脸框进行裁剪，从而获取若干所述待标注人脸图片；

将获取的表示同一个人的所述待标注人脸图片归入同一所述待标注人脸图片集，从而获取所述待标注人脸图片集。

随机抽取所述待标注人脸图片集的中预设比例的若干所述待标注人脸图片，人工确认从同一所述待标注人脸图片集中抽取的所述待标注人脸图片是否表示同一个人。

优选地，所述通过多人脸同时追踪技术从连续视频帧中追踪到至少表示一个人的若干人脸框包括:

在连续视频帧中，每隔一定的帧数选取一帧视频帧进行人脸检测；当检测到人脸时，则

应用开源库dlib18.18中的物体追踪功能将所述检测到的人脸设为被追踪的物体，对其余所述视频帧进行物体追踪，从而获得获取若干人脸框。

作为本发明的优选实施方式，先通过一帧能检测到人脸的视频帧提取为被追踪物体，然后通过物体追踪技术获取若干视频帧中的人脸框来组成待标注人脸图片集，该方式能确保组成该人脸图片集的图片均代表同一个人。

所述对于每一所述人脸特征，在对应人脸识别算法的预设的人脸模板特征集中进行检索识别，从而获得所述人脸特征的第一身份和对应的置信度包括

对于每一所述人脸特征，计算每一所述人脸特征与对应所述人脸识别算法的预设的所述人脸模板特征集中的每一人脸模板特征的欧几里得距离；

对于每一所述人脸特征，选取计算所得的所述欧几里得距离中距离最小的所述人脸模板特征的身份作为所述人脸特征的所述第一身份；并

通过下述公式计算所述第一身份的置信度：

其中，X表示所述置信度，X的取值范围为0≤X≤1；L表示所述欧几里得距离。

优选地，所述选取所述待标注人脸图片的有效第二身份包括:

对于每一抽取的所述待标注人脸图片，判定对应的所述人脸特征中具有所述有效第一身份的人脸特征所占的第一比例值超过预设的第一比例阈值的所述待标注人脸图片为可识别的待标注人脸图片，否则为不可识别的人脸图片；

对于可识别的待标注人脸图片，选取所述有效第一身份中表示同一个人最多的所述有效第一身份为所述可识别的待标注人脸图片的第二身份，并判定在所述有效第一身份中所占的第二比例值超过预设第二比例阈值的所述第二身份为有效第二身份。

作为优选实施方式，本发明先依据每一所述待标注人脸图片的人脸识别结果中有超过预设第一比例阈值的有效第一身份来确定该人脸在当前的数据库中，可以进一步进行识别，识别准确度更高，且该预设的第一比例阈值可以根据不同的视频拍摄场景和不同的算法进行适当调整，使本发明能适用更多的场景，且针对性强，识别度高。

优选地，所述选取所述待标注人脸图片集的最终身份包括:

对于每一所述待标注人脸图片集，判定对应抽取的所述待标注人脸图片中具有所述有效第二身份的待标注人脸图片所占的第三比例值超过预设的第三比例阈值的所述待标注人脸图片集为可识别的待标注人脸图片集，否则为不可识别的待标注人脸图片集；

对于每一所述可识别的待标注人脸图片集，选取所述有效第二身份中表示同一个人最多的所述有效第二身份为所述待标注人脸图片集的第三身份，并判定在所述有效第二身份中所占的第四比例值超过预设第四比例阈值的所述第三身份为最终身份。

优选地，所述选取所述待标注人脸图片集的最终身份还包括对于每一所述不可识别的待标注人脸图片集，对应创建新的所述人脸数据集，将所述不可识别的待标注人脸图片集中的所述待标注人脸图片进行新的身份的标注并加入到所述新的人脸数据集中；并随机抽取一张人脸图片，采用N种所述人脸识别算法对抽取的所述人脸图片进行人脸特征提取，并将所述提取的人脸特征加入对应人脸识别算法的所述人脸模板特征集中。

作为本发明的优选实施方式，对于所述不可识别的待标注人脸图片集处理方式，能够增加人脸数据集的数据，使本人脸识别方法扩展性强。

进一步地，所述选取所述待标注人脸图片集的最终身份还包括:

判定在所述有效第二身份中所占的第四比例值不超过预设第四比例阈值的所述第三身份为无效的第三身份；对于所述第三身份被判定为无效的所述待标注人脸图片集，舍弃对应的所有待标注人脸图片；或，对于所述第三身份被判定为无效的所述待标注人脸图片集，重新执行所述从每一所述待标注人脸图片集中抽取预置数量的所述待标注人脸图片的步骤。

进一步地，所述人脸图片的身份标注方法还包括:

将标注有最终身份的所述待标注人脸图片集加入到对应身份的所述人脸数据集中。

相应地，本发明还提供一种人脸图片的身份标注装置，包括

待标注图片集获取单元，用于获取至少一个待标注人脸图片集；其中，每一所述待标注人脸图片集包括若干表示同一个人的待标注人脸图片；

人脸特征提取单元，用于从每一所述待标注人脸图片集中抽取预置数量的所述待标注人脸图片，并采用N种预设人脸识别算法对每一抽取的所述待标注人脸图片提取人脸特征；其中，N为整数，且N≥2；

有效第一身份获取单元，用于对于每一所述人脸特征，在对应人脸识别算法的预设的人脸模板特征集中进行检索识别，从而获得所述人脸特征的第一身份和对应的置信度，并判定所述置信度超过预设置信度阈值的所述第一身份为有效第一身份；

有效第二身份获取单元，用于选取所述待标注人脸图片的有效第二身份；其中，所述有效第二身份为选取在所述有效第一身份中所占的第二比例值超过预设第二比例阈值的第二身份，所述第二身份为选取在所述有效第一身份中表示同一个人最多的有效第一身份；

最终身份获取单元，用于选取所述待标注人脸图片集的最终身份；其中，所述最终身份为选取在所述有效第二身份中所占的第四比例值超过预设第四比例阈值的第三身份，所述第三身份为选取所述有效第二身份中表示同一人最多的所述有效第二身份；

身份标注单元，用于根据所述最终身份，对每一具有所述最终身份的所述可识别的待标注人脸图片集中的所有待标注人脸图片进行身份的标注；

其中，当预设所述人脸模板特征集时，所述装置具体用于：

采用N种所述预设人脸识别算法对若干人脸数据集中所分别随机抽取的一张人脸图片进行人脸特征提取从而制成N个所述人脸模板特征集；其中，所述人脸数据集为预先建立，同一所述人脸数据集中所有的所述人脸图片对应同一个人；所述人脸图片已预先标注身份；同一所述人脸模板特征集中的所述人脸模板特征为通过同一种所述人脸识别算法提取的。

与现有技术相比，本发明提供的一种人脸图片的身份标注装置，通过待标注图片集获取单元获取待标注人脸图片集，人脸特征提取单元利用N种预设人脸识别算法对从每一待标注人脸图片集中抽取的若干待标注人脸图片进行人脸特征的提取；接着有效第一身份获取单元获取人脸特征集的有效身份，有效第二身份获取单元获取待标注人脸图片的有效身份；最终身份获取单元获取待标注人脸图片集的有效身份；最后，由身份标注单元根据最终身份对待标注人脸图片集进行身份的标注。采用多图片多算法的人脸识别投票策略，运用多种通用算法和多种特定算法对人脸图片进行识别，相比于单一算法，其结果的准确率和置信度都会大大提高；此外，本发明的最终识别结果有利于扩展识别数据集。

附图说明

图1是本发明提供的一种人脸图片的身份标注方法的优选实施例一的主要步骤流程图；

图2是本发明提供的一种人脸图片的身份标注方法的优选实施例一的流程框图；

图3是本发明提供的一种人脸图片的身份标注方法的优选实施例二的主要步骤流程图；

图4是本发明提供的一种人脸图片的身份标注方法的优选实施例二的流程框图；

图5是本发明提供的一种人脸图片的身份标注装置的实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

优选实施例一

参见图1和图2，图1是本发明提供的一种人脸图片的身份标注方法的优选实施例一的主要步骤流程图，图2是本发明提供的一种人脸图片的身份标注方法的优选实施例一的流程框图。

本优选实施例一具体包括以下步骤：

S11、获取至少一个待标注人脸图片集；其中，每一待标注人脸图片集包括若干表示同一个人的待标注人脸图片；

S12、从每一待标注人脸图片集中随机抽取预置数量的待标注人脸图片；采用N种预设人脸识别算法对每一抽取的待标注人脸图片提取人脸特征；其中，N为整数，且N≥2；

S13、对于提取的每一人脸特征，在对应人脸识别算法的预设的人脸模板特征集中进行检索识别，从而获得与人脸特征相匹配的第一身份和对应的置信度，并判定置信度超过预设置信度阈值的所述第一身份为有效第一身份；

S14、选取待标注人脸图片的有效第二身份；其中，有效第二身份为选取在有效第一身份中所占的第二比例值超过预设第二比例阈值的第二身份，第二身份为选取在有效第一身份中表示同一个人最多的有效第一身份；

S15、选取待标注人脸图片集的最终身份；其中，最终身份为选取在有效第二身份中所占的第四比例值超过预设第四比例阈值的第三身份，第三身份为选取有效第二身份中表示同一人最多的有效第二身份；

S16、根据最终身份，对每一具有最终身份的可识别的待标注人脸图片集中的所有待标注人脸图片进行身份的标注。

本优选实施例一中的预设的人脸模板特征集为通过预设步骤S0建立，步骤S0包括以下步骤：

从若干人脸数据集中分别随机抽取的一张人脸图片，采用N种人脸识别算法，对每一人脸图片提取人脸特征从而制成N个人脸模板特征集；同一人脸模板特征集中的人脸模板特征为通过同一种人脸识别算法提取的。

其中，同一人脸数据集中所有的人脸图片对应同一个人；每一人脸数据集的人脸图片为已预先标注身份，无需进行标注工作；此处N种人脸算法的算法种类和数量不做限定。

具体地，步骤S11包括以下步骤：

S111、通过多人脸同时追踪技术从连续视频帧中追踪到至少表示一个人的若干人脸框；

S112、通过对人脸框进行裁剪，从而获取若干待标注人脸图片；

具体的裁剪方法：对检测到的人脸框的周边区域进行扩充，使检测到的人脸框扩充为预设人脸框，然后对扩充后的人脸框进行裁剪，从而获取若干待标注人脸图片；其中，若扩充时遇到图片边界，则扩充到图片边界即可。

S113、将获取的表示同一个人的待标注人脸图片归入同一待标注人脸图片集，从而获取待标注人脸图片集。

S114、随机抽取待标注人脸图片集的中预设比例的若干待标注人脸图片，人工确认从同一待标注人脸图片集中抽取的待标注人脸图片是否表示同一个人。

其中，步骤S111具体包括以下步骤：

S1111、在连续视频帧中，每隔预设的帧数选取一帧视频帧进行人脸检测；当检测到人脸时，则

S1112、应用开源库dlib18.18中的物体追踪功能将检测到的人脸设为被追踪的物体，对其余视频帧进行物体追踪，从而获得获取若干人脸框。

为保证对每一帧图片可能出现的多张人脸均进行检测，步骤S1112中采用的物体追踪功能为多人脸同时追踪。

具体地，步骤S13具体包括以下步骤：

S131、将所提取的每一人脸特征与对应人脸识别算法的预设的人脸模板特征集中的每一人脸模板特征进行比对以求得欧几里得距离；

S132、对于每一人脸特征，选取计算所得的欧几里得距离中距离最小的人脸模板特征的身份作为人脸特征的第一身份；并

S133、通过下述公式计算第一身份对应的置信度：

其中，X表示置信度，X的取值范围为0≤X≤1；L表示欧几里得距离；欧几里得距离L越小，则表示人脸特征与第一身份的匹配度越高。

在步骤S15中还包括：对于在有效第二身份中所占的第四比例值不超过预设第四比例阈值的第三身份判定为无效的第三身份，即认为该待标注人脸图片集被识别为不同的人，本优选实施例采取以下两种策略对于该待标注人脸图片集进行处理：第一种是舍弃对应的所有待标注人脸图片；第二种是对于第三身份被判定为无效的待标注人脸图片集，重复执行步骤S12～步骤S16；在再次执行步骤S12中的抽取待标注人脸图片集的待标注人脸图片，可以排除之前已抽取过的待标注人脸图片。

具体实施时，先从获取的待标注人脸图片集中抽取若干待标注人脸图片，运用多种人脸识别算法识别待标注人脸图片的人脸特征，识别提取的人脸特征的身份并判断识别结果是否有效，基于人脸特征的识别结果通过投票策略选取抽取的待标注人脸图片对应的身份并判断是否有效，基于抽取的待标注人脸图片的识别结果通过投票策略选取待标注人脸图片集对应的身份并判断是否有效，根据待标注人脸图片集的有效的识别身份对待标注人脸图片集标注身份。

本发明提供的一种人脸图片的身份标注方法，采用多图片多算法的人脸识别投票策略，运用多种通用算法和多种特定算法对人脸图片进行识别，通用算法保证了识别结果的有限的一定的准确率，而那些图片所在的场景的特定算法的识别结果在准确率和置信度方面都对通用算法的识别结果有了修复性的提高，相比于单一算法，其结果的准确率和置信度都会大大提高。

优选实施例二

参见图3和图4，图3是本发明提供的一种人脸图片的身份标注方法的优选实施例二的主要步骤的流程图，图4是本发明提供的一种人脸图片的身份标注方法的优选实施例二的流程框图。

本优选实施例二具体包括以下步骤：

S21、获取至少一个待标注人脸图片集；其中，每一待标注人脸图片集包括若干表示同一个人的待标注人脸图片；

S22、从每一待标注人脸图片集中随机抽取预置数量的待标注人脸图片；采用N种预设人脸识别算法对每一抽取的待标注人脸图片提取人脸特征；其中，N为整数，且N≥2；

S23、对于提取的每一人脸特征，在对应人脸识别算法的预设的人脸模板特征集中进行检索识别，从而获得与人脸特征相匹配的第一身份和对应的置信度，并判定置信度超过预设置信度阈值的第一身份为有效第一身份；

S24、对于每一抽取的待标注人脸图片，判定对应的人脸特征中具有有效第一身份的人脸特征所占的第一比例值超过预设的第一比例阈值的待标注人脸图片为可识别的待标注人脸图片，否则为不可识别的人脸图片；

S25、对于每一可识别的待标注人脸图片，选取有效第一身份中表示同一个人最多的有效第一身份为待标注人脸图片的第二身份，并判定在有效第一身份中所占的第二比例值超过预设第二比例阈值的第二身份为有效第二身份；

S26、对于每一待标注人脸图片集，判定对应抽取的待标注人脸图片中具有有效第二身份的待标注人脸图片所占的第三比例值超过预设的第三比例阈值的待标注人脸图片集为可识别的待标注人脸图片集，否则为不可识别的人脸图片集；

S27、对于每一可识别的待标注人脸图片集，选取有效第二身份中表示同一个人最多的有效第二身份为待标注人脸图片集的第三身份，并判定在有效第二身份中所占的第四比例值超过预设第四比例阈值的第三身份为最终身份；

S28、根据最终身份，对每一具有最终身份的可识别的待标注人脸图片集中的所有待标注人脸图片进行身份的标注；

S29、将标注有最终身份的待标注人脸图片集加入到对应身份的人脸数据集中。

本优选实施例二中的预设的人脸模板特征集为通过预设步骤S0建立，步骤S0包括以下步骤：

从若干人脸数据集中分别随机抽取的一张人脸图片，采用N种人脸识别算法，对每一人脸图片提取人脸特征从而制成N个人脸模板特征集；同一人脸模板特征集中的人脸模板特征为通过同一种人脸识别算法提取的。

其中，同一人脸数据集中所有的人脸图片对应同一个人；每一人脸数据集的人脸图片为已预先标注身份，无需进行标注工作；此处N种人脸算法种类和数量不做限定。

具体地，步骤S21包括以下步骤：

S211、通过多人脸同时追踪技术从连续视频帧中追踪到至少表示一个人的若干人脸框；

S212、通过对人脸框进行裁剪，从而获取若干待标注人脸图片；

具体的裁剪方法：对检测到的人脸框的周边区域进行扩充，使检测到的人脸框扩充为预设人脸框，然后对扩充后的人脸框进行裁剪，从而获取若干待标注人脸图片；其中，若扩充时遇到图片边界，则扩充到图片边界即可。

S213、将获取的表示同一个人的待标注人脸图片归入同一待标注人脸图片集，从而获取待标注人脸图片集。

S214、随机抽取待标注人脸图片集的中预设比例的若干待标注人脸图片，人工确认从同一待标注人脸图片集中抽取的待标注人脸图片是否表示同一个人。

其中，步骤S211具体包括以下步骤：

S2111、在连续视频帧中，每隔预设的帧数选取一帧视频帧进行人脸检测；当检测到人脸时，则

S2112、应用开源库dlib18.18中的物体追踪功能将检测到的人脸设为被追踪的物体，对其余视频帧进行物体追踪，从而获得获取若干人脸框。

为保证对每一帧图片可能出现的多张人脸均进行检测，步骤S2112中采用的物体追踪功能为多人脸同时追踪。

具体地，步骤S23具体包括以下步骤：

S231、将所提取的每一人脸特征与对应人脸识别算法的预设的人脸模板特征集中的每一人脸模板特征进行比对以求得欧几里得距离；

S232、对于每一人脸特征，选取计算所得的欧几里得距离中距离最小的人脸模板特征的身份作为人脸特征的第一身份；并

S233、通过下述公式计算第一身份对应的置信度：

其中，X表示置信度，X的取值范围为0≤X≤1；L表示欧几里得距离；欧几里得距离L越小，则表示人脸特征与第一身份的匹配度越高。

在具体实施时，步骤S24中的预设的第一比例阈值，按照经验调整确定的，不同的视频拍摄场景和不同的算法所预设的第一比例阈值是不同的。

在步骤S26中还包括对于不可识别的待标注人脸图片集的处理步骤，具体包括：创建新的人脸数据集，将不可识别的待标注人脸图片集中的待标注人脸图片进行新的身份的标注并加入到新的人脸数据集中；并随机抽取一张人脸图片，采用N种人脸识别算法对抽取的人脸图片进行人脸特征提取，并将提取的人脸特征加入对应人脸识别算法的人脸模板特征集中。

在步骤S26中还包括：对于在有效第二身份中所占的第四比例值不超过预设第四比例阈值的第三身份判定为无效的第三身份，即认为该待标注人脸图片集被识别为不同的人，本优选实施例采取以下两种策略对于该待标注人脸图片集进行处理：第一种是舍弃对应的所有待标注人脸图片；第二种是对于第三身份被判定为无效的待标注人脸图片集，重复执行步骤S22～步骤S29；在再次执行步骤S22中的抽取待标注人脸图片集的待标注人脸图片，可以排除之前已抽取过的待标注人脸图片。

对于步骤S28中，对具有最终身份的可识别的待标注人脸图片集的所有待标注人脸图片都标注最终身份，包括待标注人脸图片集中不可识别的待标注人脸图片和识别的第二身份无效的待标注人脸图片，以丰富该身份的不同姿态的人脸图片。

具体实施时，先从获取的待标注人脸图片集中抽取若干待标注人脸图片，运用多种人脸识别算法识别待标注人脸图片的人脸特征，识别提取的人脸特征的身份并判断识别结果是否有效，基于人脸特征的识别结果通过投票策略选取抽取的待标注人脸图片对应的身份并判断是否有效，基于抽取的待标注人脸图片的识别结果通过投票策略选取待标注人脸图片集对应的身份并判断是否有效，根据待标注人脸图片集的有效的识别身份对待标注人脸图片集标注身份，并将该人脸图片集的所有人脸图片加入对应身份的人脸数据集，以扩展人脸数据集的数据。

本发明提供的一种人脸图片的身份标注方法，采用多图片多算法的人脸识别投票策略，运用多种通用算法和多种特定算法对人脸图片进行识别，通用算法保证了识别结果的有限的一定的准确率，而那些图片所在的场景的特定算法的识别结果在准确率和置信度方面都对通用算法的识别结果有了修复性的提高，相比于单一算法，其结果的准确率和置信度都会大大提高。

本发明提供一种人脸图片身份标注装置提供的实施例，参见图5，图5为本实施例的结构示意图，本实施例包括：

待标注图片集获取单元1，用于获取至少一个待标注人脸图片集；其中，每一待标注人脸图片集包括若干表示同一个人的待标注人脸图片；

人脸特征提取单元2，用于从每一待标注人脸图片集中抽取预置数量的待标注人脸图片，并采用N种预设人脸识别算法对每一抽取的待标注人脸图片提取人脸特征；其中，N为整数，且N≥2；

有效第一身份获取单元3，用于对于每一人脸特征，在对应人脸识别算法的预设的人脸模板特征集中进行检索识别，从而获得人脸特征的第一身份和对应的置信度，并判定置信度超过预设置信度阈值的第一身份为有效第一身份；

有效第二身份获取单元4，用于选取待标注人脸图片的有效第二身份；其中，所述有效第二身份为选取在所述有效第一身份中所占的第二比例值超过预设第二比例阈值的第二身份，所述第二身份为选取在所述有效第一身份中表示同一个人最多的有效第一身份；

最终身份获取单元5，用于选取待标注人脸图片集的最终身份；其中，所述最终身份为选取在所述有效第二身份中所占的第四比例值超过预设第四比例阈值的第三身份，所述第三身份为选取所述有效第二身份中表示同一人最多的所述有效第二身份；

身份标注单元6，用于根据最终身份，对每一具有最终身份的可识别的待标注人脸图片集中的所有待标注人脸图片进行身份的标注。

具体实施时，首先，通过待标注图片集1获取单元获取待标注人脸图片集，人脸特征提取单元2利用N种预设人脸识别算法对从每一待标注人脸图片集中抽取的若干待标注人脸图片进行人脸特征的提取；接着，有效第一身份获取单元3获取人脸特征集的有效身份，有效第二身份获取单元4获取待标注人脸图片的有效身份；最终身份获取单元5获取待标注人脸图片集的有效身份；最后，由身份标注单元6根据最终身份对待标注人脸图片集进行身份的标注。

本实施例采用多图片多算法的人脸识别投票策略，运用多种通用算法和多种特定算法对人脸图片进行识别，相比于单一算法，其结果的准确率和置信度都会大大提高；此外，本实施例的最终识别结果有利于扩展识别数据集。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变形，这些改进和变形也视为本发明的保护范围。

Claims (10)

1.一种人脸图片的身份标注方法，其特征在于，包括：

获取至少一个待标注人脸图片集；其中，每一所述待标注人脸图片集包括若干表示同一个人的待标注人脸图片；

从每一所述待标注人脸图片集中抽取预置数量的所述待标注人脸图片；采用N种预设人脸识别算法对每一抽取的所述待标注人脸图片提取人脸特征；其中，N为整数，且N≥2；

对于每一所述人脸特征，在对应人脸识别算法的预设的人脸模板特征集中进行检索识别，从而获得所述人脸特征的第一身份和对应的置信度，并判定所述置信度超过预设置信度阈值的所述第一身份为有效第一身份；

选取所述待标注人脸图片的有效第二身份；其中，所述有效第二身份为选取在所述有效第一身份中所占的第二比例值超过预设第二比例阈值的第二身份，所述第二身份为选取在所述有效第一身份中表示同一个人最多的有效第一身份；

选取所述待标注人脸图片集的最终身份；其中，所述最终身份为选取在所述有效第二身份中所占的第四比例值超过预设第四比例阈值的第三身份，所述第三身份为选取所述有效第二身份中表示同一人最多的所述有效第二身份；

根据所述最终身份，对每一具有所述最终身份的可识别的待标注人脸图片集中的所有待标注人脸图片进行身份的标注；

其中，所述人脸图片的身份标注方法还包括预设所述人脸模板特征集，所述预设人脸模板特征集包括：

采用N种所述预设人脸识别算法对若干人脸数据集中所分别随机抽取的一张人脸图片进行人脸特征提取从而制成N个所述人脸模板特征集；其中，所述人脸数据集为预先建立，同一所述人脸数据集中所有的所述人脸图片对应同一个人；所述人脸图片已预先标注身份；同一所述人脸模板特征集中的所述人脸模板特征为通过同一种所述人脸识别算法提取的。

2.如权利要求1所述的人脸图片的身份标注方法，其特征在于，所述获取至少一个待标注人脸图片集包括:

通过多人脸同时追踪技术从连续视频帧中追踪到至少表示一个人的若干人脸框；

通过对所述人脸框进行裁剪，从而获取若干所述待标注人脸图片；

将获取的表示同一个人的所述待标注人脸图片归入同一所述待标注人脸图片集，从而获取至少一个所述待标注人脸图片集；

随机抽取所述待标注人脸图片集的中预设比例的若干所述待标注人脸图片，人工确认从同一所述待标注人脸图片集中抽取的所述待标注人脸图片是否表示同一个人。

3.如权利要求2所述的人脸图片的身份标注方法，其特征在于，所述通过多人脸同时追踪技术从连续视频帧中追踪到至少表示一个人的若干人脸框包括：

在连续视频帧中，每隔一定的帧数选取一帧视频帧进行人脸检测；当检测到人脸时，则

应用开源库dlib18.18中的物体追踪功能将所述检测到的人脸设为被追踪的物体，对其余所述视频帧进行物体追踪，从而获得获取若干人脸框。

4.如权利要求1所述的人脸图片的身份标注方法，其特征在于，所述对于每一所述人脸特征，在对应人脸识别算法的预设的人脸模板特征集中进行检索识别，从而获得所述人脸特征的第一身份和对应的置信度包括:

对于每一所述人脸特征，计算每一所述人脸特征与对应所述人脸识别算法的预设的所述人脸模板特征集中的每一人脸模板特征的欧几里得距离；

对于每一所述人脸特征，选取计算所得的所述欧几里得距离中距离最小的所述人脸模板特征的身份作为所述人脸特征的所述第一身份；并

通过下述公式计算所述第一身份的置信度：

其中，X表示所述置信度，X的取值范围为0≤X≤1；L表示所述欧几里得距离。

5.如权利要求1所述的人脸图片的身份标注方法，其特征在于，所述选取所述待标注人脸图片的有效第二身份包括:

对于每一抽取的所述待标注人脸图片，判定对应的所述人脸特征中具有所述有效第一身份的人脸特征所占的第一比例值超过预设的第一比例阈值的所述待标注人脸图片为可识别的待标注人脸图片，否则为不可识别的人脸图片；

对于可识别的待标注人脸图片，选取所述有效第一身份中表示同一个人最多的所述有效第一身份为所述可识别的待标注人脸图片的第二身份，并判定在所述有效第一身份中所占的第二比例值超过预设第二比例阈值的所述第二身份为有效第二身份。

6.如权利要求1所述的人脸图片的身份标注方法，其特征在于，所述选取所述待标注人脸图片集的最终身份包括:

对于每一所述待标注人脸图片集，判定对应抽取的所述待标注人脸图片中具有所述有效第二身份的待标注人脸图片所占的第三比例值超过预设的第三比例阈值的所述待标注人脸图片集为可识别的待标注人脸图片集，否则为不可识别的待标注人脸图片集；

对于每一所述可识别的待标注人脸图片集，选取所述有效第二身份中表示同一个人最多的所述有效第二身份为所述待标注人脸图片集的第三身份，并判定在所述有效第二身份中所占的第四比例值超过预设第四比例阈值的所述第三身份为最终身份。

7.如权利要求6所述的人脸图片的身份标注方法，其特征在于，所述选取所述待标注人脸图片集的最终身份还包括:

对于每一所述不可识别的待标注人脸图片集，对应创建新的所述人脸数据集，将所述不可识别的待标注人脸图片集中的所述待标注人脸图片进行新的身份的标注并加入到所述新的人脸数据集中；并随机抽取一张人脸图片，采用N种所述人脸识别算法对抽取的所述人脸图片进行人脸特征提取，并将所述提取的人脸特征加入对应人脸识别算法的所述人脸模板特征集中。

8.如权利要求1所述的人脸图片的身份标注方法，其特征在于，所述选取所述待标注人脸图片集的最终身份还包括:

判定在所述有效第二身份中所占的第四比例值不超过预设第四比例阈值的所述第三身份为无效的第三身份；对于所述第三身份被判定为无效的所述待标注人脸图片集，舍弃对应的所有待标注人脸图片；或，对于所述第三身份被判定为无效的所述待标注人脸图片集，重新执行所述从每一所述待标注人脸图片集中抽取预置数量的所述待标注人脸图片的步骤。

9.如权利要求1所述的人脸图片的身份标注方法，其特征在于，所述人脸图片的身份标注方法还包括：

将标注有最终身份的所述待标注人脸图片集加入到对应身份的所述人脸数据集中。

10.一种人脸图片的身份标注装置，其特征在于，包括:

待标注图片集获取单元，用于获取至少一个待标注人脸图片集；其中，每一所述待标注人脸图片集包括若干表示同一个人的待标注人脸图片；

人脸特征提取单元，用于从每一所述待标注人脸图片集中抽取预置数量的所述待标注人脸图片，并采用N种预设人脸识别算法对每一抽取的所述待标注人脸图片提取人脸特征；其中，N为整数，且N≥2；

有效第一身份获取单元，用于对于每一所述人脸特征，在对应人脸识别算法的预设的人脸模板特征集中进行检索识别，从而获得所述人脸特征的第一身份和对应的置信度，并判定所述置信度超过预设置信度阈值的所述第一身份为有效第一身份；

有效第二身份获取单元，用于选取所述待标注人脸图片的有效第二身份；其中，所述有效第二身份为选取在所述有效第一身份中所占的第二比例值超过预设第二比例阈值的第二身份，所述第二身份为在所述有效第一身份中表示同一个人最多的有效第一身份；

最终身份获取单元，用于选取所述待标注人脸图片集的最终身份；其中，所述最终身份为选取在所述有效第二身份中所占的第四比例值超过预设第四比例阈值的第三身份，所述第三身份为选取所述有效第二身份中表示同一人最多的所述有效第二身份；

身份标注单元，用于根据所述最终身份，对每一具有所述最终身份的可识别的待标注人脸图片集中的所有待标注人脸图片进行身份的标注；

其中，当预设所述人脸模板特征集时，所述装置具体用于：

采用N种所述预设人脸识别算法对若干人脸数据集中所分别随机抽取的一张人脸图片进行人脸特征提取从而制成N个所述人脸模板特征集；其中，所述人脸数据集为预先建立，同一所述人脸数据集中所有的所述人脸图片对应同一个人；所述人脸图片已预先标注身份；同一所述人脸模板特征集中的所述人脸模板特征为通过同一种所述人脸识别算法提取的。