CN111160221A - 一种人脸采集方法及相关装置 - Google Patents

Abstract

本申请提供了一种人脸采集方法及相关装置。所述方法包括：检测视频帧数据中的第一人脸；评估第一人脸的质量；当第一人脸的质量不小于第一质量阈值时，获取第一人脸的属性，第一人脸的属性包括第一人脸的特征；根据第一人脸的属性确定人脸库中与第一人脸满足预设关系的第一人脸集，第一人脸集包括N个人脸中每个人脸的属性，N个人脸中每个人脸的属性包括N个人脸中每个人脸的特征，N为正整数；将第一人脸的特征与N个人脸中每个人脸的特征进行对比，以确定N个人脸中与第一人脸匹配的第二人脸；将第一人脸的属性和第二人脸的属性合并存储在人脸库中。本申请实施例的技术方案，降低了监控场景下人脸采集的重复率。

Description

一种人脸采集方法及相关装置

技术领域

本申请涉及人脸识别技术领域，具体涉及一种人脸采集方法及相关装置。

背景技术

近年来，以人脸识别为主的生物特征识别技术广泛地应用于日常生活中。在实际监控场景下，可以通过摄像头对区域内的用户进行拍摄和识别。

目前，在监控场景下，获取区域内的视频数据，进行人脸检测。当检测到人脸时，对该人脸进行跟踪，通过对该人脸进行持续跟踪和分析，可以采集到满足质量要求的人脸。但是，视频数据中可能会出现人脸被遮挡的情况，导致该人脸被重新检测和跟踪，从而导致相同的人脸被多次采集，这样，监控场景下人脸采集的重复率较高。

发明内容

本申请实施例提供一种人脸采集方法及相关装置，以降低监控场景下人脸采集的重复率。

本申请第一方面提供一种人脸采集方法，所述方法包括：

检测视频帧数据中的第一人脸；

评估所述第一人脸的质量；

当所述第一人脸的质量不小于第一质量阈值时，获取所述第一人脸的属性，所述第一人脸的属性包括所述第一人脸的特征；

根据所述第一人脸的属性确定人脸库中与所述第一人脸满足预设关系的第一人脸集，所述第一人脸集包括N个人脸中每个人脸的属性，所述N个人脸中每个人脸的属性包括所述N个人脸中每个人脸的特征，N为正整数；

将所述第一人脸的特征与所述N个人脸中每个人脸的特征进行对比，以确定所述N个人脸中与所述第一人脸匹配的第二人脸；

将所述第一人脸的属性和所述第二人脸的属性合并存储在所述人脸库中。

本申请第二方面提供了一种人脸采集装置，所述装置包括：

检测单元，用于检测视频帧数据中的第一人脸；

评估单元，用于评估所述第一人脸的质量；

获取单元，用于当所述第一人脸的质量不小于第一质量阈值时，获取所述第一人脸的属性，所述第一人脸的属性包括所述第一人脸的特征；

确定单元，用于根据所述第一人脸的属性确定人脸库中与所述第一人脸满足预设关系的第一人脸集，所述第一人脸集包括N个人脸中每个人脸的属性，所述N个人脸中每个人脸的属性包括所述N个人脸中每个人脸的特征，N为正整数；

对比单元，用于将所述第一人脸的特征与所述N个人脸中每个人脸的特征进行对比，以确定所述N个人脸中与所述第一人脸匹配的第二人脸；

存储单元，用于将所述第一人脸的属性和所述第二人脸的属性合并存储在所述人脸库中。

本申请第三方面提供了一种电子设备，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行本申请第一方面任一方法中的步骤的指令。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行，以实现本申请第一方面任一方法中的部分或全部步骤。

可以看到，通过本申请提出的人脸采集方法及相关装置，检测视频帧数据中的第一人脸，评估第一人脸的质量。其次，当第一人脸的质量不小于第一质量阈值时，获取第一人脸的属性，第一人脸的属性包括第一人脸的特征。其次根据第一人脸的属性确定人脸库中与第一人脸满足预设关系的第一人脸集，第一人脸集包括N个人脸中每个人脸的属性，N个人脸中每个人脸的属性包括N个人脸中每个人脸的特征，N为正整数。其次，将第一人脸的特征与N个人脸中每个人脸的特征进行对比，以确定N个人脸中与第一人脸匹配的第二人脸。最后，将第一人脸的属性和第二人脸的属性合并存储在人脸库中。这样，在监控场景下，通过对获取到的视频帧数据中的人脸进行检测和跟踪，可以采集人脸信息。当视频帧数据中的人脸被遮挡时，获取该人脸的属性，根据该人脸的属性确定满足预设关系的人脸集，即确定之前采集的可能与该人脸相同的人脸，其次，将该人脸的特征与人脸集中每个人脸的特征进行对比，从而确定之前采集的与该人脸相同的人脸，最后，合并存储该人脸和之前采集的相同人脸，可以降低监控场景下人脸采集的重复率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种人脸采集系统的示意图；

图2为本申请实施例提供的一种人脸采集方法的流程示意图；

图3为本申请实施例提供的另一种人脸采集方法的流程示意图；

图4a为本申请实施例提供的一种视频帧的示意图；

图4b为本申请实施例提供的另一种视频帧的示意图；

图5为本申请实施例提供的一种人脸采集装置的示意图；

图6为本申请实施例涉及的硬件运行环境的电子设备结构示意图。

具体实施方式

本申请实施例提供人脸采集方法及相关装置，以降低监控场景下人脸采集的重复率。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面对本申请实施例进行详细介绍。

首先参见图1，图1为本申请的一个实施例提供的一种人脸采集系统的示意图。如图1所示，人脸采集系统100包括目标检测模块101和人脸去重模块102。其中，视频帧数据输入目标检测模块101，人脸去重模块102包括特征提取模块1021、时空信息处理模块1022和重复判决模块1023。

具体的，视频帧数据输入目标检测模块101，目标检测模块101检测视频帧数据中的第一人脸；目标检测模块101评估所述第一人脸的质量；当所述第一人脸的质量不小于第一质量阈值时，目标检测模块101获取所述第一人脸的部分属性；目标检测模块101将视频帧和所述第一人脸的部分属性输入特征提取模块1021。

特征提取模块1021提取所述视频帧中的所述第一人脸的特征，从而得到所述第一人脸的属性，所述第一人脸的属性包括目标检测模块101输入特征提取模块1021的所述第一人脸的部分属性和所述第一人脸的特征；特征提取模块1021将所述第一人脸的属性输入时空信息处理模块1022。

时空信息处理模块1022根据所述第一人脸的属性确定人脸库中与所述第一人脸满足预设关系的第一人脸集，所述第一人脸集包括N个人脸中每个人脸的属性，所述N个人脸中每个人脸的属性包括所述N个人脸中每个人脸的特征，N为正整数；时空信息处理模块1022将所述第一人脸的属性和所述N个人脸中每个人脸的属性输入重复判决模块1023；

重复判决模块1023将所述第一人脸的特征与所述N个人脸中每个人脸的特征进行对比，以确定所述N个人脸中与所述第一人脸匹配的第二人脸；重复判决模块1023将所述第一人脸的属性和所述第二人脸的属性合并存储在所述人脸库中。

可以看到，通过本申请提出的人脸采集系统，在监控场景下，通过对获取到的视频帧数据中的人脸进行检测和跟踪，可以采集人脸信息。当视频帧数据中的人脸被遮挡时，获取该人脸的属性，根据该人脸的属性确定满足预设关系的人脸集，即确定之前采集的可能与该人脸相同的人脸，其次，将该人脸的特征与人脸集中每个人脸的特征进行对比，从而确定之前采集的与该人脸相同的人脸，最后，合并存储该人脸和之前采集的相同人脸，可以降低监控场景下人脸采集的重复率。

参见图2，图2为本申请的一个实施例提供的一种人脸采集方法的流程示意图。其中，如图2所示，本申请实施例提供的一种人脸采集方法可以包括：

201、检测视频帧数据中的第一人脸。

具体的，在监控场景下，通过摄像头获取区域内的视频，得到视频帧数据。检测视频帧数据中的人脸，并且对检测到的人脸进行跟踪。当检测到视频帧数据中的第一人脸时，持续跟踪该第一人脸。

可选的，当检测到视频帧数据中的第一人脸时，对该第一人脸进行编号。具体的，在同一个视频帧中可能会检测到多个人脸，每检测到一个人脸就进行编号，以区分同一个视频帧中检测到的不同人脸。

202、评估所述第一人脸的质量。

当检测到视频帧数据中的第一人脸时，持续跟踪该第一人脸，并且，持续评估该第一人脸的质量。具体的，对于同一人脸而言，在不同视频帧中出现时，人脸质量可能不同。通过评估第一人脸的质量，可以保证第一人脸的质量符合后续对第一人脸进行处理的要求。

可选的，通过卷积神经网络(convolutional neural network，CNN)算法评估第一人脸的质量。

在评估人脸的质量时，人脸的质量受多个因素的影响，例如遮挡范围、模糊度范围、光照范围、姿态角度、人脸完整度、人脸大小等。举例来说，在视频帧中，当检测到的人脸未被遮挡时，人脸的质量相对较好，当检测到的人脸被遮挡时，人脸的质量相对较差。其中，人脸被遮挡可以是脸部的部位被遮挡，例如，左眼被遮挡、右眼被遮挡、鼻子被遮挡、嘴巴被遮挡、左脸颊被遮挡、右脸颊被遮挡、下巴被遮挡等，都会影响人脸的质量。

203、当所述第一人脸的质量不小于第一质量阈值时，获取所述第一人脸的属性，所述第一人脸的属性包括所述第一人脸的特征。

持续评估第一人脸的质量，判断第一人脸的质量与预设的第一质量阈值的大小关系。其中，第一人脸的质量体现为质量分值，通过判断第一人脸的质量与第一质量阈值的大小关系可以判断第一人脸的质量是否满足要求，以便于后续对第一人脸进行处理。

具体的，当第一人脸的质量不小于第一质量阈值时，确定第一人脸的质量满足要求，获取第一人脸的属性，其中，第一人脸的属性包括该第一人脸的特征。

可选的，第一人脸的属性还包括第一人脸对应的时间和第一人脸的坐标，其中，第一人脸对应的时间为第一人脸的时间属性，第一人脸的坐标为第一人脸的空间属性，第一人脸的特征为第一人脸的特征属性。第一人脸的属性用于后续查找之前采集到的并且与第一人脸相同的人脸。

可选的，第一人脸的属性还包括第一人脸的编号。具体的，在对视频帧数据进行人脸检测时，在同一个视频帧中可能会检测到多个人脸，每检测到一个人脸就进行编号，以区分同一个视频帧中检测到的不同人脸。

可选的，通过卷积神经网络算法提取第一人脸的特征。

204、根据所述第一人脸的属性确定人脸库中与所述第一人脸满足预设关系的第一人脸集，所述第一人脸集包括N个人脸中每个人脸的属性，所述N个人脸中每个人脸的属性包括所述N个人脸中每个人脸的特征，N为正整数。

其中，人脸库中存储了监控场景下采集到的全部人脸的属性，每个人脸的属性包括人脸的特征。

可选的，每个人脸的属性还包括人脸对应的时间和人脸的坐标，其中，人脸对应的时间为人脸的时间属性，人脸的坐标为人脸的空间属性，人脸的特征为人脸的特征属性。人脸库中全部人脸的属性用于后续在人脸库中查找之前采集到的并且与第一人脸相同的人脸。

获取第一人脸的属性后，根据第一人脸的属性确定人脸库中与第一人脸满足预设关系的第一人脸集，其中，第一人脸集包括N个人脸中每个人脸的属性，所述N个人脸中每个人脸的属性包括所述N个人脸中每个人脸的特征，N为正整数。具体的，确定与第一人脸满足预设关系的第一人脸集，也即确定之前采集到的并且有可能与第一人脸相同的人脸，后续在第一人脸集中查找之前采集到的并且与第一人脸相同的人脸，这样可以缩小查找范围，从而提高查找精确度。

205、将所述第一人脸的特征与所述N个人脸中每个人脸的特征进行对比，以确定所述N个人脸中与所述第一人脸匹配的第二人脸。

具体的，确定人脸库中与第一人脸满足预设关系的第一人脸集后，也即确定之前采集到的并且有可能与第一人脸相同的人脸。后续通过将第一人脸的特征与第一人脸集包括的N个人脸中每个人脸的特征进行对比，可以在第一人脸集中确定之前采集到的并且与第一人脸相同的人脸。

这样，先确定人脸库中的第一人脸集，再确定第一人脸集中与第一人脸相同的人脸，特征对比时不需要对比人脸库中所有人脸的特征，减少了计算量。

206、将所述第一人脸的属性和所述第二人脸的属性合并存储在所述人脸库中。

具体的，确定与第一人脸匹配的第二人脸，也即确定了之前采集到的并且与第一人脸相同的人脸为第二人脸。人脸库中存储了第二人脸的属性，其中，第二人脸的属性包括第二人脸的特征，获得的第一人脸的属性也包括了第一人脸的特征，因此需要将第一人脸的特征和第二人脸的特征合并存储在人脸库中，例如可以选择存储人脸质量更好的人脸的特征。这样，将第一人脸的属性和之前采集的相同人脸的属性合并存储在人脸库中，可以降低监控场景下人脸采集的重复率。

可以看出，通过本申请实施例提供的人脸采集方法，检测视频帧数据中的第一人脸，评估第一人脸的质量。其次，当第一人脸的质量不小于第一质量阈值时，获取第一人脸的属性，第一人脸的属性包括第一人脸的特征。其次根据第一人脸的属性确定人脸库中与第一人脸满足预设关系的第一人脸集，第一人脸集包括N个人脸中每个人脸的属性，N个人脸中每个人脸的属性包括N个人脸中每个人脸的特征，N为正整数。其次，将第一人脸的特征与N个人脸中每个人脸的特征进行对比，以确定N个人脸中与第一人脸匹配的第二人脸。最后，将第一人脸的属性和第二人脸的属性合并存储在人脸库中。这样，在监控场景下，通过对获取到的视频帧数据中的人脸进行检测和跟踪，可以采集人脸信息。当视频帧数据中的人脸被遮挡时，获取该人脸的属性，根据该人脸的属性确定满足预设关系的人脸集，即确定之前采集的可能与该人脸相同的人脸，其次，将该人脸的特征与人脸集中每个人脸的特征进行对比，从而确定之前采集的与该人脸相同的人脸，最后，合并存储该人脸和之前采集的相同人脸，可以降低监控场景下人脸采集的重复率。

参见图3，图3为本申请的另一个实施例提供的另一种人脸采集方法的流程示意图。其中，如图3所示，本实施例提供的另一种人脸采集方法可以包括：

301、检测视频帧数据中的第一人脸，对第一人脸进行编号。

在监控场景下，通过摄像头获取区域内的视频，得到视频帧数据。检测视频帧数据中的人脸。当检测到视频帧数据中的第一人脸时，对第一人脸进行编号，以得到第一人脸的编号，其中，第一人脸的编号用于区分不同人脸。

具体的，对同一个视频帧进行人脸检测时，同一个视频帧中可能会检测到多个人脸，每检测到一个人脸就进行编号，这样，可以区分同一个视频帧中检测到的不同人脸。

302、跟踪第一人脸，持续评估第一人脸的质量。

当检测到视频帧数据中的第一人脸时，跟踪该第一人脸，并且持续评估该第一人脸的质量。具体的，对于同一人脸而言，在不同视频帧中出现时，人脸质量可能不同。通过在多个视频帧中跟踪第一人脸，可以对每个视频帧中的第一人脸进行质量评估。

这样，通过评估第一人脸的质量，可以保证第一人脸的质量符合后续对第一人脸进行处理的要求。

在一种可能的实施例中，通过卷积神经网络算法评估第一人脸的质量。

在一种可能的实施例中，在评估人脸的质量时，人脸的质量受多个因素的影响，在评估人脸的质量时通过多个质量评估指标进行评估，其中。质量评估指标例如遮挡范围、模糊度范围、光照范围、姿态角度、人脸完整度、人脸大小等。举例来说，在视频帧中，当检测到的人脸未被遮挡时，人脸的质量相对较好，当检测到的人脸被遮挡时，人脸的质量相对较差。其中，人脸被遮挡可以是脸部的部位被遮挡，例如，左眼被遮挡、右眼被遮挡、鼻子被遮挡、嘴巴被遮挡、左脸颊被遮挡、右脸颊被遮挡、下巴被遮挡等，脸部的部位被遮挡会影响人脸的质量。

可选的，当通过多个质量评估指标对视频帧中的人脸进行质量评估时，每个质量评估指标对应一个权重，最终评估得到的人脸的质量为通过各个质量评估指标评估得到的质量的加权值之和。

这样，通过多个质量评估指标对视频帧中的人脸进行质量评估，可以增加对人脸进行质量评估的准确度。

303、当第一人脸的质量不小于第一质量阈值时，确定第一人脸所在的第一视频帧。

具体的，持续评估第一人脸的质量，判断第一人脸的质量与预设的第一质量阈值的大小关系。其中，第一人脸的质量体现为质量分值，通过判断第一人脸的质量与第一质量阈值的大小关系可以判断第一人脸的质量是否满足要求，以便于后续对第一人脸进行处理。

当第一人脸的质量不小于第一质量阈值时，确定第一人脸所在的第一视频帧。具体的，对于第一人脸而言，在不同视频帧中出现时，第一人脸的质量可能不同，因此需要对第一人脸的质量进行持续评估。当评估到某一视频帧中第一人脸的质量不小于第一质量阈值时，则该视频帧中的第一人脸满足质量要求，可以对该视频帧中的第一人脸进行后续处理，确定该视频帧即为第一视频帧。

304、根据第一视频帧得到第一人脸的属性，第一人脸的属性包括第一人脸的特征、第一人脸对应的时间和第一人脸的坐标。

其中，第一人脸的特征为第一人脸的特征属性，第一人脸对应的时间为第一人脸的时间属性，第一人脸的坐标为第一人脸的空间属性。

在一种可能的示例中，根据第一视频帧得到第一人脸的属性包括：对第一视频帧中的第一人脸进行特征提取，以得到第一人脸的特征；确定第一视频帧对应的时间为第一人脸对应的时间；确定第一人脸在第一视频帧中的位置，以得到第一人脸的坐标。

具体的，对第一视频帧中的第一人脸进行特征提取时，可以通过卷积神经网络算法提取第一人脸的特征。并且，监控场景下获取的视频数据中，每个视频帧都对应一个时间，确定第一视频帧对应的时间，即可得到第一人脸对应的时间。另外，对第一人脸进行持续跟踪，当跟踪到第一人脸出现在第一视频帧中时，确定第一人脸在第一视频帧中的位置，以得到第一人脸的坐标。

这样，得到第一人脸的属性后，后续可以根据第一人脸的属性查找之前采集到的并且与第一人脸相同的人脸。

在一种可能的示例中，第一人脸的属性还包括第一人脸的编号。具体的，当检测到视频帧数据中的第一人脸时，对第一人脸进行编号，以得到第一人脸的编号。对同一个视频帧进行人脸检测时，同一个视频帧中可能会检测到多个人脸，每检测到一个人脸就进行编号，这样，可以区分同一个视频帧中检测到的不同人脸。

305、获取人脸库中每个人脸的属性，人脸库中每个人脸的属性包括人脸库中每个人脸的特征、对应的时间和坐标。

其中，人脸库中存储了监控场景下采集到的全部人脸的属性，每个人脸的属性包括人脸的特征、对应的时间和坐标。具体的，人脸的特征为人脸的特征属性，人脸对应的时间为人脸的时间属性，人脸的坐标为人脸的空间属性。人脸库中全部人脸的属性用于后续在人脸库中查找之前采集到的并且与第一人脸相同的人脸。

在一种可能的示例中，人脸库中存储的每个人脸的属性还包括人脸的编号，人脸的编号用于区分人脸库中存储的不同人脸。

306、确定人脸库中与第一人脸满足预设关系的第一人脸集，第一人脸集包括N个人脸中每个人脸的属性。

其中，N个人脸中每个人脸的属性包括人脸的特征、对应的时间和坐标，N为正整数。

在一种可能的示例中，N个人脸中每个人脸的属性还包括人脸的编号，人脸的编号用于区分N个人脸中的不同人脸。

具体的，确定与第一人脸满足预设关系的第一人脸集，也即确定之前采集到的并且有可能与第一人脸相同的人脸，后续在第一人脸集中查找之前采集到的并且与第一人脸相同的人脸，这样，可以缩小查找范围，从而提高查找精确度。

在一种可能的示例中，确定人脸库中与第一人脸满足预设关系的第一人脸集包括：确定人脸库中的第二人脸集，第二人脸集包括M个人脸中每个人脸的属性，M个人脸中每个人脸对应的时间小于第一人脸对应的时间，M个人脸中每个人脸对应的时间与第一人脸对应的时间的差值小于预设时间阈值，M为不小于N的正整数；确定第二人脸集中的第一人脸集，N个人脸中每个人脸的坐标与第一人脸的坐标的距离小于预设距离阈值。

具体的，首先确定人脸库中与第一人脸满足时间关系的第二人脸集，第二人脸集中每个人脸对应的时间小于第一人脸对应的时间，这样可以保证第二人脸集中每个人脸都是早于第一人脸存储在人脸库中，也就是说，第二人脸集中每个人脸都是之前采集到的，不会与第一人脸处于同一视频帧中。同时，第二人脸集中每个人脸对应的时间与第一人脸对应的时间的差值小于预设时间阈值，这样通过限制时间差值可以缩小查找范围。确定了满足时间关系的第二人脸集后，再确定第二人脸集中与第一人脸满足空间关系的第一人脸集，第一人脸集中每个人脸的坐标与第一人脸的坐标的距离小于预设距离阈值，这样通过限制坐标距离也可以缩小查找范围。

这样，首先确定人脸库中与第一人脸满足时间关系的第二人脸集，再确定第二人脸集中与第一人脸满足空间关系的第一人脸集，可以缩小查找范围，提高查找精确度。

可选的，还可以先确定人脸库中与第一人脸满足空间关系的人脸集，再从满足空间关系的人脸集中确定与第一人脸满足时间关系的人脸集，同样可以缩小查找范围，提高查找精确度。

307、将第一人脸的特征与N个人脸中每个人脸的特征进行对比，以得到N个人脸中每个人脸与第一人脸的相似度。

具体的，确定人脸库中与第一人脸满足预设关系的第一人脸集后，也即确定之前采集到的并且有可能与第一人脸相同的人脸。后续通过将第一人脸的特征与第一人脸集包括的N个人脸中每个人脸的特征进行对比，可以在第一人脸集中确定之前采集到的并且与第一人脸相同的人脸。

这样，先确定人脸库中的第一人脸集，再确定第一人脸集中与第一人脸相同的人脸，特征对比时不需要对比人脸库中所有人脸的特征，减少了计算量。

308、确定N个人脸中的i个人脸，i个人脸中每个人脸与第一人脸的相似度不小于预设相似度阈值，i为不大于N的正整数。

具体的，确定N个人脸中的i个人脸，其中，i个人脸中每个人脸与第一人脸的相似度不小于预设相似度阈值。从N个人脸中确定出与第一人脸的相似度不小于预设相似度阈值的i个人脸，这样，可以保证i个人脸与第一人脸的相似度满足要求。

309、若i为1，则确定i个人脸中的人脸为第二人脸。

310、若i大于1，则确定i个人脸中与第一人脸的相似度最大的人脸为第二人脸。

311、将第一人脸的属性和第二人脸的属性合并存储在人脸库中。

具体的，确定与第一人脸匹配的第二人脸，也即确定了之前采集到的并且与第一人脸相同的人脸为第二人脸。人脸库中存储了第二人脸的属性，因此需要将第一人脸的属性和第二人脸的属性合并存储在人脸库中，例如对于人脸的特征而言，可以选择存储人脸质量更好的人脸的特征。这样，将第一人脸的属性和之前采集的相同人脸的属性合并存储在人脸库中，可以降低监控场景下人脸采集的重复率。

在一种可能的示例中，将第一人脸的属性和第二人脸的属性合并存储在人脸库中包括：评估第二人脸的质量；判断第二人脸的质量是否大于第一人脸的质量；若第二人脸的质量大于第一人脸的质量，则将第二人脸的特征存储在人脸库中；若第二人脸的质量小于第一人脸的质量，则将第一人脸的特征替换第二人脸的特征存储在人脸库中；若第二人脸的质量等于第一人脸的质量，则将第二人脸的特征存储在人脸库中，或者将第一人脸的特征替换第二人脸的特征存储在人脸库中。

具体的，在采集第一人脸之前，人脸库中存储了第二人脸的属性，由于第一人脸和第二人脸相同，因此需要将第一人脸的属性和第二人脸的属性合并存储在人脸库中。对于人脸的特征而言，可以选择存储人脸质量更好的人脸的特征。这样，从第一人脸的特征和之前采集的相同人脸的特征中选择质量更好的人脸的特征存储在人脸库中，可以保证人脸库中始终存储的是质量更好的人脸的特征。

在一种可能的示例中，第一人脸的属性还包括第一人脸的编号，第二人脸的属性还包括第二人脸的编号，将第一人脸的属性和第二人脸的属性合并存储在人脸库中还包括：将第一人脸对应的时间替换第二人脸对应的时间存储在人脸库中；将第一人脸的坐标替换第二人脸的坐标存储在人脸库中；将第二人脸的编号存储在人脸库中。

具体的，第一人脸的属性还包括第一人脸对应的时间、第一人脸的坐标和第一人脸的编号，同时，第二人脸的属性还包括第二人脸对应的时间、第二人脸的坐标和第二人脸的编号。在采集第一人脸之前，人脸库中已经存储了第二人脸的属性，由于第一人脸和第二人脸相同，因此需要将第一人脸的属性和第二人脸的属性合并存储在人脸库中。

对于人脸对应的时间而言，选择将第一人脸对应的时间替换第二人脸对应的时间存储在人脸库中，这样，可以保证人脸库中始终存储的是最新采集到的人脸对应的时间。对于人脸的坐标而言，选择将第一人脸的坐标替换第二人脸的坐标存储在人脸库中，这样，可以保证人脸库中始终存储的是最新采集到的人脸的坐标。对于人脸的编号而言，选择将第二人脸的编号存储在人脸库中，这样，可以保证人脸库中对于同一个人脸始终存储的是相同的编号，方便区分人脸库中存储的所有人脸。

312、当第一人脸的质量不小于第二质量阈值时，获取第一人脸的属性，第一人脸的属性包括第一人脸的特征。

其中，第二质量阈值大于第一质量阈值。

当检测到视频帧数据中的第一人脸时，持续跟踪该第一人脸，并且，持续评估该第一人脸的质量。当第一人脸的质量不小于第二质量阈值时，获取第一人脸的属性。具体的，第二质量阈值大于第一质量阈值，当第一人脸的质量不小于第二质量阈值时，第一人脸的质量满足质量要求，得到的第一人脸的特征准确，可以直接根据第一人脸的特征确定匹配的人脸。

可选的，第一人脸的属性还包括第一人脸对应的时间、第一人脸的坐标和第一人脸的编号。

可选的，通过卷积神经网络算法提取第一人脸的特征。

313、获取人脸库中每个人脸的属性，人脸库中每个人脸的属性包括人脸库中每个人脸的特征。

其中，人脸库中存储了监控场景下采集到的全部人脸的属性，每个人脸的属性包括人脸的特征、对应的时间和坐标。具体的，人脸的特征为人脸的特征属性，人脸对应的时间为人脸的时间属性，人脸的坐标为人脸的空间属性。人脸库中全部人脸的属性用于后续在人脸库中查找之前采集到的并且与第一人脸相同的人脸。

314、将第一人脸的特征与人脸库中每个人脸的特征进行对比，以确定人脸库中是否存在与第一人脸匹配的第三人脸。

315、若存在第三人脸，则将第一人脸的属性和第三人脸的属性合并存储在人脸库中。

具体的，确定与第一人脸匹配的第三人脸，也即确定了之前采集到的并且与第一人脸相同的人脸为第三人脸。人脸库中存储了第三人脸的属性，因此需要将第一人脸的属性和第三人脸的属性合并存储在人脸库中，例如对于人脸的特征而言，可以选择存储人脸质量更好的人脸的特征。这样，将第一人脸的属性和之前采集的相同人脸的属性合并存储在人脸库中，可以降低监控场景下人脸采集的重复率。

316、若不存在第三人脸，则将第一人脸的属性存储在人脸库中。

具体的，若不存在第三人脸，则第一人脸之前未被采集到，可以将第一人脸的属性存储在人脸库中。

可以看出，通过本申请实施例提供的人脸采集方法，在监控场景下，通过对获取到的视频帧数据中的人脸进行检测和跟踪，可以采集人脸信息。当视频帧数据中的人脸被遮挡时，获取该人脸的属性，根据该人脸的属性确定满足预设关系的人脸集，即确定之前采集的可能与该人脸相同的人脸，其次，将该人脸的特征与人脸集中每个人脸的特征进行对比，从而确定之前采集的与该人脸相同的人脸，最后，合并存储该人脸和之前采集的相同人脸，若该人脸之前未被采集，则存储该人脸。这样，可以降低监控场景下人脸采集的重复率。

参见图4a，图4a为本申请实施例提供的一种视频帧的示意图。其中，如图4a所示，该视频帧为视频帧数据中的视频帧1，对视频帧1进行人脸检测，检测到人脸A、人脸B、人脸C和人脸D。

参见图4b，图4b为本申请实施例提供的另一种视频帧的示意图。其中，如图4b所示，该视频帧为视频帧数据中的视频帧2，且视频帧2对应的时间大于视频帧1对应的时间。对视频帧1中检测到的人脸进行跟踪，可以在视频帧2中跟踪到人脸A、人脸B、人脸C和人脸D。如图4b所示，在视频帧2中，人脸A的坐标发生变化，并且部分遮挡住了人脸B，人脸C的坐标也发生了变化，但是并未被遮挡，人脸D的坐标未发生变化。

参见图5，图5为本申请实施例提供的一种人脸采集装置的示意图。其中，如图5所示，本申请实施例提供的一种人脸采集装置可以包括：

检测单元501，用于检测视频帧数据中的第一人脸；

评估单元502，用于评估所述第一人脸的质量；

获取单元503，用于当所述第一人脸的质量不小于第一质量阈值时，获取所述第一人脸的属性，所述第一人脸的属性包括所述第一人脸的特征；

确定单元504，用于根据所述第一人脸的属性确定人脸库中与所述第一人脸满足预设关系的第一人脸集，所述第一人脸集包括N个人脸中每个人脸的属性，所述N个人脸中每个人脸的属性包括所述N个人脸中每个人脸的特征，N为正整数；

对比单元505，用于将所述第一人脸的特征与所述N个人脸中每个人脸的特征进行对比，以确定所述N个人脸中与所述第一人脸匹配的第二人脸；

存储单元506，用于将所述第一人脸的属性和所述第二人脸的属性合并存储在所述人脸库中。

本申请实施例涉及的人脸采集装置的具体实施可以参见上述人脸采集方法的各实施例，在此不做赘述。

可以看出，通过本申请实施例提供的人脸采集装置，检测视频帧数据中的第一人脸，评估第一人脸的质量。其次，当第一人脸的质量不小于第一质量阈值时，获取第一人脸的属性，第一人脸的属性包括第一人脸的特征。其次根据第一人脸的属性确定人脸库中与第一人脸满足预设关系的第一人脸集，第一人脸集包括N个人脸中每个人脸的属性，N个人脸中每个人脸的属性包括N个人脸中每个人脸的特征，N为正整数。其次，将第一人脸的特征与N个人脸中每个人脸的特征进行对比，以确定N个人脸中与第一人脸匹配的第二人脸。最后，将第一人脸的属性和第二人脸的属性合并存储在人脸库中。这样，在监控场景下，通过对获取到的视频帧数据中的人脸进行检测和跟踪，可以采集人脸信息。当视频帧数据中的人脸被遮挡时，获取该人脸的属性，根据该人脸的属性确定满足预设关系的人脸集，即确定之前采集的可能与该人脸相同的人脸，其次，将该人脸的特征与人脸集中每个人脸的特征进行对比，从而确定之前采集的与该人脸相同的人脸，最后，合并存储该人脸和之前采集的相同人脸，可以降低监控场景下人脸采集的重复率。

在一种可能的示例中，所述第一人脸的属性还包括所述第一人脸对应的时间和所述第一人脸的坐标，所述获取单元503具体用于：确定所述第一人脸所在的第一视频帧；对所述第一视频帧中的所述第一人脸进行特征提取，以得到所述第一人脸的特征；确定所述第一视频帧对应的时间为所述第一人脸对应的时间；确定所述第一人脸在所述第一视频帧中的位置，以得到所述第一人脸的坐标。

在一种可能的示例中，所述确定单元504具体用于：获取所述人脸库中每个人脸的属性，所述人脸库中每个人脸的属性包括所述人脸库中每个人脸的特征、对应的时间和坐标；确定所述人脸库中的第二人脸集，所述第二人脸集包括M个人脸中每个人脸的属性，所述M个人脸中每个人脸对应的时间小于所述第一人脸对应的时间，所述M个人脸中每个人脸对应的时间与所述第一人脸对应的时间的差值小于预设时间阈值，M为不小于N的正整数；确定所述第二人脸集中的所述第一人脸集，所述N个人脸中每个人脸的坐标与所述第一人脸的坐标的距离小于预设距离阈值。

在一种可能的示例中，所述对比单元505具体用于：将所述第一人脸的特征与所述N个人脸中每个人脸的特征进行对比，以得到所述N个人脸中每个人脸与所述第一人脸的相似度；确定所述N个人脸中的i个人脸，所述i个人脸中每个人脸与所述第一人脸的相似度不小于预设相似度阈值，i为不大于N的正整数；若i为1，则确定所述i个人脸中的人脸为所述第二人脸；若i大于1，则确定所述i个人脸中与所述第一人脸的相似度最大的人脸为所述第二人脸。

在一种可能的示例中，所述存储单元506具体用于：评估所述第二人脸的质量；判断所述第二人脸的质量是否大于所述第一人脸的质量；若所述第二人脸的质量大于所述第一人脸的质量，则将所述第二人脸的特征存储在所述人脸库中；若所述第二人脸的质量小于所述第一人脸的质量，则将所述第一人脸的特征替换所述第二人脸的特征存储在所述人脸库中；若所述第二人脸的质量等于所述第一人脸的质量，则将所述第二人脸的特征存储在所述人脸库中，或者将所述第一人脸的特征替换所述第二人脸的特征存储在所述人脸库中

在一种可能的示例中，所述第一人脸的属性还包括所述第一人脸的编号，所述第二人脸的属性还包括所述第二人脸的编号，所述存储单元506还用于：将所述第一人脸对应的时间替换所述第二人脸对应的时间存储在所述人脸库中；将所述第一人脸的坐标替换所述第二人脸的坐标存储在所述人脸库中；将所述第二人脸的编号存储在所述人脸库中。

在一种可能的示例中，所述获取单元503还用于：当所述第一人脸的质量不小于第二质量阈值时，获取所述第一人脸的属性，所述第一人脸的属性包括所述第一人脸的特征，所述第二质量阈值大于所述第一质量阈值；获取所述人脸库中每个人脸的属性，所述人脸库中每个人脸的属性包括所述人脸库中每个人脸的特征；所述对比单元505还用于：将所述第一人脸的特征与所述人脸库中每个人脸的特征进行对比，以确定所述人脸库中是否存在与所述第一人脸匹配的第三人脸；所述存储单元506还用于：若存在所述第三人脸，则将所述第一人脸的属性和所述第三人脸的属性合并存储在所述人脸库中；若不存在所述第三人脸，则将所述第一人脸的属性存储在所述人脸库中。

参见图6，图6为本申请实施例涉及的电子设备的结构示意图。其中，如图6所示，本实施例涉及的电子设备可以包括：

处理器601，例如CPU。

存储器602，可选的，存储器可以为高速RAM存储器，也可以是稳定的存储器，例如磁盘存储器。

通信接口603，用于实现处理器601和存储器602之间的连接通信。

本领域技术人员可以理解，图6中示出的电子设备的结构并不构成限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图6所示，存储器602中可以包括操作系统、网络通信模块以及人脸采集程序。操作系统是管理和控制服务器硬件和软件资源的程序，支持人脸采集程序以及其他软件或程序的运行。网络通信模块用于实现存储器602内部各组件之间的通信，以及与服务器中其他硬件和软件之间通信。

在图6所示的电子设备中，处理器601用于执行存储器602中存储的人脸采集程序，实现以下步骤：

检测视频帧数据中的第一人脸；

评估所述第一人脸的质量；

当所述第一人脸的质量不小于第一质量阈值时，获取所述第一人脸的属性，所述第一人脸的属性包括所述第一人脸的特征；

根据所述第一人脸的属性确定人脸库中与所述第一人脸满足预设关系的第一人脸集，所述第一人脸集包括N个人脸中每个人脸的属性，所述N个人脸中每个人脸的属性包括所述N个人脸中每个人脸的特征，N为正整数；

将所述第一人脸的特征与所述N个人脸中每个人脸的特征进行对比，以确定所述N个人脸中与所述第一人脸匹配的第二人脸；

将所述第一人脸的属性和所述第二人脸的属性合并存储在所述人脸库中。

本申请实施例涉及的电子设备的具体实施可参见上述人脸采集方法的各实施例，在此不做赘述。

可以看出，通过本申请实施例提供的电子设备，检测视频帧数据中的第一人脸，评估第一人脸的质量。其次，当第一人脸的质量不小于第一质量阈值时，获取第一人脸的属性，第一人脸的属性包括第一人脸的特征。其次根据第一人脸的属性确定人脸库中与第一人脸满足预设关系的第一人脸集，第一人脸集包括N个人脸中每个人脸的属性，N个人脸中每个人脸的属性包括N个人脸中每个人脸的特征，N为正整数。其次，将第一人脸的特征与N个人脸中每个人脸的特征进行对比，以确定N个人脸中与第一人脸匹配的第二人脸。最后，将第一人脸的属性和第二人脸的属性合并存储在人脸库中。这样，在监控场景下，通过对获取到的视频帧数据中的人脸进行检测和跟踪，可以采集人脸信息。当视频帧数据中的人脸被遮挡时，获取该人脸的属性，根据该人脸的属性确定满足预设关系的人脸集，即确定之前采集的可能与该人脸相同的人脸，其次，将该人脸的特征与人脸集中每个人脸的特征进行对比，从而确定之前采集的与该人脸相同的人脸，最后，合并存储该人脸和之前采集的相同人脸，可以降低监控场景下人脸采集的重复率。

本申请实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质存储有人脸采集程序，该程序被处理器执行，以实现以下步骤：

检测视频帧数据中的第一人脸；

评估所述第一人脸的质量；

当所述第一人脸的质量不小于第一质量阈值时，获取所述第一人脸的属性，所述第一人脸的属性包括所述第一人脸的特征；

根据所述第一人脸的属性确定人脸库中与所述第一人脸满足预设关系的第一人脸集，所述第一人脸集包括N个人脸中每个人脸的属性，所述N个人脸中每个人脸的属性包括所述N个人脸中每个人脸的特征，N为正整数；

将所述第一人脸的特征与所述N个人脸中每个人脸的特征进行对比，以确定所述N个人脸中与所述第一人脸匹配的第二人脸；

将所述第一人脸的属性和所述第二人脸的属性合并存储在所述人脸库中。

本申请实施例中计算机可读存储介质的具体实施可参见上述人脸采集方法的各实施例，在此不做赘述。

可以看出，通过本申请实施例提供的计算机可读存储介质，检测视频帧数据中的第一人脸，评估第一人脸的质量。其次，当第一人脸的质量不小于第一质量阈值时，获取第一人脸的属性，第一人脸的属性包括第一人脸的特征。其次根据第一人脸的属性确定人脸库中与第一人脸满足预设关系的第一人脸集，第一人脸集包括N个人脸中每个人脸的属性，N个人脸中每个人脸的属性包括N个人脸中每个人脸的特征，N为正整数。其次，将第一人脸的特征与N个人脸中每个人脸的特征进行对比，以确定N个人脸中与第一人脸匹配的第二人脸。最后，将第一人脸的属性和第二人脸的属性合并存储在人脸库中。这样，在监控场景下，通过对获取到的视频帧数据中的人脸进行检测和跟踪，可以采集人脸信息。当视频帧数据中的人脸被遮挡时，获取该人脸的属性，根据该人脸的属性确定满足预设关系的人脸集，即确定之前采集的可能与该人脸相同的人脸，其次，将该人脸的特征与人脸集中每个人脸的特征进行对比，从而确定之前采集的与该人脸相同的人脸，最后，合并存储该人脸和之前采集的相同人脸，可以降低监控场景下人脸采集的重复率。

还需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种人脸采集方法，其特征在于，包括：

检测视频帧数据中的第一人脸；

评估所述第一人脸的质量；

当所述第一人脸的质量不小于第一质量阈值时，获取所述第一人脸的属性，所述第一人脸的属性包括所述第一人脸的特征；

根据所述第一人脸的属性确定人脸库中与所述第一人脸满足预设关系的第一人脸集，所述第一人脸集包括N个人脸中每个人脸的属性，所述N个人脸中每个人脸的属性包括所述N个人脸中每个人脸的特征，N为正整数；

将所述第一人脸的特征与所述N个人脸中每个人脸的特征进行对比，以确定所述N个人脸中与所述第一人脸匹配的第二人脸；

将所述第一人脸的属性和所述第二人脸的属性合并存储在所述人脸库中。

2.根据权利要求1所述的方法，其特征在于，所述第一人脸的属性还包括所述第一人脸对应的时间和所述第一人脸的坐标，所述获取所述第一人脸的属性包括：

确定所述第一人脸所在的第一视频帧；

对所述第一视频帧中的所述第一人脸进行特征提取，以得到所述第一人脸的特征；

确定所述第一视频帧对应的时间为所述第一人脸对应的时间；

确定所述第一人脸在所述第一视频帧中的位置，以得到所述第一人脸的坐标。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一人脸的属性确定人脸库中与所述第一人脸满足预设关系的第一人脸集包括：

获取所述人脸库中每个人脸的属性，所述人脸库中每个人脸的属性包括所述人脸库中每个人脸的特征、对应的时间和坐标；

确定所述人脸库中的第二人脸集，所述第二人脸集包括M个人脸中每个人脸的属性，所述M个人脸中每个人脸对应的时间小于所述第一人脸对应的时间，所述M个人脸中每个人脸对应的时间与所述第一人脸对应的时间的差值小于预设时间阈值，M为不小于N的正整数；

确定所述第二人脸集中的所述第一人脸集，所述N个人脸中每个人脸的坐标与所述第一人脸的坐标的距离小于预设距离阈值。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述将所述第一人脸的特征与所述N个人脸中每个人脸的特征进行对比，以确定所述N个人脸中与所述第一人脸匹配的第二人脸包括：

将所述第一人脸的特征与所述N个人脸中每个人脸的特征进行对比，以得到所述N个人脸中每个人脸与所述第一人脸的相似度；

确定所述N个人脸中的i个人脸，所述i个人脸中每个人脸与所述第一人脸的相似度不小于预设相似度阈值，i为不大于N的正整数；

若i为1，则确定所述i个人脸中的人脸为所述第二人脸；

若i大于1，则确定所述i个人脸中与所述第一人脸的相似度最大的人脸为所述第二人脸。

5.根据权利要求3所述的方法，其特征在于，所述将所述第一人脸的属性和所述第二人脸的属性合并存储在所述人脸库中包括：

评估所述第二人脸的质量；

判断所述第二人脸的质量是否大于所述第一人脸的质量；

若所述第二人脸的质量大于所述第一人脸的质量，则将所述第二人脸的特征存储在所述人脸库中；

若所述第二人脸的质量小于所述第一人脸的质量，则将所述第一人脸的特征替换所述第二人脸的特征存储在所述人脸库中；

若所述第二人脸的质量等于所述第一人脸的质量，则将所述第二人脸的特征存储在所述人脸库中，或者将所述第一人脸的特征替换所述第二人脸的特征存储在所述人脸库中。

6.根据权利要求5所述的方法，其特征在于，所述第一人脸的属性还包括所述第一人脸的编号，所述第二人脸的属性还包括所述第二人脸的编号，所述将所述第一人脸的属性和所述第二人脸的属性合并存储在所述人脸库中还包括：

将所述第一人脸对应的时间替换所述第二人脸对应的时间存储在所述人脸库中；

将所述第一人脸的坐标替换所述第二人脸的坐标存储在所述人脸库中；

将所述第二人脸的编号存储在所述人脸库中。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述第一人脸的质量不小于第二质量阈值时，获取所述第一人脸的属性，所述第一人脸的属性包括所述第一人脸的特征，所述第二质量阈值大于所述第一质量阈值；

获取所述人脸库中每个人脸的属性，所述人脸库中每个人脸的属性包括所述人脸库中每个人脸的特征；

将所述第一人脸的特征与所述人脸库中每个人脸的特征进行对比，以确定所述人脸库中是否存在与所述第一人脸匹配的第三人脸；

若存在所述第三人脸，则将所述第一人脸的属性和所述第三人脸的属性合并存储在所述人脸库中；

若不存在所述第三人脸，则将所述第一人脸的属性存储在所述人脸库中。

8.一种人脸采集装置，其特征在于，包括：

检测单元，用于检测视频帧数据中的第一人脸；

评估单元，用于评估所述第一人脸的质量；

获取单元，用于当所述第一人脸的质量不小于第一质量阈值时，获取所述第一人脸的属性，所述第一人脸的属性包括所述第一人脸的特征；

确定单元，用于根据所述第一人脸的属性确定人脸库中与所述第一人脸满足预设关系的第一人脸集，所述第一人脸集包括N个人脸中每个人脸的属性，所述N个人脸中每个人脸的属性包括所述N个人脸中每个人脸的特征，N为正整数；

对比单元，用于将所述第一人脸的特征与所述N个人脸中每个人脸的特征进行对比，以确定所述N个人脸中与所述第一人脸匹配的第二人脸；

存储单元，用于将所述第一人脸的属性和所述第二人脸的属性合并存储在所述人脸库中。

9.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1至7任一项所述的方法中的步骤的指令。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行，以实现如权利要求1至7任一项所述的方法。

Images