CN108229297A - 人脸识别方法和装置、电子设备、计算机存储介质 - Google Patents

Abstract

本发明实施例公开了一种人脸识别方法和装置、电子设备、计算机存储介质，其中，方法包括：将选取的人脸图像与人脸数据库中的人脸图像进行匹配；响应于选取的人脸图像与人脸数据库中的人脸图像不匹配，利用神经网络对选取的人脸图像进行质量评估；根据选取的人脸图像的质量评估结果，若选取的人脸图像的质量不满足预设质量标准，选取与所述选取的人脸图像关联的任一其他帧人脸图像，执行所述将选取的人脸图像与人脸数据库中的人脸图像进行匹配的操作。通过质量评估，防止人脸图像由于质量不佳而被错误判断为陌生人，提高了人脸识别的准确度。

Description

人脸识别方法和装置、电子设备、计算机存储介质

技术领域

本发明涉及计算机视觉技术，尤其是一种人脸识别方法和装置、电子设备、计算机存储介质。

背景技术

随着高科技的蓬勃发展，智能生物特征分析技术已经作为身份快速识别及视频监控等领域的最新增值点与应用点，在身份识别、智能安防、智能监控、出入管理、证卡认证等方面发挥巨大作用。基于具备非接触特点的人像生物特征识别技术，可以依靠常规的视频图像获取设备快速进行身份识别及陌生人预警等功能。而识别视频中的陌生人或已知人是两种相反的概念，一般认为，当从视频抓拍的图片与人像库比对的相似度超过指定阈值时，认为是已知人，否则可认为是陌生人。

发明内容

本发明实施例提供一种人脸识别技术。

本发明实施例提供的一种人脸识别方法，包括：

将选取的人脸图像与人脸数据库中的人脸图像进行匹配；

响应于选取的人脸图像与所述人脸数据库中的人脸图像不匹配，利用神经网络对所述选取的人脸图像进行质量评估；

根据所述选取的人脸图像的质量评估结果，若所述选取的人脸图像的质量不满足预设质量标准，选取与所述选取的人脸图像关联的任一其他帧人脸图像，执行所述将选取的人脸图像与人脸数据库中的人脸图像进行匹配的操作。

在基于本发明上述方法的另一个实施例中，还包括：

直至所述选取的人脸图像的质量满足预设质量标准，输出对所述任一人脸的识别结果。

在基于本发明上述方法的另一个实施例中，直至所述选取的人脸图像的质量满足预设质量标准，输出对所述任一人脸的识别结果之后，还包括：

选取关联的任意其他帧人脸图像，执行所述将选取的人脸图像与人脸数据库中的人脸图像进行匹配的操作。

在基于本发明上述方法的另一个实施例中，所述人脸数据库包括白名单用户的人脸图像及对应的人脸特征、和/或黑名单用户的人脸图像及对应的人脸特征。

在基于本发明上述方法的另一个实施例中，响应于所述选取的人脸图像与所述人脸数据库中的人脸图像匹配，输出对所述任一人脸的识别结果。

在基于本发明上述方法的另一个实施例中，响应于所述选取的人脸图像与所述人脸数据库中的人脸图像匹配之后，还包括：

当所述人脸数据库中的人脸图像增加，不变更所述输出的识别结果；

当所述人脸数据库中的人脸图像减少，从所述任一人脸轨迹选取下一帧人脸图像，执行所述将选取的人脸图像与人脸数据库中的人脸图像进行匹配的操作。

在基于本发明上述方法的另一个实施例中，将选取的人脸图像与人脸数据库中的人脸图像进行匹配之前，还包括：

对视频进行人脸跟踪，分别针对所述视频中的任一人脸，由所述视频的至少一帧图像中的人脸图像形成一个人脸轨迹；

从任一人脸对应的人脸轨迹中选取人脸图像。

在基于本发明上述方法的另一个实施例中，所述对视频进行人脸跟踪，分别针对所述视频中的任一人脸，由所述视频的至少一帧图像中的人脸图像形成一个人脸轨迹，包括：

基于所述视频获取至少两帧图像，基于人脸识别从每帧所述图像中获得至少一个人脸图像，利用神经网络分别对所述至少一个人脸图像进行特征提取；

判断每两帧所述图像中的人脸图像之间的相似度是否大于设定阈值，由相似度大于预设阈值的人脸图像生成一个人脸轨迹。

在基于本发明上述方法的另一个实施例中，所述基于人脸识别从每帧所述图像中获得至少一个人脸图像，包括：

对所述图像通过多尺度金字塔变换获得至少两个不同大小的子图像；

对每个所述子图像分别通过神经网络计算获得对应的特征图，基于所述特征图获得对应子图像中的人脸位置坐标，得到至少两个人脸位置坐标；

利用非极大值抑制的方法对所述至少两个子图像对应的人脸位置坐标进行过滤，去除重叠冗余边界框，得到至少一个人脸图像。

在基于本发明上述方法的另一个实施例中，判断每两帧所述图像中的人脸图像之间的相似度是否大于设定阈值，包括：

基于每两帧所述图像中的人脸图像对应的人脸特征之间的距离，判断每两帧所述图像中的人脸图像之间的相似度是否大于设定阈值。

在基于本发明上述方法的另一个实施例中，选取与所述选取的人脸图像关联的任一其他帧人脸图像，包括：

选取所述选取的人脸图像对应的人脸轨迹中除所述选择的人脸图像之外的任一帧的人脸图像。

在基于本发明上述方法的另一个实施例中，所述将选取的人脸图像与人脸数据库中的人脸图像进行匹配，包括：

利用神经网络分别对选取的人脸图像和所述人脸数据库中的人脸图像进行特征提取，判断所述选择的人脸图像与所述人脸数据库中的人脸图像的相似度是否大于设定阈值。

在基于本发明上述方法的另一个实施例中，判断所述选择的人脸图像与所述人脸数据库中的人脸图像的相似度是否大于设定阈值，包括：

基于所述选择的人脸图像对应的人脸特征与所述人脸数据库中的人脸图像对应的人脸特征之间的距离，判断所述选择的人脸图像与所述人脸数据库中的人脸图像的相似度是否大于设定阈值。

在基于本发明上述方法的另一个实施例中，所述利用神经网络对所述选取的人脸图像进行质量评估，包括：

利用所述神经网络获取所述选取的人脸图像的质量评价特征，所述质量评价特征包括以下任意一项或多项：人脸角度特征、双眼距离特征、人脸大小特征、人脸质量特征、人脸遮挡特征；

利用所述神经网络识别所述质量评价特征是否满足预设质量标准。

在基于本发明上述方法的另一个实施例中，所述质量评价特征满足预设质量标准，包括满足以下任意一项或多项条件：所述选取的人脸图像的人脸角度特征对应的人脸角度符合预设角度条件；

和/或，所述选取的人脸图像的双眼距离特征对应的双眼距离符合预设距离条件；

和/或，所述选取的人脸图像的人脸大小特征对应的人脸大小大于预设阈值；

和/或，所述选取的人脸图像的人脸质量特征对应的人脸质量符合预设质量条件；

和/或，所述选取的人脸图像的人脸遮挡特征对应的人脸比例大于预设比例阈值。

根据本发明实施例的一个方面，提供的一种人脸识别装置，包括：

匹配单元，用于将选取的人脸图像与人脸数据库中的人脸图像进行匹配；

质量评估单元，用于响应于选取的人脸图像与所述人脸数据库中的人脸图像不匹配，利用神经网络对所述选取的人脸图像进行质量评估；

不满足预设单元，用于根据所述选取的人脸图像的质量评估结果，当所述选取的人脸图像的质量不满足预设质量标准，选取与所述选取的人脸图像关联的任一其他帧人脸图像，返回执行匹配单元的操作。

在基于本发明上述装置的另一个实施例中，还包括：

满足预设单元，用于当所述选取的人脸图像的质量满足预设质量标准，输出对所述任一人脸的识别结果。

在基于本发明上述装置的另一个实施例中，所述满足预设单元，还用于选取关联的任意其他帧人脸图像，执行所述将选取的人脸图像与人脸数据库中的人脸图像进行匹配的操作。

在基于本发明上述装置的另一个实施例中，所述人脸数据库包括白名单用户的人脸图像及对应的人脸特征、和/或黑名单用户的人脸图像及对应的人脸特征。

在基于本发明上述装置的另一个实施例中，还包括：匹配输出单元，用于响应于所述选取的人脸图像与所述人脸数据库中的人脸图像匹配，输出对所述任一人脸的识别结果。

在基于本发明上述装置的另一个实施例中，所述匹配输出单元，还用于当所述人脸数据库中的人脸图像增加，不变更所述输出的识别结果；当所述人脸数据库中的人脸图像减少，从所述任一人脸轨迹选取下一帧人脸图像，执行所述将选取的人脸图像与人脸数据库中的人脸图像进行匹配的操作。

在基于本发明上述装置的另一个实施例中，还包括：

轨迹跟踪单元，用于对视频进行人脸跟踪，分别针对所述视频中的任一人脸，由所述视频的至少一帧图像中的人脸图像形成一个人脸轨迹；

图像选取单元，用于从任一人脸对应的人脸轨迹中选取人脸图像。

在基于本发明上述装置的另一个实施例中，所述轨迹跟踪单元，包括：

人脸识别模块，用于基于所述视频获取至少两帧图像，基于人脸识别从每帧所述图像中获得至少一个人脸图像，利用神经网络分别对所述至少一个人脸图像进行特征提取；

轨迹生成模块，用于判断每两帧所述图像中的人脸图像之间的相似度是否大于设定阈值，由相似度大于预设阈值的人脸图像生成一个人脸轨迹。

在基于本发明上述装置的另一个实施例中，所述人脸识别模块，具体用于对所述图像通过多尺度金字塔变换获得至少两个不同大小的子图像；对每个所述子图像分别通过神经网络计算获得对应的特征图，基于所述特征图获得对应子图像中的人脸位置坐标，得到至少两个人脸位置坐标；利用非极大值抑制的方法对所述至少两个子图像对应的人脸位置坐标进行过滤，去除重叠冗余边界框，得到至少一个人脸图像。

在基于本发明上述装置的另一个实施例中，所述轨迹生成模块，具体用于基于每两帧所述图像中的人脸图像对应的人脸特征之间的距离，判断每两帧所述图像中的人脸图像之间的相似度是否大于设定阈值。

在基于本发明上述装置的另一个实施例中，所述不满足预设单元和满足预设单元选择的任意其他帧人脸图像为所述任一人脸轨迹中除所述选择的人脸图像之外的任一帧的人脸图像。

在基于本发明上述装置的另一个实施例中，所述匹配单元，包括：

特征提取模块，用于利用神经网络分别对选取的人脸图像和所述人脸数据库中的人脸图像进行特征提取；

阈值判断模块，用于判断所述选择的人脸图像与所述人脸数据库中的人脸图像的相似度是否大于设定阈值。

在基于本发明上述装置的另一个实施例中，所述阈值判断模块，具体用于基于所述选择的人脸图像对应的人脸特征与所述人脸数据库中的人脸图像对应的人脸特征之间的距离，判断所述选择的人脸图像与所述人脸数据库中的人脸图像的相似度是否大于设定阈值。

在基于本发明上述装置的另一个实施例中，所述质量评估单元，包括：

质量评价模块，用于利用所述神经网络获取所述选取的人脸图像的质量评价特征，所述质量评价特征包括以下任意一项或多项：人脸角度特征、双眼距离特征、人脸大小特征、人脸质量特征、人脸遮挡特征；

标准判断模块，用于利用所述神经网络识别所述质量评价特征是否满足预设质量标准。

在基于本发明上述装置的另一个实施例中，所述质量评价特征满足预设质量标准，包括满足以下任意一项或多项条件：所述选取的人脸图像的人脸角度特征对应的人脸角度符合预设角度条件；

和/或，所述选取的人脸图像的双眼距离特征对应的双眼距离符合预设距离条件；

和/或，所述选取的人脸图像的人脸大小特征对应的人脸大小大于预设阈值；

和/或，所述选取的人脸图像的人脸质量特征对应的人脸质量符合预设质量条件；

和/或，所述选取的人脸图像的人脸遮挡特征对应的人脸比例大于预设比例阈值。

根据本发明实施例的一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上所述的人脸识别装置。

根据本发明实施例的一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；

以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上所述人脸识别方法的操作。

根据本发明实施例的一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，所述指令被执行时执行如上所述人脸识别方法的操作。

基于本发明上述实施例提供的一种人脸识别方法和装置、电子设备、计算机存储介质，通过将选取的人脸图像与人脸数据库中的人脸图像进行匹配；判断该人脸是否为库中人；响应于选取的人脸图像与人脸数据库中的人脸图像不匹配，利用神经网络对选取的人脸图像进行质量评估；根据选取的人脸图像的质量评估结果，若选取的人脸图像的质量不满足预设质量标准，选取与所述选取的人脸图像关联的任一其他帧人脸图像，执行将选取的人脸图像与人脸数据库中的人脸图像进行匹配的操作；通过对不匹配的人脸图像进行质量评估，实现了人脸图像的二次判断，防止人脸图像由于质量不佳而被错误判断为陌生人，提高了人脸识别的准确度。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1为本发明人脸识别方法一个实施例的流程图。

图2为本发明人脸识别装置一个实施例的结构示意图。

图3为本发明人脸识别装置一个实施例的结构示意图。

图4为本发明人脸识别装置又一个实施例的结构示意图。

图5为用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本发明实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

在人脸识别的实际应用中，对于视频抓拍的图像，由于人刚进入摄像区域时，人脸往往较小、较模糊，并且还存在光照、遮挡、人脸角度等因素，一个人的多张抓拍图片中往往会存在质量较差的图片；此时，即使是库中人，也不能避免抓拍图片与人像库比对的相似度较低。

在这种情况下，只依靠调整比对阈值，无法同时保证库中人和陌生人的识别准确率都处于较高水平。

图1为本发明人脸识别方法一个实施例的流程图。如图1所示，该实施例方法包括：

步骤103，将选取的人脸图像与人脸数据库中的人脸图像进行匹配。

匹配两个人脸图像是否相似有很多种方法，目前比较常用的是通过神经网络识别人脸图像对应的人脸特征，基于人脸特征识别人脸图像之间的相似度。

步骤104，响应于选取的人脸图像与人脸数据库中的人脸图像不匹配，利用神经网络对选取的人脸图像进行质量评估。

当选取的人脸图像与人脸数据库中的人脸图像不匹配，在现有技术中会直接判断该人脸对应的人为陌生人，而本实施例对不能匹配的人脸图像首先进行质量评估，通过质量评估判断不能匹配是否是由于图像质量不佳造成的，避免了错误判断。

步骤105，根据选取的人脸图像的质量评估结果，若选取的人脸图像的质量不满足预设质量标准，选取与所述选取的人脸图像关联的任一其他帧人脸图像，执行将选取的人脸图像与人脸数据库中的人脸图像进行匹配的操作。

基于本发明上述实施例提供的一种人脸图像的匹配方法，通过将选取的人脸图像与人脸数据库中的人脸图像进行匹配；判断该人脸是否为库中人；响应于选取的人脸图像与人脸数据库中的人脸图像不匹配，利用神经网络对选取的人脸图像进行质量评估；根据选取的人脸图像的质量评估结果，若选取的人脸图像的质量不满足预设质量标准，选取与所述选取的人脸图像关联的任一其他帧人脸图像，，执行将选取的人脸图像与人脸数据库中的人脸图像进行匹配的操作；通过对不匹配的人脸图像进行质量评估，实现了人脸图像的二次判断，防止人脸图像由于质量不佳而被错误判断为陌生人，提高了人脸识别的准确度。

在本发明人脸识别方法上述各实施例的一个具体示例中，还包括：

直至选取的人脸图像的质量满足预设质量标准，输出对任一人脸的识别结果。

本实施例中，通过质量判断，直至获取到质量满足的人脸图像，此时，判断该人脸图像为陌生人，并将输出的识别结果作为最终的识别结果，能够保证完全避免由于质量差导致的误判。

在本发明人脸识别方法上述各实施例的一个具体示例中，还包括：

选取关联的任意其他帧人脸图像，执行将选取的人脸图像与人脸数据库中的人脸图像进行匹配的操作。

在本实施例中，针对已经判断为陌生人的人脸图像，在后续过程中，由于人脸数据库可能出现更新，或由于预设质量标准比较低，后续与该人脸图像属于同一个人的其他人脸图像有可能会被判断为库中人，因此，需要对已经判断为陌生人的人脸图像关联的其他人脸图像继续进行识别，以避免误判。

在本发明人脸识别方法上述各实施例的一个具体示例中，人脸数据库包括白名单用户的人脸图像及对应的人脸特征、和/或黑名单用户的人脸图像及对应的人脸特征。

在本实施例中，为了对人脸图像进行识别，在人脸数据库中存储有白名单用户的人脸图像及对应的人脸特征，还可以包括黑名单用户的人脸图像及对应的人脸特征，使识别过程更快捷，不需要在识别过程中单独再对人脸数据库中的人脸图像进行特征提取。

本发明人脸识别方法的另一个实施例，在上述各实施例的基础上，该实施例方法中，操作103之后，还可以包括：

响应于选取的人脸图像与人脸数据库中的人脸图像匹配，输出对任一人脸的识别结果。

本实施例提出选取的人脸图像与人脸数据库中的人脸图像匹配的情况，此时判断该人脸为库中人，通常对于库中人对应的人脸轨迹中的其他人脸图像将不再进行识别，在不影响正常的库中人识别的情况下，有效提升陌生人识别的准确率。

在本发明人脸识别方法上述各实施例的一个具体示例中，响应于选取的人脸图像与所述人脸数据库中的人脸图像匹配之后，还包括：

当人脸数据库中的人脸图像增加，不变更输出的识别结果；

当人脸数据库中的人脸图像减少，从任一人脸轨迹选取下一帧人脸图像，执行将选取的人脸图像与人脸数据库中的人脸图像进行匹配的操作。

本实施例指出，在将人脸轨迹识别为库中人之后，如果人脸数据库出现变化时，需要对识别结果进行更新，当人脸数据库中的人脸图像增加时，该人脸图像必然仍属于库中人；但当人脸数据库中的人脸图像减少时，该人脸图像将不一定属于库中人，此时，需要从该人脸图像对应的人脸轨迹中的选择下一帧人脸图像，以重新判断该人脸轨迹是否属于库中人，在人脸数据库中的人脸图像不变化时，该人脸图像必然仍属于库中人，不需要对该人脸轨迹继续识别。

图2为本发明人脸识别方法又一个实施例的流程图。如图2所示，本实施例方法包括：

步骤201，对视频进行人脸跟踪，分别针对视频中的任一人脸，由视频的至少一帧图像中的人脸图像形成一个人脸轨迹。

步骤202，从任一人脸对应的人脸轨迹中选取人脸图像。

选取人脸轨迹中的人脸图像并没有特定要求，通常是按照出现的时间顺序进行选取，从对应人脸出现的第一帧图像中的人脸图像开始选取，依次对人脸图像进行识别；当然，也可以随机的选取人脸轨迹中的任一人脸图像进行识别。

步骤103，将选取的人脸图像与人脸数据库中的人脸图像进行匹配。

匹配两个人脸图像是否相似有很多种方法，目前比较常用的是通过神经网络识别人脸图像对应的人脸特征，基于人脸特征识别人脸图像之间的相似度。

步骤104，响应于选取的人脸图像与人脸数据库中的人脸图像不匹配，利用神经网络对选取的人脸图像进行质量评估。

当选取的人脸图像与人脸数据库中的人脸图像不匹配，在现有技术中会直接判断该人脸对应的人为陌生人，而本实施例对不能匹配的人脸图像首先进行质量评估，通过质量评估判断不能匹配是否是由于图像质量不佳造成的，避免了错误判断。

步骤105，根据选取的人脸图像的质量评估结果，若选取的人脸图像的质量不满足预设质量标准，选取与所述选取的人脸图像关联的任一其他帧人脸图像，执行将选取的人脸图像与人脸数据库中的人脸图像进行匹配的操作。

本实施例中，对于视频抓拍的图像中出现的人脸建立人脸轨迹，便于对出现的人脸进行跟踪，通过对人脸进行跟踪可以将人脸轨迹中的所有人脸图像进行识别，能更好的判断该人脸对于的人是否是陌生人，克服了现有技术仅针对视频流中某一个或几个图像中的人脸进行识别会出现错误判断的问题。

在本发明人脸识别方法上述各实施例的一个具体示例中，该实施例方法中，操作201，包括：

基于视频获取至少两帧图像，基于人脸识别从每帧图像中获得至少一个人脸图像，利用神经网络分别对所述至少一个人脸图像进行特征提取；

判断每两帧图像中的人脸图像之间的相似度是否大于设定阈值，由相似度大于预设阈值的人脸图像生成一个人脸轨迹。

本实施例中，通过两个人脸图像的相似度判断是否属于同一个人，当两个人脸图像之间的相似度大于设定阈值，就基于这两个人脸图像得到一个人脸轨迹。

在本发明人脸识别方法上述各实施例的一个具体示例中，基于人脸识别从每帧图像中获得至少一个人脸图像，包括：

对图像通过多尺度金字塔变换获得至少两个不同大小的子图像；

对每个子图像分别通过神经网络计算获得对应的特征图，基于特征图获得对应子图像中的人脸位置坐标，得到至少两个人脸位置坐标；

利用非极大值抑制的方法对至少两个子图像对应的人脸位置坐标进行过滤，去除重叠冗余边界框，得到至少一个人脸图像。

本实施例中，人脸检测即给定一张图像，返回人脸位置和置信度。由于输出空间中大部分是背景，为了更高效地评估每个边界框，采用级联的方法，先用计算复杂度低的分类器过滤掉大部分背景，保留人脸，把更多的计算开销花在比较可能是人脸的区域。级联卷积神经网络是一个依赖深度卷积神经网络的技术，借鉴人脸检测中经典的级联算法的思想，通过设计多个深度卷积神经网络的级联网络，用海量人脸标注数据，训练出高精度、高查全率，并且速度达到是要要求的人脸检测系统。检测过程大致如下：对一张输入图片，对图片进行多尺度金字塔变换，对每个尺度的图片，各通过一个全卷积神经网络计算得到其特征图，回归预测出该尺度对应的人脸坐标位置，最后利用非极大值抑制的方法(NMS)对多个尺度下的预测结果进行过滤，去除重叠冗余边界框。

在本发明人脸识别方法上述各实施例的一个具体示例中，判断每两帧图像中的人脸图像之间的相似度是否大于设定阈值，包括：

基于每两帧图像中的人脸图像对应的人脸特征之间的距离，判断每两帧图像中的人脸图像之间的相似度是否大于设定阈值。

在本实施例中，通过人脸图像对应的人脸特征之间的距离判断这两个人脸图像的相似度，人脸特征之间的距离越小，说明对应人脸图像之间的相似度越高；反之，人脸特征之间的距离越大，说明对应人脸图像之间的相似度越低；两个人脸特征之间的距离可以包括：欧氏距离、马氏距离或余弦距离等；在具体示例中，在判断人脸特征之间的距离之前，还可以结合人脸关键点信息，对人脸特征进行点乘操作，以增强人脸特征。

在本发明人脸识别方法上述各实施例的一个具体示例中，选取与选取的人脸图像关联的任一其他帧人脸图像，包括：

选取对应的人脸轨迹中除选择的人脸图像之外的任一帧的人脸图像。

在本实施例中，由于人脸轨迹中的人脸图像都认为是同一个人，在选取与之前判断的人脸图像关联的其他人脸图像进行判断时，需要提取对应同一个人的其他图像，因此，基于人脸轨迹获取其他人脸图像。

本发明人脸识别方法的还一个实施例，在上述各实施例的基础上，该实施例方法中，操作103包括：

利用神经网络分别对选取的人脸图像和人脸数据库中的人脸图像进行特征提取，判断选择的人脸图像与人脸数据库中的人脸图像的相似度是否大于设定阈值。

本实施例中，对人脸图像是否属于人脸数据库，同样通过相似度判断，当两个人脸图像之间的相似度大于设定阈值，即可判断该人脸图像为库中人。

在本发明人脸识别方法上述各实施例的一个具体示例中，判断选择的人脸图像与所述人脸数据库中的人脸图像的相似度是否大于设定阈值，包括：

基于选择的人脸图像对应的人脸特征与人脸数据库中的人脸图像对应的人脸特征之间的距离，判断选择的人脸图像与人脸数据库中的人脸图像的相似度是否大于设定阈值。

在本实施例中，通过人脸图像对应的人脸特征之间的距离判断这两个人脸图像的相似度，人脸特征之间的距离越小，说明对应人脸图像之间的相似度越高；反之，人脸特征之间的距离越大，说明对应人脸图像之间的相似度越低；两个人脸特征之间的距离可以包括：欧氏距离、马氏距离或余弦距离等；在具体示例中，在判断人脸特征之间的距离之前，还可以结合人脸关键点信息，对人脸特征进行点乘操作，以增强人脸特征。

本发明人脸识别方法的再一个实施例，在上述各实施例的基础上，该实施例方法中，操作104包括：

利用神经网络获取选取的人脸图像的质量评价特征，质量评价特征包括以下任意一项或多项：人脸角度特征、双眼距离特征、人脸大小特征、人脸质量特征、人脸遮挡特征；

利用神经网络识别质量评价特征是否满足预设质量标准。

本实施例中，可以通过一个神经网络的不同卷积层分别获取上述特征，或通过多个神经网络分别获得上述特征；获取特征的过程并不影响本实施例对质量评价特征的判断，其中人脸角度特征还包括：判断偏航角特征(人脸左右偏转度)、俯仰角特征(人脸上下角度)和翻滚角特征(人头歪的角度)等特征，能更细致的体现人脸图像的质量。

在本发明人脸识别方法上述各实施例的一个具体示例中，质量评价特征满足预设质量标准，包括满足以下任意一项或多项条件：选取的人脸图像的人脸角度特征对应的人脸角度符合预设角度条件；

和/或，选取的人脸图像的双眼距离特征对应的双眼距离符合预设距离条件；

和/或，选取的人脸图像的人脸大小特征对应的人脸大小大于预设阈值；

和/或，选取的人脸图像的人脸质量特征对应的人脸质量符合预设质量条件；

和/或，选取的人脸图像的人脸遮挡特征对应的人脸比例大于预设比例阈值。

本实施例中的预设条件和/或预设阈值可以通过预先设定，或通过大数据统计获得，当满足所需条件时，即可判断该人脸图像的质量符合标准，此时如果该人脸图像不能与人脸数据库中的人脸图像匹配就判断该人脸图像对应的人脸为陌生人；而当人脸图像质量不满足所需条件时，即可判断该人脸图像属于模糊图像，基于该模糊图像无法判断该人脸图像对应的人脸是否属于陌生人还是库中人，因此，需要继续对该人脸图像对应的人脸轨迹中的人脸图像进行识别。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图3为本发明人脸识别装置一个实施例的结构示意图。该实施例的装置可用于实现本发明上述各方法实施例。如图3所示，该实施例的装置包括：

匹配单元33，用于将选取的人脸图像与人脸数据库中的人脸图像进行匹配。

匹配两个人脸图像是否相似有很多种方法，目前比较常用的是通过神经网络识别人脸图像对应的人脸特征，基于人脸特征识别人脸图像之间的相似度。

质量评估单元34，用于响应于选取的人脸图像与人脸数据库中的人脸图像不匹配，利用神经网络对选取的人脸图像进行质量评估。

当选取的人脸图像与人脸数据库中的人脸图像不匹配，在现有技术中会直接判断该人脸对应的人为陌生人，而本实施例对不能匹配的人脸图像首先进行质量评估，通过质量评估判断不能匹配是否是由于图像质量不佳造成的，避免了错误判断。

不满足预设单元35，用于根据选取的人脸图像的质量评估结果，当选取的人脸图像的质量不满足预设质量标准，选取与选取的人脸图像关联的任一其他帧人脸图像，返回执行匹配单元的操作。

基于本发明上述实施例提供的一种人脸图像的匹配装置，将选取的人脸图像与人脸数据库中的人脸图像进行匹配；判断该人脸是否为库中人；响应于选取的人脸图像与人脸数据库中的人脸图像不匹配，利用神经网络对选取的人脸图像进行质量评估；根据选取的人脸图像的质量评估结果，若选取的人脸图像的质量不满足预设质量标准，选取与所述选取的人脸图像关联的任一其他帧人脸图像，，执行将选取的人脸图像与人脸数据库中的人脸图像进行匹配的操作；通过对不匹配的人脸图像进行质量评估，实现了人脸图像的二次判断，防止人脸图像由于质量不佳而被错误判断为陌生人，提高了人脸识别的准确度。

在本发明人脸识别装置上述各实施例的一个具体示例中，还包括：

满足预设单元，用于当选取的人脸图像的质量满足预设质量标准，输出对任一人脸的识别结果。

在本发明人脸识别装置上述各实施例的一个具体示例中，满足预设单元，还用于选取关联的任意其他帧人脸图像，执行将选取的人脸图像与人脸数据库中的人脸图像进行匹配的操作。

在本发明人脸识别装置上述各实施例的一个具体示例中，人脸数据库包括白名单用户的人脸图像及对应的人脸特征、和/或黑名单用户的人脸图像及对应的人脸特征。

本发明人脸识别装置的另一个实施例，在上述各实施例的基础上，该实施例装置中，还包括：匹配输出单元，用于响应于选取的人脸图像与人脸数据库中的人脸图像匹配，输出对任一人脸的识别结果。

本实施例提出选取的人脸图像与人脸数据库中的人脸图像匹配的情况，此时判断该人脸为库中人，通常对于库中人对应的人脸轨迹中的其他人脸图像将不再进行识别，在不影响正常的库中人识别的情况下，有效提升陌生人识别的准确率。

在本发明人脸识别装置上述各实施例的一个具体示例中，匹配输出单元，还用于当人脸数据库中的人脸图像增加，不变更输出的识别结果；当人脸数据库中的人脸图像减少，从任一人脸轨迹选取下一帧人脸图像，执行将选取的人脸图像与人脸数据库中的人脸图像进行匹配的操作。

图4为本发明人脸识别装置又一个实施例的结构示意图。如图4所示，该实施例装置包括：

轨迹跟踪单元41，用于对视频进行人脸跟踪，分别针对视频中的任一人脸，由视频的至少一帧图像中的人脸图像形成一个人脸轨迹。

图像选取单元42，用于从任一人脸对应的人脸轨迹中选取人脸图像。

选取人脸轨迹中的人脸图像并没有特定要求，通常是按照出现的时间顺序进行选取，从对应人脸出现的第一帧图像中的人脸图像开始选取，依次对人脸图像进行识别；当然，也可以随机的选取人脸轨迹中的任一人脸图像进行识别。

匹配单元33，用于将选取的人脸图像与人脸数据库中的人脸图像进行匹配。

匹配两个人脸图像是否相似有很多种方法，目前比较常用的是通过神经网络识别人脸图像对应的人脸特征，基于人脸特征识别人脸图像之间的相似度。

质量评估单元34，用于响应于选取的人脸图像与人脸数据库中的人脸图像不匹配，利用神经网络对选取的人脸图像进行质量评估。

当选取的人脸图像与人脸数据库中的人脸图像不匹配，在现有技术中会直接判断该人脸对应的人为陌生人，而本实施例对不能匹配的人脸图像首先进行质量评估，通过质量评估判断不能匹配是否是由于图像质量不佳造成的，避免了错误判断。

不满足预设单元35，用于根据选取的人脸图像的质量评估结果，当选取的人脸图像的质量不满足预设质量标准，选取与选取的人脸图像关联的任一其他帧人脸图像，返回执行匹配单元的操作。

本实施例中，对于视频抓拍的图像中出现的人脸建立人脸轨迹，便于对出现的人脸进行跟踪，通过对人脸进行跟踪可以将人脸轨迹中的所有人脸图像进行识别，能更好的判断该人脸对于的人是否是陌生人，克服了现有技术仅针对视频流中某一个或几个图像中的人脸进行识别会出现错误判断的问题。

在本发明人脸识别装置上述各实施例的一个具体示例中，轨迹跟踪单元21，包括：

人脸识别模块，用于基于视频获取至少两帧图像，基于人脸识别从每帧图像中获得至少一个人脸图像，利用神经网络分别对至少一个人脸图像进行特征提取；

轨迹生成模块，用于判断每两帧图像中的人脸图像之间的相似度是否大于设定阈值，由相似度大于预设阈值的人脸图像生成一个人脸轨迹。

本实施例中，通过两个人脸图像的相似度判断是否属于同一个人，当两个人脸图像之间的相似度大于设定阈值，就基于这两个人脸图像得到一个人脸轨迹。

在本发明人脸识别装置上述各实施例的一个具体示例中，人脸识别模块，具体用于对图像通过多尺度金字塔变换获得至少两个不同大小的子图像；对每个子图像分别通过神经网络计算获得对应的特征图，基于特征图获得对应子图像中的人脸位置坐标，得到至少两个人脸位置坐标；利用非极大值抑制的方法对至少两个子图像对应的人脸位置坐标进行过滤，去除重叠冗余边界框，得到至少一个人脸图像。

在本发明人脸识别装置上述各实施例的一个具体示例中，轨迹生成模块，具体用于基于每两帧图像中的人脸图像对应的人脸特征之间的距离，判断每两帧图像中的人脸图像之间的相似度是否大于设定阈值。

在本发明人脸识别装置上述各实施例的一个具体示例中，不满足预设单元和满足预设单元选择的任意其他帧人脸图像为所述任一人脸轨迹中除选择的人脸图像之外的任一帧的人脸图像。

本发明人脸识别装置的还一个实施例，在上述各实施例的基础上，该实施例装置中，匹配单元33，包括：

特征提取模块，用于利用神经网络分别对选取的人脸图像和人脸数据库中的人脸图像进行特征提取；

阈值判断模块，用于判断选择的人脸图像与人脸数据库中的人脸图像的相似度是否大于设定阈值。

本实施例中，对人脸图像是否属于人脸数据库，同样通过相似度判断，当两个人脸图像之间的相似度大于设定阈值，即可判断该人脸图像为库中人。

在本发明人脸识别装置上述各实施例的一个具体示例中，阈值判断模块，具体用于基于选择的人脸图像对应的人脸特征与人脸数据库中的人脸图像对应的人脸特征之间的距离，判断选择的人脸图像与人脸数据库中的人脸图像的相似度是否大于设定阈值。

本发明人脸识别装置的再一个实施例，在上述各实施例的基础上，该实施例装置中，质量评估单元34，包括：

质量评价模块，用于利用神经网络获取选取的人脸图像的质量评价特征，质量评价特征包括以下任意一项或多项：人脸角度特征、双眼距离特征、人脸大小特征、人脸质量特征、人脸遮挡特征；

标准判断模块，用于利用神经网络识别质量评价特征是否满足预设质量标准。

本实施例中，可以通过一个神经网络的不同卷积层分别获取上述特征，或通过多个神经网络分别获得上述特征；获取特征的过程并不影响本实施例对质量评价特征的判断，其中人脸角度特征还包括：判断偏航角特征(人脸左右偏转度)、俯仰角特征(人脸上下角度)和翻滚角特征(人头歪的角度)等特征，能更细致的体现人脸图像的质量。

在本发明人脸识别装置上述各实施例的一个具体示例中，质量评价特征满足预设质量标准，包括满足以下任意一项或多项条件：选取的人脸图像的人脸角度特征对应的人脸角度符合预设角度条件；

和/或，选取的人脸图像的双眼距离特征对应的双眼距离符合预设距离条件；

和/或，选取的人脸图像的人脸大小特征对应的人脸大小大于预设阈值；

和/或，选取的人脸图像的人脸质量特征对应的人脸质量符合预设质量条件；

和/或，选取的人脸图像的人脸遮挡特征对应的人脸比例大于预设比例阈值。

根据本发明实施例的一个方面，提供的一种电子设备，包括处理器，处理器包括本发明上述任一实施例所述的人脸识别装置。

根据本发明实施例的一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；

以及处理器，用于与存储器通信以执行可执行指令从而完成本发明人脸识别方法上述任一实施例的操作。

根据本发明实施例的一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，所述指令被执行时执行本发明人脸识别方法上述任一实施例的操作。

本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图5，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备500的结构示意图：如图5所示，计算机系统500包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)501，和/或一个或多个图像处理器(GPU)513等，处理器可以根据存储在只读存储器(ROM)502中的可执行指令或者从存储部分508加载到随机访问存储器(RAM)503中的可执行指令而执行各种适当的动作和处理。通信部512可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，

处理器可与只读存储器502和/或随机访问存储器530中通信以执行可执行指令，通过总线504与通信部512相连、并经通信部512与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，将选取的人脸图像与人脸数据库中的人脸图像进行匹配；响应于选取的人脸图像与人脸数据库中的人脸图像不匹配，利用神经网络对选取的人脸图像进行质量评估；根据选取的人脸图像的质量评估结果，若选取的人脸图像的质量不满足预设质量标准，选取与所述选取的人脸图像关联的任一其他帧人脸图像，执行将选取的人脸图像与人脸数据库中的人脸图像进行匹配的操作。

此外，在RAM 503中，还可存储有装置操作所需的各种程序和数据。CPU501、ROM502以及RAM503通过总线504彼此相连。在有RAM503的情况下，ROM502为可选模块。RAM503存储可执行指令，或在运行时向ROM502中写入可执行指令，可执行指令使处理器501执行上述通信方法对应的操作。输入/输出(I/O)接口505也连接至总线504。通信部512可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

需要说明的，如图5所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图5的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明公开的保护范围。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，将选取的人脸图像与人脸数据库中的人脸图像进行匹配；响应于选取的人脸图像与人脸数据库中的人脸图像不匹配，利用神经网络对选取的人脸图像进行质量评估；根据选取的人脸图像的质量评估结果，若选取的人脸图像的质量不满足预设质量标准，选取与所述选取的人脸图像关联的任一其他帧人脸图像，执行将选取的人脸图像与人脸数据库中的人脸图像进行匹配的操作。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。

可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种人脸识别方法，其特征在于，包括：

将选取的人脸图像与人脸数据库中的人脸图像进行匹配；

响应于选取的人脸图像与所述人脸数据库中的人脸图像不匹配，利用神经网络对所述选取的人脸图像进行质量评估；

根据所述选取的人脸图像的质量评估结果，若所述选取的人脸图像的质量不满足预设质量标准，选取与所述选取的人脸图像关联的任一其他帧人脸图像，执行所述将选取的人脸图像与人脸数据库中的人脸图像进行匹配的操作。

2.根据权利要求1所述的方法，其特征在于，还包括：

直至所述选取的人脸图像的质量满足预设质量标准，输出对所述任一人脸的识别结果。

3.根据权利要求2所述的方法，其特征在于，直至所述选取的人脸图像的质量满足预设质量标准，输出对所述任一人脸的识别结果之后，还包括：

选取关联的任意其他帧人脸图像，执行所述将选取的人脸图像与人脸数据库中的人脸图像进行匹配的操作。

4.根据权利要求1-3任一所述的方法，其特征在于，所述人脸数据库包括白名单用户的人脸图像及对应的人脸特征、和/或黑名单用户的人脸图像及对应的人脸特征。

5.根据权利要求1-4任一所述的方法，其特征在于，响应于所述选取的人脸图像与所述人脸数据库中的人脸图像匹配，输出对所述任一人脸的识别结果。

6.根据权利要求5所述的方法，其特征在于，响应于所述选取的人脸图像与所述人脸数据库中的人脸图像匹配之后，还包括：

当所述人脸数据库中的人脸图像增加，不变更所述输出的识别结果；

当所述人脸数据库中的人脸图像减少，从所述任一人脸轨迹选取下一帧人脸图像，执行所述将选取的人脸图像与人脸数据库中的人脸图像进行匹配的操作。

7.一种人脸识别装置，其特征在于，包括：

匹配单元，用于将选取的人脸图像与人脸数据库中的人脸图像进行匹配；

质量评估单元，用于响应于选取的人脸图像与所述人脸数据库中的人脸图像不匹配，利用神经网络对所述选取的人脸图像进行质量评估；

不满足预设单元，用于根据所述选取的人脸图像的质量评估结果，当所述选取的人脸图像的质量不满足预设质量标准，选取与所述选取的人脸图像关联的任一其他帧人脸图像，返回执行匹配单元的操作。

8.一种电子设备，其特征在于，包括处理器，所述处理器包括权利要求7所述的人脸识别装置。

9.一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；

以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至6任意一项所述人脸识别方法的操作。

10.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至6任意一项所述人脸识别方法的操作。