CN110647820A - 基于特征空间超分辨映射的低分辨率人脸识别方法 - Google Patents

Abstract

本发明所要解决的技术问题是提出一种基于特征空间超分辨映射的低分辨率人脸识别方法，设计了一个残差block作为映射模块基础架构，级联在人脸识别神经网络中特征提取部分之后。因为映射模块是一个轻量级神经网络，并且输入特征谱分辨率尺寸远低于原图尺寸，因此本方法的计算量远远低于图像空间超分辨率的方法，同时因为是在识别特征上映射，可以更有针对性地得到高判别性地高分辨人脸特征。本发明对低分辨率人脸识别有显著提升且计算代价很小，可以有效解决安防场景中无法识别低分辨率人脸的问题，是更适合实际产品部署的方法。

Description

基于特征空间超分辨映射的低分辨率人脸识别方法

技术领域

本发明涉及计算机视觉技术，具体涉及低分辨率人脸识别技术。

背景技术

人脸识别是计算机视觉技术中最早、最广泛落地的技术之一，特别是在安防和移动支付领域带来了良好的经济效益。随着深度学习在人脸识别技术中的广泛应用，识别准确率得到了巨大提升，在特定场景和姿态下准确率已经可以达到商用标准。然而在更为通用的无约束自然场景下，采集的人脸图片可能具有不同的分辨率、姿态、光照、表情等，识别率会远远低于约束场景。特别在安防用途的室外场景中，监控摄像头采集的绝大多数人脸处在摄像头10米以外，导致人脸分辨率较低，现有的通用人脸识别算法无法有效识别分辨率30x30及以下的人脸，带来严重的安全漏洞。出现这一问题的主要原因，是低分辨率人脸提取的特征不具有强区分性。

为解决低分辨率人脸识别问题，目前集中在输入端人脸图像的处理。一类工作是通过对输入图像进行超分辨率重建，并且大多采用已有的图像超分辨率卷积神经网络SR-CNN,这一类方法需要在识别之前加入超分辨网络，增加了整个流程的步骤数，并且重建后的图像仍然无法为识别提供足够有用信息。另一类工作是依靠对抗生成网络GAN合成高分辨率人脸图像，用于后续的识别工作，但是合成的人脸图像往往很不自然并且带有较大不确定性，同时合成高分辨人脸需要较大的计算量，不利于模型的嵌入式端部署。

发明内容

本发明所要解决的技术问题是，针对先低分辨率人脸识别均是基于图像的超分辨率重建，计算量大且重建图像的判别性不高，而提出一种具有高判别性的低分辨率人脸识别方法。

本发明为解决上述技术问题所采用的技术方案是，基于特征空间超分辨映射的低分辨率人脸识别方法，包括以下步骤：

一、训练步骤：

1)完成对人脸识别神经网络的训练；所述人脸识别神经网络能有效识别高分辨率人脸；

2)完成对特征映射模块的训练；所述特征映射模块用于实现从低分辨率人脸特征谱到高分辨率人脸特征谱的映射；所述高分辨率人脸为分辨率为30x30以上的人脸图像，所述低分辨率人脸为分辨率在30x30及以下的人脸图像；

二、识别步骤：

1)获取输入的人脸图像的分辨率；

2)将人脸图像输入至训练完成的人脸分类网络，当人脸图像为低分辨率人脸时，将人脸分类网络中最后一层特征提取卷积层输出的特征谱经过全局平均池化完成维度匹配之后作为输入的人脸图像的；当人脸图像为高分辨率人脸时，将人脸分类网络中最后一层特征提取全连接层输出的特征向量作为输入的人脸图像的特征向量；

3)依次计算输入的人脸图像的特征向量与数据库中已注册的各个人脸特征向量的余弦相似度，当有余弦相似度高于阈值的情况，则表明有识别结果输出，将对应的余弦相似度最高的已注册人脸作为识别结果输出。

现有解决方案都是，不仅计算量较大而且不能将重建的重点放在人脸识别中具有高判别性的特征上。当输入人脸图像分辨率较低时，现有人脸识别神经网络无法提取出具有高判别性的特征。

本发明采用了一个先验假设，即低分辨率人脸的特征谱保留了全部特征的一部分，而丢失的部分是可以通过一个神经网络学习回来的，因此本发明设计了一个残差block作为映射模块基础架构，级联在人脸识别神经网络中特征提取部分之后。因为映射模块是一个轻量级神经网络，并且输入特征谱分辨率尺寸远低于原图尺寸，因此本方法的计算量远远低于图像空间超分辨率的方法，同时因为是在识别特征上映射，可以更有针对性地得到高判别性地高分辨人脸特征。

本发明的有益效果是，对低分辨率人脸识别有显著提升且计算代价很小，可以有效解决安防场景中无法识别低分辨率人脸的问题，是更适合实际产品部署的方法。

附图说明

图1：特征映射模块示意图。

图2：本发明流程图。

图3：人脸识别网络结构示意图。

具体实施方式

当输入人脸图像分辨率较低时，现有人脸识别神经网络无法提取出具有高判别性的特征。人脸识别神经网络的采用20层的ResNet的结构，如图3所示，通过级联的8个残差block提取人脸特征，并经过fc5与fc6两个全连接层后计算损失，通常可以将fc5层输出视为人脸特征向量，fc6的目的是对此特征向量做最终的分类。损失的设计原则是让特征的判别性更强，即同类特征间隔尽量小，不同类特征间隔尽量大。基于此思想将交叉熵损失改进为具有乘性角度边界的A-SoftMax损失：

x_i、x_j分别表示第i、j个输入的特征向量，θ_i、θ_j分别表示第i个特征向量的夹角、第j个特征向量的夹角，N表示训练的批尺寸batch size，m表示乘性角度间隔。可以证明当满足特征均匀分布的先验假设时，只要满足m>＝3，即可保证最小类间间距大于最大类内间距。

利用上述方法可以训练一个人脸识别网络，直接取该网络的最后一层特征提取全连接层fc5作为输出即为一个有效的人脸特征提取器。然而该方法针对的是清晰的高分辨率人脸的特征提取，当输入为低分辨率人脸时，提取的特征无法有效判别与验证。于是以该特征提取器为基础，训练特征映射模块。

本发明采用全新提出的特征映射模块，级联在识别网络后面，得到具有高判别性的高分辨人脸的特征。如图1所示，基于低分辨人脸保留了高分辨人脸部分部分信息这一先验知识，本发明采用一个残差结构来学习丢失的信息(即残差)，又因为不同分辨率输入需要的残差不同，越低分辨的输入需要的残差越大，本发明通过Fc1与Fc2两个全连接层自适应的学习残差的权重，而残差本身的学习参考了图像超分辨网络的结构，通过一次卷积(3x3Conv)和一次反卷积(3x3Deconv)完成。实施例的特征映射，是在输出特征向量前一层的特征谱(即res4_3层输出)上进行的，本发明分别提取同一样本90x90以上高分辨率人脸的特征谱与随机降采样到30x30至10x10之间的低分辨率人脸的特征谱作为标签与输入，学习后者到前者的映射。

在对人脸识别神经网络、特征映射模块进行训练时。首先，需要制作训练数据集。将训练集分为两份，一份是用于特征提取的分类数据集，每个人就是一个类别，一份是从WIDER FACE等自然场景人脸数据集中选取的分辨率在90x90以上的高分辨率人脸，不需要任何标签。第二份数据集中每张图像提取两种特征：1)原图输入特征提取器提取出fc5前一个卷积层的特征谱(feature map 1)；2)将原图尺寸乘一个随机数得到新尺寸，随机下采样到10x10到30x30之间的低分辨率图像，输入网络提取fc5前一个卷积层的特征谱(featuremap 2)。

通过残差结构学习feature map 2相对于feature map 1丢失的信息，featuremap 2的映射公式如下：

Y(x)＝x+γ(x)·h(x) (2)

式中，x是输入的低分辨率人脸特征谱，Y(x)是映射得到的输出，h(x)是学习到的残差，γ(x)是自适应得到的残差的权重。

采用均方误差作为损失优化参数，使映射得到的Y(x)尽量接近高分辨率人脸特征谱y，损失函数如下：

y_i为第i个高分辨率人脸特征谱，Y_i(x)的i个是高分辨率人脸特征谱通过特征映射模块的输出，N表示批尺寸。在训练时，因为本模块的参数量很低，可以将N取大一些，比如在Nvidia TITAN X中可以取256，这样可以使得模型更快收敛。

实际测试中，对得到的映射特征谱Y(x)做全局平均池化，即可得到512维特征向量，通过与注册库中特征向量计算余弦相似度即可判断是否是同一个人：

如图2所示，在训练完成后，进行人脸识别时，主要包括三个步骤：面部特征的提取、特征分辨映射和人脸特征比对三步骤。

步骤一：

第1步：判断输入人脸的分辨率。

第2步：用A-SoftMax损失训练人脸特征提取器，输入人脸图像并进行网络前传。

第3步：若第1步判断是分辨率大于30x30的人脸图像，则在最后一层特征提取全连接层fc5输出特征向量并跳转到步骤三；若1步判断是分辨率小于30x30的人脸图像，则在最后一层特征提取卷积层conv4-1输出特征谱，进入步骤二。

步骤二：将卷积层conv4-1输出特征谱通过全局平均池化转化为512维特征向量后输入至特征映射模块，特征映射模块输出特征向量到步骤三；

步骤三：计算输入的特征向量与数据库中已注册的各个特征向量的余弦相似度；若输出余弦相似度高于阈值的特征所属个体名称，若多于一个，输出余弦相似度最高的特征所属个体名称。

经试验表明，在降采样到30x30以下的LFW人脸数据集上，使用本发明方法后，识别率由57.1％上升至69.4％。显然，本方法对低分辨率人脸识别有显著提升且计算代价很小，是更适合实际产品部署的方法。

Claims (5)

1.基于特征空间超分辨映射的低分辨率人脸识别方法，其特征在于，包括以下步骤：

一、训练步骤：

1)完成对人脸识别神经网络的训练；所述人脸识别神经网络能有效识别高分辨率人脸；

2)完成对特征映射模块的训练；所述特征映射模块用于实现从低分辨率人脸特征谱到高分辨率人脸特征谱的映射；所述高分辨率人脸为分辨率为30x30以上的人脸图像，所述低分辨率人脸为分辨率在30x30及以下的人脸图像；

二、识别步骤：

1)获取输入的人脸图像的分辨率；

2)将人脸图像输入至训练完成的人脸分类网络，当人脸图像为低分辨率人脸时，将人脸分类网络中最后一层特征提取卷积层输出的特征谱经过全局平均池化完成维度匹配之后作为输入的人脸图像的；当人脸图像为高分辨率人脸时，将人脸分类网络中最后一层特征提取全连接层输出的特征向量作为输入的人脸图像的特征向量；

3)依次计算输入的人脸图像的特征向量与数据库中已注册的各个人脸特征向量的余弦相似度，当有余弦相似度高于阈值的情况，则表明有识别结果输出，将对应的余弦相似度最高的已注册人脸作为识别结果输出。

2.如权利要求1所述方法，其特征在于，训练人脸识别神经网络时的损失函数为：

其中，x_i、x_j分别表示第i、j个输入的特征向量，θ_i、θ_j分别表示第i个特征向量的夹角、第j个特征向量的夹角，N表示批尺寸，m表示乘性角度间隔。

3.如权利要求1所述方法，其特征在于，特征映射模块的训练方法为：提取同一人脸样本高分辨率人脸的特征谱与降采样到低分辨率人脸的特征谱作为特征映射模块的输入，特征映射模块通过残差结构学习低分辨率人脸的特征谱到高分辨率人脸的特征谱的映射，映射公式如下：

Y(x)＝x+γ(x)·h(x)

式中，x是输入的低分辨率人脸特征谱，Y(x)是映射得到的输出，h(x)是学习到的残差，γ(x)是自适应得到的残差的权重；

特征映射模块的损失函数为：

其中，y_i为第i个高分辨率人脸特征谱，Y_i(x)的i个是高分辨率人脸特征谱通过特征映射模块的输出，N表示批尺寸，‖·‖₂为2范数。

4.如权利要求3所述方法，其特征在于，对人脸识别神经网络的训练时，将自然场景人脸数据集中选取分辨率在90x90以上的高分辨率人脸作为人脸识别神经网络的输入；

特征映射模块训练过程中，提取人脸样本高分辨率人脸的特征谱的具体方式为：高分辨率人脸输入人脸识别神经网络后，提取最后一层特征提取卷积层输出的特征谱。

5.如权利要求1所述方法，其特征在于，余弦相似度sim的计算方法为：

x₁、x₂分别为两个特征向量，θ₁₂为两个特征向量的夹角。

Images