CN111368683A - 基于模约束CentreFace的人脸图像特征提取方法及人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于模约束CentreFace的人脸图像特征提取方法及人脸识别方法，该方法包括以下步骤：获取低分辨率人脸数据集，对数据集进行预处理；根据应用的任务环境选取合适的基础卷积神经网络；使用Softmax损失、中心损失和模损失函数在训练数据集上对人脸识别模型进行联合监督，得到人脸识别模型；使用人脸识别模型提取人脸图像的特征代表向量，根据阈值判定相似性或根据距离排序给出人脸识别结果。本发明基于CentreFace算法的损失函数进一步提出一种模损失函数用于联合训练，通过大量监控下的低分辨率人脸图像获得较好的人脸识别模型。

Description

基于模约束CentreFace的人脸图像特征提取方法及人脸识别 方法

技术领域

本发明涉及低分辨率人脸识别领域，特别是涉及一种基于模约束CentreFace的人脸图像特征提取方法及人脸识别方法。

背景技术

人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。人脸识别在人脸验证，接入控制，安全监控，人机交互等领域有广泛的应用。当前在卷积神经网络上执行人脸识别任务表现优异。因此卷积神经网络也是解决人脸识别问题的主要方法。很多成熟的人脸识别技术都是针对约束状态下的人脸图像，所谓约束状态，就是人脸所在环境较为理想，没有过多的复杂干扰条件，该状态下的人脸图像都能取得很高的识别率。尽管已有的人脸识别系统在特定约束环境下的识别率令人满意，但在实际环境尤其在公共场合的视频监控应用中，由于监控对象的不配合及监控摄像头距离较远等因素导致获得的图像质量较低，使得识别性能很不理想，这种情形下的人脸识别统称为低分辨率人脸识别。

市场上主流的人脸识别技术大多数是约束状态下的人脸识别，这类情况下提取到的人脸图像一般是较高质量的，即背景光照良好，姿态表情较为统一，像素清晰，对于这类高质量的人脸图像，包含的鉴别信息较多，人脸识别技术能够充分的提取这些人脸特征信息用于识别，所以识别效果理想。而复杂场景采集到的低分辨率人脸图像大多是像素密度低、多噪声、背景复杂、质量偏低的，直接用于人脸识别难以达到理想的识别率，原因在于这类图像包含的有效信息较少，提取到的人脸特征不够充分，导致人脸验证阶段无法很好的匹配样本特征，无法满足实际的应用需求。

为了获得具有高度区分性的人脸特征，近年来提出了一系列新的深度学习人脸识别方法，例如DeepID2、FaceNet、CentreFace、SphereFace和ArcFace等，这些方法在解决低分辨率人脸识别问题时通常能够表现出良好的性能。2014年提出的DeepFace和DeepID系列主要是先训练Softmax多分类器；然后抽取特征层，用特征再训练另一个神经网络、孪生网络或组合贝叶斯等人脸验证框架。2015年FaceNet提出了一个绝大部分人脸问题的统一解决框架，直接学习嵌入特征，然后人脸识别、人脸验证和人脸聚类等都基于这个特征来做。FaceNet在DeepID2的基础上，抛弃了分类层，再将Contrastive Loss改进为Triplet Loss，获得更好的类内紧凑和类间差异。2017年SphereFace中提出的A-Softmax，是L-Softmax的改进，提出了角度间隔损失，又归一化了权值，让训练更加集中在优化深度特征映射和特征向量角度上，降低样本数量不均衡问题。2018年ArcFace提出加性角度间隔损失，还归一化特征向量和权重，几何上有恒定的线性角度margin。直接优化弧度，为了模型性能的稳定，ArcFace不需要与其他损失函数联合监督。

低分辨率人脸检测主要难点包括：光照的复杂多变的问题，图像序列中存在的人脸图像可能会因为光源的照射角度或监控环境中同时存在的多个光源，导致阴影或对比度的变化，增加了人脸识别进行人脸检测的难度；拍摄角度以及图像清晰度的问题，如果因为拍摄角度人脸成像距离较远，或者图像序列分辨率比较低，这也可能会导致人脸图像清晰度差，从而使人脸无法被正确检测；遮挡物问题，人脸图像中可能存在遮挡物，在应用场景中的人脸图像可能因为眼镜、帽子等遮挡物会影响到检测结果，除此之外，刘海、胡子等的变化也可能对人脸图像检测造成影响；人脸复杂的细节变化问题，人脸的成像可能会因为表情的变化而产生不同的效果，除此之外，人脸图像的角度旋转也影响到人脸识别过程中的人脸检测的正确检测率。

因此目前亟需一种能够尝试解决上述问题而获得特征提取能力更强的人脸识别模型的构建方法，以提升低分辨率人脸识别模型的识别准确度。

发明内容

本发明的目的在于克服现有技术的不足，进而提高低分辨率人脸识别的准确率。为了实现本发明目的，本发明提出了一种基于模约束CentreFace的人脸图像特征提取方法及人脸识别方法，以提升人脸识别模型的准确率。

为实现上述目的，本发明采用如下技术方案：

本申请提供一种基于模约束CentreFace的低分辨率人脸识别方法，包括：

A、获取监控下低分辨率人脸数据集QMUL-SurvFace，对数据集进行预处理操作以获得固定大小的人脸图像，然后用于训练人脸识别模型；

B、根据任务的应用环境选取一个较为合适的基础卷积神经网络；

C、在CentreFace的基础上，提出模损失函数，和CentreFace中的Softmax损失、中心损失函数进行联合监督，最小化损失函数，获得最优的人脸识别模型；

D、使用人脸识别模型提取输入图像的特征代表向量，根据阈值判定相似性或根据距离排序给出人脸识别结果。

由上，本申请在CentreFace方法的基础上提出了模损失函数，该模损失函数可以在保持特征向量间类内距离基本不变的情况下，增大类间距离，提高模型的泛化能力，避免错误分类，进而提升人脸识别模型的识别准确度。

在低分辨率图像的处理过程中，由于图像经常是模糊的、光照不均匀的或人脸姿势不正确的，这些干扰因素使得基于深度模型和预处理的技术(例如人脸正面化和人脸对齐)，不能直接应用于低分辨率的人脸图像。CentreFace采用尺寸为112×112的RGB图像作为输入，所述的预处理步骤包括：先将所有低分辨率图像resize为112×112尺寸的图像，并随机改变训练集中人脸图像的亮度以作为数据增强；最后进行数据归一化，将处理人脸图像时获得的像素值减去127.5再除以128，缩放到[-1，1]之间。

所述的特征提取步骤采用卷积神经网络结构，若在计算资源有限的移动设备端，则调用一轻量级基础卷积神经网络结构，在对识别准确度要求较高的系统上执行人脸识别任务时，则会调用重量级基础卷积神经网络，根据任务环境需要选取基础卷积神经网络进行训练，可以训练获取与任务环境更匹配的人脸识别模型。本申请主要采用如下表所示的卷积神经网络结构ResNet-50来提取输入图像的特征向量。

所述的特征提取步骤使用模损失函数结合Softmax损失函数以及中心损失函数进行联合监督。用Softmax损失函数来监督类间特征进行分离，可表示为：

其中x_n表示第n个特征向量，y_n是对应于x_n的类别，W_m表示最后全连接层权重W的第m列，b是偏差(可省略)，N是batch大小，M是训练集中种类个数。Softmax损失函数确保可以通过决策边界来区分学习到的不同类别的深度特征。加入中心损失函数用来减少类内距离，可表示如下：

c_yn表示y_n类的中心特征向量，它应随着训练时数据的变化而不断更新。最后在Softmax损失函数和中心损失函数的基础上添加了模损失函数。模损失函数可以在保持类内距离的情况下，增加类间距离。提出的模损失函数表示如下：

L_N损失表示每个类中心点到原点O的平均距离。在总的损失函数中加入L_N是为了防止在训练期间随着类内距离的减少，类间距离也随之减少。总的损失函数表示如下：

L＝L_S+λ₁L_C+λ₂L_N

通过实验分析将参数设置为λ₁＝0.005，λ₂＝0.2。本发明中的人脸识别包括1：1和1：N两种，1：1指验证所述待识别的两幅人脸图像是否属于同一人，1：N指将所述单幅人脸图像分别与预设数据库中的各个人脸图像以一比对。1：1时获取该两幅人脸图像的特征余弦相似度值，当所述特征余弦相似度值大于指定阈值时，则验证结果为所述两幅人脸图像属于同一人。当1：N识别时将图像输入人脸识别模型中，获取与各个人脸图像的余弦相似度得分中的最高分。判断所述最高得分大于指定阈值时，则识别结果为所述最高得分对应的数据库中的人脸图像对应的身份与所述待识别的单幅人脸图像所对应的身份匹配。

与现有技术相比，本发明的有益效果是：

本发明提出了模损失函数并将该损失与Softmax损失和中心损失相加，三种损失函数联合监督进行训练。相比于仅使用Softmax损失和中心损失，加入模损失函数可以在保持特征类内距离不变的情况下，增大类间距离，从而增强人脸识别模型对特征的判别能力。由此训练的人脸识别模型可以提升特征提取的能力，从而在使用时提升人脸识别的准确率。本发明可以根据实际应用场景选取模型规模，与现有的先进人脸识别算法相比，本发明可以提升低分辨率人脸识别的准确率。

附图说明

图1直观显示CentreFace存在的不足，以及加入模损失函数的效果示意图。(a)表明中心损失的减少对分类可能并无益处，(b)显示了模损失函数的作用。

图2为本申请实施例加入模损失函数前后各类中心点到原点O的距离分布图示意图，以及各类中的点到中心点的距离分布图示意图。(a)显示了在两种不同情况下各类中心点到原点O的距离的分布，(b)显示了在没有模损失函数的情况下各类中的点到中心点的距离的分布，(c)显示了添加模损失后，各类中的点到中心点的距离的分布。

具体实施例

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解为此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的保护范围。

基于卷积神经网络的低分辨率人脸识别方法，包括以下步骤：

数据预处理，对于人脸识别模型来说，输入图像的预处理非常重要。人脸图像预处理是基于人脸检测结果，对图像进行处理并最终服务于特征提取的过程。进行预处理的原因是系统获取的原始图像由于受到各种条件的限制和随机干扰，往往不能直接使用，必须在图像处理的早期阶段对它进行灰度矫正、噪声过滤等图像预处理。人脸图像主要预处理过程包括：人脸对准(得到人脸位置端正的图像)，人脸图像的光线补偿，灰度变换、直方图均衡化、归一化(取得尺寸一致，灰度取值范围相同的标准化人脸图像)，几何校正、中值滤波(图片的平滑操作以消除噪声)以及锐化等。通过这些操作可以在一定程度上消除光照、噪声等对后续人脸识别过程的干扰。本发明中的预处理步骤包括：将所有低分辨率图像resize为112×112尺寸的图像，并随机改变训练集中人脸图像的亮度以作为数据增强；进行数据归一化，将处理人脸图像时获得的像素值减去127.5再除以128，缩放到[-1，1]之间。

基础卷积神经网络的选择，卷积神经网络是一种深度的监督学习下的机器学习模型，能挖掘数据局部特征，提取全局训练特征和分类，其权值共享结构使之更类似于生物神经网络，在模式识别的各个领域都得到成功应用。卷积神经网络通过结合人脸图像空间的局部感知区域、共享权值、在空间或时间上的降采样来充分利用数据本身包含的局部性等特征，优化模型，保证一定的位移特性。本发明主要采用的卷积神经网络为ResNet50。

损失函数以及模型的训练，本发明主要提出了一个模损失函数，和CentreFace中的Softmax损失、中心损失函数进行联合监督。图1中表明了加入模损失函数前后的特征分类效果。当使用Softmax损失函数和中心损失函数来训练模型，会发现中心损失函数的值在训练过程中会不断减小，但是各类的中心点到原点的距离也在不断减小，这意味着类内和类间距离都减小了，使得中心损失函数的减少对于分类效果是无用的。所以在本发明中加入了模损失函数：

与Softmax损失函数、中心损失函数一起联合监督。Softmax损失函数、中心损失函数以及总的损失函数如下：

L＝L_S+λ₁L_C+λ₂L_N

λ₁，λ₂表示超参数，通过实验分析将参数设置为λ₁＝0.005，λ₂＝0.2。

从图1可以看出，加入模损失函数之后，可以在保持类内距离的情况下，增加类间距离。图2通过实验后的距离分布图可以很好的证明，加入模损失函数之后，各类中心点到原点O的距离大约增加了一倍，但是每个类中的点到中心点的距离分布和未添加模损失函数之前接近。模型的训练方法如下：

特征比对，特征比对是人脸识别流程中的最终判别部分。通过模型提取到的两个或多个特征，需要采用一定策略来决定最终结果。通常先计算特征间的距离，根据阈值判定相似性，或根据距离排序给出人脸识别结果。针对1：1应用方向，又称人脸验证；1：N应用方向，又称人脸识别。人脸校验和人脸识别是人脸对比的两种不同的场景。人脸校验基于成对匹配的方式，得到两张人脸图像是否是同一人的结论；人脸识别是给定一张人脸输入图片，从一定规模的库中搜索配对，返回特征向量距离最小(或相似度最高)的一张或多张人脸，确定输入图像的身份信息。人脸对比过程需要比较其相似度，即计算所提取出的浮点向量之间的距离，一般采用欧式距离或者余弦距离。

本发明中的方法在QMUL_SurvFace数据集上的准确率与其他方法的比较如下表中所示，可见本发明的中的基于模约束CentreFace方法在低分辨率人脸识别方面的准确率有所提高。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明。

Claims (5)

1.基于模约束CentreFace的人脸图像特征提取方法，其特征在于，包括以下步骤：

A、获取低分辨率人脸数据集QMUL-SurvFace，对数据集进行预处理操作以获得固定大小的人脸图像；

B、根据任务的应用环境选取合适的基础卷积神经网络结构；

C、构建总损失函数，所述总损失函数包括模损失函数、CentreFace中的Softmax损失函数和中心损失函数，根据总损失函数利用步骤A获取的人脸图像构成的样本集对人脸识别模型进行训练，获得基于模约束CentreFace算法训练的人脸识别模型；

D、使用所述人脸识别模型提取待识别人脸图像的特征代表向量。

2.根据权利要求1所述的基于模约束CentreFace的人脸图像特征提取方法，其特征在于，步骤A中的预处理操作包括：

A1、将QMUL_SurvFace数据集中不同尺寸的低分辨率图像经过resize操作变为固定大小112*112的人脸图像，使得卷积神经网络能够正常工作；

A2、在数据预处理期间，随机改变训练集中人脸图像的亮度以作为数据增强；

A3、数据归一化，将处理人脸图像时获得的像素值减去127.5再除以128，从而将像素值缩放到[-1，1]之间。

3.根据权利要求1所述的基于模约束CentreFace的人脸图像特征提取方法，其特征在于，步骤B中的基础卷积神经网络结构采用ResNet-50。

4.根据权利要求1所述的基于模约束CentreFace的人脸图像特征提取方法，其特征在于，步骤C中所述Softmax损失函数表示为：

其中x_n表示第n个特征向量，y_n是x_n所对应的类别，W_m表示最后全连接层权重W的第m列，b是偏差，N是batch的大小，M是训练集中种类个数；

所述中心损失函数表示为：

表示y_n类的中心特征向量，它随着训练时数据的变化而不断更新；

所述模损失函数表示如下：

L_N损失表示每个类中心点到原点O的平均距离；

所述总损失函数如下：

L＝L_S+λ₁L_C+λ₂L_N

λ₁，λ₂表示超参数。

5.一种人脸识别方法，其特征在于，包括如下步骤：

M1、获取待识别的人脸图像及识别任务；

M2、根据所述识别任务，将待识别的人脸图像输入值基于模约束CentreFace算法训练得到的人脸识别模型中，对人脸图像进行特征提取；

M3、将待识别人脸图像的特征与预设数据库中存储的各个人脸图像一一比对，成对输入至所述人脸识别模型中，获取与各个人脸图像的余弦相似度得分中的最高得分；

M4、判断所述最高得分大于指定阈值时，则识别结果为所属最高得分对应的数据库中的人脸图像对应的身份与所述待识别的单幅人脸图像所对应的身份匹配。

Images