CN112733665A - 一种基于轻量化网络结构设计的人脸识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于轻量化网络结构设计的人脸识别方法及系统。该方法首先对采集的图像进行处理，获取其中的人脸图像；然后对得到的人脸图像进行预处理，得到处理后的人脸图像及其镜像图像；再后，将人脸图像及其镜像图像输入到已训练好的人脸识别模型，得到人脸特征；最后，将人脸特征与人脸特征库中的特征逐一进行相似性度量，得到人脸识别的结果。本发明在人脸识别模型结构的设计上使用深度可分离卷积、瓶颈层和下采样层此类轻量化的结构设计，减少了网络的参数量与计算量。与现有大多数使用大型卷积神经网络的人脸识别方法相比，本发明提供的人脸识别方法在移动设备和嵌入式设备的部署上，有着根本性的优势。

Description

一种基于轻量化网络结构设计的人脸识别方法及系统

技术领域

本发明涉及人脸识别技术领域，特别涉及一种基于轻量化网络结构设计的人脸识别方法及系统。

背景技术

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术，在军事、金融、公共安全、日常生活等领域得到了广泛的应用。根据是否使用人工神经网络，人脸识别可分为基于传统方法的人脸识别和基于深度学习的人脸识别。

基于传统方法的人脸识别采用手工特征对人脸表征建模，在应对复杂的面部非线性变化时，具有不可避免的局限性。在实际应用中，基于传统方法的人脸识别系统更容易出现性能不稳定与误报现象。基于深度学习的人脸识别使用精心设计的卷积神经网络(CNN,Convolutional Neural Networks)对人脸表征建模，能够获取更为深层的人脸特征表示，在人脸识别挑战任务中，能够获得超越人类的准确率和更好的鲁棒性。目前，大多数基于深度学习的人脸识别为了追求更高的性能，网络结构设计较为复杂，包含参数量十分庞大，在人脸的推理过程中往往需要大量的浮点数运算(FLOPs,Float Point Operations)，对算法运行的硬件环境具有较高的要求。

目前，人脸识别越来越多地应用于移动设备和嵌入式设备中，如设备解锁、应用登录、移动支付等。为了在有限的计算资源下实现满足人类需要的人脸识别算法，在移动设备以及嵌入式设备上部署的人脸识别模型不仅要精确，而且要模型轻量化、推理迅速。使用大型卷积神经网络的人脸识别模型，需要高昂的计算资源，并不适合应用于移动设备和嵌入式设备。在计算资源有限的移动设备和嵌入式设备上实现人脸识别仍然是一项具有挑战性的任务

发明内容

本发明的目的是提供一种基于轻量化网络结构设计的人脸识别方法及系统，通过使用轻量化的网络结构设计，在保证人脸识别精度的同时，减少模型的参数量和运算量，保证模型能够部署于移动设备和嵌入式设备。

为实现上述目的，本发明提供了如下方案：

一种基于轻量化网络结构设计的人脸识别方法，包括：

获取初始人脸图像；

对所述初始人脸图像进行预处理，得到人脸图像及镜像图像；

构建人脸识别模型；

将所述人脸图像及所述镜像图像输入到已训练好的所述人脸识别模型中，得到人脸特征；

将所述人脸特征与人脸特征库中的特征进行相似性度量，得到人脸识别的结果。

可选地，所述获取初始人脸图像，具体包括：

通过已训练好的人脸检测模型对输入图像进行处理，获取人脸边界框；

通过所述人脸边界框对所述输入图像进行裁剪，得到人脸图像。

可选地，所述对所述初始人脸图像进行预处理，具体包括：

对所述初始人脸图像进行放缩，得到人脸图像；

将放缩后的人脸图像进行水平翻转，生成镜像图像。

可选地，还包括：

对所述人脸图像和所述镜像图像进行归一化处理。

可选地，所述人脸识别模型包括浅层特征提取模块、瓶颈层、下采样层以及人脸特征嵌入模块。

可选地，所述浅层特征提取模块由一个卷积核大小为3×3，步幅为2的卷积层和一个卷积核大小为3×3，步幅为1的深度可分离卷积层组成；

所述瓶颈层由主分支和支路分支两部分组成；所述瓶颈层的主分支由1×1卷积、3×3深度可分离卷积和1×1卷积三个卷积层共同组成，三个卷积层的步幅均为1；所述瓶颈层的支路分支为恒等映射；

所述下采样层由主分支和支路分支两部分组成；所述下采样层的主分支由1×1卷积、3×3深度可分离卷积和1×1卷积三个卷积层共同组成，两个1×1卷积的步幅为1，3×3深度可分离卷积的步幅为2；所述下采样层的支路分支由一个卷积核大小为1×1，步幅为2的卷积层构成；

所述人脸特征嵌入模块具体由1×1卷积、全局深度可分离卷积和1×1卷积共同组成；所述全局深度可分离卷积的卷积核大小为7×7。

可选地，所述相似性度量具体为计算所述人脸特征与人脸特征库中的特征之间的欧氏距离。

可选地，所述人脸特征库中的特征为使用所述人脸识别模型得到的特征。

本发明还提供了一种基于轻量化网络结构设计的人脸识别系统，包括：

图像获取模块，用于获取初始人脸图像；

预处理模块，用于对所述初始人脸图像进行预处理，得到人脸图像及镜像图像；

模型构建模块，用于构建人脸识别模型；

人脸特征识别模块，用于将所述人脸图像及所述镜像图像输入到已训练好的所述人脸识别模型中，得到人脸特征；

相似性度量模块，用于将所述人脸特征与人脸特征库中的特征进行相似性度量，得到人脸识别的结果。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了一种基于轻量化网络结构设计的人脸识别方法及系统，该方法首先对采集的图像进行处理，获取其中的人脸图像；然后对得到的人脸图像进行预处理，得到处理后的人脸图像及其镜像图像；再后，将人脸图像及其镜像图像输入到已训练好的人脸识别模型，得到人脸特征；最后，将人脸特征与人脸特征库中的特征逐一进行相似性度量，得到人脸识别的结果。本发明在人脸识别模型结构的设计上使用深度可分离卷积、瓶颈层和下采样层此类轻量化的结构设计，减少了网络的参数量与计算量。与现有大多数使用大型卷积神经网络的人脸识别方法相比，本发明提供的人脸识别方法在移动设备和嵌入式设备的部署上，有着根本性的优势。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于轻量化网络结构设计的人脸识别方法的流程图；

图2为本发明提供的人脸识别模型结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于轻量化网络结构设计的人脸识别方法及系统，通过使用轻量化的网络结构设计，在保证人脸识别精度的同时，减少模型的参数量和运算量，保证模型能够部署于移动设备和嵌入式设备。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对发明作进一步详细的说明。

如图1所示，一种基于轻量化网络结构设计的人脸识别方法包括以下步骤：

步骤101：获取初始人脸图像。

使用已训练好的人脸检测模型对输入图像进行处理，获取人脸的边界框信息，以人脸边界框的中心为中心，人脸边界框的长边为边长，在输入图像上裁剪出一个正方形区域，得到人脸图像。

步骤102：对所述初始人脸图像进行预处理，得到人脸图像及镜像图像。

步骤1021：对人脸图像进行放缩，得到大小为112×112的人脸图像。

步骤1022：将人脸图像进行水平翻转，生成人脸镜像图像。

步骤1023：将人脸图像和人脸镜像图像归一化。具体的：

分别将人脸图像和人脸镜像图像的像素值映射到[0，1]区间，并进行均值为0.5，方差为0.5的归一化处理，归一化处理的公式表述如下：

其中，x为输入，x′为归一化处理后的输出，μ为均值，σ为方差。

步骤103：构建人脸识别模型。

为使本发明能够应用于移动设备和嵌入式设备，人脸识别模型使用轻量化的结构设计，网络结构如图2所示，具体由浅层特征提取模块、瓶颈层、下采样层、人脸特征嵌入模块四部分共同构成。

浅层特征提取模块用于提取人脸图像的浅层特征；瓶颈层是对普通卷积层的改进，具有参数量少、计算量少、轻量化的特点；下采样层用于实现对特征图的下采样，在保留人脸特征关键性信息的基础上，减少了参数量与计算量；瓶颈层与下采样层交替使用，每经过两个瓶颈层后使用一个下采样层实现对人脸特征的下采样，最后两个瓶颈层后为人脸特征嵌入模块，不再使用下采样层；人脸特征嵌入模块对网络提取的特征做优选的处理，使之更适用于人脸识别任务。

如图2左上角所示，浅层特征提取模块具体由一个卷积核大小为3×3，步幅为2的卷积层和一个卷积核大小为3×3，步幅为1的深度可分离卷积层共同组成。在卷积层和深度可分离卷积层后均使用批归一化层(BN,Batch Normalization)，并使用PReLU作为激活函数，PReLU激活函数的公式表述如下：

其中，x表示PReLU函数的输入，f(x)表示PReLU函数的输出，a为特定的常数项系数，可由训练得到，无需手动设置。

如图2右上角所示，瓶颈层(Bottleneck Layer)具体由主分支和支路分支两部分组成。主分支由1×1卷积、3×3深度可分离卷积、1×1卷积三个卷积层共同组成，三个卷积层的步幅全部为1。其中第一个1×1卷积用于扩展特征通道数，通道扩展率t设为2，便于后续进行丰富的特征提取；3×3深度可分离卷积以一种轻量化的方式实现特征提取；第二个1×1卷积用于优化特征信息及调整特征通道。在第一个1×1卷积和3×3深度可分离卷积后，分别使用BN层和PReLU激活函数做优选的处理；在第二个1×1卷积后仅使用BN层，而不使用激活函数。支路分支为恒等映射，即不对输入特征做任何处理。将主分支得到的特征与支路分支得到的特征做相加运算，即可得到瓶颈层的特征输出。

如图2左侧中间所示，下采样层(Downsample Layer)具体由主分支和支路分支两部分组成。主分支由1×1卷积、3×3深度可分离卷积、1×1卷积三个卷积层共同组成，两个1×1卷积的步幅为1，3×3深度可分离卷积的步幅为2。类似于瓶颈层，第一个1×1卷积用于扩展特征通道数，通道扩展率t设为4；将3×3深度可分离卷积的步幅调整为2，通过调整步幅实现下采样；第二个1×1卷积用于优化特征信息及调整特征通道。在第一个1×1卷积和3×3深度可分离卷积后，分别使用BN层和PReLU激活函数做优选的处理；在第二个1×1卷积后仅使用BN层，而不使用激活函数。为了保证主分支与支路分支得到的特征图大小一致，支路分支使用一个卷积核大小为1×1，步幅为2的卷积层实现特征的下采样。将主分支得到的特征与支路分支得到的特征做相加运算，即可得到下采样层的特征输出。

如图2右下角所示，人脸特征嵌入模块具体由1×1卷积、全局深度可分离卷积、1×1卷积共同组成。其中，第一个1×1卷积用于调整特征通道数；全局深度可分离卷积为卷积核大小为7×7的深度可分离卷积，具有为特征图中的每一个点赋予不同权重的功能；第二个1×1卷积用于得到紧凑的人脸特征，减少后续进行人脸特征比对的计算量。

步骤104：将所述人脸图像及所述镜像图像输入到已训练好的所述人脸识别模型中，得到人脸特征。

步骤105：将所述人脸特征与人脸特征库中的特征进行相似性度量，得到人脸识别的结果。

所述人脸特征库中的特征为使用所述人脸识别模型得到的特征。获取步骤为获取人脸图像；对人脸图像进行预处理，得到预处理后的人脸图像及镜像图像；将人脸图像及镜像图像输入到已训练好的人脸识别网络，得到人脸特征；将人脸特征及其标注信息加入人脸特征库。

所述相似性度量具体为计算所述人脸特征与人脸特征库中的特征之间的欧氏距离。两者之间的欧式距离越小，表明两个特征之间的相似性越大。对于人脸特征X＝{x₁,x₂,...,x_n}和人脸库中的任一特征Y＝{y₁,y₂,...,y_n}，二者的欧式距离d计算如下：

经过逐一计算，如果所有的欧式距离结果均大于给定阈值，则认为该人脸图像与人脸库中的人脸都不相似；如果存在多个欧式距离结果小于给定阈值，选择具有最小欧式距离对应的人脸标注信息作为该人脸图像的识别结果。

本发明还提供了一种基于轻量化网络结构设计的人脸识别系统，包括：

图像获取模块，用于获取初始人脸图像。

预处理模块，用于对所述初始人脸图像进行预处理，得到人脸图像及镜像图像。

模型构建模块，用于构建人脸识别模型。

人脸特征识别模块，用于将所述人脸图像及所述镜像图像输入到已训练好的所述人脸识别模型中，得到人脸特征。

相似性度量模块，用于将所述人脸特征与人脸特征库中的特征进行相似性度量，得到人脸识别的结果。

本发明所述轻量化网络结构设计主要体现在在人脸识别模型结构的设计上使用深度可分离卷积、瓶颈层和下采样层。其中，深度可分离卷积与瓶颈层的设计具有参数量少、计算量少、轻量化的特点；下采样层用于实现对特征图的下采样，在保留人脸特征关键性信息的基础上，减少了参数量与计算量。与使用ResNet-50为主网络的人脸识别方法相比，从参数量上看，本发明中人脸识别模型的参数量为0.98M(M表示百万)，前者的参数量为43.79M，参数量仅占前者的2.25％；从计算量上看，本发明中人脸识别模型的FLOPs为752.69M(M表示10⁶)，前者的FLOPs为12.61G(G表示10⁹)，FLOPs仅占前者的5.96％。从性能上看，与目前顶尖的人脸识别算法ArcFace相比，本发明在LFW数据集上的准确率为99.13％，前者在LFW数据集上的准确率为99.83％，表明了本发明在求解人脸识别问题上的有效性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (9)

1.一种基于轻量化网络结构设计的人脸识别方法，其特征在于，包括：

获取初始人脸图像；

对所述初始人脸图像进行预处理，得到人脸图像及镜像图像；

构建人脸识别模型；

将所述人脸图像及所述镜像图像输入到已训练好的所述人脸识别模型中，得到人脸特征；

将所述人脸特征与人脸特征库中的特征进行相似性度量，得到人脸识别的结果。

2.根据权利要求1所述的基于轻量化网络结构设计的人脸识别方法，其特征在于，所述获取初始人脸图像，具体包括：

通过已训练好的人脸检测模型对输入图像进行处理，获取人脸边界框；

通过所述人脸边界框对所述输入图像进行裁剪，得到人脸图像。

3.根据权利要求1所述的基于轻量化网络结构设计的人脸识别方法，其特征在于，所述对所述初始人脸图像进行预处理，具体包括：

对所述初始人脸图像进行放缩，得到人脸图像；

将放缩后的人脸图像进行水平翻转，生成镜像图像。

4.根据权利要求1所述的基于轻量化网络结构设计的人脸识别方法，其特征在于，还包括：

对所述人脸图像和所述镜像图像进行归一化处理。

5.根据权利要求1所述的基于轻量化网络结构设计的人脸识别方法，其特征在于，所述人脸识别模型包括浅层特征提取模块、瓶颈层、下采样层以及人脸特征嵌入模块。

6.根据权利要求5所述的基于轻量化网络结构设计的人脸识别方法，其特征在于，所述浅层特征提取模块由一个卷积核大小为3×3，步幅为2的卷积层和一个卷积核大小为3×3，步幅为1的深度可分离卷积层组成；

所述瓶颈层由主分支和支路分支两部分组成；所述瓶颈层的主分支由1×1卷积、3×3深度可分离卷积和1×1卷积三个卷积层共同组成，三个卷积层的步幅均为1；所述瓶颈层的支路分支为恒等映射；

所述下采样层由主分支和支路分支两部分组成；所述下采样层的主分支由1×1卷积、3×3深度可分离卷积和1×1卷积三个卷积层共同组成，两个1×1卷积的步幅为1，3×3深度可分离卷积的步幅为2；所述下采样层的支路分支由一个卷积核大小为1×1，步幅为2的卷积层构成；

所述人脸特征嵌入模块具体由1×1卷积、全局深度可分离卷积和1×1卷积共同组成；所述全局深度可分离卷积的卷积核大小为7×7。

7.根据权利要求1所述的基于轻量化网络结构设计的人脸识别方法，其特征在于，所述相似性度量具体为计算所述人脸特征与人脸特征库中的特征之间的欧氏距离。

8.根据权利要求1所述的基于轻量化网络结构设计的人脸识别方法，其特征在于，所述人脸特征库中的特征为使用所述人脸识别模型得到的特征。

9.一种基于轻量化网络结构设计的人脸识别系统，其特征在于，包括：

图像获取模块，用于获取初始人脸图像；

预处理模块，用于对所述初始人脸图像进行预处理，得到人脸图像及镜像图像；

模型构建模块，用于构建人脸识别模型；

人脸特征识别模块，用于将所述人脸图像及所述镜像图像输入到已训练好的所述人脸识别模型中，得到人脸特征；

相似性度量模块，用于将所述人脸特征与人脸特征库中的特征进行相似性度量，得到人脸识别的结果。

Images