CN109858362A - 一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法 - Google Patents

Abstract

本发明涉及一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法，本发明采用的网络结构为倒置残差结构，倒置残差结构通过单元张量来节约内存，保证算法在移动端的人脸检测效率。网络结构同时采用角度损失联合函数，通过在ArcFace损失函数基础上增加参数m₁和m₃的约束，更大化程度地增加了类间间距、减小了类内间距。该网络结构减少了内存消耗，提高了模型的人脸检测准确率，更加适用于移动端的人脸检测问题。

Description

一种基于倒置残差结构和角度联合损失函数的移动端人脸检 测方法

技术领域

本发明涉及计算机视觉领域的人脸识别，尤其涉及一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法。

背景技术

随着信息化建设的高速发展，各领域对快速有效的自动身份认证的使用越来越广泛。生物特征识别技术以其高安全性、可靠性以及高效性成为身份认证的主流技术，尤其是人脸检测被广泛应用于单位考勤、会议签到、公安刑侦破案、人证比对、养老金领取资格认证、门禁系统、手机解锁等场景中，但在移动端无法做到既能实时运行又具有高精度，不能在精度和速度两个方面同时达到最佳状态。随着深度学习的出现，人脸检测的准确率有了质的飞跃，但在提高精度的同时，随之而来的是深度学习模型需要非常强大的计算能力，更大的磁盘空间以及内存空间。然而对于内存极其有限的移动端，传统的基于深度学习的人脸检测模型无法做到实时性，具有较大的延迟性，无法在精度和速度之间取得较好的平衡，这大大降低了实用性和用户体验。因此，研究在移动端可实时运行且具有高精度的基于深度学习的人脸检测技术很有必要性。

目前预提高基于深度学习的移动端人脸检测技术主要从网络结构和损失函数两个方面来改进，主流的网络结构主要有：MobileNets，通过深度可分离卷积代替传统卷积网络来减少计算量。MobileNetV2，结合MobileNets深度可分离卷积的特征引入了一种结构单元：具有线性瓶颈的倒残差块。该结构单元的旨意是先将输入的低维表示扩展到高维，再用深度可分离的卷积来提取特征，最后用线性瓶颈将特征投影回低维压缩表示。由于深度可分离的卷积在推理过程中不实现大的张量，这便大大较少了对主储存器访问的需求，因此这种结构单元高效的实现了移动端基于深度学习的人脸检测技术。MobileFaceNets，结合了MobileNetV2的线性瓶颈的倒残差块，采用可分离卷积替代了平均池化层，改善了平均池化层使网络表现下降的现象，通过优化网络结构和参数训练出的模型在精度和速度较MobileNetV2有了显著的提高。损失函数是用来估量模型的预测值f(x)与真实值Y的差异。损失函数越小，则模型的鲁棒性越好。近几年将优化损失函数的重点从欧式距离转移到角度空间和余弦空间。Liu W等人提出的SphereFaceloss，将Softmaxloss中的θ修改为mθ，在角度上有了更严格的限制，使得类间的角度更大，类内的角度更小，其中通过参数m来控制分类的边界。Wang H等人提出的CosFaceloss将SphereFaceloss中的cos(mθ)修改为cos(θ)-m，将原来的乘法运算修改为减法运算，这减少了参数的复杂计算，与此同时，不仅对权重进行了归一化，而且对特征也进行了归一化。该损失函数对同类的聚合更有帮助。DengJ等人提出的ArcFace loss则将CosFaceloss中的cos(θ_yi)-m修改为cos(θ_yi+m)，该损失函数不仅形式简单并且动态依赖于sinθ，使得网络学习到更多的角度特征，进一步促进了类内聚合，类间分辨，从而提高准确率。

发明内容

本发明为克服上述的不足之处，目的在于提供一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法，本发明采用的网络结构为倒置残差结构，倒置残差结构通过单元张量来节约内存，保证算法在移动端的人脸检测效率。网络结构同时采用角度损失联合函数，通过在ArcFace损失函数基础上增加参数m₁和m₃的约束，更大化程度地增加了类间间距、减小了类内间距。该网络结构减少了内存消耗，提高了模型的人脸检测准确率，更加适用于移动端的人脸检测问题。

本发明是通过以下技术方案达到上述目的：一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法，包括数据预处理、制作训练集和验证集、网络模型的构建和训练、网络模型基于AgeDB-30人脸库的验证四个阶段：

(1)数据的预处理：

(1.1)下载清洗后的MS-Celeb-1M人脸数据集；

(1.2)对所有人脸图像采用MTCNN算法进行人脸关键点检测、对齐并裁剪成112x112大小；

(1.3)对图像像素做归一化处理，归一化到[-1，1]；

(1.4)根据图像的标注，生成图像的lst文件；

(2)制作训练集和验证集：

(2.1)将预处理后的数据转换为MXNet所能读取的二进制人脸数据集作为训练集；

(2.2)下载AgeDB-30人脸库，并制作成agedb_30.bin格式的数据集作为验证集；

(3)网络模型的构建和训练，输出训练好的网络模型；

(4)网络模型基于AgeDB-30人脸库的验证：

(4.1)基于训练好的网络模型对样本对中的两张图片提取特征然后进行比较，判断是否为同一个人；

(4.2)针对所有人脸样本对统计同脸判断错误和异脸判定错误的个数，计算得出判定精度；经过上述步骤的操作，即可实现移动端人脸的快速检测。

作为优选，所述的人脸关键点包括眼睛中心、鼻尖、嘴角。

作为优选，所述的lst文件内容包含对齐标签、图像路径、图像对应的身份标签，性别标签和年龄标签。

作为优选，所述训练集的格式为.rec、.idx、property文件；其中train.rec是已经对齐后的图像数据，train.idx是索引，由步骤(1.4)中的lst文件生成rec和idx文件；property是属性文件，文件内容包含身份类别数和图像大小。

作为优选，所述的训练集为包括超过380万张、8万7千个身份的训练集。

作为优选，所述的验证集包含440个人12240张图片并标注了身份、年龄和性别，最小年龄为3，最大年龄为101，其中包含300个正样本对和300负样本对。

作为优选，所述步骤(3)具体如下：

(3.1)基于MXNet深度学习框架构建网络模型，选用MS-Celeb-1M作为训练集，Combiled Loss作为损失函数，基于MobileFaceNets网络结构评估人脸检测的性能；

(3.2)网络结构采用倒置残差结构单元作为构建整个网络的基础单元，该网络输入维度是112×112，在网络开始部分采用快速下采样，中间由倒置残差结构单元构建，在倒数第二个卷积层采用线性全局深度卷积层，最后一个卷积层采用1×1的线性卷积层作为特征输出；

(3.3)训练样本类别数为n，样本数据x的维度为d，模型权重为w，归一化后的样本经过MobileFaceNets网络得到全连接输出cosθ_j，cosθ_j表示预测标签对应的值，其中j∈[1...n]；并对输出cosθ_j所对应真实标签的值cosθ_yi执行反余弦操作得到θ_yi,y_i表示对应的真实标签；

(3.4)损失层采用softmaxloss进行初调，softmax的目标是尽可能最大化正确分类的概率；

(3.5)基于步骤(3.4)得到的预训练模型，采用角度损失函数，公式如下：

其中cosθ_j表示预测标签对应的值，cosθ_yi表示真实标签对应的值，y_i表示真实标签，s表示归一化参数，由于分类边界在很大程度上影响特征的分布，而基于角度距离的损失函数最基本的思想就是通过控制分类边界来产生类间距离,；增加参数m₁，是对角度更严格的限制；cos(m₁θ+m₂)小于MobileFaceNets损失函数中的cos(θ+m₂)，其中m₁、m₂都为正数；通过这种方式来促使模型学到类间距离更大、类内距离更小的特征，采用倍角关系会使得学习到的w参数更加的扁平，可以加大样本的类间距离；参数m₃表示余弦边距且为正数，e^cos(m₁θ+m₂)-m₃为分类正确标签的值；

(3.6)经步骤(3.5)中损失函数的计算，输出训练好的网络模型。

本发明的有益效果在于：本发明采用的网络结构为倒置残差结构，倒置残差结构单元具有输入和输出两边“薄”的特征，而内存的占用量是由所有操作对应输入和输出张量的总大小与操作本身所占内存之和所决定，若将倒置残差结构单元视为一种单一操作，将内部卷积视为一次性张量，那么总的内存量是由倒置残差结构单元张量大小决定的，而不是由结构单元的内部张量大小决定的。因此该结构更加节约内存，保证算法在移动端的人脸检测效率。采用角度损失联合函数，通过在ArcFace损失函数基础上增加参数m₁和m₃的约束，更大化程度地增加了类间间距、减小了类内间距，促使模型学习到更深度的特征，可练出性能更好的人脸检测模型，减少了内存消耗，提高了模型的准确率。提出一种在移动端可实时运行且具有高精度的人脸检测方法，进一步扩大了人脸检测技术的应用领域，增强了实际应用价值以及用户体验。

附图说明

图1是本发明方法的流程示意图；

图2是本发明采用的倒置残差结构单元示意图；

图3是本发明采用的网络结构示意图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例：为了解决移动端人脸快速检测问题，则需要找到轻量级网络结构结合有效的损失函数，在节省内存的同时通过减少类内间距，增大类间间距的方法来提升准确率。本方法通过修改MobileFaceNets的损失函数，添加了两个参数：角边距m₁和余弦边距m₃，使整个分类任务的要求更苛刻，目的是为了让模型学习到更深刻的特征，从角度空间和余弦空间实现更大化的分类边界。m₁和m₃的取值同样会影响模型的性能，适当的取值会减小同一类别特征间距，增大不同类别特征间距，从而增强深度特征的可判别能力。因此，采用MobileFaceNets网络结构与Combiled Loss损失函数的结合更有益于移动端的人脸快速检测。

如图1所示，一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法包括如下步骤：

步骤一、数据的预处理：

步骤1.1：下载清洗后的MS-Celeb-1M人脸数据集；

步骤1.2：对所有人脸图像采用MTCNN算法进行人脸5个关键点(眼睛中心、鼻尖、嘴角)检测、对齐，并裁剪成112x112大小；

步骤1.3：对图像像素做归一化处理，归一化到[-1，1]；

步骤1.4：根据图像的标注，生成图像的lst文件，文件内容主要包含对齐标签、图像路径、图像对应的身份标签，性别标签和年龄标签。例如：

1 path/Adam_Brody/Adam_Brody_111.jpg 30 0 20

参数之间用tab键分隔开，而不是空格键。第一个参数(1)表示是否对齐；第二个参数(path/Adam_Brody/Adam_Brody_111.jpg)表示图片路径；第三个参数(30)表示图像对应的身份id。第四个参数表示性别(0代表男，1代表女)，第五个参数表示年龄。整个lst文件要求身份标签必须从0开始从小到大排列；

步骤二：制作训练集和验证集：

步骤2.1：将预处理后的图片数据转换为MXNet所能读取的二进制人脸数据集作为训练集，训练集需要.rec、.idx、property文件。其中train.rec是已经对齐后的图像数据，train.idx是索引，由步骤1.4中的lst文件生成rec和idx文件；property是属性文件，文件内容包含身份类别数和图像大小，例1201，112，112，其中1201表示人脸的身份类别数目，图片格式为112×112；

步骤2.2：经过上述步骤得到一个380多万张8万7千个身份的训练集。

步骤2.3：下载AgeDB-30人脸库，并制作成agedb_30.bin格式的数据集。作为验证集。该验证集包含440个人12240张图片并标注了身份、年龄和性别，最小年龄为3，最大年龄为101，其中包含300个正样本对和300个负样本对。

步骤三：网络模型的构建及训练：

步骤3.1：本方法基于MXNet深度学习框架构建网络模型；选用MS-Celeb-1M作为训练集，CombiledLoss作为损失函数，基于MobileFaceNets网络结构来评估人脸检测的性能；

步骤3.2：网络结构采用倒置残差结构单元作为构建整个网络的基础单元，该网络输入维度是112×112，在网络开始部分采用快速下采样，中间由倒置残差单元构建，单元内部的扩张倍数依次为2，4，2，4，2。在倒数第二个卷积层采用全局深度卷积层，最后一个卷积层采用1×1的线性卷积层作为特征输出。该网络的每层卷积核数由输入到输出依次为112、64、64、64、128、128、128、128、512。倒置残差结构单元结构如图2所示，具体网络结构如图3所示。

步骤3.3：归一化后的样本作为MobileFaceNets作为网络的输入，经过网络最后得到全连接输出cosθ_j，表示预测标签对应的值，其中j∈[1...n]。然后对输出cosθ_j所对应真实标签的值cosθ_yi执行反余弦操作得到θ_yi,y_i表示对应的真实标签。

步骤3.4：损失层采用softmaxloss进行初调：学习率从0.1开始，softmax的fc7配置wd_muld＝10.0并设置无偏置，权重衰减wd设置为0.00004，batch_size设为512，训练12万步。

步骤3.5：基于步骤3.4的预训练模型，采用CombiledLoss调试：CombiledLoss公式如下：

其中cosθ_j表示预测标签对应的值，cosθ_yi表示真实标签对应的值，y_i表示真实标签，s表示归一化参数设置为64，m₁设置为0.9、m₂设置为0.35、m₃设置为0.15，在[120000，160000，180000，20000]步处降低学习率，共训练20万步，在ArcFace中的损失函数的基础上多了参数m₁和m₃的设置，在考虑了样本能分到正确类别的基础上，减少同一类别特征间距，增大不同类别特征间距，使得整个分类任务的要求变得更加苛刻，促使模型学习到更深度的特征，从而增强了深度特征的可判别性。

步骤3.6：经过步骤3.5中的CombiledLoss损失函数的计算，最后输出训练好的网络模型。

步骤四：网络模型基于AgeDB-30人脸库的验证：

步骤4.1：基于最终训练好的模型对样本对中的两张图片提取特征然后进行比较，判断是否为同一个人。

步骤4.2：针对所有人脸样本对统计同脸判断错误和异脸判定错误的个数，从而计算得出判定精度。经过上述步骤的操作，即可实现移动端人脸的快速检测。

以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (7)

1.一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法，其特征在于，包括数据预处理、制作训练集和验证集、网络模型的构建和训练、网络模型基于AgeDB-30人脸库的验证四个阶段：

(1)数据的预处理：

(1.1)下载清洗后的MS-Celeb-1M人脸数据集；

(1.2)对所有人脸图像采用MTCNN算法进行人脸关键点检测、对齐并裁剪成112x112大小；

(1.3)对图像像素做归一化处理，归一化到[-1，1]；

(1.4)根据图像的标注，生成图像的lst文件；

(2)制作训练集和验证集：

(2.1)将预处理后的数据转换为MXNet所能读取的二进制人脸数据集作为训练集；

(2.2)下载AgeDB-30人脸库，并制作成agedb_30.bin格式的数据集作为验证集；

(3)网络模型的构建和训练，输出训练好的网络模型；

(4)网络模型基于AgeDB-30人脸库的验证：

(4.1)基于训练好的网络模型对样本对中的两张图片提取特征然后进行比较，判断是否为同一个人；

(4.2)针对所有人脸样本对统计同脸判断错误和异脸判定错误的个数，计算得出判定精度；经过上述步骤的操作，即可实现移动端人脸的快速检测。

2.根据权利要求1所述的一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法，其特征在于：所述的人脸关键点包括眼睛中心、鼻尖、嘴角。

3.根据权利要求1所述的一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法，其特征在于：所述的lst文件内容包含对齐标签、图像路径、图像对应的身份标签，性别标签和年龄标签。

4.根据权利要求1所述的一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法，其特征在于：所述训练集的格式为.rec、.idx、property文件；其中train.rec是已经对齐后的图像数据，train.idx是索引，由步骤(1.4)中的lst文件生成rec和idx文件；property是属性文件，文件内容包含身份类别数和图像大小。

5.根据权利要求1所述的一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法，其特征在于：所述的训练集为包括超过380万张、8万7千个身份的训练集。

6.根据权利要求1所述的一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法，其特征在于：所述的验证集包含440个人12240张图片并标注了身份、年龄和性别，最小年龄为3，最大年龄为101，其中包含300个正样本对和300负样本对。

7.根据权利要求1所述的一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法，其特征在于：所述步骤(3)具体如下：

(3.1)基于MXNet深度学习框架构建网络模型，选用MS-Celeb-1M作为训练集，CombiledLoss作为损失函数，基于MobileFaceNets网络结构评估人脸检测的性能；

(3.2)网络结构采用倒置残差结构单元作为构建整个网络的基础单元，该网络输入维度是112×112，在网络开始部分采用快速下采样，中间由倒置残差结构单元构建，在倒数第二个卷积层采用线性全局深度卷积层，最后一个卷积层采用1×1的线性卷积层作为特征输出；

(3.3)训练样本类别数为n，样本数据x的维度为d，模型权重为w，归一化后的样本经过MobileFaceNets网络得到全连接输出cosθ_j，cosθ_j表示预测标签对应的值，其中j∈[1...n]；并对输出cosθ_j所对应真实标签的值cosθ_yi执行反余弦操作得到θ_yi,y_i表示对应的真实标签；

(3.4)损失层采用softmaxloss进行初调，softmax的目标是尽可能最大化正确分类的概率；

(3.5)基于步骤(3.4)得到的预训练模型，采用角度损失函数，公式如下：

其中cosθ_j表示预测标签对应的值，cosθ_yi表示真实标签对应的值，y_i表示真实标签，s表示归一化参数，由于分类边界在很大程度上影响特征的分布，而基于角度距离的损失函数最基本的思想就是通过控制分类边界来产生类间距离,；增加参数m₁，是对角度更严格的限制；cos(m₁θ+m₂)小于MobileFaceNets损失函数中的cos(θ+m₂)，其中m₁、m₂都为正数；通过这种方式来促使模型学到类间距离更大、类内距离更小的特征，采用倍角关系会使得学习到的w参数更加的扁平，可以加大样本的类间距离；参数m₃表示余弦边距且为正数，为分类正确标签的值；

(3.6)经步骤(3.5)中损失函数的计算，输出训练好的网络模型。