CN107358223A - 一种基于yolo的人脸检测与人脸对齐方法 - Google Patents

Abstract

本发明公开了一种基于yolo的人脸检测与人脸对齐方法，属于人脸识别领域，包括网络的训练及网络的验证步骤，所述网络的训练包括创建人脸数据集，对人脸数据集中的图像进行标注、重构人脸检测与对齐数据库，本发明解决了MTCNN人脸识别采用分阶段的方式进行人脸检测与对齐存在的效率慢、不能进行联合任务的问题，提高了人脸识别的鲁棒性和网络的泛化能力，且防止了样本过少导致的过拟合问题。

Description

一种基于yolo的人脸检测与人脸对齐方法

技术领域

本发明属于人脸识别领域，具体设计一种基于yolo的人脸检测与人脸对齐方法。

背景技术

人脸识别技术是基于人的脸部特征，对输入的人脸图像或者视频流进行判断。首先判断是否存在人脸，如果存在，则进一步给出人脸所在的位置、大小。并根据这些信息进一步提取出人脸的特征信息，最后将其与已知的人脸对比，从而识别每个人脸的身份，总体来说，人脸的识别分为两大步骤，一是人脸的检测，二是人脸的对齐，人脸检测方面，目前人脸检测采用边框检测的方式，即利用网络学习将图像划分为若干边框，从若干边框中捕捉人脸，并提取出人脸的关键点信心，人脸的对齐则是将图像中的人脸与已知的人脸进行比对从而达到识别的目的。

如MTCNN(Multi-task Cascaded Convolutional Neural Networks)，MTCNN人脸识别的主要方法是：

当给定一张照片的时候，将其缩放到不同尺度形成图像金字塔，以达到尺度不变。

步骤1：使用P-Net生成候选窗和边框回归向量(bounding box regressionvectors)。使用Bounding box regression的方法来校正这些候选窗，使用非极大值抑制(NMS)合并重叠的候选框。全卷积网络和FasterR-CNN中的RPN一脉相承；

步骤2：使用N-Net改善候选窗，将通过P-Net的候选窗输入R-Net中，拒绝掉大部分false的窗口，继续使用Bounding box regression和NMS合并；

步骤3：最后使用O-Net输出最终的人脸框和特征点位置。和第二步类似，但是不同的是生成5个特征点位置。

可以看出，MTCNN是使用分阶段的方式实现人脸检测及人脸对齐任务，即每一个阶段由一个网络组成，使用中需要对这些网络进行分阶段的训练，这样的识别方式显然不是一种端对端的学习方式，人脸识别效率慢。且网络泛化能力弱、鲁棒性差。

发明内容

本发明为了解决上述技术问题，提供了一种基于yolo的人脸检测与人脸对齐方法，以解决MTCNN人脸识别采用分阶段的方式进行人脸检测与对齐效率慢、不能进行联合任务的问题。

为达到上述技术目的，本发明采用的技术方案为：一种基于yolo的人脸检测与人脸对齐方法，包括以下步骤：

S1、进行网络的训练，具体包括如下步骤：

S1-1、创建人脸数据集，在LFW数据库上随机挑选具有光照变化、尺度变化和场景变化的人脸图像，并将这些人脸图像划分为训练集、测试集及验证集；所述训练集用来建立预训练模型，所述测试集用来测试所述预训练模型的泛化能力，所述验证集网用于控制所述预训练模型的参数；

S1-2、对训练集、测试集和验证集中的图像进行标注，即收集图像上人脸在图像上的坐标信息(x，y，w，h)以及人脸关键点的坐标信息(xi，yi)；

S1-3、重构人脸检测与对齐数据库，构建ImageNet及yolo检测框架的联合数据库以对训练集进行分类学习进而创建预训练模型，所述ImageNe创建预训练模型中的人脸检测模型，所述yolo检测框架创建预训练模型中的人脸对齐模型，并通过损失函数提高所述人脸对齐模型的鲁棒性；

S2、进行网络验证，使用验证集控制预训练模型的参数；

S3、进行性能测试，所述测试集用来测试所述预训练模型的泛化能力。

进一步地，所述损失函数为：

Loss＝α_ojbect*(β₁*confidenceloss+β₂*locationloss+β₃*alignedloss)+α_nooject

*confidenceloss

更进一步地，所述损失函数中

α_ojbect＝2，α_noobject＝1，β₁＝1，β₂＝0.5，β₃＝0.5。

进一步地，所述S2-2步的效果验证是指，对于人脸检测模型，使用mAp进行衡量，对于人脸对齐模型，使用欧拉损失衡量。

进一步地，选取的人脸图像中，80％作为为训练集、10％作为测试集、10％作为验证集。

与现有技术相比，本发明的有益效果是：

(1)将ImageNet及YOLO检测框架相结合从而建立了人脸检测及人脸对齐的联合数据库，使用ImageNet建立人脸检测模型，使用YOLO检测框架建立人脸对齐模型，采用YOLO检测框架能通过损失函数提高人脸对齐模型的鲁棒性，从而提高网络的泛化能力。

(2)通过一个网络一个阶段就可以实现人脸的检测和对齐，提高了人脸识别的效率。

(3)随机选取图像并分为训练集、测试集、验证集，且一定程度上扩充了样本，防止图像样本过少导致的过拟合问题。

附图说明

本发明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，在附图中：

图1为本发明的工作流程框架示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本申请作进一步地详细说明，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

如图1所示，一种基于yolo的人脸检测与人脸对齐方法，包括以下步骤：

S1、进行网络的训练，具体包括如下步骤：

S1-1、创建人脸数据集，在LFW数据库上随机挑选具有光照变化、尺度变化和场景变化的人脸图像，并将这些人脸图像的80％划分为训练集、10％划分为测试集，剩下的10％划为验证集；训练集用来建立预训练模型，测试集用来测试人脸识别的泛化能力，验证集网用于控制预训练模型的参数；本步骤扩充了训练样本，防止图像样本过少导致的过拟合问题；

S1-2、对训练集、测试集和验证集中的图像进行标注，即收集图像上人脸在图像上的坐标信息(x，y，w，h)以及人脸关键点的坐标信息(xi，yi)，其中(x，y)代表人脸在图像上的坐标，(w，h)代表人脸在图像上的宽度和高度；在测试集和验证集中进行图像标注就是为了帮助衡量训练集在完成预训练后图像标注的正确率；

S1-3、重构人脸检测与对齐数据库，构建ImageNet及yolo检测框架的联合数据库以对训练集进行分类学习进而创建预训练模型，具体地，ImageNe创建预训练模型中的人脸检测模型，yolo检测框架创建预训练模型中的人脸对齐模型，并通过损失函数调节所述人脸对齐模型的损失；在传统中，使用ImageNet对训练集进行分类任务的训练，从而创建了预训练模型，这个预训练模型包括前半部分的人脸检测模型和后半部分的人脸对齐模型，而在本发明中，将后半部分的人脸对齐模型采用yolo检测框架创建并通过损失函数使人脸对齐模型有较好的鲁棒性；

损失函数为：

Loss＝α_ojbect*(β₁*confidenceloss+β₂*locationloss+β₃*alignedloss)+α_nooject

*confidenceloss

yolo检测框架将整个图像分为k*k个网格，每个网格回归n个bounding boxes(图像边框)，每个boundingbox(图像边框)对应置信度回归(对应损失函数中的confidenceloss)、位置回归(对应损失函数中的locationloss)、关键点回归(对应损失函数中的alignedloss)，此处的关键点有5个，即鼻子、两个眼睛、嘴角两个点，因此总共回归k*k*n*15。因而本损失函数包含了训练集的位置回归、置信度回归以及关键点回归，通过调节置信度、位置及关键点损失的权重，使得模型收敛、提高模型的鲁棒性；

更优地，为了获得更好的鲁棒性，损失函数的权重设置为：

α_ojbect＝2，α_noobject＝1，β₁＝1，β₂＝0.5，β₃＝0.5。

S2、进行网络验证，使用验证集控制预训练模型的参数，对于人脸检测模型，使用mAp进行衡量，mAp是衡量人脸检测中人脸框位置准确度的一个指标，通过设定不同的IoU值计算出人脸检测的准确率和查全率，从而计算得到mAp，即是衡量人脸在图像上的坐标信息(x，y，w，h)的准确率；对于人脸对齐模型的验证使用欧拉损失衡量，即是衡量人脸关键点的坐标信息(xi，yi)的准确率；这样通过验证集的衡量，可以相应调整预训练模型的相关参数，提高人脸检测模型和人脸对齐模型的检测准确率和对齐准确率。

S3、进行性能测试，用测试集测试预训练模型的泛化能力。

本发明将ImageNet及yolo检测框架相结合从而建立了人脸检测及人脸对齐的联合数据库，使用ImageNet建立人脸检测模型，使用yolo检测框架建立人脸对齐模型，采用yolo检测框架能通过损失函数提高人脸对齐模型的鲁棒性，从而提高网络的泛化能力，这是一种端对端的学习，通过一个网络一个阶段就可以实现人脸的检测和对齐，提高了人脸识别的效率；同时随机选取图像并分为训练集、测试集、验证集，且一定程度上扩充了样本，防止图像样本过少导致的过拟合问题。

本实施例叙述的较为具体和详细，也给出了实施例的一些优选措施，但是，该实施例和优选措施并不能作为对本发明的限制，本领域的技术人员看到该方案时，做出的其他变形和等同手段的替换，均应在本发明的保护范围之内。

Claims (5)

1.一种基于yolo的人脸检测与人脸对齐方法，其特征在于：包括以下步骤：

S1、进行网络的训练，具体包括如下步骤：

S1-1、创建人脸数据集，在LFW数据库上随机挑选具有光照变化、尺度变化和场景变化的人脸图像，并将这些人脸图像划分为训练集、测试集及验证集；所述训练集用来建立预训练模型，所述测试集用来测试所述预训练模型的泛化能力，所述验证集用于控制所述预训练模型的参数；

S1-2、对训练集、测试集和验证集中的图像进行标注，即收集图像上人脸在图像上的坐标信息(x，y，w，h)以及人脸关键点的坐标信息(xi，yi)；

S1-3、重构人脸检测与对齐数据库，构建ImageNet及yolo检测框架的联合数据库以对训练集进行分类学习进而创建预训练模型，所述ImageNe创建预训练模型中的人脸检测模型，所述yolo检测框架创建预训练模型中的人脸对齐模型，并通过损失函数提高所述人脸对齐模型的鲁棒性；

S2、进行网络验证，使用所述验证集控制所述预训练模型的参数；

S3、进行性能测试，使用所述测试集测试所述预训练模型的泛化能力。

2.根据权利要求1所述的一种基于yolo的人脸检测与人脸对齐方法，其特征在于：所述损失函数为：

Loss＝α_ojbect*(β₁*confidenceloss+β₂*locationloss+β₃*alignedloss)+αnooject

*confidenceloss。

3.根据权利要求2所述的一种基于yolo的人脸检测与人脸对齐方法，其特征在于：所述损失函数中

α_ojbect＝2，α_noobject＝1，β₁＝1，β₂＝0.5，β₃＝0.5。

4.根据权利要求1所述的一种基于yolo的人脸检测与人脸对齐方法，其特征在于：所述S2-2步的效果验证是指，对于人脸检测模型，使用mAp进行衡量，对于人脸对齐模型，使用欧拉损失衡量。

5.根据权利要求1所述的一种基于yolo的人脸检测与人脸对齐方法，其特征在于：选取的人脸图像中，80％作为为训练集、10％作为测试集、10％作为验证集。