CN109919048A - 一种基于级联MobileNet-V2实现人脸关键点检测的方法 - Google Patents

Abstract

本发明公开了一种基于级联MobileNet‑V2实现人脸关键点检测的方法，包括以下步骤：S1，获的图片数据集，S2，建立MobileNet‑V2级联网络，S3，初步确定人脸关键点，S4，裁剪人脸区域，S5，再次确定人脸区域，S6，得到准确的人脸关键点。本发明采用速度较快且精度也较高的MobileNet‑V2神经网络，并加以改进，并使用两级神经网络级联的方式，提高人脸检测的精度，与现有的人脸关键点检测模型相比，本发明具有速度更快，精度更高的特点；通过级联的方式，实现精益求精的定位，级联网络训练包括，先训练第一阶段级联网络，实现人脸关键点的粗略定位，然后裁剪人脸区域，再通过第二阶段级联网络，实现人脸关键点的精准定位。

Description

一种基于级联MobileNet-V2实现人脸关键点检测的方法

技术领域

本发明涉及深度学习与人工智能技术领域，尤其涉及一种基于级联MobileNet-V2实现人脸关键点检测的方法。

背景技术

人脸关键点定位是人工智能研究的重要方向之一，人脸关键点检测也称为人脸关键点检测、定位或者人脸对齐，是指给定人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓，在实际生活中有着众多的应用，例如，人脸识别，活体检测，刷脸支付等等。

当前人脸识别有很多方法，但能实际使用的较少，因为大多人脸识别的方法存在着定位精度不高，定位耗时过长等问题，鉴于此，本发明提供一种基于级联MobileNet-V2实现人脸关键点检测的方法。

发明内容

本发明的目的是为了解决现有技术中人脸识别有很多方法，但能实际使用的较少，因为大多人脸识别的方法存在着定位精度不高，定位耗时过长等问题的缺点，而提出的一种基于级联MobileNet-V2实现人脸关键点检测的方法。

为了实现上述目的，本发明采用了如下技术方案：

一种基于级联MobileNet-V2实现人脸关键点检测的方法，包括以下步骤：

S1，获的图片数据集：收集带有人脸的图片；

S2，建立MobileNet-V2级联网络：修改MobileNet-V2中的网络输入层，且MobileNet-V2的卷积层为depth-wise convolution；

S3，初步确定人脸关键点：通过MobileNet-V2中的第一神经网络进行定位图片中人脸的关键点；

S4，裁剪人脸区域：根据S3中确定的人脸关键点，进行对图片剪裁，过滤掉图片中不含人脸的区域；

S5，再次确定人脸区域：再通过MobileNet-V2中的第二个神经网络进行人脸关键点定位；

S6，得到准确的人脸关键点：在S5的基础上确定准确的人脸关键点，进行下一步操作。

优选的，所述S2中的MobileNet-V2的卷积层为depth-wise convolution用于人脸特征提取；所述S3和S5中的两个神经网络采用级联的方式，实现由粗略到精细的的人脸关键点定位。

优选的，一种基于级联MobileNet-V2实现人脸关键点检测的算法，包括以下步骤：

S1，修改原版的MobileNet-V2；

S2，训练第一个MobileNet-V2神经网络，训练数据采用的是Large-scale CelebFacesAttributes (CelebA) Dataset，其中数据集包括人脸图片和人脸关键点的标注，训练模型达到收敛；

S3，训练第二个MobileNet-V2级联网络：依靠人脸关键点的标签数据，对人脸区域进行裁剪，裁剪出只包括人脸的区域，重新生成标签，然后进行第二阶段级联网络的训练，训练模型直到收敛；

S4，将S2与S3中训练得到的两个MobileNet-V2神经网络串联：图片先经由第一个MobileNet-V2神经网络，进行人脸关键点的定位，然后依据定位结果，裁剪出包含人脸的区域，送入第二个MobileNet-V2神经网络，得到精准的人脸关键点定位结果，然后将结果返回到原始尺寸的图片中。

本发明提出的一种基于级联MobileNet-V2实现人脸关键点检测的方法，有益效果在于：本发明采用速度较快且精度也较高的MobileNet-V2神经网络，并加以改进，并使用两级神经网络级联的方式，提高人脸检测的精度，与现有的人脸关键点检测模型相比，本发明具有速度更快，精度更高的特点。

本发明基于MobileNet-V2神经网络结构，对其进行改进，实现能够接受多输入，能接受图片输入和关键点的标签；通过级联的方式，实现精益求精的定位，级联网络训练包括，先训练第一阶段级联网络，实现人脸关键点的粗略定位，然后裁剪人脸区域，再通过第二阶段级联网络，实现人脸关键点的精准定位。

附图说明

图1为本发明的总流程示意图。

图2为本发明MobileNet-V2的网络结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例一

参照图1，一种基于级联MobileNet-V2实现人脸关键点检测的方法，包括以下步骤：

S1，获的图片数据集：收集带有人脸的图片；

S2，建立MobileNet-V2级联网络：修改MobileNet-V2中的网络输入层，且MobileNet-V2的卷积层为depth-wise convolution用于人脸特征提取；

S3，初步确定人脸关键点：通过MobileNet-V2中的第一神经网络进行定位图片中人脸的关键点；

S4，裁剪人脸区域：根据S3中确定的人脸关键点，进行对图片剪裁，过滤掉图片中不含人脸的区域；

S5，再次确定人脸区域：再通过MobileNet-V2中的第二个神经网络进行人脸关键点定位，其中S3和S5中的两个神经网络采用级联的方式，实现由粗略到精细的的人脸关键点定位；

S6，得到准确的人脸关键点：在S5的基础上确定准确的人脸关键点，进行下一步操作。

本发明基于MobileNet-V2神经网络结构，对其进行改进，实现能够接受多输入，能接受图片输入和关键点的标签；通过级联的方式，实现精益求精的定位，级联网络训练包括，先训练第一阶段级联网络，实现人脸关键点的粗略定位，然后裁剪人脸区域，再通过第二阶段级联网络，实现人脸关键点的精准定位。

实施例二

参照图1-2，一种基于级联MobileNet-V2实现人脸关键点检测的方法，包括以下步骤：

S1，获的图片数据集：收集带有人脸的图片；

S2，建立MobileNet-V2级联网络：修改MobileNet-V2中的网络输入层，且MobileNet-V2的卷积层为depth-wise convolution用于人脸特征提取；

S3，初步确定人脸关键点：通过MobileNet-V2中的第一神经网络进行定位图片中人脸的关键点；

S4，裁剪人脸区域：根据S3中确定的人脸关键点，进行对图片剪裁，过滤掉图片中不含人脸的区域；

S5，再次确定人脸区域：再通过MobileNet-V2中的第二个神经网络进行人脸关键点定位，其中S3和S5中的两个神经网络采用级联的方式，实现由粗略到精细的的人脸关键点定位；

S6，得到准确的人脸关键点：在S5的基础上确定准确的人脸关键点，进行下一步操作。

一种基于级联MobileNet-V2实现人脸关键点检测的算法，包括以下步骤：

S1，修改原版的MobileNet-V2，MobileNet-V2的网络结果图如图2；

其中：t表示[扩张]倍数，c表示输出通道数，n表示重复次数，s表示步长stride；

原版的MobileNet-V2只支持图片输入，即只能输入单标签，即图片的类别，但是人脸包括多个关键点所以修改网络实现多标签输入，修改其image_data_layer，让其可以接受人脸图片和人脸关键点的坐标作为训练的输入，修改MobileNet-V2的卷积层，修改为depth-wise convolution，即对不同的通道采用不同的卷积核；

S2，训练第一个MobileNet-V2神经网络，训练数据采用的是Large-scale CelebFacesAttributes (CelebA) Dataset，其中数据集包括人脸图片和人脸关键点的标注，训练模型达到收敛；

S3，训练第二个MobileNet-V2级联网络：依靠人脸关键点的标签数据，对人脸区域进行裁剪，裁剪出只包括人脸的区域，重新生成标签，然后进行第二阶段级联网络的训练，训练模型直到收敛；

S4，将S2与S3中训练得到的两个MobileNet-V2神经网络串联：图片先经由第一个MobileNet-V2神经网络，进行人脸关键点的定位，然后依据定位结果，裁剪出包含人脸的区域，送入第二个MobileNet-V2神经网络，得到精准的人脸关键点定位结果，然后将结果返回到原始尺寸的图片中。

本发明采用速度较快且精度也较高的MobileNet-V2神经网络，并加以改进，并使用两级神经网络级联的方式，提高人脸检测的精度，与现有的人脸关键点检测模型相比，本发明具有速度更快，精度更高的特点。

本发明基于MobileNet-V2神经网络结构，对其进行改进，实现能够接受多输入，能接受图片输入和关键点的标签；通过级联的方式，实现精益求精的定位，级联网络训练包括，先训练第一阶段级联网络，实现人脸关键点的粗略定位，然后裁剪人脸区域，再通过第二阶段级联网络，实现人脸关键点的精准定位。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (3)

1.一种基于级联MobileNet-V2实现人脸关键点检测的方法，其特征在于，包括以下步骤：

S1，获的图片数据集：收集带有人脸的图片；

S2，建立MobileNet-V2级联网络：修改MobileNet-V2中的网络输入层，且MobileNet-V2的卷积层为depth-wise convolution；

S3，初步确定人脸关键点：通过MobileNet-V2中的第一神经网络进行定位图片中人脸的关键点；

S4，裁剪人脸区域：根据S3中确定的人脸关键点，进行对图片剪裁，过滤掉图片中不含人脸的区域；

S5，再次确定人脸区域：再通过MobileNet-V2中的第二个神经网络进行人脸关键点定位；

S6，得到准确的人脸关键点：在S5的基础上确定准确的人脸关键点，进行下一步操作。

2.根据权利要求1所述的一种基于级联MobileNet-V2实现人脸关键点检测的方法，其特征在于：所述S2中的MobileNet-V2的卷积层为depth-wise convolution用于人脸特征提取；所述S3和S5中的两个神经网络采用级联的方式，实现由粗略到精细的的人脸关键点定位。

3.根据权利要求1所述的一种基于级联MobileNet-V2实现人脸关键点检测的算法，其特征在于，包括以下步骤：

S1，修改原版的MobileNet-V2；

S2，训练第一个MobileNet-V2神经网络，训练数据采用的是Large-scale CelebFacesAttributes (CelebA) Dataset，其中数据集包括人脸图片和人脸关键点的标注，训练模型达到收敛；

S3，训练第二个MobileNet-V2级联网络：依靠人脸关键点的标签数据，对人脸区域进行裁剪，裁剪出只包括人脸的区域，重新生成标签，然后进行第二阶段级联网络的训练，训练模型直到收敛；

S4，将S2与S3中训练得到的两个MobileNet-V2神经网络串联：图片先经由第一个MobileNet-V2神经网络，进行人脸关键点的定位，然后依据定位结果，裁剪出包含人脸的区域，送入第二个MobileNet-V2神经网络，得到精准的人脸关键点定位结果，然后将结果返回到原始尺寸的图片中。