CN109919048A - 一种基于级联MobileNet-V2实现人脸关键点检测的方法 - Google Patents
一种基于级联MobileNet-V2实现人脸关键点检测的方法 Download PDFInfo
- Publication number
- CN109919048A CN109919048A CN201910128618.9A CN201910128618A CN109919048A CN 109919048 A CN109919048 A CN 109919048A CN 201910128618 A CN201910128618 A CN 201910128618A CN 109919048 A CN109919048 A CN 109919048A
- Authority
- CN
- China
- Prior art keywords
- face
- mobilenet
- key point
- cascade
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于级联MobileNet‑V2实现人脸关键点检测的方法,包括以下步骤:S1,获的图片数据集,S2,建立MobileNet‑V2级联网络,S3,初步确定人脸关键点,S4,裁剪人脸区域,S5,再次确定人脸区域,S6,得到准确的人脸关键点。本发明采用速度较快且精度也较高的MobileNet‑V2神经网络,并加以改进,并使用两级神经网络级联的方式,提高人脸检测的精度,与现有的人脸关键点检测模型相比,本发明具有速度更快,精度更高的特点;通过级联的方式,实现精益求精的定位,级联网络训练包括,先训练第一阶段级联网络,实现人脸关键点的粗略定位,然后裁剪人脸区域,再通过第二阶段级联网络,实现人脸关键点的精准定位。
Description
技术领域
本发明涉及深度学习与人工智能技术领域,尤其涉及一种基于级联MobileNet-V2实现人脸关键点检测的方法。
背景技术
人脸关键点定位是人工智能研究的重要方向之一,人脸关键点检测也称为人脸关键点检测、定位或者人脸对齐,是指给定人脸图像,定位出人脸面部的关键区域位置,包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓,在实际生活中有着众多的应用,例如,人脸识别,活体检测,刷脸支付等等。
当前人脸识别有很多方法,但能实际使用的较少,因为大多人脸识别的方法存在着定位精度不高,定位耗时过长等问题,鉴于此,本发明提供一种基于级联MobileNet-V2实现人脸关键点检测的方法。
发明内容
本发明的目的是为了解决现有技术中人脸识别有很多方法,但能实际使用的较少,因为大多人脸识别的方法存在着定位精度不高,定位耗时过长等问题的缺点,而提出的一种基于级联MobileNet-V2实现人脸关键点检测的方法。
为了实现上述目的,本发明采用了如下技术方案:
一种基于级联MobileNet-V2实现人脸关键点检测的方法,包括以下步骤:
S1,获的图片数据集:收集带有人脸的图片;
S2,建立MobileNet-V2级联网络:修改MobileNet-V2中的网络输入层,且MobileNet-V2的卷积层为depth-wise convolution;
S3,初步确定人脸关键点:通过MobileNet-V2中的第一神经网络进行定位图片中人脸的关键点;
S4,裁剪人脸区域:根据S3中确定的人脸关键点,进行对图片剪裁,过滤掉图片中不含人脸的区域;
S5,再次确定人脸区域:再通过MobileNet-V2中的第二个神经网络进行人脸关键点定位;
S6,得到准确的人脸关键点:在S5的基础上确定准确的人脸关键点,进行下一步操作。
优选的,所述S2中的MobileNet-V2的卷积层为depth-wise convolution用于人脸特征提取;所述S3和S5中的两个神经网络采用级联的方式,实现由粗略到精细的的人脸关键点定位。
优选的,一种基于级联MobileNet-V2实现人脸关键点检测的算法,包括以下步骤:
S1,修改原版的MobileNet-V2;
S2,训练第一个MobileNet-V2神经网络,训练数据采用的是Large-scale CelebFacesAttributes (CelebA) Dataset,其中数据集包括人脸图片和人脸关键点的标注,训练模型达到收敛;
S3,训练第二个MobileNet-V2级联网络:依靠人脸关键点的标签数据,对人脸区域进行裁剪,裁剪出只包括人脸的区域,重新生成标签,然后进行第二阶段级联网络的训练,训练模型直到收敛;
S4,将S2与S3中训练得到的两个MobileNet-V2神经网络串联:图片先经由第一个MobileNet-V2神经网络,进行人脸关键点的定位,然后依据定位结果,裁剪出包含人脸的区域,送入第二个MobileNet-V2神经网络,得到精准的人脸关键点定位结果,然后将结果返回到原始尺寸的图片中。
本发明提出的一种基于级联MobileNet-V2实现人脸关键点检测的方法,有益效果在于:本发明采用速度较快且精度也较高的MobileNet-V2神经网络,并加以改进,并使用两级神经网络级联的方式,提高人脸检测的精度,与现有的人脸关键点检测模型相比,本发明具有速度更快,精度更高的特点。
本发明基于MobileNet-V2神经网络结构,对其进行改进,实现能够接受多输入,能接受图片输入和关键点的标签;通过级联的方式,实现精益求精的定位,级联网络训练包括,先训练第一阶段级联网络,实现人脸关键点的粗略定位,然后裁剪人脸区域,再通过第二阶段级联网络,实现人脸关键点的精准定位。
附图说明
图1为本发明的总流程示意图。
图2为本发明MobileNet-V2的网络结果示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
实施例一
参照图1,一种基于级联MobileNet-V2实现人脸关键点检测的方法,包括以下步骤:
S1,获的图片数据集:收集带有人脸的图片;
S2,建立MobileNet-V2级联网络:修改MobileNet-V2中的网络输入层,且MobileNet-V2的卷积层为depth-wise convolution用于人脸特征提取;
S3,初步确定人脸关键点:通过MobileNet-V2中的第一神经网络进行定位图片中人脸的关键点;
S4,裁剪人脸区域:根据S3中确定的人脸关键点,进行对图片剪裁,过滤掉图片中不含人脸的区域;
S5,再次确定人脸区域:再通过MobileNet-V2中的第二个神经网络进行人脸关键点定位,其中S3和S5中的两个神经网络采用级联的方式,实现由粗略到精细的的人脸关键点定位;
S6,得到准确的人脸关键点:在S5的基础上确定准确的人脸关键点,进行下一步操作。
本发明基于MobileNet-V2神经网络结构,对其进行改进,实现能够接受多输入,能接受图片输入和关键点的标签;通过级联的方式,实现精益求精的定位,级联网络训练包括,先训练第一阶段级联网络,实现人脸关键点的粗略定位,然后裁剪人脸区域,再通过第二阶段级联网络,实现人脸关键点的精准定位。
实施例二
参照图1-2,一种基于级联MobileNet-V2实现人脸关键点检测的方法,包括以下步骤:
S1,获的图片数据集:收集带有人脸的图片;
S2,建立MobileNet-V2级联网络:修改MobileNet-V2中的网络输入层,且MobileNet-V2的卷积层为depth-wise convolution用于人脸特征提取;
S3,初步确定人脸关键点:通过MobileNet-V2中的第一神经网络进行定位图片中人脸的关键点;
S4,裁剪人脸区域:根据S3中确定的人脸关键点,进行对图片剪裁,过滤掉图片中不含人脸的区域;
S5,再次确定人脸区域:再通过MobileNet-V2中的第二个神经网络进行人脸关键点定位,其中S3和S5中的两个神经网络采用级联的方式,实现由粗略到精细的的人脸关键点定位;
S6,得到准确的人脸关键点:在S5的基础上确定准确的人脸关键点,进行下一步操作。
一种基于级联MobileNet-V2实现人脸关键点检测的算法,包括以下步骤:
S1,修改原版的MobileNet-V2,MobileNet-V2的网络结果图如图2;
其中:t表示[扩张]倍数,c表示输出通道数,n表示重复次数,s表示步长stride;
原版的MobileNet-V2只支持图片输入,即只能输入单标签,即图片的类别,但是人脸包括多个关键点所以修改网络实现多标签输入,修改其image_data_layer,让其可以接受人脸图片和人脸关键点的坐标作为训练的输入,修改MobileNet-V2的卷积层,修改为depth-wise convolution,即对不同的通道采用不同的卷积核;
S2,训练第一个MobileNet-V2神经网络,训练数据采用的是Large-scale CelebFacesAttributes (CelebA) Dataset,其中数据集包括人脸图片和人脸关键点的标注,训练模型达到收敛;
S3,训练第二个MobileNet-V2级联网络:依靠人脸关键点的标签数据,对人脸区域进行裁剪,裁剪出只包括人脸的区域,重新生成标签,然后进行第二阶段级联网络的训练,训练模型直到收敛;
S4,将S2与S3中训练得到的两个MobileNet-V2神经网络串联:图片先经由第一个MobileNet-V2神经网络,进行人脸关键点的定位,然后依据定位结果,裁剪出包含人脸的区域,送入第二个MobileNet-V2神经网络,得到精准的人脸关键点定位结果,然后将结果返回到原始尺寸的图片中。
本发明采用速度较快且精度也较高的MobileNet-V2神经网络,并加以改进,并使用两级神经网络级联的方式,提高人脸检测的精度,与现有的人脸关键点检测模型相比,本发明具有速度更快,精度更高的特点。
本发明基于MobileNet-V2神经网络结构,对其进行改进,实现能够接受多输入,能接受图片输入和关键点的标签;通过级联的方式,实现精益求精的定位,级联网络训练包括,先训练第一阶段级联网络,实现人脸关键点的粗略定位,然后裁剪人脸区域,再通过第二阶段级联网络,实现人脸关键点的精准定位。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (3)
1.一种基于级联MobileNet-V2实现人脸关键点检测的方法,其特征在于,包括以下步骤:
S1,获的图片数据集:收集带有人脸的图片;
S2,建立MobileNet-V2级联网络:修改MobileNet-V2中的网络输入层,且MobileNet-V2的卷积层为depth-wise convolution;
S3,初步确定人脸关键点:通过MobileNet-V2中的第一神经网络进行定位图片中人脸的关键点;
S4,裁剪人脸区域:根据S3中确定的人脸关键点,进行对图片剪裁,过滤掉图片中不含人脸的区域;
S5,再次确定人脸区域:再通过MobileNet-V2中的第二个神经网络进行人脸关键点定位;
S6,得到准确的人脸关键点:在S5的基础上确定准确的人脸关键点,进行下一步操作。
2.根据权利要求1所述的一种基于级联MobileNet-V2实现人脸关键点检测的方法,其特征在于:所述S2中的MobileNet-V2的卷积层为depth-wise convolution用于人脸特征提取;所述S3和S5中的两个神经网络采用级联的方式,实现由粗略到精细的的人脸关键点定位。
3.根据权利要求1所述的一种基于级联MobileNet-V2实现人脸关键点检测的算法,其特征在于,包括以下步骤:
S1,修改原版的MobileNet-V2;
S2,训练第一个MobileNet-V2神经网络,训练数据采用的是Large-scale CelebFacesAttributes (CelebA) Dataset,其中数据集包括人脸图片和人脸关键点的标注,训练模型达到收敛;
S3,训练第二个MobileNet-V2级联网络:依靠人脸关键点的标签数据,对人脸区域进行裁剪,裁剪出只包括人脸的区域,重新生成标签,然后进行第二阶段级联网络的训练,训练模型直到收敛;
S4,将S2与S3中训练得到的两个MobileNet-V2神经网络串联:图片先经由第一个MobileNet-V2神经网络,进行人脸关键点的定位,然后依据定位结果,裁剪出包含人脸的区域,送入第二个MobileNet-V2神经网络,得到精准的人脸关键点定位结果,然后将结果返回到原始尺寸的图片中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910128618.9A CN109919048A (zh) | 2019-02-21 | 2019-02-21 | 一种基于级联MobileNet-V2实现人脸关键点检测的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910128618.9A CN109919048A (zh) | 2019-02-21 | 2019-02-21 | 一种基于级联MobileNet-V2实现人脸关键点检测的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109919048A true CN109919048A (zh) | 2019-06-21 |
Family
ID=66961973
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910128618.9A Pending CN109919048A (zh) | 2019-02-21 | 2019-02-21 | 一种基于级联MobileNet-V2实现人脸关键点检测的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109919048A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110414419A (zh) * | 2019-07-25 | 2019-11-05 | 四川长虹电器股份有限公司 | 一种基于移动端观看者的姿势检测系统及方法 |
CN110659596A (zh) * | 2019-09-11 | 2020-01-07 | 高新兴科技集团股份有限公司 | 案管场景下人脸关键点定位方法、计算机存储介质及设备 |
CN110909618A (zh) * | 2019-10-29 | 2020-03-24 | 泰康保险集团股份有限公司 | 一种宠物身份的识别方法及装置 |
CN110987189A (zh) * | 2019-11-21 | 2020-04-10 | 北京都是科技有限公司 | 对目标对象进行温度检测的方法、系统以及装置 |
CN111508129A (zh) * | 2020-03-09 | 2020-08-07 | 广东环境保护工程职业学院 | 一种废旧电池智能回收装置及方法 |
CN111832465A (zh) * | 2020-07-08 | 2020-10-27 | 星宏集群有限公司 | 基于MobileNetV3的实时人头分类检测方法 |
CN111985299A (zh) * | 2020-06-29 | 2020-11-24 | 济南浪潮高新科技投资发展有限公司 | 一种基于改进卷积神经网络的口罩识别方法及装置 |
CN112036253A (zh) * | 2020-08-06 | 2020-12-04 | 海纳致远数字科技(上海)有限公司 | 一种基于深度学习的人脸关键点定位方法 |
CN112257503A (zh) * | 2020-09-16 | 2021-01-22 | 深圳微步信息股份有限公司 | 一种性别年龄识别方法、装置及存储介质 |
CN112257502A (zh) * | 2020-09-16 | 2021-01-22 | 深圳微步信息股份有限公司 | 一种监控视频行人识别与跟踪方法、装置及存储介质 |
CN112263224A (zh) * | 2020-12-24 | 2021-01-26 | 南京信息工程大学 | 一种基于fpga边缘计算的医学信息处理方法 |
CN114881893A (zh) * | 2022-07-05 | 2022-08-09 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108304788A (zh) * | 2018-01-18 | 2018-07-20 | 陕西炬云信息科技有限公司 | 基于深度神经网络的人脸识别方法 |
CN108875492A (zh) * | 2017-10-11 | 2018-11-23 | 北京旷视科技有限公司 | 人脸检测及关键点定位方法、装置、系统和存储介质 |
CN109034119A (zh) * | 2018-08-27 | 2018-12-18 | 苏州广目信息技术有限公司 | 一种基于优化的全卷积神经网络的人脸检测方法 |
CN109063625A (zh) * | 2018-07-27 | 2018-12-21 | 北京以萨技术股份有限公司 | 一种基于级联深度网络的人脸关键点检测方法 |
CN109190654A (zh) * | 2018-07-09 | 2019-01-11 | 上海斐讯数据通信技术有限公司 | 人脸识别模型的训练方法和装置 |
-
2019
- 2019-02-21 CN CN201910128618.9A patent/CN109919048A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875492A (zh) * | 2017-10-11 | 2018-11-23 | 北京旷视科技有限公司 | 人脸检测及关键点定位方法、装置、系统和存储介质 |
CN108304788A (zh) * | 2018-01-18 | 2018-07-20 | 陕西炬云信息科技有限公司 | 基于深度神经网络的人脸识别方法 |
CN109190654A (zh) * | 2018-07-09 | 2019-01-11 | 上海斐讯数据通信技术有限公司 | 人脸识别模型的训练方法和装置 |
CN109063625A (zh) * | 2018-07-27 | 2018-12-21 | 北京以萨技术股份有限公司 | 一种基于级联深度网络的人脸关键点检测方法 |
CN109034119A (zh) * | 2018-08-27 | 2018-12-18 | 苏州广目信息技术有限公司 | 一种基于优化的全卷积神经网络的人脸检测方法 |
Non-Patent Citations (1)
Title |
---|
TINGSONGYU: ""cascaded_mobilenet-v2"", 《HTTPS://GITHUB.COM/TINGSONGYU/CASCADED_MOBILENET-V2》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110414419A (zh) * | 2019-07-25 | 2019-11-05 | 四川长虹电器股份有限公司 | 一种基于移动端观看者的姿势检测系统及方法 |
CN110659596A (zh) * | 2019-09-11 | 2020-01-07 | 高新兴科技集团股份有限公司 | 案管场景下人脸关键点定位方法、计算机存储介质及设备 |
CN110909618A (zh) * | 2019-10-29 | 2020-03-24 | 泰康保险集团股份有限公司 | 一种宠物身份的识别方法及装置 |
CN110909618B (zh) * | 2019-10-29 | 2023-04-21 | 泰康保险集团股份有限公司 | 一种宠物身份的识别方法及装置 |
CN110987189A (zh) * | 2019-11-21 | 2020-04-10 | 北京都是科技有限公司 | 对目标对象进行温度检测的方法、系统以及装置 |
CN111508129A (zh) * | 2020-03-09 | 2020-08-07 | 广东环境保护工程职业学院 | 一种废旧电池智能回收装置及方法 |
CN111985299A (zh) * | 2020-06-29 | 2020-11-24 | 济南浪潮高新科技投资发展有限公司 | 一种基于改进卷积神经网络的口罩识别方法及装置 |
CN111832465B (zh) * | 2020-07-08 | 2022-03-29 | 星宏集群有限公司 | 基于MobileNetV3的实时人头分类检测方法 |
CN111832465A (zh) * | 2020-07-08 | 2020-10-27 | 星宏集群有限公司 | 基于MobileNetV3的实时人头分类检测方法 |
CN112036253A (zh) * | 2020-08-06 | 2020-12-04 | 海纳致远数字科技(上海)有限公司 | 一种基于深度学习的人脸关键点定位方法 |
CN112036253B (zh) * | 2020-08-06 | 2024-05-10 | 海纳致远数字科技(上海)有限公司 | 一种基于深度学习的人脸关键点定位方法 |
CN112257503A (zh) * | 2020-09-16 | 2021-01-22 | 深圳微步信息股份有限公司 | 一种性别年龄识别方法、装置及存储介质 |
CN112257502A (zh) * | 2020-09-16 | 2021-01-22 | 深圳微步信息股份有限公司 | 一种监控视频行人识别与跟踪方法、装置及存储介质 |
CN112263224A (zh) * | 2020-12-24 | 2021-01-26 | 南京信息工程大学 | 一种基于fpga边缘计算的医学信息处理方法 |
CN112263224B (zh) * | 2020-12-24 | 2021-03-23 | 南京信息工程大学 | 一种基于fpga边缘计算的医学信息处理方法 |
CN114881893A (zh) * | 2022-07-05 | 2022-08-09 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109919048A (zh) | 一种基于级联MobileNet-V2实现人脸关键点检测的方法 | |
Hou et al. | Signspeaker: A real-time, high-precision smartwatch-based sign language translator | |
Plummer et al. | Conditional image-text embedding networks | |
US20200302180A1 (en) | Image recognition method and apparatus, terminal, and storage medium | |
Tao et al. | An object detection system based on YOLO in traffic scene | |
Deleforge et al. | Co-localization of audio sources in images using binaural features and locally-linear regression | |
CN109508687A (zh) | 人机交互控制方法、装置、存储介质和智能设备 | |
CN109271888A (zh) | 基于步态的身份识别方法、装置、电子设备 | |
CN102819744A (zh) | 一种双通道信息融合的情感识别方法 | |
CN106295567A (zh) | 一种关键点的定位方法及终端 | |
CN105718873A (zh) | 基于双目视觉的人流分析方法 | |
CN102567716B (zh) | 一种人脸合成系统及实现方法 | |
CN106778796A (zh) | 基于混合式协同训练的人体动作识别方法及系统 | |
CN105488519B (zh) | 一种基于视频尺度信息的视频分类方法 | |
CN106127108A (zh) | 一种基于卷积神经网络的人手图像区域检测方法 | |
CN108959531A (zh) | 信息搜索方法、装置、设备及存储介质 | |
CN103793510A (zh) | 一种基于主动学习的分类器构建方法 | |
CN109086659A (zh) | 一种基于多模道特征融合的人体行为识别方法和装置 | |
CN106803084B (zh) | 一种基于端到端循环网络的面部特征点定位方法 | |
CN105912991A (zh) | 基于3d点云与关键骨骼节点的行为识别 | |
CN108985133B (zh) | 一种人脸图像的年龄预测方法及装置 | |
CN111860044A (zh) | 人脸换脸方法、装置、设备及计算机存储介质 | |
CN107704799A (zh) | 一种人体动作识别方法及设备、计算机可读存储介质 | |
CN102542543A (zh) | 基于块相似性的交互式图像分割方法 | |
CN109829901A (zh) | 一种基于卷积神经网络的真菌性角膜炎检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190621 |