CN111832517A - 基于门控卷积的低清人脸关键点检测方法 - Google Patents

基于门控卷积的低清人脸关键点检测方法 Download PDF

Info

Publication number
CN111832517A
CN111832517A CN202010709300.2A CN202010709300A CN111832517A CN 111832517 A CN111832517 A CN 111832517A CN 202010709300 A CN202010709300 A CN 202010709300A CN 111832517 A CN111832517 A CN 111832517A
Authority
CN
China
Prior art keywords
key point
definition
convolution
face key
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010709300.2A
Other languages
English (en)
Inventor
谢军伟
童同
高钦泉
罗鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Imperial Vision Information Technology Co ltd
Original Assignee
Fujian Imperial Vision Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Imperial Vision Information Technology Co ltd filed Critical Fujian Imperial Vision Information Technology Co ltd
Priority to CN202010709300.2A priority Critical patent/CN111832517A/zh
Publication of CN111832517A publication Critical patent/CN111832517A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于门控卷积的低清人脸关键点检测方法，包括以下步骤：步骤S1:采集人脸关键点数据并标注，获得高清人脸图像以及对应的人脸关键点坐标；步骤S2：对高清人脸图像进行预处理后，作为深度学习的训练数据集；步骤S3:构建类U‑net网络结构；步骤S4:构建门控卷积模块；步骤S5：根据类U‑net网络结构和门控卷积模块，结合多层级联的输出结构，构建人脸关键点检测网络,并根据训练数据集进行训练；步骤S6:将待检测图像输入训练后的人脸关键点检测网络，获取人脸关键点。本发明能够有效的提取低清人脸的的人脸关键点。

Description

基于门控卷积的低清人脸关键点检测方法
技术领域
本发明涉及图像分析领域，具体涉及一种基于门控卷积的低清人脸关键点检测方法。
背景技术
在人脸关键点检测作为人脸识别、人脸分析的关键步骤，在人脸识别、三维人脸重建、3D动画、表情分析等领域都是关键的核心技术。以往的人脸关键点检测算法对人脸的清晰程度要求比较高，对噪声，模糊图像处理能力偏弱，往往难以满足真实场景应用的要求。
现有技术中，为了完成人脸关键点检测的工作，当前有以下几种方法：
第一种方法，以ASM(Active Shape Model)代表，由Cootes于1995年提出的经典的人脸关键点检测算法。主动形状模型即通过形状模型对目标物体进行抽象，ASM是一种基于点分布模型(Point Distribution Model,PDM)的算法。在PDM中，外形相似的物体，例如人脸、人手、心脏、肺部等的几何形状可以通过若干关键点(landmarks)的坐标依次串联形成一个形状向量来表示。ASM算法需要通过人工标定的方法先标定训练集，经过训练获得形状模型，再通过关键点的匹配实现特定物体的匹配。不过该算法学习能力有限，无法完成噪声模糊场景下的人脸关键点定位。
第二种方法，其中2013年，Sun等人首次将CNN应用到人脸关键点检测，提出一种级联的CNN(拥有三个层级)DCNN(Deep Convolutional Network)，此种方法属于级联回归方法。作者通过精心设计拥有三个层级的级联卷积神经网络，改善了以往方法初始参数设置不当导致陷入局部最优的问题，而且借助于CNN强大的特征提取能力，获得更为精准的关键点检测。不过该方法也存在模型设计简单，鲁棒性有限，无法满足真实场景需求的问题。
当前的CNN方法存在普遍的无法针对低清、噪声人脸做出准确的人脸关键点估计，同时存在模型臃肿，消耗计算资源大的问题。
发明内容
有鉴于此，本发明的目的在于提供一种基于门控卷积的低清人脸关键点检测方法，能够有效的提取低清人脸的的人脸关键点。
为实现上述目的，本发明采用如下技术方案：
一种基于门控卷积的低清人脸关键点检测方法，包括以下步骤：
步骤S1:采集人脸关键点数据并标注，获得高清人脸图像以及对应的人脸关键点坐标；
步骤S2：对高清人脸图像进行预处理后，作为深度学习的训练数据集；
步骤S3:构建类U-net网络结构；
步骤S4:构建门控卷积模块；
步骤S5：根据类U-net网络结构和门控卷积模型，结合多层级联的输出结构，构建人脸关键点检测网络,并根据训练数据集进行训练；
步骤S6:将待检测图像输入训练后的人脸关键点检测网络，获取人脸关键点。
进一步的，所述步骤S1具体为：
步骤S11:通过开源的数据集结合手工标注收集若干张人脸关键点数据，进一步获取高清人脸图像Xhigh以及对应的人脸关键点坐标M；
步骤S12:对于高清人脸图像Xhigh进行缩放，统一缩放到NxN的大小。
进一步的，所述步骤S2具体为：
步骤S21:对高清人脸图像Xhigh随机增加高斯噪声，并在10～100之间随机地选择一个质量参数，对清晰的人脸图像做退化处理，退化因子为α，即可获取低清人脸图像Xlow；
步骤S22:通过对原始图像和退化图像进行随机翻转，得到增广图片数据，关键点坐标也同步翻转；
步骤S23:以匹配数据对的方式存储处理后的高清、低清人脸图像X以及对应的人脸关键点坐标M，作为深度学习的训练数据集。
进一步的，所述类U-net网络结构的核心网络中特征提取阶段由14个卷积块组成，包括一个卷积层，一个Relu激活函数，其中一个大卷积块的计算公式是：
Fn＝R(Wn*Fn-1+Bn) (1)
其中R表示非线性激活函数Relu，Wn、Bn分别表示特征提取阶段中卷积层的权重和偏置，Fn-1表示上一个卷积输出的特征图，Fn表示当前特征提取阶段得到的输出特征图。
进一步的，所述门控卷积模型由两个卷积模块组成的提取特征模块，分别是门控模块和特征提取模块，具体为：
Gatingy，x＝∑∑Wg.I (2)
Featurey，x＝∑∑Wf·I (3)
Oy，x＝Φ(Featturey，x)⊙σ(Gatingy，x) (4)
其中Gatingy，x表示对应于坐标(y,x)位置的特征门限值；σ是一个激活函数，用于控制Gatingy，x的输出值在0～1之间；Featurey，x表示特征提取模块提取到的(y,x)位置的特征，Φ是Relu激活函数。
进一步的，所述步骤S5中根据训练数据集进行训练，具体为：
将训练数据集分别作为两个阶段的输入，其中第一阶段训练采用1e-4的学习率；
当网络收敛时，开始训练第二阶段网络的训练第二阶段采用1e-5做微调；
每一阶段的训练过程，都被分为多个子训练周期，采用步进增长策略依次进行子训练周期的训练；
当完成一个子训练周期后生成的结果与其对应的高清图像数据存在出路大于阈值时，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数再执行每一个网络的初始训练步骤；当在完成一个子训练周期后生成的目标检测框达到预期或完成所有预设的子训练周期的次数后，则获得最终结果。
本发明与现有技术相比具有以下有益效果：
本发明借助U-net结构增强图像中的特征，然后通过门控卷积自动筛选图像中的关键特征，通过卷积神经网络自动检测神经网络中的人脸关键点。
附图说明
图1是本发明的方法流程图；
图2是本发明一实施例中网络结构图；
图3是本发明一实施例中门控卷积表示图；
图4是本发明一实施例中部分结果示例图；。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于门控卷积的低清人脸关键点检测方法，包括以下步骤：
步骤S1:由于低清人脸，往往来自与互联网，移动端嵌入式设备，拍摄的人像环境可能是夜间、雾天、强光环境；图像处理过程中还可能引入模糊，ISO噪声，压缩噪声。为了获取低清人脸关键点检测模型，本实施例通过开源的数据集结合手工标注收集了24w张人脸关键点数据。获得了高清人脸数据以及对应的人脸关键点坐标：人脸图像Xhigt以及它对应的人脸关键点坐标M；对于输入的人脸图像Xhigh，进一步缩放到128x128的图像块；
步骤S2:对于输入人脸图像Xhigh，接下来对它随机增加高斯噪声；为了模拟图像压缩的噪声，在10～100之间随机地选择一个质量参数，对清晰的人脸图像做退化处理，退化因子为α，获得低清人脸图像Xlow。通过对原始图像和退化图像进行随机翻转(关键点坐标也同步翻转)，得到大量的增广图片数据，组合高清、低清人脸图像获得人脸图像数据集X，以匹配数据对的方式存储X、M(人脸图像，人脸关键点坐标)，作为深度学习的训练数据集；
步骤S3:构建类U-net网络结构；
参考图2，本实施例中构建一个类U-net网络结构检测人脸关键点，较高维度的卷积模块有助于获取获取图像细粒度的特征，较低维度的卷积模块有助于获取粗粒度的特征。
核心网络中特征提取阶段由14个卷积块组成，包括一个卷积层，一个Relu激活函数，其中一个大卷积块的计算公式是：
Fn＝R(Wn*Fn-1+Bn) (1)
其中R表示非线性激活函数Relu，Wn、Bn分别表示特征提取阶段中卷积层的权重和偏置，Fn-1表示上一个卷积输出的特征图，Fn表示当前特征提取阶段得到的输出特征图。
步骤S4:构建门控卷积模型；
在本实施例中，门控卷积通过自适应地学习图像中的关键特征，筛查图像中存在的干扰因素。其中的门控卷积，是由两个卷积模块组成的提取特征模块。分别是门控模块(Gating)和特征提取模块，如图3所示。
Gatingy，x＝∑∑Wg·I (2)
Featurey，x＝∑∑Wf.I (3)
Oy，x＝Φ(Featturey，x)⊙σ(Gatingy，x) (4)
其中Gatingy，x表示对应于坐标(y,x)位置的特征门限值。σ是一个激活函数，用于控制Gatingy，x的输出值在0～1之间。Featurey，x表示特征提取模块提取到的(y,x)位置的特征，Φ是Relu激活函数。最后通过⊙点乘操作获取到对应的特征输出。
步骤S5：根据类U-net网络结构和门控卷积模型，结合多层级联的输出结构，构建人脸关键点检测网络,并根据训练数据集进行训练；
其中普通的卷积模块主要放在前期的网络阶段，而门控卷积模块放在多维度特征组合之后的下一个卷积层中，这样的结合可以让前面的网络充分提取特征，同时门控卷积筛选出效用最大的特征，达到去除噪声影响，保证网络输出稳定的效果。在实际人脸关键点的过程中由于对于人脸矫正，人脸定位而言，眼睛和嘴巴的重要性远高于眉毛和外围轮廓点，所以本实施例人脸关键点检测采用的是不均衡的L2loss定义如下：
Figure BDA0002595916170000071
其中人脸关键点标准答案坐标M包含68个关键点，每个关键点是(xi，yi)。网络输出的关键点坐标为M′同样包含68个点，每个关键点是(xi′，yi′)。θi为，每个关键点的权重值，其中人脸外围轮廓的权重去1，眉毛的权重取值为2，鼻子的权重取2，人眼的权重取10，嘴巴的权重取10。
在本实施例中，训练阶段采用两阶段训练策略。本实施例中将人脸图像分别作为两个阶段的输入，其中第一阶段训练采用1e-4的学习率。当网络收敛时，开始训练第二阶段网络，训练第二阶段采用1e-5的学习率做微调。每一阶段的训练过程，都被分为多个子训练周期，采用步进增长策略依次进行子训练周期的训练。
当完成一个子训练周期后生成的人脸关键点结果与其对应的标准答案数据存在较大出路时，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数再执行每一个网络的初始训练步骤。当在完成一个子训练周期后生成的图像达到预期或完成所有预设的子训练周期的次数后，则获得最终结果，部分结果如图4。
步骤S6:将待检测图像输入训练后的人脸关键点检测网络，获取人脸关键点。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.一种基于门控卷积的低清人脸关键点检测方法，其特征在于，包括以下步骤：
步骤S1:采集人脸关键点数据并标注，获得高清人脸图像以及对应的人脸关键点坐标；
步骤S2：对高清人脸图像进行预处理后，作为深度学习的训练数据集；
步骤S3:构建类U-net网络结构；
步骤S4:构建门控卷积模块；
步骤S5：根据类U-net网络结构和门控卷积模块，结合多层级联的输出结构，构建人脸关键点检测网络,并根据训练数据集进行训练；
步骤S6:将待检测图像输入训练后的人脸关键点检测网络，获取人脸关键点。
2.根据权利要求1所述的基于门控卷积的低清人脸关键点检测方法，其特征在于，所述步骤S1具体为：
步骤S11:通过开源的数据集结合手工标注收集若干张人脸关键点数据，进一步获取高清人脸图像Xhigh以及对应的人脸关键点坐标M；
步骤S12:对于高清人脸图像Xhigh进行缩放，统一缩放到NxN的大小。
3.根据权利要求1所述的基于门控卷积的低清人脸关键点检测方法，其特征在于，所述步骤S2具体为：
步骤S21:对高清人脸图像Xhigh随机增加高斯噪声，并在10～100之间随机地选择一个质量参数，对清晰的人脸图像做退化处理，退化因子为α，即可获取低清人脸图像Xlow；
步骤S22:通过对原始图像和低清图像进行随机翻转，得到增广图片数据，关键点坐标也同步翻转；
步骤S23:以匹配数据对的方式存储处理后的高清、低清人脸图像X以及对应的人脸关键点坐标M，作为深度学习的训练数据集。
4.根据权利要求1所述的基于门控卷积的低清人脸关键点检测方法，其特征在于，所述类U-net网络结构的核心网络中特征提取阶段由14个卷积块组成，包括一个卷积层，一个Relu激活函数，其中一个大卷积块的计算公式是：
Fn＝R(Wn*Fn-1+Bn) (1)
其中R表示非线性激活函数Relu，Wn、Bn分别表示特征提取阶段中卷积层的权重和偏置，Fn-1表示上一个卷积输出的特征图，Fn表示当前特征提取阶段得到的输出特征图。
5.根据权利要求1所述的基于门控卷积的低清人脸关键点检测方法，其特征在于，所述门控卷积模型由两个卷积模块组成的提取特征模块，分别是门控模块和特征提取模块，具体为：
Gatingy，x＝∑∑Wg·I (2)
Featurey，x＝∑∑Wf·I (3)
Oy，x＝Φ(Featturey，x)⊙σ(Gatingy，x) (4)
其中Gatingy，x表示对应于坐标(y,x)位置的特征门限值；σ是一个激活函数，用于控制Gatingy，x的输出值在0～1之间；Featurey，x表示特征提取模块提取到的(y,x)位置的特征，Φ是Relu激活函数。
6.根据权利要求1所述的基于门控卷积的低清人脸关键点检测方法，其特征在于，所述步骤S5中根据训练数据集进行训练，具体为：
将训练数据集分别作为两个阶段的输入，其中第一阶段训练采用1e-4的学习率；
当网络收敛时，开始训练第二阶段网络的训练第二阶段采用1e-5做微调；
每一阶段的训练过程，都被分为多个子训练周期，采用步进增长策略依次进行子训练周期的训练；
当完成一个子训练周期后生成的结果与其对应的高清图像数据存在出路大于阈值时，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数再执行每一个网络的初始训练步骤；当在完成一个子训练周期后生成的目标检测框达到预期或完成所有预设的子训练周期的次数后，则获得最终结果。
CN202010709300.2A 2020-07-22 2020-07-22 基于门控卷积的低清人脸关键点检测方法 Pending CN111832517A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010709300.2A CN111832517A (zh) 2020-07-22 2020-07-22 基于门控卷积的低清人脸关键点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010709300.2A CN111832517A (zh) 2020-07-22 2020-07-22 基于门控卷积的低清人脸关键点检测方法

Publications (1)

Publication Number Publication Date
CN111832517A true CN111832517A (zh) 2020-10-27

Family

ID=72924705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010709300.2A Pending CN111832517A (zh) 2020-07-22 2020-07-22 基于门控卷积的低清人脸关键点检测方法

Country Status (1)

Country Link
CN (1) CN111832517A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205002A (zh) * 2021-04-08 2021-08-03 南京邮电大学 非受限视频监控的低清人脸识别方法、装置、设备及介质
CN113409207A (zh) * 2021-06-15 2021-09-17 广州光锥元信息科技有限公司 一种人脸图像清晰度提升方法及装置
CN113920313A (zh) * 2021-09-29 2022-01-11 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205002A (zh) * 2021-04-08 2021-08-03 南京邮电大学 非受限视频监控的低清人脸识别方法、装置、设备及介质
CN113205002B (zh) * 2021-04-08 2022-07-29 南京邮电大学 非受限视频监控的低清人脸识别方法、装置、设备及介质
CN113409207A (zh) * 2021-06-15 2021-09-17 广州光锥元信息科技有限公司 一种人脸图像清晰度提升方法及装置
CN113409207B (zh) * 2021-06-15 2023-12-08 广州光锥元信息科技有限公司 一种人脸图像清晰度提升方法及装置
CN113920313A (zh) * 2021-09-29 2022-01-11 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11908244B2 (en) Human posture detection utilizing posture reference maps
CN109815826B (zh) 人脸属性模型的生成方法及装置
CN111832517A (zh) 基于门控卷积的低清人脸关键点检测方法
CN107680158A (zh) 一种基于卷积神经网络模型的三维人脸重建方法
CN111127309B (zh) 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
CN112818764B (zh) 一种基于特征重建模型的低分辨率图像人脸表情识别方法
CN109712095B (zh) 一种快速边缘保留的人脸美化方法
CN111243050A (zh) 肖像简笔画生成方法、系统及绘画机器人
CN110827304B (zh) 一种基于深度卷积网络与水平集方法的中医舌像定位方法和系统
Ma et al. RetinexGAN: Unsupervised low-light enhancement with two-layer convolutional decomposition networks
CN109753864A (zh) 一种基于caffe深度学习框架的人脸识别方法
CN112184582B (zh) 一种基于注意力机制的图像补全方法及装置
WO2023155533A1 (zh) 一种图像驱动方法、装置、设备和介质
CN111310609A (zh) 基于时序信息和局部特征相似性的视频目标检测方法
Tan et al. High dynamic range imaging for dynamic scenes with large-scale motions and severe saturation
CN112560618B (zh) 基于骨架和视频特征融合的行为分类方法
Karungaru et al. Automatic human faces morphing using genetic algorithms based control points selection
Yin et al. Multiscale depth fusion with contextual hybrid enhancement network for image dehazing
Zhang et al. Automatic colorization with improved spatial coherence and boundary localization
CN111275610A (zh) 一种人脸变老图像处理方法及系统
CN114897884A (zh) 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法
Shukla et al. Deep Learning Model to Identify Hide Images using CNN Algorithm
Adhikary et al. ArtGAN: artwork restoration using generative adversarial networks
CN112464916A (zh) 人脸识别方法及其模型训练方法
Zhao et al. Image purification through controllable neural style transfer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination