CN111209873A - 一种基于深度学习的高精度人脸关键点定位方法及系统 - Google Patents
一种基于深度学习的高精度人脸关键点定位方法及系统 Download PDFInfo
- Publication number
- CN111209873A CN111209873A CN202010022966.0A CN202010022966A CN111209873A CN 111209873 A CN111209873 A CN 111209873A CN 202010022966 A CN202010022966 A CN 202010022966A CN 111209873 A CN111209873 A CN 111209873A
- Authority
- CN
- China
- Prior art keywords
- key point
- face
- point positioning
- eyebrow
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013135 deep learning Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 24
- 210000004709 eyebrow Anatomy 0.000 claims description 111
- 230000011218 segmentation Effects 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 14
- 230000004807 localization Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013519 translation Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的高精度人脸关键点定位方法及系统，该定位方法包括步骤：S1、构建多个区域关键点定位网络；S2、通过人像区域及各区域对应的关键点样本数据，分别对对应的区域关键点定位网络进行训练；S3、将待处理人脸图像分割成人像区域；S4、基于人脸图像的处理任务类型，选择需要处理的人像区域分别输入对应的关键点定位网络，得到与所述处理任务对应的关键点；S5、将与处理任务对应的关键点与所述人脸图像整合输出。本发明将人脸分为多个区域独立进行关键点定位，当其中一个或多个部分被遮挡时，不影响其他未被遮挡部分关键点的准确性与稳定性，可根据应用场景自由组合相应网络，实现输出脸部特定部位的关键点。
Description
技术领域
本发明涉及关键点定位领域，具体涉及一种基于深度学习的高精度人脸关键点定位系统及方法。
背景技术
人脸关键点定位是将人脸面部主要位置的点位找出来，比如眉毛、眼睛、鼻子、嘴巴以及眼部外轮廓点位等。人脸关键点的精确定位对许多现实应用和科研课题有关键作用，例如，人脸姿态识别与矫正、表情识别、嘴型识别等。此外，人脸关键点在人脸特效、人脸变形以及人脸美颜等领域也有着重大意义，点位的准确性直接影响最终的处理效果。因此，如何获取高精度人脸关键点，一直以来都是计算机视觉、图像处理等领域的热门研究问题。
人脸关键点定位是人脸对齐领域长期以来关注的焦点，许多大公司都在研究自己的人脸对齐算法，关键点数量也不尽相同，但目前这些算法都存在一个相同的问题，就是当人脸某些区域被遮挡时，人脸其他部位的关键点出现抖动或不准确的现象，极大地影响基于关键点位做后续处理的功能。受到人脸姿态和遮挡等因素的影响，人脸关键点定位的研究也同样富有挑战。
公开号为CN 107967456A公开了一种基于人脸关键点的多神经网络级联识别人脸方法，先通过MTCNN算法检测出人脸图像，然后利用仿射变换对人脸进行旋转、平移、缩放，以便后续处理。接下来利用卷积神经网络分别对人脸轮廓关键点和人脸内部关键点进行检测，然后用主成分分析(Principal Components Analysis，PCA)算法进行特征阵维。在进行阵维的时候，可以根据不同的类别，采用基于类别模式的方法，可以克服传统PCA算法不能有效利用类别间类别信息，在有光照和表情变化的情况下鲁棒性差的问题。
上述专利申请虽然在人脸关键点检测和定位时采用两个神经网络分别对轮廓关键点和内部关键点进行检测，一定程度上提高了在有光照和表情变化的情况下的鲁棒性，但是其与现有的人脸关键点定位方法一样，对于内部关键点都是进行统一的处理，不能根据功能或应用场景，只给出某些部位关键点。比如一个美瞳的功能，主要关注眼睛关键点，如果对所有的关键点都进行检测，当鼻子等部位被遮挡时，反而会影响眼睛关键点的定位。因此，如何根据不同的应用场景实现人脸不同部位的关键点定位，是本领域亟待解决的问题。
发明内容
本发明的目的是针对现有技术的缺陷，提供了一种基于深度学习的高精度人脸关键点定位方法及系统。将人脸分为左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域5个部分，当其中一个或多个部分被遮挡时，不影响其他未被遮挡部分关键点的准确性与稳定性，通过模块化设计，可根据应用场景自由组合相应模块，实现输出脸部特定部位的关键点。
为了实现以上目的，本发明采用以下技术方案：
一种基于深度学习的高精度人脸关键点定位方法，包括步骤：
S1、构建左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络；
S2、通过左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域及各区域对应的关键点样本数据，分别对左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络进行训练，得到关键点提取模型；
S3、将待处理人脸图像分割成左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域；
S4、基于人脸图像的处理任务类型，选择左眼及左眉毛区域、和/或右眼及右眉毛区域、和/或鼻子区域、和/或嘴巴区域、和/或脸部外轮廓区域分别输入对应的关键点定位网络，得到与所述处理任务对应的关键点；
S5、将与处理任务对应的关键点与所述人脸图像整合输出。
进一步地，所述关键点定位网络包括独立的输入层、卷积层、线性整流层、池化层、全连接层、输出层。
进一步地，所述步骤S4包括：
S41、基于所述处理任务类型确定需要处理的对象所属的人脸区域；
S42、将所述需要处理的对象所属的人脸区域输入对应的关键点定位网络。
进一步地，所述步骤S2包括：
S21、采集大量标注了人脸关键点的人脸图像样本数据；
S22、对所述人脸图像样本数据进行区域分割，分割成左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域；
S23、采用分割形成的区域及该区域上标注的人脸关键点对对应区域关键点定位网络进行训练。
进一步地，所述步骤S22之前还包括：
对所述人脸图像样本数据采用高斯滤波器进行去噪，具体为：
其中，x表示像素RGB值，μ表示半径Radius范围内的像素值均值，σ表示半径Radius范围内像素值的方差。
本发明还提出一种基于深度学习的高精度人脸关键点定位系统，包括：
构建模块，用于构建左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络；
训练模块，用于通过左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域及各区域对应的关键点样本数据，分别对左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络进行训练，得到关键点提取模型；
第一分割模块，用于将待处理人脸图像分割成左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域；
定位模块，用于基于人脸图像的处理任务类型，选择左眼及左眉毛区域、和/或右眼及右眉毛区域、和/或鼻子区域、和/或嘴巴区域、和/或脸部外轮廓区域分别输入对应的关键点定位网络，得到与所述处理任务对应的关键点；
整合输出模块，用于将与处理任务对应的关键点与所述人脸图像整合输出。
进一步地，所述关键点定位网络包括独立的输入层、卷积层、线性整流层、池化层、全连接层、输出层。
进一步地，所述定位模块包括：
人脸区域确定模块，用于基于所述处理任务类型确定需要处理的对象所属的人脸区域；
定位输入模块，用于将所述需要处理的对象所属的人脸区域输入对应的关键点定位网络。
进一步地，所述训练模块包括：
采集模块，用于采集大量标注了人脸关键点的人脸图像样本数据；
第二分割模块，对所述人脸图像样本数据进行区域分割，分割成左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域；
独立训练模块，用于采用分割形成的区域及该区域上标注的人脸关键点对对应区域关键点定位网络进行训练。
进一步地，所述训练模块还包括：
去噪模块，用于对所述人脸图像样本数据采用高斯滤波器进行去噪；
高斯滤波公式为：
其中，x表示像素RGB值，μ表示半径Radius范围内的像素值均值，σ表示半径Radius范围内像素值的方差。
与现有技术相比，本发明将人脸分为左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域，采用彼此独立的关键点定位网络进行各区域关键点的单独定位，当其中一个或多个部分被遮挡时，不影响其他未被遮挡部分关键点的准确性与稳定性。本发明根据具体的应用及处理，仅对需要进行处理的区域进行关键点定位，在满足处理需求的同时，避免了其他区域的关键点定位对需要处理的区域的影响。本发明可根据功能需求或应用场景，自由组合各区域关键点定位网络的使用，具备很高灵活性，并各模块间关键点互不影响。此外，本发明仅对部分区域关键点的定位也大大降低了图像数据的处理量，提高了关键点定位的效率。
附图说明
图1是实施例一提供的一种基于深度学习的高精度人脸关键点定位方法流程图；
图2是实施例二提供的一种基于深度学习的高精度人脸关键点定位系统结构图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
实施例一
如图1所示，本实施例提出了一种基于深度学习的高精度人脸关键点定位方法，包括：
S1、构建左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络；
现有的人脸关键点检测大都是将人脸作为一个整体进行检测，各关键点的检测相互影响。当脸部部分区域被遮挡时，也会影响其他未被遮挡部分关键点的准确性与稳定性。对于部分人脸的处理任务，可能只需要部分需要处理的关键点信息。例如，对于换眉毛和美瞳任务，仅需要眉毛和眼睛区域的关键点信息，并基于该关键点进行换眉毛和美瞳。而嘴巴等部位的关键点信息对换眉毛和美瞳任务毫无影响。基于此，本发明提出能够对人脸各区域进行独立的关键点定位的技术方案，此时，即使不需要进行关键点定位的区域出现遮挡时，也不会影响对人脸图像的处理。本发明构建包括左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络的卷积神经网络，能够分别定位左眼及左眉毛关键点、右眼及右眉毛关键点、鼻子关键点、嘴巴关键点、脸部外轮廓关键点，各区域关键点的定位相互独立，部分区域的遮挡不会影响其他区域关键点的提取。
本发明采用具有良好学习能力的卷积神经网络进行关键点定位。卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络。主要由输入层、卷积层、线性整流层、池化层、全连接层、输出层组成。输入层是需要处理的人脸图像数据，对于计算机而言可将其理解为若干矩阵。卷积层是卷积神经网络的重要组成部分，通过输入层和卷积层之间的矩阵卷积运算，提取输入人脸图像的特征。线性整流层一般位于卷积层之后，用于增加网络的非线性分割能力。池化层通常设置在线性整流层之后，对输入的人脸图像的目标区域像素取平均值或最大值，即降采样处理，降低特征图像分辨率的同时避免出现过拟合。全连接层位于最后一个池化层和输出层之间，其中每一个神经元都与前一层的全部神经元相连接，并根据目标检测的需要，有针对性地将特征向量映射到输出层。输出层位于神经网络的最后，其作用是对权连接层映射过来的输入向量进行分类，定位人脸图像中的关键点。卷积层、线性整流层、池化层可以根据需要重复多次，其中不同的卷积核负责提取多种特征，池化层提供平移不变性和降维。
本发明构建相互独立的左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络。各关键点定位网络都包括独立的输入层、卷积层、线性整流层、池化层、全连接层、输出层。左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络的输入层分别输入的是左眼及左眉毛区域图像、右眼及右眉毛区域图像、鼻子区域图像、嘴巴区域图像、脸部外轮廓区域图像，所对应的输出层分别输出的是左眉毛关键点、右眼及右眉毛关键点、鼻子关键点、嘴巴关键点、脸部外轮廓关键点。
S2、通过左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域及各区域对应的关键点样本数据，分别对左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络进行训练，得到关键点提取模型；
本发明采集大量标注了人脸关键点的人脸图像数据，人脸图像数据来源于Widerface、300W、ibug、lfpw、CelebA等公开数据集，人脸关键点的标记可以通过人工标记。为了分别对左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络进行训练，本发明对采集的人脸样本数据进行预处理。具体地，本发明对人脸图像进行区域分割，分割成左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域，由于样本数据中对人脸关键点进行了标注，因此相应区域的关键点与各区域对应。为了提高语义提取的精确性，本发明对分割后的人脸图像分别随机进行旋转、平移、错切变换、缩放等图像增强操作以扩充数据样例，其中旋转角度、缩放比例等操作均随机选取对应数值以保证生成图片的随机性。通过数据增强操作，提高样本量。各区域及其对应的关键点对该区域对应的关键点定位网络进行训练。例如，嘴巴区域图像及相应的关键点对嘴巴关键点定位网络进行训练，以此类推。
由于人脸图像可能存在大量噪声，影响关键点定位效果。因此，本发明在获取人脸图像后，对其进行去噪，去噪后的人脸图像再进行区域分割等。由于图像中的大多数噪声均属于高斯噪声，因此，本发明采用高斯滤波器进行去噪，得到滤波效果图；高斯滤波公式如下：
其中，x表示像素RGB值，μ表示半径Radius范围内的像素值均值，σ表示半径Radius范围内像素值的方差。
本发明将分割后的左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域分别输入左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络进行关键点定位，通过计算各定位网络的损失函数对各定位网络进行优化，训练生成包括左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络的关键点提取模型。
S3、将待处理人脸图像分割成左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域；
训练生成关键点提取模型后，就可以对需要进行关键点定位的人脸图像进行关键点定位。本发明可以单独提取各人脸区域的关键点，因此，在获取待处理的人脸图像后，可以将图像分割成左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域。具体的面部区域分割方式在此不做限定。
S4、基于人脸图像的处理任务类型，选择左眼及左眉毛区域、和/或右眼及右眉毛区域、和/或鼻子区域、和/或嘴巴区域、和/或脸部外轮廓区域分别输入对应的关键点定位网络，得到与所述处理任务对应的关键点；
为了克服现有人脸关键点定位的缺点，本发明根据人脸图像的处理任务来选择需要提取关键点的区域。不同处理任务需要对人脸图像中处理的区域不同，且对其他区域不需要进行任何处理，而不需要进行处理的区域是不需要定位关键点的。因此，本发明根据处理任务确定需要处理的处理区域，将需要处理的区域输入对应的关键点定位网络进行定位。例如，针对换眉毛和美瞳任务，只需要使用左眼+做眉毛和右眼+右眉毛关键点定位网络即可，并且当左眼(做眉毛)或右眼(右眉毛)被遮挡时，不影响另一只眼睛关键点的准确性和稳定性；针对换唇彩任务，只需要使用嘴巴关键点定位网络即可，并且当眼睛和鼻子被遮挡时，不影响嘴巴关键点的准确性和稳定性；针对廋脸任务，只需要使用脸部外轮廓关键点定位网络即可，并且眼睛、鼻子或嘴巴被遮挡时，不影响脸部外轮廓关键点的准确性和稳定性。
S5、将与处理任务对应的关键点与所述人脸图像整合输出。
在得到针对处理任务的关键点后，由于各关键点定位网络输入的都是人脸局部图像，因此，需要将关键点与人脸图像整合，以在整个人脸图像中显示定位出的针对各任务的区域关键点。
实施例二
如图2所示，本实施例提出了一种基于深度学习的高精度人脸关键点定位系统，包括：
构建模块，用于构建左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络；
现有的人脸关键点检测大都是将人脸作为一个整体进行检测，各关键点的检测相互影响。当脸部部分区域被遮挡时，也会影响其他未被遮挡部分关键点的准确性与稳定性。对于部分人脸的处理任务，可能只需要部分需要处理的关键点信息。例如，对于换眉毛和美瞳任务，仅需要眉毛和眼睛区域的关键点信息，并基于该关键点进行换眉毛和美瞳。而嘴巴等部位的关键点信息对换眉毛和美瞳任务毫无影响。基于此，本发明提出能够对人脸各区域进行独立的关键点定位的技术方案，此时，即使不需要进行关键点定位的区域出现遮挡时，也不会影响对人脸图像的处理。本发明构建包括左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络的卷积神经网络，能够分别定位左眼及左眉毛关键点、右眼及右眉毛关键点、鼻子关键点、嘴巴关键点、脸部外轮廓关键点，各区域关键点的定位相互独立，部分区域的遮挡不会影响其他区域关键点的提取。
本发明采用具有良好学习能力的卷积神经网络进行关键点定位。卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络。主要由输入层、卷积层、线性整流层、池化层、全连接层、输出层组成。输入层是需要处理的人脸图像数据，对于计算机而言可将其理解为若干矩阵。卷积层是卷积神经网络的重要组成部分，通过输入层和卷积层之间的矩阵卷积运算，提取输入人脸图像的特征。线性整流层一般位于卷积层之后，用于增加网络的非线性分割能力。池化层通常设置在线性整流层之后，对输入的人脸图像的目标区域像素取平均值或最大值，即降采样处理，降低特征图像分辨率的同时避免出现过拟合。全连接层位于最后一个池化层和输出层之间，其中每一个神经元都与前一层的全部神经元相连接，并根据目标检测的需要，有针对性地将特征向量映射到输出层。输出层位于神经网络的最后，其作用是对权连接层映射过来的输入向量进行分类，定位人脸图像中的关键点。卷积层、线性整流层、池化层可以根据需要重复多次，其中不同的卷积核负责提取多种特征，池化层提供平移不变性和降维。
本发明构建相互独立的左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络。各关键点定位网络都包括独立的输入层、卷积层、线性整流层、池化层、全连接层、输出层。左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络的输入层分别输入的是左眼及左眉毛区域图像、右眼及右眉毛区域图像、鼻子区域图像、嘴巴区域图像、脸部外轮廓区域图像，所对应的输出层分别输出的是左眉毛关键点、右眼及右眉毛关键点、鼻子关键点、嘴巴关键点、脸部外轮廓关键点。
训练模块，用于通过左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域及各区域对应的关键点样本数据，分别对左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络进行训练，得到关键点提取模型；
本发明采集大量标注了人脸关键点的人脸图像数据，人脸图像数据来源于Widerface、300W、ibug、lfpw、CelebA等公开数据集，人脸关键点的标记可以通过人工标记。为了分别对左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络进行训练，本发明对采集的人脸样本数据进行预处理。具体地，本发明对人脸图像进行区域分割，分割成左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域，由于样本数据中对人脸关键点进行了标注，因此相应区域的关键点与各区域对应。为了提高语义提取的精确性，本发明对分割后的人脸图像分别随机进行旋转、平移、错切变换、缩放等图像增强操作以扩充数据样例，其中旋转角度、缩放比例等操作均随机选取对应数值以保证生成图片的随机性。通过数据增强操作，提高样本量。各区域及其对应的关键点对该区域对应的关键点定位网络进行训练。例如，嘴巴区域图像及相应的关键点对嘴巴关键点定位网络进行训练，以此类推。
由于人脸图像可能存在大量噪声，影响关键点定位效果。因此，本发明在获取人脸图像后，对其进行去噪，去噪后的人脸图像再进行区域分割等。由于图像中的大多数噪声均属于高斯噪声，因此，本发明采用高斯滤波器进行去噪，得到滤波效果图；高斯滤波公式如下：
其中，x表示像素RGB值，μ表示半径Radius范围内的像素值均值，σ表示半径Radius范围内像素值的方差。
本发明将分割后的左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域分别输入左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络进行关键点定位，通过计算各定位网络的损失函数对各定位网络进行优化，训练生成包括左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络的关键点提取模型。
分割模块，用于将待处理人脸图像分割成左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域；
训练生成关键点提取模型后，就可以对需要进行关键点定位的人脸图像进行关键点定位。本发明可以单独提取各人脸区域的关键点，因此，在获取待处理的人脸图像后，可以将图像分割成左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域。具体的面部区域分割方式在此不做限定。
定位模块，用于基于人脸图像的处理任务类型，选择左眼及左眉毛区域、和/或右眼及右眉毛区域、和/或鼻子区域、和/或嘴巴区域、和/或脸部外轮廓区域分别输入对应的关键点定位网络，得到与所述处理任务对应的关键点；
为了克服现有人脸关键点定位的缺点，本发明根据人脸图像的处理任务来选择需要提取关键点的区域。不同处理任务需要对人脸图像中处理的区域不同，且对其他区域不需要进行任何处理，而不需要进行处理的区域是不需要定位关键点的。因此，本发明根据处理任务确定需要处理的处理区域，将需要处理的区域输入对应的关键点定位网络进行定位。例如，针对换眉毛和美瞳任务，只需要使用左眼+做眉毛和右眼+右眉毛关键点定位网络即可，并且当左眼(做眉毛)或右眼(右眉毛)被遮挡时，不影响另一只眼睛关键点的准确性和稳定性；针对换唇彩任务，只需要使用嘴巴关键点定位网络即可，并且当眼睛和鼻子被遮挡时，不影响嘴巴关键点的准确性和稳定性；针对廋脸任务，只需要使用脸部外轮廓关键点定位网络即可，并且眼睛、鼻子或嘴巴被遮挡时，不影响脸部外轮廓关键点的准确性和稳定性。
整合输出模块，用于将与处理任务对应的关键点与所述人脸图像整合输出。
在得到针对处理任务的关键点后，由于各关键点定位网络输入的都是人脸局部图像，因此，需要将关键点与人脸图像整合，以在整个人脸图像中显示定位出的针对各任务的区域关键点。
由此可知，本发明提出的基于深度学习的高精度人脸关键点定位方法及系统，将人脸分为左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域，采用彼此独立的关键点定位网络进行各区域关键点的单独定位，当其中一个或多个部分被遮挡时，不影响其他未被遮挡部分关键点的准确性与稳定性。根据具体的应用及处理，仅对需要进行处理的区域进行关键点定位，在满足处理需求的同时，避免了其他区域的关键点定位对需要处理的区域的影响。此外，可根据功能需求或应用场景，自由组合各区域关键点定位网络的使用，具备很高灵活性，并各模块间关键点互不影响。仅对部分区域关键点的定位也大大降低了图像数据的处理量，提高了关键点定位的效率。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种基于深度学习的高精度人脸关键点定位方法，其特征在于，包括步骤：
S1、构建左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络；
S2、通过左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域及各区域对应的关键点样本数据，分别对左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络进行训练，得到关键点提取模型；
S3、将待处理人脸图像分割成左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域；
S4、基于人脸图像的处理任务类型，选择左眼及左眉毛区域、和/或右眼及右眉毛区域、和/或鼻子区域、和/或嘴巴区域、和/或脸部外轮廓区域分别输入对应的关键点定位网络，得到与所述处理任务对应的关键点；
S5、将与处理任务对应的关键点与所述人脸图像整合输出。
2.根据权利要求1所述的高精度人脸关键点定位方法，其特征在于，
所述关键点定位网络包括独立的输入层、卷积层、线性整流层、池化层、全连接层、输出层。
3.根据权利要求1所述的高精度人脸关键点定位方法，其特征在于，所述步骤S4包括：
S41、基于所述处理任务类型确定需要处理的对象所属的人脸区域；
S42、将所述需要处理的对象所属的人脸区域输入对应的关键点定位网络。
4.根据权利要求1所述的高精度人脸关键点定位方法，其特征在于，所述步骤S2包括：
S21、采集大量标注了人脸关键点的人脸图像样本数据；
S22、对所述人脸图像样本数据进行区域分割，分割成左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域；
S23、采用分割形成的区域及该区域上标注的人脸关键点对对应区域关键点定位网络进行训练。
5.根据权利要求4所述的高精度人脸关键点定位方法，其特征在于，所述步骤S22之前还包括：
对所述人脸图像样本数据采用高斯滤波器进行去噪，具体为：
其中，x表示像素RGB值，μ表示半径Radius范围内的像素值均值，σ表示半径Radius范围内像素值的方差。
6.一种基于深度学习的高精度人脸关键点定位系统，其特征在于，包括：
构建模块，用于构建左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络；
训练模块，用于通过左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域及各区域对应的关键点样本数据，分别对左眼及左眉毛关键点定位网络、右眼及右眉毛关键点定位网络、鼻子关键点定位网络、嘴巴关键点定位网络、脸部外轮廓关键点定位网络进行训练，得到关键点提取模型；
第一分割模块，用于将待处理人脸图像分割成左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域；
定位模块，用于基于人脸图像的处理任务类型，选择左眼及左眉毛区域、和/或右眼及右眉毛区域、和/或鼻子区域、和/或嘴巴区域、和/或脸部外轮廓区域分别输入对应的关键点定位网络，得到与所述处理任务对应的关键点；
整合输出模块，用于将与处理任务对应的关键点与所述人脸图像整合输出。
7.根据权利要求6所述的高精度人脸关键点定位系统，其特征在于，
所述关键点定位网络包括独立的输入层、卷积层、线性整流层、池化层、全连接层、输出层。
8.根据权利要求6所述的高精度人脸关键点定位系统，其特征在于，所述定位模块包括：
人脸区域确定模块，用于基于所述处理任务类型确定需要处理的对象所属的人脸区域；
定位输入模块，用于将所述需要处理的对象所属的人脸区域输入对应的关键点定位网络。
9.根据权利要求6所述的高精度人脸关键点定位系统，其特征在于，所述训练模块包括：
采集模块，用于采集大量标注了人脸关键点的人脸图像样本数据；
第二分割模块，对所述人脸图像样本数据进行区域分割，分割成左眼及左眉毛区域、右眼及右眉毛区域、鼻子区域、嘴巴区域、脸部外轮廓区域；
独立训练模块，用于采用分割形成的区域及该区域上标注的人脸关键点对对应区域关键点定位网络进行训练。
10.根据权利要求9所述的高精度人脸关键点定位系统，其特征在于，所述训练模块还包括：
去噪模块，用于对所述人脸图像样本数据采用高斯滤波器进行去噪；
高斯滤波公式为：
其中，x表示像素RGB值，μ表示半径Radius范围内的像素值均值，σ表示半径Radius范围内像素值的方差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010022966.0A CN111209873A (zh) | 2020-01-09 | 2020-01-09 | 一种基于深度学习的高精度人脸关键点定位方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010022966.0A CN111209873A (zh) | 2020-01-09 | 2020-01-09 | 一种基于深度学习的高精度人脸关键点定位方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111209873A true CN111209873A (zh) | 2020-05-29 |
Family
ID=70788783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010022966.0A Pending CN111209873A (zh) | 2020-01-09 | 2020-01-09 | 一种基于深度学习的高精度人脸关键点定位方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111209873A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111666911A (zh) * | 2020-06-13 | 2020-09-15 | 天津大学 | 一种微表情数据的扩充方法及装置 |
| CN111950401A (zh) * | 2020-07-28 | 2020-11-17 | 深圳数联天下智能科技有限公司 | 确定关键点区域位置的方法、图像处理系统、设备和介质 |
| CN112241709A (zh) * | 2020-10-21 | 2021-01-19 | 北京字跳网络技术有限公司 | 图像处理方法、胡子变换网络的训练方法、装置 |
| CN112613448A (zh) * | 2020-12-28 | 2021-04-06 | 北京的卢深视科技有限公司 | 人脸数据标注方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105760834A (zh) * | 2016-02-14 | 2016-07-13 | 北京飞搜科技有限公司 | 一种人脸特征点定位方法 |
| CN106599830A (zh) * | 2016-12-09 | 2017-04-26 | 中国科学院自动化研究所 | 人脸关键点定位方法及装置 |
| CN107194341A (zh) * | 2017-05-16 | 2017-09-22 | 西安电子科技大学 | Maxout多卷积神经网络融合人脸识别方法和系统 |
| CN107679490A (zh) * | 2017-09-29 | 2018-02-09 | 百度在线网络技术（北京）有限公司 | 用于检测图像质量的方法和装置 |
| CN108229293A (zh) * | 2017-08-09 | 2018-06-29 | 北京市商汤科技开发有限公司 | 人脸图像处理方法、装置和电子设备 |
| CN109635752A (zh) * | 2018-12-12 | 2019-04-16 | 腾讯科技（深圳）有限公司 | 人脸关键点的定位方法、人脸图像处理方法和相关装置 |
| US20190130172A1 (en) * | 2017-10-31 | 2019-05-02 | Baidu Usa Llc | Identity authentication method, terminal device, and computer-readable storage medium |
| CN110334587A (zh) * | 2019-05-23 | 2019-10-15 | 北京市威富安防科技有限公司 | 人脸关键点定位模型的训练方法、装置及关键点定位方法 |
| CN110399844A (zh) * | 2019-07-29 | 2019-11-01 | 南京图玩智能科技有限公司 | 一种应用于跨平台的人脸关键点识别与追踪方法及系统 |
| WO2020001082A1 (zh) * | 2018-06-30 | 2020-01-02 | 东南大学 | 一种基于迁移学习的人脸属性分析方法 |
| CN111598867A (zh) * | 2020-05-14 | 2020-08-28 | 国家卫生健康委科学技术研究所 | 用于检测特定面部综合征的方法、装置及计算机可读存储介质 |
-
2020
- 2020-01-09 CN CN202010022966.0A patent/CN111209873A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105760834A (zh) * | 2016-02-14 | 2016-07-13 | 北京飞搜科技有限公司 | 一种人脸特征点定位方法 |
| CN106599830A (zh) * | 2016-12-09 | 2017-04-26 | 中国科学院自动化研究所 | 人脸关键点定位方法及装置 |
| CN107194341A (zh) * | 2017-05-16 | 2017-09-22 | 西安电子科技大学 | Maxout多卷积神经网络融合人脸识别方法和系统 |
| CN108229293A (zh) * | 2017-08-09 | 2018-06-29 | 北京市商汤科技开发有限公司 | 人脸图像处理方法、装置和电子设备 |
| CN107679490A (zh) * | 2017-09-29 | 2018-02-09 | 百度在线网络技术（北京）有限公司 | 用于检测图像质量的方法和装置 |
| US20190130172A1 (en) * | 2017-10-31 | 2019-05-02 | Baidu Usa Llc | Identity authentication method, terminal device, and computer-readable storage medium |
| WO2020001082A1 (zh) * | 2018-06-30 | 2020-01-02 | 东南大学 | 一种基于迁移学习的人脸属性分析方法 |
| CN109635752A (zh) * | 2018-12-12 | 2019-04-16 | 腾讯科技（深圳）有限公司 | 人脸关键点的定位方法、人脸图像处理方法和相关装置 |
| CN110334587A (zh) * | 2019-05-23 | 2019-10-15 | 北京市威富安防科技有限公司 | 人脸关键点定位模型的训练方法、装置及关键点定位方法 |
| CN110399844A (zh) * | 2019-07-29 | 2019-11-01 | 南京图玩智能科技有限公司 | 一种应用于跨平台的人脸关键点识别与追踪方法及系统 |
| CN111598867A (zh) * | 2020-05-14 | 2020-08-28 | 国家卫生健康委科学技术研究所 | 用于检测特定面部综合征的方法、装置及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 王为农，徐一华: "《影像测量仪技术基础》", 中国商业出版社, pages: 118 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111666911A (zh) * | 2020-06-13 | 2020-09-15 | 天津大学 | 一种微表情数据的扩充方法及装置 |
| CN111950401A (zh) * | 2020-07-28 | 2020-11-17 | 深圳数联天下智能科技有限公司 | 确定关键点区域位置的方法、图像处理系统、设备和介质 |
| CN111950401B (zh) * | 2020-07-28 | 2023-12-08 | 深圳数联天下智能科技有限公司 | 确定关键点区域位置的方法、图像处理系统、设备和介质 |
| CN112241709A (zh) * | 2020-10-21 | 2021-01-19 | 北京字跳网络技术有限公司 | 图像处理方法、胡子变换网络的训练方法、装置 |
| CN112613448A (zh) * | 2020-12-28 | 2021-04-06 | 北京的卢深视科技有限公司 | 人脸数据标注方法及系统 |
| CN112613448B (zh) * | 2020-12-28 | 2021-12-28 | 北京的卢深视科技有限公司 | 人脸数据标注方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109344701B (zh) | 一种基于Kinect的动态手势识别方法 | |
| Adeyanju et al. | Machine learning methods for sign language recognition: A critical review and analysis | |
| He et al. | Supercnn: A superpixelwise convolutional neural network for salient object detection | |
| US20210264144A1 (en) | Human pose analysis system and method | |
| CN111209873A (zh) | 一种基于深度学习的高精度人脸关键点定位方法及系统 | |
| Oliveira et al. | On exploration of classifier ensemble synergism in pedestrian detection | |
| Sincan et al. | Using motion history images with 3d convolutional networks in isolated sign language recognition | |
| Durga et al. | A ResNet deep learning based facial recognition design for future multimedia applications | |
| CN111160273A (zh) | 一种高光谱图像空谱联合分类方法及装置 | |
| Yang et al. | Facial expression recognition based on dual-feature fusion and improved random forest classifier | |
| Malgheet et al. | Iris recognition development techniques: a comprehensive review | |
| CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| Gawande et al. | SIRA: Scale illumination rotation affine invariant mask R-CNN for pedestrian detection | |
| Nimbarte et al. | Age Invariant Face Recognition using Convolutional Neural Network. | |
| CN110826534B (zh) | 一种基于局部主成分分析的人脸关键点检测方法及系统 | |
| Kim et al. | Robust facial landmark extraction scheme using multiple convolutional neural networks | |
| Silwal et al. | A novel deep learning system for facial feature extraction by fusing CNN and MB-LBP and using enhanced loss function | |
| CN114492634A (zh) | 一种细粒度装备图片分类识别方法及系统 | |
| Ruiz-Beltrán et al. | Real-time embedded eye detection system | |
| Patil et al. | Expression invariant face recognition using semidecimated DWT, Patch-LDSMT, feature and score level fusion | |
| Duffner et al. | A neural scheme for robust detection of transparent logos in TV programs | |
| Fathee et al. | Iris segmentation in uncooperative and unconstrained environments: state-of-the-art, datasets and future research directions | |
| Reale et al. | Facial action unit analysis through 3d point cloud neural networks | |
| KR20180092453A (ko) | Cnn과 스테레오 이미지를 이용한 얼굴 인식 방법 | |
| Zabihi et al. | Vessel extraction of conjunctival images using LBPs and ANFIS |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |