CN111178337A - 人脸关键点数据增强方法、装置、系统以及模型训练方法 - Google Patents
人脸关键点数据增强方法、装置、系统以及模型训练方法 Download PDFInfo
- Publication number
- CN111178337A CN111178337A CN202010167639.4A CN202010167639A CN111178337A CN 111178337 A CN111178337 A CN 111178337A CN 202010167639 A CN202010167639 A CN 202010167639A CN 111178337 A CN111178337 A CN 111178337A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- points
- face
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012549 training Methods 0.000 title claims abstract description 38
- 230000009466 transformation Effects 0.000 claims abstract description 41
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 39
- 210000001508 eye Anatomy 0.000 claims description 24
- 238000002372 labelling Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 15
- 210000000887 face Anatomy 0.000 claims description 12
- 230000002708 enhancing effect Effects 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 11
- 210000004709 eyebrow Anatomy 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 239000000126 substance Substances 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- PUZPDOWCWNUUKD-UHFFFAOYSA-M sodium fluoride Chemical compound [F-].[Na+] PUZPDOWCWNUUKD-UHFFFAOYSA-M 0.000 claims description 2
- 238000012360 testing method Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T3/02—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Abstract
本发明属于人脸识别技术领域,提供一种人脸关键点数据增强方法、装置、系统以及模型训练方法,通过对人脸图像局部区域仿射变换并拼接的人脸关键点数据增强方法,以提高样本的数量和多样性,有利于提升关键点检测模型的训练效果。在已标注数据的基础上,采用局部仿射变换即可高效地生成人脸关键点数据,从而提升后续模型训练的准确率和泛化性。
Description
技术领域
本发明涉及人脸识别技术领域,具体而言涉及一种基于局部仿射变换的人脸关键点数据增强方法、装置、系统以及训练人脸关键点检测模型的方法。
背景技术
训练人脸关键点检测模型,需要大规模的带标签人脸数据,获取到的人脸图像中往往自然表情居多,如张嘴、闭眼的图像相对较少,这种较为单一的数据会使得训练后的模型泛化能力较差。
此外,人脸关键点数据的标注耗时费力,标注员需要对每张人脸图像精细地标注几十甚至上百个关键点。这两个方面因素大大限制了高质量数据的获取,进而影响深度学习模型的性能。数据增强是快速提升数据量的高效方法,但现有的人脸关键点数据增强方法,例如平移、旋转、缩放等,无法对人脸轮廓及五官进行改变,如睁眼变为闭眼、胖脸形变为瘦脸形。因此即使数据量增加了,但数据的多样性并未提高。
发明内容
本发明目的在于提供一种基于局部仿射变换的人脸关键点数据增强方法与系统,通过对人脸图像局部区域仿射变换并拼接的人脸关键点数据增强,有效地提高样本的数量和多样性,有利于提升关键点检测模型的训练效果。
本发明的上述目的通过独立权利要求的技术特征实现,从属权利要求以另选或有利的方式发展独立权利要求的技术特征。
为达成上述目的,本发明提出一种基于局部仿射变换的人脸关键点数据增强方法,包括:
步骤1、采集N张包含人脸的彩色图像,N为正整数,且N≥100;
步骤2、对每个彩色图像中的最大的人脸标注其104个关键点,其中包括0~32号点为脸部轮廓点,33~50号点为眉毛关键点,51~65号点为鼻子关键点,66~83号点为眼睛关键点,84~103号点为嘴部关键点,得到的标注数据;
步骤3、对标注数据进行预处理,得到人脸边界框,并扩展成正方形边界框,然后截取正方形边界框内的图像并缩放至64×64像素大小的图像;
步骤4、对64×64像素大小的图像修正104个关键点坐标;
步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列;
步骤6、从步骤4得到图像数据中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据,得到目标关键点的坐标数据,包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点;
步骤7、对按照步骤3预处理后的每个图像数据进行图像增强,对三角图像阵列中的各个子区域进行仿射变换;
步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接,得到新的人脸图像,与之对应的关键点坐标作为目标关键点坐标;
步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用数据增强方法再次进行随机增强。
根据本发明的公开,还提出一种基于局部仿射变换的人脸关键点数据增强装置,包括:
用于采集N张包含人脸的彩色图像的模块,N为正整数,且N≥100;
用于对每个彩色图像中的最大的人脸标注其104个关键点的模块,其中包括0~32号点为脸部轮廓点,33~50号点为眉毛关键点,51~65号点为鼻子关键点,66~83号点为眼睛关键点,84~103号点为嘴部关键点,得到的标注数据;
用于对标注数据进行预处理,得到人脸边界框,并扩展成正方形边界框,然后截取正方形边界框内的图像并缩放至64×64像素大小的图像的模块;
用于对64×64像素大小的图像修正104个关键点坐标的模块;
用于根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列的模块;
用于从64×64像素大小的图像数据中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据,得到目标关键点的坐标数据的模块,包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点;
用于对预处理后的每个图像数据进行图像增强,对三角图像阵列中的各个子区域进行仿射变换的模块;
用于将仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接,得到新的人脸图像的模块,与之对应的关键点坐标作为目标关键点坐标;
用于对拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强的模块。
根据本发明的公开,还提出一种系统,包括:
一个或多个处理器;
存储器,存储可被操作的指令,所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作,所述操作包括:
步骤1、采集N张包含人脸的彩色图像,N为正整数,且N≥100;
步骤2、对每个彩色图像中的最大的人脸标注其104个关键点,其中包括0~32号点为脸部轮廓点,33~50号点为眉毛关键点,51~65号点为鼻子关键点,66~83号点为眼睛关键点,84~103号点为嘴部关键点,得到的标注数据;
步骤3、对标注数据进行预处理,得到人脸边界框,并扩展成正方形边界框,然后截取正方形边界框内的图像并缩放至64×64像素大小的图像;
步骤4、对64×64像素大小的图像修正104个关键点坐标;
步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列;
步骤6、从步骤4得到图像数据中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据,得到关键点的坐标数据,包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点;
步骤7、对按照步骤3预处理后的每个图像数据进行图像增强,对三角图像阵列中的各个子区域进行仿射变换;
步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接,得到新的人脸图像,与之对应的关键点坐标作为目标关键点坐标;
步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强。
根据本发明的公开,还提出一种使用所述的训练数据集训练人脸关键点检测模型的方法,所述训练的人脸关键点检测模型输入为含有人脸的宽高均为64像素的图像,输出为104个人脸关键点坐标;
人脸关键点检测模型由卷积层、最大值池化层和全连接层组成,卷积层的卷积核大小为3×3,步长为1,补零方式为Same Padding;
最大值池化层的池化窗口大小为2×2、步长为2;
第一个全连接层神经元数为1024,第二个全连接层神经元数为208;
卷积层和第一个全连接层后采用ReLU激活函数激活;
模型训练时的一个批次数据损失函数为:
最终,训练得到预测人脸关键点坐标的模型输出。
应当理解,前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外,所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见,或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中,在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见,在每个图中,并非每个组成部分均被标记。现在,将通过例子并参考附图来描述本发明的各个方面的实施例,其中:
图1是本发明的人脸关键点数据增强方法的示例性流程图。
图2是人脸关键点的示意图。
图3是人脸的三角图像阵列示意图。
图4是基于融合的数据集进行人脸关键点训练模型的示意图。
图5是现有的传统数据增强方法和本发明数据增强方法的对比示意图。
具体实施方式
为了更了解本发明的技术内容,特举具体实施例并配合所附图式说明如下。
在本公开中参照附图来描述本发明的各方面,附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解,上面介绍的多种构思和实施例,以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施,这是应为本发明所公开的构思和实施例并不限于任何实施方式。另外,本发明公开的一些方面可以单独使用,或者与本发明公开的其他方面的任何适当组合来使用。
本发明公开的实施例的基于局部仿射变换的人脸关键点数据增强方法,整体上旨在通过对人脸图像局部区域仿射变换并拼接的人脸关键点数据增强方法,以提高样本的数量和多样性,有利于提升关键点检测模型的训练效果。
结合图1-图4所示,下面对其具体实现进行更加具体的说明。
步骤1、采集N张包含人脸的彩色图像,N为正整数,且N≥100。
优选地,人脸的彩色图像尽可能进行多场景选择,例如覆盖到不同人脸姿态、不同性别年龄、不同光照条件、不同背景、不同遮挡情况等。
步骤2、对每个彩色图像中的最大的人脸标注其104个关键点,结合图2所示,其中包括0~32号点为脸部轮廓点,33~50号点为眉毛关键点,51~65号点为鼻子关键点,66~83号点为眼睛关键点,84~103号点为嘴部关键点,得到的标注数据。
步骤3、对标注数据进行预处理,得到人脸边界框,并扩展成正方形边界框,然后截取正方形边界框内的图像并缩放至64×64像素大小的图像,从而确保数据中的人脸位置及占比大致相似,以降低模型训练的难度。
步骤4、对64×64像素大小的图像修正104个关键点坐标。
优选地,按照下述方式修正104个关键点坐标:
步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列。
优选地,所述步骤5中,根据104个关键点坐标()和8个图像边缘点坐标将预处理后的图像数据划分成三角形子区域组成三角图像阵列;其中图像边缘点坐标是指图像左上角坐标、上边缘中点坐标、右上角坐标、左边缘中点坐标、右边缘中点坐标、左下角坐标、下边缘中点坐标以及右下角坐标
步骤6、从步骤4得到图像数据(修正后)中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据,得到关键点的坐标数据,包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点。
步骤7、对按照步骤3预处理后的每个图像数据进行图像增强,对三角图像阵列中的各个子区域进行仿射变换;
步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接,得到新的人脸图像,与之对应的关键点坐标作为目标关键点坐标;
步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强。
优选地,所述步骤9的随机增强处理包括:
1)-30°到30°的随机旋转;
2)边长10%的随机平移;
3)边长90%到120%的随机缩放;
4)50%概率的水平翻转;以及
5)对图像进行30%概率的高斯模糊和30%概率的颜色抖动。
优选地,所述步骤2中,对104个关键点的标注,得到标注数据为:
优选地,所述步骤3中,根据标注的关键点坐标的最高点、最低点、最左点、最右点确定人脸边界框,并向外扩展边长的20%,若此时边界框为矩形,则将矩形框的短边再次扩展至与长边相等,得到正方形边界框;
优选地,所述步骤7中,所述仿射变换的处理,其中:
将第幅待增强图像的第个子区域图像由点两两连线围成,对应的目标子区域为目标关键点两两连线围成的区域,采用opencv图像处理库的applyAffineTransform函数将子区域仿射变换为目标子区域的形状,得到新的子区域图像,变换后的三个顶点坐标为;
优选地,在步骤8中,按照目标子区域图像的三个顶点坐标重新拼接,得到新的人脸图像,其具体包括:
新建一张64X64大小像素值为0的三通道图像,将仿射变换后的各三角形子区域图像按照3个顶点放置到空白图像的位置,拼接得到新的人脸图像。拼接后图像对应的关键点坐标为目标关键点坐标,即拼接后的图像和目标关键点坐标组成一组增强后的数据。
优选地,前述方法更加包括:
对每一个原始的彩色图像经过前述预处理得到的64×64像素大小的原始图像数据按照前述的方法进行增强,重复9次,以将数据量扩充9倍;
再将原始图像数据与新的人脸图像数据进行合并,组成新的用于人脸关键点检测模型训练的训练数据集。
结合图3、4所示,根据本发明的公开,还提出一种使用所述的训练数据集训练人脸关键点检测模型的方法,所述训练的人脸关键点检测模型输入为含有人脸的宽高均为64像素的图像,输出为104个人脸关键点坐标;
人脸关键点检测模型由卷积层、最大值池化层和全连接层组成,卷积层的卷积核大小为3×3,步长为1,补零方式为Same Padding(卷积核个数标注在图4中各卷积层的括号内);
最大值池化层的池化窗口大小为2×2、步长为2;
第一个全连接层神经元数为1024,第二个全连接层神经元数为208;
卷积层和第一个全连接层后采用ReLU激活函数激活;
模型训练时的一个批次数据损失函数为:
最终,训练得到预测人脸关键点坐标的模型输出。
藉由本发明的方案,由于人脸关键点数据的获取和标注较为耗时,而现有的数据增强方法无法对图像脸形、五官进行调整,难以提升数据的多样性。本发明的方案中在已标注数据的基础上,采用局部仿射变换即可高效地生成人脸关键点数据,从而提升后续模型训练的准确率和泛化性。
结合图5所示,其中左图为待增强的人脸图像,右边第一行三张图为采用现有数据增强方法后的图像,右边第二行三张图为采用本发明数据增强方法后的图像。可以发现,现有方法只能对人脸位置或颜色进行改变,而本发明方法在此基础上还可以改变脸型、眼睛和嘴巴开闭程度、脸部姿态,大大提升了数据的多样性。
在训练关键点预测模型前,先按照步骤1~4准备10000组标注好的人脸数据,人脸数据覆盖多种脸型、性别、年龄、脸部姿态、表情以及背景环境,由于不同数据获取的难易程度不同,数据中大部分为正脸、表情自然的人脸图像。
测试数据包括简单测试集和困难测试集,简单测试集为100张表情自然、正脸数据,这类数据在训练数据中的占比较多;困难测试集为100张表情丰富(表现为眼睛、嘴巴开闭程度不一等)、侧脸数据,这类数据在训练数据中的占比较少,因此用来评估模型的泛化能力。
采用现有数据增强方法和本发明数据增强方法后训练模型的测试效果
简单测试集NME | 困难测试集NME | |
采用现有方法 | 5.17% | 9.77% |
采用本发明方法 | 3.66% | 7.25% |
上表为采用现有数据增强方法和本发明数据增强方法后训练模型的测试效果。测试采用归一化的评价误差(Normalized Mean Error, NME)
其中,为第个测试图像的第个关键点坐标,为模型对第个测试图像预测的第个关键点坐标,, 为测试数据量,为第个测试图像的双眼中心距离。可以看出,采用本发明数据增强方法后训练的模型在简单数据集和困难数据集的测试效果均优于采用现有数据增强方法后训练的模型,可见采用本发明方法有利于提升模型的精度,同时本发明方法在困难数据集的NME比现有方法低2.52%,本发明方法能有效增强数据的多样性,有利于提升模型的泛化能力。
结合图示,本发明的前述实施例还可以根据具体实施配置如下。
{人脸关键点数据增强装置}
一种基于局部仿射变换的人脸关键点数据增强装置,包括:
用于采集N张包含人脸的彩色图像的模块,N为正整数,且N≥100;
用于对每个彩色图像中的最大的人脸标注其104个关键点的模块,其中包括0~32号点为脸部轮廓点,33~50号点为眉毛关键点,51~65号点为鼻子关键点,66~83号点为眼睛关键点,84~103号点为嘴部关键点,得到的标注数据;
用于对标注数据进行预处理,得到人脸边界框,并扩展成正方形边界框,然后截取正方形边界框内的图像并缩放至64×64像素大小的图像的模块;
用于对64×64像素大小的图像修正104个关键点坐标的模块;
用于根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列的模块;
用于从64×64像素大小的图像数据中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据,得到目标关键点的坐标数据的模块,包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点;
用于对预处理后的每个图像数据进行图像增强,对三角图像阵列中的各个子区域进行仿射变换的模块;
用于将仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接,得到新的人脸图像的模块,与之对应的关键点坐标作为目标关键点坐标;
用于对拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强的模块。
{系统}
一种系统,包括:
一个或多个处理器;
存储器,存储可被操作的指令,所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作,所述操作包括:
步骤1、采集N张包含人脸的彩色图像,N为正整数,且N≥100;
步骤2、对每个彩色图像中的最大的人脸标注其104个关键点,其中包括0~32号点为脸部轮廓点,33~50号点为眉毛关键点,51~65号点为鼻子关键点,66~83号点为眼睛关键点,84~103号点为嘴部关键点,得到的标注数据;
步骤3、对标注数据进行预处理,得到人脸边界框,并扩展成正方形边界框,然后截取正方形边界框内的图像并缩放至64×64像素大小的图像;
步骤4、对64×64像素大小的图像修正104个关键点坐标;
步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列;
步骤6、从步骤4得到图像数据中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据,得到关键点的坐标数据,包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点;
步骤7、对按照步骤3预处理后的每个图像数据进行图像增强,对三角图像阵列中的各个子区域进行仿射变换;
步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接,得到新的人脸图像,与之对应的关键点坐标作为目标关键点坐标;
步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强
优选地,前述系统可以是计算机系统,或者服务器系统,而不论这些计算机系统是搭建在本地端,亦或者云端,均可在配置的数据处理、存储、传输以及数据总线的基础上,依照上述配置进行人脸关键点数据的增强以及进行模型的训练。
虽然本发明已以较佳实施例揭露如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当视权利要求书所界定者为准。
Claims (10)
1.一种基于局部仿射变换的人脸关键点数据增强方法,其特征在于,包括:
步骤1、采集N张包含人脸的彩色图像,N为正整数,且N≥100;
步骤2、对每个彩色图像中的最大的人脸标注其104个关键点,其中包括0~32号点为脸部轮廓点,33~50号点为眉毛关键点,51~65号点为鼻子关键点,66~83号点为眼睛关键点,84~103号点为嘴部关键点,得到的标注数据;
步骤3、对标注数据进行预处理,得到人脸边界框,并扩展成正方形边界框,然后截取正方形边界框内的图像并缩放至64×64像素大小的图像;
步骤4、对64×64像素大小的图像修正104个关键点坐标;
步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列;
步骤6、从步骤4得到图像数据中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据,得到目标关键点的坐标数据,包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点;
步骤7、对按照步骤3预处理后的每个图像数据进行图像增强,对三角图像阵列中的各个子区域进行仿射变换;
步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接,得到新的人脸图像,与之对应的关键点坐标作为目标关键点坐标;
步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用数据增强方法再次进行随机增强。
2.根据权利要求1所述的基于局部仿射变换的人脸关键点数据增强方法,其特征在于,所述步骤9中对随机增强处理包括:
1)-30°到30°的随机旋转;
2)边长10%的随机平移;
3)边长90%到120%的随机缩放;
4)50%概率的水平翻转;
5)对图像进行30%概率的高斯模糊和30%概率的颜色抖动。
7.根据权利要求1所述的基于局部仿射变换的人脸关键点数据增强方法,其特征在于,前述方法更加包括:
对每一个原始的彩色图像经过前述预处理得到的64×64像素大小的原始图像数据按照前述步骤2-9所述的方法进行增强,重复9次,以将数据量扩充9倍;
再将原始图像数据与新的人脸图像数据进行合并,组成新的用于人脸关键点检测模型训练的训练数据集。
8.一种基于局部仿射变换的人脸关键点数据增强装置,其特征在于,包括:
用于采集N张包含人脸的彩色图像的模块,N为正整数,且N≥100;
用于对每个彩色图像中的最大的人脸标注其104个关键点的模块,其中包括0~32号点为脸部轮廓点,33~50号点为眉毛关键点,51~65号点为鼻子关键点,66~83号点为眼睛关键点,84~103号点为嘴部关键点,得到的标注数据;
用于对标注数据进行预处理,得到人脸边界框,并扩展成正方形边界框,然后截取正方形边界框内的图像并缩放至64×64像素大小的图像的模块;
用于对64×64像素大小的图像修正104个关键点坐标的模块;
用于根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列的模块;
用于从64×64像素大小的图像数据中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据,得到目标关键点的坐标数据的模块,包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点;
用于对预处理后的每个图像数据进行图像增强,对三角图像阵列中的各个子区域进行仿射变换的模块;
用于将仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接,得到新的人脸图像的模块,与之对应的关键点坐标作为目标关键点坐标;
用于对拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强的模块。
9.一种系统,其特征在于,包括:
一个或多个处理器;
存储器,存储可被操作的指令,所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作,所述操作包括:
步骤1、采集N张包含人脸的彩色图像,N为正整数,且N≥100;
步骤2、对每个彩色图像中的最大的人脸标注其104个关键点,其中包括0~32号点为脸部轮廓点,33~50号点为眉毛关键点,51~65号点为鼻子关键点,66~83号点为眼睛关键点,84~103号点为嘴部关键点,得到的标注数据;
步骤3、对标注数据进行预处理,得到人脸边界框,并扩展成正方形边界框,然后截取正方形边界框内的图像并缩放至64×64像素大小的图像;
步骤4、对64×64像素大小的图像修正104个关键点坐标;
步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列;
步骤6、从步骤4得到图像数据中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据,得到关键点的坐标数据,包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点;
步骤7、对按照步骤3预处理后的每个图像数据进行图像增强,对三角图像阵列中的各个子区域进行仿射变换;
步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接,得到新的人脸图像,与之对应的关键点坐标作为目标关键点坐标;
步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强。
10.一种使用权利要求7所述的训练数据集训练人脸关键点检测模型的方法,其特征在于,所述训练的人脸关键点检测模型输入为含有人脸的宽高均为64像素的图像,输出为104个人脸关键点坐标;
人脸关键点检测模型由卷积层、最大值池化层和全连接层组成,卷积层的卷积核大小为3×3,步长为1,补零方式为Same Padding;
最大值池化层的池化窗口大小为2×2、步长为2;
第一个全连接层神经元数为1024,第二个全连接层神经元数为208;
卷积层和第一个全连接层后采用ReLU激活函数激活;
模型训练时的一个批次数据损失函数为:
最终,训练得到预测人脸关键点坐标的模型输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010167639.4A CN111178337B (zh) | 2020-01-07 | 2020-01-07 | 人脸关键点数据增强方法、装置、系统以及模型训练方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010014204.6A CN110807448B (zh) | 2020-01-07 | 2020-01-07 | 人脸关键点数据增强方法 |
CN202010167639.4A CN111178337B (zh) | 2020-01-07 | 2020-01-07 | 人脸关键点数据增强方法、装置、系统以及模型训练方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010014204.6A Division CN110807448B (zh) | 2020-01-07 | 2020-01-07 | 人脸关键点数据增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111178337A true CN111178337A (zh) | 2020-05-19 |
CN111178337B CN111178337B (zh) | 2020-12-29 |
Family
ID=69493411
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010167639.4A Active CN111178337B (zh) | 2020-01-07 | 2020-01-07 | 人脸关键点数据增强方法、装置、系统以及模型训练方法 |
CN202010014204.6A Active CN110807448B (zh) | 2020-01-07 | 2020-01-07 | 人脸关键点数据增强方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010014204.6A Active CN110807448B (zh) | 2020-01-07 | 2020-01-07 | 人脸关键点数据增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN111178337B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111915479A (zh) * | 2020-07-15 | 2020-11-10 | 北京字节跳动网络技术有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
CN113111850A (zh) * | 2021-04-30 | 2021-07-13 | 南京甄视智能科技有限公司 | 基于感兴趣区域变换的人体关键点检测方法、装置与系统 |
CN113111849A (zh) * | 2021-04-25 | 2021-07-13 | 南京甄视智能科技有限公司 | 人体关键点检测方法、装置、系统与计算机可读介质 |
CN113674139A (zh) * | 2021-08-17 | 2021-11-19 | 北京京东尚科信息技术有限公司 | 人脸图像的处理方法、装置、电子设备及存储介质 |
CN114219095A (zh) * | 2021-11-15 | 2022-03-22 | 浙江大华技术股份有限公司 | 一种机器学习模型的训练方法、装置和可读存储介质 |
CN111915479B (zh) * | 2020-07-15 | 2024-04-26 | 抖音视界有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111368678B (zh) * | 2020-02-26 | 2023-08-25 | Oppo广东移动通信有限公司 | 图像处理方法及相关装置 |
CN111444775B (zh) * | 2020-03-03 | 2023-10-27 | 平安科技(深圳)有限公司 | 人脸关键点修正方法、装置以及计算机设备 |
CN111402135B (zh) * | 2020-03-17 | 2023-06-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN111489311B (zh) * | 2020-04-09 | 2023-08-08 | 北京百度网讯科技有限公司 | 一种人脸美化方法、装置、电子设备及存储介质 |
CN111666911A (zh) * | 2020-06-13 | 2020-09-15 | 天津大学 | 一种微表情数据的扩充方法及装置 |
CN111931741B (zh) * | 2020-09-29 | 2021-04-02 | 北京达佳互联信息技术有限公司 | 嘴部关键点的标注方法、装置、电子设备及存储介质 |
CN112348069B (zh) * | 2020-10-28 | 2024-01-19 | 深圳市优必选科技股份有限公司 | 数据增强方法、装置、计算机可读存储介质及终端设备 |
CN112348744B (zh) * | 2020-11-24 | 2022-07-01 | 电子科技大学 | 一种基于缩略图的数据增强方法 |
CN112560725A (zh) * | 2020-12-22 | 2021-03-26 | 四川云从天府人工智能科技有限公司 | 关键点检测模型及其检测方法、装置及计算机存储介质 |
CN112991159B (zh) * | 2021-04-29 | 2021-07-30 | 南京甄视智能科技有限公司 | 人脸光照质量评估方法、系统、服务器与计算机可读介质 |
CN113610115B (zh) * | 2021-07-14 | 2024-04-12 | 广州敏视数码科技有限公司 | 一种基于灰度图像的高效人脸对齐方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004059573A2 (en) * | 2002-12-17 | 2004-07-15 | Genex Technologies, Inc. | Face recognition system and method |
CN101661554A (zh) * | 2009-09-29 | 2010-03-03 | 哈尔滨工程大学 | 远距离视频下的正面人体自动身份识别方法 |
CN102103695A (zh) * | 2009-12-21 | 2011-06-22 | 北京中星微电子有限公司 | 一种图像样本生成方法及装置 |
CN105095857A (zh) * | 2015-06-26 | 2015-11-25 | 上海交通大学 | 基于关键点扰动技术的人脸数据增强方法 |
US20160253784A1 (en) * | 2014-12-11 | 2016-09-01 | Sharp Laboratories Of America, Inc. | System for video super resolution using semantic components |
CN106446779A (zh) * | 2016-08-29 | 2017-02-22 | 深圳市软数科技有限公司 | 身份识别方法和装置 |
CN107016370A (zh) * | 2017-04-10 | 2017-08-04 | 电子科技大学 | 一种基于数据增强的部分遮挡人脸识别方法 |
WO2017149315A1 (en) * | 2016-03-02 | 2017-09-08 | Holition Limited | Locating and augmenting object features in images |
CN107730566A (zh) * | 2017-10-27 | 2018-02-23 | 朱秋华 | 一种生成表情的方法、装置、移动终端及存储介质 |
CN108765273A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 人脸拍照的虚拟整容方法和装置 |
CN108765265A (zh) * | 2018-05-21 | 2018-11-06 | 北京微播视界科技有限公司 | 图像处理方法、装置、终端设备和存储介质 |
CN108805094A (zh) * | 2018-06-19 | 2018-11-13 | 合肥工业大学 | 基于人工脸的数据增强方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170278302A1 (en) * | 2014-08-29 | 2017-09-28 | Thomson Licensing | Method and device for registering an image to a model |
CN104778712B (zh) * | 2015-04-27 | 2018-05-01 | 厦门美图之家科技有限公司 | 一种基于仿射变换的人脸贴图方法和系统 |
CN107153816B (zh) * | 2017-04-16 | 2021-03-23 | 五邑大学 | 一种用于鲁棒人脸识别的数据增强方法 |
CN108596138A (zh) * | 2018-05-03 | 2018-09-28 | 南京大学 | 一种基于迁移层次网络的人脸识别方法 |
-
2020
- 2020-01-07 CN CN202010167639.4A patent/CN111178337B/zh active Active
- 2020-01-07 CN CN202010014204.6A patent/CN110807448B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004059573A2 (en) * | 2002-12-17 | 2004-07-15 | Genex Technologies, Inc. | Face recognition system and method |
CN101661554A (zh) * | 2009-09-29 | 2010-03-03 | 哈尔滨工程大学 | 远距离视频下的正面人体自动身份识别方法 |
CN102103695A (zh) * | 2009-12-21 | 2011-06-22 | 北京中星微电子有限公司 | 一种图像样本生成方法及装置 |
US20160253784A1 (en) * | 2014-12-11 | 2016-09-01 | Sharp Laboratories Of America, Inc. | System for video super resolution using semantic components |
CN105095857A (zh) * | 2015-06-26 | 2015-11-25 | 上海交通大学 | 基于关键点扰动技术的人脸数据增强方法 |
WO2017149315A1 (en) * | 2016-03-02 | 2017-09-08 | Holition Limited | Locating and augmenting object features in images |
CN106446779A (zh) * | 2016-08-29 | 2017-02-22 | 深圳市软数科技有限公司 | 身份识别方法和装置 |
CN107016370A (zh) * | 2017-04-10 | 2017-08-04 | 电子科技大学 | 一种基于数据增强的部分遮挡人脸识别方法 |
CN107730566A (zh) * | 2017-10-27 | 2018-02-23 | 朱秋华 | 一种生成表情的方法、装置、移动终端及存储介质 |
CN108765265A (zh) * | 2018-05-21 | 2018-11-06 | 北京微播视界科技有限公司 | 图像处理方法、装置、终端设备和存储介质 |
CN108765273A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 人脸拍照的虚拟整容方法和装置 |
CN108805094A (zh) * | 2018-06-19 | 2018-11-13 | 合肥工业大学 | 基于人工脸的数据增强方法 |
Non-Patent Citations (2)
Title |
---|
STEFANO MELACCI ET AL;: "《A template-based approach to automatic face enhancement》", 《THEORETICAL ADVANCES》 * |
毛慧芸 等;: "《一种美丽人脸的计算机合成方法》", 《第十五届全国图像图形学学术会议》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111915479A (zh) * | 2020-07-15 | 2020-11-10 | 北京字节跳动网络技术有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
CN111915479B (zh) * | 2020-07-15 | 2024-04-26 | 抖音视界有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
CN113111849A (zh) * | 2021-04-25 | 2021-07-13 | 南京甄视智能科技有限公司 | 人体关键点检测方法、装置、系统与计算机可读介质 |
CN113111849B (zh) * | 2021-04-25 | 2022-08-16 | 南京甄视智能科技有限公司 | 人体关键点检测方法、装置、系统与计算机可读介质 |
CN113111850A (zh) * | 2021-04-30 | 2021-07-13 | 南京甄视智能科技有限公司 | 基于感兴趣区域变换的人体关键点检测方法、装置与系统 |
CN113111850B (zh) * | 2021-04-30 | 2022-08-16 | 南京甄视智能科技有限公司 | 基于感兴趣区域变换的人体关键点检测方法、装置与系统 |
CN113674139A (zh) * | 2021-08-17 | 2021-11-19 | 北京京东尚科信息技术有限公司 | 人脸图像的处理方法、装置、电子设备及存储介质 |
CN114219095A (zh) * | 2021-11-15 | 2022-03-22 | 浙江大华技术股份有限公司 | 一种机器学习模型的训练方法、装置和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110807448B (zh) | 2020-04-14 |
CN110807448A (zh) | 2020-02-18 |
CN111178337B (zh) | 2020-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110807448B (zh) | 人脸关键点数据增强方法 | |
CN109859190B (zh) | 一种基于深度学习的目标区域检测方法 | |
US10152655B2 (en) | Deep-learning network architecture for object detection | |
US11595737B2 (en) | Method for embedding advertisement in video and computer device | |
EP3576017A1 (en) | Method, apparatus, and device for determining pose of object in image, and storage medium | |
CN111640125B (zh) | 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置 | |
CN108960229B (zh) | 一种面向多方向的文字检测方法和装置 | |
CN107358262B (zh) | 一种高分辨率图像的分类方法及分类装置 | |
CN112541422B (zh) | 光照和头部姿态鲁棒的表情识别方法、设备及存储介质 | |
CN109711268B (zh) | 一种人脸图像筛选方法及设备 | |
CN111680690B (zh) | 一种文字识别方法及装置 | |
JP2007213377A (ja) | 顔特徴点検出方法および装置並びにプログラム | |
CN111401266B (zh) | 绘本角点定位的方法、设备、计算机设备和可读存储介质 | |
CN110443235B (zh) | 一种智能纸质试卷总分识别方法及系统 | |
CN111968134B (zh) | 目标分割方法、装置、计算机可读存储介质及计算机设备 | |
CN111709956A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
CN111243051A (zh) | 基于肖像照片的简笔画生成方法、系统及存储介质 | |
CN111310609A (zh) | 基于时序信息和局部特征相似性的视频目标检测方法 | |
CN111104941B (zh) | 图像方向纠正方法、装置及电子设备 | |
CN114782417A (zh) | 基于边缘强化图像分割的风机数字孪生特征实时检测方法 | |
CN113807334A (zh) | 一种基于残差网络的多尺度特征融合的人群密度估计方法 | |
CN111275610B (zh) | 一种人脸变老图像处理方法及系统 | |
Zhao et al. | NormalNet: learning-based mesh normal denoising via local partition normalization | |
CN109948541A (zh) | 一种面部情感识别方法与系统 | |
CN110070490A (zh) | 图像拼接方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder |
Address after: No.568 longmian Avenue, gaoxinyuan, Jiangning District, Nanjing City, Jiangsu Province, 211000 Patentee after: Xiaoshi Technology (Jiangsu) Co.,Ltd. Address before: No.568 longmian Avenue, gaoxinyuan, Jiangning District, Nanjing City, Jiangsu Province, 211000 Patentee before: NANJING ZHENSHI INTELLIGENT TECHNOLOGY Co.,Ltd. |
|
CP01 | Change in the name or title of a patent holder |