CN111178337B - 人脸关键点数据增强方法、装置、系统以及模型训练方法 - Google Patents

人脸关键点数据增强方法、装置、系统以及模型训练方法 Download PDF

Info

Publication number
CN111178337B
CN111178337B CN202010167639.4A CN202010167639A CN111178337B CN 111178337 B CN111178337 B CN 111178337B CN 202010167639 A CN202010167639 A CN 202010167639A CN 111178337 B CN111178337 B CN 111178337B
Authority
CN
China
Prior art keywords
image
data
points
face
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010167639.4A
Other languages
English (en)
Other versions
CN111178337A (zh
Inventor
杨帆
郝强
潘鑫淼
胡建国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaoshi Technology Jiangsu Co ltd
Original Assignee
Nanjing Zhenshi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhenshi Intelligent Technology Co Ltd filed Critical Nanjing Zhenshi Intelligent Technology Co Ltd
Priority to CN202010167639.4A priority Critical patent/CN111178337B/zh
Publication of CN111178337A publication Critical patent/CN111178337A/zh
Application granted granted Critical
Publication of CN111178337B publication Critical patent/CN111178337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明属于人脸识别技术领域，提供一种人脸关键点数据增强方法、装置、系统以及模型训练方法，通过对人脸图像局部区域仿射变换并拼接的人脸关键点数据增强方法，以提高样本的数量和多样性，有利于提升关键点检测模型的训练效果。在已标注数据的基础上，采用局部仿射变换即可高效地生成人脸关键点数据，从而提升后续模型训练的准确率和泛化性。

Description

人脸关键点数据增强方法、装置、系统以及模型训练方法
本申请是申请人于2020年1月7日提交的申请号为202010014204.6、名称为人脸关键点数据增强方法、装置、系统以及模型训练方法的申请的分案申请。
技术领域
本发明涉及人脸识别技术领域，具体而言涉及一种基于局部仿射变换的人脸关键点数据增强方法、装置、系统以及训练人脸关键点检测模型的方法。
背景技术
训练人脸关键点检测模型，需要大规模的带标签人脸数据，获取到的人脸图像中往往自然表情居多，如张嘴、闭眼的图像相对较少，这种较为单一的数据会使得训练后的模型泛化能力较差。
此外，人脸关键点数据的标注耗时费力，标注员需要对每张人脸图像精细地标注几十甚至上百个关键点。这两个方面因素大大限制了高质量数据的获取，进而影响深度学习模型的性能。数据增强是快速提升数据量的高效方法，但现有的人脸关键点数据增强方法，例如平移、旋转、缩放等，无法对人脸轮廓及五官进行改变，如睁眼变为闭眼、胖脸形变为瘦脸形。因此即使数据量增加了，但数据的多样性并未提高。
发明内容
本发明目的在于提供一种基于局部仿射变换的人脸关键点数据增强方法与系统，通过对人脸图像局部区域仿射变换并拼接的人脸关键点数据增强，有效地提高样本的数量和多样性，有利于提升关键点检测模型的训练效果。
为达成上述目的，本发明提出一种基于局部仿射变换的人脸关键点数据增强方法，包括：
步骤1、采集N张包含人脸的彩色图像，N为正整数，且N≥100；
步骤2、对每个彩色图像中的最大的人脸标注其104个关键点，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；
步骤3、对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像；
步骤4、对64×64像素大小的图像修正104个关键点坐标；
步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列；
步骤6、从步骤4得到图像数据中选择多组原始的彩色图像中缺乏人脸形态的关键点数据作为目标关键点数据，得到目标关键点的坐标数据，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；
步骤7、对按照步骤3预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换；
步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像，与之对应的关键点坐标作为目标关键点坐标；
步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用数据增强方法再次进行随机增强。
根据本发明的公开，还提出一种基于局部仿射变换的人脸关键点数据增强装置，包括：
用于采集N张包含人脸的彩色图像的模块，N为正整数，且N≥100；
用于对每个彩色图像中的最大的人脸标注其104个关键点的模块，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；
用于对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像的模块；
用于对64×64像素大小的图像修正104个关键点坐标的模块；
用于根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列的模块；
用于从64×64像素大小的图像数据中选择多组原始的彩色图像中缺乏人脸形态的关键点数据作为目标关键点数据，得到目标关键点的坐标数据的模块，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；
用于对预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换的模块；
用于将仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像的模块，与之对应的关键点坐标作为目标关键点坐标；
用于对拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强的模块。
根据本发明的公开，还提出一种系统，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：
步骤1、采集N张包含人脸的彩色图像，N为正整数，且N≥100；
步骤2、对每个彩色图像中的最大的人脸标注其104个关键点，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；
步骤3、对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像；
步骤4、对64×64像素大小的图像修正104个关键点坐标；
步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列；
步骤6、从步骤4得到图像数据中选择多组原始的彩色图像中缺乏人脸形态的关键点数据作为目标关键点数据，得到关键点的坐标数据，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；
步骤7、对按照步骤3预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换；
步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像，与之对应的关键点坐标作为目标关键点坐标；
步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强。
根据本发明的公开，还提出一种使用所述的训练数据集训练人脸关键点检测模型的方法，所述训练的人脸关键点检测模型输入为含有人脸的宽高均为64像素的图像，输出为104个人脸关键点坐标；
人脸关键点检测模型由卷积层、最大值池化层和全连接层组成，卷积层的卷积核大小为3×3，步长为1，补零方式为Same Padding；
最大值池化层的池化窗口大小为2×2、步长为2；
第一个全连接层神经元数为1024，第二个全连接层神经元数为208；
卷积层和第一个全连接层后采用ReLU激活函数激活；
模型训练时的一个批次数据损失函数为：
Figure 670597DEST_PATH_IMAGE002
其中，
Figure 814133DEST_PATH_IMAGE004
为混合数据集中某一批次的第
Figure 603098DEST_PATH_IMAGE006
个训练样本的第
Figure 970625DEST_PATH_IMAGE008
个关键点坐标，
Figure 618775DEST_PATH_IMAGE010
为一个批次的数据量，
Figure 425057DEST_PATH_IMAGE012
为模型对第
Figure 271791DEST_PATH_IMAGE014
个训练图像预测的第
Figure 744973DEST_PATH_IMAGE008
个关键点坐标；
最终，训练得到预测人脸关键点坐标的模型输出。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：
图1是本发明的人脸关键点数据增强方法的示例性流程图。
图2是人脸关键点的示意图。
图3是人脸的三角图像阵列示意图。
图4是基于融合的数据集进行人脸关键点训练模型的示意图。
图5是现有的传统数据增强方法和本发明数据增强方法的对比示意图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是应为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
本发明公开的实施例的基于局部仿射变换的人脸关键点数据增强方法，整体上旨在通过对人脸图像局部区域仿射变换并拼接的人脸关键点数据增强方法，以提高样本的数量和多样性，有利于提升关键点检测模型的训练效果。
结合图1-图4所示，下面对其具体实现进行更加具体的说明。
步骤1、采集N张包含人脸的彩色图像，N为正整数，且N≥100。
优选地，人脸的彩色图像尽可能进行多场景选择，例如覆盖到不同人脸姿态、不同性别年龄、不同光照条件、不同背景、不同遮挡情况等。
步骤2、对每个彩色图像中的最大的人脸标注其104个关键点，结合图2所示，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据。
步骤3、对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像，从而确保数据中的人脸位置及占比大致相似，以降低模型训练的难度。
步骤4、对64×64像素大小的图像修正104个关键点坐标。
优选地，按照下述方式修正104个关键点坐标：
Figure 5053DEST_PATH_IMAGE016
其中，
Figure 287130DEST_PATH_IMAGE018
为第
Figure 191632DEST_PATH_IMAGE020
幅图像修正后的第
Figure 494437DEST_PATH_IMAGE022
个关键点坐标，
Figure 851600DEST_PATH_IMAGE024
，
Figure 999685DEST_PATH_IMAGE026
表示图像
Figure 758693DEST_PATH_IMAGE028
的边界框边长，
Figure 232400DEST_PATH_IMAGE030
表示图像左上角坐标。
步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列。
优选地，所述步骤5中，根据104个关键点坐标
Figure 873597DEST_PATH_IMAGE032
和8个图像边缘点坐标将预处理后的图像数据划分成三角形子区域组成三角图像阵列；其中图像边缘点坐标是指图像左上角坐标
Figure 700739DEST_PATH_IMAGE034
、上边缘中点坐标
Figure 704467DEST_PATH_IMAGE036
、右上角坐标
Figure 958862DEST_PATH_IMAGE038
、左边缘中点坐标
Figure 415251DEST_PATH_IMAGE040
、右边缘中点坐标
Figure 66591DEST_PATH_IMAGE042
、左下角坐标
Figure 331351DEST_PATH_IMAGE044
、下边缘中点坐标
Figure 146860DEST_PATH_IMAGE046
以及右下角坐标
Figure 965911DEST_PATH_IMAGE048
；
然后，将这112个点
Figure 259489DEST_PATH_IMAGE050
采用Bowyer-Watson三角剖分算法划分三角形子区域，划分后每个子区域的三个顶点组成一个新的集合
Figure 50859DEST_PATH_IMAGE052
，其中
Figure 506111DEST_PATH_IMAGE054
：
Figure 812459DEST_PATH_IMAGE056
其中，
Figure 581831DEST_PATH_IMAGE058
为第
Figure 414658DEST_PATH_IMAGE060
幅图的第
Figure 181757DEST_PATH_IMAGE062
个子区域的3个顶点，
Figure 100035DEST_PATH_IMAGE064
，
Figure 873431DEST_PATH_IMAGE066
为划分后的三角形子区域个数，
Figure 29606DEST_PATH_IMAGE068
。
步骤6、从步骤4得到图像数据（修正后）中选择多组原始的彩色图像中缺乏人脸形态的关键点数据作为目标关键点数据，得到关键点的坐标数据，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点。
步骤7、对按照步骤3预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换。
步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像，与之对应的关键点坐标作为目标关键点坐标。
步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强。
优选地，所述步骤9的随机增强处理包括：
1）-30°到30°的随机旋转；
2）边长10%的随机平移；
3）边长90%到120%的随机缩放；
4）50%概率的水平翻转；以及
5）对图像进行30%概率的高斯模糊和30%概率的颜色抖动。
优选地，所述步骤2中，对104个关键点的标注，得到标注数据为：
Figure DEST_PATH_IMAGE070A
其中，
Figure 374131DEST_PATH_IMAGE072
为第
Figure 514125DEST_PATH_IMAGE074
幅图像；
Figure 94142DEST_PATH_IMAGE076
为第
Figure 635982DEST_PATH_IMAGE074
幅图像的第
Figure 744883DEST_PATH_IMAGE078
个关键点坐标；
Figure 372174DEST_PATH_IMAGE080
，
Figure 287040DEST_PATH_IMAGE082
。
优选地，所述步骤3中，根据标注的关键点坐标的最高点、最低点、最左点、最右点确定人脸边界框，并向外扩展边长的20%，若此时边界框为矩形，则将矩形框的短边再次扩展至与长边相等，得到正方形边界框；
再将图像中边界框内的部分截取出来，并放缩至64×64像素大小的图像
Figure 558752DEST_PATH_IMAGE084
。
优选地，所述步骤7中，所述仿射变换的处理，其中：
对每个预处理后的数据做数据增强时，首先随机选择一组目标关键点
Figure 228768DEST_PATH_IMAGE086
，
Figure 950212DEST_PATH_IMAGE088
，其中
Figure 731086DEST_PATH_IMAGE090
为目标关键点数据总组数，
Figure 122884DEST_PATH_IMAGE092
为第
Figure 963802DEST_PATH_IMAGE094
组目标关键点数据的第
Figure 441050DEST_PATH_IMAGE096
个坐标，
Figure 25615DEST_PATH_IMAGE098
，
Figure 271920DEST_PATH_IMAGE100
为8个图像边缘点坐标；
将第
Figure 283738DEST_PATH_IMAGE102
幅待增强图像的第
Figure 982704DEST_PATH_IMAGE104
个子区域图像
Figure 370960DEST_PATH_IMAGE106
由点
Figure 471771DEST_PATH_IMAGE108
两两连线围成，对应的目标子区域
Figure 326595DEST_PATH_IMAGE110
为目标关键点
Figure 903070DEST_PATH_IMAGE112
两两连线围成的区域，采用opencv图像处理库的applyAffineTransform函数将子区域
Figure 704804DEST_PATH_IMAGE106
仿射变换为目标子区域
Figure 784755DEST_PATH_IMAGE110
的形状，得到新的子区域图像
Figure 10813DEST_PATH_IMAGE114
，变换后的三个顶点坐标为
Figure 809004DEST_PATH_IMAGE116
；
对各子区域图像都进行上述操作得到
Figure 414429DEST_PATH_IMAGE118
个变换后的子区域图像
Figure 20991DEST_PATH_IMAGE120
。
优选地，在步骤8中，按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像，其具体包括：
新建一张64X64大小像素值为0的三通道图像，将仿射变换后的各三角形子区域图像
Figure 811092DEST_PATH_IMAGE122
按照3个顶点
Figure 971947DEST_PATH_IMAGE124
放置到空白图像的
Figure 240117DEST_PATH_IMAGE126
位置，拼接得到新的人脸图像。拼接后图像对应的关键点坐标为目标关键点坐标，即拼接后的图像和目标关键点坐标组成一组增强后的数据。
优选地，前述方法更加包括：
对每一个原始的彩色图像经过前述预处理得到的64×64像素大小的原始图像数据按照前述的方法进行增强，重复9次，以将数据量扩充9倍；
再将原始图像数据与新的人脸图像数据进行合并，组成新的用于人脸关键点检测模型训练的训练数据集。
结合图3、4所示，根据本发明的公开，还提出一种使用所述的训练数据集训练人脸关键点检测模型的方法，所述训练的人脸关键点检测模型输入为含有人脸的宽高均为64像素的图像，输出为104个人脸关键点坐标；
人脸关键点检测模型由卷积层、最大值池化层和全连接层组成，卷积层的卷积核大小为3×3，步长为1，补零方式为Same Padding（卷积核个数标注在图4中各卷积层的括号内）；
最大值池化层的池化窗口大小为2×2、步长为2；
第一个全连接层神经元数为1024，第二个全连接层神经元数为208；
卷积层和第一个全连接层后采用ReLU激活函数激活；
模型训练时的一个批次数据损失函数为：
Figure 170027DEST_PATH_IMAGE127
其中，
Figure 131029DEST_PATH_IMAGE128
为混合数据集中某一批次的第
Figure 513600DEST_PATH_IMAGE006
个训练样本的第
Figure DEST_PATH_IMAGE129
个关键点坐标，
Figure 991986DEST_PATH_IMAGE130
为一个批次的数据量，
Figure DEST_PATH_IMAGE131
为模型对第
Figure 307561DEST_PATH_IMAGE014
个训练图像预测的第
Figure 173886DEST_PATH_IMAGE129
个关键点坐标；
最终，训练得到预测人脸关键点坐标的模型输出。
藉由本发明的方案，由于人脸关键点数据的获取和标注较为耗时，而现有的数据增强方法无法对图像脸形、五官进行调整，难以提升数据的多样性。本发明的方案中在已标注数据的基础上，采用局部仿射变换即可高效地生成人脸关键点数据，从而提升后续模型训练的准确率和泛化性。
结合图5所示，其中左图为待增强的人脸图像，右边第一行三张图为采用现有数据增强方法后的图像，右边第二行三张图为采用本发明数据增强方法后的图像。可以发现，现有方法只能对人脸位置或颜色进行改变，而本发明方法在此基础上还可以改变脸型、眼睛和嘴巴开闭程度、脸部姿态，大大提升了数据的多样性。
在训练关键点预测模型前，先按照步骤1~4准备10000组标注好的人脸数据，人脸数据覆盖多种脸型、性别、年龄、脸部姿态、表情以及背景环境，由于不同数据获取的难易程度不同，数据中大部分为正脸、表情自然的人脸图像。
测试数据包括简单测试集和困难测试集，简单测试集为100张表情自然、正脸数据，这类数据在训练数据中的占比较多；困难测试集为100张表情丰富（表现为眼睛、嘴巴开闭程度不一等）、侧脸数据，这类数据在训练数据中的占比较少，因此用来评估模型的泛化能力。
采用现有数据增强方法和本发明数据增强方法后训练模型的测试效果
简单测试集NME 困难测试集NME
采用现有方法 5.17% 9.77%
采用本发明方法 3.66% 7.25%
上表为采用现有数据增强方法和本发明数据增强方法后训练模型的测试效果。测试采用归一化的评价误差（Normalized Mean Error, NME）
Figure DEST_PATH_IMAGE133
其中，
Figure DEST_PATH_IMAGE135
为第
Figure DEST_PATH_IMAGE137
个测试图像的第
Figure DEST_PATH_IMAGE139
个关键点坐标，
Figure DEST_PATH_IMAGE141
为模型对第
Figure DEST_PATH_IMAGE143
个测试图像预测的第
Figure DEST_PATH_IMAGE145
个关键点坐标，
Figure DEST_PATH_IMAGE147
，
Figure DEST_PATH_IMAGE149
为测试数据量，
Figure DEST_PATH_IMAGE151
为第
Figure DEST_PATH_IMAGE153
个测试图像的双眼中心距离。可以看出，采用本发明数据增强方法后训练的模型在简单数据集和困难数据集的测试效果均优于采用现有数据增强方法后训练的模型，可见采用本发明方法有利于提升模型的精度，同时本发明方法在困难数据集的NME比现有方法低2.52%，本发明方法能有效增强数据的多样性，有利于提升模型的泛化能力。
结合图示，本发明的前述实施例还可以根据具体实施配置如下。
{人脸关键点数据增强装置}
一种基于局部仿射变换的人脸关键点数据增强装置，包括：
用于采集N张包含人脸的彩色图像的模块，N为正整数，且N≥100；
用于对每个彩色图像中的最大的人脸标注其104个关键点的模块，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；
用于对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像的模块；
用于对64×64像素大小的图像修正104个关键点坐标的模块；
用于根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列的模块；
用于从64×64像素大小的图像数据中选择多组原始的彩色图像中缺乏人脸形态的关键点数据作为目标关键点数据，得到目标关键点的坐标数据的模块，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；
用于对预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换的模块；
用于将仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像的模块，与之对应的关键点坐标作为目标关键点坐标；
用于对拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强的模块。
{系统}
一种系统，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：
步骤1、采集N张包含人脸的彩色图像，N为正整数，且N≥100；
步骤2、对每个彩色图像中的最大的人脸标注其104个关键点，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；
步骤3、对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像；
步骤4、对64×64像素大小的图像修正104个关键点坐标；
步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列；
步骤6、从步骤4得到图像数据中选择多组原始的彩色图像中缺乏人脸形态的关键点数据作为目标关键点数据，得到关键点的坐标数据，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；
步骤7、对按照步骤3预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换；
步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像，与之对应的关键点坐标作为目标关键点坐标；
步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强
优选地，前述系统可以是计算机系统，或者服务器系统，而不论这些计算机系统是搭建在本地端，或者云端，均可在配置的数据处理、存储、传输以及数据总线的基础上，依照上述配置进行人脸关键点数据的增强以及进行模型的训练。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (8)

1.一种基于局部仿射变换的人脸关键点数据增强方法，其特征在于，包括：
步骤1、采集N张包含人脸的彩色图像，N为正整数，且N≥100；
步骤2、对每个彩色图像中的最大的人脸标注其104个关键点，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；
步骤3、对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像；
步骤4、对64×64像素大小的图像修正104个关键点坐标；
步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列；
步骤6、从步骤4得到图像数据中选择多组原始的彩色图像中缺乏人脸形态的关键点数据作为目标关键点数据，得到目标关键点的坐标数据，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；
步骤7、对按照步骤3预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换；
步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像，与之对应的关键点坐标作为目标关键点坐标；
步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用数据增强方法再次进行随机增强。
2.根据权利要求1所述的基于局部仿射变换的人脸关键点数据增强方法，其特征在于，所述步骤9中对随机增强处理包括：
1）-30°到30°的随机旋转；
2）边长10%的随机平移；
3）边长90%到120%的随机缩放；
4）50%概率的水平翻转；
5）对图像进行30%概率的高斯模糊和30%概率的颜色抖动。
3.根据权利要求1所述的基于局部仿射变换的人脸关键点数据增强方法，其特征在于，所述步骤2中，对104个关键点的标注，得到标注数据为：
Figure 385830DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
为第
Figure 240654DEST_PATH_IMAGE004
幅图像；
Figure DEST_PATH_IMAGE005
为第
Figure 630178DEST_PATH_IMAGE004
幅图像的第
Figure 290966DEST_PATH_IMAGE006
个关键点坐标；
Figure DEST_PATH_IMAGE007
，
Figure 43022DEST_PATH_IMAGE008
。
4.根据权利要求3所述的基于局部仿射变换的人脸关键点数据增强方法，其特征在于，所述步骤3中，根据标注的关键点坐标的最高点、最低点、最左点、最右点确定人脸边界框，并向外扩展边长的20%，若此时边界框为矩形，则将矩形框的短边再次扩展至与长边相等，得到正方形边界框；
再将图像中边界框内的部分截取出来，并放缩至64×64像素大小的图像
Figure DEST_PATH_IMAGE009
。
5.根据权利要求1所述的基于局部仿射变换的人脸关键点数据增强方法，其特征在于，前述方法更加包括：
对每一个原始的彩色图像经过前述预处理得到的64×64像素大小的原始图像数据按照前述步骤2-9进行增强，重复9次，以将数据量扩充9倍；
再将原始图像数据与新的人脸图像数据进行合并，组成新的用于人脸关键点检测模型训练的训练数据集。
6.一种基于局部仿射变换的人脸关键点数据增强装置，其特征在于，包括：
用于采集N张包含人脸的彩色图像的模块，N为正整数，且N≥100；
用于对每个彩色图像中的最大的人脸标注其104个关键点的模块，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；
用于对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像的模块；
用于对64×64像素大小的图像修正104个关键点坐标的模块；
用于根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列的模块；
用于从64×64像素大小的图像数据中选择多组原始的彩色图像中缺乏人脸形态的关键点数据作为目标关键点数据，得到目标关键点的坐标数据的模块，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；
用于对预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换的模块；
用于将仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像的模块，与之对应的关键点坐标作为目标关键点坐标；
用于对拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强的模块。
7.一种系统，其特征在于，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：
步骤1、采集N张包含人脸的彩色图像，N为正整数，且N≥100；
步骤2、对每个彩色图像中的最大的人脸标注其104个关键点，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；
步骤3、对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像；
步骤4、对64×64像素大小的图像修正104个关键点坐标；
步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列；
步骤6、从步骤4得到图像数据中选择多组原始的彩色图像中缺乏人脸形态的关键点数据作为目标关键点数据，得到关键点的坐标数据，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；
步骤7、对按照步骤3预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换；
步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像，与之对应的关键点坐标作为目标关键点坐标；
步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强。
8.一种使用权利要求5所述的训练数据集训练人脸关键点检测模型的方法，其特征在于，所述训练的人脸关键点检测模型输入为含有人脸的宽高均为64像素的图像，输出为104个人脸关键点坐标；
人脸关键点检测模型由卷积层、最大值池化层和全连接层组成，卷积层的卷积核大小为3×3，步长为1，补零方式为Same Padding；
最大值池化层的池化窗口大小为2×2、步长为2；
第一个全连接层神经元数为1024，第二个全连接层神经元数为208；
卷积层和第一个全连接层后采用ReLU激活函数激活；
模型训练时的一个批次数据损失函数为：
Figure 26937DEST_PATH_IMAGE010
其中，
Figure DEST_PATH_IMAGE011
为混合数据集中某一批次的第
Figure 231654DEST_PATH_IMAGE012
个训练样本的第
Figure DEST_PATH_IMAGE013
个关键点坐标，
Figure 102658DEST_PATH_IMAGE014
为 一个批次的数据量，
Figure DEST_PATH_IMAGE015
为模型对第
Figure 178061DEST_PATH_IMAGE016
个训练图像预测的第
Figure 109108DEST_PATH_IMAGE013
个关键点坐标；最终，训练 得到预测人脸关键点坐标的模型输出。
CN202010167639.4A 2020-01-07 2020-01-07 人脸关键点数据增强方法、装置、系统以及模型训练方法 Active CN111178337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010167639.4A CN111178337B (zh) 2020-01-07 2020-01-07 人脸关键点数据增强方法、装置、系统以及模型训练方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010167639.4A CN111178337B (zh) 2020-01-07 2020-01-07 人脸关键点数据增强方法、装置、系统以及模型训练方法
CN202010014204.6A CN110807448B (zh) 2020-01-07 2020-01-07 人脸关键点数据增强方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202010014204.6A Division CN110807448B (zh) 2020-01-07 2020-01-07 人脸关键点数据增强方法

Publications (2)

Publication Number Publication Date
CN111178337A CN111178337A (zh) 2020-05-19
CN111178337B true CN111178337B (zh) 2020-12-29

Family

ID=69493411

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010014204.6A Active CN110807448B (zh) 2020-01-07 2020-01-07 人脸关键点数据增强方法
CN202010167639.4A Active CN111178337B (zh) 2020-01-07 2020-01-07 人脸关键点数据增强方法、装置、系统以及模型训练方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010014204.6A Active CN110807448B (zh) 2020-01-07 2020-01-07 人脸关键点数据增强方法

Country Status (1)

Country Link
CN (2) CN110807448B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368678B (zh) * 2020-02-26 2023-08-25 Oppo广东移动通信有限公司 图像处理方法及相关装置
CN111444775B (zh) * 2020-03-03 2023-10-27 平安科技（深圳）有限公司 人脸关键点修正方法、装置以及计算机设备
CN111402135B (zh) * 2020-03-17 2023-06-20 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111489311B (zh) * 2020-04-09 2023-08-08 北京百度网讯科技有限公司 一种人脸美化方法、装置、电子设备及存储介质
CN111666911A (zh) * 2020-06-13 2020-09-15 天津大学 一种微表情数据的扩充方法及装置
CN111915479B (zh) * 2020-07-15 2024-04-26 抖音视界有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
CN111931741B (zh) * 2020-09-29 2021-04-02 北京达佳互联信息技术有限公司 嘴部关键点的标注方法、装置、电子设备及存储介质
CN112348069B (zh) * 2020-10-28 2024-01-19 深圳市优必选科技股份有限公司 数据增强方法、装置、计算机可读存储介质及终端设备
CN112348744B (zh) * 2020-11-24 2022-07-01 电子科技大学 一种基于缩略图的数据增强方法
CN112560725A (zh) * 2020-12-22 2021-03-26 四川云从天府人工智能科技有限公司 关键点检测模型及其检测方法、装置及计算机存储介质
CN113111849B (zh) * 2021-04-25 2022-08-16 南京甄视智能科技有限公司 人体关键点检测方法、装置、系统与计算机可读介质
CN113362221A (zh) * 2021-04-29 2021-09-07 南京甄视智能科技有限公司 用于门禁的人脸识别系统与人脸识别方法
CN113111850B (zh) * 2021-04-30 2022-08-16 南京甄视智能科技有限公司 基于感兴趣区域变换的人体关键点检测方法、装置与系统
CN113610115B (zh) * 2021-07-14 2024-04-12 广州敏视数码科技有限公司 一种基于灰度图像的高效人脸对齐方法
CN113674139A (zh) * 2021-08-17 2021-11-19 北京京东尚科信息技术有限公司 人脸图像的处理方法、装置、电子设备及存储介质
CN114219095B (zh) * 2021-11-15 2024-05-10 浙江大华技术股份有限公司 一种机器学习模型的训练方法、装置和可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103695A (zh) * 2009-12-21 2011-06-22 北京中星微电子有限公司 一种图像样本生成方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
CN101661554B (zh) * 2009-09-29 2012-02-01 哈尔滨工程大学 远距离视频下的正面人体自动身份识别方法
EP3186787A1 (en) * 2014-08-29 2017-07-05 Thomson Licensing Method and device for registering an image to a model
US9367897B1 (en) * 2014-12-11 2016-06-14 Sharp Laboratories Of America, Inc. System for video super resolution using semantic components
CN104778712B (zh) * 2015-04-27 2018-05-01 厦门美图之家科技有限公司 一种基于仿射变换的人脸贴图方法和系统
CN105095857B (zh) * 2015-06-26 2018-11-16 上海交通大学 基于关键点扰动技术的人脸数据增强方法
WO2017149315A1 (en) * 2016-03-02 2017-09-08 Holition Limited Locating and augmenting object features in images
CN106446779B (zh) * 2016-08-29 2017-07-04 深圳市软数科技有限公司 身份识别方法和装置
CN107016370B (zh) * 2017-04-10 2019-10-11 电子科技大学 一种基于数据增强的部分遮挡人脸识别方法
CN107153816B (zh) * 2017-04-16 2021-03-23 五邑大学 一种用于鲁棒人脸识别的数据增强方法
CN107730566A (zh) * 2017-10-27 2018-02-23 朱秋华 一种生成表情的方法、装置、移动终端及存储介质
CN108596138A (zh) * 2018-05-03 2018-09-28 南京大学 一种基于迁移层次网络的人脸识别方法
CN108765265B (zh) * 2018-05-21 2022-05-24 北京微播视界科技有限公司 图像处理方法、装置、终端设备和存储介质
CN108765273B (zh) * 2018-05-31 2021-03-09 Oppo广东移动通信有限公司 人脸拍照的虚拟整容方法和装置
CN108805094A (zh) * 2018-06-19 2018-11-13 合肥工业大学 基于人工脸的数据增强方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103695A (zh) * 2009-12-21 2011-06-22 北京中星微电子有限公司 一种图像样本生成方法及装置

Also Published As

Publication number Publication date
CN110807448A (zh) 2020-02-18
CN111178337A (zh) 2020-05-19
CN110807448B (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
CN111178337B (zh) 人脸关键点数据增强方法、装置、系统以及模型训练方法
US11595737B2 (en) Method for embedding advertisement in video and computer device
CN109859190B (zh) 一种基于深度学习的目标区域检测方法
US10839581B2 (en) Computer-implemented method for generating composite image, apparatus for generating composite image, and computer-program product
EP3576017A1 (en) Method, apparatus, and device for determining pose of object in image, and storage medium
US10019655B2 (en) Deep-learning network architecture for object detection
CN107358262B (zh) 一种高分辨率图像的分类方法及分类装置
CN108960229B (zh) 一种面向多方向的文字检测方法和装置
CN112541422B (zh) 光照和头部姿态鲁棒的表情识别方法、设备及存储介质
CN111680690B (zh) 一种文字识别方法及装置
CN111401266B (zh) 绘本角点定位的方法、设备、计算机设备和可读存储介质
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN110443235B (zh) 一种智能纸质试卷总分识别方法及系统
WO2022033513A1 (zh) 目标分割方法、装置、计算机可读存储介质及计算机设备
CN113807334B (zh) 一种基于残差网络的多尺度特征融合的人群密度估计方法
CN114782417A (zh) 基于边缘强化图像分割的风机数字孪生特征实时检测方法
CN111310609A (zh) 基于时序信息和局部特征相似性的视频目标检测方法
CN111104941B (zh) 图像方向纠正方法、装置及电子设备
Zhao et al. NormalNet: Learning-based mesh normal denoising via local partition normalization
CN111275610B (zh) 一种人脸变老图像处理方法及系统
CN116524508A (zh) 表格类图像的矫正方法及装置、存储介质、计算机设备
CN109948541A (zh) 一种面部情感识别方法与系统
CN115719414A (zh) 基于任意四边形回归的目标检测与精确定位方法
CN111508045B (zh) 一种图片合成的方法及装置
CN113643370A (zh) 一种基于ncc算法的图像定位方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: No.568 longmian Avenue, gaoxinyuan, Jiangning District, Nanjing City, Jiangsu Province, 211000

Patentee after: Xiaoshi Technology (Jiangsu) Co.,Ltd.

Address before: No.568 longmian Avenue, gaoxinyuan, Jiangning District, Nanjing City, Jiangsu Province, 211000

Patentee before: NANJING ZHENSHI INTELLIGENT TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder