CN110807448A - 人脸关键点数据增强方法、装置、系统以及模型训练方法 - Google Patents

人脸关键点数据增强方法、装置、系统以及模型训练方法 Download PDF

Info

Publication number
CN110807448A
CN110807448A CN202010014204.6A CN202010014204A CN110807448A CN 110807448 A CN110807448 A CN 110807448A CN 202010014204 A CN202010014204 A CN 202010014204A CN 110807448 A CN110807448 A CN 110807448A
Authority
CN
China
Prior art keywords
image
data
points
face
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010014204.6A
Other languages
English (en)
Other versions
CN110807448B (zh
Inventor
杨帆
郝强
潘鑫淼
胡建国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaoshi Technology Jiangsu Co ltd
Original Assignee
Nanjing Zhenshi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhenshi Intelligent Technology Co Ltd filed Critical Nanjing Zhenshi Intelligent Technology Co Ltd
Priority to CN202010014204.6A priority Critical patent/CN110807448B/zh
Priority to CN202010167639.4A priority patent/CN111178337B/zh
Publication of CN110807448A publication Critical patent/CN110807448A/zh
Application granted granted Critical
Publication of CN110807448B publication Critical patent/CN110807448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

本发明属于人脸识别技术领域，提供一种人脸关键点数据增强方法、装置、系统以及模型训练方法，通过对人脸图像局部区域仿射变换并拼接的人脸关键点数据增强方法，以提高样本的数量和多样性，有利于提升关键点检测模型的训练效果。在已标注数据的基础上，采用局部仿射变换即可高效地生成人脸关键点数据，从而提升后续模型训练的准确率和泛化性。

Description

人脸关键点数据增强方法、装置、系统以及模型训练方法
技术领域
本发明涉及人脸识别技术领域，具体而言涉及一种基于局部仿射变换的人脸关键点数据增强方法、装置、系统以及训练人脸关键点检测模型的方法。
背景技术
训练人脸关键点检测模型，需要大规模的带标签人脸数据，获取到的人脸图像中往往自然表情居多，如张嘴、闭眼的图像相对较少，这种较为单一的数据会使得训练后的模型泛化能力较差。
此外，人脸关键点数据的标注耗时费力，标注员需要对每张人脸图像精细地标注几十甚至上百个关键点。这两个方面因素大大限制了高质量数据的获取，进而影响深度学习模型的性能。数据增强是快速提升数据量的高效方法，但现有的人脸关键点数据增强方法，例如平移、旋转、缩放等，无法对人脸轮廓及五官进行改变，如睁眼变为闭眼、胖脸形变为瘦脸形。因此即使数据量增加了，但数据的多样性并未提高。
发明内容
本发明目的在于提供一种基于局部仿射变换的人脸关键点数据增强方法与系统，通过对人脸图像局部区域仿射变换并拼接的人脸关键点数据增强，有效地提高样本的数量和多样性，有利于提升关键点检测模型的训练效果。
本发明的上述目的通过独立权利要求的技术特征实现，从属权利要求以另选或有利的方式发展独立权利要求的技术特征。
为达成上述目的，本发明提出一种基于局部仿射变换的人脸关键点数据增强方法，包括：
步骤1、采集N张包含人脸的彩色图像，N为正整数，且N≥100；
步骤2、对每个彩色图像中的最大的人脸标注其104个关键点，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；
步骤3、对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像；
步骤4、对64×64像素大小的图像修正104个关键点坐标；
步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列；
步骤6、从步骤4得到图像数据中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据，得到目标关键点的坐标数据，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；
步骤7、对按照步骤3预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换；
步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像，与之对应的关键点坐标作为目标关键点坐标；
步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用数据增强方法再次进行随机增强。
根据本发明的公开，还提出一种基于局部仿射变换的人脸关键点数据增强装置，包括：
用于采集N张包含人脸的彩色图像的模块，N为正整数，且N≥100；
用于对每个彩色图像中的最大的人脸标注其104个关键点的模块，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；
用于对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像的模块；
用于对64×64像素大小的图像修正104个关键点坐标的模块；
用于根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列的模块；
用于从64×64像素大小的图像数据中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据，得到目标关键点的坐标数据的模块，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；
用于对预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换的模块；
用于将仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像的模块，与之对应的关键点坐标作为目标关键点坐标；
用于对拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强的模块。
根据本发明的公开，还提出一种系统，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：
步骤1、采集N张包含人脸的彩色图像，N为正整数，且N≥100；
步骤2、对每个彩色图像中的最大的人脸标注其104个关键点，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；
步骤3、对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像；
步骤4、对64×64像素大小的图像修正104个关键点坐标；
步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列；
步骤6、从步骤4得到图像数据中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据，得到关键点的坐标数据，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；
步骤7、对按照步骤3预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换；
步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像，与之对应的关键点坐标作为目标关键点坐标；
步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强。
根据本发明的公开，还提出一种使用所述的训练数据集训练人脸关键点检测模型的方法，所述训练的人脸关键点检测模型输入为含有人脸的宽高均为64像素的图像，输出为104个人脸关键点坐标；
人脸关键点检测模型由卷积层、最大值池化层和全连接层组成，卷积层的卷积核大小为3×3，步长为1，补零方式为Same Padding；
最大值池化层的池化窗口大小为2×2、步长为2；
第一个全连接层神经元数为1024，第二个全连接层神经元数为208；
卷积层和第一个全连接层后采用ReLU激活函数激活；
模型训练时的一个批次数据损失函数为：
Figure 100002_DEST_PATH_IMAGE002
其中，为混合数据集中某一批次的第
Figure 100002_DEST_PATH_IMAGE006
个训练样本的第
Figure 100002_DEST_PATH_IMAGE008
个关键点坐标，为一个批次的数据量，
Figure DEST_PATH_IMAGE012
为模型对第
Figure DEST_PATH_IMAGE014
个训练图像预测的第
Figure 771276DEST_PATH_IMAGE008
个关键点坐标；
最终，训练得到预测人脸关键点坐标的模型输出。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：
图1是本发明的人脸关键点数据增强方法的示例性流程图。
图2是人脸关键点的示意图。
图3是人脸的三角图像阵列示意图。
图4是基于融合的数据集进行人脸关键点训练模型的示意图。
图5是现有的传统数据增强方法和本发明数据增强方法的对比示意图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是应为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
本发明公开的实施例的基于局部仿射变换的人脸关键点数据增强方法，整体上旨在通过对人脸图像局部区域仿射变换并拼接的人脸关键点数据增强方法，以提高样本的数量和多样性，有利于提升关键点检测模型的训练效果。
结合图1-图4所示，下面对其具体实现进行更加具体的说明。
步骤1、采集N张包含人脸的彩色图像，N为正整数，且N≥100。
优选地，人脸的彩色图像尽可能进行多场景选择，例如覆盖到不同人脸姿态、不同性别年龄、不同光照条件、不同背景、不同遮挡情况等。
步骤2、对每个彩色图像中的最大的人脸标注其104个关键点，结合图2所示，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据。
步骤3、对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像，从而确保数据中的人脸位置及占比大致相似，以降低模型训练的难度。
步骤4、对64×64像素大小的图像修正104个关键点坐标。
优选地，按照下述方式修正104个关键点坐标：
Figure DEST_PATH_IMAGE016
其中，
Figure DEST_PATH_IMAGE018
为第
Figure DEST_PATH_IMAGE020
幅图像修正后的第个关键点坐标，
Figure DEST_PATH_IMAGE024
，
Figure DEST_PATH_IMAGE026
表示图像
Figure DEST_PATH_IMAGE028
的边界框边长，
Figure DEST_PATH_IMAGE030
表示图像左上角坐标。
步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列。
优选地，所述步骤5中，根据104个关键点坐标（）和8个图像边缘点坐标将预处理后的图像数据划分成三角形子区域组成三角图像阵列；其中图像边缘点坐标是指图像左上角坐标
Figure DEST_PATH_IMAGE034
、上边缘中点坐标、右上角坐标
Figure DEST_PATH_IMAGE038
、左边缘中点坐标
Figure DEST_PATH_IMAGE040
、右边缘中点坐标
Figure DEST_PATH_IMAGE042
、左下角坐标、下边缘中点坐标
Figure DEST_PATH_IMAGE046
以及右下角坐标
Figure DEST_PATH_IMAGE048
然后，将这112个点
Figure DEST_PATH_IMAGE050
采用Bowyer-Watson三角剖分算法划分三角形子区域，划分后每个子区域的三个顶点组成一个新的集合
Figure DEST_PATH_IMAGE052
，其中
Figure DEST_PATH_IMAGE054
：
Figure DEST_PATH_IMAGE056
其中，
Figure DEST_PATH_IMAGE058
为第
Figure DEST_PATH_IMAGE060
幅图的第
Figure DEST_PATH_IMAGE062
个子区域的3个顶点，
Figure DEST_PATH_IMAGE064
，
Figure DEST_PATH_IMAGE066
为划分后的三角形子区域个数，
Figure DEST_PATH_IMAGE068
。
步骤6、从步骤4得到图像数据（修正后）中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据，得到关键点的坐标数据，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点。
步骤7、对按照步骤3预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换；
步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像，与之对应的关键点坐标作为目标关键点坐标；
步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强。
优选地，所述步骤9的随机增强处理包括：
1）-30°到30°的随机旋转；
2）边长10%的随机平移；
3）边长90%到120%的随机缩放；
4）50%概率的水平翻转；以及
5）对图像进行30%概率的高斯模糊和30%概率的颜色抖动。
优选地，所述步骤2中，对104个关键点的标注，得到标注数据为：
Figure DEST_PATH_IMAGE070
其中，
Figure DEST_PATH_IMAGE072
为第
Figure DEST_PATH_IMAGE074
幅图像；
Figure DEST_PATH_IMAGE076
为第
Figure 534527DEST_PATH_IMAGE074
幅图像的第
Figure DEST_PATH_IMAGE078
个关键点坐标；
Figure DEST_PATH_IMAGE080
，
Figure DEST_PATH_IMAGE082
。
优选地，所述步骤3中，根据标注的关键点坐标的最高点、最低点、最左点、最右点确定人脸边界框，并向外扩展边长的20%，若此时边界框为矩形，则将矩形框的短边再次扩展至与长边相等，得到正方形边界框；
再将图像中边界框内的部分截取出来，并放缩至64×64像素大小的图像
Figure DEST_PATH_IMAGE084
。
优选地，所述步骤7中，所述仿射变换的处理，其中：
对每个预处理后的数据做数据增强时，首先随机选择一组目标关键点
Figure DEST_PATH_IMAGE086
，
Figure DEST_PATH_IMAGE088
，其中
Figure DEST_PATH_IMAGE090
为目标关键点数据总组数，
Figure DEST_PATH_IMAGE092
为第
Figure DEST_PATH_IMAGE094
组目标关键点数据的第
Figure DEST_PATH_IMAGE096
个坐标，
Figure DEST_PATH_IMAGE098
，
Figure DEST_PATH_IMAGE100
为8个图像边缘点坐标；
将第
Figure DEST_PATH_IMAGE102
幅待增强图像的第
Figure DEST_PATH_IMAGE104
个子区域图像
Figure 100002_DEST_PATH_IMAGE106
由点两两连线围成，对应的目标子区域
Figure DEST_PATH_IMAGE110
为目标关键点
Figure DEST_PATH_IMAGE112
两两连线围成的区域，采用opencv图像处理库的applyAffineTransform函数将子区域
Figure 725730DEST_PATH_IMAGE106
仿射变换为目标子区域
Figure 548193DEST_PATH_IMAGE110
的形状，得到新的子区域图像
Figure DEST_PATH_IMAGE114
，变换后的三个顶点坐标为
Figure DEST_PATH_IMAGE116
；
对各子区域图像都进行上述操作得到个变换后的子区域图像。
优选地，在步骤8中，按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像，其具体包括：
新建一张64X64大小像素值为0的三通道图像，将仿射变换后的各三角形子区域图像按照3个顶点
Figure DEST_PATH_IMAGE124
放置到空白图像的
Figure DEST_PATH_IMAGE126
位置，拼接得到新的人脸图像。拼接后图像对应的关键点坐标为目标关键点坐标，即拼接后的图像和目标关键点坐标组成一组增强后的数据。
优选地，前述方法更加包括：
对每一个原始的彩色图像经过前述预处理得到的64×64像素大小的原始图像数据按照前述的方法进行增强，重复9次，以将数据量扩充9倍；
再将原始图像数据与新的人脸图像数据进行合并，组成新的用于人脸关键点检测模型训练的训练数据集。
结合图3、4所示，根据本发明的公开，还提出一种使用所述的训练数据集训练人脸关键点检测模型的方法，所述训练的人脸关键点检测模型输入为含有人脸的宽高均为64像素的图像，输出为104个人脸关键点坐标；
人脸关键点检测模型由卷积层、最大值池化层和全连接层组成，卷积层的卷积核大小为3×3，步长为1，补零方式为Same Padding（卷积核个数标注在图4中各卷积层的括号内）；
最大值池化层的池化窗口大小为2×2、步长为2；
第一个全连接层神经元数为1024，第二个全连接层神经元数为208；
卷积层和第一个全连接层后采用ReLU激活函数激活；
模型训练时的一个批次数据损失函数为：
Figure DEST_PATH_IMAGE127
其中，
Figure DEST_PATH_IMAGE128
为混合数据集中某一批次的第
Figure DEST_PATH_IMAGE129
个训练样本的第
Figure DEST_PATH_IMAGE130
个关键点坐标，
Figure DEST_PATH_IMAGE131
为一个批次的数据量，
Figure DEST_PATH_IMAGE132
为模型对第
Figure 316691DEST_PATH_IMAGE014
个训练图像预测的第个关键点坐标；
最终，训练得到预测人脸关键点坐标的模型输出。
藉由本发明的方案，由于人脸关键点数据的获取和标注较为耗时，而现有的数据增强方法无法对图像脸形、五官进行调整，难以提升数据的多样性。本发明的方案中在已标注数据的基础上，采用局部仿射变换即可高效地生成人脸关键点数据，从而提升后续模型训练的准确率和泛化性。
结合图5所示，其中左图为待增强的人脸图像，右边第一行三张图为采用现有数据增强方法后的图像，右边第二行三张图为采用本发明数据增强方法后的图像。可以发现，现有方法只能对人脸位置或颜色进行改变，而本发明方法在此基础上还可以改变脸型、眼睛和嘴巴开闭程度、脸部姿态，大大提升了数据的多样性。
在训练关键点预测模型前，先按照步骤1~4准备10000组标注好的人脸数据，人脸数据覆盖多种脸型、性别、年龄、脸部姿态、表情以及背景环境，由于不同数据获取的难易程度不同，数据中大部分为正脸、表情自然的人脸图像。
测试数据包括简单测试集和困难测试集，简单测试集为100张表情自然、正脸数据，这类数据在训练数据中的占比较多；困难测试集为100张表情丰富（表现为眼睛、嘴巴开闭程度不一等）、侧脸数据，这类数据在训练数据中的占比较少，因此用来评估模型的泛化能力。
采用现有数据增强方法和本发明数据增强方法后训练模型的测试效果
简单测试集NME 困难测试集NME
采用现有方法 5.17% 9.77%
采用本发明方法 3.66% 7.25%
上表为采用现有数据增强方法和本发明数据增强方法后训练模型的测试效果。测试采用归一化的评价误差（Normalized Mean Error, NME）
Figure DEST_PATH_IMAGE134
其中，
Figure DEST_PATH_IMAGE136
为第
Figure DEST_PATH_IMAGE138
个测试图像的第
Figure DEST_PATH_IMAGE140
个关键点坐标，
Figure DEST_PATH_IMAGE142
为模型对第
Figure DEST_PATH_IMAGE144
个测试图像预测的第
Figure DEST_PATH_IMAGE146
个关键点坐标，
Figure DEST_PATH_IMAGE148
,
Figure DEST_PATH_IMAGE150
为测试数据量，为第
Figure DEST_PATH_IMAGE154
个测试图像的双眼中心距离。可以看出，采用本发明数据增强方法后训练的模型在简单数据集和困难数据集的测试效果均优于采用现有数据增强方法后训练的模型，可见采用本发明方法有利于提升模型的精度，同时本发明方法在困难数据集的NME比现有方法低2.52%，本发明方法能有效增强数据的多样性，有利于提升模型的泛化能力。
结合图示，本发明的前述实施例还可以根据具体实施配置如下。
{人脸关键点数据增强装置}
一种基于局部仿射变换的人脸关键点数据增强装置，包括：
用于采集N张包含人脸的彩色图像的模块，N为正整数，且N≥100；
用于对每个彩色图像中的最大的人脸标注其104个关键点的模块，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；
用于对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像的模块；
用于对64×64像素大小的图像修正104个关键点坐标的模块；
用于根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列的模块；
用于从64×64像素大小的图像数据中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据，得到目标关键点的坐标数据的模块，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；
用于对预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换的模块；
用于将仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像的模块，与之对应的关键点坐标作为目标关键点坐标；
用于对拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强的模块。
{系统}
一种系统，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：
步骤1、采集N张包含人脸的彩色图像，N为正整数，且N≥100；
步骤2、对每个彩色图像中的最大的人脸标注其104个关键点，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；
步骤3、对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像；
步骤4、对64×64像素大小的图像修正104个关键点坐标；
步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列；
步骤6、从步骤4得到图像数据中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据，得到关键点的坐标数据，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；
步骤7、对按照步骤3预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换；
步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像，与之对应的关键点坐标作为目标关键点坐标；
步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强
优选地，前述系统可以是计算机系统，或者服务器系统，而不论这些计算机系统是搭建在本地端，亦或者云端，均可在配置的数据处理、存储、传输以及数据总线的基础上，依照上述配置进行人脸关键点数据的增强以及进行模型的训练。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种基于局部仿射变换的人脸关键点数据增强方法，其特征在于，包括：
步骤1、采集N张包含人脸的彩色图像，N为正整数，且N≥100；
步骤2、对每个彩色图像中的最大的人脸标注其104个关键点，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；
步骤3、对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像；
步骤4、对64×64像素大小的图像修正104个关键点坐标；
步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列；
步骤6、从步骤4得到图像数据中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据，得到目标关键点的坐标数据，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；
步骤7、对按照步骤3预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换；
步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像，与之对应的关键点坐标作为目标关键点坐标；
步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用数据增强方法再次进行随机增强。
2.根据权利要求1所述的基于局部仿射变换的人脸关键点数据增强方法，其特征在于，所述步骤9中对随机增强处理包括：
1）-30°到30°的随机旋转；
2）边长10%的随机平移；
3）边长90%到120%的随机缩放；
4）50%概率的水平翻转；
5）对图像进行30%概率的高斯模糊和30%概率的颜色抖动。
3.根据权利要求1所述的基于局部仿射变换的人脸关键点数据增强方法，其特征在于，所述步骤2中，对104个关键点的标注，得到标注数据为：
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE004
为第
Figure DEST_PATH_IMAGE006
幅图像；
Figure DEST_PATH_IMAGE008
为第
Figure DEST_PATH_IMAGE009
幅图像的第
Figure DEST_PATH_IMAGE011
个关键点坐标；
Figure DEST_PATH_IMAGE013
，
Figure DEST_PATH_IMAGE015
。
4.根据权利要求3所述的基于局部仿射变换的人脸关键点数据增强方法，其特征在于，所述步骤3中，根据标注的关键点坐标的最高点、最低点、最左点、最右点确定人脸边界框，并向外扩展边长的20%，若此时边界框为矩形，则将矩形框的短边再次扩展至与长边相等，得到正方形边界框；
再将图像中边界框内的部分截取出来，并放缩至64×64像素大小的图像
Figure DEST_PATH_IMAGE017
。
5.根据权利要求4所述的基于局部仿射变换的人脸关键点数据增强方法，其特征在于，所述步骤5中，根据104个关键点坐标
Figure DEST_PATH_IMAGE019
和8个图像边缘点坐标将预处理后的图像数据划分成三角形子区域组成三角图像阵列;其中图像边缘点坐标是指图像左上角坐标
Figure DEST_PATH_IMAGE021
、上边缘中点坐标
Figure DEST_PATH_IMAGE023
、右上角坐标
Figure DEST_PATH_IMAGE025
、左边缘中点坐标、右边缘中点坐标
Figure DEST_PATH_IMAGE029
、左下角坐标、下边缘中点坐标
Figure DEST_PATH_IMAGE033
以及右下角坐标
Figure DEST_PATH_IMAGE035
；
然后，将这112个点
Figure DEST_PATH_IMAGE037
采用Bowyer-Watson三角剖分算法划分三角形子区域，划分后每个子区域的三个顶点组成一个新的集合
Figure DEST_PATH_IMAGE039
，其中
Figure DEST_PATH_IMAGE041
：
Figure DEST_PATH_IMAGE043
其中，
Figure DEST_PATH_IMAGE045
为第
Figure DEST_PATH_IMAGE047
幅图的第
Figure DEST_PATH_IMAGE049
个子区域的3个顶点，
Figure DEST_PATH_IMAGE051
，
Figure DEST_PATH_IMAGE053
为划分后的三角形子区域个数，
Figure DEST_PATH_IMAGE055
。
6.根据权利要求5所述的基于局部仿射变换的人脸关键点数据增强方法，其特征在于，所述步骤7中，所述仿射变换的处理包括：
对每个预处理后的数据做数据增强时，首先随机选择一组目标关键点
Figure DEST_PATH_IMAGE057
，
Figure DEST_PATH_IMAGE059
，其中
Figure DEST_PATH_IMAGE061
为目标关键点数据总组数，
Figure DEST_PATH_IMAGE063
为第组目标关键点数据的第
Figure DEST_PATH_IMAGE067
个坐标，
Figure DEST_PATH_IMAGE069
，
Figure DEST_PATH_IMAGE071
为8个图像边缘点坐标；
将第
Figure DEST_PATH_IMAGE073
幅待增强图像的第
Figure DEST_PATH_IMAGE075
个子区域图像
Figure DEST_PATH_IMAGE077
由点
Figure DEST_PATH_IMAGE079
两两连线围成，对应的目标子区域
Figure DEST_PATH_IMAGE081
为目标关键点
Figure DEST_PATH_IMAGE083
两两连线围成的区域，采用opencv图像处理库的applyAffineTransform函数将子区域
Figure 786434DEST_PATH_IMAGE077
仿射变换为目标子区域
Figure 703575DEST_PATH_IMAGE081
的形状，得到新的子区域图像
Figure DEST_PATH_IMAGE085
，变换后的三个顶点坐标为
Figure DEST_PATH_IMAGE087
；
对各子区域图像都进行上述操作得到
Figure DEST_PATH_IMAGE089
个变换后的子区域图像
Figure DEST_PATH_IMAGE091
。
7.根据权利要求1所述的基于局部仿射变换的人脸关键点数据增强方法，其特征在于，前述方法更加包括：
对每一个原始的彩色图像经过前述预处理得到的64×64像素大小的原始图像数据按照前述步骤2-9所述的方法进行增强，重复9次，以将数据量扩充9倍；
再将原始图像数据与新的人脸图像数据进行合并，组成新的用于人脸关键点检测模型训练的训练数据集。
8.一种基于局部仿射变换的人脸关键点数据增强装置，其特征在于，包括：
用于采集N张包含人脸的彩色图像的模块，N为正整数，且N≥100；
用于对每个彩色图像中的最大的人脸标注其104个关键点的模块，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；
用于对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像的模块；
用于对64×64像素大小的图像修正104个关键点坐标的模块；
用于根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列的模块；
用于从64×64像素大小的图像数据中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据，得到目标关键点的坐标数据的模块，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；
用于对预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换的模块；
用于将仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像的模块，与之对应的关键点坐标作为目标关键点坐标；
用于对拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强的模块。
9.一种系统，其特征在于，包括：
一个或多个处理器；
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：
步骤1、采集N张包含人脸的彩色图像，N为正整数，且N≥100；
步骤2、对每个彩色图像中的最大的人脸标注其104个关键点，其中包括0~32号点为脸部轮廓点，33~50号点为眉毛关键点，51~65号点为鼻子关键点，66~83号点为眼睛关键点，84~103号点为嘴部关键点，得到的标注数据；
步骤3、对标注数据进行预处理，得到人脸边界框，并扩展成正方形边界框，然后截取正方形边界框内的图像并缩放至64×64像素大小的图像；
步骤4、对64×64像素大小的图像修正104个关键点坐标；
步骤5、根据修正后的关键点坐标和图像边缘点坐标对修正后的图像数据构建三角图像阵列；
步骤6、从步骤4得到图像数据中选择多组原始的彩色图像中缺乏的人脸形态的关键点数据作为目标关键点数据，得到关键点的坐标数据，包括闭眼时的关键点、侧脸时的关键点以及张大嘴时的关键点；
步骤7、对按照步骤3预处理后的每个图像数据进行图像增强，对三角图像阵列中的各个子区域进行仿射变换；
步骤8、将步骤7中仿射变换后的各子区域图像按照目标子区域图像的三个顶点坐标重新拼接，得到新的人脸图像，与之对应的关键点坐标作为目标关键点坐标；
步骤9、对步骤8拼接后的人脸图像和对应的目标关键点数据使用现有的数据增强方法再次进行随机增强。
10.一种使用权利要求7所述的训练数据集训练人脸关键点检测模型的方法，其特征在于，所述训练的人脸关键点检测模型输入为含有人脸的宽高均为64像素的图像，输出为104个人脸关键点坐标；
人脸关键点检测模型由卷积层、最大值池化层和全连接层组成，卷积层的卷积核大小为3×3，步长为1，补零方式为Same Padding；
最大值池化层的池化窗口大小为2×2、步长为2；
第一个全连接层神经元数为1024，第二个全连接层神经元数为208；
卷积层和第一个全连接层后采用ReLU激活函数激活；
模型训练时的一个批次数据损失函数为：
其中，
Figure DEST_PATH_IMAGE095
为混合数据集中某一批次的第个训练样本的第个关键点坐标，
Figure DEST_PATH_IMAGE101
为一个批次的数据量，为模型对第
Figure DEST_PATH_IMAGE105
个训练图像预测的第
Figure DEST_PATH_IMAGE106
个关键点坐标；
最终，训练得到预测人脸关键点坐标的模型输出。
CN202010014204.6A 2020-01-07 2020-01-07 人脸关键点数据增强方法 Active CN110807448B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010014204.6A CN110807448B (zh) 2020-01-07 2020-01-07 人脸关键点数据增强方法
CN202010167639.4A CN111178337B (zh) 2020-01-07 2020-01-07 人脸关键点数据增强方法、装置、系统以及模型训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010014204.6A CN110807448B (zh) 2020-01-07 2020-01-07 人脸关键点数据增强方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010167639.4A Division CN111178337B (zh) 2020-01-07 2020-01-07 人脸关键点数据增强方法、装置、系统以及模型训练方法

Publications (2)

Publication Number Publication Date
CN110807448A true CN110807448A (zh) 2020-02-18
CN110807448B CN110807448B (zh) 2020-04-14

Family

ID=69493411

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010167639.4A Active CN111178337B (zh) 2020-01-07 2020-01-07 人脸关键点数据增强方法、装置、系统以及模型训练方法
CN202010014204.6A Active CN110807448B (zh) 2020-01-07 2020-01-07 人脸关键点数据增强方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010167639.4A Active CN111178337B (zh) 2020-01-07 2020-01-07 人脸关键点数据增强方法、装置、系统以及模型训练方法

Country Status (1)

Country Link
CN (2) CN111178337B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368678A (zh) * 2020-02-26 2020-07-03 Oppo广东移动通信有限公司 图像处理方法及相关装置
CN111402135A (zh) * 2020-03-17 2020-07-10 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111489311A (zh) * 2020-04-09 2020-08-04 北京百度网讯科技有限公司 一种人脸美化方法、装置、电子设备及存储介质
CN111666911A (zh) * 2020-06-13 2020-09-15 天津大学 一种微表情数据的扩充方法及装置
CN111931741A (zh) * 2020-09-29 2020-11-13 北京达佳互联信息技术有限公司 嘴部关键点的标注方法、装置、电子设备及存储介质
CN112348744A (zh) * 2020-11-24 2021-02-09 电子科技大学 一种基于缩略图的数据增强方法
CN112348069A (zh) * 2020-10-28 2021-02-09 深圳市优必选科技股份有限公司 数据增强方法、装置、计算机可读存储介质及终端设备
CN112560725A (zh) * 2020-12-22 2021-03-26 四川云从天府人工智能科技有限公司 关键点检测模型及其检测方法、装置及计算机存储介质
CN112991159A (zh) * 2021-04-29 2021-06-18 南京甄视智能科技有限公司 人脸光照质量评估方法、系统、服务器与计算机可读介质
CN113111850A (zh) * 2021-04-30 2021-07-13 南京甄视智能科技有限公司 基于感兴趣区域变换的人体关键点检测方法、装置与系统
CN113111849A (zh) * 2021-04-25 2021-07-13 南京甄视智能科技有限公司 人体关键点检测方法、装置、系统与计算机可读介质
WO2021174833A1 (zh) * 2020-03-03 2021-09-10 平安科技（深圳）有限公司 人脸关键点修正方法、装置以及计算机设备
CN113610115A (zh) * 2021-07-14 2021-11-05 广州敏视数码科技有限公司 一种基于灰度图像的高效人脸对齐方法
CN114219095A (zh) * 2021-11-15 2022-03-22 浙江大华技术股份有限公司 一种机器学习模型的训练方法、装置和可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674139A (zh) * 2021-08-17 2021-11-19 北京京东尚科信息技术有限公司 人脸图像的处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778712A (zh) * 2015-04-27 2015-07-15 厦门美图之家科技有限公司 一种基于仿射变换的人脸贴图方法和系统
WO2016030305A1 (en) * 2014-08-29 2016-03-03 Thomson Licensing Method and device for registering an image to a model
CN106446779A (zh) * 2016-08-29 2017-02-22 深圳市软数科技有限公司 身份识别方法和装置
CN107153816A (zh) * 2017-04-16 2017-09-12 五邑大学 一种用于鲁棒人脸识别的数据增强方法
CN108596138A (zh) * 2018-05-03 2018-09-28 南京大学 一种基于迁移层次网络的人脸识别方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
CN101661554B (zh) * 2009-09-29 2012-02-01 哈尔滨工程大学 远距离视频下的正面人体自动身份识别方法
CN102103695A (zh) * 2009-12-21 2011-06-22 北京中星微电子有限公司 一种图像样本生成方法及装置
US9367897B1 (en) * 2014-12-11 2016-06-14 Sharp Laboratories Of America, Inc. System for video super resolution using semantic components
CN105095857B (zh) * 2015-06-26 2018-11-16 上海交通大学 基于关键点扰动技术的人脸数据增强方法
EP3423990A1 (en) * 2016-03-02 2019-01-09 Holition Limited Locating and augmenting object features in images
CN107016370B (zh) * 2017-04-10 2019-10-11 电子科技大学 一种基于数据增强的部分遮挡人脸识别方法
CN107730566A (zh) * 2017-10-27 2018-02-23 朱秋华 一种生成表情的方法、装置、移动终端及存储介质
CN108765265B (zh) * 2018-05-21 2022-05-24 北京微播视界科技有限公司 图像处理方法、装置、终端设备和存储介质
CN108765273B (zh) * 2018-05-31 2021-03-09 Oppo广东移动通信有限公司 人脸拍照的虚拟整容方法和装置
CN108805094A (zh) * 2018-06-19 2018-11-13 合肥工业大学 基于人工脸的数据增强方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016030305A1 (en) * 2014-08-29 2016-03-03 Thomson Licensing Method and device for registering an image to a model
CN104778712A (zh) * 2015-04-27 2015-07-15 厦门美图之家科技有限公司 一种基于仿射变换的人脸贴图方法和系统
CN106446779A (zh) * 2016-08-29 2017-02-22 深圳市软数科技有限公司 身份识别方法和装置
CN107153816A (zh) * 2017-04-16 2017-09-12 五邑大学 一种用于鲁棒人脸识别的数据增强方法
CN108596138A (zh) * 2018-05-03 2018-09-28 南京大学 一种基于迁移层次网络的人脸识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XINGJIE ZHANG 等: "Adaptive Face Blending for Face Replacement System", 《2018 INTERNATIONAL CONFERENCE ON NETWORK INFRASTRUCTURE AND DIGITAL CONTENT》 *
李海彦 等: "基于仿射变换的多姿态人脸矫正和识别", 《计算机应用研究》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368678B (zh) * 2020-02-26 2023-08-25 Oppo广东移动通信有限公司 图像处理方法及相关装置
WO2021169668A1 (zh) * 2020-02-26 2021-09-02 Oppo广东移动通信有限公司 图像处理方法及相关装置
CN111368678A (zh) * 2020-02-26 2020-07-03 Oppo广东移动通信有限公司 图像处理方法及相关装置
WO2021174833A1 (zh) * 2020-03-03 2021-09-10 平安科技（深圳）有限公司 人脸关键点修正方法、装置以及计算机设备
CN111402135A (zh) * 2020-03-17 2020-07-10 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111489311A (zh) * 2020-04-09 2020-08-04 北京百度网讯科技有限公司 一种人脸美化方法、装置、电子设备及存储介质
CN111489311B (zh) * 2020-04-09 2023-08-08 北京百度网讯科技有限公司 一种人脸美化方法、装置、电子设备及存储介质
CN111666911A (zh) * 2020-06-13 2020-09-15 天津大学 一种微表情数据的扩充方法及装置
CN111931741A (zh) * 2020-09-29 2020-11-13 北京达佳互联信息技术有限公司 嘴部关键点的标注方法、装置、电子设备及存储介质
CN112348069B (zh) * 2020-10-28 2024-01-19 深圳市优必选科技股份有限公司 数据增强方法、装置、计算机可读存储介质及终端设备
CN112348069A (zh) * 2020-10-28 2021-02-09 深圳市优必选科技股份有限公司 数据增强方法、装置、计算机可读存储介质及终端设备
CN112348744A (zh) * 2020-11-24 2021-02-09 电子科技大学 一种基于缩略图的数据增强方法
CN112560725A (zh) * 2020-12-22 2021-03-26 四川云从天府人工智能科技有限公司 关键点检测模型及其检测方法、装置及计算机存储介质
CN113111849A (zh) * 2021-04-25 2021-07-13 南京甄视智能科技有限公司 人体关键点检测方法、装置、系统与计算机可读介质
CN113111849B (zh) * 2021-04-25 2022-08-16 南京甄视智能科技有限公司 人体关键点检测方法、装置、系统与计算机可读介质
CN112991159A (zh) * 2021-04-29 2021-06-18 南京甄视智能科技有限公司 人脸光照质量评估方法、系统、服务器与计算机可读介质
CN113111850B (zh) * 2021-04-30 2022-08-16 南京甄视智能科技有限公司 基于感兴趣区域变换的人体关键点检测方法、装置与系统
CN113111850A (zh) * 2021-04-30 2021-07-13 南京甄视智能科技有限公司 基于感兴趣区域变换的人体关键点检测方法、装置与系统
CN113610115A (zh) * 2021-07-14 2021-11-05 广州敏视数码科技有限公司 一种基于灰度图像的高效人脸对齐方法
CN113610115B (zh) * 2021-07-14 2024-04-12 广州敏视数码科技有限公司 一种基于灰度图像的高效人脸对齐方法
CN114219095A (zh) * 2021-11-15 2022-03-22 浙江大华技术股份有限公司 一种机器学习模型的训练方法、装置和可读存储介质

Also Published As

Publication number Publication date
CN110807448B (zh) 2020-04-14
CN111178337A (zh) 2020-05-19
CN111178337B (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN110807448B (zh) 人脸关键点数据增强方法
CN109859190B (zh) 一种基于深度学习的目标区域检测方法
US11107232B2 (en) Method and apparatus for determining object posture in image, device, and storage medium
US11595737B2 (en) Method for embedding advertisement in video and computer device
US10152655B2 (en) Deep-learning network architecture for object detection
CN111640125B (zh) 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置
CN108960229B (zh) 一种面向多方向的文字检测方法和装置
CN107358262B (zh) 一种高分辨率图像的分类方法及分类装置
CN112541422B (zh) 光照和头部姿态鲁棒的表情识别方法、设备及存储介质
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN105160686B (zh) 一种基于改进sift算子的低空多视角遥感影像匹配方法
CN111401266B (zh) 绘本角点定位的方法、设备、计算机设备和可读存储介质
CN111680690B (zh) 一种文字识别方法及装置
CN110443235B (zh) 一种智能纸质试卷总分识别方法及系统
CN111709956A (zh) 图像处理方法、装置、电子设备及可读存储介质
WO2022033513A1 (zh) 目标分割方法、装置、计算机可读存储介质及计算机设备
CN111243051A (zh) 基于肖像照片的简笔画生成方法、系统及存储介质
CN111310609A (zh) 基于时序信息和局部特征相似性的视频目标检测方法
CN114782417A (zh) 基于边缘强化图像分割的风机数字孪生特征实时检测方法
CN113807334A (zh) 一种基于残差网络的多尺度特征融合的人群密度估计方法
CN111275610B (zh) 一种人脸变老图像处理方法及系统
CN109948541A (zh) 一种面部情感识别方法与系统
CN110070490A (zh) 图像拼接方法和装置
CN111508045B (zh) 一种图片合成的方法及装置
CN113643370A (zh) 一种基于ncc算法的图像定位方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: No.568 longmian Avenue, gaoxinyuan, Jiangning District, Nanjing City, Jiangsu Province, 211000

Patentee after: Xiaoshi Technology (Jiangsu) Co.,Ltd.

Address before: No.568 longmian Avenue, gaoxinyuan, Jiangning District, Nanjing City, Jiangsu Province, 211000

Patentee before: NANJING ZHENSHI INTELLIGENT TECHNOLOGY Co.,Ltd.