CN110598595A - 一种基于人脸关键点和姿态的多属性人脸生成算法 - Google Patents

一种基于人脸关键点和姿态的多属性人脸生成算法 Download PDF

Info

Publication number
CN110598595A
CN110598595A CN201910808921.3A CN201910808921A CN110598595A CN 110598595 A CN110598595 A CN 110598595A CN 201910808921 A CN201910808921 A CN 201910808921A CN 110598595 A CN110598595 A CN 110598595A
Authority
CN
China
Prior art keywords
face
network
image
vector
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910808921.3A
Other languages
English (en)
Other versions
CN110598595B (zh
Inventor
汪萌
孔德鑫
郭艳蓉
郝世杰
洪日昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Hefei Polytechnic University
Original Assignee
Hefei Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Polytechnic University filed Critical Hefei Polytechnic University
Priority to CN201910808921.3A priority Critical patent/CN110598595B/zh
Publication of CN110598595A publication Critical patent/CN110598595A/zh
Application granted granted Critical
Publication of CN110598595B publication Critical patent/CN110598595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于人脸关键点和姿态的多属性人脸生成算法，包括如下步骤：S1、自动人脸姿态矢量估计：使用摄像机标定技术，通过寻找二维人脸关键点和三维人脸模型上的对应点关系，来近似得到摄像机矩阵，在已知摄像机矩阵的情况下，可以提取出旋转矩阵并将其转化为欧拉角，进而得到一个三维姿态矢量。本发明通过采集包括多种属性的人脸图像数据，标定每张图像的人脸关键点位置，并根据关键点信息自动计算人脸姿态，并在训练阶段，利用原始人脸图像、人脸关键点、人脸姿态三类信息作为输入，对条件生成对抗网络进行优化，最后在生成器网络的输出端得到具有相应属性的模拟人脸图像，本发明在扩充和丰富人脸图像数据库上具有实际应用价值。

Description

一种基于人脸关键点和姿态的多属性人脸生成算法
技术领域
本发明涉及图像处理相关技术领域，具体为一种基于人脸关键点和姿态的多属性人脸生成算法。
背景技术
近年来，随着大数据和人工智能的快速发展，在基于深度神经网络的人脸分析与识别领域上，已经提出了许多比较成功的算法，相比传统算法在准确性上获得了较大的提升；然而为了捕获人脸中更加精细的属性，例如脸型、嘴型、头发颜色等等，则需要对人脸图像进行更加细粒度的图像分析与学习；对不同属性的人脸图像进行识别在视频监控等领域具有非常重要的实际应用价值。
由于不同的人脸图像内容复杂多样，包含大量具有不同属性、不同人脸结构和姿态信息的大规模数据难以获得，因此，通过多属性的人脸图像生成来构建细粒度人脸数据库，对于人脸分析与识别领域的进一步发展无疑具有重大的意义。
发明内容
本发明的目的在于提供一种基于人脸关键点和姿态的多属性人脸生成算法，以解决上述背景技术中提到的由于不同的人脸图像内容复杂多样，包含大量具有不同属性、不同人脸结构和姿态信息的大规模数据难以获得的问题。
为实现上述目的，本发明提供如下技术方案：一种基于人脸关键点和姿态的多属性人脸生成算法，包括如下步骤：
S1、自动人脸姿态矢量估计：使用摄像机标定技术，通过寻找二维人脸关键点和三维人脸模型上的对应点关系，来近似得到摄像机矩阵，在已知摄像机矩阵的情况下，可以提取出旋转矩阵并将其转化为欧拉角，进而得到一个三维姿态矢量(rx,ry,ry)；
S2、生成网络G：将目标属性矢量、人脸关键点矢量、人脸姿态矢量作为条件x，输入给生成网络G，通过训练得到具有目标属性、关键点和姿态的模拟人脸图像G(x)，使其能够逼近真实人脸图像y，以达到判别器无法将二者进行区分的目的；
S3、判别网络D和回归网络R：将生成网络生成的人脸图像G(x)和真实人脸图像y一同作为判别网络D的输入，通过训练来达到能够正确区分真实图像和模拟图像的目的；将生成网络生成的人脸图像G(x)和真实人脸图像y 一同作为回归网络R的输入，通过训练来达到能够正确估计图像中人脸关键点矢量的目的；
S4、条件生成对抗网络：完整的条件生成对抗网络总共包括S2中的生成网络和S3中的判别网络、回归网络三个模块，其总的优化目标函数如下:
S5、模型训练：根据S4中的优化目标函数，计算条件生成对抗网络的损失，利用反向传播算法对S2和S3中的神经网络模型参数进行学习，直到网络收敛；
S6、模型测试：给定目标属性、人脸关键点和姿态矢量作为输入，经过训练好的生成网络得到目标人脸图像，该图像具有目标属性的细粒度特征并且匹配相应人脸关键点和姿态信息。
优选的，S1中的三维姿态矢量中每一维元素对应于三维空间(x,y,z)中每一个坐标轴下的旋转。
优选的，S2中生成器可以学习出从条件x到真实图像y的映射函数， G:{x}→y，其目标函数为：
L(G)＝Ex[log(1-D(x,G(x)))]+λEx,y[||y-G(x)||1]+γEx,y[|p(x)-R(G(x),y)|]。
优选的，S3中对于判别网络和回归网络，使用共享的主干网络结构，从而可以在尽可能少的增加网络复杂度的基础上，实现多任务共同学习。
优选的，S3中判别网络和回归网络的目标函数为：
L(D)＝Ex,y[logD(x,y)]+Ex[log(1-D(x,G(x)))]
L(R)＝Ex,y[|p(x)-R(G(x),y)|]
其中p(x)为x矢量中人脸关键点矢量，R(G(x),y)为从人脸图像(真实或者模拟图像)中估计出的人脸关键点。
本发明提供了一种基于人脸关键点和姿态的多属性人脸生成算法，具备以下有益效果：
本发明通过采集包括多种属性的人脸图像数据，标定每张图像的人脸关键点位置，并根据关键点信息自动计算人脸姿态，并在训练阶段，利用原始人脸图像、人脸关键点、人脸姿态三类信息作为输入，对条件生成对抗网络进行优化，最后在生成器网络的输出端得到具有相应属性的模拟人脸图像，并且在测试阶段，输入人脸关键点并给出所需要的人脸属性，再通过训练好的条件生成对抗网络，得到具有细粒度属性的人脸图像；本发明可以生成大量具有不同属性的人脸图像，在扩充和丰富人脸图像数据库上具有实际应用价值。
附图说明
图1为本发明的结构示意图
图2为本发明中人脸生成算法结果；
图3为无关键点和姿态条件的人脸生成算法结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例：
S1、自动人脸姿态矢量估计：使用摄像机标定技术，通过寻找二维人脸关键点和三维人脸模型上的对应点关系，来近似得到摄像机矩阵，在已知摄像机矩阵的情况下，可以提取出旋转矩阵并将其转化为欧拉角，进而得到一个三维姿态矢量(rx,ry,ry)，该矢量中每一维元素对应于三维空间(x,y,z)中每一个坐标轴下的旋转；
S2、生成网络G：将目标属性矢量、人脸关键点矢量、人脸姿态矢量作为条件x，输入给生成网络G，通过训练得到具有目标属性、关键点和姿态的模拟人脸图像G(x)，使其能够逼近真实人脸图像y，以达到判别器无法将二者进行区分的目的，其中生成器可以学习出从条件x到真实图像y的映射函数， G:{x}→y，其目标函数为：
L(G)＝Ex[log(1-D(x,G(x)))]+λEx,y[||y-G(x)||1]+γEx,y[|p(x)-R(G(x),y)|]；
S3、判别网络D和回归网络R：将生成网络生成的人脸图像G(x)和真实人脸图像y一同作为判别网络D的输入，通过训练来达到能够正确区分真实图像和模拟图像的目的；将生成网络生成的人脸图像G(x)和真实人脸图像y 一同作为回归网络R的输入，通过训练来达到能够正确估计图像中人脸关键点矢量的目的，其中，判别网络和回归网络，使用共享的主干网络结构，从而可以在尽可能少的增加网络复杂度的基础上，实现多任务共同学习，判别网络和回归网络的目标函数为：
其中p(x)为x矢量中人脸关键点矢量，R(G(x),y)为从人脸图像(真实或者模拟图像)中估计出的人脸关键点；
S4、条件生成对抗网络：完整的条件生成对抗网络总共包括S2中的生成网络和S3中的判别网络、回归网络三个模块，其总的优化目标函数如下：
S5、模型训练：根据S4中的优化目标函数，计算条件生成对抗网络的损失，利用反向传播算法对S2和S3中的神经网络模型参数进行学习，直到网络收敛；
S6、模型测试：给定目标属性、人脸关键点和姿态矢量作为输入，经过训练好的生成网络得到目标人脸图像图。
对比例：
采用关键点和姿态条件的人脸生成算法结果。
实验结果：
根据给定人脸属性为：女性，高颧骨，卷发，无笑容；分别采用实施例和对比例的人脸生成算法进行图像生成，得到如下实验结果：
其中图2为本发明中人脸生成算法结果，图3为无关键点和姿态条件的人脸生成算法结果；根据实验结果可知本发明算法可以生成更加符合给定人脸属性且具有特定姿态的图片。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于人脸关键点和姿态的多属性人脸生成算法，其特征在于，包括如下步骤：
S1、自动人脸姿态矢量估计：使用摄像机标定技术，通过寻找二维人脸关键点和三维人脸模型上的对应点关系，来近似得到摄像机矩阵，在已知摄像机矩阵的情况下，可以提取出旋转矩阵并将其转化为欧拉角，进而得到一个三维姿态矢量；
S2、生成网络G：将目标属性矢量、人脸关键点矢量、人脸姿态矢量作为条件x，输入给生成网络G，通过训练得到具有目标属性、关键点和姿态的模拟人脸图像G(x)，使其能够逼近真实人脸图像y，以达到判别器无法将二者进行区分的目的；
S3、判别网络D和回归网络R：将生成网络生成的人脸图像G(x)和真实人脸图像y一同作为判别网络D的输入，通过训练来达到能够正确区分真实图像和模拟图像的目的；将生成网络生成的人脸图像G(x)和真实人脸图像y一同作为回归网络R的输入，通过训练来达到能够正确估计图像中人脸关键点矢量的目的；
S4、条件生成对抗网络：完整的条件生成对抗网络总共包括S2中的生成网络和S3中的判别网络、回归网络三个模块，其总的优化目标函数如下：
；
S5、模型训练：根据S4中的优化目标函数，计算条件生成对抗网络的损失，利用反向传播算法对S2和S3中的神经网络模型参数进行学习，直到网络收敛；
S6、模型测试：给定目标属性、人脸关键点和姿态矢量作为输入，经过训练好的生成网络得到目标人脸图像，该图像具有目标属性的细粒度特征并且匹配相应人脸关键点和姿态信息。
2.根据权利要求1所述的一种基于人脸关键点和姿态的多属性人脸生成算法，其特征在于：S1中的三维姿态矢量中每一维元素对应于三维空间（x,y,z）中每一个坐标轴下的旋转。
3.根据权利要求1所述的一种基于人脸关键点和姿态的多属性人脸生成算法，其特征在于：S2中生成器可以学习出从条件x到真实图像y的映射函数，，其目标函数为：
。
4.根据权利要求1所述的一种基于人脸关键点和姿态的多属性人脸生成算法，其特征在于：S3中对于判别网络和回归网络，使用共享的主干网络结构，从而可以在尽可能少的增加网络复杂度的基础上，实现多任务共同学习。
5.根据权利要求1所述的一种基于人脸关键点和姿态的多属性人脸生成算法，其特征在于：S3中判别网络和回归网络的目标函数为：
其中为x矢量中人脸关键点矢量，为从人脸图像（真实或者模拟图像）中估计出的人脸关键点。
CN201910808921.3A 2019-08-29 2019-08-29 一种基于人脸关键点和姿态的多属性人脸生成算法 Active CN110598595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910808921.3A CN110598595B (zh) 2019-08-29 2019-08-29 一种基于人脸关键点和姿态的多属性人脸生成算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910808921.3A CN110598595B (zh) 2019-08-29 2019-08-29 一种基于人脸关键点和姿态的多属性人脸生成算法

Publications (2)

Publication Number Publication Date
CN110598595A true CN110598595A (zh) 2019-12-20
CN110598595B CN110598595B (zh) 2022-03-18

Family

ID=68856277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910808921.3A Active CN110598595B (zh) 2019-08-29 2019-08-29 一种基于人脸关键点和姿态的多属性人脸生成算法

Country Status (1)

Country Link
CN (1) CN110598595B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111489435A (zh) * 2020-03-31 2020-08-04 天津大学 基于单图像的自适应三维人脸重建方法
CN111524216A (zh) * 2020-04-10 2020-08-11 北京百度网讯科技有限公司 生成三维人脸数据的方法和装置
CN113780084A (zh) * 2021-08-11 2021-12-10 上海藤核智能科技有限公司 基于生成式对抗网络的人脸数据扩增方法、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423701A (zh) * 2017-07-17 2017-12-01 北京智慧眼科技股份有限公司 基于生成式对抗网络的人脸非监督特征学习方法及装置
CN108520503A (zh) * 2018-04-13 2018-09-11 湘潭大学 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
US20180268201A1 (en) * 2017-03-15 2018-09-20 Nec Laboratories America, Inc. Face recognition using larger pose face frontalization
CN108564029A (zh) * 2018-04-12 2018-09-21 厦门大学 基于级联多任务学习深度神经网络的人脸属性识别方法
CN109034017A (zh) * 2018-07-12 2018-12-18 北京华捷艾米科技有限公司 头部姿态估计方法及机器可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180268201A1 (en) * 2017-03-15 2018-09-20 Nec Laboratories America, Inc. Face recognition using larger pose face frontalization
CN107423701A (zh) * 2017-07-17 2017-12-01 北京智慧眼科技股份有限公司 基于生成式对抗网络的人脸非监督特征学习方法及装置
CN108564029A (zh) * 2018-04-12 2018-09-21 厦门大学 基于级联多任务学习深度神经网络的人脸属性识别方法
CN108520503A (zh) * 2018-04-13 2018-09-11 湘潭大学 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
CN109034017A (zh) * 2018-07-12 2018-12-18 北京华捷艾米科技有限公司 头部姿态估计方法及机器可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIAN Z.等: "Generating Photographic Faces From the Sketch Guided by Attribute Using GAN", 《IEEE ACCESS》 *
陆萍 等: "基于深度卷积对抗生成网络的人脸图像生成", 《图形图像》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111489435A (zh) * 2020-03-31 2020-08-04 天津大学 基于单图像的自适应三维人脸重建方法
CN111489435B (zh) * 2020-03-31 2022-12-27 天津大学 基于单图像的自适应三维人脸重建方法
CN111524216A (zh) * 2020-04-10 2020-08-11 北京百度网讯科技有限公司 生成三维人脸数据的方法和装置
CN113780084A (zh) * 2021-08-11 2021-12-10 上海藤核智能科技有限公司 基于生成式对抗网络的人脸数据扩增方法、电子设备和存储介质
CN113780084B (zh) * 2021-08-11 2024-05-31 上海藤核智能科技有限公司 基于生成式对抗网络的人脸数据扩增方法、电子设备和存储介质

Also Published As

Publication number Publication date
CN110598595B (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
Lv et al. A deep regression architecture with two-stage re-initialization for high performance facial landmark detection
Tekin et al. Learning to fuse 2d and 3d image cues for monocular body pose estimation
Elgammal et al. Tracking people on a torus
Vemulapalli et al. R3DG features: Relative 3D geometry-based skeletal representations for human action recognition
CN110598595B (zh) 一种基于人脸关键点和姿态的多属性人脸生成算法
CN111625667A (zh) 一种基于复杂背景图像的三维模型跨域检索方法及系统
CN111652974B (zh) 三维人脸模型的构建方法、装置、设备及存储介质
JP2012160178A (ja) オブジェクト認識デバイス、オブジェクト認識を実施する方法および動的アピアランスモデルを実施する方法
Held et al. Robust single-view instance recognition
CN111028319B (zh) 一种基于面部运动单元的三维非真实感表情生成方法
CN112801064A (zh) 一种模型训练方法、电子设备及存储介质
Yang et al. Multivariate regression on the grassmannian for predicting novel domains
CN110135277A (zh) 一种基于卷积神经网络的人体行为识别方法
CN114973418A (zh) 一种跨模态三维点云序列时空特征网络的行为识别方法
Saxena et al. Generalizable pose estimation using implicit scene representations
Sun et al. 3-D facial feature reconstruction and learning network for facial expression recognition in the wild
CN115761905A (zh) 一种基于骨骼关节点的潜水员动作识别方法
Chen et al. 3D reconstruction of unstructured objects using information from multiple sensors
Das et al. A fusion of appearance based CNNs and temporal evolution of skeleton with LSTM for daily living action recognition
Pan et al. Online human action recognition based on improved dynamic time warping
CN113536926A (zh) 基于距离向量和多角度自适应网络的人体动作识别方法
Ding et al. Spatio-temporal difference descriptor for skeleton-based action recognition
CN112199994A (zh) 一种实时检测rgb视频中的3d手与未知物体交互的方法和装置
Li et al. Few-shot meta-learning on point cloud for semantic segmentation
Suzui et al. Toward 6 dof object pose estimation with minimum dataset

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant