CN115631527A - 基于角度自适应的发型属性编辑方法及系统 - Google Patents

基于角度自适应的发型属性编辑方法及系统 Download PDF

Info

Publication number
CN115631527A
CN115631527A CN202211366264.XA CN202211366264A CN115631527A CN 115631527 A CN115631527 A CN 115631527A CN 202211366264 A CN202211366264 A CN 202211366264A CN 115631527 A CN115631527 A CN 115631527A
Authority
CN
China
Prior art keywords
face
angle
image
hair style
attribute editing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211366264.XA
Other languages
English (en)
Other versions
CN115631527B (zh
Inventor
徐艺文
郑宇翔
林擎旭
何念
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FUZHOU UNIVERSITY ZHICHENG COLLEGE
Original Assignee
FUZHOU UNIVERSITY ZHICHENG COLLEGE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FUZHOU UNIVERSITY ZHICHENG COLLEGE filed Critical FUZHOU UNIVERSITY ZHICHENG COLLEGE
Priority to CN202211366264.XA priority Critical patent/CN115631527B/zh
Publication of CN115631527A publication Critical patent/CN115631527A/zh
Application granted granted Critical
Publication of CN115631527B publication Critical patent/CN115631527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出一种基于角度自适应的发型属性编辑方法及系统，包括以下步骤：步骤S1：将输入的图像通过StyleGAN潜码编码器，得到输入图像的潜在编码W+；步骤S2：通过人脸关键点检测2D人脸的关键点，初始化人脸的3D关键点并且使用Perspective‑n‑Point算法求解人脸姿态；步骤S3：通过将x，y，z各个方向与其参考发型的潜码输入到潜码编辑模块；步骤S4：通过生成器重建，得到人脸角度对齐后的图像。本发明对输入图像的特征潜码优化，在通过预先训练好的生成网络重建图像的方法，可以在无需重新训练的情况下实现精准的发型属性编辑效果，满足用户的基本需求。

Description

基于角度自适应的发型属性编辑方法及系统
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于角度自适应的发型属性编辑方法及系统。
背景技术
发型作为人脸属性的重要因素之一，在一定程度上影响了人们的整体气质。形态各异的发型能够轻易表征出一个人的年齡、性别、社会阶层、文化层次、时尚爱好等信息，是人物个性化造型的重要组成部分。同一个人物搭配上不同的发型会给旁观者带来视觉上不同的体验，影响到人们的气质。人脸对齐任务是解决许多人脸相关问题的基础,比如人脸三维重建,人脸认证。尽管在自然状态下的人脸对齐仍然面临着许多的挑战,人脸的姿态,表情的变化,遮挡等问题使得非受控环境下的人脸对齐非常困难，但是人脸对齐方法的精度目前有了很大的提升,达到了实用的程度，其中在图像处理发型方面更是得到广泛的应用。但是基于生成对抗网络的发型属性编辑算法还存在较多问题，例如：当人脸角度不对齐时，将引发发型迁移过程中的人脸不对应的问题。
发明内容
针对现有技术存在的缺陷和不足，本发明的目的在于提供一种基于角度自适应的发型属性编辑方法及系统，考虑了输入图像之间的关系，通过隐码编辑的方式，避免了人脸角度不对齐条件下发型与人脸特征融合后的不匹配问题，进一步提高了发型融合的质量。
该方案主要包括：步骤S1：将输入的图像通过StyleGAN潜码编码器，得到输入图像的潜在编码W+；步骤S2：通过人脸关键点检测2D人脸的关键点，初始化人脸的3D关键点并且使用Perspective-n-Point算法求解人脸姿态；步骤S3：通过将x，y，z各个方向与其参考发型的潜码输入到潜码编辑模块；步骤S4：通过生成器重建，得到人脸角度对齐后的图像。
基于该方案开发的系统，用户输入一张人脸图像与一张发型参考图像，系统调用人脸角度自适应对齐模块对齐输入图像的角度，通过在图像的潜在特征空间编辑属性特征，最后通过生成网络输出目标图像，即可得到包含人脸图像身份特征、发型参考图像发型特征的目标图像。本发明对输入图像的特征潜码优化，在通过预先训练好的生成网络重建图像的方法，可以在无需重新训练的情况下实现精准的发型属性编辑效果，满足用户的基本需求。
本发明解决其技术问题采用的技术方案是：
一种基于角度自适应的发型属性编辑方法，其特征在于，包括以下步骤：
步骤S1：将输入的图像通过StyleGAN潜码编码器，得到输入图像的潜在编码W+；
步骤S2：通过人脸关键点检测2D人脸的关键点，初始化人脸的3D关键点并且使用Perspective-n-Point算法求解人脸姿态；
步骤S3：通过将x，y，z各个方向与其参考发型的潜码输入到潜码编辑模块；
步骤S4：通过生成器重建，得到人脸角度对齐后的图像。
进一步地，在步骤S2中，通过人脸关键点检测模型RCPR检测2D人脸关键点pn，并初始化人脸的3D关键点Pn计算人脸姿态，选取对应的14个2D-3D关键点对作为人脸估计的依据。
进一步地，2D坐标相对于3D坐标的位姿是由3D坐标与对应相机中的像素坐标的矩阵运算，即求解相机的内部参数矩阵K＝[R t]中的旋转向量R，具体包括以下过程：
对旋转向量R进行归一化处理：
Figure BDA0003916780250000021
其中
Figure BDA0003916780250000022
其中ri为旋转向量Rv的系数，并且通过旋转矩阵来求解x，y，z三个方向的角度；
旋转矩阵：
Figure BDA0003916780250000023
其中
Figure BDA0003916780250000024
设
Figure BDA0003916780250000025
通过求解公式：
Figure BDA0003916780250000031
其中x，y，z分别表示X，Y，Z三个方向的角度。
进一步地，调整人脸姿态是通过公式：
Figure BDA0003916780250000032
其中Δlatent为通过styleFlow得到的单一属性潜在变量。
进一步地，在步骤S4中，生成模型使用StyleGANv2的生成器重建图像实现人脸姿态对齐。
以及，一种基于角度自适应的发型属性编辑系统，根据以上所述的基于角度自适应的发型属性编辑方法；用户通过输入一张人脸图像与一张发型参考图像，系统调用人脸角度自适应对齐模块对齐输入图像的角度，通过在图像的潜在特征空间编辑属性特征，最后通过生成网络输出目标图像，得到包含人脸图像身份特征、发型参考图像发型特征的目标图像。
与现有技术相比，本发明及其优选方案的主要设计点和优势包括：
1、在目前基于潜在编码对发型属性编辑的前提下提出了人脸角度自适应算法，通过Perspective-n-Point算法和StyleGANv2的生成器，有利于发型属性编辑任务的合成效果；
2、在隐码获取方式上采用编码器与反向迭代的混合方法，基于编码器的方法得到的隐码往往比反向迭代的LPIPS更高，通过迭代的方法又需要大量计算，耗费时间，因此本发明提出混合方法，节省时间效率的同时得到最优隐码。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
图1为本发明实施例的方法流程示意图。
图2为本发明实施例人脸角度自适应模块示意图。
具体实施方式
为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本说明书使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1-图2所示，本实施例提供了一种基于人脸角度自适应对齐的发型属性编辑方法，具体包括以下步骤：
S1、将输入的图像通过潜码编码器得到输入图像对应的潜在编码；
S2、通过人脸关键点检测2D人脸的关键点，初始化人脸的3D关键点并且使用算法求解人脸姿态；
S3、通过将各个方向与其参考发型的潜码输入到潜码编辑模块；
S4、通过生成器重建得到人脸角度对齐后的图像；
其中，转换输入图像得到输入图像对应的潜在编码的步骤具体为：通过StyleGAN潜码编码器将输入的图像进行反算得到图像对应的W+潜在编码。
作为优选，在本实施例中通过人脸关键点检测模型RCPR检测2D人脸关键点pn；具体包括以下步骤：
初始化人脸的3D关键点Pn计算人脸姿态；
使用Perspective-Point算法求解人脸姿态；
3D坐标
Figure BDA0003916780250000041
对应相机中的像素坐标为
Figure BDA0003916780250000042
Figure BDA0003916780250000043
相机的内部参数矩阵为K＝[R t]，其中R为旋转向量，t为平移向量；
通过求解公式：
Figure BDA0003916780250000051
可得旋转向量Rv，即是求解2D坐标相对于3D坐标的位姿；
对Rv归一化：
Figure BDA0003916780250000052
其中
Figure BDA0003916780250000053
其中ri为旋转向量Rv的系数。
进一步的，得到其旋转矩阵为：
Figure BDA0003916780250000054
其中
Figure BDA0003916780250000055
进一步地，设
Figure BDA0003916780250000056
通过求解公式：
Figure BDA0003916780250000057
得到X，Y，Z三个方向的位姿，其中x，y，z分别表示X，Y，Z三个方向的角度。
进一步地，将X，Y，Z分别与参考发型的潜码
Figure BDA0003916780250000058
输入到潜码编辑模块，通过将各个方向与其参考发型的潜码输入到潜码编辑模块，并且修改潜在编码的前8维来调整人脸姿态。即通过公式：
Figure BDA0003916780250000059
其中Δlatent为通过StyleFlow得到的单一属性潜在变量。
进一步地，通过StyleGANv2的生成器重建图像，得到人脸姿态对齐后的图像。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于角度自适应的发型属性编辑方法及系统，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (6)

1.一种基于角度自适应的发型属性编辑方法，其特征在于，包括以下步骤：
步骤S1：将输入的图像通过StyleGAN潜码编码器，得到输入图像的潜在编码W+；
步骤S2：通过人脸关键点检测2D人脸的关键点，初始化人脸的3D关键点并且使用Perspective-n-Point算法求解人脸姿态；
步骤S3：通过将x，y，z各个方向与其参考发型的潜码输入到潜码编辑模块；
步骤S4：通过生成器重建，得到人脸角度对齐后的图像。
2.根据权利要求1所述的基于角度自适应的发型属性编辑方法，其特征在于，在步骤S2中，通过人脸关键点检测模型RCPR检测2D人脸关键点pn，并初始化人脸的3D关键点Pn计算人脸姿态，选取对应的14个2D-3D关键点对作为人脸估计的依据。
3.根据权利要求2所述的基于角度自适应的发型属性编辑方法，其特征在于：2D坐标相对于3D坐标的位姿是由3D坐标与对应相机中的像素坐标的矩阵运算，即求解相机的内部参数矩阵K＝[R t]中的旋转向量R，具体包括以下过程：
对旋转向量R进行归一化处理：
Figure FDA0003916780240000011
其中
Figure FDA0003916780240000012
其中ri为旋转向量Rv的系数，并且通过旋转矩阵来求解x，y，z三个方向的角度；
旋转矩阵：
Figure FDA0003916780240000013
其中
Figure FDA0003916780240000014
设
Figure FDA0003916780240000015
通过求解公式：
Figure FDA0003916780240000021
其中x，y，z分别表示X，Y，Z三个方向的角度。
4.根据权利要求3所述的基于角度自适应的发型属性编辑方法，其特征在于：
调整人脸姿态是通过公式：
Figure FDA0003916780240000022
其中Δlatent为通过styleFlow得到的单一属性潜在变量。
5.根据权利要求1所述的基于角度自适应的发型属性编辑方法，其特征在于：在步骤S4中，生成模型使用StyleGANv2的生成器重建图像实现人脸姿态对齐。
6.一种基于角度自适应的发型属性编辑系统，其特征在于：根据权利要求1-5其中任一所述的基于角度自适应的发型属性编辑方法；用户通过输入一张人脸图像与一张发型参考图像，系统调用人脸角度自适应对齐模块对齐输入图像的角度，通过在图像的潜在特征空间编辑属性特征，最后通过生成网络输出目标图像，得到包含人脸图像身份特征、发型参考图像发型特征的目标图像。
CN202211366264.XA 2022-10-31 2022-10-31 基于角度自适应的发型属性编辑方法及系统 Active CN115631527B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211366264.XA CN115631527B (zh) 2022-10-31 2022-10-31 基于角度自适应的发型属性编辑方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211366264.XA CN115631527B (zh) 2022-10-31 2022-10-31 基于角度自适应的发型属性编辑方法及系统

Publications (2)

Publication Number Publication Date
CN115631527A true CN115631527A (zh) 2023-01-20
CN115631527B CN115631527B (zh) 2024-06-14

Family

ID=84908232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211366264.XA Active CN115631527B (zh) 2022-10-31 2022-10-31 基于角度自适应的发型属性编辑方法及系统

Country Status (1)

Country Link
CN (1) CN115631527B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050018921A (ko) * 2005-02-01 2005-02-28 황지현 헤어스타일 자동 합성 방법 및 시스템
US20170046827A1 (en) * 2015-08-12 2017-02-16 Nvidia Corporation Model-based three-dimensional head pose estimation
US20200151559A1 (en) * 2018-11-14 2020-05-14 Nvidia Corporation Style-based architecture for generative neural networks
CN111553284A (zh) * 2020-04-29 2020-08-18 武汉大学 人脸图像处理方法、装置、计算机设备和存储介质
CN111563427A (zh) * 2020-04-23 2020-08-21 中国科学院半导体研究所 人脸图像属性编辑方法、装置及设备
CN112800893A (zh) * 2021-01-18 2021-05-14 南京航空航天大学 一种基于强化学习的人脸属性编辑方法
CN112862807A (zh) * 2021-03-08 2021-05-28 网易（杭州）网络有限公司 基于头发图像的数据处理方法及装置
US20220028139A1 (en) * 2020-07-21 2022-01-27 Adobe Inc. Attribute conditioned image generation
US20220122221A1 (en) * 2020-10-16 2022-04-21 Adobe Inc. Techniques for domain to domain projection using a generative model
CN115049556A (zh) * 2022-06-27 2022-09-13 安徽大学 一种基于StyleGAN的人脸图像修复方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050018921A (ko) * 2005-02-01 2005-02-28 황지현 헤어스타일 자동 합성 방법 및 시스템
US20170046827A1 (en) * 2015-08-12 2017-02-16 Nvidia Corporation Model-based three-dimensional head pose estimation
US20200151559A1 (en) * 2018-11-14 2020-05-14 Nvidia Corporation Style-based architecture for generative neural networks
CN111563427A (zh) * 2020-04-23 2020-08-21 中国科学院半导体研究所 人脸图像属性编辑方法、装置及设备
CN111553284A (zh) * 2020-04-29 2020-08-18 武汉大学 人脸图像处理方法、装置、计算机设备和存储介质
US20220028139A1 (en) * 2020-07-21 2022-01-27 Adobe Inc. Attribute conditioned image generation
US20220122221A1 (en) * 2020-10-16 2022-04-21 Adobe Inc. Techniques for domain to domain projection using a generative model
CN112800893A (zh) * 2021-01-18 2021-05-14 南京航空航天大学 一种基于强化学习的人脸属性编辑方法
CN112862807A (zh) * 2021-03-08 2021-05-28 网易（杭州）网络有限公司 基于头发图像的数据处理方法及装置
CN115049556A (zh) * 2022-06-27 2022-09-13 安徽大学 一种基于StyleGAN的人脸图像修复方法

Also Published As

Publication number Publication date
CN115631527B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
CN111368662B (zh) 一种人脸图像属性编辑方法、装置、存储介质及设备
CN112419487B (zh) 毛发三维重建方法、装置、电子设备及存储介质
Han et al. Caricatureshop: Personalized and photorealistic caricature sketching
CN111950430B (zh) 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统
Liu et al. Psgan++: Robust detail-preserving makeup transfer and removal
WO2021063271A1 (zh) 人体模型重建方法、重建系统及存储介质
CN108124489B (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
CN109325994B (zh) 一种基于三维人脸数据增强的方法
CN115239861A (zh) 人脸数据增强方法、装置、计算机设备和存储介质
CN111815768B (zh) 三维人脸重建方法和装置
Zhang et al. Portrait relief modeling from a single image
Huang et al. Multi-density sketch-to-image translation network
CN112862672B (zh) 刘海生成方法、装置、计算机设备和存储介质
CN115482557B (zh) 人体图像生成方法、系统、设备及存储介质
CN116777738A (zh) 基于服装区域对齐和风格保持调制的真实性虚拟试穿方法
CN115631527B (zh) 基于角度自适应的发型属性编辑方法及系统
Liu et al. A framework for locally retargeting and rendering facial performance
CN113379890B (zh) 一种基于单张照片的人物浅浮雕模型生成方法
Lee et al. Holistic 3D face and head reconstruction with geometric details from a single image
CN113592971A (zh) 一种虚拟人体图像生成方法、系统、设备及介质
CN114943799A (zh) 一种面部图像处理方法、装置和计算机可读存储介质
CN112233018A (zh) 基于三维形变模型的参考图引导的人脸超分辨率方法
Zhu et al. Semi-supervised eye makeup transfer by swapping learned representation
CN118037897B (zh) 一种基于区域风格校正的人物属性编辑方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant