CN113034355A - 一种基于深度学习的肖像图像双下巴去除方法 - Google Patents

一种基于深度学习的肖像图像双下巴去除方法 Download PDF

Info

Publication number
CN113034355A
CN113034355A CN202110426710.0A CN202110426710A CN113034355A CN 113034355 A CN113034355 A CN 113034355A CN 202110426710 A CN202110426710 A CN 202110426710A CN 113034355 A CN113034355 A CN 113034355A
Authority
CN
China
Prior art keywords
chin
double
portrait image
image
neck
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110426710.0A
Other languages
English (en)
Other versions
CN113034355B (zh
Inventor
吴奕谦
金小刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110426710.0A priority Critical patent/CN113034355B/zh
Publication of CN113034355A publication Critical patent/CN113034355A/zh
Application granted granted Critical
Publication of CN113034355B publication Critical patent/CN113034355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于深度学习的肖像图像双下巴去除方法，包括以下步骤：随机采样训练得到粗糙双下巴分离边界，经过语义扩散细化得到对应的精细双下巴分离边界；输入需要去除双下巴的肖像图像并进行预处理，得到在StyleGAN2隐空间中对应的隐码；利用训练得到的精细双下巴分离边界对得到的隐码进行编辑，输出一张没有双下巴并且保持其他面部特征不变的新肖像图像；提取出新肖像图像的脖颈区域的掩膜；用图像扭曲方法调整新肖像图像中的偏差，使新肖像图像的脖颈和下巴无缝嵌入到所述需要去除双下巴的肖像图像中，计算得到去除双下巴后的肖像图像。本发明能够在保持人脸的其他特征不变的情况下进行双下巴的去除，实现快速自动地去除肖像照片中的双下巴。

Description

一种基于深度学习的肖像图像双下巴去除方法
技术领域
本发明涉及肖像编辑技术领域，特别是涉及一种基于深度学习的肖像图像双下巴去除方法。
背景技术
随着移动网络和摄影技术的飞速发展，以人脸为主要表现形式的肖像图像随处可见。特别是由于社交媒体应用在人类社会生活中占有的地位逐步升高，为了给他人更好的第一印象，使得肖像图像在社交媒体应用中变得非常重要。社交媒体应用的用户经常使用修饰工具来进一步美化他们的肖像图像，通过调整面部颜色形状，纠正阴影、噪声、畸变等问题。
肖像图像中的双下巴的出现不仅仅取决于下巴和脖颈的特征，也取决于人脸姿态和光照条件。大多数用户认为，消除肖像图像中的双下巴能够改进人脸的吸引力。
现阶段双下巴技术主要是通过美工利用Photoshop软件进行手动编辑会耗费大量人力物力。
“Maskgan:Towards diverse and interactive facial image manipulation”(In Proceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition,pages 5549-5558,2020)公开了使用掩膜作为中间表示来交互式编辑人脸，但是在人脸特征保持上并不理想。
“Interpreting the Latent Space of GANs for Semantic Face Editing”(InProceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition,pages9243-9252,2020)公开了一种能寻求语义属性在隐空间中对应的分离边界的方法，通过用分离边界编辑隐码，达到语义编辑的目的，但是语义无法被有效地解纠缠。
“A morphable model for the synthesis of 3D faces.”(InProceedings ofthe 26th annual conference on Computer graphics and interactive techniques,pages 187-194,1999)公开了三维形变模型(3DMM)，所述三维形变模型能够用参数表示三维人脸，但是没有对脖颈区域的有效建模。
“A style-based generator architecture for generative adversarialnetworks.”(InProceedings of the IEEE/CVF Conference on Computer Vision andPattern Recognition,pages 4401-4410,2019)和“Analyzing and improving the imagequality of stylegan”(InProceedings of the IEEE/CVF Conference on ComputerVision and Pattern Recognition,pages 8110-8119,2020)公开了StyleGAN，所述StyleGAN是一种在生成非常高质量的图像的同时，构建一个解纠缠的隐空间的生成对抗模型。
公开号为CN 110956681 A的发明公开了一种结合卷积网络和邻域相似性的人像背景自动替换方法，该发明首先采用卷积网络进行目标对象分剖，得到人脸前景的初始轮廓。然后针对分割后的人像边界不光滑问题，采用随机全局采样，扩大采样范围，增加相邻像素的相似性约束，提高透明度的连续性。该发明通过卷积网络实现人类图像分剖，提高了复杂背景的人脸背景替换准确率。此外，发明采用邻域颜色相似性约束，使人像边界更平滑，提高了人脸背景替换的轮廓质量。解决了现有人像背景替换技术存在分割不准确、分割边界不平滑的问题。
公开号为CN 111598762 A的发明公开了一种生成式鲁棒图像隐写方法，包括：构建图像数据集，并对图像数据集进行预处理；构建并初始化深度学习网络架构；采用联合-精调式方法训练深度学习网络架构，得到网络架构模型；利用网络架构模型生成载密伪图并进行秘密通信，完成图像隐写过程。该发明提供的图像隐写方法，通过利用生成对抗网络StyleGAN，将秘密信息的嵌入过程融入到图像的生成过程中，构建一种能承担较大容量秘密信息并具备一定鲁棒性的生成式图像隐写架构，从而得到的生成式图像隐写方法具有嵌入的容量较大、生成的图像质量好、载密图像统计不可检测性强、实用性高等优点，并克服了现有的生成式图像隐写生成的载密图像质量差、嵌入容量低下、信息提取准确率不高等问题。
因此，在保持人脸的其他特征不变的情况下进行双下巴的去除是个非常有挑战性的问题。人脸的多样性非常丰富，这就要求模型有很好的泛化能力；语义的解纠缠是个非平凡问题，因为要获得标定好的数据集是很困难的；而生成新的下巴和脖颈需要有效的几何信息。
发明内容
本发明的目的在于提出一种基于深度学习的肖像图像双下巴去除方法，能够在保持人脸的其他特征不变的情况下进行双下巴的去除，实现快速自动地去除肖像照片中的双下巴。
一种基于深度学习的肖像图像双下巴去除方法，包括以下步骤：
(1)通过随机采样训练得到粗糙双下巴分离边界，再经过语义扩散细化得到对应的精细双下巴分离边界；所述精细双下巴分离边界用于直接编辑隐码从而消除图像中的双下巴，并保持面部基本不变，所述粗糙双下巴分离边界为编辑隐码后不能保持面部特征的分离边界；
(2)输入需要去除双下巴的肖像图像并进行预处理，得到在StyleGAN2隐空间中对应的隐码；
(3)利用步骤(1)中训练得到的精细双下巴分离边界对步骤(2)中得到的隐码进行编辑，得到一张没有双下巴并且保持其他面部特征不变的新肖像图像；
(4)提取出步骤(2)中输入的需要去除双下巴的肖像图像的脖颈区域的掩膜；
(5)用图像扭曲方法调整新肖像图像中的偏差，使新肖像图像的脖颈和下巴无缝嵌入到所述需要去除双下巴的肖像图像中，利用步骤(4)得到的掩膜计算得到去除双下巴后的肖像图像。
所述步骤(1)中，训练一个精细双下巴分离边界的具体步骤如下：
(1-1)随机采样得到Nw个隐码
Figure BDA0003029858640000031
将其输入到StyleGAN2的生成器中得到对应的随机采样肖像图像，训练一个双下巴分类器对所述随机采样肖像图像进行评分，根据式(I)得到隐码对应的分数：
s＝C(g(T(w,ψ))) (I)
其中，s为双下巴分数，C为双下巴分类器，g为StyleGAN2的生成器，g(T(w,ψ))为生成器输出的肖像图像，T为StyleGAN2中的截断技巧和堆栈操作；
T将
Figure BDA0003029858640000041
映射为
Figure BDA0003029858640000042
Nlayer＝(log2(Resolution)-1)×2，Resolution为输入图像的分辨率，ψ为截断技巧中的超参数，其缩放给定的w到中心
Figure BDA00030298586400000418
的偏差；
则对应的隐码-分数数据集为：
Figure BDA0003029858640000043
(1-2)基于所述的隐码-分数数据集(W,S)，利用支持向量机训练输出一个粗糙双下巴分离边界bc的法向量nc；
(1-3)采用粗糙双下巴分离边界编辑隐码wd，所述wd为隐码w中对应的有双下巴的肖像图像的隐码，根据式(III)合成一个没有双下巴的中间肖像图像
Figure BDA0003029858640000044
Figure BDA0003029858640000045
其中，α为控制nc权重的超参数，σ为风格混合操作；
所述风格混合操作σ(A,B)将
Figure BDA0003029858640000046
的后Nstyle层替换为
Figure BDA0003029858640000047
Figure BDA0003029858640000048
的后Nstyle层，A和B的后Nstyle层分别为A和B的风格特征，通过替换操作，在不改变肖像图像结构的情况下进行风格迁移；
(1-4)提取wd对应的原始肖像图像xd＝g(T(wd,ψ))的脖颈区域的掩膜mneck；
(1-5)基于原始肖像图像xd和中间肖像图像
Figure BDA0003029858640000049
计算输出先验信息
Figure BDA00030298586400000410
Figure BDA00030298586400000411
其中，⊙表示元素级别的乘法；
(1-6)利用截断技巧和堆栈操作，将所述
Figure BDA00030298586400000412
映射为
Figure BDA00030298586400000413
(1-7)将所述先验信息
Figure BDA00030298586400000414
的语义扩散入
Figure BDA00030298586400000415
中，得到不具有双下巴的肖像图像
Figure BDA00030298586400000416
及其对应的隐码
Figure BDA00030298586400000417
(1-8)基于成对的具有双下巴和不具有双下巴的隐码
Figure BDA0003029858640000051
和
Figure BDA0003029858640000052
得到对应的隐码-分数数据集：
Figure BDA0003029858640000053
采用支持向量机对(W+,S)′训练输出一个精细双下巴分离边界bf的法向量nf。
所述步骤(1-1)中，训练一个双下巴分类器对肖像图像进行评分的具体步骤如下：
(1-1-1)标定Nimg0张不含有双下巴的肖像图像
Figure BDA0003029858640000054
和Nimg1张含有双下巴的图像
Figure BDA0003029858640000055
得到如式(VI)所示的分类器训练数据集：
(X,S)＝{(x,0)|x∈X0}∪{(x,1)|x∈X1} (VI)
(1-1-2)对(X,S)中的各个肖像图像生成一个能覆盖脖颈部分的矩形掩膜mC，将mC对应的区域作为输入，训练双下巴分类器C，所述双下巴分类器C采用ResNeXt-50(32x4d)结构，将含有双下巴的肖像图像评分为1，将不含有双下巴的肖像图像评分为0。
所述步骤(1-4)中提取原始肖像图像xd中脖颈区域的掩膜mneck的具体步骤如下：
(1-4-1)采用FaceParsing从xd中提取脸部的掩膜mface和脖颈区域的初始掩膜
Figure BDA0003029858640000056
(1-4-2)采用面部识别技术从xd中提取下巴的定标点，并且通过连线定标点得到下巴边缘曲线lchin；
(1-4-3)根据式(VII)得到最佳脖颈掩膜mneck：
Figure BDA0003029858640000057
其中，∪为联合操作，Θ为保留掩膜位于下巴边缘曲线lchin下方部分的切割操作。
所述步骤(1-7)中，将所述先验信息
Figure BDA0003029858640000058
的语义扩散入
Figure BDA0003029858640000059
中的具体步骤如下：
(1-7-1)将
Figure BDA00030298586400000510
作为不具有双下巴的隐码
Figure BDA00030298586400000511
的初始值；
(1-7-2)根据式(VIII)计算得到像素级重构损失Lr：
Figure BDA0003029858640000061
(1-7-3)根据式(IX)计算得到结构级重构损失Lp：
Figure BDA0003029858640000062
其中，φ表示训练完成的VGG16模型；
(1-7-4)根据式(X)计算得到总损失L：
L＝λrLr+λpLp (X)
其中，λr为像素级重构损失的权重，λp为结构级重构损失的权重；
(1-7-5)利用不断迭代优化
Figure BDA0003029858640000063
使得总损失L最小，得到最终语义扩散结果，
Figure BDA0003029858640000064
与
Figure BDA0003029858640000065
构成成对的具有双下巴和不具有双下巴的隐码。
将需要去除双下巴的肖像图像
Figure BDA0003029858640000066
使用StyleGAN2提供的投影器进行编码，得到相应的隐码
Figure BDA0003029858640000067
所述步骤(3)中，对步骤(2)中得到的隐码
Figure BDA0003029858640000068
进行编辑，得到一张没有双下巴并且保持其他面部特征不变的新肖像图像的具体步骤如下：
(3-1)对步骤(2)中得到的隐码
Figure BDA0003029858640000069
进行编辑，得到对应的没有双下巴并且保持其他面部特征不变的隐码
Figure BDA00030298586400000610
Figure BDA00030298586400000611
其中，α0为控制nf权重的超参数，所述超参数α0的值可根据实际情况调整；
(3-2)将隐码
Figure BDA00030298586400000612
输入StyleGAN2的生成器中，得到一张没有双下巴并且保持其他面部特征不变的新肖像图像：
Figure BDA00030298586400000613
所述步骤(4)中，所述的肖像图像中脖颈区域的掩膜提取方法与所述步骤(1-4)中原始肖像图像xd中脖颈区域的掩膜mneck提取方法相同。
用图像扭曲方法调整新肖像图像中的偏差，将新肖像图像的脖颈和下巴无缝嵌入到所述需要去除双下巴的肖像图像中的具体步骤如下：
(5-1)提取没有双下巴并且保持其他面部特征不变的新肖像图像
Figure BDA00030298586400000614
脖颈区域的掩膜边缘的点集Pneck：
Figure BDA0003029858640000071
其中，
Figure BDA0003029858640000072
为新肖像图像
Figure BDA0003029858640000073
的脖颈边缘选择的点，Npoint为新肖像图像
Figure BDA0003029858640000074
的脖颈边缘选取的点的个数；
(5-2)分别提取需要去除双下巴的肖像图像
Figure BDA0003029858640000075
和新肖像图像
Figure BDA0003029858640000076
中的点集Pface1和Pface2：
Figure BDA0003029858640000077
Figure BDA0003029858640000078
其中，
Figure BDA0003029858640000079
为从
Figure BDA00030298586400000710
的面部掩膜边缘选择的点，
Figure BDA00030298586400000711
为从
Figure BDA00030298586400000712
的面部掩膜边缘选择的点，
Figure BDA00030298586400000713
和
Figure BDA00030298586400000714
的y坐标相同，P0为一个固定的点集；
(5-3)基于Pface1构建Delaunay三角形集D，采用Delaunay三角形集D扭曲
Figure BDA00030298586400000715
即推拉Pface2到Pface1的位置，使
Figure BDA00030298586400000716
与
Figure BDA00030298586400000717
的面部边缘对齐；
(5-4)计算得到去除双下巴后的肖像图像x：
Figure BDA00030298586400000718
其中，warp为扭曲操作。
本发明还提供了一种肖像图像双下巴去除方法装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机处理器执行所述基于深度学习的肖像图像双下巴去除方法。
本发明相比现有技术，其优点在于：
1、本发明是一种简单、高效、稳定的自动去除双下巴的方法，能处理各种表情、姿态、年龄、性别不同的人脸，自动合成高质量的没有双下巴的图像，并应用于各种社交媒体和图像处理软件。
2、本发明提供了结构性人脸编辑方法，可直接对肖像图像的潜在空间进行编辑，并具有合理的语义操作和面部特征保留。
附图说明
图1本发明实施例中基于深度学习的肖像图像双下巴去除流程图。
图2本发明实施例中训练得到精细双下巴分离边界的流程图。
图3本发明实施例中对需要去除双下巴的肖像图像计算去除双下巴的流程图。
图4为图3中需要去除双下巴的肖像图像的照片。
图5为图4中去除双下巴后的肖像图像的照片。
具体实施方式
如图1所示，基于深度学习的肖像图像双下巴去除方法，包括以下步骤：
如图2所示，S1通过随机采样训练得到粗糙双下巴分离边界，再经过语义扩散细化得到对应的精细双下巴分离边界；精细双下巴分离边界用于直接编辑隐码从而消除图像中的双下巴，并保持面部基本不变，粗糙双下巴分离边界为编辑隐码后不能保持面部特征的分离边界。
S1中，训练得到一个精细双下巴分离边界的具体步骤如下：
S11随机采样得到Nw个隐码
Figure BDA0003029858640000081
将其输入到StyleGAN2的生成器中得到对应的随机采样肖像图像，训练一个双下巴分类器对所述随机采样肖像图像进行评分，根据式(I)得到隐码对应的分数：
s＝C(g(T(w,ψ))) (I)
其中，s为双下巴分数，C为双下巴分类器，g为StyleGAN2的生成器，g(T(w,ψ))为生成器输出的肖像图像，T为StyleGAN2中的截断技巧和堆栈操作；
T将
Figure BDA0003029858640000082
映射为
Figure BDA0003029858640000083
Nlayer＝(log2(Resolution)-1)×2，Resolution为输入图像的分辨率，ψ为截断技巧中的超参数，其缩放给定的w到中心
Figure BDA0003029858640000084
的偏差。
对应的隐码-分数数据集为：
Figure BDA0003029858640000085
其中，Nw的值为50000。
S11中训练一个双下巴分类器对肖像图像进行评分的具体步骤如下：
S111标定Nimg0张不含有双下巴的肖像图像
Figure BDA0003029858640000091
和Nimg1张含有双下巴的图像
Figure BDA0003029858640000092
得到如式(VI)所示的分类器训练数据集：
(X,S)＝{(x,0)|x∈X0}∪{(x,1)|x∈X1} (VI)
S112对(X,S)中的各个肖像图像生成一个能覆盖脖颈部分的矩形掩膜mC，将mC对应的区域作为输入，训练双下巴分类器C，双下巴分类器C采用ResNeXt-50(32x4d)结构，将含有双下巴的肖像图像评分为1，将不含有双下巴的肖像图像评分为0。
S12基于隐码-分数数据集(W,S)，采用支持向量机训练输出一个粗糙双下巴分离边界bc的法向量nc。
S13采用粗糙双下巴分离边界编辑隐码wd，wd为隐码w中对应的有双下巴的肖像图像的隐码，根据式(III)合成一个没有双下巴的中间肖像图像
Figure BDA0003029858640000093
Figure BDA0003029858640000094
其中，α为控制nc权重的超参数，σ为风格混合操作。
风格混合操作σ(A,B)将
Figure BDA0003029858640000095
的后Nstyle层替换为
Figure BDA0003029858640000096
的后Nstyle层，A和B的后Nstyle层分别为A和B的风格特征，通过替换操作，在不改变肖像图像结构的情况下进行风格迁移，其中，根据实际操作Nstyle取值为11。
S14提取wd对应的原始肖像图像xd＝g(T(wd,ψ))的脖颈区域的掩膜mneck的具体步骤如下：
S141采用FaceParsing从xd中提取脸部的掩膜mface和脖颈区域的初始掩膜
Figure BDA0003029858640000097
FaceParsing方法公开于“Maskgan:Towards diverse and interactive facialimage manipulation”(InProceedings of the IEEE/CVF Conference on ComputerVision and Pattern Recognition,pages 5549-5558,2020)。
S142采用面部识别技术从xd中提取下巴的定标点，并且通过连线定标点得到下巴边缘曲线lchin；
面部识别技术公开于“How far are we from solving the 2d&3d facealignment problem？(and a dataset of 230,000 3d facial landmarks)”(InProceedings of the IEEE International Conference on Computer Vision,pages1021-1030,2017)。
S143根据式(VII)计算得到最佳脖颈掩膜mneck：
Figure BDA0003029858640000101
其中，∪为联合操作，Θ为保留掩膜位于下巴边缘曲线lchin下方部分的切割操作。
S15基于原始肖像图像xd和中间肖像图像
Figure BDA0003029858640000102
计算输出先验信息
Figure BDA0003029858640000103
Figure BDA0003029858640000104
其中，⊙表示元素级别的乘法。
S16利用截断技巧和堆栈操作，将所述
Figure BDA0003029858640000105
映射为
Figure BDA0003029858640000106
S17将先验信息
Figure BDA0003029858640000107
的语义扩散入
Figure BDA0003029858640000108
中，得到不具有双下巴的肖像图像
Figure BDA0003029858640000109
及其对应的隐码
Figure BDA00030298586400001010
语义扩散方法公开于“In-domain gan inversion for real image editing”(InEuropean Conference on Computer Vision,pages 592-608,2020)。
将先验信息
Figure BDA00030298586400001011
的语义扩散入
Figure BDA00030298586400001012
中，得到不具有双下巴的肖像图像
Figure BDA00030298586400001013
及其对应的隐码
Figure BDA00030298586400001014
具体步骤如下：
S171将
Figure BDA00030298586400001015
作为不具有双下巴的隐码
Figure BDA00030298586400001016
的初始值；
S172根据式(VIII)计算得到像素级重构损失Lr：
Figure BDA00030298586400001017
S173根据式(IX)计算得到结构级重构损失Lp：
Figure BDA00030298586400001018
其中，φ表示训练完成的VGG16模型；
S174根据式(X)计算得到总损失L：
L＝λrLr+λpLp (X)
其中，λr为像素级重构损失的权重，λp为结构级重构损失的权重；
S175利用不断迭代优化
Figure BDA0003029858640000111
使得总损失L最小，得到最终语义扩散结果，
Figure BDA0003029858640000112
与
Figure BDA0003029858640000113
构成成对的具有双下巴和不具有双下巴的隐码。
S18基于成对的具有双下巴和不具有双下巴的隐码
Figure BDA0003029858640000114
和
Figure BDA0003029858640000115
得到对应的隐码-分数数据集：
Figure BDA0003029858640000116
采用支持向量机对(W+,S)′训练输出一个精细双下巴分离边界bf的法向量nf。
以图4为例，测试S1所得模型，将带有双下巴的肖像图像进行双下巴的去除。
如图3所示，S2将需要去除双下巴的肖像图像
Figure BDA0003029858640000117
使用StyleGAN2提供的投影器进行编码，得到相应的隐码
Figure BDA0003029858640000118
S3利用S1训练得到的精细双下巴分离边界对S2得到的隐码进行编辑，得到一张没有双下巴并且保持其他面部特征不变的新肖像图像。
对S2中得到的隐码
Figure BDA0003029858640000119
进行编辑，得到一张没有双下巴并且保持其他面部特征不变的新肖像图像的具体步骤如下：
S31对S2中得到的隐码
Figure BDA00030298586400001110
进行编辑，得到对应的没有双下巴并且保持其他面部特征不变的隐码
Figure BDA00030298586400001111
Figure BDA00030298586400001112
其中，α0为控制nf权重的超参数，超参数α0的值可根据实际情况调整；
S32将隐码
Figure BDA00030298586400001113
输入StyleGAN2的生成器中，得到一张没有双下巴并且保持其他面部特征不变的新肖像图像：
Figure BDA00030298586400001114
S4提取出S2中输入的需要去除双下巴的肖像图像的脖颈区域的掩膜；需要去除双下巴的肖像图像中脖颈区域的掩膜提取方法与S14中原始肖像图像xd中脖颈区域的掩膜mneck提取方法相同。
S5用图像扭曲方法调整新肖像图像中的偏差，使新肖像图像的脖颈和下巴无缝嵌入到所述需要去除双下巴的肖像图像中，利用S4得到的掩膜计算得到去除双下巴后的肖像图像，具体步骤如下：
S51提取没有双下巴并且保持其他面部特征不变的新肖像图像
Figure BDA0003029858640000121
脖颈区域的掩膜边缘的点集Pneck：
Figure BDA0003029858640000122
其中，
Figure BDA0003029858640000123
为新肖像图像
Figure BDA0003029858640000124
的脖颈边缘选择的点，Npoint为新肖像图像
Figure BDA0003029858640000125
的脖颈边缘选取的点的个数；
S52分别提取需要去除双下巴的肖像图像
Figure BDA0003029858640000126
和新肖像图像
Figure BDA0003029858640000127
中的点集Pface1和Pface2：
Figure BDA0003029858640000128
Figure BDA0003029858640000129
其中，
Figure BDA00030298586400001210
为从
Figure BDA00030298586400001211
的面部掩膜边缘选择的点，
Figure BDA00030298586400001212
为从
Figure BDA00030298586400001213
的面部掩膜边缘选择的点，
Figure BDA00030298586400001214
和
Figure BDA00030298586400001215
的y坐标相同，P0为一个固定的点集；
S53基于Pface1构建Delaunay三角形集D，采用Delaunay三角形集D扭曲
Figure BDA00030298586400001216
即推拉Pface2到Pface1的位置，使
Figure BDA00030298586400001217
与
Figure BDA00030298586400001218
的面部边缘对齐；
S54计算得到去除双下巴后的肖像图像x，如图5所示：
Figure BDA00030298586400001219
其中，warp为扭曲操作。

Claims (10)

1.一种基于深度学习的肖像图像双下巴去除方法，其特征在于，包括以下步骤：
(1)通过随机采样训练得到粗糙双下巴分离边界，再经过语义扩散细化得到对应的精细双下巴分离边界；所述精细双下巴分离边界用于直接编辑隐码从而消除图像中的双下巴，并保持面部基本不变，所述粗糙双下巴分离边界为编辑隐码后不能保持面部特征的分离边界；
(2)输入需要去除双下巴的肖像图像并进行预处理，得到在StyleGAN2隐空间中对应的隐码；
(3)利用步骤(1)中训练得到的精细双下巴分离边界对步骤(2)中得到的隐码进行编辑，得到一张没有双下巴并且保持其他面部特征不变的新肖像图像；
(4)提取出步骤(2)中输入的需要去除双下巴的肖像图像的脖颈区域的掩膜；
(5)用图像扭曲方法调整新肖像图像中的偏差，使新肖像图像的脖颈和下巴无缝嵌入到所述需要去除双下巴的肖像图像中，利用步骤(4)得到的掩膜计算得到去除双下巴后的肖像图像。
2.如权利要求1所述的基于深度学习的肖像图像双下巴去除方法，其特征在于，所述步骤(1)中，训练一个精细双下巴分离边界的具体步骤如下：
(1-1)随机采样得到Nw个隐码
Figure FDA0003029858630000011
将其输入到StyleGAN2的生成器中得到对应的随机采样肖像图像，训练一个双下巴分类器对所述随机采样肖像图像进行评分，根据式(I)得到隐码对应的分数：
s＝C(g(T(w，ψ))) (I)
其中，s为双下巴分数，C为双下巴分类器，g为StyleGAN2的生成器，g(T(w，ψ))为生成器输出的肖像图像，T为StyleGAN2中的截断技巧和堆栈操作，T将
Figure FDA0003029858630000012
映射为
Figure FDA0003029858630000013
Nlayer＝(log2(Resolution)-1)×2，Resolution为输入图像的分辨率，ψ为截断技巧中的超参数，其缩放给定的w到中心
Figure FDA0003029858630000021
的偏差；
则对应的隐码-分数数据集为：
Figure FDA0003029858630000022
(1-2)基于所述的隐码-分数数据集(W，S)，采用支持向量机训练输出一个粗糙双下巴分离边界bc的法向量nc；
(1-3)采用粗糙双下巴分离边界编辑隐码wd，所述wd为隐码w中对应的有双下巴的肖像图像的隐码，根据式(III)合成一个没有双下巴的中间肖像图像
Figure FDA0003029858630000023
Figure FDA0003029858630000024
其中，α为控制nc权重的超参数，σ为风格混合操作；
所述风格混合操作σ(A，B)将
Figure FDA0003029858630000025
的后Nstyle层替换为
Figure FDA0003029858630000026
Figure FDA0003029858630000027
的后Nstyle层，A和B的后Nstyle层分别为A和B的风格特征，通过替换操作，在不改变肖像图像结构的情况下进行风格迁移；
(1-4)提取wd对应的原始肖像图像xd＝g(T(wd，ψ))的脖颈区域的掩膜mneck；
(1-5)基于原始肖像图像xd和中间肖像图像
Figure FDA0003029858630000028
计算输出先验信息
Figure FDA0003029858630000029
Figure FDA00030298586300000210
其中，⊙表示元素级别的乘法；
(1-6)利用截断技巧和堆栈操作，将所述
Figure FDA00030298586300000211
映射为
Figure FDA00030298586300000212
(1-7)将所述先验信息
Figure FDA00030298586300000213
的语义扩散入
Figure FDA00030298586300000214
中，得到不具有双下巴的肖像图像
Figure FDA00030298586300000215
及其对应的隐码
Figure FDA00030298586300000216
(1-8)基于成对的具有双下巴和不具有双下巴的隐码
Figure FDA00030298586300000217
和
Figure FDA00030298586300000218
得到对应的隐码-分数数据集：
Figure FDA00030298586300000219
采用支持向量机对(W+，S)′训练输出一个精细双下巴分离边界bf的法向量nf。
3.如权利要求2所述的基于深度学习的肖像图像双下巴去除方法，其特征在于，所述步骤(1-1)中，训练一个双下巴分类器对肖像图像进行评分的具体步骤如下：
(1-1-1)标定Nimg0张不含有双下巴的肖像图像
Figure FDA0003029858630000031
和Nimg1张含有双下巴的图像
Figure FDA0003029858630000032
得到如式(VI)所示的分类器训练数据集：
(X，S)＝{(x，0)|x∈X0}∪{(x，1)|x∈X1} (VI)；
(1-1-2)对(X，S)中的各个肖像图像生成一个能覆盖脖颈部分的矩形掩膜mC，将mC对应的区域作为输入，训练双下巴分类器C，所述双下巴分类器C采用ResNeXt-50(32x4d)结构，将含有双下巴的肖像图像评分为1，将不含有双下巴的肖像图像评分为0。
4.如权利要求2所述的基于深度学习的肖像图像双下巴去除方法，其特征在于，所述步骤(1-4)中提取原始肖像图像xd中脖颈区域的掩膜mneck的具体步骤如下：
(1-4-1)采用FaceParsing从xd中提取脸部的掩膜mface和脖颈区域的初始掩膜
Figure FDA00030298586300000310
(1-4-2)采用面部识别技术从xd中提取下巴的定标点，并且通过连线定标点得到下巴边缘曲线lchin；
(1-4-3)根据式(VII)得到最佳脖颈掩膜mneck：
Figure FDA0003029858630000033
其中，∪为联合操作，Θ为保留掩膜位于下巴边缘曲线lchin下方部分的切割操作。
5.如权利要求4所述的基于深度学习的肖像图像双下巴去除方法，其特征在于，所述步骤(1-7)中，将所述先验信息
Figure FDA0003029858630000034
的语义扩散入
Figure FDA0003029858630000035
中的具体步骤如下：
(1-7-1)将
Figure FDA0003029858630000036
作为不具有双下巴的隐码
Figure FDA0003029858630000037
的初始值；
(1-7-2)根据式(VIII)计算得到像素级重构损失Lr：
Figure FDA0003029858630000038
(1-7-3)根据式(IX)计算得到结构级重构损失Lp：
Figure FDA0003029858630000039
其中，φ表示训练完成的VGG16模型；
(1-7-4)根据式(X)计算得到总损失L：
L＝λrLr+λpLp (X)
其中，λr为像素级重构损失的权重，λp为结构级重构损失的权重；
(1-7-5)利用不断迭代优化
Figure FDA0003029858630000041
使得总损失L最小，得到最终语义扩散结果，
Figure FDA0003029858630000042
与
Figure FDA0003029858630000043
构成成对的具有双下巴和不具有双下巴的隐码。
6.如权利要求4所述的基于深度学习的肖像图像双下巴去除方法，其特征在于，所述步骤(4)中，需要去除双下巴的肖像图像提取方法与所述步骤(1-4)中原始肖像图像xd中脖颈区域的掩膜mneck提取方法相同。
7.如权利要求1所述的基于深度学习的肖像图像双下巴去除方法，其特征在于，将需要去除双下巴的肖像图像
Figure FDA0003029858630000044
使用StyleGAN2提供的投影器进行编码，得到相应的隐码
Figure FDA0003029858630000045
8.如权利要求7所述的基于深度学习的肖像图像双下巴去除方法，其特征在于，所述步骤(3)中，对步骤(2)中得到的隐码
Figure FDA0003029858630000046
进行编辑，得到没有双下巴并且保持其他面部特征不变的新肖像图像的具体步骤如下：
(3-1)对步骤(2)中得到的隐码
Figure FDA0003029858630000047
进行编辑，得到对应的没有双下巴并且保持其他面部特征不变的隐码
Figure FDA0003029858630000048
Figure FDA0003029858630000049
其中，α0为控制nf权重的超参数，所述超参数α0的值可根据实际情况调整；
(3-2)将隐码
Figure FDA00030298586300000410
输入StyleGAN2的生成器中，得到一张没有双下巴并且保持其他面部特征不变的新肖像图像：
Figure FDA00030298586300000411
9.如权利要求8所述的基于深度学习的肖像图像双下巴去除方法，其特征在于，用图像扭曲方法调整新肖像图像中的偏差，将新肖像图像的脖颈和下巴无缝嵌入到所述需要去除双下巴的肖像图像中的具体步骤如下：
(5-1)提取没有双下巴并且保持其他面部特征不变的新肖像图像
Figure FDA00030298586300000412
脖颈区域的掩膜边缘的点集Pneck：
Figure FDA0003029858630000051
其中，
Figure FDA0003029858630000052
为新肖像图像
Figure FDA0003029858630000053
的脖颈边缘选择的点，Npoint为新肖像图像
Figure FDA0003029858630000054
的脖颈边缘选取的点的个数；
(5-2)分别提取需要去除双下巴的肖像图像
Figure FDA0003029858630000055
和新肖像图像
Figure FDA0003029858630000056
中的点集Pface1和Pface2：
Figure FDA0003029858630000057
Figure FDA0003029858630000058
其中，
Figure FDA0003029858630000059
为从
Figure FDA00030298586300000518
的面部掩膜边缘选择的点，
Figure FDA00030298586300000510
为从
Figure FDA00030298586300000511
的面部掩膜边缘选择的点，
Figure FDA00030298586300000512
和
Figure FDA00030298586300000513
的y坐标相同，P0为一个固定的点集；
(5-3)基于Pface1构建Delaunay三角形集D，采用Delaunay三角形集D扭曲
Figure FDA00030298586300000514
即推拉Pface2到Pface1的位置，使
Figure FDA00030298586300000515
与
Figure FDA00030298586300000516
的面部边缘对齐；
(5-4)计算得到去除双下巴后的肖像图像x：
Figure FDA00030298586300000517
其中，warp为扭曲操作。
10.一种基于深度学习的肖像图像双下巴去除方法装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机处理器执行权利要求1～9任意一项所述的基于深度学习的肖像图像双下巴去除方法。
CN202110426710.0A 2021-04-20 2021-04-20 一种基于深度学习的肖像图像双下巴去除方法 Active CN113034355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110426710.0A CN113034355B (zh) 2021-04-20 2021-04-20 一种基于深度学习的肖像图像双下巴去除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110426710.0A CN113034355B (zh) 2021-04-20 2021-04-20 一种基于深度学习的肖像图像双下巴去除方法

Publications (2)

Publication Number Publication Date
CN113034355A true CN113034355A (zh) 2021-06-25
CN113034355B CN113034355B (zh) 2022-06-21

Family

ID=76457084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110426710.0A Active CN113034355B (zh) 2021-04-20 2021-04-20 一种基于深度学习的肖像图像双下巴去除方法

Country Status (1)

Country Link
CN (1) CN113034355B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781355A (zh) * 2021-09-18 2021-12-10 厦门美图之家科技有限公司 一种图像中双下巴修饰方法、装置、设备及存储介质
CN114007099A (zh) * 2021-11-04 2022-02-01 北京搜狗科技发展有限公司 一种视频处理方法、装置和用于视频处理的装置
CN114845067A (zh) * 2022-07-04 2022-08-02 中科计算技术创新研究院 基于隐空间解耦的人脸编辑的深度视频传播方法
CN116543265A (zh) * 2023-06-07 2023-08-04 厦门像甜科技有限公司 一种去除图片人物双下巴模型的训练方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732506A (zh) * 2015-03-27 2015-06-24 浙江大学 一种基于人脸语义分析的人物照片颜色风格转换方法
CN110222628A (zh) * 2019-06-03 2019-09-10 电子科技大学 一种基于生成式对抗网络的人脸修复方法
CN111445410A (zh) * 2020-03-26 2020-07-24 腾讯科技（深圳）有限公司 基于纹理图像的纹理增强方法、装置、设备和存储介质
WO2020191389A1 (en) * 2019-03-21 2020-09-24 Illumina, Inc. Training data generation for artificial intelligence-based sequencing
CN112308957A (zh) * 2020-08-14 2021-02-02 浙江大学 一种基于深度学习的最佳胖瘦人脸肖像图像自动生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732506A (zh) * 2015-03-27 2015-06-24 浙江大学 一种基于人脸语义分析的人物照片颜色风格转换方法
WO2020191389A1 (en) * 2019-03-21 2020-09-24 Illumina, Inc. Training data generation for artificial intelligence-based sequencing
CN110222628A (zh) * 2019-06-03 2019-09-10 电子科技大学 一种基于生成式对抗网络的人脸修复方法
CN111445410A (zh) * 2020-03-26 2020-07-24 腾讯科技（深圳）有限公司 基于纹理图像的纹理增强方法、装置、设备和存储介质
CN112308957A (zh) * 2020-08-14 2021-02-02 浙江大学 一种基于深度学习的最佳胖瘦人脸肖像图像自动生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李泽文等: "基于残差生成对抗网络的人脸图像复原", 《计算机科学》, 15 June 2020 (2020-06-15) *
范春奇等: "基于深度学习的数字图像修复算法最新进展", 《信号处理》, no. 01, 25 January 2020 (2020-01-25) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781355A (zh) * 2021-09-18 2021-12-10 厦门美图之家科技有限公司 一种图像中双下巴修饰方法、装置、设备及存储介质
CN113781355B (zh) * 2021-09-18 2024-05-03 厦门美图之家科技有限公司 一种图像中双下巴修饰方法、装置、设备及存储介质
CN114007099A (zh) * 2021-11-04 2022-02-01 北京搜狗科技发展有限公司 一种视频处理方法、装置和用于视频处理的装置
CN114845067A (zh) * 2022-07-04 2022-08-02 中科计算技术创新研究院 基于隐空间解耦的人脸编辑的深度视频传播方法
CN116543265A (zh) * 2023-06-07 2023-08-04 厦门像甜科技有限公司 一种去除图片人物双下巴模型的训练方法

Also Published As

Publication number Publication date
CN113034355B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN113034355B (zh) 一种基于深度学习的肖像图像双下巴去除方法
CN109376582B (zh) 一种基于生成对抗网络的交互式人脸卡通方法
Liu et al. Structure-guided image inpainting using homography transformation
Zhang et al. Text-guided neural image inpainting
CN111696028A (zh) 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质
Zhang et al. Bionic face sketch generator
Shamai et al. Synthesizing facial photometries and corresponding geometries using generative adversarial networks
Kumar et al. Image data augmentation approaches: A comprehensive survey and future directions
Chen et al. Face sketch synthesis with style transfer using pyramid column feature
Shi et al. Retrieval-based spatially adaptive normalization for semantic image synthesis
CN113963409A (zh) 一种人脸属性编辑模型的训练以及人脸属性编辑方法
Groshev et al. GHOST—a new face swap approach for image and video domains
CN113470182A (zh) 人脸几何特征编辑方法及深度人脸重塑编辑方法
CN113393546B (zh) 基于服装类别及纹理图案控制的时尚服装图像生成方法
CN118570054B (zh) 图像生成模型的训练方法、相关装置和介质
Yu et al. End-to-end partial convolutions neural networks for Dunhuang grottoes wall-painting restoration
Kim et al. Collaborative score distillation for consistent visual synthesis
CN111275778A (zh) 人脸简笔画生成方法及装置
CN113052783A (zh) 一种基于人脸关键点的人脸图像融合方法
CN114663274A (zh) 一种基于gan网络的肖像图像头发去除方法及装置
Rrmoku et al. Data augmentation techniques for expanding the dataset in the task of image processing
Kapalavai et al. Generating new human faces and improving the quality of images using generative adversarial networks (GAN)
Cao et al. Automatic motion-guided video stylization and personalization
Sankalpa et al. Using generative adversarial networks for conditional creation of Anime posters
CN113781372A (zh) 一种基于深度学习的戏曲脸谱生成方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant