CN108932693A - 基于人脸几何信息的人脸编辑补全方法及装置 - Google Patents
基于人脸几何信息的人脸编辑补全方法及装置 Download PDFInfo
- Publication number
- CN108932693A CN108932693A CN201810623739.6A CN201810623739A CN108932693A CN 108932693 A CN108932693 A CN 108932693A CN 201810623739 A CN201810623739 A CN 201810623739A CN 108932693 A CN108932693 A CN 108932693A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- facial image
- geological information
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000001815 facial effect Effects 0.000 claims abstract description 157
- 230000006870 function Effects 0.000 claims description 48
- 230000011218 segmentation Effects 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 21
- 230000000694 effects Effects 0.000 claims description 15
- 238000012986 modification Methods 0.000 claims description 12
- 230000004048 modification Effects 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000008901 benefit Effects 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Abstract
本发明属于数字图像处理领域，具体涉及一种基于人脸几何信息的人脸编辑补全方法及装置，旨在解决解决如何实现缺失人脸图片的精确补全与属性编辑的技术问题。为此目的，本发明中的基于人脸几何信息的人脸编辑补全方法包括：基于预先构建的人脸几何估计模型并利用包含遮挡区域的目标人脸图像，获得人脸几何信息；基于预先构建的人脸补全网络模型并利用目标人脸图像与人脸几何信息，生成第一完整人脸图像；将第一完整人脸图像中的特定区域替换为目标人脸图像中的未遮挡区域，并对第一完整人脸图像与未遮挡区域进行图像融合，得到第二完整人脸图像。基于本发明的方法可以精确地补全和编辑缺失人脸图片。
Description
技术领域
本发明属于数字图像处理领域，具体涉及一种基于人脸几何信息的人脸编辑补全方法及装置。
背景技术
随着移动互联网的高速发展，人脸的补全与编辑技术得到广泛应用。例如，为了在网上展示更好的图片，人们需要利用人脸补全技术对含有遮挡的人脸图片进行补全，同时也需要利用人脸编辑技术修改人脸的属性，比如将眼睛变大、修瓜子脸等等。
目前，人脸补全与属性编辑技术主要存在的技术难点有：补全后的人脸看上去不真实、补全的区域很容易被区分开来、可编辑的人脸属性较少、以及人脸属性编辑的效果较差等。近年来，深度学习在机器视觉的众多领域都取得了令人瞩目的效果，其中最为瞩目的是卷积神经网络模型，卷积神经网络模型使用多层卷积层与池化层，可以抽取图像或视频数据中有效的层级化特征，实现较强的非线性表达。基于此，本发明利用深度学习算法，提供了一种基于人脸几何信息的人脸编辑补全方法及装置。
发明内容
为了解决现有技术中的上述问题，即为了解决如何实现缺失人脸图片的精确补全与属性编辑的技术问题。为此目的，本发明的一方面，提供了一种基于人脸几何信息的人脸编辑补全方法，包括：
基于预先构建的人脸几何估计模型并利用包含遮挡区域的目标人脸图像，获得人脸几何信息；
基于预先构建的人脸补全网络模型并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像；
将所述第一完整人脸图像中的特定区域替换为所述目标人脸图像中的未遮挡区域，并对所述第一完整人脸图像与所述未遮挡区域进行图像融合，得到第二完整人脸图像；
其中，所述人脸几何估计模型和人脸补全网络模型均是基于深度神经网络并利用机器学习算法所构建的神经网络模型；所述特定区域是所述第一完整人脸图像中与所述目标人脸图像的未遮挡区域对应的图像区域。
进一步地，本发明提供的一个优选技术方案为：
在“基于预先构建的人脸补全网络模型并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤之前，所述方法还包括：
基于预设的人脸属性修改信息对所述人脸几何信息进行修改；
相应地，“基于预先构建的人脸补全网络模型，并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤是基于所述人脸补全网络模型并利用修改后的人脸几何信息生成第一完整人脸图像。
进一步地，本发明提供的一个优选技术方案为：
所述人脸补全网络模型包括编码网络、第一解码网络以及可选的第二解码网络；“基于预先构建的人脸补全网络模型，并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤包括：
利用所述编码网络并根据所述目标人脸图像与人脸几何信息，生成所述目标人脸图像的人脸特征向量；
利用所述第一解码网络并根据所述人脸特征向量生成第一完整人脸图像；以及可选地，
根据所述人脸特征向量提取所述目标人脸图像中受遮挡区域对应的遮挡特征向量；利用所述第二解码网络并根据所述遮挡特征向量，生成遮挡图像。
进一步地，本发明提供的一个优选技术方案为：
“利用所述编码网络并根据所述目标人脸图像与人脸几何信息，生成所述目标人脸图像的人脸特征向量”的步骤包括：将所述目标人脸图像和人脸几何信息进行数据串联得到整体数据；
利用所述编码网络并根据所述整体数据生成所述人脸特征向量。
进一步地，本发明提供的一个优选技术方案为：
当所述人脸补全网络模型包括编码网络和第一解码网络时，在“基于预先构建的人脸补全网络模型，并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤之前，所述方法还包括按如下式所示的损失函数Lloss对人脸几何估计模型进行网络训练：
Lloss＝Lq
其中，所述Lq是所述第一解码网络对应的损失函数；
当所述人脸补全网络模型包括编码网络、第一解码网络和第二解码网络时，在“基于预先构建的人脸补全网络模型，并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤之前，所述方法还包括按如下式所示的损失函数Lloss对人脸几何估计模型进行网络训练：
Lloss＝Lq+Lo
其中，所述Lo是所述第二解码网络对应的损失函数。
进一步地，本发明提供的一个优选技术方案为：
所述损失函数Lq如下式所示：
Lq＝λ1Lmse+λ2Lrec+λ3Ladv+λ4Lsym+λ5Ltv
其中，所述λ1、λ2、λ3、λ4、λ5分别为预设的人脸补全网络模型的权重系数；所述Lmse为对所述人脸几何估计模型进行网络训练时所使用的损失函数，所述Lrec为预设的L1损失函数；所述Ladv为预设的对抗损失函数；所述Lsym为预设的对称损失函数；所述Ltv为抑制棋盘效应的损失函数；
所述Lrec如下式所示：
其中，所述W为预设的真实人脸图像I和第一完整人脸图像Ig的宽度，所述H为所述I和Ig的高度，所述Iij表示预设的真实人脸图像I中第i列j行的像素值，所述表示所述第一完整人脸图像Ig中第i列j行的像素值，所述真实人脸图像是所述目标人脸图像对应的不包含遮挡区域的人脸图像；
所述Ladv如下式所示：
其中，所述N为一个训练批次的图像数量；所述D(Ig)表示第一完整人脸图像Ig是真实图像的概率；所述D(I)表示真实人脸图像I是真实图像的概率；
所述Lsym如下式所示：
其中，所述表示所述第一完整人脸图像Ig中第W-(i-1)列j行的像素值；
所述Ltv如下式所示：
其中，所述表示所述第一完整人脸图像Ig中第i+1列j行的像素值；所述表示所述第一完整人脸图像Ig中第i列j+1行的像素值。
进一步地，本发明提供的一个优选技术方案为：
当所述人脸几何信息是多个预设的人脸关键点对应的人脸关键点热度图像或人脸语义分割图像时，在“基于预先构建的人脸几何估计模型，并利用包含遮挡区域的目标人脸图像，获得人脸几何信息”的步骤之前，所述方法还包括：
按如下式所示的损失函数Lmse对人脸几何估计模型进行网络训练：
其中，所述W为人脸几何信息图像Lg的宽度，所述人脸几何信息图像Lg是所述人脸关键点热度图像或人脸语义分割图像；所述H为所述人脸几何信息图像Lg的高度；所述为所述人脸几何信息图像Lg中第i列j行的像素值；所述Lij为预设的真实人脸图像对应的真实人脸几何信息图像L中第i列j行的像素值，所述真实人脸图像是所述目标人脸图像对应的不包含遮挡区域的人脸图像，所述真实人脸几何信息图像L是所述人脸关键点对应的人脸关键点热度图像或人脸语义分割图像，并且所述真实人脸几何信息图像L取决于人脸几何信息图像Lg。
进一步地，本发明提供的一个优选技术方案为：
当所述人脸几何信息包括多个预设的人脸关键点对应的人脸关键点热度图像和人脸语义分割图像时，在“基于预先构建的人脸几何估计模型，并利用包含遮挡区域的目标人脸图像，获得对应的人脸几何信息”的步骤之前，所述方法还包括：
按如下式所示的损失函数Lmse对人脸几何估计模型进行网络训练：
其中，所述W为人脸关键点热度图像Qg和人脸语义分割图像Pg的宽度；所述H为所述Qg和Pg的高度；所述Qij为预设的真实人脸图像对应的真实人脸关键点热度图像Q中第i列j行的像素值；所述为所述Qg中第i列j行的像素值；所述Pij为所述真实人脸图像对应的真实人脸语义分割图像P中第i列j行的像素值；所述为所述Pg中第i列j行的像素值；所述真实人脸图像是所述目标人脸图像对应的不包含遮挡区域的人脸图像。
进一步地，本发明提供的一个优选技术方案为：
“对所述第一完整人脸图像与所述未遮挡区域进行图像融合，得到第二完整人脸图像”的步骤包括：
利用泊松图像融合方法对所述第一完整人脸图像与未遮挡区域进行图像融合，得到第二完整人脸图像。
本发明的另一方面，还提供了一种控制装置，包括：
处理器，适于执行各条程序；
存储设备，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现上述的基于人脸几何信息的人脸编辑补全方法。
与最接近的现有技术相比，上述技术方案至少具有如下有益效果：
本发明基于人脸几何估计模型，从有遮挡的目标人脸图像中估计出合理的人脸几何信息；基于人脸补全网络模型，并利用该人脸几何信息和目标人脸图像，分解出第一完整人脸图像；最后利用图像融合技术，将第一完整人脸图像中特定区域与有遮挡的人脸图像中对应区域进行融合，最终可以得到精准的完整人脸图像。
本发明可以根据人脸属性修改需求，对人脸几何信息进行相应修改，相应地，最终得到满足人脸属性需求的完整人脸图像，比如将眼睛放大、脸型变尖等。
附图说明
图1是本发明实施例中基于人脸几何信息的人脸编辑补全方法的主要步骤示意图；
图2是本发明实施例中目标人脸图像和人脸几何信息进行数据串联得到整体数据的主要步骤示意图；
图3是本发明实施例中人脸几何估计模型的主要结构示意图；
图4是本发明实施例中人脸补全网络模型的主要结构示意图；
图5是本发明实施例中没有修改人脸几何信息补全的完整人脸图像的效果对比示意图；
图6是本发明实施例中修改人脸几何信息后补全的完整人脸图像的效果对比示意图；
图7本发明实施例中修改不同的人脸几何信息后补全的人脸图像效果对比示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
随着互联网的高速发展，很多领域需要完整的人脸图像进行相应的处理或应用，然而由于种种原因，采集的人脸图像存在不完整、受遮挡、污损等情况，为了得到高质量的人脸补全图像，本发明提供了一种基于人脸几何信息的人脸编辑补全方法。
下面结合附图，对本发明提供的基于人脸几何信息的人脸编辑补全方法进行说明。
参阅附图1，图1示例性示出了本发明实施例中基于人脸几何信息的人脸编辑补全方法的主要步骤，如图1所示，本实施例中基于人脸几何信息的人脸编辑补全方法可以包括下述内容：
步骤S101：基于预先构建的人脸几何估计模型并利用包含遮挡区域的目标人脸图像，获得人脸几何信息。
具体地，包含遮挡区域的目标人脸图像可以理解为人脸图像的部分区域不完整、被遮挡、污损的人脸图像。人脸几何信息可以是多个预设的人脸关键点对应的人脸关键点热度图或者人脸语义分割图，也可以是多个预设的人脸关键点对应的人脸关键点热度图和人脸语义分割图。本实施中，人脸几何信息是多个预设的人脸关键点对应的人脸关键点热度图和人脸语义分割图。人脸关键点热度图中预先定义了人脸的68个关键点的位置，其包含了人脸的眉毛，眼镜，鼻子，嘴巴，脸颊轮廓的位置信息；人脸语义分割图中使用不同的颜色标记了人的眉毛，眼睛，鼻子，嘴巴，脸颊，头发。
人脸几何估计模型是基于深度神经网络并利用机器学习算法所构建的神经网络模型。在人脸几何估计模型的训练阶段，当人脸几何信息是多个预设的人脸关键点对应的人脸关键点热度图像或人脸语义分割图像时，按公式(1)所示的损失函数Lmse1对人脸几何估计模型进行网络训练：
其中，W为人脸几何信息图像Lg的宽度，人脸几何信息图像Lg是人脸关键点热度图像或人脸语义分割图像；H为人脸几何信息图像Lg的高度；为人脸几何信息图像Lg中第i列j行的像素值；Lij为预设的真实人脸图像对应的真实人脸几何信息图像L中第i列j行的像素值，真实人脸图像是目标人脸图像对应的不包含遮挡区域的人脸图像。真实人脸几何信息图像L是人脸关键点对应的人脸关键点热度图像或人脸语义分割图像，并且真实人脸几何信息图像L取决于人脸几何信息图像Lg。
当人脸几何信息包括多个预设的人脸关键点对应的人脸关键点热度图像和人脸语义分割图像时，按公式(2)所示的损失函数Lmse2对人脸几何估计模型进行网络训练：
其中，W为人脸关键点热度图像Qg和人脸语义分割图像Pg的宽度；H为Qg和Pg的高度；Qij为预设的真实人脸图像对应的真实人脸关键点热度图像Q中第i列j行的像素值；为Qg中第i列j行的像素值；Pij为真实人脸图像对应的真实人脸语义分割图像P中第i列j行的像素值；为Pg中第i列j行的像素值；真实人脸图像是目标人脸图像对应的不包含遮挡区域的人脸图像。
步骤S102：基于预先构建的人脸补全网络模型并利用目标人脸图像与人脸几何信息，生成第一完整人脸图像。
人脸补全网络模型是基于深度神经网络并利用机器学习算法所构建的神经网络模型，人脸补全网络模型包括编码网络、第一解码网络以及可选的第二解码网络。具体地，基于人脸补全网络模型并利用目标人脸图像与人脸几何信息生成第一完整人脸图像的步骤包括：
步骤Sa1：将目标人脸图像和人脸几何信息进行数据串联得到整体数据。
参阅附图2，图2示例性示出了本发明实施例中将目标人脸图像和人脸几何信息进行数据串联得到整体数据的主要步骤，如图2所示，本实施例中人脸几何信息包括人脸关键点热度图像和人脸语义分割图像。将目标人脸图像、人脸关键点热度图像和人脸语义分割图像的RGB彩色通道数据进行串联，得到一个整体数据。目标人脸图像、人脸关键点热度图像和人脸语义分割图像的大小均为3×128×128，所以串联后的整体数据的大小为9×128×128。值得注意的是，图像的串联的顺序不是固定的，可以进行调整。
步骤Sa2：利用编码网络并根据整体数据生成人脸特征向量。
具体地，人脸特征向量是包含有遮挡区域的人脸上下文的特征向量与对应人脸几何信息的特征向量。
步骤Sa3：利用第一解码网络并根据人脸特征向量生成第一完整人脸图像。
本实施例中，在上述步骤Sa2之后，可选地可以根据人脸特征向量提取目标人脸图像中遮挡区域对应的遮挡特征向量；利用第二解码网络并根据遮挡特征向量，生成遮挡图像。其中遮挡特征向量包含遮挡区域的形状和位置信息，相应地，利用第二解码网络生成的遮挡图像中也对应着遮挡区域的形状和位置。
进一步地，当人脸补全网络模型包括编码网络和第一解码网络时，按如公式(3)所示的损失函数Lloss1对人脸几何估计模型进行网络训练：
Lloss1＝Lq (3)
其中，Lq是第一解码网络对应的损失函数。
当人脸补全网络模型包括编码网络、第一解码网络和第二解码网络时，如公式(4)所示的损失函数Lloss2对人脸几何估计模型进行网络训练：
Lloss2＝Lq+Lo (4)
其中，Lo是第二解码网络对应的损失函数。
进一步地，损失函数Lq如公式(5)所示：
Lq＝λ1Lmse+λ2Lrec+λ3Ladv+λ4Lsym+λ5Ltv (5)
其中，λ1、λ2、λ3、λ4、λ5分别为预设的人脸补全网络模型的权重系数；Lmse为对人脸几何估计模型进行网络训练时所使用的损失函数，Lrec为预设的L1损失函数；Ladv为预设的对抗损失函数；Lsym为预设的对称损失函数；Ltv为抑制棋盘效应的损失函数。
为了计算真实人脸图像与生成的第一完整人脸图像像素级别的误差，采用常规的L1矩阵计算公式计算其损失，本实施中L1损失函数如公式(6)所示：
其中，W1为预设的真实人脸图像I和第一完整人脸图像Ig的宽度，H1为I和Ig的高度，Iij表示预设的真实人脸图像I中第i列j行的像素值，表示第一完整人脸图像Ig中第i列j行的像素值，真实人脸图像是目标人脸图像对应的不包含遮挡区域的人脸图像。
在训练人脸补全网络模型时，引入的一个判别器D，用于判别人脸补全网络模型输入图像是真实人脸图像的概率，判别器D对应的损失函数为对抗损失函数Ladv，Ladv如公式(7)所示：
其中，N为一个训练批次的图像数量；D(Ig)表示第一完整人脸图像Ig是真实图像的概率；D(I)表示真实人脸图像I是真实图像的概率。
考虑到人脸的左右对称结构，增加了约束人脸对称结构的对称损失函数Lsym如公式(8)所示：
其中，表示第一完整人脸图像Ig中第W-(i-1)列j行的像素值。
为了抑制生成的第一完整人脸图像产生棋盘效应，增加了抑制棋盘效应的损失函数Ltv如公式(9)所示：
其中，表示第一完整人脸图像Ig中第i+1列j行的像素值；表示第一完整人脸图像Ig中第i列j+1行的像素值。
进一步地，第二解码网络对应的损失函数Lo如公式(10)所示：
Lrank＝||Mg||* (12)
其中，β1,β2分别表示预设的权重系数，Mi,j表示真实的遮挡图像M中第i列j行的像素值，生成的遮挡图像Mg中第i列j行的像素值，||Mg||*表示Mg的核范数。本实施例中由于遮挡图像具有低秩的特性，所以遮挡图像的约束为低秩约束，这里使用核范数的大小近似代替遮挡矩阵的秩。
进一步地，本实施例中在步骤S102之前，可以基于预设的人脸属性修改信息对人脸几何信息进行修改，相应地，步骤S102是基于人脸补全网络模型并利用目标人脸图像和修改后的人脸几何信息生成第一完整人脸图像。
步骤S103：将第一完整人脸图像中的特定区域替换为目标人脸图像中的未遮挡区域，并对第一完整人脸图像与未遮挡区域进行图像融合，得到第二完整人脸图像。
具体地，特定区域是第一完整人脸图像中与目标人脸图像的未遮挡区域对应的图像区域。对第一完整人脸图像与未遮挡区域进行图像融合的方法是泊松图像融合方法。值得注意的是，这里的泊松图像融合首先要求补全区域与未遮挡区域在遮挡边界上的值尽可能的相同；其次，要求补全区域的图像的梯度函数与未遮挡区域的梯度函数可以保持连续；这样可以很好的消除人脸补全区域的明显边界。
下面通过另一实施例来说明本发明基于人脸几何信息的编辑补全方法的具体实施方式。
在实施案例中，采用Multi-PIE数据集的正脸与均匀光照的图片来训练与测试，共计345个人的4539张图片。其中前250人的3627张图片用于训练网络，后95人的912张图片用于测试网络。这样训练集与测试集上是不存在属于同一个人的图片。还采用了CelebA数据集作为自然场景下的人脸图片，按照该数据集的标准测试协议，其中的162770张图片用于训练，19962张图片用于测试。
本实施例中，基于人脸几何信息的人脸编辑补全方法，具体步骤如下：
步骤S1：数据预处理，并设计人脸几何估计模型。
具体地，人脸几何估计模型的输入数据是由真实人脸图像加上白色遮挡块构成。
参阅附图3，图3示例性示出了人脸几何估计模型的主要结构，如图3所示，该模型包含卷积层、3个残差块、2个堆叠的沙漏结构，并有一个1*1的卷积层来提取人脸几何信息的特征，两个分支网络将分别用于生成68个关键点的人脸关键点热度图和人脸语义分割图。这两个分支网络具有相同的结构，每个分支网络都包含一个2倍的上采样加两个卷积层构成的网络模块和转化RGB图像模块。
步骤S2：将人脸的几何信息图片与输入的有遮挡区域的目标人脸图像串联得到一个整体数据，将该整体数据输入人脸补全网络模型，以及可选择地，在输入前可以交互式地修改人脸几何信息来达到改变人脸属性的效果。
参阅附图4，图4示例性示出了人脸补全网络模型的主要结构，如图4所示，该模型包含编码网络、第一解码网络和第二解码网络。它们都是由九个残差块首尾依次相连组成，并且编码网络与解码网络有着对称的结构。输出的第一完整人脸图像和遮挡图像分别受到各自的目标函数的约束。需要说明的是，本实施例中编码网络、第一解码网络和第二解码网络是同时训练的，人脸补全网络模型输出的第一完整人脸图像以及遮挡图像分别受真实人脸图像和真实遮挡图像的监督。其中人脸补全网络模型通过一个判别器来区分真实人脸图像和第一完整人脸图像。
步骤S3：计算出人脸几何估计模型的损失函数和人脸补全网络模型的损失函数后，使用链式法则计算出损失对于网络参数的梯度，并反传更新网络的参数来训练网络。随着训练的不断进行，不断调整学习率，直至训练损失不再降低或变化大小于某个阈值，从而得到最终模型。
步骤S4，由步骤S3得到的训练好的人脸几何估计模型和人脸补全网络模型，将包含有遮挡区域的目标人脸图像输入到人脸几何估计模型，估计出合理的人脸的几何信息(包括68个关键点的人脸关键点热度图像与人脸语义分割图像)。
步骤S5，将步骤S4获得人脸的几何信息与目标人脸图像串联起来输入到人脸补全网络模型中，获得补全的第一完整人脸图片与对应于目标人脸区域中遮挡区域的遮挡图像。
步骤S6，将步骤S5中得到的补全的第一完整人脸图像中原本未被遮挡的区域替换为目标人脸图像中对应的区域，再采用泊松融合消除图片补全区域的边界，得到最终编辑补全好的完整人脸图像。
参阅附图5，图5示例性示出了本实施中没有修改人脸几何信息补全的完整人脸图像的效果对比图，如图5所示从左向右数第1列为包含有遮挡区域的人脸图像，从左向右数第2列为对应的没有修改人脸几何信息补全的完整人脸图像，从左向右数第3列为真实人脸图像，从图中可以看出三位男性长相相似，通过本发明的方法可以精准的提取目标人脸图像的特征信息并生成高质量的人脸图像。
继续参阅附图6，图6示例性示出了本实施中修改人脸几何信息后补全的完整人脸图像的效果对比图，如图6所示从左向右数第1列为包含有遮挡区域的人脸图像，从左向右数第2列为对应的基于本发明方法补全的完整人脸图像，从左向右数第3列为真实人脸图像，从图中可以看出补全的完整人脸图像与真实人脸图像相比，根据用户的人脸属性修改需求修改人脸几何信息可以实现美颜效果。
继续参阅附图7，图7示例性示出了本实施例中修改不同人脸几何信息后补全的人脸图像效果对比图，如图7所示，从左向右数第1列为包含有遮挡区域的人脸图像，从左向右数第2列为对应68个关键点的人脸关键点热度图，从左向右数第3列为对应的人脸语义分割图，从左向右数第4列为补全的完整人脸图像，从左向右数第5列为真实人脸图像。第一行和第二行不同之处在于将眼睛部位对应的人脸几何信息进行了不同的属性修改，第三行和第四行的不同之处在于将嘴巴部位对应的人脸几何信息进行了不同属性修改，可以看出本发明的方法可以根据用户的不同需求对人脸属性进行不同修改。
进一步地，基于上述基于人脸几何信息的人脸编辑补全方法实施例，本发明还提供了一种处理装置，该处理装置可以包括处理器、存储设备；处理器，适于执行各条程序；存储设备，适于存储多条程序；程序适于由处理器加载并执行如上述的基于人脸几何信息的人脸编辑补全方法。
所属技术领域的技术人员可以清楚地了解到，为了描述的方便和简洁，本发明实施例的装置的具体工作过程以及相关说明，可以参考前述实施例方法中的对应过程，且与上述方法具有相同的有益效果，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤及装置，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于人脸几何信息的人脸编辑补全方法，其特征在于包括：
基于预先构建的人脸几何估计模型并利用包含遮挡区域的目标人脸图像，获得人脸几何信息；
基于预先构建的人脸补全网络模型并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像；
将所述第一完整人脸图像中的特定区域替换为所述目标人脸图像中的未遮挡区域，并对所述第一完整人脸图像与所述未遮挡区域进行图像融合，得到第二完整人脸图像；
其中，所述人脸几何估计模型和人脸补全网络模型均是基于深度神经网络并利用机器学习算法所构建的神经网络模型；所述特定区域是所述第一完整人脸图像中与所述目标人脸图像的未遮挡区域对应的图像区域。
2.根据权利要求1所述的基于人脸几何信息的人脸编辑补全方法，其特征在于，在“基于预先构建的人脸补全网络模型并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤之前，所述方法还包括：
基于预设的人脸属性修改信息对所述人脸几何信息进行修改；
相应地，“基于预先构建的人脸补全网络模型，并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤是基于所述人脸补全网络模型并利用修改后的人脸几何信息生成第一完整人脸图像。
3.根据权利要求1或2所述的基于人脸几何信息的人脸编辑补全方法，其特征在于，所述人脸补全网络模型包括编码网络、第一解码网络以及可选的第二解码网络；“基于预先构建的人脸补全网络模型，并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤包括：
利用所述编码网络并根据所述目标人脸图像与人脸几何信息，生成所述目标人脸图像的人脸特征向量；
利用所述第一解码网络并根据所述人脸特征向量生成第一完整人脸图像；以及可选地，
根据所述人脸特征向量提取所述目标人脸图像中受遮挡区域对应的遮挡特征向量；利用所述第二解码网络并根据所述遮挡特征向量，生成遮挡图像。
4.根据权利要求3所述的基于人脸几何信息的人脸编辑补全方法，其特征在于，“利用所述编码网络并根据所述目标人脸图像与人脸几何信息，生成所述目标人脸图像的人脸特征向量”的步骤包括：将所述目标人脸图像和人脸几何信息进行数据串联得到整体数据；
利用所述编码网络并根据所述整体数据生成所述人脸特征向量。
5.根据权利要求3所述的基于人脸几何信息的人脸编辑补全方法，其特征在于，
当所述人脸补全网络模型包括编码网络和第一解码网络时，在“基于预先构建的人脸补全网络模型，并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤之前，所述方法还包括按如下式所示的损失函数Lloss对人脸几何估计模型进行网络训练：
Lloss＝Lq
其中，所述Lq是所述第一解码网络对应的损失函数；
当所述人脸补全网络模型包括编码网络、第一解码网络和第二解码网络时，在“基于预先构建的人脸补全网络模型，并利用所述目标人脸图像与所述人脸几何信息，生成第一完整人脸图像”的步骤之前，所述方法还包括按如下式所示的损失函数Lloss对人脸几何估计模型进行网络训练：
Lloss＝Lq+Lo
其中，所述Lo是所述第二解码网络对应的损失函数。
6.根据权利要求5所述的基于人脸几何信息的人脸编辑补全方法，其特征在于，所述损失函数Lq如下式所示：
Lq＝λ1Lmse+λ2Lrec+λ3Ladv+λ4Lsym+λ5Ltv
其中，所述λ1、λ2、λ3、λ4、λ5分别为预设的人脸补全网络模型的权重系数；所述Lmse为对所述人脸几何估计模型进行网络训练时所使用的损失函数，所述Lrec为预设的L1损失函数；所述Ladv为预设的对抗损失函数；所述Lsym为预设的对称损失函数；所述Ltv为抑制棋盘效应的损失函数；
所述Lrec如下式所示：
其中，所述W为预设的真实人脸图像I和第一完整人脸图像Ig的宽度，所述H为所述I和Ig的高度，所述Iij表示预设的真实人脸图像I中第i列j行的像素值，所述表示所述第一完整人脸图像Ig中第i列j行的像素值，所述真实人脸图像是所述目标人脸图像对应的不包含遮挡区域的人脸图像；
所述Ladv如下式所示：
其中，所述N为一个训练批次的图像数量；所述D(Ig)表示第一完整人脸图像Ig是真实图像的概率；所述D(I)表示真实人脸图像I是真实图像的概率；
所述Lsym如下式所示：
其中，所述表示所述第一完整人脸图像Ig中第W-(i-1)列j行的像素值；
所述Ltv如下式所示：
其中，所述表示所述第一完整人脸图像Ig中第i+1列j行的像素值；所述表示所述第一完整人脸图像Ig中第i列j+1行的像素值。
7.根据权利要求1或2所述的基于人脸几何信息的人脸编辑补全方法，其特征在于，当所述人脸几何信息是多个预设的人脸关键点对应的人脸关键点热度图像或人脸语义分割图像时，在“基于预先构建的人脸几何估计模型，并利用包含遮挡区域的目标人脸图像，获得人脸几何信息”的步骤之前，所述方法还包括：
按如下式所示的损失函数Lmse对人脸几何估计模型进行网络训练：
其中，所述W为人脸几何信息图像Lg的宽度，所述人脸几何信息图像Lg是所述人脸关键点热度图像或人脸语义分割图像；所述H为所述人脸几何信息图像Lg的高度；所述为所述人脸几何信息图像Lg中第i列j行的像素值；所述Lij为预设的真实人脸图像对应的真实人脸几何信息图像L中第i列j行的像素值，所述真实人脸图像是所述目标人脸图像对应的不包含遮挡区域的人脸图像，所述真实人脸几何信息图像L是所述人脸关键点对应的人脸关键点热度图像或人脸语义分割图像，并且所述真实人脸几何信息图像L取决于人脸几何信息图像Lg。
8.根据权利要求1或2所述的基于人脸几何信息的人脸编辑补全方法，其特征在于，当所述人脸几何信息包括多个预设的人脸关键点对应的人脸关键点热度图像和人脸语义分割图像时，在“基于预先构建的人脸几何估计模型，并利用包含遮挡区域的目标人脸图像，获得对应的人脸几何信息”的步骤之前，所述方法还包括：
按如下式所示的损失函数Lmse对人脸几何估计模型进行网络训练：
其中，所述W为人脸关键点热度图像Qg和人脸语义分割图像Pg的宽度；所述H为所述Qg和Pg的高度；所述Qij为预设的真实人脸图像对应的真实人脸关键点热度图像Q中第i列j行的像素值；所述为所述Qg中第i列j行的像素值；所述Pij为所述真实人脸图像对应的真实人脸语义分割图像P中第i列j行的像素值；所述为所述Pg中第i列j行的像素值；所述真实人脸图像是所述目标人脸图像对应的不包含遮挡区域的人脸图像。
9.根据权利要求1或2所述的基于人脸几何信息的人脸编辑补全方法，其特征在于，“对所述第一完整人脸图像与所述未遮挡区域进行图像融合，得到第二完整人脸图像”的步骤包括：
利用泊松图像融合方法对所述第一完整人脸图像与未遮挡区域进行图像融合，得到第二完整人脸图像。
10.一种控制装置，包括：
处理器，适于执行各条程序；
存储设备，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-9中任一项所述的基于人脸几何信息的人脸编辑补全方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810623739.6A CN108932693B (zh) | 2018-06-15 | 2018-06-15 | 基于人脸几何信息的人脸编辑补全方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810623739.6A CN108932693B (zh) | 2018-06-15 | 2018-06-15 | 基于人脸几何信息的人脸编辑补全方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108932693A true CN108932693A (zh) | 2018-12-04 |
| CN108932693B CN108932693B (zh) | 2020-09-22 |
Family
ID=64446582
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810623739.6A Active CN108932693B (zh) | 2018-06-15 | 2018-06-15 | 基于人脸几何信息的人脸编辑补全方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108932693B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109657595A (zh) * | 2018-12-12 | 2019-04-19 | 中山大学 | 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法 |
| CN109684973A (zh) * | 2018-12-18 | 2019-04-26 | 哈尔滨工业大学 | 基于对称一致性的卷积神经网络的人脸图像填充系统 |
| CN109815928A (zh) * | 2019-01-31 | 2019-05-28 | 中国电子进出口有限公司 | 一种基于对抗学习的人脸图像合成方法和装置 |
| CN109859112A (zh) * | 2018-12-21 | 2019-06-07 | 航天信息股份有限公司 | 一种实现人脸补全的方法及系统 |
| CN109886121A (zh) * | 2019-01-23 | 2019-06-14 | 浙江大学 | 一种遮挡鲁棒的人脸关键点定位方法 |
| CN110009573A (zh) * | 2019-01-29 | 2019-07-12 | 北京奇艺世纪科技有限公司 | 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN110363134A (zh) * | 2019-07-10 | 2019-10-22 | 电子科技大学 | 一种基于语义分割的人脸遮挡区定位方法 |
| CN110929651A (zh) * | 2019-11-25 | 2020-03-27 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111093029A (zh) * | 2019-12-31 | 2020-05-01 | 深圳云天励飞技术有限公司 | 图像处理方法及相关装置 |
| CN111382653A (zh) * | 2018-12-29 | 2020-07-07 | 沈阳新松机器人自动化股份有限公司 | 一种人体坐姿的监督方法 |
| CN111563427A (zh) * | 2020-04-23 | 2020-08-21 | 中国科学院半导体研究所 | 人脸图像属性编辑方法、装置及设备 |
| CN111640076A (zh) * | 2020-05-29 | 2020-09-08 | 北京金山云网络技术有限公司 | 一种图像补全方法、装置及电子设备 |
| CN111814566A (zh) * | 2020-06-11 | 2020-10-23 | 北京三快在线科技有限公司 | 图像编辑方法、装置、电子设备及存储介质 |
| CN111914617A (zh) * | 2020-06-10 | 2020-11-10 | 华南理工大学 | 一种基于平衡栈式生成式对抗网络的人脸属性编辑方法 |
| WO2021008166A1 (zh) * | 2019-07-17 | 2021-01-21 | 北京京东尚科信息技术有限公司 | 用于虚拟试衣的方法和装置 |
| CN112419170A (zh) * | 2020-10-16 | 2021-02-26 | 上海哔哩哔哩科技有限公司 | 遮挡检测模型的训练方法及人脸图像的美化处理方法 |
| CN112446364A (zh) * | 2021-01-29 | 2021-03-05 | 中国科学院自动化研究所 | 高清人脸替换视频生成方法及系统 |
| CN112749609A (zh) * | 2020-07-23 | 2021-05-04 | 腾讯科技（深圳）有限公司 | 人体图像分割方法、装置、计算机设备及存储介质 |
| CN113538213A (zh) * | 2021-06-09 | 2021-10-22 | 华南师范大学 | 妆容迁移的数据处理方法、系统和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090231628A1 (en) * | 2008-03-14 | 2009-09-17 | Seiko Epson Corporation | Image Processing Apparatus, Image Processing Method, Computer Program for Image Processing |
| CN106875329A (zh) * | 2016-12-20 | 2017-06-20 | 北京光年无限科技有限公司 | 一种人脸替换方法及装置 |
| CN107123083A (zh) * | 2017-05-02 | 2017-09-01 | 中国科学技术大学 | 人脸编辑方法 |
| CN107145867A (zh) * | 2017-05-09 | 2017-09-08 | 电子科技大学 | 基于多任务深度学习的人脸及人脸遮挡物检测方法 |
| CN107451965A (zh) * | 2017-07-24 | 2017-12-08 | 深圳市智美达科技股份有限公司 | 畸变人脸图像校正方法、装置、计算机设备和存储介质 |
| CN107507126A (zh) * | 2017-07-27 | 2017-12-22 | 大连和创懒人科技有限公司 | 一种利用rgb图像还原3d场景的方法 |
| CN107909061A (zh) * | 2017-12-07 | 2018-04-13 | 电子科技大学 | 一种基于不完备特征的头部姿态跟踪装置及方法 |
-
2018
- 2018-06-15 CN CN201810623739.6A patent/CN108932693B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090231628A1 (en) * | 2008-03-14 | 2009-09-17 | Seiko Epson Corporation | Image Processing Apparatus, Image Processing Method, Computer Program for Image Processing |
| CN106875329A (zh) * | 2016-12-20 | 2017-06-20 | 北京光年无限科技有限公司 | 一种人脸替换方法及装置 |
| CN107123083A (zh) * | 2017-05-02 | 2017-09-01 | 中国科学技术大学 | 人脸编辑方法 |
| CN107145867A (zh) * | 2017-05-09 | 2017-09-08 | 电子科技大学 | 基于多任务深度学习的人脸及人脸遮挡物检测方法 |
| CN107451965A (zh) * | 2017-07-24 | 2017-12-08 | 深圳市智美达科技股份有限公司 | 畸变人脸图像校正方法、装置、计算机设备和存储介质 |
| CN107507126A (zh) * | 2017-07-27 | 2017-12-22 | 大连和创懒人科技有限公司 | 一种利用rgb图像还原3d场景的方法 |
| CN107909061A (zh) * | 2017-12-07 | 2018-04-13 | 电子科技大学 | 一种基于不完备特征的头部姿态跟踪装置及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 姚乃明等: "基于生成式对抗网络的鲁棒人脸表情识别", 《自动化学报》 * |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109657595A (zh) * | 2018-12-12 | 2019-04-19 | 中山大学 | 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法 |
| CN109684973A (zh) * | 2018-12-18 | 2019-04-26 | 哈尔滨工业大学 | 基于对称一致性的卷积神经网络的人脸图像填充系统 |
| CN109684973B (zh) * | 2018-12-18 | 2023-04-07 | 哈尔滨工业大学 | 基于对称一致性的卷积神经网络的人脸图像填充系统 |
| CN109859112A (zh) * | 2018-12-21 | 2019-06-07 | 航天信息股份有限公司 | 一种实现人脸补全的方法及系统 |
| CN109859112B (zh) * | 2018-12-21 | 2023-09-26 | 航天信息股份有限公司 | 一种实现人脸补全的方法及系统 |
| CN111382653A (zh) * | 2018-12-29 | 2020-07-07 | 沈阳新松机器人自动化股份有限公司 | 一种人体坐姿的监督方法 |
| CN109886121A (zh) * | 2019-01-23 | 2019-06-14 | 浙江大学 | 一种遮挡鲁棒的人脸关键点定位方法 |
| CN109886121B (zh) * | 2019-01-23 | 2021-04-06 | 浙江大学 | 一种遮挡鲁棒的人脸关键点定位方法 |
| CN110009573A (zh) * | 2019-01-29 | 2019-07-12 | 北京奇艺世纪科技有限公司 | 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN110009573B (zh) * | 2019-01-29 | 2022-02-01 | 北京奇艺世纪科技有限公司 | 模型训练、图像处理方法、装置、电子设备及存储介质 |
| CN109815928A (zh) * | 2019-01-31 | 2019-05-28 | 中国电子进出口有限公司 | 一种基于对抗学习的人脸图像合成方法和装置 |
| CN110363134A (zh) * | 2019-07-10 | 2019-10-22 | 电子科技大学 | 一种基于语义分割的人脸遮挡区定位方法 |
| CN110363134B (zh) * | 2019-07-10 | 2021-06-08 | 电子科技大学 | 一种基于语义分割的人脸遮挡区定位方法 |
| US11935167B2 (en) | 2019-07-17 | 2024-03-19 | Reling Jingdong Shangke Information Technology Co., Ltd. | Method and apparatus for virtual fitting |
| WO2021008166A1 (zh) * | 2019-07-17 | 2021-01-21 | 北京京东尚科信息技术有限公司 | 用于虚拟试衣的方法和装置 |
| CN110929651A (zh) * | 2019-11-25 | 2020-03-27 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| US11678734B2 (en) | 2019-11-25 | 2023-06-20 | Beijing Dajia Internet Information Technology Co., Ltd. | Method for processing images and electronic device |
| CN110929651B (zh) * | 2019-11-25 | 2022-12-06 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111093029A (zh) * | 2019-12-31 | 2020-05-01 | 深圳云天励飞技术有限公司 | 图像处理方法及相关装置 |
| CN111093029B (zh) * | 2019-12-31 | 2021-07-06 | 深圳云天励飞技术有限公司 | 图像处理方法及相关装置 |
| CN111563427A (zh) * | 2020-04-23 | 2020-08-21 | 中国科学院半导体研究所 | 人脸图像属性编辑方法、装置及设备 |
| CN111640076A (zh) * | 2020-05-29 | 2020-09-08 | 北京金山云网络技术有限公司 | 一种图像补全方法、装置及电子设备 |
| CN111640076B (zh) * | 2020-05-29 | 2023-10-10 | 北京金山云网络技术有限公司 | 一种图像补全方法、装置及电子设备 |
| CN111914617A (zh) * | 2020-06-10 | 2020-11-10 | 华南理工大学 | 一种基于平衡栈式生成式对抗网络的人脸属性编辑方法 |
| CN111914617B (zh) * | 2020-06-10 | 2024-05-07 | 华南理工大学 | 一种基于平衡栈式生成式对抗网络的人脸属性编辑方法 |
| CN111814566A (zh) * | 2020-06-11 | 2020-10-23 | 北京三快在线科技有限公司 | 图像编辑方法、装置、电子设备及存储介质 |
| CN112749609A (zh) * | 2020-07-23 | 2021-05-04 | 腾讯科技（深圳）有限公司 | 人体图像分割方法、装置、计算机设备及存储介质 |
| CN112749609B (zh) * | 2020-07-23 | 2024-03-19 | 腾讯科技（深圳）有限公司 | 人体图像分割方法、装置、计算机设备及存储介质 |
| CN112419170A (zh) * | 2020-10-16 | 2021-02-26 | 上海哔哩哔哩科技有限公司 | 遮挡检测模型的训练方法及人脸图像的美化处理方法 |
| CN112419170B (zh) * | 2020-10-16 | 2023-09-22 | 上海哔哩哔哩科技有限公司 | 遮挡检测模型的训练方法及人脸图像的美化处理方法 |
| CN112446364A (zh) * | 2021-01-29 | 2021-03-05 | 中国科学院自动化研究所 | 高清人脸替换视频生成方法及系统 |
| US11776576B2 (en) | 2021-01-29 | 2023-10-03 | Institute Of Automation, Chinese Academy Of Sciences | Video generation method and system for high resolution face swapping |
| CN112446364B (zh) * | 2021-01-29 | 2021-06-08 | 中国科学院自动化研究所 | 高清人脸替换视频生成方法及系统 |
| CN113538213A (zh) * | 2021-06-09 | 2021-10-22 | 华南师范大学 | 妆容迁移的数据处理方法、系统和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108932693B (zh) | 2020-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108932693A (zh) | 基于人脸几何信息的人脸编辑补全方法及装置 | |
| Zhang et al. | Semantic image inpainting with progressive generative networks | |
| CN109785258B (zh) | 一种基于多判别器生成对抗网络的人脸图像修复方法 | |
| CN107767413A (zh) | 一种基于卷积神经网络的图像深度估计方法 | |
| CN106910247A (zh) | 用于生成三维头像模型的方法和装置 | |
| CN109559287A (zh) | 一种基于DenseNet生成对抗网络的语义图像修复方法 | |
| CN110119780A (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN109671023A (zh) | 一种人脸图像超分辨率二次重建方法 | |
| CN109815893A (zh) | 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法 | |
| CN109255831A (zh) | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 | |
| CN108596024A (zh) | 一种基于人脸结构信息的肖像生成方法 | |
| CN110378844A (zh) | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 | |
| CN110363716A (zh) | 一种基于条件生成对抗网络复合降质图像高质量重建方法 | |
| CN109685072A (zh) | 一种基于生成对抗网络的复合降质图像高质量重建方法 | |
| CN108830796A (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| CN109872278B (zh) | 基于u形网络和生成对抗网络的图像云层移除方法 | |
| CN110351511A (zh) | 基于场景深度估计的视频帧率上变换系统及方法 | |
| CN109087273A (zh) | 基于增强的神经网络的图像复原方法、存储介质及系统 | |
| CN110276731A (zh) | 内镜图像颜色还原方法及装置 | |
| CN110276354A (zh) | 一种高分辨率街景图片语义分割训练与实时分割方法 | |
| CN107203985A (zh) | 一种端到端深度学习框架下的多曝光图像融合方法 | |
| CN109829959A (zh) | 基于人脸解析的表情编辑方法及装置 | |
| CN110443763A (zh) | 一种基于卷积神经网络的图像阴影去除方法 | |
| CN109961407A (zh) | 基于人脸相似性的人脸图像修复方法 | |
| CN109801225A (zh) | 基于多任务全卷积神经网络的人脸网纹污迹去除方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |