CN114862697A - 一种基于三维分解的人脸盲修复方法 - Google Patents
一种基于三维分解的人脸盲修复方法 Download PDFInfo
- Publication number
- CN114862697A CN114862697A CN202210370638.9A CN202210370638A CN114862697A CN 114862697 A CN114862697 A CN 114862697A CN 202210370638 A CN202210370638 A CN 202210370638A CN 114862697 A CN114862697 A CN 114862697A
- Authority
- CN
- China
- Prior art keywords
- face
- dimensional
- image
- network
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000008439 repair process Effects 0.000 claims abstract description 34
- 238000009877 rendering Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000002708 enhancing effect Effects 0.000 claims abstract description 3
- 230000008569 process Effects 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 16
- 210000000988 bone and bone Anatomy 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 230000014759 maintenance of location Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 238000009966 trimming Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 208000006440 Open Bite Diseases 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101100001669 Emericella variicolor andD gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Graphics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明属于数字图像处理技术领域，具体为一种基于三维分解的人脸盲修复方法。本发明包括：使用人脸三维重建模型将人脸图像分解为纹理层、骨骼结构层和环境及位姿参数三部分；对骨骼结构层使用编码器‑解码器对其进行粗粒度填充，对纹理层先使用不同参数编码器‑解码器对其进行细粒度填充，再使用人脸增强模块对人脸细节增强；用三维重建网络中的渲染器将修复的两个成分与其他参数结合渲染得到修复重建后的三维人脸图像；将修复得到的三维人脸图像和被遮挡的输入图共同输入人脸精修模块，得到被修复的人脸图像。实验结果表明，当图像的遮挡范围没有被手动标注时，本发明能够准确地对人脸进行修复，同时保持未被遮挡部分和输入图像保持一致。
Description
技术领域
本发明属于数字图像处理技术领域，具体涉及一种人脸盲修复方法。
背景技术
近年来，随着数字图像处理技术的不断发展，人脸修复作为其中一个重要的任务，在日常生活中得到了越来越多的应用。人脸修复任务可以对被遮挡或物理损坏的人脸照片进行修复，得到未被遮挡的完整人脸图像。传统的人脸修复方法需要将待修复的区域作为标签输入到网络中去，而对待修复图像被遮挡或损坏的区域进行人工标注是一个较为繁琐的过程。人脸盲修复即为不需要人工标注遮挡区域、由网络全自动修复遮挡人脸的人脸修复方法。目前的人脸盲修复方法主要基于遮挡区域检测的方法实现。然而，遮挡检测在照片的后期物理损坏上做出了较好的表现，在原始照片中即包含遮挡物的图像中表现欠佳。对遮挡边缘检测的不精确也会导致修复结果边缘产生影响视觉效果的伪影。基于上述背景，本发明将人脸三维分解和人脸盲修复相结合，利用人脸图像的固有特性对待修复的图像进行分解、对分解得到的不同人脸成分进行不同方式的修复并最终将各成分合成并精修为未被遮挡的人脸。
人脸三维重建在近年来的数字图像处理研究中获得了越来越多的成果。传统的人脸三维重建方法需要将待重建人脸图像与多个扫描的三维人体头部进行匹配从而得到重建结果。在近年来的研究中，研究者开始尝试将人脸图像分解为多个不同的成分，并将这些成分合成为三维人脸模型。文献[1]提出了一种将非对齐的人脸通过无监督的方式分解为多个成分并最终渲染合成为三维模型的方法。本发明基于近年来对三维重建的研究，利用人脸先验知识和人脸所具有的对称性特征将其中的三维分解部分应用于人脸修复，通过对每个分解得到的人脸进行不同方式的修复，从而得到去除了遮挡和损坏的完整人脸图像。
发明内容
为了克服现有人脸盲修复技术在修复结果遮挡检测、边缘处理上的不足，本发明的目的在于提供一种基于三维分解的人脸盲修复方法，它主要针对存在遮挡或受到损坏的人脸图像，在不给定人工标注的遮挡区域范围时实现网络全自动地对损坏人脸进行修复，从而得到无遮挡且未被损坏的人脸图像。
本发明提出的基于三维分解的人脸盲修复方法，使用无监督人脸三维重建模型对人脸进行三维分解，将输入人脸图像分解为纹理层、骨骼结构层和环境及位姿参数三个部分；结合分解得到的两个层次所具有的固有特性，用不同的网络分别对其进行修复；其中，对骨骼结构层直接使用编码器-解码器架构对其进行粗粒度的填充；对纹理层则先使用不同参数的编码器-解码器架构对其进行细粒度填充，再使用人脸增强模块对纹理层所具有的人脸细节进行增强；用三维重建网络中的渲染器将修复得到的两个成分与其他参数相结合渲染得到修复重建后的三维人脸图像；将修复得到的三维人脸图像和被遮挡的输入图共同输入人脸精修模块，从而得到被修复的人脸图像。此外，本发明利用三维遮挡物贴纸渲染构建了三维遮挡数据集。具体步骤如下：
(1)人脸三维分解
对于给定的被遮挡待修复人脸图像，将其输入到无监督的三维人脸分解网络中，利用该网络将所输入图像分解为骨骼结构层(shape，s)、纹理层(texture，t)和环境(environment，e)及位姿(pose，p)参数；其中，骨骼结构层为单通道的灰度图，纹理层为三通道的彩色图像，其余参数为一组表示人脸所处光照环境和人脸角度的数值，具体分解过程可以表示为：
Ω(t,s,e,p)＝F3D(I) #(1)
其中，Ω表示三维分解模型的结果集合，其分解结果分别为骨骼结构层(s)、纹理层(t)和环境(e)及位姿(p)参数，I表示输入的待分解图像，F3D为三维分解函数。
三维人脸分解网络中，主要由编码器-解码器(encoder-decoder)结构生成骨骼结构层和纹理层，由编码器(encoder)结构对环境及位姿参数进行编码。其中，不同的编码器-解码器或编码器结构不共享参数，生成骨骼结构层的网络结构为处理单通道图像的网络，生成纹理层的网络为处理三通道图像的网络。
其中，分解得到的各个组成成分经过渲染得到的三维人脸重建模型，可以根据输入图像的位姿参数投影得到和输入图像具有相同位姿和环境光照的二维人脸图像，这是个三维人脸重建渲染过程和对三维人脸重建模型的投影过程；三维人脸重建渲染过程表示为：
M＝R0(t,s,e) #(2)
三维人脸重建模型的投影过程表示为：
I′＝∏(M,p)＝∏(R0(t,s,e),p) #(3)
其中，R0表示渲染器，而∏为投影函数。
本方法中，所使用的人脸三维分解网络模型是基于Wu[1]等人提出的无监督三维人脸重建模型的，在此基础上将图像尺度调整为128×128以提高图像的分辨率，并在网络训练过程中加入人脸身份损失，以提高分解结果中人脸的身份特征保持程度，身份损失LID可以用如下公式表示：
其中，函数f(·)为网络对图像进行的变换，I为输入图像，I′为经过处理的图像。
人脸三维分解过程中使用了文献[1]中提出的人脸对称概率图，以确保人脸各个组成成分均为标准状态下的对称图，该对称概率图能够在一定程度上修复人脸各个结构层中非对称的遮挡和损坏。
(2)骨骼结构层和纹理层修复
对于三维人脸分解网络中分解获得的、待修复图像的骨骼结构层和纹理层进行修复，使得修复后的骨骼结构层和纹理层具有完整的人脸结构。对于对称的待修复区域，骨骼结构层和纹理层均首先使用编码器-解码器(contextencoder)网络分别对其进行修复；对该部分网络，均分别使用像素级的重构损失、生成器对抗损失和对应判别器的对抗损失进行训练；其中：
像素级重构损失Lpix可以表示为：
Lpix＝||tgt-G(tocc)|| #(5)
对抗损失Ladv可以表示为：
对应的判别器对抗损失LD可以表示为：
在公式(5)(6)(7)中，tocc表示遮挡图分解得到的骨骼结构图，为对应的groundtruth图像，G为生成器，D为判别器。
由于骨骼结构层仅具有较为简单的轮廓信息，而不包含较为精准的人脸细节信息，骨骼结构层仅经过其专门的修复网络对结构上的缺失进行填补即可，该填补过程主要为将修复网络中所具有的人脸先验轮廓填补于缺失的人脸结构部分；纹理层具有较多的人脸细节和色彩，具有较为准确的人脸细节，而该细节在人脸对称性分解和人脸初步修复过程中会存在一定的损坏，所以需要使用人脸增强模块进行进一步增强。
骨骼结构层的灰度图仅经过编码器-解码器结构修复，即可恢复较为准确的结构，而纹理层还需要使用人脸增强模块增强修复过程中较为模糊的细节；此处的人脸增强模块直接使用文献[6]中提出的人脸增强模块；经过该步骤可得被修复的骨骼结构图tinpaint和纹理图sinpaint，分别表示为：
tinpaint＝E(G(tocc)) #(8)
sinpaint＝G(Socc) #(9)
其中，tinpaint和tocc分别为修复后的骨骼结构图和未被修复的、直接从遮挡图像分解得到的骨骼结构图；sinpaint和socc分别为修复后的纹理图和未被修复的、直接从遮挡图像分解得到的纹理图。
该阶段，像素级重构损失Lpix的系数设置为λ1，对抗损失Ladv的系数设置为λ2，对应的判别器对抗损失LD的系数设置为λ3；总损失为：
LM＝λ1Lpix+λ2Ladv+λ3LD。
(3)骨骼结构层和纹理层修复结果渲染合成三维人脸模型
将步骤(2)中修复得到的骨骼结构层和纹理层结合步骤(1)中分解得到的环境参数及位姿参数，经过渲染器和投影函数得到修复后三维人脸结果、和输入图像具有相同环境光照和位置参数的二维投影，具体渲染和投影过程同公式(2)、(3)中所表述；该过程不涉及模型参数训练。
(4)人脸精修
将步骤(3)中获得的三维修复人脸模型的二维投影与原始待修复图像结合，将其和原始待修复图像共同输入人脸精修模块，得到最终的人脸修复结果。三维人脸模型的二维投影与原始待修复图像的结合方式，表示为：
公式(10)结合得到的人脸重建图具有完整的人脸结构而失去了少量人脸所具有的细节，需要使用原始待修复图像中的部分细节与其进行结合，以获得视觉效果较好的修复结果，即该步骤需要学习一个重建图和待修复图到修复人脸的映射，可以表示为：
(Irecon,Iocc)→Igt #(11)
所述人脸精修模块采用U-Net网络的架构，使用像素到像素(pixel-to-pixel)损失、感知损失、对抗损失和判别器对抗损失对网络进行训练，其中像素到像素损失
为：
感知损失Lpercep为：
对抗损失Ladv_U表示为：
判别器的对抗损失
以表示为：
(5)网络总体训练过程
最后，为了保证网络各个模块之间的连续性，并针对整个网络优化各个模块所包含的参数，整个网络中的人脸精修模块和人脸成分修复模块(包括骨骼结构层和纹理层修复的整体模块)使用端到端的重构损失进行微调。由于三维人脸分解网络的训练数据与其余模块不同，在最终的端到端训练中，固定三维分解网络的参数，仅对各个人脸成分修复模块和人脸精修模块网络的参数进行微调。损失可以表示为：
Lrecon＝|Irefine-Igt| #(16)
整个网络的训练损失可以表示为：
其中，第一、第二、第三项对应于式(5)、(6)、(7)表示的损失，第四、第五、第六、第七、第八项对应于式(12)、(14)、(15)、(13)、(16)表示的损失。参数λ1，λ2，λ3，λ4，λ5、λ6，λ7为对应项权系数。
步骤(1)、(2)、(4)中涉及的模块均使用成对的人脸非遮挡图-对应的人脸遮挡图进行训练。
本发明的有益效果在于：
本发明的方法规避了过去基于遮挡检测的人脸盲修复方法中遮挡检测不准确带来的遮挡边缘的伪影问题，利用三维人脸分解技术对人脸的各个层面进行了不同方式的修复。本发明充分利用了人脸图像中的人脸先验知识、人脸本身所具有的对称性和人脸所具有的三维特性，对人脸进行分解、有针对性的修复和合成结果的精修，得到了较为准确精细的人脸盲修复结果。
附图说明
图1为本发明的流程图。
图2为使用本发明对128×128图像进行人脸盲修复的实验结果。其中，第一行是输入待修复图像，第二行为本发明的修复结果图；左边两列为合成图像上的实验结果而右边两列为真实数据集上的实验结果。
具体实施方式
以一张被遮挡或损坏的人脸图片为例，采用本发明方法将其人脸部分根据其余未被遮挡部分所提示的信息还原为完整的人脸图像，具体过程为：
(1)使用三维人脸分解网络将待修复的人脸图像分解为标准对称的纹理图、骨骼结构图和环境及位姿参数。该网络经过30轮(epoch)的训练，输入待分解图像和输出的纹理图、骨骼结构图均为128×128像素大小；该阶段的训练使用Adam优化器并将批大小(batchsize)设置为16；
(2)修复分解得到的纹理图和骨骼结构图。修复两个成分的网络均经过200轮(epoch)的训练，并将学习率(learningrate)设置为0.0002，批大小(batchsize)设置为8；该阶段逐像素的重构损失系数λ1设置为999，对抗损失的系数λ2设置为1，对偶的判别器对抗损失系数λ3设置为1；纹理图修复过程中涉及到的人脸增强模块直接复用文献[6]中的人脸增强模块；
(3)修复结果渲染为三维人脸图像。渲染过程为三维分解过程的逆变换，具体过程可以参见文献[1]中的渲染方法。该渲染过程不涉及网络训练；
(4)将合成得到的三维人脸图像和待修复输入图同时输入到人脸精修模块中，获得完成修复的人脸图像。该网络以0.0002的学习率(learningrate)和128的批大小(batchsize)训练200轮(epoch)；在该阶段中，将逐像素的重构损失系数λ4设置为100，生成器和判别器对抗损失系数λ5、λ6分别均设置为1，感知损失系数λ7设置为10；
(5)整个网络的所有模块最终以端到端的形式进行微调训练，该阶段中人脸三维分解模块的参数固定，其余模块的参数在该阶段中进行微调。
图2为本发明的实例对比，其中第一行是输入待修复图像，第二行为本发明的修复结果图；左边两列为合成图像上的实验结果，右边两列为真实数据集上的实验结果；可以看出，本发明的方法在合成遮挡和真实遮挡上都能对被遮挡人脸图像进行盲修复，获得较为真实的修复结果，同时保持未被遮挡部分的特征。
参考文献
[1]S.Wu,C.Rupprecht,and A.Vedaldi.“Unsupervised Learning of ProbablySymmetric Deformable 3DObjects from Images in the Wild”.In CVPR,pages 1–10.Computer Vision Foundation/IEEE,2020.
[2]X.Yuan and I.Park.“Face de-occlusion using3d morphable model andgenerative adversarial network”.InICCV,pages 10061–10070.IEEE,2019.
[3]Y.Wang,Y.Chen,X.Tao,and J.Jia.“Vcnet:ARobust Approach to BlindImage Inpainting”.In ECCV(25),volume 12370of Lecture Notes in ComputerScience,pages752–768.Springer,2020.
[4]A.Hertz,S.Fogel,R.Hanocka,R.Giryes,andD.Cohen-Or.“Blind VisualMotif Removal from aSingleImage”.In CVPR,pages 6858–6867.Computer VisionFoundation/IEEE,2019.
[5]D.Pathak,P.Krahenbuhl,J.Donahue,T.Darrell,and A.Efros.“ContextEncoders:Feature Learning by Inpainting”.In CVPR,pages 2536–2544.IEEEComputerSociety,2016
[6]Z.Wan,B.Zhang,D.Chen,P.Zhang,D.Chen,J.Liao,and F.Wen.“Bringing OldPhotos Back toLife”.In CVPR,pages 2744–2754.Computer Vision Foundation/IEEE,2020。
Claims (1)
1.一种基于三维分解的人脸盲修复方法，其特征在于，具体步骤如下：
(1)人脸三维分解
将给定的被遮挡待修复人脸图像输入到无监督的三维人脸分解网络中，利用该网络将所输入图像分解为骨骼结构层(s)、纹理层(t)和环境(e)及位姿(p)参数；其中，骨骼结构层为单通道的灰度图，纹理层为三通道的彩色图像，其余参数为一组表示人脸所处光照环境和人脸角度的数值，具体分解过程表示为：
Ω(t，s，e，p)＝F3D(I) #(1)
其中，Ω表示三维分解模型的结果集合，其分解结果分别为骨骼结构层(s)、纹理层(t)和环境(e)及位姿(p)参数，I表示输入的待分解图像，F3D为三维分解函数；
三维人脸分解网络中，由编码器-解码器结构生成骨骼结构层和纹理层，由编码器结构对环境及位姿参数进行编码；其中，不同的编码器-解码器或编码器结构不共享参数，生成骨骼结构层的网络结构为处理单通道图像的网络，生成纹理层的网络为处理三通道图像的网络；
分解得到的各个组成成分经过渲染器渲染得到三维人脸重建模型，三维人脸重建模型根据输入图像的位姿参数投影，得到和输入图像具有相同位姿和环境光照的二维人脸图像；
三维人脸重建渲染过程表示为：
M＝R0(t，s，e) #(2)
三维人脸重建模型的投影过程表示为：
I1＝Π(M，p)＝Π(R0(t，s，e)，p) #(3)
其中，R0表示渲染器，Π为投影函数；
所使用的人脸三维分解网络模型是基于无监督三维人脸重建模型的，在此基础上将图像尺度调整为128×128以提高图像的分辨率，并在网络训练过程中加入人脸身份损失，以提高分解结果中人脸的身份特征保持程度，身份损失LID用如下公式表示：
其中，函数f(·)为网络对图像进行的变换，I为输入图像，I′为经过处理的图像；
人脸三维分解过程中使用人脸对称概率图，以确保人脸各个组成成分均为标准状态下的对称图，该对称概率图在一定程度上修复人脸各个结构层中非对称的遮挡和损坏；
(2)骨骼结构层和纹理层修复
对于三维人脸分解网络中分解获得的、待修复图像的骨骼结构层和纹理层进行修复，使修复后的骨骼结构层和纹理层具有完整的人脸结构；
对于对称的待修复区域，骨骼结构层和纹理层均首先使用编码器-解码器网络分别对其进行修复；对该部分网络，均分别使用像素级的重构损失、生成器对抗损失和对应判别器的对抗损失进行训练；其中：
像素级重构损失Lpix表示为：
Lpix＝||tgt-G(tocc)|| #(5)
对抗损失Ladv表示为：
对应的判别器对抗损失LD表示为：
在公式(5)(6)(7)中，tocc表示遮挡图分解得到的骨骼结构图，为对应的groundtruth图像，G为生成器，D为判别器；
该阶段，训练总损失为：
LM＝λ1Lpix+λ2Ladv+λ3LD；
参数λ1，λ2，λ3为对应的权系数；
对于骨骼结构层的灰度图仅经过编码器-解码器结构修复，即可恢复较为准确的结构；
对于纹理层，还使用人脸增强模块增强修复过程中较为模糊的细节；经过本步骤得被修复的骨骼结构图tinpaint和纹理图sinpaint，分别表示为：
tinpaint＝E(G(tocc)) #(8)
sinpaint＝G(socc) #(9)
其中，tinpaint和tocc分别为修复后的骨骼结构图和未被修复的、直接从遮挡图像分解得到的骨骼结构图；sinpaint和socc分别为修复后的纹理图和未被修复的、直接从遮挡图像分解得到的纹理图；
(3)骨骼结构层和纹理层修复结果渲染合成三维人脸模型
将步骤(2)中修复得到的骨骼结构层和纹理层结合步骤(1)中分解得到的环境参数及位姿参数，经过渲染器和投影函数得到修复后三维人脸结果、和输入图像具有相同环境光照和位置参数的二维投影，具体渲染和投影过程同公式(2)、(3)中所表述；
(4)人脸精修
将步骤(3)中获得的三维修复人脸模型的二维投影与原始待修复图像结合，将其和原始待修复图像共同输入人脸精修模块，得到最终的人脸修复结果；三维人脸模型的二维投影与原始待修复图像的结合方式，表示为：
公式(10)结合得到的人脸重建图具有完整的人脸结构而失去了少量人脸所具有的细节，需要使用原始待修复图像中的部分细节与其进行结合，以获得视觉效果较好的修复结果，即该步骤需要学习一个重建图和待修复图到修复人脸的映射，表示为：
(Irecon，Iocc)→Igt #(11)
所述人脸精修模块采用U-Net网络的架构，使用像素到像素损失、感知损失、对抗损失和判别器对抗损失对网络进行训练，其中：
像素到像素损失
为：
感知损失Lpercep为：
对抗损失Ladv_U表示为：
判别器的对抗损失
以表示为：
(5)网络总体训练
最后，为了保证网络各个模块之间的连续性，并针对整个网络优化各个模块所包含的参数，人脸精修模块和人脸成分修复模块使用端到端的重构损失进行微调；由于三维人脸分解网络的训练数据与其余模块不同，在最终的端到端训练中，固定三维分解网络的参数，仅对各个人脸成分修复模块和人脸精修模块网络的参数进行微调；其损失Lrecon表示为：
Lrecon＝|Irefine-Igt| #(16)
整个网络的训练损失表示为：
参数λ1，λ2，λ3，λ4，λ5、λ6，λ7为对应项权系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210370638.9A CN114862697A (zh) | 2022-04-10 | 2022-04-10 | 一种基于三维分解的人脸盲修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210370638.9A CN114862697A (zh) | 2022-04-10 | 2022-04-10 | 一种基于三维分解的人脸盲修复方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114862697A true CN114862697A (zh) | 2022-08-05 |
Family
ID=82629642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210370638.9A Pending CN114862697A (zh) | 2022-04-10 | 2022-04-10 | 一种基于三维分解的人脸盲修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114862697A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117079083A (zh) * | 2023-10-16 | 2023-11-17 | 苏州元脑智能科技有限公司 | 图像修复模型训练方法、装置、电子设备及存储介质 |
| WO2024082950A1 (zh) * | 2022-10-20 | 2024-04-25 | 广州市百果园信息技术有限公司 | 基于遮挡分割的三维人脸重建方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598604A (zh) * | 2021-03-04 | 2021-04-02 | 成都东方天呈智能科技有限公司 | 一种盲脸复原方法及系统 |
| CN113066171A (zh) * | 2021-04-20 | 2021-07-02 | 南京大学 | 一种基于三维人脸形变模型的人脸图像生成方法 |
| CN113763268A (zh) * | 2021-08-26 | 2021-12-07 | 中国科学院自动化研究所 | 人脸图像盲修复方法及系统 |
-
2022
- 2022-04-10 CN CN202210370638.9A patent/CN114862697A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598604A (zh) * | 2021-03-04 | 2021-04-02 | 成都东方天呈智能科技有限公司 | 一种盲脸复原方法及系统 |
| CN113066171A (zh) * | 2021-04-20 | 2021-07-02 | 南京大学 | 一种基于三维人脸形变模型的人脸图像生成方法 |
| CN113763268A (zh) * | 2021-08-26 | 2021-12-07 | 中国科学院自动化研究所 | 人脸图像盲修复方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| YU BAI 等: "FINE-GRAINED BLIND FACE INPAINTING WITH 3D FACE COMPONENT DISENTANGLEMENT", 《2023 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING》, 5 May 2023 (2023-05-05) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024082950A1 (zh) * | 2022-10-20 | 2024-04-25 | 广州市百果园信息技术有限公司 | 基于遮挡分割的三维人脸重建方法及系统 |
| CN117079083A (zh) * | 2023-10-16 | 2023-11-17 | 苏州元脑智能科技有限公司 | 图像修复模型训练方法、装置、电子设备及存储介质 |
| CN117079083B (zh) * | 2023-10-16 | 2024-02-09 | 苏州元脑智能科技有限公司 | 图像修复模型训练方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110490896B (zh) | 一种视频帧图像处理方法和装置 | |
| CN114862697A (zh) | 一种基于三维分解的人脸盲修复方法 | |
| CN113240613A (zh) | 一种基于边缘信息重建的图像修复方法 | |
| CN110689495B (zh) | 一种深度学习的图像修复方法 | |
| CN112734890B (zh) | 基于三维重建的人脸替换方法及装置 | |
| CN110853119B (zh) | 一种鲁棒的基于参考图片的妆容迁移方法 | |
| CN112465718A (zh) | 一种基于生成对抗网络的两阶段图像修复方法 | |
| CN112767286A (zh) | 一种基于密集深度学习的暗光图像自适应增强方法 | |
| CN111833261A (zh) | 一种基于注意力的生成对抗网络的图像超分辨率复原方法 | |
| CN111738948A (zh) | 一种基于双U-net的水下图像增强方法 | |
| CN110599585A (zh) | 基于深度学习的单图像人体三维重建方法及装置 | |
| CN111402403B (zh) | 高精度三维人脸重建方法 | |
| CN116071494A (zh) | 基于隐式神经函数的高保真三维人脸重建与生成方法 | |
| CN116109757A (zh) | 基于内蕴坐标的哈希编码的动态三维人体渲染合成方法 | |
| CN115953311A (zh) | 基于Transformer的多尺度特征表示的图像去雾方法 | |
| CN114663603A (zh) | 一种基于神经辐射场的静态对象三维网格模型生成方法 | |
| CN115393480A (zh) | 基于动态神经纹理的说话人合成方法、装置和存储介质 | |
| CN117911618A (zh) | 一种基于神经辐射场的三维场景模型构建方法 | |
| CN113487512A (zh) | 一种基于边缘信息指导的数字图像修复方法及装置 | |
| CN117689592A (zh) | 一种基于级联自适应网络的水下图像增强方法 | |
| CN117237207A (zh) | 针对动态场景的无鬼影高动态范围光场成像方法 | |
| CN117078544A (zh) | 一种基于双重约束生成对抗网络的水下图像增强方法 | |
| CN116863101A (zh) | 基于自适应网格细分的重建模型几何与纹理优化方法 | |
| CN116310146A (zh) | 人脸图像重演方法、系统、电子设备、存储介质 | |
| CN114331894B (zh) | 一种基于潜在特征重构和掩模感知的人脸图像修复方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |