CN108520503A - 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 - Google Patents
一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 Download PDFInfo
- Publication number
- CN108520503A CN108520503A CN201810331433.3A CN201810331433A CN108520503A CN 108520503 A CN108520503 A CN 108520503A CN 201810331433 A CN201810331433 A CN 201810331433A CN 108520503 A CN108520503 A CN 108520503A
- Authority
- CN
- China
- Prior art keywords
- facial image
- image
- self
- defect
- encoding encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000001815 facial effect Effects 0.000 claims abstract description 106
- 230000007547 defect Effects 0.000 claims abstract description 77
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000013480 data collection Methods 0.000 claims abstract description 23
- 230000009467 reduction Effects 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 20
- 230000008439 repair process Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 239000012141 concentrate Substances 0.000 claims description 3
- 230000008676 import Effects 0.000 claims description 2
- 210000002569 neuron Anatomy 0.000 claims description 2
- 230000000903 blocking effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 8
- 238000005457 optimization Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 12
- 238000009826 distribution Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 201000003101 Coloboma Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000010181 polygamy Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Abstract
本发明提供一种基于自编码器和生成对抗网络联合优化的人脸缺损图像还原的方法，结合自编码器和生成对抗网络，包括以下步骤：(1)进行人脸数据集缺损预处理(2)将处理好的数据集训练自编码器，使其达到最佳；(3)将处理好的数据集训练条件生成对抗网络，使其达到最佳(4)将需复原的缺损图像输入训练好的编码器，生成预修补的人脸图像；(5)将预修补图像输入条件生成对抗网络，即可生成更清晰自然的还原人脸图。该方法提高了缺损人脸区域还原的清晰度，以及缺失内容生成的逼真度，最大限度避免了缺损区域边缘的伪像，限制了缺失区域的生成方向，产生了更清晰和更自然的还原效果。
Description
技术领域
本发明涉及一种人脸缺损图像修复的方法，具体涉及一种基于自编码器和生成对抗网络修复人脸缺损图像的方法，属于图像处理技术领域。
背景技术
人脸识别技术近年来得到了显著的发展。但是，识别有部分遮挡的人脸对于现存的人脸识别技术依旧是个挑战。真实应用中，对于有遮挡的图像修复的需求越来越多，如监控和安全领域。图像复原作为一种常见的图像编辑操作，旨在用合理的内容填充图像中的缺失或蒙版区域。生成的内容既可以与原始内容一样精确，也可以完全符合整体图像，使得复原的图像看上去是真实的。这在过去的几十年里，由于其固有的模糊性和自然图像的复杂性，图像复原(图像填充)，一直是计算机视觉和图形界具有挑战性的研究热点。
在早期也有很多种图像处理方案如：利用扩散方程将已知区域的低层特征沿着蒙版边界迭代传播到未知区域。还有通过引入纹理合成来进一步改善修补效果。最近Ren等提出了利用卷积网络进行修补的方法。提非参数纹理合成的高效补丁匹配算法显著提高了图像复原的性能，其在找到类似补丁时表现良好，但当源图像中没有足够数据填充未知区域时，效果则不佳。这通常发生在对象复原中，因为每个部分都可能是唯一的，并且找不到可找到的缺失区域。虽然这个问题可以通过使用外部数据库来缓解，但随之而来的问题是需要学习一个特定对象类的补丁匹配。
在图像生成方面，Goodfellow在2014年提出了生成对抗网络，Li和Dziugaite等在2015年提出了生成矩匹配网络。这些方法是直接训练生成器以产生逼真的样本，在一定程度上忽略了数据的多样性。在2016和2017年，生成对抗性网络框架先后被多次扩展。
自动编码器(AutoEncoder)和变分自动编码器(VAEs)已经成为在无监督环境下学习复杂分布的最流行的方法之一。AutoEncoder包括两个过程：encode和decode，输入图片通过encode进行处理，得到code，再经过decode处理得到输出，encode和decode两个过程可以理解成互为反函数，在encode过程不断降维，在decode过程提高维度。当AutoEncoder过程中用卷积操作提取特征，相当于encode过程为一个深度卷积神经网络，好多层的卷积池化，那么decode过程就需要进行反卷积和反池化。
生成对抗网络(GAN)是训练生成参数模型的框架，并且已被证明可以产生高质量的图像。GAN是一种训练生成器的方法，包括两个互相对抗的模型：一个生成器G用于拟合样本数据分布和一个判别器D用于估计输入样本是来自于真实的训练数据还是生成器G。生成器通过映射函数把噪声映射到数据空间，而判别器的输出是一个标量，表示数据来自真实训练数据而非G的生成数据的概率。训练模型D要最大概率地分对真实样本(最大化log(D(x))，而生成器G要最小化log(1-D(x))，即最大化D的损失。GAN框架下的学习过程就变成了一种生成器G和判别器D之间的竞争关系。最终判别器的准确率等于50％，整个模型状态达到纳什均衡。然而，GAN不能直接应用于修补任务，因为它们产生完全不相关的图像的概率很高，除非受到相关限制。
基于传统方法的图像复原和修复主要分为两个方向：基于图像纹理分析技术和基于局部插值的图像修复方法。然而这两类方法都具有一定的局限性，基于传统纹理分析技术的图像去噪方法，其模型设计复杂，速度慢，效率低，容易带来图像细节模糊问题。而基于局部插值的图像修复方法，未使用到图像的全局信息，容易带来图像不平滑问题。对于缺损区域比较大的场景，效果较差。
发明内容
针对现有技术中图像复原和修复模型设计复杂，速度慢，效率低，容易带来图像细节模糊、容易带来图像不平滑、效果较差等问题，本发明提供一种一种基于自编码器和生成对抗网络修复人脸缺损图像的方法。本发明要解决的技术问题是为人脸图像丢失或损坏的部分进行修复，生成逼真的，近乎原始图像的完整人脸图像。为了解决以上问题，本发明结合自编码器和条件生成对抗网络，提出了一种基于自编码器和生成对抗网络联合优化的人脸缺损图像还原的方法。
根据本发明提供的实施方案，提供一种基于自编码器和生成对抗网络修复人脸缺损图像的方法。
一种基于自编码器和生成对抗网络修复人脸缺损图像的方法，该方法包括以下步骤：
1)获取人脸图像，将获得的人脸图像组成人脸数据集；
2)人脸数据集进行缺损处理：将人脸数据集中的每一张人脸图像进行图像的提取、归一化处理，在每一张人脸图像上随机生成遮挡块，每一张人脸图像对应获得一张缺损的人脸图像，缺损的人脸图像组成缺损人脸数据集；
3)训练自编码器：将人脸数据集和缺损人脸数据集输入自编码器，训练自编码器，自编码器对缺损人脸数据集中的每一张缺损的人脸图像进行初步修复；获得训练后的自编码器，同时获得初步修复人脸数据集；
4)训练生成对抗网络：生成对抗网络由生成器(G)、判别器(D)组成；在生成器(G)和判别器(D)的中输入人脸数据集中的完整的原始人脸图像，将初步修复人脸数据集输入到生成对抗网络的生成器(G)和判别器(D)中，生成对抗网络下的生成器(G)和判别器(D)根据人脸数据集中每一张人脸图像和对应的经过自编码器初步修复的人脸图像不断进行迭代训练，形成最佳状态的CGAN模型；
5)将待修复人脸图像输入训练后的自编码器，获得初步修复的待修复人脸图像；
6)将初步修复的待修复人脸图像输入CGAN模型的生成器(G)中，通过CGAN模型的修复，获得修复的人脸图像。
作为优选，步骤1)中的人脸图像从现有公开数据集获取或者自己收集。优选从人脸数据集CelebA获取。
在本发明中，步骤2)具体为：将人脸数据集中的每一张人脸图像进行图像的提取、归一化处理，在每一张人脸图像上随机生成遮挡块，其中遮挡块大小随机，遮挡块随机遮挡人脸图像中面部的某个部位，在人脸图像上形成遮挡区域，每一张人脸图像对应获得一张缺损的人脸图像，缺损的人脸图像组成缺损人脸数据集。
在本发明中，步骤3)中自编码器采用AlexNet的前5层，外加一个全连接层，全连接层为前后层的神经元全连接，全连接层用于特征映射以及降维，并将AlexNet中的RELU改为ELU。解码器将自编码器编码的隐藏特征解释出来，推理整个人脸图像的内容，然后初步的修补缺损的人脸图像。
作为优选，步骤3)具体为：
301)自编码器对缺损的人脸图像进行编码，解码器将自编码器编码的隐藏特征解释出来；
302)采用l2刻画遮挡区域缺损部分的真实内容与预测内容之间的差距，以此进行编码器的训练，损失捕获缺损的人脸图像中缺损区域(或称为遮挡区域)的内容，对于每一张缺损的人脸图像，自编码器生成缺损区域预测图像h(x)，构建损失函数为：
其中：x表示缺损图像；xg表示真实像素；R表示x中的缺损区域；h(x)表示自编码器生成的缺失区域预测图像；h(xg,R)表示自编码器生成返回R区域的xg像素；(h(x)-h(xg,R))表示自编码器生成预测缺损区域的像素与该缺损区域区域真实像素的差距；
303)自编码器计算损失函数，直到损失函数为最小时，将自编码器生成的缺损区域预测图像填充到缺损的人脸图像的缺损区域(或称为遮挡区域)中，获得初步修复人脸图像f(x)。
在本发明中，步骤4)具体为：
401)在生成器(G)和判别器(D)的建模中均输入人脸数据集中的完整的原始人脸图像，人脸数据集中的人脸图像作为生成器(G)和判别器(D)共同的额外条件变量y，通过额外条件变量y作为额外输入层导入生成器(G)和判别器(D)来实现条件模型；
402)将经过自编码器初步修复的初步修复人脸图像f(x)输入到生成对抗网络的生成器(G)和判别器(D)中，生成对抗网络构建目标函数：
其中：x表示缺损图像，y表示人脸图像样本；z表示缺损图像在生成器中的生成结果；E表示误差；f(x)表示初步修复人脸图像；Pd表示判别器中的图样样本；Pz表示噪音图像样本；D(f(x),y)表示对于输入f(x)和y两个参数，判别器D判断正确的概率；G(f(x),z)表示对于输入参数f(x)和z，生成器生成的结果；D(f(x),G(f(x),z))：判别器对生成器生成结果判别正确的概率；z～pz(z)表示噪声分布。
403)生成对抗网络下的生成器(G)和判别器(D)根据人脸数据集中每一张人脸图像和对应的初步修复人脸图像f(x)不断进行迭代训练，直到目标函数达到0.5；即得到CGAN模型。
在本发明中，步骤5)具体为：将缺损的待修复人脸图像输入训练好的自编码器，自编码器对待修复人脸图像进行编码，解码器将自编码器编码的隐藏特征解释出来，然后进行初步修补，获得初步修复的待修复人脸图像。
在本发明中，步骤6)具体为：将初步修复的待修复人脸图像输入训练好的CGAN模型的生成器(G)中，CGAN模型不断进行迭代计算，直到目标函数达到0.5；输出即可得更清晰、更逼真的人脸缺损图像还原结果图，获得修复的人脸图像。
作为优选，对图像的提取、归一化处理后，将人脸图像缩放为256×256的规格；随机生成遮挡块的区域限制在以人脸头像中心为中心的150*150区域内。
在本发明中，AlexNet编码器为经典的CNN模型，具体结构为：神经网络前面5层为卷积层，用于特征学习。然后加3层全连接层，用于映射特征。最后，使用softmax输出，得到分类结果，softmax维度为1000，代表1000个分类。
在本发明中，将AlexNet中的RELU改为ELU具体为：使用ELU为激活函数：
代替RELU：
ReLU的负值部分为常数“0”，而ELU是一个可导函数，能够利用负值部分。且使用ELU代替ReLU有助于更平稳地训练网络。
本发明的基于自编码器和生成对抗网络修复人脸缺损图像的方法，用自编码器进行了预修补之后，再用CGAN模型进行二次再修补，预修复是为了捕捉缺损区域周围的信息特征使得生成的区域的内容更符合全局的像素，CGAN再生成是为了使生成的更清晰，且边缘伪像。这个是联合优化的模型。
在本发明中，l2是一种惩罚方法，度量生成图像与真实图像之间差别的评价方法。
在本发明中，在生成网络中，输入自编码器生成的预修复图作为先验分布p(z)，把符合先验分布p(z)的噪声z和条件y作为输入同时送进生成器，生成跨域向量，再通过非线性函数映射到数据空间,其中，把数据x和条件y作为输入同时送进判别器，生成跨域向量，并进一步判断x是真实训练数据的概率。
在本发明中，一个基于语义编码器和条件生成对抗网络的人脸修补方案。首先，输入的图像被随机选择的矩形区域上的噪声像素所遮挡，然后传入语义编码器。编码器将含遮挡部分的图像映射成隐性特征，解码器解码隐性特征，产生填充的图像作为其输出。紧接着，利用语义编码器生成的初步结果作为条件约束，通过cGAN进一步产生清晰自然的修补图像。语义编码器的训练是以有缺失图像和完整图像作为图像对进行的，并以l2为内容损失，调节语义自编码器的权重。以这种图像对的形式，避免了自编码器仅仅是将图像进行压缩而不学习人脸特征的潜在问题。将随机噪声和自编码器产生的初步预测作为cGAN的先验分布p(z)输入，则是为了进一步优化修补图像，使生成的修补图像更加自然，同时也可以避免总是朝着固定的方向生成修复图。
在本发明中，为了有效地训练我们的网络，我们使用梯度策略，逐渐增加难度级别和网络规模。我们将训练过程分二个阶段进行。首先，我们使用l2重构损失来训练语义编码器网络，以获得缺失部分的模糊预测。然后，将自编码器生成的内容填充到原始缺损图像中，并将其作为条件生成对抗网络的噪声约束输入，结合生成对抗损失来训练CGAN网络。上一个阶段是在为下一个阶段准备好要改进的特征，因此大大提高了网络训练的有效性和效率。
在本发明中，缺损区域与遮挡区域通用。遮挡区域与缺损部分通用。
与现有技术相比较，本发明的方法具有以下有益技术效果：
1、人脸图像具有相似性和易变性的特点，即所有的人脸结构都相似、不同表情的人脸视觉差异很大；针对传统的基于图像纹理分析的复原方法存在的设计复杂，速度慢，效率低，容易带来图像细节模糊、缺损的边界周围产生可见伪像的问题，本发明提出了条件生成对抗网络的生成修复方法，提高了缺损区域修复的清晰度和最大限度避免了缺损边界伪像的生成。
2、针对传统的基于局部插值的图像复原方法存在的未使用到图像的全局信息，图像不平滑、局部和全局信息不一致的问题，本发明提出了先通过自编码器生成基于缺损区域周围像素的修复内容，这种预生成方法，保证了像素忠实性和局部全局内容的一致性。
3、针对传统的在图像可用部分搜索相似补丁的复原方法存在的无法修复大区域缺损人脸图像的问题，本专利提出了基于自编码器和条件生成网络联合优化的复原法，能够处理任意形状、任意缺损大小的人脸缺损图像。
附图说明
图1为本发明基于自编码器和生成对抗网络修复人脸缺损图像的方法中自编码器和生成对抗网络的训练过程；
图2为本发明基于自编码器和生成对抗网络修复人脸缺损图像的过程；
图3为本发明本发明基于自编码器和生成对抗网络修复人脸缺损图像的方法中自编码器结构图；
图4为本发明中的自编码器生成的遮挡区域示意图；
图5为本发明的实施例还原结果图；
图6为采用本发明的方法和PM、CE模型修复缺损的人脸图像的试验结果对比。
具体实施方式
实施例
以CelebA人脸图像数据集(178像素*218像素)为例，在对CelebA人脸图像数据集中的图像做缺损区域还原研究时，我们首先需要挑选出训练数据集和测试数据集，并将其进行预处理；用处理好的数据集分别训练自编码器模型和条件生成网络模型；接着将缺损图像输入训练好的自编码器得到基于缺损区域周围信息的填充内容；将自编码器生成的填充内容填入缺损人脸图像的缺损区域，得到的完整图像输入条件生成对抗网络，以此修复得到清晰、自然的复原结果。此例为CelebA人脸图像数据集中的人脸缺损图像复原过程。
本实验环境基于GPU高性能服务器，实验环境分为硬件和软件，硬件配置是TeslaK10.G1.8GB GPU服务器，主频是2.20GHz四核CPU以及16GB内存，硬盘大小5.4T。软件配置操作系统为64位Ubuntu-Server Linux14.04，网络带宽为100Mbits/s,脚本语言Python版本为3.5.2，深度学习框架TensorFlow-GPU版本为1.4.0以及PyTorch版本为0.2.0。
如图1、3、4所示，本发明方法的训练过程：
第一步，人脸数据集预处理
将CelebA人脸数据集的202,599幅面部图像，每幅致按两只眼睛的位置对齐，并重新缩放到256×256像素。将CelebA的所有人脸图拆分182,637张图像进行训练，19,962张图像进行测试；
为了使遮挡块能遮挡面部的某个部位，我们在所有人脸图像上随机生成遮挡块，其中遮挡块大小随机，随机生成区域限制在以图像中心为中心的150*150区域内。
第二步，我们将182,637张处理好的图像训练自编码器：编码器借鉴了AlexNet的前5层，外加一个全连接层，并将其中的RELU改为ELU，因为使用ELU代替RELU能使网络训练更加平稳。解码器则与编码器是对称的，用于将特征放大，推理整个图像内容，得到预测的缺失内容。
我们通过回归人脸图像中缺损区域的真实内容来训练自编码器，通过联合损失函数来处理全局信息的连续性。损失函数为：
其中：x表示缺损图像；xg表示真实像素；R表示x中的缺损区域；h(x)表示自编码器生成的缺失区域预测图像；h(xg,R)表示自编码器生成返回R区域的xg像素；(h(x)-h(xg,R))表示自编码器生成预测缺损区域的像素与该缺损区域区域真实像素的差距。
采用l2刻画遮挡区域缺损部分的真实内容与预测内容之间的差距，以此进行编码器的训练，损失捕获缺损的人脸图像中缺损区域(或称为遮挡区域)的内容，对于每一张缺损的人脸图像，自编码器生成缺损区域预测图像h(x)；
假设遮挡区域R与缺损图像相对应的二进制掩码值为1，则在此区域输出区域图像的序列化数据，序列化形式为list，若二进制掩码值为0，则作为模型的输入像素。在训练过程中，输入缺损图像，通过自编码器进行训练，直到l2达到最小时，输出，生成被遮挡区域的内容；
将自编码器生成的缺损区域预测图像填充到缺损的人脸图像的缺损区域(或称为遮挡区域)中，获得初步修复人脸图像f(x)。
第三步，训练条件生成对抗网络，直至其达到最优的状态。
在生成模型(G)和判别模型(D)的建模中均引入了CelebA数据集中的完整的原始图像做为G和D共同的额外条件变量y(182,637张原始的完整图像)，通过原始人脸图像序列化为训练集数据，取训练集数据的y作为额外输入。
将经过自编码器初步修复的初步修复人脸图像f(x)输入到生成对抗网络的生成器(G)和判别器(D)中，生成对抗网络构建目标函数：
其中：x表示缺损图像，y表示人脸图像样本；z表示缺损图像在生成器中的生成结果；E表示误差；f(x)表示初步修复人脸图像；Pd表示判别器中的图样样本；Pz表示噪音图像样本；D(f(x),y)表示对于输入f(x)和y两个参数，判别器D判断正确的概率；G(f(x),z)表示对于输入参数f(x)和z，生成器生成的结果；D(f(x),G(f(x),z))：判别器对生成器生成结果判别正确的概率；z～pz(z)表示噪声分布；
生成对抗网络下的生成器(G)和判别器(D)根据人脸数据集中每一张人脸图像和对应的初步修复人脸图像f(x)不断进行迭代训练，直到目标函数达到0.5；即得到CGAN模型。
如图2、5、6所示，采用本发明方法的修复缺损人脸图像的过程：
将缺损的待修复人脸图像输入训练好的自编码器，自编码器对待修复人脸图像进行编码，解码器将自编码器编码的隐藏特征解释出来，然后进行初步修补，获得初步修复的待修复人脸图像；
将初步修复的待修复人脸图像输入训练好的CGAN模型的生成器(G)中，CGAN模型不断进行迭代计算，直到目标函数达到0.5；输出即可得更清晰、更逼真的人脸缺损图像还原结果图，获得修复的人脸图像。
实验结果图如图5，这表明不管缺损位置如何，我们的复原结果是一致的且可实现的。总体而言，该算法可以成功地复原被不同区域遮挡、损坏的面部图像。
对比例
分别采用PM、CE模型、本发明的基于自编码器和生成对抗网络修复人脸缺损图像的方法对缺损图像进行对比实验论证。
实验结果如图6所示：
PM方法的复原结果显示，其面部还原能力较弱，依然有明显的缺损；
CE方法的复原结果较好，但依旧存在复原生成的内容不够清晰等问题；
采用本发明的方法可以从感官上感知本发明的方法模型虽然在细节上还存在一定的瑕疵，但整体的还原效果较为理想。
Claims (9)
1.一种基于自编码器和生成对抗网络修复人脸缺损图像的方法，该方法包括以下步骤：
1)获取人脸图像，将获得的人脸图像组成人脸数据集；
2)人脸数据集进行缺损处理：将人脸数据集中的每一张人脸图像进行图像的提取、归一化处理，在每一张人脸图像上随机生成遮挡块，每一张人脸图像对应获得一张缺损的人脸图像，缺损的人脸图像组成缺损人脸数据集；
3)训练自编码器：将人脸数据集和缺损人脸数据集输入自编码器，训练自编码器，自编码器对缺损人脸数据集中的每一张缺损的人脸图像进行初步修复；获得训练后的自编码器，同时获得初步修复人脸数据集；
4)训练生成对抗网络：生成对抗网络由生成器(G)、判别器(D)组成；在生成器(G)和判别器(D)的中输入人脸数据集中的完整的原始人脸图像，将初步修复人脸数据集输入到生成对抗网络的生成器(G)和判别器(D)中，生成对抗网络下的生成器(G)和判别器(D)根据人脸数据集中每一张人脸图像和对应的经过自编码器初步修复的人脸图像不断进行迭代训练，形成最佳状态的CGAN模型；
5)将待修复人脸图像输入训练后的自编码器，获得初步修复的待修复人脸图像；
6)将初步修复的待修复人脸图像输入CGAN模型的生成器(G)中，通过CGAN模型的修复，获得修复的人脸图像。
2.根据权利要求1所述的方法，其特征在于：步骤1)中的人脸图像从现有公开数据集获取或者自己收集；优选从人脸数据集CelebA获取。
3.根据权利要求1所述的方法，其特征在于：步骤2)具体为：将人脸数据集中的每一张人脸图像进行图像的提取、归一化处理，在每一张人脸图像上随机生成遮挡块，其中遮挡块大小随机，遮挡块随机遮挡人脸图像中面部的某个部位，在人脸图像上形成遮挡区域，每一张人脸图像对应获得一张缺损的人脸图像，缺损的人脸图像组成缺损人脸数据集。
4.根据权利要求1所述的方法，其特征在于：步骤3)中自编码器采用AlexNet的前5层，外加一个全连接层，全连接层为前后层的神经元全连接，全连接层用于特征映射以及降维，并将AlexNet中的RELU改为ELU；解码器将自编码器编码的隐藏特征解释出来，推理整个人脸图像的内容，然后初步的修补缺损的人脸图像。
5.根据权利要求4所述的方法，其特征在于：步骤3)具体为：
301)自编码器对缺损的人脸图像进行编码，解码器将自编码器编码的隐藏特征解释出来；
302)采用l2刻画遮挡区域缺损部分的真实内容与预测内容之间的差距，以此进行编码器的训练，损失捕获缺损的人脸图像中缺损区域(或称为遮挡区域)的内容，对于每一张缺损的人脸图像，自编码器生成缺损区域预测图像h(x)，构建损失函数为：
其中：x表示缺损图像；xg表示真实像素；R表示x中的缺损区域；h(x)表示自编码器生成的缺失区域预测图像；h(xg,R)表示自编码器生成返回R区域的xg像素；(h(x)-h(xg,R))表示自编码器生成预测缺损区域的像素与该缺损区域区域真实像素的差距；
303)自编码器计算损失函数，直到损失函数为最小时，将自编码器生成的缺损区域预测图像填充到缺损的人脸图像的缺损区域(或称为遮挡区域)中，获得初步修复人脸图像f(x)。
6.根据权利要求1所述的方法，其特征在于：步骤4)具体为：
401)在生成器(G)和判别器(D)的建模中均输入人脸数据集中的完整的原始人脸图像，人脸数据集中的人脸图像作为生成器(G)和判别器(D)共同的额外条件变量y，通过额外条件变量y作为额外输入层导入生成器(G)和判别器(D)来实现条件模型；
402)将经过自编码器初步修复的初步修复人脸图像f(x)输入到生成对抗网络的生成器(G)和判别器(D)中，生成对抗网络构建目标函数：
其中：x表示缺损图像，y表示人脸图像样本；z表示缺损图像在生成器中的生成结果；E表示误差；f(x)表示初步修复人脸图像；Pd表示判别器中的图样样本；Pz表示噪音图像样本；D(f(x),y)表示对于输入f(x)和y两个参数，判别器D判断正确的概率；G(f(x),z)表示对于输入参数f(x)和z，生成器生成的结果；D(f(x),G(f(x),z))：判别器对生成器生成结果判别正确的概率；z～pz(z)表示噪声分布；
403)生成对抗网络下的生成器(G)和判别器(D)根据人脸数据集中每一张人脸图像和对应的初步修复人脸图像f(x)不断进行迭代训练，直到目标函数达到0.5；即得到CGAN模型。
7.根据权利要求1所述的方法，其特征在于：步骤5)具体为：将缺损的待修复人脸图像输入训练好的自编码器，自编码器对待修复人脸图像进行编码，解码器将自编码器编码的隐藏特征解释出来，然后进行初步修补，获得初步修复的待修复人脸图像。
8.根据权利要求1所述的方法，其特征在于：步骤6)具体为：将初步修复的待修复人脸图像输入训练好的CGAN模型的生成器(G)中，CGAN模型不断进行迭代计算，直到目标函数达到0.5；输出即可得更清晰、更逼真的人脸缺损图像还原结果图，获得修复的人脸图像。
9.根据权利要求3所述的方法，其特征在于：对图像的提取、归一化处理后，将人脸图像缩放为256×256的规格；随机生成遮挡块的区域限制在以人脸头像中心为中心的150*150区域内。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810331433.3A CN108520503B (zh) | 2018-04-13 | 2018-04-13 | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810331433.3A CN108520503B (zh) | 2018-04-13 | 2018-04-13 | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108520503A true CN108520503A (zh) | 2018-09-11 |
| CN108520503B CN108520503B (zh) | 2020-12-22 |
Family
ID=63432546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810331433.3A Active CN108520503B (zh) | 2018-04-13 | 2018-04-13 | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108520503B (zh) |
Cited By (60)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109255768A (zh) * | 2018-09-21 | 2019-01-22 | 深圳市中科明望通信软件有限公司 | 图像补全方法、装置、终端及计算机可读存储介质 |
| CN109308689A (zh) * | 2018-10-15 | 2019-02-05 | 聚时科技(上海)有限公司 | 基于掩码生成对抗网络迁移学习的无监督图像修复方法 |
| CN109325549A (zh) * | 2018-10-25 | 2019-02-12 | 电子科技大学 | 一种人脸图像融合方法 |
| CN109360170A (zh) * | 2018-10-24 | 2019-02-19 | 北京工商大学 | 基于高级特征的人脸修复方法 |
| CN109410131A (zh) * | 2018-09-28 | 2019-03-01 | 杭州格像科技有限公司 | 基于条件生成对抗神经网络的人脸美颜方法及系统 |
| CN109509144A (zh) * | 2018-11-01 | 2019-03-22 | 中山大学 | 一种基于对抗生成网络的与职业相关的人脸老化方法 |
| CN109523463A (zh) * | 2018-11-20 | 2019-03-26 | 中山大学 | 一种基于条件生成对抗网络的人脸老化方法 |
| CN109559287A (zh) * | 2018-11-20 | 2019-04-02 | 北京工业大学 | 一种基于DenseNet生成对抗网络的语义图像修复方法 |
| CN109658347A (zh) * | 2018-11-14 | 2019-04-19 | 天津大学 | 一种同时生成多种图片风格的数据增强方法 |
| CN109685072A (zh) * | 2018-12-22 | 2019-04-26 | 北京工业大学 | 一种基于生成对抗网络的复合降质图像高质量重建方法 |
| CN109684973A (zh) * | 2018-12-18 | 2019-04-26 | 哈尔滨工业大学 | 基于对称一致性的卷积神经网络的人脸图像填充系统 |
| CN109727209A (zh) * | 2018-12-13 | 2019-05-07 | 北京爱奇艺科技有限公司 | 一种确定残缺文物完整图像的方法及装置 |
| CN109785258A (zh) * | 2019-01-10 | 2019-05-21 | 华南理工大学 | 一种基于多判别器生成对抗网络的人脸图像修复方法 |
| CN109801230A (zh) * | 2018-12-21 | 2019-05-24 | 河海大学 | 一种基于新编码器结构的图像修复方法 |
| CN109872278A (zh) * | 2018-12-18 | 2019-06-11 | 深圳先进技术研究院 | 基于u形网络和生成对抗网络的图像云层移除方法 |
| CN109886210A (zh) * | 2019-02-25 | 2019-06-14 | 百度在线网络技术（北京）有限公司 | 一种交通图像识别方法、装置、计算机设备和介质 |
| CN109886216A (zh) * | 2019-02-26 | 2019-06-14 | 华南理工大学 | 基于vr情景人脸图像复原的表情识别方法、设备及介质 |
| CN109934116A (zh) * | 2019-02-19 | 2019-06-25 | 华南理工大学 | 一种基于生成对抗机制与注意力机制的标准人脸生成方法 |
| CN109948776A (zh) * | 2019-02-26 | 2019-06-28 | 华南农业大学 | 一种基于lbp的对抗网络模型图片标签生成方法 |
| CN110222628A (zh) * | 2019-06-03 | 2019-09-10 | 电子科技大学 | 一种基于生成式对抗网络的人脸修复方法 |
| CN110290387A (zh) * | 2019-05-17 | 2019-09-27 | 北京大学 | 一种基于生成模型的图像压缩方法 |
| CN110309889A (zh) * | 2019-07-04 | 2019-10-08 | 西南大学 | 一种双判别器gan的古彝文字符修复方法 |
| CN110598595A (zh) * | 2019-08-29 | 2019-12-20 | 合肥工业大学 | 一种基于人脸关键点和姿态的多属性人脸生成算法 |
| CN110599411A (zh) * | 2019-08-08 | 2019-12-20 | 中国地质大学（武汉） | 一种基于条件生成对抗网络的图像修复方法及系统 |
| CN110706179A (zh) * | 2019-09-30 | 2020-01-17 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
| CN110705353A (zh) * | 2019-08-29 | 2020-01-17 | 北京影谱科技股份有限公司 | 基于注意力机制的遮挡人脸的识别方法和装置 |
| CN110728628A (zh) * | 2019-08-30 | 2020-01-24 | 南京航空航天大学 | 一种基于条件生成对抗网络的人脸去遮挡方法 |
| CN110895795A (zh) * | 2018-09-13 | 2020-03-20 | 北京工商大学 | 改进的语义图像修补模型方法 |
| CN110910322A (zh) * | 2019-11-05 | 2020-03-24 | 北京奇艺世纪科技有限公司 | 图片处理方法、装置、电子设备及计算机可读存储介质 |
| CN110942439A (zh) * | 2019-12-05 | 2020-03-31 | 北京华恒盛世科技有限公司 | 基于卫星图片缺陷的图像复原和增强方法 |
| CN110956097A (zh) * | 2019-11-13 | 2020-04-03 | 北京影谱科技股份有限公司 | 遮挡人体提取方法及模块、场景转换方法及装置 |
| CN111047522A (zh) * | 2019-11-07 | 2020-04-21 | 北京科技大学 | 一种基于边缘生成的图像修复方法 |
| CN111105349A (zh) * | 2018-10-26 | 2020-05-05 | 珠海格力电器股份有限公司 | 一种图像处理方法 |
| CN111476200A (zh) * | 2020-04-27 | 2020-07-31 | 华东师范大学 | 基于生成对抗网络的人脸去识别化生成方法 |
| CN111488865A (zh) * | 2020-06-28 | 2020-08-04 | 腾讯科技（深圳）有限公司 | 图像优化方法、装置、计算机存储介质以及电子设备 |
| CN111507914A (zh) * | 2020-04-10 | 2020-08-07 | 北京百度网讯科技有限公司 | 人脸修复模型的训练方法、修复方法、装置、设备和介质 |
| CN111899184A (zh) * | 2020-03-31 | 2020-11-06 | 珠海市杰理科技股份有限公司 | 图像缺陷修复、神经网络训练方法、装置、设备和系统 |
| CN111915693A (zh) * | 2020-05-22 | 2020-11-10 | 中国科学院计算技术研究所 | 基于草图的人脸图像生成方法及系统 |
| CN111985281A (zh) * | 2019-05-24 | 2020-11-24 | 内蒙古工业大学 | 图像生成模型的生成方法、装置及图像生成方法、装置 |
| CN112116535A (zh) * | 2020-08-11 | 2020-12-22 | 西安交通大学 | 一种基于并行自编码器的图像补全方法 |
| CN112185104A (zh) * | 2020-08-22 | 2021-01-05 | 南京理工大学 | 一种基于对抗自编码器的交通大数据修复方法 |
| CN112257787A (zh) * | 2020-10-23 | 2021-01-22 | 天津大学 | 基于生成式双重条件对抗网络结构的图像半监督分类方法 |
| CN112288861A (zh) * | 2020-11-02 | 2021-01-29 | 湖北大学 | 一种基于单张照片的人脸三维模型自动构建方法及系统 |
| CN112348806A (zh) * | 2020-11-14 | 2021-02-09 | 四川大学华西医院 | 一种无参考数字病理切片模糊度评价算法 |
| CN112365412A (zh) * | 2020-10-27 | 2021-02-12 | 天津大学 | 基于动态的面部表情动作单元信息的人脸修复方法 |
| WO2021057426A1 (zh) * | 2019-09-29 | 2021-04-01 | 腾讯科技（深圳）有限公司 | 融合图像处理模型的训练方法、装置、设备及存储介质 |
| WO2021088101A1 (zh) * | 2019-11-04 | 2021-05-14 | 中国科学院自动化研究所 | 基于改进的条件生成对抗网络的绝缘子分割方法 |
| CN112991232A (zh) * | 2021-04-30 | 2021-06-18 | 深圳阜时科技有限公司 | 指纹图像修复模型的训练方法、指纹识别方法及终端设备 |
| CN113033582A (zh) * | 2019-12-09 | 2021-06-25 | 杭州海康威视数字技术股份有限公司 | 模型训练方法、特征提取方法及装置 |
| CN113112411A (zh) * | 2020-01-13 | 2021-07-13 | 南京信息工程大学 | 基于多尺度特征融合的人脸图像语义修复方法 |
| CN113205035A (zh) * | 2021-04-27 | 2021-08-03 | 安徽中科晶格技术有限公司 | 一种身份识别方法、装置、设备及存储介质 |
| CN113435365A (zh) * | 2021-06-30 | 2021-09-24 | 平安科技（深圳）有限公司 | 人脸图像迁移方法及装置 |
| CN113487521A (zh) * | 2021-09-08 | 2021-10-08 | 苏州浪潮智能科技有限公司 | 自编码器训练方法及组件，异常图像检测方法及组件 |
| CN113610212A (zh) * | 2021-07-05 | 2021-11-05 | 宜通世纪科技股份有限公司 | 一种多模态传感器数据的合成方法、装置及存储介质 |
| TWI748867B (zh) * | 2021-02-05 | 2021-12-01 | 鴻海精密工業股份有限公司 | 圖像瑕疵檢測方法、裝置、電子設備及存儲介質 |
| US11295439B2 (en) | 2019-10-16 | 2022-04-05 | International Business Machines Corporation | Image recovery |
| WO2022148301A1 (zh) * | 2021-01-07 | 2022-07-14 | 苏州浪潮智能科技有限公司 | 一种基于改进降噪自编码器的异常检测模型的训练方法 |
| CN114897722A (zh) * | 2022-04-29 | 2022-08-12 | 中国科学院西安光学精密机械研究所 | 一种自编码网络及基于自编码网络的波前图像复原方法 |
| CN116958152A (zh) * | 2023-09-21 | 2023-10-27 | 中科航迈数控软件(深圳)有限公司 | 一种零件尺寸测量方法、装置、设备及介质 |
| CN117078509A (zh) * | 2023-10-18 | 2023-11-17 | 荣耀终端有限公司 | 模型训练方法、照片生成方法及相关设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101437162A (zh) * | 2004-11-19 | 2009-05-20 | 株式会社Ntt都科摩 | 图像解码装置及其方法、图像编码装置及其方法 |
| US20130182184A1 (en) * | 2012-01-13 | 2013-07-18 | Turgay Senlet | Video background inpainting |
| CN104298973A (zh) * | 2014-10-09 | 2015-01-21 | 北京工业大学 | 基于自编码器的人脸图像旋转方法 |
| US20170024864A1 (en) * | 2015-07-20 | 2017-01-26 | Tata Consultancy Services Limited | System and method for image inpainting |
| CN106952239A (zh) * | 2017-03-28 | 2017-07-14 | 厦门幻世网络科技有限公司 | 图像生成方法和装置 |
| CN107133934A (zh) * | 2017-05-18 | 2017-09-05 | 北京小米移动软件有限公司 | 图像补全方法及装置 |
| CN107239766A (zh) * | 2017-06-08 | 2017-10-10 | 深圳市唯特视科技有限公司 | 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法 |
-
2018
- 2018-04-13 CN CN201810331433.3A patent/CN108520503B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101437162A (zh) * | 2004-11-19 | 2009-05-20 | 株式会社Ntt都科摩 | 图像解码装置及其方法、图像编码装置及其方法 |
| US20130182184A1 (en) * | 2012-01-13 | 2013-07-18 | Turgay Senlet | Video background inpainting |
| CN104298973A (zh) * | 2014-10-09 | 2015-01-21 | 北京工业大学 | 基于自编码器的人脸图像旋转方法 |
| US20170024864A1 (en) * | 2015-07-20 | 2017-01-26 | Tata Consultancy Services Limited | System and method for image inpainting |
| CN106952239A (zh) * | 2017-03-28 | 2017-07-14 | 厦门幻世网络科技有限公司 | 图像生成方法和装置 |
| CN107133934A (zh) * | 2017-05-18 | 2017-09-05 | 北京小米移动软件有限公司 | 图像补全方法及装置 |
| CN107239766A (zh) * | 2017-06-08 | 2017-10-10 | 深圳市唯特视科技有限公司 | 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法 |
Non-Patent Citations (7)
| Title |
|---|
| CHAO YANG等: "High-Resolution Image Inpainting Using Multi-scale Neural Patch Synthesis", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| CHAO YANG等: "Image Inpainting using Block-wise Procedural Training with Annealed Adversarial Counterpart", 《HTTP://ARXIV:1803.08943V2》 * |
| DEEPAK PATHAK等: "Context Encoders: Feature Learning by Inpainting", 《HTTPS://ARXIV.ORG/ABS/1604.07379V2》 * |
| EMILY DENTON等: "Semi-supervised Learning with Context-Conditional Generative Adversarial Networks", 《HTTPS://ARXIV.ORG/ABS/1611.06430》 * |
| GUIM PERARNAU等: "Invertible Conditional GANs for image editing", 《NIPS 2016 WORKSHOP ON ADVERSARIAL TRAINING》 * |
| J_K_GUO: "Conditional Generative Adversarial Nets", 《HTTPS://WWW.CNBLOGS.COM/J-K-GUO/P/7643439.HTML》 * |
| MEHDI MIRZA等: "Conditional Generative Adversarial Nets", 《COMPUTER SCIENCE》 * |
Cited By (90)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110895795A (zh) * | 2018-09-13 | 2020-03-20 | 北京工商大学 | 改进的语义图像修补模型方法 |
| CN109255768A (zh) * | 2018-09-21 | 2019-01-22 | 深圳市中科明望通信软件有限公司 | 图像补全方法、装置、终端及计算机可读存储介质 |
| CN109410131A (zh) * | 2018-09-28 | 2019-03-01 | 杭州格像科技有限公司 | 基于条件生成对抗神经网络的人脸美颜方法及系统 |
| CN109410131B (zh) * | 2018-09-28 | 2020-08-04 | 杭州格像科技有限公司 | 基于条件生成对抗神经网络的人脸美颜方法及系统 |
| CN109308689A (zh) * | 2018-10-15 | 2019-02-05 | 聚时科技(上海)有限公司 | 基于掩码生成对抗网络迁移学习的无监督图像修复方法 |
| CN109360170A (zh) * | 2018-10-24 | 2019-02-19 | 北京工商大学 | 基于高级特征的人脸修复方法 |
| CN109325549A (zh) * | 2018-10-25 | 2019-02-12 | 电子科技大学 | 一种人脸图像融合方法 |
| CN109325549B (zh) * | 2018-10-25 | 2022-03-04 | 电子科技大学 | 一种人脸图像融合方法 |
| CN111105349A (zh) * | 2018-10-26 | 2020-05-05 | 珠海格力电器股份有限公司 | 一种图像处理方法 |
| CN109509144A (zh) * | 2018-11-01 | 2019-03-22 | 中山大学 | 一种基于对抗生成网络的与职业相关的人脸老化方法 |
| CN109658347A (zh) * | 2018-11-14 | 2019-04-19 | 天津大学 | 一种同时生成多种图片风格的数据增强方法 |
| CN109523463A (zh) * | 2018-11-20 | 2019-03-26 | 中山大学 | 一种基于条件生成对抗网络的人脸老化方法 |
| CN109559287A (zh) * | 2018-11-20 | 2019-04-02 | 北京工业大学 | 一种基于DenseNet生成对抗网络的语义图像修复方法 |
| CN109727209A (zh) * | 2018-12-13 | 2019-05-07 | 北京爱奇艺科技有限公司 | 一种确定残缺文物完整图像的方法及装置 |
| CN109872278A (zh) * | 2018-12-18 | 2019-06-11 | 深圳先进技术研究院 | 基于u形网络和生成对抗网络的图像云层移除方法 |
| CN109684973A (zh) * | 2018-12-18 | 2019-04-26 | 哈尔滨工业大学 | 基于对称一致性的卷积神经网络的人脸图像填充系统 |
| CN109684973B (zh) * | 2018-12-18 | 2023-04-07 | 哈尔滨工业大学 | 基于对称一致性的卷积神经网络的人脸图像填充系统 |
| CN109801230A (zh) * | 2018-12-21 | 2019-05-24 | 河海大学 | 一种基于新编码器结构的图像修复方法 |
| CN109801230B (zh) * | 2018-12-21 | 2022-08-26 | 河海大学 | 一种基于编码器结构的图像修复方法 |
| CN109685072A (zh) * | 2018-12-22 | 2019-04-26 | 北京工业大学 | 一种基于生成对抗网络的复合降质图像高质量重建方法 |
| CN109785258A (zh) * | 2019-01-10 | 2019-05-21 | 华南理工大学 | 一种基于多判别器生成对抗网络的人脸图像修复方法 |
| CN109934116A (zh) * | 2019-02-19 | 2019-06-25 | 华南理工大学 | 一种基于生成对抗机制与注意力机制的标准人脸生成方法 |
| CN109886210A (zh) * | 2019-02-25 | 2019-06-14 | 百度在线网络技术（北京）有限公司 | 一种交通图像识别方法、装置、计算机设备和介质 |
| CN109886210B (zh) * | 2019-02-25 | 2022-07-19 | 百度在线网络技术（北京）有限公司 | 一种交通图像识别方法、装置、计算机设备和介质 |
| CN109886216A (zh) * | 2019-02-26 | 2019-06-14 | 华南理工大学 | 基于vr情景人脸图像复原的表情识别方法、设备及介质 |
| CN109948776A (zh) * | 2019-02-26 | 2019-06-28 | 华南农业大学 | 一种基于lbp的对抗网络模型图片标签生成方法 |
| CN110290387B (zh) * | 2019-05-17 | 2021-05-04 | 北京大学 | 一种基于生成模型的图像压缩方法 |
| CN110290387A (zh) * | 2019-05-17 | 2019-09-27 | 北京大学 | 一种基于生成模型的图像压缩方法 |
| CN111985281B (zh) * | 2019-05-24 | 2022-12-09 | 内蒙古工业大学 | 图像生成模型的生成方法、装置及图像生成方法、装置 |
| CN111985281A (zh) * | 2019-05-24 | 2020-11-24 | 内蒙古工业大学 | 图像生成模型的生成方法、装置及图像生成方法、装置 |
| CN110222628A (zh) * | 2019-06-03 | 2019-09-10 | 电子科技大学 | 一种基于生成式对抗网络的人脸修复方法 |
| CN110309889A (zh) * | 2019-07-04 | 2019-10-08 | 西南大学 | 一种双判别器gan的古彝文字符修复方法 |
| CN110599411A (zh) * | 2019-08-08 | 2019-12-20 | 中国地质大学（武汉） | 一种基于条件生成对抗网络的图像修复方法及系统 |
| CN110705353A (zh) * | 2019-08-29 | 2020-01-17 | 北京影谱科技股份有限公司 | 基于注意力机制的遮挡人脸的识别方法和装置 |
| CN110598595B (zh) * | 2019-08-29 | 2022-03-18 | 合肥工业大学 | 一种基于人脸关键点和姿态的多属性人脸生成算法 |
| CN110598595A (zh) * | 2019-08-29 | 2019-12-20 | 合肥工业大学 | 一种基于人脸关键点和姿态的多属性人脸生成算法 |
| CN110728628A (zh) * | 2019-08-30 | 2020-01-24 | 南京航空航天大学 | 一种基于条件生成对抗网络的人脸去遮挡方法 |
| WO2021057426A1 (zh) * | 2019-09-29 | 2021-04-01 | 腾讯科技（深圳）有限公司 | 融合图像处理模型的训练方法、装置、设备及存储介质 |
| US11526712B2 (en) | 2019-09-29 | 2022-12-13 | Tencent Technology (Shenzhen) Company Limited | Training method and apparatus for image fusion processing model, device, and storage medium |
| CN110706179A (zh) * | 2019-09-30 | 2020-01-17 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
| CN110706179B (zh) * | 2019-09-30 | 2023-11-10 | 维沃移动通信有限公司 | 一种图像处理方法及电子设备 |
| US11295439B2 (en) | 2019-10-16 | 2022-04-05 | International Business Machines Corporation | Image recovery |
| WO2021088101A1 (zh) * | 2019-11-04 | 2021-05-14 | 中国科学院自动化研究所 | 基于改进的条件生成对抗网络的绝缘子分割方法 |
| CN110910322A (zh) * | 2019-11-05 | 2020-03-24 | 北京奇艺世纪科技有限公司 | 图片处理方法、装置、电子设备及计算机可读存储介质 |
| CN110910322B (zh) * | 2019-11-05 | 2022-07-29 | 北京奇艺世纪科技有限公司 | 图片处理方法、装置、电子设备及计算机可读存储介质 |
| CN111047522B (zh) * | 2019-11-07 | 2023-04-07 | 北京科技大学 | 一种基于边缘生成的图像修复方法 |
| CN111047522A (zh) * | 2019-11-07 | 2020-04-21 | 北京科技大学 | 一种基于边缘生成的图像修复方法 |
| CN110956097B (zh) * | 2019-11-13 | 2023-07-21 | 北京影谱科技股份有限公司 | 遮挡人体提取方法及模块、场景转换方法及装置 |
| CN110956097A (zh) * | 2019-11-13 | 2020-04-03 | 北京影谱科技股份有限公司 | 遮挡人体提取方法及模块、场景转换方法及装置 |
| CN110942439A (zh) * | 2019-12-05 | 2020-03-31 | 北京华恒盛世科技有限公司 | 基于卫星图片缺陷的图像复原和增强方法 |
| CN110942439B (zh) * | 2019-12-05 | 2023-09-19 | 北京华恒盛世科技有限公司 | 基于卫星图片缺陷的图像复原和增强方法 |
| CN113033582A (zh) * | 2019-12-09 | 2021-06-25 | 杭州海康威视数字技术股份有限公司 | 模型训练方法、特征提取方法及装置 |
| CN113033582B (zh) * | 2019-12-09 | 2023-09-26 | 杭州海康威视数字技术股份有限公司 | 模型训练方法、特征提取方法及装置 |
| CN113112411B (zh) * | 2020-01-13 | 2023-11-24 | 南京信息工程大学 | 基于多尺度特征融合的人脸图像语义修复方法 |
| CN113112411A (zh) * | 2020-01-13 | 2021-07-13 | 南京信息工程大学 | 基于多尺度特征融合的人脸图像语义修复方法 |
| CN111899184B (zh) * | 2020-03-31 | 2023-11-28 | 珠海市杰理科技股份有限公司 | 图像缺陷修复、神经网络训练方法、装置、设备和系统 |
| CN111899184A (zh) * | 2020-03-31 | 2020-11-06 | 珠海市杰理科技股份有限公司 | 图像缺陷修复、神经网络训练方法、装置、设备和系统 |
| CN111507914B (zh) * | 2020-04-10 | 2023-08-08 | 北京百度网讯科技有限公司 | 人脸修复模型的训练方法、修复方法、装置、设备和介质 |
| CN111507914A (zh) * | 2020-04-10 | 2020-08-07 | 北京百度网讯科技有限公司 | 人脸修复模型的训练方法、修复方法、装置、设备和介质 |
| CN111476200B (zh) * | 2020-04-27 | 2022-04-19 | 华东师范大学 | 基于生成对抗网络的人脸去识别化生成方法 |
| CN111476200A (zh) * | 2020-04-27 | 2020-07-31 | 华东师范大学 | 基于生成对抗网络的人脸去识别化生成方法 |
| CN111915693A (zh) * | 2020-05-22 | 2020-11-10 | 中国科学院计算技术研究所 | 基于草图的人脸图像生成方法及系统 |
| CN111915693B (zh) * | 2020-05-22 | 2023-10-24 | 中国科学院计算技术研究所 | 基于草图的人脸图像生成方法及系统 |
| CN111488865A (zh) * | 2020-06-28 | 2020-08-04 | 腾讯科技（深圳）有限公司 | 图像优化方法、装置、计算机存储介质以及电子设备 |
| CN112116535A (zh) * | 2020-08-11 | 2020-12-22 | 西安交通大学 | 一种基于并行自编码器的图像补全方法 |
| CN112116535B (zh) * | 2020-08-11 | 2022-08-16 | 西安交通大学 | 一种基于并行自编码器的图像补全方法 |
| CN112185104A (zh) * | 2020-08-22 | 2021-01-05 | 南京理工大学 | 一种基于对抗自编码器的交通大数据修复方法 |
| CN112257787A (zh) * | 2020-10-23 | 2021-01-22 | 天津大学 | 基于生成式双重条件对抗网络结构的图像半监督分类方法 |
| CN112257787B (zh) * | 2020-10-23 | 2023-01-17 | 天津大学 | 基于生成式双重条件对抗网络结构的图像半监督分类方法 |
| CN112365412A (zh) * | 2020-10-27 | 2021-02-12 | 天津大学 | 基于动态的面部表情动作单元信息的人脸修复方法 |
| CN112288861A (zh) * | 2020-11-02 | 2021-01-29 | 湖北大学 | 一种基于单张照片的人脸三维模型自动构建方法及系统 |
| CN112288861B (zh) * | 2020-11-02 | 2022-11-25 | 湖北大学 | 一种基于单张照片的人脸三维模型自动构建方法及系统 |
| CN112348806B (zh) * | 2020-11-14 | 2022-08-26 | 四川大学华西医院 | 一种无参考数字病理切片模糊度评价方法 |
| CN112348806A (zh) * | 2020-11-14 | 2021-02-09 | 四川大学华西医院 | 一种无参考数字病理切片模糊度评价算法 |
| WO2022148301A1 (zh) * | 2021-01-07 | 2022-07-14 | 苏州浪潮智能科技有限公司 | 一种基于改进降噪自编码器的异常检测模型的训练方法 |
| TWI748867B (zh) * | 2021-02-05 | 2021-12-01 | 鴻海精密工業股份有限公司 | 圖像瑕疵檢測方法、裝置、電子設備及存儲介質 |
| CN113205035A (zh) * | 2021-04-27 | 2021-08-03 | 安徽中科晶格技术有限公司 | 一种身份识别方法、装置、设备及存储介质 |
| CN112991232B (zh) * | 2021-04-30 | 2021-07-23 | 深圳阜时科技有限公司 | 指纹图像修复模型的训练方法、指纹识别方法及终端设备 |
| CN112991232A (zh) * | 2021-04-30 | 2021-06-18 | 深圳阜时科技有限公司 | 指纹图像修复模型的训练方法、指纹识别方法及终端设备 |
| CN113435365A (zh) * | 2021-06-30 | 2021-09-24 | 平安科技（深圳）有限公司 | 人脸图像迁移方法及装置 |
| CN113610212A (zh) * | 2021-07-05 | 2021-11-05 | 宜通世纪科技股份有限公司 | 一种多模态传感器数据的合成方法、装置及存储介质 |
| CN113610212B (zh) * | 2021-07-05 | 2024-03-05 | 宜通世纪科技股份有限公司 | 一种多模态传感器数据的合成方法、装置及存储介质 |
| CN113487521A (zh) * | 2021-09-08 | 2021-10-08 | 苏州浪潮智能科技有限公司 | 自编码器训练方法及组件，异常图像检测方法及组件 |
| WO2023035425A1 (zh) * | 2021-09-08 | 2023-03-16 | 苏州浪潮智能科技有限公司 | 自编码器训练方法及组件，异常图像检测方法及组件 |
| CN114897722B (zh) * | 2022-04-29 | 2023-04-18 | 中国科学院西安光学精密机械研究所 | 一种基于自编码网络的波前图像复原方法 |
| CN114897722A (zh) * | 2022-04-29 | 2022-08-12 | 中国科学院西安光学精密机械研究所 | 一种自编码网络及基于自编码网络的波前图像复原方法 |
| CN116958152A (zh) * | 2023-09-21 | 2023-10-27 | 中科航迈数控软件(深圳)有限公司 | 一种零件尺寸测量方法、装置、设备及介质 |
| CN116958152B (zh) * | 2023-09-21 | 2024-01-12 | 中科航迈数控软件(深圳)有限公司 | 一种零件尺寸测量方法、装置、设备及介质 |
| CN117078509A (zh) * | 2023-10-18 | 2023-11-17 | 荣耀终端有限公司 | 模型训练方法、照片生成方法及相关设备 |
| CN117078509B (zh) * | 2023-10-18 | 2024-04-09 | 荣耀终端有限公司 | 模型训练方法、照片生成方法及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108520503B (zh) | 2020-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108520503A (zh) | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 | |
| US11908244B2 (en) | Human posture detection utilizing posture reference maps | |
| Yang et al. | Learning face age progression: A pyramid architecture of gans | |
| CN110097131B (zh) | 一种基于对抗协同训练的半监督医疗图像分割方法 | |
| CN109886881B (zh) | 人脸妆容去除方法 | |
| CN108304357B (zh) | 一种基于字体流形的中文字库自动生成方法 | |
| CN109993164A (zh) | 一种基于rcrnn神经网络的自然场景文字识别方法 | |
| CN109711283A (zh) | 一种联合双字典和误差矩阵的遮挡表情识别算法 | |
| Xu et al. | Denoising convolutional neural network | |
| CN112836602B (zh) | 基于时空特征融合的行为识别方法、装置、设备及介质 | |
| CN112884758B (zh) | 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统 | |
| CN110895795A (zh) | 改进的语义图像修补模型方法 | |
| CN116051408B (zh) | 一种基于残差自编码的图像深度去噪方法 | |
| CN113935919A (zh) | 一种基于gan网络的图像修复算法 | |
| CN115049556A (zh) | 一种基于StyleGAN的人脸图像修复方法 | |
| CN111832517A (zh) | 基于门控卷积的低清人脸关键点检测方法 | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| CN116310008B (zh) | 一种基于少样本学习的图像处理方法及相关设备 | |
| Burlin et al. | Deep image inpainting | |
| CN116523985B (zh) | 一种结构和纹理特征引导的双编码器图像修复方法 | |
| CN117493486A (zh) | 基于数据重放的可持续金融事件抽取系统及方法 | |
| CN113822790B (zh) | 一种图像处理方法、装置、设备及计算机可读存储介质 | |
| Liu et al. | Facial landmark detection using generative adversarial network combined with autoencoder for occlusion | |
| US11734389B2 (en) | Method for generating human-computer interactive abstract image | |
| CN113744158A (zh) | 图像生成方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |