CN111612798A - 面向人脸数据对完整的人脸网纹修复方法、系统及介质 - Google Patents

面向人脸数据对完整的人脸网纹修复方法、系统及介质 Download PDF

Info

Publication number
CN111612798A
CN111612798A CN202010412957.2A CN202010412957A CN111612798A CN 111612798 A CN111612798 A CN 111612798A CN 202010412957 A CN202010412957 A CN 202010412957A CN 111612798 A CN111612798 A CN 111612798A
Authority
CN
China
Prior art keywords
human face
image
reticulate pattern
network
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010412957.2A
Other languages
English (en)
Other versions
CN111612798B (zh
Inventor
邝砾
王胤
朱雨佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202010412957.2A priority Critical patent/CN111612798B/zh
Publication of CN111612798A publication Critical patent/CN111612798A/zh
Application granted granted Critical
Publication of CN111612798B publication Critical patent/CN111612798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种面向人脸数据对完整的人脸网纹修复方法、系统及介质，将人脸网纹图像和与之对应的干净人脸图像在水平维度上合并为一张图片；将由所述数据对组成的训练集作为GAN网络的输入，训练得到修复模型；将待修复人脸网纹图像输入所述修复模型，得到修复后的干净人脸图像。本发明方法是一种端到端的训练方式，没有网纹识别的步骤，打破了基于网纹分割再修复的瓶颈。本发明将带有网纹的图像当作噪声数据，通过端到端的对抗训练可以直接生成去除网纹的人脸图像，简化了人脸网纹修复的过程的同时提高了所修复的人脸网纹图像的整体性，不会出现明显的修复痕迹。

Description

面向人脸数据对完整的人脸网纹修复方法、系统及介质
技术领域
本发明涉及人脸图像处理领域，特别是一种面向人脸数据对完整的人脸网纹修复方法、系统及介质。
背景技术
现有的图像风格转换算法都需要进行初始化，还需要固定CNN的参数再反向传播更新图片，性能较差。
Pix2pix网络在做图像修复工作的时候有不错的表现。使用干净的人脸和人脸网纹数据作为输入数据对，其中人脸网纹相当于噪声数据，干净人脸相当于目标图片，生成网络生成的图片是输出图片。Pix2pix生成网络使用了具有Encoder-Decoder的U-net结构，它可以使每个反卷积层中都有降采样卷积层所提取的特征，这样它可以承载更多的信息。它的判别网络中也加入了L1损失，目的是使输入的噪声数据在经过生成网络重新生成后可以与目标图片保持更高的相似度。虽然这样的损失函数和生成网络结构使生成的图片具有了比较高的精度，但Pix2pix用在人脸修复的任务中时，修复后的人脸仍有些明显的网纹覆盖的痕迹。
现有人脸网纹修复方法大多基于多任务的修复方法，需要先对网纹区域进行分割，再对分割出的网纹区域进行修复。这种多任务的人脸网纹修复方法如果在第一步没有分割出精准的网纹就会影响后续的网纹人脸修复任务，会出现明显的修复痕迹。在单独的分割或修复任务中需要先对图像进行尺寸转换，最后再转换为目标分辨率，这样会丢失图像原本的信息，导致修复图像失真。在传统的网纹人脸图像修复方法中生成的人脸图像的细节与原图像仍有存在很大的差距。
发明内容
本发明所要解决的技术问题是，针对现有技术不足，提供一种面向人脸数据对完整的人脸网纹修复方法、系统及介质，提高图像修复的精度。
为解决上述技术问题，本发明所采用的技术方案是：一种面向人脸数据对完整的人脸网纹修复方法，包括以下步骤：
1)将人脸网纹图像和与之对应的干净人脸图像在水平维度上合并为一张图片，合并后的图片与该图片对应的干净人脸图像构成数据对；
2)将由所述数据对组成的训练集作为GAN网络的输入，训练得到修复模型；
3)将待修复人脸网纹图像输入所述修复模型，得到修复后的干净人脸图像。
本发明使用GAN网络(生成式对抗神经网络)获取修复模型，GAN网络可以接受任意尺度的图像，不需要对修复的图像进行分辨率转换，可以避免图像因分辨率转换造成的信息丢失，相对Pix2pix网络，修复后的人脸图像质量更高。
为进一步提高修复精度，步骤1)中，还对所述图片进行归一化处理，并将归一化处理后的图片与该图片对应的干净人脸图像构成数据对。
本发明步骤2)的具体实现过程包括：
A)将所述训练集输入GAN网络，并定义损失函数；
B)训练GAN网络；
C)判断损失函数值是否降低，若是，则返回步骤B)，否则保存损失函数值不再降低时的GAN网络，即得到修复模型。
所述损失函数
Figure BDA0002493969560000021
定义如下：
Figure BDA0002493969560000022
其中D(x)、G(x)分别代表GAN网络的判别网络和生成网络结构；λ是超参数；
Figure BDA0002493969560000023
是L1损失，L1＝||y-G(x)||；
Figure BDA0002493969560000024
Figure BDA0002493969560000025
F表示不同的特征层；λi是超参数；di(yj)是判别网络的隐藏层上真实图片的特征表示，di(G(xj))是生成网络的生成图片的特征表示；
Figure BDA0002493969560000026
Figure BDA0002493969560000027
表示训练样本；N为训练样本数量；x,y分别为人脸网纹图像和与之对应的干净人脸图像。
本发明使用的损失函数能够通过目标图片的特征约束生成图片的特征，从而生成特征与目标图片更为相似的图片。
所述GAN网络的激活函数为Selu激活函数。Selu激活函数不但可以加速训练，还能够增强网络的稳定性。
为了进一步使生成网络生成与目标图片分布更为相近的图片，本发明所述GAN网络的上采样层、下采样层各与一卷积层连接。
为了得到原图，将待修复人脸网纹图像输入所述修复模型中，得到输出图像，将所述输出图像的像素值从[-1，1]转化到[0，255]，从转化后的图像中分离出修复的图像，即得到修复后的干净人脸图像。
优选地，将待修复人脸网纹图像输入所述修复模型中之前，将所述待修复人脸网纹图像的维度设置为与所述训练集中图片的维度一致(即在待修复人脸网纹图像的左侧填充空白像素，也即通过合并空白图片和待修复人脸网纹图片，使得待修复人脸网纹图像与训练集中图片的维度一致)。修复模型输出的是带网纹的人脸图像以及修复后的人脸图像合并成的图像，从合并的图像中分离出修复的图像，即得到修复后的干净人脸图像。
本发明还提供了一种面向人脸数据对完整的人脸网纹修复系统，包括：
数据处理单元，用于将人脸网纹图像和与之对应的干净人脸图像在水平维度上合并为一张图片，合并后的图片与该图片对应的干净人脸图像构成数据对；
训练单元，用于将由所述数据对组成的训练集作为GAN网络的输入，训练得到修复模型；
修复单元，用于将待修复人脸网纹图像输入所述修复模型，得到修复后的干净人脸图像。
作为一个发明构思，本发明还提供了一种计算机存储介质，其存储有程序，该程序被配置为执行上述方法的步骤。
与现有技术相比，本发明所具有的有益效果为：
(1)本发明面向人脸数据对完整(ID人脸数据对完整与否是指人脸网纹和与之对应的干净人脸数据是否完整，单有人脸网纹图片或单有干净人脸图片都称为ID人脸数据不完整，两者全都具备称为ID人脸数据完整。)的网纹人脸修复方法是一种端到端的训练方式，没有网纹识别的步骤，打破了基于网纹分割再修复的瓶颈。本发明将带有网纹的图像当做噪声数据，通过端到端的对抗训练可以直接生成去除网纹的人脸图像，简化了人脸网纹修复的过程的同时提高了所修复的人脸网纹图像的整体性，不会出现明显的修复痕迹。
(2)在单独的分割或修复任务中需要先对图像进行尺寸转换，最后再转换为目标分辨率，这样会丢失图像原本的信息，导致修复图像失真。本发明的生成网络是Encoder-Decoder结构，可以接受任意尺度的图像，不需要对修复的图像进行分辨率转换，可以避免图像因分辨率转换造成的信息丢失。
(3)本发明的损失函数对生成网络和判别网络增加了像素级语义信息与目标图片像素信息间的损失，以及生成图像与原始图像特征间的约束，使得生成的人脸图像与待修复的人脸网纹图像在细节上更为相似，生成的人脸图像的质量更高。
附图说明
图1为本发明采用的FCGAN网络结构示意图；
图2为本发明方法流程图；
图3为本发明FCGAN使用数据集示例图；
图4为本发明pix2pix与FCGAN输出对比图；
图5为pix2pix与FCGAN的MSE评分箱线图；
图6为pix2pix与FCGAN的PSNR评分箱线图。
具体实施方式
本发明实施例采用的GAN网络为基于像素级语义生成逼真图像的特征约束生成式对抗神经网络(Feature Constraint Generative Adversarial Networks)，简称FCGAN。
FCGAN是一种GAN网络，判别网络的目的是区分真实样本y～pdata和生成样本G(z)。相反，生成网络G试图通过生成样本来混淆判别网络D，使生成网络生成的图片越来越逼真。因此，本发明也采用GANs学习策略来解决图像到图像的转换任务。如图1所示，图像生成网络G用于生成给定输入图像
Figure BDA0002493969560000041
Figure BDA0002493969560000042
每一个不同的输入噪声图像x都会对应一个目标图像y，本发明假设所有目标图像
Figure BDA0002493969560000043
服从分布preal，并将其变化为鼓励图像G(x)与目标图像y的分布相同，即G(x)～preal。为了实现生成性对抗学习策略，引入了识别网络D，生成性对抗损失可以表式为：
Figure BDA0002493969560000044
生成对抗损失可以统计出生成图像与目标图像间的分布差异，通过训练减小他们之间的损失，达到生成图像与目标图像间的分布无限逼近。
FCGAN的网络结构如图1所示，生成网络生成的图片与目标图片之间的通过计算损失，回传到生成网络中，使生成网络生成与目标图片分布更为相近的图片。我们不仅在像素级别来约束生成网络生成图片与目标图片更加相似，同时使用判别网络的隐藏层评估生成图片与目标图片间特征间的差异，使生成网络生成的图片与目标图片具有相同高级特征的输出。特征约束损失在生成网络和判别网络间进行对抗训练可以使像素级别的约束没有考虑到的差异可以进一步被缩小。当生成的图片与目标图片的特征差异很小的时候判别网络的隐藏层仍然会不断的更新，寻找更高级的特征差异，所以FCGAN不仅在像素级进行了约束还在特征间做了强约束，使得生成网络生成出的图片更加接近目标图片。
输入干净人脸和人脸网纹图像对(即后续提及的合并后的图像)，使用FCGAN作为修复模型。本发明方法主要分为以下两个个步骤：<1>输入网纹图像和干净人脸对图像(即后续提及的合并后的图像)作为神经网络的训练集；<2>定义新的Loss函数，如下所示，使得生成器生成的特征和像素分布都得与目标图像更接近。
Figure BDA0002493969560000051
其中C,H,W分别代表生成图片与目标图片的通道数、高度、宽度。
Figure BDA0002493969560000052
和xchw分别代表生成图片与目标图片中不同通道数、高度、宽度上的像素值。通过计算两张图片上个通道上的像素值得出生成图像与目标图像之间的差异。与同时，本发明还引入了生成图片与真实图片高维特征之间的误差，在判别网络中生成图片与真实图片高维特征之间的损失定义为：
Figure BDA0002493969560000053
在生成网络中生成图片与真实图片高维特征之间的损失可以定义为：
Figure BDA0002493969560000061
其中F表示5个不同的特征层，F＝5；
Figure BDA0002493969560000062
表示训练样本，λi是超参数，设定λ1＝5，λ2＝2，λ3＝1.5，λ4＝1.5，λ5＝1。dj(·)是是判别网络D的隐藏层上的图像表示。将两个损失函数进行整合，可以得出新的生成网络的损失函数：
Figure BDA0002493969560000063
人脸网纹修复模型的具体实施步骤如图2所示，首先输入网纹人脸和干净人脸对去训练模型，然后网纹修复模型学习干净人脸的数据分布，经过多次训练学习，模型学习出网纹的随机分布函数f(x)。当定义好的Loss函数值不再降低时，最后本发明保存函数Loss值最低的网纹修复模型，用于网纹人脸图像的网纹去除。即：
1)将人脸数据对图像输入到本发明的FCGAN网络中进行迭代训练。
2)监督loss变化，当loss稳定且在10个epochs中无明显下降时可以提前停止模型的训练，得到修复模型M。
人脸数据对获取过程包括：将人脸网纹图像与之对应的干净的人脸在水平维度上合并为一张图片(如图3所示)，例如人脸网纹图像和与之对应的干净人脸图像的分辨率都是178x96，合并后图像的分辨率为356x96。将合并后的图像的值归一化到0-1的范围内，再将归一化后的像素值转换到[-1,1]的值域中。转换后的图片和干净的人脸图像构成数据对。
本发明FCGAN生成网络中的上采样和降采样结构中都使用了stride为2的卷积代替pooling层，同时在下采样中的使用大小为3×3的卷积核，激活函数使用Selu代替了leakyRelu及BN层。
FCGAN通过对抗训练生成网络和判定网络使得他们具有更好的性能，把输入图片中的人脸网纹图片作为噪声数据，也就是需要将噪声数据通过生成网络将它拉伸到和干净人脸数据分布逼近的状态。判定网络则通过对生成网络生成的图片进行严格的判定，使得生成网络生成的人脸图像的质量越来越高。当模型训练完成的时候，输入新的测试数据可以即使的得到高质量的修复结果。
最后，将待修复图像输入到模型M中得到输出数据，将输出数据从[-1，1]转化到[0，1]，再转化到[0，255]，从输出的合并数据(即修复模型输出的带网纹的人脸图像以及修复后的人脸图像合并成的图像)中分离出修复的图像。
本发明另一实施例还提供了一种包括如下结构的修复系统：
数据处理单元，用于将人脸网纹图像和与之对应的干净人脸图像在水平维度上合并为一张图片，合并后的图片与该图片对应的干净人脸图像构成数据对；
训练单元，用于将由所述数据对组成的训练集作为GAN网络的输入，训练得到修复模型；
修复单元，用于将待修复人脸网纹图像输入所述修复模型，得到修复后的干净人脸图像。
本发明系统中采用的GAN网络即上述FCGAN网络。
本发明的另一实施例还提供了一种计算机存储介质，其存储有程序，该程序被配置为执行本发明的步骤。
以下通过实验来进一步说明本发明的方法。
在本实验中，训练集使用了2500张ID人脸数据对，验证集使用了500张ID人脸数据对。FCGAN的训练数据集样式如图3虚线上方所示，训练数据集成对出现，右侧是人脸网纹图片，左侧是人脸网纹图片对应的干净人脸。虚线下方是测试数据集样式，左侧是空白图片，右侧是待修复的人脸网纹图片。为了保证测试集的输入尺寸和训练集的尺寸相同，故将人脸网纹图片和与它大小一致的空白图片合并。
实验使用相同的数据集，与训练轮数相同的pix2pix网络模型与本发明提出的FCGAN模型的输出结果作对比。两个网络模型的实验设置了训练的轮数为20，生成网络的学习率设置为0.0002，判别网络的学习率设置为0.0005。图4是部分测试集的结果，可以看出FCGAN模型较pix2pix网络的修复效果更为真实。从图4可以看出，pix2pix的修复的图片中五官比较模糊，没有使五官的修复看上更真实。但在色彩方面，pip2pix的输出要比FCGAN的输出要偏暖色一些，原因是FCGAN在像素级和特征上都约束了模型的输出，使输出的图片与输入图片更加相似，所以它的输出的图片的颜色与原图会更加相似，偏向于冷色。两个模型对网纹的去除效果都较好，没有明显的网纹残余。两个模型的输出中的图片清晰度不如目标图像高清。这里的主要原因是在制作训练集的时候为了更逼近于公安部提供的人脸网纹图片，对图片做了降分辨率的处理，这样人脸网纹图片的分辨率和网纹效果都会与公安部所提供的照片更加相似。
本实验使用MSE评分和PSNR评分。将pix2pix和FCGAN进行对比，对1000张相同的人脸网纹图像进行修复，对所得的MSE评分和PSNR评分使用箱线图表示。箱线图比较全面的体现出修复图像的平均、最坏、最优、第一和第四分位的情况，可以获得更为直观的视觉对比效果。图5是pix2pix与FCGAN的MSE评分箱线图，从图中可以看出FCGAN的最大、最小、平均MSE评分均小于pix2pix的MSE评分，说明FCGAN生成的图片与原图对比的均方误差表现比pix2pix要强很多。图6是pix2pix与FCGAN的PSNR评分的箱线图，可以看出在峰值信噪比方面FCGAN生成的图像的PSNR评分在平均、最坏、最优、第一和第四分位都相对pix2pix要高一些。在肉眼比对方面，FCGAN生成的图像较pix2pix生成的图像也更为真实。无论定量分析还是肉眼观察，FCGAN都有较好的表现。

Claims (10)

1.一种面向人脸数据对完整的人脸网纹修复方法，其特征在于，包括以下步骤：
1)将人脸网纹图像和与之对应的干净人脸图像在水平维度上合并为一张图片；
2)将由经步骤1)合并后的多张图片组成的训练集作为GAN网络的输入，训练得到修复模型；
3)将待修复人脸网纹图像输入所述修复模型，得到修复后的干净人脸图像。
2.根据权利要求1所述的面向人脸数据对完整的人脸网纹修复方法，其特征在于，步骤1)中，还对合并后的图片进行归一化处理。
3.根据权利要求1所述的面向人脸数据对完整的人脸网纹修复方法，其特征在于，步骤2)的具体实现过程包括：
A)将所述训练集输入GAN网络，并定义损失函数；
B)训练GAN网络；
C)判断损失函数值是否降低，若是，则返回步骤B)，否则保存损失函数值不再降低时的GAN网络，即得到修复模型。
4.根据权利要求3所述的面向人脸数据对完整的人脸网纹修复方法，其特征在于，所述损失函数
Figure FDA0002493969550000011
定义如下：
Figure FDA0002493969550000012
其中D(x)、G(x)分别代表GAN网络的判别网络和生成网络结构；λ是超参数；
Figure FDA0002493969550000013
是L1损失函数，L1＝||y-G(x)||；
Figure FDA0002493969550000014
Figure FDA0002493969550000015
F表示不同的特征层；λi是超参数；di(yj)是判别网络的隐藏层上真实图片的特征表示，di(G(xj))是生成网络的生成图片的特征表示；
Figure FDA0002493969550000016
表示训练样本；N为训练样本数量；x,y分别为人脸网纹图像和与之对应的干净人脸图像。
5.根据权利要求1所述的面向人脸数据对完整的人脸网纹修复方法，其特征在于，所述GAN网络的激活函数为Selu激活函数；优选地，所述GAN网络的上采样层、下采样层各与一卷积层连接。
6.根据权利要求1～5之一所述的面向人脸数据对完整的人脸网纹修复方法，其特征在于，步骤3)的具体实现过程包括：将待修复人脸网纹图像输入所述修复模型中，得到输出图像，将所述输出图像的像素值从[-1，1]转化到[0，255]，从转化后的图像中分离出修复的图像，即得到修复后的干净人脸图像；优选地，将待修复人脸网纹图像输入所述修复模型中之前，将所述待修复人脸网纹图像的维度设置为与所述训练集中图片的维度一致。
7.一种面向人脸数据对完整的人脸网纹修复系统，其特征在于，包括：
数据处理单元，用于将人脸网纹图像和与之对应的干净人脸图像在水平维度上合并为一张图片，合并后的图片与该图片对应的干净人脸图像构成数据对；
训练单元，用于将由所述数据对组成的训练集作为GAN网络的输入，训练得到修复模型；
修复单元，用于将待修复人脸网纹图像输入所述修复模型，得到修复后的干净人脸图像。
8.根据权利要求7所述的面向人脸数据对完整的人脸网纹修复系统，其特征在于，所述GAN网络的损失函数
Figure FDA0002493969550000021
定义如下：
Figure FDA0002493969550000022
其中D(x)、G(x)分别代表GAN网络的判别网络和生成网络结构；λ是超参数；
Figure FDA0002493969550000023
是L1损失，L1＝||y-G(x)||；
Figure FDA0002493969550000024
F表示不同的特征层；λi是超参数；di(yj)是判别网络的隐藏层上真实图片的特征表示，di(G(xj))是生成网络的生成图片的特征表示；
Figure FDA0002493969550000025
Figure FDA0002493969550000026
表示训练样本；N为训练样本数量；x,y分别为人脸网纹图像和与之对应的干净人脸图像。
9.根据权利要求7所述的面向人脸数据对完整的人脸网纹修复系统，其特征在于，所述GAN网络的激活函数为Selu激活函数；优选地，所述GAN网络的上采样层、下采样层各与一卷积层连接。
10.一种计算机存储介质，其特征在于，其存储有程序，该程序被配置为执行权利要求1～6之一所述方法的步骤。
CN202010412957.2A 2020-05-15 2020-05-15 面向人脸数据对完整的人脸网纹修复方法、系统及介质 Active CN111612798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010412957.2A CN111612798B (zh) 2020-05-15 2020-05-15 面向人脸数据对完整的人脸网纹修复方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010412957.2A CN111612798B (zh) 2020-05-15 2020-05-15 面向人脸数据对完整的人脸网纹修复方法、系统及介质

Publications (2)

Publication Number Publication Date
CN111612798A true CN111612798A (zh) 2020-09-01
CN111612798B CN111612798B (zh) 2023-04-18

Family

ID=72205673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010412957.2A Active CN111612798B (zh) 2020-05-15 2020-05-15 面向人脸数据对完整的人脸网纹修复方法、系统及介质

Country Status (1)

Country Link
CN (1) CN111612798B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114943656A (zh) * 2022-05-31 2022-08-26 山东财经大学 一种人脸图像修复方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1731449A (zh) * 2005-07-14 2006-02-08 北京航空航天大学 一种图像修复方法
CN108205659A (zh) * 2017-11-30 2018-06-26 深圳市深网视界科技有限公司 人脸遮挡物去除及其模型构建的方法、设备及介质
CN109035171A (zh) * 2018-08-01 2018-12-18 中国计量大学 一种网纹人脸图像修复方法
CN109377448A (zh) * 2018-05-20 2019-02-22 北京工业大学 一种基于生成对抗网络的人脸图像修复方法
CN109584178A (zh) * 2018-11-29 2019-04-05 腾讯科技（深圳）有限公司 图像修复方法、装置和存储介质
US20190236759A1 (en) * 2018-01-29 2019-08-01 National Tsing Hua University Method of image completion
CN110222628A (zh) * 2019-06-03 2019-09-10 电子科技大学 一种基于生成式对抗网络的人脸修复方法
US10504268B1 (en) * 2017-04-18 2019-12-10 Educational Testing Service Systems and methods for generating facial expressions in a user interface
CN110895795A (zh) * 2018-09-13 2020-03-20 北京工商大学 改进的语义图像修补模型方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1731449A (zh) * 2005-07-14 2006-02-08 北京航空航天大学 一种图像修复方法
US10504268B1 (en) * 2017-04-18 2019-12-10 Educational Testing Service Systems and methods for generating facial expressions in a user interface
CN108205659A (zh) * 2017-11-30 2018-06-26 深圳市深网视界科技有限公司 人脸遮挡物去除及其模型构建的方法、设备及介质
US20190236759A1 (en) * 2018-01-29 2019-08-01 National Tsing Hua University Method of image completion
CN109377448A (zh) * 2018-05-20 2019-02-22 北京工业大学 一种基于生成对抗网络的人脸图像修复方法
CN109035171A (zh) * 2018-08-01 2018-12-18 中国计量大学 一种网纹人脸图像修复方法
CN110895795A (zh) * 2018-09-13 2020-03-20 北京工商大学 改进的语义图像修补模型方法
CN109584178A (zh) * 2018-11-29 2019-04-05 腾讯科技（深圳）有限公司 图像修复方法、装置和存储介质
CN110222628A (zh) * 2019-06-03 2019-09-10 电子科技大学 一种基于生成式对抗网络的人脸修复方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HUANG BIN 等: "High-Quality Face Image SR Using Conditional Generative Adversarial Networks" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114943656A (zh) * 2022-05-31 2022-08-26 山东财经大学 一种人脸图像修复方法及系统
CN114943656B (zh) * 2022-05-31 2023-02-28 山东财经大学 一种人脸图像修复方法及系统

Also Published As

Publication number Publication date
CN111612798B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
CN110473142B (zh) 基于深度学习的单幅图像超分辨率重建方法
CN110826389B (zh) 基于注意力3d频率卷积神经网络的步态识别方法
CN111047541A (zh) 一种基于小波变换注意力模型的图像修复方法
CN112837234B (zh) 一种基于多列门控卷积网络的人脸图像修复方法
CN111861894A (zh) 基于生成式对抗网络的图像去运动模糊方法
CN113112416B (zh) 一种语义引导的人脸图像修复方法
CN112734915A (zh) 一种基于深度学习的多视角立体视觉三维场景重建方法
CN111833267A (zh) 一种进行运动模糊复原的双重生成对抗网络及其运行方法
CN113808031A (zh) 一种基于LSK-FNet模型的图像修复方法
CN112884669A (zh) 基于多尺度内容注意力机制的图像修复方法、存储介质和终端
CN112801914A (zh) 一种基于纹理结构感知的二段式图像修复方法
CN113936318A (zh) 一种基于gan人脸先验信息预测和融合的人脸图像修复方法
CN111612798B (zh) 面向人脸数据对完整的人脸网纹修复方法、系统及介质
CN112348762A (zh) 一种基于多尺度融合生成对抗网络的单幅图像去雨方法
CN115526891A (zh) 一种缺陷数据集的生成模型的训练方法及相关装置
CN114972332A (zh) 一种基于图像超分辨率重建网络的竹集成材裂纹检测方法
CN114897768A (zh) 一种基于语义细化的空间金字塔人群计数方法
CN114973364A (zh) 一种基于脸部区域注意力机制的深度图片鉴伪方法及系统
Friedrich et al. The effects of non-linear operators in voxel-based deep neural networks for 3D style reconstruction
CN111127587B (zh) 一种基于对抗生成网络的无参考图像质量地图生成方法
CN114118199A (zh) 一种用于智能泵腔体内窥镜故障诊断的图像分类方法及系统
Li et al. Face mask removal based on generative adversarial network and texture network
CN111882495A (zh) 一种基于自定义模糊逻辑与gan的图像高光处理方法
Mo et al. Contrastive adaptive frequency decomposition network guided by haze discrimination for real-world image dehazing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant