CN108537754B - 基于形变引导图的人脸图像复原系统 - Google Patents

基于形变引导图的人脸图像复原系统 Download PDF

Info

Publication number
CN108537754B
CN108537754B CN201810329602.XA CN201810329602A CN108537754B CN 108537754 B CN108537754 B CN 108537754B CN 201810329602 A CN201810329602 A CN 201810329602A CN 108537754 B CN108537754 B CN 108537754B
Authority
CN
China
Prior art keywords
deconvolution
layer
output
convolution
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810329602.XA
Other languages
English (en)
Other versions
CN108537754A (zh
Inventor
左旺孟
李晓明
刘铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201810329602.XA priority Critical patent/CN108537754B/zh
Publication of CN108537754A publication Critical patent/CN108537754A/zh
Application granted granted Critical
Publication of CN108537754B publication Critical patent/CN108537754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

基于形变引导图的人脸图像复原系统，属于图像复原领域，解决了现有基于卷积神经网络的人脸图像复原系统无法对低质量人脸图像进行有效增强的问题。人脸图像复原系统：引导图变形网络和人脸图像重建网络均基于卷积神经网络实现。引导图变形网络将待复原人脸图和引导图作为输入，将得到的光流向量作为使引导图变形的绝对坐标，并通过双线性插值的方式使引导图变形，得到形变引导图。引导图和待复原人脸图为同一人的人脸图，引导图为高清正脸图。形变引导图中的人脸与待复原人脸图中的人脸的姿态和表情相同。人脸图像重建网络将待复原人脸图和形变引导图作为其输入，并输出复原人脸图。本发明所述的人脸图像复原系统适用于对低质量人脸图像进行增强。

Description

基于形变引导图的人脸图像复原系统
技术领域
本发明涉及一种人脸图像复原系统，属于图像复原领域。
背景技术
人脸图像复原旨在从一幅低质量人脸图像复原出高质量人脸图像。低质量人脸图像出现的主要原因为在相机捕获、传输和存储人脸图像的过程中会不可避免地对人脸图像进行降分辨率、模糊、添加噪声和压缩。而对于人脸识别技术以及其他人脸分析技术来说，其均要求输入高质量人脸图像。因此，人脸图像复原一直都是学者们研究的热点。
近年来，学者们尝试将卷积神经网络应用于人脸图像复原领域，包括去模糊、去噪声和超分辨等。然而，这种人脸图像复原的方式无法对低质量人脸图像进行有效增强。从另一方面说，低质量人脸图像已经丢失了部分身份信息，单单基于退化的人脸图像对其进行增强，往往无法取得较理想的增强效果。
发明内容
本发明为解决现有基于卷积神经网络的人脸图像复原系统无法对低质量人脸图像进行有效增强的问题，提出了一种基于形变引导图的人脸图像复原系统。
本发明所述的基于形变引导图的人脸图像复原系统包括引导图变形网络和人脸图像重建网络；
引导图变形网络和人脸图像重建网络均基于卷积神经网络来实现；
引导图变形网络将待复原人脸图和引导图作为其输入，将得到的光流向量作为使引导图变形的绝对坐标，并通过双线性插值的方式使引导图变形，得到形变引导图；
引导图和待复原人脸图为同一人的人脸图，引导图为高清正脸图；
形变引导图中的人脸与待复原人脸图中的人脸的姿态和表情相同；
人脸图像重建网络将待复原人脸图和形变引导图作为其输入，并输出复原人脸图。
作为优选的是，引导图变形网络包括输入编码器和光流解码器；
输入编码器包括卷积层C1～卷积层C8；
卷积层C1用于对待复原人脸图与引导图串联后的特征依次进行第一卷积操作和第一激活操作；
卷积层C2用于对卷积层C1的输出依次进行第二卷积操作、归一化操作和第二激活操作；
卷积层C3用于对卷积层C2的输出依次进行第三卷积操作、块归一化操作和第三激活操作；
卷积层C4用于对卷积层C3的输出依次进行第四卷积操作、块归一化操作和第四激活操作；
卷积层C5用于对卷积层C4的输出依次进行第五卷积操作、块归一化操作和第五激活操作；
卷积层C6用于对卷积层C5的输出依进行第六卷积操作、块归一化操作和第六激活操作；
卷积层C7用于对卷积层C6的输出依次进行第七卷积操作、块归一化操作和第七激活操作；
卷积层C8用于对卷积层C7的输出依次进行第八卷积操作和第八激活操作；
光流解码器包括反卷积层D1～反卷积层D8；
反卷积层D1用于对卷积层C8的输出依次进行第一反卷积操作、块归一化操作和第九激活操作；
反卷积层D2用于对反卷积层D1的输出依次进行第二反卷积操作、块归一化操作和第十激活操作；
反卷积层D3用于对反卷积层D2的输出依次进行第三反卷积操作、块归一化操作和第十一激活操作；
反卷积层D4用于对反卷积层D3的输出依次进行第四反卷积操作、块归一化操作和第十二激活操作；
反卷积层D5用于对反卷积层D4的输出依次进行第五反卷积操作、块归一化操作和第十三激活操作；
反卷积层D6用于对反卷积层D5的输出依次进行第六反卷积操作、块归一化操作和第十四激活操作；
反卷积层D7用于对反卷积层D6的输出依次进行第七反卷积操作、块归一化操作和第十五激活操作；
反卷积层D8用于对反卷积层D7的输出依次进行第八反卷积操作、第十六激活操作和双线性插值操作；
反卷积层D8的输出为形变引导图；
第一卷积操作为64个4*4、步长为2的卷积操作；
第二卷积操作为128个4*4、步长为2的卷积操作；
第三卷积操作为256个4*4、步长为2的卷积操作；
第四卷积操作为512个4*4、步长为2的卷积操作；
第五卷积操作至第八卷积操作均为1024个4*4、步长为2的卷积操作；
第一反卷积操作至第三反卷积操作均为1024个4*4、步长为2的反卷积操作；
第四反卷积操作为512个4*4、步长为2的反卷积操作；
第五反卷积操作为256个4*4、步长为2的反卷积操作；
第六反卷积操作为128个4*4、步长为2的反卷积操作；
第七反卷积操作为64个4*4、步长为2的反卷积操作；
第八反卷积操作为2个4*4、步长为2的反卷积操作；
第一激活操作至第七激活操作均采用LReLU函数，第八激活操作至第十五激活操作均采用ReLU函数，第十六激活操作采用Tanh函数。
作为优选的是，人脸图像重建网络包括重建编码器和重建解码器；
重建编码器包括卷积层C9～卷积层C16；
卷积层C9用于对待复原人脸图与形变引导图串联后的特征依次进行第九卷积操作和第十七激活操作；
卷积层C10用于对卷积层C9的输出依次进行第十卷积操作、块归一化操作和第十八激活操作；
卷积层C11用于对卷积层C10的输出依次进行第十一卷积操作、块归一化操作和第十九激活操作；
卷积层C12用于对卷积层C11的输出依次进行第十二卷积操作、块归一化操作和第二十激活操作；
卷积层C13用于对卷积层C12的输出依次进行第十三卷积操作、块归一化操作和第二十一激活操作；
卷积层C14用于对卷积层C13的输出依次进行第十四卷积操作、块归一化操作和第二十二激活操作；
卷积层C15用于对卷积层C14的输出依次进行第十五卷积操作、块归一化操作和第二十三激活操作；
卷积层C16用于对卷积层C15的输出依次进行第十六卷积操作和第二十四激活操作；
重建解码器包括反卷积层D9～反卷积层D16；
反卷积层D9用于对卷积层C16的输出依次进行第九反卷积操作、块归一化操作、第一遗忘操作、第一特征串联操作和第二十五激活操作；
反卷积层D10用于对反卷积层D9的输出依次进行第十反卷积操作、块归一化操作、第二遗忘操作、第二特征串联操作和第二十六激活操作；
反卷积层D11用于对反卷积层D10的输出依次进行第十一反卷积操作、块归一化操作、第三遗忘操作、第三特征串联操作和第二十七激活操作；
反卷积层D12用于对反卷积层D11的输出依次进行第十二反卷积操作、块归一化操作、第四特征串联操作和第二十八激活操作；
反卷积层D13用于对反卷积层D12的输出依次进行第十三反卷积操作、块归一化操作、第五特征串联操作和第二十九激活操作；
反卷积层D14用于对反卷积层D13的输出依次进行第十四反卷积操作、块归一化操作、第六特征串联操作和第三十激活操作；
反卷积层D15用于对反卷积层D14的输出依次进行第十五反卷积操作、块归一化操作、第七特征串联操作和第三十一激活操作；
反卷积层D16用于对反卷积层D15的输出依次进行第十六反卷积操作和第三十二激活操作；
反卷积层D16的输出为复原人脸图；
第九卷积操作为64个4*4、步长为2的卷积操作；
第十卷积操作为128个4*4、步长为2的卷积操作；
第十一卷积操作为256个4*4、步长为2的卷积操作；
第十二卷积操作为512个4*4、步长为2的卷积操作；
第十三卷积操作至第十六卷积操作均为1024个4*4、步长为2的卷积操作；
第九反卷积操作至第十一反卷积操作均为1024个4*4、步长为2的反卷积操作；
第十二反卷积操作为512个4*4、步长为2的反卷积操作；
第十三反卷积操作为256个4*4、步长为2的反卷积操作；
第十四反卷积操作为128个4*4、步长为2的反卷积操作；
第十五反卷积操作为64个4*4、步长为2的反卷积操作；
第十六反卷积操作为3个4*4、步长为2的反卷积操作；
第十七激活操作至第二十三激活操作以及第二十五激活操作至第三十一激活操作均采用LReLU函数，第二十四激活操作采用ReLU函数，第三十二激活操作采用Sigmoid函数；
第一遗忘操作至第三遗忘操作均采用DropOut函数；
第一特征串联操作为串联卷积层C15的输出和第一遗忘操作的输出；
第二特征串联操作为串联卷积层C14的输出和第二遗忘操作的输出；
第三特征串联操作为串联卷积层C13的输出和第三遗忘操作的输出；
第四特征串联操作为串联卷积层C12的输出和反卷积层D12的块归一化操作的输出；
第五特征串联操作为串联卷积层C11的输出和反卷积层D13的块归一化操作的输出；
第六特征串联操作为串联卷积层C10的输出和反卷积层D14的块归一化操作的输出；
第七特征串联操作为串联卷积层C9的输出和反卷积层D15的块归一化操作的输出。
作为优选的是，所述人脸图像复原系统还包括训练网络；
训练网络包括退化人脸图生成操作，退化人脸图生成操作将不同姿态和表情的高清人脸图作为其输入，输出用于训练引导图变形网络和人脸图像重建网络的退化人脸图；
训练网络通过人脸关键点损失和全变分正则化项来约束引导图变形网络学习，通过重建损失和判别损失来约束人脸图像重建网络学习。
作为优选的是，退化人脸图生成操作对输入的高清人脸图依次进行模糊处理、降采样处理、添加噪声处理和JPEG压缩处理，得到退化人脸图。
作为优选的是，模糊处理采用高斯模糊
Figure BDA0001626713210000057
模糊核标准差
Figure BDA0001626713210000058
降采样处理采用双三次降采样法，采样尺度s∈{1:0.1:S}；
添加噪声处理采用高斯白噪声，噪声水平n∈{0,1:0.1:N}；
JPEG压缩质量参数q∈{0,10:0.1:Q}。
作为优选的是，训练网络通过人脸关键点损失和全变分正则化项来约束引导图变形网络学习的具体内容为：
采用人脸关键点检测算法分别检测引导图内的L个人脸关键点
Figure BDA0001626713210000051
和退化人脸图对应的高清人脸图内的L个人脸关键点
Figure BDA0001626713210000052
Figure BDA0001626713210000053
为引导图内第j个人脸关键点x轴坐标，
Figure BDA0001626713210000054
为引导图内第j个人脸关键点y轴坐标，
Figure BDA0001626713210000055
为退化人脸图对应的高清人脸图内第j个人脸关键点x轴坐标，
Figure BDA0001626713210000056
为退化人脸图对应的高清人脸图内第j个人脸关键点y轴坐标；
x轴坐标和y轴坐标均在[-1,1]归一化；
将人脸关键点损失定义为：
Figure BDA0001626713210000061
式中，Φx为引导图变形网络输出的x轴坐标值，Φy为引导图变形网络输出的y轴坐标值；
根据引导图变形网络得到的光流向量的绝对坐标，计算出该绝对坐标与高清人脸图的绝对坐标的相对坐标(fx，fy)，全变分正则化项定义为：
Figure BDA0001626713210000062
式中，
Figure BDA0001626713210000063
为沿着x轴方向的梯度，
Figure BDA0001626713210000064
为沿着y轴方向的梯度；
训练网络通过人脸关键点损失和全变分正则化项共同约束光流向量。
作为优选的是，重建损失包括重建复原人脸图与其对应的高清人脸图的欧氏距离损失和重建人脸识别网络特征损失；
将复原人脸图与其对应的高清人脸图的欧氏距离损失定义为：
Figure BDA0001626713210000065
式中，I为高清人脸图，
Figure BDA0001626713210000066
为复原人脸图；
将人脸识别网络特征损失定义为：
Figure BDA0001626713210000067
式中，
Figure BDA0001626713210000068
为输入复原人脸图时，预先训练好的VGG-Face网络得到的第l层卷积特征，ψl(I)为输入高清人脸图时，预先训练好的VGG-Face网络得到的第l层卷积特征，Cl、Hl和Wl分别为输入复原人脸图时，预先训练好的VGG-Face网络得到的第l层卷积特征的通道数、高度和宽度。
作为优选的是，训练网络通过判别网络来获得判别损失；
判别网络包括全局判别网络和局部判别网络，二者具有相同的网络结构；
全局判别网络将复原人脸图作为其输入，输出全局判别损失；
局部判别网络将复原人脸图内的包含人脸关键点的最大正方形区域作为其输入，输出局部判别损失；
全局判别网络包括卷积层E1～卷积层E5；
卷积层E1用于对复原人脸图依次进行第十七卷积操作和第三十三激活操作；
卷积层E2用于对卷积层E1的输出依次进行第十八卷积操作、块归一化操作和第三十四激活操作；
卷积层E3用于对卷积层E2的输出依次进行第十九卷积操作、块归一化操作和第三十五激活操作；
卷积层E4用于对卷积层E3的输出依次进行第二十卷积操作、块归一化操作和第三十六激活操作；
卷积层E5用于对卷积层E4的输出依次进行第二十一卷积操作和第三十七激活操作；
第十七卷积操作为64个4*4，步长为2的卷积操作；
第十八卷积操作为128个4*4、步长为2的卷积操作；
第十九卷积操作为256个4*4、步长为2的卷积操作；
第二十卷积操作为512个4*4、步长为1的卷积操作；
第二十一卷积操作为1个4*4、步长为1的卷积操作；
第三十三激活操作至第三十六激活操作均采用LReLU函数，第三十七激活操作采用Sigmoid函数；
卷积层E5输出的T*T的特征和T*T的0或1进行交叉的熵损失为全局判别损失；
局部判别网络输出的T*T的特征和T*T的0或1进行交叉的熵损失为局部判别损失。
作为优选的是，训练网络采用Adam优化算法对引导图变形网络和人脸图像重建网络进行端对端的训练。
本发明所述的基于形变引导图的人脸图像复原系统，在现有基于卷积神经网络的人脸图像复原系统的基础上，引入了引导图变形网络。引导图变形网络将待复原人脸图和引导图作为其输入，将得到的光流向量作为使引导图变形的绝对坐标，并通过双线性插值的方式使引导图变形，得到形变引导图。其中，引导图为高清正脸图，并与待复原人脸图来自同一人。形变引导图中的人脸与待复原人脸图中的人脸的姿态和表情相同。本发明的人脸图像重建网络基于卷积神经网络，将待复原人脸图和形变引导图作为其输入，并输出复原人脸图。
本发明首次提出了形变引导图理论，形变引导图与待复原人脸图具有高度的对齐度，能够为人脸图像复原提供丰富的身份信息。因此，与现有基于卷积神经网络的人脸图像复原系统相比，本发明所述的基于形变引导图的人脸图像复原系统能够有效地对低质量人脸图像进行增强。
附图说明
在下文中将基于实施例并参考附图来对本发明所述的基于形变引导图的人脸图像复原系统进行更详细的描述，其中：
图1为实施例所述的基于形变引导图的人脸图像复原系统的结构框图，其中，1和2分别为引导图变形网络和人脸图像重建网络；
图2为实施例提及的引导图变形网络的结构图；
图3为实施例提及的人脸图像重建网络的结构图；
图4为实施例所述的基于形变引导图的人脸图像复原系统的人脸图像复原效果图。
具体实施方式
下面将结合附图对本发明所述的基于形变引导图的人脸图像复原系统作进一步说明。
实施例：下面结合图1至图4详细地说明本实施例。
本实施例所述的人脸图像复原系统包括引导图变形网络和人脸图像重建网络；
引导图变形网络和人脸图像重建网络均基于卷积神经网络来实现；
引导图变形网络将待复原人脸图和引导图作为其输入，将得到的光流向量作为使引导图变形的绝对坐标，并通过双线性插值的方式使引导图变形，得到形变引导图；
引导图和待复原人脸图为同一人的人脸图，引导图为高清正脸图；
形变引导图中的人脸与待复原人脸图中的人脸的姿态和表情相同；
人脸图像重建网络将待复原人脸图和形变引导图作为其输入，并输出复原人脸图。
本实施例的引导图变形网络包括输入编码器和光流解码器，输入编码器包括N个卷积层，光流解码器包括N个反卷积层，N≥2；
本实施例的人脸图像重建网络包括重建编码器和重建解码器，重建编码器包括M个卷积层，重建解码器包括M个反卷积层，M≥2。
本实施例的N＝8，输入编码器包括卷积层C1～卷积层C8；
卷积层C1用于对待复原人脸图与引导图串联后的特征依次进行第一卷积操作和第一激活操作；
卷积层C2用于对卷积层C1的输出依次进行第二卷积操作、归一化操作和第二激活操作；
卷积层C3用于对卷积层C2的输出依次进行第三卷积操作、块归一化操作和第三激活操作；
卷积层C4用于对卷积层C3的输出依次进行第四卷积操作、块归一化操作和第四激活操作；
卷积层C5用于对卷积层C4的输出依次进行第五卷积操作、块归一化操作和第五激活操作；
卷积层C6用于对卷积层C5的输出依进行第六卷积操作、块归一化操作和第六激活操作；
卷积层C7用于对卷积层C6的输出依次进行第七卷积操作、块归一化操作和第七激活操作；
卷积层C8用于对卷积层C7的输出依次进行第八卷积操作和第八激活操作；
本实施例的光流解码器包括反卷积层D1～反卷积层D8；
反卷积层D1用于对卷积层C8的输出依次进行第一反卷积操作、块归一化操作和第九激活操作；
反卷积层D2用于对反卷积层D1的输出依次进行第二反卷积操作、块归一化操作和第十激活操作；
反卷积层D3用于对反卷积层D2的输出依次进行第三反卷积操作、块归一化操作和第十一激活操作；
反卷积层D4用于对反卷积层D3的输出依次进行第四反卷积操作、块归一化操作和第十二激活操作；
反卷积层D5用于对反卷积层D4的输出依次进行第五反卷积操作、块归一化操作和第十三激活操作；
反卷积层D6用于对反卷积层D5的输出依次进行第六反卷积操作、块归一化操作和第十四激活操作；
反卷积层D7用于对反卷积层D6的输出依次进行第七反卷积操作、块归一化操作和第十五激活操作；
反卷积层D8用于对反卷积层D7的输出依次进行第八反卷积操作、第十六激活操作和双线性插值操作；
反卷积层D8的输出为形变引导图；
第一卷积操作为64个4*4、步长为2的卷积操作；
第二卷积操作为128个4*4、步长为2的卷积操作；
第三卷积操作为256个4*4、步长为2的卷积操作；
第四卷积操作为512个4*4、步长为2的卷积操作；
第五卷积操作至第八卷积操作均为1024个4*4、步长为2的卷积操作；
第一反卷积操作至第三反卷积操作均为1024个4*4、步长为2的反卷积操作；
第四反卷积操作为512个4*4、步长为2的反卷积操作；
第五反卷积操作为256个4*4、步长为2的反卷积操作；
第六反卷积操作为128个4*4、步长为2的反卷积操作；
第七反卷积操作为64个4*4、步长为2的反卷积操作；
第八反卷积操作为2个4*4、步长为2的反卷积操作；
第一激活操作至第七激活操作均采用LReLU函数，第八激活操作至第十五激活操作均采用ReLU函数，第十六激活操作采用Tanh函数。
本实施例的重建编码器包括卷积层C9～卷积层C16；
卷积层C9用于对待复原人脸图与形变引导图串联后的特征依次进行第九卷积操作和第十七激活操作；
卷积层C10用于对卷积层C9的输出依次进行第十卷积操作、块归一化操作和第十八激活操作；
卷积层C11用于对卷积层C10的输出依次进行第十一卷积操作、块归一化操作和第十九激活操作；
卷积层C12用于对卷积层C11的输出依次进行第十二卷积操作、块归一化操作和第二十激活操作；
卷积层C13用于对卷积层C12的输出依次进行第十三卷积操作、块归一化操作和第二十一激活操作；
卷积层C14用于对卷积层C13的输出依次进行第十四卷积操作、块归一化操作和第二十二激活操作；
卷积层C15用于对卷积层C14的输出依次进行第十五卷积操作、块归一化操作和第二十三激活操作；
卷积层C16用于对卷积层C15的输出依次进行第十六卷积操作和第二十四激活操作；
本实施例的M＝8，重建解码器包括反卷积层D9～反卷积层D16；
反卷积层D9用于对卷积层C16的输出依次进行第九反卷积操作、块归一化操作、第一遗忘操作、第一特征串联操作和第二十五激活操作；
反卷积层D10用于对反卷积层D9的输出依次进行第十反卷积操作、块归一化操作、第二遗忘操作、第二特征串联操作和第二十六激活操作；
反卷积层D11用于对反卷积层D10的输出依次进行第十一反卷积操作、块归一化操作、第三遗忘操作、第三特征串联操作和第二十七激活操作；
反卷积层D12用于对反卷积层D11的输出依次进行第十二反卷积操作、块归一化操作、第四特征串联操作和第二十八激活操作；
反卷积层D13用于对反卷积层D12的输出依次进行第十三反卷积操作、块归一化操作、第五特征串联操作和第二十九激活操作；
反卷积层D14用于对反卷积层D13的输出依次进行第十四反卷积操作、块归一化操作、第六特征串联操作和第三十激活操作；
反卷积层D15用于对反卷积层D14的输出依次进行第十五反卷积操作、块归一化操作、第七特征串联操作和第三十一激活操作；
反卷积层D16用于对反卷积层D15的输出依次进行第十六反卷积操作和第三十二激活操作；
反卷积层D16的输出为复原人脸图；
第九卷积操作为64个4*4、步长为2的卷积操作；
第十卷积操作为128个4*4、步长为2的卷积操作；
第十一卷积操作为256个4*4、步长为2的卷积操作；
第十二卷积操作为512个4*4、步长为2的卷积操作；
第十三卷积操作至第十六卷积操作均为1024个4*4、步长为2的卷积操作；
第九反卷积操作至第十一反卷积操作均为1024个4*4、步长为2的反卷积操作；
第十二反卷积操作为512个4*4、步长为2的反卷积操作；
第十三反卷积操作为256个4*4、步长为2的反卷积操作；
第十四反卷积操作为128个4*4、步长为2的反卷积操作；
第十五反卷积操作为64个4*4、步长为2的反卷积操作；
第十六反卷积操作为3个4*4、步长为2的反卷积操作；
第十七激活操作至第二十三激活操作以及第二十五激活操作至第三十一激活操作均采用LReLU函数，第二十四激活操作采用ReLU函数，第三十二激活操作采用Sigmoid函数；
第一遗忘操作至第三遗忘操作均采用DropOut函数；
第一特征串联操作为串联卷积层C15的输出和第一遗忘操作的输出；
第二特征串联操作为串联卷积层C14的输出和第二遗忘操作的输出；
第三特征串联操作为串联卷积层C13的输出和第三遗忘操作的输出；
第四特征串联操作为串联卷积层C12的输出和反卷积层D12的块归一化操作的输出；
第五特征串联操作为串联卷积层C11的输出和反卷积层D13的块归一化操作的输出；
第六特征串联操作为串联卷积层C10的输出和反卷积层D14的块归一化操作的输出；
第七特征串联操作为串联卷积层C9的输出和反卷积层D15的块归一化操作的输出。
本实施例所述的基于形变引导图的人脸图像复原系统还包括训练网络；
训练网络包括退化人脸图生成操作，退化人脸图生成操作将不同姿态和表情的高清人脸图作为其输入，输出用于训练引导图变形网络和人脸图像重建网络的退化人脸图；
训练网络通过人脸关键点损失和全变分正则化项来约束引导图变形网络学习，通过重建损失和判别损失来约束人脸图像重建网络学习。
退化人脸图生成操作对输入的高清人脸图依次进行模糊处理、降采样处理、添加噪声处理和JPEG压缩处理，得到退化人脸图。
模糊处理采用高斯模糊
Figure BDA0001626713210000127
模糊核标准差
Figure BDA0001626713210000128
降采样处理采用双三次降采样法，采样尺度s∈{1:0.1:16}；
添加噪声处理采用高斯白噪声，噪声水平n∈{0,1:0.1:10}；
JPEG压缩质量参数q∈{0,10:0.1:60}。
在退化人脸图生成操作的过程中，在给定的参数区间内，随机选取模糊核标准差、采样尺度、噪声水平和JPEG压缩质量参数。
本实施例的退化人脸图生成操作基于组合型退化模型对输入的高清人脸图进行退化处理，用以模拟真实退化人脸图。
本实施例的训练网络通过人脸关键点损失和全变分正则化项来约束引导图变形网络学习的具体内容为：
采用人脸关键点检测算法分别检测引导图内的L个人脸关键点
Figure BDA0001626713210000121
和退化人脸图对应的高清人脸图内的L个人脸关键点
Figure BDA0001626713210000122
Figure BDA0001626713210000123
为引导图内第j个人脸关键点x轴坐标，
Figure BDA0001626713210000124
为引导图内第j个人脸关键点y轴坐标，
Figure BDA0001626713210000125
为退化人脸图对应的高清人脸图内第j个人脸关键点x轴坐标，
Figure BDA0001626713210000126
为退化人脸图对应的高清人脸图内第j个人脸关键点y轴坐标；
x轴坐标和y轴坐标均在[-1,1]归一化；
将人脸关键点损失定义为：
Figure BDA0001626713210000131
式中，Φx为引导图变形网络输出的x轴坐标值，Φy为引导图变形网络输出的y轴坐标值；
根据引导图变形网络得到的光流向量的绝对坐标，计算出该绝对坐标与高清人脸图的绝对坐标的相对坐标(fx，fy)，全变分正则化项定义为：
Figure BDA0001626713210000132
式中，
Figure BDA0001626713210000133
为沿着x轴方向的梯度，
Figure BDA0001626713210000134
为沿着y轴方向的梯度；
训练网络通过人脸关键点损失和全变分正则化项共同约束光流向量。
重建损失包括重建复原人脸图与其对应的高清人脸图的欧氏距离损失和重建人脸识别网络特征损失；
将复原人脸图与其对应的高清人脸图的欧氏距离损失定义为：
Figure BDA0001626713210000135
式中，I为高清人脸图，
Figure BDA0001626713210000136
为复原人脸图；
将人脸识别网络特征损失定义为：
Figure BDA0001626713210000137
式中，
Figure BDA0001626713210000138
为输入复原人脸图时，预先训练好的VGG-Face网络得到的第l层卷积特征，ψl(I)为输入高清人脸图时，预先训练好的VGG-Face网络得到的第l层卷积特征，Cl、Hl和Wl分别为输入复原人脸图时，预先训练好的VGG-Face网络得到的第l层卷积特征的通道数、高度和宽度。
本实施例的训练网络通过判别网络来获得判别损失；
判别网络包括全局判别网络和局部判别网络，二者具有相同的网络结构；
全局判别网络将复原人脸图作为其输入，输出全局判别损失；
局部判别网络将复原人脸图内的包含人脸关键点的最大正方形区域作为其输入，输出局部判别损失；
全局判别网络包括卷积层E1～卷积层E5；
卷积层E1用于对复原人脸图依次进行第十七卷积操作和第三十三激活操作；
卷积层E2用于对卷积层E1的输出依次进行第十八卷积操作、块归一化操作和第三十四激活操作；
卷积层E3用于对卷积层E2的输出依次进行第十九卷积操作、块归一化操作和第三十五激活操作；
卷积层E4用于对卷积层E3的输出依次进行第二十卷积操作、块归一化操作和第三十六激活操作；
卷积层E5用于对卷积层E4的输出依次进行第二十一卷积操作和第三十七激活操作；
第十七卷积操作为64个4*4，步长为2的卷积操作；
第十八卷积操作为128个4*4、步长为2的卷积操作；
第十九卷积操作为256个4*4、步长为2的卷积操作；
第二十卷积操作为512个4*4、步长为1的卷积操作；
第二十一卷积操作为1个4*4、步长为1的卷积操作；
第三十三激活操作至第三十六激活操作均采用LReLU函数，第三十七激活操作采用Sigmoid函数；
卷积层E5输出的T*T的特征和T*T的0或1进行交叉的熵损失为全局判别损失；
局部判别网络输出的T*T的特征和T*T的0或1进行交叉的熵损失为局部判别损失。
本实施例的训练网络采用Adam优化算法对引导图变形网络和人脸图像重建网络进行端对端的训练。
图4为本实施例所述的基于形变引导图的人脸图像复原系统的人脸图像复原效果图。对于第一行图片，每张图片中的大图和小图分别为真实低质量人脸图和引导图，第二行图片中的第一幅图至第五幅图分别为第一行图片中的第一张真实低质量人脸图至第五张真实低质量人脸图对应的复原人脸图。
针对真实退化的人脸图像以及合成的退化人脸图像的还原，与现有基于卷积神经网络的人脸图像复原系统相比，本实施例所述的基于形变引导图的人脸图像复原系统因引入形变引导图而在生成人脸图像细节和身份特征保持方面上具有更好的复原效果。
本实施例所述的基于形变引导图的人脸图像复原系统可以用于手机拍照时的人脸图像增强和老电影的图像增强。随着智能手机的快速发展，越来越多的手机内嵌了人脸识别功能。将手机相册中的人物图片按照身份进行分组，在手机拍照时，可以从身份分组中识别与手机捕获到的人脸图像对应的引导图，进而辅助人脸图像的增强。对于老电影的图像增强，可以取视频帧中或现实生活中的主演真实高清正脸图片作为引导图，辅助电影视频的增强。
虽然在本文中参照了特定的实施方法来描述本发明，但是应该理解的是，这些实施例仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方法来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (7)

1.基于形变引导图的人脸图像复原系统，其特征在于，所述人脸图像复原系统包括引导图变形网络和人脸图像重建网络；
引导图变形网络和人脸图像重建网络均基于卷积神经网络来实现；
引导图变形网络将待复原人脸图和引导图作为其输入，将得到的光流向量作为使引导图变形的绝对坐标，并通过双线性插值的方式使引导图变形，得到形变引导图；
引导图和待复原人脸图为同一人的人脸图，引导图为高清正脸图；
形变引导图中的人脸与待复原人脸图中的人脸的姿态和表情相同；
人脸图像重建网络将待复原人脸图和形变引导图作为其输入，并输出复原人脸图；
引导图变形网络包括输入编码器和光流解码器；
输入编码器包括卷积层C1～卷积层C8；
卷积层C1用于对待复原人脸图与引导图串联后的特征依次进行第一卷积操作和第一激活操作；
卷积层C2用于对卷积层C1的输出依次进行第二卷积操作、归一化操作和第二激活操作；
卷积层C3用于对卷积层C2的输出依次进行第三卷积操作、块归一化操作和第三激活操作；
卷积层C4用于对卷积层C3的输出依次进行第四卷积操作、块归一化操作和第四激活操作；
卷积层C5用于对卷积层C4的输出依次进行第五卷积操作、块归一化操作和第五激活操作；
卷积层C6用于对卷积层C5的输出依进行第六卷积操作、块归一化操作和第六激活操作；
卷积层C7用于对卷积层C6的输出依次进行第七卷积操作、块归一化操作和第七激活操作；
卷积层C8用于对卷积层C7的输出依次进行第八卷积操作和第八激活操作；
光流解码器包括反卷积层D1～反卷积层D8；
反卷积层D1用于对卷积层C8的输出依次进行第一反卷积操作、块归一化操作和第九激活操作；
反卷积层D2用于对反卷积层D1的输出依次进行第二反卷积操作、块归一化操作和第十激活操作；
反卷积层D3用于对反卷积层D2的输出依次进行第三反卷积操作、块归一化操作和第十一激活操作；
反卷积层D4用于对反卷积层D3的输出依次进行第四反卷积操作、块归一化操作和第十二激活操作；
反卷积层D5用于对反卷积层D4的输出依次进行第五反卷积操作、块归一化操作和第十三激活操作；
反卷积层D6用于对反卷积层D5的输出依次进行第六反卷积操作、块归一化操作和第十四激活操作；
反卷积层D7用于对反卷积层D6的输出依次进行第七反卷积操作、块归一化操作和第十五激活操作；
反卷积层D8用于对反卷积层D7的输出依次进行第八反卷积操作、第十六激活操作和双线性插值操作；
反卷积层D8的输出为形变引导图；
第一卷积操作为64个4*4、步长为2的卷积操作；
第二卷积操作为128个4*4、步长为2的卷积操作；
第三卷积操作为256个4*4、步长为2的卷积操作；
第四卷积操作为512个4*4、步长为2的卷积操作；
第五卷积操作至第八卷积操作均为1024个4*4、步长为2的卷积操作；
第一反卷积操作至第三反卷积操作均为1024个4*4、步长为2的反卷积操作；
第四反卷积操作为512个4*4、步长为2的反卷积操作；
第五反卷积操作为256个4*4、步长为2的反卷积操作；
第六反卷积操作为128个4*4、步长为2的反卷积操作；
第七反卷积操作为64个4*4、步长为2的反卷积操作；
第八反卷积操作为2个4*4、步长为2的反卷积操作；
第一激活操作至第七激活操作均采用LReLU函数，第八激活操作至第十五激活操作均采用ReLU函数，第十六激活操作采用Tanh函数。
2.如权利要求1所述的基于形变引导图的人脸图像复原系统，其特征在于，人脸图像重建网络包括重建编码器和重建解码器；
重建编码器包括卷积层C9～卷积层C16；
卷积层C9用于对待复原人脸图与形变引导图串联后的特征依次进行第九卷积操作和第十七激活操作；
卷积层C10用于对卷积层C9的输出依次进行第十卷积操作、块归一化操作和第十八激活操作；
卷积层C11用于对卷积层C10的输出依次进行第十一卷积操作、块归一化操作和第十九激活操作；
卷积层C12用于对卷积层C11的输出依次进行第十二卷积操作、块归一化操作和第二十激活操作；
卷积层C13用于对卷积层C12的输出依次进行第十三卷积操作、块归一化操作和第二十一激活操作；
卷积层C14用于对卷积层C13的输出依次进行第十四卷积操作、块归一化操作和第二十二激活操作；
卷积层C15用于对卷积层C14的输出依次进行第十五卷积操作、块归一化操作和第二十三激活操作；
卷积层C16用于对卷积层C15的输出依次进行第十六卷积操作和第二十四激活操作；
重建解码器包括反卷积层D9～反卷积层D16；
反卷积层D9用于对卷积层C16的输出依次进行第九反卷积操作、块归一化操作、第一遗忘操作、第一特征串联操作和第二十五激活操作；
反卷积层D10用于对反卷积层D9的输出依次进行第十反卷积操作、块归一化操作、第二遗忘操作、第二特征串联操作和第二十六激活操作；
反卷积层D11用于对反卷积层D10的输出依次进行第十一反卷积操作、块归一化操作、第三遗忘操作、第三特征串联操作和第二十七激活操作；
反卷积层D12用于对反卷积层D11的输出依次进行第十二反卷积操作、块归一化操作、第四特征串联操作和第二十八激活操作；
反卷积层D13用于对反卷积层D12的输出依次进行第十三反卷积操作、块归一化操作、第五特征串联操作和第二十九激活操作；
反卷积层D14用于对反卷积层D13的输出依次进行第十四反卷积操作、块归一化操作、第六特征串联操作和第三十激活操作；
反卷积层D15用于对反卷积层D14的输出依次进行第十五反卷积操作、块归一化操作、第七特征串联操作和第三十一激活操作；
反卷积层D16用于对反卷积层D15的输出依次进行第十六反卷积操作和第三十二激活操作；
反卷积层D16的输出为复原人脸图；
第九卷积操作为64个4*4、步长为2的卷积操作；
第十卷积操作为128个4*4、步长为2的卷积操作；
第十一卷积操作为256个4*4、步长为2的卷积操作；
第十二卷积操作为512个4*4、步长为2的卷积操作；
第十三卷积操作至第十六卷积操作均为1024个4*4、步长为2的卷积操作；
第九反卷积操作至第十一反卷积操作均为1024个4*4、步长为2的反卷积操作；
第十二反卷积操作为512个4*4、步长为2的反卷积操作；
第十三反卷积操作为256个4*4、步长为2的反卷积操作；
第十四反卷积操作为128个4*4、步长为2的反卷积操作；
第十五反卷积操作为64个4*4、步长为2的反卷积操作；
第十六反卷积操作为3个4*4、步长为2的反卷积操作；
第十七激活操作至第二十三激活操作以及第二十五激活操作至第三十一激活操作均采用LReLU函数，第二十四激活操作采用ReLU函数，第三十二激活操作采用Sigmoid函数；
第一遗忘操作至第三遗忘操作均采用DropOut函数；
第一特征串联操作为串联卷积层C15的输出和第一遗忘操作的输出；
第二特征串联操作为串联卷积层C14的输出和第二遗忘操作的输出；
第三特征串联操作为串联卷积层C13的输出和第三遗忘操作的输出；
第四特征串联操作为串联卷积层C12的输出和反卷积层D12的块归一化操作的输出；
第五特征串联操作为串联卷积层C11的输出和反卷积层D13的块归一化操作的输出；
第六特征串联操作为串联卷积层C10的输出和反卷积层D14的块归一化操作的输出；
第七特征串联操作为串联卷积层C9的输出和反卷积层D15的块归一化操作的输出。
3.如权利要求2所述的基于形变引导图的人脸图像复原系统，其特征在于，所述人脸图像复原系统还包括训练网络；
训练网络包括退化人脸图生成操作，退化人脸图生成操作将不同姿态和表情的高清人脸图作为其输入，输出用于训练引导图变形网络和人脸图像重建网络的退化人脸图；
训练网络通过人脸关键点损失和全变分正则化项来约束引导图变形网络学习，通过重建损失和判别损失来约束人脸图像重建网络学习。
4.如权利要求3所述的基于形变引导图的人脸图像复原系统，其特征在于，退化人脸图生成操作对输入的高清人脸图依次进行模糊处理、降采样处理、添加噪声处理和JPEG压缩处理，得到退化人脸图。
5.如权利要求4所述的基于形变引导图的人脸图像复原系统，其特征在于，
模糊处理采用高斯模糊
Figure FDA0003031164370000051
模糊核标准差
Figure FDA0003031164370000052
降采样处理采用双三次降采样法，采样尺度s∈{1:0.1:16}；
添加噪声处理采用高斯白噪声，噪声水平n∈{0,1:0.1:10}；
JPEG压缩质量参数q∈{0,10:0.1:60}。
6.如权利要求5所述的基于形变引导图的人脸图像复原系统，其特征在于，训练网络通过人脸关键点损失和全变分正则化项来约束引导图变形网络学习的具体内容为：
采用人脸关键点检测算法分别检测引导图内的L个人脸关键点
Figure FDA0003031164370000053
和退化人脸图对应的高清人脸图内的L个人脸关键点
Figure FDA0003031164370000054
Figure FDA0003031164370000055
为引导图内第j个人脸关键点x轴坐标，
Figure FDA0003031164370000056
为引导图内第j个人脸关键点y轴坐标，
Figure FDA0003031164370000057
为退化人脸图对应的高清人脸图内第j个人脸关键点x轴坐标，
Figure FDA0003031164370000058
为退化人脸图对应的高清人脸图内第j个人脸关键点y轴坐标；
x轴坐标和y轴坐标均在[-1,1]归一化；
将人脸关键点损失定义为：
Figure FDA0003031164370000059
式中，Φx为引导图变形网络输出的x轴坐标值，Φy为引导图变形网络输出的y轴坐标值；
根据引导图变形网络得到的光流向量的绝对坐标，计算出该绝对坐标与高清人脸图的绝对坐标的相对坐标(fx，fy)，全变分正则化项定义为：
Figure FDA00030311643700000510
式中，
Figure FDA00030311643700000511
为沿着x轴方向的梯度，
Figure FDA00030311643700000512
为沿着y轴方向的梯度；
训练网络通过人脸关键点损失和全变分正则化项共同约束光流向量。
7.如权利要求6所述的基于形变引导图的人脸图像复原系统，其特征在于，重建损失包括重建复原人脸图与其对应的高清人脸图的欧氏距离损失和重建人脸识别网络特征损失；
将复原人脸图与其对应的高清人脸图的欧氏距离损失定义为：
Figure FDA0003031164370000061
式中，I为高清人脸图，
Figure FDA0003031164370000062
为复原人脸图；
将人脸识别网络特征损失定义为：
Figure FDA0003031164370000063
式中，
Figure FDA0003031164370000064
为输入复原人脸图时，预先训练好的VGG-Face网络得到的第l层卷积特征，ψl(I)为输入高清人脸图时，预先训练好的VGG-Face网络得到的第l层卷积特征，Cl、Hl和Wl分别为输入复原人脸图时，预先训练好的VGG-Face网络得到的第l层卷积特征的通道数、高度和宽度。
CN201810329602.XA 2018-04-12 2018-04-12 基于形变引导图的人脸图像复原系统 Active CN108537754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810329602.XA CN108537754B (zh) 2018-04-12 2018-04-12 基于形变引导图的人脸图像复原系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810329602.XA CN108537754B (zh) 2018-04-12 2018-04-12 基于形变引导图的人脸图像复原系统

Publications (2)

Publication Number Publication Date
CN108537754A CN108537754A (zh) 2018-09-14
CN108537754B true CN108537754B (zh) 2021-06-22

Family

ID=63480114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810329602.XA Active CN108537754B (zh) 2018-04-12 2018-04-12 基于形变引导图的人脸图像复原系统

Country Status (1)

Country Link
CN (1) CN108537754B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615593A (zh) * 2018-11-29 2019-04-12 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN109919874B (zh) * 2019-03-07 2023-06-02 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN110211035B (zh) * 2019-04-18 2023-03-24 天津中科智能识别产业技术研究院有限公司 融合互信息的深度神经网络的图像超分辨率方法
EP3966778A1 (en) * 2019-05-06 2022-03-16 Sony Group Corporation Electronic device, method and computer program
CN110263737A (zh) * 2019-06-25 2019-09-20 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、终端设备及可读存储介质
CN110348569B (zh) * 2019-07-18 2021-10-08 华中科技大学 基于卷积神经网络的实时光学层析方法和系统
CN111260577B (zh) * 2020-01-15 2023-04-18 哈尔滨工业大学 基于多引导图和自适应特征融合的人脸图像复原系统
CN113269701B (zh) * 2021-05-08 2024-04-26 大连海事大学 一种基于注意力引导和核选择机制的低照度图像增强方法
CN113554569B (zh) * 2021-08-04 2022-03-08 哈尔滨工业大学 基于双记忆字典的人脸图像复原系统
CN114170108B (zh) * 2021-12-14 2024-04-12 哈尔滨工业大学 基于人脸退化模型迁移的自然场景图像盲复原系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469407A (zh) * 2015-11-30 2016-04-06 华南理工大学 一种基于改进的引导滤波器的人脸图像图层分解方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101308946B1 (ko) * 2012-02-02 2013-09-24 한국과학기술연구원 3차원 얼굴 형상 재구성 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469407A (zh) * 2015-11-30 2016-04-06 华南理工大学 一种基于改进的引导滤波器的人脸图像图层分解方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于空间变形理论的脸部还原技术;林潇;《万方学位论文数据库》;20130918;全文 *

Also Published As

Publication number Publication date
CN108537754A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
CN108537754B (zh) 基于形变引导图的人脸图像复原系统
Wang et al. Esrgan: Enhanced super-resolution generative adversarial networks
CN113362223B (zh) 基于注意力机制和双通道网络的图像超分辨率重建方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN110706157A (zh) 一种基于身份先验生成对抗网络的人脸超分辨率重建方法
WO2022110638A1 (zh) 人像修复方法、装置、电子设备、存储介质和程序产品
CN112653899B (zh) 一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法
CN112507617B (zh) 一种SRFlow超分辨率模型的训练方法及人脸识别方法
CN112288627B (zh) 一种面向识别的低分辨率人脸图像超分辨率方法
CN112766160A (zh) 基于多级属性编码器和注意力机制的人脸替换方法
CN110570377A (zh) 一种基于组归一化的快速图像风格迁移方法
Zhang et al. Semantic-aware dehazing network with adaptive feature fusion
CN112241939B (zh) 一种基于多尺度和非局部的轻量去雨方法
CN111768354A (zh) 基于多尺度人脸部位特征字典的人脸图像复原系统
CN112164011A (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
Yu et al. E-DBPN: Enhanced deep back-projection networks for remote sensing scene image superresolution
CN111260577B (zh) 基于多引导图和自适应特征融合的人脸图像复原系统
CN109684973B (zh) 基于对称一致性的卷积神经网络的人脸图像填充系统
CN114723760A (zh) 人像分割模型的训练方法、装置及人像分割方法、装置
CN113962905A (zh) 基于多阶段特征互补网络的单幅图像去雨方法
CN113379606A (zh) 一种基于预训练生成模型的人脸超分辨方法
CN110853040B (zh) 一种基于超分辨率重建的图像协同分割方法
Chen et al. A deep motion deblurring network using channel adaptive residual module
CN114331894A (zh) 一种基于潜在特征重构和掩模感知的人脸图像修复方法
Mastan et al. DILIE: deep internal learning for image enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant