CN109615582A - 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法 - Google Patents

一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法 Download PDF

Info

Publication number
CN109615582A
CN109615582A CN201811453611.6A CN201811453611A CN109615582A CN 109615582 A CN109615582 A CN 109615582A CN 201811453611 A CN201811453611 A CN 201811453611A CN 109615582 A CN109615582 A CN 109615582A
Authority
CN
China
Prior art keywords
network
image
attribute
module
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811453611.6A
Other languages
English (en)
Other versions
CN109615582B (zh
Inventor
李晓光
董宁
李嘉锋
张辉
卓力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201811453611.6A priority Critical patent/CN109615582B/zh
Publication of CN109615582A publication Critical patent/CN109615582A/zh
Application granted granted Critical
Publication of CN109615582B publication Critical patent/CN109615582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法，属于数字图像/视频信号处理领域。其特征在于：训练阶段：包括训练样本准备、网络结构设计和网络训练三部分；网络结构设计采用生成对抗网络框架，由生成网络和判别网络两部分构成；生成网络包括人脸属性编解码模块和超分辨率重建模块；判别网络包括属性分类模块、对抗模块和感知模块；网络训练过程采用生成对抗网络框架的生成网络和判别网络交替对抗训练的方式进行；重建阶段：LR人脸图像和属性描述信息作为输入，经过训练好的生成网络，实现图像编码、属性添加、图像解码以及图像重建。本发明技术不仅能完成低分辨率人脸图像面部信息的增强，还能提高低分辨率人脸识别的准确性。

Description

一种基于属性描述生成对抗网络的人脸图像超分辨率重建 方法
技术领域
本发明属于数字图像/视频信号处理领域，特别涉及一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法。
背景技术
智能视频监控系统对高质量的人脸图像有着广泛的需求。然而，由于采集设备的低分辨率、距离、角度、压缩失真和噪声等复杂因素，使得监控视频中的人脸往往具有低分辨率和低图像质量的特点。低质量人脸图像不仅严重影响人的主观视觉感受，而且严重影响人脸识别等一系列智能化操作。因此，如何提高监控视频下人脸图像的质量是亟待解决的关键问题。
在现有的超分辨率重建技术用于提高监控视频中人脸图像的质量时，由于学习到的多为人脸的共同信息，所以重构后的人脸更接近“平均脸”。虽然在客观的峰值信噪比(PSNR，Peak Signal-to-Noise Ratio)上有所提高，但在大规模极低分辨率人脸图像的超分辨率重建中，很难保留身份信息，难以有效提高人脸图像的机器识别率。
近年来，基于深度学习的卷积神经网络在图像超分辨率中得到了广泛的应用，这类图像复原方法避免了传统方法的手工设计特征的过程，仅通过卷积神经网络CNN(Convolutional Neural Network)端到端地学习图像的层级特征，得到低分辨率图像LR(Low Resolution)与高分辨率图像HR(High Resolution)的映射关系。但是针对于小尺寸(26×26像素)的人脸图像低倍数(×2)放大的情况，神经网络可获取的人脸信息相对较多，因此可以恢复重要的高频纹理信息，能够获得很好的重建效果。然而，当图像的放大倍数(×4或×8)或可用的输入图像尺寸较小(16×16像素或24×24像素)的情况下，图像复原的结果过于平滑，缺失重要的高频细节信息，无法准确地恢复局部属性，失去人脸图像细节上的真实感而且很难被判定为同一个人，这对人脸识别造成不利影响。
人脸超分辨率重建在视频监控领域引起了广泛关注。其中生成对抗网络可以生成类似照片效果的人脸图像。但是，生成模型的原理是按照学习得到的人脸图像概率分布，通过采样生成新样本。因此，由生成模型产生的人脸图像很容易产生实际不存在的人脸。这些方法的目的主要是生成视觉感受很好的人脸图像，但对于极低分辨率的人脸图像，难以重建表现人脸身份的真实属性信息。
人脸属性编辑技术在近期逐渐成熟。因此，充分利用可能额外获取的关于人脸属性的描述信息，辅助低分辨率人脸图像超分辨率重建，有望有效重建人脸的各种个性，从而提高后续的人脸识别率。
本发明利用属性描述信息辅助低分辨率人脸图像重建，可有效提高监控视频中的低质量人脸图像的高质量重建；借助见证人提供的额外人脸属性描述，本发明技术可以恢复出具有清晰面部属性的人脸图像。该技术在安全监控，刑侦调查等领域具有广泛的应用前景。
发明内容
本发明的目的在于克服现有技术的不足，针对LR人脸图像细节信息丢失及重建人脸识别率低的问题，提供一个可利用属性描述信息来帮助人脸超分辨率重建的生成对抗网络。借助人脸的属性描述来恢复低分辨率人脸图像超分辨率重建图像的属性特征，并在主观上体现属性描述在人脸细节重建的有效性。本发明技术不仅能完成低分辨率人脸图像面部信息的增强，还能提高低分辨率人脸识别的准确性。
本发明采用以下技术手段实现：一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法，该方法首先设计了人脸属性信息增强的处理流程，同时对人脸数据集进行预处理以及属性标签的提取；然后根据此流程进行网络整体结构的设计，LR图像通过该网络得到HR图像；最后，HR图像通过人脸识别网络进行人脸识别准确性评估。该方法的整体流程主要包括训练阶段和重建阶段。
训练阶段：主要包括训练样本准备、网络结构设计和网络训练三部分。其中，训练数据准备的过程方法包括HR图像人脸检测、对齐、裁剪、人脸下采样和对高分辨率人脸图像属性标签的提取；网络结构设计采用生成对抗网络框架，由生成网络和判别网络两部分构成。生成网络包括人脸属性编解码模块和超分辨率重建模块；判别网络包括属性分类模块、对抗模块和感知模块。网络训练过程采用生成对抗网络框架的生成网络和判别网络交替对抗训练的方式进行。
重建阶段：LR人脸图像和属性描述信息作为输入，经过训练好的生成网络，实现图像编码、属性添加、图像解码以及图像重建，生成的重建图像，结果图像可供人工鉴别或机器识别。
所述的整体流程，具体步骤如下：
本发明的整体流程。如附图1所示。
(1)训练样本准备
对高质量人脸训练图像，先进行图像预处理，采用人脸检测、对齐、裁剪以及下采样得到LR人脸图像；用来训练的数据集已经标记好了人脸的属性，我们考虑与人脸识别任务密切相关有N个属性，如“嘴巴”，“鼻子”，“眼睛”，“脸型”，“性别”。先把我们需要的与人脸识别相关的属性提取出来处理成N维的向量作为初始属性，用来训练的数据集已经标记好了人脸的属性，可供本发明直接使用。该属性标签分为1和0两种状态，1表示具有该属性，0表示不具有该属性，再把图像和对应的初始属性进行匹配，最终将图像和初始属性一一对应起来。为了从视觉效果上体现出属性的有效性，采用属性转换的方式，我们将以N设为5为例，目标属性分别设定为“大嘴巴”，“大鼻子”，“窄眼睛”，“瓜子脸”，“男性”，这5个目标属性我们都设置为1的状态。
(2)网络结构设计
现有的GAN(Generative Adversarial Nets)网络由两个网络构成，生成网络仅含有图像生成模块，网络结构缺乏人脸属性描述信息的约束，重建图像的面部属性信息丢失，使得生成的人脸图像和原始的人脸图像很难被判定为同一个人。且判别网络仅含有对抗模块，网络结构缺乏对人脸属性描述信息的分类和判别，使得重建图像的面部属性信息不完整，生成人脸的视觉效果不明显。为了提升生成网络的学习能力、对人脸图像面部属性的增强，本发明的生成网络含有属性编解码模块和超分辨率重建模块，判别网络含有属性分类模块、对抗模块和感知模块。如附图2所示，本发明设计的生成对抗网络包括一个含两个子模块的生成网络和一个含三个子模块的判别网络，其中生成网络的输入为低分辨率的人脸图像，两个模块的作用分别为：添加属性信息、生成固定面部属性的人脸图像；学习含有属性信息的人脸图像特征、放大重建出真实的HR人脸图像；判别网络的输入为成对的HR与GT(Ground Truth)图像，三个模块的作用分别为：判断生成人脸图像属性的正确性；判断生成人脸图像的真实性；判断生成人脸图像和真实图像的一致性。以下对本发明中的两个网络分别介绍。
针对缺乏属性信息的LR人脸图像，本发明设计了生成网络，主要完成LR人脸图像的放大，并对其属性信息进行增强。该网络包含两个模块，分别为属性编解码模块和超分辨率重建模块，其中属性编解码模块包括一个编码模块和一个解码模块，其中编码模块分别有四个卷积层，每个卷积层(Convolution)后面都紧接着一个批量归一化层(BatchNormalization)层和一个激活层(Leaky ReLu)，解码模块分别有五个反卷积层(DeConvolution)，前四层反卷积层后面都分别连着一个Batch Normalization层和ReLu作为激活层，最后一层反卷积层没有用到Batch Normalization，只用了Tanh来作为激活层，可以更好的解决梯度消失的问题并且加快收敛的速度。
其中超分辨率重建模块由两个相同的残差子模块组合而成，每个子模块包括两个残差网络ResNet(Residual Network)和一个亚像素模块(Sub-pixel)。其中，残差网络(ResNet)由卷积层、批量归一化层(Batch Normalization)和激活层(ReLu)堆叠而成，并采用跳跃连接将ResNet模块的输入特征图与输出特征图进行融合，可以联合学习图像和属性的特征；亚像素模块则由卷积层、亚像素卷积层堆叠而成，亚像素模块可以对具有该属性的人脸图像进一步放大，重建出高分辨率的人脸图像。若进行更大倍数的LR图像放大，可级联多个残差子模块，每个残差子模块的网络结构相同，减少了网络设计的负担。
本发明设计的生成网络能够完成相应属性的人脸图像的初步质量增强，单独的生成网络能力有限，在重建的人脸图像HR与真实的人脸图像GT的对抗学习中，有助于大大提升生成网络的学习能力。因此，为了约束生成网络生成的人脸图像，促进生成网络的生成能力，本发明设计了判别网络，主要对生成网络的结果图HR与真实图像GT进行区分，通过不断更新，使得判别网络对生成网络的学习能力有所改善。
判别网络含有三个模块，分别为属性分类模块、对抗模块和感知模块。属性分类模块的加入使得生成网络的HR重建图像的属性更符合我们所描述的属性，且更加利于人脸识别。属性分类模块包括特征学习和分类部分。在特征学习网络结构的设计中，使用五层卷积层、层归一化(Layer Normalization)和Leaky ReLu激活层堆叠而成，之后再接一层全连接层FC(Full Connection)、Layer Normalization层和Leaky ReLU作为激活层，可以更好的解决梯度消失的问题并且加快收敛的速度。在分类部分，含有一个全连接层FC(FullConnection)和Softmax层，针对影响人脸识别的重要属性进行分类。其中，影响人脸识别的重要属性包括五官、性别、年龄等。本发明选取5种典型的有利于人脸识别的属性：“嘴巴”，“鼻子”，“眼睛”，“脸型”，“性别”，属性为1的值表示为“大嘴巴”，“大鼻子”，“窄眼睛”，“瓜子脸”，“男性”。本发明属性分类网络的输出神经元对5种不同的人脸属性进行分类。
对抗模块包括特征学习和分类部分。为减少网络训练的负担，对抗网络和属性分类网络结构基本一致。在特征学习部分，对抗模块与属性分类模块的网络参数共享。特征学习部分主要参考DCGAN网络中判别器的网络结构，由卷积层、Layer Normalization层和Leaky ReLu激活层堆叠而成。与其不同，本发明将DCGAN中全连接层前的网络结构作为特征学习部分。分类部分含有一个全局平均池化层Global average pooling(GAP)和线性层。对抗损失模块的输入含1/0标签的真假图像，输出为真假图像匹配的概率值。
感知模块的网络结构主要参考牛津大学用于图像分类的VGG19网络，整个网络分为a、b、c、d、f五个阶段，每个阶段由卷积层、激活层、池化层堆叠而成。感知损失模块的输入为成对的HR与GT图像，它们在a、b、c、d、f五个阶段分别进行特征图对比，五个阶段的损失函数组合而成该模块的感知损失函数，用来判断生成图像与真实图像的一致性。
(3)对抗训练过程
在前向传播的过程中，先将LR人脸图像X输入到生成网络的属性编解码模块，通过一系列下采样编码成一组潜在的特征向量z，图像滤波器沿着通道的维度与属性向量e连接。连接而成的向量进一步被送到反卷积层联合学习图像和属性共同的特征，并且在学习特征的过程中，依次通过一系列上采样再解码生成具有该属性的人脸图像Ze。这样的属性编解码模块能够帮助纠正输入图像中的属性细节缺陷，同时添加更多的面部细节以辅助生成更加逼真的人脸图像；将含有属性描述信息的人脸图像继续输入生成网络的超分辨率重建模块中，通过卷积层多个卷积滤波器得到LR图像的潜在的特征；然后经过残差网络逐层特征变换得到LR图像的高频信息，将LR图像与其高频信息跳跃连接；最后再对其进行亚像素卷积放大，有利于图像放大过程中高频信息的增强，从而恢复出具有相应属性的高分辨率人脸图像。
重建出的含有生成属性的HR人脸图像和真实的具有目标属性的人脸图像组成样本对，并分别赋予0和1的标签信息，将样本对输入到判别网络中。在网络训练中，生成网络与判别网络交替训练，当生成网络固定时，判别网络开始训练；反之，判别网络固定时，生成网络开始训练。其中，判别网络不发生参数更新，仅将判别网络的误差回传给生成网络。其中，本发明判别网络的三个模块分别含有不同的损失监督，生成网络的损失函数LG由感知模块MSE损失函数Lper与对抗模块二分类为假的交叉熵损失函数Lfake加权组合而成。判别网络的损失函数LD由属性分类模块的Softmax损失函数Latt与对抗模块的对抗损失函数Ladv加权组合而成，通过一种随机梯度下降法(Adam)计算生成网络误差并调节网络参数。为了完成生成对抗网络训练的收敛及加速训练。最后，经过反复迭代，当达到预设的最大迭代次数时停止训练，获得图像复原的生成网络。
(4)重建过程
LR人脸图像和属性描述信息作为输入，经过训练好的生成网络，实现图像编码、属性添加、图像解码以及图像放大重建，生成的具有相应属性信息的高分辨率重建人脸图像，可供人工鉴别或机器识别。
为了验证本发明的属性辅助LR人脸重建有利于人脸识别，本发明采用了主流的人脸识别网络对生成对抗网络的重建图像进行评估。主流的人脸识别网络有DeepID、FaceNet、和SphereFace等，相较于其他网络，人脸识别网络SphereFace在LFW数据库上性能有所提升，且其提供了预训练好的模型，可供本发明直接调用。综合考虑SphereFace的性能和已有资源，本发明采用SphereFace网络作为人脸识别模块。人脸识别模块的输入为LR图像在GAN中生成网络的HR重建图像，输出为一个向量表示，采用欧几里得距离计算输出向量与真实向量之间的差异。对于同一个人的人脸图像，对应的向量的欧几里得距离比较小。对于不同人的人脸图像，对应的向量之间的欧几里得距离比较大。主要评价指标分为：结构相似性(SSIM)和人脸识别正确率(Accuracy)。
与现有技术相比，本发明具有以下明显的优势和有益效果：
本发明将人脸属性描述信息作为输入加入到现有的超分辨率重建生成对抗网络中，采用图像编码、属性添加以及图像解码的方式，辅助生成具有特定属性的人脸图像，弥补图像属性信息的缺失，辅助人脸超分辨率重建，从主观视觉感受来看，不同的属性信息都具有显著的效果；从协同处理人脸图像超分辨率重建、人脸属性编辑和人脸识别的角度出发，提出了一种基于属性描述生成对抗网络的人脸图像的超分辨率重建方法，可完成含有LR人脸图像属性信息的增强，并提升人脸识别的准确性，无论从主观视觉感受上，还是客观质量评价上以及识别性能相较于其他的方法，都有较大的提升。
附图说明：
图1、一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法训练阶段与重建阶段流程图；
图2、本发明设计的生成对抗网络的网络整体结构图；
图3、在LFW数据集下，本发明方法添加属性描述的人脸重建结果；
(a)低分辨率图像
(b)原始图像
(c)添加属性描述“大嘴巴”结果图
(d)添加属性描述“大鼻子”结果图
(e)添加属性描述“男性”结果图
(f)添加属性描述“窄眼睛”结果图
(g)添加属性描述“瓜子脸”结果图
图4、在LFW数据集下，本发明方法与现有方法主观实验结果比较；
(a)低分辨率图像
(b)原始图像
(c)CSCN方法的实验结果图
(d)VDSR方法的实验结果图
(e)DnCNN方法的实验结果图
(f)本发明不含属性描述的实验结果图
(g)本发明含有属性描述的实验结果图
图5、在LFW数据集下，本发明方法与现有方法的识别正确率结果比较；
图6、在LFW数据集下，本发明方法与现有方法的结构相似性结果比较。
具体实施方式：
以下结合说明书附图，对本发明的实施实例加以详细说明：
一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法，分为训练阶段和重建阶段，整体流程图如附图1所示；生成对抗网络的网络整体结构图如附图2所示。
(1)在训练数据预处理的过程中，为了减少人脸图像背景、姿势不同带来的误差，本发明经过三个阶段获得训练样本库。第一阶段，考虑到国内外通用人脸数据集“CelebA”和“LFW”的从实际监控中获取，且其具有普遍性和重要的实验对比意义，本发明采用包括202,599幅人脸图像的数据集CelebA作为训练样本，采用包含13,300幅人脸图像的数据集LFW作为测试样本。所用到的CelebA训练数据集，已有完整的属性标注标签，可供本发明直接使用。第二阶段，针对CelebA和LFW数据集，采用MTCNN网络对其进行图像预处理，该网络能够联合处理人脸检测和人脸对齐。先经过人脸检测获得人脸的关键区域，再经过人脸关键点对齐获得处理后的人脸图像，最后图像统一归一化为96×96像素，以此作为HR训练样本Yi。最后阶段，对HR训练样本进行人脸降质处理，采用双三次插值Bicubic方法进行不同放大倍数D的下采样处理，D设定为4，得到的LR训练样本Xi，图像尺寸为24×24像素。图像降质过程如公式(1)所示。
X＝D(Y), (1)
(2)图像编码、属性添加和图像解码：先将降质后的LR人脸图像X通过编码器Eenc经一系列下采样成一组潜在的特征向量z，如公式(2)所示。我们挑选出影响人脸识别的重要属性包括五官、性别、年龄等。本发明选取五种典型的有利于人脸识别的属性：“嘴巴”，“鼻子”，“眼睛”，“脸型”，“性别”，分别设定为“大嘴巴”，“大鼻子”，“窄眼睛”，“瓜子脸”，“男性”，属性向量用[1 1 1 1 1]来表示。图像滤波器沿着通道的维度与属性向量e连接。连接而成的张量进一步被送到反卷积层联合学习图像和属性共同的特征，并且在学习特征的过程中，依次通过解码器Edec再经一系列上采样生成具有该属性的人脸图像Ze，如公式(3)所示。这样的生成网络能够帮助纠正输入图像中的属性细节缺陷，同时添加更多的面部细节以生成更加逼真的高分辨率人脸图像。在附图3中，本发明方法添加属性描述后在LFW数据集上的主观实验结果展示，从视觉效果上来看，添加属性描述后能够帮助纠正输入图像中的属性细节缺陷，从主观视觉效果上来看，属性特征更加明显，同时添加更多的面部细节以生成更加逼真的高分辨率人脸图像。
z＝Eenc(X) (2)
Ze＝Edec(z，e) (3)
(3)对LR人脸图像特征提取：输入解码后添加属性描述的LR人脸图像Ze，先采用卷积滤波器Conv提取图像的特征，完成图像去除噪声任务，并提取图像边缘的有效信息；然后采用非线性激活函数对卷积后的图像进行处理，挖掘图像潜在的特征。最后经过逐层特征变换得到LR图像的高频信息。其中，本发明采用的激活函数是LeakyRectified LinearUnits(LReLU)，如公式(4)所示。与Sigmoid、Tanh和ReLU函数相比，LReLU的随机梯度下降收敛速度较快，且不需要进行大量复杂运算。本发明的a是一个非零数，设定为0.01。
gi(Ze)＝max(0,Conv(Ze))+a×min(0,Conv(Ze)) (4)
本发明采用批量归一化(Batch Normalization,BN)，它用于激活函数前，卷积层之后。BN主要归一化当前层输入，使得它们的均值为0和方差为1。它能够加快收敛速度、减少CNN权值初始化的影响、具有很好的稳定性，有助于防止梯度消失。
(4)对LR图像残差学习及高频信息融合：添加了属性信息的LR图像经过逐层特征提取得到LR图像第i层的高频信息gi(Ze)，将LR图像Ze与其第i层的高频信息gi(Ze)相加后得到LR高频融合图像ILR。LR图像逐层特征提取的过程如公式(5)所示，高频信息融合的过程如公式(6)所示。
gi(Ze)＝gi-1(gi-2(gi-3…(g1(Ze)))), (5)
ILR＝gi(Ze)+Ze， (6)
(5)亚像素卷积层图像放大：通过上述步骤(4)得到高频信息融合后的图像ILR，它的特征图像含有r2个特征通道(r是图像的目标放大倍数)。每个像素的r2个通道重新排列成一个r×r的区域，对应于高分辨率图像中的一个r×r大小的子块，大小为r2×H×W的特征图像ILR被重新排列成1×rH×rW大小的高分辨率图像ISR。亚像素卷积不仅完成图像尺寸上的放大，还能将多种特征图合成为细节信息更加丰富的图像。亚像素卷积层可以由公式(7)计算得到：
在公式(7)中，fL-1(ILR)表示L-1层的特征图，WL代表L层的权值参数，bL为连接到L层的偏置值，fL(ILR)表示经过亚像素卷积SP层后得到的第L层的特征图。
(6)级联放大：通过上述步骤(5)能够完成图像尺寸放大，当LR图像需要更大倍数放大时，本发明将上述步骤(5)亚像素卷积的结果作为上述步骤(2)的输入，重复操作上述步骤(3-5)LR特征提取、高频信息融合、亚像素卷积操作，最后完成图像的放大。级联放大能够逐步完成图像放大并减少了重建过程中的细节信息丢失，此外，级联模块能够减少网络结构设计，有利于网络训练。
(7)网络训练及模型获取的方法：本发明分别为生成网络和对抗网络建立训练机制，端对端学习LR与HR之间的映射关系，并进行特征比较、属性分类等对抗训练。GAN网络的意义在于最大化判别网络D分类真实样本和生成样本的正确率，缩小生成网络G真实样本和生成样本的差异。如公式(8)所示，
minG maxD f(G，D)， (8)
在生成网络中，LR人脸图像Xi先通过生成网络G得到HR人脸图像Zi，再将生成网络的输出图像Zi和真实图像Yi组成图像对{Zi,Yi}。
Zi＝G(Xi)， (9)
为了区分生成网络的重建图像Ze的属性标签是否与真实的属性标签一致，本发明采用属性分类模块C来约束生成的图像Ze生成我们所描述的属性。属性分类模块C的输入为{Ze,ei}，属性损失为Latt，其中，ei代表第i幅图像的真实属性标签，e代表本发明选取的五种人脸属性。Latt的损失函数如公式(10)和公式(11)所示。E(Ze，e)是属性的二进制的交叉熵损失，属性分类模块C联合编码器Eenc和解码器Edec一起训练。
在判别网络中，为了确保生成图像Zi与真实图像Yi的特征更加相似，本发明采用感知模块计算生成图像与真实图像的颜色、纹理、形状等差异。感知模块的输入图像对为{Zi,Yi}，它的损失函数为感知损失Lper，在计算感知损失的过程中，先对感知模块的a-e五个阶段求出Gram矩阵，然后根据对应层之间计算欧氏距离，最后将不同层的欧氏距离加权平均得到感知损失。如公式(12)所示，j表示感知模块的第j层，CjHjWj分别表示第j层特征图的通道数、高和宽，三者相乘得到特征图的尺寸，第j层特征Hj(X)h，w，c通过两两内积计算得到第j层的Gram矩阵。在公式(13)中，Gj(Z)和Gj(Y)分别表示重建图像与真实图像在感知模块第j层的Gram矩阵，计算得到二者在第j层的欧氏距离。最后得到公式(14)所示中的感知损失函数Lper。
在判别网络中，为了区分生成网络的重建图像Zi是由算法生成的图像ffake，还是真实图像freal，本发明采用对抗模块区分Zi的真假。对抗模块的输入图像对为{Zi,Yi}，为它们分别赋予0/1标签，该模块由两个损失函数，分别为真假损失函数Lreal和Lfake。当标签s为0时，Lfake的损失函数如公式(15)所示；当标签s为1时，Lreal的损失函数如公式(16)所示。
Lfake＝-log(D(G(Xs)))，s＝0， (15)
Lreal＝log((G(Ys))，s＝1， (16)
在公式(15)和(16)中，D表示对抗模块，G表示生成网络，Xs表示LR图像，Ys表示真实图像。对抗模块的训练目标是对真假图像二分类：使得真实样本的输出接近1；生成网络得到的假样本输出接近于0。
在网络训练中，生成网络与判别网络交替训练，当生成网络固定时，判别网络开始训练；反之，判别网络固定时，生成网络开始训练。其中，判别网络不发生参数更新，仅将判别网络的误差回传给生成网络。生成网络的总损失函数如下：
LG＝Lper+Lfake， (17)
判别网络的总损失函数如下：
LD＝Latt+Ladv, (18)
Ladv＝M-Lfake+Lreal， (19)
如公式(18)所示，判别网络的损失函数LD由属性分类模块的属性损失函数Latt与对抗模块的对抗损失函数Ladv组合而成。如公式(19)所示，Ladv是均衡对抗的损失函数，旨在寻找Lfake与Lreal之间的最优差异，完成网络的训练，它的均衡项M设定为20。判别网络的基础学习率设置为0.01,通过一种随机梯度下降法(Adam)计算生成网络误差并调节网络参数。为了完成GAN网络训练的收敛及加速训练，本发明训练样本的批尺寸batch设定为16。经过反复迭代，当达到预设的最大迭代次数(10万次)时停止训练，获得图像复原的生成模型。
(8)重建后的人脸图像用于人脸识别：在附图4中，本发明方法与典型的SR方法在LFW数据集下进行主观实验结果比较，相比于其他几种方法，本发明的重建图像完成了人脸图像细节信息的增强，边缘信息更加锐利。通过上述步骤(7)能够得到图像重建后的结果图。为了验证人脸重建有利于人脸识别，本发明先将上述步骤(7)的重建图像输入人脸识别模型，使得人脸图像映射到欧几里得空间，通过计算人脸图像与标签信息的相似性；判断二者为同一个体图像或不同个体图像。本发明的人脸识别模型在LFW数据下进行测试，该数据集提供了6000对的人脸图像对作为评测数据，3000对属于同一人，3000对属于不同的人。在测试阶段，根据计算两张图片的相似度，得到一个相似度(0～1)，然后根据其是否大于一个给定的阈值，根据经验设定阈值为0.7，会得到6000个结果，最后得到人脸识别的准确性。主要评价指标分为：结构相似性(SSIM)和人脸识别正确率(Accuracy)。在附图5中，本发明方法与典型的SR方法在LFW数据集下进行识别正确率结果比较，相比于其他几种方法，本发明的人脸识别正确率是最高的；在附图6中，本发明方法与典型的SR方法在LFW数据集下进行结构相似性结果比较，相比于其他几种方法，本发明的结构相似性也是最高的。

Claims (10)

1.一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法，包括训练阶段和重建阶段，其特征在于：
训练阶段：包括训练样本准备、网络结构设计和网络训练三部分；网络结构设计采用生成对抗网络框架，由生成网络和判别网络两部分构成；生成网络包括人脸属性编解码模块和超分辨率重建模块；判别网络包括属性分类模块、对抗模块和感知模块；网络训练过程采用生成对抗网络框架的生成网络和判别网络交替对抗训练的方式进行；
重建阶段：LR人脸图像和属性描述信息作为输入，经过训练好的生成网络，实现图像编码、属性添加、图像解码以及图像重建。
2.根据权利要求1所述的方法，其特征在于，训练样本准备具体为：
对高质量人脸训练图像，先进行图像预处理，采用人脸检测、对齐、裁剪以及下采样得到LR人脸图像；先把与人脸识别相关的属性提取出来处理成N维的向量作为初始属性，用来训练的数据集已经标记好了人脸的属性，该属性标签分为1和0两种状态，1表示具有该属性，0表示不具有该属性，再把图像和对应的初始属性进行匹配，最终将图像和初始属性一一对应起来，把目标属性都设为1。
3.根据权利要求1所述的方法，其特征在于，其中生成网络的输入为低分辨率的人脸图像，两个模块的作用分别为：添加属性信息、生成固定面部属性的人脸图像；学习含有属性信息的人脸图像特征、放大重建出真实的高分辨率HR人脸图像；判别网络的输入为成对的HR与真实图像Ground Truth图像，三个模块的作用分别为：判断生成人脸图像属性的正确性；判断生成人脸图像的真实性；判断生成人脸图像和真实图像的一致性。
4.根据权利要求1所述的方法，其特征在于，其中属性编解码模块包括一个编码模块和一个解码模块，其中编码模块分别有四个卷积层，每个卷积层后面都紧接着一个批量归一化层和一个激活层，解码模块分别有五个反卷积层，前四层反卷积层后面都分别连着一个批量归一化层和ReLu作为激活层，最后一层反卷积层只用了Tanh来作为激活层。
5.根据权利要求1所述的方法，其特征在于，其中超分辨率重建模块由两个以上相同的残差子模块组合而成，每个子模块包括两个残差网络和一个亚像素模块；其中，残差网络由卷积层、批量归一化层和ReLu激活层堆叠而成，并采用跳跃连接将残差网络的输入特征图与输出特征图进行融合，联合学习图像和属性的特征；亚像素模块则由卷积层、亚像素卷积层堆叠而成，亚像素模块对具有该属性的人脸图像进一步放大，重建出高分辨率的人脸图像。
6.根据权利要求1所述的方法，其特征在于，属性分类模块包括特征学习和分类部分；在特征学习的网络结构设计中，使用五层卷积层、层归一化Layer Normalization和LeakyReLu激活层堆叠而成，之后再接一层全连接层、Layer Normalization层和Leaky ReLU激活层，在分类部分，再接一个全连接层和Softmax层，针对影响人脸识别的重要属性进行分类。
7.根据权利要求1所述的方法，其特征在于，对抗模块也包括特征学习和分类部分；在特征学习部分，对抗模块与属性分类模块的网络参数共享；特征学习部分由卷积层、LayerNormalization层和Leaky ReLu激活层堆叠而成；全连接层前的网络结构作为特征学习部分；分类部分含有一个全局平均池化层和线性层；对抗模块的输入含1/0标签的真假图像，输出为真假图像匹配的概率值。
8.根据权利要求1所述的方法，其特征在于，感知模块分为五个阶段，每个阶段由卷积层、激活层、池化层堆叠而成；感知模块的输入为成对的HR与Ground Truth图像，它们在五个阶段分别进行特征图对比，五个阶段的损失函数组合而成该模块的感知损失函数，用来判断生成图像与真实图像的一致性。
9.根据权利要求1所述的方法，其特征在于，对抗训练过程具体为：
在前向传播的过程中，先将LR人脸图像X输入到生成网络的属性编解码模块，通过一系列下采样编码成一组潜在的特征向量z，然后图像滤波器沿着通道的维度与属性向量e连接；连接而成的向量进一步被送到反卷积层联合学习图像和属性共同的特征，并且在学习特征的过程中，依次通过一系列上采样再解码生成具有该属性的人脸图像Ze；将含有属性描述信息的人脸图像继续输入生成网络的超分辨率重建模块中，通过卷积层多个卷积滤波器得到LR图像的潜在的特征；然后经过残差网络逐层特征变换得到LR图像的高频信息，将LR图像与其高频信息跳跃连接；再对其进行亚像素卷积放大，恢复出具有相应属性的高分辨率HR人脸图像；
重建出的含有生成属性的HR人脸图像和真实的具有目标属性的人脸图像组成样本对，并分别赋予0和1的标签信息，将样本对输入到判别网络中；在网络训练中，生成网络与判别网络交替训练，判别网络不发生参数更新，仅将判别网络的误差回传给生成网络；
经过反复迭代，当达到预设的最大迭代次数时停止训练，获得图像复原的生成网络；
LR人脸图像和属性描述信息作为输入，经过训练好的图像复原的生成网络，实现图像编码、属性添加、图像解码以及图像放大重建，生成具有相应属性信息的高分辨率重建人脸图像。
10.根据权利要求1所述的方法，其特征在于，生成网络的损失函数LG由感知模块MSE损失函数Lper与对抗模块二分类为假的交叉熵损失函数Lfake加权组合而成；判别网络的损失函数LD由属性分类模块的Softmax损失函数Latt与对抗模块的对抗损失函数Ladv加权组合而成，通过一种随机梯度下降法计算生成网络误差并调节网络参数。
CN201811453611.6A 2018-11-30 2018-11-30 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法 Active CN109615582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811453611.6A CN109615582B (zh) 2018-11-30 2018-11-30 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811453611.6A CN109615582B (zh) 2018-11-30 2018-11-30 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN109615582A true CN109615582A (zh) 2019-04-12
CN109615582B CN109615582B (zh) 2023-09-01

Family

ID=66005547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811453611.6A Active CN109615582B (zh) 2018-11-30 2018-11-30 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN109615582B (zh)

Cited By (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084193A (zh) * 2019-04-26 2019-08-02 深圳市腾讯计算机系统有限公司 用于面部图像生成的数据处理方法、设备和介质
CN110097505A (zh) * 2019-05-16 2019-08-06 中国人民解放军海军工程大学 一种数字高程模型数据处理方法及装置
CN110102051A (zh) * 2019-05-06 2019-08-09 网易（杭州）网络有限公司 游戏外挂的检测方法及装置
CN110148085A (zh) * 2019-04-22 2019-08-20 智慧眼科技股份有限公司 人脸图像超分辨率重建方法及计算机可读取的存储介质
CN110163803A (zh) * 2019-05-24 2019-08-23 厦门大学 一种基于卷积神经网络的图像超分辨率重建方法及系统
CN110211046A (zh) * 2019-06-03 2019-09-06 重庆邮电大学 一种基于生成对抗网络的遥感图像融合方法、系统和终端
CN110246093A (zh) * 2019-05-05 2019-09-17 北京大学 一种解码图像增强方法
CN110288512A (zh) * 2019-05-16 2019-09-27 成都品果科技有限公司 用于图像合成的光照重映射方法、装置、存储介质和处理器
CN110473144A (zh) * 2019-08-07 2019-11-19 南京信息工程大学 一种基于拉普拉斯金字塔网络的图像超分辨率重建方法
CN110473135A (zh) * 2019-07-31 2019-11-19 哈尔滨工业大学（深圳） 图像处理方法、系统、可读存储介质及智能设备
CN110490802A (zh) * 2019-08-06 2019-11-22 北京观微科技有限公司 一种基于超分辨率的卫星影像飞机目标型号识别方法
CN110570396A (zh) * 2019-08-07 2019-12-13 华中科技大学 一种基于深度学习的工业产品缺陷检测方法
CN110610458A (zh) * 2019-04-30 2019-12-24 北京联合大学 一种基于岭回归的gan图像增强交互处理方法及系统
CN110689482A (zh) * 2019-09-18 2020-01-14 中国科学技术大学 一种基于有监督逐像素生成对抗网络的人脸超分辨率方法
CN110706303A (zh) * 2019-10-15 2020-01-17 西南交通大学 基于GANs的人脸图像生成方法
CN110910310A (zh) * 2019-10-25 2020-03-24 南京大学 一种基于身份信息的人脸图像重建方法
CN111047546A (zh) * 2019-11-28 2020-04-21 中国船舶重工集团公司第七一七研究所 一种红外图像超分辨率重构方法、系统及电子设备
CN111080521A (zh) * 2019-12-12 2020-04-28 天津中科智能识别产业技术研究院有限公司 一种基于结构先验的人脸图像超分辨率方法
CN111080727A (zh) * 2019-12-17 2020-04-28 华中科技大学鄂州工业技术研究院 彩色图像重构方法及装置、图像分类方法及装置
CN111080522A (zh) * 2019-12-13 2020-04-28 福州大学 一种基于双向对抗网络的图像超分辨率重建方法
CN111127392A (zh) * 2019-11-12 2020-05-08 杭州电子科技大学 一种基于对抗生成网络的无参考图像质量评价方法
CN111127316A (zh) * 2019-10-29 2020-05-08 山东大学 一种基于sngan网络的单幅人脸图像超分辨方法及系统
CN111275613A (zh) * 2020-02-27 2020-06-12 辽宁工程技术大学 一种引入注意力机制生成对抗网络人脸属性编辑方法
CN111353940A (zh) * 2020-03-31 2020-06-30 成都信息工程大学 一种基于深度学习迭代上下采样的图像超分辨率重建方法
CN111368662A (zh) * 2020-02-25 2020-07-03 华南理工大学 一种人脸图像属性编辑方法、装置、存储介质及设备
CN111368790A (zh) * 2020-03-18 2020-07-03 北京三快在线科技有限公司 细粒度人脸识别模型的构建方法、识别方法以及构建装置
CN111461134A (zh) * 2020-05-18 2020-07-28 南京大学 一种基于生成对抗网络的低分辨率车牌识别方法
CN111488865A (zh) * 2020-06-28 2020-08-04 腾讯科技（深圳）有限公司 图像优化方法、装置、计算机存储介质以及电子设备
CN111524216A (zh) * 2020-04-10 2020-08-11 北京百度网讯科技有限公司 生成三维人脸数据的方法和装置
CN111541900A (zh) * 2020-04-28 2020-08-14 济南浪潮高新科技投资发展有限公司 基于gan的安防视频压缩方法、装置、设备及存储介质
CN111597945A (zh) * 2020-05-11 2020-08-28 济南博观智能科技有限公司 一种目标检测方法、装置、设备及介质
CN111598964A (zh) * 2020-05-15 2020-08-28 厦门大学 一种基于空间自适应网络的定量磁化率图像重建方法
CN111881437A (zh) * 2020-08-04 2020-11-03 公安部第三研究所 基于黑盒对抗样本攻击实现人脸识别安全测评的方法及其系统
CN111914617A (zh) * 2020-06-10 2020-11-10 华南理工大学 一种基于平衡栈式生成式对抗网络的人脸属性编辑方法
CN111915591A (zh) * 2020-08-03 2020-11-10 中国海洋大学 一种用于高质量图像外推的螺旋生成网络
CN111932444A (zh) * 2020-07-16 2020-11-13 中国石油大学(华东) 基于生成对抗网络的人脸属性编辑方法及信息处理终端
CN112016480A (zh) * 2020-08-31 2020-12-01 中移（杭州）信息技术有限公司 人脸特征表示方法、系统、电子设备和存储介质
CN112053408A (zh) * 2020-09-04 2020-12-08 清华大学 基于深度学习的人脸图像压缩方法及装置
CN112164125A (zh) * 2020-09-15 2021-01-01 华南理工大学 一种监督可控的人脸多属性分离生成的方法
CN112233012A (zh) * 2020-08-10 2021-01-15 上海交通大学 一种人脸生成系统及方法
CN112446835A (zh) * 2019-09-04 2021-03-05 华为技术有限公司 图像恢复方法、图像恢复网络训练方法、装置和存储介质
CN112613445A (zh) * 2020-12-29 2021-04-06 深圳威富优房客科技有限公司 人脸图像生成方法、装置、计算机设备和存储介质
CN112633154A (zh) * 2020-12-22 2021-04-09 云南翼飞视科技有限公司 一种异源人脸特征向量之间的转换方法及系统
CN112669212A (zh) * 2020-12-30 2021-04-16 杭州趣链科技有限公司 人脸图像超分辨率重建方法、装置、计算机设备及介质
CN112784781A (zh) * 2021-01-28 2021-05-11 清华大学 基于差异感知元学习的伪造人脸检测方法和装置
CN113011271A (zh) * 2021-02-23 2021-06-22 北京嘀嘀无限科技发展有限公司 生成和处理图像的方法、装置、设备、介质和程序产品
CN113139907A (zh) * 2021-05-18 2021-07-20 广东奥普特科技股份有限公司 视觉分辨率增强的生成方法、系统、装置及存储介质
CN113160061A (zh) * 2021-05-18 2021-07-23 浙江大学 一种由模糊监控视频重建高分辨率人脸图像的方法与系统
CN113344110A (zh) * 2021-06-26 2021-09-03 浙江理工大学 一种基于超分辨率重建的模糊图像分类方法
CN113420665A (zh) * 2021-06-23 2021-09-21 平安国际智慧城市科技股份有限公司 对抗人脸图像生成、人脸识别模型训练方法、装置及设备
WO2021185225A1 (zh) * 2020-03-16 2021-09-23 徐州工程学院 基于自适应调整的图像超分辨率重建方法
CN113449570A (zh) * 2020-03-27 2021-09-28 虹软科技股份有限公司 图像处理方法和装置
CN113538246A (zh) * 2021-08-10 2021-10-22 西安电子科技大学 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN113628116A (zh) * 2021-10-12 2021-11-09 腾讯科技（深圳）有限公司 图像处理网络的训练方法、装置、计算机设备和存储介质
CN113628107A (zh) * 2021-07-02 2021-11-09 上海交通大学 人脸图像超分辨率方法和系统
CN113706663A (zh) * 2021-08-27 2021-11-26 脸萌有限公司 图像生成方法、装置、设备及存储介质
CN114025165A (zh) * 2021-11-03 2022-02-08 杭州海量信息技术有限公司 一种人脸识别精度保持的图像压缩方法以及系统
WO2022087941A1 (zh) * 2020-10-29 2022-05-05 京东方科技集团股份有限公司 人脸重建模型的训练方法及装置、人脸重建方法及装置、电子设备和可读存储介质
GB2601220A (en) * 2020-11-18 2022-05-25 Adobe Inc Generative image congealing
CN114913086A (zh) * 2022-05-05 2022-08-16 上海云思智慧信息技术有限公司 基于生成对抗网络的人脸图像质量增强方法
CN115083016A (zh) * 2022-06-09 2022-09-20 广州紫为云科技有限公司 一种基于单目摄像机的面向小目标手部隔空交互方法与装置
CN115086670A (zh) * 2022-06-13 2022-09-20 梧州学院 一种面向高清显微视频的低码率编解码方法及系统
CN115953296A (zh) * 2022-12-09 2023-04-11 中山大学·深圳 一种基于transformer和卷积神经网络联合的人脸超分辨率重建方法和系统
CN115984635A (zh) * 2023-03-21 2023-04-18 自然资源部第一海洋研究所 多源遥感数据分类模型训练方法、分类方法和电子设备
CN115984106A (zh) * 2022-12-12 2023-04-18 武汉大学 一种基于双边生成对抗网络的线扫描图像超分辨率方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN107977932A (zh) * 2017-12-28 2018-05-01 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN108334848A (zh) * 2018-02-06 2018-07-27 哈尔滨工业大学 一种基于生成对抗网络的微小人脸识别方法
CN108805809A (zh) * 2018-05-28 2018-11-13 天津科技大学 一种基于生成对抗网络的红外人脸图像超分辨率重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN107977932A (zh) * 2017-12-28 2018-05-01 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN108334848A (zh) * 2018-02-06 2018-07-27 哈尔滨工业大学 一种基于生成对抗网络的微小人脸识别方法
CN108805809A (zh) * 2018-05-28 2018-11-13 天津科技大学 一种基于生成对抗网络的红外人脸图像超分辨率重建方法

Cited By (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148085A (zh) * 2019-04-22 2019-08-20 智慧眼科技股份有限公司 人脸图像超分辨率重建方法及计算机可读取的存储介质
CN110084193B (zh) * 2019-04-26 2023-04-18 深圳市腾讯计算机系统有限公司 用于面部图像生成的数据处理方法、设备和介质
US11854247B2 (en) 2019-04-26 2023-12-26 Tencent Technology (Shenzhen) Company Limited Data processing method and device for generating face image and medium
CN110084193A (zh) * 2019-04-26 2019-08-02 深圳市腾讯计算机系统有限公司 用于面部图像生成的数据处理方法、设备和介质
CN110610458B (zh) * 2019-04-30 2023-10-20 北京联合大学 一种基于岭回归的gan图像增强交互处理方法及系统
CN110610458A (zh) * 2019-04-30 2019-12-24 北京联合大学 一种基于岭回归的gan图像增强交互处理方法及系统
CN110246093A (zh) * 2019-05-05 2019-09-17 北京大学 一种解码图像增强方法
CN110246093B (zh) * 2019-05-05 2021-05-04 北京大学 一种解码图像增强方法
CN110102051A (zh) * 2019-05-06 2019-08-09 网易（杭州）网络有限公司 游戏外挂的检测方法及装置
CN110102051B (zh) * 2019-05-06 2022-12-06 网易（杭州）网络有限公司 游戏外挂的检测方法及装置
CN110288512A (zh) * 2019-05-16 2019-09-27 成都品果科技有限公司 用于图像合成的光照重映射方法、装置、存储介质和处理器
CN110097505A (zh) * 2019-05-16 2019-08-06 中国人民解放军海军工程大学 一种数字高程模型数据处理方法及装置
CN110163803A (zh) * 2019-05-24 2019-08-23 厦门大学 一种基于卷积神经网络的图像超分辨率重建方法及系统
CN110211046A (zh) * 2019-06-03 2019-09-06 重庆邮电大学 一种基于生成对抗网络的遥感图像融合方法、系统和终端
CN110211046B (zh) * 2019-06-03 2023-07-14 重庆邮电大学 一种基于生成对抗网络的遥感图像融合方法、系统和终端
CN110473135A (zh) * 2019-07-31 2019-11-19 哈尔滨工业大学（深圳） 图像处理方法、系统、可读存储介质及智能设备
CN110473135B (zh) * 2019-07-31 2022-12-27 哈尔滨工业大学（深圳） 图像处理方法、系统、可读存储介质及智能设备
CN110490802A (zh) * 2019-08-06 2019-11-22 北京观微科技有限公司 一种基于超分辨率的卫星影像飞机目标型号识别方法
CN110490802B (zh) * 2019-08-06 2021-01-19 北京观微科技有限公司 一种基于超分辨率的卫星影像飞机目标型号识别方法
CN110570396A (zh) * 2019-08-07 2019-12-13 华中科技大学 一种基于深度学习的工业产品缺陷检测方法
CN110570396B (zh) * 2019-08-07 2022-03-15 华中科技大学 一种基于深度学习的工业产品缺陷检测方法
CN110473144B (zh) * 2019-08-07 2023-04-25 南京信息工程大学 一种基于拉普拉斯金字塔网络的图像超分辨率重建方法
CN110473144A (zh) * 2019-08-07 2019-11-19 南京信息工程大学 一种基于拉普拉斯金字塔网络的图像超分辨率重建方法
CN112446835A (zh) * 2019-09-04 2021-03-05 华为技术有限公司 图像恢复方法、图像恢复网络训练方法、装置和存储介质
CN110689482B (zh) * 2019-09-18 2022-09-30 中国科学技术大学 一种基于有监督逐像素生成对抗网络的人脸超分辨率方法
CN110689482A (zh) * 2019-09-18 2020-01-14 中国科学技术大学 一种基于有监督逐像素生成对抗网络的人脸超分辨率方法
CN110706303A (zh) * 2019-10-15 2020-01-17 西南交通大学 基于GANs的人脸图像生成方法
CN110910310A (zh) * 2019-10-25 2020-03-24 南京大学 一种基于身份信息的人脸图像重建方法
CN111127316A (zh) * 2019-10-29 2020-05-08 山东大学 一种基于sngan网络的单幅人脸图像超分辨方法及系统
CN111127392A (zh) * 2019-11-12 2020-05-08 杭州电子科技大学 一种基于对抗生成网络的无参考图像质量评价方法
CN111127392B (zh) * 2019-11-12 2023-04-25 杭州电子科技大学 一种基于对抗生成网络的无参考图像质量评价方法
CN111047546A (zh) * 2019-11-28 2020-04-21 中国船舶重工集团公司第七一七研究所 一种红外图像超分辨率重构方法、系统及电子设备
CN111080521A (zh) * 2019-12-12 2020-04-28 天津中科智能识别产业技术研究院有限公司 一种基于结构先验的人脸图像超分辨率方法
CN111080522B (zh) * 2019-12-13 2022-03-25 福州大学 一种基于双向对抗网络的图像超分辨率重建方法
CN111080522A (zh) * 2019-12-13 2020-04-28 福州大学 一种基于双向对抗网络的图像超分辨率重建方法
CN111080727B (zh) * 2019-12-17 2023-03-21 华中科技大学鄂州工业技术研究院 彩色图像重构方法及装置、图像分类方法及装置
CN111080727A (zh) * 2019-12-17 2020-04-28 华中科技大学鄂州工业技术研究院 彩色图像重构方法及装置、图像分类方法及装置
CN111368662B (zh) * 2020-02-25 2023-03-21 华南理工大学 一种人脸图像属性编辑方法、装置、存储介质及设备
CN111368662A (zh) * 2020-02-25 2020-07-03 华南理工大学 一种人脸图像属性编辑方法、装置、存储介质及设备
CN111275613A (zh) * 2020-02-27 2020-06-12 辽宁工程技术大学 一种引入注意力机制生成对抗网络人脸属性编辑方法
WO2021185225A1 (zh) * 2020-03-16 2021-09-23 徐州工程学院 基于自适应调整的图像超分辨率重建方法
CN111368790A (zh) * 2020-03-18 2020-07-03 北京三快在线科技有限公司 细粒度人脸识别模型的构建方法、识别方法以及构建装置
CN113449570A (zh) * 2020-03-27 2021-09-28 虹软科技股份有限公司 图像处理方法和装置
WO2021190321A1 (zh) * 2020-03-27 2021-09-30 虹软科技股份有限公司 图像处理方法和装置
CN111353940A (zh) * 2020-03-31 2020-06-30 成都信息工程大学 一种基于深度学习迭代上下采样的图像超分辨率重建方法
CN111524216A (zh) * 2020-04-10 2020-08-11 北京百度网讯科技有限公司 生成三维人脸数据的方法和装置
CN111541900B (zh) * 2020-04-28 2022-05-17 山东浪潮科学研究院有限公司 基于gan的安防视频压缩方法、装置、设备及存储介质
CN111541900A (zh) * 2020-04-28 2020-08-14 济南浪潮高新科技投资发展有限公司 基于gan的安防视频压缩方法、装置、设备及存储介质
CN111597945A (zh) * 2020-05-11 2020-08-28 济南博观智能科技有限公司 一种目标检测方法、装置、设备及介质
CN111597945B (zh) * 2020-05-11 2023-08-18 济南博观智能科技有限公司 一种目标检测方法、装置、设备及介质
CN111598964B (zh) * 2020-05-15 2023-02-14 厦门大学 一种基于空间自适应网络的定量磁化率图像重建方法
CN111598964A (zh) * 2020-05-15 2020-08-28 厦门大学 一种基于空间自适应网络的定量磁化率图像重建方法
CN111461134A (zh) * 2020-05-18 2020-07-28 南京大学 一种基于生成对抗网络的低分辨率车牌识别方法
CN111914617A (zh) * 2020-06-10 2020-11-10 华南理工大学 一种基于平衡栈式生成式对抗网络的人脸属性编辑方法
CN111914617B (zh) * 2020-06-10 2024-05-07 华南理工大学 一种基于平衡栈式生成式对抗网络的人脸属性编辑方法
CN111488865A (zh) * 2020-06-28 2020-08-04 腾讯科技（深圳）有限公司 图像优化方法、装置、计算机存储介质以及电子设备
CN111932444B (zh) * 2020-07-16 2023-09-19 中国石油大学(华东) 基于生成对抗网络的人脸属性编辑方法及信息处理终端
CN111932444A (zh) * 2020-07-16 2020-11-13 中国石油大学(华东) 基于生成对抗网络的人脸属性编辑方法及信息处理终端
CN111915591B (zh) * 2020-08-03 2022-03-22 中国海洋大学 一种基于螺旋生成网络的高质量图像外推系统
CN111915591A (zh) * 2020-08-03 2020-11-10 中国海洋大学 一种用于高质量图像外推的螺旋生成网络
CN111881437B (zh) * 2020-08-04 2024-03-08 公安部第三研究所 基于黑盒对抗样本攻击实现人脸识别安全测评的方法及其系统
CN111881437A (zh) * 2020-08-04 2020-11-03 公安部第三研究所 基于黑盒对抗样本攻击实现人脸识别安全测评的方法及其系统
CN112233012B (zh) * 2020-08-10 2023-10-31 上海交通大学 一种人脸生成系统及方法
CN112233012A (zh) * 2020-08-10 2021-01-15 上海交通大学 一种人脸生成系统及方法
CN112016480A (zh) * 2020-08-31 2020-12-01 中移（杭州）信息技术有限公司 人脸特征表示方法、系统、电子设备和存储介质
CN112053408A (zh) * 2020-09-04 2020-12-08 清华大学 基于深度学习的人脸图像压缩方法及装置
CN112164125A (zh) * 2020-09-15 2021-01-01 华南理工大学 一种监督可控的人脸多属性分离生成的方法
WO2022087941A1 (zh) * 2020-10-29 2022-05-05 京东方科技集团股份有限公司 人脸重建模型的训练方法及装置、人脸重建方法及装置、电子设备和可读存储介质
GB2601220B (en) * 2020-11-18 2024-03-06 Adobe Inc Generative image congealing
GB2601220A (en) * 2020-11-18 2022-05-25 Adobe Inc Generative image congealing
CN112633154A (zh) * 2020-12-22 2021-04-09 云南翼飞视科技有限公司 一种异源人脸特征向量之间的转换方法及系统
CN112613445B (zh) * 2020-12-29 2024-04-30 深圳威富优房客科技有限公司 人脸图像生成方法、装置、计算机设备和存储介质
CN112613445A (zh) * 2020-12-29 2021-04-06 深圳威富优房客科技有限公司 人脸图像生成方法、装置、计算机设备和存储介质
CN112669212B (zh) * 2020-12-30 2024-03-26 杭州趣链科技有限公司 人脸图像超分辨率重建方法、装置、计算机设备及介质
CN112669212A (zh) * 2020-12-30 2021-04-16 杭州趣链科技有限公司 人脸图像超分辨率重建方法、装置、计算机设备及介质
CN112784781B (zh) * 2021-01-28 2022-08-12 清华大学 基于差异感知元学习的伪造人脸检测方法和装置
CN112784781A (zh) * 2021-01-28 2021-05-11 清华大学 基于差异感知元学习的伪造人脸检测方法和装置
CN113011271A (zh) * 2021-02-23 2021-06-22 北京嘀嘀无限科技发展有限公司 生成和处理图像的方法、装置、设备、介质和程序产品
CN113139907A (zh) * 2021-05-18 2021-07-20 广东奥普特科技股份有限公司 视觉分辨率增强的生成方法、系统、装置及存储介质
CN113139907B (zh) * 2021-05-18 2023-02-14 广东奥普特科技股份有限公司 视觉分辨率增强的生成方法、系统、装置及存储介质
CN113160061B (zh) * 2021-05-18 2022-04-19 浙江大学 一种由模糊监控视频重建高分辨率人脸图像的方法与系统
CN113160061A (zh) * 2021-05-18 2021-07-23 浙江大学 一种由模糊监控视频重建高分辨率人脸图像的方法与系统
WO2022242029A1 (zh) * 2021-05-18 2022-11-24 广东奥普特科技股份有限公司 视觉分辨率增强的生成方法、系统、装置及存储介质
CN113420665A (zh) * 2021-06-23 2021-09-21 平安国际智慧城市科技股份有限公司 对抗人脸图像生成、人脸识别模型训练方法、装置及设备
CN113420665B (zh) * 2021-06-23 2024-05-07 平安国际智慧城市科技股份有限公司 对抗人脸图像生成、人脸识别模型训练方法、装置及设备
CN113344110A (zh) * 2021-06-26 2021-09-03 浙江理工大学 一种基于超分辨率重建的模糊图像分类方法
CN113344110B (zh) * 2021-06-26 2024-04-05 浙江理工大学 一种基于超分辨率重建的模糊图像分类方法
CN113628107A (zh) * 2021-07-02 2021-11-09 上海交通大学 人脸图像超分辨率方法和系统
CN113628107B (zh) * 2021-07-02 2023-10-27 上海交通大学 人脸图像超分辨率方法和系统
CN113538246A (zh) * 2021-08-10 2021-10-22 西安电子科技大学 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN113706663B (zh) * 2021-08-27 2024-02-02 脸萌有限公司 图像生成方法、装置、设备及存储介质
CN113706663A (zh) * 2021-08-27 2021-11-26 脸萌有限公司 图像生成方法、装置、设备及存储介质
CN113628116A (zh) * 2021-10-12 2021-11-09 腾讯科技（深圳）有限公司 图像处理网络的训练方法、装置、计算机设备和存储介质
CN114025165A (zh) * 2021-11-03 2022-02-08 杭州海量信息技术有限公司 一种人脸识别精度保持的图像压缩方法以及系统
CN114913086A (zh) * 2022-05-05 2022-08-16 上海云思智慧信息技术有限公司 基于生成对抗网络的人脸图像质量增强方法
CN115083016A (zh) * 2022-06-09 2022-09-20 广州紫为云科技有限公司 一种基于单目摄像机的面向小目标手部隔空交互方法与装置
CN115086670A (zh) * 2022-06-13 2022-09-20 梧州学院 一种面向高清显微视频的低码率编解码方法及系统
CN115953296B (zh) * 2022-12-09 2024-04-05 中山大学·深圳 一种基于transformer和卷积神经网络联合的人脸超分辨率重建方法和系统
CN115953296A (zh) * 2022-12-09 2023-04-11 中山大学·深圳 一种基于transformer和卷积神经网络联合的人脸超分辨率重建方法和系统
CN115984106B (zh) * 2022-12-12 2024-04-02 武汉大学 一种基于双边生成对抗网络的线扫描图像超分辨率方法
CN115984106A (zh) * 2022-12-12 2023-04-18 武汉大学 一种基于双边生成对抗网络的线扫描图像超分辨率方法
CN115984635A (zh) * 2023-03-21 2023-04-18 自然资源部第一海洋研究所 多源遥感数据分类模型训练方法、分类方法和电子设备

Also Published As

Publication number Publication date
CN109615582B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN109615582A (zh) 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN107977932B (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
Bashir et al. A comprehensive review of deep learning-based single image super-resolution
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN110222668B (zh) 基于生成对抗网络的多姿态面部表情识别方法
US20190205758A1 (en) Gland segmentation with deeply-supervised multi-level deconvolution networks
CN109741256A (zh) 基于稀疏表示和深度学习的图像超分辨率重建方法
CN109886986A (zh) 一种基于多分支卷积神经网络的皮肤镜图像分割方法
CN109871777A (zh) 一种基于注意力机制的行为识别系统
CN111080511A (zh) 一种端到端的高分辨率多特征提取的人脸交换方法
CN109993269B (zh) 基于注意力机制的单张图像人群计数方法
CN109711426A (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
CN110046550A (zh) 基于多层特征学习的行人属性识别系统及方法
CN113782190B (zh) 基于多级时空特征和混合注意力网络的图像处理方法
CN110503081A (zh) 基于帧间差分的暴力行为检测方法、系统、设备及介质
CN110533683A (zh) 一种融合传统特征与深度特征的影像组学分析方法
CN109598732A (zh) 一种基于三维空间加权的医学图像分割方法
Krishnan et al. SwiftSRGAN-Rethinking super-resolution for efficient and real-time inference
CN110889335B (zh) 基于多通道时空融合网络人体骨架双人交互行为识别方法
CN117095128A (zh) 一种无先验多视角人体服饰编辑方法
CN114093013B (zh) 一种深度伪造人脸逆向溯源方法及系统
CN114937298A (zh) 一种基于特征解耦的微表情识别方法
CN109583406B (zh) 基于特征关注机制的人脸表情识别方法
Xie et al. MRSCFusion: Joint Residual Swin Transformer and Multiscale CNN for Unsupervised Multimodal Medical Image Fusion
Dastbaravardeh et al. Channel Attention-Based Approach with Autoencoder Network for Human Action Recognition in Low-Resolution Frames

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant