CN113298719A - 基于特征分离学习的低分辨模糊人脸图像超分辨重建方法 - Google Patents

基于特征分离学习的低分辨模糊人脸图像超分辨重建方法 Download PDF

Info

Publication number
CN113298719A
CN113298719A CN202110750086.XA CN202110750086A CN113298719A CN 113298719 A CN113298719 A CN 113298719A CN 202110750086 A CN202110750086 A CN 202110750086A CN 113298719 A CN113298719 A CN 113298719A
Authority
CN
China
Prior art keywords
resolution
fuzzy
low
network
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110750086.XA
Other languages
English (en)
Other versions
CN113298719B (zh
Inventor
韩红
弋宁宁
李康
鲁飞鸿
赵健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110750086.XA priority Critical patent/CN113298719B/zh
Publication of CN113298719A publication Critical patent/CN113298719A/zh
Application granted granted Critical
Publication of CN113298719B publication Critical patent/CN113298719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征分离学习的低分辨模糊人脸图像超分辨重建方法，主要解决现有技术中模糊因素影响低分辨模糊人脸图像超分辨重建，及超分辨结果存在伪影，造成超分辨结果不真实的问题；其方案是：通过构建的模糊特征网络生成作监督的模糊特征图；将低分辨率模糊人脸图像与作监督的模糊特征图输入到构建的特征分离网络分离得到清晰低分辨人脸图像；将分离后的清晰低分辨人脸图像输入到构建的超分辨网络中，得到清晰的高分辨人脸图像。本发明利用构建的特征分离网络能有效地分离出低分辨模糊人脸图像的模糊特征，并通过超分辨网络中的水平卷积层的处理，在提高人脸图像分辨率的同时消除了伪影，有效提升了超分辨的效果，可用于人脸识别。

Description

基于特征分离学习的低分辨模糊人脸图像超分辨重建方法
技术领域
本发明属于图像处理技术领域，尤其涉及一种低分辨率模糊人脸图像超分辨率重建方法，可用于人脸识别。
背景技术
人脸图像超分辨技术比自然图像超分辨技术更复杂。对于人脸图像超分辨中，不仅要提高图像分辨率，更要恢复人脸图像的结构信息和面部分纹理信息。对于低分辨率模糊人脸图像还要考虑如何解决模糊的问题。
在现有技术中，图像超分辨方法包括传统的基于学习的超分辨率方法和基于深度学习的超分辨率方法。对于传统的基于学习的超分辨率方法，其学习到的是图像低层次的特征，而很难关注到图像更细微的结构特点。对于当前主流的基于深度学习的超分辨率方法，其又可以分为应用卷积神经网络的方法和应用生成对抗网络的方法。卷积神经网络中，网络层数的增加带来了图像质量的提升，但是，当输入的图像与超分辨图像的图像大小倍数相差较大时，以上方法得到的效果不是很好。对抗生成网络在当下备受青睐，但是其存在训练不稳定的问题。目前，对于低分辨率模糊人脸图像，如果单独使用去模糊方法无法解决低分辨率的问题；如果仅使用超分辨率方法，仍然存在模糊的细节；如果将这两种方法简单按顺序结合使用，其得到的结果会存在伪影的问题。这些超分辨率和去模糊方法尚不能同时有效的完成对低分辨率模糊人脸图像的恢复。
XinyiZhang等人在A Deep Dual-Branch Networks for Joint Blind MotionDeblurring and Super-Resolution文章中提出了基于卷积神经网络的方法，来联合解决具有低分辨率模糊图像的去模糊和超分辨问题。该方法在原始的超分辨分支上同时增加了去模糊的分支，构成了双分支的网络结构，在获得统一特征后分别进行了去模糊和超分辨的任务。但文章中没有明确给出对人脸图像恢复的实验效果，所以对模糊的低分辨率人脸图像重建的效果无法得知。ChaoDong等人在Accelerating the super-resolutionconvolutional neural network文章中提出了基于卷积神经网络的方法，其通过使用成对的低分辨率和高分辨率人脸图像来学习映射关系，从而显示出良好的性能。但是，该方法由于使用卷积神经网络对低分辨率人脸图像进行高分辨率人脸图像重建，通过在提高图像的峰值信噪比和结构相似性指标来判断图像恢复的效果，其更关注于这两项指标的定量分析结果而没有关注图像的定性分析结果，因而，即使图像的峰值信噪比和结构相似性指标的分数很高，重建的高分辨率人脸图像也可能存在不真实。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于特征分离学习的低分辨模糊人脸图像超分辨重建方法，提高模糊的低分辨率人脸图像的分辨率。
本发明的技术思路是：通过使用分离特征学习的方法对输入的模糊的低分辨率人脸图像在特征层进行分离模糊特征的处理；通过分离后得到的清晰的低分辨率人脸图像进行超分辨，实现从低分辨率模糊的人脸图像恢复出清晰的高分辨率人脸图像。其实现步骤包括如下：
(1)从网上下载CelebA人脸数据集，并对其进行下采样，得到清晰的低分辨率人脸数据集，将该数据集的前三分之二作为清晰的低分辨率人脸图像训练数据集；再对清晰的低分辨率人脸数据集进行模糊的预处理，得到低分辨率模糊人脸数据集，将该数据集按照2∶1的比例划分为模糊低分辨率人脸训练数据集和低分辨率模糊人脸测试数据集；
(2)构建依次由生成器网络和判别器网络组成的模糊特征网络；
(3)将低分辨率模糊人脸训练数据集输入到模糊特征网络，利用生成对抗的训练方式进行训练，得到训练好的模糊特征网络模型；
(4)将低分辨率模糊人脸测试数据集输入到训练好的模糊特征网络模型中，得到模糊特征的数据集；
(5)构建依次由一个编码器和两个并联的解码器组成的特征分离网络；
(6)将低分辨率模糊人脸训练数据集和模糊特征数据集输入到特征分离网络，利用随机梯度下降的方式对其进行训练，得到训练好的特征分离网络模型；
(7)将低分辨率模糊人脸测试数据集输入到训练好的特征分离网络模型中，得到清晰的低分辨人脸图像；
(8)构建依次由一个水平卷积层、两个亚像素卷积层、一个水平卷积层组成的超分辨网络；
(9)将清晰的低分辨人脸图像输入到超分辨网络中进行重建，得到清晰的高分辨人脸图像。
本发明相比现有技术具有以下优点：
第一，本发明由于构建了特征分离网络，可分离出低分辨模糊人脸图像的模糊特征，并能得到清晰的低分辨人脸图像，有利于对清晰的低分辨人脸图像进行超分辨，有效的解决了模糊因素对超分辨带来的影响。
第二，本发明由于构建了依次由一个3x3的水平卷积层、两个亚像素卷积层和一个水平卷积层组成的超分辨网络，可提高特征图的分辨率，其利用第一个3x3的水平卷积层，能去除高分辨人脸图像的伪影，有效的解决了超分辨结果存在伪影的问题。
附图说明
图1是本发明的实现流程图；
图2是本发明中模糊特征网络的网络结构图；
图3是本发明中特征分离网络的网络结构图；
图4是本发明中超分辨网络的网络结构图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明。
参照图1，本实例的实现步骤如下：
步骤1，对网上下载到的CelebA人脸数据集进行预处理。
1.1)对CelebA人脸数据集进行下采样：
对于CelebA人脸数据集中尺寸为128×128的原始图像，利用双线性插值法进行8倍的下采样，得到
Figure BDA0003145823980000031
即尺寸为16×16的清晰低分辨率人脸数据集，并将该数据集的前三分之二作为清晰的低分辨率人脸训练数据集；
1.2)对低分辨率人脸数据集进行模糊处理：
对下采样后的数据集，利用Orest Kupyn在DeblurGAN:Blind Motion DeblurringUsing Conditional Adversarial Networks文章中提出的模糊方法，对低分辨人脸数据集进行模糊处理，得到低分辨模糊人脸数据集，并将该数据集按照2∶1的比例划分为模糊低分辨率人脸训练数据集和模糊低分辨率人脸测试数据集。
步骤2，构建依次由生成器网络和判别器网络组成的模糊特征网络，如图2所示。
2.1)建立依次由第1卷积层->第1残差密集连接块->第2残差密集连接块->第3残差密集连接块->第4残差密集连接块->第5残差密集连接块->第2卷积层级联组成的生成器网络，其中：
每个残差密集块均依次由三个密集块组成，每个密集块包括五个卷积层和四个LeakyReLU激活函数，其结构为：第一卷积层->第一LeakyReLU激活函数->第二卷积层->第二LeakyReLU激活函数->第三卷积层->第三LeakyReLU激活函数->第四卷积层->第四LeakyReLU激活函数->第五卷积层,所有卷积层的大小均为3×3；
2.2)建立依次由第Ⅰ卷积层->第ⅠLeakyReLU激活函数->第Ⅱ卷积层->第ⅡLeakyReLU激活函数->第Ⅲ卷积层->第ⅢLeakyReLU激活函数->第Ⅳ卷积层->第ⅣLeakyReLU激活函数级联组成的判别器网络，其中：
所有卷积层的大小均为3×3，
所有LeakyReLU激活函数的数学表达示均为，
Figure BDA0003145823980000046
x表示的是输入LeakyReLU激活函数的值，a表示的是(1，+∞)区间内的固定参数。
步骤3，利用生成对抗的训练方式对步骤2构建好的模糊特征网络进行训练。
3.1)设置训练的学习率为0.001，最大迭代次数为100；
3.2)将步骤1中预处理得到的模糊低分辨率人脸训练数据集按每批次16张输入到模糊特征网络的生成器网络，生成模糊特征；
3.3)将模糊特征与步骤1预处理得到的清晰的低分辨率人脸图像进行像素级相加，得到合成的低分辨率模糊人脸图像；
3.4)将合成的低分辨率模糊人脸图像与低分辨率模糊人脸图像分别输入到判别器网络中，利用得到的判别值计算合成的低分辨率模糊人脸图像与低分辨率模糊人脸图像的判别损失LD：
Figure BDA0003145823980000041
其中，
Figure BDA0003145823980000042
Figure BDA0003145823980000043
IB表示的是低分辨率模糊人脸图像，Ifake表示合成的低分辨率模糊人脸图像；符号E表示的是取均值的运算符，函数
Figure BDA0003145823980000044
表示对所有输入到判别器网络的低分辨率模糊人脸图像取对数后的平均值，函数
Figure BDA0003145823980000045
表示对所有输入到判别器网络的合成低分辨率模糊人脸图像取对数后的平均值；函数D(.)表示的是IB与Ifake的相似概率，符号C表示的是判别器网络，C(·)表示的是将IB与Ifake输入到判别网络后得到的值,σ表示sigmod函数，其输出范围在(0,1)；
3.5)计算生成器网络与判别器网络的对抗损失
Figure BDA0003145823980000051
Figure BDA0003145823980000052
3.6)重复上述步骤3.1)～3.5)，迭代优化损失函数，直到达到最大迭代次数或对抗损失达到收敛时，得到训练好的模糊特征网络模型。
步骤4，生成作监督的模糊特征图。
将步骤1中预处理得到的低分辨模糊人脸测试数据集输入到步骤3训练好的模糊特征网络模型中，得到作监督的模糊特征图。
步骤5，构建特征分离网络。
5.1)生成编码器，其结构为：步长卷积层->第一残差块->第二残差块->第三残差块->第四残差块->第五残差块，其中：
步长卷积层的大小为1×1，步长为1；
每个残差块均依次由一个池化层、一个卷积层和一个修正线性单元激活函数组成，且每个池化层的大小为1×1，每个卷积层的大小为3×3；
5.2)生成两个并联解码器，每个解码器的结构均为：第1残差块->第2残差块->第3残差块->第4残差块->第5残差块->批量归一化->卷积层->双曲正切函数,其中，
每个残差块均依次由一个池化层、一个卷积层和一个修正线性单元激活函数级联组成；每个池化层的大小为1×1，每个卷积层的大小为3×3；
5.3)建立依次由编码器与两个解码器分别级联组成的生成器网络，其级联方式为：编码器的第五残差块与每个解码器的第1残差块依次连接，如图3所示。
步骤6，利用随机梯度下降法对步骤5构建的特征分离网络进行训练。
6.1)设置训练的学习率为0.001，最大迭代次数为200；
6.2)将步骤1中预处理得到的模糊低分辨率人脸训练数据集按每批次16张输入到特征分离网络中的编码器，得到编码后的特征；
6.3)对编码后的特征，按照通道数将其等分为具有相同通道数的两个特征，并将一个特征作为编码后的模糊特征，另一个特征作为编码后清晰的低分辨人脸特征；
6.4)将编码后的模糊特征输入到模糊特征解码器，得到解码后的模糊特征图；
6.5)将编码后清晰的低分辨人脸特征输入到清晰的低分辨人脸特征解码器，得到解码后的清晰的低分辨人脸图像；
6.6)计算编码后模糊特征图的对抗损失
Figure BDA0003145823980000061
和清晰的低分辨人脸图像的对抗损失
Figure BDA0003145823980000062
Figure BDA0003145823980000063
Figure BDA0003145823980000064
其中，n表示每次训练的图像数量；i表示可变变量；bi表示的是特征分离网络分离出的模糊特征图；
Figure BDA0003145823980000065
表示的是模糊特征网络中生成的作监督的模糊特征；ci表示的是；
Figure BDA0003145823980000066
表示的是数据集中预处理后的清晰低分辨人脸图像；
6.7)根据编码后模糊特征图的对抗损失
Figure BDA0003145823980000067
和清晰的低分辨人脸图像的对抗损失
Figure BDA0003145823980000068
得到编码后模糊特征图和清晰的低分辨人脸图像的对抗损失
Figure BDA0003145823980000069
Figure BDA00031458239800000610
6.8)计算编码后模糊特征图的内容损失
Figure BDA00031458239800000611
和清晰的低分辨人脸图像的内容损失
Figure BDA00031458239800000612
Figure BDA00031458239800000613
Figure BDA00031458239800000614
6.9)根据编码后模糊特征图的内容损失
Figure BDA00031458239800000615
和清晰的低分辨人脸图像的内容损失
Figure BDA00031458239800000616
得到编码后模糊特征图和清晰的低分辨人脸图像的内容损失
Figure BDA00031458239800000618
Figure BDA00031458239800000617
6.10)根据编码后模糊特征图和清晰的低分辨人脸图像的对抗损失
Figure BDA00031458239800000619
和内容损失
Figure BDA0003145823980000071
得到这两者的损失函数
Figure BDA0003145823980000072
Figure BDA0003145823980000073
其中，λ表示的是(0,1)区间内的参数；
6.11)重复上述步骤6.1)～6.10)，迭代优化损失函数
Figure BDA0003145823980000074
直到达到最大迭代次数或损失函数达到收敛时，得到训练好的特征分离网络模型。
步骤7，生成清晰的低分辨人脸图像。
将步骤1预处理后的低分辨率模糊人脸测试数据集输入到步骤6训练好的特征分离网络模型中，得到清晰的低分辨人脸图像。
步骤8，构建超分辨网络。
建立依次由第一水平卷积层->第一亚像素卷积层->第二亚像素卷积层->第二水平卷积层级联组成的超分辨网络，每个水平卷积层的大小为3×3，每个亚像素卷积层的大小为3×3，如图4所示。
步骤9，生成清晰的高分辨人脸图像。
将步骤7得到的清晰的低分辨人脸图像输入到步骤8构建的超分辨网络中，依次经过一个大小为3×3的水平卷积层、两个大小3×3的亚像素卷积层和一个大小为3×3的水平卷积层，得到清晰的高分辨人脸图像。
以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (8)

1.一种基于特征分离的低分辨模糊人脸超分辨重建方法，其特征在于，包括：
(1)从网上下载CelebA人脸数据集，并对其进行下采样，得到清晰的低分辨率人脸数据集，将该数据集的前三分之二作为清晰的低分辨率人脸图像训练数据集；再对清晰的低分辨率人脸数据集进行模糊的预处理，得到低分辨率模糊人脸数据集，将该数据集按照2∶1的比例划分为模糊低分辨率人脸训练数据集和低分辨率模糊人脸测试数据集；
(2)构建依次由生成器网络和判别器网络组成的模糊特征网络；
(3)将低分辨率模糊人脸训练数据集输入到模糊特征网络，利用生成对抗的训练方式进行训练，得到训练好的模糊特征网络模型；
(4)将低分辨率模糊人脸测试数据集输入到训练好的模糊特征网络模型中，得到模糊特征的数据集；
(5)构建依次由一个编码器和两个并联的解码器组成的特征分离网络；
(6)将低分辨率模糊人脸训练数据集和模糊特征数据集输入到特征分离网络，利用随机梯度下降的方式对其进行训练，得到训练好的特征分离网络模型；
(7)将低分辨率模糊人脸测试数据集输入到训练好的特征分离网络模型中，得到清晰的低分辨人脸图像；
(8)构建依次由一个水平卷积层、两个亚像素卷积层、一个水平卷积层组成的超分辨网络；
(9)将清晰的低分辨人脸图像输入到超分辨网络中进行重建，得到清晰的高分辨人脸图像。
2.根据权利要求1所述的方法，其特征在于，(2)中生成模糊特征网络中的生成器网络，其结构为：卷积层->第1残差密集连接块->第2残差密集连接块->第3残差密集连接块->第4残差密集连接块->第5残差密集连接块->第2卷积层，其中：
每个残差密集块均依次由三个密集块组成，每个密集块包括五个卷积层和四个LeakyReLU激活函数，其结构为：第一卷积层->第一LeakyReLU激活函数->第二卷积层->第二LeakyReLU激活函数->第三卷积层->第三LeakyReLU激活函数->第四卷积层->第四LeakyReLU激活函数->第五卷积层,
上述所有卷积层的大小均为3×3。
3.根据权利要求1所述的方法，其特征在于，(2)中生成模糊特征网络中的判别器网络，其结构为：第Ⅰ卷积层->第ⅠLeakyReLU激活函数->第Ⅱ卷积层->第ⅡLeakyReLU激活函数->第Ⅲ卷积层->第ⅢLeakyReLU激活函数->第Ⅳ卷积层->第ⅣLeakyReLU激活函数，其中：
所有卷积层的大小均为3×3，
所有LeakyReLU激活函数的数学表达示均为，
Figure FDA0003145823970000021
其中，x表示的是输入LeakyReLU激活函数的值，a表示的是(1，+∞)区间内的固定参数。
4.根据权利要求1所述的方法，其特征在于，(3)中利用生成对抗的训练方式对模糊特征网络进行训练，其实现如下：
(3a)设置训练的学习率为0.001，最大迭代次数为100；将模糊低分辨率人脸训练数据集按每批次16张输入到模糊特征网络的生成器网络，生成模糊特征；
(3b)将模糊特征与清晰的低分辨率人脸图像进行像素级相加，并得到合成的低分辨率模糊人脸图像；
(3c)将合成的低分辨率模糊人脸图像与低分辨率模糊人脸图像分别输入到判别器网络中，利用得到的判别值计算合成的低分辨率模糊人脸图像与低分辨率模糊人脸图像的判别损失LD：
Figure FDA0003145823970000022
其中，
Figure FDA0003145823970000023
Figure FDA0003145823970000031
IB表示的是低分辨率模糊人脸图像，Ifake表示的是合成的低分辨率模糊人脸图像；符号E表示的是取均值的运算符，函数
Figure FDA0003145823970000032
表示对所有输入到判别器网络的低分辨率模糊人脸图像取对数后的平均值，函数
Figure FDA0003145823970000033
表示对所有输入到判别器网络的合成低分辨率模糊人脸图像取对数后的平均值；函数D(.)表示的是IB与Ifake的相似概率，符号C表示的是判别器网络，C(·)表示的是将IB与Ifake输入到判别网络后得到的值,σ表示sigmod函数，其输出范围在(0,1)；
(3d)计算生成器网络与判别器网络的对抗损失
Figure FDA0003145823970000034
Figure FDA0003145823970000035
(3e)重复步骤(3a)～(3d)，迭代优化损失函数，直到达到最大迭代次数或对抗损失达到收敛时，得到训练好的模糊特征网络模型。
5.根据权利要求1所述的方法，其特征在于，(5)中生成特征分离网络中的编码器，其结构为：步长卷积层->第一残差块->第二残差块->第三残差块->第四残差块->第五残差块，其中，
步长卷积层的大小为1×1，步长为1；
每个残差块均依次由一个池化层、一个卷积层和一个修正线性单元激活函数组成，且每个池化层的大小为1×1，每个卷积层的大小为3×3。
6.根据权利要求1所述的方法，其特征在于，(5)中生成特征分离网络中的两个并联解码器，其结构均为：第1残差块->第2残差块->第3残差块->第4残差块->第5残差块->批量归一化->卷积层->双曲正切函数,其中，
每个残差块均依次由一个池化层、一个卷积层和一个修正线性单元激活函数组成；每个池化层的大小为1×1，每个卷积层的大小为3×3。
7.根据权利要求1所述的方法，其特征在于，(6)中利用随机梯度下降的方式对特征分离网络进行训练，其实现如下：
(6a)设置训练的学习率为0.001，最大迭代次数为200；将模糊低分辨率人脸训练数据集按每批次16张输入到特征分离网络中的编码器，得到编码后的特征；
(6b)对编码后的特征，按照通道数将其等分为具有相同通道数的两个特征；并将一个特征作为编码后的模糊特征，另一个特征作为编码后清晰的低分辨人脸特征；
(6c)将编码后的模糊特征输入到模糊特征解码器，得到解码后的模糊特征图；
(6d)将编码后清晰的低分辨人脸特征输入到清晰的低分辨人脸特征解码器，得到解码后的清晰的低分辨人脸图像；
(6e)计算编码后模糊特征图的对抗损失
Figure FDA0003145823970000041
和清晰的低分辨人脸图像的对抗损失
Figure FDA0003145823970000042
Figure FDA0003145823970000043
Figure FDA0003145823970000044
其中，n表示每次训练的图像数量；i表示可变变量；bi表示的是特征分离网络分离出的模糊特征图；
Figure FDA0003145823970000045
表示的是模糊特征网络中生成的作监督的模糊特征；ci表示的是；
Figure FDA0003145823970000046
表示的是数据集中预处理后的清晰低分辨人脸图像；
(6f)根据编码后模糊特征图的对抗损失
Figure FDA0003145823970000047
和清晰的低分辨人脸图像的对抗损失
Figure FDA0003145823970000048
得到编码后模糊特征图和清晰的低分辨人脸图像的对抗损失
Figure FDA0003145823970000049
Figure FDA00031458239700000410
(6g)计算编码后模糊特征图的内容损失
Figure FDA00031458239700000411
和清晰的低分辨人脸图像的内容损失
Figure FDA00031458239700000412
Figure FDA0003145823970000051
Figure FDA0003145823970000052
(6h)根据编码后模糊特征图的内容损失
Figure FDA0003145823970000053
和清晰的低分辨人脸图像的内容损失
Figure FDA0003145823970000054
得到编码后模糊特征图和清晰的低分辨人脸图像的内容损失
Figure FDA0003145823970000055
Figure FDA0003145823970000056
(6i)根据编码后模糊特征图和清晰的低分辨人脸图像的对抗损失
Figure FDA0003145823970000057
和内容损失
Figure FDA0003145823970000058
得到这两者的损失函数
Figure FDA0003145823970000059
Figure FDA00031458239700000510
其中，λ表示的是(0,1)区间内的参数；
(6j)重复步骤(6a)～(6i)，迭代优化损失函数
Figure FDA00031458239700000511
直到达到最大迭代次数或损失函数达到收敛时，得到训练好的特征分离网络模型。
8.根据权利要求1所述的方法，其特征在于，(8)中生成的超分辨网络，其结构为：第一水平卷积层->第一亚像素卷积层->第二亚像素卷积层->第二水平卷积层，其每个水平卷积层的大小为3×3，每个亚像素卷积层的大小为3×3。
CN202110750086.XA 2021-07-02 2021-07-02 基于特征分离学习的低分辨模糊人脸图像超分辨重建方法 Active CN113298719B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110750086.XA CN113298719B (zh) 2021-07-02 2021-07-02 基于特征分离学习的低分辨模糊人脸图像超分辨重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110750086.XA CN113298719B (zh) 2021-07-02 2021-07-02 基于特征分离学习的低分辨模糊人脸图像超分辨重建方法

Publications (2)

Publication Number Publication Date
CN113298719A true CN113298719A (zh) 2021-08-24
CN113298719B CN113298719B (zh) 2024-04-05

Family

ID=77330325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110750086.XA Active CN113298719B (zh) 2021-07-02 2021-07-02 基于特征分离学习的低分辨模糊人脸图像超分辨重建方法

Country Status (1)

Country Link
CN (1) CN113298719B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187668A (zh) * 2021-12-15 2022-03-15 长讯通信服务有限公司 一种基于正样本训练的人脸静默活体检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768342A (zh) * 2020-09-03 2020-10-13 之江实验室 基于注意力机制和多级反馈监督的人脸超分辨方法
CN112507997A (zh) * 2021-02-08 2021-03-16 之江实验室 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
WO2021056969A1 (zh) * 2019-09-29 2021-04-01 中国科学院长春光学精密机械与物理研究所 超分辨率图像重构方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021056969A1 (zh) * 2019-09-29 2021-04-01 中国科学院长春光学精密机械与物理研究所 超分辨率图像重构方法和装置
CN111768342A (zh) * 2020-09-03 2020-10-13 之江实验室 基于注意力机制和多级反馈监督的人脸超分辨方法
CN112507997A (zh) * 2021-02-08 2021-03-16 之江实验室 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
史振威;雷森;: "图像超分辨重建算法综述", 数据采集与处理, no. 01 *
唐艳秋;潘泓;朱亚平;李新德;: "图像超分辨率重建研究综述", 电子学报, no. 07 *
徐文博;孙广玲;陆小锋;: "预训练网络引导的人脸图像超分辨率重建", 工业控制计算机, no. 06 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187668A (zh) * 2021-12-15 2022-03-15 长讯通信服务有限公司 一种基于正样本训练的人脸静默活体检测方法及装置
CN114187668B (zh) * 2021-12-15 2024-03-26 长讯通信服务有限公司 一种基于正样本训练的人脸静默活体检测方法及装置

Also Published As

Publication number Publication date
CN113298719B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
CN108765296B (zh) 一种基于递归残差注意力网络的图像超分辨率重建方法
CN111681166B (zh) 一种堆叠注意力机制编解码单元的图像超分辨率重建方法
Zhang et al. Ntire 2020 challenge on perceptual extreme super-resolution: Methods and results
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN109949222B (zh) 基于语义图的图像超分辨率重建方法
Luo et al. Lattice network for lightweight image restoration
CN110675321A (zh) 一种基于渐进式的深度残差网络的超分辨率图像重建方法
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN111951164B (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN113379601A (zh) 基于降质变分自编码器的真实世界图像超分辨方法及系统
CN112669248A (zh) 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法
CN112561799A (zh) 一种红外图像超分辨率重建方法
CN115880158A (zh) 一种基于变分自编码的盲图像超分辨率重建方法及系统
CN113298719B (zh) 基于特征分离学习的低分辨模糊人脸图像超分辨重建方法
CN117132472B (zh) 基于前向-反向可分离自注意力的图像超分辨率重建方法
Yang et al. An effective and comprehensive image super resolution algorithm combined with a novel convolutional neural network and wavelet transform
CN116188273A (zh) 一种基于不确定性导向的双模态可分离图像超分辨率方法
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及系统
CN113191947B (zh) 一种图像超分辨率的方法及系统
CN115375537A (zh) 非线性感知多尺度的超分辨率图像生成系统及方法
CN114219738A (zh) 单幅图像多尺度超分辨重建网络结构及方法
Shen et al. Itsrn++: Stronger and better implicit transformer network for continuous screen content image super-resolution
CN112907456A (zh) 基于全局平滑约束先验模型的深度神经网络图像去噪方法
Zhou et al. Cross-Scale Residual Network for Multiple Tasks: Image Super-resolution, Denoising, and Deblocking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant