CN111861894A - 基于生成式对抗网络的图像去运动模糊方法 - Google Patents

基于生成式对抗网络的图像去运动模糊方法 Download PDF

Info

Publication number
CN111861894A
CN111861894A CN201910337395.7A CN201910337395A CN111861894A CN 111861894 A CN111861894 A CN 111861894A CN 201910337395 A CN201910337395 A CN 201910337395A CN 111861894 A CN111861894 A CN 111861894A
Authority
CN
China
Prior art keywords
image
motion
discriminator
motion blur
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910337395.7A
Other languages
English (en)
Other versions
CN111861894B (zh
Inventor
李烨
许乾坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201910337395.7A priority Critical patent/CN111861894B/zh
Publication of CN111861894A publication Critical patent/CN111861894A/zh
Application granted granted Critical
Publication of CN111861894B publication Critical patent/CN111861894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于生成式对抗网络的图像去运动模糊方法，用去对待去运动模糊图像进行处理得到去运动模糊图像，其特征在于，包括如下步骤：步骤1，获取包含多个运动模糊图像和与该多个运动模糊图像分别相对应的多个清晰的真实图像的训练样本数据，并获取包含多个待去运动模糊图像的测试样本数据；步骤2，构建生成式对抗网络模型并采用训练样本数据对该生成式对抗网络模型进行训练，得到训练后的生成式对抗网络模型作为去运动模糊模型；步骤3，将待去运动模糊图像输入到去运动模糊模型中通过端到端的方式直接输出该待去运动模糊图像对应的去运动模糊图像。

Description

基于生成式对抗网络的图像去运动模糊方法
技术领域
本发明属于图像复原与重建技术领域，具体涉及一种基于生成式对抗网络的图像去运动模糊方法。
背景技术
图像作为人们获取和存储信息的重要途经，在当今社会中占据着重要的地位。近年来，随着科技的飞速发展，图像获取设备变得越来越普遍，各种摄影设备已经融入人类生活的方方面面，成为了人们日常生活中的使用工具。然而由于各种因素的影响，如光学因素、大气因素、人工因素、技术因素等等，使图像在获取的过程中产生质量退化造成了图像模糊，给人们的工作和生活带来了诸多的困扰，甚至有可能造成巨大的经济损失。尤其对于一些不能够再次获取的图像信息，通过一定的技术手段对退化图像进行复原就显得及其重要，如何避免图像退化，改善图像质量，一直以来都是图像处理领域亟待解决的问题。
摄影过程中造成的图像模糊按照形成条件可以分为运动模糊、失焦模糊和高斯模糊三大类。其中，运动模糊是造成图像退化的主要原因，也是研究的热点之一。运动模糊图像形成的原因是在获取图像的瞬间，摄像机与目标物体之间发生相对移动导致的图像质量退化。
从数学角度来看，运动模糊可以看成是清晰图像与模糊核进行卷积产生的结果，在实际场景中，通常还会有随机噪声掺杂其中，其数学模型可以表示为：B＝K*S+N。其中，B表示模糊图像，K表示模糊核，S表示清晰图像，*表示卷积运算，N表示加性噪声。图像去运动模糊是一个典型的逆问题，它的目的是从已经退化的图像中重建出接近于真实图像的清晰图像。根据模糊核K的已知情况，又可以将去模糊方法分为非盲去模糊和盲去模糊两大类。非盲去模糊可以根据模糊图像和已知模糊核直接求解出潜在图像。而盲去模糊的求解过程是一个严重的不适定问题，只有预先估计出精确的模糊核才能复原出潜在的清晰图像，否则会直接影响复原图像的质量，产生振铃现象。
早期的图像去运动模糊研究主要是针对非盲去模糊，迄今为止，已经有许多经典的算法被提出，最早被提出的非盲去模糊算法是逆滤波去卷积方法，它是假设模糊图像中不存在噪声的条件下利用逆运算求得清晰图像，然而现实生活中模糊图像中不可避免的会伴随一些随机噪声，因此，逆滤波并未得到广泛的运用。针对逆滤波算法的不足，研究者在此基础上做了改进，提出了基于最小均方误差的逆滤波方法，即经典的维纳滤波算法。Richardson和Lucy在贝叶斯理论的基础上提出了经典的R-L算法，该算法目前被广泛应用于非盲运动去模糊领域，此外，还有最大熵法、受限自适应滤波等去模糊算法。然而在大多数情况下，我们无法提前获取模糊核的有效信息，此时需要利用盲去模糊算法解决此类问题。目前，常用的盲去模糊算法大多依据贝叶斯理论，具体可以分为两大类：变分贝叶斯和最大后验概率。与变分贝叶斯算法相比，最大后验概率算法的推导简单且计算复杂度较低，因而使用比较广泛。Xu等[1]人提出了一种两阶段模糊核估计算法，并利用正则化约束的方法对图像进行交替复原，该算法取得了较好的去模糊效果，但是计算比较复杂。Krishnan等[2]人提出一种归一化图像稀疏先验，避免了能量极小值时估计得到的图像倾向模糊图像的缺点，但复原出的图像质量并不是很高。Whyte等[3]人基于相机曝光过程中旋转速度的参数化几何模型，提出了一种新的非均匀盲去模糊算法，但重建出的图像产生了严重的振铃现象。
传统的图像去模糊方法适用范围受限，求解过程比较复杂，对模糊核的估计要求比较高，模糊核估计不准确会严重影响图像重建效果，并且无法对运动模糊图像进行批量处理，传统的图像去模糊方法已经难以满足实际应用的需要。因此，越来越多的研究工作转向基于深度学习的方法，利用深度神经网络在大量训练样本中获取强大的表达能力，提升去运动模糊的质量和效率。
近年来，随着深度学习的发展，卷积神经网络被广泛用于图像处理领域，并取得了巨大成功。Xu等[4]人提出了一种基于卷积神经网络网络的非盲去模糊方法，开辟了深度学习在图像去模糊领域的新篇章。Sun等[5]人提出了一种利用卷积神经网络估计模糊核的盲去模糊方法，但该方法重建出的图像视觉效果不好。Chakrabarti等[6]人提出采用滤波器将输入图像进行分解得到图像特征，并结合神经网络的方法估计模糊核，最后通过离散傅里叶变换得到复原图像。该方法可以估计不同尺寸的模糊核，但复原出的图像会出现边缘特征模糊的现象。可以注意到以上方法均需要估计出精准的模糊核才能恢复潜在的清晰图像，但是估计模糊核会带来一些问题，模糊核估计不准确会直接影响复原图像的质量。Nah等[7]人提出了一种基于深度多尺度卷积神经网络的图像去运动模糊方法，该方法采用端到端的方式对运动模糊图像进行复原，但该方法缺乏感知信息的约束，导致重建出的图像不够真实，视觉感知效果比较差。
生成对抗网络是由Goodfellow等[8]人提出的一种生成式深度学习模型，该模型采用二人零和博弈的思想，理论上可以逼近任何概率分布。系统由生成器和判别器两部分组成，通过对抗学习的方式进行训练。生成器的目的是尽量学习样本数据的潜在分布，使得生成器生成的数据无限接近于真实数据，骗过判别器。而判别器的目的是尽量辨别出输入的数据来源，不被生成器所欺骗。二者在对抗博弈中不断提高各自的生成能力和鉴别能力，最终整个网络处于一个动态平衡状态，生成器能够生成以假乱真的样本数据。
参考文献：
[1]Xu L,Jia J.Two-Phase Kernel Estimation for Robust MotionDeblurring[C]European Con-ference on Computer Vision.Springer-Verlag,2010:81-84.
[2]Krishnan D,Tay T,Fergus R.Blind deconvolution using a normalizedsparsity measure[C]//IEEE Conference on Computer Vision andPatternRecognition.IEEE Computer Society,2011:233-240.
[3]Whyte O,Sivic J,ZissermanA,Ponce J.Non-uniform deblurring forshaken images[J].International Journal of Computer Vision,2012,98(2):168–186.
[4]Xu L,Ren J,Liu C,et al.Deep convolutional neural network for imagedeconvolution[J].Advances in Neural Information Processing Sytems,2014:1790–1798.
[5]Sun J,Cao W,Xu Z,Ponce J.Learning a convolutional neural networkfor non-uniform motion blur removal[C]//IEEE Conference on ComputerVision andPattern Recognition,2015:769-777.
[6]A.Chakrabarti.A neural approach to blind motion deblurring.InLecture Notes in Computer Science(including subseries Lecture Notes inArtificial Intelligence and Lecture Notes in Bioinformatics),2016.3,5.
[7]Nah S,Kim T,Lee K.Deep multi-scale convolutional neural networkfor dynamic scene deblurring[C]//IEEE Conference on Computer Vision andPattern Recognition,2017:3883-3891.
[8]Goodfellow I J,Pouget-Abadie J,Mirza M,et al.GenerativeAdversarial Networks[J].Advances in Neural Information Processing Systems,2014,3:2672-2680.
发明内容
本发明是为了解决上述技术问题而进行的，目的在于提供一种基于生成式对抗网络的图像去运动模糊方法。
为了实现上述目的，本发明采用了如下技术方案：
本发明提供了一种基于生成式对抗网络的图像去运动模糊方法，其特征在于，包括如下步骤：步骤1，获取包含多个运动模糊图像和与该多个运动模糊图像分别相对应的多个清晰的真实图像的训练样本数据，并获取包含多个待去运动模糊图像的测试样本数据；步骤2，构建生成式对抗网络模型并采用训练样本数据对该生成式对抗网络模型进行训练，得到训练后的生成式对抗网络模型作为去运动模糊模型；步骤3，将待去运动模糊图像输入到去运动模糊模型中通过端到端的方式直接输出该待去运动模糊图像对应的去运动模糊图像，其中，步骤2包括如下子步骤：步骤2-1，对运动模糊图像和对应的真实图像进行拼接处理得到拼接图像；步骤2-2，构建含有生成器和判别器的生成式对抗网络模型，并将拼接图像输入到生成式对抗网络模型中；步骤2-3，将拼接图像拆成对应的运动模糊图像和真实图像并分别对该运动模糊图像和该真实图像的分辨率进行调整得到调整后运动模糊图像和调整后真实图像；步骤2-4，将调整后运动模糊图像输入到生成器让生成器根据调整后运动模糊图像生成清晰的生成图像，并将该生成图像和调整后真实图像输入到判别器中；步骤2-5，通过判别器目标函数计算得到判别损失，并根据该判别损失更新判别器参数；步骤2-6，将生成图像和调整后真实图像输入到判别器中计算得到误差；步骤2-7，将误差反向传播给生成器；步骤2-8，通过生成器目标函数计算得到生成损失，并采用学习率算法根据该生成损失更新生成器参数；步骤2-9，重复步骤2-4至步骤2-8直至达到训练完成条件，得到训练后的生成式对抗网络模型作为去运动模糊模型。
本发明提供的基于生成式对抗网络的图像去运动模糊方法，还可以具有这样的特征：其中，生成器含有步幅卷积模块、残差密集网络、微步幅卷积模块以及全局跳变连接，步幅卷积模块由两层卷积核大小为3×3，步长为2的卷积层构成，且每层该卷积层后面紧跟实例归一化层和ReLU激活函数，残差密集网络由10个残差密集块组成，每个残差密集块的最后一层卷积层的卷积核大小为1×1、步长为1，其余卷积层的卷积核大小均为3×3、步长均为1且每个卷积层后面紧跟实例归一化层和Relu激活函数层。
本发明提供的基于生成式对抗网络的图像去运动模糊方法，还可以具有这样的特征：其中，步骤2-4含有如下子步骤：将调整后运动模糊图像输入到生成器；通过一层卷积核大小为7*7的卷积层来扩大网络的感受野；通过步幅卷积模块提取得到运动模糊图像的浅层特征并将浅层特征输入到残差密集网络中；对所有的残差密集块进行了全局特征融合得到操作后图像；对操作后图像进行降维处理得到降维后图像；采用微步幅卷积模块对降维后图像进行解卷积操作得到生成图像。
本发明提供的基于生成式对抗网络的图像去运动模糊方法，还可以具有这样的特征：其中，判别器含有五层卷积层，每层卷积层的卷积核大小均为4×4，除最后一层的卷积层外，每层卷积层后面紧跟实例归一化层和LReLu激活函数层，最后一层的卷积层后面紧跟实例归一化层和Sigmoid激活函数层，用于根据输入到判别器中的调整后真实图像或生成图像将输出映射到1或0。
本发明提供的基于生成式对抗网络的图像去运动模糊方法，还可以具有这样的特征：其中，判别器目标函数为：
Figure BDA0002039608770000081
Dloss表示判别损失，D表示判别器，s表示调整后真实图像，
Figure BDA0002039608770000082
表示生成图像，S～psharp(S)表示在调整后真实图像构成的调整后真实图像集中取样，
Figure BDA0002039608770000083
表示在生成图像构成的生成图像集中取样，E表示期望值。
Figure BDA0002039608770000084
表示在调整后真实图像和生成图像之间随机插值取样。λ为权重参数。
本发明提供的基于生成式对抗网络的图像去运动模糊方法，还可以具有这样的特征：其中，生成器目标函数为：
Figure BDA0002039608770000085
Gloss表示生成损失，D表示判别器，
Figure BDA0002039608770000086
表示生成图像，
Figure BDA0002039608770000087
表示在生成图像构成的生成图像集中取样，lpercep为感知损失，l1表示l1损失，lgdl表示梯度l1正则化约束，k1，k2为用于平衡各项损失函数的权重因子，β表示梯度l1正则化权重因子。
本发明提供的基于生成式对抗网络的图像去运动模糊方法，还可以具有这样的特征：其中，感知损失的计算公式为：
Figure BDA0002039608770000088
Wi,j和Hi,j分别表示特征映射图的宽和高，
Figure BDA0002039608770000089
表示在VGG-19网络中第i个池化层前的第j个卷积层的特征映射。
l1损失的计算公式为：
l1＝||G(B)-S||1
G(B)表示生成图像，||.||1表示l1范数。
梯度l1正则化约束的计算公式为：
Figure BDA0002039608770000091
i和j表示图像中的所有像素点的坐标值。
本发明提供的基于生成式对抗网络的图像去运动模糊方法，还可以具有这样的特征：其中，训练完成条件为判别器不能区分生成图像和调整后真实图像。
本发明提供的基于生成式对抗网络的图像去运动模糊方法，还可以具有这样的特征：其中，在步骤2中采用Tenorflow深度学习框架对生成式对抗网络模型进行训练。
本发明提供的基于生成式对抗网络的图像去运动模糊方法，还可以具有这样的特征：其中，学习率算法为自适应矩估计算法。
发明的作用与效果
根据本发明提供的基于生成式对抗网络的图像去运动模糊方法，因为构建生成式对抗网络模型并采用训练样本数据对该生成式对抗网络模型进行训练，得到训练后的生成式对抗网络模型作为去运动模糊模型，通过不断对生成式对抗网络模型的训练使得最终得到的去运动模糊具有较高的质量，非常接近于清晰的真实图像，具有较好的视觉感知效果。进一步，将待去运动模糊图像输入到去运动模糊模型中通过端到端的方式直接输出该待去运动模糊图像对应的去运动模糊图像，采用端到端的方式直接将待去运动模糊图像复原为清晰的去运动模糊图像，避免了由于估计模糊核带来的一些问题，提升了去模糊的质量和效率。
附图说明
图1是本发明实施例中基于生成式对抗网络的图像去运动模糊方法的流程图；
图2为本发明实施例中生成式对抗网络模型的原理框图；
图3为本发明实施例中中生成器的网络结构图；
图4为本发明实施例中残差密集块的结构框图；
图5为本发明实施例中判别器的网络结构图；以及
图6为本发明实施例中去运动模糊图像与运动模糊图像以及真实图像的效果对比图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本发明作具体阐述。
图1是本发明实施例中基于生成式对抗网络的图像去运动模糊方法的流程图。
如图1所示，本实施例中的基于生成式对抗网络的图像去运动模糊方法在WGAN-GP生成式对抗网络的基础上，采用深度残差密集网络结构作为生成式模型的核心组件，并通过设计的损失函数对网络模型进行优化，采用端到端的方式对运动模糊图像进行去运动模糊处理，具体包括以下步骤：
步骤1，获取已经公开的多个运动模糊图像和与该多个运动模糊图像分别相对应的多个清晰的真实图像作为本实施例的训练样本数据，并获取多个待去运动模糊图像作为本实施例中的测试样本数据。
步骤2，构建生成式对抗网络模型并采用训练样本数据基于Tenorflow深度学习框架对该生成式对抗网络模型进行训练，得到训练后的生成式对抗网络模型作为去运动模糊模型。该步骤2包括如下子步骤：
步骤2-1，对运动模糊图像和对应的真实图像进行拼接处理得到拼接图像。
步骤2-2，构建含有生成器和判别器的生成式对抗网络模型，并将拼接图像输入到生成式对抗网络模型中。
图2为本发明实施例中生成式对抗网络模型的原理框图。
如图2所示，生成式对抗网络模型基本原理为：采用二人零和博弈的思想，通过对抗学习的方式进行训练。生成器学习真实图像的潜在分布并生成生成图像去骗过判别器，而判别器相当于一个二分类器，目标是尽可能鉴别出输入的图像是真实图像还是生成图像，不被生成器所欺骗。二者在对抗博弈的过程中不断提高各自的生成能力和鉴别能力，当判别器无法区分输入数据的真假时，此时的生成器已经达到了最优状态，能够学习到真实图像的数据分布，使得生成出的生成图像接近于真实图像。
图3为本发明实施例中中生成器的网络结构图。
如图3所示，生成器结构含有步幅卷积模块、残差密集网络、微步幅卷积模块以及全局跳变连接。
步幅卷积模块由两层卷积核大小为3×3，步长为2的卷积层构成，且每层该卷积层后面紧跟实例归一化层和ReLU激活函数。
图4为本发明实施例中残差密集块的结构框图。
如图4所示，残差密集网络由10个残差密集块组成，每个残差密集块的最后一层卷积层的卷积核大小为1×1、步长为1，其余卷积层的卷积核大小均为3×3、步长均为1且每个卷积层后面紧跟实例归一化层(InstanceNorm,IN)和Relu激活函数。此外，所有的残差密集块进行了全局特征融合，用于提取更多有效的特征。
图5为本发明实施例中中判别器的网络结构图。
如图5所示，判别器含有卷积层、实例归一化层以及激活函数层。
判别器的作用是用来鉴别输入的图像是来自于真实图像还是来自于生成的图像，并将两者之间的差异程度反馈给生成器，辅助生成器生成更加接近于真实图像的图像。该判别器含有五层卷积层，每层卷积层的卷积核大小均为4×4，除最后一层的卷积层外，每层卷积层后面紧跟实例归一化层和LReLu激活函数层，最后一层的卷积层后面紧跟实例归一化层和Sigmoid激活函数层，用于根据输入到判别器中的调整后真实图像或生成图像将输出映射到1或0。
步骤2-3，将拼接图像拆成对应的运动模糊图像和真实图像并分别对该运动模糊图像和该真实图像的分辨率进行调整得到调整后运动模糊图像和调整后真实图像；
步骤2-4，将调整后运动模糊图像输入到生成器让生成器根据调整后运动模糊图像生成清晰的生成图像，并将该生成图像和调整后真实图像输入到判别器中，该步骤2-4包括如下子步骤：
将调整后运动模糊图像输入到生成器；
通过一层卷积核大小为7*7的卷积层来扩大网络的感受野；
通过步幅卷积模块提取得到运动模糊图像的浅层特征并将浅层特征输入到残差密集网络中；
将所有的残差密集块进行了全局特征融合得到操作后图像；
通过卷积核大小为1*1、步长为1的卷积对操作后图像进行降维处理得到降维后图像；
采用微步幅卷积模块对降维后图像进行解卷积操作得到生成图像，
最后通过全局跳变连接来提供生成器的训练速度和收敛性能。
步骤2-5，通过判别器目标函数计算得到判别损失，并根据该判别损失更新判别器参数。
其中，判别器目标函数为：
Figure BDA0002039608770000131
Dloss表示判别损失，D表示判别器，s表示调整后真实图像，
Figure BDA0002039608770000132
表示生成图像，S～psharp (S)表示在调整后真实图像构成的调整后真实图像集中取样，
Figure BDA0002039608770000133
表示在生成图像构成的生成图像集中取样，E表示期望值。
Figure BDA0002039608770000134
表示在调整后真实图像和生成图像之间随机插值取样。λ为权重参数。
步骤2-6，将生成图像和调整后真实图像输入到判别器中计算得到误差；
步骤2-7，将误差反向传播给生成器。
步骤2-8，通过生成器目标函数计算得到生成损失，并采用学习率算法根据该生成损失更新生成器参数。在本实施例中，学习率算法为自适应矩估计算法
生成损失的计算过程如下：
首先，通过下式(1)、(2)、(3)分别计算感知损失lpercep、l1损失l1、梯度l1正则化约束lgdl：
Figure BDA0002039608770000141
在本实施例中，引入在ImageNet数据集上预先训练好的VGG-19网络，通过计算生成图像和真实图像在高维空间中的欧式距离来获取感知损失lpercep。其中，Wi,j和Hi,j分别表示特征映射图的宽和高，
Figure BDA0002039608770000142
表示在VGG-19网络中第i个池化层前的第j个卷积层的特征映射。
l1＝||G(B)-S||1 (2)
其中，G(B)表示生成图像，||.||1表示l1范数。
Figure BDA0002039608770000143
其中，i和j表示图像中的所有像素点的坐标值；
然后，根据生成器目标函数计算生成损失Gloss：
Figure BDA0002039608770000144
其中，k1，k2为用于平衡各项损失函数的权重因子，β表示梯度l1正则化权重因子。
步骤2-9，重复步骤2-4至步骤2-8直至达到训练完成条件，得到训练后的生成式对抗网络模型作为去运动模糊模型。该训练完成条件为判别器不能区分生成图像和调整后真实图像。
步骤3，将待去运动模糊图像输入到去运动模糊模型中通过端到端的方式直接输出该待去运动模糊图像对应的去运动模糊图像。
图6为本发明实施例中去运动模糊图像与运动模糊图像以及真实图像的效果对比图。
如图6所示，每一行中的三个图像从左至右依次为待去运动模糊图像、该待去运动模糊图像输入到本实施例的去运动模糊模型中得到的去运动模糊图像以及待去运动模糊图像对应的真实图像。由图6可以看出，去运动模糊图像接近于真实图像，具有较好的视觉感知效果。
实施例的作用与效果
根据本实施例提供的基于生成式对抗网络的图像去运动模糊方法，因为构建生成式对抗网络模型并采用训练样本数据对该生成式对抗网络模型进行训练，得到训练后的生成式对抗网络模型作为去运动模糊模型，通过不断对生成式对抗网络模型的训练使得最终得到的生成图像具有较高的质量，非常接近于清晰的真实图像，具有较好的视觉感知效果。进一步，将待去运动模糊图像输入到去运动模糊模型中通过端到端的方式直接输出该待去运动模糊图像对应的去运动模糊图像，采用端到端的方式直接将待去运动模糊图像复原为清晰的去运动模糊图像，避免了由于估计模糊核带来的一系列问题，提升了去模糊的质量和效率。
此外，采用残差密集网络作为生成器的核心组件，残差密集网络通过浅层特征提取、残差密集连接和特征融合三个部分可以充分提取图像的所有分层特征，能够为模糊图像的去模糊和重建提供更多的有效线索信息。
此外，通过感知损失、l1损失以及梯度l1正则化约束计算生成损失，缩小生成图像和真实图像在高维特征空间上的差异，约束了生成图像与真实图像之间的梯度差异从而对模糊图像的边缘特征和细节信息的复原具有和好的效果，并使得网络模型能够捕获更多的低频信息，确保生成图像的完整性，进而使得生成出的生成图像在整体主观视觉上看起来更加清晰、真实、锐利。
上述实施例仅用于举例说明本发明的具体实施方式，但本发明不限于上述实施例所描述的范围。

Claims (10)

1.一种基于生成式对抗网络的图像去运动模糊方法，其特征在于，包括如下步骤：
步骤1，获取包含多个运动模糊图像和与该多个运动模糊图像分别相对应的多个清晰的真实图像的训练样本数据，并获取包含多个待去运动模糊图像的测试样本数据；
步骤2，构建生成式对抗网络模型并采用所述训练样本数据对该生成式对抗网络模型进行训练，得到训练后的生成式对抗网络模型作为去运动模糊模型；
步骤3，将所述待去运动模糊图像输入到所述去运动模糊模型中通过端到端的方式直接输出该待去运动模糊图像对应的去运动模糊图像，
其中，所述步骤2包括如下子步骤：
步骤2-1，对所述运动模糊图像和对应的所述真实图像进行拼接处理得到拼接图像；
步骤2-2，构建含有生成器和判别器的生成式对抗网络模型，并将所述拼接图像输入到所述生成式对抗网络模型中；
步骤2-3，将所述拼接图像拆成对应的所述运动模糊图像和所述真实图像并分别对该运动模糊图像和该真实图像的分辨率进行调整得到调整后运动模糊图像和调整后真实图像；
步骤2-4，将所述调整后运动模糊图像输入到所述生成器让所述生成器根据所述调整后运动模糊图像生成所述清晰的生成图像，并将该生成图像和所述调整后真实图像输入到判别器中；
步骤2-5，通过判别器目标函数计算得到判别损失，并根据该判别损失更新判别器参数；
步骤2-6，将所述生成图像和所述调整后真实图像输入到所述判别器中计算得到误差；
步骤2-7，将所述误差反向传播给所述生成器；
步骤2-8，通过生成器目标函数计算得到生成损失，并采用学习率算法根据该生成损失更新生成器参数；
步骤2-9，重复步骤2-4至步骤2-8直至达到训练完成条件，得到训练后的生成式对抗网络模型作为去运动模糊模型。
2.根据权利要求1所述的基于生成式对抗网络的图像去运动模糊方法，其特征在于：
其中，所述生成器含有步幅卷积模块、残差密集网络、微步幅卷积模块以及全局跳变连接，
所述步幅卷积模块由两层卷积核大小为3×3，步长为2的卷积层构成，且每层卷积层后面紧跟实例归一化层和ReLU激活函数，
所述残差密集网络由10个残差密集块组成，每个所述残差密集块的最后一层的卷积层的卷积核大小为1×1、步长为1，每个所述残差密集块的其余的卷积层的卷积核大小均为3×3、步长均为1且每个所述残差密集块的其余的所述卷积层后面都紧跟实例归一化层和Relu激活函数层。
3.根据权利要求2所述的基于生成式对抗网络的图像去运动模糊方法，其特征在于：
其中，所述步骤2-4含有如下子步骤：
将所述调整后运动模糊图像输入到所述生成器；
通过一层卷积核大小为7*7的卷积层来扩大网络的感受野；
通过所述步幅卷积模块提取得到所述运动模糊图像的浅层特征并将所述浅层特征输入到所述残差密集网络中；
对所有的所述残差密集块进行了全局特征融合得到操作后图像；
对所述操作后图像进行降维处理得到降维后图像；
采用所述微步幅卷积模块对所述降维后图像进行解卷积操作得到所述生成图像。
4.根据权利要求1所述的基于生成式对抗网络的图像去运动模糊方法，其特征在于：
其中，所述判别器含有五层卷积层，每层所述卷积层的卷积核大小均为4×4，除最后一层的所述卷积层外，每层所述卷积层后面紧跟实例归一化层和LReLu激活函数层，最后一层的所述卷积层后面紧跟实例归一化层和Sigmoid激活函数层，用于根据输入到所述判别器中的所述调整后真实图像或所述生成图像将输出映射到1或0。
5.根据权利要求1所述的基于生成式对抗网络的图像去运动模糊方法，其特征在于：
其中，所述判别器目标函数为：
Figure FDA0002039608760000041
所述Dloss表示所述判别损失，所述D表示所述判别器，所述s表示所述调整后真实图像，所述
Figure FDA0002039608760000047
表示所述生成图像，所述S～psharp(S)表示在所述调整后真实图像构成的调整后真实图像集中取样，所述
Figure FDA0002039608760000042
表示在所述生成图像构成的生成图像集中取样，所述E表示期望值。所述
Figure FDA0002039608760000043
表示在所述调整后真实图像和所述生成图像之间随机插值取样。所述λ为权重参数。
6.根据权利要求1所述的基于生成式对抗网络的图像去运动模糊方法，其特征在于：
其中，所述生成器目标函数为：
Figure FDA0002039608760000044
所述Gloss表示所述生成损失，所述D表示所述判别器，所述
Figure FDA0002039608760000045
表示所述生成图像，所述
Figure FDA0002039608760000046
表示在所述生成图像构成的生成图像集中取样，
所述lpercep为感知损失，所述l1表示l1损失，所述lgdl表示梯度l1正则化约束，所述k1，k2为用于平衡各项损失函数的权重因子，所述β表示梯度l1正则化权重因子。
7.根据权利要求6所述的基于生成式对抗网络的图像去运动模糊方法，其特征在于：
其中，所述感知损失的计算公式为：
Figure FDA0002039608760000051
所述Wi,j和所述Hi,j分别表示特征映射图的宽和高，所述
Figure FDA0002039608760000052
表示在VGG-19网络中第i个池化层前的第j个卷积层的特征映射。
所述l1损失的计算公式为：
l1＝||G(B)-S||1
所述G(B)表示所述生成图像，所述||.||1表示l1范数。
所述梯度l1正则化约束的计算公式为：
Figure FDA0002039608760000053
所述i和所述j表示图像中的所有像素点的坐标值。
8.根据权利要求1所述的基于生成式对抗网络的图像去运动模糊方法，其特征在于：
其中，所述训练完成条件为所述判别器不能区分所述生成图像和所述调整后真实图像。
9.根据权利要求1所述的基于生成式对抗网络的图像去运动模糊方法，其特征在于：
其中，在所述步骤2中采用Tenorflow深度学习框架对所述生成式对抗网络模型进行训练。
10.根据权利要求1所述的基于生成式对抗网络的图像去运动模糊方法，其特征在于：
其中，所述学习率算法为自适应矩估计算法。
CN201910337395.7A 2019-04-25 2019-04-25 基于生成式对抗网络的图像去运动模糊方法 Active CN111861894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910337395.7A CN111861894B (zh) 2019-04-25 2019-04-25 基于生成式对抗网络的图像去运动模糊方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910337395.7A CN111861894B (zh) 2019-04-25 2019-04-25 基于生成式对抗网络的图像去运动模糊方法

Publications (2)

Publication Number Publication Date
CN111861894A true CN111861894A (zh) 2020-10-30
CN111861894B CN111861894B (zh) 2023-06-20

Family

ID=72952347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910337395.7A Active CN111861894B (zh) 2019-04-25 2019-04-25 基于生成式对抗网络的图像去运动模糊方法

Country Status (1)

Country Link
CN (1) CN111861894B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200372618A1 (en) * 2018-05-09 2020-11-26 Tencent Technology (Shenzhen) Company Limited Video deblurring method and apparatus, storage medium, and electronic apparatus
CN112330572A (zh) * 2020-11-30 2021-02-05 天津科技大学 一种基于密集型网络的生成式对抗神经网络及失真图像复原方法
CN112634163A (zh) * 2020-12-29 2021-04-09 南京大学 基于改进型循环生成对抗网络去图像运动模糊方法
CN112927171A (zh) * 2021-04-15 2021-06-08 重庆邮电大学 一种基于生成对抗网络的单幅图像去模糊方法
CN113129240A (zh) * 2021-05-19 2021-07-16 广西师范大学 一种工业包装字符的去运动模糊方法
CN113435243A (zh) * 2021-05-14 2021-09-24 西安电子科技大学 一种高光谱真实下采样模糊核估计方法
CN113538263A (zh) * 2021-06-28 2021-10-22 江苏威尔曼科技有限公司 基于改进DeblurGAN模型的去运动模糊方法、介质及设备
CN114049641A (zh) * 2022-01-13 2022-02-15 中国电子科技集团公司第十五研究所 基于深度学习的文字识别方法及系统
CN114913095A (zh) * 2022-06-08 2022-08-16 西北工业大学 基于域适应的深度去模糊方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416752A (zh) * 2018-03-12 2018-08-17 中山大学 一种基于生成式对抗网络进行图像去运动模糊的方法
CN108986041A (zh) * 2018-06-13 2018-12-11 浙江大华技术股份有限公司 一种图像恢复方法、装置、电子设备及可读存储介质
CN109118438A (zh) * 2018-06-29 2019-01-01 上海航天控制技术研究所 一种基于生成对抗网络的高斯模糊图像复原方法
CN109255831A (zh) * 2018-09-21 2019-01-22 南京大学 基于多任务学习的单视图人脸三维重建及纹理生成的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416752A (zh) * 2018-03-12 2018-08-17 中山大学 一种基于生成式对抗网络进行图像去运动模糊的方法
CN108986041A (zh) * 2018-06-13 2018-12-11 浙江大华技术股份有限公司 一种图像恢复方法、装置、电子设备及可读存储介质
CN109118438A (zh) * 2018-06-29 2019-01-01 上海航天控制技术研究所 一种基于生成对抗网络的高斯模糊图像复原方法
CN109255831A (zh) * 2018-09-21 2019-01-22 南京大学 基于多任务学习的单视图人脸三维重建及纹理生成的方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200372618A1 (en) * 2018-05-09 2020-11-26 Tencent Technology (Shenzhen) Company Limited Video deblurring method and apparatus, storage medium, and electronic apparatus
US11688043B2 (en) * 2018-05-09 2023-06-27 Tencent Technology (Shenzhen) Company Limited Video deblurring method and apparatus, storage medium, and electronic apparatus
CN112330572B (zh) * 2020-11-30 2023-01-06 天津科技大学 一种基于密集型网络的生成式对抗神经网络及失真图像复原方法
CN112330572A (zh) * 2020-11-30 2021-02-05 天津科技大学 一种基于密集型网络的生成式对抗神经网络及失真图像复原方法
CN112634163A (zh) * 2020-12-29 2021-04-09 南京大学 基于改进型循环生成对抗网络去图像运动模糊方法
CN112927171A (zh) * 2021-04-15 2021-06-08 重庆邮电大学 一种基于生成对抗网络的单幅图像去模糊方法
CN113435243A (zh) * 2021-05-14 2021-09-24 西安电子科技大学 一种高光谱真实下采样模糊核估计方法
CN113129240A (zh) * 2021-05-19 2021-07-16 广西师范大学 一种工业包装字符的去运动模糊方法
CN113129240B (zh) * 2021-05-19 2023-07-25 广西师范大学 一种工业包装字符的去运动模糊方法
CN113538263A (zh) * 2021-06-28 2021-10-22 江苏威尔曼科技有限公司 基于改进DeblurGAN模型的去运动模糊方法、介质及设备
CN114049641B (zh) * 2022-01-13 2022-03-15 中国电子科技集团公司第十五研究所 基于深度学习的文字识别方法及系统
CN114049641A (zh) * 2022-01-13 2022-02-15 中国电子科技集团公司第十五研究所 基于深度学习的文字识别方法及系统
CN114913095A (zh) * 2022-06-08 2022-08-16 西北工业大学 基于域适应的深度去模糊方法
CN114913095B (zh) * 2022-06-08 2024-03-12 西北工业大学 基于域适应的深度去模糊方法

Also Published As

Publication number Publication date
CN111861894B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN111861894B (zh) 基于生成式对抗网络的图像去运动模糊方法
Tian et al. Deep learning on image denoising: An overview
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN110378844B (zh) 基于循环多尺度生成对抗网络的图像盲去运动模糊方法
CN111275637B (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
Tran et al. GAN-based noise model for denoising real images
CN109815919B (zh) 一种人群计数方法、网络、系统和电子设备
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN111091503B (zh) 基于深度学习的图像去失焦模糊方法
CN113592736B (zh) 一种基于融合注意力机制的半监督图像去模糊方法
CN110766632A (zh) 基于通道注意力机制和特征金字塔的图像去噪方法
CN111161178A (zh) 基于生成式对抗网络的单幅低光图像增强方法
CN112541877B (zh) 基于条件生成对抗网络的去模糊方法、系统、设备及介质
CN112164011B (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
CN112435187A (zh) 一种基于聚集残差生成对抗网络的单图像盲去运动模糊方法
CN110796622B (zh) 一种基于串联神经网络多层特征的图像比特增强方法
Wang et al. MAGAN: Unsupervised low-light image enhancement guided by mixed-attention
CN112767279A (zh) 一种基于离散小波集成生成对抗网络的水下图像增强方法
CN112509144A (zh) 人脸图像处理方法、装置、电子设备及存储介质
CN116309178A (zh) 一种基于自适应注意力机制网络的可见光图像去噪方法
CN115131203A (zh) Lr图像生成方法及基于不确定性的真实图像超分辨率方法
CN112991199A (zh) 一种基于残差密集网络的图像高低频分解噪声去除方法
CN115861094A (zh) 一种融合注意力机制的轻量级gan水下图像增强模型
CN115345791A (zh) 一种基于注意力机制残差网络模型的红外图像去模糊算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant