CN112651894A - 基于rrdb的生成对抗网络的图像去模糊算法 - Google Patents

基于rrdb的生成对抗网络的图像去模糊算法 Download PDF

Info

Publication number
CN112651894A
CN112651894A CN202011594945.2A CN202011594945A CN112651894A CN 112651894 A CN112651894 A CN 112651894A CN 202011594945 A CN202011594945 A CN 202011594945A CN 112651894 A CN112651894 A CN 112651894A
Authority
CN
China
Prior art keywords
image
sample
loss
network
rrdb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011594945.2A
Other languages
English (en)
Inventor
王娟
蔡霖康
刘子杉
陈关海
丁畅
袁旭亮
柯聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202011594945.2A priority Critical patent/CN112651894A/zh
Publication of CN112651894A publication Critical patent/CN112651894A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于RRDB的生成对抗网络图像去模糊算法。本发明在去模糊模型DeblurGAN网络的基础上，使用融合了多层残差网络和密集连接的RRDB网络单元替换生成器中的RB网络单元，并且在生成器的输入和输出之间加入全局跳跃连接，来提高生成器的学习和生成能力。然后在损失函数中，使用Wasserstein距离作为网络的对抗损失，避免在训练过程中出现网络退化问题；在内容损失上加入像素空间损失函数，对生成图像的像素内容一致性进行约束最终生成清晰图像。

Description

基于RRDB的生成对抗网络的图像去模糊算法
技术领域
本发明涉及图像复原技术领域，尤其涉及一种基于RRDB的生成对抗网络的图像去模糊算法。
背景技术
传统的去模糊方法针对特定的场景和模糊类型中，达到了不错的去模糊效果，但是在复杂场景中算法的去模糊效果却不尽人意。因为实际复杂场景中，模糊类型多样，分布复杂。而且这些方法不能实现对图像批量处理，离实际运用还有相当大的差距。现如今由于计算机硬件的提升和并行计算的进步，基于深度学习的数字图像算法不断涌现。基于深度学习的去模糊算法是使用不同的网络模型，在大量先验图像上学习图片的高级特征表示，来实现模糊图像的复原。众多深度学习模型中，卷积神经网络和生成对抗网络分别是监督学习和无监督学习的代表模型。由于二者学习方式的不同，前者擅长复杂的数据分类任务，后者更擅长于高难度的数据生成任务。而图像去模糊是一个图像信息增量的步骤，也是一个图像生成的过程。因此选择在生成对抗网络的基础上来对图像去模糊展开研究，针对算法在图像重建过程中还是会存在内容缺失、色彩不一致以及存在“棋盘效应”等问题，提出基于RRDB的生成对抗网络图像去模糊算法模型。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于RRDB的生成对抗网络的图像去模糊算法。首先，在去模糊模型DeblurGAN网络的基础上，使用融合了多层残差网络和密集连接的RRDB网络单元替换生成器中的RB网络单元，并且在生成器的输入和输出之间加入全局跳跃连接，来提高生成器的学习和生成能力。其次，在损失函数中，使用Wasserstein距离作为网络的对抗损失，避免在训练过程中出现网络退化问题；在内容损失上加入像素空间损失函数，对生成图像的像素内容一致性进行约束。
根据本发明实施例的基于RRDB的生成对抗网络的图像去模糊算法，该算法基于DeblurGAN(盲去模糊生成对抗网络)模型，所述模型包括RRDB(嵌套残差密集块)，模型中损失函数包含对抗损失函数和由像素空间损失和感知损失构成的内容损失函数，即L＝LGAN+aLpercep+bLpixel：
步骤1：采集模糊图像样本，输入基于RRDB的生成器中，生成去模糊后的清晰图像样本。
步骤2：利用判别器判别数据集中原始清晰样本和上述生成清晰样本，最终得到去模糊图像的真实样本。
步骤3：使用总体去模糊损失函数L对生成图像判别，进行损失计算。使用Wasserstein距离来衡量真实清晰样本图像与生成样本图像的相似性，从而实现对真实样本和生成样本的分类。
可选地，所述损失函数中，LGAN、aLpercep、bLpixel分别基于如下：
对抗损失计算表达式为：
Figure BDA0002870081210000021
其中，
Figure BDA0002870081210000022
为判别器D和判别器参数θD，
Figure BDA0002870081210000023
为生成器G和生成器参数θG。IB为输入给生成器的模糊样本图像，IS为真实样本图像，N为样本数量，a为感知损失加权参数；b为像素空间损失加权参数。
像素空间损失表达式为：
Figure BDA0002870081210000024
其中，W和H分别为样本图像的长度和宽度；
感知损失表达式为：
Figure BDA0002870081210000025
其中，Wi,j和Hi,j分别是特征图的维度，φi,j是VGG19网络里第j个卷积层之前，第i个最大池化层之后的特征图。
可选地，所述步骤1生成器前端是一个7×7的和两个3×3的卷积层，对输入进来的图像进行卷积来实现对图像的下采样，从而得到图像的特征图。中间是使用跳跃连接的方式相互连接的9个RRDB网络单元。与普通的残差单元不同，RRDB结合了多层的残差网络和密集连接，可以进一步加强网络对图像的细节特征学习。末端是两个转置卷积层，对输入特征图进行反卷积来实现图像的上采样。最后再经过7×7的卷积层，输出清晰图像。整个过程来实现端对端的图像去模糊。
可选地，所述步骤2判别器实质是一个基于CNN的分类器，里面有4个4×4和一个1×1卷积层，每个卷积层包含一个实例归一化层IN(Instance Normalization)和带泄露整流激活函数(LReLU)。判别器对输入的生成清晰样本和真实样本经5个卷积层处理后，将输入图像映射为N×N的概率矩阵。矩阵中的每一个元素Xij的值，代表每一个像素补丁为真实样本的概率。然后对每一个元素Xij进行均值计算，最终得到判别器的输出。
可选地，所述步骤3总体去模糊损失函数为三种损失函数加权求和，其表达式为：
L＝LGAN+aLpercep+bLpixel
其中，对抗损失加权值参数取值1，感知损失加权参数取值100，像素空间损失加权值参数取值160。
Wasserstein距离用来衡量两个概率分布之间的距离，定义如下：
Figure BDA0002870081210000031
其中，Π(P1,P2)是分布P1和P2的联合分布集合。在每一个可能的联合分布γ中采样一个样本x和y，计算这对样本的距离||x-y||，从而得到在联合分布γ下样本对距离的期望值E(x,y)。取联合分布中期望值的下确界得到Wasserstein距离。从而衡量真实清晰样本图像与生成样本图像的相似性，最终实现对真实样本和真实样本的分类。
本发明中，提出了一种基于RRDB的生成对抗网络的去模糊算法，利用多层残差网络和密集连接的RRDB网络单元防止生成器在训练时出现网络退化问题，促使生成器生成更加清晰的图像；利用全局跳跃连接使生成器只需学习模糊图像与清晰图像间的残差，防止出现过拟合现象；利用Wasserstein距离的对抗损失函数完善生成器的生成能力；利用像素空间损失函数和感知损失函数对生成图像加上像素级别的相似性约束最终生成清晰图像。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明提出的一种基于生成对抗网络的去模糊算法中模型示意图。
图2a为本发明提出的基于RRDB的生成对抗网络的去模糊算法中判别器网络结构。
图2b为本发明提出的基于RRDB的生成对抗网络的去模糊算法中生成器网络结构。
图3为本发明提出的基于RRDB的生成对抗网络的去模糊算法中对抗损失计算过程。
图4为本发明提出的基于RRDB的生成对抗网络的去模糊算法中感知损失计算过程。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
实施例：
根据本发明实施例的基于RRDB的生成对抗网络的图像去模糊算法，该算法基于DeblurGAN(盲去模糊生成对抗网络)模型，所述模型包括RRDB(嵌套残差密集块)，模型中损失函数包含对抗损失函数和由像素空间损失和感知损失构成的内容损失函数，即L＝LGAN+aLpercep+bLpixel：a为感知损失加权参数，取值100；b为像素空间损失加权参数，取值160。
本发明具体分为以下步骤：
步骤1：采集模糊图像样本，输入基于RRDB的生成器中，生成去模糊后的清晰图像样本。
步骤2：利用判别器判别数据集中原始清晰样本和上述生成清晰样本，最终得到去模糊图像的真实样本。
步骤3：使用总体去模糊损失函数L对生成图像判别，，进行损失计算。使用Wasserstein距离来衡量真实清晰样本图像与生成样本图像的相似性，从而实现对真实样本和生成样本的分类。
步骤2中的对抗损失函数选取Wasserstein距离损失函数，Wasserstein距离定义为
Figure BDA0002870081210000051
其中，Π(P1,P2)是分布P1和P2的联合分布集合，在每一可能的联合分布γ中采样一个样本x和y，计算样本距离||x-y||，得到样本对距离的期望值E(x,y)；
对抗损失计算表达式为
Figure BDA0002870081210000052
其中，
Figure BDA0002870081210000053
为判别器D和判别器参数θD，
Figure BDA0002870081210000054
为生成器G和生成器参数θG。IB为输入给生成器的模糊样本图像，IS为真实样本图像，N为样本数量。
步骤2中的内容损失函数选取像素空间损失和感知损失。
像素空间损失表达式为
Figure BDA0002870081210000055
其中，W和H分别为样本图像的长度和宽度；
感知损失表达式为
Figure BDA0002870081210000056
其中，Wi,j和Hi,j分别是特征图的维度，φi,j是VGG19网络里第j个卷积层之前，第i个最大池化层之后的特征图。
综上所述，该基于RRDB的生成对抗网络的电力巡检图像去模糊算法，利用多层残差网络和密集连接的RRDB网络单元防止生成器在训练时出现网络退化问题，促使生成器生成更加清晰的图像；利用全局跳跃连接使生成器只需学习模糊图像与清晰图像间的残差，防止出现过拟合现象；利用Wasserstein距离的对抗损失函数完善生成器的生成能力；利用像素空间损失函数和感知损失函数对生成图像加上像素级别的相似性约束最终生成清晰图像。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.基于RRDB的生成对抗网络的图像去模糊算法，其特征在于，该算法基于DeblurGAN(盲去模糊生成对抗网络)模型，模型包括RRDB(嵌套残差密集块)，模型中，损失函数包含对抗损失函数、由像素空间损失和感知损失构成的内容损失函数，即L＝LGAN+aLpercep+bLpixel：
步骤1：采集模糊图像样本，输入基于RRDB的生成器中，生成去模糊后的清晰图像样本；
步骤2：利用判别器判别数据集中原始清晰样本和步骤1生成清晰样本，最终得到去模糊图像的真实样本；
步骤3：使用总体去模糊损失函数L对生成图像判别，进行损失计算；使用Wasserstein距离来衡量真实清晰样本图像与生成样本图像的相似性，从而实现对真实样本和生成样本的分类。
2.根据权利要求1所述的基于RRDB的生成对抗网络的图像去模糊算法，其特征在于，所述损失函数中，LGAN、aLpercep、bLpixel分别基于如下：
a为感知损失加权参数；b为像素空间损失加权参数；
对抗损失计算表达式为：
Figure FDA0002870081200000011
其中，
Figure FDA0002870081200000012
为判别器D和判别器参数θD，
Figure FDA0002870081200000013
为生成器G和生成器参数θG；IB为输入给生成器的模糊样本图像，IS为真实样本图像，N为样本数量；
像素空间损失表达式为：
Figure FDA0002870081200000014
其中，W和H分别为样本图像的长度和宽度；
感知损失表达式为：
Figure FDA0002870081200000015
其中，Wi,j和Hi,j分别是特征图的维度，φi,j是VGG19网络里第j个卷积层之前，第i个最大池化层之后的特征图。
3.根据权利要求1所述的基于RRDB的生成对抗网络的图像去模糊算法，其特征在于，所述步骤1具体包括：
生成器前端是一个7×7的和两个3×3的卷积层，对输入进来的图像进行卷积来实现对图像的下采样，从而得到图像的特征图；中间是使用跳跃连接的方式相互连接的9个RRDB网络单元；与普通的残差单元不同，RRDB结合了多层的残差网络和密集连接，可以进一步加强网络对图像的细节特征学习；末端是两个转置卷积层，对输入特征图进行反卷积来实现图像的上采样；最后再经过7×7的卷积层，输出清晰图像；整个过程来实现端对端的图像去模糊。
4.根据权利要求1所述的基于RRDB的生成对抗网络的图像去模糊算法，其特征在于，所述步骤2具体包括：
判别器实质是一个基于CNN的分类器，里面有4个4×4和一个1×1卷积层，每个卷积层包含一个实例归一化层IN(Instance Normalization)和带泄露整流激活函数(LReLU)；判别器对输入的生成清晰样本和真实样本经5个卷积层处理后，将输入图像映射为N×N的概率矩阵；矩阵中的每一个元素Xij的值，代表每一个像素补丁为真实样本的概率；然后对每一个元素Xij进行均值计算，最终得到判别器的输出。
5.根据权利要求1所述的基于RRDB的生成对抗网络的图像去模糊算法，其特征在于，所述步骤3具体包括：
总体去模糊损失函数为三种损失函数加权求和，其表达式为：
L＝LGAN+aLpercep+bLpixel
其中，对抗损失加权值参数取值1，感知损失加权参数取值100，像素空间损失加权值参数取值160；
Wasserstein距离用来衡量两个概率分布之间的距离，定义如下：
Figure FDA0002870081200000021
其中，П(P1,P2)是分布P1和P2的联合分布集合；在每一个可能的联合分布γ中采样一个样本x和y，计算这对样本的距离||x-y||，从而得到在联合分布γ下样本对距离的期望值E(x,y)；取联合分布中期望值的下确界得到Wasserstein距离；从而衡量真实清晰样本图像与生成样本图像的相似性，最终实现对真实样本和生成样本的分类。
CN202011594945.2A 2020-12-29 2020-12-29 基于rrdb的生成对抗网络的图像去模糊算法 Pending CN112651894A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011594945.2A CN112651894A (zh) 2020-12-29 2020-12-29 基于rrdb的生成对抗网络的图像去模糊算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011594945.2A CN112651894A (zh) 2020-12-29 2020-12-29 基于rrdb的生成对抗网络的图像去模糊算法

Publications (1)

Publication Number Publication Date
CN112651894A true CN112651894A (zh) 2021-04-13

Family

ID=75363815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011594945.2A Pending CN112651894A (zh) 2020-12-29 2020-12-29 基于rrdb的生成对抗网络的图像去模糊算法

Country Status (1)

Country Link
CN (1) CN112651894A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927171A (zh) * 2021-04-15 2021-06-08 重庆邮电大学 一种基于生成对抗网络的单幅图像去模糊方法
CN113538263A (zh) * 2021-06-28 2021-10-22 江苏威尔曼科技有限公司 基于改进DeblurGAN模型的去运动模糊方法、介质及设备
CN114782285A (zh) * 2022-06-17 2022-07-22 苏州大学 一种低分辨率模糊图像增强方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108550118A (zh) * 2018-03-22 2018-09-18 深圳大学 运动模糊图像的模糊处理方法、装置、设备及存储介质
CN111199522A (zh) * 2019-12-24 2020-05-26 重庆邮电大学 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108550118A (zh) * 2018-03-22 2018-09-18 深圳大学 运动模糊图像的模糊处理方法、装置、设备及存储介质
CN111199522A (zh) * 2019-12-24 2020-05-26 重庆邮电大学 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
OREST KUPYN等: "DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
ZHENHUA ZHANG: "Image Deblurring of Camera Under Display by Deep Learning", 《SID INTERNATIONAL SYMPOSIUM DIGEST OF TECHNICAL PAPERS》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927171A (zh) * 2021-04-15 2021-06-08 重庆邮电大学 一种基于生成对抗网络的单幅图像去模糊方法
CN113538263A (zh) * 2021-06-28 2021-10-22 江苏威尔曼科技有限公司 基于改进DeblurGAN模型的去运动模糊方法、介质及设备
CN114782285A (zh) * 2022-06-17 2022-07-22 苏州大学 一种低分辨率模糊图像增强方法

Similar Documents

Publication Publication Date Title
Chen et al. Gated context aggregation network for image dehazing and deraining
CN112651894A (zh) 基于rrdb的生成对抗网络的图像去模糊算法
CN114549731B (zh) 视角图像的生成方法、装置、电子设备及存储介质
Kim et al. Representative color transform for image enhancement
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN108492271B (zh) 一种融合多尺度信息的自动图像增强系统及方法
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN110599401A (zh) 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN111861894B (zh) 基于生成式对抗网络的图像去运动模糊方法
CN110717857A (zh) 超分辨率图像重构方法和装置
Maurya et al. A social spider optimized image fusion approach for contrast enhancement and brightness preservation
CN109671022B (zh) 一种基于深度特征翻译网络的图片纹理增强超分辨率方法
CN112308200A (zh) 神经网络的搜索方法及装置
CN112541877B (zh) 基于条件生成对抗网络的去模糊方法、系统、设备及介质
CN108389192A (zh) 基于卷积神经网络的立体图像舒适度评价方法
CN111598778A (zh) 一种绝缘子图像超分辨率重建方法
CN115170915A (zh) 一种基于端到端注意力网络的红外与可见光图像融合方法
CN113902630A (zh) 基于多尺度纹理特征分支的生成对抗网络图像修复方法
CN111179196A (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
CN115272072A (zh) 一种基于多特征图像融合的水下图像超分辨率方法
Guo et al. Haze removal for single image: A comprehensive review
CN112085674B (zh) 基于神经网络的航拍图像去模糊算法
CN113837941A (zh) 图像超分模型的训练方法、装置及计算机可读存储介质
CN111681236B (zh) 一种带注意力机制的目标密度估计方法
Luo et al. A fast denoising fusion network using internal and external priors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210413