CN115880175A - 一种基于改进生成对抗网络的模糊图像复原方法 - Google Patents

一种基于改进生成对抗网络的模糊图像复原方法 Download PDF

Info

Publication number
CN115880175A
CN115880175A CN202211584736.9A CN202211584736A CN115880175A CN 115880175 A CN115880175 A CN 115880175A CN 202211584736 A CN202211584736 A CN 202211584736A CN 115880175 A CN115880175 A CN 115880175A
Authority
CN
China
Prior art keywords
image
network
loss
generator
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211584736.9A
Other languages
English (en)
Inventor
薄其乐
侯博
苗子健
邢祥胜
刘海波
卢晓红
王永青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202211584736.9A priority Critical patent/CN115880175A/zh
Publication of CN115880175A publication Critical patent/CN115880175A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于改进生成对抗网络的模糊图像复原方法，建立生成对抗网络模型，设计改进的生成器网络结构，在生成器中添加混合扩张卷积模块与跳跃连接，扩大网络的感受野并融合深层与浅层网络的图像信息，同时将残差块替换为残差密集块；设计网络损失函数，在原始的内容损失中添加L1损失项；利用模糊图像和对应的清晰图像组成的图像对，对网络模型进行训练；将模糊图像输入到训练完成的网络模型中，利用生成器处理模糊图像，实现模糊图像的复原。本发明可通过设计生成对抗网络结构与损失函数，利用模糊图像与清晰图像组成的数据集对网络模型进行训练，采用训练后的生成器模型对模糊图像进行复原，图像去模糊效果稳定，可满足模糊图像高精度复原需求。

Description

一种基于改进生成对抗网络的模糊图像复原方法
技术领域
本发明属于图像处理领域，特别涉及一种基于改进生成对抗网络的模糊图像复原方法。
背景技术
近年来随着计算机视觉技术的不断发展，非接触式光学测量手段在航空航天领域的应用越来越广泛。然而在相机的曝光过程中，由于相机自身抖动或拍摄对象的快速运动等因素，会引起图像产生一定的模糊，最终影响后续的图像分析处理，因此如何将模糊图像重建为清晰图像是一项需要解决的问题。
早期的模糊图像处理方案中将相机与待测对象之间的运动视为匀速直线运动，简化了图像的数学模型，常用的去模糊方法有逆滤波、维纳滤波与有约束最小二乘方恢复等。在实际的应用中，图像的模糊原因复杂，对应的模糊核形式未知，图像的数学模型难以准确建立，传统的图像恢复方法难以使用，因此近年来出现了基于深度学习图像盲复原方法，实现了复杂模糊图像的恢复处理。
2022年，CN115222609A中公开了一种基于生成对抗网络模型的水下图像修复方法和生成对抗网络模型训练方法，在网络中添加跳跃连接并在损失函数中添加权重为100的L1损失项，增强了生成器细节特征提取能力，避免了下采样过程中的细节丢失。然而该方法中将L1损失作为优化目标函数时权重过大，会导致生成图像质量降低。2022年，CN114359106A中公开了一种基于改进生成对抗网络的视频模糊图像复原方法，在原始的网络中添加了加权网络，关注图像中重要区域特征。然而该方法采用的生成器中含有Dropout网络，该结构虽然可以减小训练过程中的过拟合现象，但是也会造成恢复图像质量下降的问题，同时该方法中采用的对抗损失函数为原始的GAN的对抗损失函数，当生成器或判别器模型过于优异时会出现梯度消失问题。
针对现有基于生成对抗网络去模糊方法存在模型崩溃，鲁棒性较差的问题，需要研究一种基于改进生成对抗网络的模糊图像复原方法。
发明内容
本发明主要解决的技术问题是克服上述方法的不足，针对模糊图像盲复原问题，发明了一种基于改进生成对抗网络的模糊图像复原方法。
本发明的技术方案：
一种基于改进生成对抗网络的模糊图像复原方法，首先建立生成对抗网络模型，生成对抗网络模型由生成器与判别器两部分组成，设计改进的生成器网络结构，在生成器中添加混合扩张卷积模块与跳跃连接，扩大生成器网络的感受野并融合深层与浅层网络的图像信息，同时将原始的残差块替换为残差密集块，提升网络训练的稳定性；设计网络损失函数，在原始的内容损失中添加L1损失项，减小生成图像与目标图像差异性；利用模糊图像和对应的清晰图像组成的图像对，对生成对抗网络模型进行训练；将模糊图像输入到训练完成的生成对抗网络模型中，利用生成器处理模糊图像，实现模糊图像的复原；具体步骤如下：
(1)建立生成对抗网络模型
在原始的生成对抗网络的生成器模型中添加混合扩张卷积模块与跳跃连接，并将残差块替换为残差密集块；改进的生成器由下采样模块、混合扩张卷积模块、特征增强提取模块以及上采样模块四部分组成，其中下采样模块由下采样卷积块组成，混合扩张卷积模块由扩张卷积块组成，特征增强提取模块由残差密集块组成，上采样模块由转置卷积块、卷积层和激活层组成，在下采样和上采样模块间添加跳跃连接；判别器由下采样卷积块组成；
(2)设计网络损失函数
网络损失函数分为对抗损失和内容损失两部分，内容损失的权重为λ1，内容损失由平均绝对损失即L1损失与感知损失两部分组成，两部分权重分别为λ2和λ3：
Figure BDA0003990781280000031
对抗损失的计算采用具有梯度惩罚项的WGAN-GP：
Figure BDA0003990781280000032
其中，E为期望值，Pg为生成的清晰图像的集合，Pr为真实的清晰图像的集合，
Figure BDA0003990781280000033
为生成图像与真实清晰图像插值组成的图像集合，/>
Figure BDA0003990781280000034
D(x)和/>
Figure BDA0003990781280000035
分别为图像/>
Figure BDA0003990781280000036
x和/>
Figure BDA0003990781280000037
经过判别器D后得到的判别结果，/>
Figure BDA0003990781280000038
x～Pr和/>
Figure BDA0003990781280000039
分别表示图像数据分别来自于集合Pg、Pr和/>
Figure BDA00039907812800000310
λ为梯度惩罚项的权重；
L1损失计算生成图像和清晰图像之间的平均偏差：
Figure BDA00039907812800000311
其中，x和y为图像的像素坐标，IS为真实的清晰图像，G(IB)为模糊图像IB经过生成器G后生成的图像；
感知损失定义为真实图像IS和生成图像G(IB)经过预训练的VGG19网络模型处理后得到的特征图之间的欧几里得距离：
Figure BDA00039907812800000312
其中，Wi,j和Hi,j分别为特征图的宽度和高度，φi,j为输入图像在预训练的VGG19网络模型中经过第i个最大池化层，并进行第j次卷积后得到的特征图；
(3)训练网络模型
利用尺寸为256*256的模糊图像和对应的清晰图像组成的图像对，对建立的生成对抗网络模型进行训练；
(4)模糊图像复原
利用训练完成的生成器处理模糊图像，完成模糊图像的复原。
本发明的有益效果是：建立生成对抗网络模型，设计生成器和判别器网络模型；在生成器中加入混合扩张卷积模块与跳跃连接，扩大网络的感受野并充分融合深层与浅层网络的图像信息，缓解训练过程中梯度消失的问题，同时将原有网络中多个残差块替换为残差密集块，通过密集连接提取丰富的局部特征，使网络训练更加稳定；设计网络的损失函数，将损失函数分为对抗损失与内容损失，在原有的内容损失函数中添加L1损失项，减小生成图像与目标图像之间的差异性，提升图像的恢复效果；利用模糊图像和对应的清晰图像对，对生成对抗网络模型进行训练；利用训练完成的网络模型对模糊图像进行处理，实现模糊图像的复原。
附图说明
图1是基于改进生成对抗网络的模糊图像复原流程图。
图2是生成对抗网络模型示意图。
图3是生成器网络结构示意图。
图4是下采样卷积块与扩张卷积块结构示意图。
图5是残差密集块结构示意图。
图6是密集块结构示意图。
图7是转置卷积块结构示意图。
图8是判别器网络结构示意图。
图9是训练图像对示意图，其中：(a)-清晰图像，(b)-对应的模糊图像。
图10是测试模糊图像。
图11是模糊图像复原结果。
具体实施方式
下面结合附图和技术方案详细说明本发明的实施方式。
(1)建立生成对抗网络模型。生成对抗网络分为生成器与判别器两部分，生成器由下采样模块混合扩张卷积模块、特征增强提取模块以及上采样模块四部分组成。下采样模块由三个下采样卷积块组成，第一个下采样卷积块的卷积核大小为7*7，数量为64个，归一化方法为InstanceNorm，激活函数为Relu，第二个下采样卷积块的卷积核大小为3*3，数量为128个，归一化方法为InstanceNorm，激活函数为Relu，第二个下采样卷积块的卷积核大小为3*3，数量为256个，归一化方法为InstanceNorm，激活函数为Relu。混合扩张卷积模块由三个扩张卷积块组成，扩张率分别为1、2和5，三个扩张卷积块中卷积核大小均为3*3，数量均为256个，归一化方法均为InstanceNorm。特征增强提取模块由三个残差密集块组成，如图5所示，残差比例系数β为0.2，密集块中所有卷积核大小均为3*3，数量为256个，激活函数为LeakyReLU。上采样模块由两个转置卷积块、一个卷积层与一个激活层组成，第一个转置卷积块的卷积核数量为128个，第二个转置卷积块的数量为64个，在第一个转置卷积块输出位置与下采样模块中第二个卷积块输出位置添加跳跃连接，卷积层的卷积核大小为7*7，数量为3个，激活函数为tanh。判别器由四个下采样卷积块与一个卷积层组成，第一个下采样卷积块的卷积核大小为3*3，数量为64个，激活函数为LeakyReLU，第二个下采样卷积块的卷积核大小为3*3，数量为128个，激活函数为LeakyReLU，第三个下采样卷积块的卷积核大小为3*3，数量为256个，激活函数为LeakyReLU，第四个下采样卷积块的卷积核大小为3*3，数量为512个，激活函数为LeakyReLU，最后的卷积层的卷积核大小为3*3，数量为1个。
(2)设计网络损失函数。网络的损失函数分为对抗损失和内容损失两部分，内容损失的权重为100，内容损失由平均绝对损失(L1损失)与感知损失两部分组成，两部分权重分均为0.5。对抗损失函数中梯度惩罚项的权重设置为10，感知损失中取输入图像在预训练的VGG19网络模型中经过第三个最大池化层，进行第三次卷积得到的特征图进行计算，特征图宽度与高度均为28。
(3)训练网络模型。采用非接触式光学测量领域中具有代表性的线激光光条图像作为训练与测试数据。网络的训练数据集由185对模糊光条图像和对应的清晰光条图像组成，如图9所示。
(4)模糊图像复原。利用训练完成的生成器模型对模糊图像进行处理，测试的模糊图像如图10所示，生成的清晰图像如图11所示，可有效提升模糊图像的清晰度。
本发明提供的一种基于改进生成对抗网络的模糊图像复原方法，它可以通过训练生成对抗网络模型对模糊图像进行复原，训练稳定，适应性强，可以满足模糊图像高精度复原要求。

Claims (1)

1.一种基于改进生成对抗网络的模糊图像复原方法，其特征在于，首先建立生成对抗网络模型，生成对抗网络模型由生成器与判别器两部分组成，设计改进的生成器网络结构，在生成器中添加混合扩张卷积模块与跳跃连接，扩大生成器网络的感受野并融合深层与浅层网络的图像信息，同时将原始的残差块替换为残差密集块，提升网络训练的稳定性；设计网络损失函数，在原始的内容损失中添加L1损失项，减小生成图像与目标图像差异性；利用模糊图像和对应的清晰图像组成的图像对，对生成对抗网络模型进行训练；将模糊图像输入到训练完成的生成对抗网络模型中，利用生成器处理模糊图像，实现模糊图像的复原；具体步骤如下：
(1)建立生成对抗网络模型
在原始的生成对抗网络的生成器模型中添加混合扩张卷积模块与跳跃连接，并将残差块替换为残差密集块；改进的生成器由下采样模块、混合扩张卷积模块、特征增强提取模块以及上采样模块四部分组成，其中下采样模块由下采样卷积块组成，混合扩张卷积模块由扩张卷积块组成，特征增强提取模块由残差密集块组成，上采样模块由转置卷积块、卷积层和激活层组成，在下采样和上采样模块间添加跳跃连接；判别器由下采样卷积块组成；
(2)设计网络损失函数
网络损失函数分为对抗损失和内容损失两部分，内容损失的权重为λ1，内容损失由平均绝对损失即L1损失与感知损失两部分组成，两部分权重分别为λ2和λ3：
Figure FDA0003990781270000011
对抗损失的计算采用具有梯度惩罚项的WGAN-GP：
Figure FDA0003990781270000021
其中，E为期望值，Pg为生成的清晰图像的集合，Pr为真实的清晰图像的集合，
Figure FDA0003990781270000022
为生成图像与真实清晰图像插值组成的图像集合，/>
Figure FDA0003990781270000023
D(x)和/>
Figure FDA0003990781270000024
分别为图像/>
Figure FDA0003990781270000025
x和/>
Figure FDA0003990781270000026
经过判别器D后得到的判别结果，/>
Figure FDA0003990781270000027
x～Pr和/>
Figure FDA0003990781270000028
分别表示图像数据分别来自于集合Pg、Pr和
Figure FDA0003990781270000029
λ为梯度惩罚项的权重；
L1损失计算生成图像和清晰图像之间的平均偏差：
Figure FDA00039907812700000210
其中，x和y为图像的像素坐标，IS为真实的清晰图像，G(IB)为模糊图像IB经过生成器G后生成的图像；
感知损失定义为真实图像IS和生成图像G(IB)经过预训练的VGG19网络模型处理后得到的特征图之间的欧几里得距离：
Figure FDA00039907812700000211
其中，Wi,j和Hi,j分别为特征图的宽度和高度，φi,j为输入图像在预训练的VGG19网络模型中经过第i个最大池化层，并进行第j次卷积后得到的特征图；
(3)训练网络模型
利用尺寸为256*256的模糊图像和对应的清晰图像组成的图像对，对建立的生成对抗网络模型进行训练；
(4)模糊图像复原
利用训练完成的生成器处理模糊图像，完成模糊图像的复原。
CN202211584736.9A 2022-12-09 2022-12-09 一种基于改进生成对抗网络的模糊图像复原方法 Pending CN115880175A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211584736.9A CN115880175A (zh) 2022-12-09 2022-12-09 一种基于改进生成对抗网络的模糊图像复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211584736.9A CN115880175A (zh) 2022-12-09 2022-12-09 一种基于改进生成对抗网络的模糊图像复原方法

Publications (1)

Publication Number Publication Date
CN115880175A true CN115880175A (zh) 2023-03-31

Family

ID=85766941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211584736.9A Pending CN115880175A (zh) 2022-12-09 2022-12-09 一种基于改进生成对抗网络的模糊图像复原方法

Country Status (1)

Country Link
CN (1) CN115880175A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611456A (zh) * 2023-12-14 2024-02-27 安徽农业大学 基于多尺度生成对抗网络的大气湍流图像复原方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611456A (zh) * 2023-12-14 2024-02-27 安徽农业大学 基于多尺度生成对抗网络的大气湍流图像复原方法及系统

Similar Documents

Publication Publication Date Title
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN112001960B (zh) 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN112365514A (zh) 基于改进PSPNet的语义分割方法
CN112232134B (zh) 一种基于沙漏网络结合注意力机制的人体姿态估计方法
CN111768388A (zh) 一种基于正样本参考的产品表面缺陷检测方法及系统
CN111931857B (zh) 一种基于mscff的低照度目标检测方法
CN111754438A (zh) 基于多分支门控融合的水下图像复原模型及其复原方法
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
CN113628139B (zh) 一种基于生成对抗网络的模糊图像复原方法及系统
CN112581423A (zh) 一种基于神经网络的汽车表面缺陷的快速检测方法
CN115880175A (zh) 一种基于改进生成对抗网络的模糊图像复原方法
CN117456330A (zh) 一种基于MSFAF-Net的低照度目标检测方法
CN110570375B (zh) 一种图像处理方法、装置、电子设置以及存储介质
CN115861094A (zh) 一种融合注意力机制的轻量级gan水下图像增强模型
CN114202473A (zh) 一种基于多尺度特征和注意力机制的图像复原方法及装置
CN117593188A (zh) 一种基于无监督深度学习的超分辨率方法及相应设备
CN108154488A (zh) 一种基于显著图像块分析的图像运动模糊去除方法
CN113129237B (zh) 基于多尺度融合编码网络的深度图像去模糊方法
CN116485654A (zh) 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法
CN114155560B (zh) 基于空间降维的高分辨率人体姿态估计模型的轻量化方法
CN112767264B (zh) 基于图卷积神经网络的图像去模糊方法与系统
CN114972062A (zh) 一种基于平行自适应引导网络的图像修复模型及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination