CN113628139B - 一种基于生成对抗网络的模糊图像复原方法及系统 - Google Patents

一种基于生成对抗网络的模糊图像复原方法及系统 Download PDF

Info

Publication number
CN113628139B
CN113628139B CN202110913832.2A CN202110913832A CN113628139B CN 113628139 B CN113628139 B CN 113628139B CN 202110913832 A CN202110913832 A CN 202110913832A CN 113628139 B CN113628139 B CN 113628139B
Authority
CN
China
Prior art keywords
group
image
image restoration
channels
blurred image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110913832.2A
Other languages
English (en)
Other versions
CN113628139A (zh
Inventor
闫兴鹏
刘云鹏
王晨卿
蒋晓瑜
汪熙
荆涛
王子强
屈强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Academy of Armored Forces of PLA
Original Assignee
Academy of Armored Forces of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Academy of Armored Forces of PLA filed Critical Academy of Armored Forces of PLA
Priority to CN202110913832.2A priority Critical patent/CN113628139B/zh
Publication of CN113628139A publication Critical patent/CN113628139A/zh
Application granted granted Critical
Publication of CN113628139B publication Critical patent/CN113628139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于生成对抗网络的模糊图像复原方法及系统。该方法包括获取待复原的模糊图像；利用训练好的模糊图像复原网络模型对所述待复原的模糊图像进行复原；所述模糊图像复原网络模型基于多尺度条件生成对抗网络进行构建；通过在生成器中构建多尺度残差块，并将多尺度残差块作为生成网络中的主要特征提取块，在生成器中的多个多尺度残差块后添加瓶颈卷积层，每个所述多尺度残差块的输出均发送至所述瓶颈卷积层；本发明能够提高模糊图像复原的真实性。

Description

一种基于生成对抗网络的模糊图像复原方法及系统
技术领域
本发明涉及模糊图像复原领域，特别是涉及一种基于生成对抗网络的模糊图像复原方法及系统。
背景技术
模糊图像复原技术在目标检测、交通监控和医学影像等领域都有着重要作用。在图像拍摄过程中，由于相机抖动旋转、目标物体移动或镜头失焦等因素影响，会导致记录图像模糊不清，图中重要的细节信息丢失或损坏，严重影响图像质量。对模糊图像进行去模糊处理可以恢复出丢失信息，提升视觉观看质量，满足各领域内对清晰图像的任务需求。
传统的去模糊方法首先根据先验约束估计模糊核，而后进行反卷积操作进行模糊图像复原，此类方法存在着计算过程复杂以及容易产生振铃、伪影现象等问题。基于卷积神经网络的模糊图像复原方法通过增加网络深度或宽度的方式来提取图像的多尺度特征信息，这使得模型的参数量和计算量随之增加，且真实感不强。
因此，亟需一种新的模糊图像复原方法或系统以提高模糊图像复原的真实性。
发明内容
本发明的目的是提供一种基于生成对抗网络的模糊图像复原方法及系统，能够提高模糊图像复原的真实性。
为实现上述目的，本发明提供了如下方案：
一种基于生成对抗网络的模糊图像复原方法，包括：
获取待复原的模糊图像；
利用训练好的模糊图像复原网络模型对所述待复原的模糊图像进行复原；所述模糊图像复原网络模型基于多尺度条件生成对抗网络进行构建；所述多尺度条件生成对抗网络包括：生成器、鉴别器和损失函数；所述生成器的构建过程为：
利用1个7×7大小且添加ReLU函数的卷积层和2个3×3大小且添加ReLU函数的跨步卷积层对输入图像进行下采样操作；
利用9个多尺度残差块和1个1×1大小且添加ReLU函数的瓶颈卷积层对下采样操作后的图像进行特征融合，并实现多尺度特征的自适应提取；每个所述多尺度残差块的输出均发送至所述瓶颈卷积层；所述多尺度残差模块包括：part A和partB；在part A中，首先利用1×1大小的瓶颈卷积对输入特征图进行降维处理，随后将特征通道分为四组，第一组特征通道直接输出至part B，第二组特征通道、第三组特征通道和第四组特征通道中均添加1个3×3大小的卷积层和ReLU激活函数；第二组特征通道将相应的输出特征和第三组特征通道的输入特征一起发送至第三组特征通道的卷积层中；第三组特征通道将相应的输出特征和第四组特征通道的输入特征一起发送至第四组特征通道的卷积层中；将第二组特征通道、第三组特征通道和第四组特征通道的输出特征进行融合输入part B中；在part B中利用1个3×3大小和1个5×5大小的卷积层进行并行连接，并加入ReLU激活函数；part B的输出特征和partA中第一组特征通道的特征进行融合后经过1×1大小的瓶颈卷积，恢复特征图的维度；
利用2个3×3大小且添加ReLU函数的转置卷积层和1个7×7大小且添加tanh激活函数的卷积层对提取特征后的图像进行上采样操作，生成复原图像。
可选地，所述鉴别器包括：5个依次连接的卷积层；5个卷积层的内核大小均为4×4；前四个卷积层均与LeakyReLU激活函数层连接；第5个卷积层与Sigmoid激活函数层连接。
可选地，利用公式Lloss＝LD+100×LG确定损失函数；
其中，Lloss为损失函数，LD为对抗损失函数，LG为感知损失函数。
可选地，利用公式
Figure GDA0003807189620000021
确定对抗损失函数；
其中，x为真实数据，Px为真实数据的分布，z为随机噪声，Pz为噪声的分布，y为约束条件，E(*)为数学期望，D(*)为鉴别器对输入数据真假性的判断，即输入数据为真的概率值，G(*)为生成器对输入数据的生成结果。
可选地，利用公式
Figure GDA0003807189620000031
确定感知损失函数；
其中，wi,j和hi,j为特征图的维度，此处选择i＝j＝3。φi,j为在ImageNet数据集上预训练的VGG19网络中第i个池化层前的第j个卷积层输出的特征图。
可选地，所述利用训练好的模糊图像复原网络模型对所述待复原的模糊图像进行复原，之前还包括：
获取模糊图像复原数据集；所述模糊图像复原数据集包括多个清晰与模糊图像对；每个清晰与模糊图像对中的清晰图像与模糊图像一一对应；
将模糊图像复原数据集划分为训练集和测试集；
构建基于多尺度条件生成对抗网络的模糊图像复原网络模型；
将训练集中的清晰与模糊图像对输入到模糊图像复原网络模型中的生成器中，生成复原图像；
将复原图像输入到模糊图像复原网络模型中的鉴别器中，利用相应的清晰图像进行判断；
保持鉴别器的参数不变，重复执行生成复原图像和判断的步骤，调整生成器的参数，使得损失函数逐渐减小直至趋于稳定状态；
保持生成器的参数不变，重复执行生成复原图像和判断的步骤，调整鉴别器的参数，使得损失函数逐渐增大直至趋于稳定状态；
直至损失函数收敛，确定训练好的模糊图像复原网络模型；
利用测试集对训练好的模糊图像复原网络模型进行测试。
一种基于生成对抗网络的模糊图像复原系统，包括：
待复原的模糊图像获取模块，用于获取待复原的模糊图像；
模糊图像复原模块，用于利用训练好的模糊图像复原网络模型对所述待复原的模糊图像进行复原；所述模糊图像复原网络模型基于多尺度条件生成对抗网络进行构建；所述多尺度条件生成对抗网络包括：生成器、鉴别器和损失函数；所述生成器的构建过程为：
利用1个7×7大小且添加ReLU函数的卷积层和2个3×3大小且添加ReLU函数的跨步卷积层对输入图像进行下采样操作；
利用9个多尺度残差块和1个1×1大小且添加ReLU函数的瓶颈卷积层对下采样操作后的图像进行特征融合，并实现多尺度特征的自适应提取；每个所述多尺度残差块的输出均发送至所述瓶颈卷积层；所述多尺度残差模块包括：partA和partB；在partA中，首先利用1×1大小的瓶颈卷积对输入特征图进行降维处理，随后将特征通道分为四组，第一组特征通道直接输出至partB，第二组特征通道、第三组特征通道和第四组特征通道中均添加1个3×3大小的卷积层和ReLU激活函数；第二组特征通道将相应的输出特征和第三组特征通道的输入特征一起发送至第三组特征通道的卷积层中；第三组特征通道将相应的输出特征和第四组特征通道的输入特征一起发送至第四组特征通道的卷积层中；将第二组特征通道、第三组特征通道和第四组特征通道的输出特征进行融合输入partB中；在part B中利用1个3×3大小和1个5×5大小的卷积层进行并行连接，并加入ReLU激活函数；partB的输出特征和partA中第一组特征通道的特征进行融合后经过1×1大小的瓶颈卷积，恢复特征图的维度；
利用2个3×3大小且添加ReLU函数的转置卷积层和1个7×7大小且添加tanh激活函数的卷积层对提取特征后的图像进行上采样操作，生成复原图像。
可选地，还包括：
糊图像复原数据集获取模块，用于获取模糊图像复原数据集；所述模糊图像复原数据集包括多个清晰与模糊图像对；每个清晰与模糊图像对中的清晰图像与模糊图像一一对应；
糊图像复原数据集划分模块，用于将模糊图像复原数据集划分为训练集和测试集；
模糊图像复原网络模型构建模块，用于构建基于多尺度条件生成对抗网络的模糊图像复原网络模型；
复原图像生成模块，用于将训练集中的清晰与模糊图像对输入到模糊图像复原网络模型中的生成器中，生成复原图像；
判断模块，用于将复原图像输入到模糊图像复原网络模型中的鉴别器中，利用相应的清晰图像进行判断；
第一调整模块，用于保持鉴别器的参数不变，重复执行生成复原图像和判断的步骤，调整生成器的参数，使得损失函数逐渐减小直至趋于稳定状态；
第二调整模块，用于保持生成器的参数不变，重复执行生成复原图像和判断的步骤，调整鉴别器的参数，使得损失函数逐渐增大直至趋于稳定状态；
训练好的模糊图像复原网络模型确定模块，用于直至损失函数收敛，确定训练好的模糊图像复原网络模型；
训练好的模糊图像复原网络模型测试模块，用于利用测试集对训练好的模糊图像复原网络模型进行测试。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明所提供的一种基于生成对抗网络的模糊图像复原方法及系统，基于多尺度条件生成对抗网络构建模糊图像复原网络模型，在多尺度条件生成对抗网络中的生成器中构建多尺度残差块，并将多尺度残差块作为生成网络中的主要特征提取块，利用多尺度残差块内部以分级残差连接和增加不同卷积核分支的方式提取图像的多尺度特征信息；在生成器中的多个多尺度残差块后添加瓶颈卷积层，每个所述多尺度残差块的输出均发送至所述瓶颈卷积层，即在它们之间添加了跳跃连接，以此来增强多尺度特征的自适应提取能力，进而提高了模糊图像复原的真实性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种基于生成对抗网络的模糊图像复原方法流程示意图；
图2为模糊图像复原网络模型结构示意图；
图3为多尺度残差块结构示意图；
图4为采用本方法的模糊图像复原效果示意图；
图5为本发明所提供的一种基于生成对抗网络的模糊图像复原系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于生成对抗网络的模糊图像复原方法及系统，能够提高模糊图像复原的真实性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的一种基于生成对抗网络的模糊图像复原方法流程示意图，如图1所示，本发明所提供的一种基于生成对抗网络的模糊图像复原方法，包括：
S101，获取待复原的模糊图像；
S102，利用训练好的模糊图像复原网络模型对所述待复原的模糊图像进行复原；所述模糊图像复原网络模型基于多尺度条件生成对抗网络进行构建；所述多尺度条件生成对抗网络包括：生成器G、鉴别器D和损失函数；如图2所示，所述生成器G的构建过程为：
S201，利用1个7×7大小且添加ReLU函数的卷积层和2个3×3大小且添加ReLU函数的跨步卷积层对输入图像进行下采样操作；
S202，利用9个多尺度残差块和1个1×1大小且添加ReLU函数的瓶颈卷积层对下采样操作后的图像进行特征融合，并实现多尺度特征的自适应提取；每个所述多尺度残差块的输出均发送至所述瓶颈卷积层，即尺度残差块和瓶颈卷积层之间添加了跳跃连接；解决融合特征中的冗余信息，增强了多尺度特征的自适应提取能力。
如图3所示，所述多尺度残差模块包括：partA和partB；在partA中，首先利用1×1大小的瓶颈卷积对输入特征图进行降维处理，随后将特征通道分为四组，第一组特征通道S1直接输出至partB，第二组特征通道S2、第三组特征通道S3和第四组特征通道S4中均添加1个3×3大小的卷积层和ReLU激活函数；第二组特征通道S2将相应的输出特征和第三组特征通道S3的输入特征一起发送至第三组特征通道S3的卷积层中；第三组特征通道S3将相应的输出特征和第四组特征通道S4的输入特征一起发送至第四组特征通道S4的卷积层中；将第二组特征通道S2、第三组特征通道S3和第四组特征通道S4的输出特征进行融合输入partB中；在part B中利用1个3×3大小和1个5×5大小的卷积层进行并行连接，并加入ReLU激活函数；partB的输出特征和partA中第一组特征通道S1的特征进行融合后经过1×1大小的瓶颈卷积，恢复特征图的维度；最后由输入端至输出端添加了全局跳跃连接，提高模型的学习效率。
将内部的特征通道数均分为4组，增加了网路层的感受野范围，在更为精细的层次上提升了多尺度表达能力，并且不会造成运行时间和内存的增加以及模型的过拟合。
S203，利用2个3×3大小且添加ReLU函数的转置卷积层和1个7×7大小且添加tanh激活函数的卷积层对提取特征后的图像进行上采样操作，生成复原图像。
所述鉴别器D包括：5个依次连接的卷积层；5个卷积层的内核大小均为4×4；前四个卷积层均与LeakyReLU激活函数层连接；第5个卷积层与Sigmoid激活函数层连接。鉴别器D其输出值表示输入鉴别器D的图像为清晰图像的概率
利用公式Lloss＝LD+100×LG确定损失函数；联合对抗损失函数和感知损失函数作为总的损失函数，提升了网络训练的稳定性以及复原图像和清晰图像之间的内容一致性。
其中，Lloss为损失函数，LD为对抗损失函数，LG为感知损失函数。
利用公式
Figure GDA0003807189620000081
确定对抗损失函数；
其中，x为真实数据，Px为真实数据的分布，z为随机噪声，Pz为噪声的分布，y为约束条件，E(*)为数学期望，D(*)为鉴别器对输入数据真假性的判断，即输入数据为真的概率值，G(*)为生成器对输入数据的生成结果。
利用公式
Figure GDA0003807189620000082
确定感知损失函数；
其中，wi,j和hi,j为特征图的维度，此处选择i＝j＝3。φi,j为在ImageNet数据集上预训练的VGG19网络中第i个池化层前的第j个卷积层输出的特征图。
S102，之前还包括：
S301，获取模糊图像复原数据集；所述模糊图像复原数据集包括多个清晰与模糊图像对(Si,Bi)；每个清晰与模糊图像对(Si,Bi)中的清晰图像与模糊图像一一对应；模糊图像复原数据集包括多个清晰与模糊图像对(Si,Bi)，使训练的模型具有较低的模型复杂度和较高的模型训练效率。
S302，将模糊图像复原数据集划分为训练集和测试集；
作为一个具体的实施例，训练集中包含2103个清晰-模糊图像对(Si,Bi)，测试集包含1111个清晰-模糊图像对(Sj,Bj)。在每个图像对中，S，B分别表示清晰图像和模糊图像，它们的分辨率大小相同，其中i＝1,2,…,2103，j＝1,2,…,1111。
S303，构建基于多尺度条件生成对抗网络的模糊图像复原网络模型；
S304，将训练集中的清晰与模糊图像对输入到模糊图像复原网络模型中的生成器G中，生成复原图像G(Bi)；清晰图像作为辅助图像信息对该生成过程进行条件约束，使得复原图像G(Bi)更加逼真可靠。
S305，将复原图像输入到模糊图像复原网络模型中的鉴别器D中，利用相应的清晰图像进行判断；
S306，保持鉴别器D的参数不变，重复执行S304和S305的步骤，调整生成器G的参数，使得损失函数逐渐减小直至趋于稳定状态；
S307，保持生成器G的参数不变，重复执行S304和S305的步骤，调整鉴别器D的参数，使得损失函数逐渐增大直至趋于稳定状态；
S308，重复执行S306-S307，直至损失函数收敛，确定训练好的模糊图像复原网络模型；
S309，利用测试集对训练好的模糊图像复原网络模型进行测试。
图4为采用本方法的模糊图像复原效果示意图，如图4所示，图像复原的真实性明显提高。
图5为本发明所提供的一种基于生成对抗网络的模糊图像复原系统结构示意图，如图5所示，本发明所提供的一种基于生成对抗网络的模糊图像复原系统，包括：
待复原的模糊图像获取模块501，用于获取待复原的模糊图像；
模糊图像复原模块502，用于利用训练好的模糊图像复原网络模型对所述待复原的模糊图像进行复原；所述模糊图像复原网络模型基于多尺度条件生成对抗网络进行构建；所述多尺度条件生成对抗网络包括：生成器、鉴别器和损失函数；所述生成器的构建过程为：
利用1个7×7大小且添加ReLU函数的卷积层和2个3×3大小且添加ReLU函数的跨步卷积层对输入图像进行下采样操作；
利用9个多尺度残差块和1个1×1大小且添加ReLU函数的瓶颈卷积层对下采样操作后的图像进行特征融合，并实现多尺度特征的自适应提取；每个所述多尺度残差块的输出均发送至所述瓶颈卷积层；所述多尺度残差模块包括：part A和part B；在part A中，首先利用1×1大小的瓶颈卷积对输入特征图进行降维处理，随后将特征通道分为四组，第一组特征通道直接输出至part B，第二组特征通道、第三组特征通道和第四组特征通道中均添加1个3×3大小的卷积层和ReLU激活函数；第二组特征通道将相应的输出特征和第三组特征通道的输入特征一起发送至第三组特征通道的卷积层中；第三组特征通道将相应的输出特征和第四组特征通道的输入特征一起发送至第四组特征通道的卷积层中；将第二组特征通道、第三组特征通道和第四组特征通道的输出特征进行融合输入part B中；在part B中利用1个3×3大小和1个5×5大小的卷积层进行并行连接，并加入ReLU激活函数；part B的输出特征和partA中第一组特征通道的特征进行融合后经过1×1大小的瓶颈卷积，恢复特征图的维度；
利用2个3×3大小且添加ReLU函数的转置卷积层和1个7×7大小且添加tanh激活函数的卷积层对提取特征后的图像进行上采样操作，生成复原图像。
本发明所提供的一种基于生成对抗网络的模糊图像复原系统，还包括：
糊图像复原数据集获取模块，用于获取模糊图像复原数据集；所述模糊图像复原数据集包括多个清晰与模糊图像对；每个清晰与模糊图像对中的清晰图像与模糊图像一一对应；
糊图像复原数据集划分模块，用于将模糊图像复原数据集划分为训练集和测试集；
模糊图像复原网络模型构建模块，用于构建基于多尺度条件生成对抗网络的模糊图像复原网络模型；
复原图像生成模块，用于将训练集中的清晰与模糊图像对输入到模糊图像复原网络模型中的生成器中，生成复原图像；
判断模块，用于将复原图像输入到模糊图像复原网络模型中的鉴别器中，利用相应的清晰图像进行判断；
第一调整模块，用于保持鉴别器的参数不变，重复执行生成复原图像和判断的步骤，调整生成器的参数，使得损失函数逐渐减小直至趋于稳定状态；
第二调整模块，用于保持生成器的参数不变，重复执行生成复原图像和判断的步骤，调整鉴别器的参数，使得损失函数逐渐增大直至趋于稳定状态；
训练好的模糊图像复原网络模型确定模块，用于直至损失函数收敛，确定训练好的模糊图像复原网络模型；
训练好的模糊图像复原网络模型测试模块，用于利用测试集对训练好的模糊图像复原网络模型进行测试。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于生成对抗网络的模糊图像复原方法，其特征在于，包括：
获取待复原的模糊图像；
利用训练好的模糊图像复原网络模型对所述待复原的模糊图像进行复原；所述模糊图像复原网络模型基于多尺度条件生成对抗网络进行构建；所述多尺度条件生成对抗网络包括：生成器、鉴别器和损失函数；所述生成器的构建过程为：
利用1个7×7大小且添加ReLU函数的卷积层和2个3×3大小且添加ReLU函数的跨步卷积层对输入图像进行下采样操作；
利用9个多尺度残差块和1个1×1大小且添加ReLU函数的瓶颈卷积层对下采样操作后的图像进行特征融合，并实现多尺度特征的自适应提取；每个所述多尺度残差块的输出均发送至所述瓶颈卷积层；所述多尺度残差块包括：part A和part B；在part A中，首先利用1×1大小的瓶颈卷积对输入特征图进行降维处理，随后将特征通道分为四组，第一组特征通道直接输出至part B，第二组特征通道、第三组特征通道和第四组特征通道中均添加1个3×3大小的卷积层和ReLU激活函数；第二组特征通道将相应的输出特征和第三组特征通道的输入特征一起发送至第三组特征通道的卷积层中；第三组特征通道将相应的输出特征和第四组特征通道的输入特征一起发送至第四组特征通道的卷积层中；将第二组特征通道、第三组特征通道和第四组特征通道的输出特征进行融合输入part B中；在part B中利用1个3×3大小和1个5×5大小的卷积层进行并行连接，并加入ReLU激活函数；part B的输出特征和part A中第一组特征通道的特征进行融合后经过1×1大小的瓶颈卷积，恢复特征图的维度；
利用2个3×3大小且添加ReLU函数的转置卷积层和1个7×7大小且添加tanh激活函数的卷积层对提取特征后的图像进行上采样操作，生成复原图像。
2.根据权利要求1所述的一种基于生成对抗网络的模糊图像复原方法，其特征在于，所述鉴别器包括：5个依次连接的卷积层；5个卷积层的内核大小均为4×4；前四个卷积层均与LeakyReLU激活函数层连接；第5个卷积层与Sigmoid激活函数层连接。
3.根据权利要求1所述的一种基于生成对抗网络的模糊图像复原方法，其特征在于，利用公式Lloss＝LD+100×LG确定损失函数；
其中，Lloss为损失函数，LD为对抗损失函数，LG为感知损失函数。
4.根据权利要求3所述的一种基于生成对抗网络的模糊图像复原方法，其特征在于，利用公式
Figure FDA0003807189610000021
确定对抗损失函数；
其中，x为真实数据，Px为真实数据的分布，z为随机噪声，Pz为噪声的分布，y为约束条件，E(*)为数学期望，D(*)为鉴别器对输入数据真假性的判断，即输入数据为真的概率值，G(*)为生成器对输入数据的生成结果。
5.根据权利要求3所述的一种基于生成对抗网络的模糊图像复原方法，其特征在于，利用公式
Figure FDA0003807189610000022
确定感知损失函数；
其中，wi,j和hi,j为特征图的维度，此处选择i＝j＝3，φi,j为在ImageNet数据集上预训练的VGG19网络中第i个池化层前的第j个卷积层输出的特征图，S，B分别表示清晰图像和模糊图像。
6.根据权利要求1所述的一种基于生成对抗网络的模糊图像复原方法，其特征在于，所述利用训练好的模糊图像复原网络模型对所述待复原的模糊图像进行复原，之前还包括：
获取模糊图像复原数据集；所述模糊图像复原数据集包括多个清晰与模糊图像对；每个清晰与模糊图像对中的清晰图像与模糊图像一一对应；
将模糊图像复原数据集划分为训练集和测试集；
构建基于多尺度条件生成对抗网络的模糊图像复原网络模型；
将训练集中的清晰与模糊图像对输入到模糊图像复原网络模型中的生成器中，生成复原图像；
将复原图像输入到模糊图像复原网络模型中的鉴别器中，利用相应的清晰图像进行判断；
保持鉴别器的参数不变，重复执行生成复原图像和判断的步骤，调整生成器的参数，使得损失函数逐渐减小直至趋于稳定状态；
保持生成器的参数不变，重复执行生成复原图像和判断的步骤，调整鉴别器的参数，使得损失函数逐渐增大直至趋于稳定状态；
直至损失函数收敛，确定训练好的模糊图像复原网络模型；
利用测试集对训练好的模糊图像复原网络模型进行测试。
7.一种基于生成对抗网络的模糊图像复原系统，其特征在于，包括：
待复原的模糊图像获取模块，用于获取待复原的模糊图像；
模糊图像复原模块，用于利用训练好的模糊图像复原网络模型对所述待复原的模糊图像进行复原；所述模糊图像复原网络模型基于多尺度条件生成对抗网络进行构建；所述多尺度条件生成对抗网络包括：生成器、鉴别器和损失函数；所述生成器的构建过程为：
利用1个7×7大小且添加ReLU函数的卷积层和2个3×3大小且添加ReLU函数的跨步卷积层对输入图像进行下采样操作；
利用9个多尺度残差块和1个1×1大小且添加ReLU函数的瓶颈卷积层对下采样操作后的图像进行特征融合，并实现多尺度特征的自适应提取；每个所述多尺度残差块的输出均发送至所述瓶颈卷积层；所述多尺度残差块包括：part A和part B；在part A中，首先利用1×1大小的瓶颈卷积对输入特征图进行降维处理，随后将特征通道分为四组，第一组特征通道直接输出至part B，第二组特征通道、第三组特征通道和第四组特征通道中均添加1个3×3大小的卷积层和ReLU激活函数；第二组特征通道将相应的输出特征和第三组特征通道的输入特征一起发送至第三组特征通道的卷积层中；第三组特征通道将相应的输出特征和第四组特征通道的输入特征一起发送至第四组特征通道的卷积层中；将第二组特征通道、第三组特征通道和第四组特征通道的输出特征进行融合输入part B中；在part B中利用1个3×3大小和1个5×5大小的卷积层进行并行连接，并加入ReLU激活函数；part B的输出特征和part A中第一组特征通道的特征进行融合后经过1×1大小的瓶颈卷积，恢复特征图的维度；
利用2个3×3大小且添加ReLU函数的转置卷积层和1个7×7大小且添加tanh激活函数的卷积层对提取特征后的图像进行上采样操作，生成复原图像。
8.根据权利要求7所述的一种基于生成对抗网络的模糊图像复原系统，其特征在于，还包括：
糊图像复原数据集获取模块，用于获取模糊图像复原数据集；所述模糊图像复原数据集包括多个清晰与模糊图像对；每个清晰与模糊图像对中的清晰图像与模糊图像一一对应；
糊图像复原数据集划分模块，用于将模糊图像复原数据集划分为训练集和测试集；
模糊图像复原网络模型构建模块，用于构建基于多尺度条件生成对抗网络的模糊图像复原网络模型；
复原图像生成模块，用于将训练集中的清晰与模糊图像对输入到模糊图像复原网络模型中的生成器中，生成复原图像；
判断模块，用于将复原图像输入到模糊图像复原网络模型中的鉴别器中，利用相应的清晰图像进行判断；
第一调整模块，用于保持鉴别器的参数不变，重复执行生成复原图像和判断的步骤，调整生成器的参数，使得损失函数逐渐减小直至趋于稳定状态；
第二调整模块，用于保持生成器的参数不变，重复执行生成复原图像和判断的步骤，调整鉴别器的参数，使得损失函数逐渐增大直至趋于稳定状态；
训练好的模糊图像复原网络模型确定模块，用于直至损失函数收敛，确定训练好的模糊图像复原网络模型；
训练好的模糊图像复原网络模型测试模块，用于利用测试集对训练好的模糊图像复原网络模型进行测试。
CN202110913832.2A 2021-08-10 2021-08-10 一种基于生成对抗网络的模糊图像复原方法及系统 Active CN113628139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110913832.2A CN113628139B (zh) 2021-08-10 2021-08-10 一种基于生成对抗网络的模糊图像复原方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110913832.2A CN113628139B (zh) 2021-08-10 2021-08-10 一种基于生成对抗网络的模糊图像复原方法及系统

Publications (2)

Publication Number Publication Date
CN113628139A CN113628139A (zh) 2021-11-09
CN113628139B true CN113628139B (zh) 2022-09-30

Family

ID=78383997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110913832.2A Active CN113628139B (zh) 2021-08-10 2021-08-10 一种基于生成对抗网络的模糊图像复原方法及系统

Country Status (1)

Country Link
CN (1) CN113628139B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359105A (zh) * 2022-01-10 2022-04-15 深圳宏芯宇电子股份有限公司 图像修复系统及其图像修复方法
CN114708170A (zh) * 2022-06-06 2022-07-05 松立控股集团股份有限公司 一种基于增强多尺度特征的车牌图像去模糊方法
CN118538420A (zh) * 2024-07-24 2024-08-23 深圳大学 母胎人群队列数据集生成方法、装置、终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376387A (zh) * 2018-01-04 2018-08-07 复旦大学 基于聚合膨胀卷积网络的图像去模糊方法
CN111199522A (zh) * 2019-12-24 2020-05-26 重庆邮电大学 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法
CN112509001A (zh) * 2020-11-24 2021-03-16 河南工业大学 一种多尺度和多特征融合的特征金字塔网络盲复原方法
CN112884671A (zh) * 2021-02-26 2021-06-01 南京航空航天大学 一种基于无监督生成对抗网络的模糊图像复原方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376387A (zh) * 2018-01-04 2018-08-07 复旦大学 基于聚合膨胀卷积网络的图像去模糊方法
CN111199522A (zh) * 2019-12-24 2020-05-26 重庆邮电大学 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法
CN112509001A (zh) * 2020-11-24 2021-03-16 河南工业大学 一种多尺度和多特征融合的特征金字塔网络盲复原方法
CN112884671A (zh) * 2021-02-26 2021-06-01 南京航空航天大学 一种基于无监督生成对抗网络的模糊图像复原方法

Also Published As

Publication number Publication date
CN113628139A (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
CN113628139B (zh) 一种基于生成对抗网络的模糊图像复原方法及系统
CN109858461B (zh) 一种密集人群计数的方法、装置、设备以及存储介质
CN110378844B (zh) 基于循环多尺度生成对抗网络的图像盲去运动模糊方法
CN111598761B (zh) 一种基于图像降噪的抗打印拍摄图像数字水印方法
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN111340122A (zh) 一种多模态特征融合的文本引导图像修复方法
CN113592736A (zh) 一种基于融合注意力机制的半监督图像去模糊方法
CN109636721B (zh) 基于对抗学习和注意力机制的视频超分辨率方法
CN112580473B (zh) 一种融合运动特征的视频超分辨率重构方法
CN109447897B (zh) 一种真实场景图像合成方法及系统
CN112862689A (zh) 一种图像超分辨率重建方法及系统
CN113160085B (zh) 一种基于生成对抗网络的水花遮挡图像数据集采集方法
CN110570375B (zh) 一种图像处理方法、装置、电子设置以及存储介质
CN116778165A (zh) 基于多尺度自适应语义分割的遥感影像灾害检测方法
CN117422619A (zh) 图像重建模型的训练方法、图像重建方法、装置及设备
CN115908753A (zh) 一种全身人体网格表面重建方法及相关装置
CN118365879A (zh) 一种基于场景感知类关注的异构遥感图像分割方法
CN114926734A (zh) 基于特征聚合和注意融合的固体废弃物检测装置及方法
CN110675311A (zh) 一种素描序约束下的素描生成的方法、装置及存储介质
CN111597847A (zh) 一种二维码识别方法、装置、设备及可读存储介质
CN117036171A (zh) 单幅图像的蓝图可分离残差平衡蒸馏超分辨率重建模型及方法
CN116912148A (zh) 图像增强方法、装置、计算机设备及计算机可读存储介质
CN111553861A (zh) 一种图像超分辨率重构方法、装置、设备及可读存储介质
CN115760603A (zh) 一种基于大数据技术的干涉阵列宽带成像方法
CN114820316A (zh) 一种基于深度学习的视频图像超分辨率恢复系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant