CN114723630A - 基于空洞双残差多尺度深度网络的图像去模糊方法及系统 - Google Patents

基于空洞双残差多尺度深度网络的图像去模糊方法及系统 Download PDF

Info

Publication number
CN114723630A
CN114723630A CN202210335774.4A CN202210335774A CN114723630A CN 114723630 A CN114723630 A CN 114723630A CN 202210335774 A CN202210335774 A CN 202210335774A CN 114723630 A CN114723630 A CN 114723630A
Authority
CN
China
Prior art keywords
image
residual
output
scale
double
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210335774.4A
Other languages
English (en)
Inventor
牛玉贞
林煌伟
陈友昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202210335774.4A priority Critical patent/CN114723630A/zh
Publication of CN114723630A publication Critical patent/CN114723630A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明涉及一种基于空洞双残差多尺度深度网络的图像去模糊方法及系统，该方法包括以下步骤：对原始模糊退化图像和干净图像的训练图像对进行预处理，并组成图像块数据集；构建空洞双残差多尺度深度网络，其采用多尺度编码解码器结构，包括多个空洞双残差模块以及小波重建模块；以图像块数据集为训练数据，根据目标损失函数，利用反向传播方法计算多尺度深度网络中各参数的梯度，并利用随机梯度下降方法更新参数，学习多尺度深度网络的最优参数；将待测图像输入到训练好的空洞双残差多尺度深度网络中，预测生成去除模糊之后的干净图像。该方法及系统有利于提高图像去模糊的性能，去除图像模糊的同时保留更多的图像纹理细节，重建出高质量的清晰图像。

Description

基于空洞双残差多尺度深度网络的图像去模糊方法及系统
技术领域
本发明属于图像处理以及计算机视觉领域，具体涉及一种基于空洞双残差多尺度深度网络的图像去模糊方法及系统。
背景技术
随着科技的发展和拍摄设备的广泛普及，图像的获取和传播已经成为人们日常生活中不可或缺的一部分。然而在相机技术如此发达的今天，我们仍然不可避免的会出现由于相机抖动或者物体运动造成拍摄的照片出现模糊伪影的问题，使得生成的图片质量不佳并且丢失很多细节信息，进而影响图片后续的高级视觉任务，如图像分类、目标检测、语义分割等。因此，图像去模糊任务至关重要，它旨在从模糊图像中恢复出对应的清晰图像，这在计算机视觉领域中具有重要的研究价值。
图像的清晰度对于很多高级视觉理解任务来说尤为重要，一旦图像中存在大量的模糊和伪影，将极大的影响计算机对于图片的理解，阻碍了信息的有效传递。在实际生活中，模糊图像同样影响着医学、监控、美图等行业的发展，对我们的生活造成很大困扰。因此，图像去模糊工作引起了众多研究者的关注，很多先进的去模糊算法被相继提出。图像去模糊问题一般根据模糊核已知和未知分为非盲去模糊和盲去模糊两种。非盲去模糊需要假定模糊核信息均匀分布并且可知，而真实场景下的模糊是非均匀变化且不可知的，盲去模糊则是假设模糊核未知情况下，通过计算模糊核函数和估计清晰图像得到最后的去模糊图像。盲去模糊方法也可再分为传统的方法和基于深度学习的方法两大类。
传统的去模糊的方法大多根据图像的先验信息进行计算，通过引入大量图像的先验或统计信息作为正则化项，迭代估计出模糊核，再通过反卷积方法求解出清晰的图像，这类方法无法较好地适用所有类型的模糊图像，计算复杂且效果欠佳，这使得它难以被运用到实际场景当中。而基于深度学习的方法是一种数据驱动的方法，其表现出来的强大的特征学习表示能力，能够较好地提取到图像的特征，且计算复杂度远低于传统的方法，因此被广泛的应用于图像去模糊任务中。但是，目前基于学习的方法也存在着一些问题，即去模糊的效果不好，容易产生伪影，尤其在纹理细节方面有待优化。另外图像模糊的范围有大有小，目前很多方法无法适用于所有模糊情况，即在小模糊重建出清晰边缘方面做得很好，但在大模糊上就表现不好，或者是在大模糊上的效果很好，而处理小模糊时无法复原出清晰的纹理细节。针对这些问题，如何设计一个有效实用的图像去模糊方法俨然成为研究者关注的热点之一。
发明内容
本发明的目的在于提供一种基于空洞双残差多尺度深度网络的图像去模糊方法及系统，该方法及系统有利于提高图像去模糊的性能，去除图像模糊的同时保留更多的图像纹理细节，重建出高质量的清晰图像。
为实现上述密度，本发明采用的技术方案是：一种基于空洞双残差多尺度深度网络的图像去模糊方法，包括以下步骤：
步骤A、对原始模糊退化图像和干净图像的训练图像对进行预处理，得到原始模糊退化图像和干净图像的训练图像对组成的图像块数据集；
步骤B、构建空洞双残差多尺度深度网络用于图像去模糊，所述空洞双残差多尺度深度网络采用多尺度编码解码器结构设计，包括多个空洞双残差模块以及小波重建模块；
步骤C、构建用于优化网络的目标损失函数loss，以图像块数据集为训练数据，根据所述目标损失函数loss，利用反向传播方法计算所述空洞双残差多尺度深度网络中各参数的梯度，并利用随机梯度下降方法更新参数，最终学习到所述空洞双残差多尺度深度网络的最优参数；
步骤D、将待测图像输入到训练好的空洞双残差多尺度深度网络中，预测生成去除模糊之后的干净图像。
进一步地，所述步骤A的具体实现方法为：将原始模糊退化图像和其对应的干净图像按照一致的方式进行切块，得到H×W尺寸的图像块，同时为了避免重叠切块，每隔m个像素点进行切块；切块后大小为H×W的模糊图像块和H×W的干净图像块一一对应，再将得到的每组成对的图像块进行相同的随机翻转和旋转，对数据进行增强，得到用于训练的成对的模糊图像和干净图像的图像块；其中，每组成对的图像块中的模糊图像为输入，干净图像为参考图像。
进一步地，所述步骤B具体实现步骤如下：
步骤B1、构建空洞双残差块，其由多个空洞双残差模块堆叠形成，用于增大感受野，获取更多图像上下文信息并保留更多细节边缘信息；
步骤B2、构建小波重建模块，用于补偿编码解码器结构中由于重复上下采样而丢失的纹理细节，从而重建出更精细的复原图像；
步骤B3、构建空洞双残差多尺度深度网络，所述空洞双残差多尺度深度网络采用多尺度编码解码器设计，并引入非对称特征融合结构，以更有效地融合多尺度特征。
进一步地，所述步骤B1中，空洞双残差块的实现方法为：
在所述空洞双残差多尺度深度网络中，在每一层的编码器和解码器中都包含一个空洞双残差块，其由多个空洞双残差模块堆叠形成；
每个空洞双残差模块包括两个卷积核为3×3的卷积层以及一个空洞卷积层，特征信息经过空洞双残差模块不改变特征的大小，模块可以增大网络感受野，获取更多图像上下文信息并且保留更多细节边缘信息；
空洞双残差模块将输入特征和模块输出特征使用残差连接，以及在模块内部空洞卷积层构建一个残差连接，具体的，空洞双残差模块按以下公式计算：
Fout＝Conv2(ReLU(Dilated(ReLU(Conv1(Fin))))+ReLU(Conv1(Fin)))+Fin
其中，Conv1(*)、Conv2(*)表示两个卷积核为3×3的卷积层，Dilated(*)表示空洞卷积层，Fin和Fout分别表示空洞双残差模块的输入和输出特征，其中ReLU()表示Relu激活函数。
进一步地，所述步骤B2中，小波重建模块的实现方法为：
所述小波重建模块用于补偿编码解码器结构中由于重复上下采样所丢失的纹理细节，从而重建出更精细的复原图像，小波重建模块主要利用小波变换将空间域信息转换为小波频域进行恢复；通过离散小波变换，将输入特征Fin分为四个不同的频率子带，计算公式如下：
(FLL，FLH，FHL，FHH)＝DWT(Fin)
其中，DWT(*)为离散小波变换运算；FLL，FLH，FHL，FHH分别表示四个频率子带的特征；为了避免不同频率子带之间的干扰，四个子带都经过三个卷积核为3×3的卷积层进行恢复；计算公式如下：
RLL＝C3(FLL)
RLH＝C3(FLH)
RHL＝C3(FHL)
RHH＝C3(FHH)
其中，C3(*)表示三层3×3卷积网络；RLL，RLH，RHL，RHH代表了三层卷积网络恢复的四个频率子带特征；最后利用离散小波逆变换将恢复的频率子带重构为输出特征Dout；计算公式如下：
Dout＝IDWT(RLL，RLH，RHL，RHH)
其中IDWT(*)表示离散小波逆变换运算；
在小波重建阶段，将上一步骤的输出特征DB1分为两个分支，第一个分支将DB1输入卷积核为3×3的反卷积层中将通道数恢复为3得到输出DBout，第二个分支将DB1输入小波重建模块中得到大小为H×W×3的输出Dout，然后将DBout、Dout以及原始输入的模糊图像块In1三者相加，得到输出图像output；计算公式如下：
output＝DBout+Dout+In1。
进一步地，所述步骤B3中，空洞双残差多尺度深度网络的实现方法为：
步骤B31、在编码器阶段，所述空洞双残差多尺度深度网络采用三层的编码解码器设计；第一个编码器输入为大小H×W×3的模糊图像块In1，经过一个卷积核为3×3的卷积层以及空洞双残差块后得到大小为H×W×C的输出EB1；第二个编码器的输入为模糊图像块In1经过下采样两倍后得到大小为
Figure BDA0003576678050000041
的特征图In2，以及前一个编码器的输出EB1，两者经过特征提取注意力模块和空洞双残差块后得到大小为
Figure BDA0003576678050000042
的输出EB2；再将EB2和模糊图像块In1经过下采样四倍后得到大小为
Figure BDA0003576678050000043
的特征图In3输入到第三个编码器，经过特征提取注意力模块和空洞双残差块后得到大小为
Figure BDA0003576678050000044
Figure BDA0003576678050000045
的输出EB3；
在特征提取注意力模块中，输入的下采样后的模糊特征图首先经过卷积核为3×3的卷积层和卷积核为1×1的卷积层，进行浅层特征提取，前一个编码器的输出则经过一个卷积核为3×3的卷积层进行下采样，接着二者进行相乘操作后经过一个通道空间注意力模块CBAM，再与经过下采样后得到的编码器的输出进行逐像素相加得到结果；
步骤B32、在解码器阶段，将步骤B31得到的特征图EB3输入第一个解码器中，经过空洞双残差块和反卷积层后得到输出DB3，第两个解码器的输入则是步骤B31得到的三个编码器输出的EB1、EB2、EB3以及前一个解码器的输出DB3，经过多尺度特征融合模块将四个输入进行特征融合，再依次经过空洞双残差块和反卷积层得到输出DB2，同样的，最后一个解码器输入为EB1、EB2、EB3以及前一个解码器的输出DB2，经过多尺度特征融合模块和空洞双残差块得到大小为H×W×C的输出DB1；将输出DB1分别通过反卷积层、小波重建模块，得到输出DBout、Dout，最后将DBout、Dout与原始输入的模糊图像块In1相加，得到最终的输出图像output，即去模糊后的图像；
在多尺度特征融合模块中，输入为三个编码器的输出EB1、EB2、EB3以及前一个解码器的输出DBt-1，其中，EB1、EB2、EB3分别进行上下采样后变成相同尺寸大小的特征图，再进行通道拼接后经过一个卷积核为3×3的卷积层和一个卷积核为1×1的卷积层融合特征，再与DBt-1进行通道拼接后经过一个卷积核为1×1的卷积层得到最后输出，具体的，多尺度特征融合模块按以下公式计算：
Ft＝Conv1(Concat(Conv3(Conv1(Concat(R(EB1)，R(EB2)，R(EB3))))，DBt-1))
其中，R(*)代表上下采样，Concat(*)表示通道拼接操作，Conv3(*)表示3×3卷积层，Conv1(*)表示1×1卷积层，Ft为第t个解码器融合后的特征，DBt-1代表上一个解码器的输出，EBi代表第i个编码器的输出。
进一步地，所述步骤C具体实现步骤如下：
步骤C1、构建损失函数作为约束来优化所述空洞双残差多尺度深度网络模型，具体的公式如下：
Losstotal＝Losscont+λLossMSFR
其中，Losstotal表示为总的损失函数；Losscont表示为多尺度内容损失函数；LossMSFR表示为多尺度频率重建损失函数；λ表示为该损失的权重；具体地，Losscont内容损失的计算公式如下：
Figure BDA0003576678050000051
其中，||*||1表示L1距离即取绝对值，其中k＝1，…，K，K为训练数据的样本总数，Sk表示输入的第k个模糊图像块相对应的干净图像块，
Figure BDA0003576678050000052
表示网络所预测生成的去模糊后的图像块；
多尺度频率重建损失函数优化预测图像与模糊图像之间的频域差距；LossMSFR具体的计算公式如下：
Figure BDA0003576678050000053
其中，
Figure BDA0003576678050000054
表示将图像信号转换到频域快速傅里叶变换；
步骤C2、将图像块数据集随机分成若干个批次，每个批次包含相同数量的图像块，对所设计的网络进行训练优化，直至步骤C1中计算得到的Loss值收敛到阈值或迭代次数达到阈值，保存训练好的网络模型，完成网络训练过程。
进一步地，所述步骤D中，将用于测试的原始模糊图像输入步骤C中训练好的网络模型中，计算得到最终生成的去模糊图像。
本发明还提供了一种基于空洞双残差多尺度深度网络的图像去模糊系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
与现有技术相比，本发明具有以下有益效果：提供了一种基于空洞双残差多尺度深度网络的图像去模糊方法及系统，以解决现有深度学习去模糊模型中存在的图像纹理细节丢失，不能有效处理不同程度的模糊范围以及去模糊效果不佳等问题。本发明采用多尺度特征融合的跳跃连接，有效地合并了多尺度特征并获取到不同层次范围的模糊核信息。同时该方法构建了空洞双残差模块，利用空洞卷积增大感受野提取不同尺度的特征，双残差结构则可以加强各层次间的特征信息交流，从而保留住更多局部特征。另外，针对编码解码器结构中重复上下采样导致纹理细节丢失的问题，引入小波重建模块，利用小波变换的频域特性为空域重构提供额外的信息，以便使恢复的图像包含更多的高频细节。该方法能够显著提高图像去模糊的性能，去除图像模糊的同时保留更多的图像纹理细节，重建出高质量的清晰图像。因此，本发明具有很强的实用性和广阔的应用前景。
附图说明
图1是本发明实施例的方法实现流程图。
图2是本发明实施例中空洞双残差多尺度深度网络的结构示意图。
图3是本发明实施例中特征提取注意力模块的结构示意图。
图4是本发明实施例中多尺度特征融合模块的结构示意图。
图5是本发明实施例中空洞双残差模块的结构示意图。
图6是本发明实施例中小波重建模块的结构示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种基于空洞双残差多尺度深度网络的图像去模糊方法，包括以下步骤：
步骤A、对原始模糊退化图像和干净图像的训练图像对进行预处理，得到原始模糊退化图像和干净图像的训练图像对组成的图像块数据集。
步骤B、构建空洞双残差多尺度深度网络用于图像去模糊，所述空洞双残差多尺度深度网络采用多尺度编码解码器结构设计，包括多个空洞双残差模块以及小波重建模块。
步骤C、构建用于优化网络的目标损失函数loss，以图像块数据集为训练数据，根据所述目标损失函数loss，利用反向传播方法计算所述空洞双残差多尺度深度网络中各参数的梯度，并利用随机梯度下降方法更新参数，最终学习到所述空洞双残差多尺度深度网络的最优参数。
步骤D、将待测图像输入到训练好的空洞双残差多尺度深度网络中，预测生成去除模糊之后的干净图像。
在本实施例中，所述步骤A的具体实现方法为：将原始模糊退化图像和其对应的干净图像按照一致的方式进行切块，得到H×W尺寸的图像块，同时为了避免重叠切块，每隔m个像素点进行切块；切块后大小为H×W的模糊图像块和H×W的干净图像块一一对应，再将得到的每组成对的图像块进行相同的随机翻转和旋转，对数据进行增强，得到用于训练的成对的模糊图像和干净图像的图像块；其中，每组成对的图像块中的模糊图像为输入，干净图像为参考图像。
在本实施例中，所述步骤B具体实现步骤如下：
步骤B1、构建空洞双残差块，其由多个空洞双残差模块堆叠形成，用于增大感受野，获取更多图像上下文信息并保留更多细节边缘信息。
如图5所示，所述空洞双残差块的实现方法为：
在所述空洞双残差多尺度深度网络中，在每一层的编码器和解码器中都包含一个空洞双残差块，其由多个空洞双残差模块堆叠形成。
每个空洞双残差模块包括两个卷积核为3×3的卷积层以及一个空洞卷积层，特征信息经过空洞双残差模块不改变特征的大小，模块可以增大网络感受野，获取更多图像上下文信息并且保留更多细节边缘信息。
空洞双残差模块将输入特征和模块输出特征使用残差连接，以及在模块内部空洞卷积层构建一个残差连接，具体的，空洞双残差模块按以下公式计算：
Fout＝Conv2(ReLU(Dilated(ReLU(Conv1(Fin))))+ReLU(Conv1(Fin)))+Fin
其中，Conv1(*)、Conv2(*)表示两个卷积核为3×3的卷积层，Dilated(*)表示空洞卷积层，Fin和Fout分别表示空洞双残差模块的输入和输出特征，其中ReLU()表示Relu激活函数。
步骤B2、构建小波重建模块，用于补偿编码解码器结构中由于重复上下采样而丢失的纹理细节，从而重建出更精细的复原图像。
如图6所示，所述小波重建模块的实现方法为：
所述小波重建模块用于补偿编码解码器结构中由于重复上下采样所丢失的纹理细节，从而重建出更精细的复原图像，小波重建模块主要利用小波变换将空间域信息转换为小波频域进行恢复；通过离散小波变换，将输入特征Fin分为四个不同的频率子带，计算公式如下：
(FLL，FLH，FHL，FHH)＝DWT(Fin)
其中，DWT(*)为离散小波变换运算；FLL，FLH，FHL，FHH分别表示四个频率子带的特征；为了避免不同频率子带之间的干扰，四个子带都经过三个卷积核为3×3的卷积层进行恢复；计算公式如下：
RLL＝C3(FLL)
RLH＝C3(FLH)
RHL＝C3(FHL)
RHH＝C3(FHH)
其中，C3(*)表示三层3×3卷积网络；RLL，RLH，RHL，RHH代表了三层卷积网络恢复的四个频率子带特征。最后利用离散小波逆变换将恢复的频率子带重构为输出特征Dout；计算公式如下：
Dout＝IDWT(RLL，RLH，RHL，RHH)
其中IDWT(*)表示离散小波逆变换运算。
在小波重建阶段，将上一步骤的输出特征DB1分为两个分支，第一个分支将DB1输入卷积核为3×3的反卷积层中将通道数恢复为3得到输出DBout，第二个分支将DB1输入小波重建模块中得到大小为H×W×3的输出Dout，然后将DBout、Dout以及原始输入的模糊图像块In1三者相加，得到输出图像output；计算公式如下：
output＝DBout+Dout+In1。
步骤B3、构建空洞双残差多尺度深度网络，所述空洞双残差多尺度深度网络采用多尺度编码解码器设计，并引入非对称特征融合结构，以更有效地融合多尺度特征。
如图2所示，所述空洞双残差多尺度深度网络的实现方法为：
步骤B31、在编码器阶段，所述空洞双残差多尺度深度网络采用三层的编码解码器设计；第一个编码器输入为大小H×W×3的模糊图像块In1，经过一个卷积核为3×3的卷积层以及空洞双残差块后得到大小为H×W×C的输出EB1；第二个编码器的输入为模糊图像块In1经过下采样两倍后得到大小为
Figure BDA0003576678050000091
的特征图In2，以及前一个编码器的输出EB1，两者经过特征提取注意力模块和空洞双残差块后得到大小为
Figure BDA0003576678050000092
的输出EB2；再将EB2和模糊图像块In1经过下采样四倍后得到大小为
Figure BDA0003576678050000093
的特征图In3输入到第三个编码器，经过特征提取注意力模块和空洞双残差块后得到大小为
Figure BDA0003576678050000094
Figure BDA0003576678050000095
的输出EB3。
如图3所示，在特征提取注意力模块中，输入的下采样后的模糊特征图首先经过卷积核为3×3的卷积层和卷积核为1×1的卷积层，进行浅层特征提取，前一个编码器的输出则经过一个卷积核为3×3的卷积层进行下采样，接着二者进行相乘操作后经过一个通道空间注意力模块CBAM，再与经过下采样后得到的编码器的输出进行逐像素相加得到结果。
步骤B32、在解码器阶段，将步骤B31得到的特征图EB3输入第一个解码器中，经过空洞双残差块和反卷积层后得到输出DB3，第两个解码器的输入则是步骤B31得到的三个编码器输出的EB1、EB2、EB3以及前一个解码器的输出DB3，经过多尺度特征融合模块将四个输入进行特征融合，再依次经过空洞双残差块和反卷积层得到输出DB2，同样的，最后一个解码器输入为EB1、EB2、EB3以及前一个解码器的输出DB2，经过多尺度特征融合模块和空洞双残差块得到大小为H×W×C的输出DB1；将输出DB1分别通过反卷积层、小波重建模块，得到输出DBout、Dout，最后将DBout、Dout与原始输入的模糊图像块In1相加，得到最终的输出图像output，即去模糊后的图像。
如图4所示，在多尺度特征融合模块中，输入为三个编码器的输出EB1、EB2、EB3以及前一个解码器的输出DBt-1，其中，EB1、EB2、EB3分别进行上下采样后变成相同尺寸大小的特征图，再进行通道拼接后经过一个卷积核为3×3的卷积层和一个卷积核为1×1的卷积层融合特征，再与DBt-1进行通道拼接后经过一个卷积核为1×1的卷积层得到最后输出，具体的，多尺度特征融合模块按以下公式计算：
Ft＝Conv1(Concat(Conv3(Conv1(Concat(R(EB1)，R(EB2)，R(EB3))))，DBt-1))
其中，R(*)代表上下采样，Concat(*)表示通道拼接操作，Conv3(*)表示3×3卷积层，Conv1(*)表示1×1卷积层，Ft为第t个解码器融合后的特征，DBt-1代表上一个解码器的输出，EBi代表第i个编码器的输出。
在本实施例中，所述步骤C具体实现步骤如下：
步骤C1、构建损失函数作为约束来优化所述空洞双残差多尺度深度网络模型，具体的公式如下：
Losstotal＝Losscont+λLossMSFR
其中，Losstotal表示为总的损失函数；Losscont表示为多尺度内容损失函数；LossMSFR表示为多尺度频率重建损失函数；λ表示为该损失的权重；具体地，Losscont内容损失的计算公式如下：
Figure BDA0003576678050000101
其中，||*||1表示L1距离即取绝对值，其中k＝1，…，K，K为训练数据的样本总数，Sk表示输入的第k个模糊图像块相对应的干净图像块，
Figure BDA0003576678050000102
表示网络所预测生成的去模糊后的图像块。
由于去模糊的目的是恢复丢失的高频分量，因此减少频率空间的差异是必要的，多尺度频率重建损失函数可以优化预测图像与模糊图像之间的频域差距；LossMSFR具体的计算公式如下：
Figure BDA0003576678050000103
其中，
Figure BDA0003576678050000104
表示将图像信号转换到频域快速傅里叶变换。
步骤C2、将图像块数据集随机分成若干个批次，每个批次包含相同数量的图像块，对所设计的网络进行训练优化，直至步骤C1中计算得到的Loss值收敛到阈值或迭代次数达到阈值，保存训练好的网络模型，完成网络训练过程。
在本实施例中，所述步骤D中，将用于测试的原始模糊图像输入步骤C中训练好的网络模型中，计算得到最终生成的去模糊图像。
本实施例提供了一种基于空洞双残差多尺度深度网络的图像去模糊系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (9)

1.一种基于空洞双残差多尺度深度网络的图像去模糊方法，其特征在于，包括以下步骤：
步骤A、对原始模糊退化图像和干净图像的训练图像对进行预处理，得到原始模糊退化图像和干净图像的训练图像对组成的图像块数据集；
步骤B、构建空洞双残差多尺度深度网络用于图像去模糊，所述空洞双残差多尺度深度网络采用多尺度编码解码器结构设计，包括多个空洞双残差模块以及小波重建模块；
步骤C、构建用于优化网络的目标损失函数loss，以图像块数据集为训练数据，根据所述目标损失函数loss，利用反向传播方法计算所述空洞双残差多尺度深度网络中各参数的梯度，并利用随机梯度下降方法更新参数，最终学习到所述空洞双残差多尺度深度网络的最优参数；
步骤D、将待测图像输入到训练好的空洞双残差多尺度深度网络中，预测生成去除模糊之后的干净图像。
2.根据权利要求1所述的基于空洞双残差多尺度深度网络的图像去模糊方法，其特征在于，所述步骤A的具体实现方法为：将原始模糊退化图像和其对应的干净图像按照一致的方式进行切块，得到H×W尺寸的图像块，同时为了避免重叠切块，每隔m个像素点进行切块；切块后大小为H×W的模糊图像块和H×W的干净图像块一一对应，再将得到的每组成对的图像块进行相同的随机翻转和旋转，对数据进行增强，得到用于训练的成对的模糊图像和干净图像的图像块；其中，每组成对的图像块中的模糊图像为输入，干净图像为参考图像。
3.根据权利要求1所述的基于空洞双残差多尺度深度网络的图像去模糊方法，其特征在于，所述步骤B具体实现步骤如下：
步骤B1、构建空洞双残差块，其由多个空洞双残差模块堆叠形成，用于增大感受野，获取更多图像上下文信息并保留更多细节边缘信息；
步骤B2、构建小波重建模块，用于补偿编码解码器结构中由于重复上下采样而丢失的纹理细节，从而重建出更精细的复原图像；
步骤B3、构建空洞双残差多尺度深度网络，所述空洞双残差多尺度深度网络采用多尺度编码解码器设计，并引入非对称特征融合结构，以更有效地融合多尺度特征。
4.根据权利要求3所述的基于空洞双残差多尺度深度网络的图像去模糊方法，其特征在于，所述步骤B1中，空洞双残差块的实现方法为：
在所述空洞双残差多尺度深度网络中，在每一层的编码器和解码器中都包含一个空洞双残差块，其由多个空洞双残差模块堆叠形成；
每个空洞双残差模块包括两个卷积核为3×3的卷积层以及一个空洞卷积层，特征信息经过空洞双残差模块不改变特征的大小，模块可以增大网络感受野，获取更多图像上下文信息并且保留更多细节边缘信息；
空洞双残差模块将输入特征和模块输出特征使用残差连接，以及在模块内部空洞卷积层构建一个残差连接，具体的，空洞双残差模块按以下公式计算：
Fout＝Conv2(ReLU(Dilated(ReLU(Conv1(Fin))))+ReLU(Conv1(Fin)))+Fin
其中，Conv1(*)、Conv2(*)表示两个卷积核为3×3的卷积层，Dilated(*)表示空洞卷积层，Fin和Fout分别表示空洞双残差模块的输入和输出特征，其中ReLU()表示Relu激活函数。
5.根据权利要求4所述的基于空洞双残差多尺度深度网络的图像去模糊方法，其特征在于，所述步骤B2中，小波重建模块的实现方法为：
所述小波重建模块用于补偿编码解码器结构中由于重复上下采样所丢失的纹理细节，从而重建出更精细的复原图像，小波重建模块主要利用小波变换将空间域信息转换为小波频域进行恢复；通过离散小波变换，将输入特征Fin分为四个不同的频率子带，计算公式如下：
(FLL，FLH，FHL，FHH)＝DWT(Fin)
其中，DWT(*)为离散小波变换运算；FLL，FLH，FHL，FHH分别表示四个频率子带的特征；为了避免不同频率子带之间的干扰，四个子带都经过三个卷积核为3×3的卷积层进行恢复；计算公式如下：
RLL＝C3(FLL)
RLH＝C3(FLH)
RHL＝C3(FHL)
RHH＝C3(FHH)
其中，C3(*)表示三层3×3卷积网络；RLL，RLH，RHL，RHH代表了三层卷积网络恢复的四个频率子带特征；最后利用离散小波逆变换将恢复的频率子带重构为输出特征Dout；计算公式如下：
Dout＝IDWT(RLL，RLH，RHL，RHH)
其中IDWT(*)表示离散小波逆变换运算；
在小波重建阶段，将上一步骤的输出特征DB1分为两个分支，第一个分支将DB1输入卷积核为3×3的反卷积层中将通道数恢复为3得到输出DBout，第二个分支将DB1输入小波重建模块中得到大小为H×W×3的输出Dout，然后将DBout、Dout以及原始输入的模糊图像块In1三者相加，得到输出图像output；计算公式如下：
output＝DBout+Dout+In1。
6.根据权利要求5所述的基于空洞双残差多尺度深度网络的图像去模糊方法，其特征在于，所述步骤B3中，空洞双残差多尺度深度网络的实现方法为：
步骤B31、在编码器阶段，所述空洞双残差多尺度深度网络采用三层的编码解码器设计；第一个编码器输入为大小H×W×3的模糊图像块In1，经过一个卷积核为3×3的卷积层以及空洞双残差块后得到大小为H×W×C的输出EB1；第二个编码器的输入为模糊图像块In1经过下采样两倍后得到大小为
Figure FDA0003576678040000031
的特征图In2，以及前一个编码器的输出EB1，两者经过特征提取注意力模块和空洞双残差块后得到大小为
Figure FDA0003576678040000032
的输出EB2；再将EB2和模糊图像块In1经过下采样四倍后得到大小为
Figure FDA0003576678040000033
的特征图In3输入到第三个编码器，经过特征提取注意力模块和空洞双残差块后得到大小为
Figure FDA0003576678040000034
Figure FDA0003576678040000035
的输出EB3；
在特征提取注意力模块中，输入的下采样后的模糊特征图首先经过卷积核为3×3的卷积层和卷积核为1×1的卷积层，进行浅层特征提取，前一个编码器的输出则经过一个卷积核为3×3的卷积层进行下采样，接着二者进行相乘操作后经过一个通道空间注意力模块CBAM，再与经过下采样后得到的编码器的输出进行逐像素相加得到结果；
步骤B32、在解码器阶段，将步骤B31得到的特征图EB3输入第一个解码器中，经过空洞双残差块和反卷积层后得到输出DB3，第两个解码器的输入则是步骤B31得到的三个编码器输出的EB1、EB2、EB3以及前一个解码器的输出DB3，经过多尺度特征融合模块将四个输入进行特征融合，再依次经过空洞双残差块和反卷积层得到输出DB2，同样的，最后一个解码器输入为EB1、EB2、EB3以及前一个解码器的输出DB2，经过多尺度特征融合模块和空洞双残差块得到大小为H×W×C的输出DB1；将输出DB1分别通过反卷积层、小波重建模块，得到输出DBout、Dout，最后将DBout、Dout与原始输入的模糊图像块In1相加，得到最终的输出图像output，即去模糊后的图像；
在多尺度特征融合模块中，输入为三个编码器的输出EB1、EB2、EB3以及前一个解码器的输出DBt-1，其中，EB1、EB2、EB3分别进行上下采样后变成相同尺寸大小的特征图，再进行通道拼接后经过一个卷积核为3×3的卷积层和一个卷积核为1×1的卷积层融合特征，再与DBt-1进行通道拼接后经过一个卷积核为1×1的卷积层得到最后输出，具体的，多尺度特征融合模块按以下公式计算：
Ft＝Conv1(Concat(Conv3(Conv1(Concat(R(EB1)，R(EB2)，R(EB3))))，DBt-1))
其中，R(*)代表上下采样，Concat(*)表示通道拼接操作，Conv3(*)表示3×3卷积层，Conv1(*)表示1×1卷积层，Ft为第t个解码器融合后的特征，DBt-1代表上一个解码器的输出，EBi代表第i个编码器的输出。
7.根据权利要求6所述的基于空洞双残差多尺度深度网络的图像去模糊方法，其特征在于，所述步骤C具体实现步骤如下：
步骤C1、构建损失函数作为约束来优化所述空洞双残差多尺度深度网络模型，具体的公式如下：
Losstotal＝Losscont+λLossMSFR
其中，Losstotal表示为总的损失函数；Losscont表示为多尺度内容损失函数；LossMSFR表示为多尺度频率重建损失函数；λ表示为该损失的权重；具体地，Losscont内容损失的计算公式如下：
Figure FDA0003576678040000041
其中，||*||1表示L1距离即取绝对值，其中k＝1，…，K，K为训练数据的样本总数，Sk表示输入的第k个模糊图像块相对应的干净图像块，
Figure FDA0003576678040000042
表示网络所预测生成的去模糊后的图像块；
多尺度频率重建损失函数优化预测图像与模糊图像之间的频域差距；LossMSFR具体的计算公式如下：
Figure FDA0003576678040000043
其中，
Figure FDA0003576678040000044
表示将图像信号转换到频域快速傅里叶变换；
步骤C2、将图像块数据集随机分成若干个批次，每个批次包含相同数量的图像块，对所设计的网络进行训练优化，直至步骤C1中计算得到的Loss值收敛到阈值或迭代次数达到阈值，保存训练好的网络模型，完成网络训练过程。
8.根据权利要求1所述的基于空洞双残差多尺度深度网络的图像去模糊方法，其特征在于，所述步骤D中，将用于测试的原始模糊图像输入步骤C中训练好的网络模型中，计算得到最终生成的去模糊图像。
9.一种基于空洞双残差多尺度深度网络的图像去模糊系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-8任一项所述的方法步骤。
CN202210335774.4A 2022-03-31 2022-03-31 基于空洞双残差多尺度深度网络的图像去模糊方法及系统 Pending CN114723630A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210335774.4A CN114723630A (zh) 2022-03-31 2022-03-31 基于空洞双残差多尺度深度网络的图像去模糊方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210335774.4A CN114723630A (zh) 2022-03-31 2022-03-31 基于空洞双残差多尺度深度网络的图像去模糊方法及系统

Publications (1)

Publication Number Publication Date
CN114723630A true CN114723630A (zh) 2022-07-08

Family

ID=82242731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210335774.4A Pending CN114723630A (zh) 2022-03-31 2022-03-31 基于空洞双残差多尺度深度网络的图像去模糊方法及系统

Country Status (1)

Country Link
CN (1) CN114723630A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330635A (zh) * 2022-08-25 2022-11-11 苏州大学 一种图像压缩伪迹移除方法、装置及存储介质
CN116681980A (zh) * 2023-07-31 2023-09-01 北京建筑大学 基于深度学习的大缺失率图像修复方法、装置和存储介质
CN116703786A (zh) * 2023-08-09 2023-09-05 天津工业大学 一种基于改进UNet网络的图像去模糊方法和系统
CN116993630A (zh) * 2023-09-27 2023-11-03 闽都创新实验室 基于残差图像的注意力特征的去运动模糊方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376392A (zh) * 2018-01-30 2018-08-07 复旦大学 一种基于卷积神经网络的图像运动模糊去除方法
WO2020087607A1 (zh) * 2018-11-02 2020-05-07 北京大学深圳研究生院 一种基于Bi-Skip-Net的图像去模糊方法
CN112801901A (zh) * 2021-01-21 2021-05-14 北京交通大学 基于分块多尺度卷积神经网络的图像去模糊算法
CN114187191A (zh) * 2021-11-20 2022-03-15 西北工业大学 一种基于高频-低频信息融合的图像去模糊方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376392A (zh) * 2018-01-30 2018-08-07 复旦大学 一种基于卷积神经网络的图像运动模糊去除方法
WO2020087607A1 (zh) * 2018-11-02 2020-05-07 北京大学深圳研究生院 一种基于Bi-Skip-Net的图像去模糊方法
CN112801901A (zh) * 2021-01-21 2021-05-14 北京交通大学 基于分块多尺度卷积神经网络的图像去模糊算法
CN114187191A (zh) * 2021-11-20 2022-03-15 西北工业大学 一种基于高频-低频信息融合的图像去模糊方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
林煌伟: ""基于循环神经网络的多阶段图像去噪方法"", 《小型微型计算机系统》, 31 January 2022 (2022-01-31) *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330635A (zh) * 2022-08-25 2022-11-11 苏州大学 一种图像压缩伪迹移除方法、装置及存储介质
CN115330635B (zh) * 2022-08-25 2023-08-15 苏州大学 一种图像压缩伪迹移除方法、装置及存储介质
CN116681980A (zh) * 2023-07-31 2023-09-01 北京建筑大学 基于深度学习的大缺失率图像修复方法、装置和存储介质
CN116681980B (zh) * 2023-07-31 2023-10-20 北京建筑大学 基于深度学习的大缺失率图像修复方法、装置和存储介质
CN116703786A (zh) * 2023-08-09 2023-09-05 天津工业大学 一种基于改进UNet网络的图像去模糊方法和系统
CN116703786B (zh) * 2023-08-09 2023-10-20 天津工业大学 一种基于改进UNet网络的图像去模糊方法和系统
CN116993630A (zh) * 2023-09-27 2023-11-03 闽都创新实验室 基于残差图像的注意力特征的去运动模糊方法及装置
CN116993630B (zh) * 2023-09-27 2023-12-15 闽都创新实验室 基于残差图像的注意力特征的去运动模糊方法及装置

Similar Documents

Publication Publication Date Title
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN109859147B (zh) 一种基于生成对抗网络噪声建模的真实图像去噪方法
Zou et al. Sdwnet: A straight dilated network with wavelet transformation for image deblurring
CN111080541B (zh) 基于比特分层和注意力融合机制的彩色图像去噪方法
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN111028163A (zh) 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN110276726B (zh) 一种基于多通道网络先验信息引导的图像去模糊方法
CN111861894B (zh) 基于生成式对抗网络的图像去运动模糊方法
CN110766632A (zh) 基于通道注意力机制和特征金字塔的图像去噪方法
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
CN112150354B (zh) 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法
Min et al. Blind deblurring via a novel recursive deep CNN improved by wavelet transform
CN113658057A (zh) 一种Swin Transformer微光图像增强方法
CN115345791A (zh) 一种基于注意力机制残差网络模型的红外图像去模糊算法
Pires et al. Image denoising using attention-residual convolutional neural networks
CN115205136A (zh) 一种基于傅里叶先验的图像去雨方法
CN113096032B (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN112270650A (zh) 基于稀疏自编码器的图像处理方法、系统、介质、设备
CN115205148A (zh) 基于双路径残差网络的图像去模糊方法
CN112085674A (zh) 基于神经网络的航拍图像去模糊算法
CN117058019A (zh) 一种基于金字塔增强网络的低光照下目标检测方法
CN115272113A (zh) 一种基于多尺度频率分离网络的图像去模糊方法
CN112801909B (zh) 基于U-Net和金字塔模块的图像融合去噪方法及系统
CN115170812A (zh) 图像去噪模型训练、降噪方法及其设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination