CN115205148A - 基于双路径残差网络的图像去模糊方法 - Google Patents

基于双路径残差网络的图像去模糊方法 Download PDF

Info

Publication number
CN115205148A
CN115205148A CN202210831760.1A CN202210831760A CN115205148A CN 115205148 A CN115205148 A CN 115205148A CN 202210831760 A CN202210831760 A CN 202210831760A CN 115205148 A CN115205148 A CN 115205148A
Authority
CN
China
Prior art keywords
image
output
deblurring
network
residual error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210831760.1A
Other languages
English (en)
Inventor
牛玉贞
林煌伟
陈俊豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202210831760.1A priority Critical patent/CN115205148A/zh
Publication of CN115205148A publication Critical patent/CN115205148A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于双路径残差网络的图像去模糊方法，包括以下步骤：步骤A、获取模糊图像和干净图像并预处理，得到模糊图像块和对应干净图像块组成的训练图像块数据集；步骤B、基于双路径残差网络构建去模糊网络模型；步骤C、基于训练图像块数据集，根据预设目标损失函数loss，利用反向传播方法计算去模糊网络模型中各参数的梯度，并利用随机梯度下降方法更新参数，最终学习到图像去模糊网络的最优参数，得到最终的去模糊网络模型；步骤D、将待测图像输入到最终的去模糊网络模型中，预测生成去除模糊之后的干净图像。本发明实现去除图像模糊的同时保留更多的图像高频细节，重建出高质量的清晰图像。

Description

基于双路径残差网络的图像去模糊方法
技术领域
本发明涉及图像和视频处理以及计算机视觉领域，具体涉及一种基于双路径残差网络的图像去模糊方法。
背景技术
随着科技的发展和拍摄设备的广泛普及，图像的获取和传播已经成为人们日常生活中不可或缺的一部分。然而在相机技术如此发达的今天，我们仍然不可避免的会出现由于相机抖动或者物体运动造成拍摄的照片出现模糊伪影的问题，使得生成的图片质量不佳并且丢失很多细节信息，进而影响图片后续的高级视觉任务，如图像分类、目标检测、语义分割等。因此，图像去模糊任务至关重要，它旨在从模糊图像中恢复出对应的清晰图像，这在计算机视觉领域中具有重要的研究价值。
图像的清晰度对于很多高级视觉理解任务来说尤为重要，一旦图像中存在大量的模糊和伪影，将极大的影响计算机对于图片的理解，阻碍了信息的有效传递。在实际生活中，模糊图像同样影响着医学、监控、美图等行业的发展，对我们的生活造成很大困扰。因此，图像去模糊工作引起了众多研究者的关注，很多先进的去模糊算法被相继提出。图像去模糊问题一般根据模糊核已知和未知分为非盲去模糊和盲去模糊两种。非盲去模糊需要假定模糊核信息均匀分布并且可知，而真实场景下的模糊是非均匀变化且不可知的，盲去模糊则是假设模糊核未知情况下，通过计算模糊核函数和估计清晰图像得到最后的去模糊图像。盲去模糊方法也可再分为传统的方法和基于深度学习的方法两大类。
传统的去模糊的方法大多根据图像的先验信息进行计算，通过引入大量图像的先验或统计信息作为正则化项，迭代估计出模糊核，再通过反卷积方法求解出清晰的图像，这类方法无法较好地适用所有类型的模糊图像，计算复杂且效果欠佳，这使得它难以被运用到实际场景当中。而基于深度学习的方法是一种数据驱动的方法，其表现出来的强大的特征学习表示能力，能够较好地提取到图像的特征，且计算复杂度远低于传统的方法，因此被广泛的应用于图像去模糊任务中。但是，目前基于学习的方法也存在着一些问题，即去模糊的效果不好，容易产生伪影，尤其在纹理细节方面有待优化。另外图像模糊的范围有大有小，目前很多方法无法适用于所有模糊情况，即在小模糊重建出清晰边缘方面做得很好，但在大模糊上就表现不好，或者是在大模糊上的效果很好，而处理小模糊时无法复原出清晰的纹理细节。针对这些问题，如何设计一个有效实用的图像去模糊方法俨然成为研究者关注的热点之一。
发明内容
有鉴于此，本发明的目的在于提供一种基于双路径残差网络的图像去模糊方法，实现去除图像模糊的同时保留更多的图像高频细节，重建出高质量的清晰图像。
为实现上述目的，本发明采用如下技术方案：
一种基于双路径残差网络的图像去模糊方法，包括以下步骤：
步骤A、获取模糊图像和干净图像并预处理，得到模糊图像块和对应干净图像块组成的训练图像块数据集；
步骤B、基于双路径残差网络构建去模糊网络模型；
步骤C、基于训练图像块数据集，根据预设目标损失函数loss，利用反向传播方法计算去模糊网络模型中各参数的梯度，并利用随机梯度下降方法更新参数，最终学习到图像去模糊网络的最优参数，得到最终的去模糊网络模型；
步骤D、将待测图像输入到最终的去模糊网络模型中，预测生成去除模糊之后的干净图像。
进一步的，所述预处理具体为：
将获取的模糊图像和其对应的干净图像按照一致的方式进行切块，得到H×W尺寸的图像块；切块后大小均为H×W的模糊图像块和干净图像块一一对应，再将得到的每组成对的图像块进行相同的随机翻转和旋转，对数据进行增强，得到用于训练的成对的模糊图像块和干净图像块，其中，每组成对的图像块中的模糊图像块作为输入图像，干净图像块作为参考图像。
进一步的，所述去模糊网络模型包括一个去模糊子网络和一个细节增强子网络，两者采用并行的方式分别对输入图像进行去模糊和细节增强。
进一步的，所述去模糊子网络，网络采用三层的编码解码器设计
在编码器阶段，第一个编码器输入为大小H×W×3的模糊图像块In1，经过一个卷积核为3×3的卷积层以及多个空洞双残差模块后得到大小为H×W×C的输出EB1，其中C是一个常数；第二个编码器的输入为模糊图像块In1经过下采样两倍后得到大小为
Figure BDA0003748715540000041
的模糊图像块In2，以及前一个编码器的输出EB1，两者经过特征提取模块和多个空洞双残差模块后得到大小为
Figure BDA0003748715540000042
的输出EB2；再将EB2和模糊图像块In1经过下采样四倍后得到大小为
Figure BDA0003748715540000043
的模糊图像块In3输入到第三个编码器，经过特征提取模块和多个空洞双残差模块后得到大小为
Figure BDA0003748715540000044
的输出EB3；
在解码器阶段，将步骤B11得到的特征图EB3输入第一个解码器中，经过多个空洞双残差模块和反卷积层后得到输出DB3，第两个解码器的输入则是步骤B11得到的三个编码器输出的EB1、EB2、EB3以及前一个解码器的输出DB3，经过多尺度特征融合模块将四个输入进行特征融合，再依次经过多个空洞双残差模块和反卷积层得到输出DB2，同样的，最后一个解码器输入为EB1、EB2、EB3以及前一个解码器的输出DB2，依次经过多尺度特征融合模块和多个空洞双残差模块以及反卷积层后得到大小为H×W×C的输出Out1。
进一步的，所述特征提取模块，输入的下采样后的模糊图像块首先经过卷积核为3×3的卷积层和卷积核为1×1的卷积层，进行浅层特征提取，得到特征图F1，前一个编码器的输出则经过一个卷积核为3×3的卷积层进行下采样，得到特征图F2，接着F1和F2进行相乘操作后经过一个卷积核为3×3的反卷积层恢复通道数，其中第二个和第三个编码器中用到的特征提取模块恢复到的通道数分别为2C和4C，最后与特征图F2进行逐像素相加得到结果；
所述去模糊子网络中的每一层的编码器和解码器中都包含多个空洞双残差模块，其中，每个空洞双残差模块依次包括卷积核为3×3的卷积层、ReLU激活函数、一个空洞率为2的空洞卷积层、ReLU激活函数以及卷积核为3×3的卷积层；在空洞双残差模块中，输入特征和模块输出特征进行全局残差连接，此外，在模块内部第一个ReLU激活函数的输出特征和第二个ReLU激活函数的输出特征之间进行局部残差连接；具体的，空洞双残差模块按以下公式计算：
Fout＝Conv2(ReLU(Dilated(ReLU(Conv1(Fin))))+ReLU(Conv1(Fin)))+Fin
其中，Conv1(*)、Conv2(*)表示两个卷积核为3×3的卷积层，Dilated(*)表示空洞卷积层，Fin和Fout分别表示空洞双残差模块的输入和输出特征，其中ReLU()表示ReLU激活函数；
所述多尺度特征融合模块，输入为三个编码器的输出EB1、EB2、EB3以及前一个解码器的输出，其中，第t个编码器中的多尺度特征融合模块的输入是第t-1个编码器的输出DBt-1；输入EB1、EB2、EB3分别进行上下采样后变成与DBt-1的宽度和高度相同的特征图，再进行通道拼接后依次经过一个卷积核为1×1的卷积层和一个卷积核为3×3的卷积层融合特征，再与DBt-1进行通道拼接后经过一个卷积核为1×1的卷积层得到最后输出。具体的，在第t个编码器中的多尺度特征融合模块按以下公式计算：
Ft＝Conv1(Concat(Conv3(Conv1(Concat(R(EB1)，R(EB2)，R(EB3))))，DBt-1))
其中，R(*)代表上下采样，Concat(*)表示通道拼接操作，Conv3(*)表示3×3卷积层，Conv1(*)表示1×1卷积层，Ft为第t个解码器融合后的特征，DBt-1代表上一个解码器的输出，EBi代表第i个编码器的输出。
进一步的，所述细节增强子网络包括一个卷积核为3×3的卷积层、若干上下文聚合残差模块以及一个卷积核为3×3的反卷积层；首先将模糊图像块输入到3×3的卷积层中提取浅层特征，再经过多个上下文聚合残差模块提出深层特征，得到的深层特征与浅层特征进行残差相加，最后经过一个3×3的反卷积层恢复图像的通道数，得到细节增强子网络的输出Out2。
进一步的，所述上下文聚合残差模块，模块由两个空洞聚合模块和一个ReLU激活函数组成；首先我们将输入特征输入到一个空洞聚合模块中，特征分别经过空洞率为1、2、3的空洞卷积层，得到不同尺度的细节特征，再将三个细节特征进行通道拼接来融合上下文信息，最后经过一个1×1的卷积层恢复为原来的通道数得到空洞聚合模块的输出。第一个空洞聚合模块的输出经过一个ReLU激活函数和第二个空洞聚合模块后，再与原始输入进行逐像素相加得到最终的上下文聚合模块的输出。
进一步的，所述双路径残差网络，通过整合去模糊子网络和细节增强子网络来组成双路径残差网络，具体的：将模糊图像块In1分为两个分支，第一个分支将In1输入到去模糊子网络中，得到输出特征Out1；第二个分支将In1输入到细节增强子网络中，得到输出特征Out2，然后将Out1、Out2以及输入的模糊图像块In1三者相加，得到最终的输出图像output，即去模糊后的图像，具体的计算公式如下：
output＝Out1+Out2+In1
进一步的，所述步骤C，具体为：
步骤C1、预设损失函数作为约束来优化双路径残差网络模型，具体的公式如下：
Losstotal＝Losscont+λLossMSFR
其中，Losstotal表示为总的损失函数；Losscont表示为内容损失函数；LossMSFR表示为多尺度频率重建损失函数；λ表示为该损失的权重；具体地，Losscont内容损失的计算公式如下：
Figure BDA0003748715540000071
其中，||*|||1表示L1距离即取绝对值，其中k＝1，...，K(K为训练数据的样本总数)，Sk表示输入的第k个模糊图像块相对应的干净图像块，
Figure BDA0003748715540000073
表示网络所预测生成的去模糊后的图像块；
LossMSFR具体的计算公式如下：
Figure BDA0003748715540000072
其中，||*|||1表示L1距离即取绝对值，其中k＝1，...，K(K为训练数据的样本总数)，Sk表示输入的第k个模糊图像块相对应的干净图像块，
Figure BDA0003748715540000081
表示网络所预测生成的去模糊后的图像块，
Figure BDA0003748715540000082
表示采用快速傅里叶变换将图像信号转换为频域信号的结果；
步骤C2、将图像块数据集随机分成若干个批次，每个批次包含相同数量的图像块，对去模糊网络模型进行训练优化，直至步骤C1中计算得到的Loss值收敛到阈值或迭代次数达到阈值，保存训练好的去模糊网络模型，完成网络训练过程。
一种基于双路径残差网络的图像去模糊系统，包括处理器、存储器以及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时，具体执行如上所述的图像去模糊方法中的步骤。
本发明与现有技术相比具有以下有益效果：
1、本发明解决现有深度学习去模糊模型中存在的图像纹理细节丢失，不能有效处理不同程度的模糊范围以及去模糊效果不佳等问题；
2、本发明模型由去模糊子网络和细节增强子网络两部分构成。在去模糊子网络中，我们设计了空洞双残差模块，利用空洞卷积增大感受野提取不同尺度的特征，双残差结构则可以加强各层次间的特征信息交流，从而获取更多的局部特征，同时该网络采用多尺度特征融合的跳跃连接，有效地合并了多尺度特征并获取到不同层次范围的模糊核信息；
3、本发明在细节增强子网络中，我们设计了上下文聚合残差模块用来更好地提取图像的高频细节特征并融合图像的上下文信息，得到的输出特征可以为最终的去模糊图像提供更丰富的高频细节信息。该方法采用并行方法处理模糊图像，能够显著提高图像去模糊的性能，去除图像模糊的同时保留更多的图像纹理细节，重建出高质量的去模糊图像，具有较高的使用价值。
附图说明
图1是本发明方法的实现流程图；
图2是本发明实施例中基于双路径残差网络的图像去模糊方法模型的结构图；
图3是本发明实施例中特征提取模块图；
图4是本发明实施例中空洞双残差模块图；
图5是本发明实施例中多尺度特征融合模块图；
图6是本发明实施例中上下文聚合残差模块图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于双路径残差网络的图像去模糊方法，如图1所示，包括以下步骤：
步骤A、获取模糊图像和干净图像并预处理，得到模糊图像块和对应干净图像块组成的训练图像块数据集；
步骤B、基于双路径残差网络构建去模糊网络模型；
步骤C、基于训练图像块数据集，根据预设目标损失函数loss，利用反向传播方法计算去模糊网络模型中各参数的梯度，并利用随机梯度下降方法更新参数，最终学习到图像去模糊网络的最优参数，得到最终的去模糊网络模型；
步骤D、将待测图像输入到最终的去模糊网络模型中，预测生成去除模糊之后的干净图像。
优选的，在本实施例中，步骤A包括以下步骤：将模糊图像和其对应的干净图像按照一致的方式进行切块，得到H×W尺寸的图像块，同时为了避免重叠切块，每隔m个像素点进行切块；切块后大小均为H×W的模糊图像块和干净图像块一一对应，再将得到的每组成对的图像块进行相同的随机翻转和旋转，对数据进行增强，得到用于训练的成对的模糊图像块和干净图像块，其中，每组成对的图像块中的模糊图像块作为输入图像，干净图像作为参考图像。
优选的，在本实施例中，去模糊子网络，采用多尺度融合的编码解码器结构设计，包含有特征提取模块、空洞双残差模块和多尺度融合模块，可以有效地提取并融合不同尺度的特征信息进行图像去模糊；
细节增强子网络，网络包含多个上下文聚合残差模块，用于补偿编码解码器结构中由于重复上下采样所丢失的纹理细节，为最终的去模糊图像提供更丰富的高频细节特征；
双路径残差网络，如图2所示，整合去模糊子网络和细节增强子网络，使用端到端的方法处理模糊图像，去除图像模糊的同时保留更多的图像纹理细节，重建出高质量的去模糊图像。
优选的，在本实施例中，去模糊子网络，网络采用三层的编码解码器设计。在编码器阶段，第一个编码器输入为大小H×W×3的模糊图像块In1，经过一个卷积核为3×3的卷积层以及多个空洞双残差模块后得到大小为H×W×C的输出EB1，其中C是一个常数；第二个编码器的输入为模糊图像块In1经过下采样两倍后得到大小为
Figure BDA0003748715540000111
Figure BDA0003748715540000112
的模糊图像块In2，以及前一个编码器的输出EB1，两者经过特征提取模块和多个空洞双残差模块后得到大小为
Figure BDA0003748715540000113
的输出EB2；再将EB2和模糊图像块In1经过下采样四倍后得到大小为
Figure BDA0003748715540000114
Figure BDA0003748715540000115
的模糊图像块In3输入到第三个编码器，经过特征提取模块和多个空洞双残差模块后得到大小为
Figure BDA0003748715540000116
的输出EB3；
在解码器阶段，将步骤B11得到的特征图EB3输入第一个解码器中，经过多个空洞双残差模块和反卷积层后得到输出DB3，第两个解码器的输入则是步骤B11得到的三个编码器输出的EB1、EB2、EB3以及前一个解码器的输出DB3，经过多尺度特征融合模块将四个输入进行特征融合，再依次经过多个空洞双残差模块和反卷积层得到输出DB2，同样的，最后一个解码器输入为EB1、EB2、EB3以及前一个解码器的输出DB2，依次经过多尺度特征融合模块和多个空洞双残差模块以及反卷积层后得到大小为H×W×C的输出Out1；
优选的，如图3所示，在特征提取模块中，输入的下采样后的模糊图像块首先经过卷积核为3×3的卷积层和卷积核为1×1的卷积层，进行浅层特征提取，得到特征图F1，前一个编码器的输出则经过一个卷积核为3×3的卷积层进行下采样，得到特征图F2，接着F1和F2进行相乘操作后经过一个卷积核为3×3的反卷积层恢复通道数，其中第二个和第三个编码器中用到的特征提取模块恢复到的通道数分别为2C和4C，最后与特征图F2进行逐像素相加得到结果；
优选的，在去模糊子网络中的每一层的编码器和解码器中都包含多个空洞双残差模块。由于特征信息经过空洞双残差模块不改变特征的大小，因此可以多个模块进行堆叠。空洞双残差模块如图4所示，其中，每个空洞双残差模块依次包括卷积核为3×3的卷积层、ReLU激活函数、一个空洞率为2的空洞卷积层、ReLU激活函数以及卷积核为3×3的卷积层。在空洞双残差模块中，输入特征和模块输出特征进行全局残差连接，此外，在模块内部第一个ReLU激活函数的输出特征和第二个ReLU激活函数的输出特征之间进行局部残差连接。具体的，空洞双残差模块按以下公式计算：
Fout＝Conv2(ReLU(Dilated(ReLU(Conv1(Fin))))+ReLU(Conv1(Fin)))+Fin
其中，Conv1(*)、Conv2(*)表示两个卷积核为3×3的卷积层，Dilated(*)表示空洞卷积层，Fin和Fout分别表示空洞双残差模块的输入和输出特征，其中ReLU()表示ReLU激活函数；
优选的，如图5所示，在多尺度特征融合模块中，输入为三个编码器的输出EB1、EB2、EB3以及前一个解码器的输出，其中，第t个编码器中的多尺度特征融合模块的输入是第t-1个编码器的输出DBt-1。输入EB1、EB2、EB3分别进行上下采样后变成与DBt-1的宽度和高度相同的特征图，再进行通道拼接后依次经过一个卷积核为1×1的卷积层和一个卷积核为3×3的卷积层融合特征，再与DBt-1进行通道拼接后经过一个卷积核为1×1的卷积层得到最后输出。具体的，在第t个编码器中的多尺度特征融合模块按以下公式计算：
Ft＝Conv1(Concat(Conv3(Conv1(Concat(R(EB1)，R(EB2)，R(EB3))))，DBt-1))
其中，R(*)代表上下采样，Concat(*)表示通道拼接操作，Conv3(*)表示3×3卷积层，Conv1(*)表示1×1卷积层，Ft为第t个解码器融合后的特征，DBt-1代表上一个解码器的输出，EBi代表第i个编码器的输出；
优选的，在本实施例中，细节增强子网络，网络包括一个卷积核为3×3的卷积层、多个上下文聚合残差模块以及一个卷积核为3×3的反卷积层。首先将模糊图像块输入到3×3的卷积层中提取浅层特征，再经过多个上下文聚合残差模块提出深层特征，得到的深层特征与浅层特征进行残差相加，最后经过一个3×3的反卷积层恢复图像的通道数，得到细节增强子网络的输出Out2；
步骤B22、设计上下文聚合残差模块，如图6所示，模块由两个空洞聚合模块和一个ReLU激活函数组成。首先我们将输入特征输入到一个空洞聚合模块中，特征分别经过空洞率为1、2、3的空洞卷积层，得到不同尺度的细节特征，再将三个细节特征进行通道拼接来融合上下文信息，最后经过一个1×1的卷积层恢复为原来的通道数得到空洞聚合模块的输出。第一个空洞聚合模块的输出经过一个ReLU激活函数和第二个空洞聚合模块后，再与原始输入进行逐像素相加得到最终的上下文聚合模块的输出；
优选的，在本实施例中，双路径残差网络，通过整合去模糊子网络和细节增强子网络来组成双路径残差网络，如图2所示。具体来说，将模糊图像块In1分为两个分支，第一个分支将In1输入到去模糊子网络中，由步骤B1得到输出特征Out1；第二个分支将In1输入到细节增强子网络中，由步骤B2得到输出特征Out2，然后将Out1、Out2以及输入的模糊图像块In1三者相加，得到最终的输出图像output，即去模糊后的图像。具体的计算公式如下：
output＝Out1+Out2+In1
优选的，在本实施例中，步骤C包括以下步骤：
步骤C1、设计损失函数作为约束来优化双路径残差网络模型，具体的公式如下：
Losstotal＝Losscont+λLossMDFR
其中，Losstotal表示为总的损失函数；Losscont表示为内容损失函数；LossMDFR表示为多尺度频率重建损失函数；λ表示为该损失的权重；具体地，Losscont内容损失的计算公式如下：
Figure BDA0003748715540000141
其中，||*|||1表示L1距离即取绝对值，其中k＝1，...，K(K为训练数据的样本总数)，Sk表示输入的第k个模糊图像块相对应的干净图像块，
Figure BDA0003748715540000142
表示网络所预测生成的去模糊后的图像块；
由于去模糊的目的是恢复丢失的高频分量，因此减少频率空间的差异是必要的，多尺度频率重建损失函数可以优化预测图像与模糊图像之间的频域差距。LossMSFR具体的计算公式如下：
Figure BDA0003748715540000151
其中，||*|||1表示L1距离即取绝对值，其中k＝1，...，K(K为训练数据的样本总数)，Sk表示输入的第k个模糊图像块相对应的干净图像块，
Figure BDA0003748715540000152
表示网络所预测生成的去模糊后的图像块，
Figure BDA0003748715540000153
表示采用快速傅里叶变换将图像信号转换为频域信号的结果；
步骤C2、将图像块数据集随机分成若干个批次，每个批次包含相同数量的图像块，对所设计的网络进行训练优化，直至步骤C1中计算得到的Loss值收敛到阈值或迭代次数达到阈值，保存训练好的模型，完成网络训练过程。
优选的，在本实施例中，步骤D包括以下步骤：将用于测试的模糊图像输入步骤C中训练好的去模糊网络模型，计算得到最终生成的去模糊图像。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (10)

1.一种基于双路径残差网络的图像去模糊方法，其特征在于，包括以下步骤：
步骤A、获取模糊图像和干净图像并预处理，得到模糊图像块和对应干净图像块组成的训练图像块数据集；
步骤B、基于双路径残差网络构建去模糊网络模型；
步骤C、基于训练图像块数据集，根据预设目标损失函数loss，利用反向传播方法计算去模糊网络模型中各参数的梯度，并利用随机梯度下降方法更新参数，最终学习到图像去模糊网络的最优参数，得到最终的去模糊网络模型；
步骤D、将待测图像输入到最终的去模糊网络模型中，预测生成去除模糊之后的干净图像。
2.根据权利要求1所述的基于双路径残差网络的图像去模糊方法，其特征在于，所述预处理具体为：
将获取的模糊图像和其对应的干净图像按照一致的方式进行切块，得到H×W尺寸的图像块；切块后大小均为H×W的模糊图像块和干净图像块一一对应，再将得到的每组成对的图像块进行相同的随机翻转和旋转，对数据进行增强，得到用于训练的成对的模糊图像块和干净图像块，其中，每组成对的图像块中的模糊图像块作为输入图像，干净图像块作为参考图像。
3.根据权利要求1所述的基于双路径残差网络的图像去模糊方法，其特征在于，所述去模糊网络模型包括一个去模糊子网络和一个细节增强子网络，两者采用并行的方式分别对输入图像进行去模糊和细节增强。
4.根据权利要求3所述的基于双路径残差网络的图像去模糊方法，其特征在于，所述去模糊子网络，网络采用三层的编码解码器设计
在编码器阶段，第一个编码器输入为大小H×W×3的模糊图像块In1，经过一个卷积核为3×3的卷积层以及多个空洞双残差模块后得到大小为H×W×C的输出EB1，其中C是一个常数；第二个编码器的输入为模糊图像块In1经过下采样两倍后得到大小为
Figure FDA0003748715530000021
的模糊图像块In2，以及前一个编码器的输出EB1，两者经过特征提取模块和多个空洞双残差模块后得到大小为
Figure FDA0003748715530000022
的输出EB2；再将EB2和模糊图像块In1经过下采样四倍后得到大小为
Figure FDA0003748715530000023
的模糊图像块In3输入到第三个编码器，经过特征提取模块和多个空洞双残差模块后得到大小为
Figure FDA0003748715530000024
的输出EB3；
在解码器阶段，将步骤B11得到的特征图EB3输入第一个解码器中，经过多个空洞双残差模块和反卷积层后得到输出DB3，第两个解码器的输入则是步骤B11得到的三个编码器输出的EB1、EB2、EB3以及前一个解码器的输出DB3，经过多尺度特征融合模块将四个输入进行特征融合，再依次经过多个空洞双残差模块和反卷积层得到输出DB2，同样的，最后一个解码器输入为EB1、EB2、EB3以及前一个解码器的输出DB2，依次经过多尺度特征融合模块和多个空洞双残差模块以及反卷积层后得到大小为H×W×C的输出Out1。
5.根据权利要求4所述的基于双路径残差网络的图像去模糊方法，其特征在于，所述特征提取模块，输入的下采样后的模糊图像块首先经过卷积核为3×3的卷积层和卷积核为1×1的卷积层，进行浅层特征提取，得到特征图F1，前一个编码器的输出则经过一个卷积核为3×3的卷积层进行下采样，得到特征图F2，接着F1和F2进行相乘操作后经过一个卷积核为3×3的反卷积层恢复通道数，其中第二个和第三个编码器中用到的特征提取模块恢复到的通道数分别为2C和4C，最后与特征图F2进行逐像素相加得到结果；
所述去模糊子网络中的每一层的编码器和解码器中都包含多个空洞双残差模块，其中，每个空洞双残差模块依次包括卷积核为3×3的卷积层、ReLU激活函数、一个空洞率为2的空洞卷积层、ReLU激活函数以及卷积核为3×3的卷积层；在空洞双残差模块中，输入特征和模块输出特征进行全局残差连接，此外，在模块内部第一个ReLU激活函数的输出特征和第二个ReLU激活函数的输出特征之间进行局部残差连接；具体的，空洞双残差模块按以下公式计算：
Fout＝Conv2(ReLU(Dilated(ReLU(Conv1(Fin))))+ReLU(Conv1(Fin)))+Fin
其中，Conv1(*)、Conv2(*)表示两个卷积核为3×3的卷积层，Dilated(*)表示空洞卷积层，Fin和Fout分别表示空洞双残差模块的输入和输出特征，其中ReLU()表示ReLU激活函数；
所述多尺度特征融合模块，输入为三个编码器的输出EB1、EB2、EB3以及前一个解码器的输出，其中，第t个编码器中的多尺度特征融合模块的输入是第t-1个编码器的输出DBt-1；输入EB1、EB2、EB3分别进行上下采样后变成与DBt-1的宽度和高度相同的特征图，再进行通道拼接后依次经过一个卷积核为1×1的卷积层和一个卷积核为3×3的卷积层融合特征，再与DBt-1进行通道拼接后经过一个卷积核为1×1的卷积层得到最后输出。具体的，在第t个编码器中的多尺度特征融合模块按以下公式计算：
Ft＝Conv1(Concat(Conv3(Conv1(Concat(R(EB1)，R(EB2)，R(EB3))))，DBt-1))
其中，R(*)代表上下采样，Concat(*)表示通道拼接操作，Conv3(*)表示3×3卷积层，Conv1(*)表示1×1卷积层，Ft为第t个解码器融合后的特征，DBt-1代表上一个解码器的输出，EBi代表第i个编码器的输出。
6.根据权利要求3所述的基于双路径残差网络的图像去模糊方法，其特征在于，所述细节增强子网络包括一个卷积核为3×3的卷积层、若干上下文聚合残差模块以及一个卷积核为3×3的反卷积层；首先将模糊图像块输入到3×3的卷积层中提取浅层特征，再经过多个上下文聚合残差模块提出深层特征，得到的深层特征与浅层特征进行残差相加，最后经过一个3×3的反卷积层恢复图像的通道数，得到细节增强子网络的输出Out2。
7.根据权利要求6所述的基于双路径残差网络的图像去模糊方法，其特征在于，所述上下文聚合残差模块，模块由两个空洞聚合模块和一个ReLU激活函数组成；首先我们将输入特征输入到一个空洞聚合模块中，特征分别经过空洞率为1、2、3的空洞卷积层，得到不同尺度的细节特征，再将三个细节特征进行通道拼接来融合上下文信息，最后经过一个1×1的卷积层恢复为原来的通道数得到空洞聚合模块的输出。第一个空洞聚合模块的输出经过一个ReLU激活函数和第二个空洞聚合模块后，再与原始输入进行逐像素相加得到最终的上下文聚合模块的输出。
8.根据权利要求3所述的基于双路径残差网络的图像去模糊方法，其特征在于，所述双路径残差网络，通过整合去模糊子网络和细节增强子网络来组成双路径残差网络，具体的：将模糊图像块In1分为两个分支，第一个分支将In1输入到去模糊子网络中，得到输出特征Out1；第二个分支将In1输入到细节增强子网络中，得到输出特征Out2，然后将Out1、Out2以及输入的模糊图像块In1三者相加，得到最终的输出图像output，即去模糊后的图像，具体的计算公式如下：
output＝Out1+Out2+In1
9.根据权利要求1所述的一种基于双路径残差网络的图像去模糊方法，其特征在于，所述步骤C，具体为：
步骤C1、预设损失函数作为约束来优化双路径残差网络模型，具体的公式如下：
Losstotal＝Losscont+λLossMDFR
其中，Losstotal表示为总的损失函数；Losscont表示为内容损失函数；LossMSFR表示为多尺度频率重建损失函数；λ表示为该损失的权重；具体地，Losscont内容损失的计算公式如下：
Figure FDA0003748715530000061
其中，||*||1表示L1距离即取绝对值，其中k＝1，...，K(K为训练数据的样本总数)，Sk表示输入的第k个模糊图像块相对应的干净图像块，
Figure FDA0003748715530000062
表示网络所预测生成的去模糊后的图像块；
LossMDFR具体的计算公式如下：
Figure FDA0003748715530000063
其中，||*||1表示L1距离即取绝对值，其中k＝1，...，K(K为训练数据的样本总数)，Sk表示输入的第k个模糊图像块相对应的干净图像块，
Figure FDA0003748715530000064
表示网络所预测生成的去模糊后的图像块，
Figure FDA0003748715530000065
表示采用快速傅里叶变换将图像信号转换为频域信号的结果；
步骤C2、将图像块数据集随机分成若干个批次，每个批次包含相同数量的图像块，对去模糊网络模型进行训练优化，直至步骤C1中计算得到的Loss值收敛到阈值或迭代次数达到阈值，保存训练好的去模糊网络模型，完成网络训练过程。
10.根据权利要求1-9任一所述的一种基于双路径残差网络的图像去模糊系统，其特征在于，包括处理器、存储器以及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时，具体执行如权利要求1-9任一项所述的图像去模糊方法中的步骤。
CN202210831760.1A 2022-07-15 2022-07-15 基于双路径残差网络的图像去模糊方法 Pending CN115205148A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210831760.1A CN115205148A (zh) 2022-07-15 2022-07-15 基于双路径残差网络的图像去模糊方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210831760.1A CN115205148A (zh) 2022-07-15 2022-07-15 基于双路径残差网络的图像去模糊方法

Publications (1)

Publication Number Publication Date
CN115205148A true CN115205148A (zh) 2022-10-18

Family

ID=83582263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210831760.1A Pending CN115205148A (zh) 2022-07-15 2022-07-15 基于双路径残差网络的图像去模糊方法

Country Status (1)

Country Link
CN (1) CN115205148A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116644674A (zh) * 2023-07-27 2023-08-25 北京理工大学 L型构件残余应力的预测方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116644674A (zh) * 2023-07-27 2023-08-25 北京理工大学 L型构件残余应力的预测方法、装置、设备及介质
CN116644674B (zh) * 2023-07-27 2023-09-29 北京理工大学 L型构件残余应力的预测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
Li et al. Efficient and interpretable deep blind image deblurring via algorithm unrolling
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
US11741581B2 (en) Training method for image processing model, image processing method, network device, and storage medium
CN112419184B (zh) 一种综合局部信息和全局信息的空间注意力图像去噪方法
CN110766632A (zh) 基于通道注意力机制和特征金字塔的图像去噪方法
CN111861894B (zh) 基于生成式对抗网络的图像去运动模糊方法
CN110782399A (zh) 一种基于多任务cnn的图像去模糊方法
CN107133923B (zh) 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法
CN113450288B (zh) 基于深度卷积神经网络单图像去雨方法、系统和存储介质
CN107464217B (zh) 一种图像处理方法及装置
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN110189260B (zh) 一种基于多尺度并行门控神经网络的图像降噪方法
CN112801906B (zh) 基于循环神经网络的循环迭代图像去噪方法
Min et al. Blind deblurring via a novel recursive deep CNN improved by wavelet transform
CN116152591B (zh) 模型训练方法、红外小目标检测方法、装置及电子设备
US20230252605A1 (en) Method and system for a high-frequency attention network for efficient single image super-resolution
Chen et al. Blind de-convolution of images degraded by atmospheric turbulence
CN116547694A (zh) 用于对模糊图像去模糊的方法和系统
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN115345791A (zh) 一种基于注意力机制残差网络模型的红外图像去模糊算法
CN115100301A (zh) 基于快速傅里叶卷积与卷积滤波流的图像压缩感知方法及系统
Yang et al. SRDN: A unified super-resolution and motion deblurring network for space image restoration
CN115205136A (zh) 一种基于傅里叶先验的图像去雨方法
Zhou et al. Sparse representation with enhanced nonlocal self-similarity for image denoising
CN115205148A (zh) 基于双路径残差网络的图像去模糊方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination