CN115272113A - 一种基于多尺度频率分离网络的图像去模糊方法 - Google Patents

一种基于多尺度频率分离网络的图像去模糊方法 Download PDF

Info

Publication number
CN115272113A
CN115272113A CN202210874814.2A CN202210874814A CN115272113A CN 115272113 A CN115272113 A CN 115272113A CN 202210874814 A CN202210874814 A CN 202210874814A CN 115272113 A CN115272113 A CN 115272113A
Authority
CN
China
Prior art keywords
image
frequency
scale
features
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210874814.2A
Other languages
English (en)
Inventor
孔俊
齐妙
张燕妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Normal University
Original Assignee
Northeast Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Normal University filed Critical Northeast Normal University
Priority to CN202210874814.2A priority Critical patent/CN115272113A/zh
Publication of CN115272113A publication Critical patent/CN115272113A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多尺度频率分离网络的图像去模糊方法，属于数字图像和视频处理领域。向模型读入一幅模糊图像x，模型包括：一个主干网络，两个跨尺度特征融合模块和三个对比学习模块，通过损失函数优化模型，对于需要处理的模糊图像x，通过优化的模型，得到清晰的图像y，实现图像去模糊任务。优点是针对图像、视频的精确去模糊方法，设计了一个多尺度频率分离网络充分捕捉图像不同频率和尺度的图像特征，并采用循环一致性策略对低频特征进行约束，采用对比学习对高频特征进行约束；可以广泛应用于各种场景的图像去模糊任务，有助于后续的识别、检测和分析等任务。

Description

一种基于多尺度频率分离网络的图像去模糊方法
技术领域
本发明属于数字图像和视频处理领域，尤其是指一种基于多尺度频率分离网络的图像去模糊方法。
背景技术
相机、物体运动或镜头失焦引起的模糊伪影会影响图像质量，进而严重影响后续其它计算机视觉任务(如视频监控、物体检测和人脸识别)的推进。因此，准确、高效的图像去模糊技术引起了学术界和工业界的广泛关注。
在早期的研究中，大多数图像去模糊方法都是通过引入一些先验信息来估计模糊核。然而，由于图像中的模糊可能由多种原因引起，图像去模糊成为一个高度不适定的问题，很难通过简单的线性假设对复杂的模糊核进行建模。
随着深度学习的不断发展，一些基于深度卷积神经网络(Convolutional NeuralNetworks,CNNs)的方法被提出用于估计模糊核，并展现出令人满意的去模糊性能。然而，这些方法通常需要两个阶段来完成图像的去模糊任务。即先用CNN对模糊核进行插值，然后利用估计的核对模糊图像进行反卷积操作。因此，上述方法不仅计算量大，而且估计的模糊核并不准确。最近，一些学者提出通过图像到图像的回归方式直接学习模糊图像和清晰图像之间关系的去模糊方法。与上述方法相比，以这种回归方法实现去模糊任务的优点是可以避免模糊核估计不足而导致的去模糊误差。此外，一些方法还结合CNN与其它先进技术共同实现图像去模糊任务。例如，递归神经网络(RNN)作为一种反卷积操作来建模空间变异模糊；受生成对抗网络(GAN)的启发，Tran等人将生成器模型和鉴别器模型引入图像去模糊框架中，其可以使恢复后的图像更加逼真，有效地提高了去模糊质量。
Nah等人提出的多尺度卷积神经网络(MSCNN)是一项开创性的工作。MSCNN是由三个子网络组成的网络架构，实现对不同大小的图像进行由粗到细的恢复。Gao等人受到MSCNN的启发，也提出了一种由粗到细的图像去模糊网络，该网络使用选择性参数共享以及跳跃连接方式对图像特征进行处理。Kuldeep等人并没有采用多个子网络堆叠的方式，而是采用了带有密集变形模块和自注意力模块的编-解码网络，该网络在不显著增加计算量的情况下提高了去模糊性能。Cho等人提出了一种多输入多输出U-Net网络结构，利用单个U-Net和多个输入输出图像来处理图像去模糊问题。Chi等人利用编-解码网络提取图像的多尺度特征，然后结合辅助学习和元学习方式来提高去模糊性能。Chen等人通过引入一种新的归一化方法，应用编-解码结构实现了多尺度、多阶段的图像恢复任务。Zhang等人提出了一种将CNN和RNN相结合的图像去模糊方法，利用四个RNN层来接收不同方向序列的CNN特征。Tao等人在基于编-解码结构的去模糊模型中引入长-短时记忆网络(LSTM)，提出了一种尺度递归网络(SRN)。Kupyn等人提出了一种DeblurGAN模型对不同的模糊进行建模，采用具有编-解码结构的CNN作为生成器，基于卷积patch的分类器作为鉴别器。在DeblurGAN的基础上，Kupyn等人还提出了DeblurGAN-v2算法，将双尺度鉴别器和特征金字塔网络融合到GAN中，以获得更好的去模糊效果。为了实现更有效的去模糊性能，Shao等人还提出了一种DeblurGAN+网络模型，该模型采用基于相反信道的判别先验和更具鲁棒性的编-解码网络架构。
一幅图像可以被分解为不同的频域，不同的频域包含复杂程度不同的结构和纹理信息。因此，对图像的频域特征进行分析是许多传统计算机视觉任务中的常用技术。最近，研究者们也针对图像不同频率的特点提出了基于深度学习的去模糊方法。在图像到图像的转换任务中，Liu等人提出了一种两阶段方法，首先将高频残差信息从模糊图像中分离出来，然后采用编-解码器网络实现高频信息的细化。Zou等人利用离散小波变换将膨胀卷积特征划分为四个频带，从而独立地细化不同的频率特征。然而，上述两种方法只是针对网络第一层或最后一层的图像频率进行分离处理。因此，它们只能捕捉特定尺度内不同频率的图像特征。
对比学习是一种被广泛使用的自监督策略，已成为一些计算机视觉任务的有效工具。由于其在表征学习中的成功应用，一些研究者采用对比学习来建模高级视觉任务中特征之间的相对关系。最近，Park等人在图像到图像的转换网络中使用了对比学习思想。Wu等人设计了一个使用对比学习的网络来从降质的图像中去除雾霾。Wang等人也运用对比学习思想在图像超分辨率任务中获取不变的退化表示。虽然上述方法证明了对比学习有助于提升计算机视觉任务性能，但很少有研究者使用对比学习进行图像去模糊任务。因此，如何更好地利用对比学习来促进图像去模糊的性能仍然是需要研究的问题。
虽然这些基于CNN的去模糊方法通过结合多种技术实现了良好的去模糊效果，但它们大都采用多尺度策略以由粗到细的方式提取图像特征。即，它们通过对不同大小的图像特征进行处理，逐步恢复模糊图像的纹理信息和结构特征。这种由粗到细的特征提取方式能够处理不同尺度上的不同图像特征，是一种合理的图像去模糊方法。众所周知，粗尺度特征能在分辨率较低的图像中被捕获，而细尺度特征更容易在高分辨率图像中得到恢复。然而，图像特征的差异不仅体现在分辨率上，还可以通过不同的频率表现出来。也就是说，平滑变化的图像结构以及图像轮廓信息主要通过低频信息来体现，而快速变化的图像细节信息通常由高频分量描述。因此，现有的基于CNN的图像去模糊方法将重心放在处理不同尺度的图像特征，忽略了对图像频率的处理，其性能可能不是最优的。
发明内容
本发明提供一种基于多尺度频率分离网络的图像去模糊方法，目的是得到更清晰的高质量图像，适用于视频监控、目标检测、图像和视频的分析与理解等。
本发明采取的技术方案是，包括下列步骤：
(1)向模型读入一幅模糊图像x；
(2)步骤(1)的模型包括：一个主干网络，两个跨尺度特征融合模块和三个对比学习模块，其中：
1)主干网络是模型的第一个部分：首先是编码阶段，对于输入模糊图像x，使用卷积操作得到输入图像的浅层特征，通过三个频率分离模块和两个下采样模块，逐步提取图像在不同尺度上的高频特征、低频特征，并使用M个残差通道注意力模块RCAB对在第3个频率分离模块后的特征进行处理；然后是解码阶段，使用两个上采样模块对特征的尺度进行恢复，并采用三个频率分离模块对每个尺度下的恢复特征进行分解，最后，将原始图像x与解码阶段经过卷积后的特征进行融合得到清晰图像y；
2)跨尺度特征融合模块是模型的第二个部分：该模块是基于自适应联合上采样操作思想，通过连接编码阶段和解码阶段的特征，实现了不同尺度特征的融合，同时，为了保留输入图像x的重要特征，跨尺度特征融合模块还将融合后的特征与编码阶段的特征进行了连接；还包括，利用循环一致性进行约束保证输出清晰图像y和输入模糊图像x的低频特征保持相近；
3)对比学习模块模型的第三个部分：将编码阶段、解码阶段获得的高频特征以及得到清晰图像阶段分别作为负样本Negative、参照样本Anchor和正样本Positive，使参照样本与正样本接近，同时使参照样本远离负样本，有效地去除高频特征对模糊图像的干扰，每个对比学习模块都使用相同尺度下的三个不同的高频特征来实现正、负以及参照样本之间的比较，通过多尺度对比学习模块的设计及其相关的损失函数，抑制模糊图像高频特征中的不利信息；
(3)通过损失函数优化模型
1)高频特征多尺度对比损失函数
高频特征多尺度对比损失函数lhigh定义为：
Figure BDA0003761632570000041
其中，k表示特征的不同尺度，
Figure BDA0003761632570000048
表示解码阶段得到的
Figure BDA0003761632570000042
尺度的高频特征，
Figure BDA0003761632570000049
表示由主干网络输出清晰图像y得到的
Figure BDA0003761632570000043
尺度的高频特征，
Figure BDA00037616325700000410
表示编码阶段得到的
Figure BDA0003761632570000044
尺度的高频特征，l1表示l1-距离，通过该公式(1)的设计，
Figure BDA00037616325700000412
和
Figure BDA00037616325700000411
相互靠近，使
Figure BDA00037616325700000413
和
Figure BDA00037616325700000414
相互远离；
2)低频特征多尺度损失函数
低频特征多尺度损失函数llow定义为：
Figure BDA0003761632570000045
其中，k表示特征的不同尺度，
Figure BDA00037616325700000415
表示编码阶段得到的
Figure BDA0003761632570000046
尺度的低频特征，
Figure BDA00037616325700000416
表示由主干网络输出清晰图像y得到的
Figure BDA0003761632570000047
尺度的低频特征；
3)网络总损失函数
总损失函数可以用以下公式表示：
ltotal＝λ1lhigh+λ2llow+min||Y-G||1, (3)
其中，在实验过程中，将λ1设置为0.005，且λ1＝λ2，Y是主干网络的输出，G为真实标签，采用l1减小恢复图像与真实标签之间的损失。
(4)对于需要处理的模糊图像x，通过步骤(3)优化的模型，得到清晰的图像y，实现图像去模糊任务。
本发明所述步骤(2)中的1)主干网络使用卷积核的大小为3×3。
本发明所述步骤(2)中的1)主干网络下采样模块由卷积核大小为3×3、步长为2的卷积操作以及LeakyRelu组成。
本发明所述步骤(2)中的1)主干网络上采样模块由pixel-shuffle和RCAB组成。
本发明所述步骤(2)中的1)频率分离模块首先利用1×1和3×3的分频卷积将输入特征分解为高频特征YH和低频特征YL，然后利用1×1的分频卷积将高频特征YH和低频特征YL整合为一个整体，最后使用残差连接的方式将输入特征与整合特征进行融合。
所述输入特征分别为卷积得到的浅层特征和两次下采样后得到的特征。
本发明所述步骤(2)中的2)将融合后的特征与编码阶段的特征进行连接过程用如下公式表示：
Figure BDA0003761632570000051
Figure BDA0003761632570000052
其中，
Figure BDA0003761632570000053
和
Figure BDA0003761632570000054
分别表示编码阶段和解码阶段
Figure BDA0003761632570000055
尺度的特征，本网络中i的取值分别为1、2、4，θ和γ为网络的可优化参数，up表示上采样操作，[]表示拼接操作，跨尺度特征融合模块将产生两个中间特征，第一个是指将编码阶段第二个下采样后的特征与解码阶段的第一个频率分离模块后的特征进行融合的特征，第二个是指将编码阶段第一个下采样后的特征与解码阶段的第二个频率分离模块后的特征进行融合的特征。
本发明所述步骤(2)中的2)还包括，利用循环一致性进行约束保证输出清晰图像y和输入模糊图像x的低频特征保持相近；
本发明所述的循环一致性由不同尺度下的编码阶段得到的低频特征和由主干网络输出清晰图像y对应尺度的低频特征的l1-距离之和约束。
本发明所述步骤(3)中对比学习模块模型的特征的不同尺度k分别设为0,1,2。
本发明的有益效果：通过构建一个多尺度频率分离网络，将多尺度策略与频率分离模块相结合，从分辨率与频率两个方面捕捉图像不同的特征。还对图像的不同频率信息进行了不同的处理：对于低频特征使用循环一致性损失来进行监督；对于高频特征使用基于对比学习的监督方式在不同尺度上对特征进行逐步恢复。大量的实验结果表明该方法具有良好的去模糊性能并且优于现有的具有代表性的去模糊方法，适用于视频监控、目标检测、图像和视频的分析与理解等。
本发明针对三个公共数据集GoPro、HIDE和RealBlur进行了实验对比与分析，并且从定性和定量两个角度评价了提出方法的有效性和优越性。大量的对比实验结果表明，本发明提出的方法能够更清晰的恢复模糊图像，达到更好的去模糊效果。特别地，本发明于图像和视频同样适用。
综上，本发明是针对图像(视频)的精确去模糊方法；本发明设计了一个多尺度频率分离网络充分捕捉图像不同频率和尺度的图像特征，并采用循环一致性策略对低频特征进行约束，采用对比学习对高频特征进行约束；本发明可以广泛应用于各种场景的图像去模糊任务，有助于后续的识别、检测和分析等任务。
附图说明
图1是GoPro数据集上的一幅模糊图像；
图2是本发明网络的整体框架图；
图3是本发明频率分离模块结构示意图；
图4是本发明跨尺度特征融合模块网络结构图；
图5是在GoPro数据集上与其他方法获得的去模糊结果的视觉比较图；
图6是在HIDE数据集上与其他方法获得的去模糊结果的视觉比较图。
具体实施方式
包括下列步骤：
(1)向模型中读入一幅模糊图像x，参见图1；
(2)步骤(1)中的模型包括：一个主干网络，两个跨尺度特征融合模块和三个对比学习模块，参见图2，其中：
1)主干网络是模型的第一个部分：首先是编码阶段，对于输入模糊图像x，使用3×3卷积操作得到输入图像的浅层特征。通过两个下采样模块和三个频率分离模块，逐步提取图像在不同尺度上的高、低频特征。下采样模块由卷积核大小为3×3、步长为2的卷积操作以及LeakyRelu组成；并使用M个残差通道注意力模块RCAB对在第3个频率分离模块后的特征进行处理；然后是解码阶段，使用两个上采样模块对特征的尺度进行恢复，采用三个频率分离模块对每个尺度下的恢复特征进行分解；其中，上采样模块由pixel-shuffle和RCAB组成，最后，将原始图像与解码阶段经过3×3卷积后的特征进行融合得到清晰图像y；
在频率分离模块中，使用分频卷积作为基本模块，参见图3，对于一组浅层特征，首先利用1×1的分频卷积将输入特征分为高频和低频两部分；其次采用3×3的分频卷积得到输入特征的高频特征YH和低频特征YL，实现高低频信息之间的交互和更新；然后利用1×1的分频卷积将低频和高频特征整合为一个整体，最后使用残差连接的方式将输入特征与整合特征进行融合，避免了重要细节信息的丢失，对于两次下采样后的特征，采用与处理浅层特征相同的方式进行处理。
2)跨尺度特征融合模块是模型的第二个部分：该模块是基于自适应联合上采样操作思想，通过连接编码阶段和解码阶段的特征，实现了不同尺度特征的融合，同时，为了保留输入图像的重要特征，该模块还将融合后的特征与编码阶段的特征进行了连接，参见图4，其过程可用如下公式表示：
Figure BDA0003761632570000071
Figure BDA0003761632570000072
其中，
Figure BDA0003761632570000073
和
Figure BDA0003761632570000074
分别表示编码阶段和解码阶段
Figure BDA0003761632570000075
尺度的特征，本网络中i的取值分别为1、2、4，θ和γ为网络的可优化参数，up表示上采样操作，[]表示拼接操作，两个跨尺度特征融合模块将产生两个中间特征，第一个是指将编码阶段第二个下采样后的特征与解码阶段的第一个频率分离模块后的特征进行融合的特征
Figure BDA0003761632570000076
第二个是指将编码阶段第一个下采样后的特征与解码阶段的第二个频率分离模块后的特征进行融合的特征fde_1，另外，利用循环一致性进行约束就可以保证输出清晰图像y和输入模糊图像x的低频特征保持相近，即对不同尺度下的编码阶段得到的低频特征和由主干网络输出清晰图像y对应尺度的低频特征的l1-距离之和约束；
3)对比学习模块模型的第三个部分：将编码阶段、解码阶段获得的高频特征以及得到清晰图像阶段分别作为负样本Negative、参照样本Anchor和正样本Positive，使参照样本与正样本接近，同时使参照样本远离负样本，这样就可以有效地去除高频特征对模糊图像的干扰，每个对比学习模块都使用相同尺度下的三个不同的高频特征来实现正、负以及参照样本之间的比较，通过多尺度对比学习模块的设计及其相关的损失函数，抑制模糊图像高频特征中的不利信息；
(3)通过损失函数优化模型
1)高频特征多尺度对比损失函数
高频特征多尺度对比损失函数lhigh定义为：
Figure BDA0003761632570000077
其中，k表示特征的不同尺度，
Figure BDA0003761632570000078
表示解码阶段得到的
Figure BDA0003761632570000079
尺度的高频特征，
Figure BDA00037616325700000711
表示由主干网络输出清晰图像y得到的
Figure BDA00037616325700000710
尺度的高频特征，
Figure BDA00037616325700000712
表示编码阶段得到的
Figure BDA0003761632570000081
尺度的高频特征，l1表示l1-距离。通过公式的设计，
Figure BDA0003761632570000085
和
Figure BDA0003761632570000086
相互靠近，使
Figure BDA0003761632570000087
和
Figure BDA0003761632570000088
相互远离；
2)低频特征多尺度损失函数
低频特征多尺度损失函数llow定义为：
Figure BDA0003761632570000082
其中，k表示特征的不同尺度，
Figure BDA0003761632570000089
表示编码阶段得到的
Figure BDA0003761632570000083
尺度的低频特征，
Figure BDA00037616325700000810
表示由主干网络输出清晰图像y得到的
Figure BDA0003761632570000084
尺度的低频特征，即利用循环一致性保证输出清晰图像y和输入模糊图像x的低频特征保持相近。
3)网络总损失函数
总损失函数可以用以下公式表示：
ltotal＝λ1lhigh+λ2llow+min||Y-G||1, (3)
其中，在实验过程中，将λ1设置为0.005，且λ1＝λ2，Y主干网络的输出，G为真实标签，采用l1减小恢复图像与真实标签之间的损失。
下面通过具体实验结果的分析与对比来进一步说明本发明的有益效果。
实验例：为了有效地和系统地评价提出的方法，在三个公共数据集GoPro、HIDE和RealBlur进行了实验对比与分析。使用GoPro数据集中的训练集来训练所提出的模型，使用测试集来测试模型。此外，还使用HIDE和RealBlur数据集对本发明的模型进行了评估。GoPro数据集包含3214对模糊和清晰图像，其中训练集和测试集分别为2103对和1111对图像。HIDE数据集包含8422对模糊和清晰的图像，这些图像是从31个高帧率视频中精心挑选而来。RealBlur数据集分为RealBlur-J和RealBlur-R两个子集。图1给出了GoPro数据集中的一幅模糊图像。
在具体的去模糊实施过程中，将参数β1设置为0.9，β2设置为0.9，权值衰减设置为0，初始学习率设置为1e-4，epoch设置为3000，batch size设置为4，并使用Adam优化器来优化本发明的网络。
为了评价方法的性能，采用峰值信噪比(PSNR)和SSIM对该方法进行定量评价。表1给出了不同算法在GoPro数据集上的性能比较。
表1在GoPro数据集上与其它先进方法的性能比较
Figure BDA0003761632570000091
从表1可以看出，本发明的去模糊性能优于其它先进方法。原因如下：(1)虽然一些比较方法利用编-解码器的网络结构提取图像的多尺度特征并进行去模糊处理，但它们只是采用了简单的跳跃连接机制，将编码器和解码器中相同尺度的特征连接起来。然而，由于在本发明的模型中提出了跨尺度特征融合模块，其可以更好地融合不同阶段(即编码器和解码器)的不同尺度特征。因此，所提出的方法去模糊性能更好；(2)一些方法虽然通过复杂的网络结构或者模块处理不同尺度的图像特征，但是它们将图像作为一个整体来看待，忽略了不同频率图像的特征。因此，它们的性能不如本发明的模型。(3)虽然一些方法考虑了图像去模糊问题中的频率信息，但它只聚焦于高频图像特征；另一些采用小波变换对图像频率进行分离，但它使用同一网络对图像的低频和高频特征进行相同的处理。因此，上述两类方法得到的去模糊结果仍然不是最优的。此外，部分方法只在网络的第一层或最后一层捕捉图像的频率信息，从而忽略了图像的多尺度频率特征，这也可能降低其性能；(4)本发明提出的模型可以在多个尺度上捕捉图像的不同频率特征，并使用不同的策略(即对比学习和循环一致性损失)分别约束这些不同的频率特征，从而实现较好的去模糊效果。
通过图5的可视化对比结果也可以看出，本发明性能优于其它方法。例如，通过对比图中第一行和第二行的实验结果图可以发现，本发明的模型可以恢复出更详细的面部结构以及更清晰的字母轮廓。此外，通过对比图的第三行和第四行图像可以发现，本发明的模型不仅得到了更清晰的汽车和广告牌的轮廓信息，并且对因物体剧烈运动或相机抖动造成的图像变形和伪影也能实现较好的恢复效果。
表2给出了不同算法在HIDE数据集上的性能比较。
表2在HIDE数据集上与其它先进方法的性能比较
Figure BDA0003761632570000101
从表2的实验结果和图6的可视化对比结果中，可以清楚地看到本发明的优势。也就是说，本发明可以从模糊图像中恢复出更详细的信息，并获得比其它方法更好的PSNR和SSIM结果，这可归功于多尺度频率分离、对比学习和跨尺度特征融合模块的综合作用。
为了进一步测试所提出的方法泛化能力，在RealBlur数据集上进行了测试从表3可以看出，本发明的模型取得了最好的实验结果。
表3在RealBlur数据集上与其它先进方法的性能比较
Figure BDA0003761632570000111
为验证本发明提出的模型中各个模块的有效性。通过从网络模型中删除一些模块进行消融实验。首先，直接用传统的卷积操作来代替频率分离模块，这意味着我们没有将图像分解成不同的频率特征，而是从整个图像中提取特征。因此，专门为高频和低频特性设计的对比学习模块和一致性约束也被忽略了。其次，从网络中移除跨尺度特征融合模块，这就使网络不对不同尺度以及不同层级的信息进行融合。然后，不使用对比学习模块，这也意味着不使用对比学习的思想来监督中间层中的高频特征。最后，不使用循环一致性损失对低频特征进行约束。
在GoPro数据集上进行的消融实验结果如表4所示。通过表中数据我们可以发现，频率分离模块、跨尺度特征融合模块、对比学习模块和一致性约束都是必不可少的。在没有频率分离模块的情况下，PSRN减少了2.93dB。这意味着将图像划分到不同的频域，并采用不同的策略来处理它们是去模糊问题的关键。此外，跨尺度特征融合模块的去除也会降低模型的性能。这是因为跨尺度特征融合模块可以在不同阶段和不同尺度的特征之间建立连接，从而实现更好的信息融合。最后，可以看到，循环一致性约束或对比学习模块的缺失也会对所提网络的去模糊效果产生不利影响。这说明使用对比学习和一致性损失约束中间层的低频和高频特征对提高去模糊性能是很重要的。
表4在GoPro数据集上不同消融实验的结果比较
Figure BDA0003761632570000121
鉴于此，本发明提出了一种用于图像去模糊的多尺度频率分离网络。与现有工作不同，为了使网络充分利用特征的低频和高频信息，本发明提出了频率分离模块来进一步分离特征。同时，为了使浅层特征和深层特征在不丢失信息的情况下相互促进，本发明提出了跨尺度特征融合模块来实现特征连接。在此基础上，本发明还设计了对比学习和循环一致损失的方法来学习低频和高频信息的差异，即对比学习模块用于更好地监督高频特征，循环一致性实现对低频特征的监督。在三个数据集上的对比实验表明，本发明提出的网络相对于其他最先进方法更有优势。
以上所述仅为本发明的优选实施方式，本发明的保护范围并不仅限于上述实施方式，凡是属于本发明的原理的技术方案均属于本方面的保护范围，对于本领域的技术人员而言，在不脱离本发明的前提下进行的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于多尺度频率分离网络的图像去模糊方法，其特征在于，包括下列步骤：
(1)向模型读入一幅模糊图像x；
(2)步骤(1)的模型包括：一个主干网络，两个跨尺度特征融合模块和三个对比学习模块，其中：
1)主干网络是模型的第一个部分：首先是编码阶段，对于输入模糊图像x，使用卷积操作得到输入图像的浅层特征，通过三个频率分离模块和两个下采样模块，逐步提取图像在不同尺度上的高频特征、低频特征，并使用M个残差通道注意力模块RCAB对在第3个频率分离模块后的特征进行处理；然后是解码阶段，使用两个上采样模块对特征的尺度进行恢复，并采用三个频率分离模块对每个尺度下的恢复特征进行分解，最后，将原始图像x与解码阶段经过卷积后的特征进行融合得到清晰图像y；
2)跨尺度特征融合模块是模型的第二个部分：该模块是基于自适应联合上采样操作思想，通过连接编码阶段和解码阶段的特征，实现了不同尺度特征的融合，同时，为了保留输入图像x的重要特征，跨尺度特征融合模块还将融合后的特征与编码阶段的特征进行了连接；还包括，利用循环一致性进行约束保证输出清晰图像y和输入模糊图像x的低频特征保持相近；
3)对比学习模块模型的第三个部分：将编码阶段、解码阶段获得的高频特征以及得到清晰图像阶段分别作为负样本Negative、参照样本Anchor和正样本Positive，使参照样本与正样本接近，同时使参照样本远离负样本，有效地去除高频特征对模糊图像的干扰，每个对比学习模块都使用相同尺度下的三个不同的高频特征来实现正、负以及参照样本之间的比较，通过多尺度对比学习模块的设计及其相关的损失函数，抑制模糊图像高频特征中的不利信息；
(3)通过损失函数优化模型
1)高频特征多尺度对比损失函数
高频特征多尺度对比损失函数
Figure FDA00037616325600000110
定义为：
Figure FDA0003761632560000011
其中，k表示特征的不同尺度，
Figure FDA0003761632560000012
表示解码阶段得到的
Figure FDA0003761632560000013
尺度的高频特征，
Figure FDA0003761632560000014
表示由主干网络输出清晰图像y得到的
Figure FDA0003761632560000015
尺度的高频特征，
Figure FDA0003761632560000016
表示编码阶段得到的
Figure FDA0003761632560000017
尺度的高频特征，
Figure FDA00037616325600000111
表示
Figure FDA00037616325600000112
-距离，通过该公式(1)的设计，
Figure FDA0003761632560000018
和
Figure FDA0003761632560000019
相互靠近，使
Figure FDA0003761632560000021
和
Figure FDA0003761632560000022
相互远离；
2)低频特征多尺度损失函数
低频特征多尺度损失函数
Figure FDA0003761632560000028
定义为：
Figure FDA0003761632560000023
其中，k表示特征的不同尺度，
Figure FDA0003761632560000024
表示编码阶段得到的
Figure FDA0003761632560000025
尺度的低频特征，
Figure FDA0003761632560000026
表示由主干网络输出清晰图像y得到的
Figure FDA0003761632560000027
尺度的低频特征；
3)网络总损失函数
总损失函数可以用以下公式表示：
Figure FDA0003761632560000029
其中，在实验过程中，将λ1设置为0.005，且λ1＝λ2，Y是主干网络的输出，G为真实标签，采用
Figure FDA00037616325600000210
减小恢复图像与真实标签之间的损失。
(4)对于需要处理的模糊图像x，通过步骤(3)优化的模型，得到清晰的图像y，实现图像去模糊任务。
2.根据权利要求1所述的一种基于多尺度频率分离网络的图像去模糊方法，其特征在于：所述步骤(2)中的1)主干网络使用卷积核的大小为3×3。
3.根据权利要求1所述的一种基于多尺度频率分离网络的图像去模糊方法，其特征在于：所述步骤(2)中的1)主干网络下采样模块由卷积核大小为3×3、步长为2的卷积操作以及LeakyRelu组成。
4.根据权利要求1所述的一种基于多尺度频率分离网络的图像去模糊方法，其特征在于：所述步骤(2)中的1)主干网络上采样模块由pixel-shuffle和RCAB组成。
5.根据权利要求1所述的一种基于多尺度频率分离网络的图像去模糊方法，其特征在于：所述步骤(2)中的1)频率分离模块首先利用1×1和3×3的分频卷积将输入特征分解为高频特征YH和低频特征YL，然后利用1×1的分频卷积将高频特征YH和低频特征YL整合为一个整体，最后使用残差连接的方式将输入特征与整合特征进行融合。
6.根据权利要求5所述的一种基于多尺度频率分离网络的图像去模糊方法，其特征在于：所述输入特征分别为卷积得到的浅层特征和两次下采样后得到的特征。
7.根据权利要求1所述的一种基于多尺度频率分离网络的图像去模糊方法，其特征在于：所述步骤(2)中的2)将融合后的特征与编码阶段的特征进行连接过程用如下公式表示：
Figure FDA0003761632560000031
Figure FDA0003761632560000032
其中，
Figure FDA0003761632560000033
和
Figure FDA0003761632560000034
分别表示编码阶段和解码阶段
Figure FDA0003761632560000035
尺度的特征，本网络中i的取值分别为1、2、4，θ和γ为网络的可优化参数，up表示上采样操作，[]表示拼接操作，跨尺度特征融合模块将产生两个中间特征，第一个是指将编码阶段第二个下采样后的特征与解码阶段的第一个频率分离模块后的特征进行融合的特征，第二个是指将编码阶段第一个下采样后的特征与解码阶段的第二个频率分离模块后的特征进行融合的特征。
8.根据权利要求1所述的一种基于多尺度频率分离网络的图像去模糊方法，其特征在于：所述步骤(2)中的2)还包括，利用循环一致性进行约束保证输出清晰图像y和输入模糊图像x的低频特征保持相近。
9.根据权利要求8所述的一种基于多尺度频率分离网络的图像去模糊方法，其特征在于：所述的循环一致性由不同尺度下的编码阶段得到的低频特征和由主干网络输出清晰图像y对应尺度的低频特征的
Figure FDA0003761632560000036
-距离之和约束。
10.根据权利要求1所述的一种基于多尺度频率分离网络的图像去模糊方法，其特征在于：所述步骤(3)中对比学习模块模型的特征的不同尺度k分别设为0,1,2。
CN202210874814.2A 2022-07-24 2022-07-24 一种基于多尺度频率分离网络的图像去模糊方法 Pending CN115272113A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210874814.2A CN115272113A (zh) 2022-07-24 2022-07-24 一种基于多尺度频率分离网络的图像去模糊方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210874814.2A CN115272113A (zh) 2022-07-24 2022-07-24 一种基于多尺度频率分离网络的图像去模糊方法

Publications (1)

Publication Number Publication Date
CN115272113A true CN115272113A (zh) 2022-11-01

Family

ID=83769516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210874814.2A Pending CN115272113A (zh) 2022-07-24 2022-07-24 一种基于多尺度频率分离网络的图像去模糊方法

Country Status (1)

Country Link
CN (1) CN115272113A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI822623B (zh) * 2023-04-06 2023-11-11 友達光電股份有限公司 影像復原方法與影像處理裝置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI822623B (zh) * 2023-04-06 2023-11-11 友達光電股份有限公司 影像復原方法與影像處理裝置

Similar Documents

Publication Publication Date Title
Zamir et al. Multi-stage progressive image restoration
Purohit et al. Spatially-adaptive image restoration using distortion-guided networks
Zou et al. Sdwnet: A straight dilated network with wavelet transformation for image deblurring
CN109360156B (zh) 基于生成对抗网络的图像分块的单张图像去雨方法
WO2020015167A1 (zh) 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN110782399A (zh) 一种基于多任务cnn的图像去模糊方法
Zhang et al. Image super-resolution via dual-dictionary learning and sparse representation
Xue et al. Wavelet-based residual attention network for image super-resolution
CN112164011B (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
CN111915530A (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
Min et al. Blind deblurring via a novel recursive deep CNN improved by wavelet transform
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
Anwar et al. Attention-based real image restoration
CN117726537A (zh) 自适应多尺度特征融合AMFFD-Net的SAR图像去噪网络方法及系统
Zhang et al. Multi-scale frequency separation network for image deblurring
CN115345791A (zh) 一种基于注意力机制残差网络模型的红外图像去模糊算法
Quan et al. Image desnowing via deep invertible separation
CN115272113A (zh) 一种基于多尺度频率分离网络的图像去模糊方法
Yan et al. SharpFormer: Learning local feature preserving global representations for image deblurring
Li et al. Deep scale-aware image smoothing
CN113538258A (zh) 基于掩码的图像去模糊模型及方法
Sekar et al. Deep wavelet architecture for compressive sensing recovery
CN113902647A (zh) 一种基于双闭环网络的图像去模糊方法
CN115205148A (zh) 基于双路径残差网络的图像去模糊方法
Choi et al. Fast super-resolution algorithm using ELBP classifier

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination