CN110766632A - 基于通道注意力机制和特征金字塔的图像去噪方法 - Google Patents

Abstract

本发明涉及一种基于通道注意力机制和特征金字塔的图像去噪方法，包括：步骤1、在第一阶段，基于深度学习，使用卷积直接提取含噪图像的原始特征；步骤2、使用通道注意力机制对提取的原始特征赋予不同的重要性；步骤3、在第二阶段，使用池化核得到多尺度的深度特征；步骤4、使用连续的下采样和上采样对深度特征分别实现去噪，并且使用双线性插值对去噪的结果进行上采样级联；步骤5、在第三阶段，使用基于多路注意力机制的卷积核尺寸动态选择结构，自适应表达特征得到最终的干净图像。本发明设计合理，考虑了不同特征通道的重要性，兼顾全局信息和局部信息，并保证了图像去噪质量。

Description

基于通道注意力机制和特征金字塔的图像去噪方法

技术领域

本发明涉及计算机视觉图像技术领域，尤其是涉及一种基于通道注意力机制和特征金字塔的图像去噪方法。

背景技术

随着科学技术的进步，移动设备日益普及，图像的获取越来越便捷。由于使用了相对低成本的传感器和镜头，移动相机如手机相机捕捉到的图像通常会受到噪声的干扰，尤其是光线不足时，噪声的影响更加严重，这会导致图像质量下降，为后续的应用带来困难。保证图像质量是对图像进行高层次视觉应用如目标检测、语义分割等的基础。因此，如何高效地对真实图像进行去噪，进而提高图像的质量，是计算机视觉领域的一个重要的研究课题。

真实图像去噪技术(Real-Image Denoising)是指从观测到的来自真实世界的有噪声图像恢复出相应的无噪声图像，是从软件的角度解决图像噪声去除问题的重要技术手段。真实图像的噪声移除为使计算机能够更好地观察、分析、处理图片提供重要的技术支持，在高清晰度电视、医学影像、卫星成像、监控系统等很多领域都具有非常重要的应用价值。

传统的真实图像去噪算法将真实噪声建模成高斯分布，其中较为常用的包括非局部块匹配算法(BM3D)、稀疏编码算法(KSVD)等等，这些方法能够去除一定的噪声，但是使用阶段涉及复杂的优化步骤，时间代价较高，为快速应用带来麻烦，此外使用时涉及的可调参数过多，去噪效果无法保证。

卷积神经网络是一种专门用来处理具有类似网格结构的数据(例如图像即可以被视为二维的像素网格)的神经网络，已经在大量不同类型的计算机视觉处理任务(如图像分类、目标检测等)中取得成功。目前已经发展出很多基于卷积神经网络的实现真实图像去噪的解决方案，比如，通过几个参数化的线性滤波器以及几个参数化的影响函数来扩展传统的非线性反应扩散模型技术(TNRD)，基于编解码及跳连的全卷积神经网络的高斯去噪技术(REDNet)，融合残差学习和批归一化的卷积神经网络去噪技术(DnCNN)，使用噪声估计图配合输入，权衡对噪声的抑制和细节保持的去噪技术(FFDNet)，在FFDNet基础上，将噪声水平估计过程也用一个子网络实现，从而实现整个网络盲去噪的技术(CBDNet)，通过增强学习，建立带有路径查找器的多路径CNN，可以为每个图像区域动态选择合适的路径(Path-Restore)等等。但是，这些方法都没有考虑到特征通道之间的不同重要性，或者未能充分地利用多尺度的特征，从而取得了较为受限的效果。

发明内容

有鉴于此，有必要针对上述的问题，提供一种基于注意力机制和特征金字塔的图像去噪方法，设计合理，考虑了不同特征通道的重要性，兼顾全局信息和局部信息，并保证了图像去噪质量。

一种基于通道注意力机制和特征金字塔的图像去噪方法，包括：

步骤1、在第一阶段，基于深度学习，使用卷积直接提取含噪图像的原始特征；

步骤2、使用通道注意力机制对提取的原始特征赋予不同的重要性；

步骤3、在第二阶段，使用池化核得到多尺度的深度特征；

步骤4、使用连续的下采样和上采样对深度特征分别实现去噪，并且使用双线性插值对去噪的结果进行上采样级联；

步骤5、在第三阶段，使用基于多路注意力机制的卷积核尺寸动态选择结构，自适应表达特征得到最终的干净图像。

具体在步骤1中，使用四层卷积提取含噪图像的原始特征，所述四层卷积的单层卷积层的尺寸为3×3×32。

所述步骤2的具体实现方法为：

(1)对直接提取的原始特征U进行全局池化，提取其全局语义信息，然后经过全连接层、ReLU非线性变换、全连接层和Sigmoid非线性变换后得到通道校准系数向量μ；

(2)使用通道校准系数向量μ对输入特征U进行重新校准。

步骤3具体使用五个池化核，其大小分别为1×1，2×2，4×4，8×8和16×16。

在步骤4中：

(1)上采样和下采样各包括五个阶段，前一阶段通过下采样或是上采样进入下一阶段，同时同一阶段的上采样特征和下采样特征会进行级联；

(2)使用池化对输入特征进行两倍下采样，使用反卷积层进行两倍上采样，每一阶段伴随四层卷积层，四层卷积尺寸相同，五个阶段依次为3×3×32，3×3×64，3×3×128，3×3×256，3×3×512。

所述步骤5的具体实现方法为：

(1)同时通过3个不同卷积核大小的卷积层来表达特征，得到U′、U″和U″′，然后将结果逐像素相加得到混合特征

(2)再将进行全局池化，提取其全局语义信息，然后经过全连接层、ReLU非线性变换，再一分为三，得到对应的三个通道校准系数向量α、β和γ，并在整体上做softmax归一化操作，即对三个向量沿着各通道进行加权处理；

(3)将三个向量α、β和γ与U′、U″和U″′分别相乘，再逐像素相加，此时各特征通道自适应地选择了不同大小的卷积核进行特征表达；

(4)通过一个单层卷积，得到恢复后的干净图像。其中卷积层的尺寸为3×3×1。

本发明的优点和积极效果是：

1、本发明在三个阶段分别采用如下方式处理：在第一阶段使用深度卷积神经网络模型直接从噪声图像中提取原始特征，而后利用通道注意力机制，自适应地重新校准提取特征，从而获得更准确的特征表示；在第二阶段利用金字塔池化结构获得多尺度的特征，在各个尺度上进行去噪，同时考虑了全局信息和局部信息，减小了因特征信息缺失而造成的图像恢复模糊；在第三阶段，针对携带不同尺度特征信息的各通道，动态选择卷积核大小，对多尺度特征进行融合。

2、本发明设计合理，考虑了不同特征通道的重要性，多尺度感受野去噪兼顾了全局信息和局部信息，去噪后的多尺度特征也进行了自适应融合，网络的输出是去噪后的清晰图像，使用输入噪声图像和无噪声的清晰图像对，以平均绝对损失函数为目标来训练网络，以输出图像和无噪声的清晰图像对比来评价去噪效果，保证了去噪质量。

附图说明

图1是本发明的网络框架图；

图2是本发明的通道注意力机制的框架图；

图3是本发明的卷积核尺寸动态选择机制的框架图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。需要指出的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于通道注意力机制和特征金字塔的图像去噪方法，如图1至图3所示，包括以下步骤：

步骤S1、在第一阶段，通过基于深度学习的四层卷积直接提取输入噪声图像I_noise的原始特征U₀。

在本步骤中，卷积层尺寸为3×3×32。

步骤S2、使用通道注意力机制对提取的特征赋予不同的重要性。

步骤S2的具体实现方法如下：

步骤S2.1、对直接提取的原始特征U₀进行全局池化，提取其全局语义信息，然后经过全连接层、ReLU非线性变换、全连接层和Sigmoid非线性变换后得到通道校准系数向量μ。

步骤S2.2、使用通道校准系数向量μ对输入特征U₀进行重新校准，得到U₁，各特征通道的不同重要性得以突出。

步骤S3、通过深度学习的卷积层对校准后的特征进行降维，并与输入噪声图像I_noise进行级联，旨在补充原始信息，得到U₂。其中降维层尺寸为3×3×1，输出压缩至1通道。

步骤S4、在第二阶段，使用五个大小不同的池化核得到多尺度的深度特征，使携带不同大小感受野的信息。

步骤S4的具体实现方法如下：

步骤S4.1、使用五个大小为1×1，2×2，4×4，8×8和16×16的池化核分别对级联特征进行平均池化。

步骤S5、使用连续的下采样和上采样以及跳连对五层特征分别实现去噪，有研究表明，连续的上下采样对去噪较有帮助，并且使用双线性插值对五层结果进行上采样后级联。

步骤S5的具体实现方法如下：

步骤S5.1、上采样和下采样各包括五个阶段，前一阶段通过下采样或是上采样进入下一阶段，同时同一阶段的上采样特征和下采样特征会进行级联。

步骤S5.2、使用池化对输入特征进行两倍下采样，使用反卷积层进行上采样，每一阶段伴随四层卷积层，四层卷积尺寸相同，五个阶段依次为3×3×32，3×3×64，3×3×128，3×3×256，3×3×512。

步骤S5.3、对上述得到的五层特征进行分别进行1倍、2倍、4倍、8倍和16倍的双线性插值(考虑到若使用反卷积进行上采样，会在该部分引入较多参数，可能会造成学习困难，且缺乏明确的必要性，故直接使用双线性插值进行上采样，不引人新的待学习参数)，并与U₂级联，得到U₃。

步骤S6、在第三阶段，使用基于多路注意力机制的卷积核尺寸动态选择结构，自适应表达特征得到最终的干净图像。

步骤S6的具体实现方法如下：

步骤S6.1、U₃同时通过3个不同卷积核大小的卷积层来表达特征，得到U′、U″和U″′，然后将结果逐像素相加得到混合特征

步骤S6.2、再将进行全局池化，提取其全局语义信息，然后经过全连接层、ReLU非线性变换，再一分为三，得到对应的三个通道校准系数向量α、β和γ，并在整体上做softmax归一化操作，即对三个向量沿着各通道进行加权处理，使得在三条支路上的对应通道被赋予不同的权重。

步骤S6.3、将三个向量α、β和γ与U′、U″和U″′分别相乘，再逐像素相加，此时各特征通道即自适应地选择了不同大小的卷积核进行特征表达，得到U₄。

步骤S6.4、U₄通过一个单层卷积，进行降维，得到恢复后的干净图像I_clean。其中卷积层的尺寸为3×3×1。

通过以上步骤即可得到去噪后的图像。

最后，我们以平均绝对损失函数为目标训练网络，使用PSNR(Peak Signal toNoise Ratio，峰值信噪比)和SSIM(structural similarity index，结构相似性)评价网络性能。方法如下：

测试环境：Python 3.6；Tensorflow框架；Ubuntu16.04系统；NVIDIA GTX1080tiGPU

测试序列：所选数据集是用于真实图像去噪的图像数据集DND，包含50对超高分辨率真实噪声-无噪声图像对。

测试方法：为确保公平，该数据集的无噪声图像不对外公开，提交去噪结果后，由线上系统统一计算打分。

测试指标：本发明使用PSNR和SSIM进行评测。对当今流行的不同算法计算这些指标数据然后进行结果对比，证明本发明在真实图像去噪领域得到较好的结果。

测试结果如下：

通过以上对比数据可以看出，在准确度方面，本发明几乎优于其他所有方法。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于通道注意力机制和特征金字塔的图像去噪方法，其特征在于，包括：

步骤1、在第一阶段，基于深度学习，使用卷积直接提取含噪图像的原始特征；

步骤2、使用通道注意力机制对提取的原始特征赋予不同的重要性；

步骤3、在第二阶段，使用池化核得到多尺度的深度特征；

步骤4、使用连续的下采样和上采样对深度特征分别实现去噪，并且使用双线性插值对去噪的结果进行上采样级联；

步骤5、在第三阶段，使用基于多路注意力机制的卷积核尺寸动态选择结构，自适应表达特征得到最终的干净图像。

2.根据权利要求1所述的基于通道注意力机制和特征金字塔的图像去噪方法，其特征在于，具体在步骤1中，使用四层卷积提取含噪图像的原始特征，所述四层卷积的单层卷积层的尺寸为3×3×32。

3.根据权利要求1或2所述的基于通道注意力机制和特征金字塔的图像去噪方法，其特征在于，所述步骤2的具体实现方法为：

(1)对直接提取的原始特征U进行全局池化，提取其全局语义信息，然后经过全连接层、ReLU非线性变换、全连接层和Sigmoid非线性变换后得到通道校准系数向量μ；

(2)使用通道校准系数向量μ对输入特征U进行重新校准。

4.根据权利要求3所述的基于通道注意力机制和特征金字塔的图像去噪方法，其特征在于，步骤3具体使用五个池化核，其大小分别为1×1，2×2，4×4，8×8和16×16。

5.根据权利要求4所述的基于通道注意力机制和特征金字塔的图像去噪方法，其特征在于，在步骤4中：

(1)上采样和下采样各包括五个阶段，前一阶段通过下采样或是上采样进入下一阶段，同时同一阶段的上采样特征和下采样特征会进行级联；

(2)使用池化对输入特征进行两倍下采样，使用反卷积层进行两倍上采样，每一阶段伴随四层卷积层，四层卷积尺寸相同，五个阶段依次为3×3×32，3×3×64，3×3×128，3×3×256，3×3×512。

6.根据权利要求5所述的基于通道注意力机制和特征金字塔的图像去噪方法，其特征在于，所述步骤5的具体实现方法为：

(1)同时通过3个不同卷积核大小的卷积层来表达特征，得到U′、U″和U″′，然后将结果逐像素相加得到混合特征

(2)再将

进行全局池化，提取其全局语义信息，然后经过全连接层、ReLU非线性变换，再一分为三，得到对应的三个通道校准系数向量α、β和γ，并在整体上做softmax归一化操作，即对三个向量沿着各通道进行加权处理；

(3)将三个向量α、β和γ与U′、U″和U″′分别相乘，再逐像素相加，此时各特征通道自适应地选择了不同大小的卷积核进行特征表达；

(4)通过一个单层卷积，得到恢复后的干净图像。其中卷积层的尺寸为3×3×1。

Images