CN113284070A - 基于传递注意力机制的非均匀雾图去雾算法 - Google Patents

基于传递注意力机制的非均匀雾图去雾算法 Download PDF

Info

Publication number
CN113284070A
CN113284070A CN202110666303.7A CN202110666303A CN113284070A CN 113284070 A CN113284070 A CN 113284070A CN 202110666303 A CN202110666303 A CN 202110666303A CN 113284070 A CN113284070 A CN 113284070A
Authority
CN
China
Prior art keywords
attention
image
defogging
channel
fog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110666303.7A
Other languages
English (en)
Inventor
王科平
杨艺
韦金阳
李新伟
崔立志
李冰锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN202110666303.7A priority Critical patent/CN113284070A/zh
Publication of CN113284070A publication Critical patent/CN113284070A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于传递注意力机制的非均匀雾图去雾算法，包括如下步骤：S1、稀疏平滑空洞卷积特征提取；S2、基于传递注意力机制的非均匀雾霾特征处理；S3、损失函数；本发明提供的非均匀雾图去雾算法，针对真实非均匀雾霾图像，在注意力机制的引导下，直接构建降质图像与清晰图像之间端到端的映射关系，对非均匀有雾图像和合成的有雾图像均有良好的去雾效果，获得的复原图像有较好的细节信息，色彩更加自然。

Description

基于传递注意力机制的非均匀雾图去雾算法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于传递注意力机制的非均匀雾图去雾算法。
背景技术
雾天条件下，空气中悬浮的各种微粒对光线进行吸收和散射，导致采集到的户外图像表现出对比度降低，颜色失真，边缘模糊等现象，在此类环境下获取的雾霾图像既不利于图像的视觉观察，也阻碍了人工智能领域中以图像为主要处理对象的计算机视觉任务的进行，因此，研究雾霾图像的降质原理，提高其清晰化程度具有重要的研究意义和应用前景。
早期的图像去雾算法主要采用图像增强的手段来改善图像的对比度、清晰度，提升图像的视觉效果，如直方图均衡化、Retinex算法、同态滤波等。基于图像增强的方法可以有效提高图像对比度，然而，由于没有分析雾霾图像的退化机理，也未对成像时大气的状况加以考虑，容易导致复原图像出现色彩失真、部分细节丢失等现象。
Narasimhan等人通过分析雾霾降质图像的形成机制，将引起图像退化的大气介质散射因素和吸收因素引入成像模型，成功地提出大气散射模型。目前，基于大气散射模型的图像去雾方法是该领域的主流方法之一，依据其发展的脉络可以划分为两类：基于先验知识的图像去雾算法和基于深度学习的图像去雾算法。大气散射模型是一个严重的不适定问题，所以基于先验知识的图像去雾算法常常通过一些额外的先验信息或约束条件来辅助估计模型中的参数，即大气光值和透射图，然后再反演清晰图像。如He等人提出暗通道先验(DCP)信息约束大气散射模型，能够准确预测雾霾图像的透射率，有效地消除局部区域的雾霾。然而，算法对处理明亮区域或类似图像中天空区域具有一定的局限性，Zhu等人提出颜色衰减先验(CAP)模型，通过监督学习的方式训练线性模型的参数，依次估计场景深度信息和透射图，该方法可以复原出较多的细节信息，但仍存在一定程度的雾残留。
上述将图像先验信息与大气散射模型相结合的去雾方法取得了显著进展，但由于先验信息的应用具有一定的局限性，另外，先验信息的合理性和普适性也会较大程度影响参数的估算及最终的去雾效果。近年来，深度学习在计算机视觉领域受到广泛关注。大量学者将深度学习应用到图像去雾算法中并取得了不错的效果，但仍存在一些不足之处，如对非均匀雾霾图像的去雾效果并不理想，易出现雾霾残留的问题。
发明内容
本发明的目的是为了解决背景技术中所提出的问题，而提供基于传递注意力机制的非均匀雾图去雾算法，针对真实非均匀雾霾图像，在注意力机制的引导下，直接构建降质图像与清晰图像之间端到端的映射关系，对非均匀有雾图像和合成的有雾图像均有良好的去雾效果，获得的复原图像有较好的细节信息，色彩更加自然。
本发明的目的是这样实现的：
基于传递注意力机制的非均匀雾图去雾算法，包括如下步骤：
S1、稀疏平滑空洞卷积特征提取，采用普通卷积与平滑空洞卷积交错的形式构建稀疏块，提取图像中不同级别的特征信息；
S2、基于传递注意力机制的非均匀雾霾特征处理，在去雾网络中融入注意力机制，分别学习不同级别特征图中的通道注意力特征图与像素注意力特征图，赋予每个通道不同的权重值并使网络更加关注浓雾区域和高频区域，自适应地学习特征图在不同的权值下的特征映射，然后将注意力模块中的通道注意力特征图与像素注意力特征图分别向后传递，使注意力特征图中的权重信息在各个注意力块之间流动并相互配合，充分发挥注意力机制的优势；
S3、损失函数，在网络训练过程中，使用smooth L1loss作为损失函数，用来计算输出的输出去雾图像与对应真实无雾图像之间的差值。
优选的，S1中，稀疏块的构件步骤如下：
S1-1、在深度学习的图像分类网络的基础上，去雾网络先利用两层普通卷积提取图像中的特征信息，并引入跳跃连接抑制过拟合现象；
S1-2、利用两层级联的平滑空洞卷积更大范围的提取图像中的特征信息，跳跃连接的加入，抑制深层网络梯度消失的问题，提高网络学习能力。
优选的，S2中的注意力机制的融入步骤如下：
S2-1、先通过一层卷积核大小为3×3，步长为2的卷积层对特征图通道特征进行预处理，降低特征图尺寸；
S2-2、利用池化层对预处理特征图逐通道平均池化，得到每个通道的特征描述，经过两层卷积层和激活函数的处理后得到各通道的权重系数，即通道注意力特征图；
S2-3、将原始特征图与对应通道的权重系数逐像素相乘。
优选的，S2中的传递注意力机制的结构是将每一个注意力模块中的通道注意力特征图和像素注意力特征图用通道拼接的方式分别传递到下一个注意力模块中，使注意力特征图中的权重信息在各个注意力块之间流动，其中，像素注意力特征图之间采用卷积层进行维度匹配。
优选的，S2中，像素注意力的结构是通过两层卷积层来学习特征图的像素权重信息并在通道维度上对其进行压缩，经过激活函数处理后得到1通道的像素注意力特征图，再与各特征图中对应元素相乘来赋予每个像素不同的权重值。
优选的，所述注意力模块中除像素注意力特征图外的其他特征图均为64通道。
与现有技术相比，本发明的有益效果在于：
1、本发明提供的基于传递注意力机制的非均匀雾图去雾算法，该算法针对真实非均匀雾霾图像，在注意力机制的引导下，直接构建降质图像与清晰图像之间端到端的映射关系，与以往的去雾算法相比，本文提出的网络对非均匀有雾图像和合成的有雾图像均有良好的去雾效果，获得的复原图像有较好的细节信息，色彩更加自然。
2、本发明提供的基于传递注意力机制的非均匀雾图去雾算法，为了避免深度卷积网络下采样和池化容易造成细节信息丢失，保证网络的去雾性能和计算效率，算法以由普通卷积与平滑空洞卷积交错构成的稀疏块为主体框架提取图像特征信息。
3、本发明提供的基于传递注意力机制的非均匀雾图去雾算法，针对雾霾分布不均匀的特点，网络中融合视觉注意力机制，使网络在学习过程中更加关注图像中雾较重的区域。网络将各个注意力模块学习到的注意力特征图传递到下一个注意力模块，使模块间可以相互配合，充分发挥注意力机制的优势。
4、本发明提供的基于传递注意力机制的非均匀雾图去雾算法，注意力机制中传递结构的引入，使网络中各层的注意力信息在模块之间流动，可以相互配合地学习输入图像中的不同特征及各个特征的权重信息，并不局限于当前特征图，引导整体网络的学习过程，有效地避免模块之间信息的频繁变动，提升网络对非均匀有雾图像的去雾效果。
附图说明
图1是本发明基于传递注意力机制的非均匀雾图去雾算法结构示意图。
图2是本发明传递注意力去雾网络结构图。
图3是本发明稀疏块(S-1～S-5)结构图。
图4是本发明传递注意力机制结构图。
图5是本发明非均匀雾霾图像与对应的热力图。
图6是本发明非均匀有雾图像与清晰图像示意图。
图7是本发明数据集上的去雾效果示意图。
图8是本发明不同算法在本文拍摄数据集上去雾结果的客观比较图。
图9是本发明不同算法在I-HAZE数据集上的去雾效果对比图。
图10是本发明不同算法在I-HAZE测试集上去雾结果的客观比较图。
图11是本发明不同算法在O-HAZE数据集上的去雾效果对比图。
图12是本发明不同算法在O-HAZE测试集上去雾结果的客观比较图。
图13是本发明不同算法在SOTS数据集上的去雾效果对比图。
图14是本发明不同算法在SOTS数据集上的去雾效果放大区域对比图。
图15是本发明不同算法在SOTS测试集上去雾结果的客观比较图。
具体实施方式
下面结合附图对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
结合图1，基于传递注意力机制的非均匀雾图去雾算法，其特征在于：包括如下步骤：
S1、稀疏平滑空洞卷积特征提取，采用普通卷积与平滑空洞卷积交错的形式构建稀疏块，提取图像中不同级别的特征信息；
S2、基于传递注意力机制的非均匀雾霾特征处理，在去雾网络中融入注意力机制，分别学习不同级别特征图中的通道注意力特征图与像素注意力特征图，赋予每个通道不同的权重值并使网络更加关注浓雾区域和高频区域，自适应地学习特征图在不同的权值下的特征映射，然后将注意力模块中的通道注意力特征图与像素注意力特征图分别向后传递，使注意力特征图中的权重信息在各个注意力块之间流动并相互配合，充分发挥注意力机制的优势；
S3、损失函数，在网络训练过程中，使用smooth L1loss作为损失函数，用来计算输出的输出去雾图像与对应真实无雾图像之间的差值。
图像去雾是像素级别的图像重建过程，为了在扩大感受野的同时减少细节特征信息的丢失，算法构建稀疏结构平滑空洞卷积进行特征提取及图像复原。针对雾霾浓度的随机性和非均匀性，提出了传递注意力机制的学习模式，算法充分学习不同级别特征图中不同位置的注意力权重，并通过通道拼接的方式将注意力模块连接起来，使权重信息在各个注意力模块之间流动并相互配合，充分发挥注意力机制的优势，最后，网络并联一个轻量级残差结构从输入雾图中直接提取颜色特征，弥补复原图像易出现颜色失真的现象。
实施例2
传递注意力去雾网络的整体结构如图2所示，虚线框内为网络的主体部分，先通过三个卷积层(Conv1～3)初步提取输入图像的特征信息，其中Conv3的步长为2，可以减小特征图尺寸，降低网络的计算复杂度。
然后利用5个级连的稀疏块(S-1～S-5)提取图像中不同层的特征，避免下采样操作的使用从而减少细节信息的丢失。
接下来利用门控融合网络直接将提取到的低、中、高三种级别的特征图进行门控融合，有效聚合不同级别的图像特征，获得包含丰富特征信息的特征图。
最后，通过转置卷积将融合后的特征图还原到与输入雾图相同的尺寸。
为处理输入图像中复杂的非均匀雾噪声，本申请在网络中加入注意力模块(A-0～A-6)来学习中间特征图中不同位置的权重信息，为不同的特征赋予相应的注意力，并利用通道拼接的方式使注意力模块中的注意力特征图逐级向后传递，引导网络的特征提取过程，充分发挥注意力机制的优势，为抑制转置卷积带来的“棋盘效应”，网络中加入两个卷积层(Conv6～7)，并通过并联一个残差结构来提取输入雾图中的颜色特征，弥补复原图像中缺失的颜色信息。
实施例3
稀疏平滑空洞卷积特征提取。
基于深度学习的图像分类网络往往通过多层下采样操作来扩大感受野，以便提取图像中高层语义特征，在提高网络整体性能的同时减少计算量，然而，图像去雾网络是像素级别的重建过程，大量的下采样操作容易丢失图像细节信息，为无雾图像的重建带来巨大的挑战，因此，在扩大图像感受野的同时尽可能多的保留细节信息尤为重要。
本申请提出一种稀疏结构平滑空洞卷积实现特征提取，并采用门控融合的方式将不同级别的特征进行融合。
疏机制可以有效应用于图像修复领域，本申请采用普通卷积与平滑空洞卷积交错的形式构建稀疏块，提取图像中不同级别的特征信息，一方面，平滑空洞卷积的使用在扩大卷积核感受野的同时避免了池化等下采样操作造成信息丢失，有效消除“网格伪影”的现象，有利于无雾图像的重建；另一方面，普通卷积与平滑空洞卷积交错组成的稀疏结构加深了网络的深度而不会大幅度增加计算量，有效提高网络整体性能，使去雾网络在计算效率与去雾性能上达到平衡。
稀疏块结构如图3所示，去雾网络先利用两层普通卷积提取图像中的特征信息，并引入跳跃连接抑制过拟合现象。
在此之后，利用两层级联的平滑空洞卷积更大范围的提取图像中的特征信息，跳跃连接的加入，可有效抑制深层网络梯度消失的问题，提高了网络学习能力。
稀疏块中的卷积核大小均为3×3，步长为1，输出通道数为64，卷积后的激活函数均采用ReLU函数，稀疏块中平滑空洞卷积的使用在扩大卷积核的感受野的同时，有效消除空洞卷积中易出现的“网格伪影”，的现象，在整体去雾网络中，5个级联稀疏块被用来提取输入图像的特征信息，稀疏块中平滑空洞卷积的扩张率分别为2、2、4、4、4。
实施例4
基于传递注意力机制的非均匀雾霾特征处理。
目前，多数图像去雾算法在处理人工合成有雾图像时会取得不错的效果，但对于自然界中的非均匀有雾图像往往会效果不佳。这是因为与合成有雾图像相比，自然界中雾霾分布更为复杂，不同位置的噪声重要性不同且呈无规则分布，难以对其建立数学模型或学习其分布规律。多数图像去雾网络仍直接或间接依赖于大气散射模型进行去雾，未能针对有雾图像中不同浓度的雾层学习输入图像与对应标签之间的特征映射关系，进而无法很好地处理雾层分布不均匀的有雾图像。
实现非均匀有雾图像去雾，要求网络能自动识别有雾图像中的浓雾区域与薄雾区域，并在保留图像背景特征的同时有区别地处理不同浓度的雾噪声。为此，本文在网络中融入注意力机制，分别学习不同级别特征图中的通道注意力特征图与像素注意力特征图，赋予每个通道不同的权重值并使网络更加关注浓雾区域和高频区域，自适应地学习特征图在不同的权值下的特征映射。然后将注意力模块中的通道注意力特征图与像素注意力特征图分别向后传递，使注意力特征图中的权重信息在各个注意力块之间流动并相互配合，充分发挥注意力机制的优势。
本申请将注意力机制的结构图从去雾网络中拆分出来，具体结构如图4所示，其中A-0到A-6表示图2中的注意力模块，每个模块结构相同，都由通道注意力与像素注意力组成，……表示去雾网络中除注意力机制外的其他部分。
一、注意力机制
特征图中的不同通道的重要程度不尽相同，为提高去雾网络的学习能力，本文利用通道注意力学习特征图中各通道的权重值并赋予网络。通道注意力结构如图4中所示，网络先通过一层卷积核大小为3×3，步长为2的卷积层对特征图通道特征进行预处理，降低特征图尺寸，然后利用池化层对预处理特征图逐通道平均池化，得到每个通道的特征描述，经过两层卷积层和激活函数的处理后得到各通道的权重系数，即通道注意力特征图，最后将原始特征图与对应通道的权重系数逐像素相乘。
为处理有雾图像中不同像素位置上非均匀的雾噪声，在通道注意力后连接像素注意力来学习不同像素的权重系数，使网络更加关注雾图中的高频区域和浓雾区域。像素注意力结构图如图4中所示，通过两层卷积层来学习特征图的像素权重信息并在通道维度上对其进行压缩，经过激活函数处理后得到1通道的像素注意力特征图，再与各特征图中对应元素相乘来赋予每个像素不同的权重值，注意力模块中除像素注意力特征图外的其他特征图均为64通道。
二、传递注意力
注意力模块根据输入图像特征的重要程度在通道维度和像素维度上分别生成注意力特征图，为特征图不同位置赋予不同的权重值，使网络在学习的过程中更加灵活地处理非均匀有雾图像中的雾噪声，提升了网络对不同特征的处理能力，然而，每个注意力模块只是根据网络中当前位置的特征生成注意力特征图，并没有考虑不同级别的注意力特征图之间的联系，无法充分挖掘注意力机制的优势，为此，本申请提出传递注意力机制，具体结构如图4所示，将每一个注意力模块中的通道注意力特征图和像素注意力特征图用通道拼接的方式分别传递到下一个注意力模块中，使注意力特征图中的权重信息在各个注意力块之间流动，其中，像素注意力特征图之间采用卷积层进行维度匹配。
注意力机制中传递结构的引入，使网络中各层的注意力信息在模块之间流动，可以相互配合地学习输入图像中的不同特征及各个特征的权重信息，并不局限于当前特征图，引导整体网络的学习过程，有效地避免模块之间信息的频繁变动，提升网络对非均匀有雾图像的去雾效果。
为了更加直观地说明传递注意力机制可以有效地处理非均匀雾霾噪声，为不同的特征赋予相应的权重值，本文将注意力模块A-6的输出特征图进行可视化，将其转化为热力图，如图5所示，本申请提出的网络可以自适应的识别非均匀雾霾图像中的噪声区域，并为不同区域赋予相应的权重，在浓雾区域，对应的权重值较高，大多显示为红色，薄雾区域及无雾区域对应的权重值较低，普遍呈蓝色。
实施例5
损失函数：本申请在网络训练过程中使用smooth L1loss作为损失函数，用来计算输出的输出去雾图像与对应真实无雾图像之间的差值。Smooth L1loss损失函数对异常值不太敏感，在网络训练初始阶段，比L2loss的梯度变化小，具有更强的鲁棒性，当差值接近0时，比L1loss平滑，使得网络在后续的训练过程中更容易收敛，函数表达式为：
Figure BDA0003117568440000131
其中，Θ表示需要学习的网络参数，F表示本文提出的去雾网络，Igt是作为标签的无雾图像，Ihaze是输入的有雾图像，N为图像像素个数。Smooth L1loss可以从两个方面限制梯度，当预测值与真实值差别过大时，使得梯度值不至于过大，避免破坏网络参数，当预测值与真实值差别较小时，使得梯度值足够小，有利于网络收敛，提高了去雾网络的鲁棒性。
实施例6
对提出的传递注意力去雾算法的去雾性能进行广泛的评估，分别在非均匀有雾图像数据集、合成有雾图像数据集、真实有雾图像数据集上将本申请算法与已有的去雾算法进行比较，并从主观与客观方面对本文算法的去雾效果进行评价。
整个实验过程在NVIDIA GeForce GTX 1080Ti的PC上进行，网络基于PyTorch框架实现，在训练过程中，选取大小为512×512图像作为输入图像与标签，整个网络共训练100轮(epoch)，采用Adadelta作为优化算法，它可以自适应地调整学习速率，初始学习率设定为0.05，Batchsize值设置为2。
一、数据集的非均匀雾图数据集的验证：
为验证传递注意力去雾网络对非均匀有雾图像的效果，本申请设计并制作了81组包含清晰图像和对应有雾图像的数据集共3240张，其中，每组数据由1张清晰图像和对应的26～181张不等的有雾图像组成，有雾图像中雾浓度不同且随机分布，通过在同一环境中拍摄无雾图像与对应的有雾图像，拍摄设备为位置固定的HIKVISION EXIR红外点阵筒型网络摄像机，雾层由拍摄专用烟饼燃烧的轻烟产生，为避免光照条件变化带来的额外影响，同一组数据采集的时间间隔尽可能缩短，为了扩展训练数据，将数据集中的图像随机裁剪为512×512大小并筛选，最终得到出6486张图像作为室内数据集，部分样本如图6所示，左边四列为非均匀有雾图像，最后1列为对应的清晰图像。
为了验证本申请所提网络的泛化能力，在真实有雾图像数据集I-HAZE和O-HAZE上进行扩展实验，I-HAZE数据集中包含35组不同场景的室内图像对，O-HAZE中包含45组不同场景的室外图像对，每组图像对包含一张清晰图像和对应的有雾图像，数据集中有雾图像的雾是由烟雾机器生成。本申请分别在I-Haze数据集、O-Haze数据集中随机选取27张、40张图像来生成训练数据集，其余图像生成测试集，为了扩展训练数据，将图像随机裁剪为512×512大小并旋转，共筛选出7800组图像作为室内数据集，9753组图像张作为室外数据集，通过分别在这两组数据集上进行实验，以验证本申请算法的有效性与泛化能力。
二、在非均匀雾图数据集上的实验结果
为了验证本申请所提算法对非均匀有雾图像的去雾有效性，分别在本文拍摄的数据集、I-HAZE数据集和O-HAZE数据集上进行实验，并与DCP、AOD-Net、FFA-Net和GCANet等4种现有的效果较好的图像去雾算法进行定性比较，并结合SSIM和PSNR对各算法的去雾效果进行定量分析。
(1)在本申请拍摄的数据集上的实验结果
从本申请拍摄数据集中随机选取200张与训练集非重叠的有雾图像作为测试集，验证本申请算法对非均匀有雾图像的去雾效果。
不同算法在本申请拍摄数据集上的去雾效果如图7所示，其中，第一列为输入的非均匀有雾图像，最后1列为对应的无雾图像。DCP能够非常有效地消除一些雾噪声，但去雾后的图像整体色彩偏暗，在部分区域易产生较大程度颜色偏差，视觉效果不太理想(如图7(b)中的第1张图像中的天空区域和第4张图像中的建筑区域)；AOD-Net网络有一定的去雾效果，但去雾结果整体偏暗；FFA-Net网络去雾后的图像整体色彩较为自然，但去雾后的图像中仍然存在较多的雾噪声(如图7(d)中的第3、4张图像所示)；GCANet网络可以有效地去除非均匀有雾图像中的大部分区域的雾，但在雾较重的区域仍有部分雾残留(如图7(e)中的第1张图像中的天空区域和第4张图像中的左侧区域)，去雾结果整体有一定的颜色偏差。
与上述方法相比，本申请算法在保持较高的色彩一致性的前提下去雾效果更加彻底，在浓雾区域和薄雾区域均有较好的去雾效果，结果图最接近于无雾图像参考图。
图8为不同算法在本文拍摄的数据集上去雾结果的定量比较，可以看出DCP与AOD-Net的去雾结果的定量评价指标较低，而FFA-Net和GCANet这两个基于端到端的图像去雾算法的去雾结果评价指标相对有很大提高。而本申请提出的算法高出对比算法中评价指标最高的FFA-Net的SSIM值和PSNR值分别0.02和1.16dB。
综上所述，本十年前提出的算法在SSIM和PSNR两个定量评价指标更高，针对非均匀有雾图像的去雾结果更接近真实的无雾图像。
(2)在I-HAZE、O-HAZE数据集上的实验结果
在本文处理后的I-HAZE数据集中随机选取270张与训练集非重叠的有雾图像作为室内测试集，以验证本文算法对室内非均匀有雾图像的去雾效果。各算法的去雾结果如图9所示，DCP整体上有明显的去雾效果，可以较好地去除图像中的雾，但会引入一些额外的噪声(如图9(b)中的第1张图像中的最左侧区域)，且图像整体偏暗；AOD-Net网络和FFA-Net网络对输入图像均有一定的去雾效果，且去雾后的图像整体无颜色失真，但图像中仍然存在较多的雾噪声，去雾效果并不彻底；GCANet网络可以有效去除室内非均匀有雾图像中的大部分的雾，但在一些物体边缘区域仍有部分雾残留(如图9(e)中的第1张图像中的金属柱体)，去雾结果部分区域有一定的颜色偏差(如图9(e)中的第3张图像中的背景区域和第4张图像中的左上角的书橱)；与上述方法相比，本文算法有较好的去雾效果，整体上去雾更加彻底，且与无雾图像相比几乎无颜色失真。
图10为各对比算法在室内非均匀有雾图像数据集I-HAZE上的去雾结果的定量比较，其中，DCP与GCANet的去雾结果的定量评价指标较低，而AOD-Net和FFA-Net的图像去雾算法的去雾结果评价指标相对较高，本文提出的算法比中各评价指标最高的FFA-Net的SSIM值和PSNR值分别高出0.02和3.86dB。因此，针对室内非均匀有雾图像数据集I-HAZE，本文提出的算法的SSIM和PSNR两个定量评价指标更高，去雾结果更接近真实的无雾图像。
为验证本文算法对O-HAZE数据集中雾图的去雾效果，在处理后的O-HAZE数据集中随机选择428张与训练集非重叠的图像作为测试集，以验证本文算法的去雾效果，各算法在O-HAZE数据集上的部分输出结果如图11所示，可以看出DCP整体上有一定的的去雾效果，但去雾后的图像存在颜色失真，特别是在天空区域(如图11(b)中的第2、3张图像中的天空区域)，且输出图像整体颜色偏暗；AOD-Net网络和FFA-Net网络对输入雾图均有去雾效果，但图像中仍然存在较多的雾噪声，去雾效果并不彻底(如图11(c)和11(d)中的第3张图像中的树木上仍有雾存在)；GCANet网络的去雾效果有很大提升，去雾效果更加明显且颜色失真大大减少，但在较为复杂的区域仍有部分雾残留(如图11(e)的第2张图像中天空区域有颜色失真，第3张图像中最下方区域有雾存在)；与上述方法相比，本文算法几乎无颜色失真，去雾效果最彻底，整体更接近无雾图像。
各对比算法在O-HAZE测试集上的去雾结果的定量比较如图12所示，相对于各对比算法中各评价指标最高的FFA-Net网络，本文提出的算法的SSIM值和PSNR值分别提高了0.06和2.86dB。因此，针对室外非均匀有雾图像数据集O-HAZE，本文提出的算法的客观评价指标更高，去雾结果更接近真实的无雾图像。
二、数据集的合成数据集的验证：
本申请算法对合成有雾图像也有不错的去雾效果，在合成有雾图像数据集上进行对比实验，选择RESIDE-standard数据集中的ITS(Indoor Training Set)-V2作为室内训练数据集，ITS-V2中包含13990张合成的室内有雾图像，是由1399张室内清晰图像生成的，每张清晰图像生成10张不同的有雾图像，随机选取10000张室内有雾图像进行训练数据，其余有雾图像作为非重叠测试数据，另外，选择RESIDE数据集中的SOTS数据集作为验证集测试本申请算法的去雾效果。
(1)在合成数据集上的实验结果
本文的去雾算法是针对雾层分布较为复杂的非均匀有雾图像提出的，但对于雾层分布较为均匀的合成有雾图像也有较好的去雾效果，本文选择RESIDE数据集中的ITS-V2作为训练集来训练网络，包含500张室内合成有雾图像的SOTS数据集作为验证集来验证本文算法的去雾效果，并与DCP、DehazeNet、AOD-Net、FFA-Net和GCANet等5种效果较好的图像去雾算法进行比较，去雾效果对比图如图13所示：DCP算法能够有效消去雾，但去雾后的图像整体色彩偏暗，且易产生过饱和的现象(如图13(b)第1张图中的左下角地板处颜色偏暗)，视觉效果不太理想；DehazeNe网络的去雾效果较为理想，但在部分复杂区域去雾效果不够彻底(如图13(c)第3张图中的左上方仍有雾存在)，AOD-Net表现出了较好的去雾效果，但也存在去雾效果不彻底的现象；FFA-Net去雾算法较好地保留了图像的细节信息但去雾效果不是很理想，有较多雾残留；GCANet网络的去雾效果非常理想，去雾很彻底且几乎无颜色失真，但在部分区域引入额外的噪声(如图13(f)第2张图中的左侧黑色噪声)；本文算法在保证去雾效果比较彻底的前提下，保持较高的色彩一致性和图像的细节信息，去雾后结果图最接近于无雾图像参考图，在整体视觉效果上优于其他对比算法。
为了更加直观地展示各对比算法的去雾效果，本文将实验结果中的部分区域放大对比，如图14所示，DCP和GCANet网络可以较好地实现室内图像去雾，但均有不同程度的颜色失真，DehazeNet、AOD-Net和FFA-Net等网络可以完整地恢复有雾图像的原始色彩，但去雾效果并不彻底，特别是FFA-Net仍然保留了大量的雾，相比之下，本文提出的方法可以更彻底地去除室内有雾图像中的雾，且得到的去雾图像具有较好的色彩保真度，更接近于清晰的无雾图像。
图15为各去雾算法在SOTS测试集上去雾结果的客观比较，与各对比各算法的去雾结果相比，本文提出的算法的SSIM值最高，PSNR值排在第二位，因此，针对合成有雾图像数据集，本文提出的算法仍然取得了优秀的去雾效果。
本申请提出一种基于传递注意力机制的非均匀雾图去雾算法，可以直接学习输入图像与清晰图像之间的映射关系，以端到端的方式实现非均匀有雾图像去雾，该算法利用稀疏块中稀疏结构的平滑空洞卷提取图像特征，扩大卷积核感受野的同时减少特征信息丢失，针对非均匀雾图中复杂的雾噪声，在网络中加入传递注意力机制，使得模块中的权重信息流动并相互配合，充分发挥注意力机制的优势。
实验结果表明，本文提出的去雾算法对于真实的非均匀有雾图像及合成的有雾图像均能取得良好的去雾效果，恢复出的无雾图像整体更加清晰且色彩更加自然，客观指标上的结果也证明了本文算法图像恢复的质量较好。
以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的保护范围内所做的任何修改，等同替换等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于传递注意力机制的非均匀雾图去雾算法，其特征在于：包括如下步骤：
S1、稀疏平滑空洞卷积特征提取，采用普通卷积与平滑空洞卷积交错的形式构建稀疏块，提取图像中不同级别的特征信息；
S2、基于传递注意力机制的非均匀雾霾特征处理，在去雾网络中融入注意力机制，分别学习不同级别特征图中的通道注意力特征图与像素注意力特征图，赋予每个通道不同的权重值并使网络更加关注浓雾区域和高频区域，自适应地学习特征图在不同的权值下的特征映射，然后将注意力模块中的通道注意力特征图与像素注意力特征图分别向后传递，使注意力特征图中的权重信息在各个注意力块之间流动并相互配合，充分发挥注意力机制的优势；
S3、损失函数，在网络训练过程中，使用smooth L1loss作为损失函数，用来计算输出的输出去雾图像与对应真实无雾图像之间的差值。
2.根据权利要求1所述的基于传递注意力机制的非均匀雾图去雾算法，其特征在于：S1中，稀疏块的构件步骤如下：
S1-1、在深度学习的图像分类网络的基础上，去雾网络先利用两层普通卷积提取图像中的特征信息，并引入跳跃连接抑制过拟合现象；
S1-2、利用两层级联的平滑空洞卷积更大范围的提取图像中的特征信息，跳跃连接的加入，抑制深层网络梯度消失的问题，提高网络学习能力。
3.根据权利要求1所述的基于传递注意力机制的非均匀雾图去雾算法，其特征在于：S2中的注意力机制的融入步骤如下：
S2-1、先通过一层卷积核大小为3×3，步长为2的卷积层对特征图通道特征进行预处理，降低特征图尺寸；
S2-2、利用池化层对预处理特征图逐通道平均池化，得到每个通道的特征描述，经过两层卷积层和激活函数的处理后得到各通道的权重系数，即通道注意力特征图；
S2-3、将原始特征图与对应通道的权重系数逐像素相乘。
4.根据权利要求1所述的基于传递注意力机制的非均匀雾图去雾算法，其特征在于：S2中的传递注意力机制的结构是将每一个注意力模块中的通道注意力特征图和像素注意力特征图用通道拼接的方式分别传递到下一个注意力模块中，使注意力特征图中的权重信息在各个注意力块之间流动，其中，像素注意力特征图之间采用卷积层进行维度匹配。
5.根据权利要求1所述的基于传递注意力机制的非均匀雾图去雾算法，其特征在于：S2中，像素注意力的结构是通过两层卷积层来学习特征图的像素权重信息并在通道维度上对其进行压缩，经过激活函数处理后得到1通道的像素注意力特征图，再与各特征图中对应元素相乘来赋予每个像素不同的权重值。
6.根据权利要求5所述的基于传递注意力机制的非均匀雾图去雾算法，其特征在于：所述注意力模块中除像素注意力特征图外的其他特征图均为64通道。
CN202110666303.7A 2021-06-16 2021-06-16 基于传递注意力机制的非均匀雾图去雾算法 Pending CN113284070A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110666303.7A CN113284070A (zh) 2021-06-16 2021-06-16 基于传递注意力机制的非均匀雾图去雾算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110666303.7A CN113284070A (zh) 2021-06-16 2021-06-16 基于传递注意力机制的非均匀雾图去雾算法

Publications (1)

Publication Number Publication Date
CN113284070A true CN113284070A (zh) 2021-08-20

Family

ID=77284728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110666303.7A Pending CN113284070A (zh) 2021-06-16 2021-06-16 基于传递注意力机制的非均匀雾图去雾算法

Country Status (1)

Country Link
CN (1) CN113284070A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023040462A1 (zh) * 2021-09-17 2023-03-23 南京邮电大学 图像去雾方法、装置及设备
CN116129379A (zh) * 2022-12-28 2023-05-16 国网安徽省电力有限公司芜湖供电公司 一种雾天环境下的车道线检测方法
US11663705B2 (en) 2021-09-17 2023-05-30 Nanjing University Of Posts And Telecommunications Image haze removal method and apparatus, and device
CN116596792A (zh) * 2023-05-22 2023-08-15 武汉理工大学 一种面向智能船舶的内河雾天场景恢复方法、系统及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140072216A1 (en) * 2012-09-10 2014-03-13 Google Inc. Image De-Hazing by Solving Transmission Value
CN111915531A (zh) * 2020-08-06 2020-11-10 温州大学 一种多层次特征融合和注意力引导的神经网络图像去雾方法
CN112132844A (zh) * 2020-11-12 2020-12-25 福建帝视信息科技有限公司 基于轻量级的递归式非局部自注意力的图像分割方法
US20210089807A1 (en) * 2019-09-25 2021-03-25 Samsung Electronics Co., Ltd. System and method for boundary aware semantic segmentation
CN112767283A (zh) * 2021-02-03 2021-05-07 西安理工大学 一种基于多图像块划分的非均匀图像去雾方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140072216A1 (en) * 2012-09-10 2014-03-13 Google Inc. Image De-Hazing by Solving Transmission Value
US20210089807A1 (en) * 2019-09-25 2021-03-25 Samsung Electronics Co., Ltd. System and method for boundary aware semantic segmentation
CN111915531A (zh) * 2020-08-06 2020-11-10 温州大学 一种多层次特征融合和注意力引导的神经网络图像去雾方法
CN112132844A (zh) * 2020-11-12 2020-12-25 福建帝视信息科技有限公司 基于轻量级的递归式非局部自注意力的图像分割方法
CN112767283A (zh) * 2021-02-03 2021-05-07 西安理工大学 一种基于多图像块划分的非均匀图像去雾方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LAN YAN ET AL: "FEATURE AGGREGATION ATTENTION NETWORK FOR SINGLE IMAGE DEHAZING", 《2020 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023040462A1 (zh) * 2021-09-17 2023-03-23 南京邮电大学 图像去雾方法、装置及设备
US11663705B2 (en) 2021-09-17 2023-05-30 Nanjing University Of Posts And Telecommunications Image haze removal method and apparatus, and device
CN116129379A (zh) * 2022-12-28 2023-05-16 国网安徽省电力有限公司芜湖供电公司 一种雾天环境下的车道线检测方法
CN116129379B (zh) * 2022-12-28 2023-11-07 国网安徽省电力有限公司芜湖供电公司 一种雾天环境下的车道线检测方法
CN116596792A (zh) * 2023-05-22 2023-08-15 武汉理工大学 一种面向智能船舶的内河雾天场景恢复方法、系统及设备
CN116596792B (zh) * 2023-05-22 2023-12-29 武汉理工大学 一种面向智能船舶的内河雾天场景恢复方法、系统及设备

Similar Documents

Publication Publication Date Title
CN112288658B (zh) 一种基于多残差联合学习的水下图像增强方法
CN113284070A (zh) 基于传递注意力机制的非均匀雾图去雾算法
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN109712083B (zh) 一种基于卷积神经网络的单幅图像去雾方法
Cao et al. Underwater image restoration using deep networks to estimate background light and scene depth
CN110210608B (zh) 基于注意力机制和多层次特征融合的低照度图像增强方法
CN111754438B (zh) 基于多分支门控融合的水下图像复原模型及其复原方法
CN111275637A (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN111161360B (zh) 基于Retinex理论的端到端网络的图像去雾方法
CN110517203B (zh) 一种基于参考图像重建的去雾方法
CN110223251B (zh) 适用于人工与自然光源的卷积神经网络水下图像复原方法
CN110097522B (zh) 一种基于多尺度卷积神经网络的单幅户外图像去雾方法
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
CN115223004A (zh) 基于改进的多尺度融合生成对抗网络图像增强方法
CN111553856B (zh) 基于深度估计辅助的图像去雾方法
CN112070688A (zh) 一种基于上下文引导生成对抗网络的单幅图像去雾方法
CN108257101A (zh) 一种基于最优复原参数的水下图像增强方法
CN114511480A (zh) 一种基于分数阶卷积神经网络的水下图像增强方法
CN110807743B (zh) 一种基于卷积神经网络的图像去雾方法
Qian et al. CIASM-Net: a novel convolutional neural network for dehazing image
CN112419163B (zh) 一种基于先验知识和深度学习的单张图像弱监督去雾方法
Ke et al. Single underwater image restoration based on descattering and color correction
CN113962878A (zh) 一种低能见度图像去雾模型方法
CN112132757B (zh) 一种基于神经网络的通用图像复原方法
CN116128768B (zh) 一种带有去噪模块的无监督图像低照度增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210820

RJ01 Rejection of invention patent application after publication