CN112767258B - 一种端到端的图像去沙尘暴方法 - Google Patents
一种端到端的图像去沙尘暴方法 Download PDFInfo
- Publication number
- CN112767258B CN112767258B CN202011513781.6A CN202011513781A CN112767258B CN 112767258 B CN112767258 B CN 112767258B CN 202011513781 A CN202011513781 A CN 202011513781A CN 112767258 B CN112767258 B CN 112767258B
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- storm
- residual
- sand storm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000004576 sand Substances 0.000 title claims abstract description 108
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000013135 deep learning Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 238000010586 diagram Methods 0.000 claims abstract description 11
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 239000011800 void material Substances 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000003379 elimination reaction Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 20
- 238000011156 evaluation Methods 0.000 description 7
- 239000002131 composite material Substances 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 238000011158 quantitative evaluation Methods 0.000 description 5
- 239000000428 dust Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30192—Weather; Meteorology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种端到端的图像去沙尘暴方法。该方法通过深度学习网络模型估计出无沙尘暴图像和沙尘暴图像之间的残差图，而后用沙尘暴图像加上残差图来得到最终的去沙尘暴结果；其中，深度学习网络模型包括用于提取图像特征的编码模块、用于缓解空洞卷积带来的网格伪影问题的平滑空洞残差卷积模块、用于融合不同网络层提取的图像特征的注意力融合模块、用于将残差图还原到初始分辨率以获得沙尘暴残差图的解码模块。本发明创新地提出一种专门用于图像去沙尘暴的网络架构。因此，本发明使用基于图像增强的深度学习方法作为对比算法。在一系列合成数据集上的实验结果表明，本发明方法的图像去沙尘暴效果明显优于现有的基于图像增强的深度学习方法，取得了良好的图像去沙尘暴效果。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种端到端的图像去沙尘暴方法。
背景技术
随着大气污染的加重，沙尘暴天气愈加频繁发生。沙尘暴天气下，由于大气中悬浮的沙尘颗粒对光线产生吸收、散射和折射作用，使得沙尘暴天气下所生成的图像颜色受沙尘影响，图像细节丢失，图像场景不清晰，从而降低了自然场景的可见度，影响户外监测设备的监控能力，限制了沙尘暴天气下图像和视频在交通监控、目标跟踪、自主导航等领域的应用。尽管图像去沙尘暴具有很大实际应用意义，现存的基于图像增强的方法大都致力于研究图像去雾或去雨，却很少关注到图像去沙尘暴。因此，沙尘暴图像清晰化处理至关重要。图像去沙尘暴旨在研究沙尘暴图像清晰化的技术。
类似于雾天图像的物理成像过程，沙尘暴图像与透射率、场景深度以及色彩等因素密切相关。因此，基于经典的光学模型对沙尘暴图像的生成过程开展研究，其公式如下：
I(x)＝J(x)t(x)+A(1-t(x))
其中，I(x)代表沙尘暴图像，J(x)代表无沙尘暴图像，A代表大气光值，t代表透射率。由该光学模型可见，图像去沙尘暴的效果与透射率的估计密切相关。但是，对透射率的准确估计至今仍然是个难题。
近年来，随着深度学习技术在图像处理领域的成功应用，越来越多基于卷积神经网络(CNN)的图像增强算法被提出来。一些方法先利用深度神经网络对透射率进行估计，然后基于公式(1)恢复图像。但是，这类方法始终存在对中间参数的估计误差。而端到端的网络直接对输入的沙尘暴图像进行处理，最终输出去沙尘暴后的图像，避免了中间参数的估计误差，提升图像去沙尘暴效果。
发明内容
本发明的目的在于提供一种端到端的图像去沙尘暴方法，首先通过深度学习模型估计出无沙尘暴图像和沙尘暴图像之间的残差，然后用沙尘暴图像加上残差图来得到最终的去沙尘暴结果，本发明方法在图像去沙尘暴任务上取得了良好的效果。
为实现上述目的，本发明的技术方案是：一种端到端的图像去沙尘暴方法，通过深度学习网络模型估计出无沙尘暴图像和沙尘暴图像之间的残差图，而后用沙尘暴图像加上残差图来得到最终的去沙尘暴结果；其中，深度学习网络模型包括用于提取图像特征的编码模块、用于缓解空洞卷积带来的网格伪影问题的平滑空洞残差卷积模块、用于融合不同网络层提取的图像特征的注意力融合模块、用于将残差图还原到初始分辨率以获得沙尘暴残差图的解码模块。
在本发明一实施例中，所述编码模块由三个卷积层组成，用于将输入图像编码到图像特征空间，前两个卷积层不改变原始图像尺寸，最后一个卷积将特征图编码到原始图像尺寸的1/2大小；每一卷积层后，均使用实例归一化层和ReLU激活函数。
在本发明一实施例中，所述平滑空洞残差卷积模块具体实现如下：
对于给定一个一维的输入f，卷积核大小为S的卷积c的输出结果为：
其中，表示卷积操作，每一个输出的像素点覆盖所有S窗口大小的输入像素，因此卷积c的感受野为S；而空洞卷积可以被看作是带空洞滤波器cd的卷积：
其中，r代表空洞率；当空洞率r＝1时，空洞卷积泛化为普通卷积；空洞卷积可被视为在普通卷积核中的相邻两个像素点间插入r-1个0；因此，空洞卷积可以在不降低图像分辨率的情况下，感受野从S增大到r*(S-1)+1；
考虑到空洞卷积虽扩大感受野，但存在网格伪影的问题，因此为缓解空洞卷积存在的网格伪影问题，在进行空洞卷积之前，使用一个卷积核大小恒为常数(2r-1)2的可分离共享卷积给输入像素点之间添加依赖关系，该可分离共享卷积即平滑空洞卷积；
平滑空洞残差卷积模块由七个残差块组成，每个中间残差块都使用平滑空间卷积层来替代卷积层，其中前三个残差块使用空洞率为2的空洞卷积，第四到六个残差块使用空洞率为4的空洞卷积，最后一个残差块的空洞率为1；中间层的间距层数均为64。
在本发明一实施例中，所述注意力融合模块具体实现如下：
首先将三个不同层次下提取的图像特征(Fl,Fm,Fh)，通过一个卷积核大小为3×3的普通卷积，分别得到三个它们所对应的权重(Wl,Wm,Wh)：
(Wl,Wm,Wh)＝ABo(Fl,Fm,Fh)
其中，ABo表示普通卷积；然后，基于这些权重，将三个不同层次下的特征图进行融合，得到融合后的图像特征FO：
Fo＝Wl*Fl+Wm*Fm+Wh*Fh
最后，将FO输入到解码模块。
在本发明一实施例中，所述解码模块采用与编码模块对称的形式，即第一层用步长为1/2的反卷积进行特征图像上采样到原始图像分辨率，接着两层卷积层将特征图转换到图像空间，从而获得残差图；每一卷积层后，均使用实例归一化层和ReLU激活函数。
在本发明一实施例中，该方法采用均方误差作为损失函数，学习目标是输入的沙尘暴图像和理想无沙尘暴图像的残差即：
R＝J-I
其中，R和表示分别真实和预测的沙尘暴残差图，DedustNet(I)是采用本发明方法获得的残差，J是无沙尘暴图像，I是沙尘暴图像；本发明方法最终将/>与输入的沙尘暴图像进行相加获得最终的去沙尘暴结果。
相较于现有技术，本发明具有以下有益效果：本发明方法提出一种图像去沙尘暴的端到端网络模型，其估计无沙尘暴图像和沙尘暴图像之间的残差，通过输入的沙尘暴图像加上残差来获得图像去沙尘暴结果。编码模块用于将一张沙尘暴图像编码到图像特征空间，平滑空洞残差卷积模块通过聚合上下文信息来提取更有效的图像特征，接着使用一个基于注意力机制的融合模块，将来自不同层次提取的图像特征结合它们所对应的权重进行融合，然后通过解码模块将图像特征图还原到原始图像空间，从而获得沙尘暴残差图，最后将输入的沙尘暴图像与残差图相加得到图像去沙尘暴结果。据了解，目前还没有专门用于图像去沙尘暴的网络架构。因此，本发明方法使用基于图像增强的深度学习方法作为对比算法。在一系列合成数据集上的实验结果表明，本发明方法的图像去沙尘暴效果明显优于现有的基于图像增强的深度学习方法，取得了良好的图像去沙尘暴效果。
附图说明
图1为本发明方法流程图。
图2为本发明方法提出的深度网络架构。
图3为空洞卷积示意图。
图4为平滑空洞卷积示意图。
图5为户外合成图像上各种算法的去沙尘暴结果。
图6为室内合成图像上各种算法的去沙尘暴结果。
图7为五幅真实世界图像上不同基于深度学习的图像增强算法的去沙尘暴结果。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
如图1所示，本发明提供了一种端到端的图像去沙尘暴方法，通过深度学习网络模型估计出无沙尘暴图像和沙尘暴图像之间的残差图，而后用沙尘暴图像加上残差图来得到最终的去沙尘暴结果；其中，深度学习网络模型包括用于提取图像特征的编码模块、用于缓解空洞卷积带来的网格伪影问题的平滑空洞残差卷积模块、用于融合不同网络层提取的图像特征的注意力融合模块、用于将残差图还原到初始分辨率以获得沙尘暴残差图的解码模块。
以下为本发明的具体实现过程。
如图2所示，本发明提出的深度网络模型由四个模块组成：编码模块、平滑空洞残差卷积模块、注意力融合模块、解码模块。编码模块用于将一张沙尘暴图像编码到图像特征空间，平滑空洞残差卷积模块通过聚合上下文信息来提取更有效的图像特征，接着使用一个基于注意力机制的融合模块，将来自不同层次提取的图像特征结合它们所对应的权重进行融合，然后通过解码模块将图像特征图还原到原始图像空间，从而获得沙尘暴残差图，最后将输入的沙尘暴图像与残差图相加得到图像去沙尘暴结果。
1、编码模块
编码模块由三个普通卷积层组成，用于将输入图像编码到图像特征空间。前两个卷积层都不改变原始图像尺寸，仅在最后一个卷积将特征图编码到原来的1/2大小。每一个卷积层后面，均使用了实例归一化层和ReLU激活函数。
2、平滑空洞残差卷积模块
对于大多数图像处理任务，现有的方法通常在池化层后使用普通卷积扩大感受野。这类网络架构存在多尺度信息推理和分辨率信息损失的矛盾。为了在不损失分辨率的情况下扩大感受野，提出了空洞卷积。例如，给定一个一维的输入f，卷积核大小为S的普通卷积c的输出结果为：
其中，表示卷积操作，每一个输出的像素点覆盖所有S窗口大小的输入像素，因此卷积c的感受野为S；而空洞卷积可以被看作是带空洞滤波器cd的卷积：
其中，r代表空洞率。当空洞率r＝1时，空洞卷积泛化为普通卷积。空洞卷积可被视为在普通卷积核中的相邻两个像素点间插入r-1个0。因此，空洞卷积可以在不降低图像分辨率的情况下，感受野从S增大到r*(S-1)+1。如图3给出了一个空洞率r＝2，卷积核大小S＝3的空洞卷积示例。
从图3中能够看出，尽管空洞卷积可以扩大感受野，但它存在网格伪影的问题，即在j层里的四个用不同颜色表示的相邻像素是从第i层里完全不相关的不同像素集合计算得到。更具体地说，j层里四个相邻像素点以及它们对应的输入之间不存在直接关系。空洞卷积所引起的这种现象就被称之为网格伪影。
为了缓解空洞卷积存在的网格伪影问题，采用了不同策略。比如，在进行空洞卷积之前，使用一个卷积核大小恒为常数(2r-1)2的可分离共享卷积给输入像素点之间添加依赖关系，将之称为平滑空洞卷积，如图4所示。
平滑空洞残差模块由七个残差块组成，每个中间残差块都使用平滑空间卷积层来替代卷积层，其中前三个残差块使用空洞率为2的空洞卷积，第四到六个残差块使用空洞率为4的空洞卷积，最后一个残差块的空洞率为1；中间层的间距层数均为64，这是为了平衡最后去沙尘暴效果和网络运行时间。
3、注意力融合模块
融合不同层次下所提取的图像特征，对于低水平和高水平图像处理任务都有好处。受到已有的相关研究启发，本发明方法提出一个基于注意力机制的特征融合模块，用于融合来自不同层所提取的图像特征。具体地，本发明方法首先将三个不同层次下提取的图像特征(Fl,Fm,Fh)，通过一个卷积核大小为3×3的普通卷积，分别得到三个它们所对应的权重(Wl,Wm,Wh)：
(Wl,Wm,Wh)＝ABo(Fl,Fm,Fh)
其中，ABo表示普通卷积；然后，基于这些权重，将三个不同层次下的特征图进行融合，得到融合后的图像特征FO：
Fo＝Wl*Fl+Wm*Fm+Wh*Fh
最后，将FO输入到解码模块，获得沙尘暴残差图。
4、解码模块
本发明方法的出发点是通过深度学习获得无沙尘暴图像和沙尘暴图像相应像素点之间的差异。由于平滑空洞残差卷积模块提取的图像特征相对抽象，因此有必要使用解码模块进行解码。解码模块采用与编码模块对称的形式，即第一层用步长为1/2的反卷积进行特征图像上采样到初始图像分辨率，接着两层普通卷积层将特征图转换到图像空间，从而获得残差图。每一个卷积层后面均使用实例归一化层和ReLu激活函数。
5、损失函数
本发明方法将均方误差作为损失函数，但是不同于常规的均方误差，本发明方法的学习目标是输入的沙尘暴图像和理想无沙尘暴图像的残差即：
R＝J-I
其中，R和表示分别真实和预测的沙尘暴残差图，DedustNet(I)是采用本发明方法获得的残差，J是无沙尘暴图像，I是沙尘暴图像；本发明方法最终将/>与输入的沙尘暴图像进行相加获得最终的去沙尘暴结果。
6、实验
由于真实沙尘暴图像少且难以收集，目前没有公开的大规模沙尘暴数据集。因此，本发明方法将在合成沙尘暴数据集上进行训练实验，同时在合成数据集和真实沙尘暴图像上进行去沙尘暴效果测试。实验中，本发明方法网络训练200个时期，学习率初始设置为0.01，每40个时期衰减0.1，每批次输入图像数量设置为8，图像大小裁剪为(256×512)。所有实验均在具有1.80GHz CPU、8G RAM的服务器上执行。
表1户外合成图像去沙尘暴结果的平均PSNR和SSIM测度值
| LPNet | RGNet | AODNet | FFANet | 本发明方法 | |
| PSNR | 15.67 | 18.50 | 16.61 | 17.7512 | 20.11 |
| SSIM | 0.5330 | 0.8398 | 0.8040 | 0.8597 | 0.9049 |
(1)户外合成图像去沙尘暴结果的定量比较
本发明方法(DedustNet)与现有的4种基于深度学习的图像增强网络模型进行了定量比较，即LPNet[1]、RGNet[2]、AODNet[3]、FFANet[4]。所有算法在户外合成数据集上进行了对比实验，定量评价指标采用峰值信噪比(PSNR)和结构相似性(SSIM)。如表1所示，定量评价结果表明：在合成数据集上，本发明方法的PSNR和SSIM测度值均明显高于其他基于深度学习的图像增强网络模型，表明其去沙尘暴效果明显好于其他图像增强网络模型。
(2)户外合成图像去沙尘暴结果的定性评价
户外合成图像去沙尘暴效果的定性评价见图5。如图5所示，LPNet[1]的去沙尘暴结果颜色不真实且图像细节出现模糊；RGNet[2]的去沙尘暴结果颜色失真，例如，图5(c)第一幅图的树叶和最后一幅图的建筑颜色都变得不真实，最后一幅图像更是出现沙尘暴颜色更深的效果；AODNet[3]的去沙尘暴结果不稳定，例如，图5(d)中前三幅图像沙尘暴颜色浓度变高，后三张图像颜色呈蓝色；FFANet[4]对于浓度高的沙尘暴有明显去沙尘暴效果，但是当沙尘暴低浓度时，其去沙尘暴结果出现了失真现象。本发明方法的去沙尘暴结果与无沙尘暴图像最相似，去沙尘暴效果最佳。
表2室内合成图像去沙尘暴结果的平均PSNR和SSIM测度值
| LPNet | RGNet | AODNet | FFANet | 本发明方法 | |
| PSNR | 13.80 | 20.32 | 17.56 | 18.93 | 25.07 |
| SSIM | 0.5040 | 0.8175 | 0.8069 | 0.8313 | 0.8943 |
(3)室内合成图像去沙尘暴的定量比较
为了适应现实中多种情况下的图像去沙尘暴，本发明方法还在室内合成图像数据集上进行实验，该数据集具有色彩丰富、图像细节多的特点。如表2所示，定量评价结果表明：在室内合成数据集上，本发明方法的PSNR和SSIM测度值均明显高于其他方法，表明其去沙尘暴效果最佳。
(4)室内合成图像去沙尘暴的定性评价
室内合成图像去沙尘暴效果的定性评价如图6所示，LPNet[1]的去沙尘暴结果模糊；RGNe t[2]的去沙尘暴结果颜色失真；AODNet[3]和FFANet[4]的去沙尘暴结果都不稳定，对于浓度低的沙尘暴有更好的去沙尘暴效果，但当沙尘暴浓度高时，其去沙尘暴结果颜色明显变深。本发明方法的去沙尘暴结果虽然颜色有所偏差，但是保留了更多图像细节，视觉效果也更加清晰，总体上与无沙尘暴图像最相似，去沙尘暴效果最佳。
表3真实图像去沙尘暴结果的平均SSEQ和Image Entropy测度值
| LPNet | RGNet | AODNet | FFANet | 本发明方法 | |
| SSEQ | 42.90 | 64.55 | 66.97 | 62.43 | 69.90 |
| Entropy | 7.19 | 7.05 | 7.04 | 7.26 | 7.75 |
(5)真实沙尘暴图像的定量评价
对于真实沙尘暴图像去沙尘暴效果的评价，采用两种无参考图像评价指标：基于空间谱熵的质量评价(SSEQ)、图像信息熵(Image Entropy)。SSEQ的取值范围从0(最好)到100(最差)。图像信息熵的值越大表明图像的细节越多。本发明方法中，为了保持比较结果的一致性，我们将SSEQ值做一个翻转，即SSEQ值和Image Entropy值均为越大越好。如表3所示，定量评价结果表明：在真实沙尘暴图像数据集上，本发明方法的SSEQ和Image Entropy测度值均明显高于其他方法，表明其去沙尘暴效果最佳。
(6)真实沙尘暴图像的定性评价
图7展示了5幅真实图像上的去沙尘暴结果。如图7所示，LPNet[1]的去沙尘暴结果中图像细节丢失，甚至出现图像模糊，且图像边缘颜色加深；RGNet[2]的去沙尘暴结果不稳定，且存在严重的颜色失真现象；AOD[3]和FFANet[4]的去沙尘暴结果都不稳定，甚至在部分沙尘暴浓度高的图像上存在大量沙尘暴残留和明显的颜色失真现象。与其他方法相比，本发明方法的去沙尘暴结果不仅更清晰，保留了更多图像细节，同时颜色保真度最好。
参考文献：
[1]X.Fu,B.Liang,Y.Huang,X.Ding,and J.Paisley,“Lightweight pyramidnetworks for image deraining,”IEEE Transactions on Neural Networks andLearning Systems,vol.31,pp.1794-1807,2020.
[2]Z.Fan,H.Wu,X.Fu,Y.Huang,and X.Ding,“Residual-guide network forsingle image deraining,”26thACM International Conference on Multimedia,pp.1751-1759,2018.
[3]B.Li,X.Peng,Z.Wang,J.Xu,and D.Feng,“Aod-net:all-in-one dehazingnetwork,”IEEE International Conference on Computer Vision,pp.4770-4778,2017.
[4]X.Qin,Z.Wang,Y.Bai,X.Xie,and H.Jia,“FFA-Net:feature fusionattention network for single image dehazing,”AAAI,pp.11908-11915,2020.。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
Claims (3)
1.一种端到端的图像去沙尘暴方法，其特征在于，通过深度学习网络模型估计出无沙尘暴图像和沙尘暴图像之间的残差图，而后用沙尘暴图像加上残差图来得到最终的去沙尘暴结果；其中，深度学习网络模型包括用于提取图像特征的编码模块、用于缓解空洞卷积带来的网格伪影问题的平滑空洞残差卷积模块、用于融合不同网络层提取的图像特征的注意力融合模块、用于将残差图还原到初始分辨率以获得沙尘暴残差图的解码模块；
所述平滑空洞残差卷积模块具体实现如下：
对于给定一个一维的输入f，卷积核大小为S的卷积c的输出结果为：
其中，表示卷积操作，每一个输出的像素点覆盖所有S窗口大小的输入像素，因此卷积c的感受野为S；而空洞卷积可以被看作是带空洞滤波器cd的卷积：
其中，r代表空洞率；当空洞率r＝1时，空洞卷积泛化为普通卷积；空洞卷积可被视为在普通卷积核中的相邻两个像素点间插入r-1个0；因此，空洞卷积可以在不降低图像分辨率的情况下，感受野从S增大到r*(S-1)+1；
考虑到空洞卷积虽扩大感受野，但存在网格伪影的问题，因此为缓解空洞卷积存在的网格伪影问题，在进行空洞卷积之前，使用一个卷积核大小恒为常数(2r-1)2的可分离共享卷积给输入像素点之间添加依赖关系，该可分离共享卷积即平滑空洞卷积；
平滑空洞残差卷积模块由七个残差块组成，每个中间残差块都使用平滑空间卷积层来替代卷积层，其中前三个残差块使用空洞率为2的空洞卷积，第四到六个残差块使用空洞率为4的空洞卷积，最后一个残差块的空洞率为1；中间层的间距层数均为64；
所述注意力融合模块具体实现如下：
首先将三个不同层次下提取的图像特征(Fl,Fm,Fh)，通过一个卷积核大小为3×3的普通卷积，分别得到三个它们所对应的权重(Wl,Wm,Wh)：
(Wl,Wm,Wh)＝ABo(Fl,Fm,Fh)
其中，ABo表示普通卷积；然后，基于这些权重，将三个不同层次下的特征图进行融合，得到融合后的图像特征Fo：
Fo＝Wl*Fl+Wm*Fm+Wh*Fh
最后，将Fo输入到解码模块；
所述方法采用均方误差作为损失函数，学习目标是输入的沙尘暴图像和理想无沙尘暴图像的残差即：
R＝J-I
其中，R和表示分别真实和预测的沙尘暴残差图，DedustNet(I)是采用所述方法获得的残差，J是无沙尘暴图像，I是沙尘暴图像；所述方法将/>与输入的沙尘暴图像进行相加获得最终的去沙尘暴结果。
2.根据权利要求1所述的一种端到端的图像去沙尘暴方法，其特征在于，所述编码模块由三个卷积层组成，用于将输入图像编码到图像特征空间，前两个卷积层不改变原始图像尺寸，最后一个卷积将特征图编码到原始图像尺寸的1/2大小；每一卷积层后，均使用实例归一化层和ReLU激活函数。
3.根据权利要求1所述的一种端到端的图像去沙尘暴方法，其特征在于，所述解码模块采用与编码模块对称的形式，即第一层用步长为1/2的反卷积进行特征图像上采样到原始图像分辨率，接着两层卷积层将特征图转换到图像空间，从而获得残差图；每一卷积层后，均使用实例归一化层和ReLU激活函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011513781.6A CN112767258B (zh) | 2020-12-18 | 2020-12-18 | 一种端到端的图像去沙尘暴方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011513781.6A CN112767258B (zh) | 2020-12-18 | 2020-12-18 | 一种端到端的图像去沙尘暴方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112767258A CN112767258A (zh) | 2021-05-07 |
| CN112767258B true CN112767258B (zh) | 2023-10-31 |
Family
ID=75694387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011513781.6A Active CN112767258B (zh) | 2020-12-18 | 2020-12-18 | 一种端到端的图像去沙尘暴方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112767258B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447994A (zh) * | 2018-11-05 | 2019-03-08 | 陕西师范大学 | 结合完全残差与特征融合的遥感图像分割方法 |
| CN110120020A (zh) * | 2019-04-30 | 2019-08-13 | 西北工业大学 | 一种基于多尺度空洞残差注意力网络的sar图像去噪方法 |
| CN110378849A (zh) * | 2019-07-09 | 2019-10-25 | 闽江学院 | 基于深度残差网络的图像去雾去雨方法 |
| CN110503613A (zh) * | 2019-08-13 | 2019-11-26 | 电子科技大学 | 基于级联空洞卷积神经网络的面向单幅图像去雨方法 |
| CN110517200A (zh) * | 2019-08-28 | 2019-11-29 | 厦门美图之家科技有限公司 | 人脸草绘图的获取方法、装置、设备及存储介质 |
| CN111047515A (zh) * | 2019-12-29 | 2020-04-21 | 兰州理工大学 | 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法 |
-
2020
- 2020-12-18 CN CN202011513781.6A patent/CN112767258B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447994A (zh) * | 2018-11-05 | 2019-03-08 | 陕西师范大学 | 结合完全残差与特征融合的遥感图像分割方法 |
| CN110120020A (zh) * | 2019-04-30 | 2019-08-13 | 西北工业大学 | 一种基于多尺度空洞残差注意力网络的sar图像去噪方法 |
| CN110378849A (zh) * | 2019-07-09 | 2019-10-25 | 闽江学院 | 基于深度残差网络的图像去雾去雨方法 |
| CN110503613A (zh) * | 2019-08-13 | 2019-11-26 | 电子科技大学 | 基于级联空洞卷积神经网络的面向单幅图像去雨方法 |
| CN110517200A (zh) * | 2019-08-28 | 2019-11-29 | 厦门美图之家科技有限公司 | 人脸草绘图的获取方法、装置、设备及存储介质 |
| CN111047515A (zh) * | 2019-12-29 | 2020-04-21 | 兰州理工大学 | 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112767258A (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112907479B (zh) | 基于注意力机制的残差单幅图像去雨方法 | |
| CN111161360B (zh) | 基于Retinex理论的端到端网络的图像去雾方法 | |
| CN110378849B (zh) | 基于深度残差网络的图像去雾去雨方法 | |
| CN110503613B (zh) | 基于级联空洞卷积神经网络的面向单幅图像去雨方法 | |
| CN106157267A (zh) | 一种基于暗通道先验的图像去雾透射率优化方法 | |
| CN114066747B (zh) | 一种基于光照和反射互补性的低照度图像增强方法 | |
| CN102208100A (zh) | 基于Split Bregman 迭代的全变差正则化图像盲复原方法 | |
| CN111539886A (zh) | 一种基于多尺度特征融合的去雾方法 | |
| CN111553856B (zh) | 基于深度估计辅助的图像去雾方法 | |
| Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
| CN112070688A (zh) | 一种基于上下文引导生成对抗网络的单幅图像去雾方法 | |
| CN112164010A (zh) | 一种多尺度融合卷积神经网络图像去雾方法 | |
| Qian et al. | CIASM-Net: a novel convolutional neural network for dehazing image | |
| CN112381723A (zh) | 一种轻量高效的单幅图像去烟雾方法 | |
| CN116468625A (zh) | 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统 | |
| CN111369477A (zh) | 一种针对视频恢复任务的预分析和工具自适应的方法 | |
| CN113487509B (zh) | 一种像素聚类及透射率融合的遥感图像雾气去除方法 | |
| CN112132757B (zh) | 一种基于神经网络的通用图像复原方法 | |
| CN117994167A (zh) | 融合并行多卷积注意力的扩散模型去雾方法 | |
| Wang et al. | Uneven image dehazing by heterogeneous twin network | |
| CN112767258B (zh) | 一种端到端的图像去沙尘暴方法 | |
| CN116721033A (zh) | 一种基于随机掩码卷积和注意力机制的单幅图像去雾方法 | |
| CN117350927A (zh) | 一种基于深度学习的图像去雨方法 | |
| CN116862802A (zh) | 一种融合鉴别器的单幅图像去雾方法 | |
| CN115082353B (zh) | 基于多流聚合双注意力稠密连接网络的图像复原方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |