CN115034999B - 一种基于雨雾分离处理和多尺度网络的图像去雨方法 - Google Patents

一种基于雨雾分离处理和多尺度网络的图像去雨方法 Download PDF

Info

Publication number
CN115034999B
CN115034999B CN202210796789.0A CN202210796789A CN115034999B CN 115034999 B CN115034999 B CN 115034999B CN 202210796789 A CN202210796789 A CN 202210796789A CN 115034999 B CN115034999 B CN 115034999B
Authority
CN
China
Prior art keywords
rain
image
convolution layer
convolution
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210796789.0A
Other languages
English (en)
Other versions
CN115034999A (zh
Inventor
李洪儒
韦豪
刘江涛
邓国亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202210796789.0A priority Critical patent/CN115034999B/zh
Publication of CN115034999A publication Critical patent/CN115034999A/zh
Application granted granted Critical
Publication of CN115034999B publication Critical patent/CN115034999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于雨雾分离处理和多尺度网络的图像去雨方法，包括以下步骤：S1：获取待去雨的图像；S2：构建雨雾图像的物理模型；S3：利用导向滤波器对图像进行滤波，得到高频有雨图像和低频有雾图像；S4：根据物理模型设计去雨模块，将高频有雨图像输入去雨模块，然后由去雨模块输出高频去雨图像；S5：根据物理模型设计去雾模块，将低频有雾图像输入去雾模块，然后由去雾模块输出低频去雾图像。本发明提供的一种基于雨雾分离处理和多尺度网络的图像去雨方法，多个数据集的测试结果表明，所提方法能够较好地去除图像中的雨条纹和雨雾并保留图像的细节和色彩，和近年来的主流去雨算法相比，SSIM提升了0.02～0.08左右，PSNR提升了0.2～3.5dB左右。

Description

一种基于雨雾分离处理和多尺度网络的图像去雨方法
技术领域
本发明涉及图像去雨处理领域，尤其涉及一种基于雨雾分离处理和多尺度网络的图像去雨方法。
背景技术
如今户外的智能化拍摄系统十分普及，如：监控交通的电子眼、商铺的室外的监控系统、自动化驾驶的拍摄装置等，在有雨天气下，这些装置的视野会被密集的雨条纹和雨滴形成的雨雾所遮挡，这严重影响其拍摄性能。近年来人们提出了许多有效单幅图像去雨的方法，效果也在不断提升，2015年提出了区分性稀疏编码的方法来分离雨痕层和背景层，利用字典学习的方法来估计雨条纹和背景层的矩阵，实现对单幅图像进行去雨，2016年提出了高斯混合模型实现对多尺度多方向的雨条纹进去除，这种模型对不同密度不同方向的雨条纹都有效果，但是在不同情况下准确构建高斯模型比较困难。随着深度学习框架的不断完善和计算机硬件性能的提高，2016年之后人们开始大量使用深度学习的方法来对单幅图像进行去雨，2017年提出了图像处理领域知识和卷积神经网络结合的方法对单幅图像的雨条纹进行去除，通过高频滤波的方式将雨条纹提取到高频层，让神经网络直接学习有雨图像高频层到清晰图像高频层的映射来恢复图像，这种方法可以保留图像的背景细节，但是由于网络结构比较简单，在处理雨雾浓度大的图像时会存在雨滴残留，2018年提出一种基于密度感知的多流密集连接卷积神经网络算法，这种网络可以根据雨条纹的密度和尺度信息预测出清晰图像，对各个尺度的雨条纹都有适应性。上述算法多是针对图像中的雨条纹进行去除，在合成数据集时没有考虑到真实情况下雨天中的雨雾，导致这些网络对合成图像有较好的效果但是在处理真实雨雾图像时效果不佳。为了能同时去除雨图中的雨雾，2017年提出将雨图像中的雨雾建模为雨条纹矩阵和二值掩膜的乘积，为网络提供更多雨条纹的位置信息，用上下文扩张网络来对图像进行去雨，2019年，有人认为暴雨天的雨雾是雨条纹和条纹累积效应形成的遮挡，用条纹累积模型和GAN结合的神经网络来估计大气散射模型中的参数，恢复清晰图像，这些方法对于合成雨雾图像有较好的效果，但是在处理真实雨图时常有雨痕残留和图像模糊的问题，随后人们尝试用半监督学习和迁移学习等方法让去雨网络更好地适应真实场景，2020年提出了一种基于高斯过程的半监督学习框架对图像进行去雨，这种非参数学习方法模型对真实雨条纹和雾气都有一定效果，2021年提出了面向记忆的迁移学习框架，使用自监督存储模块和自训练机制来训练去雨的编码-解码网络。
此类半监督学习和无监督学习方法可以使用部分无标签的有雨图像对网络进行训练，让模型对真实场景有更好的适应性，但是模型往往难以训练，出现过拟合甚至崩溃等问题，为弥补这些不足，本发明提出了一种同时去除图像雨条纹和雨雾的方法。
因此，有必要提供一种基于雨雾分离处理和多尺度网络的图像去雨方法解决上述技术问题。
发明内容
本发明提供一种基于雨雾分离处理和多尺度网络的图像去雨方法，解决了通过多尺度卷积神经网络分别对雨雾图像高频层中的雨条纹和低频层中的雾气进行去除，再将去除雨雾后的高频层和低频层进行叠加恢复出清晰图像的问题。
为解决上述技术问题，本发明提供的一种基于雨雾分离处理和多尺度网络的图像去雨方法，包括以下步骤：
S1：获取待去雨的图像；
S2：构建雨雾图像的物理模型；
S3：利用导向滤波器对图像进行滤波，得到高频有雨图像和低频有雾图像；
S4：根据物理模型设计去雨模块，将高频有雨图像输入去雨模块，然后由去雨模块输出高频去雨图像；
S5：根据物理模型设计去雾模块，将低频有雾图像输入去雾模块，然后由去雾模块输出低频去雾图像；
S6：将去雨高频图像和去雾低频图像进行融合得到去除雨雾后的清晰图像。
优选的，所述S2的具体步骤如下：
将雾气图像建模为高频图像IH和低频图像IL的和，表示如下：
I＝IH+IL
且，
IH＝(JH+S)·T
IL＝JL·T+A·(1-T)
其中，I表示有雾的图像，S表示可见雨条纹，J表示真实的景物图像，JH表景物的高频细节，JL表示景物的低频背景，T表示拍摄系统和景物之间的雾层的透射率，A表示全局大气光。所以真实雨雾图像建模为I＝(JH+S)·T+[JL·T+A·(1-T)]。
优选的，所述S4的具体步骤如下：
使用去雨模块对步骤S3得到的高频有雨图像进行去雨处理输出得到高频去雨图像；
所述去雨模块包含卷积层conv1，denseblock模块1，denseblock模块2、denseblock模块3，卷积层conv2，卷积层conv3，卷积层conv4；其连接方式为：卷积层conv1的输出分别作为denseblock模块1、denseblock模块2，denseblock模块3的输入；denseblock模块1，denseblock模块2，denseblock模块3的输入的concat连接作为卷积层conv2的输入；然后卷积层conv2，卷积层conv3，卷积层conv4依次连接；
所述卷积层conv1的卷积核大小为3×3，输入通道数为3，输出通道数为128，步长为1×1，激活函数使用ReLu激活函数；
所述denseblock模块1，denseblock模块2，denseblock模块3，三个模块结构相似，输入都为conv1的输出，都包含四个依次连接的卷积层convd1，convd2，convd3，convd4；
所述四个卷积层convd1，convd2，convd3，convd4的输入都为其前面所有卷积层输出的concat连接；
所述四个卷积层convd1，convd2，convd3，convd4的输入通道数依次为128，256，384，512；
所述四个卷积层convd1，convd2，convd3，convd4的输出通道数都为128，滑动步长均为1×1；
所述四个卷积层convd1，convd2，convd3，convd4的后面都接有一个ReLu激活函数。
所述denseblock模块1中的四个卷积核的大小都为3×3；
所述denseblock模块2中的四个卷积核的大小都为5×5；
所述denseblock模块3中的四个卷积核的大小都为7×7；
所述卷积层conv2的输入通道数为384，输出通道数为64，卷积核大小为3×3，后面接有ReLu激活函数；
所述卷积层conv3的输入通道数为64，输出通道数为64，卷积核大小为3×3，后面接有ReLu激活函数；
所述卷积层conv4的输入通道数为64，输出通道数为3，卷积核大小为3×3。
优选的，所述S5的具体步骤如下：
使用去雾模块对有雾低频图像进处理，得到去雾低频图像；
所述去雾模块包括依次连接的第一卷积层、第二卷积层、第一融合层、第三卷积层、第四卷积层、第二融合层、第五卷积层、第六卷积层、第三融合层、第七卷积层，每个卷积层都接有ReLu激活函数。
所述第一卷积层卷积核大小为1×1，输入通道数为3，输出通道数为3；
所述第二卷积层卷积核大小为3×3，输入通道数为3，输出通道数为3；
所述第一融合层，以concat的方式融合第一卷积层和第二卷积层的输出，输出通道数为6；
所述第三卷积层卷积核大小为3×3，输入通道数为6，输出通道数为3；
所述第四卷积层卷积核大小为5×5，输入通道数为3，输出通道数为3；
所述第二融合层，以concat的方式融合第二卷积层、第三卷积层和第四卷积层的输出，输出通道数为9；
所述第五卷积层卷积核大小为5×5，输入通道数为9，输出通道数为3；
所述第六卷积层卷积核大小为7×7，输入通道数为3，输出通道数为3；
所述第三融合层，以concat的方式融合第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、和第六卷积层的输出，输出通道数为18；
所述第七卷积层卷积核大小为3×3，输入通道数为18，输出通道数为3。
与相关技术相比较，本发明提供的一种基于雨雾分离处理和多尺度网络的图像去雨方法具有如下有益效果：
本发明提供一种基于雨雾分离处理和多尺度网络的图像去雨方法，在多个数据集上的测试结果表明，所提方法能够较好地去除图像中的雨条纹和雨雾并保留图像的细节和色彩，和近年来的主流去雨算法相比，SSIM提升了0.02～0.08左右，PSNR提升了0.2～3.5dB左右。
附图说明
图1为本发明方法的整体网络结构示意图；
图2为本发明方法的去雨网络的结构示意图；
图3为本发明方法的去雾网络的结构示意图；
图4为本发明方法的denseblock模块结构示意图；
图5是本发明在合成雨雾图上的结果展示示意图；其中，(a)、(c)、(e)为有雨图，(b)、(d)、(f)为对应的结果图。
图6是本发明在真实雨雾图上的结果展示示意图；其中，(a)、(c)、(e)为有雨图，(b)、(d)、(f)为对应的结果图。
具体实施方式
下面结合附图和实施方式对本发明作进一步说明。
第一实施例
请结合参阅图1、图2、图3、图4、图5和图6，其中，图1为本发明方法的整体网络结构示意图；图2为本发明方法的去雨网络的结构示意图；图3为本发明方法的去雾网络的结构示意图；图4为本发明方法的denseblock模块结构示意图；图5是本发明在合成雨雾图上的结果展示示意图；其中，(a)、(c)、(e)为有雨图，(b)、(d)、(f)为对应的结果图。图6是本发明在真实雨雾图上的结果展示示意图；其中，(a)、(c)、(e)为有雨图，(b)、(d)、(f)为对应的结果图。一种基于雨雾分离处理和多尺度网络的图像去雨方法，包括以下步骤：
S1：获取待去雨的图像；
S2：构建雨雾图像的物理模型；
S3：利用导向滤波器对图像进行滤波，得到高频有雨图像和低频有雾图像；
S4：根据物理模型设计去雨模块，将高频有雨图像输入去雨模块，然后由去雨模块输出高频去雨图像；
S5：根据物理模型设计去雾模块，将低频有雾图像输入去雾模块，然后由去雾模块输出低频去雾图像；
S6：将去雨高频图像和去雾低频图像进行融合得到去除雨雾后的清晰图像。
第二实施例
本实施例的图像去雨方案，在具体实施例一的基础上，进一步限定步骤b的具体步骤如下
将雾气图像建模为高频图像IH和低频图像IL的和，表示如下：
I＝IH+IL
且，
IH＝(JH+S)·T
IL＝JL·T+A·(1-T)
其中，I表示有雾的图像，S表示可见雨条纹，J表示真实的景物图像，JH表景物的高频细节，JL表示景物的低频背景，T表示拍摄系统和景物之间的雾层的透射率，A表示全局大气光。所以真实雨雾图像建模为I＝(JH+S)·T+[JL·T+A·(1-T)]。
第三实施例
本实施例的图像去雨方案，在具体实施例一的基础上，进一步限定步骤d的具体步骤如下：
使用去雨模块对步骤S3得到的高频有雨图像进行去雨处理输出得到高频去雨图像；
所述去雨模块包含卷积层conv1，denseblock模块1，denseblock模块2、denseblock模块3，卷积层conv2，卷积层conv3，卷积层conv4；其连接方式为：卷积层conv1的输出分别作为denseblock模块1、denseblock模块2，denseblock模块3的输入；denseblock模块1，denseblock模块2，denseblock模块3的输入的concat连接作为卷积层conv2的输入；然后卷积层conv2，卷积层conv3，卷积层conv4依次连接；
所述卷积层conv1的卷积核大小为3×3，输入通道数为3，输出通道数为128，步长为1×1，激活函数使用ReLu激活函数；
所述denseblock模块1，denseblock模块2，denseblock模块3，三个模块结构相似，输入都为conv1的输出，都包含四个依次连接的卷积层convd1，convd2，convd3，convd4；
所述四个卷积层convd1，convd2，convd3，convd4的输入都为其前面所有卷积层输出的concat连接；
所述四个卷积层convd1，convd2，convd3，convd4的输入通道数依次为128，256，384，512；
所述四个卷积层convd1，convd2，convd3，convd4的输出通道数都为128，滑动步长均为1×1；
所述四个卷积层convd1，convd2，convd3，convd4的后面都接有一个ReLu激活函数。
所述denseblock模块1中的四个卷积核的大小都为3×3；
所述denseblock模块2中的四个卷积核的大小都为5×5；
所述denseblock模块3中的四个卷积核的大小都为7×7；
所述卷积层conv2的输入通道数为384，输出通道数为64，卷积核大小为3×3，后面接有ReLu激活函数；
所述卷积层conv3的输入通道数为64，输出通道数为64，卷积核大小为3×3，后面接有ReLu激活函数；
所述卷积层conv4的输入通道数为64，输出通道数为3，卷积核大小为3×3。
第四实施例
本实施例的图像去雨方案，在具体实施例一的基础上，进一步限定步骤e的具体步骤如下：
使用去雾模块对有雾低频图像进处理，得到去雾低频图像；
所述去雾模块包括依次连接的第一卷积层、第二卷积层、第一融合层、第三卷积层、第四卷积层、第二融合层、第五卷积层、第六卷积层、第三融合层、第七卷积层，每个卷积层都接有ReLu激活函数。
所述第一卷积层卷积核大小为1×1，输入通道数为3，输出通道数为3；
所述第二卷积层卷积核大小为3×3，输入通道数为3，输出通道数为3；
所述第一融合层，以concat的方式融合第一卷积层和第二卷积层的输出，输出通道数为6；
所述第三卷积层卷积核大小为3×3，输入通道数为6，输出通道数为3；
所述第四卷积层卷积核大小为5×5，输入通道数为3，输出通道数为3；
所述第二融合层，以concat的方式融合第二卷积层、第三卷积层和第四卷积层的输出，输出通道数为9；
所述第五卷积层卷积核大小为5×5，输入通道数为9，输出通道数为3；
所述第六卷积层卷积核大小为7×7，输入通道数为3，输出通道数为3；
所述第三融合层，以concat的方式融合第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、和第六卷积层的输出，输出通道数为18；
所述第七卷积层卷积核大小为3×3，输入通道数为18，输出通道数为3。
与相关技术相比较，本发明提供的一种基于雨雾分离处理和多尺度网络的图像去雨方法具有如下有益效果：
在多个数据集上的测试结果表明，所提方法能够较好地去除图像中的雨条纹和雨雾并保留图像的细节和色彩，和近年来的主流去雨算法相比，SSIM提升了0.02～0.08左右，PSNR提升了0.2～3.5dB左右。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (2)

1.一种基于雨雾分离处理和多尺度网络的图像去雨方法，其特征在于，包括以下步骤：
S1：获取待去雨的图像；
S2：构建雨雾图像的物理模型；
S3：利用导向滤波器对图像进行滤波，得到高频有雨图像和低频有雾图像；
S4：根据物理模型设计去雨模块，将高频有雨图像输入去雨模块，然后由去雨模块输出高频去雨图像，所述S4的具体步骤如下：
使用去雨模块对步骤S3得到的高频有雨图像进行去雨处理输出得到高频去雨图像；
所述去雨模块包含卷积层conv1，denseblock模块1，denseblock模块2、denseblock模块3，卷积层conv2，卷积层conv3，卷积层conv4；其连接方式为：卷积层conv1的输出分别作为denseblock模块1、denseblock模块2，denseblock模块3的输入；denseblock模块1，denseblock模块2，denseblock模块3的输入的concat连接作为卷积层conv2的输入；然后卷积层conv2，卷积层conv3，卷积层conv4依次连接；
所述卷积层conv1的卷积核大小为3×3，输入通道数为3，输出通道数为128，步长为1×1，激活函数使用ReLu激活函数；
所述denseblock模块1，denseblock模块2，denseblock模块3，三个模块结构相似，输入都为conv1的输出，都包含四个依次连接的卷积层convd1，convd2，convd3，convd4；
所述四个卷积层convd1，convd2，convd3，convd4的输入都为其前面所有卷积层输出的concat连接；
所述四个卷积层convd1，convd2，convd3，convd4的输入通道数依次为128，256，384，512；
所述四个卷积层convd1，convd2，convd3，convd4的输出通道数都为128，滑动步长均为1×1；
所述四个卷积层convd1，convd2，convd3，convd4的后面都接有一个ReLu激活函数；
所述denseblock模块1中的四个卷积核的大小都为3×3；
所述denseblock模块2中的四个卷积核的大小都为5×5；
所述denseblock模块3中的四个卷积核的大小都为7×7；
所述卷积层conv2的输入通道数为384，输出通道数为64，卷积核大小为3×3，后面接有ReLu激活函数；
所述卷积层conv3的输入通道数为64，输出通道数为64，卷积核大小为3×3，后面接有ReLu激活函数；
所述卷积层conv4的输入通道数为64，输出通道数为3，卷积核大小为3×3；
S5：根据物理模型设计去雾模块，将低频有雾图像输入去雾模块，然后由去雾模块输出低频去雾图像，所述S5的具体步骤如下：
使用去雾模块对有雾低频图像进处理，得到去雾低频图像；
所述去雾模块包括依次连接的第一卷积层、第二卷积层、第一融合层、第三卷积层、第四卷积层、第二融合层、第五卷积层、第六卷积层、第三融合层、第七卷积层，每个卷积层都接有ReLu激活函数，
所述第一卷积层卷积核大小为1×1，输入通道数为3，输出通道数为3；
所述第二卷积层卷积核大小为3×3，输入通道数为3，输出通道数为3；
所述第一融合层，以concat的方式融合第一卷积层和第二卷积层的输出，输出通道数为6；
所述第三卷积层卷积核大小为3×3，输入通道数为6，输出通道数为3；
所述第四卷积层卷积核大小为5×5，输入通道数为3，输出通道数为3；
所述第二融合层，以concat的方式融合第二卷积层、第三卷积层和第四卷积层的输出，输出通道数为9；
所述第五卷积层卷积核大小为5×5，输入通道数为9，输出通道数为3；
所述第六卷积层卷积核大小为7×7，输入通道数为3，输出通道数为3；
所述第三融合层，以concat的方式融合第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、和第六卷积层的输出，输出通道数为18；
所述第七卷积层卷积核大小为3×3，输入通道数为18，输出通道数为3；
S6：将去雨高频图像和去雾低频图像进行融合得到去除雨雾后的清晰图像。
2.根据权利要求1所述的一种基于雨雾分离处理和多尺度网络的图像去雨方法，其特征在于，所述S2的具体步骤如下：
将雾气图像建模为高频图像I H 和低频图像I L 的和，表示如下：
I = I H + I L
且，
I H = ( J H + S )·T
I L =J L ·T + A·( 1-T )
其中，I表示有雾的图像，S表示可见雨条纹，J表示真实的景物图像，J H 表景物的高频细节，J L 表示景物的低频背景，T表示拍摄系统和景物之间的雾层的透射率，A表示全局大气光，所以真实雨雾图像建模为
I=（J H + S）·T + [J L ·T + A·（1-T）]。
CN202210796789.0A 2022-07-06 2022-07-06 一种基于雨雾分离处理和多尺度网络的图像去雨方法 Active CN115034999B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210796789.0A CN115034999B (zh) 2022-07-06 2022-07-06 一种基于雨雾分离处理和多尺度网络的图像去雨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210796789.0A CN115034999B (zh) 2022-07-06 2022-07-06 一种基于雨雾分离处理和多尺度网络的图像去雨方法

Publications (2)

Publication Number Publication Date
CN115034999A CN115034999A (zh) 2022-09-09
CN115034999B true CN115034999B (zh) 2024-03-19

Family

ID=83128485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210796789.0A Active CN115034999B (zh) 2022-07-06 2022-07-06 一种基于雨雾分离处理和多尺度网络的图像去雨方法

Country Status (1)

Country Link
CN (1) CN115034999B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064419A (zh) * 2018-07-12 2018-12-21 四川大学 一种基于wls滤波和多尺度稀疏表达的单幅图像去雨方法
CN109360169A (zh) * 2018-10-24 2019-02-19 西南交通大学 一种单幅图像去雨除雾的信号处理方法
CN109447918A (zh) * 2018-11-02 2019-03-08 北京交通大学 基于注意力机制的单幅图像去雨方法
CN110378849A (zh) * 2019-07-09 2019-10-25 闽江学院 基于深度残差网络的图像去雾去雨方法
CN110866879A (zh) * 2019-11-13 2020-03-06 江西师范大学 一种基于多密度雨纹感知的图像去雨方法
CN111275627A (zh) * 2019-02-27 2020-06-12 中国科学院沈阳自动化研究所 一种基于雪模型和深度学习融合的图像去雪算法
CN111815526A (zh) * 2020-06-16 2020-10-23 中国地质大学（武汉） 基于图像滤波和cnn的有雨图像雨条纹去除方法及系统
CN113628133A (zh) * 2021-07-28 2021-11-09 武汉三江中电科技有限责任公司 一种基于视频图像的去雨雾方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220164934A1 (en) * 2020-09-30 2022-05-26 Boe Technology Group Co., Ltd. Image processing method and apparatus, device, video processing method and storage medium

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064419A (zh) * 2018-07-12 2018-12-21 四川大学 一种基于wls滤波和多尺度稀疏表达的单幅图像去雨方法
CN109360169A (zh) * 2018-10-24 2019-02-19 西南交通大学 一种单幅图像去雨除雾的信号处理方法
CN109447918A (zh) * 2018-11-02 2019-03-08 北京交通大学 基于注意力机制的单幅图像去雨方法
CN111275627A (zh) * 2019-02-27 2020-06-12 中国科学院沈阳自动化研究所 一种基于雪模型和深度学习融合的图像去雪算法
CN110378849A (zh) * 2019-07-09 2019-10-25 闽江学院 基于深度残差网络的图像去雾去雨方法
CN110866879A (zh) * 2019-11-13 2020-03-06 江西师范大学 一种基于多密度雨纹感知的图像去雨方法
CN111815526A (zh) * 2020-06-16 2020-10-23 中国地质大学（武汉） 基于图像滤波和cnn的有雨图像雨条纹去除方法及系统
CN113628133A (zh) * 2021-07-28 2021-11-09 武汉三江中电科技有限责任公司 一种基于视频图像的去雨雾方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Efficient rain–fog model for rain detection and removal;Fu, Fangfa 等;《Journal of Electronic Imaging》;20200301;1-23 *
Frequency-Based Haze and Rain Removal Network (FHRR-Net) with Deep Convolutional Encoder-Decoder;Dong Hwan Kim等;《MDPI》;20210323;1-18 *
多尺度密集时序卷积网络的单幅图像去雨方法;赵嘉兴;王夏黎;王丽红;曹晨洁;;计算机技术与发展;20200110(05);全文 *
韦豪 ; 李洪儒 ; 邓国亮 ; 周寿桓.基于雨雾分离处理和多尺度网络的图像去雨方法.《计算机应用研究》.2022,1-5. *

Also Published As

Publication number Publication date
CN115034999A (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN111161360B (zh) 基于Retinex理论的端到端网络的图像去雾方法
CN111062892B (zh) 一种基于复合残差网络和深层监督的单幅图像去雨方法
CN106780356B (zh) 基于卷积神经网络和先验信息的图像去雾方法
CN110866879B (zh) 一种基于多密度雨纹感知的图像去雨方法
CN110570371A (zh) 一种基于多尺度残差学习的图像去雾方法
CN109360155A (zh) 基于多尺度特征融合的单帧图像去雨方法
CN107240084B (zh) 一种单幅图像去雨方法及装置
CN110443761B (zh) 一种基于多尺度聚合特征的单幅图像去雨方法
CN112907479B (zh) 基于注意力机制的残差单幅图像去雨方法
CN106204499A (zh) 基于卷积神经网络的单幅图像去雨方法
CN107133935A (zh) 一种基于深度卷积神经网络的单图像精细去雨方法
CN107527358B (zh) 一种稠密光流估计方法及装置
CN107749048B (zh) 图像矫正系统及方法、色盲图像矫正系统及方法
CN109993804A (zh) 一种基于条件生成对抗网络的道路场景去雾方法
Zhou et al. FSAD-Net: feedback spatial attention dehazing network
CN105913392A (zh) 复杂环境下退化图像综合质量提升方法
CN112581409B (zh) 一种基于端到端的多重信息蒸馏网络的图像去雾方法
CN112365414A (zh) 一种基于双路残差卷积神经网络的图像去雾方法
CN109583334B (zh) 一种基于时空关联神经网络的动作识别方法及其系统
WO2024040973A1 (zh) 一种基于堆叠沙漏网络的多尺度融合去雾方法
Yan et al. MMP-net: a multi-scale feature multiple parallel fusion network for single image haze removal
CN111598793A (zh) 一种用于输电线路图像去雾的方法、系统及存储介质
Qian et al. CIASM-Net: a novel convolutional neural network for dehazing image
CN111539896A (zh) 一种基于域自适应的图像去雾方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant