CN114764752B - 一种基于深度学习的夜晚影像去雾算法 - Google Patents

一种基于深度学习的夜晚影像去雾算法 Download PDF

Info

Publication number
CN114764752B
CN114764752B CN202110051613.8A CN202110051613A CN114764752B CN 114764752 B CN114764752 B CN 114764752B CN 202110051613 A CN202110051613 A CN 202110051613A CN 114764752 B CN114764752 B CN 114764752B
Authority
CN
China
Prior art keywords
image
night
defogging
network
foggy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110051613.8A
Other languages
English (en)
Other versions
CN114764752A (zh
Inventor
姜博
李艺欣
陈冠廷
陈晓璇
汪霖
孟娜
周延
李艳艳
张嘉洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NORTHWEST UNIVERSITY
Original Assignee
NORTHWEST UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NORTHWEST UNIVERSITY filed Critical NORTHWEST UNIVERSITY
Priority to CN202110051613.8A priority Critical patent/CN114764752B/zh
Publication of CN114764752A publication Critical patent/CN114764752A/zh
Application granted granted Critical
Publication of CN114764752B publication Critical patent/CN114764752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公布了一种基于深度学习的夜晚影像去雾算法，这种端到端的网络结构更加适合工程实用化。夜晚图像的光照不均、色偏严重和亮度较低等特点，采用传统基于大气散射模型的去雾算法并不适用，本发明重点依托深度学习强大的非线性拟合能力，将U‑Net网络与双树复小波变换相结合，在网络模型中融入更多的残差结构以提取夜晚有雾图像的结构和纹理信息，并将注意力模块引入网络以有效量化特征层之间的相对重要性。通过自行构建的“有雾‑无雾”夜晚数据集，根据“全局‑局部”损失函数计算误差，并基于误差反向传播调整网络权重，多次迭代训练最终得到一个训练完备的夜晚图像去雾网络模型。所提方法可抑制去雾任务中频繁上、下采样所带来的网状伪影问题。

Description

一种基于深度学习的夜晚影像去雾算法
本发明属于数字图像处理领域，具体涉及一种基于深度学习的夜晚影像去雾算法。
背景技术
随着近年来雾霾天气的增多，导致所采集的图像分辨率明显下降，尤其是夜晚这种低能见度环境下的成像。与白昼有雾环境成像相比，由于夜晚能见度低而导致观测所摄图像不清晰，反映在图像数据上，图像中原本灰度值较高的像素被削弱。此外，景物的颜色、对比度等相较于白昼时变化明显，其所蕴含的特征信息被弱化，造成场景目标的可辨识度大大降低。若同时伴随雾霾等恶劣天气，大气透明度进一步降低，对高分辨率观测活动的影响将更加明显。
白昼图像去雾方法可以大致被分为两类：第一类是基于成像模型的去雾方法，这些方法主要基于大气散射模型的传统方法，这种方法发展时间长，相对比较完善，其主要依靠人工提取的雾相关特征(如暗通道、色调差异和局部对比度等)进行模型求解实现的；第二类是近年来基于深度学习的现代去雾方法。这两类方法对于白昼环境下的图像有较好的去雾效果，由于夜晚成像环境中天空大气光不再是场景中的唯一光能量来源，大量人造光源以不同散射路径参与成像，上述白昼去雾技术方法难以直接适用于夜晚环境下有雾图像的恢复。因而夜晚去雾更具挑战性，这方面较为成熟的技术方法比较鲜见。因而夜晚雾霾条件下观测成像的清晰化研究具有重要的现实意义。
发明内容
针对夜晚有雾图像清晰化的研究还比较欠缺，应用深度学习网络进行夜晚去雾的研究更加少，本发明提出了一种基于深度学习的夜晚去雾网络模型方法。
本发明在网络模型的构建方面，参考Hao-Hsiang Yang等人《Wavelet U-Net andthe Chromatic Adaptation Transform for SingleImage Dehazing》中提出的离散小波与U-Net结合的深度学习图像去雾方法，但本发明针对夜晚影像去雾进行了针对改进，将U-Net网络与双树复小波变换相结合，并且在网络中融入了更多的残差结构，从而有效抑制在夜晚去雾任务中易引起的网格效应这个典型问题。
本发明在训练数据集的构建方面，参考QingsongZhu等人在论文《A FastSingleImage Haze RemovalAlgorithm Using ColorAttenuation Prior》中提出的图像场景深度、亮度、饱和度之间的关系，但原文主要用于图像非深度学习的去雾任务，本发明参考该思想并将其用于深度学习模型中重要的数据构建方面，并且没有采用原文中复杂的优化方法来估计场景深度，而是对场景深度关系估计进行了简化处理以提高可操作性。
本发明在整体损失函数中局部损失构建方面，参考了Yifan Jiang等人在《EnlightenGAN:Deep Light Enhancement withoutPairedSupervision》中的思想，但原文中随机采样块是用来做判别器的输入，本发明将随机采样思想应用于夜晚图像去雾任务之中，直接用来计算损失函数值，并且对随机采样局部块做了通道融合处理。此外，本发明引入的通道注意力思想参考普遍采用的Sanghyun Woo等人在《CBAM:Convolutional BlockAttention Module》中提出的，本发明通过构建通道注意力模块实现所提网络模型中编码器与解码器之间信息的传递。
为了达到上述目的，本发明采用了下列技术方案：
一种基于深度学习的夜晚影像去雾算法，包括以下步骤：
步骤一：收集夜晚无雾清晰影像数据，然后对该影像数据进行场景深度比例估计，基于深度比例图对夜晚无雾清晰图像进行加雾处理，建立夜晚“有雾-无雾”影像数据集；
步骤二：先设计整体网络的编码器部分，夜晚有雾图像经过编码器中的三个双树复小波变换组，可迭代提取多尺度特征，再基于残差块设计底层网络结构，网络中的卷积模块由卷积层和线性整流函数(ReLU)组成，编码器输出的特征进行一次双树复小波分解输入到底层网络结构残差块中，进一步对编码器输出进行特征提取；
步骤三：设计整体网络的解码器部分，加入通道注意力模块，将底层网络特征依次通过解码器的三个双树复小波逆变换组，每个组与编码器模块中的组进行对应特征级联，并在第三个组中融入编码器中的低层次特征输入通道注意力模块获得的通道注意力特征图，进行特征融合复用与图像去雾重构；
步骤四:设计深度网络模型的损失函数，在采用常用的均方误差和最小绝对值偏差L1范数作为全局损失函数基础上，引入局部采样损失，从而在计算误差时能同时关注于图像局部误差，使输出图像在整体上和局部上都更加接近原始清晰无雾图像；
步骤五:使用夜晚“有雾-无雾”合成数据集对设计好的整体网络模型进行训练，输入有雾图像、输出去雾恢复后的图像，损失函数同时在整体与局部层面上计算网络输出图像与无雾清晰图像的误差，通过反向传播误差进行网络权重的调整，多次迭代训练至达到设置的训练次数，网络模型训练完成；训练完成后，对网络模型进行测试，输入有雾图像，最终获得网络输出的去雾清晰图像。
进一步的，所述步骤一中数据集加雾的具体方法为：夜晚无雾清晰影像是从网站上收集以及拍摄所构成的，夜晚有雾图像是通过加雾算法获得的，加雾算法依据在McCartney思想基础上提出的如下所示的大气散射模型：
I(x)＝J(x)t(x)+A(1-t(x)) (1)
其中I(x)为有雾图像、J(x)为清晰无雾图像、x为图像像素位置，A为全局大气光值，t(x)为大气透射率图，该透射率图可由图像场景深度d(x)根据公式(2)求得：
t(x)＝e-bd(x) (2)
式中b为散射系数，e为自然常数；具体地，基于Qingsong Zhu等人在图像去雾算法中提出的图像场景深度、亮度、饱和度之间的相互关系，但本发明将该去雾估计场景深度思想进行简化，并用于深度学习数据集的加雾处理中，在进行图像加雾时将图像格式由RGB转化为HSV格式，图像的亮度通道减去饱和度通道再进行最小值滤波避免局部亮点对估计深度的影响，得到图像场景深度d(x)的估计值即场景深度比例关系图，其计算表达式如下：
其中v(x)为图像亮度通道、s(x)为图像饱和度通道；通过估计图像的场景深度比例关系图，再通过随机选取固定的全局大气光值A，依据公式(1)(2)(3)可对无雾图像进行加雾生成对应有雾图像，有效模拟真实场景下有雾图像的生成过程，进行夜晚“有雾-无雾”合成训练集的建立；网络的训练集可由10000张合成有雾图像组成，验证集可由另外1000张合成有雾图像组成。
进一步的，所述步骤二中编码器与底层网络的具体设计为：参考Hao-Hsiang Yang等人将离散小波与U-Net结合的模型构建思路，但本发明为抑制夜晚去雾中易出现网格效应问题进行了针对性的改进，首先设计整个网络的编码器与底层网络部分，编码器结构由3个双树复小波变换组构成，在每个组中，每一个双树复小波变换组由双树复小波变换、两层卷积层组成的残差块结构和1×1卷积核的卷积层构成；双树复小波变换将图像分解并提取频域特征，图像尺寸大小变为原来的四分之一，从6个方向进行小波分解，小波分解包含实部与虚部；残差块对特征进行进一步提取，每组残差块由两个3×3卷积层组成，最后1×1卷积层将通道降维，经过编码器的3个双树复小波变换组后，再进行一次双树复小波变换分解到达U-Net最底层；在U-Net底层网络部分，采用残差结构输出特征图像进行双树复小波逆变换后输入解码器中。
进一步的，所述步骤三中解码器结构的具体设计中，迭代使用3个双树复小波逆变换组，在每个双树复小波逆变换组中，首先将对应层的双树复小波变换组的输出特征图与双树复小波逆变换组上一层的输出特征图进行级联后获得联合上下文语义特征，将联合上下文语义特征通过双树复小波逆变换组，不同深度的特征进行融合与小波重构；前两个双树复小波逆变换组都由3×3的卷积层和双树复小波逆变换构成，第3个双树复小波逆变换组与前两个组不同，由两层3×3的卷积层和一层双树复小波逆变换组成，并参考SanghyunWoo等人提出的通道注意力思想构建模块，实现所提网络模型中编码器与解码器之间信息的传递。
进一步的，所述步骤四中改进后的损失函数具体由LMSE、L1和Lpatch组成，其中LMSE、L1分别计算去雾后图像与无雾清晰图像的均方误差和最小绝对值偏差，Lpatch在去雾后图像与无雾清晰图像中随机截取若干相同位置相同大小的的图像块，用以计算L1范数损失，ω1、ω2和ω3分别是3种损失的权重，其权重可分别设为0.8、0.1、0.1，它们的加权和为1，其中局部损失函数的设计参考Yifan Jiang等人的局部采样思想，但将其直接通道融合以计算局部块损失Lpatch，其数学表达式如下：
式中N是图像的数量，M是取块次数，代表去雾图像，J(x)代表真实图像，P(·)代表对图像进行随机取块，n代表第n张图像，m代表第m个图像块，将去雾后图像随机分块与原图中对应位置计算损失函数，并以一定比例关系计入总损失函数。
与现有技术相比本发明具有以下优点：
首先，对结合离散小波的U-Net深度去雾网络进行了夜晚去雾目标的针对性改进，将离散小波改进成了具有平移不变性和良好方向选择性的双树复小波，并将更多的残差块融入网络以加深网络结构，从而有效改善原始离散小波U-Net深度网络去雾后易出现网格状伪影的问题，同时改进后网络能够更好地提取夜晚有雾图像的结构和纹理。其次，除残差结构中存在短跳跃连接之外，在U-Net原有的编码器与解码器特征级联的基础上，设计了一种长跳跃连接——注意力机制跳跃连接模块。该模块能够自适应地关注更有用的通道，在增强重要特征信息的同时抑制次要特征信息。再次，在图像全局损失的基础上加入了局部损失，构建“全局-局部”联合误差损失函数来指导训练过程。其中全局损失是计算去雾后图像与无雾清晰图像之间的误差，可实现较好的整体去雾效果；局部损失是在去雾后图像与无雾清晰图像对应位置处，随机采样多个图像块并计算误差，可实现关注图像局部区域的去雾效果，避免处理后局部区域存在雾的残留。
附图说明
图1是本发明实施例提供的一种基于深度学习的夜晚影像去雾算法的模型结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供的一种基于深度学习的夜晚影像去雾算法，包括如下步骤：
步骤一:收集夜晚无雾清晰影像数据，然后对该影像数据进行场景深度比例估计，基于深度比例图对夜晚无雾清晰图像进行加雾处理，建立夜晚“有雾-无雾”影像数据集；
步骤二：先设计整体网络的编码器部分，夜晚有雾图像经过编码器中的三个双树复小波变换组，可迭代提取多尺度特征，再基于残差块设计底层网络结构，网络中的卷积模块由卷积层和线性整流函数(ReLU)组成，编码器输出的特征进行一次双树复小波分解输入到底层网络结构残差块中，进一步对编码器输出进行特征提取；
步骤三：设计整体网络的解码器部分，加入通道注意力模块，将底层网络特征依次通过解码器的三个双树复小波逆变换组，每个组与编码器模块中的组进行对应特征级联，并在第三个组中融入编码器中的低层次特征输入通道注意力模块获得的通道注意力特征图，进行特征融合复用与图像去雾重构；
步骤四:设计深度网络模型的损失函数，在采用常用的均方误差和最小绝对值偏差L1范数作为全局损失函数基础上，引入局部采样损失，从而在计算误差时能同时关注于图像局部误差，使输出图像在整体上和局部上都更加接近原始清晰无雾图像；
步骤五:使用夜晚“有雾-无雾”合成数据集对设计好的整体网络模型进行训练，输入有雾图像、输出去雾恢复后的图像，损失函数同时在整体与局部层面上计算网络输出图像与无雾清晰图像的误差，通过反向传播误差进行网络权重的调整，多次迭代训练至达到设置的训练次数，网络模型训练完成；训练完成后，对网络模型进行测试，输入有雾图像，最终获得网络输出的去雾清晰图像。
所述步骤一中数据集加雾的具体方法为：夜晚无雾清晰影像是从网站上收集以及拍摄所构成的，夜晚有雾图像是通过加雾算法获得的，加雾算法依据在McCartney思想基础上提出的如下所示的大气散射模型：
I(x)＝J(x)t(x)+A(1-t(x)) (1)
其中I(x)为有雾图像、J(x)为清晰无雾图像、x为图像像素位置，A为全局大气光值，t(x)为大气透射率图，该透射率图可由图像场景深度d(x)根据公式(2)求得：
t(x)＝e-bd(x) (2)
式中b为散射系数，e为自然常数；具体地，基于Qingsong Zhu等人在图像去雾算法中提出的图像场景深度、亮度、饱和度之间的相互关系，但本发明将该去雾估计场景深度思想进行简化，并用于深度学习数据集的加雾处理中，在进行图像加雾时将图像格式由RGB转化为HSV格式，图像的亮度通道减去饱和度通道再进行最小值滤波避免局部亮点对估计深度的影响，得到图像场景深度d(x)的估计值即场景深度比例关系图，其计算表达式如下：
其中v(x)为图像亮度通道、s(x)为图像饱和度通道；通过估计图像的场景深度比例关系图，再通过随机选取固定的全局大气光值A，依据公式(1)(2)(3)可对无雾图像进行加雾生成对应有雾图像，有效模拟真实场景下有雾图像的生成过程，进行夜晚“有雾-无雾”合成训练集的建立；网络的训练集可由10000张合成有雾图像组成，验证集可由另外1000张合成有雾图像组成。
所述步骤二中编码器与底层网络的具体设计为：参考Hao-Hsiang Yang等人将离散小波与U-Net结合的模型构建思路，但本发明为抑制夜晚去雾中易出现网格效应问题进行了针对性的改进，首先设计整个网络的编码器与底层网络部分，编码器结构由3个双树复小波变换组构成，在每个组中，每一个双树复小波变换组由双树复小波变换、两层卷积层组成的残差块结构和1×1卷积核的卷积层构成；双树复小波变换将图像分解并提取频域特征，图像尺寸大小变为原来的四分之一，从6个方向进行小波分解，小波分解包含实部与虚部；残差块对特征进行进一步提取，每组残差块由两个3×3卷积层组成，最后1×1卷积层将通道降维，经过编码器的3个双树复小波变换组后，再进行一次双树复小波变换分解到达U-Net最底层；在U-Net底层网络部分，采用残差结构输出特征图像进行双树复小波逆变换后输入解码器中。
所述步骤三中解码器结构的具体设计中，迭代使用3个双树复小波逆变换组，在每个双树复小波逆变换组中，首先将对应层的双树复小波变换组的输出特征图与双树复小波逆变换组上一层的输出特征图进行级联后获得联合上下文语义特征，将联合上下文语义特征通过双树复小波逆变换组，不同深度的特征进行融合与小波重构；前两个双树复小波逆变换组都由3×3的卷积层和双树复小波逆变换构成，第3个双树复小波逆变换组与前两个组不同，由两层3×3的卷积层和一层双树复小波逆变换组成，并参考Sanghyun Woo等人提出的通道注意力思想构建模块，实现所提网络模型中编码器与解码器之间信息的传递。
所述步骤四中改进后的损失函数具体由LMSE、L1和Lpatch组成，其中LMSE、L1分别计算去雾后图像与无雾清晰图像的均方误差和最小绝对值偏差，Lpatch在去雾后图像与无雾清晰图像中随机截取若干相同位置相同大小的的图像块，用以计算L1范数损失，ω1、ω2和ω3分别是3种损失的权重，其权重可分别设为0.8、0.1、0.1，它们的加权和为1，其中局部损失函数的设计参考Yifan Jiang等人的局部采样思想，但将其直接通道融合以计算局部块损失Lpatch，其数学表达式如下：
式中N是图像的数量，M是取块次数，代表去雾图像，J(x)代表真实图像，P(×)代表对图像进行随机取块，n代表第n张图像，m代表第m个图像块，将去雾后图像随机分块与原图中对应位置计算损失函数，并以一定比例关系计入总损失函数。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于深度学习的夜晚影像去雾算法，其特征在于，所述方法包括以下步骤：
步骤一：收集夜晚无雾清晰影像数据，然后对该影像数据进行场景深度比例估计，基于深度比例图对夜晚无雾清晰图像进行加雾处理，建立夜晚“有雾-无雾”影像数据集；
步骤二：先设计整体网络的编码器部分，夜晚有雾图像经过编码器中的三个双树复小波变换组，可迭代提取多尺度特征，再基于残差块设计底层网络结构，网络中的卷积模块由卷积层和线性整流函数(ReLU)组成，编码器输出的特征进行一次双树复小波分解输入到底层网络结构残差块中，进一步对编码器输出进行特征提取；
步骤三：设计整体网络的解码器部分，加入通道注意力模块，将底层网络特征依次通过解码器的三个双树复小波逆变换组，每个组与编码器模块中的组进行对应特征级联，并在第三个组中融入编码器中的低层次特征输入通道注意力模块获得的通道注意力特征图，进行特征融合复用与图像去雾重构；
步骤四：设计深度网络模型的损失函数，在采用常用的均方误差和最小绝对值偏差L1范数作为全局损失函数基础上，引入局部采样损失，从而在计算误差时能同时关注于图像局部误差，使输出图像在整体上和局部上都更加接近原始清晰无雾图像；
步骤五：使用夜晚“有雾-无雾”合成数据集对设计好的整体网络模型进行训练，输入有雾图像、输出去雾恢复后的图像，损失函数同时在整体与局部层面上计算网络输出图像与无雾清晰图像的误差，通过反向传播误差进行网络权重的调整，多次迭代训练至达到设置的训练次数，网络模型训练完成；训练完成后，对网络模型进行测试，输入有雾图像，最终获得网络输出的去雾清晰图像。
2.根据权利要求1所述的一种基于深度学习的夜晚影像去雾算法，其特征在于，步骤一中数据集加雾的具体方法为：夜晚无雾清晰影像是从网站上收集以及拍摄所构成的，夜晚有雾图像是通过加雾算法获得的，加雾算法依据在McCartney思想基础上提出的如下所示的大气散射模型：
I(x)＝J(x)t(x)+A(1-t(x)) (1)
其中I(x)为有雾图像、J(x)为清晰无雾图像、x为图像像素位置，A为全局大气光值，t(x)为大气透射率图，该透射率图可由图像场景深度d(x)根据公式(2)求得：
t(x)＝e-bd(x) (2)
式中b为散射系数，e为自然常数；具体地，基于Qingsong Zhu等人在图像去雾算法中提出的图像场景深度、亮度、饱和度之间的相互关系，但本发明将该去雾估计场景深度思想进行简化，并用于深度学习数据集的加雾处理中，在进行图像加雾时将图像格式由RGB转化为HSV格式，图像的亮度通道减去饱和度通道再进行最小值滤波避免局部亮点对估计深度的影响，得到图像场景深度d(x)的估计值即场景深度比例关系图，其计算表达式如下：
其中v(x)为图像亮度通道、s(x)为图像饱和度通道；通过估计图像的场景深度比例关系图，再通过随机选取固定的全局大气光值A，依据公式(1)(2)(3)可对无雾图像进行加雾生成对应有雾图像，有效模拟真实场景下有雾图像的生成过程，进行夜晚“有雾-无雾”合成训练集的建立；网络的训练集可由10000张合成有雾图像组成，验证集可由另外1000张合成有雾图像组成。
3.根据权利要求1所述的一种基于深度学习的夜晚影像去雾算法，其特征在于，步骤二中编码器与底层网络的具体设计为：参考Hao-Hsiang Yang等人将离散小波与U-Net结合的模型构建思路，但本发明为抑制夜晚去雾中易出现网格效应问题进行了针对性的改进，首先设计整个网络的编码器与底层网络部分，编码器结构由3个双树复小波变换组构成，在每个组中，每一个双树复小波变换组由双树复小波变换、两层卷积层组成的残差块结构和1×1卷积核的卷积层构成；双树复小波变换将图像分解并提取频域特征，图像尺寸大小变为原来的四分之一，从6个方向进行小波分解，小波分解包含实部与虚部；残差块对特征进行进一步提取，每组残差块由两个3×3卷积层组成，最后1×1卷积层将通道降维，经过编码器的3个双树复小波变换组后，再进行一次双树复小波变换分解到达U-Net最底层；在U-Net底层网络部分，采用残差结构输出特征图像进行双树复小波逆变换后输入解码器中。
4.根据权利要求1所述的一种基于深度学习的夜晚影像去雾算法，其特征在于，步骤三中解码器结构的具体设计中，迭代使用3个双树复小波逆变换组，在每个双树复小波逆变换组中，首先将对应层的双树复小波变换组的输出特征图与双树复小波逆变换组上一层的输出特征图进行级联后获得联合上下文语义特征，将联合上下文语义特征通过双树复小波逆变换组，不同深度的特征进行融合与小波重构；前两个双树复小波逆变换组都由3×3的卷积层和双树复小波逆变换构成，第3个双树复小波逆变换组与前两个组不同，由两层3×3的卷积层和一层双树复小波逆变换组成，并参考Sanghyun Woo等人提出的通道注意力思想构建模块，实现所提网络模型中编码器与解码器之间信息的传递。
5.根据权利要求1所述的一种基于深度学习的夜晚影像去雾算法，其特征在于，步骤四中改进后的损失函数具体由LMSE、L1和Lpatch组成，其中LMSE、L1分别计算去雾后图像与无雾清晰图像的均方误差和最小绝对值偏差，Lpatch在去雾后图像与无雾清晰图像中随机截取若干相同位置相同大小的的图像块，用以计算L1范数损失，ω1、ω2和ω3分别是3种损失的权重，其权重可分别设为0.8、0.1、0.1，它们的加权和为1，其中局部损失函数的设计参考YifanJiang等人的局部采样思想，但将其直接通道融合以计算局部块损失Lpatch，其数学表达式如下：
式中N是图像的数量，M是取块次数，代表去雾图像，J(x)代表真实图像，P(·)代表对图像进行随机取块，n代表第n张图像，m代表第m个图像块，将去雾后图像随机分块与原图中对应位置计算损失函数，并以一定比例关系计入总损失函数。
CN202110051613.8A 2021-01-15 2021-01-15 一种基于深度学习的夜晚影像去雾算法 Active CN114764752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110051613.8A CN114764752B (zh) 2021-01-15 2021-01-15 一种基于深度学习的夜晚影像去雾算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110051613.8A CN114764752B (zh) 2021-01-15 2021-01-15 一种基于深度学习的夜晚影像去雾算法

Publications (2)

Publication Number Publication Date
CN114764752A CN114764752A (zh) 2022-07-19
CN114764752B true CN114764752B (zh) 2024-02-27

Family

ID=82363175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110051613.8A Active CN114764752B (zh) 2021-01-15 2021-01-15 一种基于深度学习的夜晚影像去雾算法

Country Status (1)

Country Link
CN (1) CN114764752B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853371B (zh) * 2024-03-06 2024-05-31 华东交通大学 多分支频域增强的真实图像去雾方法、系统及终端
CN117974670B (zh) * 2024-04-02 2024-06-04 齐鲁工业大学(山东省科学院) 一种融合散射网络的图像分析方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015125146A1 (en) * 2014-02-19 2015-08-27 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Method and system for dehazing natural images using color-lines
CN110570371A (zh) * 2019-08-28 2019-12-13 天津大学 一种基于多尺度残差学习的图像去雾方法
AU2020100274A4 (en) * 2020-02-25 2020-03-26 Huang, Shuying DR A Multi-Scale Feature Fusion Network based on GANs for Haze Removal
CN111489301A (zh) * 2020-03-19 2020-08-04 山西大学 一种基于迁移学习用图像深度信息引导的图像去雾方法
CN111915530A (zh) * 2020-08-06 2020-11-10 温州大学 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN112150395A (zh) * 2020-10-15 2020-12-29 山东工商学院 结合残差块和密集块的编码器-解码器网络图像去雾方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015125146A1 (en) * 2014-02-19 2015-08-27 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Method and system for dehazing natural images using color-lines
CN110570371A (zh) * 2019-08-28 2019-12-13 天津大学 一种基于多尺度残差学习的图像去雾方法
AU2020100274A4 (en) * 2020-02-25 2020-03-26 Huang, Shuying DR A Multi-Scale Feature Fusion Network based on GANs for Haze Removal
CN111489301A (zh) * 2020-03-19 2020-08-04 山西大学 一种基于迁移学习用图像深度信息引导的图像去雾方法
CN111915530A (zh) * 2020-08-06 2020-11-10 温州大学 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN112150395A (zh) * 2020-10-15 2020-12-29 山东工商学院 结合残差块和密集块的编码器-解码器网络图像去雾方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘宇航 ; 吴帅 ; .基于多尺度融合和对抗训练的图像去雾算法.激光与光电子学进展.(06),179-188. *
基于双树复小波变换和频域U-Net的多光谱图像融合算法;李建飞;陈春晓;王亮;;生物医学工程研究;20200625(02);43-48 *

Also Published As

Publication number Publication date
CN114764752A (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN106910175B (zh) 一种基于深度学习的单幅图像去雾算法
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN103020920B (zh) 一种低照度图像增强方法
Wang et al. Dehazing for images with large sky region
CN110544213B (zh) 一种基于全局和局部特征融合的图像去雾方法
CN108269244B (zh) 一种基于深度学习和先验约束的图像去雾系统
CN110517203B (zh) 一种基于参考图像重建的去雾方法
Li et al. Evaluating generative adversarial networks based image-level domain transfer for multi-source remote sensing image segmentation and object detection
CN114764752B (zh) 一种基于深度学习的夜晚影像去雾算法
CN111738954B (zh) 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
Bi et al. Haze removal for a single remote sensing image using low-rank and sparse prior
CN115222614A (zh) 一种先验引导的多降质特征夜光遥感影像质量提升方法
CN111553856A (zh) 基于深度估计辅助的图像去雾方法
Wang et al. An ensemble multi-scale residual attention network (EMRA-net) for image Dehazing
CN113822816A (zh) 气雾散射模型优化的单张遥感图像去霾方法
Bai et al. Making the Earth clear at night: A high-resolution nighttime light image deblooming network
Zhang et al. Enhanced visual perception for underwater images based on multistage generative adversarial network
CN113610730A (zh) 一种卫星影像非均匀薄云去除方法及系统
CN111899269A (zh) 一种基于边缘结构信息的无人机图像与sar卫星图像的匹配方法
Guan et al. DiffWater: Underwater image enhancement based on conditional denoising diffusion probabilistic model
Li et al. ConvFormerSR: Fusing transformers and convolutional neural networks for cross-sensor remote sensing imagery super-resolution
CN115861113A (zh) 一种基于融合深度图与特征掩膜的半监督去雾方法
CN115100076A (zh) 基于上下文感知注意力的低光图像去雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant