CN117078553A - 一种基于多尺度深度学习的图像去雾方法 - Google Patents
一种基于多尺度深度学习的图像去雾方法 Download PDFInfo
- Publication number
- CN117078553A CN117078553A CN202311079491.9A CN202311079491A CN117078553A CN 117078553 A CN117078553 A CN 117078553A CN 202311079491 A CN202311079491 A CN 202311079491A CN 117078553 A CN117078553 A CN 117078553A
- Authority
- CN
- China
- Prior art keywords
- image
- defogging
- scale
- module
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013135 deep learning Methods 0.000 title claims abstract description 33
- 238000003062 neural network model Methods 0.000 claims abstract description 17
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 238000005286 illumination Methods 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 9
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 101100412102 Haemophilus influenzae (strain ATCC 51907 / DSM 11121 / KW20 / Rd) rec2 gene Proteins 0.000 description 3
- 101100356020 Haemophilus influenzae (strain ATCC 51907 / DSM 11121 / KW20 / Rd) recA gene Proteins 0.000 description 3
- 101100042680 Mus musculus Slc7a1 gene Proteins 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 239000000443 aerosol Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于多尺度深度学习的图像去雾方法，包括构建包含有雾图像和清晰图像的数据集，并进行预处理；采用多尺度深度学习的方法来构建神经网络模型，从粗到细逐层进行建模；将有雾图像输入深度卷积神经网络模型，提取出不同尺度的特征图，其中包含了图像的局部和全局信息；将不同尺度的特征图融合起来；生成去雾图像。本发明的有益效果是：本发明采用多尺度融合，提高图像去雾的鲁棒性；将不同尺度的特征图融合起来，得到更为丰富的特征表示，从而提高了图像去雾的效果。
Description
技术领域
本发明涉及图像信息处理技术领域，更确切地说，它涉及一种基于多尺度深度学习的图像去雾方法。
背景技术
图像去雾是一种旨在从雾化图像中恢复真实场景的技术。由于天气条件、照明条件、物体距离等因素的影响，摄像机在拍摄图像时可能会受到雾霾、烟雾、气溶胶等影响，导致图像质量下降。因此，图像去雾技术在计算机视觉、机器视觉等领域具有广泛的应用。
现有的基于物理模型的方法主要是通过对传输过程中的光线传播进行建模，对雾化图像进行去雾处理。这种方法的代表性算法有暗通道先验法、多尺度Retinex算法、物理模型法等。这类算法需要对图像传输模型和场景中的光照、颜色等进行一定的假设和建模，因此在一定程度上受到这些假设和模型的限制。
发明内容
本发明的目的是针对现有技术的不足，提出了一种基于多尺度深度学习的图像去雾方法。
第一方面，提供了一种基于多尺度深度学习的图像去雾方法，包括：
步骤1、数据集预处理：构建包含有雾图像和清晰图像的数据集，以用于神经网络的训练和优化，并进行预处理；
步骤2、神经网络模型构建：采用多尺度深度学习的方法来构建神经网络模型，从粗到细逐层进行建模，用于实现对图像的全方位特征提取和处理；
步骤3、特征提取：利用卷积神经网络提取图像特征，将有雾图像输入深度卷积神经网络模型，提取出不同尺度的特征图，其中包含了图像的局部和全局信息；
步骤4、多尺度融合：将不同尺度的特征图融合起来；
步骤5、图像去雾：用融合后的特征图，生成去雾图像。
作为优选，步骤1中，所述预处理包括：色彩校正、图像去噪、对齐处理和数据增强。
作为优选，步骤2中，所述神经网络模型包括多尺度残差光照图估计模块和精细化去雾模块；所述多尺度残差光照图估计模块用于输出残差光照图，残差光照图与有雾图像相乘得到粗糙的无雾图像；所述精细化去雾模块用于对粗糙的无雾图像进行深度去雾，最终输出干净图像；所述精细化去雾模块的输入包括原始有雾图像的景深信息与粗糙的去雾图像。
作为优选，步骤2中，所述精细化去雾模块采用对称网络结构，分为编码分支和解码分支；编码分支中，使用4次降采样和卷积操作逐级提取粗糙去雾图像和深度图的金字塔特征；解码分支中，对已经提取的金字塔特征进行融合，并逐渐恢复被缩放的特征图；精细化去雾模块在相同层次的编解码层之间引入跳跃连接以完成残差学习；在解码分支仍然使用残差注意力模块作为特征提取单元。
作为优选，步骤2中，所述多尺度残差光照图估计模块包括4个分支，第一个分支由3个残差注意力模块组成，其余3个分支均由池化层、3个残差注意力模块和上采样层组成；第一个分支与输入图像保持相同的分辨率，其余3个分支分别将原始图像降采样至原来尺寸的1/2、1/4和1/8，得到多尺度特征图，然后将多尺度特征图分别送入相应的残差注意力模块学习多尺度特征；经过多尺度特征学习后，4个分支的特征图被上采样至相同的分辨率，并做通道间的合并操作，最后经过一个卷积层输出残差光照图。
作为优选，步骤3中，设置了非局部重构模块，对于有雾图像在卷积特征提取后再进行非局部操作，非局部操作表示为：
其中，输出信号o和输入信号x尺寸是相同的，i代表输出位置索引，j是列出全图中所有可能位置的索引，函数f(xi,xj)用来计算位置i和j之间的相似性，其结果是一个权重标量，并且权重越大，位置i的输出受位置j的值影响越大；函数g用来计算j位置输入信号的一个表示；最后通过C(x)对响应值归一化。
作为优选，步骤4中，设置混合注意力模块，并通过通道和空间注意力机制自动调整通道和像素的注意力权重，使网络对每个通道和像素给予不同的重视；混合注意力模块的功能表示为：
woutput＝FS(FC(winput))
其中，woutput为输出，winput为输入，FC为通道注意力机制的输出，FS为空间注意力机制的输出。
作为优选，还包括：
步骤6、去雾图像后处理；具体包括：
步骤6.1、对图像进行增强；
步骤6.2、使用中值滤波对图像进行去噪。
第二方面，提供了一种基于多尺度深度学习的图像去雾系统，用于执行第一方面任一所述的基于多尺度深度学习的图像去雾方法，包括：
第一构建模块，用于构建包含有雾图像和清晰图像的数据集，以用于神经网络的训练和优化，并进行预处理；
第二构建模块，用于采用多尺度深度学习的方法来构建神经网络模型，从粗到细逐层进行建模，用于实现对图像的全方位特征提取和处理；
提取模块，用于利用卷积神经网络提取图像特征，将有雾图像输入深度卷积神经网络模型，提取出不同尺度的特征图，其中包含了图像的局部和全局信息；
融合模块，用于将不同尺度的特征图融合起来；
生成模块，用于用融合后的特征图，生成去雾图像。
第三方面，提供了一种计算机存储介质，所述计算机存储介质内存储有计算机程序；所述计算机程序在计算机上运行时，使得计算机执行第一方面任一所述的基于多尺度深度学习的图像去雾方法。
本发明的有益效果是：
1.本发明主要采用多尺度深度学习的方法来构建神经网络模型，从粗到细逐层进行建模，以实现对图像的全方位特征提取和处理。
2.本发明采用多尺度融合，提高图像去雾的鲁棒性。将不同尺度的特征图融合起来，得到更为丰富的特征表示，从而提高了图像去雾的效果。
3.本发明在进行图像去雾之后，还提出了一种后处理方法，以进一步提高去雾效果。
附图说明
图1为本发明提供的多尺度深度学习的图像去雾方法的方法流程图；
图2为本发明提供的网络结构中MAN框架示意图；
图3为本发明提供的精细化去雾模块示意图；
图4为本发明提供的混合注意力模块示意图；
图5为本发明提供的一种有雾图像；
图6为本发明提供的一种去雾效果示意图；
图7为本发明提供的一种有雾图像对应的标签图像；
图8为本发明提供的另一种有雾图像；
图9为本发明提供的另一种去雾效果示意图；
图10为本发明提供的另一种有雾图像对应的标签图像。
具体实施方式
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
实施例1：
本申请实施例提供了一种基于多尺度深度学习的图像去雾方法，如图1所示，包括：
步骤1、数据集预处理：构建包含有雾图像和清晰图像的数据集，以用于神经网络的训练和优化，并进行预处理。
步骤1中，需要构建一个包含有雾图像和清晰图像的数据集，以用于神经网络的训练和优化。收集雾图像和清晰图像数据集，可以从公开数据集中获取。本发明中所用的数据取自NYU Depth v2、Indoor Scene Recognition、Dark Channel Prior。
去除色彩失真。本发明使用色彩校正算法Gamma校正来去除雾中的色彩失真。去除图像噪声。本发明使用基于小波变换的降噪算法去除清晰图像中的噪声，后使用基于SIFT的特征提取算法提取图像特征。将预处理后的有雾图像与清晰图像进行对齐处理，以确保它们具有相同的大小和方向。为了方便深度学习模型的训练，增强模型的泛华性能，防止模型的过拟合，本发明对训练数据进行增强，主要包括图像旋转、图像翻转、图像随机缩放和随机色彩抖动，并将增强后的数据划分为训练集、验证集和测试集，并将这些数据以HDF5的格式存储，用于后续的神经网络模型的训练。
步骤2、神经网络模型构建：采用多尺度深度学习的方法来构建神经网络模型，从粗到细逐层进行建模，用于实现对图像的全方位特征提取和处理。
根据Retinex理论，图像可以分解为反射图与光照图的乘积，其中反射图由物体的内在属性决定，光照图由外界光照决定。预测透射率是图像去雾的关键，而透射率与光照密切相关。因此，只需恢复有雾图像的光照图至近似正常状态，再利用Retinex模型，就能恢复无雾图像。有雾图像可以表达为：
Ih(x,y)＝R(x,y)×Lh(x,y)
其中，Lh(x,y)表示有雾图像的光照图，清晰图像可以表达为
Idh(x,y)＝R(x,y)×Ldh(x,y)
其中Idh(x,y)表示正常光照图。通过等量关系式：
可以推导出无雾图像的表达式：
令表示有雾图像光照图与无雾图像光照图的残差部分，代入上式可得Idh(x,y)＝Ih(x,y)×Lr(x,y)，即无雾图像为有雾图像与残差光照图的乘积，作为基于Retinex的去雾模型。
根据上式，如图2所示，本发明设计多尺度注意力去雾网络(MAN)学习有雾图像到清晰图像的映射关系。由于大尺度感受野可以保护全局特征，小尺度感受野可以捕获局部特征，因此在残差光照图估计模块中通过多尺度设计避免特征损失。输出残差光照图后，与有雾图像相乘得到初步去雾后的图像，但此时图像较为粗糙，存在雾霾残留、细节不完整等问题。此时由精细化去雾模块对粗糙的无雾图像进行深度去雾，最终输出干净图像。为了更准确地恢复图像的深度，提取有雾图像的景深信息，在精细化去雾模块中与粗糙的无雾图像联合学习。鉴于不同场景下雾霾严重程度存在差异，引入通道和空间注意力机制，自动调整通道和像素的注意力权重，使网络关注图像中更为重要的特征。
具体的，如图3所示，采用类似于U-Net的对称网络结构，网络分为编码分支和解码分支。为更好地恢复图像深度，提取了原始有雾图像的景深信息，与粗糙的去雾图像共同作为精细化去雾模块的输入。编码分支中，使用4次降采样和卷积操作逐级提取粗糙去雾图像和深度图的金字塔特征；解码分支中，对已经提取的金字塔特征进行融合，并逐渐恢复被缩放的特征图；同时，与U-Net结构保持一致，在相同层次的编解码层之间引入跳跃连接以完成残差学习；与多尺度残差光照图估计模块一致，在解码分支仍然使用残差注意力模块作为特征提取单元。
此外，大多数卷积神经网络在设计时使特征图的分辨率始终保持一致，或者先逐级降采样，再逐级恢复特征图尺寸，比如U-Net，这样的设计在卷积过程中会忽略或丢失不同分辨率的特征。为避免此类误差，本文设计了多尺度残差光照图估计模块。其中，低分辨率可以保护全局特征，如颜色分布、平均亮度等，高分辨率可以捕获局部特征，如细节、噪声等。多尺度残差光照图估计模块包括4个分支，除第一个分支由3个残差注意力模块组成外，其余3个分支均由池化层、3个残差注意力模块和上采样层组成。第一个分支与输入图像保持相同的分辨率，其余3个分支分别将原始图像降采样至原来尺寸的1/2、1/4和1/8，得到多尺度特征图，然后将多尺度特征图分别送入相应的残差注意力模块学习多尺度特征。残差注意力模块由2个卷积层和注意力模块组成。卷积层用于提取图像特征，注意力模块使网络关注特征图中更为重要的信息，提高网络特征学习的灵活性。残差注意力模块中增加跳跃连接以缓解训练时的梯度消失和弥散问题。经过多尺度特征学习后，4个分支的特征图被上采样至相同的分辨率，并做通道间的合并操作，最后经过一个卷积层输出残差光照图。
步骤3、特征提取：利用卷积神经网络提取图像特征，将有雾图像输入深度卷积神经网络模型，提取出不同尺度的特征图，其中包含了图像的局部和全局信息。
步骤3中，设置了非局部重构模块，对于有雾图像在卷积特征提取后再进行非局部操作，非局部操作表示为：
其中，输出信号o和输入信号x尺寸是相同的，i代表输出位置索引，j是列出全图中所有可能位置的索引，函数f(xi,xj)用来计算位置i和j之间的相似性，其结果是一个权重标量，并且权重越大，位置i的输出受位置j的值影响越大；函数g用来计算j位置输入信号的一个表示；最后通过C(x)对响应值归一化。
为了捕捉更大尺度的自相似信息，设计了一个非局部重构模块，如图1所示，对于有雾图像在卷积特征提取后再进行公式中的非局部操作。对于有雾图像，首先进行两层卷积操作：
Fc1(x)＝ReLU(Wc1*x+bc1)
z＝Fc2(x)＝ReLU(Wc2*Fc1(x)+bc2)
Wc1，Wc2，bc1，bc2分别表示第一层和第二层的滤波器和偏置，“＊”表示卷积操作。然后将特征图z输入到非局部模块中，得到每一点的响应输出为：
“+zi”表示残差连接，Oi根据公式计算得到，每一个位置的输出通过特征图所有位置的加权求和得到.权值函数f(xi,xj)采用Concatenation函数：
特征图z中的每一点，表示的是该点对应图像中的局部块对某些卷积结构的响应值.两点之间的相似性间接反映了图像中所有图像块之间的相似性，特征图经过非局部模块的处理，等价于对图像进行一个非局部的约束。
最后将经过非局部处理的特征图z通过一个卷积操作得到重构图像xrec：
xrec＝Fc3(z)＝ReLU(Wc3*z+bc3)
此外，神经网络中卷积核大小的确定仍然是未解决的问题，一般做法是是通过不同的尝试或者经验值确定。目前普遍的观念是，卷积核的尺寸越大，其感受野越大，越能更好的反映图像的全局信息，但是训练时越难收敛。针对卷积核大小确定困难的问题，本申请实施例在整个网络模型中采用三种非局部重构模块，它们分别采用不同尺度的卷积核。比如，第一种非局部重构模块中，第一个卷积层采用大小为11×11的卷积核，第二个卷积层采用大小为1×1的卷积核，然后第二个卷积层和第三个卷积层之间加入一个非局部块，第三个卷积层采用7×7的卷积核。第二种非局部重构模块中，三层卷积核的大小分别为9×9，1×1，5×5。第三种非局部重构模块中，三层卷积核大小均为3×3。
非局部重构模块的输入和输出采用残差连接，然后堆叠多个非局部重构模块得到图像在该尺度卷积核下的估计值，分别写作：
xrcc1＝Frec_1(y，Θrec_1)，xrc2＝Frec_2(y，Θrec_2)，
xrec3＝Frec_3(yΘrec_3)，
Θrec_1、Θrec_2、Θrec_3表示不同尺度下重构网络的参数集合.将三个不同尺度的非局部重构模块得到的重构图像进行加权，得到最终的估计图像：
权重wm可以在网络训练过程中得到。
步骤4、多尺度融合：将不同尺度的特征图融合起来，得到更为丰富的特征表示，从而提高了图像去雾的效果以及图像去雾的鲁棒性。
步骤4中，通道和空间注意力机制可自动调整通道和像素的注意力权重，使网络对每个通道和像素给予不同的重视。基于注意力机制的计算机视觉任务，本文引入了混合注意力模块。
如图4所示，给定输入winput∈RH×W×C，混合注意力模块通过两个机制来处理winput。通道注意力机制在通道维度分别采用全局平均池化和最大池化获取通道注意力算子Cavg∈E1×1×C和Cmax∈E1×1×C，Cavg和Cmax相加并激活后得到通道注意力机制的输出FC∈E1×1×C。空间注意力机制旨在生成空间维度的注意力图，与通道注意力机制类似，在跨通道维度采用全局平均池化和最大池化生成空间注意力算子Savg∈RH×W×1和Smax∈RH×W×1，Savg和Smax通过一个卷积操作获得空间注意力机制的输出FS∈RH×W×1。FC∈RH×W×1和FS∈RH×W×1用于调整输入winput。混合注意力模块的功能可表示为
woutput＝FS(FC(winput))
为了实现更好的视觉效果，采用两个损失函数来优化网络，分别是结构相似性(SSIM)损失和感知损失。SSIM综合考虑亮度、对比度、结构等因素，感知损失可以减少像素级优化所带来的伪影现象，两者结合可以提高去雾图像在主观上的视觉质量。SSIM的取值范围是[0，1]，取值越大代表相似性越好。
其中，Ym表示去雾图像，表示真实值。M表示图像数量，m表示当前处理的图像，μ表示均值，σ表示方差，θ1和θ2是常数。SSIM损失表示为：
感知损失是在计算低层的特征损失(像素颜色，边缘等)的基础上，通过对原始图像的卷积输出和生成图像的卷积输出进行对比，并计算损失。感知损失利用卷积层抽象高层特征的能力，从更高维度的层次感知图像。本文基于经过预训练的VGG－16网络来定义感知损失，令表示VGG网络/>的第j层，则感知损失定义为去雾图像的特征与真实值之间的距离。
其中，CjHj和Wj分别表示特征图的数量，高度和宽度。最后，整个网络的损失函数表达为
Ltotal＝LsSIM+λ×Lpl
其中，为了平衡SSIM损失和感知损失的量级，λ＝0.0001。
步骤5、图像去雾：用融合后的特征图，生成去雾图像。
示例地，图5和图8是本申请实施例提供的有雾图像，图6和图9分别是图5和图7对应的去雾效果示意图，图7和图10分别是图5和图7对应的标签图像，实际训练的标签需要将示例图进行归一化处理。
实施例2：
在实施例1的基础上，本申请实施例2提供了另一种基于多尺度深度学习的图像去雾方法，包括：
步骤1、数据集预处理：构建包含有雾图像和清晰图像的数据集，以用于神经网络的训练和优化，并进行预处理。
步骤2、神经网络模型构建：采用多尺度深度学习的方法来构建神经网络模型，从粗到细逐层进行建模，用于实现对图像的全方位特征提取和处理。
步骤3、特征提取：利用卷积神经网络提取图像特征，将有雾图像输入深度卷积神经网络模型，提取出不同尺度的特征图，其中包含了图像的局部和全局信息。
步骤4、多尺度融合：将不同尺度的特征图融合起来。
步骤5、图像去雾：用融合后的特征图，生成去雾图像。
步骤6、去雾图像后处理。
去雾图像后处理旨在进一步提高去雾算法处理的图像质量。去雾算法可能会导致图像细节丢失和色彩失真，因此第一步是对图像进行增强。本发明增强包括对比度增强，锐化和色彩校正等。去雾算法在处理图像时可能会产生一些噪点，因此需要使用去噪技术对图像进行后处理。本发明使用中值滤波对图像进行去噪。除此之外，图像去雾算法可能会导致边缘模糊、细节丢失、图像失真暗淡等问题。本发明设计了基于小波变换、色彩平衡等算法对图像进行相应的增强。最后，旨在提高图像的清晰度和细节，本发明使用偏微分方程的去模糊化技术来对图像进行后处理，以达到图像增强的目的。
在去雾图像后处理中，小波变换是一种多尺度分析方法，可以将信号或图像分解成不同尺度的细节和近似部分。图像通过小波分解被分解成不同频率范围内的子图像，包括低频近似部分和高频细节部分。低频部分捕捉图像的大致结构，高频部分则包含图像的细节信息。根据图像增强的目标，对小波分解得到的子图像进行处理。常见的增强方法包括增强细节、增强对比度、去噪等。增强处理可以在不同尺度的子图像上进行，以针对特定的频率范围进行调整。经过增强处理后的子图像通过小波重构被合并成增强后的图像。小波重构过程与小波分解过程相反，通过将近似部分和细节部分合并，得到最终的增强图像。
需要说明的，本实施例中与实施例1相同或相似的部分可相互参考，在本申请中不再赘述。
实施例3：
在实施例1的基础上，本申请实施例3提供了一种基于多尺度深度学习的图像去雾系统，包括：
第一构建模块，用于构建包含有雾图像和清晰图像的数据集，以用于神经网络的训练和优化，并进行预处理；
第二构建模块，用于采用多尺度深度学习的方法来构建神经网络模型，从粗到细逐层进行建模，用于实现对图像的全方位特征提取和处理；
提取模块，用于利用卷积神经网络提取图像特征，将有雾图像输入深度卷积神经网络模型，提取出不同尺度的特征图，其中包含了图像的局部和全局信息；
融合模块，用于将不同尺度的特征图融合起来；
生成模块，用于用融合后的特征图，生成去雾图像。
具体的，本实施例所提供的系统为实施例1提供的方法对应的系统，因此，在本实施例中与实施例1相同或相似的部分，可相互参考，在本申请中不再赘述。
综上所述，基于Retinex模型的深度图像去雾网络，对于真实场景下的有雾图像，尤其是重度雾霾的去除有较好的效果。本发明所提网络既不依赖于先验，也不依赖于大气散射模型，通过端对端的方式恢复清晰图像。与基于大气散射模型的方法相比，本发明提供的方法能避免由于参数估计误差而造成的去雾效果不佳问题；与基于数据驱动的方法相比，在真实场景下，尤其是重度雾霾场景，恢复的图像更接近于清晰图像，在不同数据集上均有较好的泛化能力。
Claims (10)
1.一种基于多尺度深度学习的图像去雾方法，其特征在于，包括：
步骤1、数据集预处理：构建包含有雾图像和清晰图像的数据集，以用于神经网络的训练和优化，并进行预处理；
步骤2、神经网络模型构建：采用多尺度深度学习的方法来构建神经网络模型，从粗到细逐层进行建模，用于实现对图像的全方位特征提取和处理；
步骤3、特征提取：利用卷积神经网络提取图像特征，将有雾图像输入深度卷积神经网络模型，提取出不同尺度的特征图，其中包含了图像的局部和全局信息；
步骤4、多尺度融合：将不同尺度的特征图融合起来；
步骤5、图像去雾：用融合后的特征图，生成去雾图像。
2.根据权利要求1所述的基于多尺度深度学习的图像去雾方法，其特征在于，步骤1中，所述预处理包括：色彩校正、图像去噪、对齐处理和数据增强。
3.根据权利要求2所述的基于多尺度深度学习的图像去雾方法，其特征在于，步骤2中，所述神经网络模型包括多尺度残差光照图估计模块和精细化去雾模块；所述多尺度残差光照图估计模块用于输出残差光照图，残差光照图与有雾图像相乘得到粗糙的无雾图像；所述精细化去雾模块用于对粗糙的无雾图像进行深度去雾，最终输出干净图像；所述精细化去雾模块的输入包括原始有雾图像的景深信息与粗糙的去雾图像。
4.根据权利要求3所述的基于多尺度深度学习的图像去雾方法，其特征在于，步骤2中，所述精细化去雾模块采用对称网络结构，分为编码分支和解码分支；编码分支中，使用4次降采样和卷积操作逐级提取粗糙去雾图像和深度图的金字塔特征；解码分支中，对已经提取的金字塔特征进行融合，并逐渐恢复被缩放的特征图；精细化去雾模块在相同层次的编解码层之间引入跳跃连接以完成残差学习；在解码分支仍然使用残差注意力模块作为特征提取单元。
5.根据权利要求4所述的基于多尺度深度学习的图像去雾方法，其特征在于，步骤2中，所述多尺度残差光照图估计模块包括4个分支，第一个分支由3个残差注意力模块组成，其余3个分支均由池化层、3个残差注意力模块和上采样层组成；第一个分支与输入图像保持相同的分辨率，其余3个分支分别将原始图像降采样至原来尺寸的1/2、1/4和1/8，得到多尺度特征图，然后将多尺度特征图分别送入相应的残差注意力模块学习多尺度特征；经过多尺度特征学习后，4个分支的特征图被上采样至相同的分辨率，并做通道间的合并操作，最后经过一个卷积层输出残差光照图。
6.根据权利要求5所述的基于多尺度深度学习的图像去雾方法，其特征在于，步骤3中，设置了非局部重构模块，对于有雾图像在卷积特征提取后再进行非局部操作，非局部操作表示为：
其中，输出信号o和输入信号x尺寸是相同的，i代表输出位置索引，j是列出全图中所有可能位置的索引，函数f(xi,xj)用来计算位置i和j之间的相似性，其结果是一个权重标量，并且权重越大，位置i的输出受位置j的值影响越大；函数g用来计算j位置输入信号的一个表示；最后通过C(x)对响应值归一化。
7.根据权利要求6所述的基于多尺度深度学习的图像去雾方法，其特征在于，步骤4中，设置混合注意力模块，并通过通道和空间注意力机制自动调整通道和像素的注意力权重，使网络对每个通道和像素给予不同的重视；混合注意力模块的功能表示为：
woutput＝FS(FC(winput))
其中，woutput为输出，winput为输入，FC为通道注意力机制的输出，FS为空间注意力机制的输出。
8.根据权利要求7所述的基于多尺度深度学习的图像去雾方法，其特征在于，还包括：
步骤6、去雾图像后处理；具体包括：
步骤6.1、对图像进行增强；
步骤6.2、使用中值滤波对图像进行去噪。
9.一种基于多尺度深度学习的图像去雾系统，其特征在于，用于执行权利要求1至8任一所述的基于多尺度深度学习的图像去雾方法，包括：
第一构建模块，用于构建包含有雾图像和清晰图像的数据集，以用于神经网络的训练和优化，并进行预处理；
第二构建模块，用于采用多尺度深度学习的方法来构建神经网络模型，从粗到细逐层进行建模，用于实现对图像的全方位特征提取和处理；
提取模块，用于利用卷积神经网络提取图像特征，将有雾图像输入深度卷积神经网络模型，提取出不同尺度的特征图，其中包含了图像的局部和全局信息；
融合模块，用于将不同尺度的特征图融合起来；
生成模块，用于用融合后的特征图，生成去雾图像。
10.一种计算机存储介质，其特征在于，所述计算机存储介质内存储有计算机程序；所述计算机程序在计算机上运行时，使得计算机执行权利要求1至8任一所述的基于多尺度深度学习的图像去雾方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311079491.9A CN117078553A (zh) | 2023-08-25 | 2023-08-25 | 一种基于多尺度深度学习的图像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311079491.9A CN117078553A (zh) | 2023-08-25 | 2023-08-25 | 一种基于多尺度深度学习的图像去雾方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117078553A true CN117078553A (zh) | 2023-11-17 |
Family
ID=88701975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311079491.9A Pending CN117078553A (zh) | 2023-08-25 | 2023-08-25 | 一种基于多尺度深度学习的图像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117078553A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576536A (zh) * | 2024-01-18 | 2024-02-20 | 佛山科学技术学院 | 一种含雾图像融合模型和方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115760641A (zh) * | 2022-12-06 | 2023-03-07 | 二十一世纪空间技术应用股份有限公司 | 基于多尺度特征注意力网络的遥感影像去云雾方法和设备 |
-
2023
- 2023-08-25 CN CN202311079491.9A patent/CN117078553A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115760641A (zh) * | 2022-12-06 | 2023-03-07 | 二十一世纪空间技术应用股份有限公司 | 基于多尺度特征注意力网络的遥感影像去云雾方法和设备 |
Non-Patent Citations (2)
| Title |
|---|
| 李婉 等: "基于非局部和先验约束的多尺度图像去雾网络研究", 《陕西科技大学学报》, vol. 40, no. 3, 30 June 2022 (2022-06-30), pages 174 - 176 * |
| 李旺 等: "基于Retinex的多尺度单幅图像去雾网络", 《青岛大学学报（自然科学版）》, vol. 35, no. 4, 30 November 2022 (2022-11-30), pages 27 - 29 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576536A (zh) * | 2024-01-18 | 2024-02-20 | 佛山科学技术学院 | 一种含雾图像融合模型和方法 |
| CN117576536B (zh) * | 2024-01-18 | 2024-04-23 | 佛山科学技术学院 | 一种含雾图像融合模型和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
| CN111091503A (zh) | 基于深度学习的图像去失焦模糊方法 | |
| CN113450290B (zh) | 基于图像修补技术的低照度图像增强方法及系统 | |
| CN112184585B (zh) | 一种基于语义边缘融合的图像补全方法及系统 | |
| CN111476213A (zh) | 一种基于道路影像的遮挡物覆盖区域填充方法和装置 | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| CN117078553A (zh) | 一种基于多尺度深度学习的图像去雾方法 | |
| Wang et al. | Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition | |
| Das et al. | A comparative study of single image fog removal methods | |
| Yang et al. | A model-driven deep dehazing approach by learning deep priors | |
| CN113344804B (zh) | 一种弱光图像增强模型的训练方法和弱光图像增强方法 | |
| CN113763268B (zh) | 人脸图像盲修复方法及系统 | |
| CN113628143A (zh) | 一种基于多尺度卷积的加权融合图像去雾方法及装置 | |
| CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
| CN112132757B (zh) | 一种基于神经网络的通用图像复原方法 | |
| CN117058019A (zh) | 一种基于金字塔增强网络的低光照下目标检测方法 | |
| CN115587934A (zh) | 基于损失分类与双分支网络的图像超分辨率重建和去雾方法及系统 | |
| CN115760640A (zh) | 基于含噪Retinex模型的煤矿低光照图像增强方法 | |
| Du et al. | Recursive image dehazing via perceptually optimized generative adversarial network (POGAN) | |
| CN116958317A (zh) | 一种结合边缘信息和外观流操作的图像修复方法及系统 | |
| Chang et al. | RGNET: a two-stage low-light image enhancement network without paired supervision | |
| CN114066747B (zh) | 一种基于光照和反射互补性的低照度图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |