CN111861939A - 一种基于无监督学习的单张图像去雾方法 - Google Patents

一种基于无监督学习的单张图像去雾方法 Download PDF

Info

Publication number
CN111861939A
CN111861939A CN202010750386.3A CN202010750386A CN111861939A CN 111861939 A CN111861939 A CN 111861939A CN 202010750386 A CN202010750386 A CN 202010750386A CN 111861939 A CN111861939 A CN 111861939A
Authority
CN
China
Prior art keywords
image
layer
net network
output
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010750386.3A
Other languages
English (en)
Other versions
CN111861939B (zh
Inventor
彭玺
李伯运
缑元彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202010750386.3A priority Critical patent/CN111861939B/zh
Publication of CN111861939A publication Critical patent/CN111861939A/zh
Application granted granted Critical
Publication of CN111861939B publication Critical patent/CN111861939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于无监督学习的单张图像去雾方法，包括S1、构建图像去雾模型；S2、将有雾图像输入到图像去雾模型中，获得对应折射率图像fT(x)和大气光照图像fA(x)；S3、利用有雾图像及其fT(x)和fA(x)，通过大气散射模型的确定干净图像，实现单张图像去雾。本发明只需要一张有雾的图片即可进行模型训练，并输出对应的干净图片，节省了大量人力，避免了由于生成数据集质量差而导致的去雾图片失真的情况；将图像先验信息与网络相结合，相对于基于先验的单张图片去雾方法效果更佳；除可实现单张图像去雾，同时还可以利用模型输出结果对单张图像进行增雾，以生成大规模的有雾图像数据集，避免了传统的图像增雾方法因图像深度信息估计错误而导致的图像失真现象。

Description

一种基于无监督学习的单张图像去雾方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于无监督学习的单张图像去雾方法。
背景技术
雾是一种由烟尘、蒸汽等颗粒引起的常见自然现象。在摄像机成像过程中，这些漂浮的颗粒折射了场景的反射光，同时引入了空气中的环境光，使得摄像机拍出来的雾天图像相对于晴天图像模糊、偏色且可视距离短。含雾图片的这些特点不仅影响了图片的视觉效果，而且对于高层的计算机视觉算法同样有抑制作用。以有雾图片作为输入时，物体检测、目标识别、分类等算法的效果都会有所下降，这极大的影响了自动驾驶、智能安防等应用的落地。
现有的图像去雾方法主要分为两类，即基于先验的图像去雾算法和数据驱动的图像去雾算法。具体的，基于先验的图像去雾算法主要是通过使用人工设定的图像先验来进行去雾，例如，通过假设干净图像比有雾图像对比度更高，增强有雾图像的局部对比度来实现去雾效果；另外也可通过彩色衰减先验，利用图片饱和度和亮度的差值估计图像深度，进而实现去雾效果。基于图像先验的去雾算法不依赖大规模数据集且可解释性强，所以取得了巨大的成功，但是由于基于先验的去雾算法严重依赖先验信息且先验信息往往存在诸多局限性，去雾结果有时难以令人满意，鲁棒性较差。近年来，随着深度学习技术的发展，数据驱动的图像去雾算法应运而生，构建基于神经网络的去雾网络，通过大量感觉-有雾图像对其进行训练，获得去雾网络，另外一种是多尺度去雾网络，通过同时优化粗尺度和细尺度网络来实现去雾效果，这些方法去雾效果好，鲁棒性腔，但往往需要人工生成大量数据集，这使得数据驱动的图像去雾算法需要消耗大量人工，而且去雾效果也极大的依赖数据集的内容。
发明内容
针对现有技术中的上述不足，本发明提供的基于无监督学习的单张图像去雾方法解决了现有的图像去雾方法依赖先验和大规模数据集的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种基于无监督学习的单张图像去雾方法，包括以下步骤：
S1、构建图像去雾模型；
S2、将原始有雾图像x输入到图像去雾模型中，获得原始有雾图像对应折射率图像fT(x)和大气光照图像fA(x)；
S3、利用原始有雾图像x及其对应的fT(x)和fA(x)，通过大气散射模型的确定原始有雾图像对应的干净图像，实现单张图像去雾。
进一步地，所述步骤S1中的图像去雾模型包括三个并列的J-Net网络、T-Net网络和A-Net网络；
所述J-Net网络输出初步干净图像进而确定图像去雾模型的重构损失，用于辅助图像去雾模型的训练；
所述T-Net网络用于输出原始有雾图像对应的折射率图像；
所述A-Net网络用于输出原始有雾图像对应的大气光照图像。
进一步地，所述图像去雾模型的训练方法为：
A1、为图像去雾模型中的J-Net网络、T-Net网络和A-Net网络添加不同的损失函数；
A2、将一张有雾图像输入到图像去雾模型的三个网络中；
A3、在图像去雾模型对输入图像处理过程中，将每个网络的损失函数值通过梯度反向传播回对应的网络中，优化对应的网络参数，获得对应网络输出，完成图像去雾模型的训练。
进一步地，所述步骤S1中的图像去雾模型的损失函数L为：
L＝LRec+LJ+LH+LKL+λLReg
式中，LRec为重构损失，LJ为J-Net网络的先验损失，LH为加在A-Net网络的线索先验，LKL为相对熵损失，LReg为平滑损失，λ为参数项。
进一步地，所述重构损失LRec为：
LRec＝|I(x)-x|p
式中，x是输入的有雾图像，I(x)为通过J-Net、T-Net和A-Net网络的输出结果重构出的有雾图像，下标p为范数标号，I(x)＝fJ(x)fT(x)+fA(1-fT(x))，fJ(x)为J-Net网络输出的初步干净图像，fT(x)为T-Net网络输出的有雾图像对应的折射率图像，fA(x)为A-Net网络输出的有雾图像对应的大气光照图像；
在所述J-Net网络中，将输入有雾图像的颜色衰减作为J-Net网络的输出引导，得到先验损失LJ为：
LJ＝|V(fJ(x))-S(fJ(x))|p
式中，V和S分别为初步干净图像fJ(x)在HSV空间中的明亮度值和饱和度值；
在所述A-Net网络中，通过无监督的方法获取输入有雾图像的全局光照作为A-Net网络的约束，得到线索先验LH为：
LH＝|fA(x)-A(x)|p
式中，A(x)通过无监督方法获得的输入有雾图像的全局光照；
在所述A-Net网络中，将A-Net网络的隐层空间约束至标准高斯分布，得到相对熵损失LKL为：
Figure BDA0002609819630000041
式中，
Figure BDA0002609819630000044
为隐变量z的第i维均值，
Figure BDA0002609819630000045
为隐变量z的第i维方差；
在所述A-Net网络中，对A-Net网络输出的大气光照图像进行平滑约束，得到平滑损失LReg为：
Figure BDA0002609819630000042
式中，xj为大气光照图像中第j个像素点位置，N(xi)为xi的二阶近邻，m为大气光照图中的像素点总数。
进一步地，所述步骤S3中，原始有雾图像对应的干净图像J为：
Figure BDA0002609819630000043
进一步地，所述J-Net网络和T-Net网络的网络结构相同，均包括依次连接的四个第一特征提取模块和第一输出模块；
每个所述第一特征提取模块均包括依次连接的第一卷积层、第一归一化层和第一非线性激活层；所述第一输出模块包括依次连接的第二卷积层和第二非线性激活层。
进一步地，在所述J-Net网络中：
每个所述第一特征提取模块中的第一卷积层的输入通道为3，输出通道为3，卷积核大小为5×5，步长为1，填充为2，所述第一非线性激活层中的激活函数LeakReLU函数；所述第一输出模块中的第二卷积层的输入通道为3，输出通道为3、卷积核大小为5×5，步长为1，填充为2，所述第二非线性激活层中的激活函数为Sigmoid函数；
在所述T-Net网络中：
第一个所述第一特征提取模块中第一卷积层的输入通道为3，输出通道为1，卷积核大小为5×5，步长为1，填充为2；第二个所述第一特征提取模块、第三个所述第一特征提取模块和第四个所述第一特征提取模块中第一卷积层的输入通道均为1、输出通道均为1、卷积核大小均为5×5，步长均为1，填充均为2，所述第一非线性激活层中的激活函数LeakReLU函数；所述第一输出模块中的第二卷积层的输入通道为1，输出通道为1，卷积核大小为5×5，步长为1，填充为2，所述第二非线性激活层中的激活函数为Sigmoid函数。
进一步地，所述A-Net网络包括依次连接的编码器、两个并列的第一全连接层、第二全连接层和解码器；
所述编码器包括依次连接的四个第二特征提取模块，每个所述第二特征模块包括依次连接的第三卷积层、第三非线性激活层和最大池化层；
所述解码器包括依次连接的三个第三特征提取模块和一个第二输出模块，每个所述第三特征提取模块包括依次连接的上采样层、第四卷积层、第二归一化层和第四非线性激活层，所述第二输出模块包括依次连接的第五卷积层和第五非线性激活层。
进一步地，在所述A-Net网络的编码器中：
第一个所述第二特征提取模块中的第三卷积层的输入通道为3，输出通道为16，卷积核大小为5×5，步长为1，填充为2；第二个所述第二特征提取模块中的第三卷积层的输入通道为16，输出通道为32，卷积核大小为5×5，步长为1，填充为2；第三个所述第二特征提取模块中的第三卷积层的输入通道为32，输出通道为64，卷积核大小为5×5，步长为1，填充为2；第四个所述第二特征提取模块中的第三卷积层的输入通道为64，输出通道为128，卷积核大小为5×5，步长为1，填充为2；每个所述第二特征提取模块中的第三非线性激活层中的激活函数为ReLU函数，最大池化层的步长为2；
在所述A-Net网络的解码器中：
第一个所述第三特征提取模块中的第四卷积层的输入通道为128，输出通道为64，卷积核大小为5×5，步长为1，填充为2；第二个所述第三特征提取模块中的第四卷积层的输入通道为64，输出通道为32，卷积核大小为5×5，步长为1，填充为2；第三个所述第三特征提取模块中的第四卷积层的输入通道为32，输出通道为16，卷积核大小为5×5，步长为1，填充为2，所述第三特征提取模块中的第四非线性激活层中激活函数为ReLU激活函数；所述第二输出模块中的第五卷积层的输入通道为16，输出通道为3，卷积核大小为5×5，步长为1，填充为2，所述第二输出模块中的第五非线性激活层中激活函数为Sigmoid函数。
本发明的有益效果为：
1)本发明首次提出无需在大规模数据集上训练的单张图像去雾模型，不需要大量人工生成的数据集，只需要一张有雾的图片即可进行模型训练，并输出对应的干净图片，节省了大量人力，并且避免了由于生成数据集质量差而导致的去雾图片失真的情况；
2)本发明将图像先验信息与网络相结合，相对于基于先验的单张图片去雾方法效果更佳；
3)本发明除了可以实现单张图像去雾，同时还可以利用模型输出结果对单张图像进行增雾，以生成大规模的有雾图像数据集，避免了传统的图像增雾方法因图像深度信息估计错误而导致的图像失真现象。
附图说明
图1为本发明提供的基于无监督学习的单张图像去雾方法流程图。
图2为本发明提供的图像去雾模型结构图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例1：
如图1所示，一种基于无监督学习的单张图像去雾方法，包括以下步骤：
S1、构建图像去雾模型；
S2、将原始有雾图像x输入到图像去雾模型中，获得原始有雾图像对应折射率图像fT(x)和大气光照图像fA(x)；
S3、利用原始有雾图像x及其对应的fT(x)和fA(x)，通过大气散射模型的确定原始有雾图像对应的干净图像，实现单张图像去雾。
本实施例的步骤S1中的图像去雾模型包括三个并列的J-Net网络、T-Net网络和A-Net网络；
J-Net网络输出初步干净图像进而确定图像去雾模型的重构损失，用于辅助图像去雾模型的训练；
T-Net网络用于输出原始有雾图像对应的折射率图像；
A-Net网络用于输出原始有雾图像对应的大气光照图像。
具体地，在流程上对于一张输入的有雾图像，我们将其分别输入进J-Net网络、T-Net网络和A-Net网络中，分别获得fJ(x)、fT(x)和fA(x)，之后通过大气散射模型利用输入的有雾图像x及其fT(x)和fA(x)，求出最终的干净图像J，而J-Net网络及其输出的fJ(x)只在训练过程中起到幅值训练的作用，不参与计算输出，对于J-Net网络的输出fJ(x)我们认为其物理意义是干净图像，但是并不会将其作为最终的干净图像结果输出，因为直接通过J-Net网络学习到的效果较好的干净图像是非常困难的，但是我们需要一个物理含义为干净的图像的输出来使得图像去雾模型的重构损失成立，因此设置J-Net网络起到辅助模型训练的作用。
基于上述过程，对图像去雾模型进行训练的方法具体为：
A1、为图像去雾模型中的J-Net网络、T-Net网络和A-Net网络添加不同的损失函数；
A2、将一张有雾图像输入到图像去雾模型的三个网络中；
A3、在图像去雾模型对输入图像处理过程中，将每个网络的损失函数值通过梯度反向传播回对应的网络中，优化对应的网络参数，获得对应网络输出，完成图像去雾模型的训练。
在上述模型训练过程中，之所以只使用一张有雾图像就能对模型进行训练主要有两个原因：在过程上，通过一张有雾图像输入到三个不同的网络，然后获得对应的输出，然后利用干净图像的获得公式计算出最终的干净图像，不需要其他图像辅助；在原理上，主要是通过对三个网络添加不同的损失函数，即使网络具有相同的输入，但其的输出也有不同含义。
本实施例中，图像去雾模型的损失函数L为：
L＝LRec+LJ+LH+LKL+λLReg
式中，LRec为重构损失，LJ为J-Net网络的先验损失，LH为加在A-Net网络的线索先验，LKL为相对熵损失，LReg为平滑损失，λ为参数项。
具体为：
(1)对于重构损失，其是通过让最后的重构图像和输入图像尽可能相似，在整体上让各网络的输出结果相互影响，将网络整合成一个整体；重构损失主要用以重构输入图像，以间接获得大气散射模型的三个参数，基于此得到重构损失LRec为：
LRec＝|I(x)-x|p
式中，x是输入的有雾图像，I(x)为通过J-Net、T-Net和A-Net网络的输出结果重构出的有雾图像，下标p为范数标号，I(x)＝fJ(x)fT(x)+fA(1-fT(x))，fJ(x)为J-Net网络输出的初步干净图像，fT(x)为T-Net网络输出的有雾图像对应的折射率图像，fA(x)为A-Net网络输出的有雾图像对应的大气光照图像；
(2)对于先验损失LJ：
先验损失LJ是让J-Net输出的符合干净图像的统计特性，保证J-Net输出的是我们想要的干净图像，而不是其他的东西；在J-Net网络中，将输入有雾图像的颜色衰减作为J-Net网络的输出引导，得到先验损失LJ为：
LJ＝|V(fJ(x))-S(fJ(x))|p
式中，V和S分别为初步干净图像fJ(x)在HSV空间中的明亮度值和饱和度值；
通过最小化先验损失，可以让J-Net网络的输出fJ(x)满足更多的先验信息。
(3)对于线索先验LH：
线索先验LH主要是让A-Net的结果是全局光照，而不是其他的东西；在A-Net网络中，通过无监督的方法获取输入有雾图像的全局光照作为A-Net网络的约束，得到线索先验LH为：
LH＝|fA(x)-A(x)|p
式中，A(x)通过无监督方法获得的输入有雾图像的全局光照；
(4)对于相对熵损失LKL：
相对熵损失LKL是为了让全局光照的隐变量能约束到指定分布；在A-Net网络中，将A-Net网络的隐层空间约束至标准高斯分布，便于A-Net网络的后续采样，得到相对熵损失LKL为：
Figure BDA0002609819630000101
式中，
Figure BDA0002609819630000104
为隐变量z的第i维均值，
Figure BDA0002609819630000105
为隐变量z的第i维方差；
在确定相对熵损失LKL时，除约束到标准高斯分布外，还可还多逆伽马分布，混合高斯分布等，本实施例采用标准高斯分布主要是是因为我们把雾当成一种与图像内容无关的噪声，并假设其符合高斯分布，所以我们才使用文中所示的网络和损失函数来让其隐变量符合高斯分布；在效果上，经过试验证明，约束到标准高斯分布让网络的效果在PSNR的指标上有了2个点左右的提高。
(5)对于平滑损失LReg：
在A-Net网络中，对A-Net网络输出的大气光照图像进行平滑约束，使得A-Net网络生成我们所期望的结果，得到平滑损失LReg为：
Figure BDA0002609819630000102
式中，xj为大气光照图像中第j个像素点位置，N(xi)为xi的二阶近邻，m为大气光照图中的像素点总数。
在上述步骤S3中，利用参数完整的图像去雾模型对有雾图像处理后，得到原始有雾图像对应的干净图像J为：
Figure BDA0002609819630000103
实施例2：
本实施例中提供了图像去雾模型的具体网络结构，如图2所示：
J-Net网络和T-Net网络的网络结构相同，均包括依次连接的四个第一特征提取模块和第一输出模块；每个第一特征提取模块均包括依次连接的第一卷积层、第一归一化层和第一非线性激活层；第一输出模块包括依次连接的第二卷积层和第二非线性激活层。
具体地，在J-Net网络中：
每个第一特征提取模块中的第一卷积层的输入通道为3，输出通道为3，卷积核大小为5×5，步长为1，填充为2，第一非线性激活层中的激活函数LeakReLU函数；第一输出模块中的第二卷积层的输入通道为3，输出通道为3、卷积核大小为5×5，步长为1，填充为2，第二非线性激活层中的激活函数为Sigmoid函数；
在T-Net网络中：
第一个第一特征提取模块中第一卷积层的输入通道为3，输出通道为1，卷积核大小为5×5，步长为1，填充为2；第二个第一特征提取模块、第三个第一特征提取模块和第四个第一特征提取模块中第一卷积层的输入通道均为1、输出通道均为1、卷积核大小均为5×5，步长均为1，填充均为2，第一非线性激活层中的激活函数LeakReLU函数；第一输出模块中的第二卷积层的输入通道为1，输出通道为1，卷积核大小为5×5，步长为1，填充为2，第二非线性激活层中的激活函数为Sigmoid函数。
图像去雾模型中的A-Net网络包括依次连接的编码器、两个并列的第一全连接层、第二全连接层和解码器；
编码器包括依次连接的四个第二特征提取模块，每个第二特征模块包括依次连接的第三卷积层、第三非线性激活层和最大池化层；解码器包括依次连接的三个第三特征提取模块和一个第二输出模块，每个第三特征提取模块包括依次连接的上采样层、第四卷积层、第二归一化层和第四非线性激活层，第二输出模块包括依次连接的第五卷积层和第五非线性激活层；
具体地，在A-Net网络的编码器中：
第一个第二特征提取模块中的第三卷积层的输入通道为3，输出通道为16，卷积核大小为5×5，步长为1，填充为2；第二个第二特征提取模块中的第三卷积层的输入通道为16，输出通道为32，卷积核大小为5×5，步长为1，填充为2；第三个第二特征提取模块中的第三卷积层的输入通道为32，输出通道为64，卷积核大小为5×5，步长为1，填充为2；第四个第二特征提取模块中的第三卷积层的输入通道为64，输出通道为128，卷积核大小为5×5，步长为1，填充为2；每个第二特征提取模块中的第三非线性激活层中的激活函数为ReLU函数，最大池化层的步长为2；
两个并列的第一全连接层的输出为100维；
在A-Net网络的解码器中：
第一个第三特征提取模块中的第四卷积层的输入通道为128，输出通道为64，卷积核大小为5×5，步长为1，填充为2；第二个第三特征提取模块中的第四卷积层的输入通道为64，输出通道为32，卷积核大小为5×5，步长为1，填充为2；第三个第三特征提取模块中的第四卷积层的输入通道为32，输出通道为16，卷积核大小为5×5，步长为1，填充为2，第三特征提取模块中的第四非线性激活层中激活函数为ReLU激活函数；第二输出模块中的第五卷积层的输入通道为16，输出通道为3，卷积核大小为5×5，步长为1，填充为2，第二输出模块中的第五非线性激活层中激活函数为Sigmoid函数。
实施例3：
本实施例中，提供了利用本发明方法与传统图像去雾方法的效果对比：
图3为本实施例中利用本发明方法在合成数据集上进行图像去雾的实验结果(合成数据集中的有雾图片均是从干净图片合成得到的)；其中从左到右分别是输入的有雾图片、DehazeNet,MSCNN,AOD-Net.DCP,GRM,N2V,DIP,DD,DDIP，本发明方法和真实值(对应的干净图片)。其中右下角的框里是放大的细节，可以看出本发明方法比其他的算法去雾效果更加好。
图4是另一个实例，其中(1)是真实的有雾图片，(2)是DehazeNet的去雾结果，(3)是本发明方法得到的结果，(4)是我们的折射率的图片，可以在左下的框里看出来我们的结果去雾去的更加干净。

Claims (10)

1.一种基于无监督学习的单张图像去雾方法，其特征在于，包括以下步骤：
S1、构建图像去雾模型；
S2、将原始有雾图像x输入到图像去雾模型中，获得原始有雾图像对应折射率图像fT(x)和大气光照图像fA(x)；
S3、利用原始有雾图像x及其对应的fT(x)和fA(x)，通过大气散射模型的确定原始有雾图像对应的干净图像，实现单张图像去雾。
2.根据权利要求1所述的基于无监督学习的单张图像去雾方法，其特征在于，所述步骤S1中的图像去雾模型包括三个并列的J-Net网络、T-Net网络和A-Net网络；
所述J-Net网络输出初步干净图像进而确定图像去雾模型的重构损失，用于辅助图像去雾模型的训练；
所述T-Net网络用于输出原始有雾图像对应的折射率图像；
所述A-Net网络用于输出原始有雾图像对应的大气光照图像。
3.根据权利要求2所述的基于无监督学习的单张图像去雾方法，其特征在于，所述图像去雾模型的训练方法为：
A1、为图像去雾模型中的J-Net网络、T-Net网络和A-Net网络添加不同的损失函数；
A2、将一张有雾图像输入到图像去雾模型的三个网络中；
A3、在图像去雾模型对输入图像处理过程中，将每个网络的损失函数值通过梯度反向传播回对应的网络中，优化对应的网络参数，获得对应网络输出，完成图像去雾模型的训练。
4.根据权利要求2所述的基于无监督学习的单张图像去雾方法，其特征在于，所述步骤S1中的图像去雾模型的损失函数L为：
L＝LRec+LJ+LH+LKL+λLReg
式中，LRec为重构损失，LJ为J-Net网络的先验损失，LH为加在A-Net网络的线索先验，LKL为相对熵损失，LReg为平滑损失，λ为参数项。
5.根据权利要求4所述的基于无监督学习的单张图像去雾方法，其特征在于，所述重构损失LRec为：
LRec＝|I(x)-x|p
式中，x是输入的有雾图像，I(x)为通过J-Net、T-Net和A-Net网络的输出结果重构出的有雾图像，下标p为范数标号，I(x)＝fJ(x)fT(x)+fA(1-fT(x))，fJ(x)为J-Net网络输出的初步干净图像，fT(x)为T-Net网络输出的有雾图像对应的折射率图像，fA(x)为A-Net网络输出的有雾图像对应的大气光照图像；
在所述J-Net网络中，将输入有雾图像的颜色衰减作为J-Net网络的输出引导，得到先验损失LJ为：
LJ＝|V(fJ(x))-S(fJ(x))|p
式中，V和S分别为初步干净图像fJ(x)在HSV空间中的明亮度值和饱和度值；
在所述A-Net网络中，通过无监督的方法获取输入有雾图像的全局光照作为A-Net网络的约束，得到线索先验LH为：
LH＝|fA(x)-A(x)|p
式中，A(x)通过无监督方法获得的输入有雾图像的全局光照；
在所述A-Net网络中，将A-Net网络的隐层空间约束至标准高斯分布，得到相对熵损失LKL为：
Figure FDA0002609819620000021
式中，
Figure FDA0002609819620000022
为隐变量z的第i维均值，
Figure FDA0002609819620000023
为隐变量z的第i维方差；
在所述A-Net网络中，对A-Net网络输出的大气光照图像进行平滑约束，得到平滑损失LReg为：
Figure FDA0002609819620000031
式中，xj为大气光照图像中第j个像素点位置，N(xi)为xi的二阶近邻，m为大气光照图中的像素点总数。
6.根据权利要求5所述的基于无监督学习的单张图像去雾方法，其特征在于，所述步骤S3中，原始有雾图像对应的干净图像J为：
Figure FDA0002609819620000032
7.根据权利要求2所述的基于无监督学习的单张图像去雾方法，其特征在于，所述J-Net网络和T-Net网络的网络结构相同，均包括依次连接的四个第一特征提取模块和第一输出模块；
每个所述第一特征提取模块均包括依次连接的第一卷积层、第一归一化层和第一非线性激活层；所述第一输出模块包括依次连接的第二卷积层和第二非线性激活层。
8.根据权利要求7所述的基于无监督学习的单张图像去雾方法，其特征在于，在所述J-Net网络中：
每个所述第一特征提取模块中的第一卷积层的输入通道为3，输出通道为3，卷积核大小为5×5，步长为1，填充为2，所述第一非线性激活层中的激活函数LeakReLU函数；所述第一输出模块中的第二卷积层的输入通道为3，输出通道为3、卷积核大小为5×5，步长为1，填充为2，所述第二非线性激活层中的激活函数为Sigmoid函数；
在所述T-Net网络中：
第一个所述第一特征提取模块中第一卷积层的输入通道为3，输出通道为1，卷积核大小为5×5，步长为1，填充为2；第二个所述第一特征提取模块、第三个所述第一特征提取模块和第四个所述第一特征提取模块中第一卷积层的输入通道均为1、输出通道均为1、卷积核大小均为5×5，步长均为1，填充均为2，所述第一非线性激活层中的激活函数LeakReLU函数；所述第一输出模块中的第二卷积层的输入通道为1，输出通道为1，卷积核大小为5×5，步长为1，填充为2，所述第二非线性激活层中的激活函数为Sigmoid函数。
9.根据权利要求2所述的基于无监督学习的单张图像去雾方法，其特征在于，所述A-Net网络包括依次连接的编码器、两个并列的第一全连接层、第二全连接层和解码器；
所述编码器包括依次连接的四个第二特征提取模块，每个所述第二特征模块包括依次连接的第三卷积层、第三非线性激活层和最大池化层；
所述解码器包括依次连接的三个第三特征提取模块和一个第二输出模块，每个所述第三特征提取模块包括依次连接的上采样层、第四卷积层、第二归一化层和第四非线性激活层，所述第二输出模块包括依次连接的第五卷积层和第五非线性激活层。
10.根据权利要求9所述的基于无监督学习的单张图像去雾方法，其特征在于，在所述A-Net网络的编码器中：
第一个所述第二特征提取模块中的第三卷积层的输入通道为3，输出通道为16，卷积核大小为5×5，步长为1，填充为2；第二个所述第二特征提取模块中的第三卷积层的输入通道为16，输出通道为32，卷积核大小为5×5，步长为1，填充为2；第三个所述第二特征提取模块中的第三卷积层的输入通道为32，输出通道为64，卷积核大小为5×5，步长为1，填充为2；第四个所述第二特征提取模块中的第三卷积层的输入通道为64，输出通道为128，卷积核大小为5×5，步长为1，填充为2；每个所述第二特征提取模块中的第三非线性激活层中的激活函数为ReLU函数，最大池化层的步长为2；
在所述A-Net网络的解码器中：
第一个所述第三特征提取模块中的第四卷积层的输入通道为128，输出通道为64，卷积核大小为5×5，步长为1，填充为2；第二个所述第三特征提取模块中的第四卷积层的输入通道为64，输出通道为32，卷积核大小为5×5，步长为1，填充为2；第三个所述第三特征提取模块中的第四卷积层的输入通道为32，输出通道为16，卷积核大小为5×5，步长为1，填充为2，所述第三特征提取模块中的第四非线性激活层中激活函数为ReLU激活函数；所述第二输出模块中的第五卷积层的输入通道为16，输出通道为3，卷积核大小为5×5，步长为1，填充为2，所述第二输出模块中的第五非线性激活层中激活函数为Sigmoid函数。
CN202010750386.3A 2020-07-30 2020-07-30 一种基于无监督学习的单张图像去雾方法 Active CN111861939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010750386.3A CN111861939B (zh) 2020-07-30 2020-07-30 一种基于无监督学习的单张图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010750386.3A CN111861939B (zh) 2020-07-30 2020-07-30 一种基于无监督学习的单张图像去雾方法

Publications (2)

Publication Number Publication Date
CN111861939A true CN111861939A (zh) 2020-10-30
CN111861939B CN111861939B (zh) 2022-04-29

Family

ID=72945022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010750386.3A Active CN111861939B (zh) 2020-07-30 2020-07-30 一种基于无监督学习的单张图像去雾方法

Country Status (1)

Country Link
CN (1) CN111861939B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365428A (zh) * 2020-12-03 2021-02-12 华中科技大学 一种基于dqn的高速公路监测视频去雾方法和系统
CN113066028A (zh) * 2021-03-31 2021-07-02 山东师范大学 一种基于Transformer深度神经网络的图像去雾方法
CN114841885A (zh) * 2022-05-10 2022-08-02 中国矿业大学(北京) 一种基于偏振图像数据的去雾融合处理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097519A (zh) * 2019-04-28 2019-08-06 暨南大学 基于深度学习的双监督图像去雾方法、系统、介质和设备
CN110211052A (zh) * 2019-03-29 2019-09-06 北京工业大学 一种基于特征学习的单幅图像去雾方法
CN110363727A (zh) * 2019-07-24 2019-10-22 中国人民解放军火箭军工程大学 基于多尺度暗通道先验级联深度神经网络的图像去雾方法
CN110570371A (zh) * 2019-08-28 2019-12-13 天津大学 一种基于多尺度残差学习的图像去雾方法
CN110827218A (zh) * 2019-10-31 2020-02-21 西北工业大学 基于图像hsv透射率加权校正的机载图像去雾方法
CN111161159A (zh) * 2019-12-04 2020-05-15 武汉科技大学 一种基于先验知识与深度学习结合的图像去雾方法和装置
CN111353582A (zh) * 2020-02-19 2020-06-30 四川大学 一种基于粒子群算法的分布式深度学习参数更新方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211052A (zh) * 2019-03-29 2019-09-06 北京工业大学 一种基于特征学习的单幅图像去雾方法
CN110097519A (zh) * 2019-04-28 2019-08-06 暨南大学 基于深度学习的双监督图像去雾方法、系统、介质和设备
CN110363727A (zh) * 2019-07-24 2019-10-22 中国人民解放军火箭军工程大学 基于多尺度暗通道先验级联深度神经网络的图像去雾方法
CN110570371A (zh) * 2019-08-28 2019-12-13 天津大学 一种基于多尺度残差学习的图像去雾方法
CN110827218A (zh) * 2019-10-31 2020-02-21 西北工业大学 基于图像hsv透射率加权校正的机载图像去雾方法
CN111161159A (zh) * 2019-12-04 2020-05-15 武汉科技大学 一种基于先验知识与深度学习结合的图像去雾方法和装置
CN111353582A (zh) * 2020-02-19 2020-06-30 四川大学 一种基于粒子群算法的分布式深度学习参数更新方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ALONA GOLTS .ETC: ""Unsupervised Single Image Dehazing Using Dark Channel Prior Loss"", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
JINBAO WANG .ETC: ""Single Image Dehazing Based on the Physical Model and MSRCR Algorithm"", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
张晨光 等: ""结合自适应高斯滤波的单幅图像去雾方法"", 《云南大学学报（自然科学版）》 *
王云飞 等: ""基于Msmall-Patch训练的夜晚单幅图像去雾算法——MP-CGAN"", 《计算机应用》 *
黄靖 等: ""一种深度学习的单幅图像去雾方法"", 《小型微型计算机系统》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365428A (zh) * 2020-12-03 2021-02-12 华中科技大学 一种基于dqn的高速公路监测视频去雾方法和系统
CN113066028A (zh) * 2021-03-31 2021-07-02 山东师范大学 一种基于Transformer深度神经网络的图像去雾方法
CN114841885A (zh) * 2022-05-10 2022-08-02 中国矿业大学(北京) 一种基于偏振图像数据的去雾融合处理方法
CN114841885B (zh) * 2022-05-10 2023-03-10 中国矿业大学(北京) 一种基于偏振图像数据的去雾融合处理方法

Also Published As

Publication number Publication date
CN111861939B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN112288658B (zh) 一种基于多残差联合学习的水下图像增强方法
CN110599409B (zh) 基于多尺度卷积组与并行的卷积神经网络图像去噪方法
CN111861939B (zh) 一种基于无监督学习的单张图像去雾方法
CN114140353A (zh) 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
CN108564549B (zh) 一种基于多尺度稠密连接网络的图像去雾方法
CN112381897B (zh) 基于自编码网络结构的低照度图像增强方法
CN110288550B (zh) 基于先验知识引导条件生成对抗网络的单张图像去雾方法
CN109523480A (zh) 一种海雾图像的去雾方法、装置、计算机存储介质及终端
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
CN112241939B (zh) 一种基于多尺度和非局部的轻量去雨方法
CN111612717A (zh) 一种基于对抗网络的水面图像去反光修复方法和装置
CN112651917A (zh) 一种基于生成对抗网络的空间卫星低照度图像增强方法
Moghimi et al. Real-time underwater image resolution enhancement using super-resolution with deep convolutional neural networks
CN111539246A (zh) 一种跨光谱人脸识别方法、装置、电子设备及其存储介质
CN111553856A (zh) 基于深度估计辅助的图像去雾方法
Cui et al. A novel underwater image restoration method based on decomposition network and physical imaging model
CN113052776A (zh) 基于多尺度深度图像先验的无监督图像去雾方法
CN116452450A (zh) 一种基于3d卷积的偏振图像去雾方法
CN115861113A (zh) 一种基于融合深度图与特征掩膜的半监督去雾方法
Guan et al. DiffWater: Underwater Image Enhancement Based on Conditional Denoising Diffusion Probabilistic Model
CN111064905A (zh) 面向自动驾驶的视频场景转换方法
CN114549343A (zh) 基于双支残差特征融合去雾方法
Liu et al. Research on lane line segmentation algorithm based on deeplabv3
CN115705493A (zh) 一种基于多特征注意力神经网络的图像去雾建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant