CN113870145A - 基于贝叶斯框架下深度卷积神经网络的图像去雾方法 - Google Patents

基于贝叶斯框架下深度卷积神经网络的图像去雾方法 Download PDF

Info

Publication number
CN113870145A
CN113870145A CN202111190956.9A CN202111190956A CN113870145A CN 113870145 A CN113870145 A CN 113870145A CN 202111190956 A CN202111190956 A CN 202111190956A CN 113870145 A CN113870145 A CN 113870145A
Authority
CN
China
Prior art keywords
image
layer
feature map
foggy
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111190956.9A
Other languages
English (en)
Inventor
严家佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Normal University Of Special Education
Original Assignee
Nanjing Normal University Of Special Education
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Normal University Of Special Education filed Critical Nanjing Normal University Of Special Education
Priority to CN202111190956.9A priority Critical patent/CN113870145A/zh
Publication of CN113870145A publication Critical patent/CN113870145A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于贝叶斯框架下深度卷积神经网络的图像去雾方法，属于图像处理技术领域。所述方法包括：首先，获取合成雾天图像数据集ITS作为训练集，对训练集完成贝叶斯模型建模；其次通过公式变换得到优化网络参数的函数；最后，将合成雾天图像数据集输入到深度卷积神经网络模型（BDCNet）中，在训练的过程中，通过新的损失函数计算损失率，不断迭代更新网络参数，得到最优去雾模型，进行图像去雾操作。本发明提出的模型不再依赖大气散射模型，可以直接通过模型学习图像特征，并结合先验知识更好的恢复图像细节。本发明提出模型的去雾结果在视觉上效果较佳，适用的场景范围更广。

Description

基于贝叶斯框架下深度卷积神经网络的图像去雾方法
技术领域
本发明涉及图像处理领域，特别涉及基于贝叶斯框架下深度卷积神经网络的图像去雾方法。
背景技术
雾霾天气下，大气中漂浮着的细小灰尘和水汽不仅会危害人体健康，雾霾天气下道路能见度降低，机器拍摄的图像也产生对比度下降，细节不清，色彩昏暗等问题。这些低质量的图片、视频对高级机器视觉系统产生了恶劣影响，如交通监控系统、无人驾驶系统、目标检测系统、摇杆系统等等。因此，图像去雾在提升后续高级视觉系统的识别能力起着至关重要的作用。
目前，国内外已有不少对图像去雾算法的研究，图像去雾算法可以分为两大类：第一类，基于先验知识的图像去雾方法；第二类，基于深度学习的图像去雾方法。
基于先验知识的图像去雾方法，需要研究人员需要找到有雾图像和清晰图像之间的共同特征，即先验知识。研究人员通过将先验知识和雾霾形成的物理机制结合，从而对图像进行去雾处理。He等人[1]假设清晰图像通常在至少一个通道中具有低强度值，提出了暗通道先验去雾算法(DCP)。DCP算法结合大气散射模型，是基于先验知识的图像去雾方法中最为经典的方法之一。然而，DCP模型无法满足所有有雾图像去雾，在天空区域和其他不满足暗通道先验的区域，会发生颜色失真，过度曝光等问题。Berman等人[2]发现在RGB空间中清晰图像的颜色形成紧密的集群，想到清晰图像的某一颜色或许可以通过其他百种颜色近似。在此先验知识的基础上使用了非局部先验(NLD)的方法进行去雾处理。显然，NLD模型更加容易产生颜色失真情况。Kratz和Nishino等人[3]使用阶乘MRF模型估计反照率和深度，交替最小化的规范期望以分解单个有雾图像，但是，使用该方法受限于计算机的计算性能，并且拥有较高的时间复杂度。尽管基于先验知识的图像去雾方法在许多场景下简单有效，但是真实的自然场景复杂多变并不是所有的先验知识都对其有效，对于特定场景下基于先验知识的图像去雾方法仍然存在局限性。此外，人工提取图像特征和先验知识需要进行深入研究，存在相当的困难性。
基于深度学习的图像去雾方法不再依赖于手工提取图像特征，而是通过模型训练过程中，学习并获取图像特征。近年来，许多研究人员尝试将深度学习的方法引入图像去雾领域以解决传统方法存在的不足。Cai等人[4]提出了一种具有新的BReLU激活函数的图像去雾模型(DehazeNet)，该模型通过卷积神经网络直接预测有雾图像的透射率图，再输入到大气散射模型中计算输出清晰图像。Li等人[5]提出了深度一体化模型(AOD-Net)，将透射率图和大气光值用同一个变量代替，即将大气散射模型公式变形。随后，通过卷积神经网络对新变量进行了再次估计，形成无雾图像。AOD-Net模型轻便快速，却只能去除薄雾图像的雾霾，在浓雾图像上效果欠佳。Mei等人[6]提出了一种渐进特征融合网络(PFFNet)，学习输入输出图像的非线性函数。该模型对高分辨率图像效果显著，但是，模型使用了反卷积方法，去雾图像会出现网格形状的噪声。基于深度学习的图像去雾方法研究最为广泛，但其除雾性能仍然受到透射图和大气光的估计以及深度神经网络结构的影响。因此，基于深度学习的去雾方法存在一定的局限性，需要进一步改进和提高。
可参考文献包括：
[1]He K,Sun J,Tang X.Single image haze removal using dark channelprior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353.
[2]Berman D,Treibitz T,Avidan S,et al.Non-local Image Dehazing[C].IEEE Conference on Computer Vision and Pattern Recognition,Las Vegas,NV,USA,2016:1674-1682.
[3]Nishino K,Kratz L,Lombardi S.Bayesian defogging[J].InternationalJournal of Computer Vision,2012,98(3):263-278.
[4]Cai B,Xu X,Jia K,et al.DehazeNet:An End-to-End System for SingleImage Haze Removal[J].IEEE Transactions on Image Processing,2016,25(11):5187-5198.
[5]Li B,Peng X,Wang Z,et al.AOD-Net:All-in-One Dehazing Network[C].IEEE International Conference on Computer Vision,Venice,Italy,2017:4780-4788.
[6]Mei K,Jiang A,Li J,et al.Progressive feature fusion network forrealistic image dehazing[C].Asian Conference on Computer Vision,Springer,Cham,2018:203-215.
发明内容
本发明的目的提供一种基于贝叶斯框架下深度卷积神经网络的图像去雾方法，不依赖大气散射模型并结合先验知识，通过模型直接生成清晰图像。
为了实现以上目的，本发明通过以下步骤实现：
步骤S1、获取合成雾天图像数据集ITS作为训练集，对训练集完成贝叶斯模型建模。
步骤S2、通过有雾图像y推断潜在清晰图像z和包含雾霾信息的参数σ2，即求解概率分布p(z,σ2|y)，构造概率分布q(z,σ2|y)来近似后验概率分布p(z,σ2|y)，随后，通过公式变换得到优化网络参数的函数
Figure BDA0003301168460000031
步骤S3、将合成雾天图像数据集输入到深度卷积神经网络模型(BDCNet)中，在训练的过程中，通过新的损失函数计算损失率，不断迭代更新网络参数，得到最优去雾模型，进行图像去雾操作。
进一步地，如权利要求1所述的基于贝叶斯框架下深度卷积神经网络的图像去雾方法，其特征在于：在步骤S1中所述贝叶斯模型建模具体为：假设合成雾天图像的训练集为
Figure BDA0003301168460000032
yj有雾图像，xj清晰图像，自然雾天图像yj生成过程如下：
yi～N(yi|zi,σ2),i＝1,2...,d (1-1)。
这里z∈Rd是来自有雾图像y的潜在清晰图像，N(·|μ,σ2)表示均值为μ和方差为σ2的高斯分布，d是训练图像的长宽乘积，表示图像大小。将雾霾信息建模为等式(1-1)，等式中图像的像素是非独立且均匀分布的高斯分布，以期望更好地拟合真实场景中的复杂雾霾信息。
在训练过程中，合成雾天数据集中的清晰图像x被用来估计潜在清晰图像z，假设在z上施加以下共轭高斯先验：
Figure BDA0003301168460000041
其中，参数ε0表示z和x之间的差异，当ε0无线趋近于0，表示潜在清晰图像z更接近数据集中真实的清晰图像x。假设
Figure BDA0003301168460000042
有以下共轭先验：
Figure BDA0003301168460000043
Figure BDA0003301168460000044
这里IG(·|α,β)是反伽玛分布，其参数为α和β,g(·；p)表示窗口大小为p的高斯滤波器,
Figure BDA0003301168460000045
是y,x∈Rd的矩阵形式，y是有雾图像，x是清晰图像。IG分布的模为ξi，ξi表示p×p窗口的高斯滤波器对方差图为
Figure BDA0003301168460000046
的滤波输出。
进一步地，在步骤S2中，构造概率分布q(z,σ2|y)来近似后验概率分布p(z,σ2|y)，假设潜在清晰图像z和包含雾霾信息的参数σ2之间条件独立，得到等式(2-1)：
q(z,σ2|y)＝q(z|y)q(σ2|y) (2-1)。
对于训练集中有雾图像y及其清晰图像x，可以将其边际似然分解为如下形式：
logp(y；z,σ2)＝L(z,σ2；y)+DKL(q(z,σ2|y)||p(z,σ2|y)) (3-1)
其中，
Figure BDA0003301168460000047
这里Ep(x)[f(x)]表示f(x)对具有概率密度函数p(x)的随机变量x的期望。DKL表示变分近似后验q(z,σ2|y)和具有非负值的真实后验p(z,σ2|y)的两个概率分布信息熵的差值，称为KL散度。由于KL散度具有非负性，公式(3-1)中等号右边第一项L(z,σ2；y)构成logp(y|z,σ2)的下界，通常称为证据下界(ELBO)。因此，有：
logp(y:z,σ2)≥L(z,σ2；y) (3-3)
联立公式(2-1)和公式(3-2)，下界可以重写为：
Figure BDA0003301168460000051
现在，得到优化网络参数的期望目标函数，如下所示：
Figure BDA0003301168460000052
进一步地，在步骤S3中，所述深度卷积神经网络模型，称为BDCNet，包括两大模块RNet和HNet。有雾图像将同时被输入RNet和HNet；RNet采用基于U-Net的结构，共有3层编码层和3层解码层，中间用18个密集块连接。每一编码层由一层卷积和一层激活函数层组成，每一解码层由一层反卷积和一层激活函数层组成，密集块有三个相同模块组成，每一模块包含两层卷积夹着一层激活函数层，并将第一模块和第三模块连接。HNet包含三个部分，第一部分是3×3的卷积层和ReLU激活函数层。第二部分含有4个相同的模块，每一块由卷积层，Batch Normalization层(简称BN层)和激活函数组成。第三部分只有一层3×3的卷积层。
具体地，所述步骤3中新的损失函数LOSS的设计为：采用Retinex方法对有雾图像处理后与清晰图像计算均方误差，作为损失函数的一部分称为LOSSR，同时计算BDCNet模型生成清晰图像与真实清晰图像的均方误差，作为损失函数另一部分，称为LOSSB。
Figure BDA0003301168460000053
Figure BDA0003301168460000054
LOSS＝LOSSR+LOSSB(3-8)。
其中，R(x,y)为经过Retinex方法后的强化图像，C(x,y)为清晰图像，D(x,y)为BDCNet模型去雾后图像，n为图像个数。
本发明的优点：本发明提出的模型不再依赖大气散射模型，可以直接通过模型学习图像特征，并结合先验知识更好的恢复图像细节。本发明提出模型的去雾结果在视觉上效果较佳，适用的场景范围更广。
附图说明
下面结合附图对本发明的作进一步说明。
图1是本发明的实施步骤流程图；
图2深度卷积神经网络(BDCNet)模型结构图；
图3自然雾霾图像的去雾效果展示图，其中：(a)原始南瓜地图像、(b)本发明方法去雾后南瓜地图像、(c)原始雾霾火车图像、(d)本发明方法去雾后火车图像、(e)原始雾霾航拍图像、(f)本发明方法去雾后航拍图像；
图4为图1中雾霾图像的放大图；
图5为图1中去雾后图像的放大图。
具体实施方式
结合图1～图3所示，本发明实施例包括：
步骤S1、获取合成雾天图像数据集ITS作为训练集，对训练集完成贝叶斯模型建模。
具体地，在本实施例中，所述ITS数据集为室内雾天图像数据集，包含1399张清晰图像，13990张有雾图像，ITS数据集中的1张清晰图像对应10张不同浓度的有雾图像。
假设合成雾天图像的训练集为
Figure BDA0003301168460000061
yj有雾图像，xj清晰图像，自然雾天图像yj生成过程如下：
yi～N(yi|zi,σ2),i＝1,2...,d (1-1)。
这里z∈Rd是来自有雾图像y的潜在清晰图像，N(·|μ,σ2)表示均值为μ和方差为σ2的高斯分布，d是训练图像的长宽乘积，表示图像大小。将雾霾信息建模为等式(1-1)，等式中图像的像素是非独立且均匀分布的高斯分布，以期望更好地拟合真实场景中的复杂雾霾信息。
在训练过程中，合成雾天数据集中的清晰图像x被用来估计潜在清晰图像z，假设在z上施加以下共轭高斯先验：
Figure BDA0003301168460000071
其中，参数ε0表示z和x之间的差异，当ε0无线趋近于0，表示潜在清晰图像z更接近数据集中真实的清晰图像x。假设
Figure BDA0003301168460000072
有以下共轭先验：
Figure BDA0003301168460000073
Figure BDA0003301168460000074
这里IG(·|α,β)是反伽玛分布，其参数为α和β,g(·；p)表示窗口大小为p的高斯滤波器,
Figure BDA0003301168460000075
是y,x∈Rd的矩阵形式，y是有雾图像，x是清晰图像。IG分布的模为ξi，ξi表示p×p窗口的高斯滤波器对方差图为
Figure BDA0003301168460000076
的滤波输出。至此，完成贝叶斯模型建模。
步骤S2、通过有雾图像y推断潜在清晰图像z和包含雾霾信息的参数σ2，即求解概率分布p(z,σ2|y)，由于概率分布p(z,σ2|y)缺少参数无法求解，于是构造概率分布q(z,σ2|y)来近似后验概率分布p(z,σ2|y)。随后，通过公式变换得到优化网络参数的函数
Figure BDA0003301168460000077
假设潜在清晰图像z和包含雾霾信息的参数σ2之间条件独立，得到等式(2-1)：
q(z,σ2|y)＝q(z|y)q(σ2|y) (2-1)
对于训练集中有雾图像y及其清晰图像x，可以将其边际似然分解为如下形式：
logp(y；z,σ2)＝L(z,σ2；y)+DKL(q(z,σ2|y)||p(z,σ2|y)) (3-1)
其中，
Figure BDA0003301168460000078
这里Ep(x)[f(x)]表示f(x)对具有概率密度函数p(x)的随机变量x的期望。DKL表示变分近似后验q(z,σ2|y)和具有非负值的真实后验p(z,σ2|y)的两个概率分布信息熵的差值，称为KL散度。由于KL散度具有非负性，公式(3-1)中等号右边第一项L(z,σ2；y)构成logp(y|z,σ2)的下界，通常称为证据下界(ELBO)。因此，有：
logp(y:z,σ2)≥L(z,σ2；y) (3-3)
联立公式(2-1)和公式(3-2)，下界可以重写为：
Figure BDA0003301168460000081
现在，得到优化网络参数的期望目标函数，如下所示：
Figure BDA0003301168460000082
步骤S3：将合成雾天图像数据集输入到深度卷积神经网络模型(BDCNet)中，在训练的过程中，通过新的损失函数计算损失率，不断迭代更新网络参数，得到最优去雾模型，进行图像去雾操作。
本发明将ITS数据集中的清晰图像作为理想目标图像，有雾图像作为输入，输入到BDCNet模型(去雾模型)中。该BDCNet模型包括两大模块RNet和HNet，如图2所示。RNet采用基于U-Net的结构，共有3层编码层(从左到右为第一编码层、第二编码层和第三编码层)和3层解码层(图2中从左到右为第一解码层、第二解码层和第三解码层)，中间用18个密集块连接(图2中从左到右为第一残差块～第十八残差块)。每一编码层由一层卷积和一层激活函数层组成，每一解码层由一层反卷积和一层激活函数层组成，密集块有三个相同模块组成，每一模块包含两层卷积夹着一层激活函数层，并将第一模块和第三模块连接。RNet中无论是卷积还是反卷积操作，卷积核大小均为3*3，激活函数均为ReLU激活函数。HNet包含三个部分(如图2从左到右分别为第一部分，第二部分和第三部分)，第一部分是3×3的卷积层和ReLU激活函数层。第二部分含有4个相同的模块，每一块由卷积层，Batch Normalization层(简称BN层，)和激活函数组成。第三部分只有一层3×3的卷积层。BN层用来提高训练速度，避免梯度爆炸。
首先，有雾图像将同时被输入RNet和HNet。
在RNet中，有雾图像经过3*3卷积后用ReLU激活得到第一特征图。将所述第一特征图输入第二层编码层，同样经过卷积和激活函数操作得到第二特征图。再次将第二特征图输入第三层编码层中，得到第三特征图(编码层最终的特征图)。将第三特征图输入到18个密集块并继续向右前进。
每一所述密集块有三个相同模块组成，每一模块包含两层卷积夹着一层激活函数层，并将第一模块和第三模块连接，具体见参考图2中的密集块结构。第三特征图输入第一密集块后，经过3*3的卷积和ReLU激活后输出第四特征图。第四特征图输入第二密集块得到第五特征图，将第四特征图和第五特征图采用concat方式合并(这里concat是一个函数，这个函数就是合并操作，可以将两幅图像融合成为一张图。)后输入到第三密集块得到新的特征图。依此类推，经过18个密集块后便可得到含有图像细节的特征图。
在解码层中，上述经过密集块的特征图(含有图像细节的特征图)被输入到第一解码层中，经过3*3卷积后ReLU激活得到第六特征图，该第六特征图与第一层编码层的输出的第一特征图合并连接后输入第二层解码层中。在第二层解码层中，同样经过卷积和激活操作输出的第七特征图与第二层编码层输出的第二特征图合并(Concat合并)得到第八特征图。最终将第八特征图输入第三层解码层，经过卷积和激活函数操作后输出初步去雾图像。将该输出图像转为张量形式，并计算图像的方差和均值，用于后续概率分布q(z|y)的计算，概率分布q(z|y)为高斯分布。
在HNet中，有雾图像先经过Retinex算法增强图像信息，随后，增强图像输入HNet的第一部分中，经过3*3卷积和ReLU激活得到第一特征图。第一特征图输入到第二部分中，经过3*3卷积后进行一次批量标准化，再经过ReLU激活函数。依此类推，重复上述操作直到通过第二部分得到第二特征图。第二特征图输入到第三部分，仅经过3*3卷积输出得到第三特征图。同样地，将第三特征图转为张量形式，并计算图像的方差和均值，用于后续概率分布q(σ2|y)的计算，概率分布q(σ2|y)为反伽玛分布。
两个模型的输出分别用来计算DKL(q(z|y)||p(z))、DKL(q(σ2|y)||p(σ2))和
Figure BDA0003301168460000091
训练的过程中，不断反向传播更新网络参数，再根据似然项的梯度信息同时更新RNet和HNet的参数。计算损失率，当损失率变化小于1×10-6停止训练，得到最优去雾模型。
具体地，新的损失函数LOSS的设计为：采用Retinex方法对有雾图像处理后与清晰图像计算均方误差，作为损失函数的一部分称为LOSSR，同时计算BDCNet模型生成清晰图像与真实清晰图像的均方误差，作为损失函数另一部分，称为LOSSB。
Figure BDA0003301168460000101
Figure BDA0003301168460000102
LOSS＝LOSSR+LOSSB(3-8)。
其中，R(x,y)为经过Retinex方法后的强化图像，C(x,y)为清晰图像，D(x,y)为BDCNet模型去雾后图像，n为图像个数。
本发明提出的模型不再依赖大气散射模型，可以直接通过模型学习图像特征，并结合先验知识更好的恢复图像细节。本发明提出模型的去雾结果在视觉上效果较佳，适用的场景范围更广。
具体如图3所示，分别选取了南瓜地，火车，以及航拍图，通过前后效果比对，不难看出本算法的优越性。
如表1所示，本发明通过图像质量评价指标PSNR(峰值信噪比)和SSIM(结构相似度)将本发明方法同其他模型进行比较，不难发现，在PSNR上本发明结果更具优势，PSNR越高说明恢复的去雾后图像受噪声影响越小。
表1本发明的方法同其他模型在SOTS数据集上PSNR和SSIM上的比较
DCP DehazeNet AOD-Net PFF-Net EPDN Ours
PSNR 16.62 21.14 19.06 23.65 25.01 26.64
SSIM 0.8179 0.8472 0.8504 0.8569 0.9143 0.9052
本发明的不局限于上述实施例所述的具体技术方案，凡采用等同替换形成的技术方案均为本发明要求的保护范围。

Claims (6)

1.基于贝叶斯框架下深度卷积神经网络的图像去雾方法，包括：
步骤S1、获取合成雾天图像数据集ITS作为训练集，对训练集完成贝叶斯模型建模；
步骤S2、通过有雾图像y推断潜在清晰图像z和包含雾霾信息的参数σ2，即求解概率分布p(z,σ2|y)，构造概率分布q(z,σ2|y)来近似后验概率分布p(z,σ2|y)，随后，通过公式变换得到优化网络参数的函数
Figure FDA0003301168450000011
步骤S3、将合成雾天图像数据集输入到深度卷积神经网络模型BDCNet中，在训练的过程中，通过新的损失函数计算损失率，不断迭代更新网络参数，得到最优去雾模型，进行图像去雾操作。
2.如权利要求1所述的基于贝叶斯框架下深度卷积神经网络的图像去雾方法，其特征在于：在步骤S1中所述贝叶斯模型建模具体为：假设合成雾天图像的训练集为
Figure FDA0003301168450000012
yj有雾图像，xj清晰图像，自然雾天图像yj生成过程如下：
yi～N(yi|zi,σ2),i＝1,2...,d (1-1)
这里z∈Rd是来自有雾图像y的潜在清晰图像，N(·|μ,σ2)表示均值为μ和方差为σ2的高斯分布，d是训练图像的长宽乘积，表示图像大小；将雾霾信息建模为等式(1-1)，等式中图像的像素是非独立且均匀分布的高斯分布，以期望更好地拟合真实场景中的复杂雾霾信息；
在训练过程中，合成雾天数据集中的清晰图像x被用来估计潜在清晰图像z，假设在z上施加以下共轭高斯先验：
Figure FDA0003301168450000013
其中，参数ε0表示z和x之间的差异，当ε0无线趋近于0，表示潜在清晰图像z更接近数据集中真实的清晰图像x；假设
Figure FDA0003301168450000014
有以下共轭先验：
Figure FDA0003301168450000015
Figure FDA0003301168450000021
这里IG(·|α,β)是反伽玛分布，其参数为α和β,g(·；p)表示窗口大小为p的高斯滤波器,
Figure FDA0003301168450000022
是y,x∈Rd的矩阵形式，y是有雾图像，x是清晰图像；IG分布的模为ξi，ξi表示p×p窗口的高斯滤波器对方差图为
Figure FDA0003301168450000023
的滤波输出。
3.根据权利要求1所述的基于贝叶斯框架下深度卷积神经网络的图像去雾方法，其特征在于：在步骤S2中，构造概率分布q(z,σ2|y)来近似后验概率分布p(z,σ2|y)，假设潜在清晰图像z和包含雾霾信息的参数σ2之间条件独立，得到等式(2-1)：
q(z,σ2|y)＝q(z|y)q(σ2|y) (2-1)
对于训练集中有雾图像y及其清晰图像x，可以将其边际似然分解为如下形式：
logp(y；z,σ2)＝L(z,σ2；y)+DKL(q(z,σ2|y)||p(z,σ2|y)) (3-1)
其中，
Figure FDA0003301168450000024
这里Ep(x)[f(x)]表示f(x)对具有概率密度函数p(x)的随机变量x的期望；DKL表示变分近似后验q(z,σ2|y)和具有非负值的真实后验p(z,σ2|y)的两个概率分布信息熵的差值，称为KL散度；由于KL散度具有非负性，公式(3-1)中等号右边第一项L(z,σ2；y)构成logp(y|z,σ2)的下界，通常称为证据下界ELBO；因此，有：
logp(y:z,σ2)≥L(z,σ2；y) (3-3)
联立公式(2-1)和公式(3-2)，下界可以重写为：
Figure FDA0003301168450000025
现在，得到优化网络参数的期望目标函数，如下所示：
Figure FDA0003301168450000026
4.根据权利要求1所述的基于贝叶斯框架的深度卷积神经网络的图像去雾方法，其特征在于：在步骤S3中，所述深度卷积神经网络模型，称为BDCNet，包括两大模块RNet和HNet；有雾图像将同时被输入RNet和HNet；RNet采用基于U-Net的结构，共有3层编码层和3层解码层，中间用18个密集块连接；每一编码层由一层卷积和一层激活函数层组成，每一解码层由一层反卷积和一层激活函数层组成，密集块有三个相同模块组成，每一模块包含两层卷积夹着一层激活函数层，并将第一模块和第三模块连接；HNet包含三个部分，第一部分是3×3的卷积层和ReLU激活函数层；第二部分含有4个相同的模块，每一块由卷积层，BatchNormalization层，简称BN层和激活函数组成；第三部分只有一层3×3的卷积层；
具体地，所述步骤3中新的损失函数LOSS的设计为：采用Retinex方法对有雾图像处理后与清晰图像计算均方误差，作为损失函数的一部分称为LOSSR，同时计算BDCNet模型生成清晰图像与真实清晰图像的均方误差，作为损失函数另一部分，称为LOSSB；
Figure FDA0003301168450000031
Figure FDA0003301168450000032
LOSS＝LOSSR+LOSSB (3-8)
其中，R(x,y)为经过Retinex方法后的强化图像，C(x,y)为清晰图像，D(x,y)为BDCNet模型去雾后图像，n为图像个数。
5.根据权利要求4所述的基于贝叶斯框架的深度卷积神经网络的图像去雾方法，其特征在于：在RNet中，有雾图像经过3*3卷积后用ReLU激活得到第一特征图；将所述第一特征图输入第二层编码层，同样经过卷积和激活函数操作得到第二特征图；再次将第二特征图输入第三层编码层中，得到第三特征图即编码层最终的特征图；将第三特征图输入到18个密集块并继续向右前进；
每一所述密集块有三个相同模块组成，每一模块包含两层卷积夹着一层激活函数层，并将第一模块和第三模块连接；第三特征图输入第一密集块后，经过3*3的卷积和ReLU激活后输出第四特征图；第四特征图输入第二密集块得到第五特征图，将第四特征图和第五特征图采用concat方式合并；后输入到第三密集块得到新的特征图；依此类推，经过18个密集块后便可得到含有图像细节的特征图；
在解码层中，上述经过密集块的特征图被输入到第一解码层中，经过3*3卷积后ReLU激活得到第六特征图，该第六特征图与第一层编码层的输出的第一特征图合并连接后输入第二层解码层中；在第二层解码层中，同样经过卷积和激活操作输出的第七特征图与第二层编码层输出的第二特征图合并得到第八特征图；最终将第八特征图输入第三层解码层，经过卷积和激活函数操作后输出初步去雾图像；将该输出图像转为张量形式，并计算图像的方差和均值，用于后续概率分布q(z|y)的计算，概率分布q(z|y)为高斯分布。
6.根据权利要求4所述的基于贝叶斯框架的深度卷积神经网络的图像去雾方法，其特征在于：在HNet中，有雾图像先经过Retinex算法增强图像信息，随后，增强图像输入HNet的第一部分中，经过3*3卷积和ReLU激活得到第一特征图；第一特征图输入到第二部分中，经过3*3卷积后进行一次批量标准化，再经过ReLU激活函数；依此类推，重复上述操作直到通过第二部分得到第二特征图；第二特征图输入到第三部分，仅经过3*3卷积输出得到第三特征图；同样地，将第三特征图转为张量形式，并计算图像的方差和均值，用于后续概率分布q(σ2|y)的计算，概率分布q(σ2|y)为反伽玛分布；
两个模型的输出分别用来计算DKL(q(z|y)||p(z))、DKL(q(σ2|y)||p(σ2))和
Figure FDA0003301168450000041
训练的过程中，不断反向传播更新网络参数，再根据似然项的梯度信息同时更新RNet和HNet的参数；计算损失率，当损失率变化小于1×10-6停止训练，得到最优去雾模型。
CN202111190956.9A 2021-10-13 2021-10-13 基于贝叶斯框架下深度卷积神经网络的图像去雾方法 Pending CN113870145A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111190956.9A CN113870145A (zh) 2021-10-13 2021-10-13 基于贝叶斯框架下深度卷积神经网络的图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111190956.9A CN113870145A (zh) 2021-10-13 2021-10-13 基于贝叶斯框架下深度卷积神经网络的图像去雾方法

Publications (1)

Publication Number Publication Date
CN113870145A true CN113870145A (zh) 2021-12-31

Family

ID=78998837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111190956.9A Pending CN113870145A (zh) 2021-10-13 2021-10-13 基于贝叶斯框架下深度卷积神经网络的图像去雾方法

Country Status (1)

Country Link
CN (1) CN113870145A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011944A (zh) * 2023-09-08 2023-11-07 南京特殊教育师范学院 基于深度学习的步态识别矫治方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011944A (zh) * 2023-09-08 2023-11-07 南京特殊教育师范学院 基于深度学习的步态识别矫治方法及系统
CN117011944B (zh) * 2023-09-08 2024-03-22 南京特殊教育师范学院 基于深度学习的步态识别矫治方法及系统

Similar Documents

Publication Publication Date Title
CN109859147B (zh) 一种基于生成对抗网络噪声建模的真实图像去噪方法
Yang et al. Y-net: Multi-scale feature aggregation network with wavelet structure similarity loss function for single image dehazing
CN106910175B (zh) 一种基于深度学习的单幅图像去雾算法
CN109035142B (zh) 一种对抗网络结合航拍图像先验的卫星图像超分辨方法
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
Yin et al. Highly accurate image reconstruction for multimodal noise suppression using semisupervised learning on big data
CN108564549B (zh) 一种基于多尺度稠密连接网络的图像去雾方法
CN110443761B (zh) 一种基于多尺度聚合特征的单幅图像去雨方法
CN111161360B (zh) 基于Retinex理论的端到端网络的图像去雾方法
CN110288550B (zh) 基于先验知识引导条件生成对抗网络的单张图像去雾方法
CN109584188B (zh) 一种基于卷积神经网络的图像去雾方法
CN110349093B (zh) 基于多级沙漏结构的单幅图像去雾模型构建及去雾方法
CN105913392A (zh) 复杂环境下退化图像综合质量提升方法
CN112991450B (zh) 一种基于小波的细节增强无监督深度估计方法
CN112767279A (zh) 一种基于离散小波集成生成对抗网络的水下图像增强方法
Guo et al. Joint raindrop and haze removal from a single image
CN113160286A (zh) 一种基于卷积神经网络的近红外和可见光图像融合方法
CN114820388A (zh) 一种基于编解码器结构的图像去雾方法
CN112164010A (zh) 一种多尺度融合卷积神经网络图像去雾方法
CN113870145A (zh) 基于贝叶斯框架下深度卷积神经网络的图像去雾方法
CN113962878B (zh) 一种低能见度图像去雾模型方法
CN114627005B (zh) 一种雨密度分类引导的双阶段单幅图像去雨方法
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及系统
CN107301625B (zh) 基于亮度融合网络的图像去雾方法
CN114549343A (zh) 基于双支残差特征融合去雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination