CN112634171A - 基于贝叶斯卷积神经网络的图像去雾方法及存储介质 - Google Patents
基于贝叶斯卷积神经网络的图像去雾方法及存储介质 Download PDFInfo
- Publication number
- CN112634171A CN112634171A CN202011614558.0A CN202011614558A CN112634171A CN 112634171 A CN112634171 A CN 112634171A CN 202011614558 A CN202011614558 A CN 202011614558A CN 112634171 A CN112634171 A CN 112634171A
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- convolutional neural
- defogged
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012360 testing method Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 39
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 238000009795 derivation Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000001066 destructive effect Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于贝叶斯卷积神经网络的图像去雾方法及存储介质，所述方法包括：获取RESIDE数据集，采用所述RESIDE数据集中的ITS数据集作为训练集，SOTS数据集作为测试集。将所述训练集输入至贝叶斯卷积神经网络内，对所述贝叶斯卷积神经网络进行训练得到最优模型。将所述测试集输入至所述最优模型，采用所述最优模型对所述测试集进行端对端的去雾处理，并输出去雾图像。本发明能够有效地规避过拟合问题，增强去雾模型的鲁棒性。
Description
技术领域
本发明涉及图像处理领域，特别涉及一种基于贝叶斯卷积神经网络的图像去雾方法及存储介质。
背景技术
雾霾常见于城市，是一种灾害性自然天气现象，雾霾的形成主要是空气中悬浮的大量微粒和气象条件共同作用的结果。雾霾的产生导致捕获的室外图像不清晰对比度差，图像质量的下降让人类很难识别图像的内容，同时也对许多摄影领域和计算机视觉任务造成了影响，如视频监控、目标识别、图像分类、目标跟踪等。因此，如何改善低质量图像，减小雾霾导致的不利影响就显得尤为重要。
目前，图像去雾的主流方法分为两种。一种是基于先验知识的去雾方法，该方法具体的是一种局部对比度最大化的算法，能够实现提高图像的视觉效果达到去雾的目的，但易出现颜色失真的缺陷。经过观察，发现在晴朗的室外图像中，除了天空区域，其他像素点都会有一个颜色通道具有很低的值，由此提出一种暗通道先验去雾算法，但在天空区域和其他不满足暗通道先验的区域出现颜色失真现象。另一种是基于深度学习的去雾方法，具体的是一个新的网络结构DehazeNet(含有可解释卷积核的多尺度卷积神经网络)，采用卷积神经网络基于网络(CNN)的深层架构，并通过新型的BReLU激活函数进行归一化传输，根据雾天图像的训练预测出透射率。
近年来，各种图像去雾的方法层出不穷，基于深度学习的图像去雾方法最为流行。深度学习模型的不用人为定义特征的提取方法，网络本身可以学到如何提取所需特征，比传统的图像处理方法在去雾效果上具有更高的恢复准确度和普适度。但是，一方面深度学习模型设计愈加复杂，数据量也存在不足的情况，这些都易导致过拟合问题的产生。另一方面，现有的卷积神经网络去雾方法都是采用具体的数值作为权重，从概率论的角度来说，使用点估计作为权重是不合理的。
发明内容
本发明的目的是提供一种基于贝叶斯卷积神经网络的图像去雾方法及存储介质以规避过拟合问题。
为了实现以上目的，本发明通过以下技术方案实现：
一种基于贝叶斯卷积神经网络的图像去雾方法，包括：
步骤S1、获取RESIDE数据集，采用所述RESIDE数据集中的ITS数据集作为训练集，SOTS数据集作为测试集。
步骤S2、将所述训练集输入至贝叶斯卷积神经网络内，对所述贝叶斯卷积神经网络进行训练得到最优模型。
步骤S3、将所述测试集输入至所述最优模型，采用所述最优模型对所述测试集进行端对端的去雾处理，并输出去雾图像。
优选地，所述ITS数据集为室内雾霾图像数据集，包含n张清晰图像和10*n张雾霾图像；所述SOTS数据集包括室内雾霾图像数据集和室外雾霾图像数据集，所述室内雾霾图像数据集包含m张清晰图像和10*m张雾霾图像；所述室外雾霾图像数据集包含m1张清晰图像和与之对应的m1张雾霾图像。
优选地，所述贝叶斯卷积神经网络包括3个编码层、18个残差块和3个解码层；每一所述编码层和每一所述解码层结构相同，每一所述编码层包含一层卷积和一层激活函数层，每一所述残差块包含两层卷积和一个激活函数层，其中所述激活函数层中激活函数采用PReLU。
优选地，所述步骤S2包括：对所述贝叶斯卷积神经网络建模：假设所述贝叶斯卷积神经网络的网络参数为W，p(W)是参数的先验分布，给定数据集D＝{(X,Y)}，这里X是输入数据，Y是标签数据；所述贝叶斯卷积神经网络给出以下分布：
P(Y*|X*,D)＝∫P(Y*|X*,W)P(W|D)dW
根据贝叶斯理论，后验概率P(W|D)表示如下：
式中，P(W|D)是后验分布，P(D|W)是似然函数，P(D)是边缘似然；
用概率分布q(ω|θ)来近似表示后验概率p(W|D)；
其中θ＝(μ,σ)，θ表示均值μ，标准差为σ的集合，ω表示权重；第i组数据的权重ωi从正态分布(μi,σi)中采样，i表示第i组数据，μi表示第i组数据的均值，σi表示第i组数据的标准差；
通过KL散度优化所述后验分布P(W|D)和概率分布q(ω|θ)的距离θ*：
式中，由于P(D)是常数不取决于θ在推导中忽略不计，q(ω|θ)表示给定正态分布的参数后权重参数的分布，P(D|ω)表示给定网络参数后观测数据的似然，P(ω)表示权重的先验，这部分作为贝叶斯卷积神经网络模型的正则化；Eq(ω|θ)表示具有概率密度函数q(ω|θ)的期望；
采用公式L来表示变分下界ELBO如下：
式中，L表示变分下界；D＝{(x,y)}，q(ωi|θi)表示给定正态分布的参数后权重参数的分布，P(ωi)表示第i组数据的权重ωi的先验分布，i表示第i组数据，P(yj|ω,xj)表示概率密度函数，其中xj，yj表示集合D中第j组输入数据。
ωi＝μi+σi×εi
式中，εi～N(0,1)，εi表示第i组数据的超参数，于是，用ε代替ω后，对期望Eq(ω|θ)求导：
选取多个不同的ε～N(0,1)，求取
的平均值，来近似KL散度对θ的求导。
对σ进行重采样，可以令σ＝log(1+eρ)，式中，eρ表示e为底数，ρ为实数变量的指数函数；
令上述θ＝(μ,σ)；
所述贝叶斯卷积神经网络的建模将所述贝叶斯卷积神经网络模型所有参数的权重集合W采用概率分布的形式进行表示；
所述贝叶斯卷积神经网络模型的损失函数loss如下：
其中，MSE为均方误差，KL表示归一化后的KL散度，M为训练集样本个数，i为迭代次数。
优选地，还包括测试模型性能的步骤，其包括：选取自然雾霾图像进行检验测试，所述自然雾霾图像与所述去雾图像进行对比，得到去雾效果。
优选地，还包括：选定第一去雾图像a和第二去雾图像b，所述第一去雾图像与所述第二去雾图像的结构相似性SSIM采用如下公式计算：
其中μa是所述第一去雾图像a的平均值，μb是所述第二去雾图像b的平均值，
是所述第一去雾图像a的方差，
是所述第二去雾图像b的方差，σab是所述第一去雾图像a和所述第二去雾图像b的协方差。c1＝(k1L)2和c2＝(k2L)2分别是用来维持稳定的常数；L是像素值的动态范围，k1＝0.01，k2＝0.03；所述结构相似性SSIM的范围为-1到1；当所述第一去雾图像a和第二去雾图像b一模一样时，所述结构相似性SSIM的值等于1；
所述第一去雾图像与所述第二去雾图像的峰值信噪比PSNR采用以下公式进行计算：
其中，H和W分别为第一去雾图像或所述第二去雾图像的高和宽，i和j为第一去雾图像或所述第二去雾图像中任意两个像素点；所述峰值信噪比PSNR取值区间为[0,100]，值越大表明失真程度越低。
另一方面，本发明还提供一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上文所述的方法。
再一方面，本发明还提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现如上文所述的方法。
本发明与现有技术相比至少具有以下优点之一：
降低含雾图像对后续视觉信息处理的影响是一个具有挑战性的难题。随着人工智能、深度学习的快速发展，基于卷积神经网络方法的去雾方法纷纷被提出。然而，这些基于卷积神经网络去雾方法都采用固定的数值作为权重，从概率论的角度来说，使用点估计作为权重也是不合理的。本发明所公开的一种端到端的贝叶斯卷积神经网络的去雾方法，模型采用类似U-Net的网络结构，同时用概率分布来估计卷积层中的权值和偏置，最后模型的损失函数包括MSE加上归一化后的KL散度。实验证明，在RESIDE数据集上，本发明提出的模型可有效地规避过拟合问题，增强模型的鲁棒性。此外，模型的去雾结果在视觉上效果较佳，且适用的场景范围更广。
附图说明
图1为本发明一实施例提供的一种基于贝叶斯卷积神经网络的图像去雾方法的流程示意图；
图2为本发明一实施例提供的一种基于贝叶斯卷积神经网络的图像去雾方法中的贝叶斯卷积神经网络结构模型的结构示意图；
图3为本发明一实施例提供的一种基于贝叶斯卷积神经网络的图像去雾方法中的卷积神经网络卷积核与贝叶斯卷积神经网络中卷积核建模差异示意图。
具体实施方式
以下结合附图和具体实施方式对本发明提出的一种基于贝叶斯卷积神经网络的图像去雾方法及存储介质作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
结合图1～图3所示，本实施例提供一种基于贝叶斯卷积神经网络的图像去雾方法，包括：
步骤S1、获取RESIDE数据集(合成雾霾图像数据集)，采用所述RESIDE数据集中的ITS数据集作为训练集，SOTS数据集作为测试集。
具体的，在本实施例中，所述ITS数据集为室内雾霾图像数据集，包含n张清晰图像和10*n张雾霾图像；在本实施例中，n＝1399，则所述清晰图像为1399张；由于室内雾霾图像数据集中的1张清晰图像对应10张不同浓度的雾霾图像，共计雾霾图像13990张。
所述SOTS数据集包括室内雾霾图像数据集和室外雾霾图像数据集，所述室内雾霾图像数据集包含m张清晰图像和10*m张雾霾图像；所述室外雾霾图像数据集包含m1张清晰图像和与之对应的m1张雾霾图像。所述SOTS数据集中的室内雾霾图像数据集包括m＝50张清晰图像，1张清晰图像对应10张不同浓度的雾霾图像，共计雾霾图像500张。室外雾霾图像数据集包含m1＝500张清晰图像和与之对应的500张雾霾图像。室外雾霾图像数据集是1张雾霾图像对应一张清晰图像。
步骤S2、将所述训练集输入至贝叶斯卷积神经网络内，对所述贝叶斯卷积神经网络进行训练得到最优模型。
步骤S3、将所述测试集输入至所述最优模型，采用所述最优模型对所述测试集进行端对端的去雾处理，并输出去雾图像。
将ITS数据集(训练集)中的清晰图像作为理想目标图像，雾霾图像作为输入，输入到贝叶斯卷积神经网络(BNN)模型(去雾模型)中。该BNN模型采用类似U-Net的网络结构，如图2所示，所述贝叶斯卷积神经网络包括3个编码层(图2中从左到右为第一编码层、第二编码层和第三编码层)、18个残差块(图2中从左到右为第一残差块～第十八残差块)和3个解码层(图2中从左到右为第一解码层、第二解码层和第三解码层)；每一所述编码层和每一所述解码层结构相同，每一所述编码层包含一层卷积(3*3的贝叶斯卷积层)和一层激活函数层，每一所述残差块包含两层卷积和一个激活函数层，其中所述激活函数层中激活函数采用PReLU(参数修正线性单元)。采用PReLU作为激活函数不仅能避免梯度消失的问题，还可以加快网络的收敛速度。使用残差块结构缓解了在深度神经网络中增加深度带来的梯度消失问题，更深的网络结构下，可以提取更为复杂的图像特征。
首先，输入的雾霾图像通过第一层编码层，经过3*3卷积后用PReLU激活得到第一特征图。将所述第一特征图输入第二层编码层，同样经过卷积和激活函数操作得到第二特征图。再次将第二特征图输入第三层编码层中，得到第三特征图(编码层最终的特征图)。将第三特征图输入到18个残差块(具体的是第一残差块)中。
每一所述残差块由2个3*3的卷积和一个非线性激活函数PReLU组成，具体见参考图2中的残差块结构。第三特征图输入第一残差块后，经过3*3的卷积，PReLU激活后再进行3*3卷积操作后输出第四特征图。随后，通过跳跃连接，即将第一残差块输出的第四特征图和输入第一残差块的第三特征图连接合并(Concat合并)得到新的第五特征图。依此类推，经过18个残差块后便可得到含有图像细节的特征图。
在解码层中，上述经过残差块的特征图(含有图像细节的特征图)被输入到第一解码层中，经过3*3卷积后PReLU激活得到第六特征图，该第六特征图与第一层编码层的输出的第一特征图合并连接后输入第二层解码层中。在第二层解码层中，同样经过卷积和激活操作输出的第七特征图与第二层编码层输出的第二特征图合并(Concat合并)得到第八特征图。最终将第八特征图输入第三层解码层，经过卷积和激活函数操作后输出的结果就是去除雾霾后的去雾图像。
这里Concat是一个函数，这个函数就是合并操作，可以将两幅图像融合成为一张图。在代码中使用该函数就可以合并图像进行去雾操作了。
与以往的卷积神经网络不同，本实施例采用贝叶斯卷积神经网络建模，具体的贝叶斯卷积神经网络建模如下：
请继续参考图3，其为贝叶斯卷积神经网络卷积核建模示意图，即用概率分布来估计卷积层中的权值和偏置代替固定的数值作为权重。如图3中，假设输入为矩阵，卷积核(每一卷积层中均设有卷积核)由原先具数值替换成的均值为μ和标准差为σ的随机初始化的高斯分布，这里称为贝叶斯卷积核。矩阵经过贝叶斯卷积核提取矩阵特征，得到特征矩阵，这里的特征矩阵由于采用贝叶斯卷积得到，相比传统卷积神经网络的卷积操作的参数量增加了一倍。
假设所述贝叶斯卷积神经网络的网络参数为W，p(W)是参数的先验分布，给定数据集D＝{(X,Y)}，这里X是输入数据，Y是标签数据；所述贝叶斯卷积神经网络给出以下分布：
P(Y*|X*,D)＝∫P(Y*|X*,W)P(W|D)dW (1)
由于，W是随机变量，这里BNN的分布也是随机变量。根据贝叶斯理论，后验概率P(W|D)表示如下：
式中，P(W|D)是后验分布，P(D|W)是似然函数，P(D)是边缘似然。
本实施例中采用变分推断的方法对BNN模型进行预测，即用概率分布q(ω|θ)来近似表示后验概率p(W|D)。
其中θ＝(μ,σ)，θ表示均值μ，标准差为σ的集合。ω表示权重；第i组数据的权重ωi从正态分布(μi,σi)中采样，i表示第i组数据，μi表示第i组数据的均值，σi表示第i组数据的标准差；
通过KL散度优化所述后验分布P(W|D)和概率分布q(ω|θ)的距离θ*：
进一步进行推导计算：
式中，由于P(D)是常数不取决于θ在推导中忽略不计，q(ω|θ)表示给定正态分布的参数后权重参数的分布，P(D|ω)表示给定网络参数后观测数据的似然，P(ω)表示权重的先验，这部分作为贝叶斯卷积神经网络模型的正则化；Eq(ω|θ)表示具有概率密度函数q(ω|θ)的期望；
采用公式L来表示变分下界ELBO(证据下界)如下：
也就是说公式(4)等价于最大化的变分下界ELBO：
式中，L表示变分下界；D＝{(x,y)}，q(ωi|θi)表示给定正态分布的参数后权重参数的分布，P(ωi)表示第i组数据的ωi的先验分布，i表示第i组数据，P(yj|ω,xj)表示概率密度函数，其中xj，yj表示集合D中第j组输入数据。
为了对公式(4)中的期望进行求导，这里使用对权重ωi进行重参数的技巧如下：
ωi＝μi+σi×εi (7)
式中，εi～N(0,1)，εi表示第i组数据的超参数，于是，用ε代替ω后，对期望Eq(ω|θ)求导：
本实施例通过选取多个不同的ε～N(0,1)，求取
的平均值，来近似KL散度对θ的求导；此步骤为了求解导数
得到平均值，从而可以近似求解KL散度。
此外，除了对权重ωi进行重采样之外，为了保证θ参数取值范围包含这个实轴，对σ进行重采样，可以令：
σ＝log(1+eρ) (9)
式中，eρ表示e为底数，ρ为实数变量的指数函数；
令上述θ＝(μ,σ)；这里的θ已经和原来定义的θ＝(μ,σ)不同。
所述贝叶斯卷积神经网络的建模将所述贝叶斯卷积神经网络模型所有参数的权重集合W采用概率分布的形式进行表示(此时，新的贝叶斯卷积神经网络的建模便可成功将权重W采用概率分布的形式表示)；确定贝叶斯卷积神经网络模型中的所有权重W后就是对贝叶斯卷积神经网络模型的建模，这个贝叶斯卷积神经网络模型用来进行图像去雾，所以称之为去雾模型。
去雾模型(贝叶斯卷积神经网络模型)的损失函数loss如下：
其中，MSE为均方误差，KL表示归一化后的KL散度，M为训练集样本个数，i为迭代次数。
由此，雾霾图像通过上述端到端的BNN模型不断拟合训练进行图像去雾。具体的，将BNN模型迭代100次，学习率设为0.0001，batchsize(批大小)设为16。经过100次迭代后保存最优模型。SOTS数据集被输入到最优模型中测试，输出去雾图像。
在本实施例中，还包括：测试模型性能的步骤，其包括：选取自然雾霾图像进行检验测试，
在本实施例中，还包括：采用峰值信噪比(PSNR)和结构相似度(SSIM)作为客观评价指标。峰值信噪比(PSNR)是一个表示信号最大可能功率和影响它的表示精度的破坏性噪声功率的比值，结构相似度(SSIM)是一种衡量两幅图像相似度的指标。
采用峰值信噪比(PSNR)和结构相似度(SSIM)作为客观评价指标。峰值信噪比(PSNR)是一个表示信号最大可能功率和影响它的表示精度的破坏性噪声功率的比值，结构相似度(SSIM)是一种衡量两幅图像相似度的指标。
本实施例还包括：选定第一去雾图像a和第二去雾图像b，所述第一去雾图像与所述第二去雾图像的结构相似性SSIM采用如下公式计算：
其中μa是所述第一去雾图像a的平均值，μb是所述第二去雾图像b的平均值，
是所述第一去雾图像a的方差，
是所述第二去雾图像b的方差，σab是所述第一去雾图像a和所述第二去雾图像b的协方差。c1＝(k1L)2和c2＝(k2L)2分别是用来维持稳定的常数；L是像素值的动态范围，k1＝0.01，k2＝0.03；所述结构相似性SSIM的范围为-1到1；当所述第一去雾图像a和第二去雾图像b一模一样时，所述结构相似性SSIM的值等于1；
所述第一去雾图像与所述第二去雾图像的峰值信噪比PSNR采用以下公式进行计算：
其中，H和W分别为第一去雾图像或所述第二去雾图像的高和宽，i和j为第一去雾图像或所述第二去雾图像中任意两个像素点；所述峰值信噪比PSNR取值区间为[0,100]，值越大表明失真程度越低。
在本实施例中，所述第一去雾图像a和所述第二去雾图像b中的一个图像为采用本实施例提供的去雾方法得到的去雾图像，另一个是采用表1中的其他去雾方法得到的去雾图像。
表1本实施例方法与相关文献方法在SOTS数据集上的PSNR和SSIM比较
| DCP[2] | DehazeNet[3] | AOD-Net[4] | EPDN[5] | FAMED-Net[6] | Ours | |
| PSNR | 15.49 | 21.14 | 19.06 | 23.82 | 27.01 | 29.07 |
| SSIM | 0.64 | 0.85 | 0.85 | 0.89 | 0.94 | 0.9608 |
根据表1展示的结果，与其他文献模型相比，本实施例的去雾结果在PSNR和SSIM值上都有着较大优势。ITS数据集是计算机合成雾霾图像，自然雾霾图像指的是雾霾天气下相机拍摄图像。前者雾霾是人工合成的，后者是自然天气下的。
还包括测试模型性能的步骤，其包括：选取自然雾霾图像进行检验测试，作为主观评价。将所述自然雾霾图像与所述去雾图像进行对比，得到去雾效果。
具体自然雾霾图像去雾结果与雾霾图像相比该BNN模型去雾结果在视觉上效果较佳。
本实施例提出了一种端到端的贝叶斯卷积神经网络的去雾方法，模型采用类似U-Net的网络结构包含3个编码层、18个残差块和3个解码层。用概率分布来估计贝叶斯卷积神经网络中的权值，最后采用MSE加上归一化后的KL散度作为模型的损失函数。
另一方面，本实施例还提供一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上文所述的方法。
再一方面，本实施例还提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现如上文所述的方法。
本实施例提出的去雾方法中的去雾模型可有效地规避过拟合问题，增强模去雾模型的鲁棒性，此外去雾模型的去雾结果在视觉上效果较佳，适用的场景范围更广。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
应当注意的是，在本文的实施方式中所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用于执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。
Claims (8)
1.一种基于贝叶斯卷积神经网络的图像去雾方法，其特征在于，包括：
步骤S1、获取RESIDE数据集，采用所述RESIDE数据集中的ITS数据集作为训练集，SOTS数据集作为测试集；
步骤S2、将所述训练集输入至贝叶斯卷积神经网络内，对所述贝叶斯卷积神经网络进行训练得到最优模型；
步骤S3、将所述测试集输入至所述最优模型，采用所述最优模型对所述测试集进行端对端的去雾处理，并输出去雾图像。
2.如权利要求1所述的基于贝叶斯卷积神经网络的图像去雾方法，其特征在于，所述ITS数据集为室内雾霾图像数据集，包含n张清晰图像和10*n张雾霾图像；
所述SOTS数据集包括室内雾霾图像数据集和室外雾霾图像数据集，所述室内雾霾图像数据集包含m张清晰图像和10*m张雾霾图像；所述室外雾霾图像数据集包含m1张清晰图像和与之对应的m1张雾霾图像。
3.如权利要求1或2所述的基于贝叶斯卷积神经网络的图像去雾方法，其特征在于，
所述贝叶斯卷积神经网络包括3个编码层、18个残差块和3个解码层；每一所述编码层和每一所述解码层结构相同，每一所述编码层包含一层卷积和一层激活函数层，每一所述残差块包含两层卷积和一个激活函数层，其中所述激活函数层中激活函数采用PReLU。
4.如权利要求3所述的基于贝叶斯卷积神经网络的图像去雾方法，其特征在于，所述步骤S2包括：对所述贝叶斯卷积神经网络建模：
假设所述贝叶斯卷积神经网络的网络参数为W，p(W)是参数的先验分布，给定数据集D＝{(X,Y)}，这里X是输入数据，Y是标签数据；所述贝叶斯卷积神经网络给出以下分布：
P(Y*|X*,D)＝∫P(Y*|X*,W)P(W|D)dW
根据贝叶斯理论，后验概率P(W|D)表示如下：
式中，P(W|D)是后验分布，P(D|W)是似然函数，P(D)是边缘似然；
用概率分布q(ω|θ)来近似表示后验概率p(W|D)；
其中θ＝(μ,σ)，θ表示均值μ，标准差为σ的集合，ω表示权重；第i组数据的权重ωi从正态分布(μi,σi)中采样，i表示第i组数据，μi表示第i组数据的均值，σi表示第i组数据的标准差；
通过KL散度优化所述后验分布P(W|D)和概率分布q(ω|θ)的距离θ*：
式中，由于P(D)是常数不取决于θ在推导中忽略不计，q(ω|θ)表示给定正态分布的参数后权重参数的分布，P(D|ω)表示给定网络参数后观测数据的似然，P(ω)表示权重的先验，这部分作为贝叶斯卷积神经网络模型的正则化；Eq(ω|θ)表示具有概率密度函数q(ω|θ)的期望；
采用公式L来表示变分下界ELBO如下：
式中，L表示变分下界；D＝{(x,y)}，q(ωi|θi)表示给定正态分布的参数后权重参数的分布，P(ωi)表示第i组数据的权重ωi的先验分布，i表示第i组数据，P(yj|ω,xj)表示概率密度函数，其中xj，yj表示集合D中第j组输入数据；
ωi＝μi+σi×εi
式中，εi～N(0,1)，εi表示第i组数据的超参数，于是，用ε代替ω后，对期望Eq(ω|θ)求导：
选取多个不同的ε～N(0,1)，求取
的平均值，来近似KL散度对θ的求导；
对σ进行重采样，可以令σ＝log(1+eρ)，式中，eρ表示e为底数，ρ为实数变量的指数函数；
令上述θ＝(μ,σ)；
所述贝叶斯卷积神经网络的建模将所述贝叶斯卷积神经网络模型所有参数的权重集合W采用概率分布的形式进行表示；
所述贝叶斯卷积神经网络模型的损失函数loss如下：
loss＝MSE+β*KL，
其中，MSE为均方误差，KL表示归一化后的KL散度，M为训练集样本个数，i为迭代次数。
5.如权利要求4所述的基于贝叶斯卷积神经网络的图像去雾方法，其特征在于，还包括测试模型性能的步骤，其包括：选取自然雾霾图像进行检验测试，所述自然雾霾图像与所述去雾图像进行对比，得到去雾效果。
6.如权利要求5所述的基于贝叶斯卷积神经网络的图像去雾方法，其特征在于，还包括：
选定第一去雾图像a和第二去雾图像b，所述第一去雾图像与所述第二去雾图像的结构相似性SSIM采用如下公式计算：
其中μa是所述第一去雾图像a的平均值，μb是所述第二去雾图像b的平均值，
是所述第一去雾图像a的方差，
是所述第二去雾图像b的方差，σab是所述第一去雾图像a和所述第二去雾图像b的协方差。c1＝(k1L)2和c2＝(k2L)2分别是用来维持稳定的常数；L是像素值的动态范围，k1＝0.01，k2＝0.03；所述结构相似性SSIM的范围为-1到1；当所述第一去雾图像a和第二去雾图像b一模一样时，所述结构相似性SSIM的值等于1；
所述第一去雾图像与所述第二去雾图像的峰值信噪比PSNR采用以下公式进行计算：
其中，H和W分别为第一去雾图像或所述第二去雾图像的高和宽，i和j为第一去雾图像或所述第二去雾图像中任意两个像素点；所述峰值信噪比PSNR取值区间为[0,100]，值越大表明失真程度越低。
7.一种电子设备，其特征在于，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1至6中任一项所述的方法。
8.一种可读存储介质，其特征在于，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011614558.0A CN112634171B (zh) | 2020-12-31 | 2020-12-31 | 基于贝叶斯卷积神经网络的图像去雾方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011614558.0A CN112634171B (zh) | 2020-12-31 | 2020-12-31 | 基于贝叶斯卷积神经网络的图像去雾方法及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112634171A true CN112634171A (zh) | 2021-04-09 |
| CN112634171B CN112634171B (zh) | 2023-09-29 |
Family
ID=75286973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011614558.0A Active CN112634171B (zh) | 2020-12-31 | 2020-12-31 | 基于贝叶斯卷积神经网络的图像去雾方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112634171B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113347125A (zh) * | 2021-06-09 | 2021-09-03 | 浙江大学 | 针对mimo-ofdm通信系统的贝叶斯神经网络信道估计方法和装置 |
| CN117197538A (zh) * | 2023-08-16 | 2023-12-08 | 哈尔滨工业大学 | 一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法 |
| CN117219284A (zh) * | 2023-09-11 | 2023-12-12 | 广东德澳智慧医疗科技有限公司 | 一种具有时序性智慧医疗大数据管理的系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060115145A1 (en) * | 2004-11-30 | 2006-06-01 | Microsoft Corporation | Bayesian conditional random fields |
| CN104200445A (zh) * | 2014-09-26 | 2014-12-10 | 常熟理工学院 | 一种最优对比度和最小信息损失的图像去雾方法 |
| CN109801232A (zh) * | 2018-12-27 | 2019-05-24 | 北京交通大学 | 一种基于深度学习的单幅图像去雾方法 |
| CN110599409A (zh) * | 2019-08-01 | 2019-12-20 | 西安理工大学 | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 |
| CN110807744A (zh) * | 2019-10-25 | 2020-02-18 | 山东工商学院 | 一种基于卷积神经网络的图像去雾方法 |
-
2020
- 2020-12-31 CN CN202011614558.0A patent/CN112634171B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060115145A1 (en) * | 2004-11-30 | 2006-06-01 | Microsoft Corporation | Bayesian conditional random fields |
| CN104200445A (zh) * | 2014-09-26 | 2014-12-10 | 常熟理工学院 | 一种最优对比度和最小信息损失的图像去雾方法 |
| CN109801232A (zh) * | 2018-12-27 | 2019-05-24 | 北京交通大学 | 一种基于深度学习的单幅图像去雾方法 |
| CN110599409A (zh) * | 2019-08-01 | 2019-12-20 | 西安理工大学 | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 |
| CN110807744A (zh) * | 2019-10-25 | 2020-02-18 | 山东工商学院 | 一种基于卷积神经网络的图像去雾方法 |
Non-Patent Citations (2)
| Title |
|---|
| 梁毓明;张路遥;卢明建;杨国亮;: "基于条件生成对抗网络的图像去雾算法", 光子学报, no. 05 * |
| 陈文兵;管正雄;陈允杰;: "基于条件生成式对抗网络的数据增强方法", 计算机应用, no. 11 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113347125A (zh) * | 2021-06-09 | 2021-09-03 | 浙江大学 | 针对mimo-ofdm通信系统的贝叶斯神经网络信道估计方法和装置 |
| CN117197538A (zh) * | 2023-08-16 | 2023-12-08 | 哈尔滨工业大学 | 一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法 |
| CN117197538B (zh) * | 2023-08-16 | 2024-05-14 | 哈尔滨工业大学 | 一种基于高斯分布权重采样的贝叶斯卷积神经网络结构表观损伤识别方法 |
| CN117219284A (zh) * | 2023-09-11 | 2023-12-12 | 广东德澳智慧医疗科技有限公司 | 一种具有时序性智慧医疗大数据管理的系统 |
| CN117219284B (zh) * | 2023-09-11 | 2024-05-07 | 湖北中医药大学 | 一种具有时序性智慧医疗大数据管理的系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112634171B (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112634171A (zh) | 基于贝叶斯卷积神经网络的图像去雾方法及存储介质 | |
| CN111738942A (zh) | 一种融合特征金字塔的生成对抗网络图像去雾方法 | |
| CN112800876B (zh) | 一种用于重识别的超球面特征嵌入方法及系统 | |
| CN113592923B (zh) | 一种基于深度局部特征匹配的批图像配准方法 | |
| CN104217404A (zh) | 雾霾天视频图像清晰化处理方法及其装置 | |
| CN115035418A (zh) | 一种基于改进DeepLabV3+网络的遥感图像语义分割方法及系统 | |
| CN112419163B (zh) | 一种基于先验知识和深度学习的单张图像弱监督去雾方法 | |
| CN104036296A (zh) | 一种图像的表示和处理方法及装置 | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| CN111539250B (zh) | 一种基于神经网络的图像雾浓度估计方法、系统和终端 | |
| CN107292855B (zh) | 一种结合自适应非局部样本和低秩的图像去噪方法 | |
| CN115661860A (zh) | 一种狗行为动作识别技术的方法、装置、系统及存储介质 | |
| CN116433909A (zh) | 基于相似度加权多教师网络模型的半监督图像语义分割方法 | |
| CN113496221B (zh) | 基于深度双边滤波的点监督遥感图像语义分割方法及系统 | |
| CN114202473A (zh) | 一种基于多尺度特征和注意力机制的图像复原方法及装置 | |
| CN107133579A (zh) | 基于CSGF(2D)2PCANet卷积网络的人脸识别方法 | |
| CN113313179A (zh) | 一种基于l2p范数鲁棒最小二乘法的噪声图像分类方法 | |
| CN117523555A (zh) | 一种基于自编码器的飞机零件缺陷检测方法 | |
| CN117541535A (zh) | 一种基于深度卷积神经网络的输电线路巡检图像检测方法 | |
| CN111723864A (zh) | 基于主动学习使用互联网图片进行对抗训练的方法及装置 | |
| CN117115600A (zh) | 无参考图像质量评价的方法、装置及电子设备 | |
| CN116563144A (zh) | 一种基于动态注意力的密集型lstm残差网络去噪方法 | |
| CN114841887B (zh) | 一种基于多层次差异学习的图像恢复质量评价方法 | |
| CN116309165A (zh) | 一种基于ResNet的深度可分离卷积神经网络的图像去雾方法 | |
| CN116310581A (zh) | 一种半监督变化检测洪涝识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |