CN109272455B - 基于弱监督生成对抗网络的图像去雾方法 - Google Patents
基于弱监督生成对抗网络的图像去雾方法 Download PDFInfo
- Publication number
- CN109272455B CN109272455B CN201810475026.XA CN201810475026A CN109272455B CN 109272455 B CN109272455 B CN 109272455B CN 201810475026 A CN201810475026 A CN 201810475026A CN 109272455 B CN109272455 B CN 109272455B
- Authority
- CN
- China
- Prior art keywords
- network
- layer
- output
- training sample
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 79
- 230000004913 activation Effects 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 6
- 238000004088 simulation Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- BULVZWIRKLYCBC-UHFFFAOYSA-N phorate Chemical compound CCOP(=S)(OCC)SCSCC BULVZWIRKLYCBC-UHFFFAOYSA-N 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于弱监督生成对抗网络的图像去雾方法。主要解决现有技术对真实雾天图像的去雾效果不稳定的问题，其实现方案是：1)获取真实训练集与合成训练集；2)分别构造生成网络和对抗网络；3)根据对抗网络的损失函数更新对抗网络的参数；4)建立生成网络的损失函数并根据该损失函数更新生成网络的参数；5)判断生成网络和对抗网络的更新次数是否达到100次，若是，则将真实雾天图像输入到生成网络中进行去雾，否则，返回步骤3)。本发明方法去雾后的图像具有丰富的细节，提高了图像的亮度、对比度和清晰度，减少了过饱和与失真现象，可用于计算机视觉领域。
Description
技术领域
本发明属于图像处理技术领域，涉及一种图像去雾方法，可用于视频监控、目标检测与识别等计算机视觉任务中对图像的预处理。
背景技术
随着人工智能时代的到来，计算机视觉系统已经广泛应用于公共安防、智能交通、航空航天和卫星遥感等各个领域，为人们的生活和工作提供了便捷和安全保障。高质量的清晰图像是计算机视觉系统有效工作的基本前提，但是大部分计算机视觉系统对天气状况和光线变化十分敏感。在雾霾天气下，大气中悬浮着的各种微粒不仅会对入射光进行吸收和散射，还会对周围的环境光进行散射并参与成像过程，使得成像设备获取的图像产生动态范围缩小、对比度与饱和度降低、细节信息丢失和颜色失真等退化现象。雾天图像的退化直接影响到现有户外成像系统的正常工作，给图像分割、目标识别与跟踪、行为检测等后续计算机视觉任务造成了极大不便，给人们的生活带来了巨大的安全隐患，因此对图像去雾方法的研究具有十分重要的意义。
目前，图像去雾方法主要有三种：第一种是基于增强的方法，直接利用现有的图像增强的方法提高图像的对比度和清晰度，该方法可以有效地凸显图像细节，但是容易产生过饱和现象，不能从根源上达到去雾的目的。第二种是基于物理模型的方法，该方法根据雾天图像的退化原因建立大气散射模型，并结合图像的先验知识求解模型中的参数，然后逆向推导无雾图像，该方法实现了真正意义上的图像去雾，但是对场景的变化不够鲁棒。第三种是基于学习的方法，该方法通过大气散射模型人工合成雾天图像，利用机器学习或者深度学习的方法估计雾天图像的透射率，然后逆向推导无雾图像，该方法能有效地提取雾天图像的特征，但是依赖于大量带标签的合成图像数据集，对真实雾天图像的去雾效果不理想。
He等人在其发表的论文“Single image haze removal using dark channelprior.”(IEEE transactions on pattern analysis and machine intelligence 2011:2341-2353)中提出了一种基于暗原色先验知识的图像去雾方法，该方法利用暗原色先验对大气散射模型进行变换，并从中估计雾天图像的透射率和大气光系数，利用抠图或者导向滤波的方法对透射率进行优化，然后逆向推导无雾图像，具有很强的适用性。该方法的不足体现在：当图像中存在大范围白色区域或高强光区域时暗通道先验可能会失效，容易导致去雾后的图像产生色彩失真和光晕等现象。
Cai等人在其发表的论文“Dehazenet:An end-to-end systemfor single imagehaze removal.”(IEEE Transactions on Image Processing 2016:5187-5198)中提出了一种基于深度学习的图像去雾方法，该方法首先基于大气散射模型人工合成了大量有雾图像，然后利用卷积神经网络提取雾天图像的特征，学习雾天图像与透射率之间的非线性映射关系，最后基于大气散射模型推导无雾的图像。该方法弥补了传统方法中图像先验特征过于单一的不足，能够提取更全面、有效的图像特征，在人工合成的雾天图像上取得了很好的处理效果。该方法的不足是：需要额外估计大气光，不能对参数进行联合优化，并且只依赖于带标签的合成数据集，没有利用真实的雾天图像数据集，去雾后的图像亮度偏低，对比度和清晰度不够高，视觉效果不够理想。
发明内容
本发明的目的在于针对上述现有技术的不足，提出了一种基于弱监督生成对抗网络的图像去雾方法，旨在有效利用真实雾天图像数据集，减少图像去雾后存在的过饱和、光晕和失真现象，从而获得更好的视觉效果。
本发明的思路是:首先分别准备真实雾天图像训练集与合成雾天图像训练集，然后分别构建生成网络和对抗网络，并设置这两个网络的具体参数，接着基于真实雾天图像训练集与合成雾天图像训练集分别建立生成网络与对抗网络的损失函数，根据损失函数交替更新两个网络的参数，直至更新次数满足要求；更新好的生成网络即为雾天图像与清晰图像之间的非线性映射关系，以该非线性映射关系为指导实现图像去雾。
根据上述思路，本发明的实现方案包括如下：
(1)获取训练样本集：
(1a)从数据库中随机取出4000幅256×256大小的真实雾天图像作为真实输入训练样本集
(1b)从数据库中随机取出4000幅256×256大小的清晰图像作为输出训练样本集
并取出与输出训练样本集
对应的深度图样本集
基于大气散射模型对输出训练样本集
随机加雾，作为合成输入训练样本集
(2)分别构建一个18层的生成网络G和5层的对抗网络D，并设置各网络的每层参数；
(3)更新对抗网络D的参数：
(3a)从输入训练样本集
中随机选取一个输入训练样本y1，将y1输入到生成网络G中，将生成网络G的输出作为真实生成样本G(y1)；
(3b)从输出训练样本集
中随机选取一个输出训练样本x；
(3c)将真实生成样本G(y1)与输出训练样本x输入到对抗网络D中；
(3d)利用误差计算公式，计算对抗网络D的损失值LD，利用随机梯度下降法更新对抗网络D的各层参数θD；
(4)更新生成网络G的参数：
(4a)从输入训练样本集
中随机选取一个输入训练样本y2，将y2输入到生成网络G中，将生成网络G的输出作为合成生成样本G(y2)；
(4b)从输出训练样本集
中选取一个与输入训练样本y2对应的输出训练样本x2；
(4c)按照下式，计算生成网络G的最小均方误差损失值M：
其中，R表示输出训练样本x2矩阵的行数，S表示输出训练样本x2矩阵的列数，c表示输出训练样本x2矩阵的通道序号，r表示输出训练样本x2矩阵的行序号，s表示输出训练样本x2矩阵的列序号，||·||2表示二范数操作。
(4d)按照下式，计算生成网络G的感知损失值P：
其中，C、H、W分别表示视觉几何组VGG网络中第五个池化层输出矩阵的通道数、行数、列数，φ(·)表示输入到视觉几何组VGG网络中计算第五个池化层的特征矩阵；
(4e)按照下式，计算生成网络G的弱监督对抗损失值A：
A＝-ln(D(G(y1)))；
(4f)按照下式，计算生成网络G的总损失值LG：
LG＝M+P+0.001×A，
(4g)根据总损失值LG计算第t次的误差平均梯度mt，利用自适应矩估计优化算法更新生成网络G的各层参数θG；
(5)判断生成网络G和对抗网络D的参数更新次数是否都达到100次，若是，则执行步骤(6)，否则，返回步骤(3)；
(6)将一幅任意尺寸的雾天图像I输入到更新好的生成网络G中，依次与生成网络G的每一层参数进行卷积或激活操作，生成网络G的输出即为去雾后的图像。
本发明与现有技术相比具有以下优点：
第一，由于本发明采用了端到端的优化方法，并且在人工合成雾天图像时采取了随机加雾的方式，有效地利用了卷积神经网络强大的特征提取能力，克服了现有技术需要手工设计图像特征和分步估计模型参数的问题，对雾天图像中介质不均匀的区域和天空区域具有稳定的去雾效果。
第二，由于本发明采用了弱监督对抗学习的方式将真实雾天图像样本加入到了生成网络的训练中，将监督学习和弱监督学习有效地结合在了一起，使生成网络不仅可以学到合成雾天图像与清晰图像之间的映射，还可以学到真实雾天图像与清晰图像之间的映射，从而提高了生成网络的普适性，克服了现有技术完全依赖于人工合成雾天图像的限制，避免了图像去雾后产生的颜色不自然和亮度过低等现象，提高了真实图像去雾后的视觉效果。
附图说明
图1为本发明的实现流程图；
图2为本发明构建的生成网络结构示意图；
图3为本发明构建的对抗网络结构示意图；
图4为本发明的仿真结果图。
具体实施方式
下面结合附图，对本发明的实施例和效果做进一步的详细描述。
参照图1，对本发明的实现步骤如下：
步骤1，获取训练样本集。
(1a)从数据库中随机取出4000幅256×256大小的真实雾天图像作为真实输入训练样本集
(1b)从数据库中随机取出4000幅256×256大小清晰图像作为输出训练样本集
并取出与输出训练样本集
对应的深度图样本集
(1c)基于大气散射模型对输出训练样本集
随机加雾，得到合成输入训练样本集
其中A表示大气光系数，从[0.7，1.0]范围内随机取值，β表示大气散射系数，从[0.5，1.5]范围内随机取值。
步骤2，构建弱监督生成对抗网络。
(2a)构建18层的生成网络G：
参照图2，该生成网络G依次为：输入层→卷积层→卷积激活函数→卷积层→卷积激活函数→卷积层→卷积激活函数→六个连续排列的残差块→反卷积层→反卷积激活函数→反卷积层→反卷积激活函数→反卷积层→反卷积激活函数→输出层；
所述第一个卷积激活函数的输出与第三个反卷积层的输入相连，第二个卷积激活函数的输出与第二个反卷积层的输入相连，第三个卷积激活函数的输出与第一个反卷积层的输入相连；
所述残差块的结构依次为：残差卷积层→残差激活函数→残差卷积层，其中第一个残差卷积层的输入与第二个残差卷积层的输出相连；
这18层生成网络G的各层参数设置如下：
将输入层的输入通道总数和输出层的输出通道总数均设置为3；
将所有卷积层、反卷积层和残差卷积层的特征映射图总数均设置为64，卷积核的尺寸均设置为3×3，卷积步长均设置为1；
将所有激活函数均设置为LeakyRelu激活函数；
将该网络的学习率设置为0.0002，批处理的数目设置为1；
(2b)构建5层的对抗网络D：
参照图3，该对抗网络D的结构依次为：输入层，五个连续排列的卷积层、归一化操作与激活函数和输出层；
这5层对抗网络D的各层参数设置如下：
将输入层的输入通道总数和输出层的输出通道总数均设置为3；
将所有卷积层的卷积核尺寸都设置为3×3；
将前两个卷积层的特征映射图总数均设置为64，第三和第四个卷积层的特征映射图总数均设置为128，第五个卷积层的特征映射图总数均设置为256；
将第一和第五个卷积核的步长设置为1，第二至第四个卷积核的步长设置为2；
将第一至第四个激活函数均设置为LeakyRelu激活函数，第五个激活函数设置为Sigmoid激活函数；
将该网络的学习率设置为0.0002，批处理的数目设置为1。
步骤3，更新对抗网络D的参数。
(3a)从输入训练样本集
中随机选取一个输入训练样本y1，将y1输入到生成网络G中，将生成网络G的输出作为真实生成样本G(y1)；
(3b)从输出训练样本集
中随机选取一个输出训练样本x；
(3c)将真实生成样本G(y1)与输出训练样本x输入到对抗网络D中；
(3d)利用误差计算公式，计算对抗网络D的损失值LD：
LD＝-(ln(1-D(G(y1)))+ln(D(x)))；
(3e)利用随机梯度下降法更新对抗网络D的各层参数θD：
其中
和
分别表示第t+1次和第t次更新得到的对抗网络D的各层参数，ηD表示对抗网络D的学习率，
表示对参数
求梯度，ND表示对抗网络D训练过程中批处理的数目，i表示批处理中训练样本的序列号。
步骤4，更新生成网络G的参数。
(4a)从输入训练样本集
中随机选取一个输入训练样本y2，将y2输入到生成网络G中，将生成网络G的输出作为合成生成样本G(y2)；
(4b)从输出训练样本集
中选取一个与输入训练样本y2对应的输出训练样本x2；
(4c)按照下式，计算生成网络G的最小均方误差损失值M：
其中，R和S分别表示输出训练样本x2矩阵的行数和列数，c、r和s分别表示输出训练样本x2矩阵的通道序号、行序号和列序号，||·||2表示二范数操作；
(4d)按照下式，计算生成网络G的感知损失值P：
其中，C、H、W分别表示视觉几何组VGG网络中第五个池化层输出矩阵的通道数、行数、列数，φ(·)表示输入到视觉几何组VGG网络中计算第五个池化层的特征矩阵；
(4e)按照下式，计算生成网络G的弱监督对抗损失值A：
A＝-ln(D(G(y1)))；
(4f)根据生成网络G的最小均方误差损失值M、感知损失值P和弱监督对抗损失值A，计算生成网络G的总损失值LG：
LG＝M+P+0.001×A；
(4g)根据总损失值LG计算第t次的误差平均梯度mt：
其中
表示对参数θG求梯度，NG表示生成网络G训练过程中批处理的数目，j表示批处理中训练样本的序列号；
(4h)利用自适应矩估计优化算法更新生成网络G的各层参数θG：
其中，
和
分别表示第t+1次和第t次更新得到的生成网络G的各层参数，ηG表示生成网络G的学习率，vt表示梯度的第二时刻非中心方差值，β1表示一阶矩估计的指数衰减率，设置为0.5；β2表示二阶矩估计的指数衰减率，设置为0.99；ε是用于维持计算稳定的非常小的常数，设置为10-8。
步骤5，判断生成网络G和对抗网络D的参数更新次数是否都达到100次，若是，则执行步骤6，否则，返回步骤3。
步骤6，将一幅任意尺寸的雾天图像I输入到更新好的生成网络G中，依次与生成网络G的每一层参数进行卷积或激活操作，生成网络G的输出即为去雾后的图像。
下面结合仿真实验对本发明的效果做进一步说明。
1.仿真条件：
仿真实验的硬件环境是：NVIDIA GTX 1080Ti型号的GPU，128GB的运行内存；
仿真实验的软件环境是：深度学习框架Tensorflow1.2.1。
仿真实验中，采用图像的平均梯度AveGrad指标来客观评价去雾结果图，AveGrad值越高表示图像的清晰度越高，图像的平均梯度AveGrad定义为：
其中
表示去雾后的图像，W和H分别表示图像
的高度和宽度，ω和h分别表示图像
的列序号和行序号，
与
分别指图像中的像素点
在x坐标方向和y坐标方向上的一阶差分。
2.仿真内容与结果分析：
使用本发明的方法和现有的一种基于卷积神经网络的图像去雾方法DehazeNet，对真实雾天图像进行去雾，结果如图4，其中，图4(a)是仿真实验所使用的真实雾天图像；图4(b)为采用现有的图像去雾方法DehazeNet对真实雾天图像的去雾结果；图4(c)为采用本发明方法对真实雾天图像的去雾结果。
所述现有的图像去雾方法DehazeNet来源于文章“DehazeNet:An end-to-endsystem for single image haze removal.”(IEEE Transactions on Image Processing2016:5187-5198)。
对比图4中的去雾结果图4(b)和图4(c)，可以看出采用现有的图像去雾方法DehazeNet对真实雾天图像的去雾结果缺少细节信息，亮度和清晰度都偏低，而采用本发明的方法对真实雾天图像去雾后的结果具有更高的亮度、清晰度和对比度，图像中天空区域的处理结果很稳定。表明本发明克服了现有技术在处理真实雾天图像时去雾效果不稳定的现象，去雾后的图像具有更多的细节信息，颜色和亮度也更加自然，图像的整体视觉效果有所提高。
分别计算图4(b)和图4(c)的平均梯度AveGrad，结果如表1所示。
表1去雾结果图的平均梯度AveGrad
从表1可以看出，本发明方法去雾后的结果具有更高的平均梯度值，说明本发明方法去雾后的图像具有更高的清晰度。
Claims (8)
1.一种基于弱监督生成对抗网络的图像去雾方法，包括如下：
(1)获取训练样本集：
(1a)从数据库中随机取出4000幅256×256大小的真实雾天图像作为真实输入训练样本集
(1b)从数据库中随机取出4000幅256×256大小的清晰图像作为输出训练样本集
并取出与输出训练样本集
对应的深度图样本集
基于大气散射模型对输出训练样本集
随机加雾，作为合成输入训练样本集
(2)分别构建一个20层的生成网络G和7层的对抗网络D，并设置各网络的每层参数；
(3)更新对抗网络D的参数：
(3a)从输入训练样本集
中随机选取一个输入训练样本y1，将y1输入到生成网络G中，将生成网络G的输出作为真实生成样本G(y1)；
(3b)从输出训练样本集
中随机选取一个输出训练样本x；
(3c)将真实生成样本G(y1)与输出训练样本x输入到对抗网络D中；
(3d)利用误差计算公式，计算对抗网络D的损失值LD，利用随机梯度下降法更新对抗网络D的各层参数θD；
(4)更新生成网络G的参数：
(4a)从输入训练样本集
中随机选取一个输入训练样本y2，将y2输入到生成网络G中，将生成网络G的输出作为合成生成样本G(y2)；
(4b)从输出训练样本集
中选取一个与输入训练样本y2对应的输出训练样本x2；
(4c)按照下式，计算生成网络G的最小均方误差损失值M：
其中，R表示输出训练样本x2矩阵的行数，S表示输出训练样本x2矩阵的列数，c表示输出训练样本x2矩阵的通道序号，r表示输出训练样本x2矩阵的行序号，s表示输出训练样本x2矩阵的列序号，||·||2表示二范数操作；
(4d)按照下式，计算生成网络G的感知损失值P：
其中，C、H、W分别表示视觉几何组VGG网络中第五个池化层输出矩阵的通道数、行数、列数，φ(·)表示输入到视觉几何组VGG网络中计算第五个池化层的特征矩阵；
(4e)按照下式，计算生成网络G的弱监督对抗损失值A：
A＝-ln(D(G(y1)))；
(4f)按照下式，计算生成网络G的总损失值LG：
LG＝M+P+0.001×A，
其中，M代表生成网络G的最小均方误差损失值，P代表生成网络G的感知损失值，A代表生成网络G的弱监督对抗损失值；
(4g)根据总损失值LG计算第t次的误差平均梯度mt，利用自适应矩估计优化算法更新生成网络G的各层参数θG；
(5)判断生成网络G和对抗网络D的参数更新次数是否都达到100次，若是，则执行步骤(6)，否则，返回步骤(3)；
(6)将一幅任意尺寸的雾天图像I输入到更新好的生成网络G中，依次与生成网络G的每一层参数进行卷积或激活操作，生成网络G的输出即为去雾后的图像。
2.根据权利要求1所述的方法，其特征在于：步骤(1b)所述的基于大气散射模型对输出训练样本集
随机加雾，通过如下公式进行：
其中A表示大气光系数，从[0.7，1.0]范围内随机取值；β表示大气散射系数，从[0.5，1.5]范围内随机取值。
3.根据权利要求1所述的方法，其特征在于：步骤(2)中构建的20层生成网络G，其结构依次为：输入层，三个连续排列的卷积层与卷积激活函数，六个连续排列的残差块，三个连续排列的反卷积层与反卷积激活函数，输出层；
所述第一个卷积激活函数的输出与第三个反卷积层的输入相连，第二个卷积激活函数的输出与第二个反卷积层的输入相连，第三个卷积激活函数的输出与第一个反卷积层的输入相连；
网络中各层的参数设置如下：
将输入层的输入通道总数和输出层的输出通道总数均设置为3；
将所有卷积层、反卷积层和残差块的特征映射图总数均设置为64，卷积核的尺寸均设置为3×3，卷积步长均设置为1；
将所有激活函数均设置为LeakyRelu激活函数；
将该网络的学习率设置为0.0002。
4.根据权利要求1所述的方法，其特征在于：步骤(2)中构建的7层对抗网络D，其结构依次为：输入层，五个连续排列的卷积层、归一化层与激活函数，输出层；
网络中各层的参数设置如下：
将输入层的输入通道总数和输出层的输出通道总数均设置为3；
将所有卷积层的卷积核尺寸都设置为3×3；
将前两个卷积层的特征映射图总数均设置为64，第三和第四个卷积层的特征映射图总数均设置为128，第五个卷积层的特征映射图总数设置为256；
将第一和第五个卷积核的步长设置为1，第二至第四个卷积核的步长设置为2；
将第一至第四个激活函数均设置为LeakyRelu激活函数；第五个激活函数设置为Sigmoid激活函数；
将该网络的学习率设置为0.0002。
5.根据权利要求1所述的方法，其特征在于：步骤(3d)中所述的误差计算公式，表示如下：
LD＝-(ln(1-D(G(y1)))+ln(D(x)))。
6.根据权利要求1所述的方法，其特征在于：步骤(3d)中利用随机梯度下降法更新对抗网络D的各层参数θD,通过如下公式进行：
其中
和
分别表示第t+1次和第t次更新得到的对抗网络D的各层参数，ηD表示对抗网络D的学习率，
表示对参数
求梯度，ND表示对抗网络D训练过程中批处理的数目，i表示批处理中训练样本的序列号。
7.根据权利要求1所述的方法，其特征在于：步骤(4g)中根据总损失值LG计算第t次的误差平均梯度mt，通过如下公式进行：
其中
表示对生成网络G的各层参数θG求梯度，N表示训练过程中批处理的数目，i表示批处理中训练样本的序列号。
8.根据权利要求1所述的方法，其特征在于：步骤(4g)中利用自适应矩估计优化算法更新生成网络G的各层参数θG，通过如下公式进行：
其中，
和
分别表示第t+1次和第t次更新得到的生成网络G的各层参数，η表示学习率，vt表示梯度的第二时刻非中心方差值，β1表示一阶矩估计的指数衰减率，β2表示二阶矩估计的指数衰减率，ε是用于维持计算稳定的非常小的常数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810475026.XA CN109272455B (zh) | 2018-05-17 | 2018-05-17 | 基于弱监督生成对抗网络的图像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810475026.XA CN109272455B (zh) | 2018-05-17 | 2018-05-17 | 基于弱监督生成对抗网络的图像去雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109272455A CN109272455A (zh) | 2019-01-25 |
| CN109272455B true CN109272455B (zh) | 2021-05-04 |
Family
ID=65152639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810475026.XA Active CN109272455B (zh) | 2018-05-17 | 2018-05-17 | 基于弱监督生成对抗网络的图像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109272455B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11836256B2 (en) * | 2019-01-24 | 2023-12-05 | International Business Machines Corporation | Testing adversarial robustness of systems with limited access |
| CN110009578B (zh) * | 2019-03-13 | 2022-11-15 | 五邑大学 | 一种图像去雨方法及其系统、装置、存储介质 |
| CN110363716B (zh) * | 2019-06-25 | 2021-11-19 | 北京工业大学 | 一种基于条件生成对抗网络复合降质图像高质量重建方法 |
| CN112419163B (zh) * | 2019-08-21 | 2023-06-30 | 中国人民解放军火箭军工程大学 | 一种基于先验知识和深度学习的单张图像弱监督去雾方法 |
| CN110570371B (zh) * | 2019-08-28 | 2023-08-29 | 天津大学 | 一种基于多尺度残差学习的图像去雾方法 |
| CN111191654B (zh) * | 2019-12-30 | 2023-03-24 | 重庆紫光华山智安科技有限公司 | 道路数据生成方法、装置、电子设备及存储介质 |
| CN111223062B (zh) * | 2020-01-08 | 2023-04-07 | 西安电子科技大学 | 基于生成对抗网络的图像去模糊方法 |
| CN111553856B (zh) * | 2020-04-24 | 2023-03-24 | 西安电子科技大学 | 基于深度估计辅助的图像去雾方法 |
| CN111681180B (zh) * | 2020-05-25 | 2022-04-26 | 厦门大学 | 先验驱动的深度学习图像去雾方法 |
| CN111709888B (zh) * | 2020-06-03 | 2023-12-08 | 中科九度(北京)空间信息技术有限责任公司 | 一种基于改进的生成对抗网络的航拍图像去雾方法 |
| CN111738942A (zh) * | 2020-06-10 | 2020-10-02 | 南京邮电大学 | 一种融合特征金字塔的生成对抗网络图像去雾方法 |
| CN111951168B (zh) * | 2020-08-25 | 2023-04-07 | Oppo（重庆）智能科技有限公司 | 图像处理方法、图像处理装置、存储介质与电子设备 |
| CN112183338B (zh) * | 2020-09-28 | 2021-06-15 | 广东石油化工学院 | 一种基于视频的烟雾场景下人的再识别方法、系统及终端 |
| CN113364937B (zh) * | 2021-05-13 | 2022-10-25 | 西安交通大学 | 一种有监督的视频真实去雾数据集的采集方法及系统 |
| CN113222953B (zh) * | 2021-05-21 | 2023-10-20 | 西安电子科技大学 | 基于深度伽马变换的自然图像增强方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127702A (zh) * | 2016-06-17 | 2016-11-16 | 兰州理工大学 | 一种基于深度学习的图像去雾算法 |
| CN107766815A (zh) * | 2017-10-18 | 2018-03-06 | 福州大学 | 一种视觉辅助服务运营系统及运营方法 |
| CN107862270A (zh) * | 2017-10-31 | 2018-03-30 | 深圳云天励飞技术有限公司 | 人脸分类器训练方法、人脸检测方法及装置、电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10319076B2 (en) * | 2016-06-16 | 2019-06-11 | Facebook, Inc. | Producing higher-quality samples of natural images |
-
2018
- 2018-05-17 CN CN201810475026.XA patent/CN109272455B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127702A (zh) * | 2016-06-17 | 2016-11-16 | 兰州理工大学 | 一种基于深度学习的图像去雾算法 |
| CN107766815A (zh) * | 2017-10-18 | 2018-03-06 | 福州大学 | 一种视觉辅助服务运营系统及运营方法 |
| CN107862270A (zh) * | 2017-10-31 | 2018-03-30 | 深圳云天励飞技术有限公司 | 人脸分类器训练方法、人脸检测方法及装置、电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109272455A (zh) | 2019-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109272455B (zh) | 基于弱监督生成对抗网络的图像去雾方法 | |
| CN111709902B (zh) | 基于自注意力机制的红外和可见光图像融合方法 | |
| CN107767413B (zh) | 一种基于卷积神经网络的图像深度估计方法 | |
| CN111292258B (zh) | 一种基于暗通道和亮通道先验的图像去雾方法 | |
| CN104050637B (zh) | 基于两次引导滤波的快速图像去雾方法 | |
| CN110288550B (zh) | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 | |
| CN110097522B (zh) | 一种基于多尺度卷积神经网络的单幅户外图像去雾方法 | |
| CN112669242A (zh) | 基于改进图像增强算法与生成对抗网络的夜景复原方法 | |
| CN105701785B (zh) | 基于天空区域划分加权tv透射率优化的图像雾霾去除方法 | |
| CN111598791B (zh) | 一种基于改进动态大气散射系数函数的图像去雾方法 | |
| CN109389569B (zh) | 基于改进DehazeNet的监控视频实时去雾方法 | |
| CN110675340A (zh) | 一种基于改进的非局部先验的单幅图像去雾方法及介质 | |
| CN111539246B (zh) | 一种跨光谱人脸识别方法、装置、电子设备及其存储介质 | |
| CN112365467B (zh) | 一种基于单幅图像深度估计的雾天图像能见度估计方法 | |
| Ganguly et al. | Single image haze removal with haze map optimization for various haze concentrations | |
| CN111242026A (zh) | 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法 | |
| CN112070688A (zh) | 一种基于上下文引导生成对抗网络的单幅图像去雾方法 | |
| CN112164010A (zh) | 一种多尺度融合卷积神经网络图像去雾方法 | |
| CN112419163B (zh) | 一种基于先验知识和深度学习的单张图像弱监督去雾方法 | |
| CN111598814A (zh) | 基于极端散射通道的单图像去雾方法 | |
| CN112907461B (zh) | 一种红外雾天降质图像去雾增强方法 | |
| CN112102214B (zh) | 一种基于直方图与神经网络的图像去雾方法 | |
| CN112232403A (zh) | 一种红外图像与可见光图像的融合方法 | |
| Huang et al. | Attention-based for multiscale fusion underwater image enhancement | |
| CN108133467B (zh) | 基于粒计算的水下图像增强系统及增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |