CN112801902A - 一种基于改进生成对抗网络的交通图像去雾方法 - Google Patents

一种基于改进生成对抗网络的交通图像去雾方法 Download PDF

Info

Publication number
CN112801902A
CN112801902A CN202110129493.9A CN202110129493A CN112801902A CN 112801902 A CN112801902 A CN 112801902A CN 202110129493 A CN202110129493 A CN 202110129493A CN 112801902 A CN112801902 A CN 112801902A
Authority
CN
China
Prior art keywords
image
discriminator
network
loss
defogging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110129493.9A
Other languages
English (en)
Other versions
CN112801902B (zh
Inventor
张立伟
张增辉
何炳蔚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202110129493.9A priority Critical patent/CN112801902B/zh
Publication of CN112801902A publication Critical patent/CN112801902A/zh
Application granted granted Critical
Publication of CN112801902B publication Critical patent/CN112801902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于改进生成对抗网络的交通图像去雾方法，包括步骤：建立交通图像去雾数据集；搭建基于混合注意力的生成器网络和多尺度判别器网络，并优化损失函数；使用建立的交通图像去雾数据集训练基于混合注意力的生成器网络和多尺度判别器网络；将需要去雾的图像输入至训练好的生成器网络中，得到去雾后的图像。本发明能够解决在对交通图像进行去雾时出现的颜色失真、细节丢失以及浓雾区域去雾效果不理想问题。

Description

一种基于改进生成对抗网络的交通图像去雾方法
技术领域
本发明涉及人工智能和图像处理技术领域，特别是一种基于改进生成对抗网络的交通图像去雾方法。
背景技术
随着我国工业化和城市化进程加快，自然环境恶化，雾霾天气成为一种常见的灾害性天气。雾霾是由空气中悬浮的水滴或者大量微小粒子对透过它的光线造成散射和折射而形成，使户外场景下采集的图像产生模糊、对比度与饱和度偏低、颜色衰减等问题，影响人眼的视觉观感，更加影响安防监控、军事勘测、智能交通等室外视觉系统的成像效果，增加后续检测、分割、识别等视觉处理环节的难度。
雾霾天气对于交通方面的影响尤为突出，持续的雾霾天气将会严重影响交通安全与室外视觉系统的可靠性，如交通监控与无人驾驶。在雾霾天气下，交通图像的清晰度、对比度以及场景特征的辨识度下降，影响驾车人员对于路况的判断，造成较大的交通安全隐患，影响出行的安全性。对于交通监控系统，雾天获取的道路车辆行人等有雾图像的可见度低且模糊，对于违章车辆的检测识别工作难以进行，影响执法人员对于交通违规行为的判断与事故责任的认定。对于自动驾驶，雾霾天气下车辆对环境的视觉感知性能下降，对周边行人、车辆、交通信号与标志的检测与识别的精度降低，影响自动驾驶的安全性与可靠性。
图像去雾方法可以分为传统的去雾方法与基于深度学习的去雾方法。传统的基于图像先验的去雾方法通过图像统计得出的先验知识来估计散射图与大气光，从而进行去雾。暗通道先验算法通过对大量无雾图像的统计，构造图像的暗通道，以原始图像中最亮的像素值作为大气光的估计值，利用大气散射模型得到透射率。传统的基于先验知识的去雾方法可解释性较强，但易出现图像颜色失真现象与光晕效应，物体边缘的雾气去除不完全，并且可能出现先验失效的情况。基于深度学习的去雾方法凭借卷积神经网络的特征学习能力，根据原始图像估计对透射率或直接生成去雾图像。DehazeNet以一幅有雾图像为输入，通过卷积神经网络完成特征的提取以及特征到透射率的映射，估计其透射率，利用大气散射模型恢复出一幅无雾图像。基于深度学习的去雾方法不依赖于先验知识，但易造成图像细节特征丢失，并且对浓雾区域的去雾效果不理想。
发明内容
有鉴于此，本发明的目的是提出一种基于改进生成对抗网络的交通图像去雾方法，能够解决在对交通图像进行去雾时出现的颜色失真、细节丢失以及浓雾区域去雾效果不理想问题。
本发明采用以下方案实现：一种基于改进生成对抗网络的交通图像去雾方法，具体包括以下步骤：
建立交通图像去雾数据集；
搭建基于混合注意力的生成器网络和多尺度判别器网络，并优化损失函数；
使用建立的交通图像去雾数据集训练基于混合注意力的生成器网络和多尺度判别器网络；
将需要去雾的图像输入至训练好的生成器网络中，得到去雾后的图像。
进一步地，所述建立交通图像去雾数据集具体为：
收集N张清晰的交通场景图像以及图像对应的深度图；
根据大气散射模型合成有雾图像，公式为：
I(z)＝J(z)t(z)+A(1-t(z))；
式中，I(z)是有雾图像，J(z)是无雾图像，A是大气光，t(z)是透视率图，透视率图由深度信息D和系数β决定，表示为t(z)＝e-βD(z)，通过设置不同数值的大气光与系数β生成不同雾霾浓度的有雾图像，清晰图像和有雾图像组成去雾数据集；
将数据集划分为训练集和测试集。
进一步地，所述基于混合注意力的生成器网络依次包括编码器、特征学习部分以及解码器；
所述编码器包括由三个卷积块组成，第一个卷积块将输入图像转换为特征图，后两个卷积块对特征图进行下采样；
所述特征学习部分包括9个注意力残差模块，每个注意力残差块在原有残差块的基础上添加混合注意力模块，用以学习两种维度上的特征注意力；
所述解码器由两个反卷积块与一个卷积块组成，反卷积块进行上采样，回复特征图的维度，卷积块将特征图解码为图像。
进一步地，所述混合注意力模块包括通道注意力模块以及空间注意力模块；
所述通道注意力模块首先对大小为W×H×C的输入特征图Fc进行全局平均池化，其中W表示宽度，H表示高度，C表示通道数；经过全局平均池化让特征图的大小变为1×1×C，经过卷积层、ReLU激活函数及卷积层进行参数学习，最后通过Sigmod函数归一化，得到通道维度上的权重Mc，与输入特征图对位相乘，得到添加通道权重的特征图F′c，公式如下：
Figure BDA0002924981780000031
Figure BDA0002924981780000032
式中，
Figure BDA0002924981780000033
表示归一化方法IN，ψ表示全局平均池化；
所述空间注意力模块对输入特征图Fs进行卷积，使输出的特征维度变为W×H×1，经过ReLU激活函数与卷积层后，使用Sigmod函数进行归一化，得到输入特征的空间权重Ms，并与输入特征对位相乘，获得添加空间权重的特征图F′s，公式如下：
Figure BDA0002924981780000034
Figure BDA0002924981780000035
最终混合注意力模块的输出为：
Figure BDA0002924981780000036
进一步地，所述多尺度判别器网络包括第一判别器D1与第二判别器D2；每个判别器都是一个简单的分类卷积网络，包括5个卷积层；
第一判别器D1的输入是原始图像大小的两组图像对I1，包括有雾图像与目标图像组成的图像对Ireal、有雾图像与生成图像组成的图像对Ifake；将I1经过两倍下采样得到I2，作为第二判别器D2的输入；
所述多尺度判别器网络的输出包括第一判别器D1的输出D1(I1)以及第二判别器D2的输出D2(I2)，在判别器损失计算时进行融合得到对抗损失函数Ladv：
Figure BDA0002924981780000041
D2(I2)＝O(p)；
ladv＝∑k＝1，2E(x，y)[logDk(Ik)]+Ex[log(1-Dk(Ik))]；
式中，ND1是第一判别器D1输出概率图的像素数量，pi是第i个像素，O(pi)是第i个像素代表的概率值，p表示判别器D2输出的单个像素，O(p)表示D2输出的像素代表的概率值，Dk是第k个判别器，x是有雾图，y是目标图像。
进一步地，所述优化损失函数具体为：除对抗损失Ladv外，在损失函数中加入感知损失Lvgg与特征匹配损失Lfm，总体损失的计算公式如下：
L＝Ladv+λ1Lvgg+λ2Lfm；
式中，λ1与λ2是损失对应的权重；
其中，感知损失通过比较生成器生成的去雾图像与目标图像经过卷积神经网络得到的特征的差异，采用在ImageNet数据集上预训练好的VGG19网络作为特征提取网络，感知损失Lvgg公式为：
Figure BDA0002924981780000042
式中，
Figure BDA0002924981780000043
是生成图像，y是目标图像，γj是VGG19中第j层感知损失对应的权重，
Figure BDA0002924981780000044
是VGG19中第j层的感知损失，公式为：
Figure BDA0002924981780000051
式中，φj是第j层的特征图，Cj、Hj与Wj分别是特征图通道数、高度与宽度；
特征匹配损失Lfm以有雾图像与目标图像组成的图像对、有雾图像与生成图像组成的图像对分别作为判别器的输入，输出判别器中间层的特征图，计算两张特征图之间的平均绝对误差作为损失，计算公式为：
Lfm＝∑k＝1，2lfm(G，Dk)；
Figure BDA0002924981780000052
式中，lfm为单个判别器的特征匹配损失，Ni是判别器第i层输出特征图的像素数量，
Figure BDA0002924981780000053
表示第k个判别器以x，y组成的图像对作为输入时第i层的特征图，
Figure BDA0002924981780000054
表示第k个判别器以x，G(x)组成的图像对作为输入时第i层的特征图。
进一步地，所述使用建立的交通图像去雾数据集训练基于混合注意力的生成器网络和多尺度判别器网络具体为：
采用Xavier初始化方法对生成器网络与判别器网络的权重进行初始化，使网络中初始权重的期望为0，并且各层输出值的方差在传播过程中保持一致，让网络中的信息更好地流动；
输入有雾图像，通过前向传播得到误差后，进行误差反向传播，采用交替训练方式，对于一次迭代训练过程，先根据生成器总损失L进行反向传播训练生成器，再根据判别器损失Ladv进行反向传播训练判别器。生成器与判别器均使用梯度下降算法更新网络参数权重W与偏置B，更新规则为：
Figure BDA0002924981780000055
Figure BDA0002924981780000056
式中，Loss表示损失，训练生成器时表示L，训练判别器时表示Ladv，α是学习率，在初始化时设定初始值与更新规则，不断迭代更新网络权重，直到模型收敛，训练结束，保存权重模型。
本发明还提供了一种基于改进生成对抗网络的交通图像去雾系统，包括存储器、处理器以及存储于存储器上并能够被处理器所运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。
本发明还提供了一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。
与现有技术相比，本发明有以下有益效果：
(1)本发明基于改进生成对抗网络，以端到端的形式进行交通图像去雾，不依赖于大气散射模型与图像先验知识，避免传统去雾方法所造成的颜色失真与光晕效应。
(2)本发明设计了混合注意力模块，融合通道注意力与空间注意力，让网络关注图像中的浓雾区域，提升对于浓雾区域的去雾效果。
(3)本发明采用多尺度判别器，在单一判别器的基础上增加一个判别器来处理小分辨率图像对，小分辨率图像引导生成器更关注全局一致性，大分辨率图像引导生成器生成细节信息，提升去雾图像的质量。
附图说明
图1为本发明实施例的方法流程示意图。
图2为本发明实施例的改进生成对抗网络的生成器网络结构示意图。
图3为本发明实施例的混合注意力模块结构示意图。
图4为本发明实施例的多尺度判别器结构示意图。
图5为本发明实施例的去雾结果对比图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了本发明采用以下方案实现：一种基于改进生成对抗网络的交通图像去雾方法，具体包括以下步骤：
收集交通场景图像，根据大气散射模型生成对应的有雾图像，建立交通图像去雾数据集；
搭建基于混合注意力的生成器网络和多尺度判别器网络，并优化损失函数；
使用建立的交通图像去雾数据集训练基于混合注意力的生成器网络和多尺度判别器网络；将有雾图像输入生成器，得到生成图像，经过前向传播计算误差，误差通过反向传播算法反馈到网络，生成器网络和判别器网络更新网络参数；
将需要去雾的图像输入至训练好的生成器网络中，得到去雾后的图像。
在本实施例中，所述建立交通图像去雾数据集具体为：
收集N张清晰的交通场景图像以及图像对应的深度图；本实施例中，从在Apolloscapes数据集选取1215张清晰的交通场景图像及对应的深度图，通过裁剪与缩放，获得分辨率为320×240的图像；
根据大气散射模型合成有雾图像，公式为：
I(z)＝J(z)t(z)+A(1-t(z))；
式中，I(z)是有雾图像，J(z)是无雾图像，A是大气光，t(z)是透视率图，透视率图由深度信息D和系数β决定，表示为t(z)＝e-βD(z)，设定A∈[0.85，0.95]，设定系数β∈[0.25，0.5，0.75，1，1.5]，为每张无雾图像合成10张不同雾霾浓度的有雾图像，清晰图像和有雾图像组成去雾数据集；特别的，合成多种不同雾霾浓度的图像作为训练数据可以让网络适应不同雾霾浓度的场景，增强去雾方法的鲁棒性；
以10:1的比例将数据集进行划分为训练集和测试集，训练集包括11050张有雾图像及对应的清晰图像，测试集包括1100张有雾图像及对应的清晰图像。
在本实施例中，如图2所示，所述基于混合注意力的生成器网络依次包括编码器、特征学习部分以及解码器；
所述编码器包括由三个卷积块组成，采用ReLU作为激活函数，删除BN层，使用IN实例归一化方法，第一个卷积块将输入图像转换为特征图，后两个卷积块对特征图进行下采样，下采样后通过3个注意力残差块进行特征学习；
所述特征学习部分包括9个注意力残差模块，每个注意力残差块在原有残差块的基础上添加混合注意力模块，用以学习两种维度上的特征注意力；
所述解码器由两个反卷积块与一个卷积块组成，反卷积块进行上采样，回复特征图的维度，卷积块将特征图解码为图像。
在本实施例中，如图3所示，所述混合注意力模块包括通道注意力模块以及空间注意力模块；本实施例的混合注意力模块不同于其他方法中单一注意力的在网络中的简单添加，针对有雾图像在像素层面上的不均匀分布现象，提出图像像素维度上的空间注意力，为图像不同区域在去雾过程中分配不同的权重，更关注浓雾区域；针对有雾图像不同通道对于雾霾浓度表现能力不同的问题，提出通道维度上的通道注意力，为重要的通道分配更大的权重。两种注意力机制通过串联形式进行融合，提升对于图像浓雾区域的去雾效果。混合注意力模块采用精简的实现方式减少计算量，采用卷积层替换全连接层。
所述通道注意力模块首先对大小为W×H×C的输入特征图Fc进行全局平均池化，其中W表示宽度，H表示高度，C表示通道数；经过全局平均池化让特征图的大小变为1×1×C，经过卷积层、ReLU激活函数及卷积层进行参数学习，最后通过Sigmod函数归一化，得到通道维度上的权重Mc，与输入特征图对位相乘，得到添加通道权重的特征图F′c，公式如下：
Figure BDA0002924981780000091
Figure BDA0002924981780000092
式中，
Figure BDA0002924981780000093
表示归一化方法IN，ψ表示全局平均池化；
所述空间注意力模块对输入特征图Fs进行卷积，使输出的特征维度变为W×H×1，经过ReLU激活函数与卷积层后，使用Sigmod函数进行归一化，得到输入特征的空间权重Ms，并与输入特征对位相乘，获得添加空间权重的特征图F′s，公式如下：
Figure BDA0002924981780000094
Figure BDA0002924981780000095
最终混合注意力模块的输出为：
Figure BDA0002924981780000096
在本实施例中，如图4所示，所述多尺度判别器网络包括第一判别器D1与第二判别器D2；传统的单一判别器大多直接对整幅图像进行判别，输出判别图像真伪的概率值。这种方法仅仅考虑到了图像的整体一致性，生成的图像模糊，细节信息丢失，而只对图像中的部分图像块进行判别的策略会使生成图像出现区块效应。本实施例中，每个判别器都是一个简单的分类卷积网络，包括5个卷积层；每个卷积层后采用Leaky ReLU激活函数，归一化方法使用实例归一化。
第一判别器D1的输入是原始图像大小的两组图像对I1，包括有雾图像与目标图像组成的图像对Ireal、有雾图像与生成图像组成的图像对Ifake；将I1经过两倍下采样得到I2，作为第二判别器D2的输入；
不同于传统的判别器，多尺度判别器中D1不直接输出0或1对整个图像进行判别，通过输出概率图对图像块的真实性进行判别，概率图中每个像素值代表对于图像块的判别结果，增强对于局部信息的重视。D2则是对图像全局的真伪进行判别，输出0到1之间的数作为概率。D2关注图像的全局一致性，D1关注图像的局部一致性。
所述多尺度判别器网络的输出包括第一判别器D1的输出D1(I1)以及第二判别器D2的输出D2(I2)，在判别器损失计算时进行融合得到对抗损失函数Ladv，兼顾图像全局一致性和局部一致性，更好地恢复图像的细节信息，生成图像更清晰：
Figure BDA0002924981780000101
D2(I2)＝O(p)；
ladv＝∑k＝1，2E(x，y)[logDk(Ik)]+Ex[log(1-Dk(Ik))]；
式中，ND1是第一判别器D1输出概率图的像素数量，pi是第i个像素，O(pi)是第i个像素代表的概率值，p表示判别器D2输出的单个像素，O(p)表示D2输出的像素代表的概率值，Dk是第k个判别器，x是有雾图，y是目标图像。
在本实施例中，所述优化损失函数具体为：除对抗损失Ladv外，在损失函数中加入感知损失Lvgg与特征匹配损失Lfm，一般去雾网络使用的MSE等计算图像像素间差距的内容损失函数只关注图像像素值，造成生成图像的细节信息丢失，图像整体不自然。感知损失和特征匹配损失从图像高级语义层面计算图像间的差别，让生成的图像更真实和自然。特征匹配损失来源于多尺度判别器，更大限度地发挥多尺度判别器的指导作用。总体损失的计算公式如下：
L＝Ladv+λ1Lvgg+λ2Lfm；
式中，λ1与λ2是损失对应的权重；本实施例中，λ1设为10，λ2设为10；
其中，感知损失通过比较生成器生成的去雾图像与目标图像经过卷积神经网络得到的特征的差异，采用在ImageNet数据集上预训练好的VGG19网络作为特征提取网络，提取高级图像特征对比两幅图像的相似性，感知损失Lvgg公式为：
Figure BDA0002924981780000102
式中，
Figure BDA0002924981780000103
是生成图像，y是目标图像，γj是VGG19中第j层感知损失对应的权重，
Figure BDA0002924981780000104
是VGG19中第j层的感知损失，公式为：
Figure BDA0002924981780000111
式中，φj是第j层的特征图，Cj、Hj与Wj分别是特征图通道数、高度与宽度；在本实施例中，提取ReLU1_1、ReLU2_1、ReLU3_1、ReLU4_1、ReLU5_1共五层特征进行感知损失计算，每一层感知损失的权重γ设置为1/32、1/16、1/8、1/4、1。
特征匹配损失Lfm以有雾图像与目标图像组成的图像对、有雾图像与生成图像组成的图像对分别作为判别器的输入，输出判别器中间层的特征图，计算两张特征图之间的平均绝对误差作为损失，计算公式为：
Lfm＝∑k＝1，2lfm(G，Dk)；
Figure BDA0002924981780000112
式中，lfm为单个判别器的特征匹配损失，Ni是判别器第i层输出特征图的像素数量，
Figure BDA0002924981780000113
表示第k个判别器以x，y组成的图像对作为输入时第i层的特征图，
Figure BDA0002924981780000114
表示第k个判别器以x，G(x)组成的图像对作为输入时第i层的特征图。
在本实施例中，所述使用建立的交通图像去雾数据集训练基于混合注意力的生成器网络和多尺度判别器网络具体为：
采用Xavier初始化方法对生成器网络与判别器网络的权重进行初始化，使网络中初始权重的期望为0，并且各层输出值的方差在传播过程中保持一致，让网络中的信息更好地流动；
输入有雾图像，通过前向传播得到误差后，进行误差反向传播，采用交替训练方式，对于一次迭代训练过程，先根据生成器总损失L进行反向传播训练生成器，再根据判别器损失Ladv进行反向传播训练判别器。生成器与判别器均使用梯度下降算法更新网络参数权重W与偏置B，更新规则为：
Figure BDA0002924981780000115
Figure BDA0002924981780000121
式中，Loss表示损失，训练生成器时表示L，训练判别器时表示Ladv，α是学习率，在本实施例中，α在初始化时设定初始值为0.0002，,更新规则为在整个训练过程中线性衰减到0，批处理参数设为1，采用Adam优化器，超参数β1和β2分别设为0.5与0.999。不断迭代更新网络权重，直到模型收敛，训练结束，保存权重模型。
最后，加载训练好的权重模型，将需要去雾的图像输入训练完的去雾网络(生成器)中，获得去雾后的图像。
本实施例还提供了一种基于改进生成对抗网络的交通图像去雾系统，包括存储器、处理器以及存储于存储器上并能够被处理器所运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。
本实施例还提供了一种计算机可读存储介质，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上文所述的方法步骤。
为了更好的说明本实施例的对于交通图像的去雾效果，由以下实验进一步说明：
本实施例中，实验使用的测试集包含1100张有雾交通图像，实验环境为Ubuntu16.04操作系统，NVIDIA Tesla M40显卡，使用PyTorch框架和Python3.6编程语言进行网络搭建与程序编写。
将测试图像作为输入，获得去雾图像，使用结构相似性(Structural Similarity，SSIM)和峰值信噪比(Peak Signal to Noise Ratio，PSNR)作为评价指标定量评价去雾效果，SSIM是一种衡量两幅图像相似度的指标，计算公式如下：
Figure BDA0002924981780000122
Figure BDA0002924981780000123
Figure BDA0002924981780000124
SSIM(x，y)＝[L(x，y)]α[C(x，y)]β[s(x，y)]γ；
式中，x，y是两张需要比较的图像，ux、uy、σx和σy分别是x、y的平均值和标准差，σxy为x和y的共异数，C1、C2、C3为常数，设置为C1＝α＝β＝γ＝1及C3＝C2/2。
SNR的计算公式如下：
Figure BDA0002924981780000131
Figure BDA0002924981780000132
其中，W和H分别是图像的宽和高，MSE为均方差，xMAX为图像的最大像素值。
实验结果如表1所示，与暗通道先验去雾算法(Dark Channel Prior，DCP)相比，本发明的方法在结构相似性与峰值信噪比两个指标上均优于DCP。去雾效果对比如图5所示，本发明不仅有效地去除了图像中的雾霾，并且能够恢复图像的细节特征，对于图像亮度和对比度的恢复效果明显优于DCP，未出现颜色失真现象。
表1
DCP 本发明
SSIM 0.6921 0.8837
PSNR 18.2440 27.2577
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (9)

1.一种基于改进生成对抗网络的交通图像去雾方法，其特征在于，包括以下步骤：
建立交通图像去雾数据集；
搭建基于混合注意力的生成器网络和多尺度判别器网络，并优化损失函数；
使用建立的交通图像去雾数据集训练基于混合注意力的生成器网络和多尺度判别器网络；
将需要去雾的图像输入至训练好的生成器网络中，得到去雾后的图像。
2.根据权利要求1所述的一种基于改进生成对抗网络的交通图像去雾方法，其特征在于，所述建立交通图像去雾数据集具体为：
收集N张清晰的交通场景图像以及图像对应的深度图；
根据大气散射模型合成有雾图像，公式为：
I(z)＝J(z)t(z)+A(1-t(z))；
式中，I(z)是有雾图像，J(z)是无雾图像，A是大气光，t(z)是透视率图，透视率图由深度信息D和系数β决定，表示为t(z)＝e-βD(z)，通过设置不同数值的大气光与系数β生成不同雾霾浓度的有雾图像，清晰图像和有雾图像组成去雾数据集；
将数据集划分为训练集和测试集。
3.根据权利要求1所述的一种基于改进生成对抗网络的交通图像去雾方法，其特征在于，所述基于混合注意力的生成器网络依次包括编码器、特征学习部分以及解码器；
所述编码器包括由三个卷积块组成，第一个卷积块将输入图像转换为特征图，后两个卷积块对特征图进行下采样；
所述特征学习部分包括9个注意力残差模块，每个注意力残差块在原有残差块的基础上添加混合注意力模块，用以学习两种维度上的特征注意力；
所述解码器由两个反卷积块与一个卷积块组成，反卷积块进行上采样，回复特征图的维度，卷积块将特征图解码为图像。
4.根据权利要求3所述的一种基于改进生成对抗网络的交通图像去雾方法，其特征在于，所述混合注意力模块包括通道注意力模块以及空间注意力模块；
所述通道注意力模块首先对大小为W×H×C的输入特征图Fc进行全局平均池化，其中W表示宽度，H表示高度，C表示通道数；经过全局平均池化让特征图的大小变为1×1×C，经过卷积层、ReLU激活函数及卷积层进行参数学习，最后通过Sigmod函数归一化，得到通道维度上的权重Mc，与输入特征图对位相乘，得到添加通道权重的特征图F′c，公式如下：
Figure FDA0002924981770000021
Figure FDA0002924981770000022
式中，
Figure FDA0002924981770000023
表示归一化方法IN，ψ表示全局平均池化；
所述空间注意力模块对输入特征图Fs进行卷积，使输出的特征维度变为W×H×1，经过ReLU激活函数与卷积层后，使用Sigmod函数进行归一化，得到输入特征的空间权重Ms，并与输入特征对位相乘，获得添加空间权重的特征图F′s，公式如下：
Figure FDA0002924981770000024
Figure FDA0002924981770000025
最终混合注意力模块的输出为：
Figure FDA0002924981770000026
5.根据权利要求1所述的一种基于改进生成对抗网络的交通图像去雾方法，其特征在于，所述多尺度判别器网络包括第一判别器D1与第二判别器D2；每个判别器都是一个简单的分类卷积网络，包括5个卷积层；
第一判别器D1的输入是原始图像大小的两组图像对I1，包括有雾图像与目标图像组成的图像对Ireal、有雾图像与生成图像组成的图像对Ifake；将I1经过两倍下采样得到I2，作为第二判别器D2的输入；
所述多尺度判别器网络的输出包括第一判别器D1的输出D1(I1)以及第二判别器D2的输出D2(I2)，在判别器损失计算时进行融合得到对抗损失函数Ladv：
Figure FDA0002924981770000031
D2(I2)＝O(p)；
ladv＝∑k＝1，2E(x，y)[logDk(Ik)]+Ex[log(1-Dk(Ik))]；
式中，ND1是第一判别器D1输出概率图的像素数量，pi是第i个像素，O(pi)是第i个像素代表的概率值，p表示第二判别器D2输出的单个像素，O(p)表示第二判别器D2输出的像素代表的概率值，Dk是第k个判别器，x是有雾图，y是目标图像。
6.根据权利要求1所述的一种基于改进生成对抗网络的交通图像去雾方法，其特征在于，所述优化损失函数具体为：除对抗损失Ladv外，在损失函数中加入感知损失Lvgg与特征匹配损失Lfm，总体损失的计算公式如下：
L＝Ladv+λ1Lvgg+λ2Lfm；
式中，λ1与λ2是损失对应的权重；
其中，感知损失通过比较生成器生成的去雾图像与目标图像经过卷积神经网络得到的特征的差异，采用在ImageNet数据集上预训练好的VGG19网络作为特征提取网络，感知损失Lvgg公式为：
Figure FDA0002924981770000032
式中，
Figure FDA0002924981770000033
是生成图像，y是目标图像，γj是VGG19中第j层感知损失对应的权重，
Figure FDA0002924981770000034
是VGG19中第j层的感知损失，公式为：
Figure FDA0002924981770000041
式中，φj是第j层的特征图，Cj、Hj与Wj分别是特征图通道数、高度与宽度；
特征匹配损失Lfm以有雾图像与目标图像组成的图像对、有雾图像与生成图像组成的图像对分别作为判别器的输入，输出判别器中间层的特征图，计算两张特征图之间的平均绝对误差作为损失，计算公式为：
Lfm＝∑k＝1，2lfm(G，Dk)；
Figure FDA0002924981770000042
式中，lfm为单个判别器的特征匹配损失，Ni是判别器第i层输出特征图的像素数量，
Figure FDA0002924981770000043
表示第k个判别器以x，y组成的图像对作为输入时第i层的特征图，
Figure FDA0002924981770000044
表示第k个判别器以x，G(x)组成的图像对作为输入时第i层的特征图。
7.根据权利要求1所述的一种基于改进生成对抗网络的交通图像去雾方法，其特征在于，所述使用建立的交通图像去雾数据集训练基于混合注意力的生成器网络和多尺度判别器网络具体为：
采用Xavier初始化方法对生成器网络与判别器网络的权重进行初始化，使网络中初始权重的期望为0，并且各层输出值的方差在传播过程中保持一致，让网络中的信息更好地流动；
输入有雾图像，通过前向传播得到误差后，进行误差反向传播，采用交替训练方式，对于一次迭代训练过程，先根据生成器总损失L进行反向传播训练生成器，再根据判别器损失Ladv进行反向传播训练判别器；生成器与判别器均使用梯度下降算法更新网络参数权重W与偏置B，更新规则为：
Figure FDA0002924981770000045
Figure FDA0002924981770000046
式中，Loss表示损失，训练生成器时表示L，训练判别器时表示Ladv，α是学习率，在初始化时设定初始值与更新规则，不断迭代更新网络权重，直到模型收敛，训练结束，保存权重模型。
8.一种基于改进生成对抗网络的交通图像去雾系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器所运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-7任一项所述的方法步骤。
9.一种计算机可读存储介质，其特征在于，其上存储有能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-7任一项所述的方法步骤。
CN202110129493.9A 2021-01-29 2021-01-29 一种基于改进生成对抗网络的交通图像去雾方法 Active CN112801902B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110129493.9A CN112801902B (zh) 2021-01-29 2021-01-29 一种基于改进生成对抗网络的交通图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110129493.9A CN112801902B (zh) 2021-01-29 2021-01-29 一种基于改进生成对抗网络的交通图像去雾方法

Publications (2)

Publication Number Publication Date
CN112801902A true CN112801902A (zh) 2021-05-14
CN112801902B CN112801902B (zh) 2022-06-21

Family

ID=75813081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110129493.9A Active CN112801902B (zh) 2021-01-29 2021-01-29 一种基于改进生成对抗网络的交通图像去雾方法

Country Status (1)

Country Link
CN (1) CN112801902B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554872A (zh) * 2021-07-19 2021-10-26 昭通亮风台信息科技有限公司 一种位于交通路口及弯道的检测预警方法及系统
CN113554571A (zh) * 2021-08-11 2021-10-26 广东工业大学 一种图像去雾方法、装置、电子设备及存储介质
CN113592752A (zh) * 2021-07-12 2021-11-02 四川大学 一种基于对抗网络的道路交通光污损图像增强方法及装置
CN113643195A (zh) * 2021-06-30 2021-11-12 山东师范大学 一种基于独立细节恢复网络的图像去雾方法
CN113658051A (zh) * 2021-06-25 2021-11-16 南京邮电大学 一种基于循环生成对抗网络的图像去雾方法及系统
CN113848216A (zh) * 2021-09-18 2021-12-28 南京林业大学 基于雾生成对抗神经网络的沥青混凝土检测系统及方法
CN113888443A (zh) * 2021-10-21 2022-01-04 福州大学 一种基于自适应层实例归一化gan的演唱会拍摄方法
TWI769820B (zh) * 2021-05-19 2022-07-01 鴻海精密工業股份有限公司 生成對抗網路優化方法及電子設備
CN115238833A (zh) * 2022-09-22 2022-10-25 中国民航大学 一种空气涡轮起动机轴承性能退化特征提取方法
CN115457265A (zh) * 2022-08-25 2022-12-09 暨南大学 基于生成对抗网络和多尺度融合的图像去雾方法及系统
CN115661784A (zh) * 2022-10-12 2023-01-31 北京惠朗时代科技有限公司 一种面向智慧交通的交通标志图像大数据识别方法与系统
CN116721403A (zh) * 2023-06-19 2023-09-08 山东高速集团有限公司 一种道路交通标志检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020100274A4 (en) * 2020-02-25 2020-03-26 Huang, Shuying DR A Multi-Scale Feature Fusion Network based on GANs for Haze Removal
CN111612711A (zh) * 2019-05-31 2020-09-01 北京理工大学 一种基于生成对抗网络改进的图片去模糊方法
CN111798400A (zh) * 2020-07-20 2020-10-20 福州大学 基于生成对抗网络的无参考低光照图像增强方法及系统
CN111862294A (zh) * 2020-07-31 2020-10-30 天津大学 基于ArcGAN网络的手绘3D建筑自动上色网络结构及方法
US20200349682A1 (en) * 2019-05-03 2020-11-05 Amazon Technologies, Inc. Video enhancement using a generator with filters of generative adversarial network
CN112184577A (zh) * 2020-09-17 2021-01-05 西安理工大学 基于多尺度自注意生成对抗网络的单幅图像去雾方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200349682A1 (en) * 2019-05-03 2020-11-05 Amazon Technologies, Inc. Video enhancement using a generator with filters of generative adversarial network
CN111612711A (zh) * 2019-05-31 2020-09-01 北京理工大学 一种基于生成对抗网络改进的图片去模糊方法
AU2020100274A4 (en) * 2020-02-25 2020-03-26 Huang, Shuying DR A Multi-Scale Feature Fusion Network based on GANs for Haze Removal
CN111798400A (zh) * 2020-07-20 2020-10-20 福州大学 基于生成对抗网络的无参考低光照图像增强方法及系统
CN111862294A (zh) * 2020-07-31 2020-10-30 天津大学 基于ArcGAN网络的手绘3D建筑自动上色网络结构及方法
CN112184577A (zh) * 2020-09-17 2021-01-05 西安理工大学 基于多尺度自注意生成对抗网络的单幅图像去雾方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QIANG DAI ET AL.: "Agricultural Pest Super-Resolution and Identification With Attention Enhanced Residual and Dense Fusion Generative and Adversarial Network", 《IEEE ACCESS》 *
胡远征: "基于生成对抗网络的图像去模糊", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI769820B (zh) * 2021-05-19 2022-07-01 鴻海精密工業股份有限公司 生成對抗網路優化方法及電子設備
CN113658051A (zh) * 2021-06-25 2021-11-16 南京邮电大学 一种基于循环生成对抗网络的图像去雾方法及系统
CN113658051B (zh) * 2021-06-25 2023-10-13 南京邮电大学 一种基于循环生成对抗网络的图像去雾方法及系统
CN113643195A (zh) * 2021-06-30 2021-11-12 山东师范大学 一种基于独立细节恢复网络的图像去雾方法
CN113592752B (zh) * 2021-07-12 2023-06-23 四川大学 一种基于对抗网络的道路交通光污损图像增强方法及装置
CN113592752A (zh) * 2021-07-12 2021-11-02 四川大学 一种基于对抗网络的道路交通光污损图像增强方法及装置
CN113554872A (zh) * 2021-07-19 2021-10-26 昭通亮风台信息科技有限公司 一种位于交通路口及弯道的检测预警方法及系统
CN113554571A (zh) * 2021-08-11 2021-10-26 广东工业大学 一种图像去雾方法、装置、电子设备及存储介质
CN113554571B (zh) * 2021-08-11 2023-07-04 广东工业大学 一种图像去雾方法、装置、电子设备及存储介质
CN113848216B (zh) * 2021-09-18 2022-08-09 南京林业大学 基于雾生成对抗神经网络的沥青混凝土检测系统及方法
CN113848216A (zh) * 2021-09-18 2021-12-28 南京林业大学 基于雾生成对抗神经网络的沥青混凝土检测系统及方法
CN113888443A (zh) * 2021-10-21 2022-01-04 福州大学 一种基于自适应层实例归一化gan的演唱会拍摄方法
CN115457265A (zh) * 2022-08-25 2022-12-09 暨南大学 基于生成对抗网络和多尺度融合的图像去雾方法及系统
CN115457265B (zh) * 2022-08-25 2023-08-01 暨南大学 基于生成对抗网络和多尺度融合的图像去雾方法及系统
CN115238833B (zh) * 2022-09-22 2022-11-25 中国民航大学 一种空气涡轮起动机轴承性能退化特征提取方法
CN115238833A (zh) * 2022-09-22 2022-10-25 中国民航大学 一种空气涡轮起动机轴承性能退化特征提取方法
CN115661784A (zh) * 2022-10-12 2023-01-31 北京惠朗时代科技有限公司 一种面向智慧交通的交通标志图像大数据识别方法与系统
CN115661784B (zh) * 2022-10-12 2023-08-22 北京惠朗时代科技有限公司 一种面向智慧交通的交通标志图像大数据识别方法与系统
CN116721403A (zh) * 2023-06-19 2023-09-08 山东高速集团有限公司 一种道路交通标志检测方法

Also Published As

Publication number Publication date
CN112801902B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN112801902B (zh) 一种基于改进生成对抗网络的交通图像去雾方法
CN108615226B (zh) 一种基于生成式对抗网络的图像去雾方法
CN107103591B (zh) 一种基于图像雾霾浓度估计的单幅图像去雾方法
CN102306384B (zh) 一种基于单幅图像的颜色恒常性处理方法
CN110310241B (zh) 一种融合深度区域分割的多大气光值交通图像去雾方法
CN111611861B (zh) 一种基于多尺度特征关联的图像变化检测方法
CN112488046B (zh) 一种基于无人机高分辨率影像的车道线提取方法
Agrawal et al. A comprehensive review on analysis and implementation of recent image dehazing methods
CN113034378B (zh) 一种区分电动汽车与燃油汽车的方法
Zhang et al. Single image numerical iterative dehazing method based on local physical features
CN111598814B (zh) 基于极端散射通道的单图像去雾方法
Yuan et al. Image dehazing based on a transmission fusion strategy by automatic image matting
CN115376108A (zh) 一种复杂天气下障碍物检测方法及装置
Singh et al. Visibility enhancement and dehazing: Research contribution challenges and direction
CN115689932A (zh) 一种基于深度神经网络的图像去雾方法
Wang et al. Haze removal algorithm based on single-images with chromatic properties
CN114120150A (zh) 一种基于无人机成像技术的道路目标检测方法
Hao et al. Texture enhanced underwater image restoration via laplacian regularization
Bartani et al. An adaptive optic-physic based dust removal method using optimized air-light and transfer function
CN116229404A (zh) 一种基于距离传感器的图像去雾优化方法
Zahra et al. Visibility enhancement of scene images degraded by foggy weather condition: An application to video surveillance
CN101799929B (zh) 指定颜色层提取设备和方法
CN109961413B (zh) 大气光方向优化估计的图像去雾迭代算法
CN113205469A (zh) 一种基于改进暗通道的单幅图像去雾方法
CN112767275A (zh) 一种基于人工稀疏标注信息引导的单张图像去雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant