CN112950521B - 一种图像去雾方法及生成器网络 - Google Patents
一种图像去雾方法及生成器网络 Download PDFInfo
- Publication number
- CN112950521B CN112950521B CN202110461062.2A CN202110461062A CN112950521B CN 112950521 B CN112950521 B CN 112950521B CN 202110461062 A CN202110461062 A CN 202110461062A CN 112950521 B CN112950521 B CN 112950521B
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- generator
- network
- convolution kernels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000010586 diagram Methods 0.000 claims abstract description 13
- 230000004913 activation Effects 0.000 claims description 59
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 125000004122 cyclic group Chemical group 0.000 claims description 11
- 239000003595 mist Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 3
- 238000005457 optimization Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 46
- 238000005070 sampling Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 229940060587 alpha e Drugs 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种暗通道注意力优化循环生成对抗网络的图像去雾方法，步骤包括：建立暗通道注意力子网络，建立生成器G1、G2，建立判别器DX全局、DX局部、DY全局、DY局部；计算有雾图像暗通道，将有雾图像输入生成器G1，将暗通道输入暗通道注意力子网络得到注意力图，对生成器中间输出进行加权，最终得到去雾图像；采用全局判别器对去雾图像进行判别，将去雾图像随机裁剪出四个小块并采用局部判别器进行判别；能去除图像中的雾霾，增加图像视觉性，有效解决雾天条件下图像模糊不清的问题。
Description
技术领域
本发明涉及单幅图像去雾技术领域，具体的说，设计了一种图像去雾方法及生成器网络。
背景技术
信息时代，图像处理技术被广泛应用于人脸识别、步态追踪、道路监控、自动驾驶、目标检测、无人机航拍以及空间探索等方面，但图像信息处理系统的性能极易受气候变化的影响。雾霾的存在是因为空气中存在大量的灰尘、水蒸气和大直径悬浮颗粒，这些悬浮粒子的散射作用，使得摄像设备获取的图像对比度降低、颜色失真、细节特征模糊。对户外图像制造了大量噪声，使户外图像出现明显降质。这些退化现象，直接影响了后续的目标检测等任务。
图像去雾可以分为多幅图像去雾和单幅图像去雾。多幅图像去雾根据同一场景在不同时刻、不同天气条件下的多幅图像或同一场景在不同偏振条件下的多幅图像提供的特征信息，对有雾图像进行图像去雾处理。这类算法简单、运行速度快，不仅可以得到更多的有效信息，有利于病态问题的求解，还可以处理一些特殊情况下的图像，例如夜间图像。但是多幅图像去雾需要同一场景的多幅图像信息，在实践中较难获得所需的附加信息或多个图像，所以实用性较低。因此，该类算法在实际生活中不能广泛使用。由于多幅图像去雾局限性较大，所以单幅图像去雾得到了研究者的广泛关注。单幅图像去雾就是通过一定的图像处理技术对单幅图像进行图像增强或图像复原，去除有雾图像中的雾，恢复图像的细节信息，得到视觉效果较好的图像。
目前，图像去雾算法主要可以分为三类：第一类是基于图像增强，基于图像增强的去雾算法有针对的突出图像的有用信息，提高图像质量。这类算法在本质上就是颜色校正和对比度增强，复原后的图像可能发生颜色失真现象。第二类是基于图像复原，基于图像复原的去雾算法通过建立有雾图像的退化模型，反推出图像复原模型。这类算法去雾效果较好，但是要准确估计图像退化模型的中间参数。第三类为基于深度学习的图像去雾算法，例如卷积神经网络应用于图像去雾。
发明内容
本发明的目的在于针对现有技术的不足，提出一种暗通道注意力优化循环生成对抗网络的图像去雾方法及生成器网络，该方法能去除图像中的雾霾，增加图像视觉性，有效解决雾天条件下图像模糊不清的问题。
为实现上述目的，本发明提出的一种图像去雾方法，通过采用生成器网络实现图像去雾过程，所述方法包括如下步骤：
将输入图像调整为256×256分辨率，有雾图像输入判别器DX全局进行判别，无雾图像输入判别器DY全局进行判别；
将有雾图像、无雾图像分别随机裁剪出四个128×128小块，输入判别器DX局部、判别器DY局部进行判别；
获取所述有雾图像的RGB三通道中每个像素位置像素值最低的像素，以得到灰度图，然后以每一个像素为中心，取15x15大小的矩形窗口，将矩形窗口中像素最小值代替中心像素，得到有雾图像暗通道；
将暗通道输入暗通道注意力子网络，得到注意力图；
将有雾图像输入去雾生成器G1，
在生成器与暗通道注意力子网络相同位置，将注意力对生成器输出特征图进行加权处理；
生成器G1输出去雾图像；
其中，所述生成器网络包括去雾生成器G1、加雾生成器G2、判别器DX全局、判别器DY全局、判别器DX局部和判别器DY局部。
一种实现方式中，所述去雾生成器G1包括暗通道注意力子网络，编码器结构，中间转换层结构和解码器结构；
所述暗通道注意力子网络含有二十四个卷积层，每层均含有一组64个3×3×1的卷积核，步幅为2，填充为1，一个BatchNormalizaiton层，一个ReLU激活函数，一组1个3×3×64的卷积核，步幅为2，填充为1，一个BatchNormalizaiton层，一个ReLU激活函数，一组1个1×1×64的卷积核，步幅为1，填充为0，一个Sigmoid激活函数；输入有雾图像暗通道，经过暗通道注意力子网络处理后输出注意力图；
所述编码器结构为三层卷积网络结构包括：第一层卷积层含有64个7×7×3的卷积核；第二层卷积层含有128个3×3×64的卷积核；第三层卷积层含有256个3×3×128的卷积核，步幅为2，填充为1；
所述中间转换层结构为二十四层卷积网络结构，卷积层每层网络结构均串联两组256个3×3×256的卷积核，步幅为2，填充为1，一个BatchNormalizaiton层，一个ReLU激活函数，所得输出与输入相加，然后与暗通道注意力子网络输出的注意力图通过元素乘法进行融合；
所述解码层为五层卷积网络结构，第一层含有256个4×4×256的转置卷积核，第二层含有128个1×1×256的卷积核；第三层含有128个4×4×128的转置卷积核；第四层含有64个1×1×128的卷积核；并在每一个卷积网络后均连接一个BatchNormalizaiton层和ReLU激活函数；第五层含有64个4×4×64的转置卷积核，后接Tanh激活函数，每层转置卷积的输入为前一层网络的输出与对应编码器网络层输出的叠加。
一种实现方式中，所述去雾生成器G1的循环一致损失函数的具体表达为：
Lcyc＝||G2(G1(x))-x||1+||G1(G2(y))-y||1
所述去雾生成器G1的对抗损失函数的具体表达为：
其中，Lcyc表示循环一致损失函数，LGAN表示对抗损失函数，x表示有雾图像，y表示无雾图像，G1表示去雾生成器，G2表示加雾生成器，DX表示判别有雾图像的判别器，DY表示判别无雾图像的判别器，|| ||1表示L1范数，G1(x)表示生成的去雾图像，G2(G1(x))表示复原的有雾图像，G2(y)表示生成的有雾图像，G1(G2(y))表示复原的清晰图像，y～pdata(y)表示从清晰图像数据集data(y)中进行采样，x～pdata(x)表示从有雾图像数据集data(x)中进行采样，DY(y)表示判别器DY对真实清晰图像y进行判别，DX(x)表示判别器DX对真实有雾图像x进行判别，DY(G1(x))表示判别器DY对生成的清晰图像G1(x)进行判别，DX(G2(y))表示判别器DX对生成的有雾图像G2(y)进行判别。
一种实现方式中，判别器DX全局，DY全局，DX局部，DY局部网络结构一致，均为七层网络结构；
第一层卷积层包含64个4×4×3的卷积核，后接LeakeyReLU激活函数；
第二到第五层网络结构一致，均由4×4尺寸的卷积核以及BatchNormalizaiton层，LeakryReLU激活函数组成，其中卷积核步长为2，填充为1，卷积核个数依次为128-256-512，第六层网络、七层网络结构一致，均由4×4尺寸的卷积核以及BatchNormalizaiton层，LeakryReLU激活函数组成，卷积核个数均为512，第八层为1个4×4×512的卷积层。
一种实现方式中，所述去雾生成器G1的代价函数L计算公式为：
L＝αLGAN(G1，DY，X，Y)+βLGAN(G2，DX，Y，X)+γLcyc# (4)
其中α，β，γ表示可调参数，Lcyc表示循环一致损失函数，LGAN表示对抗损失函数，x表示有雾图像，y表示无雾图像，G1表示去雾生成器，G2表示加雾生成器，DX表示判别有雾图像的判别器，DY表示判别无雾图像的判别器，|| ||1表示L1范数，G1(x)表示生成的去雾图像，G2(G1(x))表示复原的有雾图像，G2(y)表示生成的有雾图像，G1(G2(y))表示复原的清晰图像，y～pdata(y)表示从清晰图像数据集data(y)中进行采样，x～pdata(x)表示从有雾图像数据集data(x)中进行采样，DY(y)表示判别器DY对真实清晰图像y进行判别，DX(x)表示判别器DX对真实有雾图像x进行判别，DY(G1(x))表示判别器DY对生成的清晰图像G1(x)进行判别，DX(G2(y))表示判别器DX对生成的有雾图像G2(y)进行判别。
一种实现方式中，所述去雾生成器G1的输入端为有雾图像X，输出端为无雾图像Y；
所述加雾生成器G2的输出端为有雾图像Y，输入端为无雾图像X；
所述去雾生成器G1的输入端与所述判别器DX全局和所述判别器DX局部；
所述去雾生成器G1的输出端与所述判别器DY全局和所述判别器DY局部；
所述加雾生成器G2的输出端与所述判别器DX全局和所述判别器DX局部；
所述加雾生成器G2的输入端与所述判别器DY全局和所述判别器DY局部。
此外，本发明还公开了一种生成器网络，其特征在于，包括：
去雾生成器G1、加雾生成器G2、判别器DX全局、判别器DY全局、判别器DX局部和判别器DY局部；
所述去雾生成器G1的输入端为有雾图像X，输出端为无雾图像Y；
所述加雾生成器G2的输出端为有雾图像Y，输入端为无雾图像X；
所述去雾生成器G1的输入端与所述判别器DX全局和所述判别器DX局部；
所述去雾生成器G1的输出端与所述判别器DY全局和所述判别器DY局部；
所述加雾生成器G2的输出端与所述判别器DX全局和所述判别器DX局部；
所述加雾生成器G2的输入端与所述判别器DY全局和所述判别器Dy局部。
一种实现方式中，所述去雾生成器G1包括暗通道注意力子网络，编码器结构，中间转换层结构和解码器结构；
所述暗通道注意力子网络含有二十四个卷积层，每层均含有一组64个3×3×1的卷积核，步幅为2，填充为1，一个BatchNormalizaiton层，一个ReLU激活函数，一组1个3×3×64的卷积核，步幅为2，填充为1，一个BatchNormalizaiton层，一个ReLU激活函数，一组1个1×1×64的卷积核，步幅为1，填充为0，一个Sigmoid激活函数；输入有雾图像暗通道，经过暗通道注意力子网络处理后输出注意力图；
所述编码器结构为三层卷积网络结构包括：第一层卷积层含有64个7×7×3的卷积核；第二层卷积层含有128个3×3×64的卷积核；第三层卷积层含有256个3×3×128的卷积核，步幅为2，填充为1；
所述中间转换层结构为二十四层卷积网络结构，卷积层每层网络结构均串联两组256个3×3×256的卷积核，步幅为2，填充为1，一个BatchNormalizaiton层，一个ReLU激活函数，所得输出与输入相加，然后与暗通道注意力子网络输出的注意力图通过元素乘法进行融合；
所述解码层为五层卷积网络结构，第一层含有256个4×4×256的转置卷积核，第二层含有128个1×1×256的卷积核；第三层含有128个4×4×128的转置卷积核；第四层含有64个1×1×128的卷积核；并在每一个卷积网络后均连接一个BatchNormalizaiton层和ReLU激活函数；第五层含有64个4×4×64的转置卷积核，后接Tanh激活函数，每层转置卷积的输入为前一层网络的输出与对应编码器网络层输出的叠加。
一种实现方式中，所述去雾生成器G1的循环一致损失函数的具体表达为：
Lcyc＝||G2(G1(x))-x||1+||G1(G2(y))-y||1
所述去雾生成器G1的对抗损失函数的具体表达为：
其中，Lcyc表示循环一致损失函数，LGAN表示对抗损失函数，x表示有雾图像，y表示无雾图像，|| ||1表示L1范数，G1(x)表示生成的去雾图像，G2(G1(x))表示复原的有雾图像，G2(y)表示生成的有雾图像，G1(G2(y))表示复原的清晰图像，y～pdata(y)表示从清晰图像数据集data(y)中进行采样，x～pdata(x)表示从有雾图像数据集data(x)中进行采样，DY(y)表示判别器DY对真实清晰图像y进行判别，DX(x)表示判别器DX对真实有雾图像x进行判别，DY(G1(x))表示判别器DY对生成的清晰图像G1(x)进行判别，DX(G2(y))表示判别器DX对生成的有雾图像G2(y)进行判别。
一种实现方式中，判别器DX全局，DY全局，DX局部，DY局部网络结构一致，均为七层网络结构；
第一层卷积层包含64个4×4×3的卷积核，后接LeakeyReLU激活函数；
第二到第五层网络结构一致，均由4×4尺寸的卷积核以及BatchNormalizaiton层，LeakryReLU激活函数组成，其中卷积核步长为2，填充为1，卷积核个数依次为128-256-512，第六层网络、七层网络结构一致，均由4×4尺寸的卷积核以及BatchNormalizaiton层，LeakryReLU激活函数组成，卷积核个数均为512，第八层为1个4×4×512的卷积层。
本发明与现有技术相比，具有如下优点和有益效果：
1.生成器网络模型直接在有雾图像和无雾图像上进行训练，避免了对合成数据集的需要，且真实图像对模型训练效果更佳。
2.暗通道注意力子网络能够有效引导模型学习，使得到的清晰图像更加真实，同时提高了峰值信噪比，使得去雾后的图像具有很好的视觉效果。
3.本发明具有设计科学、实用性强、操作简便和去雾效果好的优点。
附图说明
图1为本发明图像去雾方法框架；
图2为本发明提出的生成器网络结构；
图3为残差块网络结构；
图4为本发明提出的判别器网络结构；
图5(a)为有雾图像I；
图5(b)为有雾图像I的去雾图像；
图6(a)为有雾图像II；
图6(b)为有雾图像II的去雾图像；
图7(a)为有雾图像III；
图7(b)为有雾图像III的去雾图像；
图8(a)为有雾图像III；
图8(b)为有雾图像III的去雾图像；
图9(a)为有雾图像III；
图9(b)为有雾图像III的去雾图像；
图10(a)为有雾图像III；
图10(b)为有雾图像III的去雾图像；
图11(a)为有雾图像III；
图11(b)为有雾图像III的去雾图像；
图12(a)为有雾图像III；
图12(b)为有雾图像III的去雾图像；
图13为图像去雾方法的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明技术方案作进一步详细描述，所描述的具体实施例仅对本发明进行解释说明，并不用以限制本发明。
本发明所提出的一种图像去雾方法的具体步骤如下：
首先建立暗通道注意力子网络，生成器G1、G2，判别器DX全局，DY全局，DX局部，DY局部所图1所示。
其中生成器G网络模型如图2所示，包括暗通道注意力子网络，编码器结构，中间转换层结构和解码器结构；
暗通道注意力子网络含有二十四个卷积层，每层均含有一组64个3×3×1的卷积核，步幅为2，填充为1，一个BatchNormalizaiton层，一个ReLU激活函数，一组1个3×3×64的卷积核，步幅为2，填充为1，一个BatchNormalizaiton层，一个ReLU激活函数，一组1个1×1×64的卷积核，步幅为1，填充为0，一个Sigmoid激活函数；输入有雾图像暗通道，经过暗通道注意力子网络处理后输出注意力图；
编码器结构为三层卷积网络结构，每层网络结构之后设置BatchNormalizaiton层和ReLU激活函数；第一层卷积层含有64个7×7×3的卷积核，步幅为1，填充为3；第二层卷积层含有128个3×3×64的卷积核，步幅为2，填充为1；第三层卷积层含有256个3×3×128的卷积核，步幅为2，填充为1；
中间转换层结构为二十四层卷积网络结构，卷积层每层网络结构均串联两组256个3×3×256的卷积核，步幅为2，填充为1，一个BatchNormalizaiton层，一个ReLU激活函数，如图3所示，所得输出与输入相加，然后与经过Sigmoid激活后的暗通道注意分支相同网络层的输出进行元素乘法。
解码器为五层卷积网络结构，第一层含有256个4×4×256的转置卷积核，步幅为2，填充为1；第二层含有128个1×1×256的卷积核；第三层含有128个4×4×128的转置卷积核，步幅为2，填充为1；第四层含有64个1×1×128的卷积核；以上四层卷积网络后均连接一个BatchNormalizaiton层和ReLU激活函数；第五层含有64个4×4×64的转置卷积核，步幅为2，填充为1，后接一个Tanh激活函数。每层转置卷积的输入为前一层网络的输出与对应编码器网络层输出的叠加。
考虑到暗通道注意力输出特征图感受野应与主网络保持一致，因此设计暗通道分支网络结构与主网络编码器、中间转换层结构一致：暗通道注意力子网络共包含二十七层卷积网络结构，每层网络结构之后设置BatchNormalizaiton层和ReLU激活函数；第一层卷积层含有64个7×7×1的卷积核，步幅为1，填充为3；第二层卷积层含有64个3×3×64的卷积核，步幅为2，填充为1；第三层卷积层含有1个3×3×64的卷积核，步幅为2，填充为1；后二十四层网络每层均含有一组64个3×3×1的卷积核，步幅为2，填充为1，一个BatchNormalizaiton层，一个ReLU激活函数，一组1个3×3×64的卷积核，步幅为2，填充为1，一个BatchNormalizaiton层，一个ReLU激活函数；
生成器G2网络模型无暗通道注意力子网络，其余与生成器G1网络结构一致。
判别器DX全局，DY全局，DX局部和DY局部网络结构一致，为七层网络结构，如图4所示，第一层卷积层包含64个4×4×3的卷积核，步幅为2，填充为1，后接LeakeyReLU激活函数；第二到第五层网络结构一致，均由4×4尺寸的卷积核以及BatchNormalizaiton层，LeakryReLU激活函数组成，其中卷积核步长为2，填充为1，卷积核个数依次为128-256-512，第六、七层网络结构一致，均由4×4尺寸的卷积核以及BatchNormalizaiton层，LeakryReLU激活函数组成，其中卷积核步长为1，填充为1，卷积核个数均为512，第八层为1个4×4×512的卷积层，步长为1，填充为1。
结合上图，如图13所示，将输入图像调整为256×256分辨率，有雾图像输入判别器DX全局进行判别，无雾图像输入判别器DY全局进行判别；
对有雾图像计算暗通道：取有雾图像RGB三通道中每个像素位置像素值最低的像素，得到灰度图，然后以每一个像素为中心，取15x15大小的矩形窗口，将矩形窗口中像素最小值代替中心像素，得到有雾图像暗通道；
取有雾图像RGB三通道中每个像素位置像素值最低的像素，得到灰度图，然后以每一个像素为中心，取15x15大小的矩形窗口，将矩形窗口中像素最小值代替中心像素，得到有雾图像暗通道；
将暗通道输入暗通道注意力子网络，得到注意力图；
将有雾图像输入生成器；
在生成器与暗通道注意力子网络相同位置，将注意力对生成器输出特征图进行加权；
生成器输出去雾图像；
将去雾图像输入生成器G2，得到复原图像；
计算循环一致损失函数：
Lcyc＝||G2(G1(x))-x||1+||G1(G2(y))-y||1# (1)
计算对抗损失函数：
LTotal＝αLGAN(G1，DY，X，Y)+βLGAN(G2，DX，Y，X)+γLcyc# (4)
其中α，β，γ表示可调参数，α∈[5，15]，β∈[1，2]，γ∈[1，2]，Lcvc表示循环一致损失函数，LGAN表示对抗损失函数，x表示有雾图像，y表示无雾图像，G1表示去雾生成器，G2表示加雾生成器，DX表示判别有雾图像的判别器，DY表示判别无雾图像的判别器，|| ||1表示L1范数，G1(x)表示生成的去雾图像，G2(G1(x))表示复原的有雾图像，G2(y)表示生成的有雾图像，G1(G2(y))表示复原的清晰图像，y～pdata(y)表示从清晰图像数据集data(y)中进行采样，x～pdata(x)表示从有雾图像数据集data(x)中进行采样，DY(y)表示判别器DY对真实清晰图像y进行判别，DX(x)表示判别器DX对真实有雾图像x进行判别，DY(G1(x))表示判别器DY对生成的清晰图像G1(x)进行判别，DX(G2(y))表示判别器DX对生成的有雾图像G2(y)进行判别。
对生成器、判别器进行更新；
判断当前模型是否为最优模型，若否，则继续训练模型；若是，则保存模型；
将有雾图像输入最优生成器模型，得到去雾后的图像。如图5(a)-12(a)所示为输入有雾图像，如图5(b)-12(b)所示为对应去雾后的图像。可以观察到，本发明提出的图像去雾方法去雾彻底，尤其对于浓雾有较好的去除效果，且保留了图像的细节。
最后需要说明的是，以上具体实施方式仅用以说明本专利技术方案而非限制，尽管参照较佳实施例对本专利进行了详细说明，本领域的普通技术人员应当理解，可以对本专利的技术方案进行修改或者等同替换，而不脱离本专利技术方案的精神和范围，其均应涵盖在本专利的权利要求范围当中。
Claims (7)
1.一种图像去雾方法，其特征在于，通过采用生成器网络实现图像去雾过程，所述方法包括如下步骤：
将输入图像调整为256×256分辨率，有雾图像输入判别器D_X全局进行判别，无雾图像输入判别器D_Y全局进行判别；
将有雾图像、无雾图像分别随机裁剪出四个128×128小块，输入判别器D_X局部、判别器D_Y局部进行判别；
获取所述有雾图像的RGB三通道中每个像素位置像素值最低的像素，以得到灰度图，然后以每一个像素为中心，取15x15大小的矩形窗口，将矩形窗口中像素最小值代替中心像素，得到有雾图像暗通道；
将暗通道输入暗通道注意力子网络，得到注意力图；
将有雾图像输入去雾生成器G1，
在生成器与暗通道注意力子网络相同位置，将注意力对生成器输出特征图进行加权处理；
生成器输出去雾图像；
其中，所述生成器网络包括去雾生成器G1、加雾生成器G2、判别器D_X全局、判别器D_Y全局、判别器D_X局部和判别器D_Y局部；
所述去雾生成器G1包括暗通道注意力子网络，编码器结构，中间转换层结构和解码器结构；
所述暗通道注意力子网络含有二十四个卷积层，每层均含有一组64个3×3×1的卷积核，步幅为2，填充为1，一个BatchNormalizaiton层，一个ReLU激活函数，一组1个3×3×64的卷积核，步幅为2，填充为1，一个BatchNormalizaiton层，一个ReLU激活函数，一组1个1×1×64的卷积核，步幅为1，填充为0，一个Sigmoid激活函数；输入有雾图像暗通道，经过暗通道注意力子网络处理后输出注意力图；
所述编码器结构为三层卷积网络结构包括：第一层卷积层含有64个7×7×3的卷积核；第二层卷积层含有128个3×3×64的卷积核；第三层卷积层含有256个3×3×128的卷积核，步幅为2，填充为1；
所述中间转换层结构为二十四层卷积网络结构，卷积层每层网络结构均串联两组256个3×3×256的卷积核，步幅为2，填充为1，一个BatchNormalizaiton层，一个ReLU激活函数，所得输出与输入相加，然后与暗通道注意力子网络输出的注意力图通过元素乘法进行融合；
所述解码层为五层卷积网络结构，第一层含有256个4×4×256的转置卷积核，第二层含有128个1×1×256的卷积核；第三层含有128个4×4×128的转置卷积核；第四层含有64个1×1×128的卷积核；并在每一个卷积网络后均连接一个BatchNormalizaiton层和ReLU激活函数；第五层含有64个4×4×64的转置卷积核，后接Tanh激活函数，每层转置卷积的输入为前一层网络的输出与对应编码器网络层输出的叠加；
所述去雾生成器G1的循环一致损失函数的具体表达为：
Lcyc＝||G2(G1(x))-x||1+||G1(G2(y))-y||1
所述去雾生成器G1的对抗损失函数的具体表达为：
其中，Lcyc表示循环一致损失函数，LGAN表示对抗损失函数，x表示有雾图像，y表示无雾图像，G1表示去雾生成器，G2表示加雾生成器，D_X表示判别有雾图像的判别器，D_Y表示判别无雾图像的判别器；
判别器D_X全局，D_Y全局，D_X局部，D_Y局部网络结构一致，均为七层网络结构；
第一层卷积层包含64个4×4×3的卷积核，后接LeakeyReLU激活函数；
第二到第五层网络结构一致，均由4×4尺寸的卷积核以及BatchNormalizaiton层，LeakryReLU激活函数组成，其中卷积核步长为2，填充为1，卷积核个数依次为128-256-512，第六层网络、七层网络结构一致，均由4×4尺寸的卷积核以及BatchNormalizaiton层，LeakryReLU激活函数组成，卷积核个数均为512，第八层为1个4×4×512的卷积层。
2.根据权利要求1所述的图像去雾方法，其特征在于，所述去雾生成器G1的代价函数L计算公式为：
Lcyc＝||G2(G1(x))-x||1+||G1(G2(y))-y||1#(1)
L＝αLGAN(G1,DY,X,Y)+βLGAN(G2,DX,Y,X)+γLcyc#(4)
其中α，β，γ表示可调参数，Lcyc表示循环一致损失函数，LGAN表示对抗损失函数，x表示有雾图像，y表示无雾图像，G1表示去雾生成器，G2表示加雾生成器，D_X表示判别有雾图像的判别器，D_Y表示判别无雾图像的判别器。
3.根据权利要求1-2任一项所述的图像去雾方法，其特征在于，
所述去雾生成器G1的输入端为有雾图像X，输出端为无雾图像Y；
所述加雾生成器G2的输出端为有雾图像Y，输入端为无雾图像X；
所述去雾生成器G1的输入端与所述判别器D_X全局和所述判别器D_X局部；
所述去雾生成器G1的输出端与所述判别器D_Y全局和所述判别器D_Y局部；
所述加雾生成器G2的输出端与所述判别器D_X全局和所述判别器D_X局部；
所述加雾生成器G2的输入端与所述判别器D_Y全局和所述判别器D_Y局部。
4.一种用于实现权利要求1所述方法的生成器网络构建方法，其特征在于，包括：
去雾生成器G1、加雾生成器G2、判别器D_X全局、判别器D_Y全局、判别器D_X局部和判别器D_Y局部；
所述去雾生成器G1的输入端为有雾图像X，输出端为无雾图像Y；
所述加雾生成器G2的输出端为有雾图像Y，输入端为无雾图像X；
所述去雾生成器G1的输入端与所述判别器D_X全局和所述判别器D_X局部；
所述去雾生成器G1的输出端与所述判别器D_Y全局和所述判别器D_Y局部；
所述加雾生成器G2的输出端与所述判别器D_X全局和所述判别器D_X局部；
所述加雾生成器G2的输入端与所述判别器D_Y全局和所述判别器D_Y局部；
所述去雾生成器G1包括暗通道注意力子网络，编码器结构，中间转换层结构和解码器结构；
所述暗通道注意力子网络含有二十四个卷积层，每层均含有一组64个3×3×1的卷积核，步幅为2，填充为1，一个BatchNormalizaiton层，一个ReLU激活函数，一组1个3×3×64的卷积核，步幅为2，填充为1，一个BatchNormalizaiton层，一个ReLU激活函数，一组1个1×1×64的卷积核，步幅为1，填充为0，一个Sigmoid激活函数；输入有雾图像暗通道，经过暗通道注意力子网络处理后输出注意力图；
所述编码器结构为三层卷积网络结构包括：第一层卷积层含有64个7×7×3的卷积核；第二层卷积层含有128个3×3×64的卷积核；第三层卷积层含有256个3×3×128的卷积核，步幅为2，填充为1；
所述中间转换层结构为二十四层卷积网络结构，卷积层每层网络结构均串联两组256个3×3×256的卷积核，步幅为2，填充为1，一个BatchNormalizaiton层，一个ReLU激活函数，所得输出与输入相加，然后与暗通道注意力子网络输出的注意力图通过元素乘法进行融合；
所述解码层为五层卷积网络结构，第一层含有256个4×4×256的转置卷积核，第二层含有128个1×1×256的卷积核；第三层含有128个4×4×128的转置卷积核；第四层含有64个1×1×128的卷积核；并在每一个卷积网络后均连接一个BatchNormalizaiton层和ReLU激活函数；第五层含有64个4×4×64的转置卷积核，后接Tanh激活函数，每层转置卷积的输入为前一层网络的输出与对应编码器网络层输出的叠加；
所述去雾生成器G1的循环一致损失函数的具体表达为：
lcyc＝||G2(G1(x))-x||1+||G1(G2(y))-y||1
所述去雾生成器G1的对抗损失函数的具体表达为：
其中，Lcyc表示循环一致损失函数，LGAN表示对抗损失函数，x表示有雾图像，y表示无雾图像，G1表示去雾生成器，G2表示加雾生成器，D_X表示判别有雾图像的判别器，D_Y表示判别无雾图像的判别器；
判别器D_X全局，D_Y全局，D_X局部，D_Y局部网络结构一致，均为七层网络结构；
第一层卷积层包含64个4×4×3的卷积核，后接LeakeyReLU激活函数；
第二到第五层网络结构一致，均由4×4尺寸的卷积核以及BatchNormalizaiton层，LeakryReLU激活函数组成，其中卷积核步长为2，填充为1，卷积核个数依次为128-256-512，第六层网络、七层网络结构一致，均由4×4尺寸的卷积核以及BatchNormalizaiton层，LeakryReLU激活函数组成，卷积核个数均为512，第八层为1个4×4×512的卷积层。
5.根据权利要求4所述的生成器网络构建方法，其特征在于，所述去雾生成器G1包括暗通道注意力子网络，编码器结构，中间转换层结构和解码器结构；
所述暗通道注意力子网络含有二十四个卷积层，每层均含有一组64个3×3×1的卷积核，步幅为2，填充为1，一个BatchNormalizaiton层，一个ReLU激活函数，一组1个3×3×64的卷积核，步幅为2，填充为1，一个BatchNormalizaiton层，一个ReLU激活函数，一组1个1×1×64的卷积核，步幅为1，填充为0，一个Sigmoid激活函数；输入有雾图像暗通道，经过暗通道注意力子网络处理后输出注意力图；
所述编码器结构为三层卷积网络结构包括：第一层卷积层含有64个7×7×3的卷积核；第二层卷积层含有128个3×3×64的卷积核；第三层卷积层含有256个3×3×128的卷积核，步幅为2，填充为1；
所述中间转换层结构为二十四层卷积网络结构，卷积层每层网络结构均串联两组256个3×3×256的卷积核，步幅为2，填充为1，一个BatchNormalizaiton层，一个ReLU激活函数，所得输出与输入相加，然后与暗通道注意力子网络输出的注意力图通过元素乘法进行融合；
所述解码层为五层卷积网络结构，第一层含有256个4×4×256的转置卷积核，第二层含有128个1×1×256的卷积核；第三层含有128个4×4×128的转置卷积核；第四层含有64个1×1×128的卷积核；并在每一个卷积网络后均连接一个BatchNormalizaiton层和ReLU激活函数；第五层含有64个4×4×64的转置卷积核，后接Tanh激活函数，每层转置卷积的输入为前一层网络的输出与对应编码器网络层输出的叠加。
6.根据权利要求4或5所述的生成器网络构建方法，其特征在于，所述去雾生成器G1的循环一致损失函数的具体表达为：
Lcyc＝||G2(G1(x))-x||1+||G1(G2(y))-y||1
所述去雾生成器G1的对抗损失函数的具体表达为：
其中，Lcyc表示循环一致损失函数，LGAN表示对抗损失函数，x表示有雾图像，y表示无雾图像，G1表示去雾生成器，G2表示加雾生成器，D_X表示判别有雾图像的判别器，D_Y表示判别无雾图像的判别器。
7.根据权利要求4所述的生成器网络构建方法，其特征在于，判别器D_X全局，D_Y全局，D_X局部，D_Y局部网络结构一致，均为七层网络结构；
第一层卷积层包含64个4×4×3的卷积核，后接LeakeyReLU激活函数；
第二到第五层网络结构一致，均由4×4尺寸的卷积核以及BatchNormalizaiton层，LeakryReLU激活函数组成，其中卷积核步长为2，填充为1，卷积核个数依次为128-256-512，第六层网络、七层网络结构一致，均由4×4尺寸的卷积核以及BatchNormalizaiton层，LeakryReLU激活函数组成，卷积核个数均为512，第八层为1个4×4×512的卷积层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110461062.2A CN112950521B (zh) | 2021-04-27 | 2021-04-27 | 一种图像去雾方法及生成器网络 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110461062.2A CN112950521B (zh) | 2021-04-27 | 2021-04-27 | 一种图像去雾方法及生成器网络 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112950521A CN112950521A (zh) | 2021-06-11 |
| CN112950521B true CN112950521B (zh) | 2024-03-01 |
Family
ID=76233562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110461062.2A Active CN112950521B (zh) | 2021-04-27 | 2021-04-27 | 一种图像去雾方法及生成器网络 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112950521B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114092827A (zh) * | 2021-11-12 | 2022-02-25 | 黑龙江工程学院 | 一种图像数据集生成方法 |
| CN114170107B (zh) * | 2021-12-13 | 2024-06-11 | 浙江理工大学 | 一种基于生成对抗网络的浑浊水下偏振图像复原方法 |
| CN116310276B (zh) * | 2023-05-24 | 2023-08-08 | 泉州装备制造研究所 | 目标检测方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108665432A (zh) * | 2018-05-18 | 2018-10-16 | 百年金海科技有限公司 | 一种基于生成对抗网络的单幅图像去雾方法 |
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
| WO2020206630A1 (zh) * | 2019-04-10 | 2020-10-15 | 深圳市大疆创新科技有限公司 | 用于图像复原的神经网络及其训练与使用方法 |
| CN111915530A (zh) * | 2020-08-06 | 2020-11-10 | 温州大学 | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 |
| CN111986108A (zh) * | 2020-08-07 | 2020-11-24 | 西北工业大学 | 一种基于生成对抗网络的复杂海空场景图像去雾方法 |
| CN112184577A (zh) * | 2020-09-17 | 2021-01-05 | 西安理工大学 | 基于多尺度自注意生成对抗网络的单幅图像去雾方法 |
-
2021
- 2021-04-27 CN CN202110461062.2A patent/CN112950521B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108665432A (zh) * | 2018-05-18 | 2018-10-16 | 百年金海科技有限公司 | 一种基于生成对抗网络的单幅图像去雾方法 |
| WO2020206630A1 (zh) * | 2019-04-10 | 2020-10-15 | 深圳市大疆创新科技有限公司 | 用于图像复原的神经网络及其训练与使用方法 |
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
| CN111915530A (zh) * | 2020-08-06 | 2020-11-10 | 温州大学 | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 |
| CN111986108A (zh) * | 2020-08-07 | 2020-11-24 | 西北工业大学 | 一种基于生成对抗网络的复杂海空场景图像去雾方法 |
| CN112184577A (zh) * | 2020-09-17 | 2021-01-05 | 西安理工大学 | 基于多尺度自注意生成对抗网络的单幅图像去雾方法 |
Non-Patent Citations (2)
| Title |
|---|
| 一种基于条件生成对抗网络的去雾方法;贾绪仲;文志强;;信息与电脑(理论版)(第09期);全文 * |
| 基于条件生成对抗网络的图像去雾算法;梁毓明;张路遥;卢明建;杨国亮;;光子学报(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112950521A (zh) | 2021-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112950521B (zh) | 一种图像去雾方法及生成器网络 | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN110544213B (zh) | 一种基于全局和局部特征融合的图像去雾方法 | |
| CN110288550B (zh) | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 | |
| CN110363727B (zh) | 基于多尺度暗通道先验级联深度神经网络的图像去雾方法 | |
| CN106600560A (zh) | 一种适用于行车记录仪的图像去雾方法 | |
| CN110349093B (zh) | 基于多级沙漏结构的单幅图像去雾模型构建及去雾方法 | |
| CN116311254B (zh) | 一种恶劣天气情况下的图像目标检测方法、系统及设备 | |
| CN111242868B (zh) | 暗视觉环境下基于卷积神经网络的图像增强方法 | |
| CN111709888A (zh) | 一种基于改进的生成对抗网络的航拍图像去雾方法 | |
| CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
| CN111861949B (zh) | 一种基于生成对抗网络的多曝光图像融合方法及系统 | |
| CN111598793A (zh) | 一种用于输电线路图像去雾的方法、系统及存储介质 | |
| CN113628143A (zh) | 一种基于多尺度卷积的加权融合图像去雾方法及装置 | |
| CN113191971A (zh) | 一种基于yuv颜色空间的无人机图像去雾方法 | |
| CN116645547B (zh) | 一种双通道特征探索的视觉识别方法、系统、设备及介质 | |
| CN113487509A (zh) | 一种像素聚类及透射率融合的遥感图像雾气去除方法 | |
| CN116152107A (zh) | 一种基于细节恢复的单幅图像去雾方法 | |
| CN117115612A (zh) | 基于多传感器图像增强优化的多通道图像融合方法及系统 | |
| CN117036182A (zh) | 一种单幅图像去雾方法及系统 | |
| CN115984568A (zh) | 一种基于YOLOv3网络的雾霾环境下目标检测方法 | |
| CN112184566B (zh) | 一种针对附着水雾水珠去除的图像处理方法和系统 | |
| CN114549343A (zh) | 基于双支残差特征融合去雾方法 | |
| CN115272140B (zh) | 红外图像量化和增强方法、系统及存储介质 | |
| Hu et al. | High-low level task combination for object detection in foggy weather conditions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |