CN110570363A - 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法 - Google Patents

基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法 Download PDF

Info

Publication number
CN110570363A
CN110570363A CN201910715042.6A CN201910715042A CN110570363A CN 110570363 A CN110570363 A CN 110570363A CN 201910715042 A CN201910715042 A CN 201910715042A CN 110570363 A CN110570363 A CN 110570363A
Authority
CN
China
Prior art keywords
image
convolution
generator
input
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910715042.6A
Other languages
English (en)
Inventor
徐东伟
朱钟华
魏臣臣
戴宏伟
彭鹏
王永东
宣琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910715042.6A priority Critical patent/CN110570363A/zh
Publication of CN110570363A publication Critical patent/CN110570363A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

一种基于带有金字塔池化与多尺度鉴别器的Cycle‑GAN的图像去雾方法，包括以下步骤：1)生成器由残差网络、金字塔池化网络以及卷积操作构成，且每次卷积结果都需要经过正则化激活运算；2)构建多尺度鉴别器；3)构建Cycle‑GAN；4)提取去雾模型并验证模型效果：从训练好的Cycle‑GAN中提取生成器G作为去雾模型，并用测试集中的有雾图像进行测试。本发明避免了人工设计特征，而且本发明中的多尺度输入、多尺度鉴别器和金字塔池化网络能够更好的保留图像细节特征。

Description

基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去 雾方法
技术领域
本发明涉及一种基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法，属于图像去雾领域。
背景技术
随着科学技术的快速发展，大量户外图像被广泛应用于视频监控、智能交通、目标检测等领域。然而，由于空气中的水汽和悬浮颗粒等，导致采集到的图像具有雾或雾霾信息，使得图像对比度降低，颜色发生变化，而且图像中的许多细节特征被衰减，大大降低了在实际应用中的使用价值。因此，图像去雾技术在诸多领域都有很广泛的应用前景。
经过多年研究，目前图像去雾技术已经取得了大量研究成果。其中，大气散射模型被广泛地应用于去雾算法设计，该模型主要通过估计透射图和大气光值来计算无雾图。He等提出了基于暗通道先验的去雾算法，通过利用无雾图像中至少有一个颜色通道像素值为0这个特点来估计透射图。Zhu等提出了基于色彩衰减先验的去雾算法，通过局部色彩先验来创建线性模型，从而恢复图像信息。另外，还有许多基于深度学的去雾方法。Cai等提出了一种端到端的去雾模型，通过深度学习来估计透射图，并提出了一种新的非线性激活函数。Patricia等提出了一种利用叠加条件生成对抗网络的去雾方法。
发明内容
为了克服现有技术中的不足，本发明提供一种基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法，该方法采用了多尺度输入，在生成器中加入了金字塔池化网络，并使用了两个鉴别器来更好的构建图像细节特征，通过转化有雾图像和无雾图像之间了数据结构特征，直接对图像进行去雾处理；同时，训练所需的数据集不需要成对的有雾和无雾图像。
本发明解决其技术问题所采用的技术方案是：
一种基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法，包括以下步骤：
1)构建生成器：首先对原始图像进行预处理得到分辨率为512×512的输入图像，再对该输入图像进行一次下采样得到分辨率为256×256的下采样图像，然后对输入图像和下采样图像分别进行卷积操作进行编码，再让下采样图像的编码结果通过ResNets进行特征转换，并融合输入图像的编码结果和转换后的特征，使该融合特征再一次通过ResNets进行特征转换，最后经过金字塔池化网络重构图像；
2)构建多尺度鉴别器：将生成器生成的图像缩小一倍得到分辨率为256×256的图像，然后让这两种尺度的图像分别通过多层卷积网络进行特征提取，最终产生两个特征图来分别鉴定生成图像在两个尺度下的真假；
3)构建Cycle-GAN：利用两个生成器和两个多尺度鉴别器构造两次前向传递，并形成循环结构，将有雾图像集作为第一次前向传递中生成器G的输入，生成一次去雾图像，并将该去雾图像作为生成器F的输入，生成二次有雾图像，同时将无雾图像集作为第二次前向传递中生成器F的输入，生成一次有雾图像，并将该有雾图像作为生成器G的输入，生成二次去雾图像，多尺度鉴别器DY鉴别一次去雾图像的真假，并将误差反馈给生成器G来提高该生成器生成去雾图像的真实度，多尺度鉴别器DX鉴别一次有雾图像的真假，并将误差反馈给生成器F来提高该生成器生成有雾图像的真实度，最后利用两个对抗损失和一个循环一致损失使生成器和鉴别器通过反复对抗训练，从而得到最优去雾网络；
4)提取去雾模型并验证模型效果：从训练好的Cycle-GAN中提取生成器G作为去雾模型，并将生成图片的分辨率调整为原始图像的分辨率，得到最终的去雾图像，然后使用测试集中的有雾图像进行测试。
本发明的有益效果：相比于传统先验模型需要基于先验知识设计复杂的物理模型，本发明通过训练循环对抗生成网络优化生成器G，直接通过有雾图像生成无雾图像，避免了人工设计特征，而且本发明中的多尺度输入、多尺度鉴别器和金字塔池化网络能够更好的保留图像细节特征，同时，训练传统的去雾神经网络模型时，需要获取大量场景一一对应的有雾和无雾图像，这一数据集获取难度比较困难，而本发明不需要成对的数据集。
附图说明
图1是生成器结构示意图；
图2是多尺度鉴别器结构示意图；
图3是Cycle-GAN模型整体结构示意图。
具体实施方式
下面结合附图对本发明做进一步说明。
参照图1～图3，一种基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法，包括以下步骤：
1)构建生成器的步骤
生成器由ResNets、金字塔池化网络以及卷积操作构成，且每次卷积结果都需要经过正则化激活运算；
首先，定义如下函数：
NR(y)＝relu(norm(y)) (3)
其中，f(x,k)表示卷积函数，f′(x,k)表示反卷积函数，x表示卷积对象，k表示卷积核，表示卷积运算，表示反卷积运算，NR(y)表示正则激活函数，y表示输入，norm()表示Instance-Norm运算，relu()表示ReLU函数；
其次，ResNets由多个Residual block组成，在每个Residual block中，需要对输入作两次卷积操作，然后与输入进行融合，并且在第一次卷积操作和融合之后分别经过一次正则化激活层，其定义如下：
ri＝NR(f(Ri-1,kri1))，i∈[1,2,…,n] (4)
Ri＝NR(f(ri,kri2)+Ri-1)，i∈[1,2,…,n] (5)
R＝Rn (6)
其中，R0表示ResNets的输入，n表示ResNets由n个Residual block前后相连而成，即前一Residual block的输出为后一Residual block的输入，ri表示第i个Residualblock的中间结果，kri1、kri2表示第i个Residual block中第一次和第二次卷积的卷积核，其卷积核大小都为3×3，且卷积的步长都为1，Ri表示第i个Residual block的输出，则ResNets的输出为R；
再次，金字塔池化网络由多个金字塔池化增强块构成，在每个增强块中，首先对其输入作四种尺度的下采样，然后分别进行一次1×1卷积操作和上采样操作使其大小恢复成输入的大小，再与输入进行融合，最后经过一次1×1卷积操作得到金字塔池化网络的输出，其定义如下：
pi1＝f′(f(f(pi,kpi11),kpi21),kpi31) (7)
pi2＝f′(f(f(pi,kpi12),kpi22),kpi32) (8)
pi3＝f′(f(f(pi,kpi13),kpi23),kpi33) (9)
pi4＝f′(f(f(pi,kpi14),kpi24),kpi34) (10)
Pi＝f([pi1,pi2,pi3,pi4,pi],kpi) (11)
P＝Pn (12)
其中，i∈[1,2,…,n]，n表示金字塔池化网络由n个金字塔增强块构成，Pi表示第i个金字塔增强块的输入，且每个Pi都融合了原始有雾图像，Pi1、Pi2、Pi3、Pi4分别表示在四种尺度下经过三次卷积之后得到的结果，kpi11、kpi12、kpi13、kpi14、kpi21、kpi22、kpi23、kpi24、kpi31、kpi32、kpi33、kpi34分别表示在四种尺度下三次卷积的卷积核，且三次卷积的卷积核大小分别为7×7、3×3、1×1，步长都为1，Pi表示融合多尺度特征之后再卷积的结果，即第i个金字塔增强块的输出，该卷积核为kpi，则最终金字塔池化网络的输出为P；
然后，生成器G的完整构成为：输入是分辨率为512×512的图像M，对其进行下采样得到分辨率为256×256的下采样图像Ms，形成多尺度输入，对于下采样图像Ms，通过卷积和ResNets提取小尺度特征，对于图像M，先经过三次卷积操作并与小尺度特征融合，再经过ResNets和金字塔池化网络得到最终的输出，即去雾图像，其定义如下：
M1＝f(f(Ms,ks1),ks2) (13)
M2＝f(f(M,km1),km2) (14)
M3＝f′(Rs,ks3) (15)
M4＝[M2,M3] (16)
M5＝f′(Rm,km3) (17)
M6＝[M5,M] (18)
m＝f(P,kp) (19)
其中，M1、M2分别表示下采样图像和原图像分别经过两次卷积操作得到的结果，ks1、km1和ks2、km2分别表示第一次和第二次卷积的卷积核，且第一次的卷积核大小为7×7，步长为1，第二次的卷积核大小为3×3，步长为2，Rs表示以M1为输入的ResNets输出，再经过一次反卷积操作得到M3，该卷积核ks3大小为3×3，步长为2，融合M2和M3得到M4并作为新一层ResNets的输入，Rm表示该ResNets的输出，再经过一次反卷积操作得到M5，该卷积核km3大小为3×3，步长为2，融合M5和M得到M6，P表示以M6为输入的金字塔池化网络输出，最后经过一次卷积操作得到生成器的最终输出，该卷积核kp大小为7×7，步长为1；
2)构建多尺度鉴别器
多尺度鉴别器DM由两个独立的鉴别器DM1和DM2构成，分别鉴定生成器生成的图像m和该图像缩小一倍后的图像ms的真假，鉴别器的实质是多层卷积网络，当最终结果趋向于1时，表示图像越逼真，当结果趋向于0时，表示图像越假。DM1和DM2的定义如下：
d1＝f(f(f(f(m,kd11),kd12),kd13),kd14) (20)
d2＝f(f(f(ms,kd21),kd22),kd23) (21)
其中，d1、d2分别表示鉴别器DM1和DM2的鉴别结果，kd11、kd12、kd13、kd14表示鉴别器DM1中四次卷积的卷积核，kd21、kd22、kd23表示鉴别器DM2中三次卷积的卷积核，鉴别器中卷积核大小都为4×4，步长都为2；
3)构建Cycle-GAN
Cycle-GAN由两个生成器G、F和两个多尺度鉴别器DX、DY构造了两次前向传递，并形成循环结构，其输入为有雾图像集X和无雾图像集Y中的单幅图像x，y。首先，第一次前向传递将有雾图像x作为生成器G的输入，生成一次去雾图像，并将该去雾图像作为生成器F的输入，生成二次有雾图像，同时第二次前向传递将无雾图像y作为生成器F的输入，生成一次有雾图像，并将该有雾图像作为生成器G的输入，生成二次去雾图像，多尺度鉴别器DY鉴别一次去雾图像的真假，并将误差反馈给生成器G来提高该生成器生成去雾图像的真实度，多尺度鉴别器DX鉴别一次有雾图像的真假，并将误差反馈给生成器F来提高该生成器生成有雾图像的真实度，最后利用两个对抗损失和一个循环一致损失使生成器和鉴别器通过反复对抗训练，其损失函数定义如下：
其中，LGAN(G,DY,X,Y)、LGAN(F,DX,X,Y)分别表示两次前向传递中的对抗损失，Ey～Pdata(y)、Ex～Pdata(x)、Eys～Pdata(ys)、Exs～Pdata(xs)分别表示无雾图像、有雾图像、一倍下采样无雾图像、一倍下采样有雾图像的真实分布，DX1、DX2和DY1、DY2分别是多尺度鉴别器DX和DY中的两个不同尺度的鉴别器，G(x)、F(y)和Gs(x)、Fs(y)分别表示对应生成器生成的图像和该生成图像缩小一倍后的图像，Lcyc(G,F)表示利用L1范数来计算两次前向传递中输入和输出之间的循环一致损失，L(G,F,DX,DY)表示总体损失，λ表示循环一致损失的权重，G*、F*表示这两个生成器所要达到的训练目标，使得生成器生成的图片能以假乱真，而鉴别器能够更准确的鉴别图像的真假；
4)提取去雾模型并验证模型效果
从训练好的Cycle-GAN中提取生成器G作为去雾模型，并将生成图片的分辨率调整为原始图像的分辨率，得到最终的去雾图像，对测试集中的有雾图像进行测试，以峰值信噪比(PSNR)和结构相似性(SSIM)作为评价指标，其计算公式如下：
SSIM＝l(I,K)·c(I,K)·s(I,K) (37)
其中，I和K表示模型生成的去雾图像和对应的无雾图像，MSE表示图像I和K的均方误差，h、w表示图像的高度和宽度，n为每像素的比特数，一般取8，PSNR表示峰值信噪比，数值越大表示失真越小，单位为dB，μI、μK表示图像I和K的均值，σI 2、σK 2表示图像I和K的方差，σIK表示图像I和K的协方差，C1、C2、C3为常数，通常取C1＝(K1*L)2，C2＝(K2*L)2，C3＝C2/2，一般默认K1＝0.01，K2＝0.03，L＝255，l(I,K)、c(I,K)、s(I,K)分别表示亮度、对比度、结构三方面的图像相似性，SSIM表示结构相似性。
实际实验中的数据，本实施例的处理过程如下：
1)选取实验数据
实验数据来自“Benchmarking Single Image Dehazing and Beyond”，其中，训练集包括有雾和无雾图像各2500张，测试集包括成对的有雾和无雾图像100张。
2)参数确定
本发明的实验是基于tensorflow环境实现的，在整个模型结构中，输入图像的大小为512×512，卷积核ks1、ks2、ks3、km1、km2、km3的数量分别为32、64、32、32、64、16，Rs、Rm中分别设有6个、9个Residual block，且Residual block中卷积核kri1、kri2的数量分别为64、96，金字塔池化网络P中设有2个金字塔增强块，且金字塔增强块中卷积核kpi11、kpi12、kpi13、kpi14的数量都为32，卷积核kpi21、kpi22、kpi23、kpi24、kpi31、kpi32、kpi33、kpi34的数量都为3，循环一致损失的权重λ取10。
3)实验结果
在实验中，我们同时测试了本发明的方法和其他方法，结果统计如表1所示。
表1。

Claims (7)

1.一种基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法，其特征在于，所述方法包括以下步骤：
1)构建生成器：首先对原始图像进行预处理得到分辨率为512×512的输入图像，再对该输入图像进行一次下采样得到分辨率为256×256的下采样图像，然后对输入图像和下采样图像分别进行卷积操作进行编码，再让下采样图像的编码结果通过ResNets进行特征转换，并融合输入图像的编码结果和转换后的特征，使该融合特征再一次通过ResNets进行特征转换，最后经过金字塔池化网络重构图像；
2)构建多尺度鉴别器：将生成器生成的图像缩小一倍得到分辨率为256×256的图像，然后让这两种尺度的图像分别通过多层卷积网络进行特征提取，最终产生两个特征图来分别鉴定生成图像在两个尺度下的真假；
3)构建Cycle-GAN：利用两个生成器和两个多尺度鉴别器构造两次前向传递，并形成循环结构，将有雾图像集作为第一次前向传递中生成器G的输入，生成一次去雾图像，并将该去雾图像作为生成器F的输入，生成二次有雾图像，同时将无雾图像集作为第二次前向传递中生成器F的输入，生成一次有雾图像，并将该有雾图像作为生成器G的输入，生成二次去雾图像，多尺度鉴别器DY鉴别一次去雾图像的真假，并将误差反馈给生成器G来提高该生成器生成去雾图像的真实度，多尺度鉴别器DX鉴别一次有雾图像的真假，并将误差反馈给生成器F来提高该生成器生成有雾图像的真实度，最后利用两个对抗损失和一个循环一致损失使生成器和鉴别器通过反复对抗训练，从而得到最优去雾网络；
4)提取去雾模型并验证模型效果：从训练好的Cycle-GAN中提取生成器G作为去雾模型，并将生成图片的分辨率调整为原始图像的分辨率，得到最终的去雾图像，然后使用测试集中的有雾图像进行测试。
2.如权利要求1所述的基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法，其特征在于，所述步骤1)中，生成器由ResNets、金字塔池化网络以及卷积操作构成，且每次卷积结果都需要经过正则化激活运算，构建ResNets的过程如下：
首先，定义如下函数：
NR(y)＝relu(norm(y)) (3)
其中，f(x,k)表示卷积函数，f′(x,k)表示反卷积函数，x表示卷积对象，k表示卷积核，表示卷积运算，表示反卷积运算，NR(y)表示正则激活函数，y表示输入，norm()表示Instance-Norm运算，relu()表示ReLU函数；
其次，ResNets主要由多个Residual block组成，在每个Residual block中，需要对输入作两次卷积操作，然后与输入进行融合，并且在第一次卷积操作和融合之后分别经过一次正则化激活层，其定义如下：
ri＝NR(f(Ri-1,kri1))，i∈[1,2,…,n] (4)
Ri＝NR(f(ri,kri2)+Ri-1)，i∈[1,2,…,n] (5)
R＝Rn (6)
其中，R0表示ResNets的输入，n表示ResNets由n个Residual block前后相连而成，即前一Residual block的输出为后一Residual block的输入，ri表示第i个Residual block的中间结果，kri1、kri2表示第i个Residual block中第一次和第二次卷积的卷积核，其卷积核大小都为3×3，且卷积的步长都为1，Ri表示第i个Residual block的输出，则ResNets的输出为R。
3.如权利要求2所述的基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法，其特征在于，所述步骤1)中，构建金字塔池化网络的过程如下：
金字塔池化网络由多个金字塔池化增强块构成，在每个增强块中，首先对其输入作四种尺度的下采样，然后分别进行一次1×1卷积操作和上采样操作使其大小恢复成输入的大小，再与输入进行融合，最后经过一次1×1卷积操作得到金字塔池化网络的输出，其定义如下：
pi1＝f′(f(f(pi,kpi11),kpi21),kpi31) (7)
pi2＝f′(f(f(pi,kpi12),kpi22),kpi32) (8)
pi3＝f′(f(f(pi,kpi13),kpi23),kpi33) (9)
pi4＝f′(f(f(pi,kpi14),kpi24),kpi34) (10)
Pi＝f([pi1,pi2,pi3,pi4,pi],kpi) (11)
P＝Pn (12)
其中，i∈[1,2,…,n]，n表示金字塔池化网络由n个金字塔增强块构成，Pi表示第i个金字塔增强块的输入，且每个Pi都融合了原始有雾图像，Pi1、Pi2、Pi3、Pi4分别表示在四种尺度下经过三次卷积之后得到的结果，kpi11、kpi12、kpi13、kpi14、kpi21、kpi22、kpi23、kpi24、kpi31、kpi32、kpi33、kpi34分别表示在四种尺度下三次卷积的卷积核，且三次卷积的卷积核大小分别为7×7、3×3、1×1，步长都为1，Pi表示融合多尺度特征之后再卷积的结果，即第i个金字塔增强块的输出，该卷积核为kpi，则最终金字塔池化网络的输出为P。
4.如权利要求2所述的基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法，其特征在于，所述步骤1)中，构建生成器的过程如下：
生成器G的完整构成为：输入是分辨率为512×512的图像M，对其进行下采样得到分辨率为256×256的下采样图像Ms，形成多尺度输入，对于下采样图像Ms，通过卷积和ResNets提取小尺度特征，对于图像M,先经过三次卷积操作并与小尺度特征融合，再经过ResNets和金字塔池化网络得到最终的输出，即去雾图像，其定义如下：
M1＝f(f(Ms,ks1),ks2) (13)
M2＝f(f(M,km1),km2) (14)
M3＝f′(Rs,ks3) (15)
M4＝[M2,M3] (16)
M5＝f′(Rm,km3) (17)
M6＝[M5,M] (18)
m＝f(P,kp) (19)
其中，M1、M2分别表示下采样图像和原图像分别经过两次卷积操作得到的结果，ks1、km1和ks2、km2分别表示第一次和第二次卷积的卷积核，且第一次的卷积核大小为7×7，步长为1，第二次的卷积核大小为3×3，步长为2，Rs表示以M1为输入的ResNets输出，再经过一次反卷积操作得到M3，该卷积核ks3大小为3×3，步长为2，融合M2和M3得到M4并作为新一层ResNets的输入，Rm表示该ResNets的输出，再经过一次反卷积操作得到M5，该卷积核km3大小为3×3，步长为2，融合M5和M得到M6，P表示以M6为输入的金字塔池化网络输出，最后经过一次卷积操作得到生成器的最终输出，该卷积核kp大小为7×7，步长为1。
5.如权利要求1～4之一所述的基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法，其特征在于，所述步骤2)的过程如下：
多尺度鉴别器DM由两个独立的鉴别器DM1和DM2构成，分别鉴定生成器生成的图像m和该图像缩小一倍后的图像ms的真假，鉴别器的实质是多层卷积网络，当最终结果趋向于1时，表示图像越逼真，当结果趋向于0时，表示图像越假，DM1和DM2的定义如下：
d1＝f(f(f(f(m,kd11),kd12),kd13),kd14) (20)
d2＝f(f(f(ms,kd21),kd22),kd23) (21)
其中，d1、d2分别表示鉴别器DM1和DM2的鉴别结果，kd11、kd12、kd13、kd14表示鉴别器DM1中四次卷积的卷积核，kd21、kd22、kd23表示鉴别器DM2中三次卷积的卷积核，鉴别器中卷积核大小都为4×4，步长都为2。
6.如权利要求1～4之一所述的基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法，其特征在于，所述步骤3)的过程如下：
Cycle-GAN主要由两个生成器G、F和两个多尺度鉴别器DX、DY-构造了两次前向传递，并形成循环结构，其输入为有雾图像集X和无雾图像集Y中的单幅图像x，y；首先，第一次前向传递将有雾图像x作为生成器G的输入，生成一次去雾图像，并将该去雾图像作为生成器F的输入，生成二次有雾图像，同时第二次前向传递将无雾图像y作为生成器F的输入，生成一次有雾图像，并将该有雾图像作为生成器G的输入，生成二次去雾图像，多尺度鉴别器DY鉴别一次去雾图像的真假，并将误差反馈给生成器G来提高该生成器生成去雾图像的真实度，多尺度鉴别器DX鉴别一次有雾图像的真假，并将误差反馈给生成器F来提高该生成器生成有雾图像的真实度，最后利用两个对抗损失和一个循环一致损失使生成器和鉴别器通过反复对抗训练，其损失函数定义如下：
其中，LGAN(G,DY,X,Y)、LGAN(F,DX,X,Y)分别表示两次前向传递中的对抗损失，Ey～Pdata(y)、Ex～Pdata(x)、Eys～Pdata(ys)、Exs～Pdata(xs)分别表示无雾图像、有雾图像、一倍下采样无雾图像、一倍下采样有雾图像的真实分布，DX1、DX2和DY1、DY2分别是多尺度鉴别器DX和DY中的两个不同尺度的鉴别器，G(x)、F(y)和Gs(x)、Fs(y)分别表示对应生成器生成的图像和该生成图像缩小一倍后的图像，Lcyc(G,F)表示利用L1范数来计算两次前向传递中输入和输出之间的循环一致损失，L(G,F,DX,DY)表示总体损失，λ表示循环一致损失的权重，G*、F*表示这两个生成器所要达到的训练目标，使得生成器生成的图片能以假乱真，而鉴别器能够更准确的鉴别图像的真假。
7.如权利要求1～4之一所述的基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法，其特征在于，所述步骤4)的过程如下：
从训练好的Cycle-GAN中提取生成器G作为去雾模型，并将生成图片的分辨率调整为原始图像的分辨率，得到最终的去雾图像，对测试集中的有雾图像进行测试，以峰值信噪比PSNR和结构相似性SSIM作为评价指标，其计算公式如下：
SSIM＝l(I,K)·c(I,K)·s(I,K) (37)
其中，I和K表示模型生成的去雾图像和对应的无雾图像，MSE表示图像I和K的均方误差，h、w表示图像的高度和宽度，n为每像素的比特数，PSNR表示峰值信噪比，数值越大表示失真越小，单位为dB，μI、μK表示图像I和K的均值，σI 2、σK 2表示图像I和K的方差，σIK表示图像I和K的协方差，C1、C2、C3为常数，取C1＝(K1*L)2，C2＝(K2*L)2，C3＝C2/2，l(I,K)、c(I,K)、s(I,K)分别表示亮度、对比度、结构三方面的图像相似性，SSIM表示结构相似性。
CN201910715042.6A 2019-08-05 2019-08-05 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法 Pending CN110570363A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910715042.6A CN110570363A (zh) 2019-08-05 2019-08-05 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910715042.6A CN110570363A (zh) 2019-08-05 2019-08-05 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法

Publications (1)

Publication Number Publication Date
CN110570363A true CN110570363A (zh) 2019-12-13

Family

ID=68774656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910715042.6A Pending CN110570363A (zh) 2019-08-05 2019-08-05 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法

Country Status (1)

Country Link
CN (1) CN110570363A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275027A (zh) * 2020-03-26 2020-06-12 赛特斯信息科技股份有限公司 实现高速公路雾天检测预警处理的方法
CN111291716A (zh) * 2020-02-28 2020-06-16 深圳大学 精子细胞识别方法、装置、计算机设备和存储介质
CN111325661A (zh) * 2020-02-21 2020-06-23 京工数演(福州)科技有限公司 一种名为msgan的图像的季节风格转换模型及方法
CN111598842A (zh) * 2020-04-24 2020-08-28 云南电网有限责任公司电力科学研究院 一种绝缘子缺陷样本生成模型的方法、系统及存储介质
CN111652233A (zh) * 2020-06-03 2020-09-11 哈尔滨工业大学（威海） 一种针对复杂背景的文本验证码自动识别方法
CN111860782A (zh) * 2020-07-15 2020-10-30 西安交通大学 三重多尺度的CycleGAN、眼底荧光造影生成方法、计算机设备及存储介质
CN111915612A (zh) * 2020-07-24 2020-11-10 山东大学 一种基于多编码器卷积神经网络的图像分割方法和系统
CN112598759A (zh) * 2020-12-15 2021-04-02 太原科技大学 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络
CN113052068A (zh) * 2021-03-24 2021-06-29 深圳威富云数科技有限公司 图像处理方法、装置、计算机设备和存储介质
WO2021248938A1 (zh) * 2020-06-10 2021-12-16 南京邮电大学 一种融合特征金字塔的生成对抗网络图像去雾方法
CN116342437A (zh) * 2023-05-30 2023-06-27 中国空气动力研究与发展中心低速空气动力研究所 一种基于密集连接亚像素gan模型的图像去雾方法
CN113052068B (zh) * 2021-03-24 2024-04-30 深圳威富云数科技有限公司 图像处理方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146784A (zh) * 2018-07-27 2019-01-04 徐州工程学院 一种基于多尺度生成对抗网络的图像超分辨率重建方法
CN109493303A (zh) * 2018-05-30 2019-03-19 湘潭大学 一种基于生成对抗网络的图像去雾方法
CN109712083A (zh) * 2018-12-06 2019-05-03 南京邮电大学 一种基于卷积神经网络的单幅图像去雾方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493303A (zh) * 2018-05-30 2019-03-19 湘潭大学 一种基于生成对抗网络的图像去雾方法
CN109146784A (zh) * 2018-07-27 2019-01-04 徐州工程学院 一种基于多尺度生成对抗网络的图像超分辨率重建方法
CN109712083A (zh) * 2018-12-06 2019-05-03 南京邮电大学 一种基于卷积神经网络的单幅图像去雾方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YANYUN QU等: "Enhanced Pix2pix Dehazing Network", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325661A (zh) * 2020-02-21 2020-06-23 京工数演(福州)科技有限公司 一种名为msgan的图像的季节风格转换模型及方法
CN111325661B (zh) * 2020-02-21 2024-04-09 京工慧创(福州)科技有限公司 一种名为msgan的图像的季节风格转换模型及方法
CN111291716A (zh) * 2020-02-28 2020-06-16 深圳大学 精子细胞识别方法、装置、计算机设备和存储介质
CN111291716B (zh) * 2020-02-28 2024-01-05 深圳市瑞图生物技术有限公司 精子细胞识别方法、装置、计算机设备和存储介质
CN111275027B (zh) * 2020-03-26 2023-07-04 赛特斯信息科技股份有限公司 实现高速公路雾天检测预警处理的方法
CN111275027A (zh) * 2020-03-26 2020-06-12 赛特斯信息科技股份有限公司 实现高速公路雾天检测预警处理的方法
CN111598842A (zh) * 2020-04-24 2020-08-28 云南电网有限责任公司电力科学研究院 一种绝缘子缺陷样本生成模型的方法、系统及存储介质
CN111652233A (zh) * 2020-06-03 2020-09-11 哈尔滨工业大学（威海） 一种针对复杂背景的文本验证码自动识别方法
WO2021248938A1 (zh) * 2020-06-10 2021-12-16 南京邮电大学 一种融合特征金字塔的生成对抗网络图像去雾方法
JP2022548712A (ja) * 2020-06-10 2022-11-21 南京郵電大学 フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法
JP7379787B2 (ja) 2020-06-10 2023-11-15 南京郵電大学 フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法
CN111860782A (zh) * 2020-07-15 2020-10-30 西安交通大学 三重多尺度的CycleGAN、眼底荧光造影生成方法、计算机设备及存储介质
CN111915612A (zh) * 2020-07-24 2020-11-10 山东大学 一种基于多编码器卷积神经网络的图像分割方法和系统
CN112598759A (zh) * 2020-12-15 2021-04-02 太原科技大学 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络
CN113052068A (zh) * 2021-03-24 2021-06-29 深圳威富云数科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN113052068B (zh) * 2021-03-24 2024-04-30 深圳威富云数科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN116342437A (zh) * 2023-05-30 2023-06-27 中国空气动力研究与发展中心低速空气动力研究所 一种基于密集连接亚像素gan模型的图像去雾方法
CN116342437B (zh) * 2023-05-30 2023-07-21 中国空气动力研究与发展中心低速空气动力研究所 一种基于密集连接亚像素gan模型的图像去雾方法

Similar Documents

Publication Publication Date Title
CN110570363A (zh) 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法
CN107767413B (zh) 一种基于卷积神经网络的图像深度估计方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN112001960B (zh) 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN108038445B (zh) 一种基于多视角深度学习框架的sar自动目标识别方法
Dudhane et al. C^ 2msnet: A novel approach for single image haze removal
CN111723693B (zh) 一种基于小样本学习的人群计数方法
CN113344806A (zh) 一种基于全局特征融合注意力网络的图像去雾方法与系统
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN112489164B (zh) 基于改进深度可分离卷积神经网络的图像着色方法
CN111429433A (zh) 一种基于注意力生成对抗网络的多曝光图像融合方法
CN108171249B (zh) 一种基于rgbd数据的局部描述子学习方法
CN110675462A (zh) 一种基于卷积神经网络的灰度图像彩色化方法
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
CN113256772B (zh) 一种基于视角转换的双角度光场高分辨重构系统及方法
CN115484410B (zh) 基于深度学习的事件相机视频重建方法
CN114021704B (zh) 一种ai神经网络模型的训练方法及相关装置
CN116402851A (zh) 一种复杂背景下的红外弱小目标跟踪方法
Zhou et al. MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution
CN113191204B (zh) 一种多尺度遮挡行人检测方法及系统
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
CN113066074A (zh) 一种基于双目视差偏移融合的视觉显著性预测方法
CN116703885A (zh) 一种基于Swin Transformer的表面缺陷检测方法及系统
CN111353412A (zh) 端到端的3D-CapsNet火焰检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191213

RJ01 Rejection of invention patent application after publication