CN110136075A - 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 - Google Patents
一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 Download PDFInfo
- Publication number
- CN110136075A CN110136075A CN201910313286.1A CN201910313286A CN110136075A CN 110136075 A CN110136075 A CN 110136075A CN 201910313286 A CN201910313286 A CN 201910313286A CN 110136075 A CN110136075 A CN 110136075A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- sensing image
- network
- mist
- fogless
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 239000003595 mist Substances 0.000 claims abstract description 98
- 238000012549 training Methods 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims abstract description 10
- 238000011084 recovery Methods 0.000 claims abstract description 10
- 230000008447 perception Effects 0.000 claims abstract description 6
- 238000013480 data collection Methods 0.000 claims description 83
- 230000009467 reduction Effects 0.000 claims description 17
- 230000004069 differentiation Effects 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 238000011112 process operation Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 abstract description 2
- 238000003707 image sharpening Methods 0.000 abstract 1
- 238000013135 deep learning Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- VMXUWOKSQNHOCA-UKTHLTGXSA-N ranitidine Chemical compound [O-][N+](=O)\C=C(/NC)NCCSCC1=CC=C(CN(C)C)O1 VMXUWOKSQNHOCA-UKTHLTGXSA-N 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法。该方法利用深度生成对抗网络对有雾遥感影像进行处理，可以自动化、大量化的恢复有雾遥感影像地物信息；其次，本发明提出一个加入图像锐化机制的循环生成对抗网络模型，该模型改进了生成对抗网络生成图片纹理不清晰的情况，提高了对模糊图像的判别能力；最后，本发明改进了模型计算感知一致性损失函数的VGG16网络预训练过程，利用遥感影像预训练VGG16网络，让遥感影像特征被更好的提取，使得感知损失误差计算更为精确。与现有遥感影像去雾方法相比，本发明具有智能化、批量化和自动化的优点，可以显著提高遥感影像质量，保护遥感影像纹理等细节信息，达到很好的恢复效果。
Description
技术领域
本发明涉及图像处理领域，更具体地说，涉及一种基于深度学习的遥感影像去雾方法。
背景技术
随着国家航天技术的发展，遥感图像应用于社会的各个方面。由于自然、人为等各方面原因，雾成为遥感影像中很常见的噪声影响因素。雾会让大气能见度降低，使光学器材特别是基于遥感平台获取的图像模糊不清，无法从获取的遥感影像中获取清晰的地物信息。这将给基于遥感图像的相关应用，如监测、自动导航、目标提取带来很大的困难。研究一种有效的遥感影像去雾方法，可以使得遥感影像更加有效的服务于当前应用当中。
在此之前已有一些专家针对一般图像去雾算法，结合传统的图形学和视觉做了相关研究，这些方法可分为基于非模型的去雾方法和基于模型的去雾方法。其中，基于非模型的去雾方法，又称为图像增强方法；该方法在处理时并不需要考虑图像退化的原因和模型，只需要根据特定的需求，采用常规的图像增强手段来改善图像的视觉效果，并不是从光学成像本质上去实现图像的去雾处理；但基于图像增强的去薄云算法由于需要进行多尺度变换和逆变换，所以计算量大且相对复杂。而基于模型的去雾方法，又称为图像复原方法，该方法利用图像退化的原理，从光学成像的本质上实现图像去雾；但由于其使用的物理模型往往需要已知场景深度和大气条件等先验信息，而针对遥感影像，其需要获取的信息较多，因此使用图像复原方法为遥感图像的恢复带来了一定的难度。
随着近几年深度学习在视觉领域取得的卓越的效果，越来越多的图形图像研究者也开始将深度学习引入图形学和视觉交叉的领域，去解决一系列的相关问题。本文提出一种基于深度学习的遥感影像去雾算法，该算法利用生成对抗网络模型的无监督学习特性，使得对训练所需的遥感影像数据的处理要求更加简单。
相对比于传统的图像去雾方法，利用深度学习方法不会存在较多局限性，不需要额外的环境要求，可以在各种复杂的条件下，对图像进行直接处理和恢复，并且结合多GPU方法，利用“影像分块，分而治之”的思想，将数据量大的影像分割处理，大大减少了运算时间，提高了运算效率。此外，传统算法需要对每一张图片设置不同的超参数才能够达到较好的处理效果，然而深度学习算法能够自适应地处理每一张影像，直接端对端的对遥感影像进行重建。
发明内容
本发明要解决的技术问题在于，针对现有技术的缺陷，提供一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法。
本发明解决其技术问题所采用的技术方案是：构造一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法，包括以下步骤：
S1、对获取的遥感图像数据进行融合、图像切割和定向处理操作；
S2、在经步骤S1处理后的遥感图像数据中，处理得到原始有雾遥感影像数据集X、原始无雾遥感影像数据集Y，并利用原始无雾遥感影像数据集Y经过高斯模糊操作生成无雾模糊遥感影像数据集Ys；
S3、利用遥感影像地物信息分类数据集来训练感知损失函数计算模型-VGG16网络模型；
S4、利用步骤S2处理得到的原始有雾、无雾遥感影像数据集和无雾模糊遥感数据集，以及步骤S3训练的VGG16网络模型，以迭代的方式来训练锐化循环生成对抗网络；
S5、利用步骤S4训练得到的边缘锐化循环生成对抗网络，恢复有雾遥感影像数据。
进一步的，步骤S3中，首先，对无雾遥感影像地物信息进行处理，得到地物信息分类数据集；其次，使用数据集预训练得到VGG16预训练网络模型；最后，利用所述地物信息分类数据集对VGG16预训练网络模型进行再训练，得到最终的VGG16网络模型。
进一步的，步骤S4中所述锐化循环生成对抗网络的训练步骤为：
S41、将所述原始有雾遥感影像数据集X、原始无雾遥感影像数据集Y分别输入去雾生成网络G和加雾生成网络F中，得到处理后的无雾遥感影像数据集G(x)和处理后的有雾遥感影像数据集F(y)；
S42、一方面将所述处理后的无雾遥感影像数据集G(x)、所述原始无雾遥感影像数据集Y，以及所述原始无雾模糊遥感影像数据集Ys输入到无雾判别网络Dy；另一方面将所述原始有雾遥感影像数据集X、处理后的有雾遥感影像数据集F(y)，以及所述原始无雾模糊遥感影像数据集Ys输入到有雾判别网络Dx中；最终分别得到其为真实无雾锐化遥感数据的概率值和真实有雾模糊遥感数据的概率值；
S43、根据步骤S42得到的真实无雾锐化遥感数据的概率值和真实有雾遥感数据的概率值，分别计算去雾生成网络G的对抗损失值和无雾判别网络Dy的对抗损失值以及加雾生成网络F的对抗损失值和有雾判别网络Dx的对抗损失值
S44、针对步骤S41得到的所述处理后的无雾遥感影像数据集G(x)和所述处理后的有雾遥感影像数据集F(y)，利用所述加雾生成网络F和去雾生成网络G分别生成还原后的有雾遥感影像数据集F(G(x))和还原后的无雾遥感影像数据集G(F(Y))，计算所述还原后的有雾遥感影像数据集F(G(x))和所述还原后的无雾遥感影像数据集G(F(Y))，在像素空间上与所述原始有雾遥感影像数据集X和所述原始无雾遥感影像数据集Y的误差值Lcyc(G,F,X,Y)；
S45、根据所述还原后的有雾遥感影像数据集F(G(x))和所述还原后的无雾遥感影像数据集G(F(Y))，计算上述两个还原后的遥感影像数据集与所述原始有雾遥感影像数据集X和所述原始无雾遥感影像数据集Y，在特征空间上的误差值Lperceptual(G,F)；
S46、根据步骤S43-S45得到的对抗损失值以及在像素空间和特征空间上的误差值Lcyc(G,F,X,Y)、Lperceptual(G,F)，计算去雾生成网络G和无雾判别网络Dy的误差损失值；
根据步骤S43-S45得到的损失值以及在像素空间和特征空间上的误差值Lcyc(G,F,X,Y)、Lperceptual(G,F)，计算加雾生成网络F和有雾判别网络Dx的误差损失值；
S47、当步骤S45、步骤S46和步骤S47中所求的误差值均收敛时，停止网络训练，将当前收敛情况下的去雾生成网络G作为锐化循环生成对抗网络；其他情况下，返回步骤S41，重新训练网络。
进一步的，步骤S42中将所述处理后的无雾遥感影像数据集G(x)、所述原始无雾遥感影像数据集Y和所述原始无雾模糊遥感影像数据集Ys输入到无雾判别网络Dy中，分别得到上述3个数据集为真实无雾锐化遥感数据的概率为Dy(G(x))、Dy(y)以及Dy(ys)；
将所述处理后的有雾遥感影像数据集F(y)、所述原始有雾遥感影像数据集X和所述原始无雾模糊遥感影像Ys输入到有雾判别网络Dx中，分别得到上述3个数据集为真实有雾遥感数据的概率为Dx(F(y))、Dx(x)和Dx(ys)。
进一步的，根据所述真实无雾锐化遥感数据的概率Dy(G(x))、Dy(y)和Dy(ys)，计算去雾生成网络G和无雾判别网络Dy的无雾生成对抗损失值，其中，针对计算无雾生成对抗损失值的具体优化目标为：
其中，去雾生成网络G的优化目标为：
其中，无雾判别网络Dy的优化目标为：
进一步的，根据所述真实有雾遥感数据的概率为Dx(F(y))、Dx(x)和Dx(ys)，计算加雾生成网络F和有雾判别网络Dx的加雾生成对抗损失值，其中，针对计算加雾生成对抗损失值的具体优化目标为：
其中，加雾生成网络优化目标为：
其中，加雾判别网络优化目标为：
实施本发明的一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法，具有以下有益效果：
1、本发明将深度学习生成对抗网络用于遥感影像去雾方法的研究，能批量化、自动化的进行遥感影像去雾；
2、本发明在循环网络模型基础上，引入了锐化机制，对去雾生成网络和加雾生成网络训练以得到可以生成边缘锐化的无雾遥感影像，构建出锐化循环生成对抗网络；
3、本发明在网络训练前加入对VGG16网络的再训练过程，利用遥感影像分类数据集在预训练模型的基础上再训练，使得其在提取遥感影像特征时得到更高的精度，对内容和纹理信息的恢复取得更加真实的效果。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明方法的技术流程图；
图2为本发明方法中训练锐化循环生成对抗网络的技术流程图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
请参考图1，其为本发明方法的技术流程图，本发明提出的一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法，包括以下步骤：
S1、对获取的遥感图像数据进行融合、图像切割和定向处理操作；其中，本实施例中，将切割好的遥感影像维度定义为256*256像素大小。
S2、在经步骤S1处理后的遥感图像数据中，处理得到原始有雾遥感影像数据集X、原始无雾遥感影像数据集Y和原始无雾模糊遥感影像数据集Ys；其中，处理后的原始无雾遥感影像数据应不存在较大色差和模糊，而有雾遥感影像数据中雾的浓度应大致一致；在所述处理后的遥感图像数据中，首先对有雾和无雾遥感影像进行划分；其次，在划分的所述有雾和无雾遥感影像中对建筑物、植被等地物信息进行划分；且需确保有雾和无雾遥感影像数据集中各类地物信息比例的一致性。
S3、利用遥感影像地物信息分类数据集来训练感知损失函数计算模型-VGG16网络模型；其中，遥感影像分类数据集包括11类遥感地物信息，具体包括6类场景不同的建筑物，5类场景不同的植被。根据再训练增强VGG16模型对遥感影像的特征提取能力。
S4、利用步骤S2处理得到的原始有雾、无雾遥感影像数据集，以及步骤S3训练的VGG16网络模型，以迭代的方式来训练锐化循环生成对抗网络；
S5、利用步骤S4训练得到的锐化循环生成对抗网络，恢复有雾遥感影像数据。
请参考图2，其为本发明方法中训练锐化循环生成对抗网络的技术流程图，包括以下步骤：
S41、将所述原始有雾遥感影像数据集X、原始无雾遥感影像数据集Y分别输入去雾生成网络G和加雾生成网络F中，得到处理后的无雾遥感影像数据集G(x)和处理后的有雾遥感影像数据集F(y)；其中，本实施例中，经过3层卷积核大小分别为7×7×32、3×3×64、3×3×128，步数分别为1×1、2×2、2×2的卷积提取遥感影像地物特征信息；提取的特征图再通过9个残差块进行残差操作，以保护遥感影像地物信息细节；
将操作后的完整特征图再经过3层卷积核大小分别为3×3×64、3×3×32、7×7×3，步数分别为2×2、2×2、1×1的反卷积操作恢复遥感影像地物信息。
S42、一方面将所述处理后的无雾遥感影像数据集G(x)、所述原始无雾遥感影像数据集Y，以及所述原始无雾模糊遥感影像数据集Ys输入到无雾判别网络Dy；另一方面将所述原始有雾遥感影像数据集X、处理后的有雾遥感影像数据集F(y)，以及所述原始无雾模糊遥感影像数据集Ys输入到有雾判别网络Dx中；最终分别得到对应的真实无雾锐化遥感数据的概率值和真实有雾遥感数据的概率值；
其中，为了让处理的效果更加真实，将条件图片与生成遥感影像和真实影像结合，结合后的处理后的数据和对应真实数据分别输入D网络进行判断。其中，D网络的输入数据维度大小均为256×256×6，数据经过5层卷积核大小分别为4×4×64、4×4×128、4×4×256、4×4×512、4×4×1，步数大小分别为2×2、2×2、2×2、2×2、1×1的卷积操作后，再经过sigmoid操作得到每张遥感影像是真实遥感影像的概率。
S43、根据步骤S42得到的真实无雾锐化遥感数据的概率值和真实有雾遥感数据的概率值，分别计算去雾生成网络G对抗损失值和无雾判别网络Dy的对抗损失值以及加雾生成网络F对抗损失值和有雾判别网络Dx的对抗损失值
S44、针对步骤S41得到的所述处理后的无雾遥感影像数据集G(x)和所述处理后的有雾遥感影像数据集F(y)，利用所述加雾生成网络F和去雾生成网络G分别生成还原后的有雾遥感影像数据集F(G(x))和还原后的无雾遥感影像数据集G(F(Y))，计算所述还原后的有雾遥感影像数据集F(G(x))和所述还原后的无雾遥感影像数据集G(F(Y))，在像素空间上与所述原始有雾遥感影像数据集X和所述原始无雾遥感影像数据集Y的误差值；具体的计算公式为：
Lcyc(G,F,X,Y)＝Ex[||F(G(x))-x||1]+Ey[||G(F(y))-y||1]；
其中，Lcyc(G,F,X,Y)为循环一致性损失函数；||·||1表示对“·”做L1范式计算；E[·]表示对“·”做数学期望计算；
S45、根据所述还原后的有雾遥感影像数据集F(G(x))和所述还原后的无雾遥感影像数据集G(F(Y))，计算上述两个还原后的遥感影像数据集与所述原始有雾遥感影像数据集X和所述原始无雾遥感影像数据集Y，在特征空间上的误差值；具体的计算公式为：
其中，Lperceptual(G,F)为感知一致性损失函数，代表将对应图像输入VGG16网络所得到的特征图像；表示对“·”做均方误差计算；
S46、根据步骤S43-S45得到的对抗损失值以及在像素空间和特征空间上的误差值Lcyc(G,F,X,Y)、Lperceptual(G,F)，定义去雾生成网络G和无雾判别网络Dy的损失函数分别为：LG和上述两个网络损失函数的表达公式分别为：
根据步骤S43-S45得到的损失值以及在像素空间和特征空间上的误差值Lcyc(G,F,X,Y)、Lperceptual(G,F)，定义加雾生成网络F和有雾判别网络Dx的损失函数分别为：LF和上述两个网络损失函数的表达公式分别为：
S47、当步骤S44-S46中所求的误差值均收敛时，停止网络训练，将当前收敛情况下的去雾生成网络G作为锐化循环生成对抗网络；其他情况下，返回步骤S41，重新训练网络。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (6)
1.一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法，其特征在于，包括以下步骤：
S1、对获取的遥感图像数据进行融合、图像切割和定向处理操作；
S2、在经步骤S1处理后的遥感图像数据中，处理得到原始有雾遥感影像数据集X、原始无雾遥感影像数据集Y，并利用原始无雾遥感影像数据集Y经过高斯模糊操作生成无雾模糊遥感影像数据集Ys；
S3、利用遥感影像地物信息分类数据集来训练感知损失函数计算模型-VGG16网络模型；
S4、利用步骤S2处理得到的原始有雾、无雾遥感影像数据集和无雾模糊遥感数据集，以及步骤S3训练的VGG16网络模型，以迭代的方式来训练锐化循环生成对抗网络；
S5、利用步骤S4训练得到的边缘锐化循环生成对抗网络，恢复有雾遥感影像数据。
2.根据权利要求1所述的遥感图像去雾方法，其特征在于，步骤S3中，首先，对无雾遥感影像地物信息进行处理，得到地物信息分类数据集；其次，使用数据集预训练得到VGG16预训练网络模型；最后，利用所述地物信息分类数据集对VGG16预训练网络模型进行再训练，得到最终的VGG16网络模型。
3.根据权利要求1所述的遥感图像去雾方法，其特征在于，步骤S4中所述锐化循环生成对抗网络的训练步骤为：
S41、将所述原始有雾遥感影像数据集X、原始无雾遥感影像数据集Y分别输入去雾生成网络G和加雾生成网络F中，得到处理后的无雾遥感影像数据集G(x)和处理后的有雾遥感影像数据集F(y)；
S42、一方面将所述处理后的无雾遥感影像数据集G(x)、所述原始无雾遥感影像数据集Y，以及所述原始无雾模糊遥感影像数据集Ys输入到无雾判别网络Dy；另一方面将所述原始有雾遥感影像数据集X、处理后的有雾遥感影像数据集F(y)，以及所述原始无雾模糊遥感影像数据集Ys输入到有雾判别网络Dx中；最终分别得到其为真实无雾锐化遥感数据的概率值和真实有雾模糊遥感数据的概率值；
S43、根据步骤S42得到的真实无雾锐化遥感数据的概率值和真实有雾遥感数据的概率值，分别计算去雾生成网络G的对抗损失值和无雾判别网络Dy的对抗损失值以及加雾生成网络F的对抗损失值和有雾判别网络Dx的对抗损失值
S44、针对步骤S41得到的所述处理后的无雾遥感影像数据集G(x)和所述处理后的有雾遥感影像数据集F(y)，利用所述加雾生成网络F和去雾生成网络G分别生成还原后的有雾遥感影像数据集F(G(x))和还原后的无雾遥感影像数据集G(F(Y))，计算所述还原后的有雾遥感影像数据集F(G(x))和所述还原后的无雾遥感影像数据集G(F(Y))，在像素空间上与所述原始有雾遥感影像数据集X和所述原始无雾遥感影像数据集Y的误差值Lcyc(G,F,X,Y)；
S45、根据所述还原后的有雾遥感影像数据集F(G(x))和所述还原后的无雾遥感影像数据集G(F(Y))，计算上述两个还原后的遥感影像数据集与所述原始有雾遥感影像数据集X和所述原始无雾遥感影像数据集Y，在特征空间上的误差值Lperceptual(G,F)；
S46、根据步骤S43-S45得到的对抗损失值以及在像素空间和特征空间上的误差值Lcyc(G,F,X,Y)、Lperceptual(G,F)，计算去雾生成网络G和无雾判别网络Dy的误差损失值；
根据步骤S43-S45得到的损失值以及在像素空间和特征空间上的误差值Lcyc(G,F,X,Y)、Lperceptual(G,F)，计算加雾生成网络F和有雾判别网络Dx的误差损失值；
S47、当步骤S45、步骤S46和步骤S47中所求的误差值均收敛时，停止网络训练，将当前收敛情况下的去雾生成网络G作为锐化循环生成对抗网络；其他情况下，返回步骤S41，重新训练网络。
4.根据权利要求3所述的遥感图像去雾方法，其特征在于，步骤S42中将所述处理后的无雾遥感影像数据集G(x)、所述原始无雾遥感影像数据集Y和所述原始无雾模糊遥感影像数据集Ys输入到无雾判别网络Dy中，分别得到上述3个数据集为真实无雾锐化遥感数据的概率为Dy(G(x))、Dy(y)以及Dy(ys)；
将所述处理后的有雾遥感影像数据集F(y)、所述原始有雾遥感影像数据集X和所述原始无雾模糊遥感影像Ys输入到有雾判别网络Dx中，分别得到上述3个数据集为真实有雾遥感数据的概率为Dx(F(y))、Dx(x)和Dx(ys)。
5.根据权利要求4所述的遥感图像去雾方法，其特征在于，根据所述真实无雾锐化遥感数据的概率Dy(G(x))、Dy(y)和Dy(ys)，计算去雾生成网络G和无雾判别网络Dy的无雾生成对抗损失值，其中，针对计算无雾生成对抗损失值的具体优化目标为：
其中，去雾生成网络G的优化目标为：
其中，无雾判别网络Dy的优化目标为：
6.根据权利要求4所述的遥感图像去雾方法，其特征在于，根据所述真实有雾遥感数据的概率为Dx(F(y))、Dx(x)和Dx(ys)，计算加雾生成网络F和有雾判别网络Dx的加雾生成对抗损失值，其中，针对计算加雾生成对抗损失值的具体优化目标为：
其中，加雾生成网络优化目标为：
其中，加雾判别网络优化目标为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910313286.1A CN110136075B (zh) | 2019-04-18 | 2019-04-18 | 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910313286.1A CN110136075B (zh) | 2019-04-18 | 2019-04-18 | 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110136075A true CN110136075A (zh) | 2019-08-16 |
| CN110136075B CN110136075B (zh) | 2021-01-05 |
Family
ID=67570325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910313286.1A Expired - Fee Related CN110136075B (zh) | 2019-04-18 | 2019-04-18 | 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110136075B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570375A (zh) * | 2019-09-06 | 2019-12-13 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、电子设置以及存储介质 |
| CN111383192A (zh) * | 2020-02-18 | 2020-07-07 | 清华大学 | 一种融合sar的可见光遥感图像去雾方法 |
| CN111507909A (zh) * | 2020-03-18 | 2020-08-07 | 南方电网科学研究院有限责任公司 | 一种有雾图像清晰化的方法、装置及存储介质 |
| CN112487999A (zh) * | 2020-12-02 | 2021-03-12 | 西安邮电大学 | 一种基于CycleGAN的遥感图像鲁棒特征提取方法 |
| CN113870139A (zh) * | 2021-09-30 | 2021-12-31 | 天津大学 | 一种循环对抗神经网络无人碾压识别去雾方法 |
| CN115471429A (zh) * | 2022-10-31 | 2022-12-13 | 航天宏图信息技术股份有限公司 | 一种基于全局颜色迁移的遥感影像去雾方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410135A (zh) * | 2018-10-02 | 2019-03-01 | 复旦大学 | 一种对抗学习型图像去雾、加雾方法 |
| CN109447918A (zh) * | 2018-11-02 | 2019-03-08 | 北京交通大学 | 基于注意力机制的单幅图像去雨方法 |
| CN109493303A (zh) * | 2018-05-30 | 2019-03-19 | 湘潭大学 | 一种基于生成对抗网络的图像去雾方法 |
| CN109509156A (zh) * | 2018-10-31 | 2019-03-22 | 聚时科技(上海)有限公司 | 一种基于生成对抗模型的图像去雾处理方法 |
-
2019
- 2019-04-18 CN CN201910313286.1A patent/CN110136075B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493303A (zh) * | 2018-05-30 | 2019-03-19 | 湘潭大学 | 一种基于生成对抗网络的图像去雾方法 |
| CN109410135A (zh) * | 2018-10-02 | 2019-03-01 | 复旦大学 | 一种对抗学习型图像去雾、加雾方法 |
| CN109509156A (zh) * | 2018-10-31 | 2019-03-22 | 聚时科技(上海)有限公司 | 一种基于生成对抗模型的图像去雾处理方法 |
| CN109447918A (zh) * | 2018-11-02 | 2019-03-08 | 北京交通大学 | 基于注意力机制的单幅图像去雨方法 |
Non-Patent Citations (1)
| Title |
|---|
| YONGYANG XU: "A research on extracting road network from high resolution remote sensing imagery", 《2018 26TH INTERNATIONAL CONFERENCE ON GEOINFORMATICS》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570375A (zh) * | 2019-09-06 | 2019-12-13 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、电子设置以及存储介质 |
| CN110570375B (zh) * | 2019-09-06 | 2022-12-09 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、电子设置以及存储介质 |
| CN111383192A (zh) * | 2020-02-18 | 2020-07-07 | 清华大学 | 一种融合sar的可见光遥感图像去雾方法 |
| CN111383192B (zh) * | 2020-02-18 | 2022-10-18 | 清华大学 | 一种融合sar的可见光遥感图像去雾方法 |
| CN111507909A (zh) * | 2020-03-18 | 2020-08-07 | 南方电网科学研究院有限责任公司 | 一种有雾图像清晰化的方法、装置及存储介质 |
| CN112487999A (zh) * | 2020-12-02 | 2021-03-12 | 西安邮电大学 | 一种基于CycleGAN的遥感图像鲁棒特征提取方法 |
| CN113870139A (zh) * | 2021-09-30 | 2021-12-31 | 天津大学 | 一种循环对抗神经网络无人碾压识别去雾方法 |
| CN115471429A (zh) * | 2022-10-31 | 2022-12-13 | 航天宏图信息技术股份有限公司 | 一种基于全局颜色迁移的遥感影像去雾方法和装置 |
| CN115471429B (zh) * | 2022-10-31 | 2023-04-07 | 航天宏图信息技术股份有限公司 | 一种基于全局颜色迁移的遥感影像去雾方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110136075B (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110136075A (zh) | 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| CN110322416B (zh) | 图像数据处理方法、装置以及计算机可读存储介质 | |
| CN111488865B (zh) | 图像优化方法、装置、计算机存储介质以及电子设备 | |
| EP4002268A1 (en) | Medical image processing method, image processing method, and device | |
| CN108416745B (zh) | 一种具有色彩恒常性的图像自适应去雾增强方法 | |
| CN113344806A (zh) | 一种基于全局特征融合注意力网络的图像去雾方法与系统 | |
| CN112541877B (zh) | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 | |
| CN106920220A (zh) | 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法 | |
| CN109858487A (zh) | 基于分水岭算法和图像类别标签的弱监督语义分割方法 | |
| CN110084773A (zh) | 一种基于深度卷积自编码网络的图像融合方法 | |
| Ding et al. | U 2 D 2 Net: Unsupervised unified image dehazing and denoising network for single hazy image enhancement | |
| CN113420794B (zh) | 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法 | |
| CN114581560A (zh) | 基于注意力机制的多尺度神经网络红外图像彩色化方法 | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| CN114445715A (zh) | 一种基于卷积神经网络的农作物病害识别方法 | |
| CN115409755A (zh) | 贴图处理方法和装置、存储介质及电子设备 | |
| CN107239827B (zh) | 一种基于人工神经网络的空间信息学习方法 | |
| CN112509144A (zh) | 人脸图像处理方法、装置、电子设备及存储介质 | |
| CN113392937A (zh) | 一种3d点云数据分类方法及其相关装置 | |
| CN112767297A (zh) | 基于图像衍生的复杂背景下红外无人机群目标仿真方法 | |
| CN112418032A (zh) | 一种人体行为识别方法、装置、电子设备及存储介质 | |
| CN116485646A (zh) | 一种基于微注意力的轻量化图像超分辨率重建方法及装置 | |
| CN116246138A (zh) | 基于全卷积神经网络的红外-可见光图像目标级融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210105 |