CN111383192B - 一种融合sar的可见光遥感图像去雾方法 - Google Patents
一种融合sar的可见光遥感图像去雾方法 Download PDFInfo
- Publication number
- CN111383192B CN111383192B CN202010098172.2A CN202010098172A CN111383192B CN 111383192 B CN111383192 B CN 111383192B CN 202010098172 A CN202010098172 A CN 202010098172A CN 111383192 B CN111383192 B CN 111383192B
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- sensing image
- defogging
- sar
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000003287 optical effect Effects 0.000 claims abstract description 86
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 238000012795 verification Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 36
- 230000004913 activation Effects 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 20
- 238000010606 normalization Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 abstract description 11
- 230000000007 visual effect Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出的一种融合SAR的可见光遥感图像去雾方法，该方法具体包括以下步骤：步骤1：选取同一区域同一时间段的SAR图像和光学遥感图像，以此构建光学‑SAR遥感图像去雾数据集，将该数据集划分为训练集、验证集；步骤2：构建条件生成对抗卷积神经网络作为去雾模型，该模型由生成网络和判别网络两部分构成；步骤3：联合训练去雾模型；步骤4：利用训练完毕的去雾模型对可见光遥感图像去雾。本发明通过一个条件生成对抗网络直接学习有雾图像到清晰图像之间的映射关系，可实现端到端的去雾；并且融合SAR信息，实现去雾的视觉增强；采用级联的残差膨胀卷积块结构，可对去雾模型进行有监督的学习，实现高效去雾。
Description
技术领域
本发明涉及一种融合SAR(孔径雷达)的可见光遥感图像去雾方法，属于遥感图像处理技术领域。
背景技术
光学遥感图像不仅可以提供丰富的地物信息，还具备光谱特性，在环境、监测、军事、测绘等领域发挥十分重要的作用。然而，光学遥感图像会经常受到雾的干扰，造成图像中地物模糊不清、感兴趣区域信息丢失，这不仅严重影响人眼对图像数据的判读，同时也影响了遥感数据的自动解译。
对遥感图像进行去雾研究可以提高图像的质量，从而为后续的遥感图像处理和应用提供保障。许多遥感图像的去雾方法已经被提出，这些方法主要针对GoogleEarth图像或者多光谱图像中的可见光波段，但是，大气中存在的雾或霾会导致被覆盖区域信息的丢失，本质上，去雾很难增强丢失的覆盖区域信息。例如中国专利：一种基于卷积神经网络的多光谱遥感图像去雾方法(申请号：CN201710452054.5，公开号：CN107256541A)，该方法包括如下步骤：步骤1、多光谱图像去雾波段选择；步骤2、建立去雾模型；步骤3、设计卷积神经网络；步骤4、训练卷积神经网络；步骤5、多光谱遥感图像去雾。本发明通过一个卷积神经网络直接学习有雾图像到清晰图像之间的映射关系，可实现端到端的去雾；其卷积网络采用级联的残差结构，可对去雾模型进行有参考的学习，并实现逐步去雾。但是该方法的网络结构较为简单，并且没有其余数据源的细节补充，因此效果不够优良。
另一方面，除了光学RGB三通道图像外，遥感图像还包括近红外、多光谱、合成孔径雷达(SAR)等，它们可反映景观和物体特征的不同波段信息。其中，SAR图像使用数学技术，将来自多个相邻实时雷达脉冲的反射信号相位和幅度信息作为时间的函数进行组合，以构建高分辨率图像。由于SAR具有全天候和全天时的特征，即使面对极低的能见度天气，SAR图像也具有清晰成像的能力。因此，在光学遥感图像的解释性和可用性受到限制时，SAR图像可以作为恶劣天气(如阴天或下雪)下目标区域光学信息的补充，其实际应用前景广阔。但是，SAR和RGB图像通常具有不同的模式，不同的分辨率，不同的反射角度和不同的时区。因此，在除雾任务中很难有效融合SAR信息。
发明内容
本发明的目的是为了克服已有技术的不足之处，提供一种融合SAR的可见光遥感图像去雾方法，用来实现光学图像的雾去除，提升图像质量。
本发明为解决上述问题采取的技术方案是：
本发明提出的一种融合SAR的可见光遥感图像去雾方法，其特征在于，该方法具体包括以下步骤：
步骤1：构建光学-SAR遥感图像去雾数据集
在无雾条件下采集相同区域、相同时段的SAR图像A和光学遥感图像B，对其中的光学遥感图像B进行加雾得到有雾的光学遥感图像C，将图像A、B、C中相同地理位置相同的像素对齐得到重叠区域；利用滑动窗将重叠区域内的图像A、B、C裁剪成大小相同的若干图像块，将地理区域相同的一个有雾光学遥感图像块c、一个无雾光学遥感图像块a和一个无雾SAR图像块b构成一个图像单元，利用所有图像单元构建光学-SAR遥感图像去雾数据集；将该数据集划分为训练集、验证集；
步骤2：构建条件生成对抗卷积神经网络作为去雾模型，该模型由生成网络和判别网络两部分构成
步骤2-1：构建生成网络
所述生成网络由编码模块、解码模块和SAR特征提取模块组成；其中，所述编码模块包括一层卷积层以及多个依次级联的第一卷积块和膨胀残差卷积块，所述解码模块包括与编码模块中第一卷积块个数相同的多个依次级联的逆卷积块和一层逆卷积层，编码模块中提取的每层特征与解码模块输出的特征跳跃连接并进行逐元素加和；所述SAR特征提取模块为一个卷积层；各类卷积块均分别包括多个级联的相应卷积层、实例范数归一化层和第一激活函数层；编码模块和SAR特征提取模块分别以所述图像单元中的有雾光学遥感图像块c和无雾SAR图像块b作为输入，分别提取有雾光学遥感图像块特征和无雾SAR图像块特征，将提取的有雾光学遥感图像块特征和无雾SAR图像块特征相加输入至所述解码模块，进行多尺度特征融合后，所述解码模块输出与图像单元中各图像块大小相同的去雾光学遥感图像块e；
步骤2-2：构建判别网络
所述判别网络包括一层卷积层、多个依次级联的第二卷积块以及一层第二激活函数层，各卷积块均分别包括依次级联的卷积层、批处理归一化层和第一激活函数层；所述判别网络以输入生成网络的图像单元中的无雾光学遥感图像块a以及生成网络输出的去雾光学遥感图像块e作为输入，以输入的两图像块相似程度作为输出；
步骤3：分别利用步骤1得到的训练集和验证集对步骤2构建的去雾模型依次进行联合训练和验证，得到训练完毕的去雾模型；
步骤4：可见光遥感图像去雾
采集一张有雾光学遥感图像C’和无雾SAR遥感图像B’，保证两张图像中的景观和物体相同；将遥感图像C’和遥感图像B’中地理位置相同的像素对齐得到重叠区域，利用步骤1中的滑动窗将重叠区域内的遥感图像B’、C’裁剪成大小相同的若干图像块；将有雾光学遥感图像块c’和无雾SAR遥感图像块b’分别输入步骤3训练完毕的去雾模型中的编码模块和SAR特征提取模块，得到去雾后的清晰图像块。
进一步地，步骤3中对去雾模型进行联合训练时，设置损失函数以二范数形式对去雾模型的超参数进行正则化约束；其中，所述生成网络的损失函数为最小二乘损失与欧式距离损失函数的和，所述判别网络的损失函数为输入的真实有雾光学遥感图像块与去雾光学遥感图像块e通过判别网络后输出概率的最小二乘损失；采用自适应矩估计方法进行迭代学习，以更新去雾模型的超参数；当去雾模型的损失值趋于稳定时，得到训练完毕的去雾络模型。
本发明的特点及有益效果：
本发明提出了一个融合SAR的可见光遥感图像去雾方法，利用条件生成对抗卷积神经网络(cGAN)作为去雾模型。条件生成对抗网络中的生成网络通过一个编码器-解码器网络结构直接学习有雾图像到清晰图像之间的映射关系，判别网络通过一个卷积神经网络拟合生成网络得到的生成图像与真实无雾图像之间的差异。卷积网络采用级联的残差结构，可对去雾模型进行有监督的学习，并减少了栅格效应和图像模糊不清现象的发生，实现高效去雾。该方法不仅易于学习和训练，且具有端到端的结构特性，整个去雾过程无需额外的处理、操作简单。此外，本发明将有雾光学遥感图像(为RGB图像)与SAR图像相融合，以此训练条件生成对抗卷积神经网络，条件生成对抗卷积神经网络可以拉近生成的图像分布和自然真实图像之间的距离分配以获得更自然的效果，且凭借丰富的信息源，实现去噪的同时更好的保留遥感图像边缘纹理细节，实现了视觉增强。
附图说明
图1是本发明所设计的条件生成对抗卷积神经网络中生成网络的结构示意图。
图2是本发明所设计的条件生成对抗卷积神经网络中判别网络的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
为了更好地理解本发明，以下详细阐述一个本发明一种融合SAR的可见光遥感图像去雾方法的应用实例。
本发明提出的一种融合SAR的可见光遥感图像去雾方法，首先将配对的无雾光学遥感图像和无雾SAR图像进行裁切生成，然后对光学图像加雾处理，形成有雾光学图像与无雾SAR图像的数据集。对去雾问题进行建模，并设计一个端到端的条件生成对抗卷积神经网络来拟合云雾图像与清晰图像之间的差异。然后，进行有雾图像与真值图像之间生成模型的学习。该学习好的模型即可用来对实际的光学图像进行去雾。
本发明方法利用常规的编程技术固化在一芯片中，该芯片安装在具有以下配置的计算机内：IntelCore15-6600k处理器，Nvidia GeForceRTX2080Ti图形处理器，主频3.SGHZ，内存16GB，操作系统为ubuntu16.04。条件生成对抗卷积神经网络的实现基于Tensorflow深度学习框架工具包。本发明提出的一种融合SAR的可见光遥感图像去雾方法，具体包括以下步骤：
步骤1：构建光学-SAR遥感图像去雾数据集
在无雾条件下采集相同区域、相同时段的SAR图像A和光学遥感图像B(限定相同区域和时段是为了保证采集的图像A、B中的景观和物体相同)，对其中的光学遥感图像B进行加雾处理得到有雾光学遥感图像C；将图像A、B、C中地理位置相同的像素对齐得到重叠区域；利用滑动窗将重叠区域内的图像A、B、C裁剪成大小相同的若干图像块，将地理区域相同的一个有雾光学遥感图像块c、一个无雾光学遥感图像块a和一个无雾SAR图像块b构成一个图像单元，利用所有图像单元构建光学-SAR遥感图像去雾数据集；将该数据集划分为训练集、验证集。
本实施例中SAR图像A(SAR图像A具有1个色彩通道)和光学遥感图像B(光学遥感图像B为RGB图像，具有3个色彩通道)分别通过卫星GF2和卫星GF3采集。复制光学遥感图像B并进行如下加雾处理得到有雾光学遥感图像C(光学遥感图像C为RGB图像，具有3个色彩通道)：采集与光学遥感图像B相同区域、相同时段的有雾光学遥感图像D(光学遥感图像D为RGB图像，具有3个色彩通道)，使用Photoshop软件提取有雾光学遥感图像D中真实的雾，将该雾覆盖至光学遥感图像B中的相应区域，进行合成得到有雾光学遥感图像C。由于两种遥感图像和传感器的模态差异，采集到的两种图像(A、B)并非严格对齐，因此，在滑动和裁剪图像之前，需将图像A、B、C对齐得到重叠区域，以确保相同的像素位置代表相同的地理位置。然后采用滑动窗口裁剪的方式，将图像A、B、C的重叠区域分别裁剪成大小为512*512的多个图像块，将地理区域相同的一个有雾光学遥感图像块c、无雾光学遥感图像块a和无雾SAR图像块b构成一个图像单元，利用图像A、B、C各一张得到多个图像单元。按照上述方法将图像A、B与具有不同薄厚程度雾的遥感图像C组合，得到具有不同雾薄厚程度的多个图像单元。本实施例中，雾的薄厚程度具有3个级别：薄雾、中雾和厚雾(所述厚雾的厚度应保证透过图像中的雾仍能隐约分辨出其中景观和物体)，每个级别分别具有400个图像单元，共计1200个图像单元，由该1200个图像单元构成构成光学-SAR遥感图像去雾数据集。将该数据集按照9:1划分训练集和验证集。
步骤2：构建条件生成对抗卷积神经网络作为去雾模型，该模型由生成网络和判别网络两部分构成
步骤2-1：构建生成网络，具体步骤如下：
生成网络由编码模块、解码模块和SAR特征提取模块组成；其中，编码模块包括一层卷积层以及n个依次级联的第一卷积块和m个膨胀残差卷积块；解码模块包括n个依次级联的逆卷积块(Deconv Block)和一层逆卷积层，第一卷积块和逆卷积块的个数n、以及膨胀残差卷积块的个数m的选取应保证通过去雾模型得到的清晰图像块与真实图像块之间越接近越好；编码模块中提取的每层特征与解码模块输出的特征跳跃连接并进行逐元素加和；SAR特征提取模块为一个卷积层；各类卷积块均分别包括多个级联的相应卷积层、实例范数归一化层和激活函数层；编码模块和SAR特征提取模块分别以图像单元中的有雾光学遥感图像块c和无雾SAR图像块b作为输入，分别提取有雾图像块特征和无雾SAR图像块特征，将提取的有雾图像块特征和无雾SAR图像块特征相加输入至解码模块，进行多尺度特征融合后，解码模块输出与图像单元中各图像块大小相同的去雾光学遥感图像块e。具体地，首先使用SAR特征提取模块获得无雾SAR图像的特征；然后，将输入的有雾光学遥感图像馈送到编码模块-解码模块网络特征中，以获得详细的特征；最后，对编码模块和SAR特征提取模块的上述结果执行逐个元素的求和运算，以获得融合特征通过解码模块从而生成去雾后的清晰光学遥感图像。生成网络还利用跳跃连接融合多尺度信息，具体地，输入编码模块中第一层卷积层的特征与解码模块最后一层逆卷积层输出的特征直接相加，编码模块中第一层卷积层输出至第1个第一卷积块的特征与解码模块中第n个逆卷积块输出至最后一层逆卷积层的特征相加，编码模块中第i-1个第一卷积块输出至第i个第一卷积块的特征与解码模块中第n-i个逆卷积块输出至第n-i+1个逆卷积块的特征相连，i＝2,3,…,n-1，编码模块中输入至当前膨胀残差卷积块的特征与该膨胀残差卷积块输出的特征相加。此外，采用如图1所示的膨胀残差卷积块，可显着扩展感受野并有效避免后续训练过程的反向传播时发生梯度消失。
本发明的生成网络采用编码器-解码器网络的架构，它由编码模块、SAR特征提取模块和解码模块组成。编码模块主要由普通的卷积块和膨胀残差卷积块组成，旨在获得输入有雾光学遥感图像块的全局和局部特征，解码模块的逆卷积块将特征图像还原为原始大小并生成输出无雾的光学遥感图像。SAR特征提取模块提取了无雾SAR的图像特征。
去雾问题即是要从有雾图像h中恢复出清晰图像g。令h代表有雾图像，g表示被恢复的清晰图像，函数F代表有雾图像与对应清晰图像之间的映射关系，则去雾问题可通过以下公式表述：
g＝F(h) (1)
根据公式(1)，一旦获得映射关系F，则给定一个有雾图像h，通过该函数关系映射便可得到清晰图像，从而实现图像去雾。本发明的生成网络采用多个残差卷积块和膨胀残差卷积块来拟合有雾图像到清晰图像之间的映射关系F(h)。
具有残差结构的卷积块，其输入不仅传递给卷积层，并且在卷积块末端与卷积块的输出直接相加，形成最终的网络输出。残差结构的卷积块所组成的神经网络学习到的模型H(h)可描述为：
H(h)＝F(h)-h (2)
在残差网络中，大部分信息是由网络输入直接提供的，网络学习过程主要是对输入与输出之间的残差部分进行学习。而在去雾问题上，清晰图像和其对应的有雾图像具有相似的纹理和颜色，可以看作是去雾前图像的一个近似，这一点恰好与残差网络的特点相对应。因此，利用残差卷积网络来回归学习清晰图像，即：网络中的权重层只需要学习有雾图像和清晰图像之间不同的部分(雾成分)，相同的地物纹理和颜色信息可以由输入图像直接提供。通过这一有参考的网络结构，将有雾图像到清晰图像之间复杂的映射转化为有雾图像到雾成分之间简单的映射，大大减小了网络学习的难度。
本实施例中生成网络的输入是具有3个色彩通道的有雾光学遥感图像块c(为可见光数据)和具有1个色彩通道的无雾SAR遥感图像块b，输出是相应的去雾后清晰图像块(与输入的有雾光学遥感图像块的格式相同)，生成网络是端到端的全卷积结构；考虑到图像每个像素点处的去雾只取决于局部信息，各类卷积层均采用了3×3维度的小卷积核。参见图1(图中，各类卷积块的大小表征通过相应卷积块后提取的图像特征大小)，生成网络的编码模块由1层卷积层(Conv)、2个第一卷积块(Conv Block)和6个膨胀残差卷积块(DilatedResblock)级联组成，解码模块由2个逆卷积块(Deconv Block)和1个逆卷积层(Deconv)级联组成，编码模块中提取的每层特征与解码模块对应输出的特征跳跃连接并进行逐元素加和，SAR特征提取模块由一层卷积层构成。编码模块的各第一卷积块(Conv Block)均分别由依次连接的一层Leaky Relu激活函数层、一层卷积层和一层实例范数归一化(InstanceNorm)层组成，编码模块的各膨胀残差卷积块均分别由两个残差卷积块(Resblock)连接组成，各残差卷积块均分别由依次连接的一层Leaky Relu激活函数层、一层空洞卷积层(Dilated Conv)和一层实例范数归一化层组成。解码模块的各逆卷积块(Deconv Block)均分别由依次连接的一层Leaky Relu激活函数层、一层逆卷积层(Deconv)和一层实例范数归一化层组成。编码模块的输出特征(即编码模块中最后一个膨胀残差卷积块输出的特征矩阵)矩阵维度为1×1×512，解码模块的输出特征(即解码模块中最后一层逆卷积层输出的特征)矩阵维度为512×512×3，SAR特征提取模块的输出特征矩阵维度为1×1×512。生成网络的第一层卷积层含有64个卷积核，实现图像数据的高维映射，使得后续的残差卷积块可以在高维空间学习，第一个和第二个第一卷积块内的卷积层分别含有128个和256个卷积核，各膨胀残差卷积块内的卷积层均分别含有256个卷积核，SAR特征提取模块内含有256个卷积核，第一个和第二个逆卷积块内的逆卷积层分别含有128个和64个逆卷积核；生成网络的最后一层逆卷积层含有3个逆卷积核，将特征图像映射到原始图像维度，实现清晰图像的输出。
步骤2-2：构建判别网络，具体步骤如下：
判别网络包括一层卷积层、多个依次级联的第二卷积块以及一层激活函数层，各卷积块均分别包括依次级联的卷积层、批处理归一化层和激活函数层。判别网络以输入生成网络的图像单元中的无雾光学遥感图像块a以及生成网络输出的去雾光学遥感图像块e作为输入，以输入的两图像块相似程度作为输出。
参见图2，本实施例的判别网络由一层含有64个卷积核的卷积层(Conv)、五个第二卷积块(Conv Block)和最后一层Sigmoid激活函数层构成，每个第二卷积块均分别包括依次连接的一层卷积层(各卷积层所含卷积核的个数依次为128、256、512、512和1)，一层Leaky ReLU激活函数层和一层批处理归一化(Batch Norm)层。判别网络的输入为生成网络生成的无雾光学遥感图像块e与无雾光学遥感图像块a，判别网络的最后一层卷积层含有1个卷积核，将特征映射到一维，判别网络的输出为输入判别网络的图像对的真假概率数值，属于[0,1]，反映了生成网络输出图像的真实程度。
步骤3：分别利用步骤1得到的训练集和验证集对步骤2构建的去雾模型依次进行联合训练和验证，得到训练完毕的去雾模型；
本实施例中，对于步骤1获得的1200个图像单元，将其中的1080个图像单元作为训练集对步骤2构建的去雾模型进行训练，剩余的120个图像单元作为验证集进行超参数(该超参数包括学习率，小样本批次大小)的调整。去雾模型的参数初始化方式为随机初始化，训练200个周期以得到训练完毕的去雾模型。
具体地，将训练集和验证集中各图像块归一化至[0,1]之间(可通过写函数来实现)，利用均值为0、方差为0.01的高斯函数对去雾模型中各卷积核的权重进行初始化，设偏置采用固定值0.01进行初始化。将步骤1得到的训练集中的所有有雾光学遥感图像块c和无雾SAR图像块b批量输入构建的去雾模型，其中，有雾光学遥感图像块c批量输入编码模块、无雾SAR图像块b批量输入SAR特征提取模。设置训练周期为200，初始学习率为0.0002；为了防止过拟合，设置损失函数以二范数形式而非传统的对抗损失对模型的超参数进行正则化约束，正则化系数为0.0001，其中，生成网络的损失函数为最小二乘损失与欧式距离损失函数的和，判别网络的损失函数为输入真实图像与生成图像通过判别网络后输出概率的最小二乘损失。在进行去雾模型优化时，采用自适应矩估计法的方式进行迭代学习，以更新去雾模型的超参数，当去雾模型的损失值趋于稳定时，即可结束训练，此时保存的网络参数即为训练完毕的去雾模型。本实施例中整个训练过程在Nvidia GeForce RTX2080Ti GPU上进行，共进行迭代200个周期，得到训练完毕的去雾模型。
步骤4：可见光遥感图像去雾
采集一张有雾光学遥感图像C’和无雾SAR遥感图像B’，保证两张图像中的景观和物体相同；将遥感图像C’和遥感图像B’中地理位置相同的像素对齐得到重叠区域，利用步骤1中的滑动窗将重叠区域内的遥感图像B’、C’裁剪成大小相同的若干图像块；将有雾光学遥感图像块c’和无雾SAR遥感图像块b’分别输入步骤3训练完毕的去雾模型中的编码模块和SAR特征提取模块，最终得到去雾后的清晰图像块。
本发明是针对GF2和GF3遥感卫星可见光波段数据和SAR数据的处理，该方法同样适用于来自其他卫星传感器的可见光与SAR数据。对于其他卫星传感器的多光谱数据，选择相同区域、时间相近的可见光与SAR图像，按照步骤1生成有雾图像与无雾SAR图像来对网络进行训练，即可实现可见光图像的有效去雾。
以上示意性地对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性地设计出与该技术方案相似的方式及实施例，均应属于本发明的保护范围。
Claims (6)
1.一种融合SAR的可见光遥感图像去雾方法，其特征在于，该方法具体包括以下步骤：
步骤1：构建光学-SAR遥感图像去雾数据集
在无雾条件下采集相同区域、相同时段的SAR图像A和光学遥感图像B，对其中的光学遥感图像B进行加雾得到有雾的光学遥感图像C，将图像A、B、C中相同地理位置相同的像素对齐得到重叠区域；利用滑动窗将重叠区域内的图像A、B、C裁剪成大小相同的若干图像块，将地理区域相同的一个有雾光学遥感图像块c、一个无雾光学遥感图像块a和一个无雾SAR图像块b构成一个图像单元，利用所有图像单元构建光学-SAR遥感图像去雾数据集；将该数据集划分为训练集、验证集；
步骤2：构建条件生成对抗卷积神经网络作为去雾模型，该模型由生成网络和判别网络两部分构成
步骤2-1：构建生成网络
所述生成网络由编码模块、解码模块和SAR特征提取模块组成；其中，所述编码模块包括一层卷积层以及多个依次级联的第一卷积块和膨胀残差卷积块，所述解码模块包括与编码模块中第一卷积块个数相同的多个依次级联的逆卷积块和一层逆卷积层，编码模块中提取的每层特征与解码模块输出的特征跳跃连接并进行逐元素加和；所述SAR特征提取模块为一个卷积层；各类卷积块均分别包括多个级联的相应卷积层、实例范数归一化层和第一激活函数层；编码模块和SAR特征提取模块分别以所述图像单元中的有雾光学遥感图像块c和无雾SAR图像块b作为输入，分别提取有雾光学遥感图像块特征和无雾SAR图像块特征，将提取的有雾光学遥感图像块特征和无雾SAR图像块特征相加输入至所述解码模块，进行多尺度特征融合后，所述解码模块输出与图像单元中各图像块大小相同的去雾光学遥感图像块e；
步骤2-2：构建判别网络
所述判别网络包括一层卷积层、多个依次级联的第二卷积块以及一层第二激活函数层，各卷积块均分别包括依次级联的卷积层、批处理归一化层和第一激活函数层；所述判别网络以输入生成网络的图像单元中的无雾光学遥感图像块a以及生成网络输出的去雾光学遥感图像块e作为输入，以输入的两图像块相似程度作为输出；
步骤3：分别利用步骤1得到的训练集和验证集对步骤2构建的去雾模型依次进行联合训练和验证，得到训练完毕的去雾模型；
步骤4：可见光遥感图像去雾
采集一张有雾光学遥感图像C’和无雾SAR遥感图像B’，保证两张图像中的景观和物体相同；将遥感图像C’和遥感图像B’中地理位置相同的像素对齐得到重叠区域，利用步骤1中的滑动窗将重叠区域内的遥感图像B’、C’裁剪成大小相同的若干图像块；将有雾光学遥感图像块c’和无雾SAR遥感图像块b’分别输入步骤3训练完毕的去雾模型中的编码模块和SAR特征提取模块，得到去雾后的清晰图像块。
2.根据权利要求1所述的融合SAR的可见光遥感图像去雾方法，其特征在于，步骤1中，所述有雾光学遥感图像C是通过以下方式获得：采集与所述光学遥感图像B相同区域、相同时段的有雾光学遥感图像D，提取该有雾光学遥感图像D中真实的雾，将该雾覆盖至光学遥感图像B中的相应区域，进行合成得到有雾光学遥感图像C。
3.根据权利要求1所述的融合SAR的可见光遥感图像去雾方法，其特征在于，步骤1构建的光学-SAR遥感图像去雾数据集中，含有雾薄厚程度不同的多个所述有雾光学遥感图像块c。
4.根据权利要求1所述的融合SAR的可见光遥感图像去雾方法，其特征在于，步骤2，所述生成网络中，输入编码模块中第一层卷积层的特征与解码模块最后一层逆卷积层输出的特征相加，编码模块中第一层卷积层输出至第1个第一卷积块的特征与解码模块中第n个逆卷积块输出至最后一层逆卷积层的特征相加，编码模块中第i-1个第一卷积块输出至第i个第一卷积块的特征与解码模块中第n-i个逆卷积块输出至第n-i+1个逆卷积块的特征相连，i＝2,3,…,n-1，n为编码模块中第一卷积块和解码模块中逆卷积块的个数，编码模块中输入至当前膨胀残差卷积块的特征与该膨胀残差卷积块输出的特征相加。
5.根据权利要求1所述的融合SAR的可见光遥感图像去雾方法，其特征在于，步骤2，所述生成网络中，所述膨胀残差卷积块含有两个相连接的残差卷积块，各残差卷积块均分别包括依次连接的第一激活函数层、空洞卷积层和实例范数归一化层；所述第一激活函数层采用Leaky ReLU激活函数，所述第二激活函数层采用Sigmoid激活函数。
6.根据权利要求1所述的融合SAR的可见光遥感图像去雾方法，其特征在于，步骤3中对去雾模型进行联合训练时，设置损失函数以二范数形式对去雾模型的超参数进行正则化约束；其中，所述生成网络的损失函数为最小二乘损失与欧式距离损失函数的和，所述判别网络的损失函数为输入的真实有雾光学遥感图像块与去雾光学遥感图像块e通过判别网络后输出概率的最小二乘损失；采用自适应矩估计方法进行迭代学习，以更新去雾模型的超参数；当去雾模型的损失值趋于稳定时，得到训练完毕的去雾络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010098172.2A CN111383192B (zh) | 2020-02-18 | 2020-02-18 | 一种融合sar的可见光遥感图像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010098172.2A CN111383192B (zh) | 2020-02-18 | 2020-02-18 | 一种融合sar的可见光遥感图像去雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111383192A CN111383192A (zh) | 2020-07-07 |
| CN111383192B true CN111383192B (zh) | 2022-10-18 |
Family
ID=71219709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010098172.2A Active CN111383192B (zh) | 2020-02-18 | 2020-02-18 | 一种融合sar的可见光遥感图像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111383192B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111986108B (zh) * | 2020-08-07 | 2024-04-19 | 西北工业大学 | 一种基于生成对抗网络的复杂海空场景图像去雾方法 |
| CN111932365B (zh) * | 2020-08-11 | 2021-09-10 | 上海华瑞银行股份有限公司 | 一种基于区块链的金融征信系统及方法 |
| CN112070688A (zh) * | 2020-08-20 | 2020-12-11 | 西安理工大学 | 一种基于上下文引导生成对抗网络的单幅图像去雾方法 |
| CN112184573B (zh) * | 2020-09-15 | 2023-05-16 | 西安理工大学 | 基于卷积神经网络的上下文聚合残差单幅图像去雨方法 |
| CN112183338B (zh) * | 2020-09-28 | 2021-06-15 | 广东石油化工学院 | 一种基于视频的烟雾场景下人的再识别方法、系统及终端 |
| CN112257699A (zh) * | 2020-12-23 | 2021-01-22 | 南京华格信息技术有限公司 | 基于可见光图像和sar图像的鸟类目标特征分析与提取方法 |
| CN112946684B (zh) * | 2021-01-28 | 2023-08-11 | 浙江大学 | 基于光学目标信息辅助的电磁遥感智能成像系统与方法 |
| CN112884677B (zh) * | 2021-03-23 | 2022-05-24 | 中国工程物理研究院流体物理研究所 | 基于光学合成孔径成像的图像复原处理方法 |
| CN113379618B (zh) * | 2021-05-06 | 2024-04-12 | 航天东方红卫星有限公司 | 基于残差密集连接和特征融合的光学遥感图像去云方法 |
| CN113538536B (zh) * | 2021-07-21 | 2022-06-07 | 中国人民解放军国防科技大学 | 一种sar图像信息辅助的遥感光学图像浓云检测方法及系统 |
| CN113658059B (zh) * | 2021-07-27 | 2024-03-26 | 西安理工大学 | 一种基于深度学习的遥感图像去雾增强方法 |
| CN113744159B (zh) * | 2021-09-09 | 2023-10-24 | 青海大学 | 一种遥感图像去雾方法、装置及电子设备 |
| CN114240796B (zh) * | 2021-12-22 | 2024-05-31 | 山东浪潮科学研究院有限公司 | 一种基于gan的遥感影像去云雾方法、设备、存储介质 |
| CN116309150B (zh) * | 2023-03-14 | 2023-09-22 | 中国科学院空天信息创新研究院 | 一种sar辅助下光学遥感影像修复方法 |
| CN116030057B (zh) * | 2023-03-29 | 2023-06-09 | 中国电子科技集团公司第五十四研究所 | 一种基于注意力机制的遥感影像能见度估计方法 |
| CN117726550B (zh) * | 2024-02-18 | 2024-04-30 | 成都信息工程大学 | 一种多尺度门控注意力遥感图像去雾方法和系统 |
| CN117853371B (zh) * | 2024-03-06 | 2024-05-31 | 华东交通大学 | 多分支频域增强的真实图像去雾方法、系统及终端 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107256541A (zh) * | 2017-06-15 | 2017-10-17 | 北京航空航天大学 | 一种基于卷积神经网络的多光谱遥感图像去雾方法 |
| CN110097519A (zh) * | 2019-04-28 | 2019-08-06 | 暨南大学 | 基于深度学习的双监督图像去雾方法、系统、介质和设备 |
| CN110136075A (zh) * | 2019-04-18 | 2019-08-16 | 中国地质大学（武汉） | 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 |
| CN110570371A (zh) * | 2019-08-28 | 2019-12-13 | 天津大学 | 一种基于多尺度残差学习的图像去雾方法 |
-
2020
- 2020-02-18 CN CN202010098172.2A patent/CN111383192B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107256541A (zh) * | 2017-06-15 | 2017-10-17 | 北京航空航天大学 | 一种基于卷积神经网络的多光谱遥感图像去雾方法 |
| CN110136075A (zh) * | 2019-04-18 | 2019-08-16 | 中国地质大学（武汉） | 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 |
| CN110097519A (zh) * | 2019-04-28 | 2019-08-06 | 暨南大学 | 基于深度学习的双监督图像去雾方法、系统、介质和设备 |
| CN110570371A (zh) * | 2019-08-28 | 2019-12-13 | 天津大学 | 一种基于多尺度残差学习的图像去雾方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111383192A (zh) | 2020-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111383192B (zh) | 一种融合sar的可见光遥感图像去雾方法 | |
| Zhang et al. | Remote sensing image spatiotemporal fusion using a generative adversarial network | |
| CN111652321B (zh) | 一种基于改进yolov3算法的海上船舶检测方法 | |
| CN113298818A (zh) | 基于注意力机制与多尺度特征的遥感图像建筑物分割方法 | |
| Tu et al. | SWCGAN: Generative adversarial network combining swin transformer and CNN for remote sensing image super-resolution | |
| CN113743383B (zh) | 一种sar影像水体提取方法、装置、电子设备及存储介质 | |
| CN111784560A (zh) | 基于级联残差生成对抗网络的sar和光学图像双向翻译方法 | |
| CN110991430B (zh) | 基于遥感图像的地物识别及覆盖率计算方法及系统 | |
| CN112287983B (zh) | 一种基于深度学习的遥感图像目标提取系统和方法 | |
| CN115984714B (zh) | 一种基于双分支网络模型的云检测方法 | |
| CN113239736A (zh) | 一种基于多源遥感数据的土地覆盖分类标注图获取方法、存储介质及系统 | |
| Oehmcke et al. | Creating cloud-free satellite imagery from image time series with deep learning | |
| Cheng et al. | A highway traffic image enhancement algorithm based on improved GAN in complex weather conditions | |
| CN113705340B (zh) | 一种基于雷达遥感数据的深度学习变化检测方法 | |
| Zhang et al. | Anomaly detection in hyperspectral image using 3D-convolutional variational autoencoder | |
| Long et al. | Dual self-attention Swin transformer for hyperspectral image super-resolution | |
| CN114092803A (zh) | 基于遥感图像的云检测方法、装置、电子设备及介质 | |
| Zhang et al. | Dense haze removal based on dynamic collaborative inference learning for remote sensing images | |
| CN113393385B (zh) | 基于多尺度融合的无监督去雨方法、系统、装置及介质 | |
| Zhang et al. | Application of deep generative networks for SAR/ISAR: a review | |
| CN117788296A (zh) | 基于异构组合深度网络的红外遥感图像超分辨率重建方法 | |
| CN114764880B (zh) | 多成分gan重建的遥感图像场景分类方法 | |
| CN115984568A (zh) | 一种基于YOLOv3网络的雾霾环境下目标检测方法 | |
| Yao et al. | A Forecast-Refinement Neural Network Based on DyConvGRU and U-Net for Radar Echo Extrapolation | |
| Bandi et al. | FUSION OF SAR AND OPTICAL IMAGES USING PIXEL-BASED CNN. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |