CN113838064B - 一种基于分支gan使用多时相遥感数据的云去除方法 - Google Patents

一种基于分支gan使用多时相遥感数据的云去除方法 Download PDF

Info

Publication number
CN113838064B
CN113838064B CN202111115253.XA CN202111115253A CN113838064B CN 113838064 B CN113838064 B CN 113838064B CN 202111115253 A CN202111115253 A CN 202111115253A CN 113838064 B CN113838064 B CN 113838064B
Authority
CN
China
Prior art keywords
image
cloud
remote sensing
feature
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111115253.XA
Other languages
English (en)
Other versions
CN113838064A (zh
Inventor
关键
董喆
田左
兰海燕
王恺瀚
原皓天
肖飞扬
谢明杰
车新怡
康金敏
魏玉明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN202111115253.XA priority Critical patent/CN113838064B/zh
Publication of CN113838064A publication Critical patent/CN113838064A/zh
Application granted granted Critical
Publication of CN113838064B publication Critical patent/CN113838064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于遥感图像处理技术领域，具体涉及一种基于分支GAN使用多时相遥感数据的云去除方法。本发明设计了一个深度卷积编码器‑解码器网络模型用于遥感图像云检测，以及一个分支GAN模型用于遥感图像的云去除，在保证云去除效果的同时，提升了重建像素的分辨率。本发明利用最大池化索引来进行输入图像特征图的非线性上采样，减少了端到端训练的参数量，提高了网络训练的时间；采用分支UNet结构来融合多时相遥感图像的特征信息，通过共享底层的语义信息，有效提高遥感图像云去除的精度。

Description

一种基于分支GAN使用多时相遥感数据的云去除方法
技术领域
本发明属于遥感图像处理技术领域，具体涉及一种基于分支GAN使用多时相遥感数据的云去除方法。
背景技术
遥感技术作为一种空间探测技术，具有探测范围广、获取资料快和受地理条件限制少等优点，广泛应用于气象观测、资源考察等领域。近年来，随着航天技术和遥感技术的飞速发展，星载遥感成像技术在光谱分辨率、时空分辨率等方面都取得了长足的进步。如今，每天都有大量高分辨率、高清晰度的航天遥感图像得以采集，如何充分利用这些丰富的遥感图像资源，从中获取重要信息，并高效服务于农林牧渔、环保等各个方面，是我国遥感技术研究与发展面临的重要课题。
遥感图像在获取中经常存在图像被云覆盖，导致了地物信息缺失的问题。根据国际卫星云气候计划提供的全球云量数据显示，云覆盖了50％以上的地球表面。因此在利用航空遥感手段获取地球空间信息的过程中，云不可避免地影响了遥感设备的使用效率和成像质量，并且占用了系统的传输带宽和存储空间，严重浪费了信道和地面资源。此外，遥感图像中云遮挡的区域，除了含有云的信息，还含有地物属性中的辐射信息和纹理信息，并且云在遥感图像中的分布存在局部性，不同区域的云量也存在差异，这使得在进行云去除时会直接影响地物属性。因此，遥感图像中云的存在成为了光学遥感技术进一步发展的严重桎梏。
随着大数据技术的发展及计算机运算能力的提升，机器学习尤其是深度学习在计算机视觉领域的许多应用中得到了广泛的应用并获得了巨大的成功。作为深度学习模型的翘楚，生成对抗网络(Generative Adversarial Networks,GAN)自被提出以来，已广泛应用在图像生成、语义分割、超分辨率还原、图像修复等任务当中。
近年来，国内外对遥感图像云去除技术展开了大量的研究。虽然现有的云去除算法能够取得一定程度的效果，但大多通用性较低，并且云去除后往往存在地物信息缺失、云残留等问题。除此之外，当获取季节和大气条件不同时，多时相遥感图像存在亮度差异，因此基于多时相遥感图像的云去除算法对图像具有较苛刻的时间或季节限制，使得多时相遥感图像并未有很高的分辨率，造成这类算法难以实用。
发明内容
本发明的目的在于提供一种基于分支GAN使用多时相遥感数据的云去除方法。
本发明的目的通过如下技术方案来实现：包括以下步骤：
步骤1：多时相遥感图像预处理，基于地面实况进行配准；
步骤1.1：将地面实况图像作为基准图像，多时相遥感图像作为待配准图像，利用预训练的VGG-16模型对基准图像和待配准图像进行特征提取；
步骤1.2：选取三个不同尺度的特征来构建特征描述符，分别是第三、第四、第五个池化层输出的特征；
步骤1.3：计算基准图像和待配准图像之间的特征距离，分别进行特征归一化之后，采用最小L1距离作为各个特征点的差值；
图像整体的特征距离d(x,y)为：
其中，di(·)分别表示基准图像和待配准图像之间的第三、第四、第五个池化层输出特征图之间的L1距离差值；x,y表示特征点所对应的坐标值；
步骤1.4：对提取的特征点进行特征预匹配；当特征点距离差值小于设定的阈值时，则认为两个特征点匹配；
步骤1.5：采用混合高斯模型对预匹配的特征点进行动态的规范特征点筛选；
步骤1.6：通过不断使用最大期望算法迭代计算期望和最小化梯度直到收敛，从而完成基准图像和待配准图像的配准；
步骤2：遥感图像云检测，生成云遮罩；
步骤2.1：将带云遥感图像输入到基于深度卷积编码器-解码器结构的云检测网络中；云检测网络的编码器对遥感图像进行特征提取，解码器采用最大池化索引进行上采样，最后将每个像素送到Softmax分类器中，编码器网络与滤波器组进行卷积，以生成一组特征图；之后将生成的特征图进行批标准化，并使用整流线性单元激活函数增加特征函数的非线性；
步骤2.2：利用云检测网络对遥感图像像素进行像素级分类，通过设定阈值将遥感图像像素分为云像元和非云像元，从而实现遥感图像云检测；
步骤2.3：根据遥感图像云检测的结果生成相应的云遮罩；
步骤2.4：利用Filtered Jaccard损失函数对云检测模型进行优化；
Filtered Jaccard损失函数为：
其中，t代表地面实况图像；p代表云检测网络的输出；K表示地面实况图像的像素总数；ti∈[0,1]和pi∈[0,1]分别代表地面实况图像和云检测网络输出图像的第i个像素值；ε为设定的常数，用于避免分母为0时引起的异常；
步骤3：基于分支GAN的云去除网络进行遥感图像云去除；
步骤3.1：根据生成的云遮罩对带云遥感图像中云像素区域进行抠除，生成去云的多时相遥感图像；
步骤3.2：将多时相的去云遥感图像作为分支UNet结构的输入，每张图片首先传递到单独的编码器结构中，进行特征编码；之后将每张图像的编码特征进行融合，一起导入到解码器中进行解码；通过卷积结构对图像的特征进行提取，经过池化层进行下采样，将提取的特征在全连接层进行拼接，以实现特征融合；
步骤3.3：融合的特征图像传入云去除网络的生成器结构中，生成器的基本架构是一个全卷机神经网络，生成器结构主要包含5个残差块、4个空间注意块以及2个卷积块；利用前三个标准残差块提取UNet分支结构输出的特征；改进生成器的总损失从而提升遥感图像云去除的精确度和分辨率，总损失LCRGAN定义如式：
其中，LcGAN(G,D)是GAN的损失，计算方法如式：
LcGAN(G,D)＝Einput,output[log D(input,output)]+Einput,z[log(1-D(input,G(input,z)))]
其中，input是输入的图像；output是生成器生成的图像；z是加入的随机噪音；
总损失的第二部分L1(G)是标准L1损失，计算方法如式：
其中，λc是用来控制每个通道的权重超参数；H和W分别表示输入图像的高和宽；φ(·)代表卷积生成的特征图；
总损失的第三部分Lcontent是基于预训练的19层的VGG网络定义的内容损失；内容损失定义为重建图像和多时相遥感图像经过UNet融合后的特征图像IHR之间的欧氏距离，计算方法如式：
其中，代表VGG19网络中第i个最大池化层之前的第j个卷积获得的特征图；
步骤3.4：在空间注意力块中使用两轮四向的单位矩阵初始化结构来积累全局的上下文信息；
步骤3.5：利用四个空间注意力块在四个步骤中逐渐识别遥感图像中扣除云像元的区域，之后利用两个残差块重建干净的背景从而实现云去除。
本发明还可以包括：
所述的步骤1.5中采用混合高斯模型对预匹配的特征点进行动态的规范特征点筛选的方法具体为：
步骤1.5.1：计算卷积特征的损失矩阵Cconv：
其中，是在设定阈值θ下所有预匹配特征点对的最大距离；
步骤1.5.2：利用ShapeContext模型计算结构损失矩阵Cgeo：
其中，hx(b)和hy(b)分别表示ShapeContext模型中基准图像和待配准图像特征点落在第b个网格中的点数；B表示网格中落入特征点的总点数；
步骤1.5.3：计算损失矩阵C；
损失矩阵C为特征损失矩阵Cconv点乘⊙结构损失矩阵Cgeo的乘积：
C＝Cconv⊙Cgeo
步骤1.5.4：通过Jonker-Volgenant算法对损失矩阵进行特征点的匹配概率进行计算，得到先验概率矩阵PR：
其中，σ为根据置信度确定的一个超参数；
步骤1.5.5：根据先验概率矩阵PR，通过设定的阈值动态挑选规范特征点。
本发明的有益效果在于：
本发明设计了一个深度卷积编码器-解码器网络模型用于遥感图像云检测，以及一个分支GAN模型用于遥感图像的云去除，在保证云去除效果的同时，提升了重建像素的分辨率。本发明利用最大池化索引来进行输入图像特征图的非线性上采样，减少了端到端训练的参数量，提高了网络训练的时间；采用分支UNet结构来融合多时相遥感图像的特征信息，通过共享底层的语义信息，有效提高遥感图像云去除的精度。
附图说明
图1为本发明的总体路线图。
图2为本发明中图像配准技术路线图。
图3为本发明中云检测网络结构图。
图4为本发明中云检测网络原理示意图。
图5为本发明中分支UNet结构图。
图6为本发明中云去除网络结构图。
图7为本发明中空间注意力块结构图。
具体实施方式
下面结合附图对本发明做进一步描述。
遥感技术作为一种空间探测技术，具有探测范围广、获取资料快和受地理条件限制少等优点，广泛应用于气象观测、资源考察和军事侦察等领域。针对遥感图像被云覆盖所导致的地物信息缺失，以及目前的云去除方法大多通用性较低，并且云去除后往往存在云残留的问题，本发明提出了一种基于分支GAN使用多时相遥感数据的云去除方法。
本发明设计了一个深度卷积编码器-解码器网络模型用于遥感图像云检测，以及一个分支GAN模型用于遥感图像的云去除，在保证云去除效果的同时，提升了重建像素的分辨率。本发明利用最大池化索引来进行输入图像特征图的非线性上采样，减少了端到端训练的参数量，提高了网络训练的时间；采用分支UNet结构来融合多时相遥感图像的特征信息，通过共享底层的语义信息，有效提高遥感图像云去除的精度。
一种基于分支GAN使用多时相遥感数据的云去除方法，该方法首先选取地面实况(Ground Truth)图像和多时相遥感图像，然后执行以下步骤：
步骤1：多时相遥感图像预处理，基于地面实况进行配准；
步骤1.1：将地面实况图像作为基准图像，多时相遥感图像作为待配准图像，首先利用预训练的VGG-16模型对基准图像和待配准图像进行特征提取。其中，VGG-16包含5个卷积块，每个卷积块包含2-3个卷积层及最大池化层；
步骤1.2：选取三个不同尺度的特征来构建特征描述符，分别是第三、第四、第五个池化层输出的特征，共计完成了一个样本图像的21个特征点的提取；
步骤1.3：计算基准图像和待配准图像之间的特征距离，分别进行特征归一化之后，采用最小L1距离作为各个特征点的差值，图像整体的特征距离d(x,y)计算方法如式：
其中，di(·)分别表示基准图像和待配准图像之间的第三、第四、第五个池化层输出特征图之间的L1距离差值，x,y表示特征点所对应的坐标值；
步骤1.4：对提取的特征点进行特征预匹配。当特征点距离差值小于设定的阈值时，则认为两个特征点匹配；
步骤1.5：采用一种混合高斯模型(Gaussian mixture model,GMM)对预匹配的特征点进行动态的规范特征点筛选。首先计算卷积特征的损失矩阵Cconv：
其中，是在设定阈值θ下所有预匹配特征点对的最大距离。之后，利用ShapeContext模型计算结构损失矩阵Cgeo：
其中，hx(b)和hy(b)分别表示ShapeContext模型中基准图像和待配准图像特征点落在第b个网格中的点数。B表示网格中落入特征点的总点数。
最终的损失矩阵C为特征损失矩阵Cconv点乘⊙结构损失矩阵Cgeo的乘积：
C＝Cconv⊙Cgeo
最后，通过Jonker-Volgenant算法对损失矩阵进行特征点的匹配概率进行计算，得到先验概率矩阵PR：
其中σ为根据置信度确定的一个超参数。
根据该先验矩阵PR的概率，通过设定的阈值动态挑选规范特征点；
步骤1.6：通过不断使用最大期望算法迭代计算期望和最小化梯度直到收敛，从而完成基准图像和待配准图像的配准。
步骤2：遥感图像云检测，生成云遮罩；
步骤2.1：将带云遥感图像输入到基于深度卷积编码器(Encoder)-解码器(Decoder)结构的云检测网络中。所述云检测网络采用典型的编码器和解码器结构，其中Encoder采用VGG16网络的13个卷积层对遥感图像进行特征提取，Decoder采用最大池化索引进行上采样，最后将每个像素送到Softmax分类器中。编码器网络与滤波器组进行卷积，以生成一组特征图。之后将生成的特征图进行批标准化(Batch Normalization，BN)，并使用整流线性单元(Rectified Linear Unit，ReLU)激活函数增加特征函数的非线性；
步骤2.2：利用云检测网络对遥感图像像素进行像素级分类，通过设定阈值将遥感图像像素分为云像元和非云像元，从而实现遥感图像云检测；
步骤2.3：根据遥感图像云检测的结果生成相应的云遮罩；
步骤2.4：利用Filtered Jaccard损失函数对云检测模型进行优化。首先定义Jaccard损失函数JL(t,p)如式：
其中，t代表地面实况图像，p代表云检测网络的输出。K表示地面实况图像的像素总数，并且ti∈[0,1]和pi∈[0,1]分别代表地面实况图像和云检测网络输出图像的第i个像素值。
改进损失函数为Filtered Jaccard损失，从而避免图像像素值都为0的极端情况：
其中Fkt-J表示Filtered Jaccard损失，GL表示补偿函数。
补偿函数GL的计算方法如式：
其中ε被设为10-7来避免分母为0时引起的异常。
Filtered Jaccard损失整理为以下更一般的形式：
步骤3：基于分支GAN的云去除网络进行遥感图像云去除。
步骤3.1：根据生成的云遮罩对带云遥感图像中云像素区域进行抠除，生成去云的多时相遥感图像；
步骤3.2：将多时相的去云遥感图像作为分支UNet结构的输入，每张图片首先传递到单独的编码器结构中，进行特征编码。之后将每张图像的编码特征进行融合，一起导入到解码器中进行解码。通过卷积结构对图像的特征进行提取，经过池化层进行下采样，将提取的特征在全连接层进行拼接，以实现特征融合；
步骤3.3：融合的特征图像传入云去除网络的生成器结构中，生成器的基本架构是一个全卷机神经网络(Fully Convolutional Network，FCN)，生成器结构主要包含5个残差块、4个空间注意块以及2个卷积块。利用前三个标准残差块(Residual Block，RB)提取UNet分支结构输出的特征。改进生成器的总损失从而提升遥感图像云去除的精确度和分辨率，总损失LCRGAN定义如式：
其中LcGAN(G,D)是GAN的损失，生成器G尽可能地将目标损失最小化，而判别器D则尽可能地将其最大化。GAN的损失LcGAN(G,D)计算方法如式：
LcGAN(G,D)＝Einput,output[log D(input,output)]+Einput,z[log(1-D(input,G(input,z)))]
其中input是输入的图像，output是生成器生成的图像，z是加入的随机噪音。
总损失的第二部分L1(G)是标准L1损失，计算方法如式：
其中λc是用来控制每个通道的权重超参数。H和W分别表示输入图像的高和宽，φ(·)代表卷积生成的特征图。
总损失的第三部分Lcontent是基于预训练的19层的VGG网络定义的内容损失。内容损失定义为重建图像和多时相遥感图像经过UNet融合后的特征图像IHR之间的欧氏距离。计算方法如式：
其中代表VGG19网络中第i个最大池化层之前的第j个卷积获得的特征图；
步骤3.4：在空间注意力块中使用两轮四向的单位矩阵初始化(Identity MatrixInitialization，IRNN)结构来积累全局的上下文信息；
步骤3.5：利用四个空间注意力块(Spatial Attentive Block，SAB)在四个步骤中逐渐识别遥感图像中扣除云像元的区域，之后利用两个残差块(RB)重建干净的背景从而实现云去除
实施例1：
为解决遥感图像被云覆盖所导致的地物信息缺失问题，本发明提出一种基于分支GAN使用多时相遥感数据的云去除方法。
本发明解决其技术问题所采用的技术方案包括如下内容：一个深度卷积编码器-解码器结构用于遥感图像高准确率云检测，并生成相应的云遮罩。基于分支结构的对抗生成网络(GAN)，旨在高分辨率地实现云去除，重建被云遮挡的地物信息。总体路线图如图1所示，其具体实施方案如下：
(1)多时相遥感图像预处理，基于地面实况进行配准：
图像配准是图像融合、变化检测、图像拼接及地图修测重要的预处理步骤，为了提升云去除的精确度，降低像素重建误差，本发明对多时相遥感图像和地面实况(GroundTruth)图像进行配准操作，从而使二者的特征点对应起来，图像配准技术路线图如图2所示。本发明将地面实况图像作为基准图像，多时相遥感图像作为待配准图像，首先利用预训练的VGG-16模型对基准图像和待配准图像进行特征提取，通过多尺度的特征进行特征编码，构建特征描述符。之后，本发明对基准图像和待配准图像进行特征归一化，计算两张图像特征点之间的最小L1距离，通过设定阈值完成特征预匹配。最后本发明利用混合高斯模型进行动态的特征点筛选，通过不断使用期望最大化算法迭代计算期望和梯度直至收敛，从而完成基准图像和待配准图像的配准。
(2)通过云检测网络生成遥感图像云遮罩
本发明设计了一种基于深度卷积编码器-解码器结构的云检测网络，可实现端到端地检测遥感图像云像素。云检测网络的结构图如图3所示。本发明中云检测网络通过训练对带云遥感图像中每一个像素都产生一个预测，同时保留了原始输入图像中的空间信息，最后在上采样的特征图进行像素的分类，生成云遮罩(Cloud Mask)，以实现云检测。云检测网络的原理示意图如图4所示。之后，本发明利用Filtered Jaccard损失来对云检测网络模型进行优化，通过惩罚训练过程中云检测效果不好的模型从而提高云检测的精度。
(3)利用云去除网络对去云区域的像素进行重建，实现遥感图像云去除
本发明首先根据步骤(2)生成的云遮罩对带云遥感图像中云像素区域进行抠除，生成去云的多时相遥感图像。之后，本发明设计了一种基于分支GAN的云去除网络，云去除网络将多时相的去云遥感图像作为网络的输入，通过分支UNet结构的编码器对输入图像的特征进行提取和特征融合。分支UNet结构图如图5所示。融合的特征信息经过自定义的标准残差块和空间注意力块进行提取特征并识别扣除区域像素特征，并通过后续的残差块重建干净的背景以实现遥感图像的云去除。云去除网络结构图如图6所示。本发明通过加入内容损失使得生成的无云遥感图像分辨率更高，更加接近地面实况图像。本发明通过UNet结构中的跳转连接和L1损失对模型进行优化，一方面跳转结构通过共享低级信息减少了模型的运算量，提升了模型训练的速度，另一方面L1损失可以更好地捕捉遥感图像中的低频信息，有助于提高重建像素的分辨率。
与现有技术相比，本发明的优点在于：
(1)本发明中云检测网络的解码器使用相应编码器接受的最大池化索引来进行输入图像特征图的非线性上采样，复用最大池化索引的好处在于减少了端到端训练的参数量，提高了网络训练的时间。
(2)本发明应用了一种新的损失函数，一方面它可以惩罚在遥感图像中云检测效果不好的模型，以获得更好的训练效果，另一方面也有助于区分遥感图像中的云像元和非云像元。
(3)本发明中云去除网络采用分支UNet结构来融合多时相遥感图像的特征信息，通过共享底层的语义信息，提高了像素重建的精度。之后通过两轮四向的单位矩阵初始化体系结构从UNet输入的特征图中获得上下文信息，以便更好地学习特征图的整体和局部特征信息。
以下结合附图实例对本发明作进一步详细描述。
(1)多时相遥感图像预处理，基于地面实况进行配准
本发明将地面实况图像作为基准图像，多时相遥感图像作为待配准图像，首先利用预训练的VGG-16模型对基准图像和待配准图像进行特征提取。VGG-16包含5个卷积块，每个卷积块包含2-3个卷积层及最大池化层。为更好地提取图像样本特征，本发明选取了三个不同尺度的特征来构建特征描述符，分别是第三、第四、第五个池化层输出的特征，共计完成了一个样本图像的21个特征点的提取。
之后本发明对提取的特征点进行特征预匹配。在特征预匹配之前，需计算基准图像和待配准图像之间的特征距离，分别进行特征归一化之后，采用最小L1距离作为各个特征点的差值，图像整体的特征距离d(x,y)计算方法如式：
其中，di(·)分别表示基准图像和待配准图像之间的第三、第四、第五个池化层输出特征图之间的L1距离差值，x,y表示特征点所对应的坐标值。当特征点距离差值小于一定阈值时，则可认为两个特征点匹配，从而完成特征预匹配过程。
基准图像和待配准图像的特征点是在“特征提取”部分的方形图像块中心生成的，具有更大重叠比的特征点应该具有更高的对准度，为实现更精准的配准，应使部分重叠的图像块在中心点具有更小的距离，本发明采用一种混合高斯模型(Gaussian mixturemodel,GMM)来进行进一步动态的进行规范的特征点筛选，图像配准技术路线图如图2所示。
本发明使用卷积特征和几何结构信息确定推定的概率。通过以下公式获得先验概率矩阵PR：
首先计算卷积特征的损失矩阵Cconv，如式：
其中，是在设定阈值θ下所有预匹配特征点对的最大距离。
接下来，本发明采用ShapeContext模型计算结构损失矩阵Cgeo，如式：
其中，hx(b)和hy(b)分别表示ShapeContext模型中基准图像和待配准图像特征点落在第b个网格中的点数。B表示网格中落入特征点的总点数。
最终的损失矩阵C为特征损失矩阵Cconv点乘⊙结构损失矩阵Cgeo的乘积：
C＝Cconv⊙Cgeo
最后，本发明通过Jonker-Volgenant算法对损失矩阵进行特征点的匹配概率进行计算，得到先验概率矩阵PR如式：
其中σ为根据置信度确定的一个超参数，目的是确保结果的准确性。
之后本发明根据该先验矩阵的概率，根据阈值动态挑选规范特征点。
根据上述步骤中所得先验概率矩阵PR，本发明将点集Y视为高斯混合模型(GMM)质心。GMM概率密度函数p(x)定义为:
其中，M和N分别对应特征图的宽和高，gm(x)是正态分布密度函数,0<ω<1是设置的权重参数。正态分布密度函数gm(x)的计算方法如式：
其中，σ2为该模型对每个高斯质心使用的各向同性方差。
然后，本发明使用期望最大化算法来找到最优变换参数(W,σ2,ω)。这种方法的目的是最大化似然函数，或等效地最小化负对数似然函数:
本发明通过不断使用最大期望算法迭代地计算期望和最小化梯度直到收敛，最终使得基准图像和待配准图像完成配准。
(2)通过云检测网络生成遥感图像云遮罩
本发明的云检测网络采用典型的编码器(Encoder)和解码器(Decoder)结构，Encoder采用VGG16网络的13个卷积层对遥感图像进行特征提取，Decoder采用最大池化索引进行上采样，最后将每个像素送到Softmax分类器中。相比于其他卷积神经网络结构，本发明中的云检测网络中剔除了全连接层，以便在更深层的Encoder输出端保留更高分辨率的特征图。与其他语义分割网络相比，本发明的云检测网络中Encoder含有更少的参数数量，降低内存消耗的同时也提升了训练的速度。与Encoder结构相对应，云检测网络的Decoder同样有13层卷积层，最终的Decoder输出被输送到Softmax分类器中，独立地为每个像素产生类别概率，云检测网络结构图如图3所示。
本发明中云检测的主要原理是通过云检测网络对遥感图像像素进行像素级分类，相当于对图像中每个像素进行一次二分类，目的是将遥感图像分割成两个区域，使语义相同的像素分割在同一区域内。通过设定阈值将遥感图像像素分为云像元和非云像元，以实现遥感图像云检测。云检测网络原理示意图如图4所示。
本发明中编码器网络中的每个Encoder都与滤波器组进行卷积，以生成一组特征图。之后将生成的特征图进行批标准化(Batch Normalization，BN)，并使用整流线性单元(Rectified Linear Unit，ReLU)激活函数增加特征函数的非线性。本发明中每一组卷积层后面都会跟着一个最大池化层，其作用是在输入图像中的较小空间偏移上实现方差平移。在云检测网络的Encoder结构中本发明采用了5次最大池化和下采样，尽管更多的最大池化层和下采样可以相应地实现更多的平移不变性，从而进行鲁棒性更好的分类，但同时也会损失特征图的空间分辨率。
本发明中解码器网络中的Decoder使用来自相应Encoder特征图的最大池化索引，并对其输入特征图进行上采样。上采样的结果是生成稀疏的特征图，然后将这些特征图与可训练的解码器滤波器组卷积，以生成密集的特征图。尽管Encoder输入具有3个通道(RGB)，但与第一个Encoder(最接近输入图像)相对应的Decoder会生成多通道特征图。这与网络中的其他Decoder不同，后者生成的特征图的大小和通道数与其Decoder输入相同。最终Decoder输出的高维特征表示将被输送到可训练的Softmax分类器中，并对每个像素进行独立分类。由于本发明中云检测网络只需要对遥感图像的像素进行二分类，因此Softmax分类器的输出是概率的单通道图像，并通过设定阈值来判断每个像素的类别。此外，本发明利用条件随机场(Conditional Random Filed，CRF)统计模型对云检测网络生成的云遮罩进行调整和修正，从而进一步提升遥感图像云检测的精度。
本发明使用Filtered Jaccard损失函数对云检测模型进行优化，一方面在网络训练过程中它可以惩罚云预测效果不好的模型，另一方面对遥感图像非云区域的预测也有较好的结果。首先定义Jaccard损失函数JL(t,p)如式：
其中，t代表地面实况图像，p代表云检测网络的输出。K表示地面实况图像的像素总数，并且ti∈[0,1]和pi∈[0,1]分别代表地面实况图像和云检测网络输出图像的第i个像素值。
然而，当地面实况像素值都为0时，JL(t,p)会出现异常的结果，影响最后训练的结果。为了处理这种极端情况，本发明设计了Filtered Jaccard损失，具体计算方法如式：
其中Fkt-J表示Filtered Jaccard损失，GL表示补偿函数。所述公式的第一行指的是当所有的地面实况像素等于0时，Filtered Jaccard损失使用GL，其他情况下则使用JL。
补偿函数GL的计算方法如式：
其中ε被设为10-7来避免分母为0时引起的异常。
Filtered Jaccard损失可以整理为以下更一般的形式：
(3)利用云去除网络对去云区域的像素进行重建，实现遥感图像云去除
本发明提出了一种通过云去除网络实现遥感图像云去除的方法，云去除网络是基于GAN的一种深度学习网络模型。与传统的生成对抗网络原理相似，云去除网络也是基于二者零和博弈的思想进行生成对抗学习的。生成模型(Generator)是一个样本生成器，接收到样本和噪声的输入信息后，参照地面实况生成图片。判别模型(Discriminator)相当于一个二分类器，来判断生成模型输出的样本是真是假，并输出一个概率值。生成模型尽可能地欺骗判别模型，而判别模型尽可能辨别出生成模型生成的假图像，二者通过良性竞争最终输出逼真的生成图片。
由于在不同时相的遥感图像中云的位置与大小各不相同，因此本发明利用多时相的带云遥感图像进行遥感图像云去除，从而提升云去除模型的精确度。本发明将3张多时相的去云遥感图像作为云去除模型的输入，通过卷积结构对图像的特征进行提取，之后经过池化层进行下采样，将提取的特征在全连接层进行拼接，以实现特征融合。融合的特征信息经过反卷积生成图片，之后输入到判别模型进行预测，通过对抗训练最终得到逼真的云去除图像。相比于将单张图片和条件信息作为输入的传统训练方式，本发明利用多时相遥感图像训练云去除网络模型，提升了云去除精确度。
由于云去除网络需要输入多张遥感图像，因此本发明使用分支UNet结构来构建生成网络。当多时相遥感图像输入到生成网络的UNet结构中，每张图片首先传递到单独的编码器结构中，进行特征编码。之后将每张图像的编码特征进行融合，一起导入到解码器中进行解码。分支UNet结构图如图5所示。
本发明中云去除网络的基本架构是一个全卷机神经网络(Fully ConvolutionalNetwork，FCN)，其作用原理是以局部到全局的方式检测并重建去云遥感图像中扣除区域的像素。云去除网络除了UNet分支结构外还包含5个残差块、4个空间注意块以及2个卷积块。其中前三个标准残差块(Residual Block，RB)用来提取UNet输出的特征。四个空间注意力块(Spatial Attentive Block，SAB)可以在四个步骤中逐渐识别遥感图像中扣除云像元的区域。而后两个残差块(RB)则可以重建干净的背景从而实现云去除。云去除网络结构图如图6所示。
本发明在SAB块中使用两轮四向的单位矩阵初始化(Identity MatrixInitialization，IRNN)结构来积累全局的上下文信息，以便在整个图像上有效地传播图像的信息特征。两轮四向的IRNN体系结构通过两个阶段逐步积累全局的上下文特征。在第一阶段，对于输入特征图上的每个位置，执行四向(上、下、左、右)递归卷积操作以收集水平和垂直的邻域信息。之后在第二阶段，通过重复前面的操作，从整个输入特征图中获得上下文信息。除此之外，本发明还另外添加了一个分支来捕获空间的上下文特征信息，以便有选择地突出显示预计的云像元特征。空间注意力块结构图如图7所示。
为了提升遥感图像云去除的精确度和分辨率，本发明中对云去除网络的总损失LCRGAN进行改进，总损失如式：
其中LcGAN(G,D)是GAN的损失，生成器G尽可能地将目标损失最小化，而判别器D则尽可能地将其最大化。GAN的损失LcGAN(G,D)计算方法如式：
LcGAN(G,D)＝Einput,output[log D(input,output)]+Einput,z[log(1-D(input,G(input,z)))]
其中input是输入的图像，output是生成器生成的图像，z是加入的随机噪音。
总损失的第二部分L1(G)是标准L1损失，计算方法如式：
其中λc是一个超参数,用来控制每个通道的权重。H和W分别表示输入图像的高和宽，φ(·)代表卷积生成的特征图。
总损失的第三部分Lcontent是内容损失，是基于预训练的19层的VGG网络定义的。本发明将内容损失定义为重建图像和多时相遥感图像经过UNet融合后的特征图像IHR之间的欧氏距离。计算方法如式：
其中代表VGG19网络中第i个最大池化层之前的第j个卷积获得的特征图
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于分支GAN使用多时相遥感数据的云去除方法，其特征在于，包括以下步骤：
步骤1：多时相遥感图像预处理，基于地面实况进行配准；
步骤1.1：将地面实况图像作为基准图像，多时相遥感图像作为待配准图像，利用预训练的VGG-16模型对基准图像和待配准图像进行特征提取；
步骤1.2：选取三个不同尺度的特征来构建特征描述符，分别是第三、第四、第五个池化层输出的特征；
步骤1.3：计算基准图像和待配准图像之间的特征距离，分别进行特征归一化之后，采用最小L1距离作为各个特征点的差值；
图像整体的特征距离d(x，y)为：
其中，di(·)分别表示基准图像和待配准图像之间的第三、第四、第五个池化层输出特征图之间的L1距离差值；x，y表示特征点所对应的坐标值；
步骤1.4：对提取的特征点进行特征预匹配；当特征点距离差值小于设定的阈值时，则认为两个特征点匹配；
步骤1.5：采用混合高斯模型对预匹配的特征点进行动态的规范特征点筛选；
步骤1.6：通过不断使用最大期望算法迭代计算期望和最小化梯度直到收敛，从而完成基准图像和待配准图像的配准；
步骤2：遥感图像云检测，生成云遮罩；
步骤2.1：将带云遥感图像输入到基于深度卷积编码器-解码器结构的云检测网络中；云检测网络的编码器对遥感图像进行特征提取，解码器采用最大池化索引进行上采样，最后将每个像素送到Softmax分类器中，编码器网络与滤波器组进行卷积，以生成一组特征图；之后将生成的特征图进行批标准化，并使用整流线性单元激活函数增加特征函数的非线性；
步骤2.2：利用云检测网络对遥感图像像素进行像素级分类，通过设定阈值将遥感图像像素分为云像元和非云像元，从而实现遥感图像云检测；
步骤2.3：根据遥感图像云检测的结果生成相应的云遮罩；
步骤2.4：利用Filtered Jaccard损失函数对云检测模型进行优化；
Filtered Jaccard损失函数为：
其中，t代表地面实况图像；p代表云检测网络的输出；K表示地面实况图像的像素总数；ti∈[0，1]和pi∈[0，1]分别代表地面实况图像和云检测网络输出图像的第i个像素值；ε为设定的常数，用于避免分母为0时引起的异常；
步骤3：基于分支GAN的云去除网络进行遥感图像云去除；
步骤3.1：根据生成的云遮罩对带云遥感图像中云像素区域进行抠除，生成去云的多时相遥感图像；
步骤3.2：将多时相的去云遥感图像作为分支UNet结构的输入，每张图片首先传递到单独的编码器结构中，进行特征编码；之后将每张图像的编码特征进行融合，一起导入到解码器中进行解码；通过卷积结构对图像的特征进行提取，经过池化层进行下采样，将提取的特征在全连接层进行拼接，以实现特征融合；
步骤3.3：融合的特征图像传入云去除网络的生成器结构中，生成器的基本架构是一个全卷机神经网络，生成器结构主要包含5个残差块、4个空间注意块以及2个卷积块；利用前三个标准残差块提取UNet分支结构输出的特征；改进生成器的总损失从而提升遥感图像云去除的精确度和分辨率，总损失LCRGAN定义如式：
其中，LcGAN(G，D)是GAN的损失，计算方法如式：
LcGAN(G，D)＝Einput，output[log D(input，output)]+Einput，z[log(1-D(input，G(input，z)))]
其中，input是输入的图像；output是生成器生成的图像；z是加入的随机噪音；
总损失的第二部分L1(G)是标准L1损失，计算方法如式：
其中，λc是用来控制每个通道的权重超参数；H和W分别表示输入图像的高和宽；φ(·)代表卷积生成的特征图；
总损失的第三部分Lcontent是基于预训练的19层的VGG网络定义的内容损失；内容损失定义为重建图像和多时相遥感图像经过UNet融合后的特征图像IHR之间的欧氏距离，计算方法如式：
其中，代表VGG19网络中第i个最大池化层之前的第j个卷积获得的特征图；
步骤3.4：在空间注意力块中使用两轮四向的单位矩阵初始化结构来积累全局的上下文信息；
步骤3.5：利用四个空间注意力块在四个步骤中逐渐识别遥感图像中扣除云像元的区域，之后利用两个残差块重建干净的背景从而实现云去除。
2.根据权利要求1所述的一种基于分支GAN使用多时相遥感数据的云去除方法，其特征在于：所述的步骤1.5中采用混合高斯模型对预匹配的特征点进行动态的规范特征点筛选的方法具体为：
步骤1.5.1：计算卷积特征的损失矩阵Cconv：
其中，是在设定阈值θ下所有预匹配特征点对的最大距离；
步骤1.5.2：利用ShapeContext模型计算结构损失矩阵Cgeo：
其中，hx(b)和hy(b)分别表示ShapeContext模型中基准图像和待配准图像特征点落在第b个网格中的点数；B表示网格中落入特征点的总点数；
步骤1.5.3：计算损失矩阵C；
损失矩阵C为特征损失矩阵Cconv点乘⊙结构损失矩阵Cgeo的乘积：
C＝Cconv⊙Cgeo
步骤1.5.4：通过Jonker-Volgenant算法对损失矩阵进行特征点的匹配概率进行计算，得到先验概率矩阵PR：
其中，σ为根据置信度确定的一个超参数；
步骤1.5.5：根据先验概率矩阵PR，通过设定的阈值动态挑选规范特征点。
CN202111115253.XA 2021-09-23 2021-09-23 一种基于分支gan使用多时相遥感数据的云去除方法 Active CN113838064B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111115253.XA CN113838064B (zh) 2021-09-23 2021-09-23 一种基于分支gan使用多时相遥感数据的云去除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111115253.XA CN113838064B (zh) 2021-09-23 2021-09-23 一种基于分支gan使用多时相遥感数据的云去除方法

Publications (2)

Publication Number Publication Date
CN113838064A CN113838064A (zh) 2021-12-24
CN113838064B true CN113838064B (zh) 2023-12-22

Family

ID=78969367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111115253.XA Active CN113838064B (zh) 2021-09-23 2021-09-23 一种基于分支gan使用多时相遥感数据的云去除方法

Country Status (1)

Country Link
CN (1) CN113838064B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187293B (zh) * 2022-02-15 2022-06-03 四川大学 基于注意力机制和集成配准的口腔腭部软硬组织分割方法
CN114511786B (zh) * 2022-04-20 2022-07-19 中国石油大学(华东) 融合多时相信息和分通道密集卷积的遥感图像去云方法
CN115618714B (zh) * 2022-09-09 2023-06-06 北京思源知行科技发展有限公司 一种太阳辐射概率预报方法及相关设备
CN115661002B (zh) * 2022-12-14 2023-04-21 北京数慧时空信息技术有限公司 基于gan的多时相遥感数据修复方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640159A (zh) * 2020-05-11 2020-09-08 武汉大学 一种基于孪生卷积神经网络的遥感影像变化检测方法
CN112288647A (zh) * 2020-10-13 2021-01-29 武汉大学 一种基于门控卷积的遥感影像云和阴影修复的方法
CN112561817A (zh) * 2020-12-10 2021-03-26 深圳大学 基于am-gan的遥感图像去云方法、装置、设备及存储介质
CN113361546A (zh) * 2021-06-18 2021-09-07 合肥工业大学 融合非对称卷积和注意力机制的遥感图像特征提取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993825B (zh) * 2019-03-11 2023-06-20 北京工业大学 一种基于深度学习的三维重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640159A (zh) * 2020-05-11 2020-09-08 武汉大学 一种基于孪生卷积神经网络的遥感影像变化检测方法
CN112288647A (zh) * 2020-10-13 2021-01-29 武汉大学 一种基于门控卷积的遥感影像云和阴影修复的方法
CN112561817A (zh) * 2020-12-10 2021-03-26 深圳大学 基于am-gan的遥感图像去云方法、装置、设备及存储介质
CN113361546A (zh) * 2021-06-18 2021-09-07 合肥工业大学 融合非对称卷积和注意力机制的遥感图像特征提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于CNN的高分辨率遥感影像多级云检测;王智敏;谭海;郭正胜;魏旭;;测绘与空间地理信息(第09期);全文 *

Also Published As

Publication number Publication date
CN113838064A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
Zhang et al. Remote sensing image spatiotemporal fusion using a generative adversarial network
CN113838064B (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
Li et al. DKDFN: Domain knowledge-guided deep collaborative fusion network for multimodal unitemporal remote sensing land cover classification
CN113449594B (zh) 一种多层网络组合的遥感影像地类语义分割与面积计算方法
CN111340738B (zh) 一种基于多尺度渐进融合的图像去雨方法
CN111899172A (zh) 一种面向遥感应用场景的车辆目标检测方法
CN112149547B (zh) 基于图像金字塔引导和像素对匹配的遥感影像水体识别方法
CN106295613A (zh) 一种无人机目标定位方法及系统
CN113223068A (zh) 一种基于深度全局特征的多模态图像配准方法及系统
CN111461006B (zh) 一种基于深度迁移学习的光学遥感图像杆塔位置检测方法
Long et al. Dual self-attention Swin transformer for hyperspectral image super-resolution
Liu et al. Survey of road extraction methods in remote sensing images based on deep learning
CN112950780A (zh) 一种基于遥感影像的网络地图智能生成方法及系统
Zhou et al. Graph attention guidance network with knowledge distillation for semantic segmentation of remote sensing images
CN110992366A (zh) 一种图像语义分割方法、装置及存储介质
Sun et al. IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes
CN113239736A (zh) 一种基于多源遥感数据的土地覆盖分类标注图获取方法、存储介质及系统
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
Huang et al. Deep Learning-Based Semantic Segmentation of Remote Sensing Images: A Survey
CN117727046A (zh) 新型山洪前端仪器仪表读数自动识别方法及系统
CN117011614A (zh) 基于深度学习的野山参艼芦体检测和品质等级分类方法及系统
CN117197462A (zh) 基于多尺度特征融合和对齐的轻量地基云分割方法及系统
CN116503677B (zh) 一种湿地分类信息提取方法、系统、电子设备及存储介质
CN116543165B (zh) 一种基于双通道复合深度网络的遥感图像果树分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant