CN112288647B - 一种基于门控卷积的遥感影像云和阴影修复的方法 - Google Patents
一种基于门控卷积的遥感影像云和阴影修复的方法 Download PDFInfo
- Publication number
- CN112288647B CN112288647B CN202011089496.6A CN202011089496A CN112288647B CN 112288647 B CN112288647 B CN 112288647B CN 202011089496 A CN202011089496 A CN 202011089496A CN 112288647 B CN112288647 B CN 112288647B
- Authority
- CN
- China
- Prior art keywords
- cloud
- convolution
- image
- remote sensing
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000008439 repair process Effects 0.000 claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 238000004088 simulation Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000001228 spectrum Methods 0.000 claims description 5
- 239000002131 composite material Substances 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 claims description 2
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 claims description 2
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 claims description 2
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 239000013589 supplement Substances 0.000 claims description 2
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims 5
- 238000012546 transfer Methods 0.000 claims 1
- 230000003595 spectral effect Effects 0.000 abstract description 11
- 230000011218 segmentation Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005067 remediation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种结合多时相数据基于门控卷积的云和阴影修复方法。首先，利用已有的遥感影像构建样本库；其次，设计了一种基于门控卷积的多时相云和阴影修复网络进行训练，深入挖掘有云遥感影像‑多时相无云影像、含缺失信息区域‑纯净像元区域之间的相关性及特征；然后，对于真实含云影像首先利用已有的云探测方法进行像素级语义分割，并选取高召回率的结果；最后利用训练好的云和阴影修复网络、高召回率探测结果、真实含云影像以及对应的多时相数据进行修复工作，在保证光谱信息的基础上，高保真的重建缺失信息。本发明具有如下优点：鲁棒性强，可适应不同尺度的遥感影像云和阴影的探测修复。
Description
技术领域
本发明涉及一种基于门控卷积进行云和阴影修复工作的方法，可结合多时相无云遥感影像，用于云和阴影等缺失信息的重建工作，有效对于受损的遥感影像进行空间维及光谱维的信息重建，提高不同天气条件下传感器获得的遥感影像的利用率。
背景技术
作为获取地球表面几何和物理信息的最重要的地球观测技术之一，遥感技术已获得越来越多的关注并得到广泛应用。然而，由于大气条件的约束，每日全球范围内平均云覆盖率达到67％左右，从卫星上获取的遥感影像中被云和云阴影所遮挡的低利用价值甚至无利用价值的无效像元导致地物信息被遮盖或扭曲，为遥感影像信息提取、数据融合、图像解译等后续工作带来严重影响。
从修复方式出发，云和阴影修复的方法可大致分为两类：基于传统算法的和基于学习的云修复方法。传统的云修复方法主要利用与受损区域相相邻的像素信息，未受云或阴影损坏的波段，无云的多时相图像或来自其他传感器的辅助信息，通过数学、物理模型重建缺失信息，例如补绘技术、基于样例的方法、插值理论和扩散模型等。基于学习的云修复方法，摆脱了人工干预，无需额外经验设计参数，利用稀疏表达、极限向量机、随机森林、深度学习等算法，自动学习受损影像以及辅助数据之间的特征关联，从光谱映射、信息重建等角度出发，修复受损区域。
从辅助数据的来源出发，云和阴影修复方法可大致分为五类：基于空间信息的，基于波段的，基于多时相数据的，基于混合策略的和基于多源数据的重建方法。基于空间信息的云修复方法假设云和阴影下方的像素与未被云和阴影影响的邻域共享相似的纹理和像素值，可利用相应的设计规则进行局部相似像元搜索，然后结合邻域差值等方法填补缺失信息，然而由于遥感影像中地物类型的多样性，缺失区域千变万化，结果往往是虚假的并且存在过平滑的现象。基于波段的重建方法假设一部分多光谱波段可以穿透薄云，提供云下相关信息，多光谱图像的不同光波段之间可以进行信息互补，但这种方法仅限于恢复具有薄云的图像，因为所有波段都不能穿透厚云。基于多时相数据的修复方法利用无云多时相影像上对应的被云和阴影影响区域的像素值进行辐射纠正和填补，然而这类方法对几何配准误差和图像之间的光谱变化很敏感。基于混合策略的云修复方法结合基于空间，波段或多时相方法的优点，构建一个最佳融合框架进行修复。基于多源数据的方法主要利用来自不同类型传感器的数据，例如合成孔径雷达(SAR)数据，由于微波信号能穿透云，它被认为是一种云修复的新型有效辅助数据源。
然而，尽管最近出现了很多通过深度学习进行云去除的方法，但是在某些方面仍然存在许多缺点：1)所有的基于深度学习进行云修复的方法虽然部分在修复之前考虑到了对于含云区域与无云区域的区分，但是在特征提取时，利用普通的卷积层无法对于不同面积缺失区域的特征进行区分；2)单一损失函数是语义分割和对象检测中很常用的，但是在云修复中，需要对抽象特征(光谱特征)进行约束，他的能力不足；同时，传统的云修复方法中，没有对重建区域以及无云区域的损失进行区分，缺乏重建区域与邻域之间的纹理一致性约束。因此，一种能够给对无效像元区域加以区分的有效的云和阴影修复方法的研究很有必要。
发明内容
本发明针对现有技术的不足，提供了一种基于门控卷积的结合多时相遥感影像的云和阴影修复方法，能够在保留与原始图像相似性较高的光谱信息的情况下修复云下缺失的细节信息。
本发明的主要创新点在于：
1)引入多时相数据进行辅助。由于传感器的成像周期性，考虑到厚云可能完全遮挡地物信息，选取其他时相无云的遥感影像，进行空间信息的补充。
2)引入门控卷积。门控卷积层可以有区别地滤除无效像素，仅提取纯净像素中的抽象特征，以进行后续的图像修复。
3)设计了一种联合损失函数。为加强训练过程中的全局、局部信息的一致性，从像素，特征和局部级进行多级约束。利用总变分(Total Variation，TV)函数，平滑重建区域与相邻像素之间的颜色和纹理信息；利用VGG网络，提取重建影像以及标签影像之间的深层特征，进行特征级相似性约束；分别计算重建影像中受损区域以及无云区域的损失。
实现本发明目的采用的技术方案是：步骤1，根据已有的含云遥感影像和多时相无云遥感影像构建云修复训练和测试的数据集；步骤2，结合步骤1中的云修复训练数据集，利用多时相的无云遥感数据进行空间、光谱和时间域的补充，对输入的模拟缺失信息影像、缺失信息区域的模板以及多时相影像进行特征提取工作，输入基于门控卷积的时空联合云修复网络(Spatio-Temporal Cloud Removal Network with Gated Convolution NeuralNetwork,STGCN)，训练模型；步骤3，在测试阶段，对于真实有云的遥感影像，利用预先训练好的云探测网络模型(Cloud Detection Network,CDN)，对有云遥感影像中的云和阴影进行像素级预测，利用高召回率(Recall)的探测结果，尽可能完整的对进行无效像元进行提取；步骤4，结合步骤2中训练好的云修复网络，以真实有云影像、对应的多时相无云影像以及步骤3中探测得到的高召回率探测结果作为输入，进行真实有云遥感影像的修复工作，重建有云的遥感影像云和阴影处的缺失信息。
1)步骤1，构建云修复训练的模拟数据集。具体实现包括如下子步骤：
步骤1.1，遥感影像的预处理。选取5％含云量的Landsat8遥感影像与对应区域的多时相无云影像进行配准，由于成像条件、拍摄时间、传感器等因素，不同时相的Landsat8影像在图幅大小上有细微差距，根据坐标信息裁剪得到合适的大小范围。
步骤1.2，样本裁剪。综合考虑计算机性能、网络复杂度、代探测目标大小等因素，将遥感影像与对应的标签数据裁剪为大小适宜(512×512像素)的样本块。
步骤1.3，模拟缺失信息。随机生成模拟缺失信息的模板，缺失信息区域为黑色分型结构(像素值为0)，选取步骤1.2中含云遥感影像中的无云图像块叠加缺失信息模板，模拟云和阴影等缺失信息。其中模拟影像为网络输入中的受损影像，随机模拟之前的纯净无云影像为网络输出所需要对照的真值(label)。
步骤1.4，云修复训练工作样本库构建。选取步骤1.2中生成的多时相影像块，步骤1.3中生成的模拟缺失信息影像块，对应的无云遥感影像块和模拟缺失信息的模板，构建样本库。
步骤1.5，真实含云影像的云修复测试工作样本库构建。选取步骤1.2中生成的含云遥感影像块以及对应的多时相影像块，构建样本库。
2)步骤2，云和阴影修复网络的训练。首先，在云修复训练工作样本库的基础上，针对输入数据进行纯净像素提取，分别将输入的多时相无云数据以及模拟的当前有云影像与无效像元位置的蒙版进行相乘，剔除无效像素点。其次，对于原始的多时相数据、模拟的有云影像、剔除云和阴影像素点的模拟有云影像，对应的多时相影像四幅数据进行特征提取，通过四个不同的卷积层，卷积核大小为3×3，步长为1，特征维度为32。然后，将四个特征串联，通过一个卷积层压缩冗余信息，卷积核大小为3×3，步长为1，特征维度为32。接着，将模拟有云影像无云像素值的特征进行光谱、空间信息的传递，叠加到压缩特征上，输入设计的时空联合云修复网络(STGCN)中训练修复模型，利用设计的复合损失函数进行相似性约束，结合随机梯度下降(SGD)算法进行反向传播中的梯度优化。
其中所涉及的网络STGCN特征在于：在云修复网络(Cloud Removal Network,CRN)的基础上，引入了多尺度模块、门控卷积层、ASPP模块、亚像素卷积层，以及联合损失函数，由编码(Encoding Stage)、中间层、解码(Decoding Stage)、多尺度特征融合(Multi-scalefusion)、输出五部分组成。
编码部分，由4组连续堆叠密集门控卷积模块(Gated Convolution Block withDense Connected Architecture，GCB_A)和步长为2的最大池化层(Max Pooling Layer)组成，每个GCB_A模块由2个卷积核大小为3×3，步长为1的门控卷积层(Convolution Layer)、2个线性纠正激活函数(Rectified Linear Unit,ReLU)、1个多孔空间金字塔池化(AtrousSpatial Pyramid Pooling,ASPP)模块组成。两个激活函数分别在两个卷积层之后。每个GCB_A模块中的输入特征通过跳接(Skip connection)操作与输出特征进行串联，第一个门控卷积特征激活之后叠加到ASSP提取的特征上，进行抽象特征的信息传递。编码层中所有卷积核提取的特征的维度均为256。ASPP模块中首先利用4个扩张因子分别为1,3,5,7的卷积核大小为3×3，步长为1的空洞卷积层进行多尺度感受野特征的提取，利用线性纠正激活函数(Rectified Linear Unit,ReLU)激活然后串联。
中间层部分，由1个多尺度模块构成，首先，通过一个卷积核大小为3×3，步长为1的卷积层，将编码层的特征进行维度的调整；其次利用卷积核大小为3×3，尺度因子为1/2,1/4,1/8,1/16的平均池化层分别提取多尺度特征；然后，分别通过4个不同的多孔空间金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)模块进行多尺度感受野特征的提取，接着利用四个不同的亚像素卷积层(Sub-pixel Convolution)进行尺度的恢复，最后通过4个不同的卷积核大小为3×3，步长为1的卷积层进行特征的提取并串联。
解码部分，由对应的4组堆叠的反卷积层(Deconvolution Layer)和门控卷积(Gated Convolution Block，GCB_B)模块构成。反卷积层的卷积核大小为3×3，步长为2。GCB_B模块由2个卷积核大小为3×3，步长为1，特征维度分别为512，256，128，64的卷积层，2个线性纠正激活函数，1个ASPP模块构成。
多尺度特征融合部分，首先利用4个不同的卷积核大小为3×3，步长为1，特征维度为3的卷积层将4个不同尺度大小(512×512，256×256，128×128，64×64)的多维特征进行特征压缩，然后利用4个不同的亚像素卷积层分别将特征归一化到最终结果的尺度下(512×512)，进行串联。输出部分由一个卷积核大小为3×3，步长为1的卷积层和一个线性纠正单元构成，输出影像的维度与目标影像维度相同，为3。
在训练过程中，STGCN利用了联合损失函数，主要包括三个部分：图像级别的损失函数，特征级别的损失函数，平滑损失函数。
图像级别的损失函数中，分别计算有云区域和无云区域的损失函数：
lcloud＝||M⊙(Iout-Igt)||1 (1)
lnon-cloud＝||(1-M)⊙(Iout-Igt)||1 (2)
lcloud为有云区域的像素级别损失，M为云和阴影的探测结果，Iout为STGCN网络输出结果，Igt为标签数据。lnon-cloud为有云区域的像素级别损失。
特征级别的损失利用imgenet大赛中训练得到的VGG的网络模型对重建结果(即利用STGCN网络生成的结果)和标签进行特征提取：
Icomp＝(1-M)⊙Igt+M⊙Iout (3)
其中Icomp为只对受损区域进行重建得到的合成图像，受损区域以外的像素值为原始有云影响中不受云影响的像素，ψn指提取第n个的VGG特征，本文中，选取pool1,pool2,pool3层3个之后的特征，因此N＝3，ψ0表示pool1之后的VGG特征，ψ1表示pool2之后的VGG特征，ψ2表示pool3层之后提取得到的VGG特征，利用一范数||||1计算重建结果提取得到的特征与标签提取得到的特征之间的差异。
平滑损失函数主要利用全变分(total variation loss,tv loss)，计算当前像素与其上边和右边的像素点的相似性进行平滑性约束。
其中(i，j)为图像点的坐标，P表示整个影像的像素位置合集，
表示合成图像的第(i，j)个像素。
最终的损失函数为：
ltotal＝lnon-cloud+λclcloud+λtltv+λplpptl (6)
其中权重λc、λt、和λp根据多次实验，经验性的设置为5,0.5,0.06。
3)步骤3，真实含云遥感影像块中云和阴影的探测。对于云修复测试工作样本库，在云和阴影探测的过程中，利用已有的云探测网络，例如CDN进行像素级语义分割，选取召回率(Recall)超过93％的云和阴影探测结果进行2个像素的膨胀操作，召回率越高代表所探测出来的正确的包含云的像素值越多。
4)步骤4，真实含云遥感影像的修复。根据步骤3中得到的无效像元探测结果、步骤1中云修复测试工作样本库中的数据进行缺失信息重建。
本发明具有如下优点：
1)设计的方法中引入多时相数据进行空间辅助，保证在信息缺失面积较大或者地物类型较为复杂时有足够的可利用信息；2)以UNet为基础骨干网络，编码层部分引入密集连接结构，脱离传统网络通过加深网络层或者加宽网络层来提升效果的思维定式，从信息流传递和多次重复利用特征的角度出发，既减少了参数量，又提高了精度，所有浅层，中层和高层语义信息被保留到最后参与信息重建；3)在编码层与解码层之间引入多尺度特征提取模块，在网络的最后采用多尺度融合模块，进行全局及局部特征提取；4)利用门控卷积层区分整个深层网络中的有效像元和无效像元区域，针对每个通道和每个空间位置，学习一种动态特征选择机制，抑制无效像元区域对应的特征，自动更新输入的无效像元区域。5)从像素级别，特征级别和局部一致性级别设计了一种联合损失函数，实现训练过程中的多层约束，获得更好的光谱、内容一致性。
附图说明
图1是本发明的多时相云和阴影修复任务的流程图
图2是本发明中的云和阴影修复网络结构示意图。
图3是本发明中的多尺度模块示意图。
图4是本发明中的复合损失函数的示意图。
图5是本发明在模拟数据上的修复结果，其中a图为含丰富植被的山区修复结果示例，b图为水域地区的修复结果示例，c图为居民区地区的修复结果示例，d图为农田地区修复结果示例，e图为植被较少的山区的修复结果示例，f为多类型复合地区的修复结果。
图6是本发明在真实有云数据上的修复结果，a，c为植被丰富地区的修复结果，c地区的海拔较之a更高，b为植被稀少地区的修复结果。
具体实施方式
下面通过实例，并结合附图，对本发明的技术方案作进一步具体的说明。
参见附图1-4，本发明提供了一种结合多时相遥感影像基于门控卷积的云修复方法。进行主体工作之前，需要对遥感影像进行预处理，完成数据准备工作。将下载的Landsat8含5％左右云量的遥感影像与对应同一行列号的多时相Landsat8遥感影像用Envi中的Image Registration Workflow工具进行配准，消除由于不同时间、不同传感器(成像设备)、不同拍摄条件(天候、照度、摄像位置和角度)等因素造成的影像之间的偏差，在此基础上，根据两幅遥感影像的地理坐标信息裁剪得到两者均覆盖到的统一区域。最后，综合考虑计算机性能、网络复杂度等问题，将影像裁剪为512×512大小的影像块。
1)云和阴影的探测。
首先根据已经训练好的云探测网络CDN对于裁剪好的包含云和阴影的影像块进行探测工作。将有云遥感影像块输入进云探测网络CDN，进行像素级的语义分割，得到三通道的云、阴影和背景地物的概率图，将每个像素划归到概率最大的类别，区分云、阴影与背景地物，得到最终的云和阴影的探测结果。
2)云和阴影的修复。
首先，进行云和阴影样本库的构建。
(1)随机生成类似云和阴影分型结构的模板，其中模拟的缺失信息像元的像素值为0。
(2)挑选出裁剪后的影像块中未受云和阴影影像的数据，叠加随机生成的模板，模拟含云遥感影像。
(3)结合当前无云的遥感影像、含有模拟缺失信息的遥感影像、多时相无云遥感影像以及模拟缺失信息的模板完成云和阴影修复的训练工作样本库的构建。
(4)挑选出裁剪后影像块中真实的含云影像、对应的多时相遥感影像以及步骤(1)中的探测结果，构成云和阴影修复的测试工作样本库。
其次，将云和阴影修复训练工作样本库中的含有模拟缺失信息的影像块和多时相影像块分别与模拟的缺失信息模板进行相乘，提取纯净像元。然后，对于输入的含云影像块，多时相影像块，剔除云和阴影像素点的模拟有云影像，对应的剔除无效像元区域像素的多时相影像四幅数据输入进四个不同的卷积层进行特征提取并串联，为了减少参数量，压缩特征维度并且将原始有云影像的特征传递过来，输入后续的云修复网络STGCN中，深度挖掘空间、光谱特征，训练云修复的模型。
最后，将云和阴影修复测试样本库中含有真实云和阴影的遥感数据、对应的多时相同一区域的遥感影像以及云和阴影的模板进行相同的特征提取与数据传递工作，输入到训练好的修复模型中，进行缺失信息的重建的同时，完成多时相数据到待修复影像的光谱映射，得到最终的与原始有云影像在光谱信息(色调)上一致的修复结果。
图5为本发明提出的算法在模拟数据集上的云修复结果，重建结果细节信息修复完整，与周围不受云影响的区域光谱差异小，无边缘效应。图6为在真实有云遥感影像上的修复结果，与多时相数据相比，重建结果具有较高的真实性，纹理信息、结构信息修复完整，无明显光谱畸变。
本文中所描述的具体实施例仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例作各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (6)
1.一种基于门控卷积的遥感影像云和阴影修复的方法，其特征在于，包括如下步骤，
步骤1，根据已有的含云遥感影像和多时相无云遥感影像构建云修复训练工作样本库和云修复测试工作样本库；
步骤2，结合步骤1中的云修复训练工作样本库，利用多时相的无云遥感数据进行空间、光谱和时间域的补充，对输入的模拟缺失信息影像、缺失信息区域的模板以及多时相影像进行特征提取工作，输入基于门控卷积的时空联合云修复网络STGCN，训练修复模型；
所述基于门控卷积的时空联合云修复网络STGCN是在云修复网络CRN的基础上，引入了多尺度模块、门控卷积层、ASPP模块、亚像素卷积层，以及联合损失函数，由编码、中间层、解码、多尺度特征融合、输出五部分组成；
步骤3，在测试阶段，对于真实有云的遥感影像，利用预先训练好的云探测网络模型CDN，对有云遥感影像中的云和阴影进行像素级预测，利用高召回率的探测结果，进行无效像元进行提取；
步骤4，结合步骤2中训练好的基于门控卷积的时空联合云修复网络STGCN，以真实有云影像、对应的多时相无云影像以及步骤3中探测得到的高召回率探测结果作为输入，进行真实有云遥感影像的修复工作，重建有云的遥感影像云和阴影处的缺失信息。
2.如权利要求1所述的一种基于门控卷积的遥感影像云和阴影修复的方法，其特征在于：步骤1的具体实现包括如下子步骤：
步骤1.1，遥感影像的预处理，选取5％含云量的Landsat8遥感影像与对应区域的多时相无云影像进行配准，由于成像条件、拍摄时间、传感器因素，不同时相的Landsat8影像在图幅大小上有细微差距，根据坐标信息裁剪得到一定的大小范围；
步骤1.2，样本裁剪，综合考虑计算机性能、网络复杂度、代探测目标大小因素，将遥感影像与对应的标签数据裁剪为大小相同的512×512像素的样本块；
步骤1.3，模拟缺失信息，随机生成模拟缺失信息的模板，缺失信息区域为黑色分型结构，像素值为0，选取步骤1.2中含云遥感影像中的无云图像块叠加缺失信息模板，模拟云和阴影缺失信息；
步骤1.4，云修复训练工作样本库构建，选取步骤1.2中生成的多时相影像块，步骤1.3中生成的模拟缺失信息影像块，对应的无云遥感影像块和模拟缺失信息的模板，构建样本库；
步骤1.5，真实含云影像的云修复测试工作样本库构建，选取步骤1.2中生成的含云遥感影像块以及对应的多时相影像块，构建样本库。
3.如权利要求1所述的一种基于门控卷积的遥感影像云和阴影修复的方法，其特征在于：步骤2的具体实现包括，
首先，在云修复训练工作样本库的基础上，针对输入数据进行纯净像素提取，分别将输入的多时相无云数据以及模拟的当前有云影像与无效像元位置的蒙版进行相乘，剔除无效像素点；其次，对于原始的多时相数据、模拟的有云影像、剔除云和阴影像素点的模拟有云影像，对应的多时相影像四幅数据进行特征提取，通过四个不同的卷积层，卷积核大小为3×3，步长为1，特征维度为32；然后，将四个特征串联，通过一个卷积层压缩冗余信息，卷积核大小为3×3，步长为1，特征维度为32；接着，将模拟有云影像无云像素值的特征进行光谱、空间信息的传递，叠加到压缩特征上，输入设计的基于门控卷积的时空联合云修复网络STGCN中训练修复模型，利用设计的联合损失函数进行相似性约束，结合随机梯度下降算法进行反向传播中的梯度优化。
4.如权利要求1所述的一种基于门控卷积的遥感影像云和阴影修复的方法，其特征在于：基于门控卷积的时空联合云修复网络STGCN的具体网络结构如下，
编码部分，由4组连续堆叠密集门控卷积模块GCB_A和步长为2的最大池化层组成，每个GCB_A模块由2个卷积核大小为3×3，步长为1的门控卷积层、2个线性纠正激活函数、1个多孔空间金字塔池化模块ASPP组成；两个激活函数分别在两个卷积层之后，每个GCB_A模块中的输入特征通过跳接操作与输出特征进行串联，第一个门控卷积特征激活之后叠加到ASSP提取的特征上，进行抽象特征的信息传递；编码层中所有卷积核提取的特征的维度均为256，ASPP模块中首先利用4个扩张因子分别为1,3,5,7的卷积核大小为3×3，步长为1的空洞卷积层进行多尺度感受野特征的提取，利用线性纠正激活函数激活然后串联；
中间层部分，由1个多尺度模块构成，首先，通过一个卷积核大小为3×3，步长为1的卷积层，将编码层的特征进行维度的调整；其次利用卷积核大小为3×3，尺度因子为1/2,1/4,1/8,1/16的平均池化层分别提取多尺度特征；然后，分别通过4个不同的多孔空间金字塔池化ASPP模块进行多尺度感受野特征的提取，接着利用四个不同的亚像素卷积层进行尺度的恢复，最后通过4个不同的卷积核大小为3×3，步长为1的卷积层进行特征的提取并串联；
解码部分，由对应的4组堆叠的反卷积层和门控卷积GCB_B模块构成，反卷积层的卷积核大小为3×3，步长为2，GCB_B模块由2个卷积核大小为3×3，步长为1，特征维度分别为512，256，128，64的卷积层，2个线性纠正激活函数，1个ASPP模块构成；
多尺度特征融合部分，首先利用4个不同的卷积核大小为3×3，步长为1，特征维度为3的卷积层将4个不同尺度大小的多维特征进行特征压缩，然后利用4个不同的亚像素卷积层分别将特征归一化到最终结果的尺度下，进行串联；
输出部分由一个卷积核大小为3×3，步长为1的卷积层和一个线性纠正单元构成，输出影像的维度与目标影像维度相同，为3。
5.如权利要求1所述的一种基于门控卷积的遥感影像云和阴影修复的方法，其特征在于：联合损失函数包括三个部分：图像级别的损失函数，特征级别的损失函数，平滑损失函数，
图像级别的损失函数中，分别计算有云区域和无云区域的损失函数：
lcloud＝||M⊙(Iout-Igt)||1 (1)
lnon-cloud＝||(1-M)⊙(Iout-Igt)||1 (2)
lcloud为有云区域的像素级别损失，M为云和阴影的探测结果，Iout为STGCN网络输出结果，Igt为标签数据，lnon-cloud为无云区域的像素级别损失；
特征级别的损失利用训练好的VGG的网络模型对重建结果和标签进行特征提取，选取pool1,pool2,pool3层之后的特征计算损失：
Icomp＝(1-M)⊙Igt+M⊙Iout (3)
其中Icomp为只对受损区域进行重建得到的合成图像，受损区域以外的像素值为原始有云影像中不受云影响的像素，ψn指提取第n个的VGG特征，N＝3，ψ0表示pool1之后的VGG特征，ψ1表示pool2之后的VGG特征，ψ2表示pool3层之后提取得到的VGG特征，利用一范数|| ||1计算重建结果提取得到的特征与标签提取得到的特征之间的差异；
平滑损失函数利用全变分，计算当前像素与其上边和右边的像素点的相似性进行平滑性约束；
其中(i，j)为图像点的坐标，P表示整个影像的像素位置合集，
表示合成图像的第(i，j)个像素；
最终的损失函数为：
ltotal＝lnon-cloud+λclcloud+λtltv+λplpptl (6)
其中λc、λt、和λp均为权重。
6.如权利要求5所述的一种基于门控卷积的遥感影像云和阴影修复的方法，其特征在于：λc、λt、和λp设置为5,0.5,0.06。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011089496.6A CN112288647B (zh) | 2020-10-13 | 2020-10-13 | 一种基于门控卷积的遥感影像云和阴影修复的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011089496.6A CN112288647B (zh) | 2020-10-13 | 2020-10-13 | 一种基于门控卷积的遥感影像云和阴影修复的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112288647A CN112288647A (zh) | 2021-01-29 |
| CN112288647B true CN112288647B (zh) | 2022-06-03 |
Family
ID=74496765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011089496.6A Active CN112288647B (zh) | 2020-10-13 | 2020-10-13 | 一种基于门控卷积的遥感影像云和阴影修复的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112288647B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113052775B (zh) * | 2021-03-31 | 2023-05-23 | 华南理工大学 | 一种图像去阴影方法及装置 |
| CN113178010B (zh) * | 2021-04-07 | 2022-09-06 | 湖北地信科技集团股份有限公司 | 基于深度学习的高分影像阴影区域恢复重建方法 |
| CN113191966B (zh) * | 2021-04-15 | 2021-11-09 | 青海师范大学 | 一种运算轻量化图像修复方法 |
| CN113409413B (zh) * | 2021-06-03 | 2024-04-19 | 东南数字经济发展研究院 | 一种基于门控卷积-长短记忆网络的时间序列影像重建方法 |
| CN113962855B (zh) * | 2021-06-07 | 2024-09-13 | 长春理工大学 | 一种组合式卷积网络的卫星图像超分辨率重建方法、装置 |
| CN113838064B (zh) * | 2021-09-23 | 2023-12-22 | 哈尔滨工程大学 | 一种基于分支gan使用多时相遥感数据的云去除方法 |
| CN114140357B (zh) * | 2021-12-02 | 2024-04-19 | 哈尔滨工程大学 | 一种基于协同注意力机制的多时相遥感图像云区重建方法 |
| CN114612315B (zh) * | 2022-01-06 | 2024-08-09 | 东南数字经济发展研究院 | 一种基于多任务学习的高分辨率影像缺失区域重建方法 |
| CN114511644B (zh) * | 2022-01-21 | 2023-06-09 | 电子科技大学 | 一种基于深度学习的自适应数字伪装方法 |
| CN115423725B (zh) * | 2022-11-04 | 2023-03-17 | 北京数慧时空信息技术有限公司 | 一种遥感影像修复方法及装置 |
| CN115661002B (zh) * | 2022-12-14 | 2023-04-21 | 北京数慧时空信息技术有限公司 | 基于gan的多时相遥感数据修复方法 |
| CN116309150B (zh) * | 2023-03-14 | 2023-09-22 | 中国科学院空天信息创新研究院 | 一种sar辅助下光学遥感影像修复方法 |
| CN116725560B (zh) * | 2023-06-27 | 2024-05-10 | 深圳扬奇医芯智能科技有限公司 | 一种基于空间扩散模型的低剂量dsa血管造影方法 |
| CN116704212B (zh) * | 2023-08-04 | 2023-10-27 | 西南林业大学 | 基于机器学习及多光谱影像的林木火灾受损信息提取方法 |
| CN118072377B (zh) * | 2024-04-23 | 2024-06-21 | 成都菲宇文化科技集团有限公司 | 人脸识别方法、装置、设备及存储介质 |
| CN118172291B (zh) * | 2024-05-14 | 2024-08-13 | 浙江国遥地理信息技术有限公司 | 一种遥感影像的图像去云方法、装置及电子设备 |
| CN118229589B (zh) * | 2024-05-24 | 2024-07-26 | 中国海洋大学 | 遥感图像修复方法及系统、模型、电子设备 |
| CN118446938B (zh) * | 2024-07-08 | 2024-09-10 | 浙江国遥地理信息技术有限公司 | 一种遥感影像的阴影区域修复方法、装置及电子设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108022222A (zh) * | 2017-12-15 | 2018-05-11 | 西北工业大学 | 一种基于卷积-反卷积网络的遥感图像薄云去除方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10839790B2 (en) * | 2017-02-06 | 2020-11-17 | Facebook, Inc. | Sequence-to-sequence convolutional architecture |
| CN108921799B (zh) * | 2018-06-22 | 2021-07-23 | 西北工业大学 | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 |
| CN109903304B (zh) * | 2019-02-25 | 2021-03-16 | 武汉大学 | 一种基于卷积神经元网络和多边形规则化的建筑物轮廓自动提取算法 |
| CN110533608B (zh) * | 2019-08-08 | 2021-11-02 | 西安电子科技大学 | 图像条带噪声抑制方法及其装置、电子设备、存储介质 |
-
2020
- 2020-10-13 CN CN202011089496.6A patent/CN112288647B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108022222A (zh) * | 2017-12-15 | 2018-05-11 | 西北工业大学 | 一种基于卷积-反卷积网络的遥感图像薄云去除方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112288647A (zh) | 2021-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112288647B (zh) | 一种基于门控卷积的遥感影像云和阴影修复的方法 | |
| CN111640159B (zh) | 一种基于孪生卷积神经网络的遥感影像变化检测方法 | |
| CN108460746B (zh) | 一种基于结构和纹理分层预测的图像修复方法 | |
| CN111461291B (zh) | 基于YOLOv3剪枝网络和深度学习去雾模型的长输管线巡检方法 | |
| CN109934200B (zh) | 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统 | |
| CN113240613A (zh) | 一种基于边缘信息重建的图像修复方法 | |
| CN112633140B (zh) | 多光谱遥感图像城中村多类别建筑物语义分割方法及系统 | |
| CN103020939B (zh) | 利用多时相数据去除光学遥感影像大面积厚云的方法 | |
| CN112712535A (zh) | 基于模拟困难样本的Mask-RCNN滑坡分割方法 | |
| CN112949414B (zh) | 一种宽视域高分六号卫星影像地表水体智能制图方法 | |
| CN109308688B (zh) | 一种可见光和近红外波段厚云及阴影去除方法 | |
| CN113569760B (zh) | 基于多模态深度学习的三维变化检测方法 | |
| CN111339827A (zh) | 基于多区域卷积神经网络的sar图像变化检测方法 | |
| CN117496347A (zh) | 遥感影像建筑物提取方法、装置及介质 | |
| CN114494821A (zh) | 基于特征多尺度感知与自适应聚合的遥感影像云检测方法 | |
| CN113435484A (zh) | 结合自注意力机制的U-Net神经网络冰湖提取方法 | |
| CN117058367A (zh) | 高分辨率遥感影像建筑物语义分割方法及装置 | |
| CN113312993A (zh) | 一种基于PSPNet的遥感数据土地覆盖分类方法 | |
| CN114724023A (zh) | 一种基于孪生网络的水体变化检测方法 | |
| CN116630818A (zh) | 基于gee和深度学习的高原湖泊边界在线提取方法及系统 | |
| CN117314811A (zh) | 基于混合模型的sar-光学图像融合方法 | |
| Guo et al. | Blind single-image-based thin cloud removal using a cloud perception integrated fast Fourier convolutional network | |
| CN115240066A (zh) | 基于深度学习的遥感影像矿区复绿监测方法及系统 | |
| CN112001291A (zh) | 洪积扇砾石分布区主河道快速提取的方法与系统 | |
| CN116664421A (zh) | 一种基于多光照角度图像融合的航天器图像去阴影的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |