CN117237219A - 一种协同双重协调遥感影像云遮挡缺失重建方法和系统 - Google Patents
一种协同双重协调遥感影像云遮挡缺失重建方法和系统 Download PDFInfo
- Publication number
- CN117237219A CN117237219A CN202311196612.8A CN202311196612A CN117237219A CN 117237219 A CN117237219 A CN 117237219A CN 202311196612 A CN202311196612 A CN 202311196612A CN 117237219 A CN117237219 A CN 117237219A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- cloud
- coordination
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 230000009977 dual effect Effects 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 20
- 239000000203 mixture Substances 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 8
- 239000002131 composite material Substances 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 37
- 238000001228 spectrum Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种协同双重协调遥感影像云遮挡缺失重建方法和系统，实现高分辨率影像大面积云遮挡缺失信息重建目标。本发明通过下述技术方案实现：首先，合成影像Icom和掩膜M通过浅层特征提取模块得到(If，Mf)。其次，在协同双重协调模块中，构建了像素到像素的细粒度局部协调模块和影像到影像的全局协调模块，以浅层特征(If，Mf)作为输入，分别获得像素级的特征Ipix和全局级的特征Iigh，最终通过Iout＝Ipix·IIGH进行特征融合后得到重建影像。其次，本发明设计了相似性约束函数和梯度约束函数，保持合成影像中前景区域和背景区域的整体一致性，最终实现高分辨率影像大面积云遮挡缺失信息重建目标。
Description
技术领域
本发明涉及基于深度学习的遥感影像云遮挡缺失信息重建技术领域，尤其是涉及高分辨率遥感影像大面积云遮挡缺失信息重建方法和系统。
背景技术
高分辨率遥感影像具有光谱信息丰富、地理纹理复杂、目标密集的特点，是对地精细观测的主要数据源。目前，高分辨率遥感影像已在国防建设、自然资源检测等领域得到了重要的应用。然而，由于大面积云遮挡的存在，造成高分辨率遥感影像无法直接应用于后续的研究中，减少或者去除云遮挡对高分辨率遥感影像的影响，是遥感影像处理过程中必须要面对的问题。
现有的云遮挡缺失信息重建模型中，常利用多时相影像来完成缺失重建任务。在多时相重建任务中，云遮挡区域的影像来源于多时相影像，也称为重建区域，云遮挡区域外的影像来源于云遮挡影像，也称为非重建区域。重建区域影像和非重建区域影像通过拼接的方式获得合成影像，并通过深度学习模型不断学习合成影像和云遮挡影像之间的非线性关系，进而得到重建影像。但在这个过程中，重建区域和非重建区域无差别对待的特征提取方式加剧了重建影像中整体不一致性、边界效应的问题。另外，大面积云遮挡加剧了遥感影像使用难度，但在实际的影像获取过程中，无法避免大面积云遮挡问题的存在。实现大面积云遮挡缺失信息重建目标对于提升遥感影像使用效率至关重要。
针对上述两个问题，本发明借助深度学习强大的非线性表达能力构建了协同双重协调高分辨率大面积云遮挡缺失信息重建网络(Collaborative dualharmonizationreconstruction network，CDH-RecNet)，从像素到像素的细粒度局部协调和影像到影像全局协调角度对合成影像进行协调，实现高分辨率影像云遮挡大面积缺失信息重建目标。
发明内容
本发明针对高分辨率云遮挡大面积缺失信息重建现有技术的不足，提供一种协同双重协调高分辨率影像大面积云遮挡信息重建方法，实现高分辨率无完整无云时相影像下的缺失信息重建，包括：首先，给定待重建影像多时相影像/>二值掩膜/>(像素值1代表缺失区域，0代表非缺失区域)，重建影像/>训练模型Φ。根据Icom＝Iori·(1-M)+IT·M得到模型的输入数据合成影像Icom和M。其次，在双重协调模块中，像素到像素细粒度局部协调(pixel-to-pixel fine-grained localharmonization module，PFLH)和影像到影像全局级协调(image-to-image globalharmonization，IGH)模块通过浅层特征提取(feature extraction module)模块将输入影像Icom和M下采样为(If，Mf)，PFLH结合self-calibrated block with pixel attention(SC-PA)模块和融合地物约束特征ISSIM得到Ipix，以实现局部像素级细粒度协调的目标。IGH通过构建前背景注意模块(fore-background aware module，FBAM)实现对重建区域、非重建区域和目标区域之间的信息差异进行中针对性协调并融合地物约束特征ISSIM并得到Iigh，使得重建区域和非重建区域在整体上实现协调的目标。然后，地物约束模块(groundconstraint module，GCM)对影像中不同尺度内部和跨不同尺度大量重现地物进行相似性约束得到ISSIM。最后。通过PFLH像素级重建损失、IGH整体一致性损失(即结构相似性函数)、重建损失等实现反向传播，得到/>
本发明的具体技术方案包括如下步骤：
步骤1，基于时间接近原则获取遥感成对云遮挡影像Iori和无云影像IT，并获取云和云阴影对应的掩膜M，然后随机划分为训练集和测试集；
步骤2，基于云遮挡影像Iori和无云影像IT影像获得合成影像Icom；
步骤3，以合成影像Icom和M作为输入，构建重建模型，包括浅层特征提取模块，协同双重协调模块；
所述浅层特征提取模块由多个卷积层和多个残差层组成，并以Icom和M作为输入，得到浅层特征(If，Mf)；
所述对于协同双重协调模块由两部分组成，分别是像素到像素的细粒度局部协调模块和影像到影像的全局协调模块，以浅层特征(If，Mf)作为输入，分别获得像素级的特征Ipix和全局级的特征Iigh，最终通过Iout＝Ipix·IIGH进行特征融合后得到重建影像；
步骤4，结合训练集数据，利用损失函数对构建的重建模型进行训练；
步骤5，将测试集中的合成影像和对应的掩膜输入到训练好的重建模型，得到重建影像。
进一步的，合成影像的具体计算公式如下：
Icom＝Iori·(1-M)+IT·M。
进一步的，所述浅层特征提取模块包括多个卷积层和多个残差层。
进一步的，重建模型还包括地物约束模块，所述地物约束模块包括五个卷积层，其输入为合成影像Icom和M，输出地物约束特征Issim。
进一步的，像素到像素的细粒度局部协调模块包括像素自校正模块SC-PA，卷积模块和上采样模块，具体处理过程为：浅层特征(If，Mf)经过SC-PA模块的处理后与原始输入特征相加作为卷积模块的输入，然后再次输入一个SC-PA模块并与其输入特征相加，再与地物约束特征Issim在通道维进行拼接，最后再经过上采样模块输出像素级的特征Ipix；
所述SC-PA模块包括两个卷积分支，第一卷积分支的处理过程为：首先通过一个卷积层对输入特征进行处理，然后通过两个分别包括一个卷积层的小分支，将小分支的输出进行相乘之后再输入到卷积层中，第二卷积分支包括两个卷积层，将两个卷积分支的输出进行合并后再进行卷积处理，最后与原始输入相加，得到最后的输出；
卷积模块包括两个卷积层，上采样模块包括两个上采样层和三个卷积层。
进一步的，影像到影像全局协调模块包括前背景注意模块FBAM，卷积模块和上采样模块，具体处理过程为：浅层特征(If，Mf)经过FBAM模块的处理后与原始输入特征相加作为卷积模块的输入，然后再次输入一个FBAM模块并与其输入特征相加，再与地物约束特征Issim在通道维进行拼接，最后再经过上采样模块输出全局级的特征Iigh；
所述FBAM模块包含两个分支，分别是Ifg分支和Ibg分支，在Ifg分支中，又分为Imix分支和IL分支；Ifg分支中，Ifg首先通过平均池层、最大池化和两层线性层对(If，Mf)计算重建区域与目标影像之间的信息变化特征，其次将得到的重建区域和目标影像之间的信息变化特征输入到Imix进一步通过平均池层、最大池化和两层线性层计算重建区目标影像之间的不变特征；分支IL通过对传统残差进行改进加入自学习缩放因子α和β，来提升重建区域输入影像和目标影像之间差异特征的提取，以提高重建精度；改进后的IL结构是在两个分支上分别乘以α和β，其中α和β在模型中通过自学习得到；然后，Imix和IL通过相加的方式进行特征融合再乘以M得到Ifg分支的特征，Ibg分支通过平均池层、最大池化和两层线性层计算后与1-M相乘，得到Ibg分支的特征；最后，Ifg分支和Ibg分支得到的特征通过相加的方式得到(I′figh，M′figh)，FBAM内部结构的计算过程可概括为如下：
IFBAM＝M×[IL(Ifg((If，Mf))+Imix((If，Mf))]+(1-M)×Ibg((If，Mf))式中，(If，Mf)为输入特征图，IFBAM为FBAM特征，M为二值掩膜；
卷积模块包括两个卷积层，上采样模块包括两个上采样层和三个卷积层。
进一步的，所述损失函数包括梯度损失约束函数，重建损失约束函数；
其中梯度损失约束函数的计算公式如下：
式中，为梯度损失约束函数，/>为计算梯度的Sobel算子，Iout为输出的重建影像，Iori为无云真实影像，1为L1 loss；
重建损失约束函数的计算公式如下：
式中，为重建损失，Iout为输出的重建影像，Iori为无云真实影像，1为L1loss。
进一步的，所述损失函数还包括相似性约束函数；
相似性约束函数的计算公式如下：
式中，S为结构相似性函数，I′ori为真实无云影像下采样特征，Issim为地物约束模块特征，为相似性约束函数；
最终的总损失为：
式中，总损失，/>为结构相似性函数，/>为梯度损失约束函数，/>为重建损失约束函数，λ1、λ2、λ3为各损失函数权重。
本发明还提供一种协同双重协调遥感影像云遮挡缺失重建系统，包括如下单元：
数据获取单元，用于基于时间接近原则获取遥感成对云遮挡影像Iori和无云影像IT，并获取云和云阴影对应的掩膜M，然后随机划分为训练集和测试集，；
合成影像获取单元，用于基于云遮挡影像Iori和无云影像IT影像获得合成影像Icom；
模型构建单元，用于以合成影像Icom和M作为输入，构建重建模型，包括浅层特征提取模块，协同双重协调模块；
所述浅层特征提取模块由多个卷积层和多个残差层组成，并以Icom和M作为输入，得到浅层特征(If，Mf)；
所述对于协同双重协调模块由两部分组成，分别是像素到像素的细粒度局部协调模块和影像到影像的全局协调模块，以浅层特征(If，Mf)作为输入，分别获得像素级的特征Ipix和全局级的特征Iigh，最终通过Iout＝Ipix·IIGH进行特征融合后得到重建影像；
模型训练单元，用于结合训练集数据，利用损失函数对构建的重建模型进行训练；
重建单元，用于将测试集中的合成影像和对应的掩膜输入到训练好的重建模型，得到重建影像。
本发明相比于现有技术的有益效果在于：
(1)本发明提供一种新颖的协同双重协调高分辨率遥感影像大面积云遮挡缺失信息重建方法，从像素到像素的细粒度局部协调和影像到影像全局协调角度出发构建CDH-RecNet模型，在像素级协调模块中结合SC-PA和地物约束特征ISSIM实现像素级协调目标并得到Ipix，在全局级协调模块中结合S2AM提出前背景注意力机制，对前背景区域与目标影像之间的差异和相同信息进行针对性协调，并结合地物约束特征ISSIM得到Iigh，缓解重建影像中整体不一致性问题。然后，在地物约束模块中，针对遥感影像中同一地物在不同尺度和跨不同尺度内往往具有重复出现的现象，结合结构相似性约束函数构建地物约束模块得到ISSIM，解决地物不协调问题。最后，通过Iout＝Ipix·IIGH进行特征融合得到重建后的影像Iout，实现高分辨率影像大面积云遮挡缺失信息重建目标。
(2)本发明设计了相似性约束函数和梯度约束函数，保持合成影像中前景区域和背景区域的整体一致性。
附图说明
图1是本发明实施实例CDH-RecNet模型整体结构图；
图2是本发明实施实例基于CDH-RecNet缺失信息重建步骤流程图；
图3是本发明实施实例PFLH模块结构图；
图4是本发明实施实例IGH模块结构图；
图5是本发明实施实力CDH-RecNet在Gaofen-1(2m)70％云遮挡下缺失信息重建结果。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，图2为方法流程图，下面对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和介绍本发明，并不用于限定本发明。
请见图2，本发明提供的一种协同双重协调高分辨率遥感影像云遮挡缺失信息重建方法，包括以下步骤：
步骤1，基于时间接近原则获取Gaofen-1(2m)成对云遮挡影像Iori和无云影像IT，并获取云和云阴影对应的掩膜数据M，然后随机划分为训练集、验证集和测试集；
首先，根据遥感影像重访周期，获取时间接近成对的Gaofen-1(2m)云遮挡影像和无云影像/>构建训练数据集；
在模拟实验中，本发明利用柏林噪声算法模拟云和云阴影，获取模拟实验中的掩膜数据M。在测试实验中，利用ArcGIS软件绘制真实云遮挡M。值得注意的是M中0为非云区域，1为云遮挡区域；
步骤2，基于云遮挡影像Iori和无云影像IT影像获得合成影像Icom；
基于分块加速网络训练的策略，将获取的成对Iori和IT，掩膜M，分别裁剪为256×256大小，得到Iori、IT和M一一对应的训练数据集；
模型输入数据为合成影像Icom和M，其中Icom通过式1获得。
Icom＝Iori•(1-M)+IT•M (1)
步骤3，以合成影像Icom和M作为输入，构建重建模型，包括浅层特征提取模块，协同双重协调模块和地物约束模块；
所述浅层特征提取模块由多个卷积层和多个残差层组成，并以Icom和M作为输入，得到浅层特征(If，Mf)；
对于浅层特征提取模块，该模块借鉴U-Net和Residual Network结构，由三层卷积层(卷积核大小为：7×7、4×4、4×4)和三层残差层(卷积核大小为：3×3、3×3、3×3)组成，并以Icom和M作为输入，得到浅层特征(If，Mf)。
所述对于协同双重协调模块由两部分组成，分别是像素到像素的细粒度局部协调模块和影像到影像的整体到整体全局协调模块，以浅层特征(If，Mf)作为输入，在上采样前分别结合地物约束特征ISSIM获得像素级的特征Ipix和全局级的特征Iigh，最终通过Iout＝Ipix·IIGH进行特征融合后得到重建影像；
对于像素到像素的细粒度局部协调模块，像素到像素的协调结构可有效获取局部上下文信息，缓解重建影像中出现的边界效应、光谱损失和局部不一致性的问题。另外，像素自校正模块SC-PA与通道注意和空间注意不同，SC-PA可在降低计算复杂度的同时获取3D逐像素注意，故本模块采用SC-PA构建了具有堆叠结构的像素到像素细粒度局部协调模块。
所述的像素到像素的细粒度局部协调模块PFLH以浅层特征(If，Mf)作为输入，首先经过第一个SC-PA模块的特征融合，其次经过两个3×3卷积层计算，然后再和第二个SC-PA模块的特征融合，最后在上采样的前一层，在通道维与地物约束特征ISSIM拼接，最终通过两层上采样层(upsampling层)和三层卷积(卷积核大小为：5×5、5×5和7×7)进行上采样得到Ipix。
Ipix＝D(PFLH(If，Mf)) (2)
PFLH为逐像素协调过程，D为上采样过程。
在第一个SC-PA中，该模块首先通过两个1×1的卷积分支计算，分别命名为分支1和分支2。在分支1中通过1×1和3×3两个卷积次分支，分别命名为分支3和分支4。分支3通过Sigmoid函数将输入映射到0-1范围内，分支4得到的特征与分支3得到的特征相乘得到分支1最终的特征。然后，分支2中，首先通过1×1卷积计算，其次通过3×3卷积计算，得到分支2的特征。最后，分支1和分支2的特征在通道维拼接后，再通过一层1×1卷积，得到第一个具有3D逐像素特征的(I′fpix，M′fpix)。在得到第一个SC-PA模块的特征(I′fpix，M′fpix)后，(I′fpix，M′fpix)与(If，Mf)相加后融合入PFLH模块中，第二个SC-PA模块的计算过程与第一个SC-PA模块的计算方式和融合方式一致。
对于影像到影像全局协调模块，高分辨重建影像地理纹理信息丰富、目标密集，常出现全局不一致性问题，故首先借鉴image-to-image协调结构作为backbone提取全局信息，然后借鉴S2AM构建前背景注意模块FBAM，获取非重建区域的影像特征Ibg，重建区域与目标影像之间的信息变化特征Ifg、重建区域与目标影像之间的不变特征Imix。所述的影像到影像全局协调模块IGH以浅层特征(If，Mf)作为输入，先经过第一个FBAM模块进行特征融合，其次经过两个3×3卷积层计算，然后再和第二个FBAM模块的特征进行融合，最后在上采样的前一层，在通道维与地物约束特征ISSIM拼接，最终通过两层上采样层(upsampling层)和三层卷积(卷积核大小为：5×5、5×5和7×7)进行上采样得到Iigh。
第一个FBAM模块以(If，Mf)作为输入数据。在FBAM模块中包含两个分支，分别是Ifg分支和Ibg分支。在Ifg分支中，又分为Imix分支和IL分支。Ifg分支中，Ifg首先通过平均池层、最大池化和两层线性层对(If，Mf)计算重建区域与目标影像之间的信息变化特征，其次将得到的重建区域和目标影像之间的信息变化特征输入到Imix进一步通过平均池层、最大池化和两层线性层计算重建区目标影像之间的不变特征。分支IL通过对传统残差进行改进加入自学习缩放因子(self-learned scaling factor)α和β，来提升重建区域输入影像和目标影像之间差异特征的提取，以提高重建精度。改进后的IL结构是在两个分支上分别乘以α和β，其中α和β在模型中通过自学习得到。然后，Imix和IL通过相加的方式进行特征融合再乘以M得到Ifg分支的特征。Ibg分支通过平均池层、最大池化和两层线性层计算后与1-M相乘，得到Ibg分支的特征。最后，Ifg分支和Ibg分支得到的特征通过相加的方式得到(I′figh，M′figh)，FBAM内部结构的计算过程可概括为式3。(I′figh，M′figh)采用相加的方式与(If，Mf)进行特征融合，第二个FBAM模块的计算过程和特征融合方式与第一个FBAM模块一致。
IFBAM＝M×[IL(Ifg((If，Mf))+Imix((If，Mf))]+(1-M)×Ibg((If，Mf)) (3)
式中，(If，Mf)为输入特征图，IFBAM为FBAM特征，包括(I′figh，M′figh)，M为二值掩膜；
所述地物约束模块由多个卷积层组成，以Icom和M作为输入数据，得到地物约束特征ISSIM；
对于地物约束模块，经过PFLH和IGH模块的协调，我们得到了像素级和全局级的特征Ipix和Iigh，地物约束模块模块采用五层卷积实现(卷积核分别为：7×7、4×4、4×4、4×4、3×3)。
步骤4，利用损失函数对构建的重建模型进行训练；
对于损失函数，通过像素级和全局级的和谐处理关注不同层面的特征协调，但对地物内部的光谱变化信息未进行关注，这是造成重建影像光谱丢失的重要原因，故在损失函数中，还通过Sobel算子构建了梯度损失约束函数，见下式4。
式中，为梯度损失约束函数，/>为计算梯度的Sobel算子，Iout为输出的重建影像，Iori为无云真实影像，1为L1 loss。
本发明还增加了重建损失，强迫重建影像无限接近于真实影像，重建损失见下式(5)。
式中，为重建损失，Iout为输出的重建影像，Iori为无云真实影像，1为L1 loss。
Ipix具有低分辨率和丰富的局部上下文信息的优势，Iigh具有高分辨率和全局上下文的优势，它们在重建任务中是互补的，理论上是可获得令人满意的重建结果的。但由于同一地物在不同尺度和跨不同尺度内往往具有重复出现的现象，造成重建影像Iout同种地物纹理、光谱不和谐的问题，故构建相似性约束函数如式6：
式中，S为结构相似性函数，I′ori为真实无云影像下采样特征，Issim为地物约束模块特征，为相似性约束函数。
综上，本研究中使用的损失函数为：
式中，总损失，/>为结构相似性函数，/>为梯度损失约束函数，/>为重建损失约束函数，λ1、λ2、λ3为各损失函数权重。
步骤5，将合成影像Icom和掩膜M输入到训练好的重建模型，得到重建影像，实验结果见附图5。
所述图5，我们以Gaofen-2(2m)成对数据70％云遮挡进行了实验，RFR-Net、STAN、STS-CNN、BSN为4个对比模型的重建结果。从放大区域蓝色地物的重建效果来看，本发明提出的方法在蓝色地物的光谱信息保持、纹理信息保持、整体一致性等方面均超出了对比方法。这也证明了本发明所提出方法的有效性。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
本发明实施例还提供一种协同双重协调遥感影像云遮挡缺失重建系统，包括如下单元：
数据获取单元，用于基于时间接近原则获取遥感成对云遮挡影像Iori和无云影像IT，并获取云和云阴影对应的掩膜M，然后随机划分为训练集和测试集，；
合成影像获取单元，用于基于云遮挡影像Iori和无云影像IT影像获得合成影像Icom；
模型构建单元，用于以合成影像Icom和M作为输入，构建重建模型，包括浅层特征提取模块，协同双重协调模块；
所述浅层特征提取模块由多个卷积层和多个残差层组成，并以Icom和M作为输入，得到浅层特征(If，Mf)；
所述对于协同双重协调模块由两部分组成，分别是像素到像素的细粒度局部协调模块和影像到影像的全局协调模块，以浅层特征(If，Mf)作为输入，分别获得像素级的特征Ipix和全局级的特征Iigh，最终通过Iout＝Ipix·IIGH进行特征融合后得到重建影像；
模型训练单元，用于结合训练集数据，利用损失函数对构建的重建模型进行训练；
重建单元，用于将测试集中的合成影像和对应的掩膜输入到训练好的重建模型，得到重建影像。
各单元的具体实现方式与各步骤相同，本发明不予撰述。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而己，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种协同双重协调遥感影像云遮挡缺失重建方法，其特征在于，包括如下步骤：
步骤1，基于时间接近原则获取遥感成对云遮挡影像Iori和无云影像IT，并获取云和云阴影对应的掩膜M，然后随机划分为训练集和测试集，；
步骤2，基于云遮挡影像Iori和无云影像IT影像获得合成影像Icom；
步骤3，以合成影像Icom和M作为输入，构建重建模型，包括浅层特征提取模块，协同双重协调模块；
所述浅层特征提取模块由多个卷积层和多个残差层组成，并以Icom和M作为输入，得到浅层特征(If，Mf)；
所述对于协同双重协调模块由两部分组成，分别是像素到像素的细粒度局部协调模块和影像到影像的全局协调模块，以浅层特征(If，Mf)作为输入，分别获得像素级的特征Ipix和全局级的特征Iigh，最终通过Iout＝Ipix·IIGH进行特征融合后得到重建影像；
步骤4，结合训练集数据，利用损失函数对构建的重建模型进行训练；
步骤5，将测试集中的合成影像和对应的掩膜输入到训练好的重建模型，得到重建影像。
2.如权利要求1所述的一种协同双重协调遥感影像云遮挡缺失重建方法，其特征在于：合成影像的具体计算公式如下：
Icom＝Iori·(1-M)+IT·M。
3.如权利要求1所述的一种协同双重协调遥感影像云遮挡缺失重建方法，其特征在于：所述浅层特征提取模块包括多个卷积层和多个残差层。
4.如权利要求1所述的一种协同双重协调遥感影像云遮挡缺失重建方法，其特征在于：重建模型还包括地物约束模块，所述地物约束模块包括五个卷积层，其输入为合成影像Icom和M，输出地物约束特征Issim。
5.如权利要求4所述的一种协同双重协调遥感影像云遮挡缺失重建方法，其特征在于：像素到像素的细粒度局部协调模块包括像素自校正模块SC-PA，卷积模块和上采样模块，具体处理过程为：浅层特征(If，Mf)经过SC-PA模块的处理后与原始输入特征相加作为卷积模块的输入，然后再次输入一个SC-PA模块并与其输入特征相加，再与地物约束特征Issim在通道维进行拼接，最后再经过上采样模块输出像素级的特征Ipix；
所述SC-PA模块包括两个卷积分支，第一卷积分支的处理过程为：首先通过一个卷积层对输入特征进行处理，然后通过两个分别包括一个卷积层的小分支，将小分支的输出进行相乘之后再输入到卷积层中，第二卷积分支包括两个卷积层，将两个卷积分支的输出进行合并后再进行卷积处理，最后与原始输入相加，得到最后的输出；
卷积模块包括两个卷积层，上采样模块包括两个上采样层和三个卷积层。
6.如权利要求4所述的一种协同双重协调遥感影像云遮挡缺失重建方法，其特征在于：影像到影像全局协调模块包括前背景注意模块FBAM，卷积模块和上采样模块，具体处理过程为：浅层特征(If，Mf)经过FBAM模块的处理后与原始输入特征相加作为卷积模块的输入，然后再次输入一个FBAM模块并与其输入特征相加，再与地物约束特征Issim在通道维进行拼接，最后再经过上采样模块输出全局级的特征Iigh；
所述FBAM模块包含两个分支，分别是Ifg分支和Ibg分支，在Ifg分支中，又分为Imix分支和IL分支；Ifg分支中，Ifg首先通过平均池层、最大池化和两层线性层对(If，Mf)计算重建区域与目标影像之间的信息变化特征，其次将得到的重建区域和目标影像之间的信息变化特征输入到Imix进一步通过平均池层、最大池化和两层线性层计算重建区目标影像之间的不变特征；分支IL通过对传统残差进行改进加入自学习缩放因子α和β，来提升重建区域输入影像和目标影像之间差异特征的提取，以提高重建精度；改进后的IL结构是在两个分支上分别乘以α和β，其中α和β在模型中通过自学习得到；然后，Imix和IL通过相加的方式进行特征融合再乘以M得到Ifg分支的特征，Ibg分支通过平均池层、最大池化和两层线性层计算后与1-M相乘，得到Ibg分支的特征；最后，Ifg分支和Ibg分支得到的特征通过相加的方式得到(I′figh，M′figh)，FBAM内部结构的计算过程可概括为如下：
IFBAM＝M×[IL(Ifg((If，Mf))+Imix((If，Mf))]+(1-M)×Ibg((If，Mf))
式中，(If，Mf)为输入特征图，IFBAM为FBAM特征，M为二值掩膜；
卷积模块包括两个卷积层，上采样模块包括两个上采样层和三个卷积层。
7.如权利要求4所述的一种协同双重协调遥感影像云遮挡缺失重建方法，其特征在于：所述损失函数包括梯度损失约束函数，重建损失约束函数；
其中梯度损失约束函数的计算公式如下：
式中，为梯度损失约束函数，/>为计算梯度的Sobel算子，Iout为输出的重建影像，Iori为无云真实影像，1为L1 loss；
重建损失约束函数的计算公式如下：
式中，为重建损失，Iout为输出的重建影像，Iori为无云真实影像，1为L1 loss；
最终的损失函数是梯度损失约束函数和重建损失的加权。
8.如权利要求7所述的一种协同双重协调遥感影像云遮挡缺失重建方法，其特征在于：所述损失函数还包括相似性约束函数；
相似性约束函数的计算公式如下：
式中，S为结构相似性函数，I′ori为真实无云影像下采样特征，Issim为地物约束模块特征，为相似性约束函数；
最终的总损失为：
式中，总损失，/>为结构相似性函数，/>为梯度损失约束函数，/>为重建损失约束函数，λ1、λ2、λ3为各损失函数权重。
9.一种协同双重协调遥感影像云遮挡缺失重建系统，其特征在于，包括如下单元：
数据获取单元，用于基于时间接近原则获取遥感成对云遮挡影像Iori和无云影像IT，并获取云和云阴影对应的掩膜M，然后随机划分为训练集和测试集，；
合成影像获取单元，用于基于云遮挡影像Iori和无云影像IT影像获得合成影像Icom；
模型构建单元，用于以合成影像Icom和M作为输入，构建重建模型，包括浅层特征提取模块，协同双重协调模块；
所述浅层特征提取模块由多个卷积层和多个残差层组成，并以Icom和M作为输入，得到浅层特征(If，Mf)；
所述对于协同双重协调模块由两部分组成，分别是像素到像素的细粒度局部协调模块和影像到影像的全局协调模块，以浅层特征(If，Mf)作为输入，分别获得像素级的特征Ipix和全局级的特征Iigh，最终通过Iout＝Ipix·IIGH进行特征融合后得到重建影像；
模型训练单元，用于结合训练集数据，利用损失函数对构建的重建模型进行训练；
重建单元，用于将测试集中的合成影像和对应的掩膜输入到训练好的重建模型，得到重建影像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311196612.8A CN117237219A (zh) | 2023-09-14 | 2023-09-14 | 一种协同双重协调遥感影像云遮挡缺失重建方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311196612.8A CN117237219A (zh) | 2023-09-14 | 2023-09-14 | 一种协同双重协调遥感影像云遮挡缺失重建方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117237219A true CN117237219A (zh) | 2023-12-15 |
Family
ID=89082097
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311196612.8A Pending CN117237219A (zh) | 2023-09-14 | 2023-09-14 | 一种协同双重协调遥感影像云遮挡缺失重建方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237219A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118196436A (zh) * | 2024-05-20 | 2024-06-14 | 四川省机械研究设计院(集团)有限公司 | 花椒感知跨任务特征增强模型及方法 |
-
2023
- 2023-09-14 CN CN202311196612.8A patent/CN117237219A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118196436A (zh) * | 2024-05-20 | 2024-06-14 | 四川省机械研究设计院(集团)有限公司 | 花椒感知跨任务特征增强模型及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Patchmatchnet: Learned multi-view patchmatch stereo | |
| Hai et al. | R2rnet: Low-light image enhancement via real-low to real-normal network | |
| Lee et al. | Deep recursive hdri: Inverse tone mapping using generative adversarial networks | |
| Dong et al. | RRSGAN: Reference-based super-resolution for remote sensing image | |
| CN110443842B (zh) | 基于视角融合的深度图预测方法 | |
| CN110276721A (zh) | 基于级联残差卷积神经网络的图像超分辨率重建方法 | |
| Sun et al. | Lightweight image super-resolution via weighted multi-scale residual network | |
| Wang et al. | Laplacian pyramid adversarial network for face completion | |
| Sheng et al. | Cross-view recurrence-based self-supervised super-resolution of light field | |
| Cao et al. | New architecture of deep recursive convolution networks for super-resolution | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| Wang et al. | Semi-supervised student-teacher learning for single image super-resolution | |
| Dong et al. | Real-world remote sensing image super-resolution via a practical degradation model and a kernel-aware network | |
| CN117237219A (zh) | 一种协同双重协调遥感影像云遮挡缺失重建方法和系统 | |
| Jiang et al. | Fast and high quality image denoising via malleable convolution | |
| Chen et al. | Attentional coarse-and-fine generative adversarial networks for image inpainting | |
| CN115222614A (zh) | 一种先验引导的多降质特征夜光遥感影像质量提升方法 | |
| Wang et al. | Underwater image super-resolution and enhancement via progressive frequency-interleaved network | |
| Chen et al. | LFGAN: 4D light field synthesis from a single RGB image | |
| Zhang et al. | Enhanced visual perception for underwater images based on multistage generative adversarial network | |
| Lin et al. | UHD Low-light image enhancement via interpretable bilateral learning | |
| Yuan et al. | Unsupervised real image super-resolution via knowledge distillation network | |
| Tang et al. | Structure-embedded ghosting artifact suppression network for high dynamic range image reconstruction | |
| Jiang et al. | A neural refinement network for single image view synthesis | |
| Qi et al. | Sparse prior guided deep multi-view stereo |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |