CN117689579B - 一种渐进式双解耦的sar辅助遥感影像厚云去除方法 - Google Patents
一种渐进式双解耦的sar辅助遥感影像厚云去除方法 Download PDFInfo
- Publication number
- CN117689579B CN117689579B CN202311704091.2A CN202311704091A CN117689579B CN 117689579 B CN117689579 B CN 117689579B CN 202311704091 A CN202311704091 A CN 202311704091A CN 117689579 B CN117689579 B CN 117689579B
- Authority
- CN
- China
- Prior art keywords
- image
- cloud
- input
- sub
- sar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000750 progressive effect Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000003287 optical effect Effects 0.000 claims abstract description 72
- 230000004927 fusion Effects 0.000 claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 34
- 230000000903 blocking effect Effects 0.000 claims abstract description 8
- 230000003595 spectral effect Effects 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000009469 supplementation Effects 0.000 claims abstract description 4
- 230000005855 radiation Effects 0.000 claims description 42
- 238000010586 diagram Methods 0.000 claims description 32
- 238000011084 recovery Methods 0.000 claims description 27
- 230000004913 activation Effects 0.000 claims description 22
- 238000000354 decomposition reaction Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 19
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 18
- 238000001228 spectrum Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 13
- 230000002708 enhancing effect Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 230000005284 excitation Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 5
- 238000007670 refining Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000012423 maintenance Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 230000000295 complement effect Effects 0.000 abstract description 2
- 230000001629 suppression Effects 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Abstract
本发明涉及一种渐进式双解耦的SAR辅助遥感影像厚云去除方法，所述方法包括以下步骤：获取厚云遮挡光学遥感影像、无云参考影像和SAR影像三元数据集；构建渐进式双解耦的SAR辅助遥感影像厚云去除模型；训练渐进式双解耦的SAR辅助遥感影像厚云去除模型；待厚云去除的厚云遮挡光学遥感影像及对应SAR影像数据的获得及预处理；光学遥感影像厚云去除结果的获得。与现有技术相比，通过构建SAR和光学影像渐进式融合模块，充分利用两种模态间的互补信息，加强对光学影像缺失信息的补充和对SAR影像中噪声、形变的抑制。同时本发明设计的频域和空域双解耦特征处理架构，使得去云影像在光谱信息和结构信息的保持上均表现优异。
Description
技术领域
本发明涉及光学遥感影像数据处理技术领域，具体来说是一种渐进式双解耦的SAR辅助遥感影像厚云去除方法。
背景技术
光学遥感是对地观测的一种重要手段，但云层干扰破坏了传感器采集影像的空间结构和光谱信息，严重影响图像质量和农业、环境监测及勘探等领域下游任务的应用。因此，有效去除遥感影像中云层的干扰，重建地面信息具有重要研究意义。
遥感影像去云可分为薄云去除和厚云去除两类，相比于薄云去除，厚厚云遮挡区域的遥感影像地面信息几乎完全丢失，通常难以利用自身信息进行有效去除，需要额外的辅助信息进行图像重建。SAR采用主动成像的方法，提供微波范围内的能量源并接收地面物体的反射信号，可以实现全天候监测，不受大气或天气条件的影响，作为光学影像中厚云去除的辅助信息能够提高多云区域结构信息的恢复能力。由于成像机制的不同，两种模态数据间存在巨大差异，简单的融合方法无法充分利用二者的互补信息，同时SAR影像特殊的成像原理易产生相干斑噪声，会干扰图像恢复，产生伪影。在云去除任务中设计能够提取不同模态的一致性特征来引导深度融合，同时减少冗余信息和抑制噪声干扰的融合模型十分必要。
在处理复杂地形和严重云层遮挡的情况下，仅仅通过SAR辅助进行全局结构信息的恢复可能导致厚云遮挡区域语义信息填充不准确和光谱特征变化问题。为进一步提高去云性能，获得更高质量的修复影像，需要在无云区域和重建区域的语义和光谱信息上进一步加以约束，以保持地物的空间连续性和光谱一致性，在云去除后获得更准确、更真实的地面信息，从而显著提升遥感影像去云效果和应用价值。
发明内容
本发明的目的是为现有SAR辅助遥感影像厚云去除方法对影像结构信息和光谱信息恢复不充分，提供一种渐进式双解耦的SAR辅助遥感影像厚云去除方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种渐进式双解耦的SAR辅助遥感影像厚云去除方法包括以下步骤：
11)获取厚云遮挡光学遥感影像、无云参考影像和SAR影像三元数据集：基于光学遥感影像数据集SEN12MS-CR，综合考虑厚云遮挡率、下垫面类型及有云影像与参考影像间的时相差异，进行数据集构建；
12)构建渐进式双解耦的SAR辅助遥感影像厚云去除模型：该模型由增强厚云遮挡影像结构信息恢复的多模态数据渐进式融合模块和细化厚云遮挡影像光谱信息恢复的辐射引导校正模块组成；
13)训练渐进式双解耦的SAR辅助遥感影像厚云去除模型：将获取的厚云遮挡光学遥感影像和SAR影像数据作为输入，以无云参考影像作为参考对模型进行监督训练，多次迭代训练，保存最佳模型权重用于厚云去除结果验证；
14)待厚云去除的厚云遮挡光学遥感影像及对应SAR影像数据的获得及预处理；
15)光学遥感影像厚云去除结果的获得：将成对的厚云遮挡光学遥感影像和SAR影像数据输入到渐进式双解耦的SAR辅助遥感影像厚云去除模型，得到云去除后的光学影像。
所述获取厚云遮挡光学遥感影像、无云参考影像和SAR影像三元数据集包括以下步骤：
21)基于具有全球数据的光学遥感影像数据集SEN12MS-CR构建数据集；
211)SEN12MS-CR数据集由169个均匀分布在各大洲和气象季节的非重叠区域组成，所有区域的平均地面覆盖面积为52×40平方千米，对应5200×4000像素的完整场景图像，进行256×256像素、步长为128像素的裁切后，平均每个场景获得700个图像块，不仅数据量大，还涵盖多种地物覆盖类型和季节气侯性影响；
212)SEN12MS-CR数据集包含经过校正和地理配准后成对的哨兵1号SAR影像、哨兵2号无云影像和哨兵2号有云影像，其中作为参考的无云图像为可获得最接近有云影像采集时间的清晰影像，经人工筛选后所得；
213)哨兵2号光学影像数据包含13个波段，所有波段被截断值[0,10000]，并归一化到[0,1]之间，哨兵1号SAR影像的VV和VH偏振图像分别被切割成值[-25,0]和[-32.5,0]，并缩放到范围[0,1]；
22)综合考虑厚云遮挡率、下垫面类型及有云影像与参考影像间的时相差异，从SEN12MS-CR数据集中筛选数据，构建用于网络训练的子集；
221)获取哨兵2号有云影像的厚云遮挡率；
基于云检测算法，对有云影像进行逐像素分类，区分云和云阴影覆盖区域和无云背景区域，将云和云阴影区域像素值置为1，背景区域像素值置0，即可获得用于计算厚云遮挡率的二值掩膜图；
其中，ri表示第i个影像的厚云遮挡率，mi表示第i个影像的二值掩膜图，sum(mi)表示统计二值掩膜图中值为1的像元个数，Mi、Ni表示第i个影像的大小，二者乘积即为影像像元总个数；
222)获取哨兵2号无云影像的下垫面类型；
基于灰度共生矩阵，分析无云影像的空间纹理结构特征，通过计算影像中有一定距离和方向的两点灰度之间的相关性，反映影像在方向、间隔、变化幅度及快慢的综合信息，定量评价影像的复杂程度；
其中，(x,y)表示大小为(Nx,Ny)的影像中像元的坐标，i表示该像元的灰度值，P(i,j,dθ,)表示统计该像元与距离为d、方向为θ、灰度为j的像元(x+Δx,y+Δy)同时出现的概率；
其中，Et表示根据灰度共生矩阵Pt(i,j,d,θ)计算所得的第t个影像的纹理复杂度熵值，纹理复杂度熵值越大表示影像的纹理越复杂；
将数据集所有无云影像的纹理复杂度熵值归一化后，将其分为复杂度不同的5个子集Y＝{Y1,Y2,Y3,Y4,Y5}，纹理复杂度熵值范围分别为{0,0.2}、{0.2,0.4}、{0.4,0.6}、{0.6,0.8}、{0.8,1}；
223)基于221)和222)获得的统计数据，合成考虑时间差异对地物覆盖类型变化影像的SEN12MS-CR数据集子集作为训练渐进式双解耦的SAR辅助遥感影像厚云去除模型的数据集；
从5组纹理复杂度不同的子集中根据厚云遮挡率分组选择样本影像三元组，厚云遮挡率也按{0,0.2}、{0.2,0.4}、{0.4,0.6}、{0.6,0.8}、{0.8,1}范围分为5组，共25个不同复杂度和厚云遮挡率分组，每个分组提取400个样本，共10000个影像三元组数据子集，将子集按8:2划分为训练集和验证集；
基于二值掩膜图、无云影像和有云影像合成用于模型训练的数据集；通过二值掩膜图提取有云影像受云污染的区域和对应无云影像的相对位置，通过逐像素替换的方式进行数据集合成；
Xcloudy＝Xe M+Ye(1-M) (4)
其中，Xcloudy表示合成的有云影像，M表示二值掩膜图，X表示原数据集中的有云影像，Y表示原数据集中的无云影像，e表示哈达玛内积，即逐像素相乘；
23)最终用于模型训练的合成数据集为由合成的厚云遮挡光学遥感影像、原数据集无云参考影像和原数据集SAR影像三元数据构成，共10000对，其中8000对作为训练集，2000对作为验证集。
所述构建渐进式双解耦的SAR辅助遥感影像厚云去除模型包括以下步骤：
31)基于U型结构和小波变换构建用于增强厚云遮挡影像纹理结构信息恢复结构引导渐进式融合模块；
311)构建用于分离影像频域信息的频域解耦子模块，采用小波变换对影像进行高频和低频信息分解，获得相当于原始输入两倍下采样的水平、垂直和对角三个方向的高频子图和一个低频子图，其中低频子图作为下一阶段频域解耦子模块的输入，再次进行频域分解，三个方向的高频子图作为通道自适应子模块的输入；
312)构建用于增强输入通道可扩展性的通道自适应子模块，该子模块基于通道注意力机制网络结构，由压缩、激励和扩张三阶段组成，使用全局平均池化和全局最大值池化分别对输入进行压缩，激励阶段由2个全连接层，第一个全连接层后接Relu激活函数，第二个全连接层输出的最大值池化特征图和平均池化特征图逐像素相加后经过Sigmoid函数转化为归一化权重向量，在扩张阶段将归一化权重向量和原输入进行逐通道相乘，获得通道自适应输出，作为结构引导融合子模块的输入；
313)构建用于融合光学影像和SAR影像结构信息的结构引导融合子模块，该子模块由双层交叉注意力机制组成，用两个1×1卷积核分别提取光学影像输入和SAR影像输入的两个矩阵K键值,V值，其中提取到的SAR影像输入的矩阵Ksar转置与Vsar相乘，相乘结果作为矩阵Qopt，与矩阵Kopt和Vopt进行自注意力计算得到结构引导融合子模块的融合结果，作为频域重构子模块的输入；
314)构建用于恢复影像高低频信息和尺度信息的频域重构子模块，通过小波逆变换将最后一阶段频域解耦子模块的低频子图和结构引导融合子模块输出高频子图进行频域重构，恢复频域信息和空间分辨率，重构特征图经过通道自适应子模块后作为下一阶段重构的低频信息输入，经过四阶段重构后获得与输入相同空间分辨率、恢复结构信息的去云输出；
32)构建用于细化厚云遮挡影像光谱信息恢复的辐射引导校正模块；
321)构建用于增强光谱信息提取的残差分支，该分支由三个残差组组成，每个残差组由四个残差块堆叠而成，第一个残差组的输出由辐射引导子模块进行辐射一致性约束后与原输出拼接作为下一个残差组的输入，第二个残差组的输出由语义引导子模块进行语义一致性约束后作为第三个残差组的输入；
322)构建用于保证前后景辐射一致性的辐射引导子模块，该子模块根据二值掩膜图对输入有云影像的无云区域和结构引导渐进式融合模块输出的重构图中对厚云遮挡区域的重建部分进行解耦，分别作为背景和前景，基于自适应实例归一化调整背景和前景的均值和标准差来确保辐射一致性；
322)构建用于保证前后景语义一致性的语义引导子模块，该子模块通过卷积组进一步提取辐射引导子模块的语义信息，卷积组由卷积核大小分别为7×7、5×5和3×3的卷积层堆叠而成，每个卷积层后接一个实例归一化层和一个Relu激活层。
所述训练渐进式双解耦的SAR辅助遥感影像厚云去除模型包括以下步骤：
41)将用于模型训练的合成数据集中成对的SAR影像和厚云遮挡的光学影像输入结构引导渐进式融合模块，获取初步恢复结构信息的去云输出；
411)进行浅层特征提取，获取SAR影像和光学影像的差异特征；浅层特征提取采用相同结构的不同分支，不同模态的输入均执行一次卷积核大小为3×3的卷积操作和一次通道自适应子模块的特征提取，加强通道维的信息交互；
通道自适应子模块的输入执行全局最大值池化和全局平局池化得到两个通道维的特征向量，分别送入一个共享权重的包含两层全连接层和Relu非线性激活操作的多层感知机，得到的最大值池化特征图和平均池化特征图逐像素相加后经过Sigmoid函数转化为归一化权重向量，将归一化权重向量和原输入进行逐通道相乘后，作为频域解耦子模块的输入；
412)将提取到的SAR和光学影像的浅层特征图分别输入频域解耦子模块，进行高低频信息分解后利用结构引导融合子模块进行高频结构信息引导的多模态信息融合；
4121)分别对SAR和光学影像的浅层特征图进行基于Haar小波基的二维离散小波变换，进行第一阶段频域解耦，得到空间分辨率为原图二分之一的水平、垂直和对角三个方向的高频子图，在通道维进行拼接后，作为第一阶段结构引导融合子模块的输入；
4122)通过两个1×1卷积操作分别提取光学影像第一阶段高频子图输入和SAR影像第一阶段高频子图输入的两个矩阵K键值,V值，进行第一阶段结构引导融合，其中提取到的SAR影像输入的矩阵Ksar转置后与Vsar相乘作为Qopt，引导厚云遮挡的光学影像基于空间结构的相似特征进行缺失信息补充，将Qopt与矩阵Vopt和Kopt进行自注意力计算得到结构引导融合子模块的融合结果，作为第四阶段频域重构子模块的高频输入；
4123)将第一阶段分解获得低频子图作为第二阶段频域解耦子模块的输入，进一步分解，高频子图拼接后进行第二阶段结构引导融合，输出作为第三阶段频域重构子模块的高频输入；
4124)将第二阶段分解获得低频子图作为第三阶段频域解耦子模块的输入，进一步分解后，高频子图拼接后进行第三阶段结构引导融合，输出作为第二阶段频域重构子模块的高频输入；
4125)将第三阶段分解获得低频子图作为第四阶段频域解耦子模块的输入，进一步分解后，高频子图拼接后进行第四阶段结构引导融合，输出作为第一阶段频域重构子模块的高频输入，光学影像的低频子图执行通道自适应操作，获得低频特征图，作为第一阶段频域重构子模块的低频输入；
413)将融合后的高频特征图和低频特征图作为输入，进行与解耦分支对称的重构操作；
4131)第一阶段频域重构子模块的输入由步骤4125)获得的低频特征图和步骤4124)获得的高频特征图组成，对高、低频特征图进行逆小波变换后，得到两倍上采样的第一阶段重构图，执行通道自适应操作后，获得低频特征图作为第二阶段频域重构子模块的低频输入；
4132)重复步骤4131)操作，逐步进行第二、三、四阶段频域重构操作后获得与输入相同空间分辨率、恢复结构信息的去云输出；
42)将结构引导渐进式融合模块获得的恢复结构信息的去云输出与厚云遮挡的光学影像进行残差连接后作为辐射引导校正模块的输入，获得恢复光谱信息的去云输出；
421)输入第一个残差组，经过四个残差块，每个残差块执行两次卷积核大小为3×3的卷积操作，第一次卷积后经过一次Relu非线性激活操作，第二次卷积后与该残差块输入进行跳跃连接后经过一次Relu非线性激活，获得输出；
422)第一个残差组的输出与辐射引导子模块进行交互，进行前后景辐射校正；辐射引导子模块利用输入的云掩膜提取原厚云遮挡光学影像无云区域作为后景，将恢复结构信息的去云输出补充的云遮挡区域作为前景，分别计算两个区域的均值与标准差，基于自适应实例归一化，保证修复的前景与背景辐射保持一致；
fimaging＝f*(σinput/σout)+(μinput-μout) (5)
其中，f表示第一个残差组的输出，σinput、σout分别表示输入光学影像和恢复结构信息的去云输出的标准差，μinput、μout分别表示二者均值，fimaging表示经过辐射校正的辐射引导子模块的输出，该输出与f相加后作为第二个残差组的输入；
423)第二个残差组的输出与语义引导子模块进行交互，进行前后景语义校正；语义引导子模块的输入为fimaging，输入依次执行一次卷积核大小为7×7、一次卷积核大小5×5和一次卷积核大小3×3的卷积操作，每次卷积后经过实例归一化和Relu非线性激活操作，获得语义引导子模块的输出，该输出与第二个残差组的输出拼接后作为第三个残差组的输入；
424)第三个残差组的输出即为恢复结构信息和光谱信息的云去除遥感影像；
43)使用L1损失函数lossL1和SSIM损失函数lossssim作为SAR辅助遥感影像厚云去除模型的损失函数，对云去除后的遥感影像与无云参考影像进行计算得到损失，通过损失值反向传播确定梯度向量；
L1损失函数表达式如下：
lossL1＝|y-f(x)|1 (6)
其中，y表示无云参考影像，x表示有云影像，f(x)表示云去除后的遥感影像；
SSIM损失函数表达式如下：
其中，x表示云去除后的遥感影像，y是无云参考影像，μx和μy分别表示均值，和表示标准差，σxy表示协方差，C1＝(k1L)2、C2＝(k2L)2是用来维持稳定的常数，L是像素值的动态范围，k1＝0.01，k2＝0.03；
44)按设定的训练轮数迭代训练多次，保存验证集去云效果最佳模型权重。
有益效果
本发明涉及一种渐进式双解耦的SAR辅助遥感影像厚云去除方法，针对现有SAR辅助遥感影像厚云去除方法未对多模态数据进行充分融合和恢复影像在结构和光谱信息保持上表现欠佳的问题，本发明提出结构引导渐进式融合模块，利用小波变换和模态交叉注意力机制充分融合SAR和光学影像结构信息，增强厚云遮挡影像纹理结构信息恢复。同时，为减少重建影像的光谱和语义信息的丢失，本发明提出辐射引导校正模块，利用云掩膜分离重建影像的前景和背景，以及基于自适应实例归一化的辐射一致性约束，细化厚云遮挡影像光谱信息恢复和语义一致性的保持，提高去云性能。
附图说明
图1为本发明的方法顺序图；
图2为本发明所涉及的SAR辅助遥感影像厚云去除模型整体结构图；
图3为本发明所涉及的SAR辅助遥感影像厚云去除模型网络结构图；
图4为本发明所涉及的通道自适应子模块CAB结构图；
图5为本发明所涉及的结构引导融合子模块SGF结构图；
图6为本发明所涉及的辐射引导子模块RGI结构图；
图7为本发明所涉及的残差组ResGroup和卷积组ConvGroup结构图；
图8为厚云去除结果图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的一种渐进式双解耦的SAR辅助遥感影像厚云去除方法，包括以下步骤：
第一步，获取厚云遮挡光学遥感影像、无云参考影像和SAR影像三元数据集：基于SEN12MS-CR数据集，构建考虑厚云遮挡率、下垫面类型及时相差异的数据集。具体步骤如下：
(1)基于灰度共生矩阵，分析SEN12MS-CR数据集无云影像的空间纹理结构特征，定量评价影像的复杂程度，即统计下垫面类型；
(2)利用云检测算法对SEN12MS-CR数据集中厚云遮挡光学遥感影像有云和无云区域进行分割，将云和云阴影区域像素值置为1，背景区域像素值置0，获得二值掩膜图，并统计厚云遮挡率；
(3)利用统计数据对SEN12MS-CR数据集中的成对数据集进行二级分组，先按纹理复杂度熵值范围分为5组，再对影像的复杂程度不同的5组数据按厚云遮挡率继续分组，得到共25个不同下垫面类型和云遮挡率的数据分组，每个分组提取400个样本，共10000个影像三元组数据子集，将子集按8:2划分为训练集和验证集；
(4)基于二值掩膜图、无云影像和有云影像合成用于模型训练的数据集；通过二值掩膜图提取有云影像受云污染的区域和对应无云影像的相对位置，通过逐像素替换的方式进行数据集合成，最终用于模型训练的合成数据集为由合成的厚云遮挡光学遥感影像、原数据集无云参考影像和原数据集SAR影像三元数据构成，共10000对，其中8000对作为训练集，2000对作为验证集。
第二步，构建渐进式双解耦的SAR辅助遥感影像厚云去除模型，如图2所示，该模型由用于增强厚云遮挡影像纹理结构信息恢复的结构引导渐进式融合模块和细化厚云遮挡影像光谱信息恢复的辐射引导校正模块两大模块组成，构建各模块的具体步骤如下：
(1)如图3所示，结构引导渐进式融合模块结合U型结构和小波变换进行构建，可分为频域解耦子模块DWT、通道自适应子模块CAB、结构引导融合子模块SGF和频域重构子模块IDWT四部分，构建各子模块的具体步骤如下：
(1-1)频域解耦子模块DWT采用基于Haar小波基的二维离散小波变换对影像进行高频和低频信息分解，通过四阶段小波变换，获得不同空间分辨率的多组高频子图和低频子图，除第一阶段小波变换外，各阶段仅对低频子图进一步分解，高频子图作为道自适应子模块的输入；
(1-2)如图4所示，用于增强输入通道可扩展性的通道自适应子模块CAB，使用MaxPool和AvgPool池化分别对输入进行压缩，构建全连接层FC进行激励操作获得最大值池化特征图和平均池化特征图，特征图逐像素相加后经过Sigmoid函数转化为归一化权重向量，将归一化权重向量和原输入进行逐通道相乘，获得通道自适应输出，为充分提取影像通道维间的交互信息，模型多次使用通道自适应子模块进行特征提取；
(1-3)如图5所示，结构引导融合子模块SGF为双层交叉注意力机制，用于增强两个模态数据高频信息间的深度融合，用两个1×1卷积核分别提取光学影像输入和SAR影像输入的两个矩阵K键值,V值，其中提取到的SAR影像输入的矩阵Ksar转置与Vsar相乘，相乘结果作为矩阵Qopt，与矩阵Kopt和Vopt再次进行自注意力计算得到结构引导融合子模块的融合结果；
(1-4)如图3所示，频域重构子模块IDWT采用与解耦模块的对称结构，用于频域重建的低频输入先通过CAB增强通道间信息交互，高频输入来自深度融合的SGF，经过四阶段IDWT即可获得恢复空间分辨率和结构信息的去云输出。
(2)如图3所示，辐射引导校正模块RGC由两大分支组成，残差分支由于增强光谱信息的提取，引导分支由辐射引导子模块RGI和语义引导子模块串联构成，构建各分支的具体步骤如下：
(2-1)残差分支共有三个残差组，每个残差残差组由四个残差块堆叠而成，残差组的输出通过与引导分支的交互，获得信息补充，如图7所示，残差块堆叠两层卷积核大小为3×3的卷积层，第一个卷积层后接Relu激活层，第二个卷积层先进行残差连接后接Relu激活层；
(2-2)如图6所示，辐射引导子模块RGI基于自适应实例归一化操作，利用Mask对输入有云影像Xinput的无云区域和结构引导渐进式融合模块输出Xout的重构图中对厚云遮挡区域的重建部分进行解耦，计算均值和标准差对来自残差分支第一个残差组的输入f进行引导校正；
(2-3)如图7所示，语义引导子模块由ConvGroup组成，该子模块对RGI输出的校正后数据进行卷积，提取语义特征，对残差分支第二个残差组的输出进行语义约束，ConvGroup由卷积核大小分别为7×7、5×5和3×3的卷积层堆叠而成，每个卷积层后接一个实例归一化层和一个Relu激活层。
第三步，训练渐进式双解耦的SAR辅助遥感影像厚云去除模型，将获取的厚云遮挡光学遥感影像和SAR影像数据作为输入，以无云参考影像作为参考对模型进行监督训练，迭代训练多次，获取最佳模型权重，具体步骤如下：
(1)将成对的三元组数据输入去云模型，执行浅层特征提取，为保证SAR影像和光学影像的差异特征的提取，两种模态的数据进行不同分支，分别执行一次卷积核大小为3×3的卷积操作和一次通道自适应的特征提取；
(2)分别对光学浅层特征图和SAR浅层特征图进行四阶段频域解耦并利用每阶段分解所得的高频结构信息引导多模态数据融合；
(2-1)第一阶段频域分解对浅层特征图进行分解，对空间分辨率为原图二分之一高频子图进行融合；
(2-1-1)分别对SAR和光学影像的浅层特征图进行第一阶段频域解耦得到的水平、垂直和对角三个方向的高频子图，在通道维进行拼接后输入第一阶段引导融合子模块；
(2-1-2)通过两个1×1卷积操作分别提取矩阵Ksar、Vsar、Qopt和Vopt，其中提取到的SAR影像输入的矩阵Ksar转置后与Vsar相乘作为Qopt，引导厚云遮挡的光学影像基于空间结构的相似特征进行缺失信息补充，将Qopt与矩阵Vopt和Kopt再次进行自注意力计算得到结构引导融合子模块的融合结果作为第四阶段频域重构子模块的高频输入；
(2-2)第二阶段频域分解对第一阶段的低频子图进行分解，对空间分辨率为原图四分之一高频子图进行融合；
(2-2-1)分别对SAR和光学影像的第一阶段低频子图进行进一步分解，水平、垂直和对角三个方向的高频子图，在通道维进行拼接后输入第二阶段引导融合子模块；
(2-2-2)采用步骤(2-1-2)的融合操作，第二阶段引导融合子模块的融合结果作为第三阶段频域重构子模块的高频输入；
(2-3)第二阶段频域分解对第一阶段的低频子图进行分解，对空间分辨率为原图八分之一高频子图进行融合；
(2-3-1)分别对SAR和光学影像的第二阶段低频子图进行进一步分解，水平、垂直和对角三个方向的高频子图，在通道维进行拼接后输入第三阶段引导融合子模块；
(2-3-2)采用步骤(2-1-2)的融合操作，第三阶段引导融合子模块的融合结果作为第二阶段频域重构子模块的高频输入；
(2-4)第四阶段频域分解对第三阶段的低频子图进行分解，对空间分辨率为原图十六分之一高频子图进行融合；
(2-4-1)分别对SAR和光学影像的第三阶段低频子图进行进一步分解，水平、垂直和对角三个方向的高频子图，在通道维进行拼接后输入第四阶段引导融合子模块，光学影像的低频子图执行通道自适应操作，获得低频特征图，作为第一阶段频域重构子模块的低频输入；
(2-4-2)采用步骤(2-1-2)的融合操作，第二阶段引导融合子模块的融合结果作为第一阶段频域重构子模块的高频输入；
(3)将融合后的高频特征图和低频特征图作为输入，进行与解耦分支对称的四阶段重构操作；
(3-1)第一阶段频域重构子模块的输入由步骤(2-4-1)获得的低频特征图和步骤(2-4-2)获得的高频特征图组成，对高、低频特征图进行逆小波变换后，得到两倍上采样的第一阶段重构图，执行通道自适应操作后，获得低频特征图作为第二阶段频域重构子模块的低频输入；
(3-2)重复步骤(3-1)操作，逐步进行第二、三、四阶段频域重构，获得与输入相同空间分辨率、初步恢复结构信息的去云输出；
(4)将初步恢复结构信息的去云输出进行光谱一致性和语义一致性约束辐射引导校正操作；
(4-1)第一个残差组的输出与辐射引导子模块进行交互，进行前后景辐射校正；
(4-1-1)第一个残差组的输入经过四个残差块，每个残差块执行两次卷积核大小为3×3的卷积操作，第一次卷积后经过一次Relu非线性激活操作，第二次卷积后与该残差块输入进行跳跃连接后经过一次Relu非线性激活，获得输出；
(4-1-2)第一个残差组的输出与辐射引导子模块根据自适应实例归一化方法计算输入的云掩膜提取原厚云遮挡光学影像无云区域、恢复结构信息的去云输出补充的云遮挡区域两个区域的均值与标准差，交互引导，保持辐射信息的准确恢复，校正后输出与原输出逐像素相加作为第二个残差组的输入；
(4-2)第二个残差组的输出与语义引导子模块进行交互，进行前后景语义校正；
(4-2-1)第二个残差组的输入经过四个残差块，每个残差块执行两次卷积核大小为3×3的卷积操作，第一次卷积后经过一次Relu非线性激活操作，第二次卷积后与该残差块输入进行跳跃连接后经过一次Relu非线性激活，获得输出；
(4-2-2)第二个残差组的输出与语义引导子模块进行交互，语义引导子模块的输入依次执行一次卷积核大小为7×7、一次卷积核大小5×5和一次卷积核大小3×3的卷积操作，每次卷积后经过实例归一化和Relu非线性激活操作，获得语义引导子模块的输出，该输出与第二个残差组的输出拼接后作为第三个残差组的输入；
(4-3)第三个残差组的输入经过四个残差块，每个残差块执行两次卷积核大小为3×3的卷积操作，第一次卷积后经过一次Relu非线性激活操作，第二次卷积后与该残差块输入进行跳跃连接后经过一次Relu非线性激活，输出即为恢复结构信息和光谱信息的云去除遥感影像；
(5)使用L1损失函数和SSIM损失函数作为SAR辅助遥感影像厚云去除模型的损失函数，对云去除后的遥感影像与无云参考影像进行计算得到损失；
(6)多次迭代计算后，保存在验证集上获得最优去云表现的模型参数。
第四步，待厚云去除的厚云遮挡的光学遥感影像及对应SAR影像数据的获得及预处理。
第五步，将待厚云去除的厚云遮挡的光学遥感影像及对应SAR影像数据输入去云网络进行厚云去除处理，得到去云结果，如图8所示，我们的方法能够很好地修复厚云遮挡的光学遥感影像，基本实现了结构和光谱信息的恢复。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (4)
1.一种渐进式双解耦的SAR辅助遥感影像厚云去除方法，其特征在于，包括以下步骤：
11)获取厚云遮挡光学遥感影像、无云参考影像和SAR影像三元数据集：基于光学遥感影像数据集SEN12MS-CR，综合考虑厚云遮挡率、下垫面类型及有云影像与参考影像间的时相差异，进行数据集构建；
12)构建渐进式双解耦的SAR辅助遥感影像厚云去除模型：该模型由增强厚云遮挡影像结构信息恢复的多模态数据渐进式融合模块和细化厚云遮挡影像光谱信息恢复的辐射引导校正模块组成；
13)训练渐进式双解耦的SAR辅助遥感影像厚云去除模型：将获取的厚云遮挡光学遥感影像和SAR影像数据作为输入，以无云参考影像作为参考对模型进行监督训练，迭代训练多次，保存最佳模型权重用于厚云去除结果验证；
14)待厚云去除的厚云遮挡光学遥感影像及对应SAR影像数据的获得及预处理；
15)光学遥感影像厚云去除结果的获得：将成对的厚云遮挡光学遥感影像和SAR影像数据输入到渐进式双解耦的SAR辅助遥感影像厚云去除模型，得到云去除后的光学影像。
2.根据权利要求1所述的渐进式双解耦的SAR辅助遥感影像厚云去除方法，其特征在于，所述获取厚云遮挡光学遥感影像、无云参考影像和SAR影像三元数据集包括以下步骤：
21)基于具有全球数据的光学遥感影像数据集SEN12MS-CR构建数据集；
211)SEN12MS-CR数据集由169个均匀分布在各大洲和气象季节的非重叠区域组成，所有区域的平均地面覆盖面积为52×40平方千米，对应5200×4000像素的完整场景图像，进行256×256像素、步长为128像素的裁切后，平均每个场景获得700个图像块，不仅数据量大，还涵盖多种地物覆盖类型；
212)SEN12MS-CR数据集包含经过校正和地理配准后成对的哨兵1号SAR影像、哨兵2号无云影像和哨兵2号有云影像，其中作为参考的无云图像为可获得最接近有云影像采集时间的清晰影像，经人工筛选后所得；
213)哨兵2号光学影像数据包含13个波段，所有波段被截断值[0,10000]，并归一化到[0,1]之间，哨兵1号SAR影像的VV和VH偏振图像分别被切割成值[-25,0]和[-32.5,0]，并缩放到范围[0,1]；
22)综合考虑厚云遮挡率、下垫面类型及有云影像与参考影像间的时相差异，从SEN12MS-CR数据集中筛选数据，构建用于网络训练的子集；
221)获取哨兵2号有云影像的厚云遮挡率；
基于云检测算法，对有云影像进行逐像素分类，区分云和云阴影覆盖区域和无云背景区域，将云和云阴影区域像素值置为1，背景区域像素值置0，即可获得用于计算厚云遮挡率的二值掩膜图；
其中，ri表示第i个影像的厚云遮挡率，mi表示第i个影像的二值掩膜图，sum(mi)表示统计二值掩膜图中值为1的像元个数，Mi、Ni表示第i个影像的大小，二者乘积即为影像像元总个数；
222)获取哨兵2号无云影像的下垫面类型；
基于灰度共生矩阵，分析无云影像的空间纹理结构特征，通过计算影像中有一定距离和方向的两点灰度之间的相关性，反映影像在方向、间隔、变化幅度及快慢的综合信息，定量评价影像的复杂程度；
其中，(x,y)表示大小为(Nx,Ny)的影像中像元的坐标，i表示该像元的灰度值，P(i,j,dθ,)表示统计该像元与距离为d、方向为θ、灰度为j的像元(x+Δx,y+Δy)同时出现的概率；
其中，Et表示根据灰度共生矩阵Pt(i,j,d,θ)计算所得的第t个影像的纹理复杂度熵值，纹理复杂度熵值越大表示影像的纹理越复杂；
将数据集所有无云影像的纹理复杂度熵值归一化后，将其分为复杂度不同的5个子集Y＝{Y1,Y2,Y3,Y4,Y5}，纹理复杂度熵值范围分别为{0,0.2}、{0.2,0.4}、{0.4,0.6}、{0.6,0.8}、{0.8,1}；
223)基于221)和222)获得的统计数据，合成考虑时间差异对地物覆盖类型变化影像的SEN12MS-CR数据集子集作为训练渐进式双解耦的SAR辅助遥感影像厚云去除模型的数据集；
从5组纹理复杂度不同的子集中根据厚云遮挡率分组选择样本影像三元组，厚云遮挡率也按{0,0.2}、{0.2,0.4}、{0.4,0.6}、{0.6,0.8}、{0.8,1}范围分为5组，共25个不同复杂度和厚云遮挡率分组，每个分组提取400个样本，共10000个影像三元组数据子集，将子集按8:2划分为训练集和验证集；
基于二值掩膜图、无云影像和有云影像合成用于模型训练的数据集；通过二值掩膜图提取有云影像受云污染的区域和对应无云影像的相对位置，通过逐像素替换的方式进行数据集合成；
Xcloudy＝XeM+Ye(1-M) (4)
其中，Xcloudy表示合成的有云影像，M表示二值掩膜图，X表示原数据集中的有云影像，Y表示原数据集中的无云影像，e表示哈达玛内积，即逐像素相乘；
23)最终用于模型训练的合成数据集为由合成的厚云遮挡光学遥感影像、原数据集无云参考影像和原数据集SAR影像三元数据构成，共10000对，其中8000对作为训练集，2000对作为验证集。
3.根据权利要求1所述的一种渐进式双解耦的SAR辅助遥感影像厚云去除方法，其特征在于，所述构建渐进式双解耦的SAR辅助遥感影像厚云去除模型包括以下步骤：
31)基于U型结构和小波变换构建用于增强厚云遮挡影像纹理结构信息恢复结构引导渐进式融合模块；
311)构建用于分离影像频域信息的频域解耦子模块，采用小波变换对影像进行高频和低频信息分解，获得相当于原始输入两倍下采样的水平、垂直和对角三个方向的高频子图和一个低频子图，其中低频子图作为下一阶段频域解耦子模块的输入，再次进行频域分解，三个方向的高频子图作为通道自适应子模块的输入；
312)构建用于增强输入通道可扩展性的通道自适应子模块，该子模块基于通道注意力机制网络结构，由压缩、激励和扩张三阶段组成，使用全局平均池化和全局最大值池化分别对输入进行压缩，激励阶段由2个全连接层，第一个全连接层后接Relu激活函数，第二个全连接层输出的最大值池化特征图和平均池化特征图逐像素相加后经过Sigmoid函数转化为归一化权重向量，在扩张阶段将归一化权重向量和原输入进行逐通道相乘，获得通道自适应输出，作为结构引导融合子模块的输入；
313)构建用于融合光学影像和SAR影像结构信息的结构引导融合子模块，该子模块由双层交叉注意力机制组成，用两个1×1卷积核分别提取光学影像输入和SAR影像输入的两个矩阵K键值,V值，其中提取到的SAR影像输入的矩阵Ksar转置与Vsar相乘，相乘结果作为矩阵Qopt，与矩阵Kopt和Vopt进行自注意力计算得到结构引导融合子模块的融合结果，作为频域重构子模块的输入；
314)构建用于恢复影像高低频信息和尺度信息的频域重构子模块，通过小波逆变换将最后一阶段频域解耦子模块的低频子图和结构引导融合子模块输出高频子图进行频域重构，恢复频域信息和空间分辨率，重构特征图经过通道自适应子模块后作为下一阶段重构的低频信息输入，经过四阶段重构后获得与输入相同空间分辨率、恢复结构信息的去云输出；
32)构建用于细化厚云遮挡影像光谱信息恢复的辐射引导校正模块；
321)构建用于增强光谱信息提取的残差分支，该分支由三个残差组组成，每个残差组由四个残差块堆叠而成，第一个残差组的输出由辐射引导子模块进行辐射一致性约束后与原输出拼接作为下一个残差组的输入，第二个残差组的输出由语义引导子模块进行语义一致性约束后作为第三个残差组的输入；
322)构建用于保证前后景辐射一致性的辐射引导子模块，该子模块根据二值掩膜图对输入有云影像的无云区域和结构引导渐进式融合模块输出的重构图中对厚云遮挡区域的重建部分进行解耦，分别作为背景和前景，基于自适应实例归一化调整背景和前景的均值和标准差来确保辐射一致性；
322)构建用于保证前后景语义一致性的语义引导子模块，该子模块通过卷积组进一步提取辐射引导子模块的语义信息，卷积组由卷积核大小分别为7×7、5×5和3×3的卷积层堆叠而成，每个卷积层后接一个实例归一化层和一个Relu激活层。
4.根据权利要求1所述的一种渐进式双解耦的SAR辅助遥感影像厚云去除方法，其特征在于，训练渐进式双解耦的SAR辅助遥感影像厚云去除模型包括以下步骤：
41)将用于模型训练的合成数据集中成对的SAR影像和厚云遮挡的光学影像输入结构引导渐进式融合模块，获取初步恢复结构信息的去云输出；
411)进行浅层特征提取，获取SAR影像和光学影像的差异特征；浅层特征提取采用相同结构的不同分支，不同模态的输入均执行一次卷积核大小为3×3的卷积操作和一次通道自适应子模块的特征提取，加强通道维的信息交互；
通道自适应子模块的输入执行全局最大值池化和全局平局池化得到两个通道维的特征向量，分别送入一个共享权重的包含两层全连接层和Relu非线性激活操作的多层感知机，得到的最大值池化特征图和平均池化特征图逐像素相加后经过Sigmoid函数转化为归一化权重向量，将归一化权重向量和原输入进行逐通道相乘后，作为频域解耦子模块的输入；
412)将提取到的SAR和光学影像的浅层特征图分别输入频域解耦子模块，进行高低频信息分解后利用结构引导融合子模块进行高频结构信息引导的多模态信息融合；
4121)分别对SAR和光学影像的浅层特征图进行基于Haar小波基的二维离散小波变换，进行第一阶段频域解耦，得到空间分辨率为原图二分之一的水平、垂直和对角三个方向的高频子图，在通道维进行拼接后，作为第一阶段结构引导融合子模块的输入；
4122)通过两个1×1卷积操作分别提取光学影像第一阶段高频子图输入和SAR影像第一阶段高频子图输入的两个矩阵K键值,V值，进行第一阶段结构引导融合，其中提取到的SAR影像输入的矩阵Ksar转置后与Vsar相乘作为Qopt，引导厚云遮挡的光学影像基于空间结构的相似性进行缺失信息补充，将Qopt与矩阵Vopt和Kopt进行自注意力计算得到结构引导融合子模块的融合结果，作为第四阶段频域重构子模块的高频输入；
4123)将第一阶段分解获得低频子图作为第二阶段频域解耦子模块的输入，进一步分解，高频子图拼接后进行第二阶段结构引导融合，输出作为第三阶段频域重构子模块的高频输入；
4124)将第二阶段分解获得低频子图作为第三阶段频域解耦子模块的输入，进一步分解后，高频子图拼接后进行第三阶段结构引导融合，输出作为第二阶段频域重构子模块的高频输入；
4125)将第三阶段分解获得低频子图作为第四阶段频域解耦子模块的输入，进一步分解后，高频子图拼接后进行第四阶段结构引导融合，输出作为第一阶段频域重构子模块的高频输入，光学影像的低频子图执行通道自适应操作，获得低频特征图，作为第一阶段频域重构子模块的低频输入；
413)将融合后的高频特征图和低频特征图作为输入，进行与解耦分支对称的重构操作；
4131)第一阶段频域重构子模块的输入由步骤4125)获得的低频特征图和步骤4124)获得的高频特征图组成，对高、低频特征图进行逆小波变换后，得到两倍上采样的第一阶段重构图，执行通道自适应操作后，获得低频特征图作为第二阶段频域重构子模块的低频输入；
4132)重复步骤4131)操作，逐步进行第二、三、四阶段频域重构操作后获得与输入相同空间分辨率、恢复结构信息的去云输出；
42)将结构引导渐进式融合模块获得的恢复结构信息的去云输出与厚云遮挡的光学影像进行残差连接后作为辐射引导校正模块的输入，获得恢复光谱信息的去云输出；
421)输入第一个残差组，经过四个残差块，每个残差块执行两次卷积核大小为3×3的卷积操作，第一次卷积后经过一次Relu非线性激活操作，第二次卷积后与该残差块输入进行跳跃连接后经过一次Relu非线性激活，获得输出；
422)第一个残差组的输出与辐射引导子模块进行交互，进行前后景辐射校正；辐射引导子模块利用输入的云掩膜提取原厚云遮挡光学影像无云区域作为后景，将恢复结构信息的去云输出补充的云遮挡区域作为前景，分别计算两个区域的均值与标准差，基于自适应实例归一化，保证修复的前景与背景辐射保持一致；
fimaging＝f*(σinput/σout)+(μinput-μout) (5)
其中，f表示第一个残差组的输出，σinput、σout分别表示输入光学影像和恢复结构信息的去云输出的标准差，μinput、μout分别表示二者均值，fimaging表示经过辐射校正的辐射引导子模块的输出，该输出与f相加后作为第二个残差组的输入；
423)第二个残差组的输出与语义引导子模块进行交互，进行前后景语义校正；语义引导子模块的输入为fimaging，输入依次执行一次卷积核大小为7×7、一次卷积核大小5×5和一次卷积核大小3×3的卷积操作，每次卷积后经过实例归一化和Relu非线性激活操作，获得语义引导子模块的输出，该输出与第二个残差组的输出拼接后作为第三个残差组的输入；
424)第三个残差组的输出即为恢复结构信息和光谱信息的云去除遥感影像；
43)使用L1损失函数lossL1和SSIM损失函数lossssim作为SAR辅助遥感影像厚云去除模型的损失函数，对云去除后的遥感影像与无云参考影像进行计算得到损失，通过损失值反向传播确定梯度向量；
L1损失函数表达式如下：
lossL1＝|y-f(x)|1 (6)
其中，y表示无云参考影像，x表示有云影像，f(x)表示云去除后的遥感影像；
SSIM损失函数表达式如下：
其中，x表示云去除后的遥感影像，y是无云参考影像，μx和μy分别表示均值，和/>表示标准差，σxy表示协方差，C1＝(k1L)2、C2＝(k2L)2是用来维持稳定的常数，L是像素值的动态范围，k1＝0.01，k2＝0.03；
44)按设定的训练轮数迭代训练多次，保存验证集去云效果最佳模型权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311704091.2A CN117689579B (zh) | 2023-12-12 | 2023-12-12 | 一种渐进式双解耦的sar辅助遥感影像厚云去除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311704091.2A CN117689579B (zh) | 2023-12-12 | 2023-12-12 | 一种渐进式双解耦的sar辅助遥感影像厚云去除方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117689579A CN117689579A (zh) | 2024-03-12 |
| CN117689579B true CN117689579B (zh) | 2024-05-03 |
Family
ID=90131514
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311704091.2A Active CN117689579B (zh) | 2023-12-12 | 2023-12-12 | 一种渐进式双解耦的sar辅助遥感影像厚云去除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117689579B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021184891A1 (zh) * | 2020-03-20 | 2021-09-23 | 中国科学院深圳先进技术研究院 | 遥感影像地物分类方法及系统 |
| CN116309150A (zh) * | 2023-03-14 | 2023-06-23 | 中国科学院空天信息创新研究院 | 一种sar辅助下光学遥感影像修复方法 |
| CN116739920A (zh) * | 2023-05-22 | 2023-09-12 | 武汉大学 | 双解耦互校正多时相遥感影像缺失信息重建方法及系统 |
-
2023
- 2023-12-12 CN CN202311704091.2A patent/CN117689579B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021184891A1 (zh) * | 2020-03-20 | 2021-09-23 | 中国科学院深圳先进技术研究院 | 遥感影像地物分类方法及系统 |
| CN116309150A (zh) * | 2023-03-14 | 2023-06-23 | 中国科学院空天信息创新研究院 | 一种sar辅助下光学遥感影像修复方法 |
| CN116739920A (zh) * | 2023-05-22 | 2023-09-12 | 武汉大学 | 双解耦互校正多时相遥感影像缺失信息重建方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117689579A (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| Gong et al. | A low-rank tensor dictionary learning method for hyperspectral image denoising | |
| CN109636742B (zh) | 基于对抗生成网络的sar图像和可见光图像的模式转换方法 | |
| CN112016507B (zh) | 基于超分辨率的车辆检测方法、装置、设备及存储介质 | |
| Li et al. | Complex contourlet-CNN for polarimetric SAR image classification | |
| CN111260576A (zh) | 一种基于去噪三维卷积自编码网络的高光谱解混算法 | |
| Tu et al. | SWCGAN: Generative adversarial network combining swin transformer and CNN for remote sensing image super-resolution | |
| CN110084181B (zh) | 一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法 | |
| Zhang et al. | Efficiently utilizing complex-valued PolSAR image data via a multi-task deep learning framework | |
| Liu et al. | Spatial and transform domain CNN for SAR image despeckling | |
| CN112766223A (zh) | 基于样本挖掘与背景重构的高光谱图像目标检测方法 | |
| CN114529830A (zh) | 基于混合卷积网络遥感图像时空融合方法 | |
| CN115358922A (zh) | 一种基于生成对抗网络的太赫兹图像超分辨率重建方法 | |
| Karine et al. | A novel statistical model for content-based stereo image retrieval in the complex wavelet domain | |
| CN113421198A (zh) | 一种基于子空间的非局部低秩张量分解的高光谱图像去噪方法 | |
| Long et al. | Dual self-attention Swin transformer for hyperspectral image super-resolution | |
| Wen et al. | The power of complementary regularizers: Image recovery via transform learning and low-rank modeling | |
| CN111539434B (zh) | 基于相似度的红外弱小目标检测方法 | |
| CN117689579B (zh) | 一种渐进式双解耦的sar辅助遥感影像厚云去除方法 | |
| CN116612010A (zh) | 基于光谱相关信息和空间高低频信息的超分辨率图像重建方法 | |
| Zhang et al. | A generative adversarial network with dual discriminators for infrared and visible image fusion based on saliency detection | |
| CN115601260A (zh) | 一种神经网络和优化模型联合驱动的高光谱图像复原方法 | |
| CN114973012A (zh) | 一种中低分辨率遥感数据的耕地识别方法及系统 | |
| CN114549300A (zh) | 图像字典的生成方法、图像重建方法及相关装置 | |
| CN113554671A (zh) | 基于轮廓增强的sar图像到可见光图像的转换方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |