CN117830875A - 一种基于时空鲁棒表征提取的遥感变化检测方法 - Google Patents
一种基于时空鲁棒表征提取的遥感变化检测方法 Download PDFInfo
- Publication number
- CN117830875A CN117830875A CN202410246401.9A CN202410246401A CN117830875A CN 117830875 A CN117830875 A CN 117830875A CN 202410246401 A CN202410246401 A CN 202410246401A CN 117830875 A CN117830875 A CN 117830875A
- Authority
- CN
- China
- Prior art keywords
- layer
- time
- scale
- feature
- alignment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 title claims abstract description 55
- 238000000605 extraction Methods 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 51
- 239000013598 vector Substances 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 238000012512 characterization method Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 239000011541 reaction mixture Substances 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000007792 addition Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 101100136092 Drosophila melanogaster peng gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于时空鲁棒表征提取的遥感变化检测方法，属于计算机视觉遥感变化检测技术领域，包括如下步骤：步骤1、基于多尺度特征编码网络提取对齐后的时空鲁棒表征；步骤2、利用对齐后的时空鲁棒表征进行变化图预测；步骤3、利用原分辨率双时图像来对变化图的细节进行修复，得到最终的遥感变化图。本发明在避免特征混淆的情况下利用全局的时空信息，高效的预测变化图，更有效的提升变化图的细节。
Description
技术领域
本发明属于计算机视觉遥感变化检测技术领域，具体涉及一种基于时空鲁棒表征提取的遥感变化检测方法。
背景技术
基于深度学习的遥感变化检测技术近年来取得了突破性进展。这些方法大体分为两类，一类是基于卷积神经网络CNN的方法，另一类是基于Transformer的方法。诸如Peng等人于2018年提出的利用改进的UNet++对高分辨率卫星图像进行端到端变化检测的方法是一种基于CNN的方法，该方法将双时图像输入到CNN中进行特征提取，并依据提取的特征来计算变化图。这类方法难以利用到全局的时空上下文信息，因此具有较差的精度。Transformer是一个利用注意力机制来提高模型训练速度的模型，而Chen等人于2022年提出的变压器遥感图像变化检测方法就是一种基于Transformer的方法。这类方法利用Transformer聚合了全局的时空上下文信息。该做法一方面具有较高的复杂度，推理速度十分缓慢；另一方面，当不同的地物类型呈现相似特征时，利用Transformer中的自注意力机制会对这些相似特征赋予更高的权重，进而导致不同地物类型之间的特征混淆。
发明内容
为了解决上述问题，本发明提出了一种基于时空鲁棒表征提取的遥感变化检测方法，包括时空鲁棒表征提取、变化图预测以及细节优化三个过程，利用整个数据集的全局场景信息，直接提取可能发生变化的地物类型的时空鲁棒表征，有效的避免了特征混淆问题，并且能够实现高精度且高效的变化检测。
本发明的技术方案如下：
一种基于时空鲁棒表征提取的遥感变化检测方法，包括如下步骤：
步骤1、基于多尺度特征编码网络提取对齐后的时空鲁棒表征；
步骤2、利用对齐后的时空鲁棒表征进行变化图预测；
步骤3、利用原分辨率双时图像来对变化图的细节进行修复，得到最终的遥感变化图。
进一步地，所述步骤1的具体过程为：
步骤1.1、通过遥感卫星拍摄两个时刻下的图像，将两个时刻下的图像分别定义为时刻0图像和时刻1图像，时刻0图像和时刻1图像合称双时图像；
步骤1.2、将两个时刻下的图像同时输入到多尺度特征编码网络中，多尺度特征编码网络包括多尺度特征提取阶段和多尺度特征融合阶段；提取阶段提取两个时刻下的多尺度特征，两个时刻下的多尺度特征合称双时特征；
多尺度特征提取阶段的具体过程为：将双时图像输入到残差网络中，选取残差网络最后一层输出的尺度特征图/>，以及中间层输出的/>尺度特征图/>和/>尺度特征图；将三个尺度的特征图组合成一个集合构成特征金字塔；其中/>；当/>时，为时刻0图像；当/>时，为时刻1图像；
多尺度特征融合阶段的公式为：
（1）；
其中，代表融合后的特征图，/>代表特征通道数，/>和分别为输入图像的高和宽，/>为特征图的尺度；操作/>代表一层卷积核大小为/>且步长为1的卷积层，加上一个批归一化操作；/>为融合特征的中间结果，计算公式如下：
（2）；
其中，表示一层卷积核大小为/>且步长为1的卷积层；/>为第/>个尺度的特征图；/>为第/>个尺度融合后的特征图；/>代表双线性插值上采样；
步骤1.3、创建一组可学习的嵌入向量，在训练过程中捕捉到整个数据集的全局时空鲁棒表征；/>代表鲁棒表征的数量；根据损失函数/>计算关于全局时空鲁棒表征的梯度/>，并利用神经网络框架pytorch中的SGD优化器根据梯度来对/>进行更新；SGD为随机梯度下降；
步骤1.4、利用融合后的多尺度特征来指导全局时空鲁棒表征向当前场景对齐，得到对齐后的时空鲁棒表征。
进一步地，所述步骤1.4的具体过程为：
步骤1.4.1、首先通过向量化的方式将转变为一个序列/>，其中/>表示向量的数量；/>为第/>个尺度的特征转变为序列中的第/>个向量；
然后将傅里叶位置编码添加到序列中，表示为：
（3）；
其中，为添加位置编码后的向量序列；/>，代表傅里叶位置编码；
按照公式（3）得到时刻0时第个尺度的添加位置编码后的向量序列/>和时刻1时第/>个尺度的添加位置编码后的向量序列/>；
最后将、/>两个向量序列进行连接，如公式（4）：
（4）；
其中，为连接后的第/>个尺度的向量序列；/>为沿通道维度连接；
步骤1.4.2、利用对齐网络将当前场景的双时特征中的信息聚合到全局鲁棒表征中；对齐网络包含层，每层包含3个对齐块；对齐网络的计算过程如公式（5）：
（5）；
其中，为第/>层第/>个对齐块的中间结果；/>代表多头交叉注意力函数；为连接后的第/>个尺度的向量序列，在公式（5）中满足/>，即每个对齐块中的MCA负责处理其对应尺度的向量序列；/>代表第/>层第/>个对齐块的输入；/>表示第/>层第/>个对齐块的输出结果，对应第/>层第/>个对齐块的输入；/>表示层归一化；/>表示多层感知机，由两个线性变换层组成，中间有一个ReLU激活函数；在每个对齐网络第/>层中，将第/>层第3个对齐块的输出结果/>作为第/>层的输入，最终通过三个对齐块计算得到第层对齐网络的输出，第/>层对齐网络的输出为第/>层第3个对齐块的输出结果/>或者第/>层第1个对齐块的输入/>；最后一层对齐网络输出的结果便是对齐后的时空鲁棒表征，记作/>。
进一步地，所述步骤2的具体过程为：
步骤2.1、使用对齐后的时空鲁棒表征来对最高尺度的双时特征分类，如公式（6）：
（6）；
其中，表示时刻/>的分类结果，/>表示softmax函数，/>表示矩阵转置操作；
步骤2.2、将分类结果输入到变化图预测网络中，得到粗糙预测值；
将双时特征的分类结果上采样到原尺度得到，/>为上采样到原尺度的时刻0的特征分类结果，/>为上采样到原尺度的时刻1的特征分类结果；然后将沿着类别维度连接，然后输入到预测头中，如公式（7）：
（7）；
其中，表示粗糙预测值，/>表示由两层卷积核为/>的卷积层组成的预测头，中间加有批归一化和ReLU激活函数。
进一步地，所述步骤3的具体过程为：
步骤3.1、将粗糙预测值以及原分辨率的双时图像拼接，输入到一个卷积层中，将特征通道数从2扩展到32；然后将32通道的特征图输入到6个卷积块中进行特征融合；每个卷积块包含两组固定结构，并且在卷积块的输入与最后一层批归一化之间添加残差连接；
每组固定结构均包括卷积层、批归一化和LeakyReLU激活函数；特征图依次通过每个卷积块中的固定结构，来对特征进行融合；最后利用一层卷积将融合后的特征图的特征通道从32变为2通道的预测值，此时的预测值即为融合后的预测值；
步骤3.2、利用argmax函数将融合后的预测值转换为最终的遥感变化图。
本发明所带来的有益技术效果：利用整个场景的信息直接提取到可能发生变化的地物类型的时空鲁棒表征，避免了对双时特征进行特征融合，进而避免了特征混淆；利用时空鲁棒表征可以高效的预测变化图；所提出的细节优化网络可以在引入少量复杂度的情况下大幅提升变化图的精度。本发明在避免特征混淆的情况下利用全局的时空信息，高效的预测变化图，更有效的提升变化图的细节。
附图说明
图1为本发明基于时空鲁棒表征提取的遥感变化检测方法的流程图。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明：
本发明提出的一种基于时空鲁棒表征提取的遥感变化检测方法，包括三个基本过程，分别为：时空鲁棒表征提取过程、变化图预测过程和细节优化过程。时空鲁棒表征提取过程由本发明所设计的鲁棒表征生成网络构成，通过结合整个场景的全局信息以及当前场景的局部信息来提取可能发生变化的地物类型的时空鲁棒表征，提升了对时空不一致的鲁棒性，并避免了特征混淆。变化图预测过程利用提取的时空鲁棒表征对当前场景双时特征分类，并依赖于分类结果来预测变化图，提升模型推理的效率。细节优化过程利用原分辨率双时图像的细节信息来修复变化图的细节，用较少的复杂度大幅提升变化图的精度。
如图1所示，一种基于时空鲁棒表征提取的遥感变化检测方法，包括如下步骤：
步骤1、基于多尺度特征编码网络提取对齐后的时空鲁棒表征；利用场景的全局时空信息，提取可能发生变化的地物类型的时空鲁棒表征；具体过程如下：
步骤1.1、通过遥感卫星拍摄两个时刻下的图像，将两个时刻下的图像分别定义为时刻0图像和时刻1图像，两个图像统称为双时图像；
步骤1.2、将两个时刻下的图像同时输入到多尺度特征编码网络中，多尺度特征编码网络包括多尺度特征提取阶段和多尺度特征融合阶段，通过多尺度特征提取阶段分别提取两个时刻下的多尺度特征（简称双时特征），多尺度特征组成一个集合来构成特征金字塔；
多尺度特征提取阶段的具体过程为：将双时图像输入到残差网络中，选取残差网络最后一层输出的尺度特征图/>，以及中间层输出的/>尺度特征图/>和/>尺度特征图。将这三个尺度的特征图组合成一个集合构成特征金字塔。其中/>；当/>时，为时刻0图像；当/>时，为时刻1图像。
多尺度特征融合阶段的具体过程为：将相邻尺度的特征图进行融合来丰富每个尺度的特征。融合过程可以表示为：
（1）；
其中，代表融合后的特征图，/>代表特征通道数，/>和分别为输入图像的高和宽，/>为特征图的尺度；操作/>代表一层卷积核大小为/>且步长为1的卷积层，加上一个批归一化操作；/>为融合特征的中间结果，计算公式如下：
（2）；
其中，表示一层卷积核大小为/>且步长为1的卷积层；/>为第/>个尺度的特征图；/>为第/>个尺度融合后的特征图；/>代表双线性插值上采样，将特征的空间分辨率提升二倍。融合后的多尺度特征将被用于优化时空鲁棒表征。
步骤1.3、创建一组可学习的嵌入向量，在训练过程中捕捉到整个数据集的全局时空鲁棒表征；/>代表鲁棒表征的数量。这些全局时空鲁棒表征对于生成变化图起到了间接但是关键的作用，因此可以根据损失函数/>来计算关于全局时空鲁棒表征的梯度/>，并利用神经网络框架pytorch中的SGD优化器根据梯度来对/>进行更新。本发明中，损失函数/>具体为边界增强的交叉熵损失、平滑损失、IoU损失三个损失函数的加权求和；其中三个损失函数的权重比例分别为1、1、0.5。SGD为随机梯度下降。
步骤1.4、利用融合后的多尺度特征来指导全局时空鲁棒表征向当前场景对齐，得到对齐后的时空鲁棒表征。具体过程为：
步骤1.4.1、首先通过向量化的方式将转变为一个序列/>，其中/>表示向量的数量；/>为第/>个尺度的特征转变为序列中的第/>个向量；
然后将傅里叶位置编码添加到序列中，可以表示为：
（3）；
其中，为添加位置编码后的向量序列；/>，代表傅里叶位置编码。
按照公式（3）得到时刻0时第个尺度的添加位置编码后的向量序列/>和时刻1时第/>个尺度的添加位置编码后的向量序列/>；
最后将、/>两个向量序列进行连接，以更好利用时空信息，如公式（4）：
（4）；
其中，为连接后的第/>个尺度的向量序列；/>为沿通道维度连接；/>为时刻0时第/>个尺度的添加位置编码后的向量序列；/>为时刻1时第/>个尺度的添加位置编码后的向量序列；
步骤1.4.2、利用对齐网络将当前场景的双时特征中的信息聚合到全局鲁棒表征中。对齐网络包含层，每层包含3个对齐块。对齐网络的计算过程如公式（5）：
（5）；
其中，为第/>层第/>个对齐块的中间结果；/>代表多头交叉注意力函数；为连接后的第/>个尺度的向量序列，在公式（5）中满足/>，即每个对齐块中的MCA负责处理其对应尺度的向量序列；/>代表第/>层第/>个对齐块的输入；/>表示第/>层第个对齐块的输出结果，对应第/>层第/>个对齐块的输入；/>表示层归一化；表示多层感知机，由两个线性变换层组成，中间有一个ReLU激活函数；在每个对齐网络第/>层中，将第/>层第3个对齐块的输出结果/>作为第/>层的输入，最终通过三个对齐块计算得到第/>层对齐网络的输出，第/>层对齐网络的输出为第/>层第3个对齐块的输出结果/>或者第/>层第1个对齐块的输入/>。最后一层对齐网络输出的结果便是对齐后的时空鲁棒表征，记作/>。
步骤2、利用对齐后的时空鲁棒表征进行变化图预测；具体过程如下：
步骤2.1、使用对齐后的时空鲁棒表征来对最高尺度的双时特征分类，如公式（6）：
（6）；
其中，表示时刻/>的分类结果，/>表示softmax函数，/>表示矩阵转置操作。
步骤2.2、将分类结果输入到变化图预测网络中，得到粗糙预测值；
将双时特征的分类结果上采样到原尺度得到，/>为上采样到原尺度的时刻0的特征分类结果，/>为上采样到原尺度的时刻1的特征分类结果。然后将沿着类别维度连接，然后输入到预测头中，如公式（7）：
（7）；
其中，表示粗糙预测值，/>表示由两层卷积核为/>的卷积层组成的预测头，中间加有批归一化和ReLU激活函数。
步骤3、进行细节优化，利用原分辨率双时图像来对变化图的细节进行修复，得到最终的遥感变化图；具体包括：
步骤3.1、将原分辨率双时图像与粗糙的预测值进行连接，输入到卷积网络中做特征融合，得到融合后的预测值；
将粗糙预测值以及原分辨率的双时图像拼接，输入到一个卷积层中，将特征通道数从2扩展到32。然后将32通道的特征图输入到6个卷积块中进行特征融合。每个卷积块均包含两组“卷积层→批归一化→LeakyReLU激活函数”的固定结构，并且在块的输入与最后一层批归一化之间添加残差连接。特征图将依次通过每个卷积块中的这些固定结构，来对特征进行融合。最后利用一层卷积将融合后的特征图的特征通道从32变为2通道的预测值，此时的预测值即为融合后的预测值/>；
步骤3.2、利用argmax函数将融合后的预测值转换为最终的遥感变化图。
为了证明本发明的可行性与优越性，给出如下对比实验。
对比实验采用WHU-CD数据集，WHU-CD是一个遥感影像数据集，包含一对高分辨率（0.075 米）航空图像，尺寸为32507毫米×15354 毫米。该数据集重点关注与建筑相关的变化。为了便于训练和测试，本发明将图像划分为大小为256×256的非重叠斑块，并将其随机划分为训练集、验证集和测试集，分别包含6096、762、762对双时图像。表1给出了本发明与BIT、Changeformer、VcT三个模型在WHU-CD数据集上的对比结果，具体如下：
表1 本发明与其他模型在WHU-CD数据集上的对比结果；
。
其中，BIT模型是一个双流网络，通过卷积网络提取高级特征，并利用Transformer构建语义标记；Changeformer模型是一种基于Transformer的方法，通过Transformer编码器和MLP解码器获取多尺度变化信息；VcT模型是一个双流网络，通过卷积网络提取高级特征，并使用K均值聚类来构建多样化和更加准确的语义标记。
对比实验采用的评价指标包括OA、F1、IoU；OA为整体准确率；F1为F1得分，能够兼顾分类模型的精确率和召回率；IoU为交并比，代表预测与标签的重叠比例。从表1中可以看出，本发明在OA、F1、IoU上的取值最高，因此可以证明本发明是可行的且是优异的。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。
Claims (5)
1.一种基于时空鲁棒表征提取的遥感变化检测方法，其特征在于，包括如下步骤：
步骤1、基于多尺度特征编码网络提取对齐后的时空鲁棒表征；
步骤2、利用对齐后的时空鲁棒表征进行变化图预测；
步骤3、利用原分辨率双时图像来对变化图的细节进行修复，得到最终的遥感变化图。
2.根据权利要求1所述基于时空鲁棒表征提取的遥感变化检测方法，其特征在于，所述步骤1的具体过程为：
步骤1.1、通过遥感卫星拍摄两个时刻下的图像，将两个时刻下的图像分别定义为时刻0图像和时刻1图像，时刻0图像和时刻1图像合称双时图像；
步骤1.2、将两个时刻下的图像同时输入到多尺度特征编码网络中，多尺度特征编码网络包括多尺度特征提取阶段和多尺度特征融合阶段；提取阶段提取两个时刻下的多尺度特征，两个时刻下的多尺度特征合称双时特征；
多尺度特征提取阶段的具体过程为：将双时图像输入到残差网络中，选取残差网络最后一层输出的尺度特征图/>，以及中间层输出的/>尺度特征图/>和/>尺度特征图/>；将三个尺度的特征图组合成一个集合构成特征金字塔；其中/>；当/>时，为时刻0图像；当/>时，为时刻1图像；
多尺度特征融合阶段的公式为：
（1）；
其中，代表融合后的特征图，/>代表特征通道数，/>和/>分别为输入图像的高和宽，/>为特征图的尺度；操作/>代表一层卷积核大小为/>且步长为1的卷积层，加上一个批归一化操作；/>为融合特征的中间结果，计算公式如下：
（2）；
其中，表示一层卷积核大小为/>且步长为1的卷积层；/>为第/>个尺度的特征图；/>为第/>个尺度融合后的特征图；/>代表双线性插值上采样；
步骤1.3、创建一组可学习的嵌入向量，在训练过程中捕捉到整个数据集的全局时空鲁棒表征；/>代表鲁棒表征的数量；根据损失函数/>计算关于全局时空鲁棒表征的梯度/>，并利用神经网络框架pytorch中的SGD优化器根据梯度来对/>进行更新；SGD为随机梯度下降；
步骤1.4、利用融合后的多尺度特征来指导全局时空鲁棒表征向当前场景对齐，得到对齐后的时空鲁棒表征。
3.根据权利要求2所述基于时空鲁棒表征提取的遥感变化检测方法，其特征在于，所述步骤1.4的具体过程为：
步骤1.4.1、首先通过向量化的方式将转变为一个序列/>，其中表示向量的数量；/>为第/>个尺度的特征转变为序列中的第/>个向量；
然后将傅里叶位置编码添加到序列中，表示为：
（3）；
其中，为添加位置编码后的向量序列；/>，代表傅里叶位置编码；
按照公式（3）得到时刻0时第个尺度的添加位置编码后的向量序列/>和时刻1时第/>个尺度的添加位置编码后的向量序列/>；
最后将、/>两个向量序列进行连接，如公式（4）：
（4）；
其中，为连接后的第/>个尺度的向量序列；/>为沿通道维度连接；
步骤1.4.2、利用对齐网络将当前场景的双时特征中的信息聚合到全局鲁棒表征中；对齐网络包含层，每层包含3个对齐块；对齐网络的计算过程如公式（5）：
（5）；
其中，为第/>层第/>个对齐块的中间结果；/>代表多头交叉注意力函数；/>为连接后的第/>个尺度的向量序列，在公式（5）中满足/>，即每个对齐块中的MCA负责处理其对应尺度的向量序列；/>代表第/>层第/>个对齐块的输入；/>表示第/>层第/>个对齐块的输出结果，对应第/>层第/>个对齐块的输入；/>表示层归一化；/>表示多层感知机，由两个线性变换层组成，中间有一个ReLU激活函数；在每个对齐网络第/>层中，将第层第3个对齐块的输出结果/>作为第/>层的输入，最终通过三个对齐块计算得到第/>层对齐网络的输出，第/>层对齐网络的输出为第/>层第3个对齐块的输出结果/>或者第层第1个对齐块的输入/>；最后一层对齐网络输出的结果便是对齐后的时空鲁棒表征，记作/>。
4.根据权利要求3所述基于时空鲁棒表征提取的遥感变化检测方法，其特征在于，所述步骤2的具体过程为：
步骤2.1、使用对齐后的时空鲁棒表征来对最高尺度的双时特征分类，如公式（6）：
（6）；
其中，表示时刻/>的分类结果，/>表示softmax函数，/>表示矩阵转置操作；
步骤2.2、将分类结果输入到变化图预测网络中，得到粗糙预测值；
将双时特征的分类结果上采样到原尺度得到，/>为上采样到原尺度的时刻0的特征分类结果，/>为上采样到原尺度的时刻1的特征分类结果；然后将沿着类别维度连接，然后输入到预测头中，如公式（7）：
（7）；
其中，表示粗糙预测值，/>表示由两层卷积核为/>的卷积层组成的预测头，中间加有批归一化和ReLU激活函数。
5.根据权利要求4所述基于时空鲁棒表征提取的遥感变化检测方法，其特征在于，所述步骤3的具体过程为：
步骤3.1、将粗糙预测值以及原分辨率的双时图像拼接，输入到一个卷积层中，将特征通道数从2扩展到32；然后将32通道的特征图输入到6个卷积块中进行特征融合；每个卷积块包含两组固定结构，并且在卷积块的输入与最后一层批归一化之间添加残差连接；
每组固定结构均包括卷积层、批归一化和LeakyReLU激活函数；特征图依次通过每个卷积块中的固定结构，来对特征进行融合；最后利用一层卷积将融合后的特征图的特征通道从32变为2通道的预测值，此时的预测值即为融合后的预测值；
步骤3.2、利用argmax函数将融合后的预测值转换为最终的遥感变化图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410246401.9A CN117830875B (zh) | 2024-03-05 | 2024-03-05 | 一种基于时空鲁棒表征提取的遥感变化检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410246401.9A CN117830875B (zh) | 2024-03-05 | 2024-03-05 | 一种基于时空鲁棒表征提取的遥感变化检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117830875A true CN117830875A (zh) | 2024-04-05 |
| CN117830875B CN117830875B (zh) | 2024-05-24 |
Family
ID=90523106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410246401.9A Active CN117830875B (zh) | 2024-03-05 | 2024-03-05 | 一种基于时空鲁棒表征提取的遥感变化检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117830875B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112017178A (zh) * | 2020-09-08 | 2020-12-01 | 重庆市地理信息和遥感应用中心 | 一种基于双时相差值图像法的遥感图像区域变化检测方法 |
| EP3968286A2 (en) * | 2021-01-20 | 2022-03-16 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method, apparatus, electronic device and storage medium for detecting change of building |
| CN114841319A (zh) * | 2022-04-29 | 2022-08-02 | 哈尔滨工程大学 | 一种基于多尺度自适应卷积核的多光谱图像变化检测方法 |
| CN115861703A (zh) * | 2022-12-19 | 2023-03-28 | 清华大学 | 一种基于多尺度CNN-Transformer的遥感图像变化检测方法和装置 |
| CN116310828A (zh) * | 2023-03-23 | 2023-06-23 | 重庆邮电大学 | 一种结合Transformer和CNN的高分辨率遥感图像变化检测方法及装置 |
| CN116343052A (zh) * | 2023-05-30 | 2023-06-27 | 华东交通大学 | 一种基于注意力和多尺度的双时相遥感图像变化检测网络 |
| CN117152072A (zh) * | 2023-08-23 | 2023-12-01 | 北京理工大学 | 一种基于两阶段特征金字塔网络的遥感图像变化检测方法 |
| CN117173577A (zh) * | 2023-09-19 | 2023-12-05 | 桂林电子科技大学 | 一种基于改进Swin Transformer的遥感影像建筑物变化检测方法 |
| CN117522990A (zh) * | 2024-01-04 | 2024-02-06 | 山东科技大学 | 基于多头注意力机制和迭代细化的类别级位姿估计方法 |
-
2024
- 2024-03-05 CN CN202410246401.9A patent/CN117830875B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112017178A (zh) * | 2020-09-08 | 2020-12-01 | 重庆市地理信息和遥感应用中心 | 一种基于双时相差值图像法的遥感图像区域变化检测方法 |
| EP3968286A2 (en) * | 2021-01-20 | 2022-03-16 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method, apparatus, electronic device and storage medium for detecting change of building |
| CN114841319A (zh) * | 2022-04-29 | 2022-08-02 | 哈尔滨工程大学 | 一种基于多尺度自适应卷积核的多光谱图像变化检测方法 |
| CN115861703A (zh) * | 2022-12-19 | 2023-03-28 | 清华大学 | 一种基于多尺度CNN-Transformer的遥感图像变化检测方法和装置 |
| CN116310828A (zh) * | 2023-03-23 | 2023-06-23 | 重庆邮电大学 | 一种结合Transformer和CNN的高分辨率遥感图像变化检测方法及装置 |
| CN116343052A (zh) * | 2023-05-30 | 2023-06-27 | 华东交通大学 | 一种基于注意力和多尺度的双时相遥感图像变化检测网络 |
| CN117152072A (zh) * | 2023-08-23 | 2023-12-01 | 北京理工大学 | 一种基于两阶段特征金字塔网络的遥感图像变化检测方法 |
| CN117173577A (zh) * | 2023-09-19 | 2023-12-05 | 桂林电子科技大学 | 一种基于改进Swin Transformer的遥感影像建筑物变化检测方法 |
| CN117522990A (zh) * | 2024-01-04 | 2024-02-06 | 山东科技大学 | 基于多头注意力机制和迭代细化的类别级位姿估计方法 |
Non-Patent Citations (3)
| Title |
|---|
| ZOU, CHANGZHONG等: "A New Semisupervised Method for Detecting Semantic Changes in Remote Sensing Images", IEEE-INST ELECTRICAL ELECTRONICS ENGINEERS INC, 19 October 2023 (2023-10-19) * |
| 余江南: "基于深度编-解码结构的高分辨遥感影像变化检测研究", 中国优秀硕士学位论文全文数据库, 15 April 2022 (2022-04-15) * |
| 向阳;赵银娣;董霁红;: "基于改进UNet孪生网络的遥感影像矿区变化检测", 煤炭学报, no. 12, 15 December 2019 (2019-12-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117830875B (zh) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110782462B (zh) | 一种基于双流特征融合的语义分割方法 | |
| CN112347859B (zh) | 一种光学遥感图像显著性目标检测方法 | |
| CN109919174A (zh) | 一种基于门控级联注意力机制的文字识别方法 | |
| CN112258526B (zh) | 一种基于对偶注意力机制的ct肾脏区域级联分割方法 | |
| CN109784183B (zh) | 基于级联卷积网络和光流的视频显著性目标检测方法 | |
| CN110390340A (zh) | 特征编码模型、视觉关系检测模型的训练方法及检测方法 | |
| CN110929080A (zh) | 基于注意力和生成对抗网络的光学遥感图像检索方法 | |
| CN113516133B (zh) | 一种多模态图像分类方法及系统 | |
| CN112766283B (zh) | 一种基于多尺度卷积网络的两相流流型识别方法 | |
| CN111582041A (zh) | 基于cwt和mlmsffcnn的脑电识别方法 | |
| CN116417093A (zh) | 一种结合Transformer和图神经网络的药物靶标相互作用预测方法 | |
| CN115222998B (zh) | 一种图像分类方法 | |
| CN114419464A (zh) | 一种基于深度学习的孪生网络变化检测模型 | |
| CN117152416A (zh) | 一种基于detr改进模型的稀疏注意力目标检测方法 | |
| CN117237559A (zh) | 面向数字孪生城市的三维模型数据智能分析方法及系统 | |
| CN117095287A (zh) | 一种基于时空交互Transformer模型的遥感图像变化检测方法 | |
| CN116402766A (zh) | 一种结合卷积神经网络和Transformer的遥感影像变化检测方法 | |
| CN114241191A (zh) | 一种基于跨模态自注意力的无候选框指代表达理解方法 | |
| CN116630824A (zh) | 一种面向电力巡检机制的卫星遥感图像边界感知语义分割模型 | |
| CN115965864A (zh) | 一种用于农作物病害识别的轻量级注意力机制网络 | |
| CN116433223A (zh) | 基于双域稀疏Transformer模型的变电站设备故障预警方法及设备 | |
| CN117076931B (zh) | 一种基于条件扩散模型的时间序列数据预测方法和系统 | |
| Shi et al. | Lightweight Context-Aware Network Using Partial-Channel Transformation for Real-Time Semantic Segmentation | |
| CN117830875B (zh) | 一种基于时空鲁棒表征提取的遥感变化检测方法 | |
| CN114627370A (zh) | 一种基于transformer特征融合的高光谱影像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |