CN117237801A - 一种基于自监督学习的多模态遥感图像变化检测方法 - Google Patents
一种基于自监督学习的多模态遥感图像变化检测方法 Download PDFInfo
- Publication number
- CN117237801A CN117237801A CN202311060952.8A CN202311060952A CN117237801A CN 117237801 A CN117237801 A CN 117237801A CN 202311060952 A CN202311060952 A CN 202311060952A CN 117237801 A CN117237801 A CN 117237801A
- Authority
- CN
- China
- Prior art keywords
- network
- change
- token
- image
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 title claims abstract description 74
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 238000013507 mapping Methods 0.000 claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 11
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000003278 mimic effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 239000000463 material Substances 0.000 abstract description 2
- 238000013461 design Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于自监督学习的多模态遥感图像变化检测方法，属于计算机视觉领域。包括将变化前的图像、变化后的图像和拼接后的图像作为三个独立的输入，输入到三元特征提取网络提取特征图；将特征图映射到一个可比较的特征空间；对网络自监督训练；网络推理和变化图的生成。本发明基于自监督学习在不需要任何标签的情况下，从深度特征空间上统一多模态遥感图像特征，并且融合传统的阈值分割法直接分析深度特征图得到需要的变化图。克服了之前遥感图像变化检测方法对于标注数据的依赖，减少了变化检测任务中人力物力资源的消耗，同时解决了多模态图像变化检测中存在的双时相图像对之间存在图像域差距，不能直接对比的问题。
Description
技术领域
本发明涉及一种基于自监督学习的多模态遥感图像变化检测方法，属计算机视觉领域。
背景技术
变化检测是通过在不同时间观察物体或现象来识别其状态差异的过程。基于遥感图像的变化检测是探测地球表面变化的重要方法，在城市规划、环境监测、农业调查、灾害评估和地图修订等方面有着广泛的应用。
现有的遥感图像变化检测方法主要针对来自同一传感器的变化前和变化后的图像(即变化前和变化后的图像是同一模态)。然而，在现实世界中，一些具体的应用，例如灾害管理有很强的及时性和紧迫性，而能够马上获得的变化后的图像可能和变化前的图像是不同的模态，这给遥感图像的变化检测任务带来了重大挑战。来自不同传感器的多模态双时间图像对会存在不同图像域差距，这使得变化前和变化后的图像无法直接比较分析获得变化图。除此之外，由于多模态双时态图像对需要来自不同图像领域专家的协作对图像对以进行像素级标注，这一要求使获取标记样本的成本极大，导致标记样本的数量非常稀少。
利用自监督学习范式减少变化检测方法对于标注数据的依赖，以及受启发与深度学习在各行各业的卓越表现，本发明针对多模态遥感图像设计了一种基于自监督学习的变化检测框架。
发明内容
本发明所要解决的技术问题是：
为了避免现有技术的不足之处，本发明提供一种基于自监督学习的多模态遥感图像变化检测方法。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于自监督学习的多模态遥感图像变化检测方法，其特征在于步骤如下：
步骤1：特征图提取
将模态一变化前的图像、模态二变化后的图像和拼接后的图像作为三个独立的输入，输入到三元特征提取网络，分别获得特征图Fm1,Fm2和Fd；所述拼接后的图像由模态一变化前图像和模态二变化后图像安装通道维度堆叠获得；
步骤2：特征图统一空间
通过统一映射单元UMU将特征图Fm1,Fm2和Fd映射到一个可比较的特征空间，得到特征图F′m1,F′m2和Fd′；
步骤3：网络自监督训练
在网络的训练阶段，使用交叉熵损失来监督变化前和变化后图像特征图的有效性，使用对比损失来确保整个网络系统的无标签的自监督训练；
步骤4：网络推理和变化图的生成
采用阈值分割算法对得到的特征进行分析，生成最终的变化图。
本发明进一步的技术方案：所述三元特征提取网络系统由伪孪生网络和差分信息网络两部分组成；
所述伪孪生网络的每个分支由5个卷积核尺寸为3×3的卷积层组成，在每个卷积层之后，用批量归一化层和修正线性单元激活函数，来保持梯度稳定，防止网络过拟合，同时增强网络学习非线性特征的能力；模态一变化前图像和模态二变化后图像被输入到伪孪生网络中提取特征，得到特征图Fm1和Fm2；
所述差分信息网络包括四个阶段，第一阶段包含4个残差块和一个3×3核卷积层；在第二阶段，每个分支以不同的尺度处理特征图；这些分支独立运行，由多个连续的残差块组成；第三和第四阶段模仿第二阶段的结构；在对不同分辨率的特征映射实施融合策略时，上采样部分利用双线性上采样操作之后是1×1卷积，下采样利用卷积层的核大小为3×3，步长为2；拼接图像被输入到差分信息网络结构中提取特征，得到特征图Fd。
本发明进一步的技术方案：所述统一映射单元由令牌编码器和令牌解码器组成，
令牌解码器的输入为三元特征提取网络得到的三个独立特征Fm1,Fm2和Fd；输入的特征图表示为F∈Rb×c×h×w，被转换为特定大小的三维令牌嵌入向量，其尺寸为b×l×c；b,c,h和w分别表示batch大小、通道数量以及输入特征的高度和宽度，l表示令牌长度；
令牌编码器的编码过程：三维令牌嵌入在编码器中，用于捕获全局中的上下文信息；在此过程中，将一组可训练参数添加到令牌中，用以进行位置嵌入PE；编码器遵循标准的transformer结构，包括一个多头注意力MHA模块和一个前馈神经网络模块；此外，在每个块之前应用层归一化LN；由此，得到令牌嵌入向量，记为T∈Rb×l×c；
令牌解码器的输入：令牌解码器接收两个不同的输入；一种是卷积网络得到的特征图F，也可以认为是三元组特征提取网络提取的特征图；另一个输入是令牌嵌入向量T，其中包含令牌编码器生成的全局上下文信息；
令牌解码器的解码过程：令牌解码器类似于令牌编码器的结构，利用PE赋予原始卷积特征F位置信息；它由多层组成，每层都包含自注意力和前馈神经网络的组合；下面给出两个关键的子程序：
层归一化LN：在每个解码器层之前，应用层归一化来归一化特征，从而增强训练稳定性。
多头注意力MHA：解码器采用多头注意力机制，旨在理解不同令牌之间的关系，从而丰富上下文理解；这个MHA与令牌编码器中使用的MHA之间存在差异；其中，Query源自卷积特征F，而Key和Value源于令牌嵌入向量T。
本发明进一步的技术方案：所述交叉熵损失的函数表示为：
L1＝crossentropy(F′m1,Cm1)
L2＝crossentropy(F′m2,Cm2)
其中，Cm1为F′m1的伪标签，Cm2为F′m2的伪标签。
本发明进一步的技术方案：所述对比损失的函数表示为：
其中，di,j表示特征图F′m1和F′m2在坐标(i,j)对应的像素之间的距离，yi,j表示的F′d在坐标(i,j)对应的值，Margin表示手动设置的阈值，设置该阈值是为了加强特征图对的距离。
本发明进一步的技术方案：所述的阈值分割算法为OSTU阈值算法。
一种计算机系统，其特征在于包括：一个或多个处理器，计算机可读存储介质，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的方法。
一种计算机可读存储介质，其特征在于存储有计算机可执行指令，所述指令在被执行时用于实现上述的方法。
本发明的有益效果在于：
本发明基于自监督学习在不需要任何标签的情况下，从深度特征空间上统一多模态遥感图像特征，并且融合传统的阈值分割法直接分析深度特征图得到需要的变化图。本发明克服了之前遥感图像变化检测方法对于标注数据的依赖，减少了变化检测任务中人力物力资源的消耗，同时解决了多模态图像变化检测中存在的双时相图像对之间存在图像域差距，不能直接对比的问题。整体学习框架易于实施，算法简单，执行效率高。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1自监督学习框架。
图2伪孪生网络结构。
图3差分信息网络结构。
图4统一映射单元编码器结构。其中Q、K和V表示Query、Key和Value，来自特征F。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明基于自监督学习范式减少变化检测方法对数据的依赖，利用变化检测任务的特点，巧妙的设计了差分对比辅助任务，使得网络可以在没有标签的条件下，通过迭代训练得到能够代表多模态双时相图像的特征图。之后从图像的全局角度考虑，减少由于不同图像域引起的特征图在维度空间的距离，使图像特征在特征空间维度是可比较的。
本发明提供的一种基于自监督学习的多模态遥感图像变化检测方法，如图1所示，包括以下步骤：
步骤1：特征图提取。将模态一变化前的图像、模态二变化后的图像和拼接后的图像(由模态一变化前图像和模态二变化后图像安装通道维度堆叠获得)作为三个独立的输入，训练三元特征提取网络系统(三个分支网络之间没有共享参数)，分别获得特征图Fm1,Fm2和Fd。
步骤2：特征图统一空间。通过提出的统一映射单元(Unified Mapping Unit,UMU)将特征Fm1,Fm2和Fd映射到一个可比较的特征空间。得到特征图F′m1,F′m2和Fd′，便于特征图之间的比较和学习。
步骤3：网络自监督训练。在网络的训练阶段，使用交叉熵损失来监督变化前和变化后图像特征图的有效性，除此之外使用对比损失来确保整个网络系统的无标签的自监督训练。
步骤4：网络推理和变化图的生成。通过自监督训练，得到特征空间中具有可比性的双时态图像特征对F′m1和F′m2，有效地保留了双时态图像的信息。然后，采用合适的阈值分割算法对得到的特征对F′m1和F′m2进行分析，生成最终的变化图。
实施例：
步骤1：特征图提取。
本发明中用于训练网络的模态一变化前图像是由Sentinel-2传感器捕获的多光谱图像(包含红，蓝，绿和红外四个光谱波段)，模态二变化后图像是由Sentinel-1传感器在变化前同一位置捕获的SAR图像，拼接图像是由多光谱图像和SAR图像按通道堆叠获得的，数据集的获取地点在香港，图像尺寸为695×540。我们将三张图像输入三元特征提取网络系统，三元特征提取网络由伪孪生网络(图2)和差分信息网络(图3)两部分组成。
伪孪生网络的结构：
网络的每个分支由5个卷积核尺寸为3×3的卷积层组成。在每个卷积层之后，用批量归一化层和修正线性单元(ReLU)激活函数，来保持梯度稳定，防止网络过拟合，同时增强网络学习非线性特征的能力。请注意，两个分支共享相同的结构，但具有独立的权重。与现有的深度模型相比，所提出的伪孪生网络更加简单和高效。伪孪生网络不包含任何下采样层，从而消除了下采样过程中可能造成的图像信息损失。模态一变化前图像和模态二变化后图像被输入到伪孪生网络中提取特征，得到特征图Fm1和Fm2。
差分信息网络的结构：
网络进行四个阶段的计算。第一阶段包含4个残差块和一个3×3核卷积层。在第二阶段，每个分支以不同的尺度处理特征图。这些分支独立运行，由多个连续的残差块组成。第三和第四阶段模仿第二阶段的结构：在原有第二阶段的两个分支两种不同尺度处理特征图的基础上，第三阶段增加一个分支；第四阶段在第三阶段的基础上再次增加一个分支。也就是第二阶段采用两个分支两种不尺度处理，第三阶段和第四阶段分别采用三种和四种进行处理。每个分支独立运行，由多个连续的残差块组成。这种设计的关键动机是，网络学习到的特征既可以保持高分辨率表示，又可以学习语义信息。除此之外，在对不同分辨率的特征映射实施融合策略时，上采样部分利用双线性上采样操作之后是1×1卷积，下采样利用卷积层的核大小为3×3，步长为2。拼接图像被输入到差分信息网络结构中提取特征，得到特征图Fd。
步骤2：特征图统一空间。
本发明研究的是多模态遥感图像变化检测任务，由于不同模态图像之间通常存在极大的图像域差距，因此将多模态双时图像映射到可比较的特征空间仍然是多模态遥感图像CD的一个重大障碍。为了解决这一问题，本发明设计了一个统一映射单元(UnifiedMapping Unit，UMU)，将从三元特征提取网络中得到的三个独立的特征(分别为Fm1,Fm2和Fd)投影到一个可比较的特征空间中。
统一映射单元由令牌编码器(图4)和令牌解码器组成，其结构如下：
令牌编码器：
输入：令牌解码器的输入为三元特征提取网络得到的三个独立特征Fm1,Fm2和Fd。为了适应计算和存储的限制，输入的特征图表示为F∈Rb×c×h×w，在进一步处理之前，被转换为特定大小的三维令牌嵌入向量，其尺寸为b×l×c。在这里，b,c,h和w分别表示batch大小、通道数量以及输入特征的高度和宽度，l表示令牌长度(在本发明中根据经验设置为4)。
编码过程：三维令牌嵌入在编码器中，用于捕获全局中的上下文信息。在此过程中，将一组可训练参数添加到令牌中，用以进行位置嵌入(Position Embedding，PE)。编码器遵循标准的transformer结构，包括一个多头注意力(Multi-Head Attention，MHA)模块和一个前馈神经网络模块(Feedforward neural network block)。此外，在每个块之前应用层归一化(Layer Normalisation，LN)。由此，得到令牌嵌入向量，记为T∈Rb×l×c。
令牌解码器：
输入：令牌解码器接收两个不同的输入。一种是卷积网络得到的特征图F，也可以认为是三元组特征提取网络提取的特征图。另一个输入是令牌嵌入向量T，其中包含令牌编码器生成的全局上下文信息。
解码过程：令牌解码器类似于令牌编码器的结构。利用PE赋予原始卷积特征F位置信息。它由多层组成，每层都包含自注意力和前馈神经网络的组合。下面给出两个关键的子程序：
a)层归一化(LN)：在每个解码器层之前，应用层归一化来归一化特征，从而增强训练稳定性。
b)多头注意力(MHA)：解码器采用多头注意力机制，旨在理解不同令牌之间的关系，从而丰富上下文理解。请注意，这个MHA与令牌编码器中使用的MHA之间存在差异。其中，Query源自卷积特征F，而Key和Value源于令牌嵌入向量T。这种安排使解码器能够专注于基于卷积特征表示的相关令牌信息。
步骤3：网络自监督训练。
本发明基于自监督学习进行训练。在Linux操作系统下进行，在开源的PyTorch深度学习框架下实现变化检测网络的设计，并在单个Nvidia GeForce GTX 1080Ti的GPU下进行网络的训练。网络的反向传播过程采用Adam优化方法。网络的训练过程描述如下：
Fm1＝fm1(变化前图像)
Fm2＝fm2(变化后图像)
其中，fm1(·)和fm2(·)表示伪孪生网络的两个不同的模态映射分支，Fm1和Fm2分别是通过伪孪生网络学习到的具有代表性的特征。此外，一个能够维持高分辨率特征的差异信息学习网络fhd(·)学习包含在拼接图像中的差分信息，提取差分信息的过程可以表示为：
Fd＝fhd(拼接图像)
Fd表示差分信息特征。为了保证三个独立特征Fm1,Fm2和Fd都位于相同的可比空间中，将这三个特征同时输入到UMU中以获得可比特征图，该过程可以表示为：
F′m1,F′m2,F′d＝U(Fm1,Fm2,Fd)
在F′m1,F′m2和F′d∈RN×N×K，属于相同类似的空间，U表示统一映射单元。在整个训练阶段，使用交叉熵函数来评估伪孪生网络是否充分获得了有效的表示图像的特征图。
考虑到训练数据集无标签且无法根据标签调整网络参数，需要引入伪标签以确保伪孪生网络能够捕获双时间图像对的特征。将F′m1的K个维度通过argmax函数转换为一维标签Cm1作为F′m1的伪标签。在实验中，伪孪生网络的损失函数可以表示为：
L1＝crossentropy(F′m1,Cm1)
L2＝crossentropy(F′m2,Cm2)
其中
除了要求伪孪生网络提取的特征具有代表性外，还期望得到的双时相特征图对具有足够的特异性(可区分性)。为此，使用差分信息来监督关于伪孪生网络输出的特征图。差分监督采用的损失函数可以表示为：
di,j表示特征图F′m1和F′m2在坐标(i,j)对应的像素之间的距离，yi,j表示的F′d在坐标(i,j)对应的值，Margin表示手动设置的阈值，设置该阈值是为了加强特征图对的距离。
表1基于自监督学习的变化检测框架算法流程
步骤4：网络推理和变化图的生成。
训练阶段结束后，在理想情况下，从多模态双时间图像中提取的特征图对应直接适用于后续的推理阶段。在推理阶段，将传统的阈值分割法(具体而言，本发明采用OSTU阈值算法)应用于差异特征图进行阈值分割，从而获得无监督条件下的最终变化图。值得注意的是，在这一阶段，所采用的阈值分割方法可以被任何其他基于传统方法的变化检测算法变化取代，这是因为特征图像对已经获得了对后续推理的鲁棒性。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种基于自监督学习的多模态遥感图像变化检测方法，其特征在于步骤如下：
步骤1：特征图提取
将模态一变化前的图像、模态二变化后的图像和拼接后的图像作为三个独立的输入，输入到三元特征提取网络，分别获得特征图Fm1，Fm2和Fd；所述拼接后的图像由模态一变化前图像和模态二变化后图像安装通道维度堆叠获得；
步骤2：特征图统一空间
通过统一映射单元UMU将特征图Fm1，Fm2和Fd映射到一个可比较的特征空间，得到特征图F′m1，F′m2和F′d；
步骤3：网络自监督训练
在网络的训练阶段，使用交叉熵损失来监督变化前和变化后图像特征图的有效性，使用对比损失来确保整个网络的无标签的自监督训练；
步骤4：网络推理和变化图的生成
采用阈值分割算法对得到的特征进行分析，生成最终的变化图。
2.根据权利要求1所述基于自监督学习的多模态遥感图像变化检测方法，其特征在于：所述三元特征提取网络系统由伪孪生网络和差分信息网络两部分组成；
所述伪孪生网络的每个分支由5个卷积核尺寸为3×3的卷积层组成，在每个卷积层之后，用批量归一化层和修正线性单元激活函数，来保持梯度稳定，防止网络过拟合，同时增强网络学习非线性特征的能力；模态一变化前图像和模态二变化后图像被输入到伪孪生网络中提取特征，得到特征图Fm1和Fm2；
所述差分信息网络包括四个阶段，第一阶段包含4个残差块和一个3×3核卷积层；在第二阶段，每个分支以不同的尺度处理特征图；这些分支独立运行，由多个连续的残差块组成；第三和第四阶段模仿第二阶段的结构；在对不同分辨率的特征映射实施融合策略时，上采样部分利用双线性上采样操作之后是1×1卷积，下采样利用卷积层的核大小为3×3，步长为2；拼接图像被输入到差分信息网络结构中提取特征，得到特征图Fd。
3.根据权利要求2所述基于自监督学习的多模态遥感图像变化检测方法，其特征在于：所述统一映射单元由令牌编码器和令牌解码器组成，
令牌解码器的输入为三元特征提取网络得到的三个独立特征Fm1，Fm2和Fd；输入的特征图表示为F∈Rb×c×h×w，被转换为特定大小的三维令牌嵌入向量，其尺寸为b×l×c；b，c，h和w分别表示batch大小、通道数量以及输入特征的高度和宽度，l表示令牌长度；
令牌编码器的编码过程：三维令牌嵌入在编码器中，用于捕获全局中的上下文信息；在此过程中，将一组可训练参数添加到令牌中，用以进行位置嵌入PE；编码器遵循标准的transformer结构，包括一个多头注意力MHA模块和一个前馈神经网络模块；此外，在每个模块之前应用层归一化LN；由此，得到令牌嵌入向量，记为T∈Rb×l×c；
令牌解码器的输入：令牌解码器接收两个不同的输入；一种是卷积网络得到的特征图F，也可以认为是三元组特征提取网络提取的特征图；另一个输入是令牌嵌入向量T，其中包含令牌编码器生成的全局上下文信息；
令牌解码器的解码过程：令牌解码器类似于令牌编码器的结构，利用PE赋予原始卷积特征F位置信息；它由多层组成，每层都包含自注意力和前馈神经网络的组合；下面给出两个关键的子程序：
层归一化LN：在每个解码器层之前，应用层归一化来归一化特征，从而增强训练稳定性；
多头注意力MHA：解码器采用多头注意力机制，旨在理解不同令牌之间的关系，从而丰富上下文理解；这个MHA与令牌编码器中使用的MHA之间存在差异；其中，Query源自卷积特征F，而Key和Value源于令牌嵌入向量T。
4.根据权利要求3所述基于自监督学习的多模态遥感图像变化检测方法，其特征在于：所述交叉熵损失的函数表示为：
L1＝crossentropy(F′m1，Cm1)
L2＝crossentropy(F′m2，Cm2)
其中，Cm1为F′m1的伪标签，Cm2为F′m2的伪标签。
5.根据权利要求3所述基于自监督学习的多模态遥感图像变化检测方法，其特征在于：所述对比损失的函数表示为：
其中，di,j表示特征图F′m1和F′m2在坐标(i，j)对应的像素之间的距离，yi,j表示的F′d在坐标(i，j)对应的值，Margin表示手动设置的阈值，设置该阈值是为了加强特征图对的距离。
6.根据权利要求1所述基于自监督学习的多模态遥感图像变化检测方法，其特征在于：所述的阈值分割算法为OSTU阈值算法。
7.一种计算机系统，其特征在于包括：一个或多个处理器，计算机可读存储介质，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1-6任一项所述的方法。
8.一种计算机可读存储介质，其特征在于存储有计算机可执行指令，所述指令在被执行时用于实现权权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311060952.8A CN117237801A (zh) | 2023-08-22 | 2023-08-22 | 一种基于自监督学习的多模态遥感图像变化检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311060952.8A CN117237801A (zh) | 2023-08-22 | 2023-08-22 | 一种基于自监督学习的多模态遥感图像变化检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117237801A true CN117237801A (zh) | 2023-12-15 |
Family
ID=89092059
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311060952.8A Pending CN117237801A (zh) | 2023-08-22 | 2023-08-22 | 一种基于自监督学习的多模态遥感图像变化检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237801A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117495741A (zh) * | 2023-12-29 | 2024-02-02 | 成都货安计量技术中心有限公司 | 一种基于大卷积对比学习的畸变还原方法 |
| CN117992737A (zh) * | 2024-04-01 | 2024-05-07 | 齐鲁工业大学(山东省科学院) | 基于遥感大数据的土地利用判别方法、装置及电子设备 |
| CN118071602A (zh) * | 2024-04-17 | 2024-05-24 | 广东海洋大学 | 基于多尺度网络的遥感图像超分辨重建方法、系统及介质 |
-
2023
- 2023-08-22 CN CN202311060952.8A patent/CN117237801A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117495741A (zh) * | 2023-12-29 | 2024-02-02 | 成都货安计量技术中心有限公司 | 一种基于大卷积对比学习的畸变还原方法 |
| CN117495741B (zh) * | 2023-12-29 | 2024-04-12 | 成都货安计量技术中心有限公司 | 一种基于大卷积对比学习的畸变还原方法 |
| CN117992737A (zh) * | 2024-04-01 | 2024-05-07 | 齐鲁工业大学(山东省科学院) | 基于遥感大数据的土地利用判别方法、装置及电子设备 |
| CN117992737B (zh) * | 2024-04-01 | 2024-05-31 | 齐鲁工业大学(山东省科学院) | 基于遥感大数据的土地利用判别方法、装置及电子设备 |
| CN118071602A (zh) * | 2024-04-17 | 2024-05-24 | 广东海洋大学 | 基于多尺度网络的遥感图像超分辨重建方法、系统及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | SwinNet: Swin transformer drives edge-aware RGB-D and RGB-T salient object detection | |
| Hénaff et al. | Object discovery and representation networks | |
| Qin et al. | Highly accurate dichotomous image segmentation | |
| US20230021661A1 (en) | Forgery detection of face image | |
| Chen et al. | EGDE-Net: A building change detection method for high-resolution remote sensing imagery based on edge guidance and differential enhancement | |
| CN117237801A (zh) | 一种基于自监督学习的多模态遥感图像变化检测方法 | |
| Chen et al. | CGMDRNet: Cross-guided modality difference reduction network for RGB-T salient object detection | |
| Park et al. | Image pre-processing method of machine learning for edge detection with image signal processor enhancement | |
| CN111932431B (zh) | 基于水印分解模型的可见水印去除方法和电子设备 | |
| Ye et al. | Underwater image enhancement using stacked generative adversarial networks | |
| US20230104262A1 (en) | Panoptic segmentation refinement network | |
| Xie et al. | Deepmatcher: a deep transformer-based network for robust and accurate local feature matching | |
| Aparna et al. | A blind medical image watermarking for secure e-healthcare application using crypto-watermarking system | |
| Shen et al. | ICAFusion: Iterative cross-attention guided feature fusion for multispectral object detection | |
| CN116434033A (zh) | 面向rgb-d图像稠密预测任务的跨模态对比学习方法及系统 | |
| Yu et al. | WaterHRNet: A multibranch hierarchical attentive network for water body extraction with remote sensing images | |
| Liu et al. | Image-free single-pixel segmentation | |
| Liang et al. | Hybrid transformer-CNN networks using superpixel segmentation for remote sensing building change detection | |
| Vijayalakshmi K et al. | Copy-paste forgery detection using deep learning with error level analysis | |
| Lin et al. | Multi-motion segmentation via co-attention-induced heterogeneous model fitting | |
| Pham et al. | Toward deep-learning-based methods in image forgery detection: A survey | |
| Li et al. | AMDFNet: Adaptive multi-level deformable fusion network for RGB-D saliency detection | |
| Huang et al. | Bidirectional mutual guidance transformer for salient object detection in optical remote sensing images | |
| CN116257648A (zh) | 基于噪声网络和图像预处理的图像检索防御方法及系统 | |
| CN114333062B (zh) | 基于异构双网络和特征一致性的行人重识别模型训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |