CN116310828A - 一种结合Transformer和CNN的高分辨率遥感图像变化检测方法及装置 - Google Patents

一种结合Transformer和CNN的高分辨率遥感图像变化检测方法及装置 Download PDF

Info

Publication number
CN116310828A
CN116310828A CN202310289429.6A CN202310289429A CN116310828A CN 116310828 A CN116310828 A CN 116310828A CN 202310289429 A CN202310289429 A CN 202310289429A CN 116310828 A CN116310828 A CN 116310828A
Authority
CN
China
Prior art keywords
remote sensing
transducer
branch
sensing image
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310289429.6A
Other languages
English (en)
Inventor
杨烽
李梦涛
蒲艺
袁艺峰
舒文强
高陈强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202310289429.6A priority Critical patent/CN116310828A/zh
Publication of CN116310828A publication Critical patent/CN116310828A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，特别涉及一种结合Transformer和CNN的高分辨率遥感图像变化检测方法及装置，方法包括将预处理后的双时遥感图像利用Transformer分支提取双时遥感图像的全局特征，利用卷积神经网络分支提取双时遥感图像的局部特征；将Transformer分支各个深度的特征图以及卷积神经网络分支各个深度的特征图输入自适应特征融合模块进行特征融合，得到全局‑局部特征；将全局‑局部特征输入Decoder分支进行逐层解码，将解码特征图采用分类器输出变化检测的结果；本发明可以准确地检测出双时相图像发生变化的区域，并且提取的特征能更好的表达图像信息。

Description

一种结合Transformer和CNN的高分辨率遥感图像变化检测方 法及装置
技术领域
本发明涉及图像处理与计算机视觉技术领域，特别涉及一种结合Transformer和CNN的高分辨率遥感图像变化检测方法及装置。
背景技术
变化检测旨在检测不同时间获取的一对配准图像的土地覆盖类型变化。人造设施的变化(如建筑物、车辆等)、植被的变化、环境的变化(如极地冰盖融化、森林砍伐、灾害造成的破坏)通常被认为是与土地覆盖类型相关的变化。变化检测是希望能够识别这些相关变化，同时避免由季节变化、建筑阴影、大气变化和照明条件变化引起的其它复杂的不相关变化。光学遥感影像中的变化检测因其在地球观测和环境监测中的重要作用而受到广泛关注。随着星载/机载光学成像技术的发展，光学遥感影像中的变化检测已成为灾害评估、城市土地更新调查等领域的重要任务之一。
近年来，随着深度学习技术的发展和光学遥感数据的增加，已经提出了许多基于深度学习的变化检测方法，由于其强大的自动特征提取能力，这些方法优于基于手工特征的传统变化检测方法。由于卷积运算具有较强的局部建模能力，在现有的基于深度学习的变化检测方法中，卷积神经网络被广泛应用于遥感图像特征的提取。然而，由于卷积运算固有的局部特征提取能力和有限的感受野，基于纯卷积结构的方法难以从全局角度理解变化规律，难以区分双时相图像在不同成像条件(如光照变化和大气环境)干扰下的真实变化和伪变化。
发明内容
为了实现高分辨率遥感图像变化检测，本发明提供一种结合Transformer和CNN的高分辨率遥感图像变化检测方法，具体包括以下步骤：
将成对的双时遥感图像裁剪到固定尺寸，并对裁剪后的图像进行预处理；
构建卷积神经网络分支、Transformer分支、自适应特征融合模块以及Decoder分支；
将预处理后的双时遥感图像利用Transformer分支提取双时遥感图像的全局特征，利用卷积神经网络分支提取双时遥感图像的局部特征；
将Transformer分支各个深度的特征图以及卷积神经网络分支各个深度的特征图输入自适应特征融合模块进行特征融合，得到全局-局部特征；
将全局-局部特征输入Decoder分支进行逐层解码，将解码特征图采用分类器输出变化检测的结果。
进一步的，对裁剪后的图像进行预处理时，采用随机翻转、随机模糊、随机颜色调整进行数据增强。
进一步的，卷积神经网络分支采用ResNet50主干网络，该网络包括五个级联的单元，其中：第一个单元包括级联的卷积层、BN层、ReLU激活函数、MaxPooling层，该段原将输入的特征图进行系数为4的下采样；其他四个单元分别包括3、4、6、3个残差块，每个残差块包括1×1卷积核的卷积层、3×3卷积核的卷积层、1×1卷积核的卷积层，其中3×3卷积核的卷积层通过步长为2的卷积操作进行下采样。
进一步的，Transformer分支包括四个级联的单元，其中：第一个单元经过PatchEmbedding将图片分为Patch；其他三个单元分别经过2、2、6个VIT块，每一个VIT块包括Transformer中的Encoder，每一个阶段还包括一个系数为2的下采样，使每次输出特征图为输入的1/2。
进一步的，Transformer分支中的VIT块采用双流交叉注意力机制，即将双时遥感图像的两张图像作为VIT块的输入，对两张图像的处理包括以下步骤：
获取双时遥感图像中第一图像的第一查询向量Q1、第一键向量K1、第一值向量V1，第二图像的第二查询向量Q2、第二键向量K2、第二值向量V2；
将第一查询向量Q1与第二键向量K2相乘后进行softmax操作后，再与第二值向量V2乘，得到两张图像的第一差分特征；
将第一差分特征与第一值向量Q1相减，得到第一图像为主导的差异特征，并将该差异特征作为下一级的输入；
将第二查询向量Q2与第一键向量K1相乘后进行softmax操作后，再与第一值向量V1乘，得到两张图像的第二差分特征；
将第二差分特征与第二值向量Q1相减，得到第二图像为主导的差异特征，并将该差异特征作为下一级的输入。
优选的，第一个VIT块将输入当前单元的双时遥感图像作为输入，其后续级联VIT块将上一级输出的两张特征图像作为输入。
进一步的，自适应特征融合模块进行融合时，具体包括以下步骤：
通过逐元素求和来集成来自局部分支和全局分支的特征，然后通过全局平均池化运算将集成的特征嵌入到通道空间中；
使用两个全连接层分别在通道嵌入特征的帮助下为局部分支和全局分支生成两个自适应注意力权重；
通过使用注意力权重来融合全局和局部特征。
进一步的，Decoder分支包括五个单元，每个单元包括上采样操作、将特征通道数减半的卷积层、两个3×3卷积层，每个卷积后面都有一个ReLU；在最后一个单元使用1×1卷积将特征向量映射到2。
本发明还提供一种结合Transformer和CNN的高分辨率遥感图像变化检测装置，用于实现一种结合Transformer和CNN的高分辨率遥感图像变化检测方法，包括属于预处理模块、卷积神经网络分支、Transformer分支、自适应特征融合模块以及Decoder分支，其中：
预处理模块，用于对输入的双时遥感图像裁剪到固定尺寸，对裁剪后的图像进行图像增强；
卷积神经网络分支，用于提取双时遥感图像中的全局特征；
Transformer分支，用于提取双时遥感图像中的局部特征；
自适应特征融合模块，用于将全局特征和局部特征进行融合，得到全局-局部特征；
Decoder分支，用于根据全局-局部特征判断双时遥感图像是否存在变化。
本发明的有益效果在于：
1)本发明提出一种结合Transformer和CNN的高分辨率遥感图像变化检测方法，该方法可以准确地检测出双时相图像发生变化的区域；
2)本方法利用卷积神经网络提取图像局部特征，利用Transformer提取图像全局特征，利用自适应特征融合模块将全局特征和局部特征进行融合，使提取的特征能更好的表达图像信息。
附图说明
图1为一种结合Transformer和CNN的高分辨率遥感图像变化检测方法的整体流程示意图；
图2为Transformer-CNN模型结构示意图；
图3为自适应特征融合模块结构示意图；
图4为Transformer分支中的双流cross attention的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种结合Transformer和CNN的高分辨率遥感图像变化检测方法，具体包括以下步骤：
将成对的双时遥感图像裁剪到固定尺寸，并对裁剪后的图像进行预处理；
构建卷积神经网络分支、Transformer分支、自适应特征融合模块以及Decoder分支；
将预处理后的双时遥感图像利用Transformer分支提取双时遥感图像的全局特征，利用卷积神经网络分支提取双时遥感图像的局部特征；
将Transformer分支各个深度的特征图以及卷积神经网络分支各个深度的特征图输入自适应特征融合模块进行特征融合，得到全局-局部特征；
将全局-局部特征输入Decoder分支进行逐层解码，将解码特征图采用分类器输出变化检测的结果。
在本发明中，采用LEVIR数据集，首先对LEVIR数据集进行剪切，原始数据集图片大小为1024×1024，将图片裁剪为224×224，形成固定大小的图像。然后初始化整个网络的参数，用有标签的数据训练网络，损失函数使用分类损失函数，不断调整参数训练出网络模型。
本次使用的LEVIR数据集是通过Geogle Earth API，收集了637个大小为1024×1024像素的非常高分辨率Geogle Earth(GE)图像patch对，这些双时相图像来自美国德克萨斯州几个城市的20个不同地区，收集时间从2002年到2018年。
图1为本发明基于Transformer和CNN的高分辨率遥感图像变化检测方法的整体流程示意图，如图1所示，本发明方法具体包括以下步骤：
S1：数据的预处理，将成对的双时相像遥感图像I1、I2裁剪到固定尺寸，将其分为训练集、验证集和测试集；
原始数据集是包含637对1024×1024的双时像高分辨率遥感图像，将数据集裁剪为224×224大小的图像，共裁剪为15925对224×224的图像，并将数据划分为训练集、验证集和测试集。
S2：构建卷积神经网络分支、Transformer分支、自适应特征融合模块以及Decoder分支；
其中卷积神经网络分支采用ResNet50骨干网络，将ResNet50中的几个阶段的卷积通道维度调整为[8,16,32,64,256]以适应Transformer中的通道维度。Transformer分支包含4个阶段，Transformer深度为[2,2,6,2]，Embedding维度选取为48。自适应模块的结构示意图如图3所示，自适应模块利用卷积特征和Transformer特征分别生成两个权重矩阵，分别与卷积特征和Transformer特征进行矩阵相乘后，将特征矩阵相加，生成最终融合的全局-局部特征。解码器采用Unet的解码器，每一个Decoder block包含两个卷积层，然后采用一个上采样模块将尺寸扩大到两倍。
S3：将处理好的双时相遥感图像利用Transformer分支和卷积神经网络分支分别提取I1与I2时相的全局特征与局部特征。
S4：将ResNet50骨干网络的五个阶段不同深度的特征图以及Transformer分支四个阶段的不同尺度特征图分别送入自适应融合模块，充分利用来自Transformer与卷积神经网络的全局-局部特征，将融合的特征分别送入Decoder分支进行逐层解码。
S5：将最终得到的解码特征图采用分类器产生最终二值变化图。
如图2，本实施例分钟包括卷积神经网络分支(CNN分支)、Transformer分支，两个分支分别对双时遥感图像进行处理，
本实施例还提供另一种具体实施方式，本实施中一种结合Transformer和卷积神经网络的高分辨率遥感图像变化检测方法，包括以下步骤：
S1：将成对的双时相像遥感图像I1、I2裁剪到固定尺寸，将其分为训练集、验证集和测试集，同时进行数据的预处理；具体地，双时相高分辨率遥感图像裁剪到224×224的固定尺寸，对训练集的图像，采取随机翻转、随机模糊、随机颜色调整进行数据增强。
S2：构建卷积神经网络分支、Transformer分支、自适应特征融合模块以及Decoder分支；其中卷积神经网络分支采用ResNet50骨干网络，其包括五个阶段(每个阶段即图2中CNN BLOCK)；Transformer分支采用4个阶段的VIT网络(每个VIT网络即图2中VIT BLOCK)；Decoder分支采用UNet网络中的Decoder分支(Decoder分支包括多个如图2所示的DeBLOCK和Classifier，本实施例中Decoder分支采用了签约连接，即前四个DeBLOCK分别与卷积神经网络分支中前四层CNN BLOCK、Transformer分支的VIT BLOCK跳跃连接，Classifier层与卷积神经网络分支的最后一层跳跃连接)，其包含5个阶段，每个阶段采用双线性插值进行上采样。具体地，各个分支的具体结构如下：
1)对于卷积神经网络分支，采用ResNet50主干网络，其包含五个阶段，起始阶段包括：卷积层、BN层、ReLU激活函数、MaxPooling层，将输入进行系数为4的下采样；之后的四个阶段均为分别经过3、4、6、3个残差块，每个残差块包括：1×1卷积核的卷积层、3×3卷积核的卷积层、1×1卷积核的卷积层。其中3×3卷积核的卷积层通过步长为2的卷积操作进行下采样。
2)对于Transformer分支，一共包含四个阶段。首先图像经过Patch Embedding将图片分为Patch；之后的三个阶段分别经过2、2、6个VIT块，每一个VIT块只包含Transformer中的Encoder，每一个阶段还包括一个系数为2的下采样，使每次输出特征图为输入的1/2。
3)自适应特征融合模块，自适应特征融合模块包含三个步骤：特征集成、注意力计算和特征选择。首先，自适应融合模块通过逐元素求和来集成来自局部分支和全局分支的特征，然后通过全局平均池化运算将集成的特征嵌入到通道空间中。接下来，使用两个全连接层分别在通道嵌入特征的帮助下为局部分支和全局分支生成两个自适应注意力权重。最后，通过使用注意力权重来融合全局和局部特征。
4)对于Decoder分支，Decoder分支一共包括五个阶段，Decoder分支中的每一阶段都包括特征图的上采样，然后是将特征通道数量减半的卷积层，两个3x3卷积，每个卷积后面都有一个ReLU。在最后一层，使用1x1卷积将特征向量映射到2，由此产生二值变化检测图。
Transformer分支中的VIT块采用双流交叉注意力机制，即将双时遥感图像的两张图像作为VIT块的输入，如图4，对两张图像的处理包括以下步骤：
获取双时遥感图像中第一图像的第一查询向量Q1、第一键向量K1、第一值向量V1，第二图像的第二查询向量Q2、第二键向量K2、第二值向量V2；
将第一查询向量Q1与第二键向量K2相乘后进行softmax操作后，再与第二值向量V2乘，得到两张图像的第一差分特征；
将第一差分特征与第一值向量Q1相减，得到第一图像为主导的差异特征，并将该差异特征作为下一级的输入；
将第二查询向量Q2与第一键向量K1相乘后进行softmax操作后，再与第一值向量V1乘，得到两张图像的第二差分特征；
将第二差分特征与第二值向量Q1相减，得到第二图像为主导的差异特征，并将该差异特征作为下一级的输入。
S3：将处理好的双时相遥感图像利用Transformer分支和卷积神经网络分支分别提取I1与I2时相的全局特征与局部特征。具体包括以下步骤：
1)提取双时相图像I1、I2的全局特征。将裁剪为224×224的双时相图像利用PatchEmbedding将图片划分为4×4的Patch，然后分别经过2、2、6个VIT块提取多个不同尺度的特征图。在全局特征提取分支，共提取4个不同尺度特征图。
2)提取双时相图像I1、I2的局部特征。将大小为224×224的双时相图像直接传入到未加载预训练模型的ResNet50骨干网络中，为了方便与全局特征分支特征进行融合，本发明将ResNet50骨干网络中特征提取通道维度减小到8,16,32,64,128,256。在局部特征提取分支，共提取5个阶段不同尺度特征图。
S4：将ResNet50骨干网络的五个阶段不同深度的特征图以及Transformer分支四个阶段的不同尺度特征图分别送入自适应融合模块，充分利用来自Transformer与卷积神经网络的全局-局部特征，将融合的特征分别送入Decoder分支进行逐层解码。具体包括以下步骤：
1)将Transformer分支和卷积分支分别提取的全局特征与局部特征送入自适应特征融合模块中，自适应特征模块见附图。自适应特征融合模块首先将双时相图像的全局特征与局部特征分别concat起来，然后将concat之后的全局特征和局部特征矩阵进行相加的操作，然后通过全局平均池化操作后，分别用两个全连接层生成两个可学习的权重矩阵分别与concat之后的全局特征与局部特征矩阵相乘后，将最终结果相加得到最终的融合后特征。
2)解码器采用Unet的解码器，每一个Decoder block包含两个卷积层，然后采用一个上采样模块将尺寸扩大到两倍。
S5：将最终得到的解码特征图采用分类器产生最终二值变化图。具体地，对于步骤4中最终产生的特征图，构建一个分类器，在通道维度进行二分类，产生最终的二值变化图。分类器具体实现为：使用一个2D卷积，进行通道维度的变换，以产生最终的二值变化图。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种结合Transformer和CNN的高分辨率遥感图像变化检测方法，其特征在于，具体包括以下步骤：
将成对的双时遥感图像裁剪到固定尺寸，并对裁剪后的图像进行预处理；
构建卷积神经网络分支、Transformer分支、自适应特征融合模块以及Decoder分支；
将预处理后的双时遥感图像利用Transformer分支提取双时遥感图像的全局特征，利用卷积神经网络分支提取双时遥感图像的局部特征；
将Transformer分支各个深度的特征图以及卷积神经网络分支各个深度的特征图输入自适应特征融合模块进行特征融合，得到全局-局部特征；
将全局-局部特征输入Decoder分支进行逐层解码，将解码特征图采用分类器输出变化检测的结果。
2.根据权利要求1所述的一种结合Transformer和CNN的高分辨率遥感图像变化检测方法，其特征在于，对裁剪后的图像进行预处理时，采用随机翻转、随机模糊、随机颜色调整进行数据增强。
3.根据权利要求1所述的一种结合Transformer和CNN的高分辨率遥感图像变化检测方法，其特征在于，卷积神经网络分支采用ResNet50主干网络，该网络包括五个级联的单元，其中：第一个单元包括级联的卷积层、BN层、ReLU激活函数、MaxPooling层，该段原将输入的特征图进行系数为4的下采样；其他四个单元分别包括3、4、6、3个残差块，每个残差块包括1×1卷积核的卷积层、3×3卷积核的卷积层、1×1卷积核的卷积层，其中3×3卷积核的卷积层通过步长为2的卷积操作进行下采样。
4.根据权利要求1所述的一种结合Transformer和CNN的高分辨率遥感图像变化检测方法，其特征在于，Transformer分支包括四个级联的单元，其中：第一个单元经过PatchEmbedding将图片分为Patch；其他三个单元分别经过2、2、6个VIT块，每一个VIT块包括Transformer中的Encoder，每一个阶段还包括一个系数为2的下采样，使每次输出特征图为输入的1/2。
5.根据权利要求4所述的一种结合Transformer和CNN的高分辨率遥感图像变化检测方法，其特征在于，Transformer分支中的VIT块采用双流交叉注意力机制，即将双时遥感图像的两张图像作为VIT块的输入，对两张图像的处理包括以下步骤：
获取双时遥感图像中第一图像的第一查询向量Q1、第一键向量K1、第一值向量V1，第二图像的第二查询向量Q2、第二键向量K2、第二值向量V2；
将第一查询向量Q1与第二键向量K2相乘后进行softmax操作后，再与第二值向量V2乘，得到两张图像的第一差分特征；
将第一差分特征与第一值向量Q1相减，得到第一图像为主导的差异特征，并将该差异特征作为下一级的输入；
将第二查询向量Q2与第一键向量K1相乘后进行softmax操作后，再与第一值向量V1乘，得到两张图像的第二差分特征；
将第二差分特征与第二值向量Q1相减，得到第二图像为主导的差异特征，并将该差异特征作为下一级的输入。
6.根据权利要求1所述的一种结合Transformer和CNN的高分辨率遥感图像变化检测方法，其特征在于，自适应特征融合模块进行融合时，具体包括以下步骤：
通过逐元素求和来集成来自局部分支和全局分支的特征，然后通过全局平均池化运算将集成的特征嵌入到通道空间中；
使用两个全连接层分别在通道嵌入特征的帮助下为局部分支和全局分支生成两个自适应注意力权重；
通过使用注意力权重来融合全局和局部特征。
7.根据权利要求1所述的一种结合Transformer和CNN的高分辨率遥感图像变化检测方法，其特征在于，Decoder分支包括五个单元，每个单元包括上采样操作、将特征通道数减半的卷积层、两个3×3卷积层，每个卷积后面都有一个ReLU；在最后一个单元使用1×1卷积将特征向量映射到2。
8.一种结合Transformer和CNN的高分辨率遥感图像变化检测装置，其特征在于，用于实现权利要求1所述的一种结合Transformer和CNN的高分辨率遥感图像变化检测方法，包括属于预处理模块、卷积神经网络分支、Transformer分支、自适应特征融合模块以及Decoder分支，其中：
预处理模块，用于对输入的双时遥感图像裁剪到固定尺寸，对裁剪后的图像进行图像增强；
卷积神经网络分支，用于提取双时遥感图像中的全局特征；
Transformer分支，用于提取双时遥感图像中的局部特征；
自适应特征融合模块，用于将全局特征和局部特征进行融合，得到全局-局部特征；
Decoder分支，用于根据全局-局部特征判断双时遥感图像是否存在变化。
CN202310289429.6A 2023-03-23 2023-03-23 一种结合Transformer和CNN的高分辨率遥感图像变化检测方法及装置 Pending CN116310828A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310289429.6A CN116310828A (zh) 2023-03-23 2023-03-23 一种结合Transformer和CNN的高分辨率遥感图像变化检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310289429.6A CN116310828A (zh) 2023-03-23 2023-03-23 一种结合Transformer和CNN的高分辨率遥感图像变化检测方法及装置

Publications (1)

Publication Number Publication Date
CN116310828A true CN116310828A (zh) 2023-06-23

Family

ID=86781372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310289429.6A Pending CN116310828A (zh) 2023-03-23 2023-03-23 一种结合Transformer和CNN的高分辨率遥感图像变化检测方法及装置

Country Status (1)

Country Link
CN (1) CN116310828A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830875A (zh) * 2024-03-05 2024-04-05 山东科技大学 一种基于时空鲁棒表征提取的遥感变化检测方法
CN118212534A (zh) * 2024-05-17 2024-06-18 长江水利委员会网络与信息中心 一种双时相遥感影像的变化检测方法及系统
CN118212534B (zh) * 2024-05-17 2024-07-26 长江水利委员会网络与信息中心 一种双时相遥感影像的变化检测方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830875A (zh) * 2024-03-05 2024-04-05 山东科技大学 一种基于时空鲁棒表征提取的遥感变化检测方法
CN117830875B (zh) * 2024-03-05 2024-05-24 山东科技大学 一种基于时空鲁棒表征提取的遥感变化检测方法
CN118212534A (zh) * 2024-05-17 2024-06-18 长江水利委员会网络与信息中心 一种双时相遥感影像的变化检测方法及系统
CN118212534B (zh) * 2024-05-17 2024-07-26 长江水利委员会网络与信息中心 一种双时相遥感影像的变化检测方法及系统

Similar Documents

Publication Publication Date Title
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN111915592A (zh) 基于深度学习的遥感图像云检测方法
CN112258526A (zh) 一种基于对偶注意力机制的ct肾脏区域级联分割方法
CN113901900A (zh) 一种同源或异源遥感图像用无监督变化检测方法及系统
CN114066755B (zh) 一种基于全波段特征融合的遥感影像薄云去除方法及系统
CN112287983B (zh) 一种基于深度学习的遥感图像目标提取系统和方法
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN114926734B (zh) 基于特征聚合和注意融合的固体废弃物检测装置及方法
CN114494821A (zh) 基于特征多尺度感知与自适应聚合的遥感影像云检测方法
CN116310828A (zh) 一种结合Transformer和CNN的高分辨率遥感图像变化检测方法及装置
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN117788296B (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
CN116309348A (zh) 一种基于改进TransUnet网络的月球南极撞击坑检测方法
CN117726954B (zh) 一种遥感图像海陆分割方法及系统
CN117391938B (zh) 一种红外图像超分辨率重建方法、系统、设备及终端
CN114092803A (zh) 基于遥感图像的云检测方法、装置、电子设备及介质
CN114724023A (zh) 一种基于孪生网络的水体变化检测方法
CN114155165A (zh) 一种基于半监督的图像去雾方法
CN112633123A (zh) 一种基于深度学习的异源遥感影像变化检测方法及装置
CN116229284A (zh) 一种基于多视角和多尺度的遥感图像时空融合方法
CN113887470B (zh) 基于多任务注意力机制的高分辨率遥感图像地物提取方法
Yu et al. A hybrid model-based and data-driven approach for cloud removal in satellite imagery using multi-scale distortion-aware networks
CN113505650A (zh) 地形特征线提取方法及装置、设备
CN117576483B (zh) 基于多尺度卷积自编码器的多源数据融合地物分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination