CN111539316A - 基于双注意力孪生网络的高分遥感影像变化检测方法 - Google Patents

基于双注意力孪生网络的高分遥感影像变化检测方法 Download PDF

Info

Publication number
CN111539316A
CN111539316A CN202010319604.8A CN202010319604A CN111539316A CN 111539316 A CN111539316 A CN 111539316A CN 202010319604 A CN202010319604 A CN 202010319604A CN 111539316 A CN111539316 A CN 111539316A
Authority
CN
China
Prior art keywords
feature
pair
remote sensing
attention
feature tensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010319604.8A
Other languages
English (en)
Other versions
CN111539316B (zh
Inventor
李海峰
苑子杨
陈杰
陈力
彭剑
朱佳玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202010319604.8A priority Critical patent/CN111539316B/zh
Publication of CN111539316A publication Critical patent/CN111539316A/zh
Application granted granted Critical
Publication of CN111539316B publication Critical patent/CN111539316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于双注意力孪生网络的高分遥感影像变化检测方法，包括：将对应区域两个时相的遥感影像进行均匀无重叠裁剪成成对的子图；对每一对子图进行初步特征提取，获得特征张量对；将特征张量对同时输入到空间注意力模块和通道注意力模块中，获得判别性更好的特征张量对；对所述更好的特征张量对进行卷积降维以映射到嵌入空间；在嵌入空间中计算特征张量对每个位置点的欧式距离；通过阈值分割得到变化检测结果。本发明方法利用孪生的空间注意力机制和通道注意力机制来获取高判别性的特征表达，同时使用双重阈值损失函数来进一步筛选有效特征，强效滤除伪变化信息的遥感影像变化，从而获得了较好的高分辨率遥感影像变化检测结果。

Description

基于双注意力孪生网络的高分遥感影像变化检测方法
技术领域
本发明属于高分遥感影像变化检测技术领域，涉及基于双注意力孪生网络的高分遥感影像变化检测方法。
背景技术
遥感影像变化检测作为遥感领域的一项基本任务，研究者们针对这一任务开发了许多变化检测技术。遥感变化检测方法一般包括特征提取和变化区域判定两大部分。前者的目标是提取有意义的特征，如颜色分布、纹理特征和上下文信息。后者的目的是通过分析上述特征，利用一定的技术算法来判断多时相遥感图像中的变化区域。我们根据这些变化检测方法采用技术方法的不同，将遥感变化检测方法分为传统变化检测方法和利用深度学习的变化检测方法两类。
传统的变化检测方法主要以成对像素或对象的特征差值和比值作为输入，通过确定阈值来检测变化。传统的遥感影像变化检测方法根据其研究对象的不同可以分为两类：基于像素的变化检测方法和基于对象的变化检测方法。基于像素的变化检测方法通常是通过直接比较像素的光谱信息或者纹理信息来生成差异图，再通过阈值分割或者聚类的方法得到最终的变化结果图。这种方法尽管操作简单，但是忽略了空间上下文信息，处理过程中产生了大量的噪声。另一类方法首先将遥感影像分割成不相交的对象，利用影像中丰富的光谱，纹理，结构和几何信息，对不同时相影像进行差异性分析。该类方法虽然利用了高分辨率遥感影像的空间上下文信息，但是传统的手工特征提取复杂且鲁棒性差。
基于深度学习的遥感变化检测方法的是利用深度神经网络从多时相影像中提取出的特征来发现地物的变化信息。在自然图像变化检测领域，深度学习方法表现优异。在遥感领域，也出现了利用深度学习的思想来进行变化检测研究。这些方法大体上上可以分为两类，一类方法将变化前后的图像进行融合，之后将其输入到一个全卷积结构的网络中，通过最大化边界来检测变化而不是对变化进行直接度量，另一类方法采用孪生网络的思想，通过对变化前后的影像提取出的特征对之间的距离进行度量来对检测变化。
然而，现有的方法还存在一个基本的问题，就是对伪变化缺乏抵御能力。伪变化问题是遥感变化领域中存在的一个非常普遍的问题，由于多时相数据成像时间，传感器等不同，同一地物会呈现出很大的成像差异，这种差异会使得目前的方法将未变化区域错认为变化，从而严重影响变化检测的精度。
发明内容
本发明的目的在于提供基于双注意力孪生网络的高分遥感影像变化检测方法，本发明方法利用空间注意力机制和通道注意力机制来获取高判别性的特征表达，同时使用双重阈值损失函数来进一步筛选有效特征，强效滤除伪变化信息的遥感影像变化，从而获得了较好的高分辨率遥感影像变化检测结果。
本发明的目的是这样实现的，基于双注意力孪生网络的高分遥感影像变化检测方法，包括以下步骤：
步骤1，将对应区域两个时相的遥感影像进行均匀无重叠裁剪成成对的子图；
步骤2，对每一对子图进行初步特征提取，获得特征张量对Ft0和Et1；
步骤3，将特征张量对Ft0和Ft1同时输入到空间注意力模块和通道注意力模块中，通过这两个注意力模块捕捉长范围依赖，并对两个模块输出特征张量逐元素求和运算，获得判别性更好的特征张量对a_Ft0和a-Ft1；
步骤4，对所述的特征张量对a_Ft0和a_Ft1进行卷积降维以映射到嵌入空间；
步骤5，在嵌入空间中计算特征张量对a_Ft0和a_Ft1中每个位置点的欧式距离，利用提出的双重阈值损失函数拉近未发生变化区域获得的特征张量对之间的距离，拉远发生变化区域获得的特征张量对之间的距离；
步骤6，对计算特征张量对欧氏距离的结果矩阵上采样还原成原始输入图像大小，通过阈值分割得到变化检测结果。
具体地，步骤1中所述的裁剪过程为：尺寸M×N的大范围遥感影像对It0和It1被均匀无重叠的滑动裁剪成2×m×n个子图，每个子图的尺寸为
Figure BDA0002460861220000031
步骤2中所述的初步特征提取，采用预训练好的深度卷积模型将对每一对子图进行特征提取，得到对应的一对特征张量，遥感影像对It0和It1被转换为特征张量对Ft0和Ft1：
Figure BDA0002460861220000032
其中C为特征张量的通道数，h为特征张量高度，w为特征张量宽度。
具体地，步骤3中所述的空间注意力模块用于生成空间远程上下文信息的新特征，通道注意力模块用于捕获通道维度中的长范围上下文信息。
更进一步地，使用所述的空间注意力模块，包括以下步骤：步骤301，生成一个空间注意矩阵，该矩阵对特征的任意两个像素之间的空间关系进行建模；步骤302，在空间注意力矩阵和原始特征之间执行矩阵乘法；步骤303，对步骤302中乘得的矩阵和原始特征执行逐元素求和运算来获得具有长范围上下文信息的特征表达；使用通道注意力模块，包括以下步骤：步骤304，在通道维度中计算通道注意力矩阵，步骤305，在通道注意力矩阵和原始特征之间执行矩阵乘法；步骤306，在步骤305中乘得的矩阵和原始特征执行逐元素求和运算；在此之后，将两个注意力模块的输出汇总在一起，以获得更好的特征表达。
具体地，步骤4通过尺寸为1×1的卷积层来对步骤3得到的a_Ft0和a_Ft1进行降维操作，并将a_Ft0和a_Ft1映射到特征空间。
具体地，在步骤5中所述的双重阈值损失函数的表达式为：
Figure BDA0002460861220000041
其中L代表双重阈值损失函数，di，j表示特征对a_Ft0和a_Ft1的在(i，j)处特征向量之间的距离，i≤h，j≤w，y∈{0，1}，当yi，j＝0是代表图像对I1与I2在(i，j)处未发生变化，当yi，j＝1是代表图像对I1与I2在(i，j)处发生了变化；m1，m2分别表示未变化样本对和变化样本对的阈值，w1和w2分别表示对未变化特征对和变化的特征对的权重。
在步骤6中采用利用值从0到1变化的简单的欧式距离度量，并采用双边上采样方法，使用合适的阈值分割，获得最终的变换检测结果图。
本发明方法针对现阶段的遥感影像变化检测方法无法有效抵抗伪变化的干扰，设计了一个可以通过提升获取遥感影像特征质量来降低伪变化干扰的变化检测模型，模型可大致分为三个部分：卷积模块初步特征提取部分，双注意力模块捕捉长范围依赖部分和嵌入空间距离度量部分，通过本发明方法能够实现双时相遥感影像较好的变化检测结果，对遥感影像中的地震灾害发生点，建筑物变化，土地使用类型改变等有较好的识别能力。
附图说明
图1是本发明方法的流程示意图；
图2是本发明方法实施例的流程示意图；
图3是本发明实施例中空间注意力模块的结构示意图；
图4是本发明实施例中通道注意力模块的结构示意图.
具体实施方式
下面结合实施例和附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
如图1所示，基于双注意力孪生网络的高分遥感影像变化检测方法，包括以下步骤：
步骤1，将对应区域两个时相的遥感影像进行均匀无重叠裁剪成成对的子图；
步骤2，对每一对子图进行初步特征提取，获得特征张量对Ft0和Ft1；
步骤3，将特征张量对Ft0和Ft1同时输入到空间注意力模块和通道注意力模块中，通过这两个注意力模块捕捉长范围依赖，并对两个模块输出特征张量逐元素求和运算，获得判别性更好的特征张量对a_Ft0和a_Ft1；
步骤4，对所述的特征张量对a_Ft0和a_Ft1进行卷积降维以映射到嵌入空间；
步骤5，在嵌入空间中计算特征张量对a_Ft0和a_Ft1中每个位置点的欧式距离，利用提出的双重阈值损失函数拉近未发生变化区域获得的特征张量对之间的距离，拉远发生变化区域获得的特征张量对之间的距离；
步骤6，对计算特征张量对欧氏距离的结果矩阵上采样还原成原始输入图像大小，通过阈值分割得到变化检测结果。
在本实施例中提出的双注意力机制全卷积深度孪生网络，其基本的流程网络结构如图2所示。
具体地，步骤1中所述的裁剪过程为：尺寸M×N的大范围遥感影像对It0和It1被均匀无重叠的滑动裁剪成2×m×n个子图，每个子图的尺寸为
Figure BDA0002460861220000061
具体地，步骤2中所述的初步特征提取，采用预训练好的深度卷积模型将对每一对子图进行特征提取，得到对应的一对特征张量，遥感影像对It0和It1被转换为特征张量对Ft0和Ft1：
Figure BDA0002460861220000062
其中C为特征张量的通道数，h为特征张量高度，w为特征张量宽度。
为了模拟出局部特征丰富的上下文关系，本实施例引入了一个空间注意力模块。空间注意力模块将更大距离的上下文信息编码为局部特征，从而增强了它们的表达能力。
如图3所示，将通过全卷积网络得到的特征
Figure BDA0002460861220000063
输入到3个结构相同的卷积层中得到3个新的特征Fa，Fb和Fc，新的特征
Figure BDA0002460861220000064
之后将Fa和Fb重塑成RC×N的形状，其中N＝h×w，再对Fa进行变形操作，之后将Fa和Fb做矩阵乘法，并通过一个softmax层来获取空间注意图Fs∈RN×N。
Figure BDA0002460861220000071
Fsji用于衡量第i位置的特征对于第j位置特征的影响，当这两个特征之间的联系越强，那么Fsji值就会越大。
将Fb重塑成RC×N的形状并与得到的Fs进行矩阵乘法，把它们进行矩阵乘法得到的结果与F进行矩阵加法，来得到最终的结果Fpa。
Figure BDA0002460861220000072
其中α初始化为0，并逐渐学会分配更多的权重。每个位置上的结果特征是所有位置上的特征与原始特征的加权求和之后的结果。因此，它具有全局上下文视图，并根据空间注意力图选择性地聚合上下文。相似的语义特征相互促进，从而提高了类内的紧凑性和语义一致性，使网络对于变化与伪变化有了更好地辨别能力。
高级特征的每个通道映射可以被视为对特定地物的响应，并且不同的语义响应彼此相关联。通过利用通道映射之间的相关性，可以增强相互依赖的特征映射并改进特定语义的特征表示，从而更好地区分变化。因此，我们构建了一个通道注意力模块，以明建立通道之间的相互关系。
如图4所示，与空间注意力模块不同的是，在通道注意力模块中，不使用卷积操作来得到新的特征图，而是直接将通过全卷积网络得到的特征
Figure BDA0002460861220000073
进行重塑成RC×N，其中N＝h×w，之后将重塑后的F和经过重塑以及变形的F做矩阵乘法，并通过一个softmax层来获取频道注意图Fx∈RC×C。
Figure BDA0002460861220000074
Fxji可以用于衡量第i个通道对于第j个通道的影响，同样的，当这两个通道之间的联系越强，那么Fxji值就会越大。
将F重塑成RC×N的形状并与得到的Fx进行矩阵乘法，把它们进行矩阵乘法得到的结果与F进行矩阵加法，来得到最终的结果Fca。
Figure BDA0002460861220000081
其中β初始化为0，并逐渐学会分配更多的权重，每个通道的最终特征是所有通道的特征与原始特征的加权求和的结果，该特征对特征图之间的长期语义依赖性进行建模。它增强了特征的可识别性，突出了变化区域的特征表达。
具体地，步骤3中所述的空间注意力模块用于生成空间远程上下文信息的新特征，包括以下步骤：步骤301，生成一个空间注意矩阵，该矩阵对特征的任意两个像素之间的空间关系进行建模；步骤302，在空间注意力矩阵和原始特征之间执行矩阵乘法；步骤303，对步骤302中得到的矩阵和原始特征执行逐元素求和运算来获得具有长范围上下文信息的特征表达；通道注意力模块捕获通道维度中的长范围上下文信息，包括以下步骤：步骤304，在通道维度中计算通道注意力矩阵，步骤305，在通道注意力矩阵和原始特征之间执行矩阵乘法；步骤306，在步骤305中得到的矩阵和原始特征执行逐元素求和运算；在此之后，将两个注意力模块的输出汇总在一起，以获得更好的特征表达。
具体地，步骤4通过尺寸为1×1的卷积层来对步骤3得到的a_Ft0和a_Ft1进行降维操作，并将a_Ft0和a_Ft1映射到特征空间；
传统的对比损失函数只有当未变化的特征对之间的距离为0时才不会对loss值做出贡献。然而，遥感变化检测任务中未变化区域受到各种成像条件的影响，成像差异有时非常巨大，由此出现的大量噪声变化会使得未变化特征对之间的距离难以被优化至0。而变化的特征对只有其距离大于一个阈值时才会对损失函数做出贡献，由此造成了训练过程中的惩罚度不平衡，影响网络对于变化与否的判断。除此之外，遥感变化检测任务中未变化区域远远大于变化区域，因此未变化样本和变化样本本身就存在很严重的失衡问题。针对这些问题，本发明提出了双重阈值损失函数。
具体地，在步骤5中所述的双重阈值损失函数的表达式为：
Figure BDA0002460861220000091
其中L代表双重阈值损失函数，di，j表示特征对a_Ft0和a_Ft1的在(i，j)处特征向量之间的距离，i≤h，j≤w，y∈{0，1}，当yi，j＝0是代表图像对I1与I2在(i，j)处未发生变化，当yi，j＝1是代表图像对I1与I2在(i，j)处发生了变化；m1，m2分别表示未变化样本对和变化样本对的阈值，w1和w2分别表示对未变化特征对和变化的特征对的权重。
具体地，在步骤6中采用利用值从0到1变化的简单的欧式距离度量，并采用双边上采样方法，使用合适的阈值分割，获得最终的变换检测结果图。
本实施例中的实验在Change Detection Dataset(CDD)和Building ChangeDetection Dataset(BCDD)数据集上进行实验验证了我们的所提出的方法的效果。
首先是对网络结构的设计，在网络结构选择上，本实验选择VGG16的网络结构。只保留了前5个卷积模块并去掉最后一个模块的最大池化层。在前5个卷积模块中，卷积核的大小均为3×3。在该结构之后依次加入空间注意力模块和通道注意力模块组成双注意力模块，并在最后加入一个嵌入层。我们使用预训练的参数初始化网络来更好地提取特征。
在损失函数设计方面，为了平衡训练过程中变化区域样本和未变化区域样本对网络的影响我们设置了四个参数，以降低未变化区域样本对网络的贡献度，增强网络对变化区域的识别能力。参数w1和参数w2的值是数据集中的变化区域和未变化区域的像素比值，参数m1和参数m2需要手工调整，来使模型达到最好的表现。
(1)数据预处理
CDD数据集是一份公开的遥感影像数据集。该数据集中有11个图像对，包括7对尺寸为4725×2200像素的季节变化图像和4对尺寸为1900×1000像素的图像。CCD数据集由多源遥感图像组成，分辨率从每像素3厘米到100厘米不等，其中双时相图像之间的季节变化很大。我们对该数据集中的遥感影像进行随机裁剪和旋转操作，将其制作成一份包含16000对256*256大小的影像的数据集，其中训练集有10000对，验证集和测试集分别有3000对。BCDD数据集覆盖了2011年2月在新西兰基督城发生的6.3级地震的区域。该数据集包含2012年和2016年在同一位置采集的两个图像场景，以及建筑物的语义标签和变化检测标签。由于图像的大小为32507×15354像素，本实验将两个图像均分成不重叠的256×256像素的图像对，最后分别形成了训练集，验证集和测试集，分别包含6096、762和762对图像。
(2)特征提取
将对应的变化前后影像成对的输入到本方法设计的神经网络当中，通过神经网络对特征进行提取。神经网络所提取到的特征不仅包含颜色、纹理等特征信息，还会提取到网络的高级语义特征。利用双注意力机制对长范围依赖的优秀捕捉能力，提高提取特征的判别性。
(3)优化损失函数
将提取到的特征映射到特征空间，逐像素计算从变化前和变化后提取到的特征之间的距离。通过参数更新，来使得未变化特征之间的距离尽可能小，变化特征之间的距离尽可能大。
(4)结果输出
当损失函数的值稳定的时候，表明神经网络已经训练完成。此时将未参与训练的图片对输入网络，通过合适的阈值分割，得到最后的变化结果图。
为了验证所提出方法的有效性，本实验采用4个评价指标，分别是precision(P)，recall(R)，f1score(f1)和OA(Overall Accuracy)。在变化检测任务中，precision的值越大，就代表预测结果误检越少；recall的值越大，则表示预测结果漏检少。f1score和OA是对预测结果的整体评价，它们的值越大，表示得到的预测结果越好。
在CDD数据集上对本发明方法改进的损失函数进行实验并采用precision，recall，F1 score和OA作为判定指标来评价性能。通过实验结果可以看到，在保持其他的实验条件不变的情况下，所提出的损失函数相比较传统的对比损失函数，recall和f1 score分别提升了7.4％和3.3％，同时OA也提升了0.6％。因此本发明方法所提出的损失函数更好地提升网络的性能。。
另外，在CDD数据集上，本发明方法提出的双注意力模块也使得模型得到了综合提升，与baseline Siamese net(以vgg16为基础框架的双生网络)相比，添加了通道注意力模块的网络的recall，precision，f1score和OA分别为0.919，0.901，0.910，0.978，分别提高了2.3％，1.3％，1.8％以及0.5％；添加了空间注意力模块的网络的recall，precision，f1score和OA分别为0.922，0.892，0.906，0.916.，分别提升了2.6％，0.4％，1.4％，0.3％。将两个注意力模块组合添加进入网络之后，网络的性能得到了进一步的提升，recall，precision，f1score和OA分别为0.925，0.914，0.919，0.980，分别提升了2.9％，2.6％，3.7％和0.7％。空间注意力机制和通道注意力机制对网络的精度分别均有提升。当将这两个注意力机制组合起来，充分利用特征的空间信息和通道信息，使网络综合性能有了较大的提升。
在CDD和BCDD两个数据集上，实验结果体现出本发明方法对于复杂场景中细小变化的出色识别能力；变化前后影像成像色彩差异巨大这一问题对本发明方法的影响非常有限；针对变化前后影像存在非常多的伪变化干扰这一问题，本发明方法有很好的鲁棒性。对比目前的变化检测方法，本发明方法的f1 score在CDD数据集上有了2.1％的提升，在BCDD数据集上有了3.6％的提升。
由本实施例和发明内容可知，本发明提出了一种针对高分遥感影像变化检测的双注意力机制全卷积深度孪生网络，通过学习隐式度量直接对变化进行度量。为了使得未变化特征之间的距离尽可能小，变化特征之间的距离尽可能大，采用空间注意力和通道注意力来获取更好的特征表达，并使用改进的损失函数来学习更好的隐式度量，利用更好的特征表达来减少伪变化的影响。与其他基线的方法相比，本发明方法在在CCD和BCDD两个数据集上都取得优异的表现。表明孪生网络结构能够很好的学习到遥感影像中的变化表征，和注意力机制能够很好的刻画变化中的局部特征并滤除伪变化信息。

Claims (7)

1.基于双注意力孪生网络的高分遥感影像变化检测方法，其特征在于，包括以下步骤：
步骤1，将对应区域两个时相的遥感影像进行均匀无重叠裁剪成成对的子图；
步骤2，对每一对子图进行初步特征提取，获得特征张量对Ft0和Ft1；
步骤3，将特征张量对Ft0和Ft1同时输入到空间注意力模块和通道注意力模块中，通过这两个注意力模块捕捉长范围依赖，并对两个模块输出特征张量逐元素求和运算，获得判别性更好的特征张量对a_Ft0和a_Ft1；
步骤4，对所述的特征张量对a_Ft0和a_Ft1进行卷积降维以映射到嵌入空间；
步骤5，在嵌入空间中计算特征张量对a_Ft0和a_Ft1中每个位置点的欧式距离，利用提出的双重阈值损失函数拉近未发生变化区域获得的特征张量对之间的距离，拉远发生变化区域获得的特征张量对之间的距离；
步骤6，对计算特征张量对欧氏距离的结果矩阵上采样还原成原始输入图像大小，通过阈值分割得到变化检测结果。
2.根据权利要求1所述的高分遥感影像变化检测方法，其特征在于，步骤1中所述的裁剪过程为：尺寸M×N的大范围遥感影像对It0和It1被均匀无重叠的滑动裁剪成2×m×n个子图，每个子图的尺寸为
Figure FDA0002460861210000011
步骤2中所述的初步特征提取，采用预训练好的深度卷积模型将对每一对子图进行特征提取，得到对应的一对特征张量，遥感影像对It0和It1被转换为特征张量对Ft0和Ft1：
Figure FDA0002460861210000012
其中C为特征张量的通道数，h为特征张量高度，w为特征张量宽度。
3.根据权利要求2所述的高分遥感影像变化检测方法，其特征在于，步骤3中所述的空间注意力模块用于生成空间远程上下文信息的新特征，通道注意力模块用于捕获通道维度中的长范围上下文信息。
4.根据权利要求3所述的高分遥感影像变化检测方法，其特征在于，使用所述的空间注意力模块，包括以下步骤：步骤301，生成一个空间注意矩阵，该矩阵对特征的任意两个像素之间的空间关系进行建模；步骤302，在空间注意力矩阵和原始特征之间执行矩阵乘法；步骤303，对步骤302中乘得的矩阵和原始特征执行逐元素求和运算来获得具有长范围上下文信息的特征表达；使用通道注意力模块，包括以下步骤：步骤304，在通道维度中计算通道注意力矩阵，步骤305，在通道注意力矩阵和原始特征之间执行矩阵乘法；步骤306，在步骤305中乘得的矩阵和原始特征执行逐元素求和运算；在此之后，将两个注意力模块的输出汇总在一起，以获得更好的特征表达。
5.根据权利要求2或3所述的高分遥感影像变化检测方法，其特征在于，步骤4通过尺寸为1×1的卷积层来对步骤3得到的a_Ft0和a_Ft1进行降维操作，并将a_Ft0和a_Ft1映射到特征空间。
6.根据权利要求5所述的高分遥感影像变化检测方法，在步骤5中所述的双重阈值损失函数的表达式为：
Figure FDA0002460861210000021
其中L代表双重阈值损失函数，di，j表示特征对a_Ft0和a_Ft1的在(i，j)处特征向量之间的距离，i≤h，j≤w，y∈{0,1}，当yi，j＝0是代表图像对I1与I2在(i，j)处未发生变化，当yi，j＝1是代表图像对I1与I2在(i，j)处发生了变化；m1，m2分别表示未变化样本对和变化样本对的阈值，w1和w2分别表示对未变化特征对和变化的特征对的权重。
7.根据权利要求6所述的高分遥感影像变化检测方法，在步骤6中采用利用值从0到1变化的简单的欧式距离度量，并采用双边上采样方法，使用合适的阈值分割，获得最终的变换检测结果图。
CN202010319604.8A 2020-04-22 2020-04-22 基于双注意力孪生网络的高分遥感影像变化检测方法 Active CN111539316B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010319604.8A CN111539316B (zh) 2020-04-22 2020-04-22 基于双注意力孪生网络的高分遥感影像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010319604.8A CN111539316B (zh) 2020-04-22 2020-04-22 基于双注意力孪生网络的高分遥感影像变化检测方法

Publications (2)

Publication Number Publication Date
CN111539316A true CN111539316A (zh) 2020-08-14
CN111539316B CN111539316B (zh) 2023-05-05

Family

ID=71979439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010319604.8A Active CN111539316B (zh) 2020-04-22 2020-04-22 基于双注意力孪生网络的高分遥感影像变化检测方法

Country Status (1)

Country Link
CN (1) CN111539316B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950493A (zh) * 2020-08-20 2020-11-17 华北电力大学 图像识别方法、装置、终端设备和可读存储介质
CN112001931A (zh) * 2020-08-24 2020-11-27 上海眼控科技股份有限公司 图像分割方法、装置、设备及存储介质
CN112085718A (zh) * 2020-09-04 2020-12-15 厦门大学 一种基于孪生注意力网络的nafld超声视频诊断系统
CN112101381A (zh) * 2020-08-30 2020-12-18 西南电子技术研究所（中国电子科技集团公司第十研究所） 张量协作图判别分析遥感图像特征提取方法
CN112101168A (zh) * 2020-09-08 2020-12-18 中电科大数据研究院有限公司 基于卫星与无人机联动的公益诉讼辅助取证系统及方法
CN112132006A (zh) * 2020-09-21 2020-12-25 西南交通大学 一种面向耕地保护的林地和建筑物智能提取方法
CN112417984A (zh) * 2020-10-29 2021-02-26 西南交通大学 基于共注意力机制的时序鲁棒遥感影像变化检测方法
CN112861931A (zh) * 2021-01-21 2021-05-28 南开大学 一种基于差异注意力神经网络的多级别变化检测方法
CN112906638A (zh) * 2021-03-19 2021-06-04 中山大学 一种基于多层次监督和深度度量学习的遥感变化检测方法
CN113177916A (zh) * 2021-04-21 2021-07-27 清华大学深圳国际研究生院 一种基于少样本学习方法的轻微高血压眼底辨别模型
CN113298056A (zh) * 2021-07-27 2021-08-24 自然资源部国土卫星遥感应用中心 多模态遥感影像变化检测方法、模型生成方法和终端设备
CN113344971A (zh) * 2021-05-21 2021-09-03 河南科技大学 一种融合卡尔曼滤波的孪生红外目标跟踪方法
CN113469072A (zh) * 2021-07-06 2021-10-01 西安电子科技大学 基于GSoP和孪生融合网络的遥感图像变化检测方法及系统
CN113505636A (zh) * 2021-05-25 2021-10-15 中国科学院空天信息创新研究院 一种基于注意力机制与全卷积孪生神经网络的矿区变化检测方法
CN113850769A (zh) * 2021-09-17 2021-12-28 南京审计大学 一种基于Siamese空谱联合卷积网络的高光谱变化检测方法
CN114005078A (zh) * 2021-12-31 2022-02-01 山东交通学院 一种基于双关系注意力机制的车辆重识别方法
CN114092817A (zh) * 2021-12-14 2022-02-25 深圳致星科技有限公司 目标检测方法、存储介质、电子设备及目标检测装置
CN114155200A (zh) * 2021-11-09 2022-03-08 二十一世纪空间技术应用股份有限公司 基于卷积神经网络的遥感影像变化检测方法
CN115240081A (zh) * 2022-09-19 2022-10-25 航天宏图信息技术股份有限公司 一种遥感影像全要素变化检测方法及装置
CN116012364A (zh) * 2023-01-28 2023-04-25 北京建筑大学 Sar图像变化检测方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766894A (zh) * 2017-11-03 2018-03-06 吉林大学 基于注意力机制和深度学习的遥感图像自然语言生成方法
US20180121731A1 (en) * 2016-11-03 2018-05-03 Nec Laboratories America, Inc. Surveillance system using adaptive spatiotemporal convolution feature representation with dynamic abstraction for video to language translation
CN108573276A (zh) * 2018-03-12 2018-09-25 浙江大学 一种基于高分辨率遥感影像的变化检测方法
WO2019032692A1 (en) * 2017-08-08 2019-02-14 Spaceknow Inc. MULTI-SPECTRAL DEEP MULTI-SPECTRAL DEEP LEARNING DETECTION DETECTION FOR SATELLITE IMAGES
CN110188685A (zh) * 2019-05-30 2019-08-30 燕山大学 一种基于双注意力多尺度级联网络的目标计数方法及系统
US20200026954A1 (en) * 2019-09-27 2020-01-23 Intel Corporation Video tracking with deep siamese networks and bayesian optimization
CN110969088A (zh) * 2019-11-01 2020-04-07 华东师范大学 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180121731A1 (en) * 2016-11-03 2018-05-03 Nec Laboratories America, Inc. Surveillance system using adaptive spatiotemporal convolution feature representation with dynamic abstraction for video to language translation
WO2019032692A1 (en) * 2017-08-08 2019-02-14 Spaceknow Inc. MULTI-SPECTRAL DEEP MULTI-SPECTRAL DEEP LEARNING DETECTION DETECTION FOR SATELLITE IMAGES
CN107766894A (zh) * 2017-11-03 2018-03-06 吉林大学 基于注意力机制和深度学习的遥感图像自然语言生成方法
CN108573276A (zh) * 2018-03-12 2018-09-25 浙江大学 一种基于高分辨率遥感影像的变化检测方法
CN110188685A (zh) * 2019-05-30 2019-08-30 燕山大学 一种基于双注意力多尺度级联网络的目标计数方法及系统
US20200026954A1 (en) * 2019-09-27 2020-01-23 Intel Corporation Video tracking with deep siamese networks and bayesian optimization
CN110969088A (zh) * 2019-11-01 2020-04-07 华东师范大学 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950493A (zh) * 2020-08-20 2020-11-17 华北电力大学 图像识别方法、装置、终端设备和可读存储介质
CN111950493B (zh) * 2020-08-20 2024-03-08 华北电力大学 图像识别方法、装置、终端设备和可读存储介质
CN112001931A (zh) * 2020-08-24 2020-11-27 上海眼控科技股份有限公司 图像分割方法、装置、设备及存储介质
CN112101381A (zh) * 2020-08-30 2020-12-18 西南电子技术研究所（中国电子科技集团公司第十研究所） 张量协作图判别分析遥感图像特征提取方法
CN112101381B (zh) * 2020-08-30 2022-10-28 西南电子技术研究所（中国电子科技集团公司第十研究所） 张量协作图判别分析遥感图像特征提取方法
CN112085718A (zh) * 2020-09-04 2020-12-15 厦门大学 一种基于孪生注意力网络的nafld超声视频诊断系统
CN112101168A (zh) * 2020-09-08 2020-12-18 中电科大数据研究院有限公司 基于卫星与无人机联动的公益诉讼辅助取证系统及方法
CN112132006A (zh) * 2020-09-21 2020-12-25 西南交通大学 一种面向耕地保护的林地和建筑物智能提取方法
CN112132006B (zh) * 2020-09-21 2022-08-26 西南交通大学 一种面向耕地保护的林地和建筑物智能提取方法
CN112417984A (zh) * 2020-10-29 2021-02-26 西南交通大学 基于共注意力机制的时序鲁棒遥感影像变化检测方法
CN112417984B (zh) * 2020-10-29 2022-07-05 西南交通大学 基于共注意力机制的时序鲁棒遥感影像变化检测方法
CN112861931A (zh) * 2021-01-21 2021-05-28 南开大学 一种基于差异注意力神经网络的多级别变化检测方法
CN112861931B (zh) * 2021-01-21 2022-04-12 南开大学 一种基于差异注意力神经网络的多级别变化检测方法、系统、介质及电子设备
CN112906638A (zh) * 2021-03-19 2021-06-04 中山大学 一种基于多层次监督和深度度量学习的遥感变化检测方法
CN113177916A (zh) * 2021-04-21 2021-07-27 清华大学深圳国际研究生院 一种基于少样本学习方法的轻微高血压眼底辨别模型
CN113344971A (zh) * 2021-05-21 2021-09-03 河南科技大学 一种融合卡尔曼滤波的孪生红外目标跟踪方法
CN113505636A (zh) * 2021-05-25 2021-10-15 中国科学院空天信息创新研究院 一种基于注意力机制与全卷积孪生神经网络的矿区变化检测方法
CN113505636B (zh) * 2021-05-25 2023-11-17 中国科学院空天信息创新研究院 一种基于注意力机制与全卷积孪生神经网络的矿区变化检测方法
CN113469072B (zh) * 2021-07-06 2024-04-12 西安电子科技大学 基于GSoP和孪生融合网络的遥感图像变化检测方法及系统
CN113469072A (zh) * 2021-07-06 2021-10-01 西安电子科技大学 基于GSoP和孪生融合网络的遥感图像变化检测方法及系统
CN113298056A (zh) * 2021-07-27 2021-08-24 自然资源部国土卫星遥感应用中心 多模态遥感影像变化检测方法、模型生成方法和终端设备
CN113850769A (zh) * 2021-09-17 2021-12-28 南京审计大学 一种基于Siamese空谱联合卷积网络的高光谱变化检测方法
CN114155200A (zh) * 2021-11-09 2022-03-08 二十一世纪空间技术应用股份有限公司 基于卷积神经网络的遥感影像变化检测方法
CN114155200B (zh) * 2021-11-09 2022-08-26 二十一世纪空间技术应用股份有限公司 基于卷积神经网络的遥感影像变化检测方法
CN114092817A (zh) * 2021-12-14 2022-02-25 深圳致星科技有限公司 目标检测方法、存储介质、电子设备及目标检测装置
CN114092817B (zh) * 2021-12-14 2022-04-01 深圳致星科技有限公司 目标检测方法、存储介质、电子设备及目标检测装置
CN114005078B (zh) * 2021-12-31 2022-03-29 山东交通学院 一种基于双关系注意力机制的车辆重识别方法
CN114005078A (zh) * 2021-12-31 2022-02-01 山东交通学院 一种基于双关系注意力机制的车辆重识别方法
CN115240081A (zh) * 2022-09-19 2022-10-25 航天宏图信息技术股份有限公司 一种遥感影像全要素变化检测方法及装置
CN115240081B (zh) * 2022-09-19 2023-01-17 航天宏图信息技术股份有限公司 一种遥感影像全要素变化检测方法及装置
CN116012364A (zh) * 2023-01-28 2023-04-25 北京建筑大学 Sar图像变化检测方法和装置
CN116012364B (zh) * 2023-01-28 2024-01-16 北京建筑大学 Sar图像变化检测方法和装置

Also Published As

Publication number Publication date
CN111539316B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN111539316B (zh) 基于双注意力孪生网络的高分遥感影像变化检测方法
CN111080629B (zh) 一种图像拼接篡改的检测方法
Chen et al. DASNet: Dual attentive fully convolutional Siamese networks for change detection in high-resolution satellite images
Guo et al. CDnetV2: CNN-based cloud detection for remote sensing imagery with cloud-snow coexistence
Chen et al. A spectral gradient difference based approach for land cover change detection
CN113887459B (zh) 一种基于改进Unet++的露天矿区采场变化区域检测方法
CN111126202A (zh) 基于空洞特征金字塔网络的光学遥感图像目标检测方法
Zhan et al. Iterative feature mapping network for detecting multiple changes in multi-source remote sensing images
CN112017192B (zh) 基于改进U-Net网络的腺体细胞图像分割方法及系统
CN113609896A (zh) 基于对偶相关注意力的对象级遥感变化检测方法及系统
Xia et al. A deep Siamese postclassification fusion network for semantic change detection
Yin et al. Attention-guided siamese networks for change detection in high resolution remote sensing images
Chen et al. Spectral unmixing using a sparse multiple-endmember spectral mixture model
CN115601661A (zh) 一种用于城市动态监测的建筑物变化检测方法
CN115937697A (zh) 一种遥感影像变化检测方法
Xie et al. Trainable spectral difference learning with spatial starting for hyperspectral image denoising
CN113095158A (zh) 一种基于对抗生成网络的笔迹生成方法及装置
CN116434069A (zh) 一种基于局部-全局Transformer网络的遥感图像变化检测方法
CN114913434A (zh) 一种基于全局关系推理的高分辨率遥感影像变化检测方法
CN114863173A (zh) 一种面向土地资源审计的自互注意力高光谱图像分类方法
CN112529828B (zh) 参考数据非敏感的遥感影像时空融合模型构建方法
CN112784777A (zh) 基于对抗学习的无监督高光谱图像变化检测方法
CN117115675A (zh) 一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质
Zhu et al. Impervious surface extraction from multispectral images via morphological attribute profiles based on spectral analysis
CN112330562A (zh) 一种异构遥感图像变换方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant