CN117576567A - 一种使用多层级差异特征自适应融合的遥感图像变化检测方法 - Google Patents
一种使用多层级差异特征自适应融合的遥感图像变化检测方法 Download PDFInfo
- Publication number
- CN117576567A CN117576567A CN202311636588.5A CN202311636588A CN117576567A CN 117576567 A CN117576567 A CN 117576567A CN 202311636588 A CN202311636588 A CN 202311636588A CN 117576567 A CN117576567 A CN 117576567A
- Authority
- CN
- China
- Prior art keywords
- level
- features
- feature
- difference
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 230000008859 change Effects 0.000 title claims abstract description 41
- 230000004927 fusion Effects 0.000 title claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 101150064138 MAP1 gene Proteins 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 239000011800 void material Substances 0.000 claims description 5
- 101100075995 Schizosaccharomyces pombe (strain 972 / ATCC 24843) fma2 gene Proteins 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 241001649081 Dina Species 0.000 claims 2
- 238000013341 scale-up Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种使用多层级差异特征自适应融合的遥感图像变化检测方法，所述方法包括以下步骤：本发明中使用膨胀邻域注意力的层次主干网络用于细化图像的边缘特征提取，使用膨胀邻域注意力可以有效扩大感受野从而保证全局注意力的计算从而捕获传统注意力主干网络不能捕获的更大物体；本发明通过差异特征增强模块来提升模型对伪变化区域和真正变化区域的鉴别能力，解决现有模型对双时相的差异特征提取能力不足的问题；本发明中通过使用一种多层级差异特征自适应融合模块使模型能够自主选择有最有价值的差异特征生成变化图；本发明在三个知名公开数据集上与知名的变化检测方法相比达到了最高水准。
Description
技术领域
本发明涉及一种使用多层级差异特征自适应融合的遥感图像变化检测方法，属于遥感图像检测技术领域。
技术背景
遥感图像变化检测是遥感的应用分支之一，遥感图像变化检测可以应用于自然资源管理、灾害监测、城市规划、环境监测、农业管理、建筑物和基础设施监测等场景。传统的遥感变化检测方法经过几十年的发展可以分为后分类方法(PCCM)、变换向量分析(CVA)方法、直接分类方法(DCM)等。然而传统的变换检测方法大都依赖于手工制作特征的方法，并且随着近些年高分辨率图像和多光谱的图像的出现使得提取到的特征信息和光谱信息更佳复杂。但是传统的变化检测方法由于对其实际场景的描述能力有限从而导致在复杂的环境下检测性能不佳。
近些年随着深度学习的兴起，将深度学习应用到遥感图像变换检测任务上已成为一种不可逆的趋势，到目前为止在基于深度学习的遥感图像变换检测任务上已经有了许多研究。Zhang等人在融合双时相特征图时通过引入通道注意力和空间注意力来解决双时相特征间的异构性问题，并提出了深度监督方法训练差异识别网络的中间层。Fang等人为了使高层特征和低层特征自然聚合,在语义分割网络UNet++的基础上设计出了SNUNet-CD并在深度监督上引入了通道注意力来抑制深度监督带来的语义鸿沟。Zheng等人提出了一种新型的暹罗CNN结构，通过在结构中引入了高频注意力块(HFAB)让模型有效的识别遥感图像中变化的建筑物。Lv等人在变化检测模型中引入了变化幅度图像(CMI)并提出了多尺度扩张卷积模块(MDCM)来帮助模型进行训练，从而提升了检测精度。
近些年随着遥感图像成像设备的发展，遥感图像的质量越来越高。超高分辨率图像逐渐被用于变换检测任务当中，但是也为当前的研究带来了挑战。由于超高分辨率遥感图像包含丰富的信息使得现有的方法无法充分地对地物信息进行特征提取从而导致变换检测的效果不佳。此外，现有使用CNN进行特征提取的变换检测方法由于CNN局部感受野的限制导致模型对大型地物的检测效果不佳。并且CNN难以处理长程依赖关系，使得其在处理复杂地物图像时的效果不佳。虽然使用Transformer来代替CNN来进行特征提取可以缓解上述问题，但是由于其较高的计算成本以及模型的较高的复杂性使其在变换检测的应用上不是很广泛。同时由于Transformer没有CNN所具有平移不变性的特点从而在处理图像的边缘和纹理上的效果不及CNN。
发明内容
针对现有方法中存在的问题，本发明的目的在于提供一种多层级差异特征自适应融合的遥感图像变化检测方法包括以下步骤：
将变化检测原数据集图片按照指定大小裁切成不重叠的子图，并划分为训练集、验证集、测试集。并且在输入进变化检测网络前进行数据增强；
将双时相数据输入进孪生编码器主干网络，通过主干网络不同层级来依次对双时相数据进行特征提取来获得多层级特征；
将主干网络在不同层级提取出的双时相特征分别输入到其分支对应的多层感知器进行初次解码后再输入进不同层级对应的增强差异特征提取模块来获取多层级差异特征；
将不同层级的差异特征上采样到同一大小后输入多层级特征自适应融合模块进行多层级差异特征融合；
将融合之后的差异特征输入进检测头，来进行像素级的遥感图像变化检测并生成检测完成后的变化预测图，迭代训练保存最好结果的模型参数；
将测试集的双时相遥感图片输入进遥感图像变化检测模型来得到对变化地物的预测。
进一步的，原数据集包括DSIFN-CD、LEVIR-CD和SYSU-CD，将上述数据集裁切成256×256大小的不重叠图片再将这些图片按照各个数据集相应的比例划分为训练集，验证集，测试集；把训练集进行随机翻转裁切等操作，并使这些图片全部归一化后输入网络。
进一步的，所述的孪生编码器主干网络为使用了空洞邻域注意力机制的层次网络，即在指定大小的滑动窗口和空洞率下进行注意力运算；更具体为将输入分辨率大小为256×256的图像进行初始下采样升维操作，即使用两个连续的步长为2填充为1的并且卷积核大小为3的卷积将输入的图像大小变成64×64，通道数从3变成128；利用经过下采样操作后得到的特征图进行层归一化后进行空洞邻域注意力运算，即在窗口大小为7且根据不同的网络层级设置的相应空洞率下进行注意力运算；将运算后得到的特征图与不进行空洞邻域注意力的特征图进行相加后依次进行层归一化和多层感知机；将前面操作迭代N次来完成该层的特征提取，N根据层级的不同而变化，主干网络共有四级，每层的N设置为3，4，18，5，将该层级提取完成后的特征使用卷积核为3的卷积进行2倍下采样并且将通道数增加一倍后传入主干网络的下一层级直至末尾。
进一步的，所述的多层级差异特征提取模块，根据上述主干网络提取到的差异特征一共有四个层级，每个层级都是对孪生主干提取到的双时相特征进行通道相连和元素级绝对值相减，再分别通过非对称卷积后进行相加，再经过全局平均池化后输入进多层感知机最后通过Sigmoid激活函数进行激活后与前面相乘后得到差异特征。
进一步的，所述的多层级自适应融合模块，具体为：将其他三个层级的差异特征上采样到与第一层级相同的分辨率，即64×64，并将这四个层级的差异特征在通道维度上拼接；将拼接后的差异特征进行通道级权重运算，即对输入的特征图分别进行全局最大池化和全局平均池化，再将两种池化操作后得到的不同特征输入进同一个多层感知机，再对通过多层感知机输出的不同特征进行相加，对相加之后的特征使用Sigmoid函数进行激活后与进行最大池化前的输入特征进行相乘来得到最后的特征图；将经过注意力运算后的特征图再输入进轻量级多尺度变化融合模块来生成多层级融合特征，即先利用卷积核大小为1的卷积进行降维，将输入的通道维度减少四分之一后同时输入进空洞率为1，6，8，12的深度可分离卷积中，最后将这四个分支输出的特征进行拼接。
进一步的，将融合后的多层级差异特征输入进检测头生成预测变化图，所述的检测头具体为，使用反卷积进行上采样将特征图尺度提升到128×128，把上采样后的特征图输入进连续的卷积核大小为3的卷积进行差异特征图解码并且添加进残差连接，再使用反卷积将特征图上采样到256×256的大小后，进行一次3×3卷积和残差连接后使用卷积来生成预测变化图。
进一步的，在网络进行监督训练时，对于此类问题我们采用交叉熵损失函数；使用深度监督的方式进行模型训练，包括前面四个层级中对增强差异特征模块输出的差异特征进行监督训练；每个层级占有的权重不同，从第一层到最后融合的输出层，每层的权重依次为0.5，0.5，0.5，0.75，1。
与现有的技术相比，本发明具有如下有益成果：
1、本发明使用了一种应用了空洞邻域注意力的孪生主干来对双时相遥感图像特征提取，使用该主干的目的是在对超高分辨率遥感图像进行特征提取时可以细化边缘信息。并且由于空洞机制的存在可以有效扩大感受野从而不会使模型忽略图像中的大物体。
2、本发明提出了一种增强差异特征提取模块，该模块充分结合了双时相特征来生成差异特征图。该模块可以更好地克服遥感图像变换检测中存在的伪变化问题。
3、本发明提出了一种多层级特征差异融合模块，通过该模块充分结合不同层级的差异特征图从而可以生成更加准确的变换图。
4、本发明在三个知名的遥感图像变化检测数据集DSIFN-CD、LEVIR-CD和SYSU-CD上验证了本发明方法的有效性。为了验证本发明的有效性，与现有的方法在多个评价指标上进行了详细对比，包括精准率、召回率、总体精度、交并比、F1分数。
附图说明
通过以下参照附图对本发明实例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本发明实施例的多层级差异特征自适应融合的遥感图像变化检测方法的流程图；
图2示意性示出了根据本发明实施例的多层级差异特征自适应融合的遥感图像变化检测方法的整体示意图；
图3示意性示出了根据本发明实施例的基于空洞邻域注意力的主干单元模块图；
图4示意性示出了根据本发明实施例的增强差异特征提取模块的网络结构图；
图5示意性示出了根据本发明实施例的非对称卷积模块的网络结构图；
图6示意性示出了根据本发明实施例的多层级差异特征自适应融合模块的网络结构图；
图7示意性示出了根据本发明实施例的通道级权重运算模块的网络结构图；
图8示意性示出了更具本发明实施例的轻量级多尺度变化融合模块的网络结构图。
具体实施方式
为了使本发明的目的、优点和技术方法更加清晰明了，以下结合具体实例进行说明。此处所描述的具体实例仅用于解释本发明，并不用于限定本发明。
如图1所示，为本发明提供的一个实施例的多层级差异特征自适应融合的遥感图像变化检测方法的步骤流程图，包括步骤S1-S6：
S1，将变化检测原数据集图片按照指定大小裁切成不重叠的子图，并划分为训练集、验证集、测试集。在输入进网络前进行数据增强。
本发明实例中，在三个公开发表的数据集上进行预处理来获取模型训练和测试时所需要的双时相数据。这些公开发表的数据集包括DSIFN-CD数据集、LEVIR-CD数据集和SYSU-CD数据集。接下来分别对这三个数据集进行介绍。
(1)DSIFN-CD数据集：
DSIFN-CD数据集公开于2020年。该数据集收集于谷歌地球中中国六大城市(北京、成都、深圳、重庆、武汉、西安)的数据。每张城市图片的分辨率从2010x1464到6542x5492不等，将北京、成都、深圳、重庆、武汉的双时相图片裁剪成分辨率大小为512x512的子图，共得到394个双时相图像对并通过数据增强将其扩充到3940，并按照9比1的比例划分训练和验证集。西安城市图片被裁切成48对用于测试集用于验证模型的泛化能力。
(2)LEVIR-CD数据集:
LEVIR-CD是在2020年发表的大型公开数据集，该数据集收集于谷歌地球。LEVIR-CD一共有637对超高分辨率图像(VHR)组成,分辨率为1024x1024。这些数据集的拍摄时间为2002年到2018年不等。由于数据集中不同的成像时间不同，所以会有季节、光照等伪变化的影响，使用该数据集会更加考验我们提出的方法。该数据集来自美国德克萨斯州多个、城市的不同区域，共包含31333个变化实例。
(3)SYSU-CD数据集:
SYS-CD数据集公开发表于2021年。SYS-CD数据集源于2007年到2014年在香港拍摄的0.5米航拍图像。SYS-CD数据集主要涵盖的变化类型有城市建筑、郊区扩张、施工前的基础工作、植被变化、道路变化、海上建设。相对于现有数据集，该数据集增加了高层建筑的变化实例和港口相关的变化实例。SYS-CD数据集最初的800个图像对经过数据增强操作后共得到20000对分辨率256X256的图像。
在本发明实例中，步骤S1具体包括步骤S11-S13。
S11，将变化检测原数据集图片按照指定大小裁切成256×256不重叠的子图；
S12，将裁切好的图片按照不同的比例划分为训练集、验证集、测试集，对于DSIFN-CD数据集，将其按照14400/1360/192的比例划分训练集，验证集，测试集；对于LEVIR-CD数据集，将其按照7120/1024/2048的比例划分训练集，验证集，测试集；对于SYSU-CD数据集，按照6：2：2的比例分成训练集、验证集和测试集；
S13，将这些数据集在输入进网络前进行随机翻转裁切数据增强后进行归一化操作。
S2，将双时相数据输入进孪生编码器主干网络，通过主干网络不同层级来依次对双时相数据进行特征提取来获得多层级特征。
如图2所示，为本发明提供了一个实施例的使用多层级差异特征自适应融合的遥感图像变化检测方法整体框架图，本发明实例中，孪生编码器主干网络分为四个部分，即不同层级的特征提取，下面将进行详细介绍。
(1)初始下采样
将输入的通道数为3的遥感图像进行两次连续的卷积核为3，填充为1，步长为2的卷积，将分辨率从256X256降维到64x64并且通道数从3升为128；
(2)层下采样
由一个步长为2，填充为1的3×3卷积组成，将上一层级输入的特征图的尺寸减小为原来的1/2并且通道数翻倍。
(3)空洞邻域注意力运算，
一个空洞邻域注意力的单元结构如图3所示，根据主干的层级不同，每个层级下进行空洞邻域注意力单元结构的数量依次为3，4，18，5；空洞邻域注意力的运算可以表示为：
其中为第i个token且邻域大小为k空洞大小为δ的注意力权重,如下所示：
B(i,j)表示i,j两个token之间的相对位置偏移,表示第i个token的j个相近邻域。Q和K为X的线性投影。Vi (k,δ)是由第i个token的k个邻域值的投影组成的矩阵。Vi (k,δ)的定义如下:
S3，将主干网络在不同层级提取出的双时相特征分别输入到其分支对应的多层感知器进行初次解码后再输入进不同层级对应的增强差异特征提取模块来获取多层级差异特征。
如图4所示，为本发明提供了一个实施例的增强差异特征提取模块的网络结构图，步骤S3具体步骤包括S31-S33：
S31，特征图1和特征图2分别为来自于孪生主干网络提取的双时相特征图。首先令Di和Ci分别表示对特征图在不同层级上(i＝1，2，3，4)的通道维度相连和对这两个特征图逐元素相减的绝对值。如下式所述：
Ci＝Concat[featuremap1,featuremap2]
Di＝|featuremap1-featuremap2|
其中Concat[.]表示通道维度相连，|.|表示取绝对值。
S32,对进行相连操作的分支使用卷积核大小为3×3的卷积操作。然后将这两个分支同时经过两个非对称卷积块(ACB)，用于差异特征边缘细化提取。ACB的结构如图5所示，不同尺度的ACB操作表示为:
ACBCi＝Conv1x3(Ci)+Conv3x1(Ci)+Conv3x3(Ci)
ACBDi＝Conv1x3(Di)+Conv3x1(Di)+Conv3x3(Di)
S33，在增强差异特征提取模块的两条分支上分别对非对称卷积添加残差连接，以防止训练的过程中出现梯度消失。再对这两条分支进行相加后得到输出ACBout:
ACBout＝Ci+Di+ACBCi+ACBDi
S34,对ACBout进行如下运算得到输出EDFMout:
EDFMout＝Conv3x3(Sigmoid(MLP(GobalAvgPool(ACBout)))*ACBout)
S4，将不同层级的差异特征上采样到同一大小后输入多层级特征自适应融合模块进行多层级差异特征融合。
如图6所示，为本发明提供了一个实施例的多层级差异特征自适应融合模块的网络结构图，步骤S4的具体步骤包括S41-S43：
S41，如图6所示，F1-F4代表从不同层级中提取出来的差异特征，这些特征维度分别为128×64×64,256×32×32,512×16×16,1024×8×8，将F2-F4使用双线性插值法上采样到F1的相同维度，并对其进行拼接：
Fcon＝Concat[F1,Upsample(F2),Upsample(F3),Upsample(F4)]
S42，将拼接后的特征图输入进通道级权重运算，通道级权重运算如图7所示，该过程用下式表述：
Mca(Fcon)＝Fcon*σ(MLP(GobalAvgPool(Fcon))+MLP(GobalMaxPool(Fcon)))
其中σ代表sigmoid函数；
S43，对使用通道级权重运算计算后的差异特征提取更有用的信息，将Mca(Fcon)输入进轻量级多尺度变化融合模块，如图8所示，该模块具体过程为将输入的特征图经过1×1卷积后使其维度减少为1/4大小，将维度缩小的1/4的特征图再分别对其进行空洞率不同的深度可分离卷积操作，卷积的空洞率分别设置为1，6，8，12。最后，对经过四种不同空洞率大小的深度可分离卷积后得到四个特征图，将得到的四个特征图进行拼接操作后经过一个1×1的卷积后可以得到多层级差异特征。
S5，将融合之后的差异特征输入进检测头，来进行像素级的遥感图像变化检测并生成检测完成后的变化预测图，迭代训练保存最好结果的模型参数。
S6，将测试集的双时相遥感图片输入进遥感图像变化检测模型来得到对变化地物的预测。
在本实施例中使用的是交叉熵损失函数来训练网络模型。交叉熵损失函数的定义如下：
其中H，W指代真值标签的长和宽，label(i)代表标签图像中的第i个像素，p(i)代表模型预测第i个像素的概率，H(.)为交叉熵函数。本实施例采用AdamW作为优化器,并将权重衰减率设置为0.01，将初始学习率设置为0.0001，并把epoch设置为200。
表1所提方法在DSIFN-CD数据集与知名的变化检测方法进行比较
表2所提方法在LEVIR-CD数据集与知名的变化检测方法进行比较
表3所提方法在SYSU-CD数据集与知名的变化检测方法进行比较
表1、表2，表3显示我们所提的方法在DSIFN-CD、LEVIR-CD和SYSU-CD数据集上与当前知名的变化检测方法进行精度、交并比、精确率、召回率和F1分数的上的对比以更好地说明该方法的有效性。从上述表格中可以看出当前的方法与当前知名的变化检测方法对比均有较大的提升，有效地验证了本发明的有效性。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。
Claims (6)
1.一种基于多层级差异特征融合的遥感图像变化检测方法，其特征在于，包括如下步骤：
S1，将变化检测原数据集图片按照指定大小裁切成不重叠的子图，并划分为训练集、验证集、测试集；在输入进网络前进行数据增强；
S2，将双时相数据输入进孪生空洞邻域注意力主干网络，通过主干网络不同层级来依次对双时相数据进行特征提取来获得多层级特征；
S3，将主干网络在不同层级提取出的双时相特征分别输入到其分支对应的多层感知器进行初次解码后再输入进不同层级对应的增强差异特征提取模块来获取多层级差异特征；
S4，将不同层级的差异特征上采样到同一大小后输入多层级差异特征自适应融合模块进行多层级差异特征融合；
S5，将融合之后的差异特征输入进检测头，来进行像素级的遥感图像变化检测并生成检测完成后的变化图，迭代训练保存最好结果的模型参数；
S6，将测试集的双时相遥感图片输入进遥感图像变化检测模型来得到对变化地物的预测。
2.根据权利要求1中所述的数据预处理的过程，其特征在于，所述S1具体为，
S1.1，将数据集的原始图像裁切成256×256大小的图片；
S1.2，将这些图片按照不同的比例划分为训练集，验证集，测试集；
S1.3，将这些图片进行随机翻转，裁切操作；
S1.4，将这些图片进行归一化操作。
3.根据权利要求1中所述的孪生编码器主干网络，其特征在于该主干网络中使用了空洞邻域注意力机制，即在指定大小的滑动窗口下进行注意力运算。所述S2包括：
将输入分辨率大小为H×W的图像进行初始下采样操作将输入的图像大小变成通道数从3变成128；将初始下采样升维得到的特征图进行层归一化后进行空洞邻域注意力运算进行遥感图像特征的细化和提取，在窗口大小为7且空洞率为R的大小下进行注意力计算，R随着层级的变化而变化，在每个固定大小的窗口下选取中心像素，通过与邻域内的像素进行注意力计算来产生相似度特征图，再通过将此窗口滑动至下一区域进行注意力计算；将经过空洞邻域注意力运算后得到的特征图与初始下采样后得到的特征图进行相加后依次进行层归一化和多层感知机运算；将该层级提取完成后的特征传入主干网络的下一层级直至末尾，上述操作用公式表示如下：
DsInital(Xi)＝InitalDownsampler(Xi)
DsLevel(Xi)＝LevelDownsampler(Xi)
DiNATstage1(Xi)＝Xi+DiNA(LayerNorm(Xi))
DiNATstage2(Xi)＝Xi+MLP(LayerNorm(Xi))
其中Xi代表第i层级的特征，InitalDownsampler(Xi)和LevelDownsampler(Xi)分别代表四倍和二倍下采样；DiNA代表空洞邻域注意力，MLP代表多层感知机。
4.根据权利要求1中所述的多层级差异特征提取，其特征在于，S3提取到的差异特征一共有四个层级，每个层级都是对孪生主干提取到的双时相特征进行通道相连和元素级绝对值相减以获取多元化的差异特征，
再并行通过卷积核为1×3,3×1,3×3的卷积后进行相加用于细化差异特征，再经过全局平均池化后输入进多层感知机通过S型函数进行激活后与前面相乘后得到最终的差异特征，具体用公式表述为：
Ci＝Concat[featuremap1,featuremap2]
Di＝|featuremap1-featuremap2|
ACBCi＝Conv1x3(Ci)+Conv3x1(Ci)+Conv3x3(Ci)
ACBDi＝Conv1x3(Di)+Conv3x1(Di)+Conv3x3(Di)
EDFMout＝Conv3x3(Sigmoid(MLP(GobalAvgPool(ACBout)))*ACBout)
其中Concat[.]表示通道维度相连，|.|表示取绝对值。
5.根据权利要求1中所述的多层级差异特征自适应融合模块，其特征在于，所述S4具体为将其他三个层级的差异特征上采样到同一尺度，并将这四个层级的差异特征在通道维度上拼接；将拼接后的多层级差异特征进行通道级加权运算使模型学习到有用的差异特征；经过注意力运算后再输入轻量级多尺度变化融合模块来进行多层级差异特征融合，具体用公式表述为：
Fcon＝Concat[F1,Upsample(F2),Upsample(F3),Upsample(F4)]
Mca(Fcon)＝Fcon*σ(MLP(GobalAvgPool(Fcon))+MLP(GobalMaxPool(Fcon)))
FDiConv_i＝DiConvR＝i(Conv1x1(F))
LMCF(F)＝Conv1×1(Concat[FDiConv_1；FDiConv_6；FDiConv_8；FDiConv_12])
其中DiConvR＝i为空洞率为i的3×3卷积，LMCF()为轻量级多尺度变化融合模块，α代表S型函数。
6.根据权利要求1中所述的将多尺度差异特征输入进检测头生成变化预测图，其特征在于，所述的检测头具体为，使用反卷积进行上采样将特征图尺度提升到原输入如图像的一半后，通过两次卷积核大小为3的卷积进行差异特征图解码并添加进残差连接，使用反卷积上采样到输入原图像的大小后，再对其使用一次卷积并进行残差连接后生成预测变化图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311636588.5A CN117576567B (zh) | 2023-12-01 | 一种使用多层级差异特征自适应融合的遥感图像变化检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311636588.5A CN117576567B (zh) | 2023-12-01 | 一种使用多层级差异特征自适应融合的遥感图像变化检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117576567A true CN117576567A (zh) | 2024-02-20 |
| CN117576567B CN117576567B (zh) | 2024-07-12 |
Family
ID=
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113420662A (zh) * | 2021-06-23 | 2021-09-21 | 西安电子科技大学 | 基于孪生多尺度差异特征融合的遥感影像变化检测方法 |
| CN114187255A (zh) * | 2021-12-08 | 2022-03-15 | 西北工业大学 | 一种差异指导的遥感影像变化检测方法 |
| CN114359723A (zh) * | 2021-12-27 | 2022-04-15 | 陕西科技大学 | 一种基于空谱特征融合网络的遥感影像变化检测方法 |
| CN116229283A (zh) * | 2023-03-10 | 2023-06-06 | 江西师范大学 | 基于深度可分离卷积模块的遥感图像变化检测系统及方法 |
| CN116524361A (zh) * | 2023-05-15 | 2023-08-01 | 西安电子科技大学 | 基于双孪生分支的遥感图像变化检测网络及检测方法 |
| CN116778238A (zh) * | 2023-06-14 | 2023-09-19 | 陕西科技大学 | 一种基于轻量型结构感知Transformer网络及VHR遥感图像变化检测方法 |
| CN116824359A (zh) * | 2023-05-04 | 2023-09-29 | 大连理工大学 | 一种基于差异增强与注意力模块的遥感影像变化检测方法 |
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113420662A (zh) * | 2021-06-23 | 2021-09-21 | 西安电子科技大学 | 基于孪生多尺度差异特征融合的遥感影像变化检测方法 |
| CN114187255A (zh) * | 2021-12-08 | 2022-03-15 | 西北工业大学 | 一种差异指导的遥感影像变化检测方法 |
| CN114359723A (zh) * | 2021-12-27 | 2022-04-15 | 陕西科技大学 | 一种基于空谱特征融合网络的遥感影像变化检测方法 |
| CN116229283A (zh) * | 2023-03-10 | 2023-06-06 | 江西师范大学 | 基于深度可分离卷积模块的遥感图像变化检测系统及方法 |
| CN116824359A (zh) * | 2023-05-04 | 2023-09-29 | 大连理工大学 | 一种基于差异增强与注意力模块的遥感影像变化检测方法 |
| CN116524361A (zh) * | 2023-05-15 | 2023-08-01 | 西安电子科技大学 | 基于双孪生分支的遥感图像变化检测网络及检测方法 |
| CN116778238A (zh) * | 2023-06-14 | 2023-09-19 | 陕西科技大学 | 一种基于轻量型结构感知Transformer网络及VHR遥感图像变化检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| MA，H.，ET AL: "Change Detection Needs Neighborhood Interaction in Transformer", REMOTE SENSING, 22 November 2023 (2023-11-22), pages 6 * |
| W.G.C.BANDARA, ，ET AL: "A Transformer-Based Siamese Network for Change Detection", IGARSS 2022 - 2022 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM, 28 September 2022 (2022-09-28), pages 1 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | SwinSUNet: Pure transformer network for remote sensing image change detection | |
| Zhang et al. | Remote sensing image spatiotemporal fusion using a generative adversarial network | |
| CN110276316B (zh) | 一种基于深度学习的人体关键点检测方法 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| Han et al. | HANet: A hierarchical attention network for change detection with bitemporal very-high-resolution remote sensing images | |
| CN110705566B (zh) | 一种基于空间金字塔池的多模态融合显著性检测方法 | |
| CN112257741B (zh) | 一种基于复数神经网络的生成性对抗虚假图片的检测方法 | |
| CN116343052B (zh) | 一种基于注意力和多尺度的双时相遥感图像变化检测网络 | |
| CN115908772A (zh) | 一种基于Transformer和融合注意力机制的目标检测方法及系统 | |
| CN112580480A (zh) | 一种高光谱遥感影像分类方法及装置 | |
| CN117788296B (zh) | 基于异构组合深度网络的红外遥感图像超分辨率重建方法 | |
| CN113988147A (zh) | 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 | |
| CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
| Zhu et al. | MDAFormer: Multi-level difference aggregation transformer for change detection of VHR optical imagery | |
| Heryadi et al. | The effect of resnet model as feature extractor network to performance of DeepLabV3 model for semantic satellite image segmentation | |
| CN117391938B (zh) | 一种红外图像超分辨率重建方法、系统、设备及终端 | |
| Guan et al. | RoadCapsFPN: Capsule feature pyramid network for road extraction from VHR optical remote sensing imagery | |
| CN116977747B (zh) | 基于多路多尺度特征孪生网络的小样本高光谱分类方法 | |
| Chen et al. | A robust object segmentation network for underwater scenes | |
| Yuan et al. | Multi-objects change detection based on Res-UNet | |
| CN111696167A (zh) | 自范例学习引导的单张影像超分辨率重构方法 | |
| CN117576567B (zh) | 一种使用多层级差异特征自适应融合的遥感图像变化检测方法 | |
| CN116704324A (zh) | 基于水下图像的目标检测方法、系统、设备以及存储介质 | |
| CN115496788A (zh) | 一种使用空域传播后处理模块的深度补全方法 | |
| CN117576567A (zh) | 一种使用多层级差异特征自适应融合的遥感图像变化检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |