CN115393718A - 基于自适应融合NestedUNet的光学遥感图像变化检测方法 - Google Patents

基于自适应融合NestedUNet的光学遥感图像变化检测方法 Download PDF

Info

Publication number
CN115393718A
CN115393718A CN202211047386.2A CN202211047386A CN115393718A CN 115393718 A CN115393718 A CN 115393718A CN 202211047386 A CN202211047386 A CN 202211047386A CN 115393718 A CN115393718 A CN 115393718A
Authority
CN
China
Prior art keywords
remote sensing
change
sensing image
image
optical remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211047386.2A
Other languages
English (en)
Inventor
李军伟
李世杰
连猛猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN202211047386.2A priority Critical patent/CN115393718A/zh
Publication of CN115393718A publication Critical patent/CN115393718A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自适应融合NestedUNet的光学遥感图像变化检测方法，包括如下步骤：首先，对光学遥感图像进行预处理，以获得数据分布一致的遥感图像；然后，对经预处理后的双时相光学遥感图像，标注图像中更新的部分，得到对应的变化标签图；然后对遥感图像和对应的标签图进行切割，得到训练样本；然后串联双时相图像，并将其输入到AFNUNet网络中，以增强对变化区域整体特征的提取以及变化目标边缘细节的识别；待训练结束后，将模型的所有参数信息保存下来；最后将经过预处理的待测样本输入至变化检测模型中，经计算输出检测结果图，检测出的变化图整体更加完整，细节更加完善。

Description

基于自适应融合NestedUNet的光学遥感图像变化检测方法
技术领域
本发明涉及光学遥感图像变化检测领域，尤其涉及一种基于自适应融合NestedUNet的光学遥感图像变化检测方法。
背景技术
遥感图像变化检测是针对某一区域的地物或现象在不同时间上观测出其不同区域部分，判断分析相应目标物体是否发生变化，获取其位置、形状、数量等属性的变化信息，具有重要的科研和应用价值，已经得到了一些相关领域的广泛关注。传统的变化检测方法根据研究对象可分为两类：基于像素的变化检测方法和基于对象的变化检测方法。基于像素的变化检测方法一般通过直接比较像素的光谱信息或纹理信息生成差异图，并通过阈值分割或聚类获得最终变化图；如基于图像代数的变化向量分析方法，基于图像分类的方法，基于图像变换的主成分分析方法，多元变化检测方法及其改进版本迭代加权多元变化检测方法等。虽然基于像素的变化检测方法实现起来较为容易，但这些方法忽略了空间上下文信息，这会引起在处理过程中出现大量椒盐噪声。基于对象的变化检测方法是通过将遥感图像划分为不相交的对象，并利用图像中丰富的光谱、纹理、结构和几何信息分析图像间的差异。虽然这种方法利用了遥感图像的空间特征信息，但是提取方法比较复杂，并且鲁棒性较差。
近年来，基于深度学习的变化检测方法一直在不断发展，并取得了非常出色的成绩。基于深度学习的变化检测方法模糊了传统基于像素和基于对象的方法之间的边界，因为它们从原始图像中预测像素分类图和高度语义抽象的空间上下文。与传统的基于像素和对象的变化检测方法相比，基于深度学习的变化检测方法不需要图像预处理，这不仅可以减少人工干预，而且可以避免由于预处理而导致的错误，也可以减少后处理工作量。基于深度学习的方法由于其非线性特征和出色的特征提取能力，可以更好地理解复杂场景，并且其性能远远超过传统方法。此外，卫星遥感技术近年来得到了飞速发展，越来越多的光学传感器被设计用于地球观测，光学遥感图像的日益丰富为遥感的各种应用提供了强有力的支持。由于这些优势，基于深度学习的光学遥感图像变化检测方法在解决遥感图像变化检测问题方面的使用呈指数增长。
基于深度学习的光学遥感图像变化检测算法已经具备了良好的性能，但是大多数算法直接利用深层网络提取到的特征信息进行变化检测，而没有考虑到与浅层网络进行结合。深层网络的语义信息表征能力强，但是物体的边缘细节信息和小物体目标容易随着网络多次的上采样和下采样而逐渐丢失；浅层网络的细节信息表征能力强，但是语义信息表征能力弱。因此，这些算法对于变化区域整体特征的提取往往不够完整并且缺乏对变化目标边缘细节的关注。
发明内容
本发明的目的是提供一种自适应融合NestedUNet的光学遥感图像变化检测方法，能够准确有效地将双时相光学遥感图像间的细节差异识别出来。
本发明采用的技术方案为：
A、将双时相光学遥感图像依次进行正射校正、图像配准、图像拉伸以及图像数值归一化预处理，从而得到数据分布一致的遥感图像；
B、将上一步得到的经过预处理后的双时相光学遥感图像，标注遥感图像中更新的部分，得到对应的变化标签图；
C、将从B中得到的标签图以及A中预处理过的双时相光学遥感图像，采用同一尺寸对其进行切割，得到训练样本；
D、将训练样本中的双时光学遥感图像串联起来输入到AFNUNet中；
E、通过四层基于有效通道注意力的残差块编码器，提取更多与变化特征相关的特征图；
F、将上一步中得到的不同层次的特征图融合起来，得到包含不同语义信息的最终特征图F1，F2，F3；
G、将F中获得的最终特征图F1，F2，F3输入到自适应融合模块中，以便获得更多变化区域的细节信息，并得到预测变化图；
H、引入基于布雷克蒂斯距离的损失，并与二分类交叉熵损失结合形成混合损失函数以计算G中得到的双时相图像的预测变化图与对应的标签图之间的损失；
I、训练结束后，将训练好的模型的所有参数信息都保存下来；
J、将待检测的前后时相遥感图像依次经正射校正、图像配准、图像拉伸以及图像数值归一化预处理后，采用同一尺寸对其进行切割以获得待检测的样本；
K、将待测样本输入至I中得到的变化检测模型中，计算输出检测结果图。
本发明以光学遥感图像变化检测为应用背景，针对现有的变化检测方法训练出来的模型对于提取的变化区域不完整以及变化目标边缘不规整这一问题，提出了一种新的变化检测方法，提高了对变化区域整体特征的提取以及对细节特征的识别。具体的，本发明结合了NestedUNet和自适应融合模块，通过编码器和解码器之间以及解码器和解码器之间密集的特征传输，增强了整体特征的提取，使得提取到的变化区域更加完整。最后采用基于布雷克蒂斯距离损失和二分类交叉熵损失的混合损失更加准确地识别双时图像间的差异，从而捕捉到更多的边缘细节。本发明方案与传统算法相比，增强了对变化区域整体特征的提取以及变化区域细节边缘的识别，能够有效的解决其他的变化检测方法对于变化目标边缘识别能力不足的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程示意图。
图2为本发明的AFNUNet主干网络图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明包括以下几个步骤：
A、将双时相光学遥感图像依次进行正射校正、图像配准、图像拉伸以及图像数值归一化预处理，从而得到数据分布一致的遥感图像；
B、将上一步得到的经过预处理后的双时相光学遥感图像，标注遥感图像中更新的部分(主要包括植被变化、新建城市建筑、郊区扩张、施工前的地基以及道路扩建等)，得到对应的变化标签图；
C、将从B中得到的标签图以及A中预处理过的双时相光学遥感图像，采用同一尺寸对其进行切割，得到训练样本；
D、大多数变化检测算法对变化区域整体特征的提取不够完整并且缺乏对变化目标边缘细节的关注。为了解决这一问题，本专利建立了一个基于NestedUNet的端到端的网络体系结构。通过编码器和解码器之间以及解码器和解码器之间的密集跳跃连接，它可以实现不同层次特征信息的结合以及对整体特征的提取。由于变化检测任务可以看作是将双时图像中的变化区域分割出来，因此可以将训练样本中的变化前与变化后的遥感图像串联起来输入到AFNUNet中。
E、将上一步串联后的图像经过基于有效通道注意力的残差块进行解码。首先经过第一个3×3的卷积层对输入的特征图进行升维操作，接着经过第二个3×3卷积层和第三个3×3卷积层分别进行通道数翻倍和减半操作。然后输入到改进的有效通道注意力层中，并与第一个3×3卷积层得到的特征图相加形成残差，接着通过ReLU层。最后将包含更多与变化区域有关的特征图进行最大池化层的下采样操作。重复上述编码过程四次，以获得相当于原始图像1/2宽高、1/4宽高、1/8宽高、1/16宽高尺寸的具有不同感受野的多尺寸特征图X1,0、X2,0、X3,0、X4,0。
F、将E中得到的多尺寸特征图X1,0、X2,0、X3,0、X4,0进行解码操作，如图2所示：首先是将尺寸大小为原始图像1/16宽高的编码层X4,0上采样，与大小为原始图像1/8宽高的编码层X3,0进行融合，得到解码流X3,1；其次将大小为原始图像1/8宽高的编码层X3,0上采样，与大小为原始图像1/4宽高的编码层X2,0进行融合，得到解码流X2,1。接着将解码流X3,1上采样，与大小为原始图像1/4宽高的编码层X2,0和解码流X2,1进行融合，得到解码流X2,2。然后将大小为原始图像1/4宽高的编码层X2,0上采样，与大小为原始图像1/2的编码层X1,0进行融合，得到解码流X1,1(即最终特征图F1)。接下来将解码流X2,1上采样，与大小为原始图像1/2的编码层X1,0以及解码流X1,1进行融合，得到解码流X1,2(即最终特征图F2)。最后将解码流X2,2上采样，与大小为原始图像1/2的编码层X1,0以及解码流X1,1、解码流X1,2进行融合，得到解码流X1,3(即最终特征图F3)。
G、将F中得到的最终特征图F1，F2，F3输入到AFM中。AFM在通道和空间两个方向上从不同的特征图中自适应地选择特征，以强调更多与变化相关的特征信息，同时抑制无关特征。首先，将从AFNUNet主干网络提取到的三个特征图F1、F2和F3通过逐元素求和进行融合：
F＝F1+F2+F3
接着，将融合特征F送入空间注意力子模块。对融合特征F使用最大池化层和平均池化层，以生成大小为C×1×1的两个聚合向量(C为通道数)。接着将多层感知(MultilayerPerception，MLP)模块应用于每个向量，经过MLP后，得到两个大小为3C×1×1的聚合向量，并将两个聚合向量相加。软注意(softmax层)被使用以便在合适的语义层次自适应地选择合适的特征。让a、b、c分别表示通过softmax层后获得的软注意力[1]，a、b、c的大小均为C×1×1(ai、bi和ci分别表示a、b、c的第i个元素)。利用softmax层可令指定维度相加为1的特性，得到ai+bi+ci＝1。最后，通过不同通道上的注意权重获得特征映射Fc：
Fc＝a·F1+b·F2+c·F3
空间注意力子模块在第一步中也采用最大池化层和平均池化层，以生成两个大小为1×H×W的矩阵。将一个核大小为7的卷积层应用于每个矩阵，经过卷积层后，得到两个大小为3×H×W的矩阵，并将两个矩阵相加，然后使用softmax对相加后的矩阵进行注意力分配。让a、b、c分别表示经过softmax层后获得的软注意力，a、b、c的大小均为1×H×W(ai,j、bi,j和ci,j分别表示a、b、c的第i行第j个元素，其中ai,j+bi,j+ci,j＝1)。最后，通过不同空间上的注意权重获得特征映射Fs：
Fs＝a·F1+b·F2+c·F3
最后，将得到的通道注意力的特征图和空间注意力的特征图相加，得到最终的融合特征：
Ff＝Fc+Fs
将Ff上采样并通过1×1卷积得到预测变化图。
H、引入基于布雷克蒂斯距离的损失
Figure BDA0003820560230000051
并与二分类交叉熵损失
Figure BDA0003820560230000061
结合形成混合损失函数L＝Lbce+Lbcd以计算G中得到的双时相图像的预测变化图与对应的标签图之间的损失，其中
Figure BDA0003820560230000062
表示预测的变化图某个像素点为变化像素的概率，yi,j表示对应标签图中的某个像素点为变化像素的概率，n表示图像像素级的宽度和高度。
I、训练结束后，将训练好的模型的所有参数信息都保存下来；
J、将待检测的前后时相遥感图像依次经正射校正、图像配准、图像拉伸以及图像数值归一化预处理后，采用同一尺寸对其进行切割以获得待检测的样本；
K、将待测样本输入至I中保存的变化检测模型中，经计算输出检测结果图。
本专利发明中为了解决现有的变化检测方法训练出来的模型提取的变化区域不完整以及变化目标边缘不规整这一问题，分别采用改进的NestedUNet和自适应融合模块来解决。改进的NestedUNet通过编码器和解码器之间以及解码器和解码器之间密集的特征传输，增强了整体特征的提取，使得提取到的变化区域更加完整。而自适应融合模块不仅能够将语义信息表征能力强的深层网络和细节信息表征能力强的浅层网络有效结合起来，实现对不同层次网络特征信息的整合，而且能够自适应地从不同语义层次的特征图中选择与变化特征相关的信息，从而更加准确、有效的增强对变化目标边缘细节信息的提取。
本专利分别设计了三组实验：第一组实验是在建筑变化检测数据集LEVIR-CD数据集[2]上进行的；第二组实验是在WHU-CD数据集[3]进行的，这个数据集主要包含建筑类的变化；第三组实验是在包含多种变化类型的SYSU-CD数据集[4]进行的。为了验证提出的AFNUNet的有效性，选择了以下八种最先进的遥感图像变化检测方法与本发明方法进行比较，并对它们作了简要介绍。
Fully Convolutional-Early Fusion(FC-EF)：FC-EF[5]是基于U-Net架构提出的，其中双时态图像级联为多频带图像以供输入，跳过连接用于将多尺度特征从编码器逐渐传输到解码器以恢复空间信息。Fully Convolutional-Siamese-Concatenation(FC-Siam-conc)：作为FC-EF模型的一种变体，FC-Siam-conc[5]使用暹罗编码器提取双时态图像的特征，然后将来自编码器的相同级别的特征连接到解码器。Fully Convolutional-Siamese-Difference(FC-Siam-diff)与FC-Siam-conc不同，FC-Siam-diff[5]的跳跃连接是FC-EF模型的另一种，传输了双时态特征之间的绝对差异。Dual Task Constrained DeepSiamese Convolutional Network(DTCDSCN)：DTCDSCN[6]在特征提取阶段引入了双注意力模块dual attention module(DAM)，可以从通道和空间位置之间的相关性改进特征表示，以进一步提高特征识别。DAM对特征的融合有效地克服了异构性问题。Image FusionNetwork(IFN)：IFN[7]使用通道注意力和空间注意力在多个尺度上多次交叉利用VGG16预训练模型获得的特征图，以进行有效融合，以更准确地获得变化图。Dual Attentive FullyConvolutional Siamese Networks(DASNet)：DASNet[8]将注意力机制应用于暹罗网络。UNet++with multiple side output fusion(UNet++_MSOF)：UNet++_MSOF[9]将串联的双时相图像输入到UNet++主干中，以获得多侧面输出的特征图，并通过融合多侧面的特征图来捕获更详细的信息。Siamese NestedUNet-Change Detection(SNUNet-CD)：SNUNet-CD[10]将暹罗网络与UNet++网络相结合，首先将双时相图像输入到暹罗网络的两个分支中，然后拼接从两个分支获得的特征图并输入到UNet++中，最后使用集成通道注意模块(Ensemble Channel Attention Module，ECAM)在多个语义级别上融合从主干网络获得的特征图，从而抑制定位错误和语义空缺。
表Ⅰ是在LEVIR-CD数据集进行的对比实验、表Ⅱ是在WHU-CD数据集进行的对比实验、表Ⅲ是在SYSU-CD数据集进行的对比实验。精度(Precision，P)、召回率(Recall，R)、F1分数(F1 Score，F1)、联合交叉度(Intersection over Union，IoU)用于定量评估所涉及方法的性能，这些指标的计算如下：
Figure BDA0003820560230000071
Figure BDA0003820560230000072
Figure BDA0003820560230000073
Figure BDA0003820560230000074
其中，真阳性(TP)表示正确检测到的非变化像素数，假阳性(FP)表示未预测到的非变化像素数，假阴性(FN)表示未预测到的变化像素数。精度表示检测到的所有像素发生变化的概率。召回率表示正确检测到所有更改像素的概率。F1是查全率和查全率的调和平均值，它可以通过同时考虑查全率和查全率来平衡冲突。IoU是预测的变化像素和变化像素之间的重叠区域除以它们之间的并集区域。
表Ⅰ在LEVIR-CD数据集上进行的对比实验
Figure BDA0003820560230000081
表Ⅱ在WHU-CD数据集上进行的对比实验
Figure BDA0003820560230000082
表Ⅲ在SYSU-CD数据集上进行的对比实验
Figure BDA0003820560230000083
由上述三个表格的数据可以看出，本发明方案与其他已有的遥感图像变化检测方法相比，在LEVIR-CD数据集、WHU-CD数据集、SYSU-CD数据集上分别提高了1.3％F1和2.1％IoU、1.6％F1和1.8％IoU以及1.8％F1、1.6％IoU。本发明方案在三个公开的数据集上均取得了最好的性能，能够更完整地识别出变化区域。
为了解决现有技术存在的问题，本专利构建了一种端到端的网络架构，称为自适应融合NestedUNet(AFNUNet)。它可以通过编码器和解码器之间以及解码器和解码器之间的密集跳跃连接来实现不同级别特征信息的组合和整体特征的提取。为了实现网络自适应地选择变化特征并提高对变化目标边缘细节的提取能力，本专利构建了基于通道注意力和空间注意力的自适应融合模块(Adaptive Fusion Module，AFM)。本专利还引入了基于布雷克蒂斯距离的损失，并与二分类交叉熵损失结合形成混合损失函数，以更精确地感知双时相光学遥感图像间的差异。
本专利提出的改进的NestedUNet通过编码器和解码器之间以及解码器和解码器之间密集的特征传输，增强了整体特征的提取，使得提取到的变化区域更加完整。本专利提出的自适应融合模块能够自适应地从不同语义层次的特征图中选择与变化特征相关的信息，从而更加准确、有效的增强对变化目标边缘细节信息的提取。
发明专利中的参考文献如下：
[1]Li X,Wang W,Hu X,et al.Selective Kernel Networks[J]//2019IEEE/CVFConference on Computer Vision and Pattern Recognition(CVPR).IEEE,2020.
[2]Chen H,Shi Z.A Spatial-Temporal Attention-Based Method and a NewDataset for Remote Sensing Image Change Detection[J].Remote Sensing,2020,12(10):1662.
[3]Shunping,Ji,Shiqing,et al.Fully Convolutional Networks forMultisource Building Extraction From an Open Aerial and Satellite ImageryData Set[J].IEEE Transactions on Geoscience and Remote Sensing,2019,57(1):574-586.
[4]Shi Q,Liu M,Li S,et al.A Deeply Supervised Attention Metric-BasedNetwork and an Open Aerial Image Dataset for Remote Sensing Change Detection[J].IEEE Transactions on Geoscience and Remote Sensing,2022,60.
[5]Daudt R C,Saux B L,Boulch A.Fully Convolutional Siamese Networksfor Change Detection[J].2018 25th IEEE International Conference on ImageProcessing(ICIP),2018.
[6]Liu Y,Pang C,Zhan Z,et al.Building Change Detection for RemoteSensing Images Using a Dual Task Constrained Deep Siamese ConvolutionalNetwork Model[J].2019.
[7]Cz A,Peng Y,Dt E,et al.A deeply supervised image fusion networkfor change detection in high resolution bi-temporal remote sensing images[J].ISPRS Journal of Photogrammetry and Remote Sensing,2020,166:183-200.
[8]Chen J,Yuan Z,Peng J,et al.DASNet:Dual attentive fullyconvolutional siamese networks for change detection of high resolutionsatellite images[J].IEEE Journal of Selected Topics in Applied EarthObservations and Remote Sensing,2020,PP(99).
[9]Guan H.End-to-End Change Detection for High Resolution SatelliteImages Using Improved UNet++[J].Remote Sensing,2019,11.
[10]Fang S,Li K,Shao J,et al.SNUNet-CD:A Densely Connected SiameseNetwork for Change Detection of VHR Images[J].IEEE Geoscience and RemoteSensing Letters,2021,PP(99):1-5.
在本发明的描述中，需要说明的是，对于方位词，如有术语“中心”，“横向”、“纵向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示方位和位置关系为基于附图所示的方位或位置关系，仅是为了便于叙述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定方位构造和操作，不能理解为限制本发明的具体保护范围。
需要说明的是，本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
注意，上述仅为本发明的较佳实施例及运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行较详细的说明，但本发明不限于这里所述的特定实施例，在不脱离本发明构思的情况下，还可以包括更多其他等有效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (4)

1.基于自适应融合NestedUNet的光学遥感图像变化检测方法，其特征在于：
包括以下几个步骤：
A、将双时相光学遥感图像依次进行正射校正、图像配准、图像拉伸以及图像数值归一化预处理，从而得到数据分布一致的双时相光学遥感图像；
B、将上一步得到的经过预处理后的双时相光学遥感图像，标注遥感图像中更新的部分，得到对应的变化标签图；
C、将从B中得到的变化标签图以及A中获得的预处理过的双时相光学遥感图像，采用同一尺寸对其进行切割，得到训练样本；
D、将训练样本中的双时相遥感图像串联起来输入到AFNUNet中；
E、将上一步得到的串联双时相遥感图像通过四层基于有效通道注意力的残差块编码器，提取具有不同感受野的多尺寸特征图；
F、将E中的不同感受野的多尺寸特征图进行解码操作；通过编码器和解码器之间以及解码器和解码器之间密集的特征传输，增强对整体特征的提取，使提取到的变化区域更加完整，并得到最终的特征图F1、F2、F3；
G、将F中得到的最终特征图F1，F2，F3输入到自适应融合模块中，以便获得更多变化区域的细节信息，并获得预测的变化图；
H、引入基于布雷克蒂斯距离的损失，并与二分类交叉熵损失结合形成混合损失函数以计算步骤G中得到的双时相图像的预测变化图与对应的标签图之间的损失；
I、训练结束后，将训练好的模型的所有参数信息都保存下来；
J、将待检测的前、后时相遥感图像依次经正射校正、图像配准、图像拉伸以及图像数值归一化预处理后，接着采用同一尺寸对其进行切割以获得待测样本；
K、将待测样本输入至I中得到的变化检测模型中，经计算输出检测结果图。
2.根据权利要求1所述的基于自适应融合NestedUNet的光学遥感图像变化检测方法，其特征在于：所述的步骤E具体包括如下步骤：首先经过第一个3×3的卷积层对输入的特征图进行升维操作，接着经过第二个3×3卷积层和第三个3×3卷积层分别进行通道数翻倍和减半操作。然后输入改进的有效通道注意力层中，并与第一个3×3卷积层得到的特征图相加形成残差，接着通过ReLU层。最后将包含更多与变化区域有关的特征图进行最大池化层的下采样操作；重复上述编码过程四次，以获得相当于原始图像1/2宽高、1/4宽高、1/8宽高、1/16宽高尺寸的具有不同感受野的多尺寸特征图。
3.根据权利要求1所述的基于自适应融合NestedUNet的光学遥感图像变化检测方法，其特征在于：步骤G中所述的融合特征Ff由两个模块构成，其中通道子模块：Fc＝a·F1+b·F2+c·F3，空间子模块：Fs＝a·F1+b·F2+c·F3，a、b、c分别表示经过softmax层后获得的软注意力，融合特征Ff＝Fc+Fs。
4.根据权利要求1所述的基于自适应融合NestedUNet的光学遥感图像变化检测方法，其特征在于：步骤H中所述的混合损失函为L＝Lbce+Lbcd，其中，二分类交叉熵损失
Figure FDA0003820560220000021
基于布雷克蒂斯距离的损失
Figure FDA0003820560220000022
其中
Figure FDA0003820560220000023
表示预测的变化图中某个像素点为变化像素的概率，yi,j表示对应标签图中某个像素点为变化像素的概率，n表示图像像素级的宽度和高度。
CN202211047386.2A 2022-08-29 2022-08-29 基于自适应融合NestedUNet的光学遥感图像变化检测方法 Pending CN115393718A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211047386.2A CN115393718A (zh) 2022-08-29 2022-08-29 基于自适应融合NestedUNet的光学遥感图像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211047386.2A CN115393718A (zh) 2022-08-29 2022-08-29 基于自适应融合NestedUNet的光学遥感图像变化检测方法

Publications (1)

Publication Number Publication Date
CN115393718A true CN115393718A (zh) 2022-11-25

Family

ID=84124340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211047386.2A Pending CN115393718A (zh) 2022-08-29 2022-08-29 基于自适应融合NestedUNet的光学遥感图像变化检测方法

Country Status (1)

Country Link
CN (1) CN115393718A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503746A (zh) * 2023-06-29 2023-07-28 南京信息工程大学 基于多层嵌套非全映射u型网络的红外小目标检测方法
CN117036984A (zh) * 2023-10-09 2023-11-10 武汉大学 一种融合注意力机制的级联u型网络云检测方法及系统
CN118334536A (zh) * 2024-06-17 2024-07-12 华中师范大学 一种边缘特征增强的耕地地块遥感提取深度学习方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503746A (zh) * 2023-06-29 2023-07-28 南京信息工程大学 基于多层嵌套非全映射u型网络的红外小目标检测方法
CN116503746B (zh) * 2023-06-29 2023-09-12 南京信息工程大学 基于多层嵌套非全映射u型网络的红外小目标检测方法
CN117036984A (zh) * 2023-10-09 2023-11-10 武汉大学 一种融合注意力机制的级联u型网络云检测方法及系统
CN117036984B (zh) * 2023-10-09 2024-01-09 武汉大学 一种融合注意力机制的级联u型网络云检测方法及系统
CN118334536A (zh) * 2024-06-17 2024-07-12 华中师范大学 一种边缘特征增强的耕地地块遥感提取深度学习方法

Similar Documents

Publication Publication Date Title
CN112818903B (zh) 一种基于元学习和协同注意力的小样本遥感图像目标检测方法
CN111047551B (zh) 一种基于U-net改进算法的遥感影像变化检测方法及系统
CN109871798B (zh) 一种基于卷积神经网络的遥感影像建筑物提取方法
CN111915592B (zh) 基于深度学习的遥感图像云检测方法
CN115393718A (zh) 基于自适应融合NestedUNet的光学遥感图像变化检测方法
CN111738268B (zh) 一种基于随机块的高分遥感图像的语义分割方法及系统
CN114359723A (zh) 一种基于空谱特征融合网络的遥感影像变化检测方法
CN114187520B (zh) 一种建筑物提取模型的构建及应用方法
CN113887472B (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN113222819B (zh) 一种基于深度卷积神经网络的遥感图像超分辨重建方法
CN115713529A (zh) 基于高效注意力的轻量级光学遥感图像变化检测方法
CN115601236A (zh) 一种基于特征信息蒸馏网络的遥感图像超分辨重建方法
CN114494821A (zh) 基于特征多尺度感知与自适应聚合的遥感影像云检测方法
Xu et al. AMCA: Attention-guided multiscale context aggregation network for remote sensing image change detection
CN115527096A (zh) 一种基于改进YOLOv5的小目标检测方法
CN116310868A (zh) 一种多层次注意力交互的云雪辩识方法、设备及存储介质
Noman et al. ELGC-Net: Efficient Local-Global Context Aggregation for Remote Sensing Change Detection
Alimjan et al. An image change detection algorithm based on multi-feature self-attention fusion mechanism UNet network
CN112989919B (zh) 一种从影像中提取目标对象的方法及系统
Jiang et al. MANet: An Efficient Multi-Dimensional Attention-Aggregated Network for Remote Sensing Image Change Detection
CN114494699A (zh) 基于语义传播与前背景感知的图像语义分割方法及系统
CN106971402B (zh) 一种基于光学辅助的sar图像变化检测方法
CN117351360A (zh) 一种基于注意力机制改进的遥感图像道路提取方法
CN116704367A (zh) 一种多尺度特征融合耕地变化检测方法及系统
CN115861818A (zh) 基于注意力机制联合卷积神经网络的细小水体提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination