CN115471467A - 一种高分辨率光学遥感影像建筑物变化检测方法 - Google Patents
一种高分辨率光学遥感影像建筑物变化检测方法 Download PDFInfo
- Publication number
- CN115471467A CN115471467A CN202211063692.5A CN202211063692A CN115471467A CN 115471467 A CN115471467 A CN 115471467A CN 202211063692 A CN202211063692 A CN 202211063692A CN 115471467 A CN115471467 A CN 115471467A
- Authority
- CN
- China
- Prior art keywords
- building
- image
- remote sensing
- change
- change detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 title claims abstract description 115
- 238000001514 detection method Methods 0.000 title claims abstract description 102
- 230000003287 optical effect Effects 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000000605 extraction Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000005520 cutting process Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000010586 diagram Methods 0.000 claims description 32
- 238000013526 transfer learning Methods 0.000 claims description 9
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000007670 refining Methods 0.000 claims description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 2
- 238000005065 mining Methods 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明属于遥感图像处理技术领域,具体公开了一种高分辨率光学遥感影像建筑物变化检测方法,包括:读入图像并进行预处理;对比预处理后的双时相遥感图像,得到对应的变化标签图,并将变化标签图处理为二通道数据;采用统一尺寸对双时相遥感图像和对应变化标签图进行切割,并进行数据增强,得到样本数据集;构建建筑物变化检测网络模型;利用训练样本训练建筑物变化检测网络模型;将测试样本输入至建筑物变化检测网络模型,输出检测结果图。本发明方法能够有效解决现有技术中对背景噪声的鲁棒性差、模型特征提取能力不够导致的错检率高,以及对多尺度、形状各异的建筑物特征挖掘利用不足导致的漏检率高等问题。
Description
技术领域
本发明属于遥感图像处理技术领域,具体涉及一种高分辨率光学遥感影像建筑物变化检测方法。
背景技术
变化检测是指从同一地理位置的两个或多个时相图像中获取变化信息。随着大量高空间分辨率遥感图像的获取,人类能够观测到地表更为详细的目标,尤其是建筑物,它是人类在生产、生活中最有价值的人造地面目标之一。在这种情况下,建筑物变化检测一直备受关注,并被应用于众多领域,如地理信息更新、城市规划和灾害评估等。
传统的变化检测方法主要分为两类,检测后比较法和直接变化检测法。第一种方法首先从双时相图像中检测出建筑物,然后通过比较建筑物对象来获取变化的建筑物。然而,从双时相高分辨率遥感图像中获取准确的建筑物检测结果非常困难,可能会导致误差的累积。第二种方法通过设计或生成的手工特征来度量变化程度进而实现建筑物变化检测。然而,受到复杂应用场景的限制,检测精度无法满足要求。此外,传统的变化检测方法往往需要人为干预,自动化水平较低,无法满足日益增长的大数据处理需要和信息获取时效要求。
近年来,以卷积神经网络为代表的深度学习方法,在遥感领域受到极大关注,尤其是以UNet、ResNet为代表的的语义分割网络,在变化检测任务中得到广泛应用。虽然深度学习方法带来了巨大的进步,但仍然存在一些不足,阻碍了其性能的进一步提高。首先,高空间分辨率遥感图像能够观察到更多微小物体和空间细节信息,但在对高层特征进行编码时,由于现有模型结构中连续下采样操作会导致高分辨率特征丢失,不能有效定位微小目标和捕获变化物体的细节特征,对多尺度目标的检测能力不足。其次,由于双时相图像的几何配准误差,以及光照、复杂背景噪声和季节变化等引起的光谱差异,导致错检、漏检现象突出,现有模型在特征提取方面的能力有待提高。高层次特征语义信息丰富,但空间细节粗糙,低层次特征细节精细但缺乏语义信息。
因此,如何捕捉更具辨识力的多尺度建筑物特征,并将高层次语义信息和低层次空间细节信息融合起来,以产生更精细的表示,一直是变化检测领域需要进一步解决的问题。
发明内容
本发明的目的在于提供一种高分辨率光学遥感影像建筑物变化检测方法,该方法能够有效解决现有技术中对背景噪声的鲁棒性差、模型特征提取能力不够导致的错检率高,以及对多尺度、形状各异的建筑物特征挖掘利用不足导致的漏检率高等问题。
实现本发明目的的技术方案:
一种高分辨率光学遥感影像建筑物变化检测方法,所述方法包括以下步骤:
步骤(1)、读入图像并进行预处理;
步骤(2)、对比预处理后的双时相遥感图像,得到对应的变化标签图,并将变化标签图处理为二通道数据;
步骤(3)、采用统一尺寸对双时相遥感图像和对应变化标签图进行切割,并进行数据增强,得到样本数据集;
步骤(4)、构建建筑物变化检测网络模型;
步骤(5)、利用训练样本训练建筑物变化检测网络模型;
步骤(6)、将测试样本输入至建筑物变化检测网络模型,输出检测结果图。
所述步骤(1)包括:
步骤(1.1)、选取相同区域两个时相的高分辨率遥感图像T1和T2,包含有R、G、B三个通道;
步骤(1.2)、利用ENVI软件中的RPC Orthorectification Workflow流程化工具,对图像进行正射校正;
步骤(1.3)、利用ENVI软件中的配准工具,对图像进行配准操作;
步骤(1.4)、对遥感图像每个通道的数值进行归一化,得到预处理后的图像I1和I2。
所述步骤(2)具体为:对比上述预处理图像I1和I2,利用标注工具以多边形的形式标注图像中建筑物变化区域,得到对应的变化标签图,并对标签图进行one-hot编码处理,使之成为0和1二通道数据,其中(1,0)代表变化区域,(0,1)代表未变化区域。
所述步骤(3)具体为:选择滑动窗口切割方法对双时相遥感图像和对”
应的标签图进行切割,得到相应大小的图像块,记为I1和I2;将上述切割后的图像块和对应的标签块,按照7:3比例划分为训练样本和测试样本,并采取图像旋转、尺度变换、颜色变换和添加噪声等方式对训练样本进行数据增强,得到样本数据集。
所述步骤(4)中建筑物变化检测网络模型包括:特征提取模块、迁移学习模块、特征细化模块和预测分类。
所述特征提取模块通过编码器提取图像建筑物特征,通过解码器融合多尺度特征。
所述特征提取模块在编码器中使用孪生卷积神经网络从图像中提取不同尺度和层次的特征,在基础网络的残差块中应用通道注意力、空洞卷积手段增强特征提取效果,获得更具辨识力的建筑物特征。
所述特征提取模块在解码器中采用密集跳跃连接的方式融合编码器提取的多尺度建筑物特征。
所述迁移学习模块包括:对特征提取模块网络进行预训练,获得最佳网络参数;使用预训练后的参数初始化共享权重的特征提取模块;对整体模型进行参数微调,得到用于建筑物变化检测的模型。
所述特征细化模块进行特征细化的步骤包括:将双时相特征图X1和X2在水平方向堆叠得到特征图X,将特征图X分别输入卷积层中生成相应查询向量Q、键向量K和值向量V,通过亲和矩阵Affinity和聚合Aggregation操作处理得到第一轮输出的特征图X';将特征图X'分别输入卷积层中生成相应查询向量Q、键向量K和值向量V,通过亲和矩阵Affinity和聚合Aggregation操作处理得到第二轮输出的特征图Y;将特征图Y在水平方向进行分解,输出为2个CCSTAM细化后的特征图Z1和Z2。
所述预测分类包括:通过上采样操作将特征细化模块输出特征图Z1和Z2的尺寸扩展到与输入样本图像I′1和I′2同样大小;将上采样后的特征图输入一个卷积层,以调整通道数量;通过sigmoid分类器将输入的特征图转化为包含变化、非变化2类的建筑物变化图,完成变化检测流程。
所述步骤(5)具体为:通过输入步骤(3)制作的训练样本数据得到变化检测结果,并计算检测结果与真值标签之间的损失函数,使用误差的反向传播算法,不断调整优化网络模型中的权值和偏置,直到模型收敛训练结束。
所述步骤(6)具体为:将步骤(3)获得的测试样本输入步骤(5)训练好的建筑物变化检测网络模型中,经过计算得到建筑物变化检测结果图,并通过形态学操作对检测结果图像进行处理,消除建筑物变化检测区域中存在的噪声,同时使建筑物边缘更加饱满。
本发明的有益技术效果在于:
1、本发明的一种高分辨率光学遥感影像建筑物变化检测方法通过引入通道注意力、空洞卷积等手段,改善特征提取能力,最大限度去除不属于建筑物的背景噪声干扰,获得更具辨识力的特征,满足复杂场景下变化检测需求。
2、本发明的一种高分辨率光学遥感影像建筑物变化检测方法采用密集跳跃连接方式能够充分挖掘并融合不同层次特征,尤其是改善微小建筑物定位和不同形状建筑物的细节特征捕获能力,有效提高对多尺度建筑物的变化检测精度。
3、本发明的一种高分辨率光学遥感影像建筑物变化检测方法通过十字交叉时空注意力特征细化模块能够有效捕获丰富的、远距离时空依赖关系,自适应地选择和突出具有高语义响应的建筑物特征,提高对光照变化和配准误差的鲁棒性。
4、本发明的一种高分辨率光学遥感影像建筑物变化检测方法通过跨任务迁移学习即可缓解变化检测样本规模的不足,又可以迁移各种建筑物的知识,引导模型更加有效地聚焦于建筑物目标,削弱道路、植被、车辆等其他地面背景目标的干扰,进一步增强了模型对建筑物特征的表达能力,提高建筑物变化检测模型的泛化能力。
附图说明
图1为本发明具体实施方式中的网络模型结构示意图;
图2为本发明具体实施方式中的特征提取模块结构示意图;
图3为本发明具体实施方式中的密集跳跃连接结构示意图;
图4为本发明具体实施方式中的迁移学习模块结构示意图;
图5为本发明具体实施方式中的特征细化模块结构示意图;
图6为本发明方法与其他现有方法的建筑物变化检测结果对比示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。
本发明提供的一种高分辨率光学遥感影像建筑物变化检测方法,该方法具体包括以下步骤:
步骤(1)、读入图像并进行预处理:
步骤(1.1)、选取相同区域两个时相的高分辨率遥感图像T1和T2,包含有R、G、B三个通道。具体选取原则:选择不同年份、相近日期和气候气象条件下拍摄的数据,空间分辨率一致,采用相同的预处理方法消除几何、辐射差异等引起的非显著变化。
步骤(1.2)、在ENVI软件中利用RPC Orthorectification Workflow流程化工具,结合已知的高分辨率卫星遥感图像RPC参数和控制点坐标对图像进行正射校正。
步骤(1.3)、利用ENVI软件中的配准工具,以其中一幅图像为基准对另一幅图像进行配准操作。
步骤(1.4)、对遥感图像每个通道的数值进行归一化,使得之后的网络模型训练时能够快速收敛,得到预处理后的图像I1和I2。
步骤(2)、对比预处理后的双时相遥感图像,标注遥感图像中建筑物变化部分,得到对应的变化标签图,并将变化标签图处理为二通道数据:
对比上述预处理图像I1和I2,利用标注工具以多边形的形式标注图像中建筑物变化区域,得到对应的变化标签图,并对标签图进行one-hot编码处理,使之成为0和1二通道数据,其中(1,0)代表变化区域,(0,1)代表未变化区域。
步骤(3)、采用统一尺寸对双时相遥感图像和对应变化标签图进行切割,并进行数据增强,得到样本数据集:
标签数据的大小要求与输入训练样本图像的大小一致,因此采用统一尺寸,选择滑动窗口切割方法对双时相遥感图像和对应的标签图进行切割,得到相应大小的图像块,记为I′1和I′2,本发明中图像块尺寸大小设置为512×512(可根据计算机性能调整)。
将上述切割后的图像块和对应的标签块,按照7:3比例划分为训练样本和测试样本,并采取图像旋转、尺度变换、颜色变换和添加噪声等方式对训练样本进行数据增强。
通过增强可以得到数量相对充足的训练样本,一定程度上缓解深度学习模型在训练过程中遇到的过拟合问题,增强模型的鲁棒性。
步骤(4)、构建建筑物变化检测网络模型:
构建建筑物变化检测网络模型是本发明最核心的技术环节,如图1所示,模型主要包括四个部分:特征提取模块、迁移学习模块、特征细化模块和预测分类。
首先在迁移学习模块使用跨任务的建筑物检测数据集(目标识别任务),对特征提取模块网络进行预训练,获得最佳网络参数;然后使用预训练后的参数初始化共享权重的特征提取模块,并使用建筑物变化检测数据集(变化检测任务)再次训练,对网络参数进行微调,用于提取输入图像的特征;其次,将提取到的特征输入到特征细化模块,获得更具辨识力的特征;最后,根据细化后的辨识力特征进行预测分类,得到最终的建筑物变化检测结果。
(1)、特征提取模块
如图2所示,当双时相样本图像I′1和I′2输入模型中,首先传入的是特征提取模块,该模块采用编码器-解码器结构,编码器用于提取图像建筑物特征,解码器用于融合多尺度特征。
在编码器中使用孪生卷积神经网络从图像中提取不同尺度和层次的特征,该网络由两个共享权重的相同子网络组成,每个子网络分别从相应时相图像中提取深度特征。在每个子网络中,选用ResNet101作为特征提取的基础网络,并将残差块中具有相同特征图尺寸的结构称为阶段。
原始ResNet101基础网络中卷积层分成了4个阶段,分别表示为conv1、conv2、conv3和conv4,并将conv1到conv4阶段最后一个残差块输出的特征图{C1、C2、C3、C4}组成自下而上的前向网络,再通过1×1大小的卷积层对特征图进行通道维度上的压缩。
特别地,本发明在ResNet101基础网络的残差块中应用通道注意力(CA)、空洞卷积(AC)手段来增强特征提取效果,获得更具辨识力的建筑物特征。具体来说,在conv1、conv2、conv3和conv4阶段的残差块中应用CA,来增强重要通道并减弱不相关通道信息,以获得更具辨识力的特征;在conv3和conv4阶段的残差块中应用AC增大感受野,使得在特征提取时保留较大的特征图尺寸。ResNet101基础网络中conv1到conv4阶段输出的特征图尺寸大小分别为原始图像的1/4、1/8、1/16、1/32,本发明中分别使用扩张率为2和4的AC代替conv3和conv4阶段的普通卷积,将conv1到conv4阶段输出的特征图尺寸大小分别提高为原始图像的1/4、1/8、1/8、1/8,更大的特征图尺寸更有利于后续的特征融合,能够弥补视野上的缺陷,使网络较少丢失特征的空间信息,提升模型性能。
浅层特征具有较高的分辨率,能够捕获更好的细节,但是缺乏语义信息,适合小尺度建筑物变化检测。而深层特征包含丰富的语义信息,但缺少空间分辨率信息,对于细节信息捕捉效果较差,适合大尺度建筑物变化检测。因此针对多尺度建筑物变化检测需要,有效融合深层语义信息和浅层空间分辨率信息十分重要。
跳跃连接已被广泛用于将与变化相关的深层次特征图和相应的双时相图像低层次特征图连接起来,从而增强编码器-解码器架构的像素级预测能力。然而,类似于U-Net模型中跳跃连接,仅仅是单尺度上的连接,尚未充分利用其他尺度信息。因此,本发明在解码器中采用了密集跳跃连接的方式来融合编码器提取的多尺度建筑物特征。
如图3所示,以P1为例说明在解码器中特征图是如何进行融合生成的。首先,将深层次特征图P2、P3和P4分别进行2倍上采样,然后将三个层次的上采样结果以通道合并(concatenate,即,图像本身的特征数(通道数)增加了,而每一特征下的信息是没有增加的;与add方式对应,add计算方式表示的是将对应的特征图相加,但通道数不变)方式进行密集跳跃连接,再将合并结果与编码器conv1阶段生成的特征图C1进行横向连接,得到融合后的特征图P1。特征图P2、P3和P4的计算过程与P1类似,通过上述密集跳跃连接的方式进行特征融合,生成了由浅至深不同层次的融合特征图{P1、P2、P3、P4}。最后,将特征金字塔底层的特征图P1送入滤波器数量为256、步长为1的3×3卷积层和滤波器数量为64、步长为1的1×1卷积层中,通过利用局部空间信息和降低特征通道维数来生成更具辨识力、更紧凑的特征表示,结果分别记为X1(输入第1时相样本图像I′1时)和X2(输入第2时相样本图像I′2时)。
密集跳跃连接能够融合多个尺度的详细空间信息和抽象语义信息,从而确保解码器能够充分利用在每个阶段获得的多尺度特征,进而改善多尺度建筑物的变化检测效果。
(2)、迁移学习模块
足够多的样本数据对于训练有监督的深层神经网络模型至关重要。与建筑物提取任务不同,对于建筑物变化检测任务而言,变化的建筑物数量通常远远小于建筑物总数,这导致仅仅使用变化的建筑物样本很难获得鲁棒的深度学习模型。为了克服这一问题,本发明引入跨任务迁移学习模块,通过收集大量建筑物检测数据集,在加速模型收敛的同时,还可以迁移与建筑物相关的知识,提高模型泛化能力。尽管收集的建筑物检测数据集由不同传感器采集,具有不同的空间分辨率,但是与建筑物有关的属性是相似的,例如建筑物形状、范围、分布特征等。
如图4所示,首先使用收集到的跨任务的建筑物检测数据集(目标识别任务),对特征提取模块网络进行预训练,通过对比地面真值标签图,计算损失函数,直到获得最佳网络参数;然后在整体模型中,使用预训练后的参数初始化共享权重的特征提取模块;最后,在变化检测训练样本(变化检测任务)的基础上再次训练,对整体模型进行参数微调,得到用于建筑物变化检测的模型。
通过这种跨任务的迁移学习,即可缓解变化检测样本规模的不足,又可以迁移各种建筑物的知识,使模型能够更有效地关注建筑物目标,减弱由其他地面目标引起的错误检测,从而增强建筑物变化检测模型的泛化能力
(3)、特征细化模块
基于非局部自注意力操作的时空注意力可以捕获丰富的、远距离时空依赖关系,从而获取对光照变化和配准误差更鲁棒的特征。在建筑物变化检测任务中,不同建筑物之间的远距离依赖性有利于定位和识别建筑物,因为遥感图像场景中通常存在种类多样的、离散的建筑物对象。考虑到上述事实,以及计算量和内存占用率的限制,本发明所构建的变化检测网络模型中,设计了一种融合自注意力机制和十字交叉注意力的十字交叉时空注意力模块(criss-cross spatial-temporal attention module,CCSTAM)作为特征细化模块,用来捕获整个时空中个体像素之间丰富的全局时空关系,从而获得更多具有辨识力的特征。
如图5所示,CCSTAM的计算过程具体如下:
第一步,将特征提取模块输出的双时相特征图{X1,X2}∈RC×H×W输入特征细化模块CCSTAM,
其中C代表通道数量,H和W分别代表特征图的高度和宽度;
第二步,将双时相特征图X1和X2在水平方向堆叠得到特征图X,X∈RC×H×W×2;
第三步,将特征图X分别输入三个通道数为C'、C'、C的1×1卷积层中,生成相应的三个新的特征图:查询向量Q、键向量K和值向量V,
其中{Q,K,}∈RC′×H×W×2,V∈RC×H×W×2,C'<C;
第四步,对于查询向量Q中的某一位置u,u代表一个像素,从Q中取出u,记为Qu∈RC′,同时,从键向量K中与u相同位置处取出u所在的同一行和同一列共计(H+W×2-1)个像素,记为Ωu∈R(H+W×2-1)×C′,而Ω,ui代表Ωu中第i个元素,Ωi,u∈RC′;
其中,di,u代表特征向量Qu与特征向量Ωi,u之间的相关程度,di,u∈D,i=[1,...,H+W×2-1],D∈R(H+W×2-1)×(W×H),
接着在通道维度上对D使用softmax函数计算得到注意力图A,A∈R(H+W×2-1)×(W×H);
第六步,对于值向量V中的位置u,从V中取出u得到一个矢量,记为Vu∈RC,同时,从值向量V中与u相同位置处取出u所在同一行和同一列共计(H+W×2-1)个像素,记为Φu∈R(H +W×2-1)×C;
其中,Xu代表特征图X中位置u处的特征矢量,X′u代表特征图X'中位置u处的特征矢量,Ai,u代表注意力图A中第i通道中位置u处的一个标量值,
至此,通过聚合(Aggregation)处理得到了CCSTAM第一轮输出的融合每个位置和水平、垂直的十字路径像素上下文信息的特征图X',X'∈RC×H×W×2;
第八步,将特征图X'再次输入CCSTAM,重复第三步至第七步,得到CCSTAM第二轮输出的融合每个位置和其他全部像素上下文信息的特征图Y,Y∈RC×H×W×2;
第九步,参照第二步的逆过程,将特征图Y在水平方向进行分解,输出为2个CCSTAM细化后的特征图Z1和Z2,{Z1,Z2}∈RC×H×W,至此,特征细化模块计算完毕。
(4)、预测分类
第一步,通过上采样操作将特征细化模块输出特征图Z1和Z2的尺寸扩展到与输入样本图像I′1和I′2同样大小;
第二步,将上采样后的特征图输入一个3×3大小的卷积层,以调整通道数量;
第三步,通过sigmoid分类器将输入的特征图转化为包含变化、非变化2类的建筑物变化图,完成变化检测流程。
步骤(5)、利用训练样本训练建筑物变化检测网络模型:
利用步骤(3)制作的训练样本和步骤(4)构建的网络模型进行训练,在训练过程中,优化器使用Adam,学习率设置为0.0001,损失函数使用Dice Loss,通过输入训练样本数据得到变化检测结果,并计算检测结果与真值标签之间的损失函数,使用误差的反向传播算法,不断调整优化网络模型中的权值和偏置,直到模型收敛训练结束。
步骤(6)、将测试样本输入至建筑物变化检测网络模型,输出检测结果图:
将步骤(3)获得的测试样本输入步骤(5)训练好的建筑物变化检测网络模型中,经过计算得到建筑物变化检测结果图,并通过腐蚀、膨胀、空洞填充等形态学操作对检测结果图像进行处理,消除建筑物变化检测区域中存在的孤立点、空洞等噪声,同时使建筑物边缘更加饱满。
为了验证本发明方法的有效性,本实施例使用公开数据集WHUCD建筑物变化检测数据集进行网络模型的训练和测试,并且与其他方法进行了对比实验。WHUCD数据集由2012年和2016年在同一地点采集的两幅航空图像组成,覆盖面积20.5平方公里,图像大小32507×15354像素,空间分辨率0.075米。受GPU内存限制,将WHU数据集按顺序裁切成870块,每块大小为512×512像素,并将其划分为训练样本(609块)和测试样本(261块)。
本实施例提出的方法与3种先进的变化检测方法,PSPNet、CSCDNet和STANet进行比较,通过3种评价指标进行测试,评价指标分别为精确率(Precision)、召回率(Recall)和F1分数(F1-score),具体评价指标结果如表1所示。
表1 本发明方法与其他现有方法的评价指标测试结果
方法 | 精确率 | 召回率 | F1分数 |
CSCDNet | 82.09 | 70.87 | 76.07 |
PSPNet | 86.74 | 72.41 | 78.93 |
STANet | 82.02 | 90.19 | 85.91 |
本发明方法 | 92.74 | 90.51 | 91.61 |
从表1可以看出,与3种已有方法相比,本实施例方法在3项指标中均是最优结果,证明了本发明方法的有效性。
本发明方法与其他现有方法的建筑物变化检测结果对比示意图,如图6所示。
从图6可以看出,本实施例方法的变化检测结果中,建筑物边缘清晰,检测面积更为完整,改善了大、中、小多尺度建筑物变化目标中错检、漏检现象。
综上所述,本实施例方法能够最大限度去除不属于建筑物的背景噪声干扰,满足复杂场景下的变化检测需求,同时能够提取更具辨识力的建筑物特征,充分挖掘并融合不同层次特征,有效提高对多尺度建筑物的变化检测精度。
上面结合附图和实施例对本发明作了详细说明,但是本发明并不限于上述实施例,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。本发明中未作详细描述的内容均可以采用现有技术。
Claims (13)
1.一种高分辨率光学遥感影像建筑物变化检测方法,其特征在于,所述方法包括以下步骤:
步骤(1)、读入图像并进行预处理;
步骤(2)、对比预处理后的双时相遥感图像,得到对应的变化标签图,并将变化标签图处理为二通道数据;
步骤(3)、采用统一尺寸对双时相遥感图像和对应变化标签图进行切割,并进行数据增强,得到样本数据集;
步骤(4)、构建建筑物变化检测网络模型;
步骤(5)、利用训练样本训练建筑物变化检测网络模型;
步骤(6)、将测试样本输入至建筑物变化检测网络模型,输出检测结果图。
2.根据权利要求1所述的一种高分辨率光学遥感影像建筑物变化检测方法,其特征在于,所述步骤(1)包括:
步骤(1.1)、选取相同区域两个时相的高分辨率遥感图像T1和T2,包含有R、G、B三个通道;
步骤(1.2)、利用ENVI软件中的RPC Orthorectification Workflow流程化工具,对图像进行正射校正;
步骤(1.3)、利用ENVI软件中的配准工具,对图像进行配准操作;
步骤(1.4)、对遥感图像每个通道的数值进行归一化,得到预处理后的图像I1和I2。
3.根据权利要求2所述的一种高分辨率光学遥感影像建筑物变化检测方法,其特征在于,所述步骤(2)具体为:对比上述预处理图像I1和I2,利用标注工具以多边形的形式标注图像中建筑物变化区域,得到对应的变化标签图,并对标签图进行one-hot编码处理,使之成为0和1二通道数据,其中(1,0)代表变化区域,(0,1)代表未变化区域。
4.根据权利要求3所述的一种高分辨率光学遥感影像建筑物变化检测方法,其特征在于,所述步骤(3)具体为:选择滑动窗口切割方法对双时相遥感图像和对应的标签图进行切割,得到相应大小的图像块,记为I′1和I′2;将上述切割后的图像块和对应的标签块,按照7:3比例划分为训练样本和测试样本,并采取图像旋转、尺度变换、颜色变换和添加噪声等方式对训练样本进行数据增强,得到样本数据集。
5.根据权利要求4所述的一种高分辨率光学遥感影像建筑物变化检测方法,其特征在于,所述步骤(4)中建筑物变化检测网络模型包括:特征提取模块、迁移学习模块、特征细化模块和预测分类。
6.根据权利要求5所述的一种高分辨率光学遥感影像建筑物变化检测方法,其特征在于,所述特征提取模块通过编码器提取图像建筑物特征,通过解码器融合多尺度特征。
7.根据权利要求6所述的一种高分辨率光学遥感影像建筑物变化检测方法,其特征在于,所述特征提取模块在编码器中使用孪生卷积神经网络从图像中提取不同尺度和层次的特征,在基础网络的残差块中应用通道注意力、空洞卷积手段增强特征提取效果,获得更具辨识力的建筑物特征。
8.根据权利要求7所述的一种高分辨率光学遥感影像建筑物变化检测方法,其特征在于,所述特征提取模块在解码器中采用密集跳跃连接的方式融合编码器提取的多尺度建筑物特征。
9.根据权利要求8所述的一种高分辨率光学遥感影像建筑物变化检测方法,其特征在于,所述迁移学习模块包括:对特征提取模块网络进行预训练,获得最佳网络参数;使用预训练后的参数初始化共享权重的特征提取模块;对整体模型进行参数微调,得到用于建筑物变化检测的模型。
10.根据权利要求9所述的一种高分辨率光学遥感影像建筑物变化检测方法,其特征在于,所述特征细化模块进行特征细化的步骤包括:将双时相特征图X1和X2在水平方向堆叠得到特征图X,将特征图X分别输入卷积层中生成相应查询向量Q、键向量K和值向量V,通过亲和矩阵Affinity和聚合Aggregation操作处理得到第一轮输出的特征图X';将特征图X'分别输入卷积层中生成相应查询向量Q、键向量K和值向量V,通过亲和矩阵Affinity和聚合Aggregation操作处理得到第二轮输出的特征图Y;将特征图Y在水平方向进行分解,输出为2个CCSTAM细化后的特征图Z1和Z2。
11.根据权利要求10所述的一种高分辨率光学遥感影像建筑物变化检测方法,其特征在于,所述预测分类包括:通过上采样操作将特征细化模块输出特征图Z1和Z2的尺寸扩展到与输入样本图像I′1和I′2同样大小;将上采样后的特征图输入一个卷积层,以调整通道数量;通过sigmoid分类器将输入的特征图转化为包含变化、非变化2类的建筑物变化图,完成变化检测流程。
12.根据权利要求11所述的一种高分辨率光学遥感影像建筑物变化检测方法,其特征在于,所述步骤(5)具体为:通过输入步骤(3)制作的训练样本数据得到变化检测结果,并计算检测结果与真值标签之间的损失函数,使用误差的反向传播算法,不断调整优化网络模型中的权值和偏置,直到模型收敛训练结束。
13.根据权利要求12所述的一种高分辨率光学遥感影像建筑物变化检测方法,其特征在于,所述步骤(6)具体为:将步骤(3)获得的测试样本输入步骤(5)训练好的建筑物变化检测网络模型中,经过计算得到建筑物变化检测结果图,并通过形态学操作对检测结果图像进行处理,消除建筑物变化检测区域中存在的噪声,同时使建筑物边缘更加饱满。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211063692.5A CN115471467A (zh) | 2022-08-31 | 2022-08-31 | 一种高分辨率光学遥感影像建筑物变化检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211063692.5A CN115471467A (zh) | 2022-08-31 | 2022-08-31 | 一种高分辨率光学遥感影像建筑物变化检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115471467A true CN115471467A (zh) | 2022-12-13 |
Family
ID=84368869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211063692.5A Pending CN115471467A (zh) | 2022-08-31 | 2022-08-31 | 一种高分辨率光学遥感影像建筑物变化检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115471467A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116051519A (zh) * | 2023-02-02 | 2023-05-02 | 广东国地规划科技股份有限公司 | 双时相影像建筑物变化检测方法、装置、设备及存储介质 |
CN116503620A (zh) * | 2023-05-11 | 2023-07-28 | 中国科学院空天信息创新研究院 | 高分遥感图像变化检测方法、装置、电子设备及介质 |
CN116665065A (zh) * | 2023-07-28 | 2023-08-29 | 山东建筑大学 | 基于十字交叉注意力的高分辨率遥感影像变化检测方法 |
CN117152621A (zh) * | 2023-10-30 | 2023-12-01 | 中国科学院空天信息创新研究院 | 建筑物变化检测方法、装置、电子设备及存储介质 |
CN117372879A (zh) * | 2023-12-07 | 2024-01-09 | 山东建筑大学 | 基于自监督增强的轻量级遥感影像变化检测方法和系统 |
-
2022
- 2022-08-31 CN CN202211063692.5A patent/CN115471467A/zh active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116051519A (zh) * | 2023-02-02 | 2023-05-02 | 广东国地规划科技股份有限公司 | 双时相影像建筑物变化检测方法、装置、设备及存储介质 |
CN116051519B (zh) * | 2023-02-02 | 2023-08-22 | 广东国地规划科技股份有限公司 | 双时相影像建筑物变化检测方法、装置、设备及存储介质 |
CN116503620A (zh) * | 2023-05-11 | 2023-07-28 | 中国科学院空天信息创新研究院 | 高分遥感图像变化检测方法、装置、电子设备及介质 |
CN116503620B (zh) * | 2023-05-11 | 2023-12-08 | 中国科学院空天信息创新研究院 | 高分遥感图像变化检测方法、装置、电子设备及介质 |
CN116665065A (zh) * | 2023-07-28 | 2023-08-29 | 山东建筑大学 | 基于十字交叉注意力的高分辨率遥感影像变化检测方法 |
CN116665065B (zh) * | 2023-07-28 | 2023-10-17 | 山东建筑大学 | 基于十字交叉注意力的高分辨率遥感影像变化检测方法 |
CN117152621A (zh) * | 2023-10-30 | 2023-12-01 | 中国科学院空天信息创新研究院 | 建筑物变化检测方法、装置、电子设备及存储介质 |
CN117152621B (zh) * | 2023-10-30 | 2024-02-23 | 中国科学院空天信息创新研究院 | 建筑物变化检测方法、装置、电子设备及存储介质 |
CN117372879A (zh) * | 2023-12-07 | 2024-01-09 | 山东建筑大学 | 基于自监督增强的轻量级遥感影像变化检测方法和系统 |
CN117372879B (zh) * | 2023-12-07 | 2024-03-26 | 山东建筑大学 | 基于自监督增强的轻量级遥感影像变化检测方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Guo et al. | Scene-driven multitask parallel attention network for building extraction in high-resolution remote sensing images | |
Zhang et al. | Remote sensing image spatiotemporal fusion using a generative adversarial network | |
CN111461258B (zh) | 耦合卷积神经网络和图卷积网络的遥感影像场景分类方法 | |
CN111047551B (zh) | 一种基于U-net改进算法的遥感影像变化检测方法及系统 | |
CN112949549B (zh) | 一种基于超分辨率的多分辨率遥感影像的变化检测方法 | |
CN115471467A (zh) | 一种高分辨率光学遥感影像建筑物变化检测方法 | |
Abdollahi et al. | Improving road semantic segmentation using generative adversarial network | |
CN113780296B (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
Wang et al. | Land cover change detection at subpixel resolution with a Hopfield neural network | |
CN110135354B (zh) | 一种基于实景三维模型的变化检测方法 | |
CN112396027A (zh) | 基于图卷积神经网络的车辆重识别方法 | |
CN112347970B (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
CN106910202B (zh) | 一种遥感图像地物的图像分割方法及系统 | |
CN112489054A (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
CN113256649B (zh) | 一种基于深度学习的遥感图像选站选线语义分割方法 | |
CN113223042A (zh) | 一种遥感影像深度学习样本智能采集方法及设备 | |
CN113239736A (zh) | 一种基于多源遥感数据的土地覆盖分类标注图获取方法、存储介质及系统 | |
CN112001293A (zh) | 结合多尺度信息和编解码网络的遥感影像地物分类方法 | |
CN115205694A (zh) | 图像分割方法、装置和计算机可读存储介质 | |
CN116665071A (zh) | 一种基于多尺度注意力的遥感影像建筑物并行提取方法 | |
CN114463175B (zh) | 基于深度卷积神经网络的火星图像超分辨方法 | |
CN116310832A (zh) | 遥感图像处理方法、装置、设备、介质及产品 | |
CN115082778B (zh) | 一种基于多分支学习的宅基地识别方法及系统 | |
Jing et al. | Time series land cover classification based on semi-supervised convolutional long short-term memory neural networks | |
CN115830322A (zh) | 一种基于弱监督网络的建筑物语义分割标签扩充方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |