CN114998703B - 一种基于高分辨卷积神经网络的遥感图像变化检测方法 - Google Patents
一种基于高分辨卷积神经网络的遥感图像变化检测方法 Download PDFInfo
- Publication number
- CN114998703B CN114998703B CN202210504294.6A CN202210504294A CN114998703B CN 114998703 B CN114998703 B CN 114998703B CN 202210504294 A CN202210504294 A CN 202210504294A CN 114998703 B CN114998703 B CN 114998703B
- Authority
- CN
- China
- Prior art keywords
- input
- convolution
- resolution
- feature
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 35
- 238000010586 diagram Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims description 29
- 230000004927 fusion Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001932 seasonal effect Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Abstract
本发明公开了一种基于高分辨卷积神经网络的遥感图像变化检测方法,通过构建新的基于高分辨网络的遥感图像变化检测模型,用于高分辨率遥感图像的变化检测。该检测模型包含差分金字塔模块、特征提取模块和多尺度特征注意模块三部分,差分金字塔模块用来提取原图像对之间的差异信息,将其作为补充信息添加到特征提取模块中;特征提取模块用来提取输入网络的图像对的特征信息;多尺度特征注意模块负责将特征提取模块得到的不同尺度的特征信息进行融合,最后再使用上采样得到与输入图像尺寸相同的检测结果图。本发明可以提取多时相图像对的实质变化,得到的变化区域细节更加准确。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种遥感图像变化检测方法。
背景技术
变化检测是计算机视觉中十分重要的领域,它是指通过分析和比较同一地区不同时间拍摄的遥感图像对,从而去识别地物的变化信息,其目标是检测出这一对图像中每一个像素代表的区域是否发生了变化。该技术在土地利用、城市覆盖、灾害监测、民用基础设施、环境监测等领域发挥着重要作用。
近年来,随着深度学习方法的发展和可用的大规模遥感变化检测数据集的出现,基于深度学习的变化检测方法取得了长足的进步。与传统方法相比,其性能有了很大的提高。现阶段的深度学习变化检测方法可以视为一种二分类的语义分割任务,分为变化区域与非变化区域,通过端到端的检测方式简化了传统变化检测非端到端的方法,有效提高了检测效率以及检测的精度。例如,Chen与Shi等人在文献“Dual attentive fullyconvolutional siamese networks for change detection in high resolutionsatellite images,IEEE Journal of Selected Topics in Applied EarthObservations and Remote Sensing 14,(2020),1194–1206.”提出了一种基于双注意力全卷积孪生神经网络的高分辨率卫星图像变化检测模型,模型内包含了双重注意力模块,分别为位置注意力模块与通道注意力模块,有效地提高了变化检测性能。例如,Chen等人在文献“A spatial-temporal attention-based method and a new dataset for remotesensing image change detection,Remote Sensing 12(10),(2020),1662.”提出了基于时空自注意力的遥感图像变化检测模型,设计了一种变化检测自注意力机制来对时空关系进行建模,自注意模块可以计算任意两个像素在不同时间和位置之间的注意权重,并使用它们来生成更具区别性的特征。由于目标可能会有不同的尺度,作者将图像分割成多尺度的子区域,并在每个子区域引入自注意,这样就可以在不同尺度捕获时空依赖性,从而生成更好的表示,以适应各种大小的对象。
但是目前深度学习的变化检测方法结果的精度还存在着一些问题:1.由于遥感图像中变化对象尺度多样的特点,如何准确检测大尺度和小尺度变化对象仍然是很困难的;2.由于光照、阴影、季节变化等干扰因素,两幅时态图像的视觉外观存在较大差异,如何有效提取和编码实质性变化特征是另一个难点;3.现有的变化检测方法检测到的变化区域的细节,特别是靠近变化区域边缘的部分,不够准确,需要改进。因此设计一个高精度的变化检测网络是非常有必要的。
发明内容
为了克服现有技术的不足,本发明提供了一种基于高分辨卷积神经网络的遥感图像变化检测方法,通过构建新的基于高分辨网络的遥感图像变化检测模型,用于高分辨率遥感图像的变化检测。该检测模型包含差分金字塔模块、特征提取模块和多尺度特征注意模块三部分,差分金字塔模块用来提取原图像对之间的差异信息,将其作为补充信息添加到特征提取模块中;特征提取模块用来提取输入网络的图像对的特征信息;多尺度特征注意模块负责将特征提取模块得到的不同尺度的特征信息进行融合,最后再使用上采样得到与输入图像尺寸相同的检测结果图。本发明可以提取多时相图像对的实质变化,得到的变化区域细节更加准确。
本发明解决其技术问题所采用的技术方案包括如下步骤:
步骤1:将不同时相的遥感图像T1和T2输入差分金字塔模块,分别对T1和T2依次进行1次改变通道数的卷积操作与n-1次跨步卷积操作,提取得到n个特征对f1i和f2i;f1i和f2i分别为遥感图像T1和T2在第i次操作后得到的特征,i=1,2,…,n;
所述跨步卷积是指步长为2的卷积操作,特征图每次通过跨步卷积后通道数翻倍,分辨率减半;
将特征对f1i与f2i的绝对差作为差异性特征di;
步骤2:构建特征提取模块;
步骤2-1:所述特征提取模块包括n层,第i层包括i个卷积模块Mi,j,i≥1,0≤j<i;卷积模块Mi,j输出的特征图定义为Ii,j,特征图Ii,j的分辨率记为Hi,j×Wi,j,通道数记为Ci,j,其中Hi,j=Hinput/2j,Wi,j=Winput/2j,Ci,j=32×2j,其中Hinput与Winput为输入图像对T的分辨率大小;
步骤2-2:卷积模块M1,0的输入为遥感图像T1和T2通道堆叠后通过卷积模块M0得到的特征图和差异性特征d1;
步骤2-3:当i≥2时,将第i-1层卷积模块Mi-1,y的输出Ii-1,y经过如下处理统一输入分辨率及通道数后采用加法融合输入第i层的卷积模块Mi,j,y∈[0,i-2]:
当y<j时,对特征图Ii-1,y进行j-y次步长为2的跨步卷积,每次跨步卷积通过3×3卷积使得特征图的通道数翻倍,分辨率减半;
当y=j时,对特征图Ii-1,y进行3×3卷积进行特征的提取且通道数与分辨率不变;
当y>j时,对特征图Ii-1,y进行3×3卷积,并将通道数变为32×2j,且使用双线性插值上采样操作使得分辨率变为Hinput/2j×Winput/2j;
对于每一层满足j=i-1的卷积模块Mi,j,其输入除统一输入分辨率及通道数后的Ii-1,y外还包括差异性特征di,差异性特征di通过加法与Ii-1,y融合;
步骤2-4:通过特征提取模块中所有的卷积模块后,得到的n个不同尺度的特征图Fk’,k=0,1,…,n-1;Fk’的分辨率与通道数分别为Hinput/2k×Winput/2k和32×2k;
步骤3:将特征提取模块提取到的特征Fk’通过3×3卷积与上采样操作统一分辨率和通道数,得到新的特征Fk,Fk经过多尺度特征注意模块进行融合后经过卷积单元得到变化特征图,并将变化特征图经过二值化阈值处理得到最终的检测结果图O;
步骤3-1:所述多尺度特征注意模块先将特征图Fk进行通道堆叠,经过3×3卷积改变通道数,继而使用softmax分类器归一化,然后经过通道拆分操作得到n个权重图,作为Fk各自的权重;
步骤3-2:使用权重融合代替直接相加操作得到融合特征图g;
步骤3-3:将融合特征图g通过3×3卷积改变通道数为1后采用阈值分割进行二值化处理得到最终的检测结果图O,其中白色区域代表发生变化,黑色区域代表未发生变化;
步骤4:在训练网络时,将检测结果图O与真实的变化标签得到交叉熵损失Lbce后进行反向传播,重复迭代直至迭代次数达到设置初始值时判定完成训练。
优选地,所述卷积模块均为3×3卷积层、批归一化层与修正线性单元组成。
优选地,所述步骤3-1具体为:
将Fk先进行通道堆叠得到Hinput×Winput×128特征图,再进行3x3卷积改变通道数得到Hinput×Winput×n特征图,将其按照n个通道数分为hk,再进行softmax归一化后将n个通道拆分得到n个Hinput×Winput×1特征图,命为wk,即为Fk各自的权重图:
优选地,所述步骤3-2具体为:
将Fk分别与wk按照如下公式对应相乘并相加后得到Hinput×Winput×32融合特征图g:
优选地,所述步骤3-3具体为:
将融合特征图g经过卷积模块M5内的3×3卷积块改变通道数得到Hinput×Winput×1的特征图,采用阈值分割进行二值化阈值处理得到最终的检测结果二值图O,其中白色区域代表发生变化,黑色区域代表未发生变化。
本发明的有益效果如下:
1)本发明提出了一个基于高分辨卷积神经网络遥感图像的变化检测模型,用于高分辨率遥感图像的变化检测;
2)本发明可以提取多时相图像对的实质变化,排除由于光照、阴影、季节变化等干扰因素造成的影响;
3)本发明提出的模型得到的变化区域细节更加准确,包括靠近变化区域边缘的部分。
附图说明
图1是本发明实施例的网络结构图。
图2是本发明多尺度特征注意模块结构图。
图3是本发明实施例中本发明方法和其他现有方法的测试结果对比表。
图4是本发明实施例中本发明方法和其他现有方法的建筑物变化检测结果对比示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明提出了一种基于高分辨卷积神经网络遥感图像的变化检测方法,针对变化检测结果的精度问题,设计了一种高精度的变化检测网络模型AtDiffHRNet。使用一个高分辨率主体网络来提取输入图像的多层次、多尺度的特征。设计差分金字塔模块来提取两幅图像之间的多尺度差分特征,将其作为补充信息补充到特征提取模块中。此外,设计多尺度特征图注意力模块来学习不同尺度特征融合时各自的权重,用作权重融合主干特征提取模块得到的多尺度特征图。
一种基于高分辨卷积神经网络的遥感图像变化检测方法,包括如下步骤:
步骤1:将不同时相的遥感图像T1和T2输入差分金字塔模块,分别对T1和T2依次进行1次改变通道数的卷积操作与n-1次跨步卷积操作,提取得到n个特征对f1i和f2i;f1i和f2i分别为遥感图像T1和T2在第i次操作后得到的特征,i=1,2,…,n;
所述跨步卷积是指步长为2的卷积操作,特征图每次通过跨步卷积后通道数翻倍,分辨率减半;
将特征对f1i与f2i的绝对差作为差异性特征di;
步骤2:构建特征提取模块;所述特征提取模块使用高分辨率网络模型,保持了高分辨率分支使得网络能够对输入图的细节信息进行有效地保留;
步骤2-1:所述特征提取模块包括n层,第i层包括i个卷积模块Mi,j,i≥1,0≤j<i;卷积模块Mi,j输出的特征图定义为Ii,j,特征图Ii,j的分辨率记为Hi,j×Wi,j,通道数记为Ci,j,其中Hi,j=Hinput/2j,Wi,j=Winput/2j,Ci,j=32×2j,其中Hinput与Winput为输入图像对T的分辨率大小;
步骤2-2:卷积模块M1,0的输入为遥感图像T1和T2通道堆叠后通过卷积模块M0得到的特征图和差异性特征d1;
步骤2-3:当i≥2时,将第i-1层卷积模块Mi-1,y的输出Ii-1,y经过如下处理统一输入分辨率及通道数后采用加法融合输入第i层的卷积模块Mi,j,y∈[0,i-2]:
当y<j时,对特征图Ii-1,y进行j-y次步长为2的跨步卷积,每次跨步卷积通过3×3卷积使得特征图的通道数翻倍,分辨率减半;
当y=j时,对特征图Ii-1,y进行3×3卷积进行特征的提取且通道数与分辨率不变;
当y>j时,对特征图Ii-1,y进行3×3卷积,并将通道数变为32×2j,且使用双线性插值上采样操作使得分辨率变为Hinput/2j×Winput/2j;
对于每一层满足j=i-1的卷积模块Mi,j,其输入除统一输入分辨率及通道数后的Ii-1,y外还包括差异性特征di,差异性特征di通过加法与Ii-1,y融合;
步骤2-4:通过特征提取模块中所有的卷积模块后,得到的n个不同尺度的特征图Fk’,k=0,1,…,n-1;Fk’的分辨率与通道数分别为Hinput/2k×Winput/2k和32×2k;
步骤3:将特征提取模块提取到的特征Fk’通过3×3卷积与上采样操作统一分辨率和通道数,得到新的特征Fk,Fk经过多尺度特征注意模块进行融合后经过卷积单元得到变化特征图,并将变化特征图经过二值化阈值处理得到最终的检测结果图O;
步骤3-1:所述多尺度特征注意模块先将Fk先进行通道堆叠得到Hinput×Winput×128特征图,再进行3x3卷积改变通道数得到Hinput×Winput×n特征图,将其按照n个通道数分为hk,再进行softmax归一化后将n个通道拆分得到n个Hinput×Winput×1特征图,命为wk,即为Fk各自的权重图:
步骤3-2:将Fk分别与wk按照如下公式对应相乘并相加后得到Hinput×Winput×32融合特征图g:
步骤3-3:将融合特征图g经过卷积模块M5内的3×3卷积块改变通道数得到Hinput×Winput×1的特征图,采用阈值分割进行二值化阈值处理得到最终的检测结果二值图O,其中白色区域代表发生变化,黑色区域代表未发生变化;
步骤4:在训练网络时,将检测结果图O与真实的变化标签得到交叉熵损失Lbce后进行反向传播,重复迭代直至迭代次数达到设置初始值时判定完成训练。
具体实施例:
如图1所示,针对目前变化检测结果精度不足的问题,本发明设计了一种基于高分辨卷积神经网络遥感图像的变化检测方法的模型。其包括差分金字塔模块、特征提取模块和多尺度特征注意模块三个部分,其中多尺度特征注意模块如图2所示。具体的方法包括以下步骤:
S1,将不同时相的遥感图像T1和T2输入差分金字塔模块进行多次特征提取,得到多个特征对f1i和f2i,其中f1i和f2i分别为遥感图像T1和T2在第i次跨步卷积后提取到的特征,将多个特征对f1i和f2i进行差异性特征提取,得到不同尺度的特征di;
S2,将输入图像对T1和T2通道堆叠后通过卷积模块M0改变通道数,后与差分金字塔模块得到的不同尺度的特征di输入到特征提取模块,通过模块内多个小卷积模块进行特征的提取与不同尺度特征的信息交换,得到不同尺度的特征图Fk’;
S3,将特征提取模块提取到的特征Fk’通过卷积与上采样操作统一分辨率与通道数得到新的特征Fk,Fk经过多尺度特征注意模块进行融合后经过卷积单元得到变化特征图,并将变化特征图经过二值化阈值处理得到最终的检测结果图O。
本实施例中,步骤S1-步骤S3的执行网络简称为AtDiffHRNet。下文将结合AtDiffHRNet的结构,对步骤S1-步骤S3的执行过程进行进一步的详细说明。
本实施例中,步骤S1中将大小为Hinput×Winput×3不同时相的遥感图像T1和T2输入差分金字塔模块进行多次特征提取是指分别不同时相的遥感图像T1和T2进行1次改变通道数的卷积操作与n-1次跨步卷积操作,得到n个特征对f1i和f2i。作为一种可选的实施方式,本实施例中n取值4,即对不同时相的遥感图像T1和T2进行1次卷积操作与3次跨步卷积操作,得到4个特征对f1i和f2i,i∈{1,2,3,4},每对特征分辨率和通道数分别为Hinput×Winput×32、Hinput/2×Winput/2×64、Hinput/4×Winput/4×128和Hinput/8×Winput/8×256。
参见图1,本实施例步骤S2中将4个特征对f1i与f2i的绝对差作为异性特征,得到4个不同尺度的差异性信息特征图di,差异性信息特征图di分辨率和通道数分别为Hinput×Winput×32、Hinput/2×Winput/2×64、Hinput/4×Winput/4×128和Hinput/8×Winput/8×256。
步骤S2中所述特征提取模块使用高分辨率网络模型,保持了高分辨率分支使得网络能够对输入图的细节信息进行有效地保留。
步骤S2中特征提取模块包括4层,第i层包括i个卷积模块Mi,j,i≥1,0≤j<i;;特征图通过卷积模块Mi,j后得到新的特征图Ii,j,新的特征图的分辨率记为Hi,j×Wi,j,通道数记为Ci,j,其中Hi,j=Hinput/2j,Wi,j=Winput/2j,Ci,j=32×2j,其中Hinput与Winput为输入图像对T的分辨率大小。
本实施例中,步骤S2中卷积模块Mi,j的输入主要来自卷积模块Mi-1,y的输出(其中i≥2,y∈[0,i-2]),这里Mi-1,y的输出记为Ii-1,y;单独的,卷积模块M1,0的输入来自T1和T2通道堆叠后通过卷积模块M0得到的特征图:T1和T2通道堆叠得到Hinput×Winput×6特征图,通过卷积模块M0改变通道数得到Hinput×Winput×32特征图,即为卷积模块M1,0的输入。
本实施例中,步骤S2中通过卷积模块Mi,j存在多个输入,其分辨率与通道数不同,需要统一分辨率与通道数以便相加融合。分辨率及通道数的改变规则如下:图1中特征提取模块包含了三种箭头,水平箭头表示普通卷积,斜向上箭头代表卷积与上采样操作,斜向下箭头代表跨步卷积。对于输入Ii-1,y(i≥2,y∈[0,i-2]),当y<j时,对特征图Ii-1,y进行j-y次步长为2的跨步卷积,每次跨步卷积通过3×3卷积使得特征图的通道数翻倍,分辨率减半,在图1的特征提取模块中用斜向下箭头表示;当y=j时,对特征图Ii-1,y进行3×3卷积进行特征的提取且通道数与分辨率不变,在图1的特征提取模块中用水平箭头表示;当y>j时,对特征图Ii-1,y进行3×3卷积,并将通道数变为32×2j,且使用双线性插值上采样操作使得分辨率变为Hinput/2j×Winput/2j,在图1的特征提取模块中用斜向上箭头表示。统一卷积模块Mi,j的多个特征图输入分辨率及通道数后,采用加法对特征图进行融合,得到Ii,j。
本实施例中,步骤S2中对于满足j=i-1的卷积模块Mi,j,其输入除上述来自卷积模块Mi-1,y,(i≥2,y∈[0,i-2])的输出Ii-1,y外,还包括了步骤S1中得到的差异性特征di,将di作为补充信息采用加法融合到上述的融合结果Ii,j中。
本实施例中,步骤S2中通过特征提取模块中所有的小卷积模块后,得到4个不同尺度的特征图Fk’,k∈{0,1,2,3},Fk’的分辨率与通道数分别为Hinput/2k×Winput/2k和32×2k,而后将F1’,F2’,F3’通过3×3卷积与二倍、四倍与八倍双线性差值上采样操作统一分辨率与通道数为Hinput×Winput×32,得到相同分辨率与相同通道数的4个特征图,命为Fk;
本实施例中,步骤S2包含的所有卷积模块都由3x3卷积层、批处理正则化层与修正线性单元组成。
本实施例中,参见图2,步骤S3中所述多尺度特征注意模块是先将特征图Fk进行通道堆叠,经过3×3卷积改变通道数,继而使用softmax分类器归一化,然后经过通道拆分操作得到4个权重图,作为Fk各自的权重。最后,使用权重融合代替直接相加操作得到融合的特征图g,将g通过3×3卷积改变通道数为1后采用阈值分割进行二值化处理得到最终的检测结果图O。包含步骤:
S31,步骤S2中的F0,F1,F2,F3先进行通道堆叠得到Hinput×Winput×128特征图,再进行3x3卷积改变通道数得到Hinput×Winput×4特征图,将其按照四个通道数分为hk,将其在通层面上进行softmax归一化后将四个通道拆分得到4个Hinput×Winput×1特征图,命为wk,即为Fk各自的权重图。
S32,将步骤S2中的F0,F1,F2,F3分别与步骤S31中的w0,w1,w2,w3按照如下公式对应相乘并相加后得到Hinput×Winput×32特征图g:
g表示使用权重融合代替直接相加操作得到融合特征图。
本实施例中,将步骤S32得到的Hinput×Winput×32特征图g经过卷积模块M5内的3×3卷积块改变通道数得到Hinput×Winput×1的特征图,采用阈值分割进行二值化阈值处理得到最终的检测结果二值图O,其中白色区域代表发生变化,黑色区域代表未发生变化。
本实施例中,步骤S3之后还包括使用深度监督方式引导预测网络的步骤,使用深度监督方式训练网络时,将检测结果图O与真实的变化标签得到交叉熵损失Lbce后进行反向传播,重复迭代直至迭代次数达到设置初始值时判定完成训练,Lbce后如下所示:
其中p代表图像中的像素数,yi表示建筑物真实变化图,yi∈{0,1}表示y中位置i的值,1表示此像素发生了变化,而0表示此像素未发生变化。xi表示网络模型输出的预测变化图,xi∈[0,1]表示x中位置i的值,代表了预测改像素点发生变化的概率。
为了验证AtDiffHRNet的有效性,本实施例使用公开数据集Lebedev进行了网络框架的训练和测试,并且与其他方法进行了对比。LEVIR-CD数据集包含10000组训练数据、3000组验证数据和3000组测试数据,每一组数据包含两张不同时相的图像,每张图像大小为256×256。并且这16000组数据集都包含了变化区域。
本实施例提出的算法与4种最新的变化检测方法,FC-Siam-diff(FullyConvolutional Siamese Concatenation)、STANet(Spatial–Temporal Attention NeuralNetwork)、DASNet(double attention full convolution siamese network)和DifUNet++DU进行对比,具体结果如图3所示。评价指标共有3种,分别为精度(Precision),召回率(Recall),F1分数(F1-score)。结合图3可以看出,本实施例方法(AtDiffHRNet)3个评价指标,均是最优结果并达到最高的F1-score(97.2%),与第二好的(DASNet)相比,AtDiffHRNet将F1-score的准确率提高了3.1%,Precision提高了4.4%,Recall提高了1.8%。图4为本实施例方法和其他现有方法的三组建筑物变化检测结果对比示意图,通过图4第一行可以看出,虽然红框标注的区域比较复杂,但是本实施例方法的检测结果非常接近真实情况。第二行输入图像对中同时存在两个小的变化区域与一个大的变化区域,本实施例方法可以同时准确地检测到这些区域,但是其他对比方法有误报或者漏检的情况。第三行,与其他方法相比,本实施例方法检测结果中的建筑物轮廓清晰,当有建筑物密集分布的区域的检测结果也没有粘连情况。
Claims (5)
1.一种基于高分辨卷积神经网络的遥感图像变化检测方法,其特征在于,包括如下步骤:
步骤1:将不同时相的遥感图像T1和T2输入差分金字塔模块,分别对T1和T2依次进行1次改变通道数的卷积操作与n-1次跨步卷积操作,提取得到n个特征对f1i和f2i;f1i和f2i分别为遥感图像T1和T2在第i次操作后得到的特征,i=1,2,…,n;
所述跨步卷积是指步长为2的卷积操作,特征图每次通过跨步卷积后通道数翻倍,分辨率减半;
将特征对f1i与f2i的绝对差作为差异性特征di;
步骤2:构建特征提取模块;
步骤2-1:所述特征提取模块包括n层,第i层包括i个卷积模块Mi,j,i≥1,0≤j<i;卷积模块Mi,j输出的特征图定义为Ii,j,特征图Ii,j的分辨率记为Hi,j×Wi,j,通道数记为Ci,j,其中Hi,j=Hinput/2j,Wi,j=Winput/2j,Ci,j=32×2j,其中Hinput与Winput为输入图像对T的分辨率大小;
步骤2-2:卷积模块M1,0的输入为遥感图像T1和T2通道堆叠后通过卷积模块M0得到的特征图和差异性特征d1;
步骤2-3:当i≥2时,将第i-1层卷积模块Mi-1,y的输出Ii-1,y经过如下处理统一输入分辨率及通道数后采用加法融合输入第i层的卷积模块Mi,j,y∈[0,i-2]:
当y<j时,对特征图Ii-1,y进行j-y次步长为2的跨步卷积,每次跨步卷积通过3×3卷积使得特征图的通道数翻倍,分辨率减半;
当y=j时,对特征图Ii-1,y进行3×3卷积进行特征的提取且通道数与分辨率不变;
当y>j时,对特征图Ii-1,y进行3×3卷积,并将通道数变为32×2j,且使用双线性插值上采样操作使得分辨率变为Hinput/2j×Winput/2j;
对于每一层满足j=i-1的卷积模块Mi,j,其输入除统一输入分辨率及通道数后的Ii-1,y外还包括差异性特征di,差异性特征di通过加法与Ii-1,y融合;
步骤2-4:通过特征提取模块中所有的卷积模块后,得到的n个不同尺度的特征图Fk’,k=0,1,…,n-1;Fk’的分辨率与通道数分别为Hinput/2k×Winput/2k和32×2k;
步骤3:将特征提取模块提取到的特征Fk’通过3×3卷积与上采样操作统一分辨率和通道数,得到新的特征Fk,Fk经过多尺度特征注意模块进行融合后经过卷积单元得到变化特征图,并将变化特征图经过二值化阈值处理得到最终的检测结果图O;
步骤3-1:所述多尺度特征注意模块先将特征图Fk进行通道堆叠,经过3×3卷积改变通道数,继而使用softmax分类器归一化,然后经过通道拆分操作得到n个权重图,作为Fk各自的权重;
步骤3-2:使用权重融合代替直接相加操作得到融合特征图g;
步骤3-3:将融合特征图g通过3×3卷积改变通道数为1后采用阈值分割进行二值化处理得到最终的检测结果图O,其中白色区域代表发生变化,黑色区域代表未发生变化;
步骤4:在训练网络时,将检测结果图O与真实的变化标签得到交叉熵损失Lbce后进行反向传播,重复迭代直至迭代次数达到设置初始值时判定完成训练。
2.根据权利要求1所述的一种基于高分辨卷积神经网络的遥感图像变化检测方法,其特征在于,所述卷积模块均为3×3卷积层、批归一化层与修正线性单元组成。
3.根据权利要求1所述的一种基于高分辨卷积神经网络的遥感图像变化检测方法,其特征在于,所述步骤3-1具体为:
将Fk先进行通道堆叠得到Hinput×Winput×128特征图,再进行3x3卷积改变通道数得到Hinput×Winput×n特征图,将其按照n个通道数分为hk,再进行softmax归一化后将n个通道拆分得到n个Hinput×Winput×1特征图,命为wk,即为Fk各自的权重图:
4.根据权利要求3所述的一种基于高分辨卷积神经网络的遥感图像变化检测方法,其特征在于,所述步骤3-2具体为:
将Fk分别与wk按照如下公式对应相乘并相加后得到Hinput×Winput×32融合特征图g:
5.根据权利要求4所述的一种基于高分辨卷积神经网络的遥感图像变化检测方法,其特征在于,所述步骤3-3具体为:
将融合特征图g经过卷积模块M5内的3×3卷积块改变通道数得到Hinput×Winput×1的特征图,采用阈值分割进行二值化阈值处理得到最终的检测结果二值图O,其中白色区域代表发生变化,黑色区域代表未发生变化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210504294.6A CN114998703B (zh) | 2022-05-10 | 2022-05-10 | 一种基于高分辨卷积神经网络的遥感图像变化检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210504294.6A CN114998703B (zh) | 2022-05-10 | 2022-05-10 | 一种基于高分辨卷积神经网络的遥感图像变化检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114998703A CN114998703A (zh) | 2022-09-02 |
CN114998703B true CN114998703B (zh) | 2024-03-08 |
Family
ID=83025307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210504294.6A Active CN114998703B (zh) | 2022-05-10 | 2022-05-10 | 一种基于高分辨卷积神经网络的遥感图像变化检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114998703B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115661016B (zh) * | 2022-12-08 | 2023-04-18 | 瑞纳智能设备股份有限公司 | 换热站的故障监视方法、系统和嵌入式图像诊断控制平台 |
CN116309431B (zh) * | 2023-03-14 | 2023-10-27 | 中国人民解放军空军军医大学 | 一种基于医学影像的视觉解释方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110263705A (zh) * | 2019-06-19 | 2019-09-20 | 上海交通大学 | 面向遥感技术领域两期高分辨率遥感影像变化检测方法 |
WO2021184891A1 (zh) * | 2020-03-20 | 2021-09-23 | 中国科学院深圳先进技术研究院 | 遥感影像地物分类方法及系统 |
CN113706482A (zh) * | 2021-08-16 | 2021-11-26 | 武汉大学 | 一种高分辨率遥感影像变化检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111931684B (zh) * | 2020-08-26 | 2021-04-06 | 北京建筑大学 | 一种基于视频卫星数据鉴别特征的弱小目标检测方法 |
-
2022
- 2022-05-10 CN CN202210504294.6A patent/CN114998703B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110263705A (zh) * | 2019-06-19 | 2019-09-20 | 上海交通大学 | 面向遥感技术领域两期高分辨率遥感影像变化检测方法 |
WO2021184891A1 (zh) * | 2020-03-20 | 2021-09-23 | 中国科学院深圳先进技术研究院 | 遥感影像地物分类方法及系统 |
CN113706482A (zh) * | 2021-08-16 | 2021-11-26 | 武汉大学 | 一种高分辨率遥感影像变化检测方法 |
Non-Patent Citations (2)
Title |
---|
基于多尺度特征融合模型的遥感图像建筑物分割;徐胜军;欧阳朴衍;郭学源;Khan Taha Muthar;;计算机测量与控制;20200725(07);全文 * |
基于改进UNet孪生网络的遥感影像矿区变化检测;向阳;赵银娣;董霁红;;煤炭学报;20191215(12);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114998703A (zh) | 2022-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110263705B (zh) | 面向遥感技术领域两期高分辨率遥感影像变化检测系统 | |
CN112884064B (zh) | 一种基于神经网络的目标检测与识别方法 | |
CN114998703B (zh) | 一种基于高分辨卷积神经网络的遥感图像变化检测方法 | |
CN109840556B (zh) | 一种基于孪生网络的图像分类识别方法 | |
CN113516012B (zh) | 一种基于多层级特征融合的行人重识别方法及系统 | |
CN112651940B (zh) | 基于双编码器生成式对抗网络的协同视觉显著性检测方法 | |
CN111652240B (zh) | 一种基于cnn的图像局部特征检测与描述方法 | |
CN110188827A (zh) | 一种基于卷积神经网络和递归自动编码器模型的场景识别方法 | |
CN116030357A (zh) | 一种高分辨率遥感图像变化检测深度网络及检测方法 | |
CN112861931A (zh) | 一种基于差异注意力神经网络的多级别变化检测方法 | |
CN114841961B (zh) | 基于图像增强和改进YOLOv5的小麦赤霉病检测方法 | |
CN113628297A (zh) | 一种基于注意力机制和迁移学习的covid-19深度学习诊断系统 | |
CN116977747B (zh) | 基于多路多尺度特征孪生网络的小样本高光谱分类方法 | |
Chen et al. | Exchange means change: An unsupervised single-temporal change detection framework based on intra-and inter-image patch exchange | |
CN110689060A (zh) | 一种基于聚合特征差异学习网络的异源图像匹配方法 | |
CN116091946A (zh) | 一种基于YOLOv5的无人机航拍图像目标检测方法 | |
CN116310811A (zh) | 一种基于高分辨卷积网络及上下文信息编码的语义变化检测方法 | |
Wang et al. | Align, perturb and decouple: Toward better leverage of difference information for RSI change detection | |
Zhang et al. | HCGNet: A Hybrid Change Detection Network Based on CNN and GNN | |
CN116778346B (zh) | 一种基于改进自注意力机制的管线识别方法及系统 | |
CN114882292B (zh) | 基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法 | |
Yu et al. | Remote sensing building damage assessment with a multihead neighbourhood attention transformer | |
CN114463187B (zh) | 基于聚合边缘特征的图像语义分割方法及系统 | |
Kaur et al. | Deep learning based hybrid ghost-net for metaspread chromosome image segmentation | |
CN117893740A (zh) | 一种基于遥感图像密集小目标的检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |