CN117173573A - 一种城市建筑物类型变化遥感检测方法 - Google Patents
一种城市建筑物类型变化遥感检测方法 Download PDFInfo
- Publication number
- CN117173573A CN117173573A CN202311195257.2A CN202311195257A CN117173573A CN 117173573 A CN117173573 A CN 117173573A CN 202311195257 A CN202311195257 A CN 202311195257A CN 117173573 A CN117173573 A CN 117173573A
- Authority
- CN
- China
- Prior art keywords
- change
- loss
- building
- scale
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 title claims abstract description 142
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000011218 segmentation Effects 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 13
- 238000005520 cutting process Methods 0.000 claims description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000012952 Resampling Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000005855 radiation Effects 0.000 claims description 6
- 238000011160 research Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012512 characterization method Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 230000008602 contraction Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 4
- 230000008447 perception Effects 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 abstract 1
- 238000004590 computer program Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A30/00—Adapting or protecting infrastructure or their operation
- Y02A30/60—Planning or developing urban green infrastructure
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出了一种城市建筑物类型变化遥感检测方法。构建一种基于高分辨率遥感影像的城市建筑物类型变化检测模型,具体由语义分割和变化检测两大模块组成。语义分割模块利用Swim Transformer作为编码器,提升特征提取过程中的全局感知能力。通过不同任务的参数共享机制同时学习建筑物类型信息和边界信息,解决建筑物类型变化的检测问题,并在特征提取阶段融入多尺度特征对比学习,提升网络对变化地物的感知能力。配合变化检测模块,该方法可同时识别建筑物的边界和类型变化信息。本发明集成了端到端的深度神经网络,实现了利用高分辨率遥感影像自动检测城市建筑物类型变化。
Description
技术领域
本发明涉及建筑物类型变化遥感检测方法技术领域,特别是一种城市建筑物类型变化遥感检测方法。
背景技术
城市区域,建筑物变化是城市化进程的重要体现,在改变地表覆盖的同时直接影响着人们利用土地的方式。获取精准的城市建筑物变化信息,包括区域变化和类型变化,是掌握城市土地利用现状的基本信息,也是城市可持续发展规划的基础数据支撑。此外,在建筑物个体尺度上,自动地识别建筑物变化信息,有助于地理国情监测工程中建筑物变化统计工作的开展。而传统的建筑物类型变化信息只能依靠人工测绘或者人工目视解译获得,耗时耗力。
随着遥感技术的不断发展,遥感影像的空间分辨率不断提高,高空间分辨率的遥感影像为精细化的建筑物变化识别带来机会。目前的建筑物变化检测方法主要通过直接提取影像特征,然后通过复杂的特征学习方式以识别变化信息等,不可避免的受到拍摄视角、影像偏移等影响所带来的伪变化干扰,将伪变化信息错误的识别为真实的建筑物变化。此外,现有的遥感影像的建筑物变化自动检测方法仅关注建筑物区域变化信息,难以有效地识别建筑物的类型变化信息。因此如何同时识别建筑物区域变化和类型变化,并有效地减缓伪变化等噪声所带来的影响,是当前亟待解决的问题。本方法通过深度学习技术实现建筑物类型变化自动、精准检测。
发明内容
有鉴于此,本发明的目的在于提供一种城市建筑物类型变化遥感检测方法,克服了传统方法无法识别建筑物类别变化信息,且识别结果存在明显伪变化的问题。
为实现上述目的,本发明采用如下技术方案:一种城市建筑物类型变化遥感检测方法,包括以下步骤:
步骤S1:获取研究区的双时相高分辨率遥感影像,并对影像进行预处理操作,包括辐射校正、正射校正、影像融合、影像重采样等操作;
步骤S2:构建基于Swim Transformer的语义分割任务模块,提取多尺度双时相影像特征,学习建筑物特征信息;具体的,利用多尺度学习,以缓解单一尺度学习中小尺度几何特征表征能力弱,大尺度语义特征表征能力弱的问题,提升语义分割任务的精度;并对双时相影像同一尺度特征进行对比损失计算,通过对比损失优化,减小真实变化特征之间的相似性,扩大伪变化特征之间的相似性;结合多尺度缓解单尺度中无法同时顾及语义特征与几何特征表征能力的问题,突出真实变化信息;
步骤S3:构建基于Swim Transformer的变化检测任务模块,提取影像变化特征,学习影像之间的变化信息;基于多任务思想,分别构建双时相多类别建筑物类型变化图与二值变化变化图解码器;
步骤S4:设计针对双时相影像建筑物变化的语义边界损失和二值变化损失;具体地,多分类语义分割任务中采用加权损失减缓训练过程中建筑物类型数量不均衡的问题;
步骤S5:制作多类别建筑物变化样本集,将建筑物划分为未变化建筑物、离散建筑物,简易单用途建筑物,复杂多用途建筑物以及居民楼;对双时相影像进行滑动裁剪和样本增强操作,构建训练和验证样本集;
步骤S6:模型训练与预测,最终获得双时相影像的建筑物类型变化图与变化区域二值图。
在一较佳的实施例中,步骤S1中具体包括以下步骤:
步骤S11:选择待研究区两个不同时相的高分辨率遥感影像,分别对双时相影像进行预处理,包括大气、辐射校正、全色-多光谱融合等操作;
步骤S12:基于S11获取的双时相影像进行地理配准、风格迁移等操作,并对不同分辨率的影像进行重采样至相同的分辨率,提高图像处理效率。
在一较佳的实施例中,步骤S2中具体包括以下步骤:
步骤S21:选择Swim Transformer为基础网络,主要包含图像融合、下采样模块、掩码模块和多头移动窗口注意力计算模块;
步骤S22:基于孪生多任务网络学习框架,构建语义分割和变化检测两大模块,使用两个权值共享的多层注意力网络对双时相影像特征进行编码,同时学习影像中建筑物边界及其类型信息;
步骤S23:基于步骤S22提取到的多尺度特征,构建多尺度对比损失;具体的,相比于单尺度,多尺度可以同时顾及影像建筑几何特征与纹理特征的表征能力;通过对比损失计算减小真实变化特征之间的相似性,扩大伪变化特征之间的相似性,以缓解影像中的伪变化影响,主要做法如下:
采用余弦相似度计算基于通道方向上的多尺度相似性,计算公式如下:
式中,A,B分别为T1和T2时像同一尺度的特征信息集,Ai,Bi分别表示T1和T2时像同一通道的特征向量;S(A,B)为向量相似性,数值在[-1,+1]之间,将相似度S(A,B)转换为距离D,计算公式如下:
构建特征距离D差阈值生成伪标签,经试验,采用同一个网络提取同一类建筑物时特征D差在0.1~0.4,提取不同类建筑物时特征D差在0.6~0.9;最后D差阈值采用基础阈值与可学习阈值组成,基础阈值为0.5,可学习阈值由二值变化图的标签学习;伪标签反应通道方向上的特征变化;
基于上述步骤可以得到特征对应的建筑物信息是否变化的伪标签;基于伪标签构建多尺度特征损失计算函数;利用多尺度特征差将提取到的变化特征进行扩距,伪变化或未变化特征进行缩距,进而突出变化信息与未变化信息;损失计算工具如下:
ldis=l1+l2+…+lm
式中D为S32中的计算结果,li表示第i个尺度的特征差损失,label=0表示此通道对应的特征未发生改变,l=1表示此通道对应的特征发生改变;max为最大距离差,当max等于2表示特征之间完全不同;优化损失函数,减小双时相未变化目标的特征相似性,增大变化目标的特征相似性,通过相加计算集成多尺度对比损失形成总对比损失。
在一较佳的实施例中,步骤S3中具体包括以下步骤:
步骤S31:基于步骤S2中提取的双时相影像多尺度特征,构建基于SwimTransformer的变化特征编码器,获得到时相影像的变化特征;
步骤S32:基于孪生多任务学习思想,构建基于多尺度建筑物特征的双时相建筑物多分类解码器,构建基于影像变化特征的二值掩膜解变化图解码器;主要包含多尺度特征融合模块,在解码过程中融合多尺度信息,避免信息丢失。
在一较佳的实施例中,步骤S4中具体包括以下步骤:
步骤S41:基于步骤S2、S3构建的孪生多任务网络模型,设计多任务损失函数,优化网络权值,以减少预测误差;具体地,采用多分类交叉熵损失计算双时相建筑物多分类语义分割的损失,计算公式如下:
式中lm表示双时相多类别语义分割损失,表示第j类别的预测概率,cls表示真实的类别,N表示类别总数;通过损失的反向传播,使像素位置的预测类别更接近真实类别;
步骤S42:采用加权对比损失计算二值变化掩膜损失;计算公式如下:
lc=-yc·log(pc)-(1-yc)·log(1-pc)
lct=Wp·lcp+Wn·lcn
式中:lc表示变化二值掩膜损失,yc表示c像素位置的实际标签,变或者不变,pc表示c像素位置的预测结果;lcp表示c像素位置实际变化的损失,lcn表示c像素位置实际未变化的损失;ycp表示c像素位置真实变化的掩膜,ycn表示c像素位置真实未变化的掩膜;np表示真实标签中变化的总像素数量,nn表示真实标签中变化的总像素数量;Wp为变化损失的计算权重,Wn为未变化损失的计算权重,经过加权相加得到变化掩膜总损失lct;
步骤S43:采用加权余弦相似度损失进一步突出变化信息;计算公式如下:
式中:lcos表示余弦相似度损失,xi表示双时相影像的某个像素位置通道上排列的分类概率向量,cos(x1,x2)表示概率向量的余弦相似度,max表示边界值;y表示对应位置是否改变的真实标签,当y=-1表示x位置处发生改变,此时计算得到的余弦相似度理论上应该较小,通过优化损失将变化处的余弦相似度优化至0;y=1表示x位置处未发生改变,此时余弦相似度理论上应该无限与1接近,通过优化损失可以使未变化处的损失趋向于1;标签信息y由真实标签经过转换得到;
步骤S44:基于步骤S41、S42、S43构建的多个损失函数,采用加权相加的方式得到网络的总损失:
lt=λ1ldis+λ2lm+λ3lct+λ4lcos
式中:lt表示网络的总损失,λi表示不同损失对应的权重,采用熵值法确定不同损失的权重占比。
在一较佳的实施例中,步骤S5中具体包括以下步骤:
步骤S51:基于步骤S1预处理后的影像数据,选择常用的标签制作方法,如ArcGIS软件内置的面矢量构建方法,人工目视解译双时相变化建筑物的语义边界,并对单个建筑物并添加字段信息,以不同的像素值表示不同类型建筑物,包括未变化建筑物、离散建筑物,简易单用途建筑物,复杂多用途建筑物以及居民楼;
步骤S52:基于步骤S51,将矢量标签数据导出为单通道的栅格数据,并带有投影与仿射信息,以便将预测结果矢量化;
步骤S53:基于S51、S52构建的样本数据集,采用滑动窗口的方式将数据裁剪为S×S像素大小,筛选变化建筑物占比在20%~80%的裁剪图;按一定比例划分训练集、验证集、测试集;为了增强模型的泛化能力,对双时相图像同步采用水平、垂直翻转、仿射变化等方式扩大训练样本数据集;
步骤S54:采用SGD优化器并设置初始学习率lr作为变化建筑分割与二值变化掩膜预测的优化器;
步骤S55:使用在大数据集ImageNet上预训练的注意力模型中的模块来初始化网络模型权重,以加快模型收敛速度,提高模型训练效率,得到较优的模型权重文件。
在一较佳的实施例中,步骤S6具体包括以下步骤:
步骤S61:基于步骤S5获取的样本集,设置合理的迭代次数、学习率、优化器参数等超参数训练模型,储存在验证集中效果最佳的权值文件;
步骤S62:基于步骤S61获取的权值文件,对测试集中的影像进行预测,利用二值掩膜图裁剪双时相变化建筑物预测结果;并采用颜色索引与将其转换为rgb影像,添加仿射信息与投影信息得到最后的预测结果。
与现有技术相比,本发明具有以下有益效果:不仅能检测建筑物区域的变化,还能检测建筑物类型的变化。构建基于孪生神经网络的Swim Transformer学习图像建筑物特征与变化特征,相比卷积神经网络,提升特征提取过程中的全局感知能力;采用多尺度特征相融合的解码方式能有效的缓解在多层级网络在传递过程中的特征损失;此外,为了使得孪生网络中提取到的双时相影像中真实变化特征信息间距大,未变化或伪变化特征信息间距小,采用多尺度对比损失进行优化,使得网络更加能区分真实变化信息与伪变化或未变化信息;此外,添加加权对比损失进一步优化网络对变化信息的提取,采用联合损失函数综合优化网络,最后形成端到端的网络提升了变化检测效率,为城市快速发展进程中城市建筑物遥感变化检测提供技术支撑。
附图说明
图1为本发明优选实施例的方法流程示意图;
图2为本发明优选实施例的研究区变化参考图(一);
图3为本发明优选实施例的研究区变化参考图(二)。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式;如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
一种基于孪生多任务网络和多尺度特征对比学习的城市建筑物类型变化遥感检测方法,参考图1-3,包括以下步骤:
步骤S1:获取研究区的双时相高分辨率遥感影像,并对影像进行预处理操作,包括辐射校正、正射校正、影像融合、影像重采样等操作;
步骤S2:构建基于Swim Transformer的语义分割任务模块,提取多尺度双时相影像特征,学习建筑物特征信息。具体的,利用多尺度学习,以缓解单一尺度学习中小尺度几何特征表征能力弱,大尺度语义特征表征能力弱的问题,提升语义分割任务的精度。并对双时相影像同一尺度特征进行对比损失计算,通过对比损失优化,减小真实变化特征之间的相似性,扩大伪变化特征之间的相似性,结合多尺度缓解单尺度中无法同时顾及语义特征与几何特征表征能力的问题。突出真实变化信息。
步骤S3:构建基于Swim Transformer的变化检测任务模块。提取影像变化特征,学习影像之间的变化信息。基于多任务思想,分别构建双时相多类别建筑物类型变化图与二值变化变化图解码器。
步骤S4:设计针对双时相影像建筑物变化的语义边界损失和二值变化损失。具体地,多分类语义分割任务中采用加权损失减缓训练过程中建筑物类型数量不均衡的问题。
步骤S5:制作多类别建筑物变化样本集,将建筑物划分为未变化建筑物、离散建筑物,简易单用途建筑物,复杂多用途建筑物以及居民楼。对双时相影像进行滑动裁剪和样本增强操作,构建训练和验证样本集;
步骤S6:模型训练与预测,最终获得双时相影像的建筑物类型变化图与变化区域二值图。
在本实施例中,步骤S1具体包括以下步骤:
步骤S11:选择待研究区两个不同时相的高分辨率遥感影像,分别对双时相影像进行预处理,包括大气、辐射校正、全色-多光谱融合等操作;
步骤S12:基于S11获取的双时相影像进行地理配准、风格迁移等操作,并对不同分辨率的影像进行重采样至相同的分辨率,提高图像处理效率。
在本实施例中,步骤S2中具体还包括以下步骤:
步骤S21:选择Swim Transformer为基础网络,主要包含图像融合、下采样模块、掩码模块和多头移动窗口注意力计算模块。
步骤S22:基于孪生多任务网络学习框架,构建语义分割和变化检测两大模块,使用两个权值共享的多层注意力网络对双时相影像特征进行编码,同时学习影像中建筑物边界及其类型信息。
步骤S23:基于步骤S22提取到的多尺度特征,构建多尺度对比损失。具体的,相比于单尺度,多尺度可以同时顾及影像建筑几何特征与纹理特征的表征能力。通过对比损失计算减小真实变化特征之间的相似性,扩大伪变化特征之间的相似性,以缓解影像中的伪变化影响,主要做法如下:
采用余弦相似度计算基于通道方向上的多尺度相似性,计算公式如下:
式中,A,B分别为T1和T2时像同一尺度的特征信息集,Ai,Bi分别表示T1和T2时像同一通道的特征向量。S(A,B)为向量相似性,数值在[-1,+1]之间,将相似度S(A,B)转换为距离D,计算公式如下:
构建特征距离D差阈值生成伪标签,经试验,采用同一个网络提取同一类建筑物时特征D差在0.1~0.4,提取不同类建筑物时特征D差在0.6~0.9。最后D差阈值采用基础阈值与可学习阈值组成,基础阈值为0.5,可学习阈值由二值变化图的标签学习。伪标签反应通道方向上的特征变化。
基于上述步骤可以得到特征对应的建筑物信息是否变化的伪标签。基于伪标签构建多尺度特征损失计算函数。利用多尺度特征差将提取到的变化特征进行扩距,伪变化或未变化特征进行缩距,进而突出变化信息与未变化信息。损失计算工具如下:
ldis=l1+l2+…+lm
式中D为S32中的计算结果,li表示第i个尺度的特征差损失,label=0表示此通道对应的特征未发生改变,l=1表示此通道对应的特征发生改变。max为最大距离差,当max等于2表示特征之间完全不同。优化损失函数,减小双时相未变化目标的特征相似性,增大变化目标的特征相似性,通过相加计算集成多尺度对比损失形成总对比损失。
在本实施例中,步骤S3中具体还包括以下步骤:
步骤S31:基于步骤S2中提取的双时相影像多尺度特征,构建基于SwimTransformer的变化特征编码器,获得到时相影像的变化特征。
步骤S32:基于孪生多任务学习思想,构建基于多尺度建筑物特征的双时相建筑物多分类解码器,构建基于影像变化特征的二值掩膜解变化图解码器。主要包含多尺度特征融合模块,在解码过程中融合多尺度信息,避免信息丢失。
在本实施例中,步骤S4具体包括以下步骤:
步骤S41:基于步骤S2、S3构建的孪生多任务网络模型,设计多任务损失函数,优化网络权值,以减少预测误差。具体地,采用多分类交叉熵损失计算双时相建筑物多分类语义分割的损失,计算公式如下:
式中lm表示双时相多类别语义分割损失,表示第j类别的预测概率,cls表示真实的类别,N表示类别总数。通过损失的反向传播,使像素位置的预测类别更接近真实类别。
步骤S42:采用加权对比损失计算二值变化掩膜损失。计算公式如下:
lc=-yc·log(pc)-(1-yc)·log(1-pc)
lct=Wp·lcp+Wn·lcn
式中:lc表示变化二值掩膜损失,yc表示c像素位置的实际标签,变或者不变,pc表示c像素位置的预测结果。lcp表示c像素位置实际变化的损失,lcn表示c像素位置实际未变化的损失。ycp表示c像素位置真实变化的掩膜,ycn表示c像素位置真实未变化的掩膜。np表示真实标签中变化的总像素数量,nn表示真实标签中变化的总像素数量。Wp为变化损失的计算权重,Wn为未变化损失的计算权重,经过加权相加得到变化掩膜总损失lct。
步骤S43:采用加权余弦相似度损失进一步突出变化信息。计算公式如下:
式中:lcos表示余弦相似度损失,xi表示双时相影像的某个像素位置通道上排列的分类概率向量,cos(x1,x2)表示概率向量的余弦相似度,max表示边界值。y表示对应位置是否改变的真实标签,当y=-1表示x位置处发生改变,此时计算得到的余弦相似度理论上应该较小,通过优化损失将变化处的余弦相似度优化至0。y=1表示x位置处未发生改变,此时余弦相似度理论上应该无限与1接近,通过优化损失可以使未变化处的损失趋向于1。标签信息y由真实标签经过转换得到。
步骤S44:基于步骤S41、S42、S43构建的多个损失函数,采用加权相加的方式得到网络的总损失:
lt=λ1ldis+λ2lm+λ3lct+λ4lcos
式中:lt表示网络的总损失,λi表示不同损失对应的权重,采用熵值法确定不同损失的权重占比。
在本实施例中,步骤S5具体包括以下步骤:
步骤S51:基于步骤S1预处理后的影像数据,选择常用的标签制作方法,如ArcGIS软件内置的面矢量构建方法,人工目视解译双时相变化建筑物的语义边界,并对单个建筑物并添加字段信息,以不同的像素值表示不同类型建筑物,包括未变化建筑物、离散建筑物,简易单用途建筑物,复杂多用途建筑物以及居民楼。
步骤S52:基于步骤S51,将矢量标签数据导出为单通道的栅格数据,并带有投影与仿射信息,以便将预测结果矢量化;
步骤S53:基于S51、S52构建的样本数据集,采用滑动窗口的方式将数据裁剪为S×S像素大小,筛选变化建筑物占比在20%~80%的裁剪图。按一定比例划分训练集、验证集、测试集。为了增强模型的泛化能力,对双时相图像同步采用水平、垂直翻转、仿射变化等方式扩大训练样本数据集;
步骤S54:采用SGD优化器并设置初始学习率lr作为变化建筑分割与二值变化掩膜预测的优化器;
步骤S55:使用在大数据集ImageNet上预训练的注意力模型中的模块来初始化网络模型权重,以加快模型收敛速度,提高模型训练效率,得到较优的模型权重文件。
在本实施例中,步骤S6具体包括以下步骤:
步骤S61:基于步骤S5获取的样本集,设置epoch数量为50,设置合理的学习率、优化器参数等超参数训练模型,储存在验证集上效果最佳的权值文件。
步骤S62:基于步骤S61获取的权值文件,对测试集中的影像进行预测,利用二值掩膜图裁剪双时相变化建筑物预测结果。并采用颜色索引与将其转换为rgb影像,并添加仿射信息与投影信息得到最后的预测结果。
在本实实例中,使用福建省泉州市主城区为研究对象,利用2017年和2020年研究区GF-2共两个时期的高分辨率遥感影像数据对研究区内重点扰动区域进行建筑物变化检测,使用红、绿、蓝三波段。本实例使用了2380张像素大小为256×256的影像和对应的标注数据用于模型训练,共分为5类建筑物,包括未变化建筑物、离散建筑物,简易单用途建筑物,复杂多用途建筑物以及住宅公寓。图2为详细的对比结果,图2中包含T1和T2的高分影像,以及对应的实际标签和模型预测结果,结合模型预测图与标签可知本模型不仅可以检测边界变化还可以获取变化类型。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。
Claims (7)
1.一种城市建筑物类型变化遥感检测方法,其特征在于,包括以下步骤:
步骤S1:获取研究区的双时相高分辨率遥感影像,并对影像进行预处理操作,包括辐射校正、正射校正、影像融合、影像重采样等操作;
步骤S2:构建基于Swim Transformer的语义分割任务模块,提取多尺度双时相影像特征,学习建筑物特征信息;具体的,利用多尺度学习,以缓解单一尺度学习中小尺度几何特征表征能力弱,大尺度语义特征表征能力弱的问题,提升语义分割任务的精度;并对双时相影像同一尺度特征进行对比损失计算,通过对比损失优化,减小真实变化特征之间的相似性,扩大伪变化特征之间的相似性;结合多尺度缓解单尺度中无法同时顾及语义特征与几何特征表征能力的问题,突出真实变化信息;
步骤S3:构建基于Swim Transformer的变化检测任务模块,提取影像变化特征,学习影像之间的变化信息;基于多任务思想,分别构建双时相多类别建筑物类型变化图与二值变化变化图解码器;
步骤S4:设计针对双时相影像建筑物变化的语义边界损失和二值变化损失;具体地,多分类语义分割任务中采用加权损失减缓训练过程中建筑物类型数量不均衡的问题;
步骤S5:制作多类别建筑物变化样本集,将建筑物划分为未变化建筑物、离散建筑物,简易单用途建筑物,复杂多用途建筑物以及居民楼;对双时相影像进行滑动裁剪和样本增强操作,构建训练和验证样本集;
步骤S6:模型训练与预测,最终获得双时相影像的建筑物类型变化图与变化区域二值图。
2.根据权利要求1所述的一种城市建筑物类型变化遥感检测方法,其特征在于,步骤S1中具体包括以下步骤:
步骤S11:选择待研究区两个不同时相的高分辨率遥感影像,分别对双时相影像进行预处理,包括大气、辐射校正、全色-多光谱融合等操作;
步骤S12:基于S11获取的双时相影像进行地理配准、风格迁移等操作,并对不同分辨率的影像进行重采样至相同的分辨率,提高图像处理效率。
3.根据权利要求1所述的一种城市建筑物类型变化遥感检测方法,其特征在于,步骤S2中具体包括以下步骤:
步骤S21:选择Swim Transformer为基础网络,主要包含图像融合、下采样模块、掩码模块和多头移动窗口注意力计算模块;
步骤S22:基于孪生多任务网络学习框架,构建语义分割和变化检测两大模块,使用两个权值共享的多层注意力网络对双时相影像特征进行编码,同时学习影像中建筑物边界及其类型信息;
步骤S23:基于步骤S22提取到的多尺度特征,构建多尺度对比损失;具体的,相比于单尺度,多尺度可以同时顾及影像建筑几何特征与纹理特征的表征能力;通过对比损失计算减小真实变化特征之间的相似性,扩大伪变化特征之间的相似性,以缓解影像中的伪变化影响,主要做法如下:
采用余弦相似度计算基于通道方向上的多尺度相似性,计算公式如下:
式中,A,B分别为T1和T2时像同一尺度的特征信息集,Ai,Bi分别表示T1和T2时像同一通道的特征向量;S(A,B)为向量相似性,数值在[-1,+1]之间,将相似度S(A,B)转换为距离D,计算公式如下:
构建特征距离D差阈值生成伪标签,经试验,采用同一个网络提取同一类建筑物时特征D差在0.1~0.4,提取不同类建筑物时特征D差在0.6~0.9;最后D差阈值采用基础阈值与可学习阈值组成,基础阈值为0.5,可学习阈值由二值变化图的标签学习;伪标签反应通道方向上的特征变化;
基于上述步骤可以得到特征对应的建筑物信息是否变化的伪标签;基于伪标签构建多尺度特征损失计算函数;利用多尺度特征差将提取到的变化特征进行扩距,伪变化或未变化特征进行缩距,进而突出变化信息与未变化信息;损失计算工具如下:
ldis=l1+l2+…+lm
式中D为S32中的计算结果,li表示第i个尺度的特征差损失,label=0表示此通道对应的特征未发生改变,l=1表示此通道对应的特征发生改变;max为最大距离差,当max等于2表示特征之间完全不同;优化损失函数,减小双时相未变化目标的特征相似性,增大变化目标的特征相似性,通过相加计算集成多尺度对比损失形成总对比损失。
4.根据权利要求1所述的一种城市建筑物类型变化遥感检测方法,其特征在于,步骤S3中具体包括以下步骤:
步骤S31:基于步骤S2中提取的双时相影像多尺度特征,构建基于Swim Transformer的变化特征编码器,获得到时相影像的变化特征;
步骤S32:基于孪生多任务学习思想,构建基于多尺度建筑物特征的双时相建筑物多分类解码器,构建基于影像变化特征的二值掩膜解变化图解码器;主要包含多尺度特征融合模块,在解码过程中融合多尺度信息,避免信息丢失。
5.根据权利要求1所述的一种城市建筑物类型变化遥感检测方法,其特征在于,步骤S4中具体包括以下步骤:
步骤S41:基于步骤S2、S3构建的孪生多任务网络模型,设计多任务损失函数,优化网络权值,以减少预测误差;具体地,采用多分类交叉熵损失计算双时相建筑物多分类语义分割的损失,计算公式如下:
式中lm表示双时相多类别语义分割损失,表示第j类别的预测概率,cls表示真实的类别,N表示类别总数;通过损失的反向传播,使像素位置的预测类别更接近真实类别;
步骤S42:采用加权对比损失计算二值变化掩膜损失;计算公式如下:
lc=-yc·log(pc)-(1-yc)·log(1-pc)
lct=Wp·lcp+Wn·lcn
式中:lc表示变化二值掩膜损失,yc表示c像素位置的实际标签,变或者不变,pc表示c像素位置的预测结果;lcp表示c像素位置实际变化的损失,lcn表示c像素位置实际未变化的损失;ycp表示c像素位置真实变化的掩膜,ycn表示c像素位置真实未变化的掩膜;np表示真实标签中变化的总像素数量,nn表示真实标签中变化的总像素数量;Wp为变化损失的计算权重,Wn为未变化损失的计算权重,经过加权相加得到变化掩膜总损失lct;
步骤S43:采用加权余弦相似度损失进一步突出变化信息;计算公式如下:
式中:lcos表示余弦相似度损失,xi表示双时相影像的某个像素位置通道上排列的分类概率向量,cos(x1,x2)表示概率向量的余弦相似度,max表示边界值;y表示对应位置是否改变的真实标签,当y=-1表示x位置处发生改变,此时计算得到的余弦相似度理论上应该较小,通过优化损失将变化处的余弦相似度优化至0;y=1表示x位置处未发生改变,此时余弦相似度理论上应该无限与1接近,通过优化损失可以使未变化处的损失趋向于1;标签信息y由真实标签经过转换得到;
步骤S44:基于步骤S41、S42、S43构建的多个损失函数,采用加权相加的方式得到网络的总损失:
lt=λ1ldis+λ2lm+λ3lct+λ4lcos
式中:lt表示网络的总损失,λi表示不同损失对应的权重,采用熵值法确定不同损失的权重占比。
6.根据权利要求1所述的一种城市建筑物类型变化遥感检测方法,其特征在于,步骤S5中具体包括以下步骤:
步骤S51:基于步骤S1预处理后的影像数据,选择常用的标签制作方法,如ArcGIS软件内置的面矢量构建方法,人工目视解译双时相变化建筑物的语义边界,并对单个建筑物并添加字段信息,以不同的像素值表示不同类型建筑物,包括未变化建筑物、离散建筑物,简易单用途建筑物,复杂多用途建筑物以及居民楼;
步骤S52:基于步骤S51,将矢量标签数据导出为单通道的栅格数据,并带有投影与仿射信息,以便将预测结果矢量化;
步骤S53:基于S51、S52构建的样本数据集,采用滑动窗口的方式将数据裁剪为S×S像素大小,筛选变化建筑物占比在20%~80%的裁剪图;按一定比例划分训练集、验证集、测试集;为了增强模型的泛化能力,对双时相图像同步采用水平、垂直翻转、仿射变化等方式扩大训练样本数据集;
步骤S54:采用SGD优化器并设置初始学习率lr作为变化建筑分割与二值变化掩膜预测的优化器;
步骤S55:使用在大数据集ImageNet上预训练的注意力模型中的模块来初始化网络模型权重,以加快模型收敛速度,提高模型训练效率,得到较优的模型权重文件。
7.根据权利要求1所述的一种城市建筑物类型变化遥感检测方法,其特征在于,步骤S6具体包括以下步骤:
步骤S61:基于步骤S5获取的样本集,设置合理的迭代次数、学习率、优化器参数等超参数训练模型,储存在验证集中效果最佳的权值文件;
步骤S62:基于步骤S61获取的权值文件,对测试集中的影像进行预测,利用二值掩膜图裁剪双时相变化建筑物预测结果;并采用颜色索引与将其转换为rgb影像,添加仿射信息与投影信息得到最后的预测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311195257.2A CN117173573A (zh) | 2023-09-16 | 2023-09-16 | 一种城市建筑物类型变化遥感检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311195257.2A CN117173573A (zh) | 2023-09-16 | 2023-09-16 | 一种城市建筑物类型变化遥感检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117173573A true CN117173573A (zh) | 2023-12-05 |
Family
ID=88935276
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311195257.2A Pending CN117173573A (zh) | 2023-09-16 | 2023-09-16 | 一种城市建筑物类型变化遥感检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117173573A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117671519A (zh) * | 2023-12-14 | 2024-03-08 | 上海勘测设计研究院有限公司 | 大区域遥感影像地物提取方法及系统 |
-
2023
- 2023-09-16 CN CN202311195257.2A patent/CN117173573A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117671519A (zh) * | 2023-12-14 | 2024-03-08 | 上海勘测设计研究院有限公司 | 大区域遥感影像地物提取方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112818903B (zh) | 一种基于元学习和协同注意力的小样本遥感图像目标检测方法 | |
CN110705457B (zh) | 一种遥感影像建筑物变化检测方法 | |
CN112966684B (zh) | 一种注意力机制下的协同学习文字识别方法 | |
Deschaud et al. | A fast and accurate plane detection algorithm for large noisy point clouds using filtered normals and voxel growing | |
CN113240688A (zh) | 一种一体化洪涝灾害精准监测预警方法 | |
CN113449660B (zh) | 基于自注意增强的时空变分自编码网络的异常事件检测方法 | |
CN112597815A (zh) | 一种基于Group-G0模型的合成孔径雷达图像舰船检测方法 | |
CN113569788B (zh) | 一种建筑物语义分割网络模型训练方法、系统及应用方法 | |
CN113657324A (zh) | 基于遥感影像地物分类的城市功能区识别方法 | |
CN113569724B (zh) | 基于注意力机制和扩张卷积的道路提取方法及系统 | |
CN111178304B (zh) | 基于全卷积神经网络的高分辨率遥感影像像素级解译方法 | |
CN117173573A (zh) | 一种城市建筑物类型变化遥感检测方法 | |
CN113468968A (zh) | 一种基于无锚框的遥感图像旋转目标检测方法 | |
CN115359366A (zh) | 基于参数优化的遥感图像目标检测方法 | |
CN116486255A (zh) | 自注意力特征融合的高分辨率遥感影像语义变化检测方法 | |
CN114494870A (zh) | 一种双时相遥感图像变化检测方法、模型构建方法和装置 | |
Cheng et al. | YOLOv3 Object Detection Algorithm with Feature Pyramid Attention for Remote Sensing Images. | |
CN117612023A (zh) | 融合注意力机制和卷积神经网络的遥感图像屋顶识别方法 | |
Fu et al. | A case study of utilizing YOLOT based quantitative detection algorithm for marine benthos | |
CN114913434A (zh) | 一种基于全局关系推理的高分辨率遥感影像变化检测方法 | |
CN117612025B (zh) | 基于扩散模型的遥感图像屋顶识别方法 | |
CN117953369A (zh) | 一种融合孪生编解码和注意力机制的遥感影像变化检测方法 | |
CN113378642A (zh) | 一种对农村违法占地建筑物进行检测的方法 | |
CN116310839A (zh) | 一种基于特征增强网络的遥感影像建筑物变化检测方法 | |
CN115082778B (zh) | 一种基于多分支学习的宅基地识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |