CN115861260A - 一种面向广域城市场景下的深度学习变化检测方法 - Google Patents

一种面向广域城市场景下的深度学习变化检测方法 Download PDF

Info

Publication number
CN115861260A
CN115861260A CN202211625007.3A CN202211625007A CN115861260A CN 115861260 A CN115861260 A CN 115861260A CN 202211625007 A CN202211625007 A CN 202211625007A CN 115861260 A CN115861260 A CN 115861260A
Authority
CN
China
Prior art keywords
convolution
feature
feature map
attention
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211625007.3A
Other languages
English (en)
Inventor
蒲彦
张明阳
公茂果
朱轶群
金建国
刘统飞
郑瀚泓
李林琦
李珍
王钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou Survey And Mapping Research Institute Co ltd
Xidian University
Original Assignee
Wenzhou Survey And Mapping Research Institute Co ltd
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou Survey And Mapping Research Institute Co ltd, Xidian University filed Critical Wenzhou Survey And Mapping Research Institute Co ltd
Priority to CN202211625007.3A priority Critical patent/CN115861260A/zh
Publication of CN115861260A publication Critical patent/CN115861260A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提出一种面向广域城市场景下的深度学习变化检测方法,通过结合自注意力机制和卷积融合模块(SFCM)以及细化残差网络(RRM),搭建出针对遥感影像的深度学习网络框架,实现了复杂场景下多时相遥感影像的特征提取。聚焦于变化目标,自动生成准确、精细的变化结果图。旨在解决传统人工目视解译处理方式效率较低的问题。对于地表覆盖变化检测、国土资源保护与分析、灾害预警等应用,起到了有力的技术支撑。具体内容包括:影像编码、特征自注意力机制与卷积融合的特征提取、特征解码与变化图生成。通过将遥感影像数据输入所搭建的深度学习网络进行有监督学习,最终完成网络参数的学习并实现变化图的自动生成,以达到地表覆盖变化检测的目的。

Description

一种面向广域城市场景下的深度学习变化检测方法
技术领域
本发明属于遥感影像地表变化检测领域,具体涉及一种面向广域城市场景下的深度学习变化检测方法。
背景技术
随着经济和科技的发展,中国的城市化进程实现了持续大幅提升。城市化进程持续加快的主要特征之一是城市人口的增加导致城市土地类型和规模的迅速扩大。因此,及时有效地检测城市土地覆盖变化具有诸多实际应用价值,例如地理条件的动态检测、城市发展规划和城市扩张趋势分析等。在这种情况下,基于多时空遥感影像的变化检测技术已被应用于定量或定性地获取土地利用和土地覆盖变化信息。
现代卫星技术、航空航天技术的长足发展使得遥感卫星对地观测周期越来越短、影像分辨率越来越高,对地观测能力越来越强。使得利用高分辨率遥感影像实现对地表变化检测成为一种便捷、高效、准确的技术手段。高分辨率遥感影像地表变化检测是一种通过对同一区域不同时相的遥感影像进行对比分析并提取出变化区域的技术手段,目前已经被广泛用于自然灾害预警、耕地保护检测、土地利用动态分析、国土资源保护与检测、社会发展分析等各个领域。
在实际生产中,大量的影像数据仍然依靠人工目视解译处理,这种人工作业的模式已经越来越无法适应当前大尺度、海量影像地表覆盖分类处理的时效要求,处理精度也受到人工经验制约而且处理效率较低。
深度学习作为影像处理领域的重要技术手段,能够无需人为设计规则自动提取地表覆盖分类特征,完成影像的地表覆盖变化检测任务。现有的深度学习方法由于面向的数据和场景不同,在网络框架设计和训练的过程中,存在各种差异化设定,直接将已有方法用于广域城市场景的变化目标检测任务,精度难以达到期望。
发明内容
为了解决现有技术中存在的上述问题,本发明提供了一种面向广域城市场景下的深度学习变化检测方法。本发明要解决的技术问题通过以下技术方案实现:
本发明提供了一种面向广域城市场景下的深度学习变化检测方法,包括:
对同一区域下两个不同时态的遥感影像进行叠加得到待检测遥感影像;
将所述待检测遥感影像输入至深度学习变化检测模型中端对端的输出变化检测结果图;
其中,所述深度学习变化检测模型包括依次连接的局部-全局金字塔编码器、自注意力机制和卷积融合模块、局部-全局金字塔解码器、残差细化模块和分类器;
其中,所述局部-全局金字塔编码器用于对所述待检测遥感影像进行特征提取,得到具有变化信息的第一特征图;所述自注意力机制和卷积融合模块用于对所述第一特征图分别进行卷积路径特征提取处理和自注意力路径特征提取处理,得到对应的卷积特征图和注意力特征图,并根据所述卷积特征图和所述注意力特征图得到第二特征图;所述局部-全局金字塔解码器用于对所述第二特征图进行变化信息收集整合处理,得到变化特征图;所述残差细化模块对所述变化特征图进行细化处理,得到细化后的变化特征图;最后将细化后的变化特征图输入分类器得到基于像素的二值分类的变化检测结果图。
在本发明的一个实施例中,所述局部-全局金字塔编码器为U-Net编码器,包括依次连接的若干下采样单元,所述下采样单元利用两个3×3卷积层和最大池化实现下采样。
在本发明的一个实施例中,所述自注意力机制和卷积融合模块包括尺寸转换单元,卷积路径单元、注意力路径单元和特征融合单元,其中,
所述尺寸变换单元对所述第一特征图进行卷积操作后执行尺寸转换操作,将所述第一特征图转化为具有相同尺寸的三个不同的特征图FQ、特征图FK和特征图FV
Figure BDA0004003903530000031
Figure BDA0004003903530000032
Figure BDA0004003903530000033
式中,
Figure BDA0004003903530000034
表示卷积核为1×1的卷积操作,Finput表示第一特征图,Reshape表示将进行1×1的卷积操作后的特征图从Coutput×H×W的大小转成Head×Coutput/Head×H×W的大小,Head表示自注意力机制和卷积融合模块中多头部自注意力机制的头部数量,Coutput表示卷积输出通道数,H表示特征图高度,W表示特征图宽度;
所述卷积路径单元对所述特征图FQ、所述特征图FK和所述特征图FV进行特征串联和1×1的卷积操作,然后利用多群卷积层对特征图进行可学习位移操作得到卷积特征图,所述卷积路径单元的输出计算公式如下:
Figure BDA0004003903530000041
式中,Fconv表示卷积特征图,CAT表示特征串联,
Figure BDA0004003903530000045
表示一个1×1卷积层,shift_operation表示卷积核为3的多群卷积层;
所述注意力路径单元对所述特征图FQ、所述特征图FK和所述特征图FV分别利用多头部自注意力机制进行特征提取处理,得到注意力特征图,所述注意力路径单元的输出计算公式如下:
Fatt=self_attention(FQ,FK,FV);
式中,Fatt表示注意力特征图,self_attention表示多头部自注意力机制;
所述特征融合单元用于对所述卷积特征图和所述注意力特征图进行特征融合,得到第二特征图,所述特征融合单元的输出计算公式如下:
F0=α*Fconv+β*Fatt
其中,F0表示第二特征图,α表示卷积路径的可学习调整参数,β表示注意力路径的可学习调整参数。
在本发明的一个实施例中,所述局部-全局金字塔解码器为基于U-Net的局部-全局特征解码器,包括多个解码器单元,所述解码器单元包括依次连接的若干卷积和上采样单元,每个解码器单元后连接通道注意力模块,通过所述局部-全局金字塔解码器得到变化特征图F0';
其中,所述通道注意力模块的计算过程如下:
Figure BDA0004003903530000042
式中,F'表示通道注意力模块输出特征,AW表示特征通道向量的注意力权重,F表示每个通道注意力模块的输入特征,
Figure BDA0004003903530000043
表示sigmoid函数运算,fv表示特征通道向量,/>
Figure BDA0004003903530000044
表示所有卷积操作的权重。
在本发明的一个实施例中,所述残差细化模块包括多个扩展卷积单元,第一特征融合单元和第二特征融合单元,其中,
所述多个扩展卷积单元对所述变化特征图F0'进行扩展卷积处理,得到多个扩展卷积特征图Fi',所述多个扩展卷积单元具有不同的扩张率,所述扩展卷积单元的输出计算公式如下:
Figure BDA0004003903530000051
式中,F′i+1表示扩展卷积特征图,F′i表示输入残差细化模块的第i个特征,
Figure BDA0004003903530000054
表示具有不同扩张率的3×3卷积操作;
所述第一特征融合单元通过特征相加和卷积层对所述多个扩展卷积特征图进行融合,得到融合后的特征图,所述第一特征融合单元的输出计算公式如下:
Figure BDA0004003903530000052
式中,Fm表示融合后的特征图,
Figure BDA0004003903530000053
表示一个3×3卷积层;
所述第二特征融合单元用于将所述融合后的特征图与所述变化特征图进行融合得到细化后的变化特征图,所述第二特征融合单元的输出计算公式如下:
Fro=Fm+F0';
式中,Fro表示细化后的变化特征图,F0'表示变化特征图。
在本发明的一个实施例中,将所述细化后的变化特征图Fro送入分类器转换为数值区间为[0,1]的变化检测的预测概率图,对所述预测概率图进行二值化处理,得到基于像素的二值分类的变化检测结果图。
与现有技术相比,本发明的有益效果在于:
1.本发明的面向广域城市场景下的深度学习变化检测方法,通过深度学习的方式,让网络方法对地物特征进行学习,从而实现对变化目标的自动识别,在保障识别精度的前提下大大提高了检测效率。
2.本发明的面向广域城市场景下的深度学习变化检测方法,通过设计的变化检测方法流程,包含局部-全局编码器、自注意力机制和卷积融合模块、局部-全局解码器、残差细化模块等,用于实现对数据的处理、特征的提取、有效特征的筛选、特征图细化等功能,最终达到对广域城市场景下,变化目标的准确检测。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。
附图说明
图1是本发明实施例提供的一种面向广域城市场景下的深度学习变化检测方法的示意图;
图2是本发明实施例提供的一种面向广域城市场景下的深度学习变化检测方法的执行流程图;
图3是本发明实施例提供的一种自注意力机制和卷积融合模块的框架图;
图4是本发明实施例提供的一种残差细化模块的框架图。
具体实施方式
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及具体实施方式,对依据本发明提出的一种面向广域城市场景下的深度学习变化检测方法进行详细说明。
有关本发明的前述及其他技术内容、特点及功效,在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明,可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解,然而所附附图仅是提供参考与说明之用,并非用来对本发明的技术方案加以限制。
实施例一
为了解决城市化进程加快下广域城市扩张场景下,变化目标多样、变化区域复杂导致的变化检测准确率较低问题,本实施例提出了一种面向广域城市场景下的深度学习变化检测方法,通过深度学习网络实现对土地遥感影像数据的特征自动提取以及变化目标智能检测任务,从而实现城市扩张下地表覆盖动态检测和分析能力。请参见图1所示的本发明实施例提供的一种面向广域城市场景下的深度学习变化检测方法的示意图,本实施例的深度学习变化检测方法,包括:步骤1:对同一区域下两个不同时态的遥感影像进行叠加得到待检测遥感影像;步骤2:将待检测遥感影像输入至深度学习变化检测模型中端对端的输出变化检测结果图。该深度学习变化检测模型包括依次连接的局部-全局金字塔编码器、自注意力机制和卷积融合模块、局部-全局金字塔解码器、残差细化模块和分类器。
请结合参见图2所示的本发明实施例提供的一种面向广域城市场景下的深度学习变化检测方法的执行流程图,以输入大小为256×256的双时相遥感影像为例,对本实施例的深度学习变化检测方法进行详细说明。
第一步,将大小为256×256双时相遥感影像连接为6×256×256图像,作为待检测遥感影像。第二步,将该图像输入至深度学习变化检测模型中。
在深度学习变化检测模型中,局部-全局金字塔编码器(LGPE)对该图像进行特征提取,得到具有变化信息的第一特征图Finput,大小为1024×16×16。
进一步地,自注意力机制和卷积融合模块(SFCM)对输入的第一特征图Finput进行进一步细化。请参见图3所示的本发明实施例提供的一种自注意力机制和卷积融合模块的框架图,SFCM包括尺寸转换单元,卷积路径单元、注意力路径单元和特征融合单元。首先,尺寸变换单元对第一特征图Finput进行卷积操作后执行尺寸转换操作,将第一特征图Finput转化为具有相同尺寸的三个不同的特征图FQ、特征图FK和特征图FV
Figure BDA0004003903530000081
Figure BDA0004003903530000082
Figure BDA0004003903530000083
式中,
Figure BDA0004003903530000084
表示卷积核为1×1的卷积操作,Reshape操作将特征图从1024×16×16大小转成4×256×16×16大小。
其次,特征图FQ、特征图FK和特征图FV分别通过卷积路径和注意力路径两个不同路径进行处理,得到对应的卷积特征图和注意力特征图。
在卷积路径中,卷积路径单元对特征图FQ、特征图FK和特征图FV进行特征串联和1×1的卷积操作对特征进行进一步提取,然后利用多群卷积层对特征图进行可学习位移操作得到卷积特征图Fconv,卷积路径单元的输出计算方式如下:
Figure BDA0004003903530000085
式中,CAT表示特征串联,
Figure BDA0004003903530000086
表示一个1×1卷积层,shift_operation表示卷积核为3的多群卷积层,通过shift_operation操作后得的卷积特征图Fconv大小为1024×16×16。
在本实施例中,位移操作通过一组重新初始化内核的多群卷积层实现,特征串联和1×1的卷积操作后的特征图被转换到几个不同方向,以便于多非正射影像建筑对象进行更广泛但初略的学习,在监督学习过程中,利用可学习的内核将移位操作调整到更精细的设置。
在注意力路径中,利用多头部的自我注意机制对提取到的特征进行处理以获得更好的特征表示,具体地,注意力路径单元对特征图FQ、特征图FK和特征图FV分别利用多头部自注意力机制进行特征提取处理,得到注意力特征图Fatt,注意力路径单元的输出计算方式如下:
Fatt=self_attention(FQ,FK,FV)(5);
式中,self_attention表示多头部自注意力机制,在本实施例中,设置头部数量为4,通过self_attention操作得到注意力特征图Fatt大小为1024×16×16。
需要说明的是,在注意力路径中还利用了位置编码,以便更好地绘制位置图。其中,自注意力机制是通过对特征图切块进行学习实现对自身聚焦的过程。位置编码的作用是通过生成切块之间的位置相关性参数,在计算注意力参数的过程中防止了位置信息的丢失。。多头部自注意力机制就是多组计算自注意力的过程,例如在本实施例中head=4,那么,利用尺寸变换单元的Reshape操作将第一特征图的特征分成了4组,对每组都分别进行自注意力的计算。
然后,在得到两个路径输出的卷积特征图Fconv和注意力特征图Fatt后,特征融合单元对其进行特征融合,得到第二特征图F0,SCFM的最终输出可以表示为:
F0=α*Fconv+β*Fatt(6);
其中,α表示卷积路径的可学习调整参数,β表示注意力路径的可学习调整参数。
需要说明的是,在监督学习过程中,利用两个可学习调整参数,为SCFM获得一个更稳定和可靠的输出。
进一步地,在解码阶段,将第二特征图F0送入局部-全局金字塔解码器(LGPD),对深层次的变化信息进行逐层收集和整合,得到变化特征图F0'。
在本实施例中,局部-全局金字塔解码器为基于U-Net的局部-全局特征解码器,包括多个解码器单元,解码器单元包括依次连接的若干卷积和上采样单元,每个解码器单元后连接通道注意力模块(CAM),在每个解码器单元后连接CAM以用于增强具有重要特征的通道,有助于在解码过程中寻找到变化目标。
其中,通道注意力模块的计算过程如下:
Figure BDA0004003903530000101
式中,F'表示通道注意力模块输出特征,AW表示特征通道向量的注意力权重,F表示每个通道注意力模块的输入特征,
Figure BDA0004003903530000102
表示sigmoid函数运算,fv表示特征通道向量,/>
Figure BDA0004003903530000103
表示所有卷积操作的权重。
具体地,LGPD对第二特征图F0进行与LGPE同样的卷积、上采样并与再上一层的输出裁切后进行连接,最后LGPD输出大小为1×256×256的变化特征图F0'。
进一步地,将LGPD的输出F0'输入到残差细化模块(RRM)中,进行细化。请结合参见图4所示的本发明实施例提供的一种残差细化模块的框架图,在一个可选地实施方式中,残差细化模块(RRM)包括多个扩展卷积单元,第一特征融合单元和第二特征融合单元。
具体地,RRM采用了一系列的扩展卷积来完善LGPD的输出,以寻求更完整的变化区域标注。首先,多个扩展卷积单元对LGPD输出的变化特征图进行扩展卷积处理,得到多个扩展卷积特征图,其中,多个扩展卷积单元具有不同的扩张率,计算过程可以表示为:
Figure BDA0004003903530000104
式中,F′i+1表示扩展卷积特征图,F′i表示输入残差细化模块的第i个特征,
Figure BDA0004003903530000105
表示具有不同扩张率的3×3卷积操作,在本实施例中设置i为0-5,对应扩张率分别为1,2,4,8,16,32。
其次,多个扩展卷积特征图通过第一特征融合单元进行特征相加和卷积操作,得到融合后的特征图Fm,计算过程可表示为::
Figure BDA0004003903530000111
式中,
Figure BDA0004003903530000112
表示一个3×3卷积层。
然后,第二特征融合单元将融合后的特征图Fm与变化特征图F0'进行融合得到细化后的变化特征图Fro,计算过程可表示为:
Fro=Fm+F0' (10)。
进一步地,将细化后的变化特征图Fro送入分类器转换为数值区间为[0,1]的变化检测的预测概率图,对预测概率图进行二值化处理,得到基于像素的二值分类的变化检测结果图。
可选地,分类器可采用线性分类器、softmax分类器或交叉熵分类器,在本实施例中将细化后的变化特征图Fro送入到softmax分类器中得到数值区间为[0,1]的变化检测的预测概率图,然后对预测概率图进行二值化处理,得到基于像素的二值分类的变化检测结果图。
需要说明的是,使用本实施例的深度学习变化检测模型对待检测遥感影像进行检测时,需要预先对其进行训练,具体对其训练过程进行简要说明,首先构建深度学习变化检测模型的网络结构,将训练集中的数据中输入至深度学习变化检测模型的网络结构中,通过前向传播得到预测输出,并利用损失函数计算每个预测输出与其真实标签之间的损失值,使用梯度下降算法在反向传播时优化模型参数,经过多次迭代直至损失函数收敛,得到训练完成的深度学习变化检测模型。
实施例二
本实施例将实施例一所述的深度学习变化检测方法与同类任务方法进行对比,对本发明的深度学习变化检测方法的效果进行说明。
分别使用FC-EF、SiUnet、SNUNet、SLGPNet、BiT方法以及本发明所提出方法对广域城市场景下的某城市数据集进行了变化检测实验分析。实验选取精度(precision)、召回率(recall)、F1分数(F1-score)和重叠交并比(IoU)作为检测性能评价指标。
其中,精度表示在检测到的变化像素中正确检测到的变化像素的比例。召回率代表正确检测到的变化像素在真正变化的像素中的比例。F1分数是一个同时考虑精度和召回率的指标,因为F1可以被视为精度和召回率的谐波平均值。而IoU代表检测到的变化像素和真正的变化像素之间的交集和联合的比率。
实验结果如表1所示,从实验结果可以看出,与其他基准方法相比,本发明的面向广域城市场景下的深度学习变化检测方法在所有评价指标上都取得了较好的效果。特别是在IoU方面,本发明方法取得了75.36%的最佳性能,比第二好的方法多出10%以上。这意味着针对广域城市变化检测问题,应用本发明提出的方法可以有效提升检测的准确度。
表1.某城市数据集下的对比实验结果
Figure BDA0004003903530000121
应当说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (6)

1.一种面向广域城市场景下的深度学习变化检测方法,其特征在于,包括:
对同一区域下两个不同时态的遥感影像进行叠加得到待检测遥感影像;
将所述待检测遥感影像输入至深度学习变化检测模型中端对端的输出变化检测结果图;
其中,所述深度学习变化检测模型包括依次连接的局部-全局金字塔编码器、自注意力机制和卷积融合模块、局部-全局金字塔解码器、残差细化模块和分类器;
其中,所述局部-全局金字塔编码器用于对所述待检测遥感影像进行特征提取,得到具有变化信息的第一特征图;所述自注意力机制和卷积融合模块用于对所述第一特征图分别进行卷积路径特征提取处理和自注意力路径特征提取处理,得到对应的卷积特征图和注意力特征图,并根据所述卷积特征图和所述注意力特征图得到第二特征图;所述局部-全局金字塔解码器用于对所述第二特征图进行变化信息收集整合处理,得到变化特征图;所述残差细化模块对所述变化特征图进行细化处理,得到细化后的变化特征图;最后将细化后的变化特征图输入分类器得到基于像素的二值分类的变化检测结果图。
2.根据权利要求1所述的面向广域城市场景下的深度学习变化检测方法,其特征在于,所述局部-全局金字塔编码器为U-Net编码器,包括依次连接的若干下采样单元,所述下采样单元利用两个3×3卷积层和最大池化实现下采样。
3.根据权利要求1所述的面向广域城市场景下的深度学习变化检测方法,其特征在于,所述自注意力机制和卷积融合模块包括尺寸转换单元,卷积路径单元、注意力路径单元和特征融合单元,其中,
所述尺寸变换单元对所述第一特征图进行卷积操作后执行尺寸转换操作,将所述第一特征图转化为具有相同尺寸的三个不同的特征图FQ、特征图FK和特征图FV
Figure FDA0004003903520000021
Figure FDA0004003903520000022
Figure FDA0004003903520000023
式中,
Figure FDA0004003903520000024
表示卷积核为1×1的卷积操作,Finput表示第一特征图,Reshape表示将进行1×1的卷积操作后的特征图从Coutput×H×W的大小转成Head×Coutput/Head×H×W的大小,Head表示自注意力机制和卷积融合模块中多头部自注意力机制的头部数量,Coutput表示卷积输出通道数,H表示特征图高度,W表示特征图宽度;
所述卷积路径单元对所述特征图FQ、所述特征图FK和所述特征图FV进行特征串联和1×1的卷积操作,然后利用多群卷积层对特征图进行可学习位移操作得到卷积特征图,所述卷积路径单元的输出计算公式如下:
Figure FDA0004003903520000025
式中,Fconv表示卷积特征图,CAT表示特征串联,
Figure FDA0004003903520000026
表示一个1×1卷积层,shift_operation表示卷积核为3的多群卷积层;/>
所述注意力路径单元对所述特征图FQ、所述特征图FK和所述特征图FV分别利用多头部自注意力机制进行特征提取处理,得到注意力特征图,所述注意力路径单元的输出计算公式如下:
Fatt=self_attention(FQ,FK,FV);
式中,Fatt表示注意力特征图,self_attention表示多头部自注意力机制;
所述特征融合单元用于对所述卷积特征图和所述注意力特征图进行特征融合,得到第二特征图,所述特征融合单元的输出计算公式如下:
F0=α*Fconv+β*Fatt
其中,F0表示第二特征图,α表示卷积路径的可学习调整参数,β表示注意力路径的可学习调整参数。
4.根据权利要求1所述的面向广域城市场景下的深度学习变化检测方法,其特征在于,所述局部-全局金字塔解码器为基于U-Net的局部-全局特征解码器,包括多个解码器单元,所述解码器单元包括依次连接的若干卷积和上采样单元,每个解码器单元后连接通道注意力模块,通过所述局部-全局金字塔解码器得到变化特征图F0';
其中,所述通道注意力模块的计算过程如下:
Figure FDA0004003903520000031
式中,F'表示通道注意力模块输出特征,AW表示特征通道向量的注意力权重,F表示每个通道注意力模块的输入特征,
Figure FDA0004003903520000032
表示sigmoid函数运算,fv表示特征通道向量,/>
Figure FDA0004003903520000033
表示所有卷积操作的权重。
5.根据权利要求1所述的面向广域城市场景下的深度学习变化检测方法,其特征在于,所述残差细化模块包括多个扩展卷积单元,第一特征融合单元和第二特征融合单元,其中,
所述多个扩展卷积单元对所述变化特征图进行扩展卷积处理,得到多个扩展卷积特征图,所述多个扩展卷积单元具有不同的扩张率,所述扩展卷积单元的输出计算公式如下:
Figure FDA0004003903520000041
式中,Fi'+1表示扩展卷积特征图,Fi'表示输入残差细化模块的第i个特征,
Figure FDA0004003903520000042
表示具有不同扩张率的3×3卷积操作;
所述第一特征融合单元通过特征相加和卷积层对所述多个扩展卷积特征图进行融合,得到融合后的特征图,所述第一特征融合单元的输出计算公式如下:
Figure FDA0004003903520000043
式中,Fm表示融合后的特征图,
Figure FDA0004003903520000044
表示一个3×3卷积层;
所述第二特征融合单元用于将所述融合后的特征图与所述变化特征图进行融合得到细化后的变化特征图,所述第二特征融合单元的输出计算公式如下:
Fro=Fm+F0';
式中,Fro表示细化后的变化特征图,F0'表示变化特征图。
6.根据权利要求1所述的面向广域城市场景下的深度学习变化检测方法,其特征在于,将所述细化后的变化特征图送入分类器转换为数值区间为[0,1]的变化检测的预测概率图,对所述预测概率图进行二值化处理,得到基于像素的二值分类的变化检测结果图。
CN202211625007.3A 2022-12-16 2022-12-16 一种面向广域城市场景下的深度学习变化检测方法 Pending CN115861260A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211625007.3A CN115861260A (zh) 2022-12-16 2022-12-16 一种面向广域城市场景下的深度学习变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211625007.3A CN115861260A (zh) 2022-12-16 2022-12-16 一种面向广域城市场景下的深度学习变化检测方法

Publications (1)

Publication Number Publication Date
CN115861260A true CN115861260A (zh) 2023-03-28

Family

ID=85673734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211625007.3A Pending CN115861260A (zh) 2022-12-16 2022-12-16 一种面向广域城市场景下的深度学习变化检测方法

Country Status (1)

Country Link
CN (1) CN115861260A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116862252A (zh) * 2023-06-13 2023-10-10 河海大学 一种基于复合卷积算子的城市建筑物损失应急评估方法
CN117671509A (zh) * 2024-02-02 2024-03-08 武汉卓目科技有限公司 遥感目标检测方法、装置、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116862252A (zh) * 2023-06-13 2023-10-10 河海大学 一种基于复合卷积算子的城市建筑物损失应急评估方法
CN116862252B (zh) * 2023-06-13 2024-04-26 河海大学 一种基于复合卷积算子的城市建筑物损失应急评估方法
CN117671509A (zh) * 2024-02-02 2024-03-08 武汉卓目科技有限公司 遥感目标检测方法、装置、电子设备及存储介质
CN117671509B (zh) * 2024-02-02 2024-05-24 武汉卓目科技有限公司 遥感目标检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN112818903B (zh) 一种基于元学习和协同注意力的小样本遥感图像目标检测方法
CN111047551B (zh) 一种基于U-net改进算法的遥感影像变化检测方法及系统
CN111915592B (zh) 基于深度学习的遥感图像云检测方法
CN115861260A (zh) 一种面向广域城市场景下的深度学习变化检测方法
CN109635662B (zh) 一种基于卷积神经网络的道路场景语义分割方法
CN114627052A (zh) 一种基于深度学习的红外图像漏气漏液检测方法及系统
CN113538457B (zh) 利用多频动态空洞卷积的视频语义分割方法
CN112232328A (zh) 基于卷积神经网络的遥感影像建筑区提取方法、装置
CN114359130A (zh) 一种基于无人机影像的道路裂缝检测方法
CN112347970A (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN116343053B (zh) 基于光学遥感影像和sar遥感影像融合的固废自动提取方法
CN112949612A (zh) 一种基于无人机高分辨率遥感影像海岸带地物分类方法
CN117218343A (zh) 一种基于深度学习的语义部件姿态估计方法
CN114943902A (zh) 基于多尺度特征感知网络的城市植被无人机遥感分类方法
CN115497002A (zh) 一种多尺度特征融合的激光雷达遥感分类方法
CN116630704A (zh) 一种基于注意力增强和密集多尺度的地物分类网络模型
CN114926826A (zh) 场景文本检测系统
CN115019201A (zh) 一种基于特征精细化深度网络的弱小目标检测方法
CN106971402B (zh) 一种基于光学辅助的sar图像变化检测方法
CN115359411B (zh) 一种基于改进DeepLab V3+网络的变电站环境理解方法
CN115861709A (zh) 基于卷积神经网络的智能视觉检测设备及其方法
CN116342496A (zh) 一种用于智能巡检的异常物体检测方法和系统
CN116416534A (zh) 一种面向保护目标的无人机备降区域识别方法
CN112800932B (zh) 海上背景下显著船舶目标的检测方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Pu Yan

Inventor after: Wang Zhao

Inventor after: Zhang Mingyang

Inventor after: Gong Maoguo

Inventor after: Zhu Diequn

Inventor after: Jin Guojian

Inventor after: Liu Tongfei

Inventor after: Zheng Hanhong

Inventor after: Li Linqi

Inventor after: Li Zhen

Inventor before: Pu Yan

Inventor before: Wang Zhao

Inventor before: Zhang Mingyang

Inventor before: Gong Maoguo

Inventor before: Zhu Diequn

Inventor before: Jin Jianguo

Inventor before: Liu Tongfei

Inventor before: Zheng Hanhong

Inventor before: Li Linqi

Inventor before: Li Zhen

CB03 Change of inventor or designer information