CN117152621B - 建筑物变化检测方法、装置、电子设备及存储介质 - Google Patents

建筑物变化检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117152621B
CN117152621B CN202311414164.4A CN202311414164A CN117152621B CN 117152621 B CN117152621 B CN 117152621B CN 202311414164 A CN202311414164 A CN 202311414164A CN 117152621 B CN117152621 B CN 117152621B
Authority
CN
China
Prior art keywords
feature
image
building
sample
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311414164.4A
Other languages
English (en)
Other versions
CN117152621A (zh
Inventor
尹锴
袁超
田亦陈
陈芳淼
余堃
陈强
杨光
郑家祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202311414164.4A priority Critical patent/CN117152621B/zh
Publication of CN117152621A publication Critical patent/CN117152621A/zh
Application granted granted Critical
Publication of CN117152621B publication Critical patent/CN117152621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/176Urban or other man-made structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/52Scale-space analysis, e.g. wavelet analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种建筑物变化检测方法、装置、电子设备及存储介质,涉及遥感技术领域,该方法包括:将包括目标区域的前时相遥感影像和后时相遥感影像待检测影像输入建筑物变化检测模型,获取建筑物变化检测模型输出的待检测影像的建筑物变化检测结果;待检测影像的建筑物变化检测结果包括目标建筑物的信息以及目标建筑物的变化类型,目标建筑物为目标区域的前时相遥感影像和目标区域的后时相遥感影像中发生变化的建筑物。本发明提供的建筑物变化检测方法、装置、电子设备及存储介质,能在对建筑物是否发生变化进行检测的基础上,进一步确定发生变化的建筑物的变化类型,建筑物变化检测的过程更简单、高效,能减少建筑物变化检测的人力、物力投入。

Description

建筑物变化检测方法、装置、电子设备及存储介质
技术领域
本发明涉及遥感技术领域,尤其涉及一种建筑物变化检测方法、装置、电子设备及存储介质。
背景技术
建筑物属于人类居住活动的主要场所和典型人工地理目标,建筑物的动态监测,对于数字孪生城市建设、城市规划与管理、建筑物灾后损坏评估、违章建筑监测查处等方面发挥了关键作用,具有重要的科学意义与实用价值。
现有技术中,可以基于深度学习技术进行自动化的建筑物变化检测。但是,现有技术中的建筑物变化检测方法通常仅能对建筑物是否发生变化进行检测,难以确定发生变化的建筑物的变化类型。
发明内容
本发明提供一种建筑物变化检测方法、装置、电子设备及存储介质,用以解决现有技术中难以确定发生变化的建筑物的变化类型的缺陷,实现在检测到建筑物发生了变化的基础上,进一步确定发生变化的建筑物的变化类型。
本发明提供一种建筑物变化检测方法,包括:
获取待检测影像,所述待检测影像包括目标区域的前时相遥感影像和所述目标区域的后时相遥感影像;
将所述待检测影像输入建筑物变化检测模型,获取所述建筑物变化检测模型输出的所述待检测影像的建筑物变化检测结果;
其中,所述待检测影像的建筑物变化检测结果包括目标建筑物的信息以及所述目标建筑物的变化类型,所述目标建筑物为所述目标区域的前时相遥感影像和所述目标区域的后时相遥感影像中发生变化的建筑物,所述变化类型包括新增建筑物、拆除建筑物和改建建筑物;
所述建筑物变化检测模型基于样本影像以及样本影像的建筑物变化检测结果进行训练后得到,所述样本影像基于样本区域的前时相遥感影像和所述样本区域的后时相样本遥感影像获得,所述样本影像的建筑物变化检测结果包括样本建筑物的信息、非样本建筑物的信息以及所述样本建筑物的变化类型,所述样本建筑物包括样本区域的前时相遥感影像和所述样本区域的后时相样本遥感影像中发生变化的建筑物。
根据本发明提供的一种建筑物变化检测方法,所述建筑物变化检测模型,包括:孪生编码器、特征金字塔模块、特征差异增强模块和解码器;
所述将所述待检测影像输入建筑物变化检测模型,获取所述建筑物变化检测模型输出的所述待检测影像的建筑物变化检测结果,包括:
将所述目标区域的前时相遥感影像和所述目标区域的后时相遥感影像输入孪生编码器,由所述孪生编码器分别对目标区域的前时相遥感影像和所述目标区域的后时相遥感影像进行特征提取,进而获取所述孪生编码器输出的每一目标空间尺度的第一特征图和每一所述目标空间尺度的第二特征图,各所述第一特征图与所述目标区域的前时相遥感影像对应,各所述第二特征图与所述目标区域的后时相遥感影像对应;
将每一所述第一特征图和每一所述第二特征图输入特征金字塔模块,由所述特征金字塔模块分别对每一所述第一特征图和每一所述第二特征图进行空间细节恢复,进而获取所述特征金字塔模块输出的每一所述目标空间尺度的第三特征图和每一所述目标空间尺度的第四特征图;
将每一所述第三特征图和每一所述第四特征图输入所述特征差异增强模块,由所述特征差异增强模块提取每一目标空间尺度的第三特征图和第四特征图之间的差异特征,并对提取到的差异特征进行特征增强,进而获取所述特征差异增强模块输出的每一所述目标空间尺度的特征差异增强图;
将每一所述特征差异增强图输入所述解码器,由所述解码器对各所述特征差异增强图进行解密和分类,进而获取所述解码器输出的所述待检测影像的建筑物变化检测结果。
根据本发明提供的一种建筑物变化检测方法,所述特征差异增强模块,包括:差异分支单元、连接分支单元和第一特征融合单元;
所述将每一所述第三特征图和每一所述第四特征图输入所述特征差异增强模块,由所述特征差异增强模块提取每一目标空间尺度的第三特征图和第四特征图之间的差异特征,并对提取到的差异特征进行特征增强,进而获取所述特征差异增强模块输出的每一所述目标空间尺度的特征差异增强图,包括:
将各所述第三特征图和各所述第四特征图输入所述差异分支单元,由所述差异分支单元对每一所述目标空间尺度的第三特征图和第四特征图进行归一化相减,获得每一所述目标空间尺度的特征差异图之后,对每一所述目标空间尺度的特征差异图进行通道维压缩空间维激励以及激活函数激活,获得每一所述目标空间尺度的特征差异注意图,进而获取所述差异分支单元输出的每一所述目标空间尺度的特征差异图和每一所述目标空间尺度的特征差异注意力图,
将每一所述第三特征图和每一所述第四特征图输入所述连接分支单元,由所述连接分支单元按照通道维度对各所述第三特征图和各所述第四特征图进行叠加,获得叠加特征图之后,对所述叠加特征图进行池化计算,获得原始特征向量,通过卷积计算对所述原始特征向量进行压缩,获得压缩后的原始特征向量,通过空间维压缩通道维激励对所述压缩后的原始特征向量进行激励,获得目标特征向量,进而获取所述连接分支单元输出的目标特征向量;
将所述目标特征向量、每一所述目标空间尺度的特征差异图和每一所述目标空间尺度的特征差异注意图输入所述第一特征融合单元,由所述第一特征融合单元基于所述目标特征向量,对每一所述目标空间尺度的特征差异图和每一所述目标空间尺度的特征差异注意图输入所述第一特征融合单元,获得每一所述目标空间尺度的特征差异增强图。
根据本发明提供的一种建筑物变化检测方法,所述将所述目标特征向量、每一所述目标空间尺度的特征差异图和每一所述目标空间尺度的特征差异注意图输入所述第一特征融合单元,由所述第一特征融合单元基于所述目标特征向量,对每一所述目标空间尺度的特征差异图和每一所述目标空间尺度的特征差异注意图输入所述第一特征融合单元,获得每一所述目标空间尺度的特征差异增强图,包括:
将所述目标特征向量、每一所述目标空间尺度的特征差异图和每一所述目标空间尺度的特征差异注意图输入所述第一特征融合单元,由所述第一特征融合单元对所述目标特征向量进行归一化之后,分别对归一化后的目标特征向量和每一所述目标空间尺度的特征差异注意图进行特征融合,获得每一所述目标空间尺度的特征融合图之后,分别对每一所述目标空间尺度的特征融合图与特征差异图进行特征融合,获得每一所述目标空间尺度的特征差异增强图。
根据本发明提供的一种建筑物变化检测方法,所述孪生编码器是EfficientNet-B0网络构建的。
根据本发明提供的一种建筑物变化检测方法,所述解码器,包括:解码单元、上采样单元和第二特征融合单元,所述上采样单元包括目标数量个级联的上采样块;
所述将每一所述特征差异增强图输入所述解码器,由所述解码器对各所述特征差异增强图进行解密和分类,进而获取所述解码器输出的所述待检测影像的建筑物变化检测结果,包括:将每一所述特征差异增强图输入所述解码单元,由所述解码单元将每一所述特征差异增强图恢复至原始尺寸,进而获得所述解码单元输出的每一修正特征差异增强图,所述原始尺寸为所述目标区域的前时相遥感影像或所述目标区域的后时相遥感影像的尺寸;
将每一所述修正特征差异增强图输入所述上采样单元,获取所述上采样单元输出的每一所述目标空间尺度对应的原始建筑物变化检测结果;
将每一所述目标空间尺度对应的原始建筑物变化检测结果输入所述第二特征融合单元,获取所述第二特征融合单元输出的所述待检测影像的建筑物变化检测结果。
根据本发明提供的一种建筑物变化检测方法,所述建筑物变化检测模型是基于如下步骤训练的得到的:
对所述样本区域的前时相遥感影像和所述样本区域的后时相遥感影像进行图像预处理,获得所述样本区域的前时相校正遥感影像和所述样本区域的后时相校正遥感影像,所述图像预处理包括几何校正、图像融合、图像配准、图像裁剪以及图像镶嵌中的至少一种;
为所述样本区域的前时相校正遥感影像或所述样本区域的后时相校正遥感影像中不同变化类型的样本建筑物标注不同的像素值,获取标注影像;
将所述样本区域的前时相校正遥感影像、所述样本区域的后时相校正遥感影像、所述标注影像均裁剪为预设尺寸之后,对预设尺寸的样本区域的前时相校正遥感影像、预设尺寸的样本区域的后时相校正遥感影像、预设尺寸的标注影像的进行数据清洗,将数据清洗后保留的预设尺寸的样本区域的前时相校正遥感影像和预设尺寸的样本区域的后时相校正遥感影确定为样本影像,将数据清洗后保留的预设尺寸的标注影像确定为所述样本影像的建筑物变化检测结果;
对所述样本影像和所述样本影像的建筑物变化检测结果进行数据处理之后,将数据处理后的样本影像亦确定为样本影像,将数据处理后的样本影像的建筑物变化检测结果亦确定为所述样本影像的建筑物变化检测结果,所述数据处理包括水平翻转、垂直翻转、旋转、转置、随机裁剪后重采样、随机亮度、随机对比度、添加高斯噪声以及添加高斯模糊中的至少一种;
将所述样本影像作为训练样本,将所述样本影像的建筑物变化检测结果作为样本标签,对初始模型进行训练,获得所述建筑物变化检测模型。
本发明还提供一种建筑物变化检测装置,包括:
影像获取模块,用于获取待检测影像,所述待检测影像包括目标区域的前时相遥感影像和所述目标区域的后时相遥感影像;
变化检测模块,用于将所述待检测影像输入建筑物变化检测模型,获取所述建筑物变化检测模型输出的所述待检测影像的建筑物变化检测结果;
其中,所述待检测影像的建筑物变化检测结果包括目标建筑物的信息以及所述目标建筑物的变化类型,所述目标建筑物为所述目标区域的前时相遥感影像和所述目标区域的后时相遥感影像中发生变化的建筑物,所述变化类型包括新增建筑物、拆除建筑物和改建建筑物;
所述建筑物变化检测模型基于样本影像以及样本影像的建筑物变化检测结果进行训练后得到,所述样本影像基于样本区域的前时相遥感影像和所述样本区域的后时相样本遥感影像获得,所述样本影像的建筑物变化检测结果包括样本建筑物的信息、非样本建筑物的信息以及所述样本建筑物的变化类型,所述样本建筑物包括样本区域的前时相遥感影像和所述样本区域的后时相样本遥感影像中发生变化的建筑物。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述建筑物变化检测方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述建筑物变化检测方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述建筑物变化检测方法。
本发明提供的建筑物变化检测方法、装置、电子设备及存储介质,通过将包括目标区域的前时相遥感影像和目标区域的后时相遥感影像的待检测影像输入建筑物变化检测模型之后,获取建筑物变化检测模型输出的待检测影像的建筑物变化检测结果,待检测影像的建筑物变化检测结果包括目标区域的前时相遥感影像与目标区域的后时相遥感影像中发生变化的目标建筑物的信息以及上述目标建筑物的变化类型,能在对建筑物是否发生变化进行检测的基础上,进一步确定发生变化的建筑物的变化类型,从而能为数字孪生城市建设、城市规划与管理、建筑物灾后损坏评估、违章建筑监测查处等工作提供更准确、更具体的数据基础,进行建筑物变化检测的过程更简单、高效,能减少建筑物变化检测的人力和物力投入。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍,显而易见的,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的建筑物变化检测方法的流程示意图;
图2是本发明提供的建筑物变化检测模型的结构示意图;
图3为本发明提供的建筑物变化检测方法中特征差异增强模块的结构示意图;
图4为本发明提供建筑物特征检测方法中解码器的结构示意图;
图5是本发明提供的建筑物变化检测装置的结构示意图;
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
需要说明的是,相关技术中早期的建筑物变化检测方法,主要是基于建筑物在遥感影像中独特的表现形式进行特征挖掘与比较,从而实现建筑物的变化检测。其中,建筑物特征主要包括:光谱特征、边缘特征、纹理特征、形状特征和形态学建筑物指数(MBI)等。
对不同时相的遥感影像之间进行特征度量方法主要包括:直接作差法、变化向量分析法(CVA)、聚类法、知识融合法等。例如,相关技术中,可以基于改进的MBI特征提取建筑物的特征后,基于CVA获取建筑物变化检测结果,提高了建筑物变化检测的精度;又例如,相关技术中还可以在遥感影像分割并获取遥感影像中的形状特征后,基于CVA计算不同时相的遥感影像的光谱、纹理和MBI特征差异,引入证据理论融合多特征信息,获取建筑物变化检测结果;又例如,相关技术中还可以根据建筑物发生变化和建筑物未变化的样本遥感影像,获取对应的光谱数据、纹理特征和灰度比值,采用SOM(Self-Organizing Map,自组织映射神经网络)无监督聚类方法完成高分辨率遥感影像的变化检测分析。
可以理解的是,光谱特征、边缘特征、纹理特征、形状特征和形态学建筑物指数(MBI)等特征均为人工设计的建筑物特征。但是,由于人工设计的建筑物特征难以涵盖变化建筑物的全部特征信息,导致上述早期的建筑物变化检测的精度和效率低下,难以用于高分辨率遥感影像的大面积快速建筑物变化检测中。
与人工设计的建筑物特征不同,深度卷积神经网络能够从海量的样本中学习遥感影像中各种地物目标包含有上下文关系的光谱信息和几何信息,归纳深度抽象特征,并引入非线性变换,从而完成自动化的建筑物变化检测。例如,相关技术中可以基于FC-EF、FC-Siam-Conc和FC-Siam-Diff三种基于卷积神经网络构建的建筑物变化检测模型,进而可以基于上述建筑物变化检测模型在高分辨率遥感影像数据集的基础上实现建筑物的变化检测;又例如,相关技术中还可以基于FC-Siam-Diff网络构建FC-Siam-Diff-PA网络,并嵌入金字塔注意算法来深入挖掘多尺度多层次的特征,相较于FC-Siam-Diff网络的检测精度更高;又例如,相关技术中针对FC系列中简单的特征相似性度量抵抗伪变化的能力有限的问题,利用了余弦距离的局部相似性注意模块,嵌入该模块的LSSNet在三种建筑物变化检测数据集上取得了较优的实验结果。
但是,上述基于深度卷积神经网络的传统的建筑物变化检测方法,通常仅能检测出不同时相的遥感影像中建筑物是否发生了变化,难以准确地确定不同时相的遥感影像中建筑物变化的类型信息。
并且,上述基于深度卷积神经网络构建的传统的建筑物变化检测模型,难以克服建筑物伪变化导致的模型性能下降的问题,导致上述传统的建筑物变化检测模型的检测精度下降。
另外,相关技术中对基于深度学习的端到端的建筑物变化检测方法的研究重点通常为如何提升模型的计算精度,忽略了对模型参数和计算效率优化的研究,因此,上述传统的建筑物变化检测方法难以在保证模型计算精度的基础上,提高模型的计算效率。
图1是本发明提供的建筑物变化检测方法的流程示意图。下面结合图1描述本发明的建筑物变化检测方法。如图1所示,该方法包括:步骤101、获取待检测影像,待检测影像包括目标区域的前时相遥感影像和目标区域的后时相遥感影像。
需要说明的是,本发明实施例的执行主体为建筑物变化检测装置。
具体地,目标区域的前时相遥感影像和目标区域的后时相遥感影像,为本发明提供的建筑物变化检测方法的检测对象。基于本发明提供的建筑物变化检测方法,可以确定目标区域的前时相遥感影像和目标区域的后时相遥感影像中发生了变化的目标建筑物以及上述目标建筑物的变化类型。
可以理解的是,目标区域的前时相遥感影像和目标区域的后时相遥感影像是利用遥感卫星采集得到的。目标区域的前时相遥感影像的采集时间,早于目标区域的后时相遥感影像的采集时间。
需要说明的是,目标区域的前时相遥感影像和目标区域的后时相遥感影像已完成配准,目标区域的前时相遥感影像和目标区域的后时相遥感影像的通道为蓝、绿、红和近红外四个波段。
目标区域的前时相遥感影像和目标区域的后时相遥感影像的均为预设尺寸,目标区域的前时相遥感影像和目标区域的后时相遥感影像中像素的行数和列数均相同。其中,上述预设尺寸可以是基于先验知识和/或实际情况确定的,例如上述预设尺寸可以为512像素×512像素。
本发明实施例中可以以目标区域的前时相遥感影像的左上角为坐标原点,沿目标区域的前时相遥感影像的上边界向左为X轴,沿目标区域的前时相遥感影像的左边界向下为Y轴,建立第一影像坐标系;以目标区域的后时相遥感影像的左上角为坐标原点,沿目标区域的后时相遥感影像的上边界向左为X轴,沿目标区域的后时相遥感影像的左边界向下为Y轴,建立第二影像坐标系。在上述第一影像坐标系和上述第二影像坐标系中坐标值相同的两个像素点,对应目标区域内相同的地理位置。
需要说明的是,本发明实施例中的目标区域、目标区域的前时相遥感影像的采集时间以及目标区域的后时相遥感影像的采集时间,可以是基于实际需求确定的。本发明实施例中对目标区域、目标区域的前时相遥感影像的采集时间以及目标区域的后时相遥感影像的采集时间不作具体限定。
本发明实施例中可以通过多种方式获取目标区域的前时相遥感影像和目标区域的后时相遥感影像,例如:可以通过数据查询的方式,获取目标区域的前时相遥感影像和目标区域的后时相遥感影像;或者,可以接收其他电子设备发送的目标区域的前时相遥感影像和目标区域的后时相遥感影像。
步骤102、将待检测影像输入建筑物变化检测模型,获取建筑物变化检测模型输出的待检测影像的建筑物变化检测结果;
其中,待检测影像的建筑物变化检测结果包括目标建筑物的信息以及目标建筑物的变化类型,目标建筑物为目标区域的前时相遥感影像和目标区域的后时相遥感影像中发生变化的建筑物,变化类型包括新增建筑物、拆除建筑物和改建建筑物;
建筑物变化检测模型基于样本影像以及样本影像的建筑物变化检测结果进行训练后得到,样本影像基于样本区域的前时相遥感影像和样本区域的后时相样本遥感影像获得,样本影像的建筑物变化检测结果包括样本建筑物的信息、非样本建筑物的信息以及样本建筑物的变化类型,样本建筑物包括样本区域的前时相遥感影像和样本区域的后时相样本遥感影像中发生变化的建筑物。
具体地,获取目标区域的前时相遥感影像和目标区域的后时相遥感影像之后,可以将目标区域的前时相遥感影像和目标区域的后时相遥感影像输入建筑物变化检测模型。
将目标区域的前时相遥感影像和目标区域的后时相遥感影像输入建筑物变化检测模型之后,建筑物变化检测模型可以对目标区域的前时相遥感影像和目标区域的后时相遥感影像进行建筑物变化检测,获取目标区域的前时相遥感影像和目标区域的后时相遥感影像中发生变化的目标建筑物的信息以及上述目标建筑物的变化类型,作为建筑物变化检测结果进行输出。
需要说明的是,目标建筑物的信息,可以包括目标区域的前时相遥感影像(或目标区域的后时相遥感影像)中上述目标建筑物所在区域的区域信息;其中,上述区域信息可以包括上述目标建筑物所在区域的边界上每一像素点在上述第一影像坐标系(或上述第二影像坐标系)中的坐标值,上述区域信息还可以包括上述目标建筑物所在区域内每一像素点在上述第一影像坐标系(或上述第二影像坐标系)中的坐标值。
可以理解的是,目标建筑物的信息和变化类型可以表示为像素坐标值与像素值的组合。其中,新增建筑物对应的像素值可以为“1”,拆除建筑物对应的像素值可以为“2”,改建建筑物对应的像素值可以为“3”。
可选地,目标建筑物的信息,还可以包括目标建筑物的标识信息、目标建筑物的矢量数据和目标建筑物的地理位置信息中的至少一个。其中,目标建筑物的矢量数据和目标建筑物的地理位置信息,可以是基于目标区域的前时相遥感影像(或目标区域的后时相遥感影像)中上述目标建筑物所在区域的区域信息确定的。
可选地,建筑物变化检测模型获取目标区域的前时相遥感影像和目标区域的后时相遥感影像中发生变化的目标建筑物的信息以及上述目标建筑物的变化类型之后,还可以通过标识框或不同颜色,在目标区域的前时相遥感影像和/或目标区域的后时相遥感影像中标注上述目标建筑物和上述目标建筑物的变化类型,进而可以将标注后的目标区域的前时相遥感影像和/或目标区域的后时相遥感影像作为建筑物变化检测结果进行输出。
需要说明的是,本发明实施例中可以基于样本区域的前时相遥感影像和样本区域的后时相遥感影像获得样本影像,并将上述样本影像作为样本,将上述样本影像的建筑物变化检测结果作为样本标签,对初始模型进行训练,获得训练好的建筑物变化检测模型。
作为一个可选地实施例,建筑物变化检测模型是基于如下步骤训练的得到的:对样本区域的前时相遥感影像和样本区域的后时相遥感影像进行图像预处理,获得样本区域的前时相校正遥感影像和样本区域的后时相校正遥感影像,图像预处理包括几何校正、图像融合、图像配准、图像裁剪以及图像镶嵌中的至少一种。
具体地,本发明实施例中可以通过多种方式获取样本区域的前时相遥感影像和样本区域的后时相遥感影像,例如:可以通过数据查询的方式,获取样本区域的前时相遥感影像和样本区域的后时相遥感影像;或者,可以接收其他电子设备发送的样本区域的前时相遥感影像和样本区域的后时相遥感影像。
可以理解的是,样本区域的前时相遥感影像和样本区域的后时相遥感影像是利用遥感卫星采集得到的。样本区域的前时相遥感影像的采集时间,早于样本区域的后时相遥感影像的采集时间。
需要说明的是,样本区域、样本区域的前时相遥感影像的采集时间以及样本区域的后时相遥感影像的采集时间,可以是基于先验知识和/或实际情况确定的。本发明实施例中对样本区域、样本区域的前时相遥感影像的采集时间以及样本区域的后时相遥感影像的采集时间不作具体限定。
需要说明的是,本发明实施例中将一张样本区域的前时相遥感影像和一张样本区域的后时相遥感影像确定为一组遥感影像,样本区域的前时相遥感影像和样本区域的后时相遥感影像可以包括多组。
需要说明的是,本发明实施例中的样本区域,可以与目标区域相同或不同。但是,样本区域的前时相遥感影像的采集时间,与目标区域的前时相遥感影像的采集时间以及目标区域的后时相遥感影像的采集时间不同;样本区域的后时相遥感影像的采集时间,亦与目标区域的前时相遥感影像的采集时间以及目标区域的后时相遥感影像的采集时间不同。
获取样本区域的前时相遥感影像和样本区域的后时相遥感影像之后,可以分别对样本区域的前时相遥感影像和样本区域的后时相遥感影像进行几何校正、图像融合、图像配准、图像采集以及图像镶嵌等图像预处理,获得样本区域的前时相校正遥感影像和样本区域的后时相校正遥感影像。
需要说明的是,样本区域的前时相遥感影像和样本区域的后时相遥感影像的尺寸相同,样本区域的前时相遥感影像和样本区域的后时相遥感影像中像素的行数和列数均相同。
为样本区域的前时相校正遥感影像或样本区域的后时相校正遥感影像中不同变化类型的样本建筑物标注不同的像素值,获取标注影像。
具体地,本发明实施例中可以通过目视解译的方式,在样本区域的前时相校正遥感影像中(或样本区域的后时相校正遥感影像)中确定样本建筑物所在的区域,进而可以通过目视解译的方式,确定样本建筑物的变化类型,并基于样本建筑物的变化类型,为前时相校正遥感影像中(或样本区域的后时相校正遥感影像)中样本建筑物所在的区域内的每一像素点标注不同的像素值。
需要说明的是,对于样本区域的前时相校正遥感影像和样本区域的后时相校正遥感影像中非样本建筑物所在的区域内的每一像素点,可以将上述每一像素点的像素值标注为“0”。
相应地,若任何一个样本建筑物的变化类型为新增建筑物,则可以将样本区域的前时相校正遥感影像(或样本区域的后时相校正遥感影像)中上述样本建筑物所在区域内每一像素点的像素值标注为“1”;若任何一个样本建筑物的变化类型为拆除建筑物,则可以将样本区域的前时相校正遥感影像(或样本区域的后时相校正遥感影像)中上述样本建筑物所在区域内每一像素点的像素值标注为“2”;若任何一个样本建筑物的变化类型为改建建筑物,则可以将样本区域的前时相校正遥感影像(或样本区域的后时相校正遥感影像)中上述样本建筑物所在区域内每一像素点的像素值标注为“3”。并且,可以将样本区域的前时相校正遥感影像(或样本区域的后时相校正遥感影像)中非样本建筑物所在区域内每一像素点的像素值标注为“0”,进而可以获得标注影像。
将样本区域的前时相校正遥感影像、样本区域的后时相校正遥感影像、标注影像均裁剪为预设尺寸之后,对预设尺寸的样本区域的前时相校正遥感影像、预设尺寸的样本区域的后时相校正遥感影像、预设尺寸的标注影像的进行数据清洗,将数据清洗后保留的预设尺寸的样本区域的前时相校正遥感影像和预设尺寸的样本区域的后时相校正遥感影确定为样本影像,将数据清洗后保留的预设尺寸的标注影像确定为样本影像的建筑物变化检测结果。
需要说明的是,本发明实施例通过对预设尺寸的样本区域的前时相校正遥感影像、预设尺寸的样本区域的后时相校正遥感影像、预设尺寸的标注影像的进行数据清洗,可以剔除预设尺寸的样本区域的前时相校正遥感影像、预设尺寸的样本区域的后时相校正遥感影像、预设尺寸的标注影像中质量较差的影像,保留质量较好的预设尺寸的样本区域的前时相校正遥感影像和预设尺寸的样本区域的后时相校正遥感影像作为样本影像,保留质量较好的预设尺寸的标注影像,作为上述样本影像的建筑物变化检测结果。
对样本影像和样本影像的建筑物变化检测结果进行数据处理之后,将数据处理后的样本影像亦确定为样本影像,将数据处理后的样本影像的建筑物变化检测结果亦确定为样本影像的建筑物变化检测结果,数据处理包括水平翻转、垂直翻转、旋转、转置、随机裁剪后重采样、随机亮度、随机对比度、添加高斯噪声以及添加高斯模糊中的至少一种。
具体地,获取样本影像和样本影像的建筑物识别结果之后,可以对样本影像和样本影像的建筑物识别结果进行水平翻转、垂直翻转、旋转、转置、随机裁剪后重采样、随机亮度、随机对比度、添加高斯噪声以及添加高斯模糊等数据处理,获取数据处理后的样本影像和数据处理后的样本影像的建筑物识别结果。
获取数据处理后的样本影像和数据处理后的样本影像的建筑物识别结果之后,可以将数据处理后的样本影像亦确定为样本影像,将数据处理后的样本影像的建筑物识别结果亦确定为上述样本影像的样本标签。
需要说明的是,样本影像和样本影像的建筑物检测结果构成样本库3RSSI-BCDD,用于训练建筑物变化检测模块。
需要说明的是,样本影像的建筑物检测结果包括样本区域的前时相遥感影像和样本区域的后时相样本遥感影像中发生变化的样本建筑物的信息和上述样本建筑物的变化类型。
需要说明的是,本发明实施例中可以以样本区域的前时相校正遥感影像的左上角为坐标原点,沿样本区域的前时相校正遥感影像的上边界向左为X轴,沿样本区域的前时相校正遥感影像的左边界向下为Y轴,建立第三影像坐标系;以样本区域的后时相校正遥感影像的左上角为坐标原点,沿样本区域的后时相校正遥感影像的上边界向左为X轴,沿样本区域的后时相校正遥感影像的左边界向下为Y轴,建立第四影像坐标系。在上述第三影像坐标系和上述第四影像坐标系中坐标值相同的两个像素点,对应样本区域内相同的地理位置。
样本区域的信息,可以包括样本区域的前时相校正遥感影像(或样本区域的后时相校正遥感影像)中上述样本建筑物所在区域的区域信息;其中,上述区域信息可以包括样本区域的前时相校正遥感影像(或样本区域的后时相校正遥感影像)中,上述样本建筑物所在区域的边界上每一像素点在上述第三影像坐标系(或上述第四影像坐标系)中的坐标值,上述区域信息还可以包括样本区域的前时相校正遥感影像(或样本区域的后时相校正遥感影像)中,上述样本建筑物所在区域内每一像素点在上述第三影像坐标系(或上述第四影像坐标系)中的坐标值。
可以理解的是,样本建筑物的信息和变化类型可以表示为像素坐标值与像素值的组合。
将样本影像作为训练样本,将样本影像的建筑物变化检测结果作为样本标签,对初始模型进行训练,获得建筑物变化检测模型。
需要说明的是,本发明实施例中建筑物变化检测模型的损失函数包括Dice损失函数。
具体地,将基于样本区域的前时相遥感影像和样本区域的后时相遥感影像生成的两张样本影像输入初始模型之后,可以获得上述初始模型输出的上述样本影像的预测建筑物变化检测结果。
基于上述样本影像的建筑物变化检测结果和上述样本影像的预测建筑物变化检测结果,可以计算得到Dice损失函数。Dice损失函数可以通过如下公式表示:
其中,表示Dice损失函数值;/>表示上述样本影像的预测建筑物变化检测结果;/>表示上述样本影像的建筑物变化检测结果。
本发明实施例中可以基于计算得到的Dice损失函数值和梯度反向传播,完成初始模型的训练,获得训练好的建筑物变化检测模型。
需要说明的是,获得训练好的建筑物变化检测模型之后,可以基于精确率(Precision)、召回率(Recall)以及F1分数(F1 Score),对训练好的建筑物变化检测模型的检测精度进行评估。
精确率可以通过如下公式计算得到:/>
其中,表示预测正确的真正例;/>表示预测错误的假正例(样本被预测为正,但样本实际为负)。
召回率可以通过如下公式计算得到:
其中,表示预测错误的假反例(样本被预测为负,但样本实际为正)。
F1分数可以通过如下公式计算得到:
本发明实施例通过将包括目标区域的前时相遥感影像和目标区域的后时相遥感影像的待检测影像输入建筑物变化检测模型之后,获取建筑物变化检测模型输出的待检测影像的建筑物变化检测结果,待检测影像的建筑物变化检测结果包括目标区域的前时相遥感影像与目标区域的后时相遥感影像中发生变化的目标建筑物的信息以及上述目标建筑物的变化类型,能在对建筑物是否发生变化进行检测的基础上,进一步确定发生变化的建筑物的变化类型,从而能为数字孪生城市建设、城市规划与管理、建筑物灾后损坏评估、违章建筑监测查处等工作提供更准确、更具体的数据基础,进行建筑物变化检测的过程更简单、高效,能减少建筑物变化检测的人力和物力投入。
图2是本发明提供的建筑物变化检测模型的结构示意图。如图2所示,基于上述各实施例的内容,建筑物变化检测模型,包括:孪生编码器201、特征金字塔模块202、特征差异增强模块203和解码器204;
将待检测影像输入建筑物变化检测模型,获取建筑物变化检测模型输出的待检测影像的建筑物变化检测结果,包括:将目标区域的前时相遥感影像和目标区域的后时相遥感影像输入孪生编码器201,由孪生编码器201分别对目标区域的前时相遥感影像和目标区域的后时相遥感影像进行特征提取,进而获取孪生编码器201输出的每一目标空间尺度的第一特征图和每一目标空间尺度的第二特征图,各第一特征图与目标区域的前时相遥感影像对应,各第二特征图与目标区域的后时相遥感影像对应。
作为一个可选地实施例,孪生编码器201是基于EfficientNet-B0网络构建的。
需要说明的是,相关技术中传统的建筑物变化检测模型通常采用ResNet等非轻量级的卷积神经网络作为编码器,模型参数量大,计算效率低。因此,为了减少建筑物变化检测模型的模型参数量,提高建筑物变化检测模型的计算效率,本发明实施例中的建筑物变化检测模型中的孪生编码器201基于EfficientNet-B0网络构建。
进一步地,本发明实施例中的孪生编码器201包括16层级联的移动翻转瓶颈卷积块,并引入了压缩与激励网络SENet中的注意力思想。
具体地,本发明实施例中可以用表示目标区域的前时相遥感影像。用/>表示目标区域的后时相遥感影像。用/>标识不同的目标空间尺度,其中,在/>的情况下,目标空间尺度为原始影像的空间尺度的1/4;在/>的情况下,目标空间尺度为原始影像的空间尺度的1/8;在/>的情况下,目标空间尺度为原始影像的空间尺度的1/16;在/>的情况下,目标空间尺度为原始影像的空间尺度的1/32。
需要说明的是,本发明实施例中对的具体取值不作限定,以下以/>为例,对本发明实施例中的建筑物变化检测模型进行说明。
将目标区域的前时相遥感影像和目标区域的后时相遥感影像/>输入共享权重的孪生编码器201之后,孪生编码器201可以分别对目标区域的前时相遥感影像/>和目标区域的后时相遥感影像/>进行四次下采样。
孪生编码器201通过对目标区域的前时相遥感影像进行四次下采样,可以获取并输出四个目标空间尺度的第一特征图/>,孪生编码器201通过对目标区域的后时相遥感影像/>进行四次下采样,可以获取并输出四个目标空间尺度的第二特征图/>
可以理解的是,第一特征图和第二特征图/>的空间尺度,为目标区域的前时相遥感影像/>或目标区域的后时相遥感影像/>的空间尺度的1/4;
第一特征图和第二特征图/>的空间尺度,为目标区域的前时相遥感影像/>或目标区域的后时相遥感影像/>的空间尺度的1/8;
第一特征图和第二特征图/>的空间尺度,为目标区域的前时相遥感影像/>或目标区域的后时相遥感影像/>的空间尺度的1/16;
第一特征图和第二特征图/>的空间尺度,为目标区域的前时相遥感影像/>或目标区域的后时相遥感影像/>的空间尺度的1/32。
将各第一特征图和各第二特征图输入特征金字塔模块202,由特征金字塔模块202分别对各第一特征图和各第二特征图进行空间细节恢复,进而获取特征金字塔模块202输出的每一目标空间尺度的第三特征图和每一目标空间尺度的第四特征图,第一特征图与第三特征图一一对应,第二特征图与第四特征图一一对应。
具体地,获取孪生编码器201输出的各第一特征图和各第二特征图/>之后,可以将各第一特征图/>和各第二特征图输入特征金字塔模块202。
特征金字塔可以自上而下融合上下文信息并使用跳线连接,分别恢复各第一特征图的空间细节和各第二特征图/>的空间细节,从而可以获取并输出四个目标空间尺度的第三特征图/>和四个目标空间尺度的第四特征图/>,具体计算公式如下:
其中,表示由卷积核为1×1的卷积计算,基于/>可以实现跳线横向连接;/>表示上采样因子为2的双线性插值计算。
需要说明的是,任何一个第三特征图和任何一个第四特征图/>的通道维度为256。任何一个第三特征图/>和任何一个第四特征图/>的尺度为C×H×W,其中,C表示通道数,H表示高度,W表示宽度。
将每一第三特征图和每一第四特征图输入特征差异增强模块203,由特征差异增强模块203提取每一目标空间尺度的第三特征图和第四特征图之间的差异特征,并对提取到的差异特征进行特征增强,进而获取特征差异增强模块203输出的每一目标空间尺度的特征差异增强图。
具体地,获取特征金字塔模块202输出的各第三特征图和各第四特征图/>之后,可以将各第三特征图/>和各第四特征图/>输入基于空间注意力和通道注意力设计的特征差异增强模块203。
特征差异增强模块203可以分别提取每一目标空间尺度的第三特征图和第四特征图之间的差异特征,并对提取到差异特征进行特征增强,从而获取并输出四个目标空间尺度的特征差异增强图
图3为本发明提供的建筑物变化检测方法中特征差异增强模块的结构示意图。如图3所示,作为一个可选地实施例,特征差异增强模块203,包括:差异分支单元301、连接分支单元302和第一特征融合单元303。
将各第三特征图和各第四特征图输入特征差异增强模块203,由特征差异增强模块203提取每一目标空间尺度的第三特征图和第四特征图之间的差异特征,并对提取到的差异特征进行特征增强,进而获取特征差异增强模块203输出的每一目标空间尺度的特征差异增强图,包括:将各第三特征图和各第四特征图输入差异分支单元301,由差异分支单元301对每一目标空间尺度的第三特征图和第四特征图进行归一化相减,获得每一目标空间尺度的特征差异图之后,对每一目标空间尺度的特征差异图进行通道维压缩空间维激励以及激活函数激活,获得每一目标空间尺度的特征差异注意图,进而获取差异分支单元301输出的每一目标空间尺度的特征差异图和每一目标空间尺度的特征差异注意力图,将每一第三特征图和每一第四特征图输入连接分支单元302,由连接分支单元302按照通道维度对各第三特征图和各第四特征图进行叠加,获得叠加特征图之后,对叠加特征图进行池化计算,获得原始特征向量,通过卷积计算对原始特征向量进行压缩,获得压缩后的原始特征向量,通过空间维压缩通道维激励对压缩后的原始特征向量进行激励,获得目标特征向量,进而获取连接分支单元302输出的目标特征向量。
具体地,获取特征金字塔模块202输出的各第三特征图和各第四特征图/>之后,可以将各第三特征图/>和各第四特征图/>分别输入差异分支单元301和连接分支单元302。
将各第三特征图和各第四特征图/>输入差异分支单元301之后,差异分支单元301可以对每一目标空间尺度的第三特征图和第四特征图进行归一化相减,获得并输出每一目标空间尺度的特征差异图/>,具体计算公式如下:
其中,表示Sigmoid归一化函数。
差异分支单元301获得每一目标空间尺度的特征差异图之后,可以对每一目标空间尺度的特征差异图/>进行通道维压缩空间维激励(Channel Squeeze and Spatial Excitation,sSE),使得每一目标空间尺度的特征差异图/>的通道维度由256压缩至1之后,可以基于Sigmoid函数对通道维度压缩至1的每一特征差异图进行激活,从而可以获得并输出每一目标空间尺度的特征差异注意力图/>,具体计算公式如下:
其中,表示由卷积核为1×1的卷积计算。
将各第三特征图和各第四特征图/>输入连接分支单元302之后,连接分支单元302可以将通道维度为256的各第三特征图和各第四特征图/>按照通道维度进行叠加,获得通道维度为512的叠加特征图/>,具体计算公式如下:
其中,表示各第三特征图/>和各第四特征图在通道维度上的叠加。
可以理解的是,叠加特征图的尺度亦为C×H×W。
连接分支单元302获得叠加特征图之后,可以通过自适应均值池化(AdaptiveAverage Pooling, AAP)和卷积计算,将C×H×W的叠加特征图/>压缩为一维的原始特征向量/>,具体计算公式如下:
连接分支单元302获得原始特征向量之后,可以通过两个卷积核为1×1的卷积计算对原始特征向量/>,将原始特征向量/>压缩为/>
连接分支单元302获得压缩后的原始特征向量之后,可以通过空间维压缩通道维激励将压缩后的原始特征向量/>重新激励为与原始特征向量/>相同长度的、一维的目标特征向量/>,从而可以通过上述过程完成对重要通道的赋权,具体计算公式如下:
其中,和/>表示卷积核为1×1的卷积计算。
连接分支单元302获得目标特征向量之后,可以输出上述目标特征向量/>
将目标特征向量、每一目标空间尺度的特征差异图和每一目标空间尺度的特征差异注意图输入第一特征融合单元303,由第一特征融合单元303基于目标特征向量,对每一目标空间尺度的特征差异图和每一目标空间尺度的特征差异注意图输入第一特征融合单元303,获得每一目标空间尺度的特征差异增强图。
具体地,获取差异分支单元301输出的每一目标空间尺度的特征差异图、每一目标空间尺度的特征差异注意力图/>以及连接分支单元302输出的目标特征向量/>之后,可以将每一目标空间尺度的特征差异图/>、每一目标空间尺度的特征差异注意力图以及目标特征向量/>输入第一特征融合单元303。
第一特征融合单元303基于目标特征向量,对每一目标空间尺度的特征差异图和每一目标空间尺度的特征差异注意力图进行特征融合,从而获得并输出每一目标空间尺度的特征差异增强图/>
作为一个可选地实施例,将目标特征向量、每一目标空间尺度的特征差异图和每一目标空间尺度的特征差异注意图输入第一特征融合单元303,由第一特征融合单元303基于目标特征向量,对每一目标空间尺度的特征差异图和每一目标空间尺度的特征差异注意图输入第一特征融合单元303,获得每一目标空间尺度的特征差异增强图,包括:将目标特征向量、每一目标空间尺度的特征差异图和每一目标空间尺度的特征差异注意图输入第一特征融合单元303,由第一特征融合单元303对目标特征向量进行归一化之后,分别对归一化后的目标特征向量和每一目标空间尺度的特征差异注意图进行特征融合,获得每一目标空间尺度的特征融合图之后,分别对每一目标空间尺度的特征融合图与特征差异图进行特征融合,获得每一目标空间尺度的特征差异增强图。
具体地,将每一目标空间尺度的特征差异图、每一目标空间尺度的特征差异注意力图/>以及目标特征向量/>输入第一特征融合单元303之后,可以对目标特征向量/>进行归一化,获得归一化后的目标特征向量。
第一特征融合单元303获得归一化后的目标特征向量之后,可以利用点乘匀速和广播机制,分别对归一化后的目标特征向量和每一目标空间尺度的特征差异注意力图进行特征融合,获得每一目标空间尺度的特征融合图,具体计算公式如下:
其中,表示点乘计算;/>表示Sigmoid归一化函数。
第一特征融合单元303获得每一目标空间尺度的特征融合图之后,可以分别对每一目标空间尺度的特征差异图和特征融合图进行特征融合,获得每一目标空间尺度的特征差异增强图/>,具体计算公式如下:
本发明实施例中的特征差异增强模块203,通过综合作差和连接两种常用的特征度量方式,嵌入空间注意力和通道注意力机制,构建特征差异增强模块203,使得建筑物识别模型以学习迭代的方式更加关注前景中的差异,忽略背景中的差异,能够克服建筑物伪变化导致的模型性能下降的问题,能减少建筑物识别模型误检率与漏检率,能进一步提高建筑物变化检测的精度。
将每一特征差异增强图输入解码器204,由解码器204对各特征差异增强图进行解密和分类,进而获取解码器204输出的待检测影像的建筑物变化检测结果。
需要说明的是,本发明实施例中的解码器204为轻量级解码器。
需要说明的是,上述待检测影像的建筑物变化检测结果可以为与目标区域的前时相校正遥感影像(或目标区域的后时相校正遥感影像)相同尺寸的影像,上述影像中标注有目标建筑物所在的区域以及目标建筑物的变化类型。
图4为本发明提供建筑物特征检测方法中解码器的结构示意图。如图4所示,作为一个可选地实施例,解码器204,包括:解码单元401、上采样单元402和第二特征融合单元403,上采样单元402包括目标数量个级联的上采样块404;
将每一特征差异增强图输入解码器204,由解码器204对各特征差异增强图进行解密和分类,进而获取解码器204输出的待检测影像的建筑物变化检测结果,包括:将每一特征差异增强图输入解码单元401,由解码单元401将每一特征差异增强图恢复至原始尺寸,进而获得解码单元401输出的每一修正特征差异增强图,原始尺寸为目标区域的前时相遥感影像或目标区域的后时相遥感影像的尺寸。
具体地,获取特征差异增强模块203输出的每一目标空间尺度的特征差异增强图之后,可以将每一目标空间尺度的特征差异增强图/>输入解码单元401。
解码单元401可以将每一目标空间尺度的特征差异增强图恢复至原始尺寸(C×H×W)之后,输出每一修正特征差异增强图/>
将每一修正特征差异增强图输入上采样单元402,获取上采样单元402输出的每一目标空间尺度对应的原始建筑物变化检测结果。
需要说明的是,本发明实施例中的目标数量可以是基于先验知识和/或实际情况确定的。本发明实施例中对目标数量/>的具体取值不作限定。
具体地,上采样块可以对输入的特征图依次进行卷积核为1×1的卷积计算、批归一化(Batch Normalization,BN)计算、ReLU激活函数计算以及四倍的上采样计算。
获得解码单元401输出的每一修正特征差异增强图之后,可以将每一修正特征差异增强图/>输入上采样单元402。
上采样单元402中级联的上采样块可以采用卷积核为1×1的卷积计算作为分类器,将每一修正特征差异增强图的通道数转换为所需要的类别数量4,表示新增建筑物、拆除建筑物、改建建筑物和非目标建筑物,最后采用四倍的上采样,获得并输出每一目标空间尺度对应的原始建筑物变化检测结果/>
需要说明的是,任何一个目标空间尺度对应的原始建筑物变化检测结果的尺度为1×nnW。
将每一目标空间尺度对应的原始建筑物变化检测结果输入第二特征融合单元403,获取第二特征融合单元403输出的待检测影像的建筑物变化检测结果。
具体地,获取上采样单元402输出的每一目标空间尺度对应的原始建筑物变化检测结果之后,可以将每一目标空间尺度对应的原始建筑物变化检测结果/>输入第二特征融合单元403。
第二特征融合单元403可以对每一目标空间尺度对应的原始建筑物变化检测结果进行逐像素相加,从而可以获得待检测影像的建筑物变化检测结果。
本发明实施例中的建筑物变化检测模型,采用轻量级的编解码器完成高级予以信息的获取与空间信息的恢复,能解决相关技术中模型轻量程度不足的问题,能完成端到端的建筑物变化检测。
图5是本发明提供的建筑物变化检测装置的结构示意图。下面结合图5对本发明提供的建筑物变化检测装置进行描述,下文描述的建筑物变化检测装置与上文描述的本发明提供的建筑物变化检测方法可相互对应参照。如图5所示,该装置包括:影像获取模块501和变化检测模块502。
影像获取模块501,用于获取待检测影像,待检测影像包括目标区域的前时相遥感影像和目标区域的后时相遥感影像;
变化检测模块502,用于将待检测影像输入建筑物变化检测模型,获取建筑物变化检测模型输出的待检测影像的建筑物变化检测结果;
其中,待检测影像的建筑物变化检测结果包括目标建筑物的信息以及目标建筑物的变化类型,目标建筑物为目标区域的前时相遥感影像和目标区域的后时相遥感影像中发生变化的建筑物,变化类型包括新增建筑物、拆除建筑物和改建建筑物;
建筑物变化检测模型基于样本影像以及样本影像的建筑物变化检测结果进行训练后得到,样本影像基于样本区域的前时相遥感影像和样本区域的后时相样本遥感影像获得,样本影像的建筑物变化检测结果包括样本建筑物的信息、非样本建筑物的信息以及样本建筑物的变化类型,样本建筑物包括样本区域的前时相遥感影像和样本区域的后时相样本遥感影像中发生变化的建筑物。
具体地,影像获取模块501和变化检测模块502电连接。
本发明实施例中的建筑物变化检测装置,通过将包括目标区域的前时相遥感影像和目标区域的后时相遥感影像的待检测影像输入建筑物变化检测模型之后,获取建筑物变化检测模型输出的待检测影像的建筑物变化检测结果,待检测影像的建筑物变化检测结果包括目标区域的前时相遥感影像与目标区域的后时相遥感影像中发生变化的目标建筑物的信息以及上述目标建筑物的变化类型,能在对建筑物是否发生变化进行检测的基础上,进一步确定发生变化的建筑物的变化类型,从而能为数字孪生城市建设、城市规划与管理、建筑物灾后损坏评估、违章建筑监测查处等工作提供更准确、更具体的数据基础,进行建筑物变化检测的过程更简单、高效,能减少建筑物变化检测的人力和物力投入。
图6示例了一种电子设备的实体结构示意图,如图6所示,该电子设备可以包括:处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640,其中,处理器610,通信接口620,存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令,以执行建筑物变化检测方法,该方法包括:获取待检测影像,待检测影像包括目标区域的前时相遥感影像和目标区域的后时相遥感影像;将待检测影像输入建筑物变化检测模型,获取建筑物变化检测模型输出的待检测影像的建筑物变化检测结果;其中,待检测影像的建筑物变化检测结果包括目标建筑物的信息以及目标建筑物的变化类型,目标建筑物为目标区域的前时相遥感影像和目标区域的后时相遥感影像中发生变化的建筑物,变化类型包括新增建筑物、拆除建筑物和改建建筑物;建筑物变化检测模型基于样本影像以及样本影像的建筑物变化检测结果进行训练后得到,样本影像基于样本区域的前时相遥感影像和样本区域的后时相样本遥感影像获得,样本影像的建筑物变化检测结果包括样本建筑物的信息、非样本建筑物的信息以及样本建筑物的变化类型,样本建筑物包括样本区域的前时相遥感影像和样本区域的后时相样本遥感影像中发生变化的建筑物。
此外,上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的建筑物变化检测方法,该方法包括:获取待检测影像,待检测影像包括目标区域的前时相遥感影像和目标区域的后时相遥感影像;将待检测影像输入建筑物变化检测模型,获取建筑物变化检测模型输出的待检测影像的建筑物变化检测结果;其中,待检测影像的建筑物变化检测结果包括目标建筑物的信息以及目标建筑物的变化类型,目标建筑物为目标区域的前时相遥感影像和目标区域的后时相遥感影像中发生变化的建筑物,变化类型包括新增建筑物、拆除建筑物和改建建筑物;建筑物变化检测模型基于样本影像以及样本影像的建筑物变化检测结果进行训练后得到,样本影像基于样本区域的前时相遥感影像和样本区域的后时相样本遥感影像获得,样本影像的建筑物变化检测结果包括样本建筑物的信息、非样本建筑物的信息以及样本建筑物的变化类型,样本建筑物包括样本区域的前时相遥感影像和样本区域的后时相样本遥感影像中发生变化的建筑物。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的建筑物变化检测方法,该方法包括:获取待检测影像,待检测影像包括目标区域的前时相遥感影像和目标区域的后时相遥感影像;将待检测影像输入建筑物变化检测模型,获取建筑物变化检测模型输出的待检测影像的建筑物变化检测结果;其中,待检测影像的建筑物变化检测结果包括目标建筑物的信息以及目标建筑物的变化类型,目标建筑物为目标区域的前时相遥感影像和目标区域的后时相遥感影像中发生变化的建筑物,变化类型包括新增建筑物、拆除建筑物和改建建筑物;建筑物变化检测模型基于样本影像以及样本影像的建筑物变化检测结果进行训练后得到,样本影像基于样本区域的前时相遥感影像和样本区域的后时相样本遥感影像获得,样本影像的建筑物变化检测结果包括样本建筑物的信息、非样本建筑物的信息以及样本建筑物的变化类型,样本建筑物包括样本区域的前时相遥感影像和样本区域的后时相样本遥感影像中发生变化的建筑物。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种建筑物变化检测方法,其特征在于,包括:
获取待检测影像,所述待检测影像包括目标区域的前时相遥感影像和所述目标区域的后时相遥感影像;
将所述待检测影像输入建筑物变化检测模型,获取所述建筑物变化检测模型输出的所述待检测影像的建筑物变化检测结果;
其中,所述待检测影像的建筑物变化检测结果包括目标建筑物的信息以及所述目标建筑物的变化类型,所述目标建筑物为所述目标区域的前时相遥感影像和所述目标区域的后时相遥感影像中发生变化的建筑物,所述变化类型包括新增建筑物、拆除建筑物和改建建筑物;
所述建筑物变化检测模型基于样本影像以及样本影像的建筑物变化检测结果进行训练后得到,所述样本影像基于样本区域的前时相遥感影像和所述样本区域的后时相样本遥感影像获得,所述样本影像的建筑物变化检测结果包括样本建筑物的信息、非样本建筑物的信息以及所述样本建筑物的变化类型,所述样本建筑物包括样本区域的前时相遥感影像和所述样本区域的后时相样本遥感影像中发生变化的建筑物;
所述建筑物变化检测模型,包括:孪生编码器、特征金字塔模块、特征差异增强模块和解码器;
所述将所述待检测影像输入建筑物变化检测模型,获取所述建筑物变化检测模型输出的所述待检测影像的建筑物变化检测结果,包括:
将所述目标区域的前时相遥感影像和所述目标区域的后时相遥感影像输入孪生编码器,由所述孪生编码器分别对目标区域的前时相遥感影像和所述目标区域的后时相遥感影像进行特征提取,进而获取所述孪生编码器输出的每一目标空间尺度的第一特征图和每一所述目标空间尺度的第二特征图,各所述第一特征图与所述目标区域的前时相遥感影像对应,各所述第二特征图与所述目标区域的后时相遥感影像对应;
将每一所述第一特征图和每一所述第二特征图输入特征金字塔模块,由所述特征金字塔模块分别对每一所述第一特征图和每一所述第二特征图进行空间细节恢复,进而获取所述特征金字塔模块输出的每一所述目标空间尺度的第三特征图和每一所述目标空间尺度的第四特征图;
将每一所述第三特征图和每一所述第四特征图输入所述特征差异增强模块,由所述特征差异增强模块提取每一目标空间尺度的第三特征图和第四特征图之间的差异特征,并对提取到的差异特征进行特征增强,进而获取所述特征差异增强模块输出的每一所述目标空间尺度的特征差异增强图;
将每一所述特征差异增强图输入所述解码器,由所述解码器对各所述特征差异增强图进行解密和分类,进而获取所述解码器输出的所述待检测影像的建筑物变化检测结果;
所述特征差异增强模块,包括:差异分支单元、连接分支单元和第一特征融合单元;
所述将每一所述第三特征图和每一所述第四特征图输入所述特征差异增强模块,由所述特征差异增强模块提取每一目标空间尺度的第三特征图和第四特征图之间的差异特征,并对提取到的差异特征进行特征增强,进而获取所述特征差异增强模块输出的每一所述目标空间尺度的特征差异增强图,包括:
将各所述第三特征图和各所述第四特征图输入所述差异分支单元,由所述差异分支单元对每一所述目标空间尺度的第三特征图和第四特征图进行归一化相减,获得每一所述目标空间尺度的特征差异图之后,对每一所述目标空间尺度的特征差异图进行通道维压缩空间维激励以及激活函数激活,获得每一所述目标空间尺度的特征差异注意力图,进而获取所述差异分支单元输出的每一所述目标空间尺度的特征差异图和每一所述目标空间尺度的特征差异注意力图,
将每一所述第三特征图和每一所述第四特征图输入所述连接分支单元,由所述连接分支单元按照通道维度对各所述第三特征图和各所述第四特征图进行叠加,获得叠加特征图之后,对所述叠加特征图进行池化计算,获得原始特征向量,通过卷积计算对所述原始特征向量进行压缩,获得压缩后的原始特征向量,通过空间维压缩通道维激励对所述压缩后的原始特征向量进行激励,获得目标特征向量,进而获取所述连接分支单元输出的目标特征向量;
将所述目标特征向量、每一所述目标空间尺度的特征差异图和每一所述目标空间尺度的特征差异注意图输入所述第一特征融合单元,由所述第一特征融合单元基于所述目标特征向量,对每一所述目标空间尺度的特征差异图和每一所述目标空间尺度的特征差异注意图输入所述第一特征融合单元,获得每一所述目标空间尺度的特征差异增强图;
所述建筑物变化检测模型是基于如下步骤训练的得到的:
对所述样本区域的前时相遥感影像和所述样本区域的后时相遥感影像进行图像预处理,获得所述样本区域的前时相校正遥感影像和所述样本区域的后时相校正遥感影像,所述图像预处理包括几何校正、图像融合、图像配准、图像裁剪以及图像镶嵌中的至少一种;
为所述样本区域的前时相校正遥感影像或所述样本区域的后时相校正遥感影像中不同变化类型的样本建筑物标注不同的像素值,获取标注影像;
将所述样本区域的前时相校正遥感影像、所述样本区域的后时相校正遥感影像、所述标注影像均裁剪为预设尺寸之后,对预设尺寸的样本区域的前时相校正遥感影像、预设尺寸的样本区域的后时相校正遥感影像、预设尺寸的标注影像的进行数据清洗,将数据清洗后保留的预设尺寸的样本区域的前时相校正遥感影像和预设尺寸的样本区域的后时相校正遥感影确定为样本影像,将数据清洗后保留的预设尺寸的标注影像确定为所述样本影像的建筑物变化检测结果;
对所述样本影像和所述样本影像的建筑物变化检测结果进行数据处理之后,将数据处理后的样本影像亦确定为样本影像,将数据处理后的样本影像的建筑物变化检测结果亦确定为所述样本影像的建筑物变化检测结果,所述数据处理包括水平翻转、垂直翻转、旋转、转置、随机裁剪后重采样、随机亮度、随机对比度、添加高斯噪声以及添加高斯模糊中的至少一种;
将所述样本影像作为训练样本,将所述样本影像的建筑物变化检测结果作为样本标签,对初始模型进行训练,获得所述建筑物变化检测模型。
2.根据权利要求1所述的建筑物变化检测方法,其特征在于,所述将所述目标特征向量、每一所述目标空间尺度的特征差异图和每一所述目标空间尺度的特征差异注意图输入所述第一特征融合单元,由所述第一特征融合单元基于所述目标特征向量,对每一所述目标空间尺度的特征差异图和每一所述目标空间尺度的特征差异注意图输入所述第一特征融合单元,获得每一所述目标空间尺度的特征差异增强图,包括:
将所述目标特征向量、每一所述目标空间尺度的特征差异图和每一所述目标空间尺度的特征差异注意图输入所述第一特征融合单元,由所述第一特征融合单元对所述目标特征向量进行归一化之后,分别对归一化后的目标特征向量和每一所述目标空间尺度的特征差异注意图进行特征融合,获得每一所述目标空间尺度的特征融合图之后,分别对每一所述目标空间尺度的特征融合图与特征差异图进行特征融合,获得每一所述目标空间尺度的特征差异增强图。
3.根据权利要求1所述的建筑物变化检测方法,其特征在于,所述孪生编码器是EfficientNet-B0网络构建的。
4.根据权利要求1所述的建筑物变化检测方法,其特征在于,所述解码器,包括:解码单元、上采样单元和第二特征融合单元,所述上采样单元包括目标数量个级联的上采样块;
所述将每一所述特征差异增强图输入所述解码器,由所述解码器对各所述特征差异增强图进行解密和分类,进而获取所述解码器输出的所述待检测影像的建筑物变化检测结果,包括:
将每一所述特征差异增强图输入所述解码单元,由所述解码单元将每一所述特征差异增强图恢复至原始尺寸,进而获得所述解码单元输出的每一修正特征差异增强图,所述原始尺寸为所述目标区域的前时相遥感影像或所述目标区域的后时相遥感影像的尺寸;
将每一所述修正特征差异增强图输入所述上采样单元,获取所述上采样单元输出的每一所述目标空间尺度对应的原始建筑物变化检测结果;
将每一所述目标空间尺度对应的原始建筑物变化检测结果输入所述第二特征融合单元,获取所述第二特征融合单元输出的所述待检测影像的建筑物变化检测结果。
5.一种建筑物变化检测装置,其特征在于,包括:
影像获取模块,用于获取待检测影像,所述待检测影像包括目标区域的前时相遥感影像和所述目标区域的后时相遥感影像;
变化检测模块,用于将所述待检测影像输入建筑物变化检测模型,获取所述建筑物变化检测模型输出的所述待检测影像的建筑物变化检测结果;
其中,所述待检测影像的建筑物变化检测结果包括目标建筑物的信息以及所述目标建筑物的变化类型,所述目标建筑物为所述目标区域的前时相遥感影像和所述目标区域的后时相遥感影像中发生变化的建筑物,所述变化类型包括新增建筑物、拆除建筑物和改建建筑物;
所述建筑物变化检测模型基于样本影像以及样本影像的建筑物变化检测结果进行训练后得到,所述样本影像基于样本区域的前时相遥感影像和所述样本区域的后时相样本遥感影像获得,所述样本影像的建筑物变化检测结果包括样本建筑物的信息、非样本建筑物的信息以及所述样本建筑物的变化类型,所述样本建筑物包括样本区域的前时相遥感影像和所述样本区域的后时相样本遥感影像中发生变化的建筑物;
所述建筑物变化检测模型,包括:孪生编码器、特征金字塔模块、特征差异增强模块和解码器;
所述变化检测模块将所述待检测影像输入建筑物变化检测模型,获取所述建筑物变化检测模型输出的所述待检测影像的建筑物变化检测结果,包括:
将所述目标区域的前时相遥感影像和所述目标区域的后时相遥感影像输入孪生编码器,由所述孪生编码器分别对目标区域的前时相遥感影像和所述目标区域的后时相遥感影像进行特征提取,进而获取所述孪生编码器输出的每一目标空间尺度的第一特征图和每一所述目标空间尺度的第二特征图,各所述第一特征图与所述目标区域的前时相遥感影像对应,各所述第二特征图与所述目标区域的后时相遥感影像对应;
将每一所述第一特征图和每一所述第二特征图输入特征金字塔模块,由所述特征金字塔模块分别对每一所述第一特征图和每一所述第二特征图进行空间细节恢复,进而获取所述特征金字塔模块输出的每一所述目标空间尺度的第三特征图和每一所述目标空间尺度的第四特征图;
将每一所述第三特征图和每一所述第四特征图输入所述特征差异增强模块,由所述特征差异增强模块提取每一目标空间尺度的第三特征图和第四特征图之间的差异特征,并对提取到的差异特征进行特征增强,进而获取所述特征差异增强模块输出的每一所述目标空间尺度的特征差异增强图;
将每一所述特征差异增强图输入所述解码器,由所述解码器对各所述特征差异增强图进行解密和分类,进而获取所述解码器输出的所述待检测影像的建筑物变化检测结果;
所述特征差异增强模块,包括:差异分支单元、连接分支单元和第一特征融合单元;
所述变化检测模块将每一所述第三特征图和每一所述第四特征图输入所述特征差异增强模块,由所述特征差异增强模块提取每一目标空间尺度的第三特征图和第四特征图之间的差异特征,并对提取到的差异特征进行特征增强,进而获取所述特征差异增强模块输出的每一所述目标空间尺度的特征差异增强图,包括:
将各所述第三特征图和各所述第四特征图输入所述差异分支单元,由所述差异分支单元对每一所述目标空间尺度的第三特征图和第四特征图进行归一化相减,获得每一所述目标空间尺度的特征差异图之后,对每一所述目标空间尺度的特征差异图进行通道维压缩空间维激励以及激活函数激活,获得每一所述目标空间尺度的特征差异注意力图,进而获取所述差异分支单元输出的每一所述目标空间尺度的特征差异图和每一所述目标空间尺度的特征差异注意力图,
将每一所述第三特征图和每一所述第四特征图输入所述连接分支单元,由所述连接分支单元按照通道维度对各所述第三特征图和各所述第四特征图进行叠加,获得叠加特征图之后,对所述叠加特征图进行池化计算,获得原始特征向量,通过卷积计算对所述原始特征向量进行压缩,获得压缩后的原始特征向量,通过空间维压缩通道维激励对所述压缩后的原始特征向量进行激励,获得目标特征向量,进而获取所述连接分支单元输出的目标特征向量;
将所述目标特征向量、每一所述目标空间尺度的特征差异图和每一所述目标空间尺度的特征差异注意图输入所述第一特征融合单元,由所述第一特征融合单元基于所述目标特征向量,对每一所述目标空间尺度的特征差异图和每一所述目标空间尺度的特征差异注意图输入所述第一特征融合单元,获得每一所述目标空间尺度的特征差异增强图;
所述建筑物变化检测模型是基于如下步骤训练的得到的:
对所述样本区域的前时相遥感影像和所述样本区域的后时相遥感影像进行图像预处理,获得所述样本区域的前时相校正遥感影像和所述样本区域的后时相校正遥感影像,所述图像预处理包括几何校正、图像融合、图像配准、图像裁剪以及图像镶嵌中的至少一种;
为所述样本区域的前时相校正遥感影像或所述样本区域的后时相校正遥感影像中不同变化类型的样本建筑物标注不同的像素值,获取标注影像;
将所述样本区域的前时相校正遥感影像、所述样本区域的后时相校正遥感影像、所述标注影像均裁剪为预设尺寸之后,对预设尺寸的样本区域的前时相校正遥感影像、预设尺寸的样本区域的后时相校正遥感影像、预设尺寸的标注影像的进行数据清洗,将数据清洗后保留的预设尺寸的样本区域的前时相校正遥感影像和预设尺寸的样本区域的后时相校正遥感影确定为样本影像,将数据清洗后保留的预设尺寸的标注影像确定为所述样本影像的建筑物变化检测结果;
对所述样本影像和所述样本影像的建筑物变化检测结果进行数据处理之后,将数据处理后的样本影像亦确定为样本影像,将数据处理后的样本影像的建筑物变化检测结果亦确定为所述样本影像的建筑物变化检测结果,所述数据处理包括水平翻转、垂直翻转、旋转、转置、随机裁剪后重采样、随机亮度、随机对比度、添加高斯噪声以及添加高斯模糊中的至少一种;
将所述样本影像作为训练样本,将所述样本影像的建筑物变化检测结果作为样本标签,对初始模型进行训练,获得所述建筑物变化检测模型。
6.一种电子设备,包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至4任一项所述建筑物变化检测方法。
7.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述建筑物变化检测方法。
CN202311414164.4A 2023-10-30 2023-10-30 建筑物变化检测方法、装置、电子设备及存储介质 Active CN117152621B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311414164.4A CN117152621B (zh) 2023-10-30 2023-10-30 建筑物变化检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311414164.4A CN117152621B (zh) 2023-10-30 2023-10-30 建筑物变化检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN117152621A CN117152621A (zh) 2023-12-01
CN117152621B true CN117152621B (zh) 2024-02-23

Family

ID=88906443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311414164.4A Active CN117152621B (zh) 2023-10-30 2023-10-30 建筑物变化检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117152621B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3968286A2 (en) * 2021-01-20 2022-03-16 Beijing Baidu Netcom Science Technology Co., Ltd. Method, apparatus, electronic device and storage medium for detecting change of building
CN114463624A (zh) * 2021-12-24 2022-05-10 中国科学院空天信息创新研究院 一种应用于城市管理监督的违章建筑物检测方法及装置
CN115131281A (zh) * 2022-04-01 2022-09-30 腾讯科技(深圳)有限公司 变化检测模型训练和图像变化检测方法、装置及设备
WO2022252799A1 (zh) * 2021-06-04 2022-12-08 成都数之联科技股份有限公司 模型训练方法及林地变化检测方法及系统及装置及介质
CN115471467A (zh) * 2022-08-31 2022-12-13 核工业北京地质研究院 一种高分辨率光学遥感影像建筑物变化检测方法
CN116310839A (zh) * 2023-04-20 2023-06-23 河南大学 一种基于特征增强网络的遥感影像建筑物变化检测方法
CN116524361A (zh) * 2023-05-15 2023-08-01 西安电子科技大学 基于双孪生分支的遥感图像变化检测网络及检测方法
CN116883850A (zh) * 2023-07-19 2023-10-13 安徽理工大学 一种遥感影像建筑物变化检测方法、装置、介质及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3968286A2 (en) * 2021-01-20 2022-03-16 Beijing Baidu Netcom Science Technology Co., Ltd. Method, apparatus, electronic device and storage medium for detecting change of building
WO2022252799A1 (zh) * 2021-06-04 2022-12-08 成都数之联科技股份有限公司 模型训练方法及林地变化检测方法及系统及装置及介质
CN114463624A (zh) * 2021-12-24 2022-05-10 中国科学院空天信息创新研究院 一种应用于城市管理监督的违章建筑物检测方法及装置
CN115131281A (zh) * 2022-04-01 2022-09-30 腾讯科技(深圳)有限公司 变化检测模型训练和图像变化检测方法、装置及设备
CN115471467A (zh) * 2022-08-31 2022-12-13 核工业北京地质研究院 一种高分辨率光学遥感影像建筑物变化检测方法
CN116310839A (zh) * 2023-04-20 2023-06-23 河南大学 一种基于特征增强网络的遥感影像建筑物变化检测方法
CN116524361A (zh) * 2023-05-15 2023-08-01 西安电子科技大学 基于双孪生分支的遥感图像变化检测网络及检测方法
CN116883850A (zh) * 2023-07-19 2023-10-13 安徽理工大学 一种遥感影像建筑物变化检测方法、装置、介质及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于差异增强和双注意力 Transformer 的遥感图像变化检测;张青月 等;《无线电工程》;全文 *
基于特征增强的光学遥感图像建筑物变化检测;逄涛 等;《计算机工程》;第49卷(第04期);第182-187页 *

Also Published As

Publication number Publication date
CN117152621A (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及系统
Zhang et al. Remote sensing image spatiotemporal fusion using a generative adversarial network
CN109558806B (zh) 高分遥感图像变化的检测方法
CN111080629A (zh) 一种图像拼接篡改的检测方法
Yu et al. HADeenNet: A hierarchical-attention multi-scale deconvolution network for landslide detection
He et al. Mask R-CNN based automated identification and extraction of oil well sites
CN110458192B (zh) 基于视觉显著性的高光谱遥感图像分类方法及系统
CN111680690A (zh) 一种文字识别方法及装置
CN112818920B (zh) 一种双时相高光谱图像空谱联合变化检测方法
CN113610070A (zh) 一种基于多源数据融合的滑坡灾害识别方法
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN110991430A (zh) 基于遥感图像的地物识别及覆盖率计算方法及系统
CN114742733A (zh) 云去除方法、装置、计算机设备和存储介质
Li et al. Hyperspectral anomaly detection via image super-resolution processing and spatial correlation
Liu et al. DCNet: A deformable convolutional cloud detection network for remote sensing imagery
CN115861823A (zh) 一种基于自监督深度学习的遥感变化检测方法和装置
Wang et al. Real-time spatiotemporal spectral unmixing of MODIS images
Wang et al. Fast spatial-spectral random forests for thick cloud removal of hyperspectral images
Basso et al. Combining morphological filtering, anisotropic diffusion and block-based data replication for automatically detecting and recovering unscanned gaps in remote sensing images
Song et al. Remote sensing image spatiotemporal fusion via a generative adversarial network with one prior image pair
Xu et al. Semi-supervised thin cloud removal with mutually beneficial guides
Adu-Gyamfi et al. Functional evaluation of pavement condition using a complete vision system
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN111539434B (zh) 基于相似度的红外弱小目标检测方法
CN116310868A (zh) 一种多层次注意力交互的云雪辩识方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant