CN116883850A - 一种遥感影像建筑物变化检测方法、装置、介质及设备 - Google Patents

一种遥感影像建筑物变化检测方法、装置、介质及设备 Download PDF

Info

Publication number
CN116883850A
CN116883850A CN202310888181.5A CN202310888181A CN116883850A CN 116883850 A CN116883850 A CN 116883850A CN 202310888181 A CN202310888181 A CN 202310888181A CN 116883850 A CN116883850 A CN 116883850A
Authority
CN
China
Prior art keywords
feature
remote sensing
change detection
network
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310888181.5A
Other languages
English (en)
Inventor
刘超
唐朋宇
樊亚
丁玉淋
付贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Science and Technology
Original Assignee
Anhui University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Science and Technology filed Critical Anhui University of Science and Technology
Priority to CN202310888181.5A priority Critical patent/CN116883850A/zh
Publication of CN116883850A publication Critical patent/CN116883850A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种遥感影像建筑物变化检测方法、装置、介质及设备，该方法包括构建建筑物变化检测模型，所述建筑物变化检测模型包括2个输入，用于分别输入一个遥感影像；训练所述建筑物变化检测模型；将两个时期原始遥感影像数据输入所述建筑物变化检测模型，得到检测结果；所述建筑物变化检测模型，包括：编码器模块；解码器模块；所述编码器模块和解码器模块之间还设有阶段连接模块，在解码网络中设置特征偏移学习模块，本发明通过特征偏移学习模块将自底而上的特征进行对齐，充分利用其对于特征的提取和学习能力，提高了遥感影像建筑物变化检测的精确度。

Description

一种遥感影像建筑物变化检测方法、装置、介质及设备
技术领域
本发明涉及图像处理技术领域，具体涉及一种遥感影像建筑物变化检测方法、装置、介质及设备。
背景技术
建筑物变化检测是对两个不同时期影像中的建筑物变化进行分析和确定的操作，其目的是区分同一地区域不同时间遥感图像中变化和未变化的像元。随着遥感技术水平的不断提高，遥感影像的分辨率不断提高，从遥感图像中获取更详细的地表建筑物情况成为可能。地表建筑物情况的获取与分析，对于城市规划管理、灾后应急决策及地区发展规划等意义重大。深度学习技术的不断进步与计算机硬件计算能力的不断提升使得基于深度学习的建筑物变化检测成为可能。
现有技术中，有一种处理方法为：先对图像进行相应的合并，差值或堆叠处理后输入神经网络进行后续处理，但这些操作均未考虑源图像的特征差异，易造成特征的表达能力较差，另一方面图像的融合或者堆叠可能会产生一些合成信息对后续的特征学习造成一些不利的影响。另外一种处理方法为：变化检测使用双输入模型，但是对遥感图像特征如何进行充分利用，从而提高变化检测的精确度仍然是该领域研究的热点之一。
发明内容
针对上述现有技术存在的问题，本发明提供了一种遥感影像建筑物变化检测方法、装置、介质及设备，通过阶段连接模块实现了浅层特征图与深层特征图拼接，有利于信息融合，通过特征偏移学习模块实现更好的进行特征的拼接，充分利用其对于特征的提取和学习能力，相比于传统的变化检测方法具有更好的检测性能和更高的精度。该技术方案如下：
第一方面，提供了一种遥感影像建筑物变化检测方法，包括：
构建建筑物变化检测模型，所述建筑物变化检测模型包括2个输入，用于分别输入一个遥感影像；
训练所述建筑物变化检测模型；
将两个时期原始遥感影像数据输入所述建筑物变化检测模型，得到检测结果；
所述建筑物变化检测模型，包括：
编码器模块，包括用于处理第一时期原始遥感影像的第一编码网络和用于处理第二时期原始遥感影像的第二编码网络，所述第一编码网络和第二编码网络为权值共享孪生结构，所述编码网络从输入到输出依次包括a个阶段，a个阶段对原始遥感影像实现连续a次下采样，编码网络a次下采样后输出的编码输出特征图作为解码器模块的解码输入特征图；
解码器模块，包括一个解码网络，所述解码网络从输入到输出依次包括a个阶段，a个阶段对解码输入特征图实现连续a次上采样；
所述编码器模块和解码器模块之间还设有阶段连接模块，所述阶段连接模块用于将编码网络每个阶段卷积后的特征图传输到解码网络对应阶段，并与解码网络对应阶段上采样后的特征图融合；
其中，编码网络每个阶段卷积后的特征图传输到解码网络对应阶段，并与解码网络对应阶段上采样后的特征图融合，包括：
待融合的两个特征图宽度和高度相同；
待融合的两个特征图进行拼接后，在解码网络中通过特征偏移学习模块实现融合优化，所述特征偏移学习模块包括依次连接的预设卷积处理层、批量归一化和ReLU激活函数，所述预设卷积处理层采用的预设卷积操作包括在卷积计算中增加一个可学习参数用于根据特征图中不同位置不同尺度不同形变目标调整卷积核在空间上的采样位置，所述可学习参数经过训练得到。
在一些实施方式中，所述预设卷积操作为：
其中Δpn为可学习参数表征偏移预测值，P0表示卷积核中心相对于输入特征图左上角的坐标，Pn为卷积核元素相对于卷积核中心的偏移量，w为卷积核对应位置的值，为卷积核中相对于卷积核中心Pn位置的值，x为输入特征图，/>为输入特征图中相对于输入特征图左上角的P0+Pn+Δpn位置的值，y为卷积输出结果。
在一些实施方式中，所述阶段连接模块还包括用于优化编码输出特征图传递到解码网络的特征的集成通道模块，所述集成通道模块包括：
第一支路，用于接收编码输出特征图F，将特征图F拆分为n个子图；将每个子图进行拼接，形成一个新的特征图F0，对特征图F0执行通道注意力机制，获得针对特征图F0的注意力系数CA1；
第二支路，用于接收编码输出特征图F，并对特征图F进行求和得到全局特征图，对所述全局特征图执行通道注意力机制，获取针对全局特征图的全局注意力系数CA2；
融合模块，用于将第二支路输出的CA2和第一支路输出的CA1重复拼接相加n次，获取集成通道模块输出的特征图融合表示；
输出模块，用于通过上采样和1x1卷积层生成输出特征图。
在一些实施方式中，所述将特征图F拆分为n个子图；将每个子图进行拼接，形成一个新的特征图F0，包括：
获取特征图F原有通道数b；
将b个通道分成n份；
对n份拼接形成具有n个通道的特征图F0。
在一些实施方式中，所述对特征图F进行求和得到全局特征图，包括：
首先使用torch.stack函数将输入特征图列表进行堆叠，生成一个新的张量；
然后使用torch.sum函数对堆叠后的张量沿着维度0进行求和。
在一些实施方式中，所述编码网络的每个阶段包括依次连接的3*3卷积层、RULE函数和2*2最大池化层，解码网络的每个阶段包括依次连接的上采样层、特征偏移学习模块。
在一些实施方式中，所述建筑物变化检测模型的训练过程中，采用的损失函数包括二元交叉熵损失函数和Dice损失函数，所述二元交叉熵损失函数为：
其中n为样本个数，yi为真实标签，P(yi)为真实标签yi对应的预测标签值；yi取值0或1；
所述Dice损失函数为：其中，TP是正确检测的发生变化的像素数，FP是错误检测的变化的像素数，FN是错误检测的未变化的像素数。
第二方面，提供了一种遥感影像建筑物变化检测装置，包括：
模型构建单元，用于构建建筑物变化检测模型，所述建筑物变化检测模型包括2个输入，用于分别输入一个遥感影像；
模型训练单元，用于训练所述建筑物变化检测模型；
建筑物变化检测单元，用于将两个时期原始遥感影像数据输入所述建筑物变化检测模型，得到检测结果；
所述建筑物变化检测模型，包括：
编码器模块，包括用于处理第一时期原始遥感影像的第一编码网络和用于处理第二时期原始遥感影像的第二编码网络，所述第一编码网络和第二编码网络为权值共享孪生结构，所述编码网络从输入到输出依次包括a个阶段，a个阶段对原始遥感影像实现连续a次下采样，编码网络a次下采样后输出的编码输出特征图作为解码器模块的解码输入特征图；
解码器模块，包括一个解码网络，所述解码网络从输入到输出依次包括a个阶段，a个阶段对解码输入特征图实现连续a次上采样；
所述编码器模块和解码器模块之间还设有阶段连接模块，所述阶段连接模块用于将编码网络每个阶段卷积后的特征图传输到解码网络对应阶段，并与解码网络对应阶段上采样后的特征图融合；
其中，编码网络每个阶段卷积后的特征图与解码网络对应阶段上采样后的特征图融合，包括：
待融合的两个特征图宽度和高度相同；
待融合的两个特征图进行拼接后，在解码网络中通过特征偏移学习模块实现融合优化，所述特征偏移学习模块包括依次连接的预设卷积处理层、批量归一化和ReLU激活函数，所述预设卷积处理层采用的预设卷积操作包括在卷积计算中增加一个可学习参数用于根据特征图中不同位置不同尺度不同形变目标调整卷积核在空间上的采样位置，所述可学习参数经过训练得到。
第三方面，提供了一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器通过运行所述可执行指令以实现如上述第一方面所述的遥感影像建筑物变化检测方法。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时实现如上述第一方面所述遥感影像建筑物变化检测方法的步骤。
本发明的一种遥感影像建筑物变化检测方法、装置、介质及设备，具备如下有益效果：通过阶段连接模块实现了浅层特征图与深层特征图拼接，有利于信息融合，减少网络参数个数，缓解过拟合现象。通过特征偏移学习模块将自底而上的特征进行对齐，从而更好的进行特征的拼接，最终更好的识别小目标并解决边缘不规则的问题。通过集成通道模块，优化编码网络传输到解码网络的特征，从而提高了变化检测的准确性。
附图说明
图1是本申请实施例中建筑物变化检测模型的结构示意图；
图2是本申请实施例中集成通道模块的结构示意图；
图3是本申请实施例中建筑物变化检测模型训练过程的损失函数曲线图；
图4是本申请实施例中建筑物变化检测模型实验结果中四组典型区域的检测结果示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的一种遥感影像建筑物变化检测方法，其特征在于，包括：
构建建筑物变化检测模型，所述建筑物变化检测模型包括2个输入，用于分别输入一个遥感影像；
训练所述建筑物变化检测模型；
将两个时期原始遥感影像数据输入所述建筑物变化检测模型，得到检测结果；
参见图1，所述建筑物变化检测模型，包括：
编码器模块，包括用于处理第一时期原始遥感影像的第一编码网络和用于处理第二时期原始遥感影像的第二编码网络，所述第一编码网络和第二编码网络为权值共享孪生结构，所述编码网络从输入到输出依次包括a个阶段，a个阶段对原始遥感影像实现连续a次下采样，编码网络a次下采样后输出的编码输出特征图作为解码器模块的解码输入特征图；
解码器模块，包括一个解码网络，所述解码网络从输入到输出依次包括a个阶段，a个阶段对解码输入特征图实现连续a次上采样，所述解码网络经过a个阶段后采用1×1的卷积调整输出通道数，输出建筑物变化检测结果；
所述编码器模块和解码器模块之间还设有阶段连接模块，所述阶段连接模块用于将编码网络每个阶段卷积后的特征图传输到解码网络对应阶段，并与解码网络对应阶段上采样后的特征图融合，所述对应阶段满足解码网络对应阶段上采样后的特征图的宽度和高度和编码网络传输到该解码网络对应阶段的特征图的宽度和高度相同；
其中，编码网络每个阶段卷积后的特征图与解码网络对应阶段上采样后的特征图融合，包括：
待融合的两个特征图进行拼接后，在解码网络中通过特征偏移学习模块实现融合优化，所述特征偏移学习模块包括依次连接的预设卷积处理层、批量归一化和ReLU激活函数，所述预设卷积处理层采用的预设卷积操作包括在卷积计算中增加一个可学习参数用于根据特征图中不同位置不同尺度不同形变目标调整卷积核在空间上的采样位置，所述可学习参数经过训练得到。
本申请实施例中，建筑物变化检测模型采用编码-解码结构，编码部分有4个阶段的下采样，解码部分以编码部分最后的输出作为输入连续进行4个阶段的上采样，实现对两个时期原始遥感影像数据的特征提取和变化检测，进一步的，为了优化解码部分的特征提取，将编码网络每个阶段卷积后的特征图融入到解码网络的对应阶段，本申请中通过阶段连接模块实现了浅层特征图与深层特征图拼接，有利于信息融合，减少网络参数个数，缓解过拟合现象。
可以理解，编码网络每个阶段卷积后的特征图与解码网络的对应阶段上采样后的特征图融合，该融合对应的两个特征图尺寸相同，待融合的两个特征图进行拼接后，经过预设卷积处理层、批量归一化和ReLU激活函数实现融合优化。
进一步的，参见图1，上述编码网络的每个阶段包括依次连接的3*3卷积层、RULE函数和2*2最大池化层，解码网络的每个阶段包括依次连接的上采样层、特征偏移学习模块。
可以理解，上述编码网络中每个阶段实现的下采样倍数和解码网络的每个阶段实现的上采样倍数一致，例如采样倍数都为2，上述编码网络的每个阶段卷积层实现的通道数增加，解码网络每个特征偏移学习模块实现通道数减少，上述编码网络的每个阶段卷积层实现的通道数变化倍数与解码网络每个特征偏移学习模块实现的通道数变化倍数是1/2的关系，例如编码网络的每个阶段卷积层实现卷积层输出通道数变为卷积层输入通道数的2倍，则解码网络的特征偏移学习模块实现特征偏移学习模块输入通道数变为卷积层输出通道数的4倍。
假设上述a＝4，记编码网络依次为第1阶段，第2阶段，第3阶段，第4阶段，若每个阶段实现特征图宽高缩小一半，则4个阶段实现16倍下采样，解码网络依次为第1阶段，第2阶段，第3阶段，第4阶段，编码网络第4阶段的输出传输到解码网络第1阶段的输入；进一步对建筑物变化检测模型的编码-解码结构进行说明，以采样倍数为2、特征偏移学习模块实现通道数变化倍数为4、编码网络3*3卷积层实现通道数变化倍数为2进行说明，如图1所示：
在编码网络，输入的遥感影像在第1阶段依次经过3*3卷积和2*2池化实现特征图的通道数翻倍同时宽高缩小一倍，获得64通道256*256宽高的第一特征图；依次经过第2阶段，第3阶段，第4阶段后获得512通道32*32宽高的第四特征图；
编码网络4次下采样后输出的特征图经过3*3卷积后的特征图作为解码器模块的输入特征图；
在解码网络，输入特征图在第1阶段依次经过上采样层、特征偏移学习模块，其中在经过第1阶段上采样层后得到512*64*64的A1特征图，在阶段连接模块的作用下，该A1特征图与编码网络第4阶段卷积后的特征图(512*64*64)进行拼接，并在通过解码网络的第1阶段的特征偏移学习模块后，获得解码网络第1阶段输出的256通道64*64宽高的特征图记为A特征图，依次类推，在解码网络经过第2阶段的上采样层、特征偏移学习模块后得到128通道128*128宽高的B特征图，经过第3阶段的上采样层、特征偏移学习模块后得到64通道256*256宽高的C特征图，经过第4阶段的上采样层、特征偏移学习模块后得到32通道512*512宽高的D特征图；
在解码网络经过全部阶段后，通过使用1×1的卷积调整输出通道数，输出建筑物变化检测结果。
其中预设卷积处理层、批量归一化和ReLU激活函数组成特征偏移学习模块(FML)。传统的卷积操作是在规则的方形卷积核上进行滑动窗口操作，并在每个位置应用相同的权重，用于提取图像的局部特征。然而，在存在形状变化、旋转或畸变的情况下，传统的卷积操作可能无法很好地适应这些变化，导致特征提取的不准确性。本申请实施例中采用的上述预设卷积处理层中的卷积操作通过引入可学习参数实现灵活根据目标的尺度或者形变调整卷积核在空间上的采样位置。本申请实施例中通过该预设卷积操作将每个阶段卷积后的特征图和解码网络对应阶段上采样后的特征图的特征进行上下对齐，避免两个特征图融合时低级特征的信息泄露到高级特征中产生形状变化或畸变进而导致后续上采样时特征信息的缺失，影响建筑边缘的提取，实现更好的进行特征的拼接，最终更好的识别小目标并解决边缘不规则的问题。
进一步的，上述特征偏移学习模块中的预设卷积操作为：
其中Δpn为可学习参数表征偏移预测值，P0表示卷积核中心相对于输入特征图左上角的坐标，Pn为卷积核元素相对于卷积核中心的偏移量，w为卷积核对应位置的值，x为输入特征图，y为卷积输出结果。
在本申请实施例中，传统卷积的实现过程为：第一步，用卷积核在输入特征映射x上采样，第二步，对w加权的采样值求和；其中R是卷积核元素相对于卷积核中心的偏移量的集合，例如，R＝{(-1，-1)，(-1，0)，...，，(0，1)，(1，1)}定义了一个3*3卷积核。
对于输出特征映射y上的每个位置P0，有：
其中，pn枚举了R中的位置；
本申请中的预设卷积操作如下所示：
其中Δpn为偏移量，一般为小数，P0表示卷积核中心相对于输入特征图左上角的坐标，Pn为卷积核元素相对于卷积核中心的偏移量，以3×3卷积为例，参数R属于(-1,-1),(-1.0),…,(1,1)，默认左上角为(-1,-1)，右下角为(1,1)。
参见图2，在一种实施方式中，阶段连接模块还包括用于优化编码输出特征图传递到解码网络的特征的集成通道模块，所述集成通道模块包括：
第一支路，用于接收编码输出特征图F，将特征图F拆分为n个子图；将每个子图进行拼接，形成一个新的特征图F0，对特征图F0执行通道注意力机制，获得针对特征图F0的注意力系数CA1；
第二支路，用于接收编码输出特征图F，并对特征图F进行求和得到全局特征图，对所述全局特征图执行通道注意力机制，获取针对全局特征图的全局注意力系数CA2；
融合模块，用于将第二支路输出的CA2和第一支路输出的CA1重复拼接相加n次，获取集成通道模块输出的特征图融合表示；
输出模块，用于通过上采样和1x1卷积层生成输出特征图。
本申请实施例中，阶段连接模块提供了集成通道模块用于将编码输出特征图的特征以更优的策略传递到解码网络，该集成通道模块，第一支路将原始的编码输出特征图F经过拆分重组获得n个特征图F0，对每个特征图F0执行通道注意力机制，获得注意力系数CA1，第二支路用于获得全局注意力系数CA2，两种注意力系数协同配合，充分捕捉不同尺度范围特征，提高了从编码网络传递到解码网络的特征的表征能力。
在一种实施方式中，上述集成通道模块的第一支路中，将特征图F拆分为n个子图；将每个子图进行拼接，形成一个新的特征图F0，包括：
获取特征图F原有通道数b；
将b个通道分成n份；
对n份拼接形成具有n个通道的特征图F0。
本申请实施例中，在一种实施方式中，上述第一支路对特征图F进行拆分和重组，可以是对特征图F的通道进行拆分和重组，可以理解，特征图F的通道数大于特征图F0的通道数，例如特征图F的通道数为8，拆分为8个单通道，并且分为4组，拼接成4个通道的特征图F0。
在一种实施方式中，上述集成通道模块的第二支路中，对特征图F进行求和得到全局特征图，包括：
首先使用torch.stack函数将输入特征图列表进行堆叠，生成一个新的张量；
然后使用torch.sum函数对堆叠后的张量沿着维度0进行求和。
本申请实施例中，首先使用torch.stack函数将输入特征图列表进行堆叠，会生成一个新的张量。然后，使用torch.sum函数对堆叠后的张量沿着维度0进行求和，求和后的结果被赋值给变量后续传入通道模块。
在一种实施方式中，上述建筑物变化检测模型的训练过程中，采用的损失函数包括二元交叉熵损失函数和Dice损失函数，该损失函数结合了多个方面的信息，可以同时考虑模型的准确性和分割结果的相似性。二元交叉熵损失函数的作用是比较真实标签和预测标签之间的差异，具体来说，对于建筑物变化检测任务，假设有n个样本，真实的标签为yi，真实标签yi对应的预测标签值为P(yi)，其公式可表示如下：
根据上述公式可以发现预测标签与真实标签越接近，损失函数值会越小，反之损失函数值就会越大，而建筑物变化检测作为一个二分类任务，yi的取值只能是0或1，因此损失函数只需要分别计算预测值分别为0和1的损失值。
Dice损失函主要是衡量模型预测结果与真实标签之间的相似度数，其值为预测值和真实值的交集大小与它们的并集大小之比的倒数的比率。在建筑物变化检测任务中，其数学表达式可表示如下：
其中TP正确检测的发生变化的像素数，FP是错误检测的变化的像素数，FN则错误检测的未变化的像素数。
下面提供对上述提供的遥感影像建筑物变化检测方法进行有效性验证的实验数据说明。
本文使用适用于变化检测任务LEVIR-CD数据集，LEVIR-CD数据集来自美国德克萨斯州多个城市的20个不同区域，该数据具有较大的时间跨度，因此引入了足够的季节变化和光照变化引，这有助于开发相关的方法来减轻不相关变化对实际变化的影响。数据由637个具有明显建筑物增长的双时相图像块对组成，它比该领域的其他公共数据集大两个数量级，拥有超过三万个独立标记的变化实例。为了便于使用GPU进行训练，原始图像尺寸被分割为尺寸大小为512×512像素，并将裁剪好的图像对以7:2:1的比例划分为训练集、验证集和测试集。
实验过程中，采用的硬件环境为处理器为Intel(R)Core(TM)i7-8700 CPU@3.20GHz，内存为64GB，显卡为NVIDIA GeForce RTX 2060 12GB；软件环境为：深度学习框架采用的Pytorch，加速库采用CUDA11.2，编程语言为Python3.7.1。
在训练建筑物变化检测模型时，损失函数值越小代表模型的拟合效果越好，为了更好的寻找到全局最小的损失函数值，本文采用了Adam优化器并且使用余弦退火的策略来对学习率进行衰减。该策略的特点是随着自变量的增大，余弦函数会周期性的进行学习率的衰减，训练的后期会保持一个固定的小学习率，进行更加精细的模型参数调整。对建筑物变化检测模型训练过程中的损失函数曲线如图3所示，从曲线中可以看到存在几个峰值，先快速下降后缓慢下降，训练的后期保持一个较小的损失值，正是由于使用余弦退火策略所导致的。
为了验证本文所提出方法的有效性，在网络训练完成后将测试集影像输入网络中，端到端的输出每对影像的变化检测结果。本文主要用精确率、召回率和F1三个指标来衡量模型的效果，精确率(Precision)和召回率(Recall)分别代表模型的准确性和完整性,通过将精确率和召回率两个模型评价指标做调和平均，得到一个综合的评价模型好坏的指标F1。F1得分的取值范围是0到1，0代表模型输出效果最差，1代表模型输出效果最好。
模型评价指标如表1所示，为了验证特征偏移学习模块和集成通道模块对网络性能整体的影响，实验将UNet作为基础网络，分别加入特征偏移学习模块(DUNet)和集成通道模块(EUNet)与本文最终方法进行实验对比，同时引入其他变化检测方法进行相关实验对比。从表中以看到本文方法的F1得分高于其他方法，与UNet++、Deeplabv3和Unet相比F1分别提升3.87％，1.25％，5.23％。在加入特征对齐模块后，精确率下降了2.05％，召回率提升了12.49，F1提升了4.14％；加入通道注意力模块后精确率下降了1.27％，召回率提升了11.91％，F1提升了4.22％。在同时引入两者之后精确率提升了0.1％，召回率提升了12.85％，F1提升了5.23％。
表1基于LEVIR-CD数据集的实验结果对比
LEVIR-CD数据集的实验结果中选取了如图4所示四组典型区域，白色区域为发生变化区域，黑色部分是未发生变化的区域，红色方框内表示的对比效果显著的区域，从中可以看出加入对比的变化检测方法均对发生变化的建筑物进行了不同程度的提取。Deeplabv3网络可以有效的检测出变化区域，但所生成的结果形状边界不规则，且存在错检的情况。经典的U型网络UNet和UNet++对于形状不规则的建筑物提取的边界虽有改善但仍有较大的误差，漏检现象依旧存在，如区域3对比区域所示，检测出的变化建筑物与原建筑物形状边界相差较大且小型建筑物未能成功检测。对于不规则形状U型网络的表现比较差可能是由于网络的编码器-解码器结构会在每个下采样层中丢失一部分图像细节，因此在区域1所示的不规则区域中，不规则区域的结果呈现效果较差。本文在上采样部分使用了不规则卷积，并在跳跃连接部分引入了通道注意力机制。通过实验，可以看到对于不规则的建筑物检测效果提升明显(区域1)，对于小目标识别更加准确且边界更加平滑(区域2、3)，存在错检区域(区域4)的建筑物变化情况也得到了正确的呈现，因此本方法能够更好地检测变化区域。
本申请实施例中提供了一种遥感影像建筑物变化检测装置，该装置包括：
模型构建单元，用于构建建筑物变化检测模型，所述建筑物变化检测模型包括2个输入，用于分别输入一个遥感影像；
模型训练单元，用于训练所述建筑物变化检测模型；
建筑物变化检测单元，用于将两个时期原始遥感影像数据输入所述建筑物变化检测模型，得到检测结果；
所述建筑物变化检测模型，包括：
编码器模块，包括用于处理第一时期原始遥感影像的第一编码网络和用于处理第二时期原始遥感影像的第二编码网络，所述第一编码网络和第二编码网络为权值共享孪生结构，所述编码网络从输入到输出依次包括a个阶段，a个阶段对原始遥感影像实现连续a次下采样，编码网络a次下采样后输出的编码输出特征图作为解码器模块的解码输入特征图；
解码器模块，包括一个解码网络，所述解码网络从输入到输出依次包括a个阶段，a个阶段对解码输入特征图实现连续a次上采样，所述解码网络；
所述编码器模块和解码器模块之间还设有阶段连接模块，所述阶段连接模块用于将编码网络每个阶段输出的编码输出特征图传输到解码网络对应阶段，并与解码网络的对应阶段的解码输出特征图融合；
其中，编码网络每个阶段输出的编码输出特征图与解码网络的对应阶段的解码输出特征图融合，包括：
待融合的编码输出特征图和解码输出特征图尺寸相同；
所述待融合的编码输出特征图和解码输出特征图进行拼接后，在解码网络中通过特征偏移学习模块实现融合优化，所述特征偏移学习模块包括依次连接的预设卷积处理层、批量归一化和ReLU激活函数，所述预设卷积处理层采用的预设卷积操作包括在卷积计算中增加一个可学习参数用于根据特征图中不同位置不同尺度不同形变目标调整卷积核在空间上的采样位置，所述可学习参数经过训练得到。
关于遥感影像建筑物变化检测装置的具体限定可以参见上文中对于遥感影像建筑物变化检测方法的限定，在此不再赘述。需要说明的是：本实施例提供的遥感影像建筑物变化检测装置在进行建筑物变化检测时，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将装置的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。
本申请实施例提供了一种电子设备，该电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器通过运行所述可执行指令以实现上述的遥感影像建筑物变化检测方法。
可以理解，该电子设备的处理器包括用于处理计算数据的主处理器，例如CPU，除此之外，还包括图像处理器(GPU)用于对本申请实施例中遥感影像做图像和图形相关运算工作。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、电子程序和数据库，数据库用于存储建筑物遥感影像(包括训练样本图像和待检测的遥感影像)。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。
本申请实施例提供了一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时实现上述遥感影像建筑物变化检测方法的步骤。例如，该计算机可读存储介质可以是只读存储器(read-only memory，ROM)、随机存取存储器(randomaccess memory，RAM)、只读光盘(compact disc read-only memory，CD-ROM)、磁带、软盘和光数据存储节点等。
本发明不局限于上述具体的实施方式，本领域的普通技术人员从上述构思出发，不经过创造性的劳动，所做出的种种变换，均落在本发明的保护范围之内。

Claims (10)

1.一种遥感影像建筑物变化检测方法，其特征在于，包括：
构建建筑物变化检测模型，所述建筑物变化检测模型包括2个输入，用于分别输入一个遥感影像；
训练所述建筑物变化检测模型；
将两个时期原始遥感影像数据输入所述建筑物变化检测模型，得到检测结果；
所述建筑物变化检测模型，包括：
编码器模块，包括用于处理第一时期原始遥感影像的第一编码网络和用于处理第二时期原始遥感影像的第二编码网络，所述第一编码网络和第二编码网络为权值共享孪生结构，所述编码网络从输入到输出依次包括a个阶段，a个阶段对原始遥感影像实现连续a次下采样，编码网络a次下采样后输出的编码输出特征图作为解码器模块的解码输入特征图；
解码器模块，包括一个解码网络，所述解码网络从输入到输出依次包括a个阶段，a个阶段对解码输入特征图实现连续a次上采样；
所述编码器模块和解码器模块之间还设有阶段连接模块，所述阶段连接模块用于将编码网络每个阶段卷积后的特征图传输到解码网络对应阶段，并与解码网络对应阶段上采样后的特征图融合；
其中，编码网络每个阶段卷积后的特征图与解码网络对应阶段上采样后的特征图融合，包括：
待融合的两个特征图高宽相同；
待融合的两个特征图进行拼接后，在解码网络中通过特征偏移学习模块实现融合优化，所述特征偏移学习模块包括依次连接的预设卷积处理层、批量归一化和ReLU激活函数，所述预设卷积处理层采用的预设卷积操作包括在卷积计算中增加一个可学习参数用于根据特征图中不同位置不同尺度不同形变目标调整卷积核在空间上的采样位置，所述可学习参数经过训练得到。
2.根据权利要求1所述的一种遥感影像建筑物变化检测方法，其特征在于，所述预设卷积操作为：
其中Δpn为可学习参数表征偏移预测值，P0表示卷积核中心相对于输入特征图左上角的坐标，Pn为卷积核元素相对于卷积核中心的偏移量，w为卷积核对应位置的值，x为输入特征图，y为卷积输出结果。
3.根据权利要求1所述的一种遥感影像建筑物变化检测方法，其特征在于，所述阶段连接模块还包括用于优化编码输出特征图传递到解码网络的特征的集成通道模块，所述集成通道模块包括：
第一支路，用于接收编码输出特征图F，将特征图F拆分为n个子图；将每个子图进行拼接，形成一个新的特征图F0，对特征图F0执行通道注意力机制，获得针对特征图F0的注意力系数CA1；
第二支路，用于接收编码输出特征图F，并对特征图F进行求和得到全局特征图，对所述全局特征图执行通道注意力机制，获取针对全局特征图的全局注意力系数CA2；
融合模块，用于将第二支路输出的CA2和第一支路输出的CA1重复拼接相加n次，获取集成通道模块输出的特征图融合表示；
输出模块，用于通过上采样和1x1卷积层生成输出特征图。
4.根据权利要求3所述的一种遥感影像建筑物变化检测方法，其特征在于，所述将特征图F拆分为n个子图；将每个子图进行拼接，形成一个新的特征图F0，包括：
获取特征图F原有通道数b；
将b个通道分成n份；
对n份拼接形成具有n个通道的特征图F0。
5.根据权利要求3所述的一种遥感影像建筑物变化检测方法，其特征在于，所述对特征图F进行求和得到全局特征图，包括：
首先使用torch.stack函数将输入特征图列表进行堆叠，生成一个新的张量；
然后使用torch.sum函数对堆叠后的张量沿着维度0进行求和。
6.根据权利要求1所述的一种遥感影像建筑物变化检测方法，其特征在于，所述编码网络的每个阶段包括依次连接的3*3卷积层、RULE函数和2*2最大池化层，解码网络的每个阶段包括依次连接的上采样层、特征偏移学习模块。
7.根据权利要求1所述的一种遥感影像建筑物变化检测方法，其特征在于，所述建筑物变化检测模型的训练过程中，采用的损失函数包括二元交叉熵损失函数和Dice损失函数，所述二元交叉熵损失函数为：
其中n为样本个数，yi为真实标签，P(yi)为真实标签yi对应的预测标签值；yi取值0或1；
所述Dice损失函数为：其中，TP是正确检测的发生变化的像素数，FP是错误检测的变化的像素数，FN是错误检测的未变化的像素数。
8.一种遥感影像建筑物变化检测装置，其特征在于，包括：
模型构建单元，用于构建建筑物变化检测模型，所述建筑物变化检测模型包括2个输入，用于分别输入一个遥感影像；
模型训练单元，用于训练所述建筑物变化检测模型；
建筑物变化检测单元，用于将两个时期原始遥感影像数据输入所述建筑物变化检测模型，得到检测结果；
所述建筑物变化检测模型，包括：
编码器模块，包括用于处理第一时期原始遥感影像的第一编码网络和用于处理第二时期原始遥感影像的第二编码网络，所述第一编码网络和第二编码网络为权值共享孪生结构，所述编码网络从输入到输出依次包括a个阶段，a个阶段对原始遥感影像实现连续a次下采样，编码网络a次下采样后输出的编码输出特征图作为解码器模块的解码输入特征图；
解码器模块，包括一个解码网络，所述解码网络从输入到输出依次包括a个阶段，a个阶段对解码输入特征图实现连续a次上采样；
所述编码器模块和解码器模块之间还设有阶段连接模块，所述阶段连接模块用于将编码网络每个阶段卷积后的特征图传输到解码网络对应阶段，并与解码网络对应阶段上采样后的特征图融合；
其中，编码网络每个阶段卷积后的特征图与解码网络对应阶段上采样后的特征图融合，包括：
待融合的两个特征图宽高相同；
待融合的两个特征图进行拼接后，在解码网络中通过特征偏移学习模块实现融合优化，所述特征偏移学习模块包括依次连接的预设卷积处理层、批量归一化和ReLU激活函数，所述预设卷积处理层采用的预设卷积操作包括在卷积计算中增加一个可学习参数用于根据特征图中不同位置不同尺度不同形变目标调整卷积核在空间上的采样位置，所述可学习参数经过训练得到。
9.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器通过运行所述可执行指令以实现如权利要求1-7中任一项所述的遥感影像建筑物变化检测方法。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述遥感影像建筑物变化检测方法的步骤。
CN202310888181.5A 2023-07-19 2023-07-19 一种遥感影像建筑物变化检测方法、装置、介质及设备 Pending CN116883850A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310888181.5A CN116883850A (zh) 2023-07-19 2023-07-19 一种遥感影像建筑物变化检测方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310888181.5A CN116883850A (zh) 2023-07-19 2023-07-19 一种遥感影像建筑物变化检测方法、装置、介质及设备

Publications (1)

Publication Number Publication Date
CN116883850A true CN116883850A (zh) 2023-10-13

Family

ID=88256490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310888181.5A Pending CN116883850A (zh) 2023-07-19 2023-07-19 一种遥感影像建筑物变化检测方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN116883850A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152621A (zh) * 2023-10-30 2023-12-01 中国科学院空天信息创新研究院 建筑物变化检测方法、装置、电子设备及存储介质
CN117152622A (zh) * 2023-10-30 2023-12-01 中国科学院空天信息创新研究院 边界优化模型训练、边界优化方法、装置、设备及介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152621A (zh) * 2023-10-30 2023-12-01 中国科学院空天信息创新研究院 建筑物变化检测方法、装置、电子设备及存储介质
CN117152622A (zh) * 2023-10-30 2023-12-01 中国科学院空天信息创新研究院 边界优化模型训练、边界优化方法、装置、设备及介质
CN117152621B (zh) * 2023-10-30 2024-02-23 中国科学院空天信息创新研究院 建筑物变化检测方法、装置、电子设备及存储介质
CN117152622B (zh) * 2023-10-30 2024-02-23 中国科学院空天信息创新研究院 边界优化模型训练、边界优化方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
WO2023207163A1 (zh) 用于消防通道占用目标检测的目标检测模型、方法及应用
CN116883850A (zh) 一种遥感影像建筑物变化检测方法、装置、介质及设备
Liu et al. Change detection in multitemporal synthetic aperture radar images using dual-channel convolutional neural network
Eftekhari et al. Building change detection using the parallel spatial-channel attention block and edge-guided deep network
O'Connell et al. A smart classifier for extracting environmental data from digital image time-series: Applications for PhenoCam data in a tidal salt marsh
CN118097755A (zh) 一种基于yolo网络的智慧人脸身份识别方法
Zhu et al. A transformer–CNN for deep image inpainting forensics
CN117558011B (zh) 基于自一致性矩阵和多尺度损失的图像文本篡改检测方法
Zhang et al. CDMamba: Remote Sensing Image Change Detection with Mamba
CN114998703A (zh) 一种基于高分辨卷积神经网络的遥感图像变化检测方法
CN117152815A (zh) 一种学生活动伴随式数据分析方法、装置及设备
CN116977747A (zh) 基于多路多尺度特征孪生网络的小样本高光谱分类方法
CN115660069A (zh) 一种半监督卫星影像语义分割网络构建方法、装置及电子设备
Fan et al. Supervised Machine Learning–Based Detection of Concrete Efflorescence
Mao et al. A shared updatable method of content regulation for deepfake videos based on blockchain
Jiang et al. Segmentation, tracking, and sub-cellular feature extraction in 3D time-lapse images
CN114782983A (zh) 基于改进特征金字塔和边界损失的道路场景行人检测方法
Nguyen et al. Spliced image forgery detection based on the combination of image pre-processing and inception V3
Siopi et al. A multi-stream fusion network for image splicing localization
Yan et al. Enhancing Landslide Segmentation with Guide Attention Mechanism and Fast Fourier Transformer
Chai et al. Defocus blur detection based on transformer and complementary residual learning
CN116823891B (zh) 基于注意力和知识蒸馏的孪生高光谱图像跟踪方法和系统
CN118154555B (zh) 一种基于标签高效学习的植物多器官ct图像表型解析方法
Wei et al. Efficient algorithm for directed text detection based on rotation decoupled bounding box
CN118429623B (zh) 城市设施异常识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination