CN117036941A - 一种基于孪生Unet模型的建筑物变化检测方法及系统 - Google Patents

一种基于孪生Unet模型的建筑物变化检测方法及系统 Download PDF

Info

Publication number
CN117036941A
CN117036941A CN202310987900.9A CN202310987900A CN117036941A CN 117036941 A CN117036941 A CN 117036941A CN 202310987900 A CN202310987900 A CN 202310987900A CN 117036941 A CN117036941 A CN 117036941A
Authority
CN
China
Prior art keywords
change detection
unet
twin
model
building
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310987900.9A
Other languages
English (en)
Inventor
李世华
张子建
罗富贵
行敏锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangtze River Delta Research Institute of UESTC Huzhou
Original Assignee
Yangtze River Delta Research Institute of UESTC Huzhou
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangtze River Delta Research Institute of UESTC Huzhou filed Critical Yangtze River Delta Research Institute of UESTC Huzhou
Priority to CN202310987900.9A priority Critical patent/CN117036941A/zh
Publication of CN117036941A publication Critical patent/CN117036941A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于变化检测技术领域，公开了一种基于孪生Unet模型的建筑物变化检测方法及系统，构建基于Unet的孪生网络结构；融合差分特征金字塔和注意力机制，得到基于D‑Unet的变化检测模型；基于与公开的遥感数据集，对构建的变化检测模型进行训练与测试，得到训练好的变化检测模型；将不同时相的遥感图输入训练好的变化检测模型，获取最终检测结果。实验结果表明，与Unet和FC‑Siam‑diff等变化检测方法相比，本发明提出的基于D‑Unet的变化检测模型可达到更高的准确率和F1系数，并且只增加了较少的运算量，非常利于实现。本发明通过构建差分特征金字塔，引入注意力机制，进一步提升建筑物变化检测精度。

Description

一种基于孪生Unet模型的建筑物变化检测方法及系统
技术领域
本发明属于变化检测技术领域，尤其涉及一种基于孪生Unet模型的建筑物变化检测方法及系统。
背景技术
目前，随着遥感科学技术的不断发展，遥感影像的空间分辨率和光谱分辨率显著提高，为地物信息解译提供了重要的数据支撑。随着城镇化和工业化进程的推进，建筑物作为与人类活动密切相关的一种地物类型，逐渐成为遥感影像数据所关注的一类重要地物。建筑物变化检测可以为城区规划、灾害预警和紧急响应、军事侦测、基础地理信息更新提供决策依据，具有重要的现实意义。
目前，变化检测方法主要分为两类：传统的变化检测方法和基于深度学习的变化检测方法。传统的变化检测方法主要包括基于像素和基于对象的变化检测方法。基于像素的变化检测方法忽略了像素之间的空间相关性和上下文信息，易受到噪声干扰。基于对象的变化检测方法只能利用到几何纹理等低级特征，不能很好表征更深层次的语义信息。近年来，随着人工智能的发展，深度学习在图像分割领域中取得了显著的成功。而遥感图像变化检测本质上是一种像素级二分类问题，因此可以通过改进如FCN，Unet，SegNet等语义分割网络从而为遥感图像的变化检测问题提供解决方案。但是，目前的主流的语义分割网络在应用于遥感图像变化检测任务存在一定的误差，如小目标出现错检，对边缘的检测较为粗糙等问题。
通过上述分析，现有技术存在的问题及缺陷为：目前的主流的语义分割网络在应用于遥感图像变化检测任务存在小目标出现错检，对边缘的检测较为粗糙等问题。
发明内容
针对现有技术存在的问题，本发明提供了一种基于孪生Unet模型的建筑物变化检测方法及系统。
本发明是这样实现的，一种基于孪生Unet模型的建筑物变化检测方法，所述基于孪生Unet模型的建筑物变化检测方法构建基于Unet的孪生网络结构，融合差分特征金字塔和注意力机制，得到基于D-Unet的变化检测模型；基于与公开的遥感数据集，对构建的变化检测模型进行训练与测试，得到训练好的变化检测模型；将不同时相的遥感图输入训练好的变化检测模型，获取最终检测结果。
进一步，所述基于孪生Unet模型的建筑物变化检测方法，包括以下步骤：
步骤一，数据预处理，包括对LEVIR-CD数据集中的双时相图像以及变化标签分别进行256×256像素大小的影像裁剪，得到大小一致的图像块；
步骤二，构建基于Unet的孪生网络结构：由于变化检测需要两幅图像作为输入，所以需要把单输入的语义分割Unet网络改进为具有两个输入的孪生结构。将左半部分编码器的权重值在两个输入之间共享，分别对两个输入进行特征提取，然后将提取到的两幅特征图通过concatenate进行通道拼接，共同输入到右半部分解码器；同时保留Unet原有的跳跃连接，分别将两个子网络得到的各级特征图进行concatenate通道拼接，并与右侧解码器对应部分连接起来，最终输出逐像素分类的变化检测结果；
步骤三，优化孪生Unet结构以构建D-Unet变化检测模型：基于基础孪生Unet结构，利用两个分支的编码器提取到的特征图构建差分特征金字塔，并通过卷积注意力模块减少冗余信息，最终利用上采样后的差分特征图与解码器的输出结果融合，利用差分特征提高变化检测结果的精度；
步骤四，对D-Unet变化检测模型进行训练：基于LEVIR-CD数据集，对基于D-Unet的变化检测模型进行训练和测试，得到训练好的基于D-Unet的变化检测模型；
步骤五，将不同时相的遥感图像输入训练好的D-Unet变化检测模型，获取最终检测结果。
进一步，所述步骤三中的差分特征金字塔在孪生Unet的编码器基础上进行构建，孪生U-Net编码器的各级差分特征图包含了不同尺度的语义信息，用来表征不同尺度的目标特征，对各级差分特征图计算差值并且取绝对值，得到不同尺寸的差分特征图，形成差分特征金字塔。
进一步，所述步骤三中差分特征金字塔结合注意力机制从而减少冗余信息，具体包括：将差分特征金字塔中不同尺寸的差分特征图分别经过卷积注意力模块。
进一步，所述步骤三中预测结果融合解码器和差分特征金字塔的输出，将解码器最后一层的输出结果与操作得到的四幅差分特征图进行concatenate通道拼接，然后进行大小为1×1、卷积核数量为1的卷积，使通道数减少为1，最终输入到sigmoid函数得到最终的概率结果图。
进一步，所述步骤四中网络训练的损失函数使用Focal Loss。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于孪生Unet模型的建筑物变化检测方法。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于孪生Unet模型的建筑物变化检测方法。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述基于孪生Unet模型的建筑物变化检测方法。
本发明的另一目的在于提供一种基于所述基于孪生Unet模型的建筑物变化检测方法的基于孪生Unet模型的建筑物变化检测系统，所述基于孪生Unet模型的建筑物变化检测系统包括：
模型建立模块，用于构建基于Unet的孪生网络结构，融合差分特征金字塔和注意力机制，得到基于D-Unet的变化检测模型；
模型训练模块，用于基于与公开的遥感数据集，对构建的变化检测模型进行训练与测试，得到训练好的变化检测模型；
模型检测模块，用于将不同时相的遥感图输入训练好的变化检测模型，获取最终检测结果。
结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：
第一、本发明提出了融合差分特征金字塔和注意力机制的孪生UNet建筑物变化检测方法，通过构建差分特征金字塔，并且引入注意力机制，从而进一步提升建筑物变化检测精度。
第二，本发明将差分特征金字塔和卷积注意力模块融入孪生Unet，建立D-Unet模型。通过构建差分特征金字塔层，使得双时相图像的变化信息能够得到显式的强调，提高模型获取变化特征的能力，并且减少了浅层信息的损失；通过引入卷积注意力模块，减少了非建筑的冗余变化信息，进一步强调了变化目标的特征信息，提高了变化检测的精度。实验结果表明，与Unet和FC-Siam-diff等变化检测方法相比，本发明具有更高的精准率、F1系数和IoU。
第三，在本领域中，技术人员在对双时相图像进行特征提取后，仅仅对特征直接进行融合从而在编码器中提取变化信息，从而解决变化检测的问题，而并未显式地强调双时相图像的特征差异信息。考虑到特征差异同样携带了变化信息，有助于解决变化检测问题，因此未显示强调双时相图像的特征差异信息属于本领域的技术偏见。
本发明克服了这种技术偏见，通过在孪生U-Net的基础之上构建差分特征金字塔，利用到浅层的特征变化信息，减少原始变化信息的损失，提高了对于小目标和目标边缘的变化检测精度。
第四，每条权利要求带来的显著的技术进步。
权利要求1：提出了一种基于孪生Unet模型的建筑物变化检测方法，该方法利用了Unet网络的强大分割能力和孪生网络结构的对比学习特性，同时通过融合差分特征金字塔和注意力机制进一步提高了变化检测的精度。该权利要求的显著技术进步在于提出了一种新颖的、针对遥感图像的建筑物变化检测模型。
权利要求2：详细描述了上述变化检测方法的实施步骤，包括数据预处理、构建孪生Unet网络结构、优化孪生Unet结构以构建D-Unet变化检测模型、对D-Unet变化检测模型进行训练、将不同时相的遥感图像输入训练好的D-Unet变化检测模型等。该权利要求的显著技术进步在于提供了一种完整的、具有实施性的变化检测方法。
权利要求3：明确了在孪生Unet的编码器基础上构建差分特征金字塔的方法，该方法能够捕捉到不同尺度的目标特征，从而提高变化检测的精度。该权利要求的显著技术进步在于提出了一种新颖的、有助于提高变化检测精度的差分特征金字塔构建方法。
权利要求4：提出了在差分特征金字塔中结合注意力机制以减少冗余信息的方法，该方法能够进一步提高模型的性能。该权利要求的显著技术进步在于将注意力机制引入到差分特征金字塔中，有效地提高了模型的性能。
权利要求5：明确了预测结果如何融合解码器和差分特征金字塔的输出的方法，该方法通过连接解码器最后一层的输出结果和操作得到的四幅差分特征图，然后进行卷积，使通道数减少为1，最终输入到sigmoid函数得到最终的概率结果图。该权利要求的显著技术进步在于提出了一种新颖的、有助于提高变化检测精度的预测结果融合方法。
权利要求6：明确了网络训练时使用Focal Loss作为损失函数的方法，该方法可以有效地解决类别不平衡问题，提高模型的性能。该权利要求的显著技术进步在于使用了Focal Loss，有效地解决了类别不平衡问题，提高了模型的性能。
附图说明
图1是本发明实施例提供的基于孪生Unet模型的建筑物变化检测方法流程图；
图2是本发明实施例提供的差分特征金字塔的结构示意图；
图3是本发明实施例提供的卷积注意力模块的结构示意图；
图4是本发明实施例提供的D-Unet的网络结构示意图；
图5是本发明实施例提供的变化检测结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供的基于孪生Unet模型的建筑物变化检测方法，包括以下步骤：
S101：构建基于Unet的孪生网络结构，融合差分特征金字塔和注意力机制，得到基于D-Unet的变化检测模型。主要包括：孪生Unet的构建、差分特征金子塔的构建、卷积注意力机制的构建、D-Unet的构建；
S102：基于与公开的遥感数据集，对构建的变化检测模型进行训练与测试，得到训练好的变化检测模型；
S103：将不同时相的遥感图输入训练好的变化检测模型，获取最终检测结果。
实施例1：
本发明实施例提供的基于孪生Unet模型的建筑物变化检测方法，包括以下步骤：
步骤一，数据预处理，包括对LEVIR-CD数据集中的双时相图像以及变化标签分别进行256×256像素大小的影像裁剪，得到大小一致的图像块；
步骤二，构建基于Unet的孪生网络结构：由于变化检测需要两幅图像作为输入，所以需要把单输入的语义分割Unet网络改进为具有两个输入的孪生结构。将左半部分编码器的权重值在两个输入之间共享，分别对两个输入进行特征提取，然后将提取到的两幅特征图通过concatenate进行通道拼接，共同输入到右半部分解码器。同时保留Unet原有的跳跃连接，分别将两个子网络得到的各级特征图通过concatenate通道拼接与右侧解码器对应部分连接起来，最终输出逐像素分类的变化检测结果；
步骤三，优化孪生Unet结构以构建D-Unet变化检测模型：基于基础孪生Unet结构，利用两个分支的编码器提取到的特征图构建差分特征金字塔，并通过卷积注意力模块减少冗余信息，最终利用上采样后的差分特征图与解码器的输出结果融合，从而利用差分特征提高变化检测结果的精度；
步骤四，对D-Unet变化检测模型进行训练：基于LEVIR-CD数据集，对基于D-Unet的变化检测模型进行训练和测试，得到训练好的基于D-Unet的变化检测模型；
步骤五，将不同时相的遥感图像输入训练好的D-Unet变化检测模型，获取最终检测结果。
在本发明的实施例中，步骤三中的差分特征金字塔在孪生Unet的编码器基础上进行构建，因为孪生Unet编码器的各级差分特征图的尺寸从大到小呈现金字塔结构，其本身包含了不同尺度的语义信息，可以用来表征不同尺度的目标特征，所以各级差分特征图天然地具有特征金字塔的结构。对各级差分特征图计算差值并且取绝对值，得到不同尺寸的差分特征图，从而形成差分特征金字塔。
在本发明的实施例中，步骤三中差分特征金字塔结合了注意力机制从而减少冗余信息，具体包括：将上述差分特征金字塔中不同尺寸的差分特征图分别经过卷积注意力模块，从而减少差分特征图中非建筑部分的信息冗余。
在本发明的实施例中，步骤三中预测结果融合了解码器和差分特征金字塔的输出，将解码器最后一层的输出结果与上述操作得到的四幅差分特征图进行concatenate通道拼接，然后进行大小为1×1、卷积核数量为1的卷积，从而使通道数减少为1，最终输入到sigmoid函数得到最终的概率结果图。
在本发明的实施例中，步骤四中针对变化像素和非变化像素的数量相差较大，正负样本数量不平衡的问题，网络训练的损失函数使用Focal Loss，抑制大量非变化像素对损失的贡献，提高变化检测的精度。
实施例2：
本发明的实施例所使用的环境服务器的CPU为Intel(R)Core(TM)i5-12500H，GPU为NVIDIA GeForce GTX 3050，操作系统为Windows 11，编译环境为Tensorflow-gpu2.6.0，Python 3.9，CUDA 11.3.1以及CUDNN 8.2.1。
本发明的一种基于深度学习的建筑物变化检测模型，包括以下步骤：
步骤一，准备数据集，对图像和标签以256×256像素大小的滑动窗口进行影像裁剪，得到相同像素大小的图像块；
步骤二，构建基于Unet的孪生网络结构：针对遥感图像变化检测的应用需求，将遥感图像变化检测问题转换为图像语义分割问题进行处理，首先构建Unet网络，并在此基础上将其改进为孪生结构；
步骤2.1：构建Unet网络：本发明实施例中，U-Net网络结构一共有5层，主要由解码器和编码器两部分组成，各包含五个卷积块。其中，每个卷积块由两次重复的3×3卷积操作(padding＝0)组成，每次卷积后面都跟随一个线性修正单元(ReLU)激活函数，两组卷积之后为步长为2的最大池化操作用于下采样。大小为256×256×1的输入图像经过编码器的逐层卷积和下采样，在尺寸减半的同时通道数倍增，最终转化为了大小为16×16×512的特征图。然后，特征图经过解码器的逐层卷积和上采样，在尺寸倍增的同时通道数减少，并且在上采样过程中与编码器对应的特征图进行通道拼接从而融合浅层信息。在得到256×256×32大小的特征图之后，通过1×1卷积融合所有通道，最终输出大小为256×256×1的分类结果图。
步骤2.2：改进为孪生U-net变化检测模型：孪生Unet网络模型在基础Unet网络的基础上，增加了一个输入分支，并将左半部分编码器的权重值在两个输入之间共享，分别对两个输入进行特征提取，然后将提取到的两幅特征图通过concatenate进行通道拼接，共同输入到右半部分解码器。同时保留Unet原有的跳跃连接，分别将两个子网络得到的各级特征图通过concatenate通道拼接与右侧解码器对应部分连接起来，最终输出逐像素分类的变化检测结果。
步骤三，优化孪生Unet结构以构建D-Unet变化检测模型：实施例所用D-Unet变化检测网络如图4所示。通过权重共享的编码器输出的两幅双时相特征图，进行差分并取绝对值，从而得到蕴含变化信息的差分特征金字塔。将差分特征图通过卷积注意力模块，从而强调变化区域的特征，减少冗余信息。最后，通过将各级差分特征图上采样到原始图像尺寸，并将其和解码器的输出融合，提高网络对小目标和目标边缘的变化检测能力。
步骤3.1：参见附图2，差分特征金字塔的构建包括：利用共享权重的编码器输出两幅特征图，计算二者的差值并取绝对值，将结果作为表示变化特征的差值特征图。然后，对编码器部分前4个block得到的特征图分别进行上述操作，得到大小为原图1/2、1/4、1/8、1/16的四组差分特征图，组成差分特征金字塔；
步骤3.2：构建通道注意力：(1)生成权重向量：对输入特征图分别进行全局最大池化和全局评价池化，将维度为(N，N，C)的两幅特征图转化为维度为(1，1，C)的两个向量。(2)更新权重：首先将两个权重向量通过共享权重的多层感知机，该模块包括两个叠加的全连接层以及一个激活层，对输入向量进行映射，而不改变其维度。然后通过sigmoid激活将权重向量归一化到0-1之间，作为最终的各通道权重。(3)通道加权：将上述通道权重向量与输入特征图相乘，得到通道加权后的特征图；
步骤3.3：构建空间注意力：(1)生成权重向量：对输入特征图逐像素计算所有通道中的最大值和平均值，将维度为(N，N，C)的特征图转化为维度为(N，N，1)的两幅向量图。(2)更新权重：将上述两幅特征图拼接后进行1×1卷积，然后进行sigmoid激活作为特征图中各通道像素的权重值。(3)空间加权：将上述权重向量与输入特征图相乘，得到空间像素加权后的特征图；
步骤3.4：参见附图3，将通道注意力和空间注意力进行级联，从而从通道和空间两个独立的维度计算权重的分布，然后分别对输入特征图的各个通道和各像素赋予不同的权，形成卷积注意力模块，并将特征图通过卷积注意力模块进行注意力加权；
步骤3.5：将卷积注意力模块输出的特征图进行大小为1×1、卷积核数量为1的卷积，并且在卷积后使用Batch Normalization和Relu激活函数，输出四幅通道数量为1的差分特征图。将四幅特征图进行2、4、8、16倍双线性插值上采样，得到大小与原图一致的通道数量为1的四幅差分特征图。将解码器最后一层的输出结果与上述操作得到的四幅差分特征图进行concatenate通道拼接，然后进行大小为1×1、卷积核数量为1的卷积，输入到sigmoid函数得到最终的概率结果图。
步骤四：以70％、10％、20％的比例将LEVIR-CD数据集划分为训练集、验证集、测试集，并对步骤三所得网络模型进行训练。设置合适的Batch Size、学习率等关键超参数。在硬件允许的情况下，一般尽量设置较大的Batch Size。训练网络使用的优化器为Adam,使用的损失函数为Focal Loss，计算见(1)。
其中，y表示标签的值(0或1)，p表示分类为变化像素的概率(0-1之间)，α和γ为经验参数，通过调节α和γ的大小可以控制对样本失衡的矫正程度，用以适应样本失衡的程度，本实施例中α为0.9，γ为1.5。
在变化检测任务中，由于变化区域与背景的像素总数差异往往较大，存在数据不平衡的问题。使用Focal Loss的实质是在二元交叉熵的基础上利用预测值加权，调节正负样本对损失函数的贡献，从而更好的解决了数据不平衡的问题，提高耕地提取的准确度.
步骤五，变化检测：针对待检测的遥感影像，通过滑动窗口得到256×256像素大小的图像块。然后，将每个图像块输入步骤四训练的网络模型，输出变化检测结果。最后，将图像块拼接还原影像大小。
完成整个网络训练且结果收敛后，选择图5中实验区进行实验对比分析，实验区图像大小为256×256×3(H×W×C)，采用Unet、FC-Siam-diff和D-Unet三种网络模型对建筑物变化进行检测。三个模型均使用Relu作为隐藏层激活函数，使用Focal Loss作为损失函数，并使用Adam优化器。
为了保证可比性，三者训练的Epoch、Batch Size、初始学习率、神经网络输入尺寸等超参数均相同。
本发明实施例提供的基于孪生Unet模型的建筑物变化检测系统，包括：
模型建立模块，用于构建基于Unet的孪生网络结构，融合差分特征金字塔和注意力机制，得到基于D-Unet的变化检测模型；
模型训练模块，用于基于与公开的遥感数据集，对构建的变化检测模型进行训练与测试，得到训练好的变化检测模型；
模型检测模块，用于将不同时相的遥感图输入训练好的变化检测模型，获取最终检测结果。
针对LEVIR-CD数据集中的遥感影像，通过滑动窗口得到256×256像素大小的图像块。采用Unet、FC-Siam-diff和D-Unet三种网络模型，在该数据集上进行迭代训练，为了保证可比性，三者训练的Epoch、Batch Size、初始学习率、神经网络输入尺寸等超参数均相同。
完成整个网络训练且结果收敛后，选择图5中实验区进行实验对比分析，实验区图像大小为256×256×3(H×W×C)，对Unet、FC-Siam-diff和D-Unet三种网络模型对建筑物变化进行检测。三个模型均使用Relu作为隐藏层激活函数，使用Focal Loss作为损失函数，并使用Adam优化器。应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
如图5变化检测结果所示，利用Unet、FC-Siam-diff网络对实验区中建筑物的变化进行检测，可以检测出图像中的变化区域，但这两种方法的检测结果都存在U-Net出现了错分的问题，存在一些伪变化，如椒盐、孤立点等，导致整体精度不高。D-Unet网络融合了差分特征和注意力机制后，网络的注意力更加集中在了变化区域，并且浅层的边缘信息得到了强调,充分利用图像的浅层信息，使网络加强了分辨变化与非变化信息的能力,,并能很大程度上克服噪声的影响，对“伪变”具有较好的抗干扰能力，与Unet、FC-Siam-diff网络的变化检测结果相比，降低了误检率，进一步提高了变化检测精度。
为了进一步验证本发明提出方法的优势，在四个实验区中分别利用Unet、FC-Siam-diff和D-Unet网络进行变化检测，对评价指标的平均值进行对比分析，三种网络的预测精度的结果如表1所示：
表1不同方法评价指标对比
从表1中可以看出，与Unet、FC-Siam-diff网络模型相比，D-Unet整体变化检测精度更高，检测鲁棒性更强。
实施例1：数据预处理
实施方案：在数据预处理阶段，本发明使用LEVIR-CD数据集，其中包含了一对对的遥感图像和对应的变化标签。本发明将数据集中的双时相图像以及变化标签分别进行256×256像素大小的影像裁剪，得到大小一致的图像块，为后续的模型训练和测试做好准备。
实施例2：构建孪生Unet网络
实施方案：在这个阶段，本发明将单输入的语义分割Unet网络改进为具有两个输入的孪生结构。将左半部分编码器的权重值在两个输入之间共享，分别对两个输入进行特征提取，然后将提取到的两幅特征图通过concatenate进行通道拼接，共同输入到右半部分解码器。同时保留Unet原有的跳跃连接，分别将两个子网络得到的各级特征图通过concatenate通道拼接与右侧解码器对应部分连接起来，最终输出逐像素分类的变化检测结果。
实施例3：构建D-Unet变化检测模型
实施方案：本发明首先基于基础孪生Unet结构，利用两个分支的编码器提取到的特征图构建差分特征金字塔，并通过卷积注意力模块减少冗余信息。然后，利用上采样后的差分特征图与解码器的输出结果融合，利用差分特征提高变化检测结果的精度。
实施例4：训练D-Unet变化检测模型
实施方案：本发明基于LEVIR-CD数据集，对基于D-Unet的变化检测模型进行训练和测试。在训练阶段，本发明使用Focal Loss作为损失函数以解决类别不平衡问题。经过若干轮的训练后，本发明可以得到训练好的基于D-Unet的变化检测模型。然后，本发明将不同时相的遥感图像输入训练好的D-Unet变化检测模型，获取最终检测结果。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于孪生Unet模型的建筑物变化检测方法，其特征在于，构建基于Unet的孪生网络结构，融合差分特征金字塔和注意力机制，得到基于D-Unet的变化检测模型；基于与公开的遥感数据集，对构建的变化检测模型进行训练与测试，得到训练好的变化检测模型；将不同时相的遥感图输入训练好的变化检测模型，获取最终检测结果。
2.如权利要求1所述的基于孪生Unet模型的建筑物变化检测方法，其特征在于，包括以下步骤：
步骤一，数据预处理，包括对LEVIR-CD数据集中的双时相图像以及变化标签分别进行256×256像素大小的影像裁剪，得到大小一致的图像块；
步骤二，构建基于Unet的孪生网络结构：由于变化检测需要两幅图像作为输入，所以需要把单输入的语义分割Unet网络改进为具有两个输入的孪生结构；将左半部分编码器的权重值在两个输入之间共享，分别对两个输入进行特征提取，然后将提取到的两幅特征图通过concatenate进行通道拼接，共同输入到右半部分解码器；同时保留Unet原有的跳跃连接，分别将两个子网络得到的各级特征图通过concatenate通道拼接与右侧解码器对应部分连接起来，最终输出逐像素分类的变化检测结果；
步骤三，优化孪生Unet结构以构建D-Unet变化检测模型：基于基础孪生Unet结构，利用两个分支的编码器提取到的特征图构建差分特征金字塔，并通过卷积注意力模块减少冗余信息，最终利用上采样后的差分特征图与解码器的输出结果融合，利用差分特征提高变化检测结果的精度；
步骤四，对D-Unet变化检测模型进行训练：基于LEVIR-CD数据集，对基于D-Unet的变化检测模型进行训练和测试，得到训练好的基于D-Unet的变化检测模型；
步骤五，将不同时相的遥感图像输入训练好的D-Unet变化检测模型，获取最终检测结果。
3.如权利要求2所述的基于孪生Unet模型的建筑物变化检测方法，其特征在于，所述步骤三中的差分特征金字塔在孪生Unet的编码器基础上进行构建，孪生U-Net编码器的各级差分特征图包含了不同尺度的语义信息，用来表征不同尺度的目标特征，对各级差分特征图计算差值并且取绝对值，得到不同尺寸的差分特征图，形成差分特征金字塔。
4.如权利要求2所述的基于孪生Unet模型的建筑物变化检测方法，其特征在于，所述步骤三中差分特征金字塔结合注意力机制从而减少冗余信息，具体包括：将差分特征金字塔中不同尺寸的差分特征图分别经过卷积注意力模块。
5.如权利要求3所述的基于孪生Unet模型的建筑物变化检测方法，其特征在于，所述步骤三中预测结果融合解码器和差分特征金字塔的输出，将解码器最后一层的输出结果与操作得到的四幅差分特征图进行concatenate通道拼接，然后进行大小为1×1、卷积核数量为1的卷积，使通道数减少为1，最终输入到sigmoid函数得到最终的概率结果图。
6.如权利要求2所述的基于孪生Unet模型的建筑物变化检测方法，其特征在于，所述步骤四中网络训练的损失函数使用Focal Loss。
7.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～6任意一项所述基于孪生Unet模型的建筑物变化检测方法。
8.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1～6任意一项所述基于孪生Unet模型的建筑物变化检测方法。
9.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现权利要求1～6任意一项所述基于孪生Unet模型的建筑物变化检测方法。
10.一种基于权利要求1～6任意一项所述基于孪生Unet模型的建筑物变化检测方法的基于孪生Unet模型的建筑物变化检测系统，其特征在于，所述基于孪生Unet模型的建筑物变化检测系统包括：
模型建立模块，用于构建基于Unet的孪生网络结构，融合差分特征金字塔和注意力机制，得到基于D-Unet的变化检测模型；
模型训练模块，用于基于与公开的遥感数据集，对构建的变化检测模型进行训练与测试，得到训练好的变化检测模型；
模型检测模块，用于将不同时相的遥感图输入训练好的变化检测模型，获取最终检测结果。
CN202310987900.9A 2023-08-07 2023-08-07 一种基于孪生Unet模型的建筑物变化检测方法及系统 Pending CN117036941A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310987900.9A CN117036941A (zh) 2023-08-07 2023-08-07 一种基于孪生Unet模型的建筑物变化检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310987900.9A CN117036941A (zh) 2023-08-07 2023-08-07 一种基于孪生Unet模型的建筑物变化检测方法及系统

Publications (1)

Publication Number Publication Date
CN117036941A true CN117036941A (zh) 2023-11-10

Family

ID=88636624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310987900.9A Pending CN117036941A (zh) 2023-08-07 2023-08-07 一种基于孪生Unet模型的建筑物变化检测方法及系统

Country Status (1)

Country Link
CN (1) CN117036941A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117612025A (zh) * 2023-11-23 2024-02-27 国网江苏省电力有限公司扬州供电分公司 基于扩散模型的遥感图像屋顶识别方法及系统
CN118134936A (zh) * 2024-05-09 2024-06-04 湖南省第二测绘院 一种铁塔视频图像违章建筑物变化检测方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117612025A (zh) * 2023-11-23 2024-02-27 国网江苏省电力有限公司扬州供电分公司 基于扩散模型的遥感图像屋顶识别方法及系统
CN118134936A (zh) * 2024-05-09 2024-06-04 湖南省第二测绘院 一种铁塔视频图像违章建筑物变化检测方法和装置

Similar Documents

Publication Publication Date Title
CN111723732B (zh) 一种光学遥感图像变化检测方法、存储介质及计算设备
CN109784283B (zh) 基于场景识别任务下的遥感图像目标提取方法
CN111860235B (zh) 高低层特征融合的注意力遥感图像描述的生成方法及系统
CN117036941A (zh) 一种基于孪生Unet模型的建筑物变化检测方法及系统
CN112418212B (zh) 一种基于EIoU改进的YOLOv3算法
CN115830471B (zh) 一种多尺度特征融合和对齐的域自适应云检测方法
CN116524361A (zh) 基于双孪生分支的遥感图像变化检测网络及检测方法
CN113469099B (zh) 目标检测模型的训练方法、检测方法、装置、设备及介质
CN114743110A (zh) 多尺度嵌套的遥感图像变化检测方法、系统及计算机终端
CN115937697A (zh) 一种遥感影像变化检测方法
CN111696136A (zh) 一种基于编解码结构的目标跟踪方法
CN113051983B (zh) 训练大田作物病害识别模型及大田作物病害识别的方法
CN113610905A (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
CN115527098A (zh) 基于全局均值对比度空间注意力的红外小目标检测方法
CN115311550A (zh) 遥感影像语义变化检测方法、装置、电子设备及存储介质
Zhang et al. CDMamba: Remote Sensing Image Change Detection with Mamba
CN118365879A (zh) 一种基于场景感知类关注的异构遥感图像分割方法
CN116861262B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
CN113378642B (zh) 一种对农村违法占地建筑物进行检测的方法
CN116977747B (zh) 基于多路多尺度特征孪生网络的小样本高光谱分类方法
CN118154843A (zh) 一种基于频域特征重建的遥感图像目标检测方法及系统
CN112132867B (zh) 一种遥感影像变化检测方法及装置
CN114494893B (zh) 基于语义重用上下文特征金字塔的遥感图像特征提取方法
CN116596851A (zh) 一种基于知识蒸馏和异常模拟的工业瑕疵检测方法
CN114549958B (zh) 基于上下文信息感知机理的夜间和伪装目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination