CN112990112A - 边缘引导的循环卷积神经网络建筑物变化检测方法及系统 - Google Patents

边缘引导的循环卷积神经网络建筑物变化检测方法及系统 Download PDF

Info

Publication number
CN112990112A
CN112990112A CN202110421796.8A CN202110421796A CN112990112A CN 112990112 A CN112990112 A CN 112990112A CN 202110421796 A CN202110421796 A CN 202110421796A CN 112990112 A CN112990112 A CN 112990112A
Authority
CN
China
Prior art keywords
edge
layer
result
guided
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110421796.8A
Other languages
English (en)
Other versions
CN112990112B (zh
Inventor
李树涛
白北方
卢婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202110421796.8A priority Critical patent/CN112990112B/zh
Publication of CN112990112A publication Critical patent/CN112990112A/zh
Application granted granted Critical
Publication of CN112990112B publication Critical patent/CN112990112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种边缘引导的循环卷积神经网络建筑物变化检测方法及系统，本发明包括对遥感图像T1和T2进行多层次特征提取得到特征对f 1i 和f 2i ，计算差异特征并进行差异增强、对深层结果逐层上采样并融合浅层结果后输入边缘引导概率预测网络得到多层次的变化概率图和边缘概率图，选择T1大小相同的变化概率图二值化处理得到检测结果M。本发明能够对变化区域的差异进行放大，对非变化区域的差异进行抑制，从而提高了变化检测的精度，使得检测性能有所提升，而且通过边缘引导利用建筑物边缘结构的先验信息进一步提升了变化检测性能，使得检测结果中建筑物轮廓更加清晰，有效改善了建筑物分布密集区域检测结果中建筑物粘连的情况。

Description

边缘引导的循环卷积神经网络建筑物变化检测方法及系统
技术领域
本发明属于遥感图像处理技术领域，具体涉及一种边缘引导的循环卷积神经网络建筑物变化检测方法及系统。
背景技术
遥感图像提供土地的覆盖和利用信息，通过变化检测技术对同一区域内多时相图像进行分析，可以实现对建筑物动态变化的监测。建筑物变化检测已经广泛应用于城市规划、灾害评估和违章建筑物监管等领域。建筑物变化检测的核心问题在于解析双时相图像之间的相关性，由于不同时相的图像存在地物易于混淆和辐射差异等现象，使得变化检测是非线性的任务。基于监督学习的方法可以有效的完成这一任务。
近年来，深度学习在遥感图像解译中发挥了非常重要的作用。深度学习中的卷积神经网络可以自动提取图像的深层特征，对于遥感图像的多种任务都有广泛的适用性，因此越来越多的深度学习算法应用到变化检测中。例如，Chen等人在文献 “A Spatial-Temporal Attention-Based Method and a New Dataset for Remote Sensing ImageChange Detection. Remote Sensing, 2020, 12(10): 1662.”提出了一种基于孪生卷积神经网络的变化检测方法，输入双时相的遥感图像后，该算法通过共享权重的卷积神经网络分别提取图像对的深层特征并且利用金字塔注意力模块在特征中融入多尺度的空间信息。融合空间信息的特征对通过欧氏距离来进行变化分析，最后设置阈值来分割变化和非变化区域。作为深度学习的重要分支，循环神经网络擅长处理序列数据，因此循环神经网络同样可以应用于变化检测任务。例如，Mou等人在文献“Learning spectral-spatial-temporal features via a recurrent convolutional neural network for changedetection in multispectral imagery. IEEE Transactions on Geoscience andRemote Sensing, 2018, 57(2): 924-935.”提出了联合卷积神经网络和循环神经网络的方法，利用空间和时间特性实现变化检测。输入双时相的遥感图像后，该算法利用孪生卷积神经网络分别提取图像对的空间特征，接着利用循环神经网络从时序角度对特征对进行变化分析，最后设置阈值来分割变化区域。但是，上述两种方法的不足之处在于，没有充分利用建筑物的几何特性，导致检测结果建筑物轮廓不清晰而且在建筑物分布密集区域检测结果存在粘连的情况。
发明内容
本发明要解决的技术问题为：针对现有技术的上述问题，提供一种边缘引导的循环卷积神经网络建筑物变化检测方法及系统，本发明旨在解决建筑物分布密集区域检测结果中建筑物粘连的情况，以及提高建筑物变化检测的精确度以及性能。
为了解决上述技术问题，本发明采用的技术方案为：
一种边缘引导的循环卷积神经网络建筑物变化检测方法，包括：
1）针对不同时相的遥感图像T1和T2进行多层次的特征提取，得到多个特征对f 1i 和f 2i ，其中f 1i 为遥感图像T1在第i层提取得到的特征，f 2i 为遥感图像T2在第i层提取得到的特征；
2）对各个特征对f 1i 和f 2i 计算差异特征并进行差异增强得到对应的层差异分析结果p i ；
3）将各层差异分析结果p i 输入到解码器中通过对深层结果逐层上采样并融合浅层结果，得到对应层的解码结果q i ；
4）将各层的解码结果q i 输入预先完成训练的边缘引导概率预测网络得到多层次的变化概率图和边缘概率图，选择与遥感图像T1尺度大小相同的变化概率图，并将选择的变化概率图进行二值化处理得到最终的检测结果M。
可选地，步骤1）中针对不同时相的遥感图像T1和T2进行多层次的特征提取是指针对不同时相的遥感图像T1和T2采用孪生编码器进行n个层次的特征提取，得到n个特征对f 1i 和f 2i 。
可选地，所述孪生编码器有两个共享权重的分支，两个分支与遥感图像T1和T2一一对应，每一个分支都包含n个编码模块和n-1层最大池化层，每个编码模块都包含两个3×3卷积层、批归一化层和修正线性单元，且相邻编码模块之间连接有最大池化层以对特征进行两倍下采样。
可选地，步骤2）中对各个特征对f 1i 和f 2i 的步骤包括：计算特征对f 1i 和f 2i 的差分结果，并将特征对f 1i 和f 2i 通过循环神经网络得到的差异特征，将差异特征与差分结果相乘以进行差异增强，得到对应的层差异分析结果p i 。
可选地，所述循环神经网络为长短期记忆网络。
可选地，步骤3）中的解码器包含n个解码模块D1～Dn，每个解码模块都包含两个3×3卷积层、批归一化层和修正线性单元，相邻解码模块之间会进行两倍上采样操作，共上采样n-1次，从而在每一个解码模块得到对应层的解码结果q i 。
可选地，步骤4）包括：
4.1）按照特征图的大小将各层的解码结果q i 分为两组，得到尺寸较小的一组解码结果和和尺寸较大的一组解码结果；
4.2）将尺寸较小的一组解码结果分别通过边缘引导概率预测网络中的1×1的卷积块得到变化预测结果h seg 使用softmax分类器归一化，输出结果为多个不同层次的变化概率图；将尺寸较大的一组解码结果分别输入边缘引导概率预测网络中的边缘引导模块EGM得到两组不同层次的变化概率图和边缘概率图；其中，输入边缘引导模块EGM的尺寸较大的一组解码结果中的每一个解码结果的一个分支通过边缘引导概率预测网络中的1×1的卷积块得到边缘预测结果h edge 后使用softmax分类器归一化得到边缘概率图，另一个分支与边缘预测结果h edge 融合，融合结果通过1×1的卷积块得到变化预测结果h seg ，且变化预测结果h seg 通过softmax分类器后输出变化概率图；
4.3）选择与遥感图像T1尺度大小相同的变化概率图，并将选择的变化概率图进行二值化处理得到最终的检测结果M。
可选地，步骤4）之前还包括使用深度监督方式训练边缘引导概率预测网络的步骤，且使用深度监督方式训练边缘引导概率预测网络时，每一轮迭代训练过程中，分别根据每一个解码结果q i 对应的边缘概率图、建筑真实变化图分别计算对应的变化损失L i fl ，再将所有的变化损失L i fl 求和得到变化损失和L fl ，分别根据尺寸较大的一组解码结果中的每一个解码结果对应的边缘概率图、建筑物边缘图分别计算对应的边缘损失L j mse ，再将所有的边缘损失L j mse 求和得到边缘损失和L mse ，最后将变化损失和L fl 、边缘损失和L mse 加权求和得到训练总损失后反向传播，重复迭代直至迭代次数达到预设阈值时判定完成训练。
此外，本发明还提供一种边缘引导的循环卷积神经网络建筑物变化检测系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述边缘引导的循环卷积神经网络建筑物变化检测方法的步骤。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述边缘引导的循环卷积神经网络建筑物变化检测方法的计算机程序。
和现有技术相比，本发明主要具有以下优点：
第一，本发明的差异分析在长短期记忆网络的基础上实现了差异增强的功能，可以对变化区域的差异进行放大，对非变化区域的差异进行抑制，提高了变化检测的精度，使得检测性能有所提升。
第二，本发明引入的边缘引导利用建筑物边缘结构的先验信息，进一步提升了变化检测性能，使得检测结果中建筑物轮廓更加清晰，有效改善了建筑物分布密集区域检测结果中建筑物粘连的情况。
附图说明
图1是本发明实施例方法的检测模型示意图。
图2是本发明实施例提出的差异分析模块模型示意图。
图3是本发明实施例提出的边缘引导模块模型示意图。
图4是本发明实施例方法和其他现有方法的测试结果对比表。
图5是本发明实施例方法和其他现有方法的第一组建筑物变化检测结果对比示意图。
图6是本发明实施例方法和其他现有方法的第二组建筑物变化检测结果对比示意图。
具体实施方式
如图1所示，本实施例边缘引导的循环卷积神经网络建筑物变化检测方法包括：
1）针对不同时相的遥感图像T1和T2进行多层次的特征提取，得到多个特征对f 1i 和f 2i ，其中f 1i 为遥感图像T1在第i层提取得到的特征，f 2i 为遥感图像T2在第i层提取得到的特征；
2）对各个特征对f 1i 和f 2i 计算差异特征并进行差异增强得到对应的层差异分析结果p i ；
3）将各层差异分析结果p i 输入到解码器中通过对深层结果逐层上采样并融合浅层结果，得到对应层的解码结果q i ；
4）将各层的解码结果q i 输入预先完成训练的边缘引导概率预测网络得到多层次的变化概率图和边缘概率图，选择与遥感图像T1尺度大小相同的变化概率图，并将选择的变化概率图进行二值化处理得到最终的检测结果M。
本实施例中，步骤1）～步骤4）的执行网络简称为边缘引导的循环卷积神经网络（简称EGRCNN）。下文将结合EGRCNN的结构，对步骤1）～步骤4）的执行过程进行进一步的详细说明。
本实施例中，步骤1）中针对不同时相的遥感图像T1和T2进行多层次的特征提取是指针对不同时相的遥感图像T1和T2采用孪生编码器进行n个层次的特征提取，得到n个特征对f 1i 和f 2i 。作为一种可选的实施方式，本实施例中n取值为5，即对不同时相的遥感图像T1和T2采用孪生编码器进行5个层次的特征提取，得到5个特征对f 1i 和f 2i ，i∈{1,2,3,4,5}。
参见图1，本实施例中孪生编码器有两个共享权重的分支，两个分支与遥感图像T1和T2一一对应，每一个分支都包含n个编码模块和n-1层最大池化层（图中省略），每个编码模块都包含两个3×3卷积层、批归一化层和修正线性单元，且相邻编码模块之间连接有最大池化层以对特征进行两倍下采样。例如，左侧针对遥感图像T1的分支，包括编码模块E1-1～编码模块E1-5一共五个编码模块；右侧侧针对遥感图像T2的分支，包括编码模块E2-1～编码模块E2-5一共五个编码模块。
参见图2，本实施例步骤2）中对各个特征对f 1i 和f 2i 的步骤包括：计算特征对f 1i 和f 2i 的差分结果，并将特征对f 1i 和f 2i 通过循环神经网络得到的差异特征，将差异特征与差分结果相乘以进行差异增强，得到对应的层差异分析结果p i 。图2中，E1-i和E2-i分别表示第i层的两个编码模块，其输出的差分结果（输出为图2中虚线部分）与通过循环神经网络（LSTM-i）得到的差异特征相乘以进行差异增强，得到对应的层差异分析结果p i 。
参见图1，本实施例步骤2）的执行主体为多层次差异分析模块，多层次差异分析模块包括n个差异分析模块DAM1～DAM5，每一个差异分析模块DAMi用于处理对应的特征对f 1i 和f 2i 通过循环神经网络得到的差异特征，将差异特征与差分结果相乘以进行差异增强，得到对应的层差异分析结果p i 。
作为一种可选的实施方式，本实施例中的循环神经网络为长短期记忆网络。该网络通过三个门控状态来控制信息的传输。在变化检测任务中，输入的双时相数据同样属于序列数据，利用长短期记忆网络实现序列数据的记忆和遗忘输出得到变化分析结果。长短期记忆网络通过遗忘门、输入门和输出门来控制信息的流通。遗忘门是用来控制选择性遗忘现有的存储内容，输入门是决定让多少新的信息加入到现有的存储状态中，输出门是控制存储状态中信息的输出。其中，长短期记忆网络的具体操作包括：
1、长短期记忆网络通过选择性遗忘旧信息和添加新信息来更新存储状态。
Figure 849316DEST_PATH_IMAGE001
Figure 766456DEST_PATH_IMAGE002
上式中，
Figure 546193DEST_PATH_IMAGE003
为存储状态中新输入的内容，tanh为双曲正切函数，w ci 是输入信息的系数矩阵，w ch 是隐藏状态的系数矩阵，x t 为新输入的信息，h t-1为从上一个节点传入的隐藏状态，c t 为信息更新后的存储状态，c i 为输入门控状态，c f 为遗忘门控状态，c t-1 为从上一个节点传入的存储状态，
Figure 879086DEST_PATH_IMAGE004
为逐元素相乘操作。其中遗忘门和输入门的具体操作分别为：
Figure 693458DEST_PATH_IMAGE005
Figure 515921DEST_PATH_IMAGE006
上式中，σ为sigmoid激活函数，w fi ,w fh 和w fc 分别为遗忘门中输入信息、隐藏状态和上一节点存储状态的系数矩阵，w ii ,w ih 和w ic 分别为输入门中输入信息、隐藏状态和上一节点存储状态的系数矩阵。
2、更新后的存储状态通过输出门得到最终的输出信息为：
Figure 782954DEST_PATH_IMAGE007
上式中，c o 为输出门控状态，h t 为最终输出的信息。
其中，输出门的具体操作为：
Figure 168805DEST_PATH_IMAGE008
上式中，w oi ,w oh 和w oc 分别为输出门中输入信息、隐藏状态和上一节点存储状态的系数矩阵。
本实施例中，步骤3）中的解码器包含n个解码模块D1～Dn，每个解码模块都包含两个3×3卷积层、批归一化层和修正线性单元，相邻解码模块之间会进行两倍上采样操作，共上采样n-1次，从而在每一个解码模块得到对应层的解码结果q i 。具体地，本实施例中解码器共包含5个解码模块D1～D5，每个解码模块都包含两个3×3卷积层，批归一化层和修正线性单元。模块与模块之间会进行两倍上采样操作，共上采样4次。深层差异分析结果在解码器中不断上采样并且融合浅层特征，直到通过最后一个解码模块，最后一个解码模块的输出结果与输入的遥感图像T1尺寸大小相同。
本实施例中，步骤4）包括：
4.1）按照特征图的大小将各层的解码结果q i 分为两组，得到尺寸较小的一组解码结果和和尺寸较大的一组解码结果；
4.2）将尺寸较小的一组解码结果分别通过边缘引导概率预测网络中的1×1的卷积块得到变化预测结果h seg 后使用softmax分类器归一化，输出结果为多个不同层次的变化概率图；将尺寸较大的一组解码结果分别输入边缘引导概率预测网络中的边缘引导模块EGM得到两组不同层次的变化概率图和边缘概率图；其中，输入边缘引导模块EGM的尺寸较大的一组解码结果中的每一个解码结果的一个分支通过边缘引导概率预测网络中的1×1的卷积块得到边缘预测结果h edge 后使用softmax分类器归一化得到边缘概率图，另一个分支与边缘预测结果h edge 融合，融合结果通过1×1的卷积块得到变化预测结果h seg ，且变化预测结果h seg 通过softmax分类器后输出变化概率图，如图3所示，其中Conv 1×1-i表示第i层的1×1的卷积块，Relu表示Relu激活函数，Softmax表示softmax分类器归一化处理，最终在第i层得到边缘概率图-i和变化概率图-i；
4.3）选择与遥感图像T1尺度大小相同的变化概率图，并将选择的变化概率图进行二值化处理得到最终的检测结果M。
本实施例中，步骤4）之前还包括使用深度监督方式训练边缘引导概率预测网络的步骤，且使用深度监督方式训练边缘引导概率预测网络时，每一轮迭代训练过程中，分别根据每一个解码结果q i 对应的边缘概率图、建筑真实变化图分别计算对应的变化损失L i fl ，再将所有的变化损失L i fl 求和得到变化损失和L fl ，分别根据尺寸较大的一组解码结果中的每一个解码结果对应的边缘概率图、建筑物边缘图分别计算对应的边缘损失L j mse ，再将所有的边缘损失L j mse 求和得到边缘损失和L mse ，最后将变化损失和L fl 、边缘损失和L mse 加权求和得到训练总损失后反向传播，重复迭代直至迭代次数达到预设阈值时判定完成训练。例如本实施例中迭代60000次后停止训练。每一轮迭代训练使用的训练数据需要使用不同时相的遥感图像T1和T2对应的建筑真实变化图、建筑物边缘图，该数据采集方法为现有方法，故在此不再赘述。
本实施例中按照特征图的大小将各层的解码结果q i 分为两组，得到尺寸较小的一组解码结果包括解码结果q 3 ～q 5 ，和尺寸较大的一组解码结果包括解码结果q 1 ～q 2 。
参见前述描述可知，变化损失和L fl 、边缘损失和L mse 的函数表达式为：
Figure 837683DEST_PATH_IMAGE009
将变化损失和L fl 、边缘损失和L mse 加权求和得到训练总损失时，可根据需要选择权重。例如本实施例中，最终得到的函数表达式为：
Figure 831047DEST_PATH_IMAGE010
上式中，L total 为训练总损失。测试阶段，将测试图像输入训练好的EGRCNN中，输出得到多层次边缘概率图和边缘概率图，选择与遥感图像T1尺度大小相同的变化概率图，并将选择的变化概率图进行二值化处理得到最终的检测结果M。
为了验证EGRCNN的有效性，本实施例使用公开数据集LEVIR-CD(LEVIR buildingChange Detection dataset)进行了网络框架的训练和测试，并且与其他方法进行了对比。LEVIR-CD数据集包含445组训练数据、64组验证数据和128组测试数据，每一组数据包含两张不同时相的图像，每张图像大小为1024×1024。由于图像尺寸较大，LEVIR-CD数据集中均被裁剪为16张不重叠的图像，每张图像大小为256×256。建筑物边缘图是通过Canny边缘检测算子对建筑物真实变化图进行处理所生成的。
本实施例提出的算法与5种最新的变化检测方法，ChangeNet、STANet(Spatial–Temporal Attention Neural Network)、Unet-LSTM、MSOF(Multiple Side-OutputFusion)和FDCNN(Feature Difference Convolutional Neural Network)进行对比，具体结果如图4所示。评价指标共有6种，分别为精度（Precision），召回率（Recall），F分数（F-score），总体精度（OA）,卡帕系数（Kappa）和交并比（IOU）。结合图4可以看出，本实施例方法（EGRCNN）在6个评价指标中只有召回率略低于STANet和Unet-LSTM两种方法，其他5个指标均是最优结果。从召回率来看，EGRCNN比Unet-LSTM低0.0068，比STANet低0.0025。但是精度方面，EGRCNN比Unet-LSTM高0.0279，比STANet高0.0350。其他5个综合考虑精度和召回率的指标，EGRCNN均高于STANet和Unet-LSTM。综合来看，EGRCNN的效果同样优于STANet和Unet-LSTM这两种方法。图5和图6分别为本实施例方法和其他现有方法的两组建筑物变化检测结果对比示意图，结合图5和图6也可以看出，本实施例方法的检测结果中建筑物轮廓清晰，而且在建筑物分布密集区域结果不存在明显粘连情况。综上所述，本实施例方法能够对变化区域的差异进行放大，对非变化区域的差异进行抑制，从而提高了变化检测的精度，使得检测性能有所提升，而且通过边缘引导利用建筑物边缘结构的先验信息进一步提升了变化检测性能，使得检测结果中建筑物轮廓更加清晰，有效改善了建筑物分布密集区域检测结果中建筑物粘连的情况。
此外，本实施例还提供一种边缘引导的循环卷积神经网络建筑物变化检测系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述边缘引导的循环卷积神经网络建筑物变化检测方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述边缘引导的循环卷积神经网络建筑物变化检测方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种边缘引导的循环卷积神经网络建筑物变化检测方法，其特征在于，包括：
1）针对不同时相的遥感图像T1和T2进行多层次的特征提取，得到多个特征对f 1i 和f 2i ，其中f 1i 为遥感图像T1在第i层提取得到的特征，f 2i 为遥感图像T2在第i层提取得到的特征；
2）对各个特征对f 1i 和f 2i 计算差异特征并进行差异增强得到对应的层差异分析结果p i ；
3）将各层差异分析结果p i 输入到解码器中通过对深层结果逐层上采样并融合浅层结果，得到对应层的解码结果q i ；
4）将各层的解码结果q i 输入预先完成训练的边缘引导概率预测网络得到多层次的变化概率图和边缘概率图，选择与遥感图像T1尺度大小相同的变化概率图，并将选择的变化概率图进行二值化处理得到最终的检测结果M。
2.根据权利要求1所述的边缘引导的循环卷积神经网络建筑物变化检测方法，其特征在于，步骤1）中针对不同时相的遥感图像T1和T2进行多层次的特征提取是指针对不同时相的遥感图像T1和T2采用孪生编码器进行n个层次的特征提取，得到n个特征对f 1i 和f 2i 。
3.根据权利要求2所述的边缘引导的循环卷积神经网络建筑物变化检测方法，其特征在于，所述孪生编码器有两个共享权重的分支，两个分支与遥感图像T1和T2一一对应，每一个分支都包含n个编码模块和n-1层最大池化层，每个编码模块都包含两个3×3卷积层、批归一化层和修正线性单元，且相邻编码模块之间连接有最大池化层以对特征进行两倍下采样。
4.根据权利要求1所述的边缘引导的循环卷积神经网络建筑物变化检测方法，其特征在于，步骤2）中对各个特征对f 1i 和f 2i 的步骤包括：计算特征对f 1i 和f 2i 的差分结果，并将特征对f 1i 和f 2i 通过循环神经网络得到的差异特征，将差异特征与差分结果相乘以进行差异增强，得到对应的层差异分析结果p i 。
5.根据权利要求4所述的边缘引导的循环卷积神经网络建筑物变化检测方法，其特征在于，所述循环神经网络为长短期记忆网络。
6.根据权利要求2所述的边缘引导的循环卷积神经网络建筑物变化检测方法，其特征在于，步骤3）中的解码器包含n个解码模块D1～Dn，每个解码模块都包含两个3×3卷积层、批归一化层和修正线性单元，相邻解码模块之间会进行两倍上采样操作，共上采样n-1次，从而在每一个解码模块得到对应层的解码结果q i 。
7.根据权利要求2～5中任意一项所述的边缘引导的循环卷积神经网络建筑物变化检测方法，其特征在于，步骤4）包括：
4.1）按照特征图的大小将各层的解码结果q i 分为两组，得到尺寸较小的一组解码结果和和尺寸较大的一组解码结果；
4.2）将尺寸较小的一组解码结果分别通过边缘引导概率预测网络中的1×1的卷积块得到变化预测结果h seg 使用softmax分类器归一化，输出结果为多个不同层次的变化概率图；将尺寸较大的一组解码结果分别输入边缘引导概率预测网络中的边缘引导模块EGM得到两组不同层次的变化概率图和边缘概率图；其中，输入边缘引导模块EGM的尺寸较大的一组解码结果中的每一个解码结果的一个分支通过边缘引导概率预测网络中的1×1的卷积块得到边缘预测结果h edge 后使用softmax分类器归一化得到边缘概率图，另一个分支与边缘预测结果h edge 融合，融合结果通过1×1的卷积块得到变化预测结果h seg ，且变化预测结果h seg 通过softmax分类器后输出变化概率图；
4.3）选择与遥感图像T1尺度大小相同的变化概率图，并将选择的变化概率图进行二值化处理得到最终的检测结果M。
8.根据权利要求7所述的边缘引导的循环卷积神经网络建筑物变化检测方法，其特征在于，步骤4）之前还包括使用深度监督方式训练边缘引导概率预测网络的步骤，且使用深度监督方式训练边缘引导概率预测网络时，每一轮迭代训练过程中，分别根据每一个解码结果q i 对应的边缘概率图、建筑真实变化图分别计算对应的变化损失L i fl ，再将所有的变化损失L i fl 求和得到变化损失和L fl ，分别根据尺寸较大的一组解码结果中的每一个解码结果对应的边缘概率图、建筑物边缘图分别计算对应的边缘损失L j mse ，再将所有的边缘损失L j mse 求和得到边缘损失和L mse ，最后将变化损失和L fl 、边缘损失和L mse 加权求和得到训练总损失后反向传播，重复迭代直至迭代次数达到预设阈值时判定完成训练。
9.一种边缘引导的循环卷积神经网络建筑物变化检测系统，包括相互连接的微处理器和存储器，其特征在于，该微处理器被编程或配置以执行权利要求1～8中任意一项所述边缘引导的循环卷积神经网络建筑物变化检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～8中任意一项所述边缘引导的循环卷积神经网络建筑物变化检测方法的计算机程序。
CN202110421796.8A 2021-04-20 2021-04-20 边缘引导的循环卷积神经网络建筑物变化检测方法及系统 Active CN112990112B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110421796.8A CN112990112B (zh) 2021-04-20 2021-04-20 边缘引导的循环卷积神经网络建筑物变化检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110421796.8A CN112990112B (zh) 2021-04-20 2021-04-20 边缘引导的循环卷积神经网络建筑物变化检测方法及系统

Publications (2)

Publication Number Publication Date
CN112990112A true CN112990112A (zh) 2021-06-18
CN112990112B CN112990112B (zh) 2021-07-27

Family

ID=76341246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110421796.8A Active CN112990112B (zh) 2021-04-20 2021-04-20 边缘引导的循环卷积神经网络建筑物变化检测方法及系统

Country Status (1)

Country Link
CN (1) CN112990112B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420662A (zh) * 2021-06-23 2021-09-21 西安电子科技大学 基于孪生多尺度差异特征融合的遥感影像变化检测方法
CN113763396A (zh) * 2021-09-02 2021-12-07 中国农业科学院农业信息研究所 一种基于深度学习的遥感图像地块提取方法及系统
CN114187255A (zh) * 2021-12-08 2022-03-15 西北工业大学 一种差异指导的遥感影像变化检测方法
CN114898212A (zh) * 2022-05-12 2022-08-12 电子科技大学 一种高分辨率遥感图像多地物变化信息提取方法
CN115456957A (zh) * 2022-08-19 2022-12-09 广州大学 一种全尺度特征聚合的遥感影像变化检测的方法
CN116645369A (zh) * 2023-07-27 2023-08-25 山东锋士信息技术有限公司 基于孪生自编码器和双向信息深度监督的异常检测方法
TWI845970B (zh) * 2021-06-29 2024-06-21 日商日立全球先端科技股份有限公司 檢查裝置及計測裝置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092871A (zh) * 2017-04-06 2017-08-25 重庆市地理信息中心 基于多尺度多特征融合的遥感影像建筑物检测方法
CN110889449A (zh) * 2019-11-27 2020-03-17 中国人民解放军国防科技大学 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
US20200104719A1 (en) * 2018-10-02 2020-04-02 InSitu, Inc., a subsidiary of the Boeing Company Change Detection In Digital Images
CN111161218A (zh) * 2019-12-10 2020-05-15 核工业北京地质研究院 一种基于孪生卷积神经网络的高分遥感影像变化检测方法
CN111192239A (zh) * 2019-12-18 2020-05-22 星际空间（天津）科技发展有限公司 遥感影像变化区域检测方法、装置、存储介质及电子设备
CN111310678A (zh) * 2020-02-22 2020-06-19 南京理工大学 一种双边深度特征域异源遥感图像变化检测方法
CN111723732A (zh) * 2020-06-18 2020-09-29 西安电子科技大学 一种光学遥感图像变化检测方法、存储介质及计算设备
US20200327639A1 (en) * 2019-04-10 2020-10-15 Eagle Technology, Llc Hierarchical Neural Network Image Registration
CN111967526A (zh) * 2020-08-20 2020-11-20 东北大学秦皇岛分校 基于边缘映射和深度学习的遥感图像变化检测方法及系统
CN111986193A (zh) * 2020-08-31 2020-11-24 香港中文大学（深圳） 一种遥感影像变化检测方法、电子设备及存储介质
CN112287832A (zh) * 2020-10-29 2021-01-29 江苏科博空间信息科技有限公司 一种基于高分辨率遥感影像的城镇违法建筑物检测方法
CN112613352A (zh) * 2020-12-04 2021-04-06 河海大学 一种基于孪生网络的遥感图像变化检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092871A (zh) * 2017-04-06 2017-08-25 重庆市地理信息中心 基于多尺度多特征融合的遥感影像建筑物检测方法
US20200104719A1 (en) * 2018-10-02 2020-04-02 InSitu, Inc., a subsidiary of the Boeing Company Change Detection In Digital Images
US20200327639A1 (en) * 2019-04-10 2020-10-15 Eagle Technology, Llc Hierarchical Neural Network Image Registration
CN110889449A (zh) * 2019-11-27 2020-03-17 中国人民解放军国防科技大学 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
CN111161218A (zh) * 2019-12-10 2020-05-15 核工业北京地质研究院 一种基于孪生卷积神经网络的高分遥感影像变化检测方法
CN111192239A (zh) * 2019-12-18 2020-05-22 星际空间（天津）科技发展有限公司 遥感影像变化区域检测方法、装置、存储介质及电子设备
CN111310678A (zh) * 2020-02-22 2020-06-19 南京理工大学 一种双边深度特征域异源遥感图像变化检测方法
CN111723732A (zh) * 2020-06-18 2020-09-29 西安电子科技大学 一种光学遥感图像变化检测方法、存储介质及计算设备
CN111967526A (zh) * 2020-08-20 2020-11-20 东北大学秦皇岛分校 基于边缘映射和深度学习的遥感图像变化检测方法及系统
CN111986193A (zh) * 2020-08-31 2020-11-24 香港中文大学（深圳） 一种遥感影像变化检测方法、电子设备及存储介质
CN112287832A (zh) * 2020-10-29 2021-01-29 江苏科博空间信息科技有限公司 一种基于高分辨率遥感影像的城镇违法建筑物检测方法
CN112613352A (zh) * 2020-12-04 2021-04-06 河海大学 一种基于孪生网络的遥感图像变化检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
RUI HUAN ET AL: "Change detection with various combinations of fluid pyramid integration networks", 《NEUROCOMPUTING》 *
TING LU ET AL: "Spectral-Spatial Adaptive Sparse Representation for Hyperspectral Image Denoising", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
宋廷强等: "基于深度学习的高分辨率遥感图像建筑物识别", 《计算机工程与应用》 *
张成坤等: "基于边缘保持滤波的高光谱影像光谱-空间联合分类", 《自动化学报》 *
李树涛等: "多源遥感图像融合发展现状与未来展望", 《遥感学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420662A (zh) * 2021-06-23 2021-09-21 西安电子科技大学 基于孪生多尺度差异特征融合的遥感影像变化检测方法
TWI845970B (zh) * 2021-06-29 2024-06-21 日商日立全球先端科技股份有限公司 檢查裝置及計測裝置
CN113763396A (zh) * 2021-09-02 2021-12-07 中国农业科学院农业信息研究所 一种基于深度学习的遥感图像地块提取方法及系统
CN113763396B (zh) * 2021-09-02 2023-07-25 中国农业科学院农业信息研究所 一种基于深度学习的遥感图像地块提取方法及系统
CN114187255A (zh) * 2021-12-08 2022-03-15 西北工业大学 一种差异指导的遥感影像变化检测方法
CN114187255B (zh) * 2021-12-08 2024-08-23 西北工业大学 一种差异指导的遥感影像变化检测方法
CN114898212A (zh) * 2022-05-12 2022-08-12 电子科技大学 一种高分辨率遥感图像多地物变化信息提取方法
CN114898212B (zh) * 2022-05-12 2023-04-18 电子科技大学 一种高分辨率遥感图像多地物变化信息提取方法
CN115456957A (zh) * 2022-08-19 2022-12-09 广州大学 一种全尺度特征聚合的遥感影像变化检测的方法
CN115456957B (zh) * 2022-08-19 2023-09-01 广州大学 一种全尺度特征聚合的遥感影像变化检测的方法
CN116645369A (zh) * 2023-07-27 2023-08-25 山东锋士信息技术有限公司 基于孪生自编码器和双向信息深度监督的异常检测方法
CN116645369B (zh) * 2023-07-27 2023-11-07 山东锋士信息技术有限公司 基于孪生自编码器和双向信息深度监督的异常检测方法

Also Published As

Publication number Publication date
CN112990112B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN112990112B (zh) 边缘引导的循环卷积神经网络建筑物变化检测方法及系统
CN111723732B (zh) 一种光学遥感图像变化检测方法、存储介质及计算设备
CN104268594B (zh) 一种视频异常事件检测方法及装置
CN110659744B (zh) 训练事件预测模型、评估操作事件的方法及装置
CN105678284B (zh) 一种固定位人体行为分析方法
Yang et al. The Euclidean embedding learning based on convolutional neural network for stereo matching
CN112446888B (zh) 图像分割模型的处理方法和处理装置
CN113628249A (zh) 基于跨模态注意力机制与孪生结构的rgbt目标跟踪方法
CN109902697B (zh) 多目标检测方法、装置及移动终端
CN114187446B (zh) 一种跨场景对比学习的弱监督点云语义分割方法
CN115829171B (zh) 一种联合时空信息和社交互动特征的行人轨迹预测方法
CN112347531B (zh) 一种脆性大理石三维裂纹扩展路径预测方法及系统
CN114743109A (zh) 多模型协同优化高分遥感图像半监督变化检测方法及系统
CN118465876A (zh) 一种基于EOF-Kmeans聚类和LDM的两阶段临近降水预报方法
CN113989574B (zh) 图像解释方法、图像解释装置、电子设备和存储介质
CN116307152A (zh) 时空交互式动态图注意力网络的交通预测方法
CN116861262B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
Son et al. Partial convolutional LSTM for spatiotemporal prediction of incomplete data
Yang et al. Learning both matching cost and smoothness constraint for stereo matching
CN114120245B (zh) 基于深度神经网络的人群图像分析方法、装置以及设备
CN116245913A (zh) 基于层次化上下文引导的多目标跟踪方法
CN113655341B (zh) 一种配电网故障定位方法及系统
Gharehchopogh et al. A novel approach for edge detection in images based on cellular learning automata
Zhao et al. Shape reconstruction of object-level building from single image based on implicit representation network
Han et al. An attention-oriented U-Net model and global feature for medical image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant