CN113901877A - 遥感影像建筑物变化检测方法、装置、设备及存储介质 - Google Patents

遥感影像建筑物变化检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113901877A
CN113901877A CN202111067831.7A CN202111067831A CN113901877A CN 113901877 A CN113901877 A CN 113901877A CN 202111067831 A CN202111067831 A CN 202111067831A CN 113901877 A CN113901877 A CN 113901877A
Authority
CN
China
Prior art keywords
training
loss
module
value
adopting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111067831.7A
Other languages
English (en)
Inventor
刘洋
陈亨
周广华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Urban Planning Survey and Design Institute
Original Assignee
Guangzhou Urban Planning Survey and Design Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Urban Planning Survey and Design Institute filed Critical Guangzhou Urban Planning Survey and Design Institute
Priority to CN202111067831.7A priority Critical patent/CN113901877A/zh
Publication of CN113901877A publication Critical patent/CN113901877A/zh
Priority to CN202211100910.8A priority patent/CN116310776A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种遥感影像建筑物变化检测方法、装置、设备及存储介质，方法包括：获取训练数据的前后两时相影像；编码操作：采用孪生卷积神经网络对前后两时相影像处理，得到初始变化信息；训练操作：采用长短时记忆网络对初始变化信息训练，得到精细变化信息；解码操作：采用反卷积将精细变化信息还原，得到初始变化检测结果；根据组合损失函数对初始变化检测结果损失评价，采用Adam优化算法对孪生卷积神经网络和长短时记忆网络进行参数更新，并再次执行所述编码操作、所述训练操作、所述解码操作和所述评价操作；当判定损失值未下降时，将所述初始变化检测结果更新为最终变化检测结果。本发明能够改善训练正负样本不均衡的问题，提高检测精度。

Description

遥感影像建筑物变化检测方法、装置、设备及存储介质
技术领域
本发明涉及遥感技术领域，尤其涉及一种遥感影像建筑物变化检测方法、装置、设备及存储介质。
背景技术
遥感影像的变化检测是从两时相或者多时相影像中提取出变化的地物信息。遥感影像建筑物变化检测，是针对建筑物这一类人工地物，提取其变化特征，从而判断建筑物是否发生了变化。遥感影像的变化检测在国土变更调查、城市扩张分析等领域都有着广泛的应用。
目前，遥感影像建筑物变化检测方法一直是遥感应用领域的研究热点，总体可以分类为传统方法和基于学习的方法。传统方法主要包括数值运算法、变换法和高级模型法。基于学习的方法主要可以分为基于随机森林的方法、基于支持向量机的方法和基于卷积神经网络为代表的深度学习的方法。
现有的遥感建筑物变化检测方法主要存在有以下问题：第一是现有的模型没有专门针对农村宅基地上村民自建房的研究，农村宅基地上村民自建房屋主要有房屋面积较小、房屋形状不规则、房屋间间距较小等特点；第二是现有的变化检测方法中缺乏将纹理特征和不同时相特征相互结合的深度学习网络结构；第三是现有的训练的方法没有针对建筑物变化检测样本不平衡问题进行有效的优化。综上，需要提供一种针对农村宅基地上建筑的遥感影像建筑物变化检测方法。
发明内容
本发明提供了一种遥感影像建筑物变化检测方法、装置、设备及存储介质，能够改善训练正负样本不均衡的问题，从而提高遥感影像建筑物变化检测精度。
第一方面，本发明提供了一种遥感影像建筑物变化检测方法，包括以下步骤：
获取训练数据的前后两时相影像；
编码操作：采用孪生卷积神经网络对所述前后两时相影像进行特征提取和特征堆叠，得到初始变化信息；
训练操作：采用长短时记忆网络对所述初始变化信息进行训练，得到精细变化信息；
解码操作：采用反卷积将所述精细变化信息还原，得到初始变化检测结果；
构建组合损失函数，以i的初始值为1，执行第i次评价操作：根据所述组合损失函数对所述初始变化检测结果进行损失评价，得到第i次损失值；
优化操作：采用Adam优化算法对所述孪生卷积神经网络和所述长短时记忆网络进行参数更新，并再次执行所述编码操作、所述训练操作、所述解码操作和所述评价操作，将所述第i次损失值更新为第i+1次损失值；
判断i是否满足i小于预设的训练次数N，若是，则对i加一并返回执行所述优化操作；若否，则执行以下差值判断操作：
判断所述第i+1次损失值与所述第i次损失值的差值是否小于预设的阈值，若是，则将所述初始变化检测结果更新为建筑物的最终变化检测结果；若否，则执行所述优化操作以更新所述第i次损失值和所述第i+1次损失值，并返回至所述差值判断操作。
可选地，所述孪生卷积神经网络包括特征提取模块和特征堆叠模块，所述编码操作包括：
根据所述特征提取模块进行提取特征；其中，所述特征提取模块采用两组共享权重的卷积神经网络；
根据所述特征堆叠模块对所述特征提取模块提取的两时相特征进行堆叠，得到堆叠后的特征；
采用卷积模块对所述堆叠后的特征进行学习，得到初始变化信息。
可选地，所述卷积模块包括卷积层、Batch Normolization和非线性激活函数。
可选地，所述训练操作包括：
沿着通道方向逐个像素对所述初始变化信息进行切片处理，得到切片后的特征；
将所述切片后的特征输入所述长短时记忆网络进行训练，输出训练后的特征；
根据不同像素特征之间的位置重新拼接所述训练后的特征，得到精细变化信息。
可选地，所述构建组合损失函数，包括：将Focal loss函数和Dice loss函数结合，得到组合损失函数。
可选地，所述Focal loss函数为：
Figure BDA0003259061590000031
其中，Lfl为Focal loss，α为平衡因子，γ简单样本训练权重因子，y′为样本预测值，y为样本真实标签；
所述Dice loss函数为：
Figure BDA0003259061590000032
其中，LDice为Dice损失，y′为样本预测值，y为样本真实标签；
所述组合损失函数为：
Lcombination＝Lfl+λLDice
其中，Lcombination为组合损失，λ为平衡系数。
可选地，所述Adam优化算法具体包括：
Figure BDA0003259061590000033
Figure BDA0003259061590000034
Figure BDA0003259061590000035
Figure BDA0003259061590000036
Figure BDA0003259061590000037
其中，
Figure BDA0003259061590000041
勾一阶估计矩参数，
Figure BDA0003259061590000042
为二阶估计矩参数，
Figure BDA0003259061590000043
是第一次估计的指数衰减率，β2是第二次估计的指数衰减率，ε是一个平滑项，wt为网络的权重，ΔLt为反向传播的梯度。
第二方面，本发明提供了一种遥感影像建筑物变化检测装置，包括：
数据获取模块，用于获取训练数据的前后两时相影像；
编码模块，用于采用孪生卷积神经网络对所述前后两时相影像进行特征提取和特征堆叠，得到初始变化信息；
训练模块，用于采用长短时记忆网络对所述初始变化信息进行训练，得到精细变化信息；
解码模块，用于采用反卷积将所述精细变化信息还原，得到初始变化检测结果；
评价模块，用于构建组合损失函数，以i的初始值为1，执行第i次评价操作：根据所述组合损失函数对所述初始变化检测结果进行损失评价，得到第i次损失值；
优化模块，用于执行优化操作：采用Adam优化算法对所述孪生卷积神经网络和所述长短时记忆网络进行参数更新，并再次执行所述编码操作、所述训练操作、所述解码操作和所述评价操作，将所述第i次损失值更新为第i+1次损失值；
第一判断模块，用于判断i是否满足i小于预设的训练次数N，若是，则对i加一并返回执行所述优化操作；若否，则执行差值判断操作；
第二判断模块，用于执行差值判断操作：判断所述第i+1次损失值与所述第i次损失值的差值是否小于预设的阈值，若是，则将所述初始变化检测结果更新为建筑物的最终变化检测结果；若否，则执行所述优化操作以更新所述第i次损失值和所述第i+1次损失值，并返回至所述差值判断操作。
第三方面，本发明还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述中任意一项所述的遥感影像建筑物变化检测方法。
第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述中任意一项所述的遥感影像建筑物变化检测方法。
相比于现有技术，本发明具有如下有益效果：
本发明通过结合孪生卷积神经网络和长短时记忆网络，能有效的提取前后两时相影像中的变化信息，并得到初始变化检测结果；通过组合损失函数对训练数据进行损失评价，并结合Adam优化算法对所述孪生卷积神经网络和所述长短时记忆网络进行参数更新，能够有效的改善训练正负样本不均衡的问题，从而提高遥感影像建筑物变化检测精度。同时，本发明可以应用于农村宅基地上的建筑物。
附图说明
图1是本发明第一实施例提供的遥感影像建筑物变化检测方法流程示意图；
图2是本发明第一实施例提供的遥感影像建筑物变化检测的示意图；
图3是本发明第二实施例提供的遥感影像建筑物变化检测装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，本发明第一实施例提供了一种遥感影像建筑物变化检测方法，包括以下步骤：
S11，获取训练数据的前后两时相影像；
S12，编码操作：采用孪生卷积神经网络对所述前后两时相影像进行特征提取和特征堆叠，得到初始变化信息；
S13，训练操作：采用长短时记忆网络对所述初始变化信息进行训练，得到精细变化信息；
S14，解码操作：采用反卷积将所述精细变化信息还原，得到初始变化检测结果；
S15，构建组合损失函数，以i的初始值为1，执行第i次评价操作：并根据所述组合损失函数对所述初始变化检测结果进行损失评价，得到第i次损失值；
S16,优化操作：采用Adam优化算法对所述孪生卷积神经网络和所述长短时记忆网络进行参数更新，并再次执行所述编码操作、所述训练操作、所述解码操作和所述评价操作，将所述第i次损失值更新为第i+1次损失值；
S17，判断i是否满足i小于预设的训练次数N，若是，则对i加一并返回执行所述优化操作；若否，则执行以下差值判断操作；
S18，判断所述第i+1次损失值与所述第i次损失值的差值是否小于预设的阈值，若是，则将所述初始变化检测结果更新为建筑物的最终变化检测结果；若否，则执行所述优化操作以更新所述第i次损失值和所述第i+1次损失值，并返回至所述差值判断操作。
需要说明的是，本实施例采用python语言设计实现，采用的深度学习框架为Tensorflow。
在步骤S11中，获取训练数据的前后两时相影像。示例性地，对于勾画后的真值图，将变化部分的像素赋值为1，将未变化的部分赋值未0。进一步的，针对训练数据，可以采用随机批量的方式获得单次训练样本的训练数据。
在一种实施方式中，还可以将训练数据和测试数据按照3：7的比例进行分割。
在本实施例中，将训练数据和测试数据均裁剪为256*256大小，或者512*512大小。采用上述的裁剪大小，可以在步骤S14中进行反卷积时，不需要进行上采样就能够将输出结果恢复到原始输入图像的大小。优选地，本实施例中的输入影像大小为256*256*3。
在步骤S12中，所述孪生卷积神经网络包括特征提取模块和特征堆叠模块。
具体地，所述编码操作具体包括：
根据所述特征提取模块进行提取特征；其中，所述特征提取模块采用两组共享权重的卷积神经网络；
根据所述特征堆叠模块对所述特征提取模块提取的两时相特征进行堆叠，得到堆叠后的特征；
采用卷积模块对所述堆叠后的特征进行学习，得到初始变化信息。
需要说明的是，初始变化信息可以通过特征图的形式表现出来。
具体地，对于特征提取模块，采用两组共享权重的卷积神经网络来提取特征。两组共享权重的卷积神经网络由二十层卷积模块组成，每个卷积模块由卷积层、BatchNormolization和非线性激活函数ReLU函数组成，每一个卷积层采用3*3大小的卷积。
其中，共享权重的意思是指提取特征的两个通道对应位置的卷积层的卷积核采用同一组权重参数。每经过五层卷积模块，会采用一层最大池化层将特征图缩小为原来的一半，并且让特征通道数量增加为原来的两倍。经过二十层卷积模块后，特征图的H和W变为原来的十六分之一，特征通道数增加为原来的十六倍。
在本实施例中，特征提取模块的四组卷积模块的特征图大小依次为256*256*4,128*128*16,64*64*64,32*32*256。此外，每经过五层卷积模块，将会采用前后两时相特征图作差的方式得到当前阶段的变化信息。这个差值将会采用跳跃连接的方式与解码过程中相同大小的反卷积层进行连接。
具体地，对于特征堆叠模块，将共享权重特征提取的两时相特征，在通道方向上进行堆叠，得到堆叠后的特征。然后，采用两层卷积模块对堆叠后的特征进行进一步的学习。每个卷积模块由卷积层、Batch Normolization和非线性激活函数组成ReLU函数，每一个卷积层采用3*3大小的卷积。
在本实施例中，特征堆叠模块中的特征图大小依次为32*32*256，32*32*128，32*32*64。特征堆叠模块主要是对通道方向进行了一个特征压缩，对特征图的高和宽没有进行改变。
在步骤S13中，所述训练操作具体包括:
沿着通道方向逐个像素对所述初始变化信息进行切片处理，得到切片后的特征；
将所述切片后的特征输入所述长短时记忆网络进行训练，输出训练后的特征；
根据不同像素特征之间的位置重新拼接所述训练后的特征，得到精细变化信息。
需要说明的是，精细变化信息可以通过特征图的形式表现出来。
在本实例中，采用长短时记忆网络的改进网络GRU进行特征学习和训练。首先将孪生神经网络中提取的特征图(大小为32*32*64)遍历像素的通道方向特征，特征大小为1*1*C,再切片提取出该特征，然后经过长短时记忆网络的学习和训练，将训练后的特征按照原始输入进行拼接，拼接之后的特征图大小为H*W*C。
在步骤S14中，采用连续的八层解码网络将步骤S13中的精细变化信息还原为原始输入影像大小，得到初始变化检测结果。
具体地，八层解码网络采用连续的四个反卷积模块组成，每个反卷积模块由一个反卷积层和一个卷积层组成。反卷积层将当前特征图的大小恢复到原来的两倍，再同样采用Batch Normolization和ReLU激活函数进一步处理。在模块的卷积层中首先将步骤S12中的初始变化信息和当前特征图堆叠，然后采用1*1的卷积，将当前特征维数降低一半。在经过连续的四组反卷积模块之后，特征图恢复为H*W*1的大小。最后采用一个softmax函数将特征图转化为像素变化和未变化对应的概率，输出建筑物的初始变化检测结果。
在步骤S15中，构建组合损失函数，以i的初始值为1，执行第i次评价操作：根据所述组合损失函数对所述初始变化检测结果进行损失评价，得到第i次损失值。具体地，将Focal loss函数和Dice loss函数结合，得到组合损失函数。组合损失函数能够处理不规则小面积建筑中的分割问题，并且能够增加训练过程中的稳定性。
其中，Focal loss的计算公式如下：
Figure BDA0003259061590000091
其中，Lfl为foca lloss，α为平衡因子，γ简单样本训练权重因子，y′为样本预测值，y为样本真实标签。
Dice loss的计算公式如下：
Figure BDA0003259061590000092
其中，LDice为Dice损失，y′为样本预测值，y为样本真实标签。
组合损失函数计算公式如下：
Lcombination＝Lfl+λLDice
其中，Lcombination为组合损失，λ为平衡系数。具体的，在本实施例中，λ为0.5。
为了降低训练过程中网络发生过拟合的可能，网络会加入正则化方法来进行优化。具体地，本实施例中采用L2正则化方法进行优化，在最终的组合损失函数中也会加入正则化损失。
在步骤S16中，执行优化操作：采用Adam优化算法对所述孪生卷积神经网络和所述长短时记忆网络进行参数更新，并再次执行所述编码操作、所述训练操作、所述解码操作和所述评价操作，将所述第i次损失值更新为第i+1次损失值。
具体地，采用Adam优化算法进行优化的过程如下：
Figure BDA0003259061590000093
Figure BDA0003259061590000094
Figure BDA0003259061590000095
Figure BDA0003259061590000096
Figure BDA0003259061590000101
其中，
Figure BDA0003259061590000102
为一阶估计矩参数，
Figure BDA0003259061590000103
为二阶估计矩参数，
Figure BDA0003259061590000104
是第一次估计的指数衰减率，β2是第二次估计的指数衰减率，ε是一个平滑项，wt为网络的权重，ΔLt为反向传播的梯度。
在本实施例中，再次执行所述编码操作、所述训练操作、所述解码操作和所述评价操作，将所述第i次损失值更新为第i+1次损失值，是一个数据的反向传播过程。在反向传播过程中，采用退化学习率策略进行学习率的动态调整。一般情况下，网络训练的前期学习难度较小，需要采用较大的学习率，而在网络训练的后期，需要对网络参数进行更精细的调整。
在步骤S17中，判断i是否满足i小于预设的训练次数N，若是，则对i加一并返回执行所述优化操作；若否，则执行步骤S18的差值判断操作：
判断所述第i+1次损失值与所述第i次损失值的差值是否小于预设的阈值，若是，则将所述初始变化检测结果更新为建筑物的最终变化检测结果；若否，则执行所述优化操作以更新所述第i次损失值和所述第i+1次损失值，并返回至所述差值判断操作。
需要说明的是，训练次数N的取值可以根据需要来预先设置，例如N取500，代表对所述孪生卷积神经网络和所述长短时记忆网络进行500次优化更新后，才会考虑是否输出建筑物的最终变化检测结果。
另外，阈值是根据检测精度的要求来设置，检测精度要求越高，设置的阈值越小。示例性地，阈值取0.1，当所述第i+1次损失值与所述第i次损失值的差值小0.1时，可以认为第i+1次损失值不再下降，此时的孪生卷积神经网络和长短时记忆网络是最优的，可以将此时的所述初始变化检测结果更新为建筑物的最终变化检测结果并进行最终输出。
本发明通过结合孪生卷积神经网络和长短时记忆网络，能有效的提取前后两时相影像中的变化信息，并得到初始变化检测结果；通过结合Dice loss和Focal loss的组合损失函数对训练数据进行损失评价，并结合Adam优化算法对所述孪生卷积神经网络和所述长短时记忆网络进行参数更新，能够有效的改善训练正负样本不均衡的问题，从而提高遥感影像建筑物变化检测精度。同时，本发明可以应用于农村宅基地上的建筑物，特别是应用于以农村宅基地上拆旧区域的建筑物为代表的变化检测。
参照图3，本发明第二实施例提供了一种遥感影像建筑物变化检测装置，包括：
数据获取模块，用于获取训练数据的前后两时相影像；
编码模块，用于采用孪生卷积神经网络对所述前后两时相影像进行特征提取和特征堆叠，得到初始变化信息；
训练模块，用于采用长短时记忆网络对所述初始变化信息进行训练，得到精细变化信息；
解码模块，用于采用反卷积将所述精细变化信息还原，得到初始变化检测结果；
评价模块，用于构建组合损失函数，以i的初始值为1，执行第i次评价操作：根据所述组合损失函数对所述初始变化检测结果进行损失评价，得到第i次损失值；
优化模块，用于执行优化操作：采用Adam优化算法对所述孪生卷积神经网络和所述长短时记忆网络进行参数更新，并再次执行所述编码操作、所述训练操作、所述解码操作和所述评价操作，将所述第i次损失值更新为第i+1次损失值；
第一判断模块，用于判断i是否满足i小于预设的训练次数N，若是，则对i加一并返回执行所述优化操作；若否，则执行差值判断操作；
第二判断模块，用于执行差值判断操作：判断所述第i+1次损失值与所述第i次损失值的差值是否小于预设的阈值，若是，则将所述初始变化检测结果更新为建筑物的最终变化检测结果；若否，则执行所述优化操作以更新所述第i次损失值和所述第i+1次损失值，并返回至所述差值判断操作。
本发明实施例还提供了一种终端设备。该终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如遥感影像建筑物变化检测程序。所述处理器执行所述计算机程序时实现上述各个遥感影像建筑物变化检测方法实施例中的步骤，例如图1所示的步骤S11。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如损失评价模块。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及智能平板等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述部件仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、图形处理器(Graphics ProcessingUnit，GPU)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据所述终端设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种遥感影像建筑物变化检测方法，其特征在于，包括：
获取训练数据的前后两时相影像；
编码操作：采用孪生卷积神经网络对所述前后两时相影像进行特征提取和特征堆叠，得到初始变化信息；
训练操作：采用长短时记忆网络对所述初始变化信息进行训练，得到精细变化信息；
解码操作：采用反卷积将所述精细变化信息还原，得到初始变化检测结果；
构建组合损失函数，以i的初始值为1，执行第i次评价操作：根据所述组合损失函数对所述初始变化检测结果进行损失评价，得到第i次损失值；
优化操作：采用Adam优化算法对所述孪生卷积神经网络和所述长短时记忆网络进行参数更新，并再次执行所述编码操作、所述训练操作、所述解码操作和所述评价操作，将所述第i次损失值更新为第i+1次损失值；
判断i是否满足i小于预设的训练次数N，若是，则对i加一并返回执行所述优化操作；若否，则执行以下差值判断操作：
判断所述第i+1次损失值与所述第i次损失值的差值是否小于预设的阈值，若是，则将所述初始变化检测结果更新为建筑物的最终变化检测结果；若否，则执行所述优化操作以更新所述第i次损失值和所述第i+1次损失值，并返回至所述差值判断操作。
2.根据权利要求1所述的遥感影像建筑物变化检测方法，其特征在于，所述孪生卷积神经网络包括特征提取模块和特征堆叠模块，所述编码操作包括：
根据所述特征提取模块进行提取特征；其中，所述特征提取模块采用两组共享权重的卷积神经网络；
根据所述特征堆叠模块对所述特征提取模块提取的两时相特征进行堆叠，得到堆叠后的特征；
采用卷积模块对所述堆叠后的特征进行学习，得到初始变化信息。
3.根据权利要求2所述的遥感影像建筑物变化检测方法，其特征在于，所述卷积模块包括卷积层、Batch Normolization和非线性激活函数。
4.根据权利要求1所述的遥感影像建筑物变化检测方法，其特征在于，所述训练操作包括:
沿着通道方向逐个像素对所述初始变化信息进行切片处理，得到切片后的特征；
将所述切片后的特征输入所述长短时记忆网络进行训练，输出训练后的特征；
根据不同像素特征之间的位置重新拼接所述训练后的特征，得到精细变化信息。
5.根据权利要求1所述的遥感影像建筑物变化检测方法，其特征在于，所述构建组合损失函数，包括：将Focal loss函数和Dice loss函数结合，得到组合损失函数。
6.根据权利要求5所述的遥感影像建筑物变化检测方法，其特征在于，所述Focal loss函数为:
Figure FDA0003259061580000021
其中，Lfl为Focal loss，α为平衡因子，γ简单样本训练权重因子，y′为样本预测值，y为样本真实标签；
所述Dice loss函数为：
Figure FDA0003259061580000022
其中，LDice为Dice损失，y′为样本预测值，y为样本真实标签；
所述组合损失函数为：
Lcombination＝Lfl+λLDice
其中，Lcombination为组合损失，λ为平衡系数。
7.根据权利要求1所述的遥感影像建筑物变化检测方法，其特征在于，所述Adam优化算法具体包括：
Figure FDA0003259061580000031
Figure FDA0003259061580000032
Figure FDA0003259061580000033
Figure FDA0003259061580000034
Figure FDA0003259061580000035
其中，
Figure FDA0003259061580000036
为一阶估计矩参数，
Figure FDA0003259061580000037
为二阶估计矩参数，
Figure FDA0003259061580000038
是第一次估计的指数衰减率，β2是第二次估计的指数衰减率，ε是一个平滑项，wt为网络的权重，ΔLt为反向传播的梯度。
8.一种遥感影像建筑物变化检测装置，其特征在于，包括：
数据获取模块，用于获取训练数据的前后两时相影像；
编码模块，用于采用孪生卷积神经网络对所述前后两时相影像进行特征提取和特征堆叠，得到初始变化信息；
训练模块，用于采用长短时记忆网络对所述初始变化信息进行训练，得到精细变化信息；
解码模块，用于采用反卷积将所述精细变化信息还原，得到初始变化检测结果；
评价模块，用于构建组合损失函数，以i的初始值为1，执行第i次评价操作：根据所述组合损失函数对所述初始变化检测结果进行损失评价，得到第i次损失值；
优化模块，用于执行优化操作：采用Adam优化算法对所述孪生卷积神经网络和所述长短时记忆网络进行参数更新，并再次执行所述编码操作、所述训练操作、所述解码操作和所述评价操作，将所述第i次损失值更新为第i+1次损失值；
第一判断模块，用于判断i是否满足i小于预设的训练次数N，若是，则对i加一并返回执行所述优化操作；若否，则执行差值判断操作；
第二判断模块，用于执行差值判断操作：判断所述第i+1次损失值与所述第i次损失值的差值是否小于预设的阈值，若是，则将所述初始变化检测结果更新为建筑物的最终变化检测结果；若否，则执行所述优化操作以更新所述第i次损失值和所述第i+1次损失值，并返回至所述差值判断操作。
9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的遥感影像建筑物变化检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的遥感影像建筑物变化检测方法。
CN202111067831.7A 2021-09-13 2021-09-13 遥感影像建筑物变化检测方法、装置、设备及存储介质 Pending CN113901877A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111067831.7A CN113901877A (zh) 2021-09-13 2021-09-13 遥感影像建筑物变化检测方法、装置、设备及存储介质
CN202211100910.8A CN116310776A (zh) 2021-09-13 2022-09-09 遥感影像建筑物变化检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111067831.7A CN113901877A (zh) 2021-09-13 2021-09-13 遥感影像建筑物变化检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113901877A true CN113901877A (zh) 2022-01-07

Family

ID=79027902

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111067831.7A Pending CN113901877A (zh) 2021-09-13 2021-09-13 遥感影像建筑物变化检测方法、装置、设备及存储介质
CN202211100910.8A Pending CN116310776A (zh) 2021-09-13 2022-09-09 遥感影像建筑物变化检测方法、装置、设备及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202211100910.8A Pending CN116310776A (zh) 2021-09-13 2022-09-09 遥感影像建筑物变化检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (2) CN113901877A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173104B (zh) * 2023-08-04 2024-04-16 山东大学 一种低空无人机图像变化检测方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766936A (zh) * 2018-12-28 2019-05-17 西安电子科技大学 基于信息传递和注意力机制的图像变化检测方法
CN111047551A (zh) * 2019-11-06 2020-04-21 北京科技大学 一种基于U-net改进算法的遥感影像变化检测方法及系统
US20200151500A1 (en) * 2018-11-14 2020-05-14 Cape Analytics, Inc. Systems, methods, and computer readable media for predictive analytics and change detection from remotely sensed imagery
CN111161218A (zh) * 2019-12-10 2020-05-15 核工业北京地质研究院 一种基于孪生卷积神经网络的高分遥感影像变化检测方法
CN111680706A (zh) * 2020-06-17 2020-09-18 南开大学 一种基于编码和解码结构的双通道输出轮廓检测方法
WO2020202505A1 (en) * 2019-04-03 2020-10-08 Nec Corporation Image processing apparatus, image processing method and non-transitoty computer readable medium
CN112508936A (zh) * 2020-12-22 2021-03-16 中国科学院空天信息创新研究院 一种基于深度学习的遥感图像变化检测方法
CN112766045A (zh) * 2020-12-28 2021-05-07 平安科技（深圳）有限公司 场景变化检测方法、系统、电子装置及存储介质
CN113191213A (zh) * 2021-04-12 2021-07-30 桂林电子科技大学 一种高分辨率遥感影像新增建筑物检测方法
CN113222016A (zh) * 2021-05-12 2021-08-06 中国民航大学 一种基于高层和低层特征交叉增强的变化检测方法及装置
CN113326724A (zh) * 2021-02-07 2021-08-31 海南长光卫星信息技术有限公司 一种遥感影像变化检测方法、装置、设备及可读存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200151500A1 (en) * 2018-11-14 2020-05-14 Cape Analytics, Inc. Systems, methods, and computer readable media for predictive analytics and change detection from remotely sensed imagery
CN109766936A (zh) * 2018-12-28 2019-05-17 西安电子科技大学 基于信息传递和注意力机制的图像变化检测方法
WO2020202505A1 (en) * 2019-04-03 2020-10-08 Nec Corporation Image processing apparatus, image processing method and non-transitoty computer readable medium
CN111047551A (zh) * 2019-11-06 2020-04-21 北京科技大学 一种基于U-net改进算法的遥感影像变化检测方法及系统
CN111161218A (zh) * 2019-12-10 2020-05-15 核工业北京地质研究院 一种基于孪生卷积神经网络的高分遥感影像变化检测方法
CN111680706A (zh) * 2020-06-17 2020-09-18 南开大学 一种基于编码和解码结构的双通道输出轮廓检测方法
CN112508936A (zh) * 2020-12-22 2021-03-16 中国科学院空天信息创新研究院 一种基于深度学习的遥感图像变化检测方法
CN112766045A (zh) * 2020-12-28 2021-05-07 平安科技（深圳）有限公司 场景变化检测方法、系统、电子装置及存储介质
CN113326724A (zh) * 2021-02-07 2021-08-31 海南长光卫星信息技术有限公司 一种遥感影像变化检测方法、装置、设备及可读存储介质
CN113191213A (zh) * 2021-04-12 2021-07-30 桂林电子科技大学 一种高分辨率遥感影像新增建筑物检测方法
CN113222016A (zh) * 2021-05-12 2021-08-06 中国民航大学 一种基于高层和低层特征交叉增强的变化检测方法及装置

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
DAIFENG PENG等: "SCDNET: A novel convolutional network for semantic change detection in high resolution optical remote sensing imagery", 《INTERNATIONAL JOURNAL OF APPLIED EARTH OBSERVATIONS AND GEOINFORMATION》 *
LICHAO MOU等: "Learning Spectral-Spatial-Temporal Features via a Recurrent Convolutional Neural Network for Change Detection in Multispectral Imagery", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
YI YANG等: "AN END-TO-END DEEP LEARNING CHANGE DETECTION FRAMEWORK FOR REMOTE SENSING IMAGES", 《IGARSS 2020 - 2020 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》 *
倪良波等: "基于孪生残差神经网络的遥感影像变化检测", 《计算机工程与设计》 *
王植等: "基于循环神经网络特征融合的高分遥感影像建筑物变化检测", 《第五届高分辨率对地观测学术年会论文集》 *
王静逸: "《分布式人工智能：基于TensorFlow、RTOS与群体智能体系》", 31 October 2020, 机械工业出版社 *
胡蕾: "一种多尺度稀疏卷积的高分辨率遥感图像变化检测方法", 《小型微型计算机系统》 *

Also Published As

Publication number Publication date
CN116310776A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN108664981B (zh) 显著图像提取方法及装置
CN111105017B (zh) 神经网络量化方法、装置及电子设备
CN112508125A (zh) 一种图像检测模型的高效全整数量化方法
CN109523016B (zh) 面向嵌入式系统的多值量化深度神经网络压缩方法及系统
CN113298096B (zh) 训练零样本分类模型的方法、系统、电子设备及存储介质
CN111028884B (zh) 基因型数据缺失的填充方法、装置及服务器
WO2021042857A1 (zh) 图像分割模型的处理方法和处理装置
CN114359563B (zh) 模型训练方法、装置、计算机设备和存储介质
CN113505792A (zh) 面向非均衡遥感图像的多尺度语义分割方法及模型
CN112330684A (zh) 对象分割方法、装置、计算机设备及存储介质
CN113222813A (zh) 图像超分辨率重建方法、装置、电子设备及存储介质
CN113901877A (zh) 遥感影像建筑物变化检测方法、装置、设备及存储介质
CN116188878A (zh) 基于神经网络结构微调的图像分类方法、装置和存储介质
CN115761830A (zh) 人脸识别模型量化训练方法、装置、设备及存储介质
CN114529793A (zh) 一种基于门控循环特征融合的深度图像修复系统及方法
CN114359592A (zh) 模型训练及图像处理方法、装置、设备、存储介质
CN116612500B (zh) 行人重识别模型训练方法及装置
CN112381147A (zh) 动态图片相似度模型建立、相似度计算方法和装置
CN115376195B (zh) 训练多尺度网络模型的方法及人脸关键点检测方法
CN116106909A (zh) 一种雷达回波外推方法、系统及存储介质
CN110472732A (zh) 优化特征提取方法及其神经网络结构
CN115375922A (zh) 一种基于多尺度空间注意力的轻量化显著性检测方法
CN112561050B (zh) 一种神经网络模型训练方法及装置
CN110647898B (zh) 图像处理方法、装置、电子设备及计算机存储介质
CN116523028B (zh) 基于图像空间位置的图像表征模型训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220107