CN111291622B - 一种遥感影像中建筑物变化检测的方法及装置 - Google Patents

一种遥感影像中建筑物变化检测的方法及装置 Download PDF

Info

Publication number
CN111291622B
CN111291622B CN202010044591.8A CN202010044591A CN111291622B CN 111291622 B CN111291622 B CN 111291622B CN 202010044591 A CN202010044591 A CN 202010044591A CN 111291622 B CN111291622 B CN 111291622B
Authority
CN
China
Prior art keywords
remote sensing
sensing image
change
image data
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010044591.8A
Other languages
English (en)
Other versions
CN111291622A (zh
Inventor
姜慧伟
胡翔云
李晓凯
邓凯
王有年
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Handarui Technology Co ltd
Original Assignee
Wuhan Handarui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Handarui Technology Co ltd filed Critical Wuhan Handarui Technology Co ltd
Priority to CN202010044591.8A priority Critical patent/CN111291622B/zh
Publication of CN111291622A publication Critical patent/CN111291622A/zh
Application granted granted Critical
Publication of CN111291622B publication Critical patent/CN111291622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种遥感影像中建筑物变化检测的方法及装置，首先读取两个时期原始遥感影像数据，利用z‑score标准化算法对所述遥感影像数据进行标准化处理；然后构建编码‑解码深度孪生神经网络结构，对两个时期的所述遥感影像数据进行变化特征检测；所述编码‑解码深度孪生神经网络结构包括共享权重的两个分支编码网络、互相关注意力网络、变化差分网络以及金字塔解码网络。本发明实现了基于注意力机制的深度孪生网络在正射影像中实现建筑物自动变化检测。

Description

一种遥感影像中建筑物变化检测的方法及装置
技术领域
本发明涉及遥感影像建筑物变化检测领域，尤其涉及一种特征注意机制的深度孪生神经网络的遥感影像中建筑物变化检测的方法及装置。
背景技术
高分辨率遥感影像快速获取和处理能力的不断进步以及人工智能的崛起兴盛，极大的推动了当前建筑物快速自动化检测识别，为城市规划建设和监测管理提供了一种系统高效的新技术手段。基于遥感影像的建筑物变化检测一直是多年来的重要研究课题相应的应用中取得了一定的成果。在传统方法的研究领域，主要是采用面向对象的建筑物变化检测研究，可以分为两类：①影像间的建筑物变化检测：Hou(2017)采用像素和对象结合策略在高分辨率遥感影像上检测建筑物变化，首先通过层次模糊聚类基于像素分类，然后在SLIC分割的基础上统计模糊频率直方图，在差分图像上计算显著性和建筑物形态学指数用以生成一个伪训练集，最后利用随机森林对该训练集进行基于对象的半监督分类。Xiao(2016)提出了一种基于协同分割的高分辨率遥感影像变化检测方法，为面向对象的变化检测提供了一种新的解决方案,通过结合变化信息和每个阶段的图像特征，利用图模型的协同分割和空间叠置分析获取建筑物变化信息。②基于GIS辅助的建筑物变化检测:Sofina(2017)设计了一种新的轮廓检测方法(Detected Part of Contour,DPC)评估建筑物的完整性，通过计算GIS中建筑物矢量多边形与影像上相应轮廓的匹配程度，同时额外的纹理特征保证了建筑物内部区域的同质性。随着人工智能的广泛应用，利用卷积神经网络中进行建筑物变化检测研究的方向主要分为两类：①建筑物提取与检测：刘(2019)提出了一种多任务的深度孪生神经网络，通过三个子网络，同时完成前后期影像的建筑物语义分割和变化检测，从对象的角度获得完整的变化检测图。②直接检测变化的方法：Zhu(2018)利用改进的SegNet网络实现了端到端的建筑物变化检测，并结合传统图像处理方法，采用形态学方法消除噪声，减少错误判断。
综合现有的研究方法，提取完整正确的建筑物变化检测仍处于研究探索阶段。这主要是由于建筑物的高度在正射纠正过程中会引起严重的投影差，使得两期影像中的建筑物存在几何偏移问题，通过直接比较两期影像的特征检测变化通常会产生极高的虚警现象。在目前端到端的神经网络方法中也很少顾及到这一问题。虽然在建筑物提取后检测变化的方法中通过对象的比较实现变化检测可缓解这一现象，但是建筑物的提取和同质的比较却是另一大关键问题，并且会产生较大的累积误差。因此有必要设计一种不需要其他附加信息，准确率高且快速便捷的自动处理方案。
发明内容
本发明针对现有技术中存在的技术问题，提供一种遥感影像中建筑物变化检测的方法及装置，实现了基于注意力机制的深度孪生网络在正射影像中实现建筑物自动变化检测。
本发明解决上述技术问题的技术方案如下：
第一方面，本发明一种遥感影像中建筑物变化检测的方法，包括以下步骤：
S1，读取两个时期原始遥感影像数据，利用z-score标准化算法对所述遥感影像数据进行标准化处理；
S2，构建编码-解码深度孪生神经网络结构，对两个时期的所述遥感影像数据进行变化特征检测；所述编码-解码深度孪生神经网络结构包括共享权重的两个分支编码网络、互相关注意力网络、变化差分网络以及金字塔解码网络。
进一步的，所述的构建编码-解码深度孪生神经网络结构，对两个时期的所述遥感影像数据进行变化特征检测，包括：
S21，采用VGG-16作为骨架网络，建立共享权重的两个分支编码网络；
S22，将两个时期的所述遥感影像数据分别输入两个所述分支编码网络，对所述遥感影像数据进行编码，生成金字塔结构的6层特征；
S23，将两个所述分支编码网络的输出的第6层特征作为互相关注意力网络的输入，计算两个时期的所述遥感影像数据的增强特征；将两个所述分支编码网络的输出的6层特征作为所述变化差分网络的输入，分别计算6层特征的变化特征；
S24，根据所述增强特征和所述6层特征的变化特征，通过金字塔解码网络计算得到两个时期的所述遥感影像数据变化特征。
进一步的，所述的将两个所述分支编码网络的输出的第6层特征作为互相关注意力网络的输入，计算两个时期的所述遥感影像数据的增强特征，包括：
S231，记两个所述分支网络的输出的第6层特征分别为
Figure BDA0002368928310000031
和/>
Figure BDA0002368928310000032
利用下式计算/>
Figure BDA0002368928310000033
和/>
Figure BDA0002368928310000034
的相关矩阵S；
Figure BDA0002368928310000035
其中，W∈RC×C为权重矩阵，
Figure BDA0002368928310000036
h6和w6分别为第6层特征的高度和宽度；
S232，通过softmax分别按行和按列计算相对于
Figure BDA0002368928310000037
和/>
Figure BDA0002368928310000038
的最大值，获得/>
Figure BDA0002368928310000039
和/>
Figure BDA00023689283100000310
对应的最大相关特征，记为Sc和Sr；
S233，根据所述最大相关特征Sc和Sr，利用元素相乘方式计算
Figure BDA00023689283100000311
和/>
Figure BDA00023689283100000312
的增强特征
Figure BDA00023689283100000313
和/>
Figure BDA00023689283100000314
进一步的，将两个所述分支编码网络的输出的6层特征作为所述变化差分网络的输入，计算两个时期的所述遥感影像数据的变化特征，包括：
S234，记两个所述分支网络的输出的6层特征分别为
Figure BDA0002368928310000041
和/>
Figure BDA0002368928310000042
i∈{1,2,...,6}，利用下式计算两个时期的所述遥感影像数据的变化特征/>
Figure BDA0002368928310000043
Figure BDA0002368928310000044
其中，concat(x,y)表示对参数x,y进行聚合运算，conv表示经过一个1*1的卷积层。
进一步的，根据所述增强特征和所述6层特征的变化特征，通过金字塔解码网络计算得到两个时期的所述遥感影像数据变化特征，包括：
S241，根据所述增强特征，通过含有三层卷积的多层感知机MLP判断两个所述分支网络的输出的第6层特征中的共有目标，通过线性运算进一步计算非共有目标，即变化区域特征
Figure BDA0002368928310000045
S242，利用下式，根据所述变化区域特征
Figure BDA0002368928310000046
和所述6层特征的变化特征，通过金字塔解码网络聚合得到的两个时期的所述遥感影像数据金字塔5层变化特征fc，并通过3个卷积得到变化结果fr：
Figure BDA0002368928310000047
其中，conv1表示经过一个1*1的卷积层，conv3表示经过一个3*3的卷积层，upsample表示上采样。
进一步的，所述步骤S234还包括，利用神经网络深层特征fh中的上下文信息对浅层特征fl进行增强处理；所述浅层特征fl为两个时期的所述遥感影像数据的变化特征的前三层特征，即
Figure BDA0002368928310000048
所述深层特征采用所述变化区域特征，即/>
Figure BDA0002368928310000051
进一步的，所述的利用神经网络深层特征fh中的上下文信息对浅层特征fl进行增强处理，利用下式进行计算：
Figure BDA0002368928310000052
其中，SE表示进行SE module模块处理，Fgp为全局池化，Ffc1和Ffc2为两个1*1的卷积操作。
进一步的，本发明还包括，定义交叉熵损失函数，在每次迭代中通过计算网络预测值和真实结果的分布距离，判断当前参数的优劣。神经网络可以损失函数为基准，找出能使它的值达到最小的权重参数。
进一步的，本发明还包括，定义优化器，更新梯度。通过一定的学习率，利用优化器进行迭代更新网络权重，获取具有最小损失网络参数。利用该参数，获得最优预测结果。
第二方面，本发明提供一种遥感影像中建筑物变化检测的装置，包括：
标准化处理模块，用于读取两个时期原始遥感影像数据，并利用z-score标准化算法对所述遥感影像数据进行标准化处理；
网络构建及检测模块，用于构建编码-解码深度孪生神经网络结构，对两个时期的所述遥感影像数据进行变化特征检测；所述编码-解码深度孪生神经网络结构包括共享权重的两个分支编码网络、互相关注意力网络、变化差分网络以及金字塔解码网络。
第三方面，本发明提供一种电子设备，包括：
存储器，用于存储计算机软件程序；
处理器，用于读取并执行所述存储器中存储的计算机软件程序，实现本发明第一方面所述的一种遥感影像中建筑物变化检测的方法。
第四方面，本发明提供一种非暂态计算机可读存储介质，所述存储介质中存储有用于实现本发明第一方面所述的一种遥感影像中建筑物变化检测的方法的计算机软件程序。
附图说明
图1为本发明实施例提供的本发明提供一种遥感影像中建筑物变化检测的装置结构示意图。
图2本发明实施例提供的本发明提供一种遥感影像中建筑物变化检测的方法流程示意图。
图3为本发明实施例提供的编码-解码深度孪生神经网络整体结构示意图。
图4为本发明实施例提供的互相关注意力网络结构示意图。
图5为本发明实施例提供的深层和浅层网络结构融合示意图。
图6为本发明实施例提供的金字塔解码网络结构示意图。
图7为本发明实施例提供的变化差分网络结构示意图。
图8为本发明实施例提供的建筑物变化检测结果。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，本发明实施例提供一种电子设备，包括：
存储器，用于存储计算机软件程序；
处理器，用于读取并执行所述存储器中存储的计算机软件程序，实现一种遥感影像中建筑物变化检测的方法。在该实施例中，计算机软件程序中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
所述的一种遥感影像中建筑物变化检测的方法，如图2所示，具体包括以下步骤：
S1，读取两个时期原始遥感影像数据，利用z-score标准化算法对所述遥感影像数据进行标准化处理。
在该步骤中，首先读取两个时期遥感影像数据xa,xb，原始输入影像宽度记作w，高度记作h，将原始灰度值[0,255]归一化到[0,1]，然后利用z-score标准化算法对影像数据进行标准化处理。处理步骤如下：
(1)计算后期影像xb的均值μ和方差δ。
μ＝mean(xb)
δ＝std(xb)
(2)对输入影像进行归一化处理。
Figure BDA0002368928310000071
Figure BDA0002368928310000072
S2，构建编码-解码深度孪生神经网络结构，如图3所示，对两个时期的所述遥感影像数据进行变化特征检测；所述编码-解码深度孪生神经网络结构包括共享权重的两个分支编码网络、互相关注意力网络、变化差分网络以及金字塔解码网络。
具体的，所述的构建编码-解码深度孪生神经网络结构，对两个时期的所述遥感影像数据进行变化特征检测，包括：
S21，采用VGG-16作为骨架网络，建立共享权重的两个分支编码网络。初始权重为在imagenet上训练得到的权重。
S22，将两个时期的所述遥感影像数据ya,yb分别输入两个所述分支编码网络，对所述遥感影像数据进行编码，生成金字塔结构的6层特征，每层特征记作
Figure BDA0002368928310000081
和/>
Figure BDA0002368928310000082
i∈{1,2,...,6}。两个分支大小一致，高度为hi＝h/2i-1，宽度为wi＝w/2i-1，h和w分别为原始影像经过标准化处理后的高度和宽度。
S23，将两个所述分支编码网络的输出的第6层特征作为互相关注意力网络的输入，计算两个时期的所述遥感影像数据的增强特征；将两个所述分支编码网络的输出的6层特征作为所述变化差分网络的输入，分别计算6层特征的变化特征。
其中，所述的将两个所述分支编码网络的输出的第6层特征作为互相关注意力网络(网络结构如图4所示)的输入，计算两个时期的所述遥感影像数据的增强特征，包括：
S231，记两个所述分支网络的输出的第6层特征分别为
Figure BDA0002368928310000083
和/>
Figure BDA0002368928310000084
利用下式计算/>
Figure BDA0002368928310000085
和/>
Figure BDA0002368928310000086
的相关矩阵S；
Figure BDA0002368928310000087
其中，W∈RC×C为权重矩阵，
Figure BDA0002368928310000088
h6和w6分别为第6层特征的高度和宽度。
S232，通过softmax分别按行和按列计算相对于
Figure BDA0002368928310000089
和/>
Figure BDA00023689283100000810
的最大值，获得/>
Figure BDA00023689283100000811
和/>
Figure BDA00023689283100000812
对应的最大相关特征，记为Sc和Sr。
Sc＝soft max(S),Sr＝soft max(ST)
Figure BDA00023689283100000813
S233，根据所述最大相关特征Sc和Sr，利用元素相乘方式计算
Figure BDA0002368928310000091
和/>
Figure BDA0002368928310000092
的增强特征
Figure BDA0002368928310000093
和/>
Figure BDA00023689283100000917
Figure BDA0002368928310000095
Figure BDA0002368928310000096
其中
Figure BDA0002368928310000097
表示按元素相乘，/>
Figure BDA0002368928310000098
和/>
Figure BDA0002368928310000099
分别为/>
Figure BDA00023689283100000910
和/>
Figure BDA00023689283100000911
按照互相关性增强后的特征。
所述的将两个所述分支编码网络的输出的6层特征作为所述变化差分网络(网络结构如图7所示)的输入，计算两个时期的所述遥感影像数据的变化特征，包括：
S234，记两个所述分支编码网络的输出的6层特征分别为
Figure BDA00023689283100000912
和/>
Figure BDA00023689283100000913
i∈{1,2,...,6}，利用下式计算两个时期的所述遥感影像数据的变化特征/>
Figure BDA00023689283100000914
Figure BDA00023689283100000915
其中，concat(x,y)表示对参数x,y进行聚合运算，conv表示经过一个1*1的卷积层。
S24，根据所述增强特征和所述6层特征的变化特征，通过金字塔解码网络(网络结构如图6所示)计算得到两个时期的所述遥感影像数据变化特征。
进一步的，根据所述增强特征和所述6层特征的变化特征，通过金字塔解码网络计算得到两个时期的所述遥感影像数据变化特征，包括：
S241，根据所述增强特征，通过含有三层卷积的多层感知机MLP判断两个所述分支编码网络的输出的第6层特征中的共有目标，通过线性运算进一步计算非共有目标，即变化区域特征
Figure BDA00023689283100000916
Figure BDA0002368928310000101
A(f)＝σ(MLP(f))＝σ(W2(W1(W0(f))))
Figure BDA0002368928310000102
Figure BDA0002368928310000103
其中，f表示聚合增强特征
Figure BDA0002368928310000104
和/>
Figure BDA0002368928310000105
的相关性特征，/>
Figure BDA0002368928310000106
为网络两个分支经过变化差分网络获得的变化特征。
S242，利用下式，根据所述变化区域特征
Figure BDA0002368928310000107
和所述6层特征的变化特征，通过金字塔解码网络聚合得到的两个时期的所述遥感影像数据金字塔5层变化特征fc，并通过3个卷积得到变化结果fr：
Figure BDA0002368928310000108
其中，conv1表示经过一个1*1的卷积层，conv3表示经过一个3*3的卷积层，upsample表示上采样。
进一步的，所述步骤S234还包括，利用神经网络深层特征fh中的上下文信息对浅层特征fl进行增强处理；所述浅层特征fl为两个时期的所述遥感影像数据的变化特征的前三层特征，即
Figure BDA0002368928310000109
所述深层特征采用所述变化区域特征，即/>
Figure BDA00023689283100001010
由于神经网络中深层特征通常包含更多的上下文信息，而浅层特征含有语义信息，为了进一步提高网络性能，可以将二者进行融合，网络结构见图5。浅层特征：
Figure BDA00023689283100001011
即为两个时期的所述遥感影像数据的变化特征的前三层特征，深层特征
Figure BDA00023689283100001012
为网络编码中的最后一层特征，这里深层特征采用经过互相关注意力网络得到的变化特征/>
Figure BDA00023689283100001013
深层和浅层特征都首先经过一个Squeeze-and-Excitation Networks(SEmodule)(Hu 2017)结构进行特征预增强，然后深层特征经过一个全局池化(Globalpooling)获取全局特征，再经过两次卷积核为1*1卷积(Conv2d)获取全局上下文信息，将该信息作为权重与浅层特征融合即可得到含有上下文信息的浅层特征。同时，为了不损失原有浅层特征的语义信息，可以将原始含有语义信息的浅层特征fl作为残差块与增强后含有上下文信息的浅层特征连接，即可获得最后具有语义信息和互相关上下文信息的浅层特征fl'。
所述的利用神经网络深层特征fh中的上下文信息对浅层特征fl进行增强处理，利用下式进行计算：
Figure BDA0002368928310000111
其中，SE表示进行SE module模块处理，Fgp为全局池化，Ffc1和Ffc2为两个1*1的卷积操作。
进一步的，本发明实施例还包括，定义交叉熵损失函数，在每次迭代中通过计算网络预测值s和真实结果y的分布距离，判断当前参数的优劣。神经网络可以损失函数为基准，找出能使它的值达到最小的权重参数。
交叉熵损失函数定义如下：
Figure BDA0002368928310000112
进一步的，本发明还包括，定义优化器，更新梯度。通过一定的学习率，利用优化器进行迭代更新网络权重，获取具有最小损失网络参数。利用该参数，获得最优预测结果。
选择Adam优化器，初始学习率α设为1e-4,衰减率设置为(0.5，0.999)，即一阶矩估计的指数衰减率为0.5，二阶矩估计的指数衰减率为0.999。
t时间的梯度：
Figure BDA0002368928310000113
Adam算法更新规则包含以下过程：
(1)计算梯度的指数移动平均数，m0＝0，β1为指数衰减率，控制权重分配(动量与当前梯度)；
mt＝β1mt-1+(1-β1)gt
(2)梯度平方的指数移动平均数，v0＝0，β2为指数衰减率，控制之前的梯度平方的影响情况；
Figure BDA0002368928310000121
(3)由于m0初始化为0，会导致mt偏向于0，尤其在训练初期阶段，所以，需要对梯度均值mt进行偏差纠正，降低偏差对训练初期的影响；
Figure BDA0002368928310000122
(4)与m0类似，因为v0初始化为0，导致训练初始阶段vt偏向0，同时需要对其进行纠正；
Figure BDA0002368928310000123
(5)更新参数，初始的学习率α乘以梯度均值与梯度方差的平方根之比，其中ε＝1e-8。
Figure BDA0002368928310000124
图8为本发明实施例提供的建筑物变化检测结果。
此外，本发明实施例还提供一种遥感影像中建筑物变化检测的装置，包括：
标准化处理模块，用于读取两个时期原始遥感影像数据，并利用z-score标准化算法对所述遥感影像数据进行标准化处理；
网络构建及检测模块，用于构建编码-解码深度孪生神经网络结构，对两个时期的所述遥感影像数据进行变化特征检测；所述编码-解码深度孪生神经网络结构包括共享权重的两个分支编码网络、互相关注意力网络、变化差分网络以及金字塔解码网络。
所述网络构建及检测模块，还包括：
孪生神经网络模块，采用VGG-16作为骨架网络，建立共享权重的两个分支编码网络；将两个时期的所述遥感影像数据分别输入两个所述分支编码网络，对所述遥感影像数据进行编码，生成金字塔结构的6层特征；
互相关注意力网络模块，该模块以两个所述分支编码网络的输出的第6层特征作为输入，计算两个时期的所述遥感影像数据的增强特征；
变化差分网络模块，该模块以两个所述分支编码网络的输出的6层特征作为输入，分别计算6层特征的变化特征；
金字塔解码网络模块，用于根据所述增强特征和所述6层特征的变化特征，计算得到两个时期的所述遥感影像数据变化特征。
此外，本发明实施例还提出一种非暂态计算机可读存储介质，所述计算机存储介质上存储有用于实现上述的一种遥感影像中建筑物变化检测的方法的计算机软件程序。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种遥感影像中建筑物变化检测的方法，其特征在于，包括以下步骤：
S1，读取两个时期原始遥感影像数据，利用z-score标准化算法分别对所述两个时期原始遥感影像数据进行标准化处理，得到遥感影像数据；
S2，构建编码-解码深度孪生神经网络结构，对两个时期的所述遥感影像数据进行变化特征检测；所述编码-解码深度孪生神经网络结构包括共享权重的两个分支编码网络、互相关注意力网络、变化差分网络以及金字塔解码网络；
所述的构建编码-解码深度孪生神经网络结构，对两个时期的所述遥感影像数据进行变化特征检测，包括：
S21，采用VGG-16作为骨架网络，建立共享权重的两个分支编码网络；
S22，将两个时期的所述遥感影像数据分别输入两个所述分支编码网络，对所述遥感影像数据进行编码，生成金字塔结构的6层特征；
S23，将两个所述分支编码网络输出的第6层特征作为互相关注意力网络的输入，计算两个时期的所述遥感影像数据的增强特征；将两个所述分支编码网络的输出的6层特征作为所述变化差分网络的输入，分别计算6层特征的变化特征；
S24，根据所述增强特征和所述6层特征的变化特征，通过金字塔解码网络计算得到两个时期的所述遥感影像数据变化特征。
2.根据权利要求1所述的方法，其特征在于，所述的将两个所述分支编码网络输出的第6层特征作为互相关注意力网络的输入，计算两个时期的所述遥感影像数据的增强特征，包括：
S231，记两个所述分支编码网络的输出的第6层特征分别为
Figure FDA0004169254720000011
和/>
Figure FDA0004169254720000012
利用下式计算/>
Figure FDA0004169254720000013
和/>
Figure FDA0004169254720000014
的相关矩阵S；
Figure FDA0004169254720000021
其中，W∈RC×C为权重矩阵，
Figure FDA0004169254720000022
h6和w6分别为第6层特征的高度和宽度；
S232，通过softmax分别按行和按列计算相对于
Figure FDA0004169254720000023
和/>
Figure FDA0004169254720000024
的最大值，获得/>
Figure FDA0004169254720000025
和/>
Figure FDA0004169254720000026
对应的最大相关特征，记为Sc和Sr；
S233，根据所述最大相关特征Sc和Sr，利用元素相乘方式计算
Figure FDA0004169254720000027
和/>
Figure FDA0004169254720000028
的增强特征/>
Figure FDA0004169254720000029
和
Figure FDA00041692547200000210
3.根据权利要求2所述的方法，其特征在于，将两个所述分支编码网络的输出的6层特征作为所述变化差分网络的输入，分别计算6层特征的变化特征，包括：
S234，记两个所述分支编码网络的输出的6层特征分别为
Figure FDA00041692547200000211
和/>
Figure FDA00041692547200000212
i∈{1,2,...,6}，利用下式计算两个时期的所述遥感影像数据的变化特征/>
Figure FDA00041692547200000213
Figure FDA00041692547200000214
其中，concat(x,y)表示对参数x,y进行聚合运算，conv表示经过一个1*1的卷积层。
4.根据权利要求3所述的方法，其特征在于，根据所述增强特征和所述6层特征的变化特征，通过金字塔解码网络计算得到两个时期的所述遥感影像数据变化特征，包括：
S241，根据所述增强特征，通过含有三层卷积的多层感知机MLP判断两个所述分支编码网络的输出的第6层特征中的共有目标，通过线性运算进一步计算非共有目标，即变化区域特征
Figure FDA00041692547200000215
S242，利用下式，根据所述变化区域特征
Figure FDA00041692547200000216
和所述6层特征的变化特征，通过金字塔解码网络聚合得到的两个时期的所述遥感影像数据金字塔5层变化特征fc，并通过3个卷积得到变化结果fr：
Figure FDA0004169254720000031
其中，conv1表示经过一个1*1的卷积层，conv3表示经过一个3*3的卷积层，upsample表示上采样。
5.根据权利要求4所述的方法，其特征在于，步骤S234还包括，利用神经网络深层特征fh中的上下文信息对浅层特征fl进行增强处理；所述浅层特征fl为两个时期的所述遥感影像数据的变化特征的前三层特征，即
Figure FDA0004169254720000032
所述深层特征采用变化区域特征，即
Figure FDA0004169254720000033
6.根据权利要求5所述的方法，其特征在于，所述的利用神经网络深层特征fh中的上下文信息对浅层特征fl进行增强处理，利用下式进行计算：
Figure FDA0004169254720000034
其中，SE表示进行SE module模块处理，Fgp为全局池化，Ffc1和Ffc2为两个1*1的卷积操作。
7.一种遥感影像中建筑物变化检测的装置，其特征在于，包括：
标准化处理模块，用于读取两个时期原始遥感影像数据，并利用z-score标准化算法分别对所述两个时期原始遥感影像数据进行标准化处理，得到遥感影像数据；
网络构建及检测模块，用于构建编码-解码深度孪生神经网络结构，对两个时期的所述遥感影像数据进行变化特征检测；所述编码-解码深度孪生神经网络结构包括共享权重的两个分支编码网络、互相关注意力网络、变化差分网络以及金字塔解码网络；
所述的构建编码-解码深度孪生神经网络结构，对两个时期的所述遥感影像数据进行变化特征检测，包括：
S21，采用VGG-16作为骨架网络，建立共享权重的两个分支编码网络；
S22，将两个时期的所述遥感影像数据分别输入两个所述分支编码网络，对所述遥感影像数据进行编码，生成金字塔结构的6层特征；
S23，将两个所述分支编码网络输出的第6层特征作为互相关注意力网络的输入，计算两个时期的所述遥感影像数据的增强特征；将两个所述分支编码网络的输出的6层特征作为所述变化差分网络的输入，分别计算6层特征的变化特征；
S24，根据所述增强特征和所述6层特征的变化特征，通过金字塔解码网络计算得到两个时期的所述遥感影像数据变化特征。
8.一种电子设备，其特征在于，包括：
存储器，用于存储计算机软件程序；
处理器，用于读取并执行所述存储器中存储的计算机软件程序，实现权利要求1-6任一项所述的一种遥感影像中建筑物变化检测的方法。
9.一种非暂态计算机可读存储介质，其特征在于，所述存储介质中存储有用于实现权利要求1-6任一项所述的一种遥感影像中建筑物变化检测的方法的计算机软件程序。
CN202010044591.8A 2020-01-16 2020-01-16 一种遥感影像中建筑物变化检测的方法及装置 Active CN111291622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010044591.8A CN111291622B (zh) 2020-01-16 2020-01-16 一种遥感影像中建筑物变化检测的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010044591.8A CN111291622B (zh) 2020-01-16 2020-01-16 一种遥感影像中建筑物变化检测的方法及装置

Publications (2)

Publication Number Publication Date
CN111291622A CN111291622A (zh) 2020-06-16
CN111291622B true CN111291622B (zh) 2023-07-11

Family

ID=71022336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010044591.8A Active CN111291622B (zh) 2020-01-16 2020-01-16 一种遥感影像中建筑物变化检测的方法及装置

Country Status (1)

Country Link
CN (1) CN111291622B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016400B (zh) * 2020-08-04 2021-06-29 香港理工大学深圳研究院 一种基于深度学习的单类目标检测方法、设备及存储介质
CN112132867B (zh) * 2020-09-23 2023-07-11 武汉汉达瑞科技有限公司 一种遥感影像变化检测方法及装置
CN112183432B (zh) * 2020-10-12 2022-04-15 中国科学院空天信息创新研究院 一种基于中分辨率sar图像的建筑区提取方法以及系统
CN112417984B (zh) * 2020-10-29 2022-07-05 西南交通大学 基于共注意力机制的时序鲁棒遥感影像变化检测方法
CN113505636B (zh) * 2021-05-25 2023-11-17 中国科学院空天信息创新研究院 一种基于注意力机制与全卷积孪生神经网络的矿区变化检测方法
CN113469074B (zh) * 2021-07-06 2023-12-19 西安电子科技大学 基于孪生注意力融合网络的遥感图像变化检测方法及系统
CN115409842B (zh) * 2022-11-02 2023-02-24 山东锋士信息技术有限公司 一种基于卷积自编解码器的遥感图像无监督变化检测方法
CN116030048B (zh) * 2023-03-27 2023-07-18 山东鹰眼机械科技有限公司 灯检机及其方法
CN117671437B (zh) * 2023-10-19 2024-06-18 中国矿业大学(北京) 基于多任务卷积神经网络的露天采场识别与变化检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934166A (zh) * 2019-03-12 2019-06-25 中山大学 基于语义分割和孪生神经网络的无人机图像变化检测方法
CN109993220A (zh) * 2019-03-23 2019-07-09 西安电子科技大学 基于双路注意力融合神经网络的多源遥感图像分类方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2780595A1 (en) * 2011-06-22 2012-12-22 Roman Palenychka Method and multi-scale attention system for spatiotemporal change determination and object detection
US10262205B2 (en) * 2015-07-28 2019-04-16 Chiman KWAN Method and system for collaborative multi-satellite remote sensing
US10839211B2 (en) * 2017-08-08 2020-11-17 Spaceknow Inc. Systems, methods and computer program products for multi-resolution multi-spectral deep learning based change detection for satellite images
CN109766936B (zh) * 2018-12-28 2021-05-18 西安电子科技大学 基于信息传递和注意力机制的图像变化检测方法
CN110276269B (zh) * 2019-05-29 2021-06-29 西安交通大学 一种基于注意力机制的遥感图像目标检测方法
CN110263705B (zh) * 2019-06-19 2023-07-07 上海交通大学 面向遥感技术领域两期高分辨率遥感影像变化检测系统
CN110321859A (zh) * 2019-07-09 2019-10-11 中国矿业大学 一种基于深度孪生胶囊网络的光学遥感场景分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934166A (zh) * 2019-03-12 2019-06-25 中山大学 基于语义分割和孪生神经网络的无人机图像变化检测方法
CN109993220A (zh) * 2019-03-23 2019-07-09 西安电子科技大学 基于双路注意力融合神经网络的多源遥感图像分类方法

Also Published As

Publication number Publication date
CN111291622A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN111291622B (zh) 一种遥感影像中建筑物变化检测的方法及装置
CN110472483B (zh) 一种面向sar图像的小样本语义特征增强的方法及装置
CN107506740B (zh) 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
CN109086797B (zh) 一种基于注意机制的异常事件检测方法及系统
US20160224903A1 (en) Hyper-parameter selection for deep convolutional networks
CN108921877B (zh) 一种基于宽度学习的长期目标跟踪方法
CN113570859B (zh) 一种基于异步时空膨胀图卷积网络的交通流量预测方法
EP3295385A1 (en) Fixed point neural network based on floating point neural network quantization
CN105488563A (zh) 面向深度学习的稀疏自适应神经网络、算法及实现装置
CN110895705B (zh) 异常样本检测装置及其训练装置和训练方法
CN112489420B (zh) 一种公路交通状态预测方法、系统、终端以及存储介质
Meng et al. A Fast Recognition Algorithm of Online Social Network Images Based on Deep Learning.
CN113409361A (zh) 一种多目标跟踪方法、装置、计算机及存储介质
CN113111814A (zh) 基于正则化约束的半监督行人重识别方法及装置
US20230070439A1 (en) Managing occlusion in siamese tracking using structured dropouts
CN107704924A (zh) 同步自适应时空特征表达学习模型的构建方法及相关方法
CN114998890A (zh) 一种基于图神经网络的三维点云目标检测算法
CN115661860A (zh) 一种狗行为动作识别技术的方法、装置、系统及存储介质
CN118277770A (zh) 一种障碍物感知方法、装置、电子设备及存储介质
Shi et al. A new multiface target detection algorithm for students in class based on bayesian optimized YOLOv3 model
CN117475357B (zh) 基于深度学习的监控视频图像遮挡检测方法及系统
Ammous et al. Improved YOLOv3-tiny for silhouette detection using regularisation techniques.
CN114254738A (zh) 双层演化的动态图卷积神经网络模型构建方法及应用
Lee et al. SAF-Nets: Shape-Adaptive Filter Networks for 3D point cloud processing
CN115375966A (zh) 一种基于联合损失函数的图像对抗样本生成方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant