CN112861690B - 多方法融合的遥感影像变化检测方法及系统 - Google Patents

多方法融合的遥感影像变化检测方法及系统 Download PDF

Info

Publication number
CN112861690B
CN112861690B CN202110139765.3A CN202110139765A CN112861690B CN 112861690 B CN112861690 B CN 112861690B CN 202110139765 A CN202110139765 A CN 202110139765A CN 112861690 B CN112861690 B CN 112861690B
Authority
CN
China
Prior art keywords
change
images
change detection
detection result
false alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110139765.3A
Other languages
English (en)
Other versions
CN112861690A (zh
Inventor
邓凯
张觅
李小凯
饶友琢
刘沁雯
胡平
王有年
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Handarui Technology Co ltd
Original Assignee
Wuhan Handarui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Handarui Technology Co ltd filed Critical Wuhan Handarui Technology Co ltd
Priority to CN202110139765.3A priority Critical patent/CN112861690B/zh
Publication of CN112861690A publication Critical patent/CN112861690A/zh
Application granted granted Critical
Publication of CN112861690B publication Critical patent/CN112861690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种多方法融合的遥感影像变化检测方法及系统，该方法包括基于语义信息对前后两期影像进行变化检测，获得前后两期影像的变化检测结果；基于对称编码‑解码的拼接网络结构FCSCN对前后两期影像进行处理，获得端对端变化信息；对变化检测结果和所述端对端变化信息进行融合，获得检测结果；若基于ResNet残差网络结构确认检测结果为虚警，则剔除所述虚警。本发明实施例通过联合多种方法进行变化检测，即融合基于语义信息的面向对象的变化检测方法和全卷积孪生拼接网络结构模型进行变化图斑粗提取，基于ResNet残差网络结构进行虚警抑制方法，构建了虚警判别模型，剔除变化检测的虚警，提高变化检测的图斑准确性。

Description

多方法融合的遥感影像变化检测方法及系统
技术领域
本发明涉及遥感影像处理领域，更具体地，涉及一种多方法融合的遥感影像变化检测方法及系统。
背景技术
遥感影像变化检测技术是在不同时相对地物进行多次观测从而识别其状态变化的过程的技术，已经广泛应用到土地调查、城市研究、生态系统监测、灾害监测评估以及军事侦察等应用中。变化检测的主要特点是处理和分析不同时间所获取的覆盖同一地区的多幅遥感影像，其所处理的数据量更多(多时相影像)、数据异质性更强(成像条件不同所带来的数据差异)、地物情况更复杂(变化地物和未变化地物相互混杂)。根据变化检测的发展历程和技术方向，可归为以下几类：基于像素简单运算的变化检测、基于图像变换的变化检测、基于图像变换的变化检测、基于机器学习的变化检测、面向对象的变化检测、基于深度学习的变化检测方法。
面向对象的变化检测是将原来的检测单元像素更改一组有特定关联的像素集合。关于面向对象的研究一方面是将面向对象与原本基于像素的变化检测方法结合，如王文杰等提出了一种面向对象特征融合的高分辨率遥感图像变化检测方法，通过对易康软件进行图像分割后的图斑对象提取光谱、纹理、形状等特征用插值法进行变化检测，最后将不同的对象特征集的变化检测结果进行融合获取最终变化信息。
随着深度学习在遥感领域的逐步推广，依靠深度学习的强大拟合能力，基于深度卷积神经网络(DCNN)的光学遥感影像变化检测方法受到了广泛的关注与研究。现有的基于深度学习的影像变化检测方法能够在不需要人工干预的情况下自主的学习到影像上反映变化区域的高维特征，并依据参考真值进行变化检测。然而，遥感影像场景复杂，变化类型多样，以及缺乏足量的参考标注数据对变化检测模型的训练进行训练等。这些问题给利用深度学习来实现智能变化检测带来了极大的挑战，单一方法往往难以取得令人满意的效果。
发明内容
为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的多方法融合的遥感影像变化检测方法及系统。
根据本发明实施例的第一方面，提供一种多方法融合的遥感影像变化检测方法，该方法包括：基于语义信息对前后两期影像进行变化检测，获得所述前后两期影像的变化检测结果；基于对称编码-解码的拼接网络结构FCSCN对前后两期影像进行处理，获得端对端变化信息；对所述变化检测结果和所述端对端变化信息进行融合，获得检测结果；若基于ResNet残差网络结构确认所述检测结果为虚警，则剔除所述虚警。
根据本发明实施例第二方面，提供了一种多方法融合的遥感影像变化检测系统，该系统包括：语义模块，用于基于语义信息对前后两期影像进行变化检测，获得所述前后两期影像的变化检测结果；编码模块，用于基于对称编码-解码的拼接网络结构FCSCN对前后两期影像进行处理，获得端对端变化信息；融合模块，用于对所述变化检测结果和所述端对端变化信息进行融合，获得检测结果；虚警模块，用于若基于ResNet残差网络结构确认所述检测结果为虚警，则剔除所述虚警。
根据本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的多方法融合的遥感影像变化检测方法。
根据本发明实施例的第四方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的多方法融合的遥感影像变化检测方法。
本发明实施例提供的多方法融合的遥感影像变化检测方法及系统，通过联合多种方法进行变化检测，即融合基于语义信息的面向对象的变化检测方法和全卷积孪生拼接网络结构(FCSCN)模型进行变化图斑粗提取，并基于ResNet残差网络结构进行虚警抑制方法，构建了虚警判别模型，剔除变化检测的虚警，提高变化检测的图斑准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1为本发明实施例提供的基于语义信息的面向对象变化检测技术路线图；
图2为本发明实施例提供的多尺度流形排序网络结构示意图；
图3为本发明实施例提供的基于语义信息的面向对象变化检测结果，其中，(a)为前期影像，(b)为后期影像，(c)为变化检测提取结果；
图4为本发明实施例提供的FCSCN网络结构；
图5为本发明实施例提供的FCSCN多gpu并行计算示意图；
图6为本发明实施例提供的基于FCSCN端对端变化检测结果，其中，(a)为前期影像，(b)为后期影像；
图7为本发明实施例提供的采用ResNet网络剔除变化检测虚警，提高准确性的示意图；
图8为本发明实施例提供的ResNet网络信息传递示意图；
图9为本发明实施例提供的基于变化图斑特征再检测机制虚警抑制的变化检测提取结果，其中，(a)为2018年0.5m影像，(b)为2019年1m影像；
图10为本发明实施例提供的多方法融合的遥感影像变化检测方法的流程示意图；
图11为本发明实施例提供的多方法融合的遥感影像变化检测系统的结构示意图；
图12为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
针对多时相遥感影像因光照、大气、季节，传感器姿态不同，导致两期影像相同区域颜色与纹理特征分布不均、投影差大等问题，本发明实施例提供一种多方法融合的遥感影像变化检测方法，其为一种联合多种方法进行变化检测的策略，即融合基于语义信息的面向对象的变化检测方法和全卷积孪生拼接网络结构(FCSCN)模型进行变化图斑粗提取，并基于ResNet残差网络结构进行虚警抑制方法，构建了虚警判别模型，剔除变化检测的虚警，提高变化检测的图斑准确性。
参见附图10，本发明实施例提供一种多方法融合的遥感影像变化检测方法，包括但不限于：
步骤101、基于语义信息对前后两期影像进行变化检测，获得所述前后两期影像的变化检测结果；
步骤102、基于对称编码-解码的拼接网络结构FCSCN对前后两期影像进行处理，获得端对端变化信息；
步骤103、对所述变化检测结果和所述端对端变化信息进行融合，获得检测结果；
步骤103、若基于ResNet残差网络结构确认所述检测结果为虚警，则剔除所述虚警。
具体地，本发明首先进行基于语义信息的面向对象变化检测和基于FCSCN端对端变化检测提取，并对两个结果进行加权融合，确保变化图斑的查全率。在高查全率的前提下，通过ResNet判断变化检测结果是否为虚警，来达到剔除虚警、提高检测准确率的目的。
基于上述实施例的内容，作为一种可选实施例，所述基于语义信息对前后两期影像进行变化检测，包括：对所述前后两期影像进行多尺度流形排序语义分割以及超像素分割，以使用超像素来代替像素来进行分析；分别提取所述前后两期影像的特征，通过比较述前后两期影像之间特征的差异获得变化疑似区域。
基于上述实施例的内容，作为一种可选实施例，所述特征包括纹理、结构和/或梯度特征；所述纹理特征包括灰度共生矩阵特征；所述梯度特征包括方向梯度直方图特征。
具体地，步骤1.基于语义信息的面向对象变化检测
采用面向对象的变化检测方法，本发明将前后两期影像使用SLIC分割算法分别进行超像素分割，通过计算前后两期影像的分割对象的光谱差异，纹理差异，结合分割对象的语义信息、上下文特征提取出两期影像的变化置信度图，通过最大类间方差前背景分割算法二值化变化置信度图最后输出变化图斑。技术路线图如图1所示。实施例中具体步骤如下：
1.1多尺度流形排序语义分割技术
多尺度流形排序优化网络结构主要包括三部分。一、影像特征多尺度编码，充分利用卷积神经网络池化操作(pooling)所隐含的尺度信息，对影像尺度进行编码。二、“扩张-非扩张”卷积层，抑制感受视野过大所带来的问题，使网络的感受视野保持在合适范围。三、“端对端”的多标签流形排序优化方法嵌入，用于融合影像特征编码所需的先验知识。多尺度流形排序网络结构示意图如图2所示。
其中前两部分可以通过网络结构调整得以实现，第三部分采用多标签流形排序方法融合先验知识，具体方法如下：给定一张高分辨率影像TM×N，其是由像素点所构成的集合。语义分割的过程，目的是将每一个像素点pi归类为K种可能类别之一。换而言之，每一个像素点pi将会被分配至具有最大流形排序值所对应的标签索引上。令fk(pi)表示像素点pi的第k种类别所对应的流形排序值，那么像素点pi被分配的最优标签可以用下式表示：
公式(1)中，最优标签即最大的流形排序值的类别索引，下文中/>与/>具有同等含义。那么多标签流形排序优化能量式1即可写为如下形式：
对公式(2)中涉及到的待学习参数，进行连续域内前向传播和反向传播求解，即可得能量式到“端对端”的表达。
1.2超像素分割
为了使最后的变化图斑更符合实际地物的轮廓，对影像进行超像素分割，使用超像素来代替像素来进行分析。超像素是指具有相似纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块。本发明采取SLIC算法分割影像，能生成紧凑、近似均匀的超像素，在运算速度，物体轮廓保持、超像素形状方面具有较高的综合评价，比较符合人们期望的分割效果。
1.3特征提取
分别提取前后期两期影像的纹理、结构、梯度等特征，通过比较两者之间特征的差异来得到变化疑似区域。
本发明影像的纹理特征采取的是灰度共生矩阵(Gray-level Co-occurrenceMatrix GLCM)特征，GLCM特征具有计算简单、对图像的灰度变化具有单调不变性的特点，并且也能较好的反映局部区域的灰度变化情况。
在一副图像中，局部目标的表象和形状(appearance and shape)能够被梯度或边缘的方向密度分布很好地描述。方向梯度直方图(Histogram of Oriented Gradient,HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。所检测的局部物体外形能够被梯度或边缘方向的分布所描述，HOG能较好地捕捉局部形状信息，对几何和光学变化都有很好的不变性；HOG是在密集采样的图像块中求取的，在计算得到的HOG特征向量中隐含了该块与检测窗口之间的空间位置关系。在遥感影像中，HOG特征对地物的形状和方向具有比较好的表征能力，在变化检测中使用HOG特征是非常有效的。
结合上述GLCM，HOG以及颜色等特征可以提取出疑似变化的区域，提取结果如图3所示。
基于上述实施例的内容，作为一种可选实施例，所述基于对称编码-解码的拼接网络结构FCSCN为采用深度学习的卷积神经网络DCNN的方法设计的基于全卷积神经网络FCN和暹罗Siam神经网络的网络结构；所述FCSCN的编码部分中，采用相同的网络和权重，对不同时相的遥感影像进行逐层特征提取，并做特征拼接，之后在解码部分采用上采样得到最后的变化图。
基于上述实施例的内容，作为一种可选实施例，基于对称编码-解码的拼接网络结构FCSCN对前后两期影像进行处理，包括：对所述前后两期影像进行预处理，以减少所述前后期影像因时相不同而造成的颜色差异；将所述前后两期影像输入至训练好的FCSCN中，获得FCSCN输出的变化图。
基于上述实施例的内容，作为一种可选实施例，对所述前后两期影像进行预处理包括：直方图匹配处理以及前后期影像归一化处理。
具体地，步骤2.基于FCSCN端对端变化信息提取
主要运用深度学习的卷积神经网络(DCNN)的方法，设计一个基于全卷积神经网络(FCN)和暹罗(Siam)神经网络的对称编码-解码的拼接网络结构(FCSCN)，在编码部分，应用相同的网络和权重，对不同时相的遥感影像进行逐层特征提取，并做特征拼接，之后在解码部分采用上采样得到最后的变化图。具体方法和步骤如下：
2.1影像预处理。
对前后期变化检测输入影像做预处理，其目的是减少前后期影像因时相不同而造成的颜色差异，包括影像直方图匹配、前后期影像归一化。
(1)直方图匹配
假设输入的前后期遥感影像为X1,X2,其中影像的宽与高分别用m和n表示；影像通道数为c，对于RGB三通道影像c＝3。X1为待匹配影像，X2为参考图像。先分别统计X1,X2每个通道的累计直方图其中i＝1，2，3，假设灰度级别为L,对于8位的图像，0≤L≤255。在/>中，每个灰度级的个数分别表示为/>对于/>中的每个灰度级/>对应匹配后的灰度级/>有：
(2)前后期影像归一化
对应前后期影像的归一化其目的是将前后期影像的灰度值映射到0～1的范围，对于8位的影像，将匹配后的影像X1,X2分别除以255得到归一化的影像X1′，X2′。
2.2FCSCN模型的训练和预测。
如图4所示，不同时相影像进行预处理后，将前后期影像分别输入到网络中。其中在编码部分，采用权值共享的暹罗(Siam)神经网络，对前后期影像进行逐层的特征提取。在解码部分从高维特征逐层的运用上采样进行解码，在每一层上采样前，将对应的编码特征拼接到当前的特征中，再进行下一层的上采样。通过这种编码与解码的对偶特征结合，得到最后的变化图。
(1)FCSCN模型的训练及损失函数。
损失函数驱动模型训练的根源，假设gt代表变化检测真值，pred表示输出的预测特征值。损失函数定义为：
目标函数中，pw表示均衡变化与未变化区域的均衡因子，计算方式如下：
其中，cn是变化检测真值gt中未变化区域所占像素个数，cp为变化检测真值gt中变化区域所占像素个数。
在模型训练时，对损失函数采用随机梯度下降法(SGD)进行模型训练。此外，对输入的样本进行随机的裁剪、翻转、以及旋转。其目的在于增加样本的多样性以及复杂性，以增加模型的泛化能力。
(2)FCSCN模型的预测。
在得到训练好的模型后，可对测试数据进行预测。由于FCSCN模型主要是采用卷积计算及池化计算，将影像分块后，块与块之间计算相互独立，可利用多gpu并行对每块进行并行计算以达到提高速度的目的。多gpu并行计算如图5所示，将每一块分配到每个gpu中，同时进行预测，最后将每一块的结果合成得到最终结果。
变化检测结果如图6所示。
基于上述实施例的内容，作为一种可选实施例，若基于ResNet残差网络结构确认所述检测结果为虚警，包括：将所述前后两期影像进行直方图匹配；对所述前后两期影像进行差分处理，融合两期影像的信息，作为ResNet网络的输入；根据ResNet网络的输出结果判断检测结果是否为虚警。
具体地，步骤3.基于变化图斑特征再检测机制的虚警抑制
由于影像的光谱差异、时相季节差异、传感器差异、分辨率差异导致变化检测结果的虚警占据检测结果的70-80％，本文采用一种基于ResNet残差网络结构的变化图斑再检测机制的虚警抑制方法了剔除变化检测的虚警，提高变化检测的图斑准确性。
采用ResNet网络剔除变化检测虚警，提高准确性的示意图如图7所示。
使用ResNet提高变化检测图斑准确率主要有3个步骤，变化检测样本的采集，将两期影像融合做预处理，然后进行模型训练。
3.1变化检测样本采集
使用基于语义信息的面对对象的变化检测和基于FCSCN端对端变化信息提取的结果做融合，可以确保变化图斑的查全率，人工标注变化检测的图斑是否为真正变化，制作变化图斑的样本集。
3.2影像预处理
将变化图斑对应前后两期影像进行直方图匹配，使得两期影像色彩相近，然后对两期影像做差分处理，融合两期影像的信息，作为Resnet网络输入。
影像融合处理：
R,G,B差分两期影像的新的RGB值，R1,B1,G1,R2,B2,G2前后两期影像的RGB值，A和B分别为系数。
为了适应ResNet的网络，前后期影像直方图匹配后，对两期影像差分处理，得到两期影像的差分图像，将差分图像作为输入使用ResNet进行训练。
3.3ResNet模型训练
传统的卷积层或全连接层在信息传递时，或多或少会存在信息丢失、损耗等问题。ResNet为了解决深度网络的退化问题，通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络则只需要学习输入、输出差别的那一部分，简化学习目标和难度。ResNet残差网络核心结构如图8所示。
表1 ResNet网络结构
通过ResNet判断变化检测结果是否为虚警，来达到剔除虚警、提高检测准确率的目的。变化检测结果如图9所示。
基于上述实施例的内容，本发明实施例提供了一种多方法融合的遥感影像变化检测系统，该多方法融合的遥感影像变化检测系统用于执行上述方法实施例中的多方法融合的遥感影像变化检测方法。参见图11，该系统包括：语义模块301，用于基于语义信息对前后两期影像进行变化检测，获得所述前后两期影像的变化检测结果；编码模块302，用于基于对称编码-解码的拼接网络结构FCSCN对前后两期影像进行处理，获得端对端变化信息；融合模块303，用于对所述变化检测结果和所述端对端变化信息进行融合，获得检测结果；虚警模块304，用于若基于ResNet残差网络结构确认所述检测结果为虚警，则剔除所述虚警。
本发明实施例提供了一种电子设备，如图12所示，该设备包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503上并可在处理器501上运行的计算机程序，以执行上述各实施例提供的多方法融合的遥感影像变化检测方法，例如包括：基于语义信息对前后两期影像进行变化检测，获得所述前后两期影像的变化检测结果；基于对称编码-解码的拼接网络结构FCSCN对前后两期影像进行处理，获得端对端变化信息；对所述变化检测结果和所述端对端变化信息进行融合，获得检测结果；若基于ResNet残差网络结构确认所述检测结果为虚警，则剔除所述虚警。
此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的多方法融合的遥感影像变化检测方法，例如包括：基于语义信息对前后两期影像进行变化检测，获得所述前后两期影像的变化检测结果；基于对称编码-解码的拼接网络结构FCSCN对前后两期影像进行处理，获得端对端变化信息；对所述变化检测结果和所述端对端变化信息进行融合，获得检测结果；若基于ResNet残差网络结构确认所述检测结果为虚警，则剔除所述虚警。
以上所描述的电子设备等实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种多方法融合的遥感影像变化检测方法，其特征在于，包括：
基于语义信息对前后两期影像进行变化检测，获得所述前后两期影像的变化检测结果；
基于对称编码-解码的拼接网络结构FCSCN对前后两期影像进行处理，获得端对端变化信息；
对所述变化检测结果和所述端对端变化信息进行融合，获得检测结果；
若基于ResNet残差网络结构确认所述检测结果为虚警，则剔除所述虚警；
所述基于语义信息对前后两期影像进行变化检测，包括：
对所述前后两期影像进行多尺度流形排序语义分割以及超像素分割，以使用超像素来代替像素来进行分析；
分别提取所述前后两期影像的特征，通过比较述前后两期影像之间特征的差异获得变化疑似区域；
所述基于对称编码-解码的拼接网络结构FCSCN为采用深度学习的卷积神经网络DCNN的方法设计的基于全卷积神经网络FCN和暹罗Siam神经网络的网络结构；所述FCSCN的编码部分中，采用相同的网络和权重，对不同时相的遥感影像进行逐层特征提取，并做特征拼接，之后在解码部分采用上采样得到最后的变化图；若基于ResNet残差网络结构确认所述检测结果为虚警，包括：
将所述前后两期影像进行直方图匹配；
对所述前后两期影像进行差分处理，融合两期影像的信息，作为ResNet网络的输入；
根据ResNet网络的输出结果判断检测结果是否为虚警。
2.根据权利要求1所述的方法，其特征在于，所述特征包括纹理、结构和/或梯度特征；所述纹理特征包括灰度共生矩阵特征；所述梯度特征包括方向梯度直方图特征。
3.根据权利要求1所述的方法，其特征在于，基于对称编码-解码的拼接网络结构FCSCN对前后两期影像进行处理，包括：
对所述前后两期影像进行预处理，以减少所述前后两期影像因时相不同而造成的颜色差异；
将所述前后两期影像输入至训练好的FCSCN中，获得FCSCN输出的变化图。
4.根据权利要求3所述的方法，其特征在于，对所述前后两期影像进行预处理包括：直方图匹配处理以及前后期影像归一化处理。
5.一种多方法融合的遥感影像变化检测系统，其特征在于，包括：
语义模块，用于基于语义信息对前后两期影像进行变化检测，获得所述前后两期影像的变化检测结果；
编码模块，用于基于对称编码-解码的拼接网络结构FCSCN对前后两期影像进行处理，获得端对端变化信息；
融合模块，用于对所述变化检测结果和所述端对端变化信息进行融合，获得检测结果；
虚警模块，用于若基于ResNet残差网络结构确认所述检测结果为虚警，则剔除所述虚警；
所述基于语义信息对前后两期影像进行变化检测，包括：
对所述前后两期影像进行多尺度流形排序语义分割以及超像素分割，以使用超像素来代替像素来进行分析；
分别提取所述前后两期影像的特征，通过比较述前后两期影像之间特征的差异获得变化疑似区域；
所述基于对称编码-解码的拼接网络结构FCSCN为采用深度学习的卷积神经网络DCNN的方法设计的基于全卷积神经网络FCN和暹罗Siam神经网络的网络结构；所述FCSCN的编码部分中，采用相同的网络和权重，对不同时相的遥感影像进行逐层特征提取，并做特征拼接，之后在解码部分采用上采样得到最后的变化图；若基于ResNet残差网络结构确认所述检测结果为虚警，包括：
将所述前后两期影像进行直方图匹配；
对所述前后两期影像进行差分处理，融合两期影像的信息，作为ResNet网络的输入；
根据ResNet网络的输出结果判断检测结果是否为虚警。
6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述多方法融合的遥感影像变化检测方法的步骤。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述多方法融合的遥感影像变化检测方法的步骤。
CN202110139765.3A 2021-02-01 2021-02-01 多方法融合的遥感影像变化检测方法及系统 Active CN112861690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110139765.3A CN112861690B (zh) 2021-02-01 2021-02-01 多方法融合的遥感影像变化检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110139765.3A CN112861690B (zh) 2021-02-01 2021-02-01 多方法融合的遥感影像变化检测方法及系统

Publications (2)

Publication Number Publication Date
CN112861690A CN112861690A (zh) 2021-05-28
CN112861690B true CN112861690B (zh) 2024-02-02

Family

ID=75986023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110139765.3A Active CN112861690B (zh) 2021-02-01 2021-02-01 多方法融合的遥感影像变化检测方法及系统

Country Status (1)

Country Link
CN (1) CN112861690B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469074B (zh) * 2021-07-06 2023-12-19 西安电子科技大学 基于孪生注意力融合网络的遥感图像变化检测方法及系统
CN113807198B (zh) * 2021-08-24 2023-08-22 深圳市魔方卫星科技有限公司 道路网变化检测方法、模型训练方法、装置、设备及介质
CN114299290B (zh) * 2021-12-24 2023-04-07 腾晖科技建筑智能(深圳)有限公司 裸土识别方法、装置、设备及计算机可读存储介质
CN115311569B (zh) * 2022-08-16 2023-08-22 自然资源部国土卫星遥感应用中心 基于遥感影像的推填土变化检测方法、装置和终端设备
CN115170575B (zh) * 2022-09-09 2022-12-23 阿里巴巴（中国）有限公司 遥感影像变化检测及模型训练的方法及设备
CN115410096B (zh) * 2022-11-03 2023-01-24 成都国星宇航科技股份有限公司 卫星遥感影像多尺度融合变化检测方法、介质及电子装置
CN116129265B (zh) * 2023-01-03 2024-03-08 国网湖北省电力有限公司经济技术研究院 一种基于神经网络的遥感影像工程量监测方法
CN115761518B (zh) * 2023-01-10 2023-04-11 云南瀚哲科技有限公司 一种基于遥感图像数据的作物分类方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6760468B1 (en) * 1996-02-06 2004-07-06 Deus Technologies, Llc Method and system for the detection of lung nodule in radiological images using digital image processing and artificial neural network
CN110969088A (zh) * 2019-11-01 2020-04-07 华东师范大学 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法
US10664722B1 (en) * 2016-10-05 2020-05-26 Digimarc Corporation Image processing arrangements
CN111640159A (zh) * 2020-05-11 2020-09-08 武汉大学 一种基于孪生卷积神经网络的遥感影像变化检测方法
WO2020232905A1 (zh) * 2019-05-20 2020-11-26 平安科技（深圳）有限公司 基于超对象信息的遥感图像目标提取方法、装置、电子设备及介质
KR102197297B1 (ko) * 2019-09-27 2020-12-31 서울대학교산학협력단 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법
CN112287807A (zh) * 2020-10-27 2021-01-29 武汉大学 一种基于多分支金字塔神经网络的遥感影像道路提取方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3066228A1 (en) * 2017-06-28 2019-01-03 Magic Leap, Inc. Method and system for performing simultaneous localization and mapping using convolutional image transformation
US10552707B2 (en) * 2017-12-07 2020-02-04 Qualcomm Incorporated Methods and devices for image change detection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6760468B1 (en) * 1996-02-06 2004-07-06 Deus Technologies, Llc Method and system for the detection of lung nodule in radiological images using digital image processing and artificial neural network
US10664722B1 (en) * 2016-10-05 2020-05-26 Digimarc Corporation Image processing arrangements
WO2020232905A1 (zh) * 2019-05-20 2020-11-26 平安科技（深圳）有限公司 基于超对象信息的遥感图像目标提取方法、装置、电子设备及介质
KR102197297B1 (ko) * 2019-09-27 2020-12-31 서울대학교산학협력단 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법
CN110969088A (zh) * 2019-11-01 2020-04-07 华东师范大学 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法
CN111640159A (zh) * 2020-05-11 2020-09-08 武汉大学 一种基于孪生卷积神经网络的遥感影像变化检测方法
CN112287807A (zh) * 2020-10-27 2021-01-29 武汉大学 一种基于多分支金字塔神经网络的遥感影像道路提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进UNet孪生网络的遥感影像矿区变化检测;向阳;赵银娣;董霁红;;煤炭学报(12);全文 *

Also Published As

Publication number Publication date
CN112861690A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112861690B (zh) 多方法融合的遥感影像变化检测方法及系统
CN107578418B (zh) 一种融合色彩和深度信息的室内场景轮廓检测方法
CN107564025B (zh) 一种基于深度神经网络的电力设备红外图像语义分割方法
CN110648334A (zh) 一种基于注意力机制的多特征循环卷积显著性目标检测方法
Li et al. Multiscale features supported DeepLabV3+ optimization scheme for accurate water semantic segmentation
CN108648161B (zh) 非对称核卷积神经网络的双目视觉障碍物检测系统及方法
CN109558806B (zh) 高分遥感图像变化的检测方法
CN107169954B (zh) 一种基于并行卷积神经网络的图像显著性检测方法
CN113313657B (zh) 一种用于低光照图像增强的非监督学习方法和系统
CN112949565A (zh) 基于注意力机制的单样本部分遮挡人脸识别方法及系统
CN109376591B (zh) 深度学习特征与视觉特征联合训练的船只目标检测方法
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN108304786A (zh) 一种基于二值化卷积神经网络的行人检测方法
CN107506792B (zh) 一种半监督的显著对象检测方法
CN111754438A (zh) 基于多分支门控融合的水下图像复原模型及其复原方法
CN113449691A (zh) 一种基于非局部注意力机制的人形识别系统及方法
CN114943876A (zh) 一种多级语义融合的云和云影检测方法、设备及存储介质
CN108388901B (zh) 基于空间-语义通道的协同显著目标检测方法
CN114612709A (zh) 图像金字塔特征指导的多尺度目标检测方法
Zhang et al. Dense haze removal based on dynamic collaborative inference learning for remote sensing images
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN111539434B (zh) 基于相似度的红外弱小目标检测方法
CN112330562A (zh) 一种异构遥感图像变换方法及系统
CN110796716A (zh) 一种基于多重残差网络和正则化迁移学习的图像着色方法
CN115578624A (zh) 农业病虫害模型构建方法、检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant