CN111274892B - 一种鲁棒的遥感影像变化检测方法及系统 - Google Patents

Abstract

本发明提供一种鲁棒的遥感影像变化检测方法及系统，该方法包括：将Flownet网络中的通道结构加入到Deeplab网络中，构建出Flow‑Deeplab网络；生成训练数据集，利用训练数据集对Flow‑Deeplab网络进行训练并优化，得到训练好的Flow‑Deeplab网络；利用训练好的Flow‑Deeplab网络对待检测遥感图像进行变化检测，根据Flow‑Deeplab网络的输出得到遥感图像的变化区域。本发明的Flow‑Deeplab网络可以实现双时相的遥感影像变化自动检测，并通过加入双重注意力机制可分别从空间维度和通道维度上的提取语义特征。

Description

一种鲁棒的遥感影像变化检测方法及系统

技术领域

本发明涉及遥感影像变化检测技术领域，特别是指一种鲁棒的遥感影像变化检测方法及系统。

背景技术

遥感影像变化检测方法是把不同时间的遥感影像变化部分识别出来，从前时相遥感影像和后时相遥感影像中寻找变化区域的一种技术，可挖掘高分辨率遥感影像数据的价值，应用于土地监督和土地利用上。

现有的技术基于传统方法的遥感影像变化检测算法，如C均值聚类，一般属于两阶段算法，先分类，然后使用做差法或者比值法得到变化区域，算法比较复杂而且对配准的要求比较高。

发明内容

本发明要解决的技术问题是提供一种鲁棒的遥感影像变化检测方法及系统，以解决现有遥感影像变化检测方法较复杂且对配准的要求比较高的问题。

为解决上述技术问题，本发明提供如下技术方案：

一种鲁棒的遥感影像变化检测方法，所述方法包括：

将Flownet网络中的通道结构加入到Deeplab网络中，使得所述Deeplab网络的输入可接受两张待检测的遥感图像，构建出Flow-Deeplab网络；

生成训练数据集，利用所述训练数据集对所述Flow-Deeplab网络进行训练并优化，得到训练好的Flow-Deeplab网络；

利用训练好的Flow-Deeplab网络对待检测遥感图像进行变化检测，根据Flow-Deeplab网络的输出结果得到待检测遥感图像的变化区域。

进一步地，在构建出Flow-Deeplab网络后，所述方法还包括：

在所述Flow-Deeplab网络中加入双重注意力机制，所述双重注意力机制包括位置注意力机制和通道注意力机制；其中，所述位置注意力机制对待检测遥感图像的位置特征进行关联来决定每个位置的权重；所述通道注意力机制对每个通道的特征图进行加权，选择最终的输出特征图。

进一步地，所述利用训练好的Flow-Deeplab网络对待检测遥感图像进行变化检测，包括：

首先使用Resnet101对待检测遥感图像进行图像特征提取，然后将提取的图像特征经过空间金字塔池化和全连接层；全连接层每一层产生的特征都含有加强的语义信息；采用ReLU函数作为所有激活函数；并在卷积神经网络中添加BN层，对数据做归一化操作，调整数据分布使得每层数据分布相对稳定；

对图像特征进行融合后采用3x3的卷积核进行卷积操作；其中，在Flow-Deeplab网络的上采样部分，最后一层上采样的输出图像与输入图像的大小相同；并使用交叉熵损失函数，保证误差的反向传播。

进一步地，在利用所述训练数据集对Flow-Deeplab网络进行训练并优化时，使用Adam优化方法优化损失，最终得到训练好的的Flow-Deeplab网络。

进一步地，所述根据Flow-Deeplab网络的输出结果得到待检测遥感图像的变化区域，包括：

对Flow-Deeplab网络的输出结果进行后处理，得到待检测遥感图像的变化区域；其中，所述后处理包括腐蚀、膨胀以及去噪点操作。

相应地，为解决上述技术问题，本发明还提供如下技术方案：

一种鲁棒的遥感影像变化检测系统，所述系统包括：

第一改进模块，用于将Flownet网络中的通道结构加入到Deeplab网络中，使得Deeplab网络的输入可接受两张待检测遥感图像，构建Flow-Deeplab网络；

训练模块，用于生成训练数据集，利用所述训练数据集对所述Flow-Deeplab网络进行训练并优化，得到训练好的Flow-Deeplab网络；

检测模块，用于利用训练好的Flow-Deeplab网络对待检测遥感图像进行变化检测，根据Flow-Deeplab网络的输出得到待检测遥感图像的变化区域。

进一步地，所述系统还包括第二改进模块，用于在Flow-Deeplab网络中加入双重注意力机制，所述双重注意力机制包括位置注意力机制和通道注意力机制；所述位置注意力机制对待检测遥感图像的位置特征进行关联来决定每个位置的权重；所述通道注意力机制对每个通道的特征图进行加权，选择最终的输出特征图。

进一步地，所述检测模块具体用于：

首先使用Resnet101对待检测遥感图像进行图像特征提取，然后将提取的图像特征经过空间金字塔池化和全连接层；全连接层每一层产生的特征都含有加强的语义信息；采用ReLU函数作为所有激活函数；并在卷积神经网络中添加BN层，对数据做归一化操作，调整数据分布使得每层数据分布相对稳定；

对图像特征进行融合后采用3x3的卷积核进行卷积操作；其中，在Flow-Deeplab网络的上采样部分，最后一层上采样的输出图像与输入图像的大小相同；并使用交叉熵损失函数，保证误差的反向传播。

进一步地，所述训练模块具体用于：

生成训练数据集，利用所述训练数据集对所述Flow-Deeplab网络进行训练，并使用Adam优化方法优化损失，得到训练好的的Flow-Deeplab网络。

进一步地，所述检测模块还用于：

对Flow-Deeplab网络的输出结果进行后处理，得到待检测遥感图像的变化区域；其中，所述后处理包括腐蚀、膨胀以及去噪点操作。

本发明的上述技术方案的有益效果如下：

本发明设计的鲁棒的遥感影像变化检测方法通过将Flownet网络中的双输入结构运用到Deeplab中，构建Flow-Deeplab网络；并将双通道注意力机制引入Flow-Deeplab网络，设计了Flow-Deeplab-Attention遥感影像变化检测网络；可实现双时相的遥感影像变化自动检测，并可分别从空间维度和通道维度上的提取语义特征；当高分辨率遥感影像比较复杂，普通卷积神经网络难以处理时，本发明设计的Flow-Deeplab-Attention网络模型比其他方法更为灵活、有效。

附图说明

图1为Flownet网络的示意图；

图2为本发明实施例提供的Flow-Deeplab网络的示意图；

图3为本发明实施例提供的鲁棒的遥感影像变化检测方法的流程图；

图4为本发明实施例提供的加入双注意力机制的Flow-Deeplab网络的网络框架图；

图5为位置注意力机制的网络结构图；

图6为通道注意力机制的网络结构图；

图7为加入双注意力机制的Flow-Deeplab和其他模型分割结果对比图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

第一实施例

请参阅图1至图7，本实施例提供一种鲁棒的遥感影像变化检测方法，通过深度卷积神经网络模型充分挖掘高分辨率遥感影像数据的价值，应用于土地监督和土地利用上。深度卷积神经网络模型从给定包含高分辨率遥感影像与相应真实标签的数据集，学习高分辨率遥感影像的数据信息与变化关系，最终能够直接从输入的高分辨率遥感卫星影像检测变化区域。

具体地，本实施例提供的鲁棒的遥感影像变化检测方法包括：

S101，将Flownet网络中的通道结构加入到Deeplab网络中，使得Deeplab网络的输入可接受两张待检测的遥感图像，构建出Flow-Deeplab网络；

需要说明的是，变化检测不仅需要提取每张遥感图像的特征，还需要找到不同时期遥感影像之间对应像素点的关系。光流预测就是寻找不同帧之间的变化关系，使用相邻帧之间的相关性计算物体运动信息。并且利用不同时期图像的像素在时间域上的变化寻找两帧之间的变化关系，并依据这个变化关系来计算不同帧之间物体的运动信息。Flownet网络最初是用在光流检测的网络，该网络的结构如图1所示。将一对图片分开处理，分别进入卷积层提取各自的特征，然后再对它们的特征进行匹配，寻找它们之间的联系。Flownet可以从一对图片中预测出变化区域。将图片对作为输入送入网络。

Flownet网络包含两个主要部分，分别是收缩部分和放大部分，收缩部分是网络的下采样部分，主要包含九层卷积结构，收缩部分具体实现方法是：第一个层使用卷积核的大小是7x7，第二个卷积层使用卷积核大小是5x5，第三个卷积层使用卷积核大小是3x3，第四个卷积层使用的卷积核大小是1x1，然后使用九次3x3大小的卷积核。使用的激活函数是ReLU激活函数。放大部分的作用是网络的上采样，此步骤重复四次，每一步提升两倍分辨率。

其中，上述S101主要是利用Flownet中的多张图像输入网络的特点，把Flownet中的通道结构作为改进，加入到Deeplab，改变Deeplab的输入使得网络接受两张遥感图像，融合Flownet网络的特点，融合了低层高分辨率信息与高层语义信息，增强卷积神经网络对遥感图像的表达能力，提高网络检测精度。

Flow-Deeplab网络的网络结构如图2所示，该网络呈对称结构，输入图像与输出图像大小相等，输入两张图像，适用于变化检测。

S102，生成训练数据集，利用训练数据集对Flow-Deeplab网络进行训练并优化，得到训练好的Flow-Deeplab网络；

其中，训练数据集的生成过程为：首先对数据进行预处理，包括数据增强、数据归一化、数据裁剪等等；然后把遥感影像数据集按8：1：1的比例划分，得到训练数据集、验证数据集以及测试数据集；其中训练集用于网络的训练。

训练时，把不同年份相应位置的遥感影像作为网络的输入，使得网络得到充分的训练；并使用Adam优化方法优化损失，最终得到训练好的网络模型。

S103，利用训练好的Flow-Deeplab网络对待检测遥感图像进行变化检测，根据Flow-Deeplab网络的输出结果得到待检测遥感图像的变化区域。

其中，为了得到更好的结果，本实施例对网络的输出结果使用膨胀、腐蚀以及去噪点等后处理操作后，得到更加平滑的最终结果。

具体地，利用本Flow-Deeplab网络进行遥感图像变化检测的过程包括：

首先使用Resnet101提取特征；然后经过空间金字塔池化，无全连接层，每一层产生的特征都含有加强的语义信息。因为随着网络的加深可能出现梯度消失，为了解决这个问题，本实施例采用ReLU函数作为所有激活函数。并且为了防止网络的过拟合，在卷积神经网络中添加了BN层，对数据做归一化操作，调整数据分布使得每层数据分布相对稳定，可以增强网络的泛化性能。融合后采用3x3的卷积核进行卷积。在上采样部分，最后一层上采样的输出与输入图像大小相同，并使用交叉熵损失函数，保证误差的反向传播。

此外，为了区分一些容易混淆的类别，有效完成遥感影像变化检测任务，本实施例在Flow-Deeplab网络中加入了双重注意力机制，可以分别从空间维度和通道维度上的提取语义特征。当高分辨率遥感影像比较复杂，普通卷积神经网络难以处理时，本实施例加入双重注意力机制的Flow-Deeplab网络比其他卷积神经网络更为灵活、有效，该网络模型的网络结构如图4所示。

视觉注意力机制是比较特别的信号处理机制。它的机制是首先扫描全局图像，从图像中获得重点目标区域，也就是注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。这种机制使得人类利用有限的注意力资源从大量信息中快速筛选出高价值信息，甚至是人类为了更好的生存进化中形成的结果，人类视觉注意力机制极大地提高了视觉信息处理的效率与准确性。

深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，核心目标也是从众多信息中选出对当前任务目标更关键的信息。至于注意力机制的具体计算过程，若对目前大多数方法进行抽象的话，可将其归纳为两个过程：第一个过程是计算权重系数，第二个过程根据权重系数进行加权求和。

本实施例主要是设计了一种基于双重自注意力机制的卷积神经网络Flow-Deeplab-Attention来捕获丰富的语境关联信息，并以此网络提高变化检测中容易混淆的类别问题。本实施例不是简单的用多尺度特征融合捕获语义信息，而是使用双重注意力机制的特点，结合局部特征与其全局依赖捕捉关联信息。具体实现方法是，本实施例巧妙的在原有的Flow-Deeplab网络上添加了两种注意力模块，构成了Flow-Deeplab-Attention。

Flow-Deeplab-Attention网络可以在空间维度和通道维度两个维度上找到语义关联信息。其中，位置注意力模块(Position Attention Module，PAM)对位置特征进行关联来决定每个位置的权重。另外，通道注意力模块(Channel Attention Module，CAM)对每个通道的特征图进行加权，选择最终的输出特征图。本实施例把两种注意力机制模块融合在一起，组成双重注意力机制模块，用来改进特征表示，并以此获得更高的精度和更好的输出效果。系统框架图如图4所示，位置注意力模块和通道注意力模块结构图分别如图5、图6所示。

位置注意力模块的作用机制是把不同位置上的两点上的信息关系找出来，来相互增强每个点的特征信息。它的做法是，首先把任意两点特征之间关联强度矩阵求解出来，假设原始特征为A，分别卷积降维得到B、C、D，然后转换特征图B的特征维度格式为((HxW)xC')，把特征图C的特征格式转换为(C'x(HxW))，然后把转换后的特征图B和转换后的特征图C相乘得到关联强度矩，关联强度矩的维度是((HxW)x(HxW))。关联强度矩经过softmax操作归一化得到特征图S，特征图S表示每个点对其他点的位置信息，两点对应的响应值表示两点特征相似度，如公式(1)所示。然后把特征图S中响应值作为加权对特征D进行加权融合，最后与原始特征A相加得到输出特征图E。

通道注意力模块的作用机制是融合不同通道之间的关联信息，把不同通道之间的信息关联起来。它的做法与位置注意力模块的做法比较相似，值得一提的区别是通道注意力机制并没有先使用卷积，而是将两个通道特征进行维度变换，然后做矩阵乘积，然后同样经过softmax操作获得特征注意力图X，特征注意力图X表示通道之间的关联强度。最后通道之间的加权融合，可以把通道之间的关系信息进行关联，得到的结果也会融合通道信息，获得的特征具有更强的语义响应。

本实施例把双重注意力机制融合进Flow-Deeplab网络得到了更为强大的Flow-Deeplab-Attention网络，为了可以准确的获得全局依赖关系的特征，把位置注意力模块和通道注意力模块的输出结果进行融合，形成了双重注意力机制，得到更强大的特征，更好的检测效果。

使用实验对比Flow-Deepplab以及Flow-Unet和Flow-Deeplab-Attention。并且每个模型预测结果都使用后处理，对比使用后处理操作前/后的预测结果。实验结果如图7所示，可看出本实施例设计的Flow-Deeplab-Attention有最好的精度，鲁棒性也比较好。并且能够快速地检测不同年份的高分辨率遥感影像变化区域，并很好的分割出来，具有很好的实际意义。

本实施例设计的鲁棒的遥感影像变化检测方法通过将Flownet网络中的双输入结构运用到Deeplab中，构建Flow-Deeplab网络；并将双通道注意力机制引入Flow-Deeplab网络，构建Flow-Deeplab-Attention遥感影像变化检测网络；可实现双时相的遥感影像变化自动检测，并可分别从空间维度和通道维度上的提取语义特征；当高分辨率遥感影像较复杂，普通卷积神经网络难以处理时，本实施例设计的Flow-Deeplab-Attention网络模型比其他方法更灵活、有效。

第二实施例

本实施例提供一种鲁棒的遥感影像变化检测系统，该系统包括：

第一改进模块，用于将Flownet网络中的通道结构加入到Deeplab网络中，使得Deeplab网络的输入可接受两张待检测遥感图像，构建Flow-Deeplab网络；

训练模块，用于生成训练数据集，利用所述训练数据集对所述Flow-Deeplab网络进行训练并优化，得到训练好的Flow-Deeplab网络；

检测模块，用于利用训练好的Flow-Deeplab网络对待检测遥感图像进行变化检测，根据Flow-Deeplab网络的输出得到待检测遥感图像的变化区域。

本实施例的鲁棒的遥感影像变化检测系统与上述第一实施例的鲁棒的遥感影像变化检测方法相对应；其中，本实施例的鲁棒的遥感影像变化检测系统中的各功能模块所实现的功能与上述第一实施例的鲁棒的遥感影像变化检测方法中的各流程步骤一一对应；故，在此不再赘述。

此外，需要说明的是，本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

最后需说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (6)

1.一种鲁棒的遥感影像变化检测方法，其特征在于，所述方法包括：

将Flownet网络中的通道结构加入到Deeplab网络中，使得所述Deeplab网络的输入可接受两张待检测的遥感图像，构建出Flow-Deeplab网络；

生成训练数据集，利用所述训练数据集对所述Flow-Deeplab网络进行训练并优化，得到训练好的Flow-Deeplab网络；

利用训练好的Flow-Deeplab网络对待检测遥感图像进行变化检测，根据Flow-Deeplab网络的输出结果得到待检测遥感图像的变化区域；

其中，在构建出Flow-Deeplab网络后，所述方法还包括：

在所述Flow-Deeplab网络中加入双重注意力机制，所述双重注意力机制包括位置注意力机制和通道注意力机制；其中，所述位置注意力机制对待检测遥感图像的位置特征进行关联来决定每个位置的权重；所述通道注意力机制对每个通道的特征图进行加权，选择最终的输出特征图；

所述利用训练好的Flow-Deeplab网络对待检测遥感图像进行变化检测，包括：

首先使用Resnet101对待检测遥感图像进行图像特征提取，然后将提取的图像特征经过空间金字塔池化和全连接层；全连接层每一层产生的特征都含有加强的语义信息；采用ReLU函数作为所有激活函数；并在卷积神经网络中添加BN层，对数据做归一化操作，调整数据分布使得每层数据分布相对稳定；

对图像特征进行融合后采用3x3的卷积核进行卷积操作；其中，在Flow-Deeplab网络的上采样部分，最后一层上采样的输出图像与输入图像的大小相同；并使用交叉熵损失函数，保证误差的反向传播。

2.如权利要求1所述的鲁棒的遥感影像变化检测方法，其特征在于，在利用所述训练数据集对所述Flow-Deeplab网络进行训练并优化时，使用Adam优化方法优化损失，最终得到训练好的的Flow-Deeplab网络。

3.如权利要求1所述的鲁棒的遥感影像变化检测方法，其特征在于，所述根据Flow-Deeplab网络的输出结果得到待检测遥感图像的变化区域，包括：

对Flow-Deeplab网络的输出结果进行后处理，得到待检测遥感图像的变化区域；其中，所述后处理包括腐蚀、膨胀以及去噪点操作。

4.一种鲁棒的遥感影像变化检测系统，其特征在于，所述系统包括：

第一改进模块，用于将Flownet网络中的通道结构加入到Deeplab网络中，使得Deeplab网络的输入可接受两张待检测遥感图像，构建Flow-Deeplab网络；

训练模块，用于生成训练数据集，利用所述训练数据集对所述Flow-Deeplab网络进行训练并优化，得到训练好的Flow-Deeplab网络；

检测模块，用于利用训练好的Flow-Deeplab网络对待检测遥感图像进行变化检测，根据Flow-Deeplab网络的输出得到待检测遥感图像的变化区域；

其中，所述系统还包括第二改进模块，用于在Flow-Deeplab网络中加入双重注意力机制，所述双重注意力机制包括位置注意力机制和通道注意力机制；所述位置注意力机制对待检测遥感图像的位置特征进行关联来决定每个位置的权重；所述通道注意力机制对每个通道的特征图进行加权，选择最终的输出特征图；

所述检测模块具体用于：

首先使用Resnet101对待检测遥感图像进行图像特征提取，然后将提取的图像特征经过空间金字塔池化和全连接层；全连接层每一层产生的特征都含有加强的语义信息；采用ReLU函数作为所有激活函数；并在卷积神经网络中添加BN层，对数据做归一化操作，调整数据分布使得每层数据分布相对稳定；

对图像特征进行融合后采用3x3的卷积核进行卷积操作；其中，在Flow-Deeplab网络的上采样部分，最后一层上采样的输出图像与输入图像的大小相同；并使用交叉熵损失函数，保证误差的反向传播。

5.如权利要求4所述的鲁棒的遥感影像变化检测系统，其特征在于，所述训练模块具体用于：

生成训练数据集，利用所述训练数据集对所述Flow-Deeplab网络进行训练，并使用Adam优化方法优化损失，得到训练好的的Flow-Deeplab网络。

6.如权利要求4所述的鲁棒的遥感影像变化检测系统，其特征在于，所述检测模块还用于：

对Flow-Deeplab网络的输出结果进行后处理，得到待检测遥感图像的变化区域；其中，所述后处理包括腐蚀、膨胀以及去噪点操作。

Images