CN112861931A

CN112861931A - 一种基于差异注意力神经网络的多级别变化检测方法

Info

Publication number: CN112861931A
Application number: CN202110083681.2A
Authority: CN
Inventors: 程明明; 梅杰; 郑一博
Original assignee: Nankai University
Current assignee: Nankai University
Priority date: 2021-01-21
Filing date: 2021-01-21
Publication date: 2021-05-28
Anticipated expiration: 2041-01-21
Also published as: CN112861931B

Abstract

本公开提供了一种基于差异注意力神经网络的多级别变化检测方法，基于多时序图像融合技术，由自底向上网络、差异引导的注意力模块、自顶向下网络构成，差异引导的注意力模块包含两个串联的分支，分别是双时序聚合分支和差异注意力分支，前者用于学习双时序图像间的全局变化信息，后者用于探索图像间多级别变化的局部关系，提高不同变化的判别能力；本公开改进了U型网络结构中自底向上和自顶向下之间的特征学习过程，不仅保留了每个输入特征图的空间尺寸，而且实现了双时序图像间全局和局部差异信息的学习，可同时完成建筑物的分割和多级别损毁检测两个任务，显著提高了变化检测的效率和效果。

Description

一种基于差异注意力神经网络的多级别变化检测方法

技术领域

本公开涉及图像处理技术领域，特别涉及一种基于差异注意力神经网络的多级别变化检测方法。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

近年来随着计算机技术的不断进步，以及生活和工业中的广泛需求，图像处理技术得到了蓬勃的发展。图像处理中的变化检测技术用于检测不同时序图像间的变化，其被多用于分析土地覆盖和地物类型的动态变化。由于遥感图像不仅能够提供同一地区不同时序的图像，而且获取相对容易，这为变化检测在多个领域的应用提供了必要的支持，例如灾害评估、环境监测、城市化评估，以及资源管理等领域。当自然灾害发生时，为了及时的救助受灾人群并分配救灾物资，快速的评估灾害的严重性和范围是非常关键的。然而目前的多数机构采用人工分析灾前灾后遥感图像的方式，费时费力且不适应大尺度的区域。自动变化检测技术可以提高效率和精度，近几年获得了越来越多的关注和发展。

传统的变化检测研究多利用不同时序图像间像素的差异来识别变化。这类方法一般是针对特定的数据而设计的，难以应用到其他灾害或区域的图像上。随着深度学习的发展和商用GPU的普及，卷积神经网络(CNN)被广泛应用于计算机视觉中的多个任务，例如场景分类、语义分割、目标探测、显著性检测等。卷积神经网络能够提取低层次的纹理特征和高层次的语义特征，目前也有一些研究将卷积神经网络用于变化检测，其中全卷积孪生神经网络是应用最为广泛的一种网络结构。

全卷积孪生网络最早被提出应用于视频中的目标跟踪问题。在变化检测任务中，全卷积孪生网络包含两个权重共享的神经网络，其中一个使用前时序的图像进行训练，另一个网络基于前者的训练权重，利用后时序的图像开展进一步训练，最后输出变化检测的结果。由于U型全卷积网络强大的特征提取能力，其在计算机视觉的多个任务中都获得了较好的性能表现。典型的U型网络结构包含一个自底向上的分支，一个自顶向下的分支以及它们之间的多个连接。旨在推进变化检测的性能，U型结构被用于全卷积孪生网络，形成U型孪生网络，这是目前在变化检测任务中表现较好，应用较多的一种网络结构。

发明人发现，已有的基于U型孪生网络结构的方法，需要经过单独的两个训练步骤，过程较为繁琐，需要的时间较多，且双时序的图像被分开训练，不能充分的利用其中的时序信息。此外，这些方法通常直接连接U型网络结构中自底向上和自顶向下两个分支间相应的阶段，将高层次的特征经过上采样，直接与低层次的纹理特征相融合，而忽略了两者之间的深层联系。使用这样的网络结构可以检测出双时序图像间的变化，但却不能识别出变化的尺度和等级，在实际应用中的实用效果有限。

发明内容

为了解决现有技术的不足，本公开提供了一种基于差异注意力神经网络的多级别变化检测方法，改进了U型网络结构中自底向上和自顶向下之间的特征学习过程，不仅保留了每个输入特征图的空间尺寸，而且实现了双时序图像间全局和局部多级别差异信息的学习。

为了实现上述目的，本公开采用如下技术方案：

本公开第一方面提供了一种基于差异注意力神经网络的多级别变化检测方法。

一种基于差异注意力神经网络的多级别变化检测方法，包括以下步骤：

获取待检测的双时序图像数据；

将获取的图像数据输入到预设神经网络模型中，得到双时序图像间的变化检测结果；

其中，预设神经网络模型包括自底向上网络、差异引导的注意力模块和自顶向下网络，差异引导的注意力模块包括相互串联的双时序聚合分支和差异注意力分支；

双时序聚合分支对前时序图像和后时序图像的特征进行转换处理，差异注意力分支对双时序聚合分支输出的特征进行自注意机制学习，差异引导的注意力模块输出的特征经过两两融合构建自顶向下网络。

本公开第二方面提供了一种基于差异注意力神经网络的多级别变化检测系统。

一种基于差异注意力神经网络的多级别变化检测系统，包括：

数据获取模块，被配置为：获取待检测的双时序图像数据；

变化检测模块，被配置为：将获取的图像数据输入到预设神经网络模型中，得到双时序图像间的变化检测结果；

本公开第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的基于差异注意力神经网络的多级别变化检测方法中的步骤。

本公开第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的基于差异注意力神经网络的多级别变化检测方法中的步骤。

与现有技术相比，本公开的有益效果是：

本公开所述的方法、系统、介质或电子设备，改进了U型网络结构中自底向上和自顶向下之间的特征学习过程，利用差异引导的注意力模块，来学习双时序图像中的全局变化信息，同时探索图像间多级别变化的局部关系，能够识别出变化的尺度和等级，提高了不同变化的判别能力；

本公开所述的方法、系统、介质或电子设备，可以同时对双时序的图像进行训练，并完成建筑物的分割和多级别损毁检测两个任务。

本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例1提供的基于差异注意力神经网络的多级别变化检测方法流程示意图。

图2为本公开实施例1提供的基于差异注意力神经网络的多级别变化检测方法中的差异引导的注意力模块双时序聚合分支结构图。

图3为本公开实施例1提供的基于差异注意力神经网络的多级别变化检测方法中的差异引导的注意力模块差异注意力分支结构图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

实施例1：

如背景技术中所述，本公开需要解决的技术问题是针对图像多级别变化检测任务，设计U型网络结构中自底向上和自顶向下两个分支之间的联系来增强多级别变化差异的识别能力，本公开的目的是提出一种基于新型差异引导的注意力神经网络技术，来应对双时序图像间的光照和配准差异，学习其中的全局变化信息，同时探索图像间多级别变化的局部关系，提高不同变化的判别能力。

因此，本公开实施例1提供了一种基于差异注意力神经网络的多级别变化检测方法，包括以下步骤：

选择已有的深度学习模型作为自底向上的网络，使用预训练权重来对输入的双时序图像提取特征，包括：

前时序图像的特征：f_b1、f_b2、f_b3、f_b4、f_b5，后时序图像特征：f_a1、f_a2、f_a3、f_a4、f_a5；

利用差异引导的注意力模块来对上一步学习到的特征进行处理，包括：

利用双时序聚合分支D对前时序图像和后时序图像的特征进行转换处理，得到转换后的特征：D(f_b1,f_a1)、D(f_b2,f_a2)、D(f_b3,f_a3)、D(f_b4,f_a4)、D(f_b5,f_a5)；

利用差异注意力分支A来对双时序聚合分支D输出的特征进行自注意机制学习。

差异引导的注意力模块输出的特征经过两两融合构建自顶向下网络。

将预测的变化检测结果与真值图像计算损失函数，回传梯度，更新参数。

具体的，自底向上网络、差异引导的注意力模块和自顶向下网络的结构和工作方法如下：

S1：自底向上网络。

选择在ImageNet数据集上已经预训练好的深度神经网络作为基础特征提取网络，这里选择经典的ResNet101模型，按照其网络结构，将自底向上网络划分为5个阶段。

将双时序图像输入到自底向上网络中，从五个阶段分别提取出两个时序的5个特征，包括：

前时序图像的特征：f_b1、f_b2、f_b3、f_b4、f_b5，后时序图像特征：f_a1、f_a2、f_a3、f_a4、f_a5。

S2：差异引导的注意力模块。

差异引导的注意力模块的输入选择自底向上网络输出的两个时序的特征，进行两两处理。

差异引导的注意力模块包含两个串联的分支，分别是双时序聚合分支(如图2所示)和差异注意力分支(如图3所示)。前者用于学习双时序图像间的全局变化信息，后者用于探索图像间多级别变化的局部关系。

在双时序聚合分支D中，两个时序图像的特征会各自经过一个1×1卷积层来对通道数进行调节，前时序图像的特征会通过一个额外的3×3通道卷积层，来对双时序图像间的差异进行转换处理。之后将两个时序图像的特征作差，并将多种特征聚合来学习全局差异信息。然后经过全局平均池化、全连接层、以及Sigmoid函数来对聚合后的特征进行校准。

在差异注意力分支A中，双时序聚合分支D输出的特征首先经过划分和重新排列的处理，生成四维的特征图，然后利用成组自注意机制来学习多种变化之间的关系和相似性。之后再经过排列，使其形状变为原来的三维特征图。

S3：自顶向下网络。

将差异引导的注意力模块输出的4个特征输入到自顶向下网络中；

高层特征经过一个3×3卷积层和一个上采样操作，与相应的底层特征作沿着通道维度的拼接，之后经过一个3×3卷积层继续传递，特别地，自顶向下网络的阶段1，直接经过一个3×3卷积层和一个上采样操作，没有与底层特征拼接；

最终经过一个1×1卷积层并输出多个通道的预测图，利用交叉熵损失函数计算预测图像与真值标签之间的损失，进行梯度回传，更新网络参数。

实施例2：

本公开实施例2提供了一种基于差异注意力神经网络的多级别变化检测系统，包括：

数据获取模块，被配置为：获取待检测的双时序图像数据；

所述系统的工作方法与实施例1提供的基于差异注意力神经网络的多级别变化检测方法相同，这里不再赘述。

实施例3：

本公开实施例3提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例1所述的基于差异注意力神经网络的多级别变化检测方法中的步骤，所述步骤为：

获取待检测的双时序图像数据；

详细步骤与实施例1提供的基于差异注意力神经网络的多级别变化检测方法相同，这里不再赘述。

实施例4：

本公开实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的基于差异注意力神经网络的多级别变化检测方法中的步骤，所述步骤为：

获取待检测的双时序图像数据；

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims

1.一种基于差异注意力神经网络的多级别变化检测方法，其特征在于：包括以下步骤：

获取待检测的双时序图像数据；

2.如权利要求1所述的基于差异注意力神经网络的多级别变化检测方法，其特征在于：

自底向上网络采用预训练权重对输入的双时序图像进行特征提取。

3.如权利要求1所述的基于差异注意力神经网络的多级别变化检测方法，其特征在于：

自底向上网络采用ResNet101模型，将自底向上网络划分为五个阶段，将双时序图像输入到自底向上网络中，从五个阶段分别提取出两个时序的五个特征。

4.如权利要求3所述的基于差异注意力神经网络的多级别变化检测方法，其特征在于：

自顶向下网络的第一阶段，直接经过一个3×3卷积层和一个上采样操作，不与底层特征拼接。

5.如权利要求1所述的基于差异注意力神经网络的多级别变化检测方法，其特征在于：

在双时序聚合分支中：

两个时序图像的特征会各自经过一个1×1卷积层来对通道数进行调节，前时序图像的特征会通过一个额外的3×3通道卷积层，来对双时序图像间的差异进行转换处理；

将两个时序图像的特征作差，并将多种特征聚合来学习全局差异信息；

经过全局平均池化、全连接层以及Sigmoid函数来对聚合后的特征进行校准。

6.如权利要求1所述的基于差异注意力神经网络的多级别变化检测方法，其特征在于：

差异注意力分支中：

双时序聚合分支输出的特征经过划分和重新排列的处理，生成四维的特征图；

利用成组自注意机制来学习多种变化之间的关系和相似性；

经过排列，使其形状变为原来的三维特征图。

7.如权利要求1所述的基于差异注意力神经网络的多级别变化检测方法，其特征在于：

自顶向下网络中：

将差异引导的注意力模块输出的各个特征输入到自顶向下网络中；

高层特征经过一个3×3卷积层和一个上采样操作，与相应的底层特征作沿着通道维度的拼接，之后经过一个3×3卷积层继续传递；

最终经过一个1×1卷积层并输出多个通道的预测图。

8.一种基于差异注意力神经网络的多级别变化检测系统，其特征在于：包括：

数据获取模块，被配置为：获取待检测的双时序图像数据；

9.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的基于差异注意力神经网络的多级别变化检测方法中的步骤。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于差异注意力神经网络的多级别变化检测方法中的步骤。