CN114387439B - 一种基于光学和PolSAR特征融合的语义分割网络 - Google Patents

Abstract

本发明属于遥感图像智能应用技术领域，设计了一种基于光学和PolSAR特征融合的语义分割网络，用来实现端到端的光学和PolSAR融合地物分割任务。由双路孪生卷积特征编码器、注意力机制模块ASCAM和对称跳跃连接解码器组成。其中双路孪生卷积特征编码器采用ImageNet和大量的标注后PolSAR和光图像分别对每一路编码器进行预训练。然后设计ASCAM，通过扩张空间矩阵获取局部位置的光和PolSAR各通道对分类任务的非线性影响关系，将扩张空间矩阵与双路孪生卷积特征编码器的数据进行结合，实现了注意力对特征融合过程的加权引导。最后通过卷积实现加权后特征的融合，并设计了对称跳跃连接解码器，将融合特征与光学和PolSAR中编码过程特征进行跳跃连接，最终实现了端到端的地物分割。

Description

一种基于光学和PolSAR特征融合的语义分割网络

技术领域

本发明属于遥感图像智能应用技术领域，更为具体地讲，涉及通过采用对光学遥感影像和PolSAR遥感影像进行融合完成地物类别自动语义分割。

背景技术

基于遥感影像的土地覆盖物分割分类由于其规模和材料的多样性而成为一个挑战性的问题。当前很多遥感影像地物分割任务主要通过单一载荷数据，比如：很多研究采用可见光遥感影像进行地物分割，但是由于光谱信息单一并且云层遮盖等情况效果不佳。其他一些研究采用PolSAR影像进行地物分割，但是由于其影像质量较差并且噪声较大同样导致分类效果不佳。许多地区类型例如城市区域的复杂性使得需要采用多源遥感数据获取土地覆盖特性。随着遥感技术的飞速发展，有较大可能性获取同一地区的多种遥感数据，这使得通过对多源遥感数据进行融合来提升地物分割任务的精度提供了可能性。PolSAR图像与光学图像特征在几何和辐射特性上都有很大差异。可以通过将高空间分辨率的光学和PolSAR图像进行融合，通过补充信息来提高土地覆盖分类的准确性。值得一提的是，极化PolSAR图像包含的信息比单波段PolSAR图像丰富，并且在表征人造结构方面仍未得到充分利用。因此，设计一种合适的模型将光学和偏振PolSAR图像中互补信息提取出来并加以利用是一个亟待解决的问题。

在此之前，国内外有一些解决途径对采用光学和PolSAR进行融合实现地物语义分割，但是效果仍然有待优化。

(1)光学和SAR图像在几何和辐射特性上都存在很大的差异。特别是PolSAR图像比单波段SAR图像包含更丰富的信息，目前还未出现较好的人工特征提取结构可以充分利用PolSAR图像的内容信息。许多研究试图通过分别针对光学和SAR数据进行差异化的特征提取后，进一步通过融合策略来解决land cover分类任务。通常，这些融合策略都是从单类数据中提取特征，然后连接所有特征，并将它们输入到各种分类器中。此过程最重要的部分是提取与分类有关的手工制作的信息特征筛选。双流CNN利用CNN的强大功能导出单个数据集的高级特征，然后将这些特征串联起来进行分类。简言之，串联拼接是迄今为止融合SAR和光学数据的主要策略，这是一种有效且简单的方法。本发明提出的ASCAFNet本质上也是借鉴了特征串联的策略，不同的是将局部注意力机制引入了串联拼接的过程中，使得融合后特征更适合于语义分割任务。

发明内容

本发明的目的在于克服当前多模态的遥感影像无法进行有效融合应用的难题，提出了一种基于光学和PolSAR特征融合的语义分割网络ASCAFNet，通过ASCAFNet神经网络实现PolSAR和光学影像中有用信息的互补，提高地物分割的准确性和可靠性。相比以往方法可以更好的捕捉不同模态遥感影像中的特征，并且可以获得更为精细化的局部注意力机制，实现特征级的信息融合。

为了实现上述目的，本发明采用的技术方案为：

一种基于光学和PolSAR特征融合的语义分割网络，包括双路孪生卷积特征编码器、注意力机制模块ASCAM以及对称跳跃连接解码器；

双路孪生卷积特征编码器用于采用两路不共享参数的全卷积网络分别对光学和PolSAR影像进行独立特征提取，并将不同来源图像映射到相同维度的特征空间；

注意力机制模块ASCAM用于获取并利用光学和PolSAR影像不同局部位置处的通道间关系，优化双路孪生卷积特征编码器提取的特征；

对称跳跃连接解码器用于采用两层卷积操作对ASCAM输出的特征进行融合处理，并采用多个对称跳跃连接块，将融合处理后的特征分别与双路孪生卷积特征编码器中PolSAR和光学图像的编码过程特征进行拼接，得到最后的语义分割结果。

进一步的，双路孪生卷积特征编码器中每一路编码器包括一系列卷积层，每一层配备一个非线性线性单元作为激活函数。

进一步的，双路孪生卷积特征编码器的预训练过程中，将每一路编码器分别与反卷积层连接，形成两个独立的Unet网络结构，即PolSAR Unet网络和光学Unet网络；

首先利用Imagenet数据集对光学Unet网络和PolSAR Unet网络的参数进行初步训练，使网络获得基本的图像语义提取能力；然后，在初步训练的光学Unet网络参数的基础上，利用光学遥感图像进行进一步的迁移训练，使光学Unet网络获得适合光学遥感影像的特征提取能力，并在初步训练的PolSARUnet网络参数的基础上，利用PolSAR遥感图像进行进一步的迁移训练，使PolSARUnet网络获得适合PolSAR遥感影像的特征提取能力。

进一步的，注意力机制模块ASCAM包括局部嵌入信息压缩模块、局部空间通道关系提取模块和特征通道选择模块；

局部嵌入信息压缩模块用于将PolSAR特征X和光学特征Y进行拼接，形成特征U，并进行局部嵌入信息压缩，公式如下所示：

式中，t为压缩比，Z为将U进行压缩后的特征，(m,n)代表压缩后每个特征值的位置，H为压缩前输入特征的高度，W为压缩前输入特征的宽度，F_comp(·)为局部嵌入信息压缩的公式名称；

局部空间通道关系提取模块用于采用门机制函数F_ex进行非线性通道间关系的学习，将Z转化为扩张时空矩阵V，公式如下所示：

式中，和/>分别表示两个全连接层，V为扩张时空矩阵；

特征通道选择模块用于通过上采样将扩张时空矩阵V放大至压缩前特征U一样的大小，并通过哈达玛积将扩张时空矩阵与特征U结合，通过特征通道选择实现特征的优化过程，公式如下所示：

式中，为扩张时空矩阵V上采样后的结果，/>为优化后的输出。

进一步的，对称跳跃连接解码器包括融合模块、多个对称跳跃连接块；

融合模块用于将注意力机制模块ASCAM优化后的特征进行融合，得到融合后特征Q，公式如下所示：

式中，W₁表示第一次卷积操作，W₂表示第二次卷积操作，δ表示ReLU激活函数；

对称跳跃连接块用于将融合处理后的特征分别与双路孪生卷积特征编码器中PolSAR图像和光学图像的编码过程特征进行拼接，拼接后的特征组合C_k如下所示：

C_k＝[X_k,Y_k,Z_k]

其中，k表示对称跳跃连接块的序列号，X_k为双路孪生卷积特征编码器中PolSAR的特征，Y_k是双路孪生卷积特征编码器中光学图像的特征，Z_k是上一个对称跳跃连接块的输出；k＝1时，Z_k为融合后的特征Q；除最后一层的对称跳跃连接块外，每一层分别将拼接后的特征组合经过两次卷积和一次上采样后输出，最后一层对称跳跃连接块将拼接后的特征组合经过两次卷积后输出作为最后的语义分割结果。

本发明与背景技术相比具有如下优点：

1、本发明将光学和PolSAR图像中互补信息有效利用。与单模态图像输入相比，光学和PolSAR的多模态输入引入了更多有用的补充信息，从而提升了地物语义分割效果。

2、本发明中提出的双路孪生卷积特征编码器的结构和预训练方法能够更好地捕获光学和PolSAR各自的特征。

3、本发明中提出的ASCAM与其他注意力机制模块相比，具有更好捕获密集有效的信道关系的能力。

4、本发明中提出的对称跳跃连接解码器与其他方法中的解码器相比，能够最大程度地恢复时空信息，提高分类结果图的精细度。

附图说明

图1是本发明的整体流程框架设计图。

图2是本发明双路孪生卷积特征编码器结构图。

图3是本发明ASCAM模块结构图。

图4是本发明对称跳跃连接解码器结构图。

图5是本发明对称跳跃连接块结构图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

本发明设计了一个新的深度学习模型ASCAFNet(Atrous Spatial ChannelAttention Fusion Networks)，用来实现端到端的光学和PolSAR融合地物分割任务。ASCAFNet由三部分构成，双路孪生卷积特征编码器、注意力机制模块ASCAM(AtrousSpatial Channel Attention module)和对称跳跃连接解码器。我们首先设计了一种双路孪生卷积特征编码器，并分别采用ImageNet和大量的标注后PolSAR和光图像分别对每一路编码器进行预训练，最大程度提升编码器模型对不同模态遥感影像的特征提取能力。然后设计ASCAM，通过扩张空间矩阵获取局部位置的光和PolSAR各通道对分类任务的非线性影响关系，获取像素级别的注意力图。将扩张空间矩阵与双路孪生卷积特征编码器的数据进行结合，实现了注意力对特征融合过程的加权引导。最后我们通过卷积实现加权后特征的融合，并且设计了对称跳跃连接解码器，将融合特征与光学和PolSAR中编码过程特征进行跳跃连接，最大程度提升了上采样的精细度，最终实现了端到端的地物分割。

图1是本发明具体实施下的原理流程框架图。

在本实施例中，如图1所示；包括双路孪生卷积特征编码器、注意力机制模块ASCAM以及对称跳跃连接解码器；

双路孪生卷积特征编码器用于采用两路不共享参数的全卷积网络分别对光学和PolSAR影像进行独立特征提取，并将不同来源图像映射到相同维度的特征空间；双路孪生卷积特征编码器通过一系列卷积层完成编码，其中使用较小的3×3的卷积滤波器。使用步长2在2×2像素窗口上执行最大池。网络中的所有层都配备了一个非线性线性单元(ReLU)作为激活函数。双路孪生卷积特征编码器的输出与ASCAM进行连接。

如图2所示，双路孪生卷积特征编码器的预训练过程中，将每一路编码器分别与反卷积层连接，形成两个独立的Unet网络结构，即PolSAR Unet网络和光学Unet网络；首先利用Imagenet数据集对光学Unet网络和PolSAR Unet网络的参数进行初步训练，使网络获得基本的图像语义提取能力；然后，在初步训练的光学Unet网络参数的基础上，利用光学遥感图像进行进一步的迁移训练，使光学Unet网络获得适合光学遥感影像的特征提取能力，并在初步训练的PolSAR Unet网络参数的基础上，利用PolSAR遥感图像进行进一步的迁移训练，使PolSAR Unet网络获得适合PolSAR遥感影像的特征提取能力。上述方式有效解决了由于光学和PolSAR影像的成像机理区别，两种影像的特征不在统一空间的问题，可以为后续的特征融合提供基础。

注意力机制模块ASCAM用于获取并利用光学和PolSAR影像不同局部位置处的通道间关系，优化双路孪生卷积特征编码器提取的特征；

如图3所示，注意力机制模块ASCAM包括局部嵌入信息压缩模块、局部空间通道关系提取模块和特征通道选择模块；

局部嵌入信息压缩模块用于将PolSAR特征X和光学特征Y进行拼接，形成特征U，并进行局部嵌入信息压缩，公式如下所示：

式中，t为压缩比，Z为将U进行压缩后的特征，(m,n)代表压缩后每个特征值的位置，H为压缩前输入特征的高度，W为压缩前输入特征的宽度，F_comp(·)为局部嵌入信息压缩的公式名称；

局部空间通道关系提取模块用于采用门机制函数F_ex进行非线性通道间关系的学习，将Z转化为扩张时空矩阵V，公式如下所示：

式中，和/>分别表示两个全连接层，V为扩张时空矩阵；

特征通道选择模块用于通过上采样将扩张时空矩阵V放大至压缩前特征U一样的大小，并通过哈达玛积将扩张时空矩阵与特征U结合，通过特征通道选择实现特征的优化过程，公式如下所示：

式中，为扩张时空矩阵V上采样后的结果，/>为优化后的输出。

对称跳跃连接解码器用于采用两层卷积操作对ASCAM输出的特征进行融合处理，并采用多个对称跳跃连接块，将融合处理后的特征分别与双路孪生卷积特征编码器中PolSAR和光学图像的编码过程特征进行拼接，得到最后的语义分割结果。

对称跳跃连接解码器包括融合模块、多个对称跳跃连接块，如图4所示；

融合模块用于将注意力机制模块ASCAM优化后的特征进行融合，得到融合后特征Q，公式如下所示：

式中，W₁表示第一次卷积操作，W₂表示第二次卷积操作，δ表示ReLU激活函数；

对称跳跃连接块用于将融合处理后的特征分别与双路孪生卷积特征编码器中PolSAR图像和光学图像的编码过程特征进行拼接，拼接后的特征组合C_k如下所示：

C_k＝[X_k,Y_k,Z_k]

其中，k表示对称跳跃连接块的序列号，X_k为双路孪生卷积特征编码器中PolSAR的特征，Y_k是双路孪生卷积特征编码器中光学图像的特征，Z_k是上一个对称跳跃连接块的输出；k＝1时，Z_k为融合后的特征Q；除最后一层的对称跳跃连接块外，每一层分别将拼接后的特征组合经过两次卷积和一次上采样后输出，最后一层对称跳跃连接块将拼接后的特征组合经过两次卷积后输出作为最后的语义分割结果。如图5所示，通过在解码过程中引入低层特征中丰富的时空信息提升解码输出的精细度。

Claims (4)

1.一种基于光学和PolSAR特征融合的语义分割网络，其特征在于，包括双路孪生卷积特征编码器、注意力机制模块ASCAM以及对称跳跃连接解码器；

双路孪生卷积特征编码器用于采用两路不共享参数的全卷积网络分别对光学和PolSAR影像进行独立特征提取，并将不同来源图像映射到相同维度的特征空间；

注意力机制模块ASCAM用于获取并利用光学和PolSAR影像不同局部位置处的通道间关系，优化双路孪生卷积特征编码器提取的特征；

对称跳跃连接解码器用于采用两层卷积操作对ASCAM输出的特征进行融合处理，并采用多个对称跳跃连接块，将融合处理后的特征分别与双路孪生卷积特征编码器中PolSAR和光学图像的编码过程特征进行拼接，得到最后的语义分割结果；

其中，注意力机制模块ASCAM包括局部嵌入信息压缩模块、局部空间通道关系提取模块和特征通道选择模块；

局部嵌入信息压缩模块用于将PolSAR特征X和光学特征Y进行拼接，形成特征U，并进行局部嵌入信息压缩，公式如下所示：

式中，t为压缩比，Z为将U进行压缩后的特征，(m,n)代表压缩后每个特征值的位置，H为压缩前输入特征的高度，W为压缩前输入特征的宽度，F_comp(·)为局部嵌入信息压缩的公式名称；

局部空间通道关系提取模块用于采用门机制函数F_ex进行非线性通道间关系的学习，将Z转化为扩张时空矩阵V，公式如下所示：

式中，和/>分别表示两个全连接层，V为扩张时空矩阵；

特征通道选择模块用于通过上采样将扩张时空矩阵V放大至压缩前特征U一样的大小，并通过哈达玛积将扩张时空矩阵与特征U结合，通过特征通道选择实现特征的优化过程，公式如下所示：

式中，为扩张时空矩阵V上采样后的结果，/>为优化后的输出。

2.根据权利要求1所述的基于光学和PolSAR特征融合的语义分割网络，其特征在于，双路孪生卷积特征编码器中每一路编码器包括一系列卷积层，每一层配备一个非线性线性单元作为激活函数。

3.根据权利要求2所述的基于光学和PolSAR特征融合的语义分割网络，其特征在于，双路孪生卷积特征编码器的预训练过程中，将每一路编码器分别与反卷积层连接，形成两个独立的Unet网络结构，即PolSARUnet网络和光学Unet网络；

首先利用Imagenet数据集对光学Unet网络和PolSARUnet网络的参数进行初步训练，使网络获得基本的图像语义提取能力；然后，在初步训练的光学Unet网络参数的基础上，利用光学遥感图像进行进一步的迁移训练，使光学Unet网络获得适合光学遥感影像的特征提取能力，并在初步训练的PolSAR Unet网络参数的基础上，利用PolSAR遥感图像进行进一步的迁移训练，使PolSAR Unet网络获得适合PolSAR遥感影像的特征提取能力。

4.根据权利要求1所述的基于光学和PolSAR特征融合的语义分割网络，其特征在于，对称跳跃连接解码器包括融合模块和多个对称跳跃连接块；

融合模块用于将注意力机制模块ASCAM优化后的特征进行融合，得到融合后特征Q，公式如下所示：

式中，W₁表示第一次卷积操作，W₂表示第二次卷积操作，δ表示ReLU激活函数；

对称跳跃连接块用于将融合处理后的特征分别与双路孪生卷积特征编码器中PolSAR图像和光学图像的编码过程特征进行拼接，拼接后的特征组合C_k如下所示：

C_k＝[X_k,Y_k,Z_k]

其中，k表示对称跳跃连接块的序列号，X_k为双路孪生卷积特征编码器中PolSAR的特征，Y_k是双路孪生卷积特征编码器中光学图像的特征，Z_k是上一个对称跳跃连接块的输出；k＝1时，Z_k为融合后的特征Q；除最后一层的对称跳跃连接块外，每一层分别将拼接后的特征组合经过两次卷积和一次上采样后输出，最后一层对称跳跃连接块将拼接后的特征组合经过两次卷积后输出作为最后的语义分割结果。