CN114372521A - 基于注意力机制和残差关系网络的sar图像分类方法 - Google Patents

Abstract

本发明公开了基于注意力机制和残差关系网络的SAR图像分类方法，包括：构建分类模型，分类模型为基于注意力机制的3D残差关系网络模型；选取训练集；采用训练集对分类模型进行训练，获得训练好的分类模型；获取待分类的极化合成孔径雷达图像；将待分类的极化合成孔径雷达图像中每个像素的原始输入信息输入训练好的分类模型，获得分类结果。本发明是针对极化SAR图像分类中的小样本问题，对深度学习方法在极化SAR图像应用上的改进，并结合极化SAR数据的空间邻域信息，有效的实现了深度学习在小样本下极化SAR图像分类。

Description

基于注意力机制和残差关系网络的SAR图像分类方法

技术领域

本发明涉及图像处理技术领域，特别涉及基于注意力机制和残差关系网络的SAR图像分类方法。

背景技术

合成孔径雷达(Synthetic Aperture Radar，SAR)是一种相干成像雷达，其工作在微波波段，是一种主动式遥感传感器，因为它能够全天时全天候对地面目标进行大地规模成像，在遥感领域有着相当重要的地位。单频、单极化状态的SAR图像已经能够弥补光学遥感的不足，能够排除云雾植被以及树叶的干扰，对地表具有一定的穿透能力，在测绘和军事、环境监测、灾害监测、海洋监测等方面具有得天独厚的优势。

传统的极化SAR图像地物分类方法主要有全监督学习和半监督学习方法。前者需要对所有样本建立标签，对样本的要求比较高。而后者则只需要一部分样本含有标签，另一部分不含标签。对于这两种方法，特征提取和分类技术是两个基本要素。极化SAR图像分类的性能在很大程度上依赖于特征提取。

经典的极化SAR分类方法包括：Jiao等人提出了将Wishart分布和网络相结合的方法，实现了极化SAR图像的快速分类和深度学习在极化SAR分类领域的扩展。Adam Santoro等提出了基于长短时记忆网络(LSTM)的记忆增强网络。记忆增强网络将数据当作序列来训练，上一次的标签也作为网络输入，并且添加了外部存储来存储上一次的输入。这使得下一次输入后进行方向传播时，可以让标签和输入建立联系，以便之后的输入能够通过外部记忆获取相关图像进行对比，实现更好的预测。Zhou等提出了一种基于CNN的以像素邻域为基本分类单元的极化SAR图像分类方法。以上方法均基于有监督的学习，因此存在一些缺陷：监督学习需要大量的标注样本，而极化SAR图像的标注需要具有丰富的经验和专业知识才能完成，完成高质量的标注需要花费大量的精力和物力。

发明内容

本发明实施例提供了基于注意力机制和残差关系网络的SAR图像分类方法，用以解决现有技术中基于有监督的分类方法对样本要求高，耗费精力和物力的问题。

一方面，本发明实施例提供了基于注意力机制和残差关系网络的SAR图像分类方法，包括：

构建分类模型，分类模型为基于注意力机制的3D残差关系网络模型；

选取训练集；

采用训练集对分类模型进行训练，获得训练好的分类模型；

获取待分类的极化合成孔径雷达图像；

选取以极化合成孔径雷达图像中每个像素为中心的像素块；

提取像素块中每个像素的特征信息，以像素块中各像素对应的特征信息作为中心像素的原始输入信息；

将极化合成孔径雷达图像中每个像素的原始输入信息输入训练好的分类模型，获得分类结果。

本发明中的基于注意力机制和残差关系网络的SAR图像分类方法，具有以下优点：

(1)本发明是针对极化SAR图像分类中的小样本问题，对深度学习方法在极化SAR图像应用上的改进，并结合极化SAR数据的空间邻域信息，有效的实现了深度学习在小样本下极化SAR图像分类。

(2)本发明通过在关系网络中加入注意力机制(SENet)的方法，并结合元学习的方法，改善了由于标记样本少的不足，用于小样本SAR图像分类，可以自动获取特征的重要性程度，过滤掉不重要的特征信息。

(3)仿真结果表明，本发明采用的基于注意力机制和关系网络的小样本SAR图像分类方法，分类效果优良，正确率高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于注意力机制和残差关系网络的SAR图像分类方法的流程图；

图2为本发明实施例提供的注意力机制流程图；

图3为本发明实施例中仿真一采用的荷兰弗莱福兰省FlevolandC波段极化SAR数据的PauliRGB合成图；

图4为本发明实施例中仿真一采用的极化SAR图像真实的地物标记；

图5为本发明实施例中仿真一采用Wishart、SVM、CNN、3D-CNN、RN、RN-SENet、RN-Res-SENet、3D-RN-Res等分类方法的分类结果；

图6为本发明实施例中仿真一采用本发明方法的分类结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的基于注意力机制和残差关系网络的SAR图像分类方法的流程图。本发明实施例提供了基于注意力机制和残差关系网络的SAR图像分类方法，包括：

S100、构建分类模型，分类模型为基于注意力机制的3D残差关系网络模型。

示例性地，3D残差网络的核心是3D-CNN(三维卷积神经网络)，3D-CNN是基于3D卷积运算构建的，并且其卷积核为一个三维的立方体，同样地，极化SAR图像数据也是整个邻域和中心像素的三维数据，采用3D-CNN进行极化SAR图像的分类更有利于提取极化SAR数据的空间和信道特征。

本发明的分类模型包括输入模块、特征嵌入模块和关系模块。实验发现，当模型的网络层数增加时，模型具有更强的特征学习能力和特征表示能力。但随着网络深度(即层数)的增加，卷积神经网络会遭受退化的问题。鉴于此，引入了残差网络，通过增加模型的深度可以提高分类精度。

在上述3D残差关系网络的基础上，如图2所示，注意力机制的具体流程为：

a)、X为输入至输入模块的数据，大小为C'×H'×W'；

b)、X经过卷积操作(F_tr)之后，输出U为C×H×W；

c)、将U输入平均池化层(GlobalAveragePooling)进行处理，输出为1×1×C的数据大小：

d)、将输出为1×1×C的数据Z经过两级全连接层后，通过Sigmod激活函数将输出限制为[0,1]的范围，输出scale：

s＝F_ex(z,W)＝σ(g(z,W))＝σ(W₂δ(W₁z))

e)、将U与scale做乘积，即对U的C个通道每一层都与scale做乘积，作为下一级(即关系模块)的输入数据：

分类模型的结构为：

特征嵌入模块：输入层→数据预处理层→第一个残差块→第一个最大池化层→第二个残差块→第二个最大池化层→第三个残差块→平均池化层→第一个全连接层→输出层。

关系模块：输入层→第一个卷积层→第一个池化层→第二个卷积层→第一个全连接层→第二个全连接层。

其中，特征嵌入模块和关系模块中的输入层的特征映射图数目均设置为15，数据预处理层的特征映射图数目设置为15，第一个残差块中具有三个卷积层，其中第一个卷积层的特征映射图数目设置为1，卷积核的大小为3×3×3，滑动步长为1，第二个卷积层的特征映射图数目设置为6，卷积核的大小为3×3×3，滑动步长为1，第三个卷积层的特征映射图数目设置为6，卷积核的大小为3×3×3，滑动步长为1，第一个最大池化层的特征映射图数目设置为6，池化核大小为1×3×3，步长为1×2×2，第二个残差块中具有三个卷积层，其中第四个卷积层的特征映射图数目设置为32，卷积核的大小为3×3×3，滑动步长为1，第五个卷积层的特征映射图数目设置为32，卷积核的大小为3×3×3，滑动步长为1，第六个卷积层的特征映射图数目设置为32，卷积核的大小为3×3×3，滑动步长为1，第二个最大池化层的特征映射图数目设置为32，池化核大小为1×3×3，步长为1×2×2，第三个残差块中具有三个卷积层，其中第七个卷积层的特征映射图数目设置为64，卷积核的大小为3×3×3，滑动步长为1，第八个卷积层的特征映射图数目设置为64，卷积核的大小为3×3×3，滑动步长为1，第九个卷积层的特征映射图数目设置为64，卷积核的大小为3×3×3，滑动步长为1，平均池化层的特征映射图数目设置为64，池化核大小为1×1×1，第一个全连接层的特征维数设置为64。

在关系模块中，第一个卷积层的特征映射图数目设置为128，卷积核的大小为1×3×3，滑动步长为1，第一个池化层的特征映射图数目设置为64，池化核大小为1×3×3，步长为1×2×2，第二个卷积层的特征映射图数目设置为64，卷积核的大小为1×3×3，滑动步长为1，第一个全连接层的特征维数设置为640，第二个全连接层的特征维数设置为8，关系模块的输出即为整个分类模型的输出，其输出层的数目设置为15，对应分类结果的类别数目。

S110、选取训练集。

示例性地，根据真实的地物标记，对极化SAR图像数据的每个地物类别分别随机选取7个有标记数据作为训练样本，剩下的有标记数据作为测试样本。

在后续的分类模型训练时，每次迭代训练开始之前，均将训练样本转化为回合集(episode)，回合集包括支持集(Support set)和查询集(Query set)，所有的回合集组成训练集。

S120、采用训练集对分类模型进行训练，获得训练好的分类模型。

示例性地，可以采用元学习的方法对分类模型进行训练。具体地，元学习的方法包括：

a)、按照分类类别选取训练样本中标签不为零的样本，得到上述训练样本；

b)、对选取的样本进行扩充，获得扩充样本集；具体可以采用超像素分割的方法对训练样本进行一次扩充，再对一次扩充后的训练样本利用像素之间的相似度进行二次扩充，得到扩充样本集，得到扩充样本集后，还可以将所有标签不为零的样本作为测试样本；

c)、在扩充样本集中进行采样，每次采样获得一个支持集和查询集，支持集和查询集组成回合集。经从训练样本中选取的类别数记为C，支持集的个数记为K，则有：

x_i∈{Support set}

x_j∈{Query set}

将每个回合集作为一次C类K个(C-way K-shot)的分类任务。通常，一次完整的训练任务(epoch)包含多次建立回合集的过程，每次迭代训练之前均需要建立一个回合集，并且每完成一次迭代训练后，都可以利用训练得到的分类结果和真实的分类结果之间的差别对分类模型的参数进行更新，直到达到最大迭代次数，或达到预期的训练效果：

在得到回合集后，将回合集中的支持集和查询集加入特征嵌入模块，采用上述注意力机制提取相应的特征数据；

提取支持集和查询集的特征数据后，将支持集和查询集的特征数据拼接起来，并输入到关系模块中，计算出关系得分：

r_i,j＝g_φ(C(f_φ(x_i),f_φ(x_j))),i＝1,2,…,15

上述的关系得分中，f_φ表示嵌入特征，C(x,y)表示将x与y拼接的操作，g_φ表示计算关系得分，r_i,j表示关系得分。

在完成对分类模型的训练后，还使用测试样本对训练好的分类模型进行测试。在测试过程中，将测试样本输入训练好的分类模型，得到分类结果，将该分类结果与测试样本真实的类别进行对比，可以得到分类模型的分类正确率。其中，分类正确率包括类别正确率和整体正确率，类别正确率为分类正确的像素个数与测试样本中相应类别总的像素个数的比值，整体正确率为总的分类正确的像素个数与测试样本总的像素个数的比值。当分类正确率达到预期时，可以认为训练好的分类模型的性能达到了要求。

S130、获取待分类的极化合成孔径雷达图像。

S140、选取以极化合成孔径雷达图像中每个像素为中心的像素块。

示例性地，在选取以极化合成孔径雷达图像中每个像素为中心的像素块之前，还包括：

a)、对极化合成孔径雷达图像进行滤波处理。具体可以采用精致极化LEE滤波法滤除极化合成孔径雷达图像中的斑点噪声，滤波窗口大小可以设置为15×15。具体的精致极化LEE滤波法可以参照杨大海，马德宝。基于极化矢量相似系数的极化Lee滤波改进算法[J]。信息工程大学学报，2010，11(06)：737-740。

b)、对滤波处理后的极化合成孔径雷达图像进行Pauli分解，获得相应的伪彩色图。Pauli分解是一种目标分解方法，该方法根据地物目标的散射特性将原始数据的散射矩阵分解成为单次散射机制、绕轴旋转0°的二面角散射机制和绕轴旋转45°的二面角散射机制的线性组合。

c)、获得伪彩色图后，选取以伪彩色图中每个像素为中心的像素块。，具体地，可以以每个像素为中心，选取15×15范围内的像素作为像素块。

S150、提取像素块中每个像素的特征信息，以像素块中各像素对应的特征信息作为中心像素的原始输入信息。

示例性地，提取特征信息的方法为：

a)、伪彩色图中的像素点为一个3×3的相干矩阵T：

b)、利用极化相干矩阵T，提取6维的特征信息L1：

L1＝[A,B,C,D,E,F]

A＝10lg(T₁₁+T₁₂+T₁₃)

B＝T₂₂/(T₁₁+T₂₂+T₃₃)

C＝T₃₃/(T₁₁+T₂₂+T₃₃)

其中，A表示所有极化通道的总散射能量，B、C分别为T₂₂和T₃₃的能量比例，D、E、F为相关系数。

S160、将极化合成孔径雷达图像中每个像素的原始输入信息输入训练好的分类模型，获得分类结果。

示例性地，在得到分类结果后，将红色、绿色、蓝色三个颜色作为三基色，按照三基色上色法进行上色，分类结果中相同类别上相同的颜色，得到上色后的分类结果图，输出上色后的分类结果图。

实验说明

为说明本发明中分类方法的有益效果，可通过以下实验进行验证。

1、实验方法：包括(1)现有监督Wishart方法；(2)传统的CNN分类方法；(3)本发明方法，即基于注意力机制关系网络的小样本SAR图像分类方法。其中，现有监督Wishart方法、SVM方法、传统的CNN分类方法、3D-CNN方法均为极化SAR数据分类中引用较多的经典方法。

2、实验结果

图3是本实施例仿真一使用的荷兰弗莱福兰省Flevoland C波段极化SAR数据的PauliRGB合成图，大小为750×1024。图4是本实施例仿真一采用的极化SAR图像真实的地物标记。根据图4的真实地物标记对每个类别随机选取7个标记样本作为训练样本，用剩下的有标记的数据做为测试样本。仿真实验的方法及结果见表1。

采用现有的监督Wishart分类方法对图3进行分类，分类结果见图5中的(c)。采用传统的SVM分类方法对图3进行分类，分类结果见图5中的(d)。采用经典的CNN分类方法对图3进行分类，分类结果见图5中的(e)。采用3D-CNN分类方法对图3进行分类，分类结果见图5中的(f)。采用RN分类方法对图3进行分类，分类结果见图5中的(g)。采用RN-SENet分类方法对图3进行分类，分类结果见图5中的(h)。采用RN-Res分类方法对图3进行分类，分类结果见图5中的(i)。采用RN-Res-SENet分类方法对图3进行分类，分类结果见图5中的(j)。采用3D-RN-Res分类方法对图3进行分类，分类结果见图5中的(k)。采用本发明的方法对图3进行分类，分类结果见图5中的(l)或图6，采用每种方法分类得到的类别正确率和整体正确率见表1。

表1实验10种方法对极化SAR图像分类结果

由表1以及图4-6可以看出，采用现有的监督Wishart分类方法，正确率为80.49％；采用传统的SVM分类方法，正确率为61.59％；经典的CNN方法的正确率为78.98％；并且采用3D-CNN的分类的正确率为80.15％；采用RN的分类方法，正确率为89.16％；采用RN-SENet的分类方法，正确率为90.77％；采用RN-Res的分类方法，正确率为92.37％；采用RN-Res-SENet的分类方法，正确率为93.57％；采用3D-RN-Res的分类方法，正确率为93.08％；本发明方法的正确率为95.88％。可见，本发明方法获得了最高的正确率。本发明方法的分类结果无论是在精度上还是在视觉效果上，都优于监督wishart分类方法、SVM方法以及传统的CNN和3D-CNN等分类方法。而且，本发明方法的同质区域比监督wishart分类方法、SVM分类方法和传统的CNN以及3D-CNN等分类方法更完整。这充分说明了本发明方法具有更好的小样本SAR数据分类性能。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.基于注意力机制和残差关系网络的SAR图像分类方法，其特征在于，包括：

构建分类模型，所述分类模型为基于注意力机制的3D残差关系网络模型；

选取训练集；

采用所述训练集对所述分类模型进行训练，获得训练好的分类模型；

获取待分类的极化合成孔径雷达图像；

选取以所述极化合成孔径雷达图像中每个像素为中心的像素块；

提取所述像素块中每个像素的特征信息，以所述像素块中各像素对应的特征信息作为中心像素的原始输入信息；

将所述极化合成孔径雷达图像中每个像素的原始输入信息输入训练好的分类模型，获得分类结果。

2.根据权利要求1所述的基于注意力机制和残差关系网络的SAR图像分类方法，其特征在于，采用三基色上色法对所述分类结果上色，获得上色后的分类结果。

3.根据权利要求1所述的基于注意力机制和残差关系网络的SAR图像分类方法，其特征在于，所述选取训练集，包括：

根据真实地物标记，选取多个有标记的数据作为训练样本；

在所述分类模型每次进行训练迭代时，均将所述训练样本转化为回合集，所述回合集包括支持集和查询集，所有的所述回合集组成所述训练集。

4.根据权利要求3所述的基于注意力机制和残差关系网络的SAR图像分类方法，其特征在于，在每次训练迭代时，将所述训练样本转化为回合集后，还包括：

对所述支持集和查询集进行卷积处理，获得卷积结果；

对所述卷积结果进行平均池化处理，获得池化结果；

对所述池化结果进行两次全连接处理，将输出范围限制在[0,1]范围内，获得全连接结果；

将所述卷积结果和全连接结果做乘积处理，获得所述支持集和查询集的特征数据。

5.根据权利要求3所述的基于注意力机制和残差关系网络的SAR图像分类方法，其特征在于，所述在所述分类模型每次进行训练迭代时，均将所述训练样本转化为回合集，包括：

按照分类类别选取所述训练样本中标签不为零的样本；

对选取的所述样本进行扩充，获得扩充样本集；

在所述扩充样本集中进行采样，每次采样获得一个所述支持集和查询集，所述支持集和查询集组成所述回合集。

6.根据权利要求1所述的基于注意力机制和残差关系网络的SAR图像分类方法，其特征在于，在完成对所述分类模型的训练后，还使用测试样本对训练好的分类模型进行测试。

7.根据权利要求1所述的基于注意力机制和残差关系网络的SAR图像分类方法，其特征在于，在选取以所述极化合成孔径雷达图像中每个像素为中心的像素块之前，还包括：

对所述极化合成孔径雷达图像进行滤波处理；

对滤波处理后的极化合成孔径雷达图像进行Pauli分解，获得相应的伪彩色图；

获得所述伪彩色图后，选取以所述伪彩色图中每个像素为中心的像素块。

Images