CN111967537B - 一种基于双路胶囊网络的sar目标分类方法 - Google Patents

Abstract

本发明涉及一种基于双路胶囊网络的SAR目标分类方法，该发明的步骤包括：步骤S1：网络上支路利用S个卷积层对输入图像提取特征F₁，各层卷积核大小均为K₁×K₁，其中，K₁和S为大于1的正整数；网络下支路利用S个卷积层对输入图像提取特征F₂，各层卷积核大小均为K₂×K₂，其中，K₂为大于1的正整数，且K₂≠K₁；步骤S2：网络上、下支路各采用一个注意力模块分别对特征F₁和F₂进行增强，得到增强后的特征F₁′和F₂′；步骤S3：网络上、下支路的特征F₁′和F₂′分别封装为主胶囊P₁和P₂；步骤S4：P₁和P₂经动态路由分别得到数字胶囊D₁和D₂；步骤S5：数字胶囊D₁和D₂相加得到D，再根据D中每个向量的模值判别输入图像所属类别。

Description

一种基于双路胶囊网络的SAR目标分类方法

技术领域

本发明涉及雷达信号处理领域，尤其涉及一种基于双路胶囊网络的SAR目标分类方法，解决SAR目标分类过程中，因训练样本数少而带来的过拟合问题，以及因目标姿态发生变化而带来的错误分类问题，从而实现在少量训练样本以及目标姿态发生变化情况下获取较高的目标识别率。

背景技术

SAR目标分类是SAR图像解译领域的研究热点之一，在军事和民用领域都具有非常重要的意义。传统的SAR目标分类方法主要包括基于模板匹配、基于模型，以及基于机器学习的方法，这些方法的识别精度有限。近年来，随着深度学习的发展，基于深度学习的SAR目标分类得到了深入的研究，并取得了显著的成绩。

卷积神经网络是一种典型的深度学习网络，它能通过提取目标不同层次特征，获得较高的目标识别率。然而，基于卷积神经网络的SAR目标分类需要大量的训练样本，否则容易出现过拟合问题。针对该问题，一些改进措施和方法被提出。如对数据集进行扩充处理，将卷积神经网络和一些无监督训练网络相结合，以及将大数据集下训练好的模型进行迁移等等。虽然这些措施和方法能够有效解决因样本数少而带来的过拟合问题，但是却无法解决因目标姿态发生变化(如平移、旋转、缩放等)而带来的错误分类问题。

胶囊网络是一种能够在小样本集下提取目标特征且保存目标姿态信息的网络(Sabour S,Frosst N,Hinton G E.Dynamic Routing between Capsules[C].Advances inNeural Information Processing Systems.California,USA:NIPS,2017:3856-3866.)。将胶囊网络应用于SAR目标分类，能够同时解决因样本数少带来的过拟合问题和因目标姿态变化带来的错误分类问题。由于胶囊网络的分类输出最终取决于数字胶囊中每个向量的模长，因此，若增加一路胶囊网络以提取输入图像的不同特征，则能实现决定目标所属类别的向量增强。此外，注意力模型是一种通过注意力权重而选择性地对输入图像的部分进行聚焦的模型(Hu J,Shen L,Albanie S,et al.Squeeze-and-Excitation Networks[C].Proceedings of the2018IEEE Conference on Computer Vision and PatternRecognition.Piscataway:IEEE,2018:7132-7141.)。将注意力模块引入两路胶囊网络进行SAR目标分类，将进一步提高目标的正确识别率。

发明内容

本发明目的是提供一种基于双路胶囊网络的SAR目标分类方法，能够在少量训练样本和目标姿态变化情况下获取较高的目标识别率。

为达到上述目的，本发明提供一种基于双路胶囊网络的SAR目标分类方法的步骤包括：

步骤S1：网络上支路利用S个卷积层对输入图像提取特征F₁，各层卷积核大小均为K₁×K₁，其中，K₁和S为大于1的正整数；网络下支路利用S个卷积层对输入图像提取特征F₂，各层卷积核大小均为K₂×K₂，其中，K₂为大于1的正整数，且K₂≠K₁；

步骤S2：网络上、下支路各采用一个注意力模块分别对特征F₁和F₂进行增强，得到增强后的特征F₁′和F₂′；

步骤S3：网络上、下支路的特征F₁′和F₂′分别封装为主胶囊P₁和P₂；

步骤S4：P₁和P₂经动态路由分别得到数字胶囊D₁和D₂；

步骤S5：数字胶囊D₁和D₂相加得到D，再根据D中每个向量的模值判别输入图像所属类别。

本发明的有益效果是：针对基于卷积神经网络的SAR目标分类中，因训练样本数少而带来的过拟合问题，以及因目标姿态发生变化而带来的错误分类问题，采用双路胶囊网络，实现在少量训练样本和目标姿态变化情况下获取较高的目标识别率。

附图说明

图1是本发明中双路胶囊网络的SAR目标分类方法的总流程图；

图2是本发明中双路胶囊网络应用于MSTAR数据集的网络结构和参数设置图；

图3是本发明中基于双路胶囊网络的SAR目标分类方法应用于MSTAR数据集获得的目标十分类混淆矩阵；

图4是本发明和基于卷积神经网络、基于胶囊网络的两种方法应用于MSTAR数据集获得的识别结果的对比。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步地详细说明。

图1示出了本发明中一种基于双路胶囊网络的SAR目标分类方法的总流程图。该方法具体实现步骤如下：

步骤S1：网络上支路利用S个卷积层对输入图像提取特征F₁，各层卷积核大小均为K₁×K₁，其中，K₁和S为大于1的正整数；网络下支路利用S个卷积层对输入图像提取特征F₂，各层卷积核大小均为K₂×K₂，其中，K₂为大于1的正整数，且K₂≠K₁；

步骤S11：网络的结构如图2所示，其中上支路中包含5个卷积层。第一层卷积层的卷积核大小为5×5，通道数为16，步长为1，采用ReLU函数激活；第二层卷积层的卷积核大小为5×5，通道数为32，步长为2，采用ReLU函数激活；第三层卷积层的卷积核大小为5×5，通道数为64，步长为1，采用ReLU函数激活；第四层卷积层的卷积核大小为5×5，通道数为128，步长为2，采用ReLU函数激活；第五层卷积层的卷积核大小为5×5，通道数为256，步长为2，采用ReLU函数激活。

步骤S12：下支路包含5个卷积层，第一层卷积层的卷积核大小为9×9，通道数为16，步长为1，采用ReLU函数激活；第二层卷积层的卷积核大小为9×9，通道数为32，步长为2，采用ReLU函数激活；第三层卷积层的卷积核大小为9×9，通道数为64，步长为1，采用ReLU函数激活；第四层卷积层的卷积核大小为9×9，通道数为128，步长为2，采用ReLU函数激活；第五层卷积层的卷积核大小为5×5，通道数为256，步长为2，采用ReLU函数激活。

步骤S2：网络上、下支路各采用一个注意力模块分别对特征F₁和F₂进行增强，得到增强后的特征F₁′和F₂′；

步骤S21：假设注意力模块的输入特征为

即F代表上支路特征F₁或下支路特征F₂，H，W和C分别表示特征的高度、宽度和通道深度。

在通道注意力模块中，将输入特征表示为F＝[f₁,f₂,…,f_k,…,f_C]，其中

为任意的第k通道特征图。接下来，将任意的输入特征图f_k在空间维度H×W上进行全局平均池化得到E_k，即

其中，f_k(i,j)表示特征图f_k在坐标位置(i,j)上的数值。将所有通道的全局平均池化结果组成张量E，即E＝[E₁,E₂,…,E_k,…,E_C]。显然，

然后，将计算得到的张量E通过两个全连接层转换为张量S，

S＝σ(W₂δ(W₁E))

其中，δ和σ分别表示ReLU激活函数和Sigmoid激活函数。两个全连接层是为了限制模型的复杂度，其中，第一个全连接层的权重参数为

其中，r为大于1的正整数；第二个全连接层的权重参数为

由此可知

记S为[s₁,s₂,…,s_k,…,s_C]。

最后，采用张量S对特征F进行加权，得到通道注意力模块的输出为

即X_ca＝[x₁,x₂,…,x_k,…,x_C]。其中，X_ca的第k个元素

的计算公式为，

x_k＝s_k·f_k

步骤S22：在空间注意力模块中，将输入特征表示为

其中，f_i,j表示坐标位置(i,j)处所有通道的特征值构成的矢量，接下来，对f_i,j的所有元素求均值，得到通道压缩值u_i,j为，

其中，f_i,j(k)表示f_i,j在第k个通道上的值。

然后，采用Sigmoid非线性激活函数对任意坐标位置(i,j)处的通道压缩值u_i,j进行处理，并用它对(i,j)处的f_i,j进行加权，得到x_i,j为，

x_i,j＝σ(u_i,j)·f_i,j

显然，

最后，将所有坐标位置处得到的加权值组成张量得到X_sa，即

显然，

步骤S23：将通道注意力模块中的结果X_ca和空间注意力模块中的结果X_sa相加，得到注意力模块的最终输出F′，

F′＝X_ca+X_sa

当F取上支路特征F₁时，F′表示上支路增强后的特征F₁′；当F取下支路特征F₂时，F′表示下支路增强后的特征F₂′。

步骤S3：网络上、下支路的特征F₁′和F₂′分别封装为主胶囊P₁和P₂；

步骤S31：在上支路的主胶囊中，将注意力模块得到的特征图经过32×8个步长s＝2、大小为5×5的卷积核卷积后，输出为32×8幅的特征图，并将所得的特征图转化为32×2×2个维数为8的胶囊向量；

步骤S32：在下支路的主胶囊中，将注意力模块得到的特征图经过32×8个步长s＝1、大小为7×7的卷积核卷积后，输出为32×8幅的特征图，并将所得的特征图转化为32×2×2个维数为8的胶囊向量；

步骤S4：P₁和P₂经动态路由分别得到数字胶囊D₁和D₂；

步骤S41：上、下支路中的主胶囊通过动态路由规则计算数字胶囊的输出，输出为10个胶囊向量，每个胶囊向量的维度是16。

在动态路由规则中，数字胶囊的各向量和主胶囊的各向量之间是全连接的。记主胶囊的第i(i＝1,2,…,128)个向量u_i连接到数字胶囊的第j(j＝1,2,…,10)个向量v_j的变换矩阵为W_ij，耦合系数为c_ij，以及预测向量为

其中，预测向量

的计算公式为，

将预测向量

与输出向量v_j的相似度b_ij初始化为0。接下来，进行路由算法的迭代过程。

步骤S42：首先，通过Softmax计算耦合系数c_ij为，

然后，根据耦合系数c_ij计算加权和a_j，即

进一步地，采用Squash非线性函数保证最终输出向量v_j的长度在0～1之间，即

最后，更新相似度b_ij为，

步骤S5：数字胶囊D₁和D₂相加得到D，再根据D中每个向量的模值判别输入图像所属类别。

步骤S51：将上支路的数字胶囊D₁和下支路的数字胶囊D₂进行相加得到最终的数字胶囊D，

D＝D₁+D₂

其中，D＝[d₁,d₂,…,d_n,…d_N](n＝1,2,…,N)，d_n为第n个向量，N为目标的类别数。

步骤S52：对任意的d_n求模长|d_n|，模长值最大的向量的下标即为输入图像所属的类别。

本发明的效果可通过以下仿真进一步说明。

1.实验条件和方法：

实验仿真环境：Keras,Windows10

实验方法：分别为卷积神经网络方法、胶囊网络方法和本发明。

2.实验内容与结果分析：

实验内容：本发明使用的是MSTAR数据集的十类目标。用本发明、卷积神经网络方法和胶囊网络方法进行分类实验。

实验结果分析：本发明得到的混淆矩阵如图3所示，三种方法的平均正确识别率如图4所示。从图4可以看出，本发明的分类结果比卷积神经网络和胶囊网络的方法具有更高的平均正确识别率。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内。

Claims (2)

1.一种基于双路胶囊网络的SAR目标分类方法，其特征在于，该方法的步骤包括：

步骤S1：网络上支路利用S个卷积层对输入图像提取特征F₁，各层卷积核大小均为K₁×K₁，其中，K₁和S为大于1的正整数；网络下支路利用S个卷积层对输入图像提取特征F₂，各层卷积核大小均为K₂×K₂，其中，K₂为大于1的正整数，且K₂≠K₁；

步骤S2：网络上、下支路各采用一个注意力模块分别对特征F₁和F₂进行增强，得到增强后的特征F₁′和F₂′；

步骤S3：网络上、下支路的特征F₁′和F₂′分别封装为主胶囊P₁和P₂；

步骤S4：P₁和P₂经动态路由分别得到数字胶囊D₁和D₂；

步骤S5：数字胶囊D₁和D₂相加得到D，再根据D中每个向量的模值判别输入图像所属类别；

所述网络上、下支路各采用一个注意力模块分别对特征F₁和F₂进行增强的步骤如下：

步骤S21：一个注意力模块包括通道注意力模块和空间注意力模块，分别用于关注不同通道特征图的信息和特征图的不同空间位置信息，由于网络上、下支路采用的注意力模块相同，因此可假设注意力模块的输入特征为

即F代表上支路特征F₁或下支路特征F₂，H，W和C分别表示特征的高度、宽度和通道深度；

在通道注意力模块中，将输入特征表示为F＝[f₁,f₂,…,f_k,…,f_C]，其中

为任意的第k通道特征图，接下来，将任意的输入特征图f_k在空间维度H×W上进行全局平均池化得到E_k，即

其中，f_k(i,j)表示特征图f_k在坐标位置(i,j)上的数值，将所有通道的全局平均池化结果组成张量E，即E＝[E₁,E₂,…,E_k,…,E_C]，显然，

然后，将计算得到的张量E通过两个全连接层转换为张量S，

S＝σ(W₂δ(W₁E))

其中，δ和σ均表示非线性激活函数，两个全连接层是为了限制模型的复杂度，其中，第一个全连接层的权重参数为

其中，r为大于1的正整数；第二个全连接层的权重参数为

由此可知

记S为[s₁,s₂,…,s_k,…,s_C]；

最后，采用张量S对特征F进行加权，得到通道注意力模块的输出为

即X_ca＝[x₁,x₂,…,x_k,…,x_C]，其中，X_ca的第k个元素

的计算公式为，

x_k＝s_k·f_k

步骤S22：在空间注意力模块中，将输入特征表示为

其中，f_i,j表示坐标位置(i,j)处所有通道的特征值构成的矢量，接下来，对f_i,j的所有元素求均值，得到通道压缩值u_i,j为，

其中，f_i,j(k)表示f_i,j在第k个通道上的值；

然后，采用非线性激活函数对任意坐标位置(i,j)处的通道压缩值u_i,j进行处理，并用它对(i,j)处的f_i,j进行加权，得到x_i,j为，

x_i,j＝σ(u_i,j)·f_i,j

显然，

最后，将所有坐标位置处得到的加权值组成张量得到X_sa，即

显然，

步骤S23：将通道注意力模块中的结果X_ca和空间注意力模块中的结果X_sa相加，得到注意力模块的最终输出F′，

F′＝X_ca+X_sa

当F取上支路特征F₁时，F′表示上支路增强后的特征F₁′；当F取下支路特征F₂时，F′表示下支路增强后的特征F₂′。

2.根据权利要求1所述的双路胶囊网络的SAR目标分类方法，其特征在于，数字胶囊D₁和D₂相加得到D，再求D中每个向量的模值判别输入图像所属类别的步骤如下：

步骤S51：将上支路的数字胶囊D₁和下支路的数字胶囊D₂进行相加得到最终的数字胶囊D，

D＝D₁+D₂

其中，D＝[d₁,d₂,…,d_n,…d_N](n＝1,2,…,N)，d_n为第n个向量，N为目标的类别数；

步骤S52：对任意的d_n求模长|d_n|，模长值最大的向量的下标即为输入图像所属的类别。

Images