CN113869418B - 一种基于全局注意力关系网络的小样本船舶目标识别方法 - Google Patents

Abstract

本发明提供一种基于全局注意力关系网络的小样本船舶目标识别方法，包括以下步骤：S1：使用Meta‑Learning数据划分方式生成小样本任务集，并进行模型加载及训练；S2：搭建跨目标全局注意力机制模型；S3：搭建基于跨目标全局注意力机制的RN网络结构；S4：使用Cosine距离度量样本特征相似度，并对距离长度进行比较目标样本特征；S5：使用训练优化方法训练网络。本发明提供的基于全局注意力关系网络的小样本船舶目标识别方法，能够在真实海况、复杂多场景海况、目标类别样本量不均衡的情况下实现小样本船舶目标识别，在船舶工业与海事管理等领域有较好的使用前景。

Description

一种基于全局注意力关系网络的小样本船舶目标识别方法

技术领域

本发明涉及深度学习与计算机视觉领域，具体为一种基于全局注意力关系网络的小样本船舶目标识别方法。

背景技术

小样本目标识别的方法主要有两种策略：有监督情节式学习和无监督表征式学习。对于有监督情节式学习，是通过每个任务支持集(support)的少标签样本信息与查询集(query)样本进行特征比较，度量support和query中样本之间的距离，通过“参数更新”和“学习比较”，使学习适应新任务，旨在学习基于特征空间和分类识别的良好特征。对于无监督表征式学习，训练阶段利用无标注的数据进行学习，元测试阶段，有监督和无监督的设置相同，在支持集和查询集中均有部分辅助标注标签。为了进一步减少整体的标签学习过程，在元训练期间没有任何标签，降低数据的标签成本。除上述方法外，现在研究的表示学习与图神经网络(GNN)联系较为密切，大多数现有的图神经网络模型依赖于给定图的拓扑结构。在执行图卷积过程中，在给定的图形中直接从邻近聚合阶段特征，并堆叠多个GNN层以捕获远程节点的依赖性。上述方法，模型在训练过程中着重于建立最近的、最新的小样本任务近邻分类器，使用特征嵌入学习和特征间距离度量。然而，船舶目标识别在复杂海况及干扰条件(天气、光照、图像采集传感器)较大的情况下，训练的模型无法适应每个类别的特征任务，从而限制了泛化性能。

发明内容

本发明的目的是为了网络训练速度，避免网络出现过拟合现象的一种基于全局注意力关系网络的小样本船舶目标识别方法。

本发明的目的是这样实现的：

一种基于全局注意力关系网络的小样本船舶目标识别方法，包括以下步骤：

S1:使用Meta-Learning数据划分方式生成小样本任务集，并进行模型加载及训练；

S2:搭建跨目标全局注意力机制模型；

S3:搭建基于跨目标全局注意力机制的RN网络结构；

S4:使用Cosine距离度量样本特征相似度，并对距离长度进行比较目标样本特征；

S5:使用训练优化方法训练网络；

进一步的步骤S1包括以下步骤：

S1.1:将数据集训练划分为三个数据集：训练集，支持集和测试集。支持集和测试集共享相同的标签空间，但是训练集具有自己的标签空间，该标签空间与支持/测试集不相交；

S1.2:训练时在每次训练迭代中，通过从训练集中随机选择C个类别(其中每个类别有K个标记样本)来形成每个训练任务；

S1.3:每个训练任务的样本集合分为：

支持集：S＝{(x_i,y_i)},m_i＝1,m＝k×C；

查询集：Q＝{(x_i,y_i)},n_j＝1；

式中，C类样本的其余部分为未标记的样本。

进一步的步骤S2包括以下步骤：

S2.1:对特征提取f进行两支路卷积操作；

S2.2:对两支路卷积后特征相加后进行softmax平滑：

N＝softmax(a+b)；

式中，a为一支路输出，b为二支路输出；

S2.3:对平滑后的特征图像与特征提取f进行相减后传入FC层进行融合：

I＝Wg*f+bg；

式中f∈R^w×h×C，w、h、c分别表示宽度、高度和通道数，A＝{α_i∈R^c,i＝1,...,D}，w_g∈R^1×1×C×D和bg∈R^D是卷积的参数。V∈R^D×C表示输出描述符。f_j-α_i表示残差操作。

进一步的步骤S3包括以下步骤：

S3.1:将每个训练任务传入到卷积神经网络Conv Block(4)中，输出特征提取f；

S3.2:从Conv Block(4)中的f提取两支路特征作为全局注意力机制的输入部分，经过UAN后输出定义为P：

P＝ReLU(c(f,V_nw_s+bg))；

式中，V_n∈R^1×Dc是V_i重塑(reshape)后的输出，经过全连接层后和f的输出组合后激活输出，w_s∈R^Dc×c,b_g∈R^c

S3.3:RN中嵌入模块和关系模块通过查询集Q中的样本x_j和支持集S中的样本x_i馈入。嵌入模块网络特征提取生成特征图和

S3.4:特征映射和与算子融合在一起。在模型中假定c(:,:)是深度上的特征图的串联，样本和查询的融合特征被送到关系度量模块中，关系度量模块最终产生0到1的标量，表示x_i和x_j之间的相似性；

S3.5:采用均方误差函数(MSE)作为误差损失函数，定义supportset中的图像为embeddingi，queryset中的图像为embeddingj，计算介于0～1之间的score，定义为：

式中，其中y_i,y_j代表图片的真实标签，r_i,j为全局注意力关系度量网络组合后S41步骤中公式的输出；

S3.6:对于K>1的K-shot，我们对每个训练任务的所有样本的嵌入模块输出的元素进行求和，再如上所述进行模型训练。

进一步的步骤S4包括以下步骤：

S4.1:RN中进行组合后输出与UAN输出P的维度相同，将两部分输出重新组合后做特征余弦距离度量后输出，定义为r_ij；

式中X_i为UAN的输出，Y_i为RN的输出，二者做余弦距离度量。

进一步的步骤S5包括以下步骤：

S5.1:取学习率为0.001，在训练集上对网络训练200000episode；

S5.2:每100episode进行损失函数计算，执行一次梯度下降和反向更新；

S5.3：每5000episode进行精度acc计算及模型参数保存和更新；

S5.4:判断网络的训练集损失是否连续五次增加，是则将当前学习率除以10；

S5.5：每次精度acc计算后与最大精度acc进行比较，输出最后最优精度acc值。

与现有技术相比，本发明的有益效果是：

1.利用Meta-Learning数据划分方式生成小样本任务集，削减样本不平衡造成的过拟合提高船舶目标新类别识别的准确率；

2.利用全局注意力机制(UAN)模型优化RN网络，加强全局特征一致性，更有利于学习目标不变特征，提高船舶目标识别的准确率；

3.使用Cosine距离度量样本特征相似度，减少特征对样本标签的依赖性，实现少样本监督学习船舶目标识别；

4.使用训练优化方法训练网络，加快网络训练速度，避免网络出现过拟合现象；

附图说明

图1为本发明的整体网络结构图；

图2为Meta-Learning数据划分及模型加载结构图；

图3为特征提取Conv Block的网络结构图；

图4为全局注意力机制的结构图；

图5为Cosine距离度量样本特征相似度得分图；

图6为训练优化方法的流程图；

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述。

如图1所示，为本发明的网络结构图。首先采用Meta-Learning划分小样本船舶数据集并随机选择C个类别(其中每个类别有K个标记样本)来进行每个训练任务，将每个训练任务传入到卷积神经网络Conv Block(4)中，输出特征提取f，从Conv Block(4)中提取两支路作为全局注意力机制的输入部分，经过全连接层后和f的输出组合后激活输出，最后将RN和UAN的两部分输出进行重新融合后做特征余弦距离度量后再输出，从而实现对小样本的船舶目标识别。

一种基于全局注意力关系网络的小样本船舶目标识别方法，它包括以下步骤：

S1:使用Meta-Learning数据划分方式生成小样本任务集，并进行模型加载及训练；

由于传统船舶目标识别训练和测试时类别出现交叉，全标签监督学习，导致新类别目标识别精度低，所以需要使用Meta-Learning数据划分方式生成小样本任务集，减少对标签的依赖性及提高新类别目标识别精度；

所述的步骤S1包括以下子步骤：

S1.1:将数据集训练划分为三个数据集：训练集(train set)，支持集(supportset)和测试集(test set)。支持集和测试集共享相同的标签空间，但是训练集具有自己的标签空间，该标签空间与支持/测试集不相交；

S1.2:训练时在每次训练迭代中如图2所示，通过从训练集中随机选择C个类别(其中每个类别有K个标记样本)来形成每个训练任务；

S1.3:每个训练任务的样本集合分为：

支持集：S＝{(x_i,y_i)},m_i＝1,m＝k×C；

查询集：Q＝{(x_i,y_i)},n_j＝1；

式中，C类样本的其余部分为未标记的样本。

S2:搭建跨目标全局注意力机制模型；

直接采用RN网络船舶目标识别的学习方式会导致不均衡类别网络训练困难，新类别识别精度低，最终的识别效果较差；

所述的步骤S2包括以下子步骤：

S2.1:对特征提取f进行两支路卷积操作，各层参数如表1，2所示；

S2.2:对两支路卷积后特征相加后进行softmax平滑如图4所示：

N＝softmax(a+b)；

式中，a为一支路输出，b为二支路输出；

S2.3:对平滑后的特征图像与特征提取f进行相减后传入FC层进行融合：

I＝Wg*f+bg；

式中f∈R^w×h×C，w、h、c分别表示宽度、高度和通道数，A＝{α_i∈R^c,i＝1,...,D}，w_g∈R^1×1×C×D和bg∈R^D是卷积的参数。V∈R^D×C表示输出描述符。f_j-α_i表示残差操作。

表1Conv Block1,2通用参数

表2全局注意力机制不同网络块的卷积核个数

S3：搭建基于跨目标全局注意力机制的RN网络结构；

全局注意力关系网络的模型提出，使更多的模型学习了全局不变的特征，保持目标特征之间一致性，提高模型跨目标学习能力，减少模型训练过程中过拟合现象，提高新类别的识别精度。

所述步骤S3包括以下子步骤：

S3.1:将每个训练任务传入到卷积神经网络Conv Block(4)中如图3所示，参数如表3所示，输出特征提取f；

S3.2:从Conv Block(4)中的f提取两支路特征作为全局注意力机制的输入部分，经过UAN后输出定义为P：

P＝ReLU(c(f,V_nw_s+bg))；

式中，V_n∈R^1×Dc是V_i重塑(reshape)后的输出，经过全连接层后和f的输出组合后激活输出，w_s∈R^Dc×c，b_g∈R^c；

S3.3:RN中嵌入模块和关系模块通过查询集Q中的样本x_j和支持集S中的样本x_i馈入。嵌入模块网络特征提取生成特征图和

S3.4:特征映射和与算子融合在一起，全局注意力关系网络参数如表4所示。在模型中假定c(:,:)是深度上的特征图的串联，样本和查询的融合特征被送到关系度量模块中，关系度量模块最终产生0到1的标量，表示x_i和x_j之间的相似性；

S3.5:采用均方误差函数(MSE)作为误差损失函数，定义supportset中的图像为embeddingi，queryset中的图像为embeddingj，计算介于0～1之间的score，如图5所示，定义为：

式中，其中y_i，y_j代表图片的真实标签，r_ij为全局注意力关系度量网络组合后S41步骤中公式的输出；

S3.6:对于K>1的K-shot，我们对每个训练任务的所有样本的嵌入模块输出的元素进行求和，再如上所述进行模型训练。

表3Conv Block(4)通用参数

表4全局注意力关系网络模型参数

S4：使用Cosine距离度量样本特征相似度，并对距离长度进行比较目标样本特征；

传统船舶目标识别采取预测目标和标签进行比较得出相似度较高的作为目标样本输出，对标签依赖性大，使用Meta-Learning多任务训练方式，Cosine距离度量每个任务支持集与查询集之间的样本相似度，减少了对样本标签依赖性，距离的度量也使得目标样本上下文度量信息增多，提高无标签新类别目标识别精度；

所述步骤S4包括以下子步骤：

S4.1:RN中进行组合后输出与UAN输出P的维度相同，将两部分输出重新组合后做特征余弦距离度量后输出，定义为r_ij；

式中X_i为UAN的输出，Y_i为RN的输出，二者做余弦距离度量。

S5:使用训练优化方法训练网络；

训练优化方法可以加速网络训练，避免过拟合现象，如图6所示；

所述步骤S5包括以下子步骤：

S5.1:取学习率为0.001，在训练集上对网络训练200000episode；

S5.2:每100episode进行损失函数计算，执行一次梯度下降和反向更新；

S5.3：每5000episode进行精度acc计算及模型参数保存和更新；

S5.4:判断网络的训练集损失是否连续五次增加，是则将当前学习率除以10；

S5.5：每次精度acc计算后与最大精度acc进行比较，输出最后最优精度acc值；

上述实施例为本发明的最佳实施方式，但本发明的实施方式不受限于上述实施例，其他的任何不脱离本发明原理所作的诸如简化、改变、替换、组合的置换方式，都包含在本发明的保护范围之类。

Claims (3)

1.一种基于全局注意力关系网络的小样本船舶目标识别方法，其特征是：包括以下步骤：

S1:使用Meta-Learning数据划分方式生成小样本任务集，并进行模型加载及训练；

S1.1:将数据集训练划分为三个数据集：训练集，支持集和测试集；支持集和测试集共享相同的标签空间，但是训练集具有自己的标签空间，该标签空间与支持/测试集不相交；

S1.2:训练时在每次训练迭代中，通过从训练集中随机选择C个类别，其中每个类别有K个标记样本，来形成每个训练任务；

S1.3:每个训练任务的样本集合分为：

支持集：S＝{(x_i,y_i)},m_i＝1,m＝k×C；

查询集：Q＝{(x_i,y_i)},n_j＝1；

式中，C类样本的其余部分为未标记的样本；

S2:搭建跨目标全局注意力机制模型；

S2.1:对特征提取f进行两支路卷积操作；

S2.2:对两支路卷积后特征相加后进行softmax平滑：

N＝softmax(a+b)；

式中，a为一支路输出，b为二支路输出；

S2.3:对平滑后的特征图像与特征提取f进行相减后传入FC层进行融合：

I＝Wg*f+bg；

式中f∈R^w×h×C，w、h、c分别表示宽度、高度和通道数，A＝{α_i∈R^c,i＝1,...,D}，w_g∈R^{1 ×1×C×D}和bg∈R^D是卷积的参数；V∈R^D×C表示输出描述符；f_j-α_i表示残差操作；

S3:搭建基于跨目标全局注意力机制的RN网络结构；

S3.1:将每个训练任务传入到卷积神经网络ConvBlock(4)中，输出特征提取f；

S3.2:从ConvBlock(4)中的f提取两支路特征作为全局注意力机制的输入部分，经过UAN后输出定义为P：

P＝ReLU(c(f,V_nw_s+bg))；

式中，V_n∈R^1×Dc是V_i重塑(reshape)后的输出，经过全连接层后和f的输出组合后激活输出，w_s∈R^Dc×c,b_g∈R^c；

S3.3:RN中嵌入模块和关系模块通过查询集Q中的样本x_j和支持集S中的样本x_i馈入；嵌入模块网络特征提取生成特征图和

S3.4:特征映射和与算子融合在一起；在模型中假定c(:,:)是深度上的特征图的串联，样本和查询的融合特征被送到关系度量模块中，关系度量模块最终产生0到1的标量，表示x_i和x_j之间的相似性；

S3.5:采用均方误差函数(MSE)作为误差损失函数，定义supportset中的图像为embeddingi，queryset中的图像为embeddingj，计算介于0～1之间的score，定义为：

式中，其中y_i,y_j代表图片的真实标签，r_i,j为全局注意力关系度量网络组合后S41步骤中公式的输出；

S3.6:对于K>1的K-shot，我们对每个训练任务的所有样本的嵌入模块输出的元素进行求和，再如上所述进行模型训练；

S4:使用Cosine距离度量样本特征相似度，并对距离长度进行比较目标样本特征；

S5:使用训练优化方法训练网络。

2.根据权利要求1所述的一种基于全局注意力关系网络的小样本船舶目标识别方法，其特征是：所述步骤S4包括以下步骤：

S4.1:RN中进行组合后输出与UAN输出P的维度相同，将两部分输出重新组合后做特征余弦距离度量后输出，定义为r_ij；

式中X_i为UAN的输出，Y_i为RN的输出，二者做余弦距离度量。

3.根据权利要求1所述的一种基于全局注意力关系网络的小样本船舶目标识别方法，其特征是：所述步骤S5包括以下步骤：

S5.1:取学习率为0.001，在训练集上对网络训练200000episode；

S5.2:每100episode进行损失函数计算，执行一次梯度下降和反向更新；

S5.3：每5000episode进行精度acc计算及模型参数保存和更新；

S5.4:判断网络的训练集损失是否连续五次增加，是则将当前学习率除以10；

S5.5：每次精度acc计算后与最大精度acc进行比较，输出最后最优精度acc值。