CN114863174A - 一种基于多尺度注意力特征融合的小样本分类算法 - Google Patents

Abstract

本发明提出了一种基于多尺度注意力特征融合的小样本分类算法，提取样本间的判别特征，学习样本间的多尺度原型进行分类。在多尺度特征嵌入模块中引入自适应分组卷积和通道混洗模块，将高阶强语义特征和低阶丰富的视觉特征结合起来。并结合特征融合注意力机制，从通道维度和空间维度提取注意力特征图，并将这两组特征图进行特征融合。此外，开发了一种基于MMD的加权原型网络，采用度量学习，并利用MMD对不同样本特征生成的原型进行加权。总的来说，改进算法引入了不同样本之间的原型进行多尺度度量学习，能够加强同类样本组之间的相关性，削弱异类样本组之间的相关性，有助于小样本学习的分类性能。

Description

一种基于多尺度注意力特征融合的小样本分类算法

技术领域

本发明涉及深度学习中的目标检测分类领域，是基于多尺度注意力特征融合的方法实现小样本分类。

背景技术

深度神经网络的最新进展推动了大数据集计算机视觉的革命性进展。其中具有里程碑意义的事件之一是ResNet在ILSVRC-2015数据集上达到了96.43％的top-5图像分类精度，比相关报道的人类分类精度高5.1％。然而，如果没有高质量的标注样本进行训练，深度神经网络就不能很好地工作。为了弥补这一缺陷，小样本学习方法训练一个模型，可以快速适应新的类别，通常情况下只需要只给几个样本，甚至每个类只给一个样本。

小样本学习是受人类智慧的启发，即人们有从经验中快速学习的能力。沿着这个方向，许多研究致力于减少神经网络对大量标注样本的依赖。早期关于小概率学习的研究包括贝叶斯学习、记忆增强神经网络和迁移学习。最近关于小样本学习的研究集中在元学习和度量学习两种方法上，它们显著提高了小样本的学习性能。在这些方法中，原型网络(PN)是遵循度量学习理论的最简单、最有效的方法。特别是，PN从少数样本中学习了由所有类的原型表示组成的度量空间。在测试阶段，计算每个原型样本到类的所有原型的距离。直观地说，原型网络在学习的度量空间中执行最近邻分类。由于其简单、有效的特点，PN在自然语言处理、领域自适应、半监督学习等领域得到了广泛的应用。

因此本章研究基于多尺度注意力特征融合机制的小样本分类算法，在基于原型网络的小样本图像分类算法的基础上进行改进，现有小样本学习算法以及原型网络存在的问题主要有以下几个方面：

1、一般来说，基于度量的学习主要分为两个部分:特征提取和样本间关系的度量。而目前基于度量的理论更倾向于对样本之间的距离建模，忽略了特征提取的重要性。

2、只利用了图像的单尺度特征(顶层特征)，而忽略了对小样本识别同样重要的底层特征。大量研究已经证明仅仅使用顶层特征会丢失目标部分特征信息，从而降低识别的准确性。在小样本数据集上这样的信息丢失会对识别结果产生更严重的影响，因此需要同时获取顶层和底层的特征信息，避免目标信息的丢失。

3、没有对具有辨识度特征加以利用。且缺乏对任意两个位置之间远距离空间依赖关系和任意两个通道之间的通道依赖关系的提取。

4、原始的原型网络对于类原型的估算采用的是对该类所有样本嵌入向量求和平均的方法，没有根据样本质量分配其在原型中所占权重，这种方法在面对样本偏差时缺乏鲁棒性，往往一个偏差的样本就能导致生成原型产生较大误差。

发明内容

为了克服上述现有技术的不足，本发明的主要贡献如下:提出了一种新的小样本学习方法——多尺度注意力特征融合的图像分类算法，提取样本间的判别特征，学习样本间的多尺度原型进行分类。在多尺度特征嵌入模块中引入自适应分组卷积和通道混洗模块，将高阶强语义特征和低阶丰富的视觉特征结合起来。并结合特征融合注意力机制，从通道维度和空间维度提取注意力特征图，并将这两组特征图进行特征融合。此外，开发了一种基于MMD的加权原型网络，采用度量学习，并利用MMD对不同样本特征生成的原型进行加权。总的来说，改进算法引入了不同样本之间的原型进行多尺度度量学习，能够加强同类样本组之间的相关性，削弱异类样本组之间的相关性，有助于小样本学习的分类性能。

本发明所采用的技术方案是：

步骤1：本发明通过多个尺度不同的卷积核，采集不同的特征信息，同时采用自适应分组卷积与通道混洗降低网络复杂程度和计算量，设计了一个多尺度特征提取模块，通过训练一个适应不同尺度的分组卷积网络，生成一组多尺度特征信息图，将该组特征融合后作为特征提取网络最终输出的特征图。

步骤2：对于步骤1中的多尺度特征提取模块，本发明采用自适应分组卷积的方式提取输入特征图的空间信息。自适应分组卷积可以根据卷积核的大小决定分组的个数，降低了计算量的同时优化了卷积的表达能力，从而获得更丰富的输入向量的位置信息，并在多个尺度上并行处理。

步骤3：该步骤引入Inception网络和金字塔网络结构中的多尺度卷积核，用来生成具有不同空间分辨率和深度的特征信息。然而随着卷积核大小的增加，参数量会快速增加。为了在不增加计算量的情况下处理不同核尺度下的输入特征，本发明设计了一个在不增加参数数量的情况下选择分组数量的方法。

步骤4：该步骤是该专利的核心内容，在步骤1的特征提取模块基础上，设计了基于深度可分卷积的空间注意力模块DSSAM和通道注意力DSCAM模块，该模型自适应地融合了局部特征和全局相关性，提高了网络表达能力，减少了模型参数，轻量级DSSAM和轻量级DSCAM通过3×3depthwise卷积、1×1pointwise卷积、reshaping、transpose和softmax函数等一系列操作生成空间和通道的注意力权重矩阵。然后，将输入特征与空间或通道注意矩阵相乘，得到所有空间信息和通道信息的融合特征。最后，对两个融合特征进行逐元素相加处理，利用1×1卷积进行信息融合，得到具有全局上下文信息的特征信息。

步骤5：该步骤是步骤4中的空间注意力模块DSSAM模块，将输入特征图A∈R^C×H×W，送入卷积核大小为3x3的depthwise卷积，得到维度为C×H×W的特征图，但是这些特征图之间缺乏通道间信息交互。故在这之后，采用1x1的pointwise卷积得到通道信息交互后的特征图A′∈R^C×H×W。接着将特征图A′送入3x3的depthwise卷积和1x1的pointwise卷积得到特征图X,Y,Z。然后的特征图X∈R^C×H×W转换为X∈R^C×N(其中N＝H×W)，转换目的是为了方便后续矩阵乘以及矩阵转置等操作。

步骤6：该步骤是步骤4中的通道注意力DSCAM模块，首先，将输入特征图送入卷积核大小为3x3的depthwise卷积，后续送入1x1的pointwise卷积得到通道信息交互后的特征图。与空间注意力模块不同，这里不需要在此使用深度可分离卷积得到三个特征图，直接将得到的特征图A′∈R^C×H×W转换为A′∈R^C×N(其中N＝H×W)，然后和转置后的特征图进行矩阵乘法。

步骤7：该步骤是基于MMD的加权原型网络模块，MMD算法通过计算基于样本分布(包括和不包括样本)的平均嵌入之间的最大平均差异得到样本权重，将错误或偏差较大样本所占权重降低，将符合要求或者偏差较小的样本权重增加，很好的避免了因某些样本偏差较大对分类结果造成的影响。

与现有技术相比，本发明的有益效果是：

(1)自适应分组卷积降低了计算量的同时优化了卷积的表达能力，从而获得更丰富的输入向量的位置信息，并在多个尺度上并行处理。

(2)基于深度可分离卷积的注意力模块模型自适应地融合了局部特征和全局相关性，提高了网络表达能力，减少了模型参数。

(3)基于MMD的加权原型网络模块将错误或偏差较大样本所占权重降低，将符合要求或者偏差较小的样本权重增加，很好的避免了因某些样本偏差较大对分类结果造成的影响。

附图说明

图1为：本发明基于多尺度注意力特征融合的小样本图像分类网络架构图。

图2为：多尺度特征提取模块。

图3为：基于深度可分离卷积的注意力模块。

Claims (4)

1.一种基于多尺度注意力特征融合的小样本分类算法，其特征在于，包括以下步骤：

步骤1：设计多尺度特征提取模块，采用自适应分组卷积的方式提取输入特征图的多尺度空间信息；

步骤2：在步骤1的特征提取模块基础上，设计了基于深度可分卷积的空间注意力模块DSSAM和通道注意力DSCAM模块，通过3×3depthwise卷积、1×1pointwise卷积、reshaping、transpose和softmax函数等一系列操作生成空间和通道的注意力权重矩阵；

步骤2.1：该步骤是步骤2中的空间注意力模块DSSAM模块，将输入特征图A∈R^C×H×W，送入卷积核大小为3x3的depthwise卷积，得到维度为C×H×W的特征图，采用1x1的pointwise卷积得到通道信息交互后的特征图A′∈R^C×H×W。接着将特征图A′送入3x3的depthwise卷积和1x1的pointwise卷积得到特征图X,Y,Z。然后的特征图X∈R^C×H×W转换为X∈R^C×N(其中N＝H×W)；

步骤2.2：该步骤是步骤2中的通道注意力DSCAM模块，首先，将输入特征图送入卷积核大小为3x3的depthwise卷积，后续送入1x1的pointwise卷积得到通道信息交互后的特征图A′∈R^C×H×W，并将该特征图转换为A′∈R^C×N(其中N＝H×W)，然后和转置后的特征图A′进行矩阵乘法；

步骤3：该步骤是基于MMD的加权原型网络模块，MMD算法通过计算基于样本分布(包括和不包括样本)的平均嵌入之间的最大平均差异得到样本权重，很好的避免了因某些样本偏差较大对分类结果造成的影响。

2.如权利要求1所述方法，其特征在于，步骤1中的每个组内卷积核大小不同但是特征通道维数应该是

其中i＝0,1,…,S-1，并且C应能被S整除。

3.如权利要求1所述方法，其特征在于，本发明设计的基于深度可分卷积的空间注意力模块DSSAM和通道注意力DSCAM模块，该模型自适应地融合了局部特征和全局相关性。

4.如权利要求1所述方法，其特征在于，步骤2.1中的空间注意力模块DSSAM模块最终输出的特征图是在原始特征的基础上加权融合了所有空间位置特征。

Images