CN113487013B - 一种基于注意力机制的排序分组卷积方法 - Google Patents

Abstract

一种基于注意力机制的排序分组卷积方法，首先，通过全局平均池化获取输入特征图feature maps的权重信息；然后，根据这些权重信息对特征图feature maps进行排序；其后，将排序后的特征图feature maps高信息量与低信息量组合进行分组卷积，并经1×1卷积将分组卷积后的输出升到与输入一样的维度；最后，通过注意力机制对输出进行加权输出。本发明计算代价小、模型性能高。

Description

一种基于注意力机制的排序分组卷积方法

技术领域

本发明属于计算机视觉计算机应用领域，具体而言涉及一种基于注意力机制的排序分组卷积方法。

背景技术

深度的学习发展推动着计算机视觉发展，轻量型的深度神经网络研究也成为该领域的热点话题，例如图像分类、目标检测和语义分割等都出现大量的轻量型深度神经网络。通过不同的方法对深度神经网络在确保性能的前提下，进行缩减参数量获得轻量型的神经网络模型。因此，其对深度学习和计算机视觉领域的发展有着重要的意义。

调研文献发现，已有很多轻量型神经网络方法被提出，如:SqueezeNext(AmirGholami,Kiseok Kwon,Bichen Wu,et.al.SqueezeNext:Hardware-Aware Neural NetworkDesign[C].IEEE/CVF Conference on Computer Vision and Pattern RecognitionWorkshops(CVPRW),2018.即：Amir Gholami,Kiseok Kwon,Bichen Wu,et.al.硬件感知网络设计)、ShuffleNet(Xiangyu Zhang,Xinyu Zhou,Mengxiao Lin,Jian Sun.ShuffleNet:An Extremely Efficient Convolutional Neural Network for Mobile Devices[C].IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2018,pp:6848-6856.即：Xiangyu Zhang,Xinyu Zhou,Mengxiao Lin,Jian Sun.一个可用于移动设备的高效卷积神经网络)、MobileNetV2(Mark Sandler,Andrew Howard,Meng-long Zhu,Andrey Zhmoginov,Liang-Chieh Chen.MobileNetV2:Inverted Residuals and LinearBottlenecks[C].IEEE/CVF International Conference on Computer Vision Workshop(ICCVW).2018,pp:4510-4520.即：Mark Sandler,Andrew Howard,Meng-long Zhu,AndreyZhmoginov,Liang-Chieh Chen.反向的线性瓶颈残差块)。虽然现有很多轻量型的卷积神经网络可以在保证模型性能的前提下，降低模型参数量。但是在提升模型的精度方面不足并且容易丢失神经网络训练过程中的特征信息。

综上所述，已有的深度神经网络中分组卷积方法在模型性能方面距离实际应用的要求还有较大差距，迫切地需要改进。

发明内容

为了克服已有的分组卷积方法在深度神经网络模型精度方面的不足，本发明提出一种计算代价小且性能高的基于注意力机制的排序分组卷积方法。

本发明解决其技术问题所采用的技术方案是：

一种基于注意力机制的排序分组卷积方法，所述方法包括以下步骤：

1)输入：前一层卷积神经网络的输出A∈R^H×W×C，利用全局平均池化获得A∈R^H×W×C每个通道的权重信息，即x∈R^1×1×C，其中H和W分别为特征图feature maps的高和宽，C表示通道的数量；

2)利用排序算法对通道权重x∈R^1×1×C按大小进行排序，得到x_i∈R^1×1×C，其中i＝1,2,3…C；

3)找到x_i∈R^1×1×C中每个值所对应的初始索引值x^j，得到每个通道的索引与对应通道的权重信息进行匹配获得其中i,j＝1,2,…,C；

4)按高信息量的通道与低信息量的通道进行成对分组，即 对A∈R^H×W×C进行分组卷积运算，输出/>

5)将输出的特征图feature maps信息通过1×1卷积层增加通道数，得到B∈R^H×W×C；

6)将输出的B∈R^H×W×C与输入的A∈R^H×W×C进行特征融合，得到AB∈R^H×W×C，并将AB∈R^H×W×C经过通道注意力机制SENet加权输出。

本发明的技术构思为：首先，对输入的feature map获取权重信息；然后，根据这些权重信息对每一个feature map进行排序；其后，将排序后的feature map高信息量与低信息量组合进行分组卷积，并经1×1卷积将分组卷积后的输出与输入通道数匹配；最后，通过注意力机制对输出进行加权输出。本发明提出一种计算代价小、预测精度高的基于注意力机制的排序分组卷积方法。

本发明的有益效果表现在：一方面，用分组卷积的方式降低神经网络模型的参数量并且通过排序的方式让通道之间的信息融合进行卷积；另一方面，利用注意力机制，进一步的提取分组卷积后输出的特征信息，进而提高模型的性能。

附图说明

图1为排序分组卷积示意图。

图2为基于注意力机制的排序分组卷积模块示意图。

图3为基于注意力机制的排序分组卷积模块嵌入ResNet神经网络框架示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1和图2，一种基于注意力机制的排序分组卷积方法，包括以下步骤：

1)输入：前一层卷积神经网络的输出A∈R^H×W×C，利用全局平均池化获得A∈R^H×W×C每个通道的权重信息，即x∈R^1×1×C，其中H和W分别为特征图feature maps的高和宽，C表示通道的数量；

2)利用排序算法对通道权重x∈R^1×1×C按大小进行排序，得到x_i∈R^1×1×C，其中i＝1,2,3…C；

3)找到x_i∈R^1×1×C中每个值所对应的初始索引值x^j，得到每个通道的索引与对应通道的权重信息进行匹配获得其中i,j＝1,2,…,C；

4)按高信息量的通道与低信息量的通道进行成对分组，即 对A∈R^H×W×C进行分组卷积运算，输出/>

5)将输出的特征图feature maps信息通过1×1卷积层增加通道数，得到B∈R^H×W×C；

6)将输出的B∈R^H×W×C与输入的A∈R^H×W×C进行特征融合，得到AB∈R^H×W×C，并将AB∈R^H×W×C经过通道注意力机制SENet加权输出。

本实施例以嵌入ResNet的basisblock部分并应用于图像分类任务为例，一种基于注意力机制的排序分组卷积方法，包括以下步骤：

1)输入：是前一层卷积神经网络的输出A∈R^H×W×C，利用全局平均池化获得A∈R^{H ×W×C}每个通道的权重信息，即x∈R^1×1×C，其中H和W分别为特征图feature maps的高和宽，C表示通道的数量；

2)利用排序算法对通道权重x∈R^1×1×C按大小进行排序，得到x_i∈R^1×1×C，其中i＝1,2,3…C；

3)找到x_i∈R^1×1×C中每个值所对应的初始索引值x^j，得到每个通道的索引与对应通道的权重信息进行匹配获得其中i,j＝1,2,…,C；

4)按高信息量的通道与低信息量的通道进行成对分组，即 对A∈R^H×W×C进行分组卷积运算，输出/>

5)将输出的特征图feature maps信息通过1×1卷积层增加通道数，得到B∈R^H×W×C；

6)将输出的B∈R^H×W×C与输入的A∈R^H×W×C进行特征融合，得到AB∈R^H×W×C，并将AB∈R^H×W×C经过通道注意力机制SENet加权输出；

7)输出的C∈R^H×W×C与A∈R^H×W×C进行残差连接，得到新的残差块SGC_Block的整体输出。

8)将几个SGC_Block输入与输出拼接，并在首个SGC_Block前加入一个卷积层和末尾SGC_Block后加入一个全连接层组成一个图像分类模型SGC_Net。

以上说明是本发明以嵌入ResNet的basisblock部分并应用于图像分类任务为例进行的说明，并非限定本发明的实施范围，在不偏离本发明基本内容所涉及范围的前提下对其做各种变形和改进，不应排除在本发明的保护范围之外。

Claims (1)

1.一种基于注意力机制的排序分组卷积方法，其特征在于，该方法应用于图像分类任务，所述方法包括以下步骤：

1)输入：前一层卷积神经网络的输出A∈R^H×W×C，利用全局平均池化获得A∈R^H×W×C每个通道的权重信息，即x∈R^1×1×C，其中H和W分别为特征图feature maps的高和宽，C表示通道的数量；

2)利用排序算法对通道权重x∈R^1×1×C按大小进行排序，得到x_i∈R^1×1×C，其中i＝1,2,3…C；

3)找到x_i∈R^1×1×C中每个值所对应的初始索引值x^j，得到每个通道的索引与对应通道的权重信息进行匹配获得其中i,j＝1,2,…,C；

4)按高信息量的通道与低信息量的通道进行成对分组，即 对A∈R^H×W×C进行分组卷积运算，输出/>

5)将输出的特征图feature maps信息通过1×1卷积层增加通道数，得到B∈R^H×W×C；

6)将输出的B∈R^H×W×C与输入的A∈R^H×W×C进行特征融合，得到AB∈R^H×W×C，并将AB∈R^{H ×W×C}经过通道注意力机制SENet加权输出；

7)输出的C∈R^H×W×C与A∈R^H×W×C进行残差连接，得到新的残差块SGC_Block的整体输出；

8)将几个SGC_Block输入与输出拼接，并在首个SGC_Block前加入一个卷积层和末尾SGC_Block后加入一个全连接层组成一个图像分类模型SGC_Net。