CN113554151B - 一种基于卷积层间关系的注意力机制方法 - Google Patents

Abstract

一种基于卷积层间关系的注意力机制方法，首先，通过全局平均池化分别获取前一层和当前层的通道权重信息；然后，利用矩阵乘法计算两个权重向量之间的关系得到关系矩阵；其后，对关系矩阵经过两层1×1卷积层训练；最后，将训练后的关系矩阵进行列平均得到当前层关于前一层的全局权重信息，再作用于当前层的输出以自适应调节输出特征信息的重要性。本发明计算代价小、模型学习能力强。

Description

一种基于卷积层间关系的注意力机制方法

技术领域

本发明属于计算机视觉计算机应用领域，具体而言涉及一种基于卷积层间关系的注意力机制方法。

背景技术

卷积神经网络因其丰富的表征能力被广泛应用于深度学习的众多领域，为了提高卷积神经网络的学习能力和表征能力，出现了大量的注意力机制方法。通过关注重要的特征信息与抑制次要的信息实现神经网络对特征重要性的自适应调整。因此，注意力机制对深度学习发展有着重要的意义。

调研文献发现，已有很多注意力机制被提出，如:SENet(Jie Hu,Li Shen,SunGang.Squeeze-and-Excitation Networks[C].IEEE Conference on Computer Visionand Pattern Recognition(CVPR),2018,pp:7132-7141.即：Jie Hu,Li Shen,Sun Gang.压缩激励网络)、CBAM(Sanghyun Woo,Jongchan Park,Joon-Young Lee,In So Kweon.CBAM:Convolutional Block Attention Module[C].IEEE Conference on Computer Visionand Pattern Recognition(CVPR),2018,pp:3-19.即：Sanghyun Woo,Jongchan Park,Joon-Young Lee,In So Kweon.卷积注意模块)、Non-local(Xiaolong Wang,RossGirshick,Abhinav Gupta,Kaiming He.Non-local Neural Networks[C].IEEEConference on Computer Vision and Pattern Recognition(CVPR).2018,pp:7794-7803.即：Xiaolong Wang,Ross Girshick,Abhinav Gupta,Kaiming He.非局部神经网络)。虽然现有许多注意力机制可以很好的提升卷积神经网络的学习能力，但都基本上只利用单一的卷积层信息对这一层的卷积输出进行权重调整，考虑前一层对下一层有着直接作用，故只用单层的信息会降低注意力机制的性能。

综上所述，已有的注意力机制在对卷积层的信息利用上不足，需要改进注意力机制原有的单层信息利用方式。

发明内容

为了克服已有的注意力机制在获取权重信息的不足，本发明提出一种计算代价小且性能高的基于卷积层间关系的注意力机制。

本发明解决其技术问题所采用的技术方案是：

一种基于卷积层间关系的注意力机制方法，所述方法包括以下步骤：

1)本发明的输入为前一层卷积神经网络的输出A∈R^H×W×C和当前层的输出A'∈R₁ ^{H ×W×C}，分别对两个卷积层的输出进行全局平均池化获分别得到各自的通道权重信息，即x∈W^1×1×C和x'∈W₁ ^1×1×C，其中H和W分别为特征图featuremaps的高和宽，C表示通道的数量；

2)对获取的两个通道权重信息x，x'进行关系计算，利用矩阵乘法计算当前层每个通道与前一层全部通道的线性关系，当前层的权重向量与前一层的权重向量转置相乘得到卷积层间关系矩阵即x'×x^T＝M，其中C为通道的数量；

3)将关系矩阵M输入到两层卷积神经网络中进一步训练，得到其中C为通道的数量；

4)对训练获得的M'进行列平均处理，得到即将关系矩阵M进行训练再对其列平均得到当前层每个通道关于前一层的全局信息，其中C为通道的数量；

5)将最终的通道权重向量x”再作用于当前层的输出A'，得到其中H和W分别为特征图feature maps的高和宽，C表示通道的数量。

本发明的技术构思为：首先，通过全局平均池化分别获取前一层和当前层的通道权重信息；然后，利用矩阵乘法计算两个权重向量之间的关系得到关系矩阵；其后，对关系矩阵经过两层1×1卷积层训练；最后，将训练后的关系矩阵进行列平均得到当前层关于前一层的全局权重信息，再作用于当前层的输出以自适应调节输出特征信息的重要性。本发明提出一种计算代价小、预测精度高的基于卷积层间关系的注意力机制方法。

本发明的有益效果表现在：一方面，利用卷积层之间的依赖关系表示特征信息的重要性；另一方面，对矩阵进行训练学习再提取出通道权重向量去调节输出的通道重要性进而提高模型的表征能力。

附图说明

图1为基于卷积层间关系的注意力机制示意图。

图2为基于卷积层间关系的注意力机制嵌入ResNet神经网络框架示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1，一种基于卷积层间关系注意力机制方法，包括以下步骤：

1)输入为前一层卷积神经网络的输出A∈R^H×W×C和当前层的输出A'∈R₁ ^H×W×C，分别对两个卷积层的输出进行全局平均池化获分别得到各自的通道权重信息，即x∈W^1×1×C和x'∈W₁ ^1×1×C，其中H和W分别为特征图feature maps的高和宽，C表示通道的数量；

2)对获取的两个通道权重信息x，x'进行关系计算，利用矩阵乘法计算当前层每个通道与前一层全部通道的线性关系，当前层的权重向量与前一层的权重向量转置相乘得到卷积层间关系矩阵即x'×x^T＝M，其中C为通道的数量；

3)将关系矩阵M输入到两层卷积神经网络中进一步训练，得到其中C为通道的数量；

4)对训练获得的M'进行列平均处理，得到即将关系矩阵M进行训练再对其列平均得到当前层每个通道关于前一层的全局信息，其中C为通道的数量；

5)将最终的通道权重向量x”再作用于当前层的输出A'，得到其中H和W分别为特征图feature maps的高和宽，C表示通道的数量。

本实施例以嵌入ResNet的basisblock部分并应用于图像分类任务为例，一种基于卷积层间关系的注意力机制神经网络，包括以下步骤：

1)输入为前一层卷积神经网络的输出A∈R^H×W×C和当前层的输出A'∈R₁ ^H×W×C，分别对两个卷积层的输出进行全局平均池化获分别得到各自的通道权重信息即x∈W^1×1×C和x'∈W₁ ^1×1×C，其中H和W分别为特征图feature maps的高和宽，C表示通道的数量；

2)对获取的两个通道权重信息x，x'进行关系计算，利用矩阵乘法计算当前层每个通道与前一层全部通道的线性关系，当前层的权重向量与前一层的权重向量转置相乘得到卷积层间关系矩阵即x'×x^T＝M，其中C为通道的数量；

3)将关系矩阵M输入到两层卷积神经网络中进一步训练，得到其中C为通道的数量；

4)对训练获得的M'进行列平均处理，得到即将关系矩阵M进行训练再对其列平均得到当前层每个通道关于前一层的全局信息，其中C为通道的数量；

5)将最终的通道权重向量x”再作用于当前层的输出A'，得到其中H和W分别为特征图feature maps的高和宽，C表示通道的数量。

6)将卷积层间关系注意力模块直接嵌入basisblock中，即卷积块中第一层卷积为前一层，第二层卷积为当前层，输出与第一层的输入进行残差连接，得到新的残差块BL_Block的整体输出。

7)将几个BL_Block输入与输出拼接，并在首个BL_Block前加入一个卷积层和末尾BL_Block后加入一个全连接层组成一个图像分类模型BL_Net。

以上说明是本发明以嵌入ResNet的basisblock部分并应用于图像分类任务为例进行的说明，并非限定本发明的实施范围，在不偏离本发明基本内容所涉及范围的前提下对其做各种变形和改进，不应排除在本发明的保护范围之外。

Claims (1)

1.一种图像分类的基于卷积层间关系的注意力机制方法，其特征在于，实施方法包括以下步骤：

1)输入为前一层卷积神经网络的输出A∈R^H×W×C和当前层的输出A'∈R₁ ^H×W×C，分别对两个卷积层的输出进行全局平均池化获分别得到各自的通道权重信息，即x∈W^1×1×C和x'∈W₁ ^{1 ×1×C}，其中H和W分别为特征图feature maps的高和宽，C表示通道的数量；

2)对获取的两个通道权重信息x，x'进行关系计算，利用矩阵乘法计算当前层每个通道与前一层全部通道的线性关系，当前层的权重向量与前一层的权重向量转置相乘得到卷积层间关系矩阵即x'×x^T＝M，其中C为通道的数量；

3)将关系矩阵M输入到两层卷积神经网络中进一步训练，得到其中C为通道的数量；

4)对训练获得的M'进行列平均处理，得到即将关系矩阵M进行训练再对其列平均得到当前层每个通道关于前一层的全局信息，其中C为通道的数量；

5)将最终的通道权重向量x”再作用于当前层的输出A'，得到其中H和W分别为特征图feature maps的高和宽，C表示通道的数量。