CN112733821A - 一种融合轻量级注意力模型的目标检测方法 - Google Patents

Abstract

本发明属于计算机视觉中的目标检测技术领域，涉及一种融合轻量级注意力模型的目标检测方法。本发明针对目标检测中的两个问题提出了相应的解决办法，其一是针对注意力模型参数量大的问题提出通过一维卷积和空洞卷积来分别聚合通道和空间上下文特征，显著减少了模型的参数量。其二是在YOLOv4中选择合适的位置注入该轻量级注意力模型，显著提高YOLOv4的性能。

Description

一种融合轻量级注意力模型的目标检测方法

技术领域

本发明属于计算机视觉技术领域，具体的说是涉及一种融合轻量级注意力模型的目标检测方法。

背景技术

目标检测是计算机视觉和数字图像处理的一个热门方向，该技术亦在分析识别图像中物体的类别和位置。这项技术被广泛应用于机器人导航、智能视频监控、自动驾驶等许多重要领域。目前，主流的目标检测技术以深度学习为主，以YOLOv4算法目标检测为例，网络结构如图2所示，其步骤可以简要概括为：通过主干网络CSPDarknet53提取图像特征；用SPP和PANet将不同层级的特征进行融合；对融合后的特征进行编码预测。然而，由于现实场景中存在诸多复杂的因素，例如天气、角度、光照、目标物体形变以及姿态变化等，目标检测算法研究仍面临诸多挑战，现有的检测方法仍存在一些难点问题有待克服优化，其检测性能亟待改善。考虑到人类的视觉注意机制，能够决定需要关注输入的哪部分并分配有限的信息处理资源给重要的部分，对此，为解决目标特征信息利用不充分、分类置信度和定位精度间缺乏一致性的问题，使网络合理分配有限的计算资源并充分利用网络所提取的图像特征信息，让网络能够关注应该关注的图像区域，考虑将注意力模型融合进入目标检测网络。目前主流的注意力模型通常含有大量的参数，如果将注意力模型直接融合进入目标检测网络中，会显著降低网络的推理性能，这与目标检测应用场景的广泛依赖实时性相悖。因此，需要一种轻量级的注意力模型来提高目标检测的性能。

通过上述分析，现有技术存在的问题及缺陷为：

（1）YOLOv4算法对特征信息的利用不充分，没有考虑特征间的关联性。这一点造成目标检测方法对图像理解的不完整。以图2为例，图2展示了YOLOv4网络的整体结构，在特征融合部分使用SPP融合不同感受野大小的特征图，使用PANet聚合不同层级的特征图，在聚合过程中直接对不同层级的特征进行采样相加，未考虑特征图中通道特征、空间特征的相关性。

（2）现有的注意力模型含有大量参数，融合进入目标检测网络中会增加网络的复杂度，不满足目标检测的实时性需求。以图3为例，图3展示了CBAM注意力模型的通道注意力和空间注意力结构，在生成通道注意力时，使用含两层全连接层的共享全连接网络对通道特征进行聚合，共享全连接网络的参数量直接与输入特征图通道数的平方成正相关；在生成空间注意力时，使用卷积核为7×7的大卷积来聚合空间上下文信息，虽然提高了空间注意力采样点的感受野，聚合了更加广泛的信息，但同时也增加了模块的参数量。如果在目标检测网络中广泛应用该注意力模型，会极大增加网络的复杂度，增加网络推理时间。

解决以上问题及缺陷的难度为：现有技术缺乏对注意力机制如何有效融合进入目标检测网络的研究与讨论，缺少应对该问题的有效方法与评估。对于注意力机制而言，现有的注意力机制虽然存在参数量较大的缺陷，但已经形成了一套相对固定的流程。要弥补现有注意力机制的不足，需要对模型结构进行创新地设计。

解决以上问题及缺陷的意义为：上述两个问题，着眼于目标检测领域的模型复杂度与检测效果的讨论。这两个问题的解决，会使得模型在保证复杂度不大量增长的基础下，有效提升检测效果。

发明内容

本发明针对上述问题，提出一种融合轻量级注意力模型的YOLOv4目标检测方法。

本发明的技术方案是：

一种融合轻量级注意力模型的目标检测方法，其特征在于，包括以下步骤：

S1、利用现有图像制作训练数据集；

S2、构建神经网络模型：采用YOLOv4网络作为神经网络模型，在YOLOv4网络的PANet部分融入轻量级注意力模型，在横向进行每次卷积操作后对特征图进行一次注意力调整；所述轻量级注意力模型对输入特征图的处理方法为：

a、对输入特征图分别进行空间全局最大值池化和均值池化操作，生成两个一维通道特征描述符；

b、分别对步骤a中生成的两个一维通道特征描述符进行一维卷积操作，获得一维卷积后的通道特征描述符；

c、对一维卷积后的通道特征描述符按对应元素相加，获得融合后的描述符，对融合后的描述符使用Sigmoid函数运算，生成通道注意力；

d、将生成的通道注意力在空间域进行广播，扩充到与输入特征图的大小相同，随后与输入特征图按对应元素相乘，获得注入通道注意力后的特征图；

e、对注入通道注意力后的特征图分别进行通道全局最大值池化和均值池化操作，生成两个空间特征描述符，对两个空间特征描述符在通道轴方向进行叠加，获得叠加后空间特征描述符；

f、对叠加后空间特征描述符进行3×3的空洞卷积，空洞率设置为2，对卷积后的描述符使用Sigmoid函数运算，生成空间注意力；

g、将空间注意力在通道域进行广播，扩充到与输入特征图的大小相同，随后与注入通道注意力后的特征图按对应元素相乘，获得注入空间注意力后的特征图；

S3、采用训练数据集对步骤S2构建的神经网络进行训练，获得训练好的神经网络模型；

S4、将待检测图像输入训练好的神经网络模型，获得目标检测结果。

进一步的，所述步骤b中，进行一维卷积操作的卷积核的长度由以下公式自适应决定：

其中，C表示输入特征图通道数，| t |_odd表示取与t最接近的奇数，

。

进一步的，所述步骤c中，生成通道注意力的方法为：

其中，

表示输入特征图，AvgPool（）和MaxPool（）分别表示空间全局均值池化和 全局最大值池化，

表示卷积核大小为k的一维卷积，

表示Sigmoid函数。

进一步的，所述步骤f中，生成空间注意力的方法为：

其中，

表示3×3大小的空洞卷积。

本发明的技术方案，主要是在YOLOv4网络中融合注意力机制构成新的神经网络，具体流程如图1所示，包括S101、定义通道注意力模块；S102、定义空间注意力模块；S103、定义通道注意力与空间注意力串联的注意力模型；S104、将注意力模型融合进入YOLOv4的特征融合层；S105、在V0C2012数据集上训练调优，得到模型结果。本发明的注意力模型如图4所示，它是一种通用的卷积神经网络模块，可以插入在网络的任意位置。该模型摒弃了全连接层和大卷积核来聚合通道和空间特征，极大减少了注意力模型的参数量。针对YOLOv4目标检测网络，考虑网络的浅层特征具有图像的普适性，深层特征更加独特，适合通过注意力机制调整，因此本发明选择在YOLOv4的PANet部分融合上述注意力模型进行改进。融合注意力模型后的PANet结构如图5所示。

本发明的有益效果为，本发明针对目标检测中的两个问题提出了相应的解决办法，其一是针对注意力模型参数量大的问题提出通过一维卷积和空洞卷积来分别聚合通道和空间上下文特征，显著减少了模型的参数量。其二是在YOLOv4中选择合适的位置注入该轻量级注意力模型，显著提高YOLOv4的性能。

附图说明

图1是本发明提供的YOLOv4融合注意力机制的流程图。

图2是原始YOLOv4的整体结构。

图3是CBAM注意力模型。

图4是本发明提供的轻量级注意力模型。

图5是本发明提供的在YOLOv4的PANet部分融合注意力模型后的结构。

具体实施方式

下面结合附图和测试实例，对本发明的有效性和实用性进行描述：

本发明旨在通过模型算法的处理，对图像中的目标进行识别和定位，将目标的区域输出到影像中。下面结合实施例对本发明的技术方案作进一步描述。

本发明选择了公开数据集VOC2012作为实验材料，使用模型参数量和mAP作为评价指标。该数据集共包含20类别，其中共有5717个训练样本和5823个验证样本。训练样本对目标检测模型进行训练，验证集对模型效果进行评估。

首先，本发明选择了YOLOv4原始网络的模型参数量和在VOC2012数据集上测试的mAP作为测试基准，分别将现有的注意力模型SE、CBAM，以及本发明提出的轻量级注意力模型融合进入YOLOv4的PANet部分，做横向对比测试。三个改进的模型分别记为YOLOv4-1，YOLOv4-2，YOLOv4-3，对YOLOv4和这三个改进模型进行训练并测试，测试结果见表1。

表1 YOLOv4融合不同注意力模型在VOC2012数据集上测试结果

其中，测试中所包含的指标为参数增量、mAP。参数增量表示融合注意力模型后整个网络参数的增加量，反应了模型的复杂程度，具体地，参数增量越大表明注意力模型越复杂。mAP表示模型在VOC2012数据集上对20个类的平均精确度，其中在计算mAP时筛选正负样本的交并比IoU阈值设置为0.5，mAP越大表明模型地检测效果越好。召回率表示模型预测变化正确的部分占真实遥感变化部分的比例。F1指标为准确率和召回率的调和平均数。表中粗体表示的数据，为同一列中模型最优的指标。

之后，本发明重复试验，单独测试通道注意力的有效性，将只保留CBAM中的通道注意力模块、本发明提出的轻量级通道注意力模块，分别融合进入YOLOv4的PANet部分，两个模型分别记为YOLOv4-C1，YOLOv4-C2，对两个模型训练并测试，得到如表2所示的结果。

表2 YOLOv4只融合通道注意力在VOC2012数据集上测试结果

最后，本发明重复试验，单独测试空间注意力的有效性，将本发明提出的轻量级空间注意力模块分为三组，分别采用一次大小为3×3，空洞率为2的空洞卷积；一次大小为7×7，空洞率为2的空洞卷积；两次大小为3×3，空洞率为2的空洞卷积。将只保留CBAM中空间注意力模块和以上三组空间注意力分别融合进入YOLOv4的PANet部分，分别记为YOLOv4-S1，YOLOv4-S2，YOLOv4-S3，YOLOv4-S4。对四个模型训练并测试，得到如表3所示的结果。

表3 YOLOv4只融合空间注意力在VOC2012数据集上测试结果

根据表1的结果可知，YOLOv4在融合注意力模型后，效果显著提升，尤其本发明提出的轻量级注意力模型，在引入少量参数的情况下，模型的性能提升最优。结合表2分析认为主要因为CBAM存在对通道进行特征压缩的过程，该过程虽然使得模块的运算量减少，同时也舍弃了特征图的部分信息，使得通道注意力的特征表达能力下降。对比本发明提出的通道注意力，由于直接对全局池化后的通道特征进行一维卷积，并没有对特征进行压缩，整个特征图的通道信息得以完整保留。另外表3的实验结果证明在卷积聚合空间信息过程中，感受野越大，能聚合的空间上下文信息越丰富，对空间特征的编码能力越强，映射生成的空间注意力效果越好，堆叠多个卷积层同样能提高空间注意力的特征表达能力。

综上实验结果表明，在YOLOv4中融合本发明所设计的两个注意力模块，只引入少量参数，模型效果显著提升，相比于现有模型在引入参数量最少的情况下，检测精度达到最优。

Claims (4)

1.一种融合轻量级注意力模型的目标检测方法，其特征在于，包括以下步骤：

S1、利用现有图像制作训练数据集；

S2、构建神经网络模型，采用YOLOv4网络作为神经网络模型，在YOLOv4网络的PANet部分融入轻量级注意力模型，在横向进行每次卷积操作后对特征图进行一次注意力调整；所述轻量级注意力模型对输入特征图的处理方法具体包括以下步骤：

a、对输入特征图分别进行空间全局最大值池化和均值池化操作，生成两个一维通道特征描述符；

b、分别对步骤a中生成的两个一维通道特征描述符进行一维卷积操作，获得一维卷积后的通道特征描述符；

c、对一维卷积后的通道特征描述符按对应元素相加，获得融合后的描述符，对融合后的描述符使用Sigmoid函数运算，生成通道注意力；

d、将生成的通道注意力在空间域进行广播，扩充到与输入特征图的大小相同，随后与输入特征图按对应元素相乘，获得注入通道注意力后的特征图；

e、对注入通道注意力后的特征图分别进行通道全局最大值池化和均值池化操作，生成两个空间特征描述符，对两个空间特征描述符在通道轴方向进行叠加，获得叠加后空间特征描述符；

f、对叠加后空间特征描述符进行3×3的空洞卷积，空洞率设置为2，对卷积后的描述符使用Sigmoid函数运算，生成空间注意力；

g、将空间注意力在通道域进行广播，扩充到与输入特征图的大小相同，随后与注入通道注意力后的特征图按对应元素相乘，获得注入空间注意力后的特征图；

S3、采用训练数据集对步骤S2构建的神经网络进行训练，获得训练好的神经网络模型；

S4、将待检测图像输入训练好的神经网络模型，获得目标检测结果。

2.根据权利要求1所述的一种融合轻量级注意力模型的目标检测方法，其特征在于，所述步骤b中，进行一维卷积操作的卷积核的长度k由以下公式自适应决定：

其中，C表示输入特征图通道数，|t |_odd表示取与t最接近的奇数，

。

3.根据权利要求2所述的一种融合轻量级注意力模型的目标检测方法，其特征在于，所述步骤c中，生成通道注意力的方法为：

其中，

表示输入特征图，AvgPool（）和MaxPool（）分别表示空间全局均值池化和全局最 大值池化，

表示卷积核大小为k的一维卷积，

表示Sigmoid函数。

4.根据权利要求3所述的一种融合轻量级注意力模型的目标检测方法，其特征在于，所述步骤f中，生成空间注意力的方法为：

其中，

表示3×3大小的空洞卷积。

Images