CN114298187B - 一种融合改进注意力机制的目标检测方法 - Google Patents

Abstract

本发明公开了一种融合改进注意力机制的目标检测算法，涉及目标检测领域，解决现存技术对注意力机制与目标检测算法的适配性缺乏研究，注意力模型并不是对所有网络的性能提升都有显著的效果，并且注意力模型在网络中的融合方式也需要研究，不恰当的融合方式会显著增加模型的复杂度，给网络带来额外的开销，破坏单阶段算法的实时性优势的技术问题，本发明对CA注意力机制进行创新设计，增加了两个不同空洞率的空洞卷积并联结构，摒弃了特征在水平和垂直方向的二次划分，并对空间信息的特征提取和融合方式做出了优化和改进，扩大了模型的感受野和空间特征表达能力，优化了模型的性能，设计了一种合理且高效的融合方式。

Description

一种融合改进注意力机制的目标检测方法

技术领域

本发明涉及目标检测领域，具体涉及一种融合改进注意力机制的目标检测方法。

背景技术

作为计算机视觉的重要研究方向和关键技术，目标检测是解决场景理解、目标追踪、图像描述、事件检测和活动识别等更复杂更高层次的视觉任务的基础。其任务是找出图像中所有感兴趣的目标，确定它们的类别和位置，目标检测算法的核心包含分类和定位两大任务。传统的目标检测方法依赖于人工设计特征，例如方向梯度直方图、尺度不变特征变换、滑动窗口和局部形变模型及其扩展，但传统方法存在滑动窗口资源消耗大、手工特征鲁棒性差等缺点。目前，主流的基于深度学习的目标检测算法主要有两大类：一类是检测过程分成两个部分的双阶段方法，例如R-CNN系列、SPP-Net；另一类是直接对目标框进行分类和回归的单阶段算法，例如YOLO系列、SSD，双阶段算法虽然能够获取较高的检测精度，但算法模型结构较大、计算流程繁琐，会占用较多的计算资源，同时推理速度较慢；与双阶段算法相比，单阶段算法流程简单，检测速度快，但是精度略低。为了解决目前目标检测任务中对于目标密度过大、目标重叠度较高以及小目标较多时场景检测精度差的问题，研究人员对目标检测算法做出了许多改进，提出了加深网络的层数、加强特征融合、优化损失函数等改进方法，但是对特征之间相关性的利用和对重要特征的增强缺乏考虑，忽略了注意力机制对网络性能改进方面的潜力。

现存技术存在的主要问题及缺陷是：

1.单阶段算法流程简单，检测速度快，但是精度略低。以YOLOv4为例，其网络结构如图1所示，由主干特征提取网络、特征融合层以及分类回归层三部分组成，结构简单，但是对主干特征提取网络输出的细节信息和颈部中的重要通道和空间信息的利用不够充分，因此检测精度有待进一步增强。但是现存技术大都基于加深网络的层数、加强特征融合、优化损失函数等常见方式对算法进行改进，对特征信息之间相关性的利用和对重要特征的增强缺乏考虑。

2.大部分注意力模型的感受野有限，容易忽略多尺度的上下文信息。以CA注意力模型为例，其网络结构如图2所示，CA将位置信息融入通道注意力中，通过两个一维的全局平均池化直接对输入进行特征编码，虽然能在一定程度上聚合当前输入的特征，但是模型的感受野有限，只能获取到当前层的局部依赖信息，并且CA对水平方向和垂直方向的特征编码沿空间维度进行拼接，提取信息后再进行分解，分解后在两个方向分别进行卷积操作，但是两个单独的卷积没有考虑到完整的邻域信息，可能会丢失一些重要关系信息。因此如果直接将其融入YOLOv4中，注意力机制对原网络特征信息的增强效果不够充分。

解决以上问题及缺陷的难度为：现存技术对注意力机制与目标检测算法的适配性缺乏研究，注意力模型并不是对所有网络的性能提升都有显著的效果，并且注意力模型在网络中的融合方式也需要研究，不恰当的融合方式会显著增加模型的复杂度，给网络带来额外的开销，破坏单阶段算法的实时性优势。因此需要对注意力机制进行创新设计使网络性能达到最佳，并且需要提出一种合理有效的融合方式。

解决以上问题及缺陷的意义为：能在不破坏单阶段算法实时性的情况下，融入改进后的注意力机制，优化网络的性能，有效提高算法检测精度。

发明内容

本发明的目的在于：为了解决上述技术问题，提供了一种融合改进注意力机制的目标检测方法。

本发明采用的技术方案如下：

一种融合改进注意力机制的目标检测方法，包括以下步骤：

S1：采集原始图片制作数据集；

S2：构建网络模型；

S3：搭建实验环境，利用S1中的数据集对S2中构建的网络模型进行训练和验证，获取训练好的模型权重；

S4：利用S3得到的模型权重对算法进行评估，以及在真实场景图片上进行测试。

进一步地，所述S1中采集的图片涵盖了多种物体类别，并对图片的类别和位置信息进行标注。

进一步地，所述S2中构建网络模型是基于YOLOv4目标检测算法，在其主干特征提取网络CSPDarknrt的三个输出部分以及特征融合PANet的三个横向连接部分嵌入改进CA注意力机制，所述改进CA注意力机制称为DCA注意力机制。

进一步地，所述DCA注意力机制对输入特征的处理如下：

S21：首先对输入使用两个不同大小空洞率的空洞卷积并联以扩大模型的感受野；其中小空洞率捕获近距离信息，大空洞率关心远距离信息，设输入为,经下式的空洞卷积处理后输出为/>：

式中表示空洞率为2的小空洞卷积，/>表示空洞率为5的大空洞卷积，[,]表示沿维度的拼接；

S22：利用尺寸为(H,1)和(1,W)的两个全局平均池化核对空洞卷积后的特征分别沿水平方向和垂直方向进行编码得到和/>：

其中，和/>分别表示第c个通道的水平方向和垂直方向的特征编码，表示c通道中高度为h的第i个竖直张量，/>表示c通道中宽度为w的第j个水平张量，H、W为(H,1)和(1,W)池化核相应维度的数值。

S23：使用两个一维卷积分别对特征编码进行变换并将两个方向的特征映射进行合并，得到下式中的特征：

其中为一维卷积操作，/>为批尺寸归一化操作，/>为激活函数，/>和/>分别表示水平方向和垂直方向的全通道特征编码。

S24：最后直接利用一个全局的卷积操作调整通道，通过简单但有效的加法对全文特征进行融合，得到了下式中聚合了多尺度上下文信息的输出：

其中为第c个通道的原始输入特征，/>为调整通道后的变换特征，表示像素点坐标。

进一步地，所述S3中，在训练过程中采用欧氏距离和平均绝对误差的联合损失L指导网络训练，L的定义如下：

式中为平均绝对误差损失，/>为第k个标签图，/>为预测图，/>为学习参数，N为图片数量。

进一步地，所述S4中，采用精确率、召回率和平均准确度均值三项指标对模型性能进行评估。

进一步地，所述精确率表示预测为正样本的数据中真实正样本所占的比例，即“查准率”，由下式表示：

表示精确率、 TP表示正样本被正确预测为正样本的数量，FP表示负样本被错误预测为正样本的数量。

进一步地，所述召回率表示在总的正样本中模型预测出的正样本所占的比例，即“查全率”，由下式表示：

表示召回率、 FN表示正样本被错误预测为负样本的数量。

进一步地，平均准确率AP对不同召回率点上的精确率进行平均，表示单个目标类别的综合平均精度，由下式表示：

d的物理含义：d无物理含义，d是积分公式的形式，例如表示对x在0-1上进行积分。

平均准确度均值由下式表示：

mAP是多个类别AP的平均值。为第a个类别的平均准确率，n为类别总数。

本发明的有益效果如下：

1.本发明对CA注意力机制进行创新设计，增加了两个不同空洞率的空洞卷积并联结构，摒弃了特征在水平和垂直方向的二次划分，并对空间信息的特征提取和融合方式做出了优化和改进，扩大了模型的感受野和空间特征表达能力，优化了模型的性能；

2.本发明设计了一种合理且高效的融合方式，将DCA嵌入YOLOv4主干特征提取网络的三个输出特征之后，充分利用了浅层特征的细节信息，以及PANet中的三个横向特征融合部分，对模型中的重要通道和空间特征进行了增强，提高了算法的检测精度；

3.本发明在模型训练过程中引入平均绝对误差对损失函数进行优化。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，本说明书附图中的各个部件的比例关系不代表实际选材设计时的比例关系，其仅仅为结构或者位置的示意图，其中：

图1是YOLOv4网络结构图。

图2是CA注意力网络结构图。

图3是本发明提供的DCA注意力网络结构图。

图4是本发明提供的改进后的YOLOv4网络结构图。

图5是单个目标的AP测试结果图。

图6是本发明提供的目标检测算法与原始YOLOv4的预测结果对比图，其中：(a)为原图、(b)为YOLOv4预测图、(c)为本发明提供算法预测图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

下面结合图1至图6，对本发明作详细说明。

实施例1

一种融合改进注意力机制的目标检测方法包括以下步骤：

S1：采集原始图片制作数据集；

S2：构建网络模型；

S3：搭建实验环境，利用S1中的数据集对S2中构建的网络模型进行训练和验证，获取训练好的模型权重；

S4：利用S3得到的模型权重对算法进行评估，以及在真实场景图片上进行测试。

本发明的工作原理/工作过程为：本发明旨在通过算法模型对输入图像进行处理，找出图像中所有感兴趣的目标，并确定它们的类别和位置。

本发明选用的数据集是PASCAL VOC2007+2012公开数据集，VOC数据集在目标检测任务的对比实验与模型效果评估中被频繁使用，包含vehicle、household、animal、person四大类中的20个类别，共17125张图片，其中训练集和测试集的比例为4：1。测试集用于对算法模型进行性能评估。

本发明在YOLOv4的backbone的三个输出特征之后，以及PANet中三个横向特征融合部分分别嵌入现有的注意力机制GC(记为YOLOv4+GC)和CA(记为YOLOv4+CA)、以及本发明提供的注意力机制DCA(记为YOLOv4+DCA)进行对比实验。实验设置输入图片尺寸为，训练时采用普通的随机水平翻转和色域变换的数据增强方式。在训练过程中，加载了YOLOv4主干特征提取网络的预训练权重。融入不同注意力模型的YOLOv4在VOC测试集上得到的实验结果见表1。

表1 融入不同注意力模型的yolov4实验结果对比

本发明选择精确率（Precision）、召回率（Recall）和平均准确度均值（mAP）三项指标对模型性能进行评估。其中精确率表示预测为正样本的数据中真实正样本所占的比例，即“查准率”；召回率表示在总的正样本中模型预测出的正样本所占的比例，即“查全率”；精确率和召回率是一对矛盾的度量，很难根据其中的一个指标来评估模型的性能。因此，本发明选择mAP作为测试基准，平均准确率AP对不同召回率点上的精确率进行平均，表示单个目标类别的综合平均精度，mAP是多个类别AP的平均值，衡量的是模型整体的检测精度，是目标检测中最重要的指标。

表1的实验结果证明在YOLOv4中融入注意力模型的确可以改善模型的性能。与CA相比，DCA不再沿着水平方向和垂直方向对特征信息进行第二次的分解，直接对拼接后的特征进行一次卷积操作，可以进一步提取完整的邻域信息，避免了信息的缺失。并且DCA最后没有对特征进行sigmoid操作，而是将具有特征意义的张量与原输入通过相加的方式进行结合，加法与加权乘法相比，可以保留更多的原始输入信息，也能降低模型的计算量。因此融入DCA的YOLOv4算法表现最好，mAP@0.5值提升了4.27%。证明了DCA模型的优越性。

上述四种模型对VOC数据集中单个目标的AP测试结果如图5所示。从图5可以看出，与原始YOLOv4算法相比，改进的YOLOv4+DCA算法对自行车、瓶子、汽车、椅子、马、摩托车、行人、显示器等目标的检测效果有显著提升，并且YOLOv4+DCA算法在每个目标上几乎都获得了最高的AP值。分析认为是加在backbone输出的浅层特征的注意力进一步关注到了图像的细节信息，因此对小目标例如瓶子和密集行人场景的检测更加精确。而嵌入特征融合部分的注意力模型增强了网络的重要通道和空间信息，提高了有效特征的利用率，并且DCA中的空洞卷积扩大了模型的感受野，优化了模型对大目标的检测性能。因此，融入DCA的YOLOv4模型整体的特征表达能力得到增强，检测精度也显著提高。

实施例2

在实施例1的基础上，本发明还将DCA嵌入YOLOv3算法的特征融合部分，并在VOC测试集上进行评估，得到各实验指标如表2所示。由表2可以看出，与原始YOLOv3相比，融入DCA的YOLOv3算法mAP@0.5值提高了7.05%，证明了DCA模型可以方便地嵌入不同算法中，并且是有效的。

表2 不同算法融入DCA后在VOC数据集上的测试结果

最后，本发明提供的目标检测算法与原始YOLOv4的预测可视化对比见图6，可以看出YOLOv4+DCA能检测到的目标更全，对遮挡目标的检测效果更好，极大地优化了网络性能。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种融合改进注意力机制的目标检测方法，其特征在于，包括以下步骤：

S1：采集原始图片制作数据集；

S2：构建网络模型；

S3：搭建实验环境，利用S1中的数据集对S2中构建的网络模型进行训练和验证，获取训练好的模型权重；

S4：利用S3得到的模型权重对算法进行评估，以及在真实场景图片上进行测试；

所述S2中构建网络模型是基于YOLOv4目标检测算法，在其主干特征提取网络CSPDarknrt的三个输出部分以及特征融合PANet的三个横向连接部分嵌入改进CA注意力机制，所述改进CA注意力机制称为DCA注意力机制；

所述DCA注意力机制对输入特征的处理如下：

S21：首先对输入使用两个不同大小空洞率的空洞卷积并联以扩大模型的感受野；其中小空洞率捕获近距离信息，大空洞率关心远距离信息，设输入为,经下式的空洞卷积处理后输出为/>：

其中，表示空洞率为2的小空洞卷积，/>表示空洞率为5的大空洞卷积，[,]表示沿维度的拼接；

S22：利用尺寸为(H,1)和(1,W)的两个全局平均池化核对空洞卷积后的特征分别沿水平方向和垂直方向进行编码得到和/>：

其中，和/>分别表示第c个通道的水平方向和垂直方向的特征编码，/>表示c通道中高度为h的第i个竖直张量，/>表示c通道中宽度为w的第j个水平张量，H、W为(H,1)和(1,W)池化核相应维度的数值；

S23：使用两个一维卷积、批尺寸归一化和激活操作分别对特征编码进行变换并将两个方向的特征映射进行合并，得到下式中的特征：

其中，为一维卷积操作，/>为批尺寸归一化操作，/>为激活函数，/>和/>分别表示水平方向和垂直方向的全通道特征编码；

S24：最后直接利用一个全局的卷积操作调整通道，通过简单但有效的加法对全文特征进行融合，得到了下式中聚合了多尺度上下文信息的输出：

其中，为第c个通道的原始输入特征，/>为调整通道后的变换特征，/>表示像素点坐标。

2.根据权利要求1所述的一种融合改进注意力机制的目标检测方法，其特征在于，所述S1中采集的图片涵盖了多种物体类别，并对图片的类别和位置信息进行标注。

3.根据权利要求1所述的一种融合改进注意力机制的目标检测方法，其特征在于，所述S3中，在训练过程中采用欧氏距离和平均绝对误差的联合损失L指导网络训练，L的定义如下：

其中，为第k个标签图，/>为预测图，/>为学习参数，N为图片数量。

4.根据权利要求1所述的一种融合改进注意力机制的目标检测方法，其特征在于，所述S4中，采用精确率、召回率和平均准确度均值三项指标对模型性能进行评估。

5.根据权利要求4所述的一种融合改进注意力机制的目标检测方法，其特征在于，所述精确率表示预测为正样本的数据中真实正样本所占的比例，即查准率，由下式表示：

其中，表示精确率，TP表示正样本被正确预测为正样本的数量，FP表示负样本被错误预测为正样本的数量。

6.根据权利要求5所述的一种融合改进注意力机制的目标检测方法，其特征在于，所述召回率表示在总的正样本中模型预测出的正样本所占的比例，即查全率，由下式表示：

其中，表示召回率、FN表示正样本被错误预测为负样本的数量。

7.根据权利要求6所述的一种融合改进注意力机制的目标检测方法，其特征在于，平均准确率AP对不同召回率点上的精确率进行平均，表示单个目标类别的综合平均精度，由下式表示：

平均准确度均值由下式表示：

其中，mAP是多个类别AP的平均值；为第a个类别的平均准确率，n为类别总数。