CN117095368A - 一种基于yolov5融合多目标特征增强网络和注意力机制的交通小目标检测方法 - Google Patents

Abstract

本发明涉及城市交通车辆管理技术领域，且公开了一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法，步骤1、对图片进行预处理获得主要的特征数据；步骤2、将预处理的特征图送入主干网络中进行特征提取以及利用CBAM注意力机制对特征通道进行重组，赋予关键特征较大的权重来突出小目标的语义信息和细节特征；步骤3、经过主干网络重组后的特征图输入到特征增强网络中，通过优化多尺度特征重组模块，在原有基础上添加更适合小目标的检测头，使其能检测到16像素的小目标特征，对其中可能存在的目标进行候选框标定；本发明可以提升对无人机航拍图像小目标的检测精度和准确率，使得无人机得以更好地应用到城市交通的监测中。

Description

一种基于YOLOV5融合多目标特征增强网络和注意力机制的交 通小目标检测方法

技术领域

本发明涉及城市交通车辆管理技术领域，具体为一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法。

背景技术

随着无人机性能的不断提升和应用场景的不断扩展，利用无人机作为城市交通新的感知模块，可以帮助监控交通系统，检测道路上的车辆，行人，自行车等交通小目标，促进智能交通系统的组成，预防事故的发生。但随着汽车保有量的增加，城市道路交通经常会出现密集场景中目标重叠的现象，由于各目标相互遮挡较多,极易造成漏检和重复检测等情况。通过对基于原有算法进行改进，使其对小目标的检测精度和准确率得以提升，为此，提出一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法。

发明内容

本发明的目的在于提供一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法，以解决上述背景技术中提出随着汽车保有量的增加，城市道路交通经常会出现密集场景中目标重叠的现象，由于各目标相互遮挡较多,极易造成漏检和重复检测等情况。通过对基于原有算法进行改进，使其对小目标的检测精度和准确率得以提升的问题。

为实现上述目的，本发明提供如下技术方案：一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法，包括以下步骤：

步骤1、对图片进行预处理获得主要的特征数据；

步骤2、将预处理的特征图送入主干网络中进行特征提取以及利用CBAM注意力机制对特征通道进行重组，赋予关键特征较大的权重来突出小目标的语义信息和细节特征；

步骤3、经过主干网络重组后的特征图输入到特征增强网络中，通过优化多尺度特征重组模块，在原有基础上添加更适合小目标的检测头，使其能检测到16像素的小目标特征，对其中可能存在的目标进行候选框标定，同时利用深度可分离卷积代替特征增强网络中的普通卷积，以此来减少参数数量和加速模型推理速度提高感受野和特征表达能力；

步骤4、经过特征增强网络处理的特征图送入目标检测网络中，根据位置损失函数的结果对候选框的位置进行修正，同时利用非极大值抑制算法抑制和删除多余候选框进而输出更精确的检测结果。

作为本技术方案进一步优选的：步骤2中将输入的图片进行数据增强的预处理，处理后的图片送入深度神经网络进行训练，并输出训练后的模型，在主干网络中对输入的图片使用Mosaic数据增强算法，对图片进行随机翻转，平移，裁剪的方式将四张图片拼接成一张图片，提升数据的多样性和丰富性。

作为本技术方案进一步优选的：将图片的特征图，输入主干网络中进行特征提取，使用一种CBAM注意力模块对特征图不同通道进行重组，赋予关键特征较大的权重来突出小目标的语义信息和细节特征，并降低不相关特征，比如背景，对目标特征提取造成的负面影响。

作为本技术方案进一步优选的：利用全局平均池化的方式对特征图进行降维，其中C表示通道数，H表示高度，W表示宽度，得到通道的全局特征描述，具体的操作过程如下所示：

其中C表示通道数，表示不同通道上的特征点信息；

全连接网络层对获取的全局特征进行映射，学习到每个通道的重要性权重，将通道权重与原始特征图相乘，以调整通道特征的表示，增强重要通道的表征能力，具体的操作过程如下所示：

其中，为sigmoid函数，/>，/>为表示利用平均池化和最大池化在空间上生成的特征映射，/>和/>表示两个多层感知机网络分别对最大池化和平均池化的结果进行融合处理；

经过通道维度上最大池化和平均池化的操作，得到两种不同的空间特征表示，使用一层卷积操作对两种空间特征进行融合，通过学习卷积核的权重，捕捉不同位置之间的相关性，将学习到的空间权重与原始特征图相乘，得到经过空间注意力调整的特征图，强调重要区域的空间信息，以此来提高航拍图中小目标特征的权重，提升对小目标的全局感知，具体的操作过程如下所示：

其中，为sigmoid函数，/>是卷积核尺寸为/>的卷积操作，表示一个MLP网络用于融合平均池化和最大池化的结果。

作为本技术方案进一步优选的：步骤3中输出的特征图送入到特征增强网络中进行多尺度特征重组的操作，在原有模型的基础上进行修改，新添加一个4倍下采样的小目标检测头，使其能检测到16像素的小目标特征。

作为本技术方案进一步优选的：步骤3中利用深度可分离卷积代替特征增强网络中的普通卷积，采用深度信息和空间信息分离逐层处理的方式减少参数数量的同时加速模型推理速度提高感受野和特征表达能力，控制过拟合以及节省内存消耗。

作为本技术方案进一步优选的：首先利用深度卷积对输入特征进行共享特征提取，提取的特征分别用于后续的空间注意力权重和通道注意力权重计算，具体操作过程如下所示：

其中是单个深度层的输出，/>是输入数据，/>是过滤矩阵,/>表示空间维度上的位置坐标，H和W是过滤器的高度和宽度，c是输入通道的索引，k是输出通道的索引；

再经过逐点卷积在深度上使用1X1的卷积核将不同通道的特征图进行逐元素相加或者逐元素相乘的操作，实现特征的整合和交互，具体操作过程如下所示：

其中y是输出数据，v是权值矩阵，c,k表示输入通道数和输出通道数。

作为本技术方案进一步优选的：步骤4中的内容进入最后的目标识别阶段，根据位置损失函数的结果对候选框的位置进行修正，进而输出更精确的检测结果，首先计算预测框与真实框相交部分面积与两框相并部分面积的比值，也称为交并比Iou：

其中表示两框相交部分的面积，/>表示两框相并部分的面积；

对于每个预测框，首先计算它与其他所有预测框的IOU，将结果按照置信度从高到低排序；从置信度最高的预测框开始，与其余预测框逐一计算IOU；如果某个预测框的IOU高于设定的IOU阈值，则将其删除，保留高质量的检测结果；

对保留的预测框和真实框进行长宽比例差值的归一化处理得到：

其中/>和/>表示真实框的宽度和高度，和/>表示预测框的高度与宽度;

根据以上两式结果来计算权衡长宽比例差值造成的损失和Iou部分造成的损失平衡因子：

通过损失平衡因子来调整损失函数的权重，最终得到算法的损失函数：

其中表示预测框与真实框的中心的距离，/>表示预测框与真实框的最小包围矩形的对角线长度；

根据损失函数来度量预测框和真实框之间的位置关系，根据公式计算的结果进行反向传播，优化更新算法的参数，减小预测结果的误差，直至计算结果达到预设定的效果；根据置信度以及损失函数的值输出最终的预测框，标定出检测到的小目标结果。

与现有技术相比，本发明的有益效果是：本发明首先通过主干网络进行图片的预处理，同时利用CBAM注意力机制模块对特征图进行特征重组，赋予关键特征较大的权重来突出小目标的语义信息和细节特征。随后，将主干网络中的特征图输入到特征增强网络中，经过多个目标检测头模块将浅层特征与深层特征充分融合，对其中可能存在的目标区域进行候选框标定。同时用深度可分离卷积代替特征增强网络中的普通卷积，以此来减少参数数量同时加速模型推理速度提高感受野和特征表达能力。最后，将融合的特征图送入目标识别网络，根据位置损失函数的结果对候选框位置进行修正，进而输出更精确的检测结果。本发明可以提升对无人机航拍图像小目标的检测精度和准确率，使得无人机得以更好地应用到城市交通的监测中。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程示意图；

图2为本发明的整体框架示意图；

图3为本发明的主干网络中优化改良模块CBAM结构示意图；

图4为本发明的特征增强网络中多目标检测框架示意图；

图5为本发明的特征增强网络中深度可分离卷积操作示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

须知，本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本申请可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本申请所能产生的功效及所能达成的目的下，均应仍落在本申请所揭示的技术内容得能涵盖的范围内。

实施例

现有技术中，随着汽车保有量的增加，城市道路交通经常会出现密集场景中目标重叠的现象，由于各目标相互遮挡较多,极易造成漏检和重复检测等情况。通过对基于原有算法进行改进，使其对小目标的检测精度和准确率得以提升。

请参阅图1-5，本发明提供一种技术方案：一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法，包括以下步骤：

步骤1、对图片进行预处理获得主要的特征数据；

步骤2、将预处理的特征图送入主干网络中进行特征提取以及利用CBAM注意力机制对特征通道进行重组，赋予关键特征较大的权重来突出小目标的语义信息和细节特征；

步骤3、经过主干网络重组后的特征图输入到特征增强网络中，通过优化多尺度特征重组模块，在原有基础上添加更适合小目标的检测头，使其能检测到16像素的小目标特征，对其中可能存在的目标进行候选框标定，同时利用深度可分离卷积代替特征增强网络中的普通卷积，以此来减少参数数量和加速模型推理速度提高感受野和特征表达能力；

步骤4、经过特征增强网络处理的特征图送入目标检测网络中，根据位置损失函数的结果对候选框的位置进行修正，同时利用非极大值抑制算法抑制和删除多余候选框进而输出更精确的检测结果。

步骤2中将输入的图片进行数据增强的预处理，处理后的图片送入深度神经网络进行训练，并输出训练后的模型，在主干网络中对输入的图片使用Mosaic数据增强算法，对图片进行随机翻转，平移，裁剪的方式将四张图片拼接成一张图片，提升数据的多样性和丰富性。

将图片的特征图，输入主干网络中进行特征提取，使用一种CBAM注意力模块对特征图不同通道进行重组，赋予关键特征较大的权重来突出小目标的语义信息和细节特征，并降低不相关特征，比如背景，对目标特征提取造成的负面影响。

利用全局平均池化的方式对特征图进行降维，其中C表示通道数，H表示高度，W表示宽度，得到通道的全局特征描述，具体的操作过程如下所示：

其中C表示通道数，表示不同通道上的特征点信息；

全连接网络层对获取的全局特征进行映射，学习到每个通道的重要性权重，将通道权重与原始特征图相乘，以调整通道特征的表示，增强重要通道的表征能力，具体的操作过程如下所示：

其中，为sigmoid函数，/>，/>为表示利用平均池化和最大池化在空间上生成的特征映射，/>和/>表示两个多层感知机网络分别对最大池化和平均池化的结果进行融合处理；

经过通道维度上最大池化和平均池化的操作，得到两种不同的空间特征表示，使用一层卷积操作对两种空间特征进行融合，通过学习卷积核的权重，捕捉不同位置之间的相关性，将学习到的空间权重与原始特征图相乘，得到经过空间注意力调整的特征图，强调重要区域的空间信息，以此来提高航拍图中小目标特征的权重，提升对小目标的全局感知，具体的操作过程如下所示：

其中，为sigmoid函数，/>是卷积核尺寸为/>的卷积操作，表示一个MLP网络用于融合平均池化和最大池化的结果。

步骤3中输出的特征图送入到特征增强网络中进行多尺度特征重组的操作，在原有模型的基础上进行修改，新添加一个4倍下采样的小目标检测头，使其能检测到16像素的小目标特征。

步骤3中利用深度可分离卷积代替特征增强网络中的普通卷积，采用深度信息和空间信息分离逐层处理的方式减少参数数量的同时加速模型推理速度提高感受野和特征表达能力，控制过拟合以及节省内存消耗。

首先利用深度卷积对输入特征进行共享特征提取，提取的特征分别用于后续的空间注意力权重和通道注意力权重计算，具体操作过程如下所示：

其中是单个深度层的输出，/>是输入数据，/>是过滤矩阵,/>表示空间维度上的位置坐标，H和W是过滤器的高度和宽度，c是输入通道的索引，k是输出通道的索引；

再经过逐点卷积在深度上使用1X1的卷积核将不同通道的特征图进行逐元素相加或者逐元素相乘的操作，实现特征的整合和交互，具体操作过程如下所示：

其中y是输出数据，v是权值矩阵，c,k是输入通道和输出通道数。

步骤4中的内容进入最后的目标识别阶段，根据位置损失函数的结果对候选框的位置进行修正，进而输出更精确的检测结果，首先计算预测框与真实框相交部分面积与两框相并部分面积的比值，也称为交并比Iou：

其中表示两框相交部分的面积，/>表示两框相并部分的面积；

对于每个预测框，首先计算它与其他所有预测框的IOU，将结果按照置信度从高到低排序。从置信度最高的预测框开始，与其余预测框逐一计算IOU。如果某个预测框的IOU高于设定的IOU阈值，则将其删除，保留高质量的检测结果。

对保留的预测框和真实框进行长宽比例差值的归一化处理得到：

其中/>和/>表示真实框的宽度和高度，和/>表示预测框的高度与宽度;

根据以上两式结果来计算权衡长宽比例差值造成的损失和Iou部分造成的损失平衡因子：

通过损失平衡因子来调整损失函数的权重，最终得到算法的损失函数：

其中表示预测框与真实框的中心的距离，/>表示预测框与真实框的最小包围矩形的对角线长度；

根据损失函数来度量预测框和真实框之间的位置关系，根据公式计算的结果进行反向传播，优化更新算法的参数，减小预测结果的误差，直至计算结果达到预设定的效果；根据置信度以及损失函数的值输出最终的预测框，标定出检测到的小目标结果。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法，其特征在于：包括以下步骤：

步骤1、对图片进行预处理获得主要的特征数据；

步骤2、将预处理的特征图送入主干网络中进行特征提取以及利用CBAM注意力机制对特征通道进行重组，赋予关键特征较大的权重来突出小目标的语义信息和细节特征；

步骤3、经过主干网络重组后的特征图输入到特征增强网络中，通过优化多尺度特征重组模块，在原有基础上添加更适合小目标的检测头，使其能检测到16像素的小目标特征，对其中可能存在的目标进行候选框标定，同时利用深度可分离卷积代替特征增强网络中的普通卷积，以此来减少参数数量和加速模型推理速度提高感受野和特征表达能力；

步骤4、经过特征增强网络处理的特征图送入目标检测网络中，根据位置损失函数的结果对候选框的位置进行修正，同时利用非极大值抑制算法抑制和删除多余候选框进而输出更精确的检测结果。

2.根据权利要求1所述的一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法，其特征在于：步骤2中将输入的图片进行数据增强的预处理，处理后的图片送入深度神经网络进行训练，并输出训练后的模型，在主干网络中对输入的图片使用Mosaic数据增强算法，对图片进行随机翻转，平移，裁剪的方式将四张图片拼接成一张图片。

3.根据权利要求2所述的一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法，其特征在于：将图片的特征图，输入主干网络中进行特征提取，使用一种CBAM注意力模块对特征图不同通道进行重组，赋予关键特征较大的权重来突出小目标的语义信息和细节特征，并降低不相关特征。

4.根据权利要求3所述的一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法，其特征在于：利用全局平均池化的方式对特征图进行降维，其中C表示通道数，H表示高度，W表示宽度，得到通道的全局特征描述，具体的操作过程如下所示：

其中C表示通道数，表示不同通道上的特征点信息；

全连接网络层对获取的全局特征进行映射，学习到每个通道的重要性权重，将通道权重与原始特征图相乘，以调整通道特征的表示，增强重要通道的表征能力，具体的操作过程如下所示：

其中，为sigmoid函数，/>，/>为表示利用平均池化和最大池化在空间上生成的特征映射，/>和/>表示两个多层感知机网络分别对最大池化和平均池化的结果进行融合处理；

经过通道维度上最大池化和平均池化的操作，得到两种不同的空间特征表示，使用一层卷积操作对两种空间特征进行融合，通过学习卷积核的权重，捕捉不同位置之间的相关性，将学习到的空间权重与原始特征图相乘，得到经过空间注意力调整的特征图，强调重要区域的空间信息，以此来提高航拍图中小目标特征的权重，提升对小目标的全局感知，具体的操作过程如下所示：

其中，为sigmoid函数，/>是卷积核尺寸为/>的卷积操作，/>表示一个MLP网络用于融合平均池化和最大池化的结果。

5.根据权利要求1所述的一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法，其特征在于：步骤3中输出的特征图送入到特征增强网络中进行多尺度特征重组的操作，在原有模型的基础上进行修改，新添加一个4倍下采样的小目标检测头，使其能检测到16像素的小目标特征。

6.根据权利要求1所述的一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法，其特征在于：步骤3中利用深度可分离卷积代替特征增强网络中的普通卷积，采用深度信息和空间信息分离逐层处理的方式减少参数数量的同时加速模型推理速度提高感受野和特征表达能力，控制过拟合以及节省内存消耗。

7.根据权利要求6所述的一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法，其特征在于：首先利用深度卷积对输入特征进行共享特征提取，提取的特征分别用于后续的空间注意力权重和通道注意力权重计算，具体操作过程如下所示：

其中是单个深度层的输出，/>是输入数据，/>是过滤矩阵,/>表示空间维度上的位置坐标，H和W是过滤器的高度和宽度，c是输入通道的索引，k是输出通道的索引；

再经过逐点卷积在深度上使用1X1的卷积核将不同通道的特征图进行逐元素相加或者逐元素相乘的操作，实现特征的整合和交互，具体操作过程如下所示：

其中y是输出数据，v是权值矩阵，c,k表示输入通道数和输出通道数。

8.根据权利要求1所述的一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法，其特征在于：步骤4中的内容进入最后的目标识别阶段，根据位置损失函数的结果对候选框的位置进行修正，进而输出更精确的检测结果，首先计算预测框与真实框相交部分面积与两框相并部分面积的比值，也称为交并比Iou：

其中表示两框相交部分的面积，/>表示两框相并部分的面积；

对于每个预测框，首先计算它与其他所有预测框的IOU，将结果按照置信度从高到低排序；从置信度最高的预测框开始，与其余预测框逐一计算IOU；如果某个预测框的IOU高于设定的IOU阈值，则将其删除，保留高质量的检测结果；

对保留的预测框和真实框进行长宽比例差值的归一化处理得到：

其中/>和/>表示真实框的宽度和高度，/>和/>表示预测框的高度与宽度;

根据以上两式结果来计算权衡长宽比例差值造成的损失和Iou部分造成的损失平衡因子：

通过损失平衡因子来调整损失函数的权重，最终得到算法的损失函数：

其中表示预测框与真实框的中心的距离，/>表示预测框与真实框的最小包围矩形的对角线长度；

根据损失函数来度量预测框和真实框之间的位置关系，根据公式计算的结果进行反向传播，优化更新算法的参数，减小预测结果的误差，直至计算结果达到预设定的效果；根据置信度以及损失函数的值输出最终的预测框，标定出检测到的小目标结果。