CN114332780A - 一种针对小目标的交通人车非目标检测方法 - Google Patents

Abstract

本发明提供一种针对小目标的交通人车非目标检测方法，先获取待训练的交通图像样本集；再针对小目标的数据进行数据增强；继而构建基于yolov5的小目标检测网络，将带标签的图像样本集输入神经网络中，根据损失值对网络参数的偏导更新神经网络的参数权重，当损失值最小时，得到训练好的针对小目标的人车非目标检测模型；最后将待检测的交通图片输入检测模型中，输出图像中各目标的类别、置信度和四个位置坐标。本发明通过使用针对小目标的数据增强方法以及构造基于注意力机制的特征融合模块，基于YOLOV5检测网络实现对交通人车非目标的实时检测，大幅度提升了小目标的检出率和检测准确性。

Description

一种针对小目标的交通人车非目标检测方法

技术领域

本发明涉及机器学习技术领域，尤其涉及一种针对小目标的交通人车非目标检测方法。

背景技术

随着城市智慧化、数字化的推进，智能交通已成为智慧城市中必不可少的一个环节，智能交通的发展，不仅节省了交通监管和查控所需投入的人力，解决恶劣交通环境下监管的困难，更加全面和及时地检测交通事件的发生，为人们出行带来极大便利。道路交通的行人、车辆和非机动车检测，可以帮助提高交通监管的效率，减轻交通拥堵的现象，减少交通事故发生的概率，减少刑事侦查所需的人力。但由于道路交通中目标尺度大小不一，较小目标的漏检和误检问题影响了实时检测的效果。

目前，应用深度学习的图像和视频处理技术已经成为智能交通核心的发展方向，相比于以往传统图像处理方法，基于深度学习的方法在准确率和时效性方面性能有明显的提升，满足交通场景对于算法的要求。对视频中的行人、车辆和非机动车进行检测，基于深度学习网络提取得到各个目标的特征，在特征基础上识别属性信息，将非结构化数据转换为结构化数据和特征数据，使目标的属性信息标签化。例如，基于深度学习的目标检测方法，如FastRCNN、Yolo、SSD等，可应用在交通场景中行人、机动车、非机动车的检测，以便于人车非流量的统计，从而合理地分配交通资源；也可以应用在交通标志、车辆标志物的检测等。常见的目标检测网络大致可以分为两阶段网络如FastRCNN、Mask R-CNN等，首先生成一系列建议目标候选区域(Region Proposal)，然后输入到分类网络进行分类；一阶段网络如yolo、SSD等通过产生anchor box直接在原图上进行回归和分类，在实时处理速度上优于两阶段网络。在交通人车非目标检测中，模型需要对不同尺度的目标都能检测出来，这就要求模型对于尺度有鲁棒性，而现有检测网络亟待解决的难题之一是对小尺度目标物体的检测效果不好。

小目标的定义通常有两种方式：(1)绝对尺度：一般尺寸小于32×32的物体可以视为小目标物体；(2)相对尺度：物体宽高是原图宽高的1/10以下。一般的，大目标物体往往在图中所占的比例比较大。而小目标目标由于其尺寸较小而被我们忽略。数据集中也存在这种情况，很多图像中包含的小物体并没有被标出。

小目标检测效果不好的原因如下：

1)数据集中包含小目标的图片比较少，导致模型在训练的时候会偏向中等或较大的目标；小目标的面积太小了，导致包含目标的anchor比较少，这也意味着小目标被检测出的概率变小。

2)过大的下采样率与感受野：假设当前小物体尺寸为15×15，一般的物体检测中卷积下采样率为16，这样在特征图上，小物体连一个点都占据不到；而特征图上特征点的感受野比下采样率大很多，导致在特征图上的一个点中，小物体占据的特征会更少，会包含大量周围区域的特征，从而影响其检测效果。

3)现有通用的深度卷积神经网络算法容易丢失小目标的特征。

发明内容

本发明解决的技术问题是提供一种针对小目标的交通人车非目标检测方法，克服现有技术在小目标检测能力方面的缺失。

为解决上述技术问题，本发明提供的针对小目标的交通人车非目标检测方法，包括以下步骤：

S1：获取待训练的交通图像样本集；

S2：利用针对小目标的数据增强方式进行数据增强；

S3：构建基于yolov5的小目标检测网络，将带标签的图像样本集输入神经网络中，根据损失值对网络参数的偏导更新神经网络的参数权重，当损失值最小时，得到训练好的针对小目标的人车非目标检测模型；

S4：将待检测的交通图片输入检测模型中，输出图像中各目标的类别、置信度和四个位置坐标。

进一步的，所述步骤S1中，获取待训练的交通图像样本后并进行标注，标注内容包括：图像中行人、车辆、非机动车目标的坐标框和类别。

进一步的，所述步骤S2中，数据增强的方式为对小目标图像过采样以及利用“复制粘贴”策略。

进一步的，所述步骤S3中，所述人车非目标检测模型构建步骤包括：

S31：输入模块，将带标签的图像样本集输入神经网络中；

S32：主干网络特征提取模块，利用CSPDarknet53主干网络进行特征提取，得到五个阶段(C1、C2、C3、C4、C5)的特征图；

S33：基于注意力机制的特征融合模块，融合步骤S32中所提取的深层和浅层的特征，最终输出三种尺寸的特征图，分别对应深层、中层和浅层特征；

S34：检测模块损失计算，根据损失值对网络参数的偏导更新神经网络的参数权重；

S35：当损失值最小时，得到训练好的针对小目标的人车非目标检测模型。

进一步的，所述步骤S33中构建基于注意力机制的特征融合模块包括以下步骤：

S331：将从主干网络输出的最后三、四、五阶段(C3、C4、C5)中每个conv层分别连接到卷积核大小为1×1、通道深度为256的conv层来进行通道对齐；

S332：在第五阶段，将得到的混合卷积特征使用3×3的卷积层进一步提取局部特征后一方面送入第四阶段，另一方面连接采用3×3的卷积层进行步长为1的采样；

S333：在第四阶段，首先融合来自第五阶段经过上采样的特征图和本阶段的特征图，再经过残差注意力门模块，并采用3×3的卷积层进行步长为2的下采样操作；

S334：在第三阶段，首先融合来自第四阶段经过残差注意力模块进行特征提取的特征图和本阶段的特征图，再经过残差注意力门模块，并采用3×3的卷积层进行步长为4的下采样操作；

S335：最后利用三个阶段的输出特征图进行后续的多尺度预测。进一步的，所述残差注意力门模块由三部分组成，具体如下：

Part1：多尺度特征融合，将来自不同分辨率层的门信号

和

首先通过卷积操作分别被转化到两个特征空间f和g用于去计算融合后的特征

z＝ReLU(f(upsampling(x))+g(y))，再将融合后的特征z经过一个卷积层生成另一个特征空间h，具体操作为：h(z)＝W_hz，其中

和

是卷积操作学习到的特征。

Part2：利用通道注意力机制精细化融合的特征，将经part 1得到的新特征空间h(z)，首先经过全局平均池化GAP降低特征的维数，使用具有两个感知器层的多层感知器(MLP)来精细GAP的输出特征，利用Sigmoid函数来激活精细化后的特征从而获得注意力映射图A∈R^(C×1)，具体操作为：A＝sigmoid(MLP(GAP(h(z))))。

Part3：利用空间注意力机制，通过整合相关特征的空间特征图自适应地选择有用的空间信息，将经过上述part2通道注意力网络增强后的特征B∈P^C×H×W通过三个大小为1×1的卷积层以分别生成三个新的特征图E、F和G，其中{E，F，G}∈P^C×H×W，并将其reshape为P^{C ×N}，其中N＝H×W，之后，在F的转置和E之间进行矩阵乘积运算，并应用softmax层来计算空间注意矩阵S∈P^C×N用来表征其他空间位置特征和当前待计算空间位置特征的相似度，最后对融合特征z进行逐元素求和，以获得残差注意力门模型的最终输出特征O。

进一步的，所述part1中卷积操作如下：f(x)＝W_fx,g(y)＝W_gy,C,W和H分别代表通道映射图的数量，宽度和高度。

与相关技术相比较，本发明具有如下有益效果：

本发明提供的一种针对小目标的交通人车非目标检测方法，通过针对小目标检测的数据增强模块，对小目标图像过采样以及利用copy&pasting策略，提升了小目标的检出概率。

本发明中提供的基于注意力机制的特征融合模块，改变了YOLOV5深层浅层特征直接融合的方式，它连接了通道注意力模块和空间注意力模块，用来引导多尺度特征融合并抑制背景干扰，提升了模型对小目标的检测效果。

本发明中提供的残差注意力门模块，其中通道注意力部分利用了各个通道特征信息互不相同且相互关联的特点，对通道之间的相互依赖性进行显式建模，以获得更强的语义信息；空间注意力部分将范围更广的上下文信息编码为局部特征，从而增强了目标的特征提取能力并抑制了复杂纹理的背景信息。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种针对小目标的交通人车非目标检测方法的一个具体示例的流程图；

图2为本发明实施例提供的针对小目标的目标检测网络的构建方法示意图；

图3为本发明实施例提供的基于注意力机制的特征融合模块示意图；

图4为本发明实施例提供的残差注意力门模块示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请结合参阅图1和图4所示，本发明实施例提供的一种针对小目标的交通人车非目标检测方法，如图1所示，包括如下步骤：

步骤S1：获取待训练的交通图像样本集。

在本发明实施例中，对样本集的图像中的行人、车辆和非机动车目标进行标注，仅以此举例，不以此为限，在实际应用中根据实际需求对相应的目标进行标注；标注各个目标的坐标框和类别，具体地，坐标框位置为目标的左上角坐标(x1，y1)和右下角坐标(x2，y2)，每个坐标框类别只能是person、vehicle和non_vehicle中的一类。

步骤S2：利用针对小目标的数据增强方法进行数据增强。

在本发明实施例中，数据增强的方式为对小目标图像过采样以及利用“复制粘贴”策略。其中，过采样的具体方式为将含有小目标的样本按照一定的过采样率进行复制，将复制后的样本同时加入训练中；“复制粘贴”策略为将小目标贴到图像中的任意位置并生成新的标注，并且粘贴的小目标可以进行随机变换(缩放，翻折，旋转等)，这种方式通过增加每个图像中小目标的数量，匹配的anchor的数量也会随之增加，这进而提升了小目标在训练阶段对损失计算的贡献。

步骤S3：构建基于yolov5的小目标检测网络，将带标签的图像样本集输入神经网络中，根据损失值对网络参数的偏导更新神经网络的参数权重，当损失值最小时，得到训练好的针对小目标的人车非目标检测模型。

在本发明实施例中，如图2所示，所构建针对小目标的yolov5目标检测网络的训练步骤，包括：S31：将带标签的图像样本集输入神经网络中；S32：利用CSPDarknet53主干网络进行特征提取，得到五个浅层到深层阶段(C1、C2、C3、C4、C5)的特征图；S33：基于注意力机制的特征融合模块：融合步骤S32所提取的深层和浅层的特征，最终输出三种尺寸的特征图，分别对应深层、中层和浅层特征；S34：检测模块损失计算，根据损失值对网络参数的偏导更新神经网络的参数权重；S35：当损失值最小时，得到训练好的针对小目标的人车非目标检测模型。

在本发明实施例中，不同阶段的特征图对应的感受野不同，它们表达的信息抽象程度也不一样。浅层的特征图感受野小，比较适合检测小目标(要检测大目标，则其只“看”到了大目标的一部分，有效信息不够)；深层的特征图感受野大，适合检测大目标(要检测小目标，则其“看”到了太多的背景噪音，冗余噪音太多)。因此YOLOV5在特征融合阶段将深层特征和浅层特征融合起来，来提升小目标的检测性能；但是这种融合方式会将不相关的背景信息引入，干扰小目标的识别效果。因此本发明提出基于注意力机制的特征融合模块，它连接了通道注意力模块和空间注意力模块，用来引导多尺度特征融合并抑制背景干扰，提升模型对小目标的检测效果。对于通道注意模块，它可以通过所有通道图的加权总和选择性地强调包含更多目标特征的通道特征图。使用空间注意力模块通过整合相关特征的空间特征图自适应地选择有用的空间信息。因此本发明实施例中构建基于注意力机制的特征融合模块，如图3所示，具体步骤如下：

S331：将从主干网络输出的最后三、四、五阶段(C3、C4、C5)中每个conv层分别连接到卷积核大小为1×1、通道深度为256的conv层来进行通道对齐；

S332：在第五阶段，将得到的混合卷积特征使用3×3的卷积层进一步提取局部特征后一方面送入第四阶段，另一方面连接采用3×3的卷积层进行步长为1的采样；

S333：在第四阶段，首先融合来自第五阶段经过上采样的特征图和本阶段的特征图，再经过残差注意力门模块，并采用3×3的卷积层进行步长为2的下采样操作；

S334：在第三阶段，首先融合来自第四阶段经过残差注意力模块进行特征提取的特征图和本阶段的特征图，再经过残差注意力门模块，并采用3×3的卷积层进行步长为4的下采样操作；

S335：最后利用三个阶段的输出特征图进行后续的多尺度预测。其中残差注意力门模块由三部分组成，如图4所示，具体如下：

Part1：多尺度特征融合，将来自不同分辨率层的门信号

和

首先通过卷积操作分别被转化到两个特征空间f和g用于去计算融合后的特征

z＝ReLU(f(upsampling(x))+g(y))，卷积操作如下：f(x)＝W_fx,g(y)＝W_gy,C,W和H分别代表通道映射图的数量，宽度和高度。再将融合后的特征z经过一个卷积层生成另一个特征空间h，具体操作为：h(z)＝W_hz，其中

和

是卷积操作学习到的特征。

Part2：利用通道注意力机制精细化融合的特征，将经part 1得到的新特征空间h(z)，首先经过全局平均池化GAP降低特征的维数，使用具有两个感知器层的多层感知器(MLP)来精细GAP的输出特征，利用Sigmoid函数来激活精细化后的特征从而获得注意力映射图A∈R^(C×1)，具体操作为：A＝sigmoid(MLP(GAP(h(z))))。

Part3：利用空间注意力机制，通过整合相关特征的空间特征图自适应地选择有用的空间信息，将经过上述part2通道注意力网络增强后的特征B∈P^C×H×W通过三个大小为1×1的卷积层以分别生成三个新的特征图E、F和G，其中{E，F，G}∈P^C×H×W，并将其reshape为P^{C ×N}，其中N＝H×W，之后，在F的转置和E之间进行矩阵乘积运算，并应用softmax层来计算空间注意矩阵S∈P^C×N用来表征其他空间位置特征和当前待计算空间位置特征的相似度，最后对融合特征z进行逐元素求和，以获得残差注意力门模型的最终输出特征O。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种针对小目标的交通人车非目标检测方法，其特征在于，包括以下步骤：

S1：获取待训练的交通图像样本集；

S2：利用针对小目标的数据增强方式进行数据增强；

S3：构建基于yolov5的小目标检测网络，将带标签的图像样本集输入神经网络中，根据损失值对网络参数的偏导更新神经网络的参数权重，当损失值最小时，得到训练好的针对小目标的人车非目标检测模型；

S4：将待检测的交通图片输入检测模型中，输出图像中各目标的类别、置信度和四个位置坐标。

2.根据权利要求1所述针对小目标的交通人车非目标检测方法，其特征在于，所述步骤S1中，获取待训练的交通图像样本后并进行标注，标注内容包括：图像中行人、车辆、非机动车目标的坐标框和类别。

3.根据权利要求1所述针对小目标的交通人车非目标检测方法，其特征在于，所述步骤S2中，数据增强的方式为对小目标图像过采样以及利用“复制粘贴”策略。

4.根据权利要求1所述针对小目标的交通人车非目标检测方法，其特征在于，所述步骤S3中，所述人车非目标检测模型构建步骤包括：

S31：输入模块，将带标签的图像样本集输入神经网络中；

S32：主干网络特征提取模块，利用CSPDarknet53主干网络进行特征提取，得到五个阶段(C1、C2、C3、C4、C5)的特征图；

S33：基于注意力机制的特征融合模块，融合步骤S32中所提取的深层和浅层的特征，最终输出三种尺寸的特征图，分别对应深层、中层和浅层特征；

S34：检测模块损失计算，根据损失值对网络参数的偏导更新神经网络的参数权重；

S35：当损失值最小时，得到训练好的针对小目标的人车非目标检测模型。

5.根据权利要求4所述针对小目标的交通人车非目标检测方法，其特征在于，所述步骤S33中构建基于注意力机制的特征融合模块包括以下步骤：

S331：将从主干网络输出的最后三、四、五阶段(C3、C4、C5)中每个conv层分别连接到卷积核大小为1×1、通道深度为256的conv层来进行通道对齐；

S332：在第五阶段，将得到的混合卷积特征使用3×3的卷积层进一步提取局部特征后一方面送入第四阶段，另一方面连接采用3×3的卷积层进行步长为1的采样；

S333：在第四阶段，首先融合来自第五阶段经过上采样的特征图和本阶段的特征图，再经过残差注意力门模块，并采用3×3的卷积层进行步长为2的下采样操作；

S334：在第三阶段，首先融合来自第四阶段经过残差注意力模块进行特征提取的特征图和本阶段的特征图，再经过残差注意力门模块，并采用3×3的卷积层进行步长为4的下采样操作；

S335：最后利用三个阶段的输出特征图进行后续的多尺度预测。

6.根据权利要求5所述针对小目标的交通人车非目标检测方法，其特征在于，所述残差注意力门模块由三部分组成，具体如下：

Part1：多尺度特征融合，将来自不同分辨率层的门信号

和

首先通过卷积操作分别被转化到两个特征空间f和g用于去计算融合后的特征

z＝ReLU(f(upsampling(x))+g(y))，再将融合后的特征z经过一个卷积层生成另一个特征空间h，具体操作为：h(z)＝W_hz，其中

和

是卷积操作学习到的特征。

Part2：利用通道注意力机制精细化融合的特征，将经part 1得到的新特征空间h(z)，首先经过全局平均池化GAP降低特征的维数，使用具有两个感知器层的多层感知器(MLP)来精细GAP的输出特征，利用Sigmoid函数来激活精细化后的特征从而获得注意力映射图A∈R^(C×1)，具体操作为：z＝sigmoid(MLP(GAP(h(z))))。

Part3：利用空间注意力机制，通过整合相关特征的空间特征图自适应地选择有用的空间信息，将经过上述part2通道注意力网络增强后的特征B∈P^C×H×W通过三个大小为1×1的卷积层以分别生成三个新的特征图E、F和G，其中{E，F，G}∈P^C×H×W，并将其reshape为P^C×N，其中N＝H×W，之后，在F的转置和E之间进行矩阵乘积运算，并应用softmax层来计算空间注意矩阵S∈P^C×N用来表征其他空间位置特征和当前待计算空间位置特征的相似度，最后对融合特征z进行逐元素求和，以获得残差注意力门模型的最终输出特征O。

7.根据权利要求6所述针对小目标的交通人车非目标检测方法，其特征在于，所述part1中卷积操作如下：f(x)＝W_fx,g(y)＝W_gy,C,W和H分别代表通道映射图的数量，宽度和高度。

Images