CN117095368A - 一种基于yolov5融合多目标特征增强网络和注意力机制的交通小目标检测方法 - Google Patents
一种基于yolov5融合多目标特征增强网络和注意力机制的交通小目标检测方法 Download PDFInfo
- Publication number
- CN117095368A CN117095368A CN202311130565.7A CN202311130565A CN117095368A CN 117095368 A CN117095368 A CN 117095368A CN 202311130565 A CN202311130565 A CN 202311130565A CN 117095368 A CN117095368 A CN 117095368A
- Authority
- CN
- China
- Prior art keywords
- feature
- network
- small target
- frame
- detection method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 230000007246 mechanism Effects 0.000 title claims abstract description 21
- 230000004927 fusion Effects 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000005215 recombination Methods 0.000 claims abstract description 9
- 230000006798 recombination Effects 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000011176 pooling Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000002401 inhibitory effect Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/182—Network patterns, e.g. roads or rivers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及城市交通车辆管理技术领域,且公开了一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法,步骤1、对图片进行预处理获得主要的特征数据;步骤2、将预处理的特征图送入主干网络中进行特征提取以及利用CBAM注意力机制对特征通道进行重组,赋予关键特征较大的权重来突出小目标的语义信息和细节特征;步骤3、经过主干网络重组后的特征图输入到特征增强网络中,通过优化多尺度特征重组模块,在原有基础上添加更适合小目标的检测头,使其能检测到16像素的小目标特征,对其中可能存在的目标进行候选框标定;本发明可以提升对无人机航拍图像小目标的检测精度和准确率,使得无人机得以更好地应用到城市交通的监测中。
Description
技术领域
本发明涉及城市交通车辆管理技术领域,具体为一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法。
背景技术
随着无人机性能的不断提升和应用场景的不断扩展,利用无人机作为城市交通新的感知模块,可以帮助监控交通系统,检测道路上的车辆,行人,自行车等交通小目标,促进智能交通系统的组成,预防事故的发生。但随着汽车保有量的增加,城市道路交通经常会出现密集场景中目标重叠的现象,由于各目标相互遮挡较多,极易造成漏检和重复检测等情况。通过对基于原有算法进行改进,使其对小目标的检测精度和准确率得以提升,为此,提出一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法。
发明内容
本发明的目的在于提供一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法,以解决上述背景技术中提出随着汽车保有量的增加,城市道路交通经常会出现密集场景中目标重叠的现象,由于各目标相互遮挡较多,极易造成漏检和重复检测等情况。通过对基于原有算法进行改进,使其对小目标的检测精度和准确率得以提升的问题。
为实现上述目的,本发明提供如下技术方案:一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法,包括以下步骤:
步骤1、对图片进行预处理获得主要的特征数据;
步骤2、将预处理的特征图送入主干网络中进行特征提取以及利用CBAM注意力机制对特征通道进行重组,赋予关键特征较大的权重来突出小目标的语义信息和细节特征;
步骤3、经过主干网络重组后的特征图输入到特征增强网络中,通过优化多尺度特征重组模块,在原有基础上添加更适合小目标的检测头,使其能检测到16像素的小目标特征,对其中可能存在的目标进行候选框标定,同时利用深度可分离卷积代替特征增强网络中的普通卷积,以此来减少参数数量和加速模型推理速度提高感受野和特征表达能力;
步骤4、经过特征增强网络处理的特征图送入目标检测网络中,根据位置损失函数的结果对候选框的位置进行修正,同时利用非极大值抑制算法抑制和删除多余候选框进而输出更精确的检测结果。
作为本技术方案进一步优选的:步骤2中将输入的图片进行数据增强的预处理,处理后的图片送入深度神经网络进行训练,并输出训练后的模型,在主干网络中对输入的图片使用Mosaic数据增强算法,对图片进行随机翻转,平移,裁剪的方式将四张图片拼接成一张图片,提升数据的多样性和丰富性。
作为本技术方案进一步优选的:将图片的特征图,输入主干网络中进行特征提取,使用一种CBAM注意力模块对特征图不同通道进行重组,赋予关键特征较大的权重来突出小目标的语义信息和细节特征,并降低不相关特征,比如背景,对目标特征提取造成的负面影响。
作为本技术方案进一步优选的:利用全局平均池化的方式对特征图进行降维,其中C表示通道数,H表示高度,W表示宽度,得到通道的全局特征描述,具体的操作过程如下所示:
其中C表示通道数,表示不同通道上的特征点信息;
全连接网络层对获取的全局特征进行映射,学习到每个通道的重要性权重,将通道权重与原始特征图相乘,以调整通道特征的表示,增强重要通道的表征能力,具体的操作过程如下所示:
其中,为sigmoid函数,/>,/>为表示利用平均池化和最大池化在空间上生成的特征映射,/>和/>表示两个多层感知机网络分别对最大池化和平均池化的结果进行融合处理;
经过通道维度上最大池化和平均池化的操作,得到两种不同的空间特征表示,使用一层卷积操作对两种空间特征进行融合,通过学习卷积核的权重,捕捉不同位置之间的相关性,将学习到的空间权重与原始特征图相乘,得到经过空间注意力调整的特征图,强调重要区域的空间信息,以此来提高航拍图中小目标特征的权重,提升对小目标的全局感知,具体的操作过程如下所示:
其中,为sigmoid函数,/>是卷积核尺寸为/>的卷积操作,表示一个MLP网络用于融合平均池化和最大池化的结果。
作为本技术方案进一步优选的:步骤3中输出的特征图送入到特征增强网络中进行多尺度特征重组的操作,在原有模型的基础上进行修改,新添加一个4倍下采样的小目标检测头,使其能检测到16像素的小目标特征。
作为本技术方案进一步优选的:步骤3中利用深度可分离卷积代替特征增强网络中的普通卷积,采用深度信息和空间信息分离逐层处理的方式减少参数数量的同时加速模型推理速度提高感受野和特征表达能力,控制过拟合以及节省内存消耗。
作为本技术方案进一步优选的:首先利用深度卷积对输入特征进行共享特征提取,提取的特征分别用于后续的空间注意力权重和通道注意力权重计算,具体操作过程如下所示:
其中是单个深度层的输出,/>是输入数据,/>是过滤矩阵,/>表示空间维度上的位置坐标,H和W是过滤器的高度和宽度,c是输入通道的索引,k是输出通道的索引;
再经过逐点卷积在深度上使用1X1的卷积核将不同通道的特征图进行逐元素相加或者逐元素相乘的操作,实现特征的整合和交互,具体操作过程如下所示:
其中y是输出数据,v是权值矩阵,c,k表示输入通道数和输出通道数。
作为本技术方案进一步优选的:步骤4中的内容进入最后的目标识别阶段,根据位置损失函数的结果对候选框的位置进行修正,进而输出更精确的检测结果,首先计算预测框与真实框相交部分面积与两框相并部分面积的比值,也称为交并比Iou:
其中表示两框相交部分的面积,/>表示两框相并部分的面积;
对于每个预测框,首先计算它与其他所有预测框的IOU,将结果按照置信度从高到低排序;从置信度最高的预测框开始,与其余预测框逐一计算IOU;如果某个预测框的IOU高于设定的IOU阈值,则将其删除,保留高质量的检测结果;
对保留的预测框和真实框进行长宽比例差值的归一化处理得到:
其中/>和/>表示真实框的宽度和高度,和/>表示预测框的高度与宽度;
根据以上两式结果来计算权衡长宽比例差值造成的损失和Iou部分造成的损失平衡因子:
通过损失平衡因子来调整损失函数的权重,最终得到算法的损失函数:
其中表示预测框与真实框的中心的距离,/>表示预测框与真实框的最小包围矩形的对角线长度;
根据损失函数来度量预测框和真实框之间的位置关系,根据公式计算的结果进行反向传播,优化更新算法的参数,减小预测结果的误差,直至计算结果达到预设定的效果;根据置信度以及损失函数的值输出最终的预测框,标定出检测到的小目标结果。
与现有技术相比,本发明的有益效果是:本发明首先通过主干网络进行图片的预处理,同时利用CBAM注意力机制模块对特征图进行特征重组,赋予关键特征较大的权重来突出小目标的语义信息和细节特征。随后,将主干网络中的特征图输入到特征增强网络中,经过多个目标检测头模块将浅层特征与深层特征充分融合,对其中可能存在的目标区域进行候选框标定。同时用深度可分离卷积代替特征增强网络中的普通卷积,以此来减少参数数量同时加速模型推理速度提高感受野和特征表达能力。最后,将融合的特征图送入目标识别网络,根据位置损失函数的结果对候选框位置进行修正,进而输出更精确的检测结果。本发明可以提升对无人机航拍图像小目标的检测精度和准确率,使得无人机得以更好地应用到城市交通的监测中。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的流程示意图;
图2为本发明的整体框架示意图;
图3为本发明的主干网络中优化改良模块CBAM结构示意图;
图4为本发明的特征增强网络中多目标检测框架示意图;
图5为本发明的特征增强网络中深度可分离卷积操作示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
须知,本说明书附图所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本申请可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本申请所能产生的功效及所能达成的目的下,均应仍落在本申请所揭示的技术内容得能涵盖的范围内。
实施例
现有技术中,随着汽车保有量的增加,城市道路交通经常会出现密集场景中目标重叠的现象,由于各目标相互遮挡较多,极易造成漏检和重复检测等情况。通过对基于原有算法进行改进,使其对小目标的检测精度和准确率得以提升。
请参阅图1-5,本发明提供一种技术方案:一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法,包括以下步骤:
步骤1、对图片进行预处理获得主要的特征数据;
步骤2、将预处理的特征图送入主干网络中进行特征提取以及利用CBAM注意力机制对特征通道进行重组,赋予关键特征较大的权重来突出小目标的语义信息和细节特征;
步骤3、经过主干网络重组后的特征图输入到特征增强网络中,通过优化多尺度特征重组模块,在原有基础上添加更适合小目标的检测头,使其能检测到16像素的小目标特征,对其中可能存在的目标进行候选框标定,同时利用深度可分离卷积代替特征增强网络中的普通卷积,以此来减少参数数量和加速模型推理速度提高感受野和特征表达能力;
步骤4、经过特征增强网络处理的特征图送入目标检测网络中,根据位置损失函数的结果对候选框的位置进行修正,同时利用非极大值抑制算法抑制和删除多余候选框进而输出更精确的检测结果。
步骤2中将输入的图片进行数据增强的预处理,处理后的图片送入深度神经网络进行训练,并输出训练后的模型,在主干网络中对输入的图片使用Mosaic数据增强算法,对图片进行随机翻转,平移,裁剪的方式将四张图片拼接成一张图片,提升数据的多样性和丰富性。
将图片的特征图,输入主干网络中进行特征提取,使用一种CBAM注意力模块对特征图不同通道进行重组,赋予关键特征较大的权重来突出小目标的语义信息和细节特征,并降低不相关特征,比如背景,对目标特征提取造成的负面影响。
利用全局平均池化的方式对特征图进行降维,其中C表示通道数,H表示高度,W表示宽度,得到通道的全局特征描述,具体的操作过程如下所示:
其中C表示通道数,表示不同通道上的特征点信息;
全连接网络层对获取的全局特征进行映射,学习到每个通道的重要性权重,将通道权重与原始特征图相乘,以调整通道特征的表示,增强重要通道的表征能力,具体的操作过程如下所示:
其中,为sigmoid函数,/>,/>为表示利用平均池化和最大池化在空间上生成的特征映射,/>和/>表示两个多层感知机网络分别对最大池化和平均池化的结果进行融合处理;
经过通道维度上最大池化和平均池化的操作,得到两种不同的空间特征表示,使用一层卷积操作对两种空间特征进行融合,通过学习卷积核的权重,捕捉不同位置之间的相关性,将学习到的空间权重与原始特征图相乘,得到经过空间注意力调整的特征图,强调重要区域的空间信息,以此来提高航拍图中小目标特征的权重,提升对小目标的全局感知,具体的操作过程如下所示:
其中,为sigmoid函数,/>是卷积核尺寸为/>的卷积操作,表示一个MLP网络用于融合平均池化和最大池化的结果。
步骤3中输出的特征图送入到特征增强网络中进行多尺度特征重组的操作,在原有模型的基础上进行修改,新添加一个4倍下采样的小目标检测头,使其能检测到16像素的小目标特征。
步骤3中利用深度可分离卷积代替特征增强网络中的普通卷积,采用深度信息和空间信息分离逐层处理的方式减少参数数量的同时加速模型推理速度提高感受野和特征表达能力,控制过拟合以及节省内存消耗。
首先利用深度卷积对输入特征进行共享特征提取,提取的特征分别用于后续的空间注意力权重和通道注意力权重计算,具体操作过程如下所示:
其中是单个深度层的输出,/>是输入数据,/>是过滤矩阵,/>表示空间维度上的位置坐标,H和W是过滤器的高度和宽度,c是输入通道的索引,k是输出通道的索引;
再经过逐点卷积在深度上使用1X1的卷积核将不同通道的特征图进行逐元素相加或者逐元素相乘的操作,实现特征的整合和交互,具体操作过程如下所示:
其中y是输出数据,v是权值矩阵,c,k是输入通道和输出通道数。
步骤4中的内容进入最后的目标识别阶段,根据位置损失函数的结果对候选框的位置进行修正,进而输出更精确的检测结果,首先计算预测框与真实框相交部分面积与两框相并部分面积的比值,也称为交并比Iou:
其中表示两框相交部分的面积,/>表示两框相并部分的面积;
对于每个预测框,首先计算它与其他所有预测框的IOU,将结果按照置信度从高到低排序。从置信度最高的预测框开始,与其余预测框逐一计算IOU。如果某个预测框的IOU高于设定的IOU阈值,则将其删除,保留高质量的检测结果。
对保留的预测框和真实框进行长宽比例差值的归一化处理得到:
其中/>和/>表示真实框的宽度和高度,和/>表示预测框的高度与宽度;
根据以上两式结果来计算权衡长宽比例差值造成的损失和Iou部分造成的损失平衡因子:
通过损失平衡因子来调整损失函数的权重,最终得到算法的损失函数:
其中表示预测框与真实框的中心的距离,/>表示预测框与真实框的最小包围矩形的对角线长度;
根据损失函数来度量预测框和真实框之间的位置关系,根据公式计算的结果进行反向传播,优化更新算法的参数,减小预测结果的误差,直至计算结果达到预设定的效果;根据置信度以及损失函数的值输出最终的预测框,标定出检测到的小目标结果。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法,其特征在于:包括以下步骤:
步骤1、对图片进行预处理获得主要的特征数据;
步骤2、将预处理的特征图送入主干网络中进行特征提取以及利用CBAM注意力机制对特征通道进行重组,赋予关键特征较大的权重来突出小目标的语义信息和细节特征;
步骤3、经过主干网络重组后的特征图输入到特征增强网络中,通过优化多尺度特征重组模块,在原有基础上添加更适合小目标的检测头,使其能检测到16像素的小目标特征,对其中可能存在的目标进行候选框标定,同时利用深度可分离卷积代替特征增强网络中的普通卷积,以此来减少参数数量和加速模型推理速度提高感受野和特征表达能力;
步骤4、经过特征增强网络处理的特征图送入目标检测网络中,根据位置损失函数的结果对候选框的位置进行修正,同时利用非极大值抑制算法抑制和删除多余候选框进而输出更精确的检测结果。
2.根据权利要求1所述的一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法,其特征在于:步骤2中将输入的图片进行数据增强的预处理,处理后的图片送入深度神经网络进行训练,并输出训练后的模型,在主干网络中对输入的图片使用Mosaic数据增强算法,对图片进行随机翻转,平移,裁剪的方式将四张图片拼接成一张图片。
3.根据权利要求2所述的一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法,其特征在于:将图片的特征图,输入主干网络中进行特征提取,使用一种CBAM注意力模块对特征图不同通道进行重组,赋予关键特征较大的权重来突出小目标的语义信息和细节特征,并降低不相关特征。
4.根据权利要求3所述的一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法,其特征在于:利用全局平均池化的方式对特征图进行降维,其中C表示通道数,H表示高度,W表示宽度,得到通道的全局特征描述,具体的操作过程如下所示:
其中C表示通道数,表示不同通道上的特征点信息;
全连接网络层对获取的全局特征进行映射,学习到每个通道的重要性权重,将通道权重与原始特征图相乘,以调整通道特征的表示,增强重要通道的表征能力,具体的操作过程如下所示:
其中,为sigmoid函数,/>,/>为表示利用平均池化和最大池化在空间上生成的特征映射,/>和/>表示两个多层感知机网络分别对最大池化和平均池化的结果进行融合处理;
经过通道维度上最大池化和平均池化的操作,得到两种不同的空间特征表示,使用一层卷积操作对两种空间特征进行融合,通过学习卷积核的权重,捕捉不同位置之间的相关性,将学习到的空间权重与原始特征图相乘,得到经过空间注意力调整的特征图,强调重要区域的空间信息,以此来提高航拍图中小目标特征的权重,提升对小目标的全局感知,具体的操作过程如下所示:
其中,为sigmoid函数,/>是卷积核尺寸为/>的卷积操作,/>表示一个MLP网络用于融合平均池化和最大池化的结果。
5.根据权利要求1所述的一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法,其特征在于:步骤3中输出的特征图送入到特征增强网络中进行多尺度特征重组的操作,在原有模型的基础上进行修改,新添加一个4倍下采样的小目标检测头,使其能检测到16像素的小目标特征。
6.根据权利要求1所述的一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法,其特征在于:步骤3中利用深度可分离卷积代替特征增强网络中的普通卷积,采用深度信息和空间信息分离逐层处理的方式减少参数数量的同时加速模型推理速度提高感受野和特征表达能力,控制过拟合以及节省内存消耗。
7.根据权利要求6所述的一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法,其特征在于:首先利用深度卷积对输入特征进行共享特征提取,提取的特征分别用于后续的空间注意力权重和通道注意力权重计算,具体操作过程如下所示:
其中是单个深度层的输出,/>是输入数据,/>是过滤矩阵,/>表示空间维度上的位置坐标,H和W是过滤器的高度和宽度,c是输入通道的索引,k是输出通道的索引;
再经过逐点卷积在深度上使用1X1的卷积核将不同通道的特征图进行逐元素相加或者逐元素相乘的操作,实现特征的整合和交互,具体操作过程如下所示:
其中y是输出数据,v是权值矩阵,c,k表示输入通道数和输出通道数。
8.根据权利要求1所述的一种基于YOLOV5融合多目标特征增强网络和注意力机制的交通小目标检测方法,其特征在于:步骤4中的内容进入最后的目标识别阶段,根据位置损失函数的结果对候选框的位置进行修正,进而输出更精确的检测结果,首先计算预测框与真实框相交部分面积与两框相并部分面积的比值,也称为交并比Iou:
其中表示两框相交部分的面积,/>表示两框相并部分的面积;
对于每个预测框,首先计算它与其他所有预测框的IOU,将结果按照置信度从高到低排序;从置信度最高的预测框开始,与其余预测框逐一计算IOU;如果某个预测框的IOU高于设定的IOU阈值,则将其删除,保留高质量的检测结果;
对保留的预测框和真实框进行长宽比例差值的归一化处理得到:
其中/>和/>表示真实框的宽度和高度,/>和/>表示预测框的高度与宽度;
根据以上两式结果来计算权衡长宽比例差值造成的损失和Iou部分造成的损失平衡因子:
通过损失平衡因子来调整损失函数的权重,最终得到算法的损失函数:
其中表示预测框与真实框的中心的距离,/>表示预测框与真实框的最小包围矩形的对角线长度;
根据损失函数来度量预测框和真实框之间的位置关系,根据公式计算的结果进行反向传播,优化更新算法的参数,减小预测结果的误差,直至计算结果达到预设定的效果;根据置信度以及损失函数的值输出最终的预测框,标定出检测到的小目标结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311130565.7A CN117095368A (zh) | 2023-09-04 | 2023-09-04 | 一种基于yolov5融合多目标特征增强网络和注意力机制的交通小目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311130565.7A CN117095368A (zh) | 2023-09-04 | 2023-09-04 | 一种基于yolov5融合多目标特征增强网络和注意力机制的交通小目标检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117095368A true CN117095368A (zh) | 2023-11-21 |
Family
ID=88781205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311130565.7A Pending CN117095368A (zh) | 2023-09-04 | 2023-09-04 | 一种基于yolov5融合多目标特征增强网络和注意力机制的交通小目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117095368A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117576569A (zh) * | 2024-01-12 | 2024-02-20 | 城云科技(中国)有限公司 | 一种用于城市市容事件管理的多目标检测模型及方法 |
CN117649633A (zh) * | 2024-01-30 | 2024-03-05 | 武汉纺织大学 | 一种用于高速公路巡检的路面坑洼检测方法 |
CN117689880A (zh) * | 2024-02-01 | 2024-03-12 | 东北大学 | 基于机器学习用于生物医学图像中目标识别的方法及系统 |
-
2023
- 2023-09-04 CN CN202311130565.7A patent/CN117095368A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117576569A (zh) * | 2024-01-12 | 2024-02-20 | 城云科技(中国)有限公司 | 一种用于城市市容事件管理的多目标检测模型及方法 |
CN117576569B (zh) * | 2024-01-12 | 2024-04-02 | 城云科技(中国)有限公司 | 一种用于城市市容事件管理的多目标检测模型及方法 |
CN117649633A (zh) * | 2024-01-30 | 2024-03-05 | 武汉纺织大学 | 一种用于高速公路巡检的路面坑洼检测方法 |
CN117649633B (zh) * | 2024-01-30 | 2024-04-26 | 武汉纺织大学 | 一种用于高速公路巡检的路面坑洼检测方法 |
CN117689880A (zh) * | 2024-02-01 | 2024-03-12 | 东北大学 | 基于机器学习用于生物医学图像中目标识别的方法及系统 |
CN117689880B (zh) * | 2024-02-01 | 2024-04-16 | 东北大学 | 基于机器学习用于生物医学图像中目标识别的方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110188705B (zh) | 一种适用于车载系统的远距离交通标志检测识别方法 | |
CN117095368A (zh) | 一种基于yolov5融合多目标特征增强网络和注意力机制的交通小目标检测方法 | |
CN110263706B (zh) | 一种雾霾天气车载视频动态目标检测和识别的方法 | |
CN111695448B (zh) | 一种基于视觉传感器的路侧车辆识别方法 | |
CN113076871B (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
CN114565900A (zh) | 基于改进YOLOv5和双目立体视觉的目标检测方法 | |
CN111461083A (zh) | 基于深度学习的快速车辆检测方法 | |
CN114445430B (zh) | 轻量级多尺度特征融合的实时图像语义分割方法及系统 | |
CN115205264A (zh) | 一种基于改进YOLOv4的高分辨率遥感船舶检测方法 | |
CN111461221A (zh) | 一种面向自动驾驶的多源传感器融合目标检测方法和系统 | |
CN112731436A (zh) | 基于点云上采样的多模态数据融合可行驶区域检测方法 | |
CN114220126A (zh) | 一种目标检测系统及获取方法 | |
CN115272987A (zh) | 一种基于MSA-Yolov5的恶劣天气下车辆检测方法及装置 | |
CN116612468A (zh) | 基于多模态融合与深度注意力机制的三维目标检测方法 | |
CN116503709A (zh) | 一种基于改进YOLOv5的雾霾天气下车辆检测方法 | |
CN111079634A (zh) | 车辆行驶中检测障碍物的方法、装置、系统及车辆 | |
CN112446292B (zh) | 一种2d图像显著目标检测方法及系统 | |
CN111881914B (zh) | 一种基于自学习阈值的车牌字符分割方法及系统 | |
CN117784161A (zh) | 一种ros的相机和激光雷达融合目标检测方法 | |
CN117115690A (zh) | 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统 | |
CN112560907A (zh) | 基于混合域注意力的有限像素红外无人机目标检测方法 | |
CN114882205A (zh) | 基于注意力机制的目标检测方法 | |
CN114708423A (zh) | 基于改进Faster RCNN的水下目标检测方法 | |
CN118072146B (zh) | 一种基于多层级特征融合的无人机航拍小目标检测方法 | |
CN115953589B (zh) | 一种基于深度相机的发动机缸体孔径尺寸测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |