CN116778455A - 基于改进YOLOv7-tiny的实时高精度交通标志小目标检测方法 - Google Patents
基于改进YOLOv7-tiny的实时高精度交通标志小目标检测方法 Download PDFInfo
- Publication number
- CN116778455A CN116778455A CN202310791629.1A CN202310791629A CN116778455A CN 116778455 A CN116778455 A CN 116778455A CN 202310791629 A CN202310791629 A CN 202310791629A CN 116778455 A CN116778455 A CN 116778455A
- Authority
- CN
- China
- Prior art keywords
- feature
- small target
- detection
- features
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 64
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出一种基于改进YOLOv7‑tiny的实时高精度交通标志小目标检测方法。在现实行车场景中由于天气、遮挡和周围复杂环境干扰导致模型对于小目标检测精度不高。本发明解决了在大分辨率图像中小目标信息易丢失等问题，提高对小目标对象的检测精度。其包括以下步骤：1)针对小目标数据集通过Kmeans方法重新聚类anchor尺寸，使其更加贴合数据集中真实目标框大小；2)构建YOLOv7‑tiny骨干特征提取网络提取输入图像中特征信息，得到包含边缘纹理颜色特征的低层级特征和具有上下文语义信息的高层级特征；3)对YOLOv7‑tiny中的颈部网络进行改进，引入浅层特征引导深层特征和浅层特征的有效注意融合；4)将分辨率较大的特征图引入到Head检测层中，并去除最小的检测头来减少模型的计算量。通过三种不同尺度的检测头得到预测目标的种类和位置结果。
Description
技术领域
本发明提出一种基于改进YOLOv7-tiny的实时高精度交通标志小目标检测方法，设计一种新的增强特征提取网络结构DAE-PAFPN，解决周围复杂环境对小目标的影响且小目标信息在深层网络中易丢失的问题，提高模型对小目标检测的精度。本发明可应用于智能交通系统和无人驾驶等领域中。
背景技术
交通标志检测就是对相机采集的真实场景中的道路交通图像，通过运用目标检测技术预测出行车场景中交通标志的类别和位置，从而可以对驾驶人员进行提醒与警示。然而在高分辨率的交通标志图像中，小目标所占面积很小属于小目标的范畴，在深层特征提取的过程中小目标信息易丢失。因此准确地检测并识别出高分辨率图像中小交通标志目标的研究意义尤为突出。
目前目标检测算法对图像中多数大、中型目标的检测效果已经达到近乎完美的程度，但对于小目标来说，模型的漏检和误检问题依然很严重。针对TT100K等交通标志数据集中高分辨率的道路场景图中，小目标在图片总像素中占比非常小，且目标易受周围复杂环境的影响，导致小目标在图像中检测困难。另一方面，随着特征提取网络的加深，小目标对象的细节会逐渐模糊，且通过下采样等操作会在一定程度上损失小目标信息。因此目前对小目标的检测仍然是一项具有挑战性的问题，越来越多的学者将研究的重心转移到小目标检测。通过研究卷积神经网络中浅层特征和深层特征所包含信息的特点，得知浅层特征中包含着丰富的细节信息，而深层特征中富含语义信息，通过融合浅层和深层特征可以优化小目标检测的效果。本发明主要针对于小目标检测过程中小目标信息在深层网络易丢失问题提出了一种新的增强特征提取DAE-PAFPN结构，增加多尺度特征融合，并在融合过程中增加SE模块有效促进浅层和深层特征的充分融合，进而提高小目标的检测精度。
发明内容
针对上述问题，本发明提出一种基于改进YOLOv7-tiny的实时高精度交通标志小目标检测方法，通过对最新的YOLOv7-tiny进行改进，在保证实时检测的情况提高对交通标志小目标的检测精度；针对小目标数据集通过Kmeans方法重新聚类anchor尺寸，使其更加贴合数据集中真实目标框大小，重聚类的anchor尺寸如图1所示；提出一种新的增强特征提取结构DAE-PAFPN，引入高分辨率低层特征，并与高层语义特征相融合，丰富特征中小目标信息；在检测层中将分辨率较大的特征图引入到Head中，并去除最小的检测头来减少模型的计算量。发明基本流程如图1所示。
本发明采取如下技术方案：一种基于改进YOLOv7-tiny的实时高精度交通标志小目标检测方法包括如下步骤：
1)针对小目标数据集通过Kmeans方法重新聚类anchor尺寸，使其更加贴合数据集中真实目标框大小；
2)构建特征提取Backbone网络对输入图像特征进行提取，充分提取图像的低层级边缘纹理颜色特征以及高层级的上下文语义信息；
3)对YOLOv7-tiny增强特征提取Neck网络进行改进提出DAE-PAFPN结构，引入高分辨率低层特征，并与高层语义特征相融合，丰富特征中小目标信息；
4)在YOLOv7-tiny的Head检测层部分，增加多尺度检测层。将三个不同尺度的检测层替换为尺度更大的特征对不同尺度的小目标进行检测。
本发明由于采取以上方法，其具有以下优点：
1、通过采用Kmeans方法重新聚类anchor尺寸，能够使得网络更快的生成预测框，有助于加快模型收敛
2、通过采用最新的YOLOv7-tiny目标检测算法来检测小目标，在骨干特征提取过程中增强各层特征的表达能力；
3、提出新的增强特征提取DAE-PAFPN结构，引入浅层特征并通过注意引导与深层特征的有效注意融合，从而增强提取到的特征；
4、在检测层中引入浅层小目标检测层，利用浅层特征中包含的丰富的小目标细节信息提高模型对小目标的检测性能；
5、本发明在保证实时的情况下，显著提高了模型对交通标志小目标的检测精度。
附图说明
图1本发明基本流程图；
图2本发明重聚类anchor结果；
图3本发明提出提出的DAE-YOLO的整体架构；
图4本发明提出DAE-PAFPN结构；
图5本发明提出在自上而下路径中的TD-DAE模块；
图6本发明提出在自下而上路径中的DT-AE模块；
图7本发明在几种不同模型上的可视化检测结果。
具体实施方式
下面结合说明书附图通过一个实例对本发明作进一步说明，本实例仅为本发明其中的一种应用实例。
步骤1)获取TT100K数据集中的9176张分辨率大小为2048×2048的图像，其中分为训练集6105张和测试集3071张，将实验数据集按照YOLO数据集格式进行整理，并按比例将数据划分为训练集和测试集。
本发明是在小交通标志数据集上进行实验的，因此要对模型初始设置的anchor尺寸进行调整。本发明采用Kmeans重聚类anchor尺寸，聚类结果如图2所示，具体步骤为：
S11)首先统计了公开数据集TT100K中各个不同尺度范围小目标的数量。绝大部分的目标面积处于32×32个像素点范围内，属于小目标的范畴。YOLOv7-tiny模型预设的anchor尺寸对小目标检测不敏感。采用Kmeans方法对anchor进行重聚类。
S12)利用1-IOU来计算bboxes(真实框)和anchors之间的距离。聚类簇数设置为9。随机选取9个聚类中心，然后计算每个真实框与这九个聚类中心的距离。1-IOU的值越小，则该真实框就聚到该类中。聚类完之后重新计算出九个新的聚类中心，然后重复上述过程直至聚类中心不再发生变化，聚类结束就得到了贴近于小目标数据集的anchor尺寸；
本发明是基于YOLOv7-tiny进行的改进，整个网络的架构如图3所示，主要分为三个部分，在Backbone部分，具体步骤为：
S21)将输入大小为640×640的输入图像先经过步幅为2尺寸为3×3通道数为32的卷积生成320×320的特征图；然后再经过步幅为2尺寸为3×3通道数为64的卷积生成160×160的特征图；再接着通过一个C5模块；C5模块是由不同的3×3卷积、1×1卷积组合而成；该模块前后特征图的尺寸大小不变；
S22)将上述得到的160×160×64的特征图依次通过三次MaxPool最大池化和C5模块，分别得到了分辨率大小为80×80、40×40、20×20的特征图；
步骤2)对YOLOv7-tiny的特征增强网络进行改进，提出DAE-PAFPN结构如图4所示，重新设置不同尺度特征图的融合方式，将浅层高分辨率的特征图引入到特征融合中，并在融合过程中加入注意力机制有效增强对小目标信息的关注度。在DAE-PAFPN结构中分为自上而下和自下而上两个路径。
S31)在DAE-PAFPN结构的自上而下路径中提出TD-DAE特征融合模块如图5所示。本层特征先通过1×1卷积调整通道数，深层特征通过上采样和卷积操作生成与本层特征相同大小的特征图，之后将二者相加得到一个新的特征图；接着对于分辨率较大的浅层特征图通过步幅为2尺寸为3的卷积进行处理，再经过SE注意力模块生成一组特征权重，将该权重与得到的新特征图相乘再与原始本层特征图进行相加变得到注意增强后的特征图，通过DT-AE特征融合模块后就得到了三个不同尺度大小的特征图分别为80×80、40×40、20×20；
S32)在自下而上路径中通过DT-AE特征融合模块对上述三个特征图进行特征增强操作，DT-AE模块如图6所示。浅层特征图通过下采样生成与本层大小相同的特征图，然后对得到的特征图通过SE通道注意得到一组权重参数，将权重与本层特征相乘来增强对细节信息的关注度。最后通过残差连接与本层相加得到增强后的特征图。通过DT-AE特征融合模块后就得到了三个不同尺度大小的特征图分别为80×80、40×40、20×20；
步骤4)在Head检测头部分如图3Head部分所示，引入高分辨率特征，增加多尺度检测层，具体步骤为：经过DAE-PAFPN增强特征提取后得到三个不同尺度的检测层，分别为80×80×64、40×40×128、20×20×256。由于检测对象主要是小目标，因此将分辨率较大的160×160的特征图引入到Head检测层中，并去除20×20的检测头来减少模型的计算量，低层特征图中包含更多的小目标的位置信息，能提高对交通标志小目标的检测结果。通过对着三种不同尺寸特征图进行检测，得到了最终的检测结果。
本发明的实验部分是在NVIDIA GeForce RTX2080Ti显卡上进行的，操作系统为Windows10，Pytorch版本为1.11.0。同时本发明设置的迭代次数为300，初始学习率为0.001，batch_size大小设置为8，momentum为0.8，损失函数采用交叉熵损失函数和CIOU损失，根据损失下降的趋势，可以适当调节学习率和batch_size的值，直至训练数据集输出的损失函数值小于等于阈值或达到设置的最大迭代次数时停止训练，得到训练好的改进网络。
本发明在上述实验结果的基础之上，可视化显示几种不同的模型的检测效果，如图7所示。
本发明的保护范围也并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (5)
1.一种基于改进YOLOv7-tiny的实时高精度交通标志小目标检测方法，其特征在于，包含如下步骤：
1)针对小目标数据集通过Kmeans方法重新聚类anchor尺寸，使其更加贴合数据集中真实目标框大小；
2)构建特征提取Backbone网络对输入图像特征进行提取，充分提取图像的低层级边缘纹理颜色特征以及高层级的上下文语义信息；
3)对YOLOv7-tiny增强特征提取Neck网络进行改进提出DAE-PAFPN结构，引入高分辨率低层特征，并与高层语义特征相融合，丰富特征中小目标信息；
4)在YOLOv7-tiny的Head检测层部分，增加多尺度检测层。将三个不同尺度的检测层替换为尺度更大的特征对不同尺度的小目标进行检测。
2.如权利要求1所述的一种基于改进YOLOv7-tiny的实时高精度交通标志小目标检测方法，其特征在于：所述步骤1)采用Kmeans聚类方法对小目标数据集中的真实目标框进行聚类，具体步骤为：
S11)首先统计了公开数据集TT100K中各个不同尺度范围小目标的数量。绝大部分的目标面积处于32×32个像素点范围内，属于小目标的范畴。YOLOv7-tiny模型预设的anchor尺寸对小目标检测不敏感。采用Kmeans方法对anchor进行重聚类。
S12)利用1-IOU来计算bboxes(真实框)和anchors之间的距离。聚类簇数设置为9。随机选取9个聚类中心，然后计算每个真实框与这九个聚类中心的距离。1-IOU的值越小，则该真实框就聚到该类中。聚类完之后重新计算出九个新的聚类中心，然后重复上述过程直至聚类中心不再发生变化，聚类结束就得到了贴近于小目标数据集的anchor尺寸。
3.如权利要求1所述的一种基于改进YOLOv7-tiny的实时高精度交通标志小目标检测方法，其特征在于：所述步骤2)构建特征提取Backbone网络对输入图像特征进行提取，具体步骤为：
S21)将输入大小为640×640的输入图像先经过步幅为2尺寸为3×3通道数为32的卷积生成320×320的特征图；然后再经过步幅为2尺寸为3×3通道数为64的卷积生成160×160的特征图；再接着通过一个C5模块；C5模块是由不同的3×3卷积、1×1卷积组合而成；该模块前后特征图的尺寸大小不变；
S22)将上述得到的160×160×64的特征图依次通过三次MaxPool最大池化和C5模块，分别得到了分辨率大小为80×80、40×40、20×20的特征图。
4.如权利要求1所述的一种基于改进YOLOv7-tiny的实时高精度交通标志小目标检测方法，其特征在于：所述步骤3)重新设计一种密集注意增强的颈部特征提取网络DAE-PAFPN，将分辨率更大的低级特征引入多尺度特征融合中，增强浅层和深层特征的有效注意融，具体步骤为：
S31)在DAE-PAFPN结构的自上而下路径中提出TD-DAE特征融合模块。本层特征先通过1×1卷积调整通道数，深层特征通过上采样和卷积操作生成与本层特征相同大小的特征图，之后将二者相加得到一个新的特征图；接着对于分辨率较大的浅层特征图通过步幅为2尺寸为3的卷积进行处理，再经过SE注意力模块生成一组特征权重，将该权重与得到的新特征图相乘再与原始本层特征图进行相加变得到注意增强后的特征图，通过DT-AE特征融合模块后就得到了三个不同尺度大小的特征图分别为80×80、40×40、20×20；
S32)在自下而上路径中通过DT-AE特征融合模块对上述三个特征图进行特征增强操作。浅层特征图通过下采样生成与本层大小相同的特征图，然后对得到的特征图通过SE通道注意得到一组权重参数，将权重与本层特征相乘来增强对细节信息的关注度。最后通过残差连接与本层相加得到增强后的特征图。通过DT-AE特征融合模块后就得到了三个不同尺度大小的特征图分别为80×80、40×40、20×20。
5.如权利要求1所述的一种基于改进YOLOv7-tiny的实时高精度交通标志小目标检测方法，其特征在于：所述步骤4)在Head检测头部分，引入高分辨率特征，增加多尺度检测层，具体步骤为：经过DAE-PAFPN增强特征提取后得到三个不同尺度的检测层，分别为80×80×64、40×40×128、20×20×256。由于检测对象主要是小目标，因此将分辨率较大的160×160的特征图引入到Head检测层中，并去除20×20的检测头来减少模型的计算量，低层特征图中包含更多的小目标的位置信息，能提高对交通标志小目标的检测结果。通过对着三种不同尺寸特征图进行检测，得到了最终的检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310791629.1A CN116778455A (zh) | 2023-06-30 | 2023-06-30 | 基于改进YOLOv7-tiny的实时高精度交通标志小目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310791629.1A CN116778455A (zh) | 2023-06-30 | 2023-06-30 | 基于改进YOLOv7-tiny的实时高精度交通标志小目标检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116778455A true CN116778455A (zh) | 2023-09-19 |
Family
ID=88009739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310791629.1A Pending CN116778455A (zh) | 2023-06-30 | 2023-06-30 | 基于改进YOLOv7-tiny的实时高精度交通标志小目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116778455A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218454A (zh) * | 2023-11-06 | 2023-12-12 | 成都合能创越软件有限公司 | 基于特征图信息和负样本训练的小目标检测方法及装置 |
-
2023
- 2023-06-30 CN CN202310791629.1A patent/CN116778455A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218454A (zh) * | 2023-11-06 | 2023-12-12 | 成都合能创越软件有限公司 | 基于特征图信息和负样本训练的小目标检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598030B (zh) | 一种航拍图像中车辆检测和分割的方法及系统 | |
| CN106875424B (zh) | 一种基于机器视觉的城市环境行驶车辆行为识别方法 | |
| Zhang et al. | C2FDA: Coarse-to-fine domain adaptation for traffic object detection | |
| Changzhen et al. | A traffic sign detection algorithm based on deep convolutional neural network | |
| CN110929577A (zh) | 一种基于YOLOv3的轻量级框架改进的目标识别方法 | |
| Khalel et al. | Automatic pixelwise object labeling for aerial imagery using stacked u-nets | |
| He et al. | Obstacle detection of rail transit based on deep learning | |
| CN110766098A (zh) | 基于改进YOLOv3的交通场景小目标检测方法 | |
| CN104361313B (zh) | 一种基于多核学习异构特征融合的手势识别方法 | |
| CN110659664B (zh) | 一种基于ssd的高精度识别小物体的方法 | |
| CN113642390B (zh) | 一种基于局部注意力网络的街景图像语义分割方法 | |
| CN114155481A (zh) | 一种基于语义分割的非结构化田间道路场景识别方法及装置 | |
| CN109886147A (zh) | 一种基于单网络多任务学习的车辆多属性检测方法 | |
| CN107564022A (zh) | 基于贝叶斯融合的视频显著性检测方法 | |
| CN110110599A (zh) | 一种基于多尺度特征融合的遥感图像目标检测方法 | |
| CN110222604A (zh) | 基于共享卷积神经网络的目标识别方法和装置 | |
| CN112287983B (zh) | 一种基于深度学习的遥感图像目标提取系统和方法 | |
| CN112528934A (zh) | 一种基于多尺度特征层的改进型YOLOv3的交通标志检测方法 | |
| CN116778455A (zh) | 基于改进YOLOv7-tiny的实时高精度交通标志小目标检测方法 | |
| CN110717863A (zh) | 一种基于生成对抗网络的单图像去雪方法 | |
| CN112101153A (zh) | 基于感受野模块与多重特征金字塔的遥感目标检测方法 | |
| CN114519819B (zh) | 一种基于全局上下文感知的遥感图像目标检测方法 | |
| CN115346071A (zh) | 高置信局部特征与全局特征学习的图片分类方法及系统 | |
| Quan et al. | Improved deeplabv3 for better road segmentation in remote sensing images | |
| CN115861756A (zh) | 基于级联组合网络的大地背景小目标识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |