CN112464910A - 一种基于YOLO v4-tiny的交通标志识别方法 - Google Patents
一种基于YOLO v4-tiny的交通标志识别方法 Download PDFInfo
- Publication number
- CN112464910A CN112464910A CN202011510258.8A CN202011510258A CN112464910A CN 112464910 A CN112464910 A CN 112464910A CN 202011510258 A CN202011510258 A CN 202011510258A CN 112464910 A CN112464910 A CN 112464910A
- Authority
- CN
- China
- Prior art keywords
- traffic sign
- tiny
- yolo
- cbam
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 36
- 230000007246 mechanism Effects 0.000 claims abstract description 28
- 238000012360 testing method Methods 0.000 claims abstract description 25
- 238000012795 verification Methods 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000009432 framing Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000001629 suppression Effects 0.000 claims description 2
- 230000003213 activating effect Effects 0.000 claims 1
- 230000003321 amplification Effects 0.000 claims 1
- 238000003199 nucleic acid amplification method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000003416 augmentation Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/09—Recognition of logos
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于YOLO v4‑tiny的交通标志识别方法，首先采集交通标志数据集，然后对初始样本交通标志数据集进行数据增强操作，并划分成训练集、验证集、测试集；针对训练集中的真实目标框以交并比为指标聚类出6个不同大小的先验框尺寸，在YOLO v4‑tiny框架中嵌入通道注意力机制和空间注意力机制，得到YOLO v4‑tiny‑CBAM网络模型；通过训练集训练网络模型并通过验证集进行验证，最后通过测试集测试网络模型的性能。本发明方法在YOLO v4‑tiny轻量型网络中引入了通道注意力和空间注意力机制，泛化能力更强、识别精度更高。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种基于YOLO v4-tiny轻量型网络的改进的交通标志识别方法。
背景技术
在AI智能发展的今天，自动驾驶技术领域取得了许多突破性成果，例如，智能视觉系统在短短几年时间便在识别效果上实现了质的飞跃。技术的突破让越来越多的原型智能车能够走出实验室，在真实道路环境中进行测试，逐渐向实际应用迈进。交通标志用来向车辆、行人传递指示信息，是保证交通线路的流畅性和安全性关键因素。因而，准确迅速地对交通标志进行识别是实现自动驾驶安全性保障的关键环节。对于交通标志识别这种任务，更多地需要部署在边缘和移动设备中，这对边缘设备的计算力和内存来说都是一个挑战，所以兼顾准确性和实时性的交通标志检测算法成为首选。
目前基于卷积神经网络的目标检测算法的发展大致分为两个方向：基于候选区域的Two-stage检测器和基于回归的One-stage检测器。Two-stage检测器一般具有速度慢精度高的特点，One-stage检测器一般具有速度快精度低的特点。尽管基于候选区域的二阶段目标检测方法R-CNN(Region-based Convolutional Neural Network)系列(包括R-CNN、Fast R-CNN以及Faster R-CNN)取得了非常好的检测结果，但由于交通标志识别要求比较高的精度和速度，该系列算法在速度方面离实时效果还比较遥远。与R-CNN系算法不同的是，以SSD(Single Shot MultiBox Detector)和YOLO(You Only Look Once:Unified,Real-Time Object Detection)为代表的一阶段算法的网络模型参数相对较少，在实时性上表现优越，但是在准确性上有点差强人意。随着YOLO系列的更新，第四代算法YOLO v4在保持识别速度的基础上已经能达到较高的的识别精度，尤其轻量级网络YOLO v4-tiny系列模型参数量较少，更适合布置在车辆系统这种边缘设备上，但是其对包含众多目标且交通标志目标较小的交通场景来说识别精读有待提高。
发明内容
为了解决上述问题，本发明提供一种基于YOLO v4-tiny的交通标志识别方法。
本发明对YOLOv4-tiny这个轻量级框架进行改进，引入通道注意力机制和空间注意力机制的相结合模块(CBAM)，使得网络模型YOLO v4-tiny-CBAM能够学会把注意力放在感兴趣的地方，忽略无关信息而关注重点信息，在保证目标检测速度和不大幅增加模型参数量的基础上提升模型对交通标志牌检测的准确率。
为实现以上发明目的，采用的技术方案是：
一种基于YOLO v4-tiny的交通标志识别方法，包括如下步骤：
S1、采集交通标志数据集。
在不同天气，不同场景，不同时间下采集包含固定种类的交通标志牌的交通标志图片，制作初始样本交通标志数据集。
进一步，步骤S1包括：
S11、根据行车记录仪或者在车辆上安装的高清摄像头实时拍摄现实道路场景中的交通标志牌图片。
S12、对步骤S11得到的包含交通标志的图片序列进行筛选，选取不同路段，不同天气，不同光照，不同交通时段下的图片，筛选出的交通标志数据图片数量在类别上平均，剔除交通标志被遮挡的图片。
S13、对筛选出来的交通标志图片按序号重命名，形成新的图片ID，然后对交通标志图片标注，框出每个交通标志牌所在的目标区域，即真实目标框的位置，然后将标注后的交通标志图片作为初始样本数据集。
S2、对初始样本交通标志数据集进行数据增强操作，所述的数据增强操作包括随机裁剪，扭曲，扩增，镜像，形变。
S3、将S2中数据增强后得到的数据集划分成训练集、验证集、测试集。
S4、针对训练集中的真实目标框以交并比(IOU)为指标聚类出6个不同大小的先验框尺寸，将获得的6个先验框尺寸作为初始参数。
S5、在YOLO v4-tiny框架中嵌入通道注意力机制和空间注意力机制，得到YOLOv4-tiny-CBAM网络模型。
所述的步骤S5，具体操作如下：
S51、将通道注意力机制和空间注意力机制拼接成一个模块CBAM，具体如下：
通过通道注意力机制将输入特征图依次送入一个全局池化层，一个全连接层(进行降维)，一个ReLU激活层，再接一个全连接层(恢复维度)，然后再经过Sigmoid激活函数，最后将得到的结果与原输入特征图相乘得到通道注意力机制的最后输出。
空间注意力机制先将通道注意力机制的输出作为输入特征分别进行全局池化和最大池化，再将全局池化和最大池化的结果进行拼接得到新的特征层，对得到的新的特征层进行卷积操作，然后由Sigmoid激活函数后再与通道注意力的输出相乘，得到经过注意力机制后的特征图。
S52、现有的YOLO v4-tiny网络结构中，主干网络CSPDarknet53-tiny包括三个带有残差边的CSPResblock，将CBAM模块插入这三个CSPResblock模块后面。
S53、在主干网络的两个输出特征层后、特征金字塔部分上采样前的卷积层后、以及拼接操作后顺序插入CBAM模块。
S6、通过训练集训练YOLO v4-tiny-CBAM网络模型并在训练过程中通过验证集对模型进行验证，具体而言，步骤S6包括:
S61依据VOOC2007格式准备三个文件夹：标签文件Annotations，图片文件夹JPEGImages和数据集划分文件夹ImageSets，在ImageSets的子文件夹Main里按行存储划分好的训练集、验证集、测试集图片ID名称(图片均以序号命名)。
S62配置网络环境，选择Ubuntu系统和PyTorch框架进行训练。
S63设置网络模型参数，根据计算机内存、显存的大小，设置YOLO v4-tiny-CBAM网络模型输入图像的尺寸、6个先验框尺寸、识别种类的数量和标注的各种类名称、预训练权重文件、迭代次数参数，初始学习率以及学习率调整策略。
S64训练至网络模型收敛，在训练的过程中用验证集进行验证，保存每个epoch训练完得到的权重文件。
S7、通过测试集测试YOLO v4-tiny-CBAM网络模型的性能；
具体而言，步骤S7包括：
S71、加载步骤S6得到的训练好的网络模型权重文件，将测试集输入训练好的YOLOv4-tiny-CBAM网络模型中，经过加入CBAM的主干网络进行特征提取，以及特征金字塔网络(FPN)层的深层和浅层特征融合，得到网络属于两个特征层的所有预测结果。
S72、通过置信度阈值判断，得到所有可能包含交通标志的预测框的边界框坐标、置信度和类别概率。再通过非极大值抑制处理去除冗余检测框，产生最终的检测结果。
本发明与现有技术相比，具有如下优点和有益效果：
针对现有目标检测方法在移动终端设备上对包含众多目标且目标较小的复杂交通场景识别精读不高的问题做出了改进，在YOLO v4-tiny轻量型网络中引入了通道注意力和空间注意力机制，训练出了泛化能力更强、识别精度更高的YOLO v4-tiny-CBAM模型。本发明提出的整个模型参数量较小，适合嵌入进终端设备，可以应用在有着良好发展前景的智能交通方面，为未来的自动驾驶技术的安全性提供了技术保障。
发明附图
图1为本发明方法的流程图；
图2为CBAM模块中的通道注意力模块结构图；
图3为CBAM模块中的空间注意力模块结构图；
图4为改进过后的YOLO v4-tiny-CBAM模型；
图5为根据收集到的交通标志数据集进行聚类后得到的6个anchor尺寸结果；
图6为改进后的YOLO v4-tiny网络模型对单个交通标志的识别效果图；
图7为改进后的YOLO v4-tiny网络模型对多个交通标志的识别效果图；
图8为YOLO v4-tiny模型对数据集中mandatory类别标志牌的检测精确度；
图9为改进过的YOLO v4-tiny-CBAM模型对数据集中mandatory类别标志牌的检测精确度。
具体实施方式
下面针对该发明专利中的具体实施细节做进一步地阐述，为使得该发明所涉及到的技术更容易被理解实施，后续内容将结合附图部分进行说明。
首先结合图1，本发明提出的YOLOv4-tiny-CBAM模型具体方法实现步骤如下：
S1、在包括晴天，雨天，雪天以及大雾天气在内的不同天气条件下，对城市道路中包含交通标志的不同场景进行图像采集，在白天和夜晚灯光等不同情况下采集包含固定种类交通标志牌的图片，以保证数据的充分性和实用性。再对采集到的图片进行制作初始样本数据集。
步骤S1具体方法如下：
S11、根据行车记录仪或者在车辆上安装的高清摄像头对现实道路场景中的交通标志牌进行实时拍摄，得到包含交通标志的图片。
S12、对步骤S11得到的包含交通标志的图片序列进行筛选，选取不同路段，不同天气，不同光照，不同交通时段下的图片，注意筛选出的交通标志图片数量要在类别上平均，剔除交通标志被遮挡的图片。
S13、将筛选出来的交通标志图片按序号重命名，得到新的图片ID，再用标注软件LabelImg对每张交通标志图片进行标注，框出每个交通标志牌所在的目标区域，即真实目标框的位置，生成VOC格式的XML标签文件，标签文件名与图片ID相对应，将标注后的交通标志图片作为初始样本数据集。
S2、对步骤S1中得到的初始样本交通标志数据集进行数据增强操作，所述的数据增强操作包括随机裁剪，扭曲，扩增，镜像和形变，。
S3、按7:1:2的比例划将步骤S2中数据增强后的数据集分成训练集、验证集、测试集，并分别生成训练集、验证集和测试集图片ID的txt文件，命名为train_txt、val_txt、test_txt。
S4、针对训练集中的真实目标框以IOU为指标聚类出6个不同大小的先验框尺寸。为了避免大目标和小目标之间的尺度敏感性，改进kmeans算法中使用的欧氏距离，采用IOU(两个框的交并比)作为聚类算法的参考指标，构建新的目标函数S如下：
其中，k为先验框个数，box为模型输出预测目标框的坐标，truth为真实目标框的坐标。根据此目标函数聚类出模型要求的k＝6个先验框尺寸。
S5、在YOLOv4-tiny框架中嵌入通道注意力机制和空间注意力机制。具体而言，步骤S5包括：
S51、构建通道注意力模块。如图2所示，将输入特征图送入一个全局池化层压缩成1*1尺寸的特征后，通过一个全连接层降维到原先通道数的一半，然后再进行ReLU激活，之后先送入一个全连接层恢复原先维度，再通过Sigmoid函数激活，最后将得到的结果与原输入特征图逐通道相乘，完成在通道维度上的对原始特征的重标定。
S52、构建空间注意力模块。如图3所示，将S51通道注意力的输出层作为输入特征层分别进行全局池化和最大池化，再把这两个结果Concate得到新的特征层，对这个特征层进行kernel_size＝7的卷积操作，然后由Sigmoid激活函数后再与通道注意力的输出层相乘，加权到先前的特征上，完成在空间维度上对原始特征的重标定，即得到经过注意力机制后的包含原始位置权重的特征图。
S53、将通道注意力机制和空间注意力机制按顺序串接成一个模块CBAM。
S54、将CBAM模块按图4所示嵌入YOLOv4-tiny网络的主干特征提取部分。YOLOv4-tiny主干网络CSPDarknet53-tiny包括三个带残差边的CSPResblock模块，这三个CSPResblock的输出特征图尺寸分别为[76,76,128]、[38,38,256]、[19,19,512]。将步骤S53中构建的CBAM模块接到这三个CSPResblock输出端后面,
S55、将CBAM模块按图4所示嵌入YOLOv4-tiny网络的特征融合部分。首先在主干网络的两个输出特征层[38,38,256]、[19,19,512]后加上注意力机制CBAM模块，再对特征金字塔特征融合部分对应的上采样前的卷积层以及Concate操作后得到的融合卷积层后引入CBAM模块。
S6、在训练集上训练步骤S5搭建好的YOLOv4-tiny-CBAM网络模型并用验证集观测训练过程，具体而言，步骤S6包括:
S61按照VOOC2007格式准备好三个文件夹：标签文件Annotations，图片文件JPEGImages和数据集划分ImageSets文件夹，其子文件夹Main里存储划分好的训练集、验证集、测试集图片ID(按行存储)，即train_txt、val_txt、test_txt。再根据train_txt、val_txt、test_txt生成按行存储图片绝对路径和标签位置及类别的汇总数据集文件voc_train_txt、voc_val_txt、voc_test_txt。
S62配置网络环境，选择Ubuntu系统和PyTorch框架进行训练。
S63设置网络模型参数，根据计算机内存、显存的大小，设置YOLOv4-tiny-CBAM网络输入图像的尺寸、步骤S4聚类得到的6个先验框尺寸、识别种类的数量和标注的各种类名称classes_txt、预训练权重文件、batch_size、迭代次数参数，初始学习率以及学习率调整策略；且用户需使用支持cuda加速的显卡类型。
S64加载预训练权重训练至网络模型收敛，在训练的过程中用验证集进行验证，验证时不进行梯度回传，模型收敛后保存每个epoch训练完得到的权重文件。
S7、测试模型性能。通过划分出来的测试集对步骤S64训练出来的YOLOv4-tiny-CBAM网络模型性能进行测试，具体而言，步骤S7包括：
S71、加载训练好的网络模型权重文件，将测试集送入训练好的YOLOv4-tiny-CBAM网络模型中，经过加入CBAM的主干网络CSPDarknet53-tiny-CBAM进行特征提取，输出两个特征层尺寸[38,38,256]、[19,19,512]，再通过特征金字塔融合部分的深层和浅层特征融合，得到网络包含两个特征层的所有anchor的调整结果，即所有的预测结果。
图5为根据收集到的交通标志数据集进行聚类后得到的6个anchor尺寸结果；
S72、设置一个置信度阈值，得到所有可能包含交通标志的预测框的边界框坐标、置信度和类别概率。再通过非极大值抑制遍历每一个类去除冗余检测框，产生最终的检测结果。
图6为改进后的YOLO v4-tiny网络模型对单个交通标志的识别效果图；
图7为改进后的YOLO v4-tiny网络模型对多个交通标志的识别效果图；
S8、根据测试集的真实框位置和模型得到的预测结果，计算模型的平均精确度均值mAP(mean Average Precision)、准确率(Precision)、召回率(Recall)，对模型进行系统的评价。如图8.、图9所示，与YOLOv4-tiny的识别效果对比结果表明，本发明能够实现对交通标志识别准确度的提升。
Claims (5)
1.一种基于YOLO v4-tiny的交通标志识别方法，其特征在于，包括如下步骤：
S1、采集交通标志数据集；
在不同天气，不同场景，不同时间下采集包含固定种类的交通标志牌的交通标志图片，制作初始样本交通标志数据集；
S2、对初始样本交通标志数据集进行数据增强操作，所述的数据增强操作包括随机裁剪，扭曲，扩增，镜像，形变；
S3、将S2中数据增强后得到的数据集划分成训练集、验证集、测试集；
S4、针对训练集中的真实目标框以交并比(IOU)为指标聚类出6个不同大小的先验框尺寸，将获得的6个先验框尺寸作为初始参数；
S5、在YOLO v4-tiny框架中嵌入通道注意力机制和空间注意力机制，得到YOLO v4-tiny-CBAM网络模型；
S6、通过训练集训练YOLO v4-tiny-CBAM网络模型并在训练过程中通过验证集对模型进行验证；
S7、通过测试集测试YOLO v4-tiny-CBAM网络模型的性能。
2.根据权利要求1所述的一种基于YOLO v4-tiny的交通标志识别方法，其特征在于，步骤S1具体操作如下：
S11、根据行车记录仪或者在车辆上安装的高清摄像头实时拍摄现实道路场景中的交通标志牌图片；
S12、对步骤S11得到的包含交通标志的图片序列进行筛选，选取不同路段，不同天气，不同光照，不同交通时段下的图片，筛选出的交通标志数据图片数量在类别上平均，剔除交通标志被遮挡的图片；
S13、对筛选出来的交通标志图片按序号重命名，形成新的图片ID，然后对交通标志图片标注，框出每个交通标志牌所在的目标区域，即真实目标框的位置，然后将标注后的交通标志图片作为初始样本数据集。
3.根据权利要求2所述的一种基于YOLO v4-tiny的交通标志识别方法，其特征在于，所述的步骤S5，具体操作如下：
S51、将通道注意力机制和空间注意力机制拼接成一个模块CBAM，具体如下：
通过通道注意力机制将输入特征图依次送入一个全局池化层，一个全连接层(进行降维)，一个ReLU激活层，再接一个全连接层(恢复维度)，然后再经过Sigmoid激活函数，最后将得到的结果与原输入特征图相乘得到通道注意力机制的最后输出；
空间注意力机制先将通道注意力机制的输出作为输入特征分别进行全局池化和最大池化，再将全局池化和最大池化的结果进行拼接得到新的特征层，对得到的新的特征层进行卷积操作，然后由Sigmoid激活函数后再与通道注意力的输出相乘，得到经过注意力机制后的特征图；
S52、现有的YOLO v4-tiny网络结构中，主干网络CSPDarknet53-tiny包括三个带有残差边的CSPResblock，将CBAM模块插入这三个CSPResblock模块后面；
S53、在主干网络的两个输出特征层后、特征金字塔部分上采样前的卷积层后、以及拼接操作后顺序插入CBAM模块。
4.根据权利要求3所述的一种基于YOLO v4-tiny的交通标志识别方法，其特征在于，步骤S6具体操作如下：
S61依据VOOC2007格式准备三个文件夹：标签文件Annotations，图片文件夹JPEGImages和数据集划分文件夹ImageSets，在ImageSets的子文件夹Main里按行存储划分好的训练集、验证集、测试集图片ID名称；
S62配置网络环境，选择Ubuntu系统和PyTorch框架进行训练；
S63设置网络模型参数，根据计算机内存、显存的大小，设置YOLO v4-tiny-CBAM网络模型输入图像的尺寸、6个先验框尺寸、识别种类的数量和标注的各种类名称、预训练权重文件、迭代次数参数，初始学习率以及学习率调整策略；
S64训练至网络模型收敛，在训练的过程中用验证集进行验证，保存每个epoch训练完得到的权重文件。
5.根据权利要求4所述的一种基于YOLO v4-tiny的交通标志识别方法，其特征在于，步骤S7具体操作如下：
S71、加载步骤S6得到的训练好的网络模型权重文件，将测试集输入训练好的YOLO v4-tiny-CBAM网络模型中，经过加入CBAM的主干网络进行特征提取，以及特征金字塔网络(FPN)层的深层和浅层特征融合，得到网络属于两个特征层的所有预测结果；
S72、通过置信度阈值判断，得到所有可能包含交通标志的预测框的边界框坐标、置信度和类别概率；再通过非极大值抑制处理去除冗余检测框，产生最终的检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011510258.8A CN112464910B (zh) | 2020-12-18 | 2020-12-18 | 一种基于YOLO v4-tiny的交通标志识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011510258.8A CN112464910B (zh) | 2020-12-18 | 2020-12-18 | 一种基于YOLO v4-tiny的交通标志识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112464910A true CN112464910A (zh) | 2021-03-09 |
| CN112464910B CN112464910B (zh) | 2024-09-27 |
Family
ID=74803084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011510258.8A Active CN112464910B (zh) | 2020-12-18 | 2020-12-18 | 一种基于YOLO v4-tiny的交通标志识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112464910B (zh) |
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112686340A (zh) * | 2021-03-12 | 2021-04-20 | 成都点泽智能科技有限公司 | 一种基于深度神经网络的密集小目标检测方法 |
| CN112733821A (zh) * | 2021-03-31 | 2021-04-30 | 成都西交智汇大数据科技有限公司 | 一种融合轻量级注意力模型的目标检测方法 |
| CN112926685A (zh) * | 2021-03-30 | 2021-06-08 | 济南大学 | 一种工业中钢材氧化带目标检测方法、系统及设备 |
| CN112990131A (zh) * | 2021-04-27 | 2021-06-18 | 广东科凯达智能机器人有限公司 | 获取电压转换开关工作档位的方法、装置、设备及介质 |
| CN113076842A (zh) * | 2021-03-26 | 2021-07-06 | 烟台大学 | 一种用于提升极端天气与环境下交通标志识别精度的方法 |
| CN113111828A (zh) * | 2021-04-23 | 2021-07-13 | 中国科学院宁波材料技术与工程研究所 | 一种轴承三维缺陷检测方法及系统 |
| CN113128465A (zh) * | 2021-05-11 | 2021-07-16 | 济南大学 | 一种针对工业场景基于改进YOLOv4的小目标检测方法 |
| CN113177937A (zh) * | 2021-05-24 | 2021-07-27 | 河南大学 | 基于改进YOLOv4-tiny的布匹缺陷检测模型及方法 |
| CN113192040A (zh) * | 2021-05-10 | 2021-07-30 | 浙江理工大学 | 一种基于YOLO v4改进算法的织物瑕疵检测方法 |
| CN113239838A (zh) * | 2021-05-24 | 2021-08-10 | 国网湖北省电力有限公司黄石供电公司 | 一种用于输电铁塔的无人机智能巡检识别方法 |
| CN113255521A (zh) * | 2021-05-26 | 2021-08-13 | 青岛以萨数据技术有限公司 | 一种面向嵌入式平台的双模目标检测方法及系统 |
| CN113255524A (zh) * | 2021-05-27 | 2021-08-13 | 山东省交通规划设计院集团有限公司 | 一种基于YOLO v4的路面信息识别方法及系统 |
| CN113343785A (zh) * | 2021-05-19 | 2021-09-03 | 山东大学 | 一种基于透视降采样的yolo地面标志检测方法、设备及存储介质 |
| CN113344847A (zh) * | 2021-04-21 | 2021-09-03 | 安徽工业大学 | 一种基于深度学习的长尾夹缺陷检测方法及系统 |
| CN113361643A (zh) * | 2021-07-02 | 2021-09-07 | 人民中科(济南)智能技术有限公司 | 基于深度学习的通用标志识别方法、系统、设备及存储介质 |
| CN113378672A (zh) * | 2021-05-31 | 2021-09-10 | 扬州大学 | 基于改进YOLOv3的输电线缺陷多目标检测方法 |
| CN113378890A (zh) * | 2021-05-17 | 2021-09-10 | 浙江工业大学 | 一种基于改进YOLO v4的轻量级行人车辆检测方法 |
| CN113393439A (zh) * | 2021-06-11 | 2021-09-14 | 重庆理工大学 | 一种基于深度学习的锻件缺陷检测方法 |
| CN113408369A (zh) * | 2021-05-31 | 2021-09-17 | 广州忘平信息科技有限公司 | 基于卷积神经网络的客流检测方法、系统、装置和介质 |
| CN113486865A (zh) * | 2021-09-03 | 2021-10-08 | 国网江西省电力有限公司电力科学研究院 | 一种基于深度学习的输电线路悬挂异物目标检测方法 |
| CN113505724A (zh) * | 2021-07-23 | 2021-10-15 | 上海应用技术大学 | 基于YOLOv4的交通标志识别模型训练方法及系统 |
| CN113537119A (zh) * | 2021-07-28 | 2021-10-22 | 国网河南省电力公司电力科学研究院 | 基于改进Yolov4-tiny的输电线路连接部件检测方法 |
| CN113657414A (zh) * | 2021-10-19 | 2021-11-16 | 广州微林软件有限公司 | 一种物体识别方法 |
| CN113723361A (zh) * | 2021-09-18 | 2021-11-30 | 西安邮电大学 | 一种基于深度学习的视频监测方法及设备 |
| CN113780406A (zh) * | 2021-09-08 | 2021-12-10 | 福州大学 | 一种基于yolo的成捆原木端面检测方法 |
| CN113837029A (zh) * | 2021-09-06 | 2021-12-24 | 苏州大学 | 物体识别方法、系统、终端设备及存储介质 |
| CN113963333A (zh) * | 2021-11-15 | 2022-01-21 | 北京联合大学 | 一种基于改进yolof模型的交通标志牌检测方法 |
| CN113989624A (zh) * | 2021-12-08 | 2022-01-28 | 北京环境特性研究所 | 红外低慢小目标检测方法、装置、计算设备及存储介质 |
| CN113989781A (zh) * | 2021-11-01 | 2022-01-28 | 重庆交通职业学院 | 基于深度学习的交通灯识别方法 |
| CN114120019A (zh) * | 2021-11-08 | 2022-03-01 | 贵州大学 | 一种轻量化的目标检测方法 |
| CN114359727A (zh) * | 2021-12-31 | 2022-04-15 | 华南农业大学 | 基于轻量级优化Yolo v4的茶叶病害识别方法及系统 |
| CN114495054A (zh) * | 2022-01-10 | 2022-05-13 | 湖北工业大学 | 一种基于YOLOv4的轻量化交通标志检测方法 |
| CN114724105A (zh) * | 2021-11-29 | 2022-07-08 | 山东交通学院 | 一种基于云边端架构的复杂背景下锥桶识别方法 |
| CN114818872A (zh) * | 2022-03-30 | 2022-07-29 | 南京信息职业技术学院 | 一种基于改进YOLOv4的图像目标检测方法 |
| CN114882344A (zh) * | 2022-05-23 | 2022-08-09 | 海南大学 | 基于半监督和注意力机制的少样本水下鱼体跟踪方法 |
| CN114998220A (zh) * | 2022-05-12 | 2022-09-02 | 湖南中医药大学 | 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法 |
| CN115272828A (zh) * | 2022-08-11 | 2022-11-01 | 河南省农业科学院农业经济与信息研究所 | 一种基于注意力机制的密集目标检测模型训练方法 |
| CN116188849A (zh) * | 2023-02-02 | 2023-05-30 | 苏州大学 | 一种基于轻量化网络的目标识别方法、系统及扫地机器人 |
| CN116704476A (zh) * | 2023-06-12 | 2023-09-05 | 郑州轻工业大学 | 一种基于改进Yolov4-tiny算法的交通标志检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106407931A (zh) * | 2016-09-19 | 2017-02-15 | 杭州电子科技大学 | 一种新型深度卷积神经网络运动车辆检测方法 |
| CA3016953A1 (en) * | 2017-09-07 | 2019-03-07 | Comcast Cable Communications, Llc | Relevant motion detection in video |
| CN110929577A (zh) * | 2019-10-23 | 2020-03-27 | 桂林电子科技大学 | 一种基于YOLOv3的轻量级框架改进的目标识别方法 |
| CN111401201A (zh) * | 2020-03-10 | 2020-07-10 | 南京信息工程大学 | 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法 |
| CN111612751A (zh) * | 2020-05-13 | 2020-09-01 | 河北工业大学 | 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法 |
-
2020
- 2020-12-18 CN CN202011510258.8A patent/CN112464910B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106407931A (zh) * | 2016-09-19 | 2017-02-15 | 杭州电子科技大学 | 一种新型深度卷积神经网络运动车辆检测方法 |
| CA3016953A1 (en) * | 2017-09-07 | 2019-03-07 | Comcast Cable Communications, Llc | Relevant motion detection in video |
| CN110929577A (zh) * | 2019-10-23 | 2020-03-27 | 桂林电子科技大学 | 一种基于YOLOv3的轻量级框架改进的目标识别方法 |
| CN111401201A (zh) * | 2020-03-10 | 2020-07-10 | 南京信息工程大学 | 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法 |
| CN111612751A (zh) * | 2020-05-13 | 2020-09-01 | 河北工业大学 | 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| JIANG ZICONG 等: "Real-time object detection method based on improved YOLOv4-tiny", 《ARXIV》, pages 1 - 14 * |
Cited By (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112686340A (zh) * | 2021-03-12 | 2021-04-20 | 成都点泽智能科技有限公司 | 一种基于深度神经网络的密集小目标检测方法 |
| CN113076842A (zh) * | 2021-03-26 | 2021-07-06 | 烟台大学 | 一种用于提升极端天气与环境下交通标志识别精度的方法 |
| CN112926685A (zh) * | 2021-03-30 | 2021-06-08 | 济南大学 | 一种工业中钢材氧化带目标检测方法、系统及设备 |
| CN112733821A (zh) * | 2021-03-31 | 2021-04-30 | 成都西交智汇大数据科技有限公司 | 一种融合轻量级注意力模型的目标检测方法 |
| CN113344847A (zh) * | 2021-04-21 | 2021-09-03 | 安徽工业大学 | 一种基于深度学习的长尾夹缺陷检测方法及系统 |
| CN113344847B (zh) * | 2021-04-21 | 2023-10-31 | 安徽工业大学 | 一种基于深度学习的长尾夹缺陷检测方法及系统 |
| CN113111828A (zh) * | 2021-04-23 | 2021-07-13 | 中国科学院宁波材料技术与工程研究所 | 一种轴承三维缺陷检测方法及系统 |
| CN112990131B (zh) * | 2021-04-27 | 2021-10-26 | 广东科凯达智能机器人有限公司 | 获取电压转换开关工作档位的方法、装置、设备及介质 |
| CN112990131A (zh) * | 2021-04-27 | 2021-06-18 | 广东科凯达智能机器人有限公司 | 获取电压转换开关工作档位的方法、装置、设备及介质 |
| CN113192040A (zh) * | 2021-05-10 | 2021-07-30 | 浙江理工大学 | 一种基于YOLO v4改进算法的织物瑕疵检测方法 |
| CN113192040B (zh) * | 2021-05-10 | 2023-09-22 | 浙江理工大学 | 一种基于YOLO v4改进算法的织物瑕疵检测方法 |
| CN113128465A (zh) * | 2021-05-11 | 2021-07-16 | 济南大学 | 一种针对工业场景基于改进YOLOv4的小目标检测方法 |
| CN113378890B (zh) * | 2021-05-17 | 2024-03-22 | 浙江工业大学 | 一种基于改进YOLO v4的轻量级行人车辆检测方法 |
| CN113378890A (zh) * | 2021-05-17 | 2021-09-10 | 浙江工业大学 | 一种基于改进YOLO v4的轻量级行人车辆检测方法 |
| CN113343785A (zh) * | 2021-05-19 | 2021-09-03 | 山东大学 | 一种基于透视降采样的yolo地面标志检测方法、设备及存储介质 |
| CN113239838A (zh) * | 2021-05-24 | 2021-08-10 | 国网湖北省电力有限公司黄石供电公司 | 一种用于输电铁塔的无人机智能巡检识别方法 |
| CN113177937A (zh) * | 2021-05-24 | 2021-07-27 | 河南大学 | 基于改进YOLOv4-tiny的布匹缺陷检测模型及方法 |
| CN113255521A (zh) * | 2021-05-26 | 2021-08-13 | 青岛以萨数据技术有限公司 | 一种面向嵌入式平台的双模目标检测方法及系统 |
| CN113255524A (zh) * | 2021-05-27 | 2021-08-13 | 山东省交通规划设计院集团有限公司 | 一种基于YOLO v4的路面信息识别方法及系统 |
| CN113408369A (zh) * | 2021-05-31 | 2021-09-17 | 广州忘平信息科技有限公司 | 基于卷积神经网络的客流检测方法、系统、装置和介质 |
| CN113378672A (zh) * | 2021-05-31 | 2021-09-10 | 扬州大学 | 基于改进YOLOv3的输电线缺陷多目标检测方法 |
| CN113393439A (zh) * | 2021-06-11 | 2021-09-14 | 重庆理工大学 | 一种基于深度学习的锻件缺陷检测方法 |
| CN113361643A (zh) * | 2021-07-02 | 2021-09-07 | 人民中科(济南)智能技术有限公司 | 基于深度学习的通用标志识别方法、系统、设备及存储介质 |
| CN113505724B (zh) * | 2021-07-23 | 2024-04-19 | 上海应用技术大学 | 基于YOLOv4的交通标志识别模型训练方法及系统 |
| CN113505724A (zh) * | 2021-07-23 | 2021-10-15 | 上海应用技术大学 | 基于YOLOv4的交通标志识别模型训练方法及系统 |
| CN113537119A (zh) * | 2021-07-28 | 2021-10-22 | 国网河南省电力公司电力科学研究院 | 基于改进Yolov4-tiny的输电线路连接部件检测方法 |
| CN113486865A (zh) * | 2021-09-03 | 2021-10-08 | 国网江西省电力有限公司电力科学研究院 | 一种基于深度学习的输电线路悬挂异物目标检测方法 |
| CN113837029A (zh) * | 2021-09-06 | 2021-12-24 | 苏州大学 | 物体识别方法、系统、终端设备及存储介质 |
| CN113780406A (zh) * | 2021-09-08 | 2021-12-10 | 福州大学 | 一种基于yolo的成捆原木端面检测方法 |
| CN113723361A (zh) * | 2021-09-18 | 2021-11-30 | 西安邮电大学 | 一种基于深度学习的视频监测方法及设备 |
| CN113657414A (zh) * | 2021-10-19 | 2021-11-16 | 广州微林软件有限公司 | 一种物体识别方法 |
| CN113657414B (zh) * | 2021-10-19 | 2022-02-11 | 广州微林软件有限公司 | 一种物体识别方法 |
| CN113989781A (zh) * | 2021-11-01 | 2022-01-28 | 重庆交通职业学院 | 基于深度学习的交通灯识别方法 |
| CN114120019A (zh) * | 2021-11-08 | 2022-03-01 | 贵州大学 | 一种轻量化的目标检测方法 |
| CN114120019B (zh) * | 2021-11-08 | 2024-02-20 | 贵州大学 | 一种轻量化的目标检测方法 |
| CN113963333A (zh) * | 2021-11-15 | 2022-01-21 | 北京联合大学 | 一种基于改进yolof模型的交通标志牌检测方法 |
| CN113963333B (zh) * | 2021-11-15 | 2022-05-31 | 北京联合大学 | 一种基于改进yolof模型的交通标志牌检测方法 |
| CN114724105A (zh) * | 2021-11-29 | 2022-07-08 | 山东交通学院 | 一种基于云边端架构的复杂背景下锥桶识别方法 |
| CN113989624A (zh) * | 2021-12-08 | 2022-01-28 | 北京环境特性研究所 | 红外低慢小目标检测方法、装置、计算设备及存储介质 |
| CN114359727A (zh) * | 2021-12-31 | 2022-04-15 | 华南农业大学 | 基于轻量级优化Yolo v4的茶叶病害识别方法及系统 |
| CN114359727B (zh) * | 2021-12-31 | 2024-06-04 | 华南农业大学 | 基于轻量级优化Yolo v4的茶叶病害识别方法及系统 |
| CN114495054A (zh) * | 2022-01-10 | 2022-05-13 | 湖北工业大学 | 一种基于YOLOv4的轻量化交通标志检测方法 |
| CN114495054B (zh) * | 2022-01-10 | 2024-08-09 | 湖北工业大学 | 一种基于YOLOv4的轻量化交通标志检测方法 |
| CN114818872A (zh) * | 2022-03-30 | 2022-07-29 | 南京信息职业技术学院 | 一种基于改进YOLOv4的图像目标检测方法 |
| CN114998220A (zh) * | 2022-05-12 | 2022-09-02 | 湖南中医药大学 | 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法 |
| CN114882344A (zh) * | 2022-05-23 | 2022-08-09 | 海南大学 | 基于半监督和注意力机制的少样本水下鱼体跟踪方法 |
| CN115272828B (zh) * | 2022-08-11 | 2023-04-07 | 河南省农业科学院农业经济与信息研究所 | 一种基于注意力机制的密集目标检测模型训练方法 |
| CN115272828A (zh) * | 2022-08-11 | 2022-11-01 | 河南省农业科学院农业经济与信息研究所 | 一种基于注意力机制的密集目标检测模型训练方法 |
| CN116188849A (zh) * | 2023-02-02 | 2023-05-30 | 苏州大学 | 一种基于轻量化网络的目标识别方法、系统及扫地机器人 |
| CN116704476A (zh) * | 2023-06-12 | 2023-09-05 | 郑州轻工业大学 | 一种基于改进Yolov4-tiny算法的交通标志检测方法 |
| CN116704476B (zh) * | 2023-06-12 | 2024-06-04 | 郑州轻工业大学 | 一种基于改进Yolov4-tiny算法的交通标志检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112464910B (zh) | 2024-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112464910B (zh) | 一种基于YOLO v4-tiny的交通标志识别方法 | |
| CN112380921A (zh) | 一种基于车联网的道路检测方法 | |
| CN110929577A (zh) | 一种基于YOLOv3的轻量级框架改进的目标识别方法 | |
| CN114495029B (zh) | 一种基于改进YOLOv4的交通目标检测方法及系统 | |
| CN113076804B (zh) | 基于YOLOv4改进算法的目标检测方法、装置及系统 | |
| CN113723377A (zh) | 一种基于ld-ssd网络的交通标志检测方法 | |
| CN113239753A (zh) | 基于YOLOv4改进的交通标志检测与识别方法 | |
| CN113052057A (zh) | 一种基于改进卷积神经网络的交通标志识别方法 | |
| CN117152513A (zh) | 一种面向夜间场景的车辆边界定位方法 | |
| CN112766409A (zh) | 一种遥感图像目标检测的特征融合方法 | |
| CN115294548B (zh) | 一种基于行方向上位置选择和分类方法的车道线检测方法 | |
| CN116597413A (zh) | 一种基于改进的YOLOv5的实时交通标志检测方法 | |
| CN117893990B (zh) | 道路标志检测方法、装置和计算机设备 | |
| CN117456480B (zh) | 一种基于多源信息融合的轻量化车辆再辨识方法 | |
| CN112785610B (zh) | 一种融合低层特征的车道线语义分割方法 | |
| CN112085001B (zh) | 一种基于多尺度边缘特征检测的隧道识别模型及方法 | |
| CN114218999A (zh) | 一种基于融合图像特征的毫米波雷达目标检测方法及系统 | |
| CN112308066A (zh) | 一种车牌识别系统 | |
| CN112364864A (zh) | 一种车牌识别方法、装置、电子设备及存储介质 | |
| CN112597996A (zh) | 基于任务驱动的自然场景中交通标志显著性检测方法 | |
| CN112288702A (zh) | 一种基于车联网的道路图像检测方法 | |
| CN116665180A (zh) | 一种基于改进YOLOv5模型的检测行人车辆的方法 | |
| CN111160282A (zh) | 一种基于二值化Yolov3网络的红绿灯检测方法 | |
| CN113947774B (zh) | 一种轻量级的车辆目标检测系统 | |
| CN115223114A (zh) | 一种基于双向融合特征金字塔的端到端车辆姿态估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |