CN114998866A

CN114998866A - 一种基于改进YOLOv4的交通标志识别方法

Info

Publication number: CN114998866A
Application number: CN202210641405.8A
Authority: CN
Inventors: 韩方; 宋清昆
Original assignee: Harbin University of Science and Technology
Current assignee: Harbin University of Science and Technology
Priority date: 2022-06-08
Filing date: 2022-06-08
Publication date: 2022-09-02

Abstract

本发明公开了一种基于改进YOLOv4的交通标志识别方法。其包括如下步骤：(1)采集交通标志数据集，并对采集到的交通标志数据集进行数据增强等操作；(2)进行图像标注，按照8:2的比例划分为训练集和测试集；(3)搭建改进的YOLOv4网络模型，并采用获取到的交通标志训练集对改进了的YOLOv4网络模型进行训练；(4)利用训练好的YOLOv4改进网络模型对测试集的交通标志图像进行检测与识别。本发明改进的YOLOv4网络能在保证检测速度的前提下，提高对小目标交通标志的检测精度。

Description

一种基于改进YOLOv4的交通标志识别方法

技术领域

本发明涉及计算机视觉、图像处理领域，具体涉及一种基于改进YOLOv4的交通标志识别方法。

背景技术

近年来目标检测算法不断取得重大的突破，但大都对小目标的检测效果并不理想。随着城市交通的智能化运行，无人驾驶智能车辆逐渐发展，成为人们发展和研究的目标，无人驾驶智能车辆的进步，势必需要交通标志检测与识别的快速发展支持，进而智能车辆在不久的将来便会遍布各地。交通标志检测与识别不仅加速无人驾驶车辆的发展，而且在人们的日常行驶中起到了十分重要的辅助驾驶作用，在现实道路交通中交通标志对于整体环境而言属于小目标物体，因此对小目标交通标志检测与识别的研究具有十分重要的意义。

目前主流的目标检测算法大致可以分为两大类，第一类主要是以R-CNN、Fast R-CNN、Faster R-CNN等为代表的two stage目标检测算法，此类算法将目标检测分为两个阶段，首先会基于候选区域生成网络生成一系列候选框，候选框会框出我们所需要检测部分的位置，然后利用卷积神经网络再对所框出位置进行具体的定位及分类，此类方法由于先生成候选区域，再进行分类与回归，虽然检测的精度较高但检测的时间较长，不能满足实时性的要求；另一类主要是以YOLO(You Only Look Once)系列以及SSD(Single Shotmultibox Detector)等为代表的one stage目标检测算法，此类算法不需要生成候选区域，使用一个卷积神经网络直接对输入的图片特征提取并预测检测目标的位置信息，是一种端到端的检测方法。多阶段检测算法模型具有较高的检测精度，但单阶段检测器具有更快的检测速度和更高的可扩展性，但是也存在不足之处即对于小目标的检测效果始终不理想，实时性是实际场景应用中的关键性指标，因此提高一阶段检测算法具有更高的实用价值。

随着YOLO系列的不断发展，YOLOv4算法目前在目标检测领域中具有较出色的检测精度与速度，但是众所周知，自然天气、光照角度、实际道路的复杂背景等都会影响目标检测中对小目标交通标志的识别精度，从而导致识别结果精度不高等问题，因此，需要对YOLOv4算法模型进行改进在保证检测实时性的前提下，以满足交通标志目标较小的交通场景的高检测精度。

发明内容

为解决上述问题，本发明提供一种基于改进YOLOv4的交通标志识别方法，在保证检测速度的前提下，提高对小目标交通标志的检测精度。

针对现有技术中的缺陷，本发明提供了一种基于改进YOLOv4的交通标志识别方法。实现本发明的技术方案是：

一种基于改进YOLOv4的交通标志识别方法，包括以下步骤：

步骤1：预处理TT100K(Tsinghua Tencent 100K)交通标志数据集；

步骤2：构建改进的YOLOv4网络模型，采用训练集训练改进的网络模型；

步骤3：调试参数，保存最优结果；

步骤4：将交通标志测试集输入进训练好的改进YOLOv4网络模型中，进行检测与识别。

进一步地，步骤1、步骤2中的详细步骤如下：

步骤1中所述的预处理TT100K交通标志数据集包括：

步骤1.1：对交通标志数据集中的训练样本随机添加高斯噪声，将添加高斯噪声的样本加入到训练集中；

步骤1.2：选取数据集中四张图像进行随机翻转、色域变换和缩放等处理后依次放置在四个角落拼接成一张与原图像尺度相同的新样本图加入数据集，将上述步骤获得的图像加入训练集作为训练集样本用于对YOLOv4算法模型进行训练，能提升模型的泛化性能；

步骤1.3：运用LabelImg标注工具对经过处理的交通标志数据集进行标注，并把数据集的json格式转换成txt格式，采用8:2的比例划分训练集和测试集。

步骤2中对YOLOv4网络模型的改进过程包括：

步骤2.1：对YOLOv4网络模型中CSPDarknet53中的4倍下采样特征图与YOLOv4网络中8倍和16倍下采样的特征融合图再经上采样后进行融合，得到尺度为152×152特征融合图，输出到预测层；

步骤2.2：获取经过初步改进的YOLOv4网络结构，将所述YOLOv4网络结构中颈部特征融合网络的PANet网络结构替换为双向特征金字塔网络BiFPN结构。

与现有技术相比，本发明具有如下的有益效果：

(1)与原网络相比改进后的网络删除了原网络中尺度为更深层的19×19的预测层，能缩短交通标志检测的时间；

(2)通过特征融合利用浅层网络的细节特征增加了尺度为152×152的预测层，改善了容易丢失小目标特征的问题，不仅能为小目标提供浅层的空间位置信息同时又保证了深层上下文信息的供给，总体上提高了模型对于小目标交通标志的检测准确率；

(3)本发明将双向特征金字塔BiFPN网络作为特征融合的方法，替代YOLOV4原本的PANet结构，增加了跨层连接，增添了第三条特征融合路径，将原本的两路特征融合增加为三路特征融合，增强了网络的特征提取能力。

附图说明

图1为本发明方法流程图；

图2为本发明改进后的YOLOv4模型结构示意图；

图3为BiFPN结构示意图；

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

图1为本发明实施例中基于改进YOLOv4的交通标志识别模型训练方法的步骤流程图，如图1所示，本发明提供的基于YOLOv4的交通标志识别模型训练方法，包括如下步骤：

步骤F1：采集交通标志数据集，并将交通标志数据集划分为训练集和测试集；

在本发明实施例中，所述交通标志数据集采用TT100K数据集，并将数据集格式转换为VOC格式，使用图像标注工具labelImg对数据集中的图片进行标注。按照VOC格式创建文件夹VOCdevkit，其中包括三个子文件夹分别为Annotations、JPEGImages和ImageSets。将交通标志图片存入JPEGImages文件夹中，对JPEGImages中的图片进行标注，标注出图片里目标的类别和位置信息，保存与图片对应的xml文件于Annotations文件夹。将交通标志数据集按8:2的比例随机划分为训练集和测试集，分别命名为train.txt和val.txt并保存到ImageSets文件夹下的子文件夹Main中。最终使用代码将xml文件格式转换成YOLOv4网络需要的文件格式。

步骤F2：如图2所示对原YOLOv4网络进行改进，具体改进措施如下：

由于小目标尺寸较小，在低分辨率、大感受野的高层特征图中会丢失大量的小目标的细节信息，因此YOLOv4网络中19×19的深层检测层针对小目标的检测意义不大，为了提高小目标的检测精度并缩短检测时间，故删除原网络中尺度为19×19的预测层。

充分利用浅层网络的细节特征，可以通过特征融合，使得卷积神经网络的所有尺度都有强语义信息，建立更加完善的特征金字塔网络。

由于4倍下采样特征图中包含大量的小目标位置信息，所以利用CSPDarknet53中的4倍下采样特征图与YOLOv4网络中8倍和16倍下采样的特征融合图再经上采样后进行融合，融合后构建出4倍降采样的特征检测层并输出尺度为152×152的预测层，为小目标既提供了浅层的空间位置信息，又保证了深层上下文信息的供给，从而增强了小目标的语义信息。

经过改进后的YOLOv4网络在152×152，76×76，38×38三个尺度上进行预测，有效地解决了小目标交通标志漏检的情况。

获取经过初步改进的YOLOv4网络结构，将该YOLOv4网络结构中主干网络的PANet路径聚合网络替换为如图3所示的BiFPN网络生成目标训练模型；

在本发明实施例中，通过分析整合YOLOv4网络结构，将YOLOv4网络中原本的路径聚合网络PANet替换为准确度和效率更加均衡的BiFPN网络，通过增加跨层连接，即添加一条额外的路径，在不增加代价的同时将更多的特征融合在一起，防止信息在多层传递时流失。由于三条路径的输出特征图大小相等，因此可以直接进行Concat融合，而不需要额外增加权重。

步骤F3：使用训练集对改进后的YOLOV4模型进行训练；

图片输入尺寸设置为608大小，epoch为最大迭代次数设为100，初始学习率设为0.001，设置学习率在每迭代次数为10个epoch时衰减10倍，使损失函数进一步收敛，经过反复训练，选取最佳效果的参数。

经过多次迭代后损失值会趋于稳定，保存此时的网络参数模型。

步骤F4：采用最佳模型进行测试，验证改进后的模型对交通标志的识别效果。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims

1.一种基于改进YOLOv4的交通标志识别方法，其特征在于，包括如下计算步骤：

步骤1：获取交通标志数据集，并对采集到的数据集预处理；

步骤2：改进YOLOv4网络模型；

步骤S1：删除原网络中对小目标检测意义不大的19×19的预测层；通过特征融合利用浅层网络的细节特征增加了尺度为152×152的预测层，改善了小目标特征易丢失的问题，经过改进后的YOLOv4网络在颈部特征融合部分依旧按PANet路径的形式连接，以152×152，76×76，38×38三个尺度输入到预测层；

步骤S2：将经过步骤S1初步改进的YOLOv4网络模型中颈部特征融合部分的PANet路径替换为双向特征金字塔网络BiFPN；

步骤3：将训练集输入经步骤S1、S2改进后的YOLOv4网络进行训练，并保存最优的网络模型；

步骤4：将测试集输入训练最优网络模型中进行测试，验证改进后模型的检测与识别效果。

2.根据权利要求1所述的一种基于改进YOLOv4的交通标志识别方法，其特征在于，所述步骤1包括如下步骤：

步骤2.1：对采集到的交通标志数据集中的样本图片随机添加高斯噪声，将添加高斯噪声的样本加入到训练集中；

步骤2.2：随机选取数据集中四张图片进行随机翻转、色域变换和缩放等处理后依次放置在四个角落堆叠生成一张与原图大小相同的新图加入训练集，将上述步骤获得的图像加入训练集用于对改进YOLOv4模型进行训练，能提升模型的泛化性能。

3.根据权利要求1所述的一种基于改进YOLOv4的交通标志识别方法，其特征在于，所述步骤1中，对TT100K交通标志数据集进行标注，将数据集图片按照8:2的比例随机划分为训练集和测试集，最后将TT100K数据集的json格式转换成符合YOLOv4网络输入的txt格式。

4.根据权利要求1所述的一种基于改进YOLOv4的交通标志识别方法，其特征在于，所述步骤S1中，由于小目标尺寸较小，在低分辨率、大感受野的高层特征图中容易丢失大量小目标的细节信息，因此高层19×19的特征图针对小目标的检测效果并不好，为了提高对小目标的检测效果并缩短检测时间，所以删除原网络模型中尺度为19×19的预测层。

5.根据权利要求1所述的一种基于改进YOLOv4的交通标志识别方法，其特征在于，所述步骤S1中，为提高对小目标的检测效果，利用CSPDarknet53中经过4倍下采样的特征图与YOLOv4网络中经过8倍和16倍下采样的特征融合图再经上采样后进行特征融合，得到尺度为152×152特征融合图，输出到预测层。

6.根据权利要求1所述的一种基于改进YOLOv4的交通标志识别方法，其特征在于，将经过步骤S1初步改进的YOLOv4网络结构中特征融合网络PANet结构替换为双向特征金字塔网络结构BiFPN。

7.根据权利要求1所述的一种基于改进YOLOv4的交通标志识别方法，其特征在于，所述步骤4中，配置网络环境，选择Windows10为操作系统和Pytorch框架进行训练，图片输入尺寸为608×608，采用动态学习率改善模型在不同训练阶段的收敛速度，在模型收敛后保存每个epoch训练完得到的权重文件。

8.根据权利要求1所述的一种基于改进YOLOv4的交通标志识别方法，其特征在于，所述步骤4中，预测结果采用mAP和FPS作为性能指标来评价所述改进的YOLOv4网络模型对交通标志的检测能力。

9.根据权利要求4所述的一种基于改进YOLOv4的交通标志识别方法，其特征在于，所述mAP指标的计算方法如下：

步骤M1：计算单个类别的查准率P，其公式如下：

其中，P代表单个类别的查准率，True positives代表单个类别被模型预测为正的正样本数，Total objects代表单个类别被模型预测为正的正样本数与被模型预测为正的负样本数之和；

步骤M2：根据单个类别的查准率P，分别计算每个类别的平均精度AP，其公式如下：

其中，AP代表每个类别的平均精度，∑P代表所有图片的精度之和，Total images代表所有图片之和；

步骤M3：根据所得的单个类别平均精度，计算所有类别的平均精度，其公式如下：

其中，mAP代表所有类别的平均精度，∑AP代表所有类别的精度之和，Total images代表类别。