CN113963333A - 一种基于改进yolof模型的交通标志牌检测方法 - Google Patents

Abstract

本发明公开了一种基于改进YOLOF模型的交通标志牌检测方法，包括：对采集的交通标志牌样本进行增广，将增广完成后的数据集输入改进的YOLOF网络模型进行训练；对训练的改进的YOLOF网络模型进行检测，检测结果合格则结束检测。通过多种增广方式对样本集进行增广，减少了采集成本的同时还获得了大量样本，并提升了模型的鲁棒性和在无人驾驶复杂场景中交通标志牌的检测性能，通过使用改进的YOLOF模型对交通标志牌进行检测，不仅解决了复杂场景下交通标志牌的漏检误检问题，而且提高了无人驾驶环境中交通标志牌检测速度。

Description

一种基于改进YOLOF模型的交通标志牌检测方法

技术领域

本发明涉及自动驾驶控制技术领域，特别是涉及一种基于改进YOLOF模型的交通标志牌检测方法。

背景技术

目标检测是计算机视觉领域最重要的任务之一，通常应用于自动驾驶领域。自动驾驶作为未来科技发展的一个方向，成为近年来的研究热点。交通标志检测是自动驾驶领域感知模块的重要一环，它可以自动识别并标注交通标志，将结果传输给自动驾驶决策模块，以确保车辆能够按照交通规则安全行驶。

在深度神经网络出现之前，交通标志检测通常采用基于特征提取的方法，如颜色和形状等特征。尺度不变特征变换(Scale-invariant feature transform，SIFT)和方向梯度直方图(Histogram of Oriented Gradient,HOG)常被应用于支持向量机(SupportVector Machine,SVM)进行交通标志检测。这类算法可以自动检测和识别交通标志。但因其检测时间长，检测精度低等不足，无法满足自动驾驶系统在实际交通场景下应用的需求。

随着卷积神经网络(Convolutional Neural Networks,CNN)的快速发展，基于深度学习的算法以其优异的性能迅速取代了传统的基于机器学习的交通标志检测。与传统的目标检测算法相比，基于卷积神经网络的目标检测算法具有强大的泛化能力，可以自动学习目标深层次的语义信息。基于深度卷积网络的交通标志检测一般有以下三种方式：一阶段方法，如YOLO系列和SSD；两阶段检测，如Region-based CNN系列(R-CNN、Fast R-CNN、Faster R-CNN等)；和多阶段检测，如Cascade R-CNN。两阶段和多阶段因其需在特征层生成建议框，再通过建议框进行分类和定位，所以具有精度高但速度慢的特点。一阶段目标检测方法将目标框的识别和定位任务一次性预测完成，在牺牲一定精度的前提下大幅度提高检测速度。实时性是自动驾驶中必须具备的特点之一，因此在保证速度符合自动驾驶实时性要求的同时提高一阶段检测方法的精度更有实用价值。

然而，复杂场景无人驾驶环境下的交通标志牌检测会受到照明变化、恶劣天气以及一些与交通标志相似的其他图形等因素造成干扰，以上交通标志算法都会出现漏检误检问题，故本领域亟需提供一种足以解决上述问题的方法。

发明内容

本发明的目的是提供一种基于改进YOLOF模型的交通标志牌检测方法，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了如下方案：

本发明提供一种基于改进YOLOF模型的交通标志牌检测方法，包括：

对采集的交通标志牌样本进行增广，将增广完成后的数据集输入改进的YOLOF网络模型进行训练；

对训练的所述改进的YOLOF网络模型进行检测，检测结果合格则结束检测。

可选的，对采集的交通标志牌样本进行增广的过程中包括：

通过旋转增强、光照增强和遮挡增强对采集的所述交通标志牌样本进行增广。

可选的，将增广完成后的数据集输入改进的YOLOF网络模型进行训练之前，所述方法还包括：

构建所述改进的YOLOF网络模型，所述改进的YOLOF网络模型包括主干网络、编码器和解码器；

其中所述主干网络包括特征模块，所述特征模块包括注意力机制模块。

可选的，将增广完成后的数据集输入改进的YOLOF网络模型进行训练的过程中包括：

将所述增广完成后的数据集输入所述改进的YOLOF网络模型；

通过所述主干网络输出特征；

通过所述编码器对所述特征进行处理，获得全尺寸感受野特征图；

通过所述解码器进行回归分类处理。

可选的，通过所述主干网络输出特征的过程中包括：

通过所述注意力机制模块对若干个通道赋予不同的权重，通过全局池化获得所述权重的值。

可选的，对通道赋予不同的权重，通过全局池化获得所述权重的值的过程中包括：

计算权重的计算公式为：

其中，

表示输入n个特征值的第c个通道相关联输出，

表示输入n个特征值坐标为(i,j)的第c个通道相关联输入，H表示输入图片的高，W表示输入图片的宽；

使用1×1卷积变换函数F(·)对公式(1)进行变换操作：

其中，δ为非线性激活函数，f为对空间信息在水平方向和垂直方向进行编码的中间特征映射，

表示高度为h的第c通道输出表示，

表示宽度为w的第c通道输出表示；

沿着空间维数将f分解为2个单独的张量

和

再利用2个1×1卷积变换F_h和F_w分别将f^h和f^w变换为具有相同通道数的张量，公式如下所示：

t^h＝σ(F_h(f^h)) (3)

t^w＝σ(F_w(f^w)) (4)

其中，σ是sigmoid激活函数，

为维度是

的实数域空间，

为维数是

的实数域空间，R为实数域空间，C为输入数据的通道数，r为下采样的比例；

(4)最后输出y可以写成：

则每个ResNeSt模块输出为Concat

可选的，通过所述编码器对所述特征进行处理，获得全尺寸感受野特征图的过程中包括：

对所述主干网络输出的特征使用1×1卷积减少通道数目；

基于3×3卷积对输入信息的高度和宽度降维，提取特征图中的语义信息和空间信息，获得通道数为512的特征图；

基于空洞残差单元对通道数为512的特征图连续进行4次处理，获得全尺度感受野特征图。

可选的，基于空洞残差单元对通道数为512的特征图进行4次连续处理，获得全尺度感受野特征图的过程中，通过所述空洞残差单元进行一次处理的过程包括：

对通道数为512的特征图通过一层1×1卷积使通道数量减少4倍；

通过一层3x3膨胀卷积增大感受野；

通过一层1×1卷积恢复通道维度。

可选的，通过所述解码器进行回归分类处理的过程中包括：对并行的回归分支和分类分支进行处理，所述回归分支用于计算边框回归任务，所述分类分支用于目标分类。

可选的，在所述分类分支中基于2个卷积层、批量归一化层和线性整流函数精炼特征图信息，提取特征图的物体位置信息，最终输出维数为N×H×W×4A,其中N为通道数，H为输出高度，W为输出宽度，A为输出目标数，4A为目标的左上角坐标与右下角坐标；另输出维数为N×H×W×A的可变参数(objectness)，为回归分支的每个目标框增加一个隐式的参数；在训练阶段，输出通过反向传播算法更新解码器的参数，以便得到目标位置最优解。

可选的，在所述分类分支中基于2个卷积层、批量归一化层和线性整流函数精炼特征图信息，提取特征图的物体类别信息，最终输出维数为N×H×W×KA,其中N为通道数，H为输出高度，W为输出宽度，A为输出目标数，K为类别总数，KA代表每个目标对应不同类别的概率；在训练阶段，输出通过反向传播算法更新解码器的参数，以便得到目标类别最优解；

基于分类分支的输出结果和所述可变参数相乘，获得最终的分类置信度。

可选的，对训练的改进的YOLOF网络模型进行检测，检测结果合格则结束检测的过程中包括：

使用总损失值来衡量训练效果，经过多次迭代后当损失值趋于稳定后，保存为训练模型。

本发明公开了以下技术效果：

通过多种增广方式对样本集进行增广，减少了采集成本的同时还获得了大量样本，并提升了模型的鲁棒性和在无人驾驶复杂场景中交通标志牌的检测性能，通过使用改进的YOLOF模型对交通标志牌进行检测，不仅解决了复杂场景下交通标志牌的漏检误检问题，而且提高了无人驾驶环境中交通标志牌检测速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的基于改进的YOLOF交通标志牌检测方法的流程示意图；

图2为本发明实施例中的基于改进的YOLOF交通标志牌检测方法的网络结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决交通标志牌误检漏检的问题，本发明提出一种基于改进YOLOF模型的交通标志牌检测方法，在ResNeSt特征提取网络中添加Coordinate Attention注意力机制不仅提高了交通标志牌的检测速度，而且提高了复杂场景下交通标志牌检测精度。并在训练阶段使用数据增强模拟自动驾驶的复杂环境，使检测模型更加稳定。

所述样本增广模块中设计抗干扰能力强、准确率高的方法，对TT100K和CCTSDB公开数据集进行扩充并提升模型的鲁棒性。主要采用旋转增强、光照增强、遮挡增强的方式。图像旋转增强采用图像旋转的方法扩充了数据集样本数量；光照增强采用亮度提高或者降低方法对黑暗、可见度低的情况进行处理；遮挡增强采用不同遮挡面积随机遮挡方案对样本进行增广，以此提高无人驾驶复杂场景中交通标志牌检测性能。

所述网络模块是基于改进YOLOF模型构成，采用主干网络+编码器+解码器的网络结构。主干网络包括特征模块，主要是由添加Coordinate Attention的ResNeSt模块构成。输入为

(n个特征值的第c个通道相关联)，输出为Concat

(表示m个特征值的第c个通道相连接的结果)，其中

表示输入值

与

(高度为h的第c通道输出张量)和

(宽度为w的第c通道输出张量)的乘积。

所述网络模块是基于改进YOLOF模型构成，其中主干网络ResNeSt主要分为以下四个步骤：

(1)将输入分为N个，每一个记为Input-n，此次分组的作用为减少参数量和运算量，然后又将每个Input拆分成M个，每一个记为Split-m，目的为通过跨空间维度的全局平均池化来收集具有嵌入式通道统计的全局上下文信息，所以总共有S＝MN个组。然后，对通道赋予不同的权重，权重使模型对不同的通道分配不同的关注度，增加模型对所检测的目标的敏感程度，其值是通过全局平均池化获得，计算公式如下：

其中，

表示输入n个特征值的第c个通道相关联输出，

表示输入n个特征值坐标为(i,j)的第c个通道相关联特征输入，H表示输入图片的高，W表示输入图片的宽；

(2)将上面的变换进行连接操作，然后使用1×1卷积变换函数F(·)对其进行变换操作：

其中，δ为非线性激活函数，f为对空间信息在水平方向和垂直方向进行编码的中间特征映射，

表示高度为h的第c通道输出表示，

表示宽度为w的第c通道输出表示；

(3)沿着空间维数将f分解为2个单独的张量

和

再利用2个1×1卷积变换F_h和F_w分别将f_h和f_w变换为具有相同通道数的张量，公式如下所示：

t^h＝σ(F_h(f^h)) (3)

t^w＝σ(F_w(f^w)) (4)

其中，σ是sigmoid激活函数，

为维度是

的实数域空间，

为维数是

的实数域空间，R为实数域空间，C为输入数据的通道数，r为下采样的比例；

(4)最后Coordinate Attention输出Y可以写成：

则每个ResNeSt输出为Concat

所述网络模块是基于改进的YOLOF构成，其中编码器主要由空洞编码(DilatedEncoder)构成，其主要分为以下四个步骤：

(1)将主干网络输出的Concat

作为输入；

(2)使用1×1卷积减少通道数目；

(3)使用3×3卷积精炼语义信息，增大感受野；

(4)使用4个连续的空洞残差单元以应对不同的目标尺寸。

所述网络模块是基于改进的YOLOF构成，其中解码器使用卷积层+BN层+ReLU的操作。

所述网络模块使用交叉熵损失函数：

其中α和γ为平衡因子。

经过多次迭代后当损失值趋于稳定后，保存为训练模型。

所述网络模块训练过程中学习速率设置为0.02，权重衰减设置为0.0001，动量设置为0.9。在所有训练过程中，第8批和第11批的学习率分别为上一批的1/3，其余批的学习率保持不变。在TT100K和CCTSDB公开数据集上进行训练。

本方法基于改进YOLOF模型的交通标志牌检测方法，可以在交互设备上进行交通标志牌检测。该方法不仅解决了复杂场景下交通标志牌的漏检误检问题，而且提高了无人驾驶环境中交通标志牌检测速度。

如附图1可知，本方法是一种基于改进YOLOF模型的交通标志牌检测方法，包括：

(1)开始。输入数据集中的图片；

(2)使用旋转增强、光照增强、遮挡增强等各类操作对输入的图片进行样本增广；

(3)构建以特征提取层+编码器+解码器为结构的改进YOLOF网络模型，将原来的Resnet换成了ResNeSt模块，同时在ResNeSt模块中添加Coordinate Attention注意力机制模块，并使用空洞编码器(Dilated Encoder)作为编码器；

(4)使用TT100K和CCTSDB公开数据集进行模型的训练，将数据集分为训练集和测试集，训练模型并保存模型参数；

(5)检测阶段，加载已训练好的模型，输入待检测图片进行目标检测；

(6)输出检测结果。

如附图2可知，按照本方法的一种基于改进的YOLOF交通标志牌检测方法的一优选实施例，包括：

(1)主干网络采用ResNeSt选取的特征图是C5(C5为第五等级特征图)，通道数为2048且下采样率为32。

(2)编码器对主干网络的输出使用由1x1卷积和3x3卷积组成的结构，得到通道数为512的特征图。然后，为了获得全尺度感受野(感受野为模型对图片的可感知区域)，使用了4个连续的空洞残差单元，以应对不同的目标尺寸。

(3)解码器在回归分支中，是四个卷积层加上批量归一化(Batch Normalization，BN)层和线性整流函数(Rectified Linear Unit,ReLU)层并每个检测锚框增加一个隐式的对象，而在分类分支中只有两个卷积层。最终的分类置信度由分类分支的输出和可变参数相乘得到。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种基于改进YOLOF模型的交通标志牌检测方法，其特征在于，包括以下步骤：

对采集的交通标志牌样本进行增广，将增广完成后的数据集输入改进的YOLOF网络模型进行训练；

对训练的所述改进的YOLOF网络模型进行检测，检测结果合格则结束检测。

2.根据权利要求1所述的方法，其特征在于，对采集的交通标志牌样本进行增广的过程中包括：

通过旋转增强、光照增强和遮挡增强对采集的所述交通标志牌样本进行增广。

3.根据权利要求1所述的方法，其特征在于，将增广完成后的数据集输入改进的YOLOF网络模型进行训练之前，所述方法还包括：

构建所述改进的YOLOF网络模型，所述改进的YOLOF网络模型包括主干网络、编码器和解码器；

其中所述主干网络包括特征模块，所述特征模块包括注意力机制模块。

4.根据权利要求3所述的方法，其特征在于，将增广完成后的数据集输入改进的YOLOF网络模型进行训练的过程中包括：

将所述增广完成后的数据集输入所述改进的YOLOF网络模型；

通过所述主干网络输出特征；

通过所述编码器对所述特征进行处理，获得全尺寸感受野特征图；

通过所述解码器进行回归分类处理。

5.根据权利要求4所述的方法，其特征在于，通过所述主干网络输出特征的过程中包括：

通过所述注意力机制模块对若干个通道赋予不同的权重，通过全局池化获得所述权重的值。

6.根据权利要求5所述的方法，其特征在于，对若干个通道赋予不同的权重，通过全局池化获得所述权重的值的过程中包括：

计算权重的计算公式为：

其中，

表示输入n个特征值的第c个通道相关联输出，

表示输入n个特征值坐标为(i，j)的第c个通道相关联输入，H表示输入图片的高，W表示输入图片的宽；

使用1×1卷积变换函数F(·)对公式(1)进行变换操作：

其中，δ为非线性激活函数，f为对空间信息在水平方向和垂直方向进行编码的中间特征映射，

表示高度为h的第c通道输出表示，

表示宽度为w的第c通道输出表示；

沿着空间维数将f分解为2个单独的张量

和

再利用2个1×1卷积变换F_h和F_w分别将f^h和f^w变换为具有相同通道数的张量，公式如下所示：

t^h＝σ(F_h(f^h)) (3)

t^w＝σ(F_w(f^w)) (4)

其中，σ是sigmoid激活函数，

为维度是

的实数域空间，

为维数是

的实数域空间，R为实数域空间，C为输入数据的通道数，r为下采样的比例；

(4)最后输出y可以写成：

则每个特征模块输出为

7.根据权利要求4所述的方法，其特征在于，通过所述编码器对所述特征进行处理，获得全尺寸感受野特征图的过程中包括：

对所述主干网络输出的特征使用1×1卷积减少通道数目；

基于3×3卷积对输入信息的高度和宽度降维，提取特征图中的语义信息和空间信息，获得通道数为512的特征图；

基于空洞残差单元对通道数为512的特征图连续进行4次处理，获得全尺度感受野特征图。

8.根据权利要求4所述的方法，其特征在于，通过所述解码器进行回归分类处理的过程中包括：对并行的回归分支和分类分支进行处理，其中，在所述回归分支中基于4个卷积层、批量归一化层和线性整流函数获取可变参数；

在所述分类分支中基于2个卷积层、批量归一化层和线性整流函数输出结果；

基于分类分支的输出结果和所述可变参数相乘，获得最终的分类置信度。

9.根据权利要求1所述的方法，其特征在于，对训练的改进的YOLOF网络模型进行检测，检测结果合格则结束检测的过程中包括：

使用总损失值来衡量训练效果，经过多次迭代后当损失值趋于稳定后，保存为训练模型。

Images