CN113536973B - 一种基于显著性的交通标志检测方法 - Google Patents

Abstract

本发明公开了一种基于显著性的交通标志检测方法，本发明方提出一种端到端的卷积神经网络模型。本方法针对交通标志检测任务做出优化，提出了一个以基于VGGNet的特征金字塔网络为主干的显著性检测模型。网络在自下而上过程中的不同尺度特征图上提取了图片中的不同层级的信息，并在金字塔网络自上而下通路中进行融合。通过将特征聚合模块添加在自上而下通路中的每个融合操作之前，可以有助于全局引导模块中包含的深层次特征图中的高级语义信息与较浅层次的特征无缝进行融合。通过这两个建立在池化操作上的模块有助于高级语义信息逐步精细，使本网络模型生成的显著性图拥有更加丰富的细节。其结果为一张像素值在[0，1]的灰度图，图中的1表示为交通标志所在区域，0表示为背景区域，成功实现对交通标志的检测任务。

Description

一种基于显著性的交通标志检测方法

技术领域

本发明属于计算机视觉领域，具体涉及一种基于显著性的交通标志检测方法。

背景技术

道路交通标志是国家交通部门设置在道路两旁，用带有文字或特殊符号的标志牌传递引导、限制、警告或指示信息的道路设施，起到指挥车辆行进，传递交通法规的作用。所以，准确且快速地识别道路交通标志的含义对驾驶员来说非常重要。随着我国高速的经济发展，各类机动车辆的数量都增长迅猛，而由此所带来的交通问题也更加突出。然而，解决交通问题的方法之一就是发展智能交通系统，从国家的发展战略上看，智能交通系统是未来交通领域研究的一个重点方向。另一方面，无人驾驶技术在最近几年也是一个热门话题，而运用计算机视觉的算法自动检测和识别行车环境中交通标志的技术，是自动驾驶领域各个功能实现的基础。经过对于社会需求和市场的分析，道路交通标志的检测的研究具有非常大的研究价值和广阔的应用前景。

利用视觉感知驱动交通标志识别的研究意义主要体现在以下两个方面：

(1)在辅助驾驶系统方面的应用

先进的辅助驾驶系统是可协助驾驶员完成部分驾驶任务和停车功能的车机系统。通过直观可操作的人机界面，辅助驾驶系统可提高驾驶员操作体验和汽车安全性。辅助驾驶系统使用自动化控制相关技术，通过雷达和摄像头等传感器来检测附近的障碍物或驾驶员操作错误，并做出相应的合理响应。其中交通标志检测模块是该系统中不可或缺的组成模块，通过对交通标志的实时快速检测识别，能够有效地为驾驶员提供交通道路的信息，减少或避免由于驾驶员未能快速根据交通标志做出正确驾驶形为而导致的事故，在很大程度上减轻了驾驶员的驾驶压力同时减少驾驶员在道路交通标志上所花费的精力。另一方面，辅助驾驶系统在检测到交通标志后对驾驶员提供信息提示，能有效帮助驾驶员根据当前路况做出合理的决策，从而规范驾驶员行车行为，降低交通事故的发生概率。

(2)在自动驾驶技术方面的应用

自动驾驶汽车是一种能够感知环境并在无任何人为干预的情况下在任何传统车辆能够行驶的路况下运行的车辆。自动驾驶汽车需要依靠车身上面搭载的大量不同类型的传感器(如超声雷达，激光雷达，RGB相机等)，高精度高稳定性的算法，机器学习系统和强大的芯片处理单元来执行自动驾驶的功能。自动驾驶汽车需要通过整合处理位于汽车不同部位的各种传感器的数据，构建可以实时更新的周围环境地图。然后，先进的软件系统会综合分析所有这些传感器的输入，预估路径并将指令发送到汽车的执行器，以控制加速，制动和转向。实现对交通标志的检测和识别，无人驾驶车辆就可以依据检测到的交通标志自主决定行车速度和轨道，确保无人驾驶车辆在遵守交通规则的前提下实现安全有序的遵章行驶，实现真正意义上的无人驾驶。

与常见的基于深度学习的目标检测不同，这类方法大部分都需要提取大量目标候选区域并送入分类网络进行判断和识别，对于计算量的要求非常高，很难在一般的设备上实时运行。除此之外，目前的基于深度学习的交通标志检测方法需要大量测试图片的数据集，并且对于小目标的定位难题也没有解决。而使用基于视觉显著性的方法进行交通标志检测能够获得更好的效果。

发明内容

针对现有技术存在的不足，本发明提供了一种基于显著性的交通标志检测方法。

本发明方法包括以下步骤：

步骤(1).特征金字塔网络，具体方法如下：

本方法采用FPN作为主干网络，其中自下而上通路是基于VGGNet-16搭建，当图像输入之后先进入两个卷积层，卷积层内使用3*3大小的的卷积核，得到第一级特征图C1，此时的特征图分辨率仍然保持与原图分辨率相同。然后将C1特征图输入到最大池化层进行下采样，下采样率设置为2。再将下采样后的图片输入到后面两个卷积层得到特征图C2。根据相同的结构依次类推可以得到4个横向连接的特征图C2、C3、C4、C5，他们的下采样率相对于原图分别为2、4、8、16。在横向连接的道路上使用对应元素逐个相加的方法将自下而上通道特征与自上而下通路融合，并且添加1*1卷积层来减少通道维度。

经研究可以得出，通过使用横向连接的方式将自下而上通路上的特征应用于自上而下通路，更加有效的结合高分辨率弱语义信息的特征图和低分辨率强语义信息的特征图。

步骤(2).全局引导模块，具体方法如下：

高级语义信息在上而下通路中稀释的问题，本方法选择添加一个全局引导模块。本方法中使用的全局引导模块包括两个主要部分，金字塔池化模块和3个全局信息引导流。通过这两个部分与特征金字塔组合在一起，可以使自下而上通路中提取出的高级语义信息被不同尺度的特征图有效利用，提供显著性物体的整体位置信息。

金字塔池化模块包含了四个子分支，可以融合4个不同尺度的特征。其中包括一个输出分辨率不变的恒等映射层。另外三个池化层我们设置为生成2*2，3*3和5*5分辨率特征图的自适应平均池化层。为了保证金字塔池化模块的输入与输出维度和尺度都相同，将四个不同尺度特征图进行1*1卷积得到4组维度为128的特征图，然后通过双线性插值，统一4组特征图的分辨率为输入分辨率。最后直接将这四组特征图拼接，得到金字塔池化模块输出的全局特征。

对于我们目前提取到的全局特征，我们需要将这个全局信息添加到自上而下的路径中并与不同尺度的特征图融合。本方法使用的是一个独立于特征金字塔的全局信息引导流模块，通过使用全局信息引导流模块，可以将高级语义信息轻松的传导到不同级别的特征中。通过这种方法，我们可以增加自上而下道路中全局引导信息的权重，确保显著性物体定位的信息不会在特征金字塔的构建过程中被稀释，而是充分的在每一层中进行融合。

步骤(3).特征聚合模块，具体方法如下：

因此，本方法选择在融合操作之后添加一个使用3*3卷积核的的卷积层，用于减少上采样带来的的混叠效应。但是，我们的全局信息引导流使用到了高达8倍的上采样率，单依靠一个3*3卷积层不足以弥补全集信息引导流与不同尺度特征图之间的差异。

为了解决这个问题，本方法使用了4组特征聚合模块。一个特征聚合模块包含了四个子分支，其中上面三条支路分别采用了2倍，4倍和8倍下采样，而最后一条支路则不进行任何操作。在前向传递的过程中，首先通过将输入特征图传递到拥有不同下采样率的平均池化层，将其转换为不同的尺度。然后将来自不同子支路的特征图进行上采样操作还原到输入时的分辨率，同时合并到一起，最后连接一个使用3*3卷积核的卷积层。

特征聚合模块能够更加有效地减少在自上而下通路中进行的上采样带来的混叠效应，并且给处于不同网络层的特征图在不同的尺度空间上感受局部上下文信息提供了机会，实现了进一步扩大了整个网络的感受野范围的作用

本发明有益效果如下：

本发明方法主要优势在于三个方面：

(1)使用特征金字塔网络可以通过使用横向连接的方式将自下而上通路上的特征应用于自上而下通路，更加有效的结合高分辨率弱语义信息的特征图和低分辨率强语义信息的特征图。

(2)金字塔池化模块通过与特征金字塔组合在一起，可以使自下而上通路中提取出的高级语义信息被不同尺度的特征图有效利用，提供显著性物体的整体位置信息。

(3)特征聚合模块能够更加有效地减少在自上而下通路中进行的上采样带来的混叠效应，尤其是在上采样率较大的时侯；

还给处于不同网络层的特征图在不同的尺度空间上感受局部上下文信息提供了机会，实现了进一步扩大了整个网络的感受野范围的作用。

附图说明

图1为本发明方法的网络整体框架图；

图2为本发明方法的步骤2的模块结构图；

图3为本发明方法的步骤3的模块结构图；

图4为本发明方法的结果图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1-4所示，本发明方提出一种端到端的卷积神经网络模型。本方法针对交通标志检测任务做出优化，提出了一个以基于VGGNet的特征金字塔网络为主干的显著性检测模型。网络在自下而上过程中的不同尺度特征图上提取了图片中的不同层级的信息，并在金字塔网络自上而下通路中进行融合。通过将特征聚合模块添加在自上而下通路中的每个融合操作之前，可以有助于全局引导模块中包含的深层次特征图中的高级语义信息与较浅层次的特征无缝进行融合。通过这两个建立在池化操作上的模块有助于高级语义信息逐步精细，使本网络模型生成的显著性图拥有更加丰富的细节。其结果为一张像素值在[0，1]的灰度图，灰度中的1表示为交通标志所在区域，0表示为背景区域，成功实现对交通标志的检测任务。

如图1所示，本发明方法具体如下：

本发明方法包括以下步骤：

步骤(1).特征金字塔网络，具体方法如下：

本方法采用FPN作为主干网络，其中自下而上通路是基于VGGNet-16搭建，如图1所示，当图像输入之后先进入两个卷积层，卷积层内使用3*3大小的的卷积核，得到第一级特征图C1，此时的第一级特征图C1分辨率仍然保持与原图分辨率相同。然后将第一集特征图C1特征图输入到最大池化层进行下采样，下采样率设置为2。再将下采样后的图片输入到后面两个卷积层得到特征图C2。根据相同的结构依次类推可以得到4个横向连接的特征图C2、C3、C4、C5，他们的下采样率相对于原图分别为2、4、8、16。在横向连接的道路上使用对应元素逐个相加的方法将自下而上通道特征与自上而下通路融合，并且在C2，C3，C4特征图所在的三个横向连接通路中添加1*1卷积层来减少通道维度。

经研究可以得出，通过使用横向连接的方式将自下而上通路上的特征应用于自上而下通路，更加有效的结合高分辨率弱语义信息的特征图和低分辨率强语义信息的特征图。

步骤(2).全局引导模块，具体方法如下：

高级语义信息在自上而下通路中稀释的问题，本方法选择添加一个全局引导模块。本方法中使用的全局引导模块包括两个主要部分，金字塔池化模块和3个全局信息引导流。通过这两个部分与特征金字塔组合在一起，可以使自下而上通路中提取出的高级语义信息被不同尺度的特征图有效利用，提供显著性物体的整体位置信息。

如图2所示，金字塔池化模块包含了四个子分支，可以融合4个不同尺度的特征。其中包括一个输出分辨率不变的恒等映射层。另外三个池化层我们设置为生成2*2，3*3和5*5分辨率特征图的自适应平均池化层。为了保证金字塔池化模块的输入与输出维度和尺度都相同，将四个不同尺度特征图进行1*1卷积得到4组维度为128的特征图，然后通过双线性插值，统一4组特征图的分辨率为输入分辨率。最后直接将这四组特征图拼接，得到金字塔池化模块输出的全局特征。

对于提取到的全局特征，需要将这个全局特征添加到自上而下的路径中并与不同尺度的特征图融合。本方法使用的是一个独立于特征金字塔的全局信息引导流模块。特征图C5经过金字塔池化模块的输出流入3个不同尺度(2倍，4倍，8倍)的上采样卷积层，得到3个不同尺度的全局信息引导流。同时特征图C5还会在经过特征聚合模块再经过2倍上采样操作后与特征图C4以及2倍上采样卷积所得的全局信息引导流进行直接融合。后面的两次融合操作如图1可依此类推。通过使用全局信息引导流模块，可以将高级语义信息轻松的传导到不同级别的特征中。通过这种方法，我们可以增加自上而下道路中全局引导信息的权重，确保显著性物体定位的信息不会在特征金字塔的构建过程中被稀释，而是充分的在每一层中进行融合。

步骤(3).特征聚合模块，具体方法如下：

本方法选择在融合操作之后添加一个使用3*3卷积核的的卷积层，用于减少上采样带来的的混叠效应。但是，我们的全局信息引导流使用到了高达8倍的上采样率，单依靠一个3*3卷积层不足以弥补全集信息引导流与不同尺度特征图之间的差异。

为了解决这个问题，本方法使用了4组特征聚合模块。如图3所示，一个特征聚合模块包含了四个子分支，其中上面三条支路分别采用了2倍、4倍和8倍下采样，而最后一条支路则不进行任何操作。在前向传递的过程中，首先通过将输入特征图传递到拥有不同下采样率的平均池化层，将其转换为不同的尺度。然后将来自不同子支路的特征图进行上采样操作还原到输入时的分辨率，同时合并到一起，最后连接一个使用3*3卷积核的卷积层后输出。

特征聚合模块能够更加有效地减少在自上而下通路中进行的上采样带来的混叠效应，并且给处于不同网络层的特征图在不同的尺度空间上感受局部上下文信息提供了机会，实现了进一步扩大了整个网络的感受野范围的作用。

本发明使用PyTorch框架构建网络模型，选用二元交叉熵作为损失函数，采用Adam优化器进行训练。将权重衰减设置为5e-4，将学习率设置为5e-5，并且在15轮训练后除以10。我们的网络总共训练30轮。我们使用的骨干网络(VGGNet-16)的参数初始化为相应的模型在ImageNet上预训练的结果。使用单GPU(NVIDIA RTX2080Ti)以混合精度的方式进行训练。模型生成交通标志区域预测图。预测图为像素值0到1的灰度图。1表示为交通标志所在区域，0表示为背景区域。

本发明使用German Traffic Sign Detection Benchmark(GTSDB)作为数据集基础进行训练，并使用labelme工具在GTSDB的基础上进行像素级标注，用于获取更加丰富的边缘信息。GTSDB包含900张图像，其中600张为训练图像，300张为测试评估图像。数据集中每张图像中包含零到六个交通标志。数据集中图像的分辨率均为1360*800，交通标志在图像中所占的大小从16*16到128*128。

Claims (2)

1.一种基于显著性的交通标志检测方法，其特征在于包括以下步骤：

步骤(1).搭建特征金字塔网络，采用FPN作为主干网络，其中自下而上通路是基于VGGNet-16搭建；

步骤(2).添加全局引导模块解决高级语义信息在自上而下通路中稀释的问题；全局引导模块包括两个部分：金字塔池化模块和3个全局信息引导流；通过这两个部分与特征金字塔网络组合，能够使自下而上通路中提取出的高级语义信息被不同尺度的特征图有效利用，提供显著性物体的整体位置信息；

步骤(3).使用了4组特征聚合模块后，连接一个使用3*3卷积核的卷积层后，弥补全集信息引导流与不同尺度特征图之间的差异；

步骤(1)具体实现如下：

当图像输入特征金字塔网络之后，先进入两个卷积层，卷积层内使用3*3大小的的卷积核，得到第一级特征图C1，此时的第一级特征图C1分辨率仍然保持与原图分辨率相同；然后将第一级特征图C1特征图输入到最大池化层进行下采样，下采样率设置为2；再将下采样后的图片输入到后面两个卷积层得到特征图C2；根据相同的结构依次类推得到4个横向连接的特征图C2、C3、C4、C5，其对应的下采样率相对于原图分别为2、4、8、16；在横向连接的道路上使用对应元素逐个相加的方法将自下而上通道特征与自上而下通路融合，并且在特征图C2、C3、C4所在的三个横向连接通路中添加1*1卷积层来减少通道维度；

步骤(2)具体实现如下：

金字塔池化模块包含了四个子分支，能够融合4个不同尺度的特征；其中包括一个输出分辨率不变的恒等映射层，另外三个池化层设置为生成2*2，3*3和5*5分辨率特征图的自适应平均池化层；为了保证金字塔池化模块的输入与输出维度和尺度都相同，将四个不同尺度特征图进行1*1卷积得到4组维度为128的特征图，然后通过双线性插值，统一4组特征图的分辨率为输入分辨率；最后直接将这四组特征图拼接，得到金字塔池化模块输出的全局特征；

对于提取到的全局特征，需要将这个全局特征添加到自上而下的路径中并与不同尺度的特征图融合；使用一个独立于特征金字塔的全局信息引导流模块；特征图C5经过金字塔池化模块的输出流入3个不同尺度的上采样卷积层，得到3个不同尺度的全局信息引导流；同时特征图C5还会在经过特征聚合模块再经过2倍上采样操作后与特征图C4以及2倍上采样卷积所得的全局信息引导流进行直接融合；后面的两次融合操作依此类推；通过使用全局信息引导流模块，可以将高级语义信息轻松的传导到不同级别的特征中。

2.根据权利要求1所述的种基于显著性的交通标志检测方法，其特征在于步骤(3)具体实现如下：

使用了4组特征聚合模块，每组特征聚合模块包含了四个子分支，其中上面三条支路分别采用了2倍、4倍和8倍下采样，而最后一条支路则不进行任何操作；在前向传递的过程中，首先通过将输入特征图传递到拥有不同下采样率的平均池化层，将其转换为不同的尺度；然后将来自不同子支路的特征图进行上采样操作还原到输入时的分辨率，同时合并到一起，最后连接一个使用3*3卷积核的卷积层后输出。