CN107609485B - 交通标志的识别方法、存储介质、处理设备 - Google Patents

Abstract

本发明涉及图像识别领域，具体提出了一种交通标志的识别方法、存储介质、处理设备，旨在解决在同一个模块中完成交通标志的检测和分类的问题。本发明的交通标志的识别方法在归一化的RGB通道和灰度通道里边提取最大稳定极值区域作为交通标志的候选区域，然后基于预设的交通标识特征条件进行筛选、将所得区域缩放至固定大小以及减去预设的RGB通道的均值获得第四组交通标志候选区域，再将第四组交通标志候选区域输入到交通标志识别网络中提取获取检测结果和分类结果，通过非最大值抑制的算法去除重叠的区域，得到最终的识别结果，即包含交通标志的位置、大小、具体类别、置信度信息。通过本发明可以同一个模块中完成交通标志的检测和分类。

Description

交通标志的识别方法、存储介质、处理设备

技术领域

本发明涉及图像识别领域，具体涉及一种交通标志的识别方法、存储介质、处理设备。

背景技术

交通标志的识别在辅助驾驶以及无人驾驶系统中有着重要的作用。但是在真实的交通场景中由于遮挡、光照、视角、天气等因素使得利用计算机自动识别交通标志存在很多的困难。

从整幅图像中识别其中存在的交通标志一般分为两个步骤，即交通标志的检测和分类。交通标志的检测即从图像中定位到所需检测的标志，具体的信息包括标志的位置和大小；交通标志的分类则是将所检测得到的标志划分到其所属的具体类别。

目前对交通标志的识别一般先提取待检测图像中的候选区域然后利用HOG+SVM剔除背景标志完成检测，之后利用CNN进行标志的分类。但是这种方法将检测和分类用不同模块来处理，使用了各种手工设计的特征，训练过程复杂，且手工设计的特征没有针对特定任务优化，交通标志的识别效果不佳，同时检测的结果要考虑精度和召回之间的平衡。

因此，如果可以解决在同一个计算机框架里边而不是利用两个单独的模块进行交通标志的检测和分类的问题，将有利于快速准确的识别出交通标志。

发明内容

为了解决现有技术中的上述问题，即为了解决在同一个计算机模块中完成交通标志的检测和分类从而快速准确地识别交通标志区域，本发明提出了一种基于多任务卷积神经网络的交通标志的识别方法，包括：

步骤S1，通过对待检测的RGB图像的三通道分别进行归一化处理，得到新的三通道的图像；同时计算待检测的RGB图像对应的灰度图像，该灰度图像结合所述新的三通道的图像共构成四通道的图像；

步骤S2，对所得到的四通道的图像，通过基于候选区域的物体检测方法进行第一组交通标志候选区域的提取；

步骤S3，计算所述第一组交通标志候选区域中各候选区域的最小外接矩形，并将所得到的各最小外接矩形区域作为第二组交通标志候选区域；

步骤S4，基于预设的交通标识特征条件，对所述第二组交通标志候选区域进行筛选，获得第三组交通标志候选区域；

步骤S5，将所获第三组交通标志候选区域缩放至固定的大小，并减去预设的RGB通道的均值，获得第四组交通标志候选区域；

步骤S6，将所述第四组交通标志候选区域输入预先训练好的交通标志识别网络，输出交通标志区域检测结果和交通标志类别识别结果；

其中，所述的交通标志识别网络为多任务的卷积神经网络。

优选地，所述交通标志识别网络包括二分类子网络和多分类子网络；所述二分子网络设置于多分类子网络之前；

其中，

所述二分类子网络用于对所述第四组交通标志候选区域为交通标志区域或背景区域的检测；

所述多分类子网络用于对所述二分类子网络检测为交通标志区域的图像进行交通标志类别的识别；

其中，所述交通标志类别中其中一类为背景区域类。

优选地，所述二分类子网络包括卷积层和池化层；

所述多分类子网络包括卷积层、池化层、全连接层。

优选地，所述二分类子网络还包括从该网络中的池化层引出的全连接层，用于输出交通标志区域检测结果。

优选地，所述交通标志识别网络，其训练优化方法，包括：

将训练样本输入所述二分类子网络中，得到第一损失函数；所述训练样本包括交通标志样本和背景样本；

如果所述二分类子网络的检测结果为背景区域，则依据预设的第一损失函数对所述二分类子网络的网络参数进行优化；

如果所述二分类子网络的检测结果为交通标志区域，则将步骤A1中检测为交通标志的区域输入所述多分类子网络中，得到第二损失函数；依据预设的第一损失函数和第二损失函数对所述交通标志识别网络的网络参数进行优化。

优选地，所述二分类子网络和多分类子网络损失的权重比例为1:20；

所述训练优化方法采用随机梯度下降法进行训练，初始的学习率为0.005，冲量为0.9，网络权值的正则系数为0.0005，学习率每隔一定的训练次数降为原来的0.1倍。

优选地，所述交通标志的识别方法中步骤S6之后还包括步骤S7，包括：

步骤S7，对所获取的交通标志区域检测结果和交通标志类别识别结果，利用非最大值抑制算法去除重叠的区域，得到交通标志的位置、大小、具体类别、置信度信息。

优选地，步骤S1中“通过对待检测的RGB通道图像的三通道分别进行归一化处理得到新的三通道的图像”；

其中，

所述归一化处理为：

norm_r＝r/(r+g+b)*512；

norm_g＝g/(r+g+b)*512；

norm_b＝b/(r+g+b)*512；

所述待检测图像的原始像素值的范围为[0，255]，归一化计算后也将结果裁剪到[0，255]。

优选地，所述步骤S2中通过基于候选区域的物体检测方法进行第一组交通标志候选区域的提取，其中所述基于候选区域的物体检测方法为MSER算法。

优选地，所述步骤S6中将所述第四组交通标志候选区域输入预先训练好的交通标志识别网络，输出交通标志区域检测结果和交通标志类别识别结果，包括：

步骤S61，将第四组交通标志候选区域输入到交通标志识别网络中；

步骤S62，通过二分类子网络，检测所述第四组交通标志候选区域为交通标志区域或背景区域，得到交通标志区域检测结果；

步骤S63，通过多分类子网络，将交通标志区域检测结果为交通标志区域的图像进行交通标志类别的识别，得到交通标志类别识别结果。

本发明的另一方面提出了一种存储介质，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以交通标志识别方法中的内容。

本发明的第三方面提出了一种处理装置，包括

处理器，适于执行各条程序；以及

存储设备，适于存储多条程序；

其特征在于，所述程序适于由处理器加载并执行以实现交通标志识别方法中的内容。

本发明的有益效果如下：

第一，本发明中交通标志的检测方法是基于机器学习的物体检测方法，相比于基于阈值的方法，当真实交通场景过于复杂时，鲁棒性强。

第二，本发明中交通标志的检测方法是基于机器学习的物体检测方法中的基于候选区域的物体检测方法，相比于基于滑动窗口的物体检测方法，避免了检测器在多尺度的图像上滑动检测，避免了大量的计算，提取的候选区域的数量远小于滑动窗口所需要的判别区域，所以在速度方面有明显的优势。

第三，关于交通标志的分类，早期研究主要是手工设计的特征加分类器的方法，使用了各种手工设计的特征，训练过程不仅复杂而且手工设计的特征没有针对特定的任务优化，分类效果不佳；而本发明中基于多任务的卷积神经网络对交通标志进行分类，将检测和分类放在同一个模块中，兼顾了交通标志识别精度和召回之间的平衡。

第四，本发明中利用非最大值抑制的算法去除重叠区域，得到交通标志的位置、大小，类别、置信度信息，使交通标志的检测和分类结果是不重复，使交通标志的最终识别结果更为精准。

附图说明

图1是本发明实施例的交通标志识别网络的结构示意图；

图2是本发明实施例的交通标志识别网络的训练优化方法流程示意图；

图3是本发明实施例的交通标志识别方法的流程示意图；

图4是本发明实施例的交通标志识别方法中步骤S6的流程示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明中设计了交通标志识别网络，包括二分类子网络和多分类子网络，分别用于交通标志区域的检测和交通标志类别的识别，其中在多分类子网络中，交通标志类别中包含背景区域这一类。

本发明中通过对待检测的RGB通道图像的三通道分别进行归一化处理得到新的三通道的图像；同时计算待检测的GRB通道图像对应的灰度图像，共同构成四通道的图像；通过提取四通道的图像最大稳定极值区域(MSER)、计算最小外接矩形、筛选符合预设的交通标识特征条件的区域、将所得区域缩放至固定大小以并减去预设的RGB通道的均值获得第四组交通标志候选区域；利用设计的交通标志识别网络，通过第四组交通标志候选区域得到交通标志区域检测结果和交通标志类别识别结果；对所获取的交通标志区域检测结果和交通标志类别识别结果，利用非最大值抑制算法去除重叠的区域，得到交通标志的位置、大小、具体类别、置信度信息。

本发明实施例中，待检测图像可以通过车载的摄像头拍摄或者从街景地图中获取。

本发明实施例中，交通标志识别网络依据多任务的卷积神经网络构建。交通标志识别网络包括二分类子网络和多分类子网络；二分子网络设置于多分类子网络之前。

本发明实施例中，二分类子网络包括卷积层、池化层和全连接层，全连接层输出节点为2，从网络中的池化层引出，用于输出交通标志区域的检测结果。

本发明实施例中，多分类子网络包括卷积层、池化层、全连接层，全连接层输出节点为N+1，其中N为交通标志类别数，额外的一个节点表示背景区域类，用于输出交通标志类别的识别结果。多分类子网络用来将被二分类子网络检测为交通标志区域进行交通标志的分类，若仍存在背景区域，则将其划分为背景区域的类别中。

图1是本发明交通标志识别网络的结构示意图，如图1所示，其中input表示输入的RGB图像，大小为48×48。conv(k，n)表示一个卷积层，卷积核的大小为k×k，输出特征图个数为n，卷积核滑动的步长为1，图像上下左右各扩展(k-1)/2个像素以保证卷积操作后的图像大小和原来的一样。relu表示线性整流函数(Rectified Linear Unit，ReLU)，作为激活函数。pooling(k)表示最大化池化操作，核大小为k×k小,两个方向的移动步长均为k。fc(n)表示全连接的操作，输出的节点个数为n。dropout(p)表示训练时每次丢弃p比例的数据。

在交通标志识别网络构建好之后，需要利用训练样本对交通标志识别网络中的二分类子网络和多分类子网络进行训练，以优化各个网络中的网络参数，进而提高交通标志区域检测结果和交通标志识别结果的准确度。

本实施例中，交通标志识别网络中的二分类子网络和多分类子网络分别根据真值进行网络训练。图2是本发明实施例的交通标志识别网络的训练优化方法流程示意图，如图2所示，交通标志识别网络的训练优化方法包括以下步骤：

将训练样本输入交通标志识别网络中的二分类子网络中，得到第一损失函数；

如果检测为背景区域，则依据预设的第一损失函数对二分类子网络的网络参数进行优化；

如果检测为交通标志区域，则继续输入多分类子网络中，得到第二损失函数；依据预设的第一损失函数和第二损失函数对交通标志识别网络的网络参数进行优化。

本实施例中，训练样本包括彩色RGB图像的交通标志样本和背景样本。通过车载的摄像头或者街景地图中获取含有交通标志的待检测图像后，对其中的交通标志区域进行标注，标注的信息包括交通标志区域的最小外接矩形框的位置与大小以及交通标志的类别。对已标注的训练数据，利用步骤S1到步骤S5提取候第四组交通标志候选区域。对每一个第四组交通标志候选区域，计算其与所有标注的真值矩形框的交并面积比值，并保留最大的值作为该第四组交通标志候选区域的分数，并将对应的真值矩形框的类别作为该区域的类别。对与任何标注的真值矩形框都没有相交的第四组交通标志候选区域，其分数为零并将其归为背景区域类。训练时将所有分数大于或等于0.5的候选框作为交通标志样本的训练数据，将所有分数在0到0.2的候选框作为样本的训练数据。同时在分数为0的候选框中随即采样一部分的数据也作为背景样本的训练数据。为了平衡交通标志样本数据和背景样本数据的数量，对属于交通标志的样本数据进行一定的平移缩放操作以增加输入的交通标志样本的数据量。

本实施例中，二分类子网络中的第一损失函数、多分类子网络中的第二损失函数均为分类中常用的交叉熵损失函数；二分类子网络中的第一损失函数以及多分类子网络中的第二损失函数均为目标真实类别与深度卷积神经网络输出值计算得到的交叉熵损失。

本实施例中，交通标志识别网络训练优化方法过程中，采用随机梯度下降法进行训练，从而以迭代的方式对相应的深度卷积神经网络参数进行调整。求解方法在Rumelhart等人1986年发表在Nature上的文章″Learning representations by back-propagatingerrors″中有具体介绍，此处不再赘述。交通标志识别网络训练优化方法过程中，二分类子网络和多分类子网络损失的权重比例为1:20；初始的学习率为0.005，冲量为0.9，网络权值的正则系数为0.0005，学习率每隔一定的训练次数降为原来的0.1倍。

在本技术方案的应用过程中，直接利用上述构建并优化好的交通标志识别网络进行交通标志识别方法的构建，为了更清晰地对本发明的技术方案进行描述，下面结合本发明的交通标志的识别方法的实施例进行详细说明。本发明一种实施例的交通标志识别方法，如图3所示，包括步骤S1、步骤S2、步骤S3、步骤S4、步骤S5、步骤S6和步骤S7。

步骤S1，通过对待检测的RGB通道图像的三通道分别进行归一化处理得到新的三通道的图像；同时计算待检测的RGB通道图像对应的灰度图像，该灰度图像结合所述新的三通道的图像共构成四通道的图像；

本实施例中，步骤S1中通过对待检测的RGB通道图像的三通道分别进行归一化处理得到新的三通道的图像，该归一化处理为：

norm_r＝r/(r+g+b)*512；

norm_g＝g/(r+g+b)*512；

norm_b＝b/(r+g+b)*512；

本实施例中，待检测图像原始像素值的范围为[0，255]，归一化计算后也将结果裁剪到[0，255]，这样得三通道的图像。

步骤S2，对所得到的四通道的图像，通过基于候选区域的物体检测方法进行第一组交通标志候选区域的提取。

本实施例中，基于候选区域的物体检测方法为MSER算法。

步骤S3，计算第一组交通标志候选区域中各候选区域的最小外接矩形，并将所得到的各最小外接矩形区域作为第二组交通标志候选区域。

步骤S4，基于预设的交通标识特征条件，对所述第二组交通标志候选区域进行筛选，获得第三组交通标志候选区域。

本实施例中，预设的交通标志特征条件为交通标志的大小、比例范围，交通标志的大小、比例范围可以在训练集合中统计计算得到。由于交通标志有一定的大小，比例的限制，故而对第二组交通标志候选区域进行筛选，剔除了那些明显不在交通标志大小与比例范围内的区域。如对于1208×1024的图像，可取面积在[150，90000]，长短边长比例在[1，3.2]范围的矩形区域作为初步保留的区域。

本实施例中，在获取第三组交通标志候选区域的过程中，由于各个通道的求解是独立的，故可以并行的计算以加快速度。

步骤S5，将所获第三组交通标志候选区域缩放至固定的大小，并减去预设的RGB通道的均值，获得第四组交通标志候选区域。

本实施例中，预设的RGB通道的均值可以通过训练样本计算得到。

步骤S6，将所述第四组交通标志候选区域输入预先训练好的交通标志识别网络，输出交通标志区域检测结果和交通标志类别识别结果。

本实施例中，步骤S6如图4所示可以包括步骤S61、步骤S62和步骤63。

步骤S61，将第四组交通标志候选区域输入到交通标志识别网络中；

步骤S62，通过二分类子网络，检测所述第四组交通标志候选区域为交通标志区域或背景区域，得到交通标志区域检测结果；

步骤S63，通过多分类子网络，将交通标志区域检测结果为交通标志区域的图像进行交通标志类别的识别，得到交通标志类别识别结果。

本实施例中，第四组交通标志候选区域输入预先训练好的交通标志识别网络中，先检测二分类子网络的检测结果，若是检测为背景区域类则检测为背景区域，若是检测为交通标志区域则进一步输入到多分类子网络得到交通标志识别结果，即是属于背景区域类还是具体的交通标志类别，保留属于交通标志区域类别的区域以及其对应的类别和概率。

步骤S7，对所获取的交通标志区域检测结果和交通标志类别识别结果，利用非最大值抑制算法去除重叠的区域，得到交通标志的位置、大小、具体类别、置信度信息。

本发明的一种实施例的存储介质，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述交通标志识别方法中的内容。

本发明的一种实施例的处理装置，包括处理器、存储设备；处理器适于执行各条程序；存储设备适于存储多条程序；所述程序适于由处理器加载并执行以实现上述交通标志识别方法中的内容。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本领域技术人员应该能够意识到，本文中所公开的实施例描述的各示例的方法步骤可以进行软件程序化设计，并可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于多任务卷积神经网络的交通标志的识别方法，其特征在于，包括：

步骤S1，通过对待检测的RGB通道图像的三通道分别进行归一化处理得到新的三通道的图像；同时计算待检测的RGB通道图像对应的灰度图像，该灰度图像结合所述新的三通道的图像共构成四通道的图像；

步骤S2，对所得到的四通道图像，通过基于候选区域的物体检测方法进行第一组交通标志候选区域的提取；

步骤S3，计算所述第一组交通标志候选区域中各候选区域的最小外接矩形，并将所得到的各最小外接矩形区域作为第二组交通标志候选区域；

步骤S4，基于预设的交通标识特征条件，对所述第二组交通标志候选区域进行筛选，获得第三组交通标志候选区域；

步骤S5，将所获第三组交通标志候选区域缩放至固定的大小，并减去预设的RGB通道的均值，获得第四组交通标志候选区域；

步骤S6，将所述第四组交通标志候选区域输入预先训练好的交通标志识别网络，输出交通标志区域检测结果和交通标志类别识别结果；

其中，

所述的交通标志识别网络为多任务的卷积神经网络；

其中，所述交通标志识别网络包括二分类子网络和多分类子网络；所述二分类子网络设置于多分类子网络之前；

其中，

所述二分类子网络用于对所述第四组交通标志候选区域为交通标志区域或背景区域的检测；

所述多分类子网络用于对所述二分类子网络检测为交通标志区域的图像进行交通标志类别的识别；

其中，所述交通标志类别中其中一类为背景区域类；

其中，所述交通标志识别网络中的二分类子网络和多分类自网络根据真值进行训练，其中，训练优化方法包括：

将训练样本输入所述二分类子网络中，得到第一损失函数；所述训练样本包括交通标志样本和背景样本；

如果所述二分类子网络的检测结果为背景区域，则依据预设的第一损失函数对所述二分类子网络的网络参数进行优化；

如果所述二分类子网络的检测结果为交通标志区域，则将该区域继续输入所述多分类子网络中，得到第二损失函数；依据预设的第一损失函数和第二损失函数对所述交通标志识别网络的网络参数进行优化；

其中，所述训练优化方法采用随机梯度下降法进行训练。

2.根据权利要求1所述的交通标志的识别方法，其特征在于，所述二分类子网络包括卷积层和池化层；

所述多分类子网络包括卷积层、池化层、全连接层。

3.根据权利要求2所述的交通标志的识别方法，其特征在于，所述二分类子网络还包括从该网络中的池化层引出的全连接层，用于输出交通标志区域检测结果。

4.根据权利要求1所述的交通标志的识别方法，其特征在于，所述二分类子网络和多分类子网络损失的权重比例为1:20；

所述训练优化方法初始的学习率为0.005，冲量为0.9，网络权值的正则系数为0.0005，学习率每隔一定的训练次数降为原来的0.1倍。

5.根据权利要求1-4中任一项所述的交通标志的识别方法，其特征在于，步骤S6之后还包括步骤S7，包括：

步骤S7，对所获取的交通标志区域检测结果和交通标志类别识别结果，利用非最大值抑制算法去除重叠的区域，得到交通标志的位置、大小、具体类别、置信度信息。

6.根据权利要求5所述的交通标志的识别方法，其特征在于，所述步骤S1中“通过对待检测的RGB通道图像的三通道分别进行归一化处理得到新的三通道的图像”；

其中，

所述归一化处理为：

norm_r＝r/(r+g+b)*512；

norm_g＝g/(r+g+b)*512；

norm_b＝b/(r+g+b)*512；

所述待检测图像的原始像素值的范围为[0，255]，归一化计算后也将结果裁剪到[0，255]。

7.根据权利要求1-4中任一项所述的交通标志的识别方法，其特征在于，所述步骤S2中通过基于候选区域的物体检测方法进行第一组交通标志候选区域的提取，其中所述基于候选区域的物体检测方法为MSER算法。

8.根据权利要求1-4中任一项所述的交通标志的识别方法，其特征在于，所述步骤S6中将所述第四组交通标志候选区域输入预先训练好的交通标志识别网络，输出交通标志区域检测结果和交通标志类别识别结果，包括：

步骤S61，将第四组交通标志候选区域输入到交通标志识别网络中；

步骤S62，通过二分类子网络，检测所述第四组交通标志候选区域为交通标志区域或背景区域，得到交通标志区域检测结果；

步骤S63，通过多分类子网络，将交通标志区域检测结果为交通标志区域的图像进行交通标志类别的识别，得到交通标志类别识别结果。

9.一种存储介质，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-8中任一项所述的交通标志识别方法中的内容。

10.一种处理装置，包括

处理器，适于执行各条程序；以及

存储设备，适于存储多条程序；

其特征在于，所述程序适于由处理器加载并执行以实现：

权利要求1-8中任一项所述的交通标志识别方法中的内容。

Images