CN110390228B - 基于神经网络的交通标志图片识别方法、装置及存储介质 - Google Patents

Abstract

本申请公开了基于神经网络的交通标志图片识别方法、装置及存储介质，该方法包括：获取待识别交通标志图片，所述图片的尺寸为任意的；对所述待识别交通标志图片进行卷积处理得到第一特征图；对所述第一特征图进行下采样处理得到不同感受野下的特征图；对所述不同感受野下的特征图分别进行上采样处理得到相同尺寸的特征图；将所述相同尺寸的特征图和所述第一特征图融合得到融合特征图；根据所述融合特征图确定交通标志在所述待识别交通标志图片的坐标和类型。本申请能够取得的有益效果在于，全卷积操作对输入图片的大小没有限制。先使用下采样，再上采样，最后将不同感受野的特征融合在一起，图像特征没有因为卷积次数过多而丧失过多的细节。

Description

基于神经网络的交通标志图片识别方法、装置及存储介质

技术领域

本申请涉及计算机视觉领域，尤其是涉及基于神经网络的交通标志图片识别方法、装置及存储介质。

背景技术

目前，图像的检测与识别已经非常成熟。以检测和识别图片中的交通标志牌为例，一般分为传统方法和深度学习方法。传统方法是基于先验的人工经验，如标志牌颜色一般为红、黄、蓝和白等，形状多为三角形、四方形和圆形等。基于颜色的识别，一般是把RGB颜色空间转换到HSV或者HIS颜色空间。基于形状的识别，一般会采用Hough变换检测形状。深度学习概念源于人工神经网络的研究。过去几年，深度学习在计算机视觉领域取得了巨大成功。其中，在物体识别和检测、场景分类、图像分类任务中取得突破性进展，使其适用于图像处理。深度学习方法一般是基于方向梯度直方图(HOG)，局部二值模式(LBP)及Hear-like等特征提取方法，采用滑动窗口扫描的方式。对于HOG、LBP和Hear-like等特征提取方法，由于不同的特征提取方法都有其使用的局限性，鲁棒性较差，对于不同天气或光照强度下以及大小不同的标志牌，会出现无法检测的问题。传统方法的缺点是依靠人工创造的特征提取方法都有其使用的局限性，鲁棒性较差，导致图片中小目标的识别较难。

发明内容

本申请实施例提供基于神经网络的交通标志图片识别方法、装置及存储介质。解决现有技术中对识别图片中的交通标志的方案依赖人工创造以及鲁棒性较差、小目标识别难等技术问题。

本申请提供了基于神经网络的交通标志图片识别方法，该方法包括：

获取待识别交通标志图片，所述图片的尺寸为任意的；

对所述待识别交通标志图片进行卷积处理得到第一特征图；

对所述第一特征图进行下采样处理得到不同感受野下的特征图；

对所述不同感受野下的特征图分别进行上采样处理得到相同尺寸的特征图；

将所述相同尺寸的特征图和所述第一特征图融合得到融合特征图；

根据所述融合特征图确定交通标志在所述待识别交通标志图片的坐标和类型。

本申请还提供了基于神经网络的交通标志图片识别装置，该装置包括：获取单元、卷积单元、下采样单元、上采样单元、融合单元和确定单元；

所述获取单元，用于获取待识别交通标志图片，所述图片的尺寸为任意的；

所述卷积单元，用于对所述待识别交通标志图片进行卷积处理得到第一特征图；

所述下采样单元，用于对所述第一特征图进行下采样处理得到不同感受野下的特征图；

所述上采样单元，用于对所述不同感受野下的特征图分别进行上采样处理得到相同尺寸的特征图；

所述融合单元，用于将所述相同尺寸的特征图和所述第一特征图融合得到融合特征图；

所述确定单元，用于根据所述融合特征图确定交通标志在所述待识别交通标志图片的坐标和类型。

本申请还提供了一种存储介质，其上存储有程序数据，所述程序数据用于被处理器执行时实现所述的基于神经网络的交通标志图片识别方法。

与现有技术相比，本申请能够取得的有益效果在于，方案自动完成，不依赖人工创造，全卷积操作对输入图片的大小也没有限制，并且通过先使用下采样，再上采样，最后将不同感受野的特征融合在一起的方案，实效图像特征没有因为卷积次数过多而丧失过多的细节，增强了图片鲁棒性的同时，也便于识别交通标志图片中的较小目标。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1a、图1b、图1c分别为本申请提供的交通标志牌分类示意图；

图2a、图2b、图2c分别为本申请提供的蓝底白字、绿底白字，黄底黑字交通标志牌示意图；

图3为本申请提供的训练卷积神经网络流程示意图；

图4为本申请提供的基于神经网络的交通标志图片识别方法实施例的流程示意图；

图5为本申请提供的基于神经网络的交通标志图片识别装置实施例的结构示意图；

图6为本申请提供的基于神经网络的交通标志图片识别方法实施例的工作示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本发明改进卷积神经网络，训练卷积神经网络的过程如图3所示，具体过程如下：

数据采集。使用摄像头采集不同城市，不同道路，不同时间段的带有标志的图像(采集到的视频/图像不仅可用于交通标志的检测，还可以用于行人检测等多种场景数据)；

数据标注。将第一步采集的视频进行间隔帧抽样(如果视频是30帧/秒的话，就每隔5秒取一帧图片)，生成标注图片，采用人工标注的方式，标注图片中的交通标志牌的像素坐标位置及类型，交通标志牌的类型主要分为3大类(警告，指示，禁令)，如图1a、图1b、图1c所示，在国内交通标志牌分类的基础上，又增加大指示牌的识别(室内道路蓝底白字的大指示牌，高速绿底白字，黄底黑字指示牌)，如图2a、图2b和图2c所示；

生成训练数据。过程如下：变换和处理人工标注的数据，读取带有交通标志牌的分辨率为1024×576的图片和相应的标注数据，生成一个8维的分辨率为256×144的特征图(输入图片分辨率宽高分别除以4，这是由设计的网络决定的，如果输入图像分辨率变化，这个特征图的大小也会变的)，8维分别为mask，x1，y1，x2，y2，1/w，1/h，class；mask将背景设置为0，人工标注的交通标志牌矩形框内的所有值设置为1；x1，y1，x2，y2为交通标志牌矩形框左上角、右下角坐标回归矩阵；1/w为交通标志牌的矩形的宽度的倒数；1/h为交通标志牌的矩形的高度的倒数；class为相对应的类型的数字(数字为1-224，分别对应224种类型，如表1所示的部分类型)，非交通标志牌区域设置为0，交通标志牌区域设置为class相对应的类型的数字。对于每一个交通标志牌矩形内的像素值，使用{dx^t＝x_i-x_t，dy^t＝y_i-y_t，dx^a＝x_i-x_b，dy^b＝y_i-y_b}训练数据，其中(x^t，y^t)为交通标志牌标注矩形框左上角像素坐标分别除4，(xb，yb)为交通标志牌标注矩形框右下角的像素坐标分别除4(因为特征图的分辨率是输入图片分辨率的1/4，网络结构决定的)，w，h为该交通标志牌矩形框的宽和高除以4(理由同前)，class为该交通标志牌的类型(类型是标注前约定好的对应表，如表1所示，在生成特征图的时候会以相应的数字表示)，(x_i、y_i)为人工标注的矩形框内的像素值坐标、(x_t、y_t)为标注矩形框的左上角的坐标、(x_b、y_b)为标注矩形框的右下角的坐标；从分辨率为1280×720的图片中裁切5张图片，每张图片分辨率为1024×576，5张图片的坐标分别为[(0，0)，(1024，576)]，[(256，0)，(1280，576)]，[(0，144)，(1024，720)]，[(256，144)，(1280，720)]，[(128，72)，(1152，648)]，如果裁切的图片中包含有交通标志牌，在生成的分辨率为256×144的特征图中截取相应的区域作为训练数据，不包含交通标志牌的图片直接丢弃，不产生训练数据；

网络设计。设计改进的卷积神经网络(Mapbar Traffic Sign DetectionConvolution Neural Network，MTSD-CNN)，主要包括卷积层(convolution layer)，上采样层(de-convolution layer)，全卷积层(fully-convolution layer)，创新点在于将不同尺度的下采样层，通过选用和下采样层对应的卷积核进行上采样(反卷积层)，将特征图变成统一的大小，并将这些特征图和前边卷积层产生的特征图连接在一起，对生成的特征图进行全卷积，得到边框特征图，分类特征图，以及置信度特征图。

离线训练。将生成的训练数据(图片和相应的特征图)输入到上步设计好的网络中，使用Caffe工具，采用批量随机梯度下降的算法对该网络进行求解，训练时使用固定的学习率0.001和动量0.95，使用L2损失函数(欧几里得距离，即

)作为边框特征图回归的目标函数，softmax with loss损失函数作为分类特征图以及置信度特征图的目标函数，迭代500k次后停止训练；

检测。利用上步训练生成的模型的参数初始化MTSD-CNN网络，对分辨率为1024x576图像中的交通标志牌进行检测(基于mask图)，分类(基于cls特征图)和回归(基于bbox特征图)。具体流程：遍历mask图，概率大于0.85的点使用bbox特征图计算x1，y，x2，y2，并将计算出的坐标存入列表中；对存入列表中的矩形使用OpenCV的groupRectangles方法计算得到矩形位置；对上一步生成的矩形位置对分类特征图相应位置进行计算，取概率最大值作为该矩形的分类(即使用argmax方法)。

图4为本申请提供的基于神经网络的交通标志图片识别方法实施例的流程示意图，该流程示意图包括：

步骤405，获取待识别交通标志图片，所述图片的尺寸为任意的；

在本实施例中，获取到的待识别交通标志图片如图2c所示，即类型为黄底黑字指路牌，分辨率为1024×576的“追尾危险，保持车距”交通标志牌图片。

步骤410，对所述待识别交通标志图片进行卷积处理得到第一特征图；

卷积层对输入的分辨率为1024×576，类型为黄底黑字指路牌的“追尾危险，保持车距”交通标志牌图片进行卷积，生成分辨率为512×288的特征图；卷积层对生成的分辨率为512×288的特征图进行卷积，生成分辨率为256×144的第一特征图，如图6所示。

步骤415，对所述第一特征图进行下采样处理得到不同感受野下的特征图；

下采样层对生成的分辨率为256×144的第一特征图进行下采样处理，生成分辨率为128×72的特征图；下采样层对生成的分辨率为128×72的特征图进行下采样处理，生成分辨率为64×36的特征图；下采样层对生成的分辨率为64×36的特征图进行下采样处理，生成分辨率为32×18的特征图，如图6所示。上述分辨率为128×72的特征图、分辨率为64×36的特征图和分辨率为32×18的特征图即为不同感受野下的特征图。

步骤420，对所述不同感受野下的特征图分别进行上采样处理得到相同尺寸的特征图；

可选地，使用具有不同的反卷积核的上采样层对步骤415中的不同感受野下的特征图分别进行上采样处理得到相同尺寸的至少一个共享特征图，所述反卷积核与所述不同的卷积核对应。进一步地，上述共享特征图的分辨率是256×144，如图6所示。

步骤425，将所述相同尺寸的特征图和所述第一特征图融合得到融合特征图；

可选地，将所述相同尺寸的至少一个共享特征图和所述第一特征图进行连接得到融合特征图，所述第一特征图的尺寸与所述共享特征图的尺寸相同。进一步地，使用拼接层将上述分辨率是256×144的共享特征图和分辨率是256×144的第一特征图进行连接，生成融合特征图。

步骤430，根据所述融合特征图确定交通标志在所述待识别交通标志图片的坐标和类型；

全卷积层是具有1*1卷积核的卷积层。全卷积层对生成的融合特征图进行全卷积，输出特征图，如图6所示。

可选地，对上述步骤425中的融合特征图使用全卷积层，进行降维度的全卷积，分为3个分支(如图6所示)，第1个分支为mask，得到置信度特征图，第2个分支为边框回归，得到边框特征图，第3个分支为类型，得到分类特征图。第一个分支是负责预测图片中是否存在目标对象，即交通标志牌；第2个分支为边框回归，归一化得到目标对象的左、右、上、下边框的值，经过换算得到目标对象的坐标值；第三个分支为类型，交通标志有224类，如表1所示，加上背景这一类，总共225类。全卷积的结果包括：置信度特征图，边框特征图和类型特征图。

表1、部分交通标志类型对应表

可选地，根据所述全卷积的结果确定交通标志在所述待识别交通标志图片的坐标和类型。更进一步地，根据置信度特征图确定是否存在交通标志；若确定存在交通标志，则根据所述边框特征图确定所述交通标志的坐标；根据所述类型特征图和所述置信度特征图确定所述交通标志的类型。

在本实施例中，如图6所示，对步骤425中生成的融合特征图进行降维度的全卷积，识别出“追尾危险，保持车距”标志牌，输出“追尾危险，保持车距”标志牌特征图，即mask特征图(即置信度特征图)；在确定存在“追尾危险，保持车距”标志牌后，输出“追尾危险，保持车距”标志牌的坐标特征图，如图6所示，即bbox特征图(即边框特征图)。根据bbox特征图确定“追尾危险，保持车距”的坐标；在确定存在“追尾危险，保持车距”标志牌后，输出“追尾危险，保持车距”标志牌的类型特征图，如图6所示，即cls特征图(即类型特征图)；根据cls特征图确定“追尾危险，保持车距”的类型为“黄底黑字指路牌”。

进一步地，可增加不同天气场景(如雨，雪，雾)下的标志牌数据，对数据集进行增广，增加检测和识别的稳定性和鲁棒性。

与现有技术相比，本实施例能够取得的有益效果在于，全卷积操作对输入图片的大小没有限制。先使用下采样，再上采样，最后将不同感受野的特征融合在一起，图像特征没有因为卷积次数过多而丧失过多的细节。

图5为本申请提供的基于神经网络的交通标志图片识别装置结构示意图，该结构示意图包括：获取单元505、卷积单元510、下采样单元515、上采样单元520、融合单元525和确定单元530；

所述获取单元505，用于获取待识别交通标志图片，所述图片的尺寸为任意的；

所述卷积单元510，用于对所述待识别交通标志图片进行卷积处理得到第一特征图；

所述下采样单元515，用于对所述第一特征图进行下采样处理得到不同感受野下的特征图；可选地，所述下采样单元515，还用于以不同的卷积核依次对所述第一特征图进行卷积处理，分别得到与所述不同的卷积核相对应的不同感受野下的特征图。

所述上采样单元520，用于对所述不同感受野下的特征图分别进行上采样处理得到相同尺寸的特征图；可选地，所述上采样单元520，还用于以不同的反卷积核对所述不同感受野下的特征图分别进行反卷积处理得到相同尺寸的至少一个共享特征图，所述反卷积核与所述不同的卷积核对应。

所述融合单元525，用于将所述相同尺寸的特征图和所述第一特征图融合得到融合特征图；可选地，所述融合单元525，还用于将所述相同尺寸的至少一个共享特征图和所述第一特征图进行连接得到融合特征图，所述第一特征图的尺寸与所述共享特征图的尺寸相同。

所述确定单元530，用于根据所述融合特征图确定交通标志在所述待识别交通标志图片的坐标和类型。可选地，所述确定单元530，还用于对所述融合特征图进行降维度的全卷积；所述全卷积的结果包括：置信度特征图，边框特征图，类型特征图；根据所述全卷积的结果确定交通标志在所述待识别交通标志图片的坐标和类型。可选地，所述确定单元530，还用于根据置信度特征图确定是否存在交通标志；若确定存在交通标志，则根据所述边框特征图确定所述交通标志的坐标；根据所述类型特征图和所述置信度特征图确定所述交通标志的类型。

与现有技术相比，本实施例能够取得的有益效果在于，全卷积操作对输入图片的大小没有限制。先使用下采样，再上采样，最后将不同感受野的特征融合在一起，图像特征没有因为卷积次数过多而丧失过多的细节。

本申请还提供了一种存储介质，其上存储有程序数据，所述程序数据用于被处理器执行时实现获取待识别交通标志图片，所述图片的尺寸为任意的；对所述待识别交通标志图片进行卷积处理得到第一特征图；对所述第一特征图进行下采样处理得到不同感受野下的特征图；对所述不同感受野下的特征图分别进行上采样处理得到相同尺寸的特征图；将所述相同尺寸的特征图和所述第一特征图融合得到融合特征图；根据所述融合特征图确定交通标志在所述待识别交通标志图片的坐标和类型。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.基于神经网络的交通标志图片识别方法，其特征在于，该方法包括：

获取待识别交通标志图片，所述图片的尺寸为任意的；

对所述待识别交通标志图片进行卷积处理得到第一特征图；

对所述第一特征图进行下采样处理得到不同感受野下的特征图；

对所述不同感受野下的特征图分别进行上采样处理得到相同尺寸的特征图；

将所述相同尺寸的特征图和所述第一特征图融合得到融合特征图；

根据所述融合特征图确定交通标志在所述待识别交通标志图片的坐标和类型；

所述根据所述融合特征图确定交通标志在所述待识别交通标志图片的坐标和类型，具体包括：

对所述融合特征图进行降维度的全卷积，根据所述全卷积的结果确定交通标志在所述待识别交通标志图片的坐标和类型。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一特征图进行下采样处理得到不同感受野下的特征图，包括：

以不同的卷积核依次对所述第一特征图进行卷积处理，分别得到与所述不同的卷积核相对应的不同感受野下的特征图。

3.根据权利要求2所述的方法，其特征在于，所述对所述不同感受野下的特征图分别进行上采样处理得到相同尺寸的特征图，包括：

以不同的反卷积核对所述不同感受野下的特征图分别进行反卷积处理得到相同尺寸的至少一个共享特征图，所述反卷积核与所述不同的卷积核对应。

4.根据权利要求3所述的方法，其特征在于，所述将所述相同尺寸的特征图和所述第一特征图融合得到融合特征图，包括：

将所述相同尺寸的至少一个共享特征图和所述第一特征图进行连接得到融合特征图，所述第一特征图的尺寸与所述共享特征图的尺寸相同。

5.根据权利要求1所述的方法，其特征在于，所述全卷积的结果包括：置信度特征图，边框特征图，类型特征图以及；所述根据所述全卷积的结果确定交通标志在所述待识别交通标志图片的坐标和类型，包括：

根据置信度特征图确定是否存在交通标志；

若确定存在交通标志，则根据所述边框特征图确定所述交通标志的坐标；

根据所述类型特征图和所述置信度特征图确定所述交通标志的类型。

6.基于神经网络的交通标志图片识别装置，其特征在于，该装置包括：获取单元、卷积单元、下采样单元、上采样单元、融合单元和确定单元；

所述获取单元，用于获取待识别交通标志图片，所述图片的尺寸为任意的；

所述卷积单元，用于对所述待识别交通标志图片进行卷积处理得到第一特征图；

所述下采样单元，用于对所述第一特征图进行下采样处理得到不同感受野下的特征图；

所述上采样单元，用于对所述不同感受野下的特征图分别进行上采样处理得到相同尺寸的特征图；

所述融合单元，用于将所述相同尺寸的特征图和所述第一特征图融合得到融合特征图；

所述确定单元，用于根据所述融合特征图确定交通标志在所述待识别交通标志图片的坐标和类型；

所述根据所述融合特征图确定交通标志在所述待识别交通标志图片的坐标和类型，具体包括：

对所述融合特征图进行降维度的全卷积，根据所述全卷积的结果确定交通标志在所述待识别交通标志图片的坐标和类型。

7.根据权利要求6所述的装置，其特征在于，

所述下采样单元，具体用于以不同的卷积核依次对所述第一特征图进行卷积处理，分别得到与所述不同的卷积核相对应的不同感受野下的特征图；

所述上采样单元，具体用于以不同的反卷积核对所述不同感受野下的特征图分别进行反卷积处理得到相同尺寸的至少一个共享特征图，所述反卷积核与所述不同的卷积核对应。

8.根据权利要求7所述的装置，其特征在于，所述融合单元，具体用于将所述相同尺寸的至少一个共享特征图和所述第一特征图进行连接得到融合特征图，所述第一特征图的尺寸与所述共享特征图的尺寸相同。

9.一种存储介质，其上存储有程序数据，其特征在于，所述程序数据用于被处理器执行时实现权利要求1-5中任一项所述的基于神经网络的交通标志图片识别方法。

Images