CN110287806A - 一种基于改进ssd网络的交通标志识别方法 - Google Patents

Abstract

本发明公开了一种基于改进SSD的深度学习的目标检测与识别算法，该方法首先，修改了残差网络，使用串联卷积核的方法等效大尺寸卷积核，将图片送给34层残差网络获取到不同尺寸的特征图，获取残差网络最后层的特征图，同时获取各个卷积层后的特征图。本发明所述的改进SSD网络方法，旨在提高SSD网络对小目标的检测率，实现SSD算法对小型交通标志的检测。由于采用的是端对端的网络，不需要额外的存储设备，减少了硬件的消耗，节约了成本，同时在残差网络的改进下，改进后的SSD网络对小目标的检测有了更好的准确率。

Description

一种基于改进SSD网络的交通标志识别方法

技术领域

本发明涉及人工智能领域，尤其涉及深度学习的交通标志识别领域，特别涉及一种基于改进SSD网络的交通标志识别方法。

背景技术

深度学习是目前机器学习发展的最高度，卷积神经网络作为深度学习的一种方法，在物体识别、图像处理等领域有着较好的效果。对于特征提取，卷积神经网络有着可以自动学习图像特征的优势，减少了人工干预，提取出高质量的特征，从而为提高图像匹配的准确率打下了坚实的基础。

基于深度学习SSD算法网络的图像目标检测与识别是人工智能在图像领域的重大突破，使用深度学习的方法对图像进行检测与识别。深度学习技术在图像处理方面可以进行目标检测，图像分类，目标分割等操作。特别地，深度学习还可以在交通标志识别与检测方面有极大的重用，可以超越人类的识别，给汽车自动驾驶技术带来可靠的识别信息。

一般地，SSD网络待检测的图像经过多层卷积进行特征提取，得到的每一层的特征图的尺寸大小等信息是不同的，当一张图像进入网络时，网络经过计算可以得到目标的位置，大小以及类别。SSD神经网络先经过卷积计算，池化计算，和激活函数运算，得到特征图，这些不同尺寸的特征图进行default box的设定等方法，通过IOU的计算，非极大值抑制等算法，精确目标的大小和位置，从而等到目标所在的位置。因此深度神经网络目前广泛被应用于图像处理方面的工作，一个完整的深度神经网络通常有卷积层，池化层，激活函数，全连接层，输出层等，卷积层的作用是用来提取图像特征，大量的卷积核的参数通过反向传播自动调节参数，池化层是用来下采样的，其本质是选取特征图中重要的信息，去除不重要信息，降低计算量，激活函数增加了网络的非线性表达能力；全连接层一般位于整个神经网络后面基层，用于分类。

然而，传统的SSD网络虽然是基于深度学习的网络搭建起来的，但是因为是基于VGG16改变而来，其第一个用于检测的特征图只经过了4个卷积层的特征提取，这样提取到的特征不够，虽然传统的SSD网络使用了多尺度检测的方法，即在不同尺寸的特征图上进行检测，但是因为第一个大的特征图只经过了4层卷积提取特征，所以在检测小目标时候不够准确，如果直接增加前置网络的深度，这样做确实可以提高特征提取，但是也带来了新的问题，就是网络过深的时候，反向传播的链路过长，经过sigmoid激活函数时会造成梯度消失等问题，导致前面层的权重无法得到调整，训练非常缓慢。为了解决深度网络带来的梯度消失问题，何凯明等人提出了残差网络模型，该网络和传统的深度网络相比，多了一个短连接链路，这样，残差网络就不会出现梯度消失等问题了，所以残差网络可以做的很深。由于交通标准在一张图片中所占位置较小，而且一张图片中会有多个交通标志，例如：在道路的十字路口通常会有很多交通标志，离镜头较远的标志在图像中是比较小的，使用传统的SSD网络检测的时候就会漏检。因此，传统的SSD网络因前置网络的原因，大尺寸的特征图提取到的特征信息不多，导致检测小的目标时候效果不佳。

发明内容

针对上述技术问题，本发明所要解决的技术问题是提供一种交通标志识别方法，该方法可以检测到小型的交通标志，有助于提高交通标志检测与识别的准确性。

本发明旨在至少解决现有技术中存在的技术问题。为此，本发明公开了一种基于改进SSD网络的交通标志识别方法，该方法包括：

S1.进行图像采集和预处理，制作样本训练集；将训练集输入，开始训练SSD网络；待训练的图片输入SSD网络，经过多卷积层与池化层，得到特征图

S2.构建优化后的SSD网络，前置网络以34层ResNet作为前置网络，将残差网络最后一个特征图作为第一个检测特征图，将残差网络最后一个特征图的维度控制在38*38*512大小；改进残差网络，加入两个3*3串联的卷积核以便提取到更全面的特征；在残差网络输出特征图后，将特征图送入到卷积神经网络，用一个均值池化层进行下采样；

S3.神经网络训练，采用的高斯随机初始化的方法对权重初始化，准备数据，将数据及标签预先读取并写入tfrecord中，这一部分独立于网络，同时选好优化器，对权重采用L2正则化，增加检测精度；通过多尺度的特征特征图，实现多尺度检测，设置default box的大小和长宽比，其中小型特征图可以用来检测大的目标，大的特征图可以用来检测小的目标；

S4.匹配default box，分别计算每个default box与Ground Truth的IOU，使用非极大值抑制的方法，去除重叠的prior box,用回归的方法精确调整预测框的位置；

S5.在完成网络训练后，将待识别图像输入至已经训练好的神经网络，进而识别交通标志。

更进一步地，对于每个特征图而言其default box的大小是按以下公式计算：

Sk＝Smin+(Smax-Smin)/(m-1)*(k-1),k∈[1,m]

其中，Smin是0.2，表示最底层的scale是0.2；Smax是0.9，表示最高层的scale是0.9；aspect ratio，用ar表示为下式：5种aspect ratio ar＝{1,2,3,1/2,1/3},因此每个default box的宽的计算公式为：

高的计算公式为：

另外当aspect ratio为1时，scale的default box：

因此，上面的所述的特征图上，每一个点能够提供6个default box。

更进一步地，所述匹配default box进一步包括：将prior box和grount truthbox按照IOU进行匹配，匹配成功则这个prior box就是正样本，如果匹配不上，就是负样本。

更进一步地，在改进后的SSD网络，使用了34层深度残差网络替换传统SSD网络的前置网络中，进一步包括：将第一层的7*7的卷积核用两个5*5的卷积核串联并去除第一个池化层；使用串联3*3的卷积核替换最后卷积层的卷积核。

本发明方法相对于现有技术来说，具有以下的有益效果：

由于采用的是端对端的网络，不需要额外的存储设备，减少了硬件的消耗，节约了成本，同时在残差网络的改进下，改进后的SSD网络对小目标的检测有了更好的准确率。

附图说明

从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指定对应的部分。

图1是本发明的基于改进SSD网络的交通标准识别的流程图；

图2是本发明的改进后的SSD网络的结构图；

图3是本发明的一个实施例迭代30次之后的检测交通标志的识别准确率结果图。

具体实施方式

实施例一

如图1所示，提供了一种基于改进SSD网络的交通标志识别方法，包括：

1：准备数据

本实验所使用的数据包含了900张道路场景图，每张图上有多个或者一个交通标志，首先把图片设置成统一大小，以图片左上角作为原点，标注好交通标志在图中的位置，大小，类别等信息。

(1.1)把数据转化为Pascal Voc的格式，Pascal VOC的文件夹下有五个文件夹，我们使用其中的两个，分别是JPEGImages和Annotations这两个文件夹，JPEGImages文件夹下保存着训练图片和测试图片，制作这个文件夹只需要将图片转化为JPG格式就好。

(1.2)Annotations文件夹保存着图片的文件是以xml文件保存的，保存着图片的信息，包括Ground Truth与图片的种类等信息，可以使用一些自动标注工具，手动标注，自动生成xml文件，为了加快数据读取，可以先把数据和标签预先读取并写入tfrecord中。至此，数据就已经准备完成。

2：搭建网络结构

改进后的网络由RESnet34网络和传统SSD网络两部分组成，34层残差网络作为前置网络，其输出特征图作为第一个检测特征图，SSD网络作为目标检测与分类网络。

(2.1)传统的SSD网络的结构代码已经是开源状态了，34层残差网络也是开源的，去除SSD网络的前置的4个卷积层，去掉34层残差网络的输出与全连基层。

(2.2)因为34层残差网络的最后的特征输出是38*38*512的特征图，所以要注意SSD网络在于残差网络连接时候的参数的数量，我们这里的38*38*512的特征图与传统SSD网络的第一个检测特征图是一样的，所以两个网络可以直接连接使用。

(2.3)修改残差网络中的卷积核，将去除全连接层与输出层的残差网络的最后一层的卷积核换成两个3*3串联的卷积核，第三个维度是512，这与它的输出特征图的第三个维度是一样的。

3：训练神经网络

(3.1)使用Tensorflow作为训练环境，首先使用软件自带的初始化函数对权重进行高斯随机初始化。

(3.2)修改参数，将训练的batch设置成50，训练步长设置为0.0001，把迭代次数设置为30，使用交叉熵损失函数。

(3.3)将残差网络的输出特征图作为第一个检测图，每个点设置四个defaultbox，ConV7的输出特征图作为第二个用来检测的特征层在每个点上提供了6个defaultbox，Conv8第三个检测特征图在每个点上提供了6个default box,Conv9的输出特征图第四个检测特征图的尺寸是5*5*256，在每个点上提供了6个default box，Conv10的输出的特征输出图第五个用来检测的特征图所提供的default box的数量是3*3*4，第六个是由均值池化得到的特征图，大小为1*1*256，在每个点上提供的default box是4个，则该特征图提供的default box的数量是1*1*4。整个网络提供了8732个default box，分别计算每个default box与Ground Truth的IOU，把IOU大于0.5的default box作为prior box参与预测，使用非极大值抑制的方法，去除重叠的prior box,用回归的方法精确调整预测框的位置。

4：验证网络准确性

(4.1)监测网络的损失函数的值的变化，待其收敛的时候停止训练，保存权重参数，因测试的数据不存在GT，所以需要计算default box与GT的IOU，此时调用出已经训练好的模型，网络会自动获取prior box，将获取的prior box进行非极大值抑制的计算以及回归算法，可得到精确的预测框。完成训练。

(4.1)改变最后层分类的参数，使用其他交通标准数据集进行试验。

实施例二

本实施例提供了一种基于改进SSD深度学习网络的交通标志检测方法，该方法由以下步骤组成：

1：构建优化后的SSD网络

(1.1)传统的SSD网络的是以VGG16的Conv4_3层的输出作为第一个用于检测的特征图，改进后的前置网络以34层ResNet作为前置网络，将残差网络最后一个特征图作为第一个检测特征图，将残差网络最后一个特征图的维度控制在38*38*512。

(1.2)改进残差网络，传统的34层残差网络的卷积核都是3*3，为了改进特征提取效果，在倒数第三层加入两个3*3串联的卷积核，两个3*3串联的卷积核可以等效于一个5*5尺寸的卷积核，以便提取到更全面的特征

(1.3)在残差网络输出特征图后，将特征图送入到卷积神经网络，如图conv6的卷积核的尺寸是3*3，步长为2，维度是3*3*1024，将此层的输出特征图作为第二个检测特征图，接下来是conv7，卷积核是1*1，步长是2，维度是1*1*1024，将这一层的输出特征作为第三个检测特征图；Conv8层中，conv8有两种卷积核，Conv8_1的卷积核尺寸1*1*256，Conv8_2的尺寸是3*3*512，卷积步长是2，将这一层的输出特征图作为第四个检测特征图；同时将输出特征图送到Conv9层，这一层是两种卷积核，Conv9_1是1*1*128，步长是1，Conv9_2是3*3*256，步长设置为2，将这一层的输出特征图作为第五个检测特征图，将这一层的特征图送到Conv10中，这一层也是两种卷积核，分别是1*1*128，步长为1，与3*3*256，步长为2，最终，用一个均值池化层进行下采样。

2：神经网络训练

(2.1)权重初始化是训练的第一步，采用的高斯随机初始化的方法，初始化完成后，准备好数据，SSD网络支持的数据格式是pascalVOC形式，为了加快数据的读取，框架将数据及标签预先读取并写入tfrecord中，这一部分独立于网络或者说训练结构之外，同时选好优化器，同时对权重采用L2正则化，增加检测精度。

(2.2)通过前面六个层的特征图，我们可以得到不同尺寸的六个特征图进行检测，通过多尺度的特征特征图，实现多尺度检测，其中小型特征图可以用来检测大的目标，大的特征图可以用来检测小的目标。其中第一个用来检测的特征层在每个点上提供了4个default box，那么第一层提供的default box的个数是38*38*4，第二个用来检测的特征层在每个点上提供了6个default box，那么第二个检测特征层所提供的default box的数量是19*19*6，第三个检测特征图在每个点上提供了6个default box,那么该特征图提供了10*10*6个default box，第四个检测特征图的尺寸是5*5*256，在每个点上提供了6个default box,则整张图的default box是5*5*6，第五个用来检测的特征图所提供的default box的数量是3*3*4，第六个是由均值池化得到的特征图，大小为1*1*256，在每个点上提供的default box是4个，则该特征图提供的default box的数量是1*1*4。

整个网络提供了38*38*4+19*19*6+10*10*6+5*5*6+3*3*4+1*1*4＝8732个default box。

生成的8732个default box并不是全部用来预测GT的，在这8732个default box中也许只有一部分用来预测，那么选择与GT相近的default box用来做预测。这样省略了大量的计算步骤，这些实际选中的default box叫做Prior Box。

(2.3)设置default box的大小和长宽比。在SSD网络中，default box的大小和长宽比需要手动设置，假设有m个特征图做预测，对于每个特征图而言其default box的大小是按以下公式计算的：

Sk＝Smin+(Smax-Smin)/m-1(k-1),k∈[1,m]

这里Smin是0.2，表示最底层的scale是0.2；Smax是0.9，表示最高层的scale是0.9。至于aspect ratio，用arar表示为下式：注意这里一共有5种aspect ratioar＝{1,2,3,1/2,1/3},因此每个default box的宽的计算公式为：

高的计算公式为：

另外当aspect ratio为1时，作者还增加一种scale的default box：

所以上面的特征图上，每一个点能够提供6个default box。

将prior box和grount truth box按照IOU(JaccardOverlap)进行匹配，匹配成功则这个prior box就是positive example(正样本)，如果匹配不上，就是negative example(负样本)，显然这样产生的负样本的数量要远远多于正样本。这里将前向loss进行排序，选择最高的num_sel个prior box序号集合D。那么如果Match成功后的正样本序号集合P。那么最后正样本集为P-Dcap{P}，负样本集为D-Dcap{P}。同时可以通过规范num_sel的数量(是正样本数量的三倍)来控制使得最后正、负样本的比例在1：3左右。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。因此，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以上权利要求(包括所有等同物)旨在限定本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (4)

1.一种基于改进SSD网络的交通标志识别方法，其特征在于，该方法包括：

S1.进行图像采集和预处理，制作样本训练集；将训练集输入，开始训练SSD网络；待训练的图片输入SSD网络，经过多卷积层与池化层，得到特征图

S2.构建优化后的SSD网络，前置网络以34层ResNet作为前置网络，将残差网络最后一个特征图作为第一个检测特征图，将残差网络最后一个特征图的维度控制在38*38*512大小；改进残差网络，加入两个3*3串联的卷积核以便提取到更全面的特征；在残差网络输出特征图后，将特征图送入到卷积神经网络，用一个均值池化层进行下采样；

S3.神经网络训练，采用的高斯随机初始化的方法对权重初始化，准备数据，将数据及标签预先读取并写入tfrecord中，这一部分独立于网络，同时选好优化器，对权重采用L2正则化，增加检测精度；通过多尺度的特征特征图，实现多尺度检测，设置default box的大小和长宽比，其中小型特征图可以用来检测大的目标，大的特征图可以用来检测小的目标；

S4.匹配default box，分别计算每个default box与Ground Truth的IOU，使用非极大值抑制的方法，去除重叠的prior box,用回归的方法精确调整预测框的位置；

S5.在完成网络训练后，将待识别图像输入至已经训练好的神经网络，进而识别交通标志。

2.一种如权利要求1所述的方法，其特征在于，对于每个特征图而言其default box的大小是按以下公式计算：

Sk＝Smin+(Smax-Smin)/(m-1)*(k-1),k∈[1,m]

其中，Smin是0.2，表示最底层的scale是0.2；Smax是0.9，表示最高层的scale是0.9；aspect ratio，用ar表示为下式：5种aspect ratio

ar＝{1,2,3,1/2,1/3},因此每个default box的宽q的计算公式为：

高的计算公式为：

另外当aspect ratio为1时，scale的default box：

因此，上面的所述的特征图上，每一个点能够提供6个default box。

3.如权利要求2所述的方法，其特征在于，所述匹配default box进一步包括：将priorbox和grount truth box按照IOU进行匹配，匹配成功则这个prior box就是正样本，如果匹配不上，就是负样本。

4.如权利要求3所述的方法，其特征在于，在改进后的SSD网络，使用了34层深度残差网络替换传统SSD网络的前置网络中，进一步包括：将第一层的7*7的卷积核用两个5*5的卷积核串联并去除第一个池化层；使用串联3*3的卷积核替换最后卷积层的卷积核。