CN109522831B - 一种基于微卷积神经网络的车辆实时检测方法 - Google Patents

Abstract

本发明公开了一种基于微卷积神经网络的车辆实时检测方法，所述的检测方法为：(1)对输入图像进行预处理，将其转化为灰度图像，并将该灰度图像的灰度值归一化到[0,1]之间或者[‑1,1]之间，并且重组到统一的大小；(2)将步骤(1)所得到的图像数据，输入到7层微卷积神经网络中，训练该微卷积神经网络，生成不同尺度的预测框进行类别预测和回归目标位置；(3)训练记录每个迭代的训练集上的误差和验证集上测试误差；(4)判断连续5个迭代验证集上损失是否降低，如果降低，返回步骤(2)若果没有降低，终止训练，保存所述的7层微卷积神经网络的参数，并查看特征提取效果。本发明使用7层卷积神经网络结构代替复杂的VGG‑16(用于大规模图像识别的深度卷积神经网络)，可以在普通机器上进行训练和测试自己的数据集，不需要拥有超高性能的GPU(图形处理器)等高性能计算设备，也不需要预训练网络，它可以从零开始进行训练和检测。

Description

一种基于微卷积神经网络的车辆实时检测方法

技术领域

本发明属于多媒体信号处理领域，具体涉及涉及一种基于微卷积网络的车辆实时检测方法。

背景技术

随着城市的发展，车辆的爆炸式增长，道路的复杂多变，我们开始越来越多的关注智能交通，无人驾驶技术的发展推动着目标检测的深入研究，无人驾驶技术落地化应用更需要目标检测的实时性。

目标检测在生活中其他多个领域中也有着广泛的应用，它提取图像中人们感兴趣或者关注的物体并识别出物体的类别和确定目标的位置。这是一种计算机视觉任务，也是计算机视觉领域中的一个有意义的研究方向。随着互联网，大数据时代的发展，越来越多的数据可以被人们清洗拿来使用，大量的图片数据加以利用可以使目标检测得到大的提升。

对于交通中的问题，随着社会的进步和发展，每天都会产生大量的交通图片和车辆图片，将这些图片加以使用，再提高目标检测的实时性，可以大大降低交通事故的发生率，改善交通治安，因此在保证一定精度的基础上，在普通机器上提高目标检测的实时性尤为关键。

深度学习技术在近些年里得到了迅速的发展，越来越多的传统算法在准确率和精度上被深度学习超越，目标检测就是深度学习在计算机视觉领域内的一大分支，也有越来越多的目标检测算法被大家提出和研究，但真正落地化的算法却很少，因为研究所用深度网络结构过于复杂，训练时不易收敛，而且真正进行使用时需要高性能图形处理器(GPU)加以支撑，不能在普通机器上达到实时性的要求。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种即可确保精度和准确性，又可在普通性能的GPU机器上进行训练和测试，并提高车辆在实际场景中的实时性检测的基于微卷积神经网络的车辆实时检测方法。

技术方案：一种基于微卷积神经网络的车辆实时检测方法，所述的检测方法具体步骤如下：

(1)对输入图像转化为灰度图像，并将灰度图像中的每一个像素点的灰度值归一化到[0,1]之间或者[-1,1]之间，并重组到相同大小；

(2)将步骤(1)所得到的图像数据，输入到7层微卷积神经网络中，训练该微卷积神经网络，生成不同尺度的预测框进行类别预测和回归目标位置；

(3)训练记录每个迭代的训练集上的误差和验证集上测试误差；

(4)判断连续5个迭代验证集上损失是否降低，如果降低，返回步骤(2)若没有降低，终止训练，保存所述的7层微卷积神经网络的参数，并查看特征提取效果。

进一步，在步骤(1)中，通过线性插值算法，双线性二次插值算法以及最近邻插值算法对所述的灰度图像统一到相同大小；

进一步，所述的7层微卷积神经网络包括主网络和辅助预测回归，其中，主网络包括7层特征提取卷积层；辅助预测回归包括4层分类层和4层定位层；辅助预测回归设置在7层微卷积神经网络的后四层特征提取卷积层上，每一特征提取卷积层对应一分类层和一定位层；

进一步，在步骤(2)中，所述的7层微卷积神经网络的训练直接从零开始训练；

进一步，在步骤(2)中，对所述的7层微卷积神经网络的参数进行初始。有益效果：本发明通过先使用7层微卷积神经网络结构代替复杂的VGG-16，ResNet101等深度网络对目标进行特征抽取，再通过在微网络结构的最后四层卷积层对目标进行多尺度预测和定位，最后得到目标的种类和位置，此微网络结构的特点可以在普通性能的GPU机器上进行训练和测试自己的数据集，并不需要预训练网络数据和不需要拥有超高性能的GPU等高性能计算设备，可以从零开始进行训练和检测。

附图说明

图1为本发明基于微网卷积神经网络的车辆实时检测方法的流程图；

图2为本发明微卷积神经网络的网络结构图；

图3为训练时第一轮5个epoch的train_loss和val_loss的变化曲线；

图4为训练时第二轮5个epoch的train_loss和val_loss的变化曲线；

图5为训练时第三轮5个epoch的train_loss和val_loss的变化曲线；

图6为第五层特征提取卷积层(conv5)的效果图；

图7为第六层特征提取卷积层(conv5)的效果图；

图8为第七层特征提取卷积层(conv5)的效果图。

具体实施方式

下面结合具体实施例对本发明作进一步的说明。

图1为本发明一种基于微网卷积神经网络的车辆实时检测方法的流程图，如图1所示，所述的检测方法具体步骤如下：

步骤1：对输入图像进行预处理，先将输入图像转化灰度图像，并对灰度图像中的灰度值进行归一化，可以选择将图像的灰度值归一化到[0,1]之间，也可以选择归一化到[-1,1]之间。

将输入图像的灰度值归一化到[0,1]之间的处理方法为，将灰度图像的灰度值除以255，即假设灰度图像为U，则归一化后为：

U_n＝U/255

将输入图像的灰度值归一化到[-1,1]之间的处理方法为，将灰度图像中的灰度值减127.5再除以255，即假设灰度图像为U，则归一化后为，

U_n＝(U-127.5)/127.5

为了方便微卷积神经网络的计算和训练，在此发明中统一将输入图像的灰度值归一化到[-1,1]之间。

步骤2：将步骤1处理后所得的图像重组(reshape)至相同大小。现有的插值算法有线性插值，双线性二次插值，最近邻插值等。下面简要对图像处理中的最近邻插值和双线性插值这两种插值算法进行介绍：

最近邻插值：这是一种简单的插值算法，不需要计算，只需在待求像素的四邻像素中，将距离待求像素最近的邻像素的像素值赋给待求像素。此方法计算量较小，但可能会造成插值生成的图像灰度上的不连续，在灰度变化的地方可能出现明显的锯齿状。

双线性插值：假设Q₁₁,Q₁₂,Q₂₁,Q₂₂,为图像U中的四个点，这四个点围成一个矩形，待求点P是矩形中的一个点，则P点像素值为：

其中Q_ij的坐标为(x_i,y_j)，P的坐标为(x,y)，f是一种映射，R₁,R₂分别为双线性插值的中间值。

步骤3：将经过步骤1和步骤2预处理之后的图像数据，输入到7层微卷积神经网络中，进行训练，生成不同尺度的预测框来进行预测和回归目标位置。该网络包括主网络和辅助预测回归，其中，主网络包括7层特征提取卷积层分别为特征提取卷积层conv1,特征提取卷积层conv2，特征提取卷积层conv3,特征提取卷积层conv4，特征提取卷积层conv5,特征提取卷积层conv6，特征提取卷积层conv7。辅助预测回归包括有4层分类层和4层定位层，分别为分类层classes4，分类层classes5，分类层classes7以及分类层classes7；定位层boxes4，定位层boxes5，定位层boxes6，定位层boxes7，辅助预测回归设置在7层微卷积神经网络的后四层特征提取卷积层上，每一特征提取卷积层对应一分类层和一定位层,如图2所示。

在训练如图2所示的微卷积神经网络之前，先要对网络中的参数进行初始化。神经网络模型依靠随机梯度下降进行模型的训练和参数的更新。网络的最终性能与最终收敛得到的最优解直接相关，而最终收敛的结果很大程度上取决于网络参数的初始化。赋予网络参数合理的初始值可以加快模型收敛速度，得到最优的网络性能。

在训练网络时，所设定的训练参数如表1所示。

表1仿真参数意义及取值

例如：

假设输入图片高为h，宽为w，那么大小为s∈(0,1]和比例r>0的锚框形状为

位置回归的神经网络训练算法为：对于窗口一般使用四维向量(x,y,w,h)来表示，设P为原始的建议框，G表示代表目标的真实框，目标是寻找一种关系使得输入原始的窗口P经过映射得到一个跟真实窗口G更接近的回归窗口T，边框回归目的是，给定(P_x,P_y,P_w,P_h)找到一个映射f，使

f(P_x,P_y,P_w,P_h)＝(T_x,T_y,T_w,T_h)

(T_x,T_y,T_w,T_h)≈(G_x,G_y,G_w,G_h)

(1)先做平移(△x,△y)，△x＝P_wd_x(P)，△y＝P_hd_y(P)：

T_x＝P_wd_x(P)+P_x

T_y＝P_hd_y(P)+P_y

(2)再做尺度缩放(S_w,S_h)，

边框学习学习的就是(d_x(P),d_y(P),d_w(P),d_h(P))这四个变换。

步骤4：从零开始训练，不需要预训练网络，对于每一个迭代(epoch)，计算训练集上的误差(train_loss)，并在验证集上测试误差(val_loss)，存储训练集误差和验证集误差。每5个epoch画出train_loss和val_loss的变化曲线，如下图3至图5所示。

步骤5：进行判断：如果5个迭代(epoch)的最好验证集误差不相同，则继续训练下一轮5个迭代(epoch)，如果5个迭代(epoch)验证集误差不会再提升精度，则停止训练。

步骤6：停止训练，保存模型，查看特征提取图。

用真实图像对所述的7层微卷积神经网络进行检测，经过测试，只用CPU(中央处理器)的情况下，每秒可以检测100幅图片，极大的满足了交通检测中的实时性要求。

本发明通使用7层微卷积神经网络结构代替复杂的VGG-16，ResNet101等深度网络对目标进行特征抽取，再通过在微网络结构的最后四层卷积层对目标进行多尺度预测和定位，最后得到目标的种类和位置。在给定特定输入图像的情况下，通过独立地绘制每个通道的内容将各卷积层输出的特征图可视化。图6，图7，图8分别是本发明中所使用的7层微卷积神经网络结构(如图2所示)第五层特征提取卷积层至第七层特征提取卷积层的效果图。从图中，可以更加清晰地看出每一层卷积层对输入图像的特征进行提取的结果。

Claims (4)

1.一种基于微卷积神经网络的车辆实时检测方法，其特征在于：所述的检测方法具体步骤如下：

(1)对输入图像转化为灰度图像，并将灰度图像中的每一个像素点的灰度值归一化到[0,1]之间或者[-1,1]之间，并重组到相同大小；

(2)将步骤(1)所得到的图像数据，输入到7层微卷积神经网络中，训练该微卷积神经网络，生成不同尺度的预测框进行类别预测和回归目标位置；

(3)训练记录每个迭代的训练集上的误差和验证集上测试误差；

(4)判断连续5个迭代验证集上损失是否降低，如果降低，返回步骤(2)若没有降低，终止训练，保存所述的7层微卷积神经网络的参数，并查看特征提取效果；

所述的7层微卷积神经网络包括主网络和辅助预测回归，其中，主网络包括7层特征提取卷积层分别为特征提取卷积层conv1,特征提取卷积层conv2，特征提取卷积层conv3,特征提取卷积层conv4，特征提取卷积层conv5,特征提取卷积层conv6，特征提取卷积层conv7；

辅助预测回归包括有4层分类层和4层定位层，分别为分类层classes4，分类层classes5，分类层classes7以及分类层classes7；定位层boxes4，定位层boxes5，定位层boxes6，定位层boxes7，辅助预测回归设置在7层微卷积神经网络的后四层特征提取卷积层上，每一特征提取卷积层对应一分类层和一定位层；

回归目标位置的算法包括：对于窗口使用四维向量(x,y,w,h)来表示，设P为原始的建议框，G表示代表目标的真实框，目标是寻找一种关系使得输入原始的窗口P经过映射得到一个跟真实窗口G更接近的回归窗口T，边框回归目的是，给定(P_x,P_y,P_w,P_h)找到一个映射f，使

f(P_x,P_y,P_w,P_h)＝(T_x,T_y,T_w,T_h)

(T_x,T_y,T_w,T_h)≈(G_x,G_y,G_w,G_h)

(1)先做平移(△x,△y)，△x＝P_wd_x(P)，△y＝P_hd_y(P)：

T_x＝P_wd_x(P)+P_x

T_y＝P_hd_y(P)+P_y

(2)再做尺度缩放(S_w,S_h)，

边框学习的就是(d_x(P),d_y(P),d_w(P),d_h(P))这四个变换。

2.根据权利要求1所述的一种基于微卷积神经网络的车辆实时检测方法，其特征在于：在步骤(1)中，通过线性插值算法，双线性二次插值算法以及最近邻插值算法对所述的灰度图像统一到相同大小。

3.根据权利要求1所述的一种基于微卷积神经网络的车辆实时检测方法，其特征在于：在步骤(2)中，所述的7层微卷积神经网络的训练直接从零开始训练。

4.根据权利要求1所述的一种基于微卷积神经网络的车辆实时检测方法，其特征在于：在步骤(2)中，对所述的7层微卷积神经网络的参数进行初始化。

Images