CN109886079A - 一种车辆检测与跟踪方法 - Google Patents

Abstract

本发明涉及一种车辆检测与跟踪方法。现有系统过于昂贵，无法达到实际应用。本发明方法采用SSD算法和MobileNets组建的检测模块与粒子滤波和CamShift算法组建的跟踪模块，进行车辆检测跟踪，其中开发环境采用嵌入式移动端。本发明采用神经网络中的SSD和MobileNets，与传统的目标跟踪CamShift算法和粒子滤波两个部分组建，包括车辆检测方法和车辆跟踪方法。本发明在无人驾驶方面起到关键作用，不仅解决无人车辆驾驶中最重要的车辆检测与跟踪方向的难关，又能解决硬件价格昂贵的问题。从提高社会经济效益来说，具有极大的现实意义和广阔的应用场景。

Description

一种车辆检测与跟踪方法

技术领域

本发明属于人工智能领域，具体是无人驾驶领域技术领域，涉及的是一种车辆检测与跟踪方法，尤其涉及一种通过MobileNets(移动视觉网络)框架改进的SSD(单次检测器) 神经网络与结合CamShift(连续自适应期望移动)算法、粒子滤波两种目标跟踪器结合的嵌入式开发的方法，该技术实现了通过嵌入式移动端实时的对车辆进行识别跟踪。

背景技术

近年来，互联网技术的迅速发展给汽车工业带来了革命性变化的机会。与此同时，汽车智能化技术正逐步得到广泛应用，这项技术使汽车的操作更简单，行驶安全性也更好，而其中最典型也是最热门的未来应用就是无人驾驶汽车。但是无人驾驶是一个非常严肃的研究，研究成果的成功不仅关系着研究者的利益，更是与人们驾车出行的息息相关，成熟的技术会让我们的出行更加安全、放心。

对于无人驾驶安全性的研究，其中重中之重的是对车辆进行识别和跟踪，只有识别准确率高和反应速度快，才能在应用中起到作用，但是如果应用在无人驾驶上，硬件要求也是很严格的，不仅要满足算法使用，还要符合当今的价值，在大多数人能够购买，能够普及的标准。对于现已经有的Google开发的无人车系统已经是世界领先，但价格过于昂贵，但国内却还在研发阶段，无法达到实际应用。

所以只有在目标检测与跟踪算法方面足够优化，并且使用价格相对便宜且和算法契合的嵌入式，才能实际解决问题，推动无人驾驶中的车辆检测与跟踪方向。

发明内容

本发明的目的就是提供一种车辆检测与跟踪方法，该方法采用SSD算法和MobileNets 组建的检测模块与粒子滤波和CamShift算法组建的跟踪模块，进行车辆检测跟踪，其中开发环境采用嵌入式移动端。

本发明的技术方案为：

采用神经网络中的SSD和MobileNets，与传统的目标跟踪CamShift算法和粒子滤波两个部分组建，包括车辆检测方法和车辆跟踪方法。

车辆检测方法：

首先建立SSD网络；SSD网络分为两部分，一部分是位于前端的深度卷积神经网络，采用的是去除分类层的图像分类网络，如VGG用于目标初步特征提取；另一部分是位于后端的多尺度特征检测网络，是一组级联的卷积神经网络，将前端网络产生的特征层进行不同尺度条件下的特征提取SSD框架。

SSD采用多尺度的方法得到多个不同尺寸的特征图，假设模型检测时采用m个特征图，则第k个特征图的默认框比例：

其中：S_k是第k个特征图默认框占输入图像的比例，S_k＝0.18～0.20；S_max是最大的特征层默认框占输入图像的比例，S_max＝0.9～1.0；S_min是最小的特征层默认框占输入图像的比例，S_min＝0.18～0.20；

SSD采用锚定(anchors)机制，对于同一特征层上的默认框采取不同的宽高比，以增强默认框对物体形状的鲁棒性；默认框的宽高比同时针对宽高比等于1这一类，添加S_k′是对S_k求解梯度，则：

其中，|f_k|是第k个特征图的尺寸大小；a、b为调整参数，a,b∈(0,1,2,···,|f_k|-1)； (c_x,c_y)为特征图上默认框中心的坐标；w_b，h_b为默认的框的宽和高；w_feature，h_feature为特征图的宽和高；w_img，h_img为原始图像的宽和高；得到的(x_min,y_min,x_max,y_max)为第k个特征图上中心为宽和高大小为w_k和h_k的默认框映射到原始图像的物体框坐标。

SSD的训练同时对位置和目标种类进行回归，其目标损失函数是置信损失和位置损失之和，如下：

其中，L(z,c,l,g)是目标损失函数，L_conf(z,c)是置信损失函数，L_loc(z,l,g)是位置损失函数，N是与标注数据(ground truth)物体框匹配的默认框个数；z为默认框与不同类别的标注数据物体框的匹配结果，c为预测物体框的置信度，l为预测物体框的位置信息，g为标注数据物体框的位置信息；α为权衡置信损失和位置损失的参数，设置为1。

该目标损失函数同时包含置信损失函数和位置损失函数，在训练过程中，通过减小损失函数值可以确保在提升预测框类别置信度的同时也提高预测框的位置可信度，而用于数据集训练，通过多次结果优化，不断提高模型的目标检测性能，从而训练出性能较好的预测模型。

所述的SSD网络采用MobileNets改进SSD神经网络，将之前的VGG-16替换成MobileNets(移动视觉网络)结构，深度卷积针对每个单个输入通道应用单个滤波器进行滤波，然后逐点卷积应用1x1的卷积操作来结合所有深度卷积得到的输出。

为了应对嵌入式系统移动端开发，其中通过MobileNets改进SSD神经网络，将之前的VGG-16替换成MobileNets结构，MobileNets是一种基于深度可分离卷积的模型，深度可分离卷积是一种将标准卷积分解成深度卷积，以及一个1x1的卷积即逐点卷积。对于MobileNet而言，深度卷积针对每个单个输入通道应用单个滤波器进行滤波，然后逐点卷积应用1x1的卷积操作来结合所有深度卷积得到的输出。而标准卷积一步即对所有的输入进行结合得到新的一系列输出。深度可分离卷积将其分成了两步，针对每个单独层进行滤波然后下一步即结合。这种分解能够有效的大量减少计算量以及模型的大小。

车辆跟踪方法：

步骤1.采用连续自适应期望移动算法(CamShift)对单次移动视觉网络检测器(SSD-MobileNets)第一帧识别出的车辆进行跟踪，具体流程如下：

(1)计算目标区域内的颜色直方图：

将输入图像转换到HSV颜色空间，目标区域为初始设定的搜索窗口范围，分离出色调 H分量做该区域的色调直方图计算。因为RGB颜色空间对光线条件的改变较为敏感，要减小该因素对跟踪效果的影响，CamShift算法通常采用HSV色彩空间进行处理，当然也可以用其它颜色空间计算。这样即得到目标模板的颜色直方图；

(2)根据获得的颜色直方图，将原始输入图像转化成颜色概率分布图像：

该过程称为“反向投影"。所谓直方图反向投影，就是输入图像在已知目标颜色直方图的条件下的颜色概率密度分布图，包含了目标在当前帧中的相干信息。对于输入图像中的每一个像素，查询目标模型颜色直方图，对于目标区域内的像素，得到该像素属于目标像素的概率，而对于非目标区域内的像素,该概率为0。

(3)MeanShift迭代：

即右边大矩形框内的部分，它是CamShift算法的核心，目的在于找到目标中心在当前帧中的位置：

首先，在颜色概率分布图中选择搜索窗口的大小和初始位置，然后计算搜索窗口的质心位置；设像素点(i,j)位于搜索窗口内，I(i,j)是颜色直方图的反向投影图中该像素点对应的值，定义搜索窗口的零阶矩M₀₀和一阶矩M₁₀、M₀₁如下：

搜索窗口的质心位置为：(M₁₀/M₀₀,M₀₁/M₀₀,)，如上方式求得搜索框；其中，I为像素点i所能到达的最大位置，J为像素点j所能到达的最大位置。

然后，调整搜索窗口中心到质心。零阶矩反映了搜索窗口尺寸，依据它调整窗口大小，并将搜索窗口的中心移到质心，如果移动距离大于设定的阈值，则重新计算调整后的窗口质心，进行新一轮的窗口位置和尺寸调整，直到窗口中心与质心之间的移动距离小于设定的阈值，或者迭代次数达到设定的最大值，认为收敛条件满足，将搜索窗口位置和大小作为下一帧的目标位置输入，开始对下一帧图像进行新的目标搜索。其中CamShift算法对与车颜色相近和遮挡的车辆跟踪效果不是很好，这里才用粒子滤波进行校验。

步骤2.在目标的周围撒点(particle),撒点采用按高斯分布撒点，就是近的地方撒得多，远的地方撒的少；每一个粒子都计算所在区域内的颜色直方图，得到相似度，然后对所有相似度进行归一化；

根据归一化后相似度相似度重新撒点，即通过每一个粒子计算所在区域内的颜色直方图得到的数据，相似度高的粒子周围多撒，相似度低的地方少撒；

计算重新撒点后的粒子当前时刻的位置：

是上一时刻粒子的位置，是当前时刻粒子的位置，是多元高斯分布变量，n 表示粒子序号，A是常数值，A＝0.9。

根据当前时刻粒子的位置计算概率颜色直方图、各个粒子和目标的巴氏距离，更新每个粒子的权重。

通过上述，每个粒子都获得一个相对目标的相似度，该相似度体现了该区域是目标的置信度，把所有粒子相似度加权后的结果作为目标可能的位置。

该方法总流程通过SSD-MobileNets进行车辆识别，再通过CamShift进行接下来的目标跟踪，通过粒子滤波进行实时校正。

硬件芯片选取是价格在市面上比其他能在车辆检测与跟踪方向使用的芯片更加便宜，且性能能满足开发要求，达到此要求搭建成能够使用的嵌入式系统。

本发明在无人驾驶方面起到关键作用，不仅解决无人车辆驾驶中最重要的车辆检测与跟踪方向的难关，又能解决硬件价格昂贵的问题。从提高社会经济效益来说，这一发明具有极大的现实意义和广阔的应用场景。

附图说明

图1本发明的工作流程图；

图2是本发明的运动车辆检测模块；

图3是本发明Standard Convolution Filters；

图4是本发明Depthwise Convolution Filters；

图5是本发明1x1 Convolutional Filters；

图6是本发明的CamShift跟踪算法流程图。

具体实施方式

以下结合附图对本发明做进一步说明。

一种车辆检测与跟踪方法，采用改进后的SSD-MobileNets目标检测算法与粒子滤波和CamShift算法相结合的目标跟踪算法对车辆进行检测与跟踪，为无人驾驶提供安全保障。如图1所示，首先通过车辆前方的摄像头进行视频采集，实时通过SSD-MobileNets 目标检测模块对车辆进行检测，若某一帧视频检测出车辆，将视频下一帧通过CamShift 目标跟踪算法对当前出现车辆进行跟踪，跟踪后的这一帧视频通过粒子滤波进行校验，防止出现车辆因颜色与环境和其他车辆颜色相近而不再跟踪或多辆车被误认为一辆车，最后通过判断目标是否消失，若没消失，下一帧视频重复CamShift目标跟踪算法，若目标从视频中消失终止此车跟踪，只要SSD-MobileNets目标检测检测模块检测到视频出现新的车辆重复上述步骤。

该方法包括车辆检测方法和车辆跟踪方法。

车辆检测方法：

首先建立SSD网络：SSD网络分为两部分，一部分是位于前端的深度卷积神经网络，采用的是去除分类层的图像分类网络；另一部分是位于后端的多尺度特征检测网络，是一组级联的卷积神经网络，将前端网络产生的特征层进行不同尺度条件下的特征提取SSD框架；

SSD采用多尺度的方法得到多个不同尺寸的特征图，设模型检测时采用m个特征图，则第k个特征图的默认框比例：

其中：S_k是第k个特征图默认框占输入图像的比例，S_k＝0.18～0.20；S_max是最大的特征层默认框占输入图像的比例，S_max＝0.9～1.0；S_min是最小的特征层默认框占输入图像的比例，S_min＝0.18～0.20；

SSD采用锚定机制，对于同一特征层上的默认框采取不同的宽高比，以增强默认框对物体形状的鲁棒性；默认框的宽高比同时针对宽高比等于1这一类，添加S_k′是对S_k求解梯度，则：

其中，|f_k|是第k个特征图的尺寸大小；a、b为调整参数，a,b∈(0,1,2,···,|f_k|-1)； (c_x,c_y)为特征图上默认框中心的坐标；w_b，h_b为默认的框的宽和高；w_feature，h_feature为特征图的宽和高；w_img，h_img为原始图像的宽和高；得到的(x_min,y_min,x_max,y_max)为第k个特征图上中心为宽和高大小为w_k和h_k的默认框映射到原始图像的物体框坐标。

SSD的训练同时对位置和目标种类进行回归，其目标损失函数是置信损失和位置损失之和：

其中，L(z,c,l,g)是目标损失函数，L_conf(z,c)是置信损失函数，L_loc(z,l,g)是位置损失函数，N是与标注数据物体框匹配的默认框个数；z为默认框与不同类别的标注数据物体框的匹配结果，c为预测物体框的置信度，l为预测物体框的位置信息，g为标注数据物体框的位置信息；α为权衡置信损失和位置损失的参数，设置为1。

SSD网络采用移动视觉网络改进SSD神经网络，将VGG-16替换成移动视觉网络结构，深度卷积针对每个单个输入通道应用单个滤波器进行滤波，然后逐点卷积应用1x1的卷积操作来结合所有深度卷积得到的输出。

车辆跟踪方法：

步骤1.采用连续自适应期望移动算法对单次移动视觉网络检测器第一帧识别出的车辆进行跟踪，具体流程如下：

(1)计算目标区域内的颜色直方图：

将输入图像转换到HSV颜色空间，目标区域为初始设定的搜索窗口范围，分离出色调 H分量做该区域的色调直方图计算，得到目标模板的颜色直方图；

(2)根据获得的颜色直方图，将原始输入图像转化成颜色概率分布图像，即反向投影，输入图像在已知目标颜色直方图的条件下的颜色概率密度分布图，对于输入图像中的每一个像素，查询目标模型颜色直方图，对于目标区域内的像素，得到该像素属于目标像素的概率，而对于非目标区域内的像素,该概率为0；

(3)MeanShift迭代：

首先，在颜色概率分布图中选择搜索窗口的大小和初始位置，然后计算搜索窗口的质心位置；设像素点(i,j)位于搜索窗口内，I(i,j)是颜色直方图的反向投影图中该像素点对应的值，定义搜索窗口的零阶矩M₀₀和一阶矩M₁₀、M₀₁如下：

搜索窗口的质心位置为：(M₁₀/M₀₀,M₀₁/M₀₀,)，如上方式求得搜索框；其中，I为像素点i所能到达的最大位置，J为像素点j所能到达的最大位置；

然后，调整搜索窗口中心到质心，将搜索窗口的中心移到质心，如果移动距离大于设定的阈值，则重新计算调整后的窗口质心，进行新一轮的窗口位置和尺寸调整，直到窗口中心与质心之间的移动距离小于设定的阈值，或者迭代次数达到设定的最大值，认为收敛条件满足，将搜索窗口位置和大小作为下一帧的目标位置输入，开始对下一帧图像进行新的目标搜索。

步骤2.在目标的周围撒点,撒点采用按高斯分布撒点；每一个粒子都计算所在区域内的颜色直方图，得到相似度，然后对所有相似度进行归一化；

根据归一化后相似度相似度重新撒点，即通过每一个粒子计算所在区域内的颜色直方图得到的数据，相似度高的粒子周围多撒，相似度低的地方少撒；

计算重新撒点后的粒子当前时刻的位置：

其中，是上一时刻粒子的位置，是当前时刻粒子的位置，是多元高斯分布变量，n表示粒子序号，A是常数值，A＝0.9；

根据当前时刻粒子的位置计算概率颜色直方图、各个粒子和目标的巴氏距离，更新每个粒子的权重；

每个粒子都获得一个相对目标的相似度，该相似度体现了该区域是目标的置信度，把所有粒子相似度加权后的结果作为目标可能的位置。

图2是图1中车辆检测模块通过对样本选择对图片预处理，通过SSD-MobileNets模型训练得到参数，最终得到所需的神经网络模型，通过对运动区域进行检测出车辆位置。

图3、图4、图5是SSD-MobileNets中MobileNets算法核心思想，通过对图3的深度卷积进行分解，分解成两个卷积图4、图5，这样减少运算量，提高运算速度，提高性能。

如图6是对CamShift算法进行的详细解释主要是通过车辆检测出的第一帧进行下一帧的跟踪，因为车辆两帧视频中位置相差不大，不必再进行检测步骤，减少运算量，加快跟踪速度，特别是在嵌入式开发环境中硬件资源不足，通过减少运算量可以加快硬件处理速度，以达到实现目标，实时进行车辆检测与跟踪。

Claims (1)

1.一种车辆检测与跟踪方法，包括车辆检测方法和车辆跟踪方法，其特征在于：

所述的车辆检测方法：

首先建立SSD网络：SSD网络分为两部分，一部分是位于前端的深度卷积神经网络，采用的是去除分类层的图像分类网络；另一部分是位于后端的多尺度特征检测网络，是一组级联的卷积神经网络，将前端网络产生的特征层进行不同尺度条件下的特征提取SSD框架；

SSD采用多尺度的方法得到多个不同尺寸的特征图，设模型检测时采用m个特征图，则第k个特征图的默认框比例：

其中：S_k是第k个特征图默认框占输入图像的比例，S_k＝0.18～0.20；S_max是最大的特征层默认框占输入图像的比例，S_max＝0.9～1.0；S_min是最小的特征层默认框占输入图像的比例，S_min＝0.18～0.20；

SSD采用锚定机制，对于同一特征层上的默认框采取不同的宽高比，以增强默认框对物体形状的鲁棒性；默认框的宽高比同时针对宽高比等于1这一类，添加S_k′是对S_k求解梯度，则：

其中，|f_k|是第k个特征图的尺寸大小；a、b为调整参数，a,b∈(0,1,2,···,|f_k|-1)；(c_x,c_y)为特征图上默认框中心的坐标；w_b，h_b为默认的框的宽和高；w_feature，h_feature为特征图的宽和高；w_img，h_img为原始图像的宽和高；得到的(x_min,y_min,x_max,y_max)为第k个特征图上中心为宽和高大小为w_k和h_k的默认框映射到原始图像的物体框坐标；

SSD的训练同时对位置和目标种类进行回归，其目标损失函数是置信损失和位置损失之和：

其中，L(z,c,l,g)是目标损失函数，L_conf(z,c)是置信损失函数，L_loc(z,l,g)是位置损失函数，N是与标注数据物体框匹配的默认框个数；z为默认框与不同类别的标注数据物体框的匹配结果，c为预测物体框的置信度，l为预测物体框的位置信息，g为标注数据物体框的位置信息；α为权衡置信损失和位置损失的参数，设置为1；

所述的SSD网络采用移动视觉网络改进SSD神经网络，将VGG-16替换成移动视觉网络结构，深度卷积针对每个单个输入通道应用单个滤波器进行滤波，然后逐点卷积应用1x1的卷积操作来结合所有深度卷积得到的输出；

所述的车辆跟踪方法：

步骤1.采用连续自适应期望移动算法对单次移动视觉网络检测器第一帧识别出的车辆进行跟踪，具体流程如下：

(1)计算目标区域内的颜色直方图：

将输入图像转换到HSV颜色空间，目标区域为初始设定的搜索窗口范围，分离出色调H分量做该区域的色调直方图计算，得到目标模板的颜色直方图；

(2)根据获得的颜色直方图，将原始输入图像转化成颜色概率分布图像，即反向投影，输入图像在已知目标颜色直方图的条件下的颜色概率密度分布图，对于输入图像中的每一个像素，查询目标模型颜色直方图，对于目标区域内的像素，得到该像素属于目标像素的概率，而对于非目标区域内的像素,该概率为0；

(3)MeanShift迭代：

首先，在颜色概率分布图中选择搜索窗口的大小和初始位置，然后计算搜索窗口的质心位置；设像素点(i,j)位于搜索窗口内，I(i,j)是颜色直方图的反向投影图中该像素点对应的值，定义搜索窗口的零阶矩M₀₀和一阶矩M₁₀、M₀₁如下：

搜索窗口的质心位置为：(M₁₀/M₀₀,M₀₁/M₀₀,)，如上方式求得搜索框；其中，I为像素点i所能到达的最大位置，J为像素点j所能到达的最大位置；

然后，调整搜索窗口中心到质心，将搜索窗口的中心移到质心，如果移动距离大于设定的阈值，则重新计算调整后的窗口质心，进行新一轮的窗口位置和尺寸调整，直到窗口中心与质心之间的移动距离小于设定的阈值，或者迭代次数达到设定的最大值，认为收敛条件满足，将搜索窗口位置和大小作为下一帧的目标位置输入，开始对下一帧图像进行新的目标搜索；

步骤2.在目标的周围撒点,撒点采用按高斯分布撒点；每一个粒子都计算所在区域内的颜色直方图，得到相似度，然后对所有相似度进行归一化；

根据归一化后相似度相似度重新撒点，即通过每一个粒子计算所在区域内的颜色直方图得到的数据，相似度高的粒子周围多撒，相似度低的地方少撒；

计算重新撒点后的粒子当前时刻的位置：

其中，是上一时刻粒子的位置，是当前时刻粒子的位置，是多元高斯分布变量，n表示粒子序号，A是常数值，A＝0.9；

根据当前时刻粒子的位置计算概率颜色直方图、各个粒子和目标的巴氏距离，更新每个粒子的权重；

每个粒子都获得一个相对目标的相似度，该相似度体现了该区域是目标的置信度，把所有粒子相似度加权后的结果作为目标可能的位置。