CN111476826A - 一种基于ssd目标检测的多目标车辆跟踪方法 - Google Patents

Abstract

本发明公开了一种基于SSD目标检测的多目标车辆跟踪方法，将SSD网络结构特征提取部分替换为轻量化网络，有效减少了模型参数运算内存占有量，提高了运算速度；针对车辆检测选取四种不同分辨率的特征响应图，通过在不同分辨率的特征响应图上进行目标位置的回归和分类得出目标的类别信息和候选框的位置信息，提高了目标检测框的精度；在目标跟踪时，采用匈牙利算法解决预测结果和跟踪结果之间的数据关联问题，将运动相似度和表观相似度结合作为总的关联代价，有效地减少了ID Switch现象，提高了数据关联的准确性；本发明能够在小显存容量GPU设备和嵌入式ARM设备上运行。

Description

一种基于SSD目标检测的多目标车辆跟踪方法

技术领域

本发明属于目标跟踪技术领域，具体涉及一种基于SSD目标检测的多目标车辆跟踪方法。

背景技术

目标检测与跟踪是计算机视觉领域研究的热点问题，目标检测侧重于从场景中找出目标，将目标和其他无关信息进行区分，判断目标是否存在，找出目标的位置并确定目标大小。目标跟踪在给定目标的初始状态后，需要对目标后续的位置和大小做出准确预测，得到物体的运动状态。近年来，随着深度学习的不断发展，卷积神经网络被广泛地应用到目标检测与跟踪，在目标检测与跟踪领域取得了极大的成功。

目标检测主要有三个步骤，首先从场景中生成候选区域，然后判断候选区域的分类，最后确定候选框的位置和大小。主流检测算法分为两个类型：(1)two-stage方法，先通过CNN网络产生稀疏的候选框，再对候选框进行分类回归，准确度高；(2)one-stage方法，均匀地在图片的各个位置进行密集抽样，用CNN进行特征提取后，直接在输出特征层上回归边框的位置及所属类别，整个过程只需要一步，优势是速度快。SSD是one-stage类算法的代表，SSD对浅层和深层特征目标进行预测，相比与R-CNN系列算法少了RPN层的前景和背景的辨别，具有很大的速度优势，相比与YOLO去掉全连接层并采用多尺度训练，具有更高的mAP优势。

按照目标的初始化方式，多目标跟踪算法可分为基于检测的跟踪(Detection-Based Tracking，DBT)和无检测跟踪(Detection-Free Tracking，DFT)，如图1所示，DBT在对新一帧中的目标进行跟踪时，先用一个目标检测器将当前帧中的目标检测出来，然后利用数据关联算法将检测出的目标和之前帧中的目标关联起来，得到跟踪结果。DFT在跟踪前由人工标记出每个目标首次出现的位置，接下来再对每个目标分别进行跟踪，这种跟踪方法可以看成是对多个单目标进行跟踪，随着目标检测算法的不断发展，DBT成为多目标跟踪流域的主流研究方向。多目标跟踪需要在一段视频序列中同时跟踪多个，跟踪同时关注视频中多个目标的身份，以及所在的位置，并保持目标的身份不变。多目标跟踪包括检测和多个目标之间的数据关联，相似度估计(similarity estimation)作为数据关联(dataassociation)的标准，在多目标跟踪中非常重要。

在多目标跟踪中目标的位置由检测器给出，对目标检测器的性能要求极高，不能出现误检、漏检等情况，检测精度要高，同时检测速度要快，要及时给出目标位置信息，用于后续的跟踪。

目前的SSD算法以VGG-16为基础网络，该网络包含13个大小的卷积层，网络参数的模型文件也达93M，计算量高达15300MFLOP，模型所需内存也多达500M，如此庞大的模型虽然可以在GPU服务器上达到实时的效果，但是很难在ARM等嵌入式终端设备上运行，导致算法也很难在嵌入式终端设备上实现。

发明内容

针对现有技术中的上述不足，本发明提供的基于SSD目标检测的多目标车辆跟踪方法解决了现有的车辆跟踪受设备内存容量限制的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于SSD目标检测的多目标车辆跟踪方法，包括以下步骤：

S1、获取包含若干车辆的连续视频帧；

S2、通过SSD目标检测网络对视频帧进行车辆检测，获得所有检测到的目标车辆检测框；

S3、通过卡尔曼滤波器对目标车辆检测框中的目标车辆进行状态预测，获得对应的目标车辆跟踪框；

S4、计算所有目标车辆检测框和目标车辆跟踪框之间的运动相似度及表观相似度，并对其进行线性叠加作为关联代价，进而构建目标车辆检测框和目标车辆跟踪框之间的关联成本代价矩阵；

S5、根据匈牙利算法对关联成本代价矩阵中的关联代价进行关联匹配，进而确定跟踪结果，实现多目标车辆检测。

进一步地，所述步骤S2中的SSD目标检测网络为Net10基础分类网络；

所述SSD目标检测网络包括依次连接的第一3×3卷积层、第二3×3卷积层、第一最大池化层、第三3×3卷积层、第四3×3卷积层、第二最大池化层、第五3×3卷积层、第六3×3卷积层、第三最大池化层、第七3×3卷积层、第八3×3卷积层、第四最大池化层、第九3×3卷积层、第十3×3卷积层、平均池化层、全连接层和softmax层。

进一步地，所述步骤S2中获得目标车辆检测框的方法具体为：

A1、通过SSD目标检测网络进行车辆检测，获得目标车辆四种不同分辨率的特征响应图；

A2、对四种不同分辨率的特征响应图提取不同尺度的候选框；

A3、在四种不同分辨率的特征响应图上进行目标车辆的位置回归与分类，得到目标车辆的类别信息和检测框的位置信息。

进一步地，所述步骤S3中获得当前时刻对应的目标车辆跟踪框的方法具体为：

B1、通过SSD目标检测网络获取第一帧视频帧对应的目标车辆检测框；

B2、为获取的每个目标车辆检测框分配一个卡尔曼滤波器；

B3、根据目标车辆检测框中的目标车辆状态信息，通过对应的卡尔曼滤波器依次对后一时刻帧的目标车辆状态进行先验估计，进而获得当前时刻帧下目标车辆跟踪框。

进一步地，所述步骤B3中，在获得当前时刻帧下的目标车辆检测框的过程中：

在连续T_lost帧视频帧中，当新分配的卡尔曼滤波器均有新的目标车辆与之关联时，则保留其对应的目标车辆跟踪框，否则删除该新的目标车辆对应的目标车辆跟踪框；在连续T_min帧视频帧中，当确定的目标车辆跟踪框不存在与之对应的目标车辆检测框时，则结束对该目标车辆检测框中的目标车辆的跟踪，并删除对应的卡尔曼滤波器；T_lost和T_min分别为设置的视频帧数。

进一步地，所述步骤S4中，所述运动相似度为目标车辆检测框和目标车辆跟踪框之间的马氏距离；所述运动相似度d⁽¹⁾(i,j)为：

d⁽¹⁾(i,j)＝(d_j-y_i)^TS^-1(d_j-y_i)

式中，d_j为目标车辆检测框，y_i为第i个卡尔曼滤波器对应的目标车辆跟踪框，S为当前时刻卡尔曼滤波器在观测空间的协方差矩阵，上标T为转置操作符；

所述表观相似度d⁽²⁾(i,j)为：

式中，D_j为对当前视频帧进行车辆检测时，检测出的每一个目标车辆检测框d_j对应的特征向量；Y_i为第i个卡尔曼滤波器上一次跟踪成功的目标车辆跟踪框y_i的特征向量；

所述关联代价为：

d_i,j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j)

式中，λ为超参数，用于调整两种相似度的权重。

进一步地，所述步骤S4中，通过深度特征提取网络确定目标车辆检测框d_j对应的特征向量D_j；所述深度特征提取网络包括依次连接的两个卷积层和六个残差块。

进一步地，所述步骤S5具体为：

S51、设置相似度阈值，并与关联成本代价矩阵中的关联代价进行比较；

S52、将大于相似度阈值的关联代价对应的目标车辆检测框和目标车辆跟踪框中的目标车辆作为一组跟踪结果。

本发明的有益效果为：

(1)修改了SSD目标检测算法的基础网络，参考ResNet10设计了简单的基础分类网络Net10，将SSD网络结构特征提取部分替换为轻量化网络，可以有效减少模型参数运算内存占有量，提高了运算速度。针对车辆检测选取四种不同分辨率的特征响应图，通过在不同分辨率的特征响应图上进行目标位置的回归和分类得出目标的类别信息和候选框的位置信息，提高了目标检测框的精度；

(2)采用基于检测的跟踪方法实现多目标跟踪，采用匈牙利算法解决预测结果和跟踪结果之间的数据关联问题，关联代价的设计采用运动相似度和表观相似度结合的方法作为总的关联代价，有效地减少了ID Switch现象，提高了数据关联的准确性，并对传统的Deep SORT算法进行了改进，减少了表观特征匹配时的轨迹计算次数，有效地减少了表观特征匹配的计算量，从而提高跟踪速度；

(3)本发明基于SSD目标检测算法和Deep SORT多目标跟踪方法，实现了对车辆的多目标跟踪，能够在小显存容量GPU设备和嵌入式ARM设备上运行。

附图说明

图1为本发明背景技术中DBT和DFT结构示意图。

图2为本发明提供的基于SSD目标检测的多目标车辆跟踪方法流程图。

图3为本发明提供的Net10基础分类网络结构示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图2所示，一种基于SSD目标检测的多目标车辆跟踪方法，包括以下步骤：

S1、获取包含若干车辆的连续视频帧；

S2、通过SSD目标检测网络对视频帧进行车辆检测，获得所有检测到的目标车辆检测框；

S3、通过卡尔曼滤波器对目标车辆检测框中的目标车辆进行状态预测，获得对应的目标车辆跟踪框；

S4、计算所有目标车辆检测框和目标车辆跟踪框之间的运动相似度及表观相似度，并对其进行线性叠加作为关联代价，进而构建目标车辆检测框和目标车辆跟踪框之间的关联成本代价矩阵；

S5、根据匈牙利算法对关联成本代价矩阵中的关联代价进行关联匹配，进而确定跟踪结果，实现多目标车辆检测。

SSD算法中的基础网络主要是作为一个分类识别网络而存在，用于学习图像中某种物体目标的特定特征，如边缘信息、轮廓信息等，在上述步骤S2中，为了减少网络模型参数，本发明SSD目标检测网络参考ResNet10基础分类网络，设计了如图3所示的基础分类网络Net10，本发明中SSD目标检测网络包括依次连接的第一3×3卷积层、第二3×3卷积层、第一最大池化层、第三3×3卷积层、第四3×3卷积层、第二最大池化层、第五3×3卷积层、第六3×3卷积层、第三最大池化层、第七3×3卷积层、第八3×3卷积层、第四最大池化层、第九3×3卷积层、第十3×3卷积层、平均池化层、全连接层和softmax层。

上述网络结构不深，不需要浅层的特征的补充，删去了残差结构，直接端到端一条数据通路，没有额外支路。该网络结构中每个卷积层大小为3×3，stride为2，pad为1，maxpooling层大小为，stride为2，pad为0；具体参数如表1所示：

表1：Net10基础网络参数表

上述步骤S2中获得目标车辆检测框的方法具体为：

A1、通过SSD目标检测网络进行车辆检测，获得目标车辆四种不同分辨率的特征响应图；

A2、对四种不同分辨率的特征响应图提取不同尺度的候选框；

A3、在四种不同分辨率的特征响应图上进行目标车辆的位置回归与分类，得到目标车辆的类别信息和检测框的位置信息。

在上述车辆检测过程中用到的SSD目标检测网络是one类算法的代表，将边界框定位问题转换为回归问题，直接在特征层上回归边界的位置及其所属类别。SSD采用多尺度的特征训练，在不同尺度的特征响应图上进行目标位置回归与分类，生成预测框；低层次的特征响应图感受野比较小，应设置较小尺寸的候选框，高层的特征响应图感受野比较大，应设置较大尺寸的候选框。在不同层次的特征响应图上进行预测，可以达到多尺度的目的。四种特征图响应图上的候选框设置如表2所示；

表2：四种特征图响应图上的候选框设置

本发明用到的跟踪方法为Deep SORT多目标跟踪算法，跟踪的主要思想是首先根据SSD检测给出第一帧目标车辆框，利用残差网络提取目标车辆特征信息。对于后续帧利用卡尔曼滤波器预测目标在下一帧出现的位置，得到车辆的状态信息。借助SSD车辆检测算法得到当前帧所有车辆的检测框，由此计算检测框和预测框的位置相似度。在计算检测和跟踪的匹配的关联代价时使用了融合度量的方式，包括检测与跟踪轨迹的运动相似度和目标模型的表观相似度；使用匈牙利算法关联检测结果和跟踪轨迹，对卡尔曼滤波系统进行修正，进而持续地跟踪车辆在下一帧出现的位置。

因此，上述S3中获得当前时刻对应的目标车辆跟踪框的方法具体为：

B1、通过SSD目标检测网络获取第一帧视频帧对应的目标车辆检测框；

B2、为获取的每个目标车辆检测框分配一个卡尔曼滤波器；

B3、根据目标车辆检测框中的目标车辆状态信息，通过对应的卡尔曼滤波器依次对后一时刻帧的目标车辆状态进行先验估计，进而获得当前时刻帧下目标车辆跟踪框。

上述步骤S2中的卡尔曼滤波器基于匀速模型和线性观测模型的标准卡尔曼滤波器，对目标车辆检测框中的目标车辆状态进行预测，用一个四维向量x_n＝[u,v,w,h]表示目标状态信息，其中u和v表示目标中心坐标位置，w是目标长度，h是目标高度。

在上述步骤B3中，在获得当前时刻帧下的目标车辆检测框的过程中：

目标的初始位置由检测结果确定，如果某一次的检测结果中有目标无法与已有的跟踪器(卡尔曼滤波器)相关联，则认为可能出现了新的目标，需要新建跟踪器来处理，为了避免虚景影响，在连续T_lost帧视频帧中，当新分配的卡尔曼滤波器均有新的目标车辆与之关联时，则认为出现了新的目标，此时保留其对应的目标车辆跟踪框，否则认为出现了虚景，此时删除该新的目标车辆对应的目标车辆跟踪框；

在连续T_min帧视频帧中，当确定的目标车辆跟踪框不存在与之对应的目标车辆检测框时，即该轨迹长时间处于未“未跟踪状态”，则认为目标已经离开当前场景，此时结束对该目标车辆检测框中的目标车辆的跟踪，并删除对应的卡尔曼滤波器；T_lost和T_min分别为设置的视频帧数。

在上述步骤S4中，对目标车辆检测框和目标车辆跟踪框进行数据关联时，关联代价的设计非常重要。因为现有的数据关联算法只是强行把检测和跟踪轨迹一一匹配，没有考虑到错误匹配的情况，关联代价设计不好时，错误匹配的可能性就很大，为了更好的解决检测和跟踪的数据关联问题，本发明采用运动相似度和表观相似度相结合的方法作为总的关联代价；其中，运动相似度为目标车辆检测框和目标车辆跟踪框之间的马氏距离；所述运动相似度d⁽¹⁾(i,j)为：

d⁽¹⁾(i,j)＝(d_j-y_i)^TS^-1(d_j-y_i)

式中，d_j为目标车辆检测框，y_i为第i个卡尔曼滤波器对应的目标车辆跟踪框，S为当前时刻卡尔曼滤波器在观测空间的协方差矩阵，上标T为转置操作符；

运动相似度只是一个非常粗糙的预测，特别是在目标运动不确定性很高的情况下，例如车辆转向和调头等情况，会导致跟踪的目标ID交换现象比较严重，因此，我们引入表观相似度，表观相似度d⁽²⁾(i,j)为：

式中，D_j为对当前视频帧进行车辆检测时，检测出的每一个目标车辆检测框d_j对应的特征向量；Y_i为第i个卡尔曼滤波器上一次跟踪成功的目标车辆跟踪框y_i的特征向量；

结合两种度量方式，采用运动相似度和表观相似度的线性叠加的总的关联代价作为最终关联度量相似度；关联代价为：

d_i,j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j)

式中，λ为超参数，用于调整两种相似度的权重。

为区分不同目标，需要提取目标的特征向量计算表观相似度，通过深度特征提取网络确定目标车辆检测框d_j对应的特征向量D_j；特征提取网络如表3所示，构建残差网络结构，包括2个卷积层和6个残差块用来提取目标表观128维L2正则化特征。

表3：特征提取网络结构

Name	Patch Size	Stride	Output Size
				Conv 1	3	1	32×128×64
Conv 2	3	1	32×128×64
				Max Pool 3	3	2	32×64×32
Residual 4	3	1	32×64×32
				Residual 5	3	1	32×64×32
Residual 6	3	2	64×32×16
				Residual 7	3	1	64×32×16
Residual 8	3	2	128×16×8
				Residual 9	3	1	128×16×8
Dense 10			128
				L2 normalization			128

上述步骤S5具体为：

S51、设置相似度阈值，并与关联成本代价矩阵中的关联代价进行比较；

S52、将大于相似度阈值的关联代价对应的目标车辆检测框和目标车辆跟踪框中的目标车辆作为一组跟踪结果。

需要说明的是，上述多目标车辆跟踪是跟踪过程的整体描述，在进行每一帧视频帧车辆跟踪时，会重新计算卡尔曼滤波器增益，更新其跟踪到的状态信息和协方差矩阵。

本发明的有益效果为：

(1)修改了SSD目标检测算法的基础网络，参考ResNet10设计了简单的基础分类网络Net10，将SSD网络结构特征提取部分替换为轻量化网络，可以有效减少模型参数运算内存占有量，提高了运算速度。针对车辆检测选取四种不同分辨率的特征响应图，通过在不同分辨率的特征响应图上进行目标位置的回归和分类得出目标的类别信息和候选框的位置信息，提高了目标检测框的精度；

(2)采用基于检测的跟踪方法实现多目标跟踪，采用匈牙利算法解决预测结果和跟踪结果之间的数据关联问题，关联代价的设计采用运动相似度和表观相似度结合的方法作为总的关联代价，有效地减少了ID Switch现象，提高了数据关联的准确性，并对传统的Deep SORT算法进行了改进，减少了表观特征匹配时的轨迹计算次数，有效地减少了表观特征匹配的计算量，从而提高跟踪速度；

(3)本发明基于SSD目标检测算法和Deep SORT多目标跟踪方法，实现了对车辆的多目标跟踪，能够在小显存容量GPU设备和嵌入式ARM设备上运行。

Claims (8)

1.一种基于SSD目标检测的多目标车辆跟踪方法，其特征在于，包括以下步骤：

S1、获取包含若干车辆的连续视频帧；

S2、通过SSD目标检测网络对视频帧进行车辆检测，获得所有检测到的目标车辆检测框；

S3、通过卡尔曼滤波器对目标车辆检测框中的目标车辆进行状态预测，获得对应的目标车辆跟踪框；

S4、计算所有目标车辆检测框和目标车辆跟踪框之间的运动相似度及表观相似度，并对其进行线性叠加作为关联代价，进而构建目标车辆检测框和目标车辆跟踪框之间的关联成本代价矩阵；

S5、根据匈牙利算法对关联成本代价矩阵中的关联代价进行关联匹配，进而确定跟踪结果，实现多目标车辆检测。

2.根据权利要求1所述的基于SSD目标检测的多目标车辆跟踪方法，其特征在于，所述步骤S2中的SSD目标检测网络为Net10基础分类网络；

所述SSD目标检测网络包括依次连接的第一3×3卷积层、第二3×3卷积层、第一最大池化层、第三3×3卷积层、第四3×3卷积层、第二最大池化层、第五3×3卷积层、第六3×3卷积层、第三最大池化层、第七3×3卷积层、第八3×3卷积层、第四最大池化层、第九3×3卷积层、第十3×3卷积层、平均池化层、全连接层和softmax层。

3.根据权利要求1所述的基于SSD目标检测的多目标车辆跟踪方法，其特征在于，所述步骤S2中获得目标车辆检测框的方法具体为：

A1、通过SSD目标检测网络进行车辆检测，获得目标车辆四种不同分辨率的特征响应图；

A2、对四种不同分辨率的特征响应图提取不同尺度的候选框；

A3、在四种不同分辨率的特征响应图上进行目标车辆的位置回归与分类，得到目标车辆的类别信息和检测框的位置信息。

4.根据权利要求1所述的基于SSD目标检测的多目标车辆跟踪方法，其特征在于，所述步骤S3中获得当前时刻对应的目标车辆跟踪框的方法具体为：

B1、通过SSD目标检测网络获取第一帧视频帧对应的目标车辆检测框；

B2、为获取的每个目标车辆检测框分配一个卡尔曼滤波器；

B3、根据目标车辆检测框中的目标车辆状态信息，通过对应的卡尔曼滤波器依次对后一时刻帧的目标车辆状态进行先验估计，进而获得当前时刻帧下目标车辆跟踪框。

5.根据权利要求4所述的基于SSD目标检测的多目标车辆跟踪方法，其特征在于，所述步骤B3中，在获得当前时刻帧下的目标车辆检测框的过程中：

在连续T_lost帧视频帧中，当新分配的卡尔曼滤波器均有新的目标车辆与之关联时，则保留其对应的目标车辆跟踪框，否则删除该新的目标车辆对应的目标车辆跟踪框；在连续T_min帧视频帧中，当确定的目标车辆跟踪框不存在与之对应的目标车辆检测框时，则结束对该目标车辆检测框中的目标车辆的跟踪，并删除对应的卡尔曼滤波器；T_lost和T_min分别为设置的视频帧数。

6.根据权利要求1所述的基于SSD目标检测的多目标车辆跟踪方法，其特征在于，所述步骤S4中，所述运动相似度为目标车辆检测框和目标车辆跟踪框之间的马氏距离；所述运动相似度d⁽¹⁾(i,j)为：

d⁽¹⁾(i,j)＝(d_j-y_i)^TS^-1(d_j-y_i)

式中，d_j为目标车辆检测框，y_i为第i个卡尔曼滤波器对应的目标车辆跟踪框，S为当前时刻卡尔曼滤波器在观测空间的协方差矩阵，上标T为转置操作符；

所述表观相似度d⁽²⁾(i,j)为：

式中，D_j为对当前视频帧进行车辆检测时，检测出的每一个目标车辆检测框d_j对应的特征向量；Y_i为第i个卡尔曼滤波器上一次跟踪成功的目标车辆跟踪框y_i的特征向量；

所述关联代价为：

d_i,j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j)

式中，λ为超参数，用于调整两种相似度的权重。

7.根据权利要求6所述的基于SSD目标检测的多目标车辆跟踪方法，其特征在于，所述步骤S4中，通过深度特征提取网络确定目标车辆检测框d_j对应的特征向量D_j；所述深度特征提取网络包括依次连接的两个卷积层和六个残差块。

8.根据权利要求6所述的基于SSD目标检测的多目标车辆跟踪方法，其特征在于，所述步骤S5具体为：

S51、设置相似度阈值，并与关联成本代价矩阵中的关联代价进行比较；

S52、将大于相似度阈值的关联代价对应的目标车辆检测框和目标车辆跟踪框中的目标车辆作为一组跟踪结果。

Images