CN103064086A - 一种基于深度信息的车辆跟踪方法 - Google Patents

Abstract

本发明公开了一种基于深度信息的车辆跟踪方法，所述方法包括：采用基于距离的方法对每一帧数据进行聚类；在聚类内部提取目标的特征向量；依据特征向量初步判断目标是否为车辆目标；采用卡尔曼滤波器对单个目标进行跟踪；通过计算当前帧中识别出来的目标与跟踪器中目标的代价方程实现目标关联；当正在被跟踪的目标漏检时，根据当前状态对目标状态进行估计，当重新检测到目标时，继续对目标进行跟踪，保持了跟踪的连贯性；能够跟踪出现在扫描环境内的新目标，删除消失的目标，即被跟踪的目标的数目是随实际情况变化的；解决了采用联合概率数据关联算法只能跟踪确定数目的目标的缺点，与多假设跟踪算法相比，计算量和内存开销都比较小。

Description

一种基于深度信息的车辆跟踪方法

技术领域：本发明涉及的是一种模式识别和智能车辆技术领域的方法，具体是一种用于汽车辅助驾驶系统的基于深度信息的车辆跟踪方法。 

背景技术：

用于车辆识别和跟踪的方法主要包括基于机器视觉的方法和基于深度信息的方法。基于机器视觉的车辆检测系统一般采用CCD摄像头，硬件成本较低，能够感知到丰富的环境信息，但受环境变化影响大。晴天时树木的阴影，光滑表面的反光，道路上的积水以及夜间光照不足等都会对图像信息的识别造成很大影响。基于深度信息的算法一般采用激光雷达、微波雷达等获取深度信息，能够准确的得到目标的距离信息，而且不容易受到环境的影响，数据处理的速度比基于机器视觉的方法快。 

多目标跟踪的关键问题是目标间的关联。目标关联的方法包括两大类：确定性方法和概率统计的方法。确定性方法通过计算t-1时刻的所有目标和t时刻的某一个目标的代价方程来确定关联，一般通过一些运动约束组合来定义代价方程，这些约束包括同一目标在连续两帧数据中的位置不会相差很大，同一目标的速度变化很小等^[1]。Veenman^[2]等采用确定性方法进行运动目标的关联，但假定被跟踪的目标的数目是确定的，不能处理新目标出现以及目标消失的情况。 

概率统计目标关联的方法主要针对采集到的环境信息中包含大量杂波以及目标的机动性大的情况，具有代表性的方法包括联合概率数据关联(Joint Probability Data Association，JPDA)和多假设跟踪(Multiple Hypothesis Tracking，MHT)。JPDA需要计算被跟踪的目标和当前帧中真实目标的测量值以及虚假目标之间的联合概率，计算量非常大，而且同样假定被跟踪的目标数目是确定的。MHT方法由Reid^[3]提出，这种方法能够处理新目标出现和目标消失的情况，但要保存连续几帧数据中每一个目标的所有可能的关联，因此计算量和内存开销都非常大。 

目前常用的多目标跟踪方法最初是出于军事、航空等的需求发展而来的，所针对的目标的机动性高，航迹复杂，杂波干扰大，因此模型也比较复杂，计算量大。而用于汽车辅助驾驶系统的多目标跟踪系统一般工作于路面上，所跟踪的目标运行轨迹相对比较简单，因此需要一种能够快速、准确的实现多目标关联和跟踪的方法。 

发明内容：

本发明提供一种车辆识别和跟踪方法，能够在基于深度信息条件下，根据车辆的形状、尺寸等特征识别有效区域内的车辆目标，并通过计算代价方程实现多目标关联，利用卡尔曼滤波器对目标进行跟踪，能够准确、快速的跟踪车辆。 

本发明的整体技术方案如附图1所示，具体实施步骤如下： 

1．一种基于深度信息的车辆跟踪方法，包括以下步骤， 

A．利用测距传感器连续获取扫描范围内物体的深度信息R，R={(r_n，φ_n)|n=0，…，N_R}，其中，r_n表示扫描点与传感器的距离，φ_n表示扫描点的方位角，N_R表示一个扫描周期采集到的扫描点的个数，n为0到N_R的整数，并将深度信息R由极坐标转换为笛卡尔坐标；传感器一个扫描周期获得的数据称为一帧； 

B．采用自适应距离阈值的方法对获取的每帧数据实时进行聚类分析，形成不同的聚类； 

C．计算每一个聚类的内部距离d，如果聚类的内部距离d小于阈值A，去掉该聚类，内部距离d的计算公式如下， 

$d=\sqrt{x_{p_{\mathrm{ni}}{p}_{\mathrm{ne}}}^2+y_{p_{\mathrm{ni}}{p}_{\mathrm{ne}}}^2}$

其中，x_pnipne表示一个聚类的起点与终点的横坐标之差； 

y_pnipne表示一个聚类的起点与终点的纵坐标之差； 

D．对保留的聚类分别进行直线拟合，并在此基础上提取目标的特征向量，特征向量包括聚类内线段的数目，目标的形状、目标大小和线段的长度比； 

E．根据特征向量的值依次判别保留的聚类是否为车辆目标； 

F．如果当前帧中识别出来的车辆目标数目不为零，执行步骤G；如果当前帧中识别出来的目标数目为零，执行步骤H； 

G．如果跟踪器数目为零，为当前帧识别出来的每个车辆目标建立一个跟踪器，重复步骤A至步骤F；如果跟踪器数目不为零，执行步骤I；所述跟踪器的模型为：{{num，size，ratio}，{x，y，vx，vy}，

{error_cov_post}，{lost，losttime}，{objectid}}，其中，{num，size，ratio}分别表示车辆目标包含的线段的数目、目标大小和长宽比，在跟踪过程中，利用关联到的车辆目标的特征向量更新这三个参数，如果关联不上，不更新，{x，y，vx，vy}分别表示线性卡尔曼滤波器对车辆目标在当前帧中x、y方向的位置坐标，以及在x、y方向的速度的预测值，

表示线性卡尔曼滤波器对车辆目标在当前帧中x、y方向的位置，以及在x、y方向上的速度的估计值，{error_cov_post}表示线性卡尔曼滤波器的后验估计误差协方差矩阵，{lost，losttime}分别表示跟踪器中的目标是否丢失，以及丢失的次数，跟踪过程中，根据目标关联的结果对这两个参数 进行更新，{objectid}表示跟踪器在当前帧中关联到的目标的序号，根据目标关联的结果对这个参数进行更新； 

H．如果跟踪器数目为零，重复步骤A至步骤F； 

如果跟踪器数目不为零，认为跟踪器中的目标丢失，此时以每个跟踪器为对象进行判断，如果丢失次数大于5，删除跟踪器，如果丢失次数小于等于5，更新跟踪器中目标的位置估计值和预测值，其中更新后的位置估计值和预测值相同，位置预测值是以当前时刻跟踪器中目标位置的预测值{x，y}作为测量值通过线性卡尔曼滤波器预测得到的，直到遍历所有跟踪器，然后重复步骤A至步骤F； 

I．将当前帧中识别出来的目标与跟踪器进行目标关联，确定他们之间的对应关系，继续下一步； 

J．如果在当前帧中有新的目标与第j个跟踪器相对应，以当前帧中传感器测量得到的对应目标的位置作为线形卡尔曼滤波器的测量值，更新跟踪器的状态； 

如果当前帧中没有新目标与该跟踪器相对应，认为跟踪器中的目标丢失，如果丢失次数大于5，删除跟踪器，如果丢失次数小于或等于5，更新跟踪器中目标的位置估计值和预测值，其中更新后的位置估计值和预测值相同，位置预测值是以当前时刻跟踪器中目标位置的预测值{x，y}作为测量值通过线形卡尔曼滤波器预测得到的； 

历遍所有跟踪器后，继续下一步； 

K．以当前帧中识别出来的车辆目标为对象，判断是否存在跟踪器与该目标相对应，如果没有，为该目标建立一个跟踪器，如果有，则继续判断当前帧中识别出来的下一个车辆目标是否有跟踪器与之相对应，直到遍历当前帧中识别出来的所有车辆目标，返回步骤A； 

L．重复步骤A至步骤K的过程，实现对所有车辆目标的识别和跟踪。 

所述的自适应距离阈值的方法，其特征在于包含以下步骤： 

第一步，计算当前获取的一帧数据中连续两个点p_n-1和p_n之间的距离d=||p_n-p_n-1||，其中n的取值范围为1到N_R； 

第二步，计算p_n-1和p_n两点的横坐标之差与纵坐标之差的比值的绝对值其中（x_n，y_n）表示p_n的坐标，（x_n-1，y_n-1）表示p_n-1的坐标； 

第三步：计算距离阈值D_max，计算公式如下： 

$D_{\max }=r_{n-1}\frac{\sin \left(\mathrm{\Δ\φ}\right)}{\sin (\mathrm{\λ}-\mathrm{\Δ\φ})}+{3\mathrm{\σ}}_r$

其中：r_n-1为p_n-1点与传感器的距离，Δφ为两条扫描射线间的夹角，σ_r为传感器的测量误差，λ为阈值因数，λ大于等于1度小于等于9度，如果a<0.5，p_n-1和p_n点位于接近垂直的平面上，λ取值为1～5度，如果a>0.5，λ取值为5～9度； 

第四步：当点p_n-1和p_n之间的距离d小于D_max时，认为p_n-1和p_n属于同一个聚类；当点p_n-1和p_n之间的距离d大于等于D_max时，认为p_n-1和p_n属于不同的聚类，p_n-1为当前聚类的终点，p_n为新的聚类的起点。 

所述聚类内部距离d的阈值A为0.5米。 

所述直线拟合以及提取特征向量的方法，其特征在于包括以下步骤： 

4.1）利用迭代适应点IEPF算法分割聚类内部的点，将聚类内部的点分割为多个子集，分割过程中每个子集内到由该子集两端点形成的连线的距离最大的点记为p_na，p_na到由该子 

集的两端点形成的连线的距离记为D_na，当所有子集的D_na都小于阈值D_thd时，认为完成了分割聚类的过程； 

4.2）对步骤4.1）分割后的每个子集采用最小二乘法进行直线拟合，然后参照每个子集的起始点和终点确定本子集拟合的直线的两个端点，提取线段，在此基础上，提取目标的特征向量： 

（1）线段数目num，聚类内部存在一条线段时，num值为1；存在一条折线时，num值为2； 

（2）目标形状shape，聚类内线段的数目为1时，shape值为线段的斜率的绝对值；聚类内线段的数目为2时，shape值为两条线段间夹角的余弦的绝对值； 

（3）目标大小size，聚类内线段的数目为1时，size大小为线段的长度；存在一条折线时，size大小为最小外接矩形的面积； 

（4）线段长度比ratio，聚类内部存在一条线段时，ratio长度比为0；存在一条折线时，ratio为两条线段的长度比。 

步骤4.1）所述的阈值D_thd的取值范围为0.2米到0.5米之间。 

如果聚类的特征向量满足以下两种情况之一，则判定该聚类为车辆目标： 

第一种情况：（1）num=1，（2）1.1米≤size≤5.5米，（3）ratio=0； 

第二种情况：（1）num=2，（2）shape<0.3，即两条线段的夹角接近90度，（3）0.8平方米≤size≤15平方米（4）0.2≤ratio≤6。 

所述的目标关联包含以下步骤：： 

计算第k帧中识别出来的第i个车辆目标与第j个跟踪器的代价方程，具体为： 

V(i，j)=α*position(i,j)+β*num(i，j)+γ*size(i,j)+κ*ratio(i,j) 

其中α+β+γ+κ=1，且α在0.5-0.7之间， 

$\mathrm{position}(i,j)=\frac{\left|\sqrt{{(x_k^i-x_{k-1}^j)}^2+{(y_k^i-y_{k-1}^j)}^2}\right|}{{\max }_n\left|\sqrt{{(x_k^i-x_{k-1}^n)}^2+{(y_k^i-y_{k-1}^n)}^2}\right|}$

$\mathrm{num}(i,j)=\frac{|{\mathrm{num}}_k^i-{\mathrm{num}}_{k-1}^j|}{{\max }_n|{\mathrm{num}}_k^i-{\mathrm{num}}_{k-1}^n|}$

$\mathrm{size}(i,j)=\frac{|{\mathrm{size}}_k^i-{\mathrm{size}}_{k-1}^j|}{{\max }_n|{\mathrm{size}}_k^i-{\mathrm{size}}_{k-1}^n|}$

$\mathrm{ratio}(i,j)=\frac{|{\mathrm{ratio}}_k^i-{\mathrm{ratio}}_{k-1}^j|}{{\max }_n|{\mathrm{ratio}}_k^i-{\mathrm{ratio}}_{k-1}^n|}$

其中，max_n||表示目标

和n个跟踪器的对应特征的差值中的最大值，为权利要求1中步骤A所获得的目标的位置，

为权利要求1中步骤D所提取的目标包含的线段数目，

为权利要求1中步骤D所提取的目标大小，

为权利要求1中步骤D所提取的长宽比，

为跟踪器在第k帧中位置的预测值，为跟踪器在第k-1帧中的线段数目，

为跟踪器在第k-1帧中的目标大小，

为跟踪器

在第k-1帧中长宽比， 

在所有跟踪器中寻找与第k帧中识别出来的第i个车辆目标

的代价方程最小的跟踪器，如果最小代价方程的值小于阈值A_th，A_th大于0.1小于0.2，即确定目标

与该跟踪器存在对应关系， 

重复上述关联的过程，直至找出所有可以关联的目标。 

有益效果： 

1．在多目标跟踪中，通过计算代价方程进行目标关联，方法简单，计算量小，提高了系统的实时性。 

2．当正在被跟踪的目标被遮挡或者漏检时，能够根据当前状态对目标状态进行预测，当重新检测到目标时，继续对目标进行跟踪，保持了跟踪的连贯性。 

3．能够跟踪识别出的新目标，并在目标消失时删除相应的跟踪器，即被跟踪的目标的数目是随实际情况变化的。 

因此，本方法在多传感器融合的智能车辆道路识别系统、雷达数据处理以及多目标跟踪中有着广泛的应用。 

附图说明：

图1为本发明的整体技术方案； 

图2为一个扫描周期所采集到的深度信息示例； 

图3为利用IEPF算法分割聚类内部的点的示意图； 

图4a为利用本算法识别出来的车辆目标； 

图4b为与图4a对应的实景图； 

图5a-5b为对连续多帧数据中的两个车辆目标的跟踪结果，图中细线框为目标识别的结果，粗线框为跟踪算法对目标车辆在当前帧中位置的估计值； 

图5c为对应5b拍摄的实景图。 

具体实施方式：

以下通过实例进一步对本发明进行描述；本实施例以本发明的技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于以下的实施例。 

本实施例按以下步骤实现： 

步骤一：车载激光雷达开始扫描，扫描的范围为180度，扫描的最大距离为80m，两条扫描射线间的夹角为0.5度，每帧数据包含361个扫描点。将扫描点由极坐标转化为笛卡尔坐标形式。 

步骤二：读入数据后，将与本车的水平距离超过3米的点去掉，即只考虑道路上的目标，忽略路边的绿化带、路灯等障碍物。 

在保留的数据中，将第一个数据标记为第一个聚类的起始点，并从第一个数据开始依次计算相邻两点p_n和p_n-1间的距离以及两点的x坐标之差与y坐标之差的比值的绝对值 如果两点间距离大于计算得到的距离阈值，将两点中的前一个点标记为当前聚类的终点，后一个点标记为下一个聚类的起始点。如果两点间的距离小于阈值，认为两点 属于同一个目标，继续判断p_n和p_n+1点是否属于同一目标。 

本实施例中，距离阈值公式中的参数Δφ=0.5度；对于位于垂直面上的两点，即a<0.5时，λ取3度，a>0.5时，λ取5度；激光雷达的测量误差σ_r为10mm。 

步骤三：依据聚类内部距离计算公式计算每个聚类的内部距离，删除内部尺寸小于0.5m的聚类，保留内部尺寸大于0.5m的聚类。 

步骤四：分别在保留的每个聚类内部提取线段。 

本步骤包含两个过程： 

（1）利用IEPF算法分割每个聚类内的点，并对分割所得的每个部分的起始点和终点进行标记。分割的过程如图3所示，先将该聚类的起始点p_ni和终点p_ne用直线L连接起来，计算聚类内的每个点到直线L的距离D_ni，并找出距离直线L最远的点，假设该点为p_na。如果p_na到直线L的距离D_na大于预先设定的阈值D_thd，则在该点处把这个聚类分割成两个子集P′={p_ni，p_ni+1，…，p_na}和P″={p_na，p_na+1，…，p_ne}。然后分别对P′和P″重复上述过程，直至子集内的点到子集的两个端点连线的距离都小于D_thd为止。上述阈值D_thd可设为0.2m-0.5m范围内。 

（2）利用最小二乘法对聚类内的每个部分进行直线拟合。由于最小二乘法只能拟合直线，不能得到线段，因此以子集的起始点和终点的横坐标作为要得到的线段起始点和终点的横坐标，或者以子集的起始点和终点的纵坐标作为纵坐标，在拟合出的直线上确定线段的起点和终点，以便于后续的特征提取。 

对当前存在的每一个聚类提取特征向量，以附图4a中所示的一帧数据为例，聚类1的特征向量为：{num=1，shape=0.75，size=1.27m，ratio=0}；聚类2的特征向量为：{num=2，shape=0.045，size=12.6m²，ratio=1.78}；聚类3的特征向量为：{num=2，shape=0.16，size=5.8m²，ratio=0.37}。 

步骤五：利用步骤四提取的目标的特征向量，确认目标是否为车辆。如果目标的特征向量满足以下两种情况之一，确认该目标为车辆目标： 

第一种情况：（1）聚类内线段的数目为1，（2）聚类的大小在1.1米到5.5米之间，（3）线段的长度比为0。 

第二种情况：（1）聚类内线段的数目为2，（2）聚类的方向值小于0.3，即两条线段的夹角接近90度，（3）聚类的大小在0.8平方米到15平方米之间，（4）线段的长度比在0.2到6 之间。 

聚类1的特征向量符合第一种情况，聚类2和聚类3的特征向量符合第二种情况，因此三个目标均为车辆目标。 

附图4b为利用摄像头同步拍摄的图像，附图4a中的聚类1与附图4b中工程车后面被部分遮挡的汽车1对应，聚类2对应工程车2，聚类3对应前方正在转弯的车辆3。 

步骤六：如果当前帧中识别出来的车辆目标数目不为零，执行步骤七；如果当前帧中识别出来的目标数目为零，执行步骤八； 

步骤七：如果跟踪器数目为零，为当前帧中初步识别出来的每个车辆目标建立一个跟踪器，重复步骤一至步骤六；如果跟踪器数目不为零，执行步骤九； 

建立跟踪器的过程为：跟踪器的模型为：{{num，size，ratio}，{x，y，vx，vy}，

{error_cov_post}，{lost，losttime}，{objectid}}，其中，{num，size，ratio}分别表示目标包含的线段的数目、目标大小和长宽比，建立跟踪器时，利用识别出来的车辆目标的线段数目、大小以及线段的长度比分别对这三个参数赋值，进行初始化，在跟踪过程中，利用关联到的车辆目标的线段数目、大小以及线段的长度分别对这三个参数赋值更新，如果关联不上，不更新，{x，y，vx，vy}分别表示线性卡尔曼滤波器对车辆目标在当前帧中x、y方向的位置，以及在x、y方向上的速度的预测值，x，y，初始化为识别出来的车辆目标的位置，速度初始化为零，

表示线性卡尔曼滤波器对车辆目标在当前帧中x、y方向的位置，以及在x、y方向上的速度的估计值，{error_cov_post}表示线性卡尔曼滤波器的后验估计误差协方差矩阵，{lost，losttime}分别表示跟踪器中的目标是否丢失，以及丢失的次数，初始化为目标丢失，losttime=0，跟踪过程中，根据目标关联的结果对这两个参数进行更新，{objectid}表示跟踪器在当前帧中关联到的目标的序号，根据目标关联的结果对这个参数进行更新。 

以下对卡尔曼滤波器中涉及的各参变量进行介绍： 

卡尔曼滤波器的状态向量为：x_k={x_0k y_0k v_xk v_yk}^T  ，其中{x_0k y_0k}为目标在x方向和y方向的位置，{v_xk v_yk}为目标在x方向和y方向的速度； 

测量向量z_k={x_0k y_0k}^T

转换矩阵 $A=\left\{\begin{array}{cccc}1& \mathrm{\&Delta;t}& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& \mathrm{\&Delta;t}\\ 0& 0& 0& 1\end{array}\right\}$

式中Δt为激光雷达的采样间隔，本实例中采样间隔为53ms。 

测量矩阵 $H=\left\{\begin{array}{cccc}1& 0& 0& 0\\ 0& 0& 1& 0\end{array}\right\}$

过程噪声的协方差矩阵 $Q={\mathrm{\&sigma;}}_{p\begin{array}{}\end{array}}^2\left\{\begin{array}{cccc}\frac{{\mathrm{\&Delta;t}}^4}{4}& \frac{{\mathrm{\&Delta;t}}^3}{2}& 0& 0\\ \frac{{\mathrm{\&Delta;t}}^3}{2}& {\mathrm{\&Delta;t}}^2& 0& 0\\ 0& 0& \frac{{\mathrm{\&Delta;t}}^4}{4}& \frac{{\mathrm{\&Delta;t}}^3}{2}\\ 0& 0& \frac{{\mathrm{\&Delta;t}}^3}{2}& {\mathrm{\&Delta;t}}^2\end{array}\right\}$

其中σ_p为所加过程噪声。 

测量噪声的协方差矩阵 $R={\mathrm{\&sigma;}}_m^2\left\{\begin{array}{cc}1& 0\\ 0& 1\end{array}\right\}$

其中σ_m为所加测量噪声的大小。 

后验估计误差协方差矩阵P的初始化与过程误差协方差Q相同。 

步骤八：如果跟踪器数目为零，重复步骤一至步骤六； 

如果跟踪器数目不为零，认为跟踪器中的目标丢失，此时以每个跟踪器为对象进行判断，如果丢失次数大于5，删除跟踪器，如果丢失次数小于等于5，更新跟踪器中目标的位置估计值和预测值，其中更新后的位置估计值和预测值相同，位置预测值是以当前时刻跟踪器中目标位置的预测值{x，y}作为测量值通过线形卡尔曼滤波器预测得到的，直到遍历所有跟踪器，然后重复步骤一至步骤六； 

步骤九：将当前帧中确认的目标与跟踪器中的车辆目标进行关联，确定他们之间的对应关系。具体过程为，计算当前帧中的目标与每个跟踪器中的目标的代价方程，其中，4个系数的值依次分别设为0.5，0.2，0.2，0.1。 

以其中第k帧数据为例，该帧数据中检测出两个车辆目标，两个目标的参数为： 

该时刻，有两个跟踪器，跟踪器未更新时，即k-1时的参数为： 

计算

与

的代价方程，最小值为V(0，0)＝0，计算

与

的代价方程，最小值为V(1，1)≈0，因此，关联的结果为

与

相对应，

与相对应。 

步骤十：如果在当前帧中有新的目标与第j个跟踪器相关联，以当前帧中对应目标的位置作为线形卡尔曼滤波器的测量向量Z_k，更新跟踪器的状态； 

本实例中，跟踪器

和

都关联到了新目标，利用卡尔曼滤波器更新跟踪器

的状态，其中，以检测出目标

的位置（4457.68，24001.2）作为测量向量Z_k，，即利用线形卡尔曼滤波器得出跟踪器

在第k帧中位置和速度的估计值 并利用跟踪器

在第k帧中位置和速度的估计值，采用线形卡尔曼滤波器计算跟踪器

在第k+1帧中位置和速度的预测值。 

如果当前帧中没有新目标与该跟踪器相对应，认为跟踪器中的目标丢失，丢失次数加1，如果丢失次数大于5，删除跟踪器，如果丢失次数小于或等于5，更新跟踪器中目标的位置估计值和预测值，其中更新后的位置估计值和预测值相同，下一时刻位置的预测值是以当前时刻跟踪器中目标位置的预测值{x，y}作为测量值通过线形卡尔曼滤波器预测得到的； 

历遍所有跟踪器，继续下一步。 

步骤十一：以当前帧中识别出来的车辆目标为对象，判断是否存在跟踪器与该目标相对应，如果没有，为该目标建立一个跟踪器，如果有，则继续判断当前帧中识别出来的下一个车辆目标是否有跟踪器与之相对应，直到遍历当前帧中识别出来的所有车辆目标，返回步骤1。 

步骤十二：重复以上步骤，从而实现对所有车辆目标的识别和跟踪。 

附图5（a）、（b）所示为对连续三十二帧（87-120）中的两个车辆目标的跟踪结果。图5（a）和图5（b）中，细线框为对目标识别的结果，粗线框跟踪算法对目标车辆在当前帧中 位置的估计值，图左上角显示了所采集到的数据的帧数，图5（c)为利用摄像头同步拍摄的场景。 

参考文献： 

[1]YILMAZ A，JAVED O，SHAH M.ObjectTracking：A Survey[J].ACM Computing Surverys.2006，38(4)：Article 13. 

[2]VEENMAN C，REINDERS M，BACKER E.Resolving Motion Correspondence for DenselyMoving Points[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23(1)：54-72. 

[3]REID D，An Algorithm for Tracking Multiple Targets[J].IEEE transactions on AutomaticControl，1979AC-24(6)：843-854。

Claims (7)

1.一种基于深度信息的车辆跟踪方法，包括以下步骤，

A．利用测距传感器连续获取扫描范围内物体的深度信息R，R={(r_n，φ_n)|n=0，…，N_R}，其中，r_n表示扫描点与传感器的距离，φ_n表示扫描点的方位角，N_R表示一个扫描周期采集到的扫描点的个数，n为0到N_R的整数，并将深度信息R由极坐标转换为笛卡尔坐标；传感器一个扫描周期获得的数据称为一帧；

B．采用自适应距离阈值的方法对获取的每帧数据实时进行聚类分析，形成不同的聚类；

C．计算每一个聚类的内部距离d，如果聚类的内部距离d小于阈值A，去掉该聚类，内部距离d的计算公式如下，

$d=\sqrt{x_{p_{\mathrm{ni}}{p}_{\mathrm{ne}}}^2+y_{p_{\mathrm{ni}}{p}_{\mathrm{ne}}}^2}$

其中，x_pnipne表示一个聚类的起点与终点的横坐标之差；

y_pnipne表示一个聚类的起点与终点的纵坐标之差；

D．对保留的聚类分别进行直线拟合，并在此基础上提取目标的特征向量，特征向量包括聚类内线段的数目，目标的形状、目标大小和线段的长度比；

E．根据特征向量的值依次判别保留的聚类是否为车辆目标；

其特征在于还包括以下步骤：

F．如果当前帧中识别出来的车辆目标数目不为零，执行步骤G；如果当前帧中识别出来的目标数目为零，执行步骤H；

G．如果跟踪器数目为零，为当前帧识别出来的每个车辆目标建立一个跟踪器，重复步骤A至步骤F；如果跟踪器数目不为零，执行步骤I；所述跟踪器的模型为：{{num，size，ratio}，{x，y，vx，vy}，

{error_cov_post}，{lost，losttime}，{objectid}}，其中，{num，size，ratio}分别表示车辆目标包含的线段的数目、目标大小和长宽比，在跟踪过程中，利用关联到的车辆目标的特征向量更新这三个参数，如果关联不上，不更新，{x，y，vx，vy}分别表示线性卡尔曼滤波器对车辆目标在当前帧中x、y方向的位置坐标，以及在x、y方向的速度的预测值，

表示线性卡尔曼滤波器对车辆目标在当前帧中x、y方向的位置，以及在x、y方向上的速度的估计值，{error_cov_post}表示线性卡尔曼滤波器的后验估计误差协方差矩阵，{lost，losttime}分别表示跟踪器中的目标是否丢失，以及丢失的次数，跟踪过程中，根据目标关联的结果对这两个参数进行更新，{objectid}表示跟踪器在当前帧中关联到的目标的序号，根据目标关联的结果对这个参数进行更新；

H．如果跟踪器数目为零，重复步骤A至步骤F；

如果跟踪器数目不为零，认为跟踪器中的目标丢失，此时以每个跟踪器为对象进行判断，如果丢失次数大于5，删除跟踪器，如果丢失次数小于等于5，更新跟踪器中目标的位置估计值和预测值，其中更新后的位置估计值和预测值相同，位置预测值是以当前时刻跟踪器中目标位置的预测值{x，y}作为测量值通过线形卡尔曼滤波器预测得到的，直到遍历所有跟踪器，然后重复步骤A至步骤F；

I．将当前帧中识别出来的目标与跟踪器进行目标关联，确定他们之间的对应关系，继续下一步；

J．如果在当前帧中有新的目标与第j个跟踪器相对应，以当前帧中传感器测量得到的对应目标的位置作为线性卡尔曼滤波器的测量值，更新跟踪器的状态；

如果当前帧中没有新目标与该跟踪器相对应，认为跟踪器中的目标丢失，如果丢失次数大于5，删除跟踪器，如果丢失次数小于或等于5，更新跟踪器中目标的位置估计值和预测值，其中更新后的位置估计值和预测值相同，位置预测值是以当前时刻跟踪器中目标位置的预测值{x，y}作为测量值通过线性卡尔曼滤波器预测得到的；

历遍所有跟踪器后，继续下一步；

K．以当前帧中识别出来的车辆目标为对象，判断是否存在跟踪器与该目标相对应，如果没有，为该目标建立一个跟踪器，如果有，则继续判断当前帧中识别出来的下一个车辆目标是否有跟踪器与之相对应，直到遍历当前帧中识别出来的所有车辆目标，返回步骤A；

L．重复步骤A至步骤K的过程，实现对所有车辆目标的识别和跟踪。

2.根据权利要求1中步骤B所述的自适应距离阈值的方法，其特征在于包含以下步骤：

第一步，计算当前获取的一帧数据中连续两个点p_n-1和p_n之间的距离d=||p_n-p_n-1||，其中n的取值范围为1到N_R；

第二步，计算p_n-1和p_n两点的横坐标之差与纵坐标之差的比值的绝对值

其中（x_n，y_n）表示p_n的坐标，（x_n-1，y_n-1）表示p_n-1的坐标；

第三步：计算距离阈值D_max，计算公式如下：

$D_{\max }=r_{n-1}\frac{\sin \left(\mathrm{\&Delta;\&phi;}\right)}{\sin (\mathrm{\&lambda;}-\mathrm{\&Delta;\&phi;})}+{3\mathrm{\&sigma;}}_r$

其中：r_n-1为p_n-1点与传感器的距离，Δφ为两条扫描射线间的夹角，σ_r为传感器的测量误差，λ为阈值因数，λ大于等于1度小于等于9度，如果a<0.5，p_n-1和p_n点位于接近垂直的平面上，λ取值为1～5度，如果a>0.5，λ取值为5～9度；

第四步：当点p_n-1和p_n之间的距离d小于D_max时，认为p_n-1和p_n属于同一个聚类；当点p_n-1和p_n之间的距离d大于等于D_max时，认为p_n-1和p_n属于不同的聚类，p_n-1为当前聚类的终点，p_n为新的聚类的起点。

3.根据权利要求1中步骤C所述聚类内部距离d的阈值A为0.5米。

4.根据权利要求1中步骤D所述直线拟合以及提取特征向量的方法，其特征在于包括以下步骤：

4.1）利用迭代适应点IEPF算法分割聚类内部的点，将聚类内部的点分割为多个子集，分割过程中每个子集内到由该子集两端点形成的连线的距离最大的点记为p_na，p_na到由该子集的两端点形成的连线的距离记为D_na，当所有子集的D_na都小于阈值D_thd时，认为完成了分割聚类的过程；

4.2）对步骤4.1）分割后的每个子集采用最小二乘法进行直线拟合，然后参照每个子集的起始点和终点确定本子集拟合的直线的两个端点，提取线段，在此基础上，提取目标的特征向量：

（1）线段数目num，聚类内部存在一条线段时，num值为1；存在一条折线时，num值为2；

（2）目标形状shape，聚类内线段的数目为1时，shape值为线段的斜率的绝对值；聚类内线段的数目为2时，shape值为两条线段间夹角的余弦的绝对值；

（3）目标大小size，聚类内线段的数目为1时，size大小为线段的长度；存在一条折线时，size大小为折线最小外接矩形的面积；

（4）线段长度比ratio，聚类内部存在一条线段时，ratio长度比为0；存在一条折线时，ratio为两条线段的长度比。

5.根据权利要求4的步骤4.1）所述，阈值D_thd的取值范围为0.2米到0.5米之间。

6.根据权利要求1中步骤E所述，如果聚类的特征向量满足以下两种情况之一，则判定该聚类为车辆目标：

第一种情况：（1）num=1，（2）1.1米≤size≤5.5米，（3）ratio=0；

第二种情况：（1）num=2，（2）shape<0.3，即两条线段的夹角接近90度，（3）0.8平方米≤size≤15平方米（4）0.2≤ratio≤6。

7.根据权利要求1中所述的目标关联，其特征在于包含以下步骤：：

计算第k帧中识别出来的第i个车辆目标

与第j个跟踪器

的代价方程，具体为：

V(i，j)=α*position(i，j)+β*num(i，j)+γ*size(i，j)+κ*ratio(i，j)

其中α+β+γ+κ=1，且α在0.5-0.7之间，

$\mathrm{position}(i,j)=\frac{\left|\sqrt{{(x_k^i-x_{k-1}^j)}^2+{(y_k^i-y_{k-1}^j)}^2}\right|}{{\max }_n\left|\sqrt{{(x_k^i-x_{k-1}^n)}^2+{(y_k^i-y_{k-1}^n)}^2}\right|}$

$\mathrm{num}(i,j)=\frac{|{\mathrm{num}}_k^i-{\mathrm{num}}_{k-1}^j|}{{\max }_n|{\mathrm{num}}_k^i-{\mathrm{num}}_{k-1}^n|}$

$\mathrm{size}(i,j)=\frac{|{\mathrm{size}}_k^i-{\mathrm{size}}_{k-1}^j|}{{\max }_n|{\mathrm{size}}_k^i-{\mathrm{size}}_{k-1}^n|}$

$\mathrm{ratio}(i,j)=\frac{|{\mathrm{ratio}}_k^i-{\mathrm{ratio}}_{k-1}^j|}{{\max }_n|{\mathrm{ratio}}_k^i-{\mathrm{ratio}}_{k-1}^n|}$

其中，max_n||表示目标和n个跟踪器的对应特征的差值中的最大值，

为权利要求1中步骤A所获得的目标的位置，

为权利要求1中步骤D所提取的目标包含的线段数目，为权利要求1中步骤D所提取的目标大小，

为权利要求1中步骤D所提取的长宽比，为跟踪器

在第k帧中位置的预测值，

为跟踪器

在第k-1帧中的线段数目，为跟踪器

在第k-1帧中的目标大小，

为跟踪器

在第k-1帧中长宽比，

在所有跟踪器中寻找与第k帧中识别出来的第i个车辆目标的代价方程最小的跟踪器，如果最小代价方程的值小于阈值A_th，A_th大于0.1小于0.2，即确定目标

与该跟踪器存在对应关系，

重复上述关联的过程，直至找出所有可以关联的目标。

Images