CN108846854A - 一种基于运动预测与多特征融合的车辆跟踪方法 - Google Patents

Abstract

本发明公开了一种基于运动预测与多特征融合的车辆跟踪方法，所述方法包括：步骤1)遍历跟踪列表从视频帧获得预测区域内的跟踪目标车辆的包围框；步骤2)判断各个跟踪目标车辆是否存在交叠，如果存在交叠则进入步骤3)，否则，进入步骤5)；步骤3)计算交叠目标车辆与原跟踪目标车辆间的多特征融合相似度并进行目标匹配；如果匹配成功，则转入步骤5)；否则，统计目标丢失帧数，转入步骤4)；步骤4)如果目标丢失帧数大于阈值，不将该目标车辆加入跟踪列表；否则，将目标加入跟踪列表，更新滤波模板；步骤5)基于运动预测估计下一帧预测区域；步骤6)所有跟踪目标车辆处理完成后，读入下一个视频帧，转入步骤1)，直到视频帧采集结束。

Description

一种基于运动预测与多特征融合的车辆跟踪方法

技术领域

本发明涉及智能交通系统、计算机视觉和目标跟踪技术领域，特别涉及一种基于运动预测与多特征融合的车辆跟踪方法。

背景技术

为了更加及时而全面地观察了解各条道路的交通状况，当前我国绝大多数城市的交巡警部门均部署了道路实时视频监控系统，以达到震慑违法驾驶、道路状况观察、交通流量引导等目的。然而，在目前已得到大量部署的道路视频监控系统中，绝大多数仍然只能显示并记录各个监控点位摄像头所传输的视频，并不具备智能分析能力。因此，还需要额外安排大量人员对获得的大量视频流进行人工监视，依靠人眼进行道路流量观察以及道路交通异常事件检查。随着计算机视觉领域技术在近几年的迅猛发展，研究人员有了越来越丰富的手段对视频图像中的信息进行高效的分析与处理。对道路交通监控视频而言，通过应用计算机视觉技术，可以对视频中的道路交通信息，特别是车辆信息进行提取采集，获取到的信息可以根据需求设计相应的算法以进行进一步的分析与处理，这在一定程度上可以大大减少对人为监控的依赖。对车辆的识别与跟踪是智能化处理的首要任务。

当前应用较广的车辆跟踪方法有卡尔曼滤波方法与粒子滤波方法等。这些方法处理速度较快，但由于并不对跟踪目标本身与其背景进行区分，受环境影响很大，跟踪精度不佳，应用范围受到了一定限制。近年来基于相关滤波的快速跟踪方法得到了相关工作人员的关注，这类方法的跟踪速度与精度较传统方法均有一定提升，不过仍然存在着对车辆快速运动与相互遮挡等场景跟踪效果不佳的问题。

发明内容

本发明的目的在于解决目前传统车辆跟踪方法中存在的跟踪精度与速度难以满足应用需求的问题，在基于相关滤波的快速跟踪方法基础上，提出一种基于运动预测与多特征融合的车辆跟踪方法，该方法在实现快速跟踪的同时具有很高的跟踪精度，对车辆快速运动与相互遮挡场景跟踪效果良好。

为了实现上述目的，本发明提出了一种基于运动预测与多特征融合的车辆跟踪方法，所述方法包括：

步骤1)遍历跟踪列表从视频帧获得预测区域内的跟踪目标车辆的包围框；

步骤2)判断各个跟踪目标车辆是否存在交叠，如果存在交叠则进入步骤3)，否则，进入步骤5)；

步骤3)计算交叠目标车辆与原跟踪目标车辆间的多特征融合相似度并进行目标匹配；如果匹配成功，则转入步骤5)；否则，统计目标丢失帧数，转入步骤4)；

步骤4)如果目标丢失帧数大于阈值，不将该目标车辆加入跟踪列表；否则，将目标车辆加入跟踪列表，更新滤波模板；

步骤5)基于运动预测估计下一帧的预测区域；

步骤6)跟踪列表中的所有跟踪目标车辆处理完成后，读入下一个视频帧，转入步骤1)，直到视频帧采集结束。

作为上述方法的一种改进，所述步骤1)具体包括：

步骤1-1)对跟踪目标列表中各个目标车辆的预测区域进行多尺度缩放，提取各个尺度的HOG特征，得到特征循环矩阵；

HOG特征向量为h＝[h₀,h₁,…,h_N-1]，其特征循环矩阵H表示为：

对特征循环矩阵H进行离散傅立叶变换矩阵对角化，得到：

其中，表示离散傅立叶变换，F表示DFT矩阵，FH表示F的共轭转置

步骤1-2)通过快速傅立叶变换将上述特征循环矩阵映射到频域空间，然后将特征循环矩阵与对应的相关滤波模板进行卷积运算，获得最大响应位置和各个缩放尺度下响应最大的尺度；

相关滤波模板为特征岭回归的关于参数w的解：

其中，y为中心与目标中心重合的高斯函数，⊙为频域点乘运算，λ为正则化参数；

步骤1-3)将目标车辆中心新的位置设置为最大响应位置，各个缩放尺度下目标车辆的新尺度设置为对应缩放尺度下的响应最大的尺度，对目标车辆矩形框按对应尺度进行缩放，获得目标车辆的包围框。

作为上述方法的一种改进，所述步骤1-1)中，初始预测区域的选取方法为：获得各个跟踪目标车辆对应的相关滤波模板F(w)后，以第i个跟踪目标车辆的初始跟踪位置(x_i,y_i)为中心，将初始车辆目标矩形框放大到原始框1.5倍所得区域为下一帧的预测区域P_i。

作为上述方法的一种改进，所述步骤1-1)中的对跟踪目标列表中各个跟踪目标车辆的预测区域进行多尺度缩放，具体为：使用双三次插值法，对跟踪目标列表中各个目标车辆的原始预测区域图像分别放大到原始的1.05倍、缩小到原始的0.95倍和保持原始尺度预测区域图像不变。

作为上述方法的一种改进，所述步骤3)具体包括：

步骤3-1)提取当前帧单个交叠目标包围框与发生交叠的所有目标包围框的CN特征；

步骤3-2)计算当前帧单个交叠目标与发生交叠的所有目标所对应HOG与CN特征的多特征融合相似度；

步骤3-3)对于多特征融合相似度大于预设阈值的各组结果，则多特征融合相似度最大的一对为同一目标，即当前帧该目标与对应的原跟踪目标为同一目标；否则认为匹配失败。

作为上述方法的一种改进，所述步骤3-2)具体包括：

步骤3-2-1)由检测结果包围框的HOG特征HOG1与对应目标跟踪包围框的HOG特征HOG2计算两者的修正余弦距离为：simHOG＝sim(HOG1,HOG2)；

所述修正余弦距离sim(HOG1,HOG2)的定义如下：

其中，是特征向量X＝(x₁,x₂,...,x_n)^T的均值，x_i是向量X中索引值为i的元素；是初始特征向量Y＝(y₁,y₂,...,y_n)^T的均值，y_i是初始特征向量Y中索引值为i的元素；

步骤3-2-2)由检测结果包围框的CN特征与对应目标跟踪包围框的CN特征的计算得到两者的修正余弦距离simCN；

步骤3-2-3)由检测结果中心位置与对应目标前两帧跟踪中心位置计算得到运动方向偏移角θ的余弦值cosθ；

其中，θ为连续三帧间目标运动方向偏移角；dx₁,dy₁,dx₂,dy₂由两帧前目标中心位置P_t-2(x_t-2,y_t-2)，一帧前中心位置P_t-1(x_t-1,y_t-1)，当前帧中心位置P_t(x_t,y_t)计算而得：

dx₁＝x_t-1-x_t-2

dy₁＝y_t-1-y_t-2

dx₂＝x_t-x_t-1

dy₂＝y_t-y_t-1

步骤3-2-4)多特征融合的相似度sim为：

sim＝simHOG+simCN+cosθ。

作为上述方法的一种改进，所述步骤4)中更新滤波模板的具体步骤包括：对当前帧实现匹配的已跟踪目标车辆，将其丢失帧数清零，由新的跟踪目标车辆的外观与尺度信息更新对应的滤波模板；对当前帧未能实现匹配的已跟踪车辆目标，保持其丢失帧数，不更新滤波模板。

作为上述方法的一种改进，所述步骤5)具体包括：

步骤5-1)由前一帧目标中心位置与当前帧跟踪定位目标中心位置，获得两帧间目标在图像中的像素位移，下一帧的车辆可能中心位置为当前中心位置与像素位移之和；

步骤5-2)以下一帧的车辆可能中心位置为中心，将当前车辆目标包围框放大到原始框的1.5倍所得区域为下一帧预测区域。

作为上述方法的一种改进，所述方法还包括：步骤7)基于视频帧对跟踪车辆的进行匹配检测，具体包括：

步骤7-1)获得车辆检测矩形包围框并提取检测特征：HOG特征和CN特征；

步骤7-2)将检测特征与跟踪列表中车辆的特征进行匹配；如果匹配成功，转入步骤7-5)，否则，转入步骤7-3)；

步骤7-3)对未匹配的车辆目标更新其丢失帧数；

步骤7-4)由未匹配的检测结果初始化滤波模板，将其加入车辆跟踪列表，估计下一帧预测区域；

步骤7-5)更新对应的滤波模板；

步骤7-6)所有检测结果匹配完成后读入下一视频帧，直到视频结束。

作为上述方法的一种改进，所述步骤7-2)具体为：

当检测结果包围框与跟踪目标车辆包围框存在唯一对应的交叠时认为两者为同一目标可以直接相互匹配；当检测结果包围框与跟踪车辆包围框存在多个对应的交叠时，计算运动特征多特征融合的相似度；相似度最大的一组检测结果与跟踪目标相互匹配；否则，认为未能实现匹配。

本发明的优点在于：

1、本发明利用基于相关滤波的快速跟踪方法实现对车辆目标的跟踪，为后续进一步的基于道路监控视频的道路状态分析提供了最基本的车辆轨迹运动信息，一定程度减少了当前对人力监视道路视频的依赖；

2、本发明通过对车辆检测器的调用实现了定期检测，可以满足应用中对跟踪车辆的加入与更新的需求；

3、本发明利用基于运动预测的方法对相邻帧内车辆的运动范围作了更为准确的估计，增强了对快速运动车辆目标的跟踪能力；本发明利用多特征融合的方法对相互遮挡交叠的车辆目标进行新关联匹配，减少了对遮挡交叠目标的跟踪错误；同时本发明中正常跟踪时仅提取车辆目标区域HOG特征，只在目标间发生交叠跟踪可能不准的情况才进一步提取CN特征计算多特征融合相似度，这一策略在尽可能不影响跟踪精度的前提下也确保了跟踪处理速度，最终实现了快速准确的车辆跟踪。

附图说明

图1是本发明的一种基于运动预测与多特征融合的车辆跟踪方法的流程示意图；

图2是本发明实施例中的运动方向偏移角计算示意图；

图3是本发明实施例中的相邻帧间目标运动预测示意图。

具体实施方式

以下结合附图和具体实施方式对本发明作进一步的详细说明。

如图1所示，本发明的实施例提供了一种基于运动预测与多特征融合的车辆跟踪方法，该方法根据道路场景视频图像，每帧输出车辆目标的定位包围框信息，最终可获得视频图像中车辆目标的运动轨迹信息，进而可分析各类交通参数以供后续应用。所述方法具体步骤包括：

步骤1)读入视频帧，判断是否启动车辆检测器，启动时则进入步骤2)的检测流程，不启动则进入步骤3)的跟踪流程。

本实施例中，车辆检测器可根据需求自行选取。检测器输入视频图像，输出车辆目标的矩形包围框信息。由于车辆检测器处理速度普遍较慢，为减少对跟踪方法整体处理速度的影响，车辆检测器并不在每一帧中运行，而是每隔一定周期帧数启动一次进行检测流程，以实现跟踪车辆的加入与更新。不启动检测器时进行跟踪流程，应用所述的车辆跟踪方法对车辆进行跟踪。步骤2)检测与步骤3)跟踪不会在对同一帧图像的处理中共同进行，以下将对其流程进行分别表述。

步骤2)检测流程

步骤2.1)获得车辆检测矩形包围框并提取梯度HOG特征和颜色CN特征；

本实施例中，车辆检测器输出了各个车辆目标的矩形包围框A_i＝(x_i,y_i,w_i,h_i)，其中(x_i,y_i)为目标矩形框的中心坐标，(w_i,h_i)分别为矩形框的宽、高，由这四个参数可以唯一确定一个目标矩形包围框。分别提取各个包围框区域的梯度HOG特征h与颜色CN特征n。

其中，梯度HOG特征描述了目标的边缘轮廓纹理信息，为便于说明，将其在本实施例中的主要提取流程叙述如下：

1.对输入的M*N灰度图像区域进行归一化操作；

2.计算图像中每个像素的梯度；

3.将图像划分按cell_x*cell_y尺寸划分为一个个小胞元，在每一个小胞元内包括了共计9个无方向的直方图，胞元特征维数为9cell_x*cell_y；

4.一定个数胞元组成一个block_x*block_y图像块，将一个图像块内所有梯度直方图进行串联组合操作，可以获得这一图像块的特征，图像块特征维数9(block_x/cell_x)*(block_y/cell_y)；

5.将图像内的所有图像块的特征进行串联组合，所获得的特征即为该图像的HOG特征；其中，图像内的块个数ceil(M/block_x)*ceil(N/block_y)作了向上取整处理，总特征维数为：

ceil(M/block_x)*ceil(N/block_y)*9(block_x/cell_x)*(block_y/cell_y)

相应的，颜色CN特征描述了目标的颜色信息，为便于说明，将其在本实施例中的主要提取流程叙述如下：

1.对M*N的目标图像区域，计算其11维颜色特征ori，其特征维数一共为M*N*11；

2.计算各个维度的均值，各个维度减去均值中心化得到矩阵data，其协方差矩阵cov满足cov＝(data'*data)/(m*n)，维度降为11*11；

3.对covS进行SVD奇异值分解，得到特征值矩阵pca_var与特征向量矩阵pca_basis；

4.选取特征值矩阵pca_var的前两个特征值及对应的特征向量矩阵pca_basis中的特征向量组成投影矩阵projection；

5.利用投影矩阵projection对原始样本ori进行投影，降维后的新矩阵即为最终的CN特征，特征维数M*N*2。

步骤2.2)将检测结果与跟踪列表中车辆进行匹配；

本实施例中，当检测结果包围框与跟踪车辆包围框存在唯一对应的交叠时，认为两者为同一目标，可以直接相互匹配；当检测结果包围框与跟踪车辆包围框存在多个对应的交叠时，计算各自的HOG特征与CN特征、运动特征多特征融合的相似度sim。相似度最大的一组检测结果与跟踪目标可以相互匹配；否则认为未能实现匹配。

其中，由检测结果包围框的HOG特征与对应目标跟踪包围框的HOG特征的计算可以得到两者的修正余弦距离simHOG，由检测结果包围框的CN特征与对应目标跟踪包围框的CN特征的计算可以得到两者的修正余弦距离simHOG，由检测结果中心位置与对应目标前两帧跟踪中心位置计算得到运动方向偏移角θ的余弦值cosθ。多特征融合的相似度sim在本发明实施例中定义为三者之和，即sim＝simHOG+simCN+cosθ；本实施例所述的多特征融合的相似度综合而全面地考虑到了目标的边缘轮廓、颜色、运动特征信息，能够稳定高效的实现目标间的关联匹配。

所述修正余弦距离sim在本发明实施例中定义如下：

其中，是特征向量X＝(x₁,x₂,...,x_n)^T的均值，x_i是向量X中索引值为i的元素；是初始特征向量Y＝(y₁,y₂,...,y_n)^T的均值，y_i是初始特征向量Y中索引值为i的元素。修正余弦距离在常用的余弦距离描述向量间方向差异的基础上，计算时对向量的每个维度减去了其均值，这一操作使得修正余弦距离对向量间距离的描述能力大大增强，在对目标间相似程度进行评估时更为精确可靠。

所述运动特征为运动方向偏移角θ的余弦。参考图2，为本发明实施例提供的运动方向偏移角计算示意图。θ在本发明实施例中有：

上述式子中，θ为连续三帧间目标运动方向偏移角。dx₁,dy₁,dx₂,dy₂可由两帧前目标中心位置P_t-2(x_t-2,y_t-2)，一帧前中心位置P_t-1(x_t-1,y_t-1)，当前帧中心位置P_t(x_t,y_t)计算而得，即：

dx₁＝x_t-1-x_t-2

dy₁＝y_t-1-y_t-2

dx₂＝x_t-x_t-1

dy₂＝y_t-y_t-1

本实施例中，使用运动方向偏移角θ的余弦值cosθ作为运动特征来描述目标运动的运动状态时，cosθ越大表示目标运动状态改变量越小，连续三帧间的运动位置越可信。

步骤2.3)对未匹配的跟踪目标更新其丢失帧数；

步骤2.4)由未匹配的检测结果初始化滤波模板，将其加入车辆跟踪列表，估计下一帧预测区域；

本实施例中，认为未匹配的检测结果为新加入的车辆，将其加入车辆跟踪列表。记录检出目标的HOG特征与CN特征为该对应目标的初始特征，以供跟踪阶段的目标匹配过程使用。为加快跟踪处理速度，本实施例中仅使用HOG特征来对滤波模板进行初始化以及后续的更新等操作。在步骤2.2)中所提取到的HOG特征基础上，对新加入车辆的滤波模板进行初始化的过程详述如下：

对于获得的HOG特征向量h＝[h₀,h₁,…,h_N-1]，其特征循环矩阵可表示为：

任意循环矩阵均可以被离散傅立叶变换矩阵对角化，即：其中，表示离散傅立叶变换(DFT)，F表示DFT矩阵，(·)H表示共轭转置。相关滤波模板为特征岭回归的关于参数w的解，即：

其中，y为中心与目标中心重合的高斯函数，⊙为频域点乘运算，λ为正则化参数。由上式可以看出，这一操作将时域上的卷积运算转化为频域上的点乘运算，可以大大降低运算过程的复杂度。

本实施例中，获得各个跟踪目标对应的相关滤波模板F(w)后，以初始跟踪位置(x_i,y_i)为中心，将初始车辆目标矩形框放大到原始框1.5倍所得区域为下一帧预测区域P_i，即P_i＝(x_i,y_i,1.5w_i,1.5h_i)。

步骤2.5)匹配成功则更新对应滤波模板；

本实施例中，检出目标与原跟踪目标成功匹配时，由检出目标包围框信息更新对应的滤波模板，记录检出目标的HOG特征与CN特征为该对应目标的初始特征，以供跟踪阶段的目标匹配过程使用。

步骤2.6)所有检测结果匹配完成后返回步骤1)读入下一视频帧直到视频结束。

本实施例中，完成所有匹配操作后，若视频尚未结束，则读入下一帧视频图像，返回步骤1)继续流程。

步骤3)跟踪流程

步骤3.1)使用基于相关滤波的方法，遍历跟踪列表对车辆进行跟踪，获得车辆跟踪包围框；

本实施例中，对跟踪目标列表A＝{A₁,A₂,...,A_i}，遍历各个目标A_i，对其预测区域P_i进行多尺度缩放，提取各个尺度的HOG特征，得到特征循环矩阵H_i。其中，为保证跟踪处理速度，控制特征提取运算的时间，使用双三次插值法将目标的原始预测区域图像分别放大到原始的1.05倍与缩小到原始的0.95倍，与原始尺度预测区域图像一共三个图像块。

本实施例中，通过快速傅立叶变换FFT将上述循环矩阵映射到频域空间；特征矩阵与对应的相关滤波模板进行卷积运算，在即频域空间中的点乘运算；获得的最大响应位置为跟踪目标中心新的位置(x_t,y_t)，各个缩放尺度下响应最大的尺度为跟踪目标的新尺度，对初始车辆矩形框按对应尺度进行缩放，获得跟踪目标新的跟踪框。

步骤3.2)判断各个跟踪目标预测区域是否存在交叠，存在交叠则进入步骤3.3)，否则进入步骤3.5)；

步骤3.3)计算交叠目标与原跟踪目标间的多特征融合相似度并进行目标匹配，匹配失败目标，则统计其丢失帧数；

本实施例中，检测流程中可获得目标的初始HOG特征与CN特征。由预测区域的HOG特征与对应目标的初始HOG特征的计算得到两者的修正余弦距离simHOG，由预测区域的CN特征与对应目标的初始CN特征的计算得到两者的修正余弦距离simCN，由预测区域中心位置与对应目标前两帧跟踪中心位置计算得到运动方向偏移角θ的余弦值cosθ。多特征融合的相似度sim在本发明实施例中定义为三者之和，即sim＝simHOG+simCN+cosθ。其中，本实施例所述的修正余弦距离与运动方向偏移角计算方法与步骤2.1)中所述方法相同。

在本实施例中，正常跟踪时仅提取车辆目标区域HOG特征，只在目标间发生交叠跟踪可能不准的情况才进一步提取CN特征与运动特征计算多特征融合相似度，这一策略在尽可能不影响跟踪精度的前提下也确保了跟踪处理速度，最终实现了快速准确的车辆跟踪。

本实施例中，设置相似度阈值为0.8。对sim>0.8的各组结果，认为其中相似度最大的一对为同一目标，即当前帧跟踪目标与初始特征所对应的原跟踪目标为同一目标。对遍历后所有sim<＝0.8的单个交叠目标，认为该交叠目标匹配失败，疑似丢失，其丢失帧数num＝num+1；

步骤3.4)判断当前跟踪目标丢失帧数是否大于阈值，如果判断结果是可定的，则认为该目标已经离开，不再对该目标进行跟踪，不加入跟踪列表，否则，进入步骤3.5)；

本实施例中，设置目标丢失阈值为10。

步骤3.5)将跟踪目标加入跟踪列表，更新滤波模板；

在本实施例中，将3.4)中丢失帧数不大于阈值的目标与3.2中无交叠的目标加入跟踪列表A＝{A₁,A₂,...,A_i}，将其丢失帧数num清零，由当前帧跟踪目标包围框的外观与尺度信息更新对应的滤波模板。而对当前帧未能实现匹配的已跟踪目标，保持其丢失帧数不变，不更新滤波模板。

步骤3.6)基于运动预测估计下一帧的位置与可能区域；

参考图3，为本发明实施例提供的相邻帧间目标运动预测示意图。在本实施例中，由前一帧目标中心位置(x_t-1,y_t-1)与当前帧跟踪定位目标中心位置(x_t,y_t)，获得两帧间目标在图像中的像素位移：

Δx＝x_t-x_t-1

Δy＝y_t-y_t-1

本实施例中认为相邻帧间车辆运动状态不会发生巨大改变，下一帧的车辆可能中心位置可以视为当前中心位置与像素位移之和，即：

x_t+1＝Δx+x_t

y_t+1＝Δy+y_t

以下一帧预测位置(x_t+1,y_t+1)为中心，将当前车辆目标矩形框放大到原始框1.5倍所得区域为下一帧预测区域，即预测矩形区域为(x_t+1,y_t+1,1.5w_t,1.5h_t)。本实施例中的预测矩形区域以运动预测后的位置为中心，与未使用运动预测的以跟踪位置为中心预测矩形区域的跟踪方法相比，能够有效的减少因目标快速运动离开预测区域而造成的跟踪丢失，大大增强对快速运动目标的跟踪性能。

进一步的，本实施例中通过设置丢失帧数这一参数，把因短时遮挡、交叠，偶然漏检等因素而出现的跟踪丢失纳入了考虑范围，只有连续丢失达到一定时间的目标才会被判定为退出结束其跟踪。在发生跟踪丢失状况时，预测的跟踪目标外观信息受到了其他目标与背景信息的影响已不可靠，此时中止对其滤波模板的更新，以相对可靠的丢失前跟踪模板作为后续重新跟踪识别的基础。同时，暂时丢失的目标可能仍然保持着原来的运动状态，重新出现能够被再次跟踪匹配时目标可能已经远离原预测区域，此时容易被识别为一个新的车辆目标，出现匹配错误。在加入运动预测后，对已丢失目标仍然保持运动预测与预测区域的估计，此类匹配错误可以得到一定的减少。

步骤3.7)所有跟踪目标处理完成后返回步骤1)读入下一视频帧直到视频结束。

本实施例中，完成所有跟踪目标处理后，若视频尚未结束，则读入下一帧视频图像，返回步骤1)继续流程。

本实施例所提出的一种基于运动预测与多特征融合的车辆跟踪方法在夜间、拥堵等复杂道路场景中仍然能够正常运行，对车辆目标可以实现稳定准确的跟踪。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于运动预测与多特征融合的车辆跟踪方法，所述方法包括：

步骤1)遍历跟踪列表从视频帧获得预测区域内的跟踪目标车辆的包围框；

步骤2)判断各个跟踪目标车辆是否存在交叠，如果存在交叠则进入步骤3)，否则，进入步骤5)；

步骤3)计算交叠目标车辆与原跟踪目标车辆间的多特征融合相似度并进行目标匹配；如果匹配成功，则转入步骤5)；否则，统计目标丢失帧数，转入步骤4)；

步骤4)如果目标丢失帧数大于阈值，不将该目标车辆加入跟踪列表；否则，将目标车辆加入跟踪列表，更新滤波模板；

步骤5)基于运动预测估计下一帧的预测区域；

步骤6)跟踪列表中的所有跟踪目标车辆处理完成后，读入下一个视频帧，转入步骤1)，直到视频帧采集结束。

2.根据权利要求1所述的基于运动预测与多特征融合的车辆跟踪方法，其特征在于，所述步骤1)具体包括：

步骤1-1)对跟踪目标列表中各个目标车辆的预测区域进行多尺度缩放，提取各个尺度的HOG特征，得到特征循环矩阵；

HOG特征向量为h＝[h₀,h₁,…,h_N-1]，其特征循环矩阵H表示为：

对特征循环矩阵H进行离散傅立叶变换矩阵对角化，得到：

其中，表示离散傅立叶变换，F表示DFT矩阵，F^H表示F的共轭转置

步骤1-2)通过快速傅立叶变换将上述特征循环矩阵映射到频域空间，然后将特征循环矩阵与对应的相关滤波模板进行卷积运算，获得最大响应位置和各个缩放尺度下响应最大的尺度；

相关滤波模板为特征岭回归的关于参数w的解：

其中，y为中心与目标中心重合的高斯函数，⊙为频域点乘运算，λ为正则化参数；

步骤1-3)将目标车辆中心新的位置设置为最大响应位置，各个缩放尺度下目标车辆的新尺度设置为对应缩放尺度下的响应最大的尺度，对目标车辆矩形框按对应尺度进行缩放，获得目标车辆的包围框。

3.根据权利要求2所述的基于运动预测与多特征融合的车辆跟踪方法，其特征在于，所述步骤1-1)中，初始预测区域的选取方法为：获得各个跟踪目标车辆对应的相关滤波模板F(w)后，以第i个跟踪目标车辆的初始跟踪位置(x_i,y_i)为中心，将初始车辆目标矩形框放大到原始框1.5倍所得区域为下一帧的预测区域P_i。

4.根据权利要求2或3所述的基于运动预测与多特征融合的车辆跟踪方法其特征在于，所述步骤1-1)中的对跟踪目标列表中各个跟踪目标车辆的预测区域进行多尺度缩放，具体为：使用双三次插值法，对跟踪目标列表中各个目标车辆的原始预测区域图像分别放大到原始的1.05倍、缩小到原始的0.95倍和保持原始尺度预测区域图像不变。

5.根据权利要求1所述的一种基于运动预测与多特征融合的车辆跟踪方法，其特征在于，所述步骤3)具体包括：

步骤3-1)提取当前帧单个交叠目标包围框与发生交叠的所有目标包围框的CN特征；

步骤3-2)计算当前帧单个交叠目标与发生交叠的所有目标所对应HOG与CN特征的多特征融合相似度；

步骤3-3)对于多特征融合相似度大于预设阈值的各组结果，则多特征融合相似度最大的一对为同一目标，即当前帧该目标与对应的原跟踪目标为同一目标；否则认为匹配失败。

6.根据权利要求5所述的一种基于运动预测与多特征融合的车辆跟踪方法，其特征在于，所述步骤3-2)具体包括：

步骤3-2-1)由检测结果包围框的HOG特征HOG1与对应目标跟踪包围框的HOG特征HOG2计算两者的修正余弦距离为：simHOG＝sim(HOG1,HOG2)；

所述修正余弦距离sim(HOG1,HOG2)的定义如下：

其中，是特征向量X＝(x₁,x₂,...,x_n)^T的均值，x_i是向量X中索引值为i的元素；是初始特征向量Y＝(y₁,y₂,...,y_n)^T的均值，y_i是初始特征向量Y中索引值为i的元素；

步骤3-2-2)由检测结果包围框的CN特征与对应目标跟踪包围框的CN特征的计算得到两者的修正余弦距离simCN；

步骤3-2-3)由检测结果中心位置与对应目标前两帧跟踪中心位置计算得到运动方向偏移角θ的余弦值cosθ；

其中，θ为连续三帧间目标运动方向偏移角；dx₁,dy₁,dx₂,dy₂由两帧前目标中心位置P_t-2(x_t-2,y_t-2)，一帧前中心位置P_t-1(x_t-1,y_t-1)，当前帧中心位置P_t(x_t,y_t)计算而得：

dx₁＝x_t-1-x_t-2

dy₁＝y_t-1-y_t-2

dx₂＝x_t-x_t-1

dy₂＝y_t-y_t-1

步骤3-2-4)多特征融合的相似度sim为：

sim＝simHOG+simCN+cosθ。

7.根据权利要求1所述的一种基于运动预测与多特征融合的车辆跟踪方法，其特征在于，所述步骤4)中更新滤波模板的具体步骤包括：对当前帧实现匹配的已跟踪目标车辆，将其丢失帧数清零，由新的跟踪目标车辆的外观与尺度信息更新对应的滤波模板；对当前帧未能实现匹配的已跟踪车辆目标，保持其丢失帧数，不更新滤波模板。

8.根据权利要求1所述的一种基于运动预测与多特征融合的车辆跟踪方法，其特征在于，所述步骤5)具体包括：

步骤5-1)由前一帧目标中心位置与当前帧跟踪定位目标中心位置，获得两帧间目标在图像中的像素位移，下一帧的车辆可能中心位置为当前中心位置与像素位移之和；

步骤5-2)以下一帧的车辆可能中心位置为中心，将当前车辆目标包围框放大到原始框的1.5倍所得区域为下一帧预测区域。

9.根据权利要求1所述的基于运动预测与多特征融合的车辆跟踪方法，其特征在于，所述方法还包括：步骤7)基于视频帧对跟踪车辆的进行匹配检测，具体包括：

步骤7-1)获得车辆检测矩形包围框并提取检测特征：HOG特征和CN特征；

步骤7-2)将检测特征与跟踪列表中车辆的特征进行匹配；如果匹配成功，转入步骤7-5)，否则，转入步骤7-3)；

步骤7-3)对未匹配的车辆目标更新其丢失帧数；

步骤7-4)由未匹配的检测结果初始化滤波模板，将其加入车辆跟踪列表，估计下一帧预测区域；

步骤7-5)更新对应的滤波模板；

步骤7-6)所有检测结果匹配完成后读入下一视频帧，直到视频结束。

10.根据权利要求9所述的基于运动预测与多特征融合的车辆跟踪方法，其特征在于，所述步骤7-2)具体为：

当检测结果包围框与跟踪目标车辆包围框存在唯一对应的交叠时认为两者为同一目标可以直接相互匹配；当检测结果包围框与跟踪车辆包围框存在多个对应的交叠时，计算运动特征多特征融合的相似度；相似度最大的一组检测结果与跟踪目标相互匹配；否则，认为未能实现匹配。