CN102881024A - 一种基于tld的视频目标跟踪方法 - Google Patents

Abstract

本发明公开一种基于TLD的视频目标跟踪方法，步骤是：（1）在跟踪目标的起始帧，根据给出的位置和大小信息生成图像子窗口，对检测器进行训练；（2）跟踪器根据目标在上一帧中的位置和大小信息，估计出目标在当前帧中所在的区域；（3）用检测器对当前帧进行检测，找出当前帧中所有可能的目标；（4）对跟踪器和检测器的结果进行融合处理，判断当前帧是否存在目标，不存在则返回步骤（3）对下一帧进行处理；存在则给出目标位置以及判断当前帧的跟踪轨迹是否有效，无效则返回步骤（2）对下一帧进行处理；有效则完成检测器的在线更新，回到步骤（2）对下一帧进行处理。此种方法对现有的TLD算法进行改进，获得比TLD算法更理想的视频目标跟踪算法。

Description

一种基于TLD的视频目标跟踪方法

技术领域

本发明属于目标检测与跟踪领域，特别涉及一种针对当前新兴的视频跟踪算法TLD的改进。

背景技术

目标跟踪是计算机视觉研究领域中的关键问题，其本质是根据参考图像帧中选定的目标在接下来的图像帧中寻找目标的最佳位置，并在多个领域有着重要的研究和应用价值,如民用领域中的智能交通系统，军事领域中的导航、制导、以及防卫等系统。一套性能优良的跟踪系统面临着多方面的挑战，如跟踪点变化、光照影响、快速运动、目标遮挡或消失、复杂背景等。

TLD是一种长期、在线、最少先验信息的目标跟踪方法，主要由三个部分组成：跟踪器、检测器和学习模块。跟踪器部分由一个短周期自适应跟踪器构成，在帧间运动有限、目标可见的情况下，用来预测目标在连续帧间的运动；检测器部分为一个高效的级联分类器，创建使用了简单有效图像特征，可以对目标进行实时的检测，同时在必要的情况下纠正跟踪器；学习模块评估跟踪器和检测器的性能，通过生成有效的训练样本完成检测器的更新，消除检测器误差。

TLD算法的框架结构如图1所示。在跟踪目标的起始帧，通过给出目标的位置和大小，完成对TLD算法的初始化；在随后的跟踪过程中，对每一帧图像用跟踪器和检测器共同进行处理，跟踪器根据前一帧中目标的位置信息来估计当前帧中目标所在的位置，检测器对当前帧窗口全局扫描，检测出一个或者多个可能的目标位置，检测结果和跟踪结果输入到融合处理模块，该模块给出当前帧是否存在目标、目标位置以及到当前帧的跟踪轨迹是否有效等信息；这些融合处理结果、联合检测结果和跟踪结果一起输入到学习模块，学习模块完成对跟踪器和检测器的更新。

TLD是一套高效的目标跟踪算法，只需要较少的先验信息就可以实现对目标的长期在线跟踪，运算速度快，实时性高，并且能有效地适用于目标被遮挡或者消失的场合和目标外表在跟踪过程中发生变化的情况，因此，对该算法的研究有着极其重要的意义。

在对TLD算法进行测试分析和研究的过程中，找出了该算法中存在的一些不足，加以改进，本案由此产生。

发明内容

本发明的目的，在于提供一种基于TLD的视频目标跟踪方法，其对现有的TLD算法进行改进，能够获得比TLD算法更理想的视频目标跟踪算法。

为了达成上述目的，本发明的解决方案是：

一种基于TLD的视频目标跟踪方法，包括如下步骤：

（1）在跟踪目标的起始帧，根据给出的所跟踪目标的位置和大小信息，生成图像子窗口，对检测器进行训练；

（2）跟踪器根据目标在上一帧中的位置和大小信息，估计出目标在当前帧中所在的区域；

（3）用检测器对当前帧进行检测，找出当前帧中所有可能的目标；

（4）对跟踪器和检测器的结果进行融合处理，判断出当前帧是否存在目标，如果不存在目标，则返回步骤（3）开始对下一帧的处理；如果存在目标，则给出目标位置以及判断当前帧的跟踪轨迹是否有效，如果无效，则返回步骤（2），对下一帧进行处理；如果有效，则进入学习模块，通过P-N Learning完成检测器的在线更新，然后回到步骤（2），开始对下一帧进行处理。

上述步骤（2）的具体内容是：

（21）目标在上一帧的目标边界框由其位置和大小信息获得，由Cell FoT在该边界框中选择好的特征点，并通过光流法完成相邻两帧间特征点的跟踪；

（22）通过∑删除部分经过一次光流法后跟踪失败的局部跟踪器，所述∑包括Nh、Mp和NCC；

（23）对经由∑删除后最终剩余的局部跟踪器，计算每个局部跟踪器对应的位移以及其距离在相邻帧间的比例变化值，以位移以及距离比例的中位值分别作为所跟踪目标边界框在相邻帧间的位移变化和大小变化，从而估计得到在当前帧上的目标区域。

上述步骤（22）的详细内容是：首先，当前帧的所有局部跟踪器通过NCC进行删选；然后，满足NCC后的局部跟踪器加入到Nh进行删选；最后，剩余的局部跟踪器加入到Mp进行最后的删选，最终得到的局部跟踪器用来更新目标边界框。

上述步骤（3）的具体内容是：

（31）使用卡尔曼滤波器和Mp对TLD检测区域进行预测，完成目标在当前帧中大致区域的预测；卡尔曼滤波器根据之前帧中目标的位置，以目标的中心点位置为状态量，预测出当前帧中目标的中心点，以该点为中心划定一个矩形区域，且该矩形区域的大小为上一帧目标面积的4倍，该矩形即为卡尔曼滤波器最终预测得到的目标区域；Mp根据之前帧中目标运动的方向预测目标在当前帧的运动方向，根据上一帧目标所在位置，可以在当前帧中划定一个区域，目标假定应该出现在该区域中，该区域即为Mp预测得到的区域；

（32）对当前帧中所有的图像子窗口，找出其中与经由Kalman预测得到的目标区域有交集的子窗口；再在其中找出包含于经由Mp预测得到的图像区域中的子窗口，这些子窗口即为符合卡尔曼滤波器和Mp共同预测结果的子窗口；

（33）对前述符合预测结果的图像子窗口，加入到检测器中以判读子窗口中的图像是否为目标。

上述步骤（4）中，判断当前帧是否存在目标及目标位置的判据如下：若跟踪器和检测器都没有跟踪得到或者检测得到目标信息，则认为当前帧中不含有目标；若跟踪器和检测器的结果中都包含目标位置信息，且检测器认为其检测到的区域被认为非常可能是目标，则以检测器得到的目标区域为当前帧上的最终目标位置，否则，当前帧上最终的目标位置为跟踪器和检测器目标位置信息的均值；若跟踪器有目标位置信息，而检测器没有得到目标位置信息，则以跟踪器得到的目标区域作为当前帧中最终目标的位置；若跟踪器无目标位置信息，而检测器包含目标位置信息，则以检测器检测得到的区域作为当前帧上最终的目标位置。

上述步骤（4）中，判断当前帧的跟踪轨迹是否有效的判据如下：若判读当前帧中存在目标，则给出当前帧的跟踪轨道是否有效的置信值，该值通过计算当前跟踪所得目标与已加入到在线模型中图像区域之间的相似程度得到，当相似程度超过阈值则判定当前所得的跟踪轨道是有效的。

上述步骤（4）中，检测器的在线更新的过程是：在P-N Learning中，定义P结构约束和N结构约束，P结构约束用来表征被分类器分类为negative但是结构约束却要求其类别应该为positive的样本，要求所有靠近有效跟踪轨道的图像区域其类别标签应该为positive；N结构约束表征被分类器分类为positive但是结构约束却要求其类别为negative的样本，要求所有包围有效跟踪轨道的图像区域其类别标签为negative；P-N Learning通过P结构约束和N结构约束生成有效的训练样本，形成新的已标签训练样本集，把该样本集加入到检测器中，更新检测器中的集成分类器，同时更新在线目标模型和最近邻域分类器。

采用上述方案后，本发明具有以下改进：

（1）在TLD的跟踪器中采用Cell FoT+∑法进行设计，取代原始TLD算法中的Grid FoT+FB+NCC法，该方法不仅具有较强的跟踪精度和鲁棒性，而且也提高了运算速度；

（2）在TLD的检测器中引入Kalman滤波器预测TLD在当前帧上的目标检测区域，从而缩小了TLD算法中的检测范围，在跟踪精度基本保持不变的情况下提高TLD算法的处理速度；

（3）在TLD的检测器中加入了基于马尔可夫模型的方向预测器，提高了TLD对相似目标交会后的辨识能力。

附图说明

图1是现有TLD算法的框架结构图；

图2是Cell FoT示意图；

图3是邻域一致预测器示意图；

图4是使用Kalman滤波器对目标运动预测以减小扫描区域的示意图；

图5是马尔可夫模型的示意图；

图6是根据图5所示马尔可夫模型预测当前目标运动方向从而确定检测区域的示意图。

具体实施方式

以下将结合附图，对本发明的技术方案及有益效果进行详细说明。

本发明对现有的TLD算法进行了三个方面的改进，以下将进行详细的介绍。

一、基于Cell FoT+∑法的TLD跟踪器设计

TLD的跟踪器部分采用Cell FoT+∑法进行设计，该方法是一种高效的点跟踪算法，相比较原始TLD中跟踪器采用的Grid FoT+FB+NCC法，不仅鲁棒性得到加强，处理速度也得到很大的提高。

Cell FoT选择好的特征点进行跟踪，每个特征点赋予一个局部跟踪器，允许局部跟踪器跟踪好的漂移点。Grid FoT在每次预测目标全局运动后，局部跟踪器需重置到原先位置，若初始选择的跟踪点不利于跟踪，则局部跟踪器易发生错误漂移；而Cell FoT强制每个局部跟踪器在其特定的单元中，这些单元覆盖了整个目标区域，允许局部跟踪器在其对应单元内发生漂移，从而在每个单元中选择最佳的位置点作为跟踪点，相比较Grid FoT，效果更优。∑是一个强力高效的预测器，用来删除部分跟踪失败的局部跟踪器，由Nh(Neighborhoodconsistency constraint predictor)、Mp(Markov predictor)和NCC(NormalizedCross Correlation)组成，其中，Nh为一个邻域一致预测器，其思想是相邻的局部跟踪器具有相似的运动；Mp为一个马尔可夫预测器，其思想是如果局部跟踪器在过去的最近时刻完好跟踪则在当前时刻仍能完好跟踪；NCC是一计算图像相似程度的方法。∑预测器相比较原始TLD中使用的FB+NCC法具有更强的预测效果，鲁棒性强，同时，计算高效，相比较FB+NCC中两次光流法的运算，∑只需运算一次光流法，处理速度提高。

该算法的整体实现流程如下：在跟踪的起始帧，目标在上一帧的目标边界框由其位置和大小信息获得，并在该边界框中初始化一系列的点，每个点赋予一个局部跟踪器，接着由光流法完成每个局部跟踪器的跟踪，并由∑删除部分跟踪失败的局部跟踪器，剩余的局部跟踪器则用来更新目标边界框；在后续跟踪过程中，对每一帧图像，由Cell FoT选择好的局部跟踪器进行跟踪，并由∑作为每个局部跟踪器跟踪效果是否优良的一种评估手段，从而删除部分跟踪失败的局部跟踪器，最终剩余的局部跟踪器用来完成目标边界框的更新。其实现步骤是：

1）首先，由Cell FoT选择好的特征点：Cell FoT强制每个局部跟踪器在其特定的单元中，这些单元覆盖了整个目标区域，允许局部跟踪器在其对应单元内发生一定的漂移，从而在每个单元中选择最佳的位置点作为跟踪点。图2为Cell FoT示意图，cw和ch分别表示单元的宽和高，该参数选择的好坏直接影响局部跟踪器的独立性，从而对跟踪结果的造成影响，但考虑方法实现的简单性，选择cw和ch与网格大小一致。在初始帧，所有的局部跟踪初始化到每个网格的中心位置；接下来的每一帧，每个局部跟踪器由光流法进行跟踪，其位置发生漂移，同时记录每个局部跟踪器当前帧位置与上一帧单元中心位置的位移偏差值；对每一个局部跟踪器，若超出其对应单元，则重新初始化到对应单元的中心位置。

2）接着，通过∑删除部分经过一次光流法后跟踪失败的局部跟踪器。

①首先，当前帧的所有局部跟踪器通过NCC进行删选。对每一个局部跟踪器，在当前帧以及上一帧以其为中心分别取一个大小为10×10的图像区域，计算两图像区域的相似度。取所有局部跟踪器相似度的中位值，并以此作为删选标准，将相似度小于该中位值的局部跟踪器予以删除。

②接着，满足NCC后的局部跟踪器加入到邻域一致预测器（Nh）进行删选。

对每一个点（局部跟踪器）i，其邻域定义为N_i，N_i是一个四邻域结构（若点i在边缘，则该点的邻域上存在3个点；若点i在角落，则该点的邻域上存在2个点）。该点的邻域一致系数定义为D_i，为该局部跟踪器i与其邻域中其余局部跟踪器具有相似位移的总个数，其计算公式为：

$D_i=\underset{j\&Element;N_i}{\mathrm{\&Sigma;}}[{\left|\right|{\mathrm{\&Delta;}}_j-{\mathrm{\&Delta;}}_i\left|\right|}^2<\mathrm{\&beta;}]---\left(1\right)$

其中

β为位移差阈值，设为0.5个像素值，Δ_i为局部跟踪器i的位移。若D_i的值不小于1，则该局部跟踪器i予以保留。图3为Nh具体实现过程的一个例子。图中，局部跟踪器a、b（较大黑色实心圆）的邻域为一圆形区域，该局部跟踪器以及邻域边缘上4个局部跟踪器（较小黑色实心圆）的位移值由实线箭头表示。局部跟踪器a与其邻域中其余局部跟踪器中的两个有相似的运动，则认为该局部跟踪器与其邻域有相同的运动趋势，予以保留；局部跟踪器b与其邻域中其余所有局部跟踪器的运动趋势相悖，则认为该局部跟踪器与其邻域没有相同的运动趋势，予以舍弃。

③最后剩余的局部跟踪器加入到马尔可夫预测器（Mp）进行最后的删选，最终得到的局部跟踪器用来更新目标边界框。

Mp为一个马尔可夫预测器，其思想是局部跟踪器在过去的最近时刻完好跟踪则在当前时刻仍能完好跟踪。

对每一个局部跟踪器i，马尔可夫模型的状态空间定义为{inlier=1,outlier=0}，inlier=1表示该局部跟踪器在当前时刻能够完好跟踪，反之亦然。当前预测状态只与上一时刻的状态以及状态转移矩阵有关。

首先，定义局部跟踪器i在t时刻的状态向量：[pⁱ(x_t=1)pⁱ(x_t=0)]^T。其中x_t为任一局部跟踪器在t时刻的状态。pⁱ(x_t=1)表示局部跟踪器i在t时刻能够完好跟踪的概率，该值大于0.5，则该局部跟踪器i予以保留，pⁱ(x_t=0)为其在t时刻跟踪失败的概率。pⁱ(x_t=1)与pⁱ(x_t=0)两者之和等于1。

接着由马尔可夫递推预测下一时刻的状态值：

$\left[\begin{array}{c}{p}^i(x_{t+1}=1)\\ p^i(x_{t+1}=0)\end{array}\right]=T_t^i\&times;\left[\begin{array}{c}{p}^i(x_t=1)\\ p^i(x_t=0)\end{array}\right]---\left(2\right)$

其中

为局部跟踪器i在t时刻的状态转移矩阵，定义为：

$T_t^i=\left[\begin{array}{cc}{p}^i(x_{t+1}=1|x_t=1)& p^i(x_{t+1}=1|x_t=0)\\ p^i(x_{t+1}=0|x_t=1)& p^i(x_{t+1}=0|x_t=0)\end{array}\right]---\left(3\right)$

马尔可夫模型的更新即为状态转移矩阵的计算，而该状态转移矩阵每列之和等于1，因此该状态转移矩阵的计算即是pⁱ(x_t+1=1|x_t=1)和pⁱ(x_t+1=1|x_t=0)的计算：

$p^i(x_{t+1}=1|x_t=1)=\frac{n_{11}^i}{n_1^i},$ $p^i(x_{t+1}=1|x_t=0)=\frac{n_{01}^i}{n_0^i}---\left(4\right)$

其中，n₁（n₀）表示局部跟踪器i在(0～t)时刻中为inlier（outlier）的次数，n₁₁表示局部跟踪器i在(0～t)时刻中上一时刻和当前时刻都为inlier的次数，n₀₁表示局部跟踪器i在(0～t)时刻中上一时刻为outlier而当前时刻为inlier的次数。

最终，若pⁱ(x_t+1=1)的值大于0.5，则认为该局部跟踪器i在(t+1)时刻能够完好跟踪，予以保留。

3）最后，对经由∑删除后最终剩余的局部跟踪器，计算每个局部跟踪器对应的位移以及其距离在相邻帧间的比例变化值，以位移以及距离比例的中位值分别作为所跟踪目标边界框在相邻帧间的位移变化和大小变化，从而估计得到在当前帧上的目标区域。

二、基于Kalman滤波器的TLD目标检测区域预测

该处改进是在TLD的检测器中引入Kalman滤波器来对当前帧目标存在的大致区域进行预测，将所预测的目标区域作为TLD的目标检测区域，从而减少TLD算法中的检测范围，解决原始TLD算法需扫描整幅图像的图像子窗口所带来的耗时问题，可以在跟踪精度基本保持不变的情况下提高TLD算法的处理速度。其具体实现步骤如下：

1）基于Kalman的目标运动预测

Kalman滤波器（卡尔曼滤波器）是一种以状态变量的线性最小方差递推估算的方法，它基于系统以前的状态序列对下一个状态做最优估计，同时利用当前测量值修正估计的状态，具有无偏、稳定、最优的特点。其数学模型描述为：

状态方程：

x_k=Ax_k-1+w_k-1    （5）

观测方程：

z_k=Hx_k+v_k        （6）

其中，x_k为k时刻的系统状态向量，z_k为k时刻的系统观测向量，A为系统状态转移矩阵，H为观测矩阵，w_k-1和v_k是两个相互独立的零均值高斯白噪声，分别表示状态转移噪声和观测噪声，其概率分布分别表示为p(w)~N(0,Q)、p(v)~N(0,R)。矩阵Q和R分别为状态转移噪声和观测噪声的协方差矩阵。

选取每帧图像中目标中心的位置信息来构建卡尔曼滤波器中k时刻的的状态变量和观测值。

系统状态向量：

x_k=[p_x p_y v_x v_y]^T    （7）

观测向量：

z_k＝[z_x z_y]^T         （8）

其中，p_x和p_y分别代表目标中心在水平方向和竖直方向上的坐标分量，v_x和v_y分别表示目标在水平方向和竖直方向上的速度。z_x和z_y分别表示在当前帧中观测到的目标中心在水平方向和竖直方向上的坐标信息。

在实际视频序列中，相邻两帧间的时间间隔很短，则认为目标在相邻两帧间做匀速运动，系统为线性模型。其状态转移阵和观测矩阵分别为：

$A=\left[\begin{array}{cccc}1& 0& T_s& 0\\ 0& 1& 0& T_s\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right],$ $H=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right]---\left(9\right)$

其中，T_s表示相邻两帧间的时间间隔。状态转移噪声和观测噪声的协方差矩阵Q和R分别设为：Q=10^-5I₄，R=10^-1I₂，其中I₄为4×4的单位矩阵，I₂为2×2的单位矩阵。

接着，把上一帧目标跟踪最终处理得到的目标位置以及当前帧由跟踪器得到的目标位置加入Kalman滤波器，通过Kalman迭代完成目标位置的预测。迭代过程分为两个阶段：预测阶段和校正阶段。

①预测阶段负责向前推算当前时刻的状态变量以及误差协方差估计值。以上一帧的目标跟踪处理结果构建系统状态，该系统状态包含目标中心在水平方向和竖直方向上的位置以及目标在水平方向和竖直方向上的速度四个分量。接着由该系统状态向前推算当前时刻状态变量和误差协方差估计值。

首先，由上一帧目标跟踪处理结果构建的状态变量x_k-1向前推算当前时刻状态变量的先验估计，即

${\hat{x}}_k^{-}={\mathrm{Ax}}_{k-1}+w_{k-1}---\left(10\right)$

其中，

为在已知k时刻以前状态情况下当前k时刻的先验状态估计，x_k-1为已知测量变量z_k-1时在(k-1)时刻的后验状态估计（即(k-1)时刻的系统状态变量）。

接着根据上一时刻的误差协方差向前推算当前时刻的误差协方差，其方法为

$P_k^{-}={\mathrm{AP}}_{k-1}{A}^T+Q---\left(11\right)$

其中，为k时刻先验估计误差的协方差，P_k-1为(k-1)时刻后验估计误差的协方差。设起始的协方差P₀为4×4的单位矩阵。

②校正阶段根据当前时刻的观测值以及先验估计来校正后验概率。以跟踪器结果构建当前时刻的观测向量，该观测向量包含目标中心在水平方向和竖直方向上的位置信息两个分量。接着由当前时刻的观测值以及先验估计来校正后验概率。

首先，计算k时刻的卡尔曼增益K_k，即

$K_k=P_k^{-}{H}^T{({\mathrm{HP}}_k^{-}{H}^T+R)}^{-1}---\left(12\right)$

接着，根据跟踪器得到的目标位置信息构建的观测向量z_k更新当前时刻状态变量的后验估计x_k，该后验估计即为当前时刻的系统状态值，且该系统状态值中包含当前时刻最终的目标中心位置信息，即

$x_k={\hat{x}}_k^{-}+K_k(z_k-H{\hat{x}}_k^{-})---\left(13\right)$

最后完成误差协方差的更新，以便进入下一次迭代，即

$P_k=(1-K_{k}H)P_k^{-}---\left(14\right)$

2）结合Kalman的TLD目标跟踪算法

TLD所用的实时检测器是基于窗口扫描的，这种方法需要对整幅图像区域中所有图像子窗口进行扫描匹配，耗时相对较多。因此，通过加入Kalman滤波器预测当前帧中目标可能出现的大致区域来减小窗口扫描区域。具体讲，首先由Kalman滤波器预测当前帧中目标中心点位置，以该点为中心划定一个矩形区域。该矩形区域的大小根据上一帧目标的大小来定，一般为上一帧目标面积的4倍。接着，对所有的图像子窗口，找出其中与划定的矩形区域有交集的部分，加入到检测器。最后，检测器对加入的图像子窗口判断目标存在与否。

如图4所示，(a)图中，通过Kalman滤波器预测目标存在的大致区域，图中由点画线框表示。图中A、B、C为部分图像子窗口，其中子窗口A和B与点画线框有重叠我们予以保留并送入到检测器中进行检验（即判断子窗口中的图像内容是否为所要跟踪的目标），而子窗口C与Kalman预测的区域无重叠，将被舍去，不予以检验。把得到的所有与Kalman预测区域重叠的子窗口加入到TLD检测器中，检测出可能存在目标的子窗口，将其与TLD的跟踪器得到的目标位置信息进行融合处理，得到真实的目标区域，如图4(b)中实线框所示。

三、基于马尔可夫的目标运动方向预测

TLD能够很好地适用于多种严峻场景，但仍存在一些弊端。当视频中存在两个或两个以上过分相似的目标，这些目标在运动过程中发生交会形成遮挡，TLD对这些交会后的相似目标的正确辨识能力不强。因此，针对这种特殊场景，引入基于马尔可夫的目标运动方向预测模型。马尔可夫预测器具有时域一致性，即可以由上一时刻目标的运动趋势预测当前时刻的运动趋势。

1）首先，设计马尔可夫预测模型，由上一时刻目标的运动趋势预测当前时刻的运动趋势，即根据目标在t时刻的运动趋势预测其在(t+1)时刻的运动趋势。

在视频序列中，目标运动是一种2自由度的运动，即水平方向和竖直方向上的运动。因此，对水平方向和竖直方向的运动趋势分别设计一个马尔可夫预测器。以水平方向为例，其状态空间定义为{右＝1，左＝0}，马尔可夫模型如图5所示。

①首先，定义目标在t时刻的状态向量：[p(s_t=1)p(s_t=0)]^T。

其中，s_t表示当前目标运动趋势的状态，p(s_t=1)（p(s_t=0)）表示目标在t时刻向右（左）运动的概率，且两者之和为1。

②接着，由上一时刻的状态值预测当前时刻的状态：

$\left[\begin{array}{c}p(s_{t+1}=1)\\ p(s_{t+1}=0)\end{array}\right]=T_t\left[\begin{array}{c}p(s_t=1)\\ p(s_t=0)\end{array}\right]---\left(15\right)$

其中，T_t为t时刻的状态转移矩阵，定义为：

$T_t=\left[\begin{array}{cc}p(s_{t+1}=1|s_t=1)& p(s_{t+1}=1|s_t=0)\\ p(s_{t+1}=0|s_t=1)& p(s_{t+1}=0|s_t=0)\end{array}\right]---\left(16\right)$

马尔可夫模型的更新即为状态转移矩阵的计算，是增量的。而状态转移矩阵T_t每列之和为1，因此状态转移矩阵的计算即是p(s_t+1=1|s_t=1)和p(s_t+1|s_t=0)的计算：

$p(s_{t+1}=1|s_t=1)=\frac{{\mathrm{dh}}_{11}}{{\mathrm{dh}}_1},$ $p(s_{t+1}=1|s_t=0)=\frac{{\mathrm{dh}}_{01}}{{\mathrm{dh}}_0}---\left(17\right)$

其中，dh₁（dh₀）表示在0～t时刻中目标向右（左）运动的次数；dh₁₁表示在0～t时刻中目标上一时刻和当前时刻都向右运动的次数；dh₀₁表示在0～t时刻中目标上一时刻向左运动但当前时刻向右运动的次数，其中目标向右（左）运动的判别依据是相邻两帧中目标中心坐标在水平方向上的差值。

③最终，若p(s_t+1=1)值大于0.5，则认为目标在(t+1)时刻有向右的运动趋势，反之亦然。

2）目标在当前时刻的运动方向由马尔可夫模型预测得到，接着根据上一时刻目标确切的位置，可以在当前帧中划定一个区域，目标出现在该区域中才符合马尔可夫模型对目标运动方向的预测。图6为马尔可夫预测当前时刻检测区域的效果示例图，运动的人在上一时刻的位置区域由实线矩形框表示，并在当前时刻由马尔可夫预测器得到有向左运动的趋势。因此，则认为虚线左侧的区域为当前时刻需要加入检测器的检测区域，而虚线右侧的区域则不必再去检测。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (7)

1.一种基于TLD的视频目标跟踪方法，其特征在于包括如下步骤：

（1）在跟踪目标的起始帧，根据给出的所跟踪目标的位置和大小信息，生成图像子窗口，对检测器进行训练；

（2）跟踪器根据目标在上一帧中的位置和大小信息，估计出目标在当前帧中所在的区域；

（3）用检测器对当前帧进行检测，找出当前帧中所有可能的目标；

（4）对跟踪器和检测器的结果进行融合处理，判断出当前帧是否存在目标，如果不存在目标，则返回步骤（3）开始对下一帧的处理；如果存在目标，则给出目标位置以及判断当前帧的跟踪轨迹是否有效，如果无效，则返回步骤（2），对下一帧进行处理；如果有效，则进入学习模块，通过P-N Learning完成检测器的在线更新，然后回到步骤（2），开始对下一帧进行处理。

2.如权利要求1所述的一种基于TLD的视频目标跟踪方法，其特征在于：所述步骤（2）的具体内容是：

（21）目标在上一帧的目标边界框由其位置和大小信息获得，由Cell FoT在该边界框中选择好的特征点，并通过光流法完成相邻两帧间特征点的跟踪；

（22）通过∑删除部分经过一次光流法后跟踪失败的局部跟踪器，所述∑包括Nh、Mp和NCC；

（23）对经由∑删除后最终剩余的局部跟踪器，计算每个局部跟踪器对应的位移以及其距离在相邻帧间的比例变化值，以位移以及距离比例的中位值分别作为所跟踪目标边界框在相邻帧间的位移变化和大小变化，从而估计得到在当前帧上的目标区域。

3.如权利要求2所述的一种基于TLD的视频目标跟踪方法，其特征在于：所述步骤（22）的详细内容是：首先，当前帧的所有局部跟踪器通过NCC进行删选；然后，满足NCC后的局部跟踪器加入到Nh进行删选；最后，剩余的局部跟踪器加入到Mp进行最后的删选，最终得到的局部跟踪器用来更新目标边界框。

4.如权利要求1所述的一种基于TLD的视频目标跟踪方法，其特征在于：所述步骤（3）的具体内容是：

（31）使用卡尔曼滤波器和Mp对TLD检测区域进行预测，完成目标在当前帧中大致区域的预测；卡尔曼滤波器根据之前帧中目标的位置，以目标的中心点位置为状态量，预测出当前帧中目标的中心点，以该点为中心划定一个矩形区域，且该矩形区域的大小为上一帧目标面积的4倍，该矩形即为卡尔曼滤波器最终预测得到的目标区域；Mp根据之前帧中目标运动的方向预测目标在当前帧的运动方向，根据上一帧目标所在位置，可以在当前帧中划定一个区域，目标假定应该出现在该区域中，该区域即为Mp预测得到的区域；

（32）对当前帧中所有的图像子窗口，找出其中与经由Kalman预测得到的目标区域有交集的子窗口；再在其中找出包含于经由Mp预测得到的图像区域中的子窗口，这些子窗口即为符合卡尔曼滤波器和Mp共同预测结果的子窗口；

（33）对前述符合预测结果的图像子窗口，加入到检测器中以判读子窗口中的图像是否为目标。

5.如权利要求1所述的一种基于TLD的视频目标跟踪方法，其特征在于：所述步骤（4）中，判断当前帧是否存在目标及目标位置的判据如下：若跟踪器和检测器都没有跟踪得到或者检测得到目标信息，则认为当前帧中不含有目标；若跟踪器和检测器的结果中都包含目标位置信息，且检测器认为其检测到的区域被认为非常可能是目标，则以检测器得到的目标区域为当前帧上的最终目标位置，否则，当前帧上最终的目标位置为跟踪器和检测器目标位置信息的均值；若跟踪器有目标位置信息，而检测器没有得到目标位置信息，则以跟踪器得到的目标区域作为当前帧中最终目标的位置；若跟踪器无目标位置信息，而检测器包含目标位置信息，则以检测器检测得到的区域作为当前帧上最终的目标位置。

6.如权利要求1所述的一种基于TLD的视频目标跟踪方法，其特征在于：所述步骤（4）中，判断当前帧的跟踪轨迹是否有效的判据如下：若判读当前帧中存在目标，则给出当前帧的跟踪轨道是否有效的置信值，该值通过计算当前跟踪所得目标与已加入到在线模型中图像区域之间的相似程度得到，当相似程度超过阈值则判定当前所得的跟踪轨道是有效的。

7.如权利要求1所述的一种基于TLD的视频目标跟踪方法，其特征在于：所述步骤（4）中，检测器的在线更新的过程是：在P-N Learning中，定义P结构约束和N结构约束，P结构约束用来表征被分类器分类为negative但是结构约束却要求其类别应该为positive的样本，要求所有靠近有效跟踪轨道的图像区域其类别标签应该为positive；N结构约束表征被分类器分类为positive但是结构约束却要求其类别为negative的样本，要求所有包围有效跟踪轨道的图像区域其类别标签为negative；P-N Learning通过P结构约束和N结构约束生成有效的训练样本，形成新的已标签训练样本集，把该样本集加入到检测器中，更新检测器中的集成分类器，同时更新在线目标模型和最近邻域分类器。

Images