CN108346158B - 基于主块数据关联的多目标跟踪方法及系统 - Google Patents

Abstract

本发明公开了基于主块数据关联的多目标跟踪方法及系统；利用固定部件模型FPM检测出当前帧图像中目标对象的矩形检测区域，将目标对象的矩形检测区域均分成若干个小块，根据每个小块的表观累积变化量建立目标对象的主块模型；针对目标矩形检测区域，提取整体表观特征，建立目标全局模型；所述目标全局模型即为提取的整体表观特征；根据轨迹置信系数，将目标对象的运动轨迹分为可靠轨迹和不可靠轨迹；利用主块模型将可靠轨迹和检测点进行主块数据关联，利用全局模型将不可靠轨迹和检测点进行全局数据关联，主块数据关联和全局数据关联过程结束以后，输出跟踪结果；所述检测点为矩形检测区域的中心位置；更新模型和轨迹置信系数。

Description

基于主块数据关联的多目标跟踪方法及系统

技术领域

本发明涉及基于主块数据关联的多目标跟踪方法及系统。

背景技术

多目标跟踪的最终目的是连续地估计多目标的状态，同时可以保存目标的身份。在复杂环境中，这个问题具有几个极大的挑战：首先，目标的表观在摄像机视野中经常连续性地变化；其次，目标经常走出摄像机视野随后又返回；最后，目标经常被其他目标遮挡或自遮挡。所以，传统的跟踪器在这种场景下经常受到干扰。

最近，随着目标检测器能力的不断提高，基于tracking-by-detection的方法表现出了优越的性能。现有技术将该类方法分类为基于批量处理的方法和基于在线处理的方法。这两类方法都需要一个必要的过程，即数据关联过程。基于批量处理的方法通常将观测点连接成短的轨迹段，然后将轨迹段进行全局关联形成长的轨迹。许多基于批量处理的方法已经被提出，并且可以改善轨迹的完整性。但是，这些方法需要已知视频所有连续帧的观测值，计算复杂性较高。因此，基于批量处理的方法很难满足实时应用场景的需求。相反，基于在线处理的方法具有逐帧关联的特点，较适合应用到实时场景。但是，它们在量测噪声、光照变化、重大遮挡影响下更容易产生漏检、虚检等结果。

为了解决这些困难，基于部件的方法已经被提出用来改进多目标跟踪。Bo Wu等结合检测点响应和部件检测响应的观测，实现多目标跟踪。这个策略可以跟踪场景中的交互目标和遮挡目标。Hamid Izadinia等也考虑了部件和行人检测点，最后的轨迹是连接这些观测点的数据关联优化的结果。另外，Afshin Dehghan等在动态表观变化和背景变化的场景中学习了一个基于部件的模型，该方法可以同时处理检测阶段和跟踪阶段的局部遮挡。但是，上述方法中的检测点和部件均来自形变部件模型(Deformabel Parts Model,DPM)，计算复杂度相对较高。同时，另一个局限是应用到这些方法中的检测器必须能够生成部件。

总而言之，目前需要本领域技术人员迫切解决的技术问题是：

(1)如何实现复杂环境下轨迹与检测点的准确关联，提高多目标跟踪的准确性；

(2)如何更好地利用部件对多目标进行跟踪。

发明内容

本发明的目的就是为了解决上述问题，提出基于主块数据关联的多目标跟踪方法及系统，它可以跟踪发生局部表观变化的多个目标。为了表示目标的主块区域，本发明将目标分为多个小块(即部件)，通过小块的表观变化值来构建主块模型。在每一帧中，具有高置信系数的可靠轨迹利用主块模型与观测进行在线的主块数据关联。通过采用添加时域信息的主块模型，数据关联过程可以更准确地匹配轨迹和观测。

为了实现上述目的，本发明采用如下技术方案：

基于主块数据关联的多目标跟踪方法，包括：

步骤(1)：利用固定部件模型FPM检测出当前帧图像中目标对象的矩形检测区域，将目标对象的矩形检测区域均分成若干个小块，根据每个小块的表观累积变化量建立目标对象的主块模型；针对目标矩形检测区域，提取整体表观特征，建立目标全局模型；所述目标全局模型即为提取的整体表观特征；

步骤(2)：根据轨迹置信系数，将目标对象的运动轨迹分为可靠轨迹和不可靠轨迹；

步骤(3)：利用主块模型将可靠轨迹和检测点进行主块数据关联，利用全局模型将不可靠轨迹和检测点进行全局数据关联，主块数据关联和全局数据关联过程结束以后，输出跟踪结果；所述检测点为矩形检测区域的中心位置；

步骤(4)：更新模型和轨迹置信系数。

所述步骤(1)的主块模型为：

为了表示轨迹所对应目标的主块区域和特征，构建主块模型，用于可靠轨迹与检测点之间的主块数据关联；所述主块区域是指目标对象的主要区域，主要区域的特征能够表示目标对象的特征；

主块模型包含主块向量和颜色特征，主块向量用于存储主块的索引号集合与对应主块的权重值，颜色特征作为表观特征模板，用于计算小块瞬时表观与表观特征模板间的相似性。

以设定时间段内小块的累积表观变化程度作为判定主块的条件，计算第k帧图像中小块i的累积表观相似性S_ki，i＝{1,2,...,P}，的过程为：

首先，采集第k-F帧到k-1帧图像中每个矩形检测区域中的每个小块，并提取每个小块的颜色特征。

然后，计算第k-j帧图像中小块i的瞬时表观相似性S_(k-j)i，j＝{1,2,...,F}，F为累积帧数目。S_(k-j)i通过计算小块i的颜色特征与特征模板之间的Bhattacharyya距离得到

S_(k-j)i＝1-d(H₁,H₂) (1)

其中，H₁为小块i的颜色直方图，H₂为特征模板的颜色直方图，d(H₁,H₂)为两者之间的Bhattacharyya距离。

最后，在第k帧时，将每个小块的先前F帧的相似性进行累积求和，得到小块i的累积相似性

设置主块阈值为th_s，如果累积相似性S_ki大于th_s，则小块i为主块；否则，小块i为非主块。

确定小块i是否为主块以后，建立主块向量用于存储主块的索引号和相应主块的权重值w_ki；权重值w_ki等于累积相似性S_ki；

同时，提取主块相应区域的颜色直方图特征。从而，主块向量与颜色直方图特征共同构成第k帧图像的中目标对象的主块模型。

所述步骤(2)的轨迹置信系数为：

轨迹置信系数用来评价轨迹的可靠性，假设轨迹集合为{T_n}，n＝{1,2,...,N}，轨迹集合是第k帧图像以前跟踪结果中所获得的目标位置的历史累积，则轨迹置信系数的定义为：

其中，L是轨迹T_n的长度，记为L＝|T_n|；L_m是轨迹T_n由于遮挡、不可靠检测点而消失的帧数；β依赖于检测器性能的控制参数。

公式(3)中

是轨迹和检测点之间的平均关联分数：关联分数越高，置信系数就越高。决定关联分数的量测被定义为：

Λ(T_n,D)＝Λ^Ap(T_n,D)Λ^Sh(T_n,D)Λ^Mo(T_n,D) (4)

其中，D是检测点集合，D＝{D_m}，m＝{1,2,...,M}。Λ^Ap(T_n,D)是表观亲和力，Λ^Sh(T_n,D)是形状亲和力，Λ^Mo(T_n,D)是运动模型亲和力。Λ^Ap(T_n,D)直接使用数据关联时的表观相似性表示，相似性越大，表观亲和力越大；Λ^Sh(T_n,D)利用矩形目标区域的宽度和高度计算轨迹与检测之间的形状亲和力；Λ^Mo(T_n,D)采用Kalman滤波对目标的位置进行预测，然后评估预测位置与检测位置之间的亲和力。

根据轨迹置信系数与设定阈值的比较，判断置信系数为高置信系数还是低置信系数，若为高置信系数，则将其所对应的轨迹归类为可靠轨迹；若为低置信系数，则将所对应的轨迹归类为不可靠轨迹。

所述步骤(3)中主块数据关联是：

利用所建立的主块模型进行轨迹和检测点之间的特征匹配。

假设有R个可靠轨迹T_r，U个不可靠轨迹T_u，M个检测点D_m。

针对第r条可靠轨迹T_r，所有的M个检测点均提取与T_r相同的主块向量，然后利用公式(1)计算与每个主块的颜色特征相似性。

利用主块向量中的权重w_ki对主块的颜色特征相似性加权求和，得到轨迹T_r与各个检测点的相似性向量。

逐一计算每条可靠轨迹T_r与检测点间的相似性后，得到R×M维的主块关联矩阵。

然后，使用Hungarian算法确定最小代价矩阵，从而得到可靠轨迹与检测点之间的最优关联对。

根据最优关联对，确定可靠轨迹与检测点的最终匹配标号，完成主块数据关联过程。

所述步骤(3)中全局数据关联是：

针对目标的整体检测区域进行轨迹和检测点之间的特征匹配。

其中，全局特征模型为针对整体矩形检测区域所提取的颜色特征；检测点为主块数据关联中没有与任何轨迹成功匹配的检测点，假设数量为Y；

针对每个不可靠轨迹T_u，所有Y个检测点均与其所对应的特征模型计算颜色特征相似性。最后，获得U×Y维的全局关联矩阵，

同样利用Hungarian算法确定不可靠轨迹与检测点之间的匹配关系，完成全局数据关联过程。

所述步骤(4)中更新模型和轨迹置信系数：

为了连续地跟踪，模型和轨迹置信系数需要逐帧地进行更新。其中，模型包含主块模型和全局模型，轨迹置信系数和主块模型中主块向量的更新类似于它们的建立过程，而主块模型和全局模型的颜色特征模型更新如下。

假设Aⁿ是轨迹T_n所对应目标的颜色直方图特征模型。

Aⁿ的更新基于：

其中，

是轨迹T_n在第k帧的表观模型，

是轨迹T_n在第k-1帧的表观模型；

是轨迹T_n在第k帧的颜色直方图特征。α是更新系数，其取值范围是[0,1]。

基于主块数据关联的多目标跟踪系统，包括：

模型建立模块：利用固定部件模型FPM检测出当前帧图像中目标对象的矩形检测区域，将目标对象的矩形检测区域均分成若干个小块，根据每个小块的表观累积变化量建立目标对象的主块模型；针对目标矩形检测区域，提取整体表观特征，建立目标全局模型；

轨迹区分模块：根据轨迹置信系数，将目标对象的运动轨迹分为可靠轨迹和不可靠轨迹；

数据关联模块：利用主块模型将可靠轨迹和检测点进行主块数据关联，利用全局模型将不可靠轨迹和检测点进行全局数据关联，主块数据关联和全局数据关联过程结束以后，输出跟踪结果；所述检测点为矩形检测区域的中心位置；

更新模块：更新模型和轨迹置信系数。

本发明的有益效果：

1提出一种基于主块表示的在线多目标跟踪框架。该方法是建立在主块模型基础之上的，通过累积一系列先前帧信息可以获得主块模型。一个目标的主块相对于非主块具有较弱的表观变化。我们假设：在复杂环境下，当目标的表观被其他目标改变或发生自我变化时，目标一定具有较强表观变换部分和较弱表观变化部分。然后，本发明方法的思想是，数据关联时只利用较弱表观变化部分。应用该思想的目标是提高多目标跟踪中数据关联的准确性。

2分割小块的规则具有简洁性和通用性。不像形变部件模型(DPM)那样需要训练一个分类器，我们直接将目标的矩形边界框等分为若干块。本发明方法对任何一种包含矩形边界框信息的检测点都是适用的。

3主块模型提供了一种更为丰富的目标描述。主块是通过先前帧表观变化的累积而得到的。因此，它在人体表观模型上增加了动态时间信息。结合这些信息，主块数据关联可以提高多目标跟踪的准确性。

4轨迹置信系数的鲁棒性和数据关联的准确性相互加强。主块模型准确的数据关联会使轨迹置信系数变得更加鲁棒。相反，鲁棒的轨迹置信系数使可靠轨迹保持更长时间的可靠性，具有更多主块数据关联的机会，从而提高跟踪器的准确性。

附图说明

图1为目标的小块分割方式实施例；

图2为构建主块模型的流程图；

图3为轨迹集与检测集进行主块数据关联和全局数据关联以完成多目标跟踪的实施例；

图4为基于主块数据关联和鲁棒轨迹系数的多目标跟踪总体框架；

图5为通过DPM和FPM两种方式获得的小块对比。左边两幅图：被DPM分割的小块。右边两幅图：被FPM分割的小块。目标来自Parking Lot数据库。FPM是简洁的、有效的。

图6描述了一个利用主块向量计算关联矩阵的例子。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

本发明提出的基于主块数据关联的多目标跟踪方法及系统是为了提高局部表观变化情况下的多目标跟踪准确性。在建立主块模型之前，目标的整体被分割为多个小块。本发明的框架直接将多个目标的矩形检测区域等分为P个小块。只要目标的矩形检测区域可以确定，这种分割方式就可以轻松地获得各个小块。换句话说，任何可以输出矩形边界框的检测器均适用于该方法。如图1所示，当P＝8时，将目标区域分割为2×4维的小块。

主块可以被直观地理解为目标的稳定区域。本发明中，这种稳定区域被看作具有较低的表观变化量的区域。我们通过累积先前帧的瞬时表观变化来获得当前帧的累积表观变化，然后通过寻找累积表观变化较弱的小块来确定主块。

图2画出了构建主块模型的流程图。当累积帧数目F＝6时，需要采集从k-6帧到k-1帧的图像和跟踪结果。对于第k-j帧，利用目标区域颜色直方图特征和特征模板，通过公式(1)可以计算出各个小块的瞬时颜色相似性S_(k-j)i。利用公式(2)计算各个小块在F＝6时从k-6帧到k-1帧的累积颜色相似性集合{S_ki}。

那么，具有较高累积相似性的小块被认为拥有较低的表观变换量。因此，具有较高S_ki值得小块更加可靠；相反，具有较低S_ki值得小块被遮挡、背景变化、姿态变化等因素影响的概率更大。我们设置一个主块阈值为th_s，S_ki值高于阈值th_s的小块即为主块。

为了表示主块模型，本发明方法构建了主块向量。主块向量可以存储主块的索引号集合mainIdx以及它们所对应的权重值w_ki。图2所示情况下，被遮挡目标的主块索引号为mainIdx＝{1,2,3,5,7}。另外，主块所对应的权重值w_ki等于小块i的累积相似性S_ki，非主块所对应的权重值为0。为了方便计算，本发明将w_ki进行归一化

最后，提取主块所对应区域的颜色直方图B_ki，主块向量和颜色直方图联合后构成主块模型。

除了建立主块模型，本发明还需要计算轨迹置信系数以区分可靠轨迹与不可靠轨迹，利用公式(3)和(4)中的轨迹置信系数求解式可以计算得到轨迹T_n的置信系数conf(T_n)。轨迹置信系数可以被理解为轨迹和目标真实轨迹的匹配准确程度。可靠的轨迹一般具有长度较大、低遮挡率、高亲和力等特性。

然后，对可靠轨迹和不可靠轨迹分别进行主块数据关联和全局数据关联。图3画出了轨迹与检测点之间进行数据关联的一个实施例，对轨迹集{T₁,T₂,T₃}和检测集{D₁,D₂,D₃}进行数据关联。其中，T₁、T₂为可靠轨迹，T₂为不可靠轨迹。首先，可靠轨迹T₁、T₂与检测集进行主块数据关联，使得轨迹T₁、T₂与检测D₂、D₁分别关联成功。然后，未成功关联检测点D₃再与不可靠轨迹T₃进行全局关联。最后，轨迹T₃与检测D₃关联成功后，输出更新后的多目标跟踪轨迹集{T₁,T₂,T₃}。

现有研究中，数据关联通常利用目标整体的表观。然而，主块数据关联考虑的是每一个主块的表观。主块数据关联的过程为：

(1)针对可靠轨迹T_r所对应目标的每个小块，所有检测目标的小块与之计算表观相似性以后，可以获得相似性矩阵。

(2)利用主块向量中的权重w_ki对相似性矩阵进行加权求和，得到R×M维的主块关联矩阵。如图3所示实施例中，会得到2×3维的主块关联矩阵。

(3)为了获得轨迹与检测的最优匹配关系，使用Hungarian算法计算最小关联代价矩阵。对于轨迹T_r，与之关联代价最小的检测D_m，即为最优关联检测，轨迹T_r和D_m为最优关联对。

全局数据关联的过程为：

(1)针对U个不可靠轨迹T_u所对应目标的整体区域，所有在主块数据关联中未成功关联的Y个检测目标与之计算整体表观相似性以后，可以获得U×Y维的相似性矩阵。

(2)为了获得轨迹与检测的最优匹配关系，使用Hungarian算法计算最小关联代价矩阵，获得轨迹与检测之间的最优关联对。

主块数据关联和全局数据关联结束以后，实际的多目标跟踪系统中除了输出多目标跟踪轨迹以外，还需要输出多目标跟踪的相关时空信息，主要包括：轨迹点出现时刻、轨迹标号、目标区域的位置和尺度、主块模型、全局特征模型。

为了连续地跟踪，主块模型、全局特征模型和轨迹置信系数均需要逐帧地进行更新。利用公式(1)、(2)计算累积相似性集合{S_ki}，并依据主块阈值th_s判断并更新主块向量；根据公式(3)、(4)更新轨迹置信系数；利用公式(5)更新主块模型中各个小块的颜色特征模型和全局特征模型。

本发明中，准确的数据关联会使轨迹置信系数更加的鲁棒。相反，鲁棒的轨迹置信系数会帮助轨迹保持更长时间的高可靠性。这会提高跟踪器的准确性，因为只有可靠轨迹才使用主块模型进行数据关联。因此，轨迹置信系数的鲁棒性和数据关联的准确性是相互加强的。

本发明提出了基于主块数据关联的多目标跟踪方法。小块分割目标区域的方法是简洁、有效并且通用性强的。利用先前帧表观变化信息构建主块模型，为表观模型增加了更多的时域信息。针对目标发生局部变化的情况，主块数据关联可以加强轨迹和检测之间的匹配能力。

3多目标跟踪框架

现在描述基于主块数据关联多目标跟踪方法及系统的总体框架。图4中显示出了多目标跟踪框架的详细流程。

首先，我们针对视频序列，利用检测器提取运动目标的矩形检测区域，初始化目标检测点。本发明中的检测器可以是任意的，只要其输出包含运动目标矩形检测区域即可，比如常用的基于背景减除法的检测器、基于帧间差分法的检测器。运动目标检测区域的中心位置、尺寸和图像表观特征构成方法所需要的检测点，这些检测点用于初始化和更新轨迹置信系数、主块模型、全局模型，并实时地与轨迹进行主块关联和全局关联。

其次，初始化轨迹置信系数、主块模型和全局模型。本发明针对视频序列的前几帧(根据经验一般取前5帧)图像进行预处理，主要获得初始化轨迹和轨迹置信系数。根据轨迹置信系数，可以将轨迹分为可靠轨迹和不可靠轨迹。然后，可靠轨迹建立目标的主块模型，不可靠轨迹建立目标的全局模型。

再次，多目标跟踪过程中的数据关联。数据关联过程依次进行主块数据关联和全局数据关联。许多不可靠轨迹在跟踪场景中会被丢失，它们可能会阻碍主块的准确判断。因此，主块模型只应用在可靠轨迹和在线观测点之间的局部关联(即主块数据关联)，不可靠轨迹进行全局数据关联。其中，主块数据关联利用目标的主块模型，全局数据关联利用目标的全局关联。主块数据关联和全局数据关联完成以后，获得多目标跟踪结果，主要包括多目标跟踪轨迹和相关时空信息。

最后，更新主块模型、全局模型和轨迹置信系数。为了能够持续地跟踪多运动目标，需要利用多目标跟踪结果进行更新，主要有：主块模型的主块索引号、主块权重和特征模板；全局模型的特征模板；轨迹置信系数，以及根据轨迹置信系数所划分的可靠轨迹和不可靠轨迹。

3.1小块分割

在建立主块模型之前，目标的整体被分割为多个小块。本发明的框架没有利用DPM检测器来获得形变部件模型，而是简单地将目标矩形检测区域等分为P个小块，简称为FPM(Fixed Part-based Model)。尽管DPM检测器对于形变目标的检测具有非常多的优点，但是FPM对于本发明有效性的验证更加简单有效。

图5所示情景支持上面的说法：由FPM分割的小块的位置是相对固定的。基于这一点，针对FPM分割的小块，我们可近似地假设在连续帧中被累积的特征是唯一的变量。相反，由DPM分割的小块的位置是逐帧变换的，比如图中所示的第164和165帧由上而下数第4个矩形。因此，FPM可以更方便地在连续帧中累积特征变量。

FPM模型对于分割小块来说不但具有简洁性，并且任何可以输出矩形边界框的检测器均适用。换句话说，只要矩形检测区域可以确定，那么就可以轻易地获得各个小块。

3.2主块模型

主块可以直观地理解为目标的主要区域。主要区域的特征必须能够准确地表示目标的特征。本发明中，这种表达能力被看作为较低的表观变化量。我们通过累积先前帧的表观变化来获得当前帧的主块模型。

图2画出了构建主块向量的详细过程。根据前一帧的跟踪结果，P个小块的表观特征可以确定。然后，我们计算每个小块的表观特征和特征模板之间的相似性。具有较高相似性的小块被认为拥有较低的表观变换量。

本发明定义小块i在第k-j帧时的相似性集合为{S_(k-j)i}，累积帧数为M，单个目标的小块数目为P，即j＝{1，2，...，M},i＝{1,2,...,P}。针对行人，我们根据经验设置M＝6,P＝8。在第k帧时，S_ki是先前帧中相似性的累积和：

S_ki值反映的是小块i的表观变化程度。具有较高S_ki值得小块貌似更加可靠。相反，具有较低值得小块被遮挡、背景变化、姿态变化等因素影响的概率更大。我们设置一个主块阈值为th_s，S_ki值高于阈值th_s的小块即为主块。

为了表示主块模型，本发明构建了主块向量。主块向量可以存储主块的索引号集合mainIdx和与它们所对应的权重值。如图2所示，方块{1,2,3,5,7}表示主块，方块{4,6,8}表示非主块。其中，非主块的权重值为0，第k帧中主块I的权重值为w_ki。为了方便，本发明将w_ki进行了归一化：

3.3主块关联矩阵

主块关联矩阵是数据关联过程的前一个步骤。现有研究中，数据关联通常利用目标整体的表观。主块关联考虑的是每一个主块的表观。

图6描述了一个利用主块向量计算关联矩阵的例子。我们假设，有两个轨迹(表示为T_n，n∈{1,2})和三个检测点(表示为D_m,m∈{1,2,3})。这里，以轨迹T₁和各个检测点之间的关联为例，该关联可以简单地拓展到其他的轨迹。

轨迹T₁的8个小块分别和3个检测点之间计算表观相似性以后，可以获得一个相似性矩阵。其中，水平方向的维度表示检测点的数目，垂直方向的维度表示轨迹T₁中小块的数目(也就是8)。为了方便后续关联，轨迹T₁的主块向量被重复地从1维扩展成3维，从而获得主块矩阵。随后，主块矩阵和相似性矩阵相乘，这里需要注意的是对应元素相乘。因此，相似性矩阵通过主块的权重加权。主块关联矩阵的第一行A_1m可以通过求取加权之后8个块的和得到：

其中，m是检测点的标号，检测点的个数为d(这里d＝3)，P是主块的个数。第k帧中主块i的权重是w_ki。轨迹T₁和检测点m的小块i相似性是s_im。如图4所示，F_mi是轨迹T₁和检测点m的小块i的主块亲和力。注意，A_1m只是轨迹T₁和各个检测点关联所得到的关联向量。如图6中所示，轨迹T₁和各个检测点的关联向量A_2m也可以通过相同的方法得到。最后，所有轨迹的关联向量组成了主块关联矩阵。

3.4数据关联

数据关联包含主块关联和全局关联两个过程。图3显示了多目标跟踪的数据关联步骤。如上面所述，轨迹被分为可靠轨迹和不可靠轨迹。主块数据关联矩阵评估可靠轨迹和在线检测点之间的关联代价。然后主块数据关联确定最优关联对，可以使用Hungarian算法计算最小关联代价。对于未发生关联的检测点(如图3中D₃所示)，不可靠轨迹可以和这些检测尝试全局关联。

第t帧以前所有目标的轨迹集合定义为T_1:t，同时第t帧以前所有目标的检测点集合定义为D_1:t。在线多目标跟踪问题可以被构建为：根据给定的D_1:t，通过最大后验概率寻找最优化的T_1:t：

然后，定义

和

分别为具有高置信系数的轨迹集合和具有低置信系数的轨迹集合。利用主块模型，上面的问题可以解为：

其中，

通过主块模型和在线检测点进行关联，即

然后，那些短的不可靠轨迹

和其他的轨迹以及检测点进行全局关联，即

可靠轨迹之所以首先和检测点进行关联，是因为可靠检测点更多的来自于可靠轨迹而不是不可靠轨迹。

3.5更新

完成数据关联以后，会得到包含时空信息的多条长轨迹。为了连续地进行多目标跟踪，主块模型、全局模型和轨迹置信系数需要逐帧地进行更新。轨迹置信系数、主块模型中主块索引号和权重的更新过程与上文所述的建立过程类似，见公式(1)-(4)、(6)。主块模型和全局模型中的特征模板的更新过程见公式(5)。

本发明中，准确的数据关联会使轨迹置信系数更加的鲁棒。相反，鲁棒的轨迹置信系数会帮助轨迹保持更长时间的高可靠性。这会提高跟踪器的准确性，因为只有可靠轨迹才使用主块模型进行数据关联。因此，轨迹置信系数的鲁棒性和数据关联的准确性是相互加强的。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.基于主块数据关联的多目标跟踪方法，其特征是，包括：

步骤(1)：利用固定部件模型FPM检测出当前帧图像中目标对象的矩形检测区域，将目标对象的矩形检测区域均分成若干个小块，根据每个小块的表观累积变化量建立目标对象的主块模型；针对目标矩形检测区域，提取整体表观特征，建立目标全局模型；所述目标全局模型即为提取的整体表观特征；

步骤(2)：根据轨迹置信系数，将目标对象的运动轨迹分为可靠轨迹和不可靠轨迹；

步骤(3)：利用主块模型将可靠轨迹和检测点进行主块数据关联，利用全局模型将不可靠轨迹和检测点进行全局数据关联，主块数据关联和全局数据关联过程结束以后，输出跟踪结果；所述检测点为矩形检测区域的中心位置；

步骤(4)：更新模型和轨迹置信系数；

所述步骤(1)的主块模型为：

为了表示轨迹所对应目标的主块区域和特征，构建主块模型，用于可靠轨迹与检测点之间的主块数据关联；所述主块区域是指目标对象的主要区域，主要区域的特征能够表示目标对象的特征；

主块模型包含主块向量和颜色特征，主块向量用于存储主块的索引号集合与对应主块的权重值，颜色特征作为表观特征模板，用于计算小块瞬时表观与表观特征模板间的相似性。

2.如权利要求1所述的基于主块数据关联的多目标跟踪方法，其特征是，

以设定时间段内小块的累积表观变化程度作为判定主块的条件，计算第k帧图像中小块i的累积表观相似性S_ki，i＝{1,2,...,P}，的过程为：

首先，采集第k-F帧到k-1帧图像中每个矩形检测区域中的每个小块，并提取每个小块的颜色特征；

然后，计算第k-j帧图像中小块i的瞬时表观相似性S_(k-j)i，j＝{1,2,...,F}，F为累积帧数目；S_(k-j)i通过计算小块i的颜色特征与特征模板之间的Bhattacharyya距离得到

S_(k-j)i＝1-d(H₁,H₂) (1)

其中，H₁为小块i的颜色直方图，H₂为特征模板的颜色直方图，d(H₁,H₂)为两者之间的Bhattacharyya距离；

最后，在第k帧时，将每个小块的先前F帧的相似性进行累积求和，得到小块i的累积相似性

设置主块阈值为th_s，如果累积相似性S_ki大于th_s，则小块i为主块；否则，小块i为非主块；

确定小块i是否为主块以后，建立主块向量用于存储主块的索引号和相应主块的权重值w_ki；权重值w_ki等于累积相似性S_ki；

同时，提取主块相应区域的颜色直方图特征；从而，主块向量与颜色直方图特征共同构成第k帧图像的中目标对象的主块模型。

3.如权利要求1所述的基于主块数据关联的多目标跟踪方法，其特征是，

所述步骤(2)的轨迹置信系数为：

轨迹置信系数用来评价轨迹的可靠性，假设轨迹集合为{T_n}，n＝{1,2,...,N}，轨迹集合是第k帧图像以前跟踪结果中所获得的目标位置的历史累积，则轨迹置信系数的定义为：

其中，L是轨迹T_n的长度，记为L＝|T_n|；L_m是轨迹T_n由于遮挡、不可靠检测点而消失的帧数；β依赖于检测器性能的控制参数。

4.如权利要求3所述的基于主块数据关联的多目标跟踪方法，其特征是，

公式(3)中

是轨迹和检测点之间的平均关联分数：关联分数越高，置信系数就越高；决定关联分数的量测被定义为：

Λ(T_n,D)＝Λ^Ap(T_n,D)Λ^Sh(T_n,D)Λ^Mo(T_n,D) (4)

其中，D是检测点集合，D＝{D_m}，m＝{1,2,...,M}；Λ^Ap(T_n,D)是表观亲和力，Λ^Sh(T_n,D)是形状亲和力，Λ^Mo(T_n,D)是运动模型亲和力；Λ^Ap(T_n,D)直接使用数据关联时的表观相似性表示，相似性越大，表观亲和力越大；Λ^Sh(T_n,D)利用矩形目标区域的宽度和高度计算轨迹与检测之间的形状亲和力；Λ^Mo(T_n,D)采用Kalman滤波对目标的位置进行预测，然后评估预测位置与检测位置之间的亲和力。

5.如权利要求3所述的基于主块数据关联的多目标跟踪方法，其特征是，

根据轨迹置信系数与设定阈值的比较，判断置信系数为高置信系数还是低置信系数，若为高置信系数，则将其所对应的轨迹归类为可靠轨迹；若为低置信系数，则将所对应的轨迹归类为不可靠轨迹。

6.如权利要求2所述的基于主块数据关联的多目标跟踪方法，其特征是，所述步骤(3)中主块数据关联是：

利用所建立的主块模型进行轨迹和检测点之间的特征匹配；

假设有R个可靠轨迹T_r，U个不可靠轨迹T_u，M个检测点D_m；

针对第r条可靠轨迹T_r，所有的M个检测点均提取与T_r相同的主块向量，然后利用公式(1)计算与每个主块的颜色特征相似性；

利用主块向量中的权重w_ki对主块的颜色特征相似性加权求和，得到轨迹T_r与各个检测点的相似性向量；

逐一计算每条可靠轨迹T_r与检测点间的相似性后，得到R×M维的主块关联矩阵；

然后，使用Hungarian算法确定最小代价矩阵，从而得到可靠轨迹与检测点之间的最优关联对；

根据最优关联对，确定可靠轨迹与检测点的最终匹配标号，完成主块数据关联过程。

7.如权利要求6所述的基于主块数据关联的多目标跟踪方法，其特征是，所述步骤(3)中全局数据关联是：

针对目标的整体检测区域进行轨迹和检测点之间的特征匹配；

其中，全局特征模型为针对整体矩形检测区域所提取的颜色特征；检测点为主块数据关联中没有与任何轨迹成功匹配的检测点，假设数量为Y；

针对每个不可靠轨迹T_u，所有Y个检测点均与其所对应的特征模型计算颜色特征相似性；最后，获得U×Y维的全局关联矩阵，

同样利用Hungarian算法确定不可靠轨迹与检测点之间的匹配关系，完成全局数据关联过程。

8.如权利要求3所述的基于主块数据关联的多目标跟踪方法，其特征是，所述步骤(4)中更新模型和轨迹置信系数：

为了连续地跟踪，模型和轨迹置信系数需要逐帧地进行更新；其中，模型包含主块模型和全局模型，轨迹置信系数和主块模型中主块向量的更新类似于它们的建立过程，而主块模型和全局模型的颜色特征模型更新如下：

假设Aⁿ是轨迹T_n所对应目标的颜色直方图特征模型；

Aⁿ的更新基于：

其中，

是轨迹T_n在第k帧的表观模型，

是轨迹T_n在第k-1帧的表观模型；

是轨迹T_n在第k帧的颜色直方图特征；α是更新系数，其取值范围是[0,1]。

9.基于主块数据关联的多目标跟踪系统，其特征是，包括：

模型建立模块：利用固定部件模型FPM检测出当前帧图像中目标对象的矩形检测区域，将目标对象的矩形检测区域均分成若干个小块，根据每个小块的表观累积变化量建立目标对象的主块模型；针对目标矩形检测区域，提取整体表观特征，建立目标全局模型；

轨迹区分模块：根据轨迹置信系数，将目标对象的运动轨迹分为可靠轨迹和不可靠轨迹；

数据关联模块：利用主块模型将可靠轨迹和检测点进行主块数据关联，利用全局模型将不可靠轨迹和检测点进行全局数据关联，主块数据关联和全局数据关联过程结束以后，输出跟踪结果；所述检测点为矩形检测区域的中心位置；

更新模块：更新模型和轨迹置信系数；

所述模型建立模块中的主块模型为：

为了表示轨迹所对应目标的主块区域和特征，构建主块模型，用于可靠轨迹与检测点之间的主块数据关联；所述主块区域是指目标对象的主要区域，主要区域的特征能够表示目标对象的特征；

主块模型包含主块向量和颜色特征，主块向量用于存储主块的索引号集合与对应主块的权重值，颜色特征作为表观特征模板，用于计算小块瞬时表观与表观特征模板间的相似性。

Images