CN104915970B - 一种基于轨迹关联的多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于轨迹关联的多目标跟踪方法，该方法包括以下步骤：首先，基于场景自适应方法生成局部轨迹，实现检测响应与原有轨迹关联；然后，基于增量线性判决的表观模型，实现全局轨迹关联；最后，基于非线性运动模型，实现轨迹片段间空缺填补，以获取完整且平滑的跟踪轨迹。本发明的方法能在目标遮挡、不同目标具有相似外貌特征、运动目标方向突变等复杂情况下，实现多目标的正确关联，最终得到稳定、连续的跟踪轨迹。

Description

一种基于轨迹关联的多目标跟踪方法

技术领域

本发明涉及一种多目标跟踪方法，尤其涉及一种基于轨迹关联的多目标跟踪方法，属于图像处理技术领域。

背景技术

基于轨迹关联的多目标跟踪算法是国内外学者的研究热点，其主要原理是在跟踪目标的多个短小跟踪片段间建立关联，以获取跟踪目标连续、平滑的跟踪轨迹。多目标跟踪算法的关键在于如何度量轨迹间的相似性。

在复杂场景中，当具有相似表观的目标间存在交互行为时，很易导致错误的轨迹关联。这就要求多目标跟踪算法不仅能准确跟踪新出现的目标，还能对原有的跟踪目标保持连续性。此外，基于在线学习表观模型算法虽然能满足时性需求，但这种方法需要整个视频序列的先验信息，且迭代过程加大了方法的时间复杂度；同时，由于跟踪目标运动的任意性，导致运动轨迹的非线性。而本发明能够很好地解决上面的问题。

发明内容

本发明目的在于解决了复杂场景中具有相似表观的目标间存在交互行为时，很易导致错误的轨迹关联的问题，提出了一种基于轨迹关联的多目标跟踪方法，该方法是基于场景自适应的局部轨迹生成方法。

本发明解决其技术问题所采取的技术方案是：一种基于轨迹关联的多目标跟踪方法，该方法包括如下步骤：

步骤1：基于场景自适应方法生成局部轨迹，实现检测响应与原有轨迹关联；

步骤2：基于增量线性判决的表观模型，实现全局轨迹关联；

步骤3：基于非线性运动模型，实现轨迹片段间空缺填补，以获取完整且平滑的跟踪轨迹。

进一步的，本发明局部轨迹生成的具体过程，包括：

利用前景检测技术实现图像目标的检测；基于场景自适应计算检测响应与已有轨迹间的关联性；判断检测响应是否成功关联某条轨迹；将成功关联的检测响应加入目标集合中，同时将未关联的检测响应作为新目标加入目标集合中。

进一步的，本发明局部轨迹关联的具体过程，包括：

定义D＝{di}为一系列检测响应，通过计算相似性得到目标的轨迹片段：

P_link＝A_pos(d_j|d_i)A_size(d_j|d_i)A_appr(d_j|d_i) (1)

上式中的A_pos(d_i|d₂)表示不同目标间位置的相似性：

上式中的x₁、y₁与x₁、y₂分别为不同目标在连续两帧中的位置，σ_x与σ_y分别为当前轨迹片段的方差。式(1)中的A_size(d₁|d₂)表示目标尺寸的相似性：

上式中的s₁与s₂分别为目标的尺寸，σ_s为当前所有轨迹片段面积的方差。式(1)中的A_appr(d₁|d₂)表示目标间的表观相似性：

上式中的q、p分别表示不同目标灰度级的权重，N表示直方图的级数。

本发明采用基于场景自适应的关联策略，将当前检测响应关联成局部轨迹：

进一步的，本发明全局轨迹关联的具体过程，包括：

计算轨迹间的相似性：

进一步的，本发明基于运动模型，计算轨迹间的运动相似性，包括：

上式中的Δt表示第i条轨迹T_i的尾部与第j条轨迹T_j的头部间的帧数；p和v表示经卡尔曼滤波后目标轨迹的位置与速度信息。

时域模型保证了两条轨迹T_i与T_j在时间上没有重叠：

上式中的f_i(e)表示第i轨迹T_i的结束帧，f_j(s)表示第j轨迹T_j的起始帧。

基于增量线性表观模型Λ，计算轨迹间的表观相似性：

进一步的，本发明轨迹间空缺填补计算步骤如下：

步骤1：分析新生成的轨迹T_i*：如果该轨迹为一单独轨迹，则将其归入最终的轨迹集合{T_i}；如果该轨迹包含两条以上的轨迹片段，则进入下一步。

步骤2：按时间先后顺序，排列轨迹T_i*对应的轨迹片段，并填补片段间的空缺：对由于目标遮挡引起的轨迹片段，本发明采用线性运动模型进行填补；对由于运动状态突变引起的轨迹片段，本发明采用非线性运动估计模型进行填补。

步骤3：重复以上步骤，遍历轨迹集合{T_i*}中每一条轨迹，剔除未能成功关联的轨迹片段，最终得到目标平滑而连续的轨迹。

附图说明

图1为基于MF1-c1视频片段的跟踪结果示意图。

图2为基于S2L1视频库的跟踪结果示意图。

图3为基于本发明的目标跟踪结果示意图。

图4为本发明的方法流程图。

具体实施方式

下面结合说明书附图对本发明创造作进一步的详细说明。

如图4所示，本发明的提供了一种基于轨迹关联的多目标跟踪方法，该方法包括：首先，场景自适应的局部轨迹生成方法能自适应地选取合适特征表征目标，且通过特征融合减少目标表征的二义性；其次，采用基于增量线性判决的表观模型可有效减少计算量，且可有效解决目标在显著形变、表观改变及长时遮挡下的识别问题；同时，采用基于非线性运动模型的轨迹填充策略，可有效解决不满足线性运动轨迹间的关联问题，以生成更为平滑、连续的跟踪轨迹。

步骤1：基于场景自适应方法生成局部轨迹，实现检测响应与原有轨迹关联。

鲁棒性的目标表示，是目标局部轨迹生成过程中的一个重要任务。为解决此类问题，本发明提出了基于场景自适应的局部轨迹生成方法，即：依据分层的特征空间，自适应地分阶关联局部轨迹。

1、基于场景自适应的局部轨迹思路

在多目标关联框架中，一个关键步骤是将当前帧的n个检测响应与m条轨迹进行关联。假设D^t:＝{d₁,d₂,…,d_n}表示第t帧中的n个检测响应，T:＝{T₁,T₂,…,T_m}表示m条轨迹， 表示与第j条轨迹T_j相关联的检测响应，表示t时刻与轨迹T_j关联的检测响应。

轨迹间的相似性常常是先计算检测响应与轨迹间基于某个特征的相似性，然后将不同特征的相似性相乘以获得最终的关联性：

P_link(d_i,T_j)＝A_pos(d_i,T_j)A_sz(d_i,T_j)A_appr(d_i,T_j)... (11)

上式中的这里A定义了检测响应d_i与轨迹T_j间的相似性，f(k)定义了目标响应的特征。然而，基于众多特征的相似性关联计算，不能提高目标识别的准确性；相反，它易导致算法的错误率叠加和时间复杂度的增大。为解决该问题，本发明提出基于场景自适应分层空间的关联。

2、场景自适应分层空间的关联

首先建立一个特征空间F，用以描述检测响应与轨迹间的相似性：

然后，依据特征空间F重构K层特征空间：利用鲁棒性的特征，构建特征空间的低层；通过逐渐添加特征，构建特征空间的高层：

3、基于场景自适应的特征选取过程

假设表示第t帧中的检测响应d_i，T_j表示一系列在第t帧前已关联到目标j的轨迹，则当检测响应d_i在第t帧时已关联到T_j情况下，目标j特征表示的差异值为：

上式中的Dist_f(k)表示检测响应d_i与轨迹T_j在特征表示f(k)下的距离度量。

分别计算差异值的均值u_f(k)与标准偏差S_f(k)：

上式中的N_T表示关联到轨迹的检测响应数目，为：

目标特征f(k)的鲁棒性表示为：

上式中的U_k是一个为不同特征预先设定的参数(本发明设为20)，w₁与w₂是权重参数。

实际应用中，本发明采用迭代方式更新u_f(k)与S_f(k)：

上式中的Δ_n(t)为：

对于给定的更新值u_f(k)与S_f(k)，R_k可通过式(17)进行更新。

4、基于场景自适应的局部轨迹

假设选取K个鲁棒性特征，构建K层特征空间H_k，且在H_k内有M_k条轨迹T_Hk:＝{T^j _Hk}_M与N_k个检测响应D_Hk:＝{dⁱ _Hk}_N间存在关联，则基于场景自适应的局部轨迹具体过程描述如下:

计算T_Hk与D_Hk之间的相似性矩阵M_Hk：

上式中的A^ij _Hk表示M_Hk的第i行和第j列的元素，且

基于式(21)所示的相似性矩阵，本发明提出基于分层的局部轨迹生成方法，该方法首先检测响应，并以此更新轨迹Tj；然后，对那些不可靠连接，将构建多层特征空间；最后，采用迭代过程实现轨迹关联，对那些由于目标遮挡、走出区域而引起的目标跟丢，则在全局轨迹关联算法框架中进行进一步分析。

步骤2：基于增量线性判决的表观模型，实现全局轨迹关联；

本发明提出基于增量线性判别表观模型的在线学习关联策略。由于增量线性判别法不仅有利于减少表观模型学习的计算量，且有利于长时保存轨迹信息，因此，该关联策略可有效解决显著形变、表观改变、长时遮挡下的目标识别问题。

1、训练样本

由于遮挡导致、显著形变、表观改变等情况会产生伪轨迹，因此，本发明只从已有轨迹片段中提取训练样本。

训练样本的生成过程是：首先将每帧图像中的检测相应用HSV色彩空间的颜色特征f_i表示，然后与标记轨迹片段y_i生成B＝{(f_i,y_i)}。为提高目标识别的效果，本发明基于增量线性判决分析法实现高维特征的低维空间投影。

2、增量线性判决分析法

为确保同类数据间的高相似性，及不同类数据间的高差异性，基于类分离最大化原则构建如下式所示的投影矩阵：

上式中的S_T和S_B分别表示总体散度和类间散度：

上式中的C表示轨迹片段的数目，n_i表示第i类轨迹的片段数，m_i表示第i类轨迹的平均特征值，μ表示所有轨迹的平均特征值。

利用特征值分解，分别获得S_T和S_B的主成分，及相应的生成空间；对新产生的轨迹片段，同样利用特征值分解，获得其主成分及相应的生成空间。

第i类轨迹的的特征模型表示为：

{μ_i,n_i,P_i,Λ_i} (25)

上式中的P_i表示第i类轨迹的主成分，Λ_i表示第i类轨迹的生成空间。

为提高计算效率，本发明采用不同轨迹间基向量的线性组合表示轨迹关联后的主成分：

P₃＝h([p₁,p₂,μ₁-μ₂])·R (26)

上式中的h(·)表示对向量进行正交归一化处理，R为旋转矩阵。

基于以上公式，轨迹关联后的总体散度矩阵S_T可表示为：

由于正交性，上式可进一步表示为：

上式等号左边的表达式可确定旋转矩阵R及相应的主成分P₃，及获得轨迹合并后的生成空间Λ₃。

在本发明中，轨迹i和轨迹j的类间散度矩阵S_B的空间模型表示为：

{μ_i,n_i,Q_i,Δ_i,n_ij,α_ij} (29)

上式中的Q_i表示第i条轨迹的主成分，Δ_i为第i条轨迹的生成空间，α_ij表示轨迹i与轨迹j的特征均值在投影算子Q下的特征均值。利用算子向量a_ij及轨迹i的总体样本均值μ_i，可得到轨迹集合的特征均值：

μ_ij＝μ_i+a_ij·Q_i (30)

本发明利用下式表示轨迹合并后的类间散度：

上式中的K为轨迹片段的类标签。

轨迹关联后的主成分求解问题可转化为求解旋转矩阵R的问题：

第i类轨迹的特征均值a_ij表示轨迹i中所有片段特征均值的主成分投影：

a_ij＝Q^T(μ_ij-μ_i) (33)

此时，轨迹i的特征均值更新为：

μ_3j＝(n_1jμ_1j+n_2jμ_2j)/(n_1j+n_2j) (34)

基于类间散度特征模型获取投影算子的过程描述如下。

投影空间表示为：

投影空间的基向量集合表示为：

旋转矩阵R表示为：

投影算子U表示为：

基于增量线性判决的表观相似性模型表示为：

步骤3：基于非线性运动模型，实现轨迹片段间空缺填补，以获取完整且平滑的跟踪轨迹

1、轨迹关联

假设轨迹中含有置信度较高(置信度评测标准参见实验部分)的轨迹片段集合为{T₁ ^*,T₂ ^*,…,T_M ^*}，且T_i ^*的表达形式为:

上式中的与分别表示轨迹片段i的开始帧与结束帧。表示t时刻的检测响应，分别表示位置信息、尺寸信息、速度矢量信息。

G(P^tail+v^tailΔt-p^head,Σ_p)G(p^head-v^headΔt-p^tail,Σ_p) (41)

上式中的△t为p^tail与p^head的帧差，G(·)为高斯函数。

本发明只关联那些置信度较高的轨迹片段：首先，去除那些满足式(41)所示的线性运动模型的头部片段和尾部片段；然后，将那些满足非线性运动状态模型的片段，运用非线性运动模型进行关联。

2、基于非线性运动模型的轨迹关联

利用算法1，实现非线性运动轨迹片段的关联。

在上述算法1中，<a,b>表示向量a、b的角度，(x,y)表示x到y的向量，ζ为角度阈值。上述的算法依据在线学习的非线性运动模型，利用检测响应关联轨迹，获取平滑、连续的轨迹。相比之前的跟踪算法，该算法在目标运动方向突变跟踪性能上表现出一定的鲁棒性。

Claims (1)

1.一种基于轨迹关联的多目标跟踪方法，其特征在于，首先场景自适应的局部轨迹生成方法能自适应地选取合适特征表征目标，且通过特征融合减少目标表征的二义性；其次，采用基于增量线性判决的表观模型有效减少计算量，且有效解决目标在显著形变、表观改变及长时遮挡下的识别问题，同时，采用基于非线性运动模型的轨迹填充策略，有效解决不满足线性运动轨迹间的关联问题，以生成更为平滑、连续的跟踪轨迹，包括如下步骤：

步骤1：基于场景自适应方法生成局部轨迹，实现检测响应与原有轨迹关联,包括：

利用前景检测技术实现图像目标的检测；基于场景自适应计算检测响应与已有轨迹间的关联性；判断检测响应是否成功关联某条轨迹；将成功关联的检测响应加入目标集合中，同时将未关联的检测响应作为新目标加入目标集合中；

步骤2：基于增量线性判决的表观模型，实现全局轨迹关联，具体过程如下：

计算轨迹间的相似性：

基于运动模型，计算轨迹间的运动相似性：

上式中的Δt表示第i条轨迹T_i的尾部与第j条轨迹T_j的头部间的帧数；p和v表示经卡尔曼滤波后目标轨迹的位置与速度信息，A_a(.)表示轨迹间的表观相似性，A_m(.)表示轨迹间的运动相似性，A_t(.)表示轨迹间的时间相似性，L是英文字母link的缩写形式；Σ_Δt表示第i条轨迹T_i的尾部与第j条轨迹T_j的头部间的帧数和，G(·)为高斯函数；

时域模型保证了两条轨迹T_i与T_j在时间上没有重叠：

上式中的f_i(e)表示第i轨迹T_i的结束帧，f_j(s)表示第j轨迹T_j的起始帧；

基于增量线性表观模型Λ，计算轨迹间的表观相似性：

上式中U表示投影算子，T是英文字母transform的缩写形式，X,Y表示目标在帧中的位置，f(.)表示跟踪目标在图像帧所处位置的响应特征；

基于增量线性判决的表观模型，实现全局轨迹关联包括：运动模型、时域模型与表观模型在内的三个相似性模型；采用基于学习的表观模型更新策略：首先，从之前运动轨迹中提取在线训练样本；然后，基于增量线性判决法，将目标轨迹的表观信息投影到判决空间；

步骤3：基于非线性运动模型，实现轨迹片段间空缺填补，以获取完整且平滑的跟踪轨迹，包括：

(1)分析新生成的轨迹T_i*：如果该轨迹为一单独轨迹，则将其归入最终的轨迹集合{T_i}；如果该轨迹包含两条以上的轨迹片段，则进入下一步；

(2)按时间先后顺序，排列轨迹T_i*对应的轨迹片段，并填补片段间的空缺：对由于目标遮挡引起的轨迹片段，采用线性运动模型进行填补；对由于运动状态突变引起的轨迹片段，采用非线性运动估计模型进行填补；

重复上述步骤(1)-(2)，遍历轨迹集合{T_i*}中每一条轨迹，剔除未能成功关联的轨迹片段，最终得到目标平滑而连续的轨迹；

轨迹关联包括：

假设轨迹中含有置信度高的轨迹片段集合为{T₁ ^*,T₂ ^*,…,T_M ^*}，且T_i ^*的表达形式为:

上式(40)中的t_s ⁱ与t_e ⁱ分别表示轨迹片段i的开始帧与结束帧，d_i ^t＝{p_i ^t,s_i ^t,v_i ^t}表示t时刻的检测响应，p_i ^t、s_i ^t、v_i ^t分别表示位置信息、尺寸信息、速度矢量信息；

G(p^tail+v^tailΔt-p^head，∑_p)G(p^head-v^headΔt-p^tail，∑_p) (41)

上式中的△t为p^tail与p^head的帧差，Σ_p表示△t的方差，G(·)为高斯函数；

所述方法只关联那些置信度较高的轨迹片段：首先，去除那些满足式(41)所示的线性运动模型的头部片段和尾部片段；然后，将那些满足非线性运动状态模型的片段，运用非线性运动模型进行关联；

所述方法的局部轨迹关联，包括：

定义D＝{d_i}为一系列检测响应，通过计算相似性得到目标的轨迹片段：

P_link＝A_pos(d_j|d_i)A_size(d_j|d_i)A_appr(d_j|d_i) (1)

上式中的A_pos(d_j|d_i)表示不同目标间位置的相似性，A_size(d_j|d_i)表示不同目标尺寸的相似性，A_appr(d_j|d_i)表示不同目标间的表观相似性；

上式中的x₁、y₁与x₂、y₂分别为不同目标在连续两帧中的位置，σ_x与σ_y分别为当前轨迹片段的方差，A_size(d₁|d₂)表示目标尺寸的相似性：

上式中的s₁与s₂分别为目标的尺寸，σ_s为当前所有轨迹片段面积的方差；

A_appr(d₁|d₂)表示目标间的表观相似性：

上式中的q、p分别表示不同目标灰度级的权重，表示d₁轨迹片段在第n个直方图级数下的权重，表示d₂轨迹片段在第n个直方图级数下的权重，N表示直方图的级数，BC(.)表示巴氏系数获得颜色间距离的度量；

采用基于场景自适应的关联策略，将当前检测响应关联成局部轨迹：

上式中的表示检测响应d_i与轨迹T_j在特征表示f_k下的距离度量，f_k表示任意一个检测响应的特征，表示响应特征f_k与跟踪目标特征表示间差异的平均值，表示响应特征f_k与跟踪目标特征表示间差异的标准偏差。