CN106846358A - 基于稠密轨迹投票的多目标分割与跟踪方法 - Google Patents

Abstract

本发明公开了一种基于稠密轨迹投票的多目标分割与跟踪方法，用于解决现有多目标跟踪方法跟踪准确率低的技术问题。技术方案是首先利用前景提取方法提取出目标连通域，然后根据轨迹所在连通域，对每帧中每条轨迹进行标记。根据轨迹的历史标记信息，计算轨迹间的相关性，然后利用区域增长的图割方法提取运动目标、分割并跟踪。本发明将多运动目标的跟踪问题转化为弱分类器累积问题，实现了更为简易精确的多运动目标的分割与跟踪。

Description

基于稠密轨迹投票的多目标分割与跟踪方法

技术领域

本发明涉及一种多目标跟踪方法，特别是涉及一种基于稠密轨迹投票的多目标分割与跟踪方法。

背景技术

多目标跟踪技术是计算机视觉领域的一个传统问题，也是一个难点问题。文献“Robust object tracking by hierarchical association of detection responses.InEuropean Conference on Computer Vision,pages 788–801.”公开了一种多目标跟踪方法。该方法提出了一种由低到高的多层跟踪的基础性框架，其中最关键的是数据关联。目前基于数据关联的方法遇到了前所未有的挑战，遮挡问题尤其明显。当场景中物体被遮挡，检测器无法检测出目标，轨迹将中断。现有多数解决办法是大多基于目标匀速运动假设或者要求轨迹光滑连续，根据运动信息预测目标位置，但实际情况往往并非如此。如果目标出现急转或者回转，均会导致关联错误。故需要更加灵活、复杂的运动模型应对。

发明内容

为了克服现有多目标跟踪方法跟踪准确率低的不足，本发明提供一种基于稠密轨迹投票的多目标分割与跟踪方法。该方法首先利用前景提取方法提取出目标连通域，然后根据轨迹所在连通域，对每帧中每条轨迹进行标记。根据轨迹的历史标记信息，计算轨迹间的相关性，然后利用区域增长的图割方法提取运动目标、分割并跟踪。本发明将多运动目标的跟踪问题转化为弱分类器累积问题，实现了更为简易精确的多运动目标的分割与跟踪。

本发明解决其技术问题所采用的技术方案是：一种基于稠密轨迹投票的多目标分割与跟踪方法，其特点是包括以下步骤：

步骤一、前景提取以及目标连通域提取。

利用Vibe方法对当前视频帧Frame_j进行提取前景，生成前景二值图像；然后利用多项式拟合的连通域处理得到目标的连通区域Connect_i，并对连通域Connect_i进行编号L_i。

步骤二、稠密轨迹标记以及累计投票。

每个连通域编号之后，根据当前第j帧Frame_j中，第i条稠密轨迹Trajectory_i端点v_i所在的连通区域Connect_i标记上相应的标号T_i＝L_i，不属于任何连通域的端点标号T_i＝-1，i为轨迹计数编号。轨迹上的每个节点都携带每一帧中的标记信息当前帧的标记信息初始化为计算两条轨迹A，B的相关性时，比较当前帧中轨迹端点的差异值

对于三种不同的差异值，两两轨迹之间的相关性约束也不同。

(a)当时，表示在当前帧T_A＝TB，轨迹A，B的端点v_A，v_B属于同一连通域。然后根据历史轨迹标记情况判断A，B是否属于同一目标。轨迹上的每个节点都携带每一帧中的标记信息ID_i，计算轨迹标记信息差异值

在历史帧中，计算两条轨迹的每帧差异并进行累计投票。

其中，m是两条轨迹共享的第一帧，n是两条轨迹所共享的连续帧数量，当投票累计的结果为非负数时，则两条轨迹在历史中属于同一目标的可能性大，则合并轨迹A，B，使当前帧中ID_B＝ID_A。

(b)当时，为了避免前景提取所带来的误差，利用空间、色彩以及运动信息来判断两个轨迹的相关性。

其中，被定义为：

是光流的变化量，T是计算运动变化的时间区间，T＝5。

两个轨迹间的差异定义如下：

Diff(A，B)＝β₁d^motion(A，B)+β₂d^spation(A，B)+β₃d^color(A，B) (7)

β₁、β₂与β₃是三个限定权值，通过权值来调节时间空间和运动信息的重要程度，对于运动目标分割运动信息的权值应最大β₁＝0.7。

(c)当时，轨迹A，B属于不同目标。

步骤三、基于区域增长图的图像分割。

将Frame_j帧图像中的稠密轨迹端点作为图的节点S＝{v₁，v₂，...v₃}，对每一个节点v_i，寻找与之最近的10个节点，构建稠密轨迹图G，MST为通过聚类形成的类。图的边的权重e_i根据公式(7)计算，再将边权重非递减排序E＝{e₁，e₂...e₃}，遍历E，e_i两个端点(v_i，v_j)，若则计算e_i两个端点之间的差异值

(d)若则两个端点分属不同的前景连通域，则两类轨迹分开。

(e)若根据上述投票累计算法判断轨迹的相关性，若轨迹相关则两类轨迹合并聚类，执行步骤(g)。

(f)若则判断e_i与两类轨迹类间差异。类间差异定义为：

Diff(C)＝min(Int(C_i)+r(C_i)，Int(C_j)+r(C_j))， (8)

其中，|C|为MST中所包含轨迹数量，k为阈值其限定了类间差异的最初容忍度，并且随着聚类数量增多而作用减小。若e_i≤Diff(C)，则轨迹相关，执行步骤(g)。

(g)若轨迹相关，统一两类的类别号使并更新最大类内差Int(C):

Int(C)＝max_{e∈(MST，E)}e (9)

MST为通过聚类形成的类。

循环上述过程直到遍历完整个轨迹图，完成对前景目标的分割，并用稠密轨迹进行目标的准确跟踪。

本发明的有益效果是：该方法首先利用前景提取方法提取出目标连通域，然后根据轨迹所在连通域，对每帧中每条轨迹进行标记。根据轨迹的历史标记信息，计算轨迹间的相关性，然后利用区域增长的图割方法提取运动目标、分割并跟踪。本发明将多运动目标的跟踪问题转化为弱分类器累积问题，实现了更为简易精确的多运动目标的分割与跟踪。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

本发明基于稠密轨迹投票的多目标分割与跟踪方法具体步骤如下：

1.前景提取以及目标连通域提取。

利用Vibe方法对当前视频帧Frame_j进行提取前景，生成前景二值图像；然后利用多项式拟合的连通域处理得到目标的连通区域Connect_i，并对连通域Connect_i进行编号L_i。

2.稠密轨迹标记以及累计投票。

每个连通域编号之后，根据当前第j帧Frame_j中，第i条稠密轨迹Trajectory_i端点v_i所在的连通区域Connect_i标记上相应的标号T_i＝L_i，不属于任何连通域的端点标号T_i＝-1，i为轨迹计数编号。轨迹上的每个节点都携带每一帧中的标记信息当前帧的标记信息初始化为计算两条轨迹A，B的相关性时，首先比较当前帧中轨迹端点的差异值

对于三种不同的差异值，两两轨迹之间的相关性约束也不同。

(a)当时，表示在当前帧T_A＝T_B，轨迹A，B的端点v_A，v_B属于同一连通域。然后根据历史轨迹标记情况判断A，B是否属于同一目标。轨迹上的每个节点都携带每一帧中的标记信息ID_i，计算轨迹标记信息差异值

在历史帧中，计算两条轨迹的每帧差异并进行累计投票。

其中m是两条轨迹共享的第一帧，n是两条轨迹所共享的连续帧数量，当投票累计的结果为非负数时，则两条轨迹在历史中属于同一目标的可能性大，则合并轨迹A，B，使当前帧中ID_B＝ID_A。

(b)当时，为了避免前景提取所带来的误差，利用空间、色彩以及运动信息来判断两个轨迹的相关性。

其中被定义为：

是光流的变化量，T是计算运动变化的时间区间T＝5。

两个轨迹间的差异定义如下：

Diff(A，B)＝β₁d^motion(A，B)+β₂d^spation(A，B)+β₃d^color(A，B) (7)

β₁、β₂与β₃是三个限定权值，通过权值来调节时间空间和运动信息的重要程度，对于运动目标分割运动信息的权值应最大β₁＝0.7。

(c)当时，轨迹A，B属于不同目标。

3.基于区域增长图的图像分割。

将Frame_j帧图像中的稠密轨迹端点作为图的节点S＝{v₁，v₂...v₃}，对每一个节点v_i，寻找与之最近的10个节点，构建稠密轨迹图G，MST为通过聚类形成的类。图的边的权重e_i根据公式(7)计算，再将边权重非递减排序E＝{e₁，e₂...e₃}，遍历E，e_i两个端点(v_i，v_j)，若则计算e_i两个端点之间的差异值

(d)若则两个端点分属不同的前景连通域，则两类轨迹分开。

(e)若根据上述投票累计算法判断轨迹的相关性，若轨迹相关则两类轨迹合并聚类，执行步骤(g)。

(f)若则判断e_i与两类轨迹类间差异。类间差异定义为：

Diff(C)＝min(Int(C_i)+r(C_i)，Int(C_j)+r(C_j))， (8)

其中|C|为MST中所包含轨迹数量，k为阈值其限定了类间差异的最初容忍度，并且随着聚类数量增多而作用减小。若e_i≤Diff(C)，则轨迹相关，执行步骤(g)。

(g)若轨迹相关，统一两类的类别号使并更新最大类内差Int(C):

Int(C)＝max_{e∈(MST，E)}e (9)

MST为通过聚类形成的类。

循环上述过程直到遍历完整个轨迹图，完成对前景目标的分割，并用稠密轨迹进行目标的准确跟踪。

Claims (1)

1.一种基于稠密轨迹投票的多目标分割与跟踪方法，其特征在于包括以下步骤：

步骤一、前景提取以及目标连通域提取；

利用Vibe方法对当前视频帧Frame_j进行提取前景，生成前景二值图像；然后利用多项式拟合的连通域处理得到目标的连通区域Connect_i，并对连通域Connect_i进行编号L_i；

步骤二、稠密轨迹标记以及累计投票；

每个连通域编号之后，根据当前第j帧Frame_j中，第i条稠密轨迹Trajectory_i端点v_i所在的连通区域Connect_i标记上相应的标号T_i＝L_i，不属于任何连通域的端点标号T_i＝-1，i为轨迹计数编号；轨迹上的每个节点都携带每一帧中的标记信息当前帧的标记信息初始化为计算两条轨迹A，B的相关性时，比较当前帧中轨迹端点的差异值

$d_{(A,B)}^{label}=\left\{\begin{array}{cc}1,& T_A=T_B\\ -1,& T_A\≠T_B(T_{A,B}\≠-1)\\ 0,& T_A=-1\left|\right|T_B=-1\end{array}\right.---\left(1\right)$

对于三种不同的差异值，两两轨迹之间的相关性约束也不同；

(a)当时，表示在当前帧T_A＝T_B，轨迹A，B的端点v_A，v_B属于同一连通域；然后根据历史轨迹标记情况判断A，B是否属于同一目标；轨迹上的每个节点都携带每一帧中的标记信息ID_i，计算轨迹标记信息差异值

$d_{(A_i,B_i)}^{ID}=\left\{\begin{array}{cc}1,& {\mathrm{ID}}_{A_i}={\mathrm{ID}}_{B_i}\\ -1,& {\mathrm{ID}}_{A_i}\≠{\mathrm{ID}}_{B_i}({\mathrm{ID}}_{A_i,B_i}\≠-1)\\ 0,& {\mathrm{ID}}_{A_i}=-1\left|\right|{\mathrm{ID}}_{B_i}=-1\end{array}\right.---\left(2\right)$

在历史帧中，计算两条轨迹的每帧差异并进行累计投票；

$D_{Id}^t(A,B)={\mathrm{\Σ}}_{i=m}^n\left(d^{ID}\right(A_i,B_i\left)\right)---\left(3\right)$

其中，m是两条轨迹共享的第一帧，n是两条轨迹所共享的连续帧数量，当投票累计的结果为非负数时，则两条轨迹在历史中属于同一目标的可能性大，则合并轨迹A，B，使当前帧中ID_B＝ID_A；

(b)当时，为了避免前景提取所带来的误差，利用空间、色彩以及运动信息来判断两个轨迹的相关性；

$d^{motion}(A,B)=\frac{\left|\right|{\∂}_{t}A-{\∂}_{t}B\left|\right|}{{\∂}_t}---\left(5\right)$

其中，被定义为：

${\∂}_{t}A=\frac{1}{T}{\left(\right(x_{t+T}^A-x_t^A),(y_{t+T}^A-y_t^A\left)\right)}^T---\left(6\right)$

是光流的变化量，T是计算运动变化的时间区间，T＝5；

两个轨迹间的差异定义如下：

Diff(A，B)＝β₁d^motion(A，B)+β₂d^spation(A，B)+β₃d^color(A，B) (7)

β₁、β₂与β₃是三个限定权值，通过权值来调节时间空间和运动信息的重要程度，对于运动目标分割运动信息的权值应最大β₁＝0.7；

(c)当时，轨迹A，B属于不同目标；

步骤三、基于区域增长图的图像分割；

将Frame_j帧图像中的稠密轨迹端点作为图的节点S＝{v₁，v₂...v₃}，对每一个节点v_i，寻找与之最近的10个节点，构建稠密轨迹图G，MST为通过聚类形成的类；图的边的权重e_i根据公式(7)计算，再将边权重非递减排序E＝{e₁，e₂...e₃}，遍历E，e_i两个端点(v_i，v_j)，若则计算e_i两个端点之间的差异值

(d)若则两个端点分属不同的前景连通域，则两类轨迹分开；

(e)若根据上述投票累计算法判断轨迹的相关性，若轨迹相关则两类轨迹合并聚类，执行步骤(g)；

(f)若则判断e_i与两类轨迹类间差异；类间差异定义为：

Diff(C)＝min(Int(C_i)+r(C_i)，Int(C_j)+r(C_j))， (8)

其中，|C|为MST中所包含轨迹数量，k为阈值其限定了类间差异的最初容忍度，并且随着聚类数量增多而作用减小；若e_i≤Diff(C)，则轨迹相关，执行步骤(g)；

(g)若轨迹相关，统一两类的类别号使并更新最大类内差Int(C):

Int(C)＝max_{e∈(MST，E)}e (9)

MST为通过聚类形成的类；

循环上述过程直到遍历完整个轨迹图，完成对前景目标的分割，并用稠密轨迹进行目标的准确跟踪。