CN102214301A - 自适应运动相关协作多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种自适应运动相关协作多目标跟踪方法，利用多个目标之间的时间和空间信息，建立目标间支持度模型，在目标发生遮挡时，通过所述支持度模型估计出该目标的状态。本发明方法利用多个目标之间的时间和空间信息，通过建立目标间支持度模型，即目标间加速度的二维高斯加权模型，在目标发生遮挡时，通过这种支持度模型正确估计出该目标的状态。本发明方法可以有效的处理目标遮挡，在较为复杂的环境下，快速稳定的跟踪多个目标。

Description

自适应运动相关协作多目标跟踪方法

技术领域

本发明涉及计算机图形图像处理，尤其连续视频图像特征循迹跟踪技术领域。

背景技术

多目标跟踪问题作为智能视频分析的关键问题，是目前计算机视觉领域研究的热点。目前，主要的多目标跟踪方法分为基于点模型的跟踪方法和基于核模型的跟踪方法。

基于点模型的方法主要通过数据关联分析来实现多目标的跟踪。典型的方法如Rasmussen等在“Probabilistic data association methods for tracking complex visual objects”中的联合概率数据关联滤波方法，Reid等在“An algorithm for tracking multiple targets”中和Streit等在“Maximum likelihood method for probabilistic multi-hypothesis tracking”中的多假设及概率多假设跟踪方法，以及Hue等在“Sequential monte carlo methods for multiple target tracking and data fusion”中粒子滤波进行状态估计的方法。此外，Shafique等结合图形学的原理在“A non-iterative greedy algorithm for multi-frame point correspondence”中提出多帧关联贪婪算法。这些方法通过推理计算多个测量与多个目标之间的匹配关联关系来实现多目标的跟踪，在较为简单的环境下取得了比较理想的跟踪效果，但是，难以处理更加复杂环境下的跟踪。由于这些方法要么需要枚举测量到目标概率，要么需要处理多个采样点，要么需要多帧关联并行分析，因此，这些方法实现复杂，计算量大，难以满足实时应用的需要。

基于核模型的方法主要通过定位目标区域来实现多个目标的跟踪。典型的方法如Tao等在“Object tracking with bayesian estimation of dynamic layer representations”中提出的图像分层方法，即包含一个背景层，以及每个对象对应一个层，通过这种分层的像素概率分析和处理，实现多目标的跟踪。Isard等在“Bramble：A bayesian multiple-blob tracker”中通过一种混合高斯模型对背景和前景对象进行联合建模，然后利用粒子滤波实现多目标的跟踪。由于这些方法需要预定目标的数目，以及需要对前景对象进行训练分析，因此，难以适应较为复杂的应用场景和满足实时处理的需要。

另一方面，在目标跟踪过程中，如果利用其所在的环境信息，将在很大程度上提高跟踪效果，如M.Yang等在“Context-Aware Visual Tracking”中通过数据挖掘把同目标具有关联运动的背景对象提取出来作为辅助对象，从而提供更多的上下文信息，用以帮助跟踪系统稳定的跟踪目标。这种方法可以有效地处理复杂环境下的目标跟踪问题，但是，该方法实现复杂，计算量大，更重要的是，它仅是单目标跟踪方法。

发明内容

鉴于以上陈述的已有方案的不足，本发明旨在提供一种自适应运动相关协作多目标跟踪方法，实现实时稳定的多目标跟踪。

本发明的目的通过如下手段来实现。

自适应运动相关协作多目标跟踪方法，利用多个目标之间的时间和空间信息，建立目标间支持度模型，在目标发生遮挡时，通过所述支持度模型估计出该目标的状态；包含如下步骤：

(1)实时图像输入

将实时视频图像作为要进行跟踪的输入图像；

(2)确定跟踪目标及其区域预处理

通过运动对象检测自动提取运动对象，将需要进行跟踪的对象作为跟踪目标，并加入到跟踪目标列表中；对每一个目标所在的区域及其邻近搜索区域进行局部标准差图像增强预处理；

(3)计算每个目标的搜索区域相关度

对每个目标：在目标邻近搜索区域计算相关度平面，相关度计算公式为：

$c(x,y)=\frac{\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}s(x+i,y+j)T(i,j)}{\sqrt{\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{s}^2(x+i,y+j)}\sqrt{\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{T}^2(i,j)}},$

目标相关度平面的最大相关度值记为c_max，对应坐标记为(x_m，y_m)；设相关度阈值为δ_c，如果c_max＞δ_c，则该目标标记为未遮挡；否则，标记为遮挡；

(4)目标状态更新

对每个标记为未遮挡的目标：根据(3)得到的目标当前坐标(x_m，y_m)，更新目标状态，通过线性卡尔曼滤波方法进行状态更新，并作为本次跟踪过程中被遮挡目标的协作支持目标；

(5)目标状态估计

设t时刻，目标的状态向量为

其中，

和

分别表示目标的横纵坐标，x方向和y方向的速度与加速度；则对每个标记为遮挡的目标，其支持度状态估计加权模型为：

$X_i^t=\frac{\underset{j\≠i}{\overset{n}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}^{t-1}(C{\mathrm{\ΔX}}_{\mathrm{ij}}^{t-1}+X_j^t)+W_{i}C{X}_i^{t-1}}{\underset{j\≠}{\overset{n}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}^{t-1}+W_i},$

其中，n为未遮挡目标的个数，W_ij为目标间支持度，即状态估计加权值，C为如下的矩阵：

$C=\left(\begin{array}{cccccc}1& 0& 1& 0& 1/2& 0\\ 0& 1& 0& 1& 0& 1/2\\ 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 1\end{array}\right).$

如果全部目标均被遮挡，则直接通过目标前一时刻的状态，估计当前目标状态；

(6)目标支持度更新

目标之间的支持度计算公式为：

$W({\mathrm{\Δa}}_x,{\mathrm{\Δa}}_y)=\frac{1}{{2\mathrm{\π\σ}}_1{\mathrm{\σ}}_2\sqrt{1-{\mathrm{\ρ}}^2}}\×$

$\exp \{-\frac{1}{2(1-{\mathrm{\ρ}}^2)}[\frac{{({\mathrm{\Δa}}_x-{\mathrm{\μ}}_1)}^2}{{{\mathrm{\σ}}_1}^2}-2\mathrm{\ρ}\frac{({\mathrm{\Δa}}_x-{\mathrm{\μ}}_1)({\mathrm{\Δa}}_y-{\mathrm{\μ}}_2)}{{\mathrm{\σ}}_1{\mathrm{\σ}}_2}+\frac{{({\mathrm{\Δa}}_y-{\mathrm{\μ}}_2)}^2}{{{\mathrm{\σ}}_2}^2}\left]\right\},$

其中，Δa_x和Δa_y分别为两个目标在x方向和y方向的加速度差；

目标间支持度更新后，本次多目标跟踪任务完成，跳转到(2)。

本发明方法利用多个目标之间的时间和空间信息，通过建立目标间支持度模型，即目标间加速度的二维高斯加权模型，在目标发生遮挡时，通过这种支持度模型正确估计出该目标的状态。本发明方法可以有效的处理目标遮挡，在较为复杂的环境下，快速稳定的跟踪多个目标。

附图说明如下：

图1、本发明方法图1目标及其搜索区域示意图。

图2、本发明目标协作定位示例图。

图3、本发明自适应运动相关协作多目标跟踪方法流程图。

具体实施方式

下面结合附图对本发明的实施作进一步的描述。

(1)实时图像输入

将实时视频图像作为要进行跟踪的输入图像，即以视频速率连续处理图像信号，并完成多个目标的跟踪。如果视频图像输入终止，则跟踪过程也终止。

(2)确定跟踪目标及其区域预处理

通过运动对象检测自动提取运动对象，将需要进行跟踪的对象作为跟踪目标，并加入到跟踪目标列表中。对每一个目标所在的区域及其邻近搜索区域进行局部标准差图像增强预处理。目标及其邻近搜索区域的关系如图1所示，其中T表示目标，S表示搜索区域。因此，在跟踪过程中，将动态更新目标数目，即，可以对新进入的目标进行跟踪，也可以对已经消失后又重新出现的目标恢复跟踪。

(3)计算每个目标的搜索区域相关度

对每个目标：在目标邻近搜索区域计算相关度平面，相关度计算公式为：

$c(x,y)=\frac{\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}s(x+i,y+j)T(i,j)}{\sqrt{\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{s}^2(x+i,y+j)}\sqrt{\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{T}^2(i,j)}},$

其中，M和N为该目标的宽度和高度，x和y为对应目标搜索区域中的横坐标和纵坐标。目标相关度平面的最大相关度值记为c_max，对应坐标记为(x_m，y_m)。设相关度阈值为δ_c，如果c_max＞δ_c，则该目标标记为未遮挡；否则，标记为遮挡。

(4)目标状态更新

对每个标记为未遮挡的目标：根据(3)得到的目标当前坐标(x_m，y_m)，更新目标状态，这些状态包括表观，坐标，速度和加速度，以及目标与目标之间的坐标差，速度差和加速度差。即，对未遮挡的目标通过线性卡尔曼滤波方法进行状态更新，并作为本次跟踪过程中被遮挡目标的协作支持目标。

(5)目标状态估计

设t时刻，目标的状态向量为

其中，

和

分别表示目标的横纵坐标，x方向和y方向的速度与加速度。因此，两个目标

与

的差为 ${\mathrm{\ΔX}}_{\mathrm{ij}}^t=X_i^t-X_j^t={\mathrm{\Δx}}_i^t,{\mathrm{\Δy}}_i^t,{\mathrm{\Δv}}_{i,x}^t,{\mathrm{\Δv}}_{i,y}^t,{\mathrm{\Δa}}_{i,x}^t,{\mathrm{\Δa}}_{i,y}^t{)}^T.$ 则对每个标记为遮挡的目标，其状态估计公式(支持度状态估计加权模型)为：

$X_i^t=\frac{\underset{j\≠i}{\overset{n}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}^{t-1}(C{\mathrm{\ΔX}}_{\mathrm{ij}}^{t-1}+X_j^t)+W_{i}C{X}_i^{t-1}}{\underset{j\≠}{\overset{n}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}^{t-1}+W_i},$

其中，n为未遮挡目标的个数，W_ij为目标间支持度，即状态估计加权值，通过(6)计算，初始时可以设置为一个相等的常数，如W_ij＝1。W_i为表示目标自相关的一个常数，如可以是(6)中二维高斯函数的峰值。而C为如下的矩阵：

$C=\left(\begin{array}{cccccc}1& 0& 1& 0& 1/2& 0\\ 0& 1& 0& 1& 0& 1/2\\ 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 1\end{array}\right).$

如果全部目标均被遮挡，则直接通过目标前一时刻的状态，估计当前目标状态。

(6)目标支持度更新

目标之间的支持度计算公式(二维高斯分布)为：

$W({\mathrm{\Δa}}_x,{\mathrm{\Δa}}_y)=\frac{1}{{2\mathrm{\π\σ}}_1{\mathrm{\σ}}_2\sqrt{1-{\mathrm{\ρ}}^2}}\×$

$\exp \{-\frac{1}{2(1-{\mathrm{\ρ}}^2)}[\frac{{({\mathrm{\Δa}}_x-{\mathrm{\μ}}_1)}^2}{{{\mathrm{\σ}}_1}^2}-2\mathrm{\ρ}\frac{({\mathrm{\Δa}}_x-{\mathrm{\μ}}_1)({\mathrm{\Δa}}_y-{\mathrm{\μ}}_2)}{{\mathrm{\σ}}_1{\mathrm{\σ}}_2}+\frac{{({\mathrm{\Δa}}_y-{\mathrm{\μ}}_2)}^2}{{{\mathrm{\σ}}_2}^2}\left]\right\},$

其中，Δa_x和Δa_y分别为两个目标在x方向和y方向的加速度差。在这里μ₁＝μ₂＝0，即当两个目标的加速度差为0时，两个目标的支持度值为最大。因此，如果两个目标之间的加速度差越小，则在在跟踪过程中，它们互相协作定位的权重值就越大。如图2所示，目标T1，T2，T3，以及它们之间的协作关系。目标间支持度更新后，本次多目标跟踪任务完成，跳转到(2)。

本发明方法的技术流程图如图3所示。经过以上(2)-(6)的处理后，被遮挡的目标根据提出的支持度模型(即(5)和(6))，通过其它目标对其进行有效的估计定位，因此，本发明的方法可以有效的处理目标遮挡，在较为复杂的环境下，快速稳定的跟踪多个目标。

本发明提出的自适应运动相关协作多目标跟踪方法可以有效的处理目标遮挡，在较为复杂的环境下，快速稳定的跟踪多个目标，如交通视频监控，无人车辆驾驶，生物群体行为分析，以及流体表面测速等。本发明方法可通过任何计算机程序设计语言(如C语言)编程实现，基于本方法的多目标跟踪软件可在任何PC或者嵌入式系统中实现实时多目标跟踪应用。

Claims (2)

1.自适应运动相关协作多目标跟踪方法，利用多个目标之间的时间和空间信息，建立目标间支持度模型，在目标发生遮挡时，通过所述支持度模型估计出该目标的状态；包含如下步骤：

(1)实时图像输入

将实时视频图像作为要进行跟踪的输入图像；

(2)确定跟踪目标及其区域预处理

通过运动对象检测自动提取运动对象，将需要进行跟踪的对象作为跟踪目标，并加入到跟踪目标列表中；对每一个目标所在的区域及其邻近搜索区域进行局部标准差图像增强预处理；

(3)计算每个目标的搜索区域相关度

对每个目标：在目标邻近搜索区域计算相关度平面，相关度计算公式为：

$c(x,y)=\frac{\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}s(x+i,y+j)T(i,j)}{\sqrt{\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{s}^2(x+i,y+j)}\sqrt{\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{T}^2(i,j)}},$

目标相关度平面的最大相关度值记为c_max，对应坐标记为(x_m，y_m)；设相关度阈值为δ_c，如果c_max＞δ_c，则该目标标记为未遮挡；否则，标记为遮挡；

(4)目标状态更新

对每个标记为未遮挡的目标：根据(3)得到的目标当前坐标(x_m，y_m)，更新目标状态，通过线性卡尔曼滤波方法进行状态更新，并作为本次跟踪过程中被遮挡目标的协作支持目标；

(5)目标状态估计

设t时刻，目标的状态向量为其中，

和

分别表示目标的横纵坐标，x方向和y方向的速度与加速度；则对每个标记为遮挡的目标，其支持度状态估计加权模型为：

$X_i^t=\frac{\underset{j\≠i}{\overset{n}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}^{t-1}(C{\mathrm{\ΔX}}_{\mathrm{ij}}^{t-1}+X_j^t)+W_{i}C{X}_i^{t-1}}{\underset{j\≠}{\overset{n}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}^{t-1}+W_i},$

其中，n为未遮挡目标的个数，W_ij为目标间支持度，即状态估计加权值，C为如下的矩阵：

$C=\left(\begin{array}{cccccc}1& 0& 1& 0& 1/2& 0\\ 0& 1& 0& 1& 0& 1/2\\ 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 1\end{array}\right).$

如果全部目标均被遮挡，则直接通过目标前一时刻的状态，估计当前目标状态；

(6)目标支持度更新

目标之间的支持度计算公式为：

$W({\mathrm{\Δa}}_x,{\mathrm{\Δa}}_y)=\frac{1}{{2\mathrm{\π\σ}}_1{\mathrm{\σ}}_2\sqrt{1-{\mathrm{\ρ}}^2}}\×$

$\exp \{-\frac{1}{2(1-{\mathrm{\ρ}}^2)}[\frac{{({\mathrm{\Δa}}_x-{\mathrm{\μ}}_1)}^2}{{{\mathrm{\σ}}_1}^2}-2\mathrm{\ρ}\frac{({\mathrm{\Δa}}_x-{\mathrm{\μ}}_1)({\mathrm{\Δa}}_y-{\mathrm{\μ}}_2)}{{\mathrm{\σ}}_1{\mathrm{\σ}}_2}+\frac{{({\mathrm{\Δa}}_y-{\mathrm{\μ}}_2)}^2}{{{\mathrm{\σ}}_2}^2}\left]\right\},$

其中，Δa_x和Δa_y分别为两个目标在x方向和y方向的加速度差；

目标间支持度更新后，本次多目标跟踪任务完成，跳转到(2)。

2.根据权利要求1所述之自适应运动相关协作多目标跟踪方法，其特征在于，所述目标状态更新步骤中的目标状态包括：表观，坐标，速度和加速度，以及目标与目标之间的坐标差，速度差和加速度差。

Images