CN101840579A - 一种利用视频分割与粒子滤波实现多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种利用视频分割与粒子滤波实现多目标跟踪方法，该方法包括建立系统模型、建立目标运动模型与颜色模型和视频分割等步骤，该方法结合视频分割与粒子滤波各自优点，实现了多目标跟踪，大大地提高跟踪速度与精度，本发明充分利用测量与目标的关联程度，实现多目标在遮挡情况下运动跟踪。

Description

一种利用视频分割与粒子滤波实现多目标跟踪方法

技术领域

本发明涉及控制技术领域，尤其涉及一种利用视频分割与粒子滤波实现多目标跟踪方法。

背景技术

多目标跟踪是指使用一个或多个传感器(雷达、声呐、视频摄像机)对多个被跟踪目标的运动状态进行量测和估计，并基于每个运动目标的概率分配估计值，使用目标轨迹的信息，实现对多个运动目标的跟踪。

多目标跟踪主要包括运动目标建模、跟踪滤波与预测算法、跟踪门的形成、数据关联、跟踪维持、跟踪起始及跟踪终结等几方面主要内容。

目标跟踪是以目标的运动模型为基础的。建立目标运动模型时，既要符合目标运动实际，又要便于数学处理，如果选取不准确，不但会带来误差，而且可能增加运算量。通常运动模型有CV模型、CA模型、Singer模型、Jerk模型、交互式IMM模型等；CV模型、CA模型是分别描述目标匀速运动与匀加速直线运动，Singer模型是描述目标零均值、一阶时间相关机动加速度运动，Jerk模型是描述目标加速度变化率服从零均值、平稳的一阶时间相关过程，交互式IMM模型是利用几种模型的混合，依据某一规则选取其中某一模型来描述目标的运动。

跟踪滤波与预测的目的是估计当前和未来时刻目标的运动状态。对于线性系统的滤波方法有自回归滤波、两点外推滤波、维纳滤波、加权最小二滤波、α-β与α-β-γ滤波，卡尔曼滤波和简化的卡尔曼滤波等；对于非线性系统方法有推广的卡尔曼滤波、二阶滤波、迭代滤波、粒子滤波、多假设滤波等。

跟踪门是跟踪空间中的一块子空间，中心位于被跟踪目标的预测状态，其大小由接收正确量测数据的概率来确定；跟踪门的形成是将观测数据分配给已建立的目标轨迹或新目标轨迹之中。常用跟踪门算法有矩形跟踪门算法、椭球形跟踪门算法、扇形跟踪门算法和基于多假设树最大似然函数的跟踪门算法。

数据关联过程是将候选目标与已知的目标轨迹相比较，并确定正确的观测与轨迹配对的过程。数据关联常用的算法有概率数据关联算法(probabilisticdata association，PDA)和联合概率数据关联算法(joint probabilistic dataassociation，JPDA)。

在目标跟踪理论中，根据跟踪目标所使用的传感器数目不同，目标跟踪可以分为单传感器单目标跟踪、单传感器多目标跟踪、多传感器单目标跟踪、多传感器多目标跟踪。本文主要是研究基于计算机视觉的多目标跟踪滤波与数据关联问题。

多目标跟踪技术广泛应用于弹道导弹防御、空中预警、空中多目标攻击、战场监视、城市安保、虚拟现实的人机交互等领域。同时，多目标跟踪技术是电磁、信息、随机数学、光学、声学等多学科交叉融合的结果，要想实现很好的多目标跟踪，其难度可想而知。随着传感器技术的日益完善和机器人技术发展要求，基于计算机视觉的多目标跟踪技术成为各国顶尖科研机构竞相追逐的难点与热点问题。

基于计算机视觉的多目标跟踪技术，首先需要解决的问题是从复杂环境中检测出目标。由于环境光线亮度变化与阴影产生，目标特征与环境特征相似程度高，目标之间相互遮挡以及轨迹交叉，很难准确检测出被跟踪的目标。其次是多个目标数据的关联推断和跟踪实时性要求，对多目标跟踪技术提出巨大的挑战。

发明内容

本发明的目的在于针对现有技术的不足，提供一种利用视频分割与粒子滤波实现多目标跟踪方法。

本发明的目的是通过以下技术方案来实现的：

一种利用视频分割与粒子滤波实现多目标跟踪方法，包括以下步骤：

(1)建立系统模型：

系统目标状态变化模型：

X_t＝F_t(X_t-1，V_t)

p(X_t|X_t-1)

其中，上式分别为系统的状态方程和系统的状态概率模型，X_t为t时刻系统状态；x_0:t为从初始状态到t时刻系统状态值；V_t为t时刻系统噪声。

系统目标状态的测量模型：

Y_t＝H_t(X_t-1，W_t)

p(Y_t|X_t)

其中，上式分别为目标的测量方程何目标的测量概率模型，Y_t为t时刻目标测量；y₀为从初始状态到t时刻目标测量值；W_t为t时刻目标测量噪声。

(2)建立目标运动模型与颜色模型：

运用模型假设与相邻间运动关联信息建立目标运动模型：

$X_{t+\mathrm{\Δt}}=\left(\begin{array}{cc}a{I}_{2\×2}& \mathrm{\Δt}{I}_{2\×2}\\ 0& I_{2\×2}\end{array}\right)X_{t-\mathrm{\Δt}}+\left(\begin{array}{cc}b{I}_{2\×2}& \mathrm{\Δt}{I}_{2\×2}\\ 0& c{I}_{2\×2}\end{array}\right)X_t$

X_t＝(x_t，y_t，v_xt，v_yt)

其中，上式分别表示目标在X、Y方向位置和X、Y方向速度，a、b、c为常系数。

利用了目标的颜色特征，建立目标区域的颜色概率模型。

$p\left(c_t^n\right|c_{t-1}^n)=\mathrm{\βhis}\left(c_t^n\right)/\mathrm{his}(c_{t-1}^n+c_t^n)$ β：奖惩系数。

(3)视频分割：

该步骤具体包括运动估计步骤和运动目标分割步骤。

其中，所述运动估计步骤包括摄像机运动下的图像坐标变换关系和参数计算；所述运动目标分割包括基于时域信息的运动目标分割和利用时空域联合的运动目标分割。

本发明的有益效果是，本发明利用视频分割与粒子滤波实现多目标跟踪方法运算速度快，能很好满足跟踪的实时性要求，但是采样区域大，粒子数越多跟踪越精确，可是粒子数达到一定程度又会加重计算负担，减慢运算速度；利用视频分割实现目标跟踪，由于目标与背景难以区分，背景中存在与目标同样的运动特征，环境光线变化以及阴影产生，促使目标很难从背景中分离出来，但利用视频分割，能大致确定目标所在下一帧的范围，这样就能减小要搜索的目标区域，减少采样粒子数。本文结合视频分割与粒子滤波各自优点，实现了多目标跟踪，大大地提高跟踪速度与精度。同时我们还提出了自己的目标模型，即目标的运动模型与颜色模型，充分利用测量与目标的关联程度，实现多目标在遮挡情况下运动跟踪。

附图说明

图1为本发明利用视频分割与粒子滤波实现多目标跟踪方法的流程图；

图2为建立目标区域的颜色概率模型示意图；

图3为摄像机成像原理如图；

图4为摄像机的运动图。

具体实施方式

本发明利用视频分割与粒子滤波实现多目标跟踪方法的原理是：输入携带目标信息与目标所处环境信息的视频数据，接着利用模型对视频中的背景、阴影以及目标特征加以描述，同时利用空间域与时间域的势函数描述它们各自在空间与时间关联程度，对视频数据中背景、阴影、目标进行分割，去掉背景、阴影区域后，以留下的有限个区域中心为圆点，以区域内由中心到最远像素点的1。5～2倍距离为半径，确定有限个搜索区域A_i，计算j物体预测位置a_j与A_i中心的距离，距离最近者即把j物体的搜索区域定为A_i；若距离相等，则先确定以预测位置a_j为圆心，固定长度为半径的区域A_j，计算A_j与A_i的交集，交集最大的A_i即为j物体的搜索区域；否则A_j即为j物体的搜索区域如图3-1红色区域所示。通过在搜索区域内的采样，利用自适应重采样粒子滤波算法求解多个被跟踪目标的位置，最后把目标位置信息标记在原来的视频体中。

如图2所示，本发明利用视频分割与粒子滤波实现多目标跟踪方法包括以下步骤：

一、建立系统模型

假设多目标跟踪系统为一个随机系统，包括系统目标状态与系统目标状态的测量，依据随机理论可以用方程对多目标跟踪系统进行描述。系统目标状态变化模型：

X_t＝F_t(X_t-1，V_t)        (3.1)

p(X_t|X_t-1)              (3.2)

其中，式(3.1)为系统的状态方程，式(3.2)为系统的状态概率模型，X_t为t时刻系统状态；x_0:t为从初始状态到t时刻系统状态值；V_t为t时刻系统噪声。

系统目标状态的测量模型：

Y_t＝H_t(X_t-1，W_t)    (3.3)

p(Y_t|X_t)            (3.4)

其中，式(3.3)为目标的测量方程，式(3.4)为目标的测量概率模型，Y_t为t时刻目标测量；y_0:t为从初始状态到t时刻目标测量值；W_t为t时刻目标测量噪声。

二、建立目标运动模型与颜色模型

基于计算机视觉的多目标跟踪，首先应该对多个目标的运动建立合适模型。用数学方法建模，涉及到选用什么样的模型，即确定性模型或者随机性模型(概率模型)，尽管视频中的大多数目标的运动没有规律，很难用一个确定性的模型进行描述，但是相邻帧间目标运动位置变化不大，运用模型假设与相邻间运动关联信息建立目标运动模型：

$X_{t+\mathrm{\Δt}}=\left(\begin{array}{cc}a{I}_{2\×2}& \mathrm{\Δt}{I}_{2\×2}\\ 0& I_{2\×2}\end{array}\right)X_{t-\mathrm{\Δt}}+\left(\begin{array}{cc}b{I}_{2\×2}& \mathrm{\Δ}{\mathrm{tI}}_{2\×2}\\ 0& c{I}_{2\×2}\end{array}\right)X_t---\left(3.5\right)$

X_t＝(x_t，y_t，v_xt，v_yt)    (3.6)

其中，式(3.5)和(3.6)分别表示目标在X、Y方向位置和X、Y方向速度，a、b、c为常系数。

从实现鲁棒多运动目标跟踪，我们还充分利用了目标的颜色特征，建立目标区域的颜色概率模型(3。7)。

$p\left(c_t^n\right|c_{t-1}^n)=\mathrm{\βhis}\left(c_t^n\right)/\mathrm{his}(c_{t-1}^n+c_t^n)$ β：奖惩系数(3.7)

c_t ⁿ表示图2所示区域，His：颜色直方图。

三、视频分割

该步骤具体为：

1、运动估计

由于摄像机的运动，引起相邻帧同一目标像素位置发生变化，从而影响视频分割图像的质量，所以必须进行运动估计，求出摄像机运动下目标在相邻帧的位置关系，从而消除因摄像机运动引起的分割误差。

(a)摄像机运动下的图像坐标变换关系

摄像机成像原理如图3所示：XOY平面是摄像机所在平面，Z轴指向摄像机镜头的朝向，xoy平面是成像平面，P(X，Y，Z)是真实世界中物体上某一点的坐标，P(x，y)物体在成像平面所成的像，f是摄像机的焦距。

摄像机的运动如图4所示，绕X、Y、Z轴旋转角度分别为α、β、γ，沿X、Y轴的平移分别是tx、ty。F表示摄像机的变焦运动，值为变焦前焦距f1与变焦后焦距f2之比。推导可得摄像机运动下的前一帧图像与后一帧图像坐标变换关系：X，Y为目标在前一帧图像的坐标，摄像机运动后目标在相邻后一帧图像的坐标X1，Y1。公式(3.8)六参数化后可得式(3.9：

$p\left(c_t^n\right|c_{t-1}^n)=\mathrm{\βhis}\left(c_t^n\right)/\mathrm{his}(c_{t-1}^n+c_t^n)$ β：奖惩系数    (3.8)

$\left(\begin{array}{c}X1\\ Y1\end{array}\right)=\left(\begin{array}{cc}{a}_1& a_2\\ a_3& a_4\end{array}\right)\left(\begin{array}{c}X\\ Y\end{array}\right)+\left(\begin{array}{c}{a}_5\\ a_6\end{array}\right)---\left(3.9\right)$

(b)参数计算

利用特征点匹配求式(3.9)中的参数。特征点匹配的思想是：在两帧图像中找N组匹配特征点对(X，Y)，(X1，Y1)，利用其中的三组点对求解方程中的六个参数。因此，找到匹配特征点对是问题的关键。要找到匹配特征点对，第一步，提取特征点。提取特征点大致有基于Laplacian计算和基于Harris角点的方法。Laplacian算法提取图像尺度空间中的尺度规格化Laplacian极值点作为特征点，角点检测有基于灰度和先检测边缘，然后计算弧度的局部极大值得到角点。第二步，特征点匹配。最常用的算法是RANSAC算法。RANSAC算法的原理是从数据中随机抽取一定量的子集，然后代入数学模型迭代计算出符合模型的最大子集。

2、运动目标分割

(1)基于时域信息的运动目标分割

基于时域信息的运动目标分割，就是单纯根据目标运动信息的均一性，将具有相似运动的区域聚类，从而实现对运动目标的分割。例如基于参数模型的分割方法是假设有N个独立的运动物体，每个物体的运动可以通过一系列的参数模型来适当描述，通过运动估计计算出光流矢量后，再把具有相似运动信息的光流矢量分组合并，实现分割出多个运动物体。

(2)利用时空域联合的运动目标分割

空域分割将图像分割为具有准确边界区域，时域分割定位图像的运动区域。下面主要介绍时空域联合的运动目标分割算法。该算法先建立背景、阴影模型，定义背景、阴影以及前景的势函数，然后利用马尔可夫随机场融合视频序列的时空邻域信息，采用Gibbs采样算法求解最大后验概率，实现视频运动目标的分割。

首先，建立背景模型与阴影模型。

$P\left(x_t\right|M_t=1)={\mathrm{\Σ}}_{i=1}^k{\mathrm{\ω}}_t^{i}N(x_t,{\mathrm{\μ}}_t^i,{\mathrm{\Σ}}_t^i)---\left(3.10\right)$

$P\left(x_t\right|M_t=2)={\mathrm{\Σ}}_{i=1}^k{\mathrm{\ω}}_t^{i}N(x_t,\mathrm{\α}{\mathrm{\μ}}_t^i,\mathrm{\β}{\mathrm{\Σ}}_t^i)---\left(3.11\right)$

其中，(3.10)为背景模型，(3.11)为阴影模型，x_t：表示视频序列第t帧图像每个像素值；M_t ⁱ：表示视频序列第t帧图像第i个像素是背景、阴影、前景；背景：i＝1；阴影：i＝2；前景：i＝3；然后，建立空域邻域的势函数和时域邻域的势函数。

最后，求解目标函数

$M=\arg \max (\frac{1}{T}\underset{i}{\mathrm{\Σ}}\ln \mathrm{\Γ}\left(M_t^i\right)-\frac{1}{T}\underset{j\∈N_i}{\mathrm{\Σ}}\mathrm{\Φ}(M_t^i,M_t^j)-\frac{1}{T}\underset{j\∈V_i}{\mathrm{\Σ}}\mathrm{\ψ}(M_t^i,M_{t-1}^j))\left(3.14\right)$

其中：λ_b、λ_s分别对应背景、前景模型的马氏距离。

$\mathrm{\Γ}\left(M_t^j\right)=\left\{\begin{array}{c}{\mathrm{\λ}}_b,\mathrm{if},M_t^i=1\\ {\mathrm{\λ}}_s,\mathrm{if},M_t^i=2\\ \ln 2^{24},\mathrm{if},M_t^i=3\end{array}\right.---\left(3.15\right)$

算法流程：

第一步，获取一帧图像，利用GMM算法对背景建模，计算及更新相应阴影模型，根据背景模型和阴影模型对帧中的像素点分类，计算像素点对应的势函数值。

第二步，计算帧中像素点之间的时域和空域的势函数。

第三步，利用马尔可夫随机场对上述的时域和空域势函数进行约束，通过Gibbs采样算法求解最大后验概率得到最终的分割结果。

Claims (1)

1.一种利用视频分割与粒子滤波实现多目标跟踪方法，其特征在于，包括以下步骤：

(1)建立系统模型：

系统目标状态变化模型：

X_t＝F_t(X_t-1，V_t)

p(X_t|X_t-1)

其中，上式分别为系统的状态方程和系统的状态概率模型，X_t为t时刻系统状态；x_0:t为从初始状态到t时刻系统状态值；V_t为t时刻系统噪声。

系统目标状态的测量模型：

Y_t＝H_t(X_t-1，W_t)

p(Y_t|X_t)

其中，上式分别为目标的测量方程何目标的测量概率模型，Y_t为t时刻目标测量；y₀为从初始状态到t时刻目标测量值；W_t为t时刻目标测量噪声。

(2)建立目标运动模型与颜色模型：

运用模型假设与相邻间运动关联信息建立目标运动模型：

$X_{t+\mathrm{\Δt}}=\left(\begin{array}{cc}a{I}_{2\×2}& \mathrm{\Δt}{I}_{2\×2}\\ 0& I_{2\×2}\end{array}\right)X_{t-\mathrm{\Δt}}+\left(\begin{array}{cc}b{I}_{2\×2}& \mathrm{\Δt}{I}_{2\×2}\\ 0& c{I}_{2\×2}\end{array}\right)X_t$

X_t＝(x_t，y_t，v_xt，v_yt)

其中，上式分别表示目标在X、Y方向位置和X、Y方向速度，a、b、c为常系数。

利用了目标的颜色特征，建立目标区域的颜色概率模型。

$p\left(c_t^n\right|c_{t-1}^n)=\mathrm{\βhis}\left(c_t^n\right)/\mathrm{his}(c_{t-1}^n+c_t^n)$ β：奖惩系数。

(3)视频分割：

该步骤具体包括运动估计步骤和运动目标分割步骤。

其中，所述运动估计步骤包括摄像机运动下的图像坐标变换关系和参数计算；所述运动目标分割包括基于时域信息的运动目标分割和利用时空域联合的运动目标分割。

Images