CN104616318A - 一种视频序列图像中的运动目标跟踪方法 - Google Patents

Abstract

本发明公开一种视频序列图像中的运动目标跟踪方法，属于图像处理技术领域，针对现有技术Kalman滤波跟踪成功率较差，粒子滤波实时性方面的不足，对粒子滤波算法的实时性进行研究，根据运动目标图像与颜色模板进行特征匹配，采用结合前景目标检测改进粒子滤波跟踪，改进基于前景检测的粒子滤波算法，引入了交叉遮挡判断，建立状态转移方程，完成运动目标跟踪，保证了粒子的可靠性和多样性，很好的描述目标的运动状态，在减少计算量的同时也提高了算法的实时性，在交叉时停止重采样，使得在目标周围的粒子不会受到干扰。

Description

一种视频序列图像中的运动目标跟踪方法

技术领域

本发明涉及计算机图像处理技术，具体涉及对运动目标的跟踪。

背景技术

随着科技进步和社会发展，智能视频监控技术已经在工农业生产、国防建设、商业、交通以及家庭安防等领域得到了广泛的应用，作为传输与存储的载体。

智能视频监控序列图像中的运动目标的视觉分析主要是对含有运动目标的视频序列进行分析，包含运动目标检测、运动目标跟踪以及行为分析与判断三个过程。

检测与跟踪的难点在于图像是从三维空间到二维平面的投影，本身存在信息损失，而且运动目标并不是一个确定不变的信号，它在跟踪的过程中会发生旋转、放缩、位移等多种复杂的变化，同时背景图像的嘈杂、目标自身的频繁出现和消失、目标之间具有相似的外表、多目标的相互遮挡以及光照的突然变化等。这些是视频目标跟踪中经常遇到的难点，也是学者一直努力研究的热点。

目前对视频序列图像中运动目标跟踪的研究方法有很多种，比较有效的方法是Kalman滤波和粒子滤波跟踪算法。

Kalman滤波理论是Kalman在1960年提出的一个滤波理论，该理论突破了经典的Wiener滤波理论所表现出来的局限性，将处理的信息当作状态分量，通过把状态模型引入最优滤波理论，用状态方程描述系统的动态模型，利用观测方程来提供系统的状态测量信息，利用Hilbert空间中的映射理论解决最优状态估计问题，Kalman滤波理论对具有高斯分布噪声的线性特征系统可以得到系统状态的递归最小均方估计，可以用来处理服从高斯分布的运动情况。

基于视频序列图像重要性采样的蒙特卡洛方法早在20世纪50年代就被学者提出来应用于统计学里面，粒子滤波是一种基于蒙特卡洛方法和递推贝叶斯估计的统计滤波方法，算法的基本思想是根据系统状态向量的经验条件分布在状态空间利用一群带权重的随机样本，及样本粒子来表示系统的随机后验概率分布，根据测量不断调整粒子的权重和位置，通过调整后的粒子信息修正最初的经验条件分布。其实质使用由粒子及其权重组成的离散随机测度近似相关的概率分布，并且根据算法递推更新离散随机测度。当样本容量很大时，这种蒙特卡洛描述就近似于状态变量真实的后验概率密度函数。该技术适用于任何能用状态空间模型表示的非高斯背景的非线性随机系统，是一种很有效的非线性滤波技术，已经开始广泛的应用于金融数据分析，运动目标跟踪，计算机视觉等领域。

对于运动目标的跟踪，现有技术通常采用如下技术方案实施。

(1)Kalman滤波

Kalman滤波的前提是系统为线性，噪声呈高斯分布，后验概率也是高斯型的。该算法是通过反馈来进行估计，首先滤波器要做出一个反应，然后接收一个带有噪声的反馈值。所以，Kalman滤波算法主要分为两个主要阶段，一个为时间更新(预测)，另一个为量测更新(修正)，整个算法的进程为这两个过程的不断迭代，预测即为通过当前状态信息对下一个可能状态进行估计，修正是对反馈的结果做处理，通过对观测值和先验估计进行合并得到后验估计。

假设前一时刻k-1的后验概率分布p(x_k-1|z_k-1)是高斯型的，则动态系统可以表示为：

$\left\{\begin{array}{c}{X}_k={\mathrm{\Φ}}_{k,k-1}{X}_{k-1}+B_{k-1}{U}_{k-1}+{\mathrm{\Γ}}_{k-1}{W}_{k-1}\\ Y_k=H_k{X}_k+V_k\end{array}\right.---\left(1\right)$

其中，X_k-1为k-1时刻的状态矢量，Φ_k,k-1为k-1到k时刻的一步状态转移矩阵，B_k-1是k-1时刻系统控制的作用矩阵，U_k-1是k-1时刻系统的确定性输入，W_k-1是k-1时刻的系统噪声矢量且为高斯型，其协方差为Q_k，Γ_k-1为系统噪声作用矩阵，Y_k是k时刻的状态观测向量，H_k是k时刻的观测矩阵，V_k是k时刻的观测噪声，其协方差为R_k。Kalman滤波方法要求W_k和V_k是互不相关的零均值白噪声序列。

(2)粒子滤波

基于蒙特卡洛方法(Monte Carlo methods)的粒子滤波(ParticleFilter)算法利用粒子集来表示概率，可用于任何形式的状态空间模型。粒子滤波算法为顺序重要性采样算法(Sequential ImportanceSampling)，该算法的基本思想是在系统状态空间内生成大量的随机采样的样本集合(称之为样本粒子)，当采样粒子的数量达到一定程度，这时蒙特卡罗方法就可以近似的描述系统的后验概率密度分布。

1)贝叶斯估计理论

为了描述动态系统的状态估计问题，建立公式(2)所示状态空间方程，其中x_t为运动方程，y_t为观测方程。

$\left\{\begin{array}{c}{x}_t=f_t(x_{t-1},{\mathrm{\ω}}_t)\\ y_t=h_t(x_t,v_t)\end{array}\right.---\left(2\right)$

在系统状态空间中假设p(x₀)作为预知的初始概率密度，则系统的条件概率密度函数p(x_t|y_1:t-1)作为预测方程如式(3)所示，式(4)为贝叶斯估计理论的更新方程。

p(x_t|y_1:t-1)_＝∫p(x_t|x_t-1)p(x_t-1|y_1:t-1)dx_t-1      (3)

$p\left(x_t\right|y_{1;t})=\frac{p\left(y_t\right|x_t)p\left(x_t\right|y_{1:t-1})}{p\left(y_t\right|y_{1:t-1})}---\left(4\right)$

2)蒙特卡罗方法

蒙特卡罗方法作为粒子滤波算法的基础，其基本过程是从系统的后验概率p(x_0:t|y_1:t)中对样本进行采样，通过式(5)则可以近似的得到系统的后验概率密度分布。

$\hat{p}\left(x_{0;t}\right|y_{1:t})=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\δ}}_{0:t}^{\left(i\right)}\left(d{x}_{0:t}\right)---\left(5\right)$

对于任何关于g(x_0:t)的期望E[g(x_0:t)]可以通过式(6)来逼近。

$\stackrel{\‾}{E\left[g\left(x_{0;t}\right)\right]}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}g\left(x_{0:t}^{\left(i\right)}\right)---\left(6\right)$

3)重要性采样

通常情况下从系统的后验概率密度分布p(x_0:t|y_1:t)中进行粒子采样并不简单。所以为了对粒子进行有效的采样，一般是在采样的过程中引入能够简单有效进行采样的概率密度分布对初始的粒子进行采样，如式(7)所示。

$E\left[g\left(x_{0;t}\right)\right]=\frac{E_{q(\·|y_{1:t})}\left[g\left(x_{0:t}\right){\mathrm{\ω}}_t\left(x_{0:t}\right)\right]}{E_{q(\·|y_{1:t})}\left[{\mathrm{\ω}}_t\left(x_{0;t}\right)\right]}---\left(7\right)$

从q(x_0:t|y_1:t)采样得到粒子样本期望可近似表示为公式(8)。

$\stackrel{\‾}{E\left[g\left(x_{0;t}\right)\right]}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}g\left(x_{0:t}^{\left(i\right)}\right){\widetilde{\mathrm{\ω}}}_t\left(x_{0:t}^{\left(i\right)}\right)---\left(8\right)$

其中为归一化重要性权值。

4)序列重要性采样

引入序列重要性采样的目的是为了解决重新计算整个状态序列的重要性权值时计算量不断增大的问题，序列重要性采样并不关注于系统的观测值，仅对系统进行滤波处理，该方法对粒子的采样并不会改变已采样的粒子状态，则重要性函数可表述为如式(9)所示。

$q\left(x_{0:t}\right|y_{1;t})=q\left(x_0\right)\underset{j=1}{\overset{t}{\mathrm{\Π}}}q\left(x_j\right|x_{0:j-1},y_{1;j})---\left(9\right)$

假设系统的状态过程符合马尔可夫过程，可以得到(10)和(11)式。

$p\left(x_{0:t}\right)=p\left(x_0\right)\underset{j=1}{\overset{t}{\mathrm{\Π}}}p\left(x_j\right|x_{j-1})---\left(10\right)$

$p\left(y_{1:t}\right|x_{0;t})=\underset{j=1}{\overset{t}{\mathrm{\Π}}}p\left(y_j\right|x_j)---\left(11\right)$

带入未归一化的重要性权值ω_t(x_0:t)可得到式(12)。

${\mathrm{\ω}}_t=\frac{p\left(y_{1:t}\right|x_{0:t})p\left(x_{0:t}\right)}{q\left(x_{0:t}\right|y_{1:t})}={\mathrm{\ω}}_{t-1}\frac{p\left(y_t\right|x_t)p\left(x_t\right|x_{t-1})}{q\left(x_t\right|x_{0:t-1},y_{1:t})}---\left(12\right)$

由已知的重要性函数分布q(x_t|x_0:t-1,y_1:t)，通过式(12)就可以对粒子的重要性权值进行计算。

5)粒子匮乏与重采样

粒子匮乏是粒子滤波算法中出现的最大问题，因为粒子匮乏现象的出现，在经过一段时间的预测之后，权值较大的粒子数量会骤减，这时如果再依靠这些粒子对系统的后验概率进行描述就会出现效果上的偏差。所以，为了对粒子退化现象得到有效地解决方法，研究者又提出了重采样这种方法，正是该方法的引入使得困惑已久的粒子匮乏问题得到解决。

文献(Sherrah J.,Ristic B.,Redding N.J.Particle filter to trackmultiple people for visual surveillance[J].Computer Vision,IET,2011,5(4):192-200.，Jing L.,ChongZhao H.,Vadakkepat P.,Process noiseidentification based particle filter:an efficient method to track highlymanoeuvring targets[J].Signal Processing,IET,2011,5(6):538-546.)公开粒子滤波的重采样算法是对粒子的权值进行统计，然后对系统的概率密度进行重采样，为了能够实现对系统的有效描述，重采样算法所采用的方法是对权值较小的粒子进行忽略，增加权值较大且能够有效描述系统状态的粒子数量。

Kalman滤波很好的解决了线性、高斯系统的状态估计问题，然而Kalman滤波也有其固有缺点，如该算法要求系统的过程与量测噪声为高斯白噪声，并且是相互独立的，否则Kalman滤波会出现发散的现象。

线性的运动状态只存在于理论研究中，现实中线性的方式并不能对形形色色的运动目标进行精确的描述，与此同时实际环境中的噪声也都不尽是高斯白噪声，虽然Kalman滤波能够对目标进行有效跟踪，但是其前提条件是目标所处系统为线性、高斯系统，这就体现出了该算法的局限性。所以为了在实际的非线性、非高斯具体应用环境中有效的解决运动目标的跟踪问题，在20世纪90年代学者们便提出了更加实用的粒子滤波算法。

(1)传统粒子滤波跟踪算法

在粒子滤波的理论基础上，为了让粒子滤波的样本实例化，结合目标特征的内容，就是基于颜色特征的粒子滤波跟踪算法，具体步骤如下所示：

Step1：初始化。计算目标区域HSV颜色模型直方图{q}。通过SIS采样建立初始样本集

Step2：状态转移。对ROI区域内的每个粒子通过状态转移方程进行状态转移，计算新的粒子样本的颜色模板值。(初始样本集是通过SIS采样生成的粒子样本集合，新的粒子样本为样本集合进行状态转移后的粒子集合)

Step3：更新粒子权重。计算粒子的权重根据归一化方程对粒子权重做归一化处理。

Step4：运动目标状态更新。本发明选取权值最大的粒子表示目标当前的状态。

Step5：重采样。通过定义一个权重阈值判断是否对粒子集进行重采样。

重采样过程：

当粒子权重小于1/N(N为粒子数目，范围根据跟踪精度而定)，将权值最大的粒子作为对象模板对粒子进行重新采样。

Step6：进入下一帧的循环状态，重新进行粒子初始化，直至所有图像帧处理完成。

粒子滤波算法突破了Kalman滤波的局限性，可以对非线性、非高斯系统进行滤波估计，粒子滤波可以用来近似非线性系统的贝叶斯估计，通过对系统的概率密度函数采样集的预测和更新，来达到对粒子集的预测和更新，但粒子滤波算法实时性有待解决。

发明内容

本发明针对现有技术Kalman滤波跟踪成功率较差，粒子滤波实时性方面的不足，对粒子滤波算法的实时性进行研究，进一步改进粒子滤波算法。

本发明解决上述技术问题的技术方案是，提出一种视频序列图像中的运动目标跟踪方法。

一种视频序列图像中的运动目标跟踪方法，其特征在于，获取运动目标图像帧，对目标图像每帧中出现的目标与颜色模板进行特征匹配，由Bhattacharyya系数(Bhattacharyya Coefficient,巴氏系数，用来对两个统计样本的重叠量的近似计算。两个样本值的积分被分成指定数目的部分。其中a、b为两个样本，n是分块数，a_i、b_i分别是在a、b中第i部分的成员数。)表征跟踪目标与样本的相似性，根据粒子的模型p，目标模型q(其中，粒子是在系统状态空间中产生的随机采样样本，模型p为粒子所在区域特征，模型q为观测目标所在区域特征)。分别计算随机产生的大量粒子集的HSV颜色空间直方图和观测目标HSV颜色空间直方图之间的Bhattacharyya系数确定相似度，根据相似度判断两个离散颜色空间直方图是否为同一目标，建立运动目标的观测概率分布：建立粒子的运动模型的状态转移方程：X_k+1＝X_k+G_k，其中，X_k为采样样本在空间中的位置坐标向量，G_k为随机扰动噪声；求解状态转移方程，完成运动目标跟踪。

其中，根据公式：计算两个颜色空间直方图之间的Bhattacharyya系数，根据公式计算Bhattacharyya距离，当Bhattacharyya系数低于系数阈值，距离d高于距离阈值时，两个颜色空间直方图描述的物体为不同目标。

进一步包括，采用粒子滤波跟踪算法完成运动目标跟踪，具体包括：根据目标区域颜色空间模型HSV颜色模型直方图{q}，通过SIS(顺序重要性采样算法：Sequential Importance Sampling)采样建立初始样本集(在系统状态空间内生成大量的随机采样的样本集合)；根据状态转移方程对ROI(感兴趣区域Region OfInterest)区域内每个粒子进行状态转移，计算第k个粒子样本(在系统状态空间内生成大量的随机采样的粒子所在区域)的颜色模板值，计算粒子的权值对粒子权重做归一化处理；选取权值最大的粒子表示目标当前状态；当粒子权重小于1/N，将权值最大的粒子作为对象模板对粒子进行重新采样，直至完成所有图像帧。

进一步包括，采用码本背景模型粒子滤波跟踪算法完成运动目标跟踪，具体包括：检测运动目标得到感兴趣区域ROI；确定目标区域HSV颜色模型直方图{q}，建立粒子初始样本集对ROI区域内的粒子通过状态转移方程进行状态转移，计算转移后粒子的颜色直方图及颜色模板值；对粒子权值进行更新，根据公式对权值进行归一化；用权值最大的粒子表示目标当前位置，当粒子权值小于权重阈值1/N时对粒子集进行重采样。结合码本背景模型的粒子滤波算法完成运动目标跟踪，具体包括：对视频序列进行背景建模，对前景目标检测；用前景检测得到的模板初始化设定区域ROI，在ROI中使用前景区域的HSV颜色直方图作为模板初始化粒子，根据状态转移方程进行粒子状态转移并对粒子权值进行更新。

进一步包括，根据公式：对粒子的权值ω⁽ⁱ⁾进行更新，其中，d为Bhattacharyya距离，σ表示HSV颜色空间下的样本颜色方差，为第k个采样点，第(k-1)个采样点粒子的权值。

本发明对采样的范围进行控制，将进行颜色特征匹配的Bhattacharyya系数中的粒子模型和目标模型限制在前景检测的区域内。通过对采样范围的控制，使得粒子采样的样本尽量接近理想样本状态，这样不仅提高了跟踪的效率而且提高了目标跟踪的精度。

附图说明

图1粒子滤波算法流程图；

图2粒子滤波算法示意图；

图3跟踪目标窗口示意图

(a)采样样本，(b)理想样本；

图4标准与改进粒子滤波跟踪效果图

(a)标准粒子滤波算法跟踪效果，(b)改进的粒子滤波算法跟踪效果；

图5基于前景检测粒子滤波算法流程图；

图6改进的粒子滤波算法跟踪效果图；

图7测试视频场景。

具体实施方式

以下针对附图和具体实例对本发明的实施作进一步具体描述。

本发明提出一种粒子滤波算法的改进，结合码本建模Codebook前景检测算法以及目标的HSV颜色空间直方图和颜色特征值对粒子滤波算法改进，通过前景检测得到需要进行跟踪的ROI，较好的解决了跟踪过程中粒子发散的问题，保证了粒子的多样性，也使得粒子退化现象得到改善，能够对复杂背景中的多变运动目标进行准确的跟踪。

为了使该方法在解决粒子匮乏这个难点的同时也能够保证粒子多样性。通常是对能够有效描述系统状态的粒子数量N_eff进行如式(13)的约定，利用这个条件来判断何时进行重采样。

$N_{\mathrm{eff}}=\frac{1}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left({\widetilde{\mathrm{\ω}}}_t^{\left(i\right)}\right)}^2}---\left(13\right)$

对有效粒子数进行判断，当N_eff小于一定的阈值N_th的时候算法就会进入重采样阶段，对于阈值的选取，通常情况下N_th取2N/3。

粒子滤波算法流程如图1。粒子滤波算法步骤如下：

For i＝1…N

Step1：重要性采样，按照来采样新粒子

Step2：根据观测值y_t，计算出每个粒子的权值计算权重 ${\widetilde{\mathrm{\ω}}}_t^{\left(i\right)}={\mathrm{\ω}}_{t-1}^{\left(i\right)}\frac{p\left(y_t\right|{\tilde{x}}_t^{\left(i\right)})p\left({\tilde{x}}_t^{\left(i\right)}{|x}_{t-1}^{\left(i\right)}\right)}{q\left({\tilde{x}}_t^{\left(i\right)}\right|x_{t-1}^{\left(i\right)},y_t)};$

Step3：计算权重归一化：

For i＝1….N；

Step4：估计状态

Step5：计算 $N_{\mathrm{eff}}=\frac{1}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left({\widetilde{\mathrm{\ω}}}_t^{\left(i\right)}\right)}^2}$

If N_eff＜N_th

Step 6：重采样

End if

为了对粒子滤波算法进行更为直观的描述，如图2所示为粒子滤波算法示意图，对该方法进行模型演示，第一层中的小点为对粒子进行初始化，通过粒子的大小可以看出本发明赋予初始粒子相同的权值N^-1，然后依据第一条曲线(粒子模板与观测样本的相似性曲线)对初始样本进行采样，根据相似性曲线更新各粒子样本权值(可采用公式实现)，得到了第二层中的第一部分粒子，为了直观的描述，权值大的粒子用较大的点表示。然后根据采样粒子及权值(其中，表示上一个状态粒子，表示上一状态粒子权值)的不同对粒子进行重采样，将重采样得到的粒子分成若干个权值较小的样本(重采样过后将权值较小的粒子转移到权值较大处，权值较大的粒子处多分配粒子，权值较小处少分配或不分配粒子)，重采样为一个粒子的丢弃或者不作处理，通过这样的处理得到如图2中第二层中间的第二部分等权重的粒子通过状态转移方程，得到如图2中第二层中间的第三部分粒子，样本状态的预测，最后结合当前观测方程近似出当前的真实状态。

当目标没有发生交叉、遮挡的情况下，Kalman滤波和粒子滤波两种算法都能够对运动目标进行有效跟踪，但是Kalman滤波在目标发生交叉、遮挡的情况下跟踪的目标会发生丢失的情况，处理效果不够理想，但是粒子滤波算法能够精确的处理目标交叉、遮挡时的目标跟踪问题。

表1所示为对大小为320×240，帧频为25fps的四个视频场景中运动目标进行跟踪，并统计平均每帧处理时间和跟踪成功率。

表1 Kalman滤波与粒子滤波算法对比

表1中的数据为四个不同场景中粒子滤波与Kalman滤波跟踪实验的对比，可以看出Kalman滤波在实时性方面比粒子滤波表现的好，但是跟踪成功率却没有粒子滤波高，所以在下一步改进粒子滤波算法时主要考虑的问题就是如何提高算法的实时性。

1.选择颜色模板

选择何种特征模型对于运动目标跟踪而言是非常重要的因素，它直接关系到了跟踪的准确性以及后续的异常行为检测的可靠性，对于模型的选取，其主要目的是为了能够快速的定位跟踪到的目标，颜色就是其中一种主要因素，利用颜色特征对视频目标进行跟踪，另外颜色模版对目标的平移和旋转具有很好的适应性。

跟踪过程中，为了对目标能够进行精确地定位，需要对每帧中出现的目标的颜色模板进行特征匹配，对具有相似特征值的目标即可认定为同一个目标，否则认定为新出现的目标，通过传统的特征匹配方法，由Bhattacharyya(Bhattacharyya Coefficient，巴氏系数，用来对两个统计样本的重叠量的近似计算。两个样本值的积分被分成指定数目的部分。根据公式确定巴氏系数，其中，a，b为两个样本，n是分块数，a_i,b_i分别是在样本a,b中第i部分的成员数。)系数可表征跟踪目标与样本的相似性，从几何意义上说它表征的是两个向量角度的余弦值，从效果上说Bhattacharyya系数的判断效果是最优的，所以本发明采用Bhattacharyya系数对目标进行匹配，当然也可采用本领域技术人员熟知的其他方法。

根据粒子的模型p，目标模型q获得两个颜色直方图之间的Bhattacharyya系数。粒子是粒子滤波算法在系统状态空间中产生的大量随机采样样本，模型p为粒子所在区域特征，模型q为观测目标所在区域特征，对应巴氏系数中a，b两个样本。

根据公式(14)：

$\mathrm{\ρ}(p,q)=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{p_u{q}_u}---\left(14\right)$

其中p_u为粒子的模型，q_u为目标模型，m为系统参数。

计算两个离散颜色直方图的相似度ρ(p,q)。相似度分布在0到1之间，通过相似度值的大小可以很容易的对目标进行判断，ρ(p,q)的值越小说明它们的相似度越低，两个颜色直方图很有可能是两个不同的目标，反之，ρ(p,q)的值越大则说明他们的相似度越高，这两个颜色直方图很可能表示同一目标。

根据相似度ρ(p,q)调用公式：

$d=\sqrt{1-\mathrm{\ρ}(p,q)}---\left(15\right)$

求解Bhattacharyya距离，当d值越小两个离散的颜色直方图描述的物体为同一个目标的概率就越大。

当相似度和Bhattacharyya距离分别低于或高于各自的阈值时，判断颜色直方图描述的物体为两个不同的目标。(阈值由跟踪精度而定)

2.构造运动目标模型

通过Bhattacharyya距离，用正态分布函数建立运动目标观测概率分布如式(16)所示。

$P\left(z_k\right|x_k^{\left(i\right)})=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}\exp (-d^2/2{\mathrm{\σ}}^2)---\left(16\right)$

取颜色信息作为特征值，式中d为Bhattacharyya距离，σ表示方差，也为HSV颜色空间下的样本颜色方差，可以看出当Bhattacharyya距离d的值越小，观测概率的值就越大，说明通过观测得到的目标其可信度越高。下面对观测到的目标进行采样，在不影响粒子滤波算法实时性的基础上随着粒子数的增加，跟踪效果也会越好，对粒子的权值ω⁽ⁱ⁾通过式(17)进行更新。

${\mathrm{\ω}}_k^{\left(i\right)}={\mathrm{\ω}}_{k-1}^{\left(i\right)}\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}\exp (-d^2/2{\mathrm{\σ}}^2)---\left(17\right)$

将式(15)带入式(17)可以得到：

${\mathrm{\ω}}_k^{\left(i\right)}={\mathrm{\ω}}_{k-1}^{\left(i\right)}\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}\exp (-\frac{1-\mathrm{\ρ}[p,q]}{2{\mathrm{\σ}}^2})---\left(18\right)$

结合HSV颜色特征、Bhattacharyya距离，以及状态转移方程，建立粒子的目标的运动模型。为了增加粒子的随机性使其具有更强的活力，能够对目标运动信息作出准确的预测并能进行有效的跟踪，考虑到非高斯非线性环境中运动目标的多样性，简单的运动模型并不能很好的对实际物体的运动情况作出很好的说明，因此本发明选取了随机运动模型作为粒子的运动模型，式(19)定义了该运动模型的状态转移方程。

X_k+1＝X_k+G_k          (19)

在该状态转移方程中，X_k为样本在空间中的位置坐标向量，G_k为随机扰动噪声。

首先，前景检测阶段通过码本建模Codebook前景检测算法检测出前景以及目标的HSV颜色空间直方图和颜色特征值，得到需要进行跟踪的ROI限定粒子范围，然后使用改进过的粒子滤波对目标跟踪阶段进行跟踪。

可采用如下方法完成粒子滤波跟踪。

3.改进的粒子滤波跟踪算法

尽管当前粒子滤波算法已经发展为非线性、非高斯系统中运动目标跟踪的主流算法，但是计算量较大，随着粒子数量以及重采样次数的不断增加对运动目标跟踪的精度也会越高，但是带来的问题却是计算量呈现出级数的增长，进行如此庞大的计算量会显得不堪重负，所以目前对于粒子滤波的主要改进方法集中于增加粒子滤波跟踪的准确性的同时解决该算法实时性的问题，作为视频处理技术的重要指标实时性和准确性显得最为直观。目前，降低粒子滤波算法计算量的方法主要有自适应粒子滤波(APF)和实时粒子滤波(RTPF)。自适应粒子滤波算法的使用比较广泛通过使用变化的粒子数对目标进行描述，随着环境的变化进行自适应的改变粒子数量，以此降低计算量，提高算法的实时性。本发明结合前景目标检测对粒子滤波算法改进，实现了运动目标的自动检测与跟踪，提高了粒子滤波算法对目标跟踪的准确性，实时性得到了改善。

经过对算法的改进之后，可以得到Codebook(码本背景建模)算法和粒子滤波跟踪算法进行结合的算法实现步骤：

(1)采用Codebook算法检测运动目标，消除阴影处理得到准确的目标范围；

(2)初始化粒子集。求得目标范围的HSV颜色直方图{q}，通过序列重要性采样创建初始粒子集

(3)状态转移。将初始化粒子集中的粒子输入状态转移方程，得到粒子计算颜色直方图；

(4)权重归一化。将得到的权重归一化为

(5)预测目标的新位置。粒子集中权值最大的粒子的位置为目标新位置；

(6)重采样：①目标交叉判断。不交叉时则进行重采样，否则，停止重采样；②当进行重采样；

(7)读取下一帧。

4.码本背景模型粒子滤波跟踪算法

(1)基于码本背景模型的粒子滤波跟踪

在传统的粒子滤波中，为了能够对目标进行有效跟踪，通常的做法是增加粒子数来对粒子的多样性进行保证，但是这样做会造成大量无用粒子的出现，不但影响跟踪效果而且会增加算法的计算量，所以为了提高粒子采样的精确性，在保证粒子多样性的同时，使用较少粒子对目标进行有效跟踪，本发明在对粒子滤波算法进行改进时结合了前景检测，对粒子的采样范围进行约定，减少了粒子的离散程度，采样的粒子都具有较大的权值，能够对运动目标做出精确地跟踪。码本背景模型能够对光线和阴影进行较好的处理使得检测结果较为完整，能够体现出目标的整体信息，在粒子滤波算法中使用码本背景模型。

由于粒子滤波的独特优势，本发明利用其在复杂的场景中对运动目标进行跟踪，因为粒子滤波能够对目标的运动状态进行预测，能够很好的解决在跟踪过程中出现的目标交叉遮挡问题，利用检测算法只能对未出现交叉遮挡的目标进行有效的标记，所以，结合了前景检测的粒子滤波算法不仅可以对采样范围进行约束，减少粒子的搜索空间，而且也是对检测算法的补充。粒子运动模型可以最大化的保证粒子的多样性，但是因为引入了随机扰动噪声G_k，所以如果没有通过前景的约束，随着时间的增加粒子的发散程度会越来越严重，通过实验的验证，当粒子发散之后粒子滤波的计算量会突然的增加，跟踪的画面会出现卡顿的现象，这是因为大量的计算都浪费在权重较小的无用粒子和重采样的过程中。引入前景检测得到需要进行跟踪的感兴趣区域(ROI)，较好的解决了跟踪过程中粒子发散的问题保证了粒子的多样性，使得采样的粒子都具有较高的权值，这样就可以使用较少的粒子对目标进行跟踪，也可以对粒子退化现象进行改善，这样可以减少粒子重采样的次数，对交叉遮挡的情况进行判定，当两个目标的距离达到一定的阈值时认定目标即将发生交叉，此时停止粒子的重采样，用发生交叉遮挡之前的模板对运动的目标进行跟踪。另外，对目标之间的距离设置阈值是因为通过前景的约束，采样的粒子会集中在目标的周围，但是由于加了随机噪声，粒子会在目标周围跳动，为了防止出现两个目标的重采样粒子出现重合的情况，影响到跟踪的效果，对距离设定了阈值，根据误差范围要求，本发明定义了该阈值为四个像素点的宽度。通过以上所述方法使得粒子滤波算法的实时性和准确性都得到了有效改善，具体的改进算法步骤如下所示：

Step1：通过码本背景建模算法Codebook检测运动目标得到感兴趣区域ROI。

Step2：初始化。计算目标区域HSV颜色模型直方图{q}。通过SIS采样建立粒子初始样本集

Step3：状态转移。对ROI区域内初始化得到的粒子通过状态转移方程进行状态转移，计算转移后粒子的颜色直方图。

具体可为，根据样本在空间中的位置坐标向量X_k，随机扰动噪声G_k(为了增加粒子的随机性)选取随机运动模型作为粒子的状态转移方程X_k+1＝X_k+G_k，根据状态转移方程对每个粒子进行状态转移，计算新的粒子的颜色模板值。(根据运动模型进行状态转移，计算每个粒子所在区域HSV颜色空间直方图)

Step4：对粒子(在系统状态空间内生成大量的随机采样样本)权重进行更新。对更新的权重进一步归一化(根据Bhattacharyya距离大小确定粒子权重，N为粒子数目)

Step5：对目标进行预测。用权值最大的粒子表示目标当前位置。

Step6：重采样。考虑到目标交叉遮挡的问题，当粒子集的权重小于阈值的时候对粒子集进行重采样。(也采用，若粒子集权重阈值小于1/N，则进行粒子集的重采样，当粒子集中的所有粒子权重均小于1/N时，将该粒子集重采样)

①判断交叉遮挡，若满足判断条件(对目标相似度进行判断的时候，如果发生了交叉，两个目标的采样粒子重合，出现目标编号交换的现象，则判定此种情形是交叉遮挡)则停止重采样；

②若粒子集权重小于1/N，则进行粒子集的重采样；

③在ROI的约束下进行重采样。用码本背景建模检测出运动目标前景后求得其轮廓最大外界矩形，将该矩形作为感兴趣区域，限定粒子在该区域中重采样。

Step7：当前帧跟踪结束转入下一帧。

改进的基于前景检测的粒子滤波算法与传统的粒子滤波算法相比增加了ROI区域的设置，重采样交叉判断，为了对采样区域进行约定，通过随机运动模型对粒子进行状态转移之后采样粒子就会集中在目标的周围区域，这样不仅保证了粒子的可靠性和多样性，而且由于所得采样粒子的权值较大，可以有效的解决粒子退化的问题，能够减少粒子重采样的次数，很好的描述目标的运动状态，使得在不影响算法跟踪准确性的基础上对粒子数进行适当的减少，在减少计算量的同时也提高了算法的实时性，另外为了使得在交叉遮挡的时候离子能够对目标的运动状态进行准确地描述，引入了交叉遮挡判断，为了解决使用Bhattacharyya系数对目标相似度进行判断的时候，如果发生了交叉，由于两个目标的采样粒子重合会使得算法在判断目标编号的时候发生误差，会出现目标编号交换的现象，在交叉时停止重采样，使得在目标周围的粒子不会受到干扰，对跟踪结果产生影响。

(2)改进的码本背景模型粒子滤波跟踪算法

①基于颜色直方图

对采样样本进行精确描述是跟踪算法的首要因素，通过Codebook(码本背景建模算法)算法得到的前景目标虽然足够精确，但是这也只能对目标进行精确定位，以此目标的宽度、高度对目标的范围对粒子进行采样时，这个范围仍然是宽泛的，初始化的时候采样粒子仍然会带有不属于运动目标的干扰像素，具体情况如图3所示。

理想的采样样本应该如图3(b)所示，但是实际中的采样结果为如图3(a)所示的情况，含有许多不属于目标的像素，产生了很大的干扰。

为了对采样目标的颜色直方图尽可能精确，由于对检测窗口中的干扰像素无法剔除，也就是说这些像素噪声始终会存在，所以为了能够使颜色特征能够尽量精确的描述目标的特征，本发明对采样的范围进行了控制，将进行颜色特征匹配的Bhattacharyya系数中的粒子模型和目标模型限制在前景检测的区域内。当采样的样本为前景检测的目标区域时，颜色特征值会出现背景中的干扰像素，通过时间的累积干扰噪声会不断增大，影响跟踪的效果，通过对采样范围的控制，使得粒子采样的样本尽量接近理想样本状态，这样不仅提高了跟踪的效率而且提高了目标跟踪的精度。

图4(a)中为标准粒子滤波算法，通过与7(b)中改进的粒子滤波算法的跟踪对比进行分析可以看出，标准粒子滤波算法中的粒子不能很好的聚集在目标的周围，会随着时间不断发散，这在长时间的目标跟踪中会对精度产生严重影响，而改进的粒子滤波算法中的粒子则能够保持聚集在目标的周围，体现出改进之后粒子采样性能的提高。由于粒子的发散和退化必然会对跟踪的准确性造成影响，相比较改进的粒子滤波算法在这方面表现出很好的跟踪效果，改进的粒子滤波算法通过限制采样范围，增大了粒子的权值，能够对粒子退化进行有效的抑制。

②结合码本背景模型的粒子滤波算法流程

结合颜色特征信息和码本背景模型，采用改进的粒子滤波算法。具体设计流程如图5所示。

对实时的监控视频或者是视频录像，将其转换为图像序列便于后续的检测和跟踪。首先使用Codebook对视频序列进行背景建模，完成对前景目标的检测，可使用形态学方法以及阴影去除对前景进行优化，用前景检测得到的模板(前景检测求得的二值图)对粒子滤波初始化设定ROI，在ROI中使用前景区域的HSV颜色直方图作为模板(为粒子集需要计算与之匹配相似度的观测样本)初始化粒子，然后进行粒子的状态转移并对粒子的权值进行更新，接下来对粒子状态进行预测，判断重采样，在更新模板时考虑目标之间的交叉遮挡问题。

为了验证改进粒子滤波算法能够对目标进行有效跟踪，本发明使用了一段两个目标不断发生交叉遮挡的视频对算法进行验证，实验结果如图6所示。

从图6中的实验结果可以看出通过改进的粒子滤波算法可以很好的解决复杂背景下的运动目标跟踪问题，解决了目标之间因为交叉、遮挡无法有效跟踪的问题，由于限定了粒子的搜索范围，粒子退化的问题得到了有效的控制，所以能够准确跟踪前景中的目标而且跟踪窗口也比较稳定。另外由于加入了交叉遮挡判断，以及目标之间的颜色特征值匹配，实验结果中目标的编号可以看出目标在正常运动和交叉时目标编号并没有发生交换、跳变等情况出现，证明了改进算法的有效性。

为了对改进前后粒子滤波算法的性能进一步的了解，本发明采用的实验平台为Intel Core2CPU T55001.66GHz，内存1G的DELLINSPIRON 6400笔记本，对图7中，大小为320×240，帧频为25fps的四个视频场景中运动目标进行跟踪，并统计平均每帧处理时间和跟踪成功率。

其中，(a)快速运动目标，(b)背景前景相似，(c)背景复杂，(d)光照强烈

影响粒子滤波时间的主要因素是粒子数量和跟踪窗口的发散程度，粒子数量多，包含的模板颜色信息就多，对每个模板进行相似度都需要比较，所以计算量较大。粒子发散时，跟踪窗口的颜色信息不断增加，所以计算量也不断增加。

表2 改进前后粒子滤波算法对比(粒子数：100)

表3 改进前后粒子滤波算法对比(粒子数：50)

表4 改进前后粒子滤波算法对比(粒子数：10)

表5 改进前后粒子滤波算法对比(粒子数：5)

表2-表5分别为粒子数不同情况下改进前后粒子滤波算法的性能对比，从表中数据可以看出，当粒子数减少时平均每帧的处理时间会有所减少，成功率也会随着粒子数的减少而降低，通过每张表上下两部分对比可以看出改进后的粒子滤波平均每帧处理时间要比原始粒子滤波低，均达到实时性要求，跟踪成功率要比原始粒子滤波高，充分说明了改进算法的优越性。

Claims (7)

1.一种视频序列图像中的运动目标跟踪方法，其特征在于，获取运动目标图像帧，对目标图像每帧中出现的目标与颜色模板进行特征匹配，根据粒子集的HSV颜色空间直方图和观测目标HSV颜色空间直方图由Bhattacharyya系数确定跟踪目标与样本的相似度，根据相似度判断两个离散颜色直方图是否为同一目标，建立运动目标的观测概率分布：建立粒子的运动模型的状态转移方程：X_k+1＝X_k+G_k，其中，X_k为样本在空间中的位置坐标向量，G_k为随机扰动噪声；求解状态转移方程，完成运动目标跟踪。

2.根据权利要求1所述的方法，其特征在于，根据公式：

计算跟踪目标与样本两个离散颜色直方图的相似度，根据公式计算Bhattacharyya距离，当相似度低于系数阈值，距离d高于距离阈值时，两个颜色直方图描述的物体为不同目标。

3.根据权利要求1或2所述的方法，其特征在于，采用改进粒子滤波跟踪算法完成运动目标跟踪，具体包括：消除阴影得到跟踪目标范围，确定跟踪目标范围HSV颜色模型直方图，建立初始样本集；根据状态转移方程对ROI区域内每个粒子进行状态转移，计算第k个粒子样本的颜色模板值，计算第k个粒子的权值对粒子权值作归一化处理；选取权值最大的粒子表示目标当前的状态；当小于权值阈值，将权值最大的粒子作为对象模板对粒子进行重新采样，直至完成所有图像帧。

4.根据权利要求1或2所述的方法，其特征在于，采用码本背景模型粒子滤波跟踪算法完成运动目标跟踪，具体包括：检测运动目标得到感兴趣区域ROI；计算目标区域HSV颜色模型直方图{q}，建立粒子初始样本集；根据状态转移方程对ROI区域内的粒子进行状态转移，建立转移后粒子的颜色直方图及颜色模板值；对粒子权值进行更新，并对更新的权值归一化；用权值最大的粒子表示目标当前位置，当粒子权值小于权重阈值时对粒子集进行重采样。

5.根据权利要求4所述的方法，其特征在于，改进码本背景模型粒子滤波算法完成运动目标跟踪，具体包括：使用Codebook对视频序列进行背景建模，对前景目标检测；用前景检测得到的模板初始化感兴趣区域ROI，在ROI中使用前景区域的HSV颜色直方图作为模板初始化粒子，根据状态转移方程进行粒子状态转移并对粒子权值进行更新。

6.根据权利要求4或5所述的方法，其特征在于，对目标相似度进行判断的时候，如果两个目标的采样粒子重合，出现目标编号交换的现象，则停止重采样；若粒子集权重小于1/N，则对粒子集进行重采样；用码本背景建模检测出运动目标前景后求得其轮廓最大外界矩形，将该矩形作为感兴趣区域，限定粒子在该区域中重采样。

7.根据权利要求1-4其中之一所述的方法，其特征在于，根据公式：对粒子的权值ω⁽ⁱ⁾进行更新，其中，d为Bhattacharyya距离，σ表示HSV颜色空间下的样本颜色方差，为第k个采样点，第(k-1)个采样点粒子的权值。