CN102722702B - 多特征融合的粒子滤波视频目标跟踪方法 - Google Patents

Abstract

本发明公开了一种多特征融合的粒子滤波视频目标跟踪方法，属于视频目标跟踪领域。该方法先对粒子进行初始化定位，确定目标的初始状态，并提取目标的颜色特征信息和运动边缘特征信息，再对粒子的状态进行传播，然后分别求出颜色特征信息和运动边缘特征信息的观测值概率密度函数，将两者融合后通过粒子归一化对粒子权重进行更新，接着计算当前时刻目标状态的最小均方差估计，通过重采样机制后置时间为下一时刻，转到粒子传播阶段进行新一轮循环，直至视频序列结束。本方法在目标被遮挡或相似背景干扰下均能对目标实现持续准确地跟踪，提高了算法的准确性和鲁棒性。

Description

多特征融合的粒子滤波视频目标跟踪方法

技术领域

本发明涉及一种视频目标跟踪方法，尤其涉及一种多特征融合的粒子滤波视频运动目标跟踪方法，属于视频监控技术中的视频目标跟踪领域。 

背景技术

视频目标跟踪是指对图像序列中的运动目标进行检测、提取、识别和跟踪的过程，以获得目标的运动参数，如位置、速度、加速度以及运动轨迹等。视频目标跟踪在视频监控、体育运动事件分析、跟踪实验动物、人机交互等方面都有实际应用需求。现有的目标跟踪方法主要包括：基于区域的跟踪、基于特征的跟踪、基于轮廓线的跟踪、基于模型的跟踪、基于运动场估计的跟踪以及混合方式的跟踪方法等。 

近年来，粒子滤波（Particle Filter）算法被认为是目前解决非线性、非高斯模型最成功的方法。粒子滤波算法是一种基于蒙特卡洛（Monte Carlo）技术来求解贝叶斯概率的使用算法，它的基本思想是通过重要性函数产生带权值的样本（粒子）来逼近系统状态的真实后验概率分布。这些粒子是在选取的重要性概率密度函数的基础上随机抽样得到的，然后通过预测和更新两个步骤对目标的状态进行估计。但是单一特征的目标跟踪效果往往受到跟踪目标外在因素的很大影响，如使用单一颜色特征信息来进行目标跟踪，方法快捷且容易实现，但在跟踪过程中由于目标所处的位置、光照等易发生变化，这会影响跟踪效果，从而造成算法的鲁棒性不高。 

发明内容

本发明针对现有技术的不足，而提出一种多特征融合的粒子滤波视频目标跟踪方法，以提高算法的准确性和鲁棒性。 

该视频目标跟踪方法包括如下步骤： 

步骤1：在最初时刻对一组粒子进行初始化定位，确定目标的初始状态，提取目标的颜色特征信息和运动边缘特征信息； 

步骤2：采用一阶AR模型对粒子的状态进行传播，得到下一时刻的新粒子； 

步骤3：分别求出当前粒子采样时刻颜色特征信息和运动边缘特征信息的观测值的概率 密度函数，将两种概率密度函数融合，并通过粒子归一化对粒子权重进行更新； 

步骤4：计算当前粒子采样时刻目标状态的最小均方差估计； 

步骤5：计算重采样判断值，当重采样判断值小于等于重采样判决阈值时，对当前的采样粒子进行重采样，否则转入步骤6； 

步骤6：置时间为下一时刻，转入步骤2，直至视频序列结束。 

技术效果： 

1、本方法将两种目标特征信息相互融合，从而结合了两种特征信息的优点，提高了方法的有效性。 

2、在目标被完全遮挡或相似背景干扰下，本方法均能实现对目标持续、准确地跟踪，方法准确性和鲁棒性较高。 

附图说明

图1为本发明的方法流程图。 

图2为提取颜色特征信息的算法流程图。 

图3为运动边缘特征信息的计算原理示意图，图中：P表示各粒子落入相应角度区间的概率，θ表示角度。 

具体实施方式

下面对本发明作进一步说明。 

本发明方法的流程如图1所示，具体步骤如下： 

步骤1：粒子初始化阶段。 

设时间t=0时刻，采用手工标定的方式对一组在状态空间中传播的粒子进行初始化定位，定义目标的初始状态为 并提取目标的颜色特征信息和运动边缘特征信息。 

步骤2：粒子传播阶段。 

采用一阶AR模型对粒子的状态进行传播，从而得到下一时刻的新粒子。 

在t=t+1时，新粒子 式中：A为系数矩阵，这里A取4阶单位阵； 是均值为零的高斯白噪声。 

步骤3：权值更新阶段。 

分别求出当前粒子采样时刻颜色特征信息和运动边缘特征信息的观测值的概率密度函 数，将两种概率密度函数融合，并通过粒子归一化对粒子权重进行更新。 

提取颜色特征信息的算法流程如图2所示。本方法采用基于RGB颜色空间模型的核加权颜色特征直方图对目标进行建模，其中，核函数的基本思想是：根据像素点与目标中心的距离远近对其（像素点）赋予不同的权值。对距离目标中心较远的像素点赋予比较小的权值，从而减弱跟踪目标模块边界及遮挡等问题带来的干扰。 

高斯核函数定义如下： 

k(r)=exp{-r²/(2σ²)} 

式中：r表示像素点与目标中心之间的距离；参数σ用以控制核函数的作用半径，这里σ=1。 

对于选定的目标区域内的各像素点{x_i,i＝1...M}，M为目标区域内像素点的总数。设m为量化阶数，且定义颜色量化函数b(x_i):R²→{1,2,...,m}，这里m=32。则第i个像素点颜色粒子所对应区域的核加权颜色特征直方图p(x)={p_u(x)}_{u＝1，2，...,m可定义为}： 

$p_u\left(x\right)=A^{\′}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}k\left({\left|\right|\frac{x-x_i}{h}\left|\right|}^2\right)\mathrm{\δ}(b\left(x_i\right)-u)$

式中：A′为归一化因子，用来保证 即 M为目标区域内像素点的总数，这里M=400；k(·)为高斯核函数；x为目标区域中心像素点；x_i为目标区域中的某一像素点；h表示目标区域的大小，这里 ||x-x_i||²表示x_i与x之间的距离；δ(·)为Dirac-delta函数。 

对于候选区域所对应的核加权颜色特征直方图q(x)={q_u(x)}_{u＝1，2，...,m也可采用上述同样的计算方法}。 

Bhattacharyya系数是建立两概率分布相似性度量的有效工具，则对于目标区域和候选区域的核加权颜色特征直方图，两者之间的相似性可用Bhattacharyya系数来衡量，可定义为： 

$\mathrm{\ρ}[p\left(x\right),q\left(x\right)]=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{p_u\left(x\right)q_u\left(x\right)}$

$d[p\left(x\right),q\left(x\right)]=\sqrt{1-\mathrm{\ρ}[p\left(x\right),q\left(x\right)]}$

式中：ρ值越大表示目标区域与候选区域之间的相似性越高，当ρ=1时，即两个区域的核加权颜色特征直方图完全一样。 

由此得出基于颜色特征信息的观测值的概率密度函数： 

$p_{\mathrm{color}}\left(z_t\right|x_{t,\mathrm{color}}^i)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}\exp \{-\frac{{\left(d\right[p,q\left]\right)}^2}{{2\mathrm{\σ}}^2}\},$ 这里σ=0.25。 

图3以图表方式简单示意了运动边缘特征信息的计算原理。为了适应目标光照变化以及背景中相似颜色的干扰，仅使用颜色特征无法达到理想的跟踪效果，因此本方法引入了运动边缘特征。利用相邻两帧图像之间的目标区域运动特征，生成差分图像进行梯度求解得到图像运动边缘信息，从而在复杂背景下达到更好的目标跟踪效果。 

假设视频中连续的两帧图像分别记为R_t和R_t+1，对两帧图像进行差分处理，得到差分图像D_t=|R_t+1-R_t|，对D_t进行梯度求解，得到时刻t的图像运动边缘信息E_t： 

$E_t={\▿D}_t={\left[\begin{array}{cc}\frac{{\∂D}_t}{\∂x}& \frac{{\∂D}_t}{\∂y}\end{array}\right]}^T$

式中： 和 分别为跟踪区域中心点在x方向和y方向上的速度值。 

由此可得E_t的方向角θ： 

$\mathrm{\θ}=\arctan (\frac{{\∂D}_t}{\∂x}/\frac{{\∂D}_t}{\∂y}),$ θ的取值范围为0~2π。 

对方向角θ进行量化，分成n等份 i＝1,2,...,n，这里n=16， 

结合直方图公式 统计落入各个角度区间的像素梯度幅度值，并对其进行归一化处理，得到目标区域的运动边缘方向直方图 其中(x,y)为目标区域的中心点坐标。运用同样的计算方法，得到候选区域的运动边缘方向直方图F_t(x,y)。则该目标区域的运动特征定义如下： 

$Q_t=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{F}_t(x,y)/\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{P}_t(x,y)$

候选区域的Q_t值越接近于1，说明该候选区域与目标区域的相似度越高。利用Q_t值得出基于运动边缘特征信息的观测值的概率密度函数： 

$p_{\mathrm{motion}}\left(z_t\right|x_{t,\mathrm{motion}}^i)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}\exp (-\frac{d^2}{{2\mathrm{\σ}}^2})$

式中： 这里σ=0.25。 

将颜色特征信息和运动边缘特征信息融合，假设颜色特征信息和运动边缘特征信息的观测过程是相互独立的，则定义融合后的概率密度函数为： 

$p\left(z_t\right|x_t^i)=w_1{p}_{\mathrm{color}}\left(z_t\right|x_{t,\mathrm{color}}^i)+w_2{p}_{\mathrm{motion}}\left(z_t\right|x_{t,\mathrm{motion}}^i)$

式中：w₁、w₂均为自适应的归一化权值，即 

定义 i＝1,2，式中：d_i，min（i＝1,2）分别表示d[p(x),q(x)]的最小值以及d的最小值，d[p(x),q(x)]为t时刻颜色特征信息中目标区域与候选区域之间的Bhattachaya距离，d为根据运动边缘特征信息得到的相似度距离。对 进行归一化得到w_i，即： 

$w_i=\frac{{\tilde{w}}_i}{{\tilde{w}}_1+{\tilde{w}}_2}$

根据融合后的概率密度函数，结合权值更新公式  表示t时刻i粒子的权值，通过粒子归一化公式 对粒子权重进行更新求解，式中N为跟踪过程中的粒子总数，下同。 

步骤4：状态估计阶段。 

计算t时刻（当前粒子采样时刻）目标状态的最小均方差估计 

步骤5：判断重采样阶段。 

计算重采样判断值 根据N_eff判断是否需要对当前的跟踪目标采样粒子进行重采样，当N_eff≤N_thres时进行重采样，否则不进行重采样，转入步骤6，N_thres为重采样判决阈值，该值可根据经验得到。 

步骤6：置时间t=t+1，转入步骤2进行新一轮循环，直至视频序列结束，本方法结束。 

Claims (2)

1.一种多特征融合的粒子滤波视频目标跟踪方法，其特征在于： 

该方法包括如下步骤： 

步骤1：在最初时刻对一组粒子进行初始化定位，确定目标的初始状态，提取目标的颜色特征信息和运动边缘特征信息； 

步骤2：采用一阶AR模型对粒子的状态进行传播，得到下一时刻的新粒子； 

步骤3：分别求出当前粒子采样时刻颜色特征信息和运动边缘特征信息的观测值的概率密度函数，将两种概率密度函数融合，并通过粒子归一化对粒子权重进行更新； 

其中，颜色特征信息的观测值的概率密度函数是采用核加权颜色特征直方图对目标进行建模，再运用Bhattacharyya系数得出的；运动边缘特征信息的观测值的概率密度函数是由图像运动边缘信息所含的角度信息得出的； 

步骤4：计算当前粒子采样时刻目标状态的最小均方差估计； 

步骤5：计算重采样判断值，将重采样判断值与重采样判决阈值进行比较，当重采样判断值小于等于重采样判决阈值时，对当前的采样粒子进行重采样，重新计算重采样判断值，直至计算的重采样判断值大于重采样判决阈值时转入步骤6； 

步骤6：置时间为下一时刻，转入步骤2，直至视频序列结束。 

2.根据权利要求1所述的多特征融合的粒子滤波视频目标跟踪方法，其特征在于：所述颜色特征信息和运动边缘特征信息的观测过程是相互独立的。