CN102930557A - 跟踪窗口尺寸自适应调整的粒子滤波跟踪方法 - Google Patents

Abstract

本发明公开了一种跟踪窗口尺寸自适应调整的粒子滤波跟踪方法，主要解决粒子滤波跟踪窗口实时自适应调整问题。窗口调整方法是：在粒子滤波跟踪框架下，首先建立运动目标的状态转移方程，初始化目标状态；然后运用状态转移方程预测下一时刻的粒子集，计算粒子的似然函数值并根据其值更新粒子的权值，计算大权值粒子到粒子集中心的平均距离d；最后让窗口的尺寸随d值线性变化，从而实现跟踪窗口的自适应调整。该方法用很小的计算量实现粒子滤波跟踪窗口的调整。与同类方法相比，具有计算简单、跟踪速度快的优势。

Description

跟踪窗口尺寸自适应调整的粒子滤波跟踪方法

技术领域

本发明涉及视频目标跟踪技术领域，特别是涉及一种跟踪窗口尺寸自适应调整的粒子滤波跟踪方法。

背景技术

目标跟踪问题是机器视觉研究中的一个重要分支，是高级机器视觉研究的基础，有着广泛的应用，如军事制导、道路交通监控，工业自动化生产监控，客流量统计等。在人们提出的诸多跟踪算法中，基于粒子滤波和Mean-Shift算法是研究的热点。

在粒子滤波目标跟踪算法中，目标跟踪窗口是由跟踪目标的初始大小决定的，在整个跟踪过程中，跟踪窗口的大小保持不变。然而，当运动目标尺寸越来越小时，如果跟踪窗口固定不变，则在跟踪窗口内包含目标区域的同时混入了一些背景噪声，最终导致运动目标跟踪不准确。当运动目标尺寸越来越大时，大到超出跟踪窗口的范围，固定不变的窗口常常会导致运动目标的跟踪失败。

近几年，针对基于Mean-Shift的跟踪算法人们提出了一些改变核窗口大小的算法：

一种±10%增量的核窗口修正方法，该方法需要分别计算当前帧中原始核窗口以及±10%核窗口的Bhattacharyya系数，选出最大的Bhattacharyya系数所对应的窗口为最佳核窗宽。当目标尺寸变小时，该方法可以得到比较好的跟踪效果，但当目标尺寸变大时，由于Bhattacharyya系数的相似性度量常常会在较小的核窗口内达到局部最大，所以跟踪窗口的尺寸很难扩大，经常是越来越小；

一种先进行空间定位再确定目标尺度的跟踪算法，该方法利用对数极坐标的旋转和尺度不变性来映射模板目标和候选目标确定目标的尺度和方向，但是这两者的中心必须对齐，否则得不到目标的尺度和方向；

核窗宽根据连续帧中运动目标的仿射模型的伸缩幅值进行更新，但是该方法需要对每一帧图像进行边缘角点特征检测，比较耗费时间，而且不适用于非刚性的物体；

一种基于不变矩的方法，但是这种方法计算时特别耗费时间，大大影响了Mean-Shift跟踪的实时性。针对粒子滤波跟踪窗口自适应改变问题的研究却很少；

一种粒子滤波跟踪自适应改变跟踪窗口的方法。该方法采用一种较复杂的计算方法计算目标区域所含的信息量并以此来判断目标的尺寸变化；

申请公布号CN102184554A的中国发明专利公开了一种调整粒子滤波跟踪窗口的方法，该方法采用Otsu阈值法对目标区域进行分割，通过对分割标记图进行计算，得到目标尺度观测值，进而采用卡尔曼滤波方法对跟踪窗进行自适应调整，存在的问题是：分割的目标区域的尺寸受噪声影响较大，因此以它作为观测值误差较大，且由于采用了卡尔曼滤波方法调整窗口，增加了计算量；

申请公布号CN102005055A的中国发明专利公开了一种调整粒子滤波跟踪窗口的方法，该方法依据EM算法计算粒子的协方差矩阵，再根据协方差矩阵计算粒子集的全局核窗宽，均增加了额外的计算，给原本计算量大的粒子滤波算法增加了计算量，影响算法的跟踪速度。

现有的跟踪窗口调整方法，需要较复杂的计算，因此影响跟踪速度。针对上述技术问题，有必要提供一种跟踪窗口尺寸自适应调整的粒子滤波跟踪方法。

发明内容

有鉴于此，本发明的目的在于提供一种跟踪窗口尺寸自适应调整的粒子滤波跟踪方法，其可实时地改变跟踪窗口。

为了实现上述目的，本发明实施例提供的技术方案如下：

一种跟踪窗口尺寸自适应调整的粒子滤波跟踪方法，所述方法包括以下步骤：

S1、初始化：初始化跟踪窗、粒子集及目标模板；

S2、状态更新：更新粒子集及目标模板；

S3、目标状态估计：计算粒子加权平均；

S4、跟踪窗口调整：计算粒子到粒子集中心的平均距离、跟踪窗口的长和宽；

S5、重采样：计算有效粒子数、累计概率并复制粒子。

作为本发明的进一步改进，所述步骤S1具体为：

确定目标状态矢量、建立目标状态转移方程；

初始化目标跟踪窗：根据目标大小，确定初始跟踪窗口的长h_x和宽h_y；

初始化粒子状态：根据目标的初始窗口的大小和位置，利用高斯分布产生k-1时刻初始化粒子集

其中，i表示粒子的序号，N表示粒子总数，

表示粒子状态，

表示粒子权值，初始化权值

根据初始化粒子集计算粒子到粒子集中心的平均距离d_k-1；

初始化目标特征模板：根据初始化目标跟踪窗口，提取目标特征模板q＝[q¹,…,q^w…,q^W],其中W是目标特征个数。

作为本发明的进一步改进，所述步骤S2具体为：

粒子状态预测：根据状态转移方程预测k时刻粒子集

粒子权值更新：计算每个粒子的似然函数值，计算每个粒子的权值

并归一化权值

作为本发明的进一步改进，所述步骤S3具体为：

用粒子加权平均近似目标状态X_k。

作为本发明的进一步改进，所述步骤S4具体为：

计算权值较大粒子到粒子集中心的平均距离d；

计算跟踪窗口的长和宽：

$\left\{\begin{array}{c}{h}_x^{\mathrm{new}}=h_x^{\mathrm{old}}\×d_k/d_{k-1}\\ h_y^{\mathrm{new}}=h_y^{\mathrm{old}}\×d_k/d_{k-1}\end{array}\right.$

其中d_k-1和d_k分别为前一帧和当前帧粒子到粒子集中心的平均距离，

和

分别为前一帧和当前帧跟踪窗口的长和宽。

作为本发明的进一步改进，所述步骤S5具体为：

计算有效粒子数

当N_eff小于或等于设定门限N_Th时，实施重采样；

计算累计概率

选取均匀分布的随机数r～R(0，1)，找到一个使得

最小的j，复制粒子

本发明根据粒子权重值及粒子位置信息推算目标尺寸的变化，并根据推算的目标尺寸改变跟踪窗口，因此不会增加额外的计算量，具有更好地实时性好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明跟踪窗口尺寸自适应调整的粒子滤波跟踪方法的流程示意图；

图2(a)和图2(b)为本发明目标大小变化后粒子的分布示意图；

图3为本发明一实施方式中采用跟踪窗口尺寸自适应调整的粒子滤波跟踪方法进行跟踪的效果图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

参考图1所示，本发明的一种跟踪窗口尺寸自适应调整的粒子滤波跟踪方法，是对视频图像中初始状态已知的运动目标T依据下列步骤进行跟踪：

S1、初始化

S1-1、确定运动目标状态矢量：目标T的状态矢量记为X(x,y,x′,y′,h_x,h_y),其中：x和y分别为目标中心坐标，x′和y′分别为目标中心在x和y方向的速度，h_x和h_y分别为矩形跟踪窗的长和宽。

S1-2、建立目标状态转移方程：

$X_k=\left[\begin{array}{cccccc}1& \mathrm{\ΔT}& & & & \\ & 1& & & & \\ & & 1& \mathrm{\ΔT}& & \\ & & & 1& & \\ & & & & 1& \\ & & & & & 1\end{array}\right]X_{k-1}+\left[\begin{array}{cccc}\frac{{\mathrm{\ΔT}}^2}{2}& & & \\ \mathrm{\ΔT}& & & \\ & \frac{{\mathrm{\ΔT}}^2}{2}& & \\ & \mathrm{\ΔT}& & \\ & & 1& \\ & & & 1\end{array}\right]V_k$

其中：△T为采样周期；为V_k多变量高斯白噪声。

S1-3、初始化粒子状态：根据目标的初始窗口的大小和位置，利用高斯分布产生k-1时刻初始化粒子集

其中，i表示粒子的序号，N表示粒子总数，

表示粒子状态，表示粒子归一化权值，初始化权值

粒子到粒子集中心点的初始距离：

其中3/7是实验统计值，在其他实施方案中也可以设置为其他合理的值。

S1-4、初始化目标特征模板：根据初始化目标跟踪窗口，提取目标特征模板q＝[q¹,…,q^w…,q^m],其中m是目标特征个数；本实施例采用加权灰度直方图描述目标。将灰度划分为m＝256个等级。假设目标的状态为X，其中目标区域的中心为x＝（x,y)，跟踪窗口大小为h＝(h_x,h_y)目标区域内像素的位置为x_i＝(x_i,y_i)，i＝1,…,n，n为目标区域内像素的总数，则目标特征模板为

$q^{\left(u\right)}\left(X\right)=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}k\left(\right|\left|\frac{x-x_i}{h}\right|\left|\right)\mathrm{\δ}[b\left(x_i\right)-u]}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}k\left(\right|\left|\frac{x-x_i}{h}\right|\left|\right)},$ u＝1，…，m

其中：δ是Delta函数；函数b（x_i)是在x_i处的灰度级，u为第u级灰度；k(·)为权值函数，本实施例采用的权值函数为：

$k\left(\right|\left|x\right|\left|\right)=\left\{\begin{array}{cc}1,& \left|\right|x\left|\right|\≤T\\ {\mathrm{\θe}}^{-\frac{\left|\right|x\left|\right|-T}{\mathrm{\θ}}},& \left|\right|x\left|\right|>T\end{array}\right.$

函数k(·)的引入主要考虑到目标轮廓的变化或者被遮挡的情况，目标区域中属于目标的像素满足一定的概率。

S2、状态更新

S2-1、粒子状态预测：根据状态转移方程预测k时刻粒子集

S2-2、粒子权值更新：计算每个粒子的似然函数值

$p_c\left(Z_k\right|X_k^i)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}\exp (-\frac{d^2[p\left(X_k^i\right),q]}{{2\mathrm{\σ}}^2})$

其中d[p(X_k),q]是粒子与目标模板之间的距离。本实施例采用Bhattacharyya距离：

$d[p\left(X_k\right),q]=\sqrt{1-\mathrm{\ρ}[p\left(X_k\right),q]}$

其中 $\mathrm{\ρ}[p\left(X_k\right),q]=\underset{u=0}{\overset{m}{\mathrm{\Σ}}}\sqrt{p^{\left(u\right)}\left(X_k\right)q^{\left(u\right)}}$

计算每个粒子的权值：

归一化权值： $\widetilde{w_k^i}=\frac{w_k^i}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_k^i}$

得到k时刻粒子集

S3、目标状态输出

用粒子加权平均作为目标状态估计，粒子加权平均

S4、跟踪窗口调整

S4-1、计算粒子到粒子集中心的平均距离：

$d=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\sqrt{{(x-x_i)}^2+{(y-y_i)}^2},$

其中，(x，y)为粒子集中心坐标，(x_i,y_i)为第i个粒子的坐标，

为第i个粒子的权值，i＝1，2，…，M，M为权值大于阈值T的粒子数目。本实施例中定量计算了目标尺寸与粒子平均距离的关系，计算时，粒子个数N取64，粒子权值阈值取1/64，在计算粒子平均距离时仅考虑了那些权值大于设定阈值的粒子，因为当粒子权值太小时，说明粒子区域与目标区域重叠很少甚至没有重叠，对估计目标尺寸没什么贡献。

表1给出了目标尺寸和粒子到粒子集中心的平均距离d之间的关系。从表1中的数据可以看出，平均距离d与目标尺寸密切相关，目标尺寸变小，d也变小。

表1目标尺寸和粒子平均距离d

hx·hy/像素	粒子的平均距离d/像素
		34·26	12.0044
28·28	11.9928
		30·24	10.9074
26·20	10.0122
		22·22	9.7223

粒子滤波跟踪过程中，当跟踪窗和粒子数N确定后，目标区域内的粒子到粒子集中心的平均距离与目标大小有关。如图2所示，图中的框代表矩形目标区域，框内的每个黑点代表一个粒子，即采样点。当运动目标的尺寸变小时，粒子在目标上的分布就比较集中，如图2(a)所示，则粒子到粒子集中心的平均距离就变小。当运动目标的尺寸变大时，粒子在目标上的分布就比较分散，从而粒子到粒子集中心的平均距离就变大，如图2(b)所示。表1中的数据也定量的说明目标尺寸与平均距离d的关系。

S4-2、计算跟踪窗口的长和宽：

$\left\{\begin{array}{c}{h}_x^{\mathrm{new}}=h_x^{\mathrm{old}}\×d_k/d_{k-1}\\ h_y^{\mathrm{new}}=h_y^{\mathrm{old}}\×d_k/d_{k-1}\end{array}\right.$

其中d_k-1和d_k分别为前一帧和当前帧粒子到粒子集中心的平均距离，

和

分别为前一帧和当前帧跟踪窗口的长和宽。

S5、重采样

S5-1、计算有效粒子数

当N_eff小于或等于设定门限N_Th时（本实施例取为N_Th=N/3，N为总的粒子数），实施重采样。

S5-2、重采样方法：计算累计概率

选取均匀分布的随机数r～R(0，1)，找到一个使得

最小的j，复制粒子

重采样后粒子权值均置为1/N。

本实施例对一个95帧的视频（单帧图像大小为256×192）进行了跟踪实验，选择了小车作为跟踪目标，部分跟踪帧的跟踪结果参见图3。实验结果表明，当目标迅速变小时，跟踪窗口能实时的自动变小，跟踪窗口的大小能够很好的适应目标尺寸的变化。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种跟踪窗口尺寸自适应调整的粒子滤波跟踪方法，其特征在于，所述方法包括以下步骤：

S1、初始化：初始化跟踪窗、粒子集及目标模板；

S2、状态更新：更新粒子集及目标模板；

S3、目标状态估计：计算粒子加权平均；

S4、跟踪窗口调整：计算粒子到粒子集中心的平均距离、跟踪窗口的长和宽；

S5、重采样：计算有效粒子数、累计概率并复制粒子。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1具体为：

确定目标状态矢量、建立目标状态转移方程；

初始化目标跟踪窗：根据目标大小，确定初始跟踪窗口的长h_x和宽h_y；

初始化粒子状态：根据目标的初始窗口的大小和位置，利用高斯分布产生k-1时刻初始化粒子集

其中，i表示粒子的序号，N表示粒子总数，

表示粒子状态，

表示粒子权值，初始化权值

根据初始化粒子集计算粒子到粒子集中心的平均距离d_k-1；

初始化目标特征模板：根据初始化目标跟踪窗口，提取目标特征模板q＝[q¹,…,q^w…,q^W],其中W是目标特征个数。

3.根据权利要求1所述的方法，其特征在于，所述步骤S2具体为：

粒子状态预测：根据状态转移方程预测k时刻粒子集

粒子权值更新：计算每个粒子的似然函数值，计算每个粒子的权值

并归一化权值

4.根据权利要求1所述的方法，其特征在于，所述步骤S3具体为：

用粒子加权平均近似目标状态X_k。

5.根据权利要求1所述的方法，其特征在于，所述步骤S4具体为：

计算权值较大粒子到粒子集中心的平均距离d；

计算跟踪窗口的长和宽：

$\left\{\begin{array}{c}{h}_x^{\mathrm{new}}=h_x^{\mathrm{old}}\×d_k/d_{k-1}\\ h_y^{\mathrm{new}}=h_y^{\mathrm{old}}\×d_k/d_{k-1}\end{array}\right.$

其中d_k-1和d_k分别为前一帧和当前帧粒子到粒子集中心的平均距离，

和

分别为前一帧和当前帧跟踪窗口的长和宽。

6.根据权利要求1所述的方法，其特征在于，所述步骤S5具体为：

计算有效粒子数

当N_eff小于或等于设定门限N_Th时，实施重采样；

计算累计概率

选取均匀分布的随机数r～R(0，1)，找到一个使得最小的j，复制粒子

Images