CN103065330B - 基于流水线并行处理技术的粒子滤波目标跟踪方法及装置 - Google Patents

Abstract

本发明公开了一种基于流水线并行处理技术的粒子滤波目标跟踪方法及装置。本方法包括如下步骤：首先，预测本帧图像的粒子集，并根据粒子进行待处理数据的分发；其次，利用流水线并行处理技术计算粒子权值；最后，进行状态更新，计算出目标在新的一帧中的状态估计，从而跟踪出目标新的位置。同时进行粒子重采样，避免粒子退化。本发明的方法利用流水线并行处理技术，将各处理步骤分别分配到并行流水线的各环节进行并行处理，大幅度提高了粒子滤波算法的执行效率和实时性；同时，解决了传统粒子算法中粒子权值计算瓶颈和存储器访问瓶颈问题。此外，提出了可扩展的通用并行粒子滤波系统框架，有利于在本框架基础上进行算法的扩充和升级。

Description

基于流水线并行处理技术的粒子滤波目标跟踪方法及装置

技术领域

本发明涉及一种基于流水线并行处理技术的粒子滤波目标跟踪方法及装置，可以显著提高粒子滤波目标跟踪算法的执行效率及实时性，属于计算机视觉技术领域。

背景技术

图像序列中的目标跟踪是计算机视觉领域的一个研究热点，它为视频监控、精确制导、机器人导航、视频压缩等提供了重要的基础。

粒子滤波（ParticleFilter）是近年来提出的一种有效的非刚性目标跟踪算法。其本质上属于一种基于蒙特卡罗仿真的方法，它首先获取目标的参考颜色直方图，然后利用状态空间的一组带权值的随机样本（粒子）逼近状态变量的概率密度函数，每个样本代表系统的一个可能状态，可以得到状态的最小方差估计，从而找出目标在每帧中最有可能的新位置。基于粒子滤波进行目标跟踪的算法包括如下迭代步骤：（1）序贯重要性采样，根据重要性分布函数，采样N个新粒子；（2）粒子权重计算，根据粒子周围颜色直方图与目标参考颜色直方图的相似性对比，计算其权重，相似性越大权重越高，同时归一化权重；（3）重采样，计算有效粒子个数，增加有效粒子个数，删减无效粒子；（4）状态估计，对粒子进行加权求和得到新的目标位置。粒子滤波算法摆脱了解决非线性滤波问题时随机量必须满足高斯分布的制约条件，可以有效处理遮挡、背景干扰、弱小目标跟踪等复杂问题。因此，近几年来它成为计算机视觉、目标跟踪、机器学习等领域的研究热点。

然而，由于粒子滤波算法具有较高的复杂度，普通软硬件实现很难满足应用的实时性要求。另一方面，伴随着电子设备小型化、低功耗化、便携移动化、网络化的发展趋势，迫切需要对原有粒子滤波目标跟踪算法的实现架构进行重构，并在此架构下重新设计算法实现的步骤和方法，使其满足各种应用环境下对跟踪效率和算法实时性的要求。

目前已提出的用于提高粒子滤波目标跟踪算法实时性的方法大致分为两类：基于GPU或单指令多数据流（SIMD）处理器的方法和基于算法定制硬件的方法。前一类方法虽然通过并行化解决了一定的实时性问题，但因其处理器设计的通用性，并没有考虑粒子滤波算法的特殊性以及执行步骤之间的依赖关系。同时，该类方法也易受到存储器访问瓶颈的影响。后一类方法从算法的特性入手，进行硬件的定制设计，虽然在一定程度上提高了算法的实时性，但是却牺牲了粒子滤波算法的灵活性，比如算法一旦进行了改进或粒子特征提取的方法发生了变化，硬件则需要进行大幅度修改甚至重新定制。

公开号CN101604449A，“一种基于并行粒子滤波的图像目标跟踪方法及装置”所提出的方法属于基于算法定制硬件的方法，虽然其对粒子滤波算法的步骤都做了硬件加速及优化，在很大程度上实现了算法的并行化处理和执行加速，但所提出的方法和硬件只是针对以颜色直方图为特征的粒子进行的处理，很难适用于其它种类特征或是其它粒子滤波的改进算法，没有提出一种具有广泛适应性的方法架构。

公开号US20120093364A1，“OBJECTTRACKINGDEVICE,OBJECTTRACKINGMETHOD,ANDOBJECTTRACKINGPROGRAM”所提出的方法也属于硬件实现的方法，但其并未针对算法的执行效率进行优化，仍然存在很大的实时性改进空间。

总之，现有的用于提高粒子滤波目标跟踪算法实时性的方法还存在诸多局限性，在执行效率方面并不占优势，还需要进一步提升实时并行处理能力来适应复杂环境的应用。

发明内容

本发明的目的是针对现有技术中存在的不足，提出一种基于流水线并行处理技术的粒子滤波目标跟踪方法及装置。该方法可以大幅度提高粒子滤波算法的执行效率，提高实时性，同时解决存储器访问瓶颈问题，另一方面又提出了可扩展的通用并行粒子滤波系统框架，满足算法改进升级的要求。

为实现上述发明目的，本发明的方法所采取的技术方案包括图像输入预处理、粒子权值并行计算和粒子滤波的输出处理三个步骤，这三个步骤采用流水线并行处理的工作方式，具体如下：

（1）步骤一：预测本帧图像的粒子集，并根据粒子进行待处理数据的分发。设本帧为第k帧，并设第k-2帧有M个离散粒子构成的粒子集为粒子相应的权重为根据以前帧的状态估计，预测出本帧粒子集：

这里和为以前帧的状态估计值。

以本帧粒子集所对应的点为中心，在本帧图像上分别设置M个长宽为m×n的取景框，将取景框中的图像分发到M个协处理单元的先进先出缓冲器（FIFO）中。

（2）步骤二：利用流水线并行处理技术计算粒子权值。M个协处理单元分别并行计算各粒子对应的取景框中的图像彩色直方图，并将其与参考目标彩色直方图比对，求本帧新的粒子权值。设彩色直方图的槽数为L（L-bins），则用h(x)={h(x)^j}_j＝1…L表示以点x为中心的m×n取景框彩色直方图，计算每个槽值：

$h{\left(x\right)}^j=C\underset{u\∈R\left(x\right)}{\mathrm{\Σ}}f\left(\right|x-u\left|\right)\mathrm{\δ}[g\left(u\right)-j]$

其中，C是归一化常数，R(x)是计算彩色直方图的区域，为以单调减函数，g(u)将u点的像素值分配到彩色直方图的某个槽位。

接着，根据每个粒子为中心的取景框中的图像彩色直方图，计算其与目标的参考直方图h₀的巴氏距离：

$d[h\left(x\right),h_0]={[1-\mathrm{\ρ}(h\left(x\right),h_0)]}^{\frac{1}{2}}$ 其中， $\mathrm{\ρ}(h\left(x\right),h_0)=\underset{j=1}{\overset{L}{\mathrm{\Σ}}}\sqrt{h{\left(x\right)}^j{h}_0^j}$

再由巴氏距离计算出观测概率：

由上式求出的观测概率，再根据前一帧的粒子权值，通过迭代求出本帧粒子集的新的权值：

${\tilde{w}}_k^i=w_{k-1}^{i}p\left(z_k\right|x_k^i)$

（3）步骤三：进行状态更新，计算出目标在新的一帧中的状态估计，从而跟踪出目标新的位置。

首先，对上述计算出的粒子权值进行归一化：

然后，求出粒子的后验概率密度

同时，通过对粒子集进行加权求和，求出目标新的位置：

（4）步骤四：为消除粒子匮乏问题，进行粒子重采样。

计算有效粒子个数 $N_{\mathrm{eff}}={\left(\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\left(w_k^i\right)}^2\right)}^{-1};$

如果N_eff<N_th，则增加有效粒子个数，删减无效粒子。

这样，根据上述步骤即可对每一帧中的目标位置进行准确的跟踪和定位。

本发明的有益效果主要体现在以下几个方面：

（1）本发明的方法利用流水线并行处理技术，将上述粒子集的预测和分发、粒子权值更新、目标状态更新以及重采样等处理步骤分别分配到并行流水线的各环节进行并行处理，有效增加了算法的并行度，同时大幅度提高了粒子滤波算法的执行效率和实时性；

（2）本发明解决了传统粒子算法中粒子权值计算瓶颈和存储器访问瓶颈问题。利用协处理单元阵列并行计算每个粒子的新权值，这样大大压缩了原本需要顺序运算的权值更新。本发明还提出了将粒子对应的待计算窗口区域的分发与粒子的处理相并行的流水作业方法，这样可在数据分发的同时并行处理粒子权值，突破了原有的存储器访问瓶颈问题；

（3）本发明提出了可扩展的通用并行粒子滤波系统框架，满足算法改进升级的要求，有利于在本框架基础上进行算法的扩充和发展。

附图说明

图1为本发明的流程图。

图2为本发明的系统原理框图。

具体实施方式

为了更好的理解本发明的技术方案，结合附图，进一步的详细描述如下：

这里将处理过程划分为三大步骤：输入预处理、粒子权值并行计算、输出处理。这三大步骤的处理分别由图2系统原理框图中三大模块承担，分别是“输入处理单元”、“协处理单元阵列”和“输出处理单元”。但需要注意的是这三个模块处于流水线并行处理工作方式，在“输入处理单元”处理第k帧图像的同时，后两个模块正在处理第k-1帧图像的信息。

步骤一：对图像进行输入预处理，这一部分处理包括图1流程图中的前3个步骤，同时该部分处理工作将由图2系统原理框图中“输入处理单元”负责承担。

（1）“输入处理单元”从“图像采集模块”获取一帧新的图像，暂存在本地存储器中；

（2）“输入处理单元”预测本帧图像的粒子集。根据以前帧的状态估计，预测出本帧粒子集 ${\left\{x_k^i\right\}}_{i=1...M}:$

这里和为以前帧的状态估计值。

（3）“输入处理单元”根据粒子进行待处理数据的分发。以本帧粒子集所对应的点为中心，在本帧图像上分别设置M个长宽为m×n的取景框，将取景框中的图像分发到M个协处理单元的先进先出缓冲器（FIFO）中。

步骤二：粒子权值并行计算。这一部分处理包括图1流程图中的第4个步骤，同时该部分处理工作将由图2系统原理框图中“协处理单元阵列”负责承担。

“协处理单元阵列”的M个协处理单元从缓冲器中取待测图像数据，分别并行计算各粒子对应的取景框中的图像彩色直方图，并将其与参考目标彩色直方图比对，求本帧新的粒子权值。设彩色直方图的槽数为L（L-bins），则用h(x)={h(x)^j}_j＝1…L表示以点x为中心的m×n取景框彩色直方图，计算每个槽值：

$h{\left(x\right)}^j=C\underset{u\&Element;R\left(x\right)}{\mathrm{\&Sigma;}}f\left(\right|x-u\left|\right)\mathrm{\&delta;}[g\left(u\right)-j]$

其中，C是归一化常数，R(x)是计算彩色直方图的区域，为以单调减函数，g(u)将u点的像素值分配到彩色直方图的某个槽位。

接着，根据每个粒子为中心的取景框中的图像彩色直方图，计算其与目标的参考直方图h₀的巴氏距离：

$d[h\left(x\right),h_0]={[1-\mathrm{\&rho;}(h\left(x\right),h_0)]}^{\frac{1}{2}}$ 其中， $\mathrm{\&rho;}(h\left(x\right),h_0)=\underset{j=1}{\overset{L}{\mathrm{\&Sigma;}}}\sqrt{h{\left(x\right)}^j{h}_0^j}$

再由巴氏距离计算出观测概率：

由上式求出的观测概率，再根据前一帧的粒子权值，通过迭代求出本帧粒子集的新的权值：

${\tilde{w}}_k^i=w_{k-1}^{i}p\left(z_k\right|x_k^i)$

步骤三：输出处理。这一部分处理包括图1流程图中的第5-6步骤，同时该部分处理工作将由图2系统原理框图中“输出处理单元”负责承担。

（1）对上述计算出的粒子权值进行归一化：

（2）进行状态更新，计算出目标在新的一帧中的状态估计，从而跟踪出目标新的位置。求出粒子的后验概率密度同时，通过对粒子集进行加权求和，求出目标新的位置：

（3）进行粒子重采样。计算有效粒子个数如果N_eff<N_th，则增加有效粒子个数，删减无效粒子。

（4）如图2所示，“输出处理单元”要将计算出的目标新的位置通过图像显示模块输出的同时，还要将其反馈给“输入处理单元”，用以进行新的粒子集的预测。

另外，为提高系统的集成度，同时达到低功耗化、便携移动化的要求，图2中的系统可以用FPGA（现场可编程逻辑阵列）实现，“输入处理单元”、“协处理单元阵列”和“输出处理单元”均可以用FPGA中的软核处理器实现。这样构建的本发明的系统不但可以大大提高算法的实时性，同时还可实现可扩展的通用并行粒子滤波系统框架，有利于在本框架基础上进行算法的扩充和升级。

以上所述，仅为本发明较佳的具体实施方式，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (3)

1.基于流水线并行处理技术的粒子滤波目标跟踪装置，其特征在于，装置包括：输入处理单元、协处理单元阵列和输出处理单元，所述输入处理单元从图像采集模块获取待处理的图像数据，进行粒子集更新输入预处理后，将粒子集中M个粒子对应的图像窗口数据分别发送给协处理单元阵列中的先进先出缓冲器进行缓存；每个协处理单元再从其对应的先进先出缓冲器中取出图像窗口数据进行处理，进行粒子权值的并行计算，然后将结果发送给输出处理单元；所述输出处理单元进行权值归一化、状态更新和粒子重采样处理，其结果通过两条路径进行输出，一条将状态更新，即跟踪出的本帧目标位置，直接输出给图像显示模块进行显示，另一条将粒子重采样后的粒子集输出给输入处理单元，构成反馈回路，以进行新的粒子集的预测，所述输入处理单元、协处理单元阵列和输出处理单元处于流水线工作状态，其中输入处理单元在处理第k帧的同时，协处理单元阵列和输出处理单元正在处理第k-1帧；所述输入处理单元进行图像输入预处理的操作过程如下：

(1)获取一帧新的图像，暂存在本地存储器中；

(2)预测本帧图像的粒子集，根据以前帧的状态估计，预测出本帧粒子集 $x_k^i=x_{k-2}^i+\mathrm{\&Delta;}\hat{x}=x_{k-2}^i+({\hat{x}}_{k-2}-{\hat{x}}_{k-4}),$ 这里为以前帧状态估计的梯度值，和为以前帧的状态估计值；

(3)根据粒子进行待处理数据的分发，以本帧粒子集所对应的点为中心，在本帧图像上分别设置M个长宽为m×n的取景框，将取景框中的图像分发到M个协处理单元的先进先出缓冲器中。

2.根据权利要求1所述的基于流水线并行处理技术的粒子滤波目标跟踪装置，其特征在于，所述粒子权值并行计算的操作过程如下：

(1)取待测图像数据，分别并行计算各粒子对应的取景框中的图像彩色直方图，并将其与参考目标彩色直方图比对，求本帧新的粒子权值，设彩色直方图的槽数为L，则用h(x)＝{h(x)^j}_j＝1…L表示以点x为中心的长宽为m×n取景框彩色直方图，计算每个槽值：

$h{\left(x\right)}^j=C\underset{u\&Element;R\left(x\right)}{\&Sigma;}f\left(\right|x-u\left|\right)\mathrm{\&delta;}\&lsqb;g\left(u\right)-j\&rsqb;$

其中，C是归一化常数，R(x)是计算彩色直方图的区域，f(·)为以单调减函数，g(u)将u点的像素值分配到彩色直方图的某个槽位；

(2)根据每个粒子为中心的取景框中的图像彩色直方图，计算其与目标的参考直方图h₀的巴氏距离：

可根据跟踪性能选取，z_k为第k帧的观测向量；再根据前一帧的粒子权值，通过迭代求出本帧粒子集的新的权值： ${\tilde{w}}_k^i=w_{k-1}^{i}p\left(z_k\right|x_k^i).$

3.根据权利要求2所述的基于流水线并行处理技术的粒子滤波目标跟踪装置，其特征在于，所述粒子滤波的输出处理的操作过程如下：

(1)对计算出的粒子集的新的权值进行归一化：其中为本帧粒子集的新的权值，M为粒子集中粒子总个数，这里为本帧粒子集中各粒子对应的新的权值归一化的结果；

(2)进行状态更新，计算出目标在新的一帧中的状态估计，从而跟踪出目标新的位置，求出粒子的后验概率密度同时，通过对粒子集进行加权求和，求出目标新的位置： ${\hat{x}}_k=\underset{i=1}{\overset{M}{\&Sigma;}}{w}_k^i{x}_k^i;$

(3)进行粒子重采样，计算有效粒子个数如果N_eff<N_th，则增加有效粒子个数，删减无效粒子；

(4)将计算出的目标新的位置输出的同时，还要将其反馈给图像输入预处理单元，用以进行新的粒子集的预测。