CN101604449A - 一种基于并行粒子滤波的图像目标跟踪方法及装置 - Google Patents

Abstract

本发明公开了一种基于并行粒子滤波的图像目标跟踪方法及装置。包括如下步骤：1)获得图像序列，定义F为图像序列的第F帧；2)获得需跟踪目标；3)分布粒子点，令F＝2；4)输入第F帧；5)进行亮度滤波，得到直方图；6)比较粒子点与目标直方图，得到归一化权重；7)得到目标在第F帧的坐标；8)输出第F帧，更新目标直方图；9)对第F帧重采样；10)是否继续进行跟踪，继续则进入步骤11)，否则结束；11)令F＝F+1，返回步骤4)，重复步骤4)至步骤10)。本发明打破了传统粒子滤波算法采样、权重计算和重采样三个步骤间的逻辑依赖关系。利用前一帧的归一化权重作为重采样函数，实现了算法的并行化处理。实现了算法的并行化处理和执行加速。

Description

一种基于并行粒子滤波的图像目标跟踪方法及装置

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种基于并行粒子滤波的图像目标跟踪方法及装置。

背景技术

机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过图像摄取装置，将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。

在机器视觉中，特定目标的跟踪是其中非常重要的一个环节。近年来，基于粒子滤波器的跟踪系统成为了研究的热点。粒子滤波算法通过非参数化的蒙特卡罗模拟方法实现递推贝叶斯滤波，可以广泛应用于任何非线性模型和非高斯噪声的目标跟踪。

基于粒子滤波的跟踪系统包括以下三个步骤：1)采样步骤，本帧图像输入，对每个粒子点对应的观测窗口内的图像进行颜色直方图统计；2)权重计算步骤，将每个粒子点对应的颜色直方图与目标的颜色直方图进行比较，计算他们的相似性，相似性高的粒子获得高的权重。加权平均得到新的目标位置及颜色直方图信息；3)重采样步骤，根据粒子点的权重信息，以权重高的粒子点代替权重低的粒子点，产生新的粒子分布情况，并进入下一帧图像的目标跟踪。

由于粒子滤波算法复杂性高，软件实现很难满足跟踪系统的实时性要求。而硬件实现能较好的解决实时性要求，于是，基于粒子滤波的跟踪系统的硬件实现成为了研究的难点和热点问题。

已有的粒子滤波跟踪系统的硬件实现主要采用分布式处理器阵列的方法。例如，将总数为M的粒子运算分配到某种拓扑结构的N个处理器阵列上，每个处理器负责M/N个粒子的运算任务，并通过一定量的处理器间通信来完成整个系统的跟踪任务。

虽然这种方式通过并行化处理解决了一定的实时性问题，但是，仍然存在一些不足。首先，粒子滤波算法的三个步骤存在着逻辑依赖关系，已有的方法需要顺序执行这三个步骤；其次，分布式粒子滤波方法虽实现了并行化处理，但是基于处理器的运算仍然存在需要平凡地访问存储空间和顺序执行的问题；最后，处理过程中的各个步骤也存在进一步挖掘并行性的地方。

总体来说现有的基于粒子滤波的跟踪系统采用分布式处理器阵列的方式来满足算法实时性，但仍然存在很大的并行化和加速空间。

发明内容

本发明的目的针对已有技术的不足，提出一种基于并行粒子滤波的图像目标跟踪方法及装置。

基于并行粒子滤波的图像目标跟踪方法包括如下步骤：

1)获得一个图像序列，定义F为图像序列的第F帧，定义运动矢量的横坐标、纵坐标分量Vx＝0，Vy＝0；

2)获得所需跟踪的图像目标在第一帧图像上的坐标及图像目标所在MK×NP观测窗口的颜色直方图；

3)在图像目标附近随机分布粒子点，获得这些粒子点的坐标，每个粒子点对应一个以他们为中心MK×NP的观测窗口，定义F＝1时粒子点的归一化权重，令F＝2；

4)输入第F帧图像；

5)对图像进行亮度滤波处理得到图像各像素点的亮度分量，产生各像素点所在M×N的图像块内的颜色直方图，将每个粒子点所在MK×NP观测窗口内的K×P个图像块拼接成最终的颜色直方图；

6)比较各个粒子点所在观测窗口的颜色直方图与目标颜色直方图的距离，通过预先设置好的查找表，将距离转换为权重，对所有粒子点的权重进行归一化处理，得到归一化权重；

7)归一化权重与粒子点坐标加权平均，得到图像目标在第F帧图像上的坐标，更新运动矢量Vx为第F帧与第F-1帧图像目标横坐标的差，Vy为第F帧与第F-1帧图像目标纵坐标的差；

8)在原图像上标出目标位置并输出第F帧图像，更新目标颜色直方图；

9)通过第F-1帧图像粒子点的归一化权重与更新前的运动矢量Vx、Vy，对第F帧图像粒子点进行重采样，产生第F+1帧图像的粒子点坐标；

10)是否继续进行跟踪，继续则进入步骤11)，否则结束整个跟踪过程；

11)令F＝F+1，返回步骤4)，重复步骤4)至步骤10)。

所述的产生各像素点所在M×N的图像块内的颜色直方图步骤为：

1)通过M-1条行缓存器，对输入的像素点进行缓存；

2)通过条行缓存器后链接N级单像素点的颜色直方图累加器，对每行的N个像素点进行颜色直方图累加；

3)N个行累加后的颜色直方图再经过一级列颜色直方图累加器，得到最终的M×N图像块内的颜色直方图。

所述的将每个粒子点所在观测窗口的K×P个图像块拼接成最终的颜色直方图步骤为：

1)通过粒子点的坐标，确定所对应观测窗口的K×P个图像块各自的坐标；

2)当输入像素点的坐标与所确定的K×P个图像块的坐标相同时，保存对应像素点所在M×N的图像块的颜色直方图；

3)随着像素点的不断输入，K×P个图像块的颜色直方图都可以获得，并将他们拼接起来，作为粒子点对应观测窗口的颜色直方图。

所述的比较各个粒子点所在观测窗口的颜色直方图与目标颜色直方图的距离通过预先设置好的查找表，将距离转换为权重，步骤为：

1)粒子点所在观测窗口的颜色直方图与目标颜色直方图的对应颜色分量相减求绝对值；

2)将以上所有颜色分量的计算结果相加，此结果作为两张颜色直方图的距离。

3)通过预先设置好的以距离为输入，权重为输出的转换表格，查找出两张颜色直方图的距离所对应的权重。

所述通过第F-1帧图像粒子点的归一化权重与更新前的运动矢量Vx、Vy，对第F帧图像粒子点进行重采样，产生第F+1帧图像的粒子点坐标步骤为：

1)将第F+1帧图像的粒子点坐标初始化为如下式所示，

x′(i)＝x(target)+2×Vx+δx(i)

y′(i)＝y(target)+2×Vy+δy(i)，(i＝1，...，NUM)

其中，x′(i)和y′(i)是第F+1帧图像的第i个粒子点初始化的x、y坐标，x(target)、y(target)是图像目标在第F-1帧图像上的x、y坐标，Vx与Vy是运动矢量的x、y分量，δx(i)、δy(i)是对应第i个粒子点x、y坐标上的随机偏移量，NUM是总粒子点数量；

2)将第F-1帧图像粒子点的归一化权重乘以总粒子点数量并向下取整，作为各个粒子点复制后的数量，如下式所示，

(i＝1，...，NUM)

其中，C(i)是各粒子点复制后的数量，w(i)是第F-1帧图像各粒子点的归一化权重，NUM是总粒子点数量；

3)根据复制数量对每个粒子点进行复制：将第F帧图像各粒子点坐标，运动矢量，随机偏移量三者相加，作为第F+1帧对应粒子点的坐标，如下式所示，

x′(i)＝x(j)+Vx+δx(i)

y′(i)＝y(j)+Vy+δy(i)

其中，x′(i)和y′(i)是第F+1帧图像的第i个粒子点初始化的x、y坐标，x(j)和y(j)是第F帧图像的第j个粒子点的坐标。

i、j的对应关系由以下方法确定：j从1开始增加到NUM，遍历第F帧图像内的所有粒子点；对于第j个粒子点，

如果该粒子点复制后的数量C(j)＝0，则不对此粒子点进行复制，j＝j+1；

如果该粒子点复制后的数量C(j)＞0，i从

增加到C(k)为第k个粒子点复制后的数量。

基于并行粒子滤波的图像目标跟踪装置中的图像输入到图像存储器进行存储，同时图像输入经过亮度滤波器和图像块颜色直方图产生器，产生每个像素点对应图像块的颜色直方图输入到颜色直方图产生器；第三选择器从粒子点坐标乒乓寄存器组中选出粒子点坐标输入到颜色直方图产生器；像素计数器产生的行计数值和列计数值输入到颜色直方图产生器；颜色直方图产生器产生对应粒子点的颜色直方图，输入到颜色直方图存储器进行存储；图像存储器与目标颜色直方图产生器连接；颜色直方图存储器输出的粒子点颜色直方图和目标颜色直方图产生器输出的目标颜色直方图共同输入到颜色直方图相似度比较器进行比较，结果输入到中央处理器；中央处理器的输出结果经过第四选择器输入到粒子点权重乒乓寄存器组进行存储；第一选择器从粒子点坐标乒乓寄存器组中选出的粒子点坐标与第五选择器从粒子点权重乒乓寄存器组中选出的粒子点权重共同输入到重采样器，产生的结果经过第二选择器存储到粒子点坐标乒乓寄存器组；第六选择器从粒子点权重乒乓寄存器组总选出粒子点权重；第一选择器的输出与第六选择器的输出共同输入到目标坐标产生器产生目标的坐标并存入图像存储器中，并将图像输出；第一选择信号产生器产生第一、第二、第三选择器的控制信号，第二选择信号产生器产生第四、第五、第六选择器的控制信号。

所述的图像块颜色直方图产生器的电路为，像素点串行输入到第一行缓存器、第二行缓存器、第三行缓存器进行缓存；像素点同时输入到第一单像素点颜色直方图累加器、第一两输入颜色直方图累加器、第五两输入颜色直方图累加器和第九两输入颜色直方图累加器；第一行缓存器同时输入到第二单像素点颜色直方图累加器、第二两输入颜色直方图累加器、第六两输入颜色直方图累加器和第十两输入颜色直方图累加器；第二行缓存器同时输入到第三单像素点颜色直方图累加器、第三两输入颜色直方图累加器、第七两输入颜色直方图累加器和第十一两输入颜色直方图累加器；第三行缓存器同时输入到第四单像素点颜色直方图累加器、第四两输入颜色直方图累加器、第八两输入颜色直方图累加器和第十二两输入颜色直方图累加器；第九两输入直方图累加器、第十两输入直方图累加器、第十一两输入直方图累加器和第十二两输入直方图累加器输入到四输入颜色直方图累加器，最终输出颜色直方图。

所述的颜色直方图产生器的电路为，颜色直方图同时输入到第一颜色直方图寄存器、第二颜色直方图寄存器、第三颜色直方图寄存器、第四颜色直方图寄存器；粒子点坐标、行计数值、列计数值同时是输入到使能信号产生器，产生第一颜色直方图寄存器、第二颜色直方图寄存器、第三颜色直方图寄存器、第四颜色直方图寄存器的使能信号并输入到这些寄存器中；第一颜色直方图寄存器、第二颜色直方图寄存器、第三颜色直方图寄存器、第四颜色直方图寄存器同时输出到颜色直方图拼接器，产生拼接后的颜色直方图。

所述的颜色直方图相似度比较器的电路为，粒子点颜色直方图的各颜色分量存放到第一寄存器组的对应位置；目标颜色直方图的各颜色分量存放到第二寄存器组的对应位置；第一寄存器组、第二寄存器组的对应位置输出到第一至第N逻辑运算器，求取对应位置差的绝对值，并将结果存储在移位寄存器组中；存储完毕后，移位寄存器组移位输出到加法器，作为一个输入；选择器通过选择信号选择0或加法器结果，输入到累加器，累加器结果作为加法器的另一个输入；累加结果输入到查找表寄存器查出相应的权重。

本发明打破了传统粒子滤波算法采样、权重计算和重采样三个步骤间的逻辑依赖关系。利用前一帧的归一化权重作为重采样函数替代本帧的归一化权重，从而实现了算法的并行化处理。

本发明以上提出的并行化执行的基础上，对粒子滤波算法的三个步骤都做了硬件加速及优化，使得整个系统具有很好的鲁棒性的同时，更大限度的实现了算法的并行化处理和执行加速。

附图说明

图1为基于并行粒子滤波的图像目标跟踪方法流程图；

图2为基于并行粒子滤波的图像目标跟踪装置电路框图；

图3为本发明的图像块颜色直方图产生器电路框图；

图4为本发明的颜色直方图产生器电路框图；

图5为本发明的颜色直方图相似度比较器电路框图。

具体实施方式

如图1所示，基于并行粒子滤波的图像目标跟踪方法包括如下步骤：

1)获得一个图像序列，定义F为图像序列的第F帧，定义运动矢量的横坐标、纵坐标分量Vx＝0，Vy＝0；

2)获得所需跟踪的图像目标在第一帧图像上的坐标及图像目标所在MK×NP观测窗口的颜色直方图；

3)在图像目标附近随机分布粒子点，获得这些粒子点的坐标，每个粒子点对应一个以他们为中心MK×NP的观测窗口，定义F＝1时粒子点的归一化权重，令F＝2；

4)输入第F帧图像；

5)对图像进行亮度滤波处理得到图像各像素点的亮度分量，产生各像素点所在M×N的图像块内的颜色直方图，将每个粒子点所在MK×NP观测窗口内的K×P个图像块拼接成最终的颜色直方图；

6)比较各个粒子点所在观测窗口的颜色直方图与目标颜色直方图的距离，通过预先设置好的查找表，将距离转换为权重，对所有粒子点的权重进行归一化处理，得到归一化权重；

7)归一化权重与粒子点坐标加权平均，得到图像目标在第F帧图像上的坐标，更新运动矢量Vx为第F帧与第F-1帧图像目标横坐标的差，Vy为第F帧与第F-1帧图像目标纵坐标的差；

8)在原图像上标出目标位置并输出第F帧图像，更新目标颜色直方图；

9)通过第F-1帧图像粒子点的归一化权重与更新前的运动矢量Vx、Vy，对第F帧图像粒子点进行重采样，产生第F+1帧图像的粒子点坐标；

10)是否继续进行跟踪，继续则进入步骤11)，否则结束整个跟踪过程；

11)令F＝F+1，返回步骤4)，重复步骤4)至步骤10)。

图像经过亮度滤波器，只保留下后续颜色直方图计算所需的亮度信息，降低了存储空间的开销。接着，亮度图像串行进入颜色直方图产生器。模块由M-1条行缓存、N级单像素点颜色直方图累加器和一级直方图合并器组成，分N+1级流水线执行。可产生像素点周围内M×N大小图像的颜色直方图信息。

所述的产生各像素点所在M×N的图像块内的颜色直方图步骤为：

1)通过M-1条行缓存器，对输入的像素点进行缓存；

2)通过条行缓存器后链接N级单像素点的颜色直方图累加器，对每行的N个像素点进行颜色直方图累加；

3)N个行累加后的颜色直方图再经过一级列颜色直方图累加器，得到最终的M×N图像块内的颜色直方图。

这些计算出的颜色直方图信息被输入到每个粒子点对应的采样步骤。每个粒子点对应的观测窗口(大小为MK×NP)被划分为K×P个M×N大小的图像块。根据各个粒子点的坐标信息选取已经过预处理的K×P个落在观测窗口内的颜色直方图，将他们拼接起来，作为观测窗口的颜色直方图。

所述的将每个粒子点所在观测窗口的K×P个图像块拼接成最终的颜色直方图步骤为：

1)通过粒子点的坐标，确定所对应观测窗口的K×P个图像块各自的坐标；

2)当输入像素点的坐标与所确定的K×P个图像块的坐标相同时，保存对应像素点所在M×N的图像块的颜色直方图；

3)随着像素点的不断输入，K×P个图像块的颜色直方图都可以获得，并将他们拼接起来，作为粒子点对应观测窗口的颜色直方图。

这样的做法有两个优点：第一，每个粒子点对应的采样加速器不需要重复计算观测窗口内的颜色直方图，这部分计算有预处理完成，节省了硬件开销；第二，每个粒子点对应的观测窗口内的颜色直方图由K×P个不同位置的颜色直方图拼接形成，这样的直方图不仅包括了颜色信息，而且还将位置信息包括在内，进一步加强了算法的鲁棒性。

粒子滤波的权重计算步骤承担着较重的运算量。首先，利用Bhattacharyya相似系数计算目标颜色直方图与粒子点所在窗口颜色直方图的距离，该距离用来标识待测粒子与目标的相似性程度，

$\mathrm{\ρ}(p,q)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{p\left(i\right)\×q\left(i\right)}$

$d=\sqrt{1-\mathrm{\ρ}(p,q)}$

其中，p(i)和q(i)是目标与待测粒子颜色直方图的第i个特征分量；ρ(p，q)表示目标与待测粒子的Bhattacharyya相似系数；d表示目标与待测粒子之间的距离。接着，根据对这一距离进行高斯正态分布，得出权重，

$w\left(i\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}-\exp \{-\frac{1}{{2\mathrm{\σ}}^2}d\left(i\right)\}$

w(i)是第i个粒子的权重。最后，将所有粒子权重进行归一化。

其中，乘法、开根号、正态分布都是软件和硬件较难实现的运算。本发明对此方法进行了改进，以

$d^{\′}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}|p\left(i\right)-q\left(i\right)|$

代替ρ(p，q)和d，省去乘法和开根号运算。颜色直方图相似度比较中的累加求和通过移位寄存器完成。对于高斯正态分布运算，本发明采用查找表的方式进行代替，降低了硬件复杂度，加快了运算速度。由于最后的权重归一化涉及大量小数计算，不适合硬件实现，本发明采用处理器来实现权重归一化。

根据归一化权重和各个粒子点的坐标，加权平均便可估计出目标的坐标，并更新目标颜色直方图为下一帧使用。

所述的比较各个粒子点所在观测窗口的颜色直方图与目标颜色直方图的距离通过预先设置好的查找表，将距离转换为权重，步骤为：

1)粒子点所在观测窗口的颜色直方图与目标颜色直方图的对应颜色分量相减求绝对值；

2)将以上所有颜色分量的计算结果相加，此结果作为两张颜色直方图的距离。

3)通过预先设置好的以距离为输入，权重为输出的转换表格，查找出两张颜色直方图的距离所对应的权重。

重采样步骤通过前一帧归一化权重和本帧粒子点坐标产生下一帧粒子点坐标。在本发明中，设计了一个乒乓结构的移位寄存器组来存储粒子点坐标，另一个乒乓结构的移位寄存器组来存储归一化权重。

所述通过第F-1帧图像粒子点的归一化权重与更新前的运动矢量Vx、Vy，对第F帧图像粒子点进行重采样，产生第F+1帧图像的粒子点坐标步骤为：

1)将第F+1帧图像的粒子点坐标初始化为如下式所示，

x′(i)＝x(target)+2×Vx+δx(i)

y′(i)＝y(target)+2×Vy+δy(i)，(i＝1，...，NUM)

其中，x′(i)和y′(i)是第F+1帧图像的第i个粒子点初始化的x、y坐标，x(target)、y(target)是图像目标在第F-1帧图像上的x、y坐标，Vx与Vy是运动矢量的x、y分量，δx(i)、δy(i)是对应第i个粒子点x、y坐标上的随机偏移量，NUM是总粒子点数量；

2)将第F-1帧图像粒子点的归一化权重乘以总粒子点数量并向下取整，作为各个粒子点复制后的数量，如下式所示，

(i＝1，...，NUM)

其中，C(i)是各粒子点复制后的数量，w(i)是第F-1帧图像各粒子点的归一化权重，NUM是总粒子点数量；

3)根据复制数量对每个粒子点进行复制：将第F帧图像各粒子点坐标，运动矢量，随机偏移量三者相加，作为第F+1帧对应粒子点的坐标，如下式所示，

x′(i)＝x(j)+Vx+δx(i)

y′(i)＝y(j)+Vy+δy(i)

其中，x′(i)和y′(i)是第F+1帧图像的第i个粒子点初始化的x、y坐标，x(j)和y(j)是第F帧图像的第j个粒子点的坐标。

i、j的对应关系由以下方法确定：j从1开始增加到NUM，遍历第F帧图像内的所有粒子点；对于第j个粒子点，

如果该粒子点复制后的数量C(j)＝0，则不对此粒子点进行复制，j＝j+1；如果该粒子点复制后的数量C(j)＞0，i从

增加到

C(k)为第k个粒子点复制后的数量。

如图2所示，基于并行粒子滤波的图像目标跟踪装置中的图像输入到图像存储器进行存储，同时图像输入经过亮度滤波器和图像块颜色直方图产生器，产生每个像素点对应图像块的颜色直方图输入到颜色直方图产生器；第三选择器从粒子点坐标乒乓寄存器组中选出粒子点坐标输入到颜色直方图产生器；像素计数器产生的行计数值和列计数值输入到颜色直方图产生器；颜色直方图产生器产生对应粒子点的颜色直方图，输入到颜色直方图存储器进行存储；图像存储器与目标颜色直方图产生器连接；颜色直方图存储器输出的粒子点颜色直方图和目标颜色直方图产生器输出的目标颜色直方图共同输入到颜色直方图相似度比较器进行比较，结果输入到中央处理器；中央处理器的输出结果经过第四选择器输入到粒子点权重乒乓寄存器组进行存储；第一选择器从粒子点坐标乒乓寄存器组中选出的粒子点坐标与第五选择器从粒子点权重乒乓寄存器组中选出的粒子点权重共同输入到重采样器，产生的结果经过第二选择器存储到粒子点坐标乒乓寄存器组；第六选择器从粒子点权重乒乓寄存器组总选出粒子点权重；第一选择器的输出与第六选择器的输出共同输入到目标坐标产生器产生目标的坐标并存入图像存储器中，并将图像输出；第一选择信号产生器产生第一、第二、第三选择器的控制信号，第二选择信号产生器产生第四、第五、第六选择器的控制信号。

如图3所示，图像块颜色直方图产生器的电路为，像素点串行输入到第一行缓存器、第二行缓存器、第三行缓存器进行缓存；像素点同时输入到第一单像素点颜色直方图累加器、第一两输入颜色直方图累加器、第五两输入颜色直方图累加器和第九两输入颜色直方图累加器；第一行缓存器同时输入到第二单像素点颜色直方图累加器、第二两输入颜色直方图累加器、第六两输入颜色直方图累加器和第十两输入颜色直方图累加器；第二行缓存器同时输入到第三单像素点颜色直方图累加器、第三两输入颜色直方图累加器、第七两输入颜色直方图累加器和第十一两输入颜色直方图累加器；第三行缓存器同时输入到第四单像素点颜色直方图累加器、第四两输入颜色直方图累加器、第八两输入颜色直方图累加器和第十二两输入颜色直方图累加器；第九两输入直方图累加器、第十两输入直方图累加器、第十一两输入直方图累加器和第十二两输入直方图累加器输入到四输入颜色直方图累加器，最终输出颜色直方图。

如图4所示，颜色直方图产生器的电路为，颜色直方图同时输入到第一颜色直方图寄存器、第二颜色直方图寄存器、第三颜色直方图寄存器、第四颜色直方图寄存器；粒子点坐标、行计数值、列计数值同时是输入到使能信号产生器，产生第一颜色直方图寄存器、第二颜色直方图寄存器、第三颜色直方图寄存器、第四颜色直方图寄存器的使能信号并输入到这些寄存器中；第一颜色直方图寄存器、第二颜色直方图寄存器、第三颜色直方图寄存器、第四颜色直方图寄存器同时输出到颜色直方图拼接器，产生拼接后的颜色直方图。

如图5所示，颜色直方图相似度比较器的电路为，粒子点颜色直方图的各颜色分量存放到第一寄存器组的对应位置；目标颜色直方图的各颜色分量存放到第二寄存器组的对应位置；第一寄存器组、第二寄存器组的对应位置输出到第一至第N逻辑运算器，求取对应位置差的绝对值，并将结果存储在移位寄存器组中；存储完毕后，移位寄存器组移位输出到加法器，作为一个输入；选择器通过选择信号选择0或加法器结果，输入到累加器，累加器结果作为加法器的另一个输入；累加结果输入到查找表寄存器查出相应的权重。

所述的各个模块均为常用器件或小规模控制逻辑电路。

实施例

选取512个粒子点对CIF格式(352x288)的视频序列进行目标跟踪，窗口设定为16x16大小。采用RISC处理器作为中央处理器承担控制任务和一定的运算任务，用FPGA实现各逻辑运算和控制电路。SDRAM作为图像存储器，SRAM作为颜色直方图存储器、粒子点坐标乒乓寄存器组和粒子点权重乒乓寄存器组。

在图像块颜色直方图产生器中，由于行缓存需要占用较大的硬件资源，我们用3条行缓存来实现4行并行处理，在场方向上我们设置16级单像素点颜色直方图累加器，于是观测窗口被划分为4条4x16大小的图像块。将他们的颜色直方图拼接起来，作为目标和待测粒子的颜色直方图。

在颜色直方图相似度比较器中，我们将正态分布函数在d∈[0，1]的范围内均匀划分成64段，制作查找表。权重的归一化任务由RISC处理器来完成。

重采样器读取上一帧图像各粒子点的归一化权重信息，与采样和权重计算并行处理。

Claims (9)

1.一种基于并行粒子滤波的图像目标跟踪方法，其特征在于包括如下步骤：

1)获得一个图像序列，定义F为图像序列的第F帧，定义运动矢量的横坐标、纵坐标分量Vx＝0，Vy＝0；

2)获得所需跟踪的图像目标在第一帧图像上的坐标及图像目标所在MK×NP观测窗口的颜色直方图；

3)在图像目标附近随机分布粒子点，获得这些粒子点的坐标，每个粒子点对应一个以他们为中心MK×NP的观测窗口，定义F＝1时粒子点的归一化权重，令F＝2；

4)输入第F帧图像；

5)对图像进行亮度滤波处理得到图像各像素点的亮度分量，产生各像素点所在M×N的图像块内的颜色直方图，将每个粒子点所在MK×NP观测窗口内的K×P个图像块拼接成最终的颜色直方图；

6)比较各个粒子点所在观测窗口的颜色直方图与目标颜色直方图的距离，通过预先设置好的查找表，将距离转换为权重，对所有粒子点的权重进行归一化处理，得到归一化权重；

7)归一化权重与粒子点坐标加权平均，得到图像目标在第F帧图像上的坐标，更新运动矢量Vx为第F帧与第F-1帧图像目标横坐标的差，Vy为第F帧与第F-1帧图像目标纵坐标的差；

8)在原图像上标出目标位置并输出第F帧图像，更新目标颜色直方图；

9)通过第F-1帧图像粒子点的归一化权重与更新前的运动矢量Vx、Vy，对第F帧图像粒子点进行重采样，产生第F+1帧图像的粒子点坐标；

10)是否继续进行跟踪，继续则进入步骤11)，否则结束整个跟踪过程；

11)令F＝F+1，返回步骤4)，重复步骤4)至步骤10)。

2.如权利要求1所述的基于并行粒子滤波的图像目标跟踪方法，其特征在于所述的产生各像素点所在M×N的图像块内的颜色直方图步骤为：

1)通过M-1条行缓存器，对输入的像素点进行缓存；

2)通过条行缓存器后链接N级单像素点的颜色直方图累加器，对每行的N个像素点进行颜色直方图累加；

3)N个行累加后的颜色直方图再经过一级列颜色直方图累加器，得到最终的M×N图像块内的颜色直方图。

3.如权利要求1所述的基于并行粒子滤波的图像目标跟踪方法，其特征在于所述的将每个粒子点所在观测窗口的K×P个图像块拼接成最终的颜色直方图步骤为：

1)通过粒子点的坐标，确定所对应观测窗口的K×P个图像块各自的坐标；

2)当输入像素点的坐标与所确定的K×P个图像块的坐标相同时，保存对应像素点所在M×N的图像块的颜色直方图；

3)随着像素点的不断输入，K×P个图像块的颜色直方图都可以获得，并将他们拼接起来，作为粒子点对应观测窗口的颜色直方图。

4.如权利要求1所述的基于并行粒子滤波的图像目标跟踪方法，其特征在于所述的比较各个粒子点所在观测窗口的颜色直方图与目标颜色直方图的距离通过预先设置好的查找表，将距离转换为权重，步骤为：

1)粒子点所在观测窗口的颜色直方图与目标颜色直方图的对应颜色分量相减求绝对值；

2)将以上所有颜色分量的计算结果相加，此结果作为两张颜色直方图的距离。

3)通过预先设置好的以距离为输入，权重为输出的转换表格，查找出两张颜色直方图的距离所对应的权重。

5.如权利要求1所述的基于并行粒子滤波的图像目标跟踪方法，其特征在于所述通过第F-1帧图像粒子点的归一化权重与更新前的运动矢量Vx、Vy，对第F帧图像粒子点进行重采样，产生第F+1帧图像的粒子点坐标步骤为：

1)将第F+1帧图像的粒子点坐标初始化为如下式所示，

x′(i)＝x(target)+2×Vx+δx(i)

y′(i)＝y(target)+2×Vy+δy(i)，(i＝1，...，NUM)

其中，x′(i)和y′(i)是第F+1帧图像的第i个粒子点初始化的x、y坐标，x(target)、y(target)是图像目标在第F-1帧图像上的x、y坐标，Vx与Vy是运动矢量的x、y分量，δx(i)、δy(i)是对应第i个粒子点x、y坐标上的随机偏移量，NUM是总粒子点数量；

2)将第F-1帧图像粒子点的归一化权重乘以总粒子点数量并向下取整，作为各个粒子点复制后的数量，如下式所示，

其中，C(i)是各粒子点复制后的数量，w(i)是第F-1帧图像各粒子点的归一化权重，NUM是总粒子点数量；

3)根据复制数量对每个粒子点进行复制：将第F帧图像各粒子点坐标，运动矢量，随机偏移量三者相加，作为第F+1帧对应粒子点的坐标，如下式所示，

x′(i)＝x(j)+Vx+δx(i)

y′(i)＝y(j)+Vy+δy(i)

其中，x′(i)和y′(i)是第F+1帧图像的第i个粒子点初始化的x、y坐标，x(j)和y(j)是第F帧图像的第j个粒子点的坐标。

i、j的对应关系由以下方法确定：j从1开始增加到NUM，遍历第F帧图像内的所有粒子点；对于第j个粒子点，

如果该粒子点复制后的数量C(j)＝0，则不对此粒子点进行复制，j＝j+1；

如果该粒子点复制后的数量C(j)＞0，i从

增加到

C(k)为第k个粒子点复制后的数量。

6.一种基于并行粒子滤波的图像目标跟踪装置，其特征在于图像输入到图像存储器进行存储，同时图像输入经过亮度滤波器和图像块颜色直方图产生器，产生每个像素点对应图像块的颜色直方图输入到颜色直方图产生器；第三选择器从粒子点坐标乒乓寄存器组中选出粒子点坐标输入到颜色直方图产生器；像素计数器产生的行计数值和列计数值输入到颜色直方图产生器；颜色直方图产生器产生对应粒子点的颜色直方图，输入到颜色直方图存储器进行存储；图像存储器与目标颜色直方图产生器连接；颜色直方图存储器输出的粒子点颜色直方图和目标颜色直方图产生器输出的目标颜色直方图共同输入到颜色直方图相似度比较器进行比较，结果输入到中央处理器；中央处理器的输出结果经过第四选择器输入到粒子点权重乒乓寄存器组进行存储；第一选择器从粒子点坐标乒乓寄存器组中选出的粒子点坐标与第五选择器从粒子点权重乒乓寄存器组中选出的粒子点权重共同输入到重采样器，产生的结果经过第二选择器存储到粒子点坐标乒乓寄存器组；第六选择器从粒子点权重乒乓寄存器组总选出粒子点权重；第一选择器的输出与第六选择器的输出共同输入到目标坐标产生器产生目标的坐标并存入图像存储器中，并将图像输出；第一选择信号产生器产生第一、第二、第三选择器的控制信号，第二选择信号产生器产生第四、第五、第六选择器的控制信号。

7.根据权利要求6所述的一种基于并行粒子滤波的图像目标跟踪装置，其特征在于所述的图像块颜色直方图产生器的电路为，像素点串行输入到第一行缓存器、第二行缓存器、第三行缓存器进行缓存；像素点同时输入到第一单像素点颜色直方图累加器、第一两输入颜色直方图累加器、第五两输入颜色直方图累加器和第九两输入颜色直方图累加器；第一行缓存器同时输入到第二单像素点颜色直方图累加器、第二两输入颜色直方图累加器、第六两输入颜色直方图累加器和第十两输入颜色直方图累加器；第二行缓存器同时输入到第三单像素点颜色直方图累加器、第三两输入颜色直方图累加器、第七两输入颜色直方图累加器和第十一两输入颜色直方图累加器；第三行缓存器同时输入到第四单像素点颜色直方图累加器、第四两输入颜色直方图累加器、第八两输入颜色直方图累加器和第十二两输入颜色直方图累加器；第九两输入直方图累加器、第十两输入直方图累加器、第十一两输入直方图累加器和第十二两输入直方图累加器输入到四输入颜色直方图累加器，最终输出颜色直方图。

8.根据权利要求6所述的一种基于并行粒子滤波的图像目标跟踪装置，其特征在于所述的颜色直方图产生器的电路为，颜色直方图同时输入到第一颜色直方图寄存器、第二颜色直方图寄存器、第三颜色直方图寄存器、第四颜色直方图寄存器；粒子点坐标、行计数值、列计数值同时是输入到使能信号产生器，产生第一颜色直方图寄存器、第二颜色直方图寄存器、第三颜色直方图寄存器、第四颜色直方图寄存器的使能信号并输入到这些寄存器中；第一颜色直方图寄存器、第二颜色直方图寄存器、第三颜色直方图寄存器、第四颜色直方图寄存器同时输出到颜色直方图拼接器，产生拼接后的颜色直方图。

9.根据权利要求6所述的一种基于并行粒子滤波的图像目标跟踪装置，其特征在于所述的颜色直方图相似度比较器的电路为，粒子点颜色直方图的各颜色分量存放到第一寄存器组的对应位置；目标颜色直方图的各颜色分量存放到第二寄存器组的对应位置；第一寄存器组、第二寄存器组的对应位置输出到第一至第N逻辑运算器，求取对应位置差的绝对值，并将结果存储在移位寄存器组中；存储完毕后，移位寄存器组移位输出到加法器，作为一个输入；选择器通过选择信号选择0或加法器结果，输入到累加器，累加器结果作为加法器的另一个输入；累加结果输入到查找表寄存器查出相应的权重。

Images