CN101604449A - 一种基于并行粒子滤波的图像目标跟踪方法及装置 - Google Patents
一种基于并行粒子滤波的图像目标跟踪方法及装置 Download PDFInfo
- Publication number
- CN101604449A CN101604449A CNA2009101003082A CN200910100308A CN101604449A CN 101604449 A CN101604449 A CN 101604449A CN A2009101003082 A CNA2009101003082 A CN A2009101003082A CN 200910100308 A CN200910100308 A CN 200910100308A CN 101604449 A CN101604449 A CN 101604449A
- Authority
- CN
- China
- Prior art keywords
- color histogram
- input
- particle
- particle point
- totalizer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002245 particle Substances 0.000 title claims abstract description 227
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000001914 filtration Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 238000009826 distribution Methods 0.000 claims abstract description 9
- 238000003860 storage Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000004321 preservation Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 12
- 238000012952 Resampling Methods 0.000 abstract description 6
- 238000005070 sampling Methods 0.000 abstract description 6
- 230000001133 acceleration Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于并行粒子滤波的图像目标跟踪方法及装置。包括如下步骤:1)获得图像序列,定义F为图像序列的第F帧;2)获得需跟踪目标;3)分布粒子点,令F=2;4)输入第F帧;5)进行亮度滤波,得到直方图;6)比较粒子点与目标直方图,得到归一化权重;7)得到目标在第F帧的坐标;8)输出第F帧,更新目标直方图;9)对第F帧重采样;10)是否继续进行跟踪,继续则进入步骤11),否则结束;11)令F=F+1,返回步骤4),重复步骤4)至步骤10)。本发明打破了传统粒子滤波算法采样、权重计算和重采样三个步骤间的逻辑依赖关系。利用前一帧的归一化权重作为重采样函数,实现了算法的并行化处理。实现了算法的并行化处理和执行加速。
Description
技术领域
本发明涉及机器视觉技术领域,尤其涉及一种基于并行粒子滤波的图像目标跟踪方法及装置。
背景技术
机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过图像摄取装置,将被摄取目标转换成图像信号,传送给专用的图像处理系统,根据像素分布和亮度、颜色等信息,转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征,进而根据判别的结果来控制现场的设备动作。
在机器视觉中,特定目标的跟踪是其中非常重要的一个环节。近年来,基于粒子滤波器的跟踪系统成为了研究的热点。粒子滤波算法通过非参数化的蒙特卡罗模拟方法实现递推贝叶斯滤波,可以广泛应用于任何非线性模型和非高斯噪声的目标跟踪。
基于粒子滤波的跟踪系统包括以下三个步骤:1)采样步骤,本帧图像输入,对每个粒子点对应的观测窗口内的图像进行颜色直方图统计;2)权重计算步骤,将每个粒子点对应的颜色直方图与目标的颜色直方图进行比较,计算他们的相似性,相似性高的粒子获得高的权重。加权平均得到新的目标位置及颜色直方图信息;3)重采样步骤,根据粒子点的权重信息,以权重高的粒子点代替权重低的粒子点,产生新的粒子分布情况,并进入下一帧图像的目标跟踪。
由于粒子滤波算法复杂性高,软件实现很难满足跟踪系统的实时性要求。而硬件实现能较好的解决实时性要求,于是,基于粒子滤波的跟踪系统的硬件实现成为了研究的难点和热点问题。
已有的粒子滤波跟踪系统的硬件实现主要采用分布式处理器阵列的方法。例如,将总数为M的粒子运算分配到某种拓扑结构的N个处理器阵列上,每个处理器负责M/N个粒子的运算任务,并通过一定量的处理器间通信来完成整个系统的跟踪任务。
虽然这种方式通过并行化处理解决了一定的实时性问题,但是,仍然存在一些不足。首先,粒子滤波算法的三个步骤存在着逻辑依赖关系,已有的方法需要顺序执行这三个步骤;其次,分布式粒子滤波方法虽实现了并行化处理,但是基于处理器的运算仍然存在需要平凡地访问存储空间和顺序执行的问题;最后,处理过程中的各个步骤也存在进一步挖掘并行性的地方。
总体来说现有的基于粒子滤波的跟踪系统采用分布式处理器阵列的方式来满足算法实时性,但仍然存在很大的并行化和加速空间。
发明内容
本发明的目的针对已有技术的不足,提出一种基于并行粒子滤波的图像目标跟踪方法及装置。
基于并行粒子滤波的图像目标跟踪方法包括如下步骤:
1)获得一个图像序列,定义F为图像序列的第F帧,定义运动矢量的横坐标、纵坐标分量Vx=0,Vy=0;
2)获得所需跟踪的图像目标在第一帧图像上的坐标及图像目标所在MK×NP观测窗口的颜色直方图;
3)在图像目标附近随机分布粒子点,获得这些粒子点的坐标,每个粒子点对应一个以他们为中心MK×NP的观测窗口,定义F=1时粒子点的归一化权重,令F=2;
4)输入第F帧图像;
5)对图像进行亮度滤波处理得到图像各像素点的亮度分量,产生各像素点所在M×N的图像块内的颜色直方图,将每个粒子点所在MK×NP观测窗口内的K×P个图像块拼接成最终的颜色直方图;
6)比较各个粒子点所在观测窗口的颜色直方图与目标颜色直方图的距离,通过预先设置好的查找表,将距离转换为权重,对所有粒子点的权重进行归一化处理,得到归一化权重;
7)归一化权重与粒子点坐标加权平均,得到图像目标在第F帧图像上的坐标,更新运动矢量Vx为第F帧与第F-1帧图像目标横坐标的差,Vy为第F帧与第F-1帧图像目标纵坐标的差;
8)在原图像上标出目标位置并输出第F帧图像,更新目标颜色直方图;
9)通过第F-1帧图像粒子点的归一化权重与更新前的运动矢量Vx、Vy,对第F帧图像粒子点进行重采样,产生第F+1帧图像的粒子点坐标;
10)是否继续进行跟踪,继续则进入步骤11),否则结束整个跟踪过程;
11)令F=F+1,返回步骤4),重复步骤4)至步骤10)。
所述的产生各像素点所在M×N的图像块内的颜色直方图步骤为:
1)通过M-1条行缓存器,对输入的像素点进行缓存;
2)通过条行缓存器后链接N级单像素点的颜色直方图累加器,对每行的N个像素点进行颜色直方图累加;
3)N个行累加后的颜色直方图再经过一级列颜色直方图累加器,得到最终的M×N图像块内的颜色直方图。
所述的将每个粒子点所在观测窗口的K×P个图像块拼接成最终的颜色直方图步骤为:
1)通过粒子点的坐标,确定所对应观测窗口的K×P个图像块各自的坐标;
2)当输入像素点的坐标与所确定的K×P个图像块的坐标相同时,保存对应像素点所在M×N的图像块的颜色直方图;
3)随着像素点的不断输入,K×P个图像块的颜色直方图都可以获得,并将他们拼接起来,作为粒子点对应观测窗口的颜色直方图。
所述的比较各个粒子点所在观测窗口的颜色直方图与目标颜色直方图的距离通过预先设置好的查找表,将距离转换为权重,步骤为:
1)粒子点所在观测窗口的颜色直方图与目标颜色直方图的对应颜色分量相减求绝对值;
2)将以上所有颜色分量的计算结果相加,此结果作为两张颜色直方图的距离。
3)通过预先设置好的以距离为输入,权重为输出的转换表格,查找出两张颜色直方图的距离所对应的权重。
所述通过第F-1帧图像粒子点的归一化权重与更新前的运动矢量Vx、Vy,对第F帧图像粒子点进行重采样,产生第F+1帧图像的粒子点坐标步骤为:
1)将第F+1帧图像的粒子点坐标初始化为如下式所示,
x′(i)=x(target)+2×Vx+δx(i)
y′(i)=y(target)+2×Vy+δy(i),(i=1,...,NUM)
其中,x′(i)和y′(i)是第F+1帧图像的第i个粒子点初始化的x、y坐标,x(target)、y(target)是图像目标在第F-1帧图像上的x、y坐标,Vx与Vy是运动矢量的x、y分量,δx(i)、δy(i)是对应第i个粒子点x、y坐标上的随机偏移量,NUM是总粒子点数量;
2)将第F-1帧图像粒子点的归一化权重乘以总粒子点数量并向下取整,作为各个粒子点复制后的数量,如下式所示,
其中,C(i)是各粒子点复制后的数量,w(i)是第F-1帧图像各粒子点的归一化权重,NUM是总粒子点数量;
3)根据复制数量对每个粒子点进行复制:将第F帧图像各粒子点坐标,运动矢量,随机偏移量三者相加,作为第F+1帧对应粒子点的坐标,如下式所示,
x′(i)=x(j)+Vx+δx(i)
y′(i)=y(j)+Vy+δy(i)
其中,x′(i)和y′(i)是第F+1帧图像的第i个粒子点初始化的x、y坐标,x(j)和y(j)是第F帧图像的第j个粒子点的坐标。
i、j的对应关系由以下方法确定:j从1开始增加到NUM,遍历第F帧图像内的所有粒子点;对于第j个粒子点,
如果该粒子点复制后的数量C(j)=0,则不对此粒子点进行复制,j=j+1;
基于并行粒子滤波的图像目标跟踪装置中的图像输入到图像存储器进行存储,同时图像输入经过亮度滤波器和图像块颜色直方图产生器,产生每个像素点对应图像块的颜色直方图输入到颜色直方图产生器;第三选择器从粒子点坐标乒乓寄存器组中选出粒子点坐标输入到颜色直方图产生器;像素计数器产生的行计数值和列计数值输入到颜色直方图产生器;颜色直方图产生器产生对应粒子点的颜色直方图,输入到颜色直方图存储器进行存储;图像存储器与目标颜色直方图产生器连接;颜色直方图存储器输出的粒子点颜色直方图和目标颜色直方图产生器输出的目标颜色直方图共同输入到颜色直方图相似度比较器进行比较,结果输入到中央处理器;中央处理器的输出结果经过第四选择器输入到粒子点权重乒乓寄存器组进行存储;第一选择器从粒子点坐标乒乓寄存器组中选出的粒子点坐标与第五选择器从粒子点权重乒乓寄存器组中选出的粒子点权重共同输入到重采样器,产生的结果经过第二选择器存储到粒子点坐标乒乓寄存器组;第六选择器从粒子点权重乒乓寄存器组总选出粒子点权重;第一选择器的输出与第六选择器的输出共同输入到目标坐标产生器产生目标的坐标并存入图像存储器中,并将图像输出;第一选择信号产生器产生第一、第二、第三选择器的控制信号,第二选择信号产生器产生第四、第五、第六选择器的控制信号。
所述的图像块颜色直方图产生器的电路为,像素点串行输入到第一行缓存器、第二行缓存器、第三行缓存器进行缓存;像素点同时输入到第一单像素点颜色直方图累加器、第一两输入颜色直方图累加器、第五两输入颜色直方图累加器和第九两输入颜色直方图累加器;第一行缓存器同时输入到第二单像素点颜色直方图累加器、第二两输入颜色直方图累加器、第六两输入颜色直方图累加器和第十两输入颜色直方图累加器;第二行缓存器同时输入到第三单像素点颜色直方图累加器、第三两输入颜色直方图累加器、第七两输入颜色直方图累加器和第十一两输入颜色直方图累加器;第三行缓存器同时输入到第四单像素点颜色直方图累加器、第四两输入颜色直方图累加器、第八两输入颜色直方图累加器和第十二两输入颜色直方图累加器;第九两输入直方图累加器、第十两输入直方图累加器、第十一两输入直方图累加器和第十二两输入直方图累加器输入到四输入颜色直方图累加器,最终输出颜色直方图。
所述的颜色直方图产生器的电路为,颜色直方图同时输入到第一颜色直方图寄存器、第二颜色直方图寄存器、第三颜色直方图寄存器、第四颜色直方图寄存器;粒子点坐标、行计数值、列计数值同时是输入到使能信号产生器,产生第一颜色直方图寄存器、第二颜色直方图寄存器、第三颜色直方图寄存器、第四颜色直方图寄存器的使能信号并输入到这些寄存器中;第一颜色直方图寄存器、第二颜色直方图寄存器、第三颜色直方图寄存器、第四颜色直方图寄存器同时输出到颜色直方图拼接器,产生拼接后的颜色直方图。
所述的颜色直方图相似度比较器的电路为,粒子点颜色直方图的各颜色分量存放到第一寄存器组的对应位置;目标颜色直方图的各颜色分量存放到第二寄存器组的对应位置;第一寄存器组、第二寄存器组的对应位置输出到第一至第N逻辑运算器,求取对应位置差的绝对值,并将结果存储在移位寄存器组中;存储完毕后,移位寄存器组移位输出到加法器,作为一个输入;选择器通过选择信号选择0或加法器结果,输入到累加器,累加器结果作为加法器的另一个输入;累加结果输入到查找表寄存器查出相应的权重。
本发明打破了传统粒子滤波算法采样、权重计算和重采样三个步骤间的逻辑依赖关系。利用前一帧的归一化权重作为重采样函数替代本帧的归一化权重,从而实现了算法的并行化处理。
本发明以上提出的并行化执行的基础上,对粒子滤波算法的三个步骤都做了硬件加速及优化,使得整个系统具有很好的鲁棒性的同时,更大限度的实现了算法的并行化处理和执行加速。
附图说明
图1为基于并行粒子滤波的图像目标跟踪方法流程图;
图2为基于并行粒子滤波的图像目标跟踪装置电路框图;
图3为本发明的图像块颜色直方图产生器电路框图;
图4为本发明的颜色直方图产生器电路框图;
图5为本发明的颜色直方图相似度比较器电路框图。
具体实施方式
如图1所示,基于并行粒子滤波的图像目标跟踪方法包括如下步骤:
1)获得一个图像序列,定义F为图像序列的第F帧,定义运动矢量的横坐标、纵坐标分量Vx=0,Vy=0;
2)获得所需跟踪的图像目标在第一帧图像上的坐标及图像目标所在MK×NP观测窗口的颜色直方图;
3)在图像目标附近随机分布粒子点,获得这些粒子点的坐标,每个粒子点对应一个以他们为中心MK×NP的观测窗口,定义F=1时粒子点的归一化权重,令F=2;
4)输入第F帧图像;
5)对图像进行亮度滤波处理得到图像各像素点的亮度分量,产生各像素点所在M×N的图像块内的颜色直方图,将每个粒子点所在MK×NP观测窗口内的K×P个图像块拼接成最终的颜色直方图;
6)比较各个粒子点所在观测窗口的颜色直方图与目标颜色直方图的距离,通过预先设置好的查找表,将距离转换为权重,对所有粒子点的权重进行归一化处理,得到归一化权重;
7)归一化权重与粒子点坐标加权平均,得到图像目标在第F帧图像上的坐标,更新运动矢量Vx为第F帧与第F-1帧图像目标横坐标的差,Vy为第F帧与第F-1帧图像目标纵坐标的差;
8)在原图像上标出目标位置并输出第F帧图像,更新目标颜色直方图;
9)通过第F-1帧图像粒子点的归一化权重与更新前的运动矢量Vx、Vy,对第F帧图像粒子点进行重采样,产生第F+1帧图像的粒子点坐标;
10)是否继续进行跟踪,继续则进入步骤11),否则结束整个跟踪过程;
11)令F=F+1,返回步骤4),重复步骤4)至步骤10)。
图像经过亮度滤波器,只保留下后续颜色直方图计算所需的亮度信息,降低了存储空间的开销。接着,亮度图像串行进入颜色直方图产生器。模块由M-1条行缓存、N级单像素点颜色直方图累加器和一级直方图合并器组成,分N+1级流水线执行。可产生像素点周围内M×N大小图像的颜色直方图信息。
所述的产生各像素点所在M×N的图像块内的颜色直方图步骤为:
1)通过M-1条行缓存器,对输入的像素点进行缓存;
2)通过条行缓存器后链接N级单像素点的颜色直方图累加器,对每行的N个像素点进行颜色直方图累加;
3)N个行累加后的颜色直方图再经过一级列颜色直方图累加器,得到最终的M×N图像块内的颜色直方图。
这些计算出的颜色直方图信息被输入到每个粒子点对应的采样步骤。每个粒子点对应的观测窗口(大小为MK×NP)被划分为K×P个M×N大小的图像块。根据各个粒子点的坐标信息选取已经过预处理的K×P个落在观测窗口内的颜色直方图,将他们拼接起来,作为观测窗口的颜色直方图。
所述的将每个粒子点所在观测窗口的K×P个图像块拼接成最终的颜色直方图步骤为:
1)通过粒子点的坐标,确定所对应观测窗口的K×P个图像块各自的坐标;
2)当输入像素点的坐标与所确定的K×P个图像块的坐标相同时,保存对应像素点所在M×N的图像块的颜色直方图;
3)随着像素点的不断输入,K×P个图像块的颜色直方图都可以获得,并将他们拼接起来,作为粒子点对应观测窗口的颜色直方图。
这样的做法有两个优点:第一,每个粒子点对应的采样加速器不需要重复计算观测窗口内的颜色直方图,这部分计算有预处理完成,节省了硬件开销;第二,每个粒子点对应的观测窗口内的颜色直方图由K×P个不同位置的颜色直方图拼接形成,这样的直方图不仅包括了颜色信息,而且还将位置信息包括在内,进一步加强了算法的鲁棒性。
粒子滤波的权重计算步骤承担着较重的运算量。首先,利用Bhattacharyya相似系数计算目标颜色直方图与粒子点所在窗口颜色直方图的距离,该距离用来标识待测粒子与目标的相似性程度,
其中,p(i)和q(i)是目标与待测粒子颜色直方图的第i个特征分量;ρ(p,q)表示目标与待测粒子的Bhattacharyya相似系数;d表示目标与待测粒子之间的距离。接着,根据对这一距离进行高斯正态分布,得出权重,
w(i)是第i个粒子的权重。最后,将所有粒子权重进行归一化。
其中,乘法、开根号、正态分布都是软件和硬件较难实现的运算。本发明对此方法进行了改进,以
代替ρ(p,q)和d,省去乘法和开根号运算。颜色直方图相似度比较中的累加求和通过移位寄存器完成。对于高斯正态分布运算,本发明采用查找表的方式进行代替,降低了硬件复杂度,加快了运算速度。由于最后的权重归一化涉及大量小数计算,不适合硬件实现,本发明采用处理器来实现权重归一化。
根据归一化权重和各个粒子点的坐标,加权平均便可估计出目标的坐标,并更新目标颜色直方图为下一帧使用。
所述的比较各个粒子点所在观测窗口的颜色直方图与目标颜色直方图的距离通过预先设置好的查找表,将距离转换为权重,步骤为:
1)粒子点所在观测窗口的颜色直方图与目标颜色直方图的对应颜色分量相减求绝对值;
2)将以上所有颜色分量的计算结果相加,此结果作为两张颜色直方图的距离。
3)通过预先设置好的以距离为输入,权重为输出的转换表格,查找出两张颜色直方图的距离所对应的权重。
重采样步骤通过前一帧归一化权重和本帧粒子点坐标产生下一帧粒子点坐标。在本发明中,设计了一个乒乓结构的移位寄存器组来存储粒子点坐标,另一个乒乓结构的移位寄存器组来存储归一化权重。
所述通过第F-1帧图像粒子点的归一化权重与更新前的运动矢量Vx、Vy,对第F帧图像粒子点进行重采样,产生第F+1帧图像的粒子点坐标步骤为:
1)将第F+1帧图像的粒子点坐标初始化为如下式所示,
x′(i)=x(target)+2×Vx+δx(i)
y′(i)=y(target)+2×Vy+δy(i),(i=1,...,NUM)
其中,x′(i)和y′(i)是第F+1帧图像的第i个粒子点初始化的x、y坐标,x(target)、y(target)是图像目标在第F-1帧图像上的x、y坐标,Vx与Vy是运动矢量的x、y分量,δx(i)、δy(i)是对应第i个粒子点x、y坐标上的随机偏移量,NUM是总粒子点数量;
2)将第F-1帧图像粒子点的归一化权重乘以总粒子点数量并向下取整,作为各个粒子点复制后的数量,如下式所示,
其中,C(i)是各粒子点复制后的数量,w(i)是第F-1帧图像各粒子点的归一化权重,NUM是总粒子点数量;
3)根据复制数量对每个粒子点进行复制:将第F帧图像各粒子点坐标,运动矢量,随机偏移量三者相加,作为第F+1帧对应粒子点的坐标,如下式所示,
x′(i)=x(j)+Vx+δx(i)
y′(i)=y(j)+Vy+δy(i)
其中,x′(i)和y′(i)是第F+1帧图像的第i个粒子点初始化的x、y坐标,x(j)和y(j)是第F帧图像的第j个粒子点的坐标。
i、j的对应关系由以下方法确定:j从1开始增加到NUM,遍历第F帧图像内的所有粒子点;对于第j个粒子点,
如图2所示,基于并行粒子滤波的图像目标跟踪装置中的图像输入到图像存储器进行存储,同时图像输入经过亮度滤波器和图像块颜色直方图产生器,产生每个像素点对应图像块的颜色直方图输入到颜色直方图产生器;第三选择器从粒子点坐标乒乓寄存器组中选出粒子点坐标输入到颜色直方图产生器;像素计数器产生的行计数值和列计数值输入到颜色直方图产生器;颜色直方图产生器产生对应粒子点的颜色直方图,输入到颜色直方图存储器进行存储;图像存储器与目标颜色直方图产生器连接;颜色直方图存储器输出的粒子点颜色直方图和目标颜色直方图产生器输出的目标颜色直方图共同输入到颜色直方图相似度比较器进行比较,结果输入到中央处理器;中央处理器的输出结果经过第四选择器输入到粒子点权重乒乓寄存器组进行存储;第一选择器从粒子点坐标乒乓寄存器组中选出的粒子点坐标与第五选择器从粒子点权重乒乓寄存器组中选出的粒子点权重共同输入到重采样器,产生的结果经过第二选择器存储到粒子点坐标乒乓寄存器组;第六选择器从粒子点权重乒乓寄存器组总选出粒子点权重;第一选择器的输出与第六选择器的输出共同输入到目标坐标产生器产生目标的坐标并存入图像存储器中,并将图像输出;第一选择信号产生器产生第一、第二、第三选择器的控制信号,第二选择信号产生器产生第四、第五、第六选择器的控制信号。
如图3所示,图像块颜色直方图产生器的电路为,像素点串行输入到第一行缓存器、第二行缓存器、第三行缓存器进行缓存;像素点同时输入到第一单像素点颜色直方图累加器、第一两输入颜色直方图累加器、第五两输入颜色直方图累加器和第九两输入颜色直方图累加器;第一行缓存器同时输入到第二单像素点颜色直方图累加器、第二两输入颜色直方图累加器、第六两输入颜色直方图累加器和第十两输入颜色直方图累加器;第二行缓存器同时输入到第三单像素点颜色直方图累加器、第三两输入颜色直方图累加器、第七两输入颜色直方图累加器和第十一两输入颜色直方图累加器;第三行缓存器同时输入到第四单像素点颜色直方图累加器、第四两输入颜色直方图累加器、第八两输入颜色直方图累加器和第十二两输入颜色直方图累加器;第九两输入直方图累加器、第十两输入直方图累加器、第十一两输入直方图累加器和第十二两输入直方图累加器输入到四输入颜色直方图累加器,最终输出颜色直方图。
如图4所示,颜色直方图产生器的电路为,颜色直方图同时输入到第一颜色直方图寄存器、第二颜色直方图寄存器、第三颜色直方图寄存器、第四颜色直方图寄存器;粒子点坐标、行计数值、列计数值同时是输入到使能信号产生器,产生第一颜色直方图寄存器、第二颜色直方图寄存器、第三颜色直方图寄存器、第四颜色直方图寄存器的使能信号并输入到这些寄存器中;第一颜色直方图寄存器、第二颜色直方图寄存器、第三颜色直方图寄存器、第四颜色直方图寄存器同时输出到颜色直方图拼接器,产生拼接后的颜色直方图。
如图5所示,颜色直方图相似度比较器的电路为,粒子点颜色直方图的各颜色分量存放到第一寄存器组的对应位置;目标颜色直方图的各颜色分量存放到第二寄存器组的对应位置;第一寄存器组、第二寄存器组的对应位置输出到第一至第N逻辑运算器,求取对应位置差的绝对值,并将结果存储在移位寄存器组中;存储完毕后,移位寄存器组移位输出到加法器,作为一个输入;选择器通过选择信号选择0或加法器结果,输入到累加器,累加器结果作为加法器的另一个输入;累加结果输入到查找表寄存器查出相应的权重。
所述的各个模块均为常用器件或小规模控制逻辑电路。
实施例
选取512个粒子点对CIF格式(352x288)的视频序列进行目标跟踪,窗口设定为16x16大小。采用RISC处理器作为中央处理器承担控制任务和一定的运算任务,用FPGA实现各逻辑运算和控制电路。SDRAM作为图像存储器,SRAM作为颜色直方图存储器、粒子点坐标乒乓寄存器组和粒子点权重乒乓寄存器组。
在图像块颜色直方图产生器中,由于行缓存需要占用较大的硬件资源,我们用3条行缓存来实现4行并行处理,在场方向上我们设置16级单像素点颜色直方图累加器,于是观测窗口被划分为4条4x16大小的图像块。将他们的颜色直方图拼接起来,作为目标和待测粒子的颜色直方图。
在颜色直方图相似度比较器中,我们将正态分布函数在d∈[0,1]的范围内均匀划分成64段,制作查找表。权重的归一化任务由RISC处理器来完成。
重采样器读取上一帧图像各粒子点的归一化权重信息,与采样和权重计算并行处理。
Claims (9)
1.一种基于并行粒子滤波的图像目标跟踪方法,其特征在于包括如下步骤:
1)获得一个图像序列,定义F为图像序列的第F帧,定义运动矢量的横坐标、纵坐标分量Vx=0,Vy=0;
2)获得所需跟踪的图像目标在第一帧图像上的坐标及图像目标所在MK×NP观测窗口的颜色直方图;
3)在图像目标附近随机分布粒子点,获得这些粒子点的坐标,每个粒子点对应一个以他们为中心MK×NP的观测窗口,定义F=1时粒子点的归一化权重,令F=2;
4)输入第F帧图像;
5)对图像进行亮度滤波处理得到图像各像素点的亮度分量,产生各像素点所在M×N的图像块内的颜色直方图,将每个粒子点所在MK×NP观测窗口内的K×P个图像块拼接成最终的颜色直方图;
6)比较各个粒子点所在观测窗口的颜色直方图与目标颜色直方图的距离,通过预先设置好的查找表,将距离转换为权重,对所有粒子点的权重进行归一化处理,得到归一化权重;
7)归一化权重与粒子点坐标加权平均,得到图像目标在第F帧图像上的坐标,更新运动矢量Vx为第F帧与第F-1帧图像目标横坐标的差,Vy为第F帧与第F-1帧图像目标纵坐标的差;
8)在原图像上标出目标位置并输出第F帧图像,更新目标颜色直方图;
9)通过第F-1帧图像粒子点的归一化权重与更新前的运动矢量Vx、Vy,对第F帧图像粒子点进行重采样,产生第F+1帧图像的粒子点坐标;
10)是否继续进行跟踪,继续则进入步骤11),否则结束整个跟踪过程;
11)令F=F+1,返回步骤4),重复步骤4)至步骤10)。
2.如权利要求1所述的基于并行粒子滤波的图像目标跟踪方法,其特征在于所述的产生各像素点所在M×N的图像块内的颜色直方图步骤为:
1)通过M-1条行缓存器,对输入的像素点进行缓存;
2)通过条行缓存器后链接N级单像素点的颜色直方图累加器,对每行的N个像素点进行颜色直方图累加;
3)N个行累加后的颜色直方图再经过一级列颜色直方图累加器,得到最终的M×N图像块内的颜色直方图。
3.如权利要求1所述的基于并行粒子滤波的图像目标跟踪方法,其特征在于所述的将每个粒子点所在观测窗口的K×P个图像块拼接成最终的颜色直方图步骤为:
1)通过粒子点的坐标,确定所对应观测窗口的K×P个图像块各自的坐标;
2)当输入像素点的坐标与所确定的K×P个图像块的坐标相同时,保存对应像素点所在M×N的图像块的颜色直方图;
3)随着像素点的不断输入,K×P个图像块的颜色直方图都可以获得,并将他们拼接起来,作为粒子点对应观测窗口的颜色直方图。
4.如权利要求1所述的基于并行粒子滤波的图像目标跟踪方法,其特征在于所述的比较各个粒子点所在观测窗口的颜色直方图与目标颜色直方图的距离通过预先设置好的查找表,将距离转换为权重,步骤为:
1)粒子点所在观测窗口的颜色直方图与目标颜色直方图的对应颜色分量相减求绝对值;
2)将以上所有颜色分量的计算结果相加,此结果作为两张颜色直方图的距离。
3)通过预先设置好的以距离为输入,权重为输出的转换表格,查找出两张颜色直方图的距离所对应的权重。
5.如权利要求1所述的基于并行粒子滤波的图像目标跟踪方法,其特征在于所述通过第F-1帧图像粒子点的归一化权重与更新前的运动矢量Vx、Vy,对第F帧图像粒子点进行重采样,产生第F+1帧图像的粒子点坐标步骤为:
1)将第F+1帧图像的粒子点坐标初始化为如下式所示,
x′(i)=x(target)+2×Vx+δx(i)
y′(i)=y(target)+2×Vy+δy(i),(i=1,...,NUM)
其中,x′(i)和y′(i)是第F+1帧图像的第i个粒子点初始化的x、y坐标,x(target)、y(target)是图像目标在第F-1帧图像上的x、y坐标,Vx与Vy是运动矢量的x、y分量,δx(i)、δy(i)是对应第i个粒子点x、y坐标上的随机偏移量,NUM是总粒子点数量;
2)将第F-1帧图像粒子点的归一化权重乘以总粒子点数量并向下取整,作为各个粒子点复制后的数量,如下式所示,
其中,C(i)是各粒子点复制后的数量,w(i)是第F-1帧图像各粒子点的归一化权重,NUM是总粒子点数量;
3)根据复制数量对每个粒子点进行复制:将第F帧图像各粒子点坐标,运动矢量,随机偏移量三者相加,作为第F+1帧对应粒子点的坐标,如下式所示,
x′(i)=x(j)+Vx+δx(i)
y′(i)=y(j)+Vy+δy(i)
其中,x′(i)和y′(i)是第F+1帧图像的第i个粒子点初始化的x、y坐标,x(j)和y(j)是第F帧图像的第j个粒子点的坐标。
i、j的对应关系由以下方法确定:j从1开始增加到NUM,遍历第F帧图像内的所有粒子点;对于第j个粒子点,
如果该粒子点复制后的数量C(j)=0,则不对此粒子点进行复制,j=j+1;
6.一种基于并行粒子滤波的图像目标跟踪装置,其特征在于图像输入到图像存储器进行存储,同时图像输入经过亮度滤波器和图像块颜色直方图产生器,产生每个像素点对应图像块的颜色直方图输入到颜色直方图产生器;第三选择器从粒子点坐标乒乓寄存器组中选出粒子点坐标输入到颜色直方图产生器;像素计数器产生的行计数值和列计数值输入到颜色直方图产生器;颜色直方图产生器产生对应粒子点的颜色直方图,输入到颜色直方图存储器进行存储;图像存储器与目标颜色直方图产生器连接;颜色直方图存储器输出的粒子点颜色直方图和目标颜色直方图产生器输出的目标颜色直方图共同输入到颜色直方图相似度比较器进行比较,结果输入到中央处理器;中央处理器的输出结果经过第四选择器输入到粒子点权重乒乓寄存器组进行存储;第一选择器从粒子点坐标乒乓寄存器组中选出的粒子点坐标与第五选择器从粒子点权重乒乓寄存器组中选出的粒子点权重共同输入到重采样器,产生的结果经过第二选择器存储到粒子点坐标乒乓寄存器组;第六选择器从粒子点权重乒乓寄存器组总选出粒子点权重;第一选择器的输出与第六选择器的输出共同输入到目标坐标产生器产生目标的坐标并存入图像存储器中,并将图像输出;第一选择信号产生器产生第一、第二、第三选择器的控制信号,第二选择信号产生器产生第四、第五、第六选择器的控制信号。
7.根据权利要求6所述的一种基于并行粒子滤波的图像目标跟踪装置,其特征在于所述的图像块颜色直方图产生器的电路为,像素点串行输入到第一行缓存器、第二行缓存器、第三行缓存器进行缓存;像素点同时输入到第一单像素点颜色直方图累加器、第一两输入颜色直方图累加器、第五两输入颜色直方图累加器和第九两输入颜色直方图累加器;第一行缓存器同时输入到第二单像素点颜色直方图累加器、第二两输入颜色直方图累加器、第六两输入颜色直方图累加器和第十两输入颜色直方图累加器;第二行缓存器同时输入到第三单像素点颜色直方图累加器、第三两输入颜色直方图累加器、第七两输入颜色直方图累加器和第十一两输入颜色直方图累加器;第三行缓存器同时输入到第四单像素点颜色直方图累加器、第四两输入颜色直方图累加器、第八两输入颜色直方图累加器和第十二两输入颜色直方图累加器;第九两输入直方图累加器、第十两输入直方图累加器、第十一两输入直方图累加器和第十二两输入直方图累加器输入到四输入颜色直方图累加器,最终输出颜色直方图。
8.根据权利要求6所述的一种基于并行粒子滤波的图像目标跟踪装置,其特征在于所述的颜色直方图产生器的电路为,颜色直方图同时输入到第一颜色直方图寄存器、第二颜色直方图寄存器、第三颜色直方图寄存器、第四颜色直方图寄存器;粒子点坐标、行计数值、列计数值同时是输入到使能信号产生器,产生第一颜色直方图寄存器、第二颜色直方图寄存器、第三颜色直方图寄存器、第四颜色直方图寄存器的使能信号并输入到这些寄存器中;第一颜色直方图寄存器、第二颜色直方图寄存器、第三颜色直方图寄存器、第四颜色直方图寄存器同时输出到颜色直方图拼接器,产生拼接后的颜色直方图。
9.根据权利要求6所述的一种基于并行粒子滤波的图像目标跟踪装置,其特征在于所述的颜色直方图相似度比较器的电路为,粒子点颜色直方图的各颜色分量存放到第一寄存器组的对应位置;目标颜色直方图的各颜色分量存放到第二寄存器组的对应位置;第一寄存器组、第二寄存器组的对应位置输出到第一至第N逻辑运算器,求取对应位置差的绝对值,并将结果存储在移位寄存器组中;存储完毕后,移位寄存器组移位输出到加法器,作为一个输入;选择器通过选择信号选择0或加法器结果,输入到累加器,累加器结果作为加法器的另一个输入;累加结果输入到查找表寄存器查出相应的权重。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009101003082A CN101604449B (zh) | 2009-07-02 | 2009-07-02 | 一种基于并行粒子滤波的图像目标跟踪方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009101003082A CN101604449B (zh) | 2009-07-02 | 2009-07-02 | 一种基于并行粒子滤波的图像目标跟踪方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101604449A true CN101604449A (zh) | 2009-12-16 |
CN101604449B CN101604449B (zh) | 2011-07-20 |
Family
ID=41470166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009101003082A Expired - Fee Related CN101604449B (zh) | 2009-07-02 | 2009-07-02 | 一种基于并行粒子滤波的图像目标跟踪方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101604449B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101945210A (zh) * | 2010-09-29 | 2011-01-12 | 无锡中星微电子有限公司 | 运动跟踪预测方法 |
CN102073619A (zh) * | 2011-01-14 | 2011-05-25 | 浙江大学 | 存储优化的粒子滤波装置 |
CN102663674A (zh) * | 2012-04-27 | 2012-09-12 | 上海交通大学 | 并行化实时无标记人体运动跟踪方法 |
CN103065330A (zh) * | 2013-01-15 | 2013-04-24 | 南京师范大学 | 基于流水线并行处理技术的粒子滤波目标跟踪方法及装置 |
CN103679743A (zh) * | 2012-09-06 | 2014-03-26 | 索尼公司 | 目标跟踪装置和方法,以及照相机 |
CN111131709A (zh) * | 2019-12-31 | 2020-05-08 | 联想(北京)有限公司 | 预览模式预览图像生成方法、电子设备及存储介质 |
CN114820630A (zh) * | 2022-07-04 | 2022-07-29 | 国网浙江省电力有限公司电力科学研究院 | 一种基于fpga的目标跟踪算法模型管道加速方法以及电路 |
CN116027181A (zh) * | 2023-03-30 | 2023-04-28 | 浙江瑞测科技有限公司 | 一种并行图像处理装置及方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1606033A (zh) * | 2004-11-18 | 2005-04-13 | 上海交通大学 | 红外图像序列中弱小目标的检测和跟踪方法 |
US20070171281A1 (en) * | 2006-01-23 | 2007-07-26 | Honeywell International Inc. | Object initialization in video tracking |
CN101051385B (zh) * | 2006-04-07 | 2011-11-23 | 欧姆龙株式会社 | 特定被摄体跟踪方法和装置以及特征部跟踪方法和装置 |
EP2037410A1 (en) * | 2007-09-14 | 2009-03-18 | Thomson Licensing | Method for tracking an object in a sequence of images and device implementing said method |
-
2009
- 2009-07-02 CN CN2009101003082A patent/CN101604449B/zh not_active Expired - Fee Related
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101945210A (zh) * | 2010-09-29 | 2011-01-12 | 无锡中星微电子有限公司 | 运动跟踪预测方法 |
CN101945210B (zh) * | 2010-09-29 | 2012-07-25 | 无锡中星微电子有限公司 | 运动跟踪预测方法 |
CN102073619A (zh) * | 2011-01-14 | 2011-05-25 | 浙江大学 | 存储优化的粒子滤波装置 |
CN102073619B (zh) * | 2011-01-14 | 2012-11-21 | 浙江大学 | 存储优化的粒子滤波装置 |
CN102663674A (zh) * | 2012-04-27 | 2012-09-12 | 上海交通大学 | 并行化实时无标记人体运动跟踪方法 |
CN102663674B (zh) * | 2012-04-27 | 2014-06-25 | 上海交通大学 | 并行化实时无标记人体运动跟踪方法 |
CN103679743A (zh) * | 2012-09-06 | 2014-03-26 | 索尼公司 | 目标跟踪装置和方法,以及照相机 |
CN103679743B (zh) * | 2012-09-06 | 2016-09-14 | 索尼公司 | 目标跟踪装置和方法,以及照相机 |
CN103065330A (zh) * | 2013-01-15 | 2013-04-24 | 南京师范大学 | 基于流水线并行处理技术的粒子滤波目标跟踪方法及装置 |
CN103065330B (zh) * | 2013-01-15 | 2016-01-20 | 南京师范大学 | 基于流水线并行处理技术的粒子滤波目标跟踪方法及装置 |
CN111131709A (zh) * | 2019-12-31 | 2020-05-08 | 联想(北京)有限公司 | 预览模式预览图像生成方法、电子设备及存储介质 |
CN114820630A (zh) * | 2022-07-04 | 2022-07-29 | 国网浙江省电力有限公司电力科学研究院 | 一种基于fpga的目标跟踪算法模型管道加速方法以及电路 |
CN114820630B (zh) * | 2022-07-04 | 2022-09-06 | 国网浙江省电力有限公司电力科学研究院 | 一种基于fpga的目标跟踪算法模型管道加速方法以及电路 |
CN116027181A (zh) * | 2023-03-30 | 2023-04-28 | 浙江瑞测科技有限公司 | 一种并行图像处理装置及方法 |
CN116027181B (zh) * | 2023-03-30 | 2023-07-18 | 浙江瑞测科技有限公司 | 一种并行图像处理装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101604449B (zh) | 2011-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101604449B (zh) | 一种基于并行粒子滤波的图像目标跟踪方法及装置 | |
Melekhov et al. | Image-based localization using hourglass networks | |
Liu et al. | Fg-net: A fast and accurate framework for large-scale lidar point cloud understanding | |
CN106803267A (zh) | 基于Kinect的室内场景三维重建方法 | |
CN111968165B (zh) | 动态人体三维模型补全方法、装置、设备和介质 | |
CN102110293A (zh) | 基于模型的赛场配准 | |
Wu et al. | Handmap: Robust hand pose estimation via intermediate dense guidance map supervision | |
CN101883209A (zh) | 一种背景模型与三帧差分相结合进行视频背景检测的方法 | |
CN101572770B (zh) | 一种可用于实时监控的运动检测方法与装置 | |
Zheng et al. | Steps: Joint self-supervised nighttime image enhancement and depth estimation | |
Tao et al. | Indoor 3D semantic robot VSLAM based on mask regional convolutional neural network | |
CN101833760A (zh) | 一种基于图像块的背景建模方法及背景建模装置 | |
Chen et al. | 3D perception arithmetic of random environment based on RGB enhanced point cloud fusion | |
CN108377368A (zh) | 一种一主多从式智能视频监控装置及其控制方法 | |
Seo et al. | A new parallel hardware architecture for high-performance stereo matching calculation | |
CN102521580A (zh) | 实时目标匹配跟踪方法及系统 | |
Cheng et al. | An augmented reality image registration method based on improved ORB | |
CN102831616A (zh) | 一种视频流体运动矢量计算方法 | |
CN111462177B (zh) | 一种基于多线索的在线多目标跟踪方法和系统 | |
Gao et al. | Compact StereoNet: stereo disparity estimation via knowledge distillation and compact feature extractor | |
CN111951378A (zh) | 一种多源电磁数据的可视化视图生成方法 | |
Mohr | Continuous edge gradient-based template matching for articulated objects | |
Nobari et al. | NITO: Neural Implicit Fields for Resolution-free Topology Optimization | |
Zhang et al. | Research on Big Data Intelligent Analysis Method and Key Technologies for the Management of Main Equipment in Power Grid Transmission and Transformation Based on Digital Twin Technology | |
Liu et al. | 3D reconstruction of indoor scenes using RGB-D monocular vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110720 Termination date: 20130702 |