CN102063625B - 一种用于多视角下多目标追踪的改进型粒子滤波方法 - Google Patents

一种用于多视角下多目标追踪的改进型粒子滤波方法 Download PDF

Info

Publication number
CN102063625B
CN102063625B CN 201010595201 CN201010595201A CN102063625B CN 102063625 B CN102063625 B CN 102063625B CN 201010595201 CN201010595201 CN 201010595201 CN 201010595201 A CN201010595201 A CN 201010595201A CN 102063625 B CN102063625 B CN 102063625B
Authority
CN
China
Prior art keywords
target
particle
plane
delineation
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201010595201
Other languages
English (en)
Other versions
CN102063625A (zh
Inventor
王智
周良毅
蔡盛盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN 201010595201 priority Critical patent/CN102063625B/zh
Publication of CN102063625A publication Critical patent/CN102063625A/zh
Application granted granted Critical
Publication of CN102063625B publication Critical patent/CN102063625B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种用于多视角下多目标追踪的改进型粒子滤波方法,该方法能够保证在多视角场景中对多目标追踪的高准确性,利用多视角之间信息的协同关系,能够得到更好的目标表示方法,提高追踪精度;尤其是在目标之间存在严重遮挡的情况下也能够有效追踪目标,不会产生丢失的情况。

Description

一种用于多视角下多目标追踪的改进型粒子滤波方法
技术领域
本发明涉及一种图像处理方法,尤其涉及一种用于多视角下多目标追踪的改进型粒子滤波方法。
背景技术
视频追踪技术作为计算机视觉应用中的重要部分,广泛用于环境监控、人机交互、机器人导航等。其主要目的是通过对摄像头获得的图像序列进行分析,计算出运动目标在每一帧图像上的位置,并根据不同的特征值,将图像序列中连续帧之间的同一运动目标关联起来,得到每帧图像中目标的运动参数以及相邻帧图像间运动目标的对应关系,进一步得到运动目标完整的运动轨迹。近年来比较流行的追踪方法中,基于目标状态估计、滤波的方法具有跟踪精度高,鲁棒性好的有点。这类方法把追踪问题看成是一个对目标状态求解的问题,并运用贝叶斯理论来实现目标状态的求解。因为实际视频追踪过程中存在大量非线性、非高斯分布的情况,所以借助于蒙特卡罗随机模拟的方法来实现贝叶斯滤波——粒子滤波。
现有基于视觉的目标追踪方法中使用的特征量有目标轮廓、目标颜色、运动信息等。目标轮廓适用于刚性目标的追踪,对于非刚性目标并不适用;运动信息适用于运动目标的追踪,当目标静止时就会丢失信息不能工作。目标颜色既能适应刚性、非刚性目标,同时也不受制于目标是否运动,但是光照变化对颜色信息的影响较大。
贝叶斯滤波的实质是用所有已有信息来构造系统状态变量的后验概率密度,再用最近的测量值进行修正,即通过观测数据Z1:k来递推计算状态Xk取不同值时的置信度p(Xk|Z1:k),由此获得最优的状态估计。用数学来描述这个过程如下。目标的状态方程定义为:
X k = F ( X k - 1 ) + U k Z k = H ( X k ) + V k
其中,Xk是k时刻的系统状态向量,表示目标的位置、大小尺寸,Uk是系统随机噪声,可看作是高斯噪声,F(·)是系统状态转移模型;Zk是k时刻的系统观测向量,Vk是系统随机噪声,可看作是高斯噪声,H(·)是系统观测模型。假设初始概率密度p(X0|Z0)已知,贝叶斯估计过程就是利用初始密度和所有观测序列通过预测和更新两步估计出后验概率密度p(Xk|Z1:k),其中Z1:k={Z1,Z2,…,Zk}是对系统进行k次观测得到观测序列。
预测:由系统的状态转移模型,在未获得k时刻的观测值时,实现先验概率p(Xk-1|Z1:k-1)至先验概率p(Xk|Z1:k-1)的推导。
假设p(Xk-1|Zk-1)已知,利用系统状态转移方程和Chapman-Kolmogorov方程有预测方程:p(Xk|Z1:k-1)=∫p(Xk|Xk-1)p(Xk-1|Z1:k-1)dXk-1
更新:即由系统的观测模型,在获得k时刻的观测值Zk后,实现先验概率p(Xk|Z1:k-1)至后验概率p(Xk|Z1:k)的推导。
由贝叶斯公式简化可得:p(Xk|Z1:k)∝p(Zk|Xk)p(Xk|Z1:k-1)
其中p(Zk|Xk)是似然性,p(Xk|Z1:k-1)是预测阶段得到的。
但是在一般情况下,p(Xk|Z1:k)的显式解是无法得到的,所以可以用粒子滤波器来实现贝叶斯滤波。
粒子滤波是一种基于蒙特卡罗随机模拟的滤波方法。它是通过一群随机采样得到的粒子集来近似系统的状态分布,每个粒子表示一种状态,并赋予权重表示该粒子的置信度。粒子的状态通过动态模型得到更新,在下一个时刻通过系统观测模型更新粒子的权重。为了避免粒子退化现象,引入重要性重采样。复制权重值较大的粒子,舍弃权重值较小的粒子。
现在粒子滤波方法用在视频追踪中的主要步骤如下:
1.从在原始图像获取表征目标的初始粒子集。每一个粒子的状态都代表目标可能的一种状态。粒子状态包括目标的大小、位置等。一般假设初始粒子集是服从高斯分布,均值由目标检测器或者人工标注所得。协方差矩阵的参数包括运动模型的方差和尺寸变化的方差。产生M个服从高斯分布的粒子。
2.根据状态的动态模型p(Xk|Xk-1)更新粒子的状态,得到
3.根据系统的观测模型p(Zk|Xk)获得每个粒子的权重值,并归一化粒子集中所有粒子的权重,得到新的粒子集
Figure BSA00000390617000022
粒子权重表示粒子代表的状态的置信度,权重越大表示状态可能性越高,反之可能性越低。
4.根据重要性重采样方法对粒子集进行重采样,得到新的粒子集
Figure BSA00000390617000023
5.估计系统的状态
Figure BSA00000390617000024
得到目标在k时刻的状态。并重复第二步,实现连续视频帧中的目标追踪。
现有的追踪技术中的不足之处在于:第一,适用的场景较为简单,大都是针对单一的摄像头和单目标追踪,目标之间的遮挡情况不严重,但是现实环境中大都是多摄像头和多目标的情况,并且目标之间可能还存在较为严重遮挡。第二,针对多视角下多目标追踪没有很好的处理目标的之间的遮挡情况,现有技术并没有完全发挥多摄像头带来的互补优势。在复杂场景中对目标特征量的表示仍然使用单摄像头中的简单表示,使得目标的表示不够全面、详细,使得多目标追踪过程中容易丢失目标。
发明内容
本发明的目的在于针对现有技术的不足,提供一种用于多视角下多目标追踪的改进型粒子滤波方法。
为了实现上述的目的,本发明采取如下技术方案:一种用于多视角下多目标追踪的改进型粒子滤波方法,包括以下步骤:
(1)从原始图像信息中获取追踪目标的初始状态。
(2)根据高斯随机方法产生表示目标初始状态的初始粒子集。
(3)根据系统动态模型更新每个粒子的位置分量、尺寸大小状态分量。
(4)根据目标之间的遮挡关系更新每个粒子的遮挡分量。
(5)获取表征每个目标的全局特征量,并通过观测模型得到粒子集中每个粒子的权重,归一化得到新的粒子集。
(6)对新的粒子集进行重要性重采样,得到当前时刻最终的粒子集。
(7)根据最终粒子集计算每个目标状态、输出,并把最终粒子集作为下一次粒子滤波过程的输入。
本发明的有益效果是,能够保证在多视角场景中对多目标追踪的高准确性。利用多视角之间信息的协同关系,能够得到更好的目标表示方法,提高追踪精度。尤其是在目标之间存在严重遮挡的情况下也能够有效追踪目标,不会产生丢失的情况。
附图说明
图1是本发明的多视角多目标追踪方法适用的场景示意图;
图2是本发明中多视角多目标追踪方法中遮挡情况的示意图;
图3是本发明中多视角多目标追踪方法的流程图;
图4是本发明中获取系统标定信息过程中使用的棋盘示意图。
具体实施方式:
本发明专利在多视角下使用粒子滤波和特征融合实现多目标追踪。目标追踪方法的原理是:使用多个标定好的摄像头获取包含目标的视频数据。利用先验信息对目标进行建模,获取目标的初始状态,如大小、位置、特征、遮挡等。然后利用粒子滤波的方法在贝叶斯估计的框架下对目标进行追踪。
对追踪系统中每个时刻引入表示目标遮挡情况的变量Ok={O1,k,O2,k…On,k},Oi,k∈{0,1}表示k时刻目标的遮挡情况。Oi,k=1表示目标在第i个摄像头中没有被遮挡,Oi,k=0表示目标在第i个摄像头中被遮挡。假设所有追踪目标的位置、大小组成的状态向量为Xk,现在新的状态变量为Yk={Xk,Ok}。Xk的转移模型为p(Xk|Xk-1),系统的测量模型为p(Xk|Yk)。因为遮挡状态变量决定于当前时刻目标的位置和大小,而遮挡变量不决定目标的大小和位置,所以引入遮挡变量后的贝叶斯估计过程为:
预测过程为:
p(Yk|Z1:k-1)=∫p(Yk|Yk-1)p(Yk-1|Z1:k-1)dYk-1
             =∫p(Ok,Xk|Yk-1)p(Yk-1|Z1:k-1)dYk-1
             =∫p(Ok|Xk,Yk-1)p(Xk|Yk-1)p(Yk-1|Z1:k-1)dYk-1
             =∫p(Ok|Xk)p(Xk|Xk-1)p(Yk-1|Z1:k-1)dYk-1
更新过程为: p ( Y k | Z 1 : k ) = p ( Z k | Y k ) p ( Y k | Z 1 : k - 1 ) p ( Z k | Z 1 : k - 1 )
本发明用于多视角下多目标追踪的改进型粒子滤波方法,包括以下步骤:
1.从原始图像信息中获取追踪目标的初始状态。
通过目标检测器或者人工的方法获得目标在初始时刻的状态,包括目标的位置、尺寸大小、遮挡情况、追踪系统中的标定信息得到的映射关系Hc。在标定过程中采用机器视觉领域中较为成熟的张正友标定法得到系统的标定信息。如图4所示,使用大小为8×8的棋盘在公共平面中按照不同的位置、朝向摆放,获取相应的图像信息,再通过张正友标定法得到系统的标定信息和相应的映射关系Hc
2.根据高斯随机方法产生表示目标初始状态的初始粒子集。
假设有n个追踪目标,用Δ={Δ1,Δ2,…,Δn}表示分别表征n个目标组成的粒子集,其中Δi={Δi,1,Δi,2,…,Δi,m}表示第i个粒子集中包含的m个粒子。粒子表示目标一种可能的状态,即一个粒子集里有m种状态。每个粒子状态包含目标位置分量、尺寸大小分量、遮挡分量和权重系数,每一个粒子也可以表示为Yi,k={Posi,k,Si,k,Oi,k},其中是第i个目标在公共平面中的位置,分别在x,y方向的位置坐标,Si,k是目标在公共平面的尺寸大小,是表示目标的遮挡情况的向量,表示的是目标在第c个视角里的遮挡分量。初始时刻粒子的权重全部都置为
在追踪系统中,位置分量、尺寸大小分量决定了遮挡分量,位置是由系统动态模型决定,尺寸大小分量是由目标的位置和标定信息决定。按照高斯分布对初始时刻公共平面中的目标状态进行采样,产生初始时刻的粒子集。高斯分布的方差矩阵中的参数分为位置方差和尺寸方差。位置方差是用来产生服从高斯分布的目标位置,根据实验结果,当设置为目标尺寸的一半效果较好。因为追踪的目标是刚性的,且目标在公共平面中的尺寸大小是固定不变的,所以尺寸方差设置为0。粒子总数越多越就能表示更多中目标的状态,能更好的反应出实际的情况。但是粒子数增多会带来计算量的增大,所以为了保证追踪系统的实时性,我们把每个粒子集中的粒子数限制在100和200之间。
3.根据系统动态模型更新每个粒子的位置分量、尺寸大小状态分量。
系统动态模型采用二阶自回归模型,可以根据历史时刻的位置信息自适应调整目标运动速度。于是有
Posi,k=A1×(Posi,k-1-Posi,0)+A2×(Posi,k-2-Posi,0)+Posi,0
其中
Figure BSA00000390617000051
Figure BSA00000390617000052
δ~N(0,Ψ)是均值为0,方差矩阵为Ψ的高斯噪声。方差矩阵
Figure BSA00000390617000053
其中θx,θy是方差参数,通过对实验结果分析发现方差取值和目标尺寸大小相关的时候二阶自回归模型的效果较好,取为目标在公共平面中大小尺寸里宽度的一半。由二阶自回归运动模型可以得到新的位置分量,因为假设目标是刚性目标,所以每个粒子里表示公共平面中的目标尺寸大小的分量是固定不变的,保持为初始时刻的取值。
4.根据目标之间的遮挡关系更新每个粒子的遮挡分量。
根据目标之间的位置关系和目标的尺寸信息,可以更新状态中遮挡分量。根据目标在同一视角方向的投影关系,当两个目标在同一个图像平面中的投影的中心位置之间的距离小于一定阈值的时候就认为两个目标之间存在遮挡,该阈值取为目标尺寸的一半。
通过标定信息得到的映射关系Hc,我们可以把每个目标在公共平面的位置信息转换得到在图像平面中的位置信息,把目标的在公共平面的尺寸大小转换得到图像平面中的尺寸大小,即
Figure BSA00000390617000054
Figure BSA00000390617000055
是目标在第c个图像平面中的尺寸大小;
Figure BSA00000390617000056
Figure BSA00000390617000057
是目标在第c个图像平面中的位置。
如图2所示,通过多个目标在同一图像平面中的位置、尺寸大小信息,我们可以进一步得到在同一图像平面中任意两个目标之间的信息。假设任意两个目标分别为目标i和目标j,用
Figure BSA00000390617000058
表示他们在第c个图像平面中的遮挡情况,用
Figure BSA00000390617000059
表示第i个目标离第c个摄像头的距离;
Figure BSA000003906170000510
表示第j个目标离第c个摄像头的距离。在第c个图像平面中目标i,j中心之间的距离为
Figure BSA000003906170000511
目标在第c个图像平面中的宽度分别为如果
Figure BSA000003906170000513
则可以直接认为两个目标之间不存在遮挡,即
Figure BSA000003906170000514
目标的重叠范围按照目标宽度进行计算,目标中心位置之间的距离小于一定阈值就认为目标之间存在遮挡,阈值取为即当
Figure BSA000003906170000516
时就认为目标i和目标j之间可能存在遮挡;反之认为两个目标之间不存在遮挡,有
Figure BSA000003906170000517
通过进一步判断两个目标离摄像头的距离关系可以得出目标i是否被目标j遮挡。当两个目标离摄像头的距离关系有
Figure BSA000003906170000518
时,目标i被目标j遮挡,反之目标i没有被目标j遮挡,
Figure BSA000003906170000520
于是可以得到目标i在第c个摄像头中的遮挡变量
Figure BSA00000390617000061
R表示追踪场景中所有目标的集合。在所有摄像头对应的图像平面中重复上述过程就可以得到所有目标的遮挡分量。
5.获取表征每个目标的全局特征量,并通过观测模型得到粒子集中每个粒子的权重。归一化得到新的粒子集。
观测模型中目标的特征量是由粒子的所有状态分量共同决定的。通过标定信息可以得到目标状态从公共平面映射到每个图像平面的关系。通过这种映射关系得到目标在每个图像平面中的位置、尺寸状态和遮挡状态。利用每个图像平面中位置分量
Figure BSA00000390617000062
尺寸大小分量
Figure BSA00000390617000063
可以得到目标的颜色直方图表示为
Figure BSA00000390617000064
其中
Figure BSA00000390617000065
表示第c个视角中目标i对应的颜色直方图。把每个图像平面中目标的颜色直方图与对应的遮挡变量结合就可以得到目标的全局特征量Hi,k。然后在观测模型中使用该全局特征量与初始时刻目标的特征量进行比较,得到每个粒子的权重值。
系统观测模型中的直方图是HSV通道的颜色直方图,并且把三个通道的值进行变换使得H通道的取值为[1,360],S通道的取值为[0,1],V通道的取值为[0,1]。对所有视角中目标的颜色直方图与其对应遮挡变量乘积的累加,再进行归一化,可以得到每个粒子对应的目标全局特征量。表示为
Figure BSA00000390617000066
Hi,k表示的是第i个目标的全局特征量,
Figure BSA00000390617000067
表示的是第i个目标在第j个视角对应图像平面中的直方图分量,
Figure BSA00000390617000068
表示的是目标在第j个视角对应图像平面中的遮挡变量,δ为归一化系数,c为摄像头数目。每个粒子的权重可以按照下面的式子计算:
w i , k = 1 2 π σ h exp { - d i , k 2 2 σ h 2 }
di,k是当前时刻全局特征量和初始时刻全局特征量之间的Bhattacharya系数,表示第i个目标k时刻的全局特征量和初始时刻全局特征之间的相似度。通过实验分析发现采用高斯核的形式量化目标特征量之间的相似度能够取得更好的效果,于是采用高斯核的方法。σh为高斯核过程的系数。粒子集中所有粒子可以按照上述方法更新,如
Figure BSA000003906170000610
代表第i个粒子集中第j个粒子的权重。得到所有粒子的权重后对权重进行归一化,
Figure BSA000003906170000611
6.为了减少粒子退化问题的影响,对新的粒子集进行重要性重采样,得到当前时刻最终的粒子集。
把得到的粒子权重进行归一化并更新粒子集,按照重要性重采样策略,复制一定比例权重值较大的粒子,并舍弃相应权重值较小的粒子,再次更新粒子集得到本次粒子滤波过程的最终粒子集。先对粒子集中所有粒子按照权重进行排序,然后得到粒子集中粒子相应的顺序索引值,即权重最大的粒子的索引值为1,权重最小的粒子的索引值为m。然后按照对应粒子的权重和粒子集中粒子总数的乘积进行复制,如果乘积值大于1,就把该粒子按照乘积值复制;如果乘积值小于1,则舍弃该粒子。如果最终复制后粒子数小于初始时的粒子数,则复制权重最大的粒子以保证粒子集中粒子数量和初始时刻相等。
7.根据最终粒子集计算每个目标状态、输出,并把最终粒子集作为下一次粒子滤波过程的输入。
通过计算粒子集中所有粒子状态的均值可以得到目标最终的状态,并将最终粒子集作为下一次粒子滤波的输入。
对应目标在公共平面中的位置为
Figure BSA00000390617000071
其中Posi,k,j表示k时刻表示目标i的第j个粒子对应的目标位置。
利用多摄像头对多目标追踪的主要问题在于追踪目标在多个摄像头信息的协同处理问题。现有的解决多目标之间关联的方法有概率数据关联法、联合概率数据关联方法。本发明主要的内容是使用了一种表示目标遮挡情况的变量,并用一种新的全局特征量来表示每个目标。解决视觉追踪中多目标在多视角中的遮挡问题。
本发明考虑到目标在复杂场景下的遮挡情况,采用了一种简单、有效的计算目标遮挡情况的方法,并在此基础上引入了表示目标全局特征的观测模型。这种新的观测模型在目标没有遮挡的时候能够有效的解决目标姿态变化、光照等因素带来的目标丢失情况。本发明的有益之处还在于使用多视角信息之间的协同处理,适用于复杂场景下目标追踪。尤其是当目标之间存在严重的遮挡情况下也能够对目标保持较好的追踪效果,并且使用的目标全局特征量能够较好的提高追踪精度。

Claims (3)

1.一种用于多视角下多目标追踪的改进型粒子滤波方法,其特征在于,包括以下步骤:
(1)从原始图像信息中获取追踪目标的初始状态;
(2)根据高斯随机方法产生表示目标初始状态的初始粒子集;
(3)根据系统动态模型更新每个粒子的位置分量、尺寸大小状态分量;
(4)根据目标之间的遮挡关系更新每个粒子的遮挡分量;
(5)获取表征每个目标的全局特征量,并通过观测模型得到粒子集中每个粒子的权重,归一化得到新的粒子集;
(6)对新的粒子集进行重要性重采样,得到当前时刻最终的粒子集;
(7)根据最终粒子集计算每个目标状态、输出,并把最终粒子集作为下一次粒子滤波过程的输入;
所述步骤(1)中,所述目标的初始状态为目标在初始时刻的状态,包括目标的位置、尺寸大小、遮挡情况和追踪系统中的标定信息得到的映射关系Hc
所述步骤(2)具体为,假设有n个追踪目标,Δ={Δ1,Δ2,…;Δn}是分别表征n个目标的粒子集组成的集合,其中Δi={Δi,1,Δi,2,…,Δi,m}表示第i个粒子集,包含m个粒子;粒子表示目标一种可能的状态,即一个粒子集里有m种状态;每个粒子状态包含目标位置分量、尺寸大小分量、遮挡分量和权重系数,每一个粒子也可以表示为Yi,k={Posi,k,Si,k,Oi,k},其中
Figure FSB00000903838800011
是第i个目标在公共平面中的位置,分别在x,y方向的位置坐标,Si,k是目标在公共平面的尺寸大小,
Figure FSB00000903838800013
是表示目标的遮挡情况的向量,
Figure FSB00000903838800014
表示的是目标在第c个视角里的遮挡分量;初始时刻粒子的权重全部都置为
Figure FSB00000903838800015
所述步骤(3)具体为,系统动态模型采用二阶自回归模型,可以根据历史时刻的位置信息自适应调整目标运动速度;于是有:
Posi,k=A1×(Posi,k-1-Posi,0)+A2×(Posi,k-2-Posi,0)+Posi,0+δ,
其中 A 1 = 2 0 0 2 , A 2 = - 1 0 0 - 1 , δ~N(0,Ψ)是均值为0,方差矩阵为Ψ的高斯噪声;方差矩阵 Ψ = θ x 2 0 0 θ y 2 , 其中θx,θy是方差参数,θx,θy取为目标在公共平面中大小尺寸里宽度的一半;由二阶自回归运动模型可以得到新的位置分量,因为假设目标是刚性目标,所以每个粒子里表示公共平面中的目标尺寸大小的分量是固定不变的,保持为初始时刻的取值;
所述步骤(4)包括以下子步骤:
(A)根据目标之间的位置关系和目标的尺寸信息,可以更新状态中遮挡分量;根据目标在同一视角方向的投影关系,当两个目标在同一个图像平面中的投影的中心位置之间的距离小于一定阈值的时候就认为两个目标之间存在遮挡,该阈值取为目标尺寸的一半;每个目标在公共平面的位置信息通过标定信息得到的映射关系Hc转换得到在图像平面中的位置信息,把目标的在公共平面的尺寸大小转换得到图像平面中的尺寸大小,即
Figure FSB00000903838800022
是目标在第c个图像平面中的尺寸大小;目标在第c个图像平面中的位置
Figure FSB00000903838800023
Figure FSB00000903838800024
(B)通过多个目标在同一图像平面中的位置、尺寸大小信息得到在同一图像平面中任意两个目标之间的信息:假设任意两个目标分别为目标i和目标j,用
Figure FSB00000903838800025
表示他们在第c个图像平面中的遮挡情况,用
Figure FSB00000903838800026
表示第i个目标离第c个摄像头的距离;
Figure FSB00000903838800027
表示第j个目标离第c个摄像头的距离;在第c个图像平面中目标i,j中心之间的距离为
Figure FSB00000903838800028
目标在第c个图像平面中的宽度分别为
Figure FSB00000903838800029
Figure FSB000009038388000210
如果
Figure FSB000009038388000211
则可以直接认为两个目标之间不存在遮挡,即
Figure FSB000009038388000212
(C)目标的重叠范围按照目标宽度进行计算,目标中心位置之间的距离小于一定阈值就认为目标之间存在遮挡,阈值取为
Figure FSB000009038388000213
即当
Figure FSB000009038388000214
时就认为目标i和目标j之间可能存在遮挡;反之认为两个目标之间不存在遮挡,有
Figure FSB000009038388000215
通过进一步判断两个目标离摄像头的距离大小关系可以得出目标i是否被目标j遮挡;当两个目标离摄像头的距离关系有
Figure FSB000009038388000216
时,目标i被目标j遮挡,
Figure FSB000009038388000217
反之目标i没有被目标j遮挡,
Figure FSB000009038388000218
于是可以得到目标i在第c个摄像头中的遮挡变量
Figure FSB000009038388000219
R表示追踪场景中所有目标的集合;在所有摄像头对应的图像平面中重复上述过程就可以得到所有目标的遮挡分量;
所述步骤(5)包括以下子步骤:
(a)观测模型中目标的特征量是由粒子的所有状态分量共同决定的;通过标定信息可以得到目标状态从公共平面映射到每个图像平面的关系;通过这种映射关系得到目标在每个图像平面中的位置、尺寸状态和遮挡状态;利用每个图像平面中位置分量
Figure FSB000009038388000220
尺寸大小分量
Figure FSB000009038388000221
可以得到目标的颜色直方图表示为
Figure FSB000009038388000222
其中
Figure FSB000009038388000223
表示第c个视角中目标i对应的颜色直方图;把每个图像平面中目标的颜色直方图与对应的遮挡变量结合就可以得到目标的全局特征量Hi,k;然后在观测模型中使用该全局特征量与初始时刻目标的特征量进行比较,得到每个粒子的权重值;
(b)系统观测模型中的直方图是HSV通道的颜色直方图,并且把三个通道的值进行变换使得H通道的取值为[1,360],S通道的取值为[0,1],V通道的取值为[0,1];对所有视角中目标的颜色直方图与其对应遮挡变量乘积的累加,再进行归一化,可以得到每个粒子对应的目标全局特征量;表示为
Figure FSB00000903838800031
Hi,k表示的是第i个目标的全局特征量,
Figure FSB00000903838800032
表示的是第i个目标在第j个视角对应图像平面中的直方图分量,表示的是目标在第j个视角对应图像平面中的遮挡变量,
Figure FSB00000903838800034
为归一化系数,c为摄像头数目;
(c)每个粒子的权重可以按照下面的式子计算:
w i , k = 1 2 π σ h exp { d i , k 2 2 σ h 2 }
其中,di,k是当前时刻全局特征量和初始时刻全局特征量之间的Bhattacharya系数,表示第i个目标k时刻的全局特征量和初始时刻全局特征之间的相似度;σh为高斯核过程的系数;粒子集中所有粒子可以按照上述方法更新,如
Figure FSB00000903838800036
代表第i个粒子集中第j个粒子的权重;得到所有粒子的权重后对权重进行归一化, w i , k ( j ) = w i , k ( j ) Σ l = 1 m w i , k ( l ) ;
上述k均表示k时刻。
2.根据权利要求1所述用于多视角下多目标追踪的改进型粒子滤波方法,其特征在于,所述步骤(6)具体为:把得到的粒子权重进行归一化并更新粒子集,按照重要性重采样策略,复制一定比例权重值较大的粒子,并舍弃相应权重值较小的粒子,再次更新粒子集得到本次粒子滤波过程的最终粒子集;先对粒子集中所有粒子按照权重进行排序,然后得到相应的顺序索引值,即权重最大的排第一,权重最小的排最后;然后按照对应粒子的权重和粒子集中粒子总数的乘积进行复制,如果乘积值大于1,就把该粒子按照乘积值复制;如果乘积值小于1,则舍弃该粒子;如果最终复制后粒子数小于初始时的粒子数,则复制权重最大的粒子以保证粒子集中粒子数量和初始时刻相等。
3.根据权利要求1所述用于多视角下多目标追踪的改进型粒子滤波方法,其特征在于,所述步骤(7)具体为:通过计算粒子集中所有粒子状态的均值可以得到目标最终的状态,并将最终粒子集作为下一次粒子滤波的输入;对应目标在公共平面中的位置为
Figure FSB00000903838800041
其中Posi,k,j表示k时刻表示目标i的第j个粒子对应的目标位置。
CN 201010595201 2010-12-10 2010-12-10 一种用于多视角下多目标追踪的改进型粒子滤波方法 Expired - Fee Related CN102063625B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010595201 CN102063625B (zh) 2010-12-10 2010-12-10 一种用于多视角下多目标追踪的改进型粒子滤波方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010595201 CN102063625B (zh) 2010-12-10 2010-12-10 一种用于多视角下多目标追踪的改进型粒子滤波方法

Publications (2)

Publication Number Publication Date
CN102063625A CN102063625A (zh) 2011-05-18
CN102063625B true CN102063625B (zh) 2012-12-26

Family

ID=43998894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010595201 Expired - Fee Related CN102063625B (zh) 2010-12-10 2010-12-10 一种用于多视角下多目标追踪的改进型粒子滤波方法

Country Status (1)

Country Link
CN (1) CN102063625B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102937412B (zh) * 2012-11-14 2015-07-01 北京汉邦高科数字技术股份有限公司 一种摄像设备异物遮挡检测及智能报警的方法
CN105574836A (zh) * 2014-10-10 2016-05-11 李敏 基于并行计算的三维人体运动粒子滤波跟踪算法
CN104758004B (zh) * 2015-04-21 2018-05-04 深圳开立生物医疗科技股份有限公司 超声影像中感兴趣区域的追踪方法、装置和超声系统
CN107346538A (zh) * 2016-05-06 2017-11-14 株式会社理光 对象跟踪方法及设备
CN109003288A (zh) * 2017-05-31 2018-12-14 国基电子(上海)有限公司 多目标追踪方法、电子装置及计算机可读存储介质
CN108596245B (zh) * 2018-04-20 2021-10-15 九江学院 一种基于多视图协同完整鉴别子空间学习的人脸识别方法
CN109523027B (zh) * 2018-10-22 2021-01-05 新智数字科技有限公司 一种基于贝叶斯网络的锅炉运行数据监测方法和装置
CN109919973B (zh) * 2019-02-19 2020-11-17 上海交通大学 基于多特征联合的多视角目标关联方法、系统及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165688A (ja) * 2003-12-02 2005-06-23 Fuji Xerox Co Ltd 複数対象物追跡方法及びシステム
CN101051385A (zh) * 2006-04-07 2007-10-10 欧姆龙株式会社 特定被摄体跟踪方法和装置以及特征部跟踪方法和装置
EP2037410A1 (en) * 2007-09-14 2009-03-18 Thomson Licensing Method for tracking an object in a sequence of images and device implementing said method
CN101877130A (zh) * 2009-04-29 2010-11-03 中国科学院自动化研究所 复杂场景下基于粒子滤波器的运动目标跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080243425A1 (en) * 2007-03-28 2008-10-02 Eliazar Austin I D Tracking target objects through occlusions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165688A (ja) * 2003-12-02 2005-06-23 Fuji Xerox Co Ltd 複数対象物追跡方法及びシステム
CN101051385A (zh) * 2006-04-07 2007-10-10 欧姆龙株式会社 特定被摄体跟踪方法和装置以及特征部跟踪方法和装置
EP2037410A1 (en) * 2007-09-14 2009-03-18 Thomson Licensing Method for tracking an object in a sequence of images and device implementing said method
CN101877130A (zh) * 2009-04-29 2010-11-03 中国科学院自动化研究所 复杂场景下基于粒子滤波器的运动目标跟踪方法

Also Published As

Publication number Publication date
CN102063625A (zh) 2011-05-18

Similar Documents

Publication Publication Date Title
CN102063625B (zh) 一种用于多视角下多目标追踪的改进型粒子滤波方法
Ke et al. Multi-dimensional traffic congestion detection based on fusion of visual features and convolutional neural network
CN110070074B (zh) 一种构建行人检测模型的方法
CN110796168A (zh) 一种基于改进YOLOv3的车辆检测方法
CN104574439A (zh) 一种融合卡尔曼滤波与tld算法的目标跟踪方法
WO2023065395A1 (zh) 作业车辆检测与跟踪方法和系统
CN102142085B (zh) 一种林区监控视频中运动火焰目标的鲁棒跟踪方法
CN104616318A (zh) 一种视频序列图像中的运动目标跟踪方法
CN102592138B (zh) 基于多模块稀疏投影的密集场景目标跟踪方法
CN103150740A (zh) 一种基于视频的运动目标跟踪方法和系统
CN101308607A (zh) 基于视频的混合交通环境下移动目标多特征融合跟踪方法
CN106408592A (zh) 一种基于目标模板更新的目标跟踪方法
CN102722702B (zh) 多特征融合的粒子滤波视频目标跟踪方法
CN104200488A (zh) 一种基于图表示和匹配的多目标跟踪方法
CN103020989A (zh) 一种基于在线场景特征聚类的多视角目标跟踪方法
CN104680559A (zh) 基于运动行为模式的多视角室内行人跟踪方法
CN113592905B (zh) 基于单目摄像头的车辆行驶轨迹预测方法
Meng et al. Video-based vehicle counting for expressway: A novel approach based on vehicle detection and correlation-matched tracking using image data from ptz cameras
CN106780567B (zh) 一种融合颜色和梯度直方图的免疫粒子滤波扩展目标跟踪方法
CN102289822A (zh) 一种多摄像机协同跟踪运动目标的方法
Liu et al. Dynamic RGB-D SLAM based on static probability and observation number
He et al. A novel multi-source vehicle detection algorithm based on deep learning
CN106384359A (zh) 运动目标跟踪方法和电视
CN104091352A (zh) 基于结构相似度的视觉跟踪方法
CN104680194A (zh) 基于随机蕨丛和随机投影的在线目标跟踪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C53 Correction of patent for invention or patent application
CB03 Change of inventor or designer information

Inventor after: Wang Zhi

Inventor after: Zhou Liangyi

Inventor after: Cai Shengsheng

Inventor after: Li An

Inventor after: Xia Aihua

Inventor before: Wang Zhi

Inventor before: Zhou Liangyi

Inventor before: Cai Shengsheng

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: WANG ZHI ZHOU LIANGYI CAI SHENGSHENG TO: WANG ZHI ZHOU LIANGYI CAI SHENGSHENG LI AN XIA AIHUA

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121226

Termination date: 20151210

EXPY Termination of patent right or utility model