背景技术
视频追踪技术作为计算机视觉应用中的重要部分,广泛用于环境监控、人机交互、机器人导航等。其主要目的是通过对摄像头获得的图像序列进行分析,计算出运动目标在每一帧图像上的位置,并根据不同的特征值,将图像序列中连续帧之间的同一运动目标关联起来,得到每帧图像中目标的运动参数以及相邻帧图像间运动目标的对应关系,进一步得到运动目标完整的运动轨迹。近年来比较流行的追踪方法中,基于目标状态估计、滤波的方法具有跟踪精度高,鲁棒性好的有点。这类方法把追踪问题看成是一个对目标状态求解的问题,并运用贝叶斯理论来实现目标状态的求解。因为实际视频追踪过程中存在大量非线性、非高斯分布的情况,所以借助于蒙特卡罗随机模拟的方法来实现贝叶斯滤波——粒子滤波。
现有基于视觉的目标追踪方法中使用的特征量有目标轮廓、目标颜色、运动信息等。目标轮廓适用于刚性目标的追踪,对于非刚性目标并不适用;运动信息适用于运动目标的追踪,当目标静止时就会丢失信息不能工作。目标颜色既能适应刚性、非刚性目标,同时也不受制于目标是否运动,但是光照变化对颜色信息的影响较大。
贝叶斯滤波的实质是用所有已有信息来构造系统状态变量的后验概率密度,再用最近的测量值进行修正,即通过观测数据Z1:k来递推计算状态Xk取不同值时的置信度p(Xk|Z1:k),由此获得最优的状态估计。用数学来描述这个过程如下。目标的状态方程定义为:
其中,Xk是k时刻的系统状态向量,表示目标的位置、大小尺寸,Uk是系统随机噪声,可看作是高斯噪声,F(·)是系统状态转移模型;Zk是k时刻的系统观测向量,Vk是系统随机噪声,可看作是高斯噪声,H(·)是系统观测模型。假设初始概率密度p(X0|Z0)已知,贝叶斯估计过程就是利用初始密度和所有观测序列通过预测和更新两步估计出后验概率密度p(Xk|Z1:k),其中Z1:k={Z1,Z2,…,Zk}是对系统进行k次观测得到观测序列。
预测:由系统的状态转移模型,在未获得k时刻的观测值时,实现先验概率p(Xk-1|Z1:k-1)至先验概率p(Xk|Z1:k-1)的推导。
假设p(Xk-1|Zk-1)已知,利用系统状态转移方程和Chapman-Kolmogorov方程有预测方程:p(Xk|Z1:k-1)=∫p(Xk|Xk-1)p(Xk-1|Z1:k-1)dXk-1
更新:即由系统的观测模型,在获得k时刻的观测值Zk后,实现先验概率p(Xk|Z1:k-1)至后验概率p(Xk|Z1:k)的推导。
由贝叶斯公式简化可得:p(Xk|Z1:k)∝p(Zk|Xk)p(Xk|Z1:k-1)
其中p(Zk|Xk)是似然性,p(Xk|Z1:k-1)是预测阶段得到的。
但是在一般情况下,p(Xk|Z1:k)的显式解是无法得到的,所以可以用粒子滤波器来实现贝叶斯滤波。
粒子滤波是一种基于蒙特卡罗随机模拟的滤波方法。它是通过一群随机采样得到的粒子集来近似系统的状态分布,每个粒子表示一种状态,并赋予权重表示该粒子的置信度。粒子的状态通过动态模型得到更新,在下一个时刻通过系统观测模型更新粒子的权重。为了避免粒子退化现象,引入重要性重采样。复制权重值较大的粒子,舍弃权重值较小的粒子。
现在粒子滤波方法用在视频追踪中的主要步骤如下:
1.从在原始图像获取表征目标的初始粒子集。每一个粒子的状态都代表目标可能的一种状态。粒子状态包括目标的大小、位置等。一般假设初始粒子集是服从高斯分布,均值由目标检测器或者人工标注所得。协方差矩阵的参数包括运动模型的方差和尺寸变化的方差。产生M个服从高斯分布的粒子。
2.根据状态的动态模型p(X
k|X
k-1)更新粒子的状态,得到
3.根据系统的观测模型p(Z
k|X
k)获得每个粒子的权重值,并归一化粒子集中所有粒子的权重,得到新的粒子集
粒子权重表示粒子代表的状态的置信度,权重越大表示状态可能性越高,反之可能性越低。
4.根据重要性重采样方法对粒子集进行重采样,得到新的粒子集
5.估计系统的状态
得到目标在k时刻的状态。并重复第二步,实现连续视频帧中的目标追踪。
现有的追踪技术中的不足之处在于:第一,适用的场景较为简单,大都是针对单一的摄像头和单目标追踪,目标之间的遮挡情况不严重,但是现实环境中大都是多摄像头和多目标的情况,并且目标之间可能还存在较为严重遮挡。第二,针对多视角下多目标追踪没有很好的处理目标的之间的遮挡情况,现有技术并没有完全发挥多摄像头带来的互补优势。在复杂场景中对目标特征量的表示仍然使用单摄像头中的简单表示,使得目标的表示不够全面、详细,使得多目标追踪过程中容易丢失目标。
发明内容
本发明的目的在于针对现有技术的不足,提供一种用于多视角下多目标追踪的改进型粒子滤波方法。
为了实现上述的目的,本发明采取如下技术方案:一种用于多视角下多目标追踪的改进型粒子滤波方法,包括以下步骤:
(1)从原始图像信息中获取追踪目标的初始状态。
(2)根据高斯随机方法产生表示目标初始状态的初始粒子集。
(3)根据系统动态模型更新每个粒子的位置分量、尺寸大小状态分量。
(4)根据目标之间的遮挡关系更新每个粒子的遮挡分量。
(5)获取表征每个目标的全局特征量,并通过观测模型得到粒子集中每个粒子的权重,归一化得到新的粒子集。
(6)对新的粒子集进行重要性重采样,得到当前时刻最终的粒子集。
(7)根据最终粒子集计算每个目标状态、输出,并把最终粒子集作为下一次粒子滤波过程的输入。
本发明的有益效果是,能够保证在多视角场景中对多目标追踪的高准确性。利用多视角之间信息的协同关系,能够得到更好的目标表示方法,提高追踪精度。尤其是在目标之间存在严重遮挡的情况下也能够有效追踪目标,不会产生丢失的情况。
具体实施方式:
本发明专利在多视角下使用粒子滤波和特征融合实现多目标追踪。目标追踪方法的原理是:使用多个标定好的摄像头获取包含目标的视频数据。利用先验信息对目标进行建模,获取目标的初始状态,如大小、位置、特征、遮挡等。然后利用粒子滤波的方法在贝叶斯估计的框架下对目标进行追踪。
对追踪系统中每个时刻引入表示目标遮挡情况的变量Ok={O1,k,O2,k…On,k},Oi,k∈{0,1}表示k时刻目标的遮挡情况。Oi,k=1表示目标在第i个摄像头中没有被遮挡,Oi,k=0表示目标在第i个摄像头中被遮挡。假设所有追踪目标的位置、大小组成的状态向量为Xk,现在新的状态变量为Yk={Xk,Ok}。Xk的转移模型为p(Xk|Xk-1),系统的测量模型为p(Xk|Yk)。因为遮挡状态变量决定于当前时刻目标的位置和大小,而遮挡变量不决定目标的大小和位置,所以引入遮挡变量后的贝叶斯估计过程为:
预测过程为:
p(Yk|Z1:k-1)=∫p(Yk|Yk-1)p(Yk-1|Z1:k-1)dYk-1
=∫p(Ok,Xk|Yk-1)p(Yk-1|Z1:k-1)dYk-1
=∫p(Ok|Xk,Yk-1)p(Xk|Yk-1)p(Yk-1|Z1:k-1)dYk-1
=∫p(Ok|Xk)p(Xk|Xk-1)p(Yk-1|Z1:k-1)dYk-1
更新过程为:
本发明用于多视角下多目标追踪的改进型粒子滤波方法,包括以下步骤:
1.从原始图像信息中获取追踪目标的初始状态。
通过目标检测器或者人工的方法获得目标在初始时刻的状态,包括目标的位置、尺寸大小、遮挡情况、追踪系统中的标定信息得到的映射关系Hc。在标定过程中采用机器视觉领域中较为成熟的张正友标定法得到系统的标定信息。如图4所示,使用大小为8×8的棋盘在公共平面中按照不同的位置、朝向摆放,获取相应的图像信息,再通过张正友标定法得到系统的标定信息和相应的映射关系Hc。
2.根据高斯随机方法产生表示目标初始状态的初始粒子集。
假设有n个追踪目标,用Δ={Δ
1,Δ
2,…,Δ
n}表示分别表征n个目标组成的粒子集,其中Δ
i={Δ
i,1,Δ
i,2,…,Δ
i,m}表示第i个粒子集中包含的m个粒子。粒子表示目标一种可能的状态,即一个粒子集里有m种状态。每个粒子状态包含目标位置分量、尺寸大小分量、遮挡分量和权重系数,每一个粒子也可以表示为Y
i,k={Pos
i,k,S
i,k,O
i,k},其中
是第i个目标在公共平面中的位置,
分别在x,y方向的位置坐标,S
i,k是目标在公共平面的尺寸大小,
是表示目标的遮挡情况的向量,
表示的是目标在第c个视角里的遮挡分量。初始时刻粒子的权重全部都置为
在追踪系统中,位置分量、尺寸大小分量决定了遮挡分量,位置是由系统动态模型决定,尺寸大小分量是由目标的位置和标定信息决定。按照高斯分布对初始时刻公共平面中的目标状态进行采样,产生初始时刻的粒子集。高斯分布的方差矩阵中的参数分为位置方差和尺寸方差。位置方差是用来产生服从高斯分布的目标位置,根据实验结果,当设置为目标尺寸的一半效果较好。因为追踪的目标是刚性的,且目标在公共平面中的尺寸大小是固定不变的,所以尺寸方差设置为0。粒子总数越多越就能表示更多中目标的状态,能更好的反应出实际的情况。但是粒子数增多会带来计算量的增大,所以为了保证追踪系统的实时性,我们把每个粒子集中的粒子数限制在100和200之间。
3.根据系统动态模型更新每个粒子的位置分量、尺寸大小状态分量。
系统动态模型采用二阶自回归模型,可以根据历史时刻的位置信息自适应调整目标运动速度。于是有
Posi,k=A1×(Posi,k-1-Posi,0)+A2×(Posi,k-2-Posi,0)+Posi,0+δ
其中
δ~N(0,Ψ)是均值为0,方差矩阵为Ψ的高斯噪声。方差矩阵
其中θ
x,θ
y是方差参数,通过对实验结果分析发现方差取值和目标尺寸大小相关的时候二阶自回归模型的效果较好,取为目标在公共平面中大小尺寸里宽度的一半。由二阶自回归运动模型可以得到新的位置分量,因为假设目标是刚性目标,所以每个粒子里表示公共平面中的目标尺寸大小的分量是固定不变的,保持为初始时刻的取值。
4.根据目标之间的遮挡关系更新每个粒子的遮挡分量。
根据目标之间的位置关系和目标的尺寸信息,可以更新状态中遮挡分量。根据目标在同一视角方向的投影关系,当两个目标在同一个图像平面中的投影的中心位置之间的距离小于一定阈值的时候就认为两个目标之间存在遮挡,该阈值取为目标尺寸的一半。
通过标定信息得到的映射关系H
c,我们可以把每个目标在公共平面的位置信息转换得到在图像平面中的位置信息,把目标的在公共平面的尺寸大小转换得到图像平面中的尺寸大小,即
是目标在第c个图像平面中的尺寸大小;
是目标在第c个图像平面中的位置。
如图2所示,通过多个目标在同一图像平面中的位置、尺寸大小信息,我们可以进一步得到在同一图像平面中任意两个目标之间的信息。假设任意两个目标分别为目标i和目标j,用
表示他们在第c个图像平面中的遮挡情况,用
表示第i个目标离第c个摄像头的距离;
表示第j个目标离第c个摄像头的距离。在第c个图像平面中目标i,j中心之间的距离为
目标在第c个图像平面中的宽度分别为
如果
则可以直接认为两个目标之间不存在遮挡,即
目标的重叠范围按照目标宽度进行计算,目标中心位置之间的距离小于一定阈值就认为目标之间存在遮挡,阈值取为
即当
时就认为目标i和目标j之间可能存在遮挡;反之认为两个目标之间不存在遮挡,有
通过进一步判断两个目标离摄像头的距离关系可以得出目标i是否被目标j遮挡。当两个目标离摄像头的距离关系有
时,目标i被目标j遮挡,
反之目标i没有被目标j遮挡,
于是可以得到目标i在第c个摄像头中的遮挡变量
R表示追踪场景中所有目标的集合。在所有摄像头对应的图像平面中重复上述过程就可以得到所有目标的遮挡分量。
5.获取表征每个目标的全局特征量,并通过观测模型得到粒子集中每个粒子的权重。归一化得到新的粒子集。
观测模型中目标的特征量是由粒子的所有状态分量共同决定的。通过标定信息可以得到目标状态从公共平面映射到每个图像平面的关系。通过这种映射关系得到目标在每个图像平面中的位置、尺寸状态和遮挡状态。利用每个图像平面中位置分量
尺寸大小分量
可以得到目标的颜色直方图表示为
其中
表示第c个视角中目标i对应的颜色直方图。把每个图像平面中目标的颜色直方图与对应的遮挡变量结合就可以得到目标的全局特征量H
i,k。然后在观测模型中使用该全局特征量与初始时刻目标的特征量进行比较,得到每个粒子的权重值。
系统观测模型中的直方图是HSV通道的颜色直方图,并且把三个通道的值进行变换使得H通道的取值为[1,360],S通道的取值为[0,1],V通道的取值为[0,1]。对所有视角中目标的颜色直方图与其对应遮挡变量乘积的累加,再进行归一化,可以得到每个粒子对应的目标全局特征量。表示为
H
i,k表示的是第i个目标的全局特征量,
表示的是第i个目标在第j个视角对应图像平面中的直方图分量,
表示的是目标在第j个视角对应图像平面中的遮挡变量,δ为归一化系数,c为摄像头数目。每个粒子的权重可以按照下面的式子计算:
d
i,k是当前时刻全局特征量和初始时刻全局特征量之间的Bhattacharya系数,表示第i个目标k时刻的全局特征量和初始时刻全局特征之间的相似度。通过实验分析发现采用高斯核的形式量化目标特征量之间的相似度能够取得更好的效果,于是采用高斯核的方法。σ
h为高斯核过程的系数。粒子集中所有粒子可以按照上述方法更新,如
代表第i个粒子集中第j个粒子的权重。得到所有粒子的权重后对权重进行归一化,
6.为了减少粒子退化问题的影响,对新的粒子集进行重要性重采样,得到当前时刻最终的粒子集。
把得到的粒子权重进行归一化并更新粒子集,按照重要性重采样策略,复制一定比例权重值较大的粒子,并舍弃相应权重值较小的粒子,再次更新粒子集得到本次粒子滤波过程的最终粒子集。先对粒子集中所有粒子按照权重进行排序,然后得到粒子集中粒子相应的顺序索引值,即权重最大的粒子的索引值为1,权重最小的粒子的索引值为m。然后按照对应粒子的权重和粒子集中粒子总数的乘积进行复制,如果乘积值大于1,就把该粒子按照乘积值复制;如果乘积值小于1,则舍弃该粒子。如果最终复制后粒子数小于初始时的粒子数,则复制权重最大的粒子以保证粒子集中粒子数量和初始时刻相等。
7.根据最终粒子集计算每个目标状态、输出,并把最终粒子集作为下一次粒子滤波过程的输入。
通过计算粒子集中所有粒子状态的均值可以得到目标最终的状态,并将最终粒子集作为下一次粒子滤波的输入。
对应目标在公共平面中的位置为
其中Pos
i,k,j表示k时刻表示目标i的第j个粒子对应的目标位置。
利用多摄像头对多目标追踪的主要问题在于追踪目标在多个摄像头信息的协同处理问题。现有的解决多目标之间关联的方法有概率数据关联法、联合概率数据关联方法。本发明主要的内容是使用了一种表示目标遮挡情况的变量,并用一种新的全局特征量来表示每个目标。解决视觉追踪中多目标在多视角中的遮挡问题。
本发明考虑到目标在复杂场景下的遮挡情况,采用了一种简单、有效的计算目标遮挡情况的方法,并在此基础上引入了表示目标全局特征的观测模型。这种新的观测模型在目标没有遮挡的时候能够有效的解决目标姿态变化、光照等因素带来的目标丢失情况。本发明的有益之处还在于使用多视角信息之间的协同处理,适用于复杂场景下目标追踪。尤其是当目标之间存在严重的遮挡情况下也能够对目标保持较好的追踪效果,并且使用的目标全局特征量能够较好的提高追踪精度。