CN102521612A - 一种基于协同关联粒子滤波的多视频目标主动跟踪方法 - Google Patents

Abstract

本发明属智能视频处理技术领域，涉及一种多视频目标主动跟踪方法，特别是涉及一种基于协同关联粒子滤波的多视频目标主动跟踪方法，包括基于视觉注意主动发现新目标、建议分布建立、样本采集、协同关联权值计算、状态输出和重采样，应用视觉注意机制检测目标，以实现对突然进入场景的新目标的主动跟踪，以及建立新的建议分布时所需目标状态信息的检测；采用协同数据关联方法对目标航迹进行关联并计算粒子权值。本发明利用视觉注意机制“主动发现”目标，解决了目标的出现、消失，以及交互目标的合并、分裂以及过遮挡造成的误跟踪及跟踪丢失问题；很好的解决了复杂情况下普通多目标跟踪算法的跟踪失败及误跟踪等问题。

Description

一种基于协同关联粒子滤波的多视频目标主动跟踪方法

技术领域

本发明属智能视频处理技术领域，涉及一种多视频目标主动跟踪方法，特别是涉及一种基于协同关联粒子滤波的多视频目标主动跟踪方法。

背景技术

传统的视频监控系统仅能在危害事件发生后，通过视频画面的回放来获取线索，这并不能从根本上减少危害事件的发生。智能视频监控系统则可以在危害事情发生之前发出预警，防患于未然。智能视频监控系统中，智能分析系统是最关键的组成部分，它目前有两种架构方式，即嵌入式视频分析和纯软件视频分析，无论是哪种架构，智能视频分析软件都必须完成包括目标检测、跟踪、分类及规则定义等所有功能。在智能视频监控软件中检测到目标后都必须对目标进行实时跟踪，以便实现接下来的分类、行为分析及规则定义等功能，由此可见对视频目标进行实时跟踪是非常重要的环节。

多目标跟踪问题的研究在军事及民用领域都具有重要意义，相比单目标跟踪问题，其面临的难题主要是：状态量测和多个目标之间的关联，以及每个运动目标的模型估计问题。经过半个世纪的发展，很多经典的多目标跟踪算法已提出，主要包括：最近邻滤波法、联合概率数据关联法、多假设跟踪滤波法以及基于随机集理论的多目标跟踪方法。但是，这些方法仅利用了在统计意义上与被跟踪目标的预测位置最近的量测作为候选目标测量，通过该候选测量更新航迹，但是这些方法在实际应用中往往会发生误跟踪和跟踪丢失等现象。其中一些则假定场景中目标数目不变，不符合实际情况。还有一些会随着目标数量的增加计算量急剧上升，限制了其在实际中的应用。虽然有算法将随机集理论与贝叶斯理论结合起来，为解决多目标跟踪问题提供了一个较完备的理论体系，但是很难获得解析形式的最优状态解。另外，虽然粒子滤波算法可以得到解析形式的最优状态解集，但是粒子滤波没有数据关联模块，目标的状态最终是由一个集合形式描述，具体哪个状态对应哪个目标是不清楚的，因此，单个目标的运动航迹无法得知。简单的粒子滤波和联合概率数据关联结合可以解决这个问题，但是，由于多目标间的交互运动和杂波干扰，状态估计中很难将目标观测与该目标状态关联，从而导致跟踪性能下降。另外，在常规的粒子滤波饿联合概率数据关联算法中都没有无法加入交互目标直接的遮挡对算法跟踪的影响。

发明内容

本发明的目的是提供一种多视频目标主动跟踪方法，特别是提供一种基于协同关联粒子滤波的多视频目标主动跟踪方法。

为了实现上述目的，本发明采用的技术方案是：

一种基于协同关联粒子滤波的多视频目标主动跟踪方法，包括基于视觉注意主动发现新目标、建议分布建立、样本采集、协同关联权值计算、状态输出和重采样，应用视觉注意机制检测目标，以实现对突然进入场景的新目标的主动跟踪，以及建立新的建议分布时所需目标状态信息的检测；采用协同数据关联方法对目标航迹进行关联并计算粒子权值；具体依次包括以下步骤：

(1)视觉注意主动发现新目标：

k-1时刻(k≥1)，对视频图像用视觉注意机制算法计算场景中存在的目标，计算目标的显著图特征q_d；

建立协同关联矩阵O_k，所述的协同关联矩阵O_k表示两两目标间的遮挡关系，矩阵中的第i行第j列对应的元素记为O_i，j，表示目标i与j的遮挡关系；当两两目标间的欧氏距离小于目标宽度的一半时，O_i，j＝1(i≠j)，表示目标i遮挡了目标j；其它情况O_i，j＝0(i≠j)，表示两目标间没有发生遮挡；只要i＝j，那么O_i，j＝0；O_i，j与O_j，i不能同时为1，如果目标i的宽度大于j，则O_i，j＝1，反之，O_j，i＝1；

如果发现新目标，则

①建立如下采样建议分布

q_new(X_k|X_k-1，Z_1：k)＝αq_d(X_k|X_k-1，Z_1：k)+(1-α)p(X_k|X_k-1)；

其中，

q_new(X_k|X_k-1，Z_1：k)为新目标的建议分布；

q_d(X_k|X_k-1，Z_1：k)为新目标的视觉显著图特征，X为待估计的当前帧的目标状态，由目标的中心点坐标及对应矩形的长短半轴的长度组成；

Z为观测量；α是比例系数，α∈(0，1)，可动态调整；

②初始化粒子集：在所述的视频图像中，根据先验概率P₀采集N个粒子样本组成k-1时刻的新目标的初始样本集该初始样本集即为初始化的粒子集，其中

表示第i个初始样本，将

定义为每个初始样本的权值，N＝100～10000；

③更新协同关联矩阵O_k；

(2)各目标协同采样：为得到样本集

首先根据所述的采样建议分布和O_k采集样本X_k；其中

是采样得到的第i个样本，

表示第i个样本的权值，

表示第m个目标采样得到的第i个样本；s_mk是协同因子，表示k时刻目标m被遮挡的深度信息，s_mk取值取决于O_k；若k时刻O_i，j＝1，则s_i，k＝1，表示目标i遮挡，s_j，k＝2表示目标j被遮挡，采样时只采目标i的样本，目标j放弃采样过程；如果O_i，j＝0，则s_mk＝0，表示目标没有遮挡或被遮挡，目标i和j都需要采样；

(3)计算协同概率数据关联概率和权值，更新粒子集：

I.利用(2)中采样得到的样本，

①根据联合概率数据关联算法(JPDA)计算协同数据关联概率概率为 ${\mathrm{\β}}_{m,t}=\underset{\mathrm{\θ}\∈{\mathrm{\Θ}}_{m,t}}{\mathrm{\Σ}}{\mathrm{C\γ}}^{M_k-\stackrel{=}{\mathrm{\θ}}}\underset{(m,t)\∈\mathrm{\θ}}{\mathrm{\Π}}{p}_{m,t},$ 其中 $p_{m,t}=\frac{1}{{\left(2\mathrm{\π}\right)}^{Q/2}{\left|S_{m,t}\right|}^{1/2}}\exp \left(\frac{-d_{m,t}^2}{2}\right);$ θ是关联事件集合，每个联合关联事件θ唯一确定目标观测与目标状态的关联；令Θ_m，t表示为观测m关联到目标t的所有有效联合关联事件集合，

为联合关联事件集合的势，M_k表示观测数，为虚警观测；γ为虚警观测概率，

为Z_k中所有虚警观测概率，C为归一化常数，Q为观测变量的维数；

为归一化的观测更新度量，|·|为行列式表示，S_m，t为观测集协方差；

②粒子权值计算：对于目标t，根据联合数据关联概率β_m，t，对粒子集中的N个样本

计算权值

的权值可表示为

其中，p(Z_k，t|X_k，t)是视频目标的观测概率；

II.更新粒子集

(4)状态输出；

k时刻，对于目标t＝1，…，T，视频多目标的状态等于用样本求取的估计值，该估计值用最小均方误差估计(MMSE估计)方法来计算，即估计值

等于

(5)重采样：根据(3)中的

采用累计分布重采样算法采样得到

令粒子权值为重新组成粒子集

(6)循环：令k＝k+1，重复(1)～(5)；直到本视频序列结束。

所述的一种基于协同关联粒子滤波的多视频目标主动跟踪方法，在所述的步骤(1)①中比例系数α取值与视觉注意检测信息中运动显著图特征在总的显著图特征中的比重ξ相等，即α＝ξ，ξ＝q_m/q_d，其中q_m为运动显著图，q_d为总的显著图特征。

所述的一种基于协同关联粒子滤波的多视频目标主动跟踪方法，在所述的步骤(3)I.

②中视频目标的观测概率p(Z_k，t|X_k，t)采用基于核的HSV颜色和空间特征来建立。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明基于协同关联粒子滤波的多视频目标主动跟踪方法，利用视觉注意机制“主动发现”目标，解决了目标的出现、消失，以及交互目标的合并、分裂以及过遮挡造成的误跟踪及跟踪丢失问题；很好的解决了复杂情况下普通多目标跟踪算法的跟踪失败及误跟踪等问题。如果有新目标出现，视觉注意机制可以很快的发现并主动跟踪；并合理利用目标的状态信息建立多目标建议分布，比单一利用目标状态转移概率建立建议分布更符合目标真实情况的。协同数据关联概率能在目标数不确定的情况下很好实现多目标的关联，并有效计算多目标粒子权值。在目标数不确定的多目标跟踪情况下，传统的算法很难做到多目标的有效关联，协同算法的加入，可以综合利用多个目标的关联信息进行多目标关联，相比普通的联合概率数据关联算法，其有效性和准确性得到很大的提高。另外，协同关联矩阵的加入可以在算法运行时充分考虑目标相互遮挡造成的影响，提高了跟踪的准确率。

具体实施方式

下面结合具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的实施方式涉及一种基于协同关联粒子滤波的多视频目标主动跟踪方法，包括基于视觉注意主动发现新目标、建议分布建立、样本采集、协同关联权值计算、状态输出和重采样等步骤实现智能视频的多目标跟踪。本发明采用视觉注意机制“主动发现”目标，可有效解决新目标出现，目标消失，遮挡等交互式干扰的影响，并可利用目标的状态信息建立建议分布，比利用单一的状态转移概率建立建议分布更符合目标的真实情况。协同关联数据概率的应用，比简单的概率数据关联能更好的处理复杂多目标交互情况下的多目标关联及粒子权值计算问题。

具体步骤如下：

(1)视觉注意主动发现新目标：

k-1时刻(k≥1)，对视频图像用视觉注意机制算法计算场景中存在的目标，计算目标的显著图特征q_d。所谓显著性特征即为将多个底层特征融合形成的一个总的显著性测度，通过该显著性测度形成一幅反映显著性特征差异的视觉显著图，并通过返回抑制和注意焦点转移获得一系列显著位置。常规的提取场景图像的显著性特征、形成视觉显著图的方法是：首先建立图像的多特征尺度表示，然后针对每个特征通道，提取局部对比度特征，最后将不同类型的特征融合成总的显著性特征、并形成视觉显著图。

建立协同关联矩阵O_k，所述的协同关联矩阵O_k表示两两目标间的遮挡关系，矩阵中的第i行第j列对应的元素记为O_i，j，表示目标i与j的遮挡关系；当两两目标间的欧氏距离小于目标宽度的一半时，O_i，j＝1(i≠j)，表示目标i遮挡了目标j；其它情况O_i，j＝0(i≠j)，表示两目标间没有发生遮挡；只要i＝j，那么O_i，j＝0；O_i，j与O_j，i不能同时为1，如果目标i的宽度大于j，则O_i，j＝1，反之，O_j，i＝1；

如果发现新目标，则

①建立如下采样建议分布

q_new(X_k|X_k-1，Z_1：k)＝αq_d(X_k|X_k-1，Z_1：k)+(1-α)p(X_k|X_k-1)；

其中，

q_new(X_k|X_k-1，Z_1：k)为新目标的建议分布；

q_d(X_k|X_k-1，Z_1：k)为新目标的视觉显著图特征，X为待估计的当前帧的目标状态，由目标的中心点坐标及对应矩形的长短半轴的长度组成；

Z为观测量；α是比例系数，α∈(0，1)，可动态调整；

②初始化粒子集：在所述的视频图像中，根据先验概率p₀采集N个粒子样本组成k-1时刻的新目标的初始样本集

该初始样本集即为初始化的粒子集，其中

表示第i个初始样本，将

定义为每个初始样本的权值，N＝100～10000；

③更新协同关联矩阵O_k；

(2)各目标协同采样：为得到样本集首先根据所述的采样建议分布和O_k采集样本X_k；其中是采样得到的第i个样本，

表示第i个样本的权值，

表示第m个目标采样得到的第i个样本；s_mk是协同因子，表示k时刻目标m被遮挡的深度信息，s_mk取值取决于O_k；若k时刻O_i，j＝1，则s_i，k＝1，表示目标i遮挡，s_j，k＝2表示目标j被遮挡，采样时只采目标i的样本，目标j放弃采样过程；如果O_i，j＝0，则s_mk＝0，表示目标没有遮挡或被遮挡，目标i和j都需要采样。

为说明在连续视频序列中的采样，需首先说明一下状态转移。状态转移描述了视频目标的动态过程，因此，状态转移模型能刻画视频目标在连续两帧之间的运动特性。一般地，目标的状态转移模型都能概率化为有限阶的状态转移概率p(X_k|X_j：k-1)，其中，0＜j＜k-1。如果将状态转移模型选用随机漂移模型，那么视频目标在第k-1帧图像的位置加上高斯扰动即为其在第k帧的图像上的新位置。假设视频目标的状态向量X表示其在二维图像上的位置，即X＝[x，y]^T，那么k时刻视频目标的状态X_k为：

X_k＝X_k-1+U_k

其中，U_k为二维零均值高斯噪声，故U_k＝[u_x,k，u_y，k]^T。一般都假设随机成分比较大(即噪声的方差比较大)，使得该模型能够更好地跟踪视频目标。时刻根据随机漂移模型和上一刻的粒子

采样得到下一刻的粒子

(3)计算协同概率数据关联概率和权值，更新粒子集：样本的权值决定了该样本对目标状态的近似能力，因此样本的权值计算是非常重要的，为详细说明粒子权值的计算过程，一下分两部分进行说明。

I.利用(2)中采样得到的样本，

①计算协同数据关联概率：设k时刻场景中T个跟踪目标状态为X_k＝{X_k，1，…，X_k，T}，目标观测为

在联合概率数据关联滤波框架下，联合关联事件θ是数据关联对(m，t)∈{1，…，M_k}×{1，…，T}构成的关联事件集合，每个联合关联事件θ唯一确定目标观测与目标状态的关联。令Θ_m，t表示为观测m关联到目标t的所有有效联合关联事件集合，则其数据关联后验概率可表示为：

${\mathrm{\β}}_{m,t}=\underset{\mathrm{\θ}\∈{\mathrm{\Θ}}_{m,t}}{\mathrm{\Σ}}p\left(\mathrm{\θ}\right|Z_{1:k})$

假设数据关联过程是马尔科夫过程，对于单个联合关联事件θ，根据贝叶斯公式关联概率p(θ|Z_1：k)可表示为：p(θ|Z_1：k)＝p(θ|Z_1：k，X_1：k)＝p(θ|Z_k，X_1：k)＝Cp(Z_k|θ，X_1：k)p(θ|X_1：k)

其中C为归一化常数，p(θ|X_1：k)表示在给定目标状态下联合关联事件θ的概率(在此假设事件是等概率的，即p(θ|X_1：k)可近似为常数)，p(Z_k|θ，X_1：k)表示给定目标状态和特定的联合关联事件下的目标观测概率。

一般，观测向量

中存在由杂波引起的虚警。如果联合关联事件集合的势为

则虚警观测可表示为

令虚警观测概率为γ，则在Z_k中所有虚警观测概率为

则目标观测概率可表示为：

$p\left(Z_k\right|\mathrm{\θ},X_{1:k})={\mathrm{\γ}}^{(M_k-\stackrel{=}{\mathrm{\θ}})}\underset{(m,t)\∈\mathrm{\θ}}{\mathrm{\Π}}{p}_{m,t}$

粒子集

上，观测集的均值

和协方差

可定义为：

${\mathrm{\μ}}_{{\hat{Z}}_{k,t}}=\frac{1}{N}{\mathrm{\Σ}}_{i=1}^{N}H\left(X_{k,t}^{\left(i\right)}\right)$

$S_{{\hat{Z}}_{k,t}}=\frac{1}{N}{\mathrm{\Σ}}_{i=1}^N[H\left(X_{k,t}^{\left(i\right)}\right)-{\mathrm{\μ}}_{{\hat{Z}}_{k,t}}]{[H\left(X_{k,t}^{\left(i\right)}\right)-{\mathrm{\μ}}_{{\hat{Z}}_{k,t}}]}^T$

根据Gating技术，由以上统计信息可将视觉目标t的有效观测区域定义为：

${\mathrm{\Ω}}_{k,t}\left(\mathrm{\ϵ}\right)=\{Z_{k,m}:d_{k,t}^2\left(Z_{k,m}\right)\≤\mathrm{\ϵ}\}$

其中

为归一化的观测更新度量，可表示为

$d_{m,t}^2\left(Z_{k,m}\right)={(Z_{k,m}-{\mathrm{\μ}}_{{\stackrel{6}{Z}}_{k,t}})}^T{S}_{{\hat{Z}}_{k,t}}^{-1}(Z_{k,m}-{\mathrm{\μ}}_{{\hat{Z}}_{k,t}})$

因此由Gating技术，数据联想概率可表示为：

${\mathrm{\β}}_{m,t}=\underset{\mathrm{\θ}\∈{\mathrm{\Θ}}_{m,t}}{\mathrm{\Σ}}{\mathrm{C\γ}}^{M_k-\stackrel{=}{\mathrm{\θ}}}\underset{(m,t)\∈\mathrm{\θ}}{\mathrm{\Π}}{p}_{m,t}$

$p_{m,t}=\frac{1}{{\left(2\mathrm{\π}\right)}^{Q/2}{\left|S_{m,t}\right|}^{1/2}}\exp \left(\frac{-d_{m,t}^2}{2}\right)$

其中，Q为观测变量的维数；|·|为行列式表示。

②粒子权值计算。假设场景中各目标状态独立，那么可对T个目标进行独立协同采样，此处采用基于共生机制的协同算法。把多目标跟踪问题，分解成单独的子目标跟踪，因此，单个目标的状态估计相当于多目标跟踪的部分解，不同目标的状态估计构成的一个共生体对应多目标的状态估计跟踪。并通过协同联合概率数据关联将观测与目标的采样粒子关联。对于目标t，其采样粒子集为

根据联合数据关联概率，采样粒子

的权值可表示为：

${\mathrm{\ω}}_{k,t}^{\left(i\right)}={\mathrm{\Σ}}_{m=1}^{M_k}{\mathrm{\β}}_{m,t}p\left(Z_{k,m}\right|X_{k,t}^{\left(i\right)})$

对于上式，视频目标观测概率p(Z_k，t|X_k，t)还需再做定义，通常目标的观测概率定义为某种视觉特征的概率分布，在此采用视觉注意机制多所划定的区域颜色和空间特征的概率分布，因此p(Z_k，t|X_k，t)的计算取决于所划定视觉目标的统计描述，在此采用基于核的HSV颜色和空间特征描述，并以此为基础建立视觉目标的观测概率分布。

假设将视频目标的颜色分布离散化为B级，颜色量化函数为b(l_m)：R²→{1，…，B}，表示把位置l_m处的像素颜色值量化并将其分配到颜色分布相应的颜色级。因此，对于视频目标状态X，其颜色分布定义为：

$p_l^{\left(u\right)}=C\underset{m=1}{\overset{M}{\mathrm{\Σ}}}k\left(\right|\left|\frac{l-l_m}{h}\right|\left|\right)\mathrm{\δ}(b\left(l_m\right)-u)$

其中，l表示视频目标的中心(x，y)，由目标X确定；M表示目标区域的总像素数，

表示目标区域的大小；k(·)表示核函数(一般选高斯核函数)；δ(·)为Kronecker Deita函数；C为归一化常数，且

$C=\frac{1}{\underset{m=1}{\overset{M}{\mathrm{\Σ}}}k\left(\right|\left|\frac{l-l_m}{h}\right|\left|\right)}$

对于视频目标观测概率分布的计算，在视频跟踪的初始帧选定参考目标X_c，利用上述方法建立参考目标的颜色分布{q^(u)}_{u＝1，...，B}。在第k帧，设视频目标状态X_k的第i个采样

所对应的图像区域颜色分布为{p^(u)}_{u＝1，...,B}，样本

表示视频目标在第k帧的一假定状态。于是，样本

与参考目标X_c的相似性度量可利用其颜色分布的相似性度量建立，在此用Bhattacharyya系数来建立，且Bhattacharyya系数定义为：

$\mathrm{\ρ}[p^{\left(u\right)},q^{\left(u\right)}]=\underset{u=1}{\overset{B}{\mathrm{\Σ}}}\sqrt{p^{\left(u\right)}{q}^{\left(u\right)}}$

则样本

与参考目标X_c的相似性度量可定义为：

$D_1(p,q)=\sqrt{1-\mathrm{\ρ}[p^{\left(u\right)},q^{\left(u\right)}]}$

D(p，q)为Bhattacharyya距离。对于空间位置分布的定义与对颜色的定义相似，其相似性度量表示为D₂(p，q)。

最后，通过混合高斯建模，视频目标的观测概率分布定义为：

$p\left(Z_{k,t}^{\left(i\right)}\right|X_{k,t}^{\left(i\right)})=\frac{1}{\sqrt{2\mathrm{\π}}}{e}^{-\mathrm{\λ}(D_1^2-D_2^2)/2}$

其中，λ为控制参数。据此可以计算得到粒子集

的权值并进行归一化，则有 $w_{k,t}^{\left(i\right)}=w_{k,t}^{\left(i\right)}/\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_{k,t}^{\left(i\right)}.$

因此对于目标t，其加权采样粒子集为

通过上述一系列计算可实现该多目标的状态估计。

(4)状态输出；k时刻，对于目标t＝1，…，T，视频多目标的状态等于用样本求取的估计值，该估计值用最小均方误差估计(MMSE估计)方法来计算，即估计值

等于 $E\left(X_{k,t}\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{k,t}^{\left(i\right)}{X}_{k,t}^{\left(i\right)}.$

(5)重采样：根据(3)中的采用累计分布重采样算法采样得到

令粒子权值为

重新组成粒子集

具体过程如下：

①计算粒子集

的累积权值

②产生[0，1]上均匀分布的随机数u；

③在粒子集中搜索使得

的最小j，并令

④使得粒子集

即形成新的粒子集

(6)循环：令k＝k+1，重复(1)～(5)；直到本视频序列结束。

Claims (3)

1.一种基于协同关联粒子滤波的多视频目标主动跟踪方法，其特征是包括以下步骤：

(1)视觉注意主动发现新目标：

k-1时刻(k≥1)，对视频图像用视觉注意机制算法计算场景中存在的目标，计算目标的显著图特征q_d；

建立协同关联矩阵O_k，所述的协同关联矩阵O_k表示两两目标间的遮挡关系，矩阵中的第i行第j列对应的元素记为O_i，j，表示目标i与j的遮挡关系；当两两目标间的欧氏距离小于目标宽度的一半时，O_i，j＝1(i≠j)，表示目标i遮挡了目标j；其它情况O_i，j＝0(i≠j)，表示两目标间没有发生遮挡；只要i＝j，那么O_i，j＝0；O_i，j与O_j，i不能同时为1，如果目标i的宽度大于j，则O_i，j＝1，反之，O_j，i＝1；

如果发现新目标，则

①建立如下采样建议分布

q_new(X_k|X_k-1，Z_1：k)＝αq_d(X_k|X_k-1，Z_1：k)+(1-α)p(X_k|X_k-1)；

其中，

q_new(X_k|X_k-1，Z_1：k)为新目标的建议分布；

q_d(X_k|X_k-1，Z_1：k)为新目标的视觉显著图特征，X为待估计的当前帧的目标状态，由目标的中心点坐标及对应矩形的长短半轴的长度组成；

Z为观测量；α是比例系数，α∈(0，1)；

②初始化粒子集：在所述的视频图像中，根据先验概率p₀采集N个粒子样本组成k-1时刻的新目标的初始样本集

该初始样本集即为初始化的粒子集，其中表示第i个初始样本，将

定义为每个初始样本的权值，N＝100～10000；

③更新协同关联矩阵O_k；

(2)各目标协同采样：为得到样本集

首先根据所述的采样建议分布和O_k采集样本X_k；其中

是采样得到的第i个样本，

表示第i个样本的权值，

表示第m个目标采样得到的第i个样本；s_mk是协同因子，表示k时刻目标m被遮挡的深度信息，s_mk取值取决于O_k；若k时刻O_i，j＝1，则s_i，k＝1，表示目标i遮挡，s_j，k＝2表示目标j被遮挡，采样时只采目标i的样本，目标j放弃采样过程；如果O_i，j＝0，则s_mk＝0，表示目标没有遮挡或被遮挡，目标i和j都需要采样；

(3)计算协同概率数据关联概率和权值，更新粒子集：

I.利用(2)中采样得到的样本，

①根据联合概率数据关联算法(JPDA)计算协同数据关联概率概率为 ${\mathrm{\β}}_{m,t}=\underset{\mathrm{\θ}\∈{\mathrm{\Θ}}_{m,t}}{\mathrm{\Σ}}{\mathrm{C\γ}}^{M_k-\stackrel{=}{\mathrm{\θ}}}\underset{(m,t)\∈\mathrm{\θ}}{\mathrm{\Π}}{p}_{m,t},$ 其中 $p_{m,t}=\frac{1}{{\left(2\mathrm{\π}\right)}^{Q/2}{\left|S_{m,t}\right|}^{1/2}}\exp \left(\frac{-d_{m,t}^2}{2}\right);$ θ是关联事件集合，每个联合关联事件θ唯一确定目标观测与目标状态的关联；令Θ_m，t表示为观测m关联到目标t的所有有效联合关联事件集合，

为联合关联事件集合的势，M_k表示观测数，

为虚警观测；γ为虚警观测概率，

为Z_k中所有虚警观测概率，C为归一化常数，Q为观测变量的维数；

为归一化的观测更新度量，|·|为行列式表示，S_m，t为观测集协方差；

②粒子权值计算：对于目标t，根据联合数据关联概率β_m，t，对粒子集中的N个样本计算权值

的权值可表示为

其中，p(Z_k，t|X_k，t)是视频目标的观测概率；

II.更新粒子集

(4)状态输出；

k时刻，对于目标t＝1，…，T，所述的多视频目标的状态等于用样本求取的估计值，该估计值用最小均方误差估计(MMSE估计)方法来计算，即估计值

等于 $E\left(X_{k,t}\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_{k,t}^{\left(i\right)}{X}_{k,t}^{\left(i\right)};$

(5)重采样：根据(3)中的采用累计分布重采样算法采样得到

令粒子权值为

重新组成粒子集

(6)循环：令k＝k+1，重复(1)～(5)；直到本视频序列结束。

2.根据权利要求1所述的一种基于协同关联粒子滤波的多视频目标主动跟踪方法，所述的比例系数α取值与视觉注意检测信息中运动显著图特征在总的显著图特征中的比重ξ相等，即α＝ξ，ξ＝q_m/q_d，其中q_m为运动显著图，q_d为总的显著图特征。

3.根据权利要求1所述的一种基于协同关联粒子滤波的多视频目标主动跟踪方法，所述的视频目标的观测概率p(Z_k，t|X_k，t)采用基于核的HSV颜色和空间特征来建立。