CN103985139B - 基于颜色模型与预测向量簇模型信息融合的粒子滤波目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于颜色模型与预测向量簇模型信息融合的粒子滤波目标跟踪方法，它包括：步骤1、粒子进行初始化和赋权值；步骤2、粒子状态转移预测；步骤3、构建粒子颜色模型似然函数；步骤4、构建粒子的预测向量簇模型似然函数；步骤5、颜色模型与预测向量簇模型融合与粒子加权更新；步骤6、计算可靠性因子与更新颜色模型与预测向量簇模型权值；步骤7、计算当前帧最后状态；步骤8、重采样粒子。本发明的优点是：能更好地覆盖运动目标，提高了算法的准确性，且能够处理目标发生转动，或者目标被其他物体干扰、遮挡情况下的目标跟踪，提高了算法的鲁棒性。

Description

基于颜色模型与预测向量簇模型信息融合的粒子滤波目标跟 踪方法

技术领域

本发明属于涉及图像处理领域，具体涉及一种视频目标跟踪方法。

背景技术

视频目标跟踪是指在视频序列中找到人们感兴趣的物体并实时的跟踪其运动状态。为了找到这一运动物体，现有很多方法，例如基于特征的方法，特征包括颜色，形状，亮度等等。实现跟踪的算法也有多种，如卡尔曼滤波，均值漂移等等。而这些方法中，粒子滤波理论是目前研究的热点。

粒子滤波的思想基于蒙特卡洛方法，它是利用粒子集来表示概率，可以用在任何形式的状态空间模型上。其核心思想是通过从后验概率中抽取的随机状态粒子来表达其分布，是一种顺序重要性采样法。简单来说，粒子滤波法是指通过寻找一组在状态空间传播的随机样本对概率密度函数进行近似，以样本均值代替积分运算，从而获得状态最小方差分布的过程。这里的样本即指粒子，当样本数量N—>∞时可以逼近任何形式的概率密度分布。由于非参数化的特点，它摆脱了解决非线性滤波问题时随机量必须满足高斯分布的制约，能表达比高斯模型更广泛的分布，也对变量参数的非线性特性有更强的建模能力。因此，粒子滤波能够比较精确地表达基于观测量和控制量的后验概率分布。

然而传统粒子滤波或基于颜色模型的粒子滤波的鲁棒性较差，在背景颜色没有干扰，或没有其他运动物体遮挡的时候，尚能发挥良好的跟踪效果。但是当环境较为复杂，或是物体本身发生变化的时候，往往容易丢失目标。

由此可见，现有技术在复杂环境或物体本身发生变化的时候，对物体跟踪的误差大，造成算法鲁棒性差。

发明内容

为了弥补现有方法中状态转移的粒子没有很好地覆盖运动目标，以及无法处理当目标发生转动或被其他物体干扰、遮挡的情况，本发明所要解决的技术问题就是提供一种基于颜色模型与预测向量簇模型信息融合的粒子滤波目标跟踪方法，提高目标跟踪的鲁棒性。

本发明所要解决的技术问题是通过这样的技术方案实现的，它包括有以下步骤：

步骤1、粒子进行初始化和赋权值

在初始图像中采用手动选取目标初始位置，并采样N个粒子作为初始粒子集，每个粒子初始权重为1/N，将颜色模型与预测向量簇模型的初始信息权值均设置为0.5；

步骤2、粒子状态转移预测

基于粒子滤波理论，利用粒子状态转移和当前时刻的观测值构造建议性分布，根据构造的建议性分布进行粒子系统的转移与预测。由此使当前时刻的粒子分布更加接近真实目标。

步骤3、构建粒子颜色模型似然函数

利用核函数构造目标区域内的颜色概率分布，核函数给远离目标中心的像素分配很小的加权，再利用Bhattacharyya相似度系数衡量候选目标区域与目标模板区域的相似度程度，根据相似度系数建立颜色模型似然函数，由颜色模型似然函数计算每个粒子的颜色似然；

步骤4、构建粒子的预测向量簇模型似然函数

本时刻所有粒子和它们下一时刻预测的粒子构成一簇向量，向量包含方向与长度两个信息，而长度除以粒子转移的时间近似为速度；利用核函数构造预测向量簇的方向模型似然函数和预测向量簇的速度模型似然函数，用预测向量簇的方向和速度两个模型似然函数构建预测向量簇模型似然函数，之后根据预测向量簇模型似然函数计算每个粒子的似然；

步骤5、颜色模型与预测向量簇模型信息融合与粒子加权更新

将颜色模型似然函数与预测向量簇模型似然函数利用信息融合的方法进行加权融合得到融合之后的似然函数，根据融合后的似然函数对粒子进行加权，似然度高的粒子分配较大的权值，似然度低的粒子分配较小的权值；

步骤6、计算可靠性因子与更新颜色模型与预测向量簇模型权值

计算根据颜色模型似然函数的估计结果与融合后的似然函数的估计结果之间的欧几里得距离；计算根据预测向量簇模型似然函数的估计结果与融合后的似然函数之后的估计结果之间的欧几里得距离；分别计算颜色模型与预测向量簇模型的可靠性因子，根据可靠性因子重新分配颜色模型与预测向量簇模型的权值；

步骤7、计算当前帧最后状态

根据当前时刻粒子状态和每个粒子的权值，将所有粒子加权融合，得到本时刻最后的状态估计，确定当前帧目标位置，完成运动目标跟踪；

步骤8、重采样粒子

为了防止粒子退化问题，对粒子进行重采样，删除权值较小的粒子，复制权值较大的粒子，组成当前时刻粒子集，再返回步骤2。

由于传统的粒子滤波目标跟踪技术没有利用最新观测值，导致预测粒子无法有效地覆盖运动目标；现有的基于颜色模型的目标跟踪技术也没有利用运动目标方向、速度信息，导致系统无法适应目标转动或被干扰、遮挡的情形。而本发明一方面通过引入当前时刻观测值，构造建议性分布，通过建议性分布进行粒子的预测，能更好地覆盖运动目标，提高算法的准确性。另一方面，利用前一时刻的粒子与当前时刻对应的预测粒子所形成的向量簇中包含的方向、速度的信息，能够处理目标发生转动，或者目标被其他物体干扰、遮挡情况下的目标跟踪，提高算法的鲁棒性。

所以本发明具有如下的优点：能更好地覆盖运动目标，提高了算法的准确性，且能够处理目标发生转动，或者目标被其他物体干扰、遮挡情况下的目标跟踪，提高了算法的鲁棒性。

附图说明

本发明的附图说明如下：

图1为本发明的流程图；

图2为基于辅助粒子滤波理论构建建议性分布的流程图；

图3为基于颜色模型构建颜色模型似然函数流程图；

图4为基于预测向量簇构建预测向量簇模型似然函数流程图。

具体实施方式

本方法发明主要内容包括：利用建议性分布来预测粒子，结合粒子的颜色模型和预测向量簇构建似然函数，加权粒子并估计目标状态；再根据可靠性因子得出每时刻两种信息的权值；最后重采样，得到新的粒子集。

下面对本发明作进一步说明。

本发明方法的步骤如图1所示，具体步骤如下：

步骤1、粒子进行初始化和赋权值

在初始图像中手动选择目标的初始位置，并作为系统的初始化状态采样N个粒子，将每个粒子的初始权值设置为相同，即每个粒子的初始权值都是1/N，完成初始粒子的采样；将颜色模型与预测向量簇模型的初始信息权值均设置为0.5。在初始时刻默认颜色模型与预测向量簇模型对于目标跟踪的贡献相同。

步骤2、粒子状态转移预测

应用辅助粒子滤波理论构造建议性分布流程如图2所示，辅助粒子滤波通过引入一个辅助变量来近似后验密度，当已有k-1时刻的粒子集时，要预测得到k时刻的粒子集，首先计算每个粒子的辅助变量

式中，表示k-1时刻第i个粒子的状态，X_k表示k时刻运动物体的状态。就是用k-1时刻每一个粒子的状态分别去评估k时刻运动物体的状态，再取期望值。即表示k时刻第i个粒子的辅助变量。

其次，计算每个粒子的辅助加权，公式为：

式中，为k-1时刻每个粒子的权值，表示k时刻第i个粒子的辅助变量，Z_k表示k时刻运动物体状态的观测值。p(.)表示概率分布。

第三，在获得预测似然大的粒子之后，并经步骤8对粒子集重新采样，得到新的k-1时刻粒子集，表示为

最后，把新的k-1时刻粒子集输入到状态转移方程，得到k时刻的粒子集。

步骤3、构建粒子颜色模型似然函数

为了有效的区分跟踪目标和其他目标，必须选择合适的视觉特征来描述目标，颜色特征是一个被广泛采用的特征，因为颜色特征很适合描述变形目标，更重要的是它对于平面旋转、非刚体和部分遮挡很稳定。

目标区域的颜色分布用离散化的颜色柱状图来表示，柱状图分格取为m＝16×16×16,分别表示R、G、B每个颜色通道的等级。构建颜色模型似然函数流程图如图3所示：

首先计算目标区域内颜色概率，假设候选目标椭圆区域的颜色状态变量为X，中心坐标是(x，y)，半长轴是1，xi表示椭圆区域内像素点位置，那么椭圆区域颜色概率分布p(X)公式为：

式中，k(·)为核函数，定义为：k(x)＝1-x²(x<1)，k(x)＝0(其他)；核函数的作用是给那些远离目标中心的像素分配很小的加权，因为边缘像素容易受遮挡或背景像素的干扰。

h为核窗宽，公式为：

C_h是一个常量，表示经过核函数过滤之后的粒子数，公式为：

δ(·)表示Delta函数。n_h表示粒子数目，u＝1,…m，其中m表示颜色灰度级数，b(xi)表示给椭圆内每个像素分配一个颜色柱状图分格，‖y-xi‖表示核函数，意义为给远离椭圆中心的像素分配很小的加权。

为了计算候选区域颜色状态变量为X的似然，需要一个相似函数来衡量候选区域与目标模板的相似程度，这里基于Bhattacharyya系数定义相似函数。

为此，两个颜色分布的Bhattacharyya系数定义为：

则候选区域与目标模板区域的相似度函数：

式中，表示候选区域颜色概率分布，表示目标模板区域的颜色概率分布，通过比较候选区域和目标模板区域的颜色概率分布确定相似度，相似度函数的值越大，相似度越高。反之，则相似度越低。

最后，颜色模型似然函数定义为：

σ_c表示颜色信息高斯分布的方差，这里取值为0.3。之后根据颜色模型似然函数计算每个粒子的颜色似然。

步骤4、构建粒子的预测向量簇模型似然函数

只采用颜色模型会有一定的缺陷，当有其他颜色类似的物体或背景图像干扰时，容易丢失目标。本发明加入预测向量簇模型。本时刻每个粒子和它下一时刻的预测粒子可以构成一个向量，则本时刻所有粒子和它们下一时刻预测的粒子构成了一簇向量。向量包含方向与长度两个信息，而长度除以粒子转移的时间可以近似为速度。构建预测向量簇模型似然函数流程如图4所示，利用核函数构造预测向量簇的方向和速度两个模型似然函数：

假设候选目标椭圆区域的中心坐标是(x，y)，半长轴是l，xi表示椭圆区域内像素点位置，那么预测向量簇的方向模型似然函数为：

式中，为k-1时刻第i个粒子的坐标，表示k时刻第i个粒子的坐标，k(·)为核函数，这里采用高斯核，定义为：当x<＝1，当x>1,k(x)＝0；

h为核窗宽，公式为：核函数的作用是给那些远离目标中心的像素分配很小的加权。C_h是一个常量，表示经过核函数过滤之后的粒子数，公式为：

表示k-1时刻第i个粒子的坐标与状态预测后的k时刻的相应粒子的坐标所构成的向量，即预测向量。n_h表示粒子数目。‖y-xi‖表示核函数，意义为给远离椭圆中心的粒子分配很小的加权。

预测向量簇的速度模型似然函数为：

式中，x是粒子的状态变量，这里表示粒子的坐标。Δt表示连续两帧之间的时间差；k(·)代表核函数，这里仍然采用高斯核，定义为：当x<＝1,当x>1,k(x)＝0；h为核窗宽，公式为：C_h是一个常量，表示经过核函数过滤之后的粒子数，公式为：

根据上述的预测向量簇的方向模型D(x)和速度模型V(x)，则总的预测向量簇模型似然函数为：

σ_p表示预测向量簇的方向与速度信息的高斯分布的方差，这里取值为0.3，y_k-1表示k-1时刻椭圆中心坐标，y_k表示k时刻椭圆中心坐标的观测值。之后根据总的预测向量簇模型似然函数计算每个粒子的似然。

步骤5、颜色模型与预测向量簇模型信息融合与粒子加权更新

单一的模型似然函数在复杂场景或运动物体发生变化时容易丢失目标。为了提高算法的鲁棒性，现在将颜色模型与预测向量簇模型进行信息融合，采取两种信息的优势进行互补。将颜色模型似然函数与预测向量簇模型似然函数信息的加权融合，总的似然函数为：

p(Z|X)＝w^colorp(Z^color|X)+w^pvcp(Z^pvc|X)

式中w^color和w^pvc分别表示颜色信息和预测向量簇信息的权值，也称为信息的可靠性。通过正则化保证w^color+w^pvc＝1。根据总的似然模型可以计算每个粒子的似然。似然表示粒子与真实目标的相似程度，似然越高越接近真实目标，因此就用每个粒子的似然函数值表示每个粒子加权的权值

步骤6、计算可靠性因子与更新颜色模型与预测向量簇模型权值

根据p(Z^color|X)、p(Z^pvc|X)和p(Z|X)用最大似然估计得到相应的估计结果和定义D_color表示只用颜色信息的估计结果与融合结果的距离，定义D_pvc表示只用预测向量簇的估计结果与融合结果的距离，这里均采用欧几里得距离表示。欧几里得距离表示为其中(x₁,y₁)与(x₂,y₂)为两个点的坐标。

定义一个可靠性因子R来衡量单个信息得到结果和信息融合得到结果的一致性，R公式为：R＝e^-αD，其中α取值0.5，D取D_color或D_pvc，代表两种不同信息，距离越小，说明这个信息与融合的最终结果越接近，那么说明这个信息更可靠。

以颜色信息为例，自适应调整信息权值可通过以下公式描述：

式中，τ是一个常量，用来确定加权的自适应变化率，Δt是连续两帧的时间间隔。

由公式可知，当可靠性因子R大于当前帧加权的信息，那么它的加权有提高的趋势，反之，当可靠性因子R小于当前帧加权的信息，那么它的加权有下降的趋势，这样就实现了自适应调整两种信息的权值。

步骤7、计算当前帧最后状态

由步骤2获得转移预测的粒子集和步骤5得到的每个粒子的权值，计算当前帧最后状态估计，计算公式为：

式中，N为预测粒子总数，为预测的粒子，为每个粒子加权的权值。

步骤8、重采样粒子

粒子滤波器的一个主要缺点是粒子的退化问题，退化问题是指粒子在传播过程中，有一部分偏离目标实际状态的粒子的权值会越来越小，以至于最终只有少数粒子具有大的权值，导致无畏的计算量浪费在小权值的粒子上。这些小权值粒子尽管也代表目标状态的一个可能性，但可能性太小时，应当忽略这部分粒子，而将重点放在可能性较大的粒子上。重采样技术在一定程度上可以缓解这个问题，抛弃部分权值过小的粒子，而从权值较大的粒子衍生出一些粒子。

经过重采样步骤后，许多粒子繁殖了多次，而有些粒子被淘汰掉，减小了粒子的多样性，对于表达后验概率密度很不利，应该设立一个准则决定是否实施重采样。目前广泛使用有效粒子数N_eff，N_eff公式为：

式中，X_0:K表示第0时刻到第k时刻的粒子状态。

预先定义一个阈值N_t，如果N_eff＜N_t，采用重采样，否则不进行重采样；

按上述方式删除权值较小的粒子，并复制权值较大的粒子，组成当前时刻粒子集，再返回步骤2，依据建议性分布去预测下一时刻的粒子状态。

Claims (6)

1.基于颜色模型与预测向量簇模型信息融合的粒子滤波目标跟踪方法，其特征是，包括以下步骤：

步骤1、粒子进行初始化和赋权值

在初始图像中采用手动选取目标初始位置，并采样N个粒子作为初始粒子集，每个粒子初始权重为1/N，将颜色模型与预测向量簇模型的初始信息权值均设置为0.5；

步骤2、粒子状态转移预测

基于粒子滤波理论，利用粒子状态转移和当前时刻的观测值构造建议性分布，根据构造的建议性分布进行粒子系统的转移与预测；

步骤3、构建粒子颜色模型似然函数

利用核函数构造目标区域内的颜色概率分布，核函数给远离目标中心的像素分配很小的加权，再利用Bhattacharyya相似度系数衡量候选目标区域与目标模板区域的相似度程度，根据相似度系数建立颜色模型似然函数，由颜色模型似然函数计算每个粒子的颜色似然；

步骤4、构建粒子的预测向量簇模型似然函数

本时刻所有粒子和它们下一时刻预测的粒子构成一簇向量，向量包含方向与长度两个信息，而长度除以粒子转移的时间近似为速度；利用核函数构造预测向量簇方向模型似然函数和预测向量簇速度模型似然函数，用预测向量簇的方向和速度两个模型似然函数构建预测向量簇模型似然函数，计算每个粒子的方向、速度似然；

步骤5、颜色模型与预测向量簇模型信息融合与粒子加权更新

将颜色模型似然函数与预测向量簇模型似然函数利用信息融合的方法进行加权融合得到融合之后的似然函数，根据融合后的似然函数对粒子进行加权，似然度高的粒子分配较大的权值，似然度低的粒子分配较小的权值；

步骤6、计算可靠性因子与更新颜色模型与预测向量簇模型权值

计算根据颜色模型似然函数的估计结果与融合后的似然函数的估计结果之间的欧几里得距离；计算根据预测向量簇模型似然函数的估计结果与融合后的似然函数之后的估计结果之间的欧几里得距离；分别计算颜色模型与预测向量簇模型的可靠性因子，根据可靠性因子重新分配颜色模型与预测向量簇模型的权值；

步骤7、计算当前帧最后状态

根据当前时刻粒子状态和每个粒子的权值，将所有粒子加权融合，得到本时刻最后的状态估计，确定当前帧目标位置，完成运动目标跟踪；

步骤8、重采样粒子

粒子重采样，删除权值较小的粒子，复制权值较大的粒子，组成当前时刻粒子集，再返回步骤2。

2.根据权利要求1所述的基于颜色模型与预测向量簇模型信息融合的粒子滤波目标跟踪方法，其特征是，在步骤2中，构造建议性分布的步骤：

首先计算每个粒子的辅助变量

$u_k^i=E\left(X_k\right|X_{k-1}^i)$

式中，表示k-1时刻第i个粒子的状态，

X_k表示k时刻运动物体的状态；

就是用k-1时刻每一个粒子的状态分别去评估k时刻运动物体的状态，再取期望值；

表示k时刻第i个粒子的辅助变量；

其次，计算每个粒子的辅助加权，公式为：

式中，为k-1时刻每个粒子的权值，

Z_k表示k时刻运动物体状态的观测值；

p(.)表示概率分布；

第三，在获得预测似然大的粒子之后，并经权利要求1步骤8对粒子集重新采样，得到新的k-1时刻粒子集，表示为

最后，把新的k-1时刻粒子集输入到状态转移方程，得到k时刻的粒子集。

3.根据权利要求1所述的基于颜色模型与预测向量簇模型信息融合的粒子滤波目标跟踪方法，其特征是，在步骤3中，所述的核函数构造目标区域内的颜色概率分布为：

$p\left(X\right)=C_h{\mathrm{\&Sigma;}}_{i=1}^{n_h}k\left(\right|\left|\frac{y-xi}{h}\right|{|}^2)\mathrm{\&delta;}\&lsqb;b\left(xi\right)-u\&rsqb;$

式中，X是颜色状态变量，

y是椭圆区域中心坐标，半长轴是1，

xi是椭圆区域内像素点的位置

k(·)为核函数，定义为：当x<1时，k(x)＝1-x²，其他情况下，k(x)＝0；

h为核窗宽，公式为：

C_h是一个常量，表示经过核函数过滤之后的粒子数，公式为：

δ(·)表示Delta函数；

n_h表示粒子数目，u＝1,…m，其中m表示颜色灰度级数，b(xi)表示给椭圆内每个像素分配一个颜色柱状图分格；

‖y-xi‖为核函数的变量，其意义为给远离椭圆中心的像素分配很小的加权。

4.根据权利要求1所述的基于颜色模型与预测向量簇模型信息融合的粒子滤波目标跟踪方法，其特征是，在步骤4中，所述的预测向量簇的方向模型似然函数为：

$D\left(x\right)=C_h{\mathrm{\&Sigma;}}_{i=1}^{n_h}k\left(\right|\left|\frac{y-xi}{h}\right|{|}^2)(x_k^i-x_{k-1}^i)$

式中，x是粒子的状态变量，这里表示粒子的坐标；

y是椭圆区域中心坐标，半长轴是1，

xi表示椭圆区域内像素点位置，

k(·)为核函数，定义为：当x<＝1，当x>1，k(x)＝0；

h为核窗宽，公式为：

C_h是一个常量，公式为：

表示k-1时刻第i个粒子的坐标与状态预测后的k时刻的相应粒子的坐标所构成的向量，即预测向量；

n_h表示粒子数目；

‖y-xi‖为核函数的变量，其意义为给远离椭圆中心的粒子分配很小的加权。

5.根据权利要求4所述的基于颜色模型与预测向量簇模型信息融合的粒子滤波目标跟踪方法，其特征是，在步骤4中，所述的预测向量簇的速度模型似然函数为：

$V\left(x\right)=C_h{\mathrm{\&Sigma;}}_{i=1}^{n_h}k\left(\right|\left|\frac{y-xi}{h}\right|{|}^2)\left(\frac{|x_k^i-x_{k-1}^i|}{\mathrm{\&Delta;}t}\right)$

式中，x是粒子的状态变量，这里表示粒子的坐标，

Δt表示连续两帧之间的时间差。

6.根据权利要求5所述的基于颜色模型与预测向量簇模型信息融合的粒子滤波目标跟踪方法，其特征是，在步骤4中，所述的预测向量簇模型似然函数为：

$p\left(Z^{pvc}\right|X)=\frac{1}{\sqrt{2\mathrm{\&pi;}}{\mathrm{\&sigma;}}_p}\exp (-\frac{{\cos }^{-1}\left(\frac{D\left(x\right)\&CenterDot;\left(y_k-y_{k-1}\right)}{\left|D\left(x\right)\right|\&CenterDot;|y_k-y_{k-1}|}\right)\&CenterDot;|V\left(x\right)-\left(\frac{|y_k-y_{k-1}|}{\mathrm{\&Delta;}t}\right)|}{2{\mathrm{\&sigma;}}_p^2})$

σ_p表示预测向量簇的方向与速度信息的高斯分布的方差，取值为0.3，

y_k-1表示k-1时刻椭圆中心坐标，

y_k表示k时刻椭圆中心坐标的观测值。