CN105279769B - 一种联合多特征的层次粒子滤波跟踪方法 - Google Patents

Abstract

本发明公开了一种联合多特征的层次粒子滤波跟踪方法，包括如下步骤：获取目标的连续帧图像，并在第1帧图像上选定初始目标区域和初始粒子集；从第2帧开始：以第k‑1帧图像中的目标区域的中心点作为第k帧的搜索区域中心点，在搜索区域中进行角点检测，获得角点；然后建立第k‑1帧中目标的颜色和纹理特征的联合直方图；将通过已知的运动模型k时刻的粒子集；通过对第k帧与第k‑1帧图像进行角点检测和特征点匹配，确定k时刻粒子的一阶权值；根据目标的颜色和纹理特征的联合直方图建立似然函数，将一阶权值与联合似然函数相乘获得二阶权值并归一化，作为k时刻粒子权值；根据k时刻粒子权值及其粒子集，获取k时刻目标区域；重复上述过程直至完成粒子滤波。

Description

一种联合多特征的层次粒子滤波跟踪方法

技术领域

本发明涉及基于彩色图像的目标跟踪系统，属于计算机视觉领域，具体涉及一种基于联合多特征的层次粒子滤波跟踪算法。

背景技术

由于粒子滤波算法是基于贝叶斯框架的概率估计方法，非常适合于描述目标跟踪这一不确定性问题，而且其在处理非线性、非高斯、多模态的系统时具有独特的优势，粒子滤波算法己成为目标跟踪领域主要的理论框架之一，并得到成功应用。但是目标在运动中可能会被非目标的物体部分遮挡或全部遮挡，或者被跟踪的多个目标互相遮挡。遮挡往往会造成目标的误跟踪或跟踪丢失，遮挡问题是目标跟踪算法必须解决的问题。尽管粒子滤波算法本身具有一定的鲁棒性，但是在目标被严重遮挡或者被具有相似外观的物体遮挡的情况下，随机粒子的分布不能很好地近似目标状态。另外，在实际的目标跟踪系统应用中，背景往往比较复杂，环境中存在着具有与目标外观相近的物体，自然光线或灯光的亮度也会不断变化，这些因素均对系统的跟踪精度产生一定的影响，常常会导致跟踪效果不佳。

针对实际应用中往往存在目标被遮挡的情况，前人做了许多工作，如对遮挡前的目标训练分类器，遮挡发生后通过分类器识别目标，但是这种方法当两个物体外观相近时仍不能很好的解决问题。或者通过采用JPDAF(Joint Probabilistic Data AssociativeFilter)的方法处理遮挡，但这种方法计算复杂。最典型的方法是Snake主动轮廓模型，这种方法可以给出目标精确的轮廓，但模型依赖于图像中的细微变化，存在轮廓初始化、对图像噪声非常敏感、不能解决快速运动的目标跟踪等问题。而针对复杂背景干扰、光照变化产生的不利影响，为了保证复杂背景下粒子滤波的跟踪精度，目前的研究主要集中在两个方面：一是优化粒子采样方法，使粒子更好地近似目标的后验概率分布；二是建立鲁棒的特征模型，使目标特征模型具有高分辨能力。然而在这些方法中，目标状态的估计往往依赖于滤波器模型，很容易受到复杂环境干扰的影响；目标显著特征的提取和模型的建立也较为复杂，在实际应用中具有一定的局限性。

发明内容

有鉴于此，本发明提供了一种联合多特征的层次粒子滤波跟踪方法，能够有效地充分利用不同目标特征信息，有效地去除误匹配。

为了达到上述目的，本发明的技术方案包括如下步骤：

步骤1、获取目标的连续帧图像，并在第1帧图像上选定目标区域，设粒子xⁱ表征目标在图像中的位置，并设定粒子滤波中的粒子数目N，获得初始时刻0时刻的粒子集初始化该粒子集中粒子状态分布为随机高斯分布；i为粒子编号。

从第2帧开始的第k帧图像中，其对应时刻为k。

步骤2、以第k-1帧图像中的目标区域的中心点作为第k帧的搜索区域的中心点，在搜索区域中进行角点检测，获得角点；然后根据第k-1帧中对应的目标位置，建立目标的颜色和纹理特征的联合直方图。

步骤3、根据预先设定的粒子运动模型将k-1时刻的粒子i通过传递函数传递到下一时刻，得到k时刻的粒子集其中为k-1时刻粒子权值，其中初始权值数值设为1/N。

步骤4、提取获得第k帧图像中的角点，对第k帧图像与第k-1帧图像进行特征点匹配，获得目标角点特征信息，确定k时刻粒子的一阶权值

步骤5、根据目标的颜色和纹理特征的联合直方图建立目标颜色和纹理特征联合似然函数，利用一阶权值与联合似然函数相乘获得二阶权值将二阶权值进行权值归一化，作为k时刻粒子权值

步骤6、根据k时刻粒子权值及其粒子集获取k时刻目标状态估计值作为k时刻的目标区域。

步骤7、判断粒子滤波是否结束，若是则完成粒子滤波，并退出本流程，否则，判断搜索区域中的粒子数目N_eff是否小于N_th，若是，则将k时刻的粒子权值恢复为初始权值，否则维持k时刻的粒子权值不变；其中N_th为预先设定的阈值；令k自加1，返回步骤2。

进一步地，步骤4中一阶权值的具体步骤为：

在对第k帧图像进行角点提取，并与第k-1帧图像进行特征点匹配，以确定匹配区域，其中匹配区域小于搜索区域且大于目标区域，将分布在匹配区域外的粒子的一阶权值置零，将分布在匹配区域内的粒子保持k-1时刻权值作为

进一步地，步骤2中根据目标初始坐标，建立目标的颜色和纹理特征的联合直方图时，利用LBP算子建立目标的纹理特征描述，针对目标区域中每个粒子计算LBP算子

其中g_c是当前粒子的局部邻域中心像素点的灰度值，g_p(p＝0,1,…,P-1)在半径为R的圆形对称区域内R个相等空间像素灰度值，R＞0，P为采样点个数，s为符号函数U表示均匀性的度量，

由此得到一个量化为8bin的纹理直方图模型；

而根据目标的颜色信息，R、G、B三通道的颜色特征可以被量化为8×8×8bin的颜色直方图；

联合目标的颜色和纹理特征，建立一个8×8×8×8的联合直方图来描述目标特征。

进一步地，步骤5中，采用步骤2中建立据目标的颜色和纹理特征的联合直方图的方式，分别建立目标区域模型和搜索区域模型，然后计算目标区域模型和搜索区域模型之间的巴氏Bhattacharyya距离d，从而建立目标颜色和纹理特征联合似然函数z_k表示目标观测向量，σ为正态分布的尺度参数，具体为目标区域中粒子的标准差。

进一步地，二阶权值为

有益效果：

本发明采用了不同方法提取了目标的颜色、纹理、角点特征，这些特征易于提取且可以从不同侧面描述目标的外观模型。本发明在层次粒子滤波算法框架下，根据目标的角点特征确定粒子的一阶权值，依据目标的颜色和纹理特征计算粒子的二阶权值，从而能够有效地充分利用不同目标特征信息，有效地去除误匹配，实现由“粗”到“精”的目标跟踪过程。能够在存在相似背景或物体干扰、光线变化及部分遮挡等较复杂环境中，实现对目标准确稳定的跟踪，算法具有良好的鲁棒性，提高了动态环境中目标跟踪的可靠性。

附图说明

图1为标准的LBP算子区域示意图。

图2为算子的9种均匀模式示意图。

图3为采用基于颜色特征的粒子滤波跟踪算法跟踪结果。

图4为基于角点特征的目标匹配及粒子分布。

图5为目标LBP纹理特征图像。

图6为跟踪飞行器时基于本发明算法的目标跟踪中的Bhattacharyya系数变化。

图7为采用本发明算法对飞行器的跟踪结果。

图8为采用本发明算法对坦克模型的跟踪结果。

图9为基于本发明算法的目标跟踪中的角点匹配率变化。

图10为跟踪坦克模型时基于本发明算法的目标跟踪中的Bhattacharyya系数变化；

图11为本方法流程图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

实施例1、本实施例中的联合多特征的层次粒子滤波跟踪算法具体步骤如下(如图11所示)：

步骤1、对于第1帧图像，在图像上选定目标区域的初始位置T(x,y)以及搜索区域初始位置M(x,y)，并设定粒子滤波中的粒子数目N，获得初始时刻0时刻的粒子集初始化该粒子集中粒子状态分布为随机高斯分布；

从第2帧开始的第k帧图像中，其对应时刻为k。

步骤2、以第k-1帧图像中的目标区域的中心点作为第k帧的搜索区域的中心点，在搜索区域中进行角点检测，获得角点；然后根据第k-1帧中对应的目标位置，建立目标的颜色和纹理特征的联合直方图。

步骤3、根据运动模型将k-1时刻粒子通过传递函数传递到下一时刻，得到k时刻的粒子集其中为k-1时刻粒子权值，其中初始权值数值随机，数值1/N。

步骤4、在第k帧图像中进行角点提取，并将第k帧图像与第k-1帧图像进行特征点匹配，根据目标角点特征信息，确定k时刻粒子的一阶权值

步骤5、根据目标的颜色和纹理特征的联合直方图建立目标颜色和纹理特征联合似然函数，利用一阶权值与联合似然函数相乘获得粒子的二阶权值将二阶权值归一化得到k时刻粒子权值

步骤6、根据k时刻粒子权值及其粒子集获取k时刻目标状态估计值作为k时刻目标的精确位置；

步骤7、判断粒子滤波是否结束，若是则完成粒子滤波，并退出本流程，否则，判断搜索区域中的粒子数目N_eff是否小于N_th，若是，则将k时刻的粒子权值恢复为初始权值，否则维持k时刻的粒子权值不变；其中N_th为预先设定的阈值；令k自加1，返回步骤2。

下面通过实际的实施描述本方法：假定动态时变系统的状态转移模型和状态观测模型可以分别由式(1)、(2)描述如下：

x_k＝f_k(x_k-1,v_k-1) (1)

z_k＝h_k(x_k,n_k) (2)

其中,x_k和z_k分别表示目标状态向量和观测向量，观测向量为对图像进行观测获得的；是关于状态x_k-1的非线性函数,v_k是过程噪声序列,n_x和n_v分别为状态向量和过程噪声向量的维数,状态转移符合一阶马尔科夫过程；是关于状态x_k的非线性函数,n_k是观测噪声序列,n_z和n_n分别为观测向量和观测噪声向量的维数。k时刻目标状态的后验概率分布可离散地加权为：

其中,是粒子的对应权值.x_0:k表示0到k时刻的状态集,权值归一化为δ(·)为Delta函数。

根据重要性采样原理，权值更新公式可以表示为：

对图像用Harris角点检测法进行图像角点提取。然后，采用基于奇异值分解的角点匹配算法：令I和J为两幅图像，分别包含m个特征点I_i(i＝1,…,m)和n个特征点J_j(j＝1,…,n)，则基于奇异值分解的特征匹配算法包含下面三步：

首先，分别取特征点I_i和J_j的领域，于是可得这两个区域的互相关系数：

其中，和分别为区域的均值，σ(A)和σ(B)为标准差，可以看出C_ij从-1(两区域完全不同)到1(两区域完全相同)变化。

然后，构造相似矩阵G，其中C_ij是两个特征点和高斯加权的距离表示，即

其中，r_ij＝||I_i-J_j||为两个特征点之间的欧式距离。由上式可以看出，G_ij为正且变化范围为0～1。参数σ用来控制两个特征点之间的相互作用，当σ小时，G_ij就大。

最后，对G进行奇异值分解：

G＝TDU^T (7)

其中，T∈M_m，U∈M_n，且均为正交矩阵；D为对角阵，D∈M_m,n，D中对角线元素按降序排列。将D中对角线元素值不为0的元素值置1，构造矩阵E，进而可以得到矩阵P：

P＝TDU^T (8)

矩阵P和G具有相同的形状，且它可以很好地突出相匹配的特征点，抑制非对应的特征点。如果P_ij既是它所在行的最大值，也是它所在列的最大值，则特征点I_i和J_j为一一对应点，否则I_i和J_j不完全匹配。

在层次粒子滤波中，根据上述目标的角点提取及匹配方法，可以确定粒子的一阶权值，具体步骤如下：

步骤1.初始帧中，手动确定一个角点的搜索区域M(x,y)，该搜索区域包含目标区域T(x,y)，但大于目标区域，粒子初始分布在目标区域。在搜索区域检测角点，并将检测到的目标上的角点作为目标的角点模板。

步骤2.k时刻，由于连续两帧间时间间隔很短，目标位移很小，取k-1时刻由粒子滤波得到的目标精确位置作为搜索区域的起始点，在搜索区域内检测角点，并进行角点匹配。根据匹配上的角点，确定匹配区域F(x,y)，取F(x,y)小于M(x,y)，略大于T(x,y)，该处只要保证匹配区域能够包含搜索区域即可。

步骤3.采用“舍去法”，认为分布在区域F(x,y)外的粒子为误传播粒子，一阶权值置零；分布在区域F(x,y)内的粒子保持原权值作为进入下一步系统观测及权值计算。

随后利用LBP算子建立融合纹理特征的观测模型。

针对目标区域中每个粒子计算LBP算子

其中g_c是当前粒子的局部邻域中心像素点的灰度值，g_p(p＝0,1,…,-1)在半径为R(R＞0)的圆形对称区域内R个相等空间像素灰度值，s为符号函数，

具有旋转不变性的LBP算子计算方法如式(10)：

其中，ROR(x,p)函数为旋转函数，表示将x右移p位。

将LBP旋转不变模式与均匀化模式相结台生成具有旋转不变性的均匀模式(Rotation Invariant Uniform Pattern)，用表示：

U表示均匀性的度量，满足U≤2的所有模式称为均匀模式。在P邻域中，满足U≤2所有模式的个数为P(P-1)+2。这样，P个采样点的LBP值的数目有原来的2^P个减少到P(P-1)+2，大大降低了特征向量的维数。旋转到最小值后，任何均匀模式的LBP值都可以通过统计二值编码中l的个数得到，而非均匀模式的LBP值均等于P+1，LBP值的维数进一步降低为P+1。

选取来得到目标的纹理特征描述，算子可以得到9种均匀模式，其中标准的LBP算子区域示意图如图1所示，算子的9种均匀模式示意图如图2所示。通过下式来计算值：

由上述计算结果，可以得到一个量化为8bin的纹理直方图。而根据目标的颜色信息，R、G、B三通道的颜色特征可以被量化为8×8×8bin的颜色直方图。这样联合目标的颜色和纹理特征，就可以建立一个8×8×8×8的联合直方图来描述目标特征，并依据下式来建立目标模型和粒子区域候选模型：

在建立联合颜色特征和纹理特征的目标模型后，在观测中，可以采用Bhattacharyya距离作为目标模型直方图与粒子区域直方图之间的相似性度量，设两个特征分布分别为q_u＝{q_u}_u＝1…m和p(x_k)＝{p(x_k)_u}_{u＝1,2,…,m}，则有：

进一步目标的观测似然函数可以表示为：

在层次粒子滤波中，根据目标颜色和纹理特征的观测似然函数，可以计算得到目标的二阶权值：

实施例2、下面在两个实验中验证本发明中提出的方法。

实验一中对室外飞行器进行跟踪，跟踪的难点在于背景中存在相似颜色干扰物体、光线变化及部分遮挡。设定目标区域为24×14像素，目标颜色模型在8×8×8bin的RGB空间中建立，目标初始位置手动确定，粒子数N＝100。图3为采用基于颜色特征的粒子滤波跟踪算法跟踪结果示意图。从图中可以看出，当飞行器临近建筑时，由于屋顶颜色相似，会造成目标丢失；当飞行器飞近树丛时，光线变化剧烈，不仅树丛颜色与之相似，而且会部分遮挡飞行器，同样造成误跟踪。图4(a)为特征角点检测结果，图4(b)(c)为后续时刻中基于奇异值分解的角点匹配结果，可以看出，在相似颜色干扰及光线变化的情况下，目标的角点特征仍具有较高的可靠性。而在粒子传播过程中，保留在匹配区域里的粒子，舍去误传播粒子，可以使粒子有效地分布在目标附近，如图4(d)(e)所示。进一步观测粒子的颜色和LBP纹理特征，建立联合直方图，由似然函数得到粒子的最终权值，图5展示了目标的LBP纹理特征图像表示。图6为跟踪过程中30帧图像中Bhattacharyya系数的变化，其值反映了跟踪到的目标与目标模型间的相似性。由图6可以看出，本文所建立的颜色纹理联合分布模型在较复杂环境中具有一定的鲁棒性，能够较好地表征目标，保证跟踪上的目标具有较高的准确性。图7为采用本文算法对飞行器的跟踪结果，表明本文算法能够在较为复杂的背景下稳定准确地跟踪目标。

实验二中对在草丛中运动的坦克模型进行跟踪，目标运动速度较快，运动场地的颜色与目标颜色非常接近，仅依靠颜色特征难以实现准确跟踪。采用本文算法进行目标跟踪，设定目标区域为32×16像素，目标颜色模型在8×8×8×8bin的颜色纹理联合空间中建立，目标初始位置手动确定，粒子数N＝100，图8为跟踪结果。图9为一次跟踪过程中30帧图像中角点匹配率的变化，表明在初始帧提取到24个角点作为模板的情况下，后续图像中可以匹配到较多数目的角点用来确定匹配区域，保证粒子在目标附件地有效分布。图10为跟踪过程中30帧图像中Bhattacharyya系数的变化，同样反映了在本文建立的观测模型下，跟踪上的目标具有较高的准确性。

综上，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种联合多特征的层次粒子滤波跟踪方法，其特征在于，包括如下步骤：

步骤1、获取目标的连续帧图像，并在第1帧图像上选定目标区域，设粒子xⁱ表征目标在图像中的位置，并设定粒子滤波中的粒子数目N，获得初始时刻0时刻的粒子集初始化该粒子集中粒子状态分布为随机高斯分布；i为粒子编号；

从第2帧开始的第k帧图像中，其对应时刻为k；

步骤2、以第k-1帧图像中的目标区域的中心点作为第k帧的搜索区域的中心点，在搜索区域中进行角点检测，获得角点；然后根据第k-1帧中对应的目标位置，建立目标的颜色和纹理特征的联合直方图；

根据目标初始坐标，建立目标的颜色和纹理特征的联合直方图时，利用LBP算子建立目标的纹理特征描述，针对目标区域中每个粒子计算LBP算子

其中g_c是当前粒子的局部邻域中心像素点的灰度值，g_p(p＝0,1,…,P-1)在半径为R的圆形对称区域内R个相等空间像素灰度值，R＞0，P为采样点个数，s为符号函数 $s(\&CenterDot;)=\left\{\begin{array}{c}1,\&CenterDot;\&GreaterEqual;0\\ 0,\&CenterDot;<0\end{array}\right.;$ U表示均匀性的度量，

由此得到一个量化为8bin的纹理直方图模型；

而根据目标的颜色信息，R、G、B三通道的颜色特征可以被量化为8×8×8bin的颜色直方图；

联合目标的颜色和纹理特征，建立一个8×8×8×8的联合直方图来描述目标特征；

步骤3、根据预先设定的粒子运动模型将k-1时刻的粒子i通过传递函数传递到下一时刻，得到k时刻的粒子集其中为k-1时刻粒子权值，其中初始权值数值设为1/N；

步骤4、提取获得第k帧图像中的角点，对第k帧图像与第k-1帧图像进行特征点匹配，获得目标角点特征信息，确定k时刻粒子的一阶权值

步骤5、根据目标的颜色和纹理特征的联合直方图建立目标颜色和纹理特征联合似然函数，利用一阶权值与联合似然函数相乘获得二阶权值将二阶权值进行权值归一化，作为k时刻粒子权值

步骤6、根据k时刻粒子权值及其粒子集获取k时刻目标状态估计值作为k时刻的目标区域；

步骤7、判断粒子滤波是否结束，若是则完成粒子滤波，并退出本流程，否则，判断搜索区域中的粒子数目N_eff是否小于N_th，若是，则将k时刻的粒子权值恢复为初始权值，否则维持k时刻的粒子权值不变；其中N_th为预先设定的阈值；令k自加1，返回步骤2。

2.如权利要求1所述的一种联合多特征的层次粒子滤波跟踪方法，其特征在于，所述步骤4中一阶权值的具体步骤为：

在对第k帧图像进行角点提取，并与第k-1帧图像进行特征点匹配，以确定匹配区域，其中匹配区域小于搜索区域且大于目标区域，将分布在匹配区域外的粒子的一阶权值置零，将分布在匹配区域内的粒子保持k-1时刻权值作为

3.如权利要求1所述的一种联合多特征的层次粒子滤波跟踪方法，其特征在于，所述步骤5中，采用步骤2中建立据目标的颜色和纹理特征的联合直方图的方式，分别建立目标区域模型和搜索区域模型，然后计算目标区域模型和搜索区域模型之间的巴氏Bhattacharyya距离d，从而建立目标颜色和纹理特征联 合似然函数z_k表示目标观测向量，σ为正态分布的尺度参数，具体为目标区域中粒子的标准差。

4.如权利要求3所述的一种联合多特征的层次粒子滤波跟踪方法，其特征在于，所述二阶权值为