CN105389807A - 一种融合梯度特征和自适应模板的粒子滤波红外跟踪方法 - Google Patents

Abstract

本发明公开了一种融合梯度特征和自适应模板的粒子滤波红外跟踪方法，步骤如下：首先，采用粒子滤波算法作为红外图像跟踪算法的主体框架；其次，在灰度特征基础上融合描述梯度特征的梯度直方图作为目标观测模型；再次，在跟踪算法中融合自适应模板更新策略对目标特征模板进行更新；最后，为提高算法实时性，借助共享存储并行编程库对跟踪程序进行并行化。本发明能够保证对红外目标的长时间稳定、精确跟踪，运算效率高，可为红外制导工程化提供理论支持。

Description

一种融合梯度特征和自适应模板的粒子滤波红外跟踪方法

技术领域

本发明属于图像处理技术领域，特别是一种融合梯度特征和自适应模板的粒子滤波红外跟踪方法。

背景技术

红外成像制导技术是精确制导武器的核心技术之一，而红外跟踪技术则是红外成像制导技术中的关键组成部分。对红外目标进行精确、稳定、快速的跟踪是能实时解算出准确制导指令的重要前提。

目前红外跟踪算法主要分为自顶向下算法和自底往上算法。自顶向下算法的核心思想是将目标跟踪问题转换为在贝叶斯滤波框架下，已知目标状态的先验概率，通过新的观测值不断求解状态的最大后验概率的过程。主要代表为卡尔曼滤波算法和粒子滤波算法。自底往上算法是基于目标表示和定位的方法，主要通过匹配算法来实现目标的跟踪。主要代表为均值漂移算法。

粒子滤波被认为是目前解决非线性、非高斯系统模型最成功的算法。将粒子滤波算法应用到红外目标跟踪，可以很好地解决跟踪中的非高斯非线性问题。但是，红外目标颜色特征信息少、粒子滤波算法实时性差、目标遮挡等问题仍然制约着跟踪算法的性能。

发明内容

本发明的目的在于提供一种跟踪精度高、实时性好、对震荡干扰鲁棒性强的融合梯度特征和自适应模板的粒子滤波红外跟踪方法。

实现本发明目的的技术解决方案为：一种融合梯度特征和自适应模板的粒子滤波红外跟踪方法，该方法采用粒子滤波，以融合灰度、梯度特征的直方图模型作为粒子滤波的目标观测模型建立目标特征模板，采用自适应模板更新策略对目标特征模板进行更新，从而对目标进行跟踪，具体步骤如下：

步骤1，读入红外视频图像，在第一帧图像中标定待跟踪目标；以融合灰度、梯度特征的归一化直方图模型作为粒子滤波的目标观测模型建立目标特征模板；初始化具有位置坐标、大小尺寸信息的N个粒子；

步骤2，读入下一帧图像，采用二阶自回归模型作为粒子状态转移模型，预测该帧图像中各粒子位置坐标、大小尺寸；

步骤3，根据步骤1所述直方图模型，对步骤2预测所得各粒子进行观测，得到各粒子的融合灰度、梯度特征的归一化直方图，结合灰度、梯度特征计算各粒子与目标特征模板的似然度，并根据似然度更新各粒子权值；

步骤4，归一化各粒子权值，通过对各粒子位置坐标、大小尺寸加权求和估算得到目标位置坐标、大小尺寸；

步骤5，根据步骤4归一化后的各粒子权值进行粒子退化判断：如果发生退化现象，则对各粒子进行重采样后进入步骤6；若无，则直接进入步骤6；

步骤6，采用自适应模板更新策略对目标特征模板进行更新，返回步骤2继续对下一帧图像进行处理，直到最后一帧图像即完成红外目标的跟踪。

进一步地，步骤1中所述以融合灰度、梯度特征的归一化直方图模型作为粒子滤波的目标观测模型建立目标特征模板，具体如下：

将目标区域各像素按灰度值从0～255分为n组，各组组距相等，构成灰度直方图，归一化后得到归一化灰度直方图h_gray；将目标区域各像素按计算所得的梯度方向角度从-90°～90°分为m组，各组组距相等，构成方向梯度直方图，归一化后得到归一化方向梯度直方图h_og；结合h_gray、h_og作为目标观测模型。

进一步地，步骤2所述采用二阶自回归模型作为粒子状态转移模型，具体如下：

采用二阶自回归模型作为粒子状态转移模型二阶自回归模型为：

$x_k^i-x_{k-1}^i=x_{k-1}^i-x_{k-2}^i+u_k^i$

式中为k、k-1、k-2时刻第i个粒子状态向量，i＝1,2,...,N；为高斯随机变量。

进一步地，步骤3中所述结合灰度、梯度特征计算各粒子与目标特征模板的似然度，并根据似然度更新各粒子权值，具体过程如下：

似然度求解式如下：

$p\left(z_k\right|x_k^i)=\exp \[-20*\left(1-\widehat{\mathrm{\ρ}}\right)\]$

其中，z_k为第k时刻目标状态观测值，为综合巴氏系数，求解如下：

$\widehat{\mathrm{\ρ}}={\mathrm{\ρ}}_{gray}*{\mathrm{\ρ}}_{og}$

灰度特征的巴氏系数ρ_gray、梯度特征的巴氏系数ρ_og分别按照下式计算：

${\mathrm{\ρ}}_{gray}=\underset{u=1}{\overset{n}{\Σ}}\sqrt{{p_{gray}}^{\left(u\right)}{q_{gray}}^{\left(u\right)}}$

${\mathrm{\ρ}}_{og}=\underset{v=1}{\overset{m}{\Σ}}\sqrt{{p_{og}}^{\left(v\right)}{q_{og}}^{\left(v\right)}}$

其中，n、m分别为h_gray、h_og的直方图组数，p_gray ^(u)、q_gray ^(u)分别表示观测所得灰度直方图和特征模板灰度直方图中第u组统计值；p_og ^(v)、q_og ^(v)分别表示观测所得梯度方向直方图和特征模板梯度方向直方图中第v组统计值；

综合巴氏系数值越大，则候选区域与目标模板的似然度越高；

权值更新计算式如下：

$w_k^i\∝w_{k-1}^i\frac{p\left(z_k\right|x_k^i)p\left(x_k^i\right|x_{k-1}^i)}{q\left(x_k^i\right|x_{k-1}^i,z_k)}$

以状态转移函数作为建议分布函数则：

$w_k^i\∝w_{k-1}^{i}p\left(z_k\right|x_k^i)$

其中，表示k时刻第i个粒子的权值，表示k-1时刻第i个粒子的权值，粒子权值与似然函数成正相关。

进一步地，步骤6中所述采用自适应模板更新策略对目标特征模板进行更新，其中自适应模板更新策略如下：

跟踪过程中，若所得目标区域特征与目标模板似然度大于90％，则模板仍然适用，不进行更新；若似然度小于60％，则判断为出现遮挡现象，不进行模板更新；目标似然度大于60％且小于90％时，根据下式对模板进行更新：

$h^{k+1}=(1-\mathrm{\α})h^k+\mathrm{\α}{\hat{h}}^k$

其中，h^k、分别为k时刻目标模板和观测所得目标特征模型，h^k+1为更新后的目标模板，α为更新率且0＜α＜1。

本发明与现有技术相比，其显著优点为：(1)在灰度特征基础上融合梯度特征提高了粒子似然评价的区分性和精确性，能够显著提高跟踪精度；(2)融合自适应模板跟踪策略后，在提高跟踪精度的同时，也增强了跟踪鲁棒性，同时保证算法实时性；(3)共享存储并行编程库(OpenMP)的使用能够极大提高粒子数多、计算复杂度高的算法运算效率，可为红外制导工程化提供理论支持。

附图说明

图1为本发明融合梯度特征和自适应模板的粒子滤波红外跟踪方法的流程图。

图2为未改进算法同实施本发明后的x方向跟踪偏差对比曲线图。

图3为未改进算法同实施本发明后的y方向跟踪偏差对比曲线图。

图4为实施例中采用本发明方法所得的抗遮挡效果图。

具体实施过程

结合图1，本发明融合梯度特征和自适应模板的粒子滤波红外跟踪方法，采用粒子滤波，以融合灰度、梯度特征的直方图模型作为粒子滤波的目标观测模型建立目标特征模板，采用自适应模板更新策略对目标特征模板进行更新，从而对目标进行跟踪，具体步骤如下：

步骤1，读入红外视频图像，在第一帧图像中标定待跟踪目标；以融合灰度、梯度特征的归一化直方图模型作为粒子滤波的目标观测模型建立目标特征模板；初始化具有位置坐标、大小尺寸信息的N个粒子；所述以融合灰度、梯度特征的归一化直方图模型作为粒子滤波的目标观测模型建立目标特征模板，具体如下：

将目标区域各像素按灰度值从0～255分为n组，各组组距相等，构成灰度直方图，归一化后得到归一化灰度直方图h_gray；将目标区域各像素按计算所得的梯度方向角度从-90°～90°分为m组，各组组距相等，构成方向梯度直方图，归一化后得到归一化方向梯度直方图h_og；结合h_gray、h_og作为目标观测模型。

步骤2，读入下一帧图像，采用二阶自回归模型作为粒子状态转移模型，预测该帧图像中各粒子位置坐标、大小尺寸；采用二阶自回归模型作为粒子状态转移模型，具体如下：

采用二阶自回归模型作为粒子状态转移模型二阶自回归模型为：

$x_k^i-x_{k-1}^i=x_{k-1}^i-x_{k-2}^i+u_k^i$

式中为k、k-1、k-2时刻第i个粒子状态向量，i＝1,2,...,N；为高斯随机变量。

步骤3，根据步骤1所述直方图模型，对步骤2预测所得各粒子进行观测，得到各粒子的融合灰度、梯度特征的归一化直方图，结合灰度、梯度特征计算各粒子与目标特征模板的似然度，并根据似然度更新各粒子权值，具体过程如下：

似然度求解式如下：

$p\left(z_k\right|x_k^i)=\exp \[-20*\left(1-\widehat{\mathrm{\ρ}}\right)\]$

其中，z_k为第k时刻目标状态观测值，为综合巴氏系数，求解如下：

$\widehat{\mathrm{\ρ}}={\mathrm{\ρ}}_{gray}*{\mathrm{\ρ}}_{og}$

灰度特征的巴氏系数ρ_gray、梯度特征的巴氏系数ρ_og分别按照下式计算：

${\mathrm{\ρ}}_{gray}=\underset{u=1}{\overset{n}{\Σ}}\sqrt{{p_{gray}}^{\left(u\right)}{q_{gray}}^{\left(u\right)}}$

${\mathrm{\ρ}}_{og}=\underset{v=1}{\overset{m}{\Σ}}\sqrt{{p_{og}}^{\left(v\right)}{q_{og}}^{\left(v\right)}}$

其中，n、m分别为h_gray、h_og的直方图组数，p_gray ^(u)、q_gray ^(u)分别表示观测所得灰度直方图和特征模板灰度直方图中第u组统计值；p_og ^(v)、q_og ^(v)分别表示观测所得梯度方向直方图和特征模板梯度方向直方图中第v组统计值；

综合巴氏系数值越大，则候选区域与目标模板的似然度越高；

权值更新计算式如下：

$w_k^i\∝w_{k-1}^i\frac{p\left(z_k\right|x_k^i)p\left(x_k^i\right|x_{k-1}^i)}{q\left(x_k^i\right|x_{k-1}^i,z_k)}$

以状态转移函数作为建议分布函数则：

$w_k^i\∝w_{k-1}^{i}p\left(z_k\right|x_k^i)$

其中，表示k时刻第i个粒子的权值，表示k-1时刻第i个粒子的权值，粒子权值与似然函数成正相关。

步骤4，归一化各粒子权值，通过对各粒子位置坐标、大小尺寸加权求和估算得到目标位置坐标、大小尺寸；

步骤5，根据步骤4归一化后的各粒子权值进行粒子退化判断：如果发生退化现象，则对各粒子进行重采样后进入步骤6；若无，则直接进入步骤6；

步骤6，采用自适应模板更新策略对目标特征模板进行更新，返回步骤2继续对下一帧图像进行处理，直到最后一帧图像即完成红外目标的跟踪，其中自适应模板更新策略如下：

跟踪过程中，若所得目标区域特征与目标模板似然度大于90％，则模板仍然适用，不进行更新；若似然度小于60％，则判断为出现遮挡现象，不进行模板更新；目标似然度大于60％且小于90％时，根据下式对模板进行更新

$h^{k+1}=(1-\mathrm{\α})h^k+\mathrm{\α}{\hat{h}}^k$

其中，h^k、分别为k时刻目标模板和观测所得目标特征模型，h^k+1为更新后的目标模板，α为更新率且0＜α＜1，本发明中α取为0.2。

借助共享存储并行编程库对跟踪程序进行并行化：粒子滤波算法中各个粒子的传播过程、观测过程以及权值求解均与其它粒子无关，所以借助共享存储并行编程库(OpenMP)对传播过程、观测过程以及权值求解过程进行并行化处理，提高运算效率。

实施例1

如图1算法流程图所示，本发明融合梯度特征和自适应模板的粒子滤波红外跟踪方法，步骤如下：

第一步：

读入红外视频流中第一帧图像，手动标记待跟踪目标；统计得到目标区域灰度直方图h_gray和方向梯度直方图h_og，作为初始特征模板；初始化N个粒子，粒子具有位置坐标(x,y)、大小尺寸信息，权值均为1/N。

方向梯度直方图h_og计算过程为：使用水平和垂直的Sobel算子提取红外目标区域的轮廓信息，目标区域f(x,y)上各像素p_xy对应的梯度幅值G(x,y)和梯度方向θ(x,y)可根据下式得到：

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}$

$\mathrm{\θ}(x,y)={\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)$

其中，θ(x,y)∈(-90°,90°)，G_x(x,y)为梯度幅值G(x,y)在x轴方向的分量，G_y(x,y)为梯度幅值G(x,y)在y轴方向的分量，将梯度方向取值范围分成m等分{θ^v(x,y),v＝1,2,…,m}，将区域中各像素点梯度幅值根据其方向分配给对应的量化等级v，则构成梯度直方图模型，归一化后得到h_og，本发明中m取值为9。

第二步：

读入下一帧图像，采用二阶自回归模型作为粒子状态转移模型二阶自回归模型为：

$x_k^i-x_{k-1}^i=x_{k-1}^i-x_{k-2}^i+u_k^i$

第三步：

由转移后各粒子观测得到的灰度、梯度特征归一化直方图，计算粒子似然度并根据似然度更新粒子权值。灰度特征的巴氏系数ρ_gray、梯度特征的巴氏系数ρ_og分别按照下式计算：

${\mathrm{\ρ}}_{gray}=\underset{u=1}{\overset{n}{\Σ}}\sqrt{{p_{gray}}^{\left(v\right)}{q_{gray}}^{\left(v\right)}}$

${\mathrm{\ρ}}_{og}=\underset{v=1}{\overset{m}{\Σ}}\sqrt{{p_{og}}^{\left(v\right)}{q_{og}}^{\left(v\right)}}$

其中，n、m分别为h_gray、h_og的直方图组数，p_gray ^(u)、q_gray ^(u)分别表示观测所得灰度直方图和特征模板灰度直方图中第u组统计值；p_og ^(v)、q_og ^(v)分别表示观测所得梯度方向直方图和特征模板梯度方向直方图中第v组统计值；

同时考虑两种特征，综合巴氏系数取值为：

$\widehat{\mathrm{\ρ}}={\mathrm{\ρ}}_{gray}*{\mathrm{\ρ}}_{og}$

值越大，则候选区域与目标模板的似然度越高。似然函数如下：

$p\left(z_k\right|x_k^i)=\exp \[-20*\left(1-\widehat{\mathrm{\ρ}}\right)\]$

最后根据更新粒子权值。

第四步：

归一化粒子权值，根据下式估算目标状态

${\hat{x}}_k^i=\underset{i=1}{\overset{N}{\Σ}}{w}_k^i{x}_k^i$

第五步：

进行粒子退化判断。计算有效粒子数N_eff，若N_eff小于预先设定的阈值N_T时，则可确定发生退化现象。N_eff计算如下：

$N_{eff}=\frac{1}{\underset{i=1}{\overset{N}{\Σ}}{\left(w_k^i\right)}^2}$

其中，为归一化粒子权值，一般取N_T＝2N/3。

若发生粒子退化，则进行重采样，复制大权值粒子，剔除权值小的粒子，然后进入下一步。若未发生退化，则进入下一步。

第六步：

对估计得到的目标区域进行灰度、梯度特征统计，若目标区域特征与目标模板似然度大于90％，则模板仍然适用，不进行更新；若似然度小于60％，则判断为出现遮挡现象，不进行模板更新；目标似然度大于60％且小于90％时，根据下式对模板进行更新：

$h^{k+1}=(1-\mathrm{\α})h^k+\mathrm{\α}{\hat{h}}^k$

其中，h^k、分别为k时刻目标模板和观测所得目标特征模型，h^k+1为更新后的目标模板，α为更新率，算法中取为0.2。

进入下一帧计算，直到完成红外目标的跟踪。

图2为未改进算法和本发明实施后的跟踪结果在x方向的像素偏差。通过对两种算法分别进行多次测试，获得平均运动轨迹，与标定轨迹作差得到坐标点像素偏差，从而绘制曲线。其中点横线为未改进算法的跟踪结果偏差曲线，叉虚线为实施本发明后的跟踪结果偏差曲线。

图3为未改进算法和实施本发明后的跟踪结果在y方向的像素偏差。其中点横线为未改进算法的跟踪结果偏差曲线，叉虚线为实施本发明后的跟踪结果偏差曲线。

由图2、图3可以看出：与未改进算法相对比，实施本发明后，跟踪精度有了明显提高。

图4为实施本发明后抗遮挡效果图。在第100帧开始出现目标被遮挡现象，目标特征模板停止更新；在严重遮挡以后，算法并不能获得目标准确位置；当目标脱离被遮挡物，算法再次捕捉到失跟目标并继续稳定跟踪。测试结果表明：改进后的跟踪算法对于遮挡有强鲁棒性。

同时，借助共享存储并行编程库(OpenMP)对程序进行并行化后，大幅度提升了运算效率，在并行区域算法复杂度高的情况下尤为明显。

总之，本发明中：在灰度特征基础上融合梯度特征提高了粒子似然评价的区分性和精确性，能够显著提高跟踪精度；融合自适应模板跟踪策略后，在提高跟踪精度的同时，也增强了跟踪鲁棒性；共享存储并行编程库(OpenMP)的使用能够极大提高粒子数多、计算复杂度高的算法运算效率。

Claims (5)

1.一种融合梯度特征和自适应模板的粒子滤波红外跟踪方法，其特征在于：该方法采用粒子滤波，以融合灰度、梯度特征的直方图模型作为粒子滤波的目标观测模型建立目标特征模板，采用自适应模板更新策略对目标特征模板进行更新，从而对目标进行跟踪，具体步骤如下：

步骤1，读入红外视频图像，在第一帧图像中标定待跟踪目标；以融合灰度、梯度特征的归一化直方图模型作为粒子滤波的目标观测模型建立目标特征模板；初始化具有位置坐标、大小尺寸信息的N个粒子；

步骤2，读入下一帧图像，采用二阶自回归模型作为粒子状态转移模型，预测该帧图像中各粒子位置坐标、大小尺寸；

步骤3，根据步骤1所述直方图模型，对步骤2预测所得各粒子进行观测，得到各粒子的融合灰度、梯度特征的归一化直方图，结合灰度、梯度特征计算各粒子与目标特征模板的似然度，并根据似然度更新各粒子权值；

步骤4，归一化各粒子权值，通过对各粒子位置坐标、大小尺寸加权求和估算得到目标位置坐标、大小尺寸；

步骤5，根据步骤4归一化后的各粒子权值进行粒子退化判断：如果发生退化现象，则对各粒子进行重采样后进入步骤6；若无，则直接进入步骤6；

步骤6，采用自适应模板更新策略对目标特征模板进行更新，返回步骤2继续对下一帧图像进行处理，直到最后一帧图像即完成红外目标的跟踪。

2.根据权利要求1所述的融合梯度特征和自适应模板的粒子滤波红外跟踪方法，其特征在于：步骤1中所述以融合灰度、梯度特征的归一化直方图模型作为粒子滤波的目标观测模型建立目标特征模板，具体如下：

将目标区域各像素按灰度值从0～255分为n组，各组组距相等，构成灰度直方图，归一化后得到归一化灰度直方图h_gray；将目标区域各像素按计算所得的梯度方向角度从-90°～90°分为m组，各组组距相等，构成方向梯度直方图，归一化后得到归一化方向梯度直方图h_og；结合h_gray、h_og作为目标观测模型。

3.根据权利要求1所述的融合梯度特征和自适应模板的粒子滤波红外跟踪方法，其特征在于：步骤2所述采用二阶自回归模型作为粒子状态转移模型，具体如下：

采用二阶自回归模型作为粒子状态转移模型二阶自回归模型为：

$x_k^i-x_{k-1}^i=x_{k-1}^i-x_{k-2}^i+u_k^i$

式中为k、k-1、k-2时刻第i个粒子状态向量，i＝1,2,...,N；为高斯随机变量。

4.根据权利要求1所述的融合梯度特征和自适应模板的粒子滤波红外跟踪方法，其特征在于：步骤3中所述结合灰度、梯度特征计算各粒子与目标特征模板的似然度，并根据似然度更新各粒子权值，具体过程如下：

似然度求解式如下：

$p\left(z_k\right|x_k^i)=\exp \[-20*(1-\widehat{\mathrm{\ρ}})\]$

其中，z_k为第k时刻目标状态观测值，为综合巴氏系数，求解如下：

$\widehat{\mathrm{\ρ}}={\mathrm{\ρ}}_{gray}*{\mathrm{\ρ}}_{og}$

灰度特征的巴氏系数ρ_gray、梯度特征的巴氏系数ρ_og分别按照下式计算：

${\mathrm{\ρ}}_{gray}=\underset{u=1}{\overset{n}{\Σ}}\sqrt{{p_{gray}}^{\left(u\right)}{q_{gray}}^{\left(u\right)}}$

${\mathrm{\ρ}}_{og}=\underset{v=1}{\overset{m}{\Σ}}\sqrt{{p_{og}}^{\left(v\right)}{q_{og}}^{\left(v\right)}}$

其中，n、m分别为h_gray、h_og的直方图组数，p_gray ^(u)、q_gray ^(u)分别表示观测所得灰度直方图和特征模板灰度直方图中第u组统计值；p_og ^(v)、q_og ^(v)分别表示观测所得梯度方向直方图和特征模板梯度方向直方图中第v组统计值；

综合巴氏系数值越大，则候选区域与目标模板的似然度越高；

权值更新计算式如下：

$w_k^i\∝w_{k-1}^i\frac{p\left(z_k\right|x_k^i)p\left(x_k^i\right|x_{k-1}^i)}{q\left(x_k^i\right|x_{k-1}^i,z_k)}$

以状态转移函数作为建议分布函数则：

$w_k^i\∝w_{k-1}^{i}p\left(z_k\right|x_k^i)$

其中，表示k时刻第i个粒子的权值，表示k-1时刻第i个粒子的权值，粒子权值与似然函数成正相关。

5.根据权利要求1所述的融合梯度特征和自适应模板的粒子滤波红外跟踪方法，其特征还在于：步骤6中所述采用自适应模板更新策略对目标特征模板进行更新，其中自适应模板更新策略如下：

跟踪过程中，若所得目标区域特征与目标模板似然度大于90％，则模板仍然适用，不进行更新；若似然度小于60％，则判断为出现遮挡现象，不进行模板更新；目标似然度大于60％且小于90％时，根据下式对模板进行更新：

$h^{k+1}=(1-\mathrm{\α})h^k+\mathrm{\α}{\hat{h}}^k$

其中，h^k、分别为k时刻目标模板和观测所得目标特征模型，h^k+1为更新后的目标模板，α为更新率且0＜α＜1。