CN101286236A - 基于多特征图像和均值漂移的红外目标跟踪方法 - Google Patents

Abstract

一种模式识别技术领域的基于多特征图像和均值漂移的红外目标跟踪方法，包括如下步骤：首先，在原始图像上提取图像的Gabor特征和熵特征，并生成相应的Gabor特征图像和熵特征图像；然后，将原始红外图像、Gabor特征图像和熵特征图像，合成多特征图像，每个像素位置的r、g和b值分别为原始红外图像的灰度值、Gabor特征值和熵特征值；最后，采用均值漂移算法在多特征图像上对目标进行跟踪，得到更精确的目标位置信息。本发明弥补了均值漂移算法只能根据单一特征(统计特征)跟踪目标的缺陷，所提出的多特征图像的概念，也可以被用做其它跟踪方法提高跟踪精度的技术手段。

Description

基于多特征图像和均值漂移的红外目标跟踪方法

技术领域

本发明涉及一种图像处理技术领域的红外目标跟踪方法，具体是一种基于多特征图像和均值漂移的红外目标跟踪方法。

背景技术

红外摄像具有全天候的特点，与可见光摄像相比具有很多优点，提高红外目标的跟踪精度对军民两用领域中的视频监控系统来说，意义重大。均值漂移(Mean-shift)是视觉跟踪中的主要技术之一，具有很好的适时性，这是一个很关键的优势，使其在实际应用中倍受青睐。均值漂移的另外一个优势是其可以跟踪非刚性的目标，这是由其原理决定的。均值漂移是一种基于模式匹配的目标跟踪方法，根据目标区域的像素统计特征来进行模式匹配(模式搜索)，目前也只能根据这一特征(单一特征)跟踪目标，这是均值漂移的一大缺陷。对于红外目标来说，由于目标的对比度较低，目标区域与背景区域的统计特征(直方图)的可区分性并不明显，这就使均值漂移在跟踪红外目标时，跟踪精度并不理想。

经对现有技术文献的检索发现，程建(程建，“基于粒子滤波的视觉跟踪算法研究及其在成像制导中的应用，”上海交通大学博士学位论文，2006)提出用基于EKF预测采样粒子滤波的红外目标稳健跟踪问题。该方法从跟踪算法入手来提高跟踪精度，但并没有解决红外目标特征不足的根本问题，跟踪算法对红外目标跟踪精度不高的主要原因是描述目标的特征(均值漂移利用统计特征来描述目标)太少，以致于目标和背景的可区分性不强。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于多特征图像和均值漂移的红外目标跟踪方法，使其弥补了均值漂移(Mean-shift)算法只能根据单一特征(统计特征)跟踪目标的缺陷，获得比在原始红外图像(灰度图像)跟踪目标时更高的跟踪精度。

本发明是通过以下技术方案实现的，本发明包括如下步骤：

首先，在原始图像上提取图像的Gabor(人名)特征和熵特征，并生成相应的Gabor特征图像和熵特征图像；

然后，将原始红外图像、Gabor特征图像和熵特征图像，合成多特征图像(伪彩色图像)，每个像素位置的r、g和b值分别为原始红外图像的灰度值、Gabor特征值和熵特征值；

最后，采用均值漂移算法在多特征图像上对目标进行跟踪，得到更精确的目标位置信息。

所述的提取红外图像的Gabor特征，并生成Gabor特征图像，具体为：在原始红外图像I上的每个像素点(x，y)处，用二维Gabor滤波器采用的函数：

$G(x,y)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_{\mathrm{xy}}^2}\exp [-\frac{x^2+y^2}{2\mathrm{\π}{\mathrm{\σ}}_{\mathrm{xy}}^2}+2\mathrm{\πj}(\mathrm{Ux}+\mathrm{Uy})]$

计算其函数值。Gabor特征是通过将原始图像I和Gabor滤波器执行卷积得到的，在图像的像素(x，y)处，Gabor特征为f_G(x，y)＝I(x，y)*G(x，y)。用f_G(x，y)值作为像素(x，y)处的灰度值，生成Gabor特征值图像。

所述的提取红外图像的熵特征，并生成熵特征图像，具体为：在原始红外图像I上的每个像素点(x，y)处，以(x，y)为中心的滑动窗口内，设p_i是该窗口中灰度值i出现的概率，则(x，y)处的熵特征为： $H(x,y)=-\underset{i=0}{\overset{255}{\mathrm{\Σ}}}{p}_i\log p_i,$ 且规定当p_i＝0时p_ilogp_i＝0。用H(x，y)值作为像素(x，y)处的灰度值，生成熵特征值图像。

所述的将原始红外图像、Gabor特征图像和熵特征图像，合成多特征图像(伪彩色图像)，具体为：将原始红外图像在(x，y)处的灰度值I(x，y)、Gabor特征值f_G(x，y)和熵特征值H(x，y)，分别作为彩色图像的RGB值。得到的彩色图像就是多特征图像。

所述的采用均值漂移算法在多特征图像上对目标进行跟踪，具体为：将多特征图像视为彩色图像，其中的颜色信息描述了目标的特征，用均值漂移算法在多特征图像上对目标进行跟踪，就能够对目标的更多特征进行模式匹配，从而提高跟踪精度。

本发明基于均值漂移算法的图像目标跟踪具有简单和适时性好的优点，其原理是利用目标的统计特征来实现对目标的模式搜索。但均值漂移算法对红外目标进行跟踪时，由于红外图像中目标的对比度低，边缘和纹理模糊，导致目标的统计特征并不明显，跟踪效果并不理想。为了使均值漂移算法能够根据目标的其它特征跟踪目标，本发明首先提取红外图像的各种特征，并合成多特征图像，在多特征图像中，得到了对目标更精确的描述，目标和背景有了更大的可区分性，均值漂移算法在多特征图像中对目标进行跟踪可以得到更高的跟踪精度。本发明弥补了均值漂移算法只能根据单一特征(统计特征)跟踪目标的缺陷，所提出的多特征图像的概念，也可以被用做其它跟踪方法提高跟踪精度的技术手段。

附图说明

图1分别演示实施例(三个序列)的多特征图像的合成过程示意图；

其中：图1(a)为地面背景红外图像，其中的目标为坦克；图1(b)为天空背景红外图像，目标为飞机；图1(c)为天空和地面背景，且地面背景较为复杂，目标为飞机，在地平线附近飞行。

图2对图1中的三个序列中的目标跟踪时的演示示意图；

其中：在第一帧图像中手动确定的跟踪框。

图3将三个实施例的跟踪结果进行了比较示意图；

其中：横坐标表示帧图像的序号，纵坐标为对应的位置误差；虚线为均值漂移算法在原始红外图像中对目标进行跟踪的位置误差，实线为均值漂移算法在多特征图像中对目标进行跟踪的位置误差。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例首先产生红外图像的Gabor特征图像和熵特征图像，然后将原始红外图像、Gabor特征图像和熵特征图像一起合成伪彩色图像，即多特征图像；采用均值漂移算法在多特征图像中对目标进行跟踪，获得比在原始红外图像(灰度图像)跟踪目标时更高的跟踪精度。

本实施例包括如下步骤：

1.提取原始红外图像的Gabor特征。首先，在原始图像的每个像素位置(x，y)处，计算Gabor滤波器的值：

$G(x,y)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_{\mathrm{xy}}^2}\exp [-\frac{x^2+y^2}{2\mathrm{\π}{\mathrm{\σ}}_{\mathrm{xy}}^2}+2\mathrm{\πj}(\mathrm{Ux}+\mathrm{Vy})]$

其中，参数被经验地选取σ_xy＝2，U＝16和V＝π/3。然后，通过将原始图像I和Gabor滤波器执行卷积，得到在图像的像素(x，y)处的Gabor特征为f_G(x，y)＝I(x，y)*G(x，y)。在图1(a)、(b)和(c)中，分别给出了实施例图像的Gabor特征图像。Gabor滤波器具有良好的多尺度特性和方向特性，能同时在时域和频域获得最佳的局部化，同时具有较好的抽象视觉神经细胞工作机理的特性。图1中的Gabor特征图像，很好地描述了目标的方向特性。

2.提取原始红外图像的熵特征：取5×5的滑动窗口窗，为了描述目标的边缘等细节特征，窗口大小只取5×5。在原始红外图像I上的每个像素点(x，y)处，以(x，y)为中心的滑动窗口内，计算窗口所覆盖的图像区域的熵值 $H(x,y)=-\underset{i=0}{\overset{255}{\mathrm{\Σ}}}{p}_i\log p_i,$ 以H(x，y)值作为像素(x，y)处的灰度值，生成熵特征值图像。在图1(a)、(b)和(c)中，分别给出了实施例采用图像的熵特征图像。图1中的熵特征图像使图像中的细节更加突出，在目标的边缘处，具有较大的熵值，加强了对目标外形的描述。

3.将熵特征图像和Gabor特征图像与原始红外图像一起合成多特征图像。将图像每个像素(x，y)处的原始红外图像的灰度值、熵特征图像中的熵特征值和Gabor特征图像中的Gabor特征值分别赋给彩色图像的rgb通道，生成伪彩色图像，即是多特征图像。在图1(a)、(b)和(c)中，分别给出了实施例图像的多特征图像。图1中的多特征图像包含了目标的红外辐射特性(红外辐射强度)、Gabor特征和熵特征，对目标的描述更充分。

4.用均值漂移算法在多特征图像上对目标进行跟踪，给出目标的运动信息。其实现过程为，在跟踪开始的图像序列中的第一帧，用跟踪框(方框，可以手动确定)将目标覆盖，跟踪框的中心就是目标的位置。

图2给出了三个实施例的跟踪框。用跟踪框内的目标图像，得到参考目标模型q＝{q_u}_u＝1...m，且 $\underset{u=1}{\overset{m}{\mathrm{\Σ}}}{q}_u=1,$ m为灰度量化等级，即q为m级直方图(m-binhistograms)，取m＝32；设前一帧中目标的位置为

并给定迭代精度阈值ε及迭代的最大次数N，后续跟踪过程按下述步骤进行：

第1步：计算当前帧中

处的目标模型 $p={\left\{p_u\left({\hat{Y}}_0\right)\right\}}_{u=1\·\·\·m},$ 并计算相应的Bhattacharyya系数 $\mathrm{\θ}(q,p\left({\hat{Y}}_0\right))=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{q_u{p}_u\left({\hat{Y}}_0\right)};$

第2步：计算权值 $w_i=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{\frac{q_u}{p_u\left({\hat{Y}}_0\right)}}\mathrm{\δ}[b\left(X_i\right)-u],$ {X_i}_i＝1...n为候选目标像素位置被规一化的结果，并以为候选目标图像的中心；

第3步：根据均值漂移的递推公式 ${\hat{Y}}_1=\frac{{\mathrm{\Σ}}_{i=1}^{n_h}{X}_i{w}_{i}g\left({\left|\right|\frac{{\hat{Y}}_0-X_i}{h}\left|\right|}^2\right)}{{\mathrm{\Σ}}_{i=1}^{n_h}{w}_{i}g\left({\left|\right|\frac{{\hat{Y}}_0-X_i}{h}\left|\right|}^2\right)},$ 把目标的位置从初始位置移动到新位置

第4步：计算

处的目标模型 $p={\left\{p_u\left({\hat{Y}}_1\right)\right\}}_{u=1\·\·\·m},$ 并计算相应的Bhattacharyya系数 $\mathrm{\θ}(q,p\left({\hat{Y}}_1\right))=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{q_u{p}_u\left({\hat{Y}}_1\right)};$

第5步：当 $\mathrm{\&theta;}(q,p\left({\hat{Y}}_1\right))<\mathrm{\&theta;}(q,p\left({\hat{Y}}_0\right))$ 时， ${\hat{Y}}_1=\frac{1}{2}({\hat{Y}}_0+{\hat{Y}}_1),$ 并重新计算

第6步：如果 $\left|\right|{\hat{Y}}_1-{\hat{Y}}_0\left|\right|<\mathrm{\&epsiv;}$ 或迭代次数大于N，停止搜索，否则令 ${\hat{Y}}_0={\hat{Y}}_1,$ 并转第2步。将

值作为目标位置坐标输出。

图3为对本发明的三个实施例跟踪结果的比较，图中的横坐标表示帧图像的序号，纵坐标为对应的位置误差；虚线为均值漂移算法在原始红外图像中对目标进行跟踪的位置误差，实线为均值漂移算法多特征图像中对目标进行跟踪的位置误差。从图3可以看出，均值漂移算法在多特征图像中跟踪目标时，跟踪精度更高，且跟踪更稳定。表1中列出了均值漂移算法在原始红外图像中跟踪目标和在多特征图像中跟踪目标时的均方根误差。从表中可以更直观地看出，跟踪多特征图像中的目标时，跟踪精度更高。

表1 跟踪附图1中三个图像序列时的均方根误差

Claims (5)

1. 一种基于多特征图像和均值漂移的红外目标跟踪方法，其特征在于，包括如下步骤：

首先，在原始图像上提取图像的Gabor特征和熵特征，并生成相应的Gabor特征图像和熵特征图像；

然后，将原始红外图像、Gabor特征图像和熵特征图像，合成多特征图像，每个像素位置的r、g和b值分别为原始红外图像的灰度值、Gabor特征值和熵特征值；

最后，采用均值漂移算法在多特征图像上对目标进行跟踪，得到更精确的目标位置信息。

2. 根据权利要求1所述的基于多特征图像和均值漂移的红外目标跟踪方法，其特征是，所述的提取红外图像的Gabor特征，并生成Gabor特征图像，具体为：在原始红外图像I上的每个像素点(x，y)处，用二维Gabor滤波器采用的函数：

$G(x,y)=\frac{1}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}_{\mathrm{xy}}^2}\exp [-\frac{x^2+y^2}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}_{\mathrm{xy}}^2}+2\mathrm{\&pi;j}(\mathrm{Ux}+\mathrm{Vy})]$

计算其函数值，Gabor特征是通过将原始图像I和Gabor滤波器执行卷积得到的，在图像的像素(x，y)处，Gabor特征为f_G(x，y)＝I(x，y)*G(x，y)，用f_G(x，y)值作为像素(x，y)处的灰度值，生成Gabor特征值图像。

3. 根据权利要求1所述的基于多特征图像和均值漂移的红外目标跟踪方法，其特征是，所述的提取红外图像的熵特征，并生成熵特征图像，具体为：在原始红外图像I上的每个像素点(x，y)处，以(x，y)为中心的滑动窗口内，设p_i是该窗口中灰度值i出现的概率，则(x，y)处的熵特征为： $H(x,y)=-\underset{i=0}{\overset{255}{\mathrm{\&Sigma;}}}{p}_i\log p_i,$ 且规定当p_i＝0时p_ilogp_i＝0，用H(x，y)值作为像素(x，y)处的灰度值，生成熵特征值图像。

4. 根据权利要求1所述的基于多特征图像和均值漂移的红外目标跟踪方法，其特征是，所述的将原始红外图像、Gabor特征图像和熵特征图像，合成多特征图像，具体为：将原始红外图像在(x，y)处的灰度值I(x，y)、Gabor特征值f_G(x，y)和熵特征值H(x，y)，分别作为彩色图像的RGB值，得到的彩色图像就是多特征图像。

5. 根据权利要求1所述的基于多特征图像和均值漂移的红外目标跟踪方法，其特征是，所述的采用均值漂移算法在多特征图像上对目标进行跟踪，是指：将多特征图像视为彩色图像，其中的颜色信息描述了目标的特征，用均值漂移算法在多特征图像上对目标进行跟踪，就能够对目标的更多特征进行模式匹配。

Images