CN102005054B - 一种实时红外图像目标跟踪方法 - Google Patents

Abstract

本发明公开了一种实时红外图像目标跟踪方法，包括以下步骤：输入红外图像，对图像进行增强处理，输出增强图像；输入n个图像模板，在波门区域内，分别对n个图像模板进行相关匹配，获得n个相关值和相关匹配位置，n为大于1的自然数；根据相关值和相关匹配位置对n个模板图像进行更新，并结合n个相关值、n个目标匹配位置和跟踪计算信息决定本帧最终的目标匹配位置，输出目标匹配位置；根据所述目标匹配位置，利用卡尔曼滤波器维持对目标跟踪状态的估计，输出跟踪波门区域；输入新一帧图像，返回首步。本发明优点在于，使用锐化滤波器增强红外图像的边缘和细节信息，提高了红外图像的清晰度；使用多个模板，有助于提高目标跟踪的稳定性。

Description

一种实时红外图像目标跟踪方法

技术领域

本发明涉及一种红外图像目标跟踪方法，特别涉及一种满足实时处理需求的红外图像目标跟踪方法。

背景技术

当前，光电技术已成为军事侦察监视与预警中的核心技术和重要手段之一。其中，红外探测系统是军用光电技术的重要应用领域，其具有被动探测、昼夜工作、实时成像。抗电磁干扰等优点，日益受到各国军方和科研部门的重视，成为军用光电技术的热点研究方向。

红外图像目标跟踪是红外探测系统实时、持续、精确提供目标方位、俯仰以及图像相关信息的前提条件。由于红外跟踪图像具有高帧频的优点，相邻两帧中的目标在形态、位置、灰度等特征上差异较小，根据已知目标信息，利用图像相关匹配技术可以有效的在当前帧对目标进行定位，形成对目标的连续跟踪。

在可见光波段，图像目标匹配跟踪的算法已经发展的相当成熟，有许多典型算法，例如灰度相关匹配算法，主要思想就是在当前帧中寻找与上一帧中目标区域灰度相关性最大的区域；基于Mean-Shift(均值漂移)的目标跟踪算法，其利用图像的颜色信息构建直方图作为目标模板描述，选择合适的核函数以及相似性度量函数使得目标周围邻域内相似性度量曲面为平滑的凸曲面，然后用Mean-Shift算法快速找到极值点来确定目标在当前帧中的位置。其他的还有主动轮廓线跟踪、光流法跟踪等等。

红外探测系统接收外界的红外辐射，通过光电转换，形成红外图像。与电视摄像机获取的可见光图像相比，红外图像没有彩色信息，只有强度信息，红外图像中目标的边缘和细节比较模糊等。因此，目前电视视频跟踪中的很多成熟，优良的算法都很难直接应用到红外图像目标跟踪上去，需要针对红外图像的特征进行改进。此外，算法必须满足红外传感器50Hz图像帧频的实时处理要求。因此，发明一种适合红外图像目标跟踪特点，能达到实时处理要求的红外图像目标跟踪方法势在必行。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种效果良好、计算简单、适合硬件实现的实时红外图像目标跟踪方法。

为了解决上述技术问题，本发明公开了一种实时红外图像目标跟踪方法，该方法基于图像模板匹配的原理，结合航迹跟踪处理，输出每帧图像中目标的精确位置，驱动图像传感器的伺服系统跟踪目标，具体包括以下步骤：

步骤(1)，输入红外图像，对图像进行增强处理，输出增强图像；

步骤(2)，输入n个图像模板，在跟踪波门区域内，分别对n个图像模板进行相关匹配，获得n个相关值和相关匹配位置，n为大于1的自然数；

步骤(3)，根据相关值和相关匹配位置对n个模板图像进行更新，并结合n个相关值、n个目标匹配位置和跟踪计算信息决定本帧最终的目标匹配位置T(i，j)，i和j分别为目标匹配位置所在行数和列数，并将目标匹配位置T(i，j)输出至图像传感器的伺服系统，驱动图像传感器跟踪目标；

步骤(4)，为了增强算法在目标遮挡、目标短暂消失时的跟踪性能，根据所述目标匹配位置T(i，j)，利用卡尔曼滤波器维持对目标跟踪状态的计算，并将计算得到的下一帧目标位置作为下一帧跟踪波门的中心位置带回卡尔曼滤波器中；

步骤(5)，输入新一帧图像，返回步骤(1)。

本发明中，所述n为2～10，最优选地，所述n为5。

本发明步骤(1)中使用拉普拉斯算子对红外图像进行锐化处理形成拉普拉斯图像I_L，将拉普拉斯图像I_L和原图I_R按照一定比例α叠加形成增强图像I_E，I_E＝αI_R+(1-α)I_L，0＜α＜1。

本发明步骤(2)中图像模板的大小为32×32个像素，初始步骤中，所述n个图像模板最初为对应前n帧图像中匹配位置取得的图像。

本发明步骤(2)中所述相关匹配的度量准则采用最大近邻距离相关匹配算法，算法为：

$\mathrm{MCD}(I^{\′},M^k)=\underset{i=1}{\overset{32}{\mathrm{\Σ}}}\underset{j=1}{\overset{32}{\mathrm{\Σ}}}R(I_{i,j}^{\′},M_{i,j}^k),$

其中

I′当前帧中与模板大小相同的图像区域，I′_i，j为当前帧图像(i，j)位置处的像素值，

为第k(k＝1，L，n)个模板图像(i，j)位置处的像素值，T_MCD为相关匹配阈值，取值为10。

本发明步骤(3)中所述n个模板的更新策略为：

求n个目标匹配位置(x₁，y₁)，L，(x_n，y_n)与卡尔曼滤波估计的计算位置

的欧氏距离

n个模板求得的相关值为ρ₁，L，ρ_n，其中ρ_i＝MCD(I′，Mⁱ)/(32×32)，

其中i＝1，Λ，n，计算n个模板的综合相似度η_i，令η_Max＝MAX(η_i)；

设定高阈值

和低阈值

根据工程经验和实践结果，

通常为0.7～0.9，本发明优选取值为0.85，

通常为0.2～0.5，本发明优选取值为0.4：

当

时，用相似度最大的η_Max对应的目标匹配图像I_Max替代综合相似度最低的η_Min＝MIN(η_i)那个模板；

当

时，采用区域生长算法(该方法为图像分割中的经典算法，详细可见R.C.Gonzalez等著，阮秋琦等译的《数字图像处理》(第二版)中第496页)来分割目标图像，区域增长算法以最大近邻距离相关匹配算法求出的位置为种子点，将分割后图像I_RG的质心(x，y)_RG作为本帧匹配位置，用分割后图像I_RG替代综合相似度最低的η_Min＝MIN(η_i)那个模板；

当

时，则保持原来n个模板图像。

通过如上更新策略可以得到下一帧的n个图像模板内容。

本发明步骤(3)中输出目标匹配位置的方法为：

当

时，将与η_Max对应的匹配位置(x，y)_Max作为当前帧匹配位置输出；

当

时，用区域生长算法分割后图像的质心(x，y)_RG作为当前帧匹配位置输出；

当

时，用卡尔曼滤波的计算位置(x，y)_Pre作为当前帧匹配位置输出。

本发明步骤(4)中卡尔曼滤波器输出的跟踪波门区域是以卡尔曼滤波器的计算位置(x，y)_Pre为中心，64×64个像素大小的区域。

有益效果：本发明的优点和效果包括：(1)使用锐化滤波器增强红外图像的边缘和细节信息，提高了红外图像的清晰度。(2)使用了5个模板，多模板可以较单模板提供更多的目标历史信息，有助于提高目标跟踪的稳定性。(3)本发明的模板更新策略中当

时，采用区域增长的方法来分割目标图像，该方法可以有效抵抗由于目标形态渐变和跟踪积累误差带来的跟踪脱锁问题。(4)利用Kalman滤波器来计算下一帧目标的波门范围，可以减小搜索区域，避免MCD在无效区域的大量运算。更重要的是通过Kalman滤波器的对跟踪状态的估计和维持，可以有效地解决目标快速运动，以及暂时遮挡对跟踪造成的影响。(5)整个跟踪方法不存在高阶运算和复杂结构，算法易于硬件实现。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图示为本发明的流程图。

具体实施方式：

下面以某型红外跟踪系统为例，结合附图，对算法流程进行详细介绍。红外跟踪系统使用凝视型红外热像仪获取红外图像。凝视型红外热像仪的帧频为50Hz，图像分辨率为320×240。图像通过光纤传给专用图像处理板完成红外图像实时目标跟踪处理，专用图像处理板采用DSP+FPGA设计，算法合理的分配到两种处理器中，满足实时处理的需求。

步骤一，图像预处理，输入红外图像，对图像进行增强处理，输出增强图像。

拉普拉斯算子是一种各向同性二阶微分滤波器，一个二维图像I(x，y)的拉普拉斯变换定义为：

$I_L={\▿}^{2}I=\frac{{\∂}^{2}I}{\∂x^2}+\frac{{\∂}^{2}I}{\∂y^2}$ 公式(1)；

为了适合数字图像处理，对公式(1)进行离散化，可得：

$I_L={\▿}^{2}I=[I(x+1,y)+I(x-1,y)+I(x,y+1)+I(x,y-1)]-4I(x,y)$

由于拉普拉斯是一种微分算子，它的应用强调图像中灰度的突变。因此，将拉普拉斯锐化后的图像和原图叠加，可以起到红外图像细节增强的作用。在预处理中，将拉普拉斯图像和原图I_R按照一定比例α叠加形成增强图像I_E＝αI_R+(1-α)I_L，0＜α＜1。

步骤二，相关匹配，输入n个图像模板，在波门区域内，分别对n个图像模板进行相关匹配，获得n个相关值和相关匹配位置，n为大于1的自然数，本实施例中n取5；

本发明中的相关匹配的度量准则采用最大近邻距离(Maximum Close Distance，MCD)相关匹配算法。算法公式为：

$\mathrm{MCD}(I^{\′},M^k)=\underset{i=1}{\overset{32}{\mathrm{\Σ}}}\underset{j=1}{\overset{32}{\mathrm{\Σ}}}R(I_{i,j}^{\′},M_{i,j}^k),$

其中

I′当前帧中与模板大小相同的图像区域，I′_i，j为当前帧图像(i，j)位置处的像素值，

为第k(k＝1，L，n)个模板图像(i，j)位置处的像素值，T_MCD为相关匹配阈值，取值为10。该算法原理：首先比较待匹配的两幅图像对应点的灰度绝对差，如果这个绝对差小于预设的阈值(这个阈值是实验观察得出来的，经验表明，该值取10到20之间比较合适)，就可以认为这两点近似，然后统计整幅图像区域中对应点象素绝对差小于这个阈值的数目，就可以确定这两幅图像的相似程度了，把这个数目定义为MCD距离。MCD距离越大说明两幅图像越相似。

综合考虑目标尺寸和计算复杂度，本实施例中采用了5个图像模板，每个图像模板的大小为32×32个像素。使用多模板可以较单模板提供更多的目标历史信息，有助于提高目标跟踪的稳定性。

步骤三，模板更新，根据相关值和相关匹配位置对5个模板图像进行更新，并结合5个相关值、5个目标匹配位置和跟踪计算信息决定本帧最终的目标匹配位置，输出目标匹配位置；

在对目标的跟踪过程中，目标模板维系了整个跟踪的动态过程。相关跟踪过程中由于目标在不断运动，视场内目标的大小、形状会发生变化，因此，模板图像和相关区的大小在跟踪过程中必须自动地调节变化。5个图像模板最初为对应前5帧图像中匹配位置取得的图像，其后的更新策略为：

1)求5个匹配位置(x₁，y₁)，Λ，(x₅，y₅)与kalman滤波估计的计算位置的欧氏距离

2)5个模板求得的相关值为ρ₁，Λ，ρ₅，其中ρ_i＝MCD(I′，Mⁱ)/(32×32)，用

计算5个模板的综合相似度，令η_Max＝MAX(η_i)；

3)预设高低两个阈值根据工程经验和实践结果，通常为0.7～0.9，本实施例中取值为0.85，

通常为0.2～0.5，本实施例中取值为0.4：

当

时，用当前帧匹配图像I_Match替代综合相似度最低的η_Min＝MIN(η_i)那个模板；

当

时，采用区域增长算法来分割目标图像。区域增长算法以MCD求出的位置为种子点，将分割后图像的质心作为本帧匹配位置，将分割后的图像I_RG替代综合相似度最低的η_Min＝MIN(η_i)那个模板；

当

时，则保持原来5个模板图像。

步骤四，根据所述目标匹配位置，利用卡尔曼滤波器(Kalman滤波器)维持对目标跟踪状态的估计，输出跟踪波门区域；

Kalman滤波器是一种在时域内采用递归滤波的方法对系统状态进行最小均方误差估计的方法，具有计算量小，可实时处理的特点，利用Kalman滤波器实现对目标轨迹的估计和计算是非常有效的。

红外图像目标在每一帧图像中的位置构成了目标运动的轨迹，Kalman滤波器引入的目的就是对根据以往目标的位置点的信息计算当前帧中目标的可能位置。Kalman滤波器通过每帧红外图像处理获取的目标位置构建Kalman计算方程和Kalman更新方程，通过这两个方程，Kalman滤波器可以维持和计算目标的轨迹信息。

在本实施例中，Kalman滤波器每帧对下一帧目标出现的位置进行计算，该计算结果作为下一帧进行MCD的波门区域。当跟踪出现异常，即当

时，此时目标可能是发生遮挡或交叉情况，MCD求出的匹配结果无意义。则将上一帧Kalman滤波器作出的计算作为当前帧的目标跟踪位置。

步骤五，当前帧匹配位置，当前帧匹配位置输出方法总结如下：

当

时，将与η_Max对应的匹配位置(x，y)_Max作为目标匹配位置输出；

当

时，用区域增长算法分割后图像的质心(x，y)_RG作为目标匹配位置输出；

当

时，用Kalman滤波的计算位置(x，y)_Pre作为目标匹配位置输出。

本发明提供了一种实时红外图像目标跟踪方法的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (6)

1.一种实时红外图像目标跟踪方法，其特征在于，包括以下步骤：

步骤(1)，输入红外图像，对图像进行增强处理，输出增强图像；

步骤(2)，输入n个图像模板，在跟踪波门区域内，分别对n个图像模板进行相关匹配，获得n个相关值和相关匹配位置，n为大于1的自然数；

步骤(3)，根据相关值和相关匹配位置对n个模板图像进行更新，并结合n个相关值、n个相关匹配位置和跟踪计算信息决定本帧最终的目标匹配位置T(i，j)，i和j分别为目标匹配位置所在行数和列数，并将目标匹配位置T(i，j)输出至图像传感器的伺服系统，驱动图像传感器跟踪目标；

步骤(4)，根据所述目标匹配位置T(i，j)，利用卡尔曼滤波器维持对目标跟踪状态的计算，并将计算得到的下一帧目标位置作为下一帧跟踪波门的中心位置带回卡尔曼滤波器中；

步骤(5)，输入下一帧红外图像，返回步骤(1)；

步骤(2)中所述相关匹配的度量准则采用最大近邻距离相关匹配算法，算法为：

$\mathrm{MCD}(I^{\′},M^k)=\underset{i=1}{\overset{32}{\mathrm{\Σ}}}\underset{j=1}{\overset{32}{\mathrm{\Σ}}}R(I_{i,j}^{\′},M_{i,j}^k),$

其中 $R(I_{i,j}^{\&prime;},M_{i,j}^k)=\left\{\begin{array}{cc}1& |I_{i,j}^{\&prime;}-M_{i,j}^k|<T_{\mathrm{MCD}}\\ 0& \mathrm{else}\end{array}\right.,$ 1≤i，j≤32，I′为当前帧中与模板大小相同的图像区域，I′_i，j为当前帧图像(i，j)位置处的像素值，为第k个模板图像(i，j)位置处的像素值，其中k＝1，...，n，T_MCD为相关匹配阈值，取值为10；

步骤(3)中所述n个模板的更新策略为：

求n个相关匹配位置(x₁，y₁)，...，(x_n，y_n)与卡尔曼滤波估计的计算位置

的欧氏距离 $e_1=\left|\right|(x_1,y_1)-(\stackrel{\&OverBar;}{x},\stackrel{\&OverBar;}{y})\left|\right|,$ $e_2=\left|\right|(x_2,y_2)-(\stackrel{\&OverBar;}{x},\stackrel{\&OverBar;}{y})\left|\right|,...,e_n=\left|\right|(x_n,y_n)-(\stackrel{\&OverBar;}{x},\stackrel{\&OverBar;}{y})\left|\right|;$

n个模板求得的相关值为ρ₁，...，ρ_n，其中ρ_i＝MCD(I′，Mⁱ)/(32×32)，

其中i＝1，...，n，计算n个模板的综合相似度η_i，令η_Max＝MAX(η_i)；

设定高阈值

和低阈值

高阈值

取值范围为0.7～0.9，低阈值

取值范围为0.2～0.5：

当时，用相似度最大的η_Max对应的目标匹配图像I_Max替代综合相似度最低的η_Min＝MIN(η_i)模板；

当

时，采用区域生长算法来分割目标图像，区域增长算法以最大近邻距离相关匹配算法求出的位置为种子点，将分割后图像I_RG的质心(x，y)_RG作为本帧匹配位置，用分割后图像I_RG替代综合相似度最低的η_Min＝MIN(η_i)模板；

当

时，则保持原来n个模板图像；

步骤(3)中输出目标匹配位置的方法为：

当

时，将与η_Max对应的匹配位置(x，y)_Max作为当前帧匹配位置输出；

当

时，用区域生长算法分割后图像的质心(x，y)_RG作为当前帧匹配位置输出；

当

时，用卡尔曼滤波的计算位置(x，y)_Pre作为当前帧匹配位置输出。

2.根据权利要求1所述的一种实时红外图像目标跟踪方法，其特征在于，所述n为2～10。

3.根据权利要求2所述的一种实时红外图像目标跟踪方法，其特征在于，所述n为5。

4.根据权利要求1所述的一种实时红外图像目标跟踪方法，其特征在于，步骤(1)中使用拉普拉斯算子对红外图像进行锐化处理形成拉普拉斯图像I_L，将拉普拉斯图像I_L和原图I_R按照一定比例α叠加形成增强图像I_E，I_E＝αI_R+(1-α)I_L，0＜α＜1。

5.根据权利要求1所述的一种实时红外图像目标跟踪方法，其特征在于，步骤(2)中图像模板的大小为32×32个像素，初始步骤中，所述n个图像模板最初为对应前n帧图像中匹配位置取得的图像。

6.根据权利要求1所述的一种实时红外图像目标跟踪方法，其特征在于，步骤(4)中卡尔曼滤波器输出的跟踪波门区域是以卡尔曼滤波器的计算位置(x，y)_Pre为中心，64×64个像素大小的区域。

Images