CN102103748A - 一种复杂背景下红外弱小目标检测和跟踪方法 - Google Patents

Abstract

本发明涉及一种复杂背景下红外弱小目标检测与跟踪方法。考虑到红外图像SNR低、噪声大，单一特征进行跟踪不稳定的问题，本发明首先利用方差加权信息熵提取出感兴趣目标区域作为检测结果，利用灰度和纹理特征建立目标模板，用Mean Shift算法实现红外弱小目标的跟踪，有效地避免了单一特征在复杂背景条件下的跟踪不稳定问题。多段红外视频序列的跟踪实验，都验证了本发明的有效性。

Description

一种复杂背景下红外弱小目标检测和跟踪方法

技术领域

本发明涉及一种涉及红外图像处理方法，具体是红外弱小目标的检测与跟踪方法。

背景技术

红外目标的检测与跟踪，是红外搜索与跟踪系统，精确制导系统，红外预警系统中的一项核心技术。然而，由于远距离下目标成像面积小，对比度较低，边缘模糊，尺寸及形状变化不定，可检测信号相对较弱，特别是在非平稳复杂背景干扰下，背景与目标常交叠在一起，成像的信噪比较低，使得复杂背景下红外弱小目标的检测与跟踪变得很困难。

对于序列图像中的弱小目标的检测和跟踪，其涉及到的相关技术主要包括图像的预处理、目标检测和目标跟踪3个方面。图像预处理是为了背景抑制与目标增强，便于在复杂背景下更好的检测目标。目标检测是从图像中提取出感兴趣的目标对象，是红外目标检测与跟踪的关键。目前，红外序列图像中弱小目标检测算法主要有基于运动能量累积的方法，基于管道滤波的方法，基于运动假设的方法，基于背景预测的方法等。目前有很多目标跟踪算法，大致可以分为两类，确定性方法和随机性方法。确定性方法是通过寻找目标的最优匹配来实现跟踪，如Mean Shift算法。该方法实时性好，能够快速的实现目标匹配，但在遮挡等情况下容易陷入局部极值，跟踪的鲁棒性较差。随机性方法是通过对目标的状态进行估计，如卡尔曼滤波，粒子滤波算法。卡尔曼滤波是有效的线性最优估计技术，但不能处理非线性和非高斯的情况。而粒子滤波方法具有较强的抗遮挡和背景干扰的能力，但计算量比较大，而且存在退化现象。

目标跟踪的关键是提取目标模板进行匹配，因而特征提取是跟踪算法中最基本和最关键的问题。目前使用比较多的特征有颜色信息、运动信息和边缘特征等，而红外目标一般都没有明显的轮廓，同时也没有颜色信息，因此选择灰度分布描述目标。灰度分布描述是一种比较稳健的目标描述策略，它能减弱目标的部分遮挡、旋转和变形对跟踪算法的影响，但是采用单一灰度特征进行跟踪鲁棒性不高，当目标和背景的灰度分布比较相似，或者是光照不稳定时，往往导致跟踪失败。

复杂背景下红外图像信噪比低，噪声干扰大，目标和背景对比度低，使得弱小目标的检测变得很困难；在复杂背景下，不同的特征对不同场景的贡献不一样，因此单一特征表示目标往往得不到好的跟踪效果。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种复杂背景下红外弱小目标检测和跟踪方法，基于方差加权信息熵实现复杂背景下基于感兴趣区域的目标检测与提取，采用灰度-纹理特征的Mean Shift算法实现目标跟踪。

本发明的思想在于：基于方差加权信息熵(Variance weighted information entropy，Variance WIE)实现了感兴趣区域(region of interest，ROI)的提取，利用灰度-纹理特征表示目标模板，采用Mean Shift算法实现目标跟踪，有效地避免了单一特征在复杂背景条件下的跟踪不稳定问题。

技术方案

一种复杂背景下红外弱小目标检测和跟踪方法，其特征在于步骤如下：

步骤1基于方差加权信息熵的感兴趣区域提取：

步骤(1)：将M×N大小的初始帧图像分割成m×n大小的子图像块，得到子图像块集合F(u，v)，其中：m＝2^k，n＝2^l，1≤k≤4，1≤l≤4，0≤u≤M/m-1，0≤v≤N/n-1；

步骤(2)：对子图像块集合F(u，v)中的每幅图像F(i，j)，采用公式

计算其方差加权信息熵H(i，j)，得到M/(m-1)×N/(n-1)大小的熵图像，并计算熵图像的均值μ和方差δ；其中：0≤i≤M/m-1，0≤j≤N/n-1，s表示灰度值，p_s表示每种灰度级对应的概率，

表示红外图像的灰度平均值，当p_s＝0时，令p_s*log(p_s)＝0；

步骤(3)：当步骤(2)得到的熵图像中最大的熵值H(t，r)≥H_T时，H(t，r)对应的子图像F(t，r)为种子；当H(t，r)＜H_T时，取m＝m/2，n＝n/2，重复步骤(1)和(2)，直到熵图像中最大的熵值满足H(t，r)≥H_T或m＝2或n＝2；其中(t，r)表示熵最大的图像块的位置；

步骤(4)：在熵图像上，以步骤(3)得到的种子，采用基于八邻域的区域增长方法进行增长，得到包含目标的矩形感兴趣区域ROI(centerx，centery，w，h)作为复杂背景下红外弱小目标检测的结果，其中：centerx为区域中心横坐标，centery为区域中心纵坐标，w为区域的宽度，h为区域高度，均为整数；所述基于八邻域的区域增长方法中的相似度α∈(0，1)；

步骤2多特征融合：

步骤①：在初始帧中，以感兴趣区域ROI(centerx，centery，w，h)作为目标区域

将目标区域中的像素点M＝w×h分为16个特征区间gr(x_i)，其中：x_i表示像素点的位置(row_i，col_i)；所述gr(x_i)∈[1，16]；然后利用LBP纹理空间将目标区域中的像素点M＝w×h分为5个特征区间tx(x_i)∈[2，6]：

其中：2，3，4，5，6表示五种模式；

所述其中：1表示圆环的半径，8表示圆环上点的个数；g_c表示坐标为(x0，y0)的中心点y_c的灰度值；g_b表示以中心点为中心，半径为1的圆环上第b个等分点的灰度值，等分点坐标为(x0-sin(2πb/8)，y0+cos(2πb/8))，b∈[0，7]；

tx(x_i)为x_i处对应的灰度特征值，tx(x_i)∈[1，5]；

步骤②：将特征区间gr(x_i)和tx(x_i)∈[1，5]相加m＝16×5＝80，得到m个特征区间gt(x_i)，其中gt(x_i)＝(gt(x_i)-1)×5+tx(x_i)，gt(x_i)∈[1，80]；

所述目标区域特征区间的灰度纹理特征表示为q＝{q_u}_{u＝1，…，m}，其中：

参数描述目标区域的大小，δ是狄拉克函数，K(·)是加权函数，定义为

C为归一化系数；所述C的取值保证使得

其中||y-x_i||表示区域的中心点y与区域中像素点x_i的欧氏距离；

步骤3Mean Shift跟踪步骤：

步骤(一)：由步骤2得到初始帧中目标区域的灰度纹理特征q＝{q_u}_{u＝1，...，m}以及初始帧目标的位置y₀(centerx，centery)，目标区域大小即为w×h；从第二帧pFrame＝2开始采用迭代方程

将当前目标区域的中心位置y₀移动到新的目标区域中心位置y₁，x_i为当前目标区域中的像素点，i＝1，...，M，ω_i为当前目标区域中像素点的权值，

p_u(y₀)为用步骤2中同样的方法得到的当前目标区域的灰度纹理特征；初始化迭代次数k＝0，令k←k+1，d←||y₁-y₀||，当满足d＜ε or k≥N时迭代停止，y_new(pFrame)＝y₁，否则，令y₀←y₁，继续迭代。其中d表示偏移距离，ε表示阈值，N表示最大迭代次数，0＜ε＜0.5，N≥10；y_new(pFrame)即为当前帧的目标跟踪结果，表示目标区域的中心坐标；

步骤(二)：令y₀←y_new(pFrame)，pFrame←pFrame+1，

if pFrame＞TotalFrames

跟踪结束，y_new即为目标跟踪的结果，表示第2到TotalFrames帧中目标区域的中心坐标；TotalFrames表示图像序列的帧数；

否则由步骤(一)重新开始。

有益效果

本发明提出的一种复杂背景下红外弱小目标检测和跟踪方法，首先利用方差加权信息熵做感兴趣区域提取，得到包含目标的矩形框，缩小了解空间、剔除了大量的噪声干扰；然后在包含目标的矩形区域内利用灰度-纹理特征建立目标模板，用Mean Shift算法实现红外弱小目标的跟踪，有效地避免了单一特征在复杂背景条件下的跟踪不稳定问题。

附图说明

图1：本发明方法的流程图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

步骤1基于加权信息熵的感兴趣区域提取：

(1)将M×N大小的图像分割成m×n大小的子图像块，得到子图像块集合F(u，v)，其中：m＝2^k，n＝2^l，1≤k≤4，1≤l≤4，0≤u≤M/m-1，0≤v≤N/n-1，这里我们取k＝l＝3；

(2)对子图像块集合F(u，v)中的每幅图像F(i，j)，采用公式

计算其方差加权信息熵H(i，j)，得到M/(m-1)×N/(n-1)大小的熵图像，并计算熵图像的均值μ和方差δ。其中：0≤i≤M/m-1，0≤j≤N/n-1，s表示灰度值，s∈[0，255]，p_s表示每种灰度级对应的概率，

表示红外图像的灰度平均值，当p_s＝0时，令p_s*log(p_s)＝0；

(3)以H(t，r)＝max{H(u，v)}表示步骤(2)得到的熵图像中最大的熵值，(t，r)表示熵最大的图像块的位置。如果H(t，r)≥H_T，其中H_T＝μ+α*δ，α＝1，2，3，...，这里α取6，则H(t，r)对应的子图像F(t，r)即为种子。如果H(t，r)＜H_T，则取m＝m/2，n＝n/2，重复步骤(1)和(2)，直到熵图像中最大的熵值满足H(t，r)≥H_T或m＝2或n＝2；

(4)在熵图像上，结合步骤(3)得到的种子，采用基于八邻域的区域增长方法，相似度α∈(0，1)，本文取α＝0.5，得到包含目标的矩形感兴趣区域ROI，表示为ROI(centerx，centery，w，h)，分别代表感兴趣区域中心横坐标，中心纵坐标，区域的宽度，区域的高度，且它们都为整数。ROI(centerx，centery，w，h)即作为弱小目标检测的结果。

步骤2多特征融合：

以步骤1得到的感兴趣区域ROI(centerx，centery，w，h)作为目标区域，记目标区域为

则M＝w×h，代表目标区域像素点的个数，x_i表示像素点的位置(row_i，col_i)。将像素点灰度空间划分为16个区间，用gr(x_i)表示x_i处对应的灰度特征值，gr(x_i)∈[1，16]；利用LBP纹理空间划分为5个区间，取其值

为2，3，4，5，6的五种模式，为方便表示，将2，3，4，5，6相应的转化为1，2，3，4，5，其中

圆环上点的个数为8，圆环的半径为1，g_c表示中心点y_c的灰度值，坐标为(x0，y0)，g_b表示以中心点为中心，半径为1的圆环上第b个等分点的灰度值，坐标用(x0-sin(2πb/8)，y0+cos(2πb/8))表示，b∈[0，7]，

用tx(x_i)表示x_i处对应的灰度特征值，tx(x_i)∈[1，5]，则特征空间被划分为m个空间，m＝16×5＝80，用gt(x_i)表示，gt(x_i)＝(gt(x_i)-1)×5+tx(x_i)，gt(x_i)∈[1，80]，统计目标区域中特征点落在每个区域的像素个数，则目标空间灰度纹理特征记为q＝{q_u}_{u＝1，...，m}，

C为归一化系数，使得

||y-x_i||表示区域的中心点y与区域中像素点x_i的欧氏距离，参数

描述目标区域的大小，δ是狄拉克函数，K(.)是加权函数，定义为

步骤3Mean Shift跟踪：

从当前目标区域的中心位置y₀移动到新的目标区域中心位置的y₁的迭代方程为：

x_i为初始目标区域中的像素点，i＝1，...，M，ω_i为当前目标区域中像素点的权值，

q＝{q_u}_{u＝1，…，m}为步骤2中得到的初始目标区域的灰度纹理特征，p_u(y₀)为用步骤2中同样的方法得到的当前目标区域的灰度纹理特征。具体跟踪步骤如下：

由步骤2得到目标区域的灰度纹理特征q＝{q_u}_{u＝1，...，m}以及初始帧目标的位置y₀(centerx，centery)，目标区域大小即为w×h；从第二帧开始跟踪目标，pFrame＝2；视频序列图像帧数为TotalFrames；

(1)载入第pFrame帧图像。初始化，迭代次数k←0；

(2)在当前帧中计算候选目标区域的灰度纹理特征p(y₀)；

(3)计算权值{ω_i}_{i＝1，...，m}；

(4)计算目标区域的新位置y₁；

(5)k←k+1，d←||y₁-y₀||，d表示偏移距离，设定阈值ε和最大迭代次数N，0＜ε＜0.5，N≥10，这里取阈值ε＝0.1，迭代次数N＝10；

if d＜ε or k≥N

迭代停止，y_new(pFrame)＝y₁即为当前帧的目标跟踪结果，表示目标区域的中心坐标，转入(6)；

else

转入(2)；

(6)y₀←y_new(pFrame)，pFrame←pFrame+1；

if pFrame＞TotalFrames

跟踪结束，y_new即为目标跟踪的结果，表示第2到TotalFrames帧中跟踪得到的目标区域的中心坐标；

else

转入步骤3的(1)步骤。

Claims (1)

1.一种复杂背景下红外弱小目标检测和跟踪方法，其特征在于步骤如下：

步骤1基于方差加权信息熵的感兴趣区域提取：

步骤(1)：将M×N大小的初始帧图像分割成m×n大小的子图像块，得到子图像块集合F(u，v)，其中：m＝2^k，n＝2^l，1≤k≤4，1≤l≤4，0≤u≤M/m-1，0≤v≤N/n-1；

步骤(2)：对子图像块集合F(u，v)中的每幅图像F(i，j)，采用公式

计算其方差加权信息熵H(i，j)，得到M/(m-1)×N/(n-1)大小的熵图像，并计算熵图像的均值μ和方差δ；其中：0≤i≤M/m-1，0≤j≤N/n-1，s表示灰度值，p_s表示每种灰度级对应的概率，

表示红外图像的灰度平均值，当p_s＝0时，令p_s*log(p_s)＝0；

步骤(3)：当步骤(2)得到的熵图像中最大的熵值H(t，r)≥H_T时，H(t，r)对应的子图像F(t，r)为种子；当H(t，r)＜H_T时，取m＝m/2，n＝n/2，重复步骤(1)和(2)，直到熵图像中最大的熵值满足H(t，r)≥H_T或m＝2或n＝2；其中(t，r)表示熵最大的图像块的位置；

步骤(4)：在熵图像上，以步骤(3)得到的种子，采用基于八邻域的区域增长方法进行增长，得到包含目标的矩形感兴趣区域ROI(centerx，centery，w，h)作为复杂背景下红外弱小目标检测的结果，其中：centerx为区域中心横坐标，centery为区域中心纵坐标，w为区域的宽度，h为区域高度，均为整数；所述基于八邻域的区域增长方法中的相似度α∈(0，1)；

步骤2多特征融合：

步骤①：在初始帧中，以感兴趣区域ROI(centerx，centery，w，h)作为目标区域将目标区域中的像素点M＝w×h分为16个特征区间gr(x_i)，其中：x_i表示像素点的位置(row_i，col_i)；所述gr(x_i)∈[1，16]；然后利用LBP纹理空间将目标区域中的像素点M＝w×h分为5个特征区间tx(x_i)∈[2，6]：

其中：2，3，4，5，6表示五种模式；

所述其中：1表示圆环的半径，8表示圆环上点的个数；g_c表示坐标为(x0，y0)的中心点y_c的灰度值；g_b表示以中心点为中心，半径为1的圆环上第b个等分点的灰度值，等分点坐标为(x0-sin(2πb/8)，y0+cos(2πb/8))，b∈[0，7]；

tx(x_i)为x_i处对应的灰度特征值，tx(x_i)∈[1，5]；

步骤②：将特征区间gr(x_i)和tx(x_i)∈[1，5]相加m＝16×5＝80，得到m个特征区间gt(x_i)，其中gt(x_i)＝(gt(x_i)-1)×5+tx(x_i)，gt(x_i)∈[1，80]；

所述目标区域特征区间的灰度纹理特征表示为q＝{q_u}_{u＝1，…，m}，其中：

参数

描述目标区域的大小，δ是狄拉克函数，K(·)是加权函数，定义为

C为归一化系数；所述C的取值保证

使得

其中||y-x_i||表示区域的中心点y与区域中像素点x_i的欧氏距离；

步骤3Mean Shift跟踪步骤：

步骤(一)：由步骤2得到初始帧中目标区域的灰度纹理特征q＝{q_u}_{u＝1，…，m}以及初始帧目标的位置y₀(centerx，centery)，目标区域大小即为w×h；从第二帧pFrame＝2开始采用迭代方程

将当前目标区域的中心位置y₀移动到新的目标区域中心位置y₁，x_i为当前目标区域中的像素点，i＝1，...，M，ω_i为当前目标区域中像素点的权值，

p_u(y₀)为用步骤2中同样的方法得到的当前目标区域的灰度纹理特征；初始化迭代次数k＝0，令k←k+1，d←||y₁-y₀||，当满足d＜εor k≥N时迭代停止，y_new(pFrame)＝y₁，否则，令y₀←y₁，继续迭代。其中d表示偏移距离，ε表示阈值，N表示最大迭代次数，0＜ε＜0.5，N≥10；y_new(pFrame)即为当前帧的目标跟踪结果，表示目标区域的中心坐标；

步骤(二)：令y₀←y_new(pFrame)，pFrame←pFrame+1，

if pFrame＞TotalFrames

跟踪结束，y_new即为目标跟踪的结果，表示第2到TotalFrames帧中目标区域的中心坐标；TotalFrames表示图像序列的帧数；

否则由步骤(一)重新开始。