CN110827262B - 一种基于连续有限帧红外图像的弱小目标检测方法 - Google Patents

Abstract

本发明涉及一种基于连续有限帧的红外图像弱小目标检测方法，首先采用Lucas–Kanade光流法对连续两帧红外原始图像进行光流场计算，建立红外图像光流场；然后对得到红外图像光流场进行疑似运动区域检测，在保证检测精度的情况下处理帧数更少，处理速度更快，冗余信息更少；之后通过将感兴趣区域分解为更小的红外图像块，进行基于SVD分解的背景抑制，处理后的目标集与背景集分别重构；最后通过自适应滤波检测出红外弱小目标位置。通过在构建的modis红外弱小目标图像库中进行验证，选取3组红外弱小目标序列图像实验分析，验证了本发明的检测准确性。

Description

一种基于连续有限帧红外图像的弱小目标检测方法

技术领域

本发明属于红外弱小目标检测领域，涉及一种基于连续有限帧红外图像的弱小目标检测方法。

背景技术

红外弱小目标检测系统因具有全天候、被动监视的特性，已广泛运用于空间态势感知、空间探测以及空中导航中。作为国家临近空间检测能力的重要体现，红外弱小目标检测问题一直是红外图像处理中的热门研究课题。然而随着红外成像系统的发展，红外弱小目标的检测系统的运用环境更加复杂，成像相机焦平面与目标的距离更加遥远，使得目标在图像相平面上表现为点状或者接近点状，无纹理、形状、大小和其他可用信息；目标出现的随机性，所以对目标的检测必须在全空域进行，对算法的实时性提出了更高的要求；并且在信噪比低背景复杂的情况下，红外小目标很容易被淹没在噪声与背景杂波中。因此，设计一种具有高实时性的红外弱小目标检测算法具有重要的意义和价值。

近年来，红外弱小目标检测算法的研究已近取得了很好的成效，但是由于红外图像成像质量普遍偏低，所受噪声及背景杂波干扰剧烈，使得红外弱小目标检测邻域的研究仍充满挑战。国内外学者主要采用的方法可分为以下两类：检测前跟踪方法(DBT)及跟踪前检测方法(TDB)。有人提出了一种基于核函数及直方图的检测算法，该算法作为第一类型中的典型方法，它利用各向同性核函数来加权目标和候选目标区域的直方图，并测量它们之间的相似性，而后采用梯度下降来对目标进行定位。国内外学者在此框架下进行了许多研究，例如在x，y方向构建级联灰度空间的方法，并使用灰度加权直方图对红外小目标进行建模，相较于传统的基于图像灰度直方图特征来对对象进行建模，虽然该方法引入了梯度信息对其建模进行了改进，但由于红外小目标的尺寸小且像素少，因此该类方法并不能取得令人满意的结果。基于先跟踪目标的运动信息进行检测的第二类方法将红外弱小目标的检测问题从单帧图像转移到序列图像上，其中最具代表性的是基于帧差法和卡尔曼滤波的检测前跟踪框架，更适用于非线性和非高斯条件。但是为了获得较高的算法精度，需要保证跟踪帧数，这样容易导致运算量大幅增加，在实际中应用这些方法尚有一定的难度。而有的人提出的加权多示例跟踪算法能提高跟踪准确率及处理速度,但是当目标信噪比较小并淹没在背景中时,分类器很容易退化,无法对目标进行准确检测。在经过较长时间发展的今天，如何有效的兼备两种方案优势形成一套有效的红外弱小目标检测方法成为一个迫切需要解决的问题。

传统红外弱小目标检测方法多采用跟踪前检测框架下的单帧检测多帧排查方案，或检测前跟踪框架下的多帧跟踪检测方案，这样无论是多帧排查还是多帧跟踪在计算复杂度及检测准确性上都存在较大局限。其中包括单帧检测多帧排查方案过于依赖检测算法精度，单帧检测时不能有效利用运动信息，会使得多帧排查的冗余计算量较大；多帧跟踪方案则要求多帧图像作为输入，检测延迟较大。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于连续有限帧红外图像的弱小目标检测方法，有限帧是指在连续的2-5帧图像，通过帧间像素信息提取出感兴趣运动区域，在引入运动信息的基础上，最小化系统检测延迟，提出一种基于连续有限帧红外图像的弱小目标检测方法。

技术方案

一种基于连续有限帧红外图像的弱小目标检测方法，其特征在于步骤如下：

步骤1、基于连续有限帧红外图像的Lucas–Kanade光流场建立：

其中，

T表示转置，

表示图像灰度分布的梯度，U表示光流场，I(x,y,t)为(x,y)点在时刻t的灰度值；

步骤2、提取连续有限帧红外图像中的运动区域：

计算梯度方向的光流速率：

其中I_x为

I_y为

I_t为I(x,y,t)之后通过设定一个阈值T；

当V(x,y)>T则(x,y)，是存在运动变化的区域，反之是背景；

将提取出的存在运动变化的前景区域红外图像记为f_D；

步骤3、基于奇异值分解的连续有限帧红外图像中疑似运动目标区域背景抑制：

1、对于存在弱小目标的红外图像感兴趣区域，从前景运动区域红外图像f_D中检测出点目标，首先对其进行建模：

f_D＝f_T+f_B+f_N

其中f_D为前景运动区域红外图像，f_B为前景运动区域红外图像模型中的背景图像、f_T为目标图像，噪声图像用f_N表示；

对于已去除噪声的前景运动区域图像需要构建目标图像f_T，原模型f_D＝f_T+f_B+f_N转变为f_D＝f_T+f_B；

2、将输入图像分块构成输入图像块集，背景与目标分别构成背景图像块集和目标图像块集，将原始问题模型转化为：D＝B+T

D、B、T分别表示输入图像块集、背景图像块集和目标图像块集；

3、背景图像块集是一个低秩矩阵且目标图像块集是一个稀疏矩阵，点目标提取的问题为从原始数据集中重构低秩部分与稀疏部分的问题，即求解如下优化问题来：

其中||·||_*是矩阵的核范数(比如求所有值的和)，||·||₁是1范数(||X||₁＝Σ_ij|X_ij|)，λ是一个正相关的权值常数；

4、通过主要成分追溯方法将上述问题转化为凸优化问题：

并且采用梯度最优加速算法(APG)求解，重构出背景抑制后的目标图像；

步骤4、基于自适应阈值分割的连续有限帧红外图像弱小目标检测：

对于重构出背景抑制后的目标图像，采用OTSU自适应分割算法，通过遍历不同的阈值，计算不同阈值下对应的背景和前景之间的类内方差，当类内方差取得极大值时自适应分割出点目标得到目标位置。

所述T的取值范围由目标在图像中运动速度的先验信息决定。

有益效果

本发明提出的一种基于连续有限帧的红外图像弱小目标检测方法。首先采用Lucas–Kanade光流法对连续两帧红外原始图像进行光流场计算，建立红外图像光流场；然后对得到红外图像光流场进行疑似运动区域检测，在保证检测精度的情况下处理帧数更少，处理速度更快，冗余信息更少；之后通过将感兴趣区域分解为更小的红外图像块，进行基于SVD分解的背景抑制，处理后的目标集与背景集分别重构；最后通过自适应滤波检测出红外弱小目标位置。通过在构建的modis红外弱小目标图像库中进行验证，选取3组红外弱小目标序列图像实验分析，验证了本发明的检测准确性。

主要优点包括以下两方面；第一，对连续两帧的Lucas–Kanade光流场进行疑似运动区域检测，相较于传统的基于帧差法或卡尔曼滤波检测前跟踪算法，其在保证检测精度的情况下处理帧数更少，处理速度更快，冗余信息更少。第二，局部运动区域图像块奇异值分解检测，对于传统红外目标的检测算法，目标检测均在全空域进行，这样会带来大量的冗余计算，使得SVD分解检测算法在工程中适用性极低，本发明提出的局部运动区域图像块奇异值分解检测算法，通过时域信息来选取疑似目标区域，从而将必须在全空域上进行的检测优化到只需在局部区域处理，从而大幅度降低冗余的背景区域，使得更多由于复杂性过高而工程实现性较低的算法具有实用价值。

附图说明

图1：是本发明系统框图；

图2：是块图像奇异值分解框图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明的思路是：通过Lucas–Kanade光流法对连续输入的两帧红外遥感图像处理，建立红外图像光流场；通过连续帧红外图像光流变化规律对图像中的疑似运动区域进行局部红外图像块提取；采用基于svd分解的红外弱小目标检测算法对疑似区域进行红外弱小目标背景抑制。最后通过自适应阈值分割进行红外弱小目标检测得到目标在像平面的坐标。

用于实施的硬件环境是：Intel(R)Core(TM)i5-7400CPU@3.00GHzR 3.0GHz，运行的软件环境是：Matlab R2016b，Windows 10。我们用Matlab R2016b软件实现了本发明提出的方法。采用建立的基于modis数据的红外仿真数据集来进行验证。

本发明的特征在于包括以下步骤：

一种基于连续有限帧红外图像的弱小目标检测方法，其特征在于包括以下步骤：

步骤1、基于连续有限帧红外图像的Lucas–Kanade光流场建立：

(1)首先定义光流的约束方程，假设I(x,y,t)为(x,y)点在时刻t的灰度值，设t+dt时刻该点运动到(x+dx,y+dy)，它的灰度为I(x+dx,y+dy,t+dt)，

则得到公式：

I(x,y,t)＝I(x+dx,y+dy,t+dt)

(2)将上式右部分做泰勒展开，并令dt→0，则得到下式:

其中H.O.T.指更高阶，在移动足够小的情况下可以忽略，从这个方程我们可以得到:

即：

Vx,Vy分别是I(x,y,t)的光流向量中x，y的组成。

和

则是图像在(x,y,t)这一点向相应方向的差分。

(3)重新表示上述约束方程，并采用高斯迭代法或最小二乘法解之，得到光流场U。方程如下：

其中，

T表示转置，

表示图像灰度分布的梯度，U表示光流场。

步骤2、提取连续有限帧红外图像中的运动区域：

在红外遥感相机的图像数据中，红外背景通常是静止不动的，运动区域提取问题就是从背景分离出前景和背景的问题。在理想情况下，光流场U中的背景的光流应该为0，前景有光流，这样便得到了灰度梯度方向的速率，即求出梯度方向的光流速率：

其中I_x为

I_y为

I_t为I(x,y,t)之后通过设定一个阈值T，T的取值范围由目标在图像中运动速度的先验信息决定，V(x,y)>T则(x,y)是存在运动变化的区域，反之是背景。我们将提取出的存在运动变化的前景区域红外图像记为f_D。

步骤3、基于奇异值分解的连续有限帧红外图像中疑似运动目标区域背景抑制：

(1)对于存在弱小目标的红外图像感兴趣区域，为了能准确的从前景运动区域红外图像f_D中检测出点目标，首先对其进行建模：

f_D＝f_T+f_B+f_N

其中f_D为前景运动区域红外图像，f_B为前景运动区域红外图像模型中的背景图像、f_T为目标图像，噪声图像用f_N表示。对于已去除噪声的前景运动区域图像我们需要构建目标图像f_T，原模型f_D＝f_T+f_B+f_N可以转变为f_D＝f_T+f_B。

(2)对于矩阵的SVD分解，矩阵维数越高则计算越复杂，因此将输入图像分块构成输入图像块集，背景与目标分别构成背景图像块集和目标图像块集，将原始问题模型转化为：

D＝B+T

D、B、T分别表示输入图像块集、背景图像块集和目标图像块集。

(3)背景图像块集是一个低秩矩阵且目标图像块集是一个稀疏矩阵，因此点目标提取的问题本质上便变成了从原始数据集中重构低秩部分与稀疏部分的问题，即求解如下优化问题来：

其中||·||_*是矩阵的核范数(比如求所有值的和)，||·||₁是1范数(||X||₁＝∑_ij|X_ij|)，λ是一个正相关的权值常数。

(4)通过主要成分追溯方法将上述问题转化为凸优化问题：

并且采用梯度最优加速算法(APG)求解。重构出背景抑制后的目标图像。

步骤4、基于自适应阈值分割的连续有限帧红外图像弱小目标检测：

由于不同原始红外图像重构出的目标图像不同，本发明通过OTSU自适应分割算法(最大类间方差法是由日本学者大津Nobuyuki Otsu于1979年提出的,是一种自适应的阈值确定的方法,又叫大津法,简称OTSU)，通过遍历不同的阈值，计算不同阈值下对应的背景和前景之间的类内方差，当类内方差取得极大值时自适应分割出点目标得到目标位置。

为了进一步说明该发明红外弱小目标检测性能，在构建的modis红外弱小目标图像库中进行验证，选取3组红外弱小目标序列图像，对不同背景下(陆地、云背景、海洋)弱小目标序列图像进行检测，计算多少次实验的算术平均值来验证效果，检测准确率可达82.5％。

除此之外，对于一幅400*400大小的红外图像，本专利所提出算法单帧处理时间约为1.4s，相较于其他基于奇异值分解的红外弱小目标单帧检测算法，处理同样一幅图像时间约为8.4s。本发明的处理速度大幅度提升高达到5倍。

Claims (2)

1.一种基于连续有限帧红外图像的弱小目标检测方法，其特征在于步骤如下：

步骤1、基于连续有限帧红外图像的Lucas–Kanade光流场建立：

其中，

T表示转置，

表示图像灰度分布的梯度，U表示光流场，I(x,y,t)为(x,y)点在时刻t的灰度值；

步骤2、提取连续有限帧红外图像中的运动区域：

计算梯度方向的光流速率：

其中I_x为

I_y为

I_t为I(x,y,t)之后通过设定一个阈值T；

当V(x,y)>T则(x,y)，是存在运动变化的区域，反之是背景；

将提取出的存在运动变化的前景区域红外图像记为f_D；

步骤3、基于奇异值分解的连续有限帧红外图像中疑似运动目标区域背景抑制：

1、对于存在弱小目标的红外图像感兴趣区域，从前景运动区域红外图像f_D中检测出点目标，首先对其进行建模：

f_D＝f_T+f_B+f_N

其中f_D为前景运动区域红外图像，f_B为前景运动区域红外图像模型中的背景图像、f_T为目标图像，噪声图像用f_N表示；

对于已去除噪声的前景运动区域图像需要构建目标图像f_T，原模型f_D＝f_T+f_B+f_N转变为f_D＝f_T+f_B；

2、将输入图像分块构成输入图像块集，背景与目标分别构成背景图像块集和目标图像块集，将原始问题模型转化为：D＝B+T；

D、B、T分别表示输入图像块集、背景图像块集和目标图像块集；

3、背景图像块集是一个低秩矩阵且目标图像块集是一个稀疏矩阵，点目标提取的问题为从原始数据集中重构低秩部分与稀疏部分的问题，即求解如下优化问题来：

其中||·||_*是矩阵的核范数(比如求所有值的和)，||·||₁是1范数(||X||₁＝∑_ij|X_ij|)，λ是一个正相关的权值常数；

4、通过主要成分追溯方法将上述问题转化为凸优化问题：

并且采用梯度最优加速算法(APG)求解，重构出背景抑制后的目标图像；

步骤4、基于自适应阈值分割的连续有限帧红外图像弱小目标检测：

对于重构出背景抑制后的目标图像，采用OTSU自适应分割算法，通过遍历不同的阈值，计算不同阈值下对应的背景和前景之间的类内方差，当类内方差取得极大值时自适应分割出点目标得到目标位置。

2.根据权利要求1所述的基于连续有限帧红外图像的弱小目标检测方法，其特征在于：所述T的取值范围由目标在图像中运动速度的先验信息决定。

Images