CN103336947A - 基于显著性和结构性的红外运动小目标识别方法 - Google Patents

Abstract

本发明提供了一种基于显著性和结构性的红外运动小目标识别方法，属于计算机视觉、模式识别、图像处理等应用技术范畴。为了从无任何先验知识的条件下红外场景序列图像中识别出小的运动目标，提出了基于显著性和结构性的目标识别方法。首先依据显著性特征对每帧图像进行显著性检测，然后通过运动目标的结构性排除非目标，通过运动目标的连续性轨迹进行目标的自动识别。此方法在无任何先验知识的前提下，能快速准确的自动识别红外小目标。

Description

基于显著性和结构性的红外运动小目标识别方法

技术领域

本发明涉及在无任何先验知识条件下的红外小目标快速识别方法，具体是一种基于显著性和结构性的红外运动小目标识别方法，属于计算机视觉、模式识别、图像处理等交叉应用技术领域。

背景技术

红外目标图像的处理是早期预警、目标定位、安全监控、导弹制导等军事以及民用领域的一项非常关键的技术。在现代化战争科技和军事应用中,要求武器系统需要具有对远距离可疑目标进行检测、识别、跟踪的能力,以赢得更多的作出反应的时间,从而在战场中取得主动。当目标距离红外探测器太远时，红外目标的尺寸很小、对比度很低,没有明显的纹理、结构等特征，使目标的识别相当困难。而且红外成像图像是灰度图像，因此一般红外图像中目标与背景的边缘会比较模糊，目标纹理不明显，并且信噪比低。此外，由于通常情况下,目标所处的背景极其复杂,目标被大量出现的杂波和噪声所污染,使红外目标的处理更加困难。

目标的自动识别一直是计算机视觉领域中两个非常重要的研究课题，是包括图像处理、模式识别、人工智能、信号处理等多学科交叉的前沿科学，具有很强的复杂性。而对于红外目标而言，由于红外图像与可见光图像相比，具有纹理少、边缘弱和对比度低等特点，其实现难度更大。当前大部分的研究工作是建立在先验知识的前提下，也就是通过建模和匹配的方法进行红外目标的识别。应用于红外目标识别的方法很多：修补并学习扭曲目标特征前向反馈的方法；使用矢量量化和多层感知器的方法；Bayesian推理方法等。然而，现有方法中红外图像的杂波对特征的修补和学习是一个重大的干扰，尤其是一些杂波比较大的红外图像，修补后的特征缺乏可信度。此外，现有的方法，都是识别一些尺寸比较大的目标，在实际场景中，尤其是当识别的目标位于远处时，不可避免地会遇到这样的问题：目标的尺寸非常小，信噪比低。所以，这些算法无法满足这样的需求。在众多的应用到识别的分类模型中，特别是当特征空间是高维时，支持向量机(SVM)和Boosting算法，无疑是两种比较有效的分类算法。在过去几年中，Boosting算法已经发展为一种十分有效的算法，其基本原理是通过组合一系列弱学习器形成一个更加准确的分类器，来获得组合的弱学习器所达不到的精确度量。很多研究者在此基础上构建不同的红外小目标识别方法，特别是即使面对高噪声的红外数据特征，也能获得较好的识别效果。

上述的方法都是建立在一定的先验知识前提下，可通过先验知识建立模型，然后通过模型匹配去识别红外小目标。在实际应用中，对于某些红外图像和小目标无法获得它们的先验知识，一方面是不能获得目标的特性，也就是无法通过建模的方法实现识别；另一方面，由于红外图像成像条件以及低信噪比的限制，使得小目标没有明显的纹理、结构等特征，这给目标的检测和识别带来较大困难。

红外目标的识别主要是指从红外序列图像中提取感兴趣的目标对象，并通过一定方法识别出可疑目标。在没有先验知识前提下的红外目标识别中，本发明将提取的目标分成感兴趣目标、背景和杂波、噪声三类。因此，红外目标识别任务就是从感兴趣的目标中排除背景、杂波、噪声的干扰，最终识别出真实目标。

发明内容

针对红外场景下小目标易受背景、噪声点等干扰以及没有先验知识条件下，本发明提出了一种基于显著性和结构性的红外运动小目标识别方法。

本发明是过以下技术方案实现：首先依据显著性特征对每帧图像进行显著性检测，然后通过运动目标的结构性排除非目标，通过运动目标的连续性轨迹进行目标的自动识别。对于视频场景中的运动目标，它具有连续的运动轨迹，而非目标或者噪声点、干扰点都不具有连续的运动轨迹。

本发明所述方法包括两个步骤：显著性检测和结构性判断。本发明提出了基于结构性的判据准则，并结合显著性检测实现对无先验知识条件下的红外运动小目标的自动识别。

(1)显著性检测

由侯晓迪[1]提出的基于谱残差的显著性检测方法是一种快速、常用的目标检测方法（Hou X,Zhang L.Saliency detection:A spectral residual approach[C]//ComputerVision and Pattern Recognition,2007.CVPR'07.IEEE Conference on.IEEE,2007:1-8.），它是一个图像视觉显著性的简单计算模型。该方法的基本思想是：从信息论角度出发，信息可分为冗余部分和变化部分，而人们对视觉中的变化部分更为敏感。视觉系统的一个基本原则是抑制对频繁出现的特征的相应，而对非常规的特征保持敏感。基于此，可把图像分为两部分：

H(Image)=H(Innovation)+H(Prior Knowledge)   (1)

根据大量实验表明，大量图像的Log频谱的均值与频率呈倒数关系，Log频谱就是对图像傅里叶变换后的振幅取自然对数。它们间的关系表示为：

E{A(f)}∝1/f   (2)

定义残差谱(Spectral residual)如下：

R(f)=L(f)-A(f)   (3)

其中，L(f)就是图像的Log振幅谱，A(f)是振幅谱的均值，A(f)可通过将Log振幅谱L(f)进行3×3均值滤波得到，R(f)就是图像的谱残差。

因此，图像的显著性计算如下：首先对图像I(x,y)进行傅里叶变换，求出其振幅谱A(f)为：

其中，F[I(x,y)]是求图像I(x,y)的傅里叶变换，进一步求出图像的相位谱：

求出其Log振幅谱为：

L(f)=Log(A(f))   (6)

根据下公式即可求得图像的谱残差R(f)为：

R(f)=L(f)-h_n(f)*L(f)   (7)

然后对其进行傅里叶反变换，再进行一个高斯模糊滤波器就得到了所谓的显著性区域，最终显著性图通过以下公式计算得到：

S(x,y)=g(x,y)*F^-1[exp(R(f)+P(f))]²   (8)

其中，g(x,y)是高斯模糊函数，F^-1为傅里叶逆变换。

(2)结构性

对于视频场景中的运动目标，它具有连续的运动轨迹，而非目标或者噪声点、干扰点都不具有连续的运动轨迹。如图1中所示，在视频帧图像中目标只可能出现在一个区域，并且相邻帧之间检测到的目标区域是连续的，这样构成了一个目标的运动轨迹。这种性质，称之为“结构性”的。因此，对于红外小目标的识别问题，就是找到具有这种结构性的数据，进而判别是不是真实的运动目标。

根据运动目标的结构性，针对连续两帧内目标满足一定的规则，这些规则包括运动速度、目标灰度变化、目标面积变化等。假定目标在第t帧下的状态l(t)，在下一帧的状态就为l(t+1)，基于结构性的判据满足：

||l(t+1)-l(t)||<s   (9)

其中，||l(t+1)-l(t)||代表了连续帧间的结构性，l(t)可表示目标的运动速度、目标面积、灰度大小等。

依据运动目标的结构性进行目标识别的具体步骤是：先检测第一帧中所有疑似目标，然后检测下一帧内的所有可能疑似目标，然后根据目标的运动位移、目标点灰度值、运动速度匹配前后两帧中的检测到的疑似目标点；如果第一帧中的某个点在下一帧中能找到相关的匹配点，则保留该点的轨迹信息，否则丢弃该点；如果第二帧某个点未被第一帧中的点匹配，则加入点集合作为下一次匹配的初始点；根据以上匹配方法，得到一个新的匹配点初始集合，该集合包含了具有连续轨迹的疑似目标点。

与现有技术相比，本发明具有如下的有益效果：

为了从无任何先验知识的条件下红外场景序列图像中识别出小的运动目标，本发明提出了基于显著性和结构性的目标识别方法，此方法在无任何先验知识的前提下，能快速准确的自动识别红外小目标。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为连续帧间目标轨迹的结构性示意图；

图2为红外场景下运动小目标检测与目标识别流程图；

图3为显著性检测结果图；其中图(a)是原始红外图像；图(b)中“+”标注的为检测到的疑似目标点；

图4为根据本发明方法得到的识别结果，其中白色曲线是目标运动的轨迹。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图2所示，本发明方法先通过显著性检测算法提取图像中疑似目标点，然后根据结构性建立关联规则，最后根据目标的连续轨迹进行目标识别。具体流程是：

(1)从任意一帧图像开始，进行全局显著性检测，保存所有检测点位置、灰度信息；

(2)对下一帧做显著性检测；

(3)把当前检测可疑目标点与上一帧中的检测点做结构性匹配，根据运动目标的结构性，针对连续两帧内目标满足运动速度、目标面积变化、目标灰度变化的规则，于是基于结构性的判据准则满足公式:||l(t+1)-l(t)||<s，其中目标在第t帧下的状态记为l(t)，l(t)表示目标的运动速度、目标面积、灰度大小，目标在下一帧的状态记为l(t+1)，判据准则中的s是状态阈值。阈值的选取是根据当前目标的具体状态参数而设定的，运动小目标在连续两帧内的速度变化、面积变化、灰度变化满足该阈值s：速度与目标在前后两帧内的位置有关，面积与目标的像素个数有关，灰度与目标区域内的平均像素值大小有关。

(4)根据上述判据准则把能匹配到的点留下，丢弃上一帧中未能在下一帧找到匹配点的疑似目标点，同时加入当前帧中未被匹配的点；

(5)转向第(2)步，直到满足检测帧数小于阈值T，阈值T一般根据图像的信噪比大小来确定，它与信噪比大小成反比。当信噪比较小时，此时噪声对真实目标的干扰较大，所以需要更多的帧信息来识别真实目标；当信噪比较大时，此时噪声对真实目标的干扰较小，所以只需要较少的帧信息就能识别出真实目标。本实施例中，通常可以设定T为15帧；

(6)由前述步骤(1)-（5）得到一个疑似目标的运动轨迹集合，由运动目标的结构性识别出真实目标；

(7)识别结束。

如图3所示，该图中的实验室结果是先采用显著性算法检测连续帧图像中的可能疑似目标点，如图3中(b)所示，可以看到每帧图像中都会被检测出4-7个可以目标点，然后采用本发明提出的方法建立结构性判据规则，通过运动目标的运动连续性来识别出红外场景中的真实运动小目标，在识别运动小目标的同时也有效的排除了噪声点、杂波、背景等的干扰。

如图4所示，为根据本发明方法得到的识别结果，其中白色曲线是目标运动的轨迹。根据图3中得到每帧图像下的可以目标点，然后根据运动目标的结构性建立轨迹判据规则，利用运动目标在前后两帧中的速度、面积、灰度值变化满足一定的阈值来建立该判据规则，最后有上述的运动目标轨迹连续性识别出真实目标。正如图4中所显示，真实的目标有连续的轨迹，而其他干扰噪声点、背景、杂波等被有效的剔除。

本发明提出的基于显著性和结构性的目标识别方法，依据显著性特征对每帧图像进行显著性检测，然后通过运动目标的结构性排除非目标，通过运动目标的连续性轨迹进行目标的自动识别，该方法可以在无任何先验知识的前提下，能快速准确的自动识别红外小目标。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (4)

1.一种基于显著性和结构性的红外运动小目标识别方法，其特征在于首先依据显著性特征对每帧图像进行显著性检测，然后通过运动目标的结构性排除非目标，通过运动目标的连续性轨迹进行目标的自动识别，该方法在无任何先验知识的条件下能准确的自动识别红外图像中的运动小目标；

所述方法包括如下步骤：

(1)从任意一帧图像开始，进行全局显著性检测，保存所有检测点位置、灰度信息；

(2)对下一帧做显著性检测；

(3)把当前检测可疑目标点与上一帧中的检测点做结构性匹配，根据运动目标的结构性，针对连续两帧内目标满足运动速度、目标面积变化、目标灰度变化的规则，于是基于结构性的判据准则满足公式:||l(t+1)-l(t)||<s，其中目标在第t帧下的状态记为l(t)，l(t)表示目标的运动速度、目标面积、灰度大小，目标在下一帧的状态记为l(t+1)，判据准则中的s是状态阈值，阈值的选取是根据当前目标的具体状态参数而设定的，运动小目标在连续两帧内的速度变化、面积变化、灰度变化满足该阈值s：速度与目标在前后两帧内的位置有关，面积与目标的像素个数有关，灰度与目标区域内的平均像素值大小有关；

(4)根据上述判据准则把能匹配到的点留下，丢弃上一帧中未能在下一帧找到匹配点的疑似目标点，同时加入当前帧中未被匹配的点；

(5)转向第(2)步，直到满足检测帧数小于阈值T，阈值T根据图像的信噪比大小来确定，它与信噪比大小成反比，当信噪比小时，此时噪声对真实目标的干扰大，需要更多的帧信息来识别真实目标；当信噪比大时，此时噪声对真实目标的干扰小，只需要较少的帧信息就能识别出真实目标；

(6)由前述步骤(1)-（5）得到一个疑似目标的运动轨迹集合，由运动目标的结构性识别出真实目标；

(7)识别结束。

2.根据权利要求1所述的基于显著性和结构性的红外运动小目标识别方法，其特征在于：步骤(3)中，依据运动目标的结构性约束进行匹配，其中运动目标的结构性是指针对视频场景中的运动目标，它具有连续的运动轨迹，而非目标或者噪声点、干扰点都不具有连续的运动轨迹，在视频帧图像中运动目标只可能出现在一个小的区域内，并且相邻两帧之间检测到的目标区域是连续的，这样构成了一个目标的运动连续轨迹，运动目标满足这种连续轨迹的特征，称为“结构性”。

3.根据权利要求1所述的基于显著性和结构性的红外运动小目标识别方法，其特征在于：步骤(6)中，依据运动目标的结构性进行目标识别的具体步骤是：先检测第一帧中所有疑似目标，然后检测下一帧内的所有可能疑似目标，然后根据目标的运动位移、目标点灰度值、运动速度匹配前后两帧中的检测到的疑似目标点；如果第一帧中的某个点在下一帧中能找到相关的匹配点，则保留该点的轨迹信息，否则丢弃该点；如果第二帧某个点未被第一帧中的点匹配，则加入点集合作为下一次匹配的初始点；根据以上匹配方法，得到一个新的匹配点初始集合，该集合包含了具有连续轨迹的疑似目标点。

4.根据权利要求1-3任一项所述的基于显著性和结构性的红外运动小目标识别方法，其特征在于，所述阈值T设定为15帧。

Images