CN102074022B

CN102074022B - 一种基于红外图像的弱小运动目标检测方法

Info

Publication number: CN102074022B
Application number: CN 201110003591
Authority: CN
Inventors: 王欢; 任明武; 唐振民; 赵春霞; 陆建峰
Original assignee: Nanjing University of Science and Technology
Current assignee: Nanjing University of Science and Technology
Priority date: 2011-01-10
Filing date: 2011-01-10
Publication date: 2012-12-12
Anticipated expiration: 2031-01-10
Also published as: CN102074022A

Abstract

本发明公开了一种基于红外图像的弱小运动目标检测方法。本发明所述方法分为中值背景差图像生成、累积差图像生成、差图像分割、周期性运动区域的消除以及虚假目标剔除几个步骤。具体为：为每个象素建立灰度直方图统计其在最近一段时间内，在各灰度级上出现的频数，并计算中值，得到中值背景，与检测帧作绝对值帧差得到中值背景差图像；对相邻两帧图像连续作帧差，累积相加差图像得到累积差图像；消除周期性运动区域干扰，突出真实运动目标；利用目标运动、灰度一致性寻找合理目标轨迹。本发明所述方法能远距离、准确地、昼夜不间断地进行弱小运动目标检测，具有高实时性、高鲁棒性，且易于推广到诸如军用机器人战场侦察、视频监控等应用领域。

Description

一种基于红外图像的弱小运动目标检测方法

技术领域

本发明属于计算机视觉、图像分析领域，特别是一种基于红外图像的弱小运动目标检测方法。

背景技术

基于红外图像的弱小运动目标检测是航天、军事领域上重要检测技术。目前已渗透到了一些民用领域，如视频监控，航空、海上安防等。近年来，索马里海盗劫船事件屡屡发生，我国去年开始相继派遣数艘战舰为各国商务船只护航。但由于海域辽阔，发挥的实际作用较为有限，更多的只是威慑作用，大多数船只需要自身发现周边的可疑船只，提前作好防范准备，红外图像的弱小运动目标检测为尽早发现和防范海盗的侵袭提供了一条有效途径。由上分析，近年来，弱小目标检测技术成为信息处理的一个热门课题，国内外学者围绕这一问题进行了广泛而深入的研究，提出了许多检测算法，如基于三维匹配滤波算法，基于投影变换算法，基于全局搜索算法，基于多级假设检验算法，基于动态规划算法，基于神经网络算法，基于概率统计最大似然比算法，给予相位信息算法，基于马尔科夫变换算法，给予高阶相关算法，基于遗传算法以及基于管道滤波、图像流方法。但是上述方法不能准确的、昼夜不间断的对弱小目标进行检测，时间复杂度比较高，不能进行实时处理，且系统配置复杂，硬件成本比较高，不易于大规模推广。

发明内容

本发明所解决的技术问题在于提供一种基于红外图像的弱小运动目标检测方法。

实现本发明目的的技术解决方案为：一种基于红外图像的弱小运动目标检测方法，包括以下步骤：

一种基于红外图像的弱小运动目标检测方法，其特征在于，包括以下步骤：

步骤1、对接收到的红外图像进行处理得到中值背景，之后将中值背景与检测帧作绝对值帧差，以得到中值背景差图像；

步骤2、对相邻两帧图像连续作绝对值帧差，并将差图像累积相加求均值以得到累积差图像；

步骤3、对差图像进行分割，选取阈值分割中值背景差图像和累积差图像，其步骤为：

步骤31、对中值背景差图像和累积差图像均采用阈值Th＝u+3σ进行二值化，其中Th是采用的阈值，u是各自差图像的均值，σ是各自差图像的标准差；

步骤32、使用3×3空域中值滤波去除噪声；

步骤4、利用周期性约束对两二值化图像进行处理，消除周期性运动区域干扰，突出真实运动目标，具体处理步骤为：

步骤41、设定周期性运动区域的周期T，所述周期T为持续的图像帧数，之后连续采集两段图像序列，对两段图像序列分别以所述步骤2的方式计算累计差图像，对计算得到的两个累计差图像分别以所述步骤3的方式进行二值分割，以得到两幅二值化图像；

步骤42、对上述两幅二值化图像进行“异或”运算，得到异或图像，即两图像对应象素灰度值相同则异或图像对应象素为0，否则为255；

步骤43、使用中值背景差二值化图像与异或图像进行“与”运算，得到与图像，“与”运算是指两图像对应象素灰度值都为255则与图像对应象素为255，否则为0；

步骤44、使用w×w空域中值滤波去除噪声，w为模板参数；

步骤5、利用目标运动轨迹的连续性和灰度一致性对得到的运动目标进行检测，消除虚假目标，得到合理目标运动轨迹，其检测步骤为：

步骤51、保存运动目标检测的前k帧检测结果，将前k帧中每个区域都作为真实目标上报；

步骤52、从第k+1帧开始，对每个区域进行判定，判定其是否可以作为真实目标上报，即将每个区域与前k帧中的区域进行轨迹关联，使用灰度约束、角度约束、速度约束找出合理的运动轨迹，所述合理的运动轨迹为满足目标灰度一致性和运动轨迹的连续性要求的轨迹，当且仅当存在至少一条合理的轨迹时，该区域才允许作为目标上报。

本发明与现有技术相比，其显著优点：1)使用中值背景和累积帧差两种统计技术能较鲁棒的突出微弱运动区域；2)使用图像异或思想能有效剔除树木、旗帜等周期性晃动物体，3)利用目标灰度、运动的一致性能进一步有效剔除噪声区域；4)算法能准确检测3*2个象素面积的目标，为远距离目标的检测提供了可靠保障；5)适用于红外图像，可昼夜不间断地进行弱小运动目标检测；6)时间复杂度低，能实时处理；7)系统配置简单、易于大规模推广到诸如军用机器人战场侦察、视频监控等应用领域。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明的算法结构图。

图2是周期性区域消除，其中图(a)是I₀I₁I₂…I_n周期累积差图像二值化图，图(b)是I_nI_n+1I_n+2…I_2n周期累积差图像二值化图，图(c)是图(a)和图(b)的异或图像。

图3是轨迹筛选图，其中图(a)是全轨迹图，图(b)是按角度和灰度变化约束删减后的轨迹图，图(c)是按目标最大速度约束进一步删减后的轨迹图。

图4是几种典型天气条件下的小目标检测结果图，其中图(a)是白天序列，图(b)晚上序列，图(c)阴雨天序列。

具体实施方式

结合图1，本发明的一种基于红外图像的弱小运动目标检测方法，包括以下步骤：

步骤1、对接收到的红外图像进行中值背景差处理，得到中值背景，之后将中值背景与检测帧作绝对值帧差；对接收到的红外图像进行中值背景差处理具体包括以下步骤：

步骤11、采用灰度直方图计算历史N帧象素点中灰度值的中值，象素灰度级为0到255，从直方图中得到中值方法是灰度级从低到高的累加，所有经过的灰度级的频数f，当f＞＝N/2，累计停止，当前对应的灰度级即为中值；

步骤12、用循环队列保存N帧图像，用以动态更新每个象素的灰度直方图；对每个象素的灰度直方图进行动态更新时，即当处理第K帧时，将第K-1帧对应的直方图作如下更新：根据第K-N帧各象素灰度值将灰度直方图上的对应灰度级的频数减1，根据第K帧各象素灰度值将灰度直方图上的对应灰度级的频数加1，上述K＞N；

步骤13、建立一幅与原图等宽高的图像，每个象素取对应象素直方图的中值，得到中值背景，将检测帧与中值背景作绝对值帧差，得到中值背景差图像。

步骤2、生成累积差图像，对相邻两帧图像连续作绝对值帧差，并将差图像累积相加得到累积差图像；生成累积差图像具体包括以下步骤：

步骤21、对保存的N帧图像相邻两帧图像两两作平方差，并将平方差值累积到一幅空图像中；

步骤22、对累计图像进行更新处理：从累积图像中减去时间最久两帧的平方差值，再加上新图像与前一帧的平方差值，从而完成累积图像的更新；

步骤23、求取累积差图像，即将N个差图像累积相加求均值。

步骤3、对差图像进行分割，选取阈值分割中值背景差图像和累积差图像；对差图像进行分割具体包括以下步骤：

步骤31、对中值背景差图像和累加差图像均采用阈值Th＝u+3σ进行二值化，其中Th是采用的阈值，u是各自差图像的均值，σ是各自差图像的标准差；

步骤32、使用3×3空域中值滤波去除噪声。

步骤4、对中值背景差图像和累积差图像进行二值化处理，得到二值化图像，之后利用周期性约束对两二值化图像进行处理，消除周期性运动区域干扰，突出真实运动目标；利用周期性约束对两二值化图像进行处理具体为：

步骤41、设定周期性运动区域的周期T，所述周期T为持续的图像帧数，之后对两段累积图像分别进行二值分割；上述周期T根据具体应用情况而定。

步骤43、使用中值背景差图像与异或图像进行“与”运算，得到与图像，“与”运算时，即两图像对应象素灰度值都为255则与图像对应象素为255，否则为0；

步骤44：使用w×w空域中值滤波去除噪声，w为模板参数。

步骤5、利用目标运动轨迹的连续性和灰度一致性对得到的运动目标进行检测，消除虚假目标，得到合理目标运动轨迹。利用目标运动轨迹的连续性和灰度一致性对得到的运动目标进行检测包括以下步骤：

下面结合附图对本发明作进一步详细描述：

第一步：中值背景差图像生成

差图像基本原理是将相邻的两图像做差分(减法)运算，则在得到的图像(称为差图像)中，不变的部分被消除了，留下的仅仅是变化的部分，此变化即是由运动或噪声引起的，通过分析该变化的部分可发现运动目标。差图像主要有3种方法，它们分别是与序列中的第一幅作差，与背景图像作差和与前一幅图像作差。与第一幅图像作差，在时间相隔较长时不易消除光线和噪声的干扰。与背景图像作差，需要时时生成背景图像，有时难以得到稳定的背景图像；与前一幅图像作差，能很好地避免光照变化等的影响；但在目标移动速度较慢时，容易得到残破的目标区域。实际上，差图像函数的选择，还要兼顾其后续的二值化操作，便于自动选取阈值。在考虑上述因素的基础上，本发明结合两种差图像，即中值背景差图像和累积差图像。

由于计算机内存容量的不断提升，可以为每个象素建立一个256维的灰度直方图H_0～255，同时保存若干帧历史图像，用来实时更新直方图，这样每个象素都可以从H_0～255中计算出的中值而得到该象素点的最新的背景象素灰度，由于直方图已经将灰度值排列成序，因此第N/2个象素对应的灰度级即为中值，其中N为H_0～255中的象素点个数。所有背景象素构成了中值背景M，由于中值具有鲁棒的统计特性，只要一段时间内背景象素出现的占空比大于50％，背景将被准确的估计。将待检测帧I_k与中值背景M作绝对值差D_m＝|I_k-M|，即得到中值背景差图像D_m。

第二步：累积差图像生成

本发明中将k时刻的两邻帧差图像D_k定义为D_k＝|I_k-I_k-1|²，其中，I_k表示在k时刻得到的图像，I_k-1表示在k-1时刻得到的图像，因为运动目标的灰度分布不均匀，场景在不同位置的灰度也可能不相同，因此D_k中取I_k和I_k-1的差分的绝对值以保全运动目标信息。

为了突出灰度值的变化，因此D_k中取I_k和I_k-1的差分的平方，来加强运动象素和未运动象素的灰度反差。取平方运算的另外一个原因是对差分图像求均值时，不至于减弱运动带来的灰度差异。

差图像实质上是不同时刻的相同位置的象素的灰度值的差分，而噪声往往表现为同一个位置在不同的时刻灰度值的明显变化，因而差分在突出运动象素的同时也突出了受到噪声干扰的象素，因而在差图像中灰度值较大的象素可能是真实的运动区域的象素，也可能是受到干扰的象素。根据平均去噪理论，如果将n个差图像累积相加作平均，

比D_k的平均信噪比提高了n倍。本发明中，称

为累积差图像。

第三步：差图像分割

通过当前帧与中值背景作差得到中值背景差图像，通过图像序列中相邻图像的两两差分和结果累加，得到了累积差图像。在两种差图像中，灰度值大的象素是由运动或噪声导致的，灰度化的差图像并没有真正地标识出运动区域和非运动区域，因此需要图像的二值化操作，将差图像划分为运动和非运动区域。选择合理的二值化方法，必须分析待处理对象的特点。红外图像的差图像有以下特点：(1)直方图没有明显的峰谷分布。因为处理的对象实质是差分图像，在没有目标时，其直方图函数近似是一个正态分布函数(其均值为零)的平方函数。(2)背景和目标的占空比严重不均。因为监控系统一般要求监控尽可能大的场景，目标距离又远，因而运动目标的占空比一般不大，有时甚至非常小。(3)目标区域的灰度不具有一致性，即相等或近似相等。因为场景和目标中可能同时存在灰度的多样性，所以差图像中象素的灰度值不反映目标的灰度值。

差图像的这些特点，决定了对它必须采用特别的二值化方法。传统的图像二值化手段虽然是很多的，但特点(1)和(2)使得它难以使用阈值选取法，特点(3)使得它难以使用基于灰度一致性的区域增长等方法。在实际应用中，当存在运动目标时，因为目标的占空比一般很小，所以可近似认为差图像的均值和方差变化不大。本文假设差图像受到的噪声为高斯噪声，根据统计学原理可知，仅有非常少量的象素的灰度值落在3倍的标准差之外，因此，采用如下的二值化阈值Th＝u+3σ，其中u、σ分别是差图像的均值和标准差。由于随机噪声的影响一般在图像中成零散分布，即在不会造成大面积的具有较大灰度的区域，依此可以对得到的二值图像作形态学闭运算预处理，以消除噪声点。

第四步：周期性运动的消除，突出运动目标。

场景往往是复杂的，尤其是在室外时，会存在一些景物(比如树)的周期性运动，因此运动区域图像(B)中，灰度值为255区域(白色所示)大致可分为3种类型：(1)真实感兴趣的运动目标的运动轨迹。(2)场景中晃动的树木的轨迹。(3)噪声。

分析可知，类型(2)和(3)可以看作是周期性运动，比如树会在一个地方来回晃动，摄像机也是在架设的位置上作左右上下的振动。类型(3)是噪声引起的，因此它们的面积相对类型(1)真实的运动区域显得很小，可以通过设定面积门限消除。因此，通过消除周期性运动的区域，来消除运动区域图像(B)中的运动区域类型(2)，通过设定面积门限消除类型(3)，从而得到真实感兴趣的运动目标区域类型(1)。

假设树木的晃动周期为T，T可用图像帧数表示，若连续采集两段图像序列I₀I₁I₂…I_n和I_nI_n+1I_n+2…I_2n，每段的持续时间n+1均大于T，假设该两个序列的累积图像二值化得到的运动区域图像分别为B₁和B₂，令C是B₁和B₂的异或图像。可以发现，晃动区域在两段序列的差图像中都在同一个位置存在，异或图像中他们被消除了，而真实感兴趣的运动目标区域类型(1)由于两段序列的差图像中没有交集而在异或图像中依然存在。

异或图像更好地突出了运动轨迹，消除了周期性运动等的干扰。通过在C中选择最大面积的连通区域(设此二值图像为R)；便可以发现该区域对应于运动目标的运动轨迹，由于可能存在多个真实目标，异或图像中可能存在多个C，需要对每个C单独处理。

通过上述运算过程，我们得到了目标真实的运动轨迹，但并没有得到目标的位置，但目标的位置已经包含在了运动的轨迹之中，因此令：D₀＝|I_2n-I₀|²，设B₀是D₀的二值化结果图像，令：E₀＝B₀∩R，则E₀中的两个面积最大的区域分别对应着目标在图像I₀和I_2n中的位置，用候选运动目标图像O_c进行与运算，即可得检测帧中的运动目标O。图2给出了一个消除周期性晃动的示意图，图2(a)、(b)为一个晃动物体一个周期内的图像序列的累积差图像二值化结果，(c)为图像2(a)与(b)的异或图像。

第五步：虚假轨迹的消除

由于分割的误差的原因，目标会存在断裂现象，此外晃动区域消除有时也并不完全，这些因素的存在，导致O中仍有可能存在虚假目标区域。因此，本步骤利用虚假轨迹的消除技术来消除虚假目标区域。虚假轨迹的消除利用的是目标灰度一致性和运动轨迹的连续性。因为短时间内目标灰度是不会有较大变化的，而且如果知道目标在图像上的运动速度范围，便可以通过轨迹点的连续性分析获得真实目标的轨迹。即每一帧可能检测到若干个目标区域，为了简单，使用目标的外接矩形进行描述，对于某一帧，从这一帧检测出的后选目标区域都须利用前N个时刻图像中所有检测到的候选目标区域来验证轨迹的连续性。这一连续性主要依靠的是目标的运动方向一致性、根据目标运动速度得出的目标运动位置的合理性两个方面，以及目标灰度特性的一致性。目标大小则由于分割结果误差较大而不太适用于连续性的判别。

具体方法是：对于当前帧检测出来的每个目标区域，使用前几帧进行关联。如图3给出了一个利用前两帧进行关联的示意图，图中k-1，k，k+1三帧的目标为结点，结点间的关系为路径，(a)将画出了所有的路径；接下来，采用如下两个条件进行路径删减：(1)角度约束，即连续两条两邻路径间的夹角θ＞15°；(2)灰度约束，即连续两个结点平均灰度差异g＞15；只要满足以上条件中的一个，相应的路径就被删除，(b)为按以上约束条件删除后的路径图；最后设定两邻两帧之间目标在X和Y方向的最大移动速度V_x和V_y，对于所有剩余轨迹图中的每一路径，利用V_x和V_y进一步剔出不合理的路径。如果最终至少存在一条完整路径，则关联正确，该目标就被作为真实目标输出；否则认为是虚假目标，予以滤除。

图4给出了几种利用本发明的方法在典型条件下对弱小目标进行检测的结果，其中图(a)是白天序列图，图(b)晚上序列图，图(c)阴雨天序列图。

Claims

1.一种基于红外图像的弱小运动目标检测方法，其特征在于，包括以下步骤：

步骤32、使用3×3空域中值滤波去除噪声；

步骤41、设定周期性运动区域的周期T，所述周期T为持续的图像帧数，之后连续采集两段图像序列，对两段图像序列分别以所述步骤2的方式计算累积差图像，对计算得到的两个累积差图像分别以所述步骤3的方式进行二值分割，以得到两幅二值化图像；

步骤44、使用w×w空域中值滤波去除噪声，w为模板参数；

2.根据权利要求1所述的基于红外图像的弱小运动目标检测方法，其特征在于，步骤1对接收到的红外图像进行中值背景差处理具体包括以下步骤：

步骤11、采用灰度直方图计算历史N帧象素点中灰度值的中值，象素灰度级为0到255，从直方图中得到中值方法是灰度级从低到高的累加所有经过的灰度级的频数f，当f＞＝N/2，累加停止，当前对应的灰度级即为中值；

3.根据权利要求1所述的基于红外图像的弱小运动目标检测方法，其特征在于，步骤2生成累积差图像具体包括以下步骤：

步骤22、对累积图像进行更新处理：从累积图像中减去时间最久两帧的平方差值，再加上新图像与前一帧的平方差值，从而完成累积图像的更新；

步骤23、求取累积差图像，即将N个差图像累积相加求均值。