CN106887002B - 一种红外图像序列显著性检测方法 - Google Patents

Abstract

本发明公开了一种红外图像序列显著性检测方法，首先，采用一种基于交互一致性引导的空间信息融合方法提取每帧红外图像的亮度和轮廓特征，并计算空域显著性；其次，设计一种多帧对称差分算法提取红外序列的运动信息，并计算该帧图像的时域显著性；第三，设计一种自适应融合策略，将空域显著性和时域显著性相结合；第四，为了均匀突显红外图像序列中的时‑空显著性区域，提出一种多尺度融合方法，嵌入到时‑空显著性模型里，得到多尺度时‑空显著性图；最后，设计了一种基于Gestalt理论的优化算法，进一步提高显著性检测结果的可靠性；本发明通过深入挖掘红外图像序列的时空特性，来实现视觉显著性检测，故可以获得比传统显著性检测方法更加精确的结果。

Description

一种红外图像序列显著性检测方法

技术领域

本发明涉及一种基于时-空显著性自适应融合的红外图像序列显著性检测方法，属于图像处理和计算机视觉技术领域。

背景技术

视觉注意(显著性)是人类视觉系统的一个重要机制：尽管人类的眼睛在面对自然场景时可以捕获大量的视觉信息，但是人类有限的视觉细胞仅仅关注的是场景中最为显著的区域。人类视觉系统的这个机制吸引了包括心理学、认知神经学、计算机科学等众多领域的学者的研究兴趣。目前，在计算机视觉领域，人们提出了各种各样的计算模型，来模拟视觉显著性，并将这些模型应用于计算机视觉和模式识别的众多领域，如：图像/视频压缩、图像/视频分割、目标检测和识别、运动目标跟踪等。

现阶段，视觉显著性模型从应用对象角度可以分为两类：单帧图像的视觉显著性检测模型、视频序列的视觉显著性检测模型。前者主要提取的是单帧图像的空域显著性，而后者不仅要提取空域显著性，还要提取时域显著性，这样计算得到的显著性图(即时-空显著性图)才能适合于视频序列应用的需求。尽管，现在人们已经提出一些时-空显著性图计算模型，但是，这些模型大都是针对普通光学图像序列的。直接将这些模型应用于红外图像序列，很难得到较为满意的结果。原因如下：

首先，鉴于红外图像特殊的成像机理，在一般可见光图像(序列)显著性模型里常用的颜色、纹理、方向等特征，在红外图像中不明显，导致这些特征无法使用。其次，鉴于红外图像(序列)的应用场合(多为军事应用或民用视频监控等)，采集得到的红外图像(序列)中背景一般较为复杂，例如：背景含有海面杂波、云层杂波、背景干扰等。此时，显著性目标易于淹没在这些背景中，导致显著性检测难度变大。由此可见，针对红外图像序列，设计一种适合于它的鲁棒性、准确性显著性检测模型，不仅十分迫切，而且具有挑战性。

发明内容

发明目的：针对现有技术面向红外图像序列显著性检测问题时所存在的问题，本发明提出一种通过提取红外图像序列的亮度对比度显著性、轮廓显著性、时域显著性等，并将它们进行自适应融合，同时利用多尺度思想和格式塔(Gestalt)理论进一步增强和优化显著性图的红外图像序列显著性检测方法。

技术方案：一种红外图像序列显著性检测方法，包括如下步骤：

(A)采用一种基于交互一致性引导的空间信息融合方法提取每帧红外图像的亮度和轮廓特征，并计算空域显著性。

其中，基于亮度对比度的显著性计算包括：首先，针对红外图像序列的第t帧图像I^t，计算位置l处的亮度对比度显著性

其中，Ω_c是l的邻域，Ω_s是l周围的环形区域；其次，为了确保仅包含红外目标的区域是显著度，降低背景杂波干扰，设计一个校正函数f(α)＝|α|^γ，其中，γ≥1，γ为常数，来控制对比度增益，得到：

基于轮廓的显著性计算包括：首先，针对红外图像序列的第t帧图像I^t，计算它的梯度幅度G^t；其次，为了消除噪声的轮廓片段，得到更加鲁棒的轮廓显著性图，采用上述校正函数对梯度幅度G^t进行改进，得到改进后的轮廓显著性图：

基于交互一致性的空域显著性融合包括：首先，通过上述两步得到原始红外图像亮度对比度显著性图和轮廓显著性图后，计算它们之间的交互一致性：

其中，是相对于的一致性，是相对于的一致性。其次，根据一致性，分别计算和的融合权值：

其中，和满足第三，根据权值，将和进行融合，得到融合后的空域显著性图：

(B)设计一种多帧对称差分算法提取红外序列的运动信息，并计算该帧图像的时域显著性。

首先，假设红外视频序列的第t帧图像是I^t，第t-1帧图像是I^t-1，这两帧图像的帧间差分为V^t,t-1＝|I^t-I^t-1|；

其次，对于一个红外视频序列，将帧间差分V^t,t-1看做是连续两帧之间的变化区域，将视频中的运行目标定义为T，则V^t,t-1又表示为连续两帧中运动目标的合并。假设T^t是t时刻的运动目标，则V^t,t-1表示为：

V^t,t-1＝T^t∪T^t-1

第三，由上面这个公式计算得到的两个连续变化区域的交叠即为运动目标：

V^t,t-1∩V^t,t+1＝(T^t∪T^t-1)∩(T^t∪T^t+1)＝T^t

第四，由V^t,t-1＝|I^t-I^t-1|和V^t,t-1∩V^t,t+1＝(T^t∪T^t-1)∩(T^t∪T^t+1)＝T^t两个公式，运动目标T^t可以进一步推导为：

T^t＝|I^t-I^t-1|∩|I^t-I^t+1|

第五，考虑到上述以对称差分结果表示的运动目标T^t容易受到随机噪声和背景杂波的干扰，进一步对其进行修改，得到改进后的显著性运动目标T^t：

此时，该多帧对称差分结果T^t即所求得的时域显著性图。

(C)设计一种自适应融合策略，将空域显著性S^t和时域显著性T^t相结合。

首先，定义一个测量标准M，用于识别不同类型的运动，如：快速运动、慢速运动、无运动等：

其中，和分别表示T^t的均值和标准差；c是预先定义好的参数，取值范围为c∈(0.5,1)。

其次，基于测量标准M，将空域显著性S^t和时域显著性T^t通过如下公式进行自适应融合：

(D)为了均匀突显红外图像序列中的时-空显著性区域，提出一种多尺度融合方法，嵌入到时-空显著性模型里，得到多尺度时-空显著性图。

首先，计算不同尺度下的时-空显著性图其中r∈R表示尺度因子，R为{1,0.7,0.4}。

其次，将不同尺度下求得的时-空显著性图进行融合，得到多尺度时-空显著性图：

其中，C＝[Σ_r∈Rr²]^-1为归一化因子。

(E)为了进一步优化步骤(D)计算得到的多尺度时-空显著性图即提高显著性图的稳健性、准确性、及完整性，提出一种基于格式塔(Gestalt)理论的优化算法。该算法的指导思想即对于显著图上的一个元素，靠近它的元素对它的显著性有较强的影响，远离它的元素对它的显著性的影响较弱。据此，设l是显著图上的一个元素，Ω_N是它的一个邻域，则改进后的时-空显著性图可以通过下式计算得到：

其中，为加权核函数。

本发明采用上述技术方案，具有以下有益效果：本发明的方法是在仔细分析红外图像序列特性以后所涉及的，它提出计算亮度对比度显著性、轮廓显著性、及运动显著性，都切合红外图像序列的特点，因此，计算得到的显著图有效且鲁棒；本发明设计了多尺度融合策略及基于格式塔(Gestalt)理论的优化策略，都分别进一步提高显著性检测的准确性，同时保证检测得到的显著性目标的完整性。

附图说明

图1为本发明实施例的框架图；

图2为本发明亮度对比度模型计算示意图。

具体实施方式

下面结合具体实施例和附图，对本发明的技术方案作进一步解释，应理解本实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，首先，计算红外图像序列的空域显著性，具体包括如下三个步骤：

步骤(1)基于亮度对比度的显著性计算

(1-1)针对红外图像序列的第t帧图像I^t，计算位置l处的亮度对比度显著性

其中，Ω_c是l的邻域，Ω_s是l周围的环形区域，如图2所示。

(1-2)为了确保仅包含红外目标的区域是显著度，降低背景杂波干扰，设计一个校正函数f(α)＝|α|^γ(其中，γ≥1是一个常数)来控制对比度增益，得到：

步骤(2)基于轮廓的显著性计算

(2-1)针对红外图像序列的第t帧图像I^t，计算它的梯度幅度G^t；

(2-2)为了消除噪声的轮廓片段，得到更加鲁棒的轮廓显著性图，采用上述校正函数对梯度幅度G^t进行改进，得到改进后的轮廓显著性图：

步骤(3)基于交互一致性的空域显著性融合

(3-1)通过上述两步得到原始红外图像亮度对比度显著性图和轮廓显著性图后，计算它们之间的交互一致性：

其中，是相对于的一致性，是相对于的一致性。

(3-2)根据一致性，分别计算和的融合权值：

其中，和满足

(3-3)根据权值，将和进行融合，得到融合后的空域显著性图：

(3-4)计算红外图像序列的时域显著性；首先，假设红外视频序列的第t帧图像是I^t，第t-1帧图像是I^t-1，这两帧图像的帧间差分为V^t,t-1＝|I^t-I^t-1|；

其次，对于一个红外视频序列，帧间差分V^t,t-1可以看做是连续两帧之间的变化区域；将视频中的运行目标定义为T。V^t,t-1又可以表示为连续两帧中运动目标的合并。例如，假设T^t是t时刻的运动目标，则V^t,t-1可以表示为：

V^t,t-1＝T^t∪T^t-1

第三，由上面这个公式计算得到的两个连续变化区域的交叠即可看做是运动目标：

V^t,t-1∩V^t,t+1＝(T^t∪T^t-1)∩(T^t∪T^t+1)＝T^t

第四，由V^t,t-1＝|I^t-I^t-1|和V^t,t-1∩V^t,t+1＝(T^t∪T^t-1)∩(T^t∪T^t+1)＝T^t两个公式，运动目标T^t可以进一步推导为：

T^t＝|I^t-I^t-1|∩|I^t-I^t+1|

显然，这是一个对称差分结果。

第五，考虑到上述以对称差分结果表示的运动目标T^t容易受到随机噪声和背景杂波的干扰，我们进一步对其进行修改，得到改进后的显著性运动目标T^t：

此时，这个多帧对称差分结果T^t就是我们所求得的时域显著性图。

(3-5)将红外图像序列的空域显著性S^t和时域显著性T^t相融合，得到时-空显著性；首先，基于上述计算得到的T^t，定义一个测量标准M，用于识别不同类型的运动，如：快速运动、慢速运动、无运动等：

其中，和分别表示T^t的均值和标准差；c是预先定义好的参数，取值范围为c∈(0.5,1)。

其次，基于测量标准M，我们就可以将空域显著性S^t和时域显著性T^t通过如下公式进行自适应融合：

(3-6)计算多尺度时-空显著性图；首先，计算不同尺度下的时-空显著性图其中r∈R表示尺度因子，这里R为{1,0.7,0.4}。

其次，将不同尺度下求得的时-空显著性图进行融合，得到多尺度时-空显著性图：

其中，C＝[∑_r∈Rr²]^-1为归一化因子。

(3-7)优化时-空显著性图；为了进一步多尺度时-空显著性图即提高显著性图的稳健性、准确性、及完整性，提出一种基于格式塔(Gestalt)理论的优化算法。该算法的指导思想即对于显著图上的一个元素，靠近它的元素对它的显著性有较强的影响，远离它的元素对它的显著性的影响较弱。据此，设l是显著图上的一个元素，Ω_N是它的一个邻域，则改进后的时-空显著性图可以通过下式计算得到：

其中，为加权核函数。

Claims (1)

1.一种红外图像序列显著性检测方法，其特征在于，包括如下步骤：

(A)采用一种基于交互一致性引导的空间信息融合方法提取每帧红外图像的亮度和轮廓特征，并计算空域显著性S^t；

(B)设计一种多帧对称差分算法提取红外序列的运动信息，并计算多帧图像的时域显著性T^t；

(C)设计一种自适应融合策略，将空域显著性S^t和时域显著性T^t相结合；

(D)提出一种多尺度融合方法，嵌入到时-空显著性模型里，得到多尺度时-空显著性图

(E)基于格式塔理论对多尺度时-空显著性图进行优化，具体步骤为：

定义l是多尺度时-空显著性图上的任一像素点位置；表示该位置处的多尺度时-空显著值；Ω_N是它的一个邻域，p是Ω_N中的某一像素点位置，即p∈Ω_N；通过下式计算得到改进后的时-空显著性图：

其中，为加权核函数；表示位置p处的多尺度时-空显著值；

所述步骤(A)包括：

(A1)基于亮度对比度的显著性计算；

首先，针对红外图像序列的第t帧图像I^t，计算位置l处的亮度对比度显著性

其中，Ω_c是l的邻域，Ω_s是l周围的环形区域；

其次，设计校正函数f(α)＝|α|^γ控制对比度增益，γ为常数且γ≥1，得到：

(A2)基于轮廓的显著性计算；

首先，针对红外图像序列的第t帧图像I^t，计算梯度幅度G^t；

其次，采用上述校正函数对梯度幅度G^t进行改进，得到改进后的轮廓显著性图：

(A3)基于交互一致性的空域显著性融合；

首先，通过上述两步得到原始红外图像亮度对比度显著性图和轮廓显著性图后，计算其交互一致性：

其中，是相对于的一致性；是相对于的一致性；

其次，根据一致性，分别计算和的融合权值：

其中，和满足

第三，根据权值，将和进行融合，得到融合后的空域显著性：

所述步骤(B)包括：

(B1)计算红外视频序列第t帧图像I^t和第t-1帧图像I^t-1的帧间差分：

V^t,t-1＝|I^t-I^t-1|；

(B2)对于一个红外视频序列，将帧间差分V^t,t-1看做连续两帧之间的变化区域，将视频中的运行目标定义为T，则V^t,t-1又表示为连续两帧中运动目标的合并；定义T^t是t时刻的运动目标，则V^t,t-1为：

V^t,t-1＝T^t∪T^t-1；

(B3)将由上式计算得到的两个连续变化区域的交叠看做运动目标：

V^t,t-1∩V^t,t+1＝(T^t∪T^t-1)∩(T^t∪T^t+1)＝T^t；

(B4)由公式V^t,t-1＝|I^t-I^t-1|和V^t,t-1∩V^t,t+1＝(T^t∪T^t-1)∩(T^t∪T^t+1)＝T^t得运动目标T^t为：

T^t＝|I^t-I^t-1|∩|I^t-I^t+1|；

(B5)对上述以对称差分结果表示的运动目标T^t进行修改，得到改进后的显著性运动目标T^t：

上述多帧对称差分结果T^t即时域显著性；其中，t表示t时刻；i∈[1,n]表示时刻变化范围取值，t+i表示t+i时刻；

所述步骤(C)包括：首先，定义一个用于识别不同类型的运动的测量标准M：

其中，和分别表示T^t的均值和标准差；c是预定义参数，c∈(0.5,1)；

其次，将空域显著性S^t和时域显著性T^t通过如下公式进行自适应融合：

所述步骤(D)包括：

(D1)计算不同尺度下的时-空显著性图其中r∈R表示尺度因子，R为{1,0.7,0.4}；

(D2)将不同尺度下求得的时-空显著性图进行融合，得到多尺度时-空显著性图：

其中，C＝[∑_r∈Rr²]^-1为归一化因子。