CN101546428B - 基于区域分割的序列红外与可见光图像融合 - Google Patents

Abstract

本发明涉及一种基于区域分割的序列红外与可见光图像融合，技术特征在于：首先将根据红外图像帧间目标变化情况以及红外图像的灰度变化的剧烈程度将红外图像分割为不同区域，随后利用非下采样Contourlet变换可以把图像分解到不同方向上的不同频率域，然后根据不同区域的特点在不同的频率域选用不同的融合规则，最后将处理后的系数经过图像重构得到最终融合结果。本方法考虑到了某个区域内的特征所具有的信息，因此该算法能有效降低由于噪声以及配准精度低而引入融合图像误差的几率，具有较强的鲁棒性。

Description

基于区域分割的序列红外与可见光图像融合

技术领域

本发明涉及一种基于区域分割的序列红外与可见光图像融合，是基于非下采样Contourlet变换(Nonsubsampled Contourlet transform，NSCT)和区域分割的序列红外与可见光图像融合方法，可以应用于各类军用或民用的图像处理系统。

背景技术

随着传感技术的发展目前获取图像的方式越来越多以及数据量的剧增，大量的信息难以利用，因此图像融合技术成为国际研究的热点。图像融合作为数据融合的重要组成部分，是一种可视的数据融合技术，它综合了传感器技术，图像与信号处理、计算机技术、人工智能、统计与估计理论等多科学的高新技术。图像融合技术利用多源图像中的冗余信息和互补信息，利用优势互补的数据来提高图像信息的可用程度，同时增加了对融合图像的解释的可靠性，提高了融合图像应用的鲁棒性。

红外图像与可见光图像不同，红外图像不依赖于外部的光线，利用场景内物体本身各个部分热辐射的差异获取物体图像的细节，因此红外图像一般较暗，信噪比低、无彩色信息、缺少层次感，且目标图像与背景对比度低、边缘模糊；而可见光图像对比度相对较高，目标包含一定的细节信息，但在黑暗背景下具有不易观察的隐蔽性。因此将同一场景的红外图像和可见光图像融合形成的图像保留了由高局部高亮度对比表征的重要细节，大大提高了探测识别的可靠性和准确性。在图像融合的研究中以红外图像和可见光图像融合的研究最为广泛，其具有非常重要的主动监视作用，并在航空、航天等各领域有着重要的研究意义以及广泛的应用场所。但目前研究的多都是基于静态图像的融合，即对多传感器获得的序列图像直接逐帧以静态图像融合方法进行融合处理，如何利用序列图像在时间轴上的运动信息来指导图像融合过程是解决序列 图像融合的关键问题。

融合算法是图像融合的核心，它的实现的优劣直接影响融合的图像的质量。图像融合的算法要求算法要尽可能多的包含被融合的图像的有用信息，不能引用误导后续处理和识别的虚假信息，且算法要具有较好的稳定性、鲁棒性和具备消除噪声及配准中的误差容错性，以便于具有更好的表达和解释能力。因此图像融合算法成为目前的研究重点。

目前小波变换理论日益成熟，小波变换在图像处理中得到了广泛的应用。由于小波变换具有较好的时频特性，能有效的捕获图像中的特征信息，因此将其应用于图像融合能够获得比以往融合方法更好的效果。但是，小波方法仍然存在问题：小波变换的优势主要体现在对一维分段光滑或有界变差函数进行分析和处理，当推广到二维或更高维时，由一维小波张成的可分离小波只具有有限的方向，即以“点”为单位来捕捉图像的特征，只能反映“过”边缘特性，而无法表达“沿”边缘特性，也就是说，小波主要是用于表示具有各向同性(isotropy)的奇异性的对象，而对于各向异性(anisotropy)的奇异性，如自然图像中的边界以及线状特征等，小波并不是很好的表示工具。这也正是基于小波的一系列处理方法，如图像压缩、图像去噪以及图像融合等应用中，均不可避免地在图像边缘和细节位置引入一定程度模糊的原因所在。可见，在图像融合应用中，最好能采取比小波基表达能力更强的基函数，所以有必要采用比小波更有力的变换方法。

针对小波变换的上述缺点，需要发展新的高维函数的最优表示方法，随着多尺度几何工具研究的日益深入，M.N.Do和M.Vetterli提出了一种“真正的”二维图像的表示方法Contourlet变换。Contourlet基的支撑区间是随尺度而变化的“长条形”结构，因而能具有比小波变换更好的多分辨率、局部性、方向性和各向异性，能更加有效的 捕获图像的边缘信息。但是由于其变换过程中的下采样操作，信号频谱会产生混叠现象，融合图像中则表现为较明显的吉布斯现象。Arthur L.da Cunha等根据构造非下采样小波的启发提出了一种非下采样Contourlet变换(nonsubsampled Contourlet transform，NSCT)，该变换比Contourlet变换具有更灵活的多分辨、多方向的图像表示能力，且以冗余度换取了平移不变性。基于此将非下采样Contourlet变换引入图像融合，可以更好的保留原始图像的细节信息，提取图像的轮廓特征，为融合图像提供更多更全面的特征信息。

目前图像融合的研究主要集中在静态图像融合中，针对序列图像的融合算法研究较少，而序列图像融合可被广泛应用于安全监视以及战场环境下的目标识别与跟踪。现阶段常用的图像融合算法都是在像素级的图像融合算法，所采用的融合规则都是基于像素点以及窗口规则的，但这两种规则将图像经多尺度几何变换后的系数之间的关系弱化了。在实际应用中，图像的特征往往不是由单个像素点所表征的而是由某个区域所表征，所以在图像融合的研究中融合某个区域比仅仅融合像素点要更有意义。因此，基于区域的图像融合算法在实际中有更有意义，理论上应该能够得到更好的融合效果。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于区域分割的序列红外与可见光图像融合，

技术方案

本发明的基本思想是：首先将根据红外图像帧间目标变化情况以及红外图像的灰度变化的剧烈程度将红外图像分割为不同区域，随后利用非下采样Contourlet变换可以把图像分解到不同方向上的不同频率域，然后根据不同区域的特点在不同的频率域选用不同的融合规则，最后将处理后的系数经过图像重构得到最终融合结果。

本发明方法的特征在于步骤如下：

步骤1非下采样Contourlet变换分解：对待融合的序列红外图像{A_i}和可见光图像{B_i}的第i帧的红外图像A_i和可见光图像B_i进行非下采样Contourlet变换，得到第i帧红外图像源A_i和可见光图像B_i的非下采样Contourlet变换系数 

和 

其中 

为第i帧的红外图像A_i低频信息图像， 

为第i帧的红外图像A_i尺度j下第k个方向的高频信息子图像， 

为第i帧的红外图像B_i低频信息图像， 为第i帧的红外图像B_i尺度j下第k个方向的高频信息子图像，i＝1，2，3，…表示图像的帧数，J表示非下采样Contourlet变换尺度分解层数，k表示每个尺度下方向分解数；

步骤2同时对序列红外图像图像A_i进行区域分割：将第i帧红外图像A_i(i≠1)与第一帧红外图像A₁相减可获得一副差值图像，将差值图像进行图像增强后得到第i帧红外图像A_i的目标区域T；然后以第一帧红外图像A₁为划分背景区域与灰度区域的基准，根据红外图像中灰度级，利用阈值分割技术，对于第一帧红外图像A₁中灰度值大于或者等于阈值α的标记为灰度区域G，若小于阈值α的则标记为背景区域B；所述的阈值α为0≤α＜I_mean，I_mean为图像灰度值的中值；

步骤3将序列红外图像{A_i}和可见光图像{B_i}进行融合：将第i帧红外图像源A_i和可见光图像B_i的两幅源图像中相对应非下采样Contourlet变换系数 和 

按照下述融合规则进行处理，得到融合后新生成的非下采样Contourlet变换系数，即融合系数 

所述的融合规则为对于目标区域的融合、对于灰度区域的融合和对于背景区域的融合：

对于目标区域T的融合：选择第i帧红外图像的低频信息作为融合图像F_i低频信息： $L^{F_i}(m,n)=L^{A_i}(m,n),(m,n)\∈T$

利用取模极大的方法得到第i帧的融合图像F_i高频信息 

$\left\{\begin{array}{cc}{H}_{j,k}^{F_i}(m,n)=H_{j,k}^{A_i}(m,n)& \left|H_{j,k}^{A_i}(m,n)\right|>\left|H_{j,k}^{B_i}(m,n)\right|\\ H_{j,k}^{\mathrm{Fi}}(m,n)=H_{j,k}^{\mathrm{Bi},j}(m,n)& \left|H_{j,k}^{A_i}(m,n)\right|\≤\left|H_{j,k}^{B_i}(m,n)\right|\end{array}\right.,(m,n)\∈T;$

对于灰度区域G的融合：利用加权平均的融合方法可获得第i帧的融合图像F_i的低频信息 

$L^{F_i}(m,n)=L^{A_i}(m,n)\×0.5+L^{B_i}(m,n)\×0.5,(m,n)\∈G$

以第i帧红外图像源A_i和可见光图像B_i中M×N窗口内的相关系数corr为度量标准获得第i帧的融合图像F_i的高频信息；

当corr≤t时，第i帧的融合图像F_i的高频信息：

$\left\{\begin{array}{cc}{H}_{j,k}^{F_i}(m,n)=H_{j,k}^{A_i}(m,n)& {\mathrm{SF}}_{A_i}^{M\×N}>{\mathrm{SF}}_{B_i}^{M\×N}\\ H_{j,k}^{F_i}(m,n)=H_{j,k}^{B_i}(m,n)& {\mathrm{SF}}_{A_i}^{M\×N}\≤{\mathrm{SF}}_{B_i}^{M\×N}\end{array}\right.,(m,n)\∈G$

其中 

和 

分别为第i帧红外图像源A_i和可见光图像B_i窗口大小M×N内的空间频率，所述阈值t的范围为0.5≤t＜1；

当corr＞t时，第i帧的融合图像F_i的高频信息为：

$H_{j,k}^{F_i}(m,n)=w\×H_{j,k}^{A_i}(m,n)+(1-w)\×H_{j,k}^{B_i}(m,n),(m,n)\∈G$

其中w为阈值，范围确定如下：

$\left\{\begin{array}{cc}w=0.5+0.5\×\frac{1-\mathrm{corr}}{1-t}& {\mathrm{SF}}_{A_i}^{M\×N}>{\mathrm{SF}}_{B_i}^{M\×N}\\ w=0.5-0.5\×\frac{1-\mathrm{corr}}{1-t}& {\mathrm{SF}}_{A_i}^{M\×N}\≤{\mathrm{SF}}_{B_i}^{M\×N}\end{array}\right.$

所述的第i帧红外图像源A_i和可见光图像B_i中M×N窗口的相关系数corr为：

$\mathrm{corr}(A_i^{M\×N},B_i^{M\×N})=\frac{\underset{i,j}{\mathrm{\Σ}}[(A_i^{M\×N}(i,j)-\stackrel{\‾}{A_i^{M\×N}})\×(B_i^{M\×N}(i,j)-\stackrel{\‾}{B_i^{M\×N}})]}{\sqrt{\underset{i,j}{\mathrm{\Σ}}\left[{(A_{\begin{array}{cc}i& i\end{array}}^{M\×N}(i,j)-\stackrel{\‾}{A_{\begin{array}{cc}i& i\end{array}}^{M\×N}})}^2\right]\mathrm{\Σ}\left[{(B_i^{M\×N}(i,j)-\stackrel{\‾}{B_i^{M\×N}})}^2\right]}}$

所述的空间频率为： $\mathrm{SF}=\sqrt{{\mathrm{RF}}^2+{\mathrm{CF}}^2},$ 其中，RF为图像的行频率，CF为图像的列频率，其定义分别为：

$\mathrm{RF}=\sqrt{\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{[I(i,j)-I(i,j-1)]}^2}$

$\mathrm{CF}=\sqrt{\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{[I(i,j)-I(i-1,j)]}^2};$

对于背景区域B的融合：第i帧可见光图像中的低频信息作为第i帧的融合图像F_i的低频信息 

$L^{F_i}(m,n)=L^{B_i}.(m,n),(m,n)\∈B$

第i帧红外图像A_i和可见光B_i区域能量值较大的窗口中心像素值作为第i帧的融合图像F_i的高频信息：

$\left\{\begin{array}{cc}{H}_{j,k}^{F_i}(m,n)=H_{j,k}^{A_i}(m,n)& E_{j,k}^{A_i}(m,n)>E_{j,k}^{B_i}(m,n)\\ H_{j,k}^{\mathrm{Fi}}(m,n)=H_{j,k}^{\mathrm{Bi}}(m,n)& E_{j,k}^{A_i}(m,n)\≤E_{j,k}^{B_i}(m,n)\end{array}\right.,(m,n)\∈B$

其中， 

和 为M×N窗口内区域能量为：

$E_{j,k}(m,n)=\underset{i=-(M-1)/2}{\overset{(M-1)/2}{\mathrm{\Σ}}}\underset{j=-(N-1)/2}{\overset{(N-1)/2}{\mathrm{\Σ}}}\left|H_{j,k}(m+i,n+j)\right|;$

所述m，n为M×N窗口中像素点的位置；

步骤4非下采样Contourlet变换重构：对融合后生成的融合系数 

进行非下采样Contourlet逆变换，得到第i帧的融合图像F_i。

所述的非下采样Contourlet分解层数J为4，各尺度上方向数k分别为4、4、8、16。

所述M×N窗口大小为3×3或者5×5。

有益效果

本发明的基于区域分割的序列红外与可见光图像融合，优点在于：第一，非下采 样Contourlet变换不但和小波一样具有局部时频分析能力，由于Contourlet基的支撑区间是随尺度而变化的“长条形”结构，因而能具有比小波变换更好的多分辨率、局部性、方向性和各向异性，能更加有效的捕获图像的边缘信息。第二，由于Contourlet变换过程中的下采样操作导致信号频谱会产生混叠现象，融合图像中则表现为较明显的吉布斯现象。非下采样Contourlet变换去除了Contourlet变换中的下采样和重构前上采样，非下采样Contourlet变换消除了Contourlet变换的频率混叠现象。将非下采样Contourlet变换引入图像融合，能够更好地提取原始图像的特征，为融合图像提供更多的信息，也更加有利于分析和跟踪像的重要特征，这也更加适合融合红外与可见光图像；第三，基于区域的图像融合算法是将特征级和像素级两个层次融合相结合的方法，因特征级融合是对预处理和特征提取后所获得的边缘、轮廓、方向和区域等信息进行处理，因此基于区域的融合算法考虑到了某个区域内的特征所具有的信息，因此该算法能有效降低由于噪声以及配准精度低而引入融合图像误差的几率，具有较强的鲁棒性。第四，针对不同区域在非下采样Contourlet变换域的不同的频率信息具有不同的特点，不同的区域分别设计不同的融合规则。因此基于区域分割的信息考虑了不同区域的特征信息，适宜应用在源图像未能精确配准和光谱差异较大的情况，算法具有较好的鲁棒性。第五，利用图像帧间差别识别序列图像中的目标变化情况，利用序列图像在时间轴上的运动信息来指导图像融合过程。

附图说明

图1：本发明方法的基本流程图

图2：融合图像序列以及分割的不同区域；

(a)红外图像；(b)可见光图像；(c)空间频率分割图；(d)边缘检测图；(e)基于NSCT的像素点融合的图像；(f)基于NSCT的窗口融合的图像；(g)本文提出基于NSCT的 区域融合的图像；(h)基于NSWT的区域融合的图像；

图3：序列红外图像与可见光图像融合例子

(a)红外图像；(b)可见光图像；(c)基于NSCT的像素点融合的图像；(d)基于NSCT的窗口融合的图像；(e)本文提出基于NSCT的区域融合的图像；(f)基于NSWT的区域融合的图像；

具体实施方式

现结合实施例、附图对本发明作进一步描述：

用于实施的硬件环境是：Pentium-43G计算机、1GB内存、128M显卡，运行的软件环境是：Matlab7.0和Windows XP。我们用Matlab程序设计语言实现了本发明提出的方法。图像数据采用同一场景序列红外图像与可见光图像。

本发明具体实施如下：

1.非下采样Contourlet分解：假设序列图像中的每帧图像均已配准，对待融合的序列红外图像{A_i}和可见光图像{B_i}的第i帧的红外图像A_i和可见光图像B_i进行非下采样Contourlet变换，得到第i帧红外图像源A_i和可见光图像B_i的非下采样Contourlet变换系数 和 非下采样Contourlet分解层数为4，各尺度上方向数分别为4、4、8、16。其中 

为第i帧的红外图像A_i低频信息图像， 

为第i帧的红外图像A_i尺度j下第k个方向的高频信息子图像， 

为第i帧的红外图像B_i低频信息图像， 

为第i帧的红外图像B_i尺度j下第k个方向的高频信息子图像，i＝1，2，3，…表示图像的帧数，j表示非下采样Contourlet变换尺度分解层数，k表示每个尺度下方向分解数。

2.同时对序列红外图像图像A_i进行区域分割：本文提出的基于区域分割的序列图像的融合算法，是通过分割算法将序列红外图像分割为不同的区域，然后将这些不同的区域映射到可见光图像中，利用不同的区域信息指导图像融合。红外图像一般较暗，无彩色信息、缺少层次感，低可视目标很容易在红外图像中看到，目标也多为高亮的灰度级，而可见光图像对比度相对较高，目标包含一定的细节信息，但在黑暗背景下具有不易观察的隐蔽性。首先，由于我们采用序列图像背景是不变的，由于序列图像所反映的是某一时间段图像的变化的过程，因此可以通过对比帧与帧之间的变换以此来检测序列图像中目标的运动。因此我们以初始帧图像A₁作为标准图像，将第i帧红外图像A_i(i≠1)与第一帧红外图像A₁相减可获得一副差值图像，将差值图像进行图像增强，增强方法选择直方图增强法可提取出较为明显的高亮区域记为目标信息，即获得第i帧红外图像A_i的目标区域T。由于红外与可见光作用在不同的波段，图像特征上具有不同的灰度值，在红外图像中出现的灰度特征并不一定在可见光图像中也出现。红外与可见光图像的共同之处，就是在目标的边缘附近灰度迅速变化。因此红外图像中除目标区域外，也包含部分纹理信息。为了不丢失红外图像中的纹理边缘信息，以第一帧红外图像A₁为划分背景区域与灰度区域的基准，根据红外图像中灰度级的不同，利用阈值分割技术，设定实验阈值α，若第一帧红外图像A₁中灰度值大于或者等于α的标记为灰度区域G，若小于α的则标记为背景区域B。所述的阈值α为0≤α＜I_mean，I_mean为图像灰度值的中值，在试验过程中选择α＝I_mean。背景区域灰度较大缺乏纹理细节特征，灰度区域包含一些边缘特征以及纹理信息，如草丛及树木的纹理特征以及边缘信息。随后其中灰度级较大的高亮区域属于灰色区域，灰度级较小的黑色为背景区域。基于此，我们将序列图像中反映的目标的运动信息以及红外图像中包含的特征信息分割为了三类不同区域：目标区域、灰度区域和背景区域。将三类不同的区域分别映射到可见光图像中，使得红外图像中的目标信息不仅可以在光谱信息丰富的可见光图像中确定出精确的位置，还能使得一些物体的边缘信息由于红外传感器的作用在可见光图像中更为清晰分辨率更高。

3.将序列红外图像{A_i}和可见光图像{B_i}进行融合：通过动态目标的分割算法将序列红外图像分割为三种不同区域，其中目标区域、灰度区域以及背景区域分别用T，G，B表示。不同区域所表征的图像特点也不同，而图像经过NSCT分解后的低频信息和高频信息具有不同的物理意义，因此在融合过程中，需要针对不同区域对图像的高频细节信息和低频近似信息加以区分，采用不同的融合算子和融合规则。

a.目标区域的融合

为最大限度的保持目标的细节和轮廓，低频信息选择红外图像中的目标区域，因为从序列红外图像中分割出的目标区域多由红外图像反映其结构特征，融合图像的低频信息可表示为：

$L^{F_i}(m,n)=L^{A_i}(m,n),(m,n)\∈T---\left(1\right)$

高频信息为提取更多的细节特征选，目标区域的高频信息选择取模极大的方法，即：

$\left\{\begin{array}{cc}{H}_{j,k}^{F_i}(m,n)=H_{j,k}^{A_i}(m,n)& \left|H_{j,k}^{A_i}(m,n)\right|>\left|H_{j,k}^{B_i}(m,n)\right|\\ H_{j,k}^{\mathrm{Fi}}(m,n)=H_{j,k}^{\mathrm{Bi},j}(m,n)& \left|H_{j,k}^{A_i}(m,n)\right|\≤\left|H_{j,k}^{B_i}(m,n)\right|\end{array}\right.,(m,n)\∈T---\left(2\right)$

b.灰度区域的融合

为使融合图像从图像源中提取更多更全面的信息，利用加权平均的融合方法获得第i帧的融合图像F_i的低频信息 灰色区域中红外图像中也包含着部分细节信息，以及由于光谱特性使得某些边缘相比于可见光图像更为清晰，即：

$L^{F_i}(m,n)=L^{A_i}(m,n)\×0.5+L^{B_i}(m,n)\×0.5,(m,n)\∈G---\left(3\right)$

高频信息以空间频率为度量标准将加权的融合策略和基于窗口的融合策略相结合，不仅保留了原始图像的大量信息又考虑了相邻领域内的信息，增强了图像区域内像素点的相关性，可更好的提取灰色图像中所反映的边缘及轮廓特征。以第i帧红外图像源A_i和可见光图像B_i中M×N窗口内的相关系数corr为度量标准获得第i帧的融合图像F_i的高频信息，设定实验阈值t＝0.7，阈值t的范围为0.5≤t＜1。

当corr≤t时表明两个区域的相关性差，空间频率值较大的表示了高频信息图像中突变较大，因此该区域内包含更多的特征，因此选择两个区域中空间频率值较大的窗口中心像素点作为第i帧的融合图像F_i的高频信息：

$\left\{\begin{array}{cc}{H}_{j,k}^{F_i}(m,n)=H_{j,k}^{A_i}(m,n)& {\mathrm{SF}}_{A_i}^{M\×N}>{\mathrm{SF}}_{B_i}^{M\×N}\\ H_{j,k}^{F_i}(m,n)=H_{j,k}^{B_i}(m,n)& {\mathrm{SF}}_{A_i}^{M\×N}\≤{\mathrm{SF}}_{B_i}^{M\×N}\end{array}\right.,(m,n)\∈G---\left(4\right)$

其中 

和 分别为第i帧红外图像源A_i和可见光图像B_i窗口大小M×N内的空间频率，实验窗口大小为3×3。

当corr＞t时，第i帧的融合图像F_i的高频信息为：

$H_{j,k}^{F_i}(m,n)=w\×H_{j,k}^{A_i}(m,n)+(1-w)\×H_{j,k}^{B_i}(m,n),(m,n)\∈G---\left(5\right)$

其中阈值w范围如下确定：

$\left\{\begin{array}{cc}w=0.5+0.5\×\frac{1-\mathrm{corr}}{1-t}& {\mathrm{SF}}_{A_i}^{M\×N}>{\mathrm{SF}}_{B_i}^{M\×N}\\ w=0.5-0.5\×\frac{1-\mathrm{corr}}{1-t}& {\mathrm{SF}}_{A_i}^{M\×N}\≤{\mathrm{SF}}_{B_i}^{M\×N}\end{array}\right.---\left(6\right)$

利用相关系数判别对应帧的红外图像和可见光图像的相关性，两幅图像的相关系数越好越接近于1表示图像的接近度越好，第i帧红外图像源A_i和可见光图像B_i中M×N窗口的相关系数，即：

$\mathrm{corr}(A_i^{M\×N},B_i^{M\×N})=\frac{\underset{i,j}{\mathrm{\Σ}}[(A_i^{M\×N}(i,j)-\stackrel{\‾}{A_i^{M\×N}})\×(B_i^{M\×N}(i,j)-\stackrel{\‾}{B_i^{M\×N}})]}{\sqrt{\underset{i,j}{\mathrm{\Σ}}\left[{(A_{\begin{array}{cc}i& i\end{array}}^{M\×N}(i,j)-\stackrel{\‾}{A_{\begin{array}{cc}i& i\end{array}}^{M\×N}})}^2\right]\mathrm{\Σ}\left[{(B_i^{M\×N}(i,j)-\stackrel{\‾}{B_i^{M\×N}})}^2\right]}}---\left(7\right)$

图像的空间频率定义为：

$\mathrm{SF}=\sqrt{{\mathrm{RF}}^2+{\mathrm{CF}}^2}---\left(8\right)$

其中，RF为图像的行频率，CF为图像的列频率，其定义分别为：

$\mathrm{RF}=\sqrt{\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{[I(i,j)-I(i,j-1)]}^2}$

$\mathrm{CF}=\sqrt{\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{[I(i,j)-I(i-1,j)]}^2}---\left(9\right)$

c.背景区域的融合

可见光图像光谱信息丰富包含着大量的细节特征信息，相比于红外图像其分辨率高，能为后续处理提供更多细节信息。因此在背景区域中，低频信息选择可见光图像的信息：

$L^{F_i}(m,n)=L^{B_i}(m,n),(m,n)\∈B---\left(10\right)$

高频信息为提取更多的细节选择以基于窗口的融合规则，且以区域能量为度量标准选择窗口中能量值较大的窗口中心像素值作为第i帧的融合图像F_i的高频信息：

$\left\{\begin{array}{cc}{H}_{j,k}^{F_i}(m,n)=H_{j,k}^{A_i}(m,n)& E_{j,k}^{A_i}(m,n)>E_{j,k}^{B_i}(m,n)\\ H_{j,k}^{\mathrm{Fi}}(m,n)=H_{j,k}^{\mathrm{Bi}}(m,n)& E_{j,k}^{A_i}(m,n)\≤E_{j,k}^{B_i}(m,n)\end{array}\right.,(m,n)\∈B---\left(11\right)$

其中， 和 

表示M×N窗口内区域能量，实验窗口大小为3×3。

图像M×N窗口能量定义为：

$E_{j,k}(m,n)=\underset{i=-(M-1)/2}{\overset{(M-1)/2}{\mathrm{\Σ}}}\underset{j=-(N-1)/2}{\overset{(N-1)/2}{\mathrm{\Σ}}}\left|H_{j,k}(m+i,n+j)\right|---\left(12\right)$

4.图像非下采样Contourlet变换重构：根据上述步骤中确定的低频信息 

和不同尺度下不同方向上的高频信息 

进行非下采样Contourlet变换反变换，得到最终的第i帧融合图像F_i。

基于此，上述四步就是基于非下采样Contourlet变换和空间频率分割区域的红外图像融合算法的详细过程。

图2为序列图像分割的结果和图3为融合后所得的序列图像。将本发明所得的融合结果与其他融合方法所得的融合结果进行对比，客观评价结果分别如表1所示。

不同的客观评价指标有着不同的物理意义，本文还采用了互信息、相关系数以及信息熵三种客观评价指标，定量评价不同方法用于序列红外与可见光图像融合的性能。表1为不同融合算法获得的序列融合图像的客观性能指标，其中F表示融合图像，A表示红外图像，B表示可见光图像。根据各项指标的定义，从表1中可以看出本文提 出的算法的各项指标均为最优的。本文提出算法的互信息在几种算法中是最大的，互信息越大表明融合图像能从原始图像提取的信息越丰富。因此本文算法能从融合图像源中提取最多的图像信息，融合图像保留了更多源图像的特征信息。从相关系数中可以看出，本文算法获得的融合图像与可见光图像的相关系数最大，与红外图像的相关系数最小。由于红外图像与可见光图像的灰度差异较大，有时甚至相反，若融合图像与红外图像的相关系数较大，融合图像的灰度失真也较为严重，图像的对比度和分辨率也较低；若融合图像与可见光图像的相关系数较大，则表明融合图像的光谱信息与可见光图像越接近，且融合图像光谱信息也越丰富，图像的灰度失真越小。本文算法的信息熵值也是几种算法中最优的，根据信息熵的定义也表明了本文算法获得的融合图像包含最为丰富的图像信息。

表1序列图像融合性能客观评价指标

Claims (3)

1.一种基于区域分割规则的序列红外与可见光图像的融合方法，其特征在于步骤如下：

步骤1非下采样Contourlet变换分解：对待融合的序列红外图像{A_i}和可见光图像{B_i}的第i帧的红外图像A_i和可见光图像B_i进行非下采样Contourlet变换，得到第i帧红外图像源A_i和可见光图像B_i的非下采样Contourlet变换系数 和 其中 

为第i帧的红外图像A_i低频信息图像， 

为第i帧的红外图像A_i尺度j下第k个方向的高频信息子图像， 

为第i帧的红外图像B_i低频信息图像， 

为第i帧的红外图像B_i尺度j下第k个方向的高频信息子图像，i＝1，2，3，…表示图像的帧数，J表示非下采样Contourlet变换尺度分解层数，k表示每个尺度下方向分解数；

步骤2同时对序列红外图像图像A_i进行区域分割：将第i帧红外图像A_i，i≠1，与第一帧红外图像A₁相减可获得一副差值图像，将差值图像进行图像增强后得到第i帧红外图像A_i的目标区域T；然后以第一帧红外图像A₁为划分背景区域与灰度区域的基准，根据红外图像中灰度级，利用阈值分割技术，对于第一帧红外图像A₁中灰度值大于或者等于阈值α的标记为灰度区域G，若小于阈值α的则标记为背景区域B；所述的阈值α为0≤α＜I_mean，I_mean为图像灰度值的中值；

步骤3将序列红外图像{A_i}和可见光图像{B_i}进行融合：将第i帧红外图像源A_i和可见光图像B_i的两幅源图像中相对应非下采样Contourlet变换系数 

和 

按照下述融合规则进行处理，得到融合后新生成的非下采样Contourlet变换系数，即融合系数 

所述的融合规则为对于目标区域的融合、对于灰度区域的融合和对于背景区域的融合： 

对于目标区域T的融合：选择第i帧红外图像的低频信息作为融合图像F_i低频信息：

(m，n)∈T

利用取模极大的方法得到第i帧的融合图像F_i高频信息 

对于灰度区域G的融合：利用加权平均的融合方法可获得第i帧的融合图像F_i的低频信息 

以第i帧红外图像源A_i和可见光图像B_i中M×N窗口内的相关系数corr为度量标准获得第i帧的融合图像F_i的高频信息；

当corr≤t时，第i帧的融合图像F_i的高频信息：

其中 和 分别为第i帧红外图像源A_i和可见光图像B_i窗口大小M×N内的空间频率，所述阈值t的范围为0.5≤t＜1；

当corr＞t时，第i帧的融合图像F_i的高频信息为：

其中w为阈值，范围确定如下：

所述的第i帧红外图像源A_i和可见光图像B_i中M×N窗口的相关系数corr为：

所述的空间频率为：

其中，RF为图像的行频率，CF为图像的列频率，其定义分别为：

对于背景区域B的融合：第i帧可见光图像中的低频信息作为第i帧的融合图像F_i的低频信息 

：

第i帧红外图像A_i和可见光B_i区域能量值较大的窗口中心像素值作为第i帧的融合图像F_i的高频信息：

其中， 

和 

为M×N窗口内区域能量为：

所述m，n为M×N窗口中像素点的位置；

步骤4非下采样Contourlet变换重构：对融合后生成的融合系数 

进行非下采样Contourlet逆变换，得到第i帧的融合图像F_i。

2.根据权利要求1所述的基于区域分割规则的序列红外与可见光图像的融合方法，其特征在于：所述的非下采样Contourlet分解层数J为4，各尺度上方向数k分别为4、4、8、16。

3.根据权利要求1或2所述的基于区域分割规则的序列红外与可见光图像的融合方法，其特征在于：所述M×N窗口大小为3×3或者5×5。 

Images