CN101339653B - 基于彩色传递及熵信息的红外与彩色可见光图像融合方法 - Google Patents

Abstract

本发明公开了一种基于彩色传递与熵信息的红外与彩色可见光图像融合方法。其过程为：对彩色可见光图像的R、G、B三个通道图像求均值，得到灰度可见光图像；采用非采样Contourlet变换对灰度可见光图像及红外图像进行分解；构建基于红外图像与可见光物理特征的低频子带系数融合规则，和基于局部区域方向信息熵与区域能量相结合的带通方向子带系数融合规则，对源图像的变换系数进行组合，并对组合后的变换系数进行非采样Contourlet逆变换得到灰度融合图像；采用基于1αβ颜色空间的彩色传递方法将可见光图像的彩色信息传递到融合图像中，得到彩色融合图像。本发明既可有效提取可见光图像中的丰富背景信息及红外图像中的目标信息，又能够保持可见光图像中的自然彩色信息。

Description

基于彩色传递及熵信息的红外与彩色可见光图像融合方法

技术领域

本发明涉及图像处理领域，具体的说是涉及一种图像融合方法，可用于对红外与彩色可见光图像进行融合。

背景技术

由于红外与可见光成像系统的成像机理不同，在不同环境下得到的红外图像与可见光图像之间具有较大的互补性。可见光成像系统是通过吸收目标反射的可见光波段电磁波来实现对目标的探测，而红外成像技术主要是依靠目标本身或反射的热辐射成像的。可见光成像系统能够提供具有高空间分辨率的图像，能够提供有关场景的丰富背景信息。但可见光成像系统易受天气情况影响，一般应用于光线条件较好的情况下。而红外成像系具有能够穿透烟尘的能力，可以昼夜工作，能够很好地提供场景中目标的存在特性和位置特性，但成像整体效果对比度较低，在细节上不如可见光成像效果好。红外图像与可见光图像的融合，可以将红外图像的目标存在特性和位置特性与可见光图像的背景信息结合在一起，从而能够大大提高对环境的释义能力以及对目标的侦测能力，已经被广泛应用于场景监控、军事等领域。

目前在众多的红外与可见光图像融合技术中，基于小波变换的图像融合方法是应用非常广泛并且及其重要的一类方法，例如G.Pajares，J.M.de la Cruz，“A wavelet-based imagefusion tutorial”，Pattern Recognition，vol.37，No.9，2004，pp.1855-1872.及J.Lewis，R.O.’Callaghan，S.Nikolov，D.Bull，N.Canagarajah，“Pixel-and Region-based image fusionwith complex wavelets”，Information Fusion，vol.8No.2.，2007，pp.119-130.两篇文献公开的技术均属于基于小波变换的图像融合方法。由于采用小波对图像进行分析的过程与计算机视觉和人眼视觉系统中由粗到细认识事物的过程十分相似，因此，与传统的图像融合方法相比，基于小波变换的图像融合方法能够明显改善系统的融合性能。

尽管国内外学者对基于小波变换的红外与可见光图像融合方法进行了大量的研究工作，但目前基于小波变换的图像融合方法还存在以下不足：

(1).多数图像融合方法主要是针对红外图像与灰度可见光图像的融合。然而，人眼对颜色的分辨能力远远超过对灰度级的分辨，所以彩色图像比灰度图像更利于目标的识别。现今的传感器技术能够很方便地获取自然彩色可见光图像，在对红外与可见光图像进行融合时，如果能够充分利用可见光图像的自然彩色信息，那么得到的彩色融合图像会更符合人眼视觉特性，从而能够进一步增强对环境的释义和对目标的侦测能力。

(2).采用由一维小波张量生成的二维可分离小波不能够实现对图像中的直线和曲线进行稀疏表示，并且二维可分离小波基是各向同性的，也无法精确地表达图像中边缘方向，因此，基于小波变换的图像融合方法在容易引入“人为”效应，从而在一定程度上降低了融合图像的空间质量。

(3).目前大多数基于小波变换的图像融合方法在制定各频率子带系数融合规则时，都是基于源图像中未受到任何噪声的干扰这一假设提出的。然而，在某些场合下，传感器图像，尤其是红外图像，不可避免地受到各种噪声的影响。因此，目前多数融合方法对噪声具有较高的敏感度，容易将噪声误作为有用信息传输到融合图像中，影响了融合性能。

发明的内容

本发明的目的在于克服上述已有技术的不足，提出一种基于彩色传递及熵信息的图像融合方法，以融合红外图像与彩色可见光图像。该发明不仅能够提取红外图像中的目标存在特性和位置特性以及可见光图像中的背景信息，还能够最大可能地保持可见光图像中的自然彩色信息。

本发明是这样实现的：

本发明的关键技术是构建基于红外图像与可见光图像物理特征的加权平均低频子带系数融合规则和基于局部区域方向信息熵与局部区域能量相结合的带通方向子带系数融合规则，以组合源图像的变换子带系数，并采用基于lαβ颜色空间的彩色传递方法进行彩色传递以减少融合图像的颜色失真。

以两幅输入图像为例，本发明的具体实现方法包括如下步骤：

(1).对彩色可见光图像Ivi_c的R、G、B三个颜色通道图像求均值得到其灰度分量Ivi_g；

(2).对灰度图像Ivi_g和红外图像Iir分别进行非采样Contourlet变换分解，得到图像Ivi_g、Iir各自的非采样Contourlet变换系数：

(3).对所述变换系数中的低频子带系数，利用构建的基于红外图像与可见光图像物理特征的低频融合公式进行组合：

$C_{j_0}^F(k_1,k_2)=\frac{C_{j_0}^{\mathrm{Ivi}\_g}(k_1,k_2)\×w_{\mathrm{Ivi}}(k_1,k_2)+C_{j_0}^{\mathrm{Iir}}(k_1,k_2)\×w_{\mathrm{Iir}}(k_1,k_2)}{w_{\mathrm{Ivi}}(k_1,k_2)+w_{\mathrm{Iir}}(k_1,k_2)}$

其中，

分别表示图像Ivi_g、Iir以及融合图像IF_g的非采样Contourlet变换低频子带系数，w_Ivi(k₁，k₂)、w_Iir(k₁，k₂)分别表示图像Ivi_g和Iir的权系数；

(4).对所述变换系数中的各带通方向子带系数，利用构建的基于局部区域方向信息熵与区域能量相结合的带通融合公式进行组合：

$C_{j,l}^F(k_1,k_2)\left\{\begin{array}{cc}{C}_{j,l}^{\mathrm{Ivi}\_g}(k_1,k_2),& {\mathrm{ES}}_{j,l}^{\mathrm{Ivi}\_g}(k_1,k_2)\&GreaterEqual;{\mathrm{ES}}_{j,l}^{\mathrm{Iir}}(k_1,k_2)\\ C_{j,l}^{\mathrm{Iir}}(k_1,k_2),& {\mathrm{ES}}_{j,l}^{\mathrm{Ivi}\_g}(k_1,k_2)<{\mathrm{ES}}_{j,l}^{\mathrm{Iir}}(k_1,k_2)\end{array}\right.$

其中，C_j，l ^Ivi_g(k₁，k₂)、C_j，l ^Iir(k₁，k₂)、C_j，l ^F(k₁，k₂)分别表示图像Ivi_g、Iir以及融合图像IF_g在j尺度、l方向处的非采样Contourlet变换带通方向子带系数，ES_j，l(k₁，k₂)为显著性度量因子S_j，l(k₁，k₂)在位置(k₁，k₂)处局部区域能量；

(5).对组合后的变换系数进行非采样Contourlet逆变换，得到灰度融合图像IF_g；

(6).采用基于lαβ颜色空间的彩色传递方法将源彩色可见光图像Iir_c中的自然彩色信息传递到灰度融合图像Iir_g中，得到最终的彩色融合图像IF_c。

本发明具有如下效果：

1)能够将红外图像中的目标存在特性与可见光图像中的丰富背景信息有机地结合在一起。本发明构建的基于红外图像与可见光图像物理特征的加权平均低频子带系数融合公式，能够恰当地表征红外图像中的目标特性以及可见光图像中的背景信息；同时，相对于传统的小波变换，本发明采用的非采样Contourlet变换不仅具有多尺度和良好的空域和频域局部特性，还具有多方向特性以及平移不变特性，能够更好地提取源图像中的细节信息，使得红外图像中的目标存在特性和可见光图像中的背景信息有机地结合在一起；

2)能够有效避免将噪声传输到融合图像中，降低了融合方法对噪声的敏感度。本发明采用的局部区域方向信息熵能够很好地区分噪声和图像中的几何特征，使得融合方法最大可能地提取源图像中的有用细节信息的同时，有效避免将噪声传输到融合图像中；

3)能够使融合后的彩色图像最大可能地保持源彩色可见光图像中的自然彩色信息。本发明采用的lαβ颜色空间中，l、α和β通道之间具有最小的相关性，比较适合颜色信息处理，相对于采用简单的R、G、B颜色通道单独进行融合的方法，该融合方法颜色失真度较低，能够最大限度地保持彩色可见光图像中的自然彩色信息，得到具有更好视觉效果的融合图像；

附图说明

图1为本发明的图像融合方法过程图；

图2为本发明第一组仿真结果图，其中，

图2(a)为源彩色可见光图像，

图2(b)为源红外图像，

图2(c)为DWT_AVE方法融合结果图像，

图2(d)为DWFT_AVE方法融合结果图像，

图2(e)为NSCT_AVE方法融合结果图像，

图2(f)为NSCT_RGB方法融合结果图像，

图2(g)为本发明的融合结果图像；

图3为本发明第二组仿真结果图，其中，

图3(a)为源灰度可见光图像，

图3(b))为源红外图像，

图3(c)为灰度融合图像，

图3(d)为自然可见光图像，

图3(e)为彩色融合图像。

具体实施方式

以下结合附图对本发明作进一步详细的描述。

参照图1，本发明的步骤为：

第一步：对彩色可见光图像Ivi_c的R、G、B三个通道图像求均值得到灰度图像Ivi_g。

第二步：对灰度图像Ivi_g和红外图像Iir采用非采样Contourlet变换进行多尺度、多方向分解，得到各自的子带系数

和

其中

为低频子带系数，C_j，l(k₁，k₂)为各带通方向子带系数，尺度分解级数j₀一般取3～5，本发明中取j₀＝3，l_j为j尺度下方向分解级数，本发明中由最粗糙尺度到最精细尺度方向分解级数分别取为：2，3，3，即相应尺度下分别有4个、8个、8个方向，以保证非采样Contourlet变换的各向异性。

第三步：制定低频子带系数的融合规则，即构建低频子带系数融合公式。

对于低频子带系数常用融合规则为平均法，但该融合规则容易降低融合图像的对比度，尤其当红外图像与可见光图像融合时，这两类图像在某些局部区域之间经常存在极性相反的情况，因此更容易降低融合图像的对比度。由于红外图像中的目标区域表现为具有较高的灰度值且灰度值分布较均匀，而可见光图像中丰富背景区域表现为具有较高的灰度值且灰度值分布较离散。图像的局部区域信息熵LAE能够反映局部区域内图像灰度值分布的离散程度，在LAE值较大的区域，图像灰度值分布相对较均匀；在LAE值较小的区域，图像灰度值分布较离散。为此，我们结合局部区域信息熵和局部区域均值表征红外图像和可见光图像的物理特征，并在此基础上构建一种加权平均的低频子带系数融合公式，具体过程如下：

(1).根据红外图像中的目标区域具有较高的灰度值且灰度值分布较为均匀的特性，定义红外图像的权系数为w_Iir(k₁，k₂)：

$w_{\mathrm{Iir}}(k_1,k_2)=\frac{{\stackrel{\&OverBar;}{m}}_{\mathrm{ir}}^L(k_1,k_2)\&times;(1+{\mathrm{LAE}}_{\mathrm{ir}}^L(k_1,k_2))}{\underset{(m,n)}{\max }({\stackrel{\&OverBar;}{m}}_{\mathrm{ir}}^L(k_1,k_2)\&times;(1+\mathrm{LA}{E}_{\mathrm{ir}}^L(k_1,k_2)))}$

其中，m_ir ^L(k₁，k₂)表示红外图像Iir的低频子带系数

在位置(k₁，k₂)处的局部区域均值，LAE_ir ^L(k₁，k₂)表示红外图像Iir相应区域的局部信息熵LAE；

(2).根据可见光图像中的背景信息具有较高的灰度值且灰度值分布较为离散的特性，定义可见光图像的权系数为w_Ivi(k₁，k₂)：

$w_{\mathrm{Ivi}}(k_1,k_2)=\frac{{\stackrel{\&OverBar;}{m}}_{\mathrm{vi}}^L(k_1,k_2)/(1+\mathrm{LA}{E}_{\mathrm{vi}}^L(k_1,k_2))}{\underset{(m,n)}{\max }({\stackrel{\&OverBar;}{m}}_{\mathrm{vi}}^L(k_1,k_2)/(1+{\mathrm{LAE}}_{\mathrm{vi}}^L(k_1,k_2)))}$

其中，m_vi ^L(k₁，k₂)表示可见光图像Ivi_g的低频子带系数

在位置(k₁，k₂)处的局部区域均值，LAE_vi ^L(k₁，k₂)表示可见光图像Ivi_g相应区域局部信息熵LAE；

(3).采用红外图像的权系数和可见光图像的权系数，对源红外图像与可见光图像的低频子带系数进行加权平均，得到低频子带系数融合公式为：

$C_{j_0}^F(k_1,k_2)=\frac{C_{j_0}^{\mathrm{Ivi}\_g}(k_1,k_2)\text{\&times;}{w}_{\mathrm{Ivi}}(k_1,k_2)+C_{j_0}^{\mathrm{Iir}\_g}(k_1,k_2)\&times;w_{\mathrm{Iir}}(k_1,k_2)}{w_{\mathrm{Ivi}}(k_1,k_2)+w_{\mathrm{Iir}}(k_1,k_2)}$

其中，

表示融合图像IF_g的低频子带系数。

第四步：制定各带通方向子带系数的融合规则，即构建带通方向子带系数融合公式。

对于带通方向子带系数常采用“模值取大”的融合规则，以便能够尽可能地提取源图像中的细节信息。但红外图像对比度较低，并且容易带有一定的噪声，为了避免将红外图像中的噪声误作为有用信息提取并注入到融合图像中，必须在融合过程中区分噪声与图像中的几何特征。图像中的几何特征在非采样Contourlet域中表现为只在少数方向上具有较大的强度，而噪声在非采样Contourlet域中表现为局部能量平坦分布在所有方向上。因此，我们采用局部区域方向信息熵区分噪声与图像中的几何特征，并在此基础上构建一种基于局部区域方向信息熵和区域能量相结合的带通方向子带系数融合规则，具体过程如下：

(1).在尺度j下，位置(k₁，k₂)处引入维方向向量V_j(k₁，k₂)，以表示图像在该尺度下各方向上的能量强度：

$V_j(k_1,k_2)={\left(\right|C_{j,1}(k_1,k2)|,|C_{j,2}(k_1,k2)|,...,|C_{j,2^{i_j}}(k_1,k_2)\left|\right)}^T$

其中，C_j，l(k₁，k₂)表示图像在尺度j、方向l、位置(k₁，k₂)处方向带通子带系数，l_j为j尺度下方向分解级数，|·|表示模值；

(2).将方向向量V_j(k₁，k₂)用局部能量归一化，得到局部方向能量密度分布：

$P_j(k_1,k_2)=V_j(k_1,k_2)/E_j(k_1,k_2)={(p_{j,1}(k_1,k_2),p_{j,2}(k_1,k_2),...,p_{{j,2}^{i_j}}(k_1,k_2))}^T$

其中，局部能量E_j(k₁，k₂)定义为该尺度下所有方向子带中系数模值之和，即：

$E_j(k_1,k_2)=\underset{l=1}{\overset{2^{i_j}}{\mathrm{\&Sigma;}}}\left|C_{j,l}(k_1,k_2)\right|;$

(3).计算尺度j下，位置(k₁，k₂)处方向信息熵DE_j(k₁，k₂)：

${\mathrm{DE}}_j(k_1,k_2)=-\underset{l=1}{\overset{2^{i_j}}{\mathrm{\&Sigma;}}}{p}_{j,l}(k_1,k_2)\log \left(p_{j,l}(k_1,k_2)\right)$

规定，0log0＝0；

(4).在尺度j、方向l下，位置(k₁，k₂)处定义显著性因子S_j，l(k₁，k₂)：

S_j，l(k₁，k₂)＝|C_j，l(k₁，k₂)|/(1+DE_j(k₁，k₂))；

显著性因子S_j，l(k₁，k₂)表明，如果图像在尺度j、方向l下，位置(k₁，k₂)处具有较大的强度(|C_j，l(k₁，k₂)|值较大)，同时能量在各方向上分布较为剧烈(DE_j(k₁，k₂)值较小)，表明在该位置处具有较明显的图像特征；如果图像此时具有较小的强度(|C_j，l(k₁，k₂)|值较小)，同时能量在各方向上分布较为均匀(DE_j(k₁，k₂)值较大)，表明该位置处信号趋于噪声；

(5).对步骤(4)中显著性因子S_j，l(k₁，k₂)进行局部区域能量求和，得到带通方向子带系数融合公式：

$C_{j,l}^F(k_1,k_2)\left\{\begin{array}{cc}{C}_{j,l}^{\mathrm{Ivi}\_g}(k_1,k_2),& {\mathrm{ES}}_{j,l}^{\mathrm{Ivi}\_g}(k_1,k_2)\&GreaterEqual;{\mathrm{ES}}_{j,l}^{\mathrm{Iir}}(k_1,k_2)\\ C_{j,l}^{\mathrm{Iir}}(k_1,k_2),& {\mathrm{ES}}_{j,l}^{\mathrm{Ivi}\_g}(k_1,k_2)<{\mathrm{ES}}_{j,l}^{\mathrm{Iir}}(k_1,k_2)\end{array}\right.$

其中，C_j，l ^Iir_g(k₁，k₂)、C_j，l ^Iir(k₁，k₂)、C_j，l ^F(k₁，k₂)分别表示可见光图像Ivi_g、红外图像Ivi和灰度融合图像IF_g在尺度j、方向l处的非采样Contourlet变换带通方向子带系数，

M×N为局部区域尺寸大小。

第五步：对组合后的变换系数

进行非采样Contourlet逆变换，得到灰度融合图像IF_g。

第六步：将彩色可见光图像Ivi_c从RGB颜色空间映射到lαβ颜色空间中，得到l_s、α_s、βs分量，具体过程如下：

(1).将彩色可见光图像Ivi_c从RGB颜色空间映射到LMS空间：

$\left[\begin{array}{c}L\\ M\\ S\end{array}\right]=\left[\begin{array}{ccc}0.3811& 0.5783& 0.0402\\ 0.1967& 0.7244& 0.0782\\ 0.0241& 0.1288& 0.844\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

(2).再将LMS彩色空间映射到ΓΩΨ对数空间：

Γ＝logL

Ω＝logM

Ψ＝logS

(3).再从ΓΩΨ对数空间映射到lαβ颜色空间，得到图像Ivi_c的l_s、α_s、β_s分量：

$\left[\begin{array}{c}{l}_s\\ {\mathrm{\&alpha;}}_s\\ {\mathrm{\&beta;}}_s\end{array}\right]=\left[\begin{array}{ccc}1/\sqrt{3}& 0& 0\\ 0& 1/\sqrt{6}& 0\\ 0& 0& 1/\sqrt{2}\end{array}\right]\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& -2\\ 1& -1& 0\end{array}\right]\left[\begin{array}{c}\mathrm{\&Gamma;}\\ \mathrm{\&Omega;}\\ \mathrm{\&Psi;}\end{array}\right]$

其中，l_s通道代表非彩色通道，α_s和β_s通道分别代表黄-蓝和红-绿颜色通道。

第七步：对图像IF_g按如下公式处理，得到图像l_T：

$l_T=\sqrt{3}\log (\mathrm{IF}\_g)$

第八步：对图像l_T按如下公式处理，得到亮度分量l′

$l^{\&prime;}=(l_T-<l_T>)\&CenterDot;\frac{{\mathrm{\&sigma;}}_s^l}{{\mathrm{\&sigma;}}_T^l}+<l_s>$

其中，<·>表示均值，σ_s ^l、σ_T ^l分别表示l_T和l_s的标准方差；

第九步：将分量l′代替分量l_s，保持分量α_s、β_s不变，按如下过程将l′、α_s、β_s分量从lαβ颜色空间映射到RGB颜色空间：

(1).将l′、α_s、β_s分量从lαβ颜色空间映射到ΓΩΨ对数空间：

$\left[\begin{array}{c}\mathrm{\&Gamma;}\\ \mathrm{\&Omega;}\\ \mathrm{\&Psi;}\end{array}\right]=\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& -1\\ 1& -2& 0\end{array}\right]\left[\begin{array}{ccc}1/\sqrt{3}& 0& 0\\ 0& 1/\sqrt{6}& 0\\ 0& 0& 1/\sqrt{2}\end{array}\right]\left[\begin{array}{c}{l}^{\&prime;}\\ {\mathrm{\&alpha;}}_s\\ {\mathrm{\&beta;}}_s\end{array}\right]$

(2).再从ΓΩΨ对数空间映射到RGB空间：

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\left[\begin{array}{ccc}4.4679& -3.5873& 0.1193\\ -1.2186& 2.3809& -0.1624\\ 0.0497& -0.2439& 1.2045\end{array}\right]\left[\begin{array}{c}{10}^{\mathrm{\&Gamma;}}\\ {10}^{\mathrm{\&Omega;}}\\ {10}^{\mathrm{\&Psi;}}\end{array}\right]$

最终完成从彩色可见光图像Ivi_c到图像IF_g的彩色传递，得到彩色融合图像IF_c。

为验证本发明的有效性和正确性，采用了两组红外与可见光图像进行融合仿真实验。

仿真一

仿真一为一组红外与彩色可见光图像融合实验，所采用的图像大小为256×256。为了更好地比较，我们还采用了其它四种融合方法进行图像融合比较。前三种融合方法分别采用离散小波变换DWT、离散小波框架变换DWFT以及非采样Contourlet变换NSCT作为图像的多尺度分解工具，灰度图像融合规则采用简单的低频系数取平均，高频系数模值取大的融合规则，同时采用与本发明中相同的彩色传递方法，分别简记为DWT_AVE，DWFT_AVE，NSCT_AVE方法，以验证不同的图像多尺度分解和重构工具对融合性能的影响。第四种方法采用与本发明相同的图像多尺度分解工具以及灰度图像融合规则，所不同的是红外图像与彩色可见光图像的R、G、B三个通道的图像单独融合，简记为NSCT_RGB方法。第五种方法为本发明的融合方法，简记为NSCT_LAB方法。仿真结果及源图像如图2所示。

采用互信息量MI、基于图像边缘梯度信息的性能评价算子Q以及通用彩色图像质量因子UCIQ对融合结果进行客观评价。评价结果如表1所示。

表1对图2中采用不同融合方法得到的性能比较数据

表1中，Ivi_c、IF_c分别表示源彩色可见光图像和彩色融合图像，Ivi_g、IF_g分别为对图像Ivi_c、IF_c的R、G、B颜色通道图像求均值得到的对应灰度图像，Iir表示红外图像；MI(Ivi_g，IF_g)、MI(Iir，IF_g)分别表示图像IF_g与图像Ivi_g、Iir之间的互信量，其值越高表明融合方法能够从源图像中提取更多的信息；Q(Ivi_g，IF_g)、Q(Iir，IF_g)分别表示图像IF_g相对于图像Ivi_g、Iir边缘信息保留量，Q(Ivi_g，Iir，IF_g)表示融合图像相对于源图像整体边缘信息保留量，其值越高表明融合方法能够保留更多的源图像中的边缘信息；UCIQ(Ivi_c，IF_c)表示图像IF_c与图像Ivi_c之间的颜色相似程度，其值越高表明融合方法具有越小的颜色失真。

从图2以及表1中可以看出，NSCT_RGB方法颜色失真度最大，而其它四种方法具有较小的颜色失真度，这主要是由于本发明所采用的颜色传递方法能够很好地将可见光图像中的颜色信息传递到融合图像中。不论MI值、Q值还是UCIQ值以及融合图像的视觉效果，本发明所提出的NSCT_LAB融合方法都具有较高的融合性能，从而表明本发明对灰度图像融合中所构建的融合规则能够恰当地表征红外图像和可见光图像的特征，以及能够恰当地区分噪声和图像几何特征，从而获得更优的融合性能。

仿真二

仿真二为一组伪彩色图像融合实验。首先对一组同一场景的红外图像和灰度可见光图像采用本发明中灰度图像融合方法进行融合得到灰度融合图像，然后采用本发明中所采用的彩色传递方法将另外一幅彩色可见光图像中的自然彩色信息传递到灰度融合图像中，得到最终的伪彩色融合图像。图3给出了源图像以及融合结果。从图3(c)可以看出，采用本发明提出的融合方法能够很好地将红外图像中的目标存在特性和可见光图像中的丰富背景信息结合在一起。由于将图3(d)中的自然彩色信息传递到了融合图像中，相对于图3(c)，彩色融合图像图3(e)更易于对环境的释义和对目标的侦测，如图3(e)中目标“人”看上去更亮。从而表明，本发明所提出的融合方法也适合伪彩色图像的融合。

Claims (1)

1.一种基于彩色传递及熵信息的红外与彩色可见光图像融合方法，包括如下步骤：

(1).对彩色可见光图像Ivi_c的R、G、B三个颜色通道图像求均值得到其灰度分量Ivi_g；

(2).对灰度图像Ivi_g和红外图像Iir分别进行非采样Contourlet变换分解，得到图像Ivi_g、Iir各自的非采样Contourlet变换系数；

(3).对所述变换系数中的低频子带系数，利用构建的基于红外图像与可见光图像物理特征的低频融合公式进行组合：

$C_{j_0}^F(k_1,k_2)=\frac{C_{j_0}^{\mathrm{Ivi}\_g}(k_1,k_2)\&times;w_{\mathrm{Ivi}}(k_1,k_2)+C_{j_0}^{\mathrm{Iir}}(k_1,k_2)\&times;w_{\mathrm{Iir}}(k_1,k_2)}{w_{\mathrm{Ivi}}(k_1,k_2)+w_{\mathrm{Iir}}(k_1,k_2)}$

其中，C_j0 ^Ivi_g(k₁，k₂)、C_j0 ^Iir(k₁，k₂)、C_j0 ^F(k₁，k₂)分别表示图像Ivi_g、Iir以及融合图像IF_g的非采样Contourlet变换低频子带系数，w_Ivi(k₁，k₂)、w_Iir(k₁，k₂)分别表示图像Ivi_g和Iir的权系数，

所述图像Iir的权系数计算公式为：

$w_{\mathrm{Iir}}(k_1,k_2)=\frac{{\stackrel{\&OverBar;}{m}}_{\mathrm{ir}}^L(k_1,k_2)\&times;(1+{\mathrm{LAE}}_{\mathrm{ir}}^L(k_1,k_2))}{\underset{(m,n)}{\max }({\stackrel{\&OverBar;}{m}}_{\mathrm{ir}}^L(k_1,k_2)\&times;(1+{\mathrm{LAE}}_{\mathrm{ir}}^L(k_1,k_2)))}$

其中，m_ir ^L(k₁，k₂)表示红外图像Iir的低频子带系数C_j0 ^Iir(k₁，k₂)在位置(k₁，k₂)处的局部区域均值，LAE_ir ^L(k₁，k₂)表示红外图像相应区域的局部信息熵LAE，

所述图像Ivi_g的权系数计算公式为：

$w_{\mathrm{Ivi}}(k_1,k_2)=\frac{{\stackrel{\&OverBar;}{m}}_{\mathrm{vi}}^L(k_1,k_2)/(1+{\mathrm{LAE}}_{\mathrm{vi}}^L(k_1,k_2))}{\underset{(m,n)}{\max }({\stackrel{\&OverBar;}{m}}_{\mathrm{vi}}^L(k_1,k_2)/(1+{\mathrm{LAE}}_{\mathrm{vi}}^L(k_1,k_2)))}$

其中，m_vi ^L(k₁，k₂)表示可见光图像Ivi_g的低频子带系数C_j0 ^Ivi_g(k₁，k₂)位置(k₁，k₂)处的局部区域均值，LAE_vi ^L(k₁，k₂)分别表示可见光图像Ivi_g相应区域的局部信息熵LAE；

(4).对所述变换系数中的各带通方向子带系数，利用构建的基于局部区域方向信息熵与区域能量相结合的带通融合公式进行组合：

$C_{j,l}^F(k_1,k_2)=\left\{\begin{array}{cc}{C}_{j,l}^{\mathrm{Ivi}\_g}(k_1,k_2),& {\mathrm{ES}}_{j,l}^{\mathrm{Ivi}\_g}(k_1,k_2)\&GreaterEqual;{\mathrm{ES}}_{j,l}^{\mathrm{Iir}}(k_1,k_2)\\ C_{j,l}^{\mathrm{Iir}}(k_1,k_2),& {\mathrm{ES}}_{j,l}^{\mathrm{Ivi}\_g}(k_1,k_2)<{\mathrm{ES}}_{j,l}^{\mathrm{Iir}}(k_1,k_2)\end{array}\right.$

其中，C_j，l ^Ivi_g(k₁，k₂)、C_j，l ^Iir(k₁，k₂)、C_j，l ^F(k₁，k₂)分别表示图像Ivi_g、Iir以及融合图像IF_g在j尺度、l方向处的非采样Contourlet变换带通方向子带系数，ES_j，l(k₁，k₂)为显著性度量因子S_j，l(k₁，k₂)在位置(k₁，k₂)处局部区域能量；

所述的基于局部区域方向信息熵与区域能量相结合的带通方向融合公式，按如下过程构建：

(4a).在尺度j下，位置(k₁，k₂)处引入

维方向向量V_j(k₁，k₂)，以表示图像在该尺度下各方向上的能量强度：

$V_j(k_1,k_2)={\left(\right|C_{j,1}(k_1,k_2)|,|C_{j,2}(k_1,k_2)|,\&CenterDot;\&CenterDot;\&CenterDot;,|C_{{j,2}^{l_j}}(k_1,k_2)\left|\right)}^T;$

其中，C_j，l(k₁，k₂)表示图像在尺度j、方向l、位置(k₁，k₂)处方向带通子带系数，l_j为j尺度下方向分解级数，|·|表示模值；

(4b).将方向向量V_j(k₁，k₂)用局部能量归一化，得到局部方向能量密度分布：

$P_j(k_1,k_2)=V_j(k_1,k_2)/E_j(k_1,k_2)={(p_{j,1}(k_1,k_2),p_{j,2}(k_1,k_2),\&CenterDot;\&CenterDot;\&CenterDot;,p_{j,2^{l_j}}(k_1,k_2))}^T$

其中，局部能量E_j(k₁，k₂)定义为该尺度下所有方向子带中系数模值之和，即：

$E_j(k_1,k_2)=\underset{l=1}{\overset{2^{l_j}}{\mathrm{\&Sigma;}}}\left|C_{j,l}(k_1,k_2)\right|;$

(4c).计算尺度j下，位置(k₁，k₂)处方向信息熵DE_j(k₁，k₂)：

${\mathrm{DE}}_j(k_1,k_2)=-\underset{l=1}{\overset{2^{l_j}}{\mathrm{\&Sigma;}}}{p}_{j,l}(k_1,k_2)\log \left(p_{j,l}(k_1,k_2)\right)$

规定，0log0＝0；

(4d).在尺度j、方向l下，位置(k₁，k₂)处定义显著性因子S_j，l(k₁，k₂)：

S_j，l(k₁，k₂)＝|C_j，l(k₁，k₂)|/(1+DE_j(k₁，k₂))；

(4e).对步骤(4d)中显著性因子S_j，l(k₁，k₂)进行局部区域能量求和，得到带通方向子带系数融合公式：

$C_{j,l}^F(k_1,k_2)=\left\{\begin{array}{cc}{C}_{j,l}^{\mathrm{Ivi}\_g}(k_1,k_2),& {\mathrm{ES}}_{j,l}^{\mathrm{Ivi}\_g}(k_1,k_2)\&GreaterEqual;{\mathrm{ES}}_{j,l}^{\mathrm{Iir}}(k_1,k_2)\\ C_{j,l}^{\mathrm{Iir}}(k_1,k_2),& {\mathrm{ES}}_{j,l}^{\mathrm{Ivi}\_g}(k_1,k_2)<{\mathrm{ES}}_{j,l}^{\mathrm{Iir}}(k_1,k_2)\end{array}\right.$

其中，C_j，l ^Iir_g(k₁，k₂)、C_j，l ^Iir(k₁，k₂)、C_j，l ^F(k₁，k₂)分别表示可见光图像Ivi_g、红外图像Ivi和灰度融合图像IF_g在尺度j、方向l处的非采样Contourlet变换带通方向子带系数，

M×N为局部区域尺寸大小；

(5).对组合后的变换系数进行非采样Contourlet逆变换，得到灰度融合图像IF_g；

(6).采用基于lαβ颜色空间的彩色传递方法将源彩色可见光图像Iir_c中的自然彩色信息传递到灰度融合图像Iir_g中，得到最终的彩色融合图像IF_c。

Images