CN1897035A - 基于Contourlet变换的可见光与红外线图像融合方法 - Google Patents

Abstract

本发明涉及一种基于Contourlet变换的可见光与红外线图像融合方法，它是在对输入的可见光与红外线图像进行多尺度、多方向Contourlet分解的基础上，利用可见光和红外线图像的不同特性，将高频细节部分和低频背景部分采用不同的融合策略，生成Contourlet域融合系数，最后通过Contourlet反变换得到融合图像。本发明提供的方法大大提高了融合图像的质量，对后续的进一步处理具有重要意义和使用价值，在军事领域和非军事领域如光学成像、目标检测、安全监控等系统中均有广泛应用前景。

Description

基于Contourlet变换的可见光与红外线图像融合方法

技术领域

本发明涉及一种基于Contourlet(轮廓小波)变换的可见光与红外线图像融合方法，是信息融合领域中的一项多传感器图像信息融合方法，在军事领域和非军事领域如光学成像、目标检测、安全监控等系统中均有广泛应用。

背景技术

多传感器图像融合是充分利用不同成像系统提供的互补影像信息，将不同类型的传感器获得的同一场景的各种互补信息融合生成新的图像信号。它增加了图像的信息量，提高了图像对环境的适应性，获得更准确的、更全面、更可靠的有用信息，为进一步的处理提供了可靠的、清晰的图像。图像融合技术是一门新兴技术，它综合了传感器、信号处理、图像处理和人工智能等技术。近年来，多传感器图像融合是当前图像处理领域一个研究热点，图像融合在军事领域和非军事领域如遥感、医学、机器视觉、目标识别等方面有着广泛的应用前景。

一般来讲，由于目标物体和背景的红外辐射特性有差异，红外图像提供了较为完整的目标信息，然而由于缺乏背景信息而看起来比较模糊。相反地，可见光图像提供了十分全面的背景信息，但其提供的目标信息相对不足。图像融合技术能将两者有效地融合起来，产生能提供背景和目标全面、准确信息的新图像。到目前为止，人们发展了多种融合图像融合方法，如加权平均法、HIS(强度、色度、饱和度)法、PCA(主分量分析)法和多尺度法等方法。其中，多尺度融合法是近些年发展起来的、非常流行的一类图像融合算法，主要有高通滤波器、Laplacian塔式法、梯度塔式法和小波多尺度法，其中以小波多尺度最具有代表性、最为有效。

然而，小波多尺度融合算法并不是完美的。由于小波变换只能有效地表示一维奇异性即点奇异性，而不能有效地描述图像中的二维或高维奇异性，如线、轮廓等重要信息，从而制约了小波多尺度融合法的性能。Contourlet变换作为一种新的信号分析工具，解决了小波变换不能有效表示二维或更高维奇异性的缺点，能准确地将图像中的边缘奇异信息捕获到不同尺度、不同方向的子带中。它不仅具有小波变换的多尺度特性，还具有小波变换不具有的方向性和各向异性，因此能很好地应用于图像处理中。但还没有应用到可见光与红外线图像融合中。

发明内容

本发明的目的在于针对现有图像融合技术存在的不足，提出了一种基于Contourlet变换的可见光与红外线图像融合方法。该方法能提高融合图像的质量、提供更加全面、准确的目标和背景信息，达到较理想的融合效果。

为了达到上述目的，本发明采用下述技术方案：

一种基于Contourlet变换的可见光与红外线图像融合方法，其特征在于在对输入的可见光与红外线图像进行多尺度、多方向Contourlet分解的基础上，利用可见光图像和红外线图像的不同特性，将高频细节部分和低频背景部分采用不同的融合策略，生成Contourlet域融合系数，最后经过Contourlet反变换得到融合图像。

上述的图像融合方法的具体步骤如下：

(1)在对同一场景的可见光和红外线图像进行配准的基础上，对输入的可见光图像I_Vis和红外线图像I_Inf进行多尺度、多方向Contourlet变换，每幅图像均分解为一幅低频子图像I_Vis-lf和I_Inf-lf，及一系列具有不同分辨率的高频子图像I_Vis-hf ^(k，l)和I_Inf-hf ^(k，l)，

高频子图像的个数由Contourlet变换的LP(拉普拉斯塔式分解)分解级数K和每级中的方向分解数L_k决定；

(2)对低频子图像I_Vis-lf和I_Inf-lf采用平均值融合策路进行融合。融合后的低频子图像为

$I_{F-\mathrm{lf}}(i,j)=\frac{1}{2}\×(I_{\mathrm{Vis}-\mathrm{lf}}(i,j)+I_{\mathrm{Inf}-\mathrm{lf}}(i,j))---\left(1\right)$

其中，(i，j)为图像中的位于第i行、第j列的像素点。

(3)对于高频子图像I_Vis-hf ^(k，l)和I_Inf-hf ^(k，l)而言，采用区域能量融合策略进行融合。合后的高频子图像为

$I_{F-\mathrm{hf}}^{(k,l)}(i,j)=\left\{\begin{array}{ccc}{I}_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i,j)& \mathrm{if}& E_{I_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i,j)}>E_{I_{\mathrm{Inf}-\mathrm{hf}}^{(k,l)}(i,j)}\\ \frac{I_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i,j)+I_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i,j)}{2}& \mathrm{if}& E_{I_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i,j)}=E_{I_{\mathrm{Inf}-\mathrm{hf}}^{(k,l)}(i,j)}\\ I_{\mathrm{Inf}-\mathrm{hf}}^{(k,l)}(i,j)& \mathrm{if}& E_{I_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i,j)}<E_{I_{\mathrm{Inf}-\mathrm{hf}}^{(k,l)}(i,j)}\end{array}\right.---\left(2\right)$

其中，I_Vis-hf ^(k，l)和I_Inf-hf ^(k，l)分别为I_Vis和I_Inf分解后位于第k(k＝1，2，Λ，K)尺度上l(l＝1，2，Λ，L_k)方向上的高频子图像，E_{IVis-hf(k，l)(i，j)}和E_{IInf-hf(k，l)(i，j)}为子图像I_Vis-hf ^(k，l)和I_Inf-hf ^(k，l)中以像素点(i，j)为中心的p(大小为r×h，r为行数，h为列数)领域内的能量，分别定义为

$E_{I_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i,j)}=\underset{i^{\&prime;}=1}{\overset{r}{\mathrm{\&Sigma;}}}\underset{j^{\&prime;}=1}{\overset{h}{\mathrm{\&Sigma;}}}p(i^{\&prime;},j^{\&prime;}){\left[I_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i+i^{\&prime;},j+j^{\&prime;})\right]}^2,---\left(3\right)$

$E_{I_{\mathrm{Inf}-\mathrm{hf}}^{(k,l)}(i,j)}=\underset{i^{\&prime;}=1}{\overset{r}{\mathrm{\&Sigma;}}}\underset{j^{\&prime;}=1}{\overset{h}{\mathrm{\&Sigma;}}}p(i^{\&prime;},j^{\&prime;}){\left[I_{\mathrm{Inf}-\mathrm{hf}}^{(k,l)}(i+i^{\&prime;},j+j^{\&prime;})\right]}^2.---\left(4\right)$

(4)对所有Contourlet域的融合子图像进行Contourlet反变换，生成融合图像I_F。

本发明方法与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：

本发明方法将输入的可见光和红外线图像分别进行Contourlet变换，将各自的背景信息集中在低频子图像中，目标细节信息捕获到高频子图像中。然后对分解后的低频背景子图像和高频细节图像分别对待，采用不同融合策略，最大限度地保护了图像中的目标细节信息。采用本发明的融合方法大大地提高了融合图像的质量，对后续的进一步处理具有重要意义和实用价值。具体特点和优点为：

(1)针对现有最具有代表性的小波多尺度图像融合算法中小波变换的缺点—不能有效地表示图像中的二位或高维奇异性，将Contourlet变换应用到图像融合中，进行多尺度、多方向分解，为后续融合过程提供稀疏的图像描述系数。

(2)针对现有图像融合技术存在的不足，提出了基于Contourlet变换的可见光与红外线图像融合方法。

(3)对Contourlet变换域的高频细节子图像和低频背景子图像分别处理，采用不同的融合策略进行融合。对含有图像细节信息的高频子图像，采用区域能量策略融合；而对含有背景信息的低频子图像，采用平均值策略融合。这样的融合策略不仅有效地丰富了图像的背景信息，而且最大限度地保护了图像中的细节信息，提高了图像的质量。

本发明提供的图像融合方法能提高融合图像的质量、提供更加全面、准确的目标和背景信息，达到较理想的融合效果。在军事领域和非军事领域如光学成像、目标检测、安全监控等系统中均有广泛应用前景。

附图说明

图1为本发明一个实施例的图像融合方法框图。

图2是图1示例与基于小波变换图像融合方法的融合结果比较照片图。图中，(a)为可见光图像；(b)为红外线图像；(c)为采用基于小波变换图像融合方法的融合结果，方法中采用和本发明同样的融合策略；(d)为采用本发明方法的融合结果。

具体实施方式

本发明的一个优选实施例结合附图祥述如下：

本一种基于Contourlet变换的可见光与红外线图像融合方法，如图1所示，在对输入的可见光与红外线图像进行多尺度、多方向Contourlet分解的基础上，利用可见光和红外线图像的不同特性，将高频细节部分和低频背景部分采用不同的融合策略，生成Contourlet域融合系数，最后通过Contourlet反变换得到融合图像。

具体步骤为：

(1)在对同一场景的可见光和红外线图像进行配准的基础上，对输入的可见光图像I_Vis和红外线图像I_Inf进行多尺度、多方向Contourlet变换，每幅图像均分解为一幅低频子图像I_Vis-lf和I_Inf-lf，及一系列具有不同分辨率的高频子图像I_Vis-hf ^(k，l)和I_Inf-hf ^(k，l)，

高频子图像的个数由Contourlet变换的LP分解级数K和每级中的方向分解数L_k决定；

(2)对低频子图像I_Vis-lf和I_Inf-lf采用平均值融合策路进行融合，融合后的低频子图像为

$I_{F-\mathrm{lf}}(i,j)=\frac{1}{2}\&times;(I_{\mathrm{Vis}-\mathrm{lf}}(i,j)+I_{\mathrm{Inf}-\mathrm{lf}}(i,j))$

其中，(i，j)为图像中的位于第i行、第j列的像素点；

(3)对于高频子图像I_Vis-hf ^(k，l)和I_Inf-hf ^(k，l)而言，采用区域能量融合策略进行融合，融合后的高频子图像为

$I_{F-\mathrm{hf}}^{(k,l)}(i,j)=\left\{\begin{array}{ccc}{I}_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i,j)& \mathrm{if}& E_{I_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i,j)}>E_{I_{\mathrm{Inf}-\mathrm{hf}}^{(k,l)}(i,j)}\\ \frac{I_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i,j)+I_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i,j)}{2}& \mathrm{if}& E_{I_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i,j)}=E_{I_{\mathrm{Inf}-\mathrm{hf}}^{(k,l)}(i,j)}\\ I_{\mathrm{Inf}-\mathrm{hf}}^{(k,l)}(i,j)& \mathrm{if}& E_{I_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i,j)}<E_{I_{\mathrm{Inf}-\mathrm{hf}}^{(k,l)}(i,j)}\end{array}\right.---\left(2\right)$

其中，I_Vis-hf ^(k，l)和I_Inf-hf ^(k，l)分别为I_Vis和I_Inf分解后位于第k(k＝1，2，Λ，K)尺度上l(l＝1，2，Λ，L_k)方向上的高频子图像，E_{IVis-hf(k，l)(i，j)}和E_{IInf-hf(k，l)(i，j)}为子图像I_Vis-hf ^(k，l)和I_Inf-hf ^(k，l)中以像素点(i，j)为中心的p(大小为r×h，r为行数，h为列数)领域内的能量，分别定义为

$E_{I_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i,j)}=\underset{i^{\&prime;}=1}{\overset{r}{\mathrm{\&Sigma;}}}\underset{j^{\&prime;}=1}{\overset{h}{\mathrm{\&Sigma;}}}p(i^{\&prime;},j^{\&prime;}){\left[I_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i+i^{\&prime;},j+j^{\&prime;})\right]}^2,$

$E_{I_{\mathrm{Inf}-\mathrm{hf}}^{(k,l)}(i,j)}=\underset{i^{\&prime;}=1}{\overset{r}{\mathrm{\&Sigma;}}}\underset{j^{\&prime;}=1}{\overset{h}{\mathrm{\&Sigma;}}}p(i^{\&prime;},j^{\&prime;}){\left[I_{\mathrm{Inf}-\mathrm{hf}}^{(k,l)}(i+i^{\&prime;},j+j^{\&prime;})\right]}^2;$

(4)对所有Contourlet域的融合子图像进行Contourlet反变换，生成融合图像I_F。

从图2可以看出，本图像融合方法更好地融合可见光和红外线图像各自的信息，不仅有效地丰富了图像的背景信息，而且最大限度地保护了图像中的细节信息，生成的融合图像在图像细节表现能力方面明显高于基于小波变换的图像融合方法，图像更加清晰，视觉效果更好。

表1给出了两种方法融合结果的客观评价指标。

表中采用了相关系数、互信息和标准差来衡量融合图像的质量，进而评价两种融合方法的优劣。

从表中可以看出，本实施例的图像融合方法在各种指标上都明显高于基于小波变换的图像融合方法。本实施例的图像融合方法生成的融合图像具有较大的相关系数，说明它更好地融合了输入可见光与红外线图像的各自信息；同时，本实施例方法生成的融合图像具有更大的互信息，表明融合图像从源图像中获取的信息较基于小波变换的图像融合方法更丰富，融合效果更好。另外，在标准差方面，本实施例方法生成的融合图像比基于小波变换的图像融合方法生成的融合图像提高了39％，表示本实施例方法生成的融合图像的灰度级分布更加分散，图像的反差更大，可以看出更多的信息，进一步证明本发明方法优于基于小波变换的图像融合方法。

总而言之，本发明方法更好地融合了输入可见光与红外线图像，提高了图像质量，无论是从人眼视觉效果，还是从客观评价指标，均优于包括基于小波变换的图像融合方法在内的其他方法。

表1本实施例的图像融合方法与基于小波变换图像融合方法的融合性能比较

	相关系数	互信息	标准差
				基于小波变换图像融合方法	1.3371	1.7203	33.1607
本实施例的图像融合方法	1.3804	1.7641	46.2392

Claims (2)

1、一种基于Contourlet变换的可见光与红外线图像融合方法，其特征在于在对输入的可见光与红外线图像进行多尺度、多方向Contourlet分解的基础上，利用可见光和红外线图像的不同特性，将高频细节部分和低频背景部分采用不同的融合策略，生成Contourlet域融合系数，最后通过Contourlet反变换得到融合图像。

2、根据权利要求1所述的基于Contourlet变换的可见光与红外线图像融合方法，其特征在于具体步骤如下：

1)在对同一场景的可见光和红外线图像进行配准的基础上，对输入的可见光图像I_Vis和红外线图像I_Inf进行多尺度、多方向Contourlet变换，每幅图像均分解为一幅低频子图像即I_Vis-lf和I_Inf-lf，及一系列具有不同分辨率的高频子图像即I_Vis-hf ^(k，l)和I_Inf-hf ^(k，l)，高频子图像的个数由Contourlet变换的LP分解级数K和每级中的方向分解数L_k决定；

2)对低频子图像I_Vis-lf和I_Inf-lf采用平均值融合策路进行融合，融合后的低频子图像为

$I_{F-\mathrm{lf}}(i,j)=\frac{1}{2}\&times;(I_{\mathrm{Vis}-\mathrm{lf}}(i,j)+I_{\mathrm{Inf}-\mathrm{lf}}(i,j))---\left(1\right)$

其中，(i，j)为图像中的位于第i行、第j列的像素点；

3)对于高频子图像I_Vis-hf ^(k，l)和I_Inf-hf ^(k，l)而言，采用区域能量融合策略进行融合，融合后的高频子图像为

$I_{F-\mathrm{hf}}^{(k,l)}(i,j)$

$=\left\{\begin{array}{ccc}{I}_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i,j)& \mathrm{if}& E_{I_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i,j)}>E_{I_{\mathrm{Inf}-\mathrm{hf}}^{(k,l)}(i,j)}\\ \frac{I_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i,j)+I_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i,j)}{2}& \mathrm{if}& E_{I_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i,j)}=E_{I_{\mathrm{Inf}-\mathrm{hf}}^{(k,l)}(i,j)}\\ I_{\mathrm{Inf}-\mathrm{hf}}^{(k,l)}(i,j)& \mathrm{if}& E_{I_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i,j)}<E_{I_{\mathrm{Inf}-\mathrm{hf}}^{(k,l)}(i,j)}\end{array}\right.---\left(2\right)$

其中，I_Vis-hf ^(k，l)和I_Inf-hf ^(k，l)分别为I_Vis和I_Inf分解后位于第k(k＝1，2，Λ，K)尺度上l(l＝1，2，Λ，L_k)方向上的高频子图像，E_{IVis-hf(k，l)(i，j)}和E_{IInf-hf(k，l)(i，j)}为子图像I_Vis-hf ^(k，l)和I_Inf-hf ^(k，l)中以像素点(i，j)为中心的p(大小为r×h，r为行数，h为列数)领域内的能量，分别定义为

$E_{I_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}(i,j)}=\underset{i^{\&prime;}=1}{\overset{r}{\mathrm{\&Sigma;}}}\underset{j^{\&prime;}=1}{\overset{h}{\mathrm{\&Sigma;}}}p(i^{\&prime;},j^{\&prime;}){\left[I_{\mathrm{Vis}-\mathrm{hf}}^{(k,l)}({i+i}^{\&prime;},{j+j}^{\&prime;})\right]}^2,---\left(3\right)$

$E_{I_{\mathrm{Inf}-\mathrm{hf}}^{(k,l)}(i,j)}=\underset{i^{\&prime;}=1}{\overset{r}{\mathrm{\&Sigma;}}}\underset{j^{\&prime;}=1}{\overset{h}{\mathrm{\&Sigma;}}}p(i^{\&prime;},j^{\&prime;}){\left[I_{\mathrm{Inf}-\mathrm{hf}}^{(k,l)}({i+i}^{\&prime;},{j+j}^{\&prime;})\right]}^2;---\left(4\right)$

4)对所有Contourlet域的融合子图像进行Contourlet反变换，生成融合图像IF。

Images