CN1273937C - 红外与可见光图像融合方法 - Google Patents

Abstract

本发明涉及一种红外与可见光图像融合方法，在对红外图像和可见光图像分别进行多分辨率分解的基础上，利用红外图像和可见光图像不同的成像特性，从原图像中获得相对的“目标”信息和“背景”信息，以此将图像划分为背景区域、目标区域以及它们之间的边缘部分，对这三部分分别采用三种不同的融合规则来确定融合图像的多分辨率表示，最后经过多分辨率反变换得到融合图像。本发明采用基于目标区域的方法融合同一场景的红外和可见光图像，在最大限度保留目标信息的同时，增强了背景信息中的边缘和细节信息，融合后的图像质量得以较大的提高。

Description

红外与可见光图像融合方法

技术领域：

本发明涉及一种基于目标区域的图像融合方法，用以融合同一场景的红外和可见光图像，在光学成像、目标监视、安全检查等系统中均可有广泛应用。

背景技术：

图像融合技术是多传感器信息融合中可视信息的融合，它利用各种成像传感器不同的成像方式，为不同的影像提供互补信息，增加图像信息量，减少原始图像数据量，提高对环境的适应性，以获得更可靠、更准确的有用信息供观察或进一步处理。图像融合技术是一门综合了传感器、信号处理、图像处理和人工智能等的新兴技术，近年来已成为一种十分重要和有用的图像分析与计算机视觉技术，在自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域有着广泛的应用前景。

就一般情况而言，由于目标和背景的红外辐射特性有差异，红外图像可提供较完整的目标信息，然而它包含的背景信息却模糊不清；相反可见光图像能够提供较全面的背景信息，但目标信息不明显。通过图像融合技术，可获取目标和背景信息均精确、全面的融合后图像。在处理红外和可见光图像融合方法中，具有代表性的方法是多分辨图像融合方法，其基本思想就是在将输入原图像分解得到不同分辨率表示的基础上，分别对它们进行基于融合规则的融合运算后，经多分辨率重构获得融合后图像。多分辨图像融合方法包括拉普拉斯金字塔算法，对比度金字塔算法，梯度金字塔算法等塔型方法。随着小波理论的发展和深入研究，离散小波变换已成为多分辨率图像融合中另一非常有用的工具。基于离散小波变换以及小波框架等融合方法已广泛应用于融合领域。

对于以往的融合算法研究，绝大多数算法在进行融合运算时，均未考虑利用诸如原图像成像特点等信息来提高和改进算法的性能。没有对原图像所包含的不同的信息进行针对性的融合运算。

发明内容：

本发明的目的在于针对现有技术存在的不足，提出一种红外与可见光图像融合方法，能够提高融合后的图像质量，达到较理想的融合效果。

为实现这样的目的，本发明的方法在对红外图像和可见光图像分别进行多分辨率分解的基础上，利用红外图像和可见光图像不同的成像特性，从原图像中获得“目标”信息和“背景”信息(相对而言)以此将图像划分为三个部分：背景区域、目标区域以及它们之间的边缘部分，对这三部分分别采用三种不同的融合规则来确定融合图像的多分辨率表示，最后经过多分辨率逆变换得到融合图像。

本发明的方法包括如下具体步骤：

1.在同一场景的红外图像和可见光图像进行配准的基础上，采用àtrous(多孔)小波算法来分解图像，采用B₃样条尺度函数得到的二维卷积算子进行具体运算，将图像分解为不同频带上的细节信息和最低频带的近似信息。

2.对红外图像采用阈值法进行区域分割，然后根据成像特性和目标图像特征(包括灰度信息，纹理信息，轮廓信息等特征)等信息来确定目标区域。一般而言，目标在红外图像中表现为像素灰度值相对较高。在确定出红外图像的目标区域后，将原图像划分为三个部分：背景区域，目标区域以及它们之间的边缘部分。

3.在融合处理时，对于目标区域，直接选取红外图像相应区域的小波系数作为融合后小波系数；对于目标区域和背景区域之间的边缘部分，比较红外图像小波系数和可见光图像小波系数绝对值大小，选取绝对值大的小波系数作为融合后小波系数；对于背景区域，同时考虑小波系数本身以及其与邻域内小波系数的相关性，确定融合量测指标，融合量测指标的大小衡量小波系数所包含的信息的多少。通过比较红外图像和可见光图像融合量测指标的大小，确定指标大的小波系数为融合后小波系数。

4.对各区域得到的小波系数进行小波逆变换以获得融合后的图像。

本发明的方法具有如下有益效果：

采用àtrous(多孔)小波算法来分解图像时，由于其具有平移不变性，在融合时可减小融合系数的错误选取及配准误差对融合结果的影响；在àtrous小波变换过程中，所得的小波面具有相同的大小，因此较容易找到各个小波面系数之间的对应关系，这有利于融合运算；由于àtrous小波算法在重构时不涉及卷积运算，在基于区域的融合运算时，这有利于减少对区域间边缘部分的影响。采用基于目标区域的融合规则，能够最大限度的保持目标信息的同时，增强了背景信息中的边缘和细节信息。采用本发明的图像融合方法大大提高了融合后图像质量，对于应用系统的后续处理和图像显示具有重要意义和实用价值。

附图说明：

图1为本发明基于目标区域的红外和可见光图像融合方法示意图。

如图所示，分别对红外图像和可见光图像进行小波变换(àtrous多孔小波算法)得到多个不同分辨率的小波系数表示，通过从原图像中所得到的“目标”信息和“背景”信息(相对而言)来指导融合决策，以获得融合的不同分辨率的小波系数表示。最后，对融合后小波系数进行小波逆变换以获得融合后的图像。

图2为本发明的融合决策流程图。

如图所示，在对红外图像进行区域分割的基础上，通过图像的成像特性确定出目标区域后，将红外图像和可见光图像划分出三个部分：背景区域，目标区域以及它们之间的边缘部分。分别对这三个区域实施不同的融合规则以得到融合决策图。

图3为本发明红外和可见光原图像以及与基于像素融合方法和基于窗口融合方法的融合结果比较。

其中，(a)为可见光原图像；(b)为红外原图像；(c)为基于像素融合方法的融合结果；(d)，(e)为两种基于窗口融合方法的融合结果；(f)为本发明基于目标区域融合方法的融合结果。

具体实施方式：

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。

本发明方法流程如图1所示，首先分别对红外图像和可见光图像进行小波变换得到多个不同分辨率的小波系数表示，通过从原图像中所得到的“目标”信息和“背景”信息(相对而言，可见光图像中背景信息更为丰富，红外图像中目标信息更为丰富)来指导融合决策，以获得融合的不同分辨率的小波系数表示。最后，对融合后小波系数进行小波逆变换以获得融合后的图像。

本发明的融合决策流程如图2所示，在对红外图像进行区域分割的基础上，通过图像的成像特性确定出目标区域后，将红外图像和可见光图像划分出三个部分：背景区域，目标区域以及它们之间的边缘部分。分别对这三个区域实施不同的融合规则以得到融合决策图。

本发明具体实施按如下步骤进行：

1.在同一场景的红外图像和可见光图像进行配准的基础上，采用àtrous(多孔)小波算法分别对可见光原图像和红外进行分解，将图像分解为不同频带上的细节信息和最低频带的近似信息。

àtrous小波算法的基本思想是将信号或图像分解为不同频带上的细节信息和最低频带的近似信息。该细节信息称为小波面，其大小与原图像大小相同。对于图像f(x，y)可逐级得到以下图像序列

$\left\{\begin{array}{c}{L}_1\left[f(x,y)\right]=f_1(x,y)\\ L_2\left[f_1(x,y)\right]=f_2(x,y)\\ \·\\ \·\\ \·\\ L_N\left[f_{N-1}(x,y)\right]=f_N(x,y)\end{array}\right.---\left(1\right)$

其中，f_k(x，y)为尺度k下的近似图像，L_k为低通滤波。k＝1，2，...，N.

相邻尺度的近似图像间的差异构成小波变换的系数即小波面

ω_k(x，y)＝f_k(x，y)-f_k-1(x，y)     k＝1，2，...，N         (2)

采用B₃样条尺度函数，得到的二维卷积算子如下所示。

$\frac{1}{256}\left[\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 14& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right]---\left(3\right)$

2.对红外图像采用阈值法进行区域分割，然后根据成像特性和目标图像特征(包括灰度信息，纹理信息，轮廓信息等特征)等信息来确定目标区域。

对于目标而言，其在红外图像中表现为像素灰度值相对较高，根据图像中像素灰度值的不同以及目标的运动信息，以此来确定出目标区域。当然，在实际划分时，不排除其他非目标区域被当作目标区域划分出来，然而由于其具有目标区域所具有的一些特点，在不能确定其是否为目标区域的情况下，仍将其看作目标区域确定下来。在此，目标区域选定的优先级要优于其他任何区域的选定。

在确定出目标图像的目标区域后，可将红外图像和可见光图像划分为三个部分：背景区域，目标区域以及它们之间的边缘部分。

3.采用不同的图像融合规则分别对这三部分进行融合运算。设红外图像为A，可见光图像为B；X表示目标区域，X表示背景区域，E表示为两区域间的边缘部分。具体融合规则如下：

●“高频”系数的融合

(1)目标区域；一般而言，目标区域内的像素具有基本相同的灰度值或纹理信息，所要作的不是比较“高频”的大小，目的是最大限度地保持该区域的目标信息。为此，对该区域的融合系数选取为：

$C_F^H(m,n)=C_A^H(m,n),(m,n)\∈X---\left(4\right)$

(2)两区域间的边缘部分；对于此区域，已知系数所处位置，为了更好地表现边缘信息，对该部分的融合系数选取为：

$C_F^H(m,n)=\left\{\begin{array}{cc}{C}_A^H(m,n)& \left|C_A^H(m,n)\right|>\left|C_B^H(m,n)\right|\\ C_B^H(m,n)& \mathrm{otherwise}\end{array}\right.,(m,n)\∈E---\left(5\right)$

(3)背景区域；比较目标区域而言，背景区域内含有丰富的边缘和细节信息，为了更好地表现该区域的细节信息，以及考虑目标区域的某些细节信息未被提取到目标区域内，本发明采用一种新的融合量测指标来确定融合系数以突出细节信息。该融合量测指标同时考虑系数本身以及其与邻域内系数的相关性：

          PI_x(m，n)＝C_p(m，n)·I_t(m，n)                 (6)

其中，PI_x(m，n)衡量该系数所包含的信息；C_p(m，n)反映该系数的特征信息；I_t(m，n)反映邻域内系数的相关性。

$C_p(m,n)=\left|C_X^H(m,n)\right|---\left(7\right)$

其中，C_X ^H(m，n)为图像的高频系数；

对于邻域内系数的相关性，首先确定图像高频系数的符号值

$\mathrm{sign}=C_X^H(m,n)---\left(8\right)$

如果高频系数的值大于或等于零，那么sign为1；否则sign为0。对I_t(m，n)，可表示为：

          I_t(m，n)＝p_X(m，n)·(1-p_X(m，n))             (9)

其中，p_X(m，n)为(m，n)点系数与邻域内系数具有相同符号值的该概率值。若(m，n)点系数与邻域内系数均相同，p_X＝1；若与邻域内系数均不相同，p_X＝0。

对该部分的融合系数选取为：

$C_F^H(m,n)=\left\{\begin{array}{cc}{C}_A^H(m,n)& {\mathrm{PI}}_A>{\mathrm{PI}}_B\\ C_B^H(m,n)& \mathrm{otherwise}\end{array}\right.,(m,n)\∈E---\left(10\right)$

●低频系数的融合

$C_F^L(m,n)=\left\{\begin{array}{cc}{C}_A^L(m,n)& (m,n)\∈X\∪E\\ C_B^L(m,n)& (m,n)\∈\stackrel{\→}{X}\end{array}\right.---\left(11\right)$

4.对融合后所得到的“高频”融合系数和低频融合系数进行小波逆变换得到融合后的图像。

图像的重构为：

$f(x,y)=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_k(x,y)+f_N(x,y)---\left(12\right)$

将本发明所得的融合结果，与其他融合方法所得的融合结果进行了对比，评价结果对照如表1所示，图3为融合所得的图像。图3中，(a)为可见光原图像；(b)为红外原图像；(c)为基于像素融合方法的融合结果；(d)，(e)为两种基于窗口融合方法的融合结果；(f)为本发明基于目标区域融合方法的融合结果。结果表明，本发明使得融合后图像的质量得以较大的提高，均优于其他融合方法。

                       表1图像融合结果指标评价

	基于目标区域	基于像素	基于窗口(方法1)	基于窗口(方法2)
					互有信息边缘信息	3.59530.3228	1.44150.3091	1.44680.3106	1.44790.3193

Claims (1)

1.一种红外与可见光图像融合方法，其特征在于包括如下具体步骤：

1)在同一场景的红外图像和可见光图像进行配准的基础上，采用多孔小波算法来分解图像，采用B₃样条尺度函数得到的二维卷积算子进行具体运算，将图像分解为不同频带上的细节信息和最低频带的近似信息；

2)对红外图像采用阈值法进行区域分割，然后根据成像特性和目标图像特征信息来确定目标区域，在确定出红外图像的目标区域后，将原图像划分为背景区域，目标区域以及它们之间的边缘部分；

3)在融合处理时，对于目标区域，直接选取红外图像相应区域的小波系数作为融合后小波系数；对于目标区域和背景区域之间的边缘部分，比较红外图像小波系数和可见光图像小波系数绝对值大小，选取绝对值大的小波系数作为融合后小波系数；对于背景区域，同时考虑系数本身以及其与邻域内系数的相关性，确定融合量测指标，融合量测指标的大小衡量小波系数所包含的信息的多少，通过比较红外图像和可见光图像融合量测指标的大小，确定指标大的小波系数为融合后小波系数；

4)对各区域得到的小波系数进行小波逆变换以获得融合后的图像。

Images