CN102005037B - 结合多尺度双边滤波与方向滤波的多模图像融合方法 - Google Patents

Abstract

本发明属于信息处理技术领域，具体涉及一种结合多尺度双边滤波与方向滤波的多模图像融合方法。本发明用以融合同一场景或同一目标的不同传感器的图像，首先，利用多尺度双边滤波对源图像进行分解得到一个低通图像与一系列高通图像，然后对高通图像进行方向滤波得到图像的方向表示，再按照一定的融合规则对这些低通图像与方向子带图像分别进行融合得到融合的低通图像与方向子带图像，最后通过方向滤波重构与逆多尺度双边滤波得到融合图像。本发明获得了较好的融合效果，优于传统的多尺度几何分析方法，融合图像的质量得到了较大的提高。

Description

结合多尺度双边滤波与方向滤波的多模图像融合方法

技术领域

本发明属于信息处理技术领域，具体涉及一种结合多尺度双边滤波与方向滤波的多模图像融合方法。

背景技术

图像融合技术是将多传感器采集到的关于同一场景的或同一目标的多幅图像进行一定的处理，综合成一幅图像，是多传感器信息融合中可视信息的融合。它利用各种成像传感器不同的成像方式为不同的图像提供互补信息的特点，使得融合图像的信息更加丰富，能够更加准确、可靠地反映场景或目标。图像融合技术能提高图像的时空覆盖范围、降低不确定性、提高系统的可靠性和鲁棒性，它是一门综合了传感器、图像处理、信号处理和人工智能等的新兴技术。近年来，图像融合已成为一种十分重要的图像理解与计算机视觉技术，它在自动目标识别、目标跟踪、遥感、医学辅助诊断和军事应用等领域有着广泛的应用前景。

在图像融合方法中，具有代表性的方法是基于多尺度变换的图像融合方法。其基本思想是将源图像分解到不同频率子带图像上，然后分别对它们进行融合运算得到一个融合的不同频率的图像表示，再经相应的逆多尺度变换获得融合图像。然而现有的基于多尺度变换的图像融合方法，在多尺度变换过程中对每个像素都以相同的方式处理，并没有考虑它们的特异性，这样不能准确地反映图像的局部信息。另外，方向信息是图像的一种重要特征，在图像融合中应该把方向特征也考虑进去。在以往的融合算法中，这两方面都有所涉及，但并没有将它们有效地结合起来，不能准确、可靠地衡量图像局部特征的重要程度。

发明内容

本发明的目的在于针对现有技术的不足，提供一种结合多尺度双边滤波与方向滤波的多模图像融合方法，该方法能够提高融合图像的质量。

为实现这样的目的，本发明将多尺度双边滤波与方向滤波相结合对图像进行多尺度分解并作相应的融合处理。本发明首先采用多尺度双边滤波对源图像进行分解得到图像的低通图像表示与高通图像表示，然后利用方向滤波器组对高通图像进行方向滤波得到源图像的多尺度多方向表示，再按照一定的融合规则对这些子带图像进行融合运算得到一组新的融合的子带图像，最后通过方向滤波重构与逆多尺度双边变换得到最终的融合图像。

本发明的方法包括如下具体步骤：

(1)采用多尺度双边滤波对已配准的源图像进行多尺度分解得到高通频带上的细节信息和低通频带上的近似信息表示；

(2)利用由树结构的二带系统组成的方向滤波器组对高通频带进行非下采样的方向滤波得到图像多尺度、多方向表示；

(3)计算各方向子带的活跃度，以方向子带系数的绝对值或平方作为它们的活跃度；

(4)对方向子带与低通近似子带分别做融合处理，对于方向子带，选择活跃度大的方向子带所对应的系数作为融合后的系数；对于低通近似子带，对所有源图像同一位置的系数平均得到融合系数；

(5)重构融合图像，首先对融合的方向子带图像进行方向滤波重构，得到高通细节子带图像，与融合的低通近似子带图像一起构成图像的多尺度表示，再对它们进行多尺度双边逆变换即可得到最终的融合图像。

本发明采用双边滤波来实现多尺度分解，由于其在平滑图像时还能保持边缘，使得融合图像的边缘与细节更丰富；多尺度双边滤波的重构不涉及到卷积运算，不需要对边界做专门处理；源图像经多尺度双边分解得到的高通细节图像再送入方向滤波器组来捕获其方向信息，而方向信息是图像的重要特征，因此能更加有效地捕获图像的重要特征。本发明中采用的多尺度双边滤波与方向滤波都是非下采样的，因而具有平移不变性，在融合时可减少融合系数的错误选取及配准误差对融合结果的影响，另外，由于具有平移不变性，使得融合结果避免了振铃效应；由于多尺度双边滤波与方向滤波都是可以完全重构的，因此它们的结合变换也是完全重构的；双边滤波是一种空间自适应的滤波，它与方向滤波相结合能更好地捕获图像的几何结构。本发明提出的结合双边滤波与方向滤波的图像融合方法优于传统的基于多尺度变换的图像融合方法，实验结果也证明了这一点。

附图说明

图1为本发明方法的流程框图。

图2为本发明的方向滤波器组，其中，图2(a)为利用二通道扇形滤波器组构造的四通道非下采样的方向滤波器组，图2(b)为对应的频率分割图。

图3为本发明的仿真实验源图像，其中，图3(a)为可见光图像，图3(b)为红外图像。

图4为各种融合方法所得到的融合图像，其中，图4(a)到图4(e)分别是基于离散小波变换(DWT)、静态小波变换(SWT)、双树复小波变换(DTCWT)、非下采样轮廓波变换(NSCT)和多尺度双边滤波(MBF)方法所得融合图像，图4(f)为本发明方法所得的融合图像。

具体实施方式

为了更好地理解本发明的技术方案，下面结合附图和实施例对本发明作进一步详细的描述。

参见图1，是本发明方法的流程框图。首先分别对两幅源图像I_A和I_B实施多尺度双边分解和方向滤波分解，得到它们的多尺度、多方向子带图像，对这些子带图像进行融合得到融合的多尺度、多方向子带图像，再对它们实施方向滤波重构与逆多尺度双边变换就能获得融合图像I_F。其具体实施如下：

一、参见图3(a)和图3(b)，对源图像I_A和I_B实施多尺度双边分解，得到它们的低通子带图像

和高通子带图像

其中(i，j)为子带图像的空间位置，L表示分解层数。

双边滤波是一种空间变化的滤波，它根据像素之间的几何相近性及亮度相似性结合像素值，在平滑图像的同时还能保持边缘。多尺度双边滤波将双边滤波扩展到多尺度，它分解图像为高通频带上的细节子带和低通频带上的近似子带，这些子带的大小与原图像大小是一样的。对于图像I，利用式(1)可得到滤波图像序列：

$I_p^{l+1}=\frac{1}{K_p}\underset{q\∈N}{\mathrm{\Σ}}{w}^l(p-q)G_{{\mathrm{\σ}}_r}(I_p^l-I_q^l)I_p^l---\left(1\right)$

其中， $w^l\left(x\right)=\left\{\begin{array}{cc}{G}_{{\mathrm{\&sigma;}}_s}\left(\right|\left|\frac{x}{2^l}\right|\left|\right)& \mathrm{if}\frac{x}{2^l}\&Element;Z^2\mathrm{and}\left|\right|\frac{x}{2^l}\left|\right|<n\\ 0& \mathrm{otherwise}\end{array}\right.,---\left(2\right)$

G_σ＝exp(-x²/σ²)                   (3)

$K_p=\underset{q\&Element;N}{\mathrm{\&Sigma;}}{w}^l(p-q)G_{{\mathrm{\&sigma;}}_r}(I_p^l-I_q^l)---\left(4\right)$

I^l+1为图像I第l次滤波后的近似图像，l＝1，2，...，L，p与q表示像素位置，σ表示高斯函数的标准差，N表示像素p的邻域，n表示邻域的大小。相邻尺度的近似图像间的差异即为高通频带的细节图像：

C_l＝I^l+1-I^l l＝1，2，...，L    (5)

低通近似图像C_L+1＝I^L+1。

二、把多尺度双边滤波后获得的高通细节图像送入方向滤波器组获得方向分量

和其中k_l表示第l层细节图像被分解的方向个数。方向滤波是通过方向滤波器组实现的，本发明使用的方向滤波器组是由树结构的二带系统组成的。最基本的方向滤波是二带分割，即根据频率域的分割把图像分为两个部分。然后二带分割迭代地应用到前面分割的结果就可得到多带分割，参见图2，为由二阶段的二带分割组成的四通道滤波器组及对应的频率分割图。因为多带分割把频率域分割到不同的方向楔形，利用这些滤波器组对多尺度双边滤波后获得的高通细节图像进行滤波即可得到方向子带图像。本发明的方向滤波过程中没有下采样，而是对滤波器组作相应的上采样，因此，本发明的方向滤波过程是平移不变的。

三、融合各方向子带图像与近似图像。对于方向子带，先计算它们的活跃度，再对活跃度作比较，然后选取活跃度最大的系数作为融合后的系数。在本发明中，以系数的绝对值作为活跃度测量指标

M_l(i，j，k_l)＝|C_l(i，j，k_l)|            (6)

M即为C在对应位置、尺度、方向处系数的活跃度。再根据活跃度的大小选取融合系数

$C_l^F(i,j,k_l)=\left\{\begin{array}{c}{C}_l^A(i,j,k_l)\mathrm{if}{M}_l^A(i,j,k_l)>M_l^B(i,j,k_l)\\ C_l^B(i,j,k_l)\mathrm{else}\end{array}\right.l=1,...,L---\left(7\right)$

即为融合后的细节子带图像系数。对于近似图像的融合，本发明采用平均的融合规则

$C_{L+1}^F(i,j)=\frac{C_{L+1}^A(i,j)+C_{L+1}^B(i,j)}{2}---\left(8\right)$

即为融合后的近似子带图像系数。

四、对融合后的各方向分量进行方向滤波重构，得到融合的高通细节子带图像，与融合后的低通近似子带图像一起构成融合后的多尺度子带图像，再对它们实施多尺度双边逆变换，即可得到最终的融合图像，如图4(f)所示。

对本发明方法进行仿真实验，以图3(a)和图3(b)为例进行说明，图3(a)为可见光源图像，图3(b)为红外源图像，本发明方法的融会结果如图4(f)所示。本发明提出的方法与基于下列变换的图像融合方法进行了比较：离散小波变换(DWT)、静态小波变换(SWT)、双树复小波变换(DTCWT)、非下采样轮廓波变换(NSCT)和多尺度双边滤波(MBF)。对于所有这些方法，源图像的分解层数均为三层，采用的融合规则与本发明相同。在基于DWT及基于SWT变换的融合方法中选用的小波基为“bior2.2”。本发明方法与基于NSCT方法在各层的分解方向数为8，8，16。图像融合结果如图4所示，其中，图4(a)至图4(e)分别是基于DWT、SWT、DTCWT、NSCT和MBF的融合图像。

表1列出了各方法所得融合图像的性能评价结果。表1中所采用的评价标准有：互信息(MI)是各源图像与融合图像的互信息之和，其值越大表示融合结果越好，它反映从源图像转换到融合图像的信息量；Q^AB/F用于评价从源图像转换到融合图像的边缘信息量，其值越接近1表示融合结果越好，Q^AB/F＝1时为理想融合结果；QW、QE和Q0是评价融合图像的扭曲程度，其值越大表示融合结果越好。从表1可知本发明的方法优于传统的方法，对于应用系统的后续处理具有重要意义。

表1融合图像性能评价

Claims (1)

1.一种结合多尺度双边滤波与方向滤波的多模图像融合方法，其特征在于包括如下顺序的步骤：

(1)采用多尺度双边滤波对已配准的源图像进行多尺度分解得到高通频带上的细节信息和低通频带上的近似信息表示；

(2)利用由树结构的二带系统组成的方向滤波器组对高通频带进行非下采样的方向滤波得到图像多尺度、多方向表示；

(3)计算各方向子带的活跃度，以方向子带系数的绝对值或平方作为它们的活跃度；

(4)对方向子带与低通近似子带分别做融合处理，对于方向子带，选择活跃度大的方向子带所对应的系数作为融合后的系数；对于低通近似子带，对所有源图像同一位置的系数平均得到融合系数；

(5)重构融合图像，首先对融合的方向子带图像进行方向滤波重构，得到高通细节子带图像，与融合的低通近似子带图像一起构成图像的多尺度表示，再对它们进行多尺度双边逆变换即可得到最终的融合图像。

Images