CN101504766B - 基于混合多分辨率分解的图像融合方法 - Google Patents

Abstract

本发明公开了一种基于混合多分辨率分解的图像融合方法。它包括以下步骤：将两幅源图像进行非下采样轮廓波分解，得到高频和低频子带系数；根据高频子带系数计算其能量值，选择能量值最大的系数作为融合的高频轮廓波变换系数；对低频子带系数进一步进行静态小波变换，对其高频分量，采用选择小波系数能量值最大的方法进行融合，对其低频分量通过求平均的方法进行融合，得到静态小波变换系数，对静态小波变换系数进行逆变换，得到低频轮廓波变换系数；对轮廓波变换系数进行逆变换，得到融合的图像。本发明结合了静态小波变换和轮廓波变换能表达不同图像特性的优点，可有效提高融合结果图像的质量，达到比较理想的融合效果。

Description

基于混合多分辨率分解的图像融合方法

技术领域：

本方法涉及一种图像融合方法，特别涉及一种基于混合多分辨率分解的图像融合方法。

背景技术：

图像融合指按照一定的规则，把同一目标或同一场景的多个传感器的成像或单一传感器的多次成像进行处理，生成一幅新的图像。新图像与原图像相比，信息更全面、精确和稳定。它综合了传感器技术、信号处理、图像处理和人工智能等新兴技术，在军事领域和非军事领域如遥感图像、医学图像、机器视觉上得到了广泛地应用。

图像融合一般可分为像素级图像融合、特征级图像融合和决策级图像融合。其中像素级图像融合是最基本的融合，是特征级和决策级图像融合的基础。图像融合最简单的方法是加权平均法，即将原图像对应像素的灰度值进行加权平均，生成新的图像。这种方法虽然简单但效果比较差。基于Laplacian金字塔、比率低通金字塔、梯度金字塔等图像多分辨率分解的融合方法是图像融合最常用的方法。但是塔形分解是冗余分解，而且不能够很好的表达图像的方向信息。90年代小波变换在图像处理中得到广泛应用，因为其具有的方向性、非冗余性以及具有快速算法等特点，在图像融合中得到了广泛的应用，可获得良好的融合效果。小波变换在分析点状瞬态特性的奇异性时是最优的，但在表示图像结构的直线和曲线奇异性时却不是最优的。

发明内容

为了解决基于小波变换的图像融合方法存在的上述技术问题，本发明提供一种基于混合多分辨率分解的图像融合方法。本发明方法将基于非下采样的轮廓波变换和静态小波变换的融合方法结合起来，可有效提高融合结果图像的质量，达到比较理想的融合效果。

本发明解决上述技术问题的技术方案包括以下步骤：

将两幅源图像进行非下采样轮廓波分解，得到分解后的子带轮廓波高频和低频系数；

根据高频子带系数计算其能量值，选择能量值最大的系数作为融合的高频轮廓波变换系数；

对子带轮廓波分解系数中的低频子带系数进一步进行静态小波变换，得到对应的静态小波变换系数，对静态小波变换系数中的高频分量，采用选择小波系数能量值最大的方法进行融合，对静态小波变换系数中的低频分量通过求平均的方法进行融合，得到融合图像对应的静态小波变换系数，对静态小波变换系数进行逆变换，得到融合的低频轮廓波变换系数；

对融合的轮廓波变换系数进行非下采样的轮廓波逆变换，得到融合的图像。

上述的基于混合多分辨率分解的图像融合方法中，所述能量值的计算包括以下步骤：采用基于窗口的加权平均法，先取每一个像素对应的所有高频系数的平方和，再对其进行基于窗口的加权平均。

本发明的技术效果在于：本发明在图像融合的过程中对每一幅源图像分别进行非下采样轮廓波变换，得到它们的轮廓波分解系数，对其高频分量，采用选择能量值最大的方法进行融合；对低频分量采用基于静态小波变换的图像融合方法进行融合；对融合的轮廓波变换系数进行逆变换，得到最终的融合图像。本发明充分结合了静态小波变换的能够保留源图像角点、纹理等细节信息的特点以及非下采样轮廓波变换具有的方向性和各向异性，能够很好的表达源图像中边缘信息的优点。经实验对比，本发明的融合效果较好，能够使融合后的图像的质量得到较大的提高。

下面结合附图对本发明作进一步的说明。

附图说明

图1为本发明的流程图。

图2为本发明中多聚焦图像融合实例：(a)聚焦在右边的图像；(b)聚焦在左边的源图像；(c)基于轮廓波变换方法得到的融合结果；(d)基于静态小波变换得到的结果；(e)本发明方法得到的融合结果。

图3为医学图像融合实例：(a)CT图像；(b)MRI图像；(c)基于轮廓波变换方法得到的融合结果；(d)基于静态小波变换得到的结果；(e)本发明方法得到的融合结果。

图4为红外可见光图像融合实例：(a)红外图像；(b)可见光图像；(c)基于轮廓波变换方法得到的融合结果；(d)基于静态小波变换得到的结果；(e)本发明方法得到的融合结果。

具体实施方式

参见图1，图1为本发明的流程图。其具体实施步骤如下：

1.将输入的已经配准的源图像分别进行非下采样的轮廓波(NSCT)分解

非下采样轮廓波变换将多尺度分解和方向分解分开进行，首先使用非下采样塔式滤波器组(Nonsubsampled Pyramid Filter Bank，NSPFB)对源图像进行多尺度分解，然后利用非下采样方向滤波器组(Nonsubsampled Directional Filter Bank，NSDFB)对多尺度分解得到的子带系数进行方向分解，从而得到不同尺度、不同方向的子带系数。

非下采样塔式分解是一个在拉普拉斯分解过程中去掉下采样，对滤波器进行上采样的过程。当分解层数为J时，其冗余度为J+1，并且满足完全重构的Bezout恒等式：

H₀(z)G₀(z)+H₁(z)G₁(z)＝1    (1)

其中H₀(z)，G₀(z)为塔式分解的低通分解滤波器和合成滤波器，H₁(z)，G₁(z)为塔式分解的高通分解滤波器和合成滤波器。

非下采样的方向滤波是一种在方向滤波中无下采样的滤波过程，通过àtrous小波算法实现。àtrous算法是将图像分解为不同频带上的细节信息和最低频带的近似信息，该细节信息称为小波面，其大小与原图像大小相同。对于图像f(x，y)，可逐级得到以下图像序列：

其中，f_k(x，y)为尺度k下的近似图像，f₀(x，y)是f(x，y)，L_k为低通滤波。k＝1，2，…，N。相邻尺度的近似图像间差异构成小波变换的高频系数即小波面：

ω_k(x，y)＝f_k(x，y)-f_k-1(x，y)    (3)

其中ω_k(x，y)为第k层小波面。

本发明对源图像A、B依次进行非下采样塔式滤波和非下采样方向滤波变换得到一系列的子带系数，记为：

和

其中s＝0，1，...，S，d＝1，2，...，2ⁿ，S为分解的子带数，2ⁿ为各子带的方向总数，

和

为低频子带，其它为方向高频子带。

2.基于能量最大规则的高频子带融合

在非下采样轮廓波分解中，能量值较高的系数对应于图像中对比度变化较大的边缘特征，因此高频子带融合的关键是选取能量较高的部分。本发明采用基于窗口的能量值最大的融合规则，取对应像素能量值较大者作为高频子带融合结果。首先定义一个大小为5×5的卷积模板W：然后利用此模板对所有高频子带系数进行卷积，再对卷积结果在对应位置上的各个方向和尺度上求和，并将求和结果作为中心位置的能量。能量的整体计算公式为：

$E^{\mathrm{NSCT}}(i,j)=\underset{m=-2}{\overset{2}{\mathrm{\Σ}}}\underset{n=-2}{\overset{2}{\mathrm{\Σ}}}\underset{S=2}{\overset{S}{\mathrm{\Σ}}}\underset{d=1}{\overset{D}{\mathrm{\Σ}}}W(m+3,n+3)\left|{\mathrm{NSCT}}^{(s,d)}(i+m,j+n)\right|---\left(4\right)$

S代表尺度总数，D代表方向频率总数，i，j表示当前点在图像中的位置，i为横坐标，j为纵坐标，m，n为变量，其取值由卷积模板W的大小决定。最后高频系数的融合规则为：

${\mathrm{NSCT}}_F^{(s,d)}=\left\{\begin{array}{cc}{\mathrm{NSCT}}_A^{(s,d)}& \mathrm{if}{E}_A^{\mathrm{NSCT}}>E_B^{\mathrm{NSCT}}\\ {\mathrm{NSCT}}_B^{(s,d)}& \mathrm{else}\end{array}\right.---\left(5\right)$

和

分别为源图像A和B经过NSCT分解后在尺度s方向d上的子带系数，

为融合后的对应系数。式(5)表示当A图像在(x，y)处能量大于B图像在此处的能量时，则在此处的各个尺度和方向的高频系数选取A图像在此处的系数，否则选取B在此处的高频系数。

3.基于静态小波的低频系数融合

低频子带系数

和采用基于静态小波变换的图像融合方法进行融合。静态小波分解不对滤波结果进行下采样操作，而是对滤波器进行上采样。由于静态小波分解的滤波器是可分离的，因而可在图像的行和列分别进行滤波。以下是由j层得至j+1层的分解参数：

$A_{X,j+1}(a,b)=\underset{k,l}{\mathrm{\Σ}}{h}_k^{\left(j\right)}{h}_l^{\left(j\right)}{A}_{X,j}(a+k,b+l)={\left[H^{\left(j\right)}{A}_{X,j}\right]}_{a,b}---\left(6\right)$

$W_{X,j+1}^h(a,b)=\underset{k,l}{\mathrm{\Σ}}{g}_k^{\left(j\right)}{h}_l^{\left(j\right)}{A}_{X,j}(a+k,b+l)={\left[G_h^{\left(j\right)}{A}_{X,j}\right]}_{a,b}---\left(7\right)$

$W_{X,j+1}^v(a,b)=\underset{k,l}{\mathrm{\Σ}}{h}_k^{\left(j\right)}{g}_l^{\left(j\right)}{A}_{X,j}(a+k,b+l)={\left[G_v^{\left(j\right)}{A}_{X,j}\right]}_{a,b}---\left(8\right)$

$W_{X,j+1}^d(a,b)=\underset{k,l}{\mathrm{\Σ}}{g}_k^{\left(j\right)}{g}_l^{\left(j\right)}{A}_{X,j}(a+k,b+l)={\left[G_d^{\left(j\right)}{A}_{X,j}\right]}_{a,b}---\left(9\right)$

式中，A_X，j是原始图像在尺度2^j下的低频近似，

和

分别是j层图像在水平，垂直和对角方向的高频细节信息，a，b表示当前点在图像中的位置，a为横坐标，b为纵坐标，k，l为变量，其取值由卷积模板h和g的大小决定。

基于静态小波的低频系数融合实施方式如下：

1)对

和

分别做3层的静态小波分解，得到它们对应的静态小波金字塔系数，这些系数分为高频系数和低频系数。

2)对于分解后的低频系数，采用加权平均算子进行融合

F_LL＝w×A_LL+(1-w)×B_LL    (10)

w为加权系数，在本发明中w取的取值为0.5，A_LL和B_LL分别为

和经静态小波分解后的低频子带系数。

3)对于高频变换系数，仍然采用能量最大的方法进行融合。在各个尺度内的所有高频子带上，首先基于5×5的窗口W获得对某一像素的区域特性描述(该像素居于正方形窗口的中心处)，然后合并该尺度上所有子带在对应空间位置处的区域特性来衡量该系数的重要程度，采用系数的能量来表示系数的重要程度，其计算公式为：

$E^{\mathrm{SWT}}(i,j)=\underset{m=-2}{\overset{2}{\mathrm{\Σ}}}\underset{n=-2}{\overset{2}{\mathrm{\Σ}}}\underset{l=2}{\overset{L}{\mathrm{\Σ}}}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}W(m+3,n+3)\left|{\mathrm{SWT}}^{(l,k)}(i+m,j+n)\right|---\left(11\right)$

窗口W为：

L代表尺度总数，K代表方向总数。

比较两源图像在各个尺度内不同空间位置上变换系数的重要程度，通过选择最大重要程度的方法完成变换域内的系数融合，可用如下公式表示：

${\mathrm{SWT}}_F^{(l,k)}=\left\{\begin{array}{cc}{\mathrm{SWT}}_A^{(l,k)}& \mathrm{if}{E}_A^{\mathrm{SWT}}>E_B^{\mathrm{SWT}}\\ {\mathrm{SWT}}_B^{(l,k)}& \mathrm{else}\end{array}\right.---\left(12\right)$

和

分别是对和

进行静态小波分解后在尺度l方向k上的子带系数，

融合后的对应系数。

4)对融合得到的多分辨率系数作3层静态小波逆变换(ISWT)，得到低频融合子带

4.采用轮廓波逆变换得到最终融合结果

对所得到的轮廓波系数

作非下采样的轮廓波逆变换，即非下采样的方向滤波重构和非下采样的塔式重构，得到最终的融合结果图像。

将本发明所提供的方法所得到的融合结果与单独使用静态小波变换方法和单独使用非下采样轮廓波变换方法所得到的结果进行了比较。图2、图3和图4给出了实验结果。表1列出了客观评价的结果。这里用了常用的信息熵(EN)，标准差(STD)以及QAB/F作为评价标准。对于三种评价标准，数值大表示融合结果越好。从实验结果我们可以看出本发明提出的方法优于传统的基于小波变换的方法。

表1图像融合结果指标评价

Claims (2)

1.一种基于混合多分辨率分解的图像融合方法，包括以下步骤：

将两幅源图像进行非下采样轮廓波分解，得到分解后的子带轮廓波高频和低频系数；

根据高频子带系数计算其能量值，选择能量值最大的系数作为融合的高频轮廓波变换系数；

对子带轮廓波分解系数中的低频子带系数进一步进行静态小波变换，得到对应的静态小波变换系数，对静态小波变换系数中的高频分量，采用选择小波系数能量值最大的方法进行融合，对静态小波变换系数中的低频分量通过求平均的方法进行融合，得到融合图像对应的静态小波变换系数，对静态小波变换系数进行逆变换，得到融合的低频轮廓波变换系数；

对融合的轮廓波变换系数进行非下采样的轮廓波逆变换，得到融合的图像。

2.根据权利要求1所述的基于混合多分辨率分解的图像融合方法，所述能量值的计算包括以下步骤：采用基于窗口的加权平均法，先取每一个像素对应的所有高频系数的平方和，再对其进行基于窗口的加权平均。

Images