CN1286065C - 基于方向滤波器组的图像融合方法 - Google Patents

Abstract

本发明涉及一种基于方向滤波器组的图像融合方法，用以融合同一场景的不同传感器图像和多聚焦图像。首先采用àtrous小波算法分解原图像得到一组带通子图像，然后分别对带通子图像进行方向滤波器组分解得到多分辨率多方向的图像表示，按照一定的融合规则对这些子图像进行融合计算，得到一组新的融合后子图像，最后通过重构过程得到融合后的图像。本发明明显优于传统的多分辨率图像融合方法，融合后图像的质量得以较大的提高。

Description

基于方向滤波器组的图像融合方法

技术领域

本发明涉及一种基于方向滤波器组的图像融合方法，是信息融合领域中的一项多传感器图像信息融合方法，在光学成像、目标监视、安全检查等系统中均可有广泛应用。

背景技术

图像融合技术是多传感器信息融合中可视信息的融合，它利用各种成像传感器不同的成像方式，为不同的影像提供互补信息，增加图像信息量，减少原始图像数据量，提高对环境的适应性，以获得更可靠、更准确的有用信息供观察或进一步处理。它是一门综合了传感器、信号处理、图像处理和人工智能等的新兴技术。近年来，图像融合已成为一种十分重要和有用的图像分析与计算机视觉技术。它在自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域有着广泛的应用前景。

就多分辨率图像融合而言，相当多的研究集中在寻找合适的多分辨率表示以突出图像特征信息，便于图像融合运算。从前几章的工作以及以往的融合方法来看，多分辨率表示是由不同尺度(分辨率)下的图像信息所组成的。低分辨率部分包含着图像的概貌信息，而高分辨率部分包含着图像的细节信息，这样的图像信息表示方式对图像融合来说是有利的。在图像中所剧烈变化的部分，如边缘，轮廓等细节信息是图像局部变化的重要特性，它往往包含着比其他位置更多的信息，通常用幅度和方向描述图像的这一特性。在以往的融合算法中，所采用的图像分解方法主要集中在获取幅度特性方面，对方向特性没有作过多的关注。这样不能全面地衡量图像局部特性的重要程度。

发明内容

本发明的目的在于针对现有技术存在的不足，提供一种基于方向滤波器组的图像融合方法，能够提高融合后的图像质量，达到理想的实用效果。

为实现这样的目的，本发明技术方案的创新点在于将àtrous(多孔)小波算法与方向滤波器组相结合进行图像的多分辨率分解并作相应的融合处理。由于直接采用方向滤波器组对图像进行分解并不适合图像融合处理，本发明首先采用àtrous小波算法分解原图像得到一组小波面表示，然后分别对小波面进行方向滤波器组分解得到多分辨率多方向的图像表示，按照一定的融合规则对这些子带图像进行融合计算以得到一组新的融合后子带图像，最后通过重构过程得到融合后的图像。

本发明的一种基于方向滤波器组的图像融合方法包括如下具体步骤：

1.采用àtrous(多孔)小波对已配准的两幅原图像进行多分辨率分解。采用B₃样条尺度函数得到的二维卷积算子分别对两幅原图像进行多分辨率分解，得到不同频带上的细节信息和最低频带的近似信息表示。该细节信息表示称为小波面，其大小与原图像大小相同。

2.对各个小波面进行方向滤波器组分解获得多分辨率、多方向的子带图像。将两层基于扇形滤波器组的分解作为方向滤波器组树结构扩展的前两层分解，并在此基础上执行45°方向滤波器分解实现方向滤波器组树结构扩展的第三层分解。若需要进行进一步的方向分解，可对前一层分解得到的每一个树结构扩展节点，分别按照第三层分解方式进行分解，实现更为精细的频域方向划分。对于每一层小波面分解的方向个数是可以不同的，可根据子带图像能量的大小决定分解的方向数。另外，在进行方向滤波器组分解时，必须注意保持两幅原图像方向分解的一致性。

3.计算各子带图像对应的局部窗口区域“能量”来作为子带图像的融合量测指标，按照最大融合量测指标原则，选取融合量测指标大的子带图像的像素值构成融合后的像素值，获得融合后的子带图像。局部窗口的大小可以是3×3、5×5或7×7等。

4.利用服从多数原则对融合后的子带图像进行一致性验证。融合结果的一致性验证是为了避免出现某一像素与其邻域的像素分别来源于不同原图像的情况。所谓的一致性验证就是：如果融合后的某一子带图像像素来自于第一幅原图像的子带图像，而它的邻域中其他大多数像素来自于第二幅原图像的子带图像，则将该像素改成第二幅原图像的子带图像所对应的像素。

5.对一致性验证后的各子带图像进行方向滤波器组重构，得到一组融合的多分辨率小波面。

6.对融合后的小波面进行àtrous(多孔)小波算法重构，即可得到融合的图像。

本发明的图像融合方法具有如下有益效果：

本发明采用àtrous小波算法来分解图像时，由于其具有平移不变性，在融合时可减小融合系数的错误选取及配准误差对融合结果的影响；在àtrous小波变换过程中，所得的小波面具有相同的大小，因此较容易找到各个小波面系数之间的对应关系，这有利于融合运算；由于àtrous小波算法在重构时不涉及卷积运算，在基于区域的融合运算时，这有利于减少对区域间边缘部分的影响。原图像经过小波分解后得到的带通图像再输入方向滤波器组获得图像中的方向信息。这个分解过程可再对低通图像重新使用得到一组多方向，多分辨率的带通子图像。由于àtrous小波算法和方向滤波器组都可实现完全重构，因此二者相结合的变换方式也是完全重构的。采用基于方向滤波器组的图像融合方法大大提高了融合后图像质量，对于应用系统的后续处理和图像显示具有重要意义和实用价值。

附图说明

图1为本发明基于方向滤波器组的图像融合方法示意图。

图2为本发明的àtrous小波算法与方向滤波器组相结合示意图。

图3为扇形滤波器频率响应。

图4为采样过程与滤波器等效易位示意图

图5为本发明方法与基于拉普拉斯金字塔融合方法和基于小波变换融合方法的融合结果比较。

其中，(a)为多聚焦图像1；(b)为多聚焦图像2；(c)为基于拉普拉斯金字塔融合方法的融合结果；(d)基于小波变换融合方法的融合结果。(e)本发明方法的融合结果。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。

本发明基于方向滤波器组的图像融合方法如图1所示，首先分别对两幅原图像I_A、I_B进行àtrous小波分解和方向滤波器组分解，得到多分辨率、多方向子带图像ω_l ^A和ω_l ^B，计算融合量测指标，以此来指导融合决策，获得融合的子带图像ω_l ^F。最后对融合后子图像分别进行方向滤波器组重构和àtrous小波算法重构以获得融合后的图像I_F。

本发明实施例针对图5(a)、(b)中的多聚焦图像I_A、I_B进行融合处理，具体实施如下：

1.对已配准的原图像，如图5(a)和(b)所示，进行àtrous小波算法分解，分别得到一组分辨率不同的小波面{ω_l ^A(i，j)，l＝1，2，.....N}和{ω_l ^B(i，j)，l＝1，2，.....N}。其中(i，j)为小波面系数的空间位置；N为分解层数。

àtrous小波算法的基本思想是将信号或图像分解为不同频带上的细节信息和最低频带的近似信息。该细节信息称为小波面，其大小与原图像大小相同。对于图像f(x，y)可逐级得到以下图像序列

其中，f_k(x，y)为尺度k下的近似图像，L_k为低通滤波。k＝1，2，...，N。

相邻尺度的近似图像间的差异构成小波变换的系数即小波面

ω_k(x，y)＝f_k(x，y)-f_k-1(x，y)   k＝1，2，...，N           (2)

采用B₃样条尺度函数，得到的二维卷积算子如下所示。

$\frac{1}{256}\left[\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right]---\left(3\right)$

2.对各个小波面进行方向滤波器组分解获得方向分量{ω_l ^A(i，j，k_l)，l＝1，2，.....N}和{ω_l ^B(i，j，k_l)，l＝1，2，.....N}。其中k_l为第l层小波平面被分解的方向个数。

在进行方向滤波器组分解时，首先采用两层基于扇形滤波器的QFB分解就可获得四个方向的频域划分，也就是说通过两层基于扇形滤波器的QFB可实现四通道方向滤波器组。采样矩阵 $Q_0=\left(\begin{array}{cc}1& -1\\ 1& 1\end{array}\right)$ 和 $Q_1=\left(\begin{array}{cc}1& 1\\ -1& 1\end{array}\right)$ 作为五株形采样栅格，其后的滤波器为扇形滤波器，表1给出了相应的滤波器系数。图3为相应的滤波器频率响应。

将两层基于扇形滤波器的QFB分解作为方向滤波器组树结构扩展的前两层分解，并在此基础上实现频域更精细的方向划分。首先定义四个矩阵：

$R_0=\left(\begin{array}{cc}1& 1\\ 0& 1\end{array}\right),R_1=\left(\begin{array}{cc}1& -1\\ 0& 1\end{array}\right),R_2=\left(\begin{array}{cc}1& 0\\ 1& 1\end{array}\right),R_3=\left(\begin{array}{cc}1& 0\\ -1& 1\end{array}\right)---\left(4\right)$

如图4所示，对滤波器组进行等效易位变换得到等效滤波器组F₀(ω)，F₁(ω)，F₂(ω)以及F₃(ω)。在此分别称图4(a)和(b)的QFB分解为QFB(类型1)和QFB(类型2)，若将QFB(类型1)中的采样过程R₀和Q₀分别替换为R₂和Q₁则称此QFB分解为QFB(类型3)；同理将QFB(类型2)中的采样过程R₁和Q₁分别替换为R₃和Q₀则称此QFB分解为QFB(类型4)。

在两层基于扇形滤波器的QFB分解的基础上，对其输出的上半部分分别执行QFB(类型1)和QFB(类型2)分解，对其输出的下半部分分别执行QFB

          表1  扇形滤波器对应的系数

	h	g
			a	0.001671	-
b	-0.002108	-0.0080674
			c	-0.019555	-0.010172
d	0.139756	0.23325
			e	0.687859	0.82918
f	0.006687	-
			g	-0.006324	0.024202
i	-0.052486	0.020345
			j	0.010030

          a

      f   b  f

   j  g   c  g   jf   g  i   d  i   g  fa  -b  c  -d  e  -d  c  -b  af   g  i   d  i   g  f

   j  g   c  g   j

      f   b  f

          a

滤波器h和g

(类型3)和QFB(类型4)分解，这样就可完成对频域的进一步方向划分实现八通道方向滤波器组，以此作为方向滤波器组树结构扩展的第三层分解。八通道方向滤波器组频率划分如图1所示。若需要进一步地进行方向分解，可对被一个树结构扩展节点循环实现第三层分解得到更为精细地频域方向划分。

对于每一层小波面分解的方向个数是可以不同的。在进行方向滤波器组分解时，首先计算出每一个大小为M·N的方向子带的能量E_l：

$E_l=\frac{1}{M\·N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\left|{\mathrm{\ω}}_l(i,j)\right|---\left(5\right)$

由前面对方向滤波器组的分析可知，在方向滤波器组树结构扩展的前两层分解后，可对前一层分解得到的每一个树结构扩展节点，分别按照第三层分解方式进行分解，实现更为精细的频域方向划分。在此，可根据子带能量的大小以决定分解的方向数。另外，在进行方向滤波器组分解时，必须注意保持两幅原图像方向分解的一致性。

上述àtrous小波分解与方向滤波器组分解过程如图2所示，最后得到一组多分辨率的多方向的子图像。

3.计算各方向分量的融合量测指标，设两组系数的融合量测指标分别为：M_l ^A(i，j，k_l)和M_l ^B(i，j，k_l)。采用基于窗口的量测指标，那么量测指标可表示为：

$M_l^I(i,j,k_l)=\underset{s\∈S,t\∈T}{\mathrm{\Σ}}c(s,t)\left|{\mathrm{\ω}}_l^I(i+s,j+t,k_l)\right|,I=A$ 或B    (6)

窗口大小为3×3；

$c(s,t)=\frac{1}{16}\left[\begin{array}{ccc}1& 1& 1\\ 1& 8& 1\\ 1& 1& 1\end{array}\right]---\left(7\right)$

按照选取最大融合量测指标原则对两组系数进行融合，获得融合后的系数表达，设融合后的系数为ω_l ^F(i，j，k_l)，即

${\mathrm{\ω}}_l^F(i,j,k_l)=\left\{\begin{array}{cc}{\mathrm{\ω}}_l^A(i,j,k_l)& M_l^A(i,j,k_l)\≥M_l^B(i,j,k_l)\\ {\mathrm{\ω}}_l^B(i,j,k_l)& \mathrm{otherwise}\end{array}\right.---\left(8\right)$

4.为了避免出现某一点与其邻域的点分别来源于不同输入原图像的情况，我们对融合后系数进行一致性验证。所谓的一致性验证就是如果融合后的某一子带图像像素来自于图像1的子带图像，而它的邻域中其他大多数像素来自于图像2的子带图像，那么该点将被改成图像2的子带图像所对应的像素值。

5.对融合后的各方向分量进行方向滤波器组重构，得到一组融合的多分辨率小波面。

6.对融合后的小波面进行àtrous小波算法重构，即可得到融合的图像，如图5(e)所示。

将本发明所得的融合结果，与其他融合方法所得的融合结果进行了对比，图5(c)为基于拉普拉斯金字塔融合方法的融合结果；(d)基于小波变换融合方法的融合结果；(e)本发明方法的融合结果。融合评价结果对照如表2所示。融合结果的评价指标分别为均方根误差RSME和共有信息MI，从评价结果可以看出，本发明方法所得融合结果与理想融合结果之间的RSME要小于基于拉普拉斯金字塔的融合方法及基于小波变换的融合方法，而MI要大于基于拉普拉斯金字塔的融合方法及基于小波变换的融合方法。这表明本发明方法所得融合结果更接近理想融合结果，使得融合后图像的质量得以较大的提高。

      表2  图像融合结果指标评价

	RSME	MI
			拉普拉斯金字塔方法离散小波变换方法本发明方法	3.15704.44982.7127	4.35383.46985.3113

Claims (1)

1、一种基于方向滤波器组的图像融合方法，其特征在于包括如下具体步骤：

1)采用多孔小波对已配准的两幅原图像进行多分辨率分解：采用B3样条尺度函数得到的二维卷积算子分别对两幅原图像进行多分辨率分解，得到不同频带上的小波面和最低频带的近似信息表示；

2)对各个小波面进行方向滤波器组分解获得多分辨率、多方向的子带图像，对于每一层小波面，可根据子带能量的大小决定分解的方向数，在进行方向滤波器组分解时保持两幅原图像方向分解的一致性；

3)计算各子带图像对应的局部窗口区域“能量”来作为子带图像的融合量测指标，按照最大融合量测指标原则，选取融合量测指标大的子带图像的像素值构成融合后的像素值，获得融合后的子带图像；

4)利用服从多数原则对融合后的子带图像进行一致性验证，如果融合后的某一子带图像像素来自于第一幅原图像的子带图像，而它的邻域中其他大多数像素来自于第二幅原图像的子带图像，则将该像素改成第二幅原图像的子带图像所对应的像素；

5)对一致性验证后的各子带图像进行方向滤波器组重构，得到一组融合的多分辨率小波面；

6)对融合后的小波面进行多孔小波算法重构，得到融合后的图像。

Images