CN102800079A - 基于scdpt变换及其幅相结合的多模态图像融合方法 - Google Patents

Abstract

本发明公开了一种基于幅度和相位联合的多模态图像融合方法，主要解决现有融合技术不能充分利用源图像相位信息的问题。其实现过程为：采用SCDPT变换对源图像进行多尺度多方向分解，得到不同子带系数；针对复带通方向子带系数，构建能量匹配和周期相关系数相结合的相似度因子进行相似测量，并用基于局部区域能量和相对相位周期方差的融合规则进行组合，得到融合图像带通方向子带系数；针对低通子带系数，利用结构相似度因子进行相似测量，并采用基于尺度间子带系数联合统计的融合规则进行组合，得到融合图像低通子带系数；对融合图像子带系数进作SCDPT逆变换，得到融合图像。本发明能够很好地保留源图像中的相位信息，具有很高的空间一致性。

Description

基于SCDPT变换及其幅相结合的多模态图像融合方法

技术领域

本发明涉及图像处理领域，具体的说是涉及一种图像融合方法，可用于多模态图像之间的融合。

背景技术

近年来，随着成像传感器技术的发展，多模态图像融合已经成为图像理解、计算机视觉等领域中一项重要的技术。由于具有优良的多尺度、多方向和平移不变特性，并且具有较低地的运算复杂度和冗余度，复小波变换广泛应用于多模态图像融合技术中，例如I.Styliani,K.Vassilia,“Investigation of the dual-tree complex and shift-invariantdiscrete wavelet transforms on Quickbird image fusion”,IEEE Geoscience and RemoteSensing Letters,Vol.4,No.1,2007,pp.166-170.及J.J.Lewis,R.J.O’Callaghan,et al.,“Pixel-and region-based image fusion with complex wavelets”,Information Fusion,Vol.8,No.2,2007,pp.119-130.两篇文献公开的技术均属于基于复小波变换的多模态图像融合方法。

在上述基于复小波变换的图像融合方法中，除了所采用的复小波变换工具，融合规则，即如何在复小波域中对源图像之间的各子带系数进行组合得到融合图像的子带系数，也是一个关键的技术。由于成像机理不同，多模态图像之间存在大量的“冗余”和“互补”信息。简单地采用“加权平均”或“模值取大”的融合策略，而对源图像之间的“冗余”或“互补”信息不加区分，容易造成信息丢失或对比度降低等问题。

目前，针对多模态图像之间的融合，基于多相似度测量的融合方法是一类比较有效的融合方法，例如Q.Zhang,L.Wang,et al.，“Similarity-based multimodality imagefusion with shiftable complex directional pyramid”,Pattern Recognition Letters,vol.32,No.13,2011,pp.1544-1553.文献公开的技术。此类融合技术首先采用复小波变换将源图像分解到不同频率子带中；然后，针对不同频率子带，采用各自的相似度测量准则判断待融合图像之间的“冗余”和“互补”信息；最后，针对“冗余”信息，采用一种“加权平均”的融合策略对源图像之间的子带系数组合，针对“互补”信息，采用一种基于显著性测量的“模值取大”的融合策略对源图像之间的子带系数进行组合，从而获得了很好的融合效果。

相似度测量准则和融合过程中采用的权系数或显著性因子是上述融合技术中两个关键因素。然而，与大多数基于复小波变换的图像融合方法类似，上述融合技术在融合过程中仅仅利用了复小波变换系数的幅度信息而忽略了相位信息，即所采用的相似度测量准则以及权系数和显著性因子基本上都是基于幅度定义的。复小波变换的复带通方向子带系数不仅具有幅度特性，还具有相位特性。在一定程度上，系数幅度反映了图像空间细节信息的强度，而相位反映了图像空间细节信息的纹理结构。相对于幅度，相位能够提供更多的有关图像几何特征方面的信息。例如，在复小波域，复子带系数的相对相位信息能够很好地反映图像中边缘的方向。

因此，基于幅度的相似性准则函数能够很好地判断源图像在细节信息强度方面的相似程度，而无法判断源图像在空间细节信息纹理结构方面的相似程度，在某种场合下，容易出现错误的判断结果，从而影响了融合策略的正确实施。同样，基于幅度的权系数和显著性因子，仅仅能够反映源图像在空间细节信息强度方面的显著性，使得所设计的融合技术也仅仅在能量或空间细节信息强度提取方面具有较高的融合性能，融合后图像容易出现对比度降低的情况，从而影响了融合图像的视觉质量。

发明内容

本发明的目的在于上述已有融合方法的不足，提出一种基于SCDPT变换及其幅相结合的多模态图像融合方法，以将空间细节信息更好地保留到融合图像中,提高融合图像的视觉质量。

为实现上述目的的技术思路是：利用其良好的图像几何特征表示能力，结合复系数的幅度特性构建更为精确的相似性判断准则，以及更为有效的重要性判断准则。简单地说，就是利用分解系数的相位与幅度相结合的方式，对冗余或互补信息进行更为准确、有效地判断和融合，使其具有更好的融合效果。其具体实现步骤包括如下：

(1)对已配准的第一幅图像A和第二幅图像B分别进行SCDPT分解，得到各自的变换系数 $\{C_A^J(m,n),C_A^{j,l}(m,n)\}$ 和 $\{C_B^J(m,n),C_B^{j,l}(m,n)\},$ 其中，

和

分别表示第一幅图像A和第二幅图像B在最粗糙尺度J下的低通子带系数，

和

分别表示第一幅图像A和第二幅图像B在尺度j、方向l和空间位置(m,n)处的复带通方向子带系数，L_j为第j尺度下带通方向子带的方向数，其中j＝1,2,...,J，l＝1,2,...,L_j；

(2)构建基于区域能量匹配和相对相位周期相关系数的相似性准则

(2.1)分别计算第一幅图像A在尺度j、方向l和空间位置(m,n)处的复带通方向子带系数

的相对相位： ${\mathrm{\θ}}_A^{j,l}(m,n)=\∠C_A^{j,l}(m,n)-\∠C_A^{j,l}(m,n+1),$ 以及第二幅图像B在尺度j、方向l和空间位置(m,n)处的复带通方向子带系数：

${\mathrm{\θ}}_B^{j,l}(m,n)=\∠C_B^{j,l}(m,n)-\∠C_B^{j,l}(m,n+1),$

其中

和

分别为图像A，B在尺度j、方向l、空间位置(m,n)处复带通方向子带系数的相位角；

(2.2)计算所述复带通方向子带系数

和

在以空间位置(m,n)为中心、大小为M₁×N₁的局部区域R内的周期相关系数

${\mathrm{\ρ}}_{\mathrm{AB}}^{j,l}(m,n)=\frac{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\sin ({\mathrm{\θ}}_A^{j,l}(m+u,n+v)-{\stackrel{\‾}{\mathrm{\θ}}}_A^{j,l}(m,n))\·\sin ({\mathrm{\θ}}_B^{j,l}(m+u,n+v)-{\stackrel{\‾}{\mathrm{\θ}}}_B^{j,l}(m,n))}{\sqrt{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{u=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\mathrm{si}{n}^2({\mathrm{\θ}}_A^{j,l}(m+u,n+v)-{\stackrel{\‾}{\mathrm{\θ}}}_A^{j,l}(m,n))\·{\sin }^2({\mathrm{\θ}}_B^{j,l}(m+u,n+v)-{\stackrel{\‾}{\mathrm{\θ}}}_B^{j,l}(m,n))}},$

其中，M₁＝N₁＝3，u,v分别为在局部区域R内水平和垂直方向的自变量，为图像A的复带通方向子带系数在相应局部区域R内的相对相位周期均值，

为B的复带通方向子带系数在相应局部区域R内的相对相位周期均值，

为第一幅图像A在空间位置(m+u,n+v)的相对相位，

为第二幅图像B在空间位置(m+u,n+v)的相对相位，其中，

${\stackrel{\‾}{\mathrm{\θ}}}_A^{j,l}(m,n)=\arctan \frac{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\sin \left({\mathrm{\θ}}_A^{j,l}(m+u,n+v)\right)}{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\cos \left({\mathrm{\θ}}_A^{j,l}(m+u,n+v)\right)},$

${\stackrel{\‾}{\mathrm{\θ}}}_B^{j,l}(m,n)=\arctan \frac{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\sin \left({\mathrm{\θ}}_B^{j,l}(m+u,n+v)\right)}{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\cos \left({\mathrm{\θ}}_B^{j,l}(m+u,n+v)\right)};$

(2.3)计算上述两个图像A和B的复带通方向子带系数在相应局部区域R内的能量匹配因子

${\mathrm{EM}}_{\mathrm{AB}}^{j,l}(m,n)=\frac{2\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\left|C_A^{j,l}(m+u,n+v)\right|\left|C_B^{j,l}(m+u,n+v)\right|}{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}{\left|C_A^{j,l}(m+u,n+v)\right|}^2+\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}{\left|C_B^{j,l}(m+u,n+v)\right|}^2},$

其中，

为第一幅图像A在空间位置(m+u,n+v)的复带通子带系数，

为第一幅图像B在空间位置(m+u,n+v)的复带通子带系数；

(2.4)构建基于区域能量匹配和相对相位周期方差的相似性准则

${\mathrm{CE}}_{\mathrm{AB}}^{j,l}(m,n)={\mathrm{EM}}_{\mathrm{AB}}^{j,l}(m,n)\·{\mathrm{\ρ}}_{\mathrm{AB}}^{j,l}(m,n);$

(3)针对第一幅图像A和第二幅图像B的复带通方向子带系数，定义用于系数区域类型划分的上阈值T_h(j,l)和下阈值T_l(j,l)，

T_h(j,l)＝μ(j,l)+k·σ(j,l)，

T_l(j,l)＝μ(j,l)-k·σ(j,l)，

其中，k＝2控制相似度的变化范围，μ(j,l)和σ(j,l)分别为

值的均值和标准方差；

(4)根据相似度测量准则以及下阈值T_l(j,l)和上阈值T_h(j,l)，将第一幅图像A和第二幅图像B的复带通方向子带系数划分为3类不同区域；

(5)对不同区域定义不同的融合规则进行融合，得到融合图像F的复带通方向子带系数

(6)计算第一幅图像A和第二幅图像B的低通子带系数和

之间的局部结构相似度SSIM_AB(m,n)，针对图像A和B的低通子带系数，定义下阈值T_l(J)和上阈值T_h(J)，

T_h(J)＝μ(J)+k·σ(J)，

T_l(J)＝μ(J)-k·σ(J)，

其中，k＝2控制相似度的变化范围，μ(J)和σ(J)分别表示第一幅图像A和第二幅图像B低通子带系数所有SSIM_AB(m,n)值的均值和标准方差；

(7)根据相似度测量准则SSIM_AB(m,n)以及下阈值T_l(J)和上阈值T_h(J)，将第一幅图像A和第二幅图像B的低通子带系数划分为3个不同的区域；

(8)对不同类型区域内的第一幅图像A和第二幅图像B的低通子带系数

和

分别进行融合，得到相应区域内融合图像F的低通子带系数

(9)对组合后得到的低通子带系数

和复带通方向子带系数进行SCDPT逆变换，得到融合后的图像F。

本发明具有如下效果：

1)本发明所构建的基于区域能量匹配和相对相位周期相关系数的相似性准则，结合了区域能量匹配因子和相对相位周期相关系数，能够同时判断源图像的复带通方向子带系数之间在细节信息强度和纹理结构方面的相似程度，从而能够更为准确地区分源图像之间的冗余和互补信息。

2)本发明构建的基于相对相位周期方差的权系数和显著性因子结合了复带通方向子带系数的区域能量和相对相位一致性，能够更好地表征图像中的显著特征，使得源图像的相位信息在融合过程中得到很好地保留，因此所提出的融合技术在空间信息一致性方面表现更好。

3)本发明构建的基于尺度间关联的显著性因子结合了低通子带系数的区域能量和相应区域内最粗糙尺度下的复带通方向子带系数的相对相位周期方差，因此融合后能够很好地提取源图像中的对比度信息，使得融合图像具有更好的视觉效果。

附图说明

图1为本发明图像融合方法流程框图；

图2为本发明仿真使用的源图像；

图3为采用本发明对图2融合所得到融合图像效果图。

具体实施方式

以下结合附图对本发明做进一步详细的描述。

参照图1，本发明的实现步骤如下：

第一步：对已配准的第一幅图像A和第二幅图像B分别进行SCDPT分解，得到各自的变换系数 $\{C_A^J(m,n),C_A^{j,l}(m,n)\}$ 和 $\{C_B^J(m,n),C_B^{j,l}(m,n)\},$ 其中，SCDPT分解是一种可平移复塔式变换，

和

分别表示已配准的第一幅图像A和第二幅图像B在最粗糙尺度J下的低通子带系数，和分别表示第一幅图像A和第二幅图像B在尺度j、方向l和空间位置(m,n)处的复带通方向子带系数，L_j为第j尺度下带通方向子带的方向数，其中j＝1,2,...,J，l＝1,2,...,L_j，本实施例中J取3，L₁＝4，L₂＝8和L₃＝8。

第二步：构建基于区域能量匹配和相对相位周期相关系数的相似性准则 ${\mathrm{CE}}_{\mathrm{AB}}^{j,l}(m,n):$

(2.1)分别计算第一幅图像A在尺度j、方向l和空间位置(m,n)处的复带通方向子带系数

的相对相位： ${\mathrm{\θ}}_A^{j,l}(m,n)=\∠C_A^{j,l}(m,n)-\∠C_A^{j,l}(m,n+1),$ 以及第二幅图像B在尺度j、方向l和空间位置(m,n)处的复带通方向子带系数：

${\mathrm{\θ}}_B^{j,l}(m,n)=\∠C_B^{j,l}(m,n)-\∠C_B^{j,l}(m,n+1),$

其中

和

分别为已配准的第一幅图像A和第二幅图像B在尺度j、方向l、空间位置(m,n)处复带通方向子带系数的相位角；

(2.2)计算所述复带通方向子带系数

和

在以空间位置(m,n)为中心、大小为M₁×N₁的局部区域R内的周期相关系数

${\mathrm{\ρ}}_{\mathrm{AB}}^{j,l}(m,n)=\frac{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\sin ({\mathrm{\θ}}_A^{j,l}(m+u,n+v)-{\stackrel{\‾}{\mathrm{\θ}}}_A^{j,l}(m,n))\·\sin ({\mathrm{\θ}}_B^{j,l}(m+u,n+v)-{\stackrel{\‾}{\mathrm{\θ}}}_B^{j,l}(m,n))}{\sqrt{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{u=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\mathrm{si}{n}^2({\mathrm{\θ}}_A^{j,l}(m+u,n+v)-{\stackrel{\‾}{\mathrm{\θ}}}_A^{j,l}(m,n))\·{\sin }^2({\mathrm{\θ}}_B^{j,l}(m+u,n+v)-{\stackrel{\‾}{\mathrm{\θ}}}_B^{j,l}(m,n))}},$

其中，M₁＝N₁＝3，u,v分别为在局部区域R内水平和垂直方向的自变量，

为第一幅图像A的复带通方向子带系数在相应局部区域R内的相对相位周期均值，

为第二幅图像B的复带通方向子带系数在相应局部区域R内的相对相位周期均值,

为第一幅图像A在空间位置(m+u,n+v)的相对相位，

为第二幅图像B在空间位置(m+u,n+v)的相对相位，其中

${\stackrel{\‾}{\mathrm{\θ}}}_A^{j,l}(m,n)=\arctan \frac{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\sin \left({\mathrm{\θ}}_A^{j,l}(m+u,n+v)\right)}{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\cos \left({\mathrm{\θ}}_A^{j,l}(m+u,n+v)\right)},$

${\stackrel{\‾}{\mathrm{\θ}}}_B^{j,l}(m,n)=\arctan \frac{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\sin \left({\mathrm{\θ}}_B^{j,l}(m+u,n+v)\right)}{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\cos \left({\mathrm{\θ}}_B^{j,l}(m+u,n+v)\right)};$

（2.3）计算上述已配准的第一幅图像A和第二幅图像B的复带通方向子带系数在相应局部区域R内的能量匹配因子

${\mathrm{EM}}_{\mathrm{AB}}^{j,l}(m,n)=\frac{2\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}\left|C_A^{j,l}(m+u,n+v)\right|\left|C_B^{j,l}(m+u,n+v)\right|}{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}{\left|C_A^{j,l}(m+u,n+v)\right|}^2+\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\Σ}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\Σ}}}{\left|C_B^{j,l}(m+u,n+v)\right|}^2},$

其中，

为第一幅图像A在空间位置(m+u,n+v)的复带通子带系数，

为第一幅图像B在空间位置(m+u,n+v)的复带通子带系数；

（2.4）将能量匹配因子

与相对相位周期相关系数相乘得到相似性准则

${\mathrm{CE}}_{\mathrm{AB}}^{j,l}(m,n)={\mathrm{EM}}_{\mathrm{AB}}^{j,l}(m,n)\·{\mathrm{\ρ}}_{\mathrm{AB}}^{j,l}(m,n).$

第三步：根据

分布近似符合高斯分布的特性，对已配准的第一幅图像A和第二幅图像B的复带通方向子带系数，定义用于系数区域类型划分的上阈值T_h(j,l)和下阈值T_l(j,l)，

T_h(j,l)＝μ(j,l)+k·σ(j,l)

T_l(j,l)＝μ(j,l)-k·σ(j,l)

其中，k＝2控制相似度的变化范围，μ(j,l)和σ(j,l)分别为

值的均值和标准方差；

第四步：根据相似度测量准则

以及下阈值T_l(j,l)和上阈值T_h(j,l)，将第一幅图像A和第二幅图像B的复带通方向子带系数划分为3类不同区域：

(4.1)将满足 ${\mathrm{CE}}_{\mathrm{AB}}^{j,l}(m,n)<T_h(j,l),$ 且 ${\mathrm{CE}}_{\mathrm{AB}}^{j,l}(m,n)>T_l(j,l)$ 条件的区域内系数，划分为带通第一类区域，该带通第一类区域表示第一幅图像A和第二幅图像B的复带通方向子带系数在此区域不相关；

(4.2)将满足

条件的区域内系数，划分为带通第二类区域，表示第一幅图像A和第二幅图像B的复带通方向子带系数在此区域幅值强度相似、相位相反；

(4.3)将满足

条件的区域内系数，划分为带通第三类区域，表示第一幅图像A和第二幅图像B的复带通方向子带系数在此区域幅值和相位都相似。

第五步：对不同区域定义不同的融合规则进行融合，得到融合图像F的复带通方向子带系数

(5.1)针对带通第一类区域内的复带通方向子带系数，采用基于局部区域能量的“模值取大”融合策略进行组合，得到融合图像F的复带通方向子带系数

其中，

和

分别为已配准的第一幅图像A和第二幅图像B复带通方向子带系数的局部区域能量，分别按如下公式计算：

$E_A^{j,l}(m,n)=\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\&Sigma;}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\&Sigma;}}}w(u,v){\left|C_A^{j,l}(m+u,n+v)\right|}^2,$

$E_B^{j,l}(m,n)=\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\&Sigma;}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\&Sigma;}}}w(u,v){\left|C_B^{j,l}(m+u,n+v)\right|}^2,$

w(u,v)是大小为M₁×N₁，标准方差为0.5的高斯模板，其中，j、l和(m,n)分别表示复带通方向子带系数的尺度，方向和空间位置，u,v为水平和垂直方向的自变量，M₁×N₁表示局部窗口的大小，|·|表示取模运算。

(5.2)针对带通第二类区域内的复带通方向子带系数，采用基于相对相位的局部周期方差的“模值取大”融合策略进行组合，得到融合图像F的复带通方向子带系数 $C_F^{j,l}(m,n):$

其中，和

分别为当前位置处A和B复带通方向子带系数相对相位的局部周期方差，分别按如下公式计算：

式中，

表示非负操作；

(5.3)针对带通第三类区域内的复带通方向子带系数，采用基于相对相位的局部周期方差的“加权平均”的融合策略进行组合，得到融合图像F的复带通方向子带系数 $C_F^{j,l}(m,n):$

$C_F^{j,l}(m,n)={\mathrm{\&omega;}}_A^{j,l}(m,n)C_A^{j,l}(m,n)+{\mathrm{\&omega;}}_B^{j,l}(m,n)C_B^{j,l}(m,n),$

其中为第一幅图像A的复带通方向子带系数的基于局部周期方差的权系数，

分别第二幅图像B的复带通方向子带系数的基于局部周期方差的权系数，按如下公式进行计算：

${\mathrm{\&omega;}}_A^{j,l}(m,n)=\frac{V_A^{j,l}(m,n)}{V_A^{j,l}(m,n)+V_B^{j,l}(m,n)},$

${\mathrm{\&omega;}}_B^{j,l}(m,n)=1-{\mathrm{\&omega;}}_A^{j,l}(m,n).$

第六步：计算已配准的第一幅图像A的低通子带系数

和第二幅图像B的低通子带系数

之间的局部结构相似度SSIM_AB(m,n)，针对已配准的第一幅图像A的低通子带系数和第二幅图像B的低通子带系数，定义下阈值T_l(J)和上阈值T_h(J)：

(6.1)计算第一幅图像A的低通子带系数

和第二幅图像B的低通子带系数

之间的局部结构相似度测量SSIM_AB(m,n)：

$\mathrm{SSI}{M}_{\mathrm{AB}}(m,n)=\frac{({2\mathrm{\&mu;}}_A{\mathrm{\&mu;}}_B+c_1)(2{\mathrm{\&sigma;}}_{\mathrm{AB}}+c_2)}{({\mathrm{\&mu;}}_A^2+{\mathrm{\&mu;}}_B^2+c_1)({\mathrm{\&sigma;}}_A^2+{\mathrm{\&sigma;}}_B^2+c_2)},$

其中μ_A为低通子带系数

的局部均值，μ_B低通子带系数

的局部均值，σ_A为低通子带系数

在相应局部区域内的标准方差，σ_B为低通子带系数

在相应局部区域内的标准方差，σ_AB表示

和之间的局部协方差，c₁和c₂是避免出现不稳定结果而引入的常量；

(6.2)针对第一幅图像A的低通子带系数和第二幅图像B的低通子带系数，定义下阈值T_l(J)和上阈值T_h(J)，

T_h(J)＝μ(J)+k·σ(J)

T_l(J)＝μ(J)-k·σ(J)

其中，k＝2控制相似度的变化范围，μ(J)表示低通子带系数SSIM_AB(m,n)值的均值，σ(J)表示低通子带系数SSIM_AB(m,n)的标准方差。

第七步：根据相似度测量准则SSIM_AB(m,n)以及下阈值T_l(J)和上阈值T_h(J)，将第一幅图像A的低通子带系数和第二幅图像B的低通子带系数划分为3个不同的区域：

(7.1)将满足SSIM_AB(m，n)<T_h(J)并且SSIM_AB(m，n)>T_l(J)的区域内条件的区域内系数，划分为低通第一类区域，表示低通子带系数不相似区域；

(7.2)将满足SSIM_AB(m，n)≤T_l(J)条件的区域内系数，划分为低通第二类区域，表示低通子带系数对比度相反区域；

(7.3)将满足SSIM_AB(m，n)≥T_h(J)条件的区域内系数，划分为低通第三类区域，表示低通子带系数相似度较高区域。

第八步：对不同类型区域内的已配准的第一幅图像A的低通子带系数

和第二幅图像B的低通子带系数

分别进行融合，得到相应区域内融合图像F的低通子带系数

(8.1)针对低通第一类区域内第一幅图像A的低通子带系数和第二幅图像B的低通子带系数，采用基于局部区域能量的“模值取大”融合策略进行组合：

为第一幅图像A的低通子带系数局部区域能量，

为第二幅图像B的低通子带系数的局部区域能量，其定义如下：

其中，J和(m,n)分别表示复带通方向子带系数的最粗糙尺度和空间位置，u,v为水平和垂直方向的自变量，

表示位于(m+u,n+v)的第一幅图像A的低通子带系数，

表示位于(m+u,n+v)的第二幅图像B的低通子带系数，|·|表示取模运算。

(8.2)针对低通第二类区域内第一幅图像A的低通子带系数和第二幅图像B的低通子带系数，采用基于尺度间关联的“模值取大”融合策略进行组合，得到相应区域内融合图像F的低通子带系数

其中，α_A(m,n)为第一幅图像A的低通子带系数的ISM显著性因子，α_B(m,n)为第二幅图像B的低通子带系数的ISM显著性因子，按如下公式构建：

${\mathrm{\&alpha;}}_A(m,n)=E_A^J(m,n)\underset{l}{\max }\left(V_A^{J,l}(m,n)\right),$

${\mathrm{\&alpha;}}_B(m,n)=E_B^J(m,n)\underset{l}{\max }\left(V_B^{J,l}(m,n)\right),$

式中，

表示第一幅图像A的低通子带系数的局部区域能量，表示第二幅图像B的低通子带系数的局部区域能量，

为图像A在尺度J、方向l、空间位置(m,n)处的复带通方向子带系数的相对相位周期方差，

为图像B在尺度J、方向l、空间位置(m,n)处的复带通方向子带系数的相对相位周期方差；

(8.3)针对低通第三类区域内第一幅图像A的低通子带系数和第二幅图像B的低通子带系数，采用基于局部区域能量的“加权平均”的融合策略进行组合，得到相应区域内融合图像F的低通子带系数

$C_F^J(m,n)={\mathrm{\&omega;}}_A^J(m,n)C_A^J(m,n)+{\mathrm{\&omega;}}_B^J(m,n)C_B^J(m,n),$

其中

分别为第一幅图像A的低通子带系数和第二幅图像B的低通子带系数的基于“局部区域能量”的权系数，按如下公式构建：

${\mathrm{\&omega;}}_A^J(m,n)=\frac{E_A^J(m,n)}{E_A^J(m,n)+E_B^J(m,n)},$

${\mathrm{\&omega;}}_B^J(m,n)=1-{\mathrm{\&omega;}}_A^J(m,n).$

第九步：对组合后得到的低通子带系数

和复带通方向子带系数

进行SCDPT逆变换，得到融合后的图像F。

本发明的效果可以通过以下仿真进一步说明：

为验证本发明的有效性和正确性，采用四组多模态图像进行融合实验，并且用两种已有的图像融合方法和本发明方法进行仿真比较。所有仿真实验均在Windows XP操作系统下采用Matlab 2009软件实现。

仿真内容：采用现有的SCPDT-EM以及SCPDT-SSIM图像融合方法，以及本发明融合方法对图2所示的源图像进行融合，融合效果显示在图3。

其中：图2(a)为红外图像，图2(b)为可见光图像，图2(c)为可见光图像，图2(d)为红外图像，图2(e)和图2(f)为两个不同波段的遥感图像，图2(g)和图2(h)为两个不同波段的遥感图像。

图3(a)为采用SCPDT-EM方法对图2(a)和图2(b)的融合结果；图3(b)为采用SCPDT-SSIM方法对图2(a)和图2(b)的融合结果；图3(c)为采用本发明融合方法对图2(a)和图2(b)的融合结果；图3(d)为采用SCPDT-EM方法对图2(c)和图2(d)的融合结果；图3(e)为采用SCPDT-SSIM方法对图2(c)和图2(d)的融合结果；图3(f)为采用本发明融合方法对图2(c)和图2(d)的融合结果；图3(g)为采用SCPDT-EM方法对图2(e)和图2(f)的融合结果；图3(h)为采用SCPDT-SSIM方法对图2(e)和图2(f)的融合结果；图3(i)为采用本发明融合方法对图2(e)和图2(f)的融合结果；图3(j)为采用SCPDT-EM方法对图2(g)和图2(h)的融合结果；图3(k)为采用SCPDT-SSIM方法对图2(g)和图2(h)的融合结果；图3(1)为采用本发明融合方法对图2(g)和图2(h)的融合结果。

从实验效果可以看出本发明能更好的提取细节和对比度信息，并将其注入融合图像中。

另一方面，我们采用当前通用的融合性能评价标准，例如信息熵IE，平均梯度AG，梯度信息保留Q_G和相位信息保留Q_P等客观评价因子对融合图像进行客观评价。信息熵IE表示的是融合图像中总体信息的丰富程度，平均梯度AG表示融合图像细节信息的丰富程度，梯度信息保留度Q_G表示源图像注入到融合图像中细节信息的比例，相位信息保留Q_P表示源图像与融合图像的相位信息的相似程度。

表1给出了采用不同融合方法对所述四组源图像进行融合后，所得融合图像的性能评价结果，A和B为输入的两幅源图像，F为融合图像。

表1不同融合方法的性能评价

从表1可以得到如下结论：IE(F)和AG(F)因子表明，相对于其他两种的融合方法，本发明的融合技术得到的融合图像F包含了更多有用信息，具有更高的清晰度；Q_G(A,B,F)因子表明采用本发明所构建的融合技术能够更好地提取和保留源图像中的梯度信息；Q_P(A,B,F)表明采用本发明融合技术得到的融合图像F和源图像A，B之间在相位一致性方面具有更高的相似程度，从而表明本发明融合技术能够更好地提取源图像中的相位信息，具有更好的空间一致性。

Claims (5)

1.一种基于SCPDT复变换及其系数幅相结合的多模态图像融合方法，包括如下步骤：

(1)对已配准的第一幅图像A和第二幅图像B分别进行SCDPT分解，得到各自的变换系数 $\{C_A^J(m,n),C_A^{j,l}(m,n)\}$ 和 $\{C_B^J(m,n),C_B^{j,l}(m,n)\},$ 其中，

和

分别表示第一幅图像A和第二幅图像B在最粗糙尺度J下的低通子带系数，

和

分别表示第一幅图像A和第二幅图像B在尺度j、方向l和空间位置(m,n)处的复带通方向子带系数，L_j为第j尺度下带通方向子带的方向数，其中j＝1,2,...,J，l＝1,2,...,L_j；

(2)构建基于区域能量匹配和相对相位周期相关系数的相似性准则

(2.1)分别计算第一幅图像A在尺度j、方向l和空间位置(m,n)处的复带通方向子带系数

的相对相位： ${\mathrm{\&theta;}}_A^{j,l}(m,n)=\&angle;C_A^{j,l}(m,n)-\&angle;C_A^{j,l}(m,n+1),$ 以及第二幅图像B在尺度j、方向l和空间位置(m,n)处的复带通方向子带系数：

${\mathrm{\&theta;}}_B^{j,l}(m,n)=\&angle;C_B^{j,l}(m,n)-\&angle;C_B^{j,l}(m,n+1),$

其中

和

分别为图像A，B在尺度j、方向l、空间位置(m,n)处复带通方向子带系数的相位角；

(2.2)计算所述复带通方向子带系数

和在以空间位置(m,n)为中心、大小为M₁×N₁的局部区域R内的周期相关系数

${\mathrm{\&rho;}}_{\mathrm{AB}}^{j,l}(m,n)=\frac{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\&Sigma;}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\&Sigma;}}}\sin ({\mathrm{\&theta;}}_A^{j,l}(m+u,n+v)-{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_A^{j,l}(m,n))\&CenterDot;\sin ({\mathrm{\&theta;}}_B^{j,l}(m+u,n+v)-{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_B^{j,l}(m,n))}{\sqrt{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\&Sigma;}}}\underset{u=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\&Sigma;}}}\mathrm{si}{n}^2({\mathrm{\&theta;}}_A^{j,l}(m+u,n+v)-{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_A^{j,l}(m,n))\&CenterDot;{\sin }^2({\mathrm{\&theta;}}_B^{j,l}(m+u,n+v)-{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_B^{j,l}(m,n))}},$

其中，M₁＝N₁＝3，u,v分别为在局部区域R内水平和垂直方向的自变量，为图像A的复带通方向子带系数在相应局部区域R内的相对相位周期均值，

为B的复带通方向子带系数在相应局部区域R内的相对相位周期均值，为第一幅图像A在空间位置(m+u,n+v)的相对相位，

为第二幅图像B在空间位置(m+u,n+v)的相对相位，其中，

${\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_A^{j,l}(m,n)=\arctan \frac{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\&Sigma;}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\&Sigma;}}}\sin \left({\mathrm{\&theta;}}_A^{j,l}(m+u,n+v)\right)}{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\&Sigma;}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\&Sigma;}}}\cos \left({\mathrm{\&theta;}}_A^{j,l}(m+u,n+v)\right)};$

(2.3)计算上述两个图像A和B的复带通方向子带系数在相应局部区域R内的能量匹配因子

${\mathrm{EM}}_{\mathrm{AB}}^{j,l}(m,n)=\frac{2\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\&Sigma;}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\&Sigma;}}}\left|C_A^{j,l}(m+u,n+v)\right|\left|C_B^{j,l}(m+u,n+v)\right|}{\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\&Sigma;}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\&Sigma;}}}{\left|C_A^{j,l}(m+u,n+v)\right|}^2+\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\&Sigma;}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\&Sigma;}}}{\left|C_B^{j,l}(m+u,n+v)\right|}^2},$

其中，

为第一幅图像A在空间位置(m+u,n+v)的复带通子带系数，为第一幅图像B在空间位置(m+u,n+v)的复带通子带系数；

(2.4)构建基于区域能量匹配和相对相位周期方差的相似性准则

${\mathrm{CE}}_{\mathrm{AB}}^{j,l}(m,n)={\mathrm{EM}}_{\mathrm{AB}}^{j,l}(m,n)\&CenterDot;{\mathrm{\&rho;}}_{\mathrm{AB}}^{j,l}(m,n);$

(3)针对第一幅图像A和第二幅图像B的复带通方向子带系数，定义用于系数区域类型划分的上阈值T_h(j,l)和下阈值T_l(j,l)，

T_h(j,l)＝μ(j,l)+k·σ(j,l)，

T_l(j,l)＝μ(j,l)-k·σ(j,l)，

其中，k＝2控制相似度的变化范围，μ(j,l)和σ(j,l)分别为

值的均值和标准方差；

(4)根据相似度测量准则

以及下阈值T_l(j,l)和上阈值T_h(j,l)，将第一幅图像A和第二幅图像B的复带通方向子带系数划分为3类不同区域；

(5)对不同区域定义不同的融合规则进行融合，得到融合图像F的复带通方向子带系数

(6)计算第一幅图像A和第二幅图像B的低通子带系数

和之间的局部结构相似度SSIM_AB(m,n)，针对图像A和B的低通子带系数，定义下阈值T_l(J)和上阈值T_h(J)，

T_h(J)＝μ(J)+k·σ(J)，

T_l(J)＝μ(J)-k·σ(J)，

其中，k＝2控制相似度的变化范围，μ(J)和σ(J)分别表示第一幅图像A和第二幅图像B低通子带系数所有SSIM_AB(m,n)值的均值和标准方差；

(7)根据相似度测量准则SSIM_AB(m,n)以及下阈值T_l(J)和上阈值T_h(J)，将第一幅图像A和第二幅图像B的低通子带系数划分为3个不同的区域；

(8)对不同类型区域内的第一幅图像A和第二幅图像B的低通子带系数

和分别进行融合，得到相应区域内融合图像F的低通子带系数

(9)对组合后得到的低通子带系数

和复带通方向子带系数

进行SCDPT逆变换，得到融合后的图像F。

2.根据权利要求1所述的融合方法，其特征在于步骤(4)中所述的根据相似度测量准则

以及下阈值T_l(j,l)和上阈值T_h(j,l)，将第一幅图像A和第二幅图像B的复带通方向子带系数划分为3类不同区域，按如下步骤进行：

(4a)将满足 ${\mathrm{CE}}_{\mathrm{AB}}^{j,l}(m,n)<T_h(j,l),$ 且 ${\mathrm{CE}}_{\mathrm{AB}}^{j,l}(m,n)>T_l(j,l)$ 条件的区域内系数，划分为带通第一类区域，表示第一幅图像A和第二幅图像B的复带通方向子带系数在此区域不相关；

(4b)将满足

条件的区域内系数，划分为带通第二类区域，表示第一幅图像A和第二幅图像B的复带通方向子带系数在此区域幅值强度相似、相位相反；

(4c)将满足

条件的区域内系数，划分为带通第三类区域，表示第一幅图像A和第二幅图像B的复带通方向子带系数在此区域幅值和相位都相似，

其中，j、l和(m,n)分别表示复带通方向子带系数的尺度，方向和空间位置。

3.根据权利要求1所述的融合方法，其特征在于步骤(5)中所述的对不同区域定义不同的融合规则进行融合，得到融合图像F的复带通方向子带系数

按如下步骤进行：

(5a)针对带通第一类区域内的复带通方向子带系数，采用基于局部区域能量的“模值取大”融合策略进行组合：

其中，

和分别为第一幅图像A和第二幅图像B复带通方向子带系数的局部区域能量，分别按如下公式计算：

$E_A^{j,l}(m,n)=\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\&Sigma;}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\&Sigma;}}}w(u,v){\left|C_A^{j,l}(m+u,n+v)\right|}^2,$

$E_B^{j,l}(m,n)=\underset{u=-(M_1-1)/2}{\overset{(M_1-1)/2}{\mathrm{\&Sigma;}}}\underset{v=-(N_1-1)/2}{\overset{(N_1-1)/2}{\mathrm{\&Sigma;}}}w(u,v){\left|C_B^{j,l}(m+u,n+v)\right|}^2,$

w(u,v)是大小为M₁×N₁，标准方差为0.5的高斯模板，其中，j、l和(m,n)分别表示复带通方向子带系数的尺度，方向和空间位置，u,v为水平和垂直方向的自变量，M₁×N₁表示局部窗口的大小，|·|表示取模运算；

(5b)针对带通第二类区域内的复带通方向子带系数，采用基于相对相位的局部周期方差的“模值取大”融合策略进行组合：

其中，

和

分别为第一幅图像A和第二幅图像B的复带通方向子带系数相对相位的局部周期方差，分别按如下公式计算：

式中，

表示非负操作；

(5c)针对带通第三类区域内的复带通方向子带系数，采用基于相对相位的局部周期方差的“加权平均”的融合策略进行组合：

$C_F^{j,l}(m,n)={\mathrm{\&omega;}}_A^{j,l}(m,n)C_A^{j,l}(m,n)+{\mathrm{\&omega;}}_B^{j,l}(m,n)C_B^{j,l}(m,n),$

其中

为分别第一幅图像A和第二幅图像B的复带通方向子带系数的基于局部周期方差的权系数，按如下公式进行计算：

${\mathrm{\&omega;}}_A^{j,l}(m,n)=\frac{V_A^{j,l}(m,n)}{V_A^{j,l}(m,n)+V_B^{j,l}(m,n)},$

${\mathrm{\&omega;}}_B^{j,l}(m,n)=1-{\mathrm{\&omega;}}_A^{j,l}(m,n).$

4.根据权利要求1所述的融合方法，其特征在于步骤(7)中所述的根据相似度测量准则SSIM_AB(m,n)以及下阈值T_l(J)和上阈值T_h(J)，将第一幅图像A和第二幅图像B的低通子带系数划分为3个不同的区域，包括如下步骤：

(7a)将满足SSIM_AB(m，n)<T_h(J)并且SSIM_AB(m，n)>T_l(J)的区域内条件的区域内系数，划分为低通第一类区域，表示低通子带系数不相似区域；

(7b)将满足SSIM_AB(m,n)≤T_l(J)条件的区域内系数，划分为低通第二类区域，表示低通子带系数对比度相反区域；

(7c)将满足SSIM_AB(m,n)≥T_h(J)条件的区域内系数，划分为低通第三类区域，表示低通子带系数相似度较高区域，

其中，J和(m,n)分别表示复带通方向子带系数的最粗糙尺度和空间位置。

5.根据权利要求1所述的融合方法，其特征在于步骤(8)中所述的对不同类型区域内的第一幅图像A和第二幅图像B的低频子带系数

和分别进行融合，得到相应区域内融合图像F的低通子带系数按如下步骤进行：

(8a)针对低通第一类区域内第一幅图像A和第二幅图像B的低通子带系数，采用基于局部区域能量的“模值取大”融合策略进行组合：

和

为当前位置处第一幅图像A和第二幅图像B的低通子带系数

和

的局部区域能量，其定义如下：

其中，J和(m,n)分别表示复带通方向子带系数的最粗糙尺度和空间位置，u,v为水平和垂直方向的自变量，

表示位于(m+u,n+v)的第一幅图像A的低通子带系数，

表示位于(m+u,n+v)的第二幅图像B的低通子带系数，|·|表示取模运算；

(8b)针对低通第二类区域内的第一幅图像A和第二幅图像B的低通子带系数，采用基于尺度间关联的“模值取大”融合策略进行组合：

其中，α_A(m,n)，α_B(m,n)分别为第一幅图像A和第二幅图像B的低通子带系数的ISM显著性因子，按如下公式构建：

${\mathrm{\&alpha;}}_A(m,n)=E_A^J(m,n)\underset{l}{\max }\left(V_A^{J,l}(m,n)\right),$

${\mathrm{\&alpha;}}_B(m,n)=E_B^J(m,n)\underset{l}{\max }\left(V_B^{J,l}(m,n)\right),$

式中，

和

分别表示第一幅图像A和第二幅图像B的低通子带系数的局部区域能量，

和

分别为第一幅图像A和第二幅图像B在尺度J、方向l、空间位置(m,n)处的复带通方向子带系数的相对相位周期方差；

(8c)针对低通第三类区域内第一幅图像A和第二幅图像B的低通子带系数，采用基于局部区域能量的“加权平均”的融合策略进行组合：

$C_F^J(m,n)={\mathrm{\&omega;}}_A^J(m,n)C_A^J(m,n)+{\mathrm{\&omega;}}_B^J(m,n)C_B^J(m,n),$

其中

分别为第一幅图像A和第二幅图像B的低通子带系数的基于“局部区域能量”的权系数，按如下公式构建：

${\mathrm{\&omega;}}_A^J(m,n)=\frac{E_A^J(m,n)}{E_A^J(m,n)+E_B^J(m,n)},$

${\mathrm{\&omega;}}_B^J(m,n)=1-{\mathrm{\&omega;}}_A^J(m,n).$

Images