CN102800079B - 基于scdpt变换及其幅相结合的多模态图像融合方法 - Google Patents
基于scdpt变换及其幅相结合的多模态图像融合方法 Download PDFInfo
- Publication number
- CN102800079B CN102800079B CN201210275279.5A CN201210275279A CN102800079B CN 102800079 B CN102800079 B CN 102800079B CN 201210275279 A CN201210275279 A CN 201210275279A CN 102800079 B CN102800079 B CN 102800079B
- Authority
- CN
- China
- Prior art keywords
- image
- coefficient
- subband coefficient
- low pass
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于幅度和相位联合的多模态图像融合方法,主要解决现有融合技术不能充分利用源图像相位信息的问题。其实现过程为:采用SCDPT变换对源图像进行多尺度多方向分解,得到不同子带系数;针对复带通方向子带系数,构建能量匹配和周期相关系数相结合的相似度因子进行相似测量,并用基于局部区域能量和相对相位周期方差的融合规则进行组合,得到融合图像带通方向子带系数;针对低通子带系数,利用结构相似度因子进行相似测量,并采用基于尺度间子带系数联合统计的融合规则进行组合,得到融合图像低通子带系数;对融合图像子带系数进作SCDPT逆变换,得到融合图像。本发明能够很好地保留源图像中的相位信息,具有很高的空间一致性。
Description
技术领域
本发明涉及图像处理领域,具体的说是涉及一种图像融合方法,可用于多模态图像之间的融合。
背景技术
近年来,随着成像传感器技术的发展,多模态图像融合已经成为图像理解、计算机视觉等领域中一项重要的技术。由于具有优良的多尺度、多方向和平移不变特性,并且具有较低地的运算复杂度和冗余度,复小波变换广泛应用于多模态图像融合技术中,例如I.Styliani,K.Vassilia,“Investigation of the dual-tree complex and shift-invariantdiscrete wavelet transforms on Quickbird image fusion”,IEEE Geoscience and RemoteSensing Letters,Vol.4,No.1,2007,pp.166-170.及J.J.Lewis,R.J.O’Callaghan,et al.,“Pixel-and region-based image fusion with complex wavelets”,Information Fusion,Vol.8,No.2,2007,pp.119-130.两篇文献公开的技术均属于基于复小波变换的多模态图像融合方法。
在上述基于复小波变换的图像融合方法中,除了所采用的复小波变换工具,融合规则,即如何在复小波域中对源图像之间的各子带系数进行组合得到融合图像的子带系数,也是一个关键的技术。由于成像机理不同,多模态图像之间存在大量的“冗余”和“互补”信息。简单地采用“加权平均”或“模值取大”的融合策略,而对源图像之间的“冗余”或“互补”信息不加区分,容易造成信息丢失或对比度降低等问题。
目前,针对多模态图像之间的融合,基于多相似度测量的融合方法是一类比较有效的融合方法,例如Q.Zhang,L.Wang,et al.,“Similarity-based multimodality imagefusion with shiftable complex directional pyramid”,Pattern Recognition Letters,vol.32,No.13,2011,pp.1544-1553.文献公开的技术。此类融合技术首先采用复小波变换将源图像分解到不同频率子带中;然后,针对不同频率子带,采用各自的相似度测量准则判断待融合图像之间的“冗余”和“互补”信息;最后,针对“冗余”信息,采用一种“加权平均”的融合策略对源图像之间的子带系数组合,针对“互补”信息,采用一种基于显著性测量的“模值取大”的融合策略对源图像之间的子带系数进行组合,从而获得了很好的融合效果。
相似度测量准则和融合过程中采用的权系数或显著性因子是上述融合技术中两个关键因素。然而,与大多数基于复小波变换的图像融合方法类似,上述融合技术在融合过程中仅仅利用了复小波变换系数的幅度信息而忽略了相位信息,即所采用的相似度测量准则以及权系数和显著性因子基本上都是基于幅度定义的。复小波变换的复带通方向子带系数不仅具有幅度特性,还具有相位特性。在一定程度上,系数幅度反映了图像空间细节信息的强度,而相位反映了图像空间细节信息的纹理结构。相对于幅度,相位能够提供更多的有关图像几何特征方面的信息。例如,在复小波域,复子带系数的相对相位信息能够很好地反映图像中边缘的方向。
因此,基于幅度的相似性准则函数能够很好地判断源图像在细节信息强度方面的相似程度,而无法判断源图像在空间细节信息纹理结构方面的相似程度,在某种场合下,容易出现错误的判断结果,从而影响了融合策略的正确实施。同样,基于幅度的权系数和显著性因子,仅仅能够反映源图像在空间细节信息强度方面的显著性,使得所设计的融合技术也仅仅在能量或空间细节信息强度提取方面具有较高的融合性能,融合后图像容易出现对比度降低的情况,从而影响了融合图像的视觉质量。
发明内容
本发明的目的在于上述已有融合方法的不足,提出一种基于SCDPT变换及其幅相结合的多模态图像融合方法,以将空间细节信息更好地保留到融合图像中,提高融合图像的视觉质量。
为实现上述目的的技术思路是:利用其良好的图像几何特征表示能力,结合复系数的幅度特性构建更为精确的相似性判断准则,以及更为有效的重要性判断准则。简单地说,就是利用分解系数的相位与幅度相结合的方式,对冗余或互补信息进行更为准确、有效地判断和融合,使其具有更好的融合效果。其具体实现步骤包括如下:
(1)对已配准的第一幅图像A和第二幅图像B分别进行SCDPT分解,得到各自的变换系数 和 其中,和分别表示第一幅图像A和第二幅图像B在最粗糙尺度J下的低通子带系数,和分别表示第一幅图像A和第二幅图像B在尺度j、方向l和空间位置(m,n)处的复带通方向子带系数,Lj为第j尺度下带通方向子带的方向数,其中j=1,2,...,J,l=1,2,...,Lj;
(2)构建基于区域能量匹配和相对相位周期相关系数的相似性准则
(2.1)分别计算第一幅图像A在尺度j、方向l和空间位置(m,n)处的复带通方向子带系数的相对相位: 以及第二幅图像B在尺度j、方向l和空间位置(m,n)处的复带通方向子带系数:
其中和分别为图像A,B在尺度j、方向l、空间位置(m,n)处复带通方向子带系数的相位角;
(2.2)计算所述复带通方向子带系数和在以空间位置(m,n)为中心、大小为M1×N1的局部区域R内的周期相关系数
其中,M1=N1=3,u,v分别为在局部区域R内水平和垂直方向的自变量,为图像A的复带通方向子带系数在相应局部区域R内的相对相位周期均值,为B的复带通方向子带系数在相应局部区域R内的相对相位周期均值,为第一幅图像A在空间位置(m+u,n+v)的相对相位,为第二幅图像B在空间位置(m+u,n+v)的相对相位,其中,
(2.3)计算上述两个图像A和B的复带通方向子带系数在相应局部区域R内的能量匹配因子
其中,为第一幅图像A在空间位置(m+u,n+v)的复带通子带系数,为第一幅图像B在空间位置(m+u,n+v)的复带通子带系数;
(2.4)构建基于区域能量匹配和相对相位周期方差的相似性准则
(3)针对第一幅图像A和第二幅图像B的复带通方向子带系数,定义用于系数区域类型划分的上阈值Th(j,l)和下阈值Tl(j,l),
Th(j,l)=μ(j,l)+k·σ(j,l),
Tl(j,l)=μ(j,l)-k·σ(j,l),
其中,k=2控制相似度的变化范围,μ(j,l)和σ(j,l)分别为值的均值和标准方差;
(4)根据相似度测量准则以及下阈值Tl(j,l)和上阈值Th(j,l),将第一幅图像A和第二幅图像B的复带通方向子带系数划分为3类不同区域;
(5)对不同区域定义不同的融合规则进行融合,得到融合图像F的复带通方向子带系数
(6)计算第一幅图像A和第二幅图像B的低通子带系数和之间的局部结构相似度SSIMAB(m,n),针对图像A和B的低通子带系数,定义下阈值Tl(J)和上阈值Th(J),
Th(J)=μ(J)+k·σ(J),
Tl(J)=μ(J)-k·σ(J),
其中,k=2控制相似度的变化范围,μ(J)和σ(J)分别表示第一幅图像A和第二幅图像B低通子带系数所有SSIMAB(m,n)值的均值和标准方差;
(7)根据相似度测量准则SSIMAB(m,n)以及下阈值Tl(J)和上阈值Th(J),将第一幅图像A和第二幅图像B的低通子带系数划分为3个不同的区域;
(8)对不同类型区域内的第一幅图像A和第二幅图像B的低通子带系数和分别进行融合,得到相应区域内融合图像F的低通子带系数
(9)对组合后得到的低通子带系数和复带通方向子带系数进行SCDPT逆变换,得到融合后的图像F。
本发明具有如下效果:
1)本发明所构建的基于区域能量匹配和相对相位周期相关系数的相似性准则,结合了区域能量匹配因子和相对相位周期相关系数,能够同时判断源图像的复带通方向子带系数之间在细节信息强度和纹理结构方面的相似程度,从而能够更为准确地区分源图像之间的冗余和互补信息。
2)本发明构建的基于相对相位周期方差的权系数和显著性因子结合了复带通方向子带系数的区域能量和相对相位一致性,能够更好地表征图像中的显著特征,使得源图像的相位信息在融合过程中得到很好地保留,因此所提出的融合技术在空间信息一致性方面表现更好。
3)本发明构建的基于尺度间关联的显著性因子结合了低通子带系数的区域能量和相应区域内最粗糙尺度下的复带通方向子带系数的相对相位周期方差,因此融合后能够很好地提取源图像中的对比度信息,使得融合图像具有更好的视觉效果。
附图说明
图1为本发明图像融合方法流程框图;
图2为本发明仿真使用的源图像;
图3为采用本发明对图2融合所得到融合图像效果图。
具体实施方式
以下结合附图对本发明做进一步详细的描述。
参照图1,本发明的实现步骤如下:
第一步:对已配准的第一幅图像A和第二幅图像B分别进行SCDPT分解,得到各自的变换系数 和 其中,SCDPT分解是一种可平移复塔式变换,和分别表示已配准的第一幅图像A和第二幅图像B在最粗糙尺度J下的低通子带系数,和分别表示第一幅图像A和第二幅图像B在尺度j、方向l和空间位置(m,n)处的复带通方向子带系数,Lj为第j尺度下带通方向子带的方向数,其中j=1,2,...,J,l=1,2,...,Lj,本实施例中J取3,L1=4,L2=8和L3=8。
第二步:构建基于区域能量匹配和相对相位周期相关系数的相似性准则
(2.1)分别计算第一幅图像A在尺度j、方向l和空间位置(m,n)处的复带通方向子带系数的相对相位: 以及第二幅图像B在尺度j、方向l和空间位置(m,n)处的复带通方向子带系数:
其中和分别为已配准的第一幅图像A和第二幅图像B在尺度j、方向l、空间位置(m,n)处复带通方向子带系数的相位角;
(2.2)计算所述复带通方向子带系数和在以空间位置(m,n)为中心、大小为M1×N1的局部区域R内的周期相关系数
其中,M1=N1=3,u,v分别为在局部区域R内水平和垂直方向的自变量,为第一幅图像A的复带通方向子带系数在相应局部区域R内的相对相位周期均值,为第二幅图像B的复带通方向子带系数在相应局部区域R内的相对相位周期均值,为第一幅图像A在空间位置(m+u,n+v)的相对相位,为第二幅图像B在空间位置(m+u,n+v)的相对相位,其中
(2.3)计算上述已配准的第一幅图像A和第二幅图像B的复带通方向子带系数在相应局部区域R内的能量匹配因子
其中,为第一幅图像A在空间位置(m+u,n+v)的复带通子带系数,为第一幅图像B在空间位置(m+u,n+v)的复带通子带系数;
(2.4)将能量匹配因子与相对相位周期相关系数相乘得到相似性准则
第三步:根据分布近似符合高斯分布的特性,对已配准的第一幅图像A和第二幅图像B的复带通方向子带系数,定义用于系数区域类型划分的上阈值Th(j,l)和下阈值Tl(j,l),
Th(j,l)=μ(j,l)+k·σ(j,l)
Tl(j,l)=μ(j,l)-k·σ(j,l)
其中,k=2控制相似度的变化范围,μ(j,l)和σ(j,l)分别为值的均值和标准方差;
第四步:根据相似度测量准则以及下阈值Tl(j,l)和上阈值Th(j,l),将第一幅图像A和第二幅图像B的复带通方向子带系数划分为3类不同区域:
(4.1)将满足 且 条件的区域内系数,划分为带通第一类区域,该带通第一类区域表示第一幅图像A和第二幅图像B的复带通方向子带系数在此区域不相关;
(4.2)将满足条件的区域内系数,划分为带通第二类区域,表示第一幅图像A和第二幅图像B的复带通方向子带系数在此区域幅值强度相似、相位相反;
(4.3)将满足条件的区域内系数,划分为带通第三类区域,表示第一幅图像A和第二幅图像B的复带通方向子带系数在此区域幅值和相位都相似。
第五步:对不同区域定义不同的融合规则进行融合,得到融合图像F的复带通方向子带系数
(5.1)针对带通第一类区域内的复带通方向子带系数,采用基于局部区域能量的“模值取大”融合策略进行组合,得到融合图像F的复带通方向子带系数
其中,和分别为已配准的第一幅图像A和第二幅图像B复带通方向子带系数的局部区域能量,分别按如下公式计算:
w(u,v)是大小为M1×N1,标准方差为0.5的高斯模板,其中,j、l和(m,n)分别表示复带通方向子带系数的尺度,方向和空间位置,u,v为水平和垂直方向的自变量,M1×N1表示局部窗口的大小,|·|表示取模运算。
(5.2)针对带通第二类区域内的复带通方向子带系数,采用基于相对相位的局部周期方差的“模值取大”融合策略进行组合,得到融合图像F的复带通方向子带系数
其中,和分别为当前位置处A和B复带通方向子带系数相对相位的局部周期方差,分别按如下公式计算:
式中,表示非负操作;
(5.3)针对带通第三类区域内的复带通方向子带系数,采用基于相对相位的局部周期方差的“加权平均”的融合策略进行组合,得到融合图像F的复带通方向子带系数
其中为第一幅图像A的复带通方向子带系数的基于局部周期方差的权系数,分别第二幅图像B的复带通方向子带系数的基于局部周期方差的权系数,按如下公式进行计算:
第六步:计算已配准的第一幅图像A的低通子带系数和第二幅图像B的低通子带系数之间的局部结构相似度SSIMAB(m,n),针对已配准的第一幅图像A的低通子带系数和第二幅图像B的低通子带系数,定义下阈值Tl(J)和上阈值Th(J):
(6.1)计算第一幅图像A的低通子带系数和第二幅图像B的低通子带系数之间的局部结构相似度测量SSIMAB(m,n):
其中μA为低通子带系数的局部均值,μB低通子带系数的局部均值,σA为低通子带系数在相应局部区域内的标准方差,σB为低通子带系数在相应局部区域内的标准方差,σAB表示和之间的局部协方差,c1和c2是避免出现不稳定结果而引入的常量;
(6.2)针对第一幅图像A的低通子带系数和第二幅图像B的低通子带系数,定义下阈值Tl(J)和上阈值Th(J),
Th(J)=μ(J)+k·σ(J)
Tl(J)=μ(J)-k·σ(J)
其中,k=2控制相似度的变化范围,μ(J)表示低通子带系数SSIMAB(m,n)值的均值,σ(J)表示低通子带系数SSIMAB(m,n)的标准方差。
第七步:根据相似度测量准则SSIMAB(m,n)以及下阈值Tl(J)和上阈值Th(J),将第一幅图像A的低通子带系数和第二幅图像B的低通子带系数划分为3个不同的区域:
(7.1)将满足SSIMAB(m,n)<Th(J)并且SSIMAB(m,n)>Tl(J)的区域内条件的区域内系数,划分为低通第一类区域,表示低通子带系数不相似区域;
(7.2)将满足SSIMAB(m,n)≤Tl(J)条件的区域内系数,划分为低通第二类区域,表示低通子带系数对比度相反区域;
(7.3)将满足SSIMAB(m,n)≥Th(J)条件的区域内系数,划分为低通第三类区域,表示低通子带系数相似度较高区域。
第八步:对不同类型区域内的已配准的第一幅图像A的低通子带系数和第二幅图像B的低通子带系数分别进行融合,得到相应区域内融合图像F的低通子带系数
(8.1)针对低通第一类区域内第一幅图像A的低通子带系数和第二幅图像B的低通子带系数,采用基于局部区域能量的“模值取大”融合策略进行组合:
为第一幅图像A的低通子带系数局部区域能量,为第二幅图像B的低通子带系数的局部区域能量,其定义如下:
其中,J和(m,n)分别表示复带通方向子带系数的最粗糙尺度和空间位置,u,v为水平和垂直方向的自变量,表示位于(m+u,n+v)的第一幅图像A的低通子带系数,表示位于(m+u,n+v)的第二幅图像B的低通子带系数,|·|表示取模运算。
(8.2)针对低通第二类区域内第一幅图像A的低通子带系数和第二幅图像B的低通子带系数,采用基于尺度间关联的“模值取大”融合策略进行组合,得到相应区域内融合图像F的低通子带系数
其中,αA(m,n)为第一幅图像A的低通子带系数的ISM显著性因子,αB(m,n)为第二幅图像B的低通子带系数的ISM显著性因子,按如下公式构建:
式中,表示第一幅图像A的低通子带系数的局部区域能量,表示第二幅图像B的低通子带系数的局部区域能量,为图像A在尺度J、方向l、空间位置(m,n)处的复带通方向子带系数的相对相位周期方差,为图像B在尺度J、方向l、空间位置(m,n)处的复带通方向子带系数的相对相位周期方差;
(8.3)针对低通第三类区域内第一幅图像A的低通子带系数和第二幅图像B的低通子带系数,采用基于局部区域能量的“加权平均”的融合策略进行组合,得到相应区域内融合图像F的低通子带系数
其中分别为第一幅图像A的低通子带系数和第二幅图像B的低通子带系数的基于“局部区域能量”的权系数,按如下公式构建:
第九步:对组合后得到的低通子带系数和复带通方向子带系数进行SCDPT逆变换,得到融合后的图像F。
本发明的效果可以通过以下仿真进一步说明:
为验证本发明的有效性和正确性,采用四组多模态图像进行融合实验,并且用两种已有的图像融合方法和本发明方法进行仿真比较。所有仿真实验均在Windows XP操作系统下采用Matlab 2009软件实现。
仿真内容:采用现有的SCPDT-EM以及SCPDT-SSIM图像融合方法,以及本发明融合方法对图2所示的源图像进行融合,融合效果显示在图3。
其中:图2(a)为红外图像,图2(b)为可见光图像,图2(c)为可见光图像,图2(d)为红外图像,图2(e)和图2(f)为两个不同波段的遥感图像,图2(g)和图2(h)为两个不同波段的遥感图像。
图3(a)为采用SCPDT-EM方法对图2(a)和图2(b)的融合结果;图3(b)为采用SCPDT-SSIM方法对图2(a)和图2(b)的融合结果;图3(c)为采用本发明融合方法对图2(a)和图2(b)的融合结果;图3(d)为采用SCPDT-EM方法对图2(c)和图2(d)的融合结果;图3(e)为采用SCPDT-SSIM方法对图2(c)和图2(d)的融合结果;图3(f)为采用本发明融合方法对图2(c)和图2(d)的融合结果;图3(g)为采用SCPDT-EM方法对图2(e)和图2(f)的融合结果;图3(h)为采用SCPDT-SSIM方法对图2(e)和图2(f)的融合结果;图3(i)为采用本发明融合方法对图2(e)和图2(f)的融合结果;图3(j)为采用SCPDT-EM方法对图2(g)和图2(h)的融合结果;图3(k)为采用SCPDT-SSIM方法对图2(g)和图2(h)的融合结果;图3(1)为采用本发明融合方法对图2(g)和图2(h)的融合结果。
从实验效果可以看出本发明能更好的提取细节和对比度信息,并将其注入融合图像中。
另一方面,我们采用当前通用的融合性能评价标准,例如信息熵IE,平均梯度AG,梯度信息保留QG和相位信息保留QP等客观评价因子对融合图像进行客观评价。信息熵IE表示的是融合图像中总体信息的丰富程度,平均梯度AG表示融合图像细节信息的丰富程度,梯度信息保留度QG表示源图像注入到融合图像中细节信息的比例,相位信息保留QP表示源图像与融合图像的相位信息的相似程度。
表1给出了采用不同融合方法对所述四组源图像进行融合后,所得融合图像的性能评价结果,A和B为输入的两幅源图像,F为融合图像。
表1不同融合方法的性能评价
从表1可以得到如下结论:IE(F)和AG(F)因子表明,相对于其他两种的融合方法,本发明的融合技术得到的融合图像F包含了更多有用信息,具有更高的清晰度;QG(A,B,F)因子表明采用本发明所构建的融合技术能够更好地提取和保留源图像中的梯度信息;QP(A,B,F)表明采用本发明融合技术得到的融合图像F和源图像A,B之间在相位一致性方面具有更高的相似程度,从而表明本发明融合技术能够更好地提取源图像中的相位信息,具有更好的空间一致性。
Claims (4)
1.一种基于SCPDT复变换及其系数幅相结合的多模态图像融合方法,包括如下步骤:
(1)对已配准的第一幅图像A和第二幅图像B分别进行SCDPT分解,得到各自的变换系数和其中,和分别表示第一幅图像A和第二幅图像B在最粗糙尺度J下的低通子带系数,和分别表示第一幅图像A和第二幅图像B在尺度j、方向l和空间位置(m,n)处的复带通方向子带系数,Lj为第j尺度下带通方向子带的方向数,其中j=1,2,...,J,l=1,2,...,Lj;
(2)构建基于区域能量匹配和相对相位周期相关系数的相似性准则
(2.1)分别计算第一幅图像A在尺度j、方向l和空间位置(m,n)处的复带通方向子带系数的相对相位: 以及第二幅图像B在尺度j、方向l和空间位置(m,n)处的复带通方向子带系数:
其中和分别为图像A,B在尺度j、方向l、空间位置(m,n)处复带通方向子带系数的相位角;
(2.2)计算所述复带通方向子带系数和在以空间位置(m,n)为中心、大小为M1×N1的局部区域R内的周期相关系数
其中,M1=N1=3,u,v分别为在局部区域R内水平和垂直方向的自变量,为图像A的复带通方向子带系数在相应局部区域R内的相对相位周期均值,为B的复带通方向子带系数在相应局部区域R内的相对相位周期均值,为第一幅图像A在空间位置(m+u,n+v)的相对相位,为第二幅图像B在空间位置(m+u,n+v)的相对相位,其中,
(2.3)计算上述两个图像A和B的复带通方向子带系数在相应局部区域R内的能量匹配因子
其中,为第一幅图像A在空间位置(m+u,n+v)的复带通子带系数,为第一幅图像B在空间位置(m+u,n+v)的复带通子带系数;
(2.4)构建基于区域能量匹配和相对相位周期方差的相似性准则
(3)针对第一幅图像A和第二幅图像B的复带通方向子带系数,定义用于系数区域类型划分的上阈值Th(j,l)和下阈值Tl(j,l),
Th(j,l)=μ(j,l)+k·σ(j,l),
Tl(j,l)=μ(j,l)-k·σ(j,l),
其中,k=2控制相似度的变化范围,μ(j,l)和σ(j,l)分别为值的均值和标准方差;
(4)根据相似度测量准则以及下阈值Tl(j,l)和上阈值Th(j,l),将第一幅图像A和第二幅图像B的复带通方向子带系数划分为3类不同区域:
(4.1)将满足 且 条件的区域内系数,划分为带通第一类区域,该带通第一类区域表示第一幅图像A和第二幅图像B的复带通方向子带系数在此区域不相关;
(4.2)将满足条件的区域内系数,划分为带通第二类区域,表示第一幅图像A和第二幅图像B的复带通方向子带系数在此区域幅值强度相似、相位相反;
(4.3)将满足条件的区域内系数,划分为带通第三类区域,表示第一幅图像A和第二幅图像B的复带通方向子带系数在此区域幅值和相位都相似,其中,j、l和(m,n)分别表示复带通方向子带系数的尺度,方向和空间位置;
(5)对不同区域定义不同的融合规则进行融合,得到融合图像F的复带通方向子带系数
(6)计算第一幅图像A和第二幅图像B的低通子带系数和之间的局部结构相似度SSIMAB(m,n),针对图像A和B的低通子带系数,定义下阈值Tl(J)和上阈值Th(J),
Th(J)=μ(J)+k·σ(J),
Tl(J)=μ(J)-k·σ(J),
其中,k=2控制相似度的变化范围,μ(J)和σ(J)分别表示第一幅图像A和第二幅图像B低通子带系数所有SSIMAB(m,n)值的均值和标准方差;
(7)根据相似度测量准则SSIMAB(m,n)以及下阈值Tl(J)和上阈值Th(J),将第一幅图像A和第二幅图像B的低通子带系数划分为3个不同的区域;
(8)对不同类型区域内的第一幅图像A和第二幅图像B的低通子带系数和分别进行融合,得到相应区域内融合图像F的低通子带系数
(9)对组合后得到的低通子带系数和复带通方向子带系数进行SCDPT逆变换,得到融合后的图像F。
2.根据权利要求1所述的融合方法,其特征在于步骤(5)中所述的对不同区域定义不同的融合规则进行融合,得到融合图像F的复带通方向子带系数按如下步骤进行:
(5a)针对带通第一类区域内的复带通方向子带系数,采用基于局部区域能量的“模值取大”融合策略进行组合:
其中,和分别为第一幅图像A和第二幅图像B复带通方向子带系数的局部区域能量,分别按如下公式计算:
w(u,v)是大小为M1×N1,标准方差为0.5的高斯模板,其中,j、l和(m,n)分别表示复带通方向子带系数的尺度,方向和空间位置,u,v为水平和垂直方向的自变量,M1×N1表示局部窗口的大小,|·|表示取模运算;
(5b)针对带通第二类区域内的复带通方向子带系数,采用基于相对相位的局部周期方差的“模值取大”融合策略进行组合:
其中,和分别为第一幅图像A和第二幅图像B的复带通方向子带系数相对相位的局部周期方差,分别按如下公式计算:
式中,表示非负操作;
(5c)针对带通第三类区域内的复带通方向子带系数,采用基于相对相位的局部周期方差的“加权平均”的融合策略进行组合:
其中为分别第一幅图像A和第二幅图像B的复带通方向子带系数的基于局部周期方差的权系数,按如下公式进行计算:
3.根据权利要求1所述的融合方法,其特征在于步骤(7)中所述的根据相似度测量准则SSIMAB(m,n)以及下阈值Tl(J)和上阈值Th(J),将第一幅图像A和第二幅图像B的低通子带系数划分为3个不同的区域,包括如下步骤:
(7a)将满足SSIMAB(m,n)<Th(J)并且SSIMAB(m,n)>Tl(J)的区域内条件的区域内系数,划分为低通第一类区域,表示低通子带系数不相似区域;
(7b)将满足SSIMAB(m,n)≤Tl(J)条件的区域内系数,划分为低通第二类区域,表示低通子带系数对比度相反区域;
(7c)将满足SSIMAB(m,n)≥Th(J)条件的区域内系数,划分为低通第三类区域,表示低通子带系数相似度较高区域,
其中,J和(m,n)分别表示复带通方向子带系数的最粗糙尺度和空间位置。
4.根据权利要求1所述的融合方法,其特征在于步骤(8)中所述的对不同类型区域内的第一幅图像A和第二幅图像B的低频子带系数和分别进行融合,得到相应区域内融合图像F的低通子带系数按如下步骤进行:
(8a)针对低通第一类区域内第一幅图像A的低通子带系数和第二幅图像B的低通子带系数,采用基于局部区域能量的“模值取大”融合策略进行组合:
和为当前位置处第一幅图像A和第二幅图像B的低通子带系数和的局部区域能量,其定义如下:
其中,J和(m,n)分别表示复带通方向子带系数的最粗糙尺度和空间位置,u,v为水平和垂直方向的自变量,表示位于(m+u,n+v)的第一幅图像A的低通子带系数,表示位于(m+u,n+v)的第二幅图像B的低通子带系数,|·|表示取模运算;
(8b)针对低通第二类区域内第一幅图像A的低通子带系数和第二幅图像B的低通子带系数,采用基于尺度间关联的“模值取大”融合策略进行组合:
其中,αA(m,n),αB(m,n)分别为第一幅图像A和第二幅图像B的低通子带系数的ISM显著性因子,按如下公式构建:
式中,和分别表示第一幅图像A和第二幅图像B的低通子带系数的局部区域能量,和分别为第一幅图像A和第二幅图像B在尺度J、方向l、空间位置(m,n)处的复带通方向子带系数的相对相位周期方差;
(8c)针对低通第三类区域内第一幅图像A的低通子带系数和第二幅图像B的低通子带系数,采用基于局部区域能量的“加权平均”的融合策略进行组合:
其中分别为第一幅图像A和第二幅图像B的低通子带系数的基于“局部区域能量”的权系数,按如下公式构建:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210275279.5A CN102800079B (zh) | 2012-08-03 | 2012-08-03 | 基于scdpt变换及其幅相结合的多模态图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210275279.5A CN102800079B (zh) | 2012-08-03 | 2012-08-03 | 基于scdpt变换及其幅相结合的多模态图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102800079A CN102800079A (zh) | 2012-11-28 |
CN102800079B true CN102800079B (zh) | 2015-01-28 |
Family
ID=47199178
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210275279.5A Expired - Fee Related CN102800079B (zh) | 2012-08-03 | 2012-08-03 | 基于scdpt变换及其幅相结合的多模态图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102800079B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108734210B (zh) * | 2018-05-17 | 2021-10-15 | 浙江工业大学 | 一种基于跨模态多尺度特征融合的对象检测方法 |
CN112839160B (zh) * | 2021-04-20 | 2021-07-06 | 北京中星时代科技有限公司 | 一种车载夜视辅助驾驶成像光学系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101303764A (zh) * | 2008-05-16 | 2008-11-12 | 西安电子科技大学 | 基于非下采样轮廓波的多传感器图像自适应融合方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8520970B2 (en) * | 2010-04-23 | 2013-08-27 | Flir Systems Ab | Infrared resolution and contrast enhancement with fusion |
-
2012
- 2012-08-03 CN CN201210275279.5A patent/CN102800079B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101303764A (zh) * | 2008-05-16 | 2008-11-12 | 西安电子科技大学 | 基于非下采样轮廓波的多传感器图像自适应融合方法 |
Non-Patent Citations (2)
Title |
---|
Similarity-based multimodality image fusion with shiftable complex directional pyramid;Qiang Zhang et al.;《Pattern Recognition Letters》;20111001;第32卷(第13期);第1544–1553页 * |
基于形态学4子带分解金字塔的图像融合;赵鹏等;《光学学报》;20070131;第27卷(第1期);第40-44页 * |
Also Published As
Publication number | Publication date |
---|---|
CN102800079A (zh) | 2012-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103679158B (zh) | 人脸认证方法和装置 | |
CN101609499B (zh) | 快速指纹识别方法 | |
CN106022391A (zh) | 一种高光谱图像特征的并行提取与分类方法 | |
CN101546428B (zh) | 基于区域分割的序列红外与可见光图像融合 | |
CN105138972A (zh) | 人脸认证方法和装置 | |
CN102521818B (zh) | 一种基于nsct的sar图像和可见光图像的融合方法 | |
CN101873440B (zh) | 基于Surfacelet变换的红外与可见光视频图像融合方法 | |
CN104408700A (zh) | 基于形态学和pca的轮廓波红外与可见光图像融合方法 | |
CN103632132A (zh) | 一种基于肤色分割和模板匹配的人脸检测与识别方法 | |
CN105320950A (zh) | 一种视频人脸活体检测方法 | |
CN104240256A (zh) | 一种基于层次化稀疏建模的图像显著性检测方法 | |
CN101571924B (zh) | 一种多区域特征融合的步态识别方法及系统 | |
CN104778457A (zh) | 基于多示例学习的视频人脸识别算法 | |
CN103268497A (zh) | 一种人脸姿态检测方法与在人脸识别中的应用 | |
CN101996308A (zh) | 人脸认证方法及系统、人脸模型训练方法及系统 | |
CN102214299A (zh) | 一种基于改进的asm算法的人脸特征定位方法 | |
CN102542243A (zh) | 一种基于lbp图像和分块编码的虹膜特征提取方法 | |
CN103268482B (zh) | 一种低复杂度的手势提取和手势深度获取方法 | |
CN109191416A (zh) | 基于稀疏字典学习和剪切波的图像融合方法 | |
CN110516525A (zh) | 基于gan和svm的sar图像目标识别方法 | |
CN103324921B (zh) | 一种基于内指横纹的移动识别方法及其移动识别设备 | |
CN104732546A (zh) | 区域相似性和局部空间约束的非刚性sar图像配准方法 | |
CN102800079B (zh) | 基于scdpt变换及其幅相结合的多模态图像融合方法 | |
CN104102900A (zh) | 一种车辆识别系统 | |
CN103942572A (zh) | 一种基于双向压缩数据空间维度缩减的面部表情特征提取方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150128 Termination date: 20200803 |