CN107341786A - 小波变换与联合稀疏表示的红外与可见光图像融合方法 - Google Patents

小波变换与联合稀疏表示的红外与可见光图像融合方法 Download PDF

Info

Publication number
CN107341786A
CN107341786A CN201710466497.XA CN201710466497A CN107341786A CN 107341786 A CN107341786 A CN 107341786A CN 201710466497 A CN201710466497 A CN 201710466497A CN 107341786 A CN107341786 A CN 107341786A
Authority
CN
China
Prior art keywords
mrow
frequency sub
coefficient
band
msubsup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710466497.XA
Other languages
English (en)
Other versions
CN107341786B (zh
Inventor
何贵青
董丹丹
夏召强
冯晓毅
李会方
谢红梅
吴俊�
蒋晓悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201710466497.XA priority Critical patent/CN107341786B/zh
Publication of CN107341786A publication Critical patent/CN107341786A/zh
Application granted granted Critical
Publication of CN107341786B publication Critical patent/CN107341786B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)

Abstract

本发明提供了一种小波变换与联合稀疏表示的红外与可见光图像融合方法，涉及图像融合领域，首先对源图像进行DWT变换，分解成低频子带与高频子带系数，并用滑窗策略将低频子带系数分解成矩阵，再针对上述分解的低频子带矩阵学习字典，其次，分别融合低频子带系数和高频子带系数，最后通过DWT逆变换重构出融合图像，本发明既能有效地稀疏表示源图像的显著细节特征，又能多尺度地融合图像细节信息，即很好地保留了红外图像的目标信息与可见光图像的细节、轮廓等背景信息，提高了目标的识别能力，有利于后续处理系统对信息的提取与使用，较传统的小波变换融合方法以及现有的基于联合稀疏表示的融合方法均具有优势。

Description

小波变换与联合稀疏表示的红外与可见光图像融合方法
技术领域
本发明涉及图像融合领域，尤其是一种红外与可见光图像融合的方法。
背景技术
图像融合是一种将同一场景经多个传感器的成像或者经单个传感器的多次成像的信息加以综合，以获得更加全面、准确、可靠信息的技术，红外与可见光图像融合是图像融合领域一个重要而活跃的研究方向，将红外与可见光图像融合，可以充分利用二者的互补性信息，获得更加全面、准确的图像，在军事侦察、安全监控等军民诸多领域有着广泛应用。
在红外与可见光图像融合领域中，基于小波变换的融合方法是一类主流方法，其中，离散小波变换(Discrete Wavelet Transform，DWT)以其具有方向性、正交性以及时频分析特性，能够有针对性地突出图像的重要特征与细节信息，并且经过多尺度与多方向的分解，能够获得水平、垂直以及对角线三个方向的信息，因此受到众多学者的关注与研究，并成功用于图像融合领域，取得了较优的融合效果。然而，源图像经小波变换会产生一个低频子带和多个高频子带，其中低频子带中近似为零的系数数量有限，也就是低频子带系数的稀疏性不佳，若直接对其融合，并不利于特征的提取与保持。
近年来，基于稀疏表示的融合方法备受国内外学者关注，稀疏表示方法提出了学习字典的概念，即字典是从源图像中学习得到的，因此稀疏表示具有很强的自适应能力，并且分解系数越稀疏越能反映信号的本质特征与内在结构，因而基于稀疏表示的融合方法发展迅速，并取得了一定的成果。由于在图像融合中，源图像均来自同一场景，所以它们之间具有相关性，因此可以利用联合稀疏表示(Joint Sparse Representation，JSR)进行特征提取与融合，达到多种源图像特征均能保留的目的。联合稀疏表示是指所有来自同一个字典的信号，将由它们共有特征的稀疏表示和各自特有特征的稀疏表示联合组成。然而，基于联合稀疏表示的融合方法是在一定阈值下进行字典学习与稀疏表示的，因此无法精确描述纹理、边缘等细节信息，这会丢失一些高频信息，造成融合结果清晰度下降。
如前所述，基于小波变换的融合方法能够多尺度多方向的提取源图像信息，但是低频子带的稀疏性不佳，直接对其融合不利于特征的提取与保持；而基于联合稀疏表示的融合方法虽然可以通过学习字典精细地拟合数据，但是不能精确的表示出一些高频信息，即无法多尺度多方向地分析数据，因此存在着一定的数据损失问题。
发明内容
为了克服现有技术的不足，本发明提供了一种基于小波变换与联合稀疏表示的图像融合方法。具体来讲，首先对源图像进行DWT变换，分解成低频子带与高频子带系数，并用滑窗策略将低频子带系数分解成矩阵；再针对上述分解的低频子带矩阵学习字典；其次，分别融合低频子带系数和高频子带系数，最后通过DWT逆变换重构出融合图像。此外，考虑到低频子带与高频子带所代表的信息特点的不同，本发明提出对低频子带采用“加权平均”融合策略，对高频子带采用“特征量积”融合策略，从而在多尺度且稀疏地融合源图像信息基础上达到更优的融合效果。
本发明解决其技术问题所采用的技术方案是对图像融合数据库中配准好的红外图像和可见光图像进行融合，具体步骤如下：
步骤1：对源图像进行小波变换
首先读入已经配准好的红外源图像I1与可见光源图像I2，再选择小波基函数，对红外源图像I1与可见光源图像I2分别进行s级DWT变换，分解得到红外源图像I1的1个低频子带和3*s个高频子带与可见光源图像I2的1个低频子带和3*s个高频子带；
步骤2：基于联合稀疏表示的低频子带系数融合
步骤2.1滑窗取块
按照从左上到右下的顺序，将低频子带系数C1,l与C2,l以步长为大小为的滑动窗口分块，得到大小为的小块，再将所有块拉直成列向量后，排列成样本矩阵V1与V2，由V1与V2构成样本集V，其中V＝[V1,V2]；
步骤2.2字典学习
学习低频子带字典以构建稀疏表示的基原子：首先从样本集V＝[V1,V2]中随机取P个样本构成训练集Vtrain，然后随机初始化一个大小为n×m的字典D0，其中n＜m，再采用K-SVD迭代算法求解目标方程，得到与D0大小相同的n×m的字典D，其中目标方程如下：
式(1)中θ为稀疏表示系数，θ(t)表示θ的第t列，||·||F为矩阵的Frobenius范数，||·||0为向量的l0范数，即向量中非零元素的个数，||θ(t)||0≤T表示θ(t)中非零元素的个数小于等于T，即T表示θ(t)的稀疏度；
步骤2.3稀疏编码
首先，假设待融合源图像有K幅，每幅源图像的低频子带矩阵Vi由两部分组成，其中，i＝1,2,......,K，即包含于所有源图像中的共有特征VC和只包含于相应的单幅源图像中的特有特征根据联合稀疏表示理论，VC和分别用共有稀疏表示系数θC和特有稀疏表示系数表示，其中，i＝1,2,......,K，则有：
所有源图像DWT低频子带矩阵Vi的联合稀疏表示为：
其中O表示与字典D大小相同的零矩阵，令 则式(3)简化为通过公式(4)对进行稀疏编码：
其中ε为容错误差，利用步骤2.2中求得的字典D，求解公式(4)，得到联合稀疏系数
步骤2.4融合低频系数
首先，由联合稀疏系数获得共有稀疏系数θC和特有稀疏系数其中i＝1,2，表示的第t列，再求的活动水平ni(t)，其中i＝1,2，其计算公式如下：
活动水平ni(t)表示稀疏系数的重要程度，融合规则如下：
其中，θf(t)表示θf的第t列，θC(t)表示共有稀疏表示系数θC的第t列，表示活动水平的最大值；
最终，得到融合图像的低频子带矩阵Vf为：
Vf＝Dθf (7)
其中，θf表示融合图像低频子带的稀疏表示系数；
由公式(7)重构得到融合图像的低频子带矩阵Vf，将低频子带矩阵Vf的每一列还原成的小块，再按从左上到右下的顺序，即步骤2.1中滑窗取块的顺序进行排列，重叠的位置取均值，获得融合图像的低频子带系数CF,l；
步骤3：高频子带系数融合
本发明选择基于特征量积的方法融合高频子带系数：
首先，确定窗口大小为N×N，第s级的k方向高频子带系数的特征量积的计算公式如下：
其中，N为奇数，j表示第j个窗口，i表示该窗口中第i个像素点，s(k)表示小波分解第s级的k方向，σj表示该窗口内所有像素的标准差，δij表示该位置的梯度值，s表示小波分解级数，k表示s级分解的方向，即k＝1,2,3分别表示水平高频系数、垂直高频系数和对角高频系数；
根据公式(9)的特征量积判决准则，求得融合图像的第s级小波分解下k方向的高频子带系数
其中，下标1、2、F分别表示红外图像、可见光图像以及融合图像，C表示小波系数，最终，将图像中每个像素点遍历求解，得到融合图像的各个高频子带系数和分别表示图像1和2在第s级的k方向高频子带系数的第j个窗口下第i个像素点的特征量积；
步骤4：小波逆变换得到融合图像
对低频子带系数CFl和高频子带系数进行DWT逆变换，小波基函数与分解级数与步骤1保持一致，即得融合图像IF。
本发明的有益效果在于由于采用以小波变换为基础，首先将源图像变换到高低频，再针对高低频系数的特点，低频系数采用联合稀疏的方法融合，高频子带系数采用特征量积的方法融合，再将融合的高低频图像进行相应的反变换得到融合结果。融合图像包括了可见光与红外图像的不同特征信息：既能有效地稀疏表示源图像的显著细节特征，又能多尺度地融合图像细节信息，即很好地保留了红外图像的目标信息与可见光图像的细节、轮廓等背景信息，提高了目标的识别能力，有利于后续处理系统对信息的提取与使用，较传统的小波变换融合方法以及现有的基于联合稀疏表示的融合方法均具有优势。
附图说明
图1是本发明的图像融合流程图，其中IDWT为离散小波逆变换(Inverse DiscreteWavelet Transform，DWT)。
图2是红外与可见光源图像及其他方法的融合比较结果，其中，图2(a)为可见光图像，图2(b)为红外图像，图2(c)为采用DWT方法的融合结果，图2(d)为采用SR方法的融合结果，图2(e)为采用JSR方法的融合结果，图2(f)为采用本发明的DWTJSR方法的融合结果。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
步骤1：对源图像进行小波变换
首先读入已经配准好的红外源图像I1与可见光源图像I2，再选择小波基函数，对红外源图像I1与可见光源图像I2分别进行s级DWT变换，分解得到红外源图像I1的1个低频子带和3*s个高频子带与可见光源图像I2的1个低频子带和3*s个高频子带；
步骤2：基于联合稀疏表示的低频子带系数融合
步骤2.1滑窗取块
按照从左上到右下的顺序，将低频子带系数C1,l与C2,l以步长为大小为的滑动窗口分块，得到大小为的小块，再将所有块拉直成列向量后，排列成样本矩阵V1与V2，由V1与V2构成样本集V，其中V＝[V1,V2]；
步骤2.2字典学习
为了得到DWT低频子带的稀疏表示，学习低频子带字典以构建稀疏表示的基原子：首先从样本集V＝[V1,V2]中随机取P个样本构成训练集Vtrain，然后随机初始化一个大小为n×m的字典D0，其中n＜m，再采用K-SVD迭代算法求解目标方程，得到与D0大小相同的n×m的字典D，其中目标方程如下：
式(1)中θ为稀疏表示系数，θ(t)表示θ的第t列，||·||F为矩阵的Frobenius范数，||·||0为向量的l0范数，即向量中非零元素的个数，||θ(t)||0≤T表示θ(t)中非零元素的个数小于等于T，即T表示θ(t)的稀疏度；
步骤2.3稀疏编码
在图像融合中，源图像均来自同一场景，所以它们之间存在相关性，并且经DWT变换后的低频字典也存在相关性，可以由统一的字典表示。因此，首先假设待融合源图像有K幅，每幅源图像的低频子带矩阵Vi由两部分组成，其中，i＝1,2,......,K，即包含于所有源图像中的共有特征VC和只包含于相应的单幅源图像中的特有特征根据联合稀疏表示理论，VC和分别用共有稀疏表示系数θC和特有稀疏表示系数表示，其中，i＝1,2,......,K，则有：
所有源图像DWT低频子带矩阵Vi的联合稀疏表示为：
其中O表示与字典D大小相同的零矩阵，令 则式(3)简化为通过公式(4)对进行稀疏编码：
其中ε为容错误差，本发明中ε取0.1；
矩阵V1与V2利用公式(2)分解成共有稀疏成分+特有稀疏成分，K幅源图像的联合稀疏表示模型如公式(3)，针对两幅图像融合时，本发明中K＝2，利用字典D，本发明结合OMP算法求解公式(4)，得到联合稀疏系数
步骤2.4融合低频子带系数
在融合时，基于融合图像中需要包括各个源图像中共有与特有特征的原则。首先，由联合稀疏系数获得共有稀疏系数θC和特有稀疏系数其中i＝1,2，表示的第t列，再求的活动水平ni(t)，其中i＝1,2，其计算公式如下：
活动水平ni(t)能够表示稀疏系数的重要程度，ni(t)越大说明系数越重要，则所占权重越大，融合规则如下：
其中，θf(t)表示θf的第t列，θC(t)表示共有稀疏表示系数θC的第t列，表示活动水平的最大值；
最终，得到融合图像的低频子带矩阵Vf为：
Vf＝Dθf (7)
其中，θf表示融合图像低频子带的稀疏表示系数，
由公式(7)重构得到融合图像的低频子带矩阵Vf，将低频子带矩阵Vf的每一列还原成的小块，再按从左上到右下的顺序，即步骤2.1中滑窗取块的顺序进行排列，重叠的位置取均值，获得融合图像的低频子带系数CF,l；
步骤3：高频子带系数融合
在细节信息显著的区域，DWT高频子带系数整体表现出近似稀疏的特点，这便于提取图像的细节特征，对小波系数进行计算，可以得到局部方差、局部梯度、能量、系数值等特征量，目前通常使用的特征提取准则有局部方差、局部梯度、能量准则以及小波系数值最大等，但上述准则的最大缺点在于只考虑一个特征量作为系数融合的判决依据，不够全面，因此不能有效融合高频信息。
本发明选择基于特征量积的方法融合高频子带系数：
首先，确定窗口大小为N×N，第s级的k方向高频子带系数的特征量积的计算公式如下：
其中，N为奇数，j表示第j个窗口，i表示该窗口中第i个像素点，s(k)表示小波分解第s级的k方向，σj表示该窗口内所有像素的标准差，δij表示该位置的梯度值，s表示小波分解级数，k表示s级分解的方向，即k＝1,2,3分别表示水平高频系数、垂直高频系数和对角高频系数；
根据公式(9)的特征量积判决准则，求得融合图像的第s级小波分解下k方向的高频子带系数
其中，下标1、2、F分别表示红外图像、可见光图像以及融合图像，C表示小波系数，最终，将图像中每个像素点遍历求解，得到融合图像的各个高频子带系数和分别表示图像1和2在第s级的k方向高频子带系数的第j个窗口下第i个像素点的特征量积；
本发明提出一种基于特征量积的图像融合准则，通过实验发现，将公式(8)所示的特征量积作为系数融合的判决依据，能够使融合图像在平均梯度和信息熵两项客观评价指标上达到最优，说明融合图像的清晰度及信息丰富程度明显提高，证明该融合准则的准确性与有效性。因此，本发明选择基于特征量积的方法融合高频子带系数。
步骤4：小波逆变换得到融合图像
对低频子带系数CF,l和高频子带系数进行DWT逆变换，小波基函数与分解级数与步骤1保持一致，即得融合图像IF。
本发明的图像融合流程图见图1，通过图1可以更直观的理解本发明的图像融合过程。具体的实施例中，两幅待融合图像大小相同，选择的参数为样本大小P＝1500，字典大小为64×256，取块步骤中滑动窗口大小为8×8，滑动步长step为1，误差ε＝0.1。为验证本发明方法的性能，选取多组红外与可见光图像进行实验以验证算法的效果，并选择基于多尺度变换的融合方法(DWT)、基于单尺度字典学习的稀疏表示融合方法(SR)，以及基于单尺度字典学习的联合稀疏表示融合方法(JSR)，本发明方法记为DWTJSR。DWT和DWTJSR方法的小波类型取sym4小波，分解级数为3级，其中，DWT方法低频融合规则为取大，高频与DWTJSR融合规则相同。
实验数据采用图像融合数据库中的红外与可见光图像，只取一组实验结果进行分析与展示，图2是红外与可见光源图像及几种方法的融合结果比较，其中，图2(a)为可见光图像，图2(b)为红外图像，由主观视觉分析可知，图2(c)为采用DWT方法的融合结果，图2(d)为采用SR方法的融合结果，图2(e)为采用JSR方法的融合结果，图2(f)为采用本发明DWTJSR方法的融合结果，均能实现对红外图像与可见光图像的融合要求，DWT方法整体偏暗，纹理虽然比较丰富，但视觉上感觉不够清晰自然，而SR和JSR方法结果相近，但整体过于平滑，如栅栏处、树木处等细节不够丰富，而DWTJSR方法明显综合了这两者的优势，比DWT方法细节更为平滑，比SR、JSR方法细节更为丰富，融合效果更为自然。
除了主观视觉分析，本文还采用国内外较常用的Q0、QW和QE指标进行客观评价，其中，Q0是源图像与融合图像结构化相似度的一种度量，QW是源图像与融合图像窗口加权的融合质量评价，QE反映了融合图像融合源图像边缘的情况，三者的值均在0到1之间，越接近1表明融合质量越好。表1给出了4种融合算法的客观指标，其中粗体表示最优的指标值，观察表1中实验的客观指标可以看到，DWTJSR方法的各项指标均为最优，这与主观评价结果基本一致。
表1
本实验在因特尔2.53GHz，内存2.00GB的计算机中实现。以图2为例，表2给出了使用上述四种方法的平均运算时间。
表2
由表2可以看到，SR和JSR方法的运算时间明显多于DWT方法，这是因为，多尺度变换算法中字典原子的个数远小于空间域算法中稀疏系数矩阵的维数，在稀疏表示系数求解阶段花费时间较多，因此和SR、JSR算法相比，本发明花费要少得多，有利于实现实时性。

Claims (1)

1.一种小波变换与联合稀疏表示的红外与可见光图像融合方法，其特征在于包括下述步骤：
步骤1：对源图像进行小波变换
首先读入已经配准好的红外源图像I1与可见光源图像I2，再选择小波基函数，对红外源图像I1与可见光源图像I2分别进行s级DWT变换，分解得到红外源图像I1的1个低频子带和3*s个高频子带与可见光源图像I2的1个低频子带和3*s个高频子带；
步骤2：基于联合稀疏表示的低频子带系数融合
步骤2.1滑窗取块
按照从左上到右下的顺序，将低频子带系数C1,l与C2,l以步长为大小为的滑动窗口分块，得到大小为的小块，再将所有块拉直成列向量后，排列成样本矩阵V1与V2，由V1与V2构成样本集V，其中V＝[V1,V2]；
步骤2.2字典学习
学习低频子带字典以构建稀疏表示的基原子：首先从样本集V＝[V1,V2]中随机取P个样本构成训练集Vtrain，然后随机初始化一个大小为n×m的字典D0，其中n＜m，再采用K-SVD迭代算法求解目标方程，得到与D0大小相同的n×m的字典D，其中目标方程如下：
<mrow> <mtable> <mtr> <mtd> <mrow> <munder> <mi>min</mi> <mrow> <mi>D</mi> <mo>,</mo> <mi>&amp;theta;</mi> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msub> <mi>V</mi> <mrow> <mi>t</mi> <mi>r</mi> <mi>a</mi> <mi>i</mi> <mi>n</mi> </mrow> </msub> <mo>-</mo> <mi>D</mi> <mi>&amp;theta;</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> </mrow> </mtd> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> </mrow> </mtd> <mtd> <mrow> <mo>&amp;ForAll;</mo> <mi>t</mi> <mo>,</mo> <mo>|</mo> <mo>|</mo> <mi>&amp;theta;</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>|</mo> <msub> <mo>|</mo> <mn>0</mn> </msub> <mo>&amp;le;</mo> <mi>T</mi> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
式(1)中θ为稀疏表示系数，θ(t)表示θ的第t列，||·||F为矩阵的Frobenius范数，||·||0为向量的l0范数，即向量中非零元素的个数，||θ(t)||0≤T表示θ(t)中非零元素的个数小于等于T，即T表示θ(t)的稀疏度；
步骤2.3稀疏编码
首先，假设待融合源图像有K幅，每幅源图像的低频子带矩阵Vi由两部分组成，其中，i＝1,2,......,K，即包含于所有源图像中的共有特征VC和只包含于相应的单幅源图像中的特有特征根据联合稀疏表示理论，VC和分别用共有稀疏表示系数θC和特有稀疏表示系数表示，其中，i＝1,2,......,K，则有：
<mrow> <msub> <mi>V</mi> <mi>i</mi> </msub> <mo>=</mo> <msup> <mi>V</mi> <mi>C</mi> </msup> <mo>+</mo> <msubsup> <mi>V</mi> <mi>i</mi> <mi>U</mi> </msubsup> <mo>=</mo> <msup> <mi>D&amp;theta;</mi> <mi>C</mi> </msup> <mo>+</mo> <msubsup> <mi>D&amp;theta;</mi> <mi>i</mi> <mi>U</mi> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
所有源图像DWT低频子带矩阵Vi的联合稀疏表示为：
其中O表示与字典D大小相同的零矩阵，令
则式(3)简化为通过公式(4)对进行稀疏编码：
<mrow> <mtable> <mtr> <mtd> <mrow> <mi>arg</mi> <munder> <mi>min</mi> <mi>&amp;theta;</mi> </munder> <mo>|</mo> <mo>|</mo> <mover> <mi>&amp;theta;</mi> <mo>^</mo> </mover> <mo>|</mo> <msub> <mo>|</mo> <mn>0</mn> </msub> </mrow> </mtd> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> </mrow> </mtd> <mtd> <mrow> <mo>|</mo> <mo>|</mo> <mover> <mi>D</mi> <mo>^</mo> </mover> <mover> <mi>&amp;theta;</mi> <mo>^</mo> </mover> <mo>-</mo> <mover> <mi>V</mi> <mo>^</mo> </mover> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>&amp;le;</mo> <mi>&amp;epsiv;</mi> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
其中ε为容错误差，利用步骤2.2中求得的字典D，求解公式(4)，得到联合稀疏系数
步骤2.4融合低频系数
首先，由联合稀疏系数获得共有稀疏系数θC和特有稀疏系数其中i＝1,2，表示的第t列，再求的活动水平ni(t)，其中i＝1,2，其计算公式如下：
<mrow> <msub> <mi>n</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <mo>|</mo> <msubsup> <mi>&amp;theta;</mi> <mi>i</mi> <mi>U</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
活动水平ni(t)表示稀疏系数的重要程度，融合规则如下：
<mrow> <msub> <mi>&amp;theta;</mi> <mi>f</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mi>&amp;theta;</mi> <mi>C</mi> </msup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>+</mo> <mfrac> <mn>1</mn> <mrow> <msub> <mi>n</mi> <mi>max</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>K</mi> </munderover> <msub> <mi>n</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <msubsup> <mi>&amp;theta;</mi> <mi>i</mi> <mi>U</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
其中，θf(t)表示θf的第t列，θC(t)表示共有稀疏表示系数θC的第t列，表示活动水平的最大值；
最终，得到融合图像的低频子带矩阵Vf为：
Vf＝Dθf (7)
其中，θf表示融合图像低频子带的稀疏表示系数；
由公式(7)重构得到融合图像的低频子带矩阵Vf，将低频子带矩阵Vf的每一列还原成的小块，再按从左上到右下的顺序，即步骤2.1中滑窗取块的顺序进行排列，重叠的位置取均值，获得融合图像的低频子带系数CF,l；
步骤3：高频子带系数融合
本发明选择基于特征量积的方法融合高频子带系数：
首先，确定窗口大小为N×N，第s级的k方向高频子带系数的特征量积的计算公式如下：
<mrow> <msubsup> <mi>p</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mi>s</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msubsup> <mo>=</mo> <mo>|</mo> <msub> <mi>&amp;sigma;</mi> <mi>j</mi> </msub> <mo>&amp;times;</mo> <msub> <mi>&amp;delta;</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>|</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow> 2
其中，N为奇数，j表示第j个窗口，i表示该窗口中第i个像素点，s(k)表示小波分解第s级的k方向，σj表示该窗口内所有像素的标准差，δij表示该位置的梯度值，s表示小波分解级数，k表示s级分解的方向，即k＝1,2,3分别表示水平高频系数、垂直高频系数和对角高频系数；
根据公式(9)的特征量积判决准则，求得融合图像的第s级小波分解下k方向的高频子带系数
<mrow> <msubsup> <mi>C</mi> <mrow> <mi>F</mi> <mo>,</mo> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mi>s</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msubsup> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>C</mi> <mrow> <mn>1</mn> <mo>,</mo> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mi>s</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>p</mi> <mrow> <mn>1</mn> <mo>,</mo> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mi>s</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msubsup> <mo>&amp;GreaterEqual;</mo> <msubsup> <mi>p</mi> <mrow> <mn>2</mn> <mo>,</mo> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mi>s</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msubsup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>C</mi> <mrow> <mn>2</mn> <mo>,</mo> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mi>s</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>p</mi> <mrow> <mn>1</mn> <mo>,</mo> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mi>s</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msubsup> <mo>&lt;</mo> <msubsup> <mi>p</mi> <mrow> <mn>2</mn> <mo>,</mo> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mi>s</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msubsup> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
其中，下标1、2、F分别表示红外图像、可见光图像以及融合图像，C表示小波系数，最终，将图像中每个像素点遍历求解，得到融合图像的各个高频子带系数和分别表示图像1和2在第s级的k方向高频子带系数的第j个窗口下第i个像素点的特征量积；
步骤4：小波逆变换得到融合图像
对低频子带系数CF,l和高频子带系数进行DWT逆变换，小波基函数与分解级数与步骤1保持一致，即得融合图像IF。
CN201710466497.XA 2017-06-20 2017-06-20 小波变换与联合稀疏表示的红外与可见光图像融合方法 Active CN107341786B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710466497.XA CN107341786B (zh) 2017-06-20 2017-06-20 小波变换与联合稀疏表示的红外与可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710466497.XA CN107341786B (zh) 2017-06-20 2017-06-20 小波变换与联合稀疏表示的红外与可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN107341786A true CN107341786A (zh) 2017-11-10
CN107341786B CN107341786B (zh) 2019-09-24

Family

ID=60220143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710466497.XA Active CN107341786B (zh) 2017-06-20 2017-06-20 小波变换与联合稀疏表示的红外与可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN107341786B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038852A (zh) * 2017-12-14 2018-05-15 天津师范大学 一种基于联合稀疏表示的图像融合质量评价方法
CN108399611A (zh) * 2018-01-31 2018-08-14 西北工业大学 基于梯度正则化的多聚焦图像融合方法
CN108650509A (zh) * 2018-04-04 2018-10-12 浙江工业大学 一种多尺度自适应近似无损编解码方法及系统
CN109003256A (zh) * 2018-06-13 2018-12-14 天津师范大学 一种基于联合稀疏表示的多聚焦图像融合质量评价方法
CN109064437A (zh) * 2018-07-11 2018-12-21 中国人民解放军国防科技大学 一种基于引导滤波和在线字典学习的图像融合方法
CN109064436A (zh) * 2018-07-10 2018-12-21 西安天盈光电科技有限公司 图像融合方法
CN109191416A (zh) * 2018-08-29 2019-01-11 西安电子科技大学 基于稀疏字典学习和剪切波的图像融合方法
CN109447933A (zh) * 2018-11-14 2019-03-08 西北工业大学 基于特有信息同步分解的红外与可见光图像融合方法
CN109785280A (zh) * 2018-12-28 2019-05-21 洛伦兹（北京）科技有限公司 目标场景图像融合方法和装置
CN111429391A (zh) * 2020-03-23 2020-07-17 西安科技大学 一种红外和可见光图像融合方法、融合系统及应用
CN111432172A (zh) * 2020-03-20 2020-07-17 浙江大华技术股份有限公司 基于图像融合的围栏报警方法及系统
CN111652832A (zh) * 2020-07-09 2020-09-11 南昌航空大学 一种基于滑动窗口技术的红外与可见光图像融合方法
CN111680752A (zh) * 2020-06-09 2020-09-18 重庆工商大学 基于Framelet框架的红外与可见光图像融合方法
CN111724334A (zh) * 2020-06-15 2020-09-29 石家庄铁道大学 多聚焦图像融合方法
CN111899209A (zh) * 2020-08-11 2020-11-06 四川警察学院 基于卷积匹配追踪字典学习的可见光红外图像融合方法
CN113592758A (zh) * 2021-08-02 2021-11-02 中国科学技术大学 一种基于局部对比度预处理的图像融合方法
CN113706432A (zh) * 2021-09-23 2021-11-26 北京化工大学 保留输入图像纹理细节的多源图像融合方法和系统
CN113985407A (zh) * 2021-12-24 2022-01-28 中国科学院空天信息创新研究院 一种基于解耦原子范数最小化的高精度多带融合方法
CN114066786A (zh) * 2020-08-03 2022-02-18 四川大学 一种基于稀疏和滤波器的红外和可见光图像融合方法
CN117034196A (zh) * 2023-08-15 2023-11-10 自然资源部第一海洋研究所 一种基于多源重力高低频信息滑动窗口加权的数据融合方法
CN117218048A (zh) * 2023-11-07 2023-12-12 天津市测绘院有限公司 基于三层稀疏光滑模型的红外与可见光图像融合方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200452A (zh) * 2014-09-05 2014-12-10 西安电子科技大学 基于谱图小波变换的红外与可见光图像融合方法及其装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200452A (zh) * 2014-09-05 2014-12-10 西安电子科技大学 基于谱图小波变换的红外与可见光图像融合方法及其装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WANG JUN: "Fusion method for infrared and visible images by using non-negative sparse representation", 《INFRARED PHYSICS & TECHNOLOGY》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038852A (zh) * 2017-12-14 2018-05-15 天津师范大学 一种基于联合稀疏表示的图像融合质量评价方法
CN108038852B (zh) * 2017-12-14 2022-03-04 天津师范大学 一种基于联合稀疏表示模型的图像融合质量评价方法
CN108399611B (zh) * 2018-01-31 2021-10-26 西北工业大学 基于梯度正则化的多聚焦图像融合方法
CN108399611A (zh) * 2018-01-31 2018-08-14 西北工业大学 基于梯度正则化的多聚焦图像融合方法
CN108650509A (zh) * 2018-04-04 2018-10-12 浙江工业大学 一种多尺度自适应近似无损编解码方法及系统
CN108650509B (zh) * 2018-04-04 2020-08-18 浙江工业大学 一种多尺度自适应近似无损编解码方法及系统
CN109003256A (zh) * 2018-06-13 2018-12-14 天津师范大学 一种基于联合稀疏表示的多聚焦图像融合质量评价方法
CN109003256B (zh) * 2018-06-13 2022-03-04 天津师范大学 一种基于联合稀疏表示的多聚焦图像融合质量评价方法
CN109064436A (zh) * 2018-07-10 2018-12-21 西安天盈光电科技有限公司 图像融合方法
CN109064437A (zh) * 2018-07-11 2018-12-21 中国人民解放军国防科技大学 一种基于引导滤波和在线字典学习的图像融合方法
CN109191416A (zh) * 2018-08-29 2019-01-11 西安电子科技大学 基于稀疏字典学习和剪切波的图像融合方法
CN109447933A (zh) * 2018-11-14 2019-03-08 西北工业大学 基于特有信息同步分解的红外与可见光图像融合方法
CN109785280A (zh) * 2018-12-28 2019-05-21 洛伦兹（北京）科技有限公司 目标场景图像融合方法和装置
CN111432172A (zh) * 2020-03-20 2020-07-17 浙江大华技术股份有限公司 基于图像融合的围栏报警方法及系统
CN111429391B (zh) * 2020-03-23 2023-04-07 西安科技大学 一种红外和可见光图像融合方法、融合系统及应用
CN111429391A (zh) * 2020-03-23 2020-07-17 西安科技大学 一种红外和可见光图像融合方法、融合系统及应用
CN111680752A (zh) * 2020-06-09 2020-09-18 重庆工商大学 基于Framelet框架的红外与可见光图像融合方法
CN111724334A (zh) * 2020-06-15 2020-09-29 石家庄铁道大学 多聚焦图像融合方法
CN111652832A (zh) * 2020-07-09 2020-09-11 南昌航空大学 一种基于滑动窗口技术的红外与可见光图像融合方法
CN111652832B (zh) * 2020-07-09 2023-05-12 南昌航空大学 一种基于滑动窗口技术的红外与可见光图像融合方法
CN114066786A (zh) * 2020-08-03 2022-02-18 四川大学 一种基于稀疏和滤波器的红外和可见光图像融合方法
CN111899209A (zh) * 2020-08-11 2020-11-06 四川警察学院 基于卷积匹配追踪字典学习的可见光红外图像融合方法
CN111899209B (zh) * 2020-08-11 2023-09-26 四川警察学院 基于卷积匹配追踪字典学习的可见光红外图像融合方法
CN113592758A (zh) * 2021-08-02 2021-11-02 中国科学技术大学 一种基于局部对比度预处理的图像融合方法
CN113592758B (zh) * 2021-08-02 2023-08-29 中国科学技术大学 一种基于局部对比度预处理的图像融合方法
CN113706432A (zh) * 2021-09-23 2021-11-26 北京化工大学 保留输入图像纹理细节的多源图像融合方法和系统
CN113706432B (zh) * 2021-09-23 2024-04-30 北京化工大学 保留输入图像纹理细节的多源图像融合方法和系统
CN113985407A (zh) * 2021-12-24 2022-01-28 中国科学院空天信息创新研究院 一种基于解耦原子范数最小化的高精度多带融合方法
CN117034196A (zh) * 2023-08-15 2023-11-10 自然资源部第一海洋研究所 一种基于多源重力高低频信息滑动窗口加权的数据融合方法
CN117034196B (zh) * 2023-08-15 2024-05-07 自然资源部第一海洋研究所 一种基于多源重力高低频信息滑动窗口加权的数据融合方法
CN117218048A (zh) * 2023-11-07 2023-12-12 天津市测绘院有限公司 基于三层稀疏光滑模型的红外与可见光图像融合方法
CN117218048B (zh) * 2023-11-07 2024-03-08 天津市测绘院有限公司 基于三层稀疏光滑模型的红外与可见光图像融合方法

Also Published As

Publication number Publication date
CN107341786B (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
CN107341786A (zh) 小波变换与联合稀疏表示的红外与可见光图像融合方法
CN107154023B (zh) 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
Jin et al. A survey of infrared and visual image fusion methods
CN101630405B (zh) 一种利用核Fisher分类与冗余小波变换的多聚焦图像融合方法
CN102750385B (zh) 基于标签检索的相关性—质量排序图像检索方法
CN102968781B (zh) 基于nsct和稀疏表示的图像融合方法
CN106327459A (zh) 基于udct和pcnn的可见光与红外图像融合算法
CN110533077A (zh) 用于高光谱图像分类的形状自适应卷积深度神经网络方法
CN106981058A (zh) 一种基于稀疏字典的光学与红外图像融合方法及系统
CN110570387B (zh) 一种基于特征级Copula模型相似性的图像融合方法
CN109829924A (zh) 一种基于主体特征分析的图像质量评价方法
CN105913408A (zh) 一种基于双边滤波器的多聚焦图像融合方法
CN103455990B (zh) 结合视觉注意机制和pcnn的图像融合方法
CN104299232A (zh) 一种基于自适应窗方向波域和改进fcm的sar图像分割方法
CN102800070A (zh) 基于区域和人眼对比敏感特性的异源图像融合方法
CN109816646A (zh) 一种基于退化决策逻辑的无参考图像质量评价方法
Zhao et al. An adaptation of CNN for small target detection in the infrared
CN107301641A (zh) 一种遥感图像变化的检测方法及装置
WO2016145571A1 (zh) 基于条件直方图码书的盲图像质量评价方法
Chaudhary et al. Fusion of local and global features using stationary wavelet transform for efficient content based image retrieval
Wang et al. Latent representation learning model for multi-band images fusion via low-rank and sparse embedding
Liu et al. An attention-guided and wavelet-constrained generative adversarial network for infrared and visible image fusion
CN105809650A (zh) 一种基于双向迭代优化的图像融合方法
Pan et al. DenseNetFuse: A study of deep unsupervised DenseNet to infrared and visual image fusion
CN107341449A (zh) 一种基于云块特征变化的静止气象卫星降水估算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant