CN111680752A - 基于Framelet框架的红外与可见光图像融合方法 - Google Patents

基于Framelet框架的红外与可见光图像融合方法 Download PDF

Info

Publication number
CN111680752A
CN111680752A CN202010520064.XA CN202010520064A CN111680752A CN 111680752 A CN111680752 A CN 111680752A CN 202010520064 A CN202010520064 A CN 202010520064A CN 111680752 A CN111680752 A CN 111680752A
Authority
CN
China
Prior art keywords
visible light
infrared
image
light image
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010520064.XA
Other languages
English (en)
Other versions
CN111680752B (zh
Inventor
冯鑫
胡开群
杜彦斌
娄熙承
张建华
翟治芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Technology and Business University
Original Assignee
Chongqing Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Technology and Business University filed Critical Chongqing Technology and Business University
Priority to CN202010520064.XA priority Critical patent/CN111680752B/zh
Publication of CN111680752A publication Critical patent/CN111680752A/zh
Application granted granted Critical
Publication of CN111680752B publication Critical patent/CN111680752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及图像融合技术领域，具体为基于Framelet框架的红外与可见光图像融合方法，包括：S100：采用Framelet变换对红外图像以及可见光图像进行分解；S200：对红外图像和可见光图像的高频子带采用卷积稀疏表示进行系数分解；分别采用活动测度水平取大和加权平均规则进行细节层和基本层的融合；S300：对红外图像以及可见光图像的低频子带定义ISR算子进行融合；S400：对融合后的高频子带系数和低频子带系数采用Framelet反变换，获取最终的融合结果。本申请的基于Framelet框架的红外与可见光图像融合方法，能够解决目前融合方法在保留融合图像细节信息的同时不能有效保持融合目标轮廓的缺点，有效提升红外与可见光图像融合的质量，并且还具有抗误配能力，能够克服在融合前可能存在的配准误差。

Description

基于Framelet框架的红外与可见光图像融合方法
技术领域
本发明涉及图像融合技术领域，具体为基于Framelet框架的红外与可见光图像融合方法。
背景技术
图像融合是一种增强技术，旨在组合由不同类型的传感器获得的图像，以生成稳健或信息丰富的图像，以便于后续处理或帮助决策。优秀融合方法的关键是有效的图像信息提取和适当的融合原理，它允许从源图像中提取有用信息并在融合结果中集成，而不会在过程中引入任何伪像。在信息爆炸时代，传感器技术正在迅速发展。某些复杂应用的出现需要有关某种情况的全面信息，以便加深对各种条件的理解。
相同类型的传感器仅从一个方面获取信息，因此无法提供所有必需的信息。因此，融合技术在现代应用和计算机视觉中发挥着越来越重要的作用。
红外和可见图像共享互补特性，从而产生稳健且信息丰富的融合图像。可见图像通常具有高空间分辨率和相当大的细节和明暗对比。因此，它们适合于人类视觉感知。然而，这些图像很容易受到严苛条件的影响，例如光线不足，雾气和恶劣天气的其他影响。同时，描绘物体的热辐射的红外图像抵抗这些干扰，但通常具有低分辨率和差的纹理。因此，由于所使用的图像的普遍和互补的特性，可见和红外图像的融合技术可以用于比其他融合方案更多的领域。物体识别、检测、图像增强、监视和遥感是红外和可见光图像融合的典型应用。
目前，红外与可见光图像融合主要分为2大类，包括基于空域的融合方法以及基于变换域的融合方法。其中基于空域的融合方法主要在像素本身上进行融合规则的设置，主要包括基于子空间的融合方法以及基于显著性的融合方法。子空间融合方法的思路是将高维输入图像投影到低维空间或子空间中，帮助研究人员获取更多图像的内在结构信息；而基于显著性的融合方法根据人类视觉系统的机制，可以保持显著对象区域的完整性，并提高融合图像的视觉质量。基于空间域的方法直接在图像像素点上进行处理，但是大部分都需要对图像本身进行块处理，而容易使得融合结果产生块效应。
基于变换域的融合方法思路是将图像从空域变换到某个特定的框架域以内，然后在该域内采用某种规则进行融合，最后再反变换回去获取最终的融合结果。而该类融合方法的主要创新点是在变换框架的改进以及域内融合规则的改进上，目前比较热门的变换方法包括小波方法、NSCT方法以及NSST方法等。而Framelet变换相比较于普通的小波变换具有更小的重建误差，且时间尺度平面更加密集，已经被用于图像去噪以及图像融合。
文献“唐守军,万伟,刘永福.Framelet变换结合HSV的多模态图像融合方法[J].西南师范大学学报(自然科学版),2018,43(01):31-39.”(后文简称为文献[1])，利用Framelet变换结合人类视觉系统针对医学多模态图像进行融合。但是作者在变换域融合规则的设置上相对比较简单，并且没有考虑待合图像可能出现的误配情况。
目前并没有基于Framelet变换的红外与可见光图像融合相关研究，并且在其它多模态图像融合方法中，也存在融合规则的设置较简单，不具有平移不变性、融合过程中容易图像误配而产生的融合伪影等缺点。
发明内容
本发明意在提供基于Framelet框架的红外与可见光图像融合方法，能够解决现有技术不具有平移不变性、融合过程中容易图像误配而产生的融合伪影等问题。
本申请提供如下技术方案：
基于Framelet框架的红外与可见光图像融合方法，包括以下内容：
S100：采用Framelet变换对红外图像以及可见光图像进行分解，得到红外图像的高频子带和低频子带以及可见光图像的高频子带和低频子带；
S200：对红外图像和可见光图像的高频子带采用卷积稀疏表示进行系数分解，得到红外图像与可见光图像的基本层和细节层；分别采用活动测度水平取大和加权平均规则进行细节层和基本层的融合；
S300：对红外图像以及可见光图像的低频子带定义ISR算子进行融合；
S400：对融合后的高频子带系数和低频子带系数采用Framelet反变换，获取最终的融合结果。
本发明技术方案中，引入Framelet变换到红外与可见光图像融合，其频域分解后相比较于传统的小波变换具有更加的丰富的细节信息，高频系数能量更加集中；同时对于高频子带系数采用卷积稀疏表示再次进行分解，获取特征更加明显的基本层和细节层，对其采用相应的融合规则进行融合能够获取更高质量的融合结果；卷席稀疏表示并且相比较于稀疏表示来说具有平移不变性，能够有效克制融合过程中源图像误配而产生的融合伪影，提高融合质量。
进一步，所述S300中，采用由信息熵、标准差和范围滤波器构建的ISR混合算子对低频子带进行融合。
由信息熵、标准差和范围滤波器构建的混合ISR描述子来进行分解后低频子带融合，增加源图像的边缘、纹理、轮廓以及优质信息的融合质量。
进一步，所述S100具体包括：
分别对图像I1和I2进行l尺度的Framelet变换，得到红外图像与可见光图像的低频分量
Figure BDA0002531709590000031
和
Figure BDA0002531709590000032
以及红外图像与可见光图像的高频分量
Figure BDA0002531709590000033
和
Figure BDA0002531709590000034
图像I1和I2分别表示红外图像与可见光图像；θ1＝{LL}；θ2∈{LH1,LH2,H1L,H1H1,H1H2,H2L,H2H,H2H2}，为不同尺度的小波函数。
进一步，所述S200具体包括：
S201：基于MOD-like字典学习方法进行字典学习；
S202：建立卷积稀疏表示模型，得到相应系数的细节层和基本层；
S203：采用卷积稀疏表示系数活动水平取大规则进行细节层融合；
S204：采用卷积稀疏表示系数加权平均的规则进行基本层融合。
在字典学习时，使用传统K-SVD的常规字典学习方法通常会产生冗余或高度结构化的字典。引入MOD-like的字典学习方法进行学习，可以解决上述问题。
进一步，所述S201具体包括：
采用以下公式定义MOD-like模型的字典学习方法：
Figure BDA0002531709590000035
约束条件：
||xt||0≤τ,t＝1,2,...,k
其中，τ表示X的每列中采用的最大非零系数数量，Y为数据集矩阵，Y∈Rnk×I，D为字典矩阵，D∈Rnk×(k+1)M，X为系数矩阵，X∈R(k+1)M×I，按照公式：
Figure BDA0002531709590000041
Figure BDA0002531709590000042
Figure BDA0002531709590000043
计算数据集矩阵、字典矩阵以及系数矩阵，其中，Yk∈Rn×I表示来自第k张的尺寸为n的I图像，D∈Rn×M为一个过度完整的字典，且n<M。
进一步，所述S202具体包括：
S2021：建立卷积稀疏表示模型：
Figure BDA0002531709590000044
其中，do为字典原子，且向量o∈{1,2,...,O}，xo为稀疏系数图，λ为正则化参数，且﹡表示卷积算子；
S2022：根据公式：
Figure BDA0002531709590000045
计算得到红外图像的基本层分量
Figure BDA0002531709590000046
其中，gx＝[-1 1]与gy＝[-1 1]T分别表示水平和垂直梯度算子；
根据公式：
Figure BDA0002531709590000047
计算红外图像的细节层分量
Figure BDA0002531709590000048
S2023：根据公式：
Figure BDA0002531709590000049
计算得到可见光图像的基本层分量
Figure BDA00025317095900000410
其中，gx＝[-1 1]与gy＝[-1 1]T分别表示水平和垂直梯度算子；
根据公式：
Figure BDA0002531709590000051
计算可见光图像的细节层分量
Figure BDA0002531709590000052
进一步，所述S203具体包括：
根据系数
Figure BDA0002531709590000053
的l1范数求出系数的活动水平测度为：
Figure BDA0002531709590000054
其中，
Figure BDA0002531709590000055
为细节层的活跃水平图，ω1×ω2为窗口尺寸；
根据公式：
Figure BDA0002531709590000056
得到融合后系数
Figure BDA0002531709590000057
得到细节层融合的最终系数为：
Figure BDA0002531709590000058
其中，do为字典原子，
Figure BDA0002531709590000059
为取大规则融合后的系数，﹡表示卷积算子。
采用活跃水平取最大的规则进行系数选取，系数的活跃水平在很大程度上反应了图像包含的信息量，使得系数选取更加准确。
进一步，所述S204具体包括：
按照以下融合规则进行基本层融合：
Figure BDA00025317095900000510
其中，
Figure BDA00025317095900000511
为融合后的基本层系数，w1与w2为融合权重系数，定义如下所示：
Figure BDA00025317095900000512
Figure BDA0002531709590000061
其中，
Figure BDA0002531709590000062
分别表示红外图像与可见光图像的基本层系数的均值，σ1、σ2分别表示红外图像与可见光图像的基本层系数标准方差。
进一步，所述S300包括：
S301：基于信息熵、标准差和范围滤波器建立红外图像与可见光图像经过Framelet变换分解所得高频系数
Figure BDA0002531709590000063
的相应评价指标
Figure BDA0002531709590000064
和
Figure BDA0002531709590000065
构建ISR复合算子：
Figure BDA0002531709590000066
其中，α为复合描述子因子，WIE表示信息熵，WSD表示标准差，WR表示范围滤波器，
Figure BDA0002531709590000067
和
Figure BDA0002531709590000068
为：
Figure BDA0002531709590000069
Figure BDA00025317095900000610
Figure BDA00025317095900000611
得到红外图像与可见光图像对应的复合算子
Figure BDA00025317095900000612
和
Figure BDA00025317095900000613
进一步，所述S300还包括：
S302：根据S301得到的复合算子
Figure BDA00025317095900000614
和
Figure BDA00025317095900000615
设置融合规则为：
Figure BDA00025317095900000616
附图说明
图1为本申请基于Framelet框架的红外与可见光图像融合方法的流程图；
图2为实施例试验中，ISR描述子对应的指标滤波器结果的源图像；
图3为实施例试验中，ISR描述子对应的指标滤波器结果的熵图像；
图4为实施例试验中，ISR描述子对应的指标滤波器结果的标准差图像；
图5为实施例试验中，ISR描述子对应的指标滤波器结果的范围滤波图像；
图6为实施例试验中，使用的Soldier数据库的红外图像；
图7为实施例试验中，使用的Soldier数据库的可见光图像；
图8为实施例试验中，采用NSCT方法处理Soldier数据的实验结果图；
图9为实施例试验中，采用文献[1]方法处理Soldier数据的实验结果图；
图10为实施例试验中，采用FPDE方法处理Soldier数据的实验结果图；
图11为实施例试验中，采用LEPLC方法处理Soldier数据的实验结果图；
图12为实施例试验中，采用CNN方法处理Soldier数据的实验结果图；
图13为实施例试验中，采用本申请方法处理Soldier数据的实验结果图
图14为实施例试验中，使用的TNO_Athena数据库的红外图像；
图15为实施例试验中，使用的TNO_Athena数据库的可见光图像；
图16为实施例试验中，采用NSCT方法处理TNO_Athena数据的实验结果图；
图17为实施例试验中，采用文献[1]方法处理TNO_Athena数据的实验结果图；
图18为实施例试验中，采用FPDE方法处理TNO_Athena数据的实验结果图；
图19为实施例试验中，采用LEPLC方法处理TNO_Athena数据的实验结果图；
图20为实施例试验中，采用CNN方法处理TNO_Athena数据的实验结果图；
图21为实施例试验中，采用本申请方法处理TNO_Athena数据的实验结果图。
具体实施方式
下面通过具体实施方式进一步详细说明：
如图1所示，本实施例的基于Framelet框架的红外与可见光图像融合方法，包括以下内容：
S100：采用Framelet变换对红外图像以及可见光图像进行分解，得到红外图像的高频子带和低频子带以及可见光图像的高频子带和低频子带；
S200：对红外图像和可见光图像的高频子带采用卷积稀疏表示进行系数分解，得到红外图像与可见光图像的基本层和细节层；分别采用活动测度水平取大和加权平均规则进行细节层和基本层的融合；
S300：采用由信息熵、标准差和范围滤波器构建的ISR混合算子对红外图像以及可见光图像的低频子带进行融合；
S400：对融合后的高频子带系数和低频子带系数采用Framelet反变换，获取最终的融合结果。
具体的，假设待融合的红外图像与可见光图像分别为图像I1和I2。S100中，分别对图像I1和I2进行l尺度的Framelet变换，得到红外图像与可见光图像的低频分量
Figure BDA0002531709590000081
和
Figure BDA0002531709590000082
以及红外图像与可见光图像的高频分量
Figure BDA0002531709590000083
和
Figure BDA0002531709590000084
其中，θ1＝{LL}；θ2∈{LH1,LH2,H1L,H1H1,H1H2,H2L,H2H,H2H2}，为8个不同尺度的小波函数，即域内的频谱方向。
S200具体包括：
S201：基于MOD-like字典学习方法进行字典学习；在字典学习时，使用传统K-SVD的常规字典学习方法通常会产生冗余或高度结构化的字典。为克服缺点，本申请中引入MOD-like的字典学习方法进行学习。
定义MOD-like模型的字典学习方法为：
Figure BDA0002531709590000085
约束条件：
||xt||0≤τ,t＝1,2,...,k
其中，τ表示X的每列中采用的最大非零系数数量，Y为数据集矩阵，Y∈Rnk×I，D为字典矩阵，D∈Rnk×(k+1)M，X为系数矩阵，X∈R(k+1)M×I，按照公式：
Figure BDA0002531709590000086
Figure BDA0002531709590000087
Figure BDA0002531709590000088
计算数据集矩阵、字典矩阵以及系数矩阵，其中，Yk∈Rn×I表示来自第k张的尺寸为n的I图像，D∈Rn×M为一个过度完整的字典，且n<M。
S202：建立卷积稀疏表示模型，得到相应系数的细节层和基本层；
具体包括：
S2021：建立卷积稀疏表示模型：
Figure BDA0002531709590000091
其中，do为字典原子，且向量o∈{1,2,...,O}，xo为稀疏系数图，λ为正则化参数，且﹡表示卷积算子；
S2022：根据公式：
Figure BDA0002531709590000092
计算得到红外图像的基本层分量
Figure BDA0002531709590000093
其中，gx＝[-1 1]与gy＝[-1 1]T分别表示水平和垂直梯度算子；
根据公式：
Figure BDA0002531709590000094
计算红外图像的基本层分量
Figure BDA0002531709590000095
S2023：根据公式：
Figure BDA0002531709590000096
计算得到可见光图像的基本层分量
Figure BDA0002531709590000097
其中，gx＝[-1 1]与gy＝[-1 1]T分别表示水平和垂直梯度算子；
根据公式：
Figure BDA0002531709590000098
计算可见光图像的基本层分量
Figure BDA0002531709590000099
S203：采用卷积稀疏表示系数活动水平取大规则进行细节层融合；
具体包括：
根据系数
Figure BDA00025317095900000910
的l1范数求出系数的活动水平测度为：
Figure BDA00025317095900000911
其中，
Figure BDA0002531709590000101
为细节层的活跃水平图，ω1×ω2为窗口尺寸；
根据公式：
Figure BDA0002531709590000102
得到融合后系数
Figure BDA0002531709590000103
得到细节层融合的最终系数为：
Figure BDA0002531709590000104
其中，do为字典原子，
Figure BDA0002531709590000105
为取大规则融合后的系数，﹡表示卷积算子。
S204：采用卷积稀疏表示系数加权平均的规则进行基本层融合，按照以下融合规则进行基本层融合：
Figure BDA0002531709590000106
其中，
Figure BDA0002531709590000107
为融合后的基本层系数，w1与w2为融合权重系数，定义如下所示：
Figure BDA0002531709590000108
Figure BDA0002531709590000109
其中，
Figure BDA00025317095900001010
分别表示红外图像与可见光图像的基本层系数的均值，σ1、σ2分别表示红外图像与可见光图像的基本层系数标准方差。
S300具体包括：
S301：基于信息熵、标准差和范围滤波器建立红外图像与可见光图像经过Framelet变换分解所得高频系数
Figure BDA00025317095900001011
的相应评价指标
Figure BDA00025317095900001012
和
Figure BDA00025317095900001013
构建ISR复合算子：
Figure BDA00025317095900001014
其中，α为复合描述子因子，WIE表示信息熵，WSD表示标准差，WR表示范围滤波器，
Figure BDA00025317095900001015
和
Figure BDA00025317095900001016
为：
Figure BDA0002531709590000111
Figure BDA0002531709590000112
Figure BDA0002531709590000113
得到红外图像与可见光图像对应的复合算子
Figure BDA0002531709590000114
和
Figure BDA0002531709590000115
S302：根据S301得到的复合算子和
Figure BDA0002531709590000117
设置融合规则为：
Figure BDA0002531709590000118
为了验证本申请技术方案的效果，申请人进行了以下实验：
实验条件：
本实施例实验的主要条件为：Core i7-8700 6核12线程CPU，显卡为GeforceGTX10806G，16G内存，64位win7操作系统。仿真平台软件为Matlab2014a。
实验内容：
本实施例实验采用的数据库主要有Soldier数据以及TNO_Athena数据。对比的方法主要有NSCT方法、文献[1]方法、FPDE方法、LEPLC方法以及CNN方法。其中NSCT以及文献[1]中方法为变换域方法，FPDE方法为子空间方法，LEPLC方法为变换域结合空间域的方法，CNN为目前最流行的深度学习方法。在参数设置上，NSCT方法主要采用4层分解，方向滤波器选择“vk”滤波器，分解滤波器选择“pyrexc”滤波器，4层的分解方向分别为4，8，8，16。
中间过程：
ISR描述子对应的指标滤波器结果如图2-5所示。
实验结果与结论：
基于Soldier数据的对比实验结果如图6-13所示；
基于TNO_Athena数据的对比试验结果如图14-21所示；
经过主观视觉可以比较明显的看出，本实施例提出的方法无论是在细节信息的保持以及边缘轮廓的保留上都具有一定的优势。相对比文献[1]方法来说，本方法设计了更加丰富的融合规则，取得了更好的融合质量；比较目前流行的几种图像融合方法来说，也具有更好的视觉效果。
在客观评价上面，采用互信息(QMI)、梯度特征(QG)、结构相似度(QY)等三个具有代表性的融合质量评价指标来对客观属性进行比较，结果如下表所示，可以看出，本实施例的方法处理的图像在上述三个维度的评价指标上均明显优于其他处理方式，可见本申请技术方案有效提升红外与可见光图像融合的质量，并且还具有一定的抗误配能力，能够有效克服在融合前可能存在的配准误差，有效克制融合过程中源图像误配而产生的融合伪影。
表1融合结果指标客观评价结果
Figure BDA0002531709590000121
以上的仅是本发明的实施例，该发明不限于此实施案例涉及的领域，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (10)

1.基于Framelet框架的红外与可见光图像融合方法，其特征在于：包括以下内容：
S100：采用Framelet变换对红外图像以及可见光图像进行分解，得到红外图像的高频子带和低频子带以及可见光图像的高频子带和低频子带；
S200：对红外图像和可见光图像的高频子带采用卷积稀疏表示进行系数分解，得到红外图像与可见光图像的基本层和细节层；分别采用活动测度水平取大和加权平均规则进行细节层和基本层的融合；
S300：对红外图像以及可见光图像的低频子带定义ISR算子进行融合；
S400：对融合后的高频子带系数和低频子带系数采用Framelet反变换，获取最终的融合结果。
2.根据权利要求1所述的基于Framelet框架的红外与可见光图像融合方法，其特征在于：所述S300中，采用由信息熵、标准差和范围滤波器构建的ISR混合算子对低频子带进行融合。
3.根据权利要求2所述的基于Framelet框架的红外与可见光图像融合方法，其特征在于：所述S100具体包括：
分别对图像I1和I2进行l尺度的Framelet变换，得到红外图像与可见光图像的低频分量
Figure FDA0002531709580000011
和
Figure FDA0002531709580000012
以及红外图像与可见光图像的高频分量
Figure FDA0002531709580000014
和
Figure FDA0002531709580000013
图像I1和I2分别表示红外图像与可见光图像；θ1＝{LL}；θ2∈{LH1,LH2,H1L,H1H1,H1H2,H2L,H2H,H2H2}，为不同尺度的小波函数。
4.根据权利要求3所述的基于Framelet框架的红外与可见光图像融合方法，其特征在于：所述S200具体包括：
S201：基于MOD-like字典学习方法进行字典学习；
S202：建立卷积稀疏表示模型，得到相应系数的细节层和基本层；
S203：采用卷积稀疏表示系数活动水平取大规则进行细节层融合；
S204：采用卷积稀疏表示系数加权平均的规则进行基本层融合。
5.根据权利要求4所述的基于Framelet框架的红外与可见光图像融合方法，其特征在于：所述S201具体包括：
采用以下公式定义MOD-like模型的字典学习方法：
Figure FDA0002531709580000021
约束条件：
||xt||0≤τ,t＝1,2,...,k
其中，τ表示X的每列中采用的最大非零系数数量，Y为数据集矩阵，Y∈Rnk×I，D为字典矩阵，D∈Rnk×(k+1)M，X为系数矩阵，X∈R(k+1)M×I，按照公式：
Figure FDA0002531709580000022
Figure FDA0002531709580000023
Figure FDA0002531709580000024
计算数据集矩阵、字典矩阵以及系数矩阵，其中，Yk∈Rn×I表示来自第k张的尺寸为n的I图像，D∈Rn×M为一个过度完整的字典，且n<M。
6.根据权利要求5所述的基于Framelet框架的红外与可见光图像融合方法，其特征在于：所述S202具体包括：
S2021：建立卷积稀疏表示模型：
Figure FDA0002531709580000025
其中，do为字典原子，且向量o∈{1,2,...,O}，xo为稀疏系数图，λ为正则化参数，且﹡表示卷积算子；
S2022：根据公式：
Figure FDA0002531709580000031
计算得到红外图像的基本层分量
Figure FDA0002531709580000032
其中，gx＝[-1 1]与gy＝[-1 1]T分别表示水平和垂直梯度算子；
根据公式：
Figure FDA0002531709580000033
计算红外图像的细节层分量
Figure FDA0002531709580000034
S2023：根据公式：
Figure FDA0002531709580000035
计算得到可见光图像的基本层分量
Figure FDA0002531709580000036
其中，gx＝[-1 1]与gy＝[-1 1]T分别表示水平和垂直梯度算子；
根据公式：
Figure FDA0002531709580000037
计算可见光图像的细节层分量
Figure FDA0002531709580000038
7.根据权利要求6所述的基于Framelet框架的红外与可见光图像融合方法，其特征在于：所述S203具体包括：
根据系数
Figure FDA0002531709580000039
的l1范数求出系数的活动水平测度为：
Figure FDA00025317095800000310
其中，
Figure FDA00025317095800000311
为细节层的活跃水平图，ω1×ω2为窗口尺寸；
根据公式：
Figure FDA00025317095800000312
得到融合后系数
Figure FDA0002531709580000041
得到细节层融合的最终系数为：
Figure FDA0002531709580000042
其中，do为字典原子，
Figure FDA0002531709580000043
为取大规则融合后的系数，﹡表示卷积算子。
8.根据权利要求7所述的基于Framelet框架的红外与可见光图像融合方法，其特征在于：所述S204具体包括：
按照以下融合规则进行基本层融合：
Figure FDA0002531709580000044
其中，
Figure FDA0002531709580000045
为融合后的基本层系数，w1与w2为融合权重系数，定义如下所示：
Figure FDA0002531709580000046
Figure FDA0002531709580000047
其中，
Figure FDA0002531709580000048
分别表示红外图像与可见光图像的基本层系数的均值，σ1、σ2分别表示红外图像与可见光图像的基本层系数标准方差。
9.根据权利要求8所述的基于Framelet框架的红外与可见光图像融合方法，其特征在于：所述S300包括：
S301：基于信息熵、标准差和范围滤波器建立红外图像与可见光图像经过Framelet变换分解所得高频系数
Figure FDA0002531709580000049
的相应评价指标
Figure FDA00025317095800000410
和
Figure FDA00025317095800000411
构建ISR复合算子：
Figure FDA00025317095800000412
其中，α为复合描述子因子，WIE表示信息熵，WSD表示标准差，WR表示范围滤波器，
Figure FDA0002531709580000051
和
Figure FDA0002531709580000052
为：
Figure FDA0002531709580000053
Figure FDA0002531709580000054
Figure FDA0002531709580000055
得到红外图像与可见光图像对应的复合算子
Figure FDA0002531709580000056
和
Figure FDA0002531709580000057
10.根据权利要求9所述的基于Framelet框架的红外与可见光图像融合方法，其特征在于：所述S300还包括：
S302：根据S301得到的复合算子
Figure FDA0002531709580000058
和
Figure FDA0002531709580000059
设置融合规则为：
Figure FDA00025317095800000510
CN202010520064.XA 2020-06-09 2020-06-09 基于Framelet框架的红外与可见光图像融合方法 Active CN111680752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010520064.XA CN111680752B (zh) 2020-06-09 2020-06-09 基于Framelet框架的红外与可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010520064.XA CN111680752B (zh) 2020-06-09 2020-06-09 基于Framelet框架的红外与可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN111680752A true CN111680752A (zh) 2020-09-18
CN111680752B CN111680752B (zh) 2022-07-22

Family

ID=72454210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010520064.XA Active CN111680752B (zh) 2020-06-09 2020-06-09 基于Framelet框架的红外与可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN111680752B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379661A (zh) * 2021-06-15 2021-09-10 中国工程物理研究院流体物理研究所 红外与可见光图像融合的双分支卷积神经网络及融合方法
CN114708178A (zh) * 2022-03-30 2022-07-05 北京理工大学 基于引导滤波与稀疏表示的遥感影像融合方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976346A (zh) * 2016-04-28 2016-09-28 电子科技大学 基于鲁棒主成分稀疏分解的红外与可见光图像融合方法
CN106251355A (zh) * 2016-08-03 2016-12-21 江苏大学 一种融合可见光图像与对应夜视红外图像的检测方法
WO2017165672A1 (en) * 2016-03-23 2017-09-28 University Of Iowa Research Foundation Devices, systems and methods utilizing framelet-based iterative maximum-likelihood reconstruction algorithms in spectral ct
CN107230196A (zh) * 2017-04-17 2017-10-03 江南大学 基于非下采样轮廓波和目标可信度的红外与可见光图像融合方法
CN107341786A (zh) * 2017-06-20 2017-11-10 西北工业大学 小波变换与联合稀疏表示的红外与可见光图像融合方法
CN107784642A (zh) * 2016-08-26 2018-03-09 北京航空航天大学 一种红外视频和可见光视频自适应融合方法
US20180349319A1 (en) * 2017-06-02 2018-12-06 Mitsubishi Electric Research Laboratories, Inc. Online convolutional dictionary learning
CN109102485A (zh) * 2018-09-11 2018-12-28 中国科学院长春光学精密机械与物理研究所 基于nsst和自适应双通道pcnn的图像融合方法及装置
CN109559292A (zh) * 2018-11-22 2019-04-02 西北工业大学 基于卷积稀疏表示的多模态图像融合方法
CN110084288A (zh) * 2019-04-11 2019-08-02 江南大学 一种基于自学习神经单元的图像融合方法
CN110349117A (zh) * 2019-06-28 2019-10-18 重庆工商大学 一种红外图像与可见光图像融合方法、装置及存储介质
CN110570387A (zh) * 2019-09-16 2019-12-13 江南大学 一种基于特征级Copula模型相似性的图像融合方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017165672A1 (en) * 2016-03-23 2017-09-28 University Of Iowa Research Foundation Devices, systems and methods utilizing framelet-based iterative maximum-likelihood reconstruction algorithms in spectral ct
US20190102918A1 (en) * 2016-03-23 2019-04-04 University Of Iowa Research Foundation Devices, Systems and Methods Utilizing Framelet-Based Iterative Maximum-Likelihood Reconstruction Algorithms in Spectral CT
CN105976346A (zh) * 2016-04-28 2016-09-28 电子科技大学 基于鲁棒主成分稀疏分解的红外与可见光图像融合方法
CN106251355A (zh) * 2016-08-03 2016-12-21 江苏大学 一种融合可见光图像与对应夜视红外图像的检测方法
CN107784642A (zh) * 2016-08-26 2018-03-09 北京航空航天大学 一种红外视频和可见光视频自适应融合方法
CN107230196A (zh) * 2017-04-17 2017-10-03 江南大学 基于非下采样轮廓波和目标可信度的红外与可见光图像融合方法
US20180349319A1 (en) * 2017-06-02 2018-12-06 Mitsubishi Electric Research Laboratories, Inc. Online convolutional dictionary learning
CN107341786A (zh) * 2017-06-20 2017-11-10 西北工业大学 小波变换与联合稀疏表示的红外与可见光图像融合方法
CN109102485A (zh) * 2018-09-11 2018-12-28 中国科学院长春光学精密机械与物理研究所 基于nsst和自适应双通道pcnn的图像融合方法及装置
CN109559292A (zh) * 2018-11-22 2019-04-02 西北工业大学 基于卷积稀疏表示的多模态图像融合方法
CN110084288A (zh) * 2019-04-11 2019-08-02 江南大学 一种基于自学习神经单元的图像融合方法
CN110349117A (zh) * 2019-06-28 2019-10-18 重庆工商大学 一种红外图像与可见光图像融合方法、装置及存储介质
CN110570387A (zh) * 2019-09-16 2019-12-13 江南大学 一种基于特征级Copula模型相似性的图像融合方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
CHENGFANG ZHANG等: "Infrared and visible image fusion using joint convolution sparse coding", 《2019 INTERNATIONAL CONFERENCE ON IMAGE AND VIDEO PROCESSING AND ARTIFICIAL INTELLIGENCE》 *
CHUNYU WEI等: "A Three Scale Image Transformation for Infrared and Visible Image Fusion", 《2017 20TH INTERNATIONAL CONFERENCE ON INFORMATION FUSION》 *
代茵: "多模医学图像多通道变换融合技术研究", 《中国博士学位论文全文数据库 (信息科技辑)》 *
冯鑫: "Tetrolet框架下红外与可见光图像融合", 《光子学报》 *
唐守军等: "Framelet变换结合HSV的多模态图像融合方法", 《西南师范大学学报(自然科学版)》 *
戚余斌等: "基于张量分解和卷积稀疏表示的多曝光图像融合", 《光电工程》 *
董安勇等: "基于卷积稀疏表示的红外与可见光图像融合", 《激光与红外》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379661A (zh) * 2021-06-15 2021-09-10 中国工程物理研究院流体物理研究所 红外与可见光图像融合的双分支卷积神经网络及融合方法
CN114708178A (zh) * 2022-03-30 2022-07-05 北京理工大学 基于引导滤波与稀疏表示的遥感影像融合方法

Also Published As

Publication number Publication date
CN111680752B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
Hu et al. Hyperspectral anomaly detection using deep learning: A review
Wang et al. A review of image super-resolution approaches based on deep learning and applications in remote sensing
CN115496928B (zh) 基于多重特征匹配的多模态图像特征匹配方法
Ma et al. Infrared and visible image fusion technology and application: A review
CN111680752B (zh) 基于Framelet框架的红外与可见光图像融合方法
Hang et al. Robust matrix discriminative analysis for feature extraction from hyperspectral images
WO2022141145A1 (zh) 面向对象的高分辨率遥感影像多尺度分割方法及系统
Sun et al. Semantic segmentation for buildings of large intra-class variation in remote sensing images with O-GAN
Hu et al. Single sample face recognition under varying illumination via QRCP decomposition
Wang et al. Cross-UNet: dual-branch infrared and visible image fusion framework based on cross-convolution and attention mechanism
Zhang et al. A separation–aggregation network for image denoising
Fu et al. Tensor Singular Spectral Analysis for 3D feature extraction in hyperspectral images
Yao et al. Adverse weather target detection algorithm based on adaptive color levels and improved YOLOv5
Dong et al. Context-aware guided attention based cross-feedback dense network for hyperspectral image super-resolution
Wang et al. Joint depth map super-resolution method via deep hybrid-cross guidance filter
Wang et al. Paccdu: pyramid attention cross-convolutional dual unet for infrared and visible image fusion
Gao et al. An improved multi-exposure image fusion method for intelligent transportation system
Xu et al. A novel image edge smoothing method based on convolutional neural network
Zhou et al. Frequency-aware feature aggregation network with dual-task consistency for RGB-T salient object detection
Luo et al. Infrared and Visible Image Fusion: Methods, Datasets, Applications, and Prospects
Hashim et al. An Optimized Image Annotation Method Utilizing Integrating Neural Networks Model and Slantlet Transformation
Huang et al. ICMiF: Interactive cascade microformers for cross-domain person re-identification
Li et al. A method of inpainting moles and acne on the high‐resolution face photos
Ma et al. FusionHeightNet: A Multi-Level Cross-Fusion Method from Multi-Source Remote Sensing Images for Urban Building Height Estimation
Dong et al. ICIF: Image fusion via information clustering and image features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant