CN109345495B - 基于能量最小化和梯度正则化的图像融合方法及装置 - Google Patents

基于能量最小化和梯度正则化的图像融合方法及装置 Download PDF

Info

Publication number
CN109345495B
CN109345495B CN201811055124.4A CN201811055124A CN109345495B CN 109345495 B CN109345495 B CN 109345495B CN 201811055124 A CN201811055124 A CN 201811055124A CN 109345495 B CN109345495 B CN 109345495B
Authority
CN
China
Prior art keywords
image
fusion
frequency subband
visible light
equation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811055124.4A
Other languages
English (en)
Other versions
CN109345495A (zh
Inventor
程博阳
金龙旭
李国宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN201811055124.4A priority Critical patent/CN109345495B/zh
Publication of CN109345495A publication Critical patent/CN109345495A/zh
Application granted granted Critical
Publication of CN109345495B publication Critical patent/CN109345495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供的基于l2能量最小化和l1梯度正则化的图像融合方法及装置，获取来自同一场景并进行图像配准的红外图像和可见光图像，通过NSST将红外图像和可见光图像进行多尺度、多方向分解，并得到相应的低频子带系数与高频子带系数，针对反映能量信息的低频子带系数，采用基于l2‑能量最小化的优化模型作为融合规则；针对反映纹理信息的高频子带系数，利用基于l1‑梯度正则化的优化模型作为融合规则，通过两种融合规则，将隐藏的红外显著目标信息与可见光的梯度纹理信息相结合，使最终的融合图像符合人眼视觉系统，通过将可见光的纹理信息与红外图像的显著性特征完美结合，取得较好的融合效果。

Description

基于能量最小化和梯度正则化的图像融合方法及装置
技术领域
本发明涉及图像融合领域，特别涉及一种基于能量最小化和梯度正则化的图像融合方法及装置。
背景技术
图像融合技术将来自多传感器的图像合并为一幅新图像，该图像蕴含了多种类型的信息特征，从而对图像内的场景或目标进行更为精确地描述与理解。目前，图像融合在民用领域和国防领域都有着广泛的应用，其中微光与红外图像融合是目前应用最为广泛的。在光照度不佳的微光条件下，可见光图像成像质量较差，对目标具有不易观察的隐蔽性。而红外图像则根据物体自身的辐射产生图像，可以主动地获取场景中的目标信息，因此能够很好地显示隐藏的热目标。通过两者的有效结合，能在一定情况下克服人眼在微弱光线下视觉特性存在的天然缺陷，延伸人眼的视觉波段范围，有效地形成对比度高、背景增强、目标突出的融合图像[3]。
针对红外与微光融合，学者们提出了许多方法，特别是针对像素级别的图像融合，其中大致可以分为以下两大类：第一类是基于空间域的方法，第二类是基于变换域的方法。空间域方法则是直接对图像的空间像素元进行处理，其中比较有代表性的方法有：稀疏分解(SR)、脉冲式耦合人工神经网络(PCNN)、多尺度顶帽变换(MTH)、结构张量法。由于可见光与红外属于不同波段的光谱，因此其图像的光谱差异性较大。以上方法在对两种源图像直接融合处理时，无法从本质上弥补其像素元较大的光谱差异性，融合图像往往存在对比度偏低的问题。而与空间域方法不同，变换域方法多以多尺度几何分析工具(MGA)作为主要的研究手段。该种方法将像素元的空间灰度值转换到变换域进行处理，一定程度能够减缓源图像之间的光谱差异性。目前人们提出的MGA方法主要有：轮廓波变换、非下采样轮廓波变换(NSCT)、双树复小波变换(DTCWT)、剪切波变换(ST)、非下采样剪切波变换(NSST)等。值得一提的是，在这些众多的MGA方法当中，NSST是最为先进的一种。NSST由合成小波构造而成，由此获得多方向的紧支撑结构，而且它在分解的过程中不存在下采样操作，可以对图像进行最为精细地稀疏分解，因此研究基于NSST的融合方法是很有价值的。NSST方法可将源图像分解成一系列不同尺度、不同频率的子带系数矩阵，然后采用适当的融合规则对其进行处理，最终得到融合图像。最为常见的融合规则就是加权平均法，该方法只是将源图像的亮度进行空间叠加，容易导致融合图像解析度下降，并且丢失很多纹理细节信息。为了能够获得更优良的融合效果，学者们相继利用一些空间域的方法作为NSST的融合规则来弥补加权平均法的缺陷，例如：文献《Zhang Baohua,Lu Xiaoqi,Pei Haiquan,Zhao Ying,A fusionalgorithm for infrared and visible images based on saliency analysis and non-subsampled Shearlet transform[J].Infrared Physics&Technology 73(2015)286–297》提出了一种采用NSST和快速非负矩阵分解(FNMF)相结合的融合方法，该算法在针对亮度较低的可见光图像时，融合的图片亮度偏暗，而且丢失了许多可见光的纹理细节；文献《Zhanwen Liu,Yan Feng,Yifan Zhang,Xu Li,A fusion algorithm for infrared andvisible images based on RDU-PCNN and ICA-bases in NSST domain[J].InfraredPhysics&Technology 79(2016)183–190》将PCNN与NSST相结合处理IR与VI图像融合，虽然PCNN具有仿生机制，但是该模型存在大量外设参数，并且具有朦胧的图像边缘；文献《Weiwei Kong,Technique for gray-scale visual light and infrared image fusionbased on non-subsampled shearlet transform[J].Infrared Physics&Technology 63(2014)110-118》提出一种NSST域内基于区域平均能量(RAE)和局部方向对比度(LDC)的融合框架，其时效性较好，但融合后的图像丢失了一些重要的红外显著性信息。
总的来讲，当现有的空间域方法作为融合规则时，都需要设定大量的外界参数，而这些参数大多都不具备自适应性，因此算法整体的复杂度提高并且具有一定的局限性。
发明内容
本发明实施例提供了一种基于
Figure BDA0001795581300000021
能量最小化和
Figure BDA0001795581300000022
梯度正则化的图像融合方法及装置，将可见光的纹理信息与红外图像的显著性特征完美结合，取得较好的融合效果。
第一方面，本发明提供一种基于
Figure BDA0001795581300000034
能量最小化和
Figure BDA0001795581300000035
梯度正则化的图像融合方法，所述方法包括：
获取来自同一场景并进行图像配准的红外图像和可见光图像；
利用非下采样剪切波变换NSST算法对所述红外图像和所述可见光图像进行多尺度多方向分解得到低频子带系数和高频子带系数；
采用基于
Figure BDA0001795581300000036
-能量最小化的优化模型作为所述低频子带系数的融合规则，利用基于
Figure BDA0001795581300000037
-梯度正则化的优化模型作为所述高频子带系数的融合规则；
利用NSST逆变换重构低频子带系数与高频子带系数形成融合图像。
可选地，所述获取来自同一场景并进行图像配准的红外图像和可见光图像，包括：
分别获取同一场景的红外图像和可见光图像；
对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。
可选地，所述利用非下采样剪切波变换NSST算法对所述红外图像和所述可见光图像进行多尺度多方向分解得到低频子带系数和高频子带系数，包括：
利用非下采样剪切波变换NSST算法对所述红外图像和所述可见光图像进行多尺度多方向分解得到低频子带系数
Figure BDA0001795581300000031
和高频子带系数，
Figure BDA0001795581300000032
其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素元的位置，IR代表红外图像，VI代表可见光图像。
可选地，所述采用基于
Figure BDA0001795581300000038
-能量最小化的优化模型作为所述低频子带系数的融合规则，利用基于
Figure BDA0001795581300000039
-梯度正则化的优化模型作为所述高频子带系数的融合规则，包括：
基于
Figure BDA00017955813000000310
-能量最小化的优化模型，表达式如下：
Figure BDA0001795581300000033
其中CIR l,k(i,j)代表在(i,j)处的最终低频分量融合系数，CIR l,k(i,j)与CVI l,k(i,j)分别代表红外图像与可见光图像的低频子带系数，l是分解层数，k是每层分解方向的数量，λ代表正则参数，||||2代表
Figure BDA0001795581300000047
-范数；
通过公式(13)可以得到公式(16)的欧拉-拉格朗日方程为：
Figure BDA0001795581300000041
源图像对融合图像贡献的下表达式：
Figure BDA0001795581300000042
其中ω1与ω2代表权重参数，代表源图像对融合图像的贡献；
将公式(2)与(3)相互结合得到公式(1)的解为：
Figure BDA0001795581300000043
其中λ为一种函数，表示源图像灰度值的变化而变化，表征IR图像的空间信息分布，表达式如下所示：
Figure BDA0001795581300000044
其中IR(i,j)表示红外图像中像素(i,j)的强度值，p表示像素强度，Mp表示其强度等于p的像素的数量，并且L是灰度级的数量；
利用基于
Figure BDA0001795581300000048
-梯度正则化的优化模型作为高频子带系数的融合规则，表达式如下：
Figure BDA0001795581300000045
Figure BDA0001795581300000046
其中Dl,k(i,j)为融合图像在(i,j)处的高频子带系数，DIR l,k(i,j)与DVI l,k(i,j)分别为红外图像与可见光图像的高频子带系数，l是分解层数，k是每层分解方向的数量，α为正则化参数，||||2代表
Figure BDA0001795581300000057
-范数，||||1代表
Figure BDA0001795581300000058
-范数；
公式(6)的欧拉-拉格朗日方程为：
Figure BDA0001795581300000051
其中div代表散度算子；
引入时间变量t，由式(14)得到公式(23)对应的梯度下降流为：
Figure BDA0001795581300000052
设置方程参数的初始化，对于边界条件采用边缘重复扩展处理：
Figure BDA0001795581300000053
其中k为迭代次数，Δt为时间步长；
将公式(9)带入到公式(10)中获得Dl,k(i,j)的平稳解：
Figure BDA0001795581300000054
Figure BDA0001795581300000055
采用公式(13)对公式(26)进行迭代得到Dl,k(i,j)的最终解，表达式如下：
Figure BDA0001795581300000056
可选地，所述利用NSST逆变换重构低频子带系数与高频子带系数形成融合图像，包括：
利用NSST逆变换重构低频子带系数Cl,k(i,j)与高频子带系数Dl,k(i,j)形成融合图像。
第二方面，本发明提供一种基于
Figure BDA0001795581300000064
能量最小化和
Figure BDA0001795581300000065
梯度正则化的图像融合装置，所述装置包括：
图像配准单元，用于获取来自同一场景并进行图像配准的红外图像和可见光图像；
多尺度分解单元，用于利用非下采样剪切波变换NSST算法对所述红外图像和所述可见光图像进行多尺度多方向分解得到低频子带系数和高频子带系数；
处理单元，用于采用基于
Figure BDA0001795581300000066
-能量最小化的优化模型作为所述低频子带系数的融合规则，利用基于
Figure BDA0001795581300000067
-梯度正则化的优化模型作为所述高频子带系数的融合规则；
融合单元，用于利用NSST逆变换重构低频子带系数与高频子带系数形成融合图像。
可选地，所述图像配准单元用于：
分别获取同一场景的红外图像和可见光图像；
对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。
可选地，所述多尺度分解单元具体用于：
利用非下采样剪切波变换NSST算法对所述红外图像和所述可见光图像进行多尺度多方向分解得到低频子带系数
Figure BDA0001795581300000061
和高频子带系数，
Figure BDA0001795581300000062
其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素元的位置，IR代表红外图像，VI代表可见光图像。
可选地，所述处理单元具体用于：
基于
Figure BDA0001795581300000068
-能量最小化的优化模型，表达式如下：
Figure BDA0001795581300000063
其中CIR l,k(i,j)代表在(i,j)处的最终低频分量融合系数，CIR l,k(i,j)与CVI l,k(i,j)分别代表红外图像与可见光图像的低频子带系数，l是分解层数，k是每层分解方向的数量，λ代表正则参数，||||2代表
Figure BDA0001795581300000077
-范数；
通过公式(13)可以得到公式(16)的欧拉-拉格朗日方程为：
Figure BDA0001795581300000071
源图像对融合图像贡献的下表达式：
Figure BDA0001795581300000072
其中ω1与ω2代表权重参数，代表源图像对融合图像的贡献；
将公式(2)与(3)相互结合得到公式(1)的解为：
Figure BDA0001795581300000073
其中λ为一种函数，表示源图像灰度值的变化而变化，表征IR图像的空间信息分布，表达式如下所示：
Figure BDA0001795581300000074
其中IR(i,j)表示红外图像中像素(i,j)的强度值，p表示像素强度，Mp表示其强度等于p的像素的数量，并且L是灰度级的数量；
利用基于
Figure BDA0001795581300000078
-梯度正则化的优化模型作为高频子带系数的融合规则，表达式如下：
Figure BDA0001795581300000075
Figure BDA0001795581300000076
其中Dl,k(i,j)为融合图像在(i,j)处的高频子带系数，DIR l,k(i,j)与DVI l,k(i,j)分别为红外图像与可见光图像的高频子带系数，l是分解层数，k是每层分解方向的数量，α为正则化参数，||||2代表
Figure BDA0001795581300000088
-范数，||||1代表
Figure BDA0001795581300000087
-范数；
公式(6)的欧拉-拉格朗日方程为：
Figure BDA0001795581300000081
其中div代表散度算子；
引入时间变量t，由式(14)得到公式(23)对应的梯度下降流为：
Figure BDA0001795581300000082
设置方程参数的初始化，对于边界条件采用边缘重复扩展处理：
Figure BDA0001795581300000083
其中k为迭代次数，Δt为时间步长；
将公式(9)带入到公式(10)中获得Dl,k(i,j)的平稳解：
Figure BDA0001795581300000084
Figure BDA0001795581300000085
采用公式(13)对公式(26)进行迭代得到Dl,k(i,j)的最终解，表达式如下：
Figure BDA0001795581300000086
可选地，所述融合单元具体用于：
利用NSST逆变换重构低频子带系数Cl,k(i,j)与高频子带系数Dl,k(i,j)形成融合图像。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明提供的基于
Figure BDA0001795581300000091
能量最小化和
Figure BDA0001795581300000092
梯度正则化的图像融合方法及装置，获取来自同一场景并进行图像配准的红外图像和可见光图像，通过NSST将红外图像和可见光图像进行多尺度、多方向分解，并得到相应的低频子带系数与高频子带系数，针对反映能量信息的低频子带系数，采用基于
Figure BDA0001795581300000093
-能量最小化的优化模型作为融合规则；针对反映纹理信息的高频子带系数，利用基于
Figure BDA0001795581300000094
-梯度正则化的优化模型作为融合规则，通过两种融合规则，将隐藏的红外显著目标信息与可见光的梯度纹理信息相结合，使最终的融合图像符合人眼视觉系统，通过将可见光的纹理信息与红外图像的显著性特征完美结合，取得较好的融合效果。
附图说明
图1是本发明提供的基于
Figure BDA0001795581300000095
能量最小化和
Figure BDA0001795581300000096
梯度正则化的图像融合方法的一种实施例的流程图；
图2是本发明提供的基于
Figure BDA0001795581300000097
能量最小化和
Figure BDA0001795581300000098
梯度正则化的图像融合方法的另一种实施例的流程图；
图3是本发明提供的基于
Figure BDA0001795581300000099
能量最小化和
Figure BDA00017955813000000910
梯度正则化的图像融合方法的一种实施例的NSST分解的示意图；
图4是本发明提供的基于
Figure BDA00017955813000000912
能量最小化和
Figure BDA00017955813000000911
梯度正则化的图像融合方法的一种实施例的自适应正则参数效果图；
图5是本发明提供的基于
Figure BDA00017955813000000913
能量最小化和
Figure BDA00017955813000000914
梯度正则化的图像融合方法的一种实施例的融合图像的对比效果。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
结合图1和图2所示，本发明提供一种基于
Figure BDA0001795581300000105
能量最小化和
Figure BDA0001795581300000104
梯度正则化的图像融合方法，所述方法包括：
S101、获取来自同一场景并进行图像配准的红外图像和可见光图像。
选取来自同一场景并且经过严格配准的红外图像与可见光图像，对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。
S102、利用非下采样剪切波变换NSST算法对所述红外图像和所述可见光图像进行多尺度多方向分解得到低频子带系数和高频子带系数；
结合图3所示，利用非下采样剪切波变换NSST算法对所述红外图像和所述可见光图像进行多尺度多方向分解得到低频子带系数
Figure BDA0001795581300000101
和高频子带系数
Figure BDA0001795581300000102
其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素元的位置，IR代表红外图像，VI代表可见光图像。
S103、采用基于
Figure BDA0001795581300000106
能量最小化的优化模型作为所述低频子带系数的融合规则，利用基于
Figure BDA0001795581300000107
-梯度正则化的优化模型作为所述高频子带系数的融合规则。
结合图4所示，其中，图4(a)为红外图像，图4(b)为自适应正则参数效果图，基于
Figure BDA0001795581300000108
-能量最小化的优化模型，表达式如下：
Figure BDA0001795581300000103
其中CIR l,k(i,j)代表在(i,j)处的最终低频分量融合系数，CIR l,k(i,j)与CVI l,k(i,j)分别代表红外图像与可见光图像的低频子带系数，l是分解层数，k是每层分解方向的数量，λ代表正则参数，||||2代表
Figure BDA0001795581300000117
-范数；
通过公式(13)可以得到公式(16)的欧拉-拉格朗日方程为：
Figure BDA0001795581300000111
源图像对融合图像贡献的下表达式：
Figure BDA0001795581300000112
其中ω1与ω2代表权重参数，代表源图像对融合图像的贡献；
将公式(2)与(3)相互结合得到公式(1)的解为：
Figure BDA0001795581300000113
其中λ为一种函数，表示源图像灰度值的变化而变化，表征IR图像的空间信息分布，表达式如下所示：
Figure BDA0001795581300000114
其中IR(i,j)表示红外图像中像素(i,j)的强度值，p表示像素强度，Mp表示其强度等于p的像素的数量，并且L是灰度级的数量；
利用基于
Figure BDA0001795581300000118
-梯度正则化的优化模型作为高频子带系数的融合规则，表达式如下：
Figure BDA0001795581300000115
Figure BDA0001795581300000116
其中Dl,k(i,j)为融合图像在(i,j)处的高频子带系数，DIR l,k(i,j)与DVI l,k(i,j)分别为红外图像与可见光图像的高频子带系数，l是分解层数，k是每层分解方向的数量，α为正则化参数，||||2代表
Figure BDA0001795581300000126
-范数，||||1代表
Figure BDA0001795581300000127
-范数；
公式(6)的欧拉-拉格朗日方程为：
Figure BDA0001795581300000121
其中div代表散度算子；
引入时间变量t，由式(14)得到公式(23)对应的梯度下降流为：
Figure BDA0001795581300000122
设置方程参数的初始化，对于边界条件采用边缘重复扩展处理：
Figure BDA0001795581300000123
其中k为迭代次数，Δt为时间步长；
将公式(9)带入到公式(10)中获得Dl,k(i,j)的平稳解：
Figure BDA0001795581300000124
Figure BDA0001795581300000125
采用公式(13)对公式(26)进行迭代得到Dl,k(i,j)的最终解，表达式如下：
Figure BDA0001795581300000131
S104、利用NSST逆变换重构低频子带系数与高频子带系数形成融合图像。
利用NSST逆变换重构低频子带系数Cl,k(i,j)与高频子带系数Dl,k(i,j)形成融合图像。
本发明提供的基于
Figure BDA0001795581300000134
能量最小化和
Figure BDA0001795581300000135
梯度正则化的图像融合方法，获取来自同一场景并进行图像配准的红外图像和可见光图像，通过NSST将红外图像和可见光图像进行多尺度、多方向分解，并得到相应的低频子带系数与高频子带系数，针对反映能量信息的低频子带系数，采用基于
Figure BDA0001795581300000136
-能量最小化的优化模型作为融合规则；针对反映纹理信息的高频子带系数，利用基于
Figure BDA0001795581300000137
-梯度正则化的优化模型作为融合规则，通过两种融合规则，将隐藏的红外显著目标信息与可见光的梯度纹理信息相结合，使最终的融合图像符合人眼视觉系统，通过将可见光的纹理信息与红外图像的显著性特征完美结合，取得较好的融合效果。
结合图2所示，本发明的基于
Figure BDA0001795581300000138
能量最小化和
Figure BDA0001795581300000139
梯度正则化的图像融合方法的另一个实施例中，所述方法包括：
步骤1：本发明选取来自同一场景并且经过严格配准红外图像与可见光图像。
步骤2：利用LNSST对红外图像和可见光图像进行多尺度分解得到低频子带系数和高频子带系数。
结合图3所示，本实施例中分别采用matlab仿真软件中的‘maxflat’和[2，2，3，3]作为LNSST的方向滤波器和金字塔滤波器。经过分解后分别形成低频子带系数
Figure BDA0001795581300000132
和高频子带系数
Figure BDA0001795581300000133
其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素元的位置。
步骤3：低频分量的融合规则
结合图4所示，图像的低频分量代表图像的主要能量，是图像的近似部分，因此低频分量的融合规则决定最终的融合效果。为了能够利用IR图像的亮度优势弥补微弱光线下的视觉缺陷，因此我们希望融合图像应当具有与给定红外图像类似的像素强度。由于
Figure BDA0001795581300000145
-范数可表征图像的能量信息，因此提出一种基于
Figure BDA0001795581300000146
-能量最小化的优化模型，其表达式如下：
Figure BDA0001795581300000141
其中CIR l,k(i,j)代表在(i,j)处的最终低频分量融合系数，CIR l,k(i,j)与CVI l,k(i,j)分别代表IR与VI图像的低频子带系数，l是分解层数，k是每层分解方向的数量，λ代表正则参数，||||2代表
Figure BDA0001795581300000147
-范数。该模型第一项代表数据保真项，其确保融合图像的低频分量最大程度地接近IR图像的低频分量。同时将微光图像的低频系数加入到模型的正则项内，一定程度保证了融合图像可以符合人眼视觉敏感的观测范围。通过公式(13)可以得到公式(16)的欧拉-拉格朗日方程为：
Figure BDA0001795581300000142
由于该方程内部不含梯度算子，因此可以得到相应的线性解。为了能够表达源图像对融合图像的贡献，再提出以下表达式：
Figure BDA0001795581300000143
其中ω1与ω2代表权重参数，代表了源图像对融合图像的贡献。将公式(2)与(3)相互结合，可以得到公式(1)的解为：
Figure BDA0001795581300000144
通过以上方式，我们将正则参数λ放入到权重参数当中，通过控制λ的大小，来决定最终的融合效果。当λ为一固定常数的时候，公式(3)则转变为加权平均法。该种融合规则由于无法兼顾两种光谱的差异性，一定程度上会导致图像的对比度大幅度降低，影响最终的观感，为此，λ也应该为一种函数，它可以根据源图像灰度值的变化而变化。同时，它可以表征IR图像的空间信息分布，从而使融合图像的主观感更接近IR图像，以便弥补微光图像的亮度不足。其表达式如下所示：
Figure BDA0001795581300000151
其中IR(i,j)表示红外原图像(IR)中像素(i,j)的强度值，p表示像素强度，Mp表示其强度等于p的像素的数量，并且L是灰度级的数量，本实施例中为256。
由于图像的能量信息基本都包含在图像的低频分量内，我们将低频分量的融合规则变为能量最小化问题。通过公式(1)～(5)的构建，融合图像的低频分量可以最大程度地接近IR图像的低频分量，并为最终的融合效果奠定基础。
步骤4：高频分量的融合规则
图像的高频分量反映了图像边缘特征和纹理细节，其融合规则决定了最终的细节层次。鉴于
Figure BDA0001795581300000155
-范数鼓励梯度稀疏，并且微光图像内包含了丰富的梯度信息，为此本文提出一种基于
Figure BDA0001795581300000156
-梯度正则化的融合规则。该模型将微光图像的高频子带系数放入到数据保真项内，红外图像的高频子带系数加入到正则项内，其表达式如下：
Figure BDA0001795581300000152
Figure BDA0001795581300000153
其中Dl,k(i,j)为融合图像在(i,j)处的高频子带系数，DIR l,k(i,j)与DVI l,k(i,j)分别为红外图像与可见光图像的高频子带系数，l是分解层数，k是每层分解方向的数量，α为正则化参数，||||2代表
Figure BDA0001795581300000157
-范数，||||1代表
Figure BDA0001795581300000158
-范数。公式(6)的欧拉-拉格朗日方程为：
Figure BDA0001795581300000154
其中div代表散度算子。由于上述方程的直接求解十分困难，为此我们采用梯度下降流方法进行求解，其过程如下所示：
第一步：引入时间变量t，公式(8)对应的梯度下降流为：
Figure BDA0001795581300000161
第二步：设置方程参数的初始化，对于边界条件采用边缘重复扩展处理：
Figure BDA0001795581300000162
其中k为迭代次数，Δt为时间步长。
第三步：将公式(9)带入到公式(10)中，由此可获得Dl,k(i,j)的平稳解：
Figure BDA0001795581300000163
Figure BDA0001795581300000164
第四步：采用公式(13)对公式(11)进行迭代，得到Dl,k(i,j)的最终解，其表达式如下：
Figure BDA0001795581300000165
通过上述模型的构建，我们将高频融合规则转变为一种基于
Figure BDA0001795581300000166
-梯度正则化的优化问题。该模型可以最大程度上将包含在源图像的梯度特征还原到最终的融合图像当中。与低频分量融合规则不同的是，该模型内需要设定三个外界参数，即：α，ε，Δt。通过大量仿真实验发现，决定最终融合效果的主要是α的数值选取，而ε，Δt作为求解凸优化方程的辅助参数，其数值大小对融合的视觉观感影响不大，因此该优化模型仍然具有自适应性。
步骤5：利用NSST逆变换重构低频子带系数Cl,k(i,j)与高频子带系数Dl,k(i,j)，形成融合图像。
图像融合结果的性能可以通过主观和客观的方式进行评价。在大多数情况下，融合结果之间的差异不大，则难以用主观方式正确地评价融合结果。因此，在客观质量评价的基础上对融合效果进行评价也是非常必要的，本文选取了以下5个客观质量指标作为评判标准：1.平均梯度(AVG)2.信息熵(IE)3.边缘信息保留量(QAB/F)4.空间频率(SF)5.标准差(SD)。详细地说，AVG用来体现图像中的微小细节反差和纹理变化特征；IE可以直接用来衡量图像信息的丰富程度；SF用来反映图像在空间域的总体活跃程度；SD用来反应像素灰度值的分布状况；QAB/F评价从源图像传递到融合图像的边缘信息量。对于这5个指标，数值越大代表性能越好。
结合图5所示，本仿真采用基于NSST的融合算法、基于PCNN的融合算法、基于GFF的融合算法、基于HMSD的融合算法、基于IFE的融合算法、基于GTF的融合算法、基于
Figure BDA0001795581300000172
-TV的融合算法等作为对比，图5为融合图像的对比效果，其中，图5(a)为红外图像，图5(b)为可见光图像，图5(c)为基于NSST的融合效果图，图5(d)为基于PCNN的融合效果图，图5(e)是基于GFF的融合效果图，图5(f)是基于HMSD的融合效果图，图5(g)是基于IFE的融合效果图，图5(h)是基于GTF的融合效果图，图5(i)是基于
Figure BDA0001795581300000173
-TV的融合效果图，图5(j)是基于本发明算法的融合效果图。
表1表示不同算法的评价指标对比。
Figure BDA0001795581300000171
从图5(c)-(j)可以看出，图5(c)和图5(f)的背景比较模糊，观感不佳；图5(d)出现了大量的黑色伪影噪点，图像过渡不连续；图5(e)的整体观感比较接近可见光源图像，因此很好地没有把红外源图像中的信息还原进去；图5(g)整体的图像亮度偏高，导致对比度下降，很多图像难以识别分辨；图5(h)和图5(i)纹理细节丢失较多，没有很好地还原包含在可见光源图像的梯度特征。相比上述算法，本发明得到的融合图像对比度是最高的，同时掩体的红外信息最为突出，背景的树丛纹理信息也最为茂密。除此外，从表一也可以发现，除了IE值低于PCNN算法外，剩下的评价参数值均高于其它对比算法，这一定程度与主观观感相似，说明本发明提供的算法能保证在人眼视觉基础的可见光场景下，极大的融合了红外目标与背景信息，同时在融合过程中没有遗失边缘细节信息，因此观感最佳。通过以上描述，本发明提出的全新融合方法在具有较少的外设参数同时，亮度适中、对比度较高、主观观感最佳。
相应地，本发明提供一种基于
Figure BDA0001795581300000181
能量最小化和
Figure BDA0001795581300000182
梯度正则化的图像融合装置，所述装置包括：
图像配准单元，用于获取来自同一场景并进行图像配准的红外图像和可见光图像；
多尺度分解单元，用于利用非下采样剪切波变换NSST算法对所述红外图像和所述可见光图像进行多尺度多方向分解得到低频子带系数和高频子带系数；
处理单元，用于采用基于
Figure BDA0001795581300000183
-能量最小化的优化模型作为所述低频子带系数的融合规则，利用基于
Figure BDA0001795581300000184
-梯度正则化的优化模型作为所述高频子带系数的融合规则；
融合单元，用于利用NSST逆变换重构低频子带系数与高频子带系数形成融合图像。
可选地，所述图像配准单元用于：
分别获取同一场景的红外图像和可见光图像；
对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。
可选地，所述多尺度分解单元具体用于：
利用非下采样剪切波变换NSST算法对所述红外图像和所述可见光图像进行多尺度多方向分解得到低频子带系数
Figure BDA0001795581300000191
和高频子带系数，
Figure BDA0001795581300000192
其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素元的位置，IR代表红外图像，VI代表可见光图像。
可选地，所述处理单元具体用于：
基于
Figure BDA0001795581300000197
-能量最小化的优化模型，表达式如下：
Figure BDA0001795581300000193
其中CIR l,k(i,j)代表在(i,j)处的最终低频分量融合系数，CIR l,k(i,j)与CVI l,k(i,j)分别代表红外图像与可见光图像的低频子带系数，l是分解层数，k是每层分解方向的数量，λ代表正则参数，||||2代表
Figure BDA0001795581300000198
-范数；
通过公式(13)可以得到公式(16)的欧拉-拉格朗日方程为：
Figure BDA0001795581300000194
源图像对融合图像贡献的下表达式：
Figure BDA0001795581300000195
其中ω1与ω2代表权重参数，代表源图像对融合图像的贡献；
将公式(2)与(3)相互结合得到公式(1)的解为：
Figure BDA0001795581300000196
其中λ为一种函数，表示源图像灰度值的变化而变化，表征IR图像的空间信息分布，表达式如下所示：
Figure BDA0001795581300000201
其中IR(i,j)表示红外图像中像素(i,j)的强度值，p表示像素强度，Mp表示其强度等于p的像素的数量，并且L是灰度级的数量；
利用基于
Figure BDA0001795581300000206
-梯度正则化的优化模型作为高频子带系数的融合规则，表达式如下：
Figure BDA0001795581300000202
Figure BDA0001795581300000203
其中Dl,k(i,j)为融合图像在(i,j)处的高频子带系数，DIR l,k(i,j)与DVI l,k(i,j)分别为IR与VI源图像的高频子带系数，l是分解层数，k是每层分解方向的数量，α为正则化参数，||||2代表
Figure BDA0001795581300000207
-范数，||||1代表
Figure BDA0001795581300000208
-范数；
公式(6)的欧拉-拉格朗日方程为：
Figure BDA0001795581300000204
其中div代表散度算子；
引入时间变量t，由式(14)得到公式(23)对应的梯度下降流为：
Figure BDA0001795581300000205
设置方程参数的初始化，对于边界条件采用边缘重复扩展处理：
Figure BDA0001795581300000211
其中k为迭代次数，Δt为时间步长；
将公式(9)带入到公式(10)中获得Dl,k(i,j)的平稳解：
Figure BDA0001795581300000212
Figure BDA0001795581300000213
采用公式(13)对公式(26)进行迭代得到Dl,k(i,j)的最终解，表达式如下：
Figure BDA0001795581300000214
可选地，所述融合单元具体用于：
利用NSST逆变换重构低频子带系数
Figure BDA0001795581300000215
与高频子带系数
Figure BDA0001795581300000216
形成融合图像。
本发明提供的基于
Figure BDA0001795581300000217
能量最小化和
Figure BDA0001795581300000218
梯度正则化的图像融合装置，获取来自同一场景并进行图像配准的红外图像和可见光图像，通过NSST将红外图像和可见光图像进行多尺度、多方向分解，并得到相应的低频子带系数与高频子带系数，针对反映能量信息的低频子带系数，采用基于
Figure BDA0001795581300000219
-能量最小化的优化模型作为融合规则；针对反映纹理信息的高频子带系数，利用基于
Figure BDA00017955813000002110
-梯度正则化的优化模型作为融合规则，通过两种融合规则，将隐藏的红外显著目标信息与可见光的梯度纹理信息相结合，使最终的融合图像符合人眼视觉系统，通过将可见光的纹理信息与红外图像的显著性特征完美结合，取得较好的融合效果。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
以上对本发明所提供的一种基于
Figure BDA0001795581300000221
能量最小化和
Figure BDA0001795581300000222
梯度正则化的图像融合方法及装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于
Figure FDA0002988210210000017
能量最小化和
Figure FDA0002988210210000018
梯度正则化的图像融合方法，其特征在于，所述方法包括：
获取来自同一场景并进行图像配准的红外图像和可见光图像；
利用非下采样剪切波变换NSST算法对所述红外图像和所述可见光图像进行多尺度多方向分解得到低频子带系数和高频子带系数；
采用基于
Figure FDA0002988210210000019
-能量最小化的优化模型作为所述低频子带系数的融合规则，利用基于
Figure FDA00029882102100000110
-梯度正则化的优化模型作为所述高频子带系数的融合规则；
基于
Figure FDA00029882102100000111
-能量最小化的优化模型，表达式如下：
Figure FDA0002988210210000011
其中CIR l,k(i,j)代表在(i,j)处的最终低频分量融合系数，CIR l,k(i,j)与CVI l,k(i,j)分别代表红外图像与可见光图像的低频子带系数，l是分解层数，k是每层分解方向的数量，λ代表正则参数，||||2代表
Figure FDA0002988210210000016
-范数；
公式(1)的欧拉-拉格朗日方程为：
Figure FDA0002988210210000012
源图像对融合图像贡献的下表达式：
Figure FDA0002988210210000013
其中ω1与ω2代表权重参数，代表源图像对融合图像的贡献；
将公式(2)与(3)相互结合得到公式(1)的解为：
Figure FDA0002988210210000014
其中λ为一种函数，表示源图像灰度值的变化而变化，表征IR图像的空间信息分布，表达式如下所示：
Figure FDA0002988210210000015
其中IR(i,j)表示红外图像中像素(i,j)的强度值，p表示像素强度，Mp表示其强度等于p的像素的数量，并且L是灰度级的数量；
利用基于
Figure FDA0002988210210000028
-梯度正则化的优化模型作为高频子带系数的融合规则，表达式如下：
Figure FDA0002988210210000021
Figure FDA0002988210210000022
其中Dl,k(i,j)为融合图像在(i,j)处的高频子带系数，DIR l,k(i,j)与DVI l,k(i,j)分别为红外图像与可见光图像的高频子带系数，l是分解层数，k是每层分解方向的数量，α为正则化参数，|| ||2代表
Figure FDA0002988210210000026
-范数，|| ||1代表
Figure FDA0002988210210000027
-范数；
公式(6)的欧拉-拉格朗日方程为：
Figure FDA0002988210210000023
其中div代表散度算子；
引入时间变量t，得到公式(8)对应的梯度下降流为：
Figure FDA0002988210210000024
设置方程参数的初始化，对于边界条件采用边缘重复扩展处理：
Figure FDA0002988210210000025
其中k为迭代次数，Δt为时间步长；
将公式(9)带入到公式(10)中获得Dl,k(i,j)的平稳解：
Figure FDA0002988210210000031
Figure FDA0002988210210000032
采用公式(12)对公式(11)进行迭代得到Dl,k(i,j)的最终解，表达式如下：
Figure FDA0002988210210000033
利用NSST逆变换重构低频子带系数与高频子带系数形成融合图像。
2.根据权利要求1所述的基于
Figure FDA0002988210210000036
能量最小化和
Figure FDA0002988210210000037
梯度正则化的图像融合方法，其特征在于，所述获取来自同一场景并进行图像配准的红外图像和可见光图像，包括：
分别获取同一场景的红外图像和可见光图像；
对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。
3.根据权利要求1所述的基于
Figure FDA0002988210210000039
能量最小化和
Figure FDA0002988210210000038
梯度正则化的图像融合方法，其特征在于，所述利用非下采样剪切波变换NSST算法对所述红外图像和所述可见光图像进行多尺度多方向分解得到低频子带系数和高频子带系数，包括：
利用非下采样剪切波变换NSST算法对所述红外图像和所述可见光图像进行多尺度多方向分解得到低频子带系数
Figure FDA0002988210210000034
和高频子带系数，
Figure FDA0002988210210000035
其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素元的位置，IR代表红外图像，VI代表可见光图像。
4.根据权利要求3所述的基于
Figure FDA0002988210210000046
能量最小化和
Figure FDA0002988210210000047
梯度正则化的图像融合方法，其特征在于，所述利用NSST逆变换重构低频子带系数与高频子带系数形成融合图像，包括：
利用NSST逆变换重构低频子带系数Cl,k(i,j)与高频子带系数Dl,k(i,j)形成融合图像。
5.一种基于
Figure FDA0002988210210000049
能量最小化和
Figure FDA0002988210210000048
梯度正则化的图像融合装置，其特征在于，所述装置包括：
图像配准单元，用于获取来自同一场景并进行图像配准的红外图像和可见光图像；
多尺度分解单元，用于利用非下采样剪切波变换NSST算法对所述红外图像和所述可见光图像进行多尺度多方向分解得到低频子带系数和高频子带系数；
处理单元，用于采用基于
Figure FDA0002988210210000044
-能量最小化的优化模型作为所述低频子带系数的融合规则，利用基于
Figure FDA0002988210210000045
-梯度正则化的优化模型作为所述高频子带系数的融合规则；
所述处理单元具体用于：
基于
Figure FDA00029882102100000410
-能量最小化的优化模型，表达式如下：
Figure FDA0002988210210000041
其中CIR l,k(i,j)代表在(i,j)处的最终低频分量融合系数，CIR l,k(i,j)与CVI l,k(i,j)分别代表红外图像与可见光图像的低频子带系数，l是分解层数，k是每层分解方向的数量，λ代表正则参数，|| ||2代表
Figure FDA00029882102100000411
-范数；
公式(1)的欧拉-拉格朗日方程为：
Figure FDA0002988210210000042
源图像对融合图像贡献的下表达式：
Figure FDA0002988210210000043
其中ω1与ω2代表权重参数，代表源图像对融合图像的贡献；
将公式(2)与(3)相互结合得到公式(1)的解为：
Figure FDA0002988210210000051
其中λ为一种函数，表示源图像灰度值的变化而变化，表征IR图像的空间信息分布，表达式如下所示：
Figure FDA0002988210210000052
其中IR(i,j)表示红外图像中像素(i,j)的强度值，p表示像素强度，Mp表示其强度等于p的像素的数量，并且L是灰度级的数量；
利用基于
Figure FDA0002988210210000058
-梯度正则化的优化模型作为高频子带系数的融合规则，表达式如下：
Figure FDA0002988210210000053
Figure FDA0002988210210000054
其中Dl,k(i,j)为融合图像在(i,j)处的高频子带系数，DIR l,k(i,j)与DVI l,k(i,j)分别为红外图像与可见光图像的高频子带系数，l是分解层数，k是每层分解方向的数量，α为正则化参数，|| ||2代表
Figure FDA0002988210210000056
-范数，|| ||1代表
Figure FDA0002988210210000057
-范数；
公式(6)的欧拉-拉格朗日方程为：
Figure FDA0002988210210000055
其中div代表散度算子；
引入时间变量t，得到公式(8)对应的梯度下降流为：
Figure FDA0002988210210000061
设置方程参数的初始化，对于边界条件采用边缘重复扩展处理：
Figure FDA0002988210210000062
其中k为迭代次数，Δt为时间步长；
将公式(9)带入到公式(10)中获得Dl,k(i,j)的平稳解：
Figure FDA0002988210210000063
Figure FDA0002988210210000064
采用公式(12)对公式(11)进行迭代得到Dl,k(i,j)的最终解，表达式如下：
Figure FDA0002988210210000065
融合单元，用于利用NSST逆变换重构低频子带系数与高频子带系数形成融合图像。
6.根据权利要求5所述的基于
Figure FDA0002988210210000067
能量最小化和
Figure FDA0002988210210000066
梯度正则化的图像融合装置，其特征在于，所述图像配准单元用于：
分别获取同一场景的红外图像和可见光图像；
对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。
7.根据权利要求5所述的基于
Figure FDA0002988210210000073
能量最小化和
Figure FDA0002988210210000074
梯度正则化的图像融合装置，其特征在于，所述多尺度分解单元具体用于：
利用非下采样剪切波变换NSST算法对所述红外图像和所述可见光图像进行多尺度多方向分解得到低频子带系数
Figure FDA0002988210210000071
和高频子带系数，
Figure FDA0002988210210000072
其中l是分解层数，k是每层分解方向的数量，(i,j)代表像素元的位置，IR代表红外图像，VI代表可见光图像。
8.根据权利要求5所述的基于
Figure FDA0002988210210000076
能量最小化和
Figure FDA0002988210210000075
梯度正则化的图像融合装置，其特征在于，所述融合单元具体用于：
利用NSST逆变换重构低频子带系数Cl,k(i,j)与高频子带系数Dl,k(i,j)形成融合图像。
CN201811055124.4A 2018-09-11 2018-09-11 基于能量最小化和梯度正则化的图像融合方法及装置 Active CN109345495B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811055124.4A CN109345495B (zh) 2018-09-11 2018-09-11 基于能量最小化和梯度正则化的图像融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811055124.4A CN109345495B (zh) 2018-09-11 2018-09-11 基于能量最小化和梯度正则化的图像融合方法及装置

Publications (2)

Publication Number Publication Date
CN109345495A CN109345495A (zh) 2019-02-15
CN109345495B true CN109345495B (zh) 2021-06-15

Family

ID=65304865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811055124.4A Active CN109345495B (zh) 2018-09-11 2018-09-11 基于能量最小化和梯度正则化的图像融合方法及装置

Country Status (1)

Country Link
CN (1) CN109345495B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428369B (zh) * 2019-06-20 2021-10-08 中国地质大学（武汉） 基于信息熵的chnmf遥感图像解混方法
CN110599412A (zh) * 2019-08-15 2019-12-20 中国科学院遥感与数字地球研究所 基于无人机的遥感数据处理方法及系统
CN113409311B (zh) * 2021-07-21 2023-02-24 沈阳铁路信号有限责任公司 一种基于nsst的触头元素分布与形貌信息融合方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504673A (zh) * 2014-12-30 2015-04-08 武汉大学 基于nsst的可见光与红外图像融合方法及系统
CN105139367A (zh) * 2015-07-27 2015-12-09 中国科学院光电技术研究所 一种基于非下采样剪切波的可见光偏振图像融合方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504673A (zh) * 2014-12-30 2015-04-08 武汉大学 基于nsst的可见光与红外图像融合方法及系统
CN105139367A (zh) * 2015-07-27 2015-12-09 中国科学院光电技术研究所 一种基于非下采样剪切波的可见光偏振图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于改进引导滤波和双通道脉冲发放皮层模型的红外与可见光图像融合算法;江泽涛等;《光学学报》;20180228;第1-9页 *
多源遥感图像融合正则项研究;唐思章;《中国博士学位论文全文数据库 工程科技辑》;20151015;第I140-36页 *

Also Published As

Publication number Publication date
CN109345495A (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
Chen et al. Infrared and visible image fusion based on target-enhanced multiscale transform decomposition
Adu et al. Image fusion based on nonsubsampled contourlet transform for infrared and visible light image
CN109345495B (zh) 基于能量最小化和梯度正则化的图像融合方法及装置
CN109345494B (zh) 基于潜在低秩表示和结构张量的图像融合方法及装置
Zhou et al. A GIHS-based spectral preservation fusion method for remote sensing images using edge restored spectral modulation
Ha et al. A review of potential image fusion methods for remote sensing-based irrigation management: Part II
CN109345496B (zh) 一种总变分和结构张量的图像融合方法及装置
CN107609573B (zh) 基于低秩分解和空谱约束的高光谱图像时变特征提取方法
CN108921809B (zh) 整体原则下基于空间频率的多光谱和全色图像融合方法
CN112950518B (zh) 基于潜在低秩表示嵌套滚动引导图像滤波的图像融合方法
Lan et al. A spatially adaptive retinex variational model for the uneven intensity correction of remote sensing images
CN105719263A (zh) 基于nsct域底层视觉特征的可见光和红外图像融合算法
Wang et al. Multi-focus image fusion based on the improved PCNN and guided filter
Li et al. On the study of fusion techniques for bad geological remote sensing image
Duan et al. Infrared and visible image fusion using multi-scale edge-preserving decomposition and multiple saliency features
He et al. Hyperspectral image spectral–spatial-range Gabor filtering
Zhang et al. An image fusion method based on curvelet transform and guided filter enhancement
CN111179208A (zh) 基于显著图与卷积神经网络的红外-可见光图像融合方法
CN109272477A (zh) 一种基于nsst与自适应双通道pcnn的融合方法以及融合处理器
CN109215006B (zh) 基于显著性总变分模型与l2-范数优化的图像融合方法
Zhu et al. Investigation of remote sensing image fusion strategy applying PCA to wavelet packet analysis based on IHS transform
Patel et al. A review on infrared and visible image fusion techniques
Zhang et al. Infrared and visible image fusion with hybrid image filtering
Aishwarya et al. An image fusion framework using novel dictionary based sparse representation
Yang et al. Infrared and visible image fusion based on QNSCT and Guided Filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant