CN109215006A - 基于显著性总变分模型与*2-范数优化的图像融合方法 - Google Patents
基于显著性总变分模型与*2-范数优化的图像融合方法 Download PDFInfo
- Publication number
- CN109215006A CN109215006A CN201811055346.6A CN201811055346A CN109215006A CN 109215006 A CN109215006 A CN 109215006A CN 201811055346 A CN201811055346 A CN 201811055346A CN 109215006 A CN109215006 A CN 109215006A
- Authority
- CN
- China
- Prior art keywords
- image
- coefficient matrix
- model
- conspicuousness
- notable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000005457 optimization Methods 0.000 title claims abstract description 39
- 238000002156 mixing Methods 0.000 claims abstract description 67
- 230000004927 fusion Effects 0.000 claims abstract description 27
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 100
- 238000001514 detection method Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000003252 repetitive effect Effects 0.000 claims description 3
- 238000005303 weighing Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000007500 overflow downdraw method Methods 0.000 abstract description 5
- 230000035945 sensitivity Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 13
- 230000008447 perception Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000005267 amalgamation Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Operations Research (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供的基于显著性总变分模型与ℓ2‑范数优化的图像融合方法及装置，在数据保真项内利用基于频域滤波法构成的显著性权重系数表示源图像对融合图像的贡献程度，使融合图像可在人眼视觉敏感的可见光背景下，自适应地融入红外显著信息。同时，利用ℓ2范数作为全新的正则项，将源图像内部的纹理梯度信息较为全面的转移到融合图像中，在一定程度上克服了传统融合方法对比度偏低，出现黑色伪影噪声等问题，并且表现出优越的融合性能，比现有的典型融合技术更有效。
Description
技术领域
本发明涉及图像融合领域，特别涉及一种基于显著性总变分模型与ℓ2-范数优化的图像融合方法及装置。
背景技术
进入二十一世纪以来，图像融合技术得到了广泛关注、研究与持续进步，其应用规模已从军事领域逐步迈向多方面民用范畴，如遥感探测、医学诊断、环境保护等众多领域都有着重大的应用价值。值得一提的是，红外与可见光融合是目前应用最为广泛的融合方式。它可以综合这两种源图像的光谱特性，尤其是将红外图像的目标指示特性和可见光图像的场景信息结合，能够更有效的降低噪声、并突出目标，从而增加观察者对图像的理解力，有利于实现融合系统全天候工作。
红外与可见光图像融合的本质就是将隐藏的红外显著目标信息与可见光的梯度纹理信息相结合，为此融合问题可转化成图像重建问题，即显著信息重建与梯度信息重建。然而总的来讲，现有的研究方法在针对红外与可见光融合时，无法较好的兼顾两种光谱的特性，导致融合图像清晰度下降，同时方法内部的外设参数过多，使其不具备自适应性。总变分法(TV)是一种极其优良的图像重建方法，由于其内部参数较少，并且能够完整的保持图像局部特征，使得处理后的图像具有很好的视觉效果，因此在基于显著性总变分模型与ℓ2-范数优化的图像融合领域中的研究成果十分显著。目前，TV方法已经成功应用在遥感图像融合中，但是针对红外与可见光融合的研究相对较少。为了能够利用TV模型的优点，目前需要提出一种全新的总变分模型解决光谱差异较大的红外与可见光图像融合。
发明内容
本发明实施例提供了一种基于显著性总变分模型与ℓ2-范数优化的图像融合方法及装置，可以更好地表达图像的特征，将可见光的纹理信息与红外图像的显著性特征完美结合，取得较好的融合效果。
一方面，本发明提供一种基于显著性总变分模型与ℓ2-范数优化的图像融合方法，所述方法包括：
获取来自同一场景并进行图像配准的红外图像和可见光图像；
采用频域滤波法FT算法对红外图像和可见光图像进行显著性探测并生成第一显著图和第二显著图，对第一显著图和第二显著图的灰度值进行归一化后分别得到第一加权系数矩阵和第二加权系数矩阵；
对第一加权系数矩阵和第二加权系数矩阵进行绝对值最大化处理得到第一显著性加权系数矩阵和第二显著性加权系数矩阵；
在正则项内利用ℓ2-范数优化的方式将红外图像和可见光图像的梯度特征还原到融合图像中，利用第一显著性加权系数矩阵和第二显著性加权系数矩阵加入总变分模型TV构建显著性总变分模型STV；
采用梯度下降流方法对STV模型进行求解，通过时间差分方案迭代获得融合图像的平稳解。
可选地，所述获取来自同一场景并进行图像配准的红外图像和可见光图像，包括：
分别获取同一场景的红外图像和可见光图像；
对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。
可选地，所述采用频域滤波法FT算法对红外图像和可见光图像进行显著性探测并生成第一显著图和第二显著图，对第一显著图和第二显著图的灰度值进行归一化后分别得到第一加权系数矩阵和第二加权系数矩阵，包括：
采用FT算法分别对红外图像和可见光图像进行显著性探测，生成相应的第一显著图SIR(x,y)和第二显著图SVI(x,y)，将第一显著图SIR(x,y)和第二显著图SVI(x,y)的灰度值进行归一化分别形成第一加权系数矩阵Si(x,y)和第二加权系数矩阵Sv(x,y)；
其中fμ是图像特征向量的平均值，fwhc是相应的图像像素向量在像素位置(x,y)经过高斯模糊滤波后的值，║·║采用欧式距离计算。
可选地，所述对第一加权系数矩阵和第二加权系数矩阵进行绝对值最大化处理得到第一显著性加权系数矩阵和第二显著性加权系数矩阵，包括：
对第一加权系数矩阵和第二加权系数矩阵进行绝对值最大化处理得到第一显著性加权系数矩阵ωi(x,y)和第二显著性加权系数矩阵ωv(x,y)，具体表达式为：
可选地，所述在正则项内利用ℓ2-范数优化的方式将红外图像和可见光图像的梯度特征还原到融合图像中，利用第一显著性加权系数矩阵和第二显著性加权系数矩阵加入总变分模型TV构建显著性总变分模型STV，包括：
根据可见光图像与融合图像的梯度特征的关联性确定第一模型，所述第一模型为：
max{∫∫Ω|▽f-▽v|dxdy}； (4)
其中f代表最终的融合图像，v代表可见光图像；
利用梯度模值的平方代替梯度模值对所述第一模型进行简化得到第二模型，所述第二模型为：
max{∫∫Ω|▽f-▽v|2dxdy}； (5)
利用所述第二模型建立第三模型以使得融合图像和红外图像或可见光图像近似或相同，所述第三模型为：
min{∫∫Ω[ωi·(f-i)2+ωv·(f-v)2]dxdy}+max{λ∫∫Ω|▽f-▽v|2dxdy}； (6)
其中i与v分别代表红外与可见光源图像，表达式第一项是保真项，第二项为正则化项，用来使得图像梯度最大，λ是一个大于零的参数，用来权衡源图像和融合图像的保真度，ωi(x,y)与ωv(x,y)是两个非负权重函数，表示两幅源图像对融合图像的贡献大小，并满足以下关系：
ωi(x,y)+ωv(x,y)＝1； (7)
根据公式(10)～(13)将第三模型进行简化得到第四模型，第四模型的表达式：
min{∫∫Ω[ωi·(f-i)2+ωv·(f-v)2]dxdy-λ∫∫Ω|▽f-▽v|2dxdy}； (8)
将第四模型用离散化的ℓ2范数再次简化得到第五模型，第五模型表示为：
加权重参数平衡源图像与融合图像之间的像素强度配比，正则项采用ℓ2范数形式将图像内部的纹理梯度信息还原到融合图像，通过公式(7)～(12)组成显著性总变分模型。
可选地，所述采用梯度下降流方法对STV模型进行求解，通过时间差分方案迭代获得融合图像的平稳解，包括：
采用梯度下降流方法对STV模型进行最优求解，求解过程如下：
获得公式(5)～(10)的Euler-Lagrange方程：
引入时间变量t，得到公式(11)～(12)对应的梯度下降流为：
设置方程参数的初始化，对于边界条件采用边缘重复扩展处理：
其中k为迭代次数，Δt为时间步长；
将公式(14)带入到公式(13)中，f的平稳解通过时间差分方案迭代而获得：
利用亮度归一化方法或截断方法调整梯度下降以对f进行约束，具体为：
另一个方面，本发明提供一种基于显著性总变分模型与ℓ2-范数优化的图像融合装置，所述装置包括：
图像配准单元，用于获取来自同一场景并进行图像配准的红外图像和可见光图像；
生成单元，用于采用频域滤波法FT算法对红外图像和可见光图像进行显著性探测并生成第一显著图和第二显著图，对第一显著图和第二显著图的灰度值进行归一化后分别得到第一加权系数矩阵和第二加权系数矩阵；
处理单元，用于对第一加权系数矩阵和第二加权系数矩阵进行绝对值最大化处理得到第一显著性加权系数矩阵和第二显著性加权系数矩阵；
构建单元，用于在正则项内利用ℓ2-范数优化的方式将红外图像和可见光图像的梯度特征还原到融合图像中，利用第一显著性加权系数矩阵和第二显著性加权系数矩阵加入总变分模型TV构建显著性总变分模型STV；
求解单元，用于采用梯度下降流方法对STV模型进行求解，通过时间差分方案迭代获得融合图像的平稳解。
可选地，所述图像配准单元具体用于：
分别获取同一场景的红外图像和可见光图像；
对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。
可选地，所述生成单元具体用于：
采用FT算法分别对红外图像和可见光图像进行显著性探测，生成相应的第一显著图SIR(x,y)和第二显著图SVI(x,y)，将第一显著图SIR(x,y)和第二显著图SVI(x,y)的灰度值进行归一化分别形成第一加权系数矩阵Si(x,y)和第二加权系数矩阵Sv(x,y)；
其中fμ是图像特征向量的平均值，fwhc是相应的图像像素向量在像素位置(x,y)经过高斯模糊滤波后的值，║·║采用欧式距离计算。
可选地，所述生成单元具体用于：
对第一加权系数矩阵和第二加权系数矩阵进行绝对值最大化处理得到第一显著性加权系数矩阵ωi(x,y)和第二显著性加权系数矩阵ωv(x,y)，具体表达式为：
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明提供的基于显著性总变分模型与ℓ2-范数优化的图像融合方法及装置，在数据保真项内利用基于频域滤波法构成的显著性权重系数表示源图像对融合图像的贡献程度，使融合图像可在人眼视觉敏感的可见光背景下，自适应地融入红外显著信息。同时，利用ℓ2范数作为全新的正则项，将源图像内部的纹理梯度信息较为全面的转移到融合图像中，在一定程度上克服了传统融合方法对比度偏低，出现黑色伪影噪声等问题，并且表现出优越的融合性能，比现有的典型融合技术更有效。
附图说明
图1是本发明提供一种基于显著性总变分模型与ℓ2-范数优化的图像融合方法的流程图；
图2是本发明提供一种基于显著性总变分模型与ℓ2-范数优化的图像融合方法的原理示意图；
图3为本发明提供一种基于显著性总变分模型与ℓ2-范数优化的图像融合方法的显著性权重函数的效果图；
图4为本发明提供一种基于显著性总变分模型与ℓ2-范数优化的图像融合方法的融合实验对比图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
结合图1所示，本发明提供一种基于显著性总变分模型与ℓ2-范数优化的图像融合方法，所述方法包括：
S101、获取来自同一场景并进行图像配准的红外图像和可见光图像。
选取来自同一场景并且经过严格配准的大小均为768×576的红外图像与可见光图像，对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。
S102、采用频域滤波法FT算法对红外图像和可见光图像进行显著性探测并生成第一显著图和第二显著图，对第一显著图和第二显著图的灰度值进行归一化后分别得到第一加权系数矩阵和第二加权系数矩阵。
S103、对第一加权系数矩阵和第二加权系数矩阵进行绝对值最大化处理得到第一显著性加权系数矩阵和第二显著性加权系数矩阵。
S104、在正则项内利用ℓ2-范数优化的方式将红外图像和可见光图像的梯度特征还原到融合图像中，利用第一显著性加权系数矩阵和第二显著性加权系数矩阵加入总变分模型TV构建显著性总变分模型STV。
S105、采用梯度下降流方法对STV模型进行求解，通过时间差分方案迭代获得融合图像的平稳解。
本发明提供的基于显著性总变分模型与ℓ2-范数优化的图像融合方法，在数据保真项内利用基于频域滤波法构成的显著性权重系数表示源图像对融合图像的贡献程度，使融合图像可在人眼视觉敏感的可见光背景下，自适应地融入红外显著信息。同时，利用ℓ2范数作为全新的正则项，将源图像内部的纹理梯度信息较为全面的转移到融合图像中，在一定程度上克服了传统融合方法对比度偏低，出现黑色伪影噪声等问题，并且表现出优越的融合性能，比现有的典型融合技术更有效。
由于数据保真项需要兼容两种源图像的光谱特性，因此其非负权重函数的选择决定了最终的融合视觉特性。采用频域滤波法(FT)形成相应的显著图，可以对图像中显著性目标及区域较为精准地识别。由于显著图包含了图像灰度值在空间分布的权重信息，因此利用它作为权重函数计算ω1(x,y)与ω2(x,y)的值，具体地，本发明实施例中提供的基于显著性总变分模型与ℓ2- 范数优化的图像融合方法，包括：
S1、采用FT算法分别对红外图像和可见光图像进行显著性探测，生成相应的第一显著图SIR(x,y)和第二显著图SVI(x,y)，将第一显著图SIR(x,y)和第二显著图SVI(x,y)的灰度值进行归一化分别形成第一加权系数矩阵Si(x,y)和第二加权系数矩阵Sv(x,y)；
其中fμ是图像特征向量的平均值，fwhc是相应的图像像素向量在像素位置(x,y)经过高斯模糊滤波后的值，║·║采用欧式距离计算。
S2、为避免融合图像中出现毛刺，对第一加权系数矩阵和第二加权系数矩阵进行绝对值最大化处理得到第一显著性加权系数矩阵ωi(x,y)和第二显著性加权系数矩阵ωv(x,y)，具体表达式为：
上述方式将权重函数变成能量函数，因此像素的显著性在函数中被编码，并且边缘对齐的权重也通过调整而实行。将显著权重函数加入到全变分模型中的数据保真项，能更好地保护源图像中的显著目标信息，提升融合效果。
S3、STV模型的理论构建
大量的研究表明，图像的梯度模值反应了图像轮廓边缘的清晰度，图像梯度值越大，图像就越清晰，图像细节信息也越丰富。而众所周知，VI图像包含了大量的纹理信息，因此融合图像的梯度特征多来自VI图像，根据可见光图像与融合图像的梯度特征的关联性确定第一模型，所述第一模型为：
max{∫∫Ω|▽f-▽v|dxdy}； (4)
其中f代表最终的融合图像，v代表可见光图像，该模型使得融合图像梯度模值最大程度接近VI图像，于是图像包含的细节信息也最为丰富。一阶微分处理会产生较宽的边缘特征，而二阶微分处理对细节有较强的响应，因此二阶微分具有更好的图像细节增强能力；
利用梯度模值的平方代替梯度模值对所述第一模型进行简化得到第二模型，所述第二模型为：
max{∫∫Ω|▽f-▽v|2dxdy}； (5)
利用所述第二模型建立第三模型以使得融合图像和红外图像或可见光图像近似或相同，所述第三模型为：
min{∫∫Ω[ωi·(f-i)2+ωv·(f-v)2]dxdy}+max{λ∫∫Ω|▽f-▽v|2dxdy}； (6)
其中i与v分别代表红外与可见光源图像，表达式第一项是保真项，第二项为正则化项，用来使得图像梯度最大，λ是一个大于零的参数，用来权衡源图像和融合图像的保真度，ωi(x,y)与ωv(x,y)是两个非负权重函数，表示两幅源图像对融合图像的贡献大小，并满足以下关系：
ωi(x,y)+ωv(x,y)＝1； (7)
根据公式(10)～(13)将第三模型进行简化得到第四模型，第四模型的表达式：
min{∫∫Ω[ωi·(f-i)2+ωv·(f-v)2]dxdy-λ∫∫Ω|▽f-▽v|2dxdy}； (8)
将第四模型用离散化的ℓ2范数再次简化得到第五模型，第五模型表示为：
通过公式(5)至(10)的构建，我们将融合问题转换成一个泛函极小值的问题，更确切地说，我们将融合表述为优化问题，其中目标函数依旧由数据保真度项和正则项组成。由于数据保真项决定了最终的融合视觉效果，因此本文添加权重参数来平衡源图像与融合图像之间的像素强度配比；同时，正则项采用ℓ2范数形式将图像内部的纹理梯度信息还原到融合图像中。通过两者的相互结合，构建全新的总变分融合模型，使融合图像可以符合人眼视觉机制。
S4、STV模型的求解
加权重参数平衡源图像与融合图像之间的像素强度配比，正则项采用ℓ2 范数形式将图像内部的纹理梯度信息还原到融合图像，通过公式(7)～(12) 组成显著性总变分模型。
采用梯度下降流方法对STV模型进行最优求解，求解过程如下：
获得公式(5)～(10)的Euler-Lagrange方程：
引入时间变量t，得到公式(11)～(12)对应的梯度下降流为：
设置方程参数的初始化，对于边界条件采用边缘重复扩展处理：
其中k为迭代次数，Δt为时间步长；
将公式(14)带入到公式(13)中，f的平稳解通过时间差分方案迭代而获得：
由于灰度图像的像素值范围为[0，255]，为了防止公式(15)求得的f超出允许范围，我们必须对其进行动态范围约束。由于常用的亮度归一化和截断方法都会使得梯度下降，采用如下方法对f进行约束，具体为：
一般地，图像融合结果的性能可以通过主观和客观的方式进行评价。在大多数情况下，融合结果之间的差异不大，则难以用主观方式正确地评价融合结果。因此，在客观质量评价的基础上对融合效果进行评价也是非常必要的，本文选取了以下5个客观质量指标作为评判标准：1.平均梯度(AVG)2.信息熵(IE)3.边缘信息保留量(QAB/F)4.标准差(SD)。详细地说，AVG用来体现图像中的微小细节反差和纹理变化特征；IE可以直接用来衡量图像信息的丰富程度；SD用来反应像素灰度值的分布状况；QAB/F评价从源图像传递到融合图像的边缘信息量。对于这5个指标，数值越大代表性能越好。
结合图4所示，其中，图4(a)为红外图像，图4(b)为可见光图像，本仿真采用基于NSST的融合算法、基于PCNN的融合算法、基于GFF的融合算法、基于VSM的融合算法、基于IFE的融合算法、基于GTF的融合算法、基于l1-TV的融合算法等作为对比，融合效果图详见图4(c)-(j)，其中，图4(c)是基于NSST的融合效果图，图4(d)是基于PCNN的融合效果图，图4(e)是基于GFF的融合效果图，图4(f)是基于VSM的融合效果图，图4(g)是基于IFE的融合效果图，图4(h)是基于GTF的融合效果图，图4(i)是基于l1-TV的融合效果图，图4(j)是基于本发明的融合效果图。
表1表示不同算法的评价指标对比。
通过7种对比方法我们可以清晰地发现：NSST方法的融合图像更加接近可见光图像，因此丢失许多红外的显著信息；PCNN方法的融合图像都不约而同的出现了黑色的伪影噪点，因此导致图像的不连续，观感不佳；GFF方法的融合图像观感更接近红外源图像，因此融合的性能不够稳定，无法同时结合两种光谱的信息；VSM方法的融合图像与本文算法的观感比较接近，但是在纹理细节还原部分不如本文算法；IFE算法的融合图像都存在亮度过曝的缺点，导致图像的对比度下降，红外显著目标信息不明显；l1-TV和GTF都是基于总变分法的融合方法，虽然他们能够凸出红外目标信息，但是图像比较模糊，因此丢失了大量的可见光梯度特征。与本文方法相比，由于全新的优化模型在数据保真项加入了显著性权重函数，因此融合图像在主体观感上兼容了源图像的光谱特性，凸显了各自的显著性信息，更加符合人眼的视觉观感。同时正则项利用ℓ2范数优化还原了更多的梯度特征，使融合图像细节更加丰富。通过以上描述，本发明提出的全新融合模型在具有较少的外设参数同时，亮度适中、对比度较高、主观观感最佳。
对应地，本发明提供一种基于显著性总变分模型与ℓ2-范数优化的图像融合装置，所述装置包括：
图像配准单元，用于获取来自同一场景并进行图像配准的红外图像和可见光图像；
生成单元，用于采用频域滤波法FT算法对红外图像和可见光图像进行显著性探测并生成第一显著图和第二显著图，对第一显著图和第二显著图的灰度值进行归一化后分别得到第一加权系数矩阵和第二加权系数矩阵；
处理单元，用于对第一加权系数矩阵和第二加权系数矩阵进行绝对值最大化处理得到第一显著性加权系数矩阵和第二显著性加权系数矩阵；
构建单元，用于在正则项内利用ℓ2-范数优化的方式将红外图像和可见光图像的梯度特征还原到融合图像中，利用第一显著性加权系数矩阵和第二显著性加权系数矩阵加入总变分模型TV构建显著性总变分模型STV；
求解单元，用于采用梯度下降流方法对STV模型进行求解，通过时间差分方案迭代获得融合图像的平稳解。
可选地，所述图像配准单元具体用于：
分别获取同一场景的红外图像和可见光图像；
对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。
可选地，所述生成单元具体用于：
采用FT算法分别对红外图像和可见光图像进行显著性探测，生成相应的第一显著图SIR(x,y)和第二显著图SVI(x,y)，将第一显著图SIR(x,y)和第二显著图SVI(x,y)的灰度值进行归一化分别形成第一加权系数矩阵Si(x,y)和第二加权系数矩阵Sv(x,y)；
其中fμ是图像特征向量的平均值，fwhc是相应的图像像素向量在像素位置(x,y)经过高斯模糊滤波后的值，║·║采用欧式距离计算。
可选地，所述生成单元具体用于：
对第一加权系数矩阵和第二加权系数矩阵进行绝对值最大化处理得到第一显著性加权系数矩阵ωi(x,y)和第二显著性加权系数矩阵ωv(x,y)，具体表达式为：
本发明提供的基于显著性总变分模型与ℓ2-范数优化的图像融合装置，在数据保真项内利用基于频域滤波法构成的显著性权重系数表示源图像对融合图像的贡献程度，使融合图像可在人眼视觉敏感的可见光背景下，自适应地融入红外显著信息。同时，利用ℓ2范数作为全新的正则项，将源图像内部的纹理梯度信息较为全面的转移到融合图像中，在一定程度上克服了传统融合方法对比度偏低，出现黑色伪影噪声等问题，并且表现出优越的融合性能，比现有的典型融合技术更有效。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
以上对本发明所提供的一种基于显著性总变分模型与ℓ2-范数优化的图像融合方法及装置进行详细了介绍，对于本领域一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于显著性总变分模型与ℓ2-范数优化的图像融合方法，其特征在于，所述方法包括：
获取来自同一场景并进行图像配准的红外图像和可见光图像；
采用频域滤波法FT算法对红外图像和可见光图像进行显著性探测并生成第一显著图和第二显著图，对第一显著图和第二显著图的灰度值进行归一化后分别得到第一加权系数矩阵和第二加权系数矩阵；
对第一加权系数矩阵和第二加权系数矩阵进行绝对值最大化处理得到第一显著性加权系数矩阵和第二显著性加权系数矩阵；
在正则项内利用ℓ2-范数优化的方式将红外图像和可见光图像的梯度特征还原到融合图像中，利用第一显著性加权系数矩阵和第二显著性加权系数矩阵加入总变分模型TV构建显著性总变分模型STV；
采用梯度下降流方法对STV模型进行求解，通过时间差分方案迭代获得融合图像的平稳解。
2.根据权利要求1所述的基于显著性总变分模型与ℓ2-范数优化的图像融合方法，其特征在于，所述获取来自同一场景并进行图像配准的红外图像和可见光图像，包括：
分别获取同一场景的红外图像和可见光图像；
对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。
3.根据权利要求2所述的基于显著性总变分模型与ℓ2-范数优化的图像融合方法，其特征在于，所述采用频域滤波法FT算法对红外图像和可见光图像进行显著性探测并生成第一显著图和第二显著图，对第一显著图和第二显著图的灰度值进行归一化后分别得到第一加权系数矩阵和第二加权系数矩阵，包括：
采用FT算法分别对红外图像和可见光图像进行显著性探测，生成相应的第一显著图SIR(x,y)和第二显著图SVI(x,y)，将第一显著图SIR(x,y)和第二显著图SVI(x,y)的灰度值进行归一化分别形成第一加权系数矩阵Si(x,y)和第二加权系数矩阵Sv(x,y)；
其中fμ是图像特征向量的平均值，fwhc是相应的图像像素向量在像素位置(x,y)经过高斯模糊滤波后的值，║·║采用欧式距离计算。
4.根据权利要求2所述的基于显著性总变分模型与ℓ2-范数优化的图像融合方法，其特征在于，所述对第一加权系数矩阵和第二加权系数矩阵进行绝对值最大化处理得到第一显著性加权系数矩阵和第二显著性加权系数矩阵，包括：
对第一加权系数矩阵和第二加权系数矩阵进行绝对值最大化处理得到第一显著性加权系数矩阵ωi(x,y)和第二显著性加权系数矩阵ωv(x,y)，具体表达式为：
5.根据权利要求2所述的基于显著性总变分模型与ℓ2-范数优化的图像融合方法，其特征在于，所述在正则项内利用ℓ2-范数优化的方式将红外图像和可见光图像的梯度特征还原到融合图像中，利用第一显著性加权系数矩阵和第二显著性加权系数矩阵加入总变分模型TV构建显著性总变分模型STV，包括：
根据可见光图像与融合图像的梯度特征的关联性确定第一模型，所述第一模型为：
其中f代表最终的融合图像，v代表可见光图像；
利用梯度模值的平方代替梯度模值对所述第一模型进行简化得到第二模型，所述第二模型为：
利用所述第二模型建立第三模型以使得融合图像和红外图像或可见光图像近似或相同，所述第三模型为：
其中i与v分别代表红外与可见光源图像，表达式第一项是保真项，第二项为正则化项，用来使得图像梯度最大，λ是一个大于零的参数，用来权衡源图像和融合图像的保真度，ωi(x,y)与ωv(x,y)是两个非负权重函数，表示两幅源图像对融合图像的贡献大小，并满足以下关系：
ωi(x,y)+ωv(x,y)＝1； (7)
根据公式(10)～(13)将第三模型进行简化得到第四模型，第四模型的表达式：
将第四模型用离散化的l2范数再次简化得到第五模型，第五模型表示为：
加权重参数平衡源图像与融合图像之间的像素强度配比，正则项采用l2范数形式将图像内部的纹理梯度信息还原到融合图像，通过公式(7)～(12)组成显著性总变分模型。
6.根据权利要求5所述的基于显著性总变分模型与ℓ2-范数优化的图像融合方法，其特征在于，所述采用梯度下降流方法对STV模型进行求解，通过时间差分方案迭代获得融合图像的平稳解，包括：
采用梯度下降流方法对STV模型进行最优求解，求解过程如下：
获得公式(5)～(10)的欧拉-拉格朗日Euler-Lagrange方程：
引入时间变量t，得到公式(11)～(12)对应的梯度下降流为：
设置方程参数的初始化，对于边界条件采用边缘重复扩展处理：
其中k为迭代次数，Δt为时间步长；
将公式(14)带入到公式(13)中，f的平稳解通过时间差分方案迭代而获得：
利用亮度归一化方法或截断方法调整梯度下降以对f进行约束，具体为：
7.一种基于显著性总变分模型与ℓ2-范数优化的图像融合装置，其特征在于，所述装置包括：
图像配准单元，用于获取来自同一场景并进行图像配准的红外图像和可见光图像；
生成单元，用于采用频域滤波法FT算法对红外图像和可见光图像进行显著性探测并生成第一显著图和第二显著图，对第一显著图和第二显著图的灰度值进行归一化后分别得到第一加权系数矩阵和第二加权系数矩阵；
处理单元，用于对第一加权系数矩阵和第二加权系数矩阵进行绝对值最大化处理得到第一显著性加权系数矩阵和第二显著性加权系数矩阵；
构建单元，用于在正则项内利用ℓ2-范数优化的方式将红外图像和可见光图像的梯度特征还原到融合图像中，利用第一显著性加权系数矩阵和第二显著性加权系数矩阵加入总变分模型TV构建显著性总变分模型STV；
求解单元，用于采用梯度下降流方法对STV模型进行求解，通过时间差分方案迭代获得融合图像的平稳解。
8.根据权利要求7所述的基于显著性总变分模型与ℓ2-范数优化的图像融合装置，其特征在于，所述图像配准单元具体用于：
分别获取同一场景的红外图像和可见光图像；
对红外图像和可见光图像进行特征提取得到特征点，通过进行相似性度量找到匹配的特征点对，通过匹配的特征点对得到图像空间坐标变换参数，由坐标变换参数进行红外图像和可见光图像的图像配准。
9.根据权利要求8所述的基于显著性总变分模型与ℓ2-范数优化的图像融合装置，其特征在于，所述生成单元具体用于：
采用FT算法分别对红外图像和可见光图像进行显著性探测，生成相应的第一显著图SIR(x,y)和第二显著图SVI(x,y)，将第一显著图SIR(x,y)和第二显著图SVI(x,y)的灰度值进行归一化分别形成第一加权系数矩阵Si(x,y)和第二加权系数矩阵Sv(x,y)；
其中fμ是图像特征向量的平均值，fwhc是相应的图像像素向量在像素位置(x,y)经过高斯模糊滤波后的值，║·║采用欧式距离计算。
10.根据权利要求8所述的基于显著性总变分模型与ℓ2-范数优化的图像融合装置，其特征在于，所述生成单元具体用于：
对第一加权系数矩阵和第二加权系数矩阵进行绝对值最大化处理得到第一显著性加权系数矩阵ωi(x,y)和第二显著性加权系数矩阵ωv(x,y)，具体表达式为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811055346.6A CN109215006B (zh) | 2018-09-11 | 2018-09-11 | 基于显著性总变分模型与l2-范数优化的图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811055346.6A CN109215006B (zh) | 2018-09-11 | 2018-09-11 | 基于显著性总变分模型与l2-范数优化的图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109215006A true CN109215006A (zh) | 2019-01-15 |
| CN109215006B CN109215006B (zh) | 2020-10-13 |
Family
ID=64986910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811055346.6A Active CN109215006B (zh) | 2018-09-11 | 2018-09-11 | 基于显著性总变分模型与l2-范数优化的图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109215006B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111861960A (zh) * | 2020-07-17 | 2020-10-30 | 北京理工大学 | 一种红外和可见光图像融合方法 |
| CN112037216A (zh) * | 2020-09-09 | 2020-12-04 | 南京诺源医疗器械有限公司 | 一种医学荧光成像系统图像融合方法 |
| CN116485694A (zh) * | 2023-04-25 | 2023-07-25 | 中国矿业大学 | 一种基于变分原理的红外与可见光图像融合方法、系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014102458A1 (en) * | 2012-12-31 | 2014-07-03 | Nokia Corporation | Method and apparatus for image fusion |
| CN106897986A (zh) * | 2017-01-23 | 2017-06-27 | 浙江大学 | 一种基于多尺度分析的可见光图像与远红外图像融合方法 |
-
2018
- 2018-09-11 CN CN201811055346.6A patent/CN109215006B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014102458A1 (en) * | 2012-12-31 | 2014-07-03 | Nokia Corporation | Method and apparatus for image fusion |
| CN106897986A (zh) * | 2017-01-23 | 2017-06-27 | 浙江大学 | 一种基于多尺度分析的可见光图像与远红外图像融合方法 |
Non-Patent Citations (9)
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111861960A (zh) * | 2020-07-17 | 2020-10-30 | 北京理工大学 | 一种红外和可见光图像融合方法 |
| CN111861960B (zh) * | 2020-07-17 | 2023-09-29 | 北京理工大学 | 一种红外和可见光图像融合方法 |
| CN112037216A (zh) * | 2020-09-09 | 2020-12-04 | 南京诺源医疗器械有限公司 | 一种医学荧光成像系统图像融合方法 |
| CN112037216B (zh) * | 2020-09-09 | 2022-02-15 | 南京诺源医疗器械有限公司 | 一种医学荧光成像系统图像融合方法 |
| CN116485694A (zh) * | 2023-04-25 | 2023-07-25 | 中国矿业大学 | 一种基于变分原理的红外与可见光图像融合方法、系统 |
| CN116485694B (zh) * | 2023-04-25 | 2023-11-07 | 中国矿业大学 | 一种基于变分原理的红外与可见光图像融合方法、系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109215006B (zh) | 2020-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Image fusion with guided filtering | |
| CN111145131A (zh) | 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法 | |
| CN111709902A (zh) | 基于自注意力机制的红外和可见光图像融合方法 | |
| CN106960428A (zh) | 可见光和红外双波段图像融合增强方法 | |
| CN109215006A (zh) | 基于显著性总变分模型与*2-范数优化的图像融合方法 | |
| CN109345494A (zh) | 基于潜在低秩表示和结构张量的图像融合方法及装置 | |
| CN109102485A (zh) | 基于nsst和自适应双通道pcnn的图像融合方法及装置 | |
| CN105719263A (zh) | 基于nsct域底层视觉特征的可见光和红外图像融合算法 | |
| CN106683056A (zh) | 一种机载光电红外数字图像处理方法及装置 | |
| CN110414607A (zh) | 胶囊内窥镜图像的分类方法、装置、设备及介质 | |
| CN111179208B (zh) | 基于显著图与卷积神经网络的红外-可见光图像融合方法 | |
| CN107633495A (zh) | 一种基于互补关系的红外偏振与光强图像多算法2d‑vmd内嵌式融合方法 | |
| CN109242813A (zh) | 基于潜在低秩表示与nsst的图像融合方法及装置 | |
| CN103942769A (zh) | 一种卫星遥感影像融合方法 | |
| CN109345496A (zh) | 一种总变分和结构张量的图像融合方法及装置 | |
| CN109191417A (zh) | 基于显著性检测与改进双通道的自适应融合方法及装置 | |
| CN109242812A (zh) | 基于显著性检测与奇异值分解的图像融合方法及装置 | |
| CN109272477A (zh) | 一种基于nsst与自适应双通道pcnn的融合方法以及融合处理器 | |
| CN111815549A (zh) | 一种基于导向滤波图像融合的夜视图像彩色化方法 | |
| Kotwal et al. | An optimization-based approach to fusion of hyperspectral images | |
| CN109345495B (zh) | 基于能量最小化和梯度正则化的图像融合方法及装置 | |
| Ye et al. | An unsupervised SAR and optical image fusion network based on structure-texture decomposition | |
| Yang et al. | Infrared and visible image fusion based on QNSCT and Guided Filter | |
| Zou et al. | Image haze removal algorithm using a logarithmic guide filtering and multi-channel prior | |
| CN116883303A (zh) | 基于特征差分补偿与融合的红外与可见光图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |