CN110189284A - 一种红外与可见光图像融合方法 - Google Patents

一种红外与可见光图像融合方法 Download PDF

Info

Publication number
CN110189284A
CN110189284A CN201910440606.XA CN201910440606A CN110189284A CN 110189284 A CN110189284 A CN 110189284A CN 201910440606 A CN201910440606 A CN 201910440606A CN 110189284 A CN110189284 A CN 110189284A
Authority
CN
China
Prior art keywords
image
levels
detail
base
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910440606.XA
Other languages
English (en)
Inventor
鄢慧斌
李忠民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Original Assignee
Nanchang Hangkong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University filed Critical Nanchang Hangkong University
Priority to CN201910440606.XA priority Critical patent/CN110189284A/zh
Publication of CN110189284A publication Critical patent/CN110189284A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种红外与可见光图像融合方法，所述方法包括以下步骤，(1)、基于LEF的多尺度分解；(2)、基层融合：首先得到红外图像IR的显著性信息图SIR；然后利用得到的显著性信息图SIR对基层{BIR,BVI}进行线性加权得到融合图像的基层FB；(3)、细节层融合：利用绝对值最大规则对细节层进行融合得到融合图像的细节层(4)、图像重建：将基层FB及所有的细节层相加即为融合图像。本发明得到的融合图像更符合人的视觉感知，并且能运用于基于图像融合的目标识别系统等。

Description

一种红外与可见光图像融合方法
技术领域
本发明涉及图像融合技术领域，具体涉及一种红外与可见光图像融合方法。
背景技术
多传感器数据通常提供某区域的互补信息。图像融合的目的是由这些数据得到新的图像以提供更多的复杂和详细的场景表示。其在模式识别、遥感、医学成像和现代军事等场景分析中有着重要的应用。可见光传感器主要捕获反射光使得可见光图像具有丰富的背景信息，更有利于建立判别模型。相比之下，红外传感器主要捕捉物体发出的热辐射，受光照变化或伪装的影响较小，因此，它可以克服一些障碍发现目标并且昼夜工作。因此，将红外图像中的热物体信息和可见光的背景信息融合到一张图像中不仅可以使其更符合人的视觉感知，并且有利于后续应用比如目标识别等。一般情况下，图像融合由低到高分为三个层次：像素级融合、特征级融合、决策级融合。
当前的红外与可见光图像融合方法主要可以分为两大类：变换域融合算法和空间域融合算法。本专利研究的主要是变换域融合算法。变换域融合算法主要步骤如下：首先将图像变换到特定的图像表示域，然后利用融合规则对图像表示系数进行融合，最后利用逆变换得到融合图像。变换域融合方法在图像融合领域通常能获得较好的效果。由于红外与可见光图像展示的是同一场景下的不同内容，变换域融合方法得到的融合结果通常具有较多不相关的光谱信息，使融合图像很难解释及不方便后续处理。
发明内容
本发明所要解决的问题是：提供一种红外与可见光图像融合方法，本方法得到的融合图像更符合人的视觉感知，并且能运用于基于图像融合的目标识别系统等。
本发明为解决上述问题所提供的技术方案为：一种红外与可见光图像融合方法，所述方法包括以下步骤，
(1)、基于LEF的多尺度分解：利用LEF将原始图像{IR,VI}进行L级多尺度分解得到它们各自的初始基层和细节层原始图像的最终基层{BIR,BVI}通过对初始基层分别进行高斯滤波得到；L+1级细节层由初始基层减去对应最终基层{BIR,BVI}得到；
(2)、基层融合：首先得到红外图像IR的显著性信息图SIR；然后利用得到的显著性信息图SIR对基层{BIR,BVI}进行线性加权得到融合图像的基层FB；
(3)、细节层融合：利用绝对值最大规则对细节层进行融合得到融合图像的细节层
(4)、图像重建：将基层FB及所有的细节层相加即为融合图像。
优选的，所述步骤(2)中得到红外图像IR的显著性信息图SIR包括以下步骤，
a、利用滑动窗技术从上到下、从左到右将红外图像分割为若干图像块并将其各自矢量化，最后串接为一个大矩阵；
b、利用RPCA算法得到大矩阵中的稀疏矩阵；
c、将得到的矩阵每一列还原为一个图像块，并利用得到图像块重建红外图像的稀疏矩阵图，即显著性信息图。
与现有技术相比，本发明的优点是：本发明提出一种新的红外与可见光图像融合方法，在该方法中，我们首先利用局部极值滤波器分别将源图像分解成各自的基层和若干细节层，之后利用设计的基层融合规则、绝对值最大融合规则对源图像的基层和细节层分别进行融合处理，最后由得到的基层和细节层重构融合图像。该方法得到的融合图像更符合人的视觉感知，并且能运用于基于图像融合的目标识别系统等。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明基于局部极值滤波(LEF)及鲁棒主成分分分析(RPCA)的红外与可见光图像融合方法的基本框架
附图标注：IR:红外图像，VI:可见光图像，LEF:局部极值滤波器，BIR:红外图像基层，BVI:可见光图像的细节层，红外图像的第i级细节层，可见光图像的第i级细节层，AMR:绝对值最大规则，PSIE:提出的基层融合规则，FB:融图像的基层，融合图像的细节层，F:融合图像。
具体实施方式
以下将配合附图及实施例来详细说明本发明的实施方式，藉此对本发明如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
一种红外与可见光图像融合方法：
Step 1:基于LEF的多尺度分解
利用LEF将原始图像{IR,VI}进行L级多尺度分解得到它们各自的初始基层和细节层
原始图像的最终基层{BIR,BVI}由式(3-4)得到
其中Gaussian代表高斯滤波函数，σg为其标准差。
L+1级细节层由式(5-6)得到
Step 2:基层融合
1、首先得到红外图像的显著性信息图。具体步骤如下：
(1)利用滑动窗技术从上到下、从左到右将红外图像分割为若干图像块并将其各自矢量化，最后串接为一个大矩阵。
(2)利用RPCA算法得到大矩阵中的稀疏矩阵。
(3)将得到的矩阵每一列还原为一个图像块，并利用得到图像块重建红外图像的稀疏矩阵图(归一化至[0,1])，即显著性信息图。
为了方便，上述三步显著性信息提取过程我们以如下的数学关系来表示。
SIR＝PSIE(IR) (7)
其中SIR为红外图像IR的显著性信息图，PSIE为显著性信息提取函数。
2、然后利用根据式(8)对基层{BIR,BVI}进行融合得到融合图像的基层FB。
FB＝SIRBIR+(1-SIR)BVI (8)
Step 3:细节层融合
细节层根据式(9-11)进行融合。
Wi＝Gaussian(Vi,σs) (i＝1,2...,L+1)(10)
其中Vi代表初始权值图，Wi代表细化权值图，为融合图像的第i层细节层。
Step 4:图像重建
融合图像F由式(12)得到
本发明的有益效果是：本发明提出一种新的红外与可见光图像融合方法，在该方法中，我们首先利用局部极值滤波器分别将源图像分解成各自的基层和若干细节层，之后利用设计的基层融合规则、绝对值最大融合规则对源图像的基层和细节层分别进行融合处理，最后由得到的基层和细节层重构融合图像。该方法得到的融合图像更符合人的视觉感知，并且能运用于基于图像融合的目标识别系统等。
以上仅就本发明的最佳实施例作了说明，但不能理解为是对权利要求的限制。本发明不仅局限于以上实施例，其具体结构允许有变化。凡在本发明独立权利要求的保护范围内所作的各种变化均在本发明保护范围内。

Claims (2)

1.一种红外与可见光图像融合方法，其特征在于：所述方法包括以下步骤，
(1)、基于LEF的多尺度分解：利用LEF将原始图像{IR,VI}进行L级多尺度分解得到它们各自的初始基层和细节层原始图像的最终基层{BIR,BVI}通过对初始基层分别进行高斯滤波得到；L+1级细节层由初始基层减去对应最终基层{BIR,BVI}得到；
(2)、基层融合：首先得到红外图像IR的显著性信息图SIR；然后利用得到的显著性信息图SIR对基层{BIR,BVI}进行线性加权得到融合图像的基层FB；
(3)、细节层融合：利用绝对值最大规则对细节层进行融合得到融合图像的细节层
(4)、图像重建：将基层FB及所有的细节层相加即为融合图像。
2.根据权利要求1所述的一种红外与可见光图像融合方法，其特征在于：所述步骤(2)中得到红外图像IR的显著性信息图SIR包括以下步骤，
a、利用滑动窗技术从上到下、从左到右将红外图像分割为若干图像块并将其各自矢量化，最后串接为一个大矩阵；
b、利用RPCA算法得到大矩阵中的稀疏矩阵；
c、将得到的矩阵每一列还原为一个图像块，并利用得到图像块重建红外图像的稀疏矩阵图，即显著性信息图。
CN201910440606.XA 2019-05-24 2019-05-24 一种红外与可见光图像融合方法 Pending CN110189284A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910440606.XA CN110189284A (zh) 2019-05-24 2019-05-24 一种红外与可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910440606.XA CN110189284A (zh) 2019-05-24 2019-05-24 一种红外与可见光图像融合方法

Publications (1)

Publication Number Publication Date
CN110189284A true CN110189284A (zh) 2019-08-30

Family

ID=67717771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910440606.XA Pending CN110189284A (zh) 2019-05-24 2019-05-24 一种红外与可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN110189284A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111223069A (zh) * 2020-01-14 2020-06-02 天津工业大学 一种图像融合方法及系统
CN111507913A (zh) * 2020-04-08 2020-08-07 四川轻化工大学 一种基于纹理特征的图像融合算法
CN111652832A (zh) * 2020-07-09 2020-09-11 南昌航空大学 一种基于滑动窗口技术的红外与可见光图像融合方法
CN112215787A (zh) * 2020-04-30 2021-01-12 温州大学智能锁具研究院 基于显著度分析及自适应滤波器的红外和可见光图像融合方法
CN112232403A (zh) * 2020-10-13 2021-01-15 四川轻化工大学 一种红外图像与可见光图像的融合方法
CN112801927A (zh) * 2021-01-28 2021-05-14 中国地质大学（武汉） 一种基于三尺度分解的红外和可见光图像融合方法
CN113344838A (zh) * 2021-07-08 2021-09-03 烟台艾睿光电科技有限公司 图像融合方法、装置、电子设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268847A (zh) * 2014-09-23 2015-01-07 西安电子科技大学 一种基于交互非局部均值滤波的红外与可见光图像融合方法
CN105678733A (zh) * 2014-11-21 2016-06-15 中国科学院沈阳自动化研究所 一种基于直线段上下文的红外与可见光异源图像匹配方法
CN107248150A (zh) * 2017-07-31 2017-10-13 杭州电子科技大学 一种基于导向滤波显著区域提取的多尺度图像融合方法
CN109360175A (zh) * 2018-10-12 2019-02-19 云南大学 一种红外与可见光的图像融合方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268847A (zh) * 2014-09-23 2015-01-07 西安电子科技大学 一种基于交互非局部均值滤波的红外与可见光图像融合方法
CN105678733A (zh) * 2014-11-21 2016-06-15 中国科学院沈阳自动化研究所 一种基于直线段上下文的红外与可见光异源图像匹配方法
CN107248150A (zh) * 2017-07-31 2017-10-13 杭州电子科技大学 一种基于导向滤波显著区域提取的多尺度图像融合方法
CN109360175A (zh) * 2018-10-12 2019-02-19 云南大学 一种红外与可见光的图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEI GAN ET AL.: "Infrared and visible image fusion with the use of multi-scale edge-preserving decomposition and guided image filter", 《INFRARED PHYSICS & TECHNOLOGY》 *
陈清江等: "基于卷积神经网络的红外图像融合算法", 《激光与红外》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111223069A (zh) * 2020-01-14 2020-06-02 天津工业大学 一种图像融合方法及系统
CN111223069B (zh) * 2020-01-14 2023-06-02 天津工业大学 一种图像融合方法及系统
CN111507913A (zh) * 2020-04-08 2020-08-07 四川轻化工大学 一种基于纹理特征的图像融合算法
CN111507913B (zh) * 2020-04-08 2023-05-05 四川轻化工大学 一种基于纹理特征的图像融合算法
CN112215787A (zh) * 2020-04-30 2021-01-12 温州大学智能锁具研究院 基于显著度分析及自适应滤波器的红外和可见光图像融合方法
CN112215787B (zh) * 2020-04-30 2022-06-17 温州大学智能锁具研究院 基于显著度分析及自适应滤波器的红外和可见光图像融合方法
CN111652832A (zh) * 2020-07-09 2020-09-11 南昌航空大学 一种基于滑动窗口技术的红外与可见光图像融合方法
CN111652832B (zh) * 2020-07-09 2023-05-12 南昌航空大学 一种基于滑动窗口技术的红外与可见光图像融合方法
CN112232403A (zh) * 2020-10-13 2021-01-15 四川轻化工大学 一种红外图像与可见光图像的融合方法
CN112801927A (zh) * 2021-01-28 2021-05-14 中国地质大学（武汉） 一种基于三尺度分解的红外和可见光图像融合方法
CN112801927B (zh) * 2021-01-28 2022-07-19 中国地质大学（武汉） 一种基于三尺度分解的红外和可见光图像融合方法
CN113344838A (zh) * 2021-07-08 2021-09-03 烟台艾睿光电科技有限公司 图像融合方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN110189284A (zh) 一种红外与可见光图像融合方法
Ren et al. Low-light image enhancement via a deep hybrid network
Zhou et al. Semantic-supervised infrared and visible image fusion via a dual-discriminator generative adversarial network
Tang et al. DATFuse: Infrared and visible image fusion via dual attention transformer
CN106339998B (zh) 基于对比度金字塔变换的多聚焦图像融合方法
CN104809734B (zh) 一种基于引导滤波的红外图像与可见光图像融合的方法
CN111145131A (zh) 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法
CN104751432B (zh) 一种基于图像重构的可见光与红外图像融合方法
CN109903299A (zh) 一种条件式生成对抗网络的异源遥感图像配准方法及装置
Xie et al. Semantics lead all: Towards unified image registration and fusion from a semantic perspective
Li et al. MAFusion: Multiscale attention network for infrared and visible image fusion
Yadav et al. A review on image fusion methodologies and applications
Zhou et al. An infrared and visible image fusion method based on VGG-19 network
CN112488971A (zh) 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法
Li et al. Infrared and visible fusion imaging via double-layer fusion denoising neural network
Cheng et al. Adaptive fusion framework of infrared and visual image using saliency detection and improved dual-channel PCNN in the LNSST domain
Patel et al. A review on infrared and visible image fusion techniques
Djerouni et al. Dorsal hand vein image contrast enhancement techniques
CN106530389B (zh) 基于中波红外人脸图像的立体重构方法
Shihabudeen et al. Deep learning L2 norm fusion for infrared & visible images
El-Shafai et al. Improving traditional method used for medical image fusion by deep learning approach-based convolution neural network
Zhao et al. MHW-GAN: Multidiscriminator Hierarchical Wavelet Generative Adversarial Network for Multimodal Image Fusion
Wang et al. Infrared weak-small targets fusion based on latent low-rank representation and DWT
Zhang et al. Trustworthy image fusion with deep learning for wireless applications
Liu et al. An information retention and feature transmission network for infrared and visible image fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190830