CN112801927A - 一种基于三尺度分解的红外和可见光图像融合方法 - Google Patents

一种基于三尺度分解的红外和可见光图像融合方法 Download PDF

Info

Publication number
CN112801927A
CN112801927A CN202110117799.2A CN202110117799A CN112801927A CN 112801927 A CN112801927 A CN 112801927A CN 202110117799 A CN202110117799 A CN 202110117799A CN 112801927 A CN112801927 A CN 112801927A
Authority
CN
China
Prior art keywords
layer
image
infrared
visible light
significant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110117799.2A
Other languages
English (en)
Other versions
CN112801927B (zh
Inventor
黄书贤
刘峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202110117799.2A priority Critical patent/CN112801927B/zh
Publication of CN112801927A publication Critical patent/CN112801927A/zh
Application granted granted Critical
Publication of CN112801927B publication Critical patent/CN112801927B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明提供一种基于三尺度分解的红外和可见光图像融合方法，该方法针对现有的基于多尺度变换融合方法纹理不清晰、红外目标边缘模糊的问题，提出了一种基于三尺度分解的融合算法。首先，利用显著性检测算法和高斯滤波器将源图像分解为显著层、细节层和基层图像。然后，对于显著层，本文设计了一种非线性函数计算权重矩阵用以融合显著层；对于细节层，本文采用取绝对值最大的方法进行融合，有效地保留了细节纹理信息；对于基层，采用了简单的像素平均准则进行融合。最后，采用对应的逆变换方法得到最终的融合图像。本发明能够有效地保留源图像中的细节纹理信息，同时能够消除现有方法结果中红外目标边缘模糊的问题。

Description

一种基于三尺度分解的红外和可见光图像融合方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于三尺度分解的红外和可见光图像融合方法。
背景技术
红外(IR)与可见光(VS)图像的融合起着重要的军事作用和民用应用，如目标探测、监视和情报收集。红外成像传感器可以捕获物体发出的热辐射，受黑暗或恶劣的天气条件影响较小。然而，获得的IR图像通常缺乏足够的背景细节的场景。在对比之下，可见图像通常包含更多的细节和纹理信息，并具有较高的空间分辨率。红外与可见光图像融合可以产生为人类观察提供更多信息的合成图像，有利于后续的计算机视觉任务。
基于多尺度变换的融合方法在过去几十年里被广泛研究，多尺度变换方法的本质是利用多尺度变换的方法将空间重叠的特征分离到不同的尺度上然后分别进行融合。有很多的多尺度变换方法已经应用到了图像融合领域，如：拉普拉斯金字塔变换、离散小波变换、非亚采样轮廓波变换、引导滤波器等等，这些基于多尺度分解的算法可以简单概括为以下几个步骤：(1)对源图像进行多尺度分解，以得到含有不同频率信息的子图像；(2)根据不同频率子图像的特点，选取不同的融合规则分别进行融合；(3)采用对应的逆变换获取最终的融合图像。
现有的多尺度变换融合算法均采用窗口滤波器的策略得到基层，然后将源图像和基层做差得到细节层。然而，窗口滤波器在红外图像中的使用会引发红外目标边缘的像素强度向背景区域扩散的问题，这会导致最终的融合图像中的红外目标周围出现模糊、伪影等影响视觉效果的现象。同时，源图像中的噪声和低光照也会导致细节保留度较低的问题。
发明内容
针对传统的多尺度变换融合方法会在融合图像的红外目标边缘引入模糊和伪影的问题，本发提供一种基于三尺度分解的红外和可见光图像融合方法。
一种基于三尺度分解的红外和可见光图像融合方法，包括以下步骤：
S1、使用显著性检测方法和高斯滤波器将红外图像和可见光图像分别分解为显著层、细节层和基层；
S2、对于红外图像的显著层和可见光图像的显著层，首先提取红外目标的分布图，然后引入一个非线性函数建立权重矩阵，从而得到红外图像显著层和可见光图像显著层融合后的显著层SF；
S3、采用取绝对值最大的策略将红外图像的细节层和可见光图像的细节层融合，得到融合后的细节层DF；
S4、采用简单的像素平均方法对红外图像的基层和可见光图像的基层进行融合，得到融合后的基层BF；
S5、将融合后的显著层SF、细节层DF和基层BF进行像素级的相加，确保与输入图像大小相同，从而得到重构的融合图像。
本发明提供的技术方案带来的有益效果是：本发明可以很好的保留源图像的细节、纹理和红外特征的清晰边缘，具有更好的对比度，这使得融合后的图像更为清晰、可靠、便于人眼直观视觉观察。
附图说明
图1是本发明一种基于三尺度分解的红外和可见光图像融合方法的流程图；
图2是本发明一种基于三尺度分解的红外和可见光图像融合方法技术路线示意图；
图3是本发明一种基于三尺度分解的红外和可见光图像融合方法定量实验对比示意图；
图4是本发明一种基于三尺度分解的红外和可见光图像融合方法定性实验对比示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
请参考图1，本发明提供了一种基于三尺度分解的红外和可见光图像融合方法，具体如下：
S1、使用显著性检测方法和高斯滤波器将源图像分解为显著层、细节层和基层，显著层主要包含源图像中的显著区域，细节层主要包含源图像中的细节纹理信息，基层包含主要地像素分布信息，具体如下：
S11、利用显著性检测算法将源图像分解得到红外图像和可见光图像的显著层和非显著层，公式如下：
Figure BDA0002920977350000031
其中，I代表源图像，i＝a代表红外图像，i＝b代表可见光图像，S代表显著层，DI代表非显著层，s代表显著性矩阵，定义如下：
s(x，y)＝|Iμ-Iωhc(x，y)|
其中，Iμ代表源图像所有像素的平均值，Iωhc代表源图像的高斯模糊版本；
S12、使用高斯滤波器将非显著层进一步分解为细节层和基层，公式如下：
Figure BDA0002920977350000041
其中，Gr,σ为半径为r、方差为σ的高斯滤波器，B代表基层，D代表细节层，由此，源图像I被分解为显著层S、细节层D和基层B。
输入图像为同一场景获取的红外图像和可见光图像，图像要求提前经过严格的配准且图片大小严格一致。可见光图像中能够有效地呈现出目标场景的背景信息，红外图像具有突出目标信息的优点。
S2、对于红外图像显著层和可见光图像显著层，首先提取红外目标的分布图，可以有效地保留红外目标的强度信息，同时也较好地保证了可见光图像中的显著区域强度不被弱化，然后引入一个非线性函数建立权重矩阵，从而得到融合后的显著层SF，其中，红外目标的分布图定义如下：
Figure BDA0002920977350000042
R为红外目标分布图，Sa代表红外图像的显著层，Sb代表可见光图像的显著层。
非线性函数定义如下：
Ca＝arctan(λR)/arctan(λ)
Ca为红外图像的显著层的权重矩阵，R为红外目标分布图，λ为超参数，1≥λ≥0，λ的数值越大则红外目标的保留程度越高，可以根据实际需求进行调节。
融合之后的显著层SF计算如下：
SF＝Ca·Sa+(1-Ca)·Sb
其中，Ca为红外图像的显著层的权重矩阵，Sa代表红外图像的显著层，Sb代表可见光图像的显著层。
S3、纹理细节在细节层中主要表现为较大的像素强度，基于这个分析，采用取绝对值最大的策略将红外图像细节层和可见光图像细节层融合，得到融合后的细节层DF；
公式如下：
Figure BDA0002920977350000051
其中，Da(x,y)为红外图像的细节层，Db(x,y)为可见光图像的细节层。
S4、对于基层，由于已从源图像中提取出显著区域，采用简单的像素平均方法对红外图像基层和可见光图像基层进行融合，得到融合后的基层BF；
公式如下，
Figure BDA0002920977350000052
其中，Ba(x,y)为红外图像的基层，Bb(x,y)为可见光图像的基层。
S5、将融合后的显著层SF、细节层DF和基层BF进行像素级的相加，确保与输入图像大小相同，从而得到重构的融合图像，参考图2。
本发明的实验采用已严格配准过的TNO Human Factors数据集中的图像对作为源图像，采用传统的图像质量评价指标：信息熵(Information Entroy，EN)、标准差(StandardDeviation，SD)、互相关信息(Mutual Information，MI)、结构相似性(Structuralsimilarity index measure，SSIM)。与基于拉普拉斯金字塔的融合算法(LP)、基于低通金字塔的融合算法(RP)、基于离散小波变换的融合算法(DWT)、基于非亚采样的融合算法(DTCWT)、基于引导滤波器的融合算法(GFF)、基于GAN网络的融合算法(FusionGAN)和基于卷积神经网络的融合算法(U2Fusion)进行比较。定量和定性实验结果如图3和图4所示，本发明的融合算法在各个指标上都有较好的表现，表明融合图像的对比度、和源图像的相似程度都比较高，且能有效的突出红外目标以及很好地显现融合图像的边缘和纹理信息。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于三尺度分解的红外和可见光图像融合方法，其特征在于，包括以下几个步骤：
S1、使用显著性检测方法和高斯滤波器将红外图像和可见光图像分别分解为显著层、细节层和基层；
S2、对于红外图像的显著层和可见光图像的显著层，首先提取红外目标的分布图，然后引入一个非线性函数建立权重矩阵，从而得到红外图像的显著层和可见光图像的显著层融合后的显著层SF；
S3、采用取绝对值最大的策略将红外图像的细节层和可见光图像的细节层融合，得到融合后的细节层DF；
S4、采用简单的像素平均方法对红外图像的基层和可见光图像的基层进行融合，得到融合后的基层BF；
S5、将融合后的显著层SF、细节层DF和基层BF进行像素级的相加，确保与输入图像大小相同，从而得到重构的融合图像。
2.根据权利要求1所述的一种基于三尺度分解的红外和可见光图像融合方法，其特征在于，所述S1具体如下：
S11、利用显著性检测算法将源图像分解得到红外和可见光图像的显著层和非显著层，公式如下：
Figure FDA0002920977340000011
其中，I代表源图像，i＝a代表红外图像，i＝b代表可见光图像，S代表显著层，DI代表非显著层，s代表显著性矩阵，定义如下：
Figure FDA0002920977340000012
其中，Iμ代表源图像所有像素的平均值，Iωhc代表源图像的高斯模糊版本；
S12、使用高斯滤波器将非显著层进一步分解为细节层和基层，公式如下：
Figure FDA0002920977340000021
其中，Gr,σ为半径为r、方差为σ的高斯滤波器，B代表基层，D代表细节层，由此，源图像I被分解为显著层S、细节层D和基层B。
3.根据权利要求1所述的一种基于三尺度分解的红外和可见光图像融合方法，其特征在于，所述S2中红外目标的分布图定义如下：
Figure FDA0002920977340000022
其中，R为红外目标分布图，Sa代表红外图像的显著层，Sb代表可见光图像的显著层。
4.根据权利要求3所述的一种基于三尺度分解的红外和可见光图像融合方法，其特征在于，所述S2中非线性函数定义如下：
Ca＝arctan(λR)/arctan(λ)
其中，Ca为红外图像的显著层的权重矩阵，R为红外目标分布图，λ为超参数，1≥λ≥0。
5.根据权利要求4所述的一种基于三尺度分解的红外和可见光图像融合方法，其特征在于，所述S2中融合之后的显著层SF计算如下：
SF＝Ca·Sa+(1-Ca)·Sb
其中，Ca为红外图像的显著层的权重矩阵，Sa代表红外图像的显著层，Sb代表可见光图像的显著层。
6.根据权利要求1所述的一种基于三尺度分解的红外和可见光图像融合方法，其特征在于，所述S3中采用取绝对值最大的策略融合得到的融合细节层DF，公式如下：
Figure FDA0002920977340000031
其中，Da(x,y)为红外图像的细节层，Db(x,y)为可见光图像的细节层。
7.根据权利要求1所述的一种基于三尺度分解的红外和可见光图像融合方法，其特征在于，所述S4中采用像素平均的方法得到融合基层BF，公式如下，
Figure FDA0002920977340000032
其中，Ba(x,y)为红外图像的基层，Bb(x,y)为可见光图像的基层。
CN202110117799.2A 2021-01-28 2021-01-28 一种基于三尺度分解的红外和可见光图像融合方法 Expired - Fee Related CN112801927B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110117799.2A CN112801927B (zh) 2021-01-28 2021-01-28 一种基于三尺度分解的红外和可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110117799.2A CN112801927B (zh) 2021-01-28 2021-01-28 一种基于三尺度分解的红外和可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN112801927A true CN112801927A (zh) 2021-05-14
CN112801927B CN112801927B (zh) 2022-07-19

Family

ID=75812381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110117799.2A Expired - Fee Related CN112801927B (zh) 2021-01-28 2021-01-28 一种基于三尺度分解的红外和可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN112801927B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344838A (zh) * 2021-07-08 2021-09-03 烟台艾睿光电科技有限公司 图像融合方法、装置、电子设备及可读存储介质
CN113610738A (zh) * 2021-08-06 2021-11-05 烟台艾睿光电科技有限公司 一种图像处理方法、装置、设备及计算机可读存储介质
CN114241511A (zh) * 2021-10-21 2022-03-25 西安科技大学 一种弱监督行人检测方法、系统、介质、设备及处理终端
CN115578304A (zh) * 2022-12-12 2023-01-06 四川大学 一种结合显著性区域检测的多波段图像融合方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090169102A1 (en) * 2007-11-29 2009-07-02 Chao Zhang Multi-scale multi-camera adaptive fusion with contrast normalization
CN108830818A (zh) * 2018-05-07 2018-11-16 西北工业大学 一种快速多聚焦图像融合方法
CN110189284A (zh) * 2019-05-24 2019-08-30 南昌航空大学 一种红外与可见光图像融合方法
CN110223265A (zh) * 2019-05-05 2019-09-10 中国地质大学（武汉） 基于多尺度变换分解的目标显著的图像融合方法及系统
CN111223069A (zh) * 2020-01-14 2020-06-02 天津工业大学 一种图像融合方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090169102A1 (en) * 2007-11-29 2009-07-02 Chao Zhang Multi-scale multi-camera adaptive fusion with contrast normalization
CN108830818A (zh) * 2018-05-07 2018-11-16 西北工业大学 一种快速多聚焦图像融合方法
CN110223265A (zh) * 2019-05-05 2019-09-10 中国地质大学（武汉） 基于多尺度变换分解的目标显著的图像融合方法及系统
CN110189284A (zh) * 2019-05-24 2019-08-30 南昌航空大学 一种红外与可见光图像融合方法
CN111223069A (zh) * 2020-01-14 2020-06-02 天津工业大学 一种图像融合方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
谢诗冬等: "基于显著性检测与梯度导向滤波的红外与可见光图像融合", 《云南大学学报（自然科学版）》 *
陈潮起等: "一种基于多尺度低秩分解的红外与可见光图像融合方法", 《光学学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344838A (zh) * 2021-07-08 2021-09-03 烟台艾睿光电科技有限公司 图像融合方法、装置、电子设备及可读存储介质
CN113610738A (zh) * 2021-08-06 2021-11-05 烟台艾睿光电科技有限公司 一种图像处理方法、装置、设备及计算机可读存储介质
CN114241511A (zh) * 2021-10-21 2022-03-25 西安科技大学 一种弱监督行人检测方法、系统、介质、设备及处理终端
CN114241511B (zh) * 2021-10-21 2024-05-03 西安科技大学 一种弱监督行人检测方法、系统、介质、设备及处理终端
CN115578304A (zh) * 2022-12-12 2023-01-06 四川大学 一种结合显著性区域检测的多波段图像融合方法和系统
CN115578304B (zh) * 2022-12-12 2023-03-10 四川大学 一种结合显著性区域检测的多波段图像融合方法和系统

Also Published As

Publication number Publication date
CN112801927B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN112801927B (zh) 一种基于三尺度分解的红外和可见光图像融合方法
Ma et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization
Zhao et al. Fusion of visible and infrared images using saliency analysis and detail preserving based image decomposition
Zhang et al. A categorization of multiscale-decomposition-based image fusion schemes with a performance study for a digital camera application
CN104809734B (zh) 一种基于引导滤波的红外图像与可见光图像融合的方法
Zhu et al. Multiscale infrared and visible image fusion using gradient domain guided image filtering
Omar et al. Image fusion: An overview
CN111462028B (zh) 基于相位一致性和目标增强的红外和可见光图像融合方法
CN112288663A (zh) 一种红外与可见光图像融合方法及系统
CN108710910A (zh) 一种基于卷积神经网络的目标识别方法及系统
CN109801250A (zh) 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法
EP3058549B1 (en) Converting an image from a dual-band sensor to a visible color image
Yu et al. A false color image fusion method based on multi-resolution color transfer in normalization YCBCR space
CN114612359A (zh) 基于特征提取的可见光与红外图像融合方法
Li et al. Low illumination video image enhancement
Kalaivani et al. Analysis of image fusion techniques based on quality assessment metrics
CN111815550B (zh) 一种基于灰度共生矩阵的红外与可见光图像融合方法
Asmare et al. Image enhancement by fusion in contourlet transform
Patel et al. A review on infrared and visible image fusion techniques
Malhotra et al. Wavelet based image fusion techniques: a comparison based review
Gao et al. Infrared and visible image fusion using dual-tree complex wavelet transform and convolutional sparse representation
CN115578304B (zh) 一种结合显著性区域检测的多波段图像融合方法和系统
Kour et al. A review on image processing
Zhong et al. A fusion approach to infrared and visible images with Gabor filter and sigmoid function
Li et al. Algorithm for automatic image dodging of unmanned aerial vehicle images using two-dimensional radiometric spatial attributes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220719