CN112801927B - 一种基于三尺度分解的红外和可见光图像融合方法 - Google Patents
一种基于三尺度分解的红外和可见光图像融合方法 Download PDFInfo
- Publication number
- CN112801927B CN112801927B CN202110117799.2A CN202110117799A CN112801927B CN 112801927 B CN112801927 B CN 112801927B CN 202110117799 A CN202110117799 A CN 202110117799A CN 112801927 B CN112801927 B CN 112801927B
- Authority
- CN
- China
- Prior art keywords
- layer
- image
- infrared
- visible light
- significant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 18
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000012935 Averaging Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims abstract description 3
- 238000010586 diagram Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 abstract description 6
- 238000011426 transformation method Methods 0.000 abstract description 3
- 238000002474 experimental method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明提供一种基于三尺度分解的红外和可见光图像融合方法,该方法针对现有的基于多尺度变换融合方法纹理不清晰、红外目标边缘模糊的问题,提出了一种基于三尺度分解的融合算法。首先,利用显著性检测算法和高斯滤波器将源图像分解为显著层、细节层和基层图像。然后,对于显著层,本文设计了一种非线性函数计算权重矩阵用以融合显著层;对于细节层,本文采用取绝对值最大的方法进行融合,有效地保留了细节纹理信息;对于基层,采用了简单的像素平均准则进行融合。最后,采用对应的逆变换方法得到最终的融合图像。本发明能够有效地保留源图像中的细节纹理信息,同时能够消除现有方法结果中红外目标边缘模糊的问题。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于三尺度分解的红外和可见光图像融合方法。
背景技术
红外(IR)与可见光(VS)图像的融合起着重要的军事作用和民用应用,如目标探测、监视和情报收集。红外成像传感器可以捕获物体发出的热辐射,受黑暗或恶劣的天气条件影响较小。然而,获得的IR图像通常缺乏足够的背景细节的场景。在对比之下,可见图像通常包含更多的细节和纹理信息,并具有较高的空间分辨率。红外与可见光图像融合可以产生为人类观察提供更多信息的合成图像,有利于后续的计算机视觉任务。
基于多尺度变换的融合方法在过去几十年里被广泛研究,多尺度变换方法的本质是利用多尺度变换的方法将空间重叠的特征分离到不同的尺度上然后分别进行融合。有很多的多尺度变换方法已经应用到了图像融合领域,如:拉普拉斯金字塔变换、离散小波变换、非亚采样轮廓波变换、引导滤波器等等,这些基于多尺度分解的算法可以简单概括为以下几个步骤:(1)对源图像进行多尺度分解,以得到含有不同频率信息的子图像;(2)根据不同频率子图像的特点,选取不同的融合规则分别进行融合;(3)采用对应的逆变换获取最终的融合图像。
现有的多尺度变换融合算法均采用窗口滤波器的策略得到基层,然后将源图像和基层做差得到细节层。然而,窗口滤波器在红外图像中的使用会引发红外目标边缘的像素强度向背景区域扩散的问题,这会导致最终的融合图像中的红外目标周围出现模糊、伪影等影响视觉效果的现象。同时,源图像中的噪声和低光照也会导致细节保留度较低的问题。
发明内容
针对传统的多尺度变换融合方法会在融合图像的红外目标边缘引入模糊和伪影的问题,本发提供一种基于三尺度分解的红外和可见光图像融合方法。
一种基于三尺度分解的红外和可见光图像融合方法,包括以下步骤:
S1、使用显著性检测方法和高斯滤波器将红外图像和可见光图像分别分解为显著层、细节层和基层;
S2、对于红外图像的显著层和可见光图像的显著层,首先提取红外目标的分布图,然后引入一个非线性函数建立权重矩阵,从而得到红外图像显著层和可见光图像显著层融合后的显著层SF;
S3、采用取绝对值最大的策略将红外图像的细节层和可见光图像的细节层融合,得到融合后的细节层DF;
S4、采用简单的像素平均方法对红外图像的基层和可见光图像的基层进行融合,得到融合后的基层BF;
S5、将融合后的显著层SF、细节层DF和基层BF进行像素级的相加,确保与输入图像大小相同,从而得到重构的融合图像。
本发明提供的技术方案带来的有益效果是:本发明可以很好的保留源图像的细节、纹理和红外特征的清晰边缘,具有更好的对比度,这使得融合后的图像更为清晰、可靠、便于人眼直观视觉观察。
附图说明
图1是本发明一种基于三尺度分解的红外和可见光图像融合方法的流程图;
图2是本发明一种基于三尺度分解的红外和可见光图像融合方法技术路线示意图;
图3是本发明一种基于三尺度分解的红外和可见光图像融合方法定量实验对比示意图;
图4是本发明一种基于三尺度分解的红外和可见光图像融合方法定性实验对比示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地描述。
请参考图1,本发明提供了一种基于三尺度分解的红外和可见光图像融合方法,具体如下:
S1、使用显著性检测方法和高斯滤波器将源图像分解为显著层、细节层和基层,显著层主要包含源图像中的显著区域,细节层主要包含源图像中的细节纹理信息,基层包含主要地像素分布信息,具体如下:
S11、利用显著性检测算法将源图像分解得到红外图像和可见光图像的显著层和非显著层,公式如下:
其中,I代表源图像,i=a代表红外图像,i=b代表可见光图像,S代表显著层,DI代表非显著层,s代表显著性矩阵,定义如下:
s(x,y)=|Iμ-Iωhc(x,y)|
其中,Iμ代表源图像所有像素的平均值,Iωhc代表源图像的高斯模糊版本;
S12、使用高斯滤波器将非显著层进一步分解为细节层和基层,公式如下:
其中,Gr,σ为半径为r、方差为σ的高斯滤波器,B代表基层,D代表细节层,由此,源图像I被分解为显著层S、细节层D和基层B。
输入图像为同一场景获取的红外图像和可见光图像,图像要求提前经过严格的配准且图片大小严格一致。可见光图像中能够有效地呈现出目标场景的背景信息,红外图像具有突出目标信息的优点。
S2、对于红外图像显著层和可见光图像显著层,首先提取红外目标的分布图,可以有效地保留红外目标的强度信息,同时也较好地保证了可见光图像中的显著区域强度不被弱化,然后引入一个非线性函数建立权重矩阵,从而得到融合后的显著层SF,其中,红外目标的分布图定义如下:
R为红外目标分布图,Sa代表红外图像的显著层,Sb代表可见光图像的显著层。
非线性函数定义如下:
Ca=arctan(λR)/arctan(λ)
Ca为红外图像的显著层的权重矩阵,R为红外目标分布图,λ为超参数,1≥λ≥0,λ的数值越大则红外目标的保留程度越高,可以根据实际需求进行调节。
融合之后的显著层SF计算如下:
SF=Ca·Sa+(1-Ca)·Sb
其中,Ca为红外图像的显著层的权重矩阵,Sa代表红外图像的显著层,Sb代表可见光图像的显著层。
S3、纹理细节在细节层中主要表现为较大的像素强度,基于这个分析,采用取绝对值最大的策略将红外图像细节层和可见光图像细节层融合,得到融合后的细节层DF;
公式如下:
其中,Da(x,y)为红外图像的细节层,Db(x,y)为可见光图像的细节层。
S4、对于基层,由于已从源图像中提取出显著区域,采用简单的像素平均方法对红外图像基层和可见光图像基层进行融合,得到融合后的基层BF;
公式如下,
其中,Ba(x,y)为红外图像的基层,Bb(x,y)为可见光图像的基层。
S5、将融合后的显著层SF、细节层DF和基层BF进行像素级的相加,确保与输入图像大小相同,从而得到重构的融合图像,参考图2。
本发明的实验采用已严格配准过的TNO Human Factors数据集中的图像对作为源图像,采用传统的图像质量评价指标:信息熵(Information Entroy,EN)、标准差(StandardDeviation,SD)、互相关信息(Mutual Information,MI)、结构相似性(Structuralsimilarity index measure,SSIM)。与基于拉普拉斯金字塔的融合算法(LP)、基于低通金字塔的融合算法(RP)、基于离散小波变换的融合算法(DWT)、基于非亚采样的融合算法(DTCWT)、基于引导滤波器的融合算法(GFF)、基于GAN网络的融合算法(FusionGAN)和基于卷积神经网络的融合算法(U2Fusion)进行比较。定量和定性实验结果如图3和图4所示,本发明的融合算法在各个指标上都有较好的表现,表明融合图像的对比度、和源图像的相似程度都比较高,且能有效的突出红外目标以及很好地显现融合图像的边缘和纹理信息。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (6)
1.一种基于三尺度分解的红外和可见光图像融合方法,其特征在于,包括以下几个步骤:
S1、使用显著性检测方法和高斯滤波器将红外图像和可见光图像分别分解为显著层、细节层和基层;
所述S1具体如下:
S11、利用显著性检测算法将源图像分解得到红外和可见光图像的显著层和非显著层,公式如下:
其中,I代表源图像,i=a代表红外图像,i=b代表可见光图像,S代表显著层,DI代表非显著层,s代表显著性矩阵,定义如下:
其中,Iμ代表源图像所有像素的平均值,Iωhc代表源图像的高斯模糊版本;
S12、使用高斯滤波器将非显著层进一步分解为细节层和基层,公式如下:
其中,Gr,σ为半径为r、方差为σ的高斯滤波器,B代表基层,D代表细节层,由此,源图像I被分解为显著层S、细节层D和基层B;
S2、对于红外图像的显著层和可见光图像的显著层,首先提取红外目标的分布图,然后引入一个非线性函数建立权重矩阵,从而得到红外图像的显著层和可见光图像的显著层融合后的显著层SF;
S3、采用取绝对值最大的策略将红外图像的细节层和可见光图像的细节层融合,得到融合后的细节层DF;
S4、采用简单的像素平均方法对红外图像的基层和可见光图像的基层进行融合,得到融合后的基层BF;
S5、将融合后的显著层SF、细节层DF和基层BF进行像素级的相加,确保与输入图像大小相同,从而得到重构的融合图像。
3.根据权利要求2所述的一种基于三尺度分解的红外和可见光图像融合方法,其特征在于,所述S2中非线性函数定义如下:
Ca=arctan(λR)/arctan(λ)
其中,Ca为红外图像的显著层的权重矩阵,R为红外目标分布图,λ为超参数,1≥λ≥0。
4.根据权利要求3所述的一种基于三尺度分解的红外和可见光图像融合方法,其特征在于,所述S2中融合之后的显著层SF计算如下:
SF=Ca·Sa+(1-Ca)·Sb
其中,Ca为红外图像的显著层的权重矩阵,Sa代表红外图像的显著层,Sb代表可见光图像的显著层。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110117799.2A CN112801927B (zh) | 2021-01-28 | 2021-01-28 | 一种基于三尺度分解的红外和可见光图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110117799.2A CN112801927B (zh) | 2021-01-28 | 2021-01-28 | 一种基于三尺度分解的红外和可见光图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112801927A CN112801927A (zh) | 2021-05-14 |
CN112801927B true CN112801927B (zh) | 2022-07-19 |
Family
ID=75812381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110117799.2A Expired - Fee Related CN112801927B (zh) | 2021-01-28 | 2021-01-28 | 一种基于三尺度分解的红外和可见光图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112801927B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113344838A (zh) * | 2021-07-08 | 2021-09-03 | 烟台艾睿光电科技有限公司 | 图像融合方法、装置、电子设备及可读存储介质 |
CN113610738A (zh) * | 2021-08-06 | 2021-11-05 | 烟台艾睿光电科技有限公司 | 一种图像处理方法、装置、设备及计算机可读存储介质 |
CN114241511B (zh) * | 2021-10-21 | 2024-05-03 | 西安科技大学 | 一种弱监督行人检测方法、系统、介质、设备及处理终端 |
CN115578304B (zh) * | 2022-12-12 | 2023-03-10 | 四川大学 | 一种结合显著性区域检测的多波段图像融合方法和系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108830818A (zh) * | 2018-05-07 | 2018-11-16 | 西北工业大学 | 一种快速多聚焦图像融合方法 |
CN110189284A (zh) * | 2019-05-24 | 2019-08-30 | 南昌航空大学 | 一种红外与可见光图像融合方法 |
CN110223265A (zh) * | 2019-05-05 | 2019-09-10 | 中国地质大学(武汉) | 基于多尺度变换分解的目标显著的图像融合方法及系统 |
CN111223069A (zh) * | 2020-01-14 | 2020-06-02 | 天津工业大学 | 一种图像融合方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8411938B2 (en) * | 2007-11-29 | 2013-04-02 | Sri International | Multi-scale multi-camera adaptive fusion with contrast normalization |
-
2021
- 2021-01-28 CN CN202110117799.2A patent/CN112801927B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108830818A (zh) * | 2018-05-07 | 2018-11-16 | 西北工业大学 | 一种快速多聚焦图像融合方法 |
CN110223265A (zh) * | 2019-05-05 | 2019-09-10 | 中国地质大学(武汉) | 基于多尺度变换分解的目标显著的图像融合方法及系统 |
CN110189284A (zh) * | 2019-05-24 | 2019-08-30 | 南昌航空大学 | 一种红外与可见光图像融合方法 |
CN111223069A (zh) * | 2020-01-14 | 2020-06-02 | 天津工业大学 | 一种图像融合方法及系统 |
Non-Patent Citations (2)
Title |
---|
一种基于多尺度低秩分解的红外与可见光图像融合方法;陈潮起等;《光学学报》;20200610(第11期);第72-80页 * |
基于显著性检测与梯度导向滤波的红外与可见光图像融合;谢诗冬等;《云南大学学报(自然科学版)》;20201110;第42卷(第6期);第1053-1061页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112801927A (zh) | 2021-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112801927B (zh) | 一种基于三尺度分解的红外和可见光图像融合方法 | |
Ma et al. | Infrared and visible image fusion based on visual saliency map and weighted least square optimization | |
Zhao et al. | Fusion of visible and infrared images using saliency analysis and detail preserving based image decomposition | |
CN104809734B (zh) | 一种基于引导滤波的红外图像与可见光图像融合的方法 | |
Zhang et al. | A categorization of multiscale-decomposition-based image fusion schemes with a performance study for a digital camera application | |
Zhu et al. | Multiscale infrared and visible image fusion using gradient domain guided image filtering | |
US20110043603A1 (en) | System And Method For Dehazing | |
Omar et al. | Image fusion: An overview | |
CN111462028B (zh) | 基于相位一致性和目标增强的红外和可见光图像融合方法 | |
CN112288663A (zh) | 一种红外与可见光图像融合方法及系统 | |
CN109801250A (zh) | 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法 | |
CN108710910A (zh) | 一种基于卷积神经网络的目标识别方法及系统 | |
EP3058549B1 (en) | Converting an image from a dual-band sensor to a visible color image | |
CN114612359A (zh) | 基于特征提取的可见光与红外图像融合方法 | |
Kalaivani et al. | Analysis of image fusion techniques based on quality assessment metrics | |
CN111815550B (zh) | 一种基于灰度共生矩阵的红外与可见光图像融合方法 | |
Iwasokun et al. | Image enhancement methods: a review | |
Asmare et al. | Image enhancement by fusion in contourlet transform | |
Patel et al. | A review on infrared and visible image fusion techniques | |
Malhotra et al. | Wavelet based image fusion techniques: a comparison based review | |
CN116823694B (zh) | 基于多聚焦信息整合的红外与可见光图像融合方法及系统 | |
CN115578304B (zh) | 一种结合显著性区域检测的多波段图像融合方法和系统 | |
Gao et al. | Infrared and visible image fusion using dual-tree complex wavelet transform and convolutional sparse representation | |
Zhong et al. | A fusion approach to infrared and visible images with Gabor filter and sigmoid function | |
Li et al. | Algorithm for automatic image dodging of unmanned aerial vehicle images using two-dimensional radiometric spatial attributes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220719 |
|
CF01 | Termination of patent right due to non-payment of annual fee |