CN107169944B - 一种基于多尺度对比度的红外与可见光图像融合方法 - Google Patents
一种基于多尺度对比度的红外与可见光图像融合方法 Download PDFInfo
- Publication number
- CN107169944B CN107169944B CN201710266888.7A CN201710266888A CN107169944B CN 107169944 B CN107169944 B CN 107169944B CN 201710266888 A CN201710266888 A CN 201710266888A CN 107169944 B CN107169944 B CN 107169944B
- Authority
- CN
- China
- Prior art keywords
- infrared
- scale
- visible light
- image
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 9
- 230000004927 fusion Effects 0.000 claims abstract description 67
- 230000035945 sensitivity Effects 0.000 claims abstract description 27
- 238000001914 filtration Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 22
- 230000004438 eyesight Effects 0.000 claims description 7
- 238000002347 injection Methods 0.000 claims description 5
- 239000007924 injection Substances 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 36
- 230000006870 function Effects 0.000 abstract description 25
- 238000000354 decomposition reaction Methods 0.000 abstract description 23
- 230000000873 masking effect Effects 0.000 abstract description 3
- 238000007499 fusion processing Methods 0.000 abstract description 2
- 230000008447 perception Effects 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多尺度对比度的红外与可见光图像融合方法。能够基于计算得到的多尺度对比度,根据各尺度分解细节范围的不同,分别确定各层尺度信息中红外图像和可见光图像的融合权重,设计相应的多尺度信息的融合策略,使红外与可见光融合图像具有更好的视觉效果。结合表征人类视觉特性的对比敏感度函数,提取具有视觉敏感性的多尺度对比度,突出视觉敏感性信息,使融合图像具有更好的视觉效果,能够增强观察者对场景的感知和重要目标的快速识别能力;本发明在结合表征人类视觉特性的对比敏感度函数的同时,考虑了视觉对比度掩盖效应,有效利用视觉敏感性特征来指导融合过程,使融合图像的视觉效果进一步增强。
Description
技术领域
本发明涉及多传感器图像融合技术领域,具体涉及一种基于多尺度对比度的红外与可见光图像融合方法。
背景技术
图像融合技术是将不同成像传感器获取的同一场景信息按一定的规则融合于一幅图像中,使得生成的融合图像能够同时呈现不同传感器获取到的互补信息,从而为机器自动识别处理或人眼观察提供信息更加全面、丰富的图像信息输入。近些年来,随着传感器技术和计算机运算能力的不断提高,多传感器图像融合技术的应用越来越广泛,特别是在军事和遥感领域,图像融合技术得到了广泛的重视和发展。在民用方面,多传感器图像融合也已经在智能机器人导航、医学图像处理、工业检测和视频监控等领域得到了广泛的应用。
红外与可见光图像融合是多传感器图像融合领域的重要技术。红外成像传感器由于对热辐射比较敏感,能够在有烟雾和其他物体遮挡情况下对目标进行成像,并且可以在夜间光线不足的环境中工作;而可见光相机的成像分辨率通常较高,能够有效捕捉场景里的其他细节信息。将红外与可见光成像传感器得到的图像融合在一起,能够实现优势互补,使最终融合图像信息得到极大增强。红外与可见光图像融合技术已经被广泛用于军事侦察、目标探测、场景监控和夜视增强等军事和民用领域。
目前,对于红外与可见光等不同传感器图像融合问题,研究和应用最多的是基于多尺度分解的图像融合方法。它最早源于Burt等人提出的拉普拉斯金字塔变换(LAP)方法,其他基于金字塔变换的多尺度分解方法大多是在此结构及其派生结构的基础上建立起来的。Toet等人基于人类视觉系统对局部对比度较为敏感的特性,提出了基于对比度金字塔变换(ROLP)的多尺度融合算法。随着基于小波变换的多尺度分解技术的发展,离散小波变换也被成功应用于图像融合。由于一般的离散小波变换不具有平移不变性,研究者们又提出了其他性能更好的多尺度分解方法。其中,双树复数小波(DT-CWT)由于具有良好的平移不变性和方向选择性,在图像融合领域常被用作多尺度信息分解的手段,但它同时也会增加整个融合计算的复杂性。
多尺度分解后能够得到表征不同尺度图像信息的一系列分解系数,在对两幅图像信息融合时,需要采用一定的策略对两幅图像的分解系数在同一尺度水平上进行融合,得到一系列多尺度融合系数,最后通过这些系数的组合重建出融合图像。因此,多尺度分解信息的融合策略是多尺度图像融合技术中的重要内容,融合策略的好坏直接影响到最终的图像融合效果和质量。到目前为止,人们已经研究和提出了多种形式的融合策略。由于系数绝对值的大小一般反映分解后对应位置处的子带信息强度的大小,最简单的基于像素的融合策略是选取对应位置处绝对值最大的系数作为融合后的系数。此外,还有考虑分解层内各子带及分解层间上下尺度子带信息相关性的系数选取策略,以及基于区域的融合策略,这种融合策略通过对多尺度分解系数求取基于区域的某种信息显著性指标,然后根据该指标结果按一定的规则确定多尺度分解系数的融合权重。另外,还存在基于多尺度区域分割等其他形式的融合策略,首先通过多尺度分割获得两幅待融合图像共用的图像多尺度区域,然后对每一区域计算信息显著性及区域相似度,通过制定相应的规则来完成分割区域内系数的选取或融合权重的确定。但是红外和可见光图像由于成像波段特性存在很大差异,两种信息在融合时容易形成相互干扰。现有的图像融合技术并未针对这种干扰有相应的融合策略,因此需要对此针对性地设计融合策略,使融合图像获得更好的视觉效果,便于人眼观察。
发明内容
有鉴于此,本发明提供了一种基于多尺度对比度的红外与可见光图像融合方法,能够基于计算得到的多尺度对比度,根据各尺度分解细节范围的不同,分别确定各层尺度信息中红外图像和可见光图像的融合权重,设计相应的多尺度信息的融合策略,使红外与可见光融合图像具有更好的视觉效果。
本发明的技术方案为:
步骤4:对各尺度滤波图像进行加权融合,得到最终的融合图像IF:
其中为第N次连续高斯滤波后得到的红外图像,为第N次连续高斯滤波后得到的可见光图像,其中为第i次连续高斯滤波后得到的红外图像,为第i次连续高斯滤波后得到的可见光图像,为第i+1次连续高斯滤波后得到的红外图像,为第i+1次连续高斯滤波后得到的可见光图像。
其中CSF(·)为基于人类视觉的对比敏感度函数。
其中,连续高斯滤波次数N=4,高斯滤波函数初始标准差为2。
有益效果:
本发明基于多尺度对比度设计相应的红外与可见光多尺度分解信息融合策略,根据各尺度分解细节范围的不同,分别确定各层尺度信息中红外图像的融合权重,将红外与可见光图像信息更加合理有效地融合在一起,降低相互干扰;
本发明结合表征人类视觉特性的对比敏感度函数,提取具有视觉敏感性的多尺度对比度,突出视觉敏感性信息,使融合图像具有更好的视觉效果,能够增强观察者对场景的感知和重要目标的快速识别能力;
本发明在结合表征人类视觉特性的对比敏感度函数的同时,考虑了视觉对比度掩盖效应,有效利用视觉敏感性特征来指导融合过程,使融合图像的视觉效果进一步增强。
附图说明
图1为基于Mannos-Skarison函数形式的CSF频率响应曲线。
图2为本发明融合方法的流程图。
图3为红外图像、可见光图像和不同方法获得的红外和可见光图像的融合图像比较图。其中,(a)为红外图像,(b)为可见光图像,(c)为LAP方法获得的红外和可见光图像的融合图像,(d)为ROLP方法获得的红外和可见光图像的融合图像,(e)DT-CWT方法获得的红外和可见光图像的融合图像,(f)本发明方法获得的红外和可见光图像的融合图像。
具体实施方式
下面结合附图并举实施例,对本发明进行详细描述。
本发明提供了一种基于多尺度对比度的红外与可见光图像融合方法,能够基于计算得到的多尺度对比度,根据各尺度分解细节范围的不同,分别确定各层尺度信息中红外图像的融合权重,设计相应的多尺度信息的融合策略。
基于此,本实施例的具体方案为:
假设输入的红外与可见光图像分别为Ir和Iv,具有视觉敏感性的多尺度对比度计算步骤为:
步骤1:对Ir和Iv分别进行N次连续高斯滤波,得到红外与可见光多尺度滤波图像:
其中,σi+1=2σi,i=0,1,…,N-1,I0 r=Ir,I0 v=Iv,表示标准偏差为σi的高斯函数,“*”表示卷积运算符号,本实施例中,连续高斯滤波次数N=4,高斯滤波函数初始标准差σ0=2;
考虑到人类视觉对比敏感度函数的作用,本实施例基于人类视觉的对比敏感度函数(CSF),使红外与可见光融合图像具有更好的视觉效果,便于人眼观察。对人类视觉系统的研究表明,人眼只对一定空间频率的视觉信号刺激较为敏感。对于空间频率太高的信号,人类视觉很难敏感到有效信息;对于空间频率太低的信号刺激,人眼的视觉敏感性也较为迟钝。为了更好地模拟人类视觉系统的这一特性,学者们提出利用对比敏感度函数(CSF)来刻画通常情况下人类视觉对不同空间频率信号的响应和抑制情况。以r表示信号的空间频率,Θ(r)表示对应空间频率的敏感度,几种常用的CSF形式为:
1.Mannos-Skarison函数
2.Daly函数
3.Ahumada函数
上述Mannos-Skarison函数、Daly函数和Ahumada函数在空间频率响应上都具有带通特性。图1显示了基于Mannos-Skarison函数形式的CSF曲线形状。
CSF滤波过程为:用F(u,v)表示给定图像I(x,y)的傅里叶变换,首先基于CSF对图像I(x,y)进行频率域滤波:其中,Θ(r)为CSF函数,表示图像空间频率;然后对进行傅里叶反变换即可得到CSF滤波后的图像从而提取出空间频率上视觉对比敏感的图像信息。CSF滤波过程用公式简单表示为:
其中,CSF(·)表示进行CSF滤波,由于经过了CSF滤波处理,能够提取出更符合人类视觉特性的对比度信息。和分别为将红外和可见光图像各自相邻尺度图像相减得到各尺度分解细节:红外图像的各尺度分解细节可见光图像的各尺度分解细节
其中,参数的取值分别为k=h=1,p=4.4,q=2,Z=0.001。
(1)当i=0时,即在最顶层,为了能够充分融合进红外和可见光图像的最精细尺度纹理信息,直接利用对应的视觉敏感性对比度进行融合信息的选取,从红外和可见光图像中选取视觉敏感性最高的纹理细节信息,红外图像的融合权重计算式为:
(2)当1≤i≤N-1时,即对于第1层到第N-1层,由于红外图像信息主要集中在该尺度范围内,为了使其更好地融合于可见光图像,采用一种红外信息注入的方式计算该尺度范围内的融合权重,具体方法如下:
首先根据下式计算得到
然后,对Ri按下式进行归一化:
式中,max{Ri}表示图像平面空间内所有Ri的最大值;
最后,进行如下的非线性变换,实现红外信息注入的融合权重,红外图像的融合权重计算式为:
其中,“*”表示卷积运算符号,高斯函数gσc用来对Sλ(Pi)进行平滑处理,本实施例中取σc=2;非线性变换函数Sλ(Pi)定义为:Sλ(Pi)=arctan(λPi)/arctan(λ),其中,λ为红外信息注入系数,作用是增加红外信息注入时低对比度信息的显著程度,本实施例中λ=50。
步骤4:根据视觉敏感性对比度确定各尺度红外图像的融合权重后,对红外与可见光各尺度信息进行加权融合,得到最终的融合图像IF:
图2为本发明的具体流程图。图3为本发明技术的图像融合结果及与其它融合方法的比较图,其中,图(a)为红外图像,图(b)为可见光图像,图(c)、(d)、(e)和(f)分别为LAP方法、ROLP方法、DT-CWT方法和本发明方法的融合结果。从图3中可以看出,由于充分利用了符合人类视觉特性的对比敏感度信息,本发明技术将视觉上较为敏感的可见光背景信息和显著的红外目标信息都很好地融合进同一幅图像。与其它方法得到的融合图像相比,本发明技术得到的融合图像中的信息在视觉上要更为显著。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于多尺度对比度的红外与可见光图像融合方法,其特征在于,包括如下步骤:
步骤4:对各尺度滤波图像进行加权融合,得到最终的融合图像IF:
其中为第N次连续高斯滤波后得到的红外图像,为第N次连续高斯滤波后得到的可见光图像,其中为第i次连续高斯滤波后得到的红外图像,为第i次连续高斯滤波后得到的可见光图像,为第i+1次连续高斯滤波后得到的红外图像,为第i+1次连续高斯滤波后得到的可见光图像;
3.如权利要求1所述的一种基于多尺度对比度的红外与可见光图像融合方法,其特征在于,连续高斯滤波次数N=4,高斯滤波函数初始标准差为2。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710266888.7A CN107169944B (zh) | 2017-04-21 | 2017-04-21 | 一种基于多尺度对比度的红外与可见光图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710266888.7A CN107169944B (zh) | 2017-04-21 | 2017-04-21 | 一种基于多尺度对比度的红外与可见光图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107169944A CN107169944A (zh) | 2017-09-15 |
CN107169944B true CN107169944B (zh) | 2020-09-04 |
Family
ID=59813882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710266888.7A Active CN107169944B (zh) | 2017-04-21 | 2017-04-21 | 一种基于多尺度对比度的红外与可见光图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107169944B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109376750A (zh) * | 2018-06-15 | 2019-02-22 | 武汉大学 | 一种融合中波红外与可见光的遥感影像分类方法 |
CN109118466B (zh) * | 2018-08-29 | 2021-08-03 | 电子科技大学 | 一种红外图像与可见光图像融合的处理方法 |
CN110956592B (zh) * | 2019-11-14 | 2023-07-04 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备和存储介质 |
CN111062905B (zh) * | 2019-12-17 | 2022-01-04 | 大连理工大学 | 一种基于显著图增强的红外和可见光融合方法 |
CN111345971B (zh) * | 2020-03-14 | 2022-03-08 | 北京工业大学 | 一种基于导纳模型的踝康复机器人多模式柔顺训练方法 |
CN112419212B (zh) * | 2020-10-15 | 2024-05-17 | 卡乐微视科技(云南)有限公司 | 一种基于侧窗引导滤波的红外与可见光图像融合方法 |
CN112132753B (zh) * | 2020-11-06 | 2022-04-05 | 湖南大学 | 多尺度结构引导图像的红外图像超分辨率方法及系统 |
CN112802060B (zh) * | 2021-01-29 | 2023-06-30 | 中山大学 | 一种单目标跟踪方法和装置 |
CN114897751A (zh) * | 2022-04-12 | 2022-08-12 | 北京理工大学 | 基于多尺度结构分解的红外和可见光图像感知融合方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102800070B (zh) * | 2012-06-19 | 2014-09-03 | 南京大学 | 基于区域和人眼对比敏感特性的异源图像融合方法 |
CN102881010B (zh) * | 2012-08-28 | 2015-03-11 | 北京理工大学 | 基于人眼视觉特性的融合图像感知清晰度评价方法 |
CN104616261B (zh) * | 2015-02-09 | 2017-10-27 | 内蒙古科技大学 | 一种基于光谱特性的Shearlet域多光谱与全色图像融合方法 |
CN104809734B (zh) * | 2015-05-11 | 2018-07-27 | 中国人民解放军总装备部军械技术研究所 | 一种基于引导滤波的红外图像与可见光图像融合的方法 |
CN106600572A (zh) * | 2016-12-12 | 2017-04-26 | 长春理工大学 | 一种自适应的低照度可见光图像和红外图像融合方法 |
-
2017
- 2017-04-21 CN CN201710266888.7A patent/CN107169944B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN107169944A (zh) | 2017-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107169944B (zh) | 一种基于多尺度对比度的红外与可见光图像融合方法 | |
Zhang et al. | A categorization of multiscale-decomposition-based image fusion schemes with a performance study for a digital camera application | |
Bavirisetti et al. | Multi-sensor image fusion based on fourth order partial differential equations | |
Zhou et al. | Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters | |
CN106846289B (zh) | 一种红外光强与偏振图像融合方法 | |
CN111079556A (zh) | 一种多时相无人机视频图像变化区域检测及分类方法 | |
CN108710910A (zh) | 一种基于卷积神经网络的目标识别方法及系统 | |
Omar et al. | Image fusion: An overview | |
He et al. | Infrared and visible image fusion based on target extraction in the nonsubsampled contourlet transform domain | |
CN112581379A (zh) | 图像增强方法以及装置 | |
CN113298147B (zh) | 基于区域能量和直觉模糊集的图像融合方法及装置 | |
CN114120176A (zh) | 远红外与可见光视频图像融合的行为分析方法 | |
CN102800070A (zh) | 基于区域和人眼对比敏感特性的异源图像融合方法 | |
CN114612359A (zh) | 基于特征提取的可见光与红外图像融合方法 | |
Asmare et al. | Image Enhancement by Fusion in Contourlet Transform. | |
Guo et al. | Infrared and visible image fusion based on saliency and fast guided filtering | |
Jia et al. | Research on the decomposition and fusion method for the infrared and visible images based on the guided image filtering and Gaussian filter | |
Nercessian et al. | Multiresolution decomposition schemes using the parameterized logarithmic image processing model with application to image fusion | |
Liu et al. | Multi-scale saliency measure and orthogonal space for visible and infrared image fusion | |
Lyasheva et al. | Edge detection in images using energy characteristics | |
Yang et al. | Infrared and visible image fusion based on QNSCT and Guided Filter | |
Gao et al. | Infrared and visible image fusion using dual-tree complex wavelet transform and convolutional sparse representation | |
Patel et al. | Comparative study on multi-focus image fusion techniques in dynamic scene | |
CN116883303A (zh) | 基于特征差分补偿与融合的红外与可见光图像融合方法 | |
Zhang et al. | Region-of-interest extraction based on spectrum saliency analysis and coherence-enhancing diffusion model in remote sensing images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |