CN112017139B - 一种红外与可见光图像感知融合方法 - Google Patents
一种红外与可见光图像感知融合方法 Download PDFInfo
- Publication number
- CN112017139B CN112017139B CN202010960438.XA CN202010960438A CN112017139B CN 112017139 B CN112017139 B CN 112017139B CN 202010960438 A CN202010960438 A CN 202010960438A CN 112017139 B CN112017139 B CN 112017139B
- Authority
- CN
- China
- Prior art keywords
- image
- frequency
- infrared
- fusion
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 12
- 230000008447 perception Effects 0.000 title claims abstract description 8
- 230000004927 fusion Effects 0.000 claims abstract description 41
- 230000009466 transformation Effects 0.000 claims abstract description 18
- 230000002146 bilateral effect Effects 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims abstract description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000002329 infrared spectrum Methods 0.000 claims description 8
- 230000005284 excitation Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 210000002364 input neuron Anatomy 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 2
- 238000006243 chemical reaction Methods 0.000 claims 1
- 230000008878 coupling Effects 0.000 claims 1
- 238000010168 coupling process Methods 0.000 claims 1
- 238000005859 coupling reaction Methods 0.000 claims 1
- 238000012886 linear function Methods 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000003044 adaptive effect Effects 0.000 abstract 1
- 238000005070 sampling Methods 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
Description
技术领域
本发明涉及图像融合技术领域,具体涉及一种红外与可见光图像感知融合方法。
背景技术
在多传感器信息融合应用中红外与可见光图像融合是一项重要的技术。由于红外传感器能够捕获物体发出的热辐射,可以更清晰地检测出弱光克服一些障碍并且昼夜工作。可见光传感器在可见光谱中提供描述场景的更多细节,呈现出与人类视觉一致的自然强度和对比度。将红外和可见光图像信息整合到单幅图像中,不仅可以构建出更完整的图像以准确描述场景,而且有益于后续的应用比如目标检测等。
目前的红外与可见光图像融合方法主要分为两大类:变换域算法融合和空间域算法融合。本专利研究的主要是变换域算法融合。变换域算法融合的基本步骤如下:首先将源图像变换成特定的子图像,然后利用融合规则对子图像进行变换处理,最后利用逆变换得到融合图像。由于红外与可见光图像呈现的是同一场景下的不同内容信息,通过变换域算法进行处理融合,通常能够获得较好的融合成像效果。
发明内容
本发明所要解决的问题是提供一种红外与可见光图像感知融合方法,本方法得到的融合图像可以有效提高红外和可见光图像融合后的细节,并增强红外特征的提取以契合人体的感知视觉。
本发明为解决上述问题所提供的技术方案为:一种红外与可见光图像感知融合方法,其特征在于:所述方法包括以下步骤:
(1)分解源图像:首先将源图像进行严格配准;其次通过非下采样剪切波变换得到高低频图像;
(2)高频图像的融合:首先将高频图像XH(X∈{IR,VIS})当中像素强度的绝对值作为输入神经元激励代入脉冲耦合神经网络;其次利用参数自适应迭代运算得到每次自适应迭代的着火时间;然后将着火时间作为融合选择条件;最后获取融合后的高频图像FH;
(3)低频图像的融合:首先联合使用高斯滤波器和双边滤波器分解低频图像XL(X∈{IR,VIS})得到边缘信息图像和细节信息图像以及残留基础信息图像其次计算边缘信息图像和细节信息图像以及残留基础信息图像每个尺度方向上的显著红外光谱特征;然后将显著红外谱特征归一化后代入非线性函数;最后利用高斯函数与非线性函数卷积计算权重参数得到融合后的低频图像FL;
(4)重构源图像:通过融合后的高频图像FH和低频图像FL经过非下采样剪切波逆变换重构源图像。
此外,本发明的技术方案另外一种方案表述为:一种红外与可见光图像融合方法,所述方法包括以下步骤:假定红外图像为A,可见光图像为B。
Step1:基于NSST红外和可见光图像分解:利用NSST分别对红外图像A和可见光图像B分解得到红外图像的高频分量AH与低频分量AL和可见光图像的高频分量BH与低频分量BL。
Step2:高频分量变换融合:利用参数自适应融合脉冲耦合神经网络(PA-PCNN)对红外图像的高频分量AH和可见光图像的高频分量BH进行融合变换得到高频分量FH。
Step3:低频分量变换融合:通过联合重复使用高斯滤波器和双边滤波器多尺度变换对红外图像的低频分量AL和可见光图像的低频分量BL进行多尺度变换融合得到低频分量FL。
Step4:高低频分量融合:高频分量FH与低频分量FL进行NSST反变换得到融合图像F。
与现有的技术相比,本发明的有点是:本发明提出了一种新的红外与可见光图像融合方法,在该方法中我们首先选取NSST变换将源图像分解,获得高低频分量;其次高频分量的融合采用参数自适应融合脉冲耦合神经网络(PA-PCNN)融合,以提高成像细节;而低频分量的融合通过联合使用高斯滤波器和双边滤波器进行多尺度变换融合,将低频分量分解为多尺度纹理细节和边缘特征,捕获更多的多尺度红外光谱特征;最后对分别处理后的高低频分量经过NSST逆变换获取融合图像。该方法得到的融合图像能充分将源图像细节信息融合,背景和目标信息更加丰富,是一种切实可行的红外和可见光融合方法。
附图说明
此处所说明的附图用于提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1为本发明的融合算法基本框图。
图2为本发明的简易PA-PCNN模型结构图。
附图标注:A:红外图像,B:可见光图像,AH:红外图像高频分量,AL:红外图像低频分量,BH:可见光图像高频分量,BL:可见光图像低频分量,FH:融合图像高频分量,FL:融合图像低频分量,F:融合图像。Fij[n]/Lij[n]:第n次迭代中(i,j)位置上的神经元的馈入输入和连接输入,Sij:输入的图像。VL:连接输入幅度,Lij[n]:内部激励阀值,Wijkl:突触权重常量,αf:指数衰减系数,β:神经元的连接强度,Yij[n]:着火条件,αe/VE:模型输出高频分量Eij[n]的指数衰减系数/幅度值。
具体实施方式
以下将配合附图及实例来详细说明本说明的实施方式,籍此对本说明如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
一种红外与可见光图像感知融合方法:
Step1:基于NSST分解
利用NSST分别对红外图像A和可见光图像B分解得到红外图像的高频分量AH与低频分量AL和可见光图像的高频分量BH与低频分量BL。
Step2:高频分量融合
(1):将红外图像A可见光图像B经NSST分解后的高频分量以像素强度的绝对值作为激励输入PA-PCNN网络,得到每次自适应迭代的着火条件Yij[n];
Fij[n]=Sij (1)
(2):利用PA-PCNN模型自适应迭代计算着火时间Tij[n];
αf=log(1/σ(S)) (6)
Tij[n]=Tij[n-1]+Yij[n] (10)
(3):把着火时间Tij[n]作为选择条件,得到PA-PCNN处理后的高频分量。
Step3:低频分量融合
(1)对低频分量利用高斯滤波器和双边滤波器进行边缘和细节以及基础层分解;
其中||||表示二范数,||表示绝对值,P表示图像I像素,q为在空间和强度上对P像素有影响的临近像素,σs和σr分别表示在空间和距离上的高斯标准差,分别控制着临近像素q的空间差异和强度差异,Ω表示图像尺寸大小。j表示次数,Wg和Wb分别为高斯滤波器和双边滤波器的参数设置,D(j+1,0)和D(j,1)分别表示去除双边滤波器处理的细节特征图像和附加边缘特征的图像,BS表示为经过上述(12)-(20)处理后残留的基础信息图像。
(2):计算每个尺度方向上的显著红外光谱特征Rj:
(3):将Rj归一化为Pj:
如果Pj(x)>0,在进行分解的尺度水平层数j上,x处有红外光谱信息注入到融合图像当中;
(4):利用高斯函数与非线性函数卷积计算权重参数Cj,实现低频分量的融合。
Sλ(α)=arctan(λα)/arctan(λ) (23)
(5):重构残留基础信息BS;
BS=CbBSA+(1-Cb)BSB (28)
(6):重构低频融合图像;
其中j=N,表示分解的层数,最后通过公式(20)得到融合后的低频分量FL。
Step4:基于NSST逆变换重构融合图像
利用NSST逆变换对融合后的高频分量FH和融合后的低频分量FL进行逆变换得到重构融合图像F。
本发明的有益效果是:本发明提出一种新的红外与可见光图像感知融合方法,在该方法中,我们首先利用NSST域精准分解源图像,其次高频部分采用PA-PCNN的自适应提高成像细节质量,低频部分采用多尺度变换捕获红外光谱信息,最后通过NSST逆变换得到融合图像。该方法得到的融合图像更符合人的视觉感知,并且能运用于图像融合的目标检测中。
以上仅就本发明的最佳实施例作了说明,但不能理解为是对权利要求的限制。本发明不仅局限于以上实施例,其具体结构允许有变化。凡在本发明独立权利要求的保护范围内所作的各种变化均在本发明保护范围内。
Claims (1)
1.一种红外与可见光图像感知融合方法,其特征在于:所述方法包括以下步骤:
(1)分解源图像:首先将源图像进行严格配准;其次通过非下采样剪切波变换得到高低频图像;
(2)高频图像的融合:首先将高频图像当中像素强度的绝对值作为输入神经元激励代
入脉冲耦合神经网络;其次利用参数自适应迭代运算得到每次自适应迭代的着火时间;然
后将着火时间作为融合选择条件;最后获取融合后的高频图像;其中中的;
(3)低频图像的融合:首先联合使用高斯滤波器和双边滤波器分解低频图像得到边
缘信息图像和细节信息图像以及残留基础信息图像;其次计算边缘信息图像和细
节信息图像以及残留基础信息图像每个尺度方向上的显著红外光谱特征;然后将
显著红外谱特征归一化后代入非线性函数;最后利用高斯函数与非线性函数卷积计算权重
参数得到融合后的低频图像;其中中的;
其中基于NSST分解具体为:
其中高频分量融合具体为:
其中低频分量融合具体为:
对低频分量利用高斯滤波器和双边滤波器进行边缘和细节以及基础层分解;
其中表示二范数,表示绝对值,P表示图像I像素,q为在空间和强度上对P像素有
影响的临近像素,和分别表示在空间和距离上的高斯标准差,分别控制着临近像素
q的空间差异和强度差异,表示图像尺寸大小;j表示次数,和分别为高斯滤波
器和双边滤波器的参数设置,和分别表示去除双边滤波器处理的细节特征
图像和附加边缘特征的图像,BS表示为经过上述(12)-(20)处理后残留的基础信息图像;
:重构残留基础信息BS;
:重构低频融合图像;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010960438.XA CN112017139B (zh) | 2020-09-14 | 2020-09-14 | 一种红外与可见光图像感知融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010960438.XA CN112017139B (zh) | 2020-09-14 | 2020-09-14 | 一种红外与可见光图像感知融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112017139A CN112017139A (zh) | 2020-12-01 |
CN112017139B true CN112017139B (zh) | 2023-04-07 |
Family
ID=73521968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010960438.XA Active CN112017139B (zh) | 2020-09-14 | 2020-09-14 | 一种红外与可见光图像感知融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112017139B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113421200A (zh) * | 2021-06-23 | 2021-09-21 | 中国矿业大学(北京) | 基于多尺度变换与脉冲耦合神经网络的图像融合方法 |
CN113269704B (zh) * | 2021-06-29 | 2022-07-29 | 南昌航空大学 | 一种红外与可见光图像融合方法 |
CN115797244A (zh) * | 2023-02-07 | 2023-03-14 | 中国科学院长春光学精密机械与物理研究所 | 基于多尺度方向共现滤波器与强度传递的图像融合方法 |
CN115866155B (zh) * | 2023-02-27 | 2023-05-16 | 中铁电气化局集团有限公司 | 一种使用融合算法处理高铁检修数据的方法及装置 |
CN116403057B (zh) * | 2023-06-09 | 2023-08-18 | 山东瑞盈智能科技有限公司 | 一种基于多源图像融合的输电线路巡检方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104200452A (zh) * | 2014-09-05 | 2014-12-10 | 西安电子科技大学 | 基于谱图小波变换的红外与可见光图像融合方法及其装置 |
CN104809734A (zh) * | 2015-05-11 | 2015-07-29 | 中国人民解放军总装备部军械技术研究所 | 一种基于引导滤波的红外图像与可见光图像融合的方法 |
CN108052988A (zh) * | 2018-01-04 | 2018-05-18 | 常州工学院 | 基于小波变换的导向显著性图像融合方法 |
WO2018120936A1 (en) * | 2016-12-27 | 2018-07-05 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for fusing infrared image and visible light image |
CN108389158A (zh) * | 2018-02-12 | 2018-08-10 | 河北大学 | 一种红外和可见光的图像融合方法 |
CN109919884A (zh) * | 2019-01-30 | 2019-06-21 | 西北工业大学 | 基于高斯滤波加权的红外和可见光图像融合方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107886488A (zh) * | 2017-12-04 | 2018-04-06 | 国网山东省电力公司电力科学研究院 | 基于改进pcnn补偿的auv图像融合方法、处理器及系统 |
CN109064437A (zh) * | 2018-07-11 | 2018-12-21 | 中国人民解放军国防科技大学 | 一种基于引导滤波和在线字典学习的图像融合方法 |
CN109035189B (zh) * | 2018-07-17 | 2021-07-23 | 桂林电子科技大学 | 基于柯西模糊函数的红外与弱可见光图像融合方法 |
CN109102485A (zh) * | 2018-09-11 | 2018-12-28 | 中国科学院长春光学精密机械与物理研究所 | 基于nsst和自适应双通道pcnn的图像融合方法及装置 |
CN109801250A (zh) * | 2019-01-10 | 2019-05-24 | 云南大学 | 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法 |
-
2020
- 2020-09-14 CN CN202010960438.XA patent/CN112017139B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104200452A (zh) * | 2014-09-05 | 2014-12-10 | 西安电子科技大学 | 基于谱图小波变换的红外与可见光图像融合方法及其装置 |
CN104809734A (zh) * | 2015-05-11 | 2015-07-29 | 中国人民解放军总装备部军械技术研究所 | 一种基于引导滤波的红外图像与可见光图像融合的方法 |
WO2018120936A1 (en) * | 2016-12-27 | 2018-07-05 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for fusing infrared image and visible light image |
CN108052988A (zh) * | 2018-01-04 | 2018-05-18 | 常州工学院 | 基于小波变换的导向显著性图像融合方法 |
CN108389158A (zh) * | 2018-02-12 | 2018-08-10 | 河北大学 | 一种红外和可见光的图像融合方法 |
CN109919884A (zh) * | 2019-01-30 | 2019-06-21 | 西北工业大学 | 基于高斯滤波加权的红外和可见光图像融合方法 |
Non-Patent Citations (3)
Title |
---|
Discrete Wavelet Transform and Cross Bilateral Filter based Image Fusion;Sonam等;《I.J. Intelligent Systems and Applications》(第1期);第37-45页 * |
基于双边与高斯滤波混合分解的图像融合方法;周志强等;《系统工程与电子技术》;第38卷(第1期);第8-13页 * |
基于红外与可见光的水面目标图像的融合方法研究;孙函宇;《中国优秀硕士学位论文全文数据库 信息科技辑》(第(2019)01期);I138-4547 * |
Also Published As
Publication number | Publication date |
---|---|
CN112017139A (zh) | 2020-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112017139B (zh) | 一种红外与可见光图像感知融合方法 | |
CN111062880B (zh) | 一种基于条件生成对抗网络的水下图像实时增强方法 | |
Bavirisetti et al. | Multi-sensor image fusion based on fourth order partial differential equations | |
Dorothy et al. | Image enhancement by histogram equalization | |
CN114972107B (zh) | 基于多尺度堆叠式注意力网络的低照度图像增强方法 | |
CN105225213B (zh) | 一种基于s‑pcnn与拉普拉斯金字塔的彩色图像融合方法 | |
CN113837974B (zh) | 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法 | |
CN104978724A (zh) | 基于多尺度变换与脉冲耦合神经网络的红外偏振融合方法 | |
CN110060225B (zh) | 一种基于快速有限剪切波变换与稀疏表示的医学图像融合法 | |
He et al. | Color transfer pulse-coupled neural networks for underwater robotic visual systems | |
CN113421200A (zh) | 基于多尺度变换与脉冲耦合神经网络的图像融合方法 | |
Kaur | A review on image enhancement with deep learning approach | |
CN117994146B (zh) | 一种基于非下采样剪切变换的红外和低照度图像融合方法 | |
CN114862710A (zh) | 红外和可见光图像融合方法及装置 | |
CN104616252A (zh) | 基于nsct和pcnn的数字图像增强方法 | |
Trivedi et al. | MOSAICFUSION: Merging modalities with Partial differential equation and Discrete cosine transformation | |
Jia et al. | A wavelet-based approach to improve foggy image clarity | |
Narsaiah et al. | A survey on image fusion Requirements, techniques, evaluation metrics, and its applications | |
Duan et al. | Region-based multi-focus image fusion using guided filtering and greedy analysis | |
CN114708181A (zh) | 图像融合方法、装置、设备和存储介质 | |
CN111652832B (zh) | 一种基于滑动窗口技术的红外与可见光图像融合方法 | |
Panda et al. | Integration of bi-dimensional empirical mode decomposition with two streams deep learning network for infrared and visible image fusion | |
Budhiraja et al. | Infrared and visible image fusion based on sparse representation and spatial frequency in DTCWT domain | |
Chen et al. | GADO-Net: an improved AOD-Net single image dehazing algorithm | |
Qi et al. | Fusion of remote sensing images based on multi-resolution analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |