CN110110786B - 一种基于nsct与dwt的红外与可见光图像融合方法 - Google Patents

一种基于nsct与dwt的红外与可见光图像融合方法 Download PDF

Info

Publication number
CN110110786B
CN110110786B CN201910371179.4A CN201910371179A CN110110786B CN 110110786 B CN110110786 B CN 110110786B CN 201910371179 A CN201910371179 A CN 201910371179A CN 110110786 B CN110110786 B CN 110110786B
Authority
CN
China
Prior art keywords
image
infrared
low
visible light
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910371179.4A
Other languages
English (en)
Other versions
CN110110786A (zh
Inventor
傅志中
许埕秸
李晓峰
李爽
周宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910371179.4A priority Critical patent/CN110110786B/zh
Publication of CN110110786A publication Critical patent/CN110110786A/zh
Application granted granted Critical
Publication of CN110110786B publication Critical patent/CN110110786B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域，具体提供一种基于NSCT与DWT的红外与可见光图像融合方法，主要解决非下采样轮廓波变换在红外与可见光融合中对低频信息提取不足的问题。本发明首先，对红外与可见光图像分别进行鲁棒性主成分分析得到各自的稀疏矩阵；对红外与可见光图像分别进行非下采样Contourlet变换，得到各自的高、低频子带图像；分别对低频子带图像进行小波变换，得到各自的低频变动图像以及低频平缓图像；利用稀疏矩阵分别对低频变动图像、低频平缓图像以及高频子带图像进行融合；再对低频变动图像和低频平缓图像进行小波逆变换得到融合后的低频子带图像，对融合后的高低频子带图像进行非下采样Contourlet逆变换得到融合图像。

Description

一种基于NSCT与DWT的红外与可见光图像融合方法
技术领域
本发明属于图像处理技术领域，涉及红外与可见光图像的融合处理，具体为一种基于NSCT与DWT的红外与可见光图像融合方法。
背景技术
可见光成像传感器对成像目标及场景的反射较为敏感，获取到的图像一般比较清晰，能够获取目标场景更多的细节信息，但却容易受到外界干扰因素的影响，如光照，遮挡和天气等。红外光成像传感器则主要依靠目标与背景之间的热辐射差异来识别目标，不容易被外界因素干扰，但却无法很好的表示场景的亮度变化。为了更加准确的识别目标，对红外光与可见光图像进行融合，令融合图像兼具两者优点，所以红外与可见光的融合在许多领域内都有着重要应用。
基于离散小波变换的红外与可见光图像融合方法可以很好的表达图像中的奇异点，但却不具备平移不变性，且小波分解仅能在三个方向上获得有限的高频细节信息，无法有效的表达图像轮廓中的边缘，线奇异或者面奇异等特征；如文献“G.Pajares,J.M.De LaCruz.A Wavelet-Based Image Fustion Tutorial[J].Pattern Recogonition,2004,37(9):1855-1872”。而基于非下采样Contourlet变换的红外与可见光图像融合方法正好能克服小波不具备平移不变性的缺陷，且由于分解模型的差异，该方法可以有效的表达纹理区域的图像边缘、轮廓、方向和各向异性，然而，该方法却很难表达出图像的奇异点；如文献“E.Candès,L.Deman et,D.Donoho.Fast discrete curvelet transforms[J].MultiscaleModeling&Simulation,2006,5(3):861-899”。
发明内容
本发明的目的在于：针对非下采样Contourlet变换图像融合方法对低频信息提取不足的问题，提供一种基于NSCT与DWT的红外与可见光图像融合方法；本发明结合非下采样Contourlet变换，鲁棒性主成分分析与离散小波变换的图像方法对红外与可见光进行融合，能够结合两种变换的优点，稳定的对红外与可见光图像进行融合。
为实现上述目的，本发明采用的技术方案如下：
一种基于NSCT与DWT的红外与可见光图像融合方法，包括以下步骤：
步骤1：对输入的红外图像IR与可见光图像VI进行鲁棒性主成分分析,并将结果归一化到[0,1]区间，分别得到红外图像与可见光图像的稀疏矩阵SIR1和SVI1，并对稀疏矩阵SIR1和SVI1分别进行下采样得到矩阵SIR2和SVI2；
步骤2：对输入的红外图像IR与可见光图像VI进行非下采样Contourlet变换(NSCT)，得到红外图像与可见光图像的低频子带
Figure BDA0002050010310000021
以及对应的高频子带
Figure BDA0002050010310000022
Figure BDA0002050010310000023
k≥1；
步骤3：对非下采样Contourlet变换得到的低频子带图像进行离散小波变换(DWT)，得到红外图像IR与可见光图像VI的低频平缓图像
Figure BDA0002050010310000024
得到红外图像与可见光图像的低频变动图像
Figure BDA0002050010310000025
步骤4：红外图像IR与可见光图像VI的低频平缓图像融合：
Figure BDA0002050010310000026
步骤5：红外图像IR与可见光图像VI的低频变动图像融合：
当
Figure BDA0002050010310000027
或者SVI2(m,n)-SIR2(m,n)＞T1时，
Figure BDA0002050010310000028
其中，T1为预设阈值；其他情况下：
Figure BDA0002050010310000029
步骤6：利用离散小波逆变换对融合图像的低频平缓图像
Figure BDA00020500103100000210
与低频变动图像
Figure BDA00020500103100000211
进行重构，得到融合图像低频子带图像
Figure BDA00020500103100000212
步骤7：红外图像IR与可见光图像VI的高频子带图像融合：
当
Figure BDA00020500103100000213
或者SVI1(m,n)-SIR1(m,n)＞T2时，
Figure BDA00020500103100000214
其中，T2为预设阈值；其他情况下：
Figure BDA00020500103100000215
步骤8：利用非下采样Contourlet逆变换重构低频子带图像
Figure BDA00020500103100000216
与高频子带图像
Figure BDA00020500103100000217
得到融合图像。
进一步的，所述步骤2中，非下采样Contourlet变换的参数为：拉普拉斯尺度滤波器为“pyrexc”，方向滤波器为“cd”，分解层次为{2,3,3,4}。
进一步的，所述步骤3中，离散小波变换采用Haar小波变换，其分解层数为一层。
进一步的，所述步骤5中，预设阈值T1的取值范围为[0,0.3]。
进一步的，所述步骤7中，预设阈值T2的取值范围为[0,0.3]。
综上所述，由于采用了上述技术方案，本发明的有益效果是：解决了非下采样Contourlet变换融合方法在红外与可见光融合中对低频信息提取不足的问题，利用两种融合方法性能互补的特点，提高了融合方法的性能，更好的突出了融合图像中的目标信息。
附图说明
图1为本发明一种基于NSCT与DWT的红外与可见光图像融合方法的流程示意图。
图2为本发明实施例中红外图像，其图像宽度为360，高度为270。
图3为本发明实施例中可见光图像，其图像宽度为360，高度为270。
图4为本发明实施例中基于本发明的融合方法得到的融合图像示例。
具体实施方式
为使本发明的目的、方案和优点更加清楚，下面结合附图和实施例对本发明做进一步的详细描述。
本实施例提供一种基于NSCT与DWT的红外与可见光图像融合方法，其流程如图1所示，具体包括以下步骤：
步骤1：对输入的红外图像IR与可见光图像VI进行鲁棒性主成分分析；
步骤2：对输入的红外图像IR与可见光图像VI进行非下采样Contourlet变换(NSCT)；
步骤3：对非下采样Contourlet变换得到的低频子带图像进行离散小波变换(DWT)；
步骤4：红外图像IR与可见光图像VI的低频平缓图像融合；
步骤5：红外图像IR与可见光图像VI的低频变动图像融合；
步骤6：利用离散小波逆变换方法重构低频平缓图像与低频变动图像，得到融合图像的低频子带图像；
步骤7：红外图像IR与可见光图像VI的高频子带图像融合；
步骤8：利用非下采样Contourlet逆变换重构低频子带图像与高频子带图像，得到融合图像。
其中，步骤1、2可并行执行，步骤4、5可并行执行，步骤1到8的具体实现过程如下：
1)读取红外图像IR，如图2所示，图像尺寸为360×270；
2)读取可见光图像VI，如图3所示，图像尺寸为360×270；
3)将红外图像IR与可见光图像VI的图像矩阵转换成列向量MIR和MVI，列向量的大小为97200×1；
4)对列向量MIR和MVI进行鲁棒性主成分分析，并将结果归一化到[0,1]区间，其中，鲁棒性主成分分析中的参数λ＝q/(360*270)1/2、q＝1.5，分别得到红外图像与可见光图像的稀疏矩阵SIR1和SVI1，其大小为360×270；
5)对红外图像与可见光图像的稀疏矩阵SIR1和SVI1进行下采样得到矩阵SIR2和SVI2，其大小为180×135；
6)对红外图像IR与可见光图像VI分别进行非下采样Contourlet变换，具体参数选择拉普拉斯尺度滤波器为“pyrexc”，方向滤波器为“cd”，分解层次为{2,3,3,4}；得到红外图像与可见光图像的低频子带
Figure BDA0002050010310000041
以及对应的高频子带
Figure BDA0002050010310000042
其中k≥1，
Figure BDA0002050010310000043
与
Figure BDA0002050010310000044
分别表示红外光图像与可见光图像第j层k方向上的高频子带，其中，子带图像的大小均为360×270；
7)对低频子带
Figure BDA0002050010310000045
进行离散小波变换，得到红外图像与可见光图像的低频平缓图像
Figure BDA0002050010310000046
得到红外图像与可见光图像的低频变动图像
Figure BDA0002050010310000047
Figure BDA0002050010310000048
k≥1，这里仅对低频分量做一级小波变换处理，小波变换采用Haar小波变换，其中，子带图像的大小均为180×135；
8)对低频平缓图像
Figure BDA0002050010310000049
进行融合，通过以下方式获得融合图像的低频平缓图像：
Figure BDA00020500103100000410
9)对低频变动图像
Figure BDA00020500103100000411
进行融合，k≥1，通过以下方式获得融合图像的低频变动图像：
当
Figure BDA0002050010310000051
或者SVI2(m,n)-SIR2(m,n)＞T1时，
Figure BDA0002050010310000052
其中，T1取0.2；其他情况下：
Figure BDA0002050010310000053
10)利用离散小波逆变换对融合图像的低频平缓图像
Figure BDA0002050010310000054
与低频变动图像
Figure BDA0002050010310000055
进行重构；得到融合图像低频子带图像
Figure BDA0002050010310000056
其大小为360×270；
11)对红外图像与可见光图像的高频子带
Figure BDA0002050010310000057
进行融合，通过以下方式得到融合图像的高频子带
Figure BDA0002050010310000058
当
Figure BDA0002050010310000059
或者SVI1(m,n)-SIR1(m,n)＞T2时，
Figure BDA00020500103100000510
其中，T2取-0.2；其他情况下：
Figure BDA00020500103100000511
12)利用非下采样Contourlet逆变换对融合图像的低频子带图像
Figure BDA00020500103100000512
和高频子带图像
Figure BDA00020500103100000513
进行重构，得到融合图像，如图4所示，具有良好的融合效果。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (5)

1.一种基于NSCT与DWT的红外与可见光图像融合方法，包括以下步骤：
步骤1：对输入的红外图像IR与可见光图像VI进行鲁棒性主成分分析,并将结果归一化到[0,1]区间，分别得到红外图像与可见光图像的稀疏矩阵SIR1和SVI1，并对稀疏矩阵SIR1和SVI1分别进行下采样得到矩阵SIR2和SVI2；
步骤2：对输入的红外图像IR与可见光图像VI进行非下采样Contourlet变换(NSCT)，得到红外图像与可见光图像的低频子带
Figure FDA0002050010300000011
以及对应的高频子带
Figure FDA0002050010300000012
Figure FDA0002050010300000013
步骤3：对非下采样Contourlet变换得到的低频子带图像进行离散小波变换(DWT)，得到红外图像IR与可见光图像VI的低频平缓图像
Figure FDA0002050010300000014
得到红外图像与可见光图像的低频变动图像
Figure FDA0002050010300000015
步骤4：红外图像IR与可见光图像VI的低频平缓图像融合：
Figure FDA0002050010300000016
步骤5：红外图像IR与可见光图像VI的低频变动图像融合：
当
Figure FDA0002050010300000017
或者SVI2(m,n)-SIR2(m,n)＞T1时，
Figure FDA0002050010300000018
其中，T1为预设阈值；其他情况下：
Figure FDA0002050010300000019
步骤6：利用离散小波逆变换对融合图像的低频平缓图像
Figure FDA00020500103000000110
与低频变动图像
Figure FDA00020500103000000111
进行重构，得到融合图像低频子带图像
Figure FDA00020500103000000112
步骤7：红外图像IR与可见光图像VI的高频子带图像融合：
当
Figure FDA00020500103000000113
或者SVI1(m,n)-SIR1(m,n)＞T2时，
Figure FDA00020500103000000114
其中，T2为预设阈值；其他情况下：
Figure FDA00020500103000000115
步骤8：利用非下采样Contourlet逆变换重构低频子带图像
Figure FDA00020500103000000116
与高频子带图像
Figure FDA00020500103000000117
得到融合图像。
2.按权利要求1所述基于NSCT与DWT的红外与可见光图像融合方法，其特征在于，所述步骤2中，非下采样Contourlet变换的参数为：拉普拉斯尺度滤波器为“pyrexc”，方向滤波器为“cd”，分解层次为{2,3,3,4}。
3.按权利要求1所述基于NSCT与DWT的红外与可见光图像融合方法，其特征在于，所述步骤3中，离散小波变换采用Haar小波变换，其分解层数为一层。
4.按权利要求1所述基于NSCT与DWT的红外与可见光图像融合方法，其特征在于，所述步骤5中，预设阈值T1的取值范围为[0,0.3]。
5.按权利要求1所述基于NSCT与DWT的红外与可见光图像融合方法，其特征在于，所述步骤7中，预设阈值T2的取值范围为[-0.3,0]。
CN201910371179.4A 2019-05-06 2019-05-06 一种基于nsct与dwt的红外与可见光图像融合方法 Active CN110110786B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910371179.4A CN110110786B (zh) 2019-05-06 2019-05-06 一种基于nsct与dwt的红外与可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910371179.4A CN110110786B (zh) 2019-05-06 2019-05-06 一种基于nsct与dwt的红外与可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN110110786A CN110110786A (zh) 2019-08-09
CN110110786B true CN110110786B (zh) 2023-04-14

Family

ID=67488240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910371179.4A Active CN110110786B (zh) 2019-05-06 2019-05-06 一种基于nsct与dwt的红外与可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN110110786B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402180B (zh) * 2020-03-12 2023-05-09 西安邮电大学 一种nsct域的基于fbiem与iscm的图像融合方法
CN111462065B (zh) * 2020-03-27 2023-06-27 浙江杜比医疗科技有限公司 超声、红外序列图像融合的乳腺癌检测方法及其系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451984A (zh) * 2017-07-27 2017-12-08 桂林电子科技大学 一种基于混合多尺度分析的红外与可见光图像融合算法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976346B (zh) * 2016-04-28 2018-10-16 电子科技大学 基于鲁棒主成分稀疏分解的红外与可见光图像融合方法
JP6753798B2 (ja) * 2017-02-21 2020-09-09 株式会社日立製作所 医用撮像装置、画像処理方法及びプログラム
CN107230196B (zh) * 2017-04-17 2020-08-28 江南大学 基于非下采样轮廓波和目标可信度的红外与可见光图像融合方法
CN109308691A (zh) * 2017-07-28 2019-02-05 南京理工大学 基于图像增强与nsct的红外和可见光图像融合方法
CN107730482B (zh) * 2017-09-28 2021-07-06 电子科技大学 一种基于区域能量和方差的稀疏融合方法
CN107909112B (zh) * 2017-11-27 2020-08-18 中北大学 一种红外光强与偏振图像多类变元组合的融合方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451984A (zh) * 2017-07-27 2017-12-08 桂林电子科技大学 一种基于混合多尺度分析的红外与可见光图像融合算法

Also Published As

Publication number Publication date
CN110110786A (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
CN107451984B (zh) 一种基于混合多尺度分析的红外与可见光图像融合算法
Bhat et al. Multi-focus image fusion techniques: a survey
CN109272010B (zh) 基于卷积神经网络的多尺度遥感图像融合方法
Shahdoosti et al. Image denoising using sparse representation classification and non-subsampled shearlet transform
Bhandari et al. Dark satellite image enhancement using knee transfer function and gamma correction based on DWT–SVD
CN110110786B (zh) 一种基于nsct与dwt的红外与可见光图像融合方法
CN109509163B (zh) 一种基于fgf的多聚焦图像融合方法及系统
Yadav et al. A review on image fusion methodologies and applications
Lepcha et al. A deep journey into image enhancement: A survey of current and emerging trends
CN111126431A (zh) 一种基于模板匹配的海量电力缺陷照片快速筛选方法
Suryanarayana et al. Infrared super-resolution imaging using multi-scale saliency and deep wavelet residuals
Adu et al. Image fusion based on visual salient features and the cross-contrast
Cai et al. Infrared and visible image fusion based on BEMSD and improved fuzzy set
Patel et al. A review on infrared and visible image fusion techniques
Jindal et al. Applicability of fractional transforms in image processing-review, technical challenges and future trends
CN110400270B (zh) 一种利用图像分解和多重校正融合的车牌去雾方法
Wu et al. Research on crack detection algorithm of asphalt pavement
Pai et al. Medical color image enhancement using wavelet transform and contrast stretching technique
CN115731172A (zh) 基于图像增强和纹理提取的裂缝检测方法、装置及介质
TWI460667B (zh) 模糊指紋影像重建方法
Singh et al. Frn: fusion and recalibration network for low-light image enhancement
Zhang et al. Infrared polarization and intensity image fusion algorithm based on the feature transfer
Khidse et al. Implementation and comparison of image enhancement techniques
CN112927151B (zh) 一种基于边缘增强和卷积神经网络的图像去噪方法
Jagtap et al. Reliable and robust low rank representation based noisy images multi-focus image fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant