CN104809714A - 基于多形态稀疏表示的图像融合方法 - Google Patents
基于多形态稀疏表示的图像融合方法 Download PDFInfo
- Publication number
- CN104809714A CN104809714A CN201510212140.XA CN201510212140A CN104809714A CN 104809714 A CN104809714 A CN 104809714A CN 201510212140 A CN201510212140 A CN 201510212140A CN 104809714 A CN104809714 A CN 104809714A
- Authority
- CN
- China
- Prior art keywords
- sparse coefficient
- image
- composition
- alpha
- sparse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于多形态稀疏表示的图像融合方法,其实施步骤如下:(1)利用基于频率调谐的显著性检测方法(Frequency-tuned Salient Region Detection,FT)提取红外图像的边缘成分,并采用Curvelet基对所得红外图像边缘成分进行稀疏表示。(2)由离散小波变换(Discrete Wavelet Transform,DWT)、离散余弦变换(Discrete Cosine Transform,DCT)构成多形态稀疏基,并利用其对可见光图像进行稀疏表示,得到图像光滑成分和纹理成分的稀疏系数。(3)将红外图像边缘成分、可见光图像光滑成分及纹理成分的稀疏系数融合。(4)对融合后的稀疏系数进行逆变换,得到最终的融合图像。本发明在减少图像数据量的同时,较充分地保留了图像的边缘信息和纹理信息,极大地提升了融合图像的质量。
Description
技术领域
本发明涉及图像处理领域,尤其涉及一种基于形态学成分分析原理,利用多形态稀疏基对红外图像和可见光图像分别进行稀疏表示并融合的方法。
背景技术
可见光图像是物体的反射图像,对比度较高,含有丰富的细节信息,适于人眼观察;但在低照度天气条件下,可见光图像容易丢失细节信息,且在目标与背景色度差异较小时,容易丢失目标。而红外图像是物体自身的辐射所产生的图像,受光照条件的影响较小,但红外图像对比度较低,对目标细节的反映能力也比较差,不符合人眼视觉习惯。因此,利用这两种图像所具有的互补特性,将其进行融合,可以实现不同光照条件下的高质量图像输出。
图像融合是指对多源信道所采集的同一目标图像数据进行处理,并最大限度地提取各自信道中的有用信息,最后综合成高质量的图像。
近年来,为在保证图像融合质量的同时减少图像的数据量,基于稀疏表示的图像融合算法得到了广泛的研究与应用。由于红外图像和可见光图像均包含光滑、边缘和纹理三种成分,且这三种成分在两类图像中所占比重不同,单一的基函数无法同时对其进行最优表示,因此非常有必要研究基于多形态稀疏表示的图像融合方法,通过对图像光滑成分、纹理成分和边缘成分更精确的描述,最终得到高质量的融合图像。
发明内容
本发明提供一种基于多形态稀疏表示的图像融合方法,该方法所得融合图像质量较高。本发明借鉴MCA理论,构建了多形态稀疏基,并利用其对可见光图像进行了形态学分离,得到其光滑成分和纹理成分的稀疏系数,然后将红外图像边缘成分的稀疏系数、可见光图像光滑成分以及纹理成分的稀疏系数融合,再对所得到的融合系数进行逆变换,得到最终的融合图像。
本发明采用的技术方案为:基于多形态稀疏表示的图像融合方法,其实施步骤如下:
(1)利用FT算法对红外图像进行显著性检测,获得其边缘成分XE;
为了有效地检测图像边缘,FT算法利用DoG滤波器作为算法的带通滤波器。其中:
其中,σ1和σ2表示高斯标准差,且σ1>σ2。
假设σ1=ρσ,σ2=σ,并将N个窄带的DoG滤波器叠加。即:
对于任意的整数N≥0,标准差的比K=ρN。本文中ρ取经验值1.6。
为获取红外图像的边缘信息,利用FT算法求解图像的显著图S,即:
S(x,y)=|Iμ-Iωhc(x,y)|
上式中Iμ表示图像I的像素平均值,Iωhc(x,y)表示高斯模糊图像。
(2)采用Curvelet变换对红外图像的边缘成分进行稀疏表示,求得稀疏系数
本发明中采用基于Wrapping算法的Curvelet变换,其实现过程如下:
①对原始图像做二维FFT变换,得到频域内的变换结果其中:-n/2≤n1≤n/2,-n/2≤n2≤n/2;
②将Curvelet的局部化区域Uj,l[n1,n2]与相乘;
③对第②步所得结果进行Wrapping操作,其中:
④对第③步所得结果进行二维IFFT变换,可得到离散Curvelet的系数CD(j,k,l),其中:j为尺度参数,k为方向参数,l为位置参数。
(3)采用DWT和DCT构成的多形态稀疏基对可见光图像进行形态学分离,得到可见光图像光滑成分的稀疏系数及纹理成分的稀疏系数
本发明为降低小波运算的复杂度,设置小波滤波器分解端长度为9,重构端长度为7,将CDF9/7小波作为本文的稀疏基。
小波基函数分解端有限长度滤波器函数
重构端的滤波器函数
由于DCT变换具有振荡特性,且方向信息丰富,其对图像纹理有较好的稀疏表示效果。因此,本发明利用DCT变换作为纹理部分的稀疏基。
二维DCT变换可以看成是进行了两次一维的DCT变换,其过程如下:
其中, F(u,v)表示矩阵f的DCT系数,c(u),c(v)是保证DCT变换矩阵为正交矩阵所添加的系数。
DCT逆变换的公式如下:
其中, f(i,j)为DCT逆变换得到的重构矩阵。
将DCT变换应用于图像处理过程时,一般将图像分成8×8或者更大的子块。图像子块越大,算法的复杂度也就越高,块效应也越小。因此,本文折中采用8×8的子块对图像进行分块处理。
(4)在重构端将以及融合,并通过逆变换得到最终的融合图像。
本发明提出了一种基于多形态稀疏表示的图像融合方法。本发明的有益效果是:将多形态稀疏表示方法应用到图像融合过程中,充分保留了图像的边缘、纹理等细节信息,融合图像的质量较高。
附图说明
图1为本发明的总流程图。
图2是红外源图像和可见光源图像。
图3是本发明与现有三种融合算法对图2源图像进行融合的结果图。
具体实施方式
设置迭代次数NoI=100。
输入可见光源图像X。
利用所构建的多形态稀疏基对可见光源图像进行多形态稀疏表示。
初始化系数矩阵:αS=αT=0。
迭代程序开始:
假定纹理成分XT固定,更新光滑成分XS;
计算残差:R=X-XT;
计算光滑成分稀疏系数:αS=DSR;
软阈值算法:
更新光滑成分:
假定光滑成分XS固定,更新纹理成分XT;
计算残差:R=X-XS;
计算纹理成分稀疏系数:αT=DTR;
软阈值算法:
更新纹理部分:
迭代程序结束。
提取可见光图像光滑成分和纹理成分的稀疏系数作为融合图像光滑成分和纹理成分的稀疏系数。
提取红外图像边缘成分的稀疏系数作为融合图像边缘成分的稀疏系数。
对上述所得到的系数进行融合后,再逆变换,从而生成融合图像。
本发明的实验效果可以通过仿真实验具体说明:
1实验条件
本发明利用主频为2.66GHZ的图像处理工作站,并在matlab2013a环境下进行了实验仿真。
2实验内容
将本发明算法与基于DCT的图像融合方法(DCT-MAV)、基于DWT的图像融合方法(DWT-MEAN-MAV)以及基于Curvelet的图像融合方法(Curvelet-MEAN-MAV)进行了对比实验。其中,DCT-MAV采用绝对值最大法;而DWT-MEAN-MAV与Curvelet-MEAN-MAV对低频分量取平均值,对高频分量取最大绝对值。
3实验结果
图2(a)为可见光源图像,图2(b)为红外源图像。图3(a)为采用DCT-MAV方法得到的融合图像,图3(b)为采用DWT-MEAN-MAV方法得到的融合图像,图3(c)采用Curvelet-MEAN-MAV方法得到的融合图像,图3(d)为本发明得到的融合图像。
由图3可以看出,采用DWT-MEAN-MAV方法融合所得图像总体上较平滑、细节信息不清晰;采用DCT-MAV方法融合所得图像分辨率较高,但因红外图像贡献的纹理信息较多,图像边缘较为模糊,图像中人物不突出;采用Curvelet-MEAN-MAV方法融合所得图像中树木、房顶轮廓较清晰,但人物等感兴趣区域表现得不明显;而采用本文方法所得到的融合图像在树木、房顶及护栏处比其它三种方法所得到的图像清晰,且在感兴趣区域和重点目标的检测上表现得更突出。
表1为几种融合方法对图像融合的客观评价。
从表1的数据可以看出:
本发明所得融合图像的MI值最大,表明融合图像与源图像最为接近;
本发明所得融合图像的QAB/F值与Curvelet-MEAN-MAV所得的QAB/F值相当,但大于利用DCT-MAV和DWT-MEAN-MAV所得的值,表明融合图像中包含了较多源图像的边缘细节信息;
本发明所得融合图像的PSNR最高,表明所得图像中的有用信息最多,且抗噪声能力较强。
上述实验表明,本发明利用红外图像与可见光图像所具有的互补特性,并将其进行融合,可以实现不同光照条件下的高质量图像输出,且运算复杂度低。
Claims (3)
1.一种基于多形态稀疏表示的图像融合方法,其特征在于,包括如下步骤:
(1)利用FT算法提取红外图像的边缘成分,并利用Curvelet基对其进行稀疏表示;
(2)借鉴形态学成分分析(Morphological Component Analysis,MCA)理论,利用DWT和DCT构建的多形态稀疏基对可见光图像进行形态学分离,得到其光滑成分和纹理成分的稀疏系数;
(3)将红外图像边缘成分、可见光图像光滑成分及纹理成分的稀疏系数融合;
(4)对第(3)步中所得融合后的稀疏系数进行逆变换,得到最终的融合图像。
2.根据权利要求1所述的基于多形态稀疏表示的图像融合方法,其特征在于所述步骤(2)中利用所构建的多形态稀疏基对可见光图像进行形态学分离,并得到可见光图像光滑成分、纹理成分的稀疏系数;具体是指:在可见光图像的处理过程中,先设定相应的迭代次数,再利用形态学分离方法对其进行迭代分离;为减少稀疏系数中非零值的个数,本发明利用阈值法对稀疏系数进行了处理;由于硬阈值函数的不连续性,利用其对稀疏系数进行处理可能会导致吉布斯现象,进而降低图像形态学分离的质量;因此,本发明利用软阈值法对稀疏系数进行处理,处理后的稀疏系数为:
其中:α为原始稀疏系数;delta为经验值,设定为0.3;
形态学分离的具体过程为:
—————————————————————————————————————————————
输入:可见光图像X;
构建稀疏字典Φ=[ΦS,ΦT],其中:ΦS为DWT稀疏基,ΦT为DCT稀疏基;
采用DS,DT分别表示与ΦS,ΦT相对应的变换算子;
设置迭代次数为NoI;
初始化稀疏系数矩阵:αS=αT=0,其中:αS为图像光滑成分的稀疏系数矩阵,αT为图像纹理成分的稀疏系数矩阵;
迭代过程:
For t=1:NoI
①假定纹理成分XT固定,更新光滑成分XS:
计算残差:R=X-XT;
计算光滑成分稀疏系数:αS=DSR;
采用软阈值算法:
更新光滑部分:
②假定光滑成分XS固定,更新纹理成分XT:
计算残差:R=X-XS;
计算纹理成分稀疏系数:αT=DTR;
采用软阈值算法:
更新纹理成分:
End for
输出:稀疏系数
—————————————————————————————————————————————
3.根据权利要求1所述的基于多形态稀疏表示的图像融合方法,其特征在于所述步骤(3)中对图像各形态成分的稀疏系数进行融合;具体是指:提取可见光图像光滑成分、纹理成分的稀疏系数分别作为融合图像光滑成分、纹理成分的稀疏系数,即:
其中,为融合图像光滑成分的稀疏系数,为可见光图像光滑成分的稀疏系数;
其中,为融合图像纹理成分的稀疏系数,为可见光图像纹理成分的稀疏系数;
提取红外图像边缘成分的稀疏系数作为融合图像边缘成分的稀疏系数,即
其中,为融合图像边缘成分的稀疏系数,为红外图像边缘成分的稀疏系数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510212140.XA CN104809714A (zh) | 2015-04-29 | 2015-04-29 | 基于多形态稀疏表示的图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510212140.XA CN104809714A (zh) | 2015-04-29 | 2015-04-29 | 基于多形态稀疏表示的图像融合方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104809714A true CN104809714A (zh) | 2015-07-29 |
Family
ID=53694519
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510212140.XA Pending CN104809714A (zh) | 2015-04-29 | 2015-04-29 | 基于多形态稀疏表示的图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104809714A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106203291A (zh) * | 2016-07-01 | 2016-12-07 | 昆明理工大学 | 一种基于形态成分分析与自适应字典学习的场景图像文字检测的方法 |
CN107730482A (zh) * | 2017-09-28 | 2018-02-23 | 电子科技大学 | 一种基于区域能量和方差的稀疏融合算法 |
CN108122219A (zh) * | 2017-11-30 | 2018-06-05 | 西北工业大学 | 基于联合稀疏与非负稀疏的红外与可见光图像融合方法 |
CN117218048A (zh) * | 2023-11-07 | 2023-12-12 | 天津市测绘院有限公司 | 基于三层稀疏光滑模型的红外与可见光图像融合方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1545064A (zh) * | 2003-11-27 | 2004-11-10 | 上海交通大学 | 红外与可见光图像融合方法 |
CN1925565A (zh) * | 2006-09-15 | 2007-03-07 | 重庆大学 | 基于图像融合的焊接熔池图像获取技术与传感系统 |
CN104021537A (zh) * | 2014-06-23 | 2014-09-03 | 西北工业大学 | 一种基于稀疏表示的红外与可见光图像融合方法 |
CN104077761A (zh) * | 2014-06-26 | 2014-10-01 | 桂林电子科技大学 | 基于自适应稀疏表示的多聚焦图像融合方法 |
CN104408700A (zh) * | 2014-11-21 | 2015-03-11 | 南京理工大学 | 基于形态学和pca的轮廓波红外与可见光图像融合方法 |
-
2015
- 2015-04-29 CN CN201510212140.XA patent/CN104809714A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1545064A (zh) * | 2003-11-27 | 2004-11-10 | 上海交通大学 | 红外与可见光图像融合方法 |
CN1925565A (zh) * | 2006-09-15 | 2007-03-07 | 重庆大学 | 基于图像融合的焊接熔池图像获取技术与传感系统 |
CN104021537A (zh) * | 2014-06-23 | 2014-09-03 | 西北工业大学 | 一种基于稀疏表示的红外与可见光图像融合方法 |
CN104077761A (zh) * | 2014-06-26 | 2014-10-01 | 桂林电子科技大学 | 基于自适应稀疏表示的多聚焦图像融合方法 |
CN104408700A (zh) * | 2014-11-21 | 2015-03-11 | 南京理工大学 | 基于形态学和pca的轮廓波红外与可见光图像融合方法 |
Non-Patent Citations (2)
Title |
---|
HUI LUO ET AL.: "WMSN video image denoising via sparse and redundant representations based on structural similarity", 《JOURNAL OF COMPUTATIONAL INFORMATION SYSTEM》 * |
冯云丛: "医学图像自动配准及融合算法的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106203291A (zh) * | 2016-07-01 | 2016-12-07 | 昆明理工大学 | 一种基于形态成分分析与自适应字典学习的场景图像文字检测的方法 |
CN106203291B (zh) * | 2016-07-01 | 2019-07-05 | 昆明理工大学 | 一种基于形态成分分析与自适应字典学习的场景图像文字检测的方法 |
CN107730482A (zh) * | 2017-09-28 | 2018-02-23 | 电子科技大学 | 一种基于区域能量和方差的稀疏融合算法 |
CN107730482B (zh) * | 2017-09-28 | 2021-07-06 | 电子科技大学 | 一种基于区域能量和方差的稀疏融合方法 |
CN108122219A (zh) * | 2017-11-30 | 2018-06-05 | 西北工业大学 | 基于联合稀疏与非负稀疏的红外与可见光图像融合方法 |
CN108122219B (zh) * | 2017-11-30 | 2019-10-18 | 西北工业大学 | 基于联合稀疏与非负稀疏的红外与可见光图像融合方法 |
CN117218048A (zh) * | 2023-11-07 | 2023-12-12 | 天津市测绘院有限公司 | 基于三层稀疏光滑模型的红外与可见光图像融合方法 |
CN117218048B (zh) * | 2023-11-07 | 2024-03-08 | 天津市测绘院有限公司 | 基于三层稀疏光滑模型的红外与可见光图像融合方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bhadauria et al. | Medical image denoising using adaptive fusion of curvelet transform and total variation | |
CN101980284B (zh) | 基于两尺度稀疏表示的彩色图像降噪方法 | |
CN103077508B (zh) | 基于变换域非局部和最小均方误差的sar图像去噪方法 | |
CN103093433B (zh) | 基于区域划分和字典学习的自然图像去噪方法 | |
CN104809734A (zh) | 一种基于引导滤波的红外图像与可见光图像融合的方法 | |
CN101719268B (zh) | 基于改进Directionlet域的广义高斯模型图像去噪方法 | |
CN104809714A (zh) | 基于多形态稀疏表示的图像融合方法 | |
CN102663695A (zh) | 基于小波变换的dr图像去噪方法及系统 | |
CN101944230A (zh) | 基于多尺度的自然图像非局部均值去噪方法 | |
Wang et al. | New image restoration method associated with tetrolets shrinkage and weighted anisotropic total variation | |
CN102968781A (zh) | 基于nsct和稀疏表示的图像融合方法 | |
CN110322404A (zh) | 一种图像增强方法及系统 | |
CN103310414B (zh) | 基于方向波变换和模糊理论的图像增强方法 | |
CN103077507B (zh) | 基于Beta算法的多尺度SAR图像降噪方法 | |
CN103745443B (zh) | 提高图像质量的方法和设备 | |
CN101950413B (zh) | 基于非下采样Contourlet域MRF模型的SAR图像降斑方法 | |
CN103310423A (zh) | 一种矿井图像增强方法 | |
Dongqiao et al. | Single Image Dehazing Jointly Utilizing Dark Channel Prior and Guided Filtering in Dual-Tree Complex Wavelet Domain | |
Hamdi | A comparative study in wavelets, curvelets and contourlets as denoising biomedical images | |
Cao et al. | A License Plate Image Enhancement Method in Low Illumination Using BEMD. | |
Kaur et al. | A robust approach for medical image enhancement using DTCWT | |
CN103854258A (zh) | 一种基于Contourlet变换自适应方向阈值的图像去噪方法 | |
CN106327440B (zh) | 含有非局域数据保真项的图像分解滤波方法 | |
CN103747268A (zh) | 一种分层自适应阈值视频去噪方法 | |
Zhou et al. | Image denoising based on dual-tree complex wavelet transform and convolutional neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150729 |