CN103413284A - 一种基于二维emd和遗传算法的多聚焦数字图像融合方法 - Google Patents
一种基于二维emd和遗传算法的多聚焦数字图像融合方法 Download PDFInfo
- Publication number
- CN103413284A CN103413284A CN2013102961691A CN201310296169A CN103413284A CN 103413284 A CN103413284 A CN 103413284A CN 2013102961691 A CN2013102961691 A CN 2013102961691A CN 201310296169 A CN201310296169 A CN 201310296169A CN 103413284 A CN103413284 A CN 103413284A
- Authority
- CN
- China
- Prior art keywords
- imf
- window
- image
- component
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于二维EMD和遗传算法的多聚焦数字图像融合方法,首先对源图像进行二维EMD分解,不仅克服了基于小波变换的图像融合局部特征相关性不强的问题,并且避免了传统小波方法小波基函数选取困难的问题。根据T检验对得到的本征模函数(IMF)分量进行高低频选择,然后对低频分量采取区域信息熵最大准则进行融合,高频分量计算区域相关性,对相关性在不同阈值范围内的分量进行融合,阈值的选取采用遗传算法进行搜索,避免了经验确定区域匹配阈值的不足。最后,融合结果通过对融合分量进行二维EMD逆变换得到。因此,将二维EMD和遗传算法相结合,可以大大提高融合后图像的质量,对应用系统的后续处理和图像显示具有重要意义和使用价值。
Description
技术领域
本发明属于多聚焦数字图像融合方法,数据信息融合领域,具体涉及一种基于二维EMD和遗传算法的多聚焦数字图像融合方法,可以应用于各种军用或民用的多聚焦图像融合系统。
背景技术
多聚焦图像融合是指因镜头聚焦不同而形成的多个图像通过一定处理,得到目标聚焦都清晰的结果图像。
目前常用的多聚焦图像融合方法主要是基于小波变换或者更高层次的小波算法。尽管基于小波的图像融合算法能够非常优秀的将图像分解并得到很好的融合结果,但选取小波基函数[1]一直是很困难的问题。而且基于小波变换的图像融合是对每个像素或小区域的局部特征进行融合,这会导致失去局部特征相关性较强的特性。然而,具有自适应特性的二维经验模态分解(EMD)算法[2,3]能够根据信号特征将信号自适应地进行多尺度分解,产生自适应的基函数,通过Hilbert变换对每一层所分解的函数处理得到分析信号的频率。该算法分解得到的高、低频分量尺度相近、相关性较强。高频显示图像形状特征及轮廓,低频显示图像整体信息。
基于二维EMD的多聚焦图像融合算法的研究主要集中在本征模函数(IMF)分量融合规则上,其中基于区域的融合规则取得了较好的结果,但是区域匹配阈值的确定一般都是根据经验而定,而遗传算法是一种模仿生物界自然选择和遗传变异机制来求解复杂问题的随机搜索和优化的方法,具有进化过程的高效、并行和全局寻优等特点,因此使用基于二维EMD和遗传算法的多聚焦图像融合算法不仅可以避免了基于区域融和方法中相关性阈值选择的盲目性问题,而且有效克服了基于小波的融合算法得到的融合图像存在边缘失真及光谱扭曲的现象。
发明内容
要解决的技术问题
为了避免现有技术的不足之处,本发明提出一种基于二维EMD和遗传算法的多聚焦数字图像融合方法,能够提高融合后的图像质量,达到理想的实用效果。
技术方案
一种基于二维EMD和遗传算法的多聚焦数字图像融合方法,其特征在于步骤如下:
步骤1:采用序贯相似度检测匹配法对两幅聚焦不同的源图像进行图像配准,并利用线性变换方法将两幅源图像的灰度方位映射到一个一致的灰度区间,得到预处理后的两幅图像A和B;
所述低频分量融合规则:
按 对图像A和图像B的IMF分量进行融合,得到融合后的低频分量;其中:IMFF,L(m,n)表示融合后的低频分量;是图像A的低频分量IMFA,L(m,n)中以m行n列像素为中心的区域窗口内的信息熵;是图像B的低频分量IMFB,L(m,n)中以m行n列像素为中心的区域窗口内的信息熵,
所述高频分量融合规则:
利用相关系数
判别图像A高频分量IMFA,H(m,n)和图像B高频分量IMFB,H(m,n)的相应高频子带窗口邻域内的相关性;当 时表明两个区域的相关性差,其中T为阈值;并按 对图像A和图像B的高频分量进行融合处理,得到融合后的高频分量IMFF,H(m,n),其中是处理后的图像A的高频分量IMFA,H中以m行n列像素为中心的区域窗口内的空间频率,是处理后的图像B的高频分量IMFB,H中以m行n列像素为中心的区域窗口内的空间频率;若 时,根据区域的空间频率大小确定加权系数分别为:
故融和图像的高频信息为IMFF,H(m,n)=w×IMFA,H(m,n)+(1-w)×IMFB,H(m,n);
步骤5:对步骤4得到的融合后的IMF分量IMFF,L(m,n)和IMFF,H(m,n)进行EMD逆变换,得到融合图像。
所述高频分量融合规则中的阈值采用遗传算法确定,设相关性阈值在[0.5,0.8]之间,随机生成均匀分布在该范围内的种群{α1,α2,···,αN};选择一个αi,根据式选择个体的最大概率Pi为适应度最高的个体;其中Fit(α)=Entropy(Fα)计算个体的信息熵,Fα为根据高频分量融合规则得到的融合分量;对选择的种群{α1,α2,···,αN}的N个体进行配对成N/2组形如[αi,αj]的个体对,采用适用于实值编码的中间重组方式:α′i=αi+ωi(αj-αi),其中ω是一个区间内均匀生成的换算系数;按照α′i=α+δ得到新的种群,其中变异后的值α′i由原值α和在[-1,1]范围内的随机产生变异步长δ相加得到;对得到的新种群依据得到新种群中个体的最大概率Pj,若Pj>Pi,继续重复以上种群生成过程,若Pj≤Pi,种群生成结束,种群中最大概率的个体为得到的阈值。
所述区域窗口大小为5×5。
所述的空间频率的计算为其中SF为图像的空间频率,RF为按计算得到的图像的行频率,CF为按计算得到的列频率,其中P×Q表示图像F的大小,F(p,q)为图像F中p行q列像素的值,p=1,2,∧,P,q=1,2,∧,Q。
有益效果
本发明提出的一种基于二维EMD和遗传算法的多聚焦数字图像融合方法,首先对源图像进行二维EMD分解,不仅克服了基于小波变换的图像融合局部特征相关性不强的问题,并且避免了传统小波方法小波基函数选取困难的问题。根据T检验对得到的本征模函数(IMF)分量进行高低频选择,然后对低频分量采取区域信息熵最大准则进行融合,高频分量计算区域相关性,对相关性在不同阈值范围内的分量进行融合,阈值的选取采用遗传算法进行搜索,避免了经验确定区域匹配阈值的不足。最后,融合结果通过对融合分量进行二维EMD逆变换得到。因此,将二维EMD和遗传算法相结合,可以大大提高融合后图像的质量,对应用系统的后续处理和图像显示具有重要意义和使用价值。
附图说明
图1:本发明方法的基本流程图
图2:多聚焦图像融合方法示意图
图3:使用本方法完成多聚焦图像融合的例子
(a)聚焦于左侧的源图像
(b)聚焦于右侧的源图像
(c)理想融合图像
(d)基于二维EMD和像素点的融合图像
(e)基于二维EMD和窗口的融合图像
(f)基于小波变换和局部能量的多聚焦图像融合图像
(g)本发明方法的多聚焦图像融合图像
具体实施方式
现结合实施例、附图对本发明作进一步描述:
用于实施的硬件环境是:Core2CPU2.93GHz计算机,2GB内存,128M显卡,运行的软件环境是:matlab2010b和windows XP。我们用Matlab软件实现了本发明的提出的方法。该实验所用的两幅灰度图像和理想图像取自于www.imagefusion.org。
本实施例的步骤如下:
步骤1:采用序贯相似度检测匹配法对两幅聚焦不同的源图像进行图像配准,并利用线性变换方法将两幅源图像的灰度方位映射到一个一致的灰度区间,得到预处理后的两幅图像A和B;
所述低频分量融合规则:
按 对图像A和图像B的IMF分量进行融合,得到融合后的低频分量;其中:IMFF,L(m,n)表示融合后的低频分量;是图像A的低频分量IMFA,L(m,n)中以m行n列像素为中心的区域窗口内的信息熵;是图像B的低频分量IMFB,L(m,n)中以m行n列像素为中心的区域窗口内的信息熵,
所述高频分量融合规则:
利用相关系数
判别图像A高频分量IMFA,H(m,n)和图像B高频分量IMFB,H(m,n)的相应高频子带窗口邻域内的相关性;当 时表明两个区域的相关性差,并按 对图像A和图像B的高频分量进行融合处理,得到融合后的高频分量IMFF,H(m,n),其中是处理后的图像A的高频分量IMFA,H中以m行n列像素为中心的区域窗口内的空间频率,是处理后的图像B的高频分量IMFB,H中以m行n列像素为中心的区域窗口内的空间频率;若 时,根据区域的空间频率大小确定加权系数分别为: 故融和图像的高频信息为IMFF,H(m,n)=w×IMFA,H(m,n)+(1-w)×IMFB,H(m,n);
步骤5:对步骤4得到的融合后的IMF分量IMFF,L(m,n)和IMFF,H(m,n)进行EMD逆变换,得到融合图像。
所述阈值采用遗传算法确定,设相关性阈值在[0.5,0.8]之间,随机生成均匀分布在该范围内的种群{α1,α2,···,αN}。选择一个αi,根据式选择个体的最大概率Pi,即适应度最高的个体。其中Fit(α)=Entropy(Fα)计算个体的信息熵,Fα为根据高频分量融合规则得到的融合分量。对选择的种群{α1,α2,···,αN}的N个体进行配对成N/2组形如[αi,αj的个体对,采用适用于实值编码的中间重组方式如:α′i=αi+ωi(αj-αi),其中ω是一个区间内均匀生成的换算系数。按照α′i=α+δ得到新的种群,其中变异后的值α′i由原值α和在[-1,1]范围内的随机产生变异步长δ相加得到。对得到的新种群依据得到新种群中个体的最大概率Pj,若Pj>Pi,继续重复以上种群生成过程,若Pj≤Pi,种群生成结束,种群中最大概率的个体即为得到的阈值。
所述区域窗口大小为5×5;
所述的空间频率的计算为其中SF为图像的空间频率,RF为按 计算得到的图像的行频率,CF为按计算得到的列频率,其中P×Q表示图像F的大小,F(p,q)为图像F中p行q列像素的值,p=1,2,∧,P,q=1,2,∧,Q。
图3为待融合的多聚焦图像和融合处理后的图像,本发明所得的融合结果与其他融合方法所得的融合结果进行对比,评价结果如表1所示。图像的均方根误差(RMSE)越小,表明融合图像和理想图像越接近,融合质量和融合效果越好;信息熵越大表明融合图像包含信息更多,融合结果更好;高的峰值信噪比代表好的融合质量和融合效果。
表1融合结果评价
融合图像 | 均方根误差 | 信息熵 | 峰值信噪比 |
(d) | 16.1641 | 7.0301 | 55.0128 |
(e) | 12.4831 | 7.2768 | 59.0373 |
(f) | 12.1325 | 7.4025 | 60.1580 |
(g) | 10.0127 | 7.4782 | 64.3905 |
Claims (4)
1.一种基于二维EMD和遗传算法的多聚焦数字图像融合方法,其特征在于步骤如下:
步骤1:采用序贯相似度检测匹配法对两幅聚焦不同的源图像进行图像配准,并利用线性变换方法将两幅源图像的灰度方位映射到一个一致的灰度区间,得到预处理后的两幅图像A和B;
所述低频分量融合规则:
按 对图像A和图像B的IMF分量进行融合,得到融合后的低频分量;其中:IMFF,L(m,n)表示融合后的低频分量;是图像A的低频分量IMFA,L(m,n)中以m行n列像素为中心的区域窗口内的信息熵;是图像B的低频分量IMFB,L(m,n)中以m行n列像素为中心的区域窗口内的信息熵,
所述高频分量融合规则:
利用相关系数
判别图像A高频分量IMFA,H(m,n)和图像B高频分量IMFB,H(m,n)的相应高频子带窗口邻域内的相关性;当 时表明两个区域的相关性差,其中T为阈值;并按 对图像A和图像B的高频分量进行融合处理,得到融合后的高频分量IMFF,H(m,n),其中是处理后的图像A的高频分量IMFA,H中以m行n列像素为中心的区域窗口内的空间频率,是处理后的图像B的高频分量IMFB,H中以m行n列像素为中心的区域窗口内的空间频率;若 时,根据区域的空间频率大小确定加权系数分别为:
故融和图像的高频信息为IMFF,H(m,n)=w×IMFA,H(m,n)+(1-w)×IMFB,H(m,n);
步骤5:对步骤4得到的融合后的IMF分量IMFF,L(m,n)和IMFF,H(m,n)进行EMD逆变换,得到融合图像。
2.根据权利要求1所述基于二维EMD和遗传算法的多聚焦数字图像融合方法,其特征在于:所述高频分量融合规则中的阈值采用遗传算法确定,设相关性阈值在[0.5,0.8]之间,随机生成均匀分布在该范围内的种群{α1,α2,···,αN};选择一个αi,根据式选择个体的最大概率Pi为适应度最高的个体;其中Fit(α)=Entropy(Fα)计算个体的信息熵,Fα为根据高频分量融合规则得到的融合分量;对选择的种群{α1,α2,···,αN}的N个体进行配对成N/2组形如[αi,αj]的个体对,采用适用于实值编码的中间重组方式:α′i=αi+ωi(αj-αi),其中ω是一个区间内均匀生成的换算系数;按照α′i=α+δ得到新的种群,其中变异后的值α′i由原值α和在[-1,1]范围内的随机产生变异步长δ相加得到;对得到的新种群依据得到新种群中个体的最大概率Pj,若Pj>Pi,继续重复以上种群生成过程,若Pj≤Pi,种群生成结束,种群中最大概率的个体为得到的阈值。
3.根据权利要求1所述基于二维EMD和遗传算法的多聚焦数字图像融合方法,其特征在于:所述区域窗口大小为5×5。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2013102961691A CN103413284A (zh) | 2013-07-15 | 2013-07-15 | 一种基于二维emd和遗传算法的多聚焦数字图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2013102961691A CN103413284A (zh) | 2013-07-15 | 2013-07-15 | 一种基于二维emd和遗传算法的多聚焦数字图像融合方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103413284A true CN103413284A (zh) | 2013-11-27 |
Family
ID=49606289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2013102961691A Pending CN103413284A (zh) | 2013-07-15 | 2013-07-15 | 一种基于二维emd和遗传算法的多聚焦数字图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103413284A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103810677A (zh) * | 2014-01-16 | 2014-05-21 | 河南科技大学 | 基于超经验模式分解的遥感图像增强方法 |
CN107798854A (zh) * | 2017-11-12 | 2018-03-13 | 佛山鑫进科技有限公司 | 一种基于图像识别的电表远程监控方法 |
CN108564559A (zh) * | 2018-03-14 | 2018-09-21 | 北京理工大学 | 一种基于两尺度聚焦图的多聚焦图像融合方法 |
CN109377447A (zh) * | 2018-09-18 | 2019-02-22 | 湖北工业大学 | 一种基于杜鹃搜索算法的Contourlet变换图像融合方法 |
CN109658371A (zh) * | 2018-12-05 | 2019-04-19 | 北京林业大学 | 红外图像与可见光图像的融合方法、系统及相关设备 |
CN110956601A (zh) * | 2019-12-04 | 2020-04-03 | 山东大学 | 一种基于多传感器样态系数的红外图像融合方法和装置以及计算机可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101546428A (zh) * | 2009-05-07 | 2009-09-30 | 西北工业大学 | 基于区域分割的序列红外与可见光图像融合 |
CN102063713A (zh) * | 2010-11-11 | 2011-05-18 | 西北工业大学 | 基于邻域归一化梯度和邻域标准差的多聚焦图像融合方法 |
CN102521818A (zh) * | 2011-12-05 | 2012-06-27 | 西北工业大学 | 一种基于nsct的sar图像和可见光图像的融合方法 |
-
2013
- 2013-07-15 CN CN2013102961691A patent/CN103413284A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101546428A (zh) * | 2009-05-07 | 2009-09-30 | 西北工业大学 | 基于区域分割的序列红外与可见光图像融合 |
CN102063713A (zh) * | 2010-11-11 | 2011-05-18 | 西北工业大学 | 基于邻域归一化梯度和邻域标准差的多聚焦图像融合方法 |
CN102521818A (zh) * | 2011-12-05 | 2012-06-27 | 西北工业大学 | 一种基于nsct的sar图像和可见光图像的融合方法 |
Non-Patent Citations (2)
Title |
---|
LIU KUN等: "Fusion of Infrared and Visible Light Images Based on Region Segmentation", 《CHINESE JOURNAL OF AERONAUTICS》, vol. 22, no. 1, 27 February 2009 (2009-02-27), pages 75 - 80, XP025995753, DOI: doi:10.1016/S1000-9361(08)60071-0 * |
时丕丽等: "基于NSCT和遗传算法的SAR图像和多光谱图像融合", 《西北工业大学学报》, vol. 30, no. 2, 30 April 2012 (2012-04-30), pages 275 - 276 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103810677A (zh) * | 2014-01-16 | 2014-05-21 | 河南科技大学 | 基于超经验模式分解的遥感图像增强方法 |
CN103810677B (zh) * | 2014-01-16 | 2016-06-29 | 河南科技大学 | 基于超经验模式分解的遥感图像增强方法 |
CN107798854A (zh) * | 2017-11-12 | 2018-03-13 | 佛山鑫进科技有限公司 | 一种基于图像识别的电表远程监控方法 |
CN108564559A (zh) * | 2018-03-14 | 2018-09-21 | 北京理工大学 | 一种基于两尺度聚焦图的多聚焦图像融合方法 |
CN108564559B (zh) * | 2018-03-14 | 2021-07-20 | 北京理工大学 | 一种基于两尺度聚焦图的多聚焦图像融合方法 |
CN109377447A (zh) * | 2018-09-18 | 2019-02-22 | 湖北工业大学 | 一种基于杜鹃搜索算法的Contourlet变换图像融合方法 |
CN109377447B (zh) * | 2018-09-18 | 2022-11-15 | 湖北工业大学 | 一种基于杜鹃搜索算法的Contourlet变换图像融合方法 |
CN109658371A (zh) * | 2018-12-05 | 2019-04-19 | 北京林业大学 | 红外图像与可见光图像的融合方法、系统及相关设备 |
CN109658371B (zh) * | 2018-12-05 | 2020-12-15 | 北京林业大学 | 红外图像与可见光图像的融合方法、系统及相关设备 |
CN110956601A (zh) * | 2019-12-04 | 2020-04-03 | 山东大学 | 一种基于多传感器样态系数的红外图像融合方法和装置以及计算机可读存储介质 |
CN110956601B (zh) * | 2019-12-04 | 2022-04-19 | 山东大学 | 一种基于多传感器样态系数的红外图像融合方法和装置以及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103413284A (zh) | 一种基于二维emd和遗传算法的多聚焦数字图像融合方法 | |
CN102063713B (zh) | 基于邻域归一化梯度和邻域标准差的多聚焦图像融合方法 | |
CN101968883B (zh) | 一种基于小波变换和邻域特征的多聚焦图像融合方法 | |
US8798325B2 (en) | Efficient and fault tolerant license plate matching method | |
CN103824309B (zh) | 一种城市建成区边界自动提取方法 | |
CN103353989B (zh) | 基于先验和融合灰度与纹理特征的sar图像变化检测方法 | |
CN103945217B (zh) | 基于熵的复小波域半盲图像质量评测方法和系统 | |
CN103413283A (zh) | 一种基于二维emd和改进局部能量的多聚焦图像融合方法 | |
CN104021536A (zh) | 一种自适应的sar图像和多光谱图像融合方法 | |
CN101882304A (zh) | 一种sar图像自适应去噪和特征增强方法 | |
CN102306381B (zh) | 基于Beamlet与小波变换的图像融合方法 | |
CN102567973A (zh) | 基于改进的形状自适应窗口的图像去噪方法 | |
CN104636721A (zh) | 一种基于轮廓与边缘纹理特征融合的掌纹识别方法 | |
CN103886563A (zh) | 基于非局部平均和异质性测量的sar图像斑点噪声抑制方法 | |
CN105809175A (zh) | 一种基于支持向量机算法的脑水肿分割方法及系统 | |
CN102096913B (zh) | 压缩感知框架下的多策略图像融合方法 | |
CN101515369A (zh) | 基于半监督学习的多尺度sar图像分割方法 | |
CN103400114A (zh) | 针对人脸识别的光照归一化处理系统 | |
CN113222998B (zh) | 基于自监督低秩网络的半监督图像语义分割方法及装置 | |
CN104036229A (zh) | 基于回归的主动外观模型初始化方法 | |
Xie | Illumination preprocessing for face images based on empirical mode decomposition | |
CN104680536A (zh) | 利用改进的非局部均值算法对sar图像变化的检测方法 | |
CN105469428A (zh) | 一种基于形态学滤波和svd的弱小目标检测方法 | |
CN105005987A (zh) | 基于广义gamma分布的SAR图像超像素生成方法 | |
Zhang et al. | The range of harmful frequency for DNN corruption robustness |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20131127 |