CN109767411B - 一种用于多图像融合的二维多元经验模态分解算法 - Google Patents

一种用于多图像融合的二维多元经验模态分解算法 Download PDF

Info

Publication number
CN109767411B
CN109767411B CN201811609919.5A CN201811609919A CN109767411B CN 109767411 B CN109767411 B CN 109767411B CN 201811609919 A CN201811609919 A CN 201811609919A CN 109767411 B CN109767411 B CN 109767411B
Authority
CN
China
Prior art keywords
image
fusion
dimensional
imf
imfs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811609919.5A
Other languages
English (en)
Other versions
CN109767411A (zh
Inventor
夏亦犁
张斌
裴文江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201811609919.5A priority Critical patent/CN109767411B/zh
Publication of CN109767411A publication Critical patent/CN109767411A/zh
Application granted granted Critical
Publication of CN109767411B publication Critical patent/CN109767411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种用于多图像融合的二维多元经验模态分解算法，包括如下步骤：(1)将待融合的多幅图像组合为一个二维多元信号，作为2D‑MEMD算法的输入信号；(2)2D‑MEMD算法可将输入的二维多元信号分解为2D‑IMFs，不同的2D‑IMF表征了不同图像的不同空间尺度响应；(3)使用局部方差最大法或局部能量最大法对相同空间尺度的2D‑IMFs进行融合，再将不同空间尺度的融合结果相加，即可得到多图像融合的结果。本发明能够结合2D‑EMD和MEMD算法的优势，可以完成对二维多元信号，即多幅图像的分解，为每幅图像生成数量一致的2D‑IMFs，且不会造成图像空间信息的丢失。

Description

一种用于多图像融合的二维多元经验模态分解算法
技术领域
本发明涉及多元信号处理技术领域，尤其是一种用于多图像融合的二维多元经验模态分解算法。
背景技术
经验模态分解(Empirical Mode Decomposition，EMD)是一种全数据驱动的信号处理技术，可以无需任何预先定义的参数、自适应地将一维一元信号分解为若干幅度和频率经过调制的AM/FM信号，称之为本征模态函数(Intrinsic Mode Functions，IMFs)。IMF通过不同的时间尺度说明了信号能量与频率之间的关系，非常适用于非线性非平稳信号的时频分析。图像作为典型的非平稳信号，近年来，EMD及相关算法在图像文理分析、图像去噪、图像融合等领域取得了广泛的应用。
在此过程中，标准EMD的二维拓展算法(BidimensionalEMD，2D-EMD)和多元拓展算法(MultivariateEMD，MEMD)作出了很大的贡献，尤其是在图像融合领域，但是将其应用于图像融合领域会存在一些尚未解决的问题。2D-EMD解决了标准EMD仅能处理一维信号的限制，可以对二维信号进行分解，当其应用于图像融合时，分别对每幅待融合图像进行分解，再对分解的结果进行融合。但是，由于EMD的唯一性问题，每幅图像分解所得的IMFs数量很大可能是不同的，这限制了2D-EMD在图像融合中的应用；MEMD则完美解决了由EMD唯一性带来的问题，MEMD可以分解一维多元信号，为每个信号产生数量相等的IMFs，其应用于图像融合时，不足之处在于需将图像的行或列首尾相接组成一维信号，这一操作导致了图像空间信息的丢失。
发明内容
本发明所要解决的技术问题在于，提供一种用于多图像融合的二维多元经验模态分解算法，能够结合2D-EMD和MEMD算法的优势，可以完成对二维多元信号，即多幅图像的分解，为每幅图像生成数量一致的2D-IMFs，且不会造成图像空间信息的丢失。
为解决上述技术问题，本发明提供一种用于多图像融合的二维多元经验模态分解算法，包括如下步骤：
(1)将待融合的多幅图像组合为一个二维多元信号，作为2D-MEMD算法的输入信号；
(2)2D-MEMD算法可将输入的二维多元信号分解为2D-IMFs，不同的2D-IMF表征了不同图像的不同空间尺度响应；
(3)使用局部方差最大法或局部能量最大法对相同空间尺度的2D-IMFs进行融合，再将不同空间尺度的融合结果相加，即可得到多图像融合的结果。
优选的，步骤(1)中，将待融合的多幅图像组合为一个二维多元信号，作为2D-MEMD算法的输入信号具体包括如下步骤：
(11)确定输入二维多元信号I的元数n，以及投影方向的个数m，通过准蒙特卡洛方法产生n个长度为m的低差异序列作为投影方向矢量，此时，投影方向矢量的模长并不是单位长度，需进行归一化，称之为非归一化投影方向矢量，其中，每个投影方向矢量各对应一个投影角度θk；
(12)计算输入二维多元信号I沿每个投影角度θk所对应的归一化投影方向矢量的投影提取/>局部极大值所在的位置/>
(13)使用Delaunay三角剖分算法，拟合散点得到方向θk所对应的极大值曲面/>
(14)平均m个投影方向得到的极大值曲面，可以得到均值曲面M；
(15)计算D＝I-M，可以得到一个2D-IMF，其中D就是提取出的2D-IMF分量；计算I＝I-D；
(16)重复步骤(11)-(15)，直至所有的2D-IMF都被提取出来。
优选的，步骤(3)中，使用局部方差最大法对相同空间尺度的2D-IMFs进行融合具体包括如下步骤：
(31)将第q幅图像的第p个2D-IMF表示为滑动窗口的大小为(2z+1)×(2z+1)，其中z为正整数，用于衡量滑动窗口的大小，局部方差可以计算为：
其中，
式中，表示第q幅图像的第p个2D-IMF在位置(i,j)处的局部方差，μ表示该点的局部均值；
(32)对应的权重矩阵/>可以计算为：
(33)每幅图像的第p个2D-IMF的融合结果可以计算为：
式中，F#表示融合后的第p个2D-IMF；
(34)多图像融合的结果Id可以计算为：
优选的，步骤(3)中，使用局部能量最大法对相同空间尺度的2D-IMFs进行融合具体包括如下步骤：
(35)将第q幅图像的第p个2D-IMF表示为滑动窗口的大小为(2z+1)×(2z+1)，其中，z为一正整数，用于衡量滑动窗口的大小，局部能量可以计算为：
式中，表示第q幅图像的第p个2D-IMF在位置(i,j)处的局部能量；
(36)对应的权重矩阵/>可以计算为：
(37)每幅图像的第p个2D-IMF的融合结果可以计算为：
式中，Fp表示融合后的第p个2D-IMF；
(38)多图像融合的结果Id可以计算为：
优选的，步骤(11)中，非归一化投影方向矢量的具体生成方式具体为：对于任一正整数c，其基b展开形式ac＝[ac(0),ac(1),…,ac(M-1)]T与c满足以下等式：
式中，M表示c的基b展开形式ac的长度；那么，该正整数c的基b反转表示为：
此时，非归一化投影方向矢量构成的矩阵H可以表示为：
式中，b1,b2,…,bm-1为互不相等的正整数。
优选的，步骤(11)中，对于所述非归一化投影方向矢量，其归一化计算方式具体为：选取任一投影方向矢量为x＝[x1,x2,…,xn]T，与其对应的(n-1)维角度坐标为可通过如下方式计算：
此时，未归一化投影方向矢量x归一化表示形式u＝[u1,u2,…,un]T可计算为:
本发明的有益效果为：(1)本发明结合了现有技术的优点，提出了一种用于多图像融合的二维多元经验模态分解算法，所述二维多元经验模态分解算法可以完成二维多元信号，即多幅图像的分解，为每幅图像产生数量相同、空间尺度相对应的2D-IMFs，同时，不会导致图像空间信息的丢失；(2)本发明打破了现有技术的束缚，所述二维多元经验模态分解算法可以配合局部方差最大法和局部能量最大法完成对多幅图像的融合，且融合后图像与理想图像相似度很高。
附图说明
图1为散焦图像的焦点分别位于图像的左上角示意图。
图2为散焦图像的焦点分别位于图像的右上角示意图。
图3为散焦图像的焦点分别位于图像的左下角示意图。
图4为散焦图像的焦点分别位于图像的右下角示意图。
图5为散焦图像的焦点分别位于图像的中心示意图。
图6为本发明的算法流程示意图。
图7为五幅散焦图像的理想化全焦点图像示意图。
图8为本发明所述算法融合五幅散焦图像所得结果示意图。
图9为现有技术MEMD算法融合五幅散焦图像所得结果示意图。
图10为现有技术融合多幅图像与本发明融合多幅图像定量评价指标示意图。
具体实施方式
本发明所述算法可用于但不局限于多幅散焦图像、多重曝光图像、多光谱图像的融合，以得到理想的全焦点图像、适度曝光图像、全光谱图像，本实施实例以多幅散焦图像的融合为例，通过融合结果来证明本发明所述算法的优越性。图1～图5所示为五幅散焦图像，焦点分别位于图像的左上角、右上角、左下角、右下角和中心。如图6所示，将本发明所述算法用于图1～图5图像融合时，包括如下步骤：
(1)将待融合的多幅图像组合为一个二维多元信号，作为所述2D-MEMD算法的输入信号；
(2)所述2D-MEMD算法可将输入的二维多元信号分解为2D-IMFs，不同的2D-IMF表征了不同图像的不同空间尺度响应；
(3)选取局部方差最大法作为融合规则对相同空间尺度的2D-IMFs进行融合，再将不同空间尺度的融合结果相加，即可得到多图像融合的结果。
2D-MEMD算法中，所述非归一化投影方向矢量的具体生成方式为：对于任一正整数c，其基b展开形式ac＝[ac(0),ac(1),…,ac(M-1)]T与c满足以下等式：
式中，M表示ac的长度，那么，该正整数c的基b反转gb(c)表示为：
此时，非归一化投影方向矢量构成的矩阵可以表示为：
式中，在本实施例中，b1,b2,…,bm-1选取为前(m-1)个素数。
图7所示为五幅散焦图像的理想化全焦点图像，图8所示为五幅散焦图像通过本发明所述算法的融合图像，图9为与本发明所述算法同类的MEMD算法对于五幅散焦图像的融合结果。可见，本发明所述算法的融合后图像与理想图像有很强的一致性，与图9相比，图像中保留了更多的细节，融合效果要优于MEMD算法。
对于多图像融合结果，评价指标有平均信息熵(Entropy)、空间频率(SpatialFrequency，SF)、均方根误差(RootMeanSquareError，RMSE)和互相关系数(Correlation，Corr)，其计算方式分别如下：
式中，pt表示像素值为i的点占图像总像素的比率,Entropy表示所求得的图像平均信息熵。
式中，h、w分别是融合后图像的高和宽，I是融合后图像，SF是所求得的图像空间频率。
式中，h、w分别是融合后图像的高和宽，I是融合后图像，F是理想图像，RMSE是所求得的融合后图像与理想图像之间的均方根误差。
其中，
式中，h、w分别是融合后图像的高和宽，I是融合后图像，F是理想图像，μI和μF分别表示融合后图像和理想图像的均值，Corr是所求得的融合后图像与理想图像之间的互相关系数。
如图10所示，为本发明所述算法和现有MEMD算法对相同的多幅图像融合，其融合结果的定量评价指标对比。本发明所述算法和理想图像有相近的信息熵和空间频率，与现有算法相比，均方根误差更小，互相关系数更高，说明了本发明所述算法的优越性。

Claims (5)

1.一种用于多图像融合的二维多元经验模态分解算法，其特征在于，包括如下步骤：
(1)将待融合的多幅图像组合为一个二维多元信号，作为2D-MEMD算法的输入信号；具体包括如下步骤：
(11)确定输入二维多元信号I的元数n，以及投影方向的个数m，通过准蒙特卡洛方法产生n个长度为m的低差异序列作为投影方向矢量，此时，投影方向矢量的模长不是单位长度，需进行归一化，称之为非归一化投影方向矢量，其中，每个投影方向矢量各对应一个投影角度θk；
(12)计算输入二维多元信号I沿每个投影角度θk所对应的归一化投影方向矢量的投影提取/>局部极大值所在的位置/>
(13)使用Delaunay三角剖分算法，拟合散点得到θk所对应的极大值曲面/>
(14)平均m个投影方向得到的极大值曲面，得到均值曲面M；
(15)计算D＝I-M，得到一个2D-IMF，其中D就是提取出的2D-IMF分量；计算I＝I-D；
(16)重复步骤(11)-(15)，直至所有的2D-IMF都被提取出来；
(2)2D-MEMD算法将输入的二维多元信号分解为2D-IMFs，不同的2D-IMF表征了不同图像的不同空间尺度响应；
(3)使用局部方差最大法或局部能量最大法对相同空间尺度的2D-IMFs进行融合，再将不同空间尺度的融合结果相加，即可得到多图像融合的结果。
2.如权利要求1所述的用于多图像融合的二维多元经验模态分解算法，其特征在于，步骤(3)中，使用局部方差最大法对相同空间尺度的2D-IMFs进行融合具体包括如下步骤：
(31)将第q幅图像的第p个2D-IMF表示为滑动窗口的大小为(2z+1)×(2z+1)，其中z为正整数，用于衡量滑动窗口的大小，局部方差计算为：
其中，
式中，表示第q幅图像的第p个2D-IMF在位置(i,j)处的局部方差，μ表示位置(i,j)处的局部均值；
(32)对应的权重矩阵/>计算为：
(33)每幅图像的第p个2D-IMF的融合结果计算为：
式中，Fp表示融合后的第p个2D-IMF；
(34)多图像融合的结果Id计算为：
3.如权利要求1所述的用于多图像融合的二维多元经验模态分解算法，其特征在于，步骤(3)中，使用局部能量最大法对相同空间尺度的2D-IMFs进行融合具体包括如下步骤：
(35)将第q幅图像的第p个2D-IMF表示为滑动窗口的大小为(2z+1)×(2z+1)，其中，z为一正整数，用于衡量滑动窗口的大小，局部能量计算为：
式中，表示第q幅图像的第p个2D-IMF在位置(i,j)处的局部能量；
(36)对应的权重矩阵/>计算为：
(37)每幅图像的第p个2D-IMF的融合结果计算为：
式中，Fp表示融合后的第p个2D-IMF；
(38)多图像融合的结果Id计算为：
4.如权利要求1所述的用于多图像融合的二维多元经验模态分解算法，其特征在于，步骤(11)中，非归一化投影方向矢量的具体生成方式具体为：对于任一正整数c，其基b展开形式ac＝[ac(0),ac(1),…,ac(M-1)]T与c满足以下等式：
式中，M表示c的基b展开形式ac的长度；那么，该正整数c的基b反转表示为gb(c)，如下：
此时，非归一化投影方向矢量构成的矩阵H表示为：
式中，b1,b2,…,bm-1为互不相等的正整数。
5.如权利要求1所述的用于多图像融合的二维多元经验模态分解算法，其特征在于，步骤(11)中，对于所述非归一化投影方向矢量，其归一化计算方式具体为：选取任一投影方向矢量为x＝[x1,x2,…,xn]T，与其对应的(n-1)维角度坐标为通过如下方式计算：
此时，未归一化投影方向矢量x归一化表示形式u＝[u1,u2,…,un]T计算为:
CN201811609919.5A 2018-12-27 2018-12-27 一种用于多图像融合的二维多元经验模态分解算法 Active CN109767411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811609919.5A CN109767411B (zh) 2018-12-27 2018-12-27 一种用于多图像融合的二维多元经验模态分解算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811609919.5A CN109767411B (zh) 2018-12-27 2018-12-27 一种用于多图像融合的二维多元经验模态分解算法

Publications (2)

Publication Number Publication Date
CN109767411A CN109767411A (zh) 2019-05-17
CN109767411B true CN109767411B (zh) 2023-08-04

Family

ID=66452055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811609919.5A Active CN109767411B (zh) 2018-12-27 2018-12-27 一种用于多图像融合的二维多元经验模态分解算法

Country Status (1)

Country Link
CN (1) CN109767411B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287446A (zh) * 2019-05-29 2019-09-27 东南大学 一种快速二维多元经验模态分解算法
CN111369488B (zh) * 2020-05-28 2020-11-10 江苏集萃移动通信技术研究所有限公司 用于多图像融合的二维多元信号经验模态快速分解方法
CN113742802A (zh) * 2021-09-03 2021-12-03 国网经济技术研究院有限公司 用于工程图纸融合的二维多元信号经验模态分解快速方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100074496A1 (en) * 2008-09-23 2010-03-25 Industrial Technology Research Institute Multi-dimensional empirical mode decomposition (emd) method for image texture analysis
CN102129676A (zh) * 2010-01-19 2011-07-20 中国科学院空间科学与应用研究中心 一种基于二维经验模态分解的显微图像融合方法
CN103413283A (zh) * 2013-07-12 2013-11-27 西北工业大学 一种基于二维emd和改进局部能量的多聚焦图像融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100074496A1 (en) * 2008-09-23 2010-03-25 Industrial Technology Research Institute Multi-dimensional empirical mode decomposition (emd) method for image texture analysis
CN102129676A (zh) * 2010-01-19 2011-07-20 中国科学院空间科学与应用研究中心 一种基于二维经验模态分解的显微图像融合方法
CN103413283A (zh) * 2013-07-12 2013-11-27 西北工业大学 一种基于二维emd和改进局部能量的多聚焦图像融合方法

Also Published As

Publication number Publication date
CN109767411A (zh) 2019-05-17

Similar Documents

Publication Publication Date Title
CN109767411B (zh) 一种用于多图像融合的二维多元经验模态分解算法
Yang et al. Single-image super-resolution reconstruction via learned geometric dictionaries and clustered sparse coding
Gu et al. Detrending moving average algorithm for multifractals
Wang et al. TPSSI-Net: Fast and enhanced two-path iterative network for 3D SAR sparse imaging
Griesmaier et al. A multifrequency MUSIC algorithm for locating small inhomogeneities in inverse scattering
Su et al. Color and depth priors in natural images
Myronenko et al. Maximum likelihood motion estimation in 3D echocardiography through non-rigid registration in spherical coordinates
DE102016106511A1 (de) Parametrische Online-Kalibrierung und Kompensation bei der TOF-Bilderzeugung
CN103455991A (zh) 一种多聚焦图像融合方法
Li et al. Atomic norm denoising for complex exponentials with unknown waveform modulations
Mohammad-Djafari et al. Regularization, maximum entropy and probabilistic methods in mass spectrometry data processing problems
Antensteiner et al. A review of depth and normal fusion algorithms
Weißer Arbitrary order Trefftz-like basis functions on polygonal meshes and realization in BEM-based FEM
Arefijammal et al. Image processing by alternate dual Gabor frames
Kitazaki et al. Shear wavelength estimation based on inverse filtering and multiple-point shear wave generation
CN108734658A (zh) 一种高分辨率图像的重建方法及系统
Li et al. 3D ultrasound spine imaging with application of neural radiance field method
Yousufi et al. Application of compressive sensing to ultrasound images: a review
Patel et al. Medical image fusion based on multi-scaling (DRT) and multi-resolution (DWT) technique
Medrano et al. Radius selection using kernel density estimation for the computation of nonlinear measures
Raj A hierarchical Bayesian-MAP approach to inverse problems in imaging
Keren et al. Denoising color images using regularization and “correlation terms”
Patel et al. Bayesian inference in physics-driven problems with adversarial priors
Tristán et al. A fast B-spline pseudo-inversion algorithm for consistent image registration
EP2189812A1 (en) Providing volume information on a periodically moving target object in an ultrasound system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant