CN103617604A - 基于二维经验模态分解方法特征提取的图像的融合方法 - Google Patents
基于二维经验模态分解方法特征提取的图像的融合方法 Download PDFInfo
- Publication number
- CN103617604A CN103617604A CN201310379491.0A CN201310379491A CN103617604A CN 103617604 A CN103617604 A CN 103617604A CN 201310379491 A CN201310379491 A CN 201310379491A CN 103617604 A CN103617604 A CN 103617604A
- Authority
- CN
- China
- Prior art keywords
- image
- pcnn
- texture
- pixel
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 20
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 8
- 238000000605 extraction Methods 0.000 title abstract description 7
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 230000000694 effects Effects 0.000 abstract description 18
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 210000002569 neuron Anatomy 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010494 dissociation reaction Methods 0.000 description 2
- 230000005593 dissociations Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于二维经验模态分解方法特征提取的图像的融合方法,本发明将BEMD运用到医学图像特征提取中,通过将BEMD分解后的子图像和趋势图输入神经网络获取他们的点火映射图,提取不同分解层对应医学图像特征;之后将对应于图像纹理信息和背景信息的系数分别通过PCNN和双通道PCNN选取融合系数,由于区别对待代表图像纹理和背景信息的像素,既保护了图像中的特征,又有效改善了PCNN在医学图像系数选择中的效果。
Description
技术领域
本发明涉及一种图像处理方法,具体是一种基于BEMD特征提取的头部医学图像融合方法。
背景技术
随着成像技术的突飞猛进,各类精密成像设备推动了医学影像学的发展,为临床提供了丰富的人体医学影像。但成像设备种类众多,其成像机理不同,反映医学信息各有侧重,为了全面分析医学图像中包含的解剖信息和功能信息,需要对多模态医学图像进行融合。
医学图像融合技术面向多模态医学图像,把各种医学图像的信息有机地结合,完成各类医学信息融合,不仅有效利用已有医学影像,而且还有助于发掘潜在医学信息,辅助医院诊疗。
目前图像融合方法包括基于空域变换和频域变换的方法,其中以小波变换和各类超小波变换为代表的基于多分辨分析的图像融合方法应用最广,但小波变换和其改进方法依赖于预先定义的滤波器或基函数,小波变换会有下采样操作,变换后图像会引进伪吉布斯现象,降低融合图像质量。Huang 等人为达到对非线性和非稳态的数据进行自适应和多尺度分析,提出了经验模式分解(empirical mode decomposition,简称EMD)。经验模式分解(EMD)作为一种新的多尺度图像分解方法,具有比小波分析更直观的特征表示方式和更灵活的频率特性,避免了分解中引进冗余信息,同时EMD对于图像细节保护和图像纹理的提取等方面具有优势,适合于对安全性要求较高的医学图像进行多分辨分析。
EMD 分解具有优越的空间和频率特性,通过将其拓展得到了可应用于二维信号的二维经验模态分解(BEMD)方法,BEMD同样具有数据驱动和良好的自适应性等特点,而且具有多尺度特性。
将BEMD用于医学图像处理,可以将原图像分解成频率从高到低的有限个二维内蕴模函数(BIMF)和趋势图像。内蕴模函数(IMF)之间是近似正交的, 即不同IMF分别对应图像的各个频率成分, IMF的首项蕴含了纹理的局部高频频率特征和主要结构信息, 其余IMFs 蕴含了局部中频频率特征和较粗尺度结构信息,残差项蕴含了局部低频信息和整体趋势。
BEMD是一个自适应的分解过程,图像分解过程很大程度由数据本身特性决定。也就是说,在二维经验模态分解过程中,如果筛分终止条件等因素一致,一幅图像分解出来的BIMF个数由图像数据本身的特征决定,因此不同图像可能分解出的BIMF个数不同,在纹理分析等领域中得到广泛的应用。
本发明将BEMD运用到医学图像特征提取中,通过将BEMD 分解后的子图像和趋势图输入神经网络获取他们的点火映射图,提取不同分解层对应医学图像特征;之后将对应于图像纹理信息和背景信息的系数分别通过PCNN和双通道PCNN选取融合系数,由于区别对待代表图像纹理和背景信息的像素,既保护了图像中的特征,又有效改善了PCNN在医学图像系数选择中的效果。
发明内容
本发明需要解决的技术问题就在于克服现有技术的缺陷,提供一种基于二维经验模态分解方法特征提取的图像的融合方法,它针对CT和MR多模头部医学图像进行融合,通过BEMD提取特征并将图像区域分为纹理和非纹理两部分,将两区域分别建立融合规则选择融合系数,由于轮廓、纹理等信息被较好保护,本方法具备了BEMD和PCNN两者的优势,改善了融合图像质量。
为解决上述问题,本发明采用如下技术方案:
本发明提供了一种基于二维经验模态分解方法特征提取的图像的融合方法,所述方法包括以下步骤:
1).将待融合的两幅图像分别通过BEMD分解得到BIMFs和余量res层系数;
2).将BIMFs和res层系数分别输入到PCNN中,分别得到各自点火映射图,并将各自的点火映射图相加得到总的点火映射图;
3).将原始图像中点火次数相同的像素点归为一类,根据点火次数将图像划分为纹理区域和非纹理区域,图像所有像素分别属于纹理类和非纹理类;
4).根据步骤3)获得的各分类集合,计算纹理类像素的灰度极值确定其灰度分布范围,将两幅图像中纹理类像素的灰度分布范围求交集,取交集范围内对应的像素,通过PCNN选择融合系数,其余像素通过双通道PCNN进行融合;
5).将融合系数重构得融合图像。
本发明将BEMD运用到医学图像特征提取中,通过将BEMD 分解后的子图像和趋势图输入神经网络获取他们的点火映射图,提取不同分解层对应医学图像特征;之后将对应于图像纹理信息和背景信息的系数分别通过PCNN和双通道PCNN选取融合系数,由于区别对待代表图像纹理和背景信息的像素,既保护了图像中的特征,又有效改善了PCNN在医学图像系数选择中的效果。
附图说明
图1为实施例效果示意图。
图中:(a)为头部CT图像、(b)为头部MR图像、(c)为实施例效果图、(d)为基于拉普拉斯金字塔变换(Lap)融合效果图、(e)为基于离散小波变换(DWT)的融合效果图。
具体实施方式
本实施例包括以下步骤:
BEMD 分解的算法步骤如下:
1)初始化,设源图像,趋势图像为:
3) 利用形态学算法,对图像求解极值点,找出区域极大值点集和极小值点集;
(1)
8)得到二维分解表达式为:
第二步:将BIMFs和res层系数分别输入到PCNN中,分别得到各自点火映射图,并将各自的点火映射图相加得到总的点火映射图;
第三步:将原始图像中点火次数相同的像素点归为一类,若最大点火次数为N,则像素点共分为N类(N为自然数),由于点火次数高的像素一般对应于图像的纹理,本文将点火次数为的分类定义为纹理类,剩余类定义为非纹理类,其中
第四步:根据各分类集合的像素极值确定各个分类灰度分布范围(极小值~极大值),将两幅图像中纹理类的灰度分布范围求交集,即若源图像和的纹理类中像素点灰度分布范围分别为(p~q)和(s~t),其中p、q、s和t均为小于256的正整数,则取两者交集范围内对应的像素,通过PCNN进行选择融合,其余像素对应图像区域视为非纹理部分,通过双通道PCNN进行融合。
所述的融合是指:将归一化的待融合图像和的纹理区域的每个像素点对应一个神经元,灰度值作为对应神经元的输入,经过PCNN点火得到源图像在纹理区域的点火映射图,根据融合规则选取融合系数,将融合系数进行区域一致性检验,获取融合系数。
所述的迭代具体步骤包括:
PCNN对应迭代操作过程中的神经元由接收域、调制域和脉冲产生域组成:
接受域:
调制域:
脉冲产生域:
(7)
式子中,x和y表示图像各像素点横纵坐标值。代表输入激励,一般可以是处归一化之后的像素灰度值、分解后系数的拉普拉斯能量、梯度能量、空间频域等。代表迭代次数,表示反馈通道输入, 为突触联接权,为归一化常数,表示神经元的内部活动项。表示连接强度,表示神经元的脉冲输出,它的值为0或者1。是动态阈值,, 为调节对应式子的常量,n为迭代次数。如果,则神经元产生一个脉冲,称为一次点火。事实上, 次迭代以后,利用神经元总的点火次数来表示图像对应点处的信息。经过PCNN 点火,由神经元总的点火次数构成的点火映射图作为PCNN 的输出。
双通道PCNN是对PCNN的改进形式,对应迭代操作过程中的神经元由接收域、调制域和脉冲产生域组成:
接受域:
调制域:
脉冲产生域:
所述的接收域接受来自两个通道的外部输入,分别对应两幅不同聚焦源图,这两个量在调制部分进行调制,产生内部活动项。输入到脉冲产生部分产生神经元的脉冲输出值。所述的脉冲产生域中,当时,神经元被激活,输出一个脉冲,同时,通过反馈迅速提升,继续进行下一次迭代。当时,脉冲产生器关闭,停止产生脉冲。之后,阈值开始指数下降,当时,脉冲产生器打开,进入新的迭代循环。
c)迭代终止条件:所有分解系数均计算完毕后,完成本次迭代。
脉冲发生器根据当前的阈值决定点火事件,记录每次迭代后所有神经元点火数量。若迭代次数达到N时,停止迭代。N是指网络中设定的迭代次数。确定融合系数:
本发明涉及的融合规则是指:
a. 通过PCNN选择融合系数
根据像素点映射的神经元激发所产生的点火次数的大小作为像素点优选的指标,来选择两幅图像中对应位置的融合系数;
b. 通过双通道PCNN选择融合系数
双通道PCNN可改善PCNN在医学图像中偏暗区域特征选择的效果,与传统的单通道PCNN相比,双通道PCNN是由两个简化PCNN并行组成,首先通过计算以像素点A(x,y)为中心位置的3*3邻域中任意3个点的和与其它任意3个点的差值,得到其中最小值和最大值,将最大值和最小值的差H,经过运算得到A(x-1,y-1)的β值。通过选择两个通道中神经元的内部活动项来控制像素点的点火状态。从而根据选择两幅图中像素点最大的作为融合图像的像素点。
。
融合系数的选取规则如下:
第五步:将融合系数重构得融合图像。
图1为实施例效果示意图;图中:(a)为头部CT图像、(b)为头部MR图像、(c)为实施例效果图、(d)为基于拉普拉斯金字塔变换(Lap)融合效果图、(e)为基于离散小波变换(DWT)的融合效果图。
综上所述,通过图1的效果比较可以看到,本方法更好地融合多聚焦图像的各自的信息,不仅有效地丰富了图像的背景信息,而且最大限度地保护了图像中的细节,符合人眼视觉特性。所以,在融合图像忠实于源图真实信息方面,本发明方法明显好于基于拉普拉斯金字塔、离散小波变换、主成分分析和FSD Pyramid的融合效果。
表1中通过、互信息(MI)来衡量不同融合方法获得的融合图像质量, 表示融合图像中边缘信息丰富程度,MI表示融合图像包含了源图像信息的程度,由表1中数据可以看到,本方法在、互信息两个指标和其他方法相比都有明显改善,显示本方法所生成的融合图像具有较大的局部梯度,灰度级分布更加分散,图像纹理较丰富,细节突出,融合效果更好。
表1 融合结果比较
本文方法 | 拉普拉斯金字塔 | 离散小波变化 | 主成分分析 | FSD Pyramid | |
MI | 6.8849 | 2.5564 | 2.1149 | 6.2410 | 2.6289 |
0.8052 | 0.7293 | 0.6162 | 0.6483 | 0.7269 |
最后应说明的是:显然,上述实施例仅仅是为清楚地说明本发明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。
Claims (1)
1.一种基于二维经验模态分解方法特征提取的图像的融合方法,其特征在于,所述方法包括以下步骤:
1).将待融合的两幅图像分别通过BEMD分解得到BIMFs和余量res层系数;
2).将BIMFs和res层系数分别输入到PCNN中,分别得到各自点火映射图,并将各自的点火映射图相加得到总的点火映射图;
3).将原始图像中点火次数相同的像素点归为一类,根据点火次数将图像划分为纹理区域和非纹理区域,图像所有像素分别属于纹理类和非纹理类;
4).根据步骤3)获得的各分类集合,计算纹理类像素的灰度极值确定其灰度分布范围,将两幅图像中纹理类像素的灰度分布范围求交集,取交集范围内对应的像素,通过PCNN选择融合系数,其余像素通过双通道PCNN进行融合;
5).将融合系数重构得融合图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310379491.0A CN103617604B (zh) | 2013-08-28 | 2013-08-28 | 基于二维经验模态分解方法特征提取的图像的融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310379491.0A CN103617604B (zh) | 2013-08-28 | 2013-08-28 | 基于二维经验模态分解方法特征提取的图像的融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103617604A true CN103617604A (zh) | 2014-03-05 |
CN103617604B CN103617604B (zh) | 2016-06-15 |
Family
ID=50168308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310379491.0A Expired - Fee Related CN103617604B (zh) | 2013-08-28 | 2013-08-28 | 基于二维经验模态分解方法特征提取的图像的融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103617604B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104021536A (zh) * | 2014-06-16 | 2014-09-03 | 西北工业大学 | 一种自适应的sar图像和多光谱图像融合方法 |
CN104881631A (zh) * | 2015-04-16 | 2015-09-02 | 广西师范大学 | 多特征整合的宫颈细胞图像特征提取与识别方法及宫颈细胞特征识别装置 |
CN105225213A (zh) * | 2015-09-29 | 2016-01-06 | 云南大学 | 一种基于s-pcnn与拉普拉斯金字塔的彩色图像融合方法 |
CN105427269A (zh) * | 2015-12-09 | 2016-03-23 | 西安理工大学 | 一种基于wemd和pcnn的医学图像融合方法 |
CN106981059A (zh) * | 2017-03-30 | 2017-07-25 | 中国矿业大学 | 结合pcnn和压缩感知的二维经验模态分解图像融合方法 |
CN110189277A (zh) * | 2019-06-05 | 2019-08-30 | 电子科技大学 | 一种基于经验模态分解的高动态范围图像可视化方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102129676A (zh) * | 2010-01-19 | 2011-07-20 | 中国科学院空间科学与应用研究中心 | 一种基于二维经验模态分解的显微图像融合方法 |
CN102622730A (zh) * | 2012-03-09 | 2012-08-01 | 武汉理工大学 | 基于非降采样Laplacian金字塔和BEMD的遥感图像融合处理方法 |
-
2013
- 2013-08-28 CN CN201310379491.0A patent/CN103617604B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102129676A (zh) * | 2010-01-19 | 2011-07-20 | 中国科学院空间科学与应用研究中心 | 一种基于二维经验模态分解的显微图像融合方法 |
CN102622730A (zh) * | 2012-03-09 | 2012-08-01 | 武汉理工大学 | 基于非降采样Laplacian金字塔和BEMD的遥感图像融合处理方法 |
Non-Patent Citations (1)
Title |
---|
WEI LIANG,ZHIFANG LIU: ""Region-based Fusion of Infrared and Visible Images Using Bidimensional Empirical Mode Decomposition"", 《INTERNATIONAL CONFERENCE ON EDUCATIONAL AND INFORMATION TECHNOLOGY》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104021536A (zh) * | 2014-06-16 | 2014-09-03 | 西北工业大学 | 一种自适应的sar图像和多光谱图像融合方法 |
CN104021536B (zh) * | 2014-06-16 | 2017-01-04 | 西北工业大学 | 一种自适应的sar图像和多光谱图像融合方法 |
CN104881631A (zh) * | 2015-04-16 | 2015-09-02 | 广西师范大学 | 多特征整合的宫颈细胞图像特征提取与识别方法及宫颈细胞特征识别装置 |
CN105225213A (zh) * | 2015-09-29 | 2016-01-06 | 云南大学 | 一种基于s-pcnn与拉普拉斯金字塔的彩色图像融合方法 |
CN105225213B (zh) * | 2015-09-29 | 2018-03-09 | 云南大学 | 一种基于s‑pcnn与拉普拉斯金字塔的彩色图像融合方法 |
CN105427269A (zh) * | 2015-12-09 | 2016-03-23 | 西安理工大学 | 一种基于wemd和pcnn的医学图像融合方法 |
CN106981059A (zh) * | 2017-03-30 | 2017-07-25 | 中国矿业大学 | 结合pcnn和压缩感知的二维经验模态分解图像融合方法 |
CN110189277A (zh) * | 2019-06-05 | 2019-08-30 | 电子科技大学 | 一种基于经验模态分解的高动态范围图像可视化方法 |
CN110189277B (zh) * | 2019-06-05 | 2023-03-31 | 电子科技大学 | 一种基于经验模态分解的高动态范围图像可视化方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103617604B (zh) | 2016-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Blum et al. | Multi-sensor image fusion and its applications | |
Liu et al. | A medical image fusion method based on convolutional neural networks | |
CN103985105B (zh) | 基于统计建模的Contourlet域多模态医学图像融合方法 | |
Huang et al. | CaGAN: A cycle-consistent generative adversarial network with attention for low-dose CT imaging | |
CN103617604B (zh) | 基于二维经验模态分解方法特征提取的图像的融合方法 | |
CN102722877B (zh) | 基于双通道pcnn的多聚焦图像融合方法 | |
CN110858391A (zh) | 患者专用的深度学习图像降噪方法和系统 | |
CN105551010A (zh) | 基于nsct及深度信息激励pcnn的多聚焦图像融合方法 | |
CN109934887B (zh) | 一种基于改进的脉冲耦合神经网络的医学图像融合方法 | |
CN106981059A (zh) | 结合pcnn和压缩感知的二维经验模态分解图像融合方法 | |
Shuaiqi et al. | Medical image fusion based on rolling guidance filter and spiking cortical model | |
CN106910179A (zh) | 基于小波变换的多模态医学图像融合方法 | |
CN106909947A (zh) | 基于Mean Shift算法的CT图像金属伪影消除方法及消除系统 | |
Maneesha et al. | Multi modal medical image fusion using convolution neural network | |
CN103606138A (zh) | 一种基于纹理区域划分的医学图像的融合方法 | |
Mecheter et al. | Deep learning with multiresolution handcrafted features for brain MRI segmentation | |
Niu et al. | Suppression of correlated noise with similarity-based unsupervised deep learning | |
CN103037168B (zh) | 基于复合型PCNN的平稳Surfacelet域多聚焦图像融合方法 | |
Lepcha et al. | Multimodal medical image fusion based on pixel significance using anisotropic diffusion and cross bilateral filter | |
Zhang et al. | Research on multi-mode medical image fusion algorithm based on wavelet transform and the edge characteristics of images | |
Fayaz et al. | An effective classification methodology for brain MRI classification based on statistical features, DWT and blended ANN | |
Jahangeer et al. | Detecting breast cancer using novel mask R‐CNN techniques | |
Nao et al. | Speckle noise removal model based on diffusion equation and convolutional neural network | |
Huang et al. | Anatomical‐functional image fusion based on deep convolution neural networks in local Laplacian pyramid domain | |
Song et al. | A Novel Fusion Framework Based on Adaptive PCNN in NSCT Domain for Whole‐Body PET and CT Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information |
Inventor after: Zhang Baohua Inventor after: Zhang Fei Inventor after: Liang Hao Inventor after: Liu He Inventor before: Zhang Baohua Inventor before: Liu He Inventor before: Liang Hao |
|
COR | Change of bibliographic data | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160615 |