CN103617604B - 基于二维经验模态分解方法特征提取的图像的融合方法 - Google Patents

Abstract

本发明公开了一种基于二维经验模态分解方法特征提取的图像的融合方法，本发明将BEMD运用到医学图像特征提取中，通过将BEMD分解后的子图像和趋势图输入神经网络获取他们的点火映射图，提取不同分解层对应医学图像特征；之后将对应于图像纹理信息和背景信息的系数分别通过PCNN和双通道PCNN选取融合系数，由于区别对待代表图像纹理和背景信息的像素，既保护了图像中的特征，又有效改善了PCNN在医学图像系数选择中的效果。

Description

基于二维经验模态分解方法特征提取的图像的融合方法

技术领域

本发明涉及一种图像处理方法，具体是一种基于BEMD特征提取的头部医学图像融合方法。

背景技术

随着成像技术的突飞猛进，各类精密成像设备推动了医学影像学的发展，为临床提供了丰富的人体医学影像。但成像设备种类众多，其成像机理不同，反映医学信息各有侧重，为了全面分析医学图像中包含的解剖信息和功能信息，需要对多模态医学图像进行融合。

医学图像融合技术面向多模态医学图像，把各种医学图像的信息有机地结合，完成各类医学信息融合，不仅有效利用已有医学影像，而且还有助于发掘潜在医学信息，辅助医院诊疗。

目前图像融合方法包括基于空域变换和频域变换的方法，其中以小波变换和各类超小波变换为代表的基于多分辨分析的图像融合方法应用最广，但小波变换和其改进方法依赖于预先定义的滤波器或基函数，小波变换会有下采样操作，变换后图像会引进伪吉布斯现象，降低融合图像质量。Huang等人为达到对非线性和非稳态的数据进行自适应和多尺度分析，提出了经验模式分解(empiricalmodedecomposition,简称EMD)。经验模式分解（EMD）作为一种新的多尺度图像分解方法，具有比小波分析更直观的特征表示方式和更灵活的频率特性，避免了分解中引进冗余信息，同时EMD对于图像细节保护和图像纹理的提取等方面具有优势，适合于对安全性要求较高的医学图像进行多分辨分析。

EMD分解具有优越的空间和频率特性，通过将其拓展得到了可应用于二维信号的二维经验模态分解(BEMD)方法，BEMD同样具有数据驱动和良好的自适应性等特点，而且具有多尺度特性。

将BEMD用于医学图像处理，可以将原图像分解成频率从高到低的有限个二维内蕴模函数(BIMF)和趋势图像。内蕴模函数（IMF）之间是近似正交的,即不同IMF分别对应图像的各个频率成分,IMF的首项蕴含了纹理的局部高频频率特征和主要结构信息，其余IMFs蕴含了局部中频频率特征和较粗尺度结构信息，残差项蕴含了局部低频信息和整体趋势。

BEMD是一个自适应的分解过程，图像分解过程很大程度由数据本身特性决定。也就是说，在二维经验模态分解过程中，如果筛分终止条件等因素一致，一幅图像分解出来的BIMF个数由图像数据本身的特征决定，因此不同图像可能分解出的BIMF个数不同，在纹理分析等领域中得到广泛的应用。

本发明将BEMD运用到医学图像特征提取中，通过将BEMD分解后的子图像和趋势图输入神经网络获取他们的点火映射图，提取不同分解层对应医学图像特征；之后将对应于图像纹理信息和背景信息的系数分别通过PCNN和双通道PCNN选取融合系数，由于区别对待代表图像纹理和背景信息的像素，既保护了图像中的特征，又有效改善了PCNN在医学图像系数选择中的效果。

发明内容

本发明需要解决的技术问题就在于克服现有技术的缺陷，提供一种基于二维经验模态分解方法特征提取的图像的融合方法，它针对CT和MR多模头部医学图像进行融合，通过BEMD提取特征并将图像区域分为纹理和非纹理两部分，将两区域分别建立融合规则选择融合系数，由于轮廓、纹理等信息被较好保护，本方法具备了BEMD和PCNN两者的优势，改善了融合图像质量。

为解决上述问题，本发明采用如下技术方案：

本发明提供了一种基于二维经验模态分解方法特征提取的图像的融合方法，所述方法包括以下步骤：

1）.将待融合的两幅图像分别通过BEMD分解得到BIMFs和余量res层系数；

2）.将BIMFs和res层系数分别输入到PCNN中，分别得到各自点火映射图，并将各自的点火映射图相加得到总的点火映射图；

3）.将原始图像中点火次数相同的像素点归为一类，根据点火次数将图像划分为纹理区域和非纹理区域，图像所有像素分别属于纹理类和非纹理类；

4）.根据步骤3）获得的各分类集合，计算纹理类像素的灰度极值确定其灰度分布范围，将两幅图像中纹理类像素的灰度分布范围求交集，取交集范围内对应的像素，通过PCNN选择融合系数，其余像素通过双通道PCNN进行融合；

5）.将融合系数重构得融合图像。

本发明将BEMD运用到医学图像特征提取中，通过将BEMD分解后的子图像和趋势图输入神经网络获取他们的点火映射图，提取不同分解层对应医学图像特征；之后将对应于图像纹理信息和背景信息的系数分别通过PCNN和双通道PCNN选取融合系数，由于区别对待代表图像纹理和背景信息的像素，既保护了图像中的特征，又有效改善了PCNN在医学图像系数选择中的效果。

附图说明

图1为实施例效果示意图。

图中：（a）为头部CT图像、（b）为头部MR图像、（c）为实施例效果图、（d）为基于拉普拉斯金字塔变换（Lap）融合效果图、（e）为基于离散小波变换（DWT）的融合效果图。

具体实施方式

本实施例包括以下步骤：

第一步：对已配准的医学头部CT和MR图像和分别进行BEMD分解，得到频率从高到低的有限个二维内蕴模函数(BIMF)和余量（趋势图像）；

BEMD分解的算法步骤如下：

1)初始化，设源图像，趋势图像为：

；

2)如果趋势图像单调或达到图像的分解层数,则算法停止;否则,令,即，进入筛选过程；

3)利用形态学算法，对图像求解极值点,找出区域极大值点集和极小值点集；

4)分别对区域极大值点集和极小值点集进行平面插值,得出图像的上、下包络面,根据上、下包络面求出图像（k为大于等于1的正整数）的均值：

（1）

5)令,判断筛选过程是否满足停止条件SD,如果不满足则转步骤3，其中SD为：

（2）

6)判断是否为内蕴模函数（IMF）其依据是：若（为阈值，本发明中设定），则，否则令，转到步骤2。

7)求余量：，若中间部分仍有不少于2个的极值点或者分解得到的IMF数目未达到要求，将转到步骤（2），；

8）得到二维分解表达式为:

（3）

以上步骤中,是第j个二维内蕴模函数,是经过J层分解后的趋势图像。

第二步：将BIMFs和res层系数分别输入到PCNN中，分别得到各自点火映射图，并将各自的点火映射图相加得到总的点火映射图；

第三步：将原始图像中点火次数相同的像素点归为一类，若最大点火次数为N，则像素点共分为N类（N为自然数），由于点火次数高的像素一般对应于图像的纹理，本文将点火次数为的分类定义为纹理类，剩余类定义为非纹理类，其中

$n=\left\{\begin{array}{c}\frac{N}{2},N\∈2m\\ \frac{N+1}{2},N\∈2m+1\end{array}\right.,$ m属于正整数；

第四步：根据各分类集合的像素极值确定各个分类灰度分布范围（极小值～极大值），将两幅图像中纹理类的灰度分布范围求交集，即若源图像和的纹理类中像素点灰度分布范围分别为（p～q）和（s～t），其中p、q、s和t均为小于256的正整数，则取两者交集范围内对应的像素，通过PCNN进行选择融合，其余像素对应图像区域视为非纹理部分，通过双通道PCNN进行融合。

所述的融合是指：将归一化的待融合图像和的纹理区域的每个像素点对应一个神经元，灰度值作为对应神经元的输入，经过PCNN点火得到源图像在纹理区域的点火映射图，根据融合规则选取融合系数，将融合系数进行区域一致性检验，获取融合系数。

所述的初始化是指：初始时各神经元都处于熄火状态，，，，。

所述的迭代具体步骤包括：

a)初始条件:各神经元都处于熄火状态，，，，；

b)迭代操作:将分解系数输入网络，通过接收域的表达、调制域和脉冲产生域，逐点计算和，并比较两者大小以决定是否产生点火事件，具体包括：

PCNN对应迭代操作过程中的神经元由接收域、调制域和脉冲产生域组成：

接受域：

（4）

调制域：

（5）

脉冲产生域：

（6）

（7）

式子中，x和y表示图像各像素点横纵坐标值。代表输入激励，一般可以是处归一化之后的像素灰度值、分解后系数的拉普拉斯能量、梯度能量、空间频域等。代表迭代次数，表示反馈通道输入，为突触联接权，为归一化常数，表示神经元的内部活动项。表示连接强度，表示神经元的脉冲输出，它的值为0或者1。是动态阈值，，为调节对应式子的常量，n为迭代次数。如果，则神经元产生一个脉冲，称为一次点火。事实上，次迭代以后，利用神经元总的点火次数来表示图像对应点处的信息。经过PCNN点火，由神经元总的点火次数构成的点火映射图作为PCNN的输出。

双通道PCNN是对PCNN的改进形式，对应迭代操作过程中的神经元由接收域、调制域和脉冲产生域组成：

接受域：

（8）

（9）

调制域：

（10）

脉冲产生域：

（11）

（12）

其中：、是两个通道第个神经元的反馈输入量，、为外部激励输入，为神经元动态阈值，为时间常数，为归一化常数，为内部活动项，和分别是、的权重系数，为第个神经元的输出，n为迭代次数。

所述的接收域接受来自两个通道的外部输入，分别对应两幅不同聚焦源图，这两个量在调制部分进行调制，产生内部活动项。输入到脉冲产生部分产生神经元的脉冲输出值。所述的脉冲产生域中，当时，神经元被激活，输出一个脉冲，同时，通过反馈迅速提升，继续进行下一次迭代。当时，脉冲产生器关闭，停止产生脉冲。之后，阈值开始指数下降，当时，脉冲产生器打开，进入新的迭代循环。

c)迭代终止条件：所有分解系数均计算完毕后，完成本次迭代。

脉冲发生器根据当前的阈值决定点火事件，记录每次迭代后所有神经元点火数量。若迭代次数达到N时，停止迭代。N是指网络中设定的迭代次数。确定融合系数：

令，式中表示融合图像的子带系数，表示内部活动项，是图像中的位于第x行、第y列的像素点，，，P为图像总的行数，Q为图像总的列数。

归一化的对应融合系数。由于的一些值可能超过图像动态范围值，不能直接作为输出图像数据，因此将的值归一化到[0，1]。

本发明涉及的融合规则是指：

a.通过PCNN选择融合系数

根据像素点映射的神经元激发所产生的点火次数的大小作为像素点优选的指标，来选择两幅图像中对应位置的融合系数；

b.通过双通道PCNN选择融合系数

双通道PCNN可改善PCNN在医学图像中偏暗区域特征选择的效果，与传统的单通道PCNN相比，双通道PCNN是由两个简化PCNN并行组成，首先通过计算以像素点A(x,y)为中心位置的3*3邻域中任意3个点的和与其它任意3个点的差值，得到其中最小值和最大值，将最大值和最小值的差H，经过运算得到A(x-1,y-1)的β值。通过选择两个通道中神经元的内部活动项来控制像素点的点火状态。从而根据选择两幅图中像素点最大的作为融合图像的像素点。

初始化,

。

根据公式（5）-（7）计算PCNN中的，根据公式（10）-（12）计算双通道PCNN中的。

融合系数的选取规则如下：

（13）

表示融合系数，与分别表示源图和中对应的系数。

第五步：将融合系数重构得融合图像。

图1为实施例效果示意图；图中：（a）为头部CT图像、（b）为头部MR图像、（c）为实施例效果图、（d）为基于拉普拉斯金字塔变换（Lap）融合效果图、（e）为基于离散小波变换（DWT）的融合效果图。

综上所述，通过图1的效果比较可以看到，本方法更好地融合多聚焦图像的各自的信息，不仅有效地丰富了图像的背景信息，而且最大限度地保护了图像中的细节，符合人眼视觉特性。所以，在融合图像忠实于源图真实信息方面，本发明方法明显好于基于拉普拉斯金字塔、离散小波变换、主成分分析和FSDPyramid的融合效果。

表1中通过、互信息（MI）来衡量不同融合方法获得的融合图像质量，表示融合图像中边缘信息丰富程度，MI表示融合图像包含了源图像信息的程度，由表1中数据可以看到，本方法在、互信息两个指标和其他方法相比都有明显改善，显示本方法所生成的融合图像具有较大的局部梯度，灰度级分布更加分散，图像纹理较丰富，细节突出，融合效果更好。

表1融合结果比较

	本文方法	拉普拉斯金字塔	离散小波变化	主成分分析	FSD Pyramid
						MI	6.8849	2.5564	2.1149	6.2410	2.6289
	0.8052	0.7293	0.6162	0.6483	0.7269

最后应说明的是：显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (1)

1.一种基于二维经验模态分解方法特征提取的图像的融合方法，其特征在于，所述方法包括以下步骤：

1）.将待融合的两幅图像分别通过二维经验模态分解BEMD分解得到二维固有模态函数BIMFs和分解后得到的余量res层系数；

2）.将二维固有模态函数BIMFs和分解后得到的余量res层系数分别输入到脉冲耦合神经网络PCNN中，分别得到各自点火映射图，并将各自的点火映射图相加得到总的点火映射图；

3）.将原始图像中点火次数相同的像素点归为一类，根据点火次数将图像划分为纹理区域和非纹理区域，图像所有像素分别属于纹理类和非纹理类；

4）.根据步骤3）获得的各分类集合，计算纹理类像素的灰度极值确定其灰度分布范围，将两幅图像中纹理类像素的灰度分布范围求交集，取交集范围内对应的像素，通过脉冲耦合神经网络PCNN选择融合系数，其余像素通过双通道脉冲耦合神经网络PCNN进行融合；

5）.将融合系数重构得融合图像。