CN102867296B - 基于脉冲发送皮层模型的医学图像融合方法 - Google Patents

Abstract

本发明公开了一种基于脉冲发放皮层模型的医学图像融合方法，具体为：首先对图像作归一化处理，然后将图像送入脉冲发放皮层模型得到每幅待融合图像的点火映射图，对两幅点火映射图中每一待考虑像素，计算以两对应像素为中心的两图像块的欧氏距离及每一图像块的像素值的总和；最后利用基于上述参数的判决算子，对两待融合图像进行选择或加权运算，从而实现图像的有效融合。本发明将脉冲发放皮层模型用于医学图像融合，同时在融合中使用了图像块的思路，能更好地反映源图像的真实信息，弥补了现有脉冲耦合神经网络用于图像融合计算复杂的不足。

Description

基于脉冲发送皮层模型的医学图像融合方法

技术领域

本发明属于图像融合领域，具体涉及一种基于脉冲发送皮层模型的医学图像融合方法。

背景技术

图像是医学检测的一种重要手段，由于每种图像探测器都有其局限性，不能最大限度的获取信息，因此医学图像融合就在医学领域占有格外重要的地位，医学图像融合技术使得多模成像成为可能。图像融合的好坏直接影响图像信息的最大提取，从而影响医生通过医学图像对病情的诊断。医学图像融合技术可以充分利用多传感器的资源，将它们在时间和空间上的互补或冗余按照某种算法进行综合，以获得被测对象的一致性描述，而这种描述比单个传感器包含了更多的信息。因此，研究一种新的有效的图像融合算法是非常有意义的。

近年来对图像融合的研究很多，比较成熟的技术主要有拉普拉斯金字塔法，小波变换方法，基于脉冲耦合神经网络(Pulse Coupled Neural Network，PCNN)方法等融合技术。其中，PCNN较传统人工神经网络模型更接近实际的生物视觉神经网络，具有无需进行样本学习的优势，因此在图像融合中得到了广泛应用。中国专利申请号200610028153.2提出了一种基于Contourlet变换和改进型脉冲耦合神经网络的图像融合方法，该方法将Contourlet变换与PCNN相结合用于图像融合，并取得了一定的效果。但是，PCNN存在运算复杂，涉及参数多等不足。绽琨等人提出了脉冲发放皮层模型(spiking cortical model，SCM)，其输出序列脉冲富含外部激励的特征信息，将序列脉冲转化成一维特征序列，可较好标识外部激励，因此该模型在纹理图像检索、图像分割、边缘提取和图像增强等领域具有重要应用价值。然而，目前尚无将SCM用于图像融合的文献报道。

发明内容

本发明提供了一种基于脉冲发送皮层模型的医学图像融合方法，更大限度的提取了源图像的信息，使得到的融合图像包含了源图像更多的信息，并减小了复杂度。

基于脉冲发送皮层模型的医学图像融合方法，具体为：

步骤1对两幅待融合图像A⁰和B⁰进行归一化处理得到图像A和B；

步骤2分别按照如下相同方式获取两图像A和B的点火映射图A′和B′：

步骤21初始化迭代次数n＝1，阈值E_ij(1)为零矩阵，内部活动U_ij(1)为零矩阵；

步骤22 计算待融合图像的点火映射图 Y_ij(n)为第n次迭代中像素点(i，j)的输出脉冲，S_ij为外部对像素点(i，j)的神经元的刺激即像素点(i，j)的灰度值，U_ij(n)为第n次迭代中像素点(i，j)的神经元的内部活动，W_ijkl为像素点(i，j)的神经元与像素点(k，l)间的神经元间连接的突触权重，(k，l)≠(i，j)，f为神经元内部活动的衰减系数；

步骤23若n小于预定迭代次数阈值，则n＝n+1，E_ij(n)＝gE_ij(n-1)+hY_ij(n-1)，h为阈值放大系数，g为阈值衰减系数，返回步骤22，否则，进入步骤3；

步骤3利用点火映射图进行像素级的融合：

步骤31 在两点火映射图A′和B′中，分别逐像素点提取以该像素点为中心的子块和

步骤32 令z＝1；

步骤33 计算由子块和融合得到的像素点(i，j)的像素值R(i，j)：

其中，I_A′(i，j)为子块的中心像素点(i，j)对应的图像A中的像素点的像素值，I_B′(i，j)为子块的中心像素点(i，j)对应的图像B中的像素点的像素值，和分别为子块和的像素值总和，TO为子块和的欧式距离，th为判决算子阈值；

步骤34 若z小于子块总数，则z＝z+1，返回步骤33，否则，结束。

进一步地，所述子块为3×3像素矩阵。

本发明的技术效果体现在：

本发明中通过脉冲发放皮层模型得到点火映射图，较大限度的提取源图像的特征信息，然后对获得的两幅点火映射图中每一待考虑像素，计算以两像素为中心的两图像块的欧氏距离及每一图像块的像素值的总和；最后利用基于上述参数的判决算子，对两待融合图像进行选择或加权运算，从而实现图像的有效融合。由于该方法主要基于脉冲发放皮层模型，更大限度的提取了源图像的信息，从而使得到的融合图像包含了源图像更多的信息。

本发明首次将SCM用于医学图像融合，利用其具有的非线性耦合特性及脉冲同步发送等特性，弥补了脉冲耦合神经网络用于图像融合计算复杂的不足，为实现医学图像融合提供了有效手段。

附图说明

图1是本发明基于脉冲发放皮层模型的医学图像融合的流程图；

图2、图3、图4分别是本发明对三组不同的大脑图像的测试结果以及与其他方法的对比示意图，其中，图2a、3a、4a为使用SCM得到的融合图像，图2b、3b、4b为使用Laplacian Pyramid得到的融合图像，图2c、3c、4c为使用SIDWT with Haar得到的融合图像，图2d、3d、4d为使用自适应PCNN得到的融合图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明基于脉冲发放皮层模型的医学图像融合包括以下步骤：

(1)对两幅待融合图像进行归一化处理，即将源图像的像素减去源图像中最小灰度值，然后除以源图像的最大灰度值与最小灰度值之差，使源图像的灰度值范围在0到1之间。

(2)将两幅图像分别输入脉冲发放皮层模型，迭代一定次数(一般大于20次，随着迭代次数的增加融合效果增加)，获得每幅图像对应点火映射图。

脉冲发放皮层模型的原理是：

脉冲发放皮层模型由哺乳动物皮层神经元演化而来，具有同步脉冲发放的特性，其神经元由下式确定：

$U_{\mathrm{ij}}\left(n\right)={\mathrm{fU}}_{\mathrm{ij}}(n-1)+S_{\mathrm{ij}}\underset{\mathrm{kl}}{\mathrm{\Σ}}{W}_{\mathrm{ijkl}}{Y}_{\mathrm{kl}}(n-1)+S_{\mathrm{ij}}$

E_ij(n)＝gE_ij(n-1)+hY_ij(n-1)

该模型由三部分组成：输入与连接部分、调制部分和脉冲产生部分。外部刺激通过输入与连接部分刺激神经元，然后通过调制部分产生内部活动，最后若内部活动大于阈值则点火输出脉冲，若内部活动小于阈值则不输出脉冲。

具体过程如下：

(21)初始化迭代次数n＝1，阈值E_ij(1)为零矩阵，内部活动U_ij(1)为零矩阵；

(22)计算待融合图像的点火映射图 Y_ij(n)为第n次迭代中像素点(i，j)的输出脉冲，S_ij为外部对像素点(i，j)的神经元的刺激即像素点(i，j)的灰度值，U_ij(n)为第n次迭代中像素点(i，j)的神经元的内部活动，W_ijkl为像素点(i，j)的神经元与像素点(k，l)的神经元间连接的突触权重，在本实例中权重取为[0.1091，0.1409，0.1091；0.1409，0，0.1409；0.1091，0.1409，0.1091]，(k，l)≠(i，j)，f为神经元内部活动的衰减系数；

(23)若n小于预定迭代次数阈值，则n＝n+1，E_ij(n)＝gE_ij(n-1)+hY_ij(n-1)，h为阈值放大系数，g为阈值衰减系数，返回步骤22，否则，进入步骤(3)；

上述参数f、g和h一般取值在0到1之间。

(3)利用点火映射图进行像素级的融合：

(31)在两点火映射图A′和B′中，分别逐像素点提取以该像素点为中心的子块和子块大小可取为3×3～7×7矩阵，优选3×3矩阵。

(32)令z＝1；

(33)计算由子块和融合得到的像素点(i，j)的像素值R(i，j)：

其中，I_A′(i，j)为子块的中心像素点(i，j)对应的图像A中的像素点的像素值，I_B′(i，j)为子块的中心像素点(i，j)对应的图像B中的像素点的像素值，和分别为子块和的像素值总和，T0为子块和的欧式距离；th为判决算子阈值，作用是量化两块的相似度，取值范围在0到3之间。

步骤34若z小于子块总数，则z＝z+1，返回步骤33，否则，结束。

实例：

如图2所示，采用大小为256×256的CT1和MRI1，大小为275×275的CT2和MRI2及CT3和MRI3的图像进行测试，该实例中使用的参数为g＝0.7，f＝0.8，h＝20，th＝2该实例中分别使用SCM，Laplacian Pyramid，SIDWTwith Haar和自适应PCNN对三组图像进行图像融合，以及计算融合图像的互信息(MI)和边缘保护度(Q^AB/F)并进行对比，为了对比的公平性，融合图像都采用bmp格式保存。

由CT1和MRI1经SCM融合得到的图像如图2a所示，，经LaplacianPyramid融合得到的图像如图2b所示，经SIDWT with Haar融合得到的图像如图2c所示，经自适应PCNN得到的图像如图2d所示。将互信息(MI)和边缘保持度(Q^AB/F)作为评价融合图像质量的测度，经测得其各项参数如表1所示：

表1

对比指标	MI	QAB/F
			SCM	6.9700	0.8037
SIDWT with Haar	2.1887	0.7419
			Laplacian Pyramid	2.6502	0.7343
自适应PCNN	6.8132	0.7799

由CT2和MRI2经SCM融合的到的图像如图3a所示，经LaplacianPyramid融合的到的图像如图3b所示，经SIDWT with Haar融合的到的图像如图3c所示，经自适应PCNN融合得到的图像如图3d所示。各种方法得到图像的MI和Q^AB/F如表2所示：

表2

对比指标	MI	QAB/F
			SCM	4.1467	0.6398
SIDWT with Haar	2.5100	0.6662
			Laplacian Pyramid	2.3047	0.6232
自适应PCNN	4.0869	0.6275

CT3和MRI3经SCM融合的得到的图像如图4a所示，经LaplacianPyramid融合得到的图像如图4b所示，经SIDWT with Haar融合得到的图像如图4c所示，经自适应PCNN融合得到的图像如图4d所示。各方法得到图像的MI和Q^AB/F如表3所示：

表3

对比指标	MI	QAB/F
			SCM	4.6273	0.6645
SIDWT with Haar	2.7281	0.5725
			Laplacian Pyramid	2.7891	0.5421
自适应PCNN	4.3522	0.6638

由图及参数对比可知，本发明融合效果明显优于其他方法。

Claims (2)

1.基于脉冲发送皮层模型的医学图像融合方法，具体为：

步骤1 对两幅待融合图像A⁰和B⁰进行归一化处理得到图像A和B；

步骤2 分别按照如下相同方式获取两图像A和B的点火映射图A′和B′：

步骤21 初始化迭代次数n＝1，阈值E_ij(1)为零矩阵，内部活动U_ij(1)为零矩阵；

步骤22 计算待融合图像的点火映射图 $U_{\mathrm{ij}}\left(n\right)={\mathrm{fU}}_{\mathrm{ij}}(n-1)+S_{\mathrm{ij}}\underset{\mathrm{kl}}{\mathrm{\Σ}}{W}_{\mathrm{ijkl}}{Y}_{\mathrm{kl}}(n-1)+S_{\mathrm{ij}},$ Y_ij(n)为第n次迭代中像素点(i,j)的输出脉冲，Y_kl(n-1)为第n-1次迭代中像素点(k,l)的输出脉冲，S_ij为外部对像素点(i,j)的神经元的刺激即像素点(i,j)的灰度值，U_ij(n)为第n次迭代中像素点(i,j)的神经元的内部活动，W_ijkl为像素点(i,j)的神经元与像素点(k,l)间的神经元间连接的突触权重，(k,l)≠(i,j)，f为神经元内部活动的衰减系数；

步骤23 若n小于预定迭代次数阈值，则n＝n+1，E_ij(n)＝gE_ij(n-1)+hY_ij(n-1)，h为阈值放大系数，g为阈值衰减系数，返回步骤22，否则，进入步骤3；

步骤3 利用点火映射图进行像素级的融合：

步骤31 在两点火映射图A′和B′中，分别逐像素点提取以该像素点为中心的子块和

步骤32 令z＝1；

步骤33 计算由子块和融合得到的像素点(i，j)的像素值R(i，j)：

其中，I_A′(i,j)为子块的中心像素点(i,j)对应的图像A中的像素点的像素值，I_B′(i,j)为子块的中心像素点(i,j)对应的图像B中的像素点的像素值，和分别为子块和的像素值总和，T0为子块和的欧式距离，th为判决算子阈值；

步骤34 若z小于子块总数，则z＝z+1，返回步骤33，否则，结束。

2.根据权利要求1所述的基于脉冲发送皮层模型的医学图像融合方法，其特征在于，所述子块为3×3像素矩阵。