CN109493306A - 一种多模医学图像融合方法 - Google Patents

Abstract

本发明公开了一种多模医学图像融合方法，所述方法包括以下步骤，步骤1，移动帧分解框架分解多模医学图像；步骤2，纹理成分融合；步骤3，近似成分融合；步骤4，成分合成过程。本发明能够通过多层结构，提高了提取图像细节的能力。

Description

一种多模医学图像融合方法

技术领域

本发明涉及图像融合技术领域，具体涉及一种多模医学图像融合方法。

背景技术

众所周知，医学成像在临床运用，比如说诊断、治疗计划和手术导航中起着越来越重要的关键作用。由于成像机制的多样性，具有不同模态的医学图像聚焦于不同类别的器官、组织信息。为了获得用于准确诊断的足够信息，医生通常需要依次地分析以不同的方式所捕获的医学图像，但这种分离的方式在许多情况下仍然带来不便。解决这一问题的有效方法是医学图像融合技术，其目的在于生成合成图像，以集成不同模态的多个医学图像中包含的互补信息。一般情况下，图像融合由低到高分为三个层次：像素级融合、特征级融合、决策级融合。本专利研究的是像素级图像融合。像素级图像融合算法主要有空间域算法和变换域算法两类。空间域算法如灰度加权法、主成分分析法。变换域算法比如金字塔分解法、小波变换法、多尺度几何分析法。

在上述方法中，空间域图像融合方法由于只在空间域对图像进行融合处理，通常具有低对比度，提取细节不足等缺点。基于多尺度变换的融合方法由于与人类视觉系统相一致，通常能获得较好的效果。但其也存在一个分解层数不好确定的问题：分解层数太高由于对配准及噪声极为敏感，最终的融合效果反而下降；分解层数太低会导致图像细节提取不足的问题。

发明内容

本发明所要解决的问题是：提供一种多模医学图像融合方法，能够通过多层结构，提高了提取图像细节的能力。

本发明为解决上述问题所提供的技术方案为：一种多模医学图像融合方法，其特征在于：所述方法包括以下步骤，

步骤1、移动帧分解框架分解多模医学图像：利用移动帧分解框架对多模医学图像的源图像A、B分别进行分解得到源图像A的纹理成分J_A1与近似成分J_B1和B的纹理成分J_A3与近似成分J_B3；

步骤2、纹理成分融合：利用绝对值最大规则对多模医学图像的源图像A和B的纹理成分J_A1和J_B1进行融合得到融合纹理成分J_F1；

步骤3、近似成分融合：首先，分别对多模医学图像的源图像A和B的近似成分J_A3和J_B3进行多尺度变换得到它们的高频系数J_AH和J_BH和低频系数J_AL和J_BL；然后，采用绝对值最大规则对高频系数J_AH和J_BH进行融合得到融合高频系数J_FH，采用稀疏表示对低频系数J_AL和J_BL进行融合得到融合低频系数J_FL；最后，由融合高频系数J_FH和融合低频系数J_FL利用多尺度反变换重建融合近似成分J_F3；

步骤4、成分合成过程：最终的融合图像F为融合纹理成分J_F1和融合近似成分J_F3平方和的算术平方根。

与现有技术相比，本发明的优点是：

(1)解决了现有医学图像融合方法提取细节不足的问题，通过多层结构，提高了提取图像细节的能力；

(2)能进一步提取图像细节，考虑利用多级结构对图像细节进行提取。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明的基于移动帧分解框架的多模医学图像多尺度变换融合方法的基本框架。

具体实施方式

以下将配合附图及实施例来详细说明本发明的实施方式，藉此对本发明如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

本发明的具体实施例如下，

(1)移动帧分解框架分解多模医学图像

移动帧分解框架可以将一幅图像分解为纹理成分和近似成分。对于图像I，该模型大致分为以下两步：

Step 1：创建正交移动帧(Z₁,Z₂,N)

正交移动帧(Z₁,Z₂,N)由如下公式计算：

ψ:(x,y)(x,y,μI(x,y)) (2)

z₁＝(μI_x,μI_y)^T (3)

z₂＝(-μI_y,μI_x)^T (4)

d(ψ)表示ψ的微分，若I_x＝I_y＝0,则令z₁＝(1,0)^T和z₂＝(0,1)^T，单位法向量N即为Z₁和Z₂的矢量积。μ为一设定的常数，其值的选择对移动帧分解框架也有一定影响。

Step2：创建可以用于图像分解的矩阵J

矩阵J定义如下：

表示图像I的梯度，矩阵J的1,2,3列分别为Z₁,Z₂,N的坐标，然后可以利用矩阵J对图像I按公式(6)分解得到纹理成分J₁和近似成分J₃。

(2)纹理成分融合

图像融合规则通常分为两大类：基层融合规则和高频融合规则。基层融合规则比较常用的为平均值规则，即取对应位置系数的平均值为融合系数值，另外，基层融合规则还有最大值规则，即取对应位置系数值较大的为融合系数值；高频融合规则主要有最大值规则，绝对值最大规则，基于阈值的显著性规则。最大值规则与基层融合规则中最大值规则是一样的，即取对应位置系数值较大的为融合系数值；最大绝对值规则，即取对应位置系数绝对值较大的为融合系数值；基于阈值的显著性规则，即设定一个阈值，以这个阈值得到最终的融合系数值。

本专利在多模医学图像纹理部分融和中采用高频融合规则的最大绝对值规则，主要考虑到纹理成分为高频细节，取绝对值最大可以保留更多的纹理成分。

多尺度变换融合基本原理：首先，对源图像进行多尺度变换得到高频系数和低频系数，然后，高频系数和低频系数分别采用选择的融合规则进行融合，最后，由融合后的高频和低频系数进行多尺度反变换得到融合图像。

本专利拟对经过移动帧分解框架分解得到的多模医学图像近似成分采用多尺度变换方法进行融合。首先，对经过移动帧分解框架分解得到的多模医学图像近似成分分别进行多尺度变换得到高频系数和低频系数，然后，高频系数采用绝对值最大规则融合，低频系数采用稀疏表示融合，最后，由融合后的高频和低频系数进行多尺度反变换得到融合图像。

(3)近似成分融合

多尺度变换融合基本步骤：首先，对源图像进行多尺度变换得到高频系数和低频系数，然后，高频系数和低频系数分别采用选择的融合规则进行融合，最后，由融合后的高频和低频系数进行多尺度反变换得到融合图像。

稀疏表示融合基本原理：首先我们利用滑动窗技术将源图像分为一定数量的图像块，然后利用正交匹配追踪算法得到对应图像块的稀疏系数并采用特定的规则进行融合，之后利用字典D得到融合图像块，最后得到融合图像。

本专利拟对经过移动帧分解框架分解得到的多模医学图像近似成分采用多尺度变换方法进行融合。首先，对经过移动帧分解框架分解得到的多模医学图像近似成分分别进行多尺度变换得到高频系数和低频系数，然后，高频系数采用绝对值最大规则融合，低频系数采用稀疏表示融合，最后，由融合后的高频和低频系数进行多尺度反变换得到融合图像。

下面为稀疏表示的部分内容及利用稀疏表示对由多尺度变换得到的近似成分进行融合的部分细节：

信号的自然稀疏性与人类视觉系统相一致。在稀疏理论中，信号s∈R^m可以表示为s＝Dα。其中D∈R^m×n，α∈Rⁿ为对应的稀疏系数。字典D直接影响到系数编码的信号表示能力。我们这里使用M个训练图像块通过机器学习技术来获得字典D。M个训练图像块表示为字典D∈R^m×n可以通过解以下最优化问题得到：

式中ε＞0是一个足够小的数，为对应于的稀疏系数。式(7)我们采用K-SVD方法求解。

稀疏表示融合基本原理：首先我们利用滑动窗技术将源图像分为一定数量的图像块，然后利用正交匹配追踪算法得到对应图像块的稀疏系数并采用特定的规则进行融合，之后利用字典D得到融合图像块，最后得到融合图像。

在本专利中，我们利用滑动窗技术将源图像分为大小为的图像块，然后利用正交匹配追踪算法得到对应图像块的稀疏系数并利用最大1范数规则(即取稀疏系数的1范数较大的为融合稀疏系数)进行融合，之后利用字典D得到融合图像块，最后根据叠加次数取平均得到融合图像。

同样在经过移动帧分解框架得到多模医学图像近似成分多尺度变换融合中，高频系数采用高频融合规则中最大绝对值规则。低频成分通常在一幅医学图像中占绝大多数，通常采用的融合规则为平均值规则。本专利采用稀疏表示对其进行融合以进一步提取低频成分中的细节。

(4)成分合成过程

最终的融合图像F为融合纹理成分J_F1和融合近似成分J_F3平方和的算术平方根。

以上仅就本发明的最佳实施例作了说明，但不能理解为是对权利要求的限制。本发明不仅局限于以上实施例，其具体结构允许有变化。凡在本发明独立权利要求的保护范围内所作的各种变化均在本发明保护范围内。

Claims (1)

1.一种多模医学图像融合方法，其特征在于：所述方法包括以下步骤，

步骤1、移动帧分解框架分解多模医学图像：利用移动帧分解框架对多模医学图像的源图像A、B分别进行分解得到源图像A的纹理成分J_A1与近似成分J_B1和B的纹理成分J_A3与近似成分J_B3；

步骤2、纹理成分融合：利用绝对值最大规则对多模医学图像的源图像A和B的纹理成分J_A1和J_B1进行融合得到融合纹理成分J_F1；

步骤3、近似成分融合：首先，分别对多模医学图像的源图像A和B的近似成分J_A3和J_B3进行多尺度变换得到它们的高频系数J_AH和J_BH和低频系数J_AL和J_BL；然后，采用绝对值最大规则对高频系数J_AH和J_BH进行融合得到融合高频系数J_FH，采用稀疏表示对低频系数J_AL和J_BL进行融合得到融合低频系数J_FL；最后，由融合高频系数J_FH和融合低频系数J_FL利用多尺度反变换重建融合近似成分J_F3；

步骤4、成分合成过程：最终的融合图像F为融合纹理成分J_F1和融合近似成分J_F3平方和的算术平方根。