CN104899847A - 一种提高图像评价结果可信度的两模态医学图像融合方法 - Google Patents

Abstract

本发明涉及一种提高图像评价结果可信度的两模态医学图像融合方法，所述方法包括以下步骤：(1)对已配准的PET和CT图像进行双树复小波变换，得到低频子带和高频子带；(2)根据低频子带的特点，采用自适应组合隶属度函数的融合规则，并利用层次分析法确定各隶属度函数的权重；(3)高频子带系数的选取，采用基于区域能量和加权相结合的融合规则。该方法避免隶属度函数选择上的主观性，以及融合系数的固定性，提高了评价结果的可信度；并且，保持了图像之间的相关性，保留原图的有用信息，使获得的融合图像具有更好的视觉效果。

Description

一种提高图像评价结果可信度的两模态医学图像融合方法

技术领域

本发明属于医疗器械领域，涉及一种提高图像评价结果可信度的两模态医学图像融合方法。

技术背景

医学图像往往涉及人体的各种组织器官，具有数据巨量性、灰度模糊性、结构复杂性、噪声显著性等特点，一般情况下，病灶部位在整幅影像中所占的比例极低，所以在临床诊断中对图像的背景信息要求较高，如果不对图像进行处理，会对诊断结果的判断造成影响，但是，在对图像进行处理时，选择不同的隶属度函数会导致评价结果出现差异，并且会对评价结果的可信度产生影响。

图像的边缘轮廓、纹理等重要信息与高频系数的选择有直接关系。因为图像的局部特征不是由单一的像素所表达的，是由局部区域中几个像素共同表现出来，而且各高频系数之间具有较强的相关性，如果选择基于单个像素点的融合规则，则不能很好的反映该区域特征信息。因此，选择合适的图像融合规则，才能保持图像之间的相关性，保留原图的有用信息，使获得的融合图像具有更好的视觉效果。

发明内容

本发明目的针对现有技术的不足，提供一种提高图像评价结果可信度的两模态医学图像融合方法，该方法是基于双树复小波和组合隶属度函数的自适应PET/CT图像融合方法，该方法避免了隶属度函数选择上的主观性，以及融合系数的固定性，提高了评价结果的可信度；并且，保持了图像之间的相关性，保留原图的有用信息，使获得的融合图像具有更好的视觉效果。

本发明的目的通过以下技术方案予以实现：

一种提高图像评价结果可信度的两模态医学图像融合方法，所述方法包括以下步骤：

(1)对已配准的PET和CT图像进行双树复小波变换，得到低频子带和高频子带；

(2)根据低频子带的特点，采用自适应组合隶属度函数的融合规则；

(3)高频子带系数的选取，采用基于区域能量和加权相结合的融合规则；

进一步地，步骤(1)具体是对已配准的PET和CT图像中的PET图像进行DTCWT变换，得到2个低频子带和6个方向，即±15°，±45°和±75°的高频子带；

进一步地，步骤(1)具体对已配准的PET和CT图像中的CT图像进行DTCWT变换，得到2个低频子带和6个方向，即±15°，±45°和±75°的高频子带；

进一步地，所述自适应组合隶属度函数的融合规则，即：

$F(i,j)=\underset{n=1}{\overset{5}{\Σ}}{w}_n{f}_n(i,j)$

式中，w_n是函数f_n的权重，f_n为5个隶属度函数，分别是高斯隶属度函数、钟形隶属度函数、sigmoid函数型隶属度函数、三角形隶属度函数和梯形隶属度函数；

进一步地，所述基于区域能量和自适应加权相结合的融合规则，即：选定一个阈值T(T∈(0，0.5))，如果T₁小于T或者大于等于1/T，则选择能量较大的作为结果图像的高频子带系数；否则利用区域能量进行自适应加权计算低频子带融合的系数，具体如下：

$D_F^{\mathrm{\&xi;}}(i,j)=\left\{\begin{array}{cc}{D}_A^{\mathrm{\&xi;}}(i,j)& T_1(i,j)>\frac{1}{T}\\ D_B^{\mathrm{\&xi;}}(i,j)& T_1(i,j)<T\\ {\mathrm{\&omega;}}_A^{\mathrm{\&xi;}}{D}_A^{\mathrm{\&xi;}}(i,j)+{\mathrm{\&omega;}}_B^{\mathrm{\&xi;}}{D}_B^{\mathrm{\&xi;}}(i,j)& T\&le;T_1(i,j)\&le;\frac{1}{T}\end{array}\right.$

利用区域能量最终得到如下：

${\mathrm{\&omega;}}_A^{\mathrm{\&xi;}}=\frac{E_A^{\mathrm{\&xi;}}(i,j)}{E_A^{\mathrm{\&xi;}}(i,j)+E_B^{\mathrm{\&xi;}}(i,j)},{\mathrm{\&omega;}}_B^{\mathrm{\&xi;}}=\frac{E_B^{\mathrm{\&xi;}}(i,j)}{E_A^{\mathrm{\&xi;}}(i,j)+E_B^{\mathrm{\&xi;}}(i,j)}.$

本发明的有益效果：

本发明提供的一种提高图像评价结果可信度的两模态医学图像融合方法，基于双树复小波和组合隶属度函数的自适应PET/CT图像融合方法，该方法避免了隶属度函数选择上的主观性，以及融合系数的固定性，提高了评价结果的可信度；并且，保持了图像之间的相关性，保留原图的有用信息，使获得的融合图像具有更好的视觉效果。和其他像素级融合方法，如极大法、极小法、加权平均法、IHS变换和小波变换进行比较，该方法将CT图像和PET图像中的结构融合的效果最好，并且在病灶位置，骨骼边缘与软组织之间等细节处，本方法的融合效果更好；在评价指标方面，应用本方法得到的结果图像，较之应用其他方法得到的结果，指标信息熵、标准差、与CT图像的互信息和与PET图像的互信息显著提升。

附图说明

图1为已配准的CT图像；

图2为已配准的PET图像；

图3为极大法融合后图像；

图4为极小法融合后图像；

图5为加权平均法融合后的图像；

图6为IHS变换融合后的图像；

图7为小波变换融合后的图像；

图8为本发明一种提高图像评价结果可信度的两模态医学图像融合方法融合后的图像

具体实施方式

以下结合附图通过实例对本发明的技术方案做进一步说明：

实施例1：

(1)对已配准的PET和CT图像中的PET图像进行DTCWT变换，得到2个低频子带和6个方向，即±15°，±45°和±75°的高频子带；

(2)对已配准的PET和CT图像的CT图像进行DTCWT变换，得到2个低频子带和6个方向，即±15°，±45°和±75°的高频子带；

(3)根据低频子带的特点，充分考虑病灶部位在整幅图像中所占的面积较小，合理处理医学图像的背景对凸现病灶至关重要的实际，采用自适应组合隶属度函数的融合规则；

设待融合图像CT为A(i,j)，PET为B(i,j)，大小均为M×N。对图像A(i,j)和B(i,j)分别进行2层DTCWT分解。

组合隶属度函数的表示如下：

$F(i,j)=\underset{n=1}{\overset{5}{\&Sigma;}}{w}_n{f}_n(i,j),(n=1,2...5)$

式中，w_n是函数f_n的权重，f_n为5个隶属度函数，分别是高斯隶属度函数、

钟形隶属度函数、sigmoid函数型隶属度函数、三角形隶属度函数和梯形隶属度函数，其表达式如表1所示：

表1 隶属度函数

利用层次分析法确定各函数的权重w_n，首先构造判断矩阵A和比例标度表，见表2，

$A=\left[\begin{array}{ccccc}{f}_{11}& f_{12}& f_{13}& f_{14}& f_{15}\\ f_{21}& f_{22}& f_{23}& f_{24}& f_{25}\\ f_{31}& f_{32}& f_{33}& f_{34}& f_{35}\\ f_{41}& f_{42}& f_{43}& f_{44}& f_{45}\\ f_{51}& f_{52}& f_{53}& f_{54}& f_{55}\end{array}\right]=\left[\begin{array}{ccccc}1& 2& 2& 2& 2\\ 1/2& 1& 1& 1& 1/2\\ 1/2& 1& 1& 1& 1/2\\ 1/2& 1& 1& 1& 1/2\\ 1/2& 2& 2& 2& 1\end{array}\right]$

表2 比例标度表

由此可计算5个函数的的权重向量

w_n＝[0.3270 0.1413 0.1413 0.1413 0.2492]^T。

再对其进行一致性检验。判断矩阵中判断质量的标准是用一致性来衡量的。一致性指标通过计算取得λ＝5.05，由此可得当n＝5时，查阅表3，得RI＝1.12。当CR＜0.1时，矩阵有较好的一致性。因此，5个函数的的权重向量w_n为[0.3270 0.1413 0.1413 0.1413 0.2492]。

表3 随机一致性指标RI的数值

根据层次分析所获取的结果可得到组合隶属函数为：

F(i,j)＝0.3270f₁(i,j)+0.1413f₂(i,j)+0.1413f₃(i,j)+0.1413f₄(i,j)+0.2492f₅(i,j)

(4)对高频子带系数的选取，根据高频子带反映了图像的细节特性和边缘信息，高频系数的选择对图像的清晰度、边缘失真程度影响大的特点，采用基于区域能量和自适应加权相结合的融合规则，系数矩阵中以(i,j)为中心的窗口能量表达式如下，其中为了突出中心位置的特点，应用窗口函数w。

$E_o^{\mathrm{\&xi;}}(i,j)=\underset{m\&Element;S}{\&Sigma;}\underset{n\&Element;T}{\&Sigma;}w(m,n)\&CenterDot;{\&lsqb;D_o^{\mathrm{\&xi;}}(i+m,j+n)\&rsqb;}^2$

式中， $w=\frac{1}{16}\&lsqb;\begin{array}{ccccccc}1& 2& 1;2& 4& 2;1& 2& 1\end{array}\&rsqb;,$ 为图像分解后的高频子带，ο代表图像A和图像B，ξ＝1,2,3…6，分别为±15°，±45°和±75°的6个方向的。

定义T₁为两高频子带对应区域的能量差异：

$T_1(i,j)=\frac{E_A^{\mathrm{\&xi;}}(i,j)}{E_B^{\mathrm{\&xi;}}(i,j)}$

选定一个阈值T(T∈(0，0.5))。如果T₁小于T或者大于等于1/T，则证明两个高频子带在该处的能量差异明显，则选择能量较大的作为结果图像的高频子带系数；否则认为两子带相似度较高，则利用区域能量进行自适应加权计算低频子带融合的系数。

综上所述，高频子带的融合规则为：

$D_F^{\mathrm{\&xi;}}(i,j)=\left\{\begin{array}{cc}{D}_A^{\mathrm{\&xi;}}(i,j)& T_1(i,j)>\frac{1}{T}\\ D_B^{\mathrm{\&xi;}}(i,j)& T_1(i,j)<T\\ {\mathrm{\&omega;}}_A^{\mathrm{\&xi;}}{D}_A^{\mathrm{\&xi;}}(i,j)+{\mathrm{\&omega;}}_B^{\mathrm{\&xi;}}{D}_B^{\mathrm{\&xi;}}(i,j)& T\&le;T_1(i,j)\&le;\frac{1}{T}\end{array}\right.$

利用区域能量最终得到如下：

${\mathrm{\&omega;}}_A^{\mathrm{\&xi;}}=\frac{E_A^{\mathrm{\&xi;}}(i,j)}{E_A^{\mathrm{\&xi;}}(i,j)+E_B^{\mathrm{\&xi;}}(i,j)},{\mathrm{\&omega;}}_B^{\mathrm{\&xi;}}=\frac{E_B^{\mathrm{\&xi;}}(i,j)}{E_A^{\mathrm{\&xi;}}(i,j)+E_B^{\mathrm{\&xi;}}(i,j)}$

验证试验：

选用了一组已配准的非小细胞肺癌PET和CT图像融合，原图像大小均为356×356像素。

(1)与其他像素级融合方法的比较：

在该实验中，本方法和其他像素级融合方法，如极大法、极小法、加权平均法、IHS变换和小波变换进行比较，具体实验结果如图1-图8所示。

如图1所示，是患有非小细胞肺癌病人的原始CT图像，图像上可见片状密度增高影。图2是同一患者的原始PET图像，在图像上可见¹⁸F的放射性聚集。但由于融合方法的不同，得到的最终融合结果也有所不同。主观上可以看出，本方法和加权平均融合结果最好，将CT图像和PET图像中的结构很好的融合在了一起，但是加权平均融合结果在细节处不如本方法，比如在病灶位置，骨骼边缘与软组织之间比较模糊。极大法的融合结果最差，软组织之间的对比度比较低，难以分辨出细节。极小法在病变部位出现了一些原图像中不存在的波动。小波变换和IHS变换法的融合结果处于中等，而IHS法在图像的边缘的视觉效果不如小波变换的融合结果。

(2)对图像融合效果的客观评价：

为了定量评价实验一中的六个像素级融合方法的融合效果，这里采用了信息熵、均值、标准差、互信息、信噪比和平均梯度等六个指标进行客观评价。具体如表4所示：

表4 融合图像评价指标计算结果

由表4不难看出，应用本方法得到的结果图像，较之应用其他方法得到的结果，熵、标准差、与CT图像的互信息和与PET图像的互信息显著提升，值分别为5.9076，36.9925，30.0006和30.8580。以信息熵作为评价指标，在极大法、极小法、加权平均、IHS变换、小波变换的融合结果里，信息熵最大的是小波变换，值为5.8155，最小的是极小法，其值为4.6606。本方法信息熵为5.9076，与信息熵最大的小波变换相比，信息熵提高了1.58％；以与CT图像的互信息作为评价指标，在极大法、极小法、加权平均、IHS变换、小波变换的融合结果里，互信息最大的是小波变换，值为28.1415，最小的是IHS变换，其值为6.6754。本方法互信息为30.0006，与互信息最小的小波变换相比，互信息提高了6.61％。并且，其它几个指标，本方法都明显优于其它方法。

Claims (5)

1.一种提高图像评价结果可信度的两模态医学图像融合方法，所述方法包括以下骤：

(1)对已配准的PET和CT图像进行双树复小波变换，得到低频子带和高频子带；

(2)根据低频子带的特点，采用自适应组合隶属度函数的融合规则；

(3)高频子带系数的选取，采用基于区域能量和加权相结合的融合规则。

2.根据权利要求1所述的提高图像评价结果可信度的两模态医学图像融合方法，其特征在于：步骤(1)具体是对已配准的PET和CT图像中的PET图像进行DTCWT变换，得到2个低频子带和6个方向，即±15°，±45°和±75°的高频子带。

3.根据权利要求1所述的提高图像评价结果可信度的两模态医学图像融合方法，其特征在于：步骤(1)具体对已配准的PET和CT图像的CT图像进行DTCWT变换，得到2个低频子带和6个方向，即±15°，±45°和±75°的高频子带。

4.根据权利要求1或2或3所述的提高图像评价结果可信度的两模态医学图像融合方法，其特征在于：步骤(2)所述自适应组合隶属度函数的融合规则，即：

$F\left(i,j\right)=\underset{n=1}{\overset{5}{\&Sigma;}}{w}_n{f}_n\left(i,j\right)$

式中，w_n是函数f_n的权重，其值由层次分析法确定；f_n为5个隶属度函数，分别是高斯隶属度函数、钟形隶属度函数、sigmoid函数型隶属度函数、三角形隶属度函数和梯形隶属度函数。

5.根据权利要求1所述的提高图像评价结果可信度的两模态医学图像融合方法，其特征在于：所述基于区域能量和自适应加权相结合的融合规则，即：选定一个阈值T(T∈(0，0.5))，如果T₁小于T或者大于等于1/T，则选择能量较大的作为结果图像的高频子带系数；否则利用区域能量进行自适应加权计算低频子带融合的系数，具体如下：

$D_F^{\mathrm{\&xi;}}\left(i,j\right)=\left\{\begin{array}{cc}{D}_A^{\mathrm{\&xi;}}\left(i,j\right)& T_1\left(i,j\right)>\frac{1}{T}\\ D_B^{\mathrm{\&xi;}}\left(i,j\right)& T_1\left(i,j\right)<T\\ {\mathrm{\&omega;}}_A^{\mathrm{\&xi;}}{D}_A^{\mathrm{\&xi;}}\left(i,j\right)+{\mathrm{\&omega;}}_B^{\mathrm{\&xi;}}{D}_B^{\mathrm{\&xi;}}\left(i,j\right)& T\&le;T_1\left(i,j\right)\&le;\frac{1}{T}\end{array}\right.$

利用区域能量最终得到如下：

${\mathrm{\&omega;}}_A^{\mathrm{\&xi;}}\left(i,j\right)=\frac{E_A^{\mathrm{\&xi;}}\left(i,j\right)}{E_A^{\mathrm{\&xi;}}\left(i,j\right)+E_B^{\mathrm{\&xi;}}\left(i,j\right)},{\mathrm{\&omega;}}_B^{\mathrm{\&xi;}}=\frac{E_B^{\mathrm{\&xi;}}\left(i,j\right)}{E_A^{\mathrm{\&xi;}}\left(i,j\right)+E_B^{\mathrm{\&xi;}}\left(i,j\right)}.$