CN105469364A - 一种联合小波变换域和空间域的医学图像融合方法 - Google Patents

Abstract

本发明公开一种联合小波变换域和空间域的医学图像融合方法，先将PET图像的RGB颜色空间转换为HSI颜色空间，然后提取HSI颜色空间中各个通道的功能信息；再将PET图像中提取的亮度通道的小波分解系数和MRI图像的小波分解系数进行融合，再进行小波逆变换，首次得到在小波变换域中融合后的亮度通道；再次提取融合后亮度通道中的功能信息，并与带有解剖信息的MRI图像在空间域中进行融合，第二次得到在空间域中融合后的亮度通道，最后将新的HSI颜色空间转换成RGB颜色空间，获得最终的融合图像。此种图像融合方法可在单幅图像中融合PET的功能信息和MRI的解剖信息，同时保证图像清晰，边缘干净。

Description

一种联合小波变换域和空间域的医学图像融合方法

技术领域

本发明属于图像处理技术领域，涉及医学图像的融合方法，尤其涉及一种对MRI图像和PET图像进行融合的方法。

背景技术

现有的医学图像可分为两大类：解剖图像和功能图像。解剖图像的特点是能够在高分辨率的条件下，对人体的内部器官或者组织的结构做出很好的展示，但无法分辨反映出新陈代谢的信息，包括核磁共振成像(MagneticResonanceImaging，MRI)、计算机X射线断层造影成像(ComputerizedTomography，CT)和B超等；功能图像包括正电子发射型断层成像(PositronEmissionTomography，PET)和单光子发射型计算机断层成像(SinglePhotonEmissionComputedTomography，SPECT)等，这类医学图像可以有效提取人体内关于新陈代谢的信息，其最大的缺点是分辨率不足，可参见高上凯著医学成像系统[M].清华大学出版社，2011:1-4，第11-24页。图像融合的目的就是能从多幅源图像中获得更多的信息，如DiGuo,JingwenYan,XiaoboQu.Highqualitymulti-focusimagefusionusingself-similarityanddepthinformation,OpticsCommunications,338:138-144,2015.；屈小波,闫敬文,杨贵德.改进拉普拉斯能量和的尖锐频率局部化Contourlet域多聚焦图像融合方法.光学精密工程，17(5):1203-1212,2009.；以及XiaoboQu,JingwenYan,HongzhiXiao,ZiqianZhu.Imagefusionalgorithmbasedonspatialfrequency-motivatedpulsecoupledneuralnetworksinnonsubsampledcontourlettransformdomain.ActaAutomaticaSinica,vol.34,no.12,pp.1508-1514,2008.。医学图像融合就是以不同模态的医学图像间相关联性为基础进行对照匹配，再利用医学图像间存在的差异进行互相补充，完整呈现目标部位的全部信息，以此作为病患就医的重要依据，参见Singh,R.；Srivastava,R.；Prakash,O.；Khare,A.MixedschemebasedmultimodalmedicalimagefusionusingDaubechiesComplexWaveletTransform,in2012InternationalConferenceonInformatics,Electronics&Vision(ICIEV),pp.304-309,18-19May2012.以及张鑫,陈伟斌.Contourlet变换系数加权的医学图像融合,中国图象图形学报,19(1):133-140，2014.。

发明内容

本发明的目的，在于提供一种联合小波变换域和空间域的医学图像融合方法，其可在单幅图像中融合PET的功能信息和MRI的解剖信息，同时保证图像清晰，边缘干净。

为了达成上述目的，本发明的解决方案是：

一种联合小波变换域和空间域的医学图像融合方法，包括如下步骤：

步骤1，将PET图像的RGB颜色空间中的红、绿、蓝三个颜色通道转换为HSI颜色空间中的色调、饱和度和亮度三个通道，分别用H、S、I表示；

步骤2，初始化一个与亮度通道I维度相同的二值映射模板M，并设定一个正实数的阈值δ，当亮度通道I中的像素值大于阈值δ时，二值映射模板M对应位置的像素值置为1，否则二值映射模板M对应位置的像素值为0；

步骤3，将HSI颜色空间中的色调、饱和度和亮度三个通道分别和二值映射模板M进行矩阵的阿达马乘积，获取第二色调、第二饱和度和第二亮度通道，分别用字母表示，如下式：

其中，⊙表示阿达马乘积算符；

步骤4，用字母F表示MRI图像，分别对第二亮度通道和MRI图像进行多级小波分解，每个小波分解系数包含多个高频子带和一个低频子带；

步骤5，取两个图像小波分解后低频子带小波系数的平均值作为融合的低频子带的小波系数，取两个图像小波分解后高频子带中像素的绝对值较大的部分作为融合的高频子带的小波系数；再对融合后的子带进行小波逆变换，得到在小波变换域中融合后的第三亮度通道

步骤6，对第三亮度通道和二值映射模板M进行矩阵的阿达马乘积：筛选出第三亮度通道中具有功能信息的图像I₁；

步骤7，根据下式对二值映射模板M进行二值反转，得到反转的二值映射模板M^*：

$M^{*}=\left\{\begin{array}{cc}0,& M(m,n)=1\\ 1,& M(m,n)=0\end{array}\right.$

其中，m和n分别表示像素的水平和垂直位置；再对MRI图像F和反转的二值映射模板M^*进行矩阵的阿达马乘积：I₂＝F⊙M^*，筛选出MRI图像中具有解剖信息的图像I₂；

步骤8，将具有功能信息的图像I₁和具有解剖信息的图像I₂相加：I_F＝I₁+I₂，得到在空间域中融合后的第四亮度通道I_F；

步骤9，将第四亮度通道I_F、第二色调通道以及第二饱和度通道从HSI颜色空间转换到RGB颜色空间，获得最终融合后的彩色图像。

上述步骤1中，根据下式进行转换：

$\left(\begin{array}{c}I\\ S\×\cos H\\ S\×\sin H\end{array}\right)=\left(\begin{array}{ccc}1/\sqrt{3}& 1/\sqrt{3}& 1/\sqrt{3}\\ 1/\sqrt{6}& 1/\sqrt{6}& -2/\sqrt{6}\\ 1/\sqrt{2}& -1/\sqrt{2}& 0\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)$

其中，R、G、B分别表示红、绿、蓝颜色通道。

上述步骤2中，阈值δ的取值是0.12。

上述步骤9中，根据下式进行转换：

$\left(\begin{array}{c}\hat{R}\\ \hat{G}\\ \hat{B}\end{array}\right)=\left(\left[\begin{array}{ccc}1/\sqrt{3}& 1/\sqrt{6}& 1/\sqrt{2}\\ 1/\sqrt{3}& 1/\sqrt{6}& -1/\sqrt{2}\\ 1/\sqrt{3}& -2/\sqrt{6}& 0\end{array}\right]\right)\left(\begin{array}{c}{I}_F\\ \hat{S}\×cos\hat{H}\\ \hat{S}\×sin\hat{H}\end{array}\right)$

其中，分别表示最终融合后的彩色图像的红、绿、蓝颜色通道。

采用上述方案后，本发明通过先将PET图像的RGB颜色空间转换为HSI颜色空间，然后根据一个阈值生成二值映射模板并获取HSI颜色空间中的新通道；再将PET图像中提取的亮度通道的小波分解系数和MRI图像的小波分解系数按设定好的规则进行融合，再进行小波逆变换，首次得到在小波变换域中融合后的亮度通道；再次提取融合后亮度通道中的功能信息，并与带有解剖信息的MRI图像在空间域中进行融合，第二次得到在空间域中融合后的亮度通道，最后将新的HSI颜色空间转换成RGB颜色空间，获得最终的融合图像。用这种方法融合后的图像同时保留了PET的功能信息和MRI的解剖信息，并且图像清晰，边缘干净。

附图说明

图1是颅脑原始的PET图像；

图2是颅脑原始的MRI图像；

图3是采用本发明将图1和图2融合后的图像；

图4是本发明的流程图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

本发明提供一种联合小波变换域和空间域的医学图像融合方法，将图1所示的颅脑的维度为256×256×3的PET图像和图2所示维度为256×256的MRI图像进行融合，得到图3所示图像，其中，MRI图像灰度图，只包含亮度通道，PET图像是彩色图，包含红、绿、蓝三个颜色通道；结合图4，所述方法包括如下步骤：

步骤1，转换颜色空间：将PET图像的RGB颜色空间中的红、绿、蓝三个颜色通道转换为HSI颜色空间中的色调、饱和度和亮度三个通道，这三个通道分别用H、S、I表示，转换公式如下：

$\left(\begin{array}{c}I\\ v_1\\ v_2\end{array}\right)=\left(\begin{array}{ccc}1/\sqrt{3}& 1/\sqrt{3}& 1/\sqrt{3}\\ 1/\sqrt{6}& 1/\sqrt{6}& -2/\sqrt{6}\\ 1/\sqrt{2}& -1/\sqrt{2}& 0\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)---\left(1\right)$

$H={\tan }^{-1}\left(\frac{v_2}{v_1}\right)---\left(2\right)$

$S=\sqrt{v_1^2+v_2^2}---\left(3\right)$

其中，R、G、B分别表示红、绿、蓝颜色通道，v₁和v₂都是仅为计算方便而设置的中间变量，数学上满足v₁＝S×cosH和v₂＝S×sinH。

步骤2，生成二值映射模板：初始化一个与亮度通道I维度相同的二值映射模板M，该模板的维度为256×256，并设定一个正实数的阈值δ＝0.12，根据式(4)，当亮度通道I中像素坐标为(m,n)的像素值大于阈值δ时，二值映射模板M对应位置的像素值置为1，否则二值映射模板M对应位置的像素值为0；其中，m和n分别表示像素的水平和垂直位置。

步骤3，获取HSI颜色空间中的新通道：按照式(5)，将HSI颜色空间中的三个通道分别和二值映射模板M进行矩阵的阿达马乘积，获取三个新通道，记为第二色调、第二饱和度和第二亮度通道，分别用字母表示。

其中，⊙表示阿达马乘积算符，对于任意两个维度大小相同的矩阵A和B，它们的阿达马乘积定义为(A⊙B)_ij＝a_ijb_ij，a_ij和b_ij分别是矩阵A和B的第i行第j列的元素。

步骤4，对图像进行小波分解：用字母F表示MRI图像，分别对第二亮度通道和MRI图像进行多级小波分解，每个小波分解系数包含多个高频子带和一个低频子带，在本实施例中，进行了3级的Daubechies小波分解，每个小波分解系数包含9个高频子带和1个低频子带。

步骤5，按规则融合图像小波域的子带：取PET和MRI两个图像小波分解后低频子带小波系数的平均值作为融合的低频子带的小波系数，取两个图像小波分解后高频子带中像素的绝对值较大的部分作为融合的高频子带的小波系数；再对融合后的子带进行小波逆变换，首次得到在小波变换域中融合后的亮度通道，这个新的亮度通道记为第三亮度通道

步骤6，筛选图像中的功能信息：对步骤5中融合到的第三亮度通道和二值映射模板M进行矩阵的阿达马乘积，筛选出第三亮度通道中具有功能信息的图像I₁，即

步骤7，筛选MRI图像中的解剖信息：按照式(6)，对二值映射模板M进行二值反转，得到反转的二值映射模板M^*；再对MRI图像F和反转的二值映射模板M^*进行矩阵的阿达马乘积，筛选出MRI图像中具有解剖信息的图像I₂，即I₂＝F⊙M^*。

$M^{*}=\left\{\begin{array}{cc}0,& M(m,n)=1\\ 1,& M(m,n)=0\end{array}\right.---\left(6\right)$

步骤8，融合图像信息：将具有功能信息的图像I₁和具有解剖信息的图像I₂相加，第二次得到在空间域中融合后的亮度通道I_F，记为第四亮度通道，即I_F＝I₁+I₂。

步骤9，获取最终的融合图像：参照式(7)-(9),将第二次融合后的第四亮度通道I_F、第二色调通道以及第二饱和度通道从HSI颜色空间转换到RGB颜色空间，获得最终融合后的彩色图像：

${\hat{v}}_1=\hat{S}\×cos\hat{H}---\left(7\right)$

${\hat{v}}_2=\hat{S}\×sin\hat{H}---\left(8\right)$

$\left(\begin{array}{c}\hat{R}\\ \hat{G}\\ \hat{B}\end{array}\right)=\left(\left[\begin{array}{ccc}1/\sqrt{3}& 1/\sqrt{6}& 1/\sqrt{2}\\ 1/\sqrt{3}& 1/\sqrt{6}& -1/\sqrt{2}\\ 1/\sqrt{3}& -2/\sqrt{6}& 0\end{array}\right]\right)\left(\begin{array}{c}{I}_F\\ {\hat{v}}_1\\ {\hat{v}}_2\end{array}\right)---\left(9\right)$

其中，分别表示最终融合后的彩色图像的红、绿、蓝颜色通道，和都是仅为计算方便而设置的中间变量。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (4)

1.一种联合小波变换域和空间域的医学图像融合方法，其特征在于包括如下步骤：

步骤1，将PET图像的RGB颜色空间中的红、绿、蓝三个颜色通道转换为HSI颜色空间中的色调、饱和度和亮度三个通道，分别用H、S、I表示；

步骤2，初始化一个与亮度通道I维度相同的二值映射模板M，并设定一个正实数的阈值δ，当亮度通道I中的像素值大于阈值δ时，二值映射模板M对应位置的像素值置为1，否则二值映射模板M对应位置的像素值为0；

步骤3，将HSI颜色空间中的色调、饱和度和亮度三个通道分别和二值映射模板M进行矩阵的阿达马乘积，获取第二色调、第二饱和度和第二亮度通道，分别用字母表示，如下式：

其中，⊙表示阿达马乘积算符；

步骤4，用字母F表示MRI图像，分别对第二亮度通道和MRI图像进行多级小波分解，每个小波分解系数包含多个高频子带和一个低频子带；

步骤5，取两个图像小波分解后低频子带小波系数的平均值作为融合的低频子带的小波系数，取两个图像小波分解后高频子带中像素的绝对值较大的部分作为融合的高频子带的小波系数；再对融合后的子带进行小波逆变换，得到在小波变换域中融合后的第三亮度通道

步骤6，对第三亮度通道和二值映射模板M进行矩阵的阿达马乘积：筛选出第三亮度通道中具有功能信息的图像I₁；

步骤7，根据下式对二值映射模板M进行二值反转，得到反转的二值映射模板M^*：

$M^{*}=\left\{\begin{array}{cc}0,& M(m,n)=1\\ 1,& M(m,n)=0\end{array}\right.$

其中，m和n分别表示像素的水平和垂直位置；再对MRI图像F和反转的二值映射模板M^*进行矩阵的阿达马乘积：I₂＝F⊙M^*，筛选出MRI图像中具有解剖信息的图像I₂；

步骤8，将具有功能信息的图像I₁和具有解剖信息的图像I₂相加：I_F＝I₁+I₂，得到在空间域中融合后的第四亮度通道I_F；

步骤9，将第四亮度通道I_F、第二色调通道以及第二饱和度通道从HSI颜色空间转换到RGB颜色空间，获得最终融合后的彩色图像。

2.如权利要求1所述的一种联合小波变换域和空间域的医学图像融合方法，其特征在于：所述步骤1中，根据下式进行转换：

$\left(\begin{array}{c}I\\ S\×\cos H\\ S\×\sin H\end{array}\right)=\left(\begin{array}{ccc}1/\sqrt{3}& 1/\sqrt{3}& 1/\sqrt{3}\\ 1/\sqrt{6}& 1/\sqrt{6}& -2/\sqrt{6}\\ 1/\sqrt{2}& -1/\sqrt{2}& 0\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)$

其中，R、G、B分别表示红、绿、蓝颜色通道。

3.如权利要求1所述的一种联合小波变换域和空间域的医学图像融合方法，其特征在于：所述步骤2中，阈值δ的取值是0.12。

4.如权利要求1所述的一种联合小波变换域和空间域的医学图像融合方法，其特征在于：所述步骤9中，根据下式进行转换：

$\left(\begin{array}{c}\hat{R}\\ \hat{G}\\ \hat{B}\end{array}\right)=\left(\left(\begin{array}{ccc}1/\sqrt{3}& 1/\sqrt{6}& 1/\sqrt{2}\\ 1/\sqrt{3}& 1/\sqrt{6}& -1/\sqrt{2}\\ 1/\sqrt{3}& -2/\sqrt{6}& 0\end{array}\right)\right)\left(\begin{array}{c}{I}_F\\ \hat{S}\×\cos \hat{H}\\ \hat{S}\×\sin \hat{H}\end{array}\right)$

其中，分别表示最终融合后的彩色图像的红、绿、蓝颜色通道。