CN103617605A - 针对三模态医学图像的透明度加权融合方法 - Google Patents

Abstract

一种针对三模态医学图像的透明度加权融合方法：准备待融合的三幅多模态医学图像，将三幅图像重叠覆盖排列，最前面一张图像为第一图像，中间一张图像为第二图像，最后面的一张图像为第三图像；对第一图像和第二图像中每个像素赋予可调整的透明度值t₁和t₂，将第三图像设置为不透明的，不赋予像素透明度值；三幅图像以可调整的透明度混合在一起，由于透明度值t₁和t₂控制了第一图像和第二图像的透明度，三幅图像以不同的透明度权重加权平均得到融合图像；计算获得融合图像中每一个像素的灰度值，从而获得完整的一幅三模态融合图像；三模态图像融合结果随着透明度值t₁和t₂的变化而变化。本发明可同时展现出单模态图像、双模态融合图像、三模态融合图像。

Description

针对三模态医学图像的透明度加权融合方法

技术领域

本发明涉及一种多模态医学图像融合方法。特别是涉及一种针对三模态医学图像的透明度加权融合方法。

背景技术

医学图像是临床医学诊断和治疗过程中不可或缺的重要部分，广泛应用于非侵入性诊断和治疗计划、图像引导手术、图像引导放射治疗等中为使用者提供患者的解剖或生理信息。比如在图像引导放射治疗中，医生利用医学图像来确定肿瘤情况、制定相应的放射治疗计划、在放射治疗过程对肿瘤进行精确定位和跟踪放射、在分次治疗之间对肿瘤的响应和变化进行实时跟踪并依此调整放射治疗计划。

医学图像的成像模态多种多样，目前广泛得到使用的示例为PET，CT，MR，SPECT,超声图像等。这些不同模态的图像可以由混合系统采集，如PET-CT成像系统，也可以由单独的CT成像系统、单独的PET成像系统等相关独立系统采集。不同模态图像的成像原理不同，使得每种成像模式所能提供的图像信息具有特出性，也都具有一定的局限性，有时单独使用某一种图像难以获得正确的诊断结论。如CT图像对骨等密度较高的组织能提供高清晰的图像，MRI质子密度图像对人体软组织的成像具有较高的分辨率。但CT和MRI质子密度像都属于提供的是解剖图像学信息，无法不直接反映人体组织和脏器的功能情况。与之相反的是，PET能够提供人体组织或器官的功能性代谢信息（如18F-FDG PET图像中可反映组织的代谢情况）的图像，却有着极差的图像分辨率，难以分辨出具体的人体解剖结构。因此，为了提高诊断和治疗过程的正确率，需要综合利用患者的各种图像信息。图像配准与融合技术为医学图像的综合利用提供了很好的技术手段。图像配准可以将不同成像设备获取的图像进行空间几何变换，使得相同的解剖结构处于相同的空间坐标位置。而图像融合则是在图像配准之后，将同一位置的图像信息相互映射或结合的过程。经过上述信息融合处理后，可在一幅图像上同时反映出人体内部的结构、功能等多方面的信息。

现阶段，图像配准和融合的研究主要着眼于双模态图像，如《Experimental oncology》在2009年发表的“Image fusion using CT,MRI and PET for treatment planning,navigation andfollow up in percutaneous RFA”一文，将功能成像PET和解剖成像CT/MR进行配准和融合，用于腹部器官肿瘤的检测、放射治疗计划、肿瘤响应跟踪等。《Journal of Cancer》于2010年发表的“Fusion Imaging:A Novel Staging Modality in Testis Cancer”一文，证明PET图像和CT图像的融合结果，相对于单模态图像，可以为睾丸癌检测提供更准确的位置信息。

然而，双模态图像融合存在的一个问题是：它并不能满足医生对病灶或肿瘤更完整信息的所有需求。在病灶精确诊断、肿瘤准确检测及定位、放射治疗计划制定、肿瘤响应跟踪等过程中，双模态图像融合并不总是有利的、充足的。例如，《International Journal of RadiationOncology，Biology，Physics》于2006年发表的“Variability of gross tumor volume delineation inhead-and-neck cancer using CT and PET/CT fusion”一文，证明PET/CT融合图像应用到头颈部癌症的大体肿瘤容积（GTV）勾画时，会带来比仅使用CT图像更大的观察者之间的显著性差异。

特别是在需要三模态图像融合的情况下，双模态图像融合所提供的信息往往是不充足、不全面、不完整的。如放射肿瘤学中，双模态图像融合可能对肿瘤的准确诊断和定位带来更多的不确定性：《International Journal of Radiation Oncology，Biology，Physics》于2005年发表的“L-(methyl-11C)methionine positron emission tomography for target delineation in resectedhigh-grade gliomas before radiotherapy”一文中，说明CT和MRI图像无法区分脑部胶质瘤的术后变化与残余肿瘤，而PET/MRI/CT图像融合则可以区分这种差异并提高GTV勾画的准确性；《International Journal of Radiation Oncology，Biology，Physics》于2006年发表的“11C-methionine PET improves the target volume delineation of meningiomas treated withstereotactic fractionated radiotherapy”一文证明，在脑膜瘤的立体定向分次放射治疗中，CT/MRI/PET图像融合可实现准确的靶区定位并减小观察者之间的差异。

双模态图像融合存在的另一个实际的问题是：在实际临床应用的图像处理软件和放射治疗计划系统中，如MIM5.2，Philips Pinnacle9.0和Varian Eclipse10.0，图像融合也局限于双模态图像的融合和显示，这样就无法满足需要三模态图像融合的情况。当放射科医生、内科医生、肿瘤学家或其他医疗专家需要使用三模态图像来获取相关信息时，往往只能利用相关图像处理软件将图像两两融合，如PET/CT融合和CT/MRI融合，再以完全手动的方式反复调出两个融合结果来对比和提取三种模态所包含的病灶或肿瘤信息。这对于医学专家来说，是复杂的、困难的、不方便的，不仅耗费更多的时间和精力，还可能会带来更大的诊断误差甚至可能是错误。

发明内容

本发明所要解决的技术问题是，提供一种使用者可以轻松、快捷地查看单模态图像、双模态融合图像、三模态融合图像的针对三模态医学图像的透明度加权融合方法。

本发明所采用的技术方案是：一种针对三模态医学图像的透明度加权融合方法，包括如下步骤：

1）准备待融合的三幅多模态医学图像，将三幅图像重叠覆盖排列，最前面一张图像为第一图像,中间一张图像为第二图像，最后面的一张图像为第三图像；

2）对第一图像中每个像素赋予可调整的透明度值t₁,对第二图像中每个像素赋予可调整的透明度值t₂，将第三图像设置为不透明的，不赋予像素透明度值；

3）三幅图像以可调整的透明度混合在一起，由于透明度值t₁和透明度值t₂控制了第一图像和第二图像的透明度，三幅图像以不同的透明度权重加权平均得到融合图像；

4）计算获得融合图像中每一个像素的灰度值，从而获得完整的一幅三模态融合图像；

5）三模态图像融合结果随着透明度值t1和透明度值t2的变化而变化。

步骤2）所述的透明度值t₁和透明度值t₂，取值范围为0到1之间，且包括0和1。

步骤3）所述的三幅图像以不同的透明度权重加权平均，具体为：来自第三图像的贡献由1-t2加权，来自第二图像的贡献由t2加权，第二图像和第三图像的灰度值经过加权平均之后，又以1-t1加权对融合图像贡献，来自第一图像的贡献由t1加权，对于融合图像的每个像素的图像灰度值由三幅图像上相对应的像素灰度值加权平均获得。

步骤4）是采用如下公式进行计算：

I_mix=t₁I₁+(1-t₁)[t₂I₂+(1-t₂)I₃]            （1）

其中

0≤t₁,t₂≤1                               （2）

公式（1）中的参数说明如下：

Imix：融合图像的像素灰度值；

I₁：第一图像的像素灰度值；

I₂：第二图像的像素灰度值；

I₃：第三图像的像素灰度值；

t₁：第一图像的像素透明度值；

t₂：第二图像的像素透明度值。

步骤5）所述的透明度值t₁和透明度值t₂的变化包括：

（1）透明度值t₁单独在0到1之间范围内发生变化，且包括0和1；

（2）透明度值t₂单独在0到1之间范围内发生变化，且包括0和1；

（3）透明度值t₁和透明度值t₂同时在0到1之间范围内发生变化，且包括0和1。

步骤5）所述的三模态图像融合结果包括：

（1）透明度值t₁和/或t₂等于0时，表示第一图像和/或第二图像是完全透明的，能看到它后面的任意不完全透明的图像；

（2）透明度值t₁和/或透明度值t₂等于1时，表示第一图像和/或第二图像是完全不透明的，看不到它后面的任意图像，有完全“遮挡”的视觉效果。

（3）当透明度值t₁和/或透明度值t₂取0到1之间的某一个值时，表示第一图像和/或第二图像是半透明的，能看到它后面任意不完全透明的图像，但是图像对比度降低，有“模糊遮挡”的视觉效果；

（4）当透明度值t1和/或透明度值t2被调整或改变时，得到三种模态图像的不同融合结果。

本发明的针对三模态医学图像的透明度加权融合方法，通过三模态图像融合及显示，增加一个模态的图像信息，为临床医师提供更多关于病灶或肿瘤的相关信息。本发明的另一个优点在于为用户提供可调整的融合图像显示，可同时展现出单模态图像、双模态融合图像、三模态融合图像。本发明的再一个优点在于参数少、调整过程简单、图像融合响应速度快，便于应用。

附图说明

图1是本发明的算法原理图；

图1中a：第一图像，b：第二图像c：第三图像

图2是本发明一个实施例的示意图。

图2中

201：t1=0且t2=0时融合图像效果，202：t1=0且t2=1时融合图像效果，203：t1=1且t2=0时融合图像效果，204：t1=0且t2=0.5时融合图像效果，205：t1=0.5且t2=1时融合图像效果，206：t1=0.5且t2=0时融合图像效果，207：t1=0.3且t2=0.3时融合图像效果，208：t1=0.5且t2=0.5时融合图像效果，209：t1=0.7且t2=0.7时融合图像效果，210：待融合的CT图像，211：待融合的MRI图像，212：待融合的PET图像。

具体实施方式

下面结合实施例和附图对本发明的针对三模态医学图像的透明度加权融合方法做出详细说明。

本发明的针对三模态医学图像的透明度加权融合方法，包括如下步骤：

1）准备待融合的三幅多模态医学图像，将三幅图像重叠覆盖排列，最前面一张图像为第一图像,中间一张图像为第二图像，最后面的一张图像为第三图像；

2）对第一图像中每个像素赋予可调整的透明度值t₁,对第二图像中每个像素赋予可调整的透明度值t₂，将第三图像设置为不透明的，不赋予像素透明度值，

所述的透明度值t₁和透明度值t₂，取值范围为0到1之间，且包括0和1；

3）三幅图像以可调整的透明度混合在一起，由于透明度值t₁和透明度值t₂控制了第一图像和第二图像的透明度，三幅图像以不同的透明度权重加权平均得到融合图像，

所述的三幅图像以不同的透明度权重加权平均，具体为：来自第三图像的贡献由1-t2加权，来自第二图像的贡献由t2加权，第二图像和第三图像的灰度值经过加权平均之后，又以1-t1加权对融合图像贡献，来自第一图像的贡献由t1加权，对于融合图像的每个像素的图像灰度值由三幅图像上相对应的像素灰度值加权平均获得；

4）计算获得融合图像中每一个像素的灰度值，从而获得完整的一幅三模态融合图像，

具体是采用如下公式进行计算：

I_mix=t₁I₁+(1-t₁)[t₂I₂+(1-t₂)I₃]              （1）

其中

0≤t₁,t₂≤1                                 （2）

公式（1）中的参数说明如下：

Imix：融合图像的像素灰度值；

I₁：第一图像的像素灰度值；

I₂：第二图像的像素灰度值；

I₃：第三图像的像素灰度值；

t₁：第一图像的像素透明度值；

t₂：第二图像的像素透明度值；

5）三模态图像融合结果随着透明度值t1和透明度值t2的变化而变化，

所述的透明度值t₁和透明度值t₂的变化包括：

（1）透明度值t₁单独在0到1之间范围内发生变化，且包括0和1；

（2）透明度值t₂单独在0到1之间范围内发生变化，且包括0和1；

（3）透明度值t₁和透明度值t₂同时在0到1之间范围内发生变化，且包括0和1。

所述的三模态图像融合结果包括：

（1）透明度值t₁和/或透明度值t₂等于0时，表示第一图像和/或第二图像是完全透明的，能看到它后面的任意不完全透明的图像；

（2）透明度值t₁和/或透明度值t₂等于1时，表示第一图像和/或第二图像是完全不透明的，看不到它后面的任意图像，有完全“遮挡”的视觉效果。

（3）当透明度值t₁和/或透明度值t₂取0到1之间的某一个值时，表示第一图像和/或第二图像是半透明的，能看到它后面任意不完全透明的图像，但是图像对比度降低，有“模糊遮挡”的视觉效果；

（4）当透明度值t1和/或透明度值t2被调整或改变时，得到三种模态图像的不同融合结果。

下面结合附图1和附图2，以一名脑胶质瘤病人的CT（计算机断层扫描）、MRI（磁共振成像）、18F-FDG PET(氟化去氧葡萄糖正电子计算机断层成像)图像为例，对本发明进一步说明。

参考附图1，本发明涉及多模态医学图像的透明度加权融合。本发明的实施方式不受特定成像模态的限制，可以被用于融合任意三种医学成像模态中的图像信息，诸如计算机断层扫描（CT）、磁共振成像（MRI）、正电子计算机断层成像（PET）、单光子发射计算机断层扫描（SPECT）、超声心动图像、荧光透视图像以及混合成像系统的图像数据，如PET/CT混合成像系统、MR/PET混合成像系统等。作为图解说明，本实施例中附图1的第一图像、第二图像和第三图像分别选取了PET、MRI、CT这三种模态的图像，且这三种模态的图像都是从同一病人的同一部位采集的。

对同一病人的三种成像模态获取的图像进行空间配准。配准过程包括两个部分：CT图像与PET图像配准，以及CT图像与MRI图像配准。通过刚性平移和旋转以及/或者通过非刚性或弹性形变而修改PET图像，使得PET图像与CT图像的空间坐标系对准。同时，通过刚性平移和旋转以及/或者通过非刚性或弹性形变而修改MRI图像，使得MRI图像与CT图像的空间坐标系对准。空间配准能够采用固有解剖标志，例如在CT、MRI和PET图像中可见的受试者的外部轮廓或解剖特征的轮廓。另外，可代替地，空间配准能够基于在CT、MRI和PET成像之前放在受试者上的成像基准标志。空间配准会得到修改后的PET和MRI图像，其像素大小和分辨率与CT图像相同。

在任选的空间配准之后，将CT图像、空间配准修改后的MRI和PET图像重叠，按照附图1所示的融合算法实施三模态图像透明度加权融合。作为图解说明，附图1中I第一图像选定PET图像，第二图像选定MRI图像，第三图像选定CT图像。第一图像和第二图像分别以透明度值t1和透明度值t2覆盖在不透明的第三图像上。对于同一位置的像素，相应地，第一图像的像素灰度值I1为PET图像的像素灰度值，第二图像的像素灰度值I2为MRI图像的像素灰度值，第三图像的像素灰度值I3为CT图像的像素灰度值。根据公式（1），在每个像素的基础上，计算融合图像。

融合图像的显示效果根据第一图像和第二图像的透明度值t1和透明度值t2改变而发生变化，透明度值t1和透明度值t2的组合，可以得到不同的三模态图像融合效果。在使用过程中，用户可随时更改第一图像和第二图像的透明度值t1和透明度值t2，得到三模态图像的不同融合效果，获取关于病灶或肿瘤的大量信息。由于透明度值t1和透明度值t2的取值范围为0到1之间，包括0和1，则PET和MRI图像可以在完全透明、半透明、完全不透明三种状态中自由切换。则三模态图像的融合效果可以包括单模态图像、双模态图像融合、三模态图像融合。例如，附图2中t1=0且t2=1时融合图像效果（202），此时PET图像是完全透明的，MRI图像的是完全不透明的，效果为MRI单模态图像，与待融合的MRI图像（211）完全相同；t1=0.5且t2=0时融合图像效果（206），此时PET图像是半透明的，MRI图像完全透明的，效果为CT和PET双模态图像融合，图中反映的信息囊括了待融合的CT图像（210）和待融合的PET图像（212）；t1=0.3且t2=0.3时融合图像效果（207），此时PET和MRI图像都是半透明的，效果为CT、MRI和PET三模态图像融合，图中反映的信息囊括了待融合的CT图像（210）、待融合的MRI图像（211）和待融合的PET图像（212）。

尽管在本文中使用CT、MRT和PET图像作为图解说明的示例，但是在本文中公开的图像融合方法基本上可应用于任意三种医学成像模态的图像，如[SPECT+CT+MRI]三模态图像融合，[MRI+PET+SPECT]三模态图像融合等。且三种图像的重叠排列顺序并不是固定的，即第一图像、第二图像和第三图像选定来自不同模态的图像的顺序是可以改变的，如本实施例中，可替代地，第一图像可以选定MRI图像，第二图像可以选定CT图像，第三图像可以选定PET图像。

以上结合附图对本发明的具体实施方式作了说明，仅为本发明优选的实施例，但本发明的保护范围并不局限于此，本发明的保护范围由随附的权利要求书限定，任何根据本发明的技术方案及其发明构思加以等同替换或改变，都属于本发明的保护范围。

Claims (6)

1.一种针对三模态医学图像的透明度加权融合方法，其特征在于，包括如下步骤：

1）准备待融合的三幅多模态医学图像，将三幅图像重叠覆盖排列，最前面一张图像为第一图像,中间一张图像为第二图像，最后面的一张图像为第三图像；

2）对第一图像中每个像素赋予可调整的透明度值t₁,对第二图像中每个像素赋予可调整的透明度值t₂，将第三图像设置为不透明的，不赋予像素透明度值；

3）三幅图像以可调整的透明度混合在一起，由于透明度值t₁和透明度值t₂控制了第一图像和第二图像的透明度，三幅图像以不同的透明度权重加权平均得到融合图像；

4）计算获得融合图像中每一个像素的灰度值，从而获得完整的一幅三模态融合图像；

5）三模态图像融合结果随着透明度值t₁和t₂的变化而变化。

2.根据权利要求1所述的一种针对三模态医学图像的透明度加权融合方法，其特征在于，步骤2）所述的透明度值t₁和透明度值t₂，取值范围为0到1之间，且包括0和1。

3.根据权利要求1所述的一种针对三模态医学图像的透明度加权融合方法，其特征在于，步骤3）所述的三幅图像以不同的透明度权重加权平均，具体为：来自第三图像的贡献由1-t2加权，来自第二图像的贡献由t2加权，第二图像和第三图像的灰度值经过加权平均之后，又以1-t1加权对融合图像贡献，来自第一图像的贡献由t1加权，对于融合图像的每个像素的图像灰度值由三幅图像上相对应的像素灰度值加权平均获得。

4.根据权利要求1所述的一种针对三模态医学图像的透明度加权融合方法，其特征在于，步骤4）是采用如下公式进行计算：

I_mix=t₁I₁+(1-t₁)[t₂I₂+(1-t₂)I₃]        （1）

其中

0≤t₁,t₂≤1                          （2）

公式（1）中的参数说明如下：

Imix：融合图像的像素灰度值；

I₁：第一图像的像素灰度值；

I₂：第二图像的像素灰度值；

I₃：第三图像的像素灰度值；

t₁：第一图像的像素透明度值；

t₂：第二图像的像素透明度值。

5.根据权利要求1所述的一种针对三模态医学图像的透明度加权融合方法，其特征在于，步骤5）所述的透明度值t₁和透明度值t₂的变化包括：

（1）透明度值t₁单独在0到1之间范围内发生变化，且包括0和1；

（2）透明度值t₂单独在0到1之间范围内发生变化，且包括0和1；

（3）透明度值t₁和透明度值t₂同时在0到1之间范围内发生变化，且包括0和1。

6.根据权利要求1所述的一种针对三模态医学图像的透明度加权融合方法，其特征在于，步骤5）所述的三模态图像融合结果包括：

（1）透明度值t₁和/或透明度值t₂等于0时，表示第一图像和/或第二图像是完全透明的，能看到它后面的任意不完全透明的图像；

（2）透明度值t₁和/或透明度值t₂等于1时，表示第一图像和/或第二图像是完全不透明的，看不到它后面的任意图像，有完全“遮挡”的视觉效果。

（3）当透明度值t₁和/或透明度值t₂取0到1之间的某一个值时，表示第一图像和/或第二图像是半透明的，能看到它后面任意不完全透明的图像，但是图像对比度降低，有“模糊遮挡”的视觉效果；

（4）当透明度值t1和/或透明度值t2被调整或改变时，得到三种模态图像的不同融合结果。

Images