CN101188019A

CN101188019A - 融合数字图像的方法

Info

Publication number: CN101188019A
Application number: CNA2007101849788A
Authority: CN
Inventors: M·库尔
Original assignee: Agfa HealthCare NV
Current assignee: Agfa HealthCare NV
Priority date: 2006-11-20
Filing date: 2007-10-31
Publication date: 2008-05-28

Abstract

一种融合两个体积表达的方法，其中融合后的表达是通过借助具有混合加权值的混合函数混合与所述体积表达相应的数据集的信息来构造的，该混合加权值是基于所述数据集中的任何一个的所述信息来局部和/或动态地调整的。

Description

融合数字图像的方法

技术领域

本发明涉及医学成像。更加具体地讲，本发明涉及医学数字图像的融合和体积-体积融合(volume-volume fusion)的显像。

背景技术

本发明涉及对象的至少两个数字图像的融合，这两个图像中的第一个图像着重体现对象的某一种组分，而第二个图像着重体现另一种组分。

这种技术在将通过CT(计算机断层摄影)获得的人体器官的第一个图像与通过磁共振成像(MRI)获得的同一器官的第二个图像融合在一起的医学领域中有着尤其重要的应用。实际上，CT图像注重展现骨骼部分。在这种图像中，骨骼部分是白色的，并且所有其它部分，尤其是软组织，是没有差异的均匀灰色。另一方面，MRI图像以不同深浅的灰度级展现软组织并且象骨骼结构这样的其它部分和空的空间是黑色的。

经常希望组合医学图像的另一个例子是正电子发射断层摄影(PET)和计算机断层摄影(CT)之间的体融合。PET测量检查的功能方面，典型地是新陈代谢活动。CT表明底层组织的X射线吸收，并且因此表现出患者的解剖结构。PET通常看起来有点象有噪声的和低分辨率的CT版本。不过，用户通常最感兴趣的是从PET中看到高亮度值并且看出这些高亮度值位于CT中清晰可见的底层解剖结构内的什么位置上。

一般来说，在医学领域中，使用下列的典型融合方法来将来自不同类型(例如，扫描类型)的图像采集装置的两个二维数字图像组合成新的合成图像：

1)棋盘模式：

将合成图像分成多个子区域，通常分成矩形的子区域。如果一个子区域取自一个数据集，则从另一个数据集中取相邻的子区域，依此类推。通过观察子区域之间的边界，用户可以评价匹配的精确度。

2)图像混合：

合成图像中的每个像素是以单个图像中像素的加权和的形式生成的。用户通过改变加权值，并且从仅有第一个图像到看到混合图像、再到看到仅仅第二个图像来观察特征如何移位来评价配准程度。

3)像素替换：

合成图像最初是输入图像之一的副本。从另一个图像中选取一组可能不连续的像素，并且将这些像素插入到合成图像中。典型地，这组替换像素的选取是使用亮度阈值进行的。用户通过改变阈值来评价配准程度。

在数据集代表三维体积时，显像的主要方法是MPR-MPR(多平面重定格式)融合，这种融合包括选取穿过一个体积的MPR平面和穿过另一个体积的相应平面并且使用前面介绍的二维方法之一。

另一种办法涉及创建两个体积(MIP-最大亮度投影，MinIP-最小亮度投影)的投影的投影仪和再次使用前面介绍的二维方法之一来创建合成图像。

前面介绍的合成技术的主要缺陷是这些技术是“孤注一掷”的办法。

对于棋盘模式来说，某一子区域内的所有像素都取自两个数据集之一，忽略了另一个数据集中的像素信息。像素替换存在同样的问题。而图像混合试图将两个数据集的像素信息合并起来，不过，对于整个数据集使用的是同样的加权值来创建合成图像中的所有像素。

在Zuiderveld和Viergever所著的《Multi-modal VolumeVisualization using Object-Oriented Methods》(ProceedingsSymposium on Volume Visualization，1994年10月17日)中，介绍了目的在于来自不同模态的体积数据集的集成显像的面向对象的结构体系。单个图像的绘制(render)基于特对于器官的描影管道(shading pipeline)。

在Manssour I H等人所著的《Visualizing inner structure inmultimodal volume data》(Computer Graphics and ImageProcessing，2002)中，介绍了为了两个数据集的同时显示而进行的来自多模式体积的两个数据集的融合。

在欧洲专利申请EP1489591中，给出了利用不同的特征类别加权处理图像的系统和方法。计算机系统将两个或多个图像与一组特征类别数据(比如颜色和纹理数据)关联起来。该计算机为各个特征类别分配一组处理加权值。按照特征类别加权值将这两个或多个图像混合起来。例如在Lab颜色模型中表达像素显示属性。分别施加到L、a和b分量(也称为通道)上的加权值可以是不同的。各个加权值可以重新分配或者依据所要呈现的内容而定。对于一个通道内的每个值，加权值是相同的。

鉴于提供有用的显像信息的重要性，给出克服现有技术缺陷的显像体积-体积融合的新技术，是所期望并且高度有利的。

发明内容

上面提到的方面是借助具有权利要求1中阐述的特定特征的方法来实现的。

在从属权利要求中阐述了本发明优选实施方式的具体特征。

按照本发明，通过使用具有混合加权值的混合函数来混合图像表达。这个混合加权值是基于至少一个要加以混合的图像的数据集中的局部图像信息，来局部且动态地确定的。然后可以在诸如监视器之类的显示装置上显像混合图像。

可以基于图像数据集中存在的信息局部和/或动态地调整混合加权值。所述信息可以包括：

-数据集的原始体素(voxel)或像素值，

-经过处理的数据集的体素或像素值，

-数据集的分割掩模(segmentation mask)，

-从数据集中提取出的特征。

可以例如用低通滤波器来对像素/体素值进行滤波，以减小噪声对混合加权值的影响。

分割掩模可以例如是借助区域生长、选择种子点和像素值范围来交互地生成的。不过，也可以使用自动分割技术。

在特定的实施方式中，使用像素/体素中存在的曲率或梯度(提取特征)来局部地确定混合加权值。

在特定的实施方式中，可以使用所谓的重定格式器(reformatter)。重定格式器的功能是创建穿过图像中任何一个的体积表达的相应平面。然后按照本发明、通过使用具有局部和/或动态混合的加权值的混合函数混合相应的平面，来构造混合平面。

在另一种特定实施方式中，可以使用投影仪。投影仪的功能是创建图像中的任何一个的两个体积表达的相应投影(MIP，Min-IP)。

然后按照本发明，通过使用具有局部和/或动态混合的加权值的混合函数混合相应的平面，来构造混合投影。

在再一种可供选用的实施方式中，使用体绘制器来使用局部和/或动态调整的加权函数构造所绘制的混合体积。

在混合期间可以按照像素/体素在数据集之一或二者中的值，对像素/体素进行不同的加权。

混合加权值可以借助给定阈值而取决于体素/像素值。

例如，仅混合具有处于给定范围之内或之外的值的像素/体素。

在一种实施方式中，对于其值处于属于一个图像的数据集对应的给定范围之内并且处于另一个数据集对应的给定范围之内的像素/体素，混合加权值是0(在混合图像中不再存在)。

例如，对于其值处于一个数据集对应的给定范围之内并且处于另一个数据集对应的给定范围之内的像素/体素，混合加权值是1(总是存在于混合图像中)。

每个像素/体素i的混合函数可以例如是：

b_i＝α·v_1i·c_1i+(1-α)·v_2i·c_2i

其中b_i是混合像素/体素的值，v_1i和v_2i分别是体积1和2中的像素/体素值，并且α是混合系数。

如果v_1i处于指定范围min₁≤v_1i≤max₁之内，则c_1i是1，否则为0。

如果v_2i处于指定范围min₂≤v_2i≤max₂之内，则c_2i是1，否则为0。

上面提到的混合的变形为：

b_i＝α·v_1i·c_1i+(1-α)·v_2i·c_2i+(1-c_1i)·z₁+(1-c_2i)·z₂

其中z₁和z₂是在像素/体素i的值处于给定范围之外的时候应当给予该像素/体素i的值。

在另外一种可供选用的实施方式中，混合加权值取决于为两个数据集确定的分割掩模。例如，对于属于为数据集之一创建的给定分割掩模的像素/体素，将混合加权值设定为零。也可以对于属于为数据集之一创建的给定分割掩模的像素/体素，将混合加权值设定为1。

加权函数可以手动编辑。

可以将本发明的方法实现为适用于实施任何这种方法的步骤的计算机程序产品。

一般将适用于实施所述方法的步骤的计算机可执行程序代码存储在诸如CD-ROM或DVD之类的计算机可读介质上。

从下面的介绍和附图中，本发明的其它优点和实施方式将会变得显而易见。

附图说明

附图1

(a)是具有头骨骨骼的清晰边界的CT图像，

(b)是具有脑组织的清晰再现的MR图像，

(c)是冠状面上的融合图像，

(d)是轴向图像，其中CT图像的骨骼结构借助本发明的‘智能混合’方法叠加在MR图像上。

具体实施方式

本发明给出了将各种不同类型的诊断图像组合起来、使得用户能够观看到对诊断更加有用的信息的技术。它可以用于二维诊断图像或三维体积的融合显像。对于体积-体积融合的显像，可以将它与重定格式方办法(MPR)、投影办法(MIP-MinIP)或体绘制(VR)组合起来。

本发明的方法基于上一段介绍的图像混合技术。不过，本发明并不使用原始像素亮度的全局加权系数来获得合成图像的像素值。而是，使用加权函数和要加以混合的图像的数据集中的信息，来局部和动态地确定加权系数。

在本发明的一种实施方式中，可以这样设定用于混合CT图像与MRI图像的加权函数：对于与骨结构对应的CT图像的像素值，加权系数总是为1。在从仅仅有CT图像到观看混合CT-MRI图像时，存在于CT图像中的骨结构依然存在于合成混合图像中。

在本发明的另一种实施方式中，可以这样设定用于混合CT图像与PET图像的加权函数：在与病状相应的范围内的PET像素值具有为1的加权系数。在从仅仅有CT图像到观看混合CT-PET图像的时候，仅病状PET信息出现并且仍然存在于合成混合CT/PET图像中。

应当理解，本发明可以以各种不同的硬件、软件、固件、专用处理器或它们的组合的形式来实现。优选地，可以以有形地包含在程序存储装置上的程序的形式用软件来实现本发明。可以将该程序上载到包括任何适当体系结构的机器上并且由该机器执行。优选地，该机器实现在计算机平台上，该计算机平台具有诸如下述硬件：一个或多个中央处理单元(CPU)、随机存取存储器(RAM)、图形处理单元(GUI)和(多个)输入/输出(I/O)接口。该计算机平台还包括操作系统和微指令代码。本文介绍的各种不同处理和功能可以是由操作系统执行的微指令代码的一部分或者程序的一部分(或者它们的组合)。此外，各种不同的其它外围设备可以与计算机平台连接，比如附加的存储装置或者打印装置。

所述计算机可以是独立工作站或者经由网络接口与网络链接。网络接口可以与各种不同类型的网络链接，包括局域网(LAN)、广域网(WAN)、内联网、虚拟个人网络(VPN)和因特网。

虽然结合本发明提出的实例涉及3D体积的组合，但是应当意识到，也可以使用4维(4D)或更高维度的数据，而不会超出本发明的思想和范围。

如所讨论的，本发明优选使用通用计算机系统实现。不过，本发明的系统和方法可以使用一个或多个程序控制的通用计算机、程序控制的微处理器或微控制器、图形处理单元(GPU)和外围集成电路元件或其它集成电路、数字信号处理器、硬连接电子或逻辑电路(比如分立元件电路、可编程逻辑装置之类)的任意组合来实现的。

Claims

1.一种融合至少两个体积表达的方法，其中通过借助具有混合加权值的混合函数来混合与所述体积表达相对应的数据集的信息，来构造融合后的表达，其特征在于

基于所述数据集中的任何一个的所述信息，来局部地和/或动态地调整混合加权值。

2.按照权利要求1所述的方法，其中所述信息包括所述数据集的原始体素/像素值。

3.按照权利要求1所述的方法，其中所述数据集的所述信息包括经过处理的所述数据集的体素/像素值。

4.按照权利要求1所述的方法，其中所述数据集的所述信息包括所述数据集的分割掩模。

5.按照权利要求1所述的方法，其中所述数据集的所述信息与从所述数据集中提取的特征有关。

6.按照权利要求1所述的方法，其中使用重定格式器来创建穿过两个体积的相应平面，并且其中使用局部和/或动态调整的加权函数来构造混合平面。

7.按照权利要求1所述的方法，其中使用投影仪来创建两个体积的相应投影，并且其中使用局部和/或动态调整的加权函数构造混合投影。

8.按照权利要求1所述的方法，其中使用体绘制器来使用局部和/或动态调整的加权函数构造绘制的混合体积。

9.按照权利要求1所述的方法，其中混合加权值借助给定阈值而取决于体素/像素值。

10.按照权利要求1所述的方法，其中对于其值处于一个数据集对应的给定范围之内并且处于另一个数据集对应的给定范围之内的像素/体素，混合加权值是0(在混合图像中不再存在)。

11.按照权利要求1所述的方法，其中对于其值处于第一个数据集对应的给定范围之内并且处于第二个数据集对应的给定范围之内的像素/体素，混合加权值是1。

12.按照权利要求4所述的方法，其中对于属于为数据集之一创建的给定分割掩模的像素/体素，将混合加权值设定为零。

13.按照权利要求4所述的方法，其中对于属于为数据集之一创建的给定分割掩模的像素/体素，将混合加权值设定为1。

14.按照权利要求1所述的方法，其中加权函数是手动编辑的。

15.一种计算机程序产品，当运行于计算机上时，其适于实施前述权利要求中任何一项的步骤。

16.一种计算机可读载体介质，包括适于实施权利要求1-14中任何一项的步骤的计算机可执行程序代码。