CN102089783B - 用于体积数据集的多模式显像的方法和设备 - Google Patents

Abstract

本发明涉及用于对象（特别是患者）的体积数据集的多模式显像的方法和相应设备，包括以下步骤：利用第一成像模式采集对象的第一体积数据集并且利用第二成像模式采集对象的第二体积数据集，所述第一和第二体积数据集分别包括多个样本点以及与所述样本点相关联的多个数值（f₁，f₂）；建立传递函数，所述传递函数定义所述第一和第二体积数据集的某些数值（f₁，f₂）的光学属性（c，α）；以及对所述第一和第二体积数据集的所述某些数值（f₁，f₂）的光学属性（c，α）进行显像。为了降低找到良好传递函数的复杂度从而可以由用户按照直观且熟悉的方式定义传递函数，通过使用包含在所述第一和第二体积数据集的数值（f₁，f₂）的分布（P(f₁)，P(f₂)）中的信息（I(f₁)，I(f₂)）来建立所述传递函数。

Description

用于体积数据集的多模式显像的方法和设备

技术领域

本发明涉及一种根据独立权利要求的前序部分的用于对象（特别是患者）的体积数据集的多模式显像（multimodal visualization）的方法和设备。

背景技术

体积显像是一种使医师和科学家能够洞察复杂体积结构的技术。在医学应用中，这种技术帮助提供诊断。利用不同成像模式（modality）所采集的体积数据集用于不同的检查。为了便于更好地进行医学诊断，当前越来越明显的趋势是利用来自多个模式的数据集进行信息采集。

由于不同的模式常常具有互补的信息，因此希望能够组合它们的长处从而为用户提供一致的接口。不同的成像模式可以被分成两组：显示出解剖结构的模式和显示出机能特征的模式。计算机断层摄影（CT）和磁共振成像（MRI）是显示出解剖结构的模式的例子。与此相对，例如正电子发射断层摄影（PET）显示出身体的机能特征。一般来说，解剖模式的空间分辨率要好于机能模式。因此，一种常见的模式组合是解剖模式与机能模式之间的组合。机能模式提供关于身体内部的过程的信息，解剖模式被用来显示出身体的内部结构。此外，例如CT和MRI的两种解剖模式的组合也常被用于进行诊断。这两种模式都显示出身体的内部结构，但是对于不同组织具有不同对比度。脑部例如在MRI中具有更高对比度，而在CT中则可以看到骨骼。通常来说，在医学应用中提供并排视图以用于检查不同的模式。医师可以同时在整个两种对准的模式上进行滚读。

上述实践存在两个主要缺陷。一个缺陷是无法对数据进行直接视觉组合。医师必须在头脑中交叠两个图像以得到一种模式在另一种模式中的对应点。第二个缺陷是被限制到2D显像，这是因为在3D下将难以找到两个数据集中的相应区域。通过在多模式显像中把两个数据集一起进行直接融合显示可以消除这些缺陷。

所述多模式显像的问题在于空间中的信息密度。对于每一个样本点，每一种模式有一个数值。即使对于单一模式的体积显像也难以处理如此高密度的信息。必须采取两个步骤来获得表现性显像。首先对代表性样本点进行分类，以便降低所述密度。在第二步中需要把所述数值映射到可以显示的光学属性。可以通过传递函数一次完成这两个步骤。所述传递函数定义某些数值的光学属性，比如颜色和不透明度。所述传递函数可以由用户来控制，以便改变所得到的图像的外观。被用来对样本点进行分类以及为其分配光学属性的输入数值越多，用户就越难以找到良好的传递函数。

上述问题是多模式显像的一个主要问题，这是因为至少涉及到两个数值。附加的导出量进一步增加所述传递函数域的维度。

可以在计算机视觉中找到多模式体积显像的起源。在这一研究领域内，使用技术从来自同一场景的两个单独图像生成融合图像的时间已经有数十年。最简单的图像融合方法是取两个输入图像的平均值。这种方法的不利后果是对比度降低。为了解决这一问题，Toet[18]引入了一种基于拉普拉斯金字塔的融合技术。Li等人[13]引入了这种技术的基于小波变换的一种改进。总的来说，所有图像融合技术的目标都是生成包含两个图像的最相关部分而没有冗余信息的最终融合图像。

对于多模式显像，无法直接使用来自图像融合的技术，这是因为一个输入图像中的每一改变都将导致生成新的金字塔。因此，一种模式的传递函数之一的小改变都将需要新的融合。因此，利用这种技术进行交互式显像就将花费过长时间。因此已经开发了用于多模式显像的不同技术。

如Cai和Sakas[2]所述，可以根据在其中应用所述多模式显像方法的绘制管线（rendering pipeline）中的级别来对所有这些多模式显像方法进行分类。在照明模型级互混中，为来自不同模式的数值的组合分配光学属性。累积级互混在为每一种模式单独分配光学属性之后融合所述数值。在图像级互混中，在为每一种模式绘制了2D图像之后进行融合。

图像级互混是融合两种模式的最简单方式，但是其缺点是丢失了3D信息。因此，这种融合技术通常仅仅被应用于体积的单个切片。为此已经开发了几种技术，比如交替像素显示、链接光标以及颜色整合程序[15、17、19]。

由于计算机和图形硬件的速度不断提升，体积绘制（volume rendering）变得越来越流行，并且因此也还可以在体积空间内进行多模式融合。最初的方法是基于表面模型。Levin等人[11]从MRI扫描生成表面模型，并且把PET导出的测量映射到该表面上。Evans等人[3]从MRI与PET的组合生成整合的体积显像。前述及其他著作主要关注解剖图像与机能图像的组合。Zuiderveld和Viergever[21]引入了一种用于融合所有模式组合的更为一般性的方法。对于这种方法，必须进行附加的体积分割，以决定在给定样本点显示出哪一个。Hong等人[4]的更加近来的著作描述了如何能够利用图形硬件高效地实现这一互混级的融合技术。

在照明模型级直接应用更为高级也更为复杂的多模式显像方法。这一级别的互混直接从单个样本点处的两个体积的所述数值与附加属性的组合生成光学属性。Kniss等人[7]针对多元数据的绘制进行了案例研究，其中在每一个样本点处存在多个数值。在该著作中使用了多维传递函数为数值组合分配光学属性的概念。Akiba和Ma[1]使用了平行坐标来对时变多元体积数据进行显像。Kniss等人[10]给出了通过使用多维传递函数进行医学数据集的多模式显像。所述分类是在双直方图的基础上进行的，所述双直方图是一个轴上的一种模式的数值与另一个轴上的另一种模式的数值的组合。基于该双直方图来解释双传递函数空间是困难的，这是因为其非常不同于来自单一模式的公知直方图。因此也难以通过试错法找到良好的传递函数。Kim等人[5]提出了一种通过让用户对每一种模式定义单独的传递函数来简化传递函数设计的技术。二者的组合定义二维传递函数。这种技术的问题在于，在把多维传递函数简化成两个1D传递函数时的信息损失。

如前所述，在多模式显像中的光学属性分配依赖于超过一个数值。在使用整个信息空间时则需要多维传递函数。一般来说，由于多维传递函数的复杂性，定义多维传递函数是一项重要任务。然而多维传递函数常被用于体积显像。2D传递函数首先由Levoy[12]引入。除了数据值之外，梯度量值被用作对样本点进行分类的第二维。由于2D传递函数的设计非常重要，因此已经开发了多种方法来支持这一任务。Kindlmann和Durkin[6]引入了一种用于组织之间的边界的显像的半自动化方法。Pfister等人[14]给出了支持传递函数的设计任务的现有技术的总览。Kniss等人[8]引入的直接操纵小配件（widget）可以被用来以直观且方便的方式在多维传递函数空间内找到感兴趣的区域。在其他著作中，Kniss等人[9]描述了通过高斯函数而不是通过存储多维查找表来高效地表示多维传递函数的一种方式。

发明内容

本发明的一个目的是提供一种用于定义多模式体积显像中的传递函数的方法和相应设备，其中降低了找到良好传递函数的复杂度，从而可以由用户按照直观且熟悉的方式定义传递函数。

所述目的是通过根据独立权利要求的方法或设备而实现的。

根据本发明的方法包括以下步骤：利用第一成像模式采集对象的第一体积数据集，并且利用第二成像模式采集对象的第二体积数据集，所述第一和第二体积数据集分别包括多个样本点以及与所述样本点相关联的多个数值；建立传递函数，所述传递函数定义所述第一和第二体积数据集的某些数值的光学属性；以及对所述第一和第二体积数据集的所述某些数值的光学属性进行显像。其中所述传递函数是通过使用包含在所述第一和第二体积数据集的数值的分布中的信息来建立的。

根据本发明的设备包括：用于建立传递函数的处理单元，所述传递函数定义所述第一和第二体积数据集的某些数值的光学属性；以及用于对由所述第一和第二体积数据集的所述某些数值的传递函数所定义的光学属性进行显像的显示单元。其中所述处理单元被设计成通过使用包含在所述第一和第二体积数据集的数值的分布中的信息来建立所述传递函数。

根据作为本发明的基础的方法，通过考虑包含在两种模式中的数值的概率分布中的信息来融合两种模式的数值。这样将得到具有单个数值和单个梯度量值作为参数的融合的传递函数空间。通过这种方式大大降低了找到良好传递函数的复杂度，从而可以由用户按照直观且熟悉的方式定义传递函数。

在本发明的一个优选实施例中，基于包含在所述第一和第二体积数据集的数值的分布中的信息来融合这些数值，从而得到包括融合的数值和融合的梯度量值的融合的传递函数空间。

优选地，在二维表示中显示所述融合的传递函数空间的融合的数值和融合的梯度量值，并且由用户选择所述融合的传递函数空间的二维表示的二维区域。在该实施例中，为用户所选的二维区域分配颜色和不透明度。

在一个特别优选的实施例中，通过考虑第一和第二体积数据集的 数值的每个元组的联合概率，建立表征包含在所述第一和第二体积数据集中的互补信息的对立（opposite）信息参数。优选地通过考虑所述第一和第二体积数据集的数值的分布，建立所述对立信息参数。在这些实施例中，可以由用户选择所述对立信息参数的参数范围。

术语“互补信息”在本发明中意味着存在这样的样本点，在所述样本点处第一成像模式采集的数据与第二成像模式采集的数据互补，例如当仅仅在第一成像模式的数据中表示样本点时就是这种情况。因此，互补信息表明每一个样本点处的两种模式中的信息内容的差异。相应地，对立信息参数对于具有高度对立信息内容的区域（即对于第一模式采集的信息与第二模式采集的信息互补的区域）表现出高数值。

通过这种方式，作为两种模式的互补信息的度量而使用附加的参数，从而给予用户对显像的更多控制并且导致不同组织的更好分离。在该实施例中，除了来自两个体积数据集的数值的概率分布之外，还使用附加的参数来更好地在组织之间进行区分。这些附加参数也由信息论中的方法获取，根据信息论，可以使用信号的出现概率来定义该信号的信息内容，例如参见Shannon[16]和Wells等人[20]。

此外还优选的是，对于由用户选择的融合的传递函数空间的二维表示的每一个二维区域，为对立信息参数定义加窗函数，并且优选由用户通过调适所述加窗函数，特别是通过调适所述加窗函数的位置和/或宽度，来选择对立信息参数的参数范围。优选地，对于分配给所选二维区域的每一个不透明度，考虑到所述对立信息参数的所选参数范围，而导出经过修改的不透明度。

用户有可能在没有相应的加窗函数的先前显示的情况下通过简单地选择或调适所述加窗函数（特别是通过选择所述加窗函数的位置和/或宽度）来选择对立信息参数的参数范围。或者也有可能首先显示加窗函数，随即由用户调适该加窗函数。

在根据本发明的设备的一个优选实施例中，所述处理单元被设计成基于包含在所述第一和第二体积数据集的数值的分布中的信息来融合这些数值，从而得到包括融合的数值和融合的梯度量值的融合的传递函数空间。

优选地，所述显示单元被设计成在二维表示中显示所述融合的传递函数空间的融合的数值和融合的梯度量值，并且其中提供用户选择单元，所述用户选择单元被设计成使得可以由用户选择所述融合的传递函数空间的所显示的二维表示的二维区域。

在本发明的另一个优选实施例中，所述处理单元被设计成通过考虑第一和第二体积数据集的数值的每个元组的联合概率，而建立表征包含在所述第一和第二体积数据集中的互补信息的对立信息参数。

优选地，提供用户选择单元，所述用户选择单元被设计成使得可以由用户选择对立信息参数的参数范围。

附图说明

下面将参照附图更加详细地描述本发明。

图1示出了通过基于信息的传递函数在多模式显像中对样本点进行分类的处理管线。

图2示出了估计联合概率分布所需的双直方图的一个例子。

图3示出了例示一种模式中的数值的出现概率与γ值之间的关系的图示。该图中的阴影表明哪一种模式对于给定数值组合具有更高信息。

图4示出了两种不同模式的切片实例，以便解释δ值如何受到数值分布的影响。具有不同阴影的区域表明在所述模式中具有不同数值的区域。S1和S2是为之计算δ值的样本点。

图5示出了把传递函数空间从3D（a）转换到2D（b）的一个例子，并且示出了将δ值的加窗函数用来修改每一个2D区域的光学属性。

图6示出了在绘制处理期间每一个样本点的处理步骤的总览。附图标记为“C”的节点是计算步骤，附图标记为“L”的步骤是查找。所述处理管线的输出是颜色c和不透明度α。

图7示出了CT数据（a）和MRI数据（b）的单独的体积显像与利用根据本发明的双传递函数空间（c）和融合传递函数空间（d）的多模式显像相对比的图像。直方图（e）－（h）对应于前面的显像（a）－（d），并且示出了用于光学属性分配的2D区域（特别参见（g）和（h）中的虚线）。直方图中的点代表所述2D区域的顶点。

图8示出了在传递函数空间中使用δ来修改2D区域的光学属性的效果。对于两个结果使用了完全相同的2D区域。

图9示出了体积空间中的δ分布的图像（c）。其在具有最大差异的区域内最高。在该例中，在模式1（a）中存在球并且在模式2（b）中不存在球之处出现最大差异。

图10表明，（c）中的多模式绘制突出显示脑中的肿瘤，在CT（a）和MRI（b）切片（见虚线）中示出。通过δ值，所述肿瘤的分割变得容易，这是因为该区域具有高于周围其他部分的δ值。

图11示出了CT和PET扫描的多模式显像。明亮区域（参见虚线）代表比如脑部区和颈部的肿瘤中的高活性区域。

图12示出了根据本发明的设备。

具体实施方式

用于多模式显像的基于信息的传递函数

在本节中介绍用于多模式显像的新颖传递函数空间。这里所描述的所有步骤的目的是传递函数空间的设计，其尽可能简单但是仍然能够分离不同组织。所述新方法的一个主要方面是使用信息论中的方法来设计该传递函数空间。

图1示出了利用光学属性在该新传递函数空间中对输入数值的元组（f ₁ ，f ₂ ）进行分类的所有必要处理步骤，其中所述传递函数空间由f _fused 、|?f _fused |和δ定义。

下面的各节将详细描述这些处理步骤，特别是如何对输入数值进行融合以便对于每一对输入数值得到仅仅单个数值、如何使用附加属性来细化通过传递函数对不同组织进行的分类并且——最后——如何使用融合的数值来定义新的传递函数空间以及如何使用附加属性来影响所述分类。为此将使用考虑到某些数值的出现概率的源自信息论的方法。在下一节中描述如何能够估计这些概率。

体积数据中的概率

用于该新的基于信息的方法的信息论是对消息的信息内容进行量化的一种概念。这种量化是基于数据的频率。可以在语言中找到数据量的例子。每一种语言都由字符构成。这些字符的频率是不等的。一些字符要比其他字符出现得更加频繁。这一频率度量就是信息论的基础。

为了把信息论的方法应用于体积数据集，必须考虑体积内部的某一位置处的数值作为离散随机变量。因此，某一数值的出现与概率相关联。与语言中的字符类似，并不是所有数值都以相同的频率出现，因此其出现概率是不同的。估计某一数值的概率的最简单方式是计算其在整个数据集中的出现次数并且将这一次数除以体积中的点的总数。假设所述体积是作为规则设置的网格点集合而给出的。为了对所有数值都执行上述操作，生成直方图。在直方图中，如果数值落在某一区段（bin）中，则增加该区段的计数。当把所有区段的计数除以体积中的点的总数时，就得到了概率分布P(f)，其返回对应于每一个数值f的出现概率。

为了获取来自两种模式的两个数值的联合出现的信息内容，需要另一个概率分布。所述另一个概率分布返回由来自第一模式的数值f ₁ 和来自第二模式的数值f ₂ 组成的每一个元组的概率P(f ₁ ,f ₂ )，其也被称作联合概率。与仅仅一个数值的出现概率相同，也可以通过直方图来估计该概率分布。由于两个数值的相依性，所述直方图在2D中定义。该直方图常被称作双直方图。

图2示出了所述直方图的一个例子。该直方图中的暗区域与较明亮区域相比表示更高的概率，因此这些数值组合更常出现。在联合概率P(f ₁ ,f ₂ )的背景下，仅仅单一数值的概率P(f ₁ )被称作边际概率。

在下面基于信息论的方法使用所述两种类型的概率来生成新的传递函数空间。

基于信息的数据融合

在多模式显像管线中的某一点处，必须组合来自两个数据集的信息，这是因为每一个样本点只能具有一种颜色和不透明度。基于信息的数据融合背后的思想是尽可能少地丢失信息的融合。可以关于数据的质量或数量来度量信息。为了通过质量进行度量，将需要用户交互来决定哪一种模式中的哪一个区域是重要的。这将是良好的度量，但也是耗时的处理，并且对于每一个新的数据集都必须重复。

度量信息的第二种方式是基于数据的数量（即频率）。对于这一度量使用信息论的方法。这种度量背后的思想是，非常频繁出现的数值所具有的信息要少于不那么频繁出现的数值。对于医学数据集来说，这可以解释为具有相同数值的较大区域（比如背景）所包含的信息要少于较小区域（比如边界区域或小组织）。可以通过下面的等式来表示信息内容：

该等式中的概率P(f)返回某一值f的出现概率。通过log ₂ 函数，信息I(f)对于具有低概率的数值为高。可以对在某一样本点处表示的两个数值都计算该信息内容。随后应当进行融合，方式为，与具有较少信息内容的数值相比，给予具有更多信息内容的数值更高权重。下面的等式描述了一个函数，该函数返回描述所述加权的单一数值：

当第二模式没有信息时，γ值为0。如果第一模式没有信息，则γ值为1。对于0.5的值，两种模式对于给定数值对都包含相同信息量。

图3示出了根据等式2为两种模式计算γ值的一个例子。矩阵中的数值代表针对如在左侧和顶部示出的两种模式的给定概率所计算的γ值。背景灰度表明对于一对数值哪一种模式具有更多信息。所述灰度的饱和度编码了模式的优势度（dominance）。

利用等式2，对于每一对数值导出一个数字，该数字可以直接被用于在融合步骤中进行加权。简单地通过下面的等式进行两个数值f ₁ 和f ₂ 的融合：

当一种模式包含的信息多于另一种模式时，融合数值f _fused 就接近这一模式的数值。因此，一种模式中具有高信息内容的点，与其原始数值相比，只被略微修改。这一属性使得更容易在新的传递函数空间中找到这样的点，这是因为其数值与该模式单独的体积显像中所应具有的数值几乎相同。对于在两种模式中具有几乎相同信息内容的点，计算出处于两个原始数值之间的新数值。

按照与数值相同的方式融合两种模式的梯度：

阴影计算以及传递函数基于梯度量值进行的分类需要融合梯度。所述融合的结果是每一个样本点一个数值，就像对于单一体积的显像一样。所述融合的数值和融合的梯度的量值一起可以被用于通过传递函数进行的分类。

不幸的是，一些组织在该融合传递函数空间中发生重叠。因此在下一节中引入附加的参数，其支持更好地分离不同组织的传递函数设计。

对立信息获取

在前一节中利用γ值计算了表明两个数值当中的哪一个具有更多信息的量。在本节中将定义表示包含在两个数值的联合出现中的信息而不是包含在单一数值的出现中的信息的量。这个新的量将被用作利用光学属性对样本点进行分类的另一特性。所述新特性的目标是从在两种模式中具有几乎相同的信息内容的区域当中提取出具有高度对立信息内容的区域。对于利用光学属性的分类，该属性可以被用于更好地分离不同组织。

对于图像和体积配准来说，互信息（mutual information）的最大化是找到良好配准位置的常用工具。在本文中，当互信息处于最大值时找到最佳配准位置。这意味着在该位置处，两个数据集都包含最低可能对立信息。所述互信息是对应于整个数据集的量。

与此相对，逐点互信息（PMI）是对应于点的特定组合的互信息的量。其由以下等式定义：

当一对数值的出现频率恰好与偶然预期的情况相同时，PMI为0。当两个数值彼此在统计上独立并且联合概率P(f ₁ ,f ₂ )恰好是两个边际概率P(f ₁ )与P(f ₂ )的乘积时，就是这种情况。如果二者一起出现的频率高于偶然预期的情况，则所述计算的结果大于0。相反，如果一对数值的出现频率低于偶然预期的情况，则所述数值低于0。通过Shannon的定义，这种情况比大于0的结果数值包含更多信息，这是因为出现频率较低。对于为0的联合概率P(f ₁ ,f ₂ )，PMI就定义而言是0。对于所有其他概率都可以将PMI归一化到0到1之间的数值，这可以通过从PMI减去下界（P(f ₁ )=1并且P(f ₂ )=1）并且除以上界（P(f ₁ )=P(f ₁ ,f ₂ )并且P(f ₂ )=P(f ₁ ,f ₂ )）与下界之间的差来实现：

如果该等式返回接近0的数值，则所述数值对的信息多于其将返回接近1的数值的情况。为了对于具有高信息内容的数值对得到高数值，定义一个新的量δ作为PMI _norm 的倒转（inversion）：

图4示出了两种不同模式的两个切片。用大写字母标记的不同区域具有不同的阴影，从而表示在两种模式中具有不同数值的区域。十字是应当为之计算δ值的样本点。

对于样本点S1，所涉及到的边际概率（P(f ₁ )和P(f ₂ )）相当低，这是因为只有小区域（C1和C2）在两种模式中具有相同数值。对于样本点S2，第二模式中的边际概率更高，这是因为该样本点位于较大区域B2内。联合概率P(f ₁ ,f ₂ )对于这两个样本点相同，这是因为C1与C2组合的出现频率恰好等于D1与B2组合的出现频率。但是通过利用这些概率计算δ值，对于样本点S1接收到的数值要小于对于样本点S2接收到的数值。

可以这样来解释该例：对于样本点S1来说，两种模式包含相关的信息，而对于S2来说，模式1与模式2的信息互补，这是因为区域D1仅仅被表示在模式1中。这意味着对于具有高度对立信息内容的区域来说，δ值以高数值响应。因此，该数值可以被用来把仅仅出现在一种模式中的组织与存在于两种模式中的组织分开。其可以被视为表明每一个样本点处的两种模式中的信息内容的差异的量。数据集中的噪声不会影响δ值。所述噪声会使概率分布函数变平坦，但是概率之间的关系不会改变，因此δ值不受影响。

下节描述这种属性如何能够整合到分类处理中。

基于信息的传递函数分类

在前面两节中描述了如何能够利用源自信息论的方法生成融合的数值和融合的梯度以及表示对立信息的附加属性δ。现在将一起使用这些数值来分配光学属性。

由于对于每一个样本点存在三个数值（f _fused ，|?f _fused |，δ），因此所述分类可在3D空间中进行。将对于每一个数值三元组分配光学属性。在图5（a）中示出了这种方法。该方法的问题在于传递函数设计的复杂度。对应于特定光学属性的分配的3D区域由3D位置以及任意3D形状定义。由于定义3D区域的这种自由度，很难找到良好的传递函数。

因此，通过仅仅在2D传递函数空间（f _fused ，|?f _fused |）内定义区域而降低自由度。此外，对于每一个区域，针对δ值定义简单的加窗函数。针对这项任务的加窗函数选择是由于以下事实：一个组织的点的δ值处于某一数值范围内。为了提取该组织，只应当选择其δ值处于该范围内的点。加窗函数容易调节到某一数值范围。可以通过下面的等式来表示所述加窗函数：

参数δ _pos 和δ _width 定义加窗函数ω(δ)的位置和形状。

在图5（b）中，示出了2D区域内的分离和相应加窗函数的一个例子。所述加窗函数返回0到1之间的值。把根据传递函数空间中的2D区域分配的原始不透明度α乘以该数值，以便使该加窗函数具有低返回数值的点淡出。

可以在两个步骤中实现传递函数的定义。在第一步骤中，定义传递函数空间内的区域。在第二步骤中，可以调适针对δ值的加窗函数，以便更好地分离感兴趣的组织。利用这种两步方法，可以降低传递函数设计的复杂度。融合的2D传递函数空间内的区域定义是类似的，因此对于单个体积显像的2D传递函数设计来说是公知的。

实现方式

为了进行快速且高效的体积绘制，必须在预处理中进行尽可能多的计算。整个处理当中最为耗时的部分是生成两种模式的双直方图和两个单独的直方图以用于概率估计。

这可以在绘制之前执行，这是因为所述直方图对于两个给定的体积数据集来说是静态的，并且不会在绘制处理期间发生改变。所述直方图被用来按照前一段中所描述的那样计算γ值和δ值。这些数值当中的每一个都可以被存储在2D查找表中。对于两个给定的体积数据集，它们也不发生改变。

图6示出了在绘制处理期间对于每一个样本点的处理步骤。附图标记为“L”的处理步骤是查找，附图标记为“C”的处理步骤是计算。作为第一步骤，在先验生成的γ和δ查找表中进行查找。γ值被用来如前所述地融合两个输入数值。利用融合的数值和融合的梯度的量值，在传递函数的查找表中进行查找。一个查找表存储传递函数空间内的每一点的颜色c和不透明度α。第二查找表存储加窗函数的参数δ _pos 和δ _width 。2D传递函数的颜色c直接被用于诸如形成阴影之类的进一步的处理步骤。通过根据参数δ _pos 和δ _width 的加窗函数以及δ值来修改不透明度α。作为这一计算的输出得到经过修改的不透明度α _mod 。

用于2D传递函数的传递函数编辑器是基于Kniss等人的著作[8]。用户可以在传递函数空间内定义多个区域并且为这些区域分配颜色c和不透明度α。可以通过直观的鼠标交互来修改用于每一个区域的加窗函数的参数。通过在垂直方向上移动鼠标来改变δ _pos 的数值，并且通过在水平方向上移动鼠标来改变δ _width 的数值。对于一个区域的每一项改变，都必须更新加窗参数和传递函数的查找表，以便在绘制结果中直接查看修改的结果。

结果

在本节中将讨论两种不同解剖模式的组合。

最常见的解剖模式是CT和MRI。CT通常被用来显示出骨骼结构。软组织的对比度在CT数据集中较低，并且无法被很好地显示。MRI扫描则是相反的情况。诸如脑部之类的软组织具有高对比度，而骨骼则无法被看到。

在图7（a）中示出了CT扫描的显像，在图7（b）中示出了MRI扫描的显像。这两个显像对于特定的检查都是有用的，但是也可以看出，这两个数据集包含一些联合信息。此外，一些信息较少的区域（比如MRI扫描中的脑部周围的组织）掩蔽了具有更多信息的区域（比如脑部本身）。

多模式显像的目标是组合来自这两种模式的相关组织并一起显示它们以便提供附加的情境。组织的相关性取决于检查的种类。在头部CT与MRI的组合中，脑部可以是MRI扫描的相关部分，而骨骼则可以是CT扫描的相关部分。

图7（c）示出了传统多模式显像的绘制结果。双直方图空间被用来定义给样本点分配光学属性的区域。两个相关组织，脑部和骨骼，都是可见的，但是在结果中也可以看到许多伪影。之所以造成这一点是因为在基于双直方图的传递函数空间内无法更好地分离脑部。

图7（d）示出了通过根据本发明的新方法生成的结果。与利用传统的多模式显像技术生成的结果相比，脑部与其他组织清楚地分离，只有少数几处伪影可见。

图7（e）到（h）示出了图7（a）到（d）中的显像的相应直方图。在这些直方图顶上还示出了被用来利用光学属性（比如颜色和不透明度）对样本点进行分类的区域。可以看出，如图7（h）中所示的用于在新的融合的传递函数空间内对脑组织和骨骼进行分类的区域与如图7（e）和图7（f）中所示的单一模式显像中的各个区域高度相关。在图7（g）中示出了基于双直方图的用于多模式显像的区域。该传递函数空间内的区域的位置和形状与对应于单一模式显像的区域相比完全不同。这就使得用户定义对应于所述传递函数的区域更加困难得多，这是因为无法使用来自单一模式显像的知识。

如前所述，在两个步骤中定义传递函数。在图7（h）中仅仅示出了为样本点分配颜色和非零不透明度的区域。此外还对于这些区域当中的每一个定义针对δ值的加窗函数。该函数被用来细化通过传递函数进行的分离。

在图8（a）中示出了在不使用针对δ的加窗函数的情况下生成的绘制结果。被用来为脑部分配光学属性的区域与用于图7（d）的相同。可以看出，结果包含许多伪影。与之相比，图8（b）示出了通过附加地使用针对δ的加窗函数来修改不透明度而生成的结果。通过利用加窗函数细化分类，大多数伪影都不见了，并且脑部被清楚地分离。

除了伪影减少之外，附加的δ值的好处是能够找到在两个数据集中具有很大差异的区域。这对于几种应用可能非常有帮助，比如找到仅仅在一种模式中显现的组织。由于如前所述的δ的属性，在两个数据集中具有对立信息的区域具有高δ值。

图9示出了两个示例数据集的组合的δ值响应。在图9（a）和图9（b）中示出了两个数据集，其不同之处仅仅在于一个区域，该区域在模式1中存在球形而在模式2中则不存在。图9（c）示出了所述两种模式的δ值的相应分布。在仅于一种模式中表示出球形的所述区域内，δ值是最高的，这是因为该区域包含大量对立信息。这一属性可以被用来很容易地找到在两种模式中具有大量对立信息的区域。在其中这一点是有用的一个例子是检测脑部的肿瘤。肿瘤是在MRI中以高对比度显现的区域。在CT扫描中的对比度较低。因此，肿瘤区域包含大量对立信息。图10（a）和图10（b）示出了具有脑部肿瘤的数据集的CT和MRI扫描的切片。所述肿瘤是脑部左上区内的明亮区域。由于该区域内的对立信息，δ值高。这可以被用来通过在整个融合的传递函数上定义区域而很容易地在多模式显像中找到这种区域。随后调节针对δ的加窗函数，从而仅仅显示出具有高数值的点。当检测到感兴趣的区域时，随后可以最小化传递函数空间内的2D区域，直到其仅仅覆盖具有高δ值的各点。图10（c）示出了按照这种方式生成的多模式显像的结果。脑部内的明亮斑块是如上面的切片中所示的肿瘤。该图像中的伪影是由于所述两个数据集在一些区域内的非常糟糕的配准而导致的。但是，这种新的技术仍然能够在无需分割的情况下突出显示肿瘤。

所述结果至此仅把解剖模式用于多模式显像，但是也有可能把解剖模式与机能模式相组合。这种组合把解剖模式的好处（比如高空间分辨率和解剖结构）与机能模式的好处（比如描绘身体内部的机能过程）带到了一起。对于这样的组合已经进行了大量研究。这些方法当中的大多数提供2D显像，其中机能信息覆盖在解剖信息上。此外还给出了与解剖模式相比清楚地显示出高活性区域的3D显像。

图11示出了通过根据本发明的方法生成的所述两种模式的组合的多模式显像的结果。该图一起示出了头部的CT扫描与PET扫描。脑部内和颈部肿瘤处的高活性区域由融合的传递函数空间中的2D区域以及针对δ的加窗函数一起定义，并且通过明亮区域而显像。

不同的结果表明了如何能够按照不同的方式将所述新方法用于多模式显像。在实验中，所述融合的传递函数空间已被证明是用于传递函数设计的直观空间，这是因为其类似于单一体积显像的传递函数空间。此外，针对δ值的加窗函数是更好地分离来自两种模式的不同组织的有效工具，并且其还可以被用来找到具有大量对立信息的区域。

图12示出了根据本发明的用于医学体积数据集的多模式显像的设备10的一个例子的示意图。通过至少两种不同的模式19a和19b（例如CT和MRI设备）生成对象（特别是患者）的不同体积数据集18，并且将其传送到设备10。

设备10包括用于建立传递函数的处理单元16，所述传递函数定义不同体积数据集18的某些数值的光学属性。根据本发明，处理单元16被设计成通过利用包含在不同数据集18的数值的分布中的信息建立传递函数，正如前面详细描述的那样。具体来说，所述处理单元被设计成通过考虑包含在所述第一和第二体积数据集的数值的分布中的信息来融合这些数值，从而得到包括融合的数值f _fused 和融合的梯度量值?f _fused 的融合的传递函数空间（f _fused ，?f _fused ）。

此外，所述设备还包括显示单元11（例如TFT屏幕），其用于在二维表示17中显示融合的传递函数空间（f _fused ，?f _fused ）的融合的数值f _fused 和融合的梯度值?f _fused ，并且用于显示基于融合的传递函数空间（f _fused ，?f _fused ）的多模式显像14。还有可能在显示单元11上显示加窗函数ω(δ)的二维表示9。

设备10包括用户选择单元，比如鼠标13和/或键盘15，使得用户能够选择所显示的融合的传递函数空间（f _fused ，?f _fused ）的二维表示17的二维区域12。通过鼠标13和/或键盘15，用户还有可能选择加窗函数ω(δ)的位置δ _pos 和/或形状（例如宽度δ _width ）。

结论

通过前面描述的本发明，获得了用户友好的传递函数空间，从而使得容易找到表现性传递函数以便对两种模式的某些组织进行显像。

通过基于信息内容的数据值融合，定义了与单一体积显像的2D传递函数空间类似的2D传递函数空间，以数值和梯度量值作为两个维度。因此，用户更容易理解该传递函数空间内点的分布。

描述包含在一对数值中的对立信息的δ值被用于更好地分离不同组织。所述δ值将把传递函数空间扩展一维，从而扩展到3D空间。通过定义3D区域可以在该传递函数空间中分配光学属性。由于在三维中这项任务的复杂性，执行一种两步方法，其中仅仅在融合的数值和融合的梯度量值上在2D传递函数空间内定义区域。在第二步骤中，针对每一个2D区域调适简单的加窗函数，以便细化所述选择并且更好地分离不同特征。由于降低了自由度，因此这种两步分离可以降低设计任务的复杂度。

利用根据本发明的方法，可以在融合的数值的2D直方图中看出体积内的结构。这些结构是在两个数据集的单独2D直方图中可见的结构的组合。这样给了用户最初在传递函数空间内的何处放置各区域的线索，当用户已经对单一体积绘制的2D传递函数空间有经验时，尤其是这样。

如前所示，利用新的融合的传递函数空间更容易定义传递函数。此外，与双传递函数空间相比，可以更好地分离不同组织。通过附加地使用用来细化分类的δ值可以实现还要更好的分离。

在前面给出的例子中，仅仅使用了两种模式作为输入源，也就是说在每一个样本点处恰好存在两个数值。一般来说，本发明的概念适用于任意数目的模式的组合的显像。优选地，传递函数空间的维度不应当随着在每一个样本点处所涉及的数值的数目的增多而增加。因此必须对数据融合进行扩展，以便把多于两个数值融合到单一新数值。此外，必须调适对立信息的计算，以便返回单一数值，其代表对于特定样本点处的多于两个数值的组合所述互补信息是怎样的。

参考文件

[1] H. Akiba and K.-L. Ma. A tri-space visualization interface for analyzing time-varying multivariate volume data. In Proceedings of Eurographics/ IEEE VGTC Symposium on Visualization, pages 115–122, 2007.

[2] W. Cai and G. Sakas. Data intermixing and multi-volume rendering. In Computer Graphics Forum, volume 18, pages 359–368, 1999. 

[3] A. Evans, S. Marrett, J. Torrescorzo, S. Ku, and L. Collins. MRI-PET correlation in three dimensions using a volume-of-interest (VOI) atlas. Journal of Cerebral Blood Flow and Metabolism, 11(2):A69–A78, 1991. 

[4] H. Hong, J. Bae, H. Kye, and Y.-G. Shin. Efficient multimodality volume fusion using graphics hardware. In International Conference on Computational Science (3), pages 842–845, 2005. 

[5] J. Kim, S. Eberl, and D. Feng. Visualizing dual-modality rendered volumes using a dual-lookup table transfer function. Computing in Science and Engineering, 9(1):20–25, 2007. 

[6] G. Kindlmann and J. W. Durkin. Semi-automatic generation of transfer functions for direct volume rendering. In VVS ’98: Proceedings of the 1998 IEEE Symposium on Volume Visualization, pages 79–86, 1998. 

[7] J. Kniss, C. Hansen, M. Grenier, and T. Robinson. Volume rendering multivariate data to visualize meteorological simulations: a case study. In VISSYM ’02: Proceedings of the symposium on Data Visualisation 2002, pages 189–195, 2002. 

[8] J. Kniss, G. Kindlmann, and C. Hansen. Interactive volume rendering using multi-dimensional transfer functions and direct manipulation widgets. In VIS ’01: Proceedings of the 12th IEEE Visualization 2001, pages 255–262, 2001. 

[9] J. Kniss, S. Premoze, M. Ikits, A. Lefohn, C. Hansen, and E. Praun. Gaussian transfer functions for multi-field volume visualization. In VIS ’03: Proceedings of the 14th IEEE Visualization 2003, pages 65–72, 2003.

[10] J. Kniss, J. P. Schulze, U. Wssner, P. Winkler, U. Lang, and C. Hansen. Medical applications of multi-field volume rendering and VR techniques. In Proceedings of Eurographics/IEEE VGTC Symposium on Visualization, pages 249–254, 2004.

[11] D. Levin, X. Hu, K. Tan, S. Galhotra, C. Pelizzari, G. Chen, R. Beck, C. Chen, M. Cooper, and J. Mullan. The brain: integrated threedimensional display of MR and PET images. Radiology, 172:783–789, 1989.

[12] M. Levoy. Display of surfaces from volume data. IEEE Computer Graphics and Applications, 8(3):29–37, 1988.

[13] H. Li, B. S. Manjunath, and S. K. Mitra. Multisensor image fusion using the wavelet transform. Graphical Models and Image Processing, 57(3):235–245, 1995. 

[14] H. Pfister, C. Bajaj, W. Schroeder, and G. Kindlmann. The transfer function bake-off. VIS ’00: Proceedings of the 11th IEEE Visualization 2000, pages 523–526, 2000. 

[15] L. Schad, R. Boesecke, W. Schlegel, G. Hartmann, V. Sturm, L. Strauss, and W. Lorenz. Three dimensional image correlation of CT, MR, and PET studies in radiotherapy treatment planning of brain tumors. Journal of Computer Assisted Tomography, 11(6):948–954, 1987. 

[16] C. E. Shannon. A mathematical theory of communication. Bell System Technical Journal, 27:379–423,623–656, 1948. 

[17] R. Stokking, K. J. Zuiderveld, H. E. Hulshoff Pol, and M. A. Viergever. SPECT/MRI visualization for frontal-lobe-damaged regions. Visualization in Biomedical Computing 1994, 2359(1):282–290, 1994. 

[18] A. Toet. Hierarchical image fusion. Machine Vision and Applicatios, 3(1):1–11, 1990. 

[19] K. Weiss, S. Stiving, E. Herderick, J. Cornhill, and D. Chakeres. Hybrid color MR imaging display. American Journal of Roentgenology, 149(4):825–829, 1987. 

[20] W. M. Wells III, P. Viola, H. Atsumi, S. Nakajima, and R. Kikinis. Multimodal volume registration by maximization of mutual information. Medical Image Analysis, 1:35–51, 1996. 

[21] K. J. Zuiderveld and M. A. Viergever. Multi-modal volume visualization using object-oriented methods. In VVS’94: Proceedings of the 1994 IEEE Symposium on Volume Visualization, pages 59–66, 1994.

Claims (16)

1.用于对象的体积数据集（18）的多模式显像的方法，包括以下步骤：

－利用第一成像模式（19a）采集对象的第一体积数据集，并且利用第二成像模式（19b）采集对象的第二体积数据集，所述第一和第二体积数据集分别包括多个样本点以及与所述样本点相关联的多个数值f ₁ ，f ₂ ；

－建立传递函数，所述传递函数定义所述第一和第二体积数据集的某些数值f1，f2的光学属性c，α，其中c指的是颜色，α指的是不透明度；以及

－对所述第一和第二体积数据集的所述某些数值f ₁ ，f ₂ 的光学属性c，α进行显像，

其特征在于，

所述传递函数是通过使用包含在所述第一和第二体积数据集的数值f ₁ ，f ₂ 的概率分布P(f ₁ )，P(f ₂ )中的信息I(f ₁ )，I(f ₂ )而建立的。

2.根据权利要求1的方法，其中，基于包含在所述第一和第二体积数据集的数值f ₁ ，f ₂ 的分布P(f ₁ )，P(f ₂ )中的信息I(f ₁ )，I(f ₂ )来融合这些数值f ₁ ，f ₂ ，从而得到包括融合的数值f _fused 和融合的梯度量值?f _fused 的融合的传递函数空间f _fused ，?f _fused 。

3.根据权利要求2的方法，其中，在二维表示（17）中显示融合的传递函数空间f _fused ，?f _fused 的融合的数值f _fused 和融合的梯度量值?f _fused 。

4.根据权利要求3的方法，其中，由用户选择融合的传递函数空间f _fused ，?f _fused 的二维表示（17）的二维区域（12）。

5.根据权利要求4的方法，其中，由用户为所选二维区域（12）分配颜色c和不透明度α。

6.根据任一项在前权利要求的方法，其中，通过考虑所述第一和第二体积数据集的数值的每一个元组f ₁ ，f ₂ 的联合概率P(f ₁ ,f ₂ )而建立表征包含在所述第一和第二体积数据集中的互补信息的对立信息参数δ。

7.根据权利要求6的方法，其中，通过考虑所述第一和第二体积数据集的数值f ₁ ，f ₂ 的分布P(f ₁ )，P(f ₂ )而建立所述对立信息参数δ。

8.根据权利要求6的方法，其中，由用户选择所述对立信息参数δ的参数范围。

9.根据权利要求8的方法，其中，对于由用户选择的融合的传递函数空间f _fused ，?f _fused 的二维表示（17）的每一个二维区域（12），定义针对所述对立信息参数δ的加窗函数ω(δ)，并且其中由用户通过调适所述加窗函数ω(δ)来选择所述对立信息参数δ的参数范围。

10.根据权利要求9的方法，其中，由用户通过调适所述加窗函数ω(δ)的位置δ _pos 和/或宽度δ _width ，来选择所述对立信息参数δ的参数范围。

11.根据权利要求8的方法，其中，对于被分配给所选二维区域（12）的每一个不透明度α，通过考虑所述对立信息参数δ的所选参数范围而导出经过修改的不透明度α_mod。

12.用于对象的体积数据集（18）的多模式显像的设备（10），其中利用第一成像模式（19a）采集对象的第一体积数据集并且利用第二成像模式（19b）采集对象的第二体积数据集，所述第一和第二体积数据集分别包括多个样本点以及与所述样本点相关联的多个数值f ₁ ，f ₂ ，所述设备（10）包括：

－用于建立传递函数的处理单元（16），所述传递函数定义所述第一和第二体积数据集的某些数值f ₁ ，f ₂ 的光学属性c，α，其中c指的是颜色，α指的是不透明度；以及

－用于对由所述第一和第二体积数据集的所述某些数值f ₁ ，f ₂ 的传递函数所定义的光学属性c，α进行显像的显示单元（11），

其特征在于，

所述处理单元（16）被设计成通过使用包含在所述第一和第二体积数据集的数值f ₁ ，f ₂ 的概率分布P(f ₁ )，P(f ₂ )中的信息I(f ₁ )，I(f ₂ )来建立所述传递函数。

13.根据权利要求12的设备，其中，所述处理单元（16）被设计成基于包含在所述第一和第二体积数据集的数值f ₁ ，f ₂ 的分布P(f ₁ )，P(f ₂ )中的信息I(f ₁ )，I(f ₂ )来融合这些数值f ₁ ，f ₂ ，从而得到包括融合的数值f _fused 和融合的梯度量值?f _fused 的融合的传递函数空间f _fused ，?f _fused 。

14.根据权利要求13的设备（10），其中，所述显示单元（11）被设计成在二维表示（17）中显示融合的传递函数空间f _fused ，?f _fused 的融合的数值f _fused 和融合的梯度量值?f _fused ，并且其中提供用户选择单元（13，15），所述用户选择单元（13，15）被设计成使得可以由用户选择所显示的融合的传递函数空间f _fused ，?f _fused 的二维表示（17）的二维区域（12）。

15.根据权利要求12到14中的任一项的设备（10），其中，所述处理单元（16）被设计成通过考虑所述第一和第二体积数据集的数值的每一个元组f ₁ ，f ₂ 的联合概率P(f ₁ ,f ₂ )而建立表征包含在所述第一和第二体积数据集中的互补信息的对立信息参数δ。

16.根据权利要求15的设备（10），其中，提供用户选择单元（13，15），所述用户选择单元（13，15）被设计成使得可以由用户选择所述对立信息参数δ的参数范围。