CN101310303B - 用于显示高分辨率图像数据和时变低分辨率图像数据的方法 - Google Patents

Abstract

一种方法允许以平稳的帧速率显示时变的、合并的高分辨率和低分辨率图像数据。在一个实施例中，高分辨率数据是结构图像数据，低分辨率图像数据是功能图像数据。将功能图像数据聚集(20)为多个组，每一个组都是作为整体进行渲染及合并(24)的。然后将所产生的合并图像存储(28)在先进先出(FIFO)缓冲器中，以用于显示。在对合并图像进行显示的同时，对下一组功能图像数据进行合并及渲染，并将其提供给FIFO缓冲器，获得平稳的帧速率。还公开了使用该方法的一种计算机程序和医学成像设备。

Description

用于显示高分辨率图像数据和时变低分辨率图像数据的方法

本发明涉及一种用于显示高分辨率数据和时变低分辨率图像数据的方法。具体而言，其涉及高分辨率结构数据和较低分辨率功能数据的显示。

已知使用医学成像技术，例如计算机断层造影成像术(CT)，来提供结构或解剖信息。该解剖信息可以包括与作为CT扫描对象的骨骼、器官等有关的信息。可以以高分辨率获得该解剖图像数据。

还已知用医学成像技术来提供功能信息。该信息表示组成作为扫描对象的器官的细胞的功能。例如，可以使用放射性同位素成像，其中，使用源于放射性衰变的辐射来确定体内服用的放射性示踪剂的局部浓度。通常，功能信息是随时间变化的，显示了随时间过去、在过程中的变化。与解剖信息不同的是，功能信息经常是低分辨率的，这使得难以将功能信息与解剖的特定部分相关联。

US-2004/0044282-A1涉及一种医学成像系统和方法，其中，依次执行结构和功能扫描。首先，执行冠状动脉的CT扫描，以获得动脉的结构数据。其次，执行冠状动脉的正电子发射断层造影成像(PET)扫描，以获得动脉的功能数据。随后，将CT扫描的数据与PET扫描的数据相结合，以便将结构数据和功能数据显示在单个图像中。该图像在本质上可以是静止的或者是动态的。

为了产生有用的动态图像，必须以足够高和有保证的帧速率来显示动态数据。借助于当前的计算机硬件，可以以足够的速度渲染低分辨率功能数据，获得大约20Hz的显示帧速率。然而，由于解剖扫描数据的高分辨率，当需要合并的解剖和结构数据时，帧速率被大大减小。使用US-2004/0044282-A1的方法，就必须在显示每一帧之前，为该帧渲染解剖数据和功能数据两者。这就意味着图像的显示不能以平稳的帧速率出现。

因此，本发明的目的是改进较高分辨率数据与较低分辨率数据的显示。

根据本发明的第一方面，提供了一种显示具有第一分辨率的第一图像数据和具有第二分辨率的时变第二图像数据的方法，第二分辨率低于第一分辨率，其中，时变第二图像数据包括多个第二图像数据集，每一个第二图像数据集都表示时间上的不同点，该方法包括：

用表示视点的渲染参数来合并及渲染第一图像数据与第一组第二图像数据，产生第一组合并图像数据，其中，第一组第二图像数据包括在时间上连续的多个第二图像数据集；并且

在显示器上将第一组合并图像数据显示为图像序列；

其中，在显示第一组合并图像数据的步骤期间，以第二组第二图像数据重复所述渲染及合并的步骤，并且其中，在显示第一组合并图像数据的步骤完成之前，完成第二组功能图像数据的渲染及合并。

第一图像数据优选的是结构图像数据，第二图像数据优选的是功能图像数据。

在该方法中，在多个组中执行第一图像数据与第二图像数据集的合并与渲染。顺序显示合并数据的组，在此期间对第二组第二图像数据进行合并及渲染，以便为其在第一组合并数据的显示完成时的显示做好准备。这确保了获得平稳一致的帧速率，因为对一组图像进行显示的同时，对下一组图像进行渲染及合并。

优选的，借助于使用流水线技术来实现在显示一组合并图像数据的同时对下一组进行处理。流水线技术可以以不同方式来实现。例如，流水线技术可以是先进先出(FIFO)缓冲器，或者可以是用于显示的专用协处理器。

有利的是，由于本发明的方法允许将在多个组中的几个第二图像数据集与同一第一图像数据进行渲染及合并，因此该方法可以使用并行处理来提高其效率。可以要求对功能图像数据组中的每一个图像执行相同的操作；这使得该方法很适于并行处理。

可选的，该方法还包括接收关于视点变化的用户输入。在此情况下，在多个组中功能图像数据的处理使所显示的图像保持恒定帧速率，而不用管视点中的变化。渲染及合并第一图像数据与来自新视点的第二图像数据组所需的时间是已知的。同样地，在先前处理的图像全部显示之前剩余的时间也是已知的。只有在先前处理的图像用完之前有足够的时间进行处理的情况下，才立即实施视点的变化。这允许实现恒定帧速率，同时还允许改变视点。

根据本发明的第二方面，提供了一种计算机程序，其包括代码模块，所述代码模块当由数据处理器执行时，命令所述数据处理器执行上述第一方面的方法。

根据本发明的第三方面，提供了一种计算机程序产品，包括根据上述第二方面的、包含在计算机可读介质上的计算机程序。适合的计算机可读介质的实例包括光存储介质，例如光盘，磁存储介质，例如磁盘，或固态介质，例如闪存。

根据本发明的第四方面，提供了一种医学成像设备，用于显示具有第一分辨率的第一图像数据和具有第二分辨率的时变第二图像数据，第二分辨率低于第一分辨率，其中时变第二图像数据包括多个第二图像数据集，每一个第二图像数据集都表示时间上的不同点，该设备包括：

存储设备，用于存储可由数据处理器执行的指令，并用于存储第一图像数据和多个第二图像数据集；

数据处理器，其可以由存储在存储设备中的指令配置来执行以下步骤：

用表示视点的渲染参数来合并及渲染第一图像数据与第一组第二图像数据，以产生第一组合并图像数据，其中，第一组第二图像数据包括在时间上连续的多个功能图像数据集；并且

在显示器上将第一组合并图像数据显示为图像序列；

其中，在显示第一组合并图像数据的步骤期间，以第二组第二图像数据重复所述渲染及合并的步骤，并且其中，在显示第一组合并图像数据的步骤完成之前，完成第二组第二图像数据的渲染及合并。

第一图像数据优选的是结构图像数据，第二图像数据优选的是功能图像数据。

现在将参考附图借助实例来说明本发明的实施例，其中：

图1是用于实现本发明方法的计算机程序结构的示意图；

图2是本发明第一实施例的方法的流程图；

图3是控制视点变化的用户输入的方法的流程图；

图4是本发明第二实施例的流程图；

全部附图中相同的参考数字用于相同的部分。

图1是用于实现根据本发明第一实施例的方法的计算机程序结构的示意图。该计算机具有结构参考数据2和一个以上的功能数据集4的输入。结构参考数据2具有高于功能数据集4的分辨率。每一个功能数据集4都表示时间上的特定点。功能数据组6由功能数据4产生。每一组都包含在时间上连续的多个功能数据集4。

数据融合与渲染模块8处理结构参考数据2与功能数据组6，以产生合并图像数据，即包含结构数据和功能数据两者的图像数据。在系统控制器模块12的控制下，将一组渲染参数10提供给数据融合与渲染模块8。数据融合与渲染模块8用渲染参数10产生用于显示的一系列图像数据。图像数据系列中的每一个图像都包括一个功能数据集4的数据，并在显示器上被显示为一帧。

在该实施例中，提供了先进先出(FIFO)缓冲器14，用于存储由数据融合与渲染模块8产生的图像数据，尽管在可替换实施例中也使用采用其它装置。系统控制器模块12可以确定FIFO缓冲器14的状态(例如，存储的图像还剩余多少)，并还控制将存储在FIFO缓冲器14中的图像数据提供给显示控制器模块16。

图2中示出了本发明的方法。在步骤20中，将多个功能数据集4分割为多个组，每一组都包括预定数量的功能图像数据集4。在每一组中的图像在时间上都是连续的，即在该组中的图像在时间上呈现连续的期间。通常，将在每一组中的功能图像数据集4的数量选择为，使得处理全部功能图像数据集4所用的时间与处理结构参考数据2所用的时间近似相同。为了给出数值实例，如果结构参考数据2可以在大约1秒内渲染，且功能图像数据在大约二十分之一秒内渲染，则在每一组中的功能图像数据集的数量就是20。还可以将处理时间进行分割，以便结构参考数据与功能图像数据集的处理时间不同于上述的一一对应关系。

在第二步骤22中，确定并存储视点，数据要从该视点进行显示。该视点可以是预先选择的默认视点，或者可替换地，其可以由用户输入来选择。视点被存储为渲染参数10。

在第三步骤24中，将结构参考数据2与每一个功能数据集4合并及渲染。该步骤由数据融合与渲染模块8来执行。

在合并与渲染的第三步骤24中，数据融合与渲染模块8可以采用多种技术。这些技术可以包括考虑了深度关系的技术和没有考虑深度关系的技术。在几种渲染技术中，可以把功能数据的每一个像素都归因于由结构数据定义的参考体积中的具体位置。这种技术的实例包括最大强度投影和等面(iso-surface)渲染。在这些技术中，每一个像素的深度都存储在称为z映射的数据结构中。z映射用于以正确的深度关系合并及渲染功能投影和结构投影。

也可以使用考虑了深度关系但没有使用z映射的渲染技术。在这些技术中，投影的像素不参考具体位置。这种技术的实例是体积渲染。在体积渲染中，沿射线的多个体素用于组成最终投影的像素。因此，像素不参考与其它像素相对应的任何具体深度。在此情况下，数据融合与渲染模块8必须在三维空间合并及渲染解剖数据和功能数据。优选的，这可以使用对包含在功能数据组中的功能数据集进行的并行处理来有效的实现。在此情况下，优选的是，由可以被向量处理单元处理的向量来表示功能数据组。每一个向量的元素都参考连续时间中的相同的体素坐标。然后，由向量的三维阵列来表示完整的功能数据组。这是尤其有利的，因为几个操作，例如射线投射(ray-casting)和融合，对功能数据组中的全部功能数据集都以相同的方式来执行，因此很适于并行处理。

由数据融合与渲染模块8所使用的技术可以依赖于例如解剖数据和功能数据的本质，或者以用户输入为基础。系统控制器12可以依据特定渲染技术的处理需求，调整图像从FIFO缓冲器14进行显示的帧速率。例如，计算能力强的渲染技术会以低于计算能力较差的渲染技术的帧速率来显示。

当已经合并及渲染了在功能图像组6中的所有功能图像数据集4时，在步骤28中，在FIFO缓冲器14中缓冲存储合并及渲染的数据。不显示图像，直到数据融合与渲染模块8已经处理了多个功能数据组6中的第一个。随后，可以将缓冲的数据显示给用户。数据的显示在系统控制器12的控制下执行，其确定下一个图像多少时候一次地从FIFO缓冲器14发送到显示器，并从而确定显示的帧速率。

一旦功能数据组6已经完全由数据融合与渲染模块8处理完并存储在FIFO缓冲器14中，系统控制器12就在步骤30中判断是否有任何剩余的要处理的组。如果有剩余的要处理的组，执行就返回到步骤34。如果没有剩余的要处理的组，该方法就在步骤32结束。

系统控制器12可以依据渲染参数来估计处理时间，并用其来确定从FIFO缓冲器14获得图像以进行显示的帧速率。因此，系统控制器12可以确保用于下一个功能数据组的处理时间小于或等于用来显示来自FIFO缓冲器的全部图像的时间。这导致了以基本上连续的帧速率、不中断或暂停地显示图像。为了给出实例，可以比较高分辨率数据更快地来处理较低分辨率数据。因此，系统控制器12会控制FIFO缓冲器14来为显示器提供图像，所述图像是采用与根据较高分辨率数据渲染的图像更高的帧速率而根据较低分辨率数据渲染的。

用户能够与所显示的图像交互，以改变渲染参数，例如设定不同的视点。处理来自用户的视点变化的输入所依据的方法在图3中示出。当在步骤40中接收到关于渲染参数中的变化的用户输入时，在步骤42中存储所产生的渲染参数。系统控制器还可以选择性地设定标志，其表明渲染参数已经改变。

在步骤44中，系统控制器12检查包含在FIFIO缓冲器14中的、仍要进行显示的图像的数量。对图像进行显示的帧速率是已知的，因此，系统控制器12可以计算在FIFO缓冲器14清空之前可用的时间。

在步骤46中，随后判断是否有足够的时间用于以新渲染参数重新处理结构图像数据和功能图像数据组。为了确保具有可靠帧速率的连续显示，如果有足够的时间来以新渲染参数进行重新处理，则系统控制器12将仅放弃采用当前渲染参数的当前图像组的处理。如果有足够的时间，剩余的执行将前进到步骤48，其重新设置结构图像数据和功能图像数据组的合并与渲染，并将执行返回到步骤24，用于以新渲染参数进行处理。

如果没有用于处理的足够的时间，则执行前进到步骤50，新渲染参数保持存储，以便处理下一个功能数据组时使用。有可能在下一个功能数据组的处理开始之前，接收到关于参数另一变化的另一用户输入。在此情况下，存储关于渲染参数的最新用户输入。即，将中间渲染参数在没有处理的情况下抛弃。

在第二实施例中，除了如下所述的之外，其与第一实施例相同，数据融合与渲染模块8不考虑深度关系。第二实施例的方法在图4中示出。在该实施例中，融合与渲染步骤包括两个步骤25和26。在步骤25中，使用参数10来渲染结构参考数据2。借助于计算该结构参考数据的二维投影，来产生渲染的结构图像数据。

一旦已经计算了渲染的结构图像数据，执行就前进到步骤26。在步骤26中，将由渲染的结构图像组成的二维投影与功能数据的投影合并。因此，在该实施例中，二维数据融合没有考虑深度关系。

如果在步骤30中确定还有其他要处理的功能数据组，执行就前进到步骤34。在步骤34中，系统控制器判断自最后一个功能数据组被处理以来，渲染参数10是否发生了改变。如果确定渲染参数10已经改变，执行就返回到步骤25，渲染来自新视点的结构图像数据。然而，如果确定渲染参数没有改变，就不需要再次渲染结构图像数据，执行前进到步骤26，以将渲染的结构图像数据与下一个功能图像数据组合并。

在第三实施例中，除了如下所述的之外，其与第二实施例相同，省略了步骤34。在此情况下，下一组的处理从步骤25开始，以确保正确处理在渲染参数中的任何变化。

在第四实施例中，除了如下所述的之外，其也与第二实施例相同，在该方法的开始确定渲染参数，且不能被用户改变。在该实施例中，不必确定渲染参数是否改变，且步骤34可以省略。当在步骤30之后处理下一个功能图像数据组时，执行可以从步骤26开始执行，因为在渲染的结构图像中没有变化。

在另一可替换实施例中，数据融合与渲染模块8可以仅使用单一渲染技术，并且可以提供结合第一实施例所描述的多个渲染技术的一个子集。

上述实施例全都可以用于医学成像设备，其包括存储设备和数据处理器。

因此，本发明提供了一种改进解剖数据和功能数据的显示的方式。借助于按组来处理并显示合并数据，本发明可以用特定渲染参数产生结构数据和功能数据的几个融合图像。随后可以用预定及可靠的帧速率来显示该组。在对前一组进行显示的同时，处理下一组，确保了以可靠的帧速率来呈现数据的连续显示。

上述各个实施例可以合并。在说明书全文中的“包括”用于表明包含的定义，并不排除其它项的存在。

Claims (8)

1.一种用于显示具有第一分辨率的第一图像数据(2)和具有第二分辨率的时变第二图像数据的方法，所述第二分辨率低于所述第一分辨率，其中，所述时变第二图像数据包括多个第二图像数据集(4)，每一个第二图像数据集(4)都表示时间上的不同点，所述方法包括：

按组来划分所述第二图像数据集(4)，每一组第二图像数据包括在时间上连续的多个第二图像数据集；

用表示视点的渲染参数来合并及渲染(24)所述第一图像数据与第一组第二图像数据，以产生第一组合并图像数据，其中，所述第一组第二图像数据包括在时间上连续的多个第二图像数据集；并且

在显示器上将所述第一组合并图像数据显示为图像序列；

其中，在显示所述第一组合并图像数据的步骤期间，用表示视点的渲染参数来合并及渲染(24)所述第一图像数据与第二组第二图像数据，以产生第二组合并图像数据，其中，所述第二组第二图像数据包括在时间上连续的多个第二图像数据集，并且其中，在显示所述第一组合并图像数据的步骤完成之前，完成所述第二组第二图像数据的渲染及合并。

2.根据权利要求1的方法，其中，在所述显示步骤中使用了流水线技术(14)，以允许在显示所述第一组合并图像数据的同时，渲染及合并所述第二组第二图像数据。

3.根据权利要求1的方法，其中，所述渲染及合并步骤(14)包括并行处理两个或更多的所述第二图像数据集。

4.根据权利要求2的方法，其中，各组第二图像数据被存储为向量。

5.根据权利要求1的方法，当接收到关于第二视点的用户输入且从所述第二视点显示所述第一图像数据和所述第二图像数据时，还包括以下步骤：

存储(42)表示所述第二视点的第二渲染参数；

计算(44)在先前处理的全部所述渲染及合并的图像数据被显示之前的剩余时间；并且

判断(46)所述剩余时间对于要在所述剩余时间内重新开始并完成所述渲染及合并步骤是否是足够的，并且如果确定有足够的剩余时间，就重新开始(48)从所述第二视点进行所述渲染及合并步骤。

6.根据权利要求1的方法，其中，所述合并及渲染步骤包括以下步骤：

用表示所述视点的渲染参数渲染(25)所述第一图像数据，以产生渲染的第一图像数据；并且

将第一组第二图像数据与用所述渲染参数得到的所述渲染的结构图像数据进行合并(26)，以产生第一组合并图像数据。

7.一种用于显示具有第一分辨率的第一图像数据(2)和具有第二分辨率的时变第二图像数据的设备，所述第二分辨率低于所述第一分辨率，其中，所述时变第二图像数据包括多个第二图像数据集(4)，每一个第二图像数据集(4)都表示时间上的不同点，所述设备包括：

用于按组来划分所述第二图像数据集(4)的模块，每一组第二图像数据包括在时间上连续的多个第二图像数据集；

用于用表示视点的渲染参数来合并及渲染(24)所述第一图像数据与第一组第二图像数据，以产生第一组合并图像数据的模块，其中，所述第一组第二图像数据包括在时间上连续的多个第二图像数据集；并且

用于在显示器上将所述第一组合并图像数据显示为图像序列的模块；

其中，用于所述合并及渲染(24)的模块布置为：在显示所述第一组合并图像数据的步骤期间，用表示视点的渲染参数来合并及渲染(24)所述第一图像数据与第二组第二图像数据，以产生第二组合并图像数据，其中，所述第二组第二图像数据包括在时间上连续的多个第二图像数据集，并且其中，在显示所述第一组合并图像数据的步骤完成之前，完成所述第二组第二图像数据的渲染及合并。

8.根据权利要求7的设备，还包括：

用于接收关于第二视点的用户输入的模块，其中，从所述第二视点显示所述第一图像数据和所述第二图像数据；

用于存储(42)表示所述第二视点的第二渲染参数的模块；

用于计算(44)在先前处理的全部所述合并图像数据被显示之前的剩余时间的模块；并且

用于判断(46)所述剩余时间对于要在所述剩余时间内重新开始并完成所述渲染及合并步骤是否是足够的，并且如果确定有足够的剩余时间，就重新开始(48)从所述第二视点进行所述渲染及合并步骤的模块。

Images