CN1936957B - 对处理基于切片的体积的优化和减小视图依赖性 - Google Patents

Abstract

本发明说明用于基于切片的体图像的多平面重新格式化(MPR)的优化和减小视图依赖性的方法。所述方法使用为高效存取基于切片的体积的计算机存储器布局作好准备的遍历方案，所以优化了总体处理时间。所述方法不需要改变体积存储器布局或不需要附加体积存储器。代之以，通过在重新格式化平面上的自适应遍历模式来实现高效的存储器存取。在重新格式化平面的位置和取向相对于体积任意改变时，遍历模式在绘制期间高速自适应。这样，由无效存储器存取引起的不同重新格式化平面取向之间的典型速度差被大大减少。在遍历模式的设计中，还考虑了计算机缓存相干性、SIMD相干实现方案以及多重处理环境。

Description

对处理基于切片的体积的优化和减小视图依赖性

有关申请的交叉参考

本申请要求2005年9月21日提交的美国临时申请No.60/719,125的权益，其内容通过引用结合在本文内。

技术领域

本发明涉及用于基于切片的体图像的多平面重新格式化(MPR)的优化和减小视图依赖性的方法。

背景技术

多平面重新格式化是业界众所周知的一种方法，用于提取代表一个或多个重新格式化平面的相交的2维(2D)复合图像和3维(3D)体图像。它是一种广泛和常规使用的方法，用于观看和评估3D基于切片的医学图像，所以需要用于快速交互的最大速度。MPR是业界称为体绘制的一种更通用技术的特殊应用。

同理，体绘制中的有关工作也适用于MPR。多年来提出过对体绘制的各种优化技术。虽然本发明集中在对基于切片的体积的存储器存取效率上，而大部分这些以前所述的优化技术其重点在于预处理数据、跳越处理不需要的数据、或改进图形硬件的使用的方法。这些方法不解决因无效存储器存取以及缓存缺失引起的等待时间问题。此外，大部分这些技术仍可与本发明所建议的方法一起使用。少数以前所述的方法确也处理过存储器存取效率和缓存缺失问题。参考：(1)S.Grimm，S.Bruckner，A.Kanitsar，E.Groller“MemoryEfficient Acceleration Structure and Techniques for CPU-basedVolume Raycasting of Large Data”，Proceedings IEEE/SIGGRAPHSymposium on Volume Visualization Graphics，page 1-8，October2004；(2)B.Mora，J.Jessel，R.Caubet“A New Object OrderRaycasting algorithm“，Proceedings of IEEE Visualization，pp107-113，2002；以及(3)G.Knittel“The Ultravis System”，Proceedings of the IEEE Symposium on Volume Visualization pp71-79，2000。

但Knittel所说明的方法要求有扩展的存储器布局，它要求高达四倍于原始体数据的附加存储器，对于大输入体积来说这是不能接受的。在Grimm等人和Mora等人所述的方法中，建议将基于切片的体积改变为砖砌式体积存储器布局。这也不是一种切实可行的途径，因为输入体积通常为只读的，而这种改变将需要附加的大体积分配。

发明内容

本发明提供用于处理具有输入体积以及一个或多个重新格式化平面的图像的系统和方法。

所述方法包括：确定体积和重新格式化平面之间的交叉边界；根据所述交叉边界确定待处理的一条或多条扫描线；根据体积和平面之间的对准选择处理模式；以及按照所述处理模式处理体积以产生输出图像。按照本发明的又一方面，所述方法还包括显示所述输出图像。

按照本发明的另一方面，所述方法利用具有多个处理器的系统来实现并包括以下步骤：确定一条或多条扫描线中每一条的长度；将一条或多条扫描线中的每一条分配给线程，以创建用于处理的一个或多个线程；以及根据扫描线的长度将一个或多个线程中的每一个分配给多个处理器之一。在分配给多个处理器之一的每个线程中的扫描线总长度最好大致相等。

按照本发明的又一方面，如果输入体积的存储器布局和重新格式化平面大致对准，那么处理模式跟随一条或多条扫描线的每一条，而如果输入体积和重新格式化平面不是大致对准，那么处理模式相继地跟随一条或多条扫描线中每一条的一部分。

如果输入体积和重新格式化平面不是大致对准，则处理模式跟随两个大致跟随体积存储器布局的模式之一。更优选的是，所述处理模式从两个或两个以上模式中进行选择，使得处理模式跟随体积扫描线的对准。

按照本发明的又一方面，对多个重新格式化平面进行处理，且当体积的存储器布局与多个重新格式化平面大致平行时，多个重新格式化平面中的每个平面被独立遍历。在此情况下，优选的是，当体积的存储器布局与多个重新格式化平面的存储器布局不平行时，对多个重新格式化平面以交插模式进行遍历。

按照本发明的再一方面，根据交叉边界确定待处理的一条或多条扫描线的步骤还包括以下步骤：找出第一扫描线和体交叉；检查下一扫描线的交叉状态；如果对象在其内，则在离开对象的方向上找出待搜索的下一个交叉；以及如果对象不在其内，则在朝向对象的方向上找出待搜索的下一个交叉。

附图说明

图1说明按照本发明一个方面的方法。

图2说明体积和单一重新格式化平面之间交叉的一种情况。

图3说明按照本发明一个方面在重新格式化平面中局部搜索体积边界。

图4说明按照本发明另一方面在多处理器系统中平衡CPU处理负载的方法。

图5说明按照本发明一个方面用于单一重新格式化平面的遍历模式。

图6说明按照本发明又一方面用于多个重新格式化平面的遍历顺序。

图7说明按照本发明一个方面的系统。

具体实施方式

现说明用于高效遍历基于切片的体积存储器的方法，用于高质量多平面重新格式化。所述方法通过以下步骤为进行高效处理并减少观看方向对速度性能的影响作好准备。1)使体交叉边界位于每个重新格式化平面中，作为重新格式化平面中沿每条扫描线的开始和结束对。2)每条扫描线上体交叉的长度用于平衡多个CPU上的负载。3)根据平面和体积取向之间的关系，自适应地选择遍历模式。4)计算各平面上的样值并将其组合成所需的最终图像。所述过程示于图1。

在第一步骤10中，将输入体积和重新格式化平面从与处理器关联的存储器中输入。在下一步骤12中，确定输入体积和重新格式化平面之间的交叉边界。这种交叉示于图2。

在下一步骤14中，使用局部体积边界搜索方法来计算每个重新格式化平面扫描线中体积边缘的开始和结束位置。局部体积边界搜索方法以求出与体对象相交的第一重新格式化平面扫描线的传统计算开始。当检测到包含体积边界的第一扫描线时，仅在最后邻近边界的每个开始和结束点周围的局部区域中遍历随后的邻近扫描线。由于体积边界以及许多规则形状的裁剪(诸如剪切框和裁剪平面)使所述平面与分段线性边缘相交，所以，只要有可能，局部边界搜索方法还利用这种线性。通过把前一扫描线交叉的交叉状态与当前扫描线中同一位置的状态进行比较，所述搜索方法确定当前扫描线交叉的最可能方向。例如，对于开始点，如果当前扫描线的同一扫描线位置在体对象之外，而前一扫描线的同一位置在体对象之内，则体积和当前扫描线最可能的交叉是沿当前扫描线的前向方向。因此，搜索方法首先沿前向方向搜索，就很可能在少数扫描线样本中找到交叉。类似的逻辑可用来提高对交叉结束点的搜索速度。

图3中图解说明所述确定的决策过程。为加速后继处理，也可利用这种局部对象边界搜索计算每条扫描线的两个开始-结束对。一对定义平面和体交叉的外边界。第二对定义与体积边界不邻近的交叉区域。在内部区域和边界分离的情况下，可以在不需要对边界处理进行代码分支处理的情况下以高效实现方案中处理所述内部区域。这对任何后继实现方案都很有利，但特别有利于使用其中一起处理多个扫描线样本的SIMD相干处理实现方案的实现方案。

体交叉的计算在多处理器环境中也很重要，在此环境中重新格式化平面的不同部分由不同的CPU处理。但是，简单地将平面分成相等大小的处理区域而不考虑在重新格式化平面中体积的位置，这对于CPU上的最佳负载平衡是不利的。预先计算的交叉信息根据需要处理的精确扫描线样本总数很好地提供了在处理线程上分段重新格式化平面所需的尺寸信息。具体地说，在每个开始-结束对之间的所有差异的总和将提供在与体积相交的平面中扫描线像素的总数。然后，可以指定每个处理线程来处理在平面中紧密地接近在所提供的处理线程数上的总像素平均值的扫描线数。图4中说明这种负载平衡方案。所述方法已表明在改进CPU的使用方面是有效的并可改进整体速度性能。

再回过来参考图1，在步骤16，根据与体积关联的存储器和重新格式化平面的对准，选择用于处理的遍历模式。根据存储器的对准来选择优化的遍历模式显著改进了处理速度。

由于所述体积可能有大尺寸，所以高效存取3D体积存储器就比高效存取2D重新格式化平面存储器重要得多。当大体积中的体素(voxel)被随机存取时，不仅每个体素被不必要地取出多次，而且当数据不适合于计算机的主存储器时，还会发生存储器系统颠簸。为此，仅当重新格式化平面扫描线与体积扫描线对准且平面与体积切片平行时，通过在重新格式化平面上逐条扫描线遍历来计算MPR的传统途径才为最佳。当这个条件不成立时，例如当平面被旋转时，平面的逐条扫描线遍历会导致体积的随机存取。其结果是与视图高度地相关的速度性能。

我们不是要求常常不切实际地改变体积存储器布局以适应逐条扫描线遍历，如现有方法所建议的，我们建议使重新格式化平面遍历来适应体积存储器布局。这是通过根据平面扫描线方向和体积取向之间的关系自适应地选择每个处理区域内的遍历模式来实现的。处理区域是与体积相交的重新格式化平面的所选部分。这可以是(但不限于)在每个处理线程中的相交平面扫描线。仅需要少数遍历模式，就可有效地减少因非相干存储器存取和缓存缺失的视图依赖性。在单一重新格式化平面的情况下，我们从三个遍历模式中选择。它们示于图5。可以将遍历模式描述为选择处理区域中的预定顺序，所述预定顺序是所述处理区域中各分段应遵循的预定顺序。所述顺序以邻近各分段(以小箭头表示)的序列号示于图5。此处分段代表沿扫描线相继地被处理的平面样值的数目N，其中N＞＝1。可以基于根据特定实现方案对样值作高效处理以及计算机L1缓存的大小来选择N。例如，对于SIMD相干实现方案，可以选择N为适合于SIMD处理寄存器大小的性质以适应适当数量样值的数。

可以通过比较以下单位矢量之间的关系来确定选择使用哪个遍历模式：

P1＝平面扫描线方向

P2＝扫描线2的开始位置-扫描线1的开始位置

P3＝扫描线2的结束位置-扫描线1的结束位置

V1＝体积扫描线方向

具体地说，如果

|P1·V1|＞＝|P2·V1|和|P1·V1|＞＝|P3·V1|

则选择在进行到平面中的下一扫描线前处理每个处理扫描线中所有分段的”扫描线-顺序”遍历。

如果

|P2·V1|＞＝|P1·V1|和|P2·V1|＞＝|P3·V1|

则选择”开始列-顺序”遍历。

这种遍历从每条扫描线的开始位置开始，处理一个分段，并进到下一扫描线中的下一分段。所述遍历继续进行，直到所述遍历到达处理区域中的最后扫描线，然后返回到每条扫描线中的下一分段，依此类推。

“结束列-顺序”遍历类似于开始列-顺序遍历，不同的是它在第一扫描线的最后分段开始，然后进到下一扫描线的最后分段。如果

|P3·V1|＞＝|P1·V1|和|P3·V1|＞＝|P2·V1|

就选择这种遍历。

直观地看，这些选择规范只不过是从与体积扫描线，从而与体积存储器布局最为对准的三个中挑选遍历方向。而且，请注意，当遍历达到处理区域的末端时所述遍历即转换方向。这就进一步把相继地处理的平面区域局部化，从而将已被取出的体素的重新使用最大化，并减少不必要的重复取出。

对于多个重新格式化平面。两个附加单位矢量用于比较。

P4＝平面法线方向

V2＝体积切片方向

如果|P4·V1|＜ε，式中ε是小的经验阈值，则使用上述单个平面遍历的模式之一对各平面互相独立地进行遍历。否则，多平面的分段一起进行处理，就是说，当平面中的分段到达所述区域的末端时，它就进到下一平面中的下一分段。图6中说明仅具有示出的两个平面的这种实例。这样，仅当体积切片与重新格式化平面高度地平行(在此情况下每个平面已尽可能处于相同的体积切片内)时，平面才被独立处理。不然，体积切片跨越这些平面，最好以交插遍历模式来处理这些平面。

在所述过程的最后步骤，即步骤18中，在选定遍历模式的情况下，当重新格式化平面被遍历时，计算所述重新格式化平面中的所有体积样值。最后，使用本领域中已知的传统方法将所有体积样值组合成所需效果。自适应分段遍历方法已表明在减少与视图相关的性能行为方面是有效的。在传统的逐条扫描线平面遍历会导致体积被调入调出计算机存储器的观看方向上，本文所建议的自适应模式已表明是能够在观看方向之间减少速度差异的有效方法。在一些观看方向上，它已表明可使计算速度加倍。而且，这种途径比任何以前建议的方法都简单得多，没有其它的缺点，因为它没有附加的存储器开销。

因此，本发明的一个方面提供了高效和局部化的体积和视图平面交叉边界搜索方法、改进了把对象和视图平面交叉尺寸用于多CPU上的负载平衡以及在重新格式化平面中对象的自适应分段遍历，用于减小视图依赖性并组合一个或多个观看平面以便形成最终图像。本发明还提供减少搜索时间和用于规则裁剪的体积和分割内外边界区以便在后继的处理步骤中减少转移的区域的方法。本发明还提供对重新格式化平面和体交叉的高效处理，同时作无效代码转移减至最少。本发明还提供用于单一重新格式化平面处理的扫描线-顺序、开始列-顺序和结束列-顺序的遍历模式，以及考虑到多CPU处理环境的遍历模式。本发明还提供遍历模式的自动自适应，具有在独立和混合平面处理之间进行自动选择的能力。

以下参考文献提供了有关本发明的背景信息，这些参考文献中的每一个其内容都通过引用结合在本文中：(1)S.Grimm，S.Bruckner，A.Kanitsar，E.Groller”Memory Efficient AccelerationStructure and Techniques for CPU-based Volume Raycasting ofLarge Data”，Proceedings IEEE/SIGGRAPH Symposium on VolumeVisualization and Graphics，page 1-8，October 2004 ；(2)B.Mora，J.Jessel，R.Caubet“A New Object Order Raycasting algorithm“，Proceedings of IEEE Visualization，pp 107-113，2002；以及(3)G.Knittel“The Ultravis System”，Proceedings of the IEEE Symposiumon Volume Visualization pp 71-79，2000。

本发明中所述的优化也可适用于更通用的体绘制使用情况。

参考图7，描述可在其上实现前述方法的系统。所述系统包括用于图像数据的存储器和应用软件。可以将图像数据和应用软件装入处理器。处理器可以是个人计算机、工作站计算机、多处理器系统或任何其它计算系统。将显示器连接到处理器，以便接收由处理器产生并要显示的图像。

虽然已示出、说明和指出了适用于其优选实施例的本发明的基本新颖特征，但是显然，在不背离本发明精神的前提下，本专业的技术人员可以在所示装置的形式和细节上以及其工作上作各种省略、替代和改变。所以，本发明应仅受所附权利要求书范围所示的限制。

Claims (18)

1.一种处理具有输入体积和一个或多个重新格式化平面的图像的方法，所述方法包括：

确定所述体积和所述一个或多个重新格式化平面之间的交叉边界；

根据所述交叉边界确定待处理的一条或多条扫描线；

根据所述体积和所述一个或多个重新格式化平面之间的对准从至少两个处理模式中选择处理模式；以及

按照所述处理模式处理所述体积以便产生输出图像，其中所述至少两个处理模式包括列顺序的扫描线遍历和扫描线顺序的扫描线遍历。

2.如权利要求1所述的方法，其中还包括显示所述输出图像。

3.如权利要求1所述的方法，其中对所述图像的所述处理是在具有多个处理器的系统中进行的，所述方法还包括以下步骤：

确定所述一条或多条扫描线中每一条的长度；

将所述一条或多条扫描线中的每一条分配给线程，以便创建用于处理的一个或多个线程；以及

按照所述扫描线的所述长度将所述一个或多个线程中的每一个分配给所述多个处理器之一。

4.如权利要求3所述的方法，其中分配给所述多个处理器之一的每个所述线程中的所述扫描线总长度相等。

5.如权利要求1所述的方法，其中如果所述输入体积和所述一个或多个重新格式化平面不是对准的，则所述处理模式跟随跟随所述体积的存储器布局的两个模式之一。

6.如权利要求1所述的方法，其中从两个或两个以上模式中选择所述处理模式，使得所述处理模式跟随体积扫描线的所述对准。

7.如权利要求1所述的方法，其中对多个重新格式化平面进行处理，并且当所述体积的存储器布局与所述多个重新格式化平面平行时，独立地遍历所述多个重新格式化平面中的每个平面。

8.如权利要求1所述的方法，其中对多个重新格式化平面进行处理，并且当所述体积的存储器布局与所述多个重新格式化平面的存储器布局不平行时，以交插模式遍历所述多个重新格式化平面中的每一个。

9.如权利要求1所述的方法，其中根据所述交叉边界确定待处理的一条或多条扫描线的所述步骤还包括：

找出第一扫描线和体交叉；

检查下一扫描线的交叉状态；

如果对象在其内，则通过在离开所述对象的方向上进行搜索来找出下一个交叉；以及

如果所述对象不在其内，则通过在朝向所述对象的方向上进行搜索来找出所述下一个交叉。

10.一种处理具有输入体积和一个或多个重新格式化平面的图像的设备，所述设备包括：

用于确定体积和一个或多个重新格式化平面之间的交叉边界的装置；

用于根据所述交叉边界确定待处理的一条或多条扫描线的装置；

用于根据所述体积和所述一个或多个重新格式化平面之间的对准从至少两个处理模式中选择处理模式的装置；以及

用于按照所述处理模式处理所述体积以便产生输出图像的装置，其中所述至少两个处理模式包括列顺序的扫描线遍历和扫描线顺序的扫描线遍历。

11.如权利要求10所述的设备，其中还包括用于显示所述输出图像的装置。

12.如权利要求10所述的设备，其中在具有多个处理器的系统中实施所述的图像处理，所述设备还包括：

用于确定所述一条或多条扫描线中每一条的长度的装置；

装置，用于将所述一条或多条扫描线中的每一条分配给线程，以创建用于处理的一个或多个线程；以及

用于按照所述扫描线的所述长度将所述一个或多个线程中的每一个分配给所述多个处理器之一的装置。

13.如权利要求12所述的设备，其中分配给所述多个处理器之一的每个所述线程中的所述扫描线总长度相等。

14.如权利要求10所述的设备，其中如果所述输入体积和所述重新格式化平面不是对准的，则所述处理模式跟随跟随所述体积的存储器布局的两个模式之一。

15.如权利要求10所述的设备，其中从两个或两个以上模式中选择所述处理模式，使得所述处理模式跟随体积扫描线的所述对准。

16.如权利要求10所述的设备，其中对多个重新格式化平面进行处理，并且当所述体积的存储器布局与所述多个重新格式化平面平行时，独立遍历所述多个重新格式化平面中的每个平面。

17.如权利要求10所述的设备，其中对多个重新格式化平面进行处理，并且当所述体积的存储器布局与所述多个重新格式化平面的存储器布局不平行时，以交插模式遍历所述多个重新格式化平面中的每一个。

18.如权利要求10所述的设备，所述设备还包括：

用于找出第一扫描线和体交叉的装置；

用于检查下一扫描线的交叉状态的装置；

装置，用于如果对象在其内，则通过在离开所述对象的方向上进行搜索来找出下一个交叉；以及

装置，用于如果所述对象不在其内，则通过在朝向所述对象的方向上进行搜索来找出所述下一个交叉。

Images