CN104658028B - 在三维图像中快速标记目标物的方法和装置 - Google Patents

Abstract

本发明涉及一种用于在三维图像中标记目标物的方法来解决上述任务。该方法包括步骤：获得场景的计算机断层造影（CT）图像数据；使用光线投射基于所述CT图像数据绘制该场景的三维图像；基于固定的二维传递函数来剔除该三维图像中的透明区域；以及在该三维图像上标记出目标物。

Description

在三维图像中快速标记目标物的方法和装置

技术领域

本发明涉及三维图像绘制领域，尤其是涉及在三维图像中快速标记目标物的方法和对应的装置。

背景技术

多能量X射线安全检查系统，是在单能量X射线安全检查系统的基础上开发的新型安检系统。它不仅能提供被检物的形状和内容，还能提供反映被检物的有效原子序数的信息，从而区分被检物是有机物还是无机物，并可以用不同的颜色在彩色监视器上显示出来，帮助操作人员进行判别。在安检扫描包裹过程中，操作人员希望使用例如3到5秒的时间快速标记出一个目标物。这就需要在数据的预处理阶段，自动剔除掉空白区域。从而避免用户经过较长的鼠标拖动行程才能移动标记箭头跨过这些无效的数据区域，拾取出需要的包括目标物的区域。

光线投射(Ray casting)是目前使用最为广泛的体绘制方法[1]。该方法从图像的每一个像素沿固定方向发射一条光线，光线穿越整个图像序列，并在这个过程中，对图像序列进行采样和分类获取颜色值，同时依据光线吸收模型将颜色值进行累加，直至光线穿越整个图像序列，最后得到的颜色值是渲染图像的颜色。

在光线投射中，经常用到的一种加速技术是透明区域跳跃(Empty SpaceSkipping)[2]。现有的透明区域跳跃方法主要针对采用一维传递函数的情况进行加速。这种方法准确性较差，并且速度较慢。此外，常规的透明区域跳跃方法针对的都是传递函数可以实时调整的场合。

发明内容

因此本发明的任务是提供一种在三维图像中快速标记目标物的方法，利用该方法可以快速、准确地剔除所绘制的三维图像中的透明区域。由于识别目标物在安全检查CT（Computed Tomography,计算机断层扫描造影）系统中广泛使用，因此本发明的任务尤其是提供一种能够快速、准确地在CT三维图像中标记出目标物的方法。

本发明通过提供一种用于在三维图像中标记目标物的方法来解决上述任务。该方法包括步骤：获得场景的计算机断层造影（CT）图像数据；使用光线投射基于所述CT图像数据绘制该场景的三维图像；基于固定的二维传递函数来剔除该三维图像中的透明区域；以及在该三维图像上标记出目标物。

根据本发明的实施方式，剔除透明区域包括：构建用于描述所述CT图像数据的三维空间数据结构的八叉树；遍历该八叉树以确定八叉树的节点是否透明；以及剔除透明节点。

根据本发明的另一实施方式，在剔除透明区域之后生成包围有效区域的层次包围盒，并基于所获得的层次包围盒生成有效区域轴向包围盒。

根据本发明的另一实施方式，将所述有效区域轴向包围盒作为标记目标物的起始位置。

根据本发明的另一实施方式，剔除透明区域还包括与八叉树构建无关地生成透明度最大值查找表。

根据本发明的另一实施方式，构建八叉树包括：设定八叉树高度，并且基于该八叉树高度向八叉树的每个节点逐层分配所述CT图像数据。

根据本发明的另一实施方式，根据节点的最小灰度值、最大灰度值、最小材质值和最大材质值来确定该节点是否透明。

根据本发明的另一实施方式，通过透明度最大值查找表来获得节点的不透明度。

使用本发明的标记方法，能够快速、准确地剔除CT图像数据中的透明区域，从而操作人员可以迅速完成目标区域的标记任务。这既能够提高操作人员的标记效率，也能够显著地提高目标区域的标记准确率。

附图说明

图1示出绘制三维图像使用的包围盒的示意图。

图2示出标记工具在标记过程中的无效行程的示意图。

图3示出根据本发明方法的一个实施例的流程图。

图4示出根据该方法一个实施例的描述三维图像空间的数据结构的八叉树的示意图。

图5示出根据本发明方法的一个实施例生成的透明度最大值查找表的示意图。

图6示出根据该方法一个实施例的剔除透明区域后的包围盒的示意图。

图7示出根据该方法一个实施例的有效区域轴向包围盒的示意图。

图8示出采用本发明的方法绘制的三维图像与未采用本发明方法绘制的三维图像的对比。

具体实施方式

目前普遍使用光线投射(Ray casting)来绘制三维图像。在光线投射中经常使用透明区域跳跃来加速绘制。透明区域是指一个数据块(block)中各个体素对应的为零。是指不透明度或阻光度，也就是物体透光的程度。在三维图像绘制中通过查询传递函数获得值。在光线投射的合成(Compositing)过程中，等于零的体素对于最终的三维图像绘制结果并没有贡献，因此跳过这些体素并且不对其进行采样和合成计算，可以起到加速的作用。

图1示出使用光线投射来绘制三维图像过程中的包围盒的示意图。该包围盒分为实际包围盒和非透明区域包围盒，线框1为CT数据的实际包围盒，线框2为非透明区域的轴向包围盒。可以看出，实际包围盒还包括了透明区域。

图2示出标记工具在标记过程中的无效行程的示意图。例如在安全检查CT系统中，通常使用鼠标来标记出目标物。如果不能有效地跳过透明区域，用户就需要较长的鼠标拖动行程才能移动标记箭头跨过这些无效的数据区域，拾取出需要的目标物区域。

图3示出根据本发明方法的一个实施例的流程图。利用该方法，可以快速、准确地剔除CT数据中的透明区域。

在该实施例中，首先在步骤S100中采用光线投射绘制CT三维图像。

接着在步骤S200中基于CT体数据来构建八叉树。八叉树是一种用于描述三维图像空间的树状数据结构。八叉树的每个节点表示一个正方体的体积元素。每个节点有八个子节点，这八个子节点所表示的体积元素加在一起就等于父节点的体积。设定八叉树高度，根据该高度逐层将体数据剖分给八叉树的各个节点。

根据本发明一个实施例的八叉树节点的结构在图4中示例性示出。该示例性的八叉树节点数据结构类型定义如下：

struct OctreeNode {

tgt::vec3 coordllf; //低左前方

tgt::vec3 coordurb; //上右后方

float minvox;

float maxvox;

float mingrad;

float maxgrad;

bool opaque;

OctreeNode* parent; //父节点

OctreeNode* llf; //子节点

OctreeNode* lrf;

OctreeNode* ulf;

OctreeNode* urf;

OctreeNode* llb;

OctreeNode* lrb;

OctreeNode* ulb;

OctreeNode* urb;

}

其中，coordllf、coordurb为世界坐标系下的顶点坐标，minvox、maxvox、mingrad和maxgrad分别为当前节点的最小灰度值，最大灰度值，最小材质值，最大材质值。Parent为当前节点的父节点。

接着在步骤S300中剔除透明区域。由于CT设备已经设计了针对灰度和材质信息的固定的颜色表，因此，可以遍历所构建的八叉树，根据当前节点的最小灰度值、最大灰度值、最小材质值和最大材质值来确定当前节点是否透明，即获得区域值的最大值。由于采用固定的传递函数，因此对于不同的CT数据，灰度和材质的透明映射关系是相同的。于是在本发明的一个实施例中，在离线阶段，在步骤S250中生成透明度最大值查找表来缩短遍历八叉树的时间。

透明度用公式表示为：

,

其中为灰度值，为材质值。

通过CT设备预先设计的颜色表可知，灰度值的变化对透明度影响小，而材质值的变化对透明度影响大。因此在灰度方向以粗粒度，在材质方向以细粒度划分网格。如图5所示。在新的划分网格基础上，首先计算每一个单元格中对应的透明度最大值，然后统计由单元格构成的所有矩形区域的透明度最大值，并存储在一维查找表中。在一个示例中，对于安全检查CT设备的1024x44维度的二维颜色表，以灰度方向分辨率4，材质方向分辨率11生成透明度最大值查找表。这组分辨率在结果的精度和计算的代价之间进行了折衷，其表示在原始维度1024x44的颜色表上用尺寸为256x4的颗粒生成查找表。

透明度最大值查找表的生成与八叉树的构建无关，可以离线进行，例如在初始化阶段运行一次。在遍历八叉树的过程中通过查找该透明度最大值查找表，可以加快确定透明区域的速度，从而缩短遍历八叉树的时间。在一个示例中，该查找表可以使遍历八叉树的时间由700ms降低到130ms(平均时间)。

以高度为3的八叉树在被剔除透明区域后获得的结果在图6中示出。此时获得了包络有效区域较紧密的层次包围盒。

接着在剔除透明区域之后，基于所述层次包围盒生成有效区域轴向包围盒。该有效区域轴向包围盒的示意图在图7中用黑实线线框示出。该有效区域轴向包围盒可以作为标记目标物的起始位置。

然后通过这种方式在剔除透明区域后重新绘制场景的三维图像，如在图3的步骤S400中所示。采用本发明的方法绘制的三维图像与未采用本发明方法绘制的三维图像的对比在图8中示出。图8上方的图示出未采用本发明的方法时正面和背面深度图；而图8下方的图示出采用本发明的方法之后所生成的正面和背面深度图。通过采用本发明的方法，透明区域大大减少，从而给操作人员手动标记目标物带来了便利。

最后，在步骤S500中可以在所绘制的场景的三维图像上手动标记所识别的目标物区域。由于安全检查CT系统以不同颜色绘制物体的三维图像，操作人员可以根据物体的颜色从场景的三维图像中手动地例如用鼠标标记出目标物区域。通过使用本发明的方法，准确地剔除该场景的三维图像中的透明区域，使得操作人员可以快速地标记出目标物区域，不仅提高操作人员的标记效率，而且还能够显著提高标记目标物区域的准确率。

所述方法可以通过计算机软件、计算机硬件或者两者的组合来实施。

在此公开的实施例仅仅以示例方式描述了用于快速标记出CT三维图像中的目标物的方法。本领域技术人员可以理解，在不脱离所附权利要求所限定的精神和范围的情况下，可以对所公开的实施例进行各种变化和修改。

参考文献：

[1] Max N. Optical models for direct volume rendering. IEEETransactions on Visualization and Computer Graphics, 1995, 1(2): 99-108.

[2] Wei Li, Klaus Mueller, and Arie Kaufman. Empty space skipping andocclusion clipping for texture-based volume rendering. In Proceedings of IEEEVisualization, pp. 317-324. Los Alamitos, CA: IEEE Press, 2003.

Claims (9)

1.一种用于在安全检查计算机断层造影CT系统获得的三维图像中快速标记目标物的方法，包括步骤：

利用安全检查CT系统获得场景的计算机断层造影CT图像数据；

使用光线投射基于所述CT图像数据绘制该场景的三维图像；

基于固定的二维传递函数来剔除该三维图像中的透明区域；

在剔除所述透明区域之后重新绘制该场景的三维图像；以及

在重新绘制的三维图像上通过鼠标拖动行程标记出包括目标物的区域，

其中基于固定的二维传递函数来剔除该三维图像中的透明区域包括使用八叉树来确定所述三维图像中的透明区域，其中以较小的灰度值分辨率和较大的材质分辨率来为八叉树的每一个节点生成透明度最大值。

2.根据权利要求1所述的方法，其中剔除透明区域包括：

构建用于描述所述CT图像数据的三维空间数据结构的八叉树；

遍历该八叉树以确定八叉树的节点是否透明；以及

剔除透明节点。

3.根据权利要求1所述的方法，其中在剔除透明区域之后生成包围有效区域的层次包围盒，并基于所获得的层次包围盒生成有效区域轴向包围盒。

4.根据权利要求3所述的方法，其中将所述有效区域轴向包围盒作为标记目标物的起始位置。

5.根据权利要求2所述的方法，其中剔除透明区域还包括与八叉树构建无关地生成透明度最大值查找表。

6.根据权利要求2所述的方法，其中构建八叉树包括：

设定八叉树高度，并且基于该八叉树高度向八叉树的每个节点逐层分配所述CT图像数据。

7.根据权利要求2所述的方法，其中根据节点的最小灰度值、最大灰度值、最小材质值和最大材质值来确定该节点是否透明。

8.根据权利要求7所述的方法，其中通过透明度最大值查找表来获得节点的不透明度。

9.一种用于在安全检查计算机断层造影CT系统获得的三维图像中快速标记目标物的装置，包括：

用于利用安全检查CT系统获得场景的计算机断层造影CT图像数据的装置；

用于使用光线投射基于所述CT图像数据绘制该场景的三维图像的装置；

用于基于固定的二维传递函数来剔除该三维图像中的透明区域的装置；

用于在剔除所述透明区域之后重新绘制该场景的三维图像的装置；以及

用于在重新绘制的三维图像上通过鼠标拖动行程标记出包括目标物的区域的装置，

其中用于基于固定的二维传递函数来剔除该三维图像中的透明区域的装置包括使用八叉树来确定所述三维图像中的透明区域的装置，其中以较小的灰度值分辨率和较大的材质分辨率来为八叉树的每一个节点生成透明度最大值。