CN107924580B - 在医学成像中的表面体积混合模块的可视化 - Google Patents

Abstract

为了在医学成像中的可视化，混合的体积（22）和表面（24）渲染器（16）使用统一光线追踪。并不是分开地光栅化表面（24）和光线追踪体积（22），而是将相同的光线或光线的集合用于体积（22）和表面（24）两者。可以通过以并行的方式确定（34）光线和该表面（24）或这些表面（24）的相交点和集成（36）体积（22）数据来建模各种各样的效果。对于医学成像（38）而言，可以通过基于所探测的相交点来更改对于光线追踪的积分来提供更复杂的效果、交互式渲染和/或实时渲染。

Description

在医学成像中的表面体积混合模块的可视化

技术领域

本实施方案涉及医学成像。在医学成像中，患者的内部被扫描。各种各样的方法是可能的，诸如磁共振（MR）、计算机断层扫描（CT）、X射线、荧光检查、超声、正电子发射断层扫描（PET）或单光子发射计算机断层扫描（SPECT）。三维的（3D）可视化是常规作法，用于评估和记录患者的内部条件。对于3D可视化而言，体积效果对众多的自然和非自然现象建模，两者都用于实时和离线可视化。3D可视化可能对于医学成像而言是困难的，尤其是对于以被增加的表面（例如表示在患者的扫描体积中的对象的模型的表面）来对来自扫描的体积数据进行渲染而言。

背景技术

在高性能实时渲染方面，光栅化是最常见的硬件加速的技术。光栅化可能不适合于渲染体积数据，并且甚至高级表面渲染效果（例如精确照明、透明度、阴影等）仍然是具有挑战性的。另一方面，离线渲染系统常常使用光线追踪、路径追踪和其他高级的光传输模拟，其自然地在模型之内建模光传播并且以更少的开发努力来引起更现实的结果。这些投影渲染方法以更高计算成本来操作，但是可能被用于交互式的并且甚至实时的可视化。

被嵌入到体积中的表面的渲染仍然是传统体积可视化系统中的挑战性的问题。存在大量的在两种数据的相交点附近实现特定类型效果的技术（例如表面透明度或环境光遮蔽）。对于不透明表面而言，现有的渲染器可以使用光栅化并且在体积积分期间应用产生的深度缓冲。产生的被渲染的体积然后被合成在光栅化结果之上。多通道渲染技术，诸如深度剥离以显著性能成本来对于嵌入的透明表面提供支持。存在对用于特殊视觉效果的、体积数据和表面数据之间的交互作用部分地建模的技术，诸如是体积阴影或环境光遮蔽。分开处理的体积和表面数据要求在渲染期间的复杂计算。

现存的光线追踪渲染器通常支持自然现象体积效果，诸如雾、云和火，这一般对于医学或模拟数据的关键性分析而言并不足够。许多这样的系统的性能也并不适合于交互式的或实时的可视化。

发明内容

通过介绍，下面所描述的优选实施例包括：用于医学成像中的可视化的方法、系统、指令和计算机可读介质。混合的体积和表面渲染器使用统一的光线追踪。并不是分开地光栅化表面和光线追踪体积，而是将相同的光线或光线的集合用于体积和表面两者。可以通过以并行的方式确定光线和该表面或这些表面的相交点并积分体积数据来建模各种各样的效果。对于医学成像而言，更复杂的效果、交互式渲染和/或实时渲染可以这样被提供，其方式为，在统一的渲染工艺过程之内基于所探测的表面相交点对用于体积渲染的积分进行更改。

在第一方面，为了医学成像中的可视化提供一种系统。医学成像系统被配置用于，扫描患者的内部区域并且生成体素数据，该体素数据表示包括该内部区域的体积。存储器被配置用于，存储在该体积之内的三维的表面。渲染器被配置用于，投射光线通过该体积，通过使用体素数据来沿着这些光线进行积分，在积分时沿着这些光线来检查三维的表面并且基于沿着一个或多个光线对三维的表面的探测来更改体素数据沿着一个或多个光线在积分中的贡献。显示器被配置用于，显示由渲染器所输出的被渲染的图像并且基于积分来显示表示内部区域的被渲染的图像。

在第二方面，为了在医学成像中的可视化来提供一种方法。确定不同表面与被投射通过体积的光线的交点。沿着该光线由表示患者的体积数据来积累样本。这些样本的积累基于这些相交点而变化。从所积累的样本生成患者的医学图像。

在第三方面，非瞬时计算机可读存储介质在此存储了表示如下指令的数据，这些指令能够由用于医学成像中的可视化的已编程的处理器来执行。存储介质包括如下指令，这些指令用于：随着时间从医学扫描仪采样表示患者体积的体素的序列；对于每个时间，光线投射通过体素；基于对于其中每个时间的光线投射，沿着光线来积分体素；与沿着光线的积分并行地在使用光线的情况下穿越加速结构；对于其中每个时间，该穿越识别光线与表面的相交点并且基于这些相交点由所积分的体素、被渲染的图像的像素值生成被渲染的图像的序列。

本发明由以下权利要求来限定，并且在本部分中没有任何内容应被视为对这些权利要求的限制。本发明的其他方面和优点以下结合优选的实施例来得以讨论并且可能之后以单独或结合的方式来被要求。

附图说明

这些组件和附图不需要是按比例的，而是将强调重点放在对本发明的原理的阐明。此外，在附图中，同样的附图标记贯彻不同视图来标出对应部分。其中：

图1 是用于医学成像中的可视化的系统的一种实施例的框图；

图2 阐明体积、表面和光线的一种示例性的实施例；和

图3 是用于在医学成像中的可视化的方法的一种实施例的流程图。

具体实施方式

表面/体积混合模型在医学成像中被可视化。这样的混合模型在大量的医学可视化应用（例如可视化分割表面或在手术模拟中显示医学工具）中出现。现有的医学体积渲染系统通常仅支持不透明的表面并且仅对体积和表面之间的光相交点的受限的子集进行建模。

利用统一处理体积数据类型和表面数据类型两者来进行的光线追踪使得利用传统体积渲染或光栅化系统不能实现的大量高级视觉效果成为可能。对于其中体积数据起主要作用并且可视化的清晰度是关键要求的医学可视化而言，将嵌入的表面的渲染与体积渲染统一。对统一的或并行的基于光线追踪的渲染系统的使用精确地计算体积数据和表面数据之间的光相交点。这允许大量特殊效果改进数据的视觉分析。该统一并不需要复杂的、每效果的处理。

该系统可以被用在非医学成像环境中。使用混合的体积和表面数据的3D渲染的任何应用、诸如计算流体力学、计算机辅助设计, 或制造都可以得益于用于在渲染中处理表面和体积之间复杂且精确的相交点的能力。

本系统此外可以大规模地并行利用GPU或其他硬件来允许以交互式速度进行的真实感晕染。对表面/体积混合模型的可视化的挑战通过基于GPU的渲染框架来得以满足，但是其他渲染器也可以被使用。

图1示出用于在医学成像中的可视化的系统10的一种实施例。该系统10对用于医学可视化的体积/表面混合模型进行渲染。如果考虑到变化和细微地在患者体积中的结构的变化，工具或在患者中被建模或探测的其他对象的差异和在体积中的照明困难，混合模型的统一光线投射允许对于许多不同应用而言适合的各种各样的效果。在使用对扫描体积的光线投射的情况下投影渲染的精确度得益于与表面探测的结合。并不通过利用光栅化进行的分开表面渲染来限制有用的效果，而是使用相同光线来在使用加速结构的情况下探测该表面。

该系统10包括医学成像系统12、用户接口或输入端14、渲染器16、存储器18和显示器20。附加地，不同的或者更少的组件可以被提供。例如，提供网络或网络连接，诸如用于与医学成像网络或数据存档系统联网。作为另一示例，用户接口14不被提供。

用户接口14、渲染器16、存储器18和显示器20是医学成像系统12的部分。可替代地，用户接口14、渲染器16、存储器18和/或显示器20是存档和/或图像处理系统的部分，诸如与医学记录数据库工作站或服务器相关联。在其他实施例中，用户接口14、渲染器16、存储器18和/或显示器20是单独的计算机（诸如台式机或笔记本电脑）、工作站、服务器、网络或其组合。用户接口14、渲染器16、存储器18和显示器20可以是不同系统的部分，诸如：存储器18在图片存档和通信系统（PACS）中，渲染器16是工作站的部分和/或显示器20是成像系统或辐射显示器。

系统10被配置用于，实施图3的方法。可替代地，实施其他方法。

可以使用任何医学成像系统12。例如，医学成像系统12是CT、MR、超声、x光线、荧光检查或发射断层扫描（也即，功能性成像，诸如PET或SPECT）系统。医学成像系统12是任何当今已知的或者后期开发的用于扫描患者的内部的医学成像系统。该医学成像系统12由硬件、固件和/或软件来被配置用于，扫描患者的内部区域并生成体素数据，该体素数据表示该内部区域的被扫描的体积。

医学成像系统12被配置用于，扫描患者的内部区域。患者的表面或皮肤也可以被扫描或者可以不被扫描。患者的任何部分或范围可以被扫描，诸如扫描器官、躯干、四肢或整个身体。该扫描采集表示患者的内部的数据。所表示的部分包括来自患者的响应的体积或三维分布。图2示出作为立方体的内部区域22，但是患者的被扫描的体积可以具有任何形状。

医学成像系统12被配置用于扫描患者来采集至少一个数据集合。该数据集合或数据帧表示在特定时间或时期的患者的内部区域。静态体积被采集。可替代地，该扫描被重复或者以持续进行的方式被执行，用来采集体素数据集合的序列。每个集合表示在给定时间或时期的体积，因此该序列表示随着时间的体积（3D+t或4D数据）。可以提供任何帧率或体积率。对于实时速率而言，每秒钟采集至少10个体积或体素数据集合。也可以提供更大或更小的体积率。

在另一实施例中，医学成像系统12采集多个体积，这些体积表示相同的内部区域或者重叠内部区域。由于扫描仪或患者的移动、对来自不同时间的扫描的比较或者其他医学特定的变化，可以为了一起渲染来采集不同的数据集合。作为另一示例，来自不同扫描模态（例如MR和超声）的体素数据的集合被一起渲染。

该扫描数据可以被输出作为3D重建或表示一个体积的数据。可替代地，被采集的扫描数据被重建来表示该体积。例如，傅里叶处理被应用到在MR中的k空间数据来重建该体积。作为另一示例，计算机断层扫描被用于重建该体积（例如SPECT或CT）。在又一个另一示例中，以一种扫描格式表示三维的数据被内插到规律栅格或其他栅格，诸如笛卡尔坐标栅格。每个数据与在患者体积中的不同体积位置（体素）相关联并且被分配有标量强度。

来自扫描的数据被格式化为以各向同性的栅格的体素。例如，使用以512×512×512笛卡尔栅格的体素。各向异性的栅格可以被使用。其他格式可以被使用，诸如以极坐标格式的表示数据的位置。对于每个体素或位置，由标量值（例如16位的动态范围）提供扫描响应，但是其他表示可以被使用，诸如RGB值。

考虑到大量的不同类型的医学成像系统12、不同工作流、不同医疗应用和用于诊断或治疗的用途，有种类繁多的医学成像中的体素数据和体素数据特性。任何一个或多个体素数据集合可以由医学成像系统12来采集，其中体素数据集合表示回波强度、密度、衰减、弹性、运动、摄取、温度、分子旋转响应、其他特性或其组合。

存储器18是图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、高速缓冲存储器、硬盘驱动器、光学介质、磁性介质、闪存驱动器、缓冲器、数据库、其组合或其他当今已知的或者后期开发的存储器设备，用于存储所述一个或多个体素数据集合和/或数据，其表示一个或多个表面。存储器18是医学成像系统12的部分，与渲染器16相关联的计算机的部分、数据库的部分、其他系统的部分或独立式设备。

存储器18存储混合的体积/表面数据。医学扫描数据、表面、组合的数据集合、重建、渲染和/或图像被存储。任何被使用用于成像的数据或在处理的开始、中间或最终阶段中的数据被存储以用于由渲染器16来存取。

由存储器18所存储的表面的表示是二维的或三维的表示。图2示出圆柱形表面24。可以提供任何形状的表面，诸如对器官、工具或其他对象进行建模的表面。该表面可以具有平面的部分、曲线的部分或平面的和曲线的部分两者。该表面可以被打开或封闭。

该表面是如下模型，该模型表示实际并不在患者体积中的对象。可替代地，该表面是表示在患者体积中的对象的模型。在其他实施例中，该表面由体素数据来探测并且被分开地量化或建模（例如分割式、隐含式的、或等值面）。例如，在患者内现存的被插入的工具（例如导管、内视镜、支架或阀）被探测并且该工具的表面被识别。

任何表面模型可以被使用。在一种方法中，与这些表面对应的每个体素被标记或者被使用用于定义该表面。在另一方法中，被连接的节点的网格定义该表面。这些节点可以在该体素位置或者可以从该体素位置分开。该表面可以基于拟合数学表示。该表面定义具有与该体积或体素数据相同的或不同的分辨率。

该表面相对于被扫描的体积的位置是已知的或设置的。在建模被使用的情况下，表面相对于该体积的位置可以是任意的或者基于所探测的解剖学结构。在对隐含式结构的分割被使用用于从体素数据中找到该表面的情况下，相对于该体积的位置也被确定。该表面相对于该体积的位置可以是静态的或可以随着时间改变。

由于各种各样的医学应用，可能对多于一个的表面是感兴趣的。可以有多个表面，诸如用于不同器官、器官的不同部分、不同工具、工具的不同部分或其组合。这些表面彼此相互独立，诸如不具有共同的或相交的位置。可替代地，这些表面接触或相交，但是被分开地定义。针对给定的扫描体积而言可以有一个、两个、三个或更多表面。

该表面也可以是二维的（2D）（例如被用作为视觉引导工具的平面或选择区域）、三维的（3D）（例如弯曲的表面），2D+时间（2D+t）或3d+t。针对建立光线表面相交点加速结构的特殊化算法可以被使用用于在交互式晕染期间的时变表面数据。示例包括用于快速重建的基于GPU的技术或允许部分重建的技术。如果仅改变该网格的位置，可以重复使用一般加速结构。对于时变表面而言，加速结构在使用用于交互式晕染的GPU的情况下可能需要在每次改变之后被重建。

存储器18或其他存储器是存储如下数据的计算机可读的存储介质，这些数据表示能够由用于在医学成像中的可视化的已编程的渲染器16执行的指令。在此所讨论的用于实现这些程序、方法和/或技术的指令在计算机可读的存储介质或存储器、诸如缓存、缓冲器、RAM、可移动介质、硬盘驱动器或其他计算机可读的存储介质上被提供。计算机可读的存储介质包括各种各样类型的易失性和非易失性存储介质。响应于被存储在计算机可读的存储介质之中或之上的一个或多个指令集合来执行在附图中所图解的或者在此所描述的功能、行动或任务。这些功能、行动或任务与指令集合、存储介质、处理器或处理策略的特定类型无关并且以独立操作或以组合的方式可以由软件、硬件、集成电路、固件、微代码等等来执行。同样地，处理策略可以包括多重处理、多重任务执行、并行处理等等。

在一种实施例中，这些指令被存储在用于由本地系统或远程系统来读取的可移动介质设备上。在其他实施例中，指令被存储在远程位置，用于通过计算机网络或在电话线上传送。在其他的实施例中，这些指令被存储在给定的计算机、CPU、GPU或系统之内。

用户接口14是具有或不具有输出端的输入设备。任何输入端可以被使用，诸如键盘、按钮、滑块、旋钮、跟踪板、鼠标、跟踪板或其他传感器。输出端可以在显示器20、LED、灯、或其他输出设备上。

用户接口14被配置用于，从用户接收输入。该输入可以对渲染进行配置。用户针对任意数目的渲染参数、诸如视向、照明类型、视觉效果或传递函数来输入一个或多个值。例如，用户可以交互地改变设定的一个或多个值。在一种实施例中，用户转动或更改渲染的视向。在其他实施例中，在引起加载默认设定的情况下，用户选择成像应用（例如心脏成像）。在可替代的实施例中，处理器或渲染器16使用默认的或所确定的值用于一个、多个或所有设定。

当设定由于交互而被改变，使用新的设定来再次执行该渲染。通过诸如以实时速率的方式快速地重新渲染，相交点对于用户而言可以显得更加流畅或有吸引力。

渲染器16是通用处理器、中央处理单元、控制处理器、图形处理器、数字信号处理器、三维渲染处理器、图像处理器、应用特定的集成电路（ASIC）、现场可编程门阵列（FPGA）、数字电路、模拟电路及其组合或其他当今已知的或者后期开发的用于从数据来渲染图像的设备。渲染器16是用于以串行、并行或分开的方式来进行操作的单个设备或多个设备。渲染器16可以是计算机、诸如笔记本电脑或台式计算机的主处理器；或者可以是用于在更大系统中，诸如成像系统中处理一些任务的处理器。渲染器16由硬件、固件和/或软件来配置。

在一种实施例中，渲染器16是图形处理单元（GPU）或者具有渲染代码的图形卡。GPU是大规模并行计算设备。CUDA或OpenCL语言被用于对GPU编程。在其他实施例中，基于x86的Xeon Phi或自定义的FPGA/ASIC 实现方案被使用。光线追踪工艺过程的一个副作用是：在允许以多个计算设备进行有效扩展的情况下，一般以在屏幕空间中每像素的方式来执行计算。在渲染节点中的多个GPU、GPU群集、CPU/GPU混合系统或其他计算架构可以被使用。基于样本的、基于区块的或基于帧的渲染分布可以被使用。

渲染器16被配置用于，生成作为混合体积/表面数据的函数的图像。该图像是在使用两种类型的数据情况下的患者体积和表面的单一表示。在其他实施例中，可以提供对患者的多于一个或多于两个的表示，诸如由扫描数据渲染多平面重建图像。

渲染器16被配置用于投射光线通过体积。对于图像的每个像素投射光线。图2示出一种示例，其观察投影通过体积22并经过表面24的光线26。其他光线26在其他位置与表面24相交。

任何当前已知的或者后期开发的用于投影渲染的光线投射可以被使用。在一种实施例中，光线26作为摄像机或透镜模型的部分被投射。传统的平行的或透视的投影可以被使用。这些光线26以从像素位置平行的方式或者与该体积的虚拟查看器（virtual viewer）处的原点扩散的方式被投射。查看器可以被定位在体积22的外部或内部。更复杂的非线性投影可以被使用，诸如用来建模医学视野（例如内窥镜或光纤查看器）。例如非线性投影包括被投射用于建模鱼眼透镜、球面透镜或柱面透镜的光线26。这些光线26利用不同于平行或从单点扩散的几何结构来被投射。例如，摄像机和对应的光线可以作为用于来自体积内的柱面视图的360度摄像机来被建模。

非线性投影可能难以利用光栅化来渲染。对于医学可视化而言，光线追踪工艺过程可能更好地模拟内视镜或其他被用于计算机增强程序中的医学设备的复合光学。相似地，该模型和对应的光线可以被投射用来表示非平面显示，诸如用于曲面显示或虚拟/增强现实。

光线26相对于体积22来被定义以用于渲染。因为相对于体积22 ，表面的位置是已知的，相同光线22可以被用于由体素投影积分和表面识别两者。并不分开地渲染该表面，而是将已经投射用于投影渲染的光线26用于检查表面并说明（account for）与体素的表面相交点。当沿着每个光线进行积分时或者与沿着每个光线进行积分并行地，任何表面与该光线的相交点被识别出。例如，体素的积分从一个位置开始并且沿着该光线进行。在被添加到样本积累的每个体素处，针对该相交点作出检查。作为另一示例，对于沿着光线26的任意处的相交点的检查在使用相同光线26的情况下被执行，但是在沿着光线26进行积分之前或者在沿着光线26进行积分开始时发生。相同光线26被用于积分和检查两者。

渲染器16被配置用于，在使用体素数据的情况下沿着光线26进行积分。从光线26进入体积22的地方开始或者从光线26从体积22出来的地方开始，在使用任意相交体素的情况下沿着光线26执行积分。因为体素可能并不沿着该光线居中，可以使用内插来基于周围的体素沿着光线确定值。可以使用任何形式的积分，如由传递函数所定义的那样。不透明度加权求和或平均最小或最大选择、阿尔法混合或其他积分被提供用于确定对于由光线26所表示的像素的标量或其他值。

在渲染期间，在使用应用特定的内插和/或传递函数的情况下，光线追踪从体积数据积累样本（例如体素值）。存在许多医学应用。不同类型的成像模态使用不同的内插和/或传递函数。在相同模态之内，不同类型的扫描可能使用不同内插和/或传递函数。在相同模态和相同类型的扫描之内，不同内插和/或传递函数可以被用于不同用户、不同器官、不同类型的诊断、不同医疗工作流或者其他医学上相关的理由。任何当今已知的或后期开发的用于沿着光线26进行积分（例如积累样本）的内插和/或传递函数可以被使用。

在图像被从多于一个体积渲染的情况下，积分可以包括表示来自多于一个的数据集合的相同位置的体素数据。例如，在一个数据集合中的位置或重叠区域也由另一个数据集合来表示。积分由这两个集合来组合内插的样本，用来渲染响应于这两个集合的图像。该组合针对于任何重叠位置发生。

渲染器16被配置用于，当积分时沿着这些光线来检查三维的表面。该检查作为在积分开始时的初始操作被执行或者在积分期间在沿着光学的每个深度处被执行。对于这个在使用相同的或已经投射的光线26的情况下的并行操作而言，光线26可以与所述一个或多个表面相交或者不相交。该检查是针对于一个或多个表面的相交点。光线26与所有这些表面的相交点被探测出。

在一种实施例中，该检查是检查光线是否与每个表面的每个部分相交。在其他实施例中，通过相对于加速结构来检查光线26来执行更快速的检查。例如，以不同级别的分辨率来建模该表面，诸如层次立方体。通过检查与最低分辨率或根立方体的相交，利用简单比较来确定出该光线究竟是否与该表面相交。如果相交，更高分辨率或加速模块的不同层级被检查，用来识别光线26在表面上的哪里与该表面24相交。可以识别多于一个的与给定表面的相交点。

对加速结构的使用可以加速或者更有效地检查相交。该加速结构更可能允许实时的或交互式的渲染。任何当今已知的或后期开发的用于在实时的或交互式的环境中计算光线与表面的相交点的加速结构可以被使用。不同的可视化要求（例如具有动画表面的4D可视化相对具有静态表面和/或网格尺寸的3D可视化）可以导致所使用的不同加速结构。所基于的计算架构（即渲染器16）的能力可能导致所使用的不同加速结构。在一种实施例中，有限体积层次（BVH）或Kd树被用于4D成像。在其他实施例中，TRBVH或SBVH加速结构被使用。

渲染器16被配置用于，在基于沿着光线26进行的对所述一个或多个表面的探测进行的积分中，更改体素数据沿着光线26的贡献（contribution）。在光线与表面相交处，该表面被建模为对体素沿着整个光线26的贡献的更改，仅对于在表面的范围之内的体素或者对于在表面的一侧上的体素。例如，在探测表面之后所积累的这些样本被更改。

该被更改的贡献是体素标量、颜色、不透明度、照明、传递函数、内插函数或其他特性的量级。渲染的任意方面可以被更改，用来说明在被渲染的体积中的表面。相交点可以提供要被包括在积分中的不透明度加权标量值，诸如由该表面的纹理所限定的不透明度加权标量值。可替代地或附加地，这些相交点被用于更改这些从体积积分的体素的特性。用于建模表面和体积之间的交互作用的、交叉点和体积积分的任何组合可以被使用。

在使用应用特定的技术情况下，沿着观察光线的这些交叉点和体积积分数据被组合。对贡献的更改可以取决于医学成像应用。对于不同模态、扫描类型、用户偏好、所感兴趣的器官、诊断和/或工作流，不同类型的贡献被提供。

在一种实施例中，被统一的表面/体积光线追踪工艺过程实现一个或多个数目的效果，利用传统的光栅化或传统的体积渲染系统难以达到这些效果。例如，体素的贡献被更改，用来表示或显示表面为具有颜色或色调的透明的。该表面的透明度级别被用于从虚拟查看器来透过该表面的进一步的不透明度权重体素。例如，该表面引起：与对于没有表面的体素所标出的相比，这些体素的不透明度是更透明的。该表面颜色被用于染色或改变由这些从虚拟查看器来透过该表面的体素所表示的色相，。这些被更改的体素或内插的样本然后利用体素或沿着光线26的其他样本被积分。在该可视化中，光线积分数据和交叉点被用于为了体积渲染来提供精确的表面透明度。

在另一实施例中，在使用交叉点和积分的情况下，照明效果被建模。例如，光贡献的更改说明环境光遮蔽。环境光遮蔽为了在数据中的空间关系提供有力的视觉线索。通过由于环境光而添加阴影，观看者可以更好地理解在所渲染的结构之间的空间关系，包括在表面和体积的隐含式结构之间的空间关系。提供由网格表面和体积数据所生成的在遮蔽之间的精确的相互影响。可以使用任何环境光遮蔽模型。环境光遮蔽模型说明在给定的交叉点的情况下的体素的阴影。对于给定的体素，环境光的效果或量被确定。该表面更改环境光的量，因此对于在表面附近的体素以颜色、透明度和/或密度的形式的环境光贡献被更改，以用来说明该表面。在其他示例中，由表面或相对于该体积的交叉点所引起的反射、光折射、衰减和/或材料或组织性质效果被建模。该建模更改体素对于积分的贡献。

在另一示例中，为了由表面引起的阴影而更改该贡献。并不是环境照明效果或者附加于环境照明效果，该表面可能引起直接光源的阴影。当与动态照明相结合时，阴影提供有力的深度线索。该强度（例如标量的量级）、颜色、不透明度和/或相对于查看器而言透过该表面的体素的其他贡献基于阴影来被更改。阴影模型可以确定：这些体素其中的哪个被加阴影并且以怎样程度地被加阴影，因此使这些体素中的哪些具有其更改的贡献。

在另一个示例中，这些体素对于积分的贡献基于光传输模拟效果来被更改。通过该表面的光传输被建模，以用于确定由于该表面造成的贡献的更改。例如，表面/体积数据的真实感晕染在使用光传输模拟的情况下被执行。可以使用任何光传输模拟，诸如路径追踪、光子映射或蒙特卡罗光线追踪（Monte Carlo ray tracing）。光传输模拟由于与表面的相交而对于一些体素而言不同于对于其他的体素而言。

与单独环境光遮蔽相比，通过全局照明效果，诸如渗色，光模拟技术进一步改进对空间关系的理解。通过使用相同光线来积分体积并评估表面处的阴影模型，在网格表面和体积数据之间的光的相互影响可以快速地并且精确地被建模。各种各样的医学成像应用可以是有利的。为了便于感知复杂的内部结构，对所插入的作为光源的对象或工具的建模可以有利于诊断。阴影、环境光遮蔽和/或其他照明模型可能引起：更接近于表面的结构变得更明亮或者以更精细的细节而更可见。将表面处理为部分透明的可以允许：当提供表面的放置上的信息给检阅者时对更大数量的解剖体的可视化。

该贡献可以被更改，用来说明多于一个的表面和/或沿着光线的多于一个的与表面的相交点。对这些三维的表面或相交点其中的每个的探测被用于更改该贡献。例如，更大的阴影和/或环境光遮蔽针对于与通过更大数目的表面的查看相关联的体素来发生。多个透明表面的精确可视化对于基于光栅化的渲染工艺过程而言仍然是挑战。尽管存在一定数目的复杂技术，其利用体积渲染进行的积分并不是简单的并且在一些情况下甚至是不可能的。对于表面和体积渲染两者来使用光线追踪允许了：透明度的精确模拟。应用包括手术规划和血管或器官的可视化。

对于实时的或交互式的成像，光线的投射、沿着光线的积分、表面与光线的相交点的检查和基于所识别的相交点进行的对积分的贡献的更改被重复。随着新的体积或体素数据集合被采集，渲染被重复。随着用户改变渲染设定，利用之前的体素集合或者利用新采集的集合来重复该渲染。该重复随着时间由渲染器16执行，因此可以以高速率发生。

在实时的或交互式的速率就体积或体素集合的大小和渲染器16的渲染能力来看是困难的情况下，渲染速率在使用可变分辨率渲染的情况下和/或具有即时视觉反馈的多个渲染通路的积累可以被保持。样本重建和/或无框架渲染可以将渲染器16从显示器20去耦。

渲染器16生成用于表示患者的内部区域的图像或图像序列。给定的图像表示在特定时间或时期的内部区域。图像序列可以被用于具有不同渲染设定的静态体积或者用于随着时间的实时成像。所生成的图像是用于图像的像素的标量值或显示颜色值（例如RGB）。在配置显示器20的情况下，通过传送或加载到显示缓冲器中，这些图像被输出。

显示器20被配置用于显示图像。该显示器20是监控器、LCD、投影仪、等离子显示器、CRT、打印机或其他当今已知的或后期开发的用于输出视觉信息的设备。该显示器20通过从渲染器16、存储器18或医学成像系统12接收图像、图形或其他信息来被配置。

显示器20接收如下图像，该图像通过渲染器16由混合体积和表面模型来渲染。该图像被输出给用户。该图像包括体积的利用来自表面的效果的投影渲染。由渲染器16输出的该图像基于以由所述一个或多个表面所更改的贡献进行的积分。该图像表示患者的内部区域。

在一种实施例中，该图像随着时间改变，诸如由于用户交互或持续地采集医学扫描数据。例如，用户定位一个或多个剪裁平面，使得该患者体积的不同部分被掩盖（mask）。作为结果，该渲染从没有被剪裁的或者与剪裁平面相交的扫描数据示出内部区域。一个被渲染的图像被用另一个基于在渲染参数中的改变的被渲染的图像替代，诸如视向或剪裁平面位置。在另一个示例中，图像的序列被显示。随着体素数据的附加集合被采集，该序列是基于对积分的重复。

图3示出在医学成像中用于对患者可视化的方法。光线投射被用于由体积信息和又一个表面来渲染图像。并不是通过光栅化来渲染表面，而是将相同光线投射用于相对于被渲染的体积来定位表面并且为了表面和表面特性来更改投影渲染。这个统一光线投射方法可以允许有效地或实时地建模表面相对于体积的各种各样的效果。

该方法由图1的系统10或其他系统来实现。例如，行动30通过医学扫描仪来被执行，并且行动32-38由渲染器来执行。任意的一个或多个行动可以由不同设备来执行。

这些行动以所示出的顺序或其他顺序被执行。例如，行动34和36以所示出的顺序、相反的顺序或同步地被执行。行动38可以作为行动36的部分被执行。

附加地，不同的或更少的行动可以被提供。例如，图像在行动38中不在显示器上被生成，而是替代地，图像被保存或传送。作为另一个示例，用户输入被提供用于与渲染的交互。

该方法被执行一次来生成图像。在其他实施例中，该方法在实时中随着在医学成像中的持续进行的采集，诸如成像移动解剖来被重复。重复可以被提供用于交互式渲染和/或表示在患者中移动的对象。随着采集附加样本、更改渲染、在表面模型中的改变或其组合，行动34-38在实时中被重复。对于图像3的行动的以下讨论，实时采集和渲染被使用。

在行动30中，医学扫描仪采集体素集合的序列。该序列表示随着时间的患者体积。利用医学成像扫描仪，患者被扫描。患者的内部被扫描，诸如利用MR、x光线（例如CT）或发射断层扫描（例如PET或SPECT）。该扫描以任何格式被执行，诸如沿着反应的线的探测发射、在限定磁梯度的位置采集k空间数据或从不同方向利用x光线采集通过患者的投影。作为扫描的结果，表示患者的内部的数据在NxMxO区域中被采集，其中N、M和O是大于1的整数。

处理器、诸如渲染器或医学成像系统重建体积的序列，其至少部分地表示患者的内部部分。由扫描数据进行的任何重建可以被使用。对于分布在三维中的大量体素其中的每个，该重建相应地确定标量或其他值。

预先限定的表面或从体积提取的表面被识别出。该表面是网格、分割或对特定表面而不是隐含式表面的其他表示。该表面可以是要被放置在体积中的虚拟对象、要被放在患者内的实际对象的模型、或者由扫描数据来确定的被分割的结构。

在行动32中，光线被投射通过体素和表面。该光线投射在使用任意摄像机模型的情况下被执行，诸如非线性模型。这些光线被投射，用来将三维空间投影到像素的二维集合。光线投射指示这些光线的空间定位。

对于用于提供体素数据集合的这些时期或时间其中的每个来执行该光线投射。对于每个时间，这些光线被投射。可替代地，投射光线被重复地用于随着时间的不同集合。

在行动34中，这些光线与一个或多个表面的相交点被确定。每个通过该体积被投影的光线不与或者与一个或多个表面相交。相交点的深度或定位被确定。

使用一种强力方法。可替代地，加速结构被用于确定这些相交点。任何搜索策略、诸如层次立方体可以被用于减少用于定位相交点的处理。与行动36中沿着光线的积分并行地，使用这些光线来穿越该加速结构。通过穿越加速结构，相交点被找到。对于给定的体积（即给定的时间或时期）光线与一个或多个表面的相交点被确定。这些相交点针对这些时间或时期其中的每个来被确定，或者针对表面停留在相同位置情况下的不同时间或时期来被重复使用。

在行动36中，样本被从体积数据积累。这些体积数据是沿着光线表示患者的、标量的体素、颜色和/或透明度值。这些体素是样本。这些样本通过积分或其他投影渲染（例如最小或最大选择）来积累。在一种实施例中，该积分或积累基于应用特定的内插和传递函数来执行。沿着每个光线的体素被组合，用来对于那个光线来确定像素值。

这些样本的积累基于相交点而变化。在使用表面特性的情况下，这些相交点限定体素定位，在那里发生效果。用于表示表面与体积的相交点的、照明或其他效果确定在积累中的变化。这些样本的一个或多个方面或者对积累的贡献基于所述一个或多个效果而改变。例如，其中一些样本的量级、其中一些样本的颜色、其中一些样本的不透明度、照明、用于积分的函数或其组合，基于这些相交点来被改变。这些应用特定的模型可以确定这些样本其中的哪个被改变并且以哪种方式被改变。一些样本的积累可能不改变，诸如对于与表面间隔开的样本或者在相对于虚拟查看器的该表面的一侧上的样本。

这些积累对于这些光线其中的每个被重复，用于形成图像。对于图像的序列，由于相交和/或实时成像，在随着时间提供投影信息的情况下，沿着这些光线的体素的积分对于这些时间或时期其中的每个来被重复。

在行动38中，一个或多个医学图像被生成。所积累的样本被用于生成所述一个或多个医学图像，诸如由沿着光线所积分的体素所渲染的图像的序列。因为一些样本的贡献基于与所述一个或多个表面的相交点而被更改，这些图像包括由表面与体积的相交点所建模的效果。因为使用光线投射，与光栅化相比，对于医学诊断，体积的更精确的渲染被提供。通过使用统一光线投射，表面效果可以通过探测相交点和使用这些相交点来更改在积累中的贡献来被快速创建。

所渲染的所述一个或多个图像通过渲染器16被显示在显示器20上。该图像表示患者和该患者中的一个或多个表面。对与体积的表面相交点的真实感或非真实的表示以与该患者的内部的至少一部分的医学扫描表示相结合的方式来被提供。

尽管已经参照各种各样的实施例在上文中描述了本发明，应理解为：许多改变和修改可以被作出，而不偏离本发明的范围。因此，意在持续地细节化的描述被视为说明性的而并非限制性的，并且应理解为：以下权利要求、包括所有等效方案在内，意在限定本发明的精神和范围。

Claims (20)

1.用于在医学成像中的可视化的系统，所述系统包括：

医学成像系统（12），所述医学成像系统被配置用于扫描患者的内部区域并且生成体素数据，所述体素数据表示包括所述内部区域的体积（22）；

存储器（18），所述存储器被配置用于存储模型，作为在所述体积（22）之内的对象的三维表面（24），其中分开地从关于表示所述体积的所述体素数据的已知空间关系或者利用所述关于表示所述体积的所述体素数据的已知空间关系来建模所述模型的所述三维表面；

渲染器（16），所述渲染器被配置用于，投射光线通过所述体积（22），通过使用所述体素数据来沿着所述光线进行积分、在使用所述已知空间关系的情况下进行积分时沿着相同的所述光线来检查所述三维表面（24）并且基于沿着一个或多个所述光线对所述三维表面（24）的探测来更改沿着其中一个或多个所述光线的所述积分；和

显示器（20），所述显示器被配置用于，显示由所述渲染器（16）所输出的、被渲染的图像并且基于所述积分来显示表示所述内部区域的所述被渲染的图像。

2.根据权利要求1所述的系统，其中所述医学成像系统（12）被配置用于，重复地扫描，从而提供体素数据集合序列，其中所述渲染器（16）被配置用于，投射光线、积分、检查和更改所述序列的每个集合，并且其中所述显示器被配置用于显示所述图像，作为基于在所述积分中的重复的图像的序列中的一个。

3.根据权利要求1所述的系统，所述系统另外包括用户接口，所述用户接口被配置用于接收用于改变渲染参数的输入，其中所述渲染器（16）被配置用于，在使用经改变的渲染参数的情况下由所述体素数据来进行渲染，并且其中基于使用所述经改变的渲染参数来进行的所述渲染来替代所述被渲染的图像。

4.根据权利要求1所述的系统，其中所述渲染器（16）被配置用于，在使用加速结构的情况下进行检查。

5.根据权利要求4所述的系统，其中所述加速结构被配置用于，利用实时的或交互式的渲染进行操作。

6.根据权利要求1所述的系统，其中所述渲染器（16）被配置用于投射所述光线，使得相同的所述光线被用于所述积分和所述检查。

7.根据权利要求1所述的系统，其中所述三维表面（24）包括网格。

8.根据权利要求1所述的系统，其中所述三维表面（24）包括在所述体积（22）之内的多个所述三维表面（24）之一，并且其中所述渲染器（16）被配置用于对所有的所述三维表面（24）检查并且基于对其中每个所述三维表面（24）的探测来更改所述积分。

9.根据权利要求1所述的系统，其中所述医学成像系统（12）被配置用于，采集不同的表示所述体积（22）的体素数据集合，并且其中所述渲染器（16）被配置用于，由表示来自不同所述集合的相同位置的所述体素数据来进行积分。

10.根据权利要求1所述的系统，其中所述渲染器（16）被配置用于，更改所述积分，用来显示所述表面（24）为具有颜色的透明的。

11.根据权利要求1所述的系统，其中所述渲染器（16）被配置用于，更改环境光遮蔽的积分。

12.根据权利要求1所述的系统，其中所述渲染器（16）被配置用于，更改由所述表面（24）的阴影的积分。

13.根据权利要求1所述的系统，其中所述渲染器（16）被配置用于，更改通过所述表面（24）的光传输的积分。

14.根据权利要求1所述的系统，其中所述渲染器（16）被配置用于投射光线，作为用于医学视野的非线性投射。

15.用于在医学成像中的可视化的方法，所述方法包括：

确定（34）不同表面（24）与通过体积（22）所投影的光线的相交点；

沿着相同的所述光线由表示患者的体积数据来积累（36）样本，其中对所述样本的所述积累（36）基于所述相交点而改变；

由所积累的所述样本来生成（38）所述患者的医学图像。

16.根据权利要求15所述的方法，其中确定（34）所述相交点包括确定（34）与加速结构的相交点。

17.根据权利要求15所述的方法，其中所述积累（36）包括利用内插和传输函数进行的积分，所述改变是在其中一些所述样本的量级、其中一些所述样本的颜色、其中一些所述样本的不透明度、照明或其组合方面。

18.根据权利要求15所述的方法，其中所述确定（34）、积累（36）和生成（38）随着附加样本的采集、渲染的更改或其组合来以实时的方式被重复。

19.非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质具有其中所存储的表示指令的数据，所述指令能够由用于医学成像中的可视化的已编程的处理器来执行，所述存储介质包括用于如下项的指令：

随着时间由医学扫描仪采集（30）表示患者体积（22）的体素的序列；

对于每个时间，光线投射（32）通过所述体素；

基于对于其中每个时间的所述光线投射，沿着光线来积分（36）体素；

与沿着所述光线的所述积分并行地在使用相同的所述光线的情况下穿越（34）加速结构，对于其中每一个时间，所述穿越识别所述光线与表面（24）的相交点，所识别的所述相交点被用于更改所述积分；和

基于所述相交点，由所积分的所述体素、被渲染的图像的像素值来生成（38）所述被渲染的图像的序列。

20.根据权利要求19所述的非瞬时计算机可读存储介质，其中所述穿越（34）包括识别与所述表面（24）和至少一个附加的表面（24）的相交点，并且其中生成（38）包括调节所述体素在基于与所述表面（24）和所述附加的表面（24）的相交点的所述积分中的贡献。

Images