CN117011441A - 用于使用虚拟球形光源的医学图像实时渲染的技术 - Google Patents

Abstract

对于根据从医学扫描仪获得的体积数据的医学图像实时渲染，确定接收到的体积数据的一个或多个光学属性。构造与球形光源相关联的光体积。所述光体积包括一系列连续的球形切片，光通过所述球形切片而传播，同时取决于所述光学属性来确定从一个球形切片传播到相邻球形切片的所述光的一小部分。利用取决于所确定的光学属性的无梯度着色对所构造的光体积进行采样。基于所采样的光体积，渲染与接收到的体积数据相关的至少一个医学图像。

Description

用于使用虚拟球形光源的医学图像实时渲染的技术

相关申请

本申请要求2022年5月6日提交的EP 22171985.9的权益，其通过引用整体地并入本文中。

技术领域

提供了一种用于根据从医学扫描仪获得的体积数据的医学图像实时渲染的技术。特别地，提供了一种方法、一种计算设备、一种包括计算设备和医学扫描仪的系统、一种计算机程序产品、以及一种非暂时性计算机可读介质。

背景技术

体积渲染(volume rendering)跨越了各种各样的算法，这些算法支持不同的视觉效果，并且可能提出不同的计算挑战。

区分了两类算法：局部照明和全局照明。

在局部照明算法中，在每个体素处的着色(shading)只考虑该体素处的光学属性(即，相邻的体素不被考虑)。Phong着色(也表示为Phong插值或法向量插值着色)或类似的着色可以用于模拟各种光照条件。

在全局照明算法中，更加逼真的光照被添加到3D场景。这样的算法不仅考虑直接来自光源的光(直接照明)，而且还考虑了其中来自同一光源的光线被场景中的其他表面——无论是否是反射性的——所反射的后续情况(间接照明)。在全局照明算法中，光照模拟用于实现照片级逼真的效果，例如，阴影、反射、折射、渗色(color bleeding)、光散射和/或焦散(caustics)。

在当前许多先进的可视化医学产品中仍然被使用的基于射线投射(raycasting)的常规体积可视化方法仅模拟通过体积数据沿着主观看射线(primary viewing ray)的辐射能的发射和吸收。根据比尔-朗伯定律(Beer-Lambert law)，沿着到观察者位置的射线，利用从患者数据导出的吸收系数，在每个点处所发射的辐射能被吸收。渲染器典型地基于局部体积梯度在沿着射线的每个点处仅使用标准局部着色模型(例如，Blinn Phong模型)来计算着色(即，局部照明)。这些方法虽然是快速的，但是无法模拟与照相现实主义(photorealism)相关联的复杂光散射和消光(即，全局照明)。

蒙特卡罗路径追踪是一种全局照明算法，该算法使用蒙特卡罗积分来求解渲染方程。它可以产生高度逼真的图像，包括用于医学可视化的图像。同时，由于需要在每个像素或体素处模拟成百上千个离散光路径，因此计算要求非常高。随着越来越多的路径被模拟，该解决方案收敛于对来自所有方向的入射光在每个点处的辐照度的准确估计。渲染器采用体积散射(volumetric scattering)和类表面散射(surface-like scattering)的混合，该体积散射和类表面散射分别通过相位函数和双向反射率分布函数(BRDF)基于从解剖数据导出的属性被建模。产生单个图像可能要花费大约几分钟，并且因此当前不适合用于实时渲染。各种算法旨在解决性能挑战，包括辐照度高速缓存——这需要在实时渲染可能发生之前对光照改变进行长时间的预先计算——以及基于人工智能(AI)的去噪和光路径生成。然而，利用常规的蒙特卡罗路径追踪，实时渲染仍然是无法实现的。

在全局照明谱的另一端处是支持全局照明效果的子集的实时渲染技术。半角切片(half-angle slicing)模拟了针对定向光源沿着沿光方向的连续切片的光传播。在每个光照切片处，体积不透明度衰减了来自先前切片的入射光，并且该过程与基于切片的体积渲染步调一致地(lockstep)执行(即，通过同时并行地运行相同的一组操作)，该基于切片的体积渲染合成沿着观看方向与光源方向之间的半角被对准的切片。该技术支持实时速率下的硬阴影和/或软阴影以及仅前向光散射。

与半角切片相比，交互式体积光照(IVL)首先计算整个光照体积，这允许利用用于体积渲染的射线投射算法来实现类似的视觉效果，尽管是以增加的存储器消耗实现的。当体积数据解释的光学属性(例如，体积不透明度和分类)以及光源相对于体积数据的位置保持静态(static)时，为了非常高的渲染性能，可以重复使用所计算的光体积，例如在相机移动期间，用于立体渲染、虚拟和/或增强现实渲染、和/或在功率高效(power-efficient)设备上的渲染。通过使光照体积与解剖体体积对准并沿着最接近光照方向的两个方向传播光照来支持外部点状光源(exterior point-like light source)。

光子映射(photon mapping)技术为体积渲染应用提供了实现内部光照和/或透照(transillumination)的替代方式。在第一遍数(first pass)中，光子从光源发射，利用基于场景中材料的光学属性所定义的散射和吸收在该场景中被追踪，并且与该场景的交点在光子贴图(photon map)中被记录。在渲染遍数(rendering pass)中，光子贴图被查询(query)以近似间接照明。实时全局照明系统可以基于体积光子映射，其限制在于：光照预先计算大约是几分钟，并且内部光源不被支持。基于光子映射的系统可以用于使用在中央处理单元(CPU)上计算的低分辨率体积光子贴图来进行心脏数据的透照渲染，这允许解剖体体素充当内部光源。因此，光子映射遭受着在长计算时间与可接受的渲染分辨率之间的权衡。

格子玻尔兹曼(Lattice-Boltzmann)方法、对流-扩散数值求解器(convection-diffusion numerical solver)或其他方法也可以用于计算光体积，例如考虑到计算速度和分辨率，这些方法具有与光子映射方法类似的限制。

发明内容

因此，目的是提供一种用于根据体积数据的医学图像实时渲染的解决方案。替代地或附加地，目的是在时间、处理和/或存储器方面降低用于将来自医学扫描仪的体积数据转换成用于渲染、特别是实时渲染的医学图像的计算成本。

该目的通过一种用于根据从医学扫描仪(也可以表示为医学成像设备或医学图像扫描仪)获得的体积数据的医学图像实时渲染的计算机实现方法、通过一种计算设备、通过一种包括医学扫描仪和计算设备的系统、通过一种计算机程序和/或计算机程序产品、以及通过一种非暂时性计算机可读介质来解决。

有利的方面、特征和实施例连同优点一起在以下描述中被描述。

在下文中，该解决方案关于用于根据从医学扫描仪获得的体积数据的医学图像实时渲染的方法以及关于计算设备和包括计算设备的系统来描述。本文中的特征、优点和/或替代实施例可以指派给其他方面(例如，计算机程序或计算机程序产品)，并且反之亦然。换句话说，该计算设备和/或系统可以利用在该方法的上下文中描述的特征来改进。在这种情况下，该方法的功能特征分别由该计算设备和/或系统的结构单元来体现，并且反之亦然。

关于第一方面，提供了一种用于根据从医学扫描仪获得的体积数据的医学图像实时渲染的计算机实现方法。所述方法包括从医学扫描仪接收体积数据的动作。所述方法进一步包括确定与接收到的体积数据相关的至少一个光学属性的动作。所述方法进一步包括构造与(例如，虚拟)球形光源相关联的光体积的动作。光体积包括一系列连续的球形切片，来自球形光源的光根据连续的顺序(例如，向外)通过这些切片而传播。构造光体积包括：确定根据连续的顺序从一个球形切片传播到对应的相邻球形切片(例如，下一个更大的切片)的光的一小部分。光的传播取决于与接收到的关联于球形切片的体积数据相关的所确定的至少一个光学属性(例如，包括不透明度、颜色、反射率和/或指示彩色散射(chromaticscattering)的值)。

所述方法进一步包括对所构造的光体积进行采样的动作。所述采样包括(例如，无梯度)着色，该着色取决于与接收到的关联于球形切片的体积数据相关的所确定的至少一个光学属性。

所述方法仍进一步包括渲染与接收到的体积数据相关的至少一个医学图像的动作。所述渲染基于所采样的光体积。

用于实时渲染的技术可以被应用于直接体积渲染(DVR)。DVR包括(例如，直接地)从体素表示来可视化体积数据的渲染技术。

体素可以表示(例如，规则)三维(3D)网格的值。

DVR可以省掉(dispense with)进一步的(例如，中间)表示，从而节省计算成本和存储器。进一步的(例如，中间)表示可以例如被包括在等值面渲染(isosurfacerendering)中，其中图元(primitive)(例如，等值面)从体积数据被导出，并且然后被可视化。

体积数据可以与(例如，人类)身体和/或患者的(例如，解剖)结构有关。所述结构可以包括硬组织，例如骨骼结构，和/或包括软组织，例如内脏器官和/或皮肤。体积数据也可以表示为解剖体积数据。

体积数据可以包括在特定于医学扫描仪的时间标度(timescale)上采集的一系列数据集，所述医学扫描仪可以包括例如超声(US)设备、或者用于正电子发射断层扫描(PET)、用于计算机断层扫描(CT)和/或用于磁共振断层扫描(MRT)的设备。例如，数据集可以对应于身体和/或患者的暂时和/或瞬时状态。

所述至少一个光学属性可以包括与接收到的体积数据相关的不透明度、反射率、颜色、和/或与彩色散射有关的一系列值(也表示为彩色散射指数)。例如，内脏器官(例如，肝脏和/或肾脏)可以是已知的组织类型，该组织类型可以对应于器官组织的不透明度、器官组织的颜色和/或器官组织(例如，其表面)的反射率。

确定所述至少一个光学属性可以包括执行分类。所述分类可以包括从医学扫描仪接收到的标量值的映射。标量值可以是定量值，例如在所谓的Hounsfield标度上。Hounsfield标度包括用于描述放射密度(例如，接收到的体积数据的放射密度)的定量标度。在医学扫描仪是用于CT的设备的情况下，标量值也可以表示为CT数字。

替代地或附加地，光的散射率可能取决于光的颜色，这可以表示为彩色散射。

所述至少一个光学属性可以在结构变化时随体积数据变化。例如，体积数据可以包括多于一个内脏器官和/或骨骼结构(的至少部分)。

所述至少一个光学属性的分类可以包括组织的类型。

颜色、反射率、不透明度和/或彩色散射可以基于所述分类来确定，例如通过使用查找表(LUT)。

球形光源可以被配置成投射径向向外指向的光线。替代地，球形光源可以被配置成投射径向向内指向的光线，例如，朝向与球形光源相关联的球体的中心。

球形光源可以是点状光源。替代地或附加地，球形切片可以关于球形光源的中心是同心的。

光体积也可以表示为照明体积、光空间和/或(例如，光)传播空间。

光体积可以包括体素的网格。替代地或附加地，光体积可以存储到达体积数据中的点的光的量。

存储器中的体素的位置(也表示为体素位置)与体积数据中的对应三维(3D)位置之间的映射可以使用线性、径向和/或任何另外类型的函数。

IVL中的光体积常规地被组织成沿着三维笛卡尔坐标系的z轴而定向的一个或多个平面切片，其中光传播从外部点状光源按从前到后的顺序被逐切片地执行，并且所得到的照明值被用于体积渲染(例如，在对光体积进行采样的动作中)以确定(例如，计算)全局照明效果。

根据一个概念，沿着z轴的常规平行光传播被使用一系列连续球形切片从球形光源径向(例如，向外)传播的光所取代。

一系列连续的球形切片也可以表示为球形纹理切片。替代地或附加地，一系列连续的球形切片可以被包括在球形网格中。

包括光源和一系列连续切片的球形几何形状可以通过极坐标(也表示为球坐标)被参数化。极坐标可以包括半径(例如，对距点状光源或距球形光源中心的距离进行参数化)和两个角度。每个球形切片可以对应于半径的固定值。

例如对于朝向无穷远处投射径向光线的球形光源而言，可以在前向光方向上从一个球形切片(例如，向外)到相邻的球形切片来构造光的传播(propagating)(也称为：传播(propagation))。

光沿着球形切片的传播可以导致光体积的构造。

通过使用存储在光体积中的信息，在采样动作中，可以确定全局照明效果。

采样可以指代从附近的体素网格值和/或相邻切片来确定被存储在体积数据内包含的预定位置处的(例如，标量)值的过程。

根据一种技术，一旦光传播已经被计算(和/或构造)，就可以执行光体积上的“局部采样”，例如，在着色期间对光体积的单个位置进行采样。由此，可以实现“全局照明着色”，而不是“局部着色”。

可以应用二维(2D)和/或三维(3D)滤波器，例如分别是双线性和/或三线性滤波器，和/或任何更高阶滤波器，诸如立方滤波器(cubic filter)和/或B样条(B-spline)(也表示为基本样条)滤波器，该更高阶滤波器可以使用比双线性和/或三线性滤波器更大的体素邻域(neighborhood)。B样条滤波器可以具有关于给定程度、平滑度和/或域划分(domainpartition)、例如关于附近的体素网格值的最小支持。

根据一种技术，可以在渲染期间和/或针对渲染来实现光体积数据的特定于域的滤波。特定于域的滤波可以包括在与体积数据梯度和/或与方向组合(例如，包括数据梯度和/或光方向)正交的平面中的二维(2D)滤波。特定于域的滤波可以包括用于2D滤波的旋转网格分层采样，其中该网格针对滤波操作的每次调用被旋转，例如在射线投射期间的每个步骤处和/或针对每个射线被随机地旋转。这减少了感知到的可见伪影。

当构造光体积时和/或当对先前切片处的照明进行采样时，可以应用一组不同的滤波器和/或滤波参数。

替代地或附加地，采样可以包括向每个像素和/或体素的不同颜色样本指派(例如，不同的)比特数量。颜色样本可以被包括在红-绿-蓝(RGB)颜色空间和/或RGB阿尔法(RGBA)颜色空间中。阿尔法可以指代像素和/或体素处的不透明度(或其逆，即透明度)。

全局照明效果可以包括硬阴影、软阴影、前向光散射、体积散射(例如，以相位函数来编码)、类表面散射和/或反射(例如，以双向反射率分布函数BRDF来编码)、折射、渗色、吸收和/或焦散。

任何散射都可以是彩色的(chromatic)，即，可以取决于源自球形光源的入射光的波长。例如，存储在光体积中的彩色散射项可以在着色期间用作软阴影项。

局部和全局照明效果可以包括环境遮挡(AO)。

阴影可以是由于一个或多个(例如，解剖)结构进行的光遮挡所致。

(例如，无梯度)着色可以包括通过使暗度(或其逆，即明度)、灰度和/或颜色的水平变化的三维数据(例如，从医学扫描仪接收到的体积数据)的深度感知的图形表示。采样和/或着色可以包括调节直接照明的阴影项，例如作为倍增因子。倍增因子可以被(例如，局部地)应用于光体积。

通过所述至少一个光学属性，例如包括体积数据的不透明度，入射光可以从一个球形切片到相邻的球形切片而衰减(例如，以从球形光源中心观看的连续顺序向外衰减)。

(例如，全局)照明效果中的任何之一(例如，光的散射和/或吸收)可以取决于所述至少一个光学属性。

替代地或附加地，全局照明可以通过所谓的辐照度高速缓存来编码。辐照度高速缓存可以包括射线追踪，例如与漫反射表面相关。替代地或附加地，辐照度高速缓存可以通过考虑环境光源和/或光的多次散射来一般化(generalize)光体积(也表示为照明体积)的概念。

采样可以包括(例如，高斯)内核和/或滤波器(也表示为重建滤波器)。(例如，高斯)内核和/或滤波器可以对前向光散射和软阴影进行编码。替代地或附加地，(例如，高斯)内核和/或滤波器可以包括沿着光传播方向而定向的二维圆盘(disc)上的样本和/或沿着一组光传播方向而定向的三维球体上的样本的高斯分布。

将光从一个笛卡尔切片(也表示为平面切片)传播到相邻笛卡尔切片被称为(例如，常规)交互式体积光照(IVL)。替代地或附加地，IVL可以指代体积光照模型，该模型通过逐切片地传播照明来计算全局散射和阴影项。

将光传播技术从笛卡尔切片扩展至球形切片可以表示为球形IVL。一般化IVL可以进一步包括在使用笛卡尔切片的常规IVL与使用球形切片的本发明球形IVL之间的任何插值，例如光照空间的插值。

通过球形IVL(和/或任何一般化IVL)，可以实时更新所渲染的光体积，从而以所构造和所采样的光体积的较低计算成本(例如，与常规技术相比)来提供改进的空间印象(spatial impression)。由此，可以以减少的计算成本和增加的计算速度来改进在介入过程期间对医学从业者的指导，从而导致介入过程的侵入性更小且更有利的结果。

光体积体素网格的分辨率可以与例如辐照度高速缓存体素网格的分辨率是可比的(comparable)。本发明技术的性能改进源于仅执行前向照明散射的事实，并且当前类型的逐切片传播可以在GPU上非常高效地实现。

IVL的分辨率与它能够分辨的结构的大小有关。例如，分辨一毫米(1mm)的血管结构和/或为其提供阴影在IVL的情况下需要某个光体积分辨率并且在辐照度高速缓存的情况下需要可比的分辨率；后者(即，使用辐照度高速缓存)常规地要花费更长的时间来进行计算。

与常规IVL形成对照，一种技术使用与光照方向对准的光照体积来实现单遍数(single-pass)光照传播。替代地或附加地，与常规IVL形成对照，该技术通过在极坐标系中执行光传播来支持内部球形光源(例如，点状光源)和/或外部球形光源。

与光子映射技术形成对照，该技术允许以实时速度进行高分辨率光体积计算。替代地或附加地，虽然光照规范不那么灵活(例如，提供了针对球形光源及其一些变形而非通用体积光源的支持)，但是该技术仍然允许透照渲染应用。

在给定的性能水平下，本文中所公开的技术例如与辐照度高速缓存相比允许更高分辨率的光体积。

医学扫描仪可以包括来自US设备、PET设备、CT设备和MRT设备的组的设备。

来自每一个设备的体积数据可以根据信噪比(SNR)被分类。例如，US数据可以具有低SNR，并且MRT数据可以具有高SNR。

替代地或附加地，SNR可以取决于与医学扫描仪对体积数据的采集有关的多个因素。所述因素可以包括例如针对MRT的场强和/或扫描时间。替代地或附加地，所述因素可以包括例如针对CT的源能量和/或辐射剂量。

采用(例如，无梯度)着色的该技术与常规的基于梯度的局部着色技术相比适用于低SNR体积数据的更高性能的渲染，特别是实时渲染。

渲染动作可以包括使用来自屏幕(其也可以表示为例如平面显示器)、立体显示器、虚拟现实(VR)显示器和/或增强现实(AR)头戴式耳机的组的设备来渲染所述至少一个医学图像。

屏幕可以位于房间中，例如医学扫描仪位于其中的房间。例如，屏幕可以包括图形用户接口(GUI)，或者可以是图形用户接口(GUI)的一部分。

立体显示器可以提供和/或可以改进(例如，解剖)结构的三维印象(也表示为感知)。

VR显示器上的任何显示可以是计算机生成的。

VR显示器可以包括VR头戴式耳机。VR头戴式耳机可以包括(例如，单目和/或双目)头戴式显示器(HMD)和/或测量人类用户运动的惯性测量单元(IMU)。

AR可以指代将计算机生成的显示元素与真实元素(例如，人类用户和/或相机直接可见的元素)进行组合。

AR头戴式耳机可以包括(例如，单目和/或双目)头戴式显示器(HMD)和/或测量人类用户运动的惯性测量单元(IMU)。

通过使用用于渲染的设备和/或单元中的任何一个来渲染所述至少一个医学图像，医学从业者(也表示为外科医生)可以在介入过程期间接收视觉指导。替代地或附加地，通过渲染，可以通过医学从业者实时获得关于(例如，解剖)结构的潜在进一步感兴趣区域(ROI)的视觉提示来实现附加的数据采集。

接收到的体积数据可以由医学扫描仪以预定大小的时间步长(time-step)来采集。可以针对每个时间步长和/或针对每个第n个时间步长来执行构造光体积的步骤，其中n是预定的自然数。

时间步长可以包括频率的逆，该频率可以在10赫兹与100赫兹(Hz)之间，例如60Hz。替代地或附加地，该频率可以被设定为如下值：使得人类(例如，医学从业者)感知到连续的实时图像，这例如与一组离散的突然改变的图像形成对照。

替代地或附加地，接收到的体积数据可以由医学扫描仪以预定大小的时间步长来采集。构造光体积的动作可以包括：以时间步长和/或以每个第n个时间步长(其中n是预定的自然数)，从先前时间步长来重新生成光体积。重新生成光体积可以包括使用来自先前时间步长的结果，并且基于相对于先前时间步长的差异来重建光体积。

通过针对每个时间步长和/或以每个第n个时间步长(其中n是预定的自然数)来重新生成光体积，可以实时地实现基于所获得的体积数据的一系列医学图像的渲染。

替代地或附加地，当发生以下情况时，可以例如瞬时地重新生成光体积：3D体积的光学属性改变，例如在从医学扫描仪进行新的采集时，在分类改变、剪裁(clipping)、裁剪(cropping)和/或修改了体素的光学属性的任何其他操作时；在关于体积数据的光方向和/或位置改变时；和/或在其他光属性改变时，例如包括颜色、强度和/或球形光源大小方面的一个或多个改变。

另外，替代地或附加地，该系统(例如，包括计算设备)可以强制执行(enforce)应用特定的限制，诸如每秒不超过N次光体积重新计算，其中N是预定的自然数。

如果没有发生上述事件和/或改变，则不一定需要重新计算光体积，但是独立于数据采集速率的光体积重新生成的固定速率可能对于三维(3D)和时间数据、诸如在超声中是优选的，因为它可以在光照参数改变期间提供更一致的帧率。

构造光体积的动作可以包括从极坐标到笛卡尔坐标的变换。替代地或附加地，对所构造的光体积进行采样的动作可以包括从笛卡尔坐标到极坐标的逆变换。

常规地，对于解剖体积数据，笛卡尔网格被用于存储由医学扫描仪获得的(例如，标量)值，并且体积渲染在笛卡尔空间中被执行。替代地或附加地，对于经由超声所采集的解剖体积数据，常规地使用非笛卡尔数据。

超声数据格式可以取决于超声换能器布置。替代地或附加地，当谈到采集时，特定于探针的“声学网格(acoustic grid)”可以指代例如利用特定于探针的扫描转换算法，该扫描转换算法将声学网格转换成笛卡尔网格以用于渲染。一些3D探针可以使用线性网格、极坐标网格、和/或螺旋(helical)和/或扭曲声学网格。

可以对数据进行扫描前转换和/或扫描后转换。替代地或附加地，可以在渲染期间和/或针对渲染来按需应用扫描转换。本技术与这两种方法都兼容。

当确定用于体积数据中的给定笛卡尔位置的着色时，根据本发明的技术，来自极坐标网格光体积的照明被确定(例如，从体积数据的体素中查找)。因此，笛卡尔着色位置可以在着色期间被变换到极坐标光体积位置。

光传播逐切片地发生，其中每个体素可以对应于极坐标网格中的位置。在构造光体积的动作期间，来自笛卡尔解剖体积数据的所述至少一个光学属性(例如，光学不透明度)需要被确定(例如，从体积数据的体素中查找)，以确定来自先前切片的光有多少被遮挡。因此，在构造光体积的动作中，位置可以从光体积的极坐标变换到解剖体积数据的笛卡尔坐标。

对光体积进行采样的动作可以包括应用二维和/或三维(例如，重建)滤波器。(例如，重建)滤波器可以包括高斯内核。

(例如，重建)滤波器可以用于对任意3D位置处的光体积的体素网格进行采样。替代地或附加地，其设计的目标可以是平衡性能与混叠和/或振铃(ringing)和/或其他视觉伪影。具有较高质量滤波器(例如，立方滤波器)的较低分辨率光体积可以优选于较高分辨率体积和/或最近邻滤波器。滤波器的选择不需要与光体积分辨率和/或感知改进强烈相关。

替代地或附加地，通过应用(例如，重建)滤波器，可以便于以低分辨率实时渲染的所述至少一个医学图像的改进感知。

在当前许多先进的可视化医学产品中仍然被使用的基于射线投射的常规体积可视化方法仅模拟通过体积数据沿着主观看射线的辐射能的发射和吸收。例如，根据比尔-朗伯定律，沿着到观察者位置的射线，利用从患者数据导出的吸收系数，在每个点处所发射的辐射能被吸收。渲染器典型地基于局部体积梯度在沿着射线的每个点处仅使用标准局部着色模型(例如，Blinn Phong模型)来计算着色(也表示为局部照明)。常规方法虽然是快速的，但是无法模拟与照相现实主义相关联的复杂光散射和消光(也表示为全局照明)。

(例如，基于物理的)蒙特卡罗路径追踪和/或射线追踪(也简称为路径追踪和/或射线追踪)可以用于使用随机过程来模拟通过每个路径具有多个散射事件的体积数据的光路径。随着越来越多的路径和/或射线被模拟，该解决方案收敛于对来自所有方向的入射光在每个点处的辐照度的准确估计。渲染器可以采用体积散射和类表面散射的混合，该体积散射和类表面散射分别通过相位函数和双向反射率分布函数(BRDF)基于从解剖数据、特别是体积数据的解剖结构导出的属性被建模。

替代地或附加地，蒙特卡罗路径追踪可以包括渲染技术，该渲染技术与任何IVL技术相比提供了对光的更完整的模拟，然而，这是以增加的计算时间为代价的。另外，替代地或附加地，蒙特卡罗路径追踪可以用于生成辐照度高速缓存。辐照度高速缓存在概念上可以类似于任何IVL技术的光体积，但是常规地比IVL技术需要更多的计算工作量和/或存储器。

(例如，虚拟)球形光源可以是非静态的。替代地或附加地，球形光源的至少一个属性可以随着时间而变化。球形光源的所述至少一个属性可以包括球形光源的位置、大小、颜色和/或强度。

(例如，虚拟)球形光源的一个或多个属性可以随着接收到的体积数据的一个或多个属性(例如，视角)变化而变化。

接收到的体积数据可以是非静态的。替代地或附加地，接收到的体积数据可以随着时间而变化。

体积数据可以在介入过程期间从医学扫描仪实时获得。体积数据的变化可以包括视角的改变，和/或可以源于活体(例如，人类身体)和/或患者的机能(functioning)。例如，在心动周期期间，心室可以在大小方面变化，和/或瓣膜可以打开和关闭。

替代地或附加地，接收到的体积数据的变化可以至少部分地由于非静态医学扫描仪所致，例如US设备可以相对于(例如，人类)身体而移动。非静态医学扫描仪可以替代地表示为移动相机。

所确定的至少一个光学属性可以与体积数据中包括的至少一个(例如，解剖)结构相关联。替代地或附加地，所述至少一个光学属性可以随着体积数据的体积而变化，例如随着一个或多个(例如，解剖)结构变化而变化。

所述至少一个光学属性可以从不透明度、反射率、颜色和/或指示彩色散射的至少一个值的组中选择。

颜色可以根据红-绿-蓝(RGB)方案(也表示为RGB通道)来提供。替代地或附加地，不透明度可以根据所谓的阿尔法通道(也表示为阿尔法方案)来提供。

另外，替代地或附加地，不透明度和颜色可以根据所谓的RGB阿尔法(RGBA)模型(也表示为RGBA通道或RGBA方案)被组合。

体积数据可以通过传递函数(TF)被映射到所述至少一个光学属性。

一系列连续的球形切片可以径向向外排序(ordered)。替代地或附加地，球形光源可以包括点状光源。

至少构造光体积的动作和/或对光体积进行采样的动作可以由图形处理单元(GPU)来执行。

到目前为止，已经关于该方法描述了技术。本文中的特征、优点或替代实施例可以指派给其他对象或方面(例如，计算设备和/或系统和/或计算机程序产品)，并且反之亦然。换句话说，该装置或设备可以利用在该方法的上下文中描述的特征来改进，并且反之亦然。在这种情况下，该方法的功能特征分别由该装置或设备或系统的结构单元来体现，并且反之亦然。一般地，在计算机科学中，软件实现方式和对应的硬件实现方式(例如，作为嵌入式系统)是等效的。因此，例如，用于“存储”数据的方法动作可以利用存储单元以及用于将数据写入到存储装置中的相应指令来执行。为了避免冗余，尽管该设备也可以用于参考该方法所描述的替代实施例中，但是不再次针对该设备明确地描述这些实施例。

关于第二方面，提供了一种用于根据从医学扫描仪获得的体积数据的医学图像实时渲染的计算设备。所述计算设备包括被配置用于从医学扫描仪接收体积数据的第一接口。所述计算设备进一步包括被配置用于确定与接收到的体积数据相关的至少一个光学属性的第一处理单元(处理器)。所述计算设备进一步包括被配置用于构造与球形光源相关联的光体积的第二处理单元(处理器)。光体积包括一系列连续的球形切片，来自球形光源的光根据连续的顺序(例如，向外)通过这些切片而传播。构造光体积包括确定根据连续的顺序(例如，向外)从一个球形切片传播到对应的相邻球形切片的光的一小部分。光的传播取决于与接收到的关联于球形切片的体积数据相关的所确定的至少一个光学属性。

所述计算设备进一步包括被配置用于对所构造的光体积进行采样的第三处理单元(处理器)。所述采样包括(例如，无梯度)着色，所述着色取决于与接收到的关联于球形切片的体积数据相关的所确定的至少一个光学属性。

所述计算设备仍进一步包括被配置用于进行输出以便基于所采样的光体积来渲染与接收到的体积数据相关的至少一个医学图像的第二接口。

替代地或附加地，根据第二方面的所述计算设备可以被配置成执行根据如上所描述的方法的方法。所述计算设备可以以硬件实现，和/或所述方法可以以软件实现。所述计算设备可以被配置成执行所述方法的所有动作和/或可以包括在第一方面(方法)的上下文中公开的特征中的任何一个。

关于第三方面，提供了一种根据从医学扫描仪获得的体积数据的医学图像实时渲染的系统。所述系统包括用于提供体积数据的医学扫描仪。所述系统进一步包括根据第二方面的计算设备(计算机)。所述计算设备的第一接口被配置成从所述医学扫描仪接收所述体积数据。所述系统仍进一步包括渲染单元(渲染器或图形处理单元)，所述渲染单元包括用于从所述计算设备的第二接口接收来自所述计算设备的与所述体积数据相关的至少一个医学图像的输出的接口。所述渲染单元被配置成渲染所述至少一个医学图像。

关于第四方面，一种包括程序元素的计算机程序产品，当所述程序元素被加载到服务器(例如，由第二方面的计算设备来体现)的存储器中时，所述程序元素引起所述服务器执行根据第一方面的用于根据从医学扫描仪获得的体积数据的医学图像实时渲染的方法的动作。

关于第五方面，一种非暂时性计算机可读介质，其上存储有可由服务器(例如，由第二方面的计算设备来体现)读取和执行的程序元素，以便当所述程序元素由所述服务器执行时，实行根据第一方面的用于根据从医学扫描仪获得的体积数据的医学图像实时渲染的方法的动作。

鉴于以下描述和实施例，上面描述的本发明的属性、特征和优点以及它们被实现的方式变得更加清楚且更加可理解，以下描述和实施例将在附图的上下文中更详细地描述。该以下描述没有将本发明限制在所包含的实施例上。在不同的图中，相同的组件或部分可以用相同的参考符号来标记。一般而言，各图并不是按比例绘制的。

应理解的是，本发明的优选实施例也可以是从属权利要求或以上实施例与相应独立权利要求的任何组合。

这些和其他方面将从下文中描述的实施例是明显的并且将参考这些实施例被阐明。

权利要求中的任何参考符号都不应当被解释为限制范围。

附图说明

图1是根据优选实施例的方法的流程图；

图2是根据优选实施例的计算设备的结构和架构的概述；

图3A示出了具有光体积的一系列连续切片的点状光源的示例，其中光径向向外(radiallyoutwards)传播；

图3B、3C和3D示出了从点状光源朝向平面光源的示例变形，其中光体积的球形切片被变形为抛物线切片；

图3E示出了示例基本上平面的光源以及光体积的示例基本上平面的切片；

图3F和3G示出了从基本上平面的光源朝向外部球形光源的示例变形，其中光体积的切片从抛物线朝向向内排序的球形(inwards ordered spherical)被变形；

图3H示出了具有光体积的球形切片的示例外部球形光源，其中光向内传播到球形光源的中心；

图4A、4B和4C示出了图4A和4C中的用于利用外部定向光源进行渲染的常规技术与图4B中的如本文中描述的IVL的示例比较；

图5A、5B和5C示出了图5A和5C中的用于利用内部球形光源进行渲染的常规技术与图5B中的球形IVL的比较；

图6A、6B和6C示出了用于4D超声数据的透照体积渲染的示例，其中球形光源被放置在心脏瓣膜后面；

图7示出了根据本文中描述的技术的外部照明的示例；

图8示出了内部内窥镜照明的示例；以及

图9示出了用于头部跟踪的AR肝脏手术支持的以4D超声的透照的示例。

具体实施方式

图1示出了用于根据从医学扫描仪获得的体积数据的医学图像实时渲染的计算机实现方法100的示例性流程图。

方法100包括从医学扫描仪接收体积数据的动作S102。

方法100进一步包括确定与接收到的S102体积数据相关的至少一个光学属性的动作S104。

方法100进一步包括构造与球形光源相关联的光体积的动作S106。光体积包括一系列连续的球形切片(例如，从内部和/或点状光源径向向外排序)，来自球形光源的光根据连续的顺序通过这些切片而传播。构造光体积的动作S106包括确定根据连续的顺序从一个球形切片传播到对应的相邻球形切片的光的一小部分。光的传播取决于与接收到的S102关联于球形切片的体积数据相关的所确定的S104至少一个光学属性。

方法100进一步包括对所构造的S106光体积进行采样的动作S108。对光体积进行采样的动作S108包括(例如，无梯度)着色，该着色取决于与接收到的S102关联于球形切片的体积数据相关的所确定的S104至少一个光学属性。

方法100仍进一步包括渲染与接收到的S102体积数据相关的至少一个医学图像的动作S110。渲染的动作S110基于所采样的S108光体积。

图2示出了用于根据从医学扫描仪获得的体积数据的医学图像实时渲染的示例性计算设备(计算机)200。

计算设备200包括被配置用于从医学扫描仪接收体积数据的第一接口202-1。

计算设备200进一步包括被配置用于确定与接收到的体积数据相关的至少一个光学属性的第一处理单元(处理器)204-1。

计算设备200进一步包括被配置用于构造与球形光源相关联的光体积的第二处理单元(处理器)204-2。光体积包括一系列连续的球形切片，来自球形光源的光根据连续的顺序通过这些切片而传播。构造光体积包括确定根据连续的顺序(例如，径向向外)从一个球形切片传播到对应的相邻球形切片的光的一小部分。光的传播取决于与接收到的关联于球形切片的体积数据相关的所确定的至少一个光学属性。

计算设备200进一步包括被配置用于对所构造的光体积进行采样的第三处理单元(处理器)204-3。采样包括(例如，无梯度)着色，该着色取决于与接收到的关联于球形切片的体积数据相关的所确定的至少一个光学属性。

计算设备200仍进一步包括被配置用于进行输出以便基于所采样的光体积来渲染与接收到的体积数据相关的至少一个医学图像的第二接口202-2。

第二接口202-2可以连接到渲染单元的接口(例如，房间中的屏幕和/或AR头戴式耳机)。

可选地，计算设备200包括存储器206，例如用于存储接收到的体积数据，和/或用于存储所构造的光体积，特别是根据时间行为(time-act)进行存储。

第一接口202-1和第二接口202-2可以由被配置成执行对应动作的组合接口202来体现。

第一、第二和第三处理单元204-1；204-2；204-3可以由被配置成执行对应动作的组合处理单元204(例如，由CPU)来体现。替代地或附加地，处理单元204-1；204-2；204-3中的任何两个可以被组合成被配置成执行对应动作的一个处理单元。

一个或多个处理单元204；204-1；204-2；204-3可以是微处理器、控制器、微控制器、中央处理单元(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列、图形处理单元(GPU)或任何其他合适的计算设备、资源、或硬件、微码和/或编码逻辑的组合中的一个或多个的组合，它们可操作以单独地或与设备200的其他组件(诸如接口202-1；202-2和可选存储器206)结合地提供体积数据和/或图形处理功能性。例如，一个或多个处理器204；204-1；204-2；204-3；204-4可以执行存储在存储器206中的指令。这样的功能性可以包括提供本文中所讨论的各种特征和动作，包括本文中所公开的益处中的任何。表述“设备可操作以执行一动作”可以表示设备200被配置成执行该动作。

如图2中示意性地图示的，设备200可以由计算机，特别是工作站，包括GPU来体现。

第一接口202-1、第一、第二和第三处理单元204-1；204-2；204-3、以及第二接口202-1可以被配置成分别执行方法动作S102、S104、S106、S108和S110。

方法100，例如当由计算设备200执行时，使得能够实现用于体积渲染的实时近似全局照明，其中球形光源几何形状(特别地包括点状光源)利用光照空间(也表示为光体积或照明体积)的简单变换来实现。

替代地或附加地，方法100，例如当由计算设备200执行时，扩展了常规交互式体积光照(IVL)技术，从而在可比的(comparable)渲染速度下支持曲面(curved area)光源和可移动内部球形光源。对于具有外部点状光源的常规IVL，支持了具有硬阴影和/或软阴影的实时渲染以及前向光散射，同时可以以交互式到实时的速率来执行光体积重新生成(例如，重新计算)。

该技术具体地以用于虚拟和/或增强现实(VR和/或AR)临床支持和教育、四维(4D)超声的实时透照体积渲染以及一般体积光照为目标。

在本文中，4D可以将具有体积数据随时间的改变的三个空间维度称为第四维度，例如，根据预定的时间行为。

由于与具有外部点状光源的常规IVL相比，仅修改了用于光传播的坐标系，因此在现有IVL代码上的实现方式是直截了当的(straightforward)，并且不需要创建新的临床预设。

替代地或附加地，本发明的技术与常规渲染技术向后兼容。

在下文中，描述了示例性系统。

示例性系统包括以下组件。例如体现了计算设备200的第一处理单元204-1的所谓“体积加载器”基于查找表(LUT)或另一类型的分类针对接收到的体积数据(也表示为所加载的3D体积)提供用于例如作为与体积数据相关的至少一个光学属性的体积光学不透明度的评估器。

例如体现了计算设备200的第二处理单元204-2的所谓“光体积生成器”使用例如作为至少一个光学属性的体积不透明度的评估器以及光描述以在第一遍数中构造光体积。

例如体现了计算设备200的第三处理单元204-3的所谓“体积渲染器”在渲染期间对光体积进行采样以在第二遍数中计算全局照明效果。

在原始和/或常规IVL中，光体积始终与解剖体积对准。对于给定的光方向，该照明然后沿着体积坐标系的最接近光方向的两个轴而传播。

相比之下，如本文中所描述的针对外部光源的光体积始终与光方向对准。缺点可能是：当光方向不沿着X、Y或Z轴中的任何一个、但是该照明仅沿着单个轴而传播时，可能需要较高分辨率的光体积。

针对内部球形光源，如本文中所描述的光体积与解剖体体积对准，并且该传播也沿着极坐标系中的单个轴而发生。

所谓的“显示和交互系统”在体积光学不透明度改变时(例如，分类或窗口改变)、或者在相对于体积的光照改变时触发光体积重新生成。“显示和交互系统”可以由第一处理单元204-1来体现，和/或可以是组合处理单元204的一部分。

虽然所构造和/或所采样的光体积可以与任何体积渲染算法一起使用，但是本发明的优选实施例使用基于GPU的单遍数射线投射，其中使用光体积来近似用于直接照明的阴影(例如，项)和用于间接照明的阴影(例如，项)。

在一个实施例中，在与该系统的交互期间，光体积与射线投射一起使用，而蒙特卡罗路径追踪被用于逐步地计算最终图像。

该系统可以在交互期间使用不同的渲染算法，例如，在用户改变相机和/或光参数时进行射线投射，和/或在非交互时间期间逐步地完善蒙特卡罗路径追踪。

本技术允许在透照场景(例如，使用内部光源)中的用户交互期间的近似全局照明，该全局照明即使在光照和分类改变期间也可以被实时计算(和/或确定)。与常规方法相比，它比辐照度高速缓存方法计算更快，并且它与具有局部着色的射线投射相比提供了改进的图像感知。

如图4B和4C以及图5B和5C所示，IVL结果常常比局部照明渲染更接近于最终的蒙特卡罗路径追踪图像，这改进了当算法在运行时改变时的图像一致性。相比之下，仅使用射线投射和环境遮挡，这没有计及阴影，并且产生与最终渲染不太一致的交互式图像。

在一个实施例中，体积数据包括例如来自超声或PET采集的4D体积序列。可以使用单个光体积，其中时间行为改变在评估器(例如，其体现计算设备200的第一处理单元204-1)中修改了例如作为至少一个光学属性的光学不透明度，并且因此触发了光体积的重新生成。替代地或附加地，可以针对4D体积的每个时间行为保持单独的光体积，从而允许连续的相机改变(例如，对于具有头部跟踪的VR)与时间行为改变(例如，4D超声的连续回放)一起被渲染，而无需重新生成光体积。

在一个实施例中，IVL被用于在图形处理单元(GPU)上逐切片地计算光体积。光体积可以对应于笛卡尔网格，并且光传播被逐切片地执行，以便利用GPU的内置纹理化(texturing)支持。图3E图示了一视图，其中基本上平面的光源302-5在右侧，并且光沿着基本上平面的切片304-5A；304-5B传播到左侧。

在下文中，描述了扩展具有外部点状光源的常规IVL算法的光空间变换。医学图像可以基于所构造和所采样的光体积针对采样和/或渲染以实时速率(例如，以60赫兹Hz或更高)被获得，并且在光体积重建期间以交互式速率(也表示为重新计算，例如以20Hz或更高)被获得。构造频率和/或采样频率可以取决于光体积的分辨率。

IVL在如本文中描述的技术中的常规实现方式使用笛卡尔光体积，其z轴与外部定向光源的方向对准，并且该光体积包含体积数据的解剖体体积。光传播被逐切片地计算，其中针对当前切片上的每个体素位置，先前切片上的对应体素处的照明被确定(或取出)，并且当前切片处的照明通过例如作为至少一个光学属性的示例的体积不透明度被衰减。高斯内核和/或类似的滤波采样可以用于近似前向光散射和软阴影。不同的内核大小和/或滤波器大小可以用于彩色散射和用于阴影传播。

每当滤波器在图中被应用时，用于先前切片的高斯滤波的三个样本被应用。

替代地或附加地，IVL的“常规”实现方式可以指代外部定向光源IVL。在本发明的系统中，该光源的实现方式可以使用沿着光体积的z轴的单遍数传播，该单遍数传播然后与极坐标空间中的内部光源处理相统一(unify)(例如，两者都使用根据本发明的技术的沿着光体积z轴的单遍数传播)。

在一个实施例中，光体积可以由极坐标网格来表示。在GPU上执行快速逐切片更新，其中连续切片304-iA：304-1B现在由3D体积空间中的同心球体来描述。由于光体积空间的z轴被映射到体积空间中的极坐标半径轴，因此在体积数据的上下文中的光传播是从单个点向外执行的，这近似如图3A所示的内部点光源302-1。

图4B和图5B示出了具有移动的内部点光源302-1的渲染结果。相比之下，常规的IVL算法仅通过将光投影到光体积切片的边界上来支持外部点光源。

根据该技术的点光源302-1的位置可以通过相对于体积数据平移光体积的原点来指定。

当采样场景中的例如作为至少一个光学属性的体积光学不透明度时，在构造光体积的动作S106期间使用极坐标到笛卡尔的变换。在用于渲染的采样动作S108期间，使用逆变换(即，笛卡尔到极坐标)来对光体积进行采样。

在一实施例中，到极坐标空间半径的z轴映射使用偏移(offset)，该偏移有效地近似球形光源。图3A示出了点状光源302-1，并且图3B、3C和3D示出了具有不对称光源302-2；302-3；302-4的变形，其中球形切片304-2A；304-2B有效地蜕变(transmute)为抛物线切片304-3A；304-3B和304-4A；304-4B。

该偏移可以是光空间定义的一部分，并且可以被用于极坐标到笛卡尔坐标和/或笛卡尔坐标到极坐标的转换中。该偏移可以等于球形光源的半径。

在一个实施例中，z轴被映射到极坐标中的1-r(其中r是常规半径)，在这种情况下，光传播朝向光体积的原点向内执行，如在图3H中针对具有球形切片304-8A：304-8B的球形光源302-8所示。

图3H中的外部球形光源302-8近似环境光源。然而，它不会在体积数据的凹入区域(concave region)中产生正确的硬阴影。当光传播到邻近的切片304-8A；304-8B时，需要较大的模糊内核。

在一实施例中，使用复合光空间变换。

图3B至3G示出了如下示例：其中极坐标变换和笛卡尔变换被线性插值，以在图3A的本发明的点光源302-1、面光源、特别是图3D、3E、3F的302-4；302-5；302-6(包括图3E中的基本上平面的定向光源302-5)以及图3G和3H中的环境光源302-7；302-8之间产生平滑混合。

在所有情况下，光体积空间中的光传播从切片304-XA到切片304-XB被逐切片地执行，其中X＝1……8。这种类型的光传播有效地映射到GPU架构。

实际的实现方式可以针对外部光源302-5使用图3E中的变换，和/或针对内部光源302-1使用图3A的当前变换，并且针对靠近体积数据边界的光位置应用平滑过渡。

解剖体积外部的点光源可以使用图3E所示的定向和/或平面光空间定义。替代地或附加地，解剖体积内的点可以使用图3A中的点/球体定义。在边界的距离范围内。可以对这两个坐标变换进行插值，使得光源类型在定向光类型和点光类型之间平滑地混合(和/或应用平滑过渡)。

从图3A到图3H的过渡可以表示为使光传播空间弯曲的不同程度。

光体积被采样以用于渲染，以获得直接照明阴影(例如，项)和间接照明(例如，项)。采样可以使用任何滤波器、特别是任何重建滤波器，诸如GPU的原生纹理滤波，或者更高阶的重建滤波器。也可以应用单独的滤波和/或启发式方法来减少混叠伪影。

在优选实施例中，光体积的采样位置沿着体积数据梯度自适应地偏移，以减少由于类表面结构的自遮挡(self-occlusion)所致的伪影。

在进一步的优选实施例中，在光体积采样期间应用实时2D高斯内核，其中圆盘上的N个分层样本(其中N是自然数)与当前光体积位置的传播方向对准。该圆盘针对高斯内核的每次调用被随机地旋转。

取决于性能要求，典型配置可以使用三(3)到八(8)个样本。特别地，在附图中可以使用三个样本。

在仍进一步的优选实施例中，3D高斯内核可以与被包含在球体而不是圆盘中的样本一起使用。在计及光体积空间的曲率的情况下，也可以在光体积的坐标系中执行过滤。

图4A和4C将根据常规技术的外部的(也称为：外部)定向光源的结果与图4B中的本文中描述的技术的结果进行比较。每个医学图像是从包括具有动脉瘤402的人类头骨的相同体积数据所生成的。

图4A示出了来自体积数据的医学图像，其中应用了仅具有局部照明的常规射线投射。图4B使用来自图3E的光空间(即，具有使用对应传播空间的光传播的IVL)，以从与图4A中相同的体积数据来生成医学图像。图4C使用与图4A和4B中相同的体积数据以及常规的离线蒙特卡罗路径追踪来生成医学图像。

虽然图4B中的具有实时光照的医学图像缺乏图4C的蒙特卡罗体积路径追踪解决方案中的一些复杂的光交互，但是总体空间印象与图4A中仅使用射线投射的局部照明相比得到了显著改进。图4B中的改进的空间印象是以图4C的常规技术的计算成本(例如，包括计算时间)的一小部分来实现的。

图5A和5C将根据常规技术的内部的(也称为：内部)球形光源的结果与图5B中的本文中描述的技术的结果进行比较。图5A、5B和5C使用与图4A、4B和4C中相同的具有动脉瘤402的人类头骨的体积数据。图5A、5B和5C中的球形光源被放置在动脉瘤402附近。

图5A示出了使用仅具有局部照明的常规射线投射的医学图像。图5B示出了使用球形IVL的医学图像，该球形IVL具有使用图3A的传播空间从点状光源的光传播。图5C示出了使用常规的离线蒙特卡罗路径追踪的医学图像。

图5B的实时光照使用来自图3A的光空间变换。该技术的示例性实现方式针对局部照明射线投射以32Hz的速率产生图5A中类型的图像，并且利用静态实时光照以27Hz以及利用动态实时光照以15Hz产生图5B中类型的图像，其中光体积在每一帧处被重新计算。

图6A、6B和6C示出了用于4D超声数据的实时透照体积渲染的示例，其中球形光源被放置在心脏瓣膜后面。照明可以用于判断组织密度。图6A、6B和6C中的帧来自包括电影回放(cine playback)和移动光源的交互式会话。例如，图6A、6B和6C可以作为心动周期内的不同时间期间的医学图像来查看。

本文中描述了实时渲染技术的进一步示例性应用，如图7、8和9所示。

图7示出了使用图3E的光体积的人类骨骼外部照明的示例。

图8示出了内部内窥镜照明，其中内部球形光照以实时速度与术前CT数据的模拟内窥镜视图一起使用。图8示出了图4和5中引用的相同动脉瘤和相同数据。在图8中，光源和相机两者都被放置在体积数据内的动脉瘤附近。相比之下，在图5中，光源在内部，但是相机在体积数据的外部。

图9示出了用于手术支持的头部跟踪的AR肝脏。这样的可视化以AR和手术支持过程为目标。图9中的医学图像是在具有头部跟踪的立体显示器上的AR渲染期间被捕获的。光源被放置在肝脏后面，并且对体积数据中的所分割结构进行照明。

用于检测所渲染的图像中存在本文中描述的技术的建议体模(phantom)包括大的平坦表面，例如，类似于图5B中的头骨。对于检测，理想地同时存在凹入和凸起表面两者。

计算设备200(也表示为渲染器)可以支持内部和外部两者的点光源、球体光源、定向光源和环境光源的一些组合。

通过组织的阴影和辉光(glow)两者可以被支持。对于根据该技术的点状和球形光源，阴影分辨率远离光源位置而降低，而常规技术中的一些(诸如光子映射)在光源附近没有展现出有效分辨率的增加。

当检查被直接照亮的大的平坦表面以及阴影的半影(penumbra)时，可以有可能观察到本文中所描述的计算的基于切片的性质的证据。取决于缓解技术的有效性，细微的条带(banding)或“木纹(woodgrain)”伪影可能被观察到，尤其是当该技术为了高帧率渲染而被调整时(例如，更低的光体积分辨率、更简单的滤波)。对准可以类似于图3A或3H所示的层。

在还没有明确描述的情况下，关于附图所描述的个体实施例或它们的个体方面和特征可以在不限制或扩大所描述的发明的范围的情况下彼此组合或交换，只要这样的组合或交换是有意义的并且是在本发明的意义上。关于本发明的特定实施例或关于特定附图所描述的优点在适用的情况下也是本发明的其他实施例的优点。

Claims (20)

1.一种用于根据从医学扫描仪获得的体积数据的医学图像实时渲染的计算机实现方法，所述方法包括：

从所述医学扫描仪接收体积数据；

确定与接收到的体积数据相关的至少一个光学属性；

构造与球形光源相关联的光体积，其中所述光体积包括一系列连续的球形切片，来自所述球形光源的光根据连续的顺序通过所述球形切片而传播，其中构造所述光体积包括确定根据所述连续的顺序从一个球形切片传播到对应的相邻球形切片的所述光的一小部分，并且其中所述光的传播取决于与接收到的关联于所述球形切片的体积数据相关的所确定的至少一个光学属性；

对所构造的光体积进行采样，其中所述采样包括无梯度着色，所述无梯度着色取决于与接收到的关联于所述球形切片的体积数据相关的所确定的至少一个光学属性；

渲染与接收到的体积数据相关的至少一个医学图像，其中所述渲染基于所采样的光体积。

2.根据权利要求1所述的计算机实现方法，其中所述医学扫描仪包括来自以下各项的组的设备：超声设备；正电子发射断层扫描设备；计算机断层扫描设备；以及磁共振断层扫描设备。

3.根据权利要求1所述的计算机实现方法，其中所述渲染包括使用来自以下各项的组的设备来渲染所述至少一个医学图像：屏幕；立体显示器；虚拟现实显示器；以及增强现实头戴式耳机。

4.根据权利要求1所述的计算机实现方法，其中接收到的体积数据是由所述医学扫描仪以预定大小的时间步长来采集的，并且其中构造所述光体积是针对每个时间步长执行的。

5.根据权利要求1所述的计算机实现方法，其中接收到的体积数据是由所述医学扫描仪以预定大小的时间步长来采集的，并且其中构造所述光体积包括：以一个时间步长，从先前时间步长来重新生成所述光体积。

6.根据权利要求1所述的计算机实现方法，其中构造所述光体积包括从极坐标变换到笛卡尔坐标，并且其中对所构造的光体积进行采样包括从笛卡尔坐标逆变换到极坐标。

7.根据权利要求1所述的计算机实现方法，其中对所述光体积进行采样包括应用二维和/或三维重建滤波器。

8.根据权利要求7所述的计算机实现方法，其中所述重建滤波器包括高斯内核。

9.根据权利要求1所述的计算机实现方法，其中所述球形光源是非静态的，和/或其中所述球形光源的至少一个属性随着时间而变化，其中所述球形光源的所述至少一个属性包括位置、大小、颜色和/或强度。

10.根据权利要求1所述的计算机实现方法，其中接收到的体积数据是非静态的和/或随着时间而变化。

11.根据权利要求1所述的计算机实现方法，其中所确定的至少一个光学属性与所述体积数据中包括的至少一个结构相关联，并且其中所述至少一个光学属性选自以下各项的组：不透明度；反射率；颜色；以及指示彩色散射的至少一个值。

12.根据权利要求1所述的计算机实现方法，其中所述一系列连续的球形切片径向向外排序，和/或其中所述球形光源包括点状光源。

13.根据权利要求1所述的计算机实现方法，其中构造所述光体积和/或对所述光体积进行采样由图形处理单元来执行。

14.一种用于根据从医学扫描仪获得的体积数据的医学图像实时渲染的系统，所述系统包括：

第一接口，其被配置用于从所述医学扫描仪接收体积数据；

第一处理器，其被配置用于确定与接收到的体积数据相关的至少一个光学属性；

第二处理器，其被配置用于构造与球形光源相关联的光体积，其中所述光体积包括一系列连续的球形切片，来自所述球形光源的光根据连续的顺序通过所述球形切片而传播，其中构造所述光体积包括确定根据所述连续的顺序从一个球形切片传播到对应的相邻球形切片的所述光的一小部分，并且其中所述光的传播取决于与接收到的关联于所述球形切片的体积数据相关的所确定的至少一个光学属性；

第三处理器，其被配置用于对所构造的光体积进行采样，其中所述采样包括无梯度着色，所述无梯度着色取决于与接收到的关联于所述球形切片的体积数据相关的所确定的至少一个光学属性；

第二接口，其被配置用于进行输出以便基于所采样的光体积来渲染与接收到的体积数据相关的至少一个医学图像。

15.根据权利要求14所述的系统，

其中所述医学扫描仪包括超声设备、正电子发射断层扫描设备、计算机断层扫描设备、或磁共振断层扫描设备；

其中第二接口向屏幕、立体显示器、虚拟现实显示器、或增强现实头戴式耳机进行输出；以及

其中第二和/或第三处理器包括图形处理单元。

16.根据权利要求14所述的系统，其中第一接口被配置成以预定大小的时间步长来接收所述体积数据，并且其中第二处理器被配置成针对每个时间步长来构造所述光体积，或者以一个时间步长，从先前时间步长来重新生成所述光体积。

17.根据权利要求14所述的系统，其中第二处理器被配置成作为从极坐标到笛卡尔坐标的变换来构造所述光体积，并且其中第三处理器被配置成通过从笛卡尔坐标到极坐标的逆变换来对所构造的光体积进行采样。

18.根据权利要求14所述的系统，其中接收到的体积数据是非静态的和/或随着时间而变化，其中所述球形光源是非静态的，和/或其中所述球形光源的至少一个属性随着时间而变化，所述球形光源的所述至少一个属性包括位置、大小、颜色和/或强度。

19.根据权利要求14所述的系统，其中所确定的至少一个光学属性与所述体积数据中包括的至少一个结构相关联，其中所述至少一个光学属性选自以下各项的组：不透明度；反射率；颜色；以及指示彩色散射的至少一个值，并且其中所述一系列连续的球形切片径向向外排序，和/或其中所述球形光源包括点状光源。

20.一种非暂时性计算机可读介质，其上存储有可由处理器执行的指令，所述指令包括：

确定与从医学扫描仪接收到的体积数据相关的至少一个光学属性；

构造与球形光源相关联的光体积，其中所述光体积包括一系列连续的球形切片，来自所述球形光源的光根据连续的顺序通过所述球形切片而传播，其中构造所述光体积包括确定根据所述连续的顺序从一个球形切片传播到对应的相邻球形切片的所述光的一小部分，并且其中所述光的传播取决于与接收到的关联于所述球形切片的体积数据相关的所确定的至少一个光学属性；

对所构造的光体积进行采样，其中所述采样包括无梯度着色，所述无梯度着色取决于与接收到的关联于所述球形切片的体积数据相关的所确定的至少一个光学属性；

生成与接收到的体积数据相关的至少一个医学图像，其中所述渲染基于所采样的光体积。