CN105957135B

CN105957135B - 用于基于体积渲染的3d图像滤波和实时电影渲染的方法和系统

Info

Publication number: CN105957135B
Application number: CN201610131865.0A
Authority: CN
Inventors: K.恩格尔; 周少华
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2015-03-09
Filing date: 2016-03-09
Publication date: 2019-07-09
Anticipated expiration: 2036-03-09
Also published as: DE102016101541A1; US9613452B2; CN105957135A; US20160267703A1; JP6161748B2; JP2016167260A

Abstract

本发明公开了用于基于体积渲染的3D图像滤波和实时电影渲染的方法和系统。使用电影体积渲染生成3D体积的2D投影图像的集合。使用逆线性体积射线追踪算子从2D投影图像的集合生成重构3D体积。重构3D体积从使用电影渲染所生成的投影图像继承噪声抑制和结构增强，并且因而被非线性滤波。实时体积渲染可以使用体积射线追踪在重构3D体积上执行，并且重构3D体积的每一个投影图像是原始体积的电影渲染图像的近似。

Description

用于基于体积渲染的3D图像滤波和实时电影渲染的方法和系统

背景技术

本发明涉及减小图像中的噪声的图像滤波，并且更具体地涉及基于体积渲染来抑制噪声并增强3D图像中的感兴趣结构的3D图像滤波。

图像噪声是任何成像设备固有的。体积图像中的图像噪声呈现不期望的伪像。现有噪声减小和图像增强方法没有完全解决该问题。因而，期望更好的噪声减小和图像增强算法。

常规噪声减小方法大多基于信号处理理论。平滑滤波器对原始图像与表示低通滤波器或平滑操作的掩模进行卷积。然而，平滑滤波器往往使图像模糊。各向异性扩散方法对类似于热量方程的平滑偏微分方程进行求解以移除噪声而不会使图像的边缘模糊。中值滤波器是非线性滤波器的示例，并且如果恰当地设计，该中值滤波器非常善于保留图像细节。然而，中值滤波器更适用于椒盐图像噪声。

发明内容

本发明提供用于基于体积渲染的3D图像滤波和实时电影体积渲染的方法和系统。本发明的实施例执行基于3D图像滤波路径追踪的体积渲染以生成真实、电影渲染效果。

在本发明的一个实施例中，使用电影体积渲染生成3D体积的2D投影图像的集合。使用逆线性体积射线追踪算子从2D投影图像的集合生成所重构的3D体积。

通过参照以下详细描述和附图，本发明的这些和其它优点将对于本领域普通技术人员显而易见。

附图说明

图1示出了使用射线追踪体积渲染和电影体积渲染所生成的投影图像的比较；

图2图示了根据本发明的实施例的用于基于体积渲染的3D图像滤波和实时电影体积渲染的方法；以及

图3是能够实现本发明的计算机的高级框图。

具体实施方式

本发明涉及用于基于体积渲染的3D图像滤波和实时电影体积渲染的方法和系统。在本文中描述本发明的实施例以给出对图像滤波和实时电影体积渲染方法的形象理解。数字图像通常包括一个或多个对象（或形状）的数字表示。在本文中通常在标识和操纵对象的方面描述对象的数字表示。这样的操纵是在计算机系统的存储器或其它电路/硬件中实现的虚拟操纵。因而，要理解到，本发明的实施例可以使用存储在计算机系统内的数据而在计算机系统内执行。

体积渲染是指用于显示3D体积的2D投影图像的技术。一种类型的体积渲染是基于体积射线追踪。射线追踪体积渲染通过使用简单相机模型生成用于2D投影图像中的每一个像素的射线来执行。贯穿3D图像体积以规律或自适应间隔对射线采样。体积数据在每一个采样点处进行插值，在每一个采样点处应用转移函数以形成RGBA（红色、绿色、蓝色、α）样本，将样本合成到射线的累积RGBA上，并且该过程针对每一个采样点重复直到射线离开体积。射线的累积RGBA被转换成RGB颜色，其沉积在2D投影图像的对应像素中。2D投影图像通过针对2D投影图像的每一个像素重复该过程而形成。体积射线追踪可以通过对3D体积操作的线性投影算子、使用具有参数的相机模型来描述以生成2D图像，使得：

. (1)。

通过改变参数，可以生成不同投影图像。参数指代用于投影图像的投影角度。

由于投影算子是线性的，所以易于对算子求逆。在给定所渲染图像的集合的情况下，可以使用逆算子重构原始体积。该逆过程原则上类似于体积图像重构，并且可以表述为：

. (2)。

电影体积渲染是基于体积路径追踪。并非在射线上对从3D体积的观察进行积分，而是通过在到达对象表面上的单个点的所有照度之上进行积分来执行电影体积渲染。该照度然后通过表面反射系数函数而减小以确定多少照度将前往视点相机。该积分过程针对输出2D投影图像中的每一个像素重复。电影体积渲染可以描述为使用非线性投影算子的体积路径追踪，所述非线性投影算子使用具有参数的相机模型对3D体积操作，以生成2D图像，使得：

. (3)。

在使用电影体积渲染生成的所渲染图像中，噪声被极大抑制并且结构被极大增强。

图1示出了使用射线追踪体积渲染和电影体积渲染所生成的投影图像的比较。如图1中所示，图像102是使用射线追踪体积渲染生成的投影图像，并且图像104是使用电影体积渲染生成的投影图像。如在图1中可以看到的，相比于使用射线追踪体积渲染生成的投影图像102，在使用电影渲染所生成的投影图像104中噪声被极大减小并且解剖结构被增强。

在计算方面，电影体积渲染比射线追踪体积渲染更耗费时间。射线追踪体积渲染可以实时地执行（例如在通过患者的医疗图像的手术过程引导期间），而电影体积渲染典型地由于其高计算成本而不能实时地执行。

图2图示了根据本发明的实施例的用于基于体积渲染的3D图像滤波和实时电影体积渲染的方法。图2的方法对诸如表示患者解剖体的医疗图像数据之类的3D图像数据进行变换，以抑制噪声并增强图像数据中的感兴趣结构，并且生成具有抑制的噪声的2D投影图像并增强来自3D图像数据的图像结构。参照图2，在步骤202处，接收3D体积。3D体积可以是使用任何类型医疗成像模态所获取的患者的3D医疗图像体积，所述医疗成像模态诸如计算机断层摄影（CT）、磁共振成像（MRI）、dynaCT、超声（US）、正电子断层摄影（PET）等。3D体积可以直接从图像获取设备接收，所述图像获取设备诸如CT扫描仪、MRI扫描仪等，或者3D体积可以通过之前存储在计算机系统的存储器或存储装置中的3D体积来接收。

在步骤204处，使用非线性电影渲染算子从3D体积生成投影图像的集合。特别地，利用针对投影角度参数的不同值来生成投影图像的集合。这导致使用电影渲染生成的2D投影图像的集合，其中噪声被抑制并且感兴趣结构被增强。

在步骤206处，使用逆线性体积射线追踪算子从投影图像的集合生成重构体积。也就是说，通过将逆线性体积射线追踪算子应用于使用非线性电影渲染算子所生成的投影图像的集合来估计新体积，使得：

. (4)。

在方程（4）中，给定体积是输入并且新体积是输出。因而，步骤204和206可以被视为在输入体积上执行非线性滤波。因为在所渲染的电影图像中噪声被极大抑制并且结构被极大增强，从所渲染的电影图像重构的经非线性滤波的体积继承相同特性（即经抑制的噪声和增强的感兴趣结构）。例如，经滤波的体积可以例如通过在计算机系统的显示器上显示经滤波的体积而输出。

在步骤208处，使用重构体积的体积射线追踪来执行重构体积的实时体积渲染。特别地，线性体积射线追踪算子用于执行重构体积的体积渲染以生成2D投影图像，使得：

. (5)。

通过将体积射线追踪体积渲染应用于经滤波的体积，所渲染的图像将非常接近于来自原始体积的电影渲染图像。在有利实施例中，步骤202、204和206可以在手术过程之前执行以预先计算经滤波的体积，并且步骤208可以在手术过程期间针对一个或多个投影角度实时执行。通过预先计算经滤波的体积，使用射线追踪体积渲染所执行的实时渲染可以生成非常接近于针对相同投影角度的原始体积的电影渲染图像的2D投影图像。以此方式，引起非实时执行的电影渲染的计算瓶颈可以消除，并且可以实时生成具有噪声抑制和结构增强的电影渲染效果的2D投影图像。

由步骤208中的实时体积渲染产生的2D投影图像可以例如通过在计算机系统的显示器上显示2D投影图像而输出。投影图像可以在手术过程期间实时显示以引导用户执行手术过程。图2的步骤208可以重复以执行多个不同投影角度下的经滤波体积的实时体积渲染。在该情况中，针对每一个投影角度所生成的2D投影图像可以实时地显示。

以上描述的用于基于体积渲染的3D图像滤波和实时电影体积渲染的方法可以实现在使用公知的计算机处理器、存储器单元、存储设备、计算机软件和其它组件的计算机上。在图3中图示了这样的计算机的高级框图。计算机302包含处理器304，其通过执行限定这样的操作的计算机程序指令来控制计算机302的总体操作。计算机程序指令可以存储在存储设备312（例如磁盘）中并且在期望计算机程序指令的执行时加载到存储器310中。因而，图2的方法的步骤可以由存储在存储器310和/或存储装置312中的计算机程序指令限定，并且由执行计算机程序指令的处理器304控制。图像获取设备302（诸如CT扫描设备）可以连接到计算机302以将图像数据输入到计算机302。可能将图像获取设备320和计算机302实现为一个设备。还可能的是，图像获取设备320和计算机302通过网络无线地通信。计算机302还包括用于经由网络与其它设备通信的一个或多个网络接口306。计算机302还包括能够实现与计算机302的用户交互的其它输入/输出设备308（例如显示器、键盘、鼠标、扬声器、按钮等）。这样的输入/输出设备308可以作为评注从图像获取设备320所接收的体积的评注工具而与计算机程序的集合结合地使用。本领域技术人员将认识到，实际计算机的实现也可以包含其它组件，并且出于说明目的，图3是这样的计算机的一些组件的高级表示。

前述具体实施方式要理解为在每一方面都是说明性和示例性而非约束性的，并且本文公开的发明范围不是从具体实施方式来确定，而是从如根据专利法所准许的完整宽度解释的权利要求来确定。要理解到，本文示出和描述的实施例仅仅说明本发明的原理，并且本领域技术人员可以实现各种修改而不脱离本发明的精神和范围。本领域技术人员可以实现各种其它特征组合而不脱离本发明的精神和范围。

Claims

1.一种用于3D体积的基于体积渲染的滤波的方法，包括：

使用电影体积渲染生成3D体积的2D投影图像的集合；以及

使用逆线性体积射线追踪算子从2D投影图像的集合生成重构3D体积；

其中，所述电影体积渲染通过在到达对象表面上的单个点的所有照度之上进行积分来执行；

其中，所述逆线性体积射线追踪算子通过对能够对3D体积操作的线性体积射线追踪算子求逆来获得。

2.如权利要求1所述的方法，其中使用电影体积渲染生成3D体积的2D投影图像的集合包括：

使用电影体积渲染针对多个投影角度中的每一个生成3D体积的相应2D投影图像。

3.如权利要求1所述的方法，其中使用电影体积渲染生成3D体积的2D投影图像的集合包括：

使用电影体积渲染针对多个投影角度中的每一个生成3D体积的相应2D投影图像，其中电影体积渲染通过对到达3D体积表面上的对应点的所有照度进行积分并且通过表面反射系数函数减小所积分的照度来针对每一个相应3D投影图像中的多个像素中的每一个计算像素值。

4.如权利要求1所述的方法，其中使用逆线性体积射线追踪算子从2D投影图像的集合生成重构3D体积包括：

通过将逆线性体积射线追踪算子应用于使用电影体积渲染所生成的3D体积的2D投影图像的集合来生成重构3D体积。

5.如权利要求1所述的方法，还包括：

通过执行重构3D体积的体积射线追踪从重构3D体积生成投影2D图像。

6.如权利要求1所述的方法，还包括：

通过执行重构3D体积的体积射线追踪在手术过程期间实时地从重构3D体积生成投影2D图像。

7.如权利要求6所述的方法，其中在手术过程之前执行生成2D投影图像的集合并且生成重构3D体积。

8.如权利要求6所述的方法，其中从重构3D体积生成的投影2D图像是来自3D体积的电影渲染2D图像的近似。

9.一种用于3D体积的基于体积渲染的滤波的装置，包括：

用于使用电影体积渲染生成3D体积的2D投影图像的集合的构件；以及

用于使用逆线性体积射线追踪算子从2D投影图像的集合生成重构3D体积的构件；

10.如权利要求9所述的装置，其中用于使用电影体积渲染生成3D体积的2D投影图像的集合的构件包括：

用于使用电影体积渲染针对多个投影角度中的每一个生成3D体积的相应2D投影图像的构件。

11.如权利要求9所述的装置，其中用于使用逆线性体积射线追踪算子从2D投影图像的集合生成重构3D体积的构件包括：

用于通过将逆线性体积射线追踪算子应用到使用电影体积渲染所生成的3D体积的2D投影图像的集合来生成重构3D体积的构件。

12.如权利要求9所述的装置方法，还包括：

用于通过执行重构3D体积的体积射线追踪从重构3D体积生成投影2D图像的构件。

13.如权利要求12所述的装置，其中从重构3D体积生成的投影2D图像是来自3D体积的电影渲染2D图像的近似。

14.一种存储用于3D体积的基于体积渲染的滤波的计算机程序指令的非暂时性计算机可读介质，所述计算机程序指令在由处理器执行时使处理器执行包括以下各项的操作：

使用电影体积渲染生成3D体积的2D投影图像的集合；以及

15.如权利要求14所述的非暂时性计算机可读介质，其中使用电影体积渲染生成3D体积的2D投影图像的集合包括：

16.如权利要求14所述的非暂时性计算机可读介质，其中使用电影体积渲染生成3D体积的2D投影图像的集合包括：

使用电影体积渲染生成3D体积的2D投影图像的集合。

17.如权利要求16所述的非暂时性计算机可读介质，其中使用逆线性体积射线追踪算子从2D投影图像的集合生成重构3D体积包括：

18.如权利要求14所述的非暂时性计算机可读介质，其中所述操作还包括：

19.如权利要求14所述的非暂时性计算机可读介质，其中所述操作还包括：

20.如权利要求19所述的非暂时性计算机可读介质，其中在手术过程之前执行生成2D投影图像的集合以及生成重构3D体积的操作。

21.如权利要求19所述的非暂时性计算机可读介质，其中从重构3D体积生成的投影2D图像是来自3D体积的电影渲染2D图像的近似。