CN114863076A - 交互式图像编辑 - Google Patents

Abstract

本发明涉及用于医学3D解剖学数据的图像编辑的渲染器（100）和交互式方法。该方法包括：接收（S1）具有体积图像数据的数据集，所述体积图像数据已经从图像采集模态（M）被采集，所接收的体积图像数据；以及提供（S2）所接收的数据集的有符号距离场数据结构。进一步地，在用户接口（140）上执行（S3）编辑操作，以用于编辑所提供的有符号距离场数据结构的至少一部分，和计算（S5）编辑操作的可视化，以及在显示器（130）上显示（S6）所计算的可视化。

Description

交互式图像编辑

技术领域

本发明涉及医学体积编辑，特别是涉及解剖学数据的交互式编辑，以及用于编辑操作的编辑和可视化的渲染技术。

背景技术

交互式体积渲染作为可视化的一个子领域，在过去十年中已经变得成熟。存在几种方法允许领域专家在标准图形硬件上以交互式帧速率可视化和探索体积数据集。

特别地，在医学领域，质量是至关重要的，因为诊断和/或治疗措施可以基于图像数据。

例如，血管疾病是世界范围内主要的死亡原因之一。这推动了广泛的医学成像技术的发展，致力于血管结构和内部流动血液的可视化，例如磁共振成像（MRI）和X射线计算机断层扫描（CT）。此外，例如，诱导血管造影图像为诸如诊断和手术计划之类的临床应用提供了宝贵的帮助信息。然而，由于血管的稀疏性、它们复杂的拓扑和几何特性、低信噪比以及流动血液信号固有的噪声和伪影的存在，这些图像分析起来很复杂。在这种具有挑战性的背景下，专用于图像交互（在体积中制作注释和标记）以及处理和分析的计算机辅助工具对于帮助临床医生的日常实践来说确实是强制性的。

通常，许多现有的体积编辑或分割系统直接修改二元体素图或标签图，从而导致在分割边界处的插值伪影。在许多情况下，绘制的区域仅用作自动分割算法的种子，并且实际绘制及其渲染的质量并不是首要考虑的问题。一些现有技术系统可能具有渲染图像体积的质量需要提高的限制。

现有系统可以从二元分割中导出平滑的掩模或反锯齿化的有符号距离场（以下简称：SDF），这可以减少渲染伪像。典型地，这样的算法不适合在交互式编辑或分割期间使用。

发明内容

因此，本发明的目的是改进现有技术的系统，特别是改进交互式编辑和可视化的质量。

该目的相应地通过根据所附独立权利要求的用于交互式编辑的方法、渲染器或渲染系统、计算机程序产品和计算机可读介质来解决。有利的方面、特征和实施例连同优点一起在从属权利要求和以下描述中被描述。

在下文中，关于要求保护的方法描述根据本发明的解决方案。本文的特征、优点或替代实施例也可以分配给其他要求保护的主题（例如，分配给渲染器或计算机程序产品），并且反之亦然。换句话说，针对渲染器的权利要求可以利用在该方法的上下文中描述或要求保护的特征来改进。在这种情况下，该方法的功能特征相应地由系统的结构单元体现，并且反之亦然。通常，在计算机科学中，至少从可计算性的角度来看，软件实现和相应的硬件实现是等效的。因此，例如，用于“显示”数据的方法步骤可以利用显示单元（监视器、屏幕）和相应的指令来执行。为了避免冗余，尽管渲染器也可以用在参照该方法描述的替代实施例中，但是这些实施例不再针对该设备进行明确描述。

通常，本文提到或要求保护的特征和实施例可以选择性地组合。

一方面，本发明涉及一种用于体积图像数据的交互式编辑的方法，包括以下方法步骤：

-接收具有体积图像数据的数据集，所述体积图像数据是从图像采集模态采集的；

-显示所接收的体积图像数据；

-提供所接收的数据集的有符号距离场数据结构，其中特别地，有符号距离场是体积图像数据（或解剖学体积数据）的辅助；它是到分割对象的距离的表示，或者解剖数据的特定结构；

-在用户接口上执行编辑操作，以用于编辑所提供的有符号距离场数据结构的至少一部分；

-计算编辑操作的可视化。

优选地，该方法可以进一步进行：

-在显示器上显示或渲染所计算的可视化。

与现有技术相比，差异化方面涉及：

-应用光线投射算法来进行预览和连续/层深度拾取；和/或应用路径跟踪算法来进行真实感最终渲染；

-实时构建（一个或多个）SDF，将分割算法和SDF/几何/数据辅助画笔进行组合。

本文描述的技术涉及具有SDF的高质量渲染，但是在交互式体积编辑的上下文中。接下来是算法的不同部分：

交互式编辑：

-实时构建SDF，将来自预分割算法的数据和SDF/几何/数据辅助的用户控制的画笔进行组合；

-融合来自不同来源的配准的SDF，例如来自互动编辑的高分辨率预分割、低分辨率和/或高分辨率、分层、自适应分辨率等。

渲染：

-支持交互式编辑/注释工作流的直接和/或间接的基于SDF的可视化技术，例如使用绘制来定义和预可视化被标记用于掩蔽的区域。

-支持交互式体积编辑工作流的交互式/轻量级相对于最终渲染的不同渲染算法（例如，在用于驱动画笔笔划的编辑期间，具有或不具有从交互式光线投射器锁定的深度图像）。

与几个现有系统相比，整个分割流水线，并且特别是本文描述的方法或系统，使用有符号距离场（SDF），这虑及亚体素精度、显著提高的渲染质量和许多利用传统体素掩模难以实现的特殊效果。主要重点是医学数据的交互式编辑和掩模创建。结果数据的渲染，即编辑操作的计算可视化是可选的。

SDF对到包含在接收的数据集中的特定对象的距离进行编码，例如，SDF是器官分割的距离变换。通常，可以使用一个或多个SDF。

系统也可以从空的SDF开始，其然后通过编辑操作来完整创建。

与分割对象的直接二元体素渲染相反，有符号距离场作为本地数据结构，使得即使对于低分辨率数据也能够重建平滑的边界，并且使得能够以高质量进行实时编辑和分割工作流。

优选地，该方法和系统支持作为预处理和实时注释工作流这两者的一部分的实时体积绘制、雕刻和擦除。

在优选实施例中，该方法和系统可以用于支持教育和临床工作流。

本文描述的解决方案的一个主要优点是将SDF用于交互式编辑操作，例如，这使得能够以亚体素分辨率独立于成像数据进行注释、高级剪切和体积编辑。此外，允许将分割数据与SDF操作相组合。此外，事实上，该方法不需要例如通过提供分割的图像数据来对体积图像数据进行预处理。

体积图像数据可以是从医学图像模态采集的医学图像数据，比如例如MRI、CT、PET、SPET、超声波和其他。体积图像数据可以表示人类或动物的解剖学结构。其他实施例涉及医学或解剖学体积中的非解剖学对象（植入物和/或人工结构），或者涉及工业应用的非医学用途，比如，例如芯片技术中的故障分析。

通过执行至少一个渲染算法来执行可视化的计算。典型地，存在接收的体积图像数据的第一可视化，其是编辑操作的基础。在执行编辑操作之后或在执行编辑操作期间，计算并显示第二可视化，利用各自的功能（标记、擦除等）对编辑操作进行编码。

交互式渲染可以使用任何体积渲染技术，但是高性能的体积渲染技术可以更适合保持交互性，诸如交互式体积光线投射。对于交互式体积光线投射的更多细节，参考KRÜGERJ., WESTERMANN R.的“Acceleration techniques for GPU-based volume rendering”（在Proc. of IEEE Visualization 2003中（2003年），第287-292页）。最终渲染可以使用相同或不同的体积渲染算法，该算法提供更逼真的渲染，例如蒙特卡罗体积路径追踪，参见例如，Kroes T, Post FH, Botha CP （2012年）的“Exposure Render: An InteractivePhoto-Realistic Volume Rendering Framework”（ PLoS ONE 7（7）：e38586）。

在其他实施例中，使用具有光线追踪阴影、深度阴影贴图、环境遮挡和/或其他全局照明效果的体积光线投射，例如单次或多次散射近似、反射、渗色。

提供有符号的距离场数据结构意味着基于体积图像数据生成第二数据结构，该第二数据结构经受编辑和渲染。术语“第二”要被解释为“继发于解剖图像（接收的体积图像数据）并且基于解剖图像”。换句话说，除了具有或表示体积数据的主数据结构之外，还生成了附加数据结构。

体积图像数据的编辑以及由此计算经编辑的体积图像数据的可视化可以以完全不受限制的方式完成。用户可以自由确定体积的要编辑的部分和/或自由确定编辑的类型。编辑可以是对部分体积或整个体积进行标记、描影、加纹理、着色和/或其他类型的编辑。编辑也可以是突出显示或与体积的其他类型的交互（例如，暂时突出显示而不保存）。此外，可以例如通过在执行编辑操作之前或在执行编辑操作期间激活键盘的快捷键组合和/或通过用户的鼠标输入来使用功能集合。因此，确定用于处理体积图像数据中的标记结构的特定函数。处理可以包括擦除编辑的子结构、改变和/或注释子结构。编辑在运行时执行。用户直接与SDF数据结构交互。在执行多个编辑操作的情况下，会生成并存储多个SDF。SDF在用户交互时更新。

此外，也可以在同一SDF上执行多个操作。例如，可以执行多个绘制操作（作为编辑操作）SDF，并且可以执行多个绘制操作来在一个SDF中绘制肋骨并且在另一个SDF中绘制头骨。这提供了更多的灵活性。不同的编辑结果可以分开存储。因此，已经执行编辑操作（编辑）的基本解剖结构被冗余地存储。

SDF是单独的3D图像，其被配准到接收的体积图像数据，该体积图像数据用作主要解剖图像（或主要体积）。所有操作仅在SDF上执行，但是在主要解剖图像的渲染期间，SDF被采样以实现各种效果，例如，基于SDF中编码的距离改变解剖结构的光学不透明度。

可以配置编辑操作（即，渲染）的可视化。例如，编辑可以被可视化为经编辑的体积中的3D纹理和/或以特定的预先配置的颜色着色。可以提供编辑操作的最终效果的不同表示（例如，擦除期间的半透明相对于最终呈现的全透明）。

在某些实施例中，计算的可视化可以是直接的和/或间接的或组合的。这可以取决于特定的工作流进行设置。

SDF的直接可视化将SDF中编码的距离值例如在渲染期间示出为颜色，或者例如在鼠标光标下示出为文本标签。例如，将距离值本身显示为文本是直接的可视化。SDF体积射线投射为等值面是直接可视化的另一个示例。也可以使用等值面或任何水平集渲染技术。使用彩色字形来可视化SDF，其中颜色编码距离也是直接可视化的一个示例。

使用距离值来为解剖结构着色将是间接渲染。间接可视化基于距离信息修改主要体积渲染，例如，通过在体积渲染期间改变解剖数据的光学颜色和/或不透明度来预览擦除操作。

区别在于没有修改渲染处理的其他部分，并且没有将颜色应用于主要解剖数据（体积图像数据）。

在优选实施例中，通过在执行编辑操作期间基于SDF的值对体积图像数据进行掩蔽来执行编辑操作，其中SDF的值特别地可以利用一些重建滤波器来采样。因此，掩蔽（masking）是可以使用来自SDF的距离数据来执行的操作的一个示例。

掩蔽或基于掩模的算法使用掩模来编辑体积的特定部分。可以通过使用线性或非线性滤波器来重建掩模，以用于实现预定义的平滑特性。在优选实施例中，可以使用B样条滤波。针对更多细节，参考Sigg，Christian，Hadwiger，Markus的“Fast third-ordertexture filtering”（GPU Gems 2，第313-329页，2005年）。优选地，当在渲染操作期间采样SDF时进行滤波。非线性滤波器的示例可以包括例如各向异性、视点相关、形态和/或随机滤波器。可替代地，或者累积地，可以通过使用分割算法来生成掩模。

在优选实施例中，从现有分割（例如，骨骼或器官掩模）初始化SDF，或者将其组合成现有SDF。这样，可以使用交互式编辑工具来细化分割掩模。

在另一优选实施例中，通过使用基于画笔的算法来执行编辑操作。在其他实施例中，可以使用其他算法来实现用户定义的编辑操作，即编辑操作基于用户交互。可替代地，编辑操作可以是自动的。然后，编辑操作由算法指令实现，并且不基于用户交互。

根据优选实施例，渲染系统或方法在经渲染的图像（计算的可视化）和3D患者空间之间建立映射（例如，通过透视相机的查看和投影矩阵）。因此，例如，通过使用在体积编辑期间产生的深度数据，屏幕上的画笔笔划然后被映射到3D患者空间中的画笔笔划。

在优选实施例中，解剖结构和SDF在患者空间中彼此配准，并且当在SDF上应用编辑操作时使用该配准。该配准尤其允许解剖结构和SDF具有不同的分辨率。例如，来自离线分割算法的高分辨率SDF，与较低分辨率SDF相组合以实现更快的交互式绘制/编辑；此外，来自扫描仪的各向异性数据（例如厚切片）与各向同性SDF相组合，以用于更一致地处理画笔操作。

基于画笔的算法可以通过使用交互工具（比如例如，鼠标）和修饰键来使用体积中的画笔笔划，其中修饰键具有确定的功能，例如用于标记体积结构和/或擦除体积结构。画笔笔划是一种用户交互信号，其可以被认为是体积中的绘制画笔。

基于画笔的算法使用体积中的画笔笔划作为输入，并响应于该体素数据进行计算，所述体素数据对应于SDF数据结构中的位置，用于标识SDF中的位置。

当接收到画笔输入时，算法利用距画笔定位的距离更新画笔定位附近的所有体素。该信息稍后在渲染期间用于确定画笔笔划的边缘。

当渲染体积时（利用或不利用SDF），还生成深度图像，当用于例如鼠标和2D屏幕时，该深度图像可以可选地用于在体积数据集的“可见表面”上进行绘制或编辑操作。尽管严格来说这不是必须的。其他实施例涉及使用虚拟现实（VR）耳机和3D控制器进行编辑或绘制，并且该信息可以用于创建3D笔划。在这种情况下，体积数据的深度是不相关的，因为画笔输入具有其自己的深度信息。

因此，当接收到在体积中的特定部分内的画笔笔划时，可以自动确定画笔笔划与哪个解剖学部分相关或者画笔笔划在哪个深度执行，以便能够将SDF结构中的编辑信号转换成对应的体积图像数据（显示的体积图像数据和SDF数据结构之间的定位相关性）。

在优选实施例中，两种类型的编辑操作是可执行的：

1.首先，可以执行器官特定的编辑操作。因此，可以自动确定（例如由画笔笔划执行的）编辑操作涉及哪个器官，例如肋骨或骨骼，或者器官（心脏、肝脏等）。然而，这需要对数据进行预处理，特别是借助于执行整体或部分身体分割算法。

2.第二，本文提出的解决方案还覆盖了其中在体积渲染（可视化的计算）期间体素分类修改SDF编辑操作（例如，仅擦除给定Hounsfield单位（HU）范围内的体素）的情况。这可以通过单独的分类功能来完成，而无需预先分割。

根据另一优选实施例，该方法可以递归地使用。递归编辑需要利用一些直接的可视化方法使SDF成为主要的三维体积，并且然后直接在其上使用编辑操作。

完全递归编辑的一个示例是对解剖数据使用SDF工具来创建第一SDF，然后切换到SDF的直接渲染（例如，使用等值面或其他水平集方法），定义次级SDF，并使用SDF工具来修改第一SDF本身。

然而，在本发明的优选实施例中，在提交到SDF（并且因此被认为是迭代应用）之前，使用次级绘制操作例如以撤消第一绘制操作，被实现为在主要解剖体积上的两个独立绘制操作之间的另一个逻辑操作。

根据另一优选实施例，该方法可以通过使用计算的可视化、将执行的编辑操作编码为用于在计算的可视化中执行进一步的编辑操作的体积图像数据来迭代使用，所述进一步的编辑操作被迭代显示为进一步计算的可视化。这具有技术效果，即通过执行用于例如擦除体积部分或标记体积部分的进一步编辑操作，可以将校正措施应用于计算的可视化。

迭代编辑操作的示例可以由以下序列给出：拍摄所接收的体积图像数据的图像，应用编辑/绘制/注释等，重新渲染图像，并且然后使用新的图像来定义进一步的编辑操作。一个具体的医学示例是首先执行颅骨剥离，然后在迭代步骤中，并且基于移除颅骨的渲染，绘制现在暴露的大脑或头部中血管的体素。

单独的或第二迭代编辑操作会将第一编辑步骤的结果“烘焙”到体积数据中。因此，编辑嵌入在体积数据中，特别是不可避免地嵌入其中。因此，优选地，编辑操作已经修改了原始解剖体素。然后，基于修改的数据的渲染，编辑将继续。这将编辑累积到解剖体积数据中，而前面的示例将编辑内容累积到SDF数据中。

根据另一优选实施例，对要在计算的可视化中共同表示的体积的不同部分执行多个对应的或不同的编辑操作。

例如，编辑操作可以指代利用第一可视化突出显示体积中的特定第一解剖学结构，并且利用第二可视化突出显示相同体积中的第二结构。因此，例如，断裂的肋骨可以被染成红色，而完整的肋骨可以被染成绿色。

根据另一优选实施例，计算编辑的体积图像数据的可视化使用分割算法或基于SDF的画笔或手动指示的编辑。

分割算法可以是全自动分割算法，特别是例如基于深度学习或基于模型的器官自动轮廓绘制。可替代地，分割算法可以至少部分地通过用户交互、特别地例如通过应用区域增长分割来执行。可替代地，可以应用基于SDF的画笔。画笔可以是静态形状（例如，球体、圆柱体等），其在SDF编辑操作期间被体素化，例如，更新由球体覆盖的SDF体素的距离值。可替代地，画笔本身可以被定义为静态或动态SDF，例如，画笔SDF基于一些解剖图像度量（诸如梯度大小）来适配。然后将画笔应用到SDF涉及到SDF逻辑操作。

根据另一优选实施例，通过在体积图像数据的有符号距离场数据结构中的三维空间中直接变换和嵌入用户定义的编辑操作，来执行计算编辑操作的可视化，并且从而执行计算编辑的体积图像数据的可视化。术语“直接嵌入”涉及如下事实，即渲染计算的可视化是与编辑并行或一起执行的。没有体积图像数据的第一次渲染和随后的（一个或多个）编辑操作的第二次单独渲染，替代地，这两个步骤被共同执行。

在另一优选实施例中，计算编辑的体积图像数据的可视化基于渲染算法，特别是光线投射算法。针对光线投射算法的细节，请参考KRÜGER J.，WESTERMANN R.的“Acceleration techniques for GPU-based volume rendering”（在Proc. of IEEEVisualization 2003（2003年），第287–292页中）。其他可能性包括具有光线追踪阴影的体积光线投射、深度阴影贴图和/或环境遮挡。

优选地，选择体积渲染照明技术的子集来用于交互式渲染期间的应用和使用，即具有较低渲染和刷新时间的技术。

可替代地或累积地，为了应用蒙特卡罗路径跟踪算法，可以应用其他渲染算法，例如，参见Daniel Jönsson et al等人的“A Survey of Volumetric IlluminationTechniques for Interactive Volume Rendering”（COMPUTER GRAPHICS forum，Volume 0（1981），Number 0，第1–25页）。

在又一优选实施例中，为了显示所接收的体积图像数据，使用第一渲染算法，并且为了利用执行的编辑操作来计算经编辑的体积图像数据的可视化，使用第二渲染算法，特别是用于从SDF体积计算平滑分割边界表示的水平集算法。

第一渲染算法和第二渲染算法可以是相同的。第二渲染算法可以是水平集算法，其离散化整个体积并定义函数phi，而不是演化曲线。通常，渲染中的水平集方法涉及例如用于可视化标量场的薄等值面和厚等值面。水平集算法的更多细节可以在如下文献中找到：A.E. Lefohn，J. M. Kniss，C. D. Hansen和R. T. Whitaker的“Interactivedeformation and visualization of level set surfaces using graphics hardware”（IEEE Visualization，2003.VIS 2003，Seattle，WA，USA，2003年，第75-82页，doi:10.1109/VISUAL.2003.1250357）。

SDF是分割对象的隐式表示，其中零水平集是分割对象的表面，并且对于每个3D位置，SDF可以被采样以计算到分割对象的距离。在渲染期间直接使用水平集。

使用重建滤波器对SDF进行采样可以恢复患者空间中任何定位到边界的平滑距离。根据本文描述的解决方案的实施例，这与解剖数据的采样和分类一起使用，以实现体积编辑、剪裁和/或注释。

在又一优选实施例中，计算编辑的体积图像数据的可视化使用体素分类器集合来分类不同的体积特性，包括不同的着色值、不同的不透明度值和/或不同的描影技术。

体积渲染中的分类（或相应地，分类器）将成像数据中的标量值（例如，针对CT数据以HU为单位）映射到光学特性（例如，颜色、不透明度、用于1D传递函数的吸收/消光系数），所述特性在渲染期间被集成。传递函数可以将数据梯度或局部形状描述符映射到光学特性。

在又一优选实施例中，编辑操作被编码并可视化为所显示的计算的可视化中的绘制掩模，特别是半透明绘制层，其中绘制掩模可以被单独配置。

在又一优选实施例中，为编辑操作提供撤消/重做功能。该特征的技术有利效果在于，可以节省计算能力并提高效率。这是因为，作为撤消/重做的一部分，SDF可以从存储的画笔笔划和SDF操作中重建。此外，该方法可以优选地通过动态计算检查点集合来优化，从而只需要重新应用操作的子集。

一般来说，与传统的基于体素的体积编辑相比，使用SDF的上述解决方案虑及以亚体素精度进行的编辑操作，所述编辑操作也与体积数据完全解耦。该方法比纯程序性体积编辑更有效，并且扩展到更多的操作。

外部分割、静态/几何画笔和静态/自适应基于SDF的画笔被组合在统一的基于SDF的体积编辑系统中。

在另一方面，本文呈现的解决方案涉及用于体积图像数据的交互式编辑的渲染器，其被配置为执行如上所述的用于交互式编辑的方法，包括：

-图像接口，被配置用于接收具有体积图像数据的数据集，所述体积图像数据是从图像采集模态采集的；

-到存储器的存储器接口，所述存储器存储所接收的数据集的有符号距离场数据结构；

-到显示器的显示接口，所述显示器用于显示接收的体积图像数据；

-用户接口，被配置用于执行编辑操作以用于编辑所显示的体积图像数据的至少一部分；

-处理单元，用于计算所执行的编辑操作的可视化。

处理单元可以进一步被配置用于指示第二显示器显示计算的可视化。显示器和第二显示器可以是相同的。

在另一优选实施例中，处理单元可以是图形处理单元或中央处理单元。处理单元被配置为执行至少一个算法，并且特别被配置为执行如上所述的用于交互式编辑的方法。处理单元提供控制信号，用于指示显示设备示出计算的可视化。

在另一优选实施例中，显示器和用户接口可以在同一模块或计算机中实现。例如，显示器可以作为图形用户接口提供，因此也用作用户接口。

根据本发明的优选实施例和用途，该方法可用于教育和/或临床工作流。

特别地，在多个用户在不同的计算位置工作的分布式场景中（例如，如果教师位于第一定位，而学生位于不同的第二定位，这可能是家庭授课场景或虚拟应用中的情况），这可能结果是非常有利的效果，即被配置用于有符号距离场上执行编辑操作的用户接口在第一计算实体上实现，而用于显示编辑操作的第二显示器在第二计算实体上实现。利用该部署，可以在第一计算实体上执行编辑操作，并且在第二计算实体上显示编辑操作的结果，教师可以使用该结果来评估和跟踪学生的编辑操作。对于该设置，教师可以指导学生在体积上执行特定的标记，然后学生需要应用所述标记。结果将显示在远处的教师的显示器上。

本文建议的方法可以应用于教学和临床场景这两者以及分布式编辑/渲染的其他场景中的协作注释。例如，具有运行预览渲染的平板电脑的讲师可以进行实时注释，以在讲座期间高质量地显示。

例如在教育中使用的分布式注释是重要的用例，并且本文提供的方法具有特定的技术优势：

（1）预分割数据以及实时注释的统一处置（例如在讲座期间）。

（2）来自不同来源的SDF的融合和统一处置，例如，来自低功耗平板设备的在现场讲座期间编辑的低分辨率SDF，与来自工作站上的出口的协作编辑/注释相组合（通过支持多个配准的SDF启用）。

（3）在编辑期间针对不同显示设备的多个渲染算法的融合，例如，在平板电脑上的光线投射，在工作站上的光线投射与全局照明相组合，在报告厅显示器上的路径跟踪。

根据另一方面，本文描述的解决方案涉及一种包括程序元件的计算机程序产品，当程序元件被加载到计算机的存储器中时，所述程序元件引致计算机执行如上所述的用于体积图像数据的交互式编辑的方法的步骤。

根据又一方面，本文描述的解决方案涉及一种其上存储有程序元件的计算机可读介质，所述程序元件可以由计算机读取和/或加载并执行，以便当程序元件由计算机执行时，执行如上所述的用于体积图像数据的交互式编辑的方法的步骤。

通过计算机程序产品和/或计算机可读介质实现本发明的优点在于，已经存在的工作站（例如，后处理服务器）或客户端可以容易地被软件更新采用，以便如本发明所提出的那样工作。

用于执行如上所述的交互式编辑方法，特别是用于执行上述相关算法的计算机可以是个人计算机或计算机网络中的工作站，并且可以包括处理单元、系统存储器以及将包括系统存储器的各种系统组件耦合到处理单元的系统总线。计算机可以在数据处理系统中实现或作为数据处理系统来实现。所述数据处理系统因此可以包括计算设备或其集群。该数据处理系统包括彼此进行数据通信的处理单元和存储部件。处理单元可以由CPU和/或GPU组成或包括CPU和/或GPU，并且包括被配置为执行本发明的方法的步骤的几个模块。

计算机程序可以存储在与其他硬件一起提供或作为其他硬件的一部分的合适介质（诸如光存储介质或固态介质）上，但是也可以以其他形式分布，诸如经由互联网或其他有线或无线电信系统分布。计算机程序可以是或可以包括用于在处理器或处理单元上执行的可执行程序。计算机程序可以以分布式方式提供，并且因此可以分布在诸如处理器之类的几个计算实体之间。例如，计算机程序可以分布（存储）在不同的计算实体上，比如客户端集合（在具有多个医学治疗设备和服务器的分布式医学系统中工作），使得计算机程序的一部分（例如，接收和显示所接收的体积图像数据的步骤）驻留在第一计算实体上，并且另一部分（例如，方法步骤的其余部分，尤其是提供、执行、计算和显示计算的可视化）驻留在第二实体上。计算机程序可以包括程序模块——程序模块可以包括例程、程序、对象、组件、数据结构等——以指示计算机通过数据处理、特别是抽象数据类型的数据处理，来执行（一个或多个）任务。

显示器可以作为监视器提供。显示器可以借助于显示接口有线或无线连接到渲染器。它可以是触摸显示器。显示器可以直接连接到处理器（例如，医学扫描仪、VR/AR耳机）。

本发明利用了一组算法。算法特别是用于处理输入信息以获得输出信息的指令的集合，例如序列。算法的指令可以在计算机中实现，并且由例如根据本发明的数据处理系统的处理器执行。特别地，算法的输入信息被编码在输入数据（这里是：具有体积图像数据的数据集）中，该输入数据可以被执行算法的处理器访问。特别地，处理器根据算法的指令处理输入数据以生成输出信息，该输出信息典型地被编码在输出数据（这里是：要在显示器上显示的计算的可视化）中。特别地，根据本发明，当算法包括指令时，该算法处理数据，所述指令当由处理器执行时使得所述处理器处理这些数据。

在本说明书中根据其来描述本发明方法的步骤的顺序不一定反映根据其来执行所述步骤的时间顺序。特别地，显示所接收的体积图像数据和计算有符号距离场数据结构的步骤可以并行执行或以另一顺序执行。此外，显示所接收的体积图像数据和显示编辑操作的步骤可以优选地在线和并行执行，这允许高度交互式的编辑。

应当理解，本发明的优选实施例也可以是从属权利要求或上述实施例与相应独立权利要求的任意组合。

参考下文描述的实施例，本发明的这些和其他方面将变得显而易见并得以阐明。

附图说明

图1是根据本发明优选实施例的用于交互式编辑的渲染器的示意性概览图；

图2是根据另一优选实施例的渲染器的另一示意性概览图；

图3是根据另一优选实施例的渲染器的又一示意性概览图；

图4是用于交互式编辑的方法的流程图，显示了本发明的不同实施例；

图5表示计算可视化的优选实施例；

图6表示执行编辑操作的优选实施例；

图7表示计算可视化的另一优选实施例；

图8表示用于显示所接收的体积图像数据的优选实施例；

图9表示用于计算可视化的又一优选实施例。

图10是三维图像数据集的示例图像，以及

图11是具有可视化的第一编辑操作的图10中所示的示例，以及

图12是具有第一编辑操作的效果、特别是通过显示计算的可视化的擦除操作的图10和图11中所示的示例，以及

图13是具有可视化的第二编辑操作、特别是针对体积图像数据中的两种不同类型的结构的两种不同的标记操作的图10至图12中示出的示例。

具体实施方式

本发明涉及交互式编辑，特别是涉及交互式体编辑和渲染。与几个现有系统相比，整个分割流水线使用有符号距离场（在下文中也缩写为SDF），这虑及亚体素精度。这显著提高了所执行的编辑操作的显示/渲染质量。

首先，体积图像数据中的注释是可能的。特别地，该系统提供了对发现的交互式标记、结构的突出显示、结构的切换、在分割表面处的平滑边界处置以及组合用户定义和算法（即自动）注释的选项。

第二，高级剪裁是可能的。特别地，该系统提供了复杂分析形状的使用，该复杂分析形状具有没有伪影（例如，阶梯伪影）的锐化剪裁表面。

第三，体积编辑是可能的。特别地，该系统通过执行编辑操作来提供对体积中的伪影或子结构的移除。此外，子结构的结构增强、隔离和颜色隔离是可能的。此外，从用户交互和算法生成的SDF可以被组合。

在图10至图13所示的示例中，该方法通过使用建议的基于SDF的体积编辑系统连同电影渲染器来显示。

下面解释的示例示出了多SDF工作流，包括例如在一些SDF中撤消绘制或编辑操作等。

通常，标记可以包括着色。然而，专利文献中不允许着色，因此使用阴影线。颜色“红色”可以在图中用左对角线或阴影线表示（从左下开始到右上），颜色“绿色”可以用右对角线阴影线表示。

图10示出体积图像数据，以示例的方式表示肩胛骨和导管。在该体积图像数据中，用户可以通过对所显示图像中的不同结构应用不同的标记来执行编辑操作。所述操作通常可以针对或应用于图像中所示的解剖学结构（例如，器官、骨骼等）或者也显示在图像中的人造结构（例如导管、植入物等）。

如图11所示，执行第一编辑操作，这里是用于执行随后的第二编辑操作的初步标记，第二编辑操作在这里是擦除操作，用于随后擦除或移除肩胛骨和导管。第一编辑操作（标记）的结果在图11中以交叉图案示出。

在计算的可视化中表示的第二编辑操作（擦除）的结果在图12中显示和示出。这里，可以看到，根据用户定义的编辑操作指令，肩胛骨和导管不再呈现在图像中，并且已经被移除。

如图13所示，第二类型的编辑操作，即标记或突出显示被应用于在图像中的两个不同结构之间进行视觉区分，特别是在完整的和断裂的肋骨之间进行视觉区分。因此，作为编辑操作的第一标记操作（这里是：着色为绿色，其在图中利用到右上的阴影线表示）被应用于两个完整的肋骨，在显示的体积图像数据中示出，位于肋骨结构的左侧，在图13中利用右对角线阴影线表示。此外，作为编辑操作的第二标记操作（这里是：着色为红色，在图13中利用左对角线阴影线表示）被应用于剩余的断裂肋骨，如显示的体积图像数据中所示，位于肋骨结构的右侧。图13示出了这两种不同标记或突出显示的计算的可视化结果。如可以看到的，两根肋骨完好无损。这两根肋骨显示有第一标记（例如，绿色）；其余八根肋骨显示有第二标记（例如，红色），这两者均以一个共同的单一表示示出。

该系统用于交互式编辑，这意味着在接收到编辑操作之后，这些编辑操作的计算的可视化被即时计算和渲染。因此，该系统是在交互式编辑期间具有高性能的在线系统。特别是不同的体积编辑操作，比如绘制，擦除，雕刻，复杂剪裁，被高质量地可视化。一般来说，尤其是随着比如在例如医学领域中的OLED面板之类的高端显示设备的采用，以及通过提供诸如医学数据的体积路径跟踪之类的照片真实感编辑技术——其中低质量的分割渲染可能无法满足不断增长的用户期望——高图像质量在整个行业中变得越来越重要。

特别地，SDF的每个体素对到分割表面的最近点的有符号距离进行编码，与二元掩模相反，二元掩模仅描述分割对象中对体素中心的包含。尤其是在渲染期间，使用SDF允许有要使用比利用二元表示的情况更少的体素来重建的平滑表面。可以预先计算二元掩模的距离变换，或者在预处理和/或交互式地应用一些其他平滑算法，但是附加的处理会降低编辑期间的性能（一般来说）。然后，重建滤波器可以恢复具有显著降低的体素分辨率的平滑分割表面，而算术运算允许有广泛的编辑可能性。

如本文建议的用于交互式编辑的渲染或方法以基于物理的体积渲染（例如，体路径跟踪渲染器）和交互式光线投射这两者为目标。此外，尽管所描述的分割工作流主要用于具有实时体积渲染的解剖学教育，但是该方法和/或系统的部分很好地推广到基于表面的模型、融合体+表面模型、非医学体积数据（例如，用于芯片技术中的故障分析的工业CT扫描）、和/或非实时系统，例如，用于产生预渲染的视频。

在优选实施例中，该方法和/或系统是基于GPU的，具有所提出技术的基于图形的实现。其他实施例可以采用GPU（图形处理单元）计算流水线（例如CUDA、OpenCL）或基于非GPU的渲染流水线（例如，Intel OSPRay）。

根据优选实施例，系统和/或渲染器包括以下组件：

-三维体积渲染引擎，除了解剖三维纹理之外，还支持辅助三维纹理；

-以三维纹理编码的多个SDF的实时生成、管理和更新；

-与SDF的运行时交互，包括SDF的基于用户的编辑操作（例如借助于应用SDF画笔笔划）和SDF的算法编辑操作（例如借助于分割算法）；

-体积渲染期间SDF的直接和间接可视化。

本文描述的方法、系统或渲染器中的基本体积编辑原语是SDF，其定义体积编辑掩模和编辑画笔这两者。画笔可以是掩模SDF上的纯数学运算，或者可以是在更复杂的情况下，将形状栅格化到单独的SDF中。一些示例包括：

各种3D或挤压的2D几何形状（例如，球体、立方体、圆柱体）

3D样条挤压（例如，具有球形帽的3D中心线的圆形挤压）

由曲线和动态SDF描述的复杂形状，适配于正在编辑的体积数据。例如，当编辑解剖体积的包含血管的部分时，血管检测算法可以用于自动选择圆柱体画笔、调整其大小和对其进行定向。

特别地，包括精确提取整个血管体积或血管中轴的血管检测和/或血管分割是一项关键任务，为基础数据处理带来了复杂的图像处理问题和障碍。在该上下文中，可以引用非穷尽的、基于模型的、区域增长的水平集和机器学习方法。对于血管过滤，一些方法依赖于血管的对比度和几何特性。因此，例如，通常可以假设，经由Hessian矩阵分析对局部曲率的观察可以虑及确定假定的血管结构的定位和定向。

因此，在优选实施例中，从血管管腔掩模执行中心线跟踪和血管直径估计，并且然后该信息可以用于定义画笔大小，例如，计算从编辑位置到血管中心线的距离，并使用该位置的血管直径来驱动画笔大小的启发法（heuristics）。可替代地，可以计算血管树的SDF来加速查询。通常，在另一优选实施例中，预分割结构被转换成SDF，并且该处理步骤和/或信息被用于适配画笔。

在一些实施例中，给定画笔的效果体积可以被约束到画笔SDF的特定等值（iso-value）；可替代地，到零水平集的距离可以修改画笔的特性（例如，画笔硬度的平滑衰减），或者可以定义全局掩模操作（例如，穿过整个体积的掩模打孔效果）。

基本的编辑工作流涉及创建一个由一个或多个画笔笔划组成的绘制掩模SDF，每个画笔笔划由一个或多个画笔输入定义。一旦画笔笔划应用到绘制掩模，就可以将其提交到永久掩模，或者可以将其丢弃。也可以在绘制掩模上执行反向操作，从而导致画笔笔划从绘制SDF中移除3D形状。这是通过使用绘制掩模中的现有值和画笔输入之间的布尔运算（Jones， Baerentzen和Sramek， 2006年）来实现的。例如，给定SDF值d1和d2，SDF减法的结果值定义为max （-d1，d2）。已经提交的SDF掩模也可以以类似的方式进行编辑，通过将SDF值从掩模复制到绘制SDF中，执行编辑操作并将结果提交到永久SDF掩模。

以下段落描述了（绘制）编辑操作的示例实现：

输入是两个纹理——提交的SDF和活动的绘制SDF；

最初，提交的SDF被复制到活动的绘制SDF；

在编辑期间：

基于绘制模式和笔划模式更新活动掩模；

通过比较活动的纹理和提交的纹理，未提交的绘制区域被不同地（例如，以不同的颜色）渲染；

当编辑完成时，活动的绘制SDF被直接复制到提交的SDF中；

可替代地，活动的绘制SDF最初为空，应用画笔，并且最后一步使用SDF操作提交新的绘制。

取决于系统架构，绘制编辑操作可以被实现为OpenGL计算着色器、CUDA内核或各种其他方法（例如，纯粹在CPU上运行），所述方法是针对体素数据的由画笔笔划覆盖的部分执行的。可以实现各种优化方法，包括SDF的分层数据结构、活动绘制SDF和/或提交的SDF的自适应分辨率以及SDF的渐进更新。

在优选实施例中，可以使用各种压缩模式，诸如距离数据量化或小波压缩。

在替代优选实现中，可以使用全自动分割算法（例如，器官分割）或部分自动算法（例如，从用户放置的种子点生长的区域或等值轮廓的泛洪填充）来创建掩模SDF。也可以使用来自自动算法的SDF和用户指导的绘制或编辑操作的组合。

作为基本工作流的变型，可以在绘制或编辑操作期间使用体积数据分类来限制绘制区域，以实现选择性的绘制效果。这可以用于精确地绘制或移除某些类型的结构，同时避开附近的其他结构（例如，绘制单独的肋骨）。

该系统的一个实施例使用体积点击测试来定义2D解剖数据中的笔划。系统在渲染过程期间生成一个或多个深度图像（参见专利申请号US20180227568A1），并且通过查询特定像素位置处的深度值来执行点击测试。

在某些场景中，该问题可以通过在渲染期间每次更新深度纹理时创建深度纹理的副本，并使用复制的纹理进行拾取来解决。这允许执行高效的拾取操作，而不会阻碍在单独线程上运行的渲染器。

替代实施例可以从体积数据生成一个或多个等值面，并基于网格拾取选择3D画笔笔划定位。

因为绘制掩模可以被配置用于不同的可视化效果，诸如彩色绘制和擦除，所以在使用橡皮擦进行可视化时，深度缓冲区被连续更新。这允许随着体积的上层被擦除而连续擦除。在实施例中，一旦笔划开始，深度缓冲区副本就不更新，这允许用户仅拾取和擦除在笔划开始之前可见的体积部分，并保护其余体积数据不被无意编辑。当擦除结构非常接近于其他结构以及重叠结构时，这是有用的。

使用绘制掩模的分层操作允许丢弃一组操作，并在提交到永久掩模之前比较掩模的前后版本。通过使用清除模式将活动的绘制SDF用作绘制清除操作，可以在提交到掩模之后撤消操作，这是手动操作，可能不会产生在操作之前的完全相同的掩模。

系统通过跟踪画笔笔划和从笔划子集重新生成SDF掩模来实现撤消操作。在某些实施例中，每次重新生成完整SDF的成本可能高昂得令人难以承受，并且通过在一定数量的笔划之后缓存SDF来加速该过程。当执行撤消操作时，加载最接近于（在移除某些笔划之后的）新的笔划列表的SDF掩模检查点，并且仅使用SDF操作重新应用缺失的笔划。

作为基本工作流的变型，可以针对特定用例使用布尔运算将表示体积数据集的各种分割结构的多个单独掩模组合成单个掩模，从而虑及在运行时期间利用多个掩模进行操作的减少的内存占用和性能影响，同时保持各个掩模的灵活性和简易性。

基于SDF的渲染

SDF虑及将许多视觉效果实现为体积渲染流水线的一部分，所述视觉效果可以实现为单个所选的选项，或者可以全部实现，并且它们的使用影响主要体积渲染算法的各种组件：

1.光线生成——例如，针对解剖结构的绘制纹理或绘制区域的不同或自适应采样率；交互期间的自适应采样率；基于SDF的擦除操作可能会影响空白空间跳过。

2.重建滤波器——各种类型的线性或非线性插值滤波器可用于实现SDF重建的各种平滑特性。例如，可以在绘制渲染期间应用用于距离重建的高阶B样条插值。

3.体积数据分类——对SDF的查询用于修改从解剖体素数据导出的光学特性，诸如指定不同的着色（绘制）、不同的不透明度（擦除和雕刻），或者可以将其他颜色模式内核应用于突出显示。可替代地，可以使用与用于渲染体积的分类不同的分类来渲染掩蔽的区域。

4.体积数据描影——基于SDF修改不同的材料和照明特性，包括材料光泽度、折射度和局部适配的光线方向。

因为根据本申请中呈现的解决方案的方法和系统中的掩模被编码为SDF，所以当使用高阶重建滤波器（例如，GPU加速的B样条插值）时，即使对于具有低体素分辨率和各向异性体素维度的体积，也可以以亚体素精度恢复精确的分割边界。在高分辨率解剖数据的情况下，在使用较低分辨率的SDF时，可以利用该特征来实现视觉上相似的结果。

在实施例中，使用布尔运算在运行时可视化多个永久掩模之间的差异，作为用户创建的绘制画笔笔划的指南。例如，生成包含自动身体分割SDF和当前掩模之间的减法的SDF。该SDF被可视化为半透明绘制层，其颜色与当前绘制颜色不同。

在实施例中，诸如擦除之类的某些SDF效果，可以作为预处理或预应用效果被应用于体积图像数据，并且所得到的体积被用于直接体积渲染。掩蔽和/或其他编辑操作被烘焙到体积数据中。特别地，可以将绘制/着色和/或掩蔽烘焙到体积数据中，但是对体积渲染质量和效率有显著影响（渲染可能更快）。因此，以降低的视觉保真度（在渲染期间，有符号距离信息不可用，例如，不能使用边界平滑）为代价来提高渲染性能（不再需要对辅助体积进行采样）。在一些应用中，上述效果可以在渲染期间基于单独的SDF来应用，甚至无需缓存预处理的体积编辑（指代体积光线投射循环内的阶段，并且在数据被传递到渲染算法之前不对其进行预分类）。

该系统支持由多个提交和临时SDF定义的可视化效果，其中每个SDF的效果可以单独切换，并且所有效果都在运行时合成。例如，加权阿尔法混合可以用于组合多个重叠的绘制层的颜色和不透明度。

图1示出了用于三维图像数据的交互式编辑的渲染器100。图像数据可以由医学模态采集，比如计算机断层扫描设备、磁共振成像设备、超声设备和/或其他设备。经由图像接口110接收具有体积图像数据的数据集，图像接口110被配置为接收体积图像数据。渲染器100进一步使用存储器120来用于存储已经针对接收的数据集创建的有符号距离场数据结构。存储器120可以直接嵌入渲染器100中（如图1所示），或者可以作为单独的单元提供并经由接口连接。渲染器100进一步连接到显示器130，以用于显示所接收的体积图像数据。用户接口140被配置用于执行编辑操作，以用于编辑所显示的体积图像数据的至少一部分。如以上图10和11的示例中所述，编辑操作可以涉及突出显示或标记体积图像数据的某些子结构，例如肋骨。特别地，第一功能可以被应用于对体积的第一部分（完整的肋骨）执行第一编辑操作（绿色标记），并且另一第二功能可以被应用于对体积的第二部分（断裂的肋骨）执行第二编辑操作（红色标记）。通常，可以提供用于执行编辑操作的不同功能f。例如，可以提供用于注释数据的功能，可以将另一功能应用于利用第一标记来标记数据，可以将另一功能应用于利用第二标记来标记数据等，此外，可以提供用于剪裁数据等的功能。

渲染器100进一步包括处理单元150，其被配置用于执行用于计算编辑操作的可视化的算法。该算法可以进一步指示第二显示器显示计算的可视化，即具有嵌入有体积图像数据的编辑操作（例如，如图11所示，具有阴影线和虚线标记）。在该示例中，显示器130和用户接口140是不同的实体，这带来了灵活性的优点。

如图2所示，显示器130可以被转移到另一计算实体，并且因此可以被外部化，而用户接口140保持在该计算实体内，该计算实体还容纳处理单元150和用于存储有符号距离场数据结构的存储器120。关于应用编辑操作的功能可以在用户接口140上提供。

该设置对于教育系统可以是有益的，在教育系统中，教师与学生位于不同的计算实体。例如，教师可以使用显示器130驻留在其处的计算系统，并且学生可以使用用户接口140可以驻留在其处的计算系统。另一用例涉及讲堂设置，该设置具有高质量渲染器（用作图像生成器）和大型显示器，该显示器与运行实时绘制/注释用户接口和预览质量渲染的平板电脑耦合。

还有分布式注释场景，其中多个设备对照共享渲染器运行注释用户接口。计算的可视化是交互式编辑和/或渲染算法的输出。该输出可以在显示器130或用户接口140上提供。在另一实施例中，可以在显示器130和用户接口140这两者上提供输出。为了实现教育系统，可以在教师和学生之间提供附加的通信信道，以用于传输用于编辑三维体积的指令。该系统也可以被部署为客户端服务器系统。

参照图3描述了另一设置。在该情况下，显示器130和用户接口140部署在同一单元中。因此，显示器130被配置为用于输入和输出数据的图形用户接口。

图4是交互式编辑方法的流程图。在开始该方法之后，在步骤S1中，接收具有体积图像数据的数据集。在步骤S2，显示接收的体积图像数据，特别是显示器130。在步骤S3，基于所接收的数据集，计算并提供有符号距离场数据结构。在步骤S4，可以在用户接口140上执行编辑操作，用于编辑体积图像数据的至少一部分。然后，这些编辑操作被转换成所提供的有符号距离场数据结构中的操作。在步骤S5中，计算已经执行的编辑操作的可视化。如图4中利用虚线指示的，步骤S4和S5可以反复迭代。在步骤S6，计算的可视化作为结果显示在显示器130上。

显示S2和提供S3的步骤可以按顺序改变，如图4中利用虚线所描绘的。因此，首先可以提供/计算有符号距离场数据结构，并且随后可以在步骤S2显示接收的体积图像数据。在优选实施例中，并行执行步骤S4中执行编辑操作的步骤、计算S5和步骤S6中结果的显示，以便提供实时交互式编辑系统。

如图4所描绘的，该方法可以通过将输出结果与计算的可视化一起使用、将执行的编辑操作再次编码为输入以用于在计算的可视化中执行进一步或第二编辑操作来迭代使用。在此之后，如此生成的第二结果可以显示为进一步的计算的可视化。该特征具有技术效果，即可以对编辑操作的计算可视化应用修改和校正。这有助于提高显示图像数据的质量。

在步骤S6之后，该方法可以结束。

图5示出了在步骤S5中计算编辑操作的可视化的步骤的实施例。优选地，分割算法S51可以用于此。

图6示出了与如何在步骤S4中执行编辑操作相关的实施例。优选地，可以使用基于画笔的算法S41。与实现编辑操作的其他功能f相对应，可以配置不同的功能，例如注释、剪裁、标记，如上面已经提及的。例如，可以使用薄的或厚的画笔和/或不同颜色的画笔。

图7示出了在步骤S5中计算编辑操作的可视化的步骤的优选实施例。优选地，可以应用渲染算法，特别是光线投射算法S52。

图8示出了在步骤S2中显示接收的体积图像数据的步骤的优选实施例。优选地，第一渲染算法S21可以被应用并且用于显示所接收的体积图像数据。

可以在步骤S53中使用第二渲染算法，其用于对编辑操作进行可视化，如图9中所描绘的。

权利要求中的任何附图标记不应被解释为限制范围。

在尚未明确描述的地方，与附图相关地描述的各个实施例或它们的各个方面和特征可以彼此组合或交换，而不限制或扩大所描述的发明的范围，只要这样的组合或交换是有意义的并且在本发明的意义上。关于本发明的特定实施例或关于特定附图描述的优点在任何适用的情况下也是本发明的其他实施例的优点。

Claims (15)

1.用于体积图像数据的交互式编辑的计算机实现的方法，包括以下方法步骤：

- 接收（S1）具有体积图像数据的数据集，所述体积图像数据已经从图像采集模态（M）被采集，所接收的体积图像数据；

- 提供（S2）所接收的数据集的有符号距离场数据结构；

- 在用户接口（140）上执行（S3）编辑操作，以用于编辑所提供的有符号距离场数据结构的至少一部分；

- 计算（S5）编辑操作的可视化，以及

- 在显示器（130）上显示（S6）所计算的可视化。

2.根据权利要求1所述的方法，其中通过在执行编辑操作期间基于有符号距离场数据结构的值对体积图像数据进行掩蔽来执行编辑操作，所述有符号距离场数据结构特别地可以利用一些重建滤波器来采样。

3.根据权利要求1或2所述的方法，其中通过使用基于画笔的算法（S41）来执行编辑操作。

4.根据前述权利要求中任一项所述的方法，其中所述方法可以通过使用所计算的可视化、将所执行的编辑操作编码为用于在所计算的可视化中执行进一步的编辑操作的体积图像数据来迭代地使用，所述进一步的编辑操作被迭代地显示为进一步的所计算的可视化。

5.根据前述权利要求中任一项所述的方法，其中，对于要在所计算的可视化中共同表示的体积的不同部分执行多个对应的或不同的编辑操作。

6.根据前述权利要求中任一项所述的方法，其中计算（S5）所编辑的体积图像数据的可视化使用分割算法或基于SDF的画笔或手动指示的编辑。

7.根据前述权利要求中任一项所述的方法，其中计算（S5）所编辑的体积图像数据的可视化是通过在所述体积图像数据的有符号距离场数据结构中的三维空间中直接变换和嵌入用户定义的编辑操作来执行的。

8.根据前述权利要求中任一项所述的方法，其中计算（S5）所编辑的体积图像数据的可视化基于渲染算法（S52）、特别是光线投射算法。

9.根据前述权利要求中任一项所述的方法，其中，为了显示（S2）所接收的体积图像数据，使用第一渲染算法（S21）和/或为了计算编辑操作的可视化，使用第二渲染算法（S53）、特别是用于根据有符号距离场体积计算平滑分割边界表示的水平集算法。

10.根据前述权利要求中任一项的方法，其中计算（S5）编辑操作的可视化使用体素分类器集合来分类不同的体积特性，所述体积特性包括不同的着色值、不同的不透明度值和/或不同的描影技术。

11.根据前述权利要求中任一项所述的方法，其中所述编辑操作被编码并可视化为所显示的计算的可视化中的绘制掩模、特别是半透明绘制层，其中所述绘制掩模可以被单独配置。

12.根据前述权利要求中任一项所述的方法，其中为编辑操作提供撤消/重做功能。

13.用于体积图像数据的交互式编辑的渲染器（100），包括：

- 图像接口（110），被配置用于接收具有体积图像数据的数据集，所述体积图像数据已经从图像采集模态（M）被采集；

- 到存储器（120）的存储器接口，存储所接收的数据集的有符号距离场数据结构；

- 到显示器（130）的显示接口，用于显示所接收的体积图像数据；

- 用户接口（140），被配置用于执行编辑操作，以用于编辑所显示的体积图像数据的至少一部分；

- 处理单元（150），用于计算编辑操作的可视化，以用于指示显示器（130）显示所计算的可视化。

14.一种包括程序元件的计算机程序产品，当程序元件被加载到计算机的存储器中时，所述程序元件引致计算机执行根据前述方法权利要求之一的用于体积图像数据的交互式编辑的方法的步骤。

15.一种其上存储有程序元件的计算机可读介质，所述程序元件可以由计算机读取和执行，以便当程序元件由计算机执行时，执行根据前述方法权利要求中任一项的用于体积图像数据的交互式编辑的方法的步骤。

Images