CN102378990B - 用于交互式实时网格分割的系统和方法 - Google Patents

Abstract

一种用于分割解剖结构的系统和方法。该系统和方法启动分割算法，从一系列体积图像产生所述解剖结构的表面网格，所述表面网格由包括顶点和边缘的多个多边形形成；向所述表面网格的每个边缘分配弹簧，向所述表面网格的每个顶点分配质点；显示包括所述表面网格2D视图和所述解剖结构的2D重组视图；向所述表面网格添加牵引弹簧，所述牵引弹簧是基于所述表面网格表面上的选定点添加的；以及经由交互点移动所述表面网格的一部分。

Description

用于交互式实时网格分割的系统和方法

背景技术

分割是从图像提取解剖学构造的过程。医学中的许多应用需要在通过CT、MRI和其他形式的医学成像采集的体积图像中分割标准解剖结构。临床医师或其他专业人员常使用分割进行治疗规划。可以人工地执行分割，其中，临床医师检查各个图像切片并在每个切片中人工绘制相关器官的二维轮廓线。然后组合手绘的轮廓线以生成相关器官的三维表示。或者，临床医师可以使用自动分割算法，其检查图像切片并确定相关器官的二维轮廓线而无需牵涉到临床医师。

然而，使用图像切片的手绘轮廓线的分割耗时并且通常仅精确到大约二到三个毫米。当绘制手绘轮廓线时，临床医师常常需要检查大量的图像。此外，手绘轮廓线在不同临床医师之间可能不同。另外，自动算法常常不足够可靠，以致无法解决所有标准的分割任务。对自动算法获得的结果进行修改可能是困难的并且违反直觉。

许多自动分割算法的结果是被表示为若干三角形构成的网格的三维表面。为了对结果进行修改，因此需要直观的网格交互工具。一些进行网格交互的方法，例如，顶点的明确位移，常常导致网格具有参差不齐的表面或特定区域中有大的三角形/多边形。此外，由于优选在图像的二维重组(reformatted)的切片视图中进行修改，所以在远离重组平面处常常发生图像中不希望出现的变化。

发明内容

一种用于分割解剖结构的方法。该方法包括启动分割算法，其从一系列体积图像产生所述解剖结构的表面网格，所述表面网格由包括顶点和边缘的多个多边形形成；在所述表面网格内直接形成体积网格，所述体积网格包括与所述表面网格的所述顶点和边缘对应的顶点和边缘；向所述表面网格的每个边缘分配弹簧，向所述表面网格的每个顶点分配质点；显示包括所述表面网格2D视图和所述解剖结构的2D重组视图；选择所述表面网格的表面上的点作为选定点；向所述表面网格添加牵引弹簧，所述牵引弹簧的两端被分别附接在所述表面网格的顶点与所述体积网格的对应顶点；以及通过经由被附接到所述表面网格的顶点的所述牵引弹簧将所述选定点移动到预期位置而移动所述表面网格的一部分，其中，所述表面网格的所述顶点移动的距离是基于所述表面网格的所述顶点到所述选定点的距离确定的。

一种用于分割解剖结构的系统，其具有处理器，所述处理器启动分割算法，从一系列体积图像产生所述解剖结构的表面网格，所述表面网格由包括顶点和边缘的多个多边形形成；在所述表面网格内直接形成体积网格，所述体积网格包括与所述表面网格的所述顶点和边缘对应的顶点和边缘；并且向所述表面网格的每个边缘分配弹簧，向所述表面网格的每个顶点分配质点；显示器，显示包括所述表面网格2D视图和所述解剖结构的2D重组视图；以及用户接口，适于选择所述表面网格的表面上的交互点或特征点并允许用户向所述表面网格添加牵引弹簧，所述牵引弹簧被附接在所述表面网格的顶点与所述体积网格的对应顶点之间，其中，所述处理器还被配置成通过经由被附接到所述表面网格的顶点的所述牵引弹簧将交互点移动到预期位置而移动表面网格的一部分，其中，所述顶点移动的距离是基于所述顶点到选定点的距离确定的。

一种用于分割解剖结构的系统，包括：用于启动分割算法，从一系列体积图像产生所述解剖结构的表面网格的模块，所述表面网格由包括顶点和边缘的多个多边形形成；用于在所述表面网格内直接形成体积网格的模块，所述体积网格包括与所述表面网格的所述顶点和边缘对应的顶点和边缘；用于向所述表面网格的每个所述边缘分配弹簧以及向所述表面网格的每个所述顶点分配质点的模块；用于显示2D重组视图的模块，所述2D重组视图包括所述表面网格和所述解剖结构的2D视图；用于选择所述表面网格的表面上的点作为选定点的模块；用于向所述表面网格添加牵引弹簧的模块，所述牵引弹簧的两端被分别附接在所述表面网格的顶点与所述体积网格的对应顶点；以及用于通过经由被附接到所述表面网格的顶点的所述牵引弹簧将所述选定点移动到预期位置而移动所述表面网格的一部分的模块，其中，所述表面网格的所述顶点移动的距离是基于所述表面网格的所述顶点到所述选定点的距离确定的。

一种包括可由处理器执行的一组指令的计算机可读存储介质。该组指令可用于启动分割算法，从一系列体积图像产生所述解剖结构的表面网格，所述表面网格由包括顶点和边缘的多个多边形形成；向所述表面网格的每个边缘分配弹簧，向所述表面网格的每个顶点分配质点；显示包括所述表面网格2D视图和所述解剖结构的2D重组视图；向所述表面网格添加牵引弹簧，所述牵引弹簧是基于所述表面网格表面上的选定点添加的；以及经由交互点移动所述表面网格的一部分。

附图说明

图1示出了根据示范性实施例的系统的示意图。

图2示出了根据示范性实施例的方法的流程图。

图3示出了根据备选实施例的方法的流程图。

图4示出了根据另一实施例的方法的流程图。

图5示出了根据示范性实施例的表面网格一部分的透视图。

具体实施方式

可以参考以下描述和附图进一步理解本文阐述的示范性实施例，其中，用相同附图标记指代类似元件。示范性实施例涉及用于在通过CT、MRI等采集的体积图像中分割标准解剖结构的系统和方法。具体而言，该示范性实施例描述了一种以直观方式对二维(2D)重组视图中的大致分割进行修改的方法。本领域技术人员将理解，尽管示范性实施例描述了器官的分割，但可以使用以下系统和方法从体积图像分割任何三维(3D)解剖结构。

根据图1的一个示范性实施例，系统100能够对器官或其他解剖结构的初始分割进行修改。系统100包括处理器102，其能够在一系列体积图像(例如，通过MRI、CT采集的)处理分割算法，以完成初始分割。分割算法自动(不牵涉用户)或半自动地工作，以完成初始分割。在自动工作时，分割算法分析图像切片并在图像切片中确定相关器官的二维轮廓线而无需涉及到用户，以完成初始分割。在半自动工作期间，用户可以选择轮廓线或图像细节，然后算法可以基于这种选择完成初始分割。初始分割是由表面网格表示的。处理器102还能够解释经由系统100的用户接口104的用户输入。系统100还包括用于显示表面网格表示的显示器106以及用于存储分割算法、体积图像和初始表面网格表示中的至少一个的存储器108。存储器108是任何已知类型的计算机可读存储介质。本领域技术人员将理解，系统100是个人计算机、服务器或任何其他处理装置。

如图2所示，方法200包括在步骤210中启动分割算法，以在一系列体积图像中完成对被成像器官或其他解剖结构的初始分割。初始分割是由表面网格表示的，表面网格由顶点和边缘形成的三角形多边形构成。例如，图5示出了包括顶点和边缘的表面网格一部分的范例。本领域技术人员将理解，表面网格充当可以经由用户接口104进行交互式修改的模型或平均器官。在步骤220中，处理器102还生成体积网格，其包含在表面网格之内，使得体积网格的顶点和边缘在通过分割算法形成的表面网格的顶点和边缘之内。体积网格包括与表面网格的每个顶点和边缘对应的顶点和边缘。

在步骤230中，处理器102为表面网格的顶点和边缘分别分配质点和弹簧。表面网格的每个边缘对应于弹簧，而表面网格的每个顶点对应于质点。每个弹簧的静息长度可以基本等于表面网格对应边缘的长度。在简化版本中，每个质点具有单位质量，并且每个弹簧具有相同的弹簧常数。然而，本领域技术人员将理解，根据关于表面网格表示的器官或其他解剖结构的先验知识，质量和弹簧常数可能变化。例如，器官或结构的一些部分可能比其他部分更硬或刚性更大。此外，通过基于图像梯度对顶点的质点加权可以添加像力(image force)，其表示对象边界，从而将高质点分配给图像梯度高的顶点，防止不必要的移动，其中顶点对应于被成像器官的表面。在步骤240中，在显示器106上显示2D重组视图。2D重组视图包括表面网格的2D视图，连同被成像器官。本领域技术人员将理解，2D重组视图是来自已经被重组的一系列体积图像的图像，以显示表面网格和被成像器官的2D图像。本领域技术人员还将理解，在对应于所显示图像中被成像器官位置的位置显示表面网格。

一旦为表面网格适当分配了质点和弹簧，就向表面网格添加牵引弹簧以交互地修改表面网格。在步骤250中，选择表面网格的表面上的点。用户通过用户接口104选择表面网格的表面上的点。例如，用户接口104包括鼠标，其可以用于指向和点击表面网格上的点。或者，用户接口104可以包括触摸接口，从而可以通过触摸显示器106上表面网格表面上的点来选择该点。用户随机地或根据用户希望校正或修改的表面部分来选择点。选定的点将是交互点。

在备选实施例中，选定的点可以是表面网格表面上的特征点，可以由处理器102或由用户经由用户接口104识别该点。本领域技术人员将理解，识别特征点能够向表面网格添加像力。例如，处理器102可以识别示出了点(例如，角部特征)或轮廓线(例如，梯度特征)的典型特性的特征点，使得将鼠标指针放在特征点附近将导致指针“猛吸”到特征点，由此选择特征点。本领域技术人员将理解，用户可以选择表面网格表面上超过一个的点。本领域技术人员还将理解，还可以设置选定点(例如，根据特征点)，使得用户能够改变它们。

在步骤260中，处理器从用户选择的点开始，在表面网格上执行快速行进(fast marching)方法。本领域技术人员将理解，快速行进方法是一种边界值公式化的方法。快速行进方法向表面网格上的每个顶点分配时间戳，针对每个顶点的时间戳是由顶点与选定点的距离确定的。于是，为离选定点较远的顶点分配较高的时间戳，而为离选定点较近的顶点分配较低的时间戳。快速行进方法也可以将表面网格的表面多边形(例如三角形)的局部取向考虑在内。例如，表面法线的差异可能导致更高的时间代价。一旦已经执行了快速行进方法，就在步骤270中基于时间阈值选择一片(patch)表面网格。例如，选定的片包括在一定量时间之内到达的所有多边形。本领域技术人员将理解，可以由用户在使用前确定时间阈值。于是，处理器102可以根据预定阈值自动选择(网格)片。然而，本领域技术人员还将理解，可以由用户基于用户在使用期间确定的阈值选择所述片。

在步骤280中，将牵引弹簧附接到所述片中的每个顶点。将牵引弹簧附接到每个顶点，使得牵引弹簧的第一端附接到表面网格的顶点，而牵引弹簧的第二端附接到体积网格的对应顶点。每个牵引弹簧的静息长度为零。根据对应顶点的对应时间戳对每个牵引弹簧的弹簧常数进行加权。例如，对于较近的牵引弹簧，可以对牵引弹簧进行低加权(down-weighted)。或者，可以为时间戳较高的顶点赋予较高质量，或可以将其固定，使得顶点不移动。本领域技术人员将理解，更高的质量或固定顶点，使得离选定交互点远的顶点不能移动，防止了对表面网格进行不直观的改变。本领域技术人员还将理解，步骤270不是必要的。在未选择所述片的情况下，简单地从选定点将牵引弹簧附接到距表面网格上与选定点最近的顶点最近的顶点。

在步骤290中，用户经由交互点交互地移动表面网格的表面。交互点可以是在步骤250中选择的点。交互点也可以是显示点(例如角部特征)或轮廓线(例如梯度特征)典型特性的特征点。将交互点移动到预期位置。预期的位置可以是2D重组视图中被成像器官的表面上的对应点。本领域技术人员将理解，在交互点接近特征点时，可以移除特征点以允许移动交互点。在交互期间，数值解算器针对表面网格的每个顶点连续地求解Netwonian方程，使得移动选定点经由附接到每个顶点的牵引弹簧移动表面网格的表面。由于可以基于时间戳为每个牵引弹簧分配不同的弹簧常数，所以本领域技术人员将理解，每个顶点可以移动不同的距离，从而使表面网格的表面以直观方式移动。利用Newtonian方程F＝ma计算将要把每个顶点移动的距离，其中a＝d(dx/dt)，F是作用在顶点上的力，m是顶点的质量，x是顶点的位置。于是，本领域技术人员将理解，每个顶点移动的距离是基于距选定点(即，交互点)的距离确定的。处理器102使用任何标准的解算器，例如，Euler Runge-Kutta，将其预加载到系统100的存储器108中，或以其他方式使用。本领域技术人员将理解，可以重复步骤250-290，直到按需要修改了表面网格为止。

在备选实施例中，基于表面网格的形式选择步骤290的交互点。例如，在表面网格参差不齐时，选择表面网格的参差不齐的角部并确定和减去角部末端的距离图以减少不平坦边缘。在另一实施例中，步骤290的交互点是用户通过用户接口104移动的可操纵球或点。可操纵球可以是二维的或三维的，生成吸引/排斥场，使得落在可操纵球的球面内的任何顶点都被吸引或排斥，以与可操纵球的运动一致地移动顶点。例如，利用如下公式确定吸引力/排斥力：

其中x为可操纵球的位置，r_max是可操纵球的半径，ε＝±1并且r＝x-c，其中c是可操纵球的中心。

图3示出了方法300，其基本类似于上述方法200。方法300在用户选择交互点方面是不同的。步骤310-340基本类似于方法200的步骤210-240。方法300包括在步骤310中启动分割算法，如在方法200的步骤210中类似描述的，其完成初始分割。这种初始分割生成了由顶点和边缘构成的表面网格。在步骤320中，在初始分割的表面网格内形成体积网格。在步骤330中，处理器102为表面网格的每个顶点分配质点并为每个边缘分配弹簧。在步骤340中，显示器106连同被成像器官的2D视图一起显示表面网格2D视图的2D重组视图，使得用户可以确定要对表面网格进行的修改。

在步骤350中，用户绘制被成像器官的2D轮廓线。可以利用例如Livewire的绘图工具绘制2D轮廓线，其允许用户基于在被成像器官表面上选择的点绘制轮廓线。用户使用Livewire绘制每个点之间的连接线以在被成像器官的表面中绘图。本领域技术人员将理解，选择被成像器官表面上越大数量的点，被成像器官的2D轮廓线将越精确。于是，本领域技术人员将理解，用户可以根据需要选择被成像器官表面上任意数量的点。

然后在步骤355中，将2D轮廓线的点连接到表面网格表面上的点。对于2D轮廓线上的每个点，用户在表面网格的表面上选择2D轮廓线应当连接到的点。在步骤360中，对于表面网格表面上每个选择的点，处理器102执行快速行进方法，类似于步骤260，向表面网格的每个顶点分配时间戳。步骤360-390基本类似于上文结合方法200所述的步骤260-290。于是，在步骤370中，基于时间阈值选择所述片，在步骤380中，将牵引弹簧附接到所选片中每个顶点。本领域技术人员将理解，步骤370不是必需的。在未选择所述片的情况下，在步骤380中，可以从2D轮廓线的点到表面网格上最接近2D轮廓线的点的顶点添加牵引弹簧。在步骤390中，处理器102针对其上附接了牵引弹簧的每个顶点计算Newtonian方程，以确定当将表面网格表面上选定点连接到2D轮廓线上的点时将要把顶点移动的距离。本领域技术人员将理解，可以针对用户在表面网格表面上选择的要连接到2D轮廓线上的点的每个点，重复步骤360-390。

在另一实施例中，如图4所示，方法400包括，在步骤410中，在显示器106上显示被成像器官或其他解剖结构的2D重组视图。在步骤420中，用户绘制被成像器官的2D轮廓线。例如，利用例如Livewire的绘图工具绘制2D轮廓线，Livewire允许用户基于在被成像器官表面上选择的点绘制轮廓线。用户使用Livewire绘制每个点之间的连接线以在被成像器官的表面中绘图。本领域技术人员将理解，在被成像器官表面上选择越大数量的点，被成像器官的2D轮廓线将越精确。于是，本领域技术人员将理解，用户可以随心所欲地选择被成像器官表面上任意数量的点。

或者，将Deriche滤波器用于3D边缘和特征检测，从而由处理器102勾勒出图像中的结构并确定2D轮廓线。Deriche滤波器识别特征值，然后在特征搜索期间对其进行内插，使得结构的轮廓可见。

在步骤430中，处理器102通过例如降低2D轮廓线的分辨率使边缘模糊来对绘制的2D轮廓线进行欠采样。本领域技术人员将理解，对2D轮廓线进行欠采样减少了2D轮廓线的任何清晰边缘，同时增大了绘制的2D轮廓线粗细。处理器102然后在步骤440中生成欠采样的2D轮廓线粗细度的距离图，测量欠采样2D轮廓线的外边缘和内边缘之间的距离。在步骤450中，使用距离图，例如利用高斯(Gaussian)分布对欠采样的2D轮廓线进行归一化，从而在步骤460中在归一化梯度的方向上牵引距离图之内的2D轮廓线的点。移动距离图之内的点生成2D轮廓线更接近被成像结构表面的光滑表面。本领域技术人员将理解，可以根据需要重复步骤420-460，直到2D轮廓线充分接近被成像器官的表面。

要指出的是，可以将示范性实施例或示范性实施例的部分实现为计算机可读存储介质上存储的一组指令，该组指令可以由处理器执行。

对于本领域技术人员而言，可以在本文所述的结构和方法中进行各种修改和变化。于是，本公开意在覆盖落在所附权利要求及其等价要件范围之内的任何修改和变化。

还要注意，根据PCT细则6.2(b)，权利要求可以包括参考符号/数字。然而，不应将本权利要求示为限于与参考符号/数字对应的示范性实施例。

Claims (12)

1.一种用于分割解剖结构的方法，包括：

启动(210、310)分割算法，从一系列体积图像产生所述解剖结构的表面网格，所述表面网格由包括顶点和边缘的多个多边形形成；

在所述表面网格内直接形成(220、320)体积网格，所述体积网格包括与所述表面网格的所述顶点和边缘对应的顶点和边缘；

向所述表面网格的每个所述边缘分配(230、330)弹簧，并向所述表面网格的每个所述顶点分配质点；

显示(240、340)2D重组视图，所述2D重组视图包括所述表面网格和所述解剖结构的2D视图；

选择(250、355)所述表面网格的表面上的点作为选定点；

向所述表面网格添加(280、380)牵引弹簧，所述牵引弹簧的两端被分别附接在所述表面网格的顶点与所述体积网格的对应顶点；以及

通过经由被附接到所述表面网格的顶点的所述牵引弹簧将所述选定点移动到预期位置而移动(290、390)所述表面网格的一部分，其中，所述表面网格的所述顶点移动的距离是基于所述表面网格的所述顶点到所述选定点的距离确定的。

2.根据权利要求1所述的方法，还包括：

从所述选定点执行(260、360)快速行进方法，所述快速行进向所述表面网格的每个所述顶点分配时间戳，所述时间戳基于与所述选定点的距离。

3.根据权利要求2所述的方法，还包括：

一旦已经执行了所述快速行进方法，基于时间戳值的阈值选择(270、370)一片的多边形。

4.根据权利要求2所述的方法，其中，牵引弹簧被添加到所述片的多边形的每个所述顶点，并且所述牵引弹簧的第一端附接到所述表面网格的所述顶点，第二端附接到所述体积网格的对应顶点。

5.根据权利要求4所述的方法，其中，所述牵引弹簧的弹簧常数基于对应的时间戳值而被加权。

6.根据权利要求2所述的方法，其中，每个所述顶点的所述质点基于对应的时间戳值或图像梯度而被加权。

7.根据权利要求1所述的方法，还包括：

绘制(350)所述解剖结构的2D轮廓线，所述2D轮廓线包括一个连接到另一个的多个点。

8.一种用于分割解剖结构的系统，包括：

用于启动分割算法，从一系列体积图像产生所述解剖结构的表面网格的模块，所述表面网格由包括顶点和边缘的多个多边形形成；

用于在所述表面网格内直接形成体积网格的模块，所述体积网格包括与所述表面网格的所述顶点和边缘对应的顶点和边缘；

用于向所述表面网格的每个所述边缘分配弹簧以及向所述表面网格的每个所述顶点分配质点的模块；

用于显示2D重组视图的模块，所述2D重组视图包括所述表面网格和所述解剖结构的2D视图；

用于选择所述表面网格的表面上的点作为选定点的模块；

用于向所述表面网格添加牵引弹簧的模块，所述牵引弹簧的两端被分别附接在所述表面网格的顶点与所述体积网格的对应顶点；以及

用于通过经由被附接到所述表面网格的顶点的所述牵引弹簧将所述选定点移动到预期位置而移动所述表面网格的一部分的模块，其中，所述表面网格的所述顶点移动的距离是基于所述表面网格的所述顶点到所述选定点的距离确定的。

9.根据权利要求8所述的系统，还包括用于从所述选定点执行快速行进的模块，所述快速行进向所述表面网格的每个所述顶点分配时间戳，所述时间戳基于与所述选定点的距离。

10.根据权利要求9所述的系统，还包括用于基于时间戳值的阈值选择一片的多边形的模块，以及用于向所述片内的每个所述顶点添加牵引弹簧的模块。

11.根据权利要求8所述的系统，还包括用于绘制所述解剖结构的2D轮廓线的模块，所述2D轮廓线包括一个连接到另一个的多个点。

12.根据权利要求11所述的系统，还包括用于将所述2D轮廓线的所述多个点之一连接到所述表面网格的表面上的所述选定点的模块。