CN103098092A - 选择用于图像分割的解剖变型模型 - Google Patents

Abstract

本发明涉及一种用于分割图像中对象的系统（100），包括第一调适器（110），其用于将用于分割所述对象的第一模型调适到所述图像，分析器（115），其用于基于所述经调适的第一模型而从所述图像中提取出特征，选择器（120），其用于基于从所述图像中提取出的所述特征来从用于分割所述对象的多个模型中选择用于分割所述对象的第二模型，其中所述第二模型包括所述对象的额外细节，初始化器（125），其用于基于所述经调适的第一模型和/或从所述图像中提取出的所述特征来初始化所述第二模型，以及第二调适器（130），其用于将所述经初始化的第二模型调适到所述图像。基于所述经调适的第一模型从所述图像提取出的所述特征帮助所述系统（100）从用于分割所述对象的多个模型中选择用于分割所述对象的所述第二模型。所述经调适的第一模型和/或所述提取出的特征也用于初始化所述第二模型。由于所述第二模型包括所述对象的所述额外细节，因此使用所述第二模型获得的分割结果比使用所述第一模型获得的分割结果更加完整。此外，基于所述经调适的第一模型和/或所检测到的特征的所述第二模型的初始化改善了第二模型调适的精确性。

Description

选择用于图像分割的解剖变型模型

技术领域

本发明涉及图像分割，并且更具体而言，涉及使用可变形模型的图像分割。

背景技术

基于模型的器官描绘是分割医学图像的有效且稳健的方式。在这一方法中，使器官的模型调适到图像，因而描绘了该器官。在例如在下文中被称为参考文献1的Jürgen Weese,Michael Kaus,Christian Lorenz,StevenLobregt,Roel Truyen和Vladimir Pekar的Shape Constrained DeformableModels for3D Medical Image Segmentation，Lecture Notes in ComputerScience,2001,Volume2082/2001,第380-387页中，以及参考文献1的任意作者所合著的很多其他论文中描述了这种方法。然而，已知的模型典型地是完全刚性的，因而在调适到图像期间它们的变形很小。因此，当被应用于分割描绘了具有高度形状变化性的器官的图像时，尤其是当该器官形状变化在拓扑上不对等时，这一方法常常会失败。这种器官的例子包括心脏的左心房，其具有很多变型，包括不同数量的、引流进入左心房的肺静脉，或者具有很多不同动脉供应连接的肾脏。

发明内容

有利的是具有一种使用可变形模型来描绘具有高度解剖变化性的器官以用于图像分割的系统。

因而，在一方面中，本发明提供一种用于分割图像中对象的系统，包括：

-第一调适器，其用于将用于分割所述对象的第一模型调适到所述图像；

-分析器，其用于基于所述经调适的第一模型而从所述图像中提取出特征；

-选择器，其用于基于从所述图像中提取出的所述特征来从用于分割所述对象的多个模型中选择用于分割所述对象的第二模型，其中所述第二模型包括所述对象的额外细节；

-初始化器，其用于基于所述经调适的第一模型和/或从所述图像中提取出的所述特征来初始化所述第二模型；以及

-第二调适器，其用于将所述经初始化的第二模型调适到所述图像。

第一模型比第二模型更加简单，因而更加容易调适到图像。虽然用第一模型分割出的对象典型地是不完整的，但是该经调适的第一模型通过例如提供哪里可以找到特征的区域的指示，而允许分析器提取出图像特征。所提取出的特征帮助系统从用于分割对象的多个模型中选择用于分割对象的第二模型。由于第二模型包括对象的额外细节，因此使用第二模型获得的分割结果比使用第一模型获得的分割结果更加完整。有利地，经调适的第一模型和/或所提取出的特征用于初始化第二模型。初始化包括将第二模型布置于图像空间中，例如，3维图像情况下的图像体积。基于经调适的第一模型和/或所检测到特征的第二模型的初始化改善了第二模型调适的精确性。

在该系统的实施例中，特征的提取是基于以下中的至少一个：第一模型的成分，例如第一模型网格的顶点或者第一模型三角形网格的三角形，第一模型的标志（landmark），例如第一模型表面上的尖瓣，以及与第一模型拟合的几何基元，例如轴、轮廓、平面、多边形、椭圆形、圆柱体、金字塔形、立方体，或者椭圆体。

在该系统的实施例中，从图像中提取出特征包括由经调适的第一模型操纵的区域生长。区域生长可用于检测图像特征，例如血管壁以及中心线，该特征帮助选择和初始化包括相应的血管片段的第二模型。

在该系统的实施例中，从图像中提取出的特征是以下之一：特征-对象，例如环、管、管中心线，或者具有零个、一个、两个或者三个柄（handle）的拓扑球面，以及特征-对象的属性，例如环的直径或者在具有柄的拓扑球面中的柄数量。本领域技术人员将理解的是该拓扑球面是一类与球面在拓扑上对等，也即同拓扑，的形状。

在该系统的实施例中，用于分割对象的多个模型包括拓扑上不对等的模型。重要的是所选定的第二模型，例如表面，与被分割的对象，例如血管壁表面在拓扑上是对等的，因为不可能使用与对象在拓扑上不对等的第二模型来适当地分割对象。一些对象，例如左心房，可能具有拓扑上不对等的形状。因而重要的是用于建模左心房的多个模型包括很多拓扑上不对等的模型，该模型描述了在患者人口中存在的心房的拓扑上不对等形状。

在另一方面中，本发明提供一种包括如本发明所述的系统的图像采集装置。

在另一方面中，本发明提供一种包括如本发明所述的系统的工作站。

在另一方面中，本发明提供一种分割图像中对象的方法，包括步骤：

-将用于分割所述对象的第一模型调适到所述图像；

-基于所述经调适的第一模型而从所述图像中提取出特征；

-基于从所述图像中提取出的所述特征来选择用于分割所述对象的第二模型，其中所述第二模型包括所述对象的额外细节；

-基于所述经调适的第一模型和/或从所述图像中提取出的所述特征来初始化所述第二模型；以及

-将所述经初始化的第二模型调适到所述图像。

在另一方面中，本发明提供一种将由计算机装置装载的计算机程序产品，包括用于分割图像中对象的指令，所述计算机装置包括处理单元和存储器，所述计算机程序产品在被装载后，给所述处理单元提供执行如本发明所述的方法的步骤的能力。

本领域技术人员将意识到的是可以以任何被认为是有益的方式来将以上提及的本发明的实施例、实现方式，和/或方面中的两个或者更多个相组合。

本领域技术人员基于说明书可以实现与所描述的系统或方法的修改和变型相应的图像采集装置、工作站、方法，和/或计算机程序产品的修改和变型。

本领域技术人员将意识到在所请求保护的发明中的图像数据集可是2维（2-D）、3维（3-D）、或4维（4-D）图像数据集，其由各种采集模态采集，例如但不限于，X射线成像、计算断层摄影（CT）、磁共振成像（MRI）、超声（US）、正电子发射断层摄影（PET）、单光子发射计算断层摄影（SPECT），以及核医学（NM）。

本发明在独立权利要求中限定。有利实施例在从属权利要求中限定。

附图说明

关于下文描述的实现方式和实施例并且参照附图，本发明的这些和其他方面将变得显而易见并且得到阐述，其中：

图1示出了系统的示例性实施例的框图；

图2A图示了左心房的解剖变型；

图2B示出了用于分割左心房的第一模型；

图2C图示了基于用于分割左心房的第一模型的锥状生长空间的示例性定义；

图2D图示了使用区域生长的对引流至左心房的肺静脉的分支的检测。

图3示出了用于分割左心房的示例性模型；

图4示出了方法的示例性实现方式的流程图；

图5示意性示出了图像采集设备的示例性实施例；以及

图6示意性示出了工作站的示例性实施例。

相同的附图标记用于表示全部图中的类似部件。

具体实施方式

图1示意性示出了用于分割图像中对象的系统100的示例性实施例的框图，该系统包括：

-第一调适器110，其用于将用于分割该对象的第一模型调适到该图像；

-分析器115，其用于基于经调适的第一模型而从该图像中提取出特征；

-选择器120，其用于基于从该图像中提取出的特征来选择用于分割该对象的第二模型，其中该第二模型包括该对象的额外细节；

-初始化器125，其用于基于经调适的第一模型和/或从该图像中提取出的特征来初始化该第二模型；以及

-第二调适器130，其用于将该经初始化的第二模型调适到该图像。

系统100的示例性实施例还包括：

-控制单元160，其用于控制系统100的工作；

-用户接口165，其用于在用户和系统100之间进行通信；以及

-存储器单元170，其用于存储数据。

在系统100的实施例中，具有用于引入数据的三个输入连接器181、182和183。第一输入连接器181被布置为接收来自数据存储装置的数据，该数据存储装置例如，但不限于，硬盘、磁带、闪存，或者光盘。第二输入连接器182被布置为接收来自用户输入设备的数据，该用户输入设备例如，但不限于，鼠标或者触摸屏。第三输入连接器183被布置为接收来自例如键盘的用户输入设备的数据。输入连接器181、182和183被连接至输入控制单元180。

在系统100的实施例中，具有用于传出数据的两个输出连接器191和192。第一输出连接器191被布置为将数据输出至数据存储装置，例如硬盘、磁带、闪存，或者光盘。第二输出连接器192被布置为将数据输出至显示设备。输出连接器191和192经由输出控制单元190接收相应的数据。

本领域技术人员将理解的是具有很多方式来将输入设备连接至系统100的输入连接器181、182和183，以及将输出设备连接至系统100的输出连接器191和192。这些方式包括，但不限于，有线和无线连接、数字化网络例如但不限于，局域网（LAN）和广域网（WAN）、因特网、数字电话网络，以及模拟电话网络。

在系统100的实施例中，系统100包括存储器单元170。系统100被布置为经由任意的输入连接器181、182和183从外部设备接收输入数据，并且将所接收的输入数据存储在存储器单元170中。将输入数据装入存储器单元170允许通过系统100的单元对相关数据部分的快速访问。该输入数据包括图像、用于分割对象的第一模型，以及用于分割对象的多个模型。存储器单元170可由设备实现，该设备例如但不限于，CPU的寄存器文件、缓存、随机存取存储器（RAM）芯片、只读存储器（ROM）芯片，和/或硬盘驱动器和硬盘。存储器单元170可还被布置为存储输出数据。该输出数据包括由调适到图像的第二模型所定义的经分割对象。存储器单元170也可被布置为经由存储器总线175从系统100的单元接收数据和/或向系统100的单元递送数据，该系统100的单元包括第一调适器110、分析器115、选择器120、初始化器125、第二调适器130、控制单元160，以及用户接口165。存储器单元170还被布置为使得外部设备可经由任意的输出连接器191和192获得输出数据。在存储器单元170中存储来自系统100单元的数据可有利地改进系统100的单元的性能以及改进从系统100的单元到外部设备的输出数据的转移率。

在系统100的实施例中，系统100包括用于控制系统100的控制单元160。该控制单元160可被布置为从系统100的单元接收控制数据以及给系统100的单元提供控制数据。例如，在选择第二模型之后，选择器120可被布置为提供控制数据“选定第二模型”给控制单元160，并且控制单元160可被布置为提供控制数据“初始化第二模型”给初始化器125。可选地，可在系统100的另一单元中实现控制功能。

在系统100的实施例中，系统100包括用于在用户和系统100之间进行通信的用户接口165。该用户接口165可被布置为接收用户输入，该用户输入用于选择用于分割对象的第一模型以及用于分割对象的多个模型。接着，用户接口适于显示经调适的第二模型。本领域技术人员将理解的是在系统100的用户接口165中可有利地实现更多的功能。

在实施例中，本发明由医师使用以在3-D CT图像中分割人类心脏的左心房。系统100可是完全自动化的。可选地，系统100可是交互式的，接收用户输入。例如，在从用于分割左心房的多个模型中选定第二模型之后，系统100的用户接口165可被布置为显示选定的第二模型并且提示用户接收或者拒绝该第二模型。

图2A图示了左心房的右侧的解剖变型，其由引流肺静脉的数量和位置来定义。静脉标记了RUL、RML、RLL、BSRLL，以及SSRLL，分别代表右上肺叶、右中肺叶和右下肺叶、基底段RLL，以及上段RLL。静脉样式被标上了标记R1、R2a、R2b、R2c、R3a、R3b、R3c、R4a、R4b，和R5。

图2B示出了用于分割左心房的第一模型。该第一模型包括三角形的网格。三角形网格的外观是三角形的。在例如参考文献1，以及在可容易地在专利和科学文献中获得的关于基于可变形模型的分割的很多其他论文中描述了使用包括三角形网格的模型的图像分割。第一模型的一些三角形被标记。该被标记的三角形可由分析器115用于从图像中提取出特征。

第一模型是左心房的简化模型。它不包括右侧肺静脉。该简化的第一模型可以通过系统100的第一调适单元110而鲁棒性地调适到患者图像。

在将第一模型调适到图像之后，系统100的分析器115开始被操纵的区域生长处理。图2C示意性图示了对锥状生长空间的示例性定义，其基于用于分割左心房的第一模型的网格的被标记三角形。分析器115被布置为确定左心房的第一模型的中心202。生长方向204是具有边界206的圆锥形体积的轴，由经调适的第一模型的被标记三角形的中心211-216来定义。所述圆锥形体积由具有被设置在中心202处的顶点并且包括所有的被标记三角形中心211-216的最小锥体来定义。生长方向204是锥轴。区域生长的范围R是从第一模型的中心202到第一模型表面200的平均距离的倍数。

图2D图示了使用区域生长的对引流至左心房的肺静脉的分支的检测。该区域生长在种子点处开始，该种子点是左心房的第一模型的中心202。区域生长的前端可例如是与生长方向204垂直的平面，或者由具有在经调适第一模型的中心202处的中心的球面和具有边界206的圆锥形体积所定义的球冠。图2D示出了生长区域的五个球形前端221-215和边界210。生长区域的边界210代表引流进入左心房的肺静脉的壁。分析每个前端以确定其连贯性。在图2D中，前端221和222是连贯的，而前端223、224和225是不连贯的，每个包括两个连贯部分。因而，分析器被布置为推定在由生长区域的边界210所模拟的肺静脉中具有分支点。

本领域技术人员将理解的是具有很多其他特征并且分析器115可被布置为检测这些其他特征。例如，分析器115可被布置为计算第一模型的表面的曲率。基于对曲率的分析，分析器115可被布置为确定从由经调适的第一模型所描绘的结构延伸的血管茎的尺寸和位置。在仍另一例子中，分析器115可被布置为将椭圆体拟合至经调适的第一模型。进一步的，分析器可以采用区域生长方法来从图像中提取出额外的特征。可基于经拟合椭圆体的参数来确定区域生长的种子点、方向，和/或范围。

基于根据第一模型从图像中提取出的肺静脉的详细数量和位置，选择器120被布置为从用于分割左心房的多个模型中选择第二模型。图3示出了用于分割左心房的示例性模型。这些模型中的一些包括不同数量的肺静脉，并且因而在拓扑上是彼此不对等的，因为将一个模型变换成具有不同数量肺静脉的另一模型是不具有同拓扑的。因而对于基于可变形模型的分割而言，十分重要的是选择可以被调适到图像以分割左心房的左心房模型的适当变型。该调适处理典型地是基于模型表面的连续变形，并且因而没有肺静脉可以加入左心房模型或者从左心房模型移除。

在第一模型不包括第二模型的额外细节的意义上而言，第一模型是被简化的。典型地，该额外细节是模型的结构化构成，例如用于分割与对象连接的血管的额外的管状表面，或者用于建模模型表面的精细曲率变化性的模型网格的额外顶点。可选地，该额外细节可以是用于描述第二模型与图像的交互的额外项，或者选择用于在调适到图像期间吸引第二模型的图像特征的新方式，由分析器115基于从图像中提取出的特征来确定。

在系统100的选择器120选择第二模型之后，初始化器125将第二模型初始化。有利地，该初始化可使用从经调适的第一模型中获得的信息以及通过分析器115从由图像中提取出的特征中获得的信息。然后第二调适器130被布置为将经初始化的第二模型调适到图像。

虽然已经参照左心房分割来描述了本发明的实施例，但是本领域技术人员将理解的是本发明也可以用于分割其他对象，尤其是用于分割在很多具有不同维度和/或拓扑的解剖或者病理变体中存在的对象。这种对象的例子包括但不限于，冠状动脉和具有其动脉供应连接的肾脏。

本领域技术人员将进一步理解的是系统100的其他实施例也是可能的。除其他外，可能重新定义系统的单元以及重新分配它们的功能。例如，同一单元可被布置为首先将第一模型调适到图像之后将第二模型调适到图像。另一方面，分析器115可由多个耦连单元来实现，每个耦连单元执行分析任务，例如区域生长、对生长区域的前端的连贯性检测，等等。虽然所描述的实施例应用于医学图像，但是不涉及医学应用的系统的其他应用也是可能的。

系统100的单元可使用处理器来实现。通常，它们的功能在软件程序产品的控制之下执行。在运行期间，软件程序产品通常被装入存储器如RAM，并且从其运行。该程序可从后台存储器例如ROM、硬盘、或者磁性和/或光学存储设备中被装入，或者可经由网络如因特网被装入。任选地，专用集成电路可提供所描述的功能。

在图4中示意性示出了分割图像中对象的方法M的示例性流程图。方法M以将用于分割对象的第一模型调适到S10图像的步骤开始。在第一模型调适到图像之后，执行基于经调适的第一模型来从图像中提取出S15特征的步骤。在从图像中提取出S15特征之后，执行基于从该图像中提取出的特征来选择S20用于分割对象的第二模型的步骤，其中该第二模型包括对象的额外细节。在选择S20第二模型之后，方法M继续，基于经调适的第一模型和/或从图像中提取出的特征来初始化S25第二模型。在初始化S25第二模型之后，在将第二模型调适到S30图像的步骤中将经调适的第二模型调适到图像。

本领域技术人员可改变一些步骤的顺序或者使用线程模型、多处理器系统或者多处理器来同时执行一些步骤而不脱离本发明旨在的概念。任选地，可将方法M的两个或者更多的步骤组合成一个步骤。任选地，可将方法M的步骤分为多个步骤。

图5示意性示出了采用本发明系统100的图像采集装置500的示例性实施例，所述图像采集装置500包括经由内部连接与系统100、输入连接器501，以及输出连接器502连接的图像采集单元510。这一布置有利地增强了图像采集装置500的性能，给所述图像采集装置500提供系统100的有利性能。

图6示意性示出了工作站600的示例性实施例。该工作站包括系统总线601。处理器610、存储器620、磁盘输入/输出（I/O）适配器630、以及用户接口（UI）640操作性地连接至系统总线601。磁盘存储设备631操作性地耦合至磁盘I/O适配器630。键盘641、鼠标642、以及显示器643操作性地耦合至UI640。本发明的系统100，被实现为计算机程序，被存储在磁盘存储设备631中。工作站600被布置为将程序和输入数据装入存储器620，以及在处理器610上执行程序。用户可以使用键盘641和/或鼠标642而将信息输入工作站600。工作站被布置为输出信息至显示器设备643和/或至磁盘631。本领域技术人员将理解的是在现有技术中已知工作站600的许多其他实施例，并且本实施例用作举例说明本发明的目的，并且不能被解释为将本发明限制于这一具体实施例。

应当注意到以上提及的实施例图示而不是限制本发明，并且本领域技术人员将能够设计可选实施例而不脱离所附权利要求的范围。在权利要求中，放入圆括号之间的任何附图标记不应被解释为限制权利要求。措辞“包括”不排除未在权利要求中或者说明书中列出的元件或步骤的存在。在元件之前的措辞“一”或“一个”不排除多个这种元件的存在。本发明可借助于包括几个截然不同元件的硬件以及借助于编程计算机来实现。在列举几个单元的系统权利要求中，这些单元中的几个可以通过硬件或软件的一个和相同记录来具体实现。措辞第一、第二、第三等等的使用并不表示任何顺序。这些措辞将被解释为名称。

Claims (11)

1.一种用于分割图像中对象的系统（100）包括：

-第一调适器（110），其用于将用于分割所述对象的第一模型调适到所述图像；

-分析器（115），其用于基于经调适的第一模型而从所述图像中提取出特征；

-选择器（120），其用于基于从所述图像中提取出的所述特征来选择用于分割所述对象的第二模型，其中，所述第二模型包括所述对象的额外细节；

-初始化器（125），其用于基于所述经调适的第一模型和/或从所述图像中提取出的所述特征来初始化所述第二模型；以及

-第二调适器（130），其用于将经初始化的第二模型调适到所述图像。

2.如权利要求1所述的系统（100），其中，特征的提取基于以下中的至少一个：

-所述第一模型的成分；

-所述第一模型的标志；以及

-与所述第一模型拟合的几何基元，例如轴、轮廓、平面、多边形、椭圆形、圆柱体、金字塔形、立方体、或者椭圆体。

3.如权利要求1所述的系统（100），其中，从所述图像中提取出特征包括由所述经调适的第一模型操纵的区域生长。

4.如权利要求1所述的系统（100），其中，从所述图像中提取出的所述特征是以下之一：

-特征-对象，例如环、管、管中心线，或者具有零个、一个、两个或者三个柄的球面；以及

-特征-对象的属性，例如环的直径或者在具有柄的拓扑球面中的柄的数量。

5.如权利要求1所述的系统（100），其中，用于分割所述对象的所述多个模型包括拓扑上不对等的模型。

6.如权利要求1所述的系统（100），其中，所述第一模型和所述第二模型是左心房模型。

7.如权利要求1所述的系统（100），其中，所述第一模型和所述第二模型是肾脏模型。

8.一种图像采集装置（500），包括如权利要求1所述的系统（100）。

9.一种工作站（600），包括如权利要求1所述的系统（100）。

10.一种分割图像中对象的方法（M），包括如下步骤：

-将用于分割所述对象的第一模型调适到（S10）所述图像；

-基于经调适的第一模型而从所述图像中提取出（S15）特征；

-基于从所述图像中提取出的所述特征来选择（S20）用于分割所述对象的第二模型，其中，所述第二模型包括所述对象的额外细节；

-基于所述经调适的第一模型和/或从所述图像中提取出的所述特征来初始化（S25）所述第二模型；以及

-将经初始化的第二模型调适到（S30）所述图像。

11.一种将由计算机装置装载的计算机程序产品，包括用于分割图像中对象的指令，所述计算机装置包括处理单元和存储器，所述计算机程序产品在被装载后，给所述处理单元提供执行如权利要求10所述的方法的步骤的能力。

Images