CN101952856A - 用于分割包括子对象的对象的设备 - Google Patents

Abstract

本发明涉及一种用于分割对象图像中所示的包括子对象的对象的设备(1)。该设备包括用于产生特征图像的特征图像产生单元(2)和分割单元(3)，特征图像示出了与子对象之间的中间区域相关的特征，分割单元利用对象图像和特征图像分割子对象。优选地，特征图像产生单元(2)适于从所述对象图像产生特征图像。在另一实施例中，所述特征图像产生单元(2)包括特征增强单元，所述特征增强单元用于增强与所述对象图像中的子对象之间的中间区域相关的特征。

Description

用于分割包括子对象的对象的设备

技术领域

本发明涉及一种用于分割包括子对象的对象的设备、方法和计算机程序。本发明还涉及一种包括子对象的对象的模型。

背景技术

EP1447772A1公开了一种在三维图像数据集中分割包括肺叶的肺的方法。一种交互式分水线算法利用了结合从经分割的血管树计算的距离图的代价函数。距离增大表示没有血管，间接意味着肺叶之间的边界。成长的分水线区域填充用于分割肺叶的边界间的区域。

发明内容

由于EP1447772A1中公开的方法利用不存在血管部进行分割，并且由于不存在血管部通常并不与肺叶边界重合，且由于不存在血管部的位置取决于像血管的可见度和血管分割的质量的若干参数，因此降低了包括肺叶的肺的分割质量。

本发明的目的在于提供一种用于分割包括子对象的对象的设备、方法和计算机程序，其改善包括子对象的对象的分割质量。

在本发明的一方面中，提供了一种用于分割在对象图像中所示的包括子对象的对象的设备，其中所述设备包括：

-用于产生特征图像的特征图像产生单元，所述特征图像示出与所述子对象之间的中间区域相关的特征，

-利用所述对象图像和所述特征图像分割所述子对象的分割单元。

本发明基于以下想法，即，在产生示出了与对象的子对象之间的中间区域相关的特征的特征图像并将该特征图像与对象图像一起用于对象分割时，分割得到改善。由于特征图像包括关于子对象之间的中间区域位置的信息，且由于除了对象图像之外这一信息还被分割单元使用，所以改善了对象的分割，尤其是，对象之内的子对象的分割。

从对象的特征，例如子对象的表面和/或子对象之间的空间或元素检索特征图像中示出的且与子对象之间的中间区域相关的特征。例如，如果需要分割的对象是包括肺叶(可以将其视为子对象)的肺，与子对象之间的中间区域相关的特征优选是从对象图像中所示的肺裂隙导出的特征。

对象图像例如是二维、三维或四维图像数据集。图像数据集可以通过任何成像装置，例如磁共振成像装置、超声成像装置或核成像装置采集。优选地，由优选使用X射线的计算机断层摄影成像装置采集图像数据集。图像数据集例如是技术图像数据集或医疗图像数据集。优选地，图像数据集是示出了人或动物的肺或另一部分的计算机断层摄影图像数据集。

在优选实施例中，特征图像产生单元适于从所述对象图像产生特征图像。于是，可以不使用其他数据来产生特征图像。具体而言，不需使用使用其他模态采集的另一幅图像来产生该特征图像。

优选地，特征图像产生单元包括特征增强单元，所述特征增强单元用于增强与所述对象图像中的子对象之间的中间区域相关的特征。由于特征增强单元增强与对象图像中子对象之间的中间区域相关的特征，因此在特征图像中更加突出了这些特征，这改善了使用特征图像中的这些特征分割的质量。于是，优选通过增强与对象图像中子对象之间的中间区域相关的特征来产生特征图像，其中从该增强得到的图像优选是特征图像。

特征增强单元优选使用基于结构张量或Hessian矩阵的增强滤子(filter)。下文进一步给出这种优选增强滤子的更详细描述。

在另一实施例中，特征增强单元适于使得在向对象图像应用增强滤子之后，向经增强的对象图像的图象值应用阈值操作，以进一步增强与对象图像中子对象之间的中间区域相关的特征。阈值操作适于使得在已经应用阈值操作之后，在经增强的对象图像中仅示出高于或低于预定阈值的图象值。在另一优选实施例中，如果不向对象图像应用增强滤子，也可以向对象图像应用阈值操作。在这种情况下，已经应用了阈值操作的对象图像优选是特征图像。

在另一实施例中，特征增强单元适于使得在对象图像中的平面或线性结构得以增强。如果包括子对象的对象是三维对象，且如果对象图像是三维或四维图像，特征增强单元优选适于增强平面结构，因为在这种情况下子对象之间的中间区域被认为是平面形状的特征。如果对象是二维对象或如果对象图像是二维图像，特征增强单元优选适于增强线性结构，因为在这种情况下一般认为子对象之间的中间区域是线性形状的。具体而言，如果必须要分割包括肺叶的肺，特征增强单元优选适于增强诸如裂隙的平面结构。特征增强单元还可以适于抑制与子对象之间的中间区域不相关的平面和/或线性结构。例如，可以使用关于肺外壁的位置和形状的知识来抑制对象图像中这些平面结构。

特征增强单元优选增强与对象图像中子对象之间的中间区域相关的特征，其中包括经增强的特征的对象图像是特征图像。

在另一实施例中，所述特征图像产生单元包括用于对所述特征图像执行距离变换的距离单元，其中所述特征图像包括被分配以特征图像值的特征图像元素，其中根据以下步骤执行距离变换：

-确定所述特征图像元素的中间区域特征图像元素，其中所述中间区域特征图像元素示出了与所述子对象之间的中间区域相关的特征，

-确定用于特征图像元素的距离值，其中所述距离值取决于所确定的中间区域特征图像元素和要为其确定距离值的特征图像元素之间的距离，

-用所确定的距离值替代被分配给已被确定距离值的特征图像元素的特征图像值。

在另一实施例中，距离值取决于相应特征图像元素的位置到最近的中间区域特征图像元素的距离。

在优选实施例中，距离值可以是相应特征图像元素和最近中间区域特征图像元素之间的距离、距离倒数或这些的组合。

使用距离值有如下优点：特征图像的未示出与子对象之间的中间区域相关的特征的部分与特征图像的示出了与子对象之间的中间区域相关的特征的部分之间的过渡被平滑，这简化了特征图像中可用于分割包括子对象的对象的特征的检测，由此进一步改善了分割的质量。

在另一实施例中，分割单元包括：

-用于提供包括模型子对象的模型对象的模型提供单元，

-用于在所述对象图像和所述特征图像中预定位所述模型对象的预定位单元，以及

-用于将所述模型对象适配到所述对象图像和所述特征图像中的所述对象的适配单元。

该模型对象的提供、预定位和适配允许通过将模型对象适配到对象图像中的对象来分割对象，可以用较低计算工作量执行适配，实现分割质量的进一步改善。

在另一实施例中，适配所述适配单元使得将模型子对象面向另一模型子对象的表面适配到所述特征图像，并且使得将不面向模型子对象的模型对象的表面适配到对象图像。由于特征图像示出了与子对象之间的中间区域相关的特征，因此可以以改进的质量将模型子对象面对另一模型子对象的表面，即模型对象的内表面适配到特征图像，即特征图像中示出的与子对象之间的中间区域相关的特征，而模型对象不面对模型子对象的表面，即模型对象的外表面可以适配到对象图像，即对象图像中所示的对象外表面，因为在对象图像中通常容易检测到这个表面。

优选通过使包括内部能量和外部能量的能量项最小化或最大化来执行模型到对象图像中的对象或特征图像中的特征的适配。内部能量试图将模型保持为预定义的形状，而外部能量试图将模型的表面移动到对象图像中的对象表面或特征图像中所示的特征。优选迭代地执行能量项的这种最小化或最大化。在C.Lorenz，J.von Berg的文章“A comprehensive shape modelof the heart”，Medical Image Analysis，vol.10，pp.657-670，2006中公开了这种能量最小化或最大化的更详细描述，在此通过引用将其并入本文。

在另一实施例中，适配单元适于通过搜索特征图像中的极值将模型子对象面对另一模型子对象的表面适配到特征图像。极值是最小值或最大值。具体而言，如果特征图像包括距离值，可以以高精度在特征图像中找到这种最小值或最大值。因此能够进一步改善分割的质量。

在另一实施例中，

-所述模型提供单元适于提供表面对象模型和体对象模型，并且

-所述预定位单元适于确定用于将所述体对象模型配准到所述对象图像和所述特征图像中的至少一个上的变换并将所确定的变换应用于所述表面对象模型以对所述表面对象模型进行预定位，并且

-所述适配单元适于将所述表面对象模型适配到所述对象图像和所述特征图像中的对象。

由于一般可以以良好的质量在对象图像和/或特征图像上配准体对象模型，且由于将描述把体对象模型配准到对象图像和/或特征图像上的变换也应用于表面对象模型，所以改善了表面对象模型的配准，从而改善了表面对象模型的适配，进而能够改善使用经适配的表面对象模型的分割。

表面对象模型定义体对象模型的表面，优选至少一个外表面和至少一个内表面，内表面分开对象的子对象。体模型优选包括若干与子对象对应的子体积，其中不同的子体积不同地加以标签。

预定位单元优选适于确定用于将体对象模型配准到对象图像和特征图像中的至少一个上的仿射变换。仿射变换优选包括模型对象的平移和/或缩放和/或切变。通过利用仿射变换，可以进一步改善将体模型对象配准到对象图像和/或特征图像上的过程，从而进一步改善表面模型对象的预定位，由此进一步改善分割。在另一实施例中，体对象模型仅配准在对象图像上，还将通过这种配准确定的变换用于在特征图像中预定位表面模型对象。在另一实施例中，对用于将体对象模型配准到对象图像和特征图像中的至少一个上的变换的确定加以约束以调整预定位。仿射配准优选使用相似性度量，相似性度量优选是互相关的绝对值。在另一实施例中，在配准之前对图像进行下采样，即减小尺寸。

在另一实施例中，预定位单元适于忽略体对象模型的内部结构。由于在预定位期间优选忽略体对象模型的内部结构，所以可以减少预定位过程的计算工作量。具体而言，优选在三维体素数据集中表示体对象模型，在维度、体素大小和体素数量方面，三维体素数据集与对象图像对应。在另一实施例中，在表示体对象模型的体素数据集中，体对象模型内部的体素包括恒定非零值，特别地，为“1”，体对象模型外部的体素包括零值。优选将包括恒定非零值和零值的这个体素数据集与对象图像配准以相对于对象图像预定位体对象模型，具体而言，使用互相关作为相似性度量进行配准，其中将互相关应用于表示体对象图像和对象图像的体素数据集。

在另一实施例中，除了所述子对象之外，所述对象还包括元素结构，其中

-所述模型提供单元适于提供元素结构的模型，并且

-所述预定位单元适于使用元素结构的模型和模型对象之间的关系通过将结构元素的模型配准到对象图像和特征图像中的至少一个上来配准对象模型，并基于经配准的元素结构的模型以及元素结构的模型和模型对象之间的关系进一步配准对象模型。

这允许使用对象图像中所示对象的元素结构在对象图像和/或特征图像中预定位模型对象。元素结构例如是患者的肋骨架，在这种情况下这种元素结构的模型是肋骨架模型。由于通常在肺的图像中，尤其是在计算机断层摄影图像中，利用肋骨架和肋骨架模型能很好地检测到肋骨架，所以在这种情况下，可以改善对肺建模的模型对象的预定位。用于配准对象模型的元素结构的模型和模型对象之间的关系优选是空间和/或时间关系。

在另一实施例中，所述模型对象包括闭合外表面和至少一个内表面，所述闭合外表面将所述模型对象与所述模型对象外部物分开，所述内表面位于所述模型对象内部，用于将所述模型子对象彼此分开。这样的模型对象相对简单，因为它仅提供了至少一个外表面和至少一个分开子对象的内表面，其中降低了用于分割过程的计算成本。

在另一实施例中，所述模型提供单元适于通过执行以下步骤提供包括模型子对象的模型对象：

-提供包括对象图像元素的若干对象图像，

-分割所述若干对象图像中的子对象，

-将包括经分割的子对象的若干对象图像彼此配准，

-使经配准的所述若干对象图像中的经分割的子对象模糊化，从而针对每个经分割的子对象将模糊值分配给经配准的所述若干对象图像的对象图像元素，其中对于每个经分割的子对象，将模糊值分配给经配准的对象图像的对象图像元素，其中所述模糊值取决于相应的经配准的对象图像的对象图像元素属于相应的经分割的子模型的概率，

-针对每个经分割的子对象对分配给经配准的所述若干对象图像的对应对象图像元素的模糊值求平均，从而为经配准的所述若干对象图像的一组对应对象图像元素产生平均模糊值，

-根据分配给经配准的所述若干对象图像的一组对应对象图像元素的相应的经分割的子对象的平均模糊值，将该组对应对象图像元素分配给经分割的子对象。一组对应的对象图像元素优选包括在执行配准之后彼此相叠的对象图像元素。

一种适于执行这些步骤的模型提供单元提供了模型对象，如果将这种模型对象用于分割包括子对象的对象，将进一步改善分割的质量。

在本发明的另一方面中，提供了一种分割对象图像中所示的包括子对象的对象的方法，其中所述方法包括以下步骤：

-借助于特征图像产生单元产生特征图像，所述特征图像示出与所述子对象之间的中间区域相关的特征，

-借助于分割单元利用所述对象图像和所述特征图像分割所述子对象。

在本发明的另一方面中，提供了一种用于分割对象图像中示出的包括子对象的对象的计算机程序，其中该计算机程序包括在计算机上运行所述计算机程序时执行如权利要求13所述的方法的步骤的程序代码模块。

在本发明的另一方面中，提供了一种包括子对象的对象的模型，其中根据以下步骤产生所述模型：

-提供包括对象图像元素的若干对象图像，

-分割所述若干对象图像中的子对象，

-将包括经分割的子对象的若干对象图像彼此配准，

-使经配准的所述若干对象图像中的经分割的子对象模糊化，从而针对每个经分割的子对象将模糊值分配给经配准的所述若干对象图像的对象图像元素，其中对于每个经分割的子对象，模糊值被分配给经配准的对象图像的对象图像元素，其中所述模糊值取决于相应经配准的对象图像的对象图像元素属于相应经分割的子模型的概率，

-针对每个经分割的子对象对分配给经配准的若干对象图像的对应对象图像元素的模糊值求平均，从而为经配准的所述若干对象图像的一组对应对象图像元素产生平均模糊值，

-根据针对相应经分割的子对象为经配准的所述若干对象图像的一组对应对象图像要素分配的平均模糊值，向经分割的子对象分配该组对应的对象图像要素。

应当理解，根据权利要求1所述的设备、根据权利要求12所述的方法和根据权利要求13所述的计算机程序具有如从属权利要求中限定的类似和/或等同的优选实施例。

应当理解，本发明的优选实施例还可以是从属权利要求与相应的独立权利要求的任意组合。

附图说明

参考下文描述的实施例，本发明的这些和其他方面将显而易见并得到阐述。在下述附图中：

图1示意性和示范性示出了用于分割包括子对象的对象的设备的图示；

图2示意性和示范性示出了用于分割包括子对象的对象的设备的特征图像生成单元的图示；

图3示意性和示范性示出了用于分割包括子对象的对象的设备的分割单元的图示；

图4示意性和示范性示出了表面模型对象；

图5示出了图示说明借助于模型提供单元产生表面目标模型的方法的流程图；

图6以截面图示意性和示范性示出了来自经分割的对象图像的标签；

图7以截面图示意性和示范性示出了在应用模糊化之后来自经分割的对象图像的标签；

图8以截面图示意性和示范性示出了求平均和分配步骤之后的体对象模型；

图9以截面图示意性和示范性示出了对象图像之内的体对象模型；

图10以截面图示意性和示范性示出了已经在对象图像之内执行配准之后的体模型对象；

图11示出了元素结构的模型；

图12以截面图示出了配准和适配到对象图像的元素结构的模型；

图13示出了图示说明分割包括子对象的对象的方法的实施例的流程图；

图14以截面图示意性和示范性示出了预定位到对象图像上的表面对象模型；

图15以截面图示意性和示范性示出了已经应用了增强滤子之后的特征图像；

图16以截面图示意性和示范性示出了特征图像，所述特征图像包括距离值和预定位表面对象模型；

图17以截面图示意性和示范性示出了在对象图像进行适配之后的表面对象模型；以及

图18以截面图示意性和示范性示出了包括距离值的特征图像，所述特征图像具有经适配的表面模型对象。

具体实施方式

图1示意性和示范性示出了用于分割包括子对象的对象的设备。设备1包括用于产生特征图像的特征图像产生单元2和分割单元3，所述特征图像示出了与子对象之间的中间区域相关的特征，分割单元3利用示出了对象和特征图像的对象图像分割子对象。输入单元5连接到设备1，使用户能够向设备1中进行输入。此外，输出单元6连接到设备1，用于输出，例如输出分割结果。输入单元例如是键盘或鼠标，输出单元例如是显示器或打印机。设备1还连接到用于提供对象图像的对象图像提供单元4。在这一实施例中，对象图像提供单元4是计算机断层摄影系统，其从采集的X射线投影数据重建计算机断层摄影图像。在另一实施例中，对象图像提供单元可以是任何其他成像装置，例如磁共振成像装置、超声成像装置、核成像装置或光学成像装置。在另一实施例中，对象图像提供单元是存储对象图像的存储单元，对象图像可以传输到设备1。

图2示意性和示范性示出了特征图像产生装置2，其包括特征增强单元7和距离单元8，特征增强单元7用于增强与对象图像中子对象之间的中间区域相关的特征，距离单元8用于对特征图像进行距离变换，其中用距离值替代特征图像的特征图像值，距离值取决于相应特征图像值的位置到特征图像元素的距离，特征图像元素示出了与子对象之间的中间区域相关的特征。具体而言，特征图像包括被分配了特征图像值的特征图像元素，其中优选根据以下步骤执行距离变换：

-确定特征图像元素的中间区域特征图像元素，其中中间区域特征图像元素示出了与子对象之间的中间区域相关的特征，

-确定对于特征图像元素的距离值，其中距离值取决于所确定的中间区域特征图像元素和要为其确定距离值的特征图像元素之间的距离，

-用所确定的距离值替代被分配给已被确定距离值的特征图像元素的特征图像值。在这一实施例中，距离值是相应特征图像元素和最近的中间区域特征图像元素之间的距离。在其他实施例中，距离值可以是距离倒数或后一实施例和前一实施例的组合。

图3示意性和示范性示出了分割单元3，分割单元3包括模型提供单元9、预定位单元10和适配单元11。

模型提供单元9适于提供包括模型子对象的模型对象。模型对象可以是体模型对象或表面模型对象。在这一实施例中，模型对象是表面模型对象。在图4中示意性和示范性示出了包括作为子对象的肺叶的肺的表面模型对象的实施例。

在图4中，示意性和示范性示出了具有三角形化网格表面的肺模型12。左肺包括两个肺叶13和14，右肺包括三个肺叶15、16和17。不同肺叶的表面包括不同的标签。模型由几何学网格构成，其中一个闭合的表面表示肺壁的模型，肺体积之内的其他表面表示分开肺叶的肺裂隙。在这一实施例中，肺裂隙是与子对象(在这一实施例中，即肺叶)之间的中间区域相关的特征。可以通过对平均标签数据集进行三角剖分来构造这种网格模型，其中属于不同肺叶的体素具有截然不同的“内部”标签，肺体积外部的体素具有“外部”标签。可以从患者图像的训练集计算这种平均标签数据集，其中通过自动的或交互的过程对肺叶区域加标签。在这一实施例中，模型提供单元适于通过执行将在下文中参考图5所示的流程图描述的步骤来提供包括模型子对象的模型对象。

在步骤101中，由模型提供单元接收若干对象图像，对象图像优选来自同一类型的不同对象，具体而言，是不同患者的肺图像。这若干对象图像优选是示出了患者肺部的计算机断层摄影图像。若干对象图像包括对象图像元素，具体而言，是体素或像素。

在步骤102中，例如，通过已知的分割过程或手动分割对象图像中的不同子对象。在步骤103中，将若干对象图像彼此配准。具体而言，将这些对象图像之一选择作为参考对象图像，将其他对象图像与这一参考对象图像配准。在另一优选实施例中，通过执行步骤102以及下文将要进一步解释的用于第一迭代的步骤104到106来获得要将其他对象图像向其配准的参考对象图像。

优选利用仿射变换执行步骤103中的配准，仿射变换优选包括平移、缩放和/或切变操作。

在步骤104中，使经配准的若干对象图像中的经分割的子对象模糊化，从而使得针对每个经分割的子对象将模糊值分配给经配准的若干对象图像的图像元素，其中对于每个经分割的子对象和每个经配准的对象图像，将模糊值分配给经配准的对象图像的每个对象图像元素，其中模糊值取决于相应经配准的对象图像的对象图像元素属于相应的经分割的子模型的概率。

优选地，在步骤102中，向每个经分割的子对象分配不同的标签，将其他标签分配给子对象外部的区域。在步骤104中，优选地，向子对象的边界，具体而言是肺叶的边界应用模糊化，得到距标签过渡的特定距离在0和1之间变化，大于0.5的值在标签区域“内部”，小于0.5的值在标签区域“外部”。优选分别针对每个标签产生这种连续的“模糊”标签图像，其中优选选择边界距离的线性变化。图6示意性和示范性示出了具有经分割的带标签区域30、31、32、33、34的若干对象图像，它们被不同地加以标签。图7示出了已经在步骤104中应用模糊化之后不同地加以标签的区域。

优选地，将不同的经分割的子对象分到不同的单个图像中，其中每个图像示出了步骤101中接收的若干对象中的一个的子对象，向这些单一子对象的每个应用步骤104中的模糊化。

在步骤105中，对从步骤104中的模糊化获得的模糊值进行平均。具体而言，针对每个经分割的子对象对分配给经配准的若干对象图像的对应对象图像元素的模糊值求平均，从而为经配准的若干对象图像的一组对应对象图像元素产生平均模糊值。具体而言，将对应的子对象的对应模糊值求和，将所得的和除以若干对象图像的数目。在步骤106中，根据针对相应图像元素的平均模糊值，将若干对象图像的图像元素，即经配准的若干对象图像的一组对应对象图像元素分配给子对象。具体而言，在对个体模糊标签图像，即模糊值求平均之后，如果最高模糊值高于预定义的阈值，或者，特别地，如果针对相应图像元素的所有模糊值之和大于0.5，选择具有最高模糊值的标签。

最后，在步骤106中已经将每个图像元素分配给子对象之一或对象之外的区域之后，可以应用三角剖分过程，以在步骤107中产生三角剖分网格模型。

在优选实施例中，可以适配模型提供单元，从而将从步骤106获得的体模型用于将在步骤101中接收的若干对象图像配准到这个体模型对象上，并用于对这些新配准的对象图像再次执行步骤102到106；优选地，在用于产生要被用于配准的体模型的第一迭代中，省略配准步骤103。

在步骤107中，为了从体模型产生网格，优选使用曲率自适应三角剖分法来分离被加以不同标签的“内部”体积。实施曲率自适应三角剖分法的一个重要参数是表面三角形的预选数量，优选对照网格化的标签体积以图形方式改变和检查该数量。优选地，使用形态学平滑化来去除小孔和粗糙的子对象边界，尤其是粗糙的肺叶边界。

图8示意性和示范性示出了穿过在步骤106中获得的体对象模型的切片。

在优选实施例中，模型提供单元9适于提供表面对象模型12和体对象模型21，它们例如是通过执行上述步骤101到107而产生的。

如果已经有了表面对象模型，尤其是表面网格对象模型，就可以通过例如区域生长或扫描线过程从表面对象模型产生体对象模型。

预定位单元10优选适于确定用于将体对象模型21配准到对象图像18和/或特征图像中的至少一个上的变换并且向表面对象模型12应用所确定的变换以对表面对象模型12进行预定位。在这一实施例中，预定位单元10适于确定用于将体对象模型21配准到对象图像18上的变换并且向表面对象模型12应用所确定的变换以对表面对象模型12进行预定位。图9示意性和示范性示出了穿过肺的三维图像的切片，其中一开始将体对象模型21放在对象图像18之内。这种初始定位可以是任意定位，或者，例如是将体对象模型21置于对象图像18中心的定位。图10示意性和示范性示出了已经执行配准之后对象图像18中的体模型对象21。与配准对应的变换优选是仿射变换，仿射变换包括平移、缩放和/或切变。

为了确定用于将体对象模型配准到对象图像上的变换，体模型对象优选由具有这样的标签的像素或体素构成，如果像素或体素属于对象区域，具体而言属于肺区域，标签为“1”，否则标签为“0”。然后，例如通过能够对整个图像进行仿射变换的方法，将对应图像配准到个体对象图像上，具体而言，是示出患者肺部的个体患者图像上。将所得的几何变换应用于等价表面对象模型，获得期望的预定位表面对象模型。通过在配准期间限制变换参数，可以调整预定位以实现更强的对象变化，具体而言，更强的患者变化，或者以严格接近原始形状，例如对于严重的病灶而言。

预定位单元10优选在确定变换期间忽略体对象模型的内部结构，该变换将体对象模型配准到对象图像和特征图像中的至少一个上。

如果对象图像除了子对象之外还包括在对象图像中可看见的元素结构，例如肋骨架的结构，优选地，该模型提供单元适于提供元素结构的模型22，具体而言，是肋骨架22的模型。然后，更优选地，预定位单元10适于提供元素结构的模型，具体而言，为肋骨架的模型22，与模型对象之间的关系，模型对象优选为表面对象模型。在另一实施例中，预定位单元10适于将元素结构的模型，具体而言，肋骨架模型22配准到对象图像和特征图像中的至少一个上，并利用经配准的元素结构的模型，具体而言，肋骨架的经配准模型22，且利用元素结构的模型和模型对象之间的关系来配准对象模型。这种配准优选包括仿射变换。

如果必须要分割包括肺叶的肺，使用对象图像中的元素结构对对象模型进行预定位尤其有用，其中对象图像，即肺图像示出了肋骨架，因为肺的形状被周围的肋骨架很好地界定且肋骨在计算机断层摄影图像中被界定得要比肺结构清晰得多，在本实施例中优选使用计算机断层摄影成像。于是，优选由经适配的肋骨架模型用作初始肺模型位置的参考。为了提供肋骨架模型，可以使用在以下文献中描述的过程：“Geometrical Rib-CageModeling，Detection，and Segmentation”，Tobias Klinder，Cristian Lorenz，Jens von Berg CARS 2007，Volume 2 Supplement 1，pp.S91-S93，在此通过引用将其并入本文。

在图11中示意性和示范性示出了肋骨架模型22。肋骨架模型和肺模型之间的几何变换是已知的。为了将肺模型预定位到给定对象图像，即患者的给定肺图像，探测和识别肺图像中与肋骨架模型22的模型肋骨对应的肋骨，例如，如Tobias Klinder，Cristian Lorenz，Jens von Berg，Sebastian P.M.Dries，Thomas Bülow和

Ostermann在MICCAI 2007发表的“AutomatedModel-Based Rib Cage Segmentation and Labeling in CT Images”中所述，该文章在此也通过引用并入本文。然后，优选利用仿射变换将肋骨架模型22配准到肺图像上。在图12中示意性和示范性示出了穿过肺图像18的切片，其中肋骨架模型22被配准到肺图像18中的肋骨上。在另一实施例中，可以将元素结构的模型适配到对象图像中所示的对象，具体而言，可以将肋骨架模型22适配到肺图像18。已知肋骨架模型从模型空间到对象图像的几何变换，可以容易地定位肺模型。

如果对例如肺叶体积的大致估计对于给定应用已足够，就可以直接使用通过肋骨架探测来预定位的肺模型而无需进一步适配。使用这种方法对肺预定位可能比使用配准方式更加精确，因为肋骨架适配给出了细化的肋骨模型对齐，这可以传递到肺模型以提供细化的肺模型对齐。对于高度病态的情况这可能尤其重要，在这种情况下图像中未清晰刻画出肺的形状。

适配单元11适于适配已经由模型提供单元9提供并已经通过预定位单元10预定位的对象模型，具体而言，是表面对象模型。适配单元11优选适于使得：模型对象的面对另一模型子对象的模型子对象的表面适配到由特征图像产生单元2产生的特征图像，并且模型对象(尤其是表面模型对象)的不面对模型子模型对象的表面适配到对象图像。在这一实施例中，适配单元11适于通过搜索特征图像中的最小值将面对另一模型子对象的模型子对象的表面适配到特征图像，所述特征图像包含距离单元8计算的距离值。下文将结合分割包括子对象的对象的方法更详细地解释由适配单元11执行的适配。

在下文中，将参考图13中所示的流程图解释分割包括子对象的对象的方法。

在步骤201中，在这一实施例中，模型提供单元9提供包括表面模型子对象的表面模型对象和包括体模型子对象的体模型对象。在另一实施例中，模型提供单元可以包括表面模型对象或体模型对象。模型提供单元9还可以提供元素结构的模型，其中该元素结构并非子对象，像肋骨架模型。表面模型对象和体模型对象优选是包括肺叶的肺的模型，其中模型对象包括闭合外表面和若干用于分离肺叶的内表面。

在步骤202中，在对象图像之内预定位表面模型对象，对象图像优选是计算机断层摄影胸廓图像。由预定位单元10通过在对象图像之内预定位对应的体对象模型并获悉上文更详细描述的体对象模型和表面对象模型之间的空间关系来执行这种预定位。在另一实施例中，可以将并非子对象的元素结构的模型，例如肋骨架模型以及表面对象模型和元素结构的模型之间，或元素结构的模型和体对象模型之间的空间关系用于在对象图像之内预定位表面对象模型或体对象模型，如上文更详细描述的。

图14示意性和示范性示出了对象模型12的图示，其中，对象模型12已经在作为对象图像的计算机断层摄影肺图像之内被预定位了。

在步骤203中，将增强滤子应用于对象图像，以增强与对象图像中子对象之间的中间区域相关的特征。由于对象优选是三维或四维图像数据集中的三维对象，优选适配特征增强单元7使得增强平面结构。特征增强单元7优选使用来自结构传感器的一阶导数或来自Hessian矩阵的二阶导数。在已经将增强滤子应用于对象图像之后，产生特征图像，特征图像示出了与子对象之间的中间区域相关的特征；具体而言，如果对象为包括肺叶的肺，特征图像优选示出肺裂隙。

裂隙增强滤子优选基于结构张量或Hessian矩阵。

结构张量优选是局部结构张量J，通过在滤子中心周围的高斯加权邻域中对三维梯度矢量的外矢量积采样来构建结构张量。

$J=\left[\begin{array}{ccc}\⟨g_x{g}_x\⟩& \⟨g_x{g}_y\⟩& \⟨g_x{g}_z\⟩\\ \⟨g_y{g}_x\⟩& \⟨g_y{g}_y\⟩& \⟨g_y{g}_z\⟩\\ \⟨g_z{g}_x\⟩& \⟨g_z{g}_y\⟩& \⟨g_z{g}_z\⟩\end{array}\right]=\⟨\left[\begin{array}{cc}g& g^T\end{array}\right]\⟩,$

其中<·>表示局部邻域上的高斯加权平均，局部邻域被定义为例如n毫米的球体。例如，在“Signal Processing for Computer Vision”，G.H.Granlund和H.Knutsson，Luwer Academic Publishers，1995和“Tensor-based image sequence processing techniques for the study of dynamical processes”，H.Haussecker，H.Spies和B.

，International Symposium on RealtimeImaging and Dynamic Analysis，1998中公开了局部结构张量，这些文章在此通过引用并入本文。

结构张量优选是从对象图像中每个点处的图象值导数构建的，并表示这个点周围梯度矢量的分布。在平面状特征处，具体而言，在平面状裂隙处，预计会有所谓的简单邻域，例如在“Neighborhood Operators”，B.

和H.Hauβecker，Computer Vision and Applications，Academic Press，London2000(在此通过引用并入本文)中描述了简单邻域，其特征在于一个主导的和两个消末(vanishing)的梯度取向。张量的一个属性在于，由于梯度矢量的平方，反平行梯度矢量(在裂隙两侧上)都以同样方式作出贡献。结构张量J是正的半定的，可以确定三个正本征值λ₀≥λ₁≥λ₂，并可以定义方向性相干度量：

$C=\frac{{\mathrm{\&lambda;}}_0-{\mathrm{\&lambda;}}_1}{{\mathrm{\&lambda;}}_0+{\mathrm{\&lambda;}}_1},$

对于仅一个主导梯度取向而言其变为1，对于两个或三个同样强的梯度取向而言其为0。然后可以利用加权项如下计算裂隙度F₁：

$F_1=e^{-{(I-\mathrm{\&mu;})}^2/2{\mathrm{\&sigma;}}^2}C$

其中加权项描述了滤子中心处的图像值I(尤其是灰度)与典型图像值，尤其是针对裂隙的灰度值μ对应得有多好，标准偏差为σ。

Hessian矩阵方法利用如下事实：在像裂隙那样的平面结构处，预计会有图像值分布曲线的，尤其是灰度值分布曲线的，垂直于裂隙的一个强弯曲和平行于裂隙的两个消末弯曲。对于裂隙的Hounsfield范围中的每个体素，利用六个独立的二阶导数构建本地Hessian矩阵H：

$H=\left[\begin{array}{ccc}{g}_{\mathrm{xx}}& g_{\mathrm{xy}}& g_{\mathrm{xz}}\\ g_{\mathrm{yx}}& g_{\mathrm{yy}}& g_{\mathrm{yz}}\\ g_{\mathrm{zx}}& g_{\mathrm{zy}}& g_{\mathrm{zz}}\end{array}\right].$

优选地，在向原始图像应用二项式平滑化之后计算导数。然后确定对称Hessian矩阵的本征值|λ₀|≥|λ₁|≥|λ₂|。对于低强度背景上的高强度对象而言，优选需要最重要的本征值是负的，λ₀＜0，否则，优选将该点的裂隙度设置为F₂＝0。如果λ₀＜0，则优选如下计算归一化的平面度P：

$P=\frac{\left|{\mathrm{\&lambda;}}_0\right|-\left|{\mathrm{\&lambda;}}_1\right|}{\left|{\mathrm{\&lambda;}}_0\right|+\left|{\mathrm{\&lambda;}}_1\right|},$

其对于一个重要本征值λ₀和两个消末本征值λ₁和λ₂变为1，如果两个最重要特征值相等，其变为0。那么，再次利用加权项如下计算裂隙度F₂：

$F_2=e^{-{(I-\mathrm{\&mu;})}^2/2{\mathrm{\&sigma;}}^2}P$

加权项描述了这个点处的图像值I(尤其是灰度)与典型图像值，尤其是针对裂隙的、对于与子对象之间的中间区域相关的特征的灰色值μ对应得有多好，标准偏差为σ。

与裂隙的平均Hounsfield值相关的加权项用于抑制其他平面结构，例如肺壁。针对每个数据集单独估计裂隙的预期平均Hounsfield值μ。优选使用肺体积的先前分割来建立肺实质的Hounsfield直方图。然后将预期的平均裂隙μ设置成特征平均实质以上的特定值。

例如，在“Unsupervised extraction of the pulmonary interlobar fissures from high resolution thoracic CT data”，International Congress Series，volume 1281，May 2005，pages 1121-1126，CARS 2005，Computer Assisted Radiology and Surgery，Rafael Wiemker，Thomas Bülow，Thomas Blaffert的2.1到2.3节中公开了基于来自结构传感器的一阶导数或来自Hessian矩阵的二阶导数的增强滤子的更详细描述，这部分内容在此通过引用并入本文。

尽管已经结合肺中的裂隙描述了基于来自结构传感器的一阶导数或来自Hessian矩阵的二阶导数的优选增强滤子，但在其他实施例中，可以将这种优选增强滤子用于增强与对象图像中的子对象之间的中间区域相关的其他平面特征。

图15示意性和示范性示出了通过向对象图像应用增强滤子而产生的特征图像19。

在步骤204中，向特征图像应用阈值滤子，使得在特征图像中仅显示出超过给定阈值的特征元素。在其他实施例中，可以用另一个阈值滤子对特征图像进行阈值处理，从而进一步增强与子对象之间的中间区域相关的特征。

在步骤205中，距离单元8对特征图像执行距离变换，其中优选执行以下步骤：

-确定特征图像元素的中间区域特征图像元素，其中中间区域特征图像元素示出了与子对象之间的中间区域相关的特征，

-确定用于特征图像元素的距离值，其中距离值取决于所确定的中间区域特征图像元素和要为其确定距离值的特征图像元素之间的距离，

-用所确定的距离值替代被分配给已被确定距离值的特征图像元素的特征图像值。

在这一实施例中，用特征图像之内相应图像元素的位置与最近的中间区域特征图像元素的距离替换特征图像的每个特征图像值，其中具体地，最近的中间区域特征图像元素示出了肺裂隙一部分。图16中示范性和示意性示出了具有距离值的所得特征图像。图16示出了具有距离值的特征图像19以及穿过三维对象图像的截面图像中模型对象12的图示。

在步骤206中，适配单元11利用对象图像和特征图像适配对象模型，在本实施例中对象模型为表面模型对象。利用特征图像适配对象模型的内表面，即模型子对象面对另一模型子对象的表面，并利用对象图像适配对象模型的外表面。具体而言，为了适配，使能量项最小化或最大化，能量项包括两个能量，即内部能量和外部能量。内部能量试图维持对象模型的形状，外部能量试图将对象模型的表面分别移动到对象图像和特征图像中的对应特征。

外部能量例如是针对网格表面每个三角形的外部能量项之和，外部能量项是从沿三角形表面法线搜索最强梯度获得的。用于每个三角形的外部能量是这个梯度值的函数。对于裂隙三角形，在特征图像中进行搜索，其中最佳点优选位于最小特征值处，外部能量值也是这个最小特征值。

内部能量优选是对于每个顶点的内部能量之和。这个内部顶点能量考虑了包含该顶点的所有边缘，并针对每个边缘计算适配前后的差异。

在上文所提到的C.Lorenz，J.von Berg的文章“A comprehensive shape model of the heart”，Medical Image Analysis，vol.10，pp.657-670，2006中公开了这种适配过程的更详细描述，在此通过引用将该文章并入本文。

在图17和18中的两个不同截面图中示意性和示范性示出了经适配的模型对象12：在图17中，模型对象12在对象图像18中，在图18中，模型对象12在特征图像19中。

在这一实施例中，输入特征图像以为裂隙表面进行适配，其中利用朝向特征图像中的最小值的搜索进行适配。如果裂隙不可见，于是在包括距离值的特征图像中没有区分出的最小值，则主要由将表面对象模型的表面点保持在相对于其相邻点的默认相对位置的项来控制适配。通过这种方式，如果裂隙可见，始终能够获得良好的分割，如果裂隙不可见，则获得能最佳了解解剖结构的分割。

在其他实施例中，可以在步骤201到202之前执行步骤203到205。可以将步骤201、202和206组合成分割步骤，可以将步骤203、204和205组合成特征图像产生步骤，其中，如果执行这种组合，必须要在分割步骤之前执行特征图像产生步骤。在其他实施例中，特征图像产生步骤可以是其他步骤的组合，只要特征图像产生步骤产生示出了与子对象之间的中间区域相关的特征的特征图像即可。例如，对于肺图像作为对象图像的情况，可以视为距离图的包括距离值的特征图像也可以是距经分割血管的距离倒数图(inversed distance map)，或距离图和这种距离倒数图的组合。此外，在步骤203中，特征增强单元7可以使用增强与对象图像中子对象之间的中间区域相关的特征的任何增强滤子。此外，可以省略阈值步骤204，在步骤205中距离值的确定也可以省略。

由于能更快和/或更精确地报告辐射发现物，很多诊断过程会受益于所述的肺叶的分割。范例是考虑到解剖学的肺气肿或栓塞的自动量化、肺小瘤的定位和支气管的肺叶明确(wise)表征。优选自动执行分割，且分割允许例如进行自动的体积测量，以进行肺气肿量化或小瘤检测。

尽管在上述实施例中对象优选是包括肺叶的肺，在其他实施例中，对象可以是包括子对象的任何其他对象，例如包括子对象的技术对象。

尽管在上述实施例中对象图像优选是计算机断层摄影图像，在其他实施例中，对象图像可以是必须要分割的示出了包括子对象的对象的任何其他图像，例如磁共振图像、超声波图像、核图像、热图像或光学图像。

通过研究附图、公开和所附权利要求，本领域技术人员能够在实践所要求保护的本发明的过程当中理解并实施针对所公开的实施例的其他变型。

在权利要求中，“包括”一词不排除其他元件或步骤，不定冠词“一”或“一个”不排除多个元件或步骤。

单个单元或装置可以完成权利要求中列举的几项的功能。在互不相同的从属权利要求中陈述某些措施不表示不能有利地采用这些措施的组合。

可以由任何其他数量的单元或装置执行由一个或若干单元或装置执行的确定和计算，例如增强特征、确定距离值、适配等。例如，可以由单个单元或任意其他数量的不同单元执行步骤101到106。可以将根据分割包括子对象的对象的方法的用于分割包括子对象的对象的设备的计算或确定和/或控制实现为计算机程序的程序代码模块和/或专用硬件。

可以将计算机程序存储/分布在适当的介质当中，例如，所述介质可以是光存储介质或者与其他硬件一起提供的或者作为其他硬件的部分的固体介质，但是，也可以使所述计算机程序通过其他形式分布，例如，通过因特网或者其他有线或无线电信系统。

权利要求中的任何附图标记不应被解读为对范围的限制。

Claims (14)

1.一种用于分割在对象图像(18)中所示的包括子对象的对象的设备(1)，所述设备包括：

-用于产生特征图像(19)的特征图像产生单元(2)，所述特征图像示出与所述子对象之间的中间区域相关的特征，

-利用所述对象图像和所述特征图像分割所述子对象的分割单元(3)。

2.根据权利要求1所述的设备，其中，所述特征图像产生单元(2)适于从所述对象图像产生特征图像。

3.根据权利要求2所述的设备，其中，所述特征图像产生单元(2)包括特征增强单元(7)，所述特征增强单元用于增强与所述对象图像中的所述子对象之间的中间区域相关的特征。

4.根据权利要求1所述的设备，其中，所述特征图像产生单元(2)包括用于对所述特征图像执行距离变换的距离单元(8)，其中，所述特征图像包括被分配以特征图像值的特征图像元素，其中，根据以下步骤执行所述距离变换：

-确定所述特征图像元素的中间区域特征图像元素，其中，所述中间区域特征图像元素示出了与所述子对象之间的中间区域相关的特征，

-确定对于特征图像元素的距离值，其中，所述距离值取决于所确定的中间区域特征图像元素和要为其确定距离值的特征图像元素之间的距离，

-用所确定的距离值替代被分配给已被确定距离值的特征图像元素的特征图像值。

5.根据权利要求1所述的设备，其中，所述分割单元包括：

-用于提供包括模型子对象(13，14，15，16，17)的模型对象(12)的模型提供单元(9)，

-用于在所述对象图像和所述特征图像中预定位所述模型对象的预定位单元(10)，以及

-用于将所述模型对象适配到所述对象图像和所述特征图像中的对象的适配单元(11)。

6.根据权利要求5所述的设备，其中，所述适配单元(11)适于使得将模型子对象的面对另一模型子对象的表面适配到所述特征图像并且将所述模型对象的不面对模型子对象的表面适配到所述对象图像。

7.根据权利要求5所述的设备，其中

-所述模型提供单元(9)适于提供表面对象模型(20)和体对象模型(21)，

-所述预定位单元(10)适于确定用于将所述体对象模型(21)配准到所述对象图像(18)和所述特征图像中的至少一个上的变换，并且适于将所确定的变换应用于所述表面对象模型以对所述表面对象模型进行预定位，并且

-所述适配单元(11)适于将所述表面对象模型适配到所述对象图像和所述特征图像中的对象。

8.根据权利要求7所述的设备，其中，所述体对象模型(21)包括内部结构，且其中，所述预定位单元(10)适于忽略所述体对象模型的所述内部结构。

9.根据权利要求5所述的设备，其中，除了所述子对象之外，所述对象还包括元素结构，其中

-所述模型提供单元(9)适于提供所述元素结构的模型(22)，并且

-所述预定位单元(10)适于利用所述元素结构的模型和所述模型对象之间的关系通过将所述元素结构的模型配准到所述对象图像和所述特征图像中的至少一个上来配准所述对象模型，并基于经配准的所述元素结构的模型以及所述元素结构的模型和所述模型对象之间的关系进一步配准所述对象模型。

10.根据权利要求5所述的设备，其中，所述模型对象包括闭合外表面和至少一个内表面，所述闭合外表面将所述模型对象与所述模型对象的外部物分开，所述内表面位于所述模型对象内部，用于将所述模型子对象彼此分开。

11.根据权利要求5所述的设备，其中，所述模型提供单元(9)适于通过执行以下步骤提供包括所述模型子对象的所述模型对象：

-提供包括对象图像元素的若干对象图像，

-分割所述若干对象图像中的子对象，

-将包括经分割的子对象的所述若干对象图像彼此配准，

-使经配准的所述若干对象图像中的经分割的子对象模糊化，从而使得针对每个经分割的子对象将模糊值分配给经配准的所述若干对象图像的对象图像元素，其中，对于每个经分割的子对象，将模糊值分配给经配准的所述对象图像的对象图像元素，其中，所述模糊值取决于相应经配准的对象图像的对象图像元素属于相应经分割的子模型的概率，

-针对每个经分割的子对象对分配给经配准的所述若干对象图像的对应对象图像元素的模糊值求平均，从而为所述若干经配准的对象图像的一组对应对象图像元素产生平均模糊值，

-根据针对相应经分割的子对象为经配准的所述若干对象图像的一组对应对象图像元素分配的平均模糊值，向经分割的子对象分配该组对应对象图像元素。

12.一种分割对象图像(18)中所示的包括子对象的对象的方法，所述方法包括以下步骤：

-借助于特征图像产生单元(2)产生特征图像(19)，所述特征图像示出与所述子对象之间的中间区域相关的特征，

-借助于分割单元(3)利用所述对象图像和所述特征图像分割所述子对象。

13.一种用于分割对象图像(18)中所示的包括子对象的对象的计算机程序，所述计算机程序包括当在计算机上运行所述计算机程序时用于执行如权利要求12所述的方法的步骤的程序代码模块。

14.一种包括子对象的对象的模型，其是根据以下步骤产生的：

-提供包括对象图像元素的若干对象图像，

-分割所述若干对象图像中的子对象，

-将包括经分割的子对象的所述若干对象图像彼此配准，

-使经配准的所述若干对象图像中的经分割的子对象模糊化，从而针对每个经分割的子对象将模糊值分配给经配准的所述若干对象图像的对象图像元素，其中，对于每个经分割的子对象，将模糊值分配给经配准的所述对象图像的对象图像元素，其中，所述模糊值取决于相应经配准的所述对象图像的对象图像元素属于相应经分割的子模型的概率，

-针对每个经分割的子对象对分配给经配准的所述若干对象图像的对应对象图像元素的模糊值求平均，从而为经配准的所述若干对象图像的一组对应对象图像元素产生平均模糊值，

-根据针对相应经分割的子对象为经配准的所述若干对象图像的一组对应对象图像元素分配的平均模糊值，向经分割的子对象分配该组对应的对象图像元素。

Images