CN104956397A - 基于自动空间上下文的3d图像中的多对象分段 - Google Patents

Abstract

方法和系统用于人类和动物身体的内部结构的图像的自动分类。方法包括接收（405）磁共振（MR）图像测试模型，并且确定测试模型的包括测试模型的要分类为骨骼或软骨的区域的测试体积。该方法包括修改测试模型使得测试体积对应于主动形状模型的均值形状和形状变化空间，并且通过使测试体积适合于均值形状和形状变化空间而产生测试体积的初始分类。该方法包括通过关于主动形状模型细化测试体积的边界而产生（425）测试体积到骨骼区域和软骨区域的细化分类，并且将MR图像测试模型分段成对应于骨骼区域和软骨区域的不同区域。

Description

基于自动空间上下文的3D图像中的多对象分段

本发明涉及根据独立权利要求的用于基于自动空间上下文的3d图像中的多对象分段的方法和计算机可读介质。

技术领域

本公开大体地针对计算机辅助成像和图像分析系统，以及类似系统，包括但不限于磁共振成像（MRI）、核磁共振成像（NMRI）和磁共振断层摄影法（MRT）系统（共同地且非排他性地，“成像系统”）。

背景技术

成像系统可以产生、存储、操纵和分析图像，包括人类和动物身体的内部结构的图像。改进的系统是合期望的。

发明内容

所公开的各个实施例包括用于人类和动物身体的内部结构的图像的自动分类的方法和系统。方法包括接收磁共振（MR）图像测试模型，并且确定测试模型的包括测试模型的要分类为骨骼或软骨的区域的测试体积。该方法包括修改测试模型，使得测试体积对应于主动形状模型的均值形状和形状变化空间，并且通过使测试体积适合于均值形状和形状变化空间而产生测试体积的初始分类。该方法包括通过关于主动形状模型细化测试体积的边界而产生测试体积到骨骼区域和软骨区域的细化分类。该方法可以包括将细化分类存储为与MR图像测试模型相关联的分类数据。该方法包括根据细化分类将MR图像测试模型分段成对应于骨骼区域和软骨区域的不同区域。

用于对磁共振图像中的骨骼和软骨进行分类的另一方法包括接收MR图像测试模型，该测试模型包括由多个体素表示的未经分类的骨骼和软骨部分。该方法包括通过数据处理系统使用第一遍随机森林分类器执行第一分类过程，以产生将测试模型的每一个体素分类为股软骨、胫软骨、髌软骨或背景中的一个的第一遍概率图。该方法包括通过数据处理系统使用第二遍随机森林分类器执行第二分类过程，以产生将第一遍概率图的每一个体素分类为股软骨、胫软骨、髌软骨或背景中的一个的第二遍概率图。该方法包括在数据处理系统中存储对应于第二遍概率图、如与MR图像测试模型相关联的分类数据。该方法包括显示MR图像测试模型，包括指示MR图像测试模型的对应于每一个体素的分类的部分。

前文已经非广泛地概述了本公开的特征和技术优点，使得本领域技术人员可以更好地理解接下来的详细描述。之后将描述形成权利要求的主题的本公开的附加特征和优点。本领域技术人员将意识到，他们可以容易地使用所公开的概念和具体实施例作为用于修改或设计实行本公开的相同目的的其他结构的基础。本领域技术人员还将认识到，这样的等同构造未脱离本公开在其最宽形式的精神和范围。

在进行下文的具体实施方式之前，可以有利的是阐述贯穿本专利文档所使用的某些词语或短语的定义：术语“包括”和“包含”以及其派生词意指包括而没有限制；术语“或”是包含的，意指和/或；短语“与……相关联”和“与其相关联”以及其派生形式可以意指包括、包括在……内、与……互连、包含、包含在……内、连接到或与……连接、耦合到或与……耦合、与……可通信、与……协作、交织、并置、接近、结合到或与……结合、具有、具有……的性质等；并且术语“控制器”意指控制至少一个操作的任何设备、系统或其部分，而不管这样的设备是在硬件、固件、软件还是这些中的至少两个的某种组合中实现的。应当指出的是，与任何特定控制器相关联的功能性可以是集中式或分布式的，而不管位于本地还是远程的。贯穿本专利文档提供针对某些词语和短语的定义，并且本领域普通技术人员将理解到，这样的定义在许多（如果不是大多数）实例中适用于这样定义的词语和短语的在先以及将来的使用。尽管一些术语可以包括各种各样的实施例，但是所附权利要求可以清楚地将这些术语限制到具体实施例。

附图说明

为了更完全地理解本公开及其优点，现在参照结合附图考虑的以下描述，其中相同参考标号指明相同对象，并且其中：

图1图示了其中可以实现实施例的数据处理系统的框图；

图2图示了示例性膝盖关节；

图3图示了示例性膝盖关节的MR图像的绘线型图表示；

图4图示了依照所公开的实施例的用于骨骼分段的示例性过程的流程图；

图5图示了依照所公开的实施例的骨骼分段过程；以及

图6图示了依照所公开的实施例的两遍迭代分类框架。

具体实施方式

用于描述本专利文档中的本公开的原理的图1-6和各个实施例仅作为说明并且不应当以任何方式解释为限制本公开的范围。本领域技术人员将理解到，本公开的原理可以在任何适当布置的设备中实现。将参照示例性非限制实施例描述本应用的众多创新教导。

所公开的实施例包括用于识别、分析和分类图像和由图像所表示的元素的改进的成像系统和方法，包括但不限于用于分类和“分段”人类膝盖中和其他人类及动物图像中的软骨结构的成像系统和方法。尽管下文在人类膝盖结构方面描述具体实施例，但是本领域技术人员将认识到，本文所说明的技术和实施例可以适用于诸如臀部、肘部、肩部、腕部等等的其他解剖学图像，并且可以适用于其他图像，所述其他图像包括但不限于骨骼/软骨图像，诸如CT扫描和其他2D及3D图像。

来自3D MR图像的人类膝盖软骨的自动分段是有用但具有挑战性的任务，这归因于具有弥散边界和不均匀强度的软骨的薄片结构。

所公开的实施例包括同时分段股软骨、胫软骨和髌软骨的迭代多类学习方法，并且可以有效地运用骨骼与软骨之间以及还有不同软骨之间的空间上下文约束。

基于软骨仅在对应骨骼表面的某些区域中生长的事实，系统可以提取不仅到骨骼表面的距离的距离特征，而且信息量更大地，到骨骼表面上的密集配准解剖学标志的距离的距离特征。

系统还可以或者可替换地使用迭代判别式分类器的集合，使得在每一次迭代时从由之前所学习的分类器导出的分类置信度图构造概率比较特征。这些特征自动地嵌入感兴趣的不同软骨之间的语义学上下文信息。

所公开的实施例包括用于3D MR图像中的膝盖软骨的完全自动、高度准确且鲁棒的分段方法。该方法是基于学习的并且有效地运用骨骼与软骨之间的空间约束，以及不同软骨之间的约束。具体地，相比于该领域中的现有技术而言，来自对应骨骼的表面上所密集配准的大量解剖学标志的距离特征，以及具有概率比较特征的迭代判别式分类是新的且独特的。

尽管由MRI图像中的软骨分段的问题所推动，但是所提出的方法可以适用于不同模态的医学和其他图像中的不同对象的一般分段问题（包括但不限于诸如探地雷达，结构、包裹和容器的X射线成像，毫米波成像等等的领域）以有效地运用空间语义学信息和上下文约束来提升分段性能。

一般地，软骨作为MRI图像不是清晰可见的。然而，通过所公开的方法学习到的骨骼与软骨之间的空间上下文约束可以用于联合地构造骨骼和软骨的统计模型。相应地，与用这样的现有模型基于可以更加容易地从CT图像分段的骨骼对软骨进行估计相比，其可以更加准确。在如本文所描述的分段或分类之后，为了主题区域的更全面的视图，分类数据和分段图像可以与CT、X射线或其他图像合并。

图1图示了其中可以实现实施例的数据处理系统的框图，例如作为特别地通过软件或以其他方式配置成执行如本文所描述的过程的成像系统，并且特别地作为如本文所描述的多个互连且通信的系统中的每一个。所描绘的数据处理系统包括连接到二级高速缓存/桥104的处理器102，该二级高速缓存/桥104继而连接到本地系统总线106。本地系统总线106可以例如为外围组件互连（PCI）架构总线。在所图示的示例中，也连接到本地系统总线106的是主存储器108和图形适配器110。图形适配器110可以连接到显示器111。

诸如局域网（LAN）/广域网/无线（例如WiFi）适配器112之类的其他外围设备也可以连接到本地系统总线106。扩展总线接口114将本地系统总线106连接到输入/输出（I/O）总线116。I/O总线116连接到键盘/鼠标适配器118、盘控制器120和I/O适配器122。盘控制器120可以连接到存储装置126，其可以是任何适当的机器可使用或机器可读取存储介质，包括但不限于：非易失性、硬编码型介质，诸如只读存储器（ROM）或电可擦可编程只读存储器（EEPROM）；磁带存储装置和用户可记录型介质，诸如软盘、硬盘驱动器和致密盘只读存储器（CD-ROM）或数字多功能盘（DVD）；以及其他已知的光学、电气或磁性存储设备。

在所图示的示例中，也连接到I/O总线116的是音频适配器124，扬声器（未示出）可以连接到该音频适配器124以用于播放声音。键盘/鼠标适配器118提供用于诸如鼠标、跟踪球、跟踪指针等的定点设备（未示出）的连接。

I/O适配器122可以例如连接到成像装备128，其可以包括被配置成执行如本文所描述的过程的任何已知成像系统硬件，并且可以具体地包括如本领域技术人员所已知的MRI、NMRI和MRT装备，以及其他成像装备。

本领域普通技术人员将领会到，在图1中所图示的硬件可以针对特定实现方式而变化。例如，除所图示的硬件之外或者替代所图示的硬件，还可以使用其他外围设备，诸如光学盘驱动器等。仅出于解释的目的而提供所图示的示例，并且所图示的示例不意在暗示关于本公开的架构限制。

依照本公开的实施例的数据处理系统或成像系统包括采用图形用户接口的操作系统。该操作系统准许同时在图形用户接口中呈现多个显示窗口，其中每一个显示窗口向不同应用或相同应用的不同实例提供接口。可以由用户通过定点设备操纵图形用户接口中的光标。光标的位置可以改变，和/或生成诸如点击鼠标按钮之类的事件以致动期望的响应。

如果经过适当修改，可以采用各种商用操纵系统中的一个，诸如位于华盛顿州雷德蒙德的微软公司的产品Microsoft Windows^TM的一个版本。依照如所描述的本公开修改或创建操纵系统。

LAN/WAN/无线适配器112可以连接到网络130（不是数据处理系统100的部分），其可以是如本领域技术人员所已知的任何公共或私人数据处理系统网络或网络的组合，包括因特网。数据处理系统100可以通过网络130与服务器系统140通信，该服务器系统140也不是数据处理系统100的部分，而可以例如实现为分离的数据处理系统100。

MRI提供包括柔软软骨组织的整个膝盖关节的直接且非侵害可视化。在许多情形中，研究人员感兴趣的是对人类膝盖关节中的三个不同软骨进行分段：股软骨、胫软骨和髌软骨。这些软骨分别附着到股骨、胫骨和髌骨。具体地，与作为一片式结构的股软骨和胫软骨不同，髌软骨由两个分离的片构成：横向髌软骨和中间髌软骨。

由于膝盖软骨是非常薄的结构并且附着到三个膝盖骨骼的具体表面位置，因而研究人员优选的是首先分段膝盖骨骼并且将骨骼的先验知识并入到软骨分段过程中。

图2图示了示例性膝盖关节，包括股骨202、股软骨204、胫骨206、胫软骨208、髌骨210和髌软骨212。出于清楚起见而从该图中省略了半月板和肌肉。

准确且可再现的定量软骨测量所要求的软骨组织从MR图像的自动分段在当前系统中是困难或不可能的，这是因为软骨的非均匀性、小尺寸、低组织对比度和形状非规则性的缘故。

图3图示了示例性膝盖关节的MR图像的绘线型图表示，包括股骨302、胫骨206、髌骨310和软骨314的区域。

所公开的实施例包括用于软骨分段的基于完全自动学习的体素分类方法。所公开的技术包括膝盖关节中的对应骨骼的预先分段，但是不依赖于骨骼-软骨界面（BCI）的明确分类。

替代地，所公开的实施例构造从每一个体素到骨骼表面上的大量解剖学标志的距离特征以捕获软骨与骨骼之间的空间关系。由于不要求BCI提取，所以整个框架得以简化并且可以避免分类误差传播。所公开的实施例可以构造多通特征提升森林（multi-pass feature-boosting forest）并且使用到密集标志特征的距离，如下文更详细地描述的。

本文所使用的森林可以实现为随机森林，如本领域技术人员所已知的。如本文中所使用的，这样的随机森林是集成分类器，其包括许多决策树并且输出作为由个体树所输出的分类的模式的分类。一般地，通过使训练情形的数目为N并且使分类器中的变量数目为M的使用而构造每一个树。数目m表示用于在树的节点处确定决策的输入变量的数目；m应当远小于M。系统通过从所有N个可用训练情形中有放回地选择n次（即采用自举样本）而选择用于该树的训练集。系统通过预测其分类而使用其余情形估计树的误差。对于树的每一个节点，系统随机地选择m个变量，该节点处的决策基于这m个变量。系统基于训练集中的这m个变量而计算最佳划分。每一个树完全“生长”并且未被修剪（如可以在构造正常树分类器时所完成的）。在提交时，这样的随机森林的一般讨论可以在en.wikipedia.org/Random_forest处和Leo Breiman, Random Forests, Machine Learning 45, No. 1 (2001): 5-32中找到，特此通过引用并入这二者。例如，Breiman描述了随机森林是树预测器的组合使得每一个树取决于独立采样并且具有用于森林中的所有树的相同分布的随机矢量的值。

除软骨与骨骼之间的连接之外，在不同软骨之中还存在强空间关系，其在其他方案中更经常地被忽视。例如，股软骨总是位于胫软骨的上方，并且两个软骨在两个骨骼在关节移动期间彼此滑过的区中彼此触碰。

为了利用该约束，使用自动上下文技术，所公开的实施例实现迭代判别式分类，使得在每一次迭代时由之前分类器所获得的多分类概率图被用于提取语义学上下文特征。具体地，系统可以将各位置处的概率与随机偏移进行比较并且计算差异。与根据其他技术在固定相对位置处计算概率统计相比，在本文中被称为随机偏移概率差异（RSPD）特征的这些特征在计算上是更高效的，并且对于不同范围的上下文是更灵活的。

联合分类和回归随机森林可以用于解决多个器官分段问题。回归可以用于预测和估计器官边界图。在其他方法中，基于回归的值，输出器官边界图是富有信息量的，但是仍不是高度准确的。

然而，所公开的实施例试图将非常薄层结构化对象分段为软骨，使得回归值中没有多少变化。替代地，作为空间先验的距离信息被编码以用于受监督的分类，这对于以高准确度和重复性进行学习更有效。在该上下文中，空间先验是多个对象之间，更具体地软骨与骨骼之间的先验空间关系。

图4图示了用于由诸如本文所描述的一个或多个数据处理系统（个体地和共同地被称为“系统”）所执行的骨骼分段的示例性过程的流程图。关于该图简要描述的各个步骤在下文更详细地描述。

在一些实施例中，为了将3D MR图像中的三个膝盖骨骼分段，系统可以首先接收具有手动注解的骨骼结构的MR图像训练体积的集合，其被称为“地面实况”骨骼或图像，因为骨骼、软骨和其他结构的分类是已知的（步骤405）。系统可以将地面实况图像转换为网格，并且使用相干点漂移（CPD）方法执行点集配准以产生对应网格（步骤410）。在一些情形中，可以如特此通过引用并入的A. Myronenko和X. Song的Point Set Registration: Coherent Point Drift, IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(12):2262-2275, 2010年12月中所描述的那样使用CPD方法。

例如，如Myronenko所描述的，点集配准是许多计算机视觉任务中的关键成分。点集配准的目标是指派两个点集之间的对应并且恢复将一个点集映射到另一个的变换。可以通过用于刚性和非刚性点集配准二者的CPD方法解决许多因素，包括未知非刚性空间变换、大维度点集、噪声和外形。这样的方法考虑作为概率密度估计问题的两个点集的对准，并且通过最大化可能性而使高斯混合模型（GMM）矩心（表示第一点集）适合于数据（第二点集）。系统可以迫使GMM矩心作为分组相干地移动以保持点集的拓扑结构。在刚性情形中，系统可以通过利用刚性参数对GMM矩心位置的再参数化来强加相干约束，并且导出任意维度中的最大期望算法的最大化步骤的闭型解。在非刚性情形中，系统可以通过调整位移场（displacement field）并且使用变分法来强加相干约束以导出最佳变换。

系统然后可以训练和建立用于所有对应网格的主成分分析（PCA）模型。这些PCA模型是统计形状模型，其捕获由对应网格表示的对象形状的均值和变化。从训练数据/体积的集合建立PCA模型，并且然后可以将PCA模型应用于测试数据/体积以用于分段的目的。

系统然后可以组合PCA模型以产生包括均值形状和形状变化空间的主动形状模型（ASM），均值形状对应于训练体积的骨骼和软骨的平均形状，形状变化空间对应于训练体积的骨骼和软骨的方位的变化的形状变化空间。系统然后可以使这些ASM适合于图像以确定三个膝盖骨骼的初始分段（步骤420），尽管通过该初始的ASM配合进行的分段一般是不准确的。

在特此通过引用并入的T. Coots, C. Taylor, D. Cooper和J. Graham的Active Shape Models – Their Training and Application, Computer Vision and Image Understanding, 61(1):38-59, 1995中描述了ASM技术。例如，Coots描述了一种用于通过学习形成正确注解的图像的训练集合的可变性模式而建立模型的方法。这些ASM可以用于迭代细化算法中的图像搜素，同时仅以与训练集合一致的方式使ASM变形。

系统然后可以在形态上侵蚀掩模以生成骨骼的正种子，使掩模膨胀以生成骨骼的负种子，并且执行随机走动过程以获得细化的骨骼分段掩模（步骤425）。在特此通过引用并入的L. Grady, Random Walks for Image Segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(11):1768-1783, Nov. 2006中描述了一种合适的随机走动算法。例如，Grady描述了一种过程，给定具有用户限定（或预先限定）的标记的少量像素，该过程可以在分析上并且快速地确定在每一个未标记的像素处开始的随机走动将首先到达预先标记的像素之一的概率。通过向针对其计算最大概率的标记指派每一个像素，可以获得高质量的图像分段。这样的过程可以使用来自连续位势论的标准算符和原理的组合模拟而在离散空间中（例如图上）执行，从而允许将其应用于任意图上的任意维度。

系统然后可以在细化骨骼分段掩模上执行3D带符号的距离变换以构造带符号的到骨骼距离特征（步骤430）。系统然后可以再次应用CPD过程以产生分段结果的对应网格（步骤435）。系统使用这些对应网格来构造到密集标志距离特征（步骤440）。

如上文所提及的，首先出于两个主要原因而将膝盖骨骼分段。首先，骨骼表面为软骨分段提供重要空间约束。其次，相对来说更容易将骨骼分段，因为它们具有更规则且区别性的形状。

所公开的实施例通过闭合三角形网格                                                表示骨骼的形状，其中是N个网格点的集合并且是M个三角形指标的集合。给定具有手动骨骼注解的多个训练体积，系统可以使用CPD过程来找到网格点的解剖学对应并且其构造具有表示为的均值形状的统计形状模型。

图5图示了依照所公开的实施例的骨骼分段过程，其包括训练阶段500和检测阶段520。训练阶段500包括在502处接收具有手动注解的骨骼和软骨的训练体积（地面实况图像），在503处执行CPD过程以在504处产生对应网格，并且在505处执行PCA过程以在506处产生主动形状模型，所述主动形状模型包括均值形状和对应的形状变化空间。

检测阶段500使用在506处产生的主动形状模型。这些被应用于要处理的每一个MR图像（“模型”或“测试模型”），它们由系统接收，以在522处确定测试体积。测试体积是要被分类为骨骼、软骨或其他形式的测试模型的区域。本文所描述的MR测试模型的“区域”或“部分”意在指代2D区域或3D体积。

系统在523处通过边际空间学习而使用姿态估计以在524处产生模型的所估计的平移、旋转和缩放，使得测试体积对应于主动形状模型的均值形状和形状变化空间。

系统通过在525处使用模型的所估计的平移、旋转和缩放，经由根据均值形状和形状变化空间使测试体积适合于主动形状模型而进行的迭代边界配合来应用模型变形。这在526处产生初始分段。

初始分段是测试模型的部分到骨骼、软骨或其他的初始分类。

系统然后在527处使用初始分段在用于边界细化的模型上执行随机走动过程，以在528处产生细化分段。在该过程中，系统关于主动形状模型来细化测试体积的边界。细化分段是测试模型的部分到骨骼、软骨和其他的分类。系统然后可以将细化分段存储为与相应测试模型相关联的分类数据，该分类数据标识测试模型的每一个部分的分类或分段。该过程还可以包括显示MR图像测试模型，包括指示对应于每一个体素的分类的MR图像测试模型的部分。如本文所使用的，由系统“接收”可以包括从存储装置加载或从另一设备或过程接收。

在该实施例中，整个骨骼分段框架可以包括三个主要步骤“姿态估计（以确定模型的所估计的平移、旋转和缩放）、模型变形（以恰当地应用模型的平移、旋转和缩放）和边界细化（以调节边界来使测试体积适应于主动形状模型）。

姿态估计：对于给定体积V，首先通过搜素最佳姿态参数来定位骨骼，其中表示平移，表示旋转，并且表示各向异性缩放。

为了加快检测，采用被称为边际空间学习（MSL）的高效推导过程以将原始参数空间中的穷尽搜索分解成三个序列估计问题，每一个处于较低维度边际空间中，如由以下表示：

通过利用所估计的姿态参数线性地变换均值形状来初始化形状。

在特此通过引用并入的Y. Zheng, A. Barbu, M. Georgescu, M. Scheuring和D. Comaniciu的Four-Chamber Heart Modeling and Automatic Segmentation for 3D Cardiac CT Volumes Using Marginal Space Learning and Steerable Feature. IEEE Trans. Med. Imag., 27(11):1668-1681, 2008中描述了可接受的MSL过程。例如，ZHeng描述了用于解决定位心室的9-D相似性变换搜索问题的MSL过程。在确定心室的姿态之后，该过程通过基于学习的边界描绘来估计3-D形状。该MSL过程可以通过将估计划分成三个问题而递增地学习投影样本分布上的分类器：位置估计、位置取向估计和完全相似性变换估计。这样的方法还可以使用基于学习的3-D边界检测器来引导ASM框架中的形状变形。

模型变形：在该阶段，通过沿着法线方向搜索和移动每一个网格点至具有由边界分类器的集合所生成的最高概率的新点来使初始形状变形以适合于边界。所有网格点的总体变形被投影到所建立的统计形状模型的变化子空间。该边界配合过程重复若干次直到收敛为止。

边界细化：为了进一步改进分段准确度，系统使用随机走动过程以细化骨骼边界。网格点的解剖学对应可能在该阶段丢失。因而，系统使用CPD过程来配准在随机走动之前和之后的两个网格点集合以获得细化骨骼表面上的在解剖学上等同的标志，其将用于提取距离特征，如下文将更详细地描述的。

系统可以执行软骨分类，其涉及特征提取、迭代语义学上下文特征提升、以及通过图切割优化的后处理。给定所有三个膝盖骨骼被分段，系统首先从每一个骨骼表面提取最大距离阈值内的感兴趣的带。这可以在线性时间通过对二元骨骼掩模的距离变换而高效地实现。通过仅对感兴趣的带中的体素进行分类，不仅大幅减小用于测试的计算成本，而且还通过移除不相关的负体素而简化了训练。

特征提取：对于具有空间坐标x的每一个体素，系统可以构造多个基本特征，其可以归类为三个子集。强度特征分别包括体素强度及其梯度大小：。距离特征度量每一个体素到不同膝盖骨骼边界的带符号欧几里得距离：，其中是到股骨的带符号的距离，是到胫骨的，并且是到髌骨的。系统还使用线性组合：

这些特征是有用的，因为求和特征f₆和f₈度量体素x是否位于两个骨骼之间的窄空间内，并且差特征f₇和f₉度量其更靠近哪个骨骼。除强度特征f₁之外，求和特征f₆和f₇将胫软骨与股软骨和髌软骨分离。

给定软骨仅可以在骨骼表面上的某些区域中生长的先验知识，其对于软骨分段而言有用的是不仅知晓体素多么接近骨骼表面，而且知晓其在解剖学上处于哪里。因此，系统使用如本文所描述的到骨骼表面上的密集配准标志的以下距离特征：

其中是所有骨骼网格点的标志的空间坐标。归因于大量网格点可用，是在分类器的训练中随机生成的。

上下文特征将当前体素x和另一体素x+u的强度与随机偏差u相比较：

其中u是随机偏差矢量。在本文中被称为“随机偏移强度差异”（RSID）特征的该特征子集通过在训练中随机生成大量不同值u而捕获不同范围中的上下文信息。这些特征可以用于解决姿态分类和关键点识别问题。

迭代语义学上下文特征提升：所公开的实施例可以采用多遍迭代分类过程来自动地运用用于多个对象分段问题的语义学上下文。在每一遍中，所生成的概率图将用于提取上下文嵌入的特征以提升下一遍的分类性能。

图6图示了具有被选择为用于每一遍的基本分类器的随机森林的二遍迭代分类过程，但是该方法可以扩展至使用其他判别式分类器的更多遍迭代。

该软骨分段过程包括两级分类器，还被称为两遍分类。该实施例包括训练阶段600和测试阶段630，它们可以同时执行或者可以独立地执行。也就是说，有一个时期，训练阶段600可以完成并且其结果被存储，并且在随后的时间，可以使用训练阶段600的结果执行测试阶段630。

训练阶段600基于训练图像602的集合与在每一个训练图像中手动注解的软骨地面实况信息604的比较。训练输出是具有所选特征、阈值、分类概率和其他参数的第一遍随机森林分类器610。第一遍随机森林分类器610可以用于产生第一遍概率图606。

训练阶段600然后可以包括第二遍，其中软骨地面实况信息604与第一遍概率图606相比较以产生具有所选特征、阈值、分类概率和其他参数的第二遍随机森林分类器620。第二遍随机森林620可以用于产生第二遍概率图608。

在测试阶段630期间，对于任何测试图像632（其中没有地面实况的MR图像测试模型的任何给定图像），这些随机森林分类器可以在633处用于自动地将图像中的每一个体素分类为四个分类中的一个：股软骨、胫软骨、髌软骨和背景（其他任何事物）。

更具体地，每一个测试图像在633处与第一遍随机森林分类器610相比较以产生一般地与输入图像具有相同尺寸的第一遍概率图634。第一遍概率图634中的每一个体素的值指示该体素作为四个分类中的任一个的可能性。一般地，体素将被分类为四个分类中具有最大可能性的一个。

由第一遍随机森林分类器610所获得的第一遍概率图634可以由第二遍随机森林分类器620在635处用于改进分类性能。在635处使用第二遍随机森林分类器620获得的第二遍概率图636可以用作最终分类决策，并且系统然后可以将对应于第二遍概率图的分类数据640存储为与MR图像测试模型相关联的。

最后，作为测试阶段630的部分或者分离地，系统可以在650处对测试图像中的每一个进行分段。该过程可以包括使用分类数据640来将每一个测试图像分段为不同区域，诸如一般骨骼区域、软骨区域、以及其他或背景区域，或者具体区域，诸如髌骨区域、髌软骨区域、股骨区域、股软骨区域、胫骨区域以及胫软骨区域。该过程可以包括与分类数据一起存储该分段数据或者存储作为分类数据的部分的该分段数据，或者可以包括利用分段数据注解每一个测试图像以作为元数据或其他形式，使得当图像被显示给用户时，对应的分段数据也可以被显示以标记或以其他方式指示（诸如通过颜色编码）不同分段区域。测试图像到不同区域的分段可以基于根据该体素的分类将每一个体素指派给相应区域。

当然，系统可以扩展成多于两级的分类器，其中每一级利用从前一级所获得的概率图，并且从最后一级输出的概率图被用作最终分类决策。

语义学上下文特征：在每一遍分类之后，生成概率图并且概率图用于提取语义学上下文特征，如以下所限定的：

其中和分别代表股软骨、胫软骨和髌软骨概率图。以与上文的RSID特征相同的方式，系统可以将两个体素的概率响应与随机偏移进行比较

其被称为随机偏移概率差异特征（RSPD），提供语义学上下文信息，因为与原始强度体积相比较，概率图值与解剖学标记直接相关联。

在这样的多遍分类系统中，每一个后续遍的概率图示出具有较少噪声响应的定量改进。

通过图切割优化进行的后处理：在多遍迭代分类之后，系统可以使用四个分类（背景、股软骨、胫软骨和髌软骨）的概率，以构造能量函数并且执行多标记图切割以利用平滑度约束来细化分段结果。在特此通过引用并入的Y. Boykov, O. Veksler和R. Zabih.的Fast Approximate Energy Minimization via Graph Cuts, IEEE Transactions on Pattern Analysis and Machine Intelligence, 23(11):1222-1239, Nov. 2001中描述了可接受的图切割过程。例如，Boykov描述了基于高效地找到关于扩展移动和交换移动的局部最小值的图切割的过程。这些移动可能同时改变任意大集合像素的标记。这样的过程找到全局最小值的已知因素内的标记并且处置一般能量函数。这些过程允许非连续保持能量的重要情形。

图切割算法将标记l(x)指派给每一个体素x并且将标记l(y)指派给体素y，使得以下的能量E最小化：

其中L是全局标记配置，N是相邻系统，是平滑度能量，并且是数据能量。系统限定

。

在l(x)和l(y)是不同标记时取值1，并且在l(x)=l(y)时取值0。取值或，这取决于标记l(x)。和是两个参数。指定数据能量对比平滑度能量的权重，而表示图像噪声。

当然，本领域技术人员将认识到，除非操作序列具体地指示或要求，否则上文所描述的过程中的某些步骤可以省略、并发或依次地执行、或者以不同顺序执行。本文所描述的实施例的各种特征和过程可以在本公开的范围内彼此组合。

本领域技术人员将认识到，出于简单性和清楚性，适于供本公开使用的所有数据处理系统的全部结构和操作未在本文中图示。替代地，仅描绘和描述对于本公开独特的或者对于理解本公开必要的数据处理系统的那么多内容。数据处理系统100的构造和操作的其余部分可以符合本领域中已知的各种当前实现方式和实践中的任一个。

重点指出的是，尽管本公开包括完整功能系统的上下文中的描述，但是本领域技术人员将意识到，本公开的机制的至少部分能够以包含在任何各种形式的机器可使用、计算机可使用或计算机可读介质内的指令的形式分布，并且本公开等同地适用而不管用来实际实行该分布的指令或信号承载介质或存储介质的特定类型。机器可使用/可读或计算机可使用/可读介质的示例包括：非易失性、硬编码型介质，诸如只读存储器（ROM）或电可擦可编程只读存储器（EEPROM）；以及用户可记录型介质，诸如软盘、硬盘驱动器和致密盘只读存储器（CD-ROM）或数字多功能盘（DVD）。

尽管已经详细描述本公开的示例性实施例，但是本领域技术人员将理解的是，可以在不脱离本公开在其最宽形式的精神和范围的情况下做出各种改变、替换、变型和改进。

本申请中没有任何描述应当被解读为暗示任何特定元件、步骤或功能是必须包括在权利要求范围中的必要要素：要求专利权的主题的范围仅由授权的权利要求限定。

Claims (20)

1.一种用于对磁共振（MR）图像中的骨骼和软骨进行分类的方法，包括：

- 在数据处理系统中接收MR图像测试模型，所述测试模型包括未经分类的骨骼和软骨部分；

- 通过所述数据处理系统确定所述测试模型的测试体积，所述测试体积包括所述测试模型的要分类为骨骼或软骨的区域；

- 通过所述数据处理系统修改所述测试模型，使得所述测试体积对应于主动形状模型的均值形状和形状变化空间；

- 通过所述数据处理系统，通过使所述测试体积适合于所述主动形状模型的所述均值形状和所述形状变化空间而产生所述测试体积到骨骼区域和软骨区域的初始分类；

- 通过所述数据处理系统，通过关于所述主动形状模型细化所述测试体积的边界而产生所述测试体积到骨骼区域和软骨区域的细化分类；以及

- 根据所述细化分类将所述MR图像测试模型分段成对应于骨骼区域和软骨区域的不同区域。

2.如权利要求1所述的方法，还包括：

- 接收多个训练体积，所述多个训练体积包括骨骼和软骨的已知区域；

- 执行相干点漂移（CPD）过程以产生对应网格，所述对应网格的每一个对应于相应的每一个训练体积；

- 执行主成分分析（PCA）过程以从所述对应网格产生PCA模型；以及

- 从所述PCA模型产生所述主动形状模型。

3.如权利要求2所述的方法，其中所述CPD过程包括在所述多个训练体积上执行点集配准。

4.如权利要求1-3中一项所述的方法，其中修改所述测试模型包括将模型变形应用于所述测试模型，所述模型变形包括所述测试模型的平移、旋转和缩放。

5.如权利要求1-4中一项所述的方法，其中所述数据处理系统通过边际空间学习而使用姿态估计来产生所述测试模型的修改所要求的估计的平移、旋转和缩放。

6.如权利要求1-5中一项的权利要求1所述的方法，其中关于所述主动形状模型细化所述测试体积的边界包括执行随机走动过程。

7.如权利要求1-6中一项所述的方法，其中将所述MR图像测试模型分段成对应于骨骼区域和软骨区域的不同区域包括将所述MR图像测试模型分段成髌骨区域、髌软骨区域、股骨区域、股软骨区域、胫骨区域以及胫软骨区域。

8.如权利要求1所述的方法，其中所述数据处理系统利用对应于所述不同区域的分段数据来注解所述MR测试图像模型。

9.如权利要求3所述的方法，其中所述数据处理系统显示所述MR图像测试模型，包括指示所述MR图像测试模型上的所述不同区域。

10.一种用于对磁共振（MR）图像中的骨骼和软骨进行分类的方法，包括：

- 在数据处理系统中接收MR图像测试模型，所述测试模型包括由多个体素表示的未经分类的骨骼和软骨部分；

- 通过所述数据处理系统使用第一遍随机森林分类器执行第一分类过程以产生将所述测试模型的每一个体素分类为股软骨、胫软骨、髌软骨或背景中的一个的第一遍概率图；

- 通过所述数据处理系统使用第二遍随机森林分类器执行第二分类过程以产生将所述第一遍概率图的每一个体素分类为股软骨、胫软骨、髌软骨或背景中的一个的第二遍概率图；

- 在所述数据处理系统中存储对应于所述第二遍概率图、如与所述MR图像测试模型相关联、并且指示每一个体素的分类的分类数据；以及

- 显示所述MR图像测试模型，包括指示所述MR图像测试模型的对应于每一个体素的分类的部分。

11.一种数据处理系统，包括：

处理器；以及

可访问的存储器，所述数据处理系统被配置成：

- 接收MR图像测试模型，所述测试模型包括未经分类的骨骼和软骨部分；

- 确定所述测试模型的测试体积，所述测试体积包括所述测试模型的要分类为骨骼或软骨的区域；

- 修改所述测试模型使得所述测试体积对应于主动形状模型的均值形状和形状变化空间；

- 产生所述测试体积到骨骼区域和软骨区域的初始分类；

- 通过关于所述主动形状模型细化所述测试体积的边界而产生所述测试体积到骨骼区域和软骨区域的细化分类；以及

- 根据所述细化分类将所述MR图像测试模型分段成对应于骨骼区域和软骨区域的不同区域。

12.如权利要求11所述的数据处理系统，其中所述数据处理系统还被配置成：

- 接收多个训练体积，所述多个训练体积包括骨骼和软骨的已知区域；

- 执行相干点漂移（CPD）过程以产生对应网格，所述对应网格的每一个对应于相应的每一个训练体积；

- 执行主成分分析（PCA）过程以从所述对应网格产生PCA模型；以及

- 从所述PCA模型产生所述主动形状模型。

13.如权利要求12所述的数据处理系统，其中所述CPD过程包括在所述多个训练体积上执行点集配准。

14.如权利要求11-14中一项所述的数据处理系统，其中修改所述测试模型包括将模型变形应用于所述测试模型，所述模型变形包括所述测试模型的平移、旋转和缩放。

15.如权利要求11-14中一项所述的数据处理系统，其中所述数据处理系统通过边际空间学习而使用姿态估计来产生所述测试模型的修改所要求的估计的平移、旋转和缩放。

16.如权利要求11-15中一项所述的数据处理系统，其中关于所述主动形状模型细化所述测试体积的边界包括执行随机走动过程。

17.如权利要求11-16中一项所述的数据处理系统，其中将所述MR图像测试模型分段成对应于骨骼区域和软骨区域的不同区域包括将所述MR图像测试模型分段成髌骨区域、髌软骨区域、股骨区域、股软骨区域、胫骨区域以及胫软骨区域。

18.如权利要求11所述的数据处理系统，其中所述数据处理系统利用对应于所述不同区域的分段数据来注解所述MR测试图像模型。

19.如权利要求13所述的数据处理系统，其中所述数据处理系统显示所述MR图像测试模型，包括指示所述MR图像测试模型上的所述不同区域。

20.一种数据处理系统，包括：

处理器；以及

可访问的存储器，所述数据处理系统被配置成：

- 接收MR图像测试模型，所述测试模型包括由多个体素表示的未经分类的骨骼和软骨部分；

- 使用第一遍随机森林分类器执行第一分类过程以产生将所述测试模型的每一个体素分类为股软骨、胫软骨、髌软骨或背景中的一个的第一遍概率图；

- 使用第二遍随机森林分类器执行第二分类过程以产生将所述第一遍概率图的每一个体素分类为股软骨、胫软骨、髌软骨或背景中的一个的第二遍概率图；

- 存储对应于所述第二遍概率图、如与所述MR图像测试模型相关联、并且指示每一个体素的分类的分类数据；以及

- 显示所述MR图像测试模型，包括指示所述MR图像测试模型的对应于每一个体素的分类的部分。