CN111354025B - 用于基于深度学习的自动脊柱配准和标记传播的系统和方法 - Google Patents

Abstract

提供了用于全身脊柱标记的方法和系统。在实施方案中，一种方法包括：获取脊柱的非功能性图像体积；获取脊柱的功能性图像体积；用脊柱标记自动标记非功能性图像体积；自动校正几何失准并配准功能性图像体积并且将脊柱标记传播到功能性图像体积。以这种方式，可以利用非功能性成像体积的解剖细节来改善基于功能性成像(诸如扩散加权成像(DWI)的临床诊断。

Description

用于基于深度学习的自动脊柱配准和标记传播的系统和方法

技术领域

本文公开的主题的实施方案涉及磁共振成像(MRI)，并且更具体地，涉及标记全身脊柱图像体积，将功能性全身脊柱图像体积配准为非功能性图像体积，以及将标记从非功能性图像体积传播到功能性图像体积。

背景技术

脊柱是整个人体中最复杂的解剖结构。它由二十六块不规则的骨头组成，这些骨头以产生柔性弯曲结构的方式相连。普通成年人的椎骨柱约70厘米长，并且具有七个主要分区。颈部区域存在的七块椎骨构成颈椎，接下来的十二块椎骨组成胸椎，而支撑下背的五块椎骨是腰椎。这些椎骨下面的骶骨与骨盆的髋骨接合。整个椎骨柱被小尾骨终止。椎间盘作为减震器，并且允许脊柱伸展。这些在腰部区域和颈部区域最厚，以增强这些区域的柔韧性。椎间盘退变是相对常见的现象，由于磨损而老化，并且是背痛的主要原因。退变性腰脊柱疾病包括具有或不具有神经元受压或脊柱不稳定性的腰脊柱椎关节强硬(关节炎)和退变性椎间盘疾病。

磁共振成像(MRI)是一种可在不使用x射线或其他电离辐射的情况下产生人体内部影像的医学成像模态。MRI使用超导磁铁来产生强大、一致、稳恒的磁场。当将人体或人体的一部分置于磁场中时，与组织水中的氢原子核相关的核自旋变得极化，其中与这些自旋相关的磁矩会变得优先沿着磁场的方向排列，从而沿着该轴线产生小的净组织磁化。MRI系统还包括梯度线圈，该梯度线圈利用正交轴产生较小振幅、在空间上变化的磁场，以通过在身体中的每个位置处产生特征共振频率来对MR信号进行空间编码。然后使用射频(RF)线圈在处于或接近氢原子核的共振频率处产生RF能量脉冲，这会给核自旋系统增加能量。当核自旋弛豫回到其静止能量状态时，其以RF信号的形式释放吸收的能量。该信号由MRI系统检测并使用重建算法转换成图像。患者的全身MRI扫描可以用于对脊柱成像，以帮助识别和诊断异常。

发明内容

在一个实施方案中，一种方法包括：用脊柱标记自动标记脊柱的非功能性全身图像体积；自动将所述脊柱的功能性全身图像体积配准到所述非功能性全身图像体积；以及将所述脊柱标记传播到经配准的功能性全身图像体积。以这种方式，可以利用非功能性成像体积的解剖细节来改善基于功能性成像(诸如扩散加权成像(DWI)的临床诊断。

应当理解，提供上面的简要描述来以简化的形式介绍在具体实施方式中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。

附图说明

通过参考附图阅读以下对非限制性实施方案的描述将更好地理解本公开，其中以下：

图1是示出根据实施方案的用于全身脊柱标记的示例系统的框图；

图2示出了示出根据实施方案的示例深度神经网络的示意图；

图3示出了示出根据实施方案的深度神经网络的示例节点的示意图；

图4示出了示出根据实施方案的用于拼接和配准多工位或单工位轴向脊柱全身图像体积的示例深度神经网络的框图；

图5示出了根据实施方案的示例经拼接和配准的多工位脊柱图像；

图6示出了示出根据实施方案的用于标记功能性脊柱图像的示例方法的高级流程图；

图7示出了根据实施方案的示例全身功能性MR图像体积和全身非功能性MR图像体积；

图8示出了根据实施方案的通过深度神经网络在非功能性体积上进行轴向全身脊柱标记的示例；

图9示出了根据实施方案的描绘传播到用于非功能性MR图像体积的各种多平面重组视图的脊柱标记的一组图像；

图10示出了根据实施方案的描绘脊柱的标记和注释从非功能性体积到功能性体积的传播的一组图像；

图11示出了示出根据实施方案的用于生成融合图像的示例方法的高级流程图；

图12示出了根据实施方案的描绘非功能性和功能性MR全身解剖数据与脊柱标记的融合的图像；

图13示出了根据实施方案的以不同的多平面重组视图描绘非功能性MR图像和融合图像的一组图像；

图14示出根据实施方案的以矢状视图、冠状视图和轴向视图描绘融合图像的一组图像；以及

具体实施方式

在全身成像扫描中，对位于脊柱周围的异常的诊断具有挑战性。为了准确的诊断，可能需要在所有多平面重组视图中查看脊柱的外观、形状和几何形状测量以进行异常检测。因此，在所有多平面重组视图(例如，轴向、冠状、矢状和倾斜视图)中正确定位、分割和标记将帮助改善临床医生的诊断。但是，在轴向全身检查中手动分割和标记脊柱是具有挑战性的任务，并且不能保证准确性。例如，临床医生可能发现在全身解剖扫描中难以识别出由伪影、灰度不均匀、突然的不均匀灰度变化、患者运动和退变性变化充斥的脊柱分段。此外，在退变性脊柱疾病中，相关的灰度由于神经元受压而变化，并且因此在轴向全身扫描中识别和手动标记脊柱非常具有挑战性。

尽管如此，临床医生可能对在扩散加权成像(DWI)全身扫描中了解位于脊柱区域附近的病变的空间位置感兴趣。DWI可以通过其扩散指数检测病变/组织中的早期变化。因此，在DWI中可以更好地识别急性病变和病变明显性。但是，在DWI中可能不能很好地捕获解剖信息或细节。尽管过去已经建立用于自动标记的若干方法，但是它们在处理图像对比度(例如，不均匀性、灰度不均匀)或与磁化率有关的伪影方面不够稳健。因此，这些方法不适用于如DWI的功能性MRI。

以下描述涉及用于全身脊柱标记的各种系统和方法。特别地，提供用于在功能性图像体积中自动标记脊柱的系统和方法。在功能性MR图像体积中自动标记脊柱的方法(诸如图1描绘的方法)包括获取脊柱的非功能性MR图像和功能性MR图像，自动标记非功能性MR图像、拼接和配准非功能性MR图像和功能性MR图像，以及将非功能性图像的标记传播到功能性图像。如本文所用，“非功能性MR图像”是指静态(例如，固定的)MR图像。例如，每个非功能性MR图像可以在单个时间点获取，并且可以描绘脊柱的解剖结构(例如，特征)。如本文所用，“功能性MR图像”是指检测血流变化的运动MR图像。例如，功能性MR图像可以包括在一段时间内获得的一系列图像，可以将该图像与对照图像进行比较以描绘诸如由于脊柱的神经元功能与血流变化相关的活动变化。

深度神经网络(诸如图2和图3中描绘的深度神经网络)可以被训练以执行非功能性MR图像的自动标记、非功能性MR图像和功能性MR图像的自动拼接和配准以及标记的自动传播。如图4所描绘配置的深度神经网络可以自动地将在多个工位处获取的非功能性MR图像和功能性MR图像分别拼接到单个非功能性MR图像体积和单个功能性MR图像体积中，而同时校正几何失准，如图5的示例经校正的整体脊柱图像体积所描绘的。

用于自动标记功能性图像体积的方法(诸如图6所描绘的方法)可以包括按照用户的请求在冠状、轴向、倾斜和矢状视图中的一个或多个中输出标记和分割经配准的功能性脊柱图像。非功能性MR图像和功能性MR图像(例如，图7中描绘的那些图像)可以经由轴向全身MR扫描来获取。图8描绘的轴向非功能性MR图像的脊柱标记可以从轴向视图传播到一个或多个多平面重组视图(诸如矢状、冠状和倾斜)，如图9描绘的。此外，在将功能性MR图像配准到非功能性MR图像之后，来自非功能性MR图像的脊柱标记可以传播到功能性MR图像，如图10描绘的。

用于输出融合图像体积的方法(诸如图14所描绘的方法)包括：接收包括非功能性和功能性MR图像体积的融合的融合脊柱图像的特定视图的请求；并且输出具有自动生成的脊柱标记和注释的融合脊柱图像的请求的视图。通过融合或叠加非功能性和功能性MR图像体积，可以使得非功能性MR图像提供的解剖细节和功能性MR图像提供的动态活动的细节以及自动生成的标记同时可视化，如图12描绘的。从非功能性MR图像体积传播到功能性MR图像体积的脊柱标记可以从轴向功能性视图进一步传播到一个或多个多平面重组视图(诸如轴向、冠状、矢状和倾斜视图)。

来自功能性和非功能性MR图像体积的多平面重组视图可以根据用户需要被融合和显示。例如，如图13描绘的，可以在轴向和矢状视图以及未融合的冠状和轴向视图中显示非功能性和功能性全身解剖数据与脊柱标记的融合。作为另一示例，用户可以请求显示非功能性和功能性MR数据与脊柱标记的融合而用于矢状、冠状和/或轴向视图，如图14描绘的。

图1是示出根据实施方案的用于全身体脊柱标记的示例方法100的框图。诸如MRI设备的成像装置101扫描受试者或患者(未示出)以获取功能性图像105和非功能性图像106。

非功能性图像106输入到深度神经网络110，该深度神经网络被训练以自动分割、标记和注释非功能性图像106。这样，标记的非功能性图像112由深度神经网络110输出。标记的非功能性图像112和功能性图像105被输入到拼接和配准深度神经网络120，该深度神经网络输出经配准的标记的非功能性图像122和经配准的功能性图像125。

将经配准的标记的非功能性图像122和经配准的功能性图像125输入到深度神经网络130，以将经配准的标记的非功能性图像122的标记传播到经配准的功能性图像125。因此，深度神经网络130输出经配准的标记的功能性图像135。

作为说明性示例，图2描绘了具有一个或多个节点/神经元202的神经网络200，在一些实施方案中，该一个或多个节点/神经元可以设置在一个或多个层204、206、208、210、212、214和216中。神经网络200可以是深度神经网络。如本文关于神经元所用，术语“层”是指具有以类似方式连接到模拟神经元的其他集合的输入和/或输出的模拟神经元的集合。因此，如图2所示，神经元202可以经由一个或多个连接218彼此连接，使得数据可以从输入层204传播通过一个或多个中间层206、208、210、212、214到输出层216。

图3示出了根据示例性实施方案的神经元的输入和输出连接。如图3所示，单个神经元202的连接218可以包括一个或多个输入连接302和一个或多个输出连接304。神经元202的每个输入连接302可以是前导神经元的输出连接，并且神经元202的输出连接304可以是一个或多个后续神经元的输入连接。虽然图3将神经元202描绘为具有单个输出连接302，但是它可以具有发射/传递相同值的多个输出连接。在实施方案中，神经元202可以是数据构造，例如，结构、实例化的类对象、矩阵等，并且输入连接218可以由神经元202接收为加权数值，例如浮点或整数值。例如，如图3进一步所示，输入连接X1、X2和X3可以分别经由权重W1、W2和W3加权、求和，并作为输出连接Y发送/发射/传递。如将理解的是，单个神经元202的处理通常可以通过以下公式表示：

其中n是到神经元202的输入连接302的总数。在实施方案中，Y的值可至少部分地基于WiXi的总和是否超过阈值。例如，如果加权输入的总和未超过期望阈值，则Y可具有零(0)值。

如将进一步理解的，输入层204中的神经元202的输入连接302可以被映射到输入201，同时输出层216中的神经元202的输出连接302可以被映射到输出230。如本文所用，将输入连接302“映射”到输入201是指输入201影响/指示输入连接302的值的方式。类似地，如本文所用，将输出连接302“映射”到输出230是指输出连接302的值影响输出230的方式。

因此，在实施方案中，采集/获得的输入201被传递/馈送到神经网络200的输入层204并且传播通过层204、206、208、210、212、214和216，使得输出层216的映射输出连接304生成/对应于输出230。

用于自动标记非功能性图像106的深度神经网络110可以包括具有与图2和图3描绘的深度神经网络相似的架构的神经网络。类似地，用于将经配准的标记的非功能性图像122的标记传播到经配准的功能性图像125的深度神经网络130可以包括具有与图2和图3描绘的深度神经网络相似的架构的神经网络。

在于2018年5月31日提交的名称为“用于使用深度神经网络标记整个脊柱图像的方法和系统”的美国专利申请第15/994,411号中详细描述了深度神经网络110的配置以及用于自动分割、标记和注释非功能性图像106的方法，该美国专利申请通过引用以其整体并入本文。

在一些示例中，图1的拼接和配准深度神经网络120还可以包括具有与图2和图3描绘的深度神经网络相似的架构的神经网络。在其它示例中，深度神经网络架构可以专门适于拼接和配准功能性图像体积和非功能性图像体积。作为示例，图4示出了示出根据实施方案的用于拼接和配准多工位或单工位轴向脊柱全身图像体积401的示例深度神经网络400的框图。深度神经网络400执行具有对准正则化的基于区域的脊柱配准，以将脊柱准确地配准在运动(例如，功能性)体积中。固定(例如，非功能性)体积的标记和解剖先验被作为输入馈送到配准网络。对准正则化基于脊柱鉴别器的基于Hausdorff距离的偏移校正。对于基于机器学习的感兴趣区域(ROI)检测，大多数排名最高的脊柱区域鉴别器位于脊椎骨以及肋骨和皮肤之间的外部身体区域周围。此方法是非确定性算法，并且所得概率随输入脊柱区域鉴别点和迭代次数而增加。

深度神经网络400同时优化和学习基于区域的脊柱描述符空间变换，并且因此可以直接用于配准固定体积和运动体积。此外，一组体积的配准也是用于深度神经网络400的训练过程，从而可以通过所学习的网络的前馈计算而直接采用经训练的配准网络来配准新的固定体积和运动体积，而无需任何优化。

用于训练神经网络400的工作流包括：检查重叠的脊柱区域，从固定图像中提取基于关键区域的脊柱鉴别点和脊柱描述符，从运动图像中提取基于关键区域的脊柱鉴别点和脊柱描述符，使用关键点和/或脊柱描述符的测地线执行自动对准，使用Hausdorff距离匹配基于关键区域的脊柱鉴别点和脊柱描述符，确定基于固定(即非功能性体积)和运动(即功能性体积)脊柱区域的脊柱描述符之间的加权距离，通过收集运动图像和固定图像中的近脊柱区域描述符和远脊柱区域描述符来生成训练数据，将该此数据馈送到神经网络，学习脊柱描述符权重、变形正则化和脊柱重叠区域阈值。

网络400校正固定(即，非功能性)和运动(即，功能性)数据集中固有的任何平面内旋转。网络400为每个固定和运动数据集提取基于测地线的脊柱位移场矢量。网络400为每个固定和运动数据集提取脊柱区域的交互信息和空间位置。网络400使用基于深度神经网络的基于多图集的脊柱区域测地线传播方法执行回归以预测各种脉冲序列设计的几何脊柱含量。

为此，如图4描绘的，功能性的和非功能性的二维图像体积作为输入被馈送到网络400。具体地，在输入到网络400之前，从多个多工位功能性和非功能性图像体积401中将功能性图像体积和非功能性图像体积配对。例如，来自第一工位402的功能性图像体积403和非功能性图像体积404被配对以从第一工位405形成固定和运动体积脊柱区域，而来自第n工位407的功能性图像体积408和非功能性图像体积409被配对以从第n工位410形成固定和运动体积脊柱区域。来自第一工位和第n工位之间的工位的功能性图像体积和非功能性图像体积类似地配对。

然后，将来自多个工位的成对的固定和运动体积脊柱区域馈送到深度神经网络400的输入层415。然后，网络400在卷积层417和419处缩放并执行图像体积的和卷积。网络400进一步在池化层420处执行池化，并且在下采样层425处进行下采样之前，在卷积层422、424处进行附加卷积。在批归一化层426、428、430和432处执行批归一化，并且在上采样层434处对批归一化输出进行上采样。卷积层424的卷积输出和434处的上采样输出在卷积层435处组合并卷积，然后在卷积层437处进一步卷积。卷积输出在上采样层439处被上采样，并且上采样输出和卷积层419的卷积输出在层440处被组合。在卷积层442和444处执行进一步的卷积。

重叠鉴别器450检查固定体积和运动体积之间的几何脊柱重叠，并且对在运动体积内经历对准变化的脊柱位移矢量进行分类。执行此步骤以确保重叠鉴别器450捕获并区分脊柱区域的空间对准中的变化(即，在从交互信息获得的真实数据分布与从回归器445获得的近似分布之间)。然后，重叠鉴别器450的输出传递通过重采样块452，重采样块对脊柱区域位置进行重采样，以提高功能性体积中测地线脊柱矢量位置的准确性。此外，鉴别器450提供准确的脊柱区域梯度，该梯度指向损失函数地形中最陡下降的方向。

在下采样层455处对回归器445的输出进行下采样，然后是密集平坦层456以及批归一化层457和458。总体地，下采样层455、密集平坦层456和批归一化层457、458包括聚合和空间转换层459。459处的聚合包括仅针对脊柱区域校正的最终测地线位移矢量。另外，功能性体积的每个位移矢量的空间转换都存储在矩阵中而用于在功能性体积和非功能性体积的重采样输出之间进行映射。聚合和重采样同时发生。

正则化是并入配准网络400中的机制，以对学习算法进行适当的修改，使得配准网络400对基于区域的脊柱位移矢量和经历对准变化的脊柱空间位置进行概括。这进而提高模型在看不见的功能性体积和非功能性体积上的性能。配准网络400在对准正则化460处并入基于丢弃的对准正则化技术，该技术将聚合块445的输出与重采样脊柱区域位置452进行比较，并随机选择一些节点并将其连同其所有传入和传出连接一起移除。这捕获需要进一步校正的功能性体积的几何失准的更多随机性。该校正是基于将聚合输出和重采样输出的运算输出进行组合。这允许配准以在后续体积中归一化脊柱的连续性。此外，相似性度量462计算在脊柱配准期间运动体积已经经历的转换变化。

为了使网络400执行功能性体积的配准，网络包括对称权重以及用于推理和学习的单独阶段。此外，学习脊柱位移矢量梯度是局部的，但是从输出单元逐层向后传播465。为此，误差导数作为第二损失函数或损失464通过网络传输。为了执行损失464的传输，应当知道非线性的导数。

深度神经网络400的最终输出包括根据固定或非功能性图像体积准确地拼接和配准的所有工位470的运动或功能性体积。作为说明性示例，图5示出了示例经拼接和配准的多工位脊柱图像体积500。经拼接和配准的多工位脊柱图像体积500包括来自第一工位的第一图像体积510、来自第二工位的第二图像体积520、来自第三工位的第三图像体积530和来自第四工位的第四图像体积540。深度神经网络400如上所述自动配准图像体积510、520、530和540，并输出经拼接和配准的图像体积500。

应当理解，示出深度神经网络400的配置用于说明而非限制。可以使用具有不同配置(例如，不同层数)的任何适当的深度神经网络。

因此，上文描述的系统和深度神经网络使得启用在功能性图像体积中自动标记脊柱的系统技术。图6示出了示出根据实施方案的用于标记功能性脊柱图像的示例方法600的高级流程图。关于图1至图4的系统和部件描述方法600，但是应当理解，方法600可以在不脱离本公开的范围的情况下用其它系统和部件来实现。

方法600在605处开始。在605处，方法600包括获取非功能性轴向脊柱图像。获取非功能性轴向脊柱图像包括至少沿着患者的脊柱长度对患者执行非功能性轴向扫描。在610处，方法600获取功能性轴向脊柱图像。获取功能性轴向脊柱图像包括至少沿着患者的脊柱长度对同一患者进行功能性轴向扫描。在一些示例中，可以连续执行非功能性轴向扫描和功能性轴向扫描。但是，在其它示例中，可以在不同时间执行非功能性轴向扫描和功能性轴向扫描。因此，在这样的示例中，获取非功能性轴向脊柱图像和功能性轴向脊柱图像可以包括从存储器中检索在患者的非功能性轴向扫描和功能性轴向扫描期间获取的存储的图像体积。作为说明性示例，图7示出了全身功能性体积710和全身非功能性体积720。

在615处继续，方法600包括分割、标记和注释非功能性轴向脊柱图像。特别地，方法600包括在非功能性轴向脊柱图像中自动分割、标记和注释脊柱。为此，方法600可以将非功能性轴向脊柱图像输入到训练过的神经网络中，以在非功能性轴向脊柱图像中自动分割、标记和注释脊柱。作为说明性示例，图8示出了具有脊柱标记807的非功能性轴向图像体积800。

在620处，方法600包括将标记和分段从非功能性脊柱图像的轴向视图传播到一个或多个其它多平面重组视图。例如，标记和分段可以传播到冠状、矢状和/或倾斜视图。作为说明性示例，图9示出了一组图像900，其描绘了脊柱标记907从轴向视图910传播到用于非功能性图像体积的各种多平面重组视图，包括矢状视图905、冠状视图915和倾斜视图920。在一些示例中，当显示多个视图时，视图之间的标记907的对应(诸如在冠状视图915和倾斜视图922之间描绘的)可以可视化。

再次参照图6，方法600在将脊柱标记传播到多平面重组视图之后继续至625。在625处，方法600包括拼接和配准非功能性轴向脊柱图像和功能性轴向脊柱图像。在其中经由多个工位获取非功能性轴向脊柱图像的示例中，非功能性轴向脊柱图像可以被拼接和配准。然而，在一些示例中，经由单个工位获取非功能性轴向脊柱图像，因此非功能性轴向脊柱图像的拼接和配准是不必要的。可以经由单个工位或多个工位类似地获取功能性轴向脊柱图像。在任一示例中，可以根据非功能性轴向脊柱图像来拼接并配准功能性轴向脊柱图像。特别地，如上文关于图4所描述的，诸如深度神经网络400的深度神经网络可以通过学习非功能性图像体积中的脊柱的几何特性和位置来自动校正功能性图像体积的脊柱中的几何失准。因此，拼接和配准功能性轴向脊柱图像可以包括将功能性轴向脊柱图像与非功能性轴向脊柱图像一起输入到深度神经网络400中。

在630处继续，方法600包括将脊柱标记和脊柱的分割结构从经配准的非功能性轴向脊柱图像传播到经配准的功能性轴向脊柱图像。脊柱标记和脊柱的分割结构从经配准的非功能性轴向脊柱图像到经配准的功能性轴向脊柱图像的传播可以通过神经网络来执行，诸如图2和图3所描绘的神经网络，该神经网络被训练以接收经配准的非功能性和功能性轴向脊柱图像以及非功能性轴向脊柱图像的脊柱标记和分割结构，并自动将标记和分段映射或传播到功能性轴向脊柱图像。由深度神经网络400根据非功能性图像体积对功能性图像体积进行的几何校正改善了脊柱标记和分段从非功能性图像体积传播至功能性图像体积的准确性和容易性。作为说明性示例，图10示出了描绘脊柱的标记1012从非功能性体积1010到功能性体积1020的传播的一组图像1000。

在635处，方法600包括将标记和分段从经配准的功能性脊柱图像的轴向视图传播到其它多平面重组视图，诸如冠状、矢状和/或倾斜视图。因此，可以在任何期望视图中查看功能性图像体积的标记和分段。在640处继续，方法600包括在所请求的视图中输出标记和分割且经配准的功能性脊柱图像。例如，临床医生可以请求脊柱的特定功能性视图，并且方法600向显示装置或存储器输出例如所请求的具有传播的部件和/或分段的视图。方法600随后结束。

此外，除了自动生成的脊柱标记之外，临床医生可能期望查看由非功能性图像体积提供的解剖细节以及由功能性图像体积提供的动态细节。图11示出了示出根据实施方案的用于生成融合图像的示例性方法1100的高级流程图。

方法1100在1105处开始。在1105处，方法1100包括将经配准的非功能性脊柱图像融合到经配准的功能性脊柱图像。将经配准的非功能性脊柱图像融合到经配准的功能性脊柱图像可以包括例如将非功能性图像体积与非功能性图像体积的标记一起共配准和叠加在功能性图像体积上。作为说明性示例，图12示出了图像1200，其描绘了非功能性和功能性全身解剖数据与脊柱标记1205的融合。

在1110处继续，方法1100包括从诸如临床医生的用户接收融合的脊柱图像的特定视图的请求。在1115处，方法1100包括输出带有标记和注释的融合的脊柱图像的所请求的视图。方法1100随后结束。因此，融合可以在所有多平面重组视图(诸如冠状、轴向、矢状和倾斜视图)中可视化。

作为说明性示例，图13示出了一组图像1300，其描绘了不同的多平面重组视图(包括冠状视图1305、融合的轴向视图1310、融合的矢状视图1315和轴向视图1320)中的非功能性图像和融合图像。因此，除了非功能性图像体积和/或功能性图像体积的一个或多个视图之外，对融合的脊柱图像的特定视图的请求可以包括融合的脊柱图像的一个或多个视图，所有视图根据用户的期望。作为另一说明性示例，图14示出了一组图像1400，其在矢状视图1405、冠状视图1410和轴向视图1415中描绘了融合图像。

因此，本文提供的系统和方法实现通过深度学习神经网络方案在轴向全身解剖扫描中自动标记和注释脊柱；将轴向视图中的脊柱标记/注释自动传播、映射或转换为其它多平面重组视图，诸如冠状、倾斜和矢状视图；将标记从全身非功能性体积的多平面重组轴向/冠状/矢状/倾斜视图自动映射、传播或转换至同一患者的功能性体积的相应多平面重组视图；学习非功能性体积的特征并自动校正功能性体积中的任何几何失准或不匹配；当用户将轴向功能性全身体积融合/共配准/叠加在非功能性全身体积上时，自动标记和注释脊柱；以及将融合的脊柱的标记传播、转换或映射到其它多平面融合/共配准/叠加的重组视图，诸如倾斜、冠状和矢状视图。

作为概述，多工位或多体积轴向非功能性解剖扫描被绑定到单个全身体积中。类似地，多工位或多体积轴向功能性解剖扫描被绑定到单个全身体积中。用户可以请求对轴向非功能性全身图像体积自动分割、标记和注释脊柱。智能的深度神经网络执行脊柱的自动分割、标记和注释。用户可以进一步请求将分割的脊柱标记/轮廓/注释传播或映射到所有对应的多平面重组视图。然后，用户可以在所有多平面重组视图中(诸如冠状、轴向、矢状和倾斜视图)可视化经分割、标记、注释的脊柱。

本公开的技术效果包括在功能性图像体积中自动标记脊柱。本公开的另一技术效果包括功能性图像体积中的脊柱位置的自动几何校正。本公开的又一技术效果包括显示其上叠加有自动生成的标记的融合的图像体积，该图像体积包括非功能性图像体积和功能性图像体积。

如本文所用，以单数形式列举并且以单词“一个”或“一种”开头的元件或步骤应当被理解为不排除多个所述元件或步骤，除非明确说明此类排除。此外，对本发明的“一个实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。此外，除非明确地相反说明，否则“包含”、“包括”或“具有”具有特定特性的元件或多个元件的实施方案可包括不具有该特性的附加此类元件。术语“包括”和“在......中”用作相应术语“包含”和“其中”的通俗语言等同物。此外，术语“第一”、“第二”和“第三”等仅用作标记，而不旨在对其对象施加数字要求或特定位置次序。

该书面描述使用示例来公开本发明，包括最佳模式，并且还使相关领域中的普通技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明可取得专利权的范围由权利要求书限定，并且可包括本领域普通技术人员想到的其他示例。如果此类其它示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其它示例旨在落入权利要求书的范围内。

Claims (18)

1.一种用于磁共振成像的方法，包括：

用脊柱标记自动标记脊柱的非功能性全身图像体积，其中自动标记所述非功能性全身图像体积包括将所述非功能性全身图像体积输入到第一经训练的神经网络中，其中所述第一经训练的神经网络自动分割和标记所述非功能性全身图像体积；

自动将所述脊柱的功能性全身图像体积配准到所述非功能性全身图像体积；以及

将所述脊柱标记传播到所述经配准的功能性全身图像体积。

2.根据权利要求1所述的方法，其中自动配准所述功能性全身图像体积包括将所述功能性全身图像体积和所述非功能性全身图像体积输入到第二经训练的神经网络，其中所述第二经训练的神经网络通过学习基于区域的几何特性和所述非功能性全身图像体积中所述脊柱的位置，自动校正所述功能性全身图像体积的脊柱区域中的几何不匹配或失准。

3.根据权利要求2所述的方法，其中所述第二经训练的神经网络校正非功能性全身图像体积和功能性全身图像体积中固有的平面内旋转。

4.根据权利要求1所述的方法，其中将所述脊柱标记传播到所述经配准的功能性全身图像体积包括将具有所述脊柱标记的所述非功能性全身图像体积和所述经配准的功能性全身图像体积输入到第三经训练的神经网络中，其中所述第三经训练的神经网络将所述脊柱标记从所述非功能性全身图像体积映射到所述经配准的功能性全身图像体积。

5.根据权利要求1所述的方法，进一步包括将所述脊柱标记从所述经配准的功能性全身图像体积传播到所述经配准的功能性全身图像体积的一个或多个多平面重组视图。

6.根据权利要求1所述的方法，进一步包括融合所述非功能性全身图像体积和所述功能性全身图像体积以生成融合的图像体积，其中所述融合的图像体积包括具有所述脊柱标记的所述非功能性全身图像体积叠加在所述经配准的功能性全身图像体积上。

7.根据权利要求1所述的方法，其中所述非功能性全身图像体积描绘了所述脊柱的解剖结构，并且所述功能性全身图像体积描绘了所述脊柱的神经元或扩散功能。

8.根据权利要求1所述的方法，其中所述功能性全身图像体积包括扩散加权图像体积、PET图像体积或交叉模态图像体积。

9.一种用于磁共振成像的方法，包括：

用第一经训练的神经网络对脊柱的功能性全身MR图像体积中所述脊柱的位置进行几何校正，以产生经校正的功能性图像体积；

用第二经训练的神经网络将所述脊柱的标记从所述脊柱的非功能性全身MR图像体积传播到所述经校正的功能性图像体积；以及

显示所述经校正的功能性图像体积的视图，所述脊柱的所述标记叠加在所述视图上；

其中所述方法还包括用第三经训练的神经网络在所述非功能性全身MR图像体积中自动生成所述脊柱的所述标记。

10.根据权利要求9所述的方法，其中对所述功能性全身MR图像体积中所述脊柱的位置进行几何校正包括将所述非功能性全身MR图像体积和所述功能性全身MR图像体积输入到所述第一经训练的神经网络，其中所述第一经训练的神经网络学习所述非功能性全身MR图像体积中所述脊柱的位置和取向，并根据所述非功能性全身MR图像体积中所述脊柱的所述位置和/或取向对所述功能性全身MR图像体积中所述脊柱的所述位置和/或取向进行几何校正。

11.根据权利要求9所述的方法，其中所述功能性全身MR图像体积包括经由多个成像工位获取的多个功能性全身MR图像体积，其中对所述功能性全身MR图像体积中所述脊柱的所述位置或取向进行几何校正包括对所述多个功能性全身MR图像体积之间的所述脊柱的失准或不匹配进行几何校正。

12.根据权利要求11所述的方法，其中所述经校正的功能性图像体积包括通过所述几何校正而被拼接并配准为单个功能性全身MR图像体积的所述多个功能性全身MR图像体积。

13.根据权利要求11所述的方法，其中所述非功能性全身MR图像体积包括经由多个成像工位获取的多个非功能性全身MR图像体积，并且其中经由相应成像工位获取的功能性全身MR图像体积和非功能性全身MR图像体积被配对作为对所述第一经训练的神经网络的输入。

14.根据权利要求9所述的方法，进一步包括：融合所述非功能性全身MR图像体积和所述功能性全身MR图像体积，并显示其上叠加有所述脊柱的所述标记的所述非功能性全身MR图像体积与所述功能性全身MR图像体积的融合。

15.根据权利要求9所述的方法，其中所述视图包括轴向视图，并且进一步包括将所述标记从所述经校正的功能性图像体积的所述视图传播到包括矢状视图、冠状视图和倾斜视图中的一个或多个的多平面重组视图。

16.一种用于自动标记功能性脊柱图像的系统，包括：

第一深度神经网络，所述第一深度神经网络被配置为通过根据非功能性脊柱图像中脊柱的位置对功能性脊柱图像进行几何校正来配准所述功能性脊柱图像；以及

第二深度神经网络，所述第二深度神经网络被配置为将脊柱标记从所述非功能性脊柱图像自动传播到所述经几何校正和配准的功能性脊柱图像；

其中所述系统进一步包含第三深度神经网络，所述第三深度神经网络被配置为自动生成用于所述非功能性脊柱图像的所述脊柱标记。

17.根据权利要求16所述的系统，其中所述功能性脊柱图像包括经由多个工位获取的多个功能性脊柱图像，并且其中所述第一深度神经网络被配置为通过对所述多个功能性脊柱图像之间的所述脊柱的失准进行几何校正而拼接并配准所述多个功能性脊柱图像。

18.根据权利要求16所述的系统，其中所述脊柱标记指示所述脊柱的椎骨部件。