CN111640118B - 使用多参数磁共振成像的肿瘤组织表征 - Google Patents

Abstract

基于多参数MRI来提供脑肿瘤或其他组织分类和/或分割。MRI光谱（诸如，与结构和/或扩散MRI测量相组合的MRI光谱）被用来进行分类。机器学习模型或分类器响应于多参数MRI的输入来区分组织的类型。为了处理针对肿瘤的有限训练数据，可以使用基于片块的系统。为了更好地帮助内科医生解释结果，可以使用机器学习分类器来生成置信度图。

Description

使用多参数磁共振成像的肿瘤组织表征

相关申请

本专利文档要求根据2019年3月1日提交的临时美国专利申请序列号62/812,385的35 U.S.C.§119（e）的申请日的权益，该专利通过引用而在此并入。

联邦资助的研究或开发

本发明是在美国国立卫生研究院授予的CA172210的政府支持下做出的。政府在本发明中具有某些权利。

背景技术

本实施例涉及磁共振成像（MRI）。MRI被用于表征组织，诸如区分不同类型的肿瘤组织。例如，脑肿瘤的组织表征由于块状赘生物边界的勾绘、以及赘生物浸润的范围和程度来指导治疗。对于转移性病变（诸如，低等级或高等级神经胶质瘤），将组织分离为水肿、坏死、增强的肿瘤和腔不仅有助于监测肿瘤进展，而且有助于挑选优选的治疗，并且在切除或放疗的情况下优化对组织的瞄准。

MRI被用于组织评估。对于脑肿瘤分割，生成模型使用脑部的先验信息通过基于图谱（atlas）的图像配准来分割不同类型的组织。然而，该生成模型依赖于配准的质量，该质量可能是不可靠的，尤其是在脑部由于大型肿瘤而变形时是不可靠的。判别模型通过基于图像强度对体素进行分类来分割脑肿瘤。诸如来自T1w、T1对比后、T2w或流体衰减倒置恢复（Flair）参数的结构信息是用以区分肿瘤组织的最常见的MRI信息。MRI结构信息的这四种模态或类型仅提供基本的结构特征，这限制了用于判别不同肿瘤组织的信息。扩散张量成像（DTI）（诸如ADC和TraceW）可以被用来区分肿瘤组织。

发明内容

提供了系统、方法和计算机可读介质上的指令，以用于表征组织，诸如对来自多参数MRI的脑肿瘤组织进行分类和/或分割。MRI光谱（诸如，与结构和/或扩散MRI测量相组合的MRI光谱）被用来进行分类。机器学习模型或分类器响应于多参数MRI的输入来区分组织的类型。为了处理针对肿瘤的有限训练数据，可以使用基于片块的系统。为了更好地帮助内科医生解释结果，可以使用机器学习分类器来生成置信度图。

在第一方面，提供了一种用于根据由磁共振（MR）扫描仪进行的多参数成像来表征肿瘤组织的方法。MR扫描仪对患者进行扫描。该扫描包括患者的结构、扩散和光谱测量。在两个或更多个类的肿瘤类型之间对患者的肿瘤组织进行分类。机器学习分类器响应于该结构、扩散和光谱测量的输入进行分类。显示基于两个或更多个类而分割的肿瘤组织的图像。

可以使用一种或多种类型的结构、扩散和/或光谱MRI参数。例如，用于结构测量的扫描包括T1、T2、FLAIR和T1对比后测量中的两个或更多个。作为另一个示例，用于扩散测量的扫描包括扩散张量成像（DTI）轴向扩散率、DTI分数各向异性、DTI平均扩散率和扩散加权成像（DWI）B0测量中的两个或更多个。在又另一示例中，用于光谱测量的扫描包括N-乙酰基天门冬氨酸、肌酸、乳酸盐、水、糖浆（gix）、肌醇和胆碱测量中的两个或更多个。

在一个实施例中，由机器学习分类器来实行分类，其中该机器学习分类器是完全连接的神经网络。可以使用其他类型的神经网络，诸如卷积神经网络（CNN）或机器学习模型。

不是输入完整的图像信息，该分类可以通过针对与所述测量不同的位置逐片块地应用机器学习分类器来进行。可能已经在片块的训练数据上训练了机器学习分类器，以创建更大数量的训练样本。在一种方法中，使用与肿瘤组织有关的正常组织的加权采样来避免对正常组织进行过采样。替换地，在应用中输入完整的图像信息。

可以区分（即，分类或分割）不同类型的组织。在一种方法中，不同类型的肿瘤组织包括增强的、水肿和腔肿瘤类型。可以使用坏死和/或捕获（catch）全部“其他的”类。该分类可以包括比肿瘤组织类型更多的内容，诸如在多个肿瘤类型与正常组织之间进行分类。

可以将除参数以外的其他信息输入到机器学习分类器以供分类。例如，输入一个或多个正常组织掩码（mask）。

在一个实施例中，针对不同类型的参数的输入测量被共同配准。例如，在被输入到机器学习分类器之前，在空间上配准患者的结构、扩散和光谱测量。

在另一个实施例中，定位肿瘤组织。然后可以使分类指向肿瘤组织和邻近肿瘤组织的组织。不对与该邻近组织间隔开的组织进行分类。替换地，对所有位置进行分类。

在一个实施例中，肿瘤组织是脑肿瘤。扫描患者的脑部，并且该分类是脑肿瘤组织的分类。

在另外的实施例中，图像处理器生成分类的置信度图。该置信度图是通过在机器学习分类器中使用掉落（drop-out）而生成的。所显示的图像包括肿瘤组织的图像和置信度图。

所显示的图像可以包括在不同位置处的不同的类，从而提供分割。按位置进行的分类提供了不同类型的组织之间的分割。

在第二方面，提供了用于针对磁共振成像（MRI）中的分割进行训练的方法。获取了包括多参数MRI扫描的训练数据，该多参数MRI扫描包括肿瘤组织的光谱和结构和/或扩散和真值（ground truth）标记。对神经网络进行机器训练，以基于训练数据对肿瘤组织进行分类。经机器训练的神经网络被存储以用于稍后的应用。

在一个实施例中，训练数据还包括正常组织分割，诸如在灰质、白质和脑脊髓液之间进行分割。可以使用其他类型的数据。

该神经网络可以是完全连接的神经网络。可以使用其他网络，诸如卷积神经网络。可以使用各种损失函数和正则化，诸如使用利用L2正则化的交叉熵损失函数。

在第三方面，提供了一种用于在磁共振成像（MRI）中分割脑组织的系统。MRI扫描仪被配置成扫描患者的脑组织，该扫描包括MRI光谱。图像处理器被配置成：通过将以片块形式的来自该扫描的数据应用于机器学习模型，在不同类型的脑组织之间进行分割。机器学习模型基于片块逐位置地输出该分割。显示器被配置成显示脑组织的分割。

在一个实施例中，MRI扫描仪被配置成以包括MRI光谱、MRI扩散和MRI结构的扫描来进行扫描。图像处理器被配置成以不同类型的脑组织（其是不同类型的肿瘤组织）进行分割。

上述方面中的任何一个或多个可以单独地或以组合形式使用。根据要结合附图阅读的优选实施例的以下详细描述，这些和其他方面、特征和优点将变得显而易见。本发明由所附权利要求限定，并且此部分中的任何内容都不应当被理解为是对那些权利要求的限制。本发明的另外的方面和优点在下文结合优选实施例进行讨论，并且可以稍后独立地或以组合形式来要求保护。

附图说明

组件和附图不一定是按比例的，而是将重点置于说明实施例的原理。此外，在附图中，遍及不同视图，相同的附图标记标明对应的部分。

图1是用于根据由磁共振（MR）扫描仪进行的多参数成像来表征肿瘤组织的方法的一个实施例的流程图；

图2是用于针对MRI中的分割进行训练的方法的一个实施例的流程图；

图3图示了组织表征的示例图；

图4示出了用于肿瘤定位的示例图像；

图5示出了用于脑肿瘤分类的示例输入和输出；以及

图6是用于在MRI中分割脑组织的系统的一个实施例的框图。

具体实施方式

组织表征（诸如，脑肿瘤组织表征）使用多参数MRI。多参数MR被用来确定不同肿瘤组织的精确边界。该多参数MRI扫描被分组成三个类别：结构图像、扩散加权图像和光谱图像。为了提高分类方面的精度，使用脑MR光谱（其量化肿瘤位置处的代谢物的存在）来定义肿瘤的活动部分。多参数MRI扫描被用来标识脑组织类别。这些扫描可以在图像解释方面提供额外的价值，提供图像对比的替换来源，并且改进用以标识和潜在地表征病理状况的醒目性（conspicuity）。这种勾绘可以协助诊断和神经外科。与仅使用结构扫描的方法相比，来自扩散加权成像和光谱成像的图像特征可以协助更准确的分割。

在一个实施例中，使用具有掉落层（dropout layer）的神经网络来创建针对分类的不确定性。该不确定性或置信度图指示在判别组织类型方面具有更多模糊性的区域。实际上，可以为组织表征提供半自动流水线。模型预测被用作初步分割，并且置信度图帮助放射科医师聚焦于模糊的体素。

图1示出了用于根据由MR扫描仪进行的多参数成像来表征肿瘤组织的方法的一个实施例。该方法用于应用机器学习分类器来区分多个组织类型（诸如，肿瘤组织的类型）。提供具有或不具有其他类型的参数（例如，扩散和/或结构）的MR光谱作为针对给定患者的输入。图2涉及训练该分类器。

图3示出了用于训练和应用两者的示意图。使用多参数MRI扫描30-32、正常脑组织分割33以及肿瘤组织的手动标记39来训练分类器34。在应用中，将针对先前未知的具有或不具有正常脑组织分割33的患者的多参数扫描30-33用作对经训练的分类器34的输入，以预测肿瘤组织标签36。在应用中，可以通过使用分类器34进行掉落来生成组织分类的置信度图38，该置信度图38帮助放射科医师完善人类勾绘或做出进一步诊断。

再次参考图1，该方法由图像处理器来实现，该图像处理器诸如是服务器、计算机或工作站的一部分。该图像处理器访问先前的扫描，诸如来自图片存档和通信系统、计算机化的患者病历和/或来自MR扫描仪的传递。在另一个实施例中，MR扫描仪通过对患者进行扫描来获取数据，并且MR扫描仪的图像处理器对机器学习分类器进行配准、定位、应用，创建置信度图，并且生成图像。可以使用其他设备。

该方法按所示次序实行（从上到下或数字次序）。可以使用其他次序。例如，在动作11之前实行动作12。作为另一个示例，在动作14之前实行动作15。

可以提供附加的、不同的或更少的动作。例如，不提供动作11、12和/或14。作为另一个示例，提供了用于定位患者、生成MRI图像和/或帮助用户诊断、跟踪和/或治疗规划的动作。

在动作10中，MR扫描仪对患者进行扫描。患者被定位在MR扫描仪的孔中，并且经受B0主磁场。以梯度磁场顺序地传输MR脉冲。响应被测量作为k空间数据。扫描数据是测量结果（例如，k空间数据或从k空间数据重构的数据（例如，重构的对象域））。

该扫描是体积扫描，诸如针对沿三个维度分布的位置进行测量。在替换的实施例中，实行平面扫描。

该扫描是对患者脑部的扫描。替换地，该扫描是对患者肝脏或其他器官的扫描。该扫描可以是对整个器官、多个器官和/或一个或多个器官的一部分的扫描。本文中使用了脑组织和脑肿瘤组织示例，但是可以扫描其他组织和/或肿瘤。

测量多个参数。可以使用包括不同脉冲布置的不同扫描模式来获取表示不同度量的数据。可以使用任何数量的类别的任何数量的参数。在一个实施例中，多个参数包括一个或多个结构参数、一个或多个扩散参数，和/或一个或多个光谱参数。例如，获取了两个或更多个结构、两个或更多个扩散，以及两个或更多个光谱测量。顺序地实行该扫描。替换地或附加地，压缩感测MR被用来基于使用MR指纹法的一个扫描模式来获取两个或更多个参数的测量。

结构测量对来自解剖体或组织的响应进行测量。可以使用各种结构测量中的任何一种。示例参数包括T1、T2、FLAIR和T1对比后测量。

扩散测量对流体的响应进行测量，作为空间分布（组织中有多少水和/或水的分布）或水分布的方向性分量。示例扩散测量包括扩散张量成像（DTI），诸如DTI轴向扩散率、DTI分数各向异性和DTI平均扩散率。另一个示例是扩散加权成像（DWI），诸如DWI B0测量。

光谱测量对由特定分子进行的响应进行测量。示例光谱测量包括：N-乙酰基天门冬氨酸（NAA）、肌酸、乳酸盐、水、糖浆、肌醇（例如，肌肌醇（myo-Inositol））、甘氨酸、乙酸盐、丙氨酸、谷氨酸、琥珀酸和胆碱的测量。

可以使用其他类别的MRI参数。例如，可以使用功能MR成像，诸如测量身体过程的摄取或操作。可以使用MR灌注测量，其使用了对比增强方法（DCE或DSC）。

在一个实施例中，多参数MRI扫描被用来通过位置来标识脑组织类别。每个患者都具有多参数MRI扫描，它们被分组成三个类别：结构图像、扩散加权图像和光谱图像。表1示出了四个结构、四个扩散和十一个光谱扫描以及所使用的对应测量。

表1 多参数MRI扫描的列表

可以使用其他参数、其他数量的类别、和/或类别内的其他数量的参数。

在动作11中，来自不同时间的测量被共同配准。在使用压缩感测的情况下，空间对准可能已经存在。在实行顺序扫描的情况下，将对象域（例如，在重构或从k空间进行变换之后）中得到的扫描数据在空间上对准。该配准是线性或仿射配准或弹性配准。使用图像强度配准和/或特征检测和配准。

在一个实施例中，同一患者的MRI扫描被严格地共同配准到对比前T1加权的图像扫描。在配准之前或之后，利用线性内插器以1 mm的各向同性分辨率来对扫描数据进行重新采样。取而代之，可以通过在所有对比上匹配解剖界标来进行这样的对准（例如，在脑成像中——前囟、鸡冠（crista galli）、枕骨大孔、左右眼眶、大脑镰（falx））。对于脑成像，骨骼解剖界标为将对比度往回重新对准到T1w给出了精确的参考。在配准和重新采样之后，可以基于平均体素强度和脑组织区域的标准偏差对扫描数据进行z得分归一化。

在动作12中，图像处理器定位肿瘤组织。该肿瘤位于要被分类的组织是不同类的肿瘤组织的地方。一个器官、多个器官或具有不同类的组织区域位于要被分类的组织是不同类的正常组织的地方。

可以实行任何分割。该分割是预处理步骤，以便稍后在动作13中在具有或不具有周围组织的定位区域内进行分类。由于肿瘤区域只是全脑的子集，因此一个可选的预处理步骤是要在继续进行到进一步的组织分类之前生成肿瘤的近似位置或区域。

可以使用基于来自正常病例或对照病例的无监督学习的机器学习模型。在一个实施例中，学习正常脑分布的表示，以在病例（无论是正常的还是患有疾病）与其正常表示之间创建度量。图4示出了示例，其中A是正常脑部的T1图像（左）和VAE重构（右），并且B是患有疾病（例如，肿瘤）的脑部的T1图像（左）和VAE重构（右）。该差异被用来定位肿瘤。可以经由变分自动编码器或生成对抗网络（GAN）状网络（诸如，条件GAN或循环GAN）来进行这样的无监督学习。该位置可以允许将组织表征集中在肿瘤的该估计区域上及其周围。可以使用其他分割。替换地，应用该分类而无需对关注区域的位置进行预处理。

在动作13中，图像处理器在两个或更多个类的组织类型（诸如肿瘤组织的类型）之间对患者的肿瘤组织进行分类。对于脑肿瘤组织的示例，这些类型可以是增强的、水肿、腔、坏死或其他的（例如，不清楚的）。在一个示例中，在没有其他或坏死的情况下使用增强的、水肿和腔。这些类可以包括非肿瘤组织，诸如正常组织。可以使用多于一个正常的类，诸如灰质、白质和脑脊髓液。

该分类是要响应于对不同或多参数的机器学习分类器的输入，诸如响应于每一个结构、扩散和光谱测量中的一个或多个的输入。可以附加地输入其他信息，诸如关于患者的信息（例如，诊断、遗传信息、先前的治疗、饮食和/或家族史）。在一个实施例中，输入一个或多个掩码或正常组织。例如，肿瘤的位置被用来生成对正常组织的位置的掩码或分割。作为另一个示例，为不同类型的正常组织提供不同的掩码。

在一个实施例中，预处理步骤应用不同的机器学习模型来形成掩码。例如，深度学习被用来形成机器学习模型（例如，神经网络）以用于掩码分割。在一个实施例中，双重网络被用于颅骨剥离分割，并且递归神经网络被用于正常组织分割。该网络输出了灰质（GM）、白质（WM）和脑脊髓液（CSF）的位置或分割。分层或单独的机器学习模型可以被用于标识不同类型的正常组织的位置。替换地，使用手动分割或掩蔽。

图3示出了一个或多个结构测量30、一个或多个扩散测量31、一个或多个光谱测量32的输入以及一个或多个正常组织掩码33的示例。不同参数的测量值被输入到分类器34。

分类器34是完全连接的神经网络。这种类型的网络允许将任何大小的片块用作输入。替换地，诸如对于针对给定应用输入完整图像或体积或更大片块而言，可以使用卷积神经网络。可以使用任何网络结构。可以使用任何数量的层、层内的节点、节点的类型（激活）、层的类型、互连、可学习的参数和/或其他网络架构。

分类器34是机器学习分类器。机器训练使用定义的架构、训练数据和优化，以便基于训练数据的样本和真值来学习该架构的可学习参数的值。图2示出了用于针对MRI中的分割进行训练的方法的一个实施例。图2的训练提供了机器学习分类器34，其在应用中被用于先前未看见的患者的扫描数据。

在动作20中，获取训练数据并将其存储在数据库或存储器中。该训练数据是通过从公共或私人形成的集合、传递和/或访问进行汇总、挖掘、加载来获取的。获取数十、数百或数千个训练数据样本。该样本来自不同患者和/或体模（phantom）的扫描。模拟可以被用来形成扫描数据。

该训练数据包括多参数MRI扫描。每个样本包括一个或多个结构扫描、一个或多个扩散扫描和/或一个或多个光谱扫描。例如，为每个样本提供表1的四个结构扫描、四个扩散扫描和十一个光谱扫描。

该训练数据可以包括其他信息。例如，预处理被用来提供掩码和/或定位肿瘤。每个样本包括一个或多个掩码，诸如针对器官或针对器官中的特定结构的掩码。在用于脑成像的一个实施例中，提供了针对灰质、白质和脑脊髓液的掩码。对脑部的正常或健康组织进行分割。该分割可以由专家进行、由图像处理器自动地进行，和/或在图像处理器进行分割和用户进行完善的情况下半自动地进行。在一个实施例中，双重网络被用于颅骨剥离，并且递归网络或其他深度学习神经网络被用于分割。

片块可以被用来增加被用于训练的样本的数量。给定的扫描可以表示区域或体积。该区域或体积被细分成重叠或不重叠的子集——片块（patch）。针对每次扫描，可以形成数十个、数百个或数千个片块。结果，训练样本的数量增加，这是因为一个扫描样本可以被用作许多训练样本。替换地，完整扫描被用作训练样本。

该训练数据包括真值数据。提供了针对每个训练样本的真值的标签。例如，肿瘤组织被加标签。在脑肿瘤组织的示例中，可以针对异常组织来标识（诸如手动标识）五个不同的类别：水肿、增强的肿瘤、坏死、腔和其他的（不清楚的类别）。在一个实施例中，由专家根据结构和/或扩散对比扫描数据来标识肿瘤组织的类型和位置。可以使用真值标签的自动或半自动生成。可以使用其他组或类的肿瘤组织，诸如判别水肿、增强的肿瘤、腔和正常组织。

在动作22中，机器（例如，图像处理器、服务器、工作站或计算机）对神经网络进行机器训练，以对组织进行分类，该组织诸如不同的肿瘤组织。该训练使用训练数据来学习针对网络的可学习参数的值。该训练确定网络的值，该网络的值在给定输入样本的情况下靠近真值或在真值处最一致地进行输出。可以使用任何机器学习和对应的网络架构。例如，使用神经网络或支持向量机。该机器训练该网络以输出一个或多个位置的类。

在一个实施例中，基于来自完整的脑部或来自所估计或定位的肿瘤区域（例如，包括肿瘤和邻近正常组织的区域）的3D图像片块来训练分类器34。可以使用任何大小的片块，诸如用以表征中心体素的3x3x3 mm³的体素。在分类问题中，片块具有与中心体素的标签相同的标签。使用片块对模型进行训练，以减少缺少训练样本的问题。可以从针对一名患者的扫描中提取数千个片块。片块的大小可以变化或者可以更大或更小，以提供关于脑区域的更多或更少的情景。可以在片块中心周围使用更大或多个大小。

可以使用所有可能的片块。片块可以重叠，使得每个体素每次扫描提供一个片块，或者可以使用不重叠的片块。为了节省训练模型的时间，并非患者的所有片块都被用于训练。针对每个患者，从每个肿瘤组织类别中随机选择最大数量（例如，3000个）的片块，或者无论类别如何，针对该肿瘤随机选择最大数量（例如，3000个）的片块。如果片块的总数少于该最大数量，则选择该类别的所有片块。针对正常组织，选择邻近该肿瘤的相同或不同的最大数量的片块。在一个实施例中，还选择远离肿瘤（即，与相邻的健康组织间隔开）的附加数量（例如，3000个）的片块。在其他实施例中使用了仅针对肿瘤且邻近该肿瘤的片块。在一个实施例中，为每个患者选择每次扫描至多15,000个片块。考虑到不同肿瘤组织的体积可能是不同的，类别的样本大小可能会不平衡。加权采样方案可以被用来减少训练样本不平衡问题。在训练期间，选择样本的概率被分配成与训练数据中的其类别的大小（即，样本或片块的数量）成反比。

考虑到片块的训练数据和对应的真值标签，对网络进行训练。例如，将具有两个隐藏层的完全连接的神经网络用作分类器。输入层具有27*（N+3）个节点，其中N是被用于分类的图像扫描的数量（例如，在表1的示例中，N=19）。值27是每个片块中的体素的数量。正常组织（灰质、白质和脑脊髓液）的三个附加二进制掩码被输入到输入层的对应节点。可以使用其他数量的输入节点、隐藏层和/或网络类型。

每个隐藏层都具有128个节点，其中掉落概率为0.5。可以使用其他数量的节点、无掉落和/或其他掉落概率。每个节点都使用整流线性单位（ReLU）作为非线性激活函数。可以使用其他激活函数。

输出层具有4个节点，以将隐藏的特征向量映射到期望数量的类（例如，水肿、增强的、腔和正常的）。在存在其他数量的类的情况下，可以使用附加的或更少的输出节点。soft-max函数被应用在输出上，以预测每个类别的概率。

在训练中，损失函数是预测与真值之间的交叉熵。可以使用其他损失函数，诸如L1或L2。L2正则化被应用在所有网络参数（权重衰减10-5）上，但是也可以使用其他正则化或不使用正则化。使用具有10-3的学习率或其他功能的Adam以用于优化。可以使用其他学习率。

一旦被训练，就在动作24中存储经机器学习或经训练的神经网络。该训练确定网络的可学习参数的值。存储网络架构、不可学习参数的值和可学习参数的值。

将经机器训练的网络存储在存储器中。可以将副本分发给诸如MR扫描仪以供应用。一旦被存储，该机器学习网络就可以被固定。相同的机器学习网络可以应用于不同的患者。

可以更新该机器学习网络。当获取附加的训练数据时，诸如通过为患者应用网络并且由专家对该输出进行校正，可以使用附加的训练数据39来重新训练或更新分类器34的训练。

返回图1的动作13以用于应用先前训练的机器学习网络或其他模型，输入（由分类器34）先前未看见的扫描数据。针对患者的结构扫描数据30、扩散扫描数据31、光谱扫描数据32和/或（一个或多个）掩码33被输入到分类器34。该输入可以是逐片块的。针对来自所有不同的MRI参数和/或掩码的给定体素或位置的片块被输入到分类器34，以对该体素或位置进行分类。输入不同的片块以针对不同的位置进行分类。

可以针对肿瘤组织位置和邻近肿瘤的位置实行该分类。可以不针对与邻近组织间隔开的位置实行该分类。替换地，针对所有位置实行分类。可以对位置实行随机的、定期的或其他采样以供分类。

响应于输入，分类器34输出针对给定位置的分类。通过为其他位置重复应用，针对各种位置中的每一个的分类由机器学习网络来确定。例如，提供了类的空间分布。图3示出了平面的示例二维图像，其中类成员资格被用来生成图像。不同的类被映射到不同的灰度值，从而指示不同类当中的空间分布。

可以提供有助于诊断或规划的另外的信息。在一个实施例中，图像处理器在动作14中生成置信度图。在机器学习分类器中使用掉落来确定分类输出中的置信度。针对每个体素或位置，计算置信度值以指示在分类器34的多次运行或应用中的模型预测的一致性。网络中的一个或多个掉落层（例如，两个隐藏层）被用来利用具有不同配置的分类器34进行分类。利用不同的网络配置来重复分类。针对每次应用，从网络中随机移除隐藏层中的一半节点及它们与其他节点的对应连接。可以使用其他掉落概率。然后使用“经修改的”模型来计算针对体积（例如，片块）的预测（即，将经更改的模型应用于输入数据）。针对每个位置，将该随机掉落过程重复任何次数（例如，100次），从而为每个体素提供该数量的不同分类预测。经归一化的熵可以被用来测量预测的不确定性η：

其中N是可能的类别的数量，x_i是针对位置i的预测，并且p是每个类别预测的归一化频率。注意意味着预测中的完全随机性，并且/>意味着该预测在所有重复中都是相同的。可以使用其他置信度计算，诸如具有不同掉落设置的置信度计算（例如，每次重复丢掉不同数量的节点，和/或应用不同数量的掉落配置）。

图5示出了针对输入MR扫描（例如，Flair）、提供了真值的手动注释，以及在将分类器34应用于不同体素或位置之后的模型预测输出的示例图像。肿瘤区域50在所有三个图像中都是可见的。这些图像针对患者的扫描体积的平面切片。还示出了该轴向切片的置信度图。在检查置信度图时，大多数模糊的体素位于手动注释的边界处。这表明的是，专家可以使用该置信度图来检查注释并完善每个组织类别的勾绘。

在动作15中，图像处理器生成图像，该图像被显示在显示设备上。该图像是经分类的组织的图像，诸如是肿瘤组织的图像。类的分布提供了分割。该图像示出了以两个或更多个不同的类的组织的位置。每个位置都被分配有一类。可以对类进行过滤，诸如移除小的连续区域。

在对体素进行分类的情况下，该图像可以是体积的二维或平面切片。替换地，实行三维渲染（例如，体积渲染）以提供二维图像以供显示。

该图像可以包括其他信息。例如，按类的分割被用来生成图形或突出显示。生成来自一个或多个MR参数的图像。来自分类的图形或突出显示被应用或覆盖在MRI图像上。替换地，在不是覆盖的情况下显示该分割。

在一个实施例中，该图像包括肿瘤组织的分类和置信度图。将置信度图与该分割分离地显示，例如与分割邻近地显示。替换地，置信度被用来更改该分割，诸如提供覆盖图形或突出显示。

可以测试机器学习分类器的性能。在一个实施例中，训练数据可用于57个患者。随机选择针对45个患者的训练数据以用于分类器的训练，并且经训练的分类器的性能测试使用来自其余12个患者的训练数据。

在测试阶段，针对脑区域内的所有体素使用具有与训练数据相同大小的片块。预测中心体素的组织类型。考虑到测试数据主要由正常体素决定，聚焦于肿瘤区域周围的组织。像训练数据一样，选择远离肿瘤的10,000个正常体素并将其添加到测试集。

骰子（Dice）、精度（或阳性预测值，PPV）和灵敏度（或真阳性率，TPR）度量被用来评估模型（即，机器学习分类器）。这些度量中的每一个都是对于四种组织（即，水肿、增强的肿瘤、腔和正常）计算的。这三个度量的公式如下：

其中表示组织的真实区域，/>表示所预测的组织区域，/>表示真值与预测之间的重叠区域，并且/>和/>分别表示/>和/>的体积。这些区域对应于相同类的组织的区域。

可以基于所使用的输入、使用四个不同的模型来评估分类性能。对模型的输入图像扫描是：1）4个结构图像，2）4个结构图像和4个扩散图像，3）4个结构图像和11个光谱图像，4）4个结构图像、4个扩散图像和11个光谱图像。表2单独地示出了每个组织类型的所有三个度量。扩散图像和光谱图像两者可以改进预测准确度。结合所有三种类型的图像模态产生了最佳性能。

表2 使用不同图像模态的组织分类性能

PPV：阳性预测值或精度；TPR：真阳性率或灵敏度；

括号中的数字指示手动注释中具有该组织类型的患者的数量。

为了进一步评估模型性能，可以通过预测每个体素的类别在测试数据集中分割患者的整个3D体积。通过移除小于100 mm³的所有3D连接的区域来对分割结果进行后处理。表3示出了对一个患者使用所有19个图像模态（表1的多参数）的预测的混淆矩阵。具有不清楚的手动组织标签的（即，其他的）体素被分组成正常组织或异常组织类别之一。

表3 整个体积预测的混淆矩阵（一个样本患者）

。

混淆矩阵不仅可以洞悉该模型做出的总体误差（即，每个组织类型的准确度），而更重要的是洞悉所做出的误差的具体类型。例如，在表3中，预计约9％的水肿体素为正常的，因此放射科医师可能想要对这些体素进行进一步检查，以确认该模型是被分类成误差还是存在原始注释误差。有时，误差如果位于不太重要的区域中，则可能会被忽略。混淆矩阵可以被输出以供放射科医师审查。替换地，混淆矩阵在开发或训练期间被使用，并且不被提供用于特定的放射科医师和/或患者。

图6是用于在MRI中分割脑组织的医学成像系统的框图。该系统用于应用机器学习的模型67和/或用于训练机器学习模型67。多参数MRI被用来更好地对组织类型进行分类，该组织类型诸如是脑肿瘤组织的类型。

医学成像系统包括显示器68、存储器66和图像处理器64。显示器68、图像处理器64和存储器66可以是MR扫描仪60、计算机、服务器或用于图像处理以进行分割的另一个系统的一部分。不具有MR扫描仪60的工作站或计算机可以被用作医学成像系统。可以提供附加的、不同的或更少的组件，诸如包括用于通信的计算机网络。

MR扫描仪60是医学诊断成像系统，其被配置成针对多个MR参数中的每一个来扫描患者的体积。主磁体或线圈生成通过患者61的基本上均匀的磁场。梯度线圈、局部线圈和/或全身线圈生成脉冲序列，以使患者体内分子的自旋轴远离该均匀的磁场线。局部线圈和/或全身线圈检测由返回到磁场线的分子的自旋轴的弛豫所引起的射频发射。使用傅里叶处理将该k空间数据重构到对象或空间域中。在变换之后，扫描或图像数据表示来自患者61的区域的组织响应。

针对不同的MRI参数来实行脉冲序列。获得针对一个或多个结构、一个或多个扩散和/或一个或多个光谱参数的测量。MR扫描仪60通过设置而被配置成扫描患者的组织。例如，用户选择用于脑组织或脑肿瘤扫描的应用。MR扫描仪60被配置成对任何数量的不同参数（诸如，表1中列出的19个参数）实行测量。

图像处理器64是控制处理器、通用处理器、数字信号处理器、三维数据处理器、图形处理单元、专用集成电路、现场可编程门阵列、人工智能处理器、数字电路、模拟电路、其组合，或者另一个现在已知或以后开发的用于分割或分类的设备。图像处理器64是单个设备、多个设备或网络。针对多于一个设备，可以使用并行或顺序的处理划分。组成图像处理器64的不同设备可以实行不同的功能。在一个实施例中，图像处理器64是医学诊断成像系统的控制处理器或其他处理器，诸如MR扫描仪60。图像处理器64依据所存储的指令、硬件和/或固件进行操作，以实行本文中所述的各种动作，诸如置信度图的配准、定位、分类和生成。

在一个实施例中，图像处理器64被配置成在不同类型的脑组织之间进行分割。通过将以片块形式的来自扫描的扫描数据应用于机器学习模型67来实行该分割。通过对应片块的输入，将模型67应用于不同的体素或位置。通过基于片块逐位置进行分类的输出来生成该分割。例如，输出不同类型的脑组织和/或脑肿瘤组织的位置。

图像处理器64被配置成输出一个或多个图像，这些图像示出了分类的空间分布。还可以输出来自一个或多个MRI参数的图像。可以输出针对分类的置信度图。可以对分类或分割进行后处理，诸如在空间上过滤或将其映射到注释或图形。来自后处理的信息被用来生成图像。

显示器68是CRT、LCD、投影仪、等离子体、打印机、平板设备、智能电话或其他现在已知或以后开发的显示设备。显示器68将分割图像显示为针对患者的其他MR图像的一部分、与该图像的一部分一起显示、或与该图像的一部分分离地显示。可以显示针对置信度图的图像。显示器68显示用于诊断、预后（prognosis）和/或治疗规划的图像。

指令、真值、扫描数据、配准、肿瘤位置、机器学习网络、输出、置信度图、分割和/或其他信息被存储在非暂时性计算机可读存储器（诸如存储器66）中。存储器66是外部存储设备、RAM、ROM、数据库和/或本地存储器（例如，固态驱动器或硬盘驱动器）。相同或不同的非暂时性计算机可读介质可以被用于指令和其他数据。可以通过使用数据库管理系统（DBMS）并且驻留在诸如硬盘、RAM或可移动介质之类的存储器上来实现存储器66。替换地，存储器66在处理器64内部（例如，是高速缓存）。

在诸如高速缓存、缓冲器、RAM、可移动介质、硬盘驱动器或其他计算机可读存储介质（例如，存储器66）之类的非暂时性计算机可读存储介质或存储器上提供用于实现在本文中讨论的过程、方法和/或技术的指令。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或存储在其上的一组或多组指令来执行在图中图示的或在本文中描述的功能、动作或任务。这些功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可以由单独地或以组合形式操作的软件、硬件、集成电路、固件、微代码等等来实行。

在一个实施例中，指令存储在可移动介质设备上以用于由本地或远程系统读取。在其他实施例中，指令被存储在远程位置中以用于通过计算机网络进行传递。在又其他实施例中，指令被存储在给定的计算机、CPU、GPU或系统内。因为可以以软件实现附图中描绘的构成性系统组件和方法步骤中的一些，所以系统组件（或过程步骤）之间的实际连接可以取决于对本实施例进行编程所采用的方式而不同。

本文中描述的各种改进可以一起使用或单独地使用。尽管已经在本文中参考附图描述了本发明的说明性实施例，然而要理解的是，本发明不限于那些精确的实施例，并且在不脱离本发明的范围或精神的情况下，本领域技术人员可以在其中实现各种其他改变和修改。

Claims (18)

1.一种用于通过磁共振（MR）扫描仪根据多参数成像来表征肿瘤组织的方法，所述方法包括：

由所述MR扫描仪来扫描患者，所述扫描包括所述患者的结构、扩散和光谱测量；

在两个或更多个类的肿瘤类型之间对所述患者的肿瘤组织进行分类，并且对邻近肿瘤组织的组织进行分类，而不对与所述邻近肿瘤组织的组织间隔开的组织进行分类，其中，所述分类是通过机器学习的神经网络响应于所述结构、扩散和光谱测量的输入进行的；以及

显示基于所述两个或更多个类而分割的肿瘤组织的图像。

2.根据权利要求1所述的方法，其中扫描包括：以结构测量来进行扫描，所述结构测量包括T1、T2、FLAIR和T1对比后测量中的两个或更多个。

3.根据权利要求1所述的方法，其中扫描包括：以扩散测量来进行扫描，所述扩散测量包括扩散张量成像（DTI）轴向扩散率、DTI分数各向异性、DTI平均扩散率和扩散加权成像（DWI）B0测量中的两个或更多个。

4.根据权利要求1所述的方法，其中扫描包括：以光谱测量来进行扫描，所述光谱测量包括N-乙酰基天门冬氨酸、肌酸、乳酸盐、水、糖浆、肌醇和胆碱测量中的两个或更多个。

5.根据权利要求1所述的方法，其中分类包括：通过包括完全连接的神经网络的机器学习的神经网络来进行分类。

6.根据权利要求1所述的方法，其中分类包括：通过针对与所述测量不同的位置逐片块地应用所述机器学习的神经网络来进行分类。

7.根据权利要求1所述的方法，其中分类包括：作为增强的、水肿、坏死和腔肿瘤类型进行分类。

8.根据权利要求1所述的方法，其中分类包括：在所述两个或更多个类的肿瘤类型与一类正常组织之间进行分类。

9.根据权利要求1所述的方法，其中分类包括：由所述机器学习的神经网络响应于所述结构、扩散和光谱测量的输入和正常组织掩码来进行分类。

10.根据权利要求1所述的方法，进一步包括：在被输入到所述机器学习的神经网络之前，共同配准所述患者的结构、扩散和光谱测量。

11.根据权利要求1所述的方法，进一步包括定位所述肿瘤组织，其中分类包括：对所述肿瘤组织和邻近所述肿瘤组织的组织进行分类，而不对位于与肿瘤组织的相邻组织达预定数量片块的组织进行分类。

12.根据权利要求1所述的方法，其中扫描包括扫描所述患者的脑部，并且其中分类包括将所述肿瘤组织分类为脑肿瘤组织。

13.根据权利要求1所述的方法，其中在使用与肿瘤组织有关的正常组织的加权采样的片块的训练数据上训练所述机器学习的神经网络。

14.根据权利要求1所述的方法，进一步包括生成所述分类的置信度图，所述置信度图是在所述机器学习分类器中使用掉落而生成的，其中显示所述图像包括显示所述肿瘤组织的图像和所述置信度图。

15.根据权利要求1所述的方法，显示包括：显示在不同位置处示出了所述两个或更多个类中的不同类的图像。

16.根据权利要求1所述的方法，还包括针对磁共振成像（MRI）中的分割进行训练，包括：

获取训练数据，所述训练数据包括多参数MRI扫描，所述扫描包括肿瘤组织的光谱和结构和/或扩散和真值标记；

对神经网络进行机器训练，以基于训练数据对肿瘤组织进行分类；以及

存储经机器训练的神经网络。

17.根据权利要求16所述的方法，其中获取包括：获取还包括正常组织分割的训练数据。

18.根据权利要求16所述的方法，其中机器训练包括：利用神经网络进行机器训练，所述神经网络包括使用利用L2正则化的交叉熵损失函数的完全连接的神经网络。