CN110391014A - 利用使用深度学习的序列预测的医学图像采集 - Google Patents

Abstract

利用使用深度学习的序列预测的医学图像采集。为包括自我评估机制的医学成像会话提供自动化序列预测。对患者（11）或对象执行初始侦察序列。验证初始侦察序列。执行缩略采集方案（45）。验证缩略采集方案（45）。执行附加序列。还可以基于使用基于深度学习的推理的先前扫描的分析来配置序列，以选择下一个适当的设置和过程。

Description

利用使用深度学习的序列预测的医学图像采集

相关申请的交叉引用

本申请要求于2018年4月18日提交的美国临时申请No. 62/659,251和于2019年2月2日提交的美国非临时申请16/280,349的权益，通过引用将其全文合并于此。

技术领域

本实施例涉及医学图像采集和处理。

背景技术

诊断成像过程可以包括多个不同的过程或任务。在示例中，磁共振成像包括许多不同的可能扫描。可用的磁共振成像序列和过程的范围和复杂性为临床医生提供了困难的选择。每个序列包括其自己的物理意义、特性和输出。每个序列可以提供对于不同医学应用有用的不同结果。此外，临床医生可能无法预测单次扫描的结果，因此需要多个不同的过程。当执行医学成像过程时，操作员必须在患者被定位和准备好时为患者确定适当的扫描。任何延迟或遗漏可能导致低效率或较慢的诊断结果。成像的复杂性和在扫描之前无法预测需求给医学成像采集带来了问题。

发明内容

通过介绍的方式，下面描述的优选实施例包括用于利用序列预测的自动化采集的方法和系统。执行初始侦察（scout）序列以为未来的扫描提供指导。然后执行缩略采集方案（protocol），其识别异常并提供关于未来序列的引导。

在第一方面中，提供了一种用于使用磁共振成像系统的对患者的自动化图像采集的方法。由磁共振成像系统使用第一成像方案获取第一MR数据。验证第一MR数据。对第二成像方案进行排序。使用第二成像方案获取第二MR数据。验证第二MR数据。对第三成像方案进行排序，直到达到所期望数量的对比度，以使临床医生满意。

在第二方面中，提供了一种用于对患者的自动化医学图像采集的方法。磁共振成像系统使用侦察采集序列获取第一MR数据。检测第一MR数据中的界标（landmark）。可以识别第一MR数据中的异常区。根据识别的界标确定缩略采集方案以及是否识别出异常区。使用缩略采集方案获取第二MR数据。在第二MR获取序列中识别异常。根据所识别的异常确定一个或多个附加采集序列。执行一个或多个附加采集序列。

在第三方面中，提供了一种用于对患者的自动化医学图像采集的系统。该系统包括磁共振成像设备、存储器和控制单元。磁共振成像设备被配置成使用第一成像方案获取第一MR数据，并且使用第二成像方案获取第二MR数据。存储器被配置成存储第一MR数据和第二MR数据。控制单元被配置成验证第一MR数据，根据第一MR数据的验证来对第二成像方案排序，验证第二MR数据，以及根据第一MR数据和第二MR数据的验证来对第三成像方案排序。

通过以下权利要求书来限定本发明，并且在该部分中没有什么应被看作是对那些权利要求的限制。以下结合优选的实施例讨论本发明的其他方面和优点并且之后可以独立地或组合地要求保护本发明的其他方面和优点。

附图说明

部件和图不一定按比例，代之以重点在于说明本发明的原理。此外，在图中，相同的附图标号贯穿不同的视图指定对应的部分。

图1描绘了示例MR系统。

图2描绘了用于医学成像数据的自动化采集的示例方法。

图3描绘了用于在医学成像过程中提供指导的自动化采集的示例方法。

图4描绘了用于检测医学成像数据中的异常区的示例方法。

图5描绘了用于对医学成像数据中的异常进行分类的示例方法。

图6描绘了用于识别医学成像过程中的附加序列的示例方法。

图7描绘了用于医学成像数据的自动化采集的示例系统。

具体实施方式

为包括自我评估机制的医学成像会话提供自动化序列预测。对患者执行初始侦察序列。验证初始侦察序列。执行缩略采集方案。验证缩略采集方案。执行附加序列。在实施例中，可以基于使用基于深度学习的推理的先前扫描的分析来配置随后的扫描序列，以选择下一个适当的设置和过程。

医学成像是指被用于查看人体以便诊断、监测或治疗医学疾病（condition）的若干不同技术。每种类型的技术给出关于被研究或治疗的身体的区域的不同信息，其涉及可能的疾病、损伤或医疗的有效性。当对对象或患者执行医学成像过程时，可以执行多次扫描以便捕获所需信息以做出准确诊断或识别适当的治疗。确定在过程期间执行哪些扫描是包括许多低效率的复杂的任务。

已经使用不同的方法来克服复杂性和问题。临床医生可以在生成结果时查看结果并做出是否继续的决定。替代地，可以对许多扫描进行排序，以不错过任何可能的扫描，以便为患者省去在日后返回到医院的行程。方法中的每种方法可能导致对患者扫描不足或过度扫描。对于手动过程，可能始终需要主治医生以便手动复查结果。此外，手动确定要执行的序列可能容易出错，特别是在患者仍在医院或扫描机器中时需要决定的时间压力下。对一系列（a full slate of）的序列进行排序是低效率的。

实施例提供用于对患者或对象的成像数据的自动化采集的系统和方法。初始扫描被用于侦察患者或对象并确定随后的序列的设置。可以在执行附加扫描之前验证每次扫描的结果。每次扫描的输出可以由不同的机器训练的网络来处理，以识别异常或异常区。可以自动分析所识别的异常或异常区，以确定随后的扫描和过程。

在下面描述的实施例中，成像系统是磁共振（MR）成像系统。可以使用其他成像系统，诸如计算断层摄影术（CT）或超声。此外，以下示例描述了使用患者的大脑的扫描的实施例。可以扫描患者的其他区或器官，例如肺、胸部或心脏。

图1描绘了用于采集表示MR数据的频域分量以存储在存储阵列中的MR系统100。MR系统100包括控制单元20，所述控制单元20被配置成处理MR信号并生成身体的图像以用于显示给操作员。控制单元20可以将MR信号和图像存储在存储器24中以供之后处理或查看。控制单元20可以包括用于向操作员呈现图像的显示器26。MR扫描系统100仅是示例性的，并且可以使用多种MR扫描系统来收集MR数据。

在MR系统100中，磁线圈12在患者11的身体或定位在桌上并成像的对象中产生静基磁场或主磁场B₀。磁体系统内是用于产生叠加于静态磁场上的依赖于位置的磁场梯度的梯度线圈14。梯度线圈14响应于由梯度和控制单元20向其提供的梯度信号而在三个正交方向上产生依赖于位置且匀场（shimmed）的磁场梯度并且生成磁场脉冲序列。匀场梯度对由患者解剖变化和其他来源所引起的MR成像设备磁场中的不均匀性和可变性进行补偿。

控制单元20可以包括RF（射频）模块，其向RF线圈18提供RF脉冲信号。RF线圈18产生磁场脉冲，所述磁场脉冲将所成像的患者11的身体中的质子的自旋旋转九十度或者一百八十度以进行所谓的“自旋回波”成像，或者旋转小于或等于90度的角度以进行“梯度回波”成像。如由控制单元20引导的那样，梯度和匀场线圈控制模块结合RF模块，控制切片选择、相位编码、读出梯度磁场、射频传输和磁共振信号检测，以获取表示患者11的平面切片的磁共振信号。

响应于所应用的RF脉冲信号，RF线圈18接收MR信号，例如当身体内被激发的质子返回到由静态和梯度磁场所建立的平衡位置时来自所述身体内被刺激的质子的信号。由RF模块和控制单元20内的检测器检测和处理MR信号，以将MR数据集提供给处理器22以用于处理成图像。在一些实施例中，处理器22被定位在控制单元20中，在其他实施例中，处理器22被远程地定位。控制单元20的存储器24中的个体数据元素的二维或三维k空间存储阵列存储包括MR数据集的相应的个体频率分量。个体数据元素的k空间阵列包括指定的中心，并且个体数据元素单独地包括到所述指定的中心的半径。

磁场生成器（包括线圈12、14和18）生成磁场，以供在获取对应于存储阵列中的个体数据元素的多个个体频率分量时使用。当在MR数据集的采集期间顺序地获取多个个体频率分量时，使用笛卡尔或其他空间采集策略连续地获取个体频率分量。控制单元20中的存储处理器将使用磁场所获取的个体频率分量存储在阵列中的对应的个体数据元素中。对应的个体数据元素的行和/或列随着多个顺序的个体频率分量被获取而交替地增加和减小。磁场生成器以与阵列中基本上相邻的个体数据元素的序列对应的次序获取个体频率分量，并且连续获取的频率分量之间的磁场梯度变化基本上被最小化。

MR成像的一个用途在于研究患者的大脑。在研究患者的大脑时，可以使用不同的方案和序列执行不同的MRI扫描。MRI序列是脉冲序列和脉冲场梯度的具体设置，导致特定的图像外观。多参数MRI是两个或更多个序列的组合。除了其他之外，MRI序列的示例还包括T1加权序列、对比度序列、脂肪抑制、T2加权序列、流体衰减（FLAIR）、扩散加权、灌注（perfusion）加权。每个序列还可以包括参数或设置的不同变化。MRI方案是各种MRI序列的组合，被配置成评估患者的身体的特定区和或病理过程。在示例中，一种标准化脑MRI方案包括3D T1加权、3D T2-FLAIR、3D T2加权、后单剂量钆增强T1加权和扩散加权序列。MRI过程包括在成像会话期间执行的一个或多个MRI方案或MRI序列。作为示例，在下面描述的实施例中，MRI过程可以包括侦察采集序列、缩略采集方案（其包括一个或多个序列）以及一个或多个附加序列。

MRI方案和过程可以特定于成像会话发生之处的医院或中心。不同的医生可以对要在不同的方案或过程下执行不同的序列进行排序。在许多情况下，标准化方案可以被用于简单过程。然而，使用标准化方案导致低效率。在不需要时执行附加扫描（并且不用于最终的诊断或治疗中）。可能不执行可能是有用的扫描，导致延迟的诊断或治疗。

实施例提供了扫描患者的智能方式。第一侦察序列被用于“侦察”患者。然后，部分地基于侦察序列的发现来执行随后的缩略成像方案。可以通过使用深度学习技术训练的网络或模型来分析缩略成像方案的结果，以识别应该执行哪些随后的序列（如果有的话）。缩略采集方案可以根据被成像的器官和侦察序列的结果而变化。在神经学检查的情况下，首先执行侦察序列以确定器官定位。然后，可以执行结构（T1w、T2w、FLAIR）和扩散（ADC、TraceW）扫描作为缩略采集方案的部分。取决于医疗机构，其他扫描（诸如SWI或GRE）也可能是缩略采集方案的部分。缩略采集方案封装了检测大脑、胸部或其他器官中的异常所需的最小数量的对比度。为了进一步表征，可以规定附加的扫描（对比度/序列）。实施例可以基于来自缩略方案的发现的集合来选择或提供用于选择扫描的提议。例如，在特定病理（脑肿瘤）的情况下，需要附加的采集，诸如灌注、具有对比度的T1w以及更多，并且可以基于缩略采集方案的结果来排序。实施例提供了在执行缩略方案之后自动化工作流程并且然后根据序列或对比度，使用使用深度学习训练的网络来决定（一个或多个）适当的接下来的序列的方法。另外，侦察图像还可以给出器官中是否存在异常的概念，因此，并且可以充当预缩略方案并且已经为深度学习网络给出了选择接下来要执行的序列的集合的洞察力。

可以实现所公开的实施例以计算地促进医学成像数据的处理并因此改善和优化医学诊断。通过使用自动化工作流程，扫描过程中的错误减少，并且结果得到改善。自动化采集过程的使用是高效的，因为合适数量的资源被用于获取诊断所需的医学图像。自动化采集过程的使用通过从过程中消除用户错误和决定进一步限制了错误。自动化采集过程不仅通常使图像采集自动化，而且还针对每个患者自动定制过程。生成的患者特定过程为患者和复查图像的任何个人两者节省了时间。

图2描绘了用于为磁共振成像系统提供自动化图像采集的示例流程图。在应用期间，该方法为经历成像过程的患者提供定制的图像采集。因此，可以根据先前动作的结果和患者的状态省略或改变某些动作。在示例中，如果未验证采集或者作为对结果的分析的结果，则可以在每次扫描之后暂停、重复、跳过或停止动作。所述动作由图1、图4-7的系统、其他系统、工作站、计算机和/或服务器来执行。可以提供附加的、不同的或更少的动作。以示出的次序（例如，上到下）或其他次序执行动作。

所获取的MR数据的验证和分析可以由使用机器学习技术训练的网络或模型来执行。可以在图2的动作之前训练网络或模型。可以获取训练数据并将其用于配置网络或模型。当获取新的训练数据或对系统做出改变时，可以更新网络或模型。在示例中，动作A120的机器训练代理在动作A120处被应用，但是可以使用机器学习技术在先前时间点被训练。

在动作A110处，使用第一成像方案获取第一MR数据。第一方案可以包括至少中等分辨率或低分辨率序列。在实施例中，可以执行多个序列以获取第一MR数据。可以使用MRI系统直接获取第一MR数据。如上面图1中所描绘和描述的那样，可以使用MR扫描仪获取MR数据。例如，梯度线圈、全身线圈（whole-body coil）和/或局部线圈在由主磁体或线圈产生的磁场中生成脉冲或扫描序列。全身线圈或局部线圈接收响应于由于扫描序列而移位的分子的重新取向的信号。在实施例中并且在下面用作示例，MR数据可以表示患者的大脑的图像数据。也可以扫描患者的不同对象、器官或区。

MR数据可以是k空间数据或图像数据。图像数据可以是傅立叶变换到目标空间中之后的MR数据。图像数据可以在变换之后的任何点处，因此可以是标量值或者可以被格式化为用于显示屏的RGB值。MR数据或图像数据可以是被用于在显示器上生成图像的扫描数据。MR数据可以是正被处理以生成图像的数据、被格式化以用于显示的数据或者已经用于显示的数据。MR数据可以是没有或有一些图像处理的数据。

在实施例中，MR数据可以表示体积。获得三维数据集。作为k空间数据，可以提供响应于位置的三维分布的信息内容，但是数据本身不直接表示变换之前的位置。在替代实施例中，获得表示或响应于平面中的组织的二维数据集。在其他实施例中，获取响应于相同组织随时间推移的MR数据的序列以用于训练。

可以使用替代方法来获取MR数据。可以从服务器或工作站远程获取MR数据。MR数据可以被本地存储在现场或被存储在场外，例如存储在云中。

如本文中所使用的那样，MR数据包括原始MR数据和处理的MR数据两者。处理的MR数据可以包括图像和体积数据。MR数据可以包括2D图像、2D图像的序列、3D体积图像或3D体积图像的序列。如果MR数据在3D空间中被定义（例如，从一系列MR图像获得），则每个图像“切片”可以以“逐个切片”的方式单独提供。替代地，MR数据可以作为3D体积数据直接获取。本文中描述的示例使用称为体积的三维MR数据。另外，术语MR数据和体积可以被可互换地使用，因为MR数据表示至少一个体积。使用称为体素（voxel）的元素的阵列对体积进行编码。体素表示三维空间中的规则或不规则网格上的值。可以使用像素的位图对二维MR数据进行编码。

在动作A120处，验证第一MR数据。验证可以基于界标检测的评估机制或配准的评估。对于界标检测，在第一MR数据中识别一个或多个界标。第一MR数据可以被用于定义沿具体解剖区的采集矩阵。检测到的界标可以被用于通过在第一MR数据中识别界标来定义采集矩阵。采集矩阵通过定义由成像扫描在频率（f）和相位（f）方向上获取的多个独立数据样本来定义要扫描的区域或区。

深度学习技术按照惯例被应用于范围从图像分类、目标检测和分割的各种问题。深度学习是对描述底层现象的分层数据表示的自动化学习。即，与特征手工制作（handcrafting）相比，深度学习通过直接从原始输入提取和清理出（disentangle）数据描述属性来提出自动化特征设计。可以使用由神经网络编码的分层结构来对学习方法进行建模。

深度强化学习（DRL）是使用机器训练代理的深度学习的类型。生成并训练机器训练代理，以自行开发用于高效识别解剖界标的优化方法。对于界标检测，代理在训练期间利用训练图像的集合来学习（例如，开发界标检测解决方案），每个训练图像包含注释的界标。针对每个训练示例中索引的一个特定界标，DRL方法训练人工智能代理，该代理不仅在提供的数据中而且在未见的示例中自动发现用于找到所选界标的策略。

大量的搜索参数在识别的界标目标的集合上训练代理的过程内演进。代理输入训练集，经由状态空间随机导航通过图像。逐渐地，代理在训练期间学习策略来优化其动作的预期奖励值r(t)。通过可能动作a的奖励值来确定预期奖励，该可能动作a在时间t可用于代理，其中目标为（经由最大化预期奖励值）识别目标界标。动作定义了在状态空间过渡期间相对于状态空间与目标界标的接近度发生的位置移动。顺序动作由代理确定和存储，并且与界标检测同时进行，从而消除了对手工制作优化标准、图像特征或穷尽图像搜索的需要。人工代理可以被应用于对象检测、分割、跟踪和/或图像配准。为了在一系列学习事件（episode）中学习最优动作策略，代理被给予具有相应随机开始状态的随机训练图像。然后，代理在所选图像中遵循E-greedy搜索策略，在事件的结束时生成被添加到其经验存储器的轨迹。在探索期间，周期性更新被应用于神经网络的参数，从而导致在给定当前经验的情况下的最优Q*函数的更准确的近似。以迭代方式重复该过程，直到验证集上的检测准确性是最小的。

一旦训练，机器训练的代理就能够识别所获取的第一MR数据中的界标。界标可以被用于配准、设置采集矩阵以及验证第一MR数据。还可以使用例如AutoAlign算法来配准MR数据。AutoAlign提供输出配准矩阵，输出配准矩阵可以被用于将MR数据与识别且一致的解剖方向对准。所识别的界标和配准可以被用于验证第一MR数据和为未来的序列提供指导两者。

代理还可以提供针对界标检测的置信度值，其表示代理在界标检测中的置信度。还可以评估配准以确定MR数据是否一致。AutoAlign算法包括反馈机制，其测量和报告具有超出由图集（atlas）定义的规定规范的可能性的对准。使用是所有图集的强度的点P和分布D之间的距离的平均值的“测量指数”值的反馈机制指向提供用于对准的患者图像。测量指数的值越高，图集与患者获取的MR数据之间的规定规格内的对准的概率越低，尽管并非所有具有相对高的测量指数值的对准都指示不良对准。获取的MR数据与规格化图集之间的任何差异都将产生一些正水平的测量指数，然而，这可能不指示错误。为了验证，可以将MR数据的测量指数值与阈值进行比较。

基于置信度值和或测量指数值，系统可以进行缩略采集方案。例如，如果得分或测量指数值指示MR数据是不可接受的，则可以重复该方案，直到MR数据是足够准确的。

在动作A130处，第二成像方案至少部分地根据在验证期间执行的第一MR数据的分析来排序。检测到的界标还可以被用于定义第二成像方案的采集矩阵。由于界标对应于大脑中的具体解剖区，因此鉴于有足够的界标来表征位置，可以估计头部在扫描中的位置。作为示例，界标的非穷尽子集可以包括“鸡冠（Crista Galli）、前囱（Bregma）、左右眼眶（Orbit）、枕骨（Occipital Bone）”，其被展开足以映射头部的位置。例如，还可以使用附加的血管或组织界标。采集矩阵定义序列的分辨率。第二成像方案中的序列可以被配置成通过遵循由第一MR数据提供的指导来提供准确且有用的扫描。

第二成像方案可以被缩略，并且因此称为缩略采集方案或缩略采集方案。第二成像方案被缩略在于，方案不包括所有可能的序列，而是可以快速且高效地执行的选择的几个。然后，作为缩略采集方案的发现的结果，附加序列可以自动排序。

在示例中，缩略采集方案可以包括一个或多个序列，例如结构（T1w、T2w、FLAIR）或扩散（ADC、TraceW）扫描。SWI或GRE也可以是缩略采集方案的部分。在实施例中，缩略采集方案包括以比侦察方案（第一MR数据）更高的分辨率扫描。

缩略采集方案中序列的数量和类型可能受第一MR数据的结果的影响。在第一MR数据的配准或界标检测期间，系统可以识别一个或多个异常或问题。鉴于所述异常或问题，可以生成包括缩略采集方案中的扫描的随后的扫描。异常可以包括器官或周围组织的异常结构。缩略采集方案的序列的焦点或区可能受配准和界标检测的影响。由于每个患者是不同的，因此可以基于侦察序列的发现为患者定制每个扫描。基于侦察采集序列的发现，以相同的侦察采集序列开始的两个患者可能经历不同的缩略采集方案。附加序列和过程可以根据缩略采集方案的发现而不同。

在动作A140处，使用第二成像方案获取第二MR数据。在采集之后，在动作A150处，验证第二MR数据。在实施例中，缩略采集方案的一个或多个序列中的每个和相应的输出在序列被执行时被验证。每个序列可以被执行并且然后验证，或者缩略方案（包括多个序列）的整体可以被执行并且然后验证。如果序列未被验证，则系统可能不继续前进到方案中的下一序列。如果序列未能通过验证，则可以重新运行、变更并重新运行或跳过序列。

对缩略采集方案的序列的验证可以包括确定第二MR数据相对于从第一MR数据获取的矩阵的对准或未对准。例如，当使用同时多切片方案时，可以将来自第二MR数据的切片配准到第一MR数据，以确保未对准是最小的。附加地或替代地，缩略采集方案的序列可以通过检查采集的质量是否是合适的（例如，存在可接受的运动量、偏置场、噪声）来验证。可以使用任何自动化技术来检查运动量、偏置场或噪声。可以针对运动、偏置场或噪声中的每个来定义阈值。如果超过阈值，则序列可能无法通过验证。如果获取的MR数据的序列或集合未能通过验证，则可以重复该序列、变更该序列以解决任何问题并重复或跳过。过程和变更可以被自动执行，或者过程可以暂停并且需要来自临床医生的输入。如上所述，如果未验证发现，则可以在序列之后的任何时刻停止缩略采集方案。

在动作A160处，附加序列根据第二成像方案的发现来自动排序。可以使用在来自侦察和缩略采集方案的输出数据中识别的配准或界标来配置附加序列。所排序的具体序列可以部分基于侦察和/或缩略采集方案的发现。例如，对实际缩略采集方案的附加扫描可以被配置成针对其中可能存在异常的器官的区，例如以对可疑区生成附加的聚焦高分辨率扫描。高分辨率扫描可能是时间和装备密集型的。通过提供来自侦察和缩略采集方案的指导，高分辨率附加序列可以针对到目前为止已经在患者中识别的任何问题进行精细地（narrowly）定制。可能不执行其他扫描序列或方案，所述其他扫描序列或方案在给定发现的情况下可能不提供益处。另外，在分析先前的扫描之后，该过程可以在任何时刻停止。

可以执行附加序列以获取第三MR数据。可以向用户显示或提供第三MR数据。还可以向用户显示或提供第一MR数据和第二MR数据。可以存储第一、第二和第三MR数据以供之后的分析。

图3描绘了用于患者的自动化图像采集的工作流程。所述动作由图1、图4-7的系统、其他系统、工作站、计算机和/或服务器来执行。可以提供附加的、不同的或更少的动作。以示出的次序（例如，上到下）或其他次序执行动作。在应用期间，该方法针对经历成像过程的患者提供定制的图像采集。因此，可以根据先前动作的结果和患者的状态省略或改变某些动作。在示例中，如果采集未被验证或者作为对结果的分析的结果，则不同的采集序列可以被排序、暂停、重复、跳过或停止。

在动作A210处，使用第一序列获取第一MR数据。第一序列可以是中等分辨率（例如，2mm各向同性）或低分辨率序列。在实施例中，可以执行多个序列以获取第一MR数据。使用磁共振成像系统获取第一MR数据。第一序列可以被称为侦察序列或侦察方案。

在动作A220处，可以在第一MR数据中检测和识别界标、定位和/或覆盖。如上所述，可以使用利用深度学习技术训练的配准或网络来确定界标和定位。在实施例中，DRL可以被用于训练代理以识别第一MR数据中的界标。DRL是促进学习作为对人工代理的端到端认知过程的技术，而不是预定义的方法。人工代理与不确定环境（例如，不具有识别的界标目标的患者的医学图像）相互作用，其中目标为达到预定目标（例如，识别图像中的界标目标）。代理可以观察环境的状态，并且选择来作用于该状态上，类似于试错（trial-and-error）搜索，从而最大化作为来自环境的响应而被接收的未来奖励信号。在示例中，对于侦察脑MR数据，除了其他之外，检测到的界标还可以包括例如鸡冠、前囱、枕骨大孔（Foragen Magnum）、眼眶、蝶鞍（Sella）、视神经（Optical Nerves）和交叉（Chiasm）。检测到的界标允许成像系统通过定位采集矩阵并且还确定界标的位置相对于正常患者的位置的偏差来适当地配置未来序列。还可以使用如上所述的AutoAlign算法来计算配准和定位。

在动作A230处，在第一MR数据中识别异常区。扫描的区的全局强度分布可以指示是否存在与正常的偏差以及哪里存在偏差。可以使用使用深度学习技术训练的一个或多个网络来分析全局强度分布。图4描绘了用于确定第一MR数据31中的异常区域的示例流程图。如图4中所示，第一MR数据31由第一网络41来分割和分类，第一网络41被训练用于分割和组织分离。

可以使用任何分割方法来分割MR数据。分割是将输入分成不同部分或段的过程，例如用于医学成像、描绘身体中的各种组织或结构的边界或轮廓。分割还可以包括分类。分类为MR数据分配标签，例如正常或异常、严重性的级别、诊断或组织的类型。当预先定义类时，分类可以为图像中的每个元素分配组织类。在脑MR的情况下，对于组织分类，图像元素可以被分为三种主要组织类型：白质（WM）、灰质（GM）和脑脊液（CSF）。组织类型的分类需要将MR数据分割成不同的部分。可以对二维图像、二维图像的序列、三维体积或三维体积的序列执行图像分割。如果数据在三维空间中被定义（例如，从一系列MR图像获得），则可以以逐片的方式单独地分割每个图像切片。然后将二维切片连接成3D体积或连续表面。

在实施例中，使用对抗过程（例如，使用生成性对抗网络或GAN）来训练网络41（分割网络）。GAN包括生成器网络和鉴别器网络。在训练过程期间，生成器网络尝试生成输出，该输出可能欺骗鉴别器网络认为输出来自训练数据集。在对抗过程中，可以训练生成器网络以最小化两个损失的总和：生成器预测的监督L1距离和无监督的对抗项。对抗项由鉴别器网络提供。在正在训练生成器网络的同时，还调整鉴别器网络以向生成器网络提供更好的反馈。

鉴别器网络可以使用真实图像（地面实情/训练数据）和分割的生成器图像的概率分布来对两种类型的图像进行分类和区分。鉴别器网络将信息提供给生成器网络。由鉴别器网络提供的信息可以是梯度的形式，该梯度根据图像的概率分布的比较（例如将所生成的图像的值的第一概率分布与地面实情图像的值的预期的概率分布进行比较）来计算。梯度可以包括方向和斜率两者，其将生成器网络的更新导引在正确的方向中。在多次的迭代之后，梯度将生成器网络引导到稳定的位置，其中生成器网络正在生成具有与地面实情图像类似的概率分布的图像。由鉴别器网络提供的梯度随着生成器网络生成和提供新图像而变化。

GAN（和其他网络）的训练数据可以包括地面实情数据或黄金标准数据。地面实情数据和黄金标准数据是包括合适或合理准确标签的数据。对于分割问题，训练数据包括原始数据和相关联的分割数据。用于分割目的的标签包括分割数据中的每个体素的标签。可以使用任何方法或过程来生成和标记分割数据，例如，由操作员手动地或通过一种或多种自动方法自动地生成和标记分割数据。可以针对不同的分割任务获取不同的训练数据。例如，训练数据的第一集合可以被用于训练用于分割脑数据的第一网络，而训练数据的第二集合可以被用于训练用于分割心脏数据的第二网络。可以在将训练数据输入训练网络中之前的任何时刻获取训练数据。训练数据可以包括不同分辨率或对比度的体积。在获取新数据之后可以更新训练数据。更新的训练数据可以被用于重新训练或更新训练的网络。

GAN训练过程的输出是训练网络41，训练网络41被配置成输入MR数据并输出分割和分类的MR数据33。对于分割和分类，可以训练和使用单个或多个网络。一个网络可以被训练以执行分割任务，而第二网络可以被训练以执行组织分类。

用于分割和组织分类的训练网络41的输出被输入到第二训练网络43中，该第二训练网络43被配置用于异常检测。使用深度学习技术来训练第二训练网络43以输入图像并识别异常区。识别异常区的一种方法是通过使用训练的自动编码器网络43。自动编码器是通过无监督学习训练的神经网络。训练自动编码器以学习接近于其原始输入的重建。自动编码器由编码器和解码器两部分组成。编码器将输入数据压缩到潜在空间中。解码器解压缩潜在空间以尝试重建输入数据。在训练期间，将解码器的输出与原始输入进行比较以计算重建误差。使用多次重复和调整，自动编码器学习以最小化重建误差。训练过程的输出是训练的自动编码器网络43。

在应用中，基于自动编码器的异常检测是基于偏差的异常检测方法。可以对抗地训练自动编码器以区分健康病例和病理病例。自动编码器43使用输入数据上的重建误差作为异常得分。具有高重建误差的数据点被认为是异常。仅具有正常实例的数据被用于训练自动编码器43。在训练之后，自动编码器43将非常好地重建正常数据，而对于自动编码器43尚未遇到的异常数据则无法这样做。自动编码器43的输出是异常数据35，其描述第一MR数据中的意外的一个或多个区。异常区为进一步的成像方案或序列提供指导。

在动作A240处，缩略采集方案45根据所识别的界标和识别的异常区来排序。缩略采集方案45可以包括包括对所识别的异常区域的扫描的序列。作为在动作A220-A230处执行侦察分析的结果，缩略采集方案45中的附加扫描可以针对其中可能存在异常的器官的区，例如以生成对可疑区的附加的聚焦高分辨率扫描。缩略采集方案45还可以包括针对患者和任何具体问题定制的序列或扫描。例如，如果疑似诊断是肿瘤，则序列和扫描可以被配置成获取与肿瘤诊断有关的数据（除了通过第一MR数据的分析提供的指导之外）。在示例中，缩略采集方案45可以包括一个或多个序列，诸如结构（T1w、T2w、FLAIR）或扩散（ADC、TraceW）扫描。SWI或GRE也可以是缩略采集方案45的部分。缩略采集方案45可以包括以比侦察方案（第一MR数据）更高的分辨率扫描。

在动作A250处，使用缩略采集方案45来获取第二MR数据47。缩略采集方案45可以包括多个序列。在继续前进到下一个序列之前，可以执行和验证每个序列。对缩略采集方案45的序列的验证可以包括确定第二MR数据47相对于从第一MR数据获取的矩阵的对准或未对准。例如，使用同时多切片方案，来自第二MR数据47的切片可以被配准到第一MR数据，以确保该未对准是最小的。附加地或替代地，缩略采集方案45的序列可以通过检查采集的质量是否是合适的（例如，存在可接受的运动量、偏置场、噪声）来验证。可以使用任何自动化技术来检查运动量、偏置场或噪声。可以针对运动、偏置场或噪声中的每个来定义阈值。如果超过阈值，则序列可能无法通过验证。如果获取的MR数据的序列或集合未能通过验证，则可以重复该序列、变更该序列以解决任何问题并重复或跳过。过程和变更可以被自动执行，或者过程可以暂停并且需要来自临床医生的输入。如上所述，如果未验证发现，则可以在序列之后的任何时刻停止缩略采集方案45。

第二MR数据47可以包括缩略采集方案45的每个序列的分离的数据。例如，如果缩略采集方案45中存在五个序列，则可以存在MR数据47的五个分离的集合。

在动作A260处，在第二MR数据47中识别异常。利用缩略采集方案45获取的数据的部分或集合或系列中的每个被输入到被配置成检测异常的分离的训练网络51中。图5描绘了检测异常的过程。如描绘的那样，缩略采集方案45的四个分离的序列（ADC、TraceW、FLAIR和T1w）的输出数据47被输入到四个训练网络51中。可以离线训练每个网络51以识别输入数据中的异常。可以使用不同的深度学习或机器学习技术来训练网络51。每个网络51可以包括不同的结构，并且可以与其他网络51分离地训练。

DenseNet或其他网络布置也可以被用于训练网络51或上述其他训练网络，以用于分割或分类。DenseNet以前馈方式将网络中的每个层连接到每个其他层。对于DenseNet中的每个层，所有在前的层的特征图被用作输入，并且该层的输出特征图被用作到所有随后的层中的输入。在DenseNet中，对于每个层，所有在前层的特征图被用作输入，并且其自身的特征图被用作到所有随后的层中的输入。为了减小网络的大小，DenseNet可以包括过渡层。所述层包括之后是平均池化（pooling）的卷积。过渡层减小了高度和宽度尺寸，但使特征尺寸相同。神经网络可以进一步被配置为U-net。U-Net是自动编码器，其中来自网络的编码器部分的输出与网络的解码器部分中的镜像对应物串接。跳过连接防止网络的中间成为瓶颈。

深度架构包括卷积神经网络（CNN）或深度信念网（deep belief net）（DBN），但可以使用其他深度网络。CNN学习前馈映射功能，而DBN学习数据的生成模型。此外，CNN对所有本地区使用共享权重，而DBN是完全连接的网络（例如，对图像的所有区包括不同的权重）。CNN的训练是通过反向传播完全有鉴别力的。另一方面，DBN采用层式无监督训练（例如，预训练），在必要时之后是具有反向传播的鉴别细化。在实施例中，训练网络51的布置是完全卷积网络（FCN）。可以使用替代的网络布置，例如，3D极深卷积网络（3D-VGGNet）。VGGNet堆叠许多包含窄卷积层的层块，之后是最大池化层。可以使用3D深度残差网络（3D-ResNet）架构。Resnet使用残差块和跳过连接来学习残差映射。

训练网络51中的每个被定义为多个顺序特征单元或层。顺序被用于指示从一个层到输入到下一层的输出特征值的一般流程。来自下一层的信息被馈送到下一层，依此类推，直到最终输出。所述层可以仅前馈或者可以是双向的，包括对先前层的一些反馈。每个层或单元的节点可以与先前和/或随后的层或单元的节点的全部或仅子集连接。可以使用跳过连接，诸如层输出到顺序下一层以及其他层。不是对特征预先编程并试图将特征与属性关联，而是深度架构被定义为基于输入MR数据（有或没有预处理）来学习不同抽象的级别处的特征。学习所述特征以重建较低级别的特征（即，更抽象或压缩级别处的特征）。例如，学习用于重建图像的特征。对于下一个单元，学习用于重建先前单元的特征的特征，从而提供更多抽象。该单元的每个节点表示特征。提供不同的单元用于学习不同的特征。

可以使用各种单元或层，诸如卷积、池化（例如，最大池化）、解卷积，完全连接或其他类型的层。在单元或层内，提供任何数量的节点。例如，提供100个节点。之后的或随后的单元可以具有更多、更少或相同数量的节点。通常，对于卷积，随后的单元具有更多抽象。例如，第一单元提供来自图像的特征，诸如是在图像中找到的线的一个节点或特征。下一个单元组合线，使得所述节点中的一个是角。下一个单元可以组合来自先前单元的特征（例如，线的角和长度），使得节点提供形状指示。为了重建转置卷积，抽象的级别反转。每个单元或层都降低了抽象或压缩的级别。

可以使用机器学习技术来训练网络51中的每个，以输出区或特征是否是异常的分类或概率。网络51中的每个还可以被配置成生成针对该区或特征的偏差值。可以合并53训练网络的输出以生成与扫描中的每个区或特征有关的数据。在实施例中，数据可以被限于确定区或特征是否是异常的。数据还可以包括关于在合并过程中使用的分类的置信度数据。替代地，来自训练网络51的输出数据可以不被合并53，而是分离地输入到病理分类器55中，如下所述。

在动作A270处，识别一个或多个附加的采集序列。图6描绘了用于识别附加序列的工作流程。缩略采集序列和侦察采集序列的分析被用于确定任何附加的序列是否可能是有益的。如果是，则配置附加序列并自动排序。可以将先前扫描的输出和分析输入到识别病理的病理分类器55中。可以使用基于病理的推理器（reasoner）57或其他模型将病理与适当的序列匹配。（一个或多个）附加序列可以被排序和执行。可以使用ML或深度学习技术来训练病理分类器55以对先前扫描的结果进行分类。在实施例中，使用无监督学习，为自动化聚类创建偏差的流形空间（manifold space）。使用实际的病理病例，将聚类与病理相匹配，并且因此与附加建议扫描相匹配。

在另一个实施例中，监督学习可以被用于将发现直接分类为病理和最佳下一序列。从缩略采集方案45中的每个序列报告发现，并且因此可以根据发现和序列采取（一个或多个）具体动作。基于来自每个序列的发现，也可以由基于病理的推理器57执行将病理与所需序列匹配。在确定添加采集序列之后，执行一个或多个采集序列，并且可以将结果显示给操作员或存储以供之后使用。

图7描绘了用于医学成像数据的自动化采集的控制单元的一个实施例。控制单元包括图像处理器22、存储器24和显示器26。控制单元20可以与服务器28和MR成像设备36连接。可以提供附加的、不同的或更少的部件。例如，可以提供网络连接或接口，诸如用于控制单元20和服务器28之间的联网。可以为操作员提供具有用户接口的工作站以输入数据。

MR成像设备36可以类似于如图1中描绘的MR成像设备36。MR成像设备36被配置成获取可以由控制单元20处理成一个或多个图像或体积的MR数据。控制单元20可以向MR成像设备36提供命令。替代地，MR成像设备36可以完全独立地起作用而无需来自控制单元20的任何输入。

图像处理器22（或处理器）是通用处理器、中央处理单元、控制处理器、图形处理器、数字信号处理器、三维渲染处理器、图像处理器、专用集成电路、现场可编程门阵列、数字电路、模拟电路、其组合或用于处理图像的其他现在已知的或之后开发的设备。处理器22是单个设备或串行、并行或分离地操作的多个设备。处理器22可以是诸如膝上型或台式计算机之类的计算机的主处理器，或可以是用于在较大系统中（诸如在MR系统中）处置一些任务的处理器。处理器22被指令、设计、硬件和/或软件配置成执行在本文中讨论的动作。

服务器28可以与控制单元20共同定位，或者可以被远程定位。服务器28可以经由网络连接到MR系统100或控制单元20。网络是局域、广域、企业、另一网络或其组合。在一个实施例中，网络至少部分地是因特网。使用TCP/IP通信，网络提供处理器24和服务器28之间的通信。可以使用用于通信的任何格式。在其他实施例中，使用专用或直接通信。

服务器28可以包括处理器24或处理器的组。可以提供多于一个服务器28或控制单元20。服务器28由硬件和/或软件配置。处理器24和/或服务器28被配置成执行上述用于自动化采集工作流程的动作。处理器24和/或服务器28可以访问和实现存储在存储器24中的代码。

存储器24可以是图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、高速缓存存储器、硬盘驱动器、光学介质、磁介质、闪存驱动器、缓冲器、数据库、其组合或用于存储数据或视频信息的其他现在已知的或之后开发的存储器设备。存储器24是控制单元20的部分、数据库的部分、另一系统的部分、图片存档存储器或独立设备。存储器24可以存储来自MR设备36的MR数据。

存储器24包括用于实现医学成像数据的自动化采集的指令集或计算机代码。存储器24包括用于对患者或器官定位的侦察采集成像序列进行排序的指令。缩略采集方案45是自动排序的，缩略采集方案45部分地基于侦察采集来配置。缩略采集方案45可以至少包括结构（T1w、T2w、FLAIR）和扩散（ADC、TraceW）序列。取决于医疗机构，SWI或GRE也可以是缩略采集方案45的部分。在具体病理（脑肿瘤）的情况下，可以执行附加的采集，诸如灌注、具有对比度的T1w以及更多。

存储器24包括指令集或计算机代码，以使缩略采集方案45自动化，并且然后根据序列的结果，使用深度学习训练网络来决定适当的（一个或多个）接下来的序列。指令集可以包括三个步骤：侦察图像、具有最少数量的序列的缩略采集方案45以及基于病理发现的附加序列。

在诸如高速缓存、缓冲器、RAM、可移动介质、硬盘驱动器或其他计算机可读存储介质之类的非暂时性计算机可读存储介质或存储器上提供用于实现在本文中讨论的过程、方法和/或技术的指令。非暂时性计算机可读存储介质包括各种类型的易失性的和非易失性的存储介质。响应于存储在计算机可读存储介质中或存储在计算机可读存储介质上的一个或多个指令集，执行在图中图示的或在本文中描述的功能、动作或任务。功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可以由单独或组合操作的软件、硬件、集成电路、固件、微代码以及诸如此类执行。同样地，处理策略可以包括多处理、多任务、并行处理以及诸如此类。

显示器26可以被配置成向操作员显示图像。显示器26可以用附加信息或叠加来增强图像。显示器26可以被配置成以二维、三维或者例如在增强或虚拟现实场景中显示图像。

在一个实施例中，将指令存储在可移除介质设备上，以供本地或远程系统读取。在其他实施例中，将指令存储在远程位置中，用于通过计算机网络或通过电话线传递。在又一其他实施例中，将指令存储在给定的计算机、CPU、GPU或系统内。

虽然上面已经通过参考各种实施例描述了本发明，但是应理解的是，在不脱离本发明的范围的情况下，可以进行许多改变和修改。因此，旨在将前述详细描述视为说明性的而不是限制性的，并且要理解的是，旨在限定本发明的精神和范围的是以下权利要求，包括所有等同物。

Claims (20)

1.一种用于使用磁共振成像系统（100）的对患者（11）的自动化图像采集的方法，所述方法包括：

由所述磁共振成像系统（100）使用第一成像方案获取（A110）第一MR数据（31）；

由所述处理器（22）验证（A120）所述第一MR数据（31）；

由所述处理器（22）根据所述第一MR数据（31）的所述验证对第二成像方案进行排序（A130）；

由所述磁共振成像系统（100）使用所述第二成像方案获取（A140）第二MR数据（47）；

由所述处理器（22）验证（A150）所述第二MR数据（47）；以及

由所述处理器（22）根据所述第一MR数据（31）和所述第二MR数据（47）的所述验证对第三成像方案进行排序（A160）。

2.根据权利要求1所述的方法，其中，以比所述第二成像方案低的分辨率执行所述第一成像方案。

3.根据权利要求1所述的方法，其中，验证所述第一MR数据（31）包括：

由所述处理器（22）使用使用深度强化学习技术训练的网络来检测所述第一MR数据（31）中的界标；

由所述处理器（22）对界标检测进行评分；以及

当得分超过预定义阈值时，由所述处理器（22）验证所述第一MR数据（31）。

4.根据权利要求1所述的方法，其中，所述第二成像方案包括多个序列。

5.根据权利要求4所述的方法，其中，在执行所述多个序列的随后的序列之前，执行并验证所述多个序列中的每个序列。

6.根据权利要求1所述的方法，其中，验证所述第二MR数据（47）包括：

由所述处理器（22）识别所述第一MR数据（31）中的采集矩阵；以及

由所述处理器（22）检查所述第二MR数据（47）的几何形状是否符合相对采集矩阵。

7.根据权利要求1所述的方法，其中，验证所述第二MR数据（47）包括：

验证所述第二MR数据（47）的对准。

8.根据权利要求1所述的方法，其中，所述第一MR数据（31）是脑MR数据，并且所述第二成像方案至少包括T1w、FLAIR、ADC和TraceW序列。

9.根据权利要求1所述的方法，进一步包括：

由所述磁共振成像系统（100）使用所述第三成像方案获取第三MR数据；以及

显示所述第三MR数据。

10.一种用于对患者（11）的自动化医学图像采集的方法，所述方法包括：

由磁共振成像系统（100）使用侦察采集序列获取（A210）第一MR数据（31）；

由处理器（22）检测（A220）所述第一MR数据（31）中的界标；

由所述处理器（22）识别（A230）所述第一MR数据（31）中的异常区；

由所述处理器（22）根据所述识别的界标和识别的异常区来确定（A240）缩略采集方案（45）；

由所述磁共振成像系统（100）使用所述缩略采集方案（45）来获取（A250）第二MR数据（47）；

由所述处理器（22）识别（A260）所述第二MR数据（47）中的异常；

由所述处理器（22）根据所述识别的异常来确定（A270）一个或多个附加采集序列；以及

由所述磁共振成像系统（100）执行所述一个或多个附加采集序列。

11.根据权利要求10所述的方法，进一步包括：

在确定所述缩略采集方案（45）之前验证所述侦察采集序列。

12.根据权利要求10所述的方法，其中，识别界标包括：

使用深度加固训练代理来识别界标。

13.根据权利要求10所述的方法，其中，识别异常区包括：

使用使用对抗过程训练的网络（41）来分割所述第一MR数据（31）；

将所述分割的第一MR数据（31）输入到可变自动编码器网络（43）中；以及

将具有比预定义阈值高的重建误差的所述分割的第一MR数据（31）中的区识别为异常。

14.根据权利要求10所述的方法，其中，使用训练的密集网络来识别所述第二MR数据（47）中的异常。

15.根据权利要求10所述的方法，其中，确定一个或多个附加采集序列包括：

使用使用机器学习训练的病理分类器（55）来识别病理疾病，以输入一个或多个异常并输出所述病理疾病。

16.根据权利要求10所述的方法，其中，所述侦察采集序列包括2mm各向同性分辨率序列。

17.根据权利要求10所述的方法，其中，所述缩略采集方案（45）包括多个序列。

18.一种用于对患者（11）的自动化医学图像采集的系统，所述系统包括：

磁共振成像设备（36），其被配置成使用第一成像方案获取第一MR数据（31），并且使用第二成像方案获取第二MR数据（47）；

存储器（24），其被配置成存储所述第一MR数据（31）和第二MR数据（47）；以及

控制单元（20），其被配置成验证所述第一MR数据（31），根据所述第一MR数据（31）的所述验证对所述第二成像方案进行排序，验证所述第二MR数据（47），以及根据所述第一MR数据（31）和第二MR数据（47）的所述验证对第三MR数据进行排序。

19.根据权利要求18所述的系统，其中，所述控制单元被进一步配置成检测所述第一MR数据（31）中的异常，并根据检测到的异常生成所述第二成像方案。

20.根据权利要求18所述的系统，进一步包括：

显示器（26），其被配置成显示所述第一MR数据（31）和第二MR数据（47）。