CN110858315A - 考虑较少训练数据的基于深度机器学习的磁共振成像质量分类 - Google Patents

Abstract

考虑较少训练数据的基于深度机器学习的磁共振成像质量分类。为了对磁共振图像质量进行分类或训练以对磁共振图像质量进行分类，深度学习被用于学习基于模拟和测量的相似性来区分损坏图像的特征。深度学习使用没有质量注释的合成数据，从而允许大量的训练数据。然后将深度学习的特征用作输入特征，用于使用用地面实情质量注释的训练数据来训练分类器。由于使用了在没有质量注释的情况下学习的特征，可能需要较小的训练数据集来训练分类器。

Description

考虑较少训练数据的基于深度机器学习的磁共振成像质量 分类

相关申请

本专利文档要求保护2018年8月13日提交的在临时美国专利申请序列号62/717,997的根据35 U.S.C.§119(e)的提交日的权益，该申请通过引用被并入于此。

背景技术

本实施例涉及磁共振（MR）或其他成像的质量。图像质量取决于获取之前和获取期间的各种参数。在获取之前，校准和缺陷影响得到的质量。在获取期间，患者移动是重要因素。能够在扫描时评估运动严重性和/或其他伪影可以通过在患者仍然在工作台（table）上时触发重新扫描而不必在以后日期召回（recall）患者来提高成像工作流程效率。

MR成像中的图像质量评估使用一组手工制作（hand-crafted）的特征或基于前景和背景噪声估计的信噪比（SNR）估计。已经提出了数据驱动算法，诸如使用卷积神经网络对分类任务中的质量进行建模。这样的分类模型的缺点是需要用其来训练模型的大量分类数据的事实。可能没有足够大的注释数据集是可用的。即使具有足够的数据，不同临床人员之间的质量感知和要求中的差异可能需要针对每个用例的训练模型。

发明内容

通过介绍，下面描述的优选实施例包括用于对MR图像质量进行分类或训练以对MR图像质量进行分类的非暂时性计算机可读介质中的方法、系统和指令。深度学习被用于学习基于模拟和测量的相似性来区分损坏图像的特征。深度学习使用没有质量注释的合成数据，允许大量的训练数据。然后将深度学习的特征用作输入特征，用于使用用地面实情质量注释的训练数据来训练分类器。由于使用了在没有质量注释的情况下学习的特征，因此可能需要较小的训练数据集来训练分类器。

在第一方面中，提供了一种用于对来自磁共振系统的图像的质量进行分类的方法。磁共振系统生成患者的图像。响应于将图像应用于机器学习回归量（regressor）网络，将特征值确定为输出。机器学习回归量网络被训练为基于损坏图像的模拟来预测图像度量。响应于将特征值应用于机器学习分类器，对图像的质量进行分类。当质量低于阈值时，由磁共振系统重新扫描患者。

在第二方面中，提供了一种用于训练图像质量的分类的方法。在输入图像中模拟伪影。该模拟从输入图像中产生伪影图像。机器深度学习以预测伪影图像与相应输入图像的相似性的程度。机器对来自训练数据的分类器进行机器训练，所述训练数据具有图像质量的地面实情注释和从深度学习中学习的输入特征。存储机器训练的分类器和来自深度学习的机器学习网络。

在第三方面中，提供了一种用于磁共振图像质量评估的系统。磁共振扫描仪被配置成生成表示患者的数据。图像处理器被配置成用在没有质量注释的情况下学习的深度学习特征的机器学习网络生成数据的特征的值，并且基于所述值用机器学习分类器来确定图像质量。显示器被配置成显示图像质量的指示。

由以下权利要求来限定本发明，并且该部分中的任何内容都不应当被理解为对那些权利要求的限制。下面结合优选实施例讨论本发明的另外的方面和优点，并且之后可以独立地或组合地要求保护所述方面和优点。

附图说明

部件和附图不一定按比例，代之以重点在于说明本发明的原理。此外，在附图中，相同的附图标号贯穿不同视图表示相应的部分。

图1是用于对来自磁共振系统的图像的质量进行分类的方法的一个实施例的流程图；

图2图示了用于对图像的质量进行分类的布置；

图3是用于训练图像质量的分类的方法的一个实施例的流程图；以及

图4是用于磁共振图像质量评估的系统的一个实施例的框图。

具体实施方式

深度图像质量控制被提供用于MR成像。为了处理具有用于机器训练分类器的有限数量的质量注释样本，提供两阶段过程。通过从合成数据训练回归量，可以在一定程度上克服对大量的注释数据的需求。然后可以通过使用在回归中学习的特征来在较少数据上训练分类器。

本文中的示例是针对用于MR成像的。在其他实施例中，可以使用其他类型的成像。其他示例类型的成像可以是其他类型的医学成像（例如，计算断层摄影术或超声）或其他环境中的成像。以下示例处理运动伪影，但是可以使用其他类型的伪影。以下示例来自大脑的MR成像，但是可以使用其他类型的解剖结构的成像。

图1是用于对来自磁共振系统的图像的质量进行分类的方法的一个实施例的流程图。患者的图像被分类为是否具有足够的质量。该分类基于通过深度学习来学习的用于除质量之外的成像度量的机器学习的特征。这些学习的特征被用作针对机器学习的质量的分类的输入特征。

该方法由机器实现，所述机器诸如图4的系统、MR扫描仪、计算机、工作站、服务器或其他处理部件。在一个实施例中，MR扫描仪执行动作10。诸如MR扫描仪的部分或工作站的部分的图像处理器执行动作12和14。图像处理器结合MR扫描仪执行动作16。其他设备可以执行动作中的任何动作。

以所示的顺序（数字或从上到下）执行动作，但是可以使用其他顺序。可以提供附加的、更少的或不同的动作。例如，诸如在来自患者的扫描的图像具有足够的质量的情况下不执行动作16。

在动作10中，磁共振系统生成患者的表示。医学MR扫描仪生成表示患者的图像。由医学扫描仪或在医学扫描仪内使得图像是可用的。由医学MR扫描仪获取医学图像。替代地，该获取来自存储设备或存储器，诸如从PACS获取先前创建的数据集。处理器可以从图片档案通信系统或医学记录数据库提取数据。获取可以经过网络贯穿传输。

该图像是医学成像MR数据或MR数据集。医学图像是表示患者的平面或体积的数据的帧。该数据可以是以任何格式的。虽然使用术语图像和成像，但是图像或成像数据可以是以在图像的实际显示之前的格式的。例如医学图像可以是与显示格式不同的表示在笛卡尔、径向、螺旋或极坐标格式中的不同的位置的多个标量值。图像或成像是可以被用于诸如表示患者的扫描数据之类的成像的数据集。

当患者被定位以进行扫描时（例如，在MR系统的患者床上），使用用于扫描患者的脉冲序列来获取MR数据。获取表示患者的内部区域的数据。脉冲序列和相应的采样线顺序被用于测量，产生表示患者的k空间数据。使用螺旋形（螺旋）、笛卡尔、旋转（径向）或其他扫描模式。然后重建k空间数据。对k空间测量结果执行傅里叶分析以将数据从k空间重建到对象空间中。

医学图像表示患者的组织和/或骨骼结构。替代地，医学图像表示患者内的流量、速度或流体。在其他实施例中，医学图像表示流量和结构两者。

医学图像表示患者的二维（2D）或三维（3D）区域。例如，医学图像表示患者的多个平行平面或切片。体积可以被表示为具有像素值的切片或被表示为3D中的体素。针对以二维或三围分布的多个位置中的每个位置提供值。获取医学图像作为数据的帧。数据的帧表示基于遵循扫描线顺序或序列随时间进行的测量的扫描区域。

运动和扫描线顺序的组合可能导致运动伪影的发生。在动作10中获取的表示可以包括在扫描期间由患者运动导致的伪影。诸如由于失真、校准中的不准确性和/或其他源，其他伪影可以在获取的图像中表示。由于患者的运动，由MR扫描仪生成具有一定水平的运动伪影的图像。更大运动和/或在不同方向上或通过不同身体部位的运动可能导致运动伪影的不同水平或分布。

在动作12中，图像处理器确定特征值。患者的MR图像的质量将由分类器确定。分类器是接收针对输入特征的值的机器学习的分类器。不是使用手动编程的特征（例如，Haar小波），而是使用来自机器学习的回归量网络的特征。响应于将图像应用于机器学习的回归量网络，输出针对给定图像的特征的值。使用学习特征的神经网络（例如，卷积神经网络）的部分或层。神经网络是包括学习特征的深度学习网络。

在深度学习中学习以从学习特征预测或估计的神经网络的部分未被使用。特征被使用，但分类未被使用。例如，深度学习网络学习特征并使用特征来输出图像度量，诸如相似性。使用特征的值来确定图像度量（例如，相似性）的神经网络的部分未被使用。针对学习特征提供值的部分被用于对质量的分类的输入。

图2示出了示例。网络26是用于生成特征28的值的神经网络的部分。为了测试或应用，图像24是患者的图像并且包括或不包括伪影。图像24被输入到网络26，网络26输出针对N个特征28的值。N是大于一的整数，诸如输出数十、数百或数千个特征28的值。

为了训练网络26，使用运动模拟器22，使得生成具有不同的运动损坏的级别和/或特性的多个图像24。不是使用质量的注释，而是使用通过模拟创建并允许量化一个或多个图像度量的合成数据来学习特征28。

图3示出了用于训练图像质量的分类的方法的一个实施例的流程图。该方法包括用深度学习来训练以学习网络26的特征，并且包括训练分类器29（参见图2）。

在动作30中，机器（例如，服务器的图像处理器、MR扫描仪或工作站）模拟输入图像20中的伪影。提供任何数量的输入图像20，所述数量诸如数十、数百或数千。由运动模拟器22（例如，模拟运动伪影的图像处理器）针对每个输入图像20模拟任何数量的损坏或伪影图像24。来自相同输入图像20的损坏图像24具有不同的损坏特性（例如，级别、原因、建模的源、分布或其他特性）。伪影模拟器22被用于从可用数据集图像20生成损坏图像24。

在一个实施例中，从输入图像20的公共可用数据集HCP的子集生成运动损坏图像24。运动模型假设针对每个切片的2D平面内平移运动，其中静态对象在图像空间中被移位，并且然后转换为k空间以模拟具有运动的数据获取。假设k空间读出足够快以冻结任何患者运动并且仅模拟读出间运动。为了模拟其中可能不顺序收集k空间数据的实际MR获取，使用随机数量的受运动影响的读出线，并且针对每个2D k空间随机选择这些线。位移的方向和大小也随机地被分配给每个受影响的线。在替换所有受运动影响的读出线之后，k空间数据被转换回图像空间作为运动损坏的图像24。

对于用于创建训练数据的该运动的模拟，使用对患者、模型（phantom）或具有少量运动或没有运动的其他对象的地面实情扫描来形成图像20。替代地，后处理以最小化或减少运动伪影的图像或扫描数据被用作图像20。地面实情扫描是多切片、体积和/或另一3DMR重建，但是可以使用2D MR重建。该MR重建受到来自运动模型的运动，诸如基于对在躺在MR扫描仪的床上时移动的人进行建模的2D或3D运动。使用扫描获取顺序，通过模拟MR扫描和MR重建来创建3D表示，就像患者在扫描期间移动一样。使用线顺序和/或运动变化，使用相同表示（例如，输入图像20）形成重建表示（例如，损坏图像24）的许多示例。可以通过重复具有不同的设置值的模拟来生成其他示例，从而提供损坏图像24的一个或多个不同表示。

可以使用用于损坏图像20的其他方法，诸如在图像域中过滤或添加伪影。可以使用伪影的随机化添加。在一个实施例中，训练机器学习网络以在给定输入运动信息的情况下生成伪影图或伪影图像。输出损坏图像24，或者将输出伪影添加到图像20以形成损坏图像24。

模拟生成一组完整参考图像度量作为回归网络26的目标。可以使用任何图像度量。不是使用图像质量的注释，而是使用可测量的度量。该可测量的度量是针对基础或原始图像20与损坏图像24之间的差异的图像度量。地面实情扫描与来自模拟的重建之间的差异指示MR重建中的运动影响的水平。来自模拟的重建表示（例如，损坏图像24）和差异被用作用于深度学习的训练数据。

示例图像度量包括L2距离（例如，规格化的均方根误差）、结构相似性指数（SSIM）（均值或多等级）或差异或相似性的其他度量。对于每个切片，表示或其他图像，计算模拟的损坏图像24和原始图像20之间的图像度量的值。然后将每个度量用作回归任务的目标。

当MR图像中的运动伪影被传播到背景中时，经由直方图分析计算的对象掩码可以用于将前景（FG）与背景（BG）分离。图像度量的值可以是针对FG、BG或两者的。

在一个示例中，训练集包括来自包括所有三个方向的90个T2加权体积的230、104个2D切片。数据增强包括随机转换，诸如同一性（identity）、水平和垂直镜像以及90度、180度和270度旋转。数据分割是90％用于训练，并且10％用于验证。输入图像24被规格化为零均值和单位标准偏差。

在动作32中，机器使用图像度量的值和损坏的图像执行深度学习。深度学习学习以预测相似性的量或另一图像度量。图像度量是相对或绝对度量。输入图像20和模拟损坏图像24之间的差异被测量为图像度量。深度学习学习以估计针对给定输入损坏图像的图像度量的值。由于动作30中模拟的重复，许多损坏图像的样本和图像度量的相应值可用于深度学习。

用于创建训练数据（例如，在动作30中执行模拟）的相同或不同的机器被用于训练。例如，一个或多个工作站生成训练数据（例如，损坏的图像和针对每个的图像度量的相应值）。工作站中的一个或不同的处理器（例如，服务器）使用来自被存储在数据库或其他存储器中的示例的机器学习来训练。

可以使用任何机器学习。在一个实施例中，使用深度学习。使用分段式可微函数或其他深度学习函数，机器响应于输入图像而训练网络以输出分数（例如，图像度量的值）。该机器通过回归来训练网络。机器训练在学习要使用的特征和在给定学习的特征向量的情况下如何分类时是无监督的。训练深度神经网络来以L₂损失（例如，最小平方误差）或其他损失估计以获得最优网络参数。例如，以20的批量大小来训练网络，并且Adam优化器具有10-4的学习率，以最小化L1距离。针对训练图像的测量图像度量与由网络进行的预测之间的差异被最小化。

对于深度学习，分类器学习输入数据的特征以从训练数据中提取。训练通过一个或多个层将输入数据与分类相关。一个或多个层将特征值与类相关。对于深度学习网络，可以存在另外的层，所述另外的层从先前的层的输出创建另外的抽象特征。得到的机器训练的分类器是用于输入、卷积核、下采样、加权和/或组合的矩阵，以输出成像度量的分类和/或估计值。深度机器训练网络包括将输入与类别相关的两个或更多个部分。第一部分是用于提供学习特征的值的一个或多个层。第二部分是用于在给定学习特征的值的情况下预测图像度量的值的一个或多个层。

可以使用任何神经网络架构。例如，使用完全卷积神经网络。可以训练和应用其他深度学习的、稀疏的自动编码分类器。在一个实施例中，训练没有完全连接层的完全卷积Dense-Net（密集网）架构。例如，使用针对每个2D输入图像产生标量质量分数的2DDenseNet回归模型。添加了基于DenseNet的对抗性鉴别器，用于T1与T2加权图像对比度的分类。在池化之前，鉴别器在最后层的位置处被馈送有由回归模型生成的特征。鉴别器的主要目标是用于为回归模型生成独立于对比度（T1w或T2w）的特征。生成器和鉴别器的总体回归损失由生成器的回归目标值和分数的L1范数以及包含鉴别器的分类损失（交叉熵）的对抗性项组成。生成器和鉴别器两者都采用Adam优化。可以使用其他方法，诸如没有鉴别器的深度学习。

在网络架构的另一个实施例中，使用多个密集块。密集块包括各种层，诸如完全连接层，其具有到最终完全连接层的一个或多个跳连接。密集块输出到卷积层，之后是池化层。池化层输出到另一个密集块，该另一个密集块输出到卷积层。卷积层输出到池化层，该池化层输出到平均池化层或用于输出分数的其他组合层。可以使用附加的、不同的或更少的层。

由于来自模拟的测量度量被用于无监督训练，因此在没有图像质量的地面实情注释的情况下执行深度学习。对于训练数据中的每个样本不需要手动注释。不需要有点主观的质量的测量结果。代之以，模拟允许直接测量与期望的质量输出不同但与该期望的质量输出相关的图像度量。训练网络（即回归量）以从给定的损坏图像预测完整参考度量，因此没有参考。由于自生成数据几乎是无限可用的，因此可以将网络训练到非常高的准确性。模拟创建合成数据（不反映患者的实际扫描或图像的图像），这允许许多样本具有相应的可测量的一个或多个图像度量。回归量网络被机器训练以基于对损坏图像24的模拟来预测图像度量而无需质量的注释。损坏图像24与原始未损坏图像20的相似性被用于训练网络而无需质量注释。

再次参考图1和图2，一旦训练，已经用由伪影模拟输出的损坏图像24的训练数据训练的机器学习回归量网络26就从网络26的第一部分输出特征28的值。不使用输入图像的图像度量的值的输出估计。替代地，也执行估计，但是特征28的值也由网络26的第一部分输出，以供分类器29在动作14中的分类中使用。

在动作14中，机器对输入图像24的质量进行分类。响应于特征28的值的输入，机器学习分类器29输出图像24的质量。对患者的图像24的质量进行分类。在损坏是由于运动造成的情况下，质量基于患者的运动的影响。

分类针对任何数量的类别。图2将二元分类示出为“好”或“不好”。分类器29将阈值应用于概率输出或者如基于地面实情注释而并入，以输出两个类别中的任一个的成员资格。在其他实施例中，提供三个或更多个类别，诸如输出1-5或1-10的整数范围内的质量分数。

分类器29是随机森林、支持向量机或其他训练的分类器。可以使用支持向量机、贝叶斯网络、概率提升树、神经网络、稀疏自动编码分类器、随机森林或其他现在已知或以后开发的机器学习。可以使用任何半监督或监督学习。可以使用分层的、级联的或其他方法。

在图3的动作34中，机器从训练数据中训练分类器29，该训练数据具有图像质量的地面实情注释和从网络26的深度学习中学习的输入特征。当网络26被训练时，机器训练是顺序的，并且然后分类器29可以被训练，因为特征28被用作分类器29的训练中的输入。

用于动作30的模拟和/或动作32的深度学习的相同或不同的机器被用于动作34的训练或学习中。在一个实施例中，相同的工作站和/或服务器被用于所有的动作30-34。

为了训练分类器，使用来自网络26的特征28。网络26被用于确定特征28的值。针对训练数据中的样本图像中的每个来确定值。在第二阶段中使用深度学习的特征来训练简单的分类器以预测给定图像是否具有可接受的质量。训练数据可以与训练网络26中使用的图像24不同、是该图像24的子集或是相同的图像24。由于分类器29要被训练以区分质量，因此训练集中包括好质量和坏质量的样本。用于训练数据的图像被输入到网络26以提供特征28的值。这些值被用作用于训练分类器29的样本。可以不使用图像度量和相应层的值的估计。

在其他实施例中，还使用其他特征。从图像24到分类器29的虚线表示包括其他特征。其他特征可以是针对图像的，诸如手动编程的特征（例如，Haar小波或可操纵特征）。其他特征可以是针对患者的，诸如临床信息（例如，年龄、性别、体重、体重指数、家族史、遗传信息、血液工作信息…）。训练分类器29以基于来自网络26的特征28和任何其他特征（例如，基于参考或传统的特征）对质量进行分类。

对于训练，每个样本都包括地面实情。图像的质量的注释作为地面实情被包括。为了训练分类器29，注释数据是必要的。可以使用来自公共数据集的数据增强（其是关于运动伪影的高质量扫描的示例）。然而，由于网络26和相应的特征28的使用，训练数据中的样本的数量可能较少。

在动作36中，存储机器学习分类器29和机器学习网络26。在创建之后，机器学习的网络包括具有各种参数的值的一个或多个层，诸如卷积核、下采样权重和/或连接。存储如训练的参数和/或网络的值。机器学习的网络被存储在存储器中，诸如机器的存储器或具有示例的数据库。机器学习的网络可以被传输到不同的存储器。机器学习的网络可以被复制以供其他设备或机器（诸如MR扫描仪的处理器）应用。MR扫描仪的存储器可以存储机器学习的网络的副本以供特定患者应用，使得放射科医师或其他医生能够确定是否依赖于图像或者由于患者运动或另一伪影而再次扫描以进行诊断。

一旦训练，分类器29就接收针对具有或不具有其他特征的患者的给定图像24的特征28的值。已经被训练以基于来自其中特征值基于图像度量的预测的机器学习的回归量网络26的特征的值对质量进行分类的机器学习分类器29，对输入图像24的质量进行分类。

在一个示例中，使用前景L无穷大损失来训练回归量网络26以用于具有密集网络的深度学习。分类器被机器训练为支持向量机。对于运动伪影的情况，分类器用少至160个实际注释数据的情况来训练。

在图1的动作16中，图像处理器或MR扫描仪确定是否重新扫描患者。质量被用于基于阈值确定是否重新扫描。阈值可以是类别，诸如区分好和不好。阈值可以是沿质量等级的用户设置或默认级别，诸如1-5个质量的等级中的“3”。如果质量是好的（例如，高于或低于阈值），则可以使用针对患者的图像24而无需重新扫描。如果质量是差的（例如，低于或高于阈值），则图像24可能包括太多伪影。当质量是差的时，再次扫描患者。

在患者离开工作台之前和/或在针对该患者的给定成像预约结束之前再次执行扫描。通过获得关于质量的反馈，来自患者的预约的得到的一个或多个图像更可能提供具有较少伪影的诊断上有用的信息。重新扫描提供了足够质量的一个或多个图像，而没有进行另一次成像预约的不便和相应延迟。

将图像24和质量的分类显示给MR扫描仪的操作者。处理器或MR扫描仪使用显示设备来显示针对图像的质量。质量分数可以在网络上通过通信接口被传输到存储器或数据库中（例如，传输到计算机化的患者医学记录）或传输到显示器。

用户或医学扫描仪使用质量分数。足够好的质量表示（例如，高于或低于阈值的分数或值）允许以最小的错误的风险诊断。质量差的表示可能不足以进行诊断，因此再次扫描患者。可以使用基于分数的自动触发来由MR扫描仪扫描。替代地，用户基于质量分数触发随后的扫描。一旦预测了针对MR图像体积中的运动伪影的质量分数，医学扫描仪或医学扫描仪的操作者就决定是否重新扫描患者。分数被用于决定使用或不使用生成的表示。可以基于质量分数来提供用于实现重新扫描的菜单选择。结果是之后的医生复查更可能具有用于诊断的有用图像，并且在可能的情况下避免重新扫描。该分数可以被用于基于来自患者的扫描的表示来加权诊断中的信任的量。

图4示出了用于磁共振图像质量评估的系统的一个实施例。该系统用于机器学习和/或用于机器学习网络的应用。该系统在MR扫描仪40上实现，但是一个或两个机器学习网络可以在与MR扫描仪40分离的服务器、计算机和/或工作站上实现。

该系统包括MR扫描仪40、图像处理器42、存储器44和显示器46。可以提供附加的、不同的或更少的部件。例如，提供网络连接或接口，诸如用于与医学成像网络或数据档案系统联网。在另一示例中，提供用户界面。作为另一示例，提供服务器和数据库用于训练和/或实现一个或两个训练的网络。

图像处理器42、存储器44和显示器46是医学MR扫描器40的部分。替代地，图像处理器42、存储器44和显示器46是诸如与医学记录数据库工作站或服务器相关联的、与MR扫描仪40分离的档案和/或图像处理系统的部分。在其他实施例中，图像处理器42、存储器44和显示器46是个人计算机，诸如台式计算机或膝上型计算机、工作站或其组合。在没有用于通过扫描患者来获取数据的其他部件的情况下，可以提供图像处理器42、显示器46和存储器44。

MR扫描仪40是医学诊断成像系统。MR扫描仪40是MR系统。MR系统包括诸如低温磁体（cryomagnet）之类的主场磁体（main field magnet）和梯度线圈。提供整体线圈（whole-body coil）用于传输和/或接收。可以使用局部线圈（local coil），诸如用于响应于脉冲而接收由原子发射的电磁能量。可以提供其他处理部件，诸如用于基于序列来规划和生成用于线圈的传输脉冲，以及用于基于线顺序接收和处理接收的k空间数据。用傅里叶处理将接收的k空间数据转换成对象或图像空间数据。MR扫描仪40被配置成生成表示患者的数据，诸如对象域中的图像数据。

图像处理器42是通用处理器、中央处理单元、控制处理器、图形处理器、神经处理单元、数字信号处理器、三维渲染处理器、专用集成电路、现场可编程门阵列、数字电路、模拟电路、其组合或其他现在已知或以后开发的用于机器训练或应用机器学习网络的设备。图像处理器42是单个设备或串行、并行或分离地操作的多个设备。图像处理器42可以是诸如膝上型计算机或台式计算机之类的计算机的主处理器，或可以是用于在诸如在MR扫描仪40中之类的较大系统中处理一些任务的处理器。图像处理器42通过指令、设计、硬件和/或软件被配置成执行在本文中讨论的动作。

图像处理器42被配置成执行上面讨论的用于训练和/或应用的动作。对于训练，图像处理器42或另一处理器（例如，服务器）通过模拟生成示例。生成伪影损坏图像。图像处理器42基于所存储和/或创建的训练数据和定义的网络架构使用深度机器学习。一旦学习了用于预测图像度量的特征，图像处理器42就训练分类器以使用学习的特征和地面真值质量对质量进行分类。

对于应用，图像处理器42使用一个深度学习网络来生成特征的值，并使用机器学习的分类器来从学习的特征中对质量进行分类。机器训练的网络被存储在存储器44中，用于应用于来自MR扫描器40或存储器44的患者的图像。图像被输入到深度学习的网络，该深度学习的网络输出学习特征的值。这些值被输入到机器训练的分类器，该分类器输出质量。所述特征基于已经学习使用合成数据作为训练数据来预测相似性，但是被用作分类器的输入以对质量进行分类。训练分类器以使用具有质量的注释的特征的值作为地面实情。

图像处理器42被配置成通过网络将质量传输到显示器46或传输到存储器44。图像处理器42可以被配置成生成用于请求重新扫描和/或呈现质量具有或不具有患者的一个或多个图像（例如，为其提供质量的患者的图像）的用户界面。

存储器44可以是图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、高速缓存存储器、硬盘驱动器、光学介质、磁介质、闪存驱动器、缓冲器、数据库、其组合或用于存储数据或视频信息的其他现在已知的或以后开发的存储器设备。存储器44是MR扫描仪40的部分、与图像处理器42相关联的计算机的部分、数据库的部分、另一个系统的部分、图片档案存储器或者独立的设备。

存储器44存储表示患者的医学成像数据、构成机器学习网络的层中的一些的参数的权重或值、模拟模型参数、来自不同层的输出、一个或多个机器学习网络、图像、相似性和/或质量。存储器44可以存储用于应用的处理期间的数据和/或可以存储训练数据和用于机器学习的处理期间的数据。

存储器44或其他存储器替代地或附加地是存储表示可由编程图像处理器42执行的指令的数据的非暂时性计算机可读存储介质，用于在医学MR成像中训练或使用机器学习网络。在诸如高速缓存、缓冲器、RAM、可移动介质、硬盘驱动器或其他计算机可读存储介质之类的非暂时性计算机可读存储介质或存储器上提供用于实现在本文中讨论的过程、方法和/或技术的指令。非暂时性计算机可读存储介质包括各种类型的易失性的和非易失性的存储介质。响应于存储在计算机可读存储介质中或存储在计算机可读存储介质上的一个或多个指令集，执行在图中图示的或在本文中描述的功能、动作或任务。功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略并且可以由单独或组合操作的软件、硬件、集成电路、固件、微代码以及诸如此类执行。同样地，处理策略可以包括多处理、多任务、并行处理以及诸如此类。

在一个实施例中，指令被存储在可移动介质设备上，以供本地或远程系统读取。在其他实施例中，指令被存储在远程位置中，用于通过计算机网络或通过电话线传送。在又一其他实施例中，指令被存储在给定的计算机、CPU、GPU或系统内。

显示器46是监视器、LCD、投影仪、等离子体显示器、CRT、打印机或用于输出视觉信息的其他现在已知的或以后开发的设备。显示器46从图像处理器42、存储器44、MR扫描器40和/或服务器接收图像、图形、文本、数量或其他信息。显示一个或多个医学MR图像。MR图像是关于患者的区域的。图像包括分类结果的指示，诸如文本（注释）、图形或着色，诸如质量分数。质量分数可以被显示为没有患者的医学MR图像的图像。可以显示用于配置MR扫描仪40以重新扫描和/或重新扫描的指示的菜单。

虽然上面已经通过参考各种实施例描述了本发明，但是应当理解的是，在不脱离本发明的范围的情况下，可以进行许多改变和修改。因此，旨在将前述详细描述视为说明性的而不是限制性的，并且要理解的是，正是包括所有等同物的以下权利要求旨在限定本发明的精神和范围。

Claims (20)

1.一种用于对来自磁共振系统的图像的质量进行分类的方法，所述方法包括：

通过磁共振系统生成患者的图像；

响应于将图像应用于机器学习回归量网络，确定特征值作为输出，机器学习回归量网络已经被训练以基于损坏图像的模拟来预测图像度量；

响应于将特征值应用于机器学习分类器，对图像的质量进行分类；以及

当质量低于阈值时，由磁共振系统重新扫描患者。

2.如权利要求1所述的方法，其中生成图像包括由于患者的运动而生成具有运动伪影的图像，其中模拟用于训练机器学习回归量网络模拟运动，其中分类包括基于患者的运动的影响对质量进行分类，并且其中重新扫描包括当患者的运动的影响导致质量低于阈值时重新扫描。

3.如权利要求1所述的方法，其中确定包括由包括深度学习网络的机器学习回归量网络来确定。

4.如权利要求3所述的方法，其中由深度学习网络确定包括通过学习的特征来确定而不使用图像度量的预测。

5.如权利要求1所述的方法，其中确定包括由已经用损坏图像的模拟训练的机器学习回归量网络来确定，损坏图像的模拟包括由伪影模拟输出的损坏图像。

6.如权利要求1所述的方法，其中确定包括由已经在没有质量的注释的情况下被训练的机器学习回归量网络来确定。

7.如权利要求1所述的方法，其中确定包括由已经用图像度量训练的机器学习回归量网络来确定，所述图像度量包括损坏图像与未损坏图像的相似性。

8.如权利要求1所述的方法，其中分类包括由包括随机森林或支持向量机的机器学习分类器进行分类。

9.如权利要求1所述的方法，其中分类包括用已经用针对训练数据的地面实情质量训练的机器学习分类器进行分类。

10.如权利要求1所述的方法，其中分类包括用已经被训练以基于来自机器学习回归量的特征值对质量进行分类的机器学习分类器进行分类，其中特征值基于图像度量的预测。

11.如权利要求1所述的方法，其中分类包括响应于特征值的应用和其他特征的应用而进行分类。

12.如权利要求1所述的方法，其中分类包括将质量分类为二元分类。

13.如权利要求1所述的方法，其中生成图像包括关于工作台上的患者来生成，并且其中重新扫描包括在患者离开工作台之前重新扫描。

14.一种用于训练图像质量的分类的方法，所述方法包括：

模拟输入图像中的伪影，所述模拟从输入图像中产生伪影图像；

由机器进行深度学习，以预测伪影图像与相应输入图像的相似性的程度；

由机器对来自训练数据的分类器进行机器训练，所述训练数据具有图像质量的地面实情注释和从深度学习中学习的输入特征；以及

存储来自深度学习的机器训练分类器和机器学习网络。

15.如权利要求14所述的方法，其中模拟包括：对于输入图像中的每个，生成多个伪影图像，作为具有不同损坏特性的损坏图像。

16.如权利要求14所述的方法，其中深度学习包括通过回归将机器学习网络作为生成用于预测相似性的程度的输入特征的第一层和具有用于预测的第二层的另外的网络进行学习，并且其中机器训练包括使用机器学习网络作为第一层而没有另外的网络的机器训练。

17.如权利要求16所述的方法，其中深度学习包括没有图像质量的地面实情注释的深度学习。

18.如权利要求16所述的方法，其中机器训练包括用从深度学习中学习的作为初始模型的输入特征和其他输入特征的机器训练。

19.一种用于磁共振图像质量评估的系统，所述系统包括：

磁共振扫描仪，其被配置成生成表示患者的数据；

图像处理器，其被配置成用在没有质量注释的情况下学习的深度学习特征的机器学习网络生成数据的特征的值，被配置成基于所述值用机器学习分类器来确定图像质量；以及

显示器，其被配置成显示图像质量的指示。

20.如权利要求19所述的系统，其中机器学习网络被训练以基于合成数据预测相似性，并且其中机器学习分类器被训练以基于作为地面实情的图像质量的注释来确定图像质量。

Images