CN107610193B - 使用深度生成式机器学习模型的图像校正 - Google Patents

Abstract

本发明涉及使用深度生成式机器学习模型的图像校正。对于来自成像系统（80）的图像的校正，深度学习生成式模型（22）被用作利用成像系统（80）的退化行为的物理模型（24）的逆解中的正则化矩阵。先验模型基于生成式模型（22），虑及在没有应用特定的均衡的情况下对图像的校正。根据好的图像来训练生成式模型（22），因此可避免或降低收集问题特定的训练数据的困难。

Description

使用深度生成式机器学习模型的图像校正

相关申请

本专利文档要求2016年6月23日提交的临时美国专利申请序列号62/353,713的根据35 U.S.C.§119(e)的申请日的权益，该申请特此被通过引用结合。

背景技术

目前的实施例涉及图像校正。图像常常包括伪影（artifact）。可通过减少伪影来恢复图像。诸如去噪、去模糊、图像修复或重建之类的图像恢复任务是将退化算子应用于图像的逆问题。通过将退化行为的物理模型与好的图像应当是什么样的先验模型进行组合来恢复原始图像。图像恢复通常被铸造为（cast as）最大后验（MAP）估计问题，然后使用约束优化来求解。

求解此逆问题的在先方法包括手动制作先验模型和算法以提供重建质量与算法的复杂度之间的好的折中。这些在先方法经受用以减少手动先验的复杂性的过分简单化的假设，并且经受用于均衡对于许多不同情况可能不同的此折中的要求。另一方法使用受监督的机器学习考虑到输入图像而输出校正图像。机器学习方法经受足够大集合的失真和成像系统特定的训练数据的可用性的缺乏，并且经受差的一般化：如果失真，则必须从头开始重新训练映射，尽管观察到的对象是相同的。

发明内容

通过介绍的方式，下面描述的优选实施例包括用于来自成像系统的图像的校正的方法、系统、指令和非瞬时计算机可读介质。深度学习生成式模型被用作在利用成像系统的退化行为的物理模型的逆解中的正则化矩阵。先验模型基于生成式模型，虑及在没有应用特定的均衡的情况下对图像的校正。根据好的图像来训练生成式模型，因此可避免或降低收集问题特定的训练数据的困难。

在第一方面，提供了用于来自医学扫描器的图像的校正的方法。医学扫描器获取表示病人的图像。图像具有由于医学扫描器的获取过程而导致的一定水平（level）的伪影。机器利用深度生成式机器学习模型针对图像确定伪影异常的概率。机器将图像中的伪影的水平最小化。最小化是伪影的物理模型和图像的先验概率的函数。物理模型包括特定于医学扫描器的特性。传输从最小化输出的图像。图像是病人的并且来自医学扫描器，其中伪影的水平被最小化。

在第二方面，提供了用于减少来自成像系统的图像中的失真的方法。对象的图像被优化以具有较少的失真。优化是关于基于梯度的优化，其包括来自由机器学习生成式模型输出的对数似然（likelihood）的正则化矩阵。如经优化的图像被输出。

在第三方面，提供了用于来自成像系统的第一图像的校正的方法。成像系统获取第一图像，其具有由于成像系统的获取导致的失真。机器利用深度生成式机器学习模型来确定第一图像具有失真的似然。根据第一图像求解校正图像。该求解使用似然和用于成像系统的变换。校正图像被传输。

本发明由以下权利要求限定，并且此部分中没有什么应被当作看作是对那些权利要求的限制。在下面结合优选实施例来讨论并且可稍后独立地或组合地要求保护本发明的其他方面和优点。

附图说明

组件和图不一定按比例，反而着重于图示本发明的原理。而且，在各图中，同样的参考数字指定贯穿不同的视图的对应部分。

图1图示了用于逆解的生成式模型和物理模型的示例组合；

图2图示了用于来自医学扫描器或其他成像系统的图像的校正的方法的一个实施例；

图3图示了生成式模型的多对象训练；以及

图4是用于来自成像系统的图像的校正的系统的一个实施例的框图。

具体实施方式

深度生成式模型直接评估新图像与训练数据属于相同类别的概率。例如，深度生成式模型可预测照片是否是鸟的。虽然那些模型已经示出它们合成自然看到的（诸如，鸟的）图像的能力，但生成式模型由于其复杂性而很少见到在其他任务中使用，所述复杂性不允许通过推理或优化算法进行的容易操纵。

深度生成式模型可用于图像校正。使用深度先验来求解逆问题。给定损坏的测量结果Y，为了恢复基础图像X，将深度生成式模型集成到逆问题框架中而不是替换框架。生成式模型将图像当作其输入，并返回图像的先验对数似然。此对数似然被用作逆问题中的正则化项。求解逆问题减少失真，从损坏的测量结果Y重建更加理想或校正的图像X。

图1图示了用于校正图像的过程的一个实施例。从好的图像的数据库21学习生成式模型22。生成式模型22学习基于图像20的输入来输出概率。迭代地使用物理模型24和来自生成式模型22的概率来求解校正图像26。

图2示出了用于来自诸如医学扫描器之类的成像系统的图像的校正的方法的一个实施例。该方法被图示在医学成像的背景下，但是可以应用于其他背景（例如，照片、材料测试、天文学或地震感测）下。

图2针对生成式模型22在逆问题解中的应用。通过按照生成式模型输出的似然利用正则化来优化解而减少用于生成图像X的测量结果Y中的任何失真。生成式模型22根据优化的迭代确定任何校正图像以及输入图像20的常态（normality）的概率或似然。优化使用生成式模型概率与对特定成像系统的退化行为的变换进行编码的物理模型一起来求解校正图像。

可以提供附加的、不同的或更少的动作。例如，用加载医学图像或其他类型的图像来替换动作30。作为另一示例，不执行动作38。在又一示例中，不执行动作36。

动作按所示顺序（从上至下或数字）执行，但可以使用其他顺序。例如，将动作32和36作为动作34的部分来执行。

动作由图4的系统、其他系统、医学扫描器、工作站、计算机和/或服务器执行。例如，动作30由医学扫描器执行。动作32-38由处理组件或其他机器（诸如，医学扫描器、工作站或计算机）执行。

在动作30中，医学扫描器获取表示病人的图像。医学扫描器使得图像可用或者使得图像在医学扫描器内可用。获取可通过网络上的或者来自存储器的传输。处理器可从图片档案通信系统（PACS）或医学记录数据库中提取数据。替代地，获取不在医学环境中的数据，诸如捕捉或加载照片或视频。在替代实施例中其他传感器（例如，声换能器或相机）可以生成图像。

图像是医学成像数据。医学图像是表示病人的数据帧。数据可以是任何格式。虽然使用术语图像和成像，但是图像或成像数据可以是在图像的实际显示前的格式。例如，医学图像可以是以与显示格式不同的笛卡尔坐标或极坐标格式表示不同位置的多个标量值。作为另一示例，医学图像可以是输出到用于生成以显示格式的图像的显示器的多个红色、绿色、蓝色（例如，RGB）值。医学图像可以是以显示格式或另一格式的当前或先前显示的图像。图像或成像是可用于成像的数据集，诸如表示病人的扫描数据。扫描数据表示来自特定医学扫描器或成像系统的测量结果Y。

可以使用任何类型的医学图像和对应的医学扫描器。在一个实施例中，医学图像是用计算机断层扫描（CT）系统获取的CT图像。例如，胸部CT数据集可用于检测肺中的支气管树、裂缝和/或血管。对于CT，来自检测器的原始数据被重建到三维表示中。作为另一示例，获取表示病人的磁共振（MR）数据。用MR系统来获取MR数据。使用用于扫描病人的脉冲序列来获取数据。获取表示病人的内部区域的数据。对于MR，磁共振数据是k空间数据。执行傅立叶分析以将数据从k空间重建到三维对象或图像空间中。数据可以是超声数据。波束成形器和换能器阵列听觉上扫描病人。极坐标数据被检测并被处理成表示病人的超声数据。数据可以是正电子发射断层扫描（PET）、单光子发射计算机断层扫描（SPECT）或其他核成像数据。来自病人内的放射性发射被检测到并被重建成成像数据。

医学图像表示病人的组织和/或骨骼结构。替代地，医学图像表示病人内的流动、速度或流体。在其他实施例中，医学图像表示流动和结构二者。对于PET和SPECT，扫描数据表示组织的功能，诸如摄取。

医学图像表示病人的一维、二维或三维区域。例如，医学图像将病人的区域或切片（slice）表示为像素值。可以通过再现成二维格式来将三维体积表示为像素值。作为另一示例，医学图像表示体素的体积或三维分布。针对分布在两个或三个维度中的多个位置中的每个提供值。医学图像被获取为数据帧。数据帧表示给定时间或周期处的扫描区域。数据集可以表示随时间过去的面积或体积，诸如提供病人的4D表示。

图像可以包括一个或多个伪影或失真。不同的成像模式易受不同类型的伪影或损坏的影响。用于扫描的物理过程和/或用以根据扫描创建图像的处理可生成伪影。病人或执行扫描的传感器的运动可生成伪影。医学成像中的示例伪影包括噪声、模糊（例如，运动伪影）、遮蔽（例如，阻碍或干扰感测）、错失的信息（例如，由于信息的移除或掩蔽而导致的在图像修复中错失的像素或体素）、重建（例如，测量域中的退化）和/或欠采样伪影（例如，由于压缩感测导致的欠采样）。其他伪影可能在图像中。

可存在任何水平的伪影。医学扫描器的扫描设置、病人的状况、移动量、过滤、重建、其他图像处理和/或其他因素可导致图像中的不同水平的伪影。一个图像可以包括一个类型或多个类型的伪影。水平可以是严重性（例如，强度或对比度）和/或程度（例如，实例的分布或数目）的函数。

给定病人的图像将被校正。例如，校正用于CT、X射线和MR去噪，MR和超声重建，或MR超分辨率。

校正使用来自生成式模型的概率对好的图像是什么进行建模。在动作32中，机器利用深度生成式机器学习模型针对图像确定伪影异常的概率。可使用能够应用深度生成式机器学习模型的任何机器。例如，计算机将图像输入到已学习矩阵或作为深度生成式机器学习模型而学习的矩阵。生成式模型将训练数据编码成几个独立的隐藏变量或学习特征，并可以通过对隐藏变量进行采样来生成合成数据。对于用以校正图像失真的逆解，不使用合成数据的生成。学习模型将图像当作输入，但是可以提供其他输入，诸如病人的临床数据。生成式模型被实现为（诸如在深度学习中使用的）分段可微函数并返回先验对数似然。

可使用任何机器学习生成式模型。例如，生成式模型是使用受限玻尔兹曼机（RBM）、深度信念网络（DBN）、神经自回归密度估计器（NADE）、变分自动编码器（VAE）、去噪自动编码器（DAE）、生成式对抗网络（GAN）、其扩展或用于生成式建模的其他深度学习方法的深度学习模型。在一个实施例中，经训练的深度生成式模型是具有一组j个卷积层和k个完全连接层（每个都跟随着非线性激活函数）以及用于特征减少的一组汇集层的深度神经网络。可以使用其他层布置。

在深度学习中，通过机器训练来学习隐藏变量。机器从数据库的训练图像学习生成式模型。在一个实施例中，使用标准生成式训练来执行训练。来自数据库的训练图像具有类似的质量，诸如生成式模型将表示的期望的好的质量。取决于较高还是较低的得分指示较好的质量，伪影的水平或质量得分高于或低于阈值水平。可替代地或附加地使用主观选择。用于训练生成式模型的所有图像都具有好的或最高图像质量。质量的任何阈值可以用于训练图像，诸如在1-5的得分范围中仅为5的得分，其中5是最佳质量。在替代实施例中，使用较宽的范围（例如，图像中的中等水平的伪影、低水平的伪影和/或无伪影）。在其他实施例中，使用任何质量水平的图像。

训练图像没有经受或经受很少失真或伪影。找到没有或少有失真的大量图像，而不是找到与特定伪影相关联的大量图像。定位较好质量的图像可能比定位具有特定伪影的图像更容易地执行，因为具有伪影的图像趋向于不被存储或记录。为了增加足够质量的可用图像的数目，可以使用使用其他算法校正的图像。提供了用于校正特定损坏源的许多不同方法。通过应用这些方法，提供了具有减少的伪影或失真的图像。来自多个不同类型的伪影校正的图像可提供训练图像。此整体数据获取过程比可能仅关于以一种失真为特征的图像来训练每个网络的判别式（discriminative）方法导致更大数量的训练数据。

为了训练生成式模型，向模型馈送一组（例如，由图像的得分确定的）好的或类似质量的图像。输出的对数似然被最大化。由于输出是概率分布（即：被约束成在所有图像上共计1），训练也隐含地使训练集中不存在的图像（诸如低质量图像）的似然最小化。生成式模型对表示图像中的好的质量的特征进行编码。由于生成式训练是无监督的，训练不要求好的图像和坏的图像的匹配对，其在医学设置中难以大规模获取。为了获得好的图像和坏的图像二者，需要扫描病人两次，并且导致额外的剂量和/或扫描时间而对病人没有立即的益处。

由于生成式模型用于校正差质量图像，假设校正也是训练的部分，则那些差的图像也可包括在生成式模型的训练中。一般地，训练是找到使数据上的一些损失的期望最小化的模型参数。期望的一个示例最小化被表示为：

其中θ是一组先验的可训练参数（例如，神经网络的权重），E是期望，Y是图像数据，X是理想图像，并且L是损失函数。训练可以利用X和Y（有监督的）、仅X（无监督的，仅来自好的图像）或者仅Y（无监督的，来自坏的图像）。如果使用坏的图像，则训练包括校正。上面根据好的图像的无监督最大似然损失函数可被表示为：

。

用于恢复损坏的数据的无监督最大后验损失函数也可用于优化θ。它可被表示为：

。

那两个示例均是无监督的，因为示例未使用损坏的数据和针对相同扫描的目标图像的匹配（X, Y）对。可使用其他表示、损失函数或期望最小化函数。

生成式性质用于确定好质量图像的模型。生成式模型提供用于指示好质量图像的特征或内核（kernel）。基于好质量图像，生成式模型对伪影的类型而言是通用的。可以使用相同的生成式模型来校正经受各种类型的伪影中的任何的图像。

用深度机器学习来训练生成式模型以输出输入图像与好的质量匹配的概率。概率是常态或异常的概率。异常反映伪影的似然。针对图像输出一个概率。在替代实施例中，输出概率的空间分布，诸如基于周围或相邻像素或体素的强度或值来计算每个像素或体素的概率。

模型参数（例如，机器训练特征、内核或层值）被用于计算图像与好的质量的生成式模型拟合（fit）的概率。与生成式模型不匹配的图像将具有低概率，因此将图像识别为包括一个或多个潜在的异常。与生成式模型匹配的图像将具有高概率。可以使用逆概率（例如，从1.0中减去该概率）。在其他实施例中可使用与差的或低质量图像的生成式模型的匹配。

在一个实施例中，根据具有不同类型的伪影（包括该伪影）的训练图像来学习深度生成式机器学习模型。伪影可能是微小的，因此训练图像具有高于阈值的质量。在其他实施例中，利用多对象训练来学习或训练深度生成式机器学习模型。多对象训练包括标注为具有低于阈值的质量或差的质量的训练图像。作为仅使用好质量图像的替代，也使用具有差的质量的图像。最初用好质量图像来训练生成式模型，并且然后使用多对象训练来细化生成式模型以学习可以一般地生成数据并在任务上表现良好的模型。使用半监督或监督的方法进行细化，使得生成式模型学习到与差质量图像区别开的好质量图像的特性。具有地面实况（ground truth）标签的好质量图像和差质量图像二者被使用。来自损坏的数据的该受监督的损失可被表示为：

多个损失可以组合以关于所有可用的数据（好的或所有类型的损坏，在监督或没有监督的情况下）进行训练。差质量图像中的损坏被选择为特定于问题，诸如噪声或运动模糊。在一个实施例中，关于好质量图像来训练生成式模型。经受特定类型的损坏的坏质量图像的集合用于对生成式模型进行细化或微调以使得生成式模型特定于损坏的类型。

替代地，可以使用具有由于许多类型的失真而导致的差质量的训练图像来提供对于失真的类型而言通用的生成式模型。图3示出示例。公共研究数据集和/或私人临床数据集是针对给定模式（即，医学扫描器的类型）和/或应用的好质量图像的集合。任务1到任务n数据集是经受不同类型的失真或损坏的图像数据集。生成式模型的训练使用训练数据的这些源中的全部或一些。在替代实施例中，使用好质量训练数据和坏质量训练数据来初始训练生成式模型，而不是使用差质量训练图像进行细化。

虽然所提出的框架目的在于较大的灵活性和可学习性，但任何生成式模型有可能计算比逆问题的任何正则化任务所严格要求的更多的信息。如果计算性能在测试时间（即，在应用于病人的图像期间）是问题，则可以训练另一判别式网络来提取推理算法。较小的专门的判别式网络被机器训练，以再现生成式模型的完全推理的结果。基于生成式模型来训练支持向量机、概率提升树、深度学习神经网络、贝叶斯或另一机器学习判别式网络。生成式模型通过指示输入图像的地面实况质量来提供自动化监督，因此增加可用于判别式网络的监督训练的数据量。此较小的判别式网络使用生成式模型的推理算法作为地面实况从损坏的和/或未损坏的图像的未标注的集合中学习。

所得到的判别式网络在测试时间被应用于图像以输出概率，其中概率基于来自深度生成式机器学习模型的训练。判别式网络可比生成式模型更快，并且比与从头开始的监督训练要求更少注释的数据，因为生成式模型提供用于训练的地面实况。

在图2的动作34中，机器对图像进行优化。优化校正了测量结果或图像中的失真，以将图像恢复成经校正的形式。校正可以是部分或完整的。任何对象（诸如病人的解剖结构）的图像被优化以具有较少的失真或伪影。

该优化根据输入图像求解校正图像。解是逆问题。对测量结果或图像的获取可被建模。物理模型将成像系统的退化或损坏操作与测量结果相关。此数据获取模型可被表示为：

其中Y是以某方式（例如，模糊或噪声）损坏的测量结果并且X是理想图像或校正图像。

期望的图像可被表示为参数化先验图像模型：

。

恢复问题（即，逆解）是后验

的函数。贝叶斯法则规定：

。

解可被表示为最大后验概率估计（MAP），诸如由如下表示：

。

可以使用其他表示。

该逆解使用参数化的先验图像模型。深度学习生成式模型被用作先验。逆解使用生成式模型输出的概率作为正则化矩阵项。正则化矩阵项是将测量结果或输入图像Y的更改与理想或好质量图像拟合的措施。正则化矩阵指示给定的校正是否使所得到的校正图像更像好质量图像或校正图像。生成式模型提供校正图像具有好质量的概率。从其导出的、由机器学习生成式模型输出的对数似然或其他似然被用作逆解中的正则化矩阵项。

逆解在获取中使用退化行为的物理模型结合生成式模型。可以使用表示用以测量或扫描的成像系统的物理操作的任何物理模型。物理模型对成像系统的变换进行编码。物理模型表示成像系统如何工作的至少一个图像退化特性。

可以针对不同的退化提供不同的物理模型。例如，物理模型针对噪声。MRI的噪声分布为高斯分布，而CT的噪声分布为泊松分布。物理模型包括特定于成像系统或医学扫描器的特性。成像系统的类型（例如，CT相对MRI）提供特异性。替代地，使用用于特定模型的噪声分布。不同的模型具有不同的布置，导致不同的噪声分布。在其他替代方案中，如构建的单独成像系统的噪声分布通过校准确定并用作物理模型。

物理模型可以包括一个或多个特性的分布。对引起成像系统的操作的灵敏度、运动（物体或成像系统）、准直器效应、噪声、重建、掩蔽、压缩和/或其他伪影进行建模。

在逆问题求解中一起使用物理模型和生成式模型。使用具有白高斯噪声的线性模型用于物理模型的示例表示被表示为：

其中L2范数项（Y-AX）包括具有σ作为噪声分布并且A作为应用于图像的损坏算子的物理模型，并且作为log p_θ（X）的正则化矩阵项是来自生成式模型的似然。可以使用包括非线性表示的其他表示。

通过梯度下降来优化逆解。深度模型通常通过反向传播而被训练，反向传播是关于生成式模型的内部参数的梯度下降。逆解同样作为梯度下降被执行。可以使用任何基于梯度的优化，诸如双共轭梯度或L-BFGS。在迭代过程中，更改后的测量结果或图像Y被输入到生成式模型，来提供此迭代的概率。在其他迭代中测试其他改变，以识别提供足够最优、最佳或最优的校正图像X的更改。使用一个项中的物理模型和来自另一项（即，正则化矩阵）中的生成式模型的概率来使梯度下降最小化。

计算正则化矩阵的梯度。在一个实施例中，似然是编码器（即，生成式模型）的输出，并且编码器被实现为诸如神经网络之类的分段可微函数。通过关于校正图像X的反向传播来计算似然的梯度。例如，生成式模型的去噪自动编码器提供直接给出梯度的解码器输出。通过梯度下降的一个示例最小化被表示为：

此最小化使用物理模型和产生似然的生成式模型来根据输入图像求解校正图像。输入图像Y中的伪影或失真的水平被最小化，以提供校正图像X。可以使用其他最小化。

在一个实施例中，将先验作为去噪自动编码器D进行训练。其输出D（X）是其输入的最小均方误差（MMSE）去噪图像，假设高斯白噪声水平σ，并且先验的梯度可以被计算为：

随着用于训练去噪自动编码器的噪声电平σ变得更小，对梯度的估计变得更加准确。当噪声水平趋向于0时，它是渐近准确的。

在替代实施例中，使用贝叶斯方法而不是梯度下降。例如，使用变分贝叶斯、消息传递、期望传播或另一方法。可以使用基于蒙特卡罗模拟的损失的期望。可以将积分器与生成式模型一起学习以绕过多链蒙特卡罗（MCMC）采样。学习侧网络来计算期望。

在动作36中，为优化提供控制。提供控制以约束优化和/或作为用于针对优化的每次迭代变更输入图像Y的改变。例如，机器在最小化中提供方向、步长大小、迭代数目、预调节器或其组合。

控制可以是随机化的、默认设置、用户选择的设置，或者基于模式。对于更改图像的控制，控制基于来自先前迭代和/或来自当前迭代的信息。提供用以根据最初的输入和/或最近的迭代更改测量结果Y的量、方向和/或其他变化。提供要使用的迭代数目、步长大小、预调节器（例如，应用于梯度来细化方向的矩阵）和/或用于优化的其他设置。

在一个实施例中，根据生成式模型为每个迭代确定梯度方向。梯度方向指示正或负改变或者改变的方向。在最小化中为下一迭代确定梯度方向。梯度方向根据深度生成式机器学习模型确定。在测试时间对图像数据使用生成式模型的相同的反向传播方法来获得梯度方向，其将增加图像与生成式模型拟合的似然。问题的数据拟合部分通常是平滑的，因此整个逆问题可以通过梯度下降来解决。

在附加或替代实施例中，由应用于图像的机器学习分类器提供一个或多个控制。例如，步长大小被学习（对于每个A）以用于测试时间处的快速收敛。在问题特定的基础上通过反向传播来学习诸如步长大小、迭代数目和预调节器之类的优化的算法参数。对于给定伪影和/或特定成像系统，机器学习被用于考虑到输入图像、似然中的梯度和/或在最小化中使用的其他信息对改变进行分类。可以从好的图像和退化的物理模型合成用于改变的机器学习分类器。该训练以受监督的方式进行，诸如使用用标注的地面实况数据学习的概率提升树或支持向量机。由于所得到的机器学习分类器涉及比生成式模型更少的参数，因此提供了更少的数据和更快的输出。

在默认或设置的迭代数目之后，输出所得到的校正图像。替代地，梯度变为零（即，发现导致峰值匹配的更改），因此输出所得到的校正图像。

在动作38中，机器传输从最小化或其他优化输出的校正图像。例如，传输病人来自医学扫描器的如经校正的图像。校正图像具有较少失真或没有图像中在先包括的失真。伪影的水平被减少或最小化。

传输经由网络通过通信接口到存储器或数据库（例如，到计算机化的病人医疗记录）中，或者到显示器。例如，校正图像（优化图像）被显示在显示设备上。

优化使用生成式模型，利用好质量图像形式的未标注的数据。一旦要用于许多不同形式的损坏，此生成式模型就被训练，因为生成式模型表示一个类型的成像的质量的概率。具有不同伪影源的图像具有与理想图像相同的好的质量。此生成式模型也与获取参数（诸如成像系统用于获取图像的设置）分离。来自不同获取和对应的不同设置的图像具有与理想图像相同的好的质量。因此，优化对于不同的扫描器设置而言是稳健的。不需要针对不同的伪影和/或扫描器配置的单独的生成式模型。

逆解函数的项通常以特定于问题（例如，失真源）和成像系统的方式进行均衡。生成式模型通过损坏的量来设置正则化强度，而不是要求针对许多不同情形手动调整均衡。正则化是自加权的。物理模型被校准到成像系统，因此不需要对项进行相对加权的实验。在其他实施例中可以提供相对加权。

图4示出了供在机器学习中使用和/或用于应用的系统的一个实施例。系统分布在成像系统80和远程服务器88之间。在其他实施例中，系统仅仅是服务器88，或者仅仅是成像系统80，而没有网络87。在其他实施例中，系统是计算机或工作站。

系统包括成像系统80、处理器82、存储器84、显示器86、通信网络87、服务器88和数据库90。可以提供附加的、不同的或更少的组件。例如，提供网络连接或接口，诸如用于与医学成像网络或数据档案系统联网。在另一示例中，提供了用户接口。作为另一示例，不提供服务器88和数据库90，或者仅提供服务器88和数据库90。在其他示例中，服务器88通过网络87与许多成像系统80和/或处理器82连接。

处理器82、存储器84和显示器86是医学成像系统80的部分。替代地，处理器82、存储器84和显示器86是与成像系统80分离的诸如与医疗记录数据库工作站或服务器相关联的档案和/或图像处理系统的部分。在其他实施例中，处理器82、存储器84和显示器86是个人计算机（诸如台式机或膝上型计算机）、工作站、服务器、网络或其组合。可以提供处理器82、显示器86和存储器84，而没有用于通过扫描病人来获取数据的其他组件。

在相同的位置处提供成像系统80、处理器82、存储器84和显示器86。该位置可能是相同的房间、相同的建筑物或相同的设施。这些设备相对于彼此是本地的，并且对服务器88而言是远程的。服务器88通过处于不同的设施中或通过处于不同的城市、县、州或国家中而与网络87间隔开。服务器88和数据库90远离处理器82和/或成像系统80的位置。

成像系统80是医学诊断成像系统。可以使用超声、计算机断层扫描（CT）、X射线、荧光透视（fluoroscopy）、正电子发射断层扫描（PET）、单光子发射计算机断层扫描（SPECT）和/或磁共振（MR）系统。成像系统80可以包括发射器，并且包括用于扫描或接收表示病人内部的数据的检测器。

在一个实施例中，成像系统80是CT系统。X射线源与台架连接。检测器x在射线源对面也与台架连接。病人位于源和检测器之间。源和检测器在病人的相对侧上，并围绕病人进行旋转和/或平移。检测到的穿过病人的x射线能量被转换、重建或变换成表示病人内的不同空间位置的数据。

在另一实施例中，成像系统80是MR系统。MR系统包括主场磁体，诸如低温磁体，以及梯度线圈。提供用于传输和/或接收的全身线圈。可以使用本地线圈，诸如用于接收由原子响应于脉冲而发射的电磁能量。可以提供其他处理组件，诸如用于基于序列来计划和生成用于线圈的传输脉冲，以及用于接收和处理接收到的k空间数据。利用傅立叶处理将接收到的k空间数据转换成对象或图像空间数据。

存储器84可以是图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、高速缓冲存储器、硬盘驱动器、光学介质、磁介质、闪存驱动器、缓冲器、数据库、其组合，或者用于存储图像数据的其他现在已知或稍后开发的存储器设备。存储器84是成像系统80的部分、与处理器82相关联的计算机的部分、数据库的部分、另一系统的部分、图片存档存储器或独立设备。

存储器84存储表示病人的医学成像数据、组成机器学习生成式模型的层的参数的权重或值、一个或多个机器学习矩阵、优化中使用的值、物理模型和/或校正图像。存储器84可以在处理期间存储数据用于应用和/或可以存储训练数据。

存储器84或其他存储器替代地或附加地是存储数据的非瞬时计算机可读存储介质，所述数据表示可由已编程处理器82执行以用于训练或使用逆解中的机器学习生成式模型以校正图像中的失真的指令。用于实现本文中讨论的过程、方法和/或技术的指令被提供在非瞬时计算机可读存储介质或存储器（诸如高速缓存、缓冲器、RAM、可移除介质、硬盘驱动器或其他计算机可读存储介质）上。非瞬时计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或上的一个或多个指令集来执行图中图示的或本文中描述的功能、动作或任务。功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可以由单独或组合地操作的软件、硬件、集成电路、固件、微代码等执行。同样地，处理策略可以包括多处理、多任务处理、并行处理等。

在一个实施例中，指令存储在可移除介质设备上，用于由本地或远程系统读取。在其他实施例中，指令被存储在远程位置中，用于通过计算机网络或通过电话线传送。在其他实施例中，指令被存储在给定计算机、CPU、GPU或系统内。

处理器82是通用处理器、中央处理单元、控制处理器、图形处理器、数字信号处理器、三维再现处理器、图像处理器、专用集成电路、现场可编程门阵列、数字电路、模拟电路、其组合，或者使用生成式模型和物理模型优化的其他现在已知或稍后开发的机器。处理器82是串行、并行或单独地操作的单个设备或多个设备。处理器82可以是诸如膝上型计算机或台式计算机之类的计算机的主处理器，或者可以是用于处理（诸如成像系统80中的）较大系统中的一些任务的处理器。通过指令、设计、硬件和/或软件将处理器82配置成执行本文中讨论的动作。

处理器82被配置成执行上面讨论的动作（例如，动作32-38）。处理器82使用一个或多个存储的矩阵用于机器学习生成式模型。通过将输入图像应用于生成式模型来创建概率。处理器82在对最小化进行正则化时使用来自生成式模型到图像的应用的似然。物理模型和生成式模型一起用于校正图像。处理器82可以应用其他机器学习分类器，诸如用于提供对优化的控制和/或作为使用生成式模型学习的替代分类器。

处理器82被配置成通过网络87将校正图像传输到显示器86或存储器84。处理器82可以被配置成生成用于接收校正或对失真移除的验证的用户接口。

显示器86是监视器、LCD、投影仪、等离子体显示器、CRT、打印机或用于输出视觉信息的其他现在已知或稍后开发的设备。显示器86从处理器82、存储器84、成像系统80和/或服务器88接收图像、图形、文本、数量或其他信息。显示一个或多个经校正的医学图像。图像是病人的区域的图像。校正图像包括比校正前的图像更少的伪影（数目、强度、可见性或其组合），因此可以更准确地描绘病人以用于诊断或治疗计划。

网络87是局域网、广域网、企业网、另一网络或其组合。在一个实施例中，网络87至少部分地是因特网。使用TCP/IP通信，网络87提供处理器82和服务器88之间的通信。可以使用用于通信的任何格式。在其他实施例中，使用专用或直接通信。

服务器88是处理器或处理器组。可以提供不止一个服务器88。服务器88由硬件、固件和/或软件配置。在一个实施例中，服务器88利用数据库90中的训练数据执行机器学习。机器学习矩阵被提供给处理器82以用于应用。替代地，服务器88执行从成像系统80接收的图像的优化，并将校正图像提供给成像系统80。

数据库90是用于存储诸如图像和相应得分的训练数据的存储器，诸如存储器组。生成式模型和/或判别式分类器的参数的权重或值被存储在数据库90和/或存储器84中。

虽然上面已经参考各种实施例描述了本发明，但是应当理解，可以在不脱离本发明的范围的情况下做出许多改变和修改。因此，意图前述详细描述被认为是说明性的而不是限制性的，并且应理解意图以下权利要求（包括所有等同物）来限定本发明的精神和范围。

Claims (19)

1.一种用于来自医学扫描器的图像的校正的方法，方法包括：

由医学扫描器获取（30）表示病人的图像，图像具有由于由医学扫描器的获取而导致的一定水平的伪影；

由机器用深度生成式机器学习模型（22）针对图像确定（32）伪影异常的概率；

由机器最小化（34）图像中的伪影的水平，最小化（34）是物理模型（24）和所述概率的函数，物理模型（24）包括特定于医学扫描器的特性；以及

传输（38）从最小化（34）输出的图像，图像是病人的并且来自医学扫描器，其中伪影的水平被最小化；

其中确定（32）包括用深度生成式机器学习模型（22）来确定（32），所述深度生成式机器学习模型（22）仅用具有高于阈值的质量的训练图像来学习而不收集问题特定的训练图像。

2.权利要求1的方法，其中获取（30）包括计算机断层扫描、磁共振、超声、正电子发射断层扫描图像。

3.权利要求1的方法，其中获取（30）包括将作为像素的二维表示或体素的三维集合的输出表示为图像。

4.权利要求1的方法，其中获取（30）包括在由噪声伪影、模糊伪影、图像修复伪影、重建伪影或其组合造成的损坏的情况下进行获取（30）。

5.权利要求1的方法，其中确定（32）包括确定（32）用以将与深度生成式机器学习模型（22）匹配的好的训练图像的对数似然最大化的概率。

6.权利要求1的方法，其中确定（32）包括用深度生成式机器学习模型（22）来确定（32），所述深度生成式机器学习模型（22）用包括标注为具有低于阈值的质量的训练图像的多对象训练来学习。

7.权利要求6的方法，其中确定（32）包括确定（32）用以将从坏的训练图像得到的校正图像的后验似然最大化的概率。

8.权利要求1的方法，其中确定（32）包括用深度生成式机器学习模型（22）来确定（32），所述深度生成式机器学习模型（22）用包括低质量图像与伪影校正的对应的目标输出图像的训练对的多对象训练来学习。

9.权利要求8的方法，其中确定（32）包括确定（32）用以将目标输出图像与应用于低质量图像的校正的应用之间的差异最小化的概率。

10.权利要求1的方法，其中确定（32）包括用深度生成式机器学习模型（22）来确定（32），所述深度生成式机器学习模型（22）从具有包括伪影的不同类型的伪影的训练图像来学习。

11.权利要求1的方法，其中确定（32）包括用从深生成式机器学习模型（22）训练出的机器学习判别式网络来确定（32）。

12.权利要求1的方法，其中最小化（34）包括用概率作为正则化矩阵项进行逆解。

13.权利要求1的方法，其中最小化（34）包括利用第一项中的物理模型（24）和第二项中的概率的梯度通过梯度下降而进行最小化（34），物理模型（34）包括特定于医学扫描器的特性的分布。

14.权利要求1的方法，其中最小化（34）进一步包括在最小化（34）中确定（32）用于下一迭代的梯度方向，梯度方向根据深度生成式机器学习模型（22）来确定。

15.权利要求1的方法，进一步包括利用应用于图像的机器学习分类器在最小化（34）中提供（36）步长大小、迭代数目、预调节器或其组合。

16.权利要求1的方法，其中传输（38）包括传输（38）图像到显示器。

17.一种用于减少来自成像系统（80）的图像中的失真的方法，方法包括：

优化（34）对象的图像以具有较少失真，优化（34）是关于基于梯度的优化，其包括来自由机器学习生成式模型输出的对数似然的正则化矩阵；以及

将图像显示（38）为经优化的；

其中优化（34）包括用机器学习生成式模型来优化（34），所述机器学习生成式模型基于具有高于阈值的质量的训练图像而不收集问题特定的训练图像并且基于具有相对于失真的类型公知的地面实况的训练图像的受监督子集。

18.权利要求17的方法，其中优化（34）包括用对成像系统（80）的变换进行编码的物理模型（24）来优化（34）。

19.一种用于来自成像系统（80）的第一图像的校正的方法，方法包括：

由成像系统（80）获取（30）第一图像，所述第一图像具有由于由成像系统（80）的获取而导致的失真；

由机器用深度生成式机器学习模型（22）确定（32）具有失真的第一图像的似然；

根据第一图像求解（34）校正图像，所述求解使用似然和用于成像系统（80）的变换；以及

传输（38）校正图像；

其中确定（32）包括用深度生成式机器学习模型（22）来确定（32），所述深度生成式机器学习模型（22）仅用具有高于阈值的质量的训练图像来学习而不收集问题特定的训练图像。

Images