CN115081637A - 用于生成合成成像数据的机器学习算法的现场训练 - Google Patents

Abstract

公开了训练图像合成ML算法的技术。图像合成ML算法可以用于生成合成成像数据。合成成像数据进而可以用于训练另外的ML算法。该另外的ML算法可以被配置为对相应的成像数据执行图像处理任务。

Description

用于生成合成成像数据的机器学习算法的现场训练

相关申请

本申请要求2021年3月12日提交的21162327.7的权益，该申请通过引用以其整体并入本文。

技术领域

本发明的各种示例涉及促进机器学习算法的训练，所述机器学习算法被配置为处理医学成像数据。本公开的各种示例具体涉及另外的机器学习算法的训练，该另外的机器学习算法被配置为提供用于训练该机器学习算法的合成训练成像数据。

背景技术

在医学领域中存在应用机器学习算法的各种用例，机器学习算法例如是深度神经网络或支持向量机。示例包括异常的分割和检测，或分类。

已经观察到，获得足够的训练数据来训练机器学习（ML）算法以所需的准确度执行相应的任务可能具有挑战性。对于处理医学成像数据的ML算法来说尤其如此。通常，合适的医学成像数据仅在有限的程度上可用。

发明内容

因此，需要促进ML算法训练的先进技术。具体地，需要先进的技术来促进处理医学成像数据的ML算法的训练。

下文将描述训练图像合成ML算法的技术。图像合成ML算法可以用于生成合成成像数据。合成成像数据进而可以用于训练另外的ML算法。该另外的ML算法可以被配置为对相应的成像数据执行图像处理任务。

提供了一种执行第一ML算法的第一训练的计算机实现方法。第一ML算法用于生成至少一个患者的解剖目标区域的合成成像数据。该方法包括获得至少一个患者的解剖目标区域的成像数据的多个实例。成像数据的多个实例是在成像设施处获取的。该方法还包括在成像设施处现场并基于成像数据的多个实例，执行用于生成合成成像数据的第一ML算法的第一训练。该方法还包括，在完成第一训练时：向共享储存库提供至少第一ML算法的参数值。由此，基于由第一ML算法使用参数值生成的另外的合成成像数据，使能实现第二ML算法的第二训练。

计算机程序、计算机程序产品或非暂时性计算机可读存储介质包括程序代码。程序代码可以由至少一个处理器加载和执行。在加载和执行程序代码时，至少一个处理器执行一种执行第一ML算法的第一训练的方法。第一ML算法用于生成至少一个患者的解剖目标区域的合成成像数据。该方法包括获得至少一个患者的解剖目标区域的成像数据的多个实例。成像数据的多个实例是在成像设施处获取的。该方法还包括在成像设施处现场并基于成像数据的多个实例，执行用于生成合成成像数据的第一ML算法的第一训练。该方法还包括，在完成第一训练时：向共享储存库提供至少第一ML算法的参数值。由此，基于由第一ML算法使用参数值生成的另外的合成成像数据，使能实现第二ML算法的第二训练。

一种包括处理器和存储器的设备。处理器被配置为从存储器加载程序代码并执行该程序代码。在执行程序代码时，处理器执行执行第一ML算法的第一训练的方法。第一ML算法用于生成至少一个患者的解剖目标区域的合成成像数据。该方法包括获得至少一个患者的解剖目标区域的成像数据的多个实例。成像数据的多个实例是在成像设施处获取的。该方法还包括在成像设施处现场并基于成像数据的多个实例，执行用于生成合成成像数据的第一ML算法的第一训练。该方法还包括，在完成第一训练时：向共享储存库提供至少第一ML算法的参数值。由此，基于由第一ML算法使用参数值生成的另外的合成成像数据，使能实现第二ML算法的第二训练。

一种用于生成解剖目标区域的合成成像数据的计算机实现方法，包括建立与至少一个患者的解剖目标区域相关联的至少一个潜在空间表示。该方法还包括将经训练的第一ML算法应用于至少一个潜在空间表示，并且通过经训练的第一ML算法生成合成成像数据，以基于合成成像数据使能实现第二ML算法的第二训练。

计算机程序、计算机程序产品或非暂时性计算机可读存储介质包括程序代码。程序代码可以由至少一个处理器加载和执行。在加载和执行程序代码时，至少一个处理器执行用于生成解剖目标区域的合成成像数据的方法。该方法包括建立与至少一个患者的解剖目标区域相关联的至少一个潜在空间表示。该方法还包括将经训练的第一ML算法应用于至少一个潜在空间表示，并且通过经训练的第一ML算法生成合成成像数据，以基于合成成像数据使能实现第二ML算法的第二训练。

一种包括处理器和存储器的设备。处理器被配置为从存储器加载程序代码并执行该程序代码。在执行程序代码时，处理器执行用于生成解剖目标区域的合成成像数据的方法。该方法包括建立与至少一个患者的解剖目标区域相关联的至少一个潜在空间表示。该方法还包括将经训练的第一ML算法应用于至少一个潜在空间表示，并且通过经训练的第一ML算法生成合成成像数据，以基于合成成像数据使能实现第二ML算法的第二训练。

应当理解，在不脱离本发明范围的情况下，上面提及的特征和下文将解释的那些特征不仅可以用于所指示的相应组合，而且还可以用于其他组合或单独使用。

附图说明

图1示意性地图示了第一ML算法和第二ML算法的一个实施例，第一ML算法根据各种示例（图像合成ML算法）提供用于训练第二ML算法的合成成像数据；

图2示意性地图示了根据一个实施例的关于图像合成ML算法的细节；

图3是根据各种示例的系统的示意图示；

图4是根据各种示例的方法的流程图；

图5是根据各种示例的方法的流程图；

图6示意性地图示了根据各种示例的工作流。

具体实施方式

本发明的一些示例通常提供多个电路或其他电气设备。对电路和其他电气设备以及它们各自所提供的功能的所有引用不旨在局限于仅包含在本文图示和描述的内容。虽然特定的标记可以被分配给所公开的各种电路或其他电气设备，但是这样的标签不旨在限制电路和其他电气设备的操作范围。这样的电路和其他电气设备可以基于期望的特定类型的电气实现以任何方式彼此组合和/或分离。应当认识到，本文公开的任何电路或其他电气设备可以包括任何数量的微控制器、图形处理器单元（GPU）、集成电路、存储器设备（例如，闪存、随机存取存储器（RAM）、只读存储器（ROM）、电可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM）或其其他合适的变型），以及彼此协作以执行本文公开的（一个或多个）操作的软件。此外，任何一个或多个电气设备可以被配置为执行程序代码，该程序代码体现在被编程为执行如公开的任何数量的功能的非暂时性计算机可读介质中。

在下文中，将关于附图详细描述本发明的实施例。应当理解，对实施例的以下描述不应在限制性的意义上被理解。本发明的范围不旨在由下文描述的实施例或附图来限制，下文描述的实施例或附图仅被认为是说明性的。

附图被视为示意表示，并且附图中图示的元件不一定按比例示出。相反，各种元件被表示为使得它们的功能和一般目的对于本领域技术人员来说变得清楚。在附图中示出或在本文描述的功能块、设备、组件或其他物理或功能单元之间的任何连接或耦合也可以通过间接连接或耦合来实现。组件之间的耦合也可以通过无线连接来建立。功能块可以用硬件、固件、软件或其组合来实现。

本文公开的各种技术一般涉及促进ML算法的训练。ML算法可以被配置为处理成像数据。例如，ML算法可以被配置为处理医学成像数据，例如描绘例如心脏、肝脏、大脑等之类的患者的解剖目标区域。在其他示例中，可以处理其他种类的成像数据，例如投影成像数据，例如用于安全扫描仪或材料检查。

根据本公开，可以处理各种种类和类型的成像数据。作为一般规则，将可能的是ML算法处理在K空间中获得的2-D图像或原始数据。ML算法可以处理3-D深度数据，例如点云或深度图。ML算法可以处理时变数据，其中一维存储在不同时间点的图像或体积表示。

在下文中，将在配置用于处理医学成像数据的ML算法的上下文下描述各种示例。然而，类似的技术可以容易地应用于成像数据的其他种类和类型的语义上下文。为了简单起见，ML算法在下文中将被称为医学成像ML算法。

作为一般规则，各种种类和类型的医学成像数据可以受制于本文所述的技术。举几个示例，将可能的是使用磁共振成像（MRI）成像数据，例如K空间中的原始数据或预重构图像。另一个示例将关于计算机断层摄影（CT）成像数据，例如投影视图或预重构图像。又一个示例将关于正电子发射断层摄影（PET）成像数据。其他示例包括超声图像。

作为一般规则，各种种类和类型的医学成像ML算法可以受益于本文所述的技术。例如，将可能的是使用深度神经网络，例如具有一个或多个卷积层的卷积神经网络，该卷积层在输入数据和内核之间执行卷积。举几个示例，还将可能的是使用支持向量机。可以使用U-net架构，参见例如Ronneberger, O., Fischer, P.和Brox, T.，2015年十月，U-net:Convolutional networks for biomedical image segmentation（International Conference on Medical image computing and computer-assisted intervention（第234-241页）中，Springer，Cham）。

在本文所述的示例中，医学成像ML算法可以配置为当处理医学成像数据时执行各种任务。例如，医学成像ML算法可以被配置为执行医学成像数据的分割。例如，分割预定义的解剖特征将是可能的。在另外的示例中，医学成像ML算法可以被配置为执行对象检测。例如，可以围绕在医学图像数据中检测到的预定义对象绘制边界框。预定义对象可以是预定义的解剖特征，例如某些器官或血管、肿瘤部位等。还将可能的是检测异常。又另外的任务将是过滤或去噪。例如，将可能的是从成像模态移除例如模糊或光斑的伪影。背景噪声可以被抑制或移除。又另外的任务将是上采样，从而增加医学成像数据的分辨率。医学成像ML算法的又另外的任务可以是图像重构。例如，对于磁共振成像数据，原始成像数据在K空间中可用。有时，K空间是欠采样的（例如，考虑到奈奎斯特定理，相对于某个视场），即，直接傅立叶变换将导致混叠伪影。在这样的场景下，可以使用适当的医学成像ML算法来实现图像重构。例如，使用展开的神经网络的技术是已知的；这里，可以使用医学成像ML算法来实现正则化操作。如从上面应当领会的，特定类型的医学成像ML算法与本文描述的技术的功能没有密切关系。相反，各种种类和类型的医学成像ML算法可以受益于本文描述的技术，即可以被准确地训练。

各种技术基于如下发现：可能需要适应良好的训练成像数据来准确地训练医学成像ML算法。例如，已经观察到，训练成像数据的量和训练成像数据的可变性可以与医学成像ML算法的准确性相关；即，具有足够可变性（以捕获领域特定特征）的训练成像数据越多可用，医学成像机器学习算法的训练就越准确。其次，已经观察到，领域特定的训练成像数据可以有助于获得医学成像ML算法的准确训练状态。例如，取决于特定的成像设施或观察的目标，输入到医学成像ML算法的成像数据可以变化。然后，可能需要领域特定的训练，即特定于观察目标和/或特定成像设施的训练，以实现更高的准确度。举例来说，已经观察到，即使在医学成像ML算法已经在通用的（即，非特定于特定领域的）训练成像数据的大数据集上被训练之后，仍可能需要训练的进一步微调，以使医学成像ML算法适应特定的患者群体（例如，成人到儿童）、成像模态（例如，1.5特斯拉MRI扫描仪相对于3特斯拉MRI扫描仪、不同的欠采样加速因子等，仅举几个示例）。即，用领域特定的训练成像数据进行重新训练或微调可能是有帮助的。根据参考技术，获得相应领域特定的训练成像数据可能是具有挑战性的。

根据各种示例，可能促进这样的训练，特别是领域特定的训练。可以提供定制的训练成像数据；即，可以提供领域特定的训练成像数据。

各种技术基于如下发现：另外的ML算法（下文称为图像合成ML算法）可以用于生成/推断解剖目标区域的合成训练成像数据。然后，可以使用合成训练成像数据来使能实现医学成像ML算法的训练。

已经示出使用ML算法生成合成图像的一般概念产生包括医学成像的逼真的结果。当数据稀缺时，合成图像生成通常可以帮助改进机器学习模型的准确性。

例如，生成式对抗网络架构可以用于实现图像合成ML算法。更一般地，在文献中存在不同的方法用于合成数据生成。例如GauGan方法，其中神经网络学习在给定图像的分割作为输入的情况下产生图像；参见Park，Taesung等人的“Semantic image synthesis withspatially-adaptive normalization”Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2019。

例如，图像合成ML算法可以包括对至少一个潜在空间表示（即，由相关联的成像数据定义的潜在空间的特定样本）进行解码的解码器，从而获得合成成像数据。可以执行特征扩展。

根据各种示例，可能的是执行图像合成ML算法的训练。训练基于图像合成ML算法针对其生成合成训练成像数据的解剖目标区域的成像数据的多个实例。训练成像数据可以在成像设施处获取。

在推断期间，可能的是对潜在空间进行采样。即，可以使用多个潜在空间表示（即，对潜在空间进行采样的不同特征向量）来确定合成成像数据。

作为一般规则，图像合成ML算法可以将表示成像数据中存在的解剖目标区域的分割图作为输入。然后，可以为分别成形的解剖目标区域提供合成成像数据。

还将可能的是对潜在空间进行随机采样，例如，确定多个潜在空间表示，并将这些作为输入提供给图像合成算法。潜在空间表示的示例可以包括特征向量，该特征向量包含表示图像特征的数值集，所述图像特征对应于与至少一个患者的解剖目标区域相关联的解剖特性。其他示例是可能的，例如图像外观、病理的存在、解剖特性等。

可以将图像合成ML算法训练为变分自编码器，以学习训练图像数据的统计分布。当执行图像合成ML算法的训练时，图像合成ML算法学习如何通过首先将其编码成潜在空间表示（即，使用编码器网络的潜在向量z）并且然后使用实现图像合成ML算法的解码器网络将潜在向量z扩展成类似于输入图像的图像来再现真实图像。基于训练成像数据的分布（例如，通过考虑训练成像数据的多个实例），可以确定跨潜在空间分布的各种潜在空间表示。

在图像合成ML算法的训练期间，可能的是基于成像数据和对应生成的成像数据之间的比较，更新图像合成ML算法的参数值。该比较可以作为损失函数来实现。可以使用迭代数值优化来更新参数值。可以使用反向传播。即，可以判断图像合成ML算法能够基于潜在空间表示多好地重构原始成像数据；并且该重构可以被优化。

图像合成ML算法因此学习对其进行训练的成像数据的多个实例的潜在空间表示，但其不逐个像素地学习成像数据的个体图像。因此，合成图像决不与真实的患者数据相同，并且它们不能追溯回到特定的患者。

然后，为了生成用于医学成像ML算法的合成训练成像数据，解码器网络充当合成图像生成器。在图像合成ML算法的推断期间，对应于医学成像ML算法的训练，经训练的图像合成ML算法的（一个或多个）潜在空间可以被随机采样以产生合成训练成像数据。换句话说，可以对与解剖目标区域相关联的多个可能的潜在空间表示进行采样。

更具体地，将可能的是例如通过随机采样和/或用户输入和/或基于一些参考成像数据和/或基于潜在空间表示的实例向量z和/或基于解剖目标区域的分割，建立与患者解剖目标区域相关联的至少一个潜在空间表示。由此，经训练的图像合成ML算法可以生成使能训练医学成像ML算法的合成医学成像数据（合成训练医学成像数据）。

在医学成像ML算法的训练完成时，可以将医学成像ML算法提供给成像设施。在成像设施处，经训练的医学成像ML算法可以支持医务人员分析或处理医学成像数据。

根据本文所述的技术，可能的是在用于获取解剖目标区域的成像数据的多个实例的成像设施处现场执行图像合成ML算法的训练。这里，“现场”可以意味着执行图像合成ML算法的训练的相应处理设备位于与成像设施相同的局域网或虚拟专用网络中。“现场”可以意味着相应的处理设备位于与成像设施相同的场所，例如，在相同的医院或射线照相中心。“现场”可以意味着在训练成像数据被输出和发送到图片存档和通信系统（PACS）之前执行训练。“现场”甚至可以意味着执行训练的处理器是成像设施的集成处理器，例如，也提供对成像例程的控制。

一旦图像合成ML算法被训练，就可能的是向共享储存库提供至少图像合成ML算法的参数值。例如，由训练设置的实现图像合成ML算法的卷积神经网络模型的权重可以被提供给共享储存库。还将可能的是将整个图像合成ML算法提供给共享储存库。

共享储存库可以相对于成像设施位于非现场。即，将可能的是共享储存库不位于与成像设施相同的局域网或虚拟专用网中。例如，共享存储库可以位于数据云中。共享存储库可以在服务器场中。场所外存储将是可能的。具体地，执行图像合成ML算法的训练的处理设备和共享储存库之间的数据连接可能具有有限的带宽。例如，该数据连接可以经由互联网实现。

通过这样的技术，可能的是限制提供给共享储存库的数据量。具体地，将可能的是不向共享储存库提供训练成像数据。训练成像数据实现有效载荷数据，即用于执行训练的大容量数据。通过向共享储存库提供图像合成ML算法或至少其参数值，可以显著减少数据量。训练成像数据的私密性可能不减轻。除了提供训练成像数据本身，还可能的是向共享储存库提供图像合成ML算法本身的参数值形式的推断信息。因此，不需要揭示用于训练图像合成ML算法的个体成像数据的身份或特性。例如，用于训练图像合成ML算法的成像数据永远不必离开医院或成像设施。仅模型权重离开医院，用于训练的成像数据可以被丢弃。将可能的是仅保留/存储其至少一个潜在空间表示。

通过使用这样的技术，医学成像ML算法可以在部署之前针对特定患者分布和相应成像设施的图像外观进行（重新）训练。领域特定的训练是可能的。根据特定放射场所的需求对算法进行个性化。

无需花费附加的工作从不同的地点收集各异的数据用于算法优化。无需附加的努力来回顾性地收集和整理数据以达到微调ML模型的目的。

图1示意性图示了与训练医学成像ML算法202相关的方面。基于合成训练成像数据211来训练医学成像ML算法202。例如，基于合成训练成像数据211，将可能的是确定具有基准真值213的输出212；基准真值213可以基于人工标记或半自动化标记来确定。可以定义相应的损失函数，并且通过这样的比较可以确定损失值。然后，基于相应的损失值反馈215，可以调整医学成像ML算法202的一个或多个参数值。例如，可以使用梯度下降优化技术。可以采用反向传播。

本文所述的各种技术涉及确定合成训练成像数据211。具体地，合成训练成像数据211可以由图像合成ML算法201生成。图像合成ML算法可以应用于潜在空间的一个或多个向量实例，即患者解剖目标区域的潜在空间表示311。每次将图像合成ML算法201应用于给定的潜在空间表示311时，生成合成训练医学成像数据的相应实例。

例如，解剖目标区域的给定潜在空间表示311可以包括包含数值集的特征向量，所述数值集表示与相应解剖目标区域的不同特性相对应的图像特征集，例如，定义心脏或特定血管的周长等。将可替代地或附加地可能的是，使用潜在空间表示的一个或多个潜在特征（潜在空间的向量实例中的值）、例如大小、病理等，来指定解剖目标区域的其他参数。

作为一般规则，潜在空间表示311可以指示用于获取相应成像数据的成像设施的配置。该配置可以属于例如所使用的协议，例如MRI序列、成像模态的参数设置等。

将可能的是对潜在空间进行随机采样，例如，使用随机化确定至少一个潜在空间表示。

然后，可以将图像合成ML算法201应用于至少一个潜在空间表示311，以生成合成训练医学成像数据211，从而使能实现医学成像ML算法202的训练。在图1的图示示例中，例如通过使用来自潜在空间的不同特征向量实例和去往图像合成ML算法201的输入图像，生成合成训练医学成像数据的多个实例。

图2示意性图示了关于图像合成ML算法201的各方面。在图示的示例中，图像合成ML算法201包括解码器网络，用于解码潜在空间表示311以生成合成医学成像数据211。即，用作输入321的特征向量可以被扩展以提供例如2D图像作为输出322。维数增加了。

为了学习真实数据分布的潜在空间表示311，可以在训练期间使用另外的算法309。在推断期间，可能不再需要另外的算法309（在推断期间，潜在空间311A可以被随机采样，或者用于推断的潜在空间表示311可以以其他方式被确定）。另外的算法309可以是图像编码器网络，其学习用作输入301的真实图像的潜在空间表示311。例如，在成像设施处获取的成像数据210——例如，MRI图像、CT图像等——可以被提供作为算法309的输入301，并且算法309的输出302然后可以是被包括在成像数据210中的解剖目标区域的潜在空间表示311。

图3示意性地图示了根据各种示例的系统70。系统70包括成像设施91，例如仅给出两个示例，MRI扫描仪或CT扫描仪。成像设施91可以位于医院。

系统70还包括设备（计算机）80。设备80位于成像设施91的现场。例如，在图示场景中，设备80和成像设施90是同一局域网71的一部分或两部分。设备80包括处理器81和存储器82。设备80还包括接口83。例如，处理器81可以经由接口83从成像设施91接收医学成像数据210。处理器81可以从存储器82加载程序代码并执行该程序代码。在加载和执行程序代码时，处理器81可以执行如本文描述的技术，例如，基于来自成像设施91的成像数据训练第一ML算法，在训练第一ML算法之前过滤成像数据，等等。

处理器81在完成第一机器学习算法201的训练时，然后可以向共享储存库89提供第一机器学习算法201，或至少其参数值201-1（参数值201-1在训练期间设置）。这促进在另外的设备60处训练第二机器学习算法202。因此，第一ML算法可以标记为图像合成ML算法。

另外的设备（计算机）60相对于成像设施91位于场所外，即局域网71的外部。该另外的设备60包括处理器61、存储器62和接口63。处理器61可以从共享储存库89加载参数值201-1或整个训练机器ML算法201，并且然后使用根据参数值201-1适当配置的图像合成ML算法201生成合成医学成像数据（参见图1中的合成训练医学成像数据211）。然后，合成成像数据可以用于训练第二机器学习算法，例如在另外的设备60处。处理器61可以从存储器62加载并执行相应的程序代码。

图4是根据各种实例的方法的流程图。图4的方法与用于生成解剖目标区域的合成成像数据的第一ML算法的训练相关。

可以为至少一个患者的解剖目标区域生成合成成像数据。合成成像数据可以描绘解剖目标区域，就像使用具有特定成像协议的特定成像设施获取的一样。

一旦第一ML算法已被训练，第一ML算法就可以用于生成另外的合成成像数据——即，合成训练成像数据——并且可以基于合成训练成像数据训练另外的第二ML算法。即，第二ML算法的训练阶段属于第一ML算法的推断阶段。因此，第一ML算法也可以被称为图像合成ML算法。

加载程序代码时，可以由至少一个处理器执行图4的方法。例如，当从存储器82加载程序代码时，设备80的处理器81可以执行图4的方法。

利用虚线标记可选框。

在框3005中，获得成像数据的多个实例。框3005可以包括成像数据的多个实例的获取。框3005可以包括向成像设施发送控制指令以获取成像数据的多个实例。框3005可以包括从缓冲存储器加载成像数据的多个实例。例如，在使用成像设施（例如MRI或CT扫描）期间，将可能的是在所谓的迷你批（mini-batch）中缓冲获取的图像。一旦迷你批满了，就可以从相应的缓冲存储器获得成像数据的多个实例。

可以为多个患者获取成像数据的多个实例。然后，当训练第一ML算法时，可以考虑患者间的可变性。可以使用成像设施的多个配置来获取成像数据的多个实例。例如，可以选择用于图像获取的不同参数，例如曝光时间、MRI扫描协议、CT对比度等。将可能的是在框3005还获得指示成像数据的给定实例的成像设施的相应配置的相应配置数据。作为一般规则，医学成像数据的潜在空间表示可以指示该配置。

在可选框3010，对成像数据的多个实例进行过滤，例如，以实现质量检查。例如，过滤可以基于质量。各种质量度量是可能的，例如锐度、对比度、运动模糊，仅给出几个示例。将可能的是检查在相应的成像数据中是否存在正确的解剖结构和/或视图。可以检查成像数据是否描绘了校准体模（在这种情况下，丢弃成像数据的相应实例可能是有帮助的）。

确定质量的各种示例是可能的。例如，可以使用另外的ML算法来确定质量得分，然后可以将该得分与预定义阈值进行比较。然后，可以保留具有高于预定义阈值质量的成像数据；其他成像数据可以被丢弃。

在框3015，执行第一ML算法的训练。这可以包括学习解剖区域、成像协议或配置中的每一个的潜在空间。即，对于每个潜在空间，可以例如基于相应图像数据的多个实例来确定相应潜在空间中的多个潜在空间表示。编码器网络可以用于该目的。然后，对于给定的潜在空间，图像数据的多个实例在该潜在空间中的潜在空间表示可以由实现第一ML算法的解码器网络处理，从而获得合成成像数据。然后，可以在第一ML算法的相应输入（即，成像数据的多个实例中的给定实例）和输出（即，合成成像数据）之间进行比较。基于该比较可以定义损失函数，并且基于损失函数的值，可以更新第一ML算法的参数值。

描述的编码器网络和自编码器网络的组合对应于变分自编码器架构。

上面已结合图2和图像合成ML算法201解释了相对于第一ML算法的潜在空间表示和操作的各个方面。

作为一般规则，当执行框3015时，将可能的是第一ML算法处于预训练状态。例如，可以基于与另外患者的解剖目标区域相关联的离线成像数据来预训练第一ML算法。由此，框3015的训练可以将领域特定训练添加到一般训练状态。

一旦在框3015完成第一ML算法的训练，就可以将第一ML算法提供给共享储存库（参见图3：共享储存库89）。更一般地，在框3020，至少第一ML算法的参数值可以被提供给共享储存库。

在可选框3025处，然后将可能的是丢弃用于图像合成ML网络的训练的成像数据的多个实例。将可能的是不向共享储存库提供用于训练的成像数据的多个实例。

可选地，成像数据的多个实例的潜在空间表示可以存储在例如共享储存库中。然后，潜在空间表示可以用作种子值，用于确定可以针对其确定合成训练医学成像数据的另外潜在空间表示。例如，在框3015的训练期间用于确定成像数据的潜在空间表示的编码器网络可以不被提供给共享储存库。

一旦第一ML算法（或甚至整个第一ML算法）的参数值已提供给共享储存库，就使能基于可以由第一ML算法生成的合成成像数据对第二ML算法进行第二训练。即，可以使用第一ML算法实现合成训练医学成像数据的推断。接下来结合图5解释第一ML算法的这样的应用的相应细节。

图5是根据各种实例的方法的流程图。图5的方法与使用第一ML算法推断合成训练医学成像数据相关。合成训练医学成像数据可以描绘至少一个患者的解剖目标区域。可以使用图4的方法来训练第一ML算法。

加载程序代码时，可以由至少一个处理器执行图5的方法。例如，当从存储器62加载程序代码时，图5的方法可以由设备6的处理器61执行。

图5中利用虚线标记了可选框。在框3105，从共享储存库（参见图3：共享储存库89）加载第一ML算法。

在框3110，建立至少一个患者的解剖目标区域的至少一个潜在空间表示。

存在各种选择。例如，潜在空间——即，可允许的潜在空间表示的集合——可以在框3015的训练期间被学习。那么将可能的是确定至少一个潜在空间表示位于潜在空间内。例如，潜在空间可以被随机采样或者基于预定义的方案被采样。

然后，可以将第一ML算法应用于已在框3110建立的至少一个潜在空间表示、即相应的特征向量（有时也称为实例向量z），从而在框3115生成合成训练医学成像数据。合成成像数据使能训练第二ML算法。

因此，在框3120，可选地可能的是训练第二ML算法。第二机器学习算法通常可以被配置为处理医学成像数据。因此，第二机器学习算法可以被标记为医学成像ML算法。第二机器学习算法可以实现例如图像分割、去噪、上采样、重构等之类的各种任务。

在框3125处，然后将可选择地可能的是向成像设施提供第二ML算法或至少其参数值。例如，参考图3，将可能的是向设备80提供第二ML算法的参数值。然后，可以现场执行图像处理任务。如应当领会的，图4和图5的组合方法促进领域特定的训练。尽管如此，成像数据仍保留在现场，从而节省了带宽并保护了隐私。

图6是用于训练医学成像ML算法202的工作流的示意图示。工作流通常被构造成两个阶段501、502。阶段501的工作流步骤利用成像设施现场执行；因此，他们可以实现图4的方法。阶段502的工作流步骤非现场执行，例如在中央/共享服务器处；因此，他们可以实现图5的方法。

在511，获取新的医学成像数据。例如，可以执行心脏CT扫描。

在512，可以将图像质量控制应用于在511获取的相应医学成像数据。这可以通过根据图4的框3010的过滤来实现。例如，可以检查在获取的医学成像数据中是否存在正确的解剖结构和视图。可以进行检查以排除校准/体模描绘。

取决于特定质量得分是否超过预定义阈值，将可能的是选择性地丢弃先前获取的医学成像数据实例。

然后可能的是，在513，将成像数据的相应实例添加至迷你批缓冲器。

然后可以多次执行511-513，直到迷你批缓冲器已填充有成像数据的多个实例。

在514，可能的是执行图像合成ML算法201的训练。514相应地实现框3015。

在515，在完成图像合成ML算法的训练时，至少将图像合成ML算法201的参数值提供给共享储存库89。然后，在521，可以加载图像合成ML算法201，并且在522，该图像合成ML算法201用于生成合成训练成像数据。更具体地，图像合成ML算法可以应用于解剖目标区域的至少一个潜在空间表示——即，对潜在空间进行采样的特征向量——从而生成使能训练医学成像ML算法202的合成训练医学成像数据。在523训练医学成像ML算法202。

如应当领会的，经训练的ML算法201因此离线用于生成合成成像数据211，例如，具有与临床状态一致的图像外观/纹理的患者分布。来自任何患者的分割解剖结构或合成生成的掩模可以用作去往图像合成ML算法的输入，以获得合成成像数据。这意味着医学成像ML算法可以在部署到相应场所之前对合成成像数据进行微调/重新训练。

总之，已描述了促进生成具有期望特征分布的逼真合成训练医学图像数据的技术。同时，所获取的真实医学成像数据可以保留在医院的成像设施处。患者数据可以保持匿名。用于生成合成训练医学图像数据的神经网络可以在现场训练，或者甚至直接在诸如MRI扫描仪的成像设施处训练。医学成像MR算法——例如，用于分割任务、分类任务等——在部署之前可以针对特定的患者分布和成像设备的图像外观进行重新训练/微调。

尽管已针对某些优选实施例示出和描述了本发明，但是本领域的其他技术人员在阅读和理解说明书后，应当想到等同物和修改。本发明包括所有这样的等同物和修改，并且仅受所附权利要求的范围限制。

为了说明，上面描述了生成合成训练医学成像数据的各种场景，以及中央服务器，或更一般地，相对于成像设施的非现场场景。还将可能的是在成像设施处现场使用经训练的机器学习算法来生成合成训练医学成像数据。

Claims (15)

1.一种执行第一机器学习算法的第一训练的计算机实现的方法，所述第一机器学习算法用于生成至少一个患者的解剖目标区域的合成成像数据，所述方法包括：

获得所述至少一个患者的解剖目标区域的成像数据的多个实例，成像数据的多个实例是在成像设施处获取的；

在成像设施处现场并基于成像数据的多个实例：执行用于生成合成成像数据的第一机器学习算法的第一训练；和

在完成第一训练时：向共享储存库提供至少第一机器学习算法的参数值，从而基于由第一机器学习算法使用参数值生成的另外的合成成像数据使能实现第二机器学习算法的第二训练。

2.根据权利要求1所述的计算机实现的方法，其中所述执行第一训练包括：

使用编码器网络为成像数据的多个实例中的每一个生成至少一个潜在空间表示；

通过第一机器学习算法处理成像数据的多个实例的潜在空间表示，从而获得合成成像数据；和

基于成像数据和对应的合成成像数据之间的比较来更新第一机器学习算法的参数值。

3.根据权利要求1所述的方法，其中第一机器学习算法的输入包括解剖目标区域的分割图，所述分割图表示与所述至少一个患者的解剖目标区域相关联的解剖特性。

4.根据权利要求1所述的方法，进一步包括：

在完成第二训练时，执行第二机器学习算法的第二训练：将第二机器学习算法提供给成像设施或一个或多个另外的成像设施中的至少一个。

5.根据权利要求1所述的方法，其中第二训练包括对与用作去往第一机器学习算法的输入的解剖目标区域相关联的潜在空间表示进行采样。

6.根据权利要求1所述的方法，进一步包括：

基于成像数据的多个实例的质量过滤成像数据的多个实例，使得具有高于预定义阈值质量的成像数据被用于执行第一机器学习算法的第一训练。

7.根据权利要求2所述的方法，进一步包括：

向共享储存库提供所述至少一个潜在空间表示；和/或

丢弃成像数据的多个实例。

8.根据权利要求2所述的方法，其中，第一机器学习算法包括解码器，用于解码所述至少一个潜在空间表示，以生成合成成像数据。

9.根据权利要求1所述的方法，进一步包括：

基于与另外的患者的解剖目标区域相关联的离线成像数据来预训练第一机器学习算法。

10.一种用于生成解剖目标区域的合成成像数据的计算机实现的方法，所述方法包括：

建立与至少一个患者的解剖目标区域相关联的至少一个潜在空间表示；

将经训练的第一机器学习算法应用于所述至少一个潜在空间表示；和

由经训练的第一机器学习算法生成合成成像数据，以基于合成成像数据使能实现第二机器学习算法的第二训练。

11.根据权利要求10所述的方法，其中，所述至少一个潜在空间表示是基于解剖目标区域的分割图建立的。

12.根据权利要求10所述的方法，进一步包括：

执行第二机器学习算法的第二训练，

在完成第二训练时：现场向具有至少一个成像设施的设备提供第二机器学习算法。

13.根据权利要求10所述的方法，其中第二训练包括对与用作去往经训练的第一机器学习算法的输入的解剖目标区域相关联的至少一个潜在空间表示的潜在空间进行采样。

14.一种用于执行第一机器学习算法的第一训练的系统，所述第一机器学习算法用于生成至少一个患者的解剖目标区域的合成成像数据，所述系统包括：

存储器和至少一个处理器，所述至少一个处理器被配置为从存储器加载程序代码并执行所述程序代码，所述至少一个处理器被配置为在执行所述程序代码时：

获得所述至少一个患者的解剖目标区域的成像数据的多个实例，成像数据的多个实例是在成像设施处获取的；

在成像设施处现场并基于成像数据的多个实例：执行用于生成合成成像数据的第一机器学习算法的第一训练；和

在完成第一训练时：向共享储存库提供至少第一机器学习算法的参数值，从而基于由第一机器学习算法使用参数值生成的另外的合成成像数据使能实现第二机器学习算法的第二训练。

15.一种用于生成解剖目标区域的合成成像数据的系统，所述系统包括：

存储器和至少一个处理器，所述至少一个处理器被配置为从存储器加载程序代码并执行所述程序代码，所述至少一个处理器被配置为在执行所述程序代码时：

建立与至少一个患者的解剖目标区域相关联的至少一个潜在空间表示；

将经训练的第一机器学习算法应用于所述至少一个潜在空间表示；和

由经训练的第一机器学习算法生成合成成像数据，以基于合成成像数据使能实现第二机器学习算法的第二训练。

Images