CN113822960A - 用于生成合成成像数据的方法、系统及计算机可读介质 - Google Patents

Abstract

公开了用于生成人类主体的解剖部分的合成成像数据计算机实现的方法、系统以及计算机可读介质。该方法包括：接收人类主体的解剖部分的原始成像数据，原始成像数据包括提供解剖部分的第一成像模态描绘的多个图像；接收被训练以用于基于原始成像数据来预测合成成像数据的卷积神经网络模型；以及通过使用卷积神经网络模型将原始成像数据转换为包括类似于解剖部分的第二成像模态描绘的多个图像的合成成像数据。将原始成像数据转换为合成成像数据包括：使用卷积神经网络模型，从原始成像数据的多个图像生成一个或更多个合成图像；聚合一个或更多个生成的合成图像的多个组；以及根据聚合的一个或更多个生成的合成图像的多个组确定合成成像数据。

Description

用于生成合成成像数据的方法、系统及计算机可读介质

本申请是国家申请号为201780065652.5，国际申请日为2017年7月14日，进入国家日期为2019年4月23日，发明名称为“用于生成合成医学图像的神经网络”的申请的分案申请。

相关申请的交叉引用

本申请要求于2016年9月6日提交的美国临时专利申请第62/384,171号以及于2016年10月14日提交的美国临时专利申请第62/408,676号的优先权，以上申请的全部公开内容通过引用并入本文中。

技术领域

本公开总体上涉及使用机器学习算法来生成合成图像以用于放射治疗。更具体地，本公开涉及用于使用神经网络来根据磁共振成像(MRI)图像生成计算机断层扫描(CT)图像的系统和方法。

背景技术

传统上，CT成像已经被用作外部放射治疗的计划过程中的图像数据的主要来源。CT图像提供对患者几何结构的准确表示，并且CT值可以被直接转换为电子密度以用于放射剂量计算。然而，由于常规的CT图像是通过使用成像放射源生成的，因此使用CT可能使患者暴露于额外的放射剂量。近年来，出现了在放射疗法治疗计划过程中用MRI图像替代CT图像的兴趣。这是因为MRI没有电离放射并且提供了优越的软组织对比度以实现更准确的靶区与结构描画的事实。MRI还捕获人体的功能信息，例如组织代谢和功能。然而，MRI强度值与电子密度不直接相关，而且常规的MRI序列不能从骨骼获得MRI信号。因此，如果可以从获取的MRI图像导出“伪CT图像”或“合成图像”，例如伪或合成CT图像(本文中称为“合成CT图像”)，则是有益的。

从MRI图像导出的合成CT图像可以用来帮助放射疗法治疗计划中的患者剂量计算或者用来生成用于图像引导的数字重建射线照片。合成CT图像还可以用于放射治疗期间的患者安置。因此，期望使用MRI图像数据准确地生成合成CT图像以使患者免受CT成像引起的额外的放射暴露。优选地，合成CT图像将准确地类似于(resemble)由CT扫描仪获取的“真实”CT图像。换句话说，例如就相关的体素强度值和对比度特征而言，合成CT应当尽可能接近真实CT图像。生成准确的合成CT图像不是一项简单的任务，因为CT图像强度值(CT数)与MRI强度值之间不存在直接的数学关系。

用于自动的合成CT图像生成的现有方法可大致分为三类：基于组织分类的方法、基于图集的方法(atlas-based approach)和基于模型的方法。组织分类或组织分割方法首先将MRI图像分类为不同组织类型的区域(例如，空气、脂肪、软组织或骨骼)，然后使用体积密度分配为每个组织类型分配不同的CT数。自动组织分割是一个难题，特别是在使用传统MRI图像的情况下。例如，骨骼和空气在传统MRI图像中是不可分离的或难以区分的。因此，经常需要更复杂的MRI序列(例如，能够获取具有更高分辨率的图像的MRI图像)以进行更准确的组织分割。即使可以进行组织分割，将解剖结构划分为几种组织类型也仅提供了对实际解剖结构的非常粗略的近似。例如，前列腺和膀胱两者都是软组织，但是它们的CT强度通常是不同的。

基于图集的方法也被称为基于配准的方法(registration-based approach)。在合成CT生成的情境下，术语“图集”通常是指包括成对的图集MRI图像和图集CT图像的数据集。在示例中，可以通过图像配准来执行MRI图像与CT图像的配对。为了根据给定的原始MRI图像生成合成CT图像，基于图集的方法首先通过计算图像配准变换(通常需要可变形或非线性图像配准，而不是简单的线性配准)将来自“图集”的每个图集MRI图像与原始MRI图像对准。然后可以应用所计算的配准变换以将对应的图集CT图像映射到原始MRI图像，并且生成变形的图集CT。变形的图集CT图像提供了对真实CT图像的估计(例如，合成CT图像)。

通常，为了获得更好的准确度，会计算出多个变形的图集CT并且可以例如通过平均将该多个变形的图集CT组合在一起，从而生成与原始MRI图像对应的最终合成CT图像。然而，大多数现有的图像配准方法只能处理单通道MRI图像。此外，如果使用大量的图集，则由于必须将原始MRI图像与每个图集MRI图像配准而可能增加计算时间。因为下述原因，这个过程很慢：由于图像配准操作涉及所有(图集选择——可以使用少于所有图像)图集MRI图像和图集CT图像，这些技术需要连续访问完整的图集数据库。在示例中，图集选择可以用于选择所有图集MRI图像和图集CT图像的子集。

基于模型或基于学习的方法旨在根据可用的训练数据建立预测模型。一旦已经训练出预测模型，就可以将其应用于具有相同类型的任何新MRI图像(例如，使用与用来获取训练数据的MRI序列相同的MRI序列获取的任何新MRI图像)以预测对应的CT图像。训练过程通常使用监督学习算法。具体地，监督学习算法使用已知的一组输入数据和已知的对该数据的响应或输出，然后训练模型以生成对新数据的响应的合理预测。对于合成CT预测，由于响应变量(例如，CT值)是实数，因此需要回归(而不是分类)模型。现有的基于模型的方法和传统的学习算法还需要提取特定类型的“特征”以用作对模型的输入。现有方法在可被每种方法用作对其回归模型的输入的特征的类型方面不同。这些现有方法还需要手动设计的特征。此外，现有方法预测单个体素的CT数。因此，必须以滑动窗口方式(例如，通过将模型应用于图像的一系列子区域)或逐个体素的方式应用这些方法，以生成完整的合成CT图像。这种滑动窗口方法通常需要大量的计算时间和资源以便生成完整的合成CT图像。

因此，需要使用人工智能技术来根据例如MRI图像的其他图像生成合成CT图像的新系统和方法。

发明内容

在一种方面，本公开的特征在于一种计算机实现的方法，该方法用于基于由成像装置使用第一成像模态获取的解剖部分的原始图像来生成该解剖部分的合成图像。该方法可以包括接收由成像装置使用第一成像模态获取的解剖部分的原始图像，以及接收被训练以用于基于原始图像预测合成图像的卷积神经网络模型。该方法还可以包括由至少一个处理器通过卷积神经网络模型将原始图像转换为合成图像。合成图像可以类似于解剖部分的第二成像模态描绘，其中，第二成像模态可以不同于第一成像模态。第一成像模态可以是磁共振成像，并且第二成像模态可以是计算机断层扫描。第一成像模态和第二成像模态选自下述组中：磁共振成像、计算机断层扫描、超声成像、正电子发射断层扫描以及单光子发射计算机断层扫描。该方法还可以包括：接收使用第一成像模态获取的多个训练原始图像；接收使用第二成像模态获取的多个训练目标图像，其中，每个训练目标图像可以与训练原始图像对应；确定卷积神经网络架构；以及使用训练原始图像和对应的训练目标图像来训练卷积神经网络模型。原始图像可以是二维图像，并且合成图像可以是二维图像。原始图像可以包括二维图像的堆叠，并且合成图像可以包括对应的二维图像的堆叠。原始图像可以是三维体积，并且合成图像可以是三维体积。原始图像可以是三维图像，并且生成合成图像可以包括：从三维图像中选择相邻二维图像的多个堆叠；使用卷积神经网络模型将相邻二维图像的每个堆叠转换为合成二维图像的堆叠；以及由至少一个处理器通过聚合合成二维图像的堆叠来确定合成图像。原始图像可以是三维图像，并且生成合成图像可以包括：根据三维图像的第一平面创建二维图像的第一堆叠并且根据三维图像的第二平面创建二维图像的第二堆叠；使用卷积神经网络模型将二维图像的第一堆叠和第二堆叠转换为合成二维图像的第一堆叠和第二堆叠；以及通过聚合合成二维图像的第一堆叠和第二堆叠来确定合成图像。相邻二维图像可以处于相同平面中并且携载在与该平面正交的轴上的依赖结构信息。相邻二维图像的多个堆叠可以部分地交叠，并且聚合合成二维图像的堆叠可以包括对交叠的合成二维图像求平均。将二维图像的第一堆叠转换为合成二维图像的第一堆叠可以使用第一卷积神经网络模型，并且将二维图像的第二堆叠转换为合成二维图像的第二堆叠可以使用第二卷积神经网络模型。第一卷积神经网络模型和第二卷积神经网络模型可以对应于两个不同的解剖平面。原始图像可以包括使用成像装置的不同获取通道或者不同获取设置获取的解剖部分的多通道图像。多通道图像可以包括T1加权磁共振图像和T2加权磁共振图像。卷积神经网络模型可以包括：第一组件，其被配置成确定原始图像的特征图；以及第二组件，其被配置成根据特征图确定合成图像。第一组件可以包括多个编码层并且第二组件包括多个解码层。第一组件可以被配置成通过下采样来减小特征图的尺寸，并且第二组件可以被配置成通过上采样来增大特征图的尺寸。卷积神经网络可以包括多个卷积层，其中，模型参数集可以包括供多个卷积层使用的可学习滤波权重。卷积神经网络可以包括10到500层。卷积神经网络模型可以包括：使用卷积神经网络模型将训练原始图像转换为合成图像；确定合成图像与对应的训练目标图像之间的差异；以及基于该差异来更新卷积神经网络的模型参数集。当合成图像与目标图像之间的差异小于预定阈值时可以完成训练。可以通过基于合成图像和目标图像计算的损失函数来度量差异。

在一种方面，本公开可以以一种系统为特征，该系统用于基于由成像装置使用第一成像模态获取的解剖部分的原始图像来生成该解剖部分的合成图像。该系统可以包括输入接口，该输入接口被配置成接收由成像装置使用第一成像模态获取的解剖部分的原始图像，以及接收被训练以用于基于原始图像预测合成图像的卷积神经网络模型。该系统还可以包括至少一个存储装置，其被配置成存储原始图像和卷积神经网络模型。该系统还可以包括图像处理器，其被配置成通过卷积神经网络模型将原始图像转换为合成图像。合成图像(例如，伪CT图像)可以存储在至少一个存储装置中。合成图像可以类似于对解剖部分的第二成像模态描绘，其中，第二成像模态(例如，CT)可以不同于第一成像模态。原始图像可以包括使用成像装置的不同获取通道或者不同获取设置获取的解剖部分的多通道图像。第一成像模态可以是磁共振成像，并且第二成像模态可以是计算机断层扫描。第一成像模态和第二成像模态可以选自下述组中：磁共振成像、计算机断层扫描、超声成像、正电子发射断层扫描以及单光子发射计算机断层扫描。输入接口还可以被配置成：接收使用第一成像模态获取的多个训练原始图像，接收使用第二成像模态获取的多个训练目标图像，其中，每个训练目标图像可以与训练原始图像对应。图像处理器还可以被配置成使用训练原始图像和对应的训练目标图像来训练卷积神经网络模型。原始图像可以是二维图像，并且合成图像可以是二维图像。原始图像可以包括二维图像的堆叠，并且合成图像可以包括对应的二维图像的堆叠。原始图像可以是三维体积，并且合成图像可以是三维体积。原始图像可以是3D图像并且图像处理器还可以被配置成：从3D图像中选择相邻二维图像的多个堆叠；使用卷积神经网络模型将相邻二维图像的每个堆叠转换为合成二维图像的堆叠；以及通过聚合合成二维图像的堆叠来确定合成图像。相邻二维图像可以处于相同平面中并且可以携载在与该平面正交的轴上的依赖结构信息。相邻二维图像的多个堆叠可以部分地交叠，并且聚合合成二维图像的堆叠可以包括对交叠的合成二维图像求平均。原始图像可以是三维图像，并且图像处理器还可以被配置成：根据三维图像的第一平面创建二维图像的第一堆叠并且根据三维图像的第二平面创建二维图像的第二堆叠；使用卷积神经网络模型将二维图像的第一堆叠和第二堆叠转换为合成二维图像的第一堆叠和第二堆叠；以及通过聚合合成二维图像的第一堆叠和第二堆叠来确定合成图像。图像处理器可以被配置成：使用第一卷积神经网络模型将二维图像的第一堆叠转换为合成二维图像的第一堆叠，并且使用第二卷积神经网络模型将二维图像的第二堆叠转换为合成二维图像的第二堆叠，其中，第一卷积神经网络模型和第二卷积神经网络模型可以对应于两个不同的解剖平面。原始图像可以包括使用成像装置的不同的获取通道获取的解剖部分的多通道图像。多通道图像可以包括T1加权磁共振图像和T2加权磁共振图像。卷积神经网络模型可以包括：第一组件，其被配置成确定原始图像的特征图；以及第二组件，其被配置成根据特征图确定合成图像。第一组件可以包括多个编码层并且第二组件包括多个解码层。第一组件可以被配置成通过下采样来减小特征图的尺寸，并且第二组件可以被配置成通过上采样来增大特征图的尺寸。卷积神经网络可以包括多个卷积层，其中，模型参数集可以包括供多个卷积层使用的可学习滤波权重。卷积神经网络可以包括10到500层。图像处理器还可以被配置成：使用卷积神经网络模型将训练原始图像转换为合成图像；确定合成图像与对应的训练目标图像之间的差异；以及基于该差异来更新模型参数集。可以通过基于合成图像和对应的训练目标图像计算的损失函数来度量差异。

在一种方面，本公开可以以一种包含指令的非暂态计算机可读介质为特征，该指令在由至少一个处理器执行时使得所述至少一个处理器执行下述方法，该方法用于基于由成像装置使用第一成像模态获取的解剖部分的原始图像来生成该解剖部分的合成图像。该方法可以包括接收由成像装置使用第一成像模态获取的解剖部分的原始图像，以及接收被训练以用于基于原始图像预测合成图像的卷积神经网络模型。该方法还可以包括通过卷积神经网络模型将原始图像转换为合成图像。合成图像可以类似于对解剖部分的第二成像模态描绘，其中，第二成像模态(例如，CT)可以不同于第一成像模态。该方法还可以包括：接收使用第一成像模态获取的多个训练原始图像；接收使用第二成像模态获取的多个训练目标图像，每个训练目标图像与训练原始图像对应；确定卷积神经网络架构；以及使用训练原始图像和对应的训练目标图像来训练卷积神经网络模型。原始图像可以是三维图像，并且生成合成图像还可以包括：从三维图像中选择相邻二维图像的多个堆叠；使用卷积神经网络模型将相邻二维图像的每个堆叠转换为合成二维图像的堆叠；以及由至少一个处理器通过聚合合成二维图像的堆叠来确定合成图像。相邻二维图像可以处于相同平面中并且携载在与该平面正交的轴上的依赖结构信息。相邻二维图像的多个堆叠可以部分地交叠，并且聚合合成二维图像的堆叠可以包括对交叠的合成二维图像求平均。原始图像可以是三维图像，并且生成合成图像可以包括：根据三维图像的第一平面创建二维图像的第一堆叠并且根据三维图像的第二平面创建二维图像的第二堆叠；使用卷积神经网络模型将二维图像的第一堆叠和第二堆叠转换为合成二维图像的第一堆叠和第二堆叠；以及通过聚合合成二维图像的第一堆叠和第二堆叠来确定合成图像。将二维图像的第一堆叠转换为合成二维图像的第一堆叠可以包括使用第一卷积神经网络模型，并且将二维图像的第二堆叠转换为合成二维图像的第二堆叠可以包括使用第二卷积神经网络模型。第一卷积神经网络模型和第二卷积神经网络模型可以对应于两个不同的解剖平面。原始图像可以包括使用成像装置的不同的获取通道获取的解剖部分的多通道图像。多通道图像可以包括T1加权磁共振图像和T2加权磁共振图像。卷积神经网络模型可以包括：第一组件，其被配置成确定原始图像的特征图；以及第二组件，其被配置成根据特征图确定合成图像。第一组件可以包括多个编码层并且第二组件可以包括多个解码层。第一组件可以被配置成通过下采样来减小特征图的尺寸，并且第二组件可以被配置成通过上采样来增大特征图的尺寸。卷积神经网络可以包括多个卷积层，其中，模型参数集可以包括供多个卷积层使用的可学习滤波权重。卷积神经网络可以包括10到500层。训练卷积神经网络模型的模型参数集可以包括：使用卷积神经网络模型将训练原始图像转换为合成图像；确定合成图像与对应的训练目标图像之间的差异；以及基于该差异来更新模型参数集。可以通过基于合成图像和对应的训练目标图像计算的损失函数来度量差异。

在一种方面，本公开可以以一种计算机实现的方法为特征，该方法用于生成基于由成像装置使用第一成像模态获取的解剖部分的原始图像来预测该解剖部分的合成图像的卷积神经网络模型。该方法可以包括接收使用第一成像模态获取的多个训练原始图像。该方法还可以包括接收使用第二成像模态获取的多个训练目标图像，每个训练目标图像与训练原始图像对应。该方法还可以包括由至少一个处理器使用训练原始图像和对应的训练目标图像来训练卷积神经网络模型的模型参数集。第一成像模态可以是磁共振成像，并且第二成像模态可以是计算机断层扫描。第一成像模态和第二成像模态可以选自下述组中：磁共振成像、计算机断层扫描、超声成像、正电子发射断层扫描以及单光子发射计算机断层扫描。训练原始图像可以包括使用成像装置的不同的获取通道获取的解剖部分的多通道图像。多通道图像可以包括T1加权磁共振图像和T2加权磁共振图像。卷积神经网络模型可以包括：第一组件，其被配置成确定原始图像的特征图；以及第二组件，其被配置成根据特征图确定合成图像。第一组件可以包括多个编码层并且第二组件包括多个解码层。第一组件可以被配置成通过下采样来减小特征图的尺寸，并且第二组件可以被配置成通过上采样来增大特征图的尺寸。卷积神经网络可以包括多个卷积层，并且模型参数集可以包括供多个卷积层使用的可学习滤波权重。卷积神经网络可以包括10到500层。训练卷积神经网络模型的模型参数集可以包括：使用卷积神经网络模型将训练原始图像转换为合成图像；确定合成图像与对应的训练目标图像之间的差异；以及基于该差异来更新模型参数集。可以通过基于合成图像和对应的训练目标图像计算的损失函数来度量差异。

实施方式的其他目的和优点部分地将在随后的描述中进行阐述，并且部分地将根据描述而变得明显，或者可以通过对实施方式的实践来学习。应当理解，前面的一般性描述和下面的详细描述两者均只是示例性和说明性的，而不是对权利要求进行限制。

如本文所使用的，术语“包括”、“包含”或其任何其他变型意在涵盖非排他性的包含，使得包括元素列表的过程、方法、物品或设备不仅包括那些要素，还可以包括未明确列出的或者这样的过程、方法、物品或设备固有的其他元素。

附图说明

并入本说明书中并且构成本说明书的一部分的附图示出了所公开的实施方式，并且与描述一起用于解释所公开的原理。在附图中：

图1A示出了根据本公开的一些实施方式的示例性放射治疗系统。

图1B示出了可以包括被配置成提供治疗射束的放射治疗输出的示例性放射治疗系统。

图1C示出了包括组合的放射治疗系统和例如计算机断层扫描(CT)成像系统的成像系统的示例性系统。

图1D示出了包括组合的放射治疗系统和例如核磁共振(MR)成像系统的成像系统的示例性系统的局部剖视图。

图2示出了用于对放射治疗射束进行成形、引导或强度调制的示例性多叶准直器配置的正交视图。

图3示出了示例性伽玛刀放射治疗系统。

图4A和图4B描绘了示例性MRI图像与对应的CT图像之间的差异。

图4C描绘了根据所获取的MRI图像生成的示例性合成CT图像。

图5描绘了根据本公开的一些实施方式的示例性图像转换系统。

图6示出了根据本公开的一些实施方式的示例性图像预处理过程。

图7A示出了根据本公开的一些实施方式的图5所示的预测模型的示例性卷积层的操作。

图7B示出了根据本公开的一些实施方式的图5所示的预测模型的示例性卷积层堆叠的操作。

图7C示出了根据本公开的一些实施方式的图5所示的预测模型的示例性最大池化层和上池化层(unpooling layer)的操作。

图7D和图7E描绘了根据本公开的一些实施方式的由图5所示的图像转换系统使用的示例性卷积神经网络。

图7F描绘了根据本公开的一些实施方式的由图7D和图7E所示的神经网络的选定层生成的示例性特征图。

图8是示出根据本公开的一些实施方式的用于训练CNN模型的示例性训练过程的流程图。

图9A是示出根据本公开的一些实施方式的使用通过图8中的过程获得的经训练的CNN模型的示例性图像转换过程的流程图。

图9B是示出根据本公开的一些实施方式的使用通过图8中的过程获得的至少一个经训练的CNN模型的示例性3D图像转换过程的流程图。

具体实施方式

现在将参照附图详细引述示例性实施方式。在可能的情况下，在整个附图中将使用相同的附图标记来指代相同或相似的部分。在这些图中，附图标记最左边的数字标识该附图标记首次出现的图。在任何方便的情况下，在整个附图中使用相同的附图标记来指代相同或相似的部分。虽然在本文中描述了所公开的原理的示例和特征，但是在不偏离所公开的实施方式的范围的情况下，修改、调整以及其它实现方式也是可能的。此外，词语“包括(comprising)”、“具有(having)”、“含有(containing)”和“包含(including)”以及其他类似形式旨在含义等同并且被解释为开放式的，其中，在这些词语中的任何一个之后跟随着的一项或多项并不意味着是对这样的一项或多项的穷举式罗列，也并不意味着仅限于所列出的一项或多项。而且，除非上下文另有明确规定，否则单数形式“一(a)”，“一个(an)”和“该(the)”旨在包括复数引用。术语“示例性”是在“示例”而非“理想”意义上使用的。

所公开的实施方式利用迁移学习的原理使用有限的数据，来用被训练用于图像分类的现有神经网络的参数初始化卷积神经网络。所公开的实施方式有利地可以不需要线性或可变形的主体间图像配准，并且而是可以直接学习MRI图像与对应的CT图像之间的映射。所公开的实施方式可以有利地与使用图块(patch)细化与融合的基于图集的方法相比提供更好的准确度。这是由于基于图集的方法通常依赖于图块比较来找到类似的图集候选，这在文献中提出的其他基于图集或基于图块的方法中也是常见的。小的局部图块具有有限的图像信息。因此，使用图块的原始图像强度作为特征可能遭受数据的大量冗余并且降低辨别力。相反，所公开的实施方式可以有利地从完整图像自动学习不同尺度和复杂度水平的图像特征的层级。

已经对18名患者测试了符合所公开的实施方式的一种或更多种方法，并且结果与例如使用下述现有方法获得的结果的文献中的其他报道结果相比有利：模糊c-均值聚类方法、使用图集进行配准的方法、使用高斯混合回归模型的方法以及后面跟随有图块融合的图集配准。除了提高准确度之外，所公开的实施方式还使部署时的计算时间更短。例如，即使训练模型(例如，深度卷积神经网络(DCNN))可能需要数天，但是该训练只需要进行一次并且可以通过使用多个GPU、云计算机或超级计算机来加速训练过程。在单个GPU上应用经训练的模型创建针对新患者的合成图像可能仅花费几秒钟。相比之下，现有的基于模型或基于图集的方法可能花费更长的时间(例如，几分钟或几小时)。

所公开的实施方式还可以容纳大量(数百对原始图像和目标图像)的训练数据。由于模型容量高，因此神经网络可以从大量数据中大幅受益。因此，随着另外的训练数据变得可用，所公开的实施方式的准确度可以增大。增大训练数据量可能会增加训练时间，但是最终的神经网络的尺寸以及合成图像生成时间可以保持不变。相反，在使用现有的基于图集的方法或其他基于模型的方法(例如现有的高斯过程模型)的情况下增加训练数据可能不现实，因为这些现有方法要求保留所有训练数据。此外，这些方法的计算时间通常与所用图集的数目直接成比例。此外，基于图集的方法的准确度可能快速饱和，并且因此，在使用大量图集时经常需要进行图集选择过程以避免准确度劣化。然而，使用增加的训练数据可以提高由经训练的神经网络模型生成的最终合成图像的准确度。

图1A示出了用于向患者提供放射治疗的示例性放射治疗系统10。放射治疗系统10包括图像处理装置12。图像处理装置12可以连接至网络20。网络20可以连接至因特网22。网络20可以将图像处理装置12与下述中的一个或更多个相连接：数据库24、医院数据库26、肿瘤学信息系统(OIS)28、放射治疗装置30、图像获取装置32、显示装置34和用户接口36。图像处理装置12被配置成生成要由放射治疗装置30使用的放射疗法治疗计划16。

图像处理装置12可以包括存储器装置16、处理器14和通信接口18。存储器装置16可以存储计算机可执行指令，例如操作系统43、放射疗法治疗计划42(例如，原始治疗计划、经调整的治疗计划等)、软件程序44(例如，人工智能、深度学习、神经网络、放射治疗计划软件)以及要由处理器14执行的任何其他计算机可执行指令。在实施方式中，软件程序44可以通过产生例如伪CT图像的合成图像来将一种格式(例如，MRI)的医学图像转换为另一种格式(例如，CT)。例如，软件程序44可以包括图像处理程序，该图像处理程序用以训练用于将一种模态的医学图像46(例如，MRI图像)转换为具有不同模态的合成图像(例如，伪CT图像)的预测模型；替选地，经训练的预测模型可以将CT图像转换为MRI图像。存储器装置16可以存储数据，包括医学图像46、患者数据45以及创建和实现放射疗法治疗计划42所需的其他数据。

除了存储软件程序44的存储器16之外，还预期软件程序44可以存储在可移除计算机介质上，该可移除计算机介质例如是硬盘驱动器、计算机盘、CD-ROM、DVD、HD、蓝光DVD、USB闪存驱动器、SD卡、记忆棒或任何其他合适的介质；并且在软件程序44被下载至图像处理装置12时，可以由图像处理器14执行该软件程序44。

处理器14可以通信地耦接至存储器装置16，并且处理器14可以被配置成执行其上存储的计算机可执行指令。处理器14可以向或从存储器16发送或接收医学图像46。例如，处理器14可以经由通信接口18和网络20从图像获取装置32接收医学图像46以将其存储在存储器16中。处理器14还可以经由去往网络20的通信接口18发送存储器16中存储的医学图像46以将其存储在数据库24或医院数据库26中。

此外，处理器14可以利用软件程序44(例如，治疗计划软件)以及医学图像46和患者数据45来创建放射疗法治疗计划42。医学图像46可以包括诸如与患者解剖区域、器官或感兴趣的分割数据量相关联的成像数据的信息。患者数据45可以包括下述信息，例如：(1)功能性器官建模数据(例如，串行器官与并行器官、适当的剂量响应模型等)；(2)放射剂量数据(例如，剂量-体积直方图(DVH)信息)；或(3)关于患者和治疗过程的其他临床信息(例如，其他手术、化学治疗、先前的放射治疗等)。

此外，处理器14可以利用软件程序来生成中间数据，例如，例如将由神经网络模型使用的更新后的参数；或者生成中间2D或3D图像，然后，该中间2D或3D图像可以随后被存储在存储器16中。然后，处理器14可以随后经由去往网络20的通信接口18将可执行的放射疗法治疗计划42传送至放射治疗装置30，其中，放射治疗计划将用于利用放射来治疗患者。此外，处理器14可以执行软件程序44以实现诸如图像转换、图像分割、深度学习、神经网络和人工智能的功能。例如，处理器14可以执行用于训练医学图像或描绘医学图像轮廓的软件程序44；这样的软件44在被执行时可以利用形状字典来训练边界检测器。

处理器14可以是处理装置，包括：一个或更多个通用处理装置，例如微处理器、中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)等。更具体地，处理器14可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、实现其他指令集的处理器或实现指令集的组合的处理器。处理器14还可以由例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等的一个或更多个专用处理装置来实现。如本领域技术人员将理解的，在一些实施方式中，处理器14可以是专用处理器而不是通用处理器。处理器14可以包括一个或更多个已知的处理装置，例如来自由Intel^TM制造的Pentium^TM、Core^TM、Xeon^TM或

系列的微处理器、来自由AMD^TM制造的Turion^TM、Athlon^TM、Sempron^TM、Opteron^TM、FX^TM、Phenom^TM系列的微处理器、或者由Sun Microsystems制造的各种处理器中的任何处理器。处理器14还可以包括图形处理单元，例如来自由Nvidia^TM制造的

系列、由Intel^TM制造的GMA、Iris^TM系列或者由AMD^TM制造的Radeon^TM系列的GPU。处理器14还可以包括加速处理单元，例如由AMD^TM制造的Desktop A-4(6,8)系列、由Intel^TM制造的Xeon Phi^TM系列。所公开的实施方式不限于以其他方式被配置成满足识别、分析、维护、生成和/或提供大量数据或操纵这些数据以执行本文公开的方法的计算需求的任何类型的处理器。此外，术语“处理器”可以包括多于一个处理器，例如，多核设计或各自具有多核设计的多个处理器。处理器14可以执行存储器16中存储的计算机程序指令序列以执行下文将更详细说明的各种操作、过程、方法。

存储器装置16可以存储医学图像46。在一些实施方式中，医学图像46可以包括一个或更多个MRI图像(例如，2D MRI、3D MRI、2D流式MRI、4D MRI、4D体积MRI、4D影像MRI等)、功能性MRI图像(例如，fMRI、DCE-MRI、扩散MRI)、计算机断层扫描(CT)图像(例如，2D CT、锥形束CT、3D CT、4D CT)、超声图像(例如，2D超声、3D超声、4D超声)、正电子发射断层扫描(PET)图像、X射线图像、荧光透视图像、放射治疗射野图像、单光子发射计算机断层扫描(SPECT)图像、计算机生成的合成图像(例如，伪CT图像)等。此外，医学图像46还可以包括医学图像数据，例如，训练图像以及真实图像(ground truth image)、轮廓图像。在实施方式中，可以从图像获取装置32接收医学图像46。因此，图像获取装置32可以包括MRI成像装置、CT成像装置、PET成像装置、超声成像装置、荧光透视装置、SPECT成像装置、集成的线性加速器和MRI成像装置、或者用于获得患者的医学图像的其他医学成像装置。可以以图像处理装置12可以用来执行符合所公开的实施方式的操作的任何数据类型或任何格式类型来接收和存储医学图像46。存储器装置12可以是非暂态计算机可读介质，例如只读存储器(ROM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、闪速存储器、随机存取存储器(RAM)、例如同步DRAM(SDRAM)的动态随机存取存储器(DRAM)、电可擦除可编程只读存储器(EEPROM)、静态存储器(例如，闪速存储器、闪存盘、静态随机存取存储器)以及其他类型的随机存取存储器、高速缓冲存储器、寄存器、致密盘只读存储器(CD-ROM)、数字通用盘(DVD)或其他光存储装置、盒式磁带、其他磁性存储装置、或者可以用来存储包括能够被处理器14或任何其他类型的计算机装置访问的(例如以任何格式存储的)图像、数据或计算机可执行指令的信息的任何其他非暂态介质。计算机程序指令可以被处理器14访问、从ROM或任何其他合适的存储器位置读取并被加载到RAM中以供处理器14执行。例如，存储器16可以存储一个或更多个软件应用。存储器16中存储的软件应用可以包括例如用于公共计算机系统以及用于受软件控制的装置的操作系统43。此外，存储器16可以存储可由处理器14执行的整个软件应用或者仅软件应用的一部分。例如，存储器装置16可以存储一个或更多个放射疗法治疗计划42。

图像处理装置12可以经由通信接口18与网络20进行通信，通信接口18通信地耦接至处理器14和存储器16。通信接口18可以提供图像处理装置12与放射治疗系统10的组件之间的通信连接(例如，允许与外部装置交换数据)。例如，在一些实施方式中，通信接口18可以具有适当的接口电路系统以连接至用户接口36，用户接口36可以是用户可以通过其将信息输入至放射治疗系统10中的硬件键盘、小键盘或触摸屏。

通信接口18例如可以包括网络适配器、电缆连接器、串行连接器、USB连接器、并行连接器、高速数据传输适配器(例如，光纤、USB 3.0、雷电(thunderbolt)等)、无线网络适配器(例如，WiFi适配器)、电信适配器(例如，3G、4G/LTE等)等。通信接口18可以包括一个或更多个数字和/或模拟通信装置，其允许图像处理装置12经由网络20与例如远程定位的组件的其他机器和装置进行通信。

网络20可以提供局域网(LAN)、无线网络、云计算环境(例如，软件即服务、平台即服务、基础设施即服务等)、客户端-服务器、广域网(WAN)等的功能。例如，网络20可以是LAN或WAN，其可以包括其他系统S1(38)、S2(40)和S3(41)。系统S1、S2和S3可以与图像处理装置12相同，或者可以是不同的系统。在一些实施方式中，网络20中的一个或更多个系统可以形成协作执行本文描述的实施方式的分布式计算/模拟环境。在一些实施方式中，一个或更多个系统S1、S2和S3可以包括获得CT图像(例如，医学图像46)的CT扫描仪。此外，网络20可以连接至因特网22以与远程驻留在因特网上的服务器和客户端进行通信。

因此，网络20可以允许图像处理装置12与例如OIS 28、放射治疗装置30和图像获取装置32的多个不同的其他系统和装置之间的数据传输。此外，由OIS 28和/或图像获取装置32生成的数据可以存储在存储器16、数据库24和/或医院数据库26中。根据需要，可以通过通信接口18经由网络20传送/接收数据以便由处理器14访问该数据。

图像处理装置12可以通过网络20与数据库24进行通信以发送/接收数据库24上存储的多种不同类型的数据。例如，数据库24可以包括作为与放射治疗装置30、图像获取装置32或与放射治疗有关的其他机器相关联的信息的机器数据。机器数据信息可以包括放射束尺寸、弧的布置、射束开启和关闭的持续时间、控制点、分割、多叶准直器(MLC)配置、台架速度、MRI脉冲序列等。数据库24可以是存储装置。本领域技术人员将理解，数据库24可以包括以中央式或者分布式方式定位的多个装置。

在一些实施方式中，数据库24可以包括处理器可读存储介质(未示出)。虽然实施方式中的处理器可读存储介质可以是单个介质，但是术语“处理器可读存储介质”应被视为包括存储一组或更多组计算机可执行指令或数据的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的高速缓冲存储器和服务器)。术语“处理器可读存储介质”还应被视为包括能够对供处理器执行的指令集进行存储或编码并且使处理器执行本公开中的任何一种或更多种方法的任何介质。因此，术语“处理器可读存储介质”应被视为包括但不限于固态存储器、光学介质和磁介质。例如，处理器可读存储介质可以是一个或更多个易失性、非暂态或者非易失性有形计算机可读介质。

图像处理器14可以与数据库24进行通信以将图像读取到存储器16中或者将来自存储器16的图像存储到数据库24。例如，数据库24可以被配置成存储数据库24从图像获取装置32接收的多个图像(例如，3D MRI、4D MRI、2D MRI切片图像、CT图像、2D荧光透视图像、X射线图像、来自MR扫描或CT扫描的原始数据、医学数字成像与通信(DIMCOM)数据等)。数据库24可以存储图像处理器14在执行软件程序44时或者在创建放射疗法治疗计划42时要使用的数据。图像处理装置12可以接收来自数据库24、放射治疗装置30(例如，MRI-Linac)和/或图像获取装置32的成像数据46(例如，2D MRI切片图像、CT图像、2D荧光透视图像、X射线图像、3D MRI图像、4D MRI图像等)以生成治疗计划42。

在实施方式中，放射治疗系统100可以包括图像获取装置32，其能够获取患者的医学图像(例如，磁共振成像(MRI)图像、3D MRI、2D流式MRI、4D体积MRI、计算机断层扫描(CT)图像、锥形束CT、正电子发射断层扫描(PET)图像、功能MRI图像(例如，fMRI、DCE-MRI和扩散MRI)、X射线图像、荧光透视图像、超声图像、放射疗法射野图像、单光子发射计算机断层扫描(SPECT)图像等)。图像获取装置32例如可以是MRI成像装置、CT成像装置、PET成像装置、超声装置、荧光透视装置、SPECT成像装置或者用于获得患者的一个或更多个医学图像的任何其他合适的医学成像装置。由图像获取装置32获取的图像可以作为成像数据和/或测试数据而存储在数据库24中。作为示例，由图像获取装置32获取的图像也可以由图像处理装置12作为医学图像数据46存储在存储器16中。

在实施方式中，例如，图像获取装置32可以与放射治疗装置30集成为单个装置(例如，与线性加速器组合的MRI装置，也被称为“MRI-Linac”)。这种MRI-Linac例如可以用来确定患者的靶器官或靶肿瘤的位置，以便根据放射疗法治疗计划42将放射治疗准确地引导至预定靶。

图像获取装置32可以被配置成针对感兴趣区域(例如，靶器官、靶肿瘤或两者)获取患者解剖结构的一个或更多个图像。每个图像(通常是2D图像或切片)可以包括一个或更多个参数(例如，2D切片厚度、取向和位置等)。在示例中，图像获取装置32可以获取具有任何取向的2D切片。例如，2D切片的取向可以包括矢状取向(sagittal orientation)、冠状取向(oronal orientation)或轴向取向。处理器14可以对例如2D切片的厚度和/或取向的一个或更多个参数进行调整以将靶器官和/或靶肿瘤包括在内。在示例中，可以根据诸如3DMRI体积的信息来确定2D切片。例如，在使用放射治疗装置30的情况下，在患者正在接受放射疗法治疗的同时可以由图像获取装置32“实时”获取这样的2D切片。“实时”意味着至少以数毫秒或更短时间来获取数据。

图像处理装置12可以生成并存储针对一个或更多个患者的放射疗法治疗计划42。放射疗法治疗计划42可以提供关于要施加给每个患者的特定放射剂量的信息。放射疗法治疗计划42还可以包括其他放射治疗信息，例如射束角度、剂量-直方图-体积信息、治疗期间要使用的放射束的数量、每射束的剂量等。

图像处理器14可以通过使用例如诸如由瑞典斯德哥尔摩的Elekta AB制造的

的治疗计划软件的软件程序44来生成放射疗法治疗计划42。为了生成放射疗法治疗计划42，图像处理器14可以与图像获取装置32(例如，CT装置、MRI装置、PET装置、X射线装置、超声装置等)进行通信以访问患者图像并描画例如肿瘤的靶。在一些实施方式中，可能需要描画一个或多个危及器官(OAR)，例如围绕肿瘤或紧邻肿瘤的健康组织。因此，在OAR靠近靶肿瘤的情况下可以对OAR进行分割。此外，如果靶肿瘤靠近OAR(例如，紧邻膀胱和直肠的前列腺)，则通过将OAR与肿瘤分割，治疗计划装置110不仅可以研究靶中的剂量分布，还可以研究OAR中的计量分布。

为了从OAR描画靶器官或靶肿瘤，可以由图像获取装置32非侵入地获得正在接受放射治疗的患者的医学图像，例如，MRI图像、CT图像、PET图像、fMRI图像、X射线图像、超声图像、放射治疗射野图像、SPECT图像等，以揭示身体部位的内部结构。基于来自医学图像的信息，可以获得相关解剖部分的3D结构。此外，在治疗计划过程期间，可以考虑多个参数以实现对靶肿瘤的有效治疗(例如，使靶肿瘤接收到足够的放射剂量以实现有效治疗)与对OAR的低照射(例如，OAR接收到尽可能低的放射剂量)之间的平衡。可以考虑的其他参数包括靶器官和靶肿瘤的位置、OAR的位置以及靶相对于OAR的移动。例如，可以通过在MRI或CT图像的每个2D层或切片内描绘靶的轮廓或描绘OAR的轮廓并且将每个2D层或切片的轮廓进行组合来获得3D结构。可以手动地(例如，由医师、剂量师或医护人员)或自动地(例如，使用程序，诸如由瑞典斯德哥尔摩的Elekta AB制造的基于图集的自动分割软件ABAS^TM)生成轮廓。在某些实施方式中，可以由治疗计划软件自动生成靶肿瘤或OAR的3D结构。

在已经定位并描画了靶肿瘤和OAR之后，剂量师、医师或医护人员可以确定要对靶肿瘤施加的放射剂量，以及邻近该肿瘤的OAR(例如，左右腮腺、视神经、眼睛、晶状体、内耳、脊髓、脑干等)可以接受的任何最大量的剂量。在针对每个解剖结构(例如，靶肿瘤、OAR)确定了放射剂量之后，可以执行被称为逆向计划的过程以确定将实现期望的放射剂量分布的一个或更多个治疗计划参数。治疗计划参数的示例包括体积描画参数(例如，其限定靶体积、轮廓敏感结构等)、靶肿瘤和OAR周围的裕量、射束角度选择、准直器设置和射束开启时间。在逆向计划过程期间，医师可以定义剂量约束参数，该参数设定关于OAR可以接受多少放射的界限(例如，限定对肿瘤靶的全剂量和对任何OAR的零剂量；限定对靶肿瘤的95％的剂量；限定脊髓、脑干和视神经结构分别接受≤45Gy、≤55Gy和<54Gy)。逆向计划的结果可以构成可以存储在存储器16或数据库24中的放射疗法治疗计划42。这些治疗参数中的一些可以是相关的。例如，调整一个参数(例如，针对不同目标的权重，例如增大对靶肿瘤的剂量)以试图改变治疗计划可能影响至少一个其他参数，这进而可能使得发展出不同的治疗计划。因此，图像处理装置12可以生成具有这些参数的定制放射疗法治疗计划42以便放射治疗装置30向患者提供放射疗法治疗。

此外，放射治疗系统10可以包括显示装置34和用户接口36。显示装置34可以包括向用户显示医学图像、接口信息、治疗计划参数(例如，轮廓、剂量、射束角度等)、治疗计划、靶、定位靶和/或追踪靶或者任何相关信息的一个或更多个显示画面。用户接口36可以是键盘、小键盘、触摸屏或者用户可以向放射治疗系统10输入信息的任何类型的装置。替选地，显示装置34和用户接口36可以集成到装置中，该装置诸如是平板计算机，例如，Apple

Lenovo

Samsung

等。

此外，放射治疗系统10的任何组件和全部组件可以被实现为虚拟机(例如，VMWare、Hyper-V等)。例如，虚拟机可以是用作硬件的软件。因此，虚拟机可以至少包括一起用作硬件的一个或更多个虚拟处理器、一个或更多个虚拟存储器以及一个或更多个虚拟通信接口。例如，图像处理装置12、OIS 28、图像获取装置32可以被实现为虚拟机。假设处理能力、存储器和计算能力可用，则整个放射治疗系统10可以被实现为虚拟机。

图1B示出了示例性放射治疗装置102，其可以包括例如X射线源或线性加速器的放射源、多叶准直器(未示出)、床(couch)116、成像检测器114和放射治疗输出104。放射治疗装置102可以被配置成发射放射束108以向患者提供治疗。放射治疗输出104可以包括一个或更多个衰减器或准直器，例如下文中图2的说明性示例所描述的多叶准直器(MLC)。

返回参照图1B，可以使用桌子或床116将患者安置在区域112中，以根据放射疗法治疗计划接受放射治疗剂量。放射治疗输出104可以安装或附接至台架106或其他机械支承件。当床116被插入治疗区域时，一个或更多个底盘电机(chassis notor)(未示出)可以使台架106和放射治疗输出104围绕床116旋转。在实施方式中，当床116被插入治疗区域时，台架106可以围绕床116连续旋转。在另外的实施方式中，当床116被插入治疗区域时，台架106可以旋转至预定位置。例如，台架106可以被配置成使治疗输出104围绕轴(“A”)旋转。床116和放射治疗输出104两者均能够独立地移动到患者周围的其他位置，例如，能够沿着横向方向(“T”)移动、能够沿着侧向方向(“L”)移动，或者能够围绕一个或更多个其他轴旋转，例如围绕横轴(表示为“R”)旋转。通信地连接至一个或更多个致动器(未示出)的控制器可以控制床116移动或旋转，以便根据放射疗法治疗计划将患者适当地安置在放射束108位置之内或之外。由于床116和台架106两者能够以多个自由度彼此独立地移动，这允许将患者安置成使得放射束108能够精确地以肿瘤为靶。

图1B所示的坐标系(包括轴A、T和L)可以具有位于等中心110处的原点。等中心可以被定义为放射治疗射束108与坐标轴的原点相交的位置，以便将规定的放射剂量递送至患者上或者患者体内的位置。例如，等中心110可以被定义为下述位置：在该位置处，针对由台架106定位的放射治疗输出104围绕轴A的各种旋转位置，放射治疗射束108与患者相交。

台架106也可以具有附接的成像检测器114。成像检测器114优选地位于与放射源104相对的位置，并且在示例中，成像检测器114可以位于治疗射束108的场内。

优选地，成像检测器114可以与放射治疗输出104相对地安装在台架106上，以便保持与治疗射束108对准。随着台架106旋转，成像检测器114围绕旋转轴旋转。在实施方式中，成像检测器114可以是平板检测器(例如，直接检测器或闪烁器检测器)。以这种方式，成像检测器114可以用于监测治疗射束108，或者成像检测器114可以用于对患者的解剖结构进行成像，例如射野成像。放射治疗装置102的控制电路系统可以集成在系统100内或者远离系统100，并且其在功能上由如图1A所示的图像处理装置12表示。

在说明性示例中，床116、治疗输出104或台架106中的一个或更多个可以被自动定位，并且治疗输出104可以根据用于特定治疗递送实例的指定剂量来建立治疗射束108。可以根据放射疗法治疗计划，例如使用台架106、床116或治疗输出104的一个或更多个不同取向或位置，来指定治疗递送序列。治疗递送可以依序发生，但是可以在患者上或患者体内的期望的治疗位点中、例如在等中心110处交叉。由此可以将放射治疗的规定的累积剂量递送到治疗位点，同时减少或避免对治疗位点附近的组织的损害。

图1C示出了示例性放射治疗装置102，其可以包括组合的线性加速器和成像系统，例如计算机断层扫描(CT)成像系统。CT成像系统可以包括例如以千电子伏特(keV)能量范围提供X射线能量的成像X射线源118。成像X射线源118提供被导向至例如平板检测器的成像检测器122的扇形和/或锥形射束120。放射治疗系统102可以类似于关于图1B所描述的系统102，例如包括放射治疗输出104、台架106、平台116和另外的平板检测器114。X射线源118可以提供用于成像的相对较低能量的X射线诊断射束。

在图1C的说明性示例中，放射治疗输出104和X射线源118可以被安装在同一旋转台架106上，彼此旋转分开90度。在另外的示例中，可以沿着台架106的外围安装两个或更多个X射线源，例如每个X射线源都具有其自己的检测器布置，以同时提供多角度的诊断成像。类似地，可以设置多个放射治疗输出104。

图1D描绘了示例性放射治疗系统300，其可以包括组合的放射治疗装置和成像系统，例如符合所公开的实施方式的核磁共振(MR)成像系统(例如，在本领域中被称为MR-Linac)。如所示出的，系统300可以包括床210、图像获取装置140和放射递送装置130。系统300根据放射疗法治疗计划对患者实施放射治疗。在一些实施方式中，图像获取装置140可以对应于图1A中的图像获取装置32，其可以获取具有第一模态的原始图像(例如，图4A所示的MRI图像)或者具有第二模态的目标图像(例如，图4B所示的CT图像)。

床210可以在治疗过程期间支承患者(未示出)。在一些实现方式中，床210可以沿着水平平移轴(标记为“I”)移动，使得床210可以将躺在床210上的患者移入和/或移出系统300。床210也可以围绕横向于平移轴的中心竖直旋转轴进行旋转。为了允许这样的移动或旋转，床210可以具有使得床能够在各个方向上移动以及沿着各个轴旋转的电机(未示出)。控制器(未示出)可以根据治疗计划控制这些移动或旋转以便适当地安置患者。

在一些实施方式中，图像获取装置140可以包括用于在治疗过程之前、期间和/或之后获取患者的2D或3D MRI图像的MRI机器。图像获取装置140可以包括用于生成用于磁共振成像的主磁场的磁体146。由磁体146的操作生成的磁场线可以基本上平行于中心平移轴I延伸。磁体146可以包括其轴线平行于平移轴I延伸的一个或更多个线圈。在一些实施方式中，磁体146中的一个或更多个线圈可以间隔开，使得磁体146的中心窗口147没有线圈。在其他实施方式中，磁体146中的线圈可以足够薄或具有降低的密度，使得它们对放射治疗装置130生成的波长的放射而言基本上是透明的。图像获取装置140还可以包括一个或更多个屏蔽线圈，所述一个或更多个屏蔽线圈可以在磁体146外部生成具有大致相等幅度和相反极性的磁场，以消除或减小磁体146外部的任何磁场。如下所述，放射治疗装置130的放射源134可以被安置在磁场至少被消除至一阶或者被减小的区域中。

图像获取装置140还可以包括两个梯度线圈148和149，这两个梯度线圈148和149可以生成叠加在主磁场上的梯度磁场。梯度线圈148和149可以在所产生的磁场中生成梯度，该梯度允许对质子进行空间编码以使得可以确定质子的位置。梯度线圈148和149可以围绕与磁体146的公共中心轴被安置，并且可以沿着该中心轴被移位。移位可以在线圈148与线圈149之间产生间隙或窗口。在磁体146还包括线圈之间的中心窗口147的实施方式中，两个窗口可以彼此对准。

在一些实施方式中，图像获取装置140可以是除MRI之外的成像装置，例如X射线、CT、CBCT、螺旋CT、PET、SPECT、光学断层扫描、荧光透视成像、超声成像或放射治疗射野成像装置等。如本领域普通技术人员将认识到的，对图像获取装置140的以上描述涉及特定实施方式，而不是意在进行限制。

放射治疗装置130可以包括例如X射线源或线性加速器的放射源134以及多叶准直器(MLC)132(以下在图2中示出)。放射治疗装置130可以安装在底盘138上。当床210被插入治疗区域时，一个或更多个底盘电机(未示出)可以使底盘138围绕床210旋转。在实施方式中，当床210被插入治疗区域时，底盘138可以围绕床210连续旋转。底盘138还可以具有附接的放射检测器(未示出)，其优选地与放射源134相对地定位，并且其中，底盘138的旋转轴位于放射源134与该检测器之间。此外，放射治疗系统300可以包括控制电路系统(未示出)，该控制电路系统用于控制例如床210、图像获取装置140以及放射治疗装置130中的一个或更多个。放射治疗装置130的控制电路系统可以集成在放射治疗系统300内或远离放射治疗系统300。

在放射疗法治疗过程期间，患者可以被安置在床210上。然后，系统300可以将床210移动到由磁线圈146、148、149和底盘138限定的治疗区域中。然后，控制电路系统可以根据放射疗法治疗计划控制放射源134、MLC 132和底盘电机，以通过线圈148与线圈149之间的窗口向患者递送放射。

图1B、图1C和图1D总体上示出了被配置成向患者提供放射疗法治疗的放射治疗装置的示例，其包括可以使放射治疗输出围绕中心轴(例如，轴“A”)旋转的配置。可以使用其他放射治疗输出配置。例如，可以将放射治疗输出安装至具有多个自由度的机械臂或操纵器。在另一示例中，治疗输出可以是固定的，例如位于与患者侧向分开的区域中，并且可以使用支承患者的平台来将放射治疗等中心与患者体内的指定靶位点对准。

如上所述，图1B、图1C和图1D所描述的放射治疗装置包括多叶准直器，其用于对去往患者体内的指定靶位点的放射治疗射束进行成形、引导或强度调制。图2示出了示例性多叶准直器(MLC)132，其包括叶片132A至132J，叶片132A至132J可以被自动定位以限定与肿瘤140横截面或投影近似的孔。叶片132A至132J允许对放射治疗射束进行调制。根据放射治疗计划，叶片132A至132J可以由被指定以在除孔之外的区域中衰减或阻挡放射束的材料制成。例如，叶片132A至132J可以包括金属板，例如包含钨，其中，该板的长轴被定向成平行于射束方向，并且端部被定向成与射束方向正交(如图1B的示图的平面所示的那样)。在放射疗法治疗过程期间可以适应性地调整MLC 132的“状态”，以便建立更好地接近肿瘤140或其他靶位点的形状或位置的治疗射束。这与使用静态准直器配置成对比，或者与使用排他地利用“离线”治疗计划技术确定的MLC 132配置成对比。使用MLC 132产生针对肿瘤或肿瘤内特定区域的指定放射剂量分布的放射治疗技术可以被称为强度调制放射治疗(IMRT)。

图3示出了根据本公开的一些实施方式的另一类型的放射治疗装置130(例如，Leksell伽玛刀)的示例。如图3所示，在放射疗法治疗过程中，患者202可以佩戴坐标架220以保持正在经受手术或放射治疗的患者身体部位(例如，头部)稳定。坐标架220和患者安置系统222可以建立可以在对患者成像时或者在放射手术期间使用的空间坐标系。放射治疗装置130可以包括用于包围多个放射源212的保护壳体214。放射源212可以通过射束通道216生成多个放射束(例如，小射束)。多个放射束可以被配置成从不同方向聚焦在等中心218上。虽然每个单独的放射束可能具有相对低的强度，但是当来自不同放射束的多个剂量在等中心218处累积时，等中心218可以接收到相对高水平的放射。在某些实施方式中，等中心218可以对应于接受手术或治疗的靶，例如肿瘤。

图4A和图4B描绘了使用不同成像模态获取的示例性图像之间的差异，成像模态基于使用了哪种图像获取装置32。例如，不同的图像模态以不同方式来表征患者组织。因此，使用不同图像模态获取的同一下层对象的图像在图像特性方面通常可能彼此不相似。例如，图4A示出了使用MRI装置进行图像获取而获取的患者头部的二维(2D)图像；以及图4B示出了使用CT装置获取的同一对象的对应的2D图像。如图4A和图4B所示，两个图像表示同一对象，但是它们呈现出明显不同的图像特性。例如，在图4A中，颅骨和玻璃体具有大致相同的由MRI图像所示的强度值。然而，相反地，图4B描绘了颅骨和玻璃体的非常不同的强度值，如CT图像所示的颅骨的亮度(例如，白色轮廓)所指示的。因此，MRI图像强度值和CT图像强度值可能大幅不同。

所公开的系统和方法涉及根据使用第一模态获取的原始图像(例如，如图4A示例性地示出的MRI图像)生成类似于使用第二模态获取的目标图像(例如，如图4B示例性地示出的CT图像)的合成图像(例如，伪CT图像)。

参照图4C，其比较了来自三个不同平面的患者头部的MR图像和CT图像并且提供了误差图。例如，图4C的顶行描绘了来自三个不同解剖平面的使用MRI获取的三个原始图像。第二行描绘了使用所公开的图像转换系统和方法基于顶行所示的MRI图像生成的合成CT图像。第三行描绘了使用CT获取的同一对象的三个平面的图像。第四行示出了表示合成CT图像(第二行)与所获取的CT图像(第三行)之间的差异的误差图。如第四行所示，对于头部区域的大多数部分而言，合成CT图像提供了与所获取的CT图像中的CT值非常相似的像素值。在图4C的示例中，误差图表明误差(例如，合成CT图像与对应的真实CT图像中的对应体素之间的强度差异)是最小的(例如，在典型CT图像的噪声水平以内)并且局限于不同组织类型之间的交界面，特别是在骨骼与空气的边界周围。

图5描绘了符合所公开的实施方式的示例性图像转换系统400。在一些实施方式中，图像转换系统400可以包括图像获取装置140、图像数据库420、图像转换单元440、存储训练图像412的训练数据库410、训练单元430和网络460。图像转换系统400可以执行两个功能：(a)提供训练单元430，其用于使用训练图像412来训练预测模型；(b)提供图像转换单元440，其被配置成使用经训练的预测模型来生成合成图像。在示例中，图像获取装置140可以对应于图1A所示的图像获取装置32。

所公开的系统和方法使用预测模型来生成合成图像。与上述公开一致，如本文所使用的术语“合成图像”通常是指在基于从使用一种模态的成像装置获取的实际图像数据(例如，MRI图像)的情况下表示或类似于以不同模态获取的图像(例如，CT图像)的任何计算机生成的图像数据。如下文所说明的，这样的合成图像从使用第一模态(例如，MRI)获取的原始图像转换成类似于使用第二模态(例如，CT)生成的图像。预测模型可以有利地在不需要进行组织分类、图集配准或要求手动定制的特征的基于模型的方法的情况下实现图像的自动转换。

在一些实施方式中，所公开的系统、方法、装置和过程涉及根据例如MRI图像的使用另外的模态获取的图像来生成合成CT图像。在一些方面，预测模型可以是神经网络，例如各种类型的卷积神经网络(CNN)或深度神经网络以及本领域中已知的其他类型的人工智能。因此，合成图像生成可以包括两个阶段。在第一阶段，可以使用训练数据生成(也称为“训练”或“学习”)预测模型，训练数据包括训练MRI图像及其对应的真实CT图像。训练过程可以自动使用训练数据来学习预测模型的参数或权重。可以根据最优性准则迭代地学习这些参数或权重。在第二阶段，可以使用预测模型根据MRI图像生成合成CT图像(例如，也被称为伪CT图像)。

“原始图像”可以指使用例如核磁共振成像(MRI)的第一成像模态获取的图像。“目标图像”可以指使用例如计算机断层扫描(CT)的不同于第一模态的第二模态获取的图像。

如上所述，“合成图像”可以指根据一个或更多个“原始图像”生成但是类似于“目标图像”的图像。在一些实施方式中，合成图像可以被称为伪CT图像。也就是说，合成图像可以具有目标图像的特性。例如，根据一个或更多个MRI图像(“原始图像”)生成的合成CT图像(“合成图像”)可以具有由CT扫描仪获取的真实CT图像(“目标图像”)的特性。在整个本公开中，将讨论原始图像是MRI图像并且目标图像是CT图像的示例。但这并非限制。替选地，例如，原始图像可以是CT图像而目标图像是MRI图像。在可以根据一个或更多个MRI图像生成合成CT图像的示例中，可以将合成CT图像用于放射治疗计划过程，而无需像典型的CT成像过程中那样使患者暴露于电离放射。

如本文所使用的，在两个图像之间的差异小于预定阈值标准的情况下，一个图像“类似于”另一图像。在示例中，如果两个图像之间的体素与体素的强度差异小于20亨氏单位(Hounsfield unit)，并且在一些示例中，平均小于100亨氏单位，则合成CT图像可以“类似于”对应的CT图像。例如，可以将差异确定为指示两个图像之间的像素值差异的误差图。该差异可以通过损失函数、例如基于两个图像计算的平均绝对误差或均方误差来度量。然而，可以使用其他类型的图像阈值标准将符合本公开的合成图像(例如，伪CT图像)示出为类似于目标图像。此外，符合本公开的系统和方法不必然需要应用任何这样的预定阈值标准来使目标图像类似于原始图像。换句话说并且如下所述，符合本公开的系统和方法可以使用任何这样的预定阈值标准来潜在地验证原始图像与目标图像之间的相似程度。符合本公开的系统和方法可以生成满足预定阈值标准的合成图像(例如，包括伪CT图像)。

为了使训练单元430训练预测模型，可以利用训练图像。与所公开的实施方式一致，训练数据库410可以被配置成存储一组或更多组训练图像412。每组训练图像可以包括使用第一成像模态获取的一个或更多个原始图像(“原始图像”)和以第二成像模态获取的对应的目标图像(“目标图像”)。一个或更多个原始图像和对应的目标图像是针对同一对象获取的，并且可以包括该对象的对应视图(例如，在基本上相同的取向上、但是使用不同类型的图像模态拍摄的同一解剖部分的图像)。如下文所说明的，原始图像和目标图像可以是2D图像或3D图像。在一些实施方式中，数据库410可以是管理患者的肿瘤学治疗计划的肿瘤学信息系统的一部分。在一些方面，数据库410可以从具有先前由图像获取装置140在一个或更多个放射疗法治疗过程期间获取的图像的图像数据库接收这些图像组。

图像数据库420可以存储使用第一成像模态获取的图像。在一些实施方式中，图像获取装置140可以获取图像数据库420中存储的图像。图像数据库420中存储的图像也可以对应于在一个或更多个放射疗法治疗过程期间获取的图像。如下文所说明的，图像可以是2D图像和/或3D图像。

在一些方面，图像转换系统400可以被配置成执行训练阶段。在一些实施方式中，训练单元430可以被配置成使用来自训练数据库410的训练数据来训练预测模型。如本领域技术人员将认识到的，训练单元430可以硬件和/或软件来实现。在训练阶段期间，训练单元430可以被配置成基于从训练数据库410接收的训练原始图像来生成估计合成图像。训练单元430还可以通过将估计合成图像与训练目标图像(例如，CT图像)进行比较来生成误差图，并且然后可以基于所生成的标识了合成图像与真实CT图像之间的差异的误差图来调整预测模型的参数。训练单元430可以被配置成持续训练预测模型直到满足特定的停止标准为止(检查模型预测与真实CT图像之间的误差，也可以基于训练的迭代次数来训练，或者在模型误差小于阈值的情况下)。在示例中，当训练迭代次数超过阈值时(例如，当已经有超过100个训练时期(epoch)时——在神经网络训练中，一个时期可以等于要遍历全部训练数据一次的迭代次数)，可以满足停止标准。在示例中，如果两个图像之间的体素与体素的强度差异小于阈值(例如，20亨氏单位)，则可以满足停止标准。然后，训练单元430可以保存经训练的预测模型，该预测模型稍后可以供图像转换单元440使用。

在另一方面，图像转换系统400还可以被配置成执行转换阶段。在转换阶段期间，图像转换单元440可以被配置成从训练单元430接收经训练的预测模型。在一些实施方式中，图像转换单元440可以被配置成根据从图像数据库420接收的原始图像422来生成合成图像。如本领域技术人员将认识到的，图像转换单元440可以硬件和/或软件来实现。图像转换单元440可以被配置成使用经训练的预测模型和接收到的原始图像422来生成合成图像。

在一些实施方式中，图像转换系统400可以被配置成显示要由用户接口(例如，随计算机一起提供的图形用户接口，该计算机也可以包括平板计算机、iPad、移动装置等)访问的合成图像，将合成图像存储在图像数据库420中以进一步用于治疗计划，以及将合成图像提供给治疗计划软件115。作为另外的示例，图像转换系统400可以被配置成将原始图像和合成图像存储在训练数据库410中。这些所存储的图像可以成为训练图像412的一部分。在各个方面，对原始图像和合成图像的存储可以是自动的、半自动的或手动的。如本领域技术人员将认识到的，图像转换单元440可以以硬件和/或软件来实现。

如针对图1所讨论的，图像获取装置140可以被配置成使用一种或更多种成像模态(如上所述)来获取图像，成像模态包括MRI、功能性MRI(例如，fMRI、DCE-MRI和扩散MRI)、CT、CBCT、螺旋CT、PET、SPECT、X射线、光学断层扫描、荧光透视成像、超声成像和放射治疗射野成像等。在一些实施方式中，图像获取装置140可以将所获取的图像提供至训练数据库410、图像数据库420、训练单元430和图像转换单元440。

网络460可以被配置成提供图4中的组件之间的通信。例如，网络460可以是在一个或更多个装置之间提供通信、交换信息和/或促进电子信息交换的任何类型的网络(包括基础设施)。就这一点而言，网络460可以包括使得图像转换系统400的组件彼此之间能够以任何格式并且在任何通信协议下发送和接收信息的有线连接(例如，LAN或其他硬连线连接)、无线连接(例如，WiFi、蓝牙、ZigBee、NFC、WiMAX、LET等)、计算机总线、串行连接、并行连接、以太网连接、局域网或广域网、因特网连接、卫星连接或包括与云计算服务的连接的任何其他合适的连接、或者它们的任何组合。

预期图4仅示出了图像转换系统400的示例性布置。在一些实施方式中，可以添加另外的组件，以及/或者可以组合、划分、修改或移除所描绘的组件。例如，训练阶段可以由另外的系统预先单独执行。因此，图像转换系统400可以不包括训练数据库410或训练单元430。此外，在一些方面，图像转换系统400的至少一个组件可以被定位成在地理上远离其余组件，并且可以通过网络460与其余组件进行通信。例如，包括训练单元430和训练数据库410的训练阶段可以位于研究与开发部门；而包括图像转换单元和原始图像的转换阶段可以位于放射治疗诊疗所。

在还有些其他实施方式中，图像转换系统400的两个或更多个组件可以在单个位置处(例如，放射疗法治疗室)实现。此外，虽然图4将图像转换系统400的各种组件示为分立的，但是图像转换系统400可以将这些组件中的一些组件实现在单个装置中。例如，数据库410和训练单元430可以被实现在例如平板计算机、膝上型计算机、台式计算机、工作站、服务器或专用图像转换装置的单个装置中。类似地，训练单元430和图像转换单元440可以被实现在单个装置中。

图6示出了示例性图像预处理过程600。过程600可以作为训练阶段的一部分或者在训练阶段进行的处理之前由训练单元430执行。过程600的某些方面(例如，接收原始图像601)也可以作为转换阶段的一部分或者在转换阶段之前由图像转换单元440执行。在601处，图像转换系统400可以接收使用第一成像模态获取的患者的原始图像422。与所公开的实施方式一致，可以从图像获取装置140接收原始图像422，或者替选地，图像转换系统400可以从训练数据库410接收训练图像412。然后，图像转换系统提供要被规范化的原始图像。

在603处，训练单元430可以对原始图像422进行规范化。该规范化过程可以通过使提供给预测模型的输入图像数据标准化来提高图像转换系统400的准确度。这里，在603处，训练单元430可以对原始图像422执行各种处理功能以生成具有标准化的对准、分辨率和/或强度值分布的规范化原始图像。例如，训练单元430可以将所获取的原始图像422与标准CT图像对准，以便调整图像中的对象的取向。训练单元430也可以对原始图像422重新采样，使得规范化的原始图像具有基准分辨率和/或基准视野。例如，可以使用插值方法对原始图像进行上采样，或者使用平均或最大池化方法对原始图像进行下采样。在示例中，可以对原始图像进行上采样或下采样，以便提供与对应的目标图像具有相同的空间分辨率的原始图像。

此外，训练单元430可以对原始图像422的强度值分布进行校正以更好地接近标准化强度值分布。例如，在原始图像422是MRI图像(例如，示例性图像611)的情况下，训练单元430可以使用本领域中已知的N3偏置场校正算法来校正原始图像中的强度不均匀性。如本领域中已知的，可以应用其他校正算法，例如联合直方图配准(joint histogramregistration)、标志或直方图匹配(landmarks or histogram matching)或者动态直方图变形(dynamic histogram warping)。在603结束时，创建了规范化原始图像并将其提供至605。

在605处，训练单元230可以根据规范化的原始图像生成二进制掩膜(例如，示例性图像615)。训练单元430可以被配置成使用二进制掩膜来移除规范化的原始图像422(例如，对应于立体定向头部架(stereotactic head frame))的不需要的部分。训练单元430可以通过对规范化的原始图像应用阈值处理和空间滤波来生成二进制掩膜。训练单元430可以根据本领域技术人员已知的方法，基于原始图像422的图像强度值的直方图来自动确定阈值。例如，训练单元430可以确定阈值以将其应用至规范化的原始图像的每个强度值或者与规范化的原始图像的每个强度值进行比较。训练单元430可以将规范化原始图像的每个强度值与阈值进行比较。预定阈值可以是默认强度值。通过该比较，训练单元430可以产生具有逻辑“1”或“0”的强度值的二进制掩膜图像。二进制掩膜图像中的强度值取决于原本的原始图像的对应强度值是否满足或超过阈值。在一些实施方式中，训练单元430还可以使用已知的形态学操作对所产生的该二进制掩膜图像进行空间滤波以生成最终二进制掩膜。

然后，训练单元430可以使用所生成的二进制掩膜来移除原始图像中的立体定向头部架。例如，二进制掩膜内的原始图像的部分可以保持其原始强度值。于是，可以将二进制掩膜之外的目标图像的其他部分设定为预定强度值。

在607处，训练单元430可以接收使用另外的成像模态获取的同一对象的目标图像412(例如，CT图像617)。目标图像412可以接收自训练数据库410。该目标图像412可以对应于原始图像611中示出的对象。例如，原始图像611可以是患者的解剖结构的特定部分的MRI图像，并且目标图像412可以是同一解剖部分的对应的CT图像。训练单元430可以从图像获取装置140或训练数据库410接收目标图像412。例如，在目标图像412是CT图像的情况下，目标图像412可以包括立体定向头部架的部分(例如，与头部架对应的图像元素618a和图像元素618b)。通常，在对应的MRI图像(例如，原始图像611)中不会示出立体定向头部架。

在609处，训练单元430可以对目标图像412进行规范化。以上描述了对原始图像611的规范化，这里，在609处，对目标图像的规范化可以提高图像转换系统400的准确度。通过使被提供用于训练例如下文所述的如图7D所示的神经网络700的预测模型的输入数据标准化来对目标图像进行规范化。训练单元430可以对目标图像执行各种处理功能以生成具有标准化的对准、分辨率和/或强度值分布的规范化的目标图像。

在一些方面，执行图像配准或图像对准过程以将每对训练图像的目标图像与原始图像对准。这是必需的，因为目标图像和原始图像可能由不同的成像装置获取或者在不同的扫描时间获取，因此它们可能在空间上没有对准。

在一些方面，也可以使用二进制掩膜来分割目标图像。例如，二进制掩膜可以对应于与患者相关联的图像部分。于是，可以将二进制掩膜之外的目标图像的其他部分设定为预定强度值。预定值可以是默认强度值。例如，在目标图像是CT图像的情况下，可以将该部分设定为-1000的亨氏标度值。以这种方式，通过使用二进制掩膜，可以全部或部分地消除或减少CT图像中示出例如立体定向头部架的部分(例如，图像619)，因为该头部架部分处于二进制掩膜之外。

然而，应当注意，图像转换系统400可以包括作为可选步骤的过程600。在一些实施方式中，图像转换系统400并非利用过程600的每个方面。例如，图像转换系统400可以使用所获取的图像直接训练预测模型。例如，如果图像不包含诸如头部架的图像特征，则可以不利用过程600。所公开的方法可以能够在不需要预处理的情况下训练预测模型以使其适应于训练图像。例如，图像转换系统400仍然可以使用基于未通过使用过程600中包括的功能进行预处理的训练原始图像和训练目标图像而训练的预测模型来生成高质量的合成图像。

在有或没有进行预处理的情况下，训练单元430均可以使用训练图像(包括训练原始图像和训练目标图像)来训练预测模型。具体地，预测模型可以是卷积神经网络(CNN)，其是一种已知类型的监督机器学习。卷积神经网络可以包括将输入变换为输出的不同层的堆叠。这些层的输入尺寸、输出尺寸以及层的输入与输出之间的关系可能不同。每个层可以连接至层的堆叠中的一个或更多个上游层和下游层。因此，卷积神经网络的性能可以取决于层的数量，并且卷积神经网络的复杂度可以随着层的数量的增加而增大。如果卷积神经网络具有多于一个阶段的非线性特征变换，这通常意味着网络中的层的数量在特定数量以上，则可以将该卷积神经网络视为“深的”。例如，一些卷积神经网络可以包括约10至30层，或者在一些情况下多于几百层。卷积神经网络模型的示例包括AlexNet、VGGNet、GoogLeNet、ResNet等。这些卷积神经网络模型被设计用于图像识别任务，并且在所公开的实施方式中，可以在完整卷积神经网络模型的编码部分处被使用。

图7A至图7E示出了示例性卷积神经网络模型的结构和各种组件。除其他的之外，卷积神经网络通常可以包括多个卷积层、去卷积层、池化(例如，下采样)层和上池化(例如，上采样)层。图7A示出了卷积神经网络的示例性卷积层的操作。这种卷积层可以被配置成利用一组可学习滤波函数来对卷积层的输入执行二维卷积或三维卷积。可学习滤波函数可以由权重矩阵W和偏移值b定义，其中，将在卷积运算期间将每个权重应用于图像像素。权重矩阵W和偏移b在需要在训练阶段期间学习的模型参数中。卷积层可以被配置成进一步对这些卷积的结果应用激活函数(activation function)。激活函数的非限制性示例包括修正线性单元函数、sigmoid函数(S型函数)、双曲正切函数或类似的非线性函数。滤波函数和激活函数的组合可以表示为：

h＝max(0，W*X+b) 式1

式1由两部分组成：可学习滤波函数W*X+b和激活函数max(0，·)。X可以是滤波函数W*X+b的输入。在一些实施方式中，X可以是二维的(例如，图像)或三维的(例如，图像的堆叠)。可以对该可学习滤波函数的输出应用激活函数max(0，·)以生成输出h。该输出或特征图可以指示输入中特征的重要性。激活函数max(0，·)可以是修正线性单元函数，其可以通过将卷积运算的负值归零来用作激活滤波器。在一些实施方式中，可以使用补零来确保h的空间尺寸等同于X的空间尺寸。作为非限制性示例，当X为1024x1024时，可以使用补零来确保h的空间尺寸也为1024x1024。在使用nxn滤波函数时，在X与滤波器进行卷积之前，可以向矩阵X的边缘添加n-1行(或列)零。作为非限制性示例，可学习滤波函数可以是3x3滤波器，在这种情况下，可以向X添加2行零和2列零。例如，可以向X的每个边缘添加一行零和一列零。

为了进行说明，图7A示出了对卷积层中的二维输入特征图的可学习滤波函数和激活函数的应用。这里，将示例性3x3滤波函数(包括权重矩阵711a和偏移值711b)和激活函数应用于示例性4x4输入特征图713a以生成4x4输出特征图713c。首先，可以用2行零和2列零来填补输入特征图713a，如补零715所示。这里，可以向输入特征图713a的每个边缘添加一列(或行)零。但是，如本领域技术人员将理解的，补零的量可以取决于权重矩阵711a的尺寸，并且所示的补零的特定量和布置并不意在是限制性的。在补零之后，输入特征图713a变为6x6，并且在其第n行第m列中可以具有值x^n,m(n,m＝1,2,...,6)。权重矩阵711a可以包含共9个权重，例如，滤波矩阵的第j行第k列中的权重为w^j,k。在所示的示例中，偏移值711b可以是单个偏移值。预测模型可以被配置成将权重矩阵711a与经补零的输入特征图713a进行卷积，其结果被示为中间图713b。为了执行卷积，在每个位置处，权重矩阵711a将会与经补零的输入特征图713a的3x3部分交叠。例如，如图7A所示，权重矩阵711a可以与以x^3,5为中心的3x3部分(卷积输入719a)交叠。可以将输入特征图713a的各个像素值与和其交叠的相应权重相乘，并且将相乘结果相加以导出中间图713b中的值h^2,4(卷积输出719b)。卷积层可以通过将中间图713b的每个元素与偏移值711b相加并且向每个得到的和应用激活函数max(0,·)来生成输出特征图713c。例如，如图7A所示，当偏移值711b与值h^2,4之和小于零时，激活函数输出719c可以将其调整为零。随着可学习滤波器滑动以与输入特征图713a的不同部分交叠，可以计算出输出特征图713c的其他值。

以类似的方式，卷积层可以将可学习滤波函数和激活函数应用于卷积层中的三维输入特征图。这里，权重矩阵可以是三维的。如在二维情况中那样，预测模型可以被配置成将权重矩阵与经补零的输入特征图进行卷积以生成中间图。但是在三维情况下，权重矩阵可以在每个位置处与经补零的输入特征图的体积交叠。例如，当输入特征图包括三个图像的堆叠时，权重矩阵可以为3x3x3并且可以在卷积运算期间与经补零的输入特征图的3x3x3体积交叠。如在二维情况中那样，可以将输入特征图的各个像素值与和其交叠的相应权重相乘，并且可以将相乘结果相加以导出三维中间图中的相应值。可以将该相应值与偏移值相加，并且可以对结果应用激活函数以生成三维输出特征图。

卷积神经网络可以包括具有一个或更多个卷积层的卷积层堆叠。在一些实施方式中，这些堆叠可以包括两个到五个卷积层。此外，不同的卷积层堆叠可以包括不同数量的卷积层。图7B示出了卷积层720、即示例性卷积层堆叠的操作。卷积层720可以被配置成接收特征图721a以及输出特征图721c。卷积层720可以包括卷积层723a和卷积层723b，卷积层723a可以被配置成使用特征图721a来生成特征图721b，卷积层723b可以被配置成使用特征图721b来生成特征图721c。可以预先确定特征图721a、特征图721b和特征图721c的每个中的特征图的数量。

在一些实施方式中，特征图721a可以包括对象的一个或更多个原始图像。例如，特征图721a可以包括使用造影剂生成的T1加权MRI图像、T2加权MRI图像以及MRI图像。作为另外的示例，特征图721a可以包括对象的2D图像堆叠中的不同切片。这些切片可以是相邻的。在各种实施方式中，特征图721a可以包括由预测模型的另外的组件生成的一个或更多个特征图的堆叠。例如，特征图721a可以包括由预测模型的前一卷积层生成的六十四个特征图的堆叠。

特征图721b可以包括由卷积层723a生成的特征图。在一些实施方式中，卷积层723a可以根据式1来生成这些特征图。例如，卷积层723a可以应用可学习滤波函数和激活函数来生成特征图721b中的每个特征图。每个可学习滤波函数可以由权重矩阵和偏移值来描述。权重矩阵和偏移的值是可以从卷积神经网络模型的训练阶段的数据中学习的可学习滤波器的参数。权重矩阵中的参数的数量可以取决于可学习滤波函数的空间尺寸和特征图721a中的特征图的数量。例如，当输入特征图721a包括l个特征图并且滤波函数的空间尺寸为m×n时，权重矩阵可以包括m×n×l个参数。当输出特征图721b包括k个特征图时，可以使用k个可学习滤波函数，并且因此，卷积层723a中的参数的总数量将是k×(m×n×l+1)个。如图7B所示，特征图721b和特征图721a中的特征图可以具有相同的空间尺寸。在各种实施方式中，特征图721a和特征图721b中的特征图的数量可以不同。例如，特征图721a可以包括三个特征图，而特征图721b可以包括更多或更少的特征图。

可以将特征图721b提供为生成特征图721c的下一卷积层723b的输入。与卷积层723a类似，卷积层723b可以根据式1生成这些特征图，包括应用一个或更多个可学习滤波函数和激活函数。此外，特征图721b和特征图721c中的特征图的数量可以相同，或者它们可以不同。例如，特征图721b可以包括64个特征图，而特征图721c可以包括128个特征图。

图7C示出了预测模型的示例性最大池化层和上池化层的操作。池化层可以从卷积层接收输入特征图并且对接收到的输入特征图进行下采样，从而生成具有减小的尺寸的输出特征图。该输出特征图与输入特征图相比可以具有更低的空间分辨率，并且然后，后继的卷积层可以学习与由在前的卷积层学习的具有更高空间分辨率的图像特征相比具有更大的空间范围或更大的空间不变性的图像特征。因此，预测模型可以使用池化层来帮助学习处于不同空间分辨率等级的特征，从而提高转换准确度。例如，池化层可以使用具有两个输入特征值的步幅的2x2窗口(即，非交叠窗口)来在每个维度上以两倍对特征图进行下采样。预期步幅可以不同并且所使用的窗口可以是任何其他合适的尺寸，例如3x3、4x4、8x8、16x16、32x32等。

在一些实施方式中，如图7C所示，池化层可以是最大池化层，其选择与池化窗口内的最大值相等的单个值。在图7C的示例中，池化窗口是2x2的窗口。设想了池化窗口的其他合适的尺寸。图7C描绘了池化层731a的一部分，其示出了池化窗口733a内的值。预测模型可以被配置成将池化窗口733a内的最大值(即，0.8)输出至下采样后的特征图735a中的对应位置，如连接池化层731a和下采样后的特征图735a的箭头所示。预测模型还可以被配置成存储池化层731a内的最大值的位置。例如，预测模型可以被配置成将这些位置存储在二进制掩膜737中，如连接池化层731a和二进制掩膜737的箭头所示。二进制掩膜737的尺寸可以与池化层731a的尺寸相同，并且可以指示在每个窗口中哪些输入特征具有最大值。二进制掩膜737中的像素值“1”(或“真”)可以指示池化层731a的对应像素包含窗口内的最大值，并且像素值“0”(或“假”)可以类似地指示特征图的对应像素不包含窗口内的最大值。如图7C所示，与池化窗口733a中的像素值0.3、0.6和0.1对应的二进制掩膜737的像素具有像素值“0”，因为那些像素值不是池化窗口733a中的最大像素值，而与池化窗口733a中的像素值0.8对应的二进制掩膜737的像素具有像素值“1”，因为0.8是池化窗口733a中的最大像素值。预测模型可以被配置成将关于最大值位置的该信息提供给上池化层，如连接二进制掩膜737和上池化层731b的箭头所示。

上池化层可以通过上采样来增大输入特征图的尺寸。该上采样可以增大特征图的空间分辨率，从而增大图像转换系统400准确描绘合成图像中的高分辨率细节的能力。在一些实施方式中，每个上池化层可以使用与在对应的池化层中使用的2x2池化窗口匹配的2x2的上池化窗口尺寸。因此，上池化层可以使特征图的尺寸在每个维度上增大一倍。设想了上池化窗口的其他合适的尺寸。

在一些实施方式中，如图7C所示，预测模型可以被配置成将上采样前的特征图735b中的像素值与上池化层731b中的像素值相关。如图7C所示，上采样前的特征图735b中的像素可以对应于上池化层731b中的上池化窗口733b。二进制掩膜还可以限定上采样前的特征图735b中的像素与上池化层731b中的像素之间的对应关系。该二进制掩膜可以是已经由对应的池化层生成的。例如，由对应的池化层731a生成的二进制掩膜737可以被上池化层731b使用。如上所述，二进制掩膜737可以指示池化层731a的哪些像素值被存储在下采样后的特征图735a中。如图7C所示，上采样前的特征图735b中具有像素值0.7的像素可以对应于上池化窗口733b中的右上像素，因为二进制掩膜737的对应部分的右上值具有值“1”。预测模型可以被配置成将上池化层731b中的该对应像素设定为上采样前的特征图735b中的像素的像素值，如连接上采样前的特征图735b和上池化层731b的箭头所示。上池化窗口733b的其余元素可以被设定为预定值，例如零。

图7D和图7E描绘了符合所公开的实施方式的神经网络700，其是供图像转换系统400使用的预测模型的示例性实现方式。神经网络700可以被配置成对由值的矩阵表示的数字图像进行转换，其中每个值对应于图像中的像素。矩阵的尺寸可以对应于图像的空间尺寸。例如，1024x1024的矩阵可以对应于空间尺寸为1024x1024的图像。表示原始图像的矩阵和生成的表示合成图像的矩阵可以具有相同的尺寸(或空间分辨率)。与以逐个像素为基础(一次针对矩阵的一个值)预测合成图像的常规方法不同，所公开的方法预测与原始图像具有相等空间尺寸的整个合成图像(一次针对矩阵的所有值)。

如本文所述，神经网络700可以包括输入741和输出751。在一些实施方式中，输入741和输出751的空间尺寸(或空间分辨率)可以是相同的。例如，输入741可以接收至少一个1024x1024像素的原始图像，而且输出751可以输出至少一个1024x1024像素的所计算的合成图像。然而，神经网络700也可以处理具有其他空间尺寸的图像数据。

神经网络700的输入741可以被配置成接受一个或更多个原始图像。在训练神经网络700转换3D图像时，在输入741接收到相邻图像的堆叠的情况下，可以增大神经网络700的准确度，因为相邻的2D图像可能包含依赖结构信息。依赖结构信息可以包括在相邻2D图像的堆叠中示出的解剖结构之间的空间依赖关系。这些空间依赖关系可以沿着与2D图像的解剖平面正交的轴。作为非限制性示例，由堆叠中的第一图像的第一像素组表示的解剖结构的形状和类型也可以由与该第一图像相邻的第二图像的第二像素组来表示。这是因为第一图像和第二图像沿着与解剖平面正交的轴在空间上彼此相邻。因此，这两个图像将具有关于这些图像所示的解剖结构的某种依赖性或连续性。因此，一个图像中的解剖结构的形状、尺寸和/或类型可以提供沿着相同平面的另外的相邻图像中的解剖结构的形状、尺寸和/或类型的附加信息。依赖结构信息的效果可以取决于各种因素，例如堆叠中的相邻图像的数目、图像中描绘的解剖结构和/或用来获得图像的成像模态。

在一些实施方式中，输入741还可以被配置成接收多通道MRI图像。例如，输入741的一个或更多个第一通道可以被配置成接收T1加权MRI图像，而且输入741的一个或更多个第二通道可以被配置成接收T2加权MRI图像。如本领域已知的，T1是纵向弛豫常数，而T2是横向弛豫常数，它们控制组织中受激发的质子恢复平衡态的速率。这些速率常数彼此不同而且因组织而异。取决于MRI成像参数，MRI图像中组织的对比度和亮度可以主要由T1速率常数(T1加权MRI图像)或T2速率常数(T2加权MRI图像)来确定。因此，T1加权MRI图像和T2加权MRI图像传达关于成像对象的不同信息。神经网络700可以被配置成使用通过使用T1加权MRI图像的第一通道和T2加权MRI图像的另一通道提供的附加信息来提高转换准确度。另外或替选地，通道可以专用于与本领域已知的其他组织参数(例如，自旋密度)相关联的图像，或者专用于使用造影剂获取的MRI图像。

如图7D和图7E所示，图像数据可以通过编码阶段740和解码阶段750从输入741流至输出751。编码阶段740可以被配置成从输入图像提取特征图。在一些实现方式中，编码阶段740可以不包括全连接层。全连接层通常是其中输入特征图的每个像素对输出特征图的每个像素都有贡献的层。如本领域所认识的，全连接层需要极大量的参数并且生成适合于图像分类任务的特征。这些特征在本申请中几乎没有益处，并且排除全连接层可以减少训练卷积神经网络所需的参数的数量。解码阶段750可以被配置成将从编码阶段740输出的特征图转换为与原始图像具有相同的空间分辨率的合成图像。

如图7D和图7E所示，神经网络700可以包括卷积层(例如，卷积层743a和卷积层753a)的堆叠、池化层(例如，池化层745a)和上池化层(例如，上池化层755a)。如图7A和图7B所述，卷积层的堆叠可以被配置成基于输入特征图(或原始图像)来生成输出特征图。如图7C所述，池化层可以被配置成对特征图进行下采样，而上池化层可以被配置成对特征图进行上采样。

如图7D和图7E所示，可以以具有不同空间分辨率等级的层级来布置神经网络700。图7D和图7E描绘了五个这样的等级，但神经网络700可以包括另外的等级或更少的等级。每个等级可以具有编码部和解码部(在所有等级之上组合的编码部和解码部包括编码阶段740和解码阶段750)。层级中的每个空间分辨率等级可以与特定空间尺寸的特征图相关联，这取决于输入图像的空间尺寸。除了最低等级之外，每个等级的编码部的输出均可以被提供给下一等级的编码部的输入。例如，最高等级上的卷积层743a的输出可以被提供给下一较低等级上的池化层745a的输入。除了最高等级之外，解码部的输出可以被提供给下一最高等级的解码部的输入。例如，倒数第二等级上的卷积层753d的输出可以被提供给下一较高等级上的上池化层755c的输入。

此外，编码阶段740中的一个或更多个层可以直接连接至解码阶段750中的对应层。例如，卷积层743a中的最后一层可以向解码阶段750输出一个或更多个特征图。这些特征图可以与上池化层755b的输出特征图组合(例如，堆叠)以生成对卷积层753b的输入。图7D和图7E示出了卷积层743a至卷积层743d分别与上池化层755a至上池化层755d之间的这种直接连接。在图7D和图7E中，所提供的特征图被示为上池化层755a至上池化层755d的虚线部分。编码阶段740与解码阶段750之间的直接连接可以使得在编码阶段740中学习的高分辨率特征能够在解码阶段750中被使用。这可以允许或提高解码阶段750生成更准确的合成图像的能力。这种直接连接还可以提高神经网络700的灵活度。例如，在通过直接连接提供的较高分辨率特征足以生成准确的合成图像的情况下，可以训练神经网络700以向较低空间分辨率特征分配很小的权重。

神经网络700的最高等级可以包括输入741、卷积层743a、上池化层755a、卷积层753a和输出层759。在一些实施方式中，卷积层743a、卷积层753a和输出层759可以是一个或更多个卷积层的堆叠。例如，卷积层743a和卷积层753a可以各自包括二到五个卷积层。替选地，输出层759可以包括单个卷积层。如针对图7A和图7B所讨论的那样，这些卷积层可以通过对其相应的输入特征图应用一个或更多个可学习滤波函数来生成输出特征图。例如，包括卷积层743a和卷积层753a的一个或更多个卷积层可以各自应用50个到100个(例如64个)可学习滤波函数来生成相应数量的输出特征图。

神经网络700的下一较低等级可以包括池化层745a、卷积层743b、上池化层755b和卷积层753b。在一些实施方式中，卷积层743b和卷积层753b可以是一个或更多个卷积层的堆叠。例如，卷积层743b和卷积层753b可以各自包括二到五个卷积层。如针对图7A和图7B所讨论的那样，这些卷积层可以通过对其相应的输入特征图应用一个或更多个可学习滤波函数来生成输出特征图。例如，包括卷积层743b和卷积层753b的一个或更多个卷积层可以各自应用100个到200个(例如128个)可学习滤波函数来生成相应数量的输出特征图。池化层745a可以对应于下一最高等级中的上池化层755a。例如，池化层745a可以被配置成生成指示其输入特征层中的最大值的位置的二进制掩膜，并将这些指示提供给上池化层755a。上池化层755a可以被配置成在对其输入特征图进行上采样时使用该二进制掩膜。

神经网络700的下一较低等级可以包括池化层745b、卷积层743c、上池化层755c和卷积层753c。在一些实施方式中，卷积层743c和卷积层753c可以是一个或更多个卷积层的堆叠。例如，卷积层743c和卷积层753c可以各自包括二到六个卷积层。如针对图7A和图7B所讨论的那样，这些卷积层可以通过对其相应的输入特征图应用一个或更多个可学习滤波函数来生成输出特征图。例如，包括卷积层743c和卷积层753c的一个或更多个卷积层可以各自应用150个到300个(例如256个)可学习滤波函数来生成相应数量的输出特征图。池化层745b可以对应于下一最高等级中的上池化层755b。例如，池化层745b可以被配置成生成对其输入特征图中的最大值的位置的指示，并将这些指示提供给上池化层755b。上池化层755b可以被配置成在对特征图进行上采样时使用这些指示。

神经网络700的下一较低等级可以包括池化层745c、卷积层743d、上池化层755d和卷积层753d。在一些实施方式中，卷积层743d和卷积层753d可以是一个或更多个卷积层的堆叠。例如，卷积层743d和卷积层753d可以各自包括二到六个卷积层。如针对图7A和图7B所讨论的那样，这些卷积层可以通过对其相应的输入特征图应用一个或更多个可学习滤波函数来生成输出特征图。例如，包括卷积层743d和卷积层753d的一个或更多个卷积层可以各自应用300个到600个(例如512个)可学习滤波函数来生成相应数量的输出特征图。池化层745c可以对应于下一最高等级中的上池化层755c。例如，池化层745c可以被配置成生成对其输入特征层中的最大值的位置的指示，并将这些指示提供给上池化层755c。上池化层755c可以被配置成在对特征图进行上采样时使用这些指示。

神经网络700的最低等级可以包括池化层745d、卷积层743e和卷积层753e。在一些实施方式中，卷积层743e和卷积层753e可以是卷积层的堆叠。例如，卷积层743e和卷积层753e可以各自包括二到五个卷积层。如针对图7A和图7B所讨论的那样，这些卷积层可以通过对其相应的输入特征图应用一个或更多个可学习滤波函数来生成输出特征图。例如，包括卷积层743e和卷积层753e的一个或更多个卷积层可以各自应用800个到1200个(例如1024个)可学习滤波函数来生成相应数量的输出特征图。池化层745d可以对应于下一最高等级中的上池化层755d。例如，池化层745d可以被配置成生成对其输入特征层中的最大值的位置的指示，并将这些指示提供给上池化层755d。上池化层755d可以被配置成在对特征图进行上采样时使用这些指示。

如针对图7D和图7E所描述的那样，可以将一个或更多个原始图像(例如，原始图像761)提供为对神经网络700的输入741。神经网络700可以被配置成使输入741传递通过编码阶段740和解码阶段750，以生成一个或更多个目标图像(例如，目标图像769)作为输出751。图7F描绘了在编码和解码过程的步骤期间由神经网络700的选定层生成的示例性特征图。具体地，图7F描绘了在编码阶段740的每个步骤期间生成的特征图，从原始图像761开始并以特征图763e结束。如图所示，在编码阶段期间这些示例性特征图的相对空间尺寸减小(为了便于理解而提供了特征图763d和特征图763e的放大版本)。这些特征图还描绘了每个图中的特征的增大的空间范围以及每个图的减小的空间分辨率。图7E还描绘了在解码阶段750的每个步骤期间生成的特征图，从特征图773e开始并以目标图像779结束。如图所示，在解码阶段期间这些示例性特征图的相对空间尺寸增大(为了便于理解而提供了特征图773e和特征图773d的放大版本)。这些特征图还描绘了每个图中的特征的减小的空间范围以及每个图的增大的空间分辨率。

作为第一编码步骤，卷积层743a可以被配置成接收一个或更多个原始图像并生成特征图。如以上针对图7C所描述的，卷积层743a可以包括一个或更多个卷积层的堆叠。在一些实施方式中，卷积层743a可以被配置成接收一个或更多个原始图像，例如原始图像761，以及输出特征图，例如特征图763a。如上所述，所公开的系统和方法不限于具有特定空间尺寸的图像。例如，在一些实施方式中，一个或更多个原始图像的空间尺寸可以大于128x128像素，例如，1024x1024像素。在一些实施方式中，一个或更多个原始图像可以包括至少一个使用造影剂生成的T1加权MRI图像、T2加权MRI图像和MRI图像。作为另外的示例，一个或更多个原始图像可以包括2D图像堆叠中的不同切片。在一些实施方式中，卷积层743a可以被配置成将特征图输出至编码阶段740的下一较低等级。编码阶段740的该下一较低等级可以包括池化层745a和卷积层743b。卷积层743a也可以被配置成将特征图直接输出至解码阶段750。

作为第二编码步骤，池化层745a可以被配置成对从卷积层743a接收到的特征图进行下采样，从而生成具有较小空间尺寸的经下采样的特征图。卷积层743b可以被配置成接收这些经下采样的特征图，并且生成输出特征图，例如，特征图763b。如图所示，特征图763b与特征图763a相比可以具有更小的空间尺寸。在一些方面，特征图763b的空间尺寸在至少一个维度上可以是特征图763a的空间尺寸的一半。在一些实施方式中，卷积层743b可以被配置成将特征图输出至编码阶段740的下一较低等级。编码阶段740的该下一较低等级可以包括池化层745b和卷积层743c。卷积层743b也可以被配置成将输出特征图直接提供给解码阶段750。

作为第三编码步骤，池化层745b可以被配置成对从卷积层743b接收到的特征图进行下采样，从而生成具有较小空间尺寸的经下采样的特征图。卷积层743c可以被配置成接收这些经下采样的特征图并且生成输出特征图，例如，特征图763c。如图所示，特征图763c与特征图763b相比可以具有更小的空间尺寸。在一些方面，特征图763c的空间尺寸在至少一个维度上可以是特征图763b的空间尺寸的一半。在一些实施方式中，卷积层743c可以被配置成将特征图输出至编码阶段740的下一较低等级。编码阶段740的该下一较低等级可以包括池化层745c和卷积层743d。卷积层743c也可以被配置成将输出特征图直接提供给解码阶段750。

作为第四编码步骤，池化层745c可以被配置成对从卷积层743c接收的特征图进行下采样，从而生成具有较小空间尺寸的经下采样的特征图。卷积层743d可以被配置成接收这些经下采样的特征图并且生成输出特征图，例如，特征图763d。如图所示，特征图763d与特征图763c相比可以具有更小的空间尺寸。在一些方面，特征图763d的空间尺寸在至少一个维度上可以是特征图763c的空间尺寸的一半。在一些实施方式中，卷积层743d可以被配置成将特征图输出至编码阶段740的最低等级。编码阶段740的该最低等级可以包括池化层745d和卷积层743e。卷积层743d也可以被配置成将输出特征图直接提供给解码阶段750。

作为第五编码步骤，池化层745d可以被配置成对从卷积层743d接收的特征图进行下采样，从而生成具有较小空间尺寸的经下采样的特征图。卷积层743e可以被配置成接收这些经下采样的特征图并且生成输出特征图，例如，特征图763e。如图所示，特征图763e与特征图763d相比可以具有更小的空间尺寸。在一些方面，特征图763e的空间尺寸在至少一个维度上可以是特征图763d的空间尺寸的一半。在一些实施方式中，卷积层743e可以被配置成将这些输出特征图提供给编码阶段750的最低等级。

在第一解码步骤中，卷积层753e可以被配置成使用从卷积层743e接收的特征图来生成输出特征图，例如，特征图773e。在一些实施方式中，卷积层753e可以被配置成将这些输出特征图提供给解码阶段750的较高等级。解码阶段750的该较高等级可以包括上池化层755d和卷积层753d。

在第二解码步骤中，上池化层755d可以被配置成对从卷积层753e接收到的特征图进行上采样，从而生成具有增大的空间尺寸的经上采样的特征图。如以上针对图7C所描述的，上池化层755d可以使用由池化层745d生成的二进制掩膜来将从卷积层753e接收到的特征图中的值分配给对应的经上采样的特征图。卷积层753d可以被配置成使用从上池化层755d接收的经上采样的特征图来生成输出特征图，例如，特征图773d。在一些方面，卷积层753d也可以使用从卷积层743d接收的特征图来生成输出特征图。例如，卷积层753d可以被配置成对包括从卷积层743d接收到的特征图和从上池化层755d接收到的经上采样的特征图的特征图堆叠应用一个或更多个可学习滤波函数。在一些实施方式中，由卷积层753d生成的输出特征图可以被卷积层753d提供给解码阶段750的较高等级。解码阶段750的该较高等级可以包括上池化层755c和卷积层753c。

在第三解码步骤中，上池化层755c可以被配置成对从卷积层753d接收到的特征图进行上采样，从而生成具有增大的空间尺寸的经上采样的特征图。如以上针对图7C所描述的，上池化层755c可以使用由池化层745c生成的二进制掩膜来将从卷积层753d接收到的特征图中的值分配给对应的经上采样的特征图。卷积层753c可以被配置成使用从上池化层755c接收的经上采样的特征图来生成输出特征图，例如，特征图773c。在一些方面，卷积层753c也可以使用从卷积层743c接收的特征图来生成输出特征图。例如，卷积层753c可以被配置成对包括从卷积层743c接收到的特征图和从上池化层755c接收到的经上采样的特征图的特征图堆叠应用一个或更多个可学习滤波函数。在一些实施方式中，由卷积层753c生成的输出特征图可以被卷积层753c提供给解码阶段750的较高等级。解码阶段750的该较高等级可以包括上池化层755b和卷积层753b。

在第四解码步骤中，上池化层755b可以被配置成对从卷积层753c接收的特征图进行上采样，从而生成具有增大的空间尺寸的经上采样的特征图。如以上针对图7C所描述的，上池化层755b可以使用由池化层745b生成的二进制掩膜来将从卷积层753c接收的特征图中的值分配给对应的经上采样的特征图。卷积层753b可以被配置成使用从上池化层755b接收的经上采样的特征图来生成输出特征图，例如，特征图773b。在一些方面，卷积层753b也可以使用从卷积层743b接收到的特征图来生成输出特征图。例如，卷积层753b可以被配置成向包括从卷积层743b接收到的特征图和从上池化层755b接收到的经上采样的特征图的特征图堆叠应用一个或更多个可学习滤波函数。在一些实施方式中，由卷积层753b生成的输出特征图可以被卷积层753b提供给解码阶段750的最高等级。解码阶段750的该最高等级可以包括上池化层755a、卷积层753a和输出层759。

在第五解码步骤中，上池化层755a可以被配置成对从卷积层753b接收的特征图进行上采样，从而生成具有增大的空间尺寸的经上采样的特征图。如以上针对图7C所描述的，上池化层755a可以使用由池化层745a生成的二进制掩膜来将从卷积层753b接收的特征图中的值分配给对应的经上采样的特征图。卷积层753a可以被配置成使用从上池化层755a接收的经上采样的特征图来生成输出特征图，例如，特征图773a。在一些方面，卷积层753a也可以使用从卷积层743a接收的特征图来生成输出特征图。例如，卷积层753a可以被配置成对包括从卷积层743a接收到的特征图和从上池化层755a接收到的经上采样的特征图的特征图堆叠应用一个或更多个可学习滤波函数。在一些实施方式中，输出层759可以被配置成使用从卷积层753a接收的输出特征图来生成至少一个目标图像，例如目标图像779。在一些实施方式中，该至少一个目标图像可以被提供给输出751。

在图7D和图7E所示的示例性实施方式中，神经网络700可以包括27个卷积层，其具有超过3000万个用于转换三通道图像的参数。该示例性布置并不意在是限制性的。例如，神经网络700中的在编码阶段740与解码阶段750之间的层的数量可以在大约10到几百(例如，500)的范围内。随着层的数量增加，模型参数的数量也会增加，从而提供更好的预测准确度。然而，大量的层也可能导致计算成本增加，尤其是在训练阶段期间。随着处理器的计算能力的提高，合适的层的数量可能会改变。类似地，神经网络700可以包括更多或更少的空间分辨率等级。在一些实施方式中，可以使用不同数量的输入通道，或者可以使用不同的图像尺寸。

图8是示出符合所公开的实施方式的用于训练神经网络700的示例性训练过程800的流程图。在一些实施方式中，训练过程800可以由上述训练单元430执行以学习神经网络700的模型参数θ＝{W₁，b₁，W₂，b₂，…}。训练过程800可以在训练单元430接收到训练图像组(步骤810)时开始。如上所述，该训练图像组可以包括使用第一成像模态获取的一个或更多个原始图像和使用第二成像模态获取的对应的目标图像。例如，训练图像可以包括患者的例如头部、躯干、腹部和/或肢体的解剖区域的单通道MRI图像或多通道MRI图像。在一些实施方式中，可以通过CT扫描来获取患者的同一解剖区域或类似解剖区域的对应的目标图像。

如图8所示，在步骤812中，训练单元430可以对预测模型进行初始化。例如，训练单元430可以将用于训练CNN模型的迭代指数初始化为例如零。在一些实施方式中，训练单元430还可以对神经网络700的参数进行初始化。例如，可以将卷积层权重初始化为随机值，以及/或者可以将卷积层偏置初始化为零。在一些实施方式中，训练单元430可以使用来自训练前的模型的参数来对编码阶段730的参数进行初始化。例如，训练单元430可以从被训练用于例如图像分类的其他任务的模型借用权重。这可以使得图像转换系统400能够利用神经网络的传递学习特性来加快可接受解的收敛。

可以迭代地执行步骤814至步骤822，直到满足一个或更多个停止标准(例如，迭代过程根据预定标准收敛)。在每次迭代时，可以随机选择新一批的训练数据，并使用其来训练CNN模型，直到达到最大迭代次数。在一些实施方式中，每批可以包括30至60组训练图像。例如，每批可以包括大约50对原始图像和目标图像。

在步骤814中，训练单元430可以被配置成选择一批训练数据。在一些实施方式中，可以从存储在数据库410中的训练数据中随机选择该训练数据。训练单元430可以可选地被配置成对训练数据进行预处理。例如，与上述过程600一致，训练单元430可以被配置成从数据库410接收一个或更多个训练图像412并且对其进行处理以去除某些图像特征。在步骤816中，训练单元430可以被配置成针对每组训练图像根据神经网络700的当前参数来计算合成图像。在步骤818中，训练单元430可以被配置成基于所计算的合成图像和训练数据来生成误差图(例如，如以上针对图2所描述的)。例如，当训练数据包括原始图像和对应的目标图像时，训练单元430可以被配置成生成作为合成图像与目标图像之间的差异的误差图。

在步骤820中，训练单元430可以被配置成基于由步骤818生成的误差图来确定或更新神经网络700的参数。例如，可以使用本领域技术人员已知的反向传播算法来确定或更新神经网络700的参数。在一些实施方式中，反向传播算法可以被配置成针对神经网络700的参数使损失函数最小化。例如，反向传播算法可以更新模型参数θ＝(θ₁，θ₂，…，θ_L)以减小损失函数的值。本领域技术人员将熟悉训练单元430可以实现的各种损失函数，例如模型预测的平均绝对误差(MAE)，其可以被确定如下：

其中，y_i(θ)指示在合成图像的每个体素处计算的CT强度值，z_i表示目标图像的每个体素处的CT强度值(例如，真值)，n是图像体素的总数量，以及E(θ)表示MAE。使用MAE作为损失函数可以改善学习，使得学习过程对训练数据中的例如噪声和伪像的异常值具有鲁棒性。替选地，训练单元430可以被配置成使用模型预测的均方误差(MSE)，其可以被确定如下：

这里，E(θ)表示MSE。

反向传播算法可以用于针对例如卷积滤波器的权重W_k和偏移值b的模型参数(θ)计算损失函数的梯度。于是，可以通过使用随机梯度下降算法迭代地更新模型参数。在一些实施方式中，可以在每个卷积层之后执行批量规范化以减小内部协变移位(internalcovariant shift)。

还可以在模型训练期间执行简单的数据扩充以人为地增加训练数据的数量。在这样的数据扩充中，可以通过针对每对MR图像和CT图像在每个空间维度上进行像素的随机平移或图像的翻转来创建新的成对的原始图像和目标图像。通过使用这样的数据扩充，符合本公开的示例性实施方式可以增加训练数据的量并因此在训练单元430内生成经更高程度训练的预测模型，从而使得通过该模型生成更准确的合成图像。

在步骤822中，训练单元430可以被配置成确定是否已满足停止标准。可以使用各种停止标准，例如预定的最大迭代次数或预定的图像质量度量(例如，指示估计合成图像与目标图像之间的差异足够小的损失函数值)。例如，训练单元430可以被配置成确定指数是否等于或大于预定的最大迭代次数。另外或替选地，训练单元430可以被配置成例如通过确定损失函数是否小于特定阈值标准，来确定合成图像的准确度是否满足或超过预期的准确度。如果训练单元430确定尚未满足停止标准，则训练过程800可以返回到步骤814。如果训练单元430确定已经满足停止标准，则训练过程800可以前进到步骤824。在步骤824中，训练单元430可以被配置成存储神经网络700的更新版本以供图像转换单元440稍后使用。

图9A是示出根据本公开的一些实施方式的使用通过图8中的过程800获得的经训练的卷积神经网络(例如，神经网络700)的示例性图像转换过程900A的流程图。图像转换过程900A可以由图像转换单元440执行。在实施方式中，图像转换单元440可以被配置成根据使用与训练图像相同的成像模态获取的原始图像来生成合成图像。例如，在基于MRI图像训练神经网络700的情况下，图像转换单元440可以被配置成基于MRI图像来生成合成图像。类似地，在基于单通道MRI图像训练神经网络700的情况下，图像转换单元440可以被配置成使用相同类型的单通道MRI图像(例如，T1加权图像)。在基于多通道MRI图像训练神经网络700的情况下，图像转换单元440可以被配置成使用相同类型的多通道MRI图像。

如图9A所示，过程900A可以在图像转换单元440在步骤912中接收到一个或更多个原始图像时开始。在一些方面，图像转换单元440可以被配置成从图像数据库420、图像转换系统400的另外的组件或者另外的系统接收一个或更多个原始图像。在步骤914中，图像转换单元440可以可选地被配置成与上述过程600一致地对一个或更多个原始图像进行预处理，以去除与原始图像相关联的伪像，以便提高转换过程的准确度。

在步骤918中，图像转换单元440可以被配置成接收神经网络700。在一些方面，可以从训练单元430、图像转换系统400的另外的组件或者另外的系统接收神经网络700。在步骤920中，图像转换单元440可以被配置成使用神经网络700来计算一个或更多个合成图像。然后，在步骤922中，图像转换单元440可以输出一个或更多个合成图像。输出可以包括显示一个或更多个合成图像的表示以供进一步分析或观察、将一个或更多个合成图像存储在非暂态介质中或者将一个或更多个合成图像提供给计算机进程、程序和/或应用。非暂态介质以及计算机进程、程序和/或应用程序可以在远程系统上。

可以执行过程900A以对2D原始图像和3D原始图像两者进行转换。在转换3D图像的情况下，可以修改神经网络700以生成3D合成图像。如上所述，神经网络700的输入731可以被配置成接受从3D原始图像中选择的相邻2D图像的堆叠。类似地，神经网络700的输出层749可以被配置成生成对应数量的相邻合成图像，这些图像可以被组合成3D合成图像。在一些实施方式中，3D原始图像可以被划分成2D原始图像的堆叠。在一些实施方式中，原始图像的堆叠可以交叠。例如，第一堆叠可以包括第一至第三图像切片，第二堆叠可以包括第二至第四图像切片，以及第三堆叠可以包括第三至第五图像切片。然后，图像转换单元440可以被配置成将这些原始图像的堆叠转换为对应的合成图像的堆叠。例如，当图像堆叠包括三个图像时，图像转换单元440可以被配置成还生成与堆叠中的三个原始图像中的每个对应的三个合成图像。与原始图像的堆叠一致，合成图像的堆叠也可以交叠。因此，对于3D合成图像中的给定切片，可以生成多个2D合成图像。这些多个合成图像可以被融合以导出切片的一个合成图像。可以使用各种规则来进行融合。例如，可以对多个图像求平均或者可以使用中间值等。

图9B描绘了示出符合所公开的实施方式的3D图像转换过程900B的示例性流程图。在一些实施方式中，过程900B可以由图像转换单元440执行。在步骤928中，过程900B通过使图像转换单元440被配置成接收一个或更多个3D原始图像而开始。可以从图像数据库420或者从图像转换系统400的另外的组件接收3D图像。3D图像可以包括患者的头部、躯干、腹部、肢体或任何其他解剖区域的部分或全部的图像。

在步骤930中，图像转换单元440可以被配置成选择所接收的3D原始图像的解剖平面。在步骤932中，图像转换单元440可以被配置成基于所接收的3D图像和所选择的平面来生成2D原始图像的一个或更多个堆叠。例如，图像转换单元440可以被配置成在包括轴向平面、矢状平面和冠状平面的三个解剖平面中进行选择。图像转换单元440可以被配置成沿着所选择的解剖平面从所接收的3D原始图像生成2D原始图像。在一些方面，图像转换单元440可以被配置成生成一系列单独的原始图像或者原始图像的一系列堆叠。

在步骤934中，图像转换单元440可以被配置成接收神经网络(例如，神经网络700)。所接收的神经网络可以对应于所选择的解剖平面。例如，可能已经利用沿着所选择的解剖平面的图像(或者图像的堆叠)对所接收的神经网络进行了训练。沿着所选择的解剖平面的这种图像(或者图像的堆叠)可以共同包括针对与所选择的解剖平面正交的轴的依赖结构信息。由于已经使用沿着所选择的解剖平面的图像对所接收的神经网络进行了训练，因此该神经网络可以能够使用该依赖结构信息来提高转换效率。例如，所接收的神经网络的参数或权重可以反映该依赖结构信息。响应于所选择的解剖平面的变化(例如，从矢状变为冠状)，图像转换单元440可以被配置成接收与新选择的解剖平面对应的另外的神经网络。例如，图像转换单元440可以根据所选择的平面来接收轴向神经网络、冠状神经网络或矢状神经网络。正如先前接收的神经网络能够使用针对与先前选择的解剖平面正交的轴的依赖结构信息来提高转换效率一样，新接收的神经网络可以能够使用针对与新选择的解剖平面正交的轴的依赖结构信息来提高转换效率。在一些实施方式中，图像转换单元440可以被配置成接收利用沿着多个平面的图像(或者图像的堆叠)(例如，多个解剖平面，使得堆叠可以包括冠状图像、矢状图像；或者堆叠可以包括轴向图像和矢状图像等)被训练的神经网络。因此，图像转换单元440可以被配置成使用该神经网络，根据沿着任一所选择的解剖平面或多个解剖平面的原始图像生成合成图像。

在步骤936中，图像转换单元440可以被配置成使用所接收的神经网络来生成相应的合成图像或者合成图像的堆叠。如上所述，可以使用利用沿着特定解剖平面的图像(或者图像的堆叠)被训练的神经网络来提高转换效率，因为这些网络可以使用特定于该特定解剖平面的依赖结构信息。图像转换单元440可以重复步骤936直到所有选择的原始图像或者所选择的原始图像的堆叠已被转换为合成图像。

在一些实施方式中，图像转换单元440可以在步骤934之后执行步骤930。例如，由图像转换单元440接收的经训练的神经网络可以是使用沿着多个平面(例如，所有三个平面)的2D原始图像训练的。在这种情况下，图像转换单元440可以被配置成迭代地选择不同平面中的每个并生成沿着所选择的平面的2D原始图像。这些沿着三个平面的2D原始图像可以被独立地输入至神经网络700以生成沿着各个平面的合成图像。例如，轴向2D原始图像可以被输入至输出轴向合成图像的神经网络700中。矢状2D原始图像可以被输入至得到矢状合成图像的神经网络700中。最后，冠状2D原始图像可以被输入至得到冠状合成图像的神经网络700中。替选地，可以将所有三个平面的2D原始图像组合成单个序列(例如，轴向2D原始图像，接着是矢状2D原始图像，然后接着是冠状2D原始图像)，并且将该序列输入至使用根据这三个平面堆叠的图像进行训练的同一神经网络700。

在步骤938中，图像转换单元440可以被配置成将得到的2D合成图像聚合成3D合成图像。这种聚合可以包括沿着与所选择的平面正交的轴对合成图像进行堆叠以获得3D合成图像。

在步骤940中，图像转换单元440可以确定是否已经处理了3D原始图像的所有平面。例如，图像转换单元440可以继续处理每个平面，直到已经处理了预定义的3D图像体积。替选地，图像转换单元440可以继续进行处理直到已经处理了预定数量的2D平面图像。如果基于步骤940中使用的标准已经处理了所有平面，则过程900B继续进行到步骤942。如果有平面尚未被处理，则图像转换单元440可以被配置成返回到步骤930并选择另外的图像平面以进行处理。

因为每个平面的3D合成图像均会向3D图像中的任何给定像素提供像素值，因此每个像素可能具有三个不同的像素值。因此，可以对3D合成图像进行组合以确定最终的3D合成图像。在步骤942中，图像转换单元440可以被配置成确定最终的3D合成图像。图像转换单元440可以被配置成通过组合(例如，如本领域中已知的“融合”)与每个所选择的平面(例如，轴向平面、矢状平面和冠状平面)对应的3D合成图像来确定最终的3D合成图像。在一些实施方式中，融合的3D合成图像的体素的值可以是平均值。例如，如果三个融合的3D合成图像的CT值分别为70、80和30，则体素可以具有平均CT值60。作为另外的示例，可以使用中间体素值，例如以上示例中的70。可以使用其他组合体素值的方法，并且以上示例并不意在是限制性的。以这种方式，特定于每个解剖平面的依赖结构信息可以并入最终的3D合成图像中。

另外，本公开还可以配置如下：

方案1.一种计算机实现的方法，所述方法用于基于由成像装置使用第一成像模态获取的解剖部分的原始图像来生成所述解剖部分的合成图像，所述方法包括：

接收由所述成像装置使用所述第一成像模态获取的所述解剖部分的所述原始图像；

接收被训练以用于基于所述原始图像来预测所述合成图像的卷积神经网络模型；以及

由至少一个处理器通过所述卷积神经网络模型将所述原始图像转换为所述合成图像，所述合成图像类似于对所述解剖部分的第二成像模态描绘，其中，所述第二成像模态不同于所述第一成像模态。

方案2.根据方案1所述的方法，其中，所述第一成像模态是磁共振成像，并且所述第二成像模态是计算机断层扫描。

方案3.根据方案1所述的方法，其中，所述第一成像模态和所述第二成像模态选自下述组中：磁共振成像、计算机断层扫描、超声成像、正电子发射断层扫描以及单光子发射计算机断层扫描。

方案4.根据方案1所述的方法，还包括：

接收使用所述第一成像模态获取的多个训练原始图像；

接收使用所述第二成像模态获取的多个训练目标图像，每个训练目标图像与训练原始图像对应；

确定卷积神经网络架构；以及

使用所述训练原始图像和对应的训练目标图像来训练所述卷积神经网络模型。

方案5.根据方案1所述的方法，其中，所述原始图像是二维图像，并且所述合成图像是二维图像。

方案6.根据方案1所述的方法，其中，所述原始图像包括二维图像的堆叠，并且所述合成图像包括对应的二维图像的堆叠。

方案7.根据方案1所述的方法，其中，所述原始图像是三维体积，并且所述合成图像是三维体积。

方案8.根据方案1所述的方法，其中，所述原始图像是三维图像，并且其中，生成所述合成图像还包括：

从所述三维图像选择相邻二维图像的多个堆叠；

使用所述卷积神经网络模型将相邻二维图像的每个堆叠转换为合成二维图像的堆叠；以及

由所述至少一个处理器通过聚合所述合成二维图像的堆叠来确定所述合成图像。

方案9.根据方案1所述的方法，其中，所述原始图像是三维图像，并且其中，生成所述合成图像还包括：

根据所述三维图像的第一平面创建二维图像的第一堆叠，并且根据所述三维图像的第二平面创建二维图像的第二堆叠；

使用所述卷积神经网络模型将所述二维图像的第一堆叠和所述二维图像的第二堆叠转换为合成二维图像的第一堆叠和合成二维图像的第二堆叠；以及

通过聚合所述合成二维图像的第一堆叠和所述合成二维图像的第二堆叠来确定所述合成图像。

方案10.根据方案1所述的方法，其中，所述原始图像包括使用所述成像装置的不同获取通道或者不同获取设置获取的所述解剖部分的多通道图像。

方案11.根据方案4所述的方法，其中，训练所述卷积神经网络模型还包括：

使用所述卷积神经网络模型将所述训练原始图像转换为合成图像；

确定所述合成图像与所述对应的训练目标图像之间的差异；以及

基于所述差异来更新所述卷积神经网络模型的模型参数集。

方案12.根据方案11所述的方法，其中，在所述合成图像与所述目标图像之间的差异小于预定阈值的情况下，完成所述训练。

方案13.根据方案11所述的方法，其中，通过基于所述合成图像和所述目标图像计算的损失函数来度量所述差异。

方案14.一种系统，所述系统用于基于由成像装置使用第一成像模态获取的解剖部分的原始图像来生成所述解剖部分的合成图像，所述系统包括：

输入接口，所述输入接口被配置成：

接收由所述成像装置使用所述第一成像模态获取的所述解剖部分的所述原始图像；以及

接收被训练以用于基于所述原始图像来预测所述合成图像的卷积神经网络模型；

至少一个存储装置，其被配置成存储所述原始图像和所述卷积神经网络模型；以及

图像处理器，其被配置成通过所述卷积神经网络模型将所述原始图像转换为所述合成图像，所述合成图像类似于对所述解剖部分的第二成像模态描绘，其中，所述第二成像模态不同于所述第一成像模态。

方案15.根据方案14所述的系统，其中，所述原始图像包括使用所述成像装置的不同获取通道或者不同获取设置获取的所述解剖部分的多通道图像。

方案16.根据方案14所述的系统，其中，所述第一成像模态是磁共振成像，并且所述第二成像模态是计算机断层扫描。

方案17.根据方案14所述的系统，其中，所述第一成像模态和所述第二成像模态选自下述组中：磁共振成像、计算机断层扫描、超声成像、正电子发射断层扫描以及单光子发射计算机断层扫描。

方案18.根据方案14所述的系统，其中，所述输入接口还被配置成：

接收使用所述第一成像模态获取的多个训练原始图像；

接收使用所述第二成像模态获取的多个训练目标图像，每个训练目标图像与训练原始图像对应；以及

其中，所述图像处理器还被配置成：

使用所述训练原始图像和对应的训练目标图像来训练所述卷积神经网络模型。

方案19.根据方案14所述的系统，其中，所述原始图像是二维图像，并且所述合成图像是二维图像。

方案20.根据方案14所述的系统，其中，所述原始图像包括二维图像的堆叠，并且所述合成图像包括对应的二维图像的堆叠。

方案21.根据方案14所述的系统，其中，所述原始图像是三维体积，并且所述合成图像是三维体积。

方案22.根据方案14所述的系统，其中，所述原始图像是3D图像，其中，所述图像处理器还被配置成：

从所述3D图像选择相邻二维图像的多个堆叠；

使用所述卷积神经网络模型将相邻二维图像的每个堆叠转换为合成二维图像的堆叠；以及

通过聚合所述合成二维图像的堆叠来确定所述合成图像。

方案23.一种包含指令的非暂态计算机可读介质，所述指令在由至少一个处理器执行时使得所述至少一个处理器执行如下方法，所述方法用于基于由成像装置使用第一成像模态获取的解剖部分的原始图像来生成所述解剖部分的合成图像，所述方法包括：

接收由所述成像装置使用所述第一成像模态获取的所述解剖部分的所述原始图像；

接收被训练以用于基于所述原始图像来预测所述合成图像的卷积神经网络模型；以及

通过所述卷积神经网络模型将所述原始图像转换为所述合成图像，所述合成图像类似于对所述解剖部分的第二成像模态描绘，其中，所述第二成像模态不同于所述第一成像模态。

方案24.根据方案23所述的非暂态计算机可读介质，还包括：

接收使用所述第一成像模态获取的多个训练原始图像；

接收使用所述第二成像模态获取的多个训练目标图像，每个训练目标图像与训练原始图像对应；

确定卷积神经网络架构；以及

使用所述训练原始图像和对应的训练目标图像来训练所述卷积神经网络模型。

方案25.根据方案23所述的非暂态计算机可读介质，其中，所述原始图像是三维图像，其中，生成所述合成图像还包括：

从所述三维图像选择相邻二维图像的多个堆叠；

使用所述卷积神经网络模型将相邻二维图像的每个堆叠转换为合成二维图像的堆叠；以及

由所述至少一个处理器通过聚合所述合成二维图像的堆叠来确定所述合成图像。

本文描述了各种操作或功能，这些操作或功能可以被实现或定义为软件代码或指令。这样的内容可以是能够直接执行的(“对象”或“可执行”形式)、源代码或差异代码(“增量”代码或“补丁”代码)。本文描述的实施方式的软件实现方式可以经由其上存储有代码或指令的制品来提供，或者经由操作通信接口以通过通信接口发送数据的方法来提供。

机器可读存储介质或计算机可读存储介质可以包括一个或更多个非暂态介质(例如，集中式数据库或分布式数据库，和/或相关联的高速缓冲存储器和服务器)。这样的机器可读存储介质或计算机可读存储介质可以存储可以使机器执行所描述的功能或操作的计算机可执行指令或数据。这样的机器可读存储介质或计算机可读存储介质可以包括以机器(例如，计算装置、电子系统等)可访问的形式存储信息的任何机构，例如可记录/非可记录介质(例如只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存装置等)。例如，术语“机器可读存储介质”或“计算机可读存储介质”因此应被视为包括但不限于固态存储器、光学介质和磁介质。

通信接口包括与硬连线的、无线的、光学的等的任何介质接合以与另外的装置进行通信的任何机构，例如存储器总线接口、处理器总线接口、因特网连接、磁盘控制器等。可以通过提供配置参数和/或发送信号来配置通信接口，以准备通信接口来提供描述软件内容的数据信号。可以经由发送至通信接口的一个或更多个命令或信号来访问通信接口。

Claims (24)

1.一种计算机实现的方法，所述方法用于生成人类主体的解剖部分的合成成像数据，所述方法包括：

接收所述人类主体的解剖部分的原始成像数据，所述原始成像数据是由成像装置使用第一成像模态获取的，并且所述原始成像数据包括提供所述解剖部分的第一成像模态描绘的多个图像；

接收被训练以用于基于所述原始成像数据来预测所述合成成像数据的卷积神经网络模型；以及

通过使用所述卷积神经网络模型将所述原始成像数据转换为所述合成成像数据，所述合成成像数据包括类似于所述解剖部分的第二成像模态描绘的多个图像，其中，所述第二成像模态不同于所述第一成像模态，并且其中，将所述原始成像数据转换为所述合成成像数据包括：

使用所述卷积神经网络模型，从所述原始成像数据的所述多个图像生成一个或更多个合成图像；

聚合一个或更多个生成的合成图像的多个组；以及

根据聚合的一个或更多个生成的合成图像的多个组确定所述合成成像数据。

2.根据权利要求1所述的方法，其中，所述第一成像模态和所述第二成像模态从下述提供：磁共振成像、计算机断层扫描、超声成像、正电子发射断层扫描或单光子发射计算机断层扫描。

3.根据权利要求1所述的方法，其中，所述合成成像数据包括作为二维图像的堆叠提供的所述多个图像。

4.根据权利要求1所述的方法，其中，所述原始成像数据以三维体积提供，并且所述合成成像数据以三维体积提供。

5.根据权利要求1所述的方法，

其中，接收所述原始成像数据包括从所述原始成像数据中选择相邻二维图像的多个堆叠；并且

其中，生成所述一个或更多个合成图像包括使用所述卷积神经网络模型以从相邻二维图像的每个堆叠生成合成二维图像的堆叠。

6.根据权利要求1所述的方法，

其中，接收所述原始成像数据包括根据三维成像数据的第一平面创建二维图像的第一堆叠并且根据所述三维成像数据的第二平面创建二维图像的第二堆叠；并且

其中，生成所述一个或更多个合成图像包括使用所述卷积神经网络模型以从二维图像的第一堆叠和第二堆叠生成合成二维图像的第一堆叠和第二堆叠。

7.根据权利要求1所述的方法，还包括：

接收使用所述第一成像模态获取的多个训练原始图像；

接收使用所述第二成像模态获取的多个训练目标图像，每个训练目标图像与训练原始图像对应；

确定卷积神经网络架构；以及

基于确定的卷积神经网络架构，使用所述训练原始图像和对应的训练目标图像来训练所述卷积神经网络模型。

8.根据权利要求7所述的方法，其中，训练所述卷积神经网络模型包括：

使用所述卷积神经网络模型将所述训练原始图像转换为合成图像；

确定所述合成图像与所述对应的训练目标图像之间的差异；以及

基于所述差异来更新所述卷积神经网络模型的模型参数。

9.一种用于生成人类主体的解剖部分的合成成像数据的系统，所述系统包括：

输入接口，所述输入接口被配置成：

接收所述人类主体的解剖部分的原始成像数据，所述原始成像数据是由成像装置使用第一成像模态获取的，并且所述原始成像数据包括提供所述解剖部分的第一成像模态描绘的多个图像，以及

接收被训练以用于基于所述原始成像数据来预测所述合成成像数据的卷积神经网络模型；

至少一个存储装置，其被配置成存储所述原始成像数据和所述卷积神经网络模型；以及

图像处理器，其被配置成通过使用所述卷积神经网络模型将所述原始成像数据转换为所述合成成像数据，所述合成成像数据包括类似于所述解剖部分的第二成像模态描绘的多个图像，其中，所述第二成像模态不同于所述第一成像模态，并且其中，所述图像处理器被配置成通过下述操作将所述原始成像数据转换为所述合成成像数据：

使用所述卷积神经网络模型，从所述原始成像数据的所述多个图像生成一个或更多个合成图像；

聚合一个或更多个生成的合成图像的多个组；以及

根据聚合的一个或更多个生成的合成图像的多个组确定所述合成成像数据。

10.根据权利要求9所述的系统，其中，所述第一成像模态和所述第二成像模态从下述提供：磁共振成像、计算机断层扫描、超声成像、正电子发射断层扫描或单光子发射计算机断层扫描。

11.根据权利要求9所述的系统，其中，所述合成成像数据包括作为二维图像的堆叠提供的所述多个图像。

12.根据权利要求9所述的系统，其中，所述原始成像数据以三维体积提供，并且所述合成成像数据以三维体积提供。

13.根据权利要求9所述的系统，

其中，接收所述原始成像数据的操作包括从所述原始成像数据中选择相邻二维图像的多个堆叠的操作；并且

其中，生成所述一个或更多个合成图像的操作包括使用所述卷积神经网络模型以从相邻二维图像的每个堆叠生成合成二维图像的堆叠的操作。

14.根据权利要求9所述的系统，

其中，接收所述原始成像数据的操作包括根据三维成像数据的第一平面创建二维图像的第一堆叠并且根据所述三维成像数据的第二平面创建二维图像的第二堆叠的操作；并且

其中，生成所述一个或更多个合成图像的操作包括使用所述卷积神经网络模型以从二维图像的第一堆叠和第二堆叠生成合成二维图像的第一堆叠和第二堆叠的操作。

15.根据权利要求10所述的系统，其中，所述图像处理器还被配置成：

接收使用所述第一成像模态获取的多个训练原始图像；

接收使用所述第二成像模态获取的多个训练目标图像，每个训练目标图像与训练原始图像对应；

确定卷积神经网络架构；以及

基于确定的卷积神经网络架构，使用所述训练原始图像和对应的训练目标图像来训练所述卷积神经网络模型。

16.根据权利要求15所述的系统，其中，训练所述卷积神经网络模型的操作包括下述操作：

使用所述卷积神经网络模型将所述训练原始图像转换为合成图像；

确定所述合成图像与所述对应的训练目标图像之间的差异；以及

基于所述差异来更新所述卷积神经网络模型的模型参数。

17.一种包括指令的计算机可读介质，所述指令在由至少一个处理器执行时使得所述至少一个处理器执行下述方法，所述方法用于生成人类主体的解剖部分的合成成像数据，所述方法包括：

获得所述人类主体的解剖部分的原始成像数据，所述原始成像数据是由成像装置使用第一成像模态获取的，并且所述原始成像数据包括提供所述解剖部分的第一成像模态描绘的多个图像；

识别被训练以用于基于所述原始成像数据来预测所述合成成像数据的卷积神经网络模型；以及

通过使用识别的卷积神经网络模型将所述原始成像数据转换为所述合成成像数据，所述合成成像数据包括类似于所述解剖部分的第二成像模态描绘的多个图像，其中，所述第二成像模态不同于所述第一成像模态，并且其中，将所述原始成像数据转换为所述合成成像数据包括：

使用所述识别的卷积神经网络模型，从所述原始成像数据的所述多个图像生成一个或更多个合成图像；

聚合一个或更多个生成的合成图像的多个组；以及

根据聚合的一个或更多个生成的合成图像的多个组确定所述合成成像数据。

18.根据权利要求17所述的计算机可读介质，其中，所述第一成像模态和所述第二成像模态从下述提供：磁共振成像、计算机断层扫描、超声成像、正电子发射断层扫描或单光子发射计算机断层扫描。

19.根据权利要求17所述的计算机可读介质，其中，所述合成成像数据包括作为二维图像的堆叠提供的所述多个图像。

20.根据权利要求17所述的计算机可读介质，其中，所述原始成像数据以三维体积提供，并且所述合成成像数据以三维体积提供。

21.根据权利要求17所述的计算机可读介质，

其中，获得所述原始成像数据包括从所述原始成像数据中选择相邻二维图像的多个堆叠；并且

其中，生成所述一个或更多个合成图像包括使用所述识别的卷积神经网络模型以从相邻二维图像的每个堆叠生成合成二维图像的堆叠。

22.根据权利要求17所述的计算机可读介质，

其中，获得所述原始成像数据包括根据三维成像数据的第一平面创建二维图像的第一堆叠并且根据所述三维成像数据的第二平面创建二维图像的第二堆叠；并且

其中，生成所述一个或更多个合成图像包括使用所述识别的卷积神经网络模型以从二维图像的第一堆叠和第二堆叠生成合成二维图像的第一堆叠和第二堆叠。

23.根据权利要求17所述的计算机可读介质，其中，由所述指令执行的所述方法还包括：

获得使用所述第一成像模态获取的多个训练原始图像；

获得使用所述第二成像模态获取的多个训练目标图像，每个训练目标图像与训练原始图像对应；

确定卷积神经网络架构；以及

基于确定的卷积神经网络架构，使用所述训练原始图像和对应的训练目标图像来训练所述卷积神经网络模型。

24.根据权利要求23所述的计算机可读介质，其中，训练所述卷积神经网络模型还包括：

使用所述卷积神经网络模型将所述训练原始图像转换为合成图像；

确定所述合成图像与所述对应的训练目标图像之间的差异；以及

基于所述差异来更新所述卷积神经网络模型的模型参数。

Images