CN115361998A

CN115361998A - 放射疗法治疗计划的对抗性预测

Info

Publication number: CN115361998A
Application number: CN202180026513.8A
Authority: CN
Inventors: 林登·斯坦利·希巴德
Original assignee: Elekta Ltd
Current assignee: Elekta Ltd
Priority date: 2020-02-07
Filing date: 2021-02-03
Publication date: 2022-11-18
Also published as: US20210308487A1; EP4100119A1; US11896847B2; US20210244971A1; WO2021159143A1; US11077320B1

Abstract

公开了用于基于目标解剖结构的投影图像来生成放射疗法治疗机器参数的系统和方法。所述系统和方法包括操作，所述操作包括：接收针对放射疗法治疗机器的每个台架角度的一组图像数据对，其中，一组图像数据对中的每一对包括表示对象的解剖结构从给定台架角度的视图的给定投影图像以及基于给定投影图像在给定台架角度下多叶准直器(MLC)叶片位置的给定图形孔径图像；基于针对每个台架角度的一组图像数据对来训练生成式对抗网络(GAN)模型；以及使用经训练的GAN模型，基于表示感兴趣的解剖区域的视图的投影图像来预测MLC叶片位置针对期望台架角度的孔径图像。

Description

放射疗法治疗计划的对抗性预测

优先权声明

本申请要求于2020年2月7日提交的美国申请序列第16/784,919号的优先权的权益，该申请在此通过引用整体并入本文中。

技术领域

本公开内容的实施方式总体上涉及确定指导由放射疗法治疗系统执行的放射疗法的机器参数。具体地，本公开内容涉及使用深度学习技术来确定限定放射疗法系统中的治疗计划的机器参数。

背景技术

放射疗法(或“放射治疗”)可以用于治疗哺乳动物(例如，人和动物)组织中的癌症或其他疾病。一种这样的放射治疗技术是伽玛刀，通过伽玛刀，患者被以高强度和高精度会聚在目标(例如，肿瘤)处的大量低强度伽玛射线辐射。在另一实施方式中，使用线性加速器提供放射治疗，由此通过高能粒子(例如，电子、质子、离子、高能光子等)辐射肿瘤。必须精确地控制放射束的布置和剂量以确保肿瘤接收到规定的放射，并且射束的布置应当使得对通常称为危及器官(OAR，organ at risk)的周围健康组织的损害最小化。放射被称为“规定的”，因为医师向肿瘤和周围器官发出预定义量的放射，与药物的处方类似。通常，以准直射束形式的电离放射从外部放射源指向患者。

可以使用指定的或可选择的射束能量，例如用于递送诊断能级范围或治疗能级范围。放射束的调制可以由一个或更多个衰减器或准直器(例如，多叶准直器(MLC))提供。可以通过准直来调整放射束的强度和形状，以通过使投射的射束与目标组织的轮廓一致来避免损坏与目标组织相邻的健康组织(例如，OAR)。

治疗计划过程可以包括使用患者的三维(3D)图像来识别目标区域(例如，肿瘤)并识别肿瘤附近的关键器官。治疗计划的创建可能是耗时的过程，在该过程中，计划者试图遵守各种治疗目标或约束(例如，剂量体积直方图(DVH)、交叠体积直方图(OVH))，考虑它们各自的重要性(例如，权重)，以便产生临床上可接受的治疗计划。该任务可能是耗时的反复试验过程，该过程由于各种OAR而变得复杂，因为随着OAR的数量增加(例如，对于头颈治疗十几个或更多)，该过程的复杂性也增加。远离肿瘤的OAR可以容易地免受放射，而接近目标肿瘤或与目标肿瘤交叠的OAR可能难以幸免。

传统上，对于每个患者，可以以“离线”方式生成初始治疗计划。可以在递送放射疗法之前很好地制定治疗计划，例如使用一种或更多种医学成像技术。成像信息可以包括例如来自X射线、计算机断层扫描(CT)、核磁共振(MR)、正电子发射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)或超声波的图像。卫生保健提供者(例如，医师)可以使用指示患者解剖结构的3D成像信息来识别一个或更多个目标肿瘤以及肿瘤附近的OAR。卫生保健提供者可以使用手动技术描绘要接收规定放射剂量的目标肿瘤，并且卫生保健提供者可以类似地描绘处于来自放射治疗的损害的风险中的附近的组织，例如器官。可替选地或另外地，可以使用自动工具(例如，由瑞典的Elekta公司提供的ABAS)来帮助识别或描绘目标肿瘤和处于风险的器官。然后，可以使用数值优化技术创建放射疗法治疗计划(“治疗计划”)，该数值优化技术使由临床和剂量测定的目标和约束(例如，对肿瘤体积的一部分的最大放射剂量、最小放射剂量和部分放射剂量(“95％的目标应接收不少于100％的规定剂量”)，以及针对关键器官的类似措施)组成的目标函数最小化。优化的计划包括指定每个放射束的方向、截面形状和强度的数字参数。

然后，随后可以通过以下操作来执行治疗计划：将患者定位在治疗机器中并且递送由优化的计划参数指导的规定的放射疗法。放射疗法治疗计划可以包括剂量“分级”，从而在预定时间段内提供放射治疗的序列(例如，每天30至45个部分)，其中每个治疗包括总规定剂量的指定部分。然而，在治疗期间，患者的位置以及目标肿瘤相对于治疗机器(例如，线性加速器——“linac”)的位置非常重要，以确保辐射目标肿瘤而不辐射健康组织。

发明内容

在一些实施方式中，提供了用于生成一个或更多个放射疗法治疗计划的方法、系统和计算机可读介质。所述方法、系统和计算机可读介质执行操作，所述操作包括：接收针对放射疗法治疗机器的每个台架角度的一组图像数据对，其中，所述一组图像数据对中的每一对包括表示对象的解剖结构从给定台架角度的视图的给定投影图像以及基于给定投影图像在给定台架角度下多叶准直器(MLC)叶片位置的给定图形孔径图像；基于针对每个台架角度的一组图像数据对来训练生成式对抗网络(GAN)模型；以及使用经训练的GAN模型，基于表示感兴趣的解剖区域的视图的投影图像来预测MLC叶片位置针对期望台架角度的孔径图像。

在一些实现方式中，GAN包括条件对抗网络(cGAN)。

在一些实现方式中，GAN包括循环一致性生成式对抗网络(CycleGAN)。

在一些实现方式中，一组图像数据对中的第一对的给定台架角度与所述一组图像数据对中的第二对的给定台架角度相差预定量。

在一些实现方式中，GAN被配置成使用判别模型来训练生成模型；使用判别模型与生成模型之间的对抗训练来建立由生成模型和判别模型应用的值；以及生成模型和判别模型包括各自的卷积神经网络。

在一些实现方式中，对抗训练包括：训练生成模型以根据投影图像来生成MLC叶片位置在第一台架角度下的第一合成图形孔径图像表示，所述投影图像表示训练对象解剖结构从第一台架角度的视图；以及训练判别模型以将第一合成图形孔径图像分类为合成训练示例图形孔径图像或真实训练示例图形孔径图像；以及生成模型的输出被用于训练判别模型，并且判别模型的输出被用于训练生成模型。

在一些实现方式中，使用包括生成模型和判别模型的循环一致性生成式对抗网络(CycleGAN)来训练GAN，生成模型是第一生成模型，并且判别模型是第一判别模型，并且CycleGAN还包括：第二生成模型，该第二生成模型被训练成：根据一组图像数据对中的给定对，处理MLC叶片位置在给定台架角度下的给定图形孔径图像表示作为输入；以及提供合成投影图像作为输出，所述合成投影图像表示训练对象解剖结构从给定台架角度的视图；以及第二判别模型，该第二判别模型被训练成将合成投影图像分类为合成投影图像或真实投影图像。

在一些实现方式中，CycleGAN包括用于训练第一生成模型的第一部分，第一部分被训练成：从先前治疗中获得表示患者解剖结构的不同视图的一组训练投影图像，所述一组训练投影图像和与不同视图中的每一个对应的训练图形孔径图像配对，训练图形孔径图像中的每一个与训练投影图像中的相应训练投影图像对准；将一组训练投影图像传输到第一生成模型的输入端，以输出第一组图形孔径图像；在第一判别模型的输入端处接收第一组图形孔径图像，以将第一组图形孔径图像分类为一组合成训练图形孔径图像或一组真实训练图形孔径图像；以及在第二生成模型的输入端处接收第一组图形孔径图像，以生成用于计算循环一致性损失的第一组循环投影图像。

在一些实现方式中，CycleGAN包括第二部分，该第二部分被训练成：将与不同视图中的每一个对应的训练图形孔径图像传输到第二生成模型的输入端，以输出第一组合成投影图像；在第二判别模型的输入端处接收第一组合成投影图像，以将第一组合成投影图像分类为合成训练投影图像或真实训练投影图像；以及在第一生成模型的输入端处接收第一组合成投影图像，以生成用于计算循环一致性损失的第一组循环图形孔径图像。

在一些实现方式中，基于第一组循环投影图像与一组训练投影图像的比较以及第一组循环图形孔径图像与训练图形孔径图像的比较来生成循环一致性损失；第一生成模型被训练成使第一损失项最小化或减小第一损失项，第一损失项表示多个合成图形孔径图像与分别配对的训练图形孔径图像之间的差异的预期；以及第二生成模型被训练成使第二损失项最小化或减小第二损失项，第二损失项表示多个合成投影图像与分别配对的训练投影图像之间的差异的预期。

在一些实现方式中，操作包括：获得放射疗法治疗机器参数信息，所述放射疗法治疗机器参数信息表示在与由一组图像数据对的投影图像表示的视图中的每一个对应的台架角度下的MLC叶片位置以及与投影图像中的每一个对应的放射疗法射束强度；基于所获得的放射疗法治疗机器参数信息来生成训练图形孔径图像表示；以及将所生成的训练图形孔径图像表示中的每一个与对应的投影图像对准。

在一些实现方式中，训练图形孔径图像表示和对应的投影图像是二维图像或三维图像，所述二维图像或三维图像包括与整个治疗分次(treatment fraction)对应的二维投影图像和图形孔径图像对的堆叠。

在一些实现方式中，操作包括：从通过经训练的GAN模型预测的孔径图像来生成一个或更多个放射疗法治疗机器参数。

在一些实现方式中，操作包括：基于所生成的一个或更多个放射疗法治疗机器参数来计算剂量体积直方图或三维剂量分布。

在一些实现方式中，一个或更多个参数包括台架角度、MLC钳口位置、MLC叶片位置或放射治疗射束强度中的至少一个。

在一些实现方式中，操作包括：基于所生成的一个或更多个放射疗法治疗机器参数来计算剂量测定参数。

在一些实现方式中，通过射线跟踪或傅立叶重建来生成一组图像数据对中的给定投影图像。

在一些实现方式中，操作包括：生成多个二维投影图像作为一组图像数据对中的投影图像，所述多个二维投影图像表示解剖结构从多个不同台架角度的多个二维视图。

在一些实现方式中，多个二维投影图像表示解剖结构在治疗期间跨放射疗法治疗机器的台架的运动弧的多个角度下的视图。

以上概述旨在提供本专利申请的主题的概述。并不旨在提供本发明主题的排他性或详尽的解释。包括具体实施方式以提供关于本专利申请的进一步信息。

附图说明

在不一定按比例绘制的附图中，遍及若干视图，相似的附图标记描述基本上相似的部件。具有不同字母后缀的相似的附图标记表示基本上相似的部件的不同实例。附图通过示例的方式而非通过限制的方式整体示出了本文献中讨论的各种实施方式。

图1示出了根据本公开内容的一些实施方式的示例性放射治疗系统。

图2A示出了根据本公开内容的一些实施方式的可以包括被配置成提供治疗射束的放射疗法输出件的示例性放射治疗系统。

图2B示出了根据本公开内容的一些实施方式的包括组合的放射治疗系统和成像系统诸如锥形射束计算机断层扫描(CBCT)成像系统的示例性系统。

图3示出了根据本公开内容的一些实施方式的包括组合的放射治疗系统和成像系统诸如核磁共振(MR)成像(MRI)系统的示例性系统的局部剖视图。

图4A和图4B分别描绘了根据本公开内容的一些实施方式的示例性MRI图像与相对应的CT图像之间的差异。

图5示出了根据本公开内容的一些实施方式的用于成形、指导或调制放射疗法射束的强度的示例性准直器配置。

图6示出了根据本公开内容的一些实施方式的示例性伽玛刀放射治疗系统。

图7A至图7D示出了根据本公开内容的一些实施方式的用于深度学习的示例性流程图。

图8A和图8B示出了根据本公开内容的一些实施方式的从不同方向的投影视图。

图9示出了根据本公开内容的一些实施方式的用于生成用于深度学习的训练数据的示例性方法。

图10示出了根据本公开内容的一些实施方式的用于使用投影图像和叶片位置的图形表示来训练深度学习的示例性方法。

图11A和图11B示出了根据本公开内容的一些实施方式的用于训练机器学习模型并使用机器学习模型来生成放射治疗设备参数的示例性数据流。

图12示出了根据本公开内容的一些实施方式的用于使用经训练的深度学习根据给定解剖结构从给定台架角度的视图的投影图像生成放射治疗设备参数的方法。

图13示出了可以实现如本文所讨论的方法中的一种或更多种方法的机器的示例性框图。

具体实施方式

在以下具体实施方式中，参照形成具体实施方式的一部分的附图，并且通过可以实践本公开内容的图示特定实施方式的方式示出具体实施方式。在本文中也被称为“示例”的这些实施方式被足够详细地描述以使得本领域技术人员能够实践本公开内容，并且应当理解，在不脱离本公开内容的范围的情况下，可以组合实施方式或者可以利用其他实施方式并且可以进行结构、逻辑和电气改变。因此，以下具体实施方式不应被视为限制性意义，并且本公开内容的范围由所附权利要求及其等同内容限定。

调强放射治疗(IMRT)和容积旋转调强放射治疗(volumetric modulated arctherapy，VMAT)已经成为现代癌症放射疗法中的护理标准。创建个体患者IMRT或VMAT治疗计划是反复试验的过程，该过程权衡目标剂量与OAR免受伤害的折衷并且调整计划约束，所述计划约束对计划质量度量和剂量分布的影响可能很难预料。实际上，调整计划约束的顺序本身可能导致剂量差异。治疗计划质量通常取决于计划者的主观判断，这些主观判断取决于他/她的经验和技能。即使是最熟练的计划者，仍然不能保证其计划接近最佳可能，或者一点或大量的努力是否将产生明显更好的计划。

本公开内容包括通过预测放射疗法治疗机器参数(也称为控制点)来改进和增强放射疗法治疗的各种技术，所述放射疗法治疗机器参数用于基于患者的描绘的解剖结构来递送预期的剂量分布。技术益处包括减少的放射疗法治疗计划创建时间，并且可以产生许多明显的医疗益处(包括提高放射疗法治疗的准确性、减少对非预期放射的暴露等)。所公开的技术可以适用于各种医疗和诊断设置或放射疗法治疗设备和装置。

本公开内容通过基于训练数据训练机器学习模型，例如生成式对抗网络(GAN)来预测或估计控制点，所述训练数据由成对的控制点(由图形孔径图像表示)和相对应的患者的图像(由投影图像表示)组成。这些数据对被构造和对准成使得图像数据的每个元素对应于控制点数据的元素。然后，所公开的机器学习方法确定两个数据领域之间的映射或关系。该经学习的模型将图像数据和控制点数据相关联，而没有明确参考放射传输的物理学或参与从其提取训练数据的治疗计划的创建的许多细节。

根据一些实施方式，本公开内容直接学习用于共同诊断的示例性治疗计划的群体的参数(基于所述参数训练机器学习模型)，并且然后使用该模型仅基于新患者的描绘解剖结构来预测递送预期剂量分布所需的治疗机器参数设置。治疗参数包括线性加速器(linac)台架角度、通过其将治疗放射束投影在目标处的射束孔径形状以及射束的强度、用于递送电子或粒子治疗的任何参数等。本公开内容在给定患者的图像以及目标和OAR描绘的情况下估计驱动治疗机器的机器参数。

根据一些实施方式，使用一种基于深度神经网络的统计学习(深度学习)来获得患者解剖结构和治疗约束与将递送预期3D剂量分布的所得到的治疗机器参数设置之间的联系的更加详细的模型。这样的结果对于早期的计划质量分析中的任何分析是不可能的。通过采用机器学习模型，本公开内容产生了治疗计划过程的模型，封装了在计划创建期间做出的许多(主观的)决定，并且使得：产生计划模板以启动计划创建、评估现有计划的可能质量、帮助缺乏深度局部IMRT/VMAT专业知识的治疗诊所、以及完全自动化的治疗计划。通过使用深度学习来生成放射治疗装置的控制点和隐含的治疗计划，减少了总计划优化处理的计算复杂度，并且减少了针对给定患者创建治疗计划所需的时间。

具体地，根据一些实施方式，机器学习模型被训练成建立与放射治疗装置的台架的给定角度相对应的患者解剖结构的给定图像的投影与放射治疗装置的MLC叶片位置的图形孔径图像表示之间的关系。通过从先前治疗获得表示患者解剖结构的不同视图的投影图像来训练机器学习模型；并且对于先前治疗中的每个先前治疗：获得控制点信息——所述控制点信息表示在与不同视图中的每个视图相对应的台架角度下的MLC叶片位置和与投影图像中的每个投影图像相对应的放射治疗射束强度，以基于与投影图像成对的所获得的控制点信息来生成真实(或训练)图形孔径图像(ground truth graphical aperture image)表示。随后，基于成对的所生成的训练图形孔径图像表示和相对应的投影图像来调整机器学习模型的一个或更多个参数。一旦被训练，就获得新的患者投影图像，并且使用经训练的机器学习模型来估计放射治疗装置的MLC叶片位置的相对应的图形孔径图像表示。除了MLC叶片位置之外，其它实施方式还可以包括射束的强度的图形表示(例如，条形图)。

在一些实施方式中，然后基于所估计的MLC叶片位置的图形孔径图像表示来计算放射治疗装置的控制点。即，利用反向映射函数生成控制点(例如，射束强度、台架角度和/或MLC的各个叶片的MLC叶片位置)，以实现与所估计的MLC叶片位置的图形孔径图像表示相对应的射束。具体地，MLC叶片位置的图形孔径图像表示识别由放射治疗装置输出的所得到的射束形状，并且利用反向映射函数生成控制点，以提供由MLC叶片位置的图形孔径图像表示所表示的所得到的射束形状。

图1示出了用于向患者提供放射疗法的示例性放射治疗系统100。放射治疗系统100包括图像处理装置112。图像处理装置112可以连接至网络120。网络120可以连接至因特网122。网络120可以将图像处理装置112与下述中的一个或更多个连接：数据库124、医院数据库126、肿瘤学信息系统(OIS)128、放射治疗装置130、图像获取装置132、显示装置134和用户接口136。图像处理装置112可以被配置成生成要由放射治疗装置130使用的放射疗法治疗计划142。

图像处理装置112可以包括存储器装置116、图像处理器114和通信接口118。存储器装置116可以存储计算机可执行指令，例如操作系统143、放射疗法治疗计划142(例如，原始治疗计划、经调整的治疗计划等)、软件程序144(例如，人工智能、深度学习、神经网络、放射疗法治疗计划软件)以及要由处理器114执行的任何其他计算机可执行指令。在一个实施方式中，软件程序144可以通过产生合成图像诸如伪CT图像来将一种格式(例如，MRI)的医学图像转换成另一种格式(例如，CT)。例如，软件程序144可以包括图像处理程序，该图像处理程序用以训练用于将一种模态的医学图像146(例如，MRI图像)转换成不同模态的合成图像(例如，伪CT图像)的预测模型；可替选地，经训练的预测模型可以将CT图像转换为MRI图像。在另一实施方式中，软件程序144可以将患者图像(例如，CT图像或MR图像)与该患者的剂量分布(也表示为图像)配准，使得相对应的图像体素和剂量体素通过网络适当地关联。在又一实施方式中，软件程序144可以替代患者图像的功能，例如签名的距离功能或强调图像信息的一些方面的图像的处理版本。这样的功能可能强调体素纹理的边缘或差异，或对神经网络学习有用的任何其他结构方面。在另一实施方式中，软件程序144可以替代剂量分布的强调剂量信息的一些方面的功能。这样的功能可能强调目标周围的陡峭梯度或对神经网络学习有用的任何其他结构方面。存储器装置116可以存储数据，包括医学图像146、患者数据145以及创建和实现放射疗法治疗计划142所需的其他数据。

在又一实施方式中，软件程序144可以针对描绘解剖结构(例如，一个或更多个目标和一个或更多个OAR)的二维(2D)CT图像或MR图像和/或3D CT图像或MR图像的集合生成投影图像，所述投影图像表示从放射治疗设备的一个或更多个台架角度的解剖结构的不同视图。例如，软件程序144可以处理CT图像或MR图像的集合并且创建投影图像的堆叠，所述投影图像描绘了从放射治疗设备的台架的各种视角的CT图像或MR图像中描绘的解剖结构的不同视图。特别地，一种投影图像可以表示从台架的0度的解剖结构的视图，第二投影图像可以表示从台架的45度的解剖结构的视图，而第三投影图像可以表示从台架的90度的解剖结构的视图。所述度数可以是MLC相对于CT图像或MR图像中描绘的解剖结构的特定轴的位置。对于被测量的不同度数中的每个度数，轴可以保持相同。

在图8A中示意性地示出了简单椭圆802的投影视图。在图8A中，视图相对于椭圆中心取向，并且捕捉从每个角度(例如，由视图803表示的0度、由视图804表示的45度以及由视图805表示的90度)看到的椭圆802的形状和范围。例如，当从相对于椭圆802的y轴807成0度角查看时，椭圆802的视图被投影为视图803。例如，当从相对于椭圆802的y轴807成45度角查看时，椭圆802的视图被投影为视图804。例如，当从相对于椭圆802的y轴807成90度角查看时，椭圆802的视图被投影为视图805。

在图8B中示出了男性骨盆解剖结构相对于一组原始3D CT图像801的投影。在3DCT图像801中对所选择的危及器官和目标器官进行轮廓描绘，并为其体素分配恒定值。可以使用锥形射束CT重建程序的正向投影能力获得围绕3D CT图像801的中心轴成所选择的角度(0度、45度和90度)的投影图像850。还可以通过由射线跟踪直接重新创建投影视图几何结构或者通过如在计算机断层扫描中的傅立叶重建来计算投影图像。

例如，可以通过在图像平面中将光的路径跟踪为像素并模拟其与虚拟对象相遇的效果来计算投影图像。在一些实现方式中，投影图像是通过跟踪从假想的眼睛(MLC视图或射束的眼睛视图)到虚拟屏幕中的每个像素的路径并计算通过其可见的对象的颜色来生成的。可以利用任何其他断层扫描重建技术来从3D CT图像801中描绘的解剖结构的MLC射束的眼睛视图生成投影图像。

例如，3D CT图像801的组(或集合)可以用于生成3D CT图像801中描绘的解剖结构(例如，膀胱、前列腺、精囊、直肠、第一目标和第二目标)的一个或更多个视图。这些视图可以是从包括放射治疗装置的台架的MLC的角度来看的，并且为了简单起见，参照图8B，这些视图是以相对于3D CT图像801的y轴的度数并且基于图像中描绘的解剖结构与MLC之间的距离来测量的。具体地，第一视图810表示在台架相对于y轴成0度并且在距3D CT图像801中描绘的解剖结构处于给定距离时由台架观察或查看时的3D CT图像801的投影，第二视图820表示在台架相对于y轴成45度并且在距3D CT图像801中描绘的解剖结构处于给定距离时由台架观察或查看时的3D CT图像801的投影，并且第三视图830表示在台架相对于y轴成90度时由台架观察或查看时的3D CT图像801的投影。可以提供任何其他视图，例如围绕3DCT图像801中描绘的解剖结构的360度中的每个度数下的不同视图。

返回参照图1，在又一实施方式中，软件程序144可以生成MLC叶片位置在各种台架角度下的图形孔径图像表示(有时被称为图形孔径图像)。这些图形孔径图像也称为孔径图像或训练图形孔径图像。特别地，软件程序144可以接收用于控制放射治疗装置以产生放射治疗射束的一组控制点。控制点可以表示射束强度、相对于患者位置的台架角度以及MLC的叶片位置等机器参数。基于这些控制点可以生成图形图像，来以图形方式表示在每个特定台架角度下由MLC输出的射束形状和强度。软件程序144可以将在特定台架角度下的孔径的每个图形图像与所生成的该角度下的相对应的投影图像对准和配对。图像与投影对准并且按比例缩放，使得每个投影图像像素与相对应的孔径图像像素对准。

图9示出了根据本公开内容的一些实施方式的用于生成用于深度学习的训练数据的示例性方法。具体地，在图9中，图像和控制点参数被转换成3D图像体积。在图9的顶部，3DCT图像801以与结合图8A和图8B所讨论的方式类似方式被转换成围绕3D CT图像801的中心轴的选定角度下的投影图像850的堆叠。在图9的下部，与由投影图像850表示的台架的每个角度相对应的控制点角度910、孔径和强度被重新创建为图形孔径图像920。阴影部分922示出了MLC左叶片边缘与MLC右叶片边缘之间的开口，所述开口允许放射通过每个图形孔径图像920。图形孔径图像920与投影图像850对准并且按比例缩放，使得每个投影像素与辐射其的相对应孔径像素对准。在一些实施方式中，可以针对每个图形孔径图像(例如，在图形孔径图像920的左下方处)呈现条形对象。该条形对象的长度对该控制点处的放射强度进行编码，并且与叶片位置一起被估计。

控制点参数910

表示台架角度、每个台架角度下的MLC孔径以及该角度下的放射强度。孔径被描绘为图形孔径图像920。每个图形孔径图像920被分配并与相同台架角度下的解剖结构投影图像850中的相对应的一个解剖结构投影图像配对。每个阴影部分922表示成对的相对的钨MLC叶片(例如，532A至532J)之间的开口，并且正是这些孔径控制X射线束的形状以覆盖目标至规定的放射剂量。投影图像850和图形孔径图像920被按比例缩放和对准，以确保投影图像850中的每个解剖结构像素与辐射该解剖结构元素的相对应的孔径像素对准。控制点数据和解剖结构的构建被表示为具有共同尺寸、像素间距和原点的对准的3D图像体积。

返回参照图1，在又一实施方式中，软件程序144存储治疗计划软件，该治疗计划软件包括经训练的机器学习模型，例如经训练的GAN或经训练的CycleGAN，以针对表示解剖结构从给定台架角度的视图的投影图像来生成或估计MLC叶片位置在给定台架角度下的合成图形孔径图像表示。软件程序144还可以存储转换或计算给定类型的机器的机器参数或控制点以从MLC输出射束的功能，该射束实现MLC叶片位置的相同或相似的估计的图形孔径图像表示。即，治疗计划软件可以输出表示针对给定台架角度和针对该台架在该角度下的给定投影图像的射束形状和强度的估计图像的图像，并且该功能可以计算针对给定放射治疗装置的控制点以实现该射束形状和强度。

除了存储软件程序144的存储器装置116之外，可以设想，软件程序144可以存储在可移除计算机介质上，可移除计算机介质诸如是硬盘驱动器、计算机盘、CD-ROM、DVD、HD、蓝光DVD、USB闪存驱动器、SD卡、记忆棒或任何其他合适的介质；并且软件程序144在被下载至图像处理装置112时可以由图像处理器114执行。

处理器114可以通信地耦接至存储器装置116，并且处理器114可以被配置成执行存储在存储器装置116上的计算机可执行指令。处理器114可以向存储器装置116发送医学图像146或者接收医学图像146。例如，处理器114可以经由通信接口118和网络120从图像获取装置132接收医学图像146以存储在存储器装置116中。处理器114还可以将存储在存储器装置116中的医学图像146经由通信接口118发送至网络120以存储在数据库124或医院数据库126中。

此外，处理器114可以利用软件程序144(例如，治疗计划软件)以及医学图像146和患者数据145来创建放射疗法治疗计划142。医学图像146可以包括诸如与患者解剖区域、器官或感兴趣的分割数据量相关联的成像数据的信息。患者数据145可以包括下述信息，例如：(1)功能性器官建模数据(例如，串行器官与并行器官、适当的剂量响应模型等)；(2)放射剂量数据(例如，DVH信息)；或(3)关于患者和治疗过程的其他临床信息(例如，其他手术、化学治疗、先前的放射治疗等)。

另外，处理器114可以利用软件程序来生成中间数据，诸如例如将由机器学习模型诸如神经网络模型使用的更新后的参数；或者生成中间2D图像或3D图像，然后，所述中间2D图像或3D图像可以随后被存储在存储器装置116中。然后，处理器114可以随后经由到网络120的通信接口118将可执行的放射疗法治疗计划142传送至放射治疗装置130，在该放射治疗装置130中放射治疗计划将被用于利用放射治疗患者。另外，处理器114可以执行软件程序144以实现诸如图像转换、图像分割、深度学习、神经网络和人工智能的功能。例如，处理器114可以执行训练医学图像或对医学图像进行轮廓描绘的软件程序144；这样的软件程序144在被执行时可以训练边界检测器或利用形状字典(shape dictionary)。

处理器114可以是处理装置，包括一个或更多个通用处理装置，例如微处理器、中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)等。更具体地，处理器114可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、实现其他指令集的处理器或实现指令集的组合的处理器。处理器114还可以由一个或更多个专用处理装置诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等来实现。如本领域技术人员将理解的，在一些实施方式中，处理器114可以是专用处理器而不是通用处理器。处理器114可以包括一个或更多个已知的处理装置，例如来自由Intel^TM制造的Pentium^TM、Core^TM、Xeon^TM或

系列的微处理器、来自由AMD^TM制造的Turion^TM、Athlon^TM、Sempron^TM、Opteron^TM、FX^TM、Phenom^TM系列的微处理器或者由Sun Microsystems制造的各种处理器中的任何处理器。处理器114还可以包括图形处理单元，例如来自由Nvidia^TM制造的

系列、由Intel^TM制造的GMA、Iris^TM系列或者由AMD^TM制造的Radeon^TM系列的GPU。处理器114还可以包括加速处理单元，例如由Intel^TM制造的Xeon Phi^TM系列。所公开的实施方式不限于以其他方式被配置成满足识别、分析、维护、生成和/或提供大量数据或操纵这样的数据以执行本文中公开的方法的计算需求的任何类型的处理器。另外，术语“处理器”可以包括多于一个处理器(例如，多核设计或各自具有多核设计的多个处理器)。处理器114可以执行存储在存储器装置116中的计算机程序指令序列，以执行以下将更详细地说明的各种操作、处理、方法。

存储器装置116可以存储医学图像146。在一些实施方式中，医学图像146可以包括一个或更多个MRI图像(例如，2D MRI、3D MRI、2D流式MRI、四维(4D)MRI、4D体积MRI、4D影像(cine)MRI、投影图像、图形孔径图像以及投影图像与图形孔径图像之间的配对信息等)、功能性MRI图像(例如，fMRI、DCE-MRI、扩散MRI)、CT图像(例如，2D CT、锥形射束CT、3D CT、4DCT)、超声图像(例如，2D超声、3D超声、4D超声)、表示MRI中描绘的解剖结构的视图的一个或更多个投影图像、合成CT(伪CT)和/或台架相对于患者轴的不同角度下的CT图像、PET图像、X射线图像、荧光透视图像、放射治疗射野(portal)图像、SPECT图像、计算机生成的合成图像(例如，伪CT图像)、孔径图像、MLC叶片位置在不同台架角度下的图形孔径图像表示等。此外，医学图像146还可以包括医学图像数据，例如，训练图像和训练图像、轮廓图像以及剂量图像。在实施方式中，可以从图像获取装置132接收医学图像146。因此，图像获取装置132可以包括MRI成像装置、CT成像装置、PET成像装置、超声成像装置、荧光透视装置、SPECT成像装置、集成的线性加速器和MRI成像装置、或者用于获得患者的医学图像的其他医学成像装置。可以以图像处理装置112可以使用以执行符合所公开的实施方式的操作的任何数据类型或任何格式类型来接收和存储医学图像146。

存储器装置116可以是非暂态计算机可读介质，例如只读存储器(ROM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、闪速存储器、随机存取存储器(RAM)、动态随机存取存储器(DRAM)诸如同步DRAM(SDRAM)、电可擦除可编程只读存储器(EEPROM)、静态存储器(例如，闪速存储器、闪存盘、静态随机存取存储器)以及其他类型的随机存取存储器、高速缓冲存储器、寄存器、CD-ROM、DVD或其他光存储装置、盒式磁带、其他磁性存储装置、或者可以用于存储包括能够被处理器114或任何其他类型的计算机装置访问的(例如，以任何格式存储的)图像、数据或计算机可执行指令的信息的任何其他非暂态介质。计算机程序指令可以被处理器114访问、被从ROM或任何其他合适的存储器位置读取并被加载至RAM中以供处理器114执行。例如，存储器装置116可以存储一个或更多个软件应用。存储器装置116中存储的软件应用可以包括例如用于公共计算机系统以及用于受软件控制的装置的操作系统143。此外，存储器装置116可以存储可由处理器114执行的整个软件应用或软件应用的仅一部分。例如，存储器装置116可以存储一个或更多个放射疗法治疗计划142。

图像处理装置112可以经由通信接口118与网络120进行通信，通信接口118可以通信地耦接至处理器114和存储器装置116。通信接口118可以提供图像处理装置112与放射治疗系统100部件之间的通信连接(例如，允许与外部装置交换数据)。例如，在一些实施方式中，通信接口118可以具有适当的接口电路系统以连接至用户接口136，用户接口136可以是用户可以通过其将信息输入至放射治疗系统100中的硬件键盘、小键盘或触摸屏幕。

通信接口118可以包括例如网络适配器、电缆连接器、串行连接器、USB连接器、并行连接器、高速数据传输适配器(例如，诸如光纤、USB3.0、雷电(thunderbolt)等)、无线网络适配器(例如，诸如WiFi适配器)、电信适配器(例如，3G、4G/LTE等)等。通信接口118可以包括一个或更多个数字通信装置和/或模拟通信装置，所述一个或更多个数字通信装置和/或模拟通信装置允许图像处理装置112经由网络120与其他机器和装置(例如，远程定位的部件)进行通信。

网络120可以提供局域网(LAN)、无线网络、云计算环境(例如，软件即服务、平台即服务、基础设施即服务等)、客户端-服务器、广域网(WAN)等的功能。例如，网络120可以是LAN或WAN，其可以包括其他系统S1(138)、S2(140)和S3(141)。系统S1、S2和S3可以与图像处理装置112相同，或者可以是不同的系统。在一些实施方式中，网络120中的系统中的一个或更多个系统可以形成协作地执行本文中描述的实施方式的分布式计算/模拟环境。在一些实施方式中，一个或更多个系统S1、S2和S3可以包括获得CT图像(例如，医学图像146)的CT扫描仪。另外，网络120可以连接至因特网122以与远程驻留在互联网上的服务器和客户端进行通信。

因此，网络120可以允许图像处理装置112与多个不同的其他系统和装置诸如OIS128、放射治疗装置130和图像获取装置132之间的数据传输。此外，由OIS 128和/或图像获取装置132生成的数据可以被存储在存储器装置116、数据库124和/或医院数据库126中。根据需要，数据可以通过通信接口118经由网络120发送/接收以便由处理器114访问。

图像处理装置112可以通过网络120与数据库124进行通信以发送/接收在数据库124上存储的多种不同类型的数据。例如，数据库124可以包括机器数据(控制点)，所述机器数据(控制点)包括与放射治疗装置130、图像获取装置132或与放射治疗有关的其他机器相关联的信息。机器数据信息可以包括控制点，例如放射束尺寸、弧放置、射束开启和关闭的持续时间、机器参数、分割、MLC配置、台架速度、MRI脉冲序列等。数据库124可以是存储装置并且可以配备有适当的数据库管理软件程序。本领域技术人员将理解，数据库124可以包括以中央式方式或分布式方式定位的多个装置。

在一些实施方式中，数据库124可以包括处理器可读存储介质(未示出)。虽然实施方式中的处理器可读存储介质可以是单个介质，但是术语“处理器可读存储介质”应当被视为包括存储一组或更多组计算机可执行指令或数据的单个介质或多个介质(例如，集中式数据库或分布式数据库，和/或相关联的高速缓存和服务器)。术语“处理器可读存储介质”还应当被视为包括能够存储或编码指令集的任何介质，所述指令集由处理器执行并且使处理器执行本公开内容的方法中的任何一种或更多种方法。因此，术语“处理器可读存储介质”应当被视为包括但不限于固态存储器、光学介质和磁介质。例如，处理器可读存储介质可以是一个或更多个易失性、非暂态或者非易失性有形计算机可读介质。

图像处理器114可以与数据库124进行通信以将图像读取到存储器装置116中或者将来自存储器装置116的图像存储到数据库124。例如，数据库124可以被配置成存储数据库124从图像获取装置132接收的多个图像(例如，3D MRI、4D MRI、2D MRI切片图像、CT图像、2D荧光透视图像、X射线图像、来自MR扫描或CT扫描的原始数据、医学数字成像与通信(DIMCOM)数据、投影图像、图形孔径图像等)。数据库124可以存储图像处理器114在执行软件程序144时或在创建放射疗法治疗计划142时要使用的数据。数据库124可以存储由经训练的机器学习模式例如神经网络所产生的数据，包括构成由网络学习的模型的网络参数和所得到的预测数据。图像处理装置112可以从数据库124、放射治疗装置130(例如，MRI-linac)和/或图像获取装置132接收成像数据诸如医学图像146(例如，2D MRI切片图像、CT图像、2D荧光透视图像、X射线图像、3D MRI图像、4D MRI图像、投影图像、图形孔径图像等)，以生成治疗计划142。

在一个实施方式中，放射治疗系统100可以包括图像获取装置132，该图像获取装置132可以获取患者的医学图像(例如，MRI图像、3D MRI、2D流式MRI、4D体积MRI、CT图像、锥形射束CT、PET图像、功能性MRI图像(例如，fMRI、DCE-MRI和扩散MRI)、X射线图像、荧光透视图像、超声图像、放射治疗射野图像、SPECT图像等)。图像获取装置132例如可以是MRI成像装置、CT成像装置、PET成像装置、超声装置、荧光透视装置、SPECT成像装置或者用于获得患者的一个或更多个医学图像的任何其他合适的医学成像装置。由图像获取装置132获取的图像可以作为成像数据和/或测试数据存储在数据库124内。通过示例的方式，由图像获取装置132获取的图像也可以作为医学图像146由图像处理装置112存储在存储器装置116中。

在一个实施方式中，例如，图像获取装置132可以与放射治疗装置130集成为单个设备(例如，MRI-linac)。这样的MRI-linac可以用于例如确定患者体内的目标器官或目标肿瘤的位置，以根据放射疗法治疗计划142将放射疗法准确地引导至预定目标。

图像获取装置132可以被配置成针对感兴趣区域(例如，目标器官、目标肿瘤或两者)获取患者的解剖结构的一个或更多个图像。每个图像——通常是2D图像或切片——可以包括一个或更多个参数(例如，2D切片厚度、取向和位置等)。在一个实施方式中，图像获取装置132可以获取在任何取向上的2D切片。例如，2D切片的取向可以包括矢状取向(sagittal orientation)、冠状取向(coronal orientation)或轴向取向。处理器114可以对诸如2D切片的厚度和/或取向的一个或更多个参数进行调整以包括目标器官和/或目标肿瘤。在一个实施方式中，可以根据诸如3D MRI体积的信息来确定2D切片。例如，在使用放射治疗装置130的情况下，在患者正在进行放射疗法治疗的同时可以由图像获取装置132“实时”获取这样的2D切片，其中“实时”意味着至少以数毫秒或更短时间来获取数据。

图像处理装置112可以生成并且存储一个或更多个患者的放射疗法治疗计划142。放射疗法治疗计划142可以提供关于要施加给每个患者的特定放射剂量的信息。放射疗法治疗计划142还可以包括其他放射治疗信息，例如控制点，包括射束角度、台架角度、射束强度、剂量直方图体积信息、治疗期间要使用的放射束的数量、每射束的剂量等。

图像处理器114可以通过使用软件程序144例如治疗计划软件(例如，由瑞典斯德哥尔摩的Elekta AB公司制造的

)来生成放射疗法治疗计划142。为了生成放射疗法治疗计划142，图像处理器114可以与图像获取装置132(例如，CT装置、MRI装置、PET装置、X射线装置、超声装置等)进行通信以访问患者的图像并且描绘目标诸如肿瘤。在一些实施方式中，可能需要一个或更多个OAR诸如肿瘤围围或接近肿瘤的健康组织的描绘。因此，在OAR靠近目标肿瘤时，可以执行对OAR的分割。另外，如果目标肿瘤靠近OAR(例如，接近膀胱和直肠的前列腺)，则通过将OAR从肿瘤分割，放射治疗系统100可以不仅研究目标中的剂量分布，而且研究OAR中的剂量分布。

为了从OAR描绘目标器官或目标肿瘤，可以通过图像获取装置132非侵入式地获得经历放射治疗的患者的医学图像例如MRI图像、CT图像、PET图像、fMRI图像、X射线图像、超声图像、放射治疗射野图像、SPECT图像等，以揭露身体部位的内部结构。基于来自医学图像的信息，可以获得相关解剖部分的3D结构。另外，在治疗计划过程期间，可以考虑许多参数以实现对目标肿瘤的有效率的治疗(例如，使得目标肿瘤接收足够的放射剂量以便有效治疗)与对OAR的低辐射(例如，OAR接收尽可能低的放射剂量)之间的平衡。可以考虑的其他参数包括目标器官和目标肿瘤的位置、OAR的位置以及目标相对于OAR的运动。例如，可以通过在MRI图像或CT图像的每个2D层或切片内对目标进行轮廓描绘或对OAR进行轮廓描绘并且将每个2D层或切片的轮廓进行组合来获得3D结构。可以手动地(例如，由医师、剂量师或医护人员使用程序例如由瑞典斯德哥尔摩的Elekta AB公司制造的MONACO^TM)或自动地(例如，使用程序例如由瑞典斯德哥尔摩的Elekta公司制造的基于Atlas的自动分割软件ABAS^TM和后续自动分割软件产品ADMIRE^TM)生成轮廓。在某些实施方式中，可以通过治疗计划软件自动生成目标肿瘤或OAR的3D结构。

在目标肿瘤和(一个或多个)OAR已经被定位并且描绘之后，剂量师、医师或医护人员可以确定要施加至目标肿瘤的放射剂量以及可以由接近肿瘤的OAR(例如，左右腮腺、视神经、眼睛、晶状体、内耳、脊髓、脑干等)接收的剂量的任何最大量。在针对每个解剖结构(例如，目标肿瘤、OAR)确定了放射剂量之后，可以执行已知为逆向计划的处理以确定将实现期望的放射剂量分布的一个或更多个治疗计划参数。治疗计划参数的示例包括体积描绘参数(例如，其限定目标体积、轮廓敏感结构等)、目标肿瘤和OAR周围的边缘、射束角度选择、准直器设置和射束开启时间。在逆向计划处理期间，医师可以限定剂量约束参数，所述剂量约束参数设定OAR可以接受多少放射的界限(例如，限定对肿瘤目标的全剂量和对任何OAR的零剂量；限定对目标肿瘤的95％的剂量；限定脊髓、脑干和视神经结构分别接受≤45Gy、≤55Gy和<54Gy)。逆向计划的结果可以构成可以被存储在存储器装置116或数据库124中的放射疗法治疗计划142。这些治疗参数中的一些可以是相关的。例如，调整一个参数(例如，针对不同对象的权重，例如增加对目标肿瘤的剂量)以试图改变治疗计划可能会影响至少一个其他参数，这进而可能导致不同的治疗计划的发展。因此，图像处理装置112可以生成具有这些参数的定制的放射疗法治疗计划142以便放射治疗装置130向患者提供放射疗法治疗。

另外，放射治疗系统100可以包括显示装置134和用户接口136。显示装置134可以包括向用户显示医学图像、接口信息、治疗计划参数(例如，投影图像、图形孔径图像、轮廓、剂量、射束角度等)、治疗计划、目标、定位目标和/或跟踪目标或者任何相关信息的一个或更多个显示屏。用户接口136可以是键盘、小键盘、触摸屏或者通过其用户可以向放射治疗系统100输入信息的任何类型的装置。可替选地，显示装置134和用户接口136可以集成至诸如平板计算机(例如，苹果

联想

三星

等)的装置中。

此外，放射治疗系统100的任何部件和所有部件可以被实现为虚拟机(例如，VMWare、Hyper-V等)。例如，虚拟机可以是充当硬件的软件。因此，虚拟机可以至少包括一起充当硬件的一个或更多个虚拟处理器、一个或更多个虚拟存储器和一个或更多个虚拟通信接口。例如，图像处理装置112、OIS 128、图像获取装置132可以被实现为虚拟机。在给定可用的处理能力、存储器和计算能力的情况下，整个放射治疗系统100可以被实现为虚拟机。

图2A示出了示例性放射治疗装置202，其可以包括放射源诸如X射线源或线性加速器、床216、成像检测器214和放射疗法输出件204。放射治疗装置202可以被配置成发射放射束208以向患者提供治疗。放射疗法输出件204可以包括一个或更多个衰减器或准直器，例如如下面图5的说明性实施方式中描述的MLC。

返回参照图2A，患者可以被定位在区域212中并且由治疗床216支承以根据放射疗法治疗计划接受放射疗法剂量。放射疗法输出件204可以被安装或附接至台架206或其他机械支承件。当床216被插入治疗区域中时，一个或更多个底盘电机(未示出)可以使台架206和放射疗法输出件204围绕床216旋转。在一个实施方式中，当床216被插入治疗区域中时，台架206可以围绕床216连续地旋转。在另一实施方式中，当床216被插入治疗区域中时，台架206可以旋转至预定位置。例如，台架206可以被配置成使治疗输出件204围绕轴(“A”)旋转。床216和放射疗法输出件204两者均可以独立地移动至患者周围的其他位置，例如，可沿横向方向(“T”)移动、可沿侧向方向(“L”)移动，或者作为围绕一个或更多个其他轴的旋转，例如围绕横轴(表示为“R”)的旋转。通信上连接至一个或更多个致动器(未示出)的控制器可以控制床216移动或旋转，以便根据放射疗法治疗计划将患者适当地定位在放射束208之内或之外。床216和台架206两者均可以以多个自由度彼此独立地移动，这使得患者能够被定位成使得放射束208可以精确地瞄准肿瘤。MLC可以被集成并包括在台架206内以递送特定形状的放射束208。

图2A中所示的坐标系(包括轴A、T和L)可以具有位于等中心点210处的原点。等中心点可以被限定为放射束208的中心轴与坐标轴的原点相交的位置，以便将规定的放射剂量递送至患者身上或患者体内的位置。可替选地，等中心点210可以被限定为下述位置：在该位置处，对于由台架206定位的放射疗法输出件204围绕轴A的各种旋转位置，放射束208的中心轴与患者相交。如本文所讨论的，台架角度对应于台架206相对于轴A的位置，尽管任何其他轴或轴的组合都可以被参考并且用于确定台架角度。

台架206还可以具有附接的成像检测器214。成像检测器214优选地位于放射源的对面，并且在一个实施方式中，成像检测器214可以位于放射束208的场内。

成像检测器214可以安装在台架206上(优选地与放射疗法输出件204相对)，以保持与治疗射束208对准。成像检测器214随着台架206旋转而围绕旋转轴旋转。在一个实施方式中，成像检测器214可以是平板检测器(例如，直接检测器或闪烁体检测器)。以这种方式，成像检测器214可以用于监测放射束208，或者成像检测器214可以用于对患者的解剖结构进行成像，例如射野成像。放射治疗装置202的控制电路系统可以集成在系统100内或远离系统100。

在说明性实施方式中，床216、治疗输出件204或台架206中的一个或更多个可以被自动地定位，并且治疗输出件204可以根据针对特定治疗递送实例的指定剂量来建立放射束208。可以根据放射疗法治疗计划(例如，使用台架206、床216或治疗输出件204的一个或更多个不同的取向或位置)来指定治疗递送序列。治疗递送可以依次发生，但是可以在患者身上或患者体内的期望治疗部位中(例如，在等中心点210处)交叉。由此可以将放射疗法的规定的累积剂量递送至治疗部位，同时可以减少或避免对治疗部位附近的组织的损害。

图2B示出了示例性放射治疗装置202，其可以包括组合的线性加速器和成像系统，例如CT成像系统。放射治疗装置202可以包括MLC(未示出)。CT成像系统可以包括诸如以千电子伏特(keV)能量范围提供X射线能量的成像X射线源218。成像X射线源218可以提供指向成像检测器222诸如平板检测器的扇形和/或锥形放射束208。放射治疗装置202可以类似于关于图2A所描述的系统，例如包括放射疗法输出件204、台架206、床216和另一成像检测器214(例如，平板检测器)。X射线源218可以提供用于成像的相对较低能量的X射线诊断射束。

在图2B的说明性实施方式中，放射疗法输出件204和X射线源218可以被安装在同一旋转台架206上，彼此旋转分开90度。在另一实施方式中，可以沿着台架206的外围安装两个或更多个X射线源，例如每个X射线源具有其自己的检测器布置以同时提供多角度的诊断成像。类似地，可以设置多个放射疗法输出件204。

图3描绘了示例性放射治疗系统300，其可以包括组合放射治疗装置202和成像系统诸如符合所公开的实施方式的磁共振(MR)成像系统(例如，本领域中已知为MR-linac)。如图所示，系统300可以包括床216、图像获取装置320和放射递送装置330。系统300根据放射疗法治疗计划向患者递送放射疗法。在一些实施方式中，图像获取装置320可以对应于图1中的可以获取第一模态的原始图像(例如，图4A中所示的MRI图像)或者第二模态的目标图像(例如，图4B中所示的CT图像)的图像获取装置132。

床216可以在治疗阶段期间支承患者(未示出)。在一些实现方式中，床216可以沿着水平平移轴(标记为“I”)移动，使得床216可以将躺在床216上的患者移入和/或移出系统300。床216还可以围绕横向于平移轴的中心竖直旋转轴旋转。为了允许这样的移动或旋转，床216可以具有使床216能够在各个方向上移动并且沿着各个轴旋转的电机(未示出)。控制器(未示出)可以控制这些运动或旋转以便根据治疗计划适当地定位患者。

在一些实施方式中，图像获取装置320可以包括用于在治疗阶段之前、期间和/或之后获取患者的2D MRI图像或3D MRI图像的MRI机器。图像获取装置320可以包括用于生成用于磁共振成像的主磁场的磁体321。通过磁体321的操作而生成的磁场线可以基本上平行于中心平移轴I延伸。磁体321可以包括具有平行于平移轴I延伸的轴的一个或更多个线圈。在一些实施方式中，磁体321中的一个或更多个线圈可以间隔开，使得磁体321的中心窗口323没有线圈。在其他实施方式中，磁体321中的线圈可以足够薄或具有减小的密度，使得线圈对于由放射治疗装置330生成的波长的放射基本上是透射的。图像获取装置320还可以包括一个或更多个屏蔽线圈，所述一个或更多个屏蔽线圈可以在磁体321外部生成近似相等的幅度和相反极性的磁场，以便消除或减小磁体321外部的任何磁场。如下所述，放射递送装置330的放射源331可以被定位在磁场至少被消除至一阶或被减小的区域中。

图像获取装置320还可以包括两个梯度线圈325和326，这两个梯度线圈325和326可以生成叠加在主磁场上的梯度磁场。线圈325和326可以在所得到的磁场中生成梯度，该梯度使得能够对质子进行空间编码以使得质子的位置可以被确定。梯度线圈325和326可以围绕与磁体321的公共中心轴被定位，并且可以沿着该中心轴被移位。该移位可以在线圈325与线圈326之间产生间隙或窗口。在磁体321还可以包括线圈之间的中心窗口323的实施方式中，两个窗口可以彼此对准。

在一些实施方式中，图像获取装置320可以是除MRI之外的成像装置，例如X射线、CT、CBCT、螺旋CT、PET、SPECT、光学断层扫描、荧光成像、超声成像、放射治疗射野成像装置等。如本领域的普通技术人员将认识到的，图像获取装置320的以上描述涉及某些实施方式，而不旨在是限制性的。

放射递送装置330可以包括放射源331诸如X射线源或线性加速器以及MLC 332(下面在图5中更详细地示出)。放射递送装置330可以被安装在底盘335上。当床216被插入治疗区域中时，一个或更多个底盘电机(未示出)可以使底盘335围绕床216旋转。在一个实施方式中，当床216被插入治疗区域中时，底盘335可以围绕床216连续地旋转。底盘335还可以具有附接的放射检测器(未示出)，该放射检测器优选地位于与放射源331相对并且其中底盘335的旋转轴定位在放射源331与检测器之间。此外，装置330可以包括用于控制例如床216、图像获取装置320和放射治疗装置330中的一个或更多个的控制电路系统(未示出)。放射递送装置330的控制电路系统可以集成在系统300内或远离系统300。

在放射疗法治疗阶段期间，患者可以被定位在床216上。然后系统300可以将床216移动至由磁体321、线圈325、326以及底盘335限定的治疗区域中。控制电路系统然后可以控制放射源331、MLC 332和底盘电机以根据放射疗法治疗计划通过线圈325与线圈326之间的窗口将放射递送至患者。

图2A、图2B和图3大体示出了被配置成向患者提供放射疗法治疗的放射治疗装置的实施方式，包括放射疗法输出件可以围绕中心轴(例如，轴“A”)旋转的配置。可以使用其他放射疗法输出件配置。例如，放射疗法输出件可以被安装至具有多个自由度的机械臂或操纵器。在又一实施方式中，治疗输出件可以是固定的(例如，位于与患者横向分开的区域中)，并且可以使用支承患者的平台来将放射疗法等中心点与患者体内的指定目标部位对准。

如上所述，由图2A、图2B和图3描述的放射治疗装置包括用于将放射疗法射束的强度成形、引导或调制至患者体内的指定目标部位的MLC。图5示出了示例性MLC 332，其包括叶片532A至叶片532J，所述叶片532A至叶片532J可以被自动定位以限定近似肿瘤540横截面或投影的孔径。叶片532A至叶片532J允许放射疗法射束的调制。根据放射治疗计划，叶片532A至叶片532J可以由被指定用于衰减或阻挡除了孔径之外的区域中的放射束的材料制成。例如，叶片532A至叶片532J可以包括金属板(例如，包括钨)，其中板的长轴平行于射束方向取向，并且具有与射束方向正交取向的端部(如图2A的图示平面中所示)。MLC 332的“状态”可以在放射疗法治疗的过程期间自适应地调整，以便建立更好地接近肿瘤540或其它目标部位的形状或位置的治疗射束。这是与使用静态准直器配置相比，或者与使用专门使用“离线”治疗计划技术确定的MLC 332配置相比。使用MLC 332对肿瘤或肿瘤内的特定区域产生指定放射剂量分布的放射疗法技术可以被称为IMRT。使用MLC 332输出的所得到的射束形状被表示为图形孔径图像。即，生成给定的图形孔径图像以表示射束在通过MLC 332并由MLC 332输出之后的外观(射束形状)及其强度。

图6示出了根据本公开内容的一些实施方式的另一类型的放射治疗装置630(例如，莱克塞尔(Leksell)伽马刀)的实施方式。如图6中所示，在放射疗法治疗阶段中，患者602可以佩戴坐标框架620以保持进行手术或放射治疗的患者的身体部分(例如，头部)稳定。坐标框架620和患者定位系统622可以建立空间坐标系统，该空间坐标系统可以在对患者成像时或在放射手术期间使用。放射治疗装置630可以包括保护壳体614以封闭多个放射源612。放射源612可以生成通过射束通道616的多个放射束(例如，子射束(beamlet)。多个放射束可以被配置成从不同方向聚焦在等中心点210上。虽然每个单独的放射束可以具有相对低的强度，但是当来自不同放射束的多个剂量在等中心点210处累积时，等中心点210可以接收相对高水平的放射。在某些实施方式中，等中心点210可以对应于手术或治疗中的目标，例如肿瘤。

图7A示出了用于训练和使用GAN的示例性数据流，该GAN适合于从接收的投影图像生成多叶准直器(MLC)叶片位置的合成图形孔径图像表示，该投影图像表示对象图像的解剖结构的视图。例如，被训练成产生经训练的生成器模型760的图7A的生成器模型732可以被训练成实现作为图1的放射疗法系统100中的图像处理器114的一部分提供的处理功能。因此，GAN模型使用750(预测)的数据流在图7A中被描绘为向经训练的生成器模型760提供新数据770(例如，表示来自新患者的对象输入图像的解剖结构的视图的投影图像)，以及使用经训练的生成器模型760来产生对生成器输出(图像)734(例如，与表示对象图像的解剖结构的视图的输入投影图像相对应的合成图形孔径图像)的预测或估计。可以从表示从台架的给定角度的解剖结构的视图的患者解剖结构的一个或更多个CT或MR图像生成投影图像。

GAN包括两个网络：生成网络(例如，生成器模型732)，其被训练成执行分类或回归；以及判别网络(例如，判别器模型740)，其对生成网络的输出分布(例如，生成器输出(图像)734)或来自训练图像723的训练图形孔径图像进行采样，并决定该样本是与真实测试分布相同还是不同。该网络系统的目标是驱动生成器网络尽可能精确地学习真实模型，使得判别器网只能以50％的概率确定生成器样本的正确原点，这与生成器网络达到平衡。判别器可以访问真实情况，但是生成器仅通过检测器对生成器输出的响应来访问训练数据。

图7A的数据流示出了训练输入710的接收，训练输入710包括模型参数712和训练数据720(其中这种训练图像723包括一组投影图像，以及条件或约束726，该组投影图像表示与对应于不同视图处的患者成像数据的多叶准直器(MLC)叶片位置的真实图形孔径图像表示配对的对象患者成像数据的解剖结构的不同视图)的各种值。训练输入710被提供至GAN模型训练730，以产生在GAN模型使用750中使用的经训练的生成器模型760。

作为GAN模型训练730的一部分，生成器模型732在表示对象图像对722(在图7B中还被描绘为723)的解剖结构的视图的真实训练图形孔径图像和相对应的训练投影图像上被训练成在CNN中产生和映射片段对。以这种方式，生成器模型732被训练成基于输入图产生MLC叶片位置的模拟或合成图形孔径图像作为生成器输出(图像)734。判别器模型740决定模拟图形孔径图像是来自训练数据(例如，MLC叶片位置的训练图形孔径图像表示或真实图形孔径图像表示)还是来自生成器(例如，合成图形孔径图像表示，如在生成器模型732与判别器模型740之间传递的)。判别器输出736是判别器模型740的指示所接收的图像是模拟图像还是真实图像的决定，并且用于训练生成器模型732。在一些情况下，在所生成的图像上利用判别器来训练生成器模型732，并且基于周期一致性损失信息来进一步训练生成器模型732。该训练过程导致权重调整738、742的反向传播，以改进生成器模型732和判别器模型740。

在生成器模型732的训练期间，可以从患者图像和预期结果中选择一批训练数据。所选择的训练数据可以包括表示患者解剖结构从给定台架角度的视图的患者解剖结构的至少一个投影图像以及在该给定台架角度下的相应训练图形孔径图像或真实图形孔径图像和/或机器参数数据。所选择的训练数据可以包括表示从多个等距或非等距台架角度(例如，从0度、从15度、从45度、从60度、从75度、从90度、从105度、从120度、从135度、从150度、从165度、从180度、从195度、从210度、从225度、从240度、从255度、从270度、从285度、从300度、从315度、从330度、从345度和/或从360度)的同一患者解剖结构的视图的患者解剖结构的多个投影图像，以及在那些不同的等距或非等距台架角度下的相应训练图形孔径图像和/或机器参数数据。

因此，在该示例中，用于GAN模型训练730的数据准备需要MLC叶片位置的图形孔径图像表示，其与表示对象图像的解剖结构的视图的投影图像配对(这些可以被称为表示在各种台架角度下的对象图像的解剖结构的视图的训练投影图像)。也就是说，训练数据包括配对的与相应的投影图像在相同的台架角度下的图形孔径图像组。在示例中，原始数据包括成对的表示在各种台架角度下的对象的解剖结构的视图的投影图像，以及MLC叶片位置在相应台架角度下的相应图形孔径图像表示，其可以被配准并重新采样到公共坐标系以产生成对的解剖结构导出图像。训练数据可以包括在任何数量的不同台架角度下的多个患者的多个这些成对的图像。在一些情况下，训练数据可以包括360对投影图像和图形孔径图像，针对每个训练患者的台架的每个角度各一对投影图像和图形孔径图像。在一些情况下，可以包括8对，其中每对表示解剖结构相对于台架的不同的45度视图。

预期结果可以包括MLC的叶片的估计或合成的图形孔径图像表示，该估计或合成的图形孔径图像表示可以用于计算控制点，以用于生成相应的台架角度下的射束形状，从而限定对患者的放射治疗的递送。控制点或机器参数可以包括至少一个台架角度、至少一个多叶准直器叶片位置以及至少一个孔径权重或强度。

详细地，在GAN模型中，生成器(例如，生成器模型732)学习数据x上的分布p_G(x)，从具有分布p_Z(z)的噪声输入开始，因为生成器学习映射G(z；θ_G)：p_Z(z)→p_G(x)，其中G是表示具有层权重和偏差参数θ_G的神经网络的可微函数。判别器D(x；θ_D)(例如，判别器模型740)将生成器输出映射到二进制标量{真，假}，如果生成器输出来自实际数据分布p_数据(x)则判定为真，以及如果生成器输出来自生成器分布p_G(x)则判定为假。也就是说，D(x)是x来自p_数据(x)而不是来自p_G(x)的概率。在另一个实施方式中，可以利用配对的训练数据，其中，例如，Y取决于(依赖于)X。在这种情况下，GAN生成器映射由来自数据域X和域Y的G(y|x；θ_G)：X→Y表示，在数据域X中数据x∈X表示解剖结构投影图像，在域Y中数据y∈Y表示对应于x的控制点孔径。在此，孔径的估计取决于其投影。与直GAN的另一个不同之处是，投影图像x是生成器输入，而不是随机噪声z输入。对于这个实施方式，判别器的设置与上面相同。一般而言，生成器模型732和判别器模型740处于循环数据流中，其中一个的结果馈送至另一个中。判别器获取训练或生成的图像，并且其输出用于调整判别器权重和指导生成器网络的训练两者。

图7B示出了根据本公开内容的适合于生成MLC叶片位置在一个或更多个台架角度下的合成图形孔径图像表示(或图形孔径图像)的示例性CNN模型。具体地，图7B中所示的模型描绘了“U-Net”深度CNN的布置，其被设计用于基于输入训练集(例如，配对的投影图像和图形孔径图像723)生成输出数据集(输出图形孔径图像736)。该名称来源于“U”配置，并且众所周知，这种形式的CNN模型可以产生像素级分类或回归结果。在一些情况下，通向CNN模型的第一路径包括一个或更多个可变形偏移层以及一个或更多个卷积层，一个或更多个卷积层包括卷积、批量归一化以及诸如修正线性单元(ReLU)或其变体之一的激活。该模型生成图形孔径图像736作为输出数据集。

模型操作的左侧(“编码”操作792)学习右侧(“解码”操作794)用来重建输出结果的一组特征。U-Net具有由conv/BN/ReLU(卷积/批量归一化/修正线性单元)块790组成的n个级，并且每个块具有跳过连接以实现残差学习。块大小在图7B中由“S”和“F”数字表示；输入图像在大小上为SxS，并且特征层的数量等于F。每个块的输出是与图像大小相同的阵列中的特征响应的模式。

沿着编码路径，块的大小在每个级处减小了1/2或2^-1，而特征的大小按照惯例增加了2倍。网络的解码侧从S/2ⁿ开始按比例回升，同时在同一级处从左侧在特征内容上添加；这是复制/连接数据通信。输出图像与该图像的训练版本之间的差异通过反向传播驱动生成器网络权重调整。为了推理或测试，通过使用模型，输入将是投影图像723(例如，在不同的台架角度下)的单个图像或图像集合，并且输出将是图形孔径图像736(例如，对应于不同台架角度的图形图像)。

因此，图7B的模型的表示示出了适合于执行回归而不是分类的生成模型的训练和预测。图7C示出了根据本公开内容的适合于判别合成图形孔径图像的示例性CNN模型。图7C中所示的判别器网络可以包括配置有步幅2的卷积层、批量归一化层和ReLU层的几个级块，以及分开的池化层。在网络的末端，将存在一个或几个完全连接层以形成用于判别目的的2D补丁。图7C中示出的判别器可以是基于补丁的判别器，其被配置成接收输入图形孔径图像(例如，从图7B中示出的生成器生成的)，将图像分类为真或假，并且提供分类作为输出检测结果744。

与本公开内容的实施方式一致，基于这种模型的治疗建模方法、系统、装置和/或过程包括两个阶段：通过使用GAN中的判别器/生成器对来训练生成模型；以及通过使用GAN训练的生成器，利用生成模型进行预测。在以下示例中详细讨论了涉及用于图形孔径图像生成的GAN和CycleGAN的各种示例。应当理解，深度学习模型的类型和其他神经网络处理方法的其他变化和组合也可以利用本技术来实现。此外，尽管参照图像和图像数据讨论了以下示例，但是应当理解，以下网络和GAN可以通过使用其他非图像数据表示和格式来操作。

在深度CNN训练中，学习的模型是在训练期间确定的层节点参数θ(节点权重和层偏差)的值。训练采用训练数据与模型分布之间的最大似然或交叉熵。表达这种关系的成本函数是：

特定问题的成本函数的确切形式依赖于所用模型的性质。高斯模型p_模型(y|x)＝N(y：f(x；θ))意味着诸如如下的成本函数：

其包括不依赖于θ的常数项。因此，使

最小化生成近似于训练数据分布的映射f(x；θ)。

GAN的有用扩展是条件GAN。条件对抗网络从观察到的图像x和随机噪声Z中学习映射为G：{x，z}→y。两个对抗网络都由如下两个网络组成：判别器(D)和生成器(G)。生成器G被训练成产生不能通过对抗训练的判别器D与“真”或实际训练图像区分的输出，对抗训练的判别器D被训练成在检测G的“假”或输出时最大程度地精确。条件GAN不同于无条件GAN，因为判别器和生成器推理两者都取决于类型X的示例图像。

条件GAN损失函数为：

其中，相对于试图使这个损失最大化的对抗D，G试图使这个损失最小化，或者，

另外，希望生成器G使训练估计与实际训练真实图像之间的差，

最小化，因此，完全损失是两个损失的λ加权和

条件GAN中的生成器可以是U-Net。

根据一些实施方式，条件GAN的生成器被训练成接收投影图像并生成对应于投影图像的合成图形孔径图像。判别器从生成器接收合成图形孔径图像，并且被训练成将所接收的合成图形孔径图像与成真的图像或者假或合成图像区分开。生成器被训练成使合成图形孔径图像与相应的训练图形孔径图像之间的差异最小化。为此，在生成器生成合成图形孔径图像之后，检索对应于投影图像的训练图形孔径图像。例如，投影图像可以是表示在先前治疗的给定患者的治疗分次的特定时间间隔期间，从15度的台架角度的CT图像的2D或3D投影的图像。可以生成图形孔径图像，该图形孔径图像表示针对完全相同的患者、相同的特定时间间隔和相同的15度台架角度的放射疗法治疗机器参数。该图形孔径图像与投影图像配对，并且作为训练图形孔径图像被检索。在为投影图像生成的合成图形孔径图像与这个检索的训练图形孔径图像之间进行比较。然后，基于该差异更新生成器的参数，以试图使该差异最小化。基于判别器是否正确地将生成的图像分类为真或假类似地训练判别器。基于考虑了判别器误差和生成器差异的总损失函数来更新生成器的参数。

随后，针对相同或不同患者且处于相同或不同台架角度的第二投影图像与配对的训练图形孔径图像一起被检索。生成器接收该第二投影图像并生成第二合成图形孔径图像。产生在配对的训练图形孔径图像与合成生成的图形孔径图像之间的差异，并且基于该差异再次更新生成器的参数。一旦训练数据中的全部或大部分被处理并用于更新生成器的参数，以及/或者一旦指定数量的时期，或者当误差(在合成图形孔径图像与训练图形孔径图像之间)在阈值内时，训练结束并且输出生成器的参数。

GAN的另一个有用扩展是下面结合图7D描述的CycleGAN。图7D示出了根据本公开内容的一些示例的用于从接收的投影图像集合生成图形孔径图像集合(例如，合成或估计的图形孔径图像集合)的CycleGAN731的训练和使用。CycleGAN 731包括第一生成器模型735、第二生成器模型737、第一判别器模型739A和第二判别器模型739B。第一生成器模型735包括可变形偏移层和卷积块，并且第二生成器模型737包括可变形偏移层和卷积块。这两个模型735和737可以各自是生成器模型732(图7A)的实现(例如，作为回归型DCNN模型)，并且第一判别器模型739A和第二判别器模型739B可以各自是判别器模型740的实现(例如，作为分类型DCNN模型)。CycleGAN 731可以被划分成两个部分，第一部分733A和第二部分733B。

每个生成器模型735和737的卷积块可以一起训练，或者与其他生成器和判别器模型的训练分开训练。具体地，生成器模型735和737的卷积块被训练成获得正确的权重以执行它们的功能。可变形偏移层可以各自被训练成协调偏移、重新采样和执行插值。可变形偏移层可以一起训练，或者与生成器和判别器模型的训练分开训练。这些偏移层的作用改变来自上卷积块的原始规则采样网格，引入坐标偏移，并且使用插值对图像进行重新采样。可替选地或另外，可变形偏移层可以使用空间转换器、其他类型的卷积层和/或可以存储图像的变形结构信息的任何其他模块来实现。可变形偏移层中的偏移层数量可以基于图像大小、下采样卷积层数量和其他因素而变化。

在示例中，在第一部分733A中，第一生成器模型735可以被训练成接收训练投影图像723A(其可以包括图像对722之一)的集合，并且生成相应的第一合成图形孔径图像的集合作为第一生成结果736A。第一生成器模型735被称为G^{proj2aperture}。

第一生成结果736A可以被提供至第一判别器模型739A。第一判别器模型739A可以将合成图形孔径图像的集合分类为真实图形孔径训练图像的集合或模拟图形孔径训练图像的集合，并提供该分类作为检测结果744A。第一生成结果736A和检测结果744A可以反馈到第一生成器模型735和第一判别器模型739A，以调整由第一生成器模型735和第一判别器模型739A实现的权重。例如，第一生成结果736A(例如，由第一生成器模型735生成的图形孔径图像的集合)和检测结果744A可以用于计算对抗损失。

第一生成结果736A(例如，合成图形孔径图像的集合)还可以同时提供至第二生成器模型737。第二生成器模型737可以接收第一生成结果736A，并生成相应的模拟投影图像的集合作为输出。模拟投影图像的集合可以被称为循环投影图像741的集合，并且可以用于计算循环损失以调整第一生成器模型735/第二生成器模型737的权重。生成第一循环投影图像741的集合的第二生成器模型737被称为G^{aperture2proj}。

在示例中，在第二部分733B中，第二生成器模型737可以被训练成接收真实训练图形孔径图像723B(其可以包括图像对722之一)的集合，并且生成相应的合成投影图像的集合(合成或模拟投影图像的集合)作为第一生成结果736B。生成第一生成结果736B的第二生成器模型737是与第一部分733A中使用的生成器相同的生成器。

第一生成结果736B可以被提供至第二判别器模型739B。第二判别器模型739B可以将合成投影图像的集合分类为真实投影训练图像的集合或模拟投影训练图像的集合，并且提供该分类作为检测结果744B。第一生成结果736B和检测结果744B可以反馈到第二生成器模型737和第二判别器模型739B，以调整由第二生成器模型737和第二判别器模型739B实现的权重。例如，第一生成结果736B(例如，由第二生成器模型737生成的合成投影图像的集合)和检测结果744B可以用于计算对抗损失。

第一生成结果736B(例如，合成投影图像的集合)还可以同时提供至第一生成器模型735。第一生成器模型735可以接收第一生成结果736B，并生成相应的循环图形孔径图像743作为输出。循环图形孔径图像743可以用于计算循环损失，以调整第一生成器模型735/第二生成器模型737的权重。生成循环图形孔径图像743的第一生成器模型735是与第一部分733A中使用的生成器相同的生成器，并且生成循环图形孔径图像743的第二生成器模型737是与第一部分733A中使用的生成器相同的生成器。

在一些示例中，“对抗损失”可以解释第一判别器模型739A和第二判别器模型739B的分类损失。第一判别器模型739A和第二判别器模型739B可以对合成图像是否具有与真实图像相似的分布进行分类。对于循环一致性损失，分别在每对真实投影图像的集合和循环投影图像的集合之间，以及在每对真实图形孔径图像和循环图形孔径图像之间计算损失。例如，可以在投影训练图像723A的集合与循环投影图像741的集合之间计算第一损失，并且可以在真实训练图形孔径图像723B的集合与循环图形孔径图像743的集合之间计算第二损失。循环投影图像741的集合和循环图形孔径图像743都可以通过进行正向和反向循环来获得。每对真实投影图像723A的集合和循环投影图像741的集合可以在相同的投影图像集合域中，并且每对真实训练图形孔径图像723B和循环图形孔径图像743可以在相同的图形孔径图像域中。CycleGAN 731可以相应地依靠整个池(或多个)真或真实投影训练图像723A和整个池(或多个)真实训练图形孔径图像723B来产生合成图形孔径图像(图形孔径图像的集合)、合成投影图像的集合、循环投影图像741的集合和循环图形孔径图像743。基于“对抗损失”和“循环一致性损失”，CycleGAN 731可以产生清晰的合成图形孔径图像，该合成图形孔径图像具有与真实图形孔径图像相似的图像分辨率。

在一些示例中，(例如，系统100的)处理器可以应用图像配准来将真实图形孔径训练图像配准到训练投影图像的集合。这可以创建在训练数据中的不同台架角度下的投影图像与不同台架角度中的每个下的图形孔径图像之间的一对一对应关系。这种关系可以被称为配对的或成对的投影图像和图形孔径图像。

在一些实现方式中，CycleGAN 731可以被实现为根据包括对抗损失项和循环一致性损失项的目标函数来生成图形孔径图像的集合。CycleGAN网络具有两个独立的对抗损失。与条件GAN类似，映射G：X→Y及其相关联的判别器D_Y给出了由

表示的损失。

对抗损失可以使用第一生成器模型735/第二生成器模型737和第一判别器模型739A/第二判别器模型739B来确定，并且可以表示为：

对抗损失：

L_GANs＝L_GAN(G^{proj2aperture}，D_aperture，x，y)+L_GAN(G^{aperture2proj}，D_proj，y，x)，

其中：

L_GAN(G^{proj2aperture}，D_aperture，x，y)＝E_x～p(proj)[D_ct(G^{proj2aperture}(x))]²+E_{y～p(aperture)}[D_aperture(y)-1]²，

L_GAN(G^{aperture2proj}，D_proj，y，x)＝E_{y～p(aperture)}[D_proj(G^{aperture2proj}(y))]²+E_x～p(proj)[D_proj(x)-1]²。

D_aperture是确定一个图像是真实图形孔径图像的集合还是合成图形孔径图像的集合的第一判别器模型。D_proj是确定一个图像是真实投影图像的集合还是合成投影图像的集合的第二判别器模型。

循环一致性损失适用于两个生成器G^{proj2aperture}和G^{aperture2proj}。这种循环一致性损失项可以使用图像741和743来确定，并且可以表示为：

L_CYC(G^{proj2aperture}，G^{aperture2proj}，x，y)

＝E_x～p(proj)||G^{aperture2proj}(G^{proj2aperture}(x))-x||₁

+E_{y～p(aperture)}||G^{proj2aperture}(G^{aperture2proj}(y))-y||₁。

使“循环一致性”损失项最小化的作用是保持原始结构并避免不必要的结构变形，并且使“对抗”损失项最小化的作用是学习从一个域到其对手域的映射或分布转换。当输入目标域Y的实际样本时，可以使用身份损失来将生成器正则化为接近身份映射。身份损失可以由

来表示。

因此，总目标函数可以表示为：总损失：L_总＝L_GANs+λ_循环·L_循环+λ_身份·L_身份，其中λ_循环和λ_身份控制损失的相对强度，或者可以表示为：

CycleGAN 731可以根据以下来训练第一生成器735和第二生成器737：

这可以通过深度学习领域中使用的一些常见优化算法，例如随机梯度下降、Adam方法或其他流行方法来完成。

前面的示例提供了可以如何基于图形孔径图像的集合和投影图像的集合对，具体地从多个平行或顺序路径中的2D或3D图像切片中的图像数据训练GAN、条件GAN或CycleGAN的示例。应当理解，GAN、条件GAN或CycleGAN可以处理其他形式的图像数据(例如，3D或其他多维图像)。此外，尽管由附图仅描绘了灰度(包括黑色和白色)图像，但是应当理解，可以由GAN生成和/或处理彩色图像，如以下在示例中所讨论的。

作为示例，可以使用一批训练数据来训练CycleGAN，该批训练数据包括各个患者的配对的投影图像和图形孔径图像。具体而言，第一批训练数据可以包括第一患者的投影图像的集合，其用于生成在第一治疗分次中治疗第一患者的治疗计划。基于治疗计划，可以生成相应的图形孔径图像的集合。每个图形孔径图像与第一患者相关联，并且与第一治疗分次相关联。每个图形孔径图像与投影图像配对，使得在治疗分次中的给定时间点处的给定台架角度的投影图像与相应的图形孔径图像相关联。

在一些实现方式中，第一批训练数据由CycleGAN处理，以训练第一生成器和第二生成器以及第一判别器和第二判别器。具体地，CycleGAN的第一部分中的第一生成器接收与第一台架角度和第一患者的治疗分次的第一部分相对应的第一投影图像。第一生成器生成对应于第一投影图像的第一合成图形孔径图像。第一合成图形孔径图像被提供至第一判别器，该第一判别器试图区分第一合成图形孔径图像是真实或训练图形孔径图像还是合成图形孔径图像。针对第一台架角度和第一患者的治疗分次的第一部分的对应于第一投影图像的第一训练图形孔径图像被检索并用于损失函数中以训练第一生成器和第一判别器。

第一合成图形孔径图像被同时或顺序地提供至第二生成器。第二生成器生成对应于第一合成图形孔径的循环投影图像。然后，将循环投影图像与第一投影图像进行比较，以生成循环损失。基于包括循环损失的损失函数来训练第一生成器、第二生成器和第一判别器。

与接收第一投影图像的第一部分并行，CycleGAN的第二部分中的第二生成器接收对应于第一投影图像的第一训练图形孔径图像。第二生成器生成对应于第一训练图形孔径图像的第一合成投影图像。第一合成投影图像被提供至第二判别器，该第二判别器试图区分第一合成投影图像是真实或训练投影图像还是合成投影图像。针对第一台架角度和第一患者的治疗分次的第一部分的对应于第一训练图形孔径图像的第一投影图像被检索，并用于损失函数中以训练第二生成器和第二判别器。

第一合成投影图像被同时或顺序地提供至第一生成器。第一生成器生成对应于第一合成投影图像的循环图形孔径图像。然后，将循环图形孔径图像与第一训练图形孔径图像进行比较，以生成循环损失。基于包括循环损失的损失函数来训练第一生成器、第二生成器和第二判别器。

然后，第一部分和第二部分检索另一批训练数据，并对先前为其生成治疗计划的另一个患者的另一配对的投影图像和图形孔径图像组执行类似的操作。一旦处理了指定数量的时期或训练数据，和/或当损失函数达到指定阈值时，训练完成，并且第一生成器被输出，并用于为对应于新患者或对象的新的投影图像的集合生成图形孔径图像。

图10示出了用于训练诸如CycleGAN的GAN的方法1000的实施方式，GAN用于基于描绘从台架角度的患者解剖结构的视图的至少一个医学图像投影来确定针对该特定台架角度的一组机器参数或图形孔径图像。GAN可以接收表示不同的图像投影的医学图像的集合，所述不同的图像投影描绘从不同的台架角度的患者解剖结构的视图。投影图像可以由CT图像、MRI图像、合成CT和/或PET图像生成。GAN还可以接收相应的解剖结构体素标记图和标记对象符号距离图的函数。然后可以针对医学图像的每个集合确定投影图像中描绘的各种台架角度的机器参数或图形孔径图像。在一个实施方式中，机器参数或图形孔径图像可以与医学投影图像的集合一起被接收。

机器参数可以包括至少一个台架角度、至少一个多叶准直器叶片位置和至少一个孔径权重或强度。机器参数可以由表达式

表示，其中，Y可以表示一组K个机器参数数据对象，φ可以表示台架角度，

可以表示角度φ下的第n左多叶准直器叶片位置和右多叶准直器叶片位置，并且y^φ可以表示对于台架角度φ的孔径权重或强度。为了开始网络训练，可以将迭代索引设置为初始值零。一批训练数据可以由所接收的医学图像投影的集合的子集和针对由医学图像投影表示的台架角度的相对应的图形孔径图像形成。特别地，一批医学图像投影可以表示从多个台架角度的第一训练对象的解剖结构，并且训练数据包括基于在治疗第一训练对象的情况下在多个台架角度中的每个台架角度下使用的机器参数生成的图形孔径图像。另一批医学图像投影可以表示从多个台架角度的第二训练对象的解剖结构，并且训练数据包括基于在治疗第二训练对象的情况下在多个台架角度中的每个台架角度下使用的机器参数生成的图形孔径图像。[用新的Word数学图形替换旧的数学图形。]

该批训练数据可以被提供给GAN，并且可以基于该批训练数据更新GAN参数。对于给定的接收的媒体图像投影的集合，GAN可以基于GAN的当前参数提供输出的机器参数或图形孔径图像的集合。可以在输出的机器参数或图形孔径图像的集合之间进行比较，所述输出的机器参数或图形孔径图像的集合对应于在该批训练数据中的接收的医学图像投影集合(例如，训练机器参数或图形孔径图像)。根据比较确定相应的误差集合，其中每个误差值可以是估计的机器参数或图形孔径图像与相对应的训练机器参数或图形孔径图像之间的差。然后可以基于相对应的误差例如通过使用反向传播来更新GAN的参数。

在一个实施方式中，可以更新GAN的参数Θ，以便最小化或减少成本函数，例如成本函数

其中Y可以表示由GAN确定的机器参数或图形孔径图像，其中Y^*可以表示对应于该批训练数据的已知的机器参数或图形孔径图像，并且其中Θ^*可以表示GAN的对应于Y与Y^*之间的最小平方差的参数(例如，如上所述的层节点权重和偏差)。

在一个实施方式中，成本函数可以包括概率函数，其中可以根据表达式Θ_训练＝argmax_ΘP(Y|X；Θ)或Θ_训练＝argnax_Θ∑_t∈rlogP(Y_t|X_t；Θ)来确定GAN的参数，其中Θ_训练可以表示完全训练的GAN的参数，并且X可以表示根据解剖结构体素标记图或标记对象符号距离图的函数得到的在不同台架角度下的医学图像投影的集合。

在更新GAN的参数之后，迭代索引可以增加值1。迭代索引可以对应于GAN的参数已经被更新的次数。可以计算停止标准，并且如果满足停止标准，则可以将GAN模型保存在存储器诸如图像处理装置112的存储器装置116中，并且可以停止训练。如果不满足停止标准，则可以通过从同一训练对象或另一训练对象获得另一批训练图像来继续训练。在一个实施方式中，停止标准可以包括迭代索引的值(例如，停止标准可以包括迭代索引是否大于或等于确定的最大迭代次数)。在一个实施方式中，停止标准可以包括输出的机器参数或图形孔径图像的集合的准确度(例如，停止标准可以包括输出的机器参数或图形孔径图像的集合与对应于该批训练数据中的接收的医学图像投影的集合的机器参数或图形孔径图像之间的差是否小于阈值)。在一个实施方式中，阈值可以对应于所确定的所有误差的渐近最小值。在一个实施方式中，机器参数或图形孔径图像可以以具有指定例如孔径、角度和强度值的固定格式的图像的形式呈现给GAN。在一个实施方式中，患者图像可以与机器参数池化，并且可以呈现为实数阵列。

使用机器学习模型预测机器参数或控制点的动机是加速治疗计划计算。目前，常规的治疗计划从CT图像或MR图像通过解剖结构和目标描绘进行到计划。现代IMRT和VMAT计划使用图像和描绘的结构来限定3D剂量分布和用于递送该剂量分布的机器参数。基于CT图像或MR图像的所得到的临床计划通常在两个阶段的数值优化之后产生。在MR图像的情况下，提供附加步骤以将MR图像转换成合成CT图像。CT图像像素强度是组织的X射线吸收的函数，并且为治疗计划程序提供必要的物理信息。基于MR的计划创建合成CT图像，以针对计划提供该X射线吸收数据。第一阶段(例如，注量图优化(Fluence Map Optimization)或“FMO”)产生满足计划者的要求的理想化的剂量分布。第二阶段(例如，片段形状、权重优化)创建用于给定的线性加速器和MLC的机器参数，以在患者体内产生尽可能地符合注量图分布的3D剂量分布。

所公开的实施方式提高了使用控制点预测(例如，DL计划估计)创建治疗计划的质量和速度。GAN工作流设想解剖结构和目标的GAN分割以及针对MR图像的合成CT的生成。GAN训练基于包含两个优化阶段的非常好的治疗计划产生控制点的模型。由经训练的GAN估计的控制点在某种意义上包含了两个计划阶段中的信息。可以缩短计划处理的一种方式包括一起消除注量图阶段，并且将控制点估计用作第二阶段(分段形状、权重优化)的输入。这加快了第二阶段计算，从而加快了计划处理。

基于解剖结构的控制点预测的挑战是解剖结构和控制点具有根本上不同的共同表示。解剖结构由各种模态的直线医学图像描述，而控制点是实数参数的向量。此外，即使控制点的孔径由图像中的图形表示来表示，孔径的取向也不对应于解剖结构的标准的2D视图或3D视图中的任何视图。当线性加速器围绕患者以弧形行进时，任何时刻的解剖结构视图都是解剖结构的投影图像，等同于在该角度下的该解剖结构的平面射线照片。根据一些实施方式，控制点孔径数据被重新格式化、转换成孔径图像并且与相对应角度下的解剖结构投影对准。

一旦被训练，仅给定在一个或更多个台架角度下的新患者的投影图像850，GAN就可以计算针对新患者(例如，没有贡献在训练过程中使用的已知图像或图像函数的患者)的一个或更多个台架角度的图形孔径图像1010的估计。在一个实施方式中，GAN可以包括用于回归的GAN。GAN可以存储在存储器诸如图像处理装置112的存储器装置116中。GAN可以由以层的块组织的(可能许多)卷积层构成，其中每个块通常对图像的连续较低分辨率版本和控制点数据进行操作。投影图像850数据和相对应的图形孔径图像920数据可以通过具有宽度为一的内核的卷积层引入至GAN中。每个卷积层块可以由至少一个卷积层和可以将非线性函数应用于卷积层的输出的非线性层(例如，整流线性单元或ReLU层)组成。每个块还可以包含批量标准化层、缩放层或可以被确定的其它层，以便提供对期望的图形孔径图像值的最准确的估计。每个集合的最后一块中的最后一层可以是池化层(pooling layer)，该池化层可以将卷积输出数据下采样一定量(例如，一半)，并且可以在称为最大池化的处理期间取输出卷积层中的相关层节点值的最大值。每个卷积块集合的变化形状可以指示图像数据的空间分辨率可以降低(块高度)，而每层的参数的数量可以增加(块宽度)。层的布置和层组合组成可以保存DCNN的信息内容。

在网络训练期间，可以将使用投影图像850输出的图形孔径图像与正确的图形孔径图像920(例如，训练图形孔径图像)进行比较，并且使用差异(例如，误差)来校正网络参数。校正处理被称为反向传播。网络参数可以是与其值可以在反向传播期间被重置的层节点相关联的在图10中概括为Θ的层节点权重系数和偏差项。网络训练产生图10中所示的网络模型或函数f(X：Θ)。该模型取决于输入训练图像X和网络参数Θ两者。一旦被训练，网络模型就可以产生针对未被用于训练网络模型的患者的在输出层处输出的图形孔径图像1010。图形孔径图像1010是针对新患者的图形孔径图像估计。

图11A示出了用于训练第一生成模型的示例性操作的过程1100A的流程图，该第一生成模型适合于根据输入投影图像的集合输出合成图形孔径图像的集合。从放射疗法系统100的角度示出了过程1100A，该放射疗法系统100使用GAN或CycleGAN来训练和利用第一生成模型，如在前面的示例中所讨论的。然而，相应的操作可以由其他装置或系统执行(包括在与特定图像处理工作流程或医学治疗分离的离线训练或验证设置中)。

如所示地，流程图工作流程的第一阶段从操作(1110，1120)开始，以建立训练和模型操作的参数。过程1100A开始于接收(例如，获得、提取、识别)训练图像数据的操作(操作1110)以及接收(例如，获得、提取、识别)训练的约束或条件的操作(操作1120)。在示例中，该训练图像数据可以包括来自多个人类对象的图像数据，涉及特定的状况、解剖特征或解剖区域——例如对象和各种台架角度的目标区域的成对投影图像和真实图形孔径图像。此外，在示例中，约束可以涉及成像装置、治疗装置、患者或医学治疗考虑。在示例中，这些约束可以包括对抗损失和基于循环一致性的损失。

过程1100A的第二阶段继续训练操作，包括在生成式对抗网络中生成模型和判别模型的对抗训练(操作1130)。在示例中，对抗训练包括训练第一生成模型以通过处理输入投影图像的集合来生成模拟图形孔径图像(操作1142)。第一模拟图形孔径图像的集合被提供至判别模型，以训练判别模型将所生成的模拟图形孔径图像的集合分类为模拟训练数据或真实训练数据(操作1144)。此外，在这种对抗训练中，第一生成模型的输出被用于训练判别模型，并且判别模型的输出被用于训练第一生成模型。如结合图11B和过程1100B所述，第一模拟图形孔径图像的集合分别被传递到第二生成模型。第二生成模型从第一合成图形孔径图像的集合生成循环投影图像。循环投影图像在损失项中用于训练第一生成模型。第二生成模型的训练被示出为图11B中的操作1146和1148。

在各种示例中，第一生成模型和判别模型包括各自的卷积神经网络。在其他示例中，生成式对抗网络是如下循环生成式对抗网络，其中采用多个生成模型和对抗模型，并且来自一个生成模型的输出被作为输入提供至第二生成模型。

过程1100A继续输出第一生成模型以用于生成合成图形孔径图像的集合(操作1150)，因为第一生成模型适合于基于对象的输入投影图像的集合生成图形孔径图像的集合。在一些情况下，第二生成模型的输出被用于生成合成投影图像的集合(图11B中的操作1152和1162)。

过程1100A继续利用经训练的第一生成模型来基于对象的输入投影图像的集合生成合成图形孔径图像的集合(操作1160)。

过程1100A以实现对第一生成模型的更新的最终阶段结束，包括基于附加训练数据更新生成模型(操作1170)以及输出更新的经训练的第一生成模型(操作1180)。在一些情况下，最终阶段是实现对第二生成模型的更新，包括基于附加训练数据更新第二生成模型(操作1172，图11B)。在各种示例中，可以结合附加训练图像数据和约束的接收(例如，以类似于操作1110、1120的方式)，或者附加对抗训练的执行(例如，以类似于操作1130、1142、1144的方式)来产生更新。在其他示例中，可以基于对图形孔径图像的集合的批准、改变或使用(例如，由通过医学专业人员对图像数据的修改、验证或改变引起的)具体更新生成模型。流程图以使用更新的经训练的生成模型结束(操作1190)，例如，流程图可以在将更新的生成模型用于后续放射疗法治疗中执行。

图11B示出了用于训练第二生成模型的示例性操作的过程1100B的流程图，该第二生成模型适合于根据输入图形孔径图像的集合(例如，真实或训练图形孔径图像)输出合成投影图像的集合。从放射疗法系统100的角度示出了过程1100B，该放射疗法系统100使用GAN或CycleGAN来训练和利用第二生成模型，如在前面的示例中所讨论的。然而，相应的操作可以由其他装置或系统执行(包括在与特定图像处理工作流程或医学治疗分离的离线训练或验证设置中)。

如所示地，流程图工作流程的第一阶段从操作(1110，1120)开始，以建立训练和模型操作的参数。过程1100B开始于接收(例如，获得、提取、识别)训练图像数据的操作(操作1110)以及接收(例如，获得、提取、识别)训练的约束或条件的操作(操作1120)。在示例中，该训练图像数据可以包括来自多个人类对象的图像数据，涉及特定的状况、解剖特征或解剖区域——例如对象和各种台架角度的目标区域的成对投影图像和真实图形孔径图像。此外，在示例中，约束可以涉及成像装置、治疗装置、患者或医学治疗考虑。在示例中，这些约束可以包括对抗损失和基于循环一致性的损失。

过程1100B的第二阶段继续训练操作，包括在生成式对抗网络中生成模型和判别模型的对抗训练(操作1130)。在示例中，对抗训练包括训练第二生成模型以通过处理输入图形孔径图像的集合来生成模拟投影图像(操作1146)。第一模拟集合投影图像的集合被提供至判别模型，以训练判别模型将生成的模拟投影图像的集合分类为模拟训练数据或真实训练数据(操作1148)。此外，在这种对抗训练中，第二生成模型的输出被用于训练判别模型，并且判别模型的输出被用于训练第二生成模型。如结合图11B和过程1100B所述，第一模拟投影图像的集合分别被传递到第一生成器模型。第一生成模型从第一合成投影图像的集合生成循环图形孔径图像。循环图形孔径图像在损失项中用于训练第二生成模型。

过程1100B继续输出第二生成模型以用于生成合成投影图像的集合(操作1152)，因为第二生成模型适合于基于对象的输入图形孔径图像的集合生成投影图像的集合。

过程1100B继续利用经训练的第二生成模型来基于对象的输入图形孔径图像的集合生成合成投影图像的集合(操作1162)。

过程1100B以实现对第二生成模型的更新的最终阶段结束，包括基于附加训练数据更新第二生成模型(操作1172)以及输出更新的经训练的第二生成模型。在各种示例中，可以结合附加训练图像数据和约束的接收(例如，以类似于操作1110、1120的方式)，或者附加对抗训练的执行(例如，以类似于操作1130、1146、1148的方式)来产生更新。在其他示例中，第二生成模型可以基于对投影图像的集合的批准、改变或使用(例如，由通过医学专业人员对图像数据的修改、验证或改变引起的)具体更新。

图12是示出根据示例实施方式的图像处理装置112在执行处理1200时的示例操作的流程图。处理1200可以体现在用于由一个或更多个处理器执行的计算机可读指令中，使得处理1200的操作可以部分或全部地由图像处理装置112的功能性部件来执行；因此，下面通过参照其的示例来描述处理1200。然而，在其它实施方式中，处理1200的操作中的至少一些操作可以部署在各种其它硬件配置上。因此，处理1200不旨在限于图像处理装置112，而是可以全部或部分地由任何其他部件来实现。处理1200的操作中的一些或全部操作可以是并行的、无序的或被完全省略。

在操作1230处，图像处理装置112接收第一投影图像，该第一投影图像表示对象的解剖结构从放射疗法治疗机器的第一台架角度的视图。

在操作1250处，图像处理装置112使用生成模型，基于第一投影图像生成MLC叶片位置在第一台架角度下的第一图形孔径图像表示。基于生成式对抗网络来训练生成模型，以处理表示患者解剖结构的不同视图的投影图像作为输入，并提供MLC叶片位置在与不同视图对应的不同台架角度下的相应图形孔径图像表示作为输出。

在操作1260处，图像处理装置112基于所生成的第一图形孔径图像表示生成一个或更多个放射治疗设备参数。

图13示出了机器1300的实施方式的框图，在该机器1300上可以实现如本文所讨论的方法中的一个或更多个方法。在一个或更多个实施方式中，图像处理装置112的一项或更多项可以由机器1300来实现。在替选的实施方式中，机器1300作为独立的装置进行操作，或者可以连接(例如，联网)至其他机器。在一个或更多个实施方式中，图像处理装置112可以包括机器1300的项中的一项或更多项。在联网的部署中，机器1300可以在服务器客户端网络环境中以服务器或客户端机器的能力进行操作，或者在对等(或分布式)网络环境中作为对等机器进行操作。机器可以是个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、网络设备、网络路由器、交换机或网桥或者能够(顺序地或以其他方式)执行指定要由该机器采取的动作的指令的任何机器。此外，尽管仅示出了单个机器，但是术语“机器”也应被理解为包括机器的任合集合，这些机器单独地或联合地执行一组(或多组)指令以执行本文所讨论的方法中的任何一个或更多个方法。

示例机器1300包括经由总线1308彼此通信的处理电路系统或处理器1302(例如，CPU、图形处理单元(GPU)、ASIC、电路系统(例如，一个或更多个晶体管、电阻器、电容器、电感器、二极管、逻辑门、复用器、缓冲器、调制器、解调器、无线电(例如，发送或接收无线电或者收发器))、传感器1321(例如，将一种形式的能量(例如，光、热、电、机械或其他能量)转换为另一种形式的能量的换能器)等或者其组合)、主存储器1304和静态存储器1306。机器1300(例如，计算机系统)还可以包括视频显示装置1310(例如，液晶显示器(LCD)或阴极射线管(CRT))。机器1300还包括字母数字输入装置1312(例如，键盘)、用户接口(UI)导航装置1314(例如，鼠标)、磁盘驱动器或大容量存储单元1316、信号生成装置1318(例如，扬声器)和网络接口装置1320。

磁盘驱动器单元1316包括机器可读介质1322，在该机器可读介质1322上存储有一组或更多组指令和数据结构(例如，软件)1324，这些指令和数据结构(例如，软件)体现本文所述的方法或功能中的任何一种或更多种方法或者被本文所述的方法或功能中的任何一种或更多种方法利用。在由机器1300执行指令1324期间，指令1324还可以全部或至少部分地驻留在主存储器1304内和/或在处理器1302内，主存储器1304和处理器1302也构成机器可读介质。

如所示的机器1300包括输出控制器1328。输出控制器1328管理至机器1300/来自机器1300的数据流。输出控制器1328有时被称为装置控制器，其中直接与输出控制器1328交互的软件被称为装置驱动器。

虽然在一个实施方式中机器可读介质1322被示出为单个介质，但是术语“机器可读介质”可以包括存储一个或更多个指令或者数据结构的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的缓存和服务器)。术语“机器可读介质”还应被认为包括能够存储、编码或携带指令或者能够存储、编码或携带数据结构的任何有形介质，所述指令由机器执行并且使机器执行本公开内容的方法中的任何一种或更多种方法，所述数据结构由这样的指令利用或与这样的指令相关联。因此，术语“机器可读介质”应被认为包括但不限于固态存储器以及光学介质和磁介质。机器可读介质的特定示例包括非易失性存储器，所述非易失性存储器通过示例的方式包括：半导体存储装置，例如可擦除可编程只读存储器(EPROM)、EEPROM和闪存装置；磁盘，例如内部硬盘和可移动磁盘；磁光盘；以及CD-ROM盘和DVD-ROM盘。

还可以使用传输介质通过通信网络1326来发送或接收指令1324。可以使用网络接口装置1320和许多众所周知的传输协议(例如，HTTP)中的任何一种传输协议来发送指令1324。通信网络的示例包括LAN、WAN、因特网、移动电话网络、普通老式电话(POTS)网络和无线数据网络(例如WiFi和WiMax网络)。术语“传输介质”应被认为包括能够存储、编码或携带由机器执行并且包括数字或模拟通信信号的指令的任何无形介质，或者便于这样的软件的通信的其他无形介质。

如本文所使用的，“在……之间通信地耦接”指的是在耦接中的任何一个上的实体必须通过在其之间的项进行通信，并且这些实体在不通过该项进行通信的情况下就不能彼此进行通信。

补充注释

以上的详细描述包括对附图的参照，这些附图形成详细描述的一部分。附图通过说明的方式而不是通过限制的方式示出了可以实践本公开内容的具体的实施方式。这些实施方式在本文中也被称为“示例”。这样的示例可以包括除了示出或描述的那些元素之外的元素。然而，本发明人还设想了提供仅示出或描述的那些元素的示例。此外，或者相对于特定示例(或其一个或更多个方面)或者相对于在本文中示出或描述的其他示例(或其一个或更多个方面)，本发明人还设想了使用示出或描述的那些元素的任何组合或置换(或其一个或更多个方面)的示例。

本文档中参考的所有出版物、专利和专利文献都通过引用整体并入本文，就好像通过引用单独地并入一样。在本文档与通过引用并入的那些文献之间存在不一致用法的情况下，并入的一个或更多个参考文献中的用法应被视为对本文档的用法的补充；对于矛盾的不一致之处，以本文档中的用法为准。

在本文档中，在介绍本公开内容的各个方面或其实施方式中的元素时，如在专利文献中常见的那样，使用术语“一”、“一个”、“该”和“所述”以包括元素中的一个或多于一个或更多个，独立于“至少一个”或者“一个或更多个”的任何其他实例或用法。在本文档中，术语“或”被用于表示非排他性，或者，使得除非另有说明，否则“A或B”包括“A但不是B”、“B但不是A”以及“A和B”。

在所附权利要求中，术语“包括(including)”和“其中(in which)”被用作相应术语“包括(comprising)”和“其中(wherein)”的通俗英语等同物。此外，在所附权利要求中，术语“包含(comprising)”、“包括(including)”和“具有”旨在是开放性的，意指除了所列元素之外可能还有其他元素，使得在权利要求中的这样的术语(例如，包含(comprising)、包括(including)、具有)之后的仍被认为落入该权利要求的范围。此外，在所附权利要求中，术语“第一”、“第二”和“第三”等仅被用作标记，并且不旨在对其对象施加数字要求。

本公开内容的实施方式可以用计算机可执行指令来实现。计算机可执行指令(例如，软件代码)可以被组织成一个或更多个计算机可执行部件或模块。可以用任何数目的这样的部件或模块以及这样的部件或模块的任何组织来实现本公开内容的各个方面。例如，本公开内容的各个方面不限于在附图中示出和在本文中描述的特定计算机可执行指令或者特定部件或模块。本公开内容的其他实施方式可以包括具有比本文中示出和描述的功能更多或更少的功能的不同的计算机可执行指令或部件。

本文中描述的方法示例(例如，操作和功能)可以至少部分地是机器或计算机实现的(例如，被实现为软件代码或指令)。一些示例可以包括编码有指令的计算机可读介质或机器可读介质，所述指令能够操作成配置电子装置来执行如在以上示例中所述的方法。这样的方法的实现可以包括软件代码例如微代码、汇编语言代码、高级语言代码等(例如，“源代码”)。这样的软件代码可以包括用于执行各种方法的计算机可读指令(例如，“对象”或“可执行代码”)。软件代码可以形成计算机程序产品的部分。可以经由在其上存储有代码或指令的制品，或者经由操作通信接口以经由通信接口(例如，无线地、通过互联网、经由卫星通信等)发送数据的方法来提供本文描述的实施方式的软件实现。

此外，可以在执行期间或在其他时间将软件代码有形地存储在一个或更多个易失性或非易失性计算机可读存储介质上。这些计算机可读存储介质可以包括以可由机器(例如，计算装置、电子系统等)访问的形式存储信息的任何机构，例如但不限于软盘、硬盘、可移动磁盘、任何形式的磁盘存储介质、CD-ROM、磁光盘、可移动光盘(例如，压缩盘和数字视频盘)、闪存装置、磁带盒、存储卡或存储棒(例如，安全数字卡)、RAM(例如CMOS RAM等)、可记录/不可记录介质(例如，只读存储器(ROM))、EPROM、EEPROM或者适于存储电子指令的任何类型的介质等。这样的计算机可读存储介质被耦接至计算机系统总线以可由处理器和OIS的其他部分来访问。

在一个实施方式中，计算机可读存储介质可以已经编码了用于治疗计划的数据结构，其中治疗计划可以是自适应的。用于计算机可读存储介质的数据结构可以是医学数字成像和通信(DICOM)格式、扩展的DICOM格式、XML格式等中的至少一种。DICOM是一种定义用于在各种类型的医疗设备之间传输与医学图像有关的数据的格式的国际通信标准。DICOMRT指的是特定于放射疗法的通信标准。

在本公开内容的各种实施方式中，创建部件或模块的方法可以以软件、硬件或其组合来实现。例如，可以通过使用标准编程语言诸如例如C、C++、Java、Python等以及其组合以软件来实现由本公开内容的各个实施方式提供的方法。如本文所使用的，术语“软件”和“固件”是可互换的，并且包括存储在存储器中以由计算机执行的任何计算机程序。

通信接口包括与硬连线介质、无线介质、光学介质等中的任何一种接口以与另一装置进行通信的任何机构，例如存储器总线接口、处理器总线接口、因特网连接、盘控制器等。可以通过提供配置参数和/或发送信号来配置通信接口，以准备通信接口来提供描述软件内容的数据信号。可以经由被发送至通信接口的一个或更多个命令或信号来访问通信接口。

本公开内容还涉及用于执行本文中的操作的系统。该系统可以针对所需目的专门地被构造，或者可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。除非另有说明，否则本文示出和描述的本公开内容的实施方式中的操作的运行或执行的顺序不是必须的。也就是说，除非另有说明，否则可以以任何顺序来执行操作，并且与本文公开的那些操作相比，本公开内容的实施方式可以包括另外的操作或更少的操作。例如，可以设想，在另一操作之前、与另一操作同时或在另一操作之后运行或执行特定操作落入本公开内容的各个方面的范围内。

鉴于以上内容，将看到，实现了本公开内容的若干目的并且获得了其他有利的结果。已经详细地描述了本公开内容的各个方面，将明显的是，在不脱离如在所附权利要求中限定的本公开内容的各个方面的范围的情况下，修改和变化是可行的。由于可以在不脱离本公开内容的各个方面的范围的情况下在以上构造、产品和方法中进行各种改变，因此旨在，以上描述中包含的和附图中示出的所有内容应被解释为说明性的，而并非在限制性的意义上。

上面的描述旨在是说明性的，而不是限制性的。例如，上述示例(或其一个或更多个方面)可以彼此组合使用。另外，在不脱离本公开内容的范围的情况下，可以做出许多修改以使特定情况或材料适应本公开内容的教导。尽管本文描述的材料和涂层的尺寸、类型旨在限定本公开内容的参数，但是其绝不是限制性的，而是示例性实施方式。在回顾以上描述之后，许多其他的实施方式对于本领域技术人员将是明显的。因此，本公开内容的范围应参考所附权利要求以及这些权利要求被赋予的等同物的全部范围来确定。

此外，在以上具体实施方式中，可以将各种特征组合在一起以简化本公开内容。这不应被解释为未要求保护的公开特征对于任何一个权利要求是必要的意图。而是，本发明的主题可以在于少于特定公开的实施方式的所有特征。因此，所附权利要求由此被并入具体实施方式中，其中每个权利要求独自作为单独的实施方式。本公开内容的范围应参考所附权利要求以及这样的权利要求被赋予的等同物的全部范围来确定。此外，所附权利要求的限制不以装置加功能的格式编写，并且也不旨在基于35U.S.C.§112第六段进行解释，除非并且直到这样的权利要求的限制明确地使用短语“用于……的装置”，之后是没有进一步的结构的功能陈述。

提供摘要以符合37C.F.R.§1.72(b)，以允许读者快速地确定技术公开的实质。提交时应理解，其将不被用于解释或限制权利要求的范围或含义。

Claims

1.一种用于生成一个或更多个放射疗法治疗计划的计算机实现的方法，所述方法包括：

接收针对放射疗法治疗机器的每个台架角度的一组图像数据对，其中，所述一组图像数据对中的每一对包括表示对象的解剖结构从给定台架角度的视图的给定投影图像以及基于所述给定投影图像在所述给定台架角度下多叶准直器(MLC)叶片位置的给定图形孔径图像；

基于针对每个台架角度的一组图像数据对来训练生成式对抗网络(GAN)模型；以及

使用经训练的GAN模型，基于表示感兴趣的解剖区域的视图的投影图像来预测MLC叶片位置针对期望台架角度的孔径图像。

2.根据权利要求1所述的方法，其中，所述GAN包括条件对抗网络(cGAN)。

3.根据权利要求1所述的方法，其中，所述GAN包括循环一致性生成式对抗网络(CycleGAN)。

4.根据权利要求1所述的方法，其中，所述一组图像数据对中的第一对的给定台架角度与所述一组图像数据对中的第二对的给定台架角度相差预定量。

5.根据权利要求1所述的方法，其中，

所述GAN被配置成使用判别模型来训练所述生成模型；

使用所述判别模型与所述生成模型之间的对抗训练来建立由所述生成模型和所述判别模型应用的值；以及

所述生成模型和所述判别模型包括各自的卷积神经网络。

6.根据权利要求5所述的方法，其中，

所述对抗训练包括：

训练所述生成模型以根据投影图像来生成所述MLC叶片位置在第一台架角度下的第一合成图形孔径图像表示，所述投影图像表示训练对象解剖结构从所述第一台架角度的视图；以及

训练所述判别模型以将所述第一合成图形孔径图像分类为合成训练示例图形孔径图像或真实训练示例图形孔径图像；以及

所述生成模型的输出被用于训练所述判别模型，并且所述判别模型的输出被用于训练所述生成模型。

7.根据权利要求6所述的方法，其中，使用包括所述生成模型和所述判别模型的循环一致性生成式对抗网络(CycleGAN)来训练所述GAN，其中，所述生成模型是第一生成模型，并且所述判别模型是第一判别模型，其中，所述CycleGAN还包括：

第二生成模型，所述第二生成模型被训练成：

根据所述一组图像数据对中的给定对，处理所述MLC叶片位置在给定台架角度下的给定图形孔径图像表示作为输入；以及

提供合成投影图像作为输出，所述合成投影图像表示训练对象解剖结构从所述给定台架角度的视图；以及

第二判别模型，所述第二判别模型被训练成将所述合成投影图像分类为合成投影图像或真实投影图像。

8.根据权利要求7所述的方法，其中，所述CycleGAN包括用于训练所述第一生成模型的第一部分，所述第一部分被训练成：

从先前治疗中获得表示患者解剖结构的不同视图的一组训练投影图像，所述一组训练投影图像和与所述不同视图中的每一个对应的训练图形孔径图像配对，所述训练图形孔径图像中的每一个与所述训练投影图像中的相应训练投影图像对准；

将所述一组训练投影图像传输到所述第一生成模型的输入端，以输出第一组图形孔径图像；

在所述第一判别模型的输入端处接收所述第一组图形孔径图像，以将所述第一组图形孔径图像分类为一组合成训练图形孔径图像或一组真实训练图形孔径图像；以及

在所述第二生成模型的输入端处接收所述第一组图形孔径图像，以生成用于计算循环一致性损失的第一组循环投影图像。

9.根据权利要求8所述的方法，其中，所述CycleGAN包括第二部分，所述第二部分被训练成：

将与所述不同视图中的每一个对应的训练图形孔径图像传输到所述第二生成模型的输入端，以输出第一组合成投影图像；

在所述第二判别模型的输入端处接收所述第一组合成投影图像，以将所述第一组合成投影图像分类为合成训练投影图像或真实训练投影图像；以及

在所述第一生成模型的输入端处接收所述第一组合成投影图像，以生成用于计算循环一致性损失的第一组循环图形孔径图像。

10.根据权利要求9所述的方法，其中，

基于所述第一组循环投影图像与所述一组训练投影图像的比较以及所述第一组循环图形孔径图像与所述训练图形孔径图像的比较来生成所述循环一致性损失；

所述第一生成模型被训练成：使第一损失项最小化或减小所述第一损失项，所述第一损失项表示多个合成图形孔径图像与分别配对的训练图形孔径图像之间的差异的预期；以及

所述第二生成模型被训练成：使第二损失项最小化或减小所述第二损失项，所述第二损失项表示多个合成投影图像与分别配对的训练投影图像之间的差异的预期。

11.根据权利要求1所述的方法，还包括：

获得放射疗法治疗机器参数信息，所述放射疗法治疗机器参数信息表示在与由所述一组图像数据对的投影图像表示的视图中的每一个对应的台架角度下的MLC叶片位置以及与所述投影图像中的每一个对应的放射疗法射束强度；

基于所获得的放射疗法治疗机器参数信息来生成训练图形孔径图像表示；以及

将所生成的训练图形孔径图像表示中的每一个与对应的投影图像对准。

12.根据权利要求11所述的方法，其中，所述训练图形孔径图像表示和所述对应的投影图像是二维图像或三维图像，所述二维图像或三维图像包括与整个治疗分次对应的二维投影图像和图形孔径图像对的堆叠。

13.根据权利要求1所述的方法，还包括：从通过经训练的GAN模型预测的孔径图像来生成一个或更多个放射疗法治疗机器参数。

14.根据权利要求13所述的方法，还包括：基于所生成的一个或更多个放射疗法治疗机器参数来计算剂量体积直方图或三维剂量分布。

15.根据权利要求13所述的方法，其中，所述一个或更多个参数包括台架角度、MLC钳口位置、MLC叶片位置或放射治疗射束强度中的至少一个。

16.根据权利要求13所述的方法，还包括：基于所生成的一个或更多个放射疗法治疗机器参数来计算剂量测定参数。

17.根据权利要求1所述的方法，其中，通过射线跟踪或傅立叶重建来生成所述一组图像数据对中的给定投影图像。

18.一种用于生成一个或更多个放射疗法治疗计划的系统，所述系统包括：

一个或更多个处理器，所述一个或更多个处理器被配置成执行操作，所述操作包括：

19.根据权利要求18所述的系统，其中，所述GAN包括条件对抗网络(cGAN)或循环一致性生成式对抗网络(CycleGAN)。

20.根据权利要求18所述的系统，还包括用于生成多个二维投影图像作为所述一组图像数据对中的投影图像的操作，所述多个二维投影图像表示所述解剖结构从多个不同台架角度的多个二维视图。

21.根据权利要求20所述的系统，其中，所述多个二维投影图像表示所述解剖结构在治疗期间跨所述放射疗法治疗机器的台架的运动弧的多个角度下的视图。

22.一种非暂态计算机可读介质，所述非暂态计算机可读介质包括用于执行操作的非暂态计算机可读指令，所述操作包括：