CN110960803B - 一种用于执行自适应放射治疗计划的计算机系统 - Google Patents

一种用于执行自适应放射治疗计划的计算机系统 Download PDF

Info

Publication number
CN110960803B
CN110960803B CN201910918486.XA CN201910918486A CN110960803B CN 110960803 B CN110960803 B CN 110960803B CN 201910918486 A CN201910918486 A CN 201910918486A CN 110960803 B CN110960803 B CN 110960803B
Authority
CN
China
Prior art keywords
image data
treatment
data
planning
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910918486.XA
Other languages
English (en)
Other versions
CN110960803A (zh
Inventor
H·拉克索南
J·诺德
S·P·珀图
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers International AG
Original Assignee
Varian Medical Systems International AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/145,606 external-priority patent/US10984902B2/en
Priority claimed from US16/145,673 external-priority patent/US11475991B2/en
Application filed by Varian Medical Systems International AG filed Critical Varian Medical Systems International AG
Priority to CN202210168442.1A priority Critical patent/CN114344740A/zh
Publication of CN110960803A publication Critical patent/CN110960803A/zh
Application granted granted Critical
Publication of CN110960803B publication Critical patent/CN110960803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A61N5/1039—Treatment planning systems using functional images, e.g. PET or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A61N5/1038—Treatment planning systems taking into account previously administered plans applied to the same patient, i.e. adaptive radiotherapy
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Surgery (AREA)
  • Urology & Nephrology (AREA)
  • Radiation-Therapy Devices (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

提供了使用深度学习引擎进行自适应放射治疗计划的示例方法。一种示例方法可以包括获得与第一成像模态相关联的治疗图像数据。所述治疗图像数据可以在患者的治疗阶段期间获取。另外，可以在所述治疗阶段之前获取与第二成像模态相关联的计划图像数据以为所述患者产生治疗计划。所述方法还可以包括：响应于确定需要对所述治疗计划进行更新，对与所述第一成像模态相关联的所述治疗图像数据进行变换以产生与所述第二成像模态相关联的变换后的图像数据。所述方法还可以包括：使用所述深度学习引擎来处理所述变换后的图像数据以产生输出数据来更新所述治疗计划。

Description

一种用于执行自适应放射治疗计划的计算机系统
技术领域
本公开总体上涉及用于使用深度学习引擎进行自适应放射治疗计划的方法和系统。
背景技术
除非本文另外指明，否则本部分中描述的方法不是本申请中的权利要求的现有技术，并且不因为包括在本部分中就承认是现有技术。
放射疗法是用于从患者减少或消除不期望的肿瘤的治疗的重要部分。遗憾的是，外加辐射本身不会区分不期望的肿瘤与任何近侧健康结构，诸如器官等。这需要谨慎的施用以将辐射限制于肿瘤(即，靶标)。理想地，目标是将致死或祛病辐射剂量递送到肿瘤，同时在近侧健康结构中维持可接受的剂量水平。然而，为了实现这个目标，常规放射治疗计划和/或自适应放射治疗计划可能是费时费力的。
发明内容
根据本公开的第一方面，提供了用于使用深度学习引擎进行放射治疗计划的示例方法和系统。将使用图1至图5来论述各种实例。深度学习引擎可以至少包括第一处理路径、第二处理路径和第三处理路径。一种示例方法可以包括：获得与患者相关联的第一图像数据；通过使用第一处理路径处理与第一分辨率水平相关联的第一图像数据来产生第一特征数据；通过使用第二处理路径处理与第二分辨率水平相关联的第二图像数据来产生第二特征数据；以及通过使用第三处理路径处理与第三分辨率水平相关联的第三图像数据来产生第三特征数据。示例方法还可以包括：基于第二特征数据和第三特征数据而产生与第二分辨率水平相关联的第一组和特征数据集；以及基于第一特征数据和第一组合集而产生与第一分辨率水平相关联的第二组和特征数据集。另外，示例方法可以包括产生与患者的放射治疗相关联的输出数据。例如，输出数据可以包括以下中的至少一者：与患者相关联的结构数据、与患者相关联的剂量数据和用于治疗递送系统的治疗递送数据。
根据本公开的第二方面，提供了用于使用深度学习引擎进行自适应放射治疗计划的示例方法和系统。将使用图6和图7来论述各种实例。一种示例方法可以包括获得与第一成像模态相关联的治疗图像数据。治疗图像数据可以是在患者的治疗阶段期间获取。另外，可以在治疗阶段之前获取与第二成像模态相关联的计划图像数据以为患者产生治疗计划。所述方法还可以包括：响应于确定需要对治疗计划进行更新，对与第一成像模态相关联的治疗图像数据进行变换以产生与第二成像模态相关联的变换后的图像数据。所述方法还可以包括：使用深度学习引擎来处理变换后的图像数据以产生输出数据来更新治疗计划。例如，输出数据可以是以下中的至少一者：与患者相关联的结构数据、与患者相关联的剂量数据和用于治疗递送系统的治疗递送数据。
根据本公开的第三方面，提供了用于使用深度学习引擎进行自适应放射治疗计划的示例方法和系统。将使用图6和图8来论述各种实例。一种示例方法可以包括获得与第一成像模态相关联的治疗图像数据以及与第二成像模态相关联的计划图像数据。可以在治疗阶段之前获取计划图像数据以为患者产生治疗计划。所述方法还可以包括：响应于确定需要对治疗计划进行更新，使用深度学习引擎来处理治疗图像数据和计划图像数据以产生输出数据来更新治疗计划。例如，输出数据可以是以下中的至少一者：与患者相关联的结构数据、与患者相关联的剂量数据和用于治疗递送系统的治疗递送数据。
附图说明
图1是示出用于放射治疗的示例过程流的示意图；
图2是示出具有用于执行放射治疗计划的多个处理路径的示例深度学习引擎的示意图；
图3是用于由计算机系统使用深度学习引擎执行放射治疗计划的示例过程的流程图；
图4是示出示例深度学习引擎为放射治疗计划执行对图像数据的自动分割的示意图；
图5是示出示例深度学习引擎为放射治疗计划执行剂量预测的示意图；
图6是示出用于由计算机系统使用深度学习引擎执行自适应放射治疗(ART)计划的示例过程流的示意图；
图7是示出根据图6中的实例进行ART计划的第一示例方法的示意图；
图8是示出根据图6中的实例进行ART计划的第二示例方法的示意图；
图9是示出基于图1至图8中的实例中的输出数据而产生或改进的示例治疗计划的示意图；并且
图10是用于执行放射治疗计划和/或自适应放射治疗计划的示例计算机系统的示意图。
具体实施方式
以下说明中阐述的技术细节使得本领域技术人员能够实施本公开的一个或多个实施方案。
图1是示出用于放射治疗的示例过程流100的示意图。示例过程 100可以包括由一个或多个方框示出的一个或多个操作、功能或动作。各种方框可以基于所需实现方式而组合成更少的方框，分为附加方框和/或删除。在图1中的实例中，放射治疗通常包括各种阶段，诸如成像系统为患者执行图像数据采集(参见110)；放射治疗计划系统(参见130)为患者产生合适的治疗计划(参见156)；以及治疗递送系统(参见160)根据治疗计划来递送治疗。
更详细地，在图1中的110处，图像数据采集可以使用成像系统来执行以捕获与患者(特别是患者的解剖结构)相关联的图像数据120。可以使用任一种或多种合适的医学图像模态，诸如计算机断层扫描 (CT)、锥形束计算机断层扫描(CBCT)、正电子发射断层扫描(PET)、磁共振成像(MRI)、单光子发射计算机断层扫描(SPECT)、其任何组合等。例如，当使用CT或MRI时，图像数据120可以包括一系列二维(2D)图像或切片，每个2D图像或切片表示患者的解剖结构的横截面图，或者可以包括患者的体积或三维(3D)图像，或者可以包括患者的2D或3D时间序列图像(例如，四维(4D)CT或4D CBCT)。
在图1中的130处，放射治疗计划可以在计划阶段期间执行以基于图像数据120而产生治疗计划156。可以执行任何合适数量的治疗计划任务或步骤，诸如分割、剂量预测、投射数据预测、治疗计划产生等。例如，可以执行分割以产生数据结构140，所述结构数据140标识可以形成图像数据120的各种片段或结构。在实践中，可以从图像数据120重建患者的解剖结构的三维(3D)体积。将经受辐射的3D 体积被称为治疗或辐照体积，所述治疗或辐照体积可以被分为多个较小的体积像素(体素)142。每个体素142表示与治疗体积内的位置(i,j, k)相关联的3D元素。结构数据140可以包括与患者的解剖结构144、靶标146和任何处于危险中的器官(OAR)148的轮廓、形状、尺寸和位置相关的任何合适的数据。
在另一个实例中，可以执行剂量预测以产生剂量数据150，所述剂量数据150指定有待递送到靶标146的辐射剂量(表示为152处的“DTAR”)和用于OAR 148的辐射剂量(表示为154处的“DOAR”)。在实践中，靶标146可以表示需要放射治疗的恶性肿瘤(例如，前列腺肿瘤等)，并且OAR 148表示可能会受到治疗的不利影响的近侧健康结构或非靶结构(例如，直肠、膀胱等)。靶标146又被称为计划靶体积(PTV)。尽管图1中示出了实例，但是治疗体积可以包括具有复杂形状和尺寸的多个靶标146和OAR 148。另外，尽管示出为具有规则的形状(例如，立方体)，但是体素142可以具有任何合适的形状(例如，不规则的形状)。取决于所需实现方式，方框130处的放射治疗计划可以基于任何附加和/或替代数据而执行，诸如处方、疾病分期、生物或影像组学数据、遗传学数据、测定数据、活检数据、过往治疗历史或病史、其任何组合等。
基于结构数据140和剂量数据150，可以产生的治疗计划156包括有关一组射束定向或射束角的2D注量图数据。每个注量图指定以特定射束定向并在特定时间从辐射源发射的辐射束的强度和形状(例如，如由多叶准直器(MLC)确定)。例如，在实践中，调强放射治疗(IMRT)或任何其他治疗技术可以涉及在处于恒定的机架和床角度时改变辐射束的形状和强度。可选地或另外地，治疗计划156可以包括机器控制点数据(例如，颚件和叶片位置)、用于控制治疗递送系统的容积旋转调强放疗(VMAT)轨迹数据等。在实践中，方框130可以基于由临床医师(例如，肿瘤科医生、放射剂量测试员、计划者等)指定的目标剂量，诸如基于临床医师的经验、肿瘤的类型和大小、患者几何结构和状况等而执行。
在图1中的160处，治疗递送在治疗阶段期间执行以根据治疗计划156将辐射递送到患者。例如，放射治疗递送系统160可以包括辐射源166所附接的可旋转机架164。在治疗递送期间，机架164围绕支撑在结构172(例如，工作台)上的患者170旋转，以根据治疗计划156以各种射束定向发射辐射束168。控制器162可以用于检索治疗计划156并且控制机架164、辐射源166和辐射束168以根据治疗计划156递送放射治疗。
应理解，可以使用任何合适的放射治疗递送系统，诸如基于机械臂的系统、螺旋刀类型系统、近距离放疗(brachy)、sirex微球放疗、其任何组合等。另外，本公开的实例可以适用于粒子递送系统(例如，质子、碳离子等)。这类系统可以采用散射粒子束，所述散射粒子束之后通过类似于MLC的装置来成形；或者可以替代地采用能量、光斑尺寸和停留时间可调整的扫描射束。
常规来说，在图1中的方框130处的放射治疗计划是费时费力的。例如，通常需要高度熟练且训练有素的肿瘤科医生和放射剂量测试员团队通过根据图像数据120绘制轮廓或分段来人工地勾画感兴趣的结构。这些结构由医师人工地审阅，这可能需要调整或重新绘制。在许多情况下，关键器官的分割可能是辐射治疗计划的最耗时的部分。在商定结构之后，存在额外的费力步骤来处理所述结构以产生指定治疗递送数据，诸如射束定向和轨迹的临床上最优的治疗计划，以及对应的2D注量图。由于在不同医师和/或临床基地之间关于构成“良好”轮廓或分段的内容缺乏共识，这些步骤往往是复杂的。在实践中，由不同临床专家绘制结构或片段的方式可能存在很大变化。所述变化可能会导致靶体积尺寸和形状的不确定性，以及应当接收最低辐射剂量的OAR的确切接近度、尺寸和形状。即使对于特定临床专家，在不同的日子绘制片段的方式也可能存在变化。
根据本公开的实例，可以应用人工智能(AI)技术来缓解与放射治疗计划相关联的各种挑战。特别地，可以使用深度学习引擎来使放射治疗计划步骤和/或自适应放射治疗计划步骤自动化。本公开的实例可以被实施来提高放射治疗计划的效率并且可能改善治疗效果，诸如提高肿瘤控制概率和/或降低因健康结构中的辐射剂量过量所致的健康并发症或死亡的可能性。例如，对图像数据120的自动分割将大大有益于加快工作流并且实现各种应用、这种自动治疗计划和放射治疗调整。
贯穿本公开，术语“深度学习”通常可以指代将多层或多阶段非线性数据处理用于特征学习以及模式分析和/或分类的一类方法。因此，术语“深度学习模型”可以指代非线性数据处理层的分级结构，所述层包括输入层、输出层和在输入层与输出层之间的多个(即，两个或更多个)“隐藏”层。这些层可以进行从端到端(例如，从输入层到输出层) 训练以从输入提取特征，并且将特征分类以产生输出(例如，分类标签或类别)。
因此，术语“深度学习引擎”可以指代计算机系统的能够根据任何合适的深度学习模型执行算法的任何合适的硬件和/或软件部件。取决于所需实现方式，可以使用任何合适的深度学习模型，诸如卷积神经网络、递归神经网络、深度信念网络、或其任何组合等。在实践中，神经网络通常使用经由连接(被称为“突触”、“权重”等)互连的处理元件(被称为“神经元”、“节点”等)网络来形成。
深度学习方法应与已应用于例如自动分割的机器学习方法形成对比。一般而言，这些方法涉及从图像，诸如针对每个体素等提取(人工设计)特征向量。然后，可以将特征向量用作机器学习模型的输入，所述机器学习模型对每个体素所属的类别进行分类。然而，这类机器学习方法通常并不利用完整的图像数据并且可能需要额外的约束。另一项挑战是，为了准确地预测每个体素的类别标签，这些方法依赖于高维度人工设计特征。解决高维分类问题在计算上成本较高并且需要大量存储器。一些方法使用低维特征(例如，使用降维技术)但是它们可能会降低预测准确性。
接下来，下文将使用图1至图10论述各种实例。特别地，将使用图1至图5来论述使用深度学习引擎进行的放射治疗计划。另外，将使用图6至图9来论述使用深度学习引擎进行的自适应放射治疗计划。本公开的实例可以使用任何合适的计算机系统来实施，其中一个实例示出于图10中。
具有多个处理路径的深度学习引擎
根据本公开的第一方面，放射治疗计划可以使用具有多个(K) 处理路径的深度学习引擎来改进，以处理处于不同分辨率水平的医学图像数据。一些实例将使用图2和图3来进行解释。特别地，图2是示出具有用于放射治疗计划的多个处理路径的示例深度学习引擎200 的示意图。图3是用于由计算机系统使用深度学习引擎200执行放射治疗计划的示例过程300的流程图。示例过程300可以包括由一个或多个方框，诸如310至370示出的一个或多个操作、功能或动作。各种方框可以基于所需实现方式而组合成更少的方框，分为附加方框和 /或删除。
在图2中的实例中，多分辨率深度学习引擎200包括至少三个 (K＝3)处理路径221-223以在不同的分辨率水平(表示为 Rk＝R1，R2，R3)下处理相应的图像数据211-213，以便产生输出数据260。多个分辨率水平的图像数据211-213可以分开输送到专门设计的处理路径221-223。这样一来，与依赖于单个处理路径的常规方法相比较，深度学习引擎200可以实现较大的感受野以改进预测结果。特别地，为了实现相同(即，较大)的感受野，单路径深度学习引擎将必需更深(例如，更多层)并且因此需要更大的计算能力。
在实践中，为了有助于在图像数据211-213中提取和分析局部特征数据和全局特征数据两者以产生质量更好的输出数据，较大的感受野优于较小的感受野。一般而言，深度神经网络可能很难调节到对医学图像数据进行恰当的操作，因为所需的准确性和可靠性相对较高。通过将图像处理问题分解为多个分辨率水平，本公开的实例可以资源有效的方式实施。在具有有限处理资源的用户的位置处，例如，为了提高效率，存储器有效方法是优选的。例如，在处理路径可以与不存在降采样的情况相同的成本处理更远距离数据(例如，在不同物理距离处的特征数据)的意义上，处理成本在较低分辨率下是较低的。
另外参考图3，在310处，获得与患者相关联的第一图像数据 120/211。在此处，术语“获得”通常可以指代计算机系统从任何合适的源(例如，另一个计算机系统)、存储器或存储体(例如，本地或远程) 等存取或检索图像数据120/211。在实践中，第一图像数据211可以是使用任一种或多种合适的成像模态获取的2D或3D图像数据。
在图3中的320处，使用第一处理路径221来处理与第一分辨率水平(R1)相关联的第一图像数据(I1)211以产生第一特征数据 (F1)241。在图3中的330处，使用第二处理路径222来处理与第二分辨率水平(R2)相关联的第二图像数据(I2)212以产生第二特征数据(F2)242。在图3中的340处，使用第三处理路径223来处理与第三分辨率水平(R3)相关联的第三图像数据(I3)213以产生第三特征数据(F3)243。在实践中，“处理路径”可以使用任何合适的架构，诸如卷积块或卷积层来实施以产生特征数据。
在图3中的350处，基于第二特征数据(F2)242和第三特征数据(F3)243而产生与第二分辨率水平(R2)相关联的第一组和特征数据集(C1)251。在图3中的360处，基于第一组和集(C1)251和第一特征数据(F1)241而产生与第一分辨率水平(R1)相关联的第二组和特征数据集(C2)252。在图3中的370处，基于第二组和集(C2)252 而产生与患者的放射治疗相关联的输出数据260。可以实施本公开的实例以有助于更好地整合来自相应的处理路径221-223的不同分辨率水平的特征数据241-243。
取决于所需实现方式，可以训练深度学习引擎200来执行自动分割以产生输出数据＝结构数据(例如，图1中的140)，执行剂量预测以产生输出＝剂量数据(例如，图1中的150)，执行治疗递送数据估计以产生输出＝治疗递送数据，或其任何组合。例如，在自动分割的情况下，结构数据可以包括分割和标记图像，所述分割和标记图像指定可从图像数据120/211识别的结构或片段，诸如图1中的患者的解剖结构144、靶标146和OAR 148的轮廓、形状、尺寸和/或位置。在剂量预测的情况下，剂量数据可以指定靶标146和OAR 148的辐射剂量(也参见图1中的152-154)。在治疗递送数据估计的情况下，“治疗递送数据”可以是结构投射数据(例如，射束轨迹和/或定向)、注量图数据等。
在图2的实例中，第二图像数据(I2)212可以基于第一图像数据(I1)211而产生，并且第三图像数据(I3)213可以基于第二图像数据(I2)212或第一图像数据(I1)211而产生。深度学习引擎200 包括匹配的重采样(即，降采样或上采样)块231-234。例如，在 R1＞R2＞R3(将使用图4和图5进行论述)的情况下，降采样块 231-232可以用于降低分辨率水平，并且匹配的上采样块233-234可以用于提高分辨率水平。
在下文中，将使用图4描述与自动分割相关的实例并且使用图5 描述与剂量预测相关的实例。尽管使用深度卷积神经网络进行了例示，但是应理解，可以使用任何替代和/或附加深度学习模型来根据本公开的实例实施深度学习引擎200/400/500。
自动分割
图4是示出示例深度学习引擎400为放射治疗计划执行对图像数据的自动分割的示意图。类似于图2中的实例，深度学习引擎400包括在训练阶段401期间训练的K＝3处理路径(参见421-423)。在训练之后，深度学习引擎400可以(例如，由临床医师)使用来在推断阶段402期间对实际患者执行自动分割。
(a)训练数据
在训练阶段401期间，可以使用与自动分割相关的任何合适的训练数据411-412来训练深度学习引擎400。在实践中，训练数据411-412 可以包括示例输入数据＝未分割的图像数据411，以及示例输出数据＝结构数据412(又被称为分割数据)。结构数据412可以标识患者的解剖结构，诸如靶标、OAR等的结构或片段的任何合适的轮廓、形状、尺寸和/或位置。图像数据411可以包括患者的解剖结构的2D或3D 图像，并且使用任一种或多种合适的成像模态来捕获。取决于所需实现方式，结构数据412可以由训练有素的专业人员使用任何合适的方法人工地产生并且在临床上进行验证。
训练阶段401的目的是训练深度学习引擎400以通过将输入数据＝图像数据411映射到示例输出数据＝结构数据412来执行自动分割。训练阶段401可以涉及找到最小化在训练的结构数据412与由深度学习引擎400产生的估计的结构数据482之间的训练误差的权重。在实践中，深度学习引擎200可以被训练来识别具有任何合适的形状和尺寸的多个靶标和OAR。
例如，关于前列腺癌，图像数据411可以包括患者的前列腺的图像数据。在这种情况下，结构数据412可以标识表示患者的前列腺的靶标，以及表示近侧健康结构，诸如直肠或膀胱的OAR。关于肺癌治疗，图像数据411可以包括患者的肺部的图像数据。在这种情况下，结构数据412可以标识表示癌性肺组织的靶标，以及表示近侧健康肺组织、食道、心脏等的OAR。关于脑癌，图像数据411可以包括患者的脑部的图像数据，在此情况下，结构数据412可以标识表示脑肿瘤的靶标，以及表示近侧视神经、脑干等的OAR。
在实践中，训练数据411-412可以由用户借助于观察和经验产生以有助于监督式学习。例如，训练数据411-412可以从为过往患者制定的过往治疗计划提取。训练数据411-412可以使用任何合适的数据增强方法(例如，旋转、翻转、平移、缩放、噪声添加、裁剪、其任何组合等)来预处理以产生具有改良属性的新的数据集，以便使用真值数据来改进模型泛化。在实践中，将经受辐射的患者的3D体积被称为治疗体积，所述治疗体积可以被分为多个较小的体积像素(体素)。在这种情况下，结构数据412可以指定与3D体积中的每个体素相关联的类别标签(例如，“靶标”、“OAR”等)。取决于所需实现方式，结构数据412可以标识具有任何合适的形状和尺寸的多个靶标和OAR。
(b)处理路径和层
深度学习引擎400包括三个处理路径421-423(k＝1，2，3)以处理处于不同分辨率水平(Rk＝R1，R2，R3)的图像数据。第一处理路径421(k＝1)被配置成处理处于第一分辨率水平R1(例如， 1x)的第一图像数据(I1)。第二处理路径422(k＝2)被配置成处理处于第二分辨率水平R2＜R1的第二图像数据(I2)以扩大感受野。第三处理路径423(k＝3)被配置成处理处于第三分辨率水平 R3＜R2＜R1的第三图像数据(I3)以进一步扩大感受野。
在图4中的实例中，第一处理路径421的输入是图像数据411。第二处理路径422的输入是已通过降采样块431(例如，按因子2x) 降采样的图像数据411。第三处理路径423的输入是已通过降采样块 431-432两者(例如，按总因子4x)降采样的图像数据411。降采样块431-432具有用于在组合来自相应的处理路径421-423的特征数据(参见F1、F2、F3)之前上采样的匹配的上采样块441-443。换言之，每个降采样步骤具有对应(即，匹配)的上采样步骤以重新调整分辨率水平。降采样块431-432可以使用分段抽样、池化等来实施，并且上采样块441-443可以使用转置卷积、重复等来实施。
通过处理处于多个分辨率水平的图像数据411，处理路径421-423 将不同的视图提供到图像数据411中以实现较大的感受野。在实践中，医学图像数据通常包括患者的解剖结构的局部特征数据和全局特征数据两者，其中术语“局部”和“全局”在本质上是相关的。例如，局部特征数据可以提供患者的解剖结构的微观视图，诸如组织纹理，而不管结构是否具有有限的边界等。相比之下，全局特征数据可以提供患者的解剖结构的相对宏观的视图，诸如解剖结构位于哪个区域(例如，骨盆、腹部、头部和颈部等)、位于哪个定向(例如，在左侧、在右侧、在前侧、在后侧)等。
在图4的实例中，第一处理路径421可以处理处于最高分辨率水平(R1)的图像数据411以分析局部组织纹理。第二处理路径422可以处理处于中间分辨率水平(R2＜R1)的图像数据411以对组织类型变化分析证明附近结构边界的证据。第三处理路径422可以处理处于最粗糙的分辨率水平(R3＜R2＜R1)的图像数据411以分析诸如骨头和身体轮廓的界标。处理处于较低分辨率水平的图像数据411 通常需要较少处理。这对于3D图像数据处理来说尤其重要，其中将分辨率减半可以将处理成本削减到1/8。这允许更多资源投入到更准确的分割，诸如处理路径421-423中的更多通路。
使用例如深度卷积神经网络，处理路径421-423各自可以包括任何合适数量的卷积层(例如，424-426)以从图像数据411提取处于不同分辨率水平的特征数据(F1、F2、F3)。在实践中，每个卷积层可以被配置成通过将滤波器或核应用于其输入的重叠区域来提取处于特定分辨率水平的特征数据(例如，2D或3D特征图)。在训练阶段401 期间取得卷积滤波器中的参数的数值。例如，卷积层可以创建包括出现在2D图像数据中的特征的2D特征图、或有关3D图像数据的3D 特征图。这种自动特征提取方法应当有别于依赖于人工设计特征的常规方法。
深度学习引擎400还包括附加卷积层或块450-470和混合块 480(为简单起见示出了一个)以按分阶段方式组合来自处理路径 421-423的特征数据(F1、F2、F3)。特别地，可以使用上采样块 441将来自第三处理路径423的第三特征数据(F3)从最低分辨率水平R3上采样到中间分辨率水平R2。然后使用卷积块450将已上采样的第三特征数据(F3)与来自第二处理路径422的第二特征数据 (F2)组合，从而产生第一组合集(C1)。作为优化策略，卷积块450可以被配置成在使用后续上采样块442-443来执行另一个阶段上采样 (例如，2x)之前“平滑”或“精炼”第二特征数据(F2)和已上采样的第三特征数据(F3)。
然后使用附加卷积块460-470来组合来自所有处理路径421-423 的特征数据(F1、F2、F3)，从而产生第二组和集(C2)。特别地，可以通过将较低分辨率路径上采样到较高分辨率路径的分辨率来组合特征数据。为了将不同的特征数据带到相同的分辨率水平，可以使用上采样块442-443来对来自卷积块450的第一组合集(C1)进行上采样。在实践中，包括在处理路径421-423中的卷积块以及卷积块 450-470可以具有任何合适的配置(例如，3x3x3卷积)。
然后使用混合块480处理使用卷积块460-470产生的第二组合集 (C2)以产生输出数据＝估计的结构数据482。混合块480被配置成(例如，经由1x1x1卷积)将最终的特征集分理成最终的分割决策(即，估计的结构数据482)。估计的结构数据482可以指定诸如与从图像数据 411识别的治疗体积相关联的基于体素的分类数据。例如，体素可以被分类为靶标(例如，标签＝“TAR”)或OAR(例如，标签＝“OAR”)。在实践中，标签＝“OAR”可以表示一组较大的标签，诸如“直肠”、“膀胱”、“脑干”或任何其他自动定义的体积。另外，标签＝“TAR”可以表示肿瘤或治疗体积。
以上训练步骤可以在训练阶段401期间重复以最小化训练的结构数据412中的预期结果与估计的结构数据482之间的误差。取决于所需实现方式，深度学习引擎400可以使用任何合适的卷积神经网络架构，诸如U-net、LeNet、AlexNet、ResNet、V-net、DenseNet等来实施。例如，U-net架构包括收缩路径(左侧)和扩张路径(右侧)。收缩路径包括重复应用卷积，之后是修正线性单元(ReLU)和最大池化操作。扩张路径中的每个步骤可以包括对特征图进行上采样，之后是卷积等。应注意，处理路径421-423可以使用相同架构或不同架构。
(c)推断阶段
在训练之后，深度学习引擎400可以在推断阶段402期间由临床医师使用来执行分割，以基于特定患者的输入数据＝图像数据210/491 而产生输出数据＝患者结构数据260/492。可以由深度学习引擎400 的处理路径421-423在相应的分辨率水平下处理图像数据210/491以扩大感受野。使用图3解释的示例过程(参见方框310-370)可以应用来执行自动分割，并且为了简洁起见此处将不进行重复。
剂量预测
图5是示出示例深度学习引擎500为放射治疗计划执行剂量预测的示意图。类似于图4中的实例，深度学习引擎500包括在训练阶段 501期间训练的K＝3处理路径(参见521-523)。在训练之后，深度学习引擎500可以(例如，由临床医师)使用来在推断阶段502期间对实际患者执行剂量预测。
(a)训练数据
在训练阶段501期间，可以使用与剂量预测相关的任何合适的训练数据511-512来训练深度学习引擎500。在实践中，训练数据511-512 可以包括示例输入数据＝图像数据和结构数据511(即，分割图像数据)，以及示例输出数据＝剂量数据512。剂量数据512(例如，3D剂量数据) 可以指定靶标剂量分布(表示为“DTAR”)和OAR剂量分布(表示为“DOAR”)。在实践中(为了简单起见未在图5中示出)，剂量数据512可以指定整个3D体积，而不仅仅是靶标和OAR体积的剂量分布。取决于所需实现方式，剂量数据512可以包括空间生物效应数据(例如，分级纠正剂量)和/或仅覆盖治疗体积的一部分。
例如，关于前列腺癌，剂量数据512可以指定表示患者的前列腺的靶标，以及表示近侧健康结构，诸如直肠或膀胱的OAR的剂量分布。关于肺癌治疗，剂量数据512可以指定表示癌性肺组织的靶标，以及表示近侧健康肺组织、食道、心脏等的OAR的剂量分布。关于脑癌，剂量数据512可以指定表示脑肿瘤的靶标，以及表示近侧视神经、脑干等的OAR的剂量分布。
训练阶段501的目的是训练深度学习引擎500以通过将输入数据＝图像数据和对应的结构数据511映射到示例输出数据＝剂量数据512 来执行剂量预测。训练阶段501可以涉及找到最小化在训练的剂量数据512与由深度学习引擎500产生的估计的剂量数据582之间的训练误差的权重(例如，核参数)。可以使用任何合适的约束，诸如将剂量预测仅限制于靶标附近或某些剂量水平。
(b)处理路径和层
类似于图4中的实例，图5中的深度学习引擎500包括三个处理路径521-523(k＝1，2，3)以处理处于不同分辨率水平 (Rk＝R1，R2，R3)的图像数据。第一处理路径521(k＝1)被配置成处理处于第一分辨率水平R1(例如，1x)的第一图像数据(I1)。第二处理路径522(k＝2)被配置成处理处于第二分辨率水平 R2＜R1的第二图像数据(I2)以扩大感受野。第三处理路径 523(k＝3)被配置成处理处于第三分辨率水平R3＜R2＜R1的第三图像数据(I3)以进一步扩大感受野。
在图5中的实例中，第一处理路径521的输入是图像数据511。第二处理路径522的输入是已通过降采样块531(例如，按因子2x) 降采样的图像数据(I2)。第三处理路径523的输入是已通过降采样块531-532两者(例如，按总因子6x)降采样的图像数据(I3)。降采样块531-532具有用于在组合来自相应的处理路径521-523的特征数据(参见F1、F2、F3)之前上采样的匹配的上采样块541-543。
深度学习引擎500还包括附加卷积层或块550-570和混合块 580(为简单起见示出了一个)以分阶段组合来自处理路径521-523的特征数据(F1、F2、F3)。类似地，第三特征数据(F3)可以使用上采样块541(例如，按因子4x)上采样，之后使用卷积块550与第二特征数据(F2)组合，从而产生第一组合集(C1)。另外，第一组合集(C1)可以使用上采样块542-543(例如，按因子2x)上采样，之后使用卷积块560-570与第一特征数据(F1)组合，以产生第二组合集 (C2)。混合块580被配置成(例如，使用1x1x1卷积)将最终的特征集分理成最终的剂量预测决策(即，估计的剂量数据582)。
(c)推断阶段
在训练之后，深度学习引擎500可以在推断阶段502期间由临床医师使用来执行剂量预测，以基于特定患者的输入数据＝图像数据 210/591而产生输出数据＝剂量数据260/592。可以由深度学习引擎500 的处理路径521-523在相应的分辨率水平下处理图像数据210/591以扩大感受野。使用图3解释的示例过程(参见方框310-370)可以应用来执行剂量预测，并且为了简洁起见此处将不进行重复。
(d)变化
在实践中，可以训练深度学习引擎200/400/500来处理与任何合适数量的分辨率水平相关的数据。在实践中，处理路径和对应的分辨率水平的数量可以取决于输入图像数据。例如，在某一时刻，由于数据过于粗糙，降采样可能无法揭示额外的感兴趣的特征。医学图像数据分辨率往往是相当高的，并且为了实现效率增益，三个或更多个分辨率水平可能是适当的。
在K＝4的情况下，可以使用第四处理路径来处理与第四分辨率水平相关联的第四图像数据(I4)。例如，可以通过使用任何合适的降采样因子对第一图像数据(I1)、第二图像数据(I2)或第三图像数据(I3)进行降采样来产生第四图像数据(I4)。可以分阶段的方式将来自相应的K＝4处理路径的特征数据(F1、F2、F3、F4)组合来提高效率。例如，可以首先将F4和F3组合，之后组合F2，最终组合F1(例如，按FK、FK-1，...，F1顺序)。
除了图4中的自动分割和图5中的剂量预测之外，本公开的实例还可以被实施来执行治疗递送数据预测。在这种情况下，治疗递送数据(即，输出数据)可以包括结构投射数据、注量图数据等。例如，可以训练深度学习引擎200以诸如基于图像数据、结构数据、剂量数据、或其任何组合而执行结构投射数据。结构投射数据可以包括与治疗递送系统(参见图1中的160)的射束定向和机器轨迹相关的数据。在另一个实例中，可以训练深度学习引擎200来执行注量图估计，诸如有关一组射束定向/轨迹、机器控制点数据(例如，颚件和叶片位置、机架和床位置)等的2D注量图。将使用图9来进一步解释注量图。
深度学习引擎200/400/500的输入数据和输出数据可以包括任何合适的附加和/或替代数据。例如，射野几何数据可以是所有应用的输入或输出。其他实例包括监测器单位(由机器计数的辐射量)、计划评估质量(可接受或不可接受)、日剂量处方(输出)、射野大小或其他机器参数、床位置参数或患者体内的等中心点位置、治疗策略(使用或不使用运动控制机构、增压或不增压)、治疗或不治疗决策。
自适应放射疗法(ART)
在放射疗法中，治疗目标是能够将高剂量递送到靶标(例如，以杀死癌细胞)，同时不伤害健康组织(例如，以最小化对关键OAR的不利影响)。因此，重要的是，在放射治疗的疗程期间递送到正确的位点。然而，患者的解剖结构在递送时的情形或状况可能会明显不同于治疗计划中考虑的情形或状况。例如，关键器官的形状、尺寸和位置与计划图像数据(例如，CT图像)中的那些相比较可能已发生变化。所述差异可能是由各种因素引起的，诸如内部器官运动(例如，膀胱充盈、排便)、患者的体重减轻、肿瘤缩小或扩大等。在某些情况下，基于计划图像数据而产生的现有治疗计划可能不再满足治疗目标，并且需要新的治疗计划。这被称为ART。
例如，出于治疗计划的目的，通常在计划阶段期间(即，在治疗阶段之前)获取CT图像数据。治疗计划可以基于CT图像数据的人工分割而产生。在治疗阶段期间(例如，接近治疗递送或在治疗递送时)，可以获取CBCT图像数据来监测患者的状况的任何变化。临床医师可以将CBCT图像数据与CT图像数据进行比较以评估治疗计划是否仍然可应用来产生精确的剂量递送。如果治疗计划不再满足治疗目标，则需要调整治疗计划。
常规来说，ART通常涉及临床医师对新获取的CBCT图像数据重复人工分割步骤以提高治疗计划的质量。取决于病例和/或治疗区域，分割很容易就成为ART中成本最高的瓶颈问题之一，因为结构的数量及其形状的复杂性可能会变化。例如，轮廓修整可能要花费数分钟或几小时。在一些情况下，可能无法及时治疗患者，因为可能需要重新扫描来离线地继续进行计划过程。在新计划准备好之前，患者都不能继续治疗，这会产生延迟治疗的不良结果。
根据本公开的实例，可以使用深度学习引擎来改进ART计划。在下文中，将解释两种示例方法。根据图6和图7的第一方法可以在治疗阶段期间获取的CBCT图像数据(“治疗图像数据”)明显不同于治疗阶段之前获取的CT图像数据(“计划图像数据”)的情况下实施。否则，可以实施根据图6和图7的第二方法。
更详细地，图6是示出用于由计算机系统使用深度学习引擎来执行自适应放射治疗计划的示例过程流600的示意图。示例过程600可以包括由一个或多个方框示出的一个或多个操作、功能或动作。各种方框可以基于所需实现方式而组合成更少的方框，分为附加方框和/ 或删除。本公开的实例可以使用任何合适的计算机系统来实施，其中一个实例将使用图10来论述。
在图6中的610和620处，可以获得与第一成像模态相关联的治疗图像数据(例如，CBCT图像数据)，以及与第二成像模态相关联的计划图像数据(例如，CT图像数据)。在此处，术语“获得”可以指代计算机系统从任何合适的源(例如，另一个计算机系统、本地存储器/存储体、远程存储器/存储体等)存取或检索图像数据。术语“治疗图像数据”通常可以指代在治疗阶段601期间(例如，接近于预定治疗日或在预定治疗日当天)可以获取来确定是否需要ART的任何合适的图像数据。术语“计划图像数据”通常可以指代在计划阶段602(即，在治疗阶段601之前)可以获取来用于为患者产生治疗计划(参见603)的目的的任何合适的图像数据。
接着，可以将治疗图像数据610与计划图像数据620进行比较，以确定是否需要对基于计划图像数据而产生的治疗计划进行更新。如果为是(即，需要更新)，则可以基于其差异是否超过显著性阈值而实施第一方法(参见640-660)或第二方法(参见670-690)。特别地，在图 3中的630处，响应于确定治疗图像数据610与计划图像数据620之间的差异超过预定显著性阈值，可以实施第一方法。否则，在图6中的632处，响应于确定其差异未超过预定显著性阈值，可以实施第二方法。如果患者的状况自计划阶段602以后已显著改变，则可以基于治疗图像数据610而实施第一方法。如果差异不是很显著，则可以实施第二方法以利用治疗图像数据610和计划图像数据620两者中的信息。
在第一方法与第二方法之间的选择可以(例如，由临床医师)人工执行或以编程方式(例如，由计算机系统)执行。“预定显著性阈值”可以与以下中的至少一者相关联(例如，基于其而设定，与之相关)：需要剂量递送的靶标的形状、尺寸或位置变化；以及接近于靶标的健康组织(例如，OAR)的形状、尺寸或位置变化。取决于相关临床专业，可以使用任何合适的质量度量数据来评估治疗图像数据610与计划图像数据620之间的距离或误差映射，诸如靶标大小、肿瘤位置的转移(例如，与3D映射中的靶标相关联的体素的位置)、从靶标到OAR的距离(例如，到体表或形心的距离)、在将原始射野设置用于新的情形中的情况下靶标和OAR中的剂量测定值等。
应理解，图6至图8中的实例适用于使用任一种或多种合适的成像模态获取的图像数据(即，不限于CT和CBCT图像数据)。例如，治疗图像数据610可以是呈CBCT图像数据的形式，并且计划图像数据620可以是呈CT图像数据、超声图像数据、MRI图像数据、PET 图像数据、SPECT或相机图像数据(例如，使用飞行时间相机来捕获患者的身体轮廓)等的形式。在实践中，考虑到治疗递送机器的有限能力，通常存在有限的选项来获取治疗图像数据610。例如，与出于治疗计划目的而获取的CT图像数据相比较，在治疗期间获取的 CBCT图像数据具有相对较差的图像质量。患者的解剖结构的由 CBCT扫描的区域通常小于CT的区域，因此一些结构在CBCT图像数据中可能是完全不可见的。
在治疗图像数据610＝CT图像数据(例如，与一个能级相关联)的情况下，计划图像数据620可以是呈与另一能级相关联的CT图像数据、超声图像数据、MRI图像数据、PET图像数据、SPECT图像数据或相机图像数据的形式。在治疗图像数据610＝MRI图像数据的情况下，计划图像数据620可以是呈CT图像数据、CBCT图像数据、超声图像数据、MRI图像数据、PET图像数据、SPECT图像数据或相机图像数据的形式。在治疗图像数据610＝超声图像数据的情况下，计划图像数据620可以是呈CT图像数据、CBCT图像数据、PET图像数据、MRI图像数据、SPECT图像数据或相机图像数据的形式。在治疗图像数据610＝PET图像数据的情况下，计划图像数据620可以是呈CT图像数据、CBCT图像数据、超声图像数据、MRI图像数据、SPECT图像数据或相机图像数据的形式。可以使用与任一种或多种合适的成像模态相关联的替代和/或附加图像数据。
另外，应理解，图6至图8中的实例中的深度学习引擎650/680 可以使用任何合适的深度学习技术来实施。在下文中，图1至图5中的具有多个处理路径的深度学习架构将用作实例。取决于所需实现方式，可以使用任何替代和/或附加深度学习模型(即，单个或多个处理路径)。本公开的实例可以被实施来提高ART的效率，这可以提高顾客满意度，增加可以被治疗的患者的数量并且为患者维持设定的计划质量水平。在下文中，CBCT图像数据将用作示例的“与第一成像模态相关联的治疗图像数据”，并且CT图像将用作示例的“与第二成像模态相关联的治疗图像数据”。
(a)第一方法(差异>显著性阈值)
在图6中的实例中，响应于确定需要对基于计划图像数据620而产生的治疗计划进行更新，并且治疗图像数据610与计划图像数据 620之间的差异超过预定显著性阈值，可以执行第一示例方法。由于存在显著偏差，为了避免对治疗递送的任何不利影响，在ART期间不必依赖于计划图像数据620。
特别地，在图6中的640处，可以对治疗图像数据610(例如， CBCT图像数据)进行变换以产生与第二成像模态相关联的变换后的图像数据(例如，合成CT图像数据)。在图6中的650处，可以使用深度学习引擎来处理变换后的图像数据640以产生任何合适的输出数据来更新治疗计划603。输出数据可以是与患者相关联的患者结构数据(例如，标识一个或多个靶标和/或OAR等)、与患者相关联的剂量数据(例如，一个或多个靶标和/或OAR的剂量分布)、与治疗递送系统相关联的治疗递送数据(例如，射束定向和/或轨迹、机器控制点数据、注量图等)、或其任何组合。
根据图6中的方框640-660的第一方法的示例实现方式将使用图 7来进行解释，其是示出图7的用于根据图6中的实例进行ART计划的第一示例方法700的示意图。示例过程700可以包括由一个或多个方框示出的一个或多个操作、功能或动作。各种方框可以基于所需实现方式而组合成更少的方框，分为附加方框和/或删除。示例过程 700可以使用任何合适的计算机系统来实施，其中一个实例将使用图 10来论述。
在训练阶段701期间，可以使用任何合适的训练数据来训练深度学习引擎650以产生输出数据660，诸如训练的CT图像数据(参见731) 和对应的输出数据。在自动分割的情况下，可以使用CT图像数据731 的训练的结构数据732。可选地(为了简单起见在图7中未示出)，可以训练深度学习引擎650来执行自动分割以产生结构数据732，执行剂量预测以产生剂量数据，执行治疗递送数据估计以产生治疗递送数据，或其任何组合。使用图2和图3中的实例，深度学习引擎650可以包括多个处理路径以处理处于不同分辨率水平(R1、R2、R3)的图像数据(I1、I2、I3)。使用图1至图5论述的实例在此处也将适用并且为了简洁起见将不进行重复。使用深度学习引擎650代替人工方法，可以提高ART的效率。
在图7中的实例中，可以使用深度学习引擎720来产生变换后的图像数据640，所述深度学习引擎720被训练来将与一个成像模态(例如，CBCT)相关联的图像数据映射到另一个成像模态(例如，CT)。对于图7中的实例，可以训练深度学习引擎720以将CBCT图像数据映射到CT图像数据。在一个实例中，可以使用包括CT图像数据和对应的结构数据(参见711)，以及CBCT图像数据和对应的结构数据(参见712)的训练数据来训练深度学习引擎720。使用图1至图5论述的实例在此处也将适用并且为了简洁起见将不进行重复。可选地，代替深度学习引擎720，可以使用算法方法，诸如刚性或可变形配准算法等。
在推断阶段702期间，可以使用经过训练的深度学习引擎720来处理治疗计划数据610(例如，CBCT图像数据)以产生变换后的图像数据640(例如，合成CT图像数据)。接着，可以使用深度学习引擎 650来处理变换后的图像数据640以产生输出数据660。对于图7中的实例，可以训练深度学习引擎650来执行自动分割以产生输出＝结构数据，所述结构数据标识与患者相关联的靶标和OAR。可选地，可以训练深度学习引擎650来执行剂量预测、投射数据估计等。然后可以使用输出数据660来更新治疗计划603以反映患者的状况的变化，从而提高治疗递送质量。之后可以基于图6中的改进的治疗计划604 而递送治疗。
(b)第二方法(差异≤显著性阈值)
再次参考图6，响应于确定需要对基于计划图像数据620而产生的治疗计划进行更新，并且治疗图像数据610与计划图像数据620之间的差异未超过预定显著性阈值，可以执行第二示例方法。由于差异不是很显著，ART受益于两组图像数据，即治疗图像数据610和计划图像数据620两者。这是因为例如CT图像数据可以包括额外的数据，因为与CBCT图像数据相比较，所述CT图像数据不会遭受严重伪影。
更详细地，在图6中的680和690处，可以使用深度学习引擎来处理治疗图像数据610和计划图像数据620以产生任何合适的输出数据来更新治疗计划603。类似地，输出数据690可以包括与患者相关联的患者结构数据(例如，标识一个或多个靶标和OAR等)、与患者相关联的剂量数据(例如，一个或多个靶标和OAR的剂量分布)、与治疗递送系统相关联的治疗递送数据(例如，射束定向和/或轨迹、机器控制点数据、注量图数据等)、或其任何组合。
在使用深度学习引擎680进行处理之前，可以诸如通过执行图像配准以相对于计划图像数据620配准治疗图像数据610等来对治疗图像数据610进行变换以产生变换后的图像数据(参见670)。可以使用用于图像配准的任何合适的方法，诸如算法方法、机器学习方法、深度学习方法等。图像配准可以被执行来获得治疗图像数据610与计划图像数据620之间的对应关系。
例如，在CBCT图像数据已被变换来匹配CT图像数据之后，可以将它们输送到深度学习引擎680中以产生输出数据690。在实践中，可以使用任何合适的方法，诸如深度学习方法、算法等来执行图像配准。用于图像配准的一种示例深度学习方法被公开于名称为“Quicksilver:Fast Predictive Image Registration-a Deep Learning Approach”(2017)，作者为Xiao,Y.、Kwitt,R.、Styner,M.、Niethammer, M.并出版于NeuroImage(第158卷，2017，第378页至第396页)的论文中。这种方法可以被实施来使用基于图像外观而对变形模型作出的逐片预测来执行可变形图像配准。深度编码器-解码器网络可以用作预测模型。
应注意，第二方法中的变换后的图像数据670是基于治疗图像数据610和计划图像数据620两者(即，两种输入，诸如CT和CBCT 图像数据)而产生。这应当会与第一方法形成对比，在所述第一方法中，变换后的图像数据640是基于一种输入＝治疗图像数据610(例如，当日的CBCT图像数据)而产生。两种方法都可以依赖于有关变换的图像配准。
根据图6中的方框670-690的第二方法的示例实现方式将使用图 8来进行解释，其是示出图8的用于根据图6中的实例进行ART计划的第二示例方法800的示意图。示例过程800可以包括由一个或多个方框示出的一个或多个操作、功能或动作。各种方框可以基于所需实现方式而组合成更少的方框，分为附加方框和/或删除。示例过程 800可以使用任何合适的计算机系统来实施，其中一个实例将使用图 10来论述。
在训练阶段801期间，可以使用任何合适的训练数据来训练深度学习引擎680以产生输出数据690，诸如训练的CT图像和结构数据 811，以及训练的CBCT图像和结构数据812。目的是训练深度学习引擎680以基于使用不同成像模态，诸如图8中的CT和CBCT获取的两组图像数据而产生输出数据(例如，在自动分割的情况下是结构数据)。
可以使用任何合适的深度学习模型来实施深度学习引擎680。使用图1至图5中的实例，深度学习引擎680可以包括多个处理路径以处理处于不同分辨率水平(R1、R2、R3)的两组CT和CBCT图像数据(I1、I2、I3)。与使用单组图像数据相比较，深度学习引擎 680的输入图像数据可以具有分别表示CT和CBCT图像数据的两个值。深度学习引擎680中的卷积层可以被配置成通过组合来自所有模态的数据而将输入图像数据变换为更多或更少抽象特征。使用图1至图5论述的附加实施细节在此处也将适用并且为了简洁起见将不进行重复。
在推断阶段802期间，经过训练的深度学习引擎680处理两组图像数据，即计划图像数据620和使用图像配准等产生的变换后的图像数据670。在自动分割的情况下，输出数据690可以包括标识与患者相关联的靶标和OAR的结构数据。可选地，可以训练深度学习引擎 680来执行剂量预测、治疗递送数据估计等。然后可以使用输出数据 690来更新治疗计划603以反映患者的状况的变化，从而提高治疗递送质量。之后可以基于图6中的改进的治疗计划604而递送治疗。
使用利用不同成像模态获取的多组图像数据，可以产生比仅具有一组图像数据改进的输出数据(例如，质量更好的轮廓)。与第一方法相比较，两种不同的成像技术通常提供比一种成像技术更多的信息。例如，飞行时间相机系统提供与大面积患者体表有关的信息，而不提供患者内部信息，而CBCT提供患者内部信息，但是在有限的视野内，飞行时间相机系统能捕获运动，而CBCT却不能捕获运动。这两组图像数据可以通过深度神经网络技术来解译以按一种商定格式提供信息(例如，CT图像、CT图像和分段、分段、3D密度图、运动中的3d密度图、运动中的分段等)。
示例治疗计划
图9是基于图1至图8中的实例中的输出数据而产生或改进的示例治疗计划156/900的示意图。治疗计划156可以使用任何合适的治疗递送系统来递送，所述治疗递送系统包括辐射源910，所述辐射源 910用于以各种射束角930将辐射束920投射到表示患者的解剖结构的治疗体积960上。尽管为了简单起见未在图9中示出，但是辐射源 910可以包括用于使辐射束920加速的直线加速器和用于修改或调节辐射束920的准直器(例如，MLC)。在另一个实例中，可以通过使辐射束920以具有各种能量和停留时间的特定模式越过靶患者扫描(例如，像在质子疗法中一样)来调节所述辐射束。控制器(例如，计算机系统)可以用于根据治疗计划156控制辐射源920的操作。
在治疗递送期间，辐射源910可以使用机架围绕患者旋转，或者可以使患者旋转(像在一些质子放射治疗解决方案中一样)以相对于患者以各种射束定向或射束角发射辐射束920。例如，可以使用被配置成执行治疗递送数据估计的深度学习引擎来选择五个等距的射束角 930A至930E(又被标记为“930A”、“930B”、“930C”、“930D”和“930E”) 在实践中，可以选择任何合适数量的射束角和/或工作台或椅子角度 930(例如，五个、七个等)。在每个射束角，辐射束920沿着从辐射源 910延伸到治疗体积960的射束轴线与位于患者包络面外部的注量平面940(又被称为交叉平面)相关联。如图9所示，注量平面940相对于等中心点通常处于已知距离处。
在放射治疗计划期间，治疗计划156/900可以基于使用图1至图 5中的实例中的深度学习引擎200/400/500产生的输出数据260/492/592而产生。在ART计划期间，治疗计划156/900可以基于使用图6至图8中的实例中的深度学习引擎650/680产生的输出数据 660/690而改进。
计算机系统
以上实例可以通过硬件、软件或固件或其组合来实施。图10是用于放射治疗计划和/或ART计划的示例计算机系统1000的示意图。在这个实例中，计算机系统1005(又被称为治疗计划系统)可以包括处理器1010、计算机可读存储介质1020、用于与放射治疗递送系统160 进行交互的接口1040和有助于这些所示部件和其他部件之间的通信的总线1030。
处理器1010用于执行本文参考图1至图9描述的过程。计算机可读存储介质1020可以存储任何合适的信息1022，诸如与训练数据、深度学习引擎、图像数据、输出数据等相关的信息。计算机可读存储介质1020可以进一步存储计算机可读指令1024，所述计算机可读指令1024响应于由处理器1010执行而使处理器1010执行本文描述的过程。治疗可以使用利用图1解释的治疗计划系统160根据治疗计划 156来递送，为了简洁起见此处将不重复对它们的描述。
前述详细描述已经由使用框图、流程图和/或实例阐述了装置和/ 或过程的各种实施方案。在这类框图、流程图和/或实例包含一个或多个功能和/或操作的程度上，本领域技术人员将理解，这类框图、流程图或实例内的每个功能和/或操作可以单独地和/或共同地通过广泛范围的硬件、软件、固件或实质上其任何组合来实施。贯穿本公开，术语“第一”、“第二”、“第三”等并不表示任何重要性顺序，而是用于区分各个元件。
本领域技术人员将认识到，本文公开的实施方案的一些方面整体或部分地可以等效地在集成电路中作为在一个或多个计算机上运行的一个或多个计算机程序(例如，作为在一个或多个计算机系统上运行的一个或多个程序)，作为在一个或多个处理器上运行的一个或多个程序(例如，作为在一个或多个微处理器上运行的一个或多个程序)，作为固件，或作为实质上其任何组合实施，并且鉴于本公开，设计电路和/或为软件和/或固件编写代码将很好地处于本领域技术人员的能力范围内。
尽管本公开已参考具体示例性实施方案进行了描述，但是将认识到，本公开不限于所描述的实施方案，而是可以在随附权利要求的精神和范围内在加以修改和变更的情况下进行实践。因此，说明书和附图应被视为具有说明性意义而非限制性意义。

Claims (10)

1.一种用于执行自适应放射治疗计划的计算机系统，其中所述计算机系统包括处理器和存储器，所述存储器被耦合至所述处理器并且包含存储于其上的指令，所述指令在由所述处理器执行时使所述计算机系统执行以下操作：
获得与第一成像模态相关联的治疗图像数据，其中所述治疗图像数据是在患者的治疗阶段期间获取；
获得与第二成像模态相关联的计划图像数据，其中所述计划图像数据是在所述治疗阶段之前获取以为所述患者产生治疗计划；
确定所述治疗图像数据与所述计划图像数据之间的差异是否超过阈值；
响应于确定所述差异超过所述阈值，
对与所述第一成像模态相关联的所述治疗图像数据进行变换以产生与所述第二成像模态相关联的变换后的图像数据；以及
使用第一深度学习引擎来处理所述变换后的图像数据以产生输出数据来更新所述治疗计划；
否则使用第二深度学习引擎来处理所述治疗图像数据和所述计划图像数据以产生输出数据来更新所述治疗计划。
2.如权利要求1所述的计算机系统，其中确定所述治疗图像数据与所述计划图像数据之间的所述差异是否超过阈值包括：
基于所述治疗图像数据与所述计划图像数据之间的比较，确定所述治疗图像数据与所述计划图像数据之间的所述差异是否超过所述阈值，所述阈值呈与以下中的至少一者相关的预定显著性阈值的形式：需要剂量递送的靶标的形状、尺寸或位置变化；以及接近于所述靶标的健康组织的形状、尺寸或位置变化。
3.如权利要求1或权利要求2所述的计算机系统，其中对所述治疗图像数据进行变换包括：
使用另一深度学习引擎来对所述治疗图像数据进行变换以产生所述变换后的图像数据。
4.如权利要求1或权利要求2所述的计算机系统，其中对所述治疗图像数据进行变换包括：
使用图像配准算法来将所述治疗图像数据变换为包括适合于治疗计划的数据的所述变换后的图像数据。
5.如权利要求1或权利要求2所述的计算机系统，其中使用所述第一深度学习引擎来处理所述变换后的图像数据包括：
使用所述第一深度学习引擎的第一处理路径来处理所述变换后的图像数据以产生与第一分辨率水平相关联的第一特征数据；以及
使用所述第一深度学习引擎的第二处理路径来处理所述变换后的图像数据以产生与第二分辨率水平相关联的第二特征数据；
使用所述第一深度学习引擎的第三处理路径来处理所述变换后的图像数据以产生与第三分辨率水平相关联的第三特征数据；以及
基于所述第一特征数据、所述第二特征数据和所述第三特征数据而产生所述输出数据。
6.如权利要求1或权利要求2所述的计算机系统，其中所述指令在由所述处理器执行时还使所述计算机系统执行以下操作：
在使用所述第二深度学习引擎来处理所述治疗图像数据和所述计划图像数据之前，通过相对于所述计划图像数据配准所述治疗图像数据来执行图像配准以产生变换后的图像数据。
7.如权利要求6所述的计算机系统，其中使用所述第二深度学习引擎来处理所述治疗图像数据和所述计划图像数据包括：
使用所述第二深度学习引擎来处理所述变换后的图像数据和所述计划图像数据以产生所述输出数据。
8.如权利要求1或权利要求2所述的计算机系统，其中使用所述第二深度学习引擎来处理所述治疗图像数据和所述计划图像数据包括：
使用所述第二深度学习引擎的第一处理路径来处理所述治疗图像数据和所述计划图像数据以产生与第一分辨率水平相关联的第一特征数据；以及
使用所述第二深度学习引擎的第二处理路径来处理所述治疗图像数据和所述计划图像数据以产生与第二分辨率水平相关联的第二特征数据；
使用所述第二深度学习引擎的第三处理路径来处理所述治疗图像数据和所述计划图像数据以产生与第三分辨率水平相关联的第三特征数据；以及
基于所述第一特征数据、所述第二特征数据和所述第三特征数据而产生所述输出数据。
9.如权利要求1、2和7中任一项所述的计算机系统，其中获得所述治疗图像数据和所述计划图像数据包括以下中的一者：
获得呈锥形束计算机断层扫描CBCT图像数据的形式的所述治疗图像数据，以及呈计算机断层扫描CT图像数据、超声图像数据、磁共振成像MRI图像数据、正电子发射断层扫描PET图像数据、单光子发射计算机断层扫描SPECT或相机图像数据的形式的所述计划图像数据；
获得呈CT图像数据的形式的所述治疗图像数据，以及呈与不同能级相关联的CT图像数据、超声图像数据、MRI图像数据、PET图像数据、SPECT图像数据或相机图像数据的形式的所述计划图像数据；
获得呈MRI图像数据的形式的所述治疗图像数据，以及呈CT图像数据、CBCT图像数据、超声图像数据、MRI图像数据、PET图像数据、SPECT图像数据或相机图像数据的形式的所述计划图像数据；
获得呈超声图像数据的形式的所述治疗图像数据，以及呈CT图像数据、CBCT图像数据、PET图像数据、MRI图像数据、SPECT图像数据或相机图像数据的形式的所述计划图像数据；以及
获得呈PET图像数据的形式的所述治疗图像数据，以及呈CT图像数据、CBCT图像数据、超声图像数据、MRI图像数据、SPECT图像数据或相机图像数据的形式的所述计划图像数据。
10.如权利要求1、2和7中任一项所述的计算机系统，其中所述指令在由所述处理器执行时还使所述计算机系统执行以下操作：
使用与过往患者相关联的训练数据来训练所述第一深度学习引擎或所述第二深度学习引擎以执行以下中的一者：自动分割，所述自动分割用于产生呈与所述患者相关联的结构数据的形式的所述输出数据；剂量预测，所述剂量预测用于产生呈与所述患者相关联的剂量数据的形式的所述输出数据；以及治疗递送数据估计，所述治疗递送数据估计用于产生呈用于治疗递送系统的治疗递送数据的形式的所述输出数据。
CN201910918486.XA 2018-09-28 2019-09-26 一种用于执行自适应放射治疗计划的计算机系统 Active CN110960803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210168442.1A CN114344740A (zh) 2018-09-28 2019-09-26 用于使用深度学习引擎进行自适应放射治疗计划的方法和系统

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16/145,606 US10984902B2 (en) 2018-09-28 2018-09-28 Methods and systems for adaptive radiotherapy treatment planning using deep learning engines
US16/145,606 2018-09-28
US16/145,673 2018-09-28
US16/145,673 US11475991B2 (en) 2018-09-28 2018-09-28 Methods and systems for adaptive radiotherapy treatment planning using deep learning engines

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210168442.1A Division CN114344740A (zh) 2018-09-28 2019-09-26 用于使用深度学习引擎进行自适应放射治疗计划的方法和系统

Publications (2)

Publication Number Publication Date
CN110960803A CN110960803A (zh) 2020-04-07
CN110960803B true CN110960803B (zh) 2022-02-25

Family

ID=68051739

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910918486.XA Active CN110960803B (zh) 2018-09-28 2019-09-26 一种用于执行自适应放射治疗计划的计算机系统
CN202210168442.1A Pending CN114344740A (zh) 2018-09-28 2019-09-26 用于使用深度学习引擎进行自适应放射治疗计划的方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210168442.1A Pending CN114344740A (zh) 2018-09-28 2019-09-26 用于使用深度学习引擎进行自适应放射治疗计划的方法和系统

Country Status (2)

Country Link
EP (3) EP4287204A3 (zh)
CN (2) CN110960803B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3892328A1 (en) * 2020-04-09 2021-10-13 RaySearch Laboratories AB A method of generating a radiotherapy treatment plan for a patient, a computer program product and a computer system
EP3936187A1 (en) * 2020-07-09 2022-01-12 Koninklijke Philips N.V. An artificial intelligence system to support adaptive radiotherapy
CN113744320B (zh) * 2021-09-10 2024-03-29 中国科学院近代物理研究所 一种智能型的离子束自适应放疗系统、存储介质及设备
WO2023184178A1 (zh) * 2022-03-29 2023-10-05 西安大医集团股份有限公司 治疗计划生成方法、装置、设备及介质
CN117773334B (zh) * 2024-02-28 2024-05-14 无锡丰毅汽车配件有限公司 一种汽车天窗框自动焊接装置
CN118079256B (zh) * 2024-04-26 2024-07-12 四川省肿瘤医院 磁共振引导放射治疗肿瘤靶区的自动追踪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107072595A (zh) * 2013-12-31 2017-08-18 威斯康星州医药大学股份有限公司 基于多模态成像的自适应重计划
CN107715314A (zh) * 2017-11-20 2018-02-23 徐榭 基于深度学习的放射治疗系统及方法
WO2018048575A1 (en) * 2016-09-07 2018-03-15 Elekta, Inc. System and method for learning models of radiotherapy treatment plans to predict radiotherapy dose distributions

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7415095B2 (en) * 2004-10-01 2008-08-19 Siemens Aktiengesellschaft System and method utilizing adaptive radiation therapy framework
US20070053491A1 (en) * 2005-09-07 2007-03-08 Eastman Kodak Company Adaptive radiation therapy method with target detection
US8019042B2 (en) * 2008-04-22 2011-09-13 Siemens Medical Solutions Usa, Inc. Medical imaging processing and care planning system
US10589128B2 (en) * 2010-04-16 2020-03-17 Susan L. Michaud Treatment beam path verification in a cancer therapy apparatus and method of use thereof
EP2594317B1 (en) * 2010-07-15 2014-08-20 Kabushiki Kaisha Toshiba Radiation treatment system and control method therefor
EP2931371B1 (en) * 2012-12-17 2020-07-15 Koninklijke Philips N.V. Real-time adaptive dose computation radiation therapy
CN104117151B (zh) * 2014-08-12 2017-01-25 章桦 一种在线自适应放疗计划优化方法
US11056243B2 (en) * 2015-12-21 2021-07-06 Elekta Ab (Publ) Systems and methods for optimizing treatment planning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107072595A (zh) * 2013-12-31 2017-08-18 威斯康星州医药大学股份有限公司 基于多模态成像的自适应重计划
WO2018048575A1 (en) * 2016-09-07 2018-03-15 Elekta, Inc. System and method for learning models of radiotherapy treatment plans to predict radiotherapy dose distributions
CN107715314A (zh) * 2017-11-20 2018-02-23 徐榭 基于深度学习的放射治疗系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Adaptive Radiotherapy Enabled by MRI Guidance;A.Hunt等;《Clinical Oncology》;20180907;第30卷(第11期);全文 *
Towards fast online intrafraction replanning for free-breathing stereotactic body radiation therapy with the MR-linac;C Kontaxis等;《Physics in Medicine & Biology》;20170821;第62卷(第18期);全文 *

Also Published As

Publication number Publication date
EP4287204A3 (en) 2024-02-21
EP4287205A2 (en) 2023-12-06
EP4287205A3 (en) 2024-02-21
CN110960803A (zh) 2020-04-07
EP4287204A2 (en) 2023-12-06
CN114344740A (zh) 2022-04-15
EP3628372B1 (en) 2023-11-08
EP3628372A1 (en) 2020-04-01

Similar Documents

Publication Publication Date Title
EP3856335B1 (en) Methods and systems for radiotherapy treatment planning using deep learning engines
US10984902B2 (en) Methods and systems for adaptive radiotherapy treatment planning using deep learning engines
US11682485B2 (en) Methods and systems for adaptive radiotherapy treatment planning using deep learning engines
CN110960803B (zh) 一种用于执行自适应放射治疗计划的计算机系统
US11011264B2 (en) Radiotherapy treatment planning using artificial intelligence (AI) engines
US11386592B2 (en) Tomographic image analysis using artificial intelligence (AI) engines
CN113891742B (zh) 用于基于连续深度学习的放射疗法治疗规划的方法和系统
US11282192B2 (en) Training deep learning engines for radiotherapy treatment planning
US11724126B2 (en) Methods and systems for quality-aware continuous learning for radiotherapy treatment planning
US11013936B2 (en) Methods and systems for generating dose estimation models for radiotherapy treatment planning
US12033322B2 (en) Systems and methods for image cropping and anatomical structure segmentation in medical imaging
US20220051781A1 (en) Methods and systems for radiotherapy treatment planning based on deep transfer learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40027795

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant