CN115829972B - 一种放疗计划三维剂量分布与通量的同步预测方法及装置 - Google Patents
一种放疗计划三维剂量分布与通量的同步预测方法及装置 Download PDFInfo
- Publication number
- CN115829972B CN115829972B CN202211547474.9A CN202211547474A CN115829972B CN 115829972 B CN115829972 B CN 115829972B CN 202211547474 A CN202211547474 A CN 202211547474A CN 115829972 B CN115829972 B CN 115829972B
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- map
- predicted
- flux
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004907 flux Effects 0.000 title claims abstract description 173
- 238000009826 distribution Methods 0.000 title claims abstract description 120
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 67
- 238000001959 radiotherapy Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 50
- 210000000920 organ at risk Anatomy 0.000 claims abstract description 45
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 14
- 238000010606 normalization Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 44
- 238000004590 computer program Methods 0.000 claims description 11
- 210000000056 organ Anatomy 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 abstract description 18
- 230000000694 effects Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000005855 radiation Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000002721 intensity-modulated radiation therapy Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004242 micellar liquid chromatography Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 208000002454 Nasopharyngeal Carcinoma Diseases 0.000 description 1
- 206010061306 Nasopharyngeal cancer Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000004980 dosimetry Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 201000011216 nasopharynx carcinoma Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Abstract
本申请属于放射治疗技术领域，公开了一种放疗计划三维剂量分布与通量的同步预测方法及装置，该方法包括：从患者的肿瘤医学影像中提取计划靶区轮廓图像、危及器官轮廓图像及CT图像；根据预先训练好的同步预测模型、提取得到的计划靶区轮廓图像、危及器官轮廓图像及CT图像，得到患者的放疗计划的预测三维剂量分布图和预测二维通量图；根据预测三维剂量分布图和预测二维通量图，反归一化得到患者的放疗计划的绝对剂量分布图和绝对通量图。本申请可以达到提高放疗计划质量一致性和计划设计效率的效果。
Description
技术领域
本申请涉及放射治疗技术领域，尤其涉及一种放疗计划三维剂量分布与通量的同步预测方法及装置。
背景技术
调强放射治疗(Intensity-Modulated Radiation Therapy，IMRT)是临床最常用的一种放疗技术，通过多叶准直器(Multi-Leaf Collimators，MLCs)等外部设备来调节高能X射线束的强度，目的是向肿瘤靶区提供足够的高剂量覆盖，并且尽量减少周围正常组织和器官的受照剂量。目前，IMRT的治疗计划设计通常在治疗计划设计系统(TreatmentPlanning System，TPS)中通过逆向计划优化完成，逆向计划优化是一个繁琐的试错过程，通过反复调整剂量目标和约束来得到满足临床要求的计划。因此，计划设计的效率较低，计划的质量很大程度上取决于计划者的经验丰富程度。
现有的提高计划质量一致性和计划设计效率方法主要为基于经验知识的计划设计(Knowledge-Based Planning，KBP)。最初，KBP通过剂量目标预测来指导后续的逆向优化，剂量目标预测旨在利用机器学习从大量的先验计划中建立患者解剖结构和剂量学特征之间的关系。同时，以往的研究主要通过传统的机器学习方法进行特定剂量标准或剂量体积直方图(Dose-Volume Histogram，DVH)预测，最新的进展是利用深度卷积神经网络(Convolutional Neural Networks，CNNs)预测患者的三维(3D)剂量分布。此外，最近的研究尝试将KBP方法转移到另一个阶段，即绕过逆向优化直接预测可交付的通量，通过对预测通量进行MLC叶片序列生成得到最终放疗计划。
然而，虽然基于深度学习方法的通量预测取得了成功，但仍有一些其他问题需要解决。首先，我们很难知道预测的通量是否是患者的最佳解决方案，所以仅利用预测的通量生成叶片序列而得到交付的计划是有风险的。因此，仍需要预测患者特定的剂量信息来评估由通量预测生成的方案质量；患者特定的剂量信息可以是DVH和三维剂量分布，其预测通常是利用机器学习或者深度学习方法从患者的肿瘤靶区和周围正常器官轮廓、处方剂量以及CT图像中生成。一旦知道预测的通量不是最优的，就可以使用预测的患者特定剂量信息作为目标，预测的通量作为初始值，然后将预测的剂量信息和通量导入TPS中，利用优化算法对预测通量继续进一步优化，使TPS能够较快计算出满足临床要求的三维剂量分布和对应的最优通量，从而有效地减少生成最优通量的迭代次数，提高计划设计的效率和计划质量一致性。其次，上述研究需要先预测射野剂量或者额外的二维特征图提取步骤进行通量预测，而无法直接从患者的三维解剖结构信息生成通量图。可见，现有技术中，通量预测无法采用和三维剂量分布预测相同的框架和输入，需要分别对三维剂量分布和通量进行预测，运算步骤繁琐且预测效率低，导致很难方便地用于临床计划设计。
发明内容
本申请提供了一种放疗计划三维剂量分布与通量的同步预测方法及装置，能够同步预测调强放射治疗计划设计的三维剂量分布图和通量图，简化了运算过程，并为基于通量预测的自动计划设计生成同步提供三维剂量分布信息，从而提高放疗计划质量一致性和计划设计效率。
第一方面，本申请实施例提供了一种放疗计划三维剂量分布与通量的同步预测方法，该方法包括：
从患者的肿瘤医学影像中提取计划靶区轮廓图像、危及器官轮廓图像及CT图像；
根据预先训练好的同步预测模型、提取得到的计划靶区轮廓图像、危及器官轮廓图像及CT图像，得到患者的放疗计划的预测三维剂量分布图和预测二维通量图；
根据预测三维剂量分布图和预测二维通量图，反归一化得到患者的放疗计划的绝对剂量分布图和绝对通量图。
在其中一个实施例中，根据预先训练好的同步预测模型、提取得到的计划靶区轮廓图像、危及器官轮廓图像及CT图像，得到患者的放疗计划的预测三维剂量分布图和预测二维通量图，包括：
将提取得到的计划靶区轮廓图像、危及器官轮廓图像及CT图像进行归一化处理；
将归一化后的计划靶区轮廓图像、危及器官轮廓图像及CT图像输入预先训练好的同步预测模型进行预测，得到患者的放疗计划的预测三维剂量分布图和预测二维通量图。
在其中一个实施例中，同步预测模型为共享编码器网络，共享编码器网络包括编码路径、第一解码路径及第二解码路径；
编码路径用于通过卷积和下采样操作提取图像的关键特征，以降低图像分辨率；
第一解码路径用于通过上采样、卷积和跳跃连接来恢复图像细节和大小，输出预测三维剂量分布图；
第二解码路径用于通过上采样、卷积和跳跃连接来恢复图像细节和大小，通过传递第一解码路径的各级剂量特征得到三维特征体积图，通过几何投影操作将三维特征体积图转换成预测二维通量图，并输出预测二维通量图。
在其中一个实施例中，同步预测模型为直接级联网络，直接级联网络包括第一U-Net网络和第二U-Net网络；
第一U-Net网络用于根据计划靶区轮廓图像、危及器官轮廓图像及CT图像输出预测三维剂量分布图；
第二U-Net网络用于根据计划靶区轮廓图像、危及器官轮廓图像、CT图像以及第一U-Net网络输出的预测三维剂量分布图，得到三维特征体积图，通过几何投影操作将三维特征体积图转换成预测二维通量图，并输出预测二维通量图。
在其中一个实施例中，通过几何投影操作将三维特征体积图转换成预测二维通量图，包括：
按照公式f＝PT·v将三维特征体积图转换成预测二维通量图；
其中，f为预测二维通量图，v为三维特征体积图，P是预设的几何投影矩阵，T是转置操作，P中像素值Pij表示第i个体素接受来自第j个单位射束强度的通量贡献。
在其中一个实施例中，该方法还包括：
获取训练数据集，训练数据集中包含多个训练数据组，每个训练数据组包括一个患者的计划靶区轮廓样本图像、危及器官轮廓样本图像、CT样本图像、三维剂量分布样本图及通量样本图；
根据训练数据集对用于预测放疗计划的预测三维剂量分布图和预测二维通量图的同步预测模型进行训练，得到预先训练好的同步预测模型。
在其中一个实施例中，获取训练数据集，包括：
获取多个原始数据组，每个原始数据组包括一个患者的计划靶区轮廓原始图像、危及器官轮廓原始图像、CT原始图像、三维剂量分布原始图及通量原始图；
基于多个原始数据组进行数据增强，得到训练数据集。
第二方面，本申请实施例提供了一种放疗计划三维剂量分布与通量的同步预测装置，装置包括：
图像提取模块，用于从患者的肿瘤医学影像中提取计划靶区轮廓图像、危及器官轮廓图像及CT图像；
同步预测模块，用于根据预先训练好的同步预测模型、提取得到的计划靶区轮廓图像、危及器官轮廓图像及CT图像，得到患者的放疗计划的预测三维剂量分布图和预测二维通量图；
图像转换模块，用于根据预测三维剂量分布图和预测二维通量图，反归一化得到患者的放疗计划的绝对剂量分布图和绝对通量图。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时执行如上述任一实施例的放疗计划三维剂量分布与通量的同步预测方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一实施例的放疗计划三维剂量分布与通量的同步预测方法的步骤。
综上，与现有技术相比，本申请实施例提供的技术方案带来的有益效果至少包括：
本申请实施例提供的一种放疗计划三维剂量分布与通量的同步预测方法，能够从患者的肿瘤医学影像中提取计划靶区轮廓图像、危及器官轮廓图像及CT图像；根据预先训练好的同步预测模型、提取得到的三维计划靶区轮廓图像、危及器官轮廓图像及CT图像，得到患者的放疗计划的预测三维剂量分布图和预测二维通量图；根据预测三维剂量分布图和预测二维通量图，反归一化得到患者的放疗计划的绝对剂量分布图和绝对通量图。上述方法可以同步预测调强放射治疗计划设计的三维剂量分布图和通量图，为基于通量预测的自动计划设计生成同步提供三维剂量分布信息，从而提高放疗计划质量一致性和计划设计效率。
附图说明
图1为本申请一个示例性实施例提供的放疗计划三维剂量分布与通量的同步预测方法的流程图。
图2为本申请另一个示例性实施例提供的放疗计划三维剂量分布与通量的同步预测方法的流程图。
图3为本申请一个示例性实施例提供的共享编码器网络的结构图。
图4为本申请一个示例性实施例提供的直接级联网络的结构图。
图5为本申请一个示例性实施例提供的测试用例的三维剂量分布比较图。
图6为本申请一个示例性实施例提供的测试用例的通量比较图。
图7为本申请一个示例性实施例提供的真实数据与预测三维剂量分布的比较表。
图8为本申请一个示例性实施例提供测试患者的真实数据与预测通量的比较表。
图9为本申请一个示例性实施例提供的放疗计划三维剂量分布与通量的同步预测装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参见图1，本申请实施例提供了一种放疗计划三维剂量分布与通量的同步预测方法，以执行主体为终端为例进行说明，该方法可以包括以下步骤：
步骤S1，从患者的肿瘤医学影像中提取计划靶区轮廓图像、危及器官轮廓图像及CT图像。
其中，肿瘤医学影像可以为患者的DICOM(Digital Imaging and Communicationsin Medicine)文件，DICOM即医学数字成像和通信，是医学图像和相关信息的国际标准，它定义了质量能满足临床需要的可用于数据交换的医学图像格式；计划靶区轮廓图像(PlanTarget Volume，PTV)可以为处方剂量填充的三维掩模图，用于指示患者的计划靶区；危及器官轮廓图像(Organs At Risk，OARs)可以为指示患者的危及器官区域的二进制掩模图。
步骤S2，根据预先训练好的同步预测模型、提取得到的计划靶区轮廓图像、危及器官轮廓图像及CT图像，得到患者的放疗计划的预测三维剂量分布图和预测二维通量图。
其中，同步预测模型的骨干网络可以采用任何一种3D-Unet网络及其变种，预先训练好的同步预测模型可以用于根据计划靶区轮廓图像、危及器官轮廓图像及CT图像预测得到患者的放疗计划的预测三维剂量分布图和预测二维通量图。
具体实施时，请参见图2，步骤S2可以包括以下步骤：
步骤S21，将提取得到的计划靶区轮廓图像、危及器官轮廓图像及CT图像进行归一化处理。
步骤S22，将归一化后的计划靶区轮廓图像、危及器官轮廓图像及CT图像输入预先训练好的同步预测模型进行预测，得到患者的放疗计划的预测三维剂量分布图和预测二维通量图。
步骤S3，根据预测三维剂量分布图和预测二维通量图，反归一化得到患者的放疗计划的绝对剂量分布图和绝对通量图。
其中，在辐射场中某一点的通量是进入以该点为球心的小球的粒子数与其截面的比值，即单位面积的入射粒子数目；临床放疗计划设计所使用的目标和初始值分别为绝对剂量分布和绝对通量分布，即最终需要得到绝对值，而同步预测模型输出的是相对值，因此要通过反归一化把相对值变为绝对值。
上述实施例中提供的一种放疗计划三维剂量分布与通量的同步预测方法，能够从患者的肿瘤医学影像中提取计划靶区轮廓图像、危及器官轮廓图像及CT图像；根据预先训练好的同步预测模型、提取得到的计划靶区轮廓图像、危及器官轮廓图像及CT图像，得到患者的放疗计划的预测三维剂量分布图和预测二维通量图；根据预测三维剂量分布图和预测二维通量图，反归一化得到患者的放疗计划的绝对剂量分布图和绝对通量图。上述方法可以同步预测调强放射治疗计划设计的三维剂量分布图和通量图，为基于通量预测的自动计划设计生成同步提供三维剂量分布信息，从而提高放疗计划质量一致性和计划设计效率。
基于上述实施例，可以在3D-Unet网络的基础上进行改进，得到可以独立实现同步生成剂量分布和通量图的功能扩展网络。
在一些实施例中，同步预测模型为基于3D-Unet的共享编码器网络，其结构请参见图3。
共享编码器网络包括编码路径、第一解码路径及第二解码路径；
编码路径用于通过卷积和下采样操作提取图像的关键特征，以降低图像分辨率；
第一解码路径用于通过上采样、卷积和跳跃连接来恢复图像细节和大小，输出预测三维剂量分布图；
第二解码路径用于通过上采样、卷积和跳跃连接来恢复图像细节和大小，通过传递第一解码路径的各级剂量特征得到三维特征体积图，通过几何投影操作将三维特征体积图转换成预测二维通量图，并输出预测二维通量图。
其中，共享编码器网络的网络结构包括一条具有5个分辨率级别的编码路径和两条具有4个分辨率级别的解码路径，即第一解码路径和第二解码路径；计划靶区轮廓图像(简称PTV)、危及器官轮廓图像(简称OARs)及CT图像作为共享编码器网络的输入数据。
具体实施时，可以将PTV、OARs和CT图像作为网络输入的独立通道，共19个输入通道。在编码路径上，采用传统的卷积和下采样操作提取关键特征，降低图像分辨率。每次下采样后，特征图的通道数翻倍，大小减半。因此，特征图的通道数由32增加到512，尺寸由32×224×224(层数×高×宽)缩小到2×14×14。此外，在两个解码路径中使用上采样、卷积和跳跃连接来恢复图像细节和大小。上采样采用三线性插值和卷积算法。每个3×3×3卷积操作后分别进行实例归一化(IN)和整流线性单元(ReLU)激活，以防止过拟合和梯度爆炸。两个解码器路径的输出通道均为1，预测的剂量分布尺寸恢复至32×224×224。
在另一些实施例中，同步预测模型为基于3D-Unet的直接级联网络，其网络结构请参见图4；直接级联网络包括第一U-Net网络和第二U-Net网络；
第一U-Net网络用于根据计划靶区轮廓图像、危及器官轮廓图像及CT图像输出预测三维剂量分布图；第二U-Net网络用于根据计划靶区轮廓图像、危及器官轮廓图像、CT图像以及第一U-Net网络输出的预测三维剂量分布图，得到三维特征体积图，通过几何投影操作将三维特征体积图转换成预测二维通量图，并输出预测二维通量图。
其中，直接级联网络先后独立地预测剂量分布和通量图，主要由两个U-Net网络组成，两个U-Net网络的输入均为PTV、OARs和CT图像，其中第一U-Net网络用于预测三维剂量分布，第二U-Net网络通过输入第一个U-Net的输出和其他输入(PTV、OARs和CT图像)来预测二维通量图。
基于上述实施例中，在共享编码器网络或直接级联网络中，通过几何投影操作将三维特征体积图转换成预测二维通量图，可以包括：
按照公式f＝PT·v将三维特征体积图转换成预测二维通量图。
其中，f为预测二维通量图，v为三维特征体积图，可以由共享编码器网络的第二解码路径，或者直接级联网络的第二U-Net网络得到，其代表通量域信息，并非剂量域信息；P是预设的几何投影矩阵，可以是按照平方反比定律预先计算并存储为矩阵的；T是转置操作，P中像素值Pij表示第i个体素接受来自第j个单位射束强度的通量贡献。
具体实施时，在生成通量图的解码路径的输出中，存在三维体积特征空间与二维通量空间之间的维度转换问题，因此，可以引入了一个三维到二维的几何投影操作。该几何投影操作可以很容易地插入到同步预测模型网络训练的正向和反向传播过程中。
需要注意的是，对于上述实施例中的共享编码器网络和直接级联网络，两者区别主要有三个方面：首先，由于剂量和通量图之间有很强的相关性，共享编码器网络只使用一个编码器路径，而且比直接级联网络的参数数量更少。其次，共享编码器网络融合了不同分辨率水平下通过剂量生成解码路径学习到的剂量特性，而直接级联网络仅使用全分辨率剂量作为输入。第三，共享编码器网络的训练和预测是一个一步的过程，而直接级联网络需要两个单独的步骤。除了上述差异外，两个网络的其他网络结构和参数保持一致。
上述各实施例可以在3D-Unet网络的基础上进行改进，得到两个扩展网络：共享编码器网络和直接级联网络，这两个扩展网络均可以独立实现生成三维剂量分布图和通量图的功能。剂量分布预测和通量预测使用相同的输入数据，既不需要预先预测射野剂量，也不需要预先计算包含轮廓信息的特征图，运算更简单，能够为基于通量预测的自动计划设计生成同步提供三维剂量分布信息，从而保障调强放射治疗的计划设计质量和提高计划设计效率。
在一些实施例中，该方法还可以包括以下步骤：
获取训练数据集。
其中，训练数据集中包含多个训练数据组，每个训练数据组包括一个患者的计划靶区轮廓样本图像、危及器官轮廓样本图像、CT样本图像、三维剂量分布样本图及通量样本图。
具体地，获取训练数据集，可以包括：获取多个原始数据组，每个原始数据组包括一个患者的计划靶区轮廓原始图像、危及器官轮廓原始图像、CT原始图像、三维剂量分布原始图及通量原始图；以及，基于多个原始数据组进行数据增强，得到训练数据集。
具体实施时，以340例接受调强放疗的鼻咽癌患者数据作为原始数据。所有患者均采用同一治疗机器，使用9个等间隔的射野角度(0°、40°、80°、120°、160°、200°、240°、280°、320°)和6MV X射线照射，然后从每个患者的DICOM文件中提取CT图像、PTV、OARs轮廓、三维剂量分布图和9野通量图。其中，PTV可以用处方剂量填充的3D掩膜表示，即PTV掩模；每个OAR轮廓由二进制掩模表示，即OAR掩模，在OAR轮廓内和轮廓外的体素值分别设置为1和0。所有CT图像、PTV掩模和OAR掩模以及三维剂量分布图均采用2.5mm×2.5mm×2.5mm分辨率插值，以计划的等中心为中心，横切片尺寸为224×224。在2.5mm×2.5mm分辨率下分别计算9个射野的通量图，并将其连接成尺寸为9×160×160的三维矩阵。因此，每个患者的数据包含1个CT图像、1个PTV掩模、1个OAR掩模、1个三维剂量分布图和1个通量图。其中，一个患者的数据可以为一个原始数据组，1个CT图像、1个PTV掩模、1个OAR掩模、1个三维剂量分布图和1个通量图分别对应CT原始图像、计划靶区轮廓原始图像、危及器官轮廓原始图像、三维剂量分布原始图及通量原始图。
在同步预测模型的训练过程中，为了进一步扩大训练数据集，避免过拟合，可以采用两种数据增强技术：以0.6的概率随机左右翻转；以0.4的概率随机在{40°、80°、120°、160°、200°、240°、280°和320°}中的任一角度旋转。同时，按照输入数据的增强方式对剂量分布和通量图也进行相应的变换，即可得到数据增强后的训练数据集。
根据训练数据集对用于预测放疗计划的预测三维剂量分布图和预测二维通量图的同步预测模型进行训练，得到预先训练好的同步预测模型。
具体实施时，在同步预测模型的训练过程中，由于每个患者的切片数目不同，且GPU内存有限，可以随机选择连续的32层切片作为输入数据，且保证32层中至少有一层PTV体素值不为零。训练前，PTV掩膜和剂量分布以7000cGy归一化，通量图以2000机器跳数(MU)归一化，CT图像先裁剪至-1024～2000HU范围内，再以2000HU归一化。在训练完成后，还可以采用验证数据集验证同步预测模型的性能。验证数据集可以只包含PTV掩模非零值的切片，将预测剂量分布与真实剂量分布的平均绝对误差(Mean Absolute Error，MAE)作为剂量损失，预测通量与真实通量的MAE作为通量损失，最后以剂量损失与通量损失之和为总的损失函数来验证同步预测模型性能。
在同步预测模型的评估过程中，使用训练得到的同步预测模型对40例独立测试集的剂量分布和通量进行分块预测，以证明同步预测模型在剂量分布和通量图的同时预测任务中的可行性。为了生成三维剂量分布图和通量图，将预测的三维剂量块用滑窗法拼接回原始剂量的尺寸，同时，先将预测的三维通量块投影为二维的通量图，再用滑窗法将通量图拼接回原始的尺寸，并使用对数函数平滑两个预测块之间的重叠区域，以得到预测二维通量图。
上述实施例中，提出了共享编码器网络和直接级联网络这两个网络来同时预测患者的三维剂量分布图和通量图。与真实值相比，这两个网络均成功预测了相似的剂量分布图和通量图。测试用例的剂量分布比较如图5所示，图中前三列为横断面，第四列为冠状面，Difference-1为真实剂量与共享编码器网络预测剂量的差异图，Difference-2为真实剂量与直接级联网络预测剂量的差异图。测试用例的9野通量图比较如图6所示，图中(a)-(c)分别为真实通量图、共享编码器网络预测及直接级联网络预测的通量图，(d)为真实通量与共享编码器网络预测通量的差异图，(e)为真实通量与直接级联网络预测通量的差异图。
在模型评估中，利用剂量分布差异、DVH曲线和临床指标对预测剂量和真实剂量进行比较。利用通量图差异、MAE(％)、结构相似指数(Structural Similarity，SSIM)和三种阈值下(10％、20％和5％)的伽马通过率(标准分别为2％/2mm、3％/3mm和5％/5mm)来评估预测的通量图。例如，如图7和图8中的表格所示，对40例独立测试集的定量评估表明，共享编码器网络能够实现与直接级联网络相当的剂量分布，并且其通量预测性能略优于直接级联网络。图7中的表格展示了40例测试患者的临床指标比较，单位为Gy(平均值±标准差)。Diff-1为真实值与共享编码器网络预测值的差值，Diff-2为真实值与直接级联网络预测值的差值。图8中的表格40例测试患者的通量图预测值与真实值之间的MAE、SSIM和伽马通过率(平均值±方差)。
具体实施时，在模型训练效率方面，共享编码器网络和直接级联网络分别需要6天和8天，利用已训练好的模型，共享编码器网络只需要18s同时生成剂量和通量，而直接级联网络则需要25s先后生成剂量和通量。因此，共享编码器网络的训练时间更短，预测效率更高。
请参见图9，本申请另一实施例提供了一种放疗计划三维剂量分布与通量的同步预测装置，该装置可以包括：
图像提取模块101，用于从患者的肿瘤医学影像中提取计划靶区轮廓图像、危及器官轮廓图像及CT图像。
同步预测模块102，用于根据预先训练好的同步预测模型、提取得到的计划靶区轮廓图像、危及器官轮廓图像及CT图像，得到患者的放疗计划的预测三维剂量分布图和预测二维通量图。
图像转换模块103，用于根据预测三维剂量分布图和预测二维通量图，反归一化得到患者的放疗计划的绝对剂量分布图和绝对通量图。
在一些实施例中，同步预测模块102具体可以用于：将提取得到的计划靶区轮廓图像、危及器官轮廓图像及CT图像进行归一化处理；将归一化后的计划靶区轮廓图像、危及器官轮廓图像及CT图像输入预先训练好的同步预测模型进行预测，得到患者的放疗计划的预测三维剂量分布图和预测二维通量图。
在一些实施例中，同步预测模型为共享编码器网络，共享编码器网络包括编码路径、第一解码路径及第二解码路径；编码路径用于通过卷积和下采样操作提取图像的关键特征，以降低图像分辨率；第一解码路径用于通过上采样、卷积和跳跃连接来恢复图像细节和大小，输出预测三维剂量分布图；第二解码路径用于通过上采样、卷积和跳跃连接来恢复图像细节和大小，通过传递第一解码路径的各级剂量特征得到三维特征体积图，通过几何投影操作将三维特征体积图转换成预测二维通量图，并输出预测二维通量图。
在一些实施例中，同步预测模型为直接级联网络，直接级联网络包括第一U-Net网络和第二U-Net网络；第一U-Net网络用于根据计划靶区轮廓图像、危及器官轮廓图像及CT图像输出预测三维剂量分布图；第二U-Net网络用于根据计划靶区轮廓图像、危及器官轮廓图像、CT图像以及第一U-Net网络输出的预测三维剂量分布图，得到三维特征体积图，通过几何投影操作将三维特征体积图转换成预测二维通量图，并输出预测二维通量图。
在一些实施例中，通过几何投影操作将三维特征体积图转换成预测二维通量图，包括：按照公式f＝PT·v将三维特征体积图转换成预测二维通量图；其中，f为预测二维通量图，v为三维特征体积图，P是预设的几何投影矩阵，T是转置操作，P中像素值Pij表示第i个体素接受来自第j个单位射束强度的通量贡献。
在一些实施例中，该装置还可以包括：
训练数据获取模块，用于获取训练数据集，训练数据集中包含多个训练数据组，每个训练数据组包括一个患者的计划靶区轮廓样本图像、危及器官轮廓样本图像、CT样本图像、三维剂量分布样本图及通量样本图；
模型训练模块，用于根据训练数据集对用于预测放疗计划的预测三维剂量分布图和预测二维通量图的同步预测模型进行训练，得到预先训练好的同步预测模型。
在一些实施例中，训练数据获取模块具体可以用于：获取多个原始数据组，每个原始数据组包括一个患者的计划靶区轮廓原始图像、危及器官轮廓原始图像、CT原始图像、三维剂量分布原始图及通量原始图；基于多个原始数据组进行数据增强，得到训练数据集。
本实施例中提供的关于放疗计划三维剂量分布与通量的同步预测装置的具体限定，可以参见上文中关于放疗计划三维剂量分布与通量的同步预测方法的实施例，于此不再赘述。上述放疗计划三维剂量分布与通量的同步预测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本申请实施例提供了一种计算机设备，该计算机设备可以包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。处计算机程序被处理器执行时，使得处理器执行如上述任一实施例的放疗计划三维剂量分布与通量的同步预测方法的步骤。
本实施例提供的计算机设备的工作过程、工作细节和技术效果，可以参见上文中关于放疗计划三维剂量分布与通量的同步预测方法的实施例，于此不再赘述。
本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一实施例的放疗计划三维剂量分布与通量的同步预测方法的步骤。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例提供的计算机可读存储介质的工作过程、工作细节和技术效果，可以参见上文中关于放疗计划三维剂量分布与通量的同步预测方法的实施例，于此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种放疗计划三维剂量分布与通量的同步预测方法，其特征在于，所述方法包括：
从患者的肿瘤医学影像中提取计划靶区轮廓图像、危及器官轮廓图像及CT图像，所述肿瘤医学影像为患者的DICOM文件；
根据预先训练好的同步预测模型、提取得到的所述计划靶区轮廓图像、所述危及器官轮廓图像及所述CT图像，得到所述患者的放疗计划的预测三维剂量分布图和预测二维通量图，所述同步预测模型为共享编码器网络或直接级联网络，所述共享编码器网络包括编码路径、第一解码路径及第二解码路径；所述编码路径用于通过卷积和下采样操作提取图像的关键特征，以降低图像分辨率；所述第一解码路径用于通过上采样、卷积和跳跃连接来恢复图像细节和大小，输出所述预测三维剂量分布图；所述第二解码路径用于通过上采样、卷积和跳跃连接来恢复图像细节和大小，通过传递所述第一解码路径的各级剂量特征得到三维特征体积图，通过几何投影操作将所述三维特征体积图转换成所述预测二维通量图，并输出所述预测二维通量图；所述直接级联网络包括第一U-Net网络和第二U-Net网络；所述第一U-Net网络用于根据所述计划靶区轮廓图像、所述危及器官轮廓图像及所述CT图像输出所述预测三维剂量分布图；所述第二U-Net网络用于根据所述计划靶区轮廓图像、所述危及器官轮廓图像、所述CT图像以及所述第一U-Net网络输出的所述预测三维剂量分布图，得到三维特征体积图，通过几何投影操作将所述三维特征体积图转换成所述预测二维通量图，并输出所述预测二维通量图；
根据所述预测三维剂量分布图和所述预测二维通量图，反归一化得到所述患者的放疗计划的绝对剂量分布图和绝对通量图。
2.根据权利要求1所述的方法，其特征在于，所述根据预先训练好的同步预测模型、提取得到的所述计划靶区轮廓图像、所述危及器官轮廓图像及所述CT图像，得到所述患者的放疗计划的预测三维剂量分布图和预测二维通量图，包括：
将提取得到的所述计划靶区轮廓图像、所述危及器官轮廓图像及所述CT图像进行归一化处理；
将归一化后的所述计划靶区轮廓图像、所述危及器官轮廓图像及所述CT图像输入预先训练好的同步预测模型进行预测，得到所述患者的放疗计划的预测三维剂量分布图和预测二维通量图。
3.根据权利要求2所述的方法，其特征在于，所述通过几何投影操作将所述三维特征体积图转换成所述预测二维通量图，包括：
按照公式f＝PT·v将所述三维特征体积图转换成所述预测二维通量图；
其中，f为所述预测二维通量图，v为所述三维特征体积图，P是预设的几何投影矩阵，T是转置操作，P中像素值Pij表示第i个体素接受来自第j个单位射束强度的通量贡献。
4.根据权利要求1至2任一项所述的方法，其特征在于，所述方法还包括：
获取训练数据集，所述训练数据集中包含多个训练数据组，每个所述训练数据组包括一个患者的计划靶区轮廓样本图像、危及器官轮廓样本图像、CT样本图像、三维剂量分布样本图及通量样本图；
根据所述训练数据集对用于预测放疗计划的预测三维剂量分布图和预测二维通量图的同步预测模型进行训练，得到预先训练好的同步预测模型。
5.根据权利要求4所述的方法，其特征在于，所述获取训练数据集，包括：
获取多个原始数据组，每个所述原始数据组包括一个患者的计划靶区轮廓原始图像、危及器官轮廓原始图像、CT原始图像、三维剂量分布原始图及通量原始图；
基于所述多个原始数据组进行数据增强，得到所述训练数据集。
6.一种放疗计划三维剂量分布与通量的同步预测装置，其特征在于，所述装置包括：
图像提取模块，用于从患者的肿瘤医学影像中提取计划靶区轮廓图像、危及器官轮廓图像及CT图像，所述肿瘤医学影像为患者的DICOM文件；
同步预测模块，用于根据预先训练好的同步预测模型、提取得到的所述计划靶区轮廓图像、所述危及器官轮廓图像及所述CT图像，得到所述患者的放疗计划的预测三维剂量分布图和预测二维通量图，所述同步预测模型为共享编码器网络或直接级联网络，所述共享编码器网络包括编码路径、第一解码路径及第二解码路径；所述编码路径用于通过卷积和下采样操作提取图像的关键特征，以降低图像分辨率；所述第一解码路径用于通过上采样、卷积和跳跃连接来恢复图像细节和大小，输出所述预测三维剂量分布图；所述第二解码路径用于通过上采样、卷积和跳跃连接来恢复图像细节和大小，通过传递所述第一解码路径的各级剂量特征得到三维特征体积图，通过几何投影操作将所述三维特征体积图转换成所述预测二维通量图，并输出所述预测二维通量图；所述直接级联网络包括第一U-Net网络和第二U-Net网络；所述第一U-Net网络用于根据所述计划靶区轮廓图像、所述危及器官轮廓图像及所述CT图像输出所述预测三维剂量分布图；所述第二U-Net网络用于根据所述计划靶区轮廓图像、所述危及器官轮廓图像、所述CT图像以及所述第一U-Net网络输出的所述预测三维剂量分布图，得到三维特征体积图，通过几何投影操作将所述三维特征体积图转换成所述预测二维通量图，并输出所述预测二维通量图；
图像转换模块，用于根据所述预测三维剂量分布图和所述预测二维通量图，反归一化得到所述患者的放疗计划的绝对剂量分布图和绝对通量图。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211547474.9A CN115829972B (zh) | 2022-12-02 | 2022-12-02 | 一种放疗计划三维剂量分布与通量的同步预测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211547474.9A CN115829972B (zh) | 2022-12-02 | 2022-12-02 | 一种放疗计划三维剂量分布与通量的同步预测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115829972A CN115829972A (zh) | 2023-03-21 |
| CN115829972B true CN115829972B (zh) | 2024-04-19 |
Family
ID=85543959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211547474.9A Active CN115829972B (zh) | 2022-12-02 | 2022-12-02 | 一种放疗计划三维剂量分布与通量的同步预测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115829972B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116153465B (zh) * | 2023-04-24 | 2023-07-21 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 基于参考dvh的放疗计划生成装置、电子设备及存储介质 |
| CN117274575A (zh) * | 2023-09-28 | 2023-12-22 | 北京百度网讯科技有限公司 | 目标检测模型的训练方法、目标检测方法、装置和设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018048575A1 (en) * | 2016-09-07 | 2018-03-15 | Elekta, Inc. | System and method for learning models of radiotherapy treatment plans to predict radiotherapy dose distributions |
| CN110124214A (zh) * | 2019-05-24 | 2019-08-16 | 南方医科大学 | 基于预测剂量分布引导的调强放疗计划优化方法及应用 |
| CN110415785A (zh) * | 2019-08-29 | 2019-11-05 | 北京连心医疗科技有限公司 | 人工智能引导放疗计划的方法及系统 |
| CN113941100A (zh) * | 2021-10-26 | 2022-01-18 | 程明霞 | 根据三维空间剂量分布生成可交付放疗计划的方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110997063B (zh) * | 2017-05-30 | 2022-04-29 | 反射医疗公司 | 用于计算放射注量的方法的放射治疗系统 |
| US11865362B2 (en) * | 2020-04-30 | 2024-01-09 | The Board Of Regents Of University Of Texas System | Beam selection for radiotherapy |
-
2022
- 2022-12-02 CN CN202211547474.9A patent/CN115829972B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018048575A1 (en) * | 2016-09-07 | 2018-03-15 | Elekta, Inc. | System and method for learning models of radiotherapy treatment plans to predict radiotherapy dose distributions |
| CN110124214A (zh) * | 2019-05-24 | 2019-08-16 | 南方医科大学 | 基于预测剂量分布引导的调强放疗计划优化方法及应用 |
| CN110415785A (zh) * | 2019-08-29 | 2019-11-05 | 北京连心医疗科技有限公司 | 人工智能引导放疗计划的方法及系统 |
| CN113941100A (zh) * | 2021-10-26 | 2022-01-18 | 程明霞 | 根据三维空间剂量分布生成可交付放疗计划的方法及装置 |
Non-Patent Citations (5)
| Title |
|---|
| Explainable attention guided adversarial deep network for 3D radiotherapy dose distribution prediction;Huidong Li et al.;Knowledge-Based Systems;20220406;第241卷;第1-14页 * |
| Fluence-map generation for prostate intensity-modulated radiotherapy planning using a deep-neural-network;Hoyeon Lee et al.;SCI;20191030;第09卷(第01期);第1-11页 * |
| Hoyeon Lee et al..Fluence-map generation for prostate intensity-modulated radiotherapy planning using a deep-neural-network.SCI.2019,第09卷(第01期),第1-11页. * |
| 基于深度学习的自适应放射治疗关键技术研究;马健晖;中国博士学位论文全文数据库 (医药卫生科技辑);20220215(第第02期期);第E060-43页 * |
| 预测三维剂量分布引导的调强放疗计划优化方法研究;贾启源;中国优秀硕士学位论文全文数据库 (医药卫生科技辑);20191115(第11期);第E060-9页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115829972A (zh) | 2023-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115829972B (zh) | 一种放疗计划三维剂量分布与通量的同步预测方法及装置 | |
| US11954761B2 (en) | Neural network for generating synthetic medical images | |
| CN114681813B (zh) | 放射治疗自动计划系统、自动计划方法及存储介质 | |
| Wang et al. | Fluence map prediction using deep learning models–direct plan generation for pancreas stereotactic body radiation therapy | |
| KR102504022B1 (ko) | 뇌 mri 영상으로부터 생성된 ct 영상을 이용한 인공지능 기반의 비침습 치료 계획 장치 | |
| CN113096766B (zh) | 一种个性化精准放疗计划中的三维剂量预测方法及系统 | |
| Vandewinckele et al. | Treatment plan prediction for lung IMRT using deep learning based fluence map generation | |
| KR102275098B1 (ko) | 세기변조 방사선 치료계획 예측 시스템 및 방법 | |
| CN113674834A (zh) | 基于剂量分布预览系统的放疗靶区确立和修正方法 | |
| US20220241614A1 (en) | Fluence map prediction and treatment plan generation for automatic radiation treatment planning | |
| CN116785601A (zh) | 用于剂量映射不确定性的稳健放疗治疗计划的方法和系统 | |
| Maspero et al. | CBCT-to-CT synthesis with a single neural network for head-and-neck, lung and breast cancer adaptive radiotherapy | |
| US20230065196A1 (en) | Patient-specific organ dose quantification and inverse optimization for ct | |
| Fu et al. | Fast Monte Carlo dose calculation based on deep learning | |
| Shin et al. | Dose Super-Resolution in Prostate Volumetric Modulated Arc Therapy Using Cascaded Deep Learning Networks | |
| WO2022047637A1 (en) | Automatic beam modeling based on deep learning | |
| Tseng et al. | An ultra-fast deep-learning-based dose engine for prostate VMAT via knowledge distillation framework with limited patient data | |
| Peng et al. | Real-Time Markerless Tracking of Lung Tumors Based on 2-D Fluoroscopy Imaging Using Convolutional LSTM | |
| Liu et al. | NeuralDAO: Incorporating neural network generated dose into direct aperture optimization for end‐to‐end IMRT planning | |
| CN113941100A (zh) | 根据三维空间剂量分布生成可交付放疗计划的方法及装置 | |
| Ni et al. | Fast VMAT planning for prostate radiotherapy: dosimetric validation of a deep learning-based initial segment generation method | |
| Miyazaki et al. | Deformed dose restoration to account for tumor deformation and position changes for adaptive proton therapy | |
| Vazquez et al. | A deep learning-based approach for statistical robustness evaluation in proton therapy treatment planning: a feasibility study | |
| Daoud et al. | A Method for Predicting Dose Distribution of Nasopharyngeal Carcinoma Cases by Multiple Deep Neural Networks | |
| EP4019086B1 (en) | Planning apparatus for planning a radiation therapy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |