CN110197709B - 一种基于深度学习与先验计划的三维剂量预测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习与先验计划的三维剂量预测方法，通过对现有的优质的放射治疗计划的数据进行收集和处理，得到医学模态影像、三维剂量分布信息、靶区结构图像和正常器官结构图像等全面的治疗相关信息，再输入至预先构建的神经网络模型进行重复训练及优化，神经网络模型可以充分学习优质的先验计划的剂量分布，所得到的神经网络模型可以更精确地对三维剂量进行预测，大大提高了模型所输出的放疗计划的效率和效果，同时具有很好的泛化能力。

Description

一种基于深度学习与先验计划的三维剂量预测方法

技术领域

本发明属于放射治疗计划设计领域，具体涉及一种基于深度学习与先验计划的三维剂量预测方法。

背景技术

放射治疗是目前肿瘤治疗的三种主要手段(手术，放射治疗和化疗)之一。随着精确放射治疗技术的发展，尤其是调强放射治疗(Intensity-modulated radiotherapy,IMRT)这种复杂的治疗技术的推广，在满足靶区剂量覆盖的情况下，还能大幅度降低正常组织的照射剂量。但是复杂的治疗计划并不是机器自动生成，需要首先由医师给出靶区处方剂量和不同危及器官耐受剂量限制，然后物理师根据靶区以及周边危及器官结构等各种因素来设计高质量的计划。因为涉及因素众多以及人为参与成分较多，计划质量非常依赖设计者的经验和知识水平。由于参与计划设计的人员水平及经验差异，容易导致计划质量存在较大差异，导致最终用于治疗的计划可能不是一个最优化的计划。显然通过同类型优质计划作为先验数据，通过建模等方式进行自动计划设计辅助，有助于降低人为水平差异造成影响，特别是把低质量的计划进行了排除。

现有的通过建模进行设计辅助的放疗计划设计技术，根据靶区和危及器官距离关系，例如重叠体积(overlap volume histogram，OV)来预测剂量体积直方图，或基于已有相似的治疗计划的三维剂量作为模板，基于模板预测进行自动计划设计，但现有的这些方法均存在预测精度不足，需要大量人力对模型进行调整的缺点，同时其选用的通道信息较少，泛化能力差。

发明内容

为了克服上述技术缺陷，本发明提供一种基于深度学习与先验计划的三维剂量预测方法，神经网络模型可以充分学习优质的先验计划的剂量分布思路，所得到的神经网络模型可以更精确地对三维剂量进行预测，大大提高了模型所输出的放疗计划的效率和效果，同时具有很好的泛化能力。

为了解决上述问题，本发明按以下技术方案予以实现的：

一种基于深度学习与先验计划的三维剂量预测方法，其步骤包括：

S1、获取现有的放射治疗计划数据；所述放射治疗计划数据包括医学模态影像、射野要求、靶区信息和处方剂量信息；所述射野要求包括各射野的角度及权重；

S2、对所述放射治疗计划数据进行预处理获得符合所述射野要求的三维剂量分布信息、填充有处方剂量的靶区结构图像和标记有器官编号的正常器官结构图像；

S3、将所述医学模态影像、三维剂量分布信息、靶区结构图像和正常器官结构图像输入至基于CNN架构的神经网络模型，并使用优化算法进行优化，优化算法的目标为根据预测三维剂量统计处理降维成一维的剂量直方图或每像素点的剂量；

S4、重复步骤S3对所述神经网络模型进行训练，最终得到剂量预测模型。

相对于现有技术，本发明的有益效果为：

本发明公开了一种基于深度学习与先验计划的三维剂量预测方法，通过对现有的优质的放射治疗计划的数据进行收集和处理，得到医学模态影像、三维剂量分布信息、靶区结构图像和正常器官结构图像等全面的治疗相关信息，再输入至预先构建的神经网络模型进行重复训练及优化，神经网络模型可以充分学习优质的先验计划的剂量分布，所得到的神经网络模型可以更精确地对三维剂量进行预测，大大提高了模型所输出的放疗计划的效率和效果，同时具有很好的泛化能力。

进一步的，所述医学模态影像为CT图像或CBCT图像，或从其他模态影像转换成的可用于剂量计算的影像。

进一步的，所述步骤S2包括：

S21、根据最大体积需要照射的计划靶区和所述射野要求，按照固定角度设定射野，每个射野的形状在射野方向观上与最大体积靶区适形，对每个射野设置固定的权重，使用剂量算法计算均匀射野适形的所述三维剂量分布信息；

S22、根据所述靶区信息确定靶区轮廓，对所述靶区轮廓中的每个像素根据所述处方剂量信息中对应的处方剂量进行填充，生成描述靶区几何形状以及处方剂量要求的所述靶区结构图像；

S23、对器官结构图像中每个像素所属的器官结构进行编号标记，得到所述正常器官结构图像；所述器官结构图像预先根据医学模态影像勾画得到。

进一步的，所述剂量算法为笔形束剂量算法、筒串卷积剂量算法或蒙特卡洛模拟剂量算法，实际实施中，设计人员可根据各剂量算法的特点进行相应地选择。

进一步的，所述步骤S3还包括：

对所述医学模态影像、三维剂量分布信息、靶区结构图像和正常器官结构图像进行插值处理；

对所述医学模态影像、三维剂量分布信息、靶区轮廓图像和正常器官结构图像以及最终预测得到的剂量进行归一化处理；

将经过上述处理的所述医学模态影像、三维剂量分布信息、靶区结构图像和正常器官结构图像各作为一个通道融合成一个多通道图像输入所述神经网络模型进行训练。

进一步的，所述插值处理为：使用插值算法对所述医学模态影像、三维剂量分布信息、靶区结构图像和正常器官结构图像插值成同一尺寸及同一分辨率，以便后续神经网络模型的数据读取和处理。

进一步的，所述步骤S3中还包括：

对所述医学模态影像、三维剂量分布信息、靶区结构图像和正常器官结构图像进行数据增强处理，可以有效增加训练样本数量，提高训练的效率。

进一步的，基于像素的剂量预测与图像自动分割任务相似，不仅仅需要识别图像中所存在的物体类别，还需要对图像中逐像素进行预测。可以算是对于医学图像进行“等剂量的自动勾画”。因此，所述神经网络模型为常用于图像分割的CNN架构，即编码器-解码器结构，编码器逐渐减少空间维度，识别图像特征，解码器逐步修复物体的细节和空间维度，逐像素进行预测。

进一步的，所述神经网络模型通过编码器使用多层卷积进行下采样，再通过空洞卷积和金字塔型空洞池化对图像进行编码，提取图像不同尺度的特征，再通过解码器使用多层卷积和双线性上采样进行解码，最后以tanh函数作为激活函数进行输出。采用空洞卷积(atrousconvolution)以及金字塔型的空洞池化(Atrous Spatial Pyramid Pooling，ASPP)可以优化解决多尺度范围语境中的特征学习。

进一步的，所述优化算法使用Adam优化器对所述神经网络模型进行优化，并采用logcosh函数作为训练过程的损失函数。

进一步的，所述基于深度学习与先验计划的三维剂量预测方法还包括以下步骤：

S5、获取待预测治疗数据；所述待预测治疗数据包括医学模态影像、靶区信息、正常器官结构信息以及处方剂量信息；

S6、根据步骤S2对所述待预测治疗数据进行预处理后，输入所述剂量预测模型进行预测，得到预测的三维剂量分布；

S7、根据所述三维剂量分布，按照预设的等剂量间隔和等剂量线生成辅助结构，并根据所述等剂量间隔设定剂量要求，输入到治疗计划系统进行优化，获得最终的调强治疗计划。

附图说明

图1是本发明的具体实施方式中所述基于深度学习与先验计划的三维剂量预测方法的步骤示意图；

图2是本发明的具体实施方式中所述神经网络模型的结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

如图1所示，本具体实施方式以鼻咽癌放疗中常用的鼻咽癌九野调强治疗计划为例，公开了一种基于深度学习与先验计划的三维剂量预测方法，包括：

S1、获取现有的放射治疗计划数据；

具体的，搜集的放射治疗计划数据是优质的鼻咽癌九野调强治疗计划数据，其中包括了患者的CT图像、射野要求、靶区信息和医生的处方剂量信息；射野要求包括各射野的角度及权重；

S2、对放射治疗计划数据进行预处理获得符合射野要求的三维剂量分布信息、填充有处方剂量的靶区结构图像和标记有器官编号的正常器官结构图像；

具体的，预处理包括：

S21、根据最大体积需要照射的计划靶区和射野要求，按照固定角度设定射野，每个射野的形状在射野方向观上与最大体积靶区适形，对每个射野设置固定的权重，使用剂量算法计算均匀射野适形的三维剂量分布信息；具体的，在本实施例中，根据鼻咽癌常用九野调强计划中，九个射野的入射角度：160°，120°，80°，40°，0°，320°，280°，240°，200°，射野九个射野，每个射野的形状在射野方向观(BEV)上与最大靶区PTV54适形，且各射野的权重均相等，均设为1，出束跳数为100MU。然后计算每个计划的三维剂量分布。通过Dicom格式导出计划的剂量分布并进行提取。具体的，剂量算法为笔形束剂量算法，筒串卷积剂量算法或蒙特卡洛模拟剂量算法，实际实施中，设计人员可根据各剂量算法的特点进行相应地选择。

S22、根据靶区信息确定靶区轮廓，对靶区轮廓中的每个像素根据处方剂量信息中对应的处方剂量进行填充，生成描述靶区几何形状以及处方剂量要求的靶区结构图像；具体的在本实施例中，治疗计划中有三个靶区梯度要求，分别是PTV70，PTV60，PTV54，处方剂量要求分别是7000cGy，6000cGy，5400cGy。根据三个靶区结构轮廓，分辨判断像素点所属靶区，按照对应处方剂量进行填充。

S23、对器官结构图像中每个像素所属的器官结构进行编号标记，得到所述正常器官结构图像；所述器官结构图像预先根据医学模态影像勾画得到。具体的在本实施例中，根据11个正常组织结构以及整个身体，生成描述正常组织几何形状的结构图像，包含的正常组织如下：脊髓(Spinal Cord)，脑干(Brain Stem)，左晶体(Lens-L)，右晶体(Lens-R)，视交叉(opticchiasma)，左视神经(OpticNerve-L)，右视神经(OpticNerve-R)，左腮腺(Parotid-L)，右腮腺(Parotid-R)，左颞叶(TemporalLobe-L)，右颞叶(TemporalLobe_R)，垂体(Pituatary)，甲状腺(Thyroid Gland)。编号从1开始一直到13，用编号14代表身体。根据各个结构轮廓，判断像素点属于哪个结构内，并把相应的编号进行填充。

S3、将得到的医学模态影像、三维剂量分布信息、靶区结构图像和正常器官结构图像输入至基于CNN架构的神经网络模型进行训练，并使用优化算法进行优化，优化算法的目标为根据预测三维剂量统计处理降维成一维的剂量直方图(Dose-volume Histogram，DVH)或每像素点的剂量；；

具体的在本实施例中，神经网络模型的架构如图2所示，其数据处理流程为：

网络的输入图像尺寸为192×192×4，接着经过卷积层conv1，卷积核大小为3，步长为2，滤波器数量为64，输出数据尺寸为96×96×64；再经过卷积层conv2,卷积核大小为3，步长为2，滤波器数量为256，输出数据大小48×48×256；再经过卷积层conv3,卷积核大小为3，步长为2，滤波器数量为728，输出数据大小24×24×728；最后经过空洞卷积处理ac1，卷积核大小为3，步长为1，滤波器数量为2048，取样比例rate为2，输出的数据大小24×24×2048；

对上述处理输出的数据进行金字塔型的空洞池化(Atrous Spatial PyramidPooling，ASPP)处理，具体的，上述处理输出的数据分别通过以下4个空洞卷积处理和1个池化处理：

(1)1×1的空洞卷积，空洞比例rate为1；

(2)3×3的空洞卷积，取样比例rate为12；

(3)3×3的空洞卷积，取样比例rate为24；

(4)3×3的空洞卷积，取样比例rate为36；

(5)池化处理为采用平均值池化，池化大小为24；

具体的，上述5个处理进行连接操作；

被空洞池化后的数据再经过卷积层conv4，卷积核大小为1，步长为2，滤波器数量为256；在采用双线性上采样，并和conv2操作输出进行连接操作，数据大小变成48×48×512；再经过卷积层conv5，卷积核大小为3，步长为2，滤波器数量为1，输出数据大小48×48×1；再通过双线性上采样，把图像像素还原成192×192×1，最后一层输出层通过7×7卷积层，并以tanh作为激活函数进行输出。

具体的，步骤S3中还包括以下处理步骤：

使用插值算法对医学模态影像、三维剂量分布信息、靶区结构图像和正常器官结构图像插值成同一尺寸及同一分辨率，便于神经网络模型对输入图像进行统一处理；具体的在本实施例中，将医学模态影像、三维剂量分布信息、靶区结构图像和正常器官结构图像重新插值为192×192的尺寸；

为了使得预测值范围在一定区间内，对医学模态影像、三维剂量分布信息、靶区轮廓图像和正常器官结构图像以及最终预测得到的剂量进行归一化处理；具体的在本实施例中，将CT图像，正常器官结构图像和三维剂量分布信息均根据各自最大值进行归一化处理，同时为了预测值范围在-1～1之间，将填充有处方剂量的靶区轮廓图像，以及最后调强治疗计划的剂量值按下面的公式进行归一化处理：

将医学模态影像、三维剂量分布信息、靶区结构图像和正常器官结构图像各作为一个通过，融合成一个多通道图像作为后续神经网络模型的输入，具体的将三维剂量分布信息、靶区结构图像和正常器官结构图像作为附加通道与CT图像一起输入神经网络。

训练前，为了有效增加训练样本数量，提高训练的效率，可以对医学模态影像、三维剂量分布信息、靶区结构图像和正常器官结构图像进行数据增强处理，具体的在本实施例中，对训练数据进行以下随机处理：1)随机-15°～15°范围旋转；2)水平方向图像宽度15％左右平移；3)垂直方向图像高度15％上下平移；4)图像大小10％的缩小放大；5)图像水平方向镜像翻转。

S4、重复步骤S3对神经网络模型进行训练，最终得到剂量预测模型；具体的，训练中的优化算法采用Adam优化器进行优化，优化参数如下：learning rate＝0.001，beta_1＝0.9,beta_2＝0.999,and epsilon＝1e-8，并采用logcosh函数作为训练过程的损失函数。

S5、获取待预测的治疗数据；待预测治疗数据包括医学模态影像、靶区信息、正常器官结构信息以及处方剂量信息；

S6、根据步骤S2对待预测治疗数据进行预处理后，输入剂量预测模型进行预测，得到预测的三维剂量分布；

具体的，对于全新尚未有放射治疗计划的数据，即仅具有CT影像，靶区及正常器官结构以及处方要求，可以根据上述处理步骤进行预处理，然后输入已经经过训练的神经网络，即可预测该输入对应的调强治疗计划对应的三维剂量分布。

S7、根据三维剂量分布，按照预设的等剂量间隔和等剂量线生成辅助结构，并根据等剂量间隔设定剂量要求，输入到治疗计划系统进行优化，获得最终的调强治疗计划。具体的，本实施例中，根据步骤S6预测的三维剂量，按照100cGy的等剂量间隔，根据等剂量线，生成辅助结构，并根据对应等剂量设定剂量要求，输入到现在商业或开源常见治疗计划系统进行优化，获得最终调强治疗计划。

本实施例公开的基于深度学习与先验计划的三维剂量预测方法，通过对现有的优质的放射治疗计划的数据进行收集和处理，得到医学模态影像、三维剂量分布信息、靶区结构图像和正常器官结构图像等全面的治疗相关信息，再输入至预先构建的神经网络模型进行重复训练及优化，神经网络模型可以充分学习优质的先验计划的剂量分布，所得到的神经网络模型可以更精确地对三维剂量进行预测，大大提高了模型所输出的放疗计划的效率和效果，同时具有很好的泛化能力。

以上，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，故凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何修改、等同变化与修饰,均仍属于本发明技术方案的范围。

Claims (9)

1.一种基于深度学习与先验计划的三维剂量预测方法，其特征在于，包括：

S1、获取现有的放射治疗计划数据；所述放射治疗计划数据包括医学模态影像、射野要求、靶区信息和处方剂量信息；所述射野要求包括各射野的角度及权重；

S2、对所述放射治疗计划数据进行预处理获得符合所述射野要求的三维剂量分布信息、填充有处方剂量的靶区结构图像和标记有器官编号的正常器官结构图像；

S3、将所述医学模态影像、三维剂量分布信息、靶区结构图像和正常器官结构图像输入至基于CNN架构的神经网络模型，并使用优化算法进行优化，优化算法的目标为根据预测三维剂量统计处理降维成一维的剂量直方图或每像素点的剂量；

S4、重复步骤S3对所述神经网络模型进行训练，最终得到剂量预测模型；

S21、根据最大体积需要照射的计划靶区和所述射野要求，按照固定角度设定射野，每个射野的形状在射野方向观上与最大体积靶区适形，对每个射野设置固定的权重，使用剂量算法计算均匀射野适形的所述三维剂量分布信息；

S22、根据所述靶区信息确定靶区轮廓，对所述靶区轮廓中的每个像素根据所述处方剂量信息中对应的处方剂量进行填充，生成描述靶区几何形状以及处方剂量要求的所述靶区结构图像；

S23、对器官结构图像中每个像素所属的器官结构进行编号标记，得到所述正常器官结构图像；所述器官结构图像预先根据医学模态影像勾画得到。

2.根据权利要求1所述的基于深度学习与先验计划的三维剂量预测方法，其特征在于，所述剂量算法为笔形束剂量算法、筒串卷积剂量算法或蒙特卡洛模拟剂量算法。

3.根据权利要求1所述的基于深度学习与先验计划的三维剂量预测方法，其特征在于，所述步骤S3还包括：

对所述医学模态影像、三维剂量分布信息、靶区结构图像和正常器官结构图像进行插值处理；

对所述医学模态影像、三维剂量分布信息、靶区轮廓图像和正常器官结构图像以及最终预测得到的剂量进行归一化处理；

将经过上述处理的所述医学模态影像、三维剂量分布信息、靶区结构图像和正常器官结构图像各作为一个通道融合成一个多通道图像输入所述神经网络模型进行训练。

4.根据权利要求3所述的基于深度学习与先验计划的三维剂量预测方法，其特征在于，所述插值处理为：使用插值算法对所述医学模态影像、三维剂量分布信息、靶区结构图像和正常器官结构图像插值成同一尺寸及同一分辨率。

5.根据权利要求1所述的基于深度学习与先验计划的三维剂量预测方法，其特征在于，所述医学模态影像为CT图像或CBCT图像。

6.根据权利要求3所述的基于深度学习与先验计划的三维剂量预测方法，其特征在于，所述步骤S3中还包括：

对所述医学模态影像、三维剂量分布信息、靶区结构图像和正常器官结构图像进行数据增强处理。

7.根据权利要求1所述的基于深度学习与先验计划的三维剂量预测方法，其特征在于，所述神经网络模型为编码器-解码器结构，其中通过编码器使用多层卷积进行下采样，再通过空洞卷积和金字塔型空洞池化对图像进行编码，再通过解码器使用多层卷积和双线性上采样进行解码，最后以tanh函数作为激活函数进行输出。

8.根据权利要求1所述的基于深度学习与先验计划的三维剂量预测方法，其特征在于，所述优化算法使用Adam优化器对所述神经网络模型进行优化，并采用logcosh函数作为训练过程的损失函数。

9.根据权利要求2所述的基于深度学习与先验计划的三维剂量预测方法，其特征在于，还包括以下步骤：

S5、获取待预测治疗数据；所述待预测治疗数据包括医学模态影像、靶区信息、正常器官结构信息以及处方剂量信息；

S6、根据步骤S2对所述待预测治疗数据进行预处理后，输入所述剂量预测模型进行预测，得到预测的三维剂量分布；

S7、根据所述三维剂量分布，按照预设的等剂量间隔和等剂量线生成辅助结构，并根据所述等剂量间隔设定剂量要求，输入到治疗计划系统进行优化，获得最终的调强治疗计划。

Images