CN109248385A - 基于蒙特卡洛树搜索的放射治疗计划优化系统及方法 - Google Patents

Abstract

本发明涉及放射治疗计划优化领域，其公开了一种基于蒙特卡洛树搜索的放射治疗计划优化系统及方法，解决传统技术中的放射治疗计划优化方案需要依靠大量迭代试错和资深物理师经验的问题。该方法包括步骤：a.选择一组目标参数作为放疗计划优化过程的初始值，并针对待放疗病种的特点确定一个计划评判标准；b.结合计划评判标准循环进行蒙特卡洛树搜索操作，直至得到一组优化的目标参数；c.对优化目标参数执行剂量计算，并检查计算结果是否符合优化要求，若符合，则结束流程，若不符合，则进入步骤d；d.对该组优化目标参数进行微调，返回步骤b。此外，本发明还公开了一种基于蒙特卡洛树搜索的放射治疗计划优化系统，适用于放射治疗计划的自动优化。

Description

基于蒙特卡洛树搜索的放射治疗计划优化系统及方法

技术领域

本发明涉及放射治疗计划优化领域，具体涉及一种基于蒙特卡洛树搜索的放射治疗计划优化系统及方法。

背景技术

放射治疗，是利用放射线治疗肿瘤的一种局部治疗方法，为目前主流的肿瘤治疗方式之一。放射线包括放射性同位素产生的α、β、γ射线和各类x射线治疗机或加速器产生的x射线、电子线、质子束及其它粒子束等。目前，大约70％的癌症患者在治疗癌症的过程中需要使用放射治疗。

放射治疗计划，是控制加速器照射病人肿瘤位置的具体实施方案，由物理师根据放疗医生指定的处方剂量目标使用治疗计划系统(Treatment Planning System，TPS)制定，其目标是在保证肿瘤(即靶区)获得足够放疗剂量的同时，尽可能控制重要器官组织(即危及器官)的照射剂量不超过其耐受剂量，从而保护重要器官组织的功能和患者的生活质量。

放射治疗计划优化，是指制定放射治疗计划并优化以得到一个可用于临床治疗的合格计划的过程，这个过程一般由物理师操作TPS完成。目前，大部分的计划优化方式为逆向设计，即先设定一组优化的目标，然后使用模拟退火等方式的优化算法(例如，瓦里安厂家的PO算法)进行寻优，以确定目前的优化目标能否达到，优化算法一般会返回一组优化结果(一般主要是DVH图数据)供检查，物理师根据这个结果去修改优化目标并再次重复以上过程，直至满足优化的需求。满足优化需求后，需要将得到的优化目标参数代入剂量计算算法(例如，瓦里安厂家的AAA算法)，最终得到剂量计算结果，物理师以这个剂量计算结果作为评判计划质量的依据，如果这个剂量计算结果不满足优化需求，则进一步修改优化目标参数并再次重复以上过程。这是一个反复试错的迭代过程，实际工作中，往往需要耗费物理师大量的时间和精力，如何根据优化结果修改优化目标以达到优化需求非常依赖资深物理师的经验。

发明内容

本发明所要解决的技术问题是：提出一种基于蒙特卡洛树搜索的放射治疗计划优化系统及方法，解决传统技术中的放射治疗计划优化方案需要依靠大量迭代试错和资深物理师经验的问题。

本发明解决上述技术问题所采用的技术方案是：

基于蒙特卡洛树搜索的放射治疗计划优化系统，包括：

预处理模块，用于选择一组目标参数作为放疗计划优化过程的初始值，并针对待放疗病种的特点确定一个计划评判标准；

蒙特卡洛树搜索模块，用于结合计划评判标准循环进行蒙特卡洛树搜索操作，直至得到一组优化的目标参数；

剂量计算和检查模块，用于采用蒙特卡洛树搜索模块得到的一组优化目标参数执行剂量计算，并检查计算结果是否符合优化要求；

微调模块，用于在一组优化目标参数进行剂量计算结果不符合优化要求时，对该组优化目标参数进行微调。

作为进一步优化，所述预处理模块包括：

初始值选择模块，用于选择一组目标参数作为放疗计划优化过程的初始值，所选择的目标参数来自于物理师常用的模板目标参数，或者来自于机器学习模型预测的剂量值；所述选择的一组目标参数具体包括靶区目标参数和危及器官目标参数；

计划评判标准确定模块，用于针对待放疗病种的特点确定一个计划评判标准。

作为进一步优化，蒙特卡洛树搜索模块包括：

选择模块，用于执行选择操作：一组目标参数即为一个树搜索过程的节点，首次搜索时只有初始值一个节点，则只能选择初始值，后续搜索时可能会有多个节点供选择，则选择模拟结果较好的节点；

扩展模块，用于执行扩展操作：将选择的节点作为父节点并向下扩展出多个子节点，每个子节点都是一组和父节点略有区别的目标参数；

模拟模块，用于执行模拟操作：对扩展产生的子节点使用计划优化算法计算优化结果；根据子节点的个数选择全部模拟或者部分随机模拟的方式；

反向传播模块，用于执行反向传播操作：针对每一次模拟操作，采用计划评判标准对计算的优化结果进行评分得出模拟结果，然后将模拟结果逐层反向传播直至父节点，从而得到每个子节点的综合模拟结果值。

作为进一步优化，所述剂量计算和检查模块包括：

剂量计算模块，用于采用蒙特卡洛树搜索模块得到的一组优化目标参数执行剂量计算，剂量计算的输出形式为DVH曲线和三维剂量分布图；

剂量计算结果检查模块，用于检测剂量计算结果是否符合优化要求，所述优化要求由物理师根据病种特点预先设定。

此外，基于上述优化系统，本发明还提供了一种基于蒙特卡洛树搜索的放射治疗计划优化方法，其包括以下步骤：

a.选择一组目标参数作为放疗计划优化过程的初始值，并针对待放疗病种的特点确定一个计划评判标准；

b.结合计划评判标准循环进行蒙特卡洛树搜索操作，直至得到一组优化的目标参数；

c.采用蒙特卡洛树搜索模块得到的一组优化目标参数执行剂量计算，并检查计算结果是否符合优化要求，若符合，则结束流程，若不符合，则进入步骤d；

d.对该组优化目标参数进行微调，返回步骤b。

作为进一步优化，步骤a中，选择物理师常用的模板目标参数作为初始值，或者选择机器学习模型预测的剂量值作为初始值。

作为进一步优化，步骤b中，所述蒙特卡洛树搜索操作包括：

选择操作：一组目标参数即为一个树搜索过程的节点，首次搜索时只有初始值一个节点，则只能选择初始值，后续搜索时可能会有多个节点供选择，则选择模拟结果较好的节点；

扩展操作：将选择的节点作为父节点并向下扩展出多个子节点，每个子节点都是一组和父节点略有区别的目标参数；

模拟操作：对扩展产生的子节点使用计划优化算法计算优化结果；根据子节点的个数选择全部模拟或者部分随机模拟的方式；

反向传播操作：针对每一次模拟操作，采用计划评判标准对计算的优化结果进行评分得出模拟结果，然后将模拟结果逐层反向传播直至父节点，从而得到每个子节点的综合模拟结果值。

作为进一步优化，步骤c中，所述剂量计算结果的输出形式为DVH曲线和三维剂量分布图，所述优化要求由物理师根据病种特点预先设定。

本发明的有益效果是：

1)能够获得更加客观准确的放射治疗计划优化结果：人工优化过程中，如何选择和修改目标参数非常依赖物理师的经验，不同的物理师的优化结果可能不同，物理师在优化时可能由于各种原因会出现某些节点的盲点，不能得到理想的优化结果；而本发明使用蒙特卡洛树搜索的自动搜索方法，能够随机搜索子节点并得出综合结果，标准统一且不易出现优化过程中的盲点，结果更加客观准确。

2)能够节省资深物理师日常的计划优化工作量：人工优化计划是一项繁琐耗时的工作，对物理师的经验要求较高，新物理师往往需要投入大量时间和精力进行优化过程的学习以积累经验；而本发明不依赖资深物理师的经验，可以做到自动化优化，从而节省了资深物理师日常的计划优化工作量。

3)方案具有通用性：不同厂家的治疗计划系统的制作和优化步骤和操作方式都有差别，物理师需要针对不同的TPS进行具体学习；而本发明不依赖于特定的TPS的特点和操作，可以在不同的TPS上实现，这种独立性使其更具有通用性。

附图说明

图1为本发明中的基于蒙特卡洛树搜索的放射治疗计划优化系统结构框图；

图2为实施例中的基于蒙特卡洛树搜索的放射治疗计划优化方法流程图。

具体实施方式

本发明旨在提出一种基于蒙特卡洛树搜索的放射治疗计划优化系统及方法，解决传统技术中的放射治疗计划优化方案需要依靠大量迭代试错和资深物理师经验的问题。

蒙特卡洛树搜索，是一种用于某些决策过程的启发式搜索算法，结合了蒙特卡洛模拟和博弈树搜索算法，适用于决策分支巨大从而无法使用穷尽遍历搜索的情况，例如，棋类游戏。放射治疗计划优化过程中的优化目标参数的寻优过程也是属于这种情况。一般情况下，一组优化目标参数可能有十几个甚至几十个，每个优化目标参数的取值范围也较大，从而构成了一个巨大的决策空间。上述特点使得放疗计划优化过程具备了通过蒙特卡洛树搜索算法自动完成的可能性。一般情况下，如何在这个巨大的决策空间内找到一组合适的优化目标参数是一个需要大量迭代试错的过程，并且非常依赖资深物理师的经验。

本发明使用蒙特卡洛树搜索算法可以使得上述过程摆脱物理师的人工深度参与，并在合理的时间内得到一组可接受的优化目标参数，并进一步得到质量较好的一个计划结果。

如图1所示，本发明中的基于蒙特卡洛树搜索的放射治疗计划优化系统包括：预处理模块、蒙特卡洛树搜索模块、剂量计算和检查模块和微调模块；各个模块的功能如下：

预处理模块，具体包括：初始值选择模块和计划评判标准确定模块，其中，初始值选择模块用于选择一组目标参数作为放疗计划优化过程的初始值，所选择的目标参数来自于物理师常用的模板目标参数，或者来自于机器学习模型预测的剂量值；所述选择的一组目标参数具体包括靶区目标参数和危及器官目标参数；计划评判标准确定模块，用于针对待放疗病种的特点确定一个计划评判标准。

蒙特卡洛树搜索模块，具体包括：选择模块、扩展模块、模拟模块和反向传播模块；其中，选择模块，用于执行选择操作：一组目标参数即为一个树搜索过程的节点，首次搜索时只有初始值一个节点，则只能选择初始值，后续搜索时可能会有多个节点供选择，则选择模拟结果较好的节点；扩展模块，用于执行扩展操作：将选择的节点作为父节点并向下扩展出多个子节点，每个子节点都是一组和父节点略有区别的目标参数；模拟模块，用于执行模拟操作：对扩展产生的子节点使用计划优化算法计算优化结果；根据子节点的个数选择全部模拟或者部分随机模拟的方式；反向传播模块，用于执行反向传播操作：针对每一次模拟操作，采用计划评判标准对计算的优化结果进行评分得出模拟结果，然后将模拟结果逐层反向传播直至父节点，从而得到每个子节点的综合模拟结果值。

剂量计算和检查模块，具体包括：剂量计算模块和剂量计算结果检查模块；其中，剂量计算模块，用于采用蒙特卡洛树搜索模块得到的一组优化目标参数执行剂量计算，剂量计算的输出形式为DVH曲线和三维剂量分布图；剂量计算结果检查模块，用于检测剂量计算结果是否符合优化要求，所述优化要求由物理师根据病种特点预先设定。

微调模块，用于在一组优化目标参数进行剂量计算结果不符合优化要求时，对该组优化目标参数进行微调。

实施例：

本实施例为基于蒙特卡洛树搜索的放射治疗计划优化方法实施例，本实施例针对直肠癌病种，使用瓦里安厂家的Eclipse TPS，基于IMRT治疗方式，具体采用瓦里安公开的脚本接口Eclipse Script API实现。对放射治疗计划优化的方法实施步骤如图2所示，具体包括：

1、选择一组目标参数作为放疗计划优化过程的初始值，并针对待放疗病种的特点确定一个计划评判标准；

本步骤中，所选择的目标参数来自于物理师常用的模板目标参数，或者来自于机器学习模型预测的剂量值；所述选择的一组目标参数具体包括靶区目标参数和危及器官目标参数；在确定计划评判标准时，我们以最简单的所有危及器官的平均剂量值(mean dose)之和作为评判标准，值越低表示计划质量越好。

2、结合计划评判标准循环进行蒙特卡洛树搜索操作，直至得到一组优化的目标参数；

本步骤中，蒙特卡洛树搜索操作过程为：

选择：一组优化目标参数即为一个树搜索过程的节点，第一次搜索时只有初始值一个节点，则只能选择初始值，后续搜索时可能会有多个节点供选择，则选择模拟结果较好的节点；

其中，“模拟结果较好的节点”的选择方式为：

选择利用计划评判标准进行评分后，得分较高的节点；

或者，在得分基础上使用蒙特卡洛树搜索算法领域中常用的上限置信区间算法确定，该算法能平衡搜索过程中的深度和广度，在子节点较多的情况下有较准确的选择效果。

扩展：将选择的节点作为父节点并向下扩展出多个子节点，每个子节点都是一组和父节点略有不同并且彼此不同的优化目标参数。本实施例中，扩展策略我们设定为将每个危及器官的mean dose优化目标参数值减少5％作为一个字节点，这样，有多少危及器官，就会产生相应数量的子节点；

模拟：对扩展产生的子节点使用计划优化算法计算优化结果，本实施例中的优化算法为Eclipse TPS的PO算法。如果子节点不多，可以对每个子节点都模拟，如果子节点过多，出于效率方面的考虑，随机选择某些子节点模拟，并进行再深入若干层的随机模拟；由于本实施例中的危及器官不多，可以对每个子节点都进行模拟。

反向传播：针对每一次模拟，使用确定的计划评判标准得出模拟结果，然后将模拟结果逐层反向传播直至父节点，从而得到每个子节点的综合模拟结果值。本实施例中，每个子节点的综合模拟值即危及器官的平均剂量值之和。

3、采用蒙特卡洛树搜索模块得到的一组优化目标参数执行剂量计算，并检查计算结果是否符合优化要求，若符合，则结束流程，若不符合，则进入步骤4；

本步骤中，剂量计算结果的输出形式为DVH曲线和三维剂量分布图，优化要求为满足靶区处方剂量的前提下尽量压低三个危及器官的平均剂量之和。若计算结果符合优化要求，则不需要对优化目标参数进行微调，结束流程，若不符合优化要求，则需要进入步骤4的微调过程。

4、对该组优化目标参数进行微调，返回步骤2。

本步骤中，微调方法为有针对性地调整优化目标参数中的某个/某些目标参数值；比如：如果靶区剂量不满足处方剂量，则调整对应的靶区的优化目标参数，返回步骤2再次进行少量几次优化和剂量计算，直至得到满足优化需求的计划结果。从而最终得到一个满足优化要求的、理想的放疗计划优化结果。

Claims (8)

1.基于蒙特卡洛树搜索的放射治疗计划优化系统，其特征在于，包括：

预处理模块，用于选择一组目标参数作为放疗计划优化过程的初始值，并针对待放疗病种的特点确定一个计划评判标准；

蒙特卡洛树搜索模块，用于结合计划评判标准循环进行蒙特卡洛树搜索操作，直至得到一组优化的目标参数；

剂量计算和检查模块，用于采用蒙特卡洛树搜索模块得到的一组优化目标参数执行剂量计算，并检查计算结果是否符合优化要求；

微调模块，用于在一组优化目标参数进行剂量计算结果不符合优化要求时，对该组优化目标参数进行微调。

2.如权利要求1所述的基于蒙特卡洛树搜索的放射治疗计划优化系统，其特征在于，所述预处理模块包括：

初始值选择模块，用于选择一组目标参数作为放疗计划优化过程的初始值，所选择的目标参数来自于物理师常用的模板目标参数，或者来自于机器学习模型预测的剂量值；所述选择的一组目标参数具体包括靶区目标参数和危及器官目标参数；

计划评判标准确定模块，用于针对待放疗病种的特点确定一个计划评判标准。

3.如权利要求1所述的基于蒙特卡洛树搜索的放射治疗计划优化系统，其特征在于，蒙特卡洛树搜索模块包括：

选择模块，用于执行选择操作：一组目标参数即为一个树搜索过程的节点，首次搜索时只有初始值一个节点，则只能选择初始值，后续搜索时可能会有多个节点供选择，则选择模拟结果较好的节点；

扩展模块，用于执行扩展操作：将选择的节点作为父节点并向下扩展出多个子节点，每个子节点都是一组和父节点略有区别的目标参数；

模拟模块，用于执行模拟操作：对扩展产生的子节点使用计划优化算法计算优化结果；根据子节点的个数选择全部模拟或者部分随机模拟的方式；

反向传播模块，用于执行反向传播操作：针对每一次模拟操作，采用计划评判标准对计算的优化结果进行评分得出模拟结果，然后将模拟结果逐层反向传播直至父节点，从而得到每个子节点的综合模拟结果值。

4.如权利要求1-3任意一项所述的基于蒙特卡洛树搜索的放射治疗计划优化系统，其特征在于，所述剂量计算和检查模块包括：

剂量计算模块，用于采用蒙特卡洛树搜索模块得到的一组优化目标参数执行剂量计算，剂量计算的输出形式为DVH曲线和三维剂量分布图；

剂量计算结果检查模块，用于检测剂量计算结果是否符合优化要求，所述优化要求由物理师根据病种特点预先设定。

5.基于蒙特卡洛树搜索的放射治疗计划优化方法，其特征在于，包括以下步骤：

a.选择一组目标参数作为放疗计划优化过程的初始值，并针对待放疗病种的特点确定一个计划评判标准；

b.结合计划评判标准循环进行蒙特卡洛树搜索操作，直至得到一组优化的目标参数；

c.采用蒙特卡洛树搜索模块得到的一组优化目标参数执行剂量计算，并检查计算结果是否符合优化要求，若符合，则结束流程，若不符合，则进入步骤d；

d.对该组优化目标参数进行微调，返回步骤b。

6.如权利要求5所述的基于蒙特卡洛树搜索的放射治疗计划优化方法，其特征在于，步骤a中，选择物理师常用的模板目标参数作为初始值，或者选择机器学习模型预测的剂量值作为初始值。

7.如权利要求5所述的基于蒙特卡洛树搜索的放射治疗计划优化方法，其特征在于，步骤b中，所述蒙特卡洛树搜索操作包括：

选择操作：一组目标参数即为一个树搜索过程的节点，首次搜索时只有初始值一个节点，则只能选择初始值，后续搜索时可能会有多个节点供选择，则选择模拟结果较好的节点；

扩展操作：将选择的节点作为父节点并向下扩展出多个子节点，每个子节点都是一组和父节点略有区别的目标参数；

模拟操作：对扩展产生的子节点使用计划优化算法计算优化结果；根据子节点的个数选择全部模拟或者部分随机模拟的方式；

反向传播操作：针对每一次模拟操作，采用计划评判标准对计算的优化结果进行评分得出模拟结果，然后将模拟结果逐层反向传播直至父节点，从而得到每个子节点的综合模拟结果值。

8.如权利要求5-7任意一项所述的基于蒙特卡洛树搜索的放射治疗计划优化方法，其特征在于，步骤c中，所述剂量计算结果的输出形式为DVH曲线和三维剂量分布图，所述优化要求由物理师根据病种特点预先设定。