CN111028914A - 人工智能引导的剂量预测方法与系统 - Google Patents

人工智能引导的剂量预测方法与系统 Download PDF

Info

Publication number
CN111028914A
CN111028914A CN201911229101.5A CN201911229101A CN111028914A CN 111028914 A CN111028914 A CN 111028914A CN 201911229101 A CN201911229101 A CN 201911229101A CN 111028914 A CN111028914 A CN 111028914A
Authority
CN
China
Prior art keywords
dose
angle
module
prescription
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911229101.5A
Other languages
English (en)
Other versions
CN111028914B (zh
Inventor
李贵
李强
章桦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Linkingmed Corp
Original Assignee
Linkingmed Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Linkingmed Corp filed Critical Linkingmed Corp
Priority to CN201911229101.5A priority Critical patent/CN111028914B/zh
Publication of CN111028914A publication Critical patent/CN111028914A/zh
Priority to PCT/CN2020/091843 priority patent/WO2021036366A1/zh
Priority to US16/977,095 priority patent/US11964170B2/en
Application granted granted Critical
Publication of CN111028914B publication Critical patent/CN111028914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Urology & Nephrology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Radiation-Therapy Devices (AREA)

Abstract

本发明公开了一种人工智能引导的剂量预测方法与系统,其中,剂量预测方法包括:获取病人以预设格式存储的医学影像;对医学影像进行勾画以获取几何解剖结构;根据医学影像对应的病种信息、几何解剖结构以及预设的病种‑处方模板库确定处方;根据病种信息、几何解剖结构和处方确定放疗照射角度;将病种信息、几何解剖结构、处方和放疗照射角度输入训练完成的剂量预测模型,得出放疗剂量结果。通过本发明的技术方案,实现了全自动的剂量预测,提高了剂量预测的效率和效果。

Description

人工智能引导的剂量预测方法与系统
技术领域
本发明涉及智能医疗技术领域,尤其涉及一种人工智能引导的剂量预测方法与一种人工智能引导的剂量预测系统。
背景技术
肿瘤放射治疗已经成为乳腺癌肿瘤治疗主要方式之一,已成为肿瘤治疗的三大手段之一。其关键目的是在确保靶区达到处方剂量的同时,尽可能的降低周围正常组织的剂量沉积。剂量学验证是当前临床放疗技术质量控制与质量审核的主要方式。同样,我们在制作放疗计划的过程中,剂量体积也是我们评估计划质量和预测标准的主要指标。但放疗计划的质量受限于计划设计人员的经验累积,不同机构对于不同乳腺类型靶区的勾画,计划设计使用的设备等都存在很大的差异,计划质量的一致性难以保证。同时,临床计划多服从于群体化的规范标准,无法为患者提供个体化的治疗计划。研究表明,通过AI人工智能技术学习患者解剖结构对剂量沉积的影响,可以在计划设计之前预测新患者的剂量信息。这可以为剂量学验证和质量控制提供标准,满足患者的个体化特异性需求,同时为放疗自动化提供基础。在乳腺癌放疗计划当中最复杂的就是使用X线的调强技术进行胸壁、锁上和腋窝的复杂靶区联合照射,对于制作这种乳腺数据的放疗计划,无论是对靶区剂量的提升还是减少危机器官的受量都要做到细致入微。因此,精准的剂量预测至关重要。
如今,三维剂量分布预测模型分为基于BP(back propagation,反向传播)神经网络和基于深度卷积网络。前者通过学习危及器官中每个体素点的剂量与患者几何解剖结构之间的关系训练模型,在三维剂量分布中,将体元作为训练目标,以危及器官的每个体素作为目标,凭借经验提取可能影响剂量沉积的特征作为BP神经网络的输入,对应的体素点剂量作为模型输出,通过神经网络的反向传播算法训练网络。基于BP神经网络的三维剂量分布预测方法需要人工手动提取特征,这导致了特征选择具有很强的主观性。目前常用的网络模型包括U-net,DenseNet,HD U-net等,基于GAN网络的相对较少。
现有技术中具有一种基于Pix2pix的患者几何解剖结构和器官三维剂量分布的预测模型,该方法不仅充分考虑了器官体积与体素受量,还考虑了射线角度信息。Pix2pix作为对抗生成网络的一种,作为生成器负责生成预测剂量图像,判别器负责判别真实剂量与生成剂量。通过不断迭代训练,最终模型可以预测出接近真实剂量的预测图像,物理师可以使用预测剂量快速绘制计划DVH曲线,减短计划制作周期。但是上述方法的处方和照射角度需要有经验的医生和物理师确定的,无法做到全自动的剂量预测。
发明内容
针对上述问题中的至少之一,本发明提供了一种人工智能引导的剂量预测方法与系统,在基于几何解剖结构和器官三维剂量分布的预测模型基础上,增加了处方剂量预测模型和照射角度自动优化过程,实现了全自动的剂量预测,其中,剂量预测采用基于Pix2pix的剂量预测模型,结合照射角度实现计划靶区的剂量预测,生成器保留了底层信息为预测图像的细节提供了保证,从而提高了剂量预测的效率和效果。
为实现上述目的,本发明提供了一种人工智能引导的剂量预测方法,包括:获取病人以预设格式存储的医学影像;对所述医学影像进行勾画以获取几何解剖结构;根据所述医学影像对应的病种信息、所述几何解剖结构以及预设的病种-处方模板库确定处方;根据所述病种信息、所述几何解剖结构和所述处方确定放疗照射角度;将所述病种信息、所述几何解剖结构、所述处方和所述放疗照射角度输入训练完成的剂量预测模型,得出放疗剂量结果。
在上述技术方案中,优选地,采用基于Pix2pix的所述剂量预测模型,所述剂量预测模型包括:以归一化的PTV平均剂量建立数据集,并以该数据集制定评分模板;对感兴趣区域进行标准化命名;将三维医学影像分割为二维切片作为训练集和测试集;读取所述训练集的三维计划靶区数据的射线角度,将射线角度投影在计划靶区上得到网络权重,对该网络权重采用剂量计算算法进行剂量计算得到射束通道;以U-net网络或者V-net网络作为生成器、以马尔科夫判别器作为判别器构建Pix2pix剂量预测模型;以所述二维切片图像作为所述生成器的输入,以所述生成器输出的预测剂量和原始剂量作为所述判别器的输入,所述判别器输出判断结果;将所述训练集的所有二维切片输入所述Pix2pix剂量预测模型训练。
在上述技术方案中,优选地,所述根据所述病种信息、所述几何解剖结构和所述处方确定放疗照射角度的方法具体包括:将历史病例的病种信息、几何解剖结构和处方进行机器学习,确定照射角度预测模型,将当前病例的所述病种信息、所述几何解剖结构和所述处方输入所述照射角度预测模型获取预测照射角度,作为所述放疗照射角度。
在上述技术方案中,优选地,所述根据所述病种信息、所述几何解剖结构和所述处方确定放疗照射角度的方法具体包括:根据病种标记计划靶区的器官权重,沿射线方向计算每个角度的器官权重累加值;合并相邻满足预设权重阈值的角度,将符合权重阈值的角度作为所述放疗照射角度。
在上述技术方案中,优选地,所述根据所述病种信息、所述几何解剖结构和所述处方确定放疗照射角度的方法具体包括:确定感兴趣区域,选择至少一个计划靶区和一个危及器官,并对每个感兴趣区域进行全角度照射角度投影;在每个分段角度的每个角度上对计划靶区计算最小外接矩形,对某危及器官在该角度与对应的最小外接矩形进行交集运算,得到交集面积;对所有分段角度的交集面积进行求和,以最小的和值作为目标函数,采用非线性整数最优化算法求解得到最优分段索引和最优角度索引,作为所述放料照射角度。
在上述技术方案中,优选地,所述剂量预测模型迭代训练至收敛曲线达到预设收敛值时完成训练。
在上述技术方案中,优选地,所述生成器为多级层次的U-net网络或者V-net网络。
本发明还提出一种人工智能引导的剂量预测系统,包括:输入模块、勾画模块、AI剂量模块和输出模块;所述输入模块包括影像输入子模块和处方模板子模块;所述影像输入子模块用于获得医学影像信息,包括患者信息、病种信息和医学影像;所述处方模板子模块包括预设的病种-处方模板库以及调用方法;所述勾画模块包括自动勾画子模块和手动勾画子模块;默认使用所述自动勾画子模块,所述手动勾画子模块是所述自动勾画子模块的补充,可对所述自动勾画子模块的勾画结果进行修改;所述AI剂量模块包括角度生成子模块、剂量预测子模块和手动剂量修改子模块;其中,所述角度生成子模块预设有多个方法可以设置使用,所述剂量预测子模块可选多种预设的预测模型,预测模型包括基于U-net模型或者V-net模型;所述手动剂量修改子模块可对所述剂量预测子模块所预测的结果进行修改;所述输出模块用于将得出预测结果输出。
与现有技术相比,本发明的有益效果为:通过在基于几何解剖结构和器官三维剂量分布的预测模型基础上,增加了处方剂量预测模型和照射角度自动优化过程,实现了全自动的剂量预测,其中,剂量预测采用基于Pix2pix的剂量预测模型,结合照射角度实现计划靶区的剂量预测,生成器保留了底层信息为预测图像的细节提供了保证,从而提高了剂量预测的效率和效果。
附图说明
图1为本发明一种实施例公开的人工智能引导的剂量预测方法的流程示意框图;
图2为本发明一种实施例公开的Beam通道的图像化展示示意图;
图3为本发明一种实施例公开的cGAN生成网络的原理示意图;
图4为本发明一种实施例公开的Pix2pix生成网络的原理示意图;
图5为本发明一种实施例公开的生成器模型的原理示意图;
图6为本发明一种实施例公开的判别器判别流程的原理示意图;
图7为本发明一种实施例公开的预测剂量与原始剂量的对比示意图;
图8为本发明一种实施例公开的训练集与预测集的数据体积均值的对比示意图;
图9为本发明一种实施例公开的训练数据与预测数据的器官体积均值的差值对比示意图;
图10为本发明一种实施例公开的典型绝对剂量的dice相似性系数曲线示意图;
图11为本发明一种实施例公开的迭代训练的loss曲线示意图;
图12为本发明一种实施例公开的人工智能引导的剂量预测系统的结构示意框图。
图中,各组件与附图标记之间的对应关系为:
11.输入模块,111.影像输入子模块,112.处方模板子模块,12.勾画模块,121.自动勾画子模块,122.手动勾画子模块,13.AI剂量模块,131.角度生成子模块,132.剂量预测子模块,133.手动剂量修改子模块,14.输出模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述:
如图1所示,根据本发明提供的一种人工智能引导的剂量预测方法,包括:获取病人以预设格式存储的医学影像;对医学影像进行勾画以获取几何解剖结构;根据医学影像对应的病种信息、几何解剖结构以及预设的病种-处方模板库确定处方;根据病种信息、几何解剖结构和处方确定放疗照射角度;将病种信息、几何解剖结构、处方和放疗照射角度输入训练完成的剂量预测模型,得出放疗剂量结果。
在该实施例中,具体地,在现有的基于几何解剖结构和器官三维剂量分布的预测模型基础上,增加了处方剂量模板和角度自动优化过程,实现全自动的剂量预测;具体流程如下:
(1)医学影像获取:通过CT机或者核磁(MR)获取病人影像,以预设格式存储,其中包括病人的病种类型基本信息,优选采用Dicom标准;
(2)器官勾画:对所获得的的医学影像进行自动勾画,获取几何解剖结构,其中,勾画过程包括正常器官组织的勾画以及肿瘤靶区的勾画;
(3)处方确定:根据上述的勾画信息以及病种信息,自动确定处方;其中,处方由预设的病种-处方模板库中处方与病种的映射关系确定,病种-处方模板库需要事先定义好;
(4)角度确定:利用处方、病种、勾画信息,自动确定照射角度;
(5)剂量预测:剂量预测前需要完成模型的训练,模型训练只需要一次训练,日常使用只需要将数据按照设定的格式输入就可以完成剂量预测,其中,优选地,该剂量预测模型是一种基于Pix2pix的患者几何解剖结构和器官三维剂量分布的剂量预测模型,输入数据采用Dicom标准格式;
(6)输出结果与显示:对于生成的预测结果,可以通过靶区受量平均变化率、DVH对比、预测剂量图像对比以及Dice相似性系数几个方面进行验证,剂量预测的结果为后续计划优化和计划质量控制提供更为充分的数据信息。
在上述实施例中,优选地,采用基于Pix2pix的剂量预测模型,该剂量预测模型包括:以归一化的PTV平均剂量建立数据集,并以该数据集制定评分模板;对感兴趣区域进行标准化命名;将三维医学影像分割为二维切片作为训练集和测试集;读取训练集的三维计划靶区数据的射线角度,将射线角度投影在计划靶区上得到网络权重,对该网络权重采用剂量计算算法进行剂量计算得到射束(Beam)通道;以U-net网络或者V-net网络作为生成器、以马尔科夫判别器作为判别器构建Pix2pix剂量预测模型;以二维切片图像作为生成器的输入,以生成器输出的预测剂量和原始剂量作为判别器的输入,判别器输出判断结果;将训练集的所有二维切片输入Pix2pix剂量预测模型训练。
在该实施例中,具体地,模型训练中涉及到制定评分模板、感兴趣区域(ROI,region of interest)命名的标准化及模型训练过程。其中,Pix2pix是一种基于GAN的图像翻译模型。在GAN网络中包含着生成器G和判别器D,两者相互制约相互促进,G生成的图像与ground truth同时交给D来判别,判别结果为生成图像是真实图像的概率,如果概率很大,说明G生成的图像很接近原始图像,从而欺骗了D;如果判别为假,说明D识别出了生成图像与真实图像有较大区别。在上述G与D的博弈过程中,两者都学习了经验,G生成的假图越来越真,D判别的结果越来越正确。当D已经无法判别G生成的图是真是假时,得到了一套训练好的剂量预测模型。优选地,剂量预测模型迭代训练至收敛曲线达到预设收敛值时完成训练。
在上述实施例中,优选地,根据病种信息、几何解剖结构和处方确定放疗照射角度的方法包括三种,该三种方法具体包括:
(一)将历史病例的病种信息、几何解剖结构和处方进行机器学习,确定照射角度预测模型,将当前病例的病种信息、几何解剖结构和处方输入照射角度预测模型获取预测照射角度,作为放疗照射角度。
(二)根据病种标记计划靶区的器官权重,沿射线方向计算每个角度的器官权重累加值;合并相邻满足预设权重阈值的角度,将符合权重阈值的角度作为放疗照射角度。具体地,根据病种不同标记不同病种的器官权重,权重越大越重要,其中肿瘤靶区标记为0;器官权重中可以分区给定器官子权重;其中的权重标记方法,可用器官最大允许照射剂量的倒数确定,最大允许照射剂量越大,权重越小。角度权重确定过程中,沿着射线方向,按照预设的角度间隔计算每个角度的器官权重或子权重累加值。选择符合权重阈值的角度时,如果角度个数小于预设最小值,则默认为预设值,如果角度大于预设最大值则默认为最大值。
(三)确定感兴趣区域,选择至少一个计划靶区和一个危及器官,并对每个感兴趣区域进行全角度照射角度投影;在每个分段角度的每个角度上对计划靶区计算最小外接矩形,对某危及器官在该角度与对应的最小外接矩形进行交集运算,得到交集面积;对所有分段角度的交集面积进行求和,以最小的和值作为目标函数,采用非线性整数最优化算法求解得到最优分段索引和最优角度索引,作为放料照射角度。具体地,首先针对勾画中的ROI,确定感兴趣的ROI,至少选择一个PTV(Planning Target Volume,计划靶区)和一个OAR(Organ At Risk,危及器官)。对每一个ROI,进行0-360度的射束角度范围内投影,给定一组初始分段(表示JAW的位置,索引用i表示),每一个分段给定一组初始的角度(索引用j表示)。在一个分段内的一个角度上,对PTV(i,j)(治疗计划靶区)求最小外接矩形,记作block(i,j)。对某一个的OAR(索引用k表示)在该分段,该角度下和block(i,j)进行求交集运算,得到交集面积。对该分段所有的OAR与block(i,j)的交集面积求和,进而对所有分段求和,记作Sall。以最小的Sall结果为目标函数,采用非线性整数最优化算法求解得到最优的分段索引和最优的角度索引。以上步骤最终优化出最佳铅门位置和最佳照射角度,在充分照射PTV的基础上,充分减少了漏射对OAR的照射,该种算法完全从符合放疗计划制作的基本原则为出发点而提出,充分保护了正常组织。
根据上述实施例提供的人工智能引导的剂量预测方法,在具体实施过程中,共收集了150例右侧乳腺癌IMRT的病例数据进行实验,处方剂量为50Gy,每一例数据中的靶区均包括锁上、胸壁和腋窝。放疗数据由物理师使用eclipse放疗计划系统优化生成且都是经过临床治疗过的,导出的数据格式为DICOM格式。本实施例中产生或分析的数据集,由于敏感的医疗信息,不能公开使用,所有患者资料均已完全匿名,所有方法均按照相关指南和规定执行。实验环境为Ubuntu16.04系统,CPU型号为
Figure BDA0002303063510000081
Core(TM)i3-8350K@4.00GHz,显卡为GTX1080Ti,IDE使用了pycharm2019与MATLAB2017平台。
本实施例进行乳腺癌靶区放射治疗的剂量预测过程共分为以下两个步骤:1.病例数据预处理2.模型的训练与预测。下面将对以上两个步骤进行展开说明。
1.数据预处理
1)制定评分模板
为了对所有计划之间进行平等的比较,剂量预测模型使用PTV平均剂量5000cGy来规范化计划。PTV平均剂量归一化建立了一个统一的数据集,该数据集更有利于训练模型,归一化的计划具有更大的临床相关性和评估价值。评分模板的制作是依据RTOG-1005、5年以上工作经验的物理师以及放射科医生三方信息的总结和交流制定。评分模板包含项目如下:PTV的V48,V50,V53,V55,DMAX,D2,D98,HI,CI;心脏的V10,DMEAN;左肺的V4,V5,DMEAN;右肺的V4,V5,V8,V10,V20,V30,DMEAN以及脊髓的DMAX。通过设置体积和受量的上下限对数据进行评分,越接近上限分数越高,超过下限才有得分,同时对每个属性分配不同权重,使其更加符合医生处方要求与临床需要。制作评分模板的目的有以下几点:1在挑选数据的过程中可能会出现左右乳房错误,病种错误等事情的发生,通过制定评分模板选出错误数据,避免影响模型精度。2规范化的数据有利于训练模型的准确性。
2)感兴趣区域(ROI)命名的标准化
通过观察原始数据发现,不同的放疗物理师有不同的命名习惯,这导致计算机无法正确的识别器官和靶区的ROI区域。因此,我们通过规范化ROI标准名和别名,制作统一的命名字典,为目标信息提取提供便利,方便后期的修改。
3)训练集与测试集
选择实验数据时,我们考虑到左侧乳腺癌肿瘤的计划制作,受到CT模拟定位中胸腔内心脏的形状、大小、位置等变化影响较为严重。因此,相对于左侧乳腺癌的放疗计划预测,右侧乳腺心脏体积占比较小,受肺部等危及器官影响较小,稳定性更好。因此本实施例中使用右侧乳腺癌数据进行剂量预测的研究。
将每个3D CT图像分割成256×256像素的二维切片,生成器使用单个CT图像切片来预测沿同一平面的剂量分布,但不考虑不同切片之间的垂直关系。每片都重复这一过程,直到产生完整的3D剂量分布。本实施例的训练集由127例患者的3D CT图像的所有2d切片组成,共计7643张,其余30例患者的CT图像作为测试集进行剂量预测。
4)生成Beam通道
Beam角度又称射线角度或射束方向。放射治疗的目的是向计划靶区发送足够高的剂量以控制肿瘤,而与此同时要保证其周围的正常组织和危及器官(OARs)处于可接受的剂量水平,以免受到损伤。在精准治疗中,Beam角度的设置影响计划靶区和危及器官所受到的剂量,对治疗计划的优劣有重要的影响。由于人体曲面和不均匀组织对剂量分布的影响,给治疗计划设计时确定射野角度带来了困难,使得针对每个病人都制定最合适射野入射方向变成了一个费时的、反复试错的过程。因此,在训练过程中考虑射线角度有助于预测出更加准确且更符合临床要求的剂量分布图。
生成Beam通道的方法如下:首先取出3维PTV数据,读取出病例中包含的Beam角度,将射野角度投影到PTV上得到beam通道数据的网络权重(在这里将落在射野范围内的区域设为1,其他位置设为0),采用高速的剂量计算算法对该网络权重直接进行剂量计算从而得到Beam通道。生成的Beam通道的图像化展示如图2所示。
2.模型的训练与预测
本实施例率先使用了Pix2pix模型加Beam通道实现放疗剂量的预测。Pix2pix是一种基于GAN的图像翻译模型,在GAN网络中包含着生成器G和判别器D,两者相互制约相互促进,G生成的图像与ground truth同时交给D来判别,判别结果为生成图像是真实图像的概率,如果概率很大,说明G生成的图像很接近原始图像,从而欺骗了D;如果判别为假,说明D识别出了生成图像与真实图像有较大区别。在上述G与D的博弈过程中,两者都学习了经验,G生成的假图越来越真,D判别的结果越来越正确。当D已经无法判别G生成的图是真是假时,我们得到了一套训练好的生成模型。
如图3所示,cGAN生成网络G的输入包括噪声Z和条件Y,输出生成一个fake_x。判别网络D的输入包括fake_x或real_x和条件Y,输出为判断结果0或1即FAKE或REAL。
如图4所示,Pix2pix借鉴了cGAN的思想,在输入G网络的时候不止会输入噪声,还会输入一个条件(condition),G网络生成的fake images会受到具体的condition的影响。将图像作为condition,生成的fake images与condition images有对应关系,从而实现了一个image-to-image translation的过程。具体地,Pix2pix的生成网络G的输入端只有一个条件Y,这里的Y为一张图片imgA。生成网络G用到的是U-net结构,输入的Y编码再解码成真实图像imgB’。判别器的输入为生成图像imgB’或真实图像real_x(imgB)和条件Y,最终实现图像到图像的变换。
在本实施例当中,输入Y为4通道图像,其中包括3通道的dose image和1个beam通道,通过U-net生成器后得到预测剂量fake_x,原始剂量与生成的预测剂量共同放入判别器,判断预测剂量与真实剂量之间的差异并输入判断结果。
下面详细介绍本实施例中使用的生成器与判别器结构。
如图5所示,本实施例中的生成器使用一个8级层次的U-net,实现了图像到剂量的映射。整个网络结构可以看作特征提取部分和上采样部分。输入从256×256像素图像的4个通道开始。特征提取部分每层进行一次3×3卷积操作,到下一层时使用2×2最大池化层,其目的是减少256×256像素的特征尺寸到1×1像素。在上采样部分使用同样卷积核对每层数据进行卷积操作,而进入下一层时,最大池化层变为2×2反卷积,目的是将图像变换会原始图像大小。而为了保留底层信息不丢失,保留图像细节信息,使用如图5所示的方法将底层特征保留。最终输出图像为256×256×1的剂量图。
在训练阶段,选择Adam algorithm作为优化器来最小化损失函数。本实施例中将训练设置为两个阶段,Adam parametersβ1=0.55,β2=0.999。第一阶段学习率(learningrate)为2×10-5,epochs为100;第二阶段为学习率为2e-06,epochs为300。本实施例分成两个阶段训练,一方面可以提升收敛速度,另一方面可以中断训练后继续训练,不会影响结果。
判别器采用如图6所示的马尔可夫判别器(PatchGAN),判别是否是生成的图片。因为不同的patch之间可以认为是相互独立的,所以PatchGAN的思想是让判别器对图像的每个大小为N×N的patch做真假判别。Pix2pix对一张图片切割成不同的N×N大小的patch,判别器对每一个patch做真假判别,将一张图片所有patch的结果取平均作为最终的判别器输出。对于256×256的输入,patch大小为70×70时,判断结果最好。
如图7所示,作为Pix2pix模型的一个典型预测示例,图7展示了同一个病例预测剂量图像与真实剂量图像的对比,左侧为预测剂量图像,右侧为原始剂量图像。可见,得益于生成器使用了U-net网络保存了底层信息,预测剂量图像细节信息保存较好。
如图8所示,在进行剂量学评估中,受体体积间的差异对受体剂量也会产生影响。由图8可以看出,训练集计划靶区(PTV)体积MEAN值为915.46cm3,GTV体积MEAN值为658.74cm3,左肺体积MEAN值为1001.09cm3,右肺体积MEAN值为1315.38cm3,心脏体积MEAN值为533.33cm3,脊髓体积MEAN值为40.95cm3。预测集计划靶区(PTV)体积MEAN值为978.1cm3,GTV体积MEAN值为743.06cm3,左肺体积MEAN值为981.9cm3,右肺体积MEAN值为1329cm3,心脏体积MEAN值为552.3cm3,脊髓体积MEAN值为43cm3
如图9所示,在上述实施例中对数据中各标记器官的体积均值进行比较,计算公式为predictmean-rawmean。其中PTV体积差距达到95.1cm3,双肺、心脏以及脊髓体积差距均小于20cm3。将体积差值与表1剂量变化率相结合得出,对于体积差值较大的PTV区域,剂量变化率D2与D98分别为0.33%和3.55%,预测剂量低于原始剂量,但D95的剂量均值均达到了处方剂量要求,符合临床剂量需要。左肺体积差值较小,剂量变化率虽然达到8.19%但因为基数仅为1.5Gy左右,故属于临床可接受范围。右肺属于大面积受量区域,且在体积差值较小的基础上,V5,V10,V20的剂量变化率均小于1%,虽然V30剂量变化率达到12.5%,但预测剂量均值与实际剂量均值的差值仅为3.1Gy,属于临床可接受范围。脊髓剂量差值约为2.8Gy,体积差值为2.1cm3,同样属于临床可接受范围。
分析表1数据可以看出,预测结果的剂量相较于实际计划剂量普遍偏小,但均满足了D95符合处方剂量要求,因此我们认为部分训练数据的剂量还有下降的空间。模型充分考虑危机器官的体积与受量,学习并提出了更佳的剂量分布结果。
表1.预测剂量均值与真实剂量均值变化率对比
Figure BDA0002303063510000121
表1展示了预测剂量均值与真实剂量均值变化率对比,其中HI与CI的计算公式为:
Figure BDA0002303063510000122
对于这两种指标,HI的值越小和CI的值约接近1,说明放疗计划制作的越好。对于左肺、右肺等大体积器官的预测变化率最大为0.12,而对于小体积器官,如心脏,变化率虽大,但预测剂量均值与真实剂量均值数据实际差量仅为0.176Gy。预测数据集在预测结果上与原始数据差距在临床可接受范围内,与训练集数据变化率相比幅度不大。
预测剂量与实际剂量的相似性系数使用Dice相似性系数表示。由图10看出,在3~50Gy的绝对剂量区间内,20Gy剂量下的Dice值在0.76~0.86之间逐渐上升,在20~45Gy区间Dice值在0.86~0.9之间浮动,绝对剂量在45Gy以上时,Dice值有缓慢下降趋势,但都保持在0.83之上。通过分析数据我们发现,右侧乳腺癌中,低剂量区域主要分布在脊髓,左肺和心脏,受量在30Gy以下,高剂量区域主要分布在右肺以及PTV。这种复杂靶区存在剂量分布不均匀,剂量跨度大的特点。因此在20Gy绝对剂量以下的相似性系数较低,但低剂量区域虽然相似性系数较低,变化率以及DVH上的表现都符合临床剂量要求。
剂量体积直方图(DVH)是目前三维适形放疗中被广泛接受的治疗计划评估方法,直观表示靶区和正常组织中剂量和体积的关系。靶区的DVH能显示照射的均匀度,正常组织的DVH能提供该器官受照的剂量及其相应的体积,特别是对放射耐受性与受照体积有关的正常器官有非常重要的临床意义。剂量体积指标作为评估放疗计划优良的方法,具有直观感受剂量变化的特点。在放疗计划制作过程中,物理师通过eclipse软件可以在DVH上手动通过调整权重与受量实时监看剂量变化情况。通过图像可以直观看出PTV曲线、BODY曲线基本重合,这保证了靶区照射剂量充分以及身体受量保持在临床可接受范围。
总的来说,在本实施例中对120例训练样本、共大约12000张训练图像进行了总epochs为400次的训练,这个过程在gtx1080显卡上运行了4×24h,图11显示了生成模型的loss图。训练模型的损失开始为13800,在经过50次迭代后降loss低到了4210。训练迭代到300次后曲线收敛平稳,350次较300次损失降低了40,最终在400次迭代后模型收敛到5,继续训练后损失曲线并无更大波动,这也是选择400次迭代的原因。
综上,在上述实施例中,使用了Pix2pix结合射野角度实现了乳腺癌复杂靶区的剂量预测。在本实施例中将剂量预测定义为一个图像着色问题,Pix2pix剂量预测模型在这个问题上表现良好。其次是Pix2pix剂量预测模型对于数据成对的要求在实验中使用便利。最后,模型中的生成器使用了u-net网络,保留了底层信息,为模型预测图像的细节提供了保证。实验结果表明,通过对比靶区剂量体积参数变化率和正常器官的剂量体积参数变化率,得到了临床可接受的预测放疗剂量结果。
如图12所示,根据上述实施例提供的人工智能引导的剂量预测方法,相应的,提出一种人工智能引导的剂量预测系统,包括:输入模块11、勾画模块12、AI剂量模块13和输出模块14;输入模块11包括影像输入子模块111和处方模板子模块112;影像输入子模块111用于获得医学影像信息,包括患者信息、病种信息和医学影像;处方模板子模块112包括预设的病种-处方模板库以及调用方法;勾画模块12包括自动勾画子模块121和手动勾画子模块122;默认使用自动勾画子模块121,手动勾画子模块122是自动勾画子模块121的补充,可对自动勾画子模块121的勾画结果进行修改;AI剂量模块13包括角度生成子模块131、剂量预测子模块132和手动剂量修改子模块133;其中,角度生成子模块131预设有多个方法可以设置使用,剂量预测子模块132可选多种预设的预测模型,预测模型包括基于U-net模型或者V-net模型;手动剂量修改子模块133可对剂量预测子模块132所预测的结果进行修改;输出模块14用于将得出预测结果输出。
具体地,上述输入模块11、勾画模块12、AI剂量模块13和输出模块14所实现的功能及所用方法在前述人工智能引导的剂量预测方法中已进行了详细的叙述,在此不再赘述。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种人工智能引导的剂量预测方法,其特征在于,包括:
获取病人以预设格式存储的医学影像;
对所述医学影像进行勾画以获取几何解剖结构;
根据所述医学影像对应的病种信息、所述几何解剖结构以及预设的病种-处方模板库确定处方;
根据所述病种信息、所述几何解剖结构和所述处方确定放疗照射角度;
将所述病种信息、所述几何解剖结构、所述处方和所述放疗照射角度输入训练完成的剂量预测模型,得出放疗剂量结果。
2.根据权利要求1所述的人工智能引导的剂量预测方法,其特征在于,采用基于像素对像素的剂量预测模型,所述剂量预测模型包括:
以归一化的PTV平均剂量建立数据集,并以该数据集制定评分模板;
对感兴趣区域进行标准化命名;
将三维医学影像分割为二维切片作为训练集和测试集;
读取所述训练集的三维计划靶区数据的射线角度,将射线角度投影在计划靶区上得到网络权重,对该网络权重采用剂量计算算法进行剂量计算得到射束通道;
以U-net网络或者V-net网络作为生成器、以马尔科夫判别器作为判别器构建Pix2pix剂量预测模型;
以所述二维切片图像作为所述生成器的输入,以所述生成器输出的预测剂量和原始剂量作为所述判别器的输入,所述判别器输出判断结果;
将所述训练集的所有二维切片输入所述Pix2pix剂量预测模型训练。
3.根据权利要求1所述的人工智能引导的剂量预测方法,其特征在于,所述根据所述病种信息、所述几何解剖结构和所述处方确定放疗照射角度的方法具体包括:
将历史病例的病种信息、几何解剖结构和处方进行机器学习,确定照射角度预测模型,将当前病例的所述病种信息、所述几何解剖结构和所述处方输入所述照射角度预测模型获取预测照射角度,作为所述放疗照射角度。
4.根据权利要求1所述的人工智能引导的剂量预测方法,其特征在于,所述根据所述病种信息、所述几何解剖结构和所述处方确定放疗照射角度的方法具体包括:
根据病种标记计划靶区的器官权重,沿射线方向计算每个角度的器官权重累加值;
合并相邻满足预设权重阈值的角度,将符合权重阈值的角度作为所述放疗照射角度。
5.根据权利要求1所述的人工智能引导的剂量预测方法,其特征在于,所述根据所述病种信息、所述几何解剖结构和所述处方确定放疗照射角度的方法具体包括:
确定感兴趣区域,选择至少一个计划靶区和一个危及器官,并对每个感兴趣区域进行全角度照射角度投影;
在每个分段角度的每个角度上对计划靶区计算最小外接矩形,对某危及器官在该角度与对应的最小外接矩形进行交集运算,得到交集面积;
对所有分段角度的交集面积进行求和,以最小的和值作为目标函数,采用非线性整数最优化算法求解得到最优分段索引和最优角度索引,作为所述放料照射角度。
6.根据权利要求1所述的人工智能引导的剂量预测方法,其特征在于,所述剂量预测模型迭代训练至收敛曲线达到预设收敛值时完成训练。
7.根据权利要求2所述的人工智能引导的剂量预测方法,其特征在于,所述生成器为多级层次的U-net网络或者V-net网络。
8.一种人工智能引导的剂量预测系统,其特征在于,包括:输入模块、勾画模块、AI剂量模块和输出模块;
所述输入模块包括影像输入子模块和处方模板子模块;所述影像输入子模块用于获得医学影像信息,包括患者信息、病种信息和医学影像;所述处方模板子模块包括预设的病种-处方模板库以及调用方法;
所述勾画模块包括自动勾画子模块和手动勾画子模块;默认使用所述自动勾画子模块,所述手动勾画子模块是所述自动勾画子模块的补充,可对所述自动勾画子模块的勾画结果进行修改;
所述AI剂量模块包括角度生成子模块、剂量预测子模块和手动剂量修改子模块;其中,所述角度生成子模块预设有多个方法可以设置使用,所述剂量预测子模块可选多种预设的预测模型,预测模型包括基于U-net模型或者V-net模型;所述手动剂量修改子模块可对所述剂量预测子模块所预测的结果进行修改;
所述输出模块用于将得出预测结果输出。
CN201911229101.5A 2019-08-29 2019-12-04 人工智能引导的剂量预测方法与系统 Active CN111028914B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911229101.5A CN111028914B (zh) 2019-12-04 2019-12-04 人工智能引导的剂量预测方法与系统
PCT/CN2020/091843 WO2021036366A1 (zh) 2019-08-29 2020-05-22 标准化的人工智能自动放疗计划方法和系统
US16/977,095 US11964170B2 (en) 2019-08-29 2020-05-22 Standardized artificial intelligence automatic radiation therapy planning method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911229101.5A CN111028914B (zh) 2019-12-04 2019-12-04 人工智能引导的剂量预测方法与系统

Publications (2)

Publication Number Publication Date
CN111028914A true CN111028914A (zh) 2020-04-17
CN111028914B CN111028914B (zh) 2024-03-22

Family

ID=70204351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911229101.5A Active CN111028914B (zh) 2019-08-29 2019-12-04 人工智能引导的剂量预测方法与系统

Country Status (1)

Country Link
CN (1) CN111028914B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111863203A (zh) * 2020-07-20 2020-10-30 上海联影医疗科技有限公司 一种放疗数据的分类方法、装置、设备及存储介质
WO2021036366A1 (zh) * 2019-08-29 2021-03-04 北京连心医疗科技有限公司 标准化的人工智能自动放疗计划方法和系统
CN112635023A (zh) * 2020-12-16 2021-04-09 福建医科大学附属第一医院 鼻咽癌的剂量预测模型的生成方法、剂量预测方法及装置
CN113096766A (zh) * 2021-04-08 2021-07-09 济南大学 一种个性化精准放疗计划中的三维剂量预测方法及系统
CN113327681A (zh) * 2020-10-30 2021-08-31 重庆市璧山区人民医院 一种基于生成式对抗网络的肿瘤放疗计划自动设计方法
CN113990442A (zh) * 2021-10-26 2022-01-28 上海联影医疗科技股份有限公司 放疗区域的剂量控制方法、装置和存储介质
CN114038535A (zh) * 2021-10-09 2022-02-11 海创时代(深圳)医疗科技有限公司 一种基于深度学习的放疗剂量预测装置及方法
US20220149568A1 (en) * 2020-11-06 2022-05-12 Molex, Llc Electrical connection device
CN115300811A (zh) * 2022-08-08 2022-11-08 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) 一种基于机器学习的剂量分布确定方法及装置
CN116246762A (zh) * 2023-05-11 2023-06-09 深圳汇医必达医疗科技有限公司 基于人工智能的处方剂量优化方法、装置、设备及介质
CN117577275A (zh) * 2024-01-17 2024-02-20 福建自贸试验区厦门片区Manteia数据科技有限公司 基于壳结构的剂量信息确定装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030212325A1 (en) * 2002-03-12 2003-11-13 Cristian Cotrutz Method for determining a dose distribution in radiation therapy
CN110085298A (zh) * 2019-04-26 2019-08-02 南方医科大学 基于深度网络学习的调强放疗计划三维剂量分布预测方法
CN110197709A (zh) * 2019-05-29 2019-09-03 广州瑞多思医疗科技有限公司 一种基于深度学习与先验计划的三维剂量预测方法
CN110327554A (zh) * 2019-07-08 2019-10-15 南方医科大学 基于预测剂量分布引导的调强放疗计划优化方法及应用
CN110415785A (zh) * 2019-08-29 2019-11-05 北京连心医疗科技有限公司 人工智能引导放疗计划的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030212325A1 (en) * 2002-03-12 2003-11-13 Cristian Cotrutz Method for determining a dose distribution in radiation therapy
CN110085298A (zh) * 2019-04-26 2019-08-02 南方医科大学 基于深度网络学习的调强放疗计划三维剂量分布预测方法
CN110197709A (zh) * 2019-05-29 2019-09-03 广州瑞多思医疗科技有限公司 一种基于深度学习与先验计划的三维剂量预测方法
CN110327554A (zh) * 2019-07-08 2019-10-15 南方医科大学 基于预测剂量分布引导的调强放疗计划优化方法及应用
CN110415785A (zh) * 2019-08-29 2019-11-05 北京连心医疗科技有限公司 人工智能引导放疗计划的方法及系统

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021036366A1 (zh) * 2019-08-29 2021-03-04 北京连心医疗科技有限公司 标准化的人工智能自动放疗计划方法和系统
US11964170B2 (en) 2019-08-29 2024-04-23 Beijing Linking Medical Technology Co., Ltd. Standardized artificial intelligence automatic radiation therapy planning method and system
CN111863203A (zh) * 2020-07-20 2020-10-30 上海联影医疗科技有限公司 一种放疗数据的分类方法、装置、设备及存储介质
CN113327681A (zh) * 2020-10-30 2021-08-31 重庆市璧山区人民医院 一种基于生成式对抗网络的肿瘤放疗计划自动设计方法
US11777258B2 (en) * 2020-11-06 2023-10-03 Molex, Llc Electrical connection device
US20220149568A1 (en) * 2020-11-06 2022-05-12 Molex, Llc Electrical connection device
CN112635023A (zh) * 2020-12-16 2021-04-09 福建医科大学附属第一医院 鼻咽癌的剂量预测模型的生成方法、剂量预测方法及装置
CN112635023B (zh) * 2020-12-16 2024-03-29 福建医科大学附属第一医院 鼻咽癌的剂量预测模型的生成方法、剂量预测方法及装置
CN113096766A (zh) * 2021-04-08 2021-07-09 济南大学 一种个性化精准放疗计划中的三维剂量预测方法及系统
CN114038535A (zh) * 2021-10-09 2022-02-11 海创时代(深圳)医疗科技有限公司 一种基于深度学习的放疗剂量预测装置及方法
CN113990442A (zh) * 2021-10-26 2022-01-28 上海联影医疗科技股份有限公司 放疗区域的剂量控制方法、装置和存储介质
CN115300811A (zh) * 2022-08-08 2022-11-08 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) 一种基于机器学习的剂量分布确定方法及装置
CN115300811B (zh) * 2022-08-08 2024-01-05 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) 一种基于机器学习的剂量分布确定方法及装置
CN116246762B (zh) * 2023-05-11 2023-07-21 深圳汇医必达医疗科技有限公司 基于人工智能的处方剂量优化方法、装置、设备及介质
CN116246762A (zh) * 2023-05-11 2023-06-09 深圳汇医必达医疗科技有限公司 基于人工智能的处方剂量优化方法、装置、设备及介质
CN117577275A (zh) * 2024-01-17 2024-02-20 福建自贸试验区厦门片区Manteia数据科技有限公司 基于壳结构的剂量信息确定装置、电子设备及存储介质
CN117577275B (zh) * 2024-01-17 2024-04-19 福建自贸试验区厦门片区Manteia数据科技有限公司 基于壳结构的剂量信息确定装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111028914B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN111028914B (zh) 人工智能引导的剂量预测方法与系统
US11386557B2 (en) Systems and methods for segmentation of intra-patient medical images
US11964170B2 (en) Standardized artificial intelligence automatic radiation therapy planning method and system
US10765888B2 (en) System and method for automatic treatment planning
CN109069858B (zh) 一种放射治疗系统及计算机可读存储装置
US10342994B2 (en) Methods and systems for generating dose estimation models for radiotherapy treatment planning
WO2016144915A9 (en) Automatic determination of radiation beam configurations for patient-specific radiation therapy planning
US11724126B2 (en) Methods and systems for quality-aware continuous learning for radiotherapy treatment planning
CN113891742B (zh) 用于基于连续深度学习的放射疗法治疗规划的方法和系统
US11282192B2 (en) Training deep learning engines for radiotherapy treatment planning
US11786204B2 (en) Automatically-registered patient fixation device images
CN116563192A (zh) 通过头颈癌患者数据进行多组学处理的方法、相关计算机可读介质及计算设备
Duprez The application of a deep convolution neural network for the automated delineation of the target and organs at risk in High Dose Rate Cervical Brachytherapy
WO2023196533A1 (en) Automated generation of radiotherapy plans

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant