CN117282040A - 基于时间序列预测模型的智能离线自适应放疗方法和系统 - Google Patents
基于时间序列预测模型的智能离线自适应放疗方法和系统 Download PDFInfo
- Publication number
- CN117282040A CN117282040A CN202311024226.0A CN202311024226A CN117282040A CN 117282040 A CN117282040 A CN 117282040A CN 202311024226 A CN202311024226 A CN 202311024226A CN 117282040 A CN117282040 A CN 117282040A
- Authority
- CN
- China
- Prior art keywords
- radiotherapy
- cbct
- prediction model
- image quality
- plan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001959 radiotherapy Methods 0.000 title claims abstract description 153
- 238000000034 method Methods 0.000 title claims abstract description 28
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 36
- 238000011156 evaluation Methods 0.000 claims abstract description 34
- 238000004980 dosimetry Methods 0.000 claims abstract description 32
- 210000000056 organ Anatomy 0.000 claims abstract description 31
- 230000003044 adaptive effect Effects 0.000 claims abstract description 20
- 230000006872 improvement Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 8
- 238000007408 cone-beam computed tomography Methods 0.000 claims abstract 22
- 238000013528 artificial neural network Methods 0.000 claims description 38
- 238000012795 verification Methods 0.000 claims description 10
- 238000002591 computed tomography Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 238000000265 homogenisation Methods 0.000 abstract description 3
- 210000001519 tissue Anatomy 0.000 description 20
- 238000010586 diagram Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 241000691979 Halcyon Species 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 210000005075 mammary gland Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/103—Treatment planning systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/103—Treatment planning systems
- A61N5/1031—Treatment planning systems using a specific method of dose optimization
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/103—Treatment planning systems
- A61N5/1039—Treatment planning systems using functional images, e.g. PET or MRI
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/1048—Monitoring, verifying, controlling systems and methods
- A61N5/1071—Monitoring, verifying, controlling systems and methods for verifying the dose delivered by the treatment plan
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Radiation-Therapy Devices (AREA)
- Urology & Nephrology (AREA)
- Surgery (AREA)
- Medicinal Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Chemical & Material Sciences (AREA)
Abstract
本发明公开了基于时间序列预测模型的智能离线自适应放疗方法和系统,包括:步骤S1,收集放疗患者数据;步骤S2,对CBCT进行影像质量提升,并且在影像质量提升后的CBCT上完成肿瘤靶区和周围正常组织器官的勾画;步骤S3,在影像质量提升后的CBCT上精确计算临床所需的放疗计划剂量学评估指标;步骤S4,根据计算出的剂量学评估指标判断是否需要调整放疗计划;步骤S5,设计并训练针对于放疗计划剂量学评估指标的时间序列预测模型,预测患者需要执行离线自适应放疗的时间节点。采用本技术方案很大程度上改善了常规离线自适应方案流程繁琐、耗时耗力、临床应用不便的缺点,减少了常规离线自适应方案中引入的不可避免的误差。另外同质化效果好,临床易推广。
Description
技术领域
本发明涉及放射治疗领域,尤其涉及基于时间序列预测模型的智能离线自适应放疗方法。
背景技术
国内外诸多研究已经证实了,离线自适应放疗能够为肿瘤放疗患者提供更加精准的放射治疗,在极大程度上杀死肿瘤细胞的同时,保护肿瘤周围正常组织器官受到极低限度剂量的辐射。但受限于常规离线自适应放疗方案存在的诸多限制和问题,临床上很难真正得到推广,也是目前研究的热点和难点。
目前临床上常规离线自适应放疗方案主要是通过采集当日进行放疗患者的CBCT(锥形束CT),在特殊放疗软件(例如瓦里安的医用软件Velocity)中根据当日采集的CBCT,通过配准等方式生成合成CT。然后将原始的放疗计划在合成CT上重新进行剂量计算,并在合成CT上评估肿瘤靶区和周围正常组织器官的剂量,从而决定是否需要重新调整计划。
该方案主要存在以下问题:
(1)流程繁琐,耗时耗力,软硬件条件要求严格,实用性不高。首先,目前临床上除瓦里安医用直线加速器Halcyon等机型外,大部分医用直线加速器并不强制要求每次放疗前对患者进行CBCT扫描定位,因此大部分放疗科收集的放疗患者CBCT数据集并不完整(通常放疗患者的放疗次数在25-30次,绝大部分医用直线加速器和放疗科只会在前5次放疗时扫描CBCT,后续每5次只扫描一次CBCT,用于肿瘤大小、位置和形态的确认),不完整的CBCT数据集就会导致无法重建出最精准的CT图像。其次,将CBCT转化成合成CT,需要用到特殊的放疗软件(例如瓦里安的医用软件Velocity),或者需自行开发算法去实现该步骤,对于很多基层医院的放疗科,无法做到同质化的图像处理,甚至无法实现该步骤。最后,为保证该方案的精准性,则需要完成对每一位放疗患者的每一次CBCT进行合成CT重建、剂量计算、剂量评估等多项任务,按照一位放疗患者的放疗次数在25-30次来计算,该方案的执行耗时耗力,临床应用极其不便。
(2)误差引入不可避免。将放疗患者CBCT转化为合成CT时,目前尚未有可靠且易实现的技术方法能够保证影像转化的高精度。因为每一个放疗患者的解剖异质性和肿瘤对于射线的敏感程度差异,在将放疗患者CBCT转化为合成CT时,算法对于肿瘤边界以内的肿块性质差异变化基本无法做出准确的识别和判断。因此,在对每位患者每一次放疗扫描的CBCT进行合成CT的转化时,都有可能带来不可避免,甚至临床无法接受的误差。
(3)合成CT的准确性验证难以实施。合成CT是基于CBCT产生的近似CT影像,因此对于合成CT最精确的验证,需要对放疗患者重新进行常规定位CT扫描,将实际定位CT影像和合成CT影像进行比对以验证合成CT的准确性。但CT扫描本来也会对放疗患者造成辐射,若单纯为验证合成CT的准确性,多次的CT扫描会对放疗患者的预后产生一定影响,不可用作日常验证方法。
发明内容
为了克服上述技术缺陷,本发明的目的在于提供基于时间序列预测模型的智能离线自适应放疗方法,包括以下步骤:
步骤S1,收集放疗患者的CBCT,EPID(电子射野影像装置)投射影像数据,放疗计划,定位CT,定位CT上肿瘤靶区和周围正常组织器官的勾画数据;
步骤S2,利用第一神经网络算法,对CBCT进行影像质量提升,并且在影像质量提升后的CBCT上完成肿瘤靶区和周围正常组织器官的勾画;
步骤S3,利用第二神经网络算法,以影像质量提升后的CBCT、CBCT上的肿瘤靶区和周围正常组织器官的勾画、EPID投射影像数据作为输入,在CBCT上精确计算临床所需的放疗计划剂量学评估指标;
步骤S4,根据计算出的放疗计划剂量学评估指标判断是否需要调整放疗计划,如果需要,则设计全新计划或调整计划,新放疗计划经过验证后再实施;
步骤S5,设计针对于放疗计划剂量学评估指标的时间序列预测模型,使用经过步骤S1至S4过程的放疗患者数据对模型进行训练,预测放疗患者需要执行离线自适应放疗的时间节点。
进一步的,步骤S2中,对CBCT进行影像质量提升,以及在影像质量提升后的CBCT上完成肿瘤靶区和周围正常组织器官的勾画,这两者可由同一神经网络算法进行多任务输出。
进一步的,步骤S2中用于在影像质量提升后的CBCT上完成肿瘤靶区和周围正常组织器官的勾画的算法为精确形变配准和/或自动勾画的算法。
进一步的,所述步骤S4为人工完成。
进一步的,所述步骤S5中的输入数据包括放疗患者的EPID,放疗计划,CBCT,定位CT,定位CT勾画数据,放疗计划剂量学评估指标。
本发明的另一个方面提供基于时间序列预测模型的智能离线自适应放疗系统,包括输入模块,第一神经网络模块,第二神经网络模块,调整模块,预测模型模块,其中:
输入模块,用于收集放疗患者的CBCT,EPID投射影像数据,放疗计划,定位CT,定位CT上肿瘤靶区和周围正常组织器官的勾画数据;
第一神经网络模块,利用第一神经网络算法,对CBCT进行影像质量提升,并且在影像质量提升后的CBCT上完成肿瘤靶区和周围正常组织器官的勾画;
第二神经网络模块,利用第二神经网络算法,以影像质量提升后的CBCT、CBCT上的肿瘤靶区和周围正常组织器官的勾画、EPID投射影像数据作为输入,在CBCT上精确计算临床所需的放疗计划剂量学评估指标;
调整模块,根据计算出的放疗计划剂量学评估指标判断是否需要调整放疗计划,如果需要,则设计全新计划或调整计划,新放疗计划经过验证后再实施;
预测模型模块,利用第三神经网络算法,设计针对于放疗计划剂量学评估指标的时间序列预测模型,使用经过步骤S1至S4过程的放疗患者数据对模型进行训练,预测放疗患者需要执行离线自适应放疗的时间节点。
进一步的,所述第一神经网络模块中,对CBCT进行影像质量提升,以及在影像质量提升后的CBCT上完成肿瘤靶区和周围正常组织器官的勾画,这两者可由同一神经网络算法进行多任务输出。
进一步的,所述第一神经网络模块中,步骤S2中用于在影像质量提升后的CBCT上完成肿瘤靶区和周围正常组织器官的勾画的算法为精确形变配准和/或自动勾画的算法。
进一步的,所述调整模块中调整并验证计划为人工完成。
进一步的,预测模型模块中输入数据包括EPID,放疗计划,CBCT,定位CT,定位CT勾画数据,放疗计划剂量学评估指标。
采用了上述技术方案后,与现有技术相比,具有以下有益效果:
该基于时间序列预测模型的智能离线自适应放疗方法是本领域内全新的离线自适应放疗方案,它主要有以下优点:
(1)全流程输入采用放疗患者的实际影像和剂量数据,例如CBCT、EPID采集的剂量数据。其中对于患者实际影像的处理仅为提升CBCT影像质量,除此之外不对患者的实际影像和剂量做任何方式的转化,最大程度上避免了常规离线自适应放疗流程中出现的误差。
(2)步骤S2、S3、S5都是通过开发的算法模型进行智能化、自动化地实施,只需要人为对最后的结果进行评估,极大地减轻了常规离线自适应方案流程繁琐、耗时耗力的缺点。
(3)同质化效果好,临床易推广。绝大部分医用直线加速器会采集前五次的CBCT图像,通过步骤S5中开发的时间序列预测模型,就能够基于少量的CBCT数据预测未来需要执行离线自适应放疗的时间节点,对于CBCT数据量和科室软硬件配置的要求较低,能够同质化地在绝大部分放疗科室和医用直线加速器上应用。
附图说明
图1为基于时间序列预测模型的智能离线自适应放疗方法的流程图。
图2为对抗生成网络技术路线图。
图3为判别器网络结构图。
图4为生成器结构图。
图5为原始CBCT图。
图6为影像质量提升后的CBCT图。
图7为UNET结构图。
图8为第二神经网络算法技术路线图。
图9为网络层数调整后的UNET结构图。
图10为放疗计划剂量学评估指标网络结构图。
图11为基于神经网络时间序列预测流程图。
图12为基于图谱的预测方法流程图。
具体实施方式
以下结合附图与具体实施例进一步阐述本发明的优点。本领域技术人员应当理解,下面所具体描述的内容是说明性的而非限制性的,不应以此限制本发明的保护范围。
为了提高离线自适应放疗在临床实践中的可行性,我们设计了一种全新、智能、快捷、可靠离线自适应放疗技术方法:基于时间序列预测模型的智能离线自适应放疗方法。最大程度上自动化地完成离线自适应放疗的全流程,不仅能够不受软硬件的约束,实现同质化的同时,也在最大程度上简化了自适应流程。如图1所示,该基于时间序列预测模型的智能离线自适应放疗技术的实施步骤如下:
步骤S1,收集放疗患者当日的CBCT、当日治疗的EPID透射影像数据、当日执行治疗所使用的放疗计划、定位CT以及定位CT上肿瘤靶区和周围正常组织器官的勾画数据。
步骤S2,利用第一神经网络算法实现多任务输出:对CBCT进行影像质量提升,并且在影像质量提升后的CBCT上完成肿瘤靶区和周围正常组织器官的勾画。使用神经网络深度学习的方法,以定位CT和CBCT作为输入,生成影像质量提升后的CBCT。同时,利用定位CT及医生在定位CT上勾画的肿瘤靶区和周围正常组织器官,采用精确形变配准和(或)自动勾画的算法在影像质量提升后的CBCT上完成靶区和周围正常组织器官的勾画。
第一神经网络算法提升CBCT影像质量主要通过GAN(对抗生成网络)完成(GAN包括但不限于标准GAN,DCGAN,LSGAN,WGAN,CycleGAN等,或自行对GAN进行网络结构修改,具体算法需结合临床数据特性后续评估决定)。
GAN的输入数据为CBCT与定位CT。如图2为对抗生成网络技术路线图。CBCT与定位CT首先要进行数据预处理,数据预处理包括:(1)把CBCT与定位CT中的HU值变换到相同范围;(2)对变换HU值后的CBCT与定位CT进行归一;(3)对CBCT与定位CT进行形变配准。配准时,以CBCT为参考序列,以定位CT为次级序列。如图3和图4所示,在GAN中,用CBCT作为生成器的初始数据,并用配准后的定位CT作为ground truth(基准真实值)训练判别器,在网络训练达到平衡后,将之用于生成接近定位CT画质的CBCT,见图5和6。
如图7所示,第一神经网络算法在CBCT上完成肿瘤靶区和周围正常组织器官的勾画主要通过UNET或结构类似的卷积网络完成。在定位CT与CBCT配准完成后,由两位及以上资深放疗科医师在CBCT上对肿瘤靶区和周围正常组织器官的勾画进行审核和修正,从而构成CBCT上的勾画数据集。合理分割该数据集以进行卷积网络训练、测试和校准。
步骤S3.以影像质量提升后的CBCT、CBCT上的肿瘤靶区和周围正常组织器官的勾画、EPID投射影像数据作为输入,利用第二神经网络算法,在影像质量提升后的CBCT上精确计算临床所需的放疗计划剂量学评估指标:以肺癌为例,临床所需的放疗计划剂量学评估指标包含肿瘤靶区的最大剂量、百分之95肿瘤体积所覆盖的剂量,周围正常组织器官例如20Gy剂量所覆盖的肺体积、心脏的平均剂量、脊髓的最大剂量以及对侧乳腺的平均剂量等。根据计算出的剂量学评估指标判断是否需要调整放疗计划。
如图8所示,为第二神经网络算法技术路线图。第二神经网络算法主要分为两个部分,第一部分为完成剂量精确计算的神经网络模型,第二部分为完成放疗计划剂量学评估指标精准输出的神经网络模型。
第一部分的神经网络模型主要由UNET或其变种网络实现。如图9所示,网络层数可根据特征数据进行调整。网络输入为放疗患者当日执行的放疗计划中每个射野的等效水剂量(包含了放疗计划的机架角度、准直器角度、射野形状以及通量等信息,能够实现真实照射剂量的精确转化)以及由第一神经网络算法输出的提升影像质量后的CBCT。当日采集的患者放疗剂量透射EPID数据用于剂量计算的验证,或可用其构成此部分网络的损失函数。网络输出为提升影像质量后的CBCT上的放疗患者剂量。数据扩增方法如循环策略、图像矩阵变换(旋转,扭曲等)等根据具体情况进行采用。
第二部分的神经网络模型主要由卷积网络和线性网络构成。如图10所示,网络层数可根据特征数据进行调整。此部分网络的输入为第二神经网络算法中第一部分的神经网络模型输出的放疗患者剂量和第一神经网络算法输出的勾画数据,输出为放疗计划剂量学评估指标。
步骤S4.如果需要调整放疗计划,则在影像质量提升后的CBCT上进行放疗计划调整或重新进行定位CT扫描设计全新计划。在计划验证后,用于该放疗患者后续的临床治疗。如果不需要调整放疗计划,则继续使用原放疗计划进行临床治疗。此步骤为人工完成。
步骤S5.设计一个针对于放疗计划剂量学评估指标的时间序列预测模型,并使用大量已进行过步骤S1至S4离线自适应调整的放疗患者数据对模型进行训练直至稳定准确。在患者进行少次放疗(3-5次)后,使用本模型预测出未来该患者需要执行离线自适应放疗的时间节点,为临床离线自适应的使用提供参考指导。
初版时间序列预测模型的主要结构为卷积网络加线性网络构成的时间序列预测网络(其网络结构包括但不限于卷积网络,如LSTM(长短期记忆网络),Transformer等)。使用迁移学习的方法训练时间序列预测网络:如图11所示,先使用较大数据集对时间序列预测网络进行训练,再将部分特定验证患者的少次(3到5次)放疗后的剂量学评估指标作为时间序列预测网络的输入,输出该部分患者后续未来每次放疗后的剂量学评估指标。通过分析这些预测出的剂量学评估指标,实现预测未来使用离线自适应放疗介入的时间节点。
为提高时间序列预测网络的准确性,拟采用类似图谱匹配的算法对患者每次放疗后的剂量学评估指标进行预测。如图12所示,先构建一个放疗患者数据库,其中除了包含前文所述数据外,还需包含放疗患者年龄,性别,身高,体重,癌种,分期,靶区具体部位,放疗处方(总剂量及分次)等数据(以及其他不限于此的临床相关数据)。在临床放疗中,针对每个放疗患者,匹配数据库中最接近的历史放疗患者数据,并根据每个新放疗患者前几次放疗后的计划剂量学评估指标,对数据库中的历史放疗患者数据进行拟合调整,从而能够更加精准预测新患者在后续每次放疗后的剂量学评估指标。将初版时间序列预测网络与基于图谱的预测算法相结合,从而构成一个完整的时间序列预测模型。
该基于时间序列预测模型的智能离线自适应放疗技术是本领域内全新的离线自适应放疗方案,它主要有以下优点:
(1)全流程输入采用放疗患者的实际影像和剂量数据,例如CBCT、EPID采集的剂量数据。其中对于患者实际影像的处理仅为提升CBCT影像质量,除此之外不对患者的实际影像和剂量做任何方式的转化,最大程度上避免了常规离线自适应放疗流程中出现的误差。
(2)步骤S2、S3、S5都是通过开发的算法模型进行智能化、自动化地实施,只需要人为对最后的结果进行评估,极大减轻了常规离线自适应方案流程繁琐、耗时耗力的缺点。
(3)同质化效果好,临床易推广。绝大部分医用直线加速器会采集前五次的CBCT图像,通过步骤S5中开发的时间序列预测模型,就能够基于少量的CBCT数据预测未来需要执行离线自适应放疗的时间节点,对于CBCT数据量和科室软硬件配置的要求较低,能够同质化地在绝大部分放疗科室和医用直线加速器上应用。
应当注意的是,本发明的实施例有较佳的实施性,且并非对本发明作任何形式的限制,任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例,但凡未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰,均仍属于本发明技术方案的范围内。
Claims (10)
1.基于时间序列预测模型的智能离线自适应放疗方法,其特征在于,包括以下步骤:
步骤S1,收集放疗患者的CBCT,EPID投射影像数据,放疗计划,定位CT,定位CT上肿瘤靶区和周围正常组织器官的勾画数据;
步骤S2,利用第一神经网络算法,对CBCT进行影像质量提升,并且在影像质量提升后的CBCT上完成肿瘤靶区和周围正常组织器官的勾画;
步骤S3,利用第二神经网络算法,以影像质量提升后的CBCT、CBCT上的肿瘤靶区和周围正常组织器官的勾画、EPID投射影像数据作为输入,在CBCT上精确计算临床所需的放疗计划剂量学评估指标;
步骤S4,根据计算出的放疗计划剂量学评估指标判断是否需要调整放疗计划,如果需要,则设计全新计划或调整计划,新放疗计划经过验证后再实施;
步骤S5,设计针对于放疗计划剂量学评估指标的时间序列预测模型,使用经过步骤S1至S4过程的放疗患者数据对模型进行训练,预测放疗患者需要执行离线自适应放疗的时间节点。
2.根据权利要求1所述的基于时间序列预测模型的智能离线自适应放疗方法,其特征在于,步骤S2中,对CBCT进行影像质量提升,以及在影像质量提升后的CBCT上完成肿瘤靶区和周围正常组织器官的勾画,这两者可由同一神经网络算法进行多任务输出。
3.根据权利要求1或2所述的基于时间序列预测模型的智能离线自适应放疗方法,其特征在于,步骤S2中用于在影像质量提升后的CBCT上完成肿瘤靶区和周围正常组织器官的勾画的算法为精确形变配准和/或自动勾画的算法。
4.根据权利要求1所述的基于时间序列预测模型的智能离线自适应放疗方法,其特征在于,所述步骤S4为人工完成。
5.根据权利要求1所述的基于时间序列预测模型的智能离线自适应放疗方法,其特征在于,所述步骤S5中的输入数据包括放疗患者的EPID,放疗计划,CBCT,定位CT,定位CT勾画数据,放疗计划剂量学评估指标。
6.基于时间序列预测模型的智能离线自适应放疗系统,其特征在于,包括输入模块,第一神经网络模块,第二神经网络模块,调整模块,预测模型模块,其中:
输入模块,用于收集放疗患者的CBCT,EPID投射影像数据,放疗计划,定位CT,定位CT上肿瘤靶区和周围正常组织器官的勾画数据;
第一神经网络模块,利用第一神经网络算法,对CBCT进行影像质量提升,并且在影像质量提升后的CBCT上完成肿瘤靶区和周围正常组织器官的勾画;
第二神经网络模块,利用第二神经网络算法,以影像质量提升后的CBCT、CBCT上的肿瘤靶区和周围正常组织器官的勾画、EPID投射影像数据作为输入,在CBCT上精确计算临床所需的放疗计划剂量学评估指标;
调整模块,根据计算出的放疗计划剂量学评估指标判断是否需要调整放疗计划,如果需要,则设计全新计划或调整计划,新放疗计划经过验证后再实施;
预测模型模块,利用第三神经网络算法,设计针对于放疗计划剂量学评估指标的时间序列预测模型,使用经过步骤S1至S4过程的放疗患者数据对模型进行训练,预测放疗患者需要执行离线自适应放疗的时间节点。
7.根据权利要求6所述的基于时间序列预测模型的智能离线自适应放疗系统,其特征在于,所述第一神经网络模块中,对CBCT进行影像质量提升,以及在影像质量提升后的CBCT上完成肿瘤靶区和周围正常组织器官的勾画,这两者可由同一神经网络算法进行多任务输出。
8.根据权利要求6或7所述的基于时间序列预测模型的智能离线自适应放疗系统,其特征在于,所述第一神经网络模块中,步骤S2中用于在影像质量提升后的CBCT上完成肿瘤靶区和周围正常组织器官的勾画的算法为精确形变配准和/或自动勾画的算法。
9.根据权利要求6所述的基于时间序列预测模型的智能离线自适应放疗系统,其特征在于,所述调整模块中调整并验证计划为人工完成。
10.根据权利要求6所述的基于时间序列预测模型的智能离线自适应放疗系统,其特征在于,预测模型模块中输入数据包括EPID,放疗计划,CBCT,定位CT,定位CT勾画数据,放疗计划剂量学评估指标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311024226.0A CN117282040A (zh) | 2023-08-15 | 2023-08-15 | 基于时间序列预测模型的智能离线自适应放疗方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311024226.0A CN117282040A (zh) | 2023-08-15 | 2023-08-15 | 基于时间序列预测模型的智能离线自适应放疗方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117282040A true CN117282040A (zh) | 2023-12-26 |
Family
ID=89247033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311024226.0A Pending CN117282040A (zh) | 2023-08-15 | 2023-08-15 | 基于时间序列预测模型的智能离线自适应放疗方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117282040A (zh) |
-
2023
- 2023-08-15 CN CN202311024226.0A patent/CN117282040A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11944463B2 (en) | Pseudo-CT generation from MR data using a feature regression model | |
AU2016339009B2 (en) | Pseudo-CT generation from MR data using tissue parameter estimation | |
US11896847B2 (en) | Adversarial prediction of radiotherapy treatment plans | |
US11517768B2 (en) | Systems and methods for determining radiation therapy machine parameter settings | |
CN110211664B (zh) | 一种基于机器学习自动设计放射治疗方案的系统 | |
CN108815721B (zh) | 一种照射剂量确定方法及系统 | |
CN114681813B (zh) | 放射治疗自动计划系统、自动计划方法及存储介质 | |
US20220305291A1 (en) | Predicting radiotherapy control points using projection images | |
CN108364678B (zh) | 一种基于机器学习的鼻咽癌放疗计划自动化设计方法 | |
CN110706779B (zh) | 一种放射治疗计划精确目标函数的自动生成方法 | |
CN115666717A (zh) | 用于导出和利用虚拟体积结构来预测在实施治疗的放射时的潜在碰撞的方法和装置 | |
CN117282040A (zh) | 基于时间序列预测模型的智能离线自适应放疗方法和系统 | |
Huang et al. | Automated Radiation Therapy Treatment Planning Using Meta-Optimization | |
Young | Development, Validation and Applications of MRI-Only Treatment Planning in Radiotherapy | |
Chan et al. | Minimum imaging dose for deep learning-based pelvic synthetic computed tomography generation from cone beam images | |
Lee et al. | Evaluation of Deformable Image Registration Algorithms in Computed Tomography of Head and Neck Cancer: Preliminary Study | |
CN104866928B (zh) | 用于自适应放射治疗的优化方法及系统 | |
ALBERTINI et al. | Global respiratory motion model based on 4D CT and 2D cine-MRI | |
Frantzen-Steneker | S12 3rd ESTRO Forum 2015 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |