CN116261743A - 用于生成放射治疗计划的系统和方法 - Google Patents
用于生成放射治疗计划的系统和方法 Download PDFInfo
- Publication number
- CN116261743A CN116261743A CN202080105608.4A CN202080105608A CN116261743A CN 116261743 A CN116261743 A CN 116261743A CN 202080105608 A CN202080105608 A CN 202080105608A CN 116261743 A CN116261743 A CN 116261743A
- Authority
- CN
- China
- Prior art keywords
- boundary
- sample
- initial
- segmentation model
- objective function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011282 treatment Methods 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 106
- 230000005855 radiation Effects 0.000 title claims abstract description 67
- 230000011218 segmentation Effects 0.000 claims abstract description 216
- 238000003709 image segmentation Methods 0.000 claims abstract description 198
- 238000001959 radiotherapy Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims description 111
- 238000012549 training Methods 0.000 claims description 98
- 238000004891 communication Methods 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 14
- 239000003607 modifier Substances 0.000 claims description 4
- 230000006870 function Effects 0.000 description 114
- 230000008569 process Effects 0.000 description 36
- 230000004048 modification Effects 0.000 description 26
- 238000012986 modification Methods 0.000 description 26
- 238000003384 imaging method Methods 0.000 description 22
- 206010028980 Neoplasm Diseases 0.000 description 19
- 210000001519 tissue Anatomy 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 238000002591 computed tomography Methods 0.000 description 9
- 238000002595 magnetic resonance imaging Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 6
- 230000003902 lesion Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 201000011510 cancer Diseases 0.000 description 5
- 210000004072 lung Anatomy 0.000 description 5
- 238000002560 therapeutic procedure Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000002786 image-guided radiation therapy Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 239000000835 fiber Substances 0.000 description 3
- 210000004185 liver Anatomy 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000002600 positron emission tomography Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 238000002726 Auger therapy Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000002725 brachytherapy Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000007408 cone-beam computed tomography Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003211 malignant effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000000920 organ at risk Anatomy 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 238000002729 3-dimensional conformal radiation therapy Methods 0.000 description 1
- 241000579895 Chlorostilbon Species 0.000 description 1
- GUTLYIVDDKVIGB-OUBTZVSYSA-N Cobalt-60 Chemical compound [60Co] GUTLYIVDDKVIGB-OUBTZVSYSA-N 0.000 description 1
- 241001481828 Glyptocephalus cynoglossus Species 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000010976 emerald Substances 0.000 description 1
- 229910052876 emerald Inorganic materials 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011347 external beam therapy Methods 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 150000002500 ions Chemical class 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000002727 particle therapy Methods 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000011517 stereotactic body radiotherapy Methods 0.000 description 1
- 238000002719 stereotactic radiosurgery Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20096—Interactive definition of curve of interest
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Radiation-Therapy Devices (AREA)
Abstract
一种用于治疗计划的方法可以包括获取对象的医学图像,所述对象包括针对放射治疗的ROI。所述方法还包括获取已基于目标函数进行训练的图像分割模型,所述目标函数与所述图像分割模型的输出的错误边信息有关。所述方法还包括基于所述医学图像,通过执行所述图像分割模型生成分割结果,所述分割结果包括所述医学图像中与所述对象的所述ROI对应的目标区域的边界。所述方法还包括根据所述分割结果,计划针对所述对象的所述ROI的放射治疗。
Description
技术领域
本申请一般涉及用于放射治疗的系统和方法,更具体地,涉及一种用于生成放射治疗计划的系统和方法(也分别称为治疗计划系统和治疗计划方法)。
背景技术
放射疗法广泛用于癌症治疗和其他治疗。通常,针对癌症患者的放射治疗计划(也称为治疗计划)是在治疗开始之前生成的。为了对肿瘤组织获得满意的治疗效果,同时减少对健康组织的损伤,需要获得能够区分肿瘤和健康组织的图像。
发明内容
根据本说明书的一个方面,可以提供一种治疗计划系统。所述系统可以包括一个或多个存储设备和一个或多个处理器,所述一个或多个处理器用于与所述一个或多个存储设备通信。所述一个或多个存储设备可以存储可执行指令。当所述一个或多个处理器执行所述可执行指令时,使系统执行以下操作中的一个或多个。所述系统可以获取对象的医学图像。所述对象可以包括放射治疗针对的感兴趣区域(ROI)。所述系统还可以获取已基于目标函数进行训练的图像分割模型。所述目标函数可以与所述图像分割模型的输出的错误边信息有关。所述系统还可以基于医学图像,通过执行图像分割模型生成分割结果。所述分割结果可以包括所述医学图像中与所述对象的所述ROI对应的目标区域的边界。所述系统还可以根据所述分割结果,计划针对所述对象的所述ROI的放射治疗。
在一些实施例中,为了生成所述图像分割模型,所述系统可以获取初始图像分割模型和多个训练数据集。所述多个训练数据集中的每个训练数据集可以包括样本医学图像和所述样本医学图像的样本分割结果。所述样本分割结果可以包括样本医学图像中样本目标区域的样本边界。所述系统还可以基于多个训练数据集,训练所述初始图像分割模型,以生成所述图像分割模型。
在一些实施例中,为了基于所述多个训练数据集,训练所述初始图像分割模型,以生成所述图像分割模型,所述系统可以执行以下操作中的一个或多个。对于所述多个训练数据集中的每个训练数据集,所述系统可以基于所述样本医学图像执行所述初始图像分割模型以生成初始分割结果。所述初始分割结果可以包括所述样本目标区域的初始边界。所述系统还可以基于所述样本边界和所述初始边界,确定所述目标函数的值。所述系统还可以通过最小化所述目标函数更新所述初始图像分割模型,以生成所述图像分割模型。
在一些实施例中,为了基于所述样本边界和所述初始边界,确定所述目标函数的值,所述系统可以从初始边界的多条边中确定一条或多条错误边。所述系统可以基于所述一条或多条错误边和所述样本边界确定目标函数的值。
在一些实施例中,为了从初始边界的多条边中确定一条或多条错误边,所述系统可以从所述初始边界上的多个初始边界点确定一个或多个错误点。所述系统可以从初始边界上的多条边中确定所述一条或多条错误边。所述一条或多条错误边中的每条错误边可以穿过所述一个或多个错误点中的至少一个错误点。
在一些实施例中,为了从初始边界上的多个初始边界点中确定一个或多个错误点,所述系统可以执行以下操作中的一个或多个。对于所述初始边界上的所述初始边界点中的每个初始边界点,所述系统可以确定所述初始边界点到所述样本边界的距离是否超过距离阈值。响应于所述初始边界点到所述样本边界的所述距离超过所述距离阈值,所述系统可以确定所述初始边界点为错误点。
在一些实施例中,所述距离阈值可以是一个像素。
在一些实施例中,为了从所述初始边界的多条边中确定一条或多条错误边,所述系统可以执行以下操作中的一个或多个。对于所述初始边界的所述多条边中的每一条边,所述系统可以确定由所述边和所述样本边界的角度是否超过角度阈值。响应于确定所述角度超过所述角度阈值,所述系统可以确定所述边是所述一条或多条错误边中的一条错误边。
在一些实施例中,所述目标函数的值可以基于由所述样本边界和所述初始边界所界定的区域的面积确定。
在一些实施例中,对于所述多个训练数据集中的每个训练数据集,所述样本目标区域可以包括至少一个子样本目标区域。所述样本边界可以包括所述至少一个子样本目标区域中的每个子样本目标区域的子样本边界。所述初始边界可以包括至少一条子初始边界。所述目标函数的值可以基于所述至少一条子样本边界的计数与所述至少一条子初始边界的计数之间的差确定。
在一些实施例中,所述至少一个处理器可以使所述系统执行以下操作中的一个或多个。所述系统可以获取判别模型,并接收来自用户的输入,以将所述目标区域的所述边界更改为目标边界。所述系统还可以基于所述目标区域的所述边界与所述目标边界之间的差异,更新所述判别模型。所述系统可以基于更新后的判别模型,更新所述图像分割模型。
在一些实施例中,所述目标函数与将所述图像分割模型的输出的边界修改为样本边界的修改量有关。
根据本说明书的另一方面,可以提供一种治疗计划的系统。所述系统可以包括一个或多个存储设备和一个或多个处理器,所述一个或多个处理器用于与所述一个或多个存储设备通信。所述一个或多个存储设备可以存储可执行指令。当所述一个或多个处理器执行所述可执行指令时,可以指示所述一个或多个处理器使系统执行以下操作中的一个或多个。所述系统可以获取对象的医学图像。所述对象包括放射治疗针对的感兴趣区域(ROI)。所述系统可以获取已基于目标函数进行训练的图像分割模型。所述目标函数可以与所述图像分割模型的输出的边界信息有关。所述系统可以基于所述医学图像,通过执行所述图像分割模型生成分割结果。所述分割结果可以包括所述医学图像中与所述对象的所述ROI对应的目标区域的边界。所述系统可以根据所述分割结果,计划针对所述对象的所述ROI的放射治疗。
在一些实施例中,为了基于所述多个训练数据集,训练所述初始图像分割模型,以生成所述图像分割模型,所述系统可以执行以下操作中的一个或多个。对于所述多个训练数据集中的每个训练数据集,所述系统可以基于所述样本医学图像执行所述初始图像分割模型,生成初始分割结果。所述初始分割结果可以包括所述样本目标区域的初始边界。所述系统还可以基于所述样本边界和所述初始边界,确定所述目标函数。所述系统还可以通过最小化所述目标函数更新所述初始图像分割模型,以生成所述图像分割模型。
在一些实施例中,所述目标函数可以与从所述初始边界上的初始边界点到所述样本边界的距离有关。
在一些实施例中,所述目标函数可以与从所述初始边界上的所述初始边界点到所述样本边界的所述距离的平均值、最小值或最大值有关。
在一些实施例中,所述目标函数可以与所述初始边界点中的一个或多个错误点有关。为了确定所述一个或多个错误点,所述系统可以执行以下操作中的一个或多个。对于所述初始边界上的所述初始边界点中的每个初始边界点,所述系统可以确定所述初始边界点到所述样本边界的距离是否超过距离阈值。响应于所述初始边界点到所述样本边界的所述距离超过距离阈值,所述系统可以确定所述初始边界点为错误点。
在一些实施例中,为了基于所述样本边界和所述初始边界确定所述目标函数,所述系统可以从所述初始边界上的多条边中确定一条或多条错误边。所述一条或多条错误边中的每条错误边穿过所述一个或多个错误点中的至少一个错误点。所述系统还可以基于所述一条或多条错误边的长度和样本边界的长度,确定所述目标函数的值。
根据本说明书的另一方面,可以提供一种治疗计划的方法。所述方法可以包括获取对象的医学图像。所述对象包括放射治疗针对的感兴趣区域(ROI)。所述方法可以包括获取已基于目标函数进行训练的图像分割模型。所述目标函数可以与所述图像分割模型的输出的错误边信息有关。所述方法还可以包括基于所述医学图像,通过执行所述图像分割模型生成分割结果,所述分割结果可以包括所述医学图像中与所述对象的所述ROI对应的目标区域的边。所述方法还可以包括根据所述分割结果计划针对所述目标对象的所述ROI的放射治疗。
根据本说明书的又一方面,可以提供一种治疗计划系统。所述系统可以包括获取模块,被配置成用于获取对象的医学图像和获取已基于目标函数进行训练的图像分割模型。所述对象可以包括放射治疗针对的感兴趣区域(ROI),所述目标函数与所述图像分割模型的输出的错误边信息有关。所述系统可以包括处理模块,被配置成用于基于所述医学图像,通过执行所述图像分割模型生成分割结果。所述分割结果包括所述医学图像中与所述对象的所述ROI对应的目标区域的边界。所述系统还可以包括计划确定模块,被配置成用于根据所述分割结果计划针对所述对象的所述ROI的放射治疗。
根据本说明书的又一方面,可以提供一种非暂时性计算机可读介质。所述非暂时性计算机可读可以包括至少一组用于治疗计划的指令。当计算设备的一个或多个处理器执行所述指令时,使所述计算设备执行一种方法。所述方法可以包括获取对象的医学图像,所述对象包括放射治疗针对的ROI。所述方法可以包括获取已基于目标函数进行训练的图像分割模型,所述目标函数与所述图像分割模型的输出的错误边信息有关。所述方法还可以包括基于所述医学图像,通过执行所述图像分割模型生成分割结果。所述分割结果可以包括所述医学图像中与所述对象的所述ROI对应的目标区域的边界。所述方法还可以包括根据所述分割结果计划针对所述对象的所述ROI的放射治疗。
根据本说明书的另一方面,可以提供一种治疗计划的方法。所述方法可以包括获取对象的医学图像,所述对象包括放射治疗针对的感兴趣区域(ROI)。所述方法可以包括获取已基于目标函数进行训练的图像分割模型。所述目标函数可以与所述图像分割模型的输出的错误边信息有关。所述方法还可以包括基于所述医学图像,通过执行所述图像分割模型生成分割结果。所述分割结果包括所述医学图像中与所述对象的所述ROI对应的目标区域的边界。所述方法还可以根据所述分割结果计划针对所述对象的所述ROI的放射治疗。
根据本说明书的又一方面,可以提供一种治疗计划的系统。所述系统可以包括获取模块,被配置成用于获取对象的医学图像以及获取已基于目标函数进行训练的图像分割模型。所述对象包括放射治疗针对的感兴趣区域(ROI)。所述目标函数可以与所述图像分割模型的输出的错误边信息有关。所述系统处理模块,被配置成用于基于所述医学图像,通过执行所述图像分割模型生成分割结果。所述分割结果可以包括所述医学图像中与所述对象的所述ROI对应的目标区域的边界。所述系统还可以包括计划确定模块,被配置成用于根据所述分割结果计划针对所述对象的所述ROI的放射治疗。
根据本说明书的又一方面,可以提供一种非暂时性计算机可读介质。所述非暂时性计算机可读介质可以包括至少一组用于治疗计划的指令。当计算设备的一个或多个处理器执行所述指令时,可以使计算设备执行一种方法。所述方法可以包括获取对象的医学图像,所述对象包括放射治疗针对的感兴趣区域(ROI)。所述方法可以包括获取已基于目标函数进行训练的图像分割模型。所述目标函数可以与所述图像分割模型的输出的错误边信息有关。所述方法还可以包括基于所述医学图像,通过执行所述图像分割模型生成分割结果。所述分割结果包括所述医学图像中目标区域与所述对象的所述ROI对应的目标区域的边界。所述方法还可以包括根据所述分割结果计划针对所述对象的所述ROI的放射治疗。
附加的特征将部分地在下面的描述中阐述,并且部分地对于本领域技术人员在检查以下和附图时将变得显而易见,或者可以通过实施例的生成或操作而获知。本说明书的特征可以通过实践或使用以下讨论的详细示例中阐述的方法、手段和组合的各个方面来实现和获得。
附图说明
根据示例性实施例进一步描述了本说明书。参考附图详细描述了这些示例性实施例。附图未按比例绘制。这些实施例是非限制性示例性实施例,其中相同的附图标记表示贯穿附图的若干视图的相似结构,其中:
图1是根据本说明书一些实施例所示的示例性放射治疗系统的示意图;
图2是根据本说明书一些实施例所示的示例性计算设备的硬件和/或软件组件的示意图;
图3是根据本说明书一些实施例所示的示例性移动设备的硬件和/或软件组件的示意图;
图4是根据本说明书一些实施例所示的示例性处理设备的框图;
图5是根据本说明书一些实施例所示的用于确定目标放射治疗计划的示例性过程的流程图;
图6是根据本说明书一些实施例所示的用于训练图像分割模型的示例性过程的流程图;
图7是根据本说明书一些实施例所示的用于确定目标函数的示例性过程的流程图;
图8A和图8B是示例性样本分割结果和初始分割结果的示意图;
图9是示例性分割结果的示意图;
图10A和图10B是示例性分割结果的示意图;
图11是训练图像分割模型的示例性过程的示意图。
具体实施方式
呈现以下描述以使本领域的任何技术人员能够制作和使用本说明书并且在特定应用及其要求的上下文中提供。对于本领域的技术人员来说,对所公开的实施例的各种修改是显而易见的,并且在不背离本说明书的精神和范围的情况下,本说明书定义的一般原理可以应用于其他实施例和应用。因此,本说明书不限于所示的实施例,而是要符合与权利要求一致的最宽范围。
本说明书中使用的术语仅出于描述特定示例实施例的目的,并不旨在进行限制。如本说明书所用,单数形式“一”、“一个”和“该”也可以旨在包括复数形式,除非上下文另有明确反应。进一步理解,当在本说明书中使用时,术语“包含”、“包括”指定了所述特征,整数、步骤、操作、元素和/或组件的存在,但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或它们的组和的存在或添加。
应当理解,本说明书使用的术语“系统”、“模块”和/或“块”是一种以升序区分不同级别的不同组成、元件、部分、部或组件的方法。但是,如果这些术语达到相同的目的,则可以用另一种表达方式代替。
通常,本说明书使用的词语“模块”、“单元”或“块”指的是体现在硬件或固件中的逻辑,或者指的是软件指令的集合。本说明书描述的模块、单元或块可以被实现为软件和/或硬件,并且可以存储在任何类型的非暂时性计算机可读介质或其他存储设备中。在一些实施例中,软件模块/单元/块可以被编译并链接到可执行程序中。应当理解,软件模块可以从其他模块/单元/块或其自身调用,和/或可以响应于检测到的事件或中断而被调用。可以在计算机可读介质上提供被配置用于在计算设备(例如,如图2所示的处理器210)上执行的软件模块/单元/块,例如压缩盘、数字视频盘、闪存驱动器、磁盘或任何其他有形介质,或作为数字下载(并且最初可以以压缩或可安装格式存储,在执行之前需要安装、解压缩或解密)。这样的软件代码可以部分或全部存储在执行计算设备的存储设备上,以供计算设备执行。软件指令可以嵌入在固件中,例如可擦除可编程只读存储器(EPROM)。进一步理解,硬件模块/单元/块可以包括在连接的逻辑组件中,例如门和触发器,和/或可以包括在可编程单元中,例如可编程门阵列或处理器。本说明书描述的模块/单元/块或计算设备功能可以实现为软件模块/单元/块,但可以用硬件或固件来表示。一般来说,这里描述的模块/单元/块是指可以与其他模块/单元/块组合或分成子模块/子单元/子块的逻辑模块/单元/块,尽管它们的物理组织或存储。该描述可适用于系统、引擎或其一部分。
应当理解的是,当一个单元、引擎、模块或块被称为在另一个单元、引擎、模块或块的“上面”、“连接到”或“耦合到”另一个单元、引擎、模块或块时,除非上下文另有明确反应它可以直接在、连接或耦合到或与其他单元、引擎、模块或块通信,或者可以存在中间单元、引擎、模块或块。如本说明书所用,术语“和/或”包括一个或多个相关列出的术语的任何和所有组合。
本说明书的这些和其他特征和特性,以及相关结构元件的操作方法和功能以及部件的组合和制造的经济性,在参考附图考虑以下描述后,可以变得更加清楚,所有这些都形成了本说明书的一部分。然而,应明确理解,附图仅用于说明和描述的目的,并不旨在限制本说明书的范围。应当理解,附图不是按比例绘制的。
本说明书提供了用于医学成像和/或医学治疗的系统和组件。在一些实施例中,医疗系统可以包括成像系统。成像系统可以包括单模态成像系统和/或多模态成像系统。单模态成像系统可以包括,例如,磁共振成像(MRI)系统、X射线系统、计算机断层扫描(CT)系统、正电子发射计算机断层扫描(PET)系统、超声系统等,或他们的任何组合。多模态成像系统可以包括,例如,计算机断层扫描-磁共振成像(CT-MRI)系统、正电子发射断层扫描-磁共振成像(PET-MRI)系统、单光子发射计算机断层扫描-磁共振成像(SPECT-MRI)系统、数字减影血管造影-磁共振成像(DSA-MRI)系统、正电子发射断层扫描-计算机断层扫描(PET-CT)等。在一些实施例中,医疗系统可以包括治疗系统。治疗系统可以包括治疗计划系统(TPS)、图像引导放射治疗(IGRT)等。图像引导放射治疗(IGRT)可以包括治疗设备和成像设备。治疗设备可以包括直线加速器、回旋加速器、同步加速器等,用于对对象进行放射治疗。治疗设备可以包括粒子种类的加速器,包括例如光子、电子、质子或重离子。成像设备可以包括MRI扫描仪、CT扫描仪(例如,锥形束计算机断层扫描(CBCT)扫描仪)、数字放射学(DR)扫描仪、电子射野成像设备(EPID)等。
为简洁起见,对应于对象(例如,受试者(例如,患者等)的组织、器官、肿瘤等)的图像或其一部分(例如,图像中的ROI)可以称为包括对象、或对象本身的图像或其一部分(例如,ROI)。例如,对应于肿瘤图像的ROI可以描述为该ROI包括肿瘤。又例如,可以称肝脏的或包括肝脏的图像为肝脏图像,或简称为肝脏。另外,除非上下文明确说明该图像分割模型是初始分割模型、更新后的分割模型或训练过程中的模型,本说明书中描述的图像分割模型可以指训练好的分割模型。为了简洁起见,本说明书中的方程和方程中的变量(例如,距离、面积、长度、角度)以符合二维(2-D)空间的形式提供。然而,这样的方程或变量也可以转换成符合三维(3-D)空间的形式。例如,由两条曲线界定的2-D区域可以转换为由两个曲面界定的3-D体积。这些变化均在本申请的保护范围之内。
为了在具有病灶(例如,肿瘤)的组织上获得满意的治疗结果并减少对健康组织的损害,需要在图像中区分病灶和健康组织在显影和/或执行放射治疗计划。例如,医生可以通过,例如在医学图像上标记肿瘤的位置和/或边界、健康组织的位置或边界等,将癌症患者的预扫描医学图像手动分割成若干区域。然后可以根据分割结果确定放射治疗计划。然而,这样的分割过程既不方便又耗时。这也很大程度上取决于医生的技能和经验。
最近开发了自动分割技术。这些技术包括生成粗略的分割结果。粗略的分割结果可以由用户修改,例如,医生,根据用户的经验提供期望的分割结果。然而,这些自动分割技术在分割结果中通常会忽略病灶与健康组织之间的边界,导致放射治疗的疗效不理想。虽然可以识别粗略分割结果中病灶的位置,但是分割结果中病灶的边界可能是错误的或不准确的。结果,用户可能不得不花费很长时间来修改分割结果以便将分割结果用于放射治疗计划中。
因此,期望提供需要减少医生的后续修改量的用于自动分割对象的医学图像的系统和方法。
本说明书提供了用于自动分割患者的图像并使用分割结果生成放射治疗计划的系统和方法。在本申请的一些实施例中,图像分割模型用于对图像进行分割。图像分割模型由多个训练数据集训练而成,每个训练数据集包括样本对象的样本医学图像和样本医学图像的样本分割结果。在图像分割模型训练的每次迭代中,确定目标函数的值并用于评估训练的进度。目标函数用于反映需要由用户对图像分割模型的输出执行的后续修改量。例如,目标函数与分割结果的边界信息(如错误边信息)有关。在训练后,训练后的图像分割模型生成的分割结果需要后续修改的量要少得多。然后可以基于由训练后的图像分割模型生成的分割结果生成放射治疗计划。
图1是根据本说明书一些实施例所示的示例性放射治疗系统100的示意图。如图1所示,放射治疗系统100可以包括放射设备110、网络120、一个或多个终端130、处理设备140和存储设备150。
放射治疗是使用电离放射的疗法,通常作为癌症治疗的一部分以控制或杀死恶性细胞(或肿瘤)。可以通过线性加速器(例如,图1中的放射治疗系统100中的放射设备110)来递送放射治疗。放射治疗可包括外射束治疗、近距离放射治疗、术中放射治疗、放射性同位素治疗、深吸气屏气(DIBH)等。外射束治疗可包括常规外射束治疗(2-DXRT)、立体定向放射治疗(例如,立体定向放射外科、立体定向身体放射治疗等)、虚拟模拟和三维适形放射治疗(3-DCRT)、调强放射治疗(IMRT)、容积调制弧治疗(VMAT)、粒子疗法、俄歇疗法(AT)等。
放射设备110可以向对象(例如,患者)发射放射线以执行控制或杀死恶性细胞的治疗。放射线可以包括α射线、β射线、γ射线、X射线、中子等。放射设备110可以包括医用直线加速器、Cobalt-60设备、伽玛刀、X刀、质子加速器、近距离治疗设备等,或他们的任何组合。在一些实施例中,在治疗(或治疗的一部分)之前,可以进行成像扫描以识别病变(例如,肿瘤)和受试者周围的正常解剖结构。因此,放射治疗系统100还可以包括,例如X射线设备、计算机断层摄影(CT)设备、正电子发射计算机断层摄影(PET)设备、磁共振(MRI)设备等成像设备(图1中未示出),或他们的任何组合,以执行此类成像扫描。例如,成像扫描可以是二维(2-D)X射线扫描。又例如,成像扫描可以是三维(3-D)CT扫描。因此,通过成像扫描生成的图像可以是2-D图像或3-D图像。需要说明的是,3-D图像可以是指3-D空间中的单个图像,也可以是指在垂直于2-D图像平面的维度上叠加的多层2-D图像。类似地,本说明书中的计算可指代2-D计算和/或3-D计算或2-D空间中的2-D图像的一系列计算,其可以共同用于确定3-D空间中的变量或参数。
在一些实施例中,可以对由成像扫描生成的图像进行分割,并且分割结果可以用于生成放射治疗计划。放射设备110可以基于放射治疗计划进行放射治疗。关于放射治疗计划的生成的描述可以在本说明书的别处找到,参见,例如,图5及其说明。在一些实施例中,经过训练的图像分割模型可以用于分割由成像扫描生成的图像。关于图像分割模型的训练的描述可以在本说明书的其他地方找到,例如,图6及其说明。在一些实施例中,在图像分割模型的训练期间可以使用目标函数作为关于图像分割模型训练的好坏(或训练的进度)的评价标准。目标函数可以用于反映医生对图像分割模型的输出的后续修改量。关于目标函数的确定的描述可以在本说明书的其他地方找到,例如,图7及其说明。
在本说明书中,“受试者”和“对象”可互换使用。仅作为示例,对象可以包括患者、人造对象等。作为另一个示例,对象可以包括患者的特定部位、器官和/或组织。例如,对象可以包括头部、大脑、颈部、身体、肩部、手臂、胸部、心脏、胃部、血管、软组织、膝盖、脚部等,或他们的任何组合。
为方便起见,结合放射治疗/治疗提供本说明书中用于自动分割对象的图像并使用分割结果生成治疗计划的方法和/或系统的描述。对于本领域的普通技术人员来说,可以在本说明书的教导下做出多种变化和修改。然而,这些变化和修改并不脱离本说明书的范围。例如,本说明书中的方法和/或系统可以应用于其他类型的治疗和/或医学成像技术。
为方便起见,结合2-D图像提供了对用于自动分割对象图像的方法和/或系统的描述。然而,本领域的普通技术人员可以在本说明书的教导下进行多种变化和修改以将方法和/或系统扩展到3-D图像。这些变化和修改都在本说明书的保护范围内。
网络120可以包括可以促进放射治疗系统100的信息和/或数据交换的任何合适的网络。在一些实施例中,放射治疗系统100的一个或多个组件(例如,放射设备110、终端130、处理设备140、存储设备150等)可以通过网络120与放射治疗系统100的一个或多个其他组件通信信息和/或数据。例如,处理设备140可以通过网络120从放射设备110获取与放射治疗计划相关的信息或与图像相关的信息。又例如,处理设备140可以通过网络120从终端130获取用户指令。在一些实施例中,处理设备140可以经由网络120从外部存储设备(例如,基于云的服务器)或存储设备150获取训练好的图像分割模型。在一些实施例中,处理设备140可以经由网络120从外部存储设备设备或存储设备150获取初始(未经训练的)图像分割模型。处理设备140可以训练初始图像分割模型并经由网络120将训练好的图像分割模型传输到存储设备150或放射设备110。
网络120可以是和/或包括公共网络(例如,因特网)、专用网络(例如,局域网(LAN)、广域网(WAN)等)、有线网络(例如,以太网网络)、无线网络(例如,802.11网络、Wi-Fi网络等)、蜂窝网络(例如,长期演进(LTE)网络)、帧中继网络、虚拟专用网络(“VPN”)、卫星网络、电话网络、路由器、集线器、女巫、服务器计算机和/或它们的任何组合。仅作为示例,网络120可以包括有线电视网络、有线网络、光纤网络、电信网络、内联网、无线局域网(WLAN)、城域网(MAN)、公共电话交换网络(PSTN)、BluetoothTM网络、ZigBeeTM网络、近场通信(NFC)网络等或他们的任何组合。在一些实施例中,网络120可以包括一个或多个网络接入点。例如,网络120可以包括有线和/或无线网络接入点,例如基站和/或互联网交换点,放射治疗系统100的一个或多个组件可以通过它们连接到网络120以交换数据和/或信息。
(多个)终端130可以包括移动设备131、平板计算机132、膝上型计算机133等,或他们的任何组合。在一些实施例中,移动设备131可以包括智能家居设备、可穿戴设备、移动设备、虚拟现实设备、增强现实设备等,或他们的任何组合。在一些实施例中,智能家居设备可以包括智能照明设备、智能电器的控制设备、智能监控设备、智能电视、智能摄像机、对讲机等,或他们的任何组合。在一些实施例中,可穿戴设备可以包括手镯、鞋袜、眼镜、头盔、手表、衣服、背包、智能配件等,或他们的任何组合。在一些实施例中,移动设备可以包括移动电话、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)设备、膝上型计算机、平板计算机、台式计算机等,或他们的任何组合。在一些实施例中,虚拟现实设备和/或增强现实设备可以包括虚拟现实头盔、虚拟现实眼镜、虚拟现实贴片、增强现实头盔、增强现实眼镜、增强现实贴片等,或它们的任何组合。例如,虚拟现实设备和/或增强现实设备可以包括GoogleGlassTM、OculusRiftTM、HololensTM、GearVRTM等。在一些实施例中,(多个)终端130可以是一部分处理设备140。
处理设备140可以处理从放射设备110、终端130和/或存储设备150获取的数据和/或信息。例如,处理设备140可以生成和/或更新放射治疗计划。又例如,处理设备140可以训练初始图像分割模型。在一些实施例中,处理设备140可以是单个服务器或服务器组。服务器组可以是集中式的,也可以是分布式的。在一些实施例中,处理设备140可以是本地的或远程的。例如,处理设备140可以通过网络120访问存储在放射设备110、终端130和/或存储设备150中的信息和/或数据。又例如,处理设备140可以直接连接到放射设备110、终端130和/或存储设备150。在一些实施例中,处理设备140可以在云平台上实现。仅作为示例,云平台可以包括私有云、公共云、混合云、社区云、分布式云、跨云、多云等,或他们的任何组合。在一些实施例中,处理设备140可以由具有如图2所示的一个或多个组件的计算设备200实现。
存储设备150可以存储数据、指令和/或任何其他信息。在一些实施例中,存储设备150可以存储从放射设备110、终端130和/或处理设备140获取的数据。存储设备150可以存储数据和/或指令,处理设备140可以执行或使用这些数据和/或指令来执行本说明书中描述的示例性方法。在一些实施例中,存储设备150可以存储初始图像分割模型和/或训练好的图像分割模型。在一些实施例中,存储设备150可以存储放射治疗计划。在一些实施例中,存储设备150可以包括大容量存储设备、可移动存储设备、易失性读写存储器、只读存储器(ROM)等,或他们的任何组合。示例性大容量存储设备可以包括磁盘、光盘、固态驱动器等。示例性可移动存储设备可以包括闪存驱动器、软盘、光盘、存储卡、压缩盘、磁带等。示例性易失性读写存储器可以包括随机存取存储器(RAM)。示例性RAM可以包括动态RAM(DRAM)、双倍数据速率同步动态RAM(DDRSDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容RAM(Z-RAM)等。示例性ROM可以包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)和数字多功能磁盘ROM等。在一些实施例中,存储设备150可以在云平台上实现。仅作为示例,云平台可以包括私有云、公共云、混合云、社区云、分布式云、跨云、多云等,或他们的任何组合。
在一些实施例中,存储设备150可以连接到网络120以与放射治疗系统100中的一个或多个其他组件(例如,处理设备140、终端130等)通信。放射治疗系统100中的一个或多个组件可以通过网络120访问存储在存储设备150中的数据或指令。在一些实施例中,存储设备150可以直接连接到放射治疗系统100中的一个或多个其他组件(例如,处理设备140、终端130等)或与之通信。在一些实施例中,存储设备150可以是处理设备140的一部分。在一些实施例中,处理设备140可以经由网络120或者在处理设备140的后端连接到放射设备110或与之通信。
图2是根据本说明书一些实施例所示的可以在其上实现处理设备140的示例性计算设备200的示例性硬件和/或软件组件的示意图。如图2所示,计算设备200可以包括处理器210、存储器220、输入/输出(I/O)230和通信端口240。
处理器210可以执行计算机指令(例如,程序代码)并根据说明书描述的技术执行处理设备140的功能。计算机指令可以包括,例如,执行这里描述的特定功能的例程、程序、对象、组件、数据结构、过程、模块和功能。例如,处理器210可以处理从放射设备110、终端130、存储设备150和/或放射治疗系统100的任何其他部件获取的图像数据或训练数据集。在一些实施例中,处理器210可以对(多个)图像进行分割以生成分割结果。在一些实施例中,处理器210可以基于训练数据集训练图像分割模型。在一些实施例中,处理器210可以包括一个或多个硬件处理器,例如微控制器、微处理器、精简指令集计算机(RISC)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、中央处理器(CPU)、图形处理器(GPU)、物理处理器(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级RISC机器(ARM)、可编程逻辑设备(PLD)、能够执行一个或多个功能的任何电路或处理器等,或他们的任何组合。
仅仅为了说明,在计算设备200中仅描述了一个处理器。然而,应该注意的是,本说明书中的计算设备200还可以包括多个处理器,如本说明书中描述的由一个处理器执行的操作和/或方法步骤也可以由多个处理器联合或单独执行。例如,如果在本说明书中计算设备200的处理器同时执行步骤X和步骤Y,则应当理解,步骤X和步骤Y也可以由计算设备200中的两个或多个不同的处理器共同或单独执行(例如,第一处理器执行步骤X并且第二处理器执行步骤Y,或者第一处理器和第二处理器联合执行步骤X和Y)。
存储器220可以存储从放射设备110、终端130、存储设备150和/或放射治疗系统100的任何其他组件获取的数据/信息。在一些实施例中,存储器220可以包括大容量存储设备、可移动存储设备、易失性读写存储器、只读存储器(ROM)等,或他们的任何组合。例如,大容量存储设备可以包括磁盘、光盘、固态驱动器等。可移动存储器可以包括闪存驱动器、软盘、光盘、存储卡、zip盘、a磁带等。易失性读写存储器可以包括随机存取存储器(RAM)。RAM可以包括动态RAM(DRAM)、双倍数据率同步动态RAM(DDRSDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容RAM(Z-RAM)等。ROM可以包括掩模ROM(MROM)、可编程ROM(PROM)、可擦可编程ROM(EPROM)、电可擦可编程ROM(EEPROM)、光盘ROM(CD-ROM)和数字通用盘ROM等。在一些实施例中,存储器220可以存储一个或多个程序和/或指令以执行本说明书中描述的示例性方法。例如,存储器220可以存储用于处理设备140的用于训练图像分割模型和/或生成放射治疗计划的程序。
I/O230可以输入和/或输出信号、数据、信息等。在一些实施例中,I/O230可以实现用户与处理设备140的交互。在一些实施例中,I/O230可以包括输入设备和输出设备。输入设备的示例可以包括键盘、鼠标、触摸屏、麦克风等,或他们的组合。输出设备的示例可以包括显示设备、扬声器、打印机、投影仪等,或他们的组合。显示设备的示例可以包括液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、曲面屏幕、电视设备、阴极射线管(CRT)、触摸屏屏幕等,或他们的组合。
通信端口240可以连接到网络(例如,网络120)以促进数据通信。通信端口240可以建立处理设备140与放射设备110、终端130和/或存储设备150之间的连接。所述连接可以实现数据传输和/或接收,和/或这些连接的任何组合的有线连接、无线连接、任何其他通信连接。有线连接可包括,例如,电缆、光缆、电话线等,或他们的任何组合。无线连接可以包括,例如,蓝牙TM链接、Wi-FiTM链接、WiMaxTM链接、WLAN链接、ZigBee链接、移动网络链接(例如3G、4G、5G等)等,或它们的组合。在一些实施例中,通信端口240可以是和/或包括标准化通信端口,例如RS232、RS485等。在一些实施例中,通信端口240可以是专门设计的通信端口。例如,通信端口240可以根据医学数字成像和通信(DICOM)协议来设计。
图3是根据本说明书一些实施例所示的可以实现终端130的示例性移动设备300的硬件和/或软件组件的示意图。如图3所示,移动设备300可以包括通信平台310、显示器320、图形处理单元(GPU)330、中央处理单元(CPU)340、输入/输出(I/O)350、存储360和存储器390。在一些实施例中,任何其他合适的组件,包括但不限于系统总线或控制器(未示出),也可以包括在移动设备300中。在一些实施例中,移动操作系统370(例如,iOSTM、AndroidTM、WindowsPhoneTM等)和一个或多个应用程序380可以从存储器390加载到存储360中以便由CPU340执行。应用程序380可以包括浏览器或任何其他合适的移动应用程序用于从处理设备140接收和呈现与图像处理相关的信息或其他信息。用户与信息流的交互可以通过I/O350实现并通过网络120提供给处理设备140和/或放射治疗系统的其他组件100。
为了实现在本说明书中描述的各种模块、单元和它们的功能,计算机硬件平台可以用作这里描述的一个或多个元件的(多个)硬件平台。具有用户界面元素的计算机可以用于实现个人计算机(PC)或任何其他类型的工作站或终端设备。如果适当编程,计算机也可以充当服务器。
图4是根据本说明书一些实施例所示的示例性处理设备的框图。处理设备140可以包括获取模块410、模型训练模块420、处理模块430、确定模块440和计划确定模块450。
获取模块410可以用于从处理设备140内部或外部的其他模块或单元获取数据或信息。例如,获取模块410可以从放射设备中的成像设备或外部成像设备获取对象的医学图像110。又例如,获取模块410可以从存储设备(例如,存储设备150、外部存储设备)获取图像分割模型。图像分割模型可以是经过训练后的图像分割模型或未经训练的(或初始的)图像分割模型。在图像分割模型为没有经过训练的模型的情况下,获取模块410还可获取多个训练数据集,处理模块430和/或模型训练模块420可以基于训练数据训练图像分割模型组。
模型训练模块420可以用于训练初始模型以生成训练模型。例如,模型训练模块420可以基于样本医学图像,通过执行初始图像分割模型,生成初始分割结果。模型训练模块420可以根据初始分割结果和样本分割结果确定目标函数的值。模型训练模块420可以根据初始分割结果、样本分割结果和/或目标函数的值迭代地更新或训练初始图像分割模型,直到满足终止条件。当满足终止条件时,可以终止初始图像分割模型的训练,并可以生成训练好的图像分割模型。仅作为示例,终止条件可以包括目标函数的值小于阈值,目标函数在连续两次迭代中的值之间的差小于阈值,遍历所有训练数据集,达到阈值的迭代次数等。
处理模块430可以用于处理放射治疗系统100中的数据和/或信息。例如,处理模块430可以基于医学图像执行图像分割模型以生成分割结果。又例如,处理模块430可以确定从初始边界上的初始边界点到样本边界的距离。作为进一步的示例,处理模块430可以基于错误边的总长度和样本边界的长度来确定目标函数的值。作为又一示例,处理模块430可以从初始边界的多条边中确定一条或多条错误边,并基于(多个)错误边确定目标函数的值。
确定模块440可以用于进行确定。例如,确定模块440可以在图像分割模型的训练过程中确定是否满足终止条件。具体地,确定模块440可以将目标函数的值与阈值进行比较。又例如,确定模块440可以确定初始分割结果中的错误点。具体地,确定模块440可以确定初始边界点到样本边界的距离是否超过距离阈值。响应于确定初始边界点到样本边界的距离超过距离阈值,确定模块440可以确定初始边界点为错误点;否则,确定模块440可以确定初始边界点不是错误点。
计划确定模块450可以用于根据分割结果来计划放射治疗。具体地,计划确定模块450可以基于分割结果生成放射治疗计划,并且放射设备110可以根据放射治疗计划进行放射治疗。仅举例而言,对于分割结果中的不同区域,放射治疗计划可以包括相同或不同的方案、相同或不同的剂量、相同或不同的放射持续时间等。
处理设备140中的模块可以通过有线连接或无线连接彼此连接或通信。有线连接可以包括金属电缆、光缆、混合电缆等,或他们的任何组合。无线连接可以包括局域网(LAN)、广域网(WAN)、蓝牙、ZigBee、近场通信(NFC)等,或他们的任何组合。两个或更多个模块可以组合成单个模块,并且任何一个模块可以分成两个或更多个单元。例如,获取模块410可以分为两个单元。两个单元中的一个单元可以用于获取医学图像和训练的图像分割模型,两个单元中的另一个单元可以用于获取初始图像分割模型和训练数据集。
需要说明的是,以上的描述仅是为了说明,并不用于限定本说明书的范围。对于本领域的普通技术人员来说,可以在本说明书的教导下做出多种变化和修改。然而,这些变化和修改并不脱离本说明书的范围。例如,处理设备140还可以包括存储模块(图4中未示出)。存储模块可以用于存储在由处理设备140中的任何组件执行的任何过程期间生成的数据。作为另一个示例,处理设备140的每个组件可以包括存储设备。附加地或备选地,处理设备140的组件可以共享公共存储设备。在一些实施例中,模型训练模块420可以是处理设备140之外的模块。例如,模型训练模块420可以在处理设备140之外训练图像分割模型并通过网络(例如,网络120)将训练好的图像分割模型传输到处理设备140。
图5是根据本说明书一些实施例所示的用于确定目标放射治疗计划的示例性过程的流程图。在一些实施例中,过程500的至少一部分可以由处理设备140执行(在例如图2所示的计算设备200中实现)。例如,过程500可以以指令(例如,应用程序)的形式存储在存储设备(例如,存储设备150和/或存储器220)中,并由处理设备140(例如,图2所示的处理器210和/或图4所示的处理设备140中的一个或多个模块)调用和/或执行。下面给出的图示过程的操作旨在说明。在一些实施例中,过程500可以用一个或多个未描述的附加操作和/或不用一个或多个所讨论的操作来完成。另外,图5中所示的过程500的操作的顺序是相同的。图5和下面描述并不旨在限制性。
在510中,处理设备140(例如,获取模块410)可以获取对象的医学图像。对象的医学图像可以从放射设备110中的成像设备或外部成像设备获取。在一些实施例中,医学图像可以包括X射线图像、MRI图像、PET图像、超声图像、CT图像等。医学图像可以是2-D图像或3-D图像。在一些实施例中,医学图像可以是包括与对象的内部结构的信息有关的图像。例如,医学图像可以包括不同组织和/或器官的多个区域。多个区域可以包括至少一个对应于对象的感兴趣区域(ROI)(例如,肿瘤)的目标区域和至少一个对应于对象的健康组织的区域。多个区域还可以包括对应于可能容易被放射损坏的组织的至少一个脆弱区域。
在520中,处理设备140(例如,获取模块410)可以获取图像分割模型。图像分割模型可以是训练后的图像分割模型。可以基于多个训练数据集和/或目标函数来训练图像分割模型。多个训练数据集可以各自包括样本图像和样本图像的样本分割结果。对于每个样本图像,对应的样本分割结果可以被称为“金标准”(例如,样本图像的期望的或可接受的(或称为正确的)分割结果)。例如,样本分割结果可以由有经验的医生或专家生成。又例如,使用样本分割结果计划的放射治疗可能已经产生了良好的结果(例如,在肿瘤治疗中显示出疗效,对健康组织的伤害很小或没有伤害)。关于图像分割模型训练的更多描述可以在本说明书的其他地方找到,例如,图6及其说明。
在一些实施例中,目标函数可用于评估图像分割模型的训练情况(或图像分割模型的训练进度)。目标函数可以用于反映用户对图像分割模型的输出的修改量。在一些实施例中,目标函数可以与图像分割模型的输出的边界信息和样本分割结果的边界信息有关。关于确定目标函数的更多描述可以在本说明书的其他地方找到,例如,图7及其说明。在一些实施例中,边界信息可以包括图像分割模型的输出的错误边信息。例如,可以基于图像分割模型的输出来确定一条或多条错误边,并且与(多条)错误边相关的信息可以被称为错误边信息。关于确定(多个)错误边的更多描述可以在本说明书的其他地方找到,例如,操作750及其描述。
需要说明的是,图像分割模型可以是任何类型的机器学习模型,在此不做限定。仅作为示例,图像分割模型可以包括人工神经网络(ANN)、随机森林模型、支持向量机、决策树、卷积神经网络(CNN)、递归神经网络(RNN),深度学习模型、贝叶斯网络、K最近邻(KNN)模型、生成对抗网络(GAN)模型等。
在530中,处理设备140(例如,处理模块430)可以基于医学图像,执行图像分割模型,以生成分割结果。例如,可以将对象的医学图像输入到图像分割模型中。响应于医学图像的输入,图像分割模型可以生成包括输入的医学图像上的区域的位置和/或边界的标签的分割结果作为输出。在一些实施例中,可以在分割结果中仅标记目标区域(例如,肿瘤)。又例如,在分割结果中可以标记目标区域和对应于健康组织的区域。又例如,在分割结果中可以标记目标区域、对应于健康组织的区域、对应于脆弱组织(例如,容易被放射损伤的组织)的区域。
在540中,处理设备140(例如,计划确定模块450)可以根据分割结果,计划放射治疗。例如,处理设备140可以基于分割结果生成放射治疗计划,并且放射设备110可以根据放射治疗计划进行放射治疗。仅举例来说,对于分割结果中的不同区域,放射治疗计划可以包括相同或不同的方案、相同或不同的剂量、相同或不同的放射持续时间等。在一些实施例中,可以为目标区域计划高剂量和/或长放射持续时间,可以为脆弱或健康区域(例如,处于危险中的器官(OAR))计划低剂量和/或短放射持续时间。
在一些实施例中,图像分割模型可以是生成对抗网络(GAN)模型的生成模型。GAN模型还可以包括用于评估生成模型的判别模型。例如,判别模型可以接收来自用户的输入,以将分割结果的目标区域的边界更改为目标边界。用户的输入现在被视为金标准,并且可以根据目标区域的边界和目标边界更新判别模型。然后可以基于更新后的判别模型更新图像分割模型。在一些实施例中,可以基于使用与分割结果相关联的放射治疗计划的治疗结果更新判别模型。例如,用户或机器可以评价放射治疗的治疗结果的质量。治疗结果的评级(连同分割结果)可以用于训练判别模型。在一些实施例中,判别模型可以由模型训练模块420在本地更新。更新后的判别模型可以经由网络(例如,网络120)传输到存储器(例如,存储设备120)。需要说明的是,生成模型和判别模型可以在本地或远程进行更新和/或存储,并不局限于此。例如,生成模型可以存储在远程服务器中,判别模型可以存储在本地存储设备中。生成模型可以是用于多个用户的通用模型,而判别模型可以是用于特定用户组的专用模型,反之亦然。又例如,生成模型和判别模型可以一起存储在远程服务器或本地存储设备中。
图6是根据本说明书一些实施例所示的用于训练图像分割模型的示例性过程的流程图。在一些实施例中,过程600的至少一部分可以由处理设备140执行(在例如图2所示的计算设备200中实现)。例如,过程600可以以指令(例如,应用程序)的形式存储在存储设备(例如,存储设备150和/或存储器220)中,并由处理设备140(例如,图2所示的处理器210和/或图4所示的处理设备140中的一个或多个模块)调用和/或执行。下面呈现的图示过程的操作旨在是说明性的。在一些实施例中,过程600可以用一个或多个未描述的附加操作和/或不用一个或多个所讨论的操作来完成。另外,如图6所示和下文描述的过程600的操作顺序并不意味着是限制性的。在一些实施例中,可以在操作520和530中获取并使用由过程600训练的图像分割模型。
在610中,处理设备140(例如,获取模块410)可以获取初始图像分割模型。初始图像分割模型可以经由网络120从存储设备150或外部设备获取。初始模型可包括多个分类器和/或神经元,每个分类器和/或神经元具有一个或多个初始参数或权重。在一些实施例中,初始参数可以是默认值,例如,零、一或任何数字。或者,用户或处理设备140可以设置至少一些初始参数以增加收敛速度(例如,完成训练的速度)。仅作为示例,图像分割模型可以包括人工神经网络(ANN)、随机森林模型、支持向量机、决策树、卷积神经网络(CNN)、递归神经网络(RNN)、深度学习模型、贝叶斯网络、K最近邻(KNN)模型、生成对抗网络(GAN)模型等。
在一些实施例中,初始模型可以是预定义的。例如,可以根据与初始模型相关联的特定对象(例如,胸部、头部)的一个或多个特征(例如,大小、厚度、复杂性、性别、体型、癌症类型)来预定义初始模型的内部结构或初始参数。例如,如果训练图像分割模型专门用于对肺癌患者的图像进行分割,则可以根据肺部的特征预先定义初始参数。
在620中,处理设备140(例如,获取模块410)可以获取多个训练数据集。在一些实施例中,获取模块410可以从存储设备(例如,存储设备150、外部存储设备)获取多个训练数据集。每个训练数据集可以包括样本图像和样本图像的样本分割结果。关于示例性样本图像和样本分割结果的描述可以在本说明书的其他地方找到。参见例如样本图像1110、样本分割结果1120及其描述。在一些实施例中,同一训练数据集中的样本图像和样本分割结果可以对应于同一对象或对象的同一区域。多个训练数据集可以与相同或不同的对象或者一个或多个对象的相同或不同区域相关联。在一些实施例中,样本分割结果(也称为金标准)可以包括对象的样本图像中的目标区域(或称为样本目标区域)的样本边界。目标区域可以对应于对象的ROI(例如,肿瘤)。
在630中,处理设备140(例如,模型训练模块420)可以基于样本医学图像,执行初始图像分割模型,以生成初始分割结果。关于示例性初始分割结果的描述可以在本说明书的其他地方找到。参见例如图11及其说明中的初始分割结果1130。在第一次迭代中,可以将样本图像输入到初始图像分割模型中。响应于医学图像的输入,初始图像分割模型可以生成初始分割结果,其包括输入的样本图像上的区域的位置和/或边界的标签作为输出。
在640中,处理设备140(例如,模型训练模块420)可以基于初始分割结果(或更新后的分割结果)和样本分割结果,确定目标函数的值。在第一次迭代中,处理设备140可以根据初始分割结果和样本分割结果确定目标函数的值。在后续的迭代中,处理设备140可以根据当前迭代中更新后的分割结果和样本分割结果确定目标函数的值。在一些实施例中,目标函数用于评估图像分割模型训练得如何(或图像分割模型的训练进度)。例如,目标函数可以用于在每次迭代中反映医生对图像分割模型的输出的修改量。在一些实施例中,目标函数可以与图像分割模型的输出(例如,当前迭代的分割结果)和样本分割结果的边界信息(例如,错误边信息)有关。关于目标函数的确定的更多描述可以在本说明书的其他地方找到,例如,图7及其说明。
在650中,处理设备140(例如,确定模块440)可以确定是否满足终止条件。在一些实施例中,终止条件可以是图像分割模型是否被充分训练的指标。仅作为示例,终止条件可以包括目标函数的值小于阈值,目标函数在连续两次迭代中的值之间的差值小于阈值,遍历所有训练数据集,达到阈值的迭代次数或计数等。响应于确定满足终止条件(例如,目标函数的值小于阈值),过程600可以继续进行操作680;否则,过程600可以继续进行操作660。
对于本领域的普通技术人员来说,在本说明书的教导下可以做出多种变化和修改。然而,这些变化和修改并不脱离本说明书的范围。例如,可以使用其他终止条件。
在660中,处理设备140(例如,模型训练模块420)可以更新图像分割模型。在一些实施例中,处理设备140可以基于样本图像、样本图像的样本分割结果、初始分割结果或当前迭代生成的更新后的分割结果和/或目标函数来更新图像分割模型。仅举例来说,图像分割模型的更新可以包括更新或调整图像分割模型中的神经元或分类器的至少一个权重或参数,改变神经元或分类器之间的连接方式,更新或调整权重图像分割模型中的每一层等。
在670中,处理设备140(例如,模型训练模块420)可以基于样本医学图像,执行更新后的图像分割模型,以生成更新后的分割结果。操作670类似于操作630,在此不再重复。在670生成更新后的分割结果之后,过程可以返回到640。在640,可以基于更新后的分割结果和样本分割结果,确定目标函数的新的值。
在680中,处理设备140(例如,模型训练模块420)可以将更新后的图像分割模型指定为训练后的图像分割模型。例如,处理设备140可以将本次迭代更新后的图像分割模型作为训练后的图像分割模型存储在存储设备(例如,存储设备150、外部存储设备)中。可以在操作520和530中获取并使用训练后的图像分割模型来生成放射治疗计划。
图7是根据本说明书一些实施例所示的用于确定目标函数的示例性过程的流程图。在一些实施例中,过程700的至少一部分可以由处理设备140执行(在例如图2所示的计算设备200中实现)。例如,过程700可以以指令(例如,应用程序)的形式存储在存储设备(例如,存储设备150和/或存储器220)中,并由处理设备140调用和/或执行(例如,图2所示的处理器210和/或图4所示的处理设备140中的一个或多个模块)。下面呈现的图示过程的操作旨在是说明性的。在一些实施例中,过程700可以用一个或多个未描述的附加操作和/或不用一个或多个所讨论的操作来完成。此外,过程700的操作的顺序如图7所示,以及以下的描述不是限制性的。在一些实施例中,过程700可以对应于图6中的640。为简洁起见,以第一次迭代训练为例描述过程700。可以用类似的方式计算后续迭代中目标函数的值。
在710中,处理设备140(例如,获取模块410)可以获取样本图像的样本分割结果和初始分割结果(或后续迭代中更新后的分割结果)。在一些实施例中,样本分割结果可以包括样本边界并且初始分割结果可以包括初始边界。样本边界和初始边界可以包括与对象的ROI对应的目标区域。
在720中,处理设备140(例如,处理模块430)可以确定初始边界上的初始边界点。在一些实施例中,初始边界点可以仅指顶点。或者,初始边界点可以指初始边界上的任意点。例如,对于一个3×3(3像素乘3像素)的矩形初始边界,初始边界点可以只指角上的四个顶点,也可以指四个顶点连同边上的四个点。在一些实施例中,处理设备140可通过对初始边界执行平滑操作来生成平滑后的初始边界。处理设备140可以进一步在平滑后的初始边界上确定初始边界点。在一些实施例中,样本图像可以包括多个切片图像。处理设备140可以在每个切片图像中的初始边界上确定初始边界点。可选地,对于一对切片(例如,一对相邻切片),处理设备140可以通过执行基于形状的插值来生成中间切片,并确定中间切片中的插值边界点。插值边界点可以被指定为对应于中间切片的初始边界点。
在730中,处理设备140(例如,处理模块430)可以确定初始边界上的初始边界点到样本边界的距离。初始边界点到样本边界的距离可以计算为样本边界上的初始边界点到每个样本边界点的距离的最小值。类似地,样本边界点可以仅指顶点或样本边界上的点。如图9所示,初始边界点E到样本边界的距离可以计算为L2,即E到边D’E’的最短距离。
在740中,处理设备140(例如,处理模块430)可以基于初始边界上的初始边界点到样本边界的距离,确定目标函数。在一些实施例中,目标函数可以与初始边界上的初始边界点到样本边界的距离的平均值、最小值或最大值有关。如图9所示,目标函数值可以与初始边界点(e.g.,A,B,C,D,E,F,G,H,I)到样本边界的距离的最小值(例如0)、平均值(例如(L1+L2)/9)、最大值(例如L1)有关。
在750中,处理设备140(例如,处理模块430、确定模块440)可以从初始边界的多条边中确定一条或多条错误边。
在一些实施例中,处理设备140A可以在初始边界的初始边界点中确定一个或多个错误点。在一些实施例中,对于初始边界上的每一个初始边界点,处理设备140可以确定该初始边界点到样本边界的距离是否超过距离阈值。响应于确定该初始边界点到样本边界的距离超过距离阈值,处理设备140可以确定该初始边界点为错误点;否则,处理设备140可以确定该初始边界点并非错误点。如图9所示,由于L1和L2超过了距离阈值,可以认为D和E是错误点。在一些实施例中,距离阈值可以是一个像素。或者,距离阈值可以是任意值,包括但不限于2个像素、3个像素、5个像素、10个像素、20个像素、0.1mm、0.2mm、0.5mm、1mm、2mm等。
在确定(多个)错误点之后,处理设备140(例如,处理模块430)可以基于(多个)错误点确定(多条)错误边。在一些实施例中,可以定义错误边为穿过错误点中的至少一个错误点的初始边界上的边。如图9所示,可以确定点D和E为错误点并且可以确定边CD、DE和EF为错误边。在一些实施例中,可以定义错误边为初始边界上穿过两个或更多个错误点(例如,两个相邻错误点)的边。
在一些实施例中,处理设备140可以基于初始边与样本边界之间形成的角度是否超过角度阈值来确定初始边是否为错误边。如图9所示,如果边EF与样本边界之间形成的角度θ超过角度阈值,则处理设备140可以确定边EF是错误边。
在760中,处理设备140(例如,处理模块430)可以基于(多个)错误边,确定目标函数的值。例如,目标函数的值可以基于(多个)错误边的长度和样本边界的长度来确定。在一些实施例中,目标函数的值可以基于错误边的总长度和样本边界的长度来确定。仅作为示例,目标函数可以表示为:
其中d(pi,R)表示第i个初始边界点到样本边界的距离,ε表示距离阈值。
所图9所示、目标函数可以表示为:
在一些实施例中,目标函数可以与错误点直接相关。例如,目标函数可以与错误点的数量、错误点的位置、错误点的密度等,或他们的任意组合相关。
在770中,处理设备140(例如,处理模块430)可以确定由样本边界和初始边界所界定的区域的面积。如图10A所示,由分割结果的样本边界1010和分割结果的初始边界1020界定的区域的面积可以是S2+S3。如图10B所示,由分割结果的样本边界1030和分割结果的初始边界1040所示界定的区域的面积可以是S2。
在780中,处理设备140(例如,处理模块430)可以基于该区域的面积和样本边界的长度,确定目标函数。在一些实施例中,目标函数可以表示为:
其中相似的符号表示与等式(1)中相似的变量,ai可以表示为:
对于本领域的普通技术人员来说,在本说明书的教导下可以做出多种变化和修改。然而,这些变化和修改并不脱离本说明书的范围。例如,可以使用其他目标函数。作为另一个例子,两个或多个目标函数可以组合或一起使用。作为另一个例子,可以修改目标函数以符合3-D空间。这样的修改也在本说明书的保护范围之内。
在一些实施例中,目标函数可以与初始分割结果中的边界的计数有关。例如,对于训练数据集,样本目标区域可以包括至少一个子样本目标区域,样本边界可以包括每个子样本目标区域的子样本边界,初始边界可以包括至少一子初始边界。目标函数的值可以进一步基于至少一条子样本边界的计数与至少一条子初始边界的计数之间的差来确定。仅作为示例,样本目标区域可以包括对应于左肺的区域和对应于右肺的区域,并且样本边界可以包括对应于左肺的第一子样本边界和对应于右肺的第二子样本边界。如果初始边界仅包括一条子初始边界或两条以上的子初始边界,则初始分割结果可能是错误的或不准确的。目标函数可以基于至少一条子样本边界的计数与至少一条子初始边界的计数之间的差来确定,以评估图像分割模型的召回水平。
图8A和图8B是示例性样本分割结果和初始分割结果的示意图。如图8A和图8B所示,实线中的分割结果(例如,分割结果810和830)可以是样本分割结果。样本分割结果810和830可以称为“金标准”(例如,正确的分割结果)。例如,样本分割结果810和830可以由有经验的医生或专家生成。作为另一个示例,使用样本分割结果810和830计划的放射治疗可能已经产生了理想的或可以接受的结果(例如,显示出治疗肿瘤的功效,而对健康组织的伤害很小或没有伤害)。样本分割结果810和830可以分别从两个训练数据集中获得。
虚线中的分割结果(例如,分割结果820和840)可以是图像分割模型在训练图像分割模型时生成的分割结果。根据图像分割模型训练的迭代,分割结果820和840可以被称为初始分割结果或更新后的分割结果。在一些实施例中,分割结果810和820可以对应于对象的相同目标区域。类似地,分割结果830和840可以对应于对象的相同目标区域。
通常,目标函数仅考虑分割结果的重叠区域。结果,使用这样的目标函数训练的模型可以确定分割结果820和分割结果840彼此尽可能接近它们各自的“金标准”。然而,注意到与分割结果840相比,分割结果820需要用户进行更多的修改量以达到金标准。因此,常规目标函数是次优的。相反,本说明书中描述的目标函数(例如,图7中的操作740、760和780)考虑了边界信息并且由本说明书中描述的目标函数训练的图像分割模型可以确定分割结果840比分割结果820好很多。在一些实施例中,与分割结果820相关的图像分割模型可以通过执行更多次迭代来进一步训练,直到分割结果820与分割结果840一样好或更好,或者满足终止条件。
图9是示例性分割结果的示意图。如图9所示、多边形A'B'C'D'E'F'G'H'I'可以是样本分割结果的样本边界,多边形ABCDEFGHI可以是初始分割结果的初始边界或更新后的分割结果的更新后的边界。在一些实施例中,可以计算初始边界上的初始边界点到样本边界的距离。初始边界点到样本边界的距离可以计算为初始边界点到样本边界上的每个点或每个顶点的距离的最小值。例如,初始边界点A到样本边界的距离可以为零,因为它与样本边界点A'重合。同样,初始边界点B、C、F、G、H、I到样本边界的距离为零。初始边界点E到样本边界的距离可以计算为L2,初始边界点D到样本边界的距离可以计算为L1。
如果L1和L2都大于距离阈值,则可以将点D和E确定为错误点。如果L1大于距离阈值,而L2小于或等于距离阈值,则可以仅将点D确定为错误点。假设L1和L2都大于距离阈值,则可以确定点D和点E为错误点。由于边CD、DE和EF各穿过错误点D和E中的至少一个,因此边CD、DE和EF可以被确定为错误边。目标函数可以被计算为错误边的总长度与样本边界长度的比率,如下所示:
图10A和图10B是示例性分割结果的示意图。如图所示10A和图10B,实线中的分割结果(例如,分割结果1010和1030)可以是样本分割结果。虚线中的分割结果(例如,分割结果1020和1040)可以是在训练图像分割模型时由图像分割模型生成的分割结果。根据图像分割模型训练的迭代,可以称分割结果1020和1040为初始分割结果或更新后的分割结果。在一些实施例中,分割结果1010和1020可以对应于对象的相同目标区域。类似地,分割结果1030和1040可对应于对象的相同目标区域。
通常,目标函数仅考虑分割结果的重叠区域。例如,可以基于Dice函数确定目标函数。Dice函数可以表示为:
其中A表示初始(或更新后的)分割结果中的目标区域,R表示样本分割结果中的目标区域,∩是重叠算子,|X|表示区域X的面积。
仅作为示例,S1可以为100(单位省略),S3可以为15,S2可以为20。对于分割结果1020,Dice函数的值可以计算为:2x100/(120+115)=0.85。对于分割结果1040,Dice函数的值可以计算为2x100/(100+120)=0.91。基于Dice函数的值,分割结果1040略好于分割结果1020。然而,从图10A和10B可以注意到,大约40%的错误边已被纠正,医生后续修改量应相应减少约40%。因此,仅考虑重叠区域的传统目标函数是次优的并且经常出错。本说明书在操作780中提供了一种基于样本边界的长度以及样本边界和初始边界所界定的区域的面积确定目标函数的方法。具体而言,分割结果1020的目标函数可被计算为35/L1,其中L1为分割结果1010的样本边界长度;分割结果1040的目标函数可以计算为20/L2,其中L2是样本边界1030的长度。从图10A和10B可以注意到L1非常接近L2。因此,分割结果1040的目标函数比分割结果1020的目标函数减少了约43%((35-20)/35)(或略小于43%),反映了医生预期的后续修改量。为简洁起见,术语目标函数可以指代数学表达式(例如,等式(4))或关于特定分割结果的特定值。
图11是训练图像分割模型的示例性过程的示意图。分割模型1160可以包括输入层、隐藏层和输出层。在一些实施例中,隐藏层可以包括多个卷积层、多个池化层和/或多个全连接层(图11中未示出)。如图11所示,可以将包括样本图像1110和样本图像1110的样本分割结果1120的训练数据集输入到初始分割模型1160的输入层。在第一次迭代中,输出层可以生成初始分割结果1130。图像分割模型可以基于样本分割结果1120和初始分割结果1130确定目标函数的值。图像分割模型可以确定是否满足终止条件(例如,目标函数是否小于终止阈值)。如图11所,样本分割结果1120和初始分割结果1130可以具有不同的边界。由于根据本说明书的一些实施例配置的目标函数涉及分割结果的边界信息,因此分割结果对应的目标函数的值可能大于阈值。图像分割模型可以进一步基于样本图像1110、样本分割结果1120、初始分割结果1130和目标函数的值来更新。经过多次更新或训练迭代后,可以满足终止条件(例如,目标函数的值可以小于阈值,分割结果1140、1150等的边界变得与样本边界相同或足够接近),并且可以指定在当前迭代中更新后的图像分割模型为训练后的图像分割模型。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本申请的限定。虽然此处并没有明确说明,本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,本领域技术人员可以理解,本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外,本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等,或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、RF、或类似介质,或任何上述介质的组合。
本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写,包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,常规程序化编程语言如C语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP,动态编程语言如Python、Ruby和Groovy,或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非权利要求中明确说明,本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
Claims (41)
1.一种治疗计划系统,包括:
至少一个存储可执行指令的存储设备,以及
与所述至少一个存储设备通信的至少一个处理器,其中,当执行所述可执行指令时,所述至少一个处理器使所述系统执行以下操作:
获取对象的医学图像,所述对象包括放射治疗针对的感兴趣区域(ROI);
获取已基于目标函数进行训练的图像分割模型,所述目标函数与所述图像分割模型的输出的错误边信息有关;
基于所述医学图像,通过执行所述图像分割模型生成分割结果,所述分割结果包括所述医学图像中与所述对象的所述ROI对应的目标区域的边界;以及
根据所述分割结果,计划针对所述对象的所述ROI的放射治疗。
2.根据权利要求1所述的治疗计划系统,其特征在于,所述图像分割模型通过以下过程生成:
获取初始图像分割模型;
获取多个训练数据集,其中,所述多个训练数据集中的每个训练数据集包括样本医学图像和所述样本医学图像的样本分割结果,所述样本分割结果包括所述样本医学图像中的样本目标区域的样本边界;以及
基于所述多个训练数据集,训练所述初始图像分割模型,以生成所述图像分割模型。
3.根据权利要求2所述的治疗计划系统,其特征在于,所述基于所述多个训练数据集,训练所述初始图像分割模型,以生成所述图像分割模型包括:
对于所述多个训练数据集中的每个训练数据集,
基于所述样本医学图像执行所述初始图像分割模型,以生成初始分割结果,所述初始分割结果包括所述样本目标区域的初始边界;
基于所述样本边界和所述初始边界,确定所述目标函数的值;以及
通过最小化所述目标函数更新所述初始图像分割模型,以生成所述图像分割模型。
4.根据权利要求3所述的治疗计划系统,其特征在于,所述基于所述样本边界和所述初始边界,确定所述目标函数的值包括:
从所述初始边界的多条边中确定一条或多条错误边;以及
基于所述一条或多条错误边和所述样本边界,确定所述目标函数的值。
5.根据权利要求4所述的治疗计划系统,其特征在于,所述从所述初始边界的多条边中确定一条或多条错误边包括:
从所述初始边界上的多个初始边界点中确定一个或多个错误点;以及
从所述初始边界的所述多条边中确定所述一条或多条错误边,其中所述一条或多条错误边中的每条错误边穿过所述一个或多个错误点中的至少一个错误点。
6.根据权利要求5所述的治疗计划系统,其特征在于,从所述初始边界上的多个初始边界点中确定一个或多个错误点包括:
对于所述初始边界上的所述初始边界点中的每个初始边界点,
确定所述初始边界点到所述样本边界的距离是否超过距离阈值;以及
响应于所述初始边界点到所述样本边界的所述距离超过所述距离阈值,确定所述初始边界点为错误点。
7.根据权利要求6所述的治疗计划系统,其特征在于,所述距离阈值是一个像素。
8.根据权利要求4所述的治疗计划系统,其特征在于,所述从所述初始边界的多条边中确定一条或多条错误边包括:
对于所述初始边界的所述多条边中的每一条边,
确定由所述边和所述样本边界形成的角度是否超过角度阈值;以及
响应于确定所述角度超过所述角度阈值,确定所述边是所述一条或多条错误边中的一条。
9.根据权利要求4所述的治疗计划系统,其特征在于,
还基于由所述样本边界和所述初始边界所界定的区域的面积,确定所述目标函数的值。
10.根据权利要求3所述的治疗计划系统,其特征在于,
对于所述多个训练数据集中的每个训练数据集,所述样本目标区域包括至少一个子样本目标区域,所述样本边界包括所述至少一个子样本目标区域中的每个子样本目标区域的子样本边界,并且所述初始边界包括至少一条子初始边界,以及
还基于所述至少一条子样本边界的计数与所述至少一条子初始边界的计数之间的差,确定所述目标函数的值。
11.根据权利要求1所述的治疗计划系统,其特征在于,所述至少一个处理器还使所述系统执行以下操作:
获取判别模型;
接收来自用户的输入,以将所述目标区域的所述边界更改为目标边界;
基于所述目标区域的所述边界与所述目标边界之间的差异,更新所述判别模型;以及
基于更新后的判别模型,更新所述图像分割模型。
12.根据权利要求1所述的治疗计划系统,其特征在于,所述目标函数与将所述图像分割模型的输出的边界修改为样本边界的修改量有关。
13.一种治疗计划系统,其特征在于,包括:
至少一个存储可执行指令的存储设备,以及
与所述至少一个存储设备通信的至少一个处理器,当执行所述可执行指令时,使所述系统执行以下操作:
获取对象的医学图像,所述对象包括放射治疗针对的感兴趣区域(ROI);
获取已基于目标函数进行训练的图像分割模型,所述目标函数与所述图像分割模型的输出的边界信息有关;
基于所述医学图像,通过执行所述图像分割模型生成分割结果,所述分割结果包括所述医学图像中与所述对象的所述ROI对应的目标区域的边界;以及
根据所述分割结果,计划针对所述对象的所述ROI的放射治疗。
14.根据权利要求13所述的治疗计划系统,其特征在于,所述图像分割模型通过以下过程生成:
获取初始图像分割模型;
获取多个训练数据集,其中,所述多个训练数据集中的每个训练数据集包括样本医学图像和所述样本医学图像的样本分割结果,所述样本分割结果包括所述样本医学图像中的样本目标区域的样本边界;以及
基于所述多个训练数据集,训练所述初始图像分割模型,以生成所述图像分割模型。
15.根据权利要求14所述的治疗计划系统,其特征在于,所述基于所述多个训练数据集,训练所述初始图像分割模型,以生成所述图像分割模型包括:
对于所述多个训练数据集中的每个训练数据集,
基于所述样本医学图像执行所述初始图像分割模型,以生成初始分割结果,所述初始分割结果包括所述样本目标区域的初始边界;
基于所述样本边界和所述初始边界,确定所述目标函数;以及
通过最小化所述目标函数更新所述初始图像分割模型,以生成所述图像分割模型。
16.根据权利要求15所述的治疗计划系统,其特征在于,所述目标函数与从所述初始边界上的初始边界点到所述样本边界的距离有关。
17.根据权利要求16所述的治疗计划系统,其特征在于,所述目标函数与从所述初始边界上的所述初始边界点到所述样本边界的所述距离的平均值、最小值或最大值有关。
18.根据权利要求16所述的治疗计划系统,其特征在于,所述目标函数与所述初始边界点中的一个或多个错误点有关,所述一个或多个错误点通过以下过程确定:
对于所述初始边界上的所述初始边界点中的每个初始边界点,
确定所述初始边界点到所述样本边界的距离是否超过距离阈值;以及
响应于所述初始边界点到所述样本边界的所述距离超过距离阈值,确定所述初始边界点为错误点。
19.根据权利要求18所述的治疗计划系统,其特征在于,所述基于所述样本边界和所述初始边界确定所述目标函数包括:
从所述初始边界上的多条边中确定一条或多条错误边,其中所述一条或多条错误边中的每条错误边穿过所述一个或多个错误点中的至少一个错误点;以及
基于所述一条或多条错误边的长度和所述样本边界的长度,确定所述目标函数的值。
20.根据权利要求18所述的治疗计划系统,其特征在于,所述距离阈值是一个像素。
21.根据权利要求15所述的治疗计划系统,其特征在于,所述目标函数与由所述样本边界和所述初始边界所界定的区域的面积有关。
22.根据权利要求15所述的治疗计划系统,其特征在于,
对于所述多个训练数据集中的每个训练数据集,所述样本目标区域包括至少一个子样本目标区域,所述样本边界包括所述至少一个子样本目标区域中的每个子样本目标区域的子样本边界,并且所述初始边界包括至少一条子初始边界,以及
所述目标函数与所述至少一条子样本边界的计数和所述至少一条子初始边界的计数之间的差有关。
23.根据权利要求13所述的治疗计划系统,其特征在于,所述至少一个处理器还使所述系统执行以下操作:
接收来自用户的输入以将所述目标区域的所述边界更改为目标边界;
基于所述目标区域的所述边界与所述目标边界之间的差异,更新所述判别模型;以及
基于更新后的判别模型,更新所述图像分割模型。
24.根据权利要求13所述的治疗计划系统,其特征在于,所述目标函数与将所述图像分割模型的输出的边界修改为样本边界的修改量有关。
25.一种治疗计划方法,其特征在于,所述方法在具有至少一个存储设备和至少一个处理器的计算设备上实现,所述方法包括:
获取对象的医学图像,所述对象包括放射治疗针对的感兴趣区域(ROI);
获取已基于目标函数进行训练的图像分割模型,所述目标函数与所述图像分割模型的输出的错误边信息有关;
基于所述医学图像,通过执行所述图像分割模型生成分割结果,所述分割结果包括所述医学图像中与所述对象的所述ROI对应的目标区域的边界;以及
根据所述分割结果,计划针对所述对象的所述ROI的放射治疗。
26.根据权利要求25所述的治疗计划方法,其特征在于,所述图像分割模型通过以下过程生成:
获取初始图像分割模型;
获取多个训练数据集,其中,所述多个训练数据集中的每个训练数据集包括样本医学图像和所述样本医学图像的样本分割结果,所述样本分割结果包括所述样本医学图像中的样本目标区域的样本边界;以及
基于所述多个训练数据集,训练所述初始图像分割模型,以生成所述图像分割模型。
27.根据权利要求26所述的治疗计划方法,其特征在于,所述基于所述多个训练数据集,训练所述初始图像分割模型,以生成所述图像分割模型包括:
对于所述多个训练数据集中的每个训练数据集,
基于所述样本医学图像执行所述初始图像分割模型,以生成初始分割结果,所述初始分割结果包括所述样本目标区域的初始边界;
基于所述样本边界和所述初始边界确定所述目标函数的值;以及
通过最小化所述目标函数更新所述初始图像分割模型,以生成所述图像分割模型。
28.根据权利要求27所述的治疗计划方法,其特征在于,所述基于所述样本边界和所述初始边界,确定所述目标函数的值包括:
从所述初始边界的多条边中确定一条或多条错误边;以及
基于所述一条或多条错误边和所述样本边界确定所述目标函数的值。
29.根据权利要求28所述的治疗计划方法,其特征在于,所述从所述初始边界的多条边中确定一条或多条错误边包括:
从所述初始边界上的多个初始边界点中确定一个或多个错误点;以及
从所述初始边界的所述多条边中确定所述一条或多条错误边,其中所述一条或多条错误边中的每条错误边穿过所述一个或多个错误点中的至少一个错误点。
30.根据权利要求29所述的治疗计划方法,其特征在于,从所述初始边界上的多个初始边界点中确定一个或多个错误点包括:
对于所述初始边界上的所述初始边界点中的每个初始边界点,
确定所述初始边界点到所述样本边界的距离是否超过距离阈值;以及
响应于所述初始边界点到所述样本边界的所述距离超过所述距离阈值,确定所述初始边界点为错误点。
31.根据权利要求30所述的治疗计划方法,其特征在于,所述距离阈值是一个像素。
32.根据权利要求28所述的治疗计划方法,其特征在于,所述从所述初始边界的多条边中确定一条或多条错误边包括:
对于所述初始边界的所述多条边中的每一条,
确定由所述边和所述样本边界形成的角度是否超过角度阈值;以及
响应于确定所述角度超过所述角度阈值,确定所述边是所述一条或多条错误边中的一条。
33.根据权利要求28所述的治疗计划方法,其特征在于,还基于由所述样本边界和所述初始边界所界定的区域的面积,确定所述目标函数的值。
34.根据权利要求27所述的治疗计划方法,其特征在于,
对于所述多个训练数据集中的每个训练数据集,所述样本目标区域包括至少一个子样本目标区域,所述样本边界包括所述至少一个子样本目标区域中的每个子样本目标区域的子样本边界,所述初始边界包括至少一条子初始边界,以及
还基于所述至少一条子样本边界的计数与所述至少一条子初始边界的计数之间的差,确定所述目标函数的值。
35.根据权利要求25所述的治疗计划方法,其特征在于,所述方法还包括:
获取判别模型;
接收来自用户的输入,以将所述目标区域的所述边界更改为目标边界;
基于所述目标区域的所述边界与所述目标边界之间的差异,更新所述判别模型;以及
基于更新后的判别模型,更新所述图像分割模型。
36.根据权利要求25所述的治疗计划方法,其特征在于,所述目标函数与将所述图像分割模型的输出的边界修改为样本边界的修改量有关。
37.一种治疗计划系统,其特征在于,包括:
获取模块,被配置成用于获取对象的医学图像和获取已基于目标函数进行训练的图像分割模型,所述对象包括放射治疗针对的感兴趣区域(ROI),并且所述目标函数与所述图像分割模型的输出的错误边信息有关;
处理模块,被配置成用于基于所述医学图像,通过执行所述图像分割模型生成分割结果,所述分割结果包括所述医学图像中与所述对象的所述ROI对应的目标区域的边界;以及
计划确定模块,被配置成用于根据所述分割结果,计划针对所述对象的所述ROI的放射治疗。
38.一种非暂时性计算机可读介质,其特征在于,包括至少一组用于治疗计划的指令,其中,当计算设备的一个或多个处理器执行所述指令时,使所述计算设备执行包括以下步骤的方法:
获取对象的医学图像,所述对象包括放射治疗针对的感兴趣区域(ROI);
获取已基于目标函数进行训练的图像分割模型,所述目标函数与所述图像分割模型的输出的错误边信息有关;
基于所述医学图像,通过执行所述图像分割模型生成分割结果,所述分割结果包括所述医学图像中与所述对象的所述ROI对应的目标区域的边界;以及
根据所述分割结果,计划针对所述对象的所述ROI的放射治疗。
39.一种治疗计划方法,其特征在于,所述方法在具有至少一个存储设备和至少一个处理器的计算设备上实现,所述方法包括:
获取对象的医学图像,所述对象包括放射治疗针对的感兴趣区域(ROI);
获取已基于目标函数进行训练的图像分割模型,所述目标函数与所述图像分割模型的输出的错误边信息有关;
基于所述医学图像,通过执行所述图像分割模型生成分割结果,所述分割结果包括所述医学图像中与所述对象的所述ROI对应的目标区域的边界;以及
根据所述分割结果,计划针对所述对象的所述ROI的放射治疗。
40.一种治疗计划系统,其特征在于,包括:
获取模块,被配置成用于获取对象的医学图像和获取已基于目标函数进行训练的图像分割模型,所述对象包括放射治疗针对的感兴趣区域(ROI),并且所述目标函数与所述图像分割模型的输出的错误边信息有关;
处理模块,被配置成用于基于所述医学图像,通过执行所述图像分割模型生成分割结果,所述分割结果包括所述医学图像中与所述对象的所述ROI对应的目标区域的边界;以及
计划确定模块,被配置成用于根据所述分割结果计划针对所述对象的所述ROI的放射治疗。
41.一种非暂时性计算机可读介质,其特征在于,包括用于治疗计划的至少一组指令,其中,当计算设备的一个或多个处理器执行所述指令时,所述至少一组指令使所述计算设备执行包括以下步骤的方法:
获取对象的医学图像,所述对象包括放射治疗针对的感兴趣区域(ROI);
获取已基于目标函数进行训练的图像分割模型,所述目标函数与所述图像分割模型的输出的错误边信息有关;
基于所述医学图像,通过执行所述图像分割模型生成分割结果,所述分割结果包括所述医学图像中与所述对象的所述ROI对应的目标区域的边界;以及
根据所述分割结果计划针对所述对象的所述ROI的放射治疗。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2020/118205 WO2022061840A1 (en) | 2020-09-27 | 2020-09-27 | Systems and methods for generating radiation therapy plan |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116261743A true CN116261743A (zh) | 2023-06-13 |
Family
ID=80844873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080105608.4A Pending CN116261743A (zh) | 2020-09-27 | 2020-09-27 | 用于生成放射治疗计划的系统和方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116261743A (zh) |
WO (1) | WO2022061840A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11232319B2 (en) * | 2014-05-16 | 2022-01-25 | The Trustees Of The University Of Pennsylvania | Applications of automatic anatomy recognition in medical tomographic imagery based on fuzzy anatomy models |
US9965863B2 (en) * | 2016-08-26 | 2018-05-08 | Elekta, Inc. | System and methods for image segmentation using convolutional neural network |
EP3573520A4 (en) * | 2017-01-27 | 2020-11-04 | Arterys Inc. | AUTOMATED SEGMENTATION USING FULLY CONVOLUTIVE NETWORKS |
CN111105424A (zh) * | 2019-12-19 | 2020-05-05 | 广州柏视医疗科技有限公司 | 淋巴结自动勾画方法及装置 |
CN111128340A (zh) * | 2019-12-25 | 2020-05-08 | 上海联影医疗科技有限公司 | 放射治疗计划生成设备、装置和存储介质 |
CN111311592B (zh) * | 2020-03-13 | 2021-10-08 | 中南大学 | 一种基于深度学习的三维医学图像自动分割方法 |
-
2020
- 2020-09-27 CN CN202080105608.4A patent/CN116261743A/zh active Pending
- 2020-09-27 WO PCT/CN2020/118205 patent/WO2022061840A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022061840A1 (en) | 2022-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11369805B2 (en) | System and method for pretreatement imaging in adaptive radiation therapy | |
US20240075315A1 (en) | System and method for learning models of radiotherapy treatment plans to predict radiotherapy dose distributions | |
AU2017209046B2 (en) | Systems and methods for segmentation of intra-patient medical images | |
JP6761128B2 (ja) | 合成医療画像を生成するためのニューラルネットワーク | |
CN110418665B (zh) | 放射治疗计划的自适应系统、存储介质 | |
CN112546461B (zh) | 放射治疗重新计划中误差检查的系统和方法 | |
EP4126214B1 (en) | Automatically-planned radiation-based treatment | |
CN113891742B (zh) | 用于基于连续深度学习的放射疗法治疗规划的方法和系统 | |
US11406844B2 (en) | Method and apparatus to derive and utilize virtual volumetric structures for predicting potential collisions when administering therapeutic radiation | |
US20230009625A1 (en) | Systems and methods for generating adaptive radiation therapy plan | |
US11478210B2 (en) | Automatically-registered patient fixation device images | |
US20230290480A1 (en) | Systems and methods for clinical target contouring in radiotherapy | |
US20210290979A1 (en) | Systems and methods for adjusting beam-limiting devices | |
US12011612B2 (en) | Systems and methods for robust radiation treatment planning | |
US20220387822A1 (en) | Systems and methods for radiotherapy planning | |
Lin et al. | Developing an AI-assisted planning pipeline for hippocampal avoidance whole brain radiotherapy | |
CN116261743A (zh) | 用于生成放射治疗计划的系统和方法 | |
US20230191158A1 (en) | Systems and methods for radiotherapy | |
US20240335677A1 (en) | Systems and methods for robust radiation treatment planning | |
CN118265555A (zh) | 用于生成虚拟组织等效物属性的机器学习建模 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |