CN117178291A - 使用辐射剂量信息进行自动器官分割模型训练 - Google Patents
使用辐射剂量信息进行自动器官分割模型训练 Download PDFInfo
- Publication number
- CN117178291A CN117178291A CN202280024487.XA CN202280024487A CN117178291A CN 117178291 A CN117178291 A CN 117178291A CN 202280024487 A CN202280024487 A CN 202280024487A CN 117178291 A CN117178291 A CN 117178291A
- Authority
- CN
- China
- Prior art keywords
- voxels
- image
- processor
- organ
- radiation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000000056 organ Anatomy 0.000 title claims abstract description 137
- 230000005855 radiation Effects 0.000 title claims abstract description 117
- 238000012549 training Methods 0.000 title claims abstract description 69
- 230000011218 segmentation Effects 0.000 title claims abstract description 18
- 238000010801 machine learning Methods 0.000 claims abstract description 88
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000001959 radiotherapy Methods 0.000 claims description 78
- 230000006870 function Effects 0.000 claims description 36
- 230000004044 response Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 98
- 238000004458 analytical method Methods 0.000 description 45
- 238000002591 computed tomography Methods 0.000 description 15
- 206010028980 Neoplasm Diseases 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 210000000920 organ at risk Anatomy 0.000 description 11
- 210000000988 bone and bone Anatomy 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 210000004072 lung Anatomy 0.000 description 6
- 210000003484 anatomy Anatomy 0.000 description 4
- 238000005094 computer simulation Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 206010006187 Breast cancer Diseases 0.000 description 3
- 208000026310 Breast neoplasm Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 238000002600 positron emission tomography Methods 0.000 description 3
- 238000002560 therapeutic procedure Methods 0.000 description 3
- 206010008342 Cervix carcinoma Diseases 0.000 description 2
- 102000053602 DNA Human genes 0.000 description 2
- 108020004414 DNA Proteins 0.000 description 2
- 208000006105 Uterine Cervical Neoplasms Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 230000004071 biological effect Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 201000010881 cervical cancer Diseases 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000002216 heart Anatomy 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 102100021523 BPI fold-containing family A member 1 Human genes 0.000 description 1
- GUTLYIVDDKVIGB-OUBTZVSYSA-N Cobalt-60 Chemical compound [60Co] GUTLYIVDDKVIGB-OUBTZVSYSA-N 0.000 description 1
- 101000899089 Homo sapiens BPI fold-containing family A member 1 Proteins 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 210000003850 cellular structure Anatomy 0.000 description 1
- 229910017052 cobalt Inorganic materials 0.000 description 1
- 239000010941 cobalt Substances 0.000 description 1
- GUTLYIVDDKVIGB-UHFFFAOYSA-N cobalt atom Chemical compound [Co] GUTLYIVDDKVIGB-UHFFFAOYSA-N 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002710 external beam radiation therapy Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 210000001562 sternum Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Software Systems (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Radiology & Medical Imaging (AREA)
- Urology & Nephrology (AREA)
- Surgery (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Radiation-Therapy Devices (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本文公开了用于训练用于自动器官分割的机器学习模型的系统和方法。处理器接收210一个或多个预轮廓器官的图像,该图像包括多个体素。处理器使用该图像来执行220机器学习模型,以输出针对该图像的多个体素的预测器官标签。处理器确定230针对多个体素的对应预测器官标签和预期器官标签之间的差异。处理器确定240与图像的多个体素相对应的辐射剂量水平。处理器基于相应体素的辐射剂量水平来确定250针对多个体素的权重。然后,处理器基于针对多个体素的差异和权重来训练260机器学习模型。
Description
技术领域
本申请总体上涉及使用一组预轮廓图像的辐射剂量信息来训练用于自动器官分割的机器学习模型。
背景技术
放射疗法(基于辐射的疗法)作为癌症处理被用于发出可杀死细胞或缩小肿瘤的高剂量辐射。患者身体上打算接收辐射的目标区域(例如,肿瘤)被称为计划靶标体积(PTV)。目标是在放射疗法处理期间向PTV递送足够的辐射以杀死癌细胞。然而,邻近PTV或PTV周围的其他器官或解剖区域可能会挡住辐射束,并且可能会接收足够的辐射而损坏或伤害这些器官或解剖区域。这些器官或解剖区域被称为危及器官(OAR)。通常,对于放射疗法处理计划(RTTP),医师或放射科医生在放射疗法之前使用例如计算机断层扫描(CT)图像、磁共振成像(MRI)图像、正电子发射断层扫描(PET)图像、经由一些其他成像模式获得的图像、或其组合来标识PTV和OAR。例如,医师或放射科医生可以在患者的医学图像上手动标记PTV和/或OAR。
准确地标识图像中的器官可能很重要,因此医师可以准确地配置放射疗法机以将辐射引导至正确的器官而不影响危及器官。通常,为了解决这种风险,医师可以使用轮廓绘制软件,基于医师认为的个体的器官来勾勒个体图像的轮廓。这种过程可能会花费大量时间,并且可能会由于某些图像的质量可能较差而导致不准确。不准确的轮廓绘制可能会导致放射疗法机在放射疗法处理期间将辐射完全引导到人的OAR或另一区域。例如,当确定用于配置向患者提供处理的放射疗法机的场几何设置时,医生可能会错误地勾勒出图像内的器官的轮廓。因此,绘制图像轮廓的典型方法会导致不准确的结果,并且在某些情况下会导致不适当的患者处理。
发明内容
由于前述原因,需要一种能够训练计算机模型(例如,机器学习模型)以准确地绘制个体图像的轮廓以指示器官、骨骼和/或器官或骨骼上的任何肿瘤的位置的系统。然而,使用机器学习模型对图像来绘制图像的轮廓的系统常常会在生成训练数据集时遇到问题,这些数据集要么具有足够的轮廓图像来训练相应的模型,要么具有准确的训练数据。例如,虽然临床医生可能会小心地绘制正在被处理的区域中的患者图像的轮廓,但是临床医生可能会不太小心或未能绘制出图像其他区域的轮廓。通过丢弃轮廓绘制不佳的图像或通过简单地将这些图像馈送到模型中进行训练,常规系统可以解决这些缺陷。但是,这种方法可能会导致模型训练不佳,因为没有足够的训练数据可用(这是仅基于在机器学习模型本地的诊所捕获的图像来训练的模型的常见问题),或者因为基于不准确的训练数据,模型被不适当地偏置或加权。因此,需要正确管理训练数据而不丢弃潜在的训练数据,同时确保模型诶被准确的训练。
为了克服这些缺陷,需要使用与训练数据集中的图像相对应的辐射剂量信息来训练机器学习模型。替代于丢弃不准确或部分不准确的轮廓图像,本文描述的系统和方法可以基于施加到所描绘患者的不同区域的辐射剂量来对图像的不同部分进行加权。由于医师更可能对描绘正在接收RTTP处理的器官的图像区域进行轮廓绘制,因此该系统可以基于被施加到与像素或体素相对应的器官的辐射剂量对图像的像素或体素(取决于图像是二维还是三维)进行加权。该系统可以用高权重对与高辐射剂量(例如,超过阈值的剂量)相对应的图像的像素或体素进行加权,因为这种像素或体素有可能与更高的准确度相关。因为该系统可以对图像的每个区域执行这种加权技术,所以系统可能不再需要丢弃已被部分标记或者已由倾向于仅准确地标记个体图像的部分的从业者标记的图像,并且可以进一步确保每个图像都可以被用于准确的训练。
在一个方面中,本发明提供一种用于训练用于自动器官分割的机器学习模型的方法,如权利要求1中所定义的。在另一方面中,本发明提供一种用于训练用于自动器官分割的机器学习模型的系统,如权利要求11中所定义的。可选特征在从属权利要求中被指定。
在一个实施例中,一种用于训练用于自动器官分割的机器学习模型的方法,包括:由处理器接收一个或多个预轮廓器官的图像,该图像包括多个体素;由处理器使用该图像来执行机器学习模型,以输出针对该图像的多个体素的预测器官标签;由处理器确定针对多个体素的对应预测器官标签和预期器官标签之间的差异;由处理器确定与图像的多个体素相对应的辐射剂量水平;由处理器基于相应体素的辐射剂量水平来确定针对多个体素的权重;并且由处理器基于针对多个体素的差异和权重来训练机器学习模型。
在另一个实施例中,一种用于训练用于自动器官分割的机器学习模型的系统包括处理器,该处理器被配置为:执行在非暂态计算机可读介质上存储的指令以接收一个或多个预轮廓器官的图像,该图像包括多个体素;使用该图像来执行机器学习模型,以输出针对该图像的多个体素的预测器官标签;确定针对多个体素的对应预测器官标签和预期器官标签之间的差异;确定与该图像的多个体素相对应的辐射剂量水平;基于相应体素的辐射剂量水平来确定针对多个体素的权重;并且基于针对多个体素的差异和权重来训练机器学习模型。
附图说明
参考附图通过示例的方式描述了本公开的非限制性实施例,附图是示意性的并且不旨在按比例绘制。除非被指示为表示背景技术,否则附图表示本公开的各方面。
图1图示了根据一个实施例的器官轮廓绘制分割系统的部件。
图2根图示了据一个实施例的在器官轮廓绘制分割系统中执行的过程的流程图。
图3A-图3B图示了根据一个实施例的示例加权预轮廓训练图像。
图4图示了根据一个实施例的在器官轮廓绘制分割系统中执行的另一过程的示例流程图。
具体实施方式
现在将参考附图中描绘的说明性实施例,并且在此将使用具体的语言来描述这些说明性实施例。然而,应当理解,并不旨在限制权利要求或本公开的范围。相关领域且拥有本公开内容的技术人员会想到的对在本文中说明的发明特征的更改和其他修改,以及在本文中说明的主题的原理的附加应用,应被视为在本文公开的主题的范围内。在不脱离本公开的精神或范围的情况下,可以使用其他实施例和/或可以做出其他改变。详细描述中描述的说明性实施例并不意味着限制所呈现的主题。
诸如卷积神经网络(CNN)模型之类的监督学习机器学习模型已被证明是自动器官分割的强大方法。在这种机器学习方法中,可以使用一组CT图像(或其他图像,诸如MRI或PET图像)和与CT图像内的器官相对应的标签来训练机器学习模型。这种训练通常需要大量的训练图像来充分训练模型。例如,训练机器学习模型以从图像准确地绘制器官的轮廓可能需要数百个案例。
临床数据库通常包含大量的预轮廓图像集,但是这种预轮廓图像集可能包含具有不准确标签的图像,这会影响这种训练的准确度。为了解决这种准确度问题,操作员可以手动管理训练集,移除任何包含不准确标签或者在图像内具有可能不适当地使机器学习模型偏向于做出不良预测的区域的图像。这种管理可能是昂贵的过程,并且通常是训练新的机器学习模型或调整现有模型以更好地反映器官轮廓绘制中的局部细微差别的瓶颈。
与临床数据库中的现有训练质量有关的一个特定问题在于,当训练中的图像的器官最初出于放射疗法计划的目的而被绘制轮廓时,临床医生通常想到其中器官轮廓绘制需要准确以实现高质量计划的“感兴趣区域”。然而,在感兴趣区域之外,技术人员可能没有付出太多努力来正确对图像进行轮廓绘制,这通常会导致技术人员不适当地标记图像的这些区域或根本没有标记这些区域。例如,技术人员可能仅部分地对器官(例如,脊柱)进行轮廓绘制,因为该器官可能很大并且该器官的部分可能远离感兴趣区域。这种图像可能因数据不准确而从训练集中被移除,或者可能被用于训练并导致经训练的模型没有被适当地训练。
通过实现本文描述的系统和方法,系统可以通过去除管理训练数据集的需要来解决前述的训练缺陷,并且替代地基于施加到由相应像素或体素描绘的人体区域的辐射剂量的量对图像的个体像素或体素进行加权。剂量信息可以被用于估计图像内的器官轮廓绘制最准确的位置。该系统可以实现一种加权训练方法,该方法强调与其中被施加最多辐射的人体区域相关联的像素或体素,而不强调或完全忽略与其中不施加或几乎不施加辐射的区域相关联的像素或体素。该系统可以使用剂量强调作为空间加权因子,因此可以使用部分器官信息来训练模型,并且随着器官分割的预期准确度降低,处理在任何权重调整中的逐渐去强调。
有利地,通过实现本文描述的系统和方法,系统可以使训练集选择自动化或者以其他方式训练用于自动器官轮廓绘制的机器学习模型。此外,该解决方案可以使该系统能够使用训练集中被部分绘制轮廓的器官而无需从该集中移除图像,并且无需调整训练以仅关注图像的被准确绘制轮廓的区域,并且/或者不会不适当地使模型的训练存在偏差。
如下文将描述的,服务器(本文中称之为分析服务器)可以训练神经网络或其他机器学习模型,以对器官的图像进行轮廓绘制以用于RTTP计划。在非限制性示例中,该服务器可以获得接收了放射疗法处理的个体的器官的预轮廓(例如,被标记)图像的训练集。对于集中的每个图像,该服务器可以确定在相应的放射疗法处理期间被施加到所描绘的个体器官的区域的辐射剂量。基于被施加到像素或体素所描绘的器官的区域的辐射剂量,该服务器可以确定图像的像素或体素的训练权重。服务器可以将训练集应用于机器学习模型,并且使用所确定的权重来训练该模型以对新图像中的器官进行轮廓绘制。图1是分析服务器在其中操作的系统的部件的非限制性示例。
图1图示了器官轮廓绘制分割系统100的部件。系统100可以包括分析服务器110a、系统数据库110b、电子数据源120a-d(统称为电子数据源120)、最终用户设备140a-e(统称为最终用户设备140)、以及管理员计算设备150。上面提及的部件可以通过网络130彼此连接。网络130的示例可以包括但不限于专用或公共LAN、WLAN、MAN、WAN和互联网。网络130可以包括根据一种或多种标准和/或经由一种或多种传送介质的有线和/或无线通信。
通过网络130的通信可以根据各种通信协议来执行,诸如传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)和IEEE通信协议。在一个示例中,网络130可以包括根据蓝牙规范集或另一标准或专有的无线通信协议的无线通信。在另一示例中,网络130还可以包括通过蜂窝网络的通信,例如包括GSM(全球移动通信系统)、CDMA(码分多址)、EDGE(全球演进增强型数据)网络。
系统100不限于本文描述的部件,并且可以包括附加或其他的部件(为简洁起见未示出),这些部件被认为是在本文描述的实施例的范围内。
分析服务器110a可以生成并显示电子平台,该电子平台被配置为使用各种计算机模型(包括人工智能和/或机器学习模型)以对具有标签(指示该图像的不同像素或体素所表示或描绘的器官)的二维和/或三维图像进行轮廓绘制。该电子平台可以包括在每个电子数据源120、最终用户设备140、和/或管理员计算设备150上显示的图形用户界面(GUI)。由分析服务器110a生成和托管的电子平台的一个示例可以是基于网络的应用,或者是被配置为在不同的电子设备(诸如移动设备、平板电脑、个人计算机等等)上显示的网站。在非限制性示例中,通过用指示所描绘的器官的标签对图像集(例如,CT扫描或其他图像)进行轮廓绘制,操作医师设备120b的医师可以生成训练数据集。该医师还可以生成用于处理在图像中描绘的个体的处理属性的记录。医生可以上传针对个体的RTTP,其指示针对每个相应个体的处理的处理属性以及与个体的RTTP相对应的标记图像。医师设备120b可以接收轮廓图像和/或RTTP并且将图像和计划传输到分析服务器110a或者在本地存储图像和/或计划。分析服务器110a或医师设备120b可以使用本文描述的系统和方法,基于对应的RTTP来确定针对图像的个体像素或体素的辐射剂量信息,基于该辐射剂量信息向像素或体素分配权重,并且根据权重来训练计算机模型。
如本文所述,处理属性可以是或包括与在放射疗法诊所和/或使用放射疗法机来处理患者有关的任何属性。处理属性可以包括但不限于不同的处理模式、针对外束放射疗法的场几何设置、副作用预测、器官和/或肿瘤分割、机器疗法属性、剂量管理属性(例如,剂量的量)、处理频率、和/或处理定时等。
分析服务器110a可以托管操作本文描述的任何电子设备的用户(例如,最终用户)可访问的网站,其中可以基于角色或每个特定用户的查看权限来控制经由各种网页呈现的内容。分析服务器110a可以是包括能够执行本文描述的各种任务和过程的处理器和非暂态机器可读存储的任何计算设备。这种计算设备的非限制性示例可以包括工作站计算机、膝上型计算机、服务器计算机等。虽然系统100包括单个分析服务器110a,但是分析服务器110a可以包括在诸如云环境之类的分布式计算环境中操作的任何数目的计算设备。
分析服务器110a可以执行被配置为显示电子平台(例如,托管网站)的软件应用,这可以生成各种网页并将其提供给每个电子数据源120和/或最终用户设备140。不同的用户可以使用网站来查看来自学习模型的预测结果和/或与来自学习模型的预测结果交互。
分析服务器110a可以被配置为基于一组用户授权凭证(例如,用户名、密码、生物测定、加密证书等)进行用户认证。分析服务器110a可以访问被配置为存储用户凭证的系统数据库110b,分析服务器110a可以被配置为参考系统数据库110b以便确定一组输入的凭证(据称正在对用户进行认证)是否与标识和认证用户的一组适当的凭证相匹配。
分析服务器110a还可以存储与操作一个或多个电子数据源120和/或最终用户设备140的每个用户相关联的数据。分析服务器110a可以使用该数据来权衡交互,同时相应地训练各种AI模型。例如,分析服务器110a可以指示用户是医疗专业人员,其输入可以被监视并被用于训练本文描述的机器学习或其他计算机模型。
分析服务器110a可以基于系统100内特定用户的角色来生成和托管网页。在这种实现中,用户的角色可以由在系统数据库110b中存储的用户记录中的数据字段和输入字段来定义。分析服务器110a可以认证用户,并且可以通过执行访问目录协议(例如,LDAP)来标识用户的角色。分析服务器110a可以生成根据由系统数据库110b中的用户记录定义的用户角色而自定义的网页内容。
分析服务器110a可以从用户接收RTTP数据(例如,患者和处理数据)或从数据存储库检索这种数据,分析该数据,并且在电子平台上显示结果。例如,在非限制性示例中,分析服务器110a可以从数据库120d查询和检索医学图像,并且将医学图像与从操作医师设备120b的医师接收的RTTP数据进行组合。然后,分析服务器110a可以使用各种模型(被存储在系统数据库110b内)以分析所检索的数据。然后,分析服务器110a经由电子医师设备120b、最终用户设备140、和/或管理员计算设备150上的电子平台来显示结果。
电子数据源120可以表示包含、检索和/或输入与RTTP相关联的数据(例如,患者数据和处理数据)的各种电子数据源。例如,分析服务器110a可以使用(与医师和/或诊所相关联的)诊所计算机120a、医师设备120b、服务器120c、以及(与医师和/或诊所相关联的)数据库120d来检索/接收与特定患者的处理计划相关联的RTTP数据。
最终用户设备140可以是包括能够执行本文描述的各种任务和过程的处理器和非暂态机器可读存储介质的任何计算设备。最终用户设备140的非限制性示例可以是工作站计算机、膝上型计算机、平板电脑和服务器计算机。在操作中,各种用户可以使用最终用户设备140来访问由分析服务器110a操作地管理的GUI。具体地,最终用户设备140可以包括诊所计算机140a、诊所数据库140b、诊所服务器140c、医疗设备、(诸如CT扫描机、放射疗法机(例如,线性加速器或钴机))之类的机器(140d)、以及临床设备140e。
管理员计算设备150可以表示由系统管理员操作的计算设备。管理员计算设备150可以被配置为显示所检索的数据、由分析服务器110a生成的处理属性(例如,各种分析度量和/或场几何),其中系统管理员可以监视由分析服务器110a、电子数据源120、和/或最终用户设备140使用的各种模型;审查反馈;和/或促进由分析服务器110a维护的机器学习模型的训练。
在操作中,医师可以访问在医师设备120b上执行的应用程序并输入RTTP数据(例如,患者信息、患者诊断、和/或放射疗法处理属性等)。分析服务器110a可以使用患者标识符以从电子数据源120查询患者数据(例如,患者解剖结构和/或医学图像)。然后,分析服务器110a可以使用本文描述的系统和方法对来自患者数据的医学图像进行轮廓绘制,基于绘制了轮廓的医学图像来生成配置数据以控制医疗设备140d,并且生成优化/统一的RTTP并将结果显示到医师设备120b、诊所计算机140a、和/或医疗设备140d(例如,放射疗法机的显示屏)上。
例如,分析服务器110a可以与医疗设备140d(实时或接近实时地)通信。托管医疗设备140d的服务器/计算机可以基于轮廓图像来调整医疗设备140d,其中分析服务器110a从外部源接收该轮廓图像或者分析服务器110a使用在分析服务器110a的存储器中存储的机器学习模型来对自身进行轮廓绘制。例如,分析服务器110a可以执行机器学习模型来对图像进行轮廓绘制,以指示人的当前正在接收放射疗法处理的不同器官的位置。分析服务器110a可以从图像中标识器官的位置,并且向医疗设备140d传输指令以指示如何操作机架和针对医疗设备140d的其他场几何设置以用于向个体提供放射疗法处理。分析服务器110a可以向医疗设备140d传输指示任何数目或类型的处理属性(例如,场几何设置)的指令,以促进基于轮廓图像的这种处理。在一些情况下,分析服务器110a可以将轮廓图像传输到医疗设备140d,并且医疗设备140d可以生成场几何设置以使用固有过程来处理对应的患者。
如上所述,分析服务器110a可以将机器学习模型(例如,神经网络、随机森林、和/或支持向量机等)存储在存储器中。分析服务器110a可以检索模型并对该机器学习模型进行训练,以预测针对个体的二维、和/或三维图像(例如,CT扫描)的标签。为此,分析服务器110a可以使用预轮廓图像的数据集和与预轮廓图像相对应的RTTP计划(例如,用于处理在图像中描绘的个体的RTTP计划)。例如,分析服务器110a可以使用个体的预轮廓图像来执行一个或多个机器学习模型,并且标识针对预轮廓图像的像素或体素的一个或多个标签的置信度分数。分析服务器110a可以检索与图像相对应的RTTP计划,并且确定在处理期间被施加到或将被施加到相应患者的不同区域的辐射量。辐射量可以与在放射疗法处理期间施加的辐射量、和/或在扫描(例如,X射线或CT扫描)期间施加的辐射量相对应。对于个体像素或体素,分析服务器110a可以将加权函数应用于像素或体素的辐射剂量以确定训练权重。训练权重可以是二进制或非二进制值,这取决于分析服务器110a被配置为应用的加权函数。分析服务器110a可以基于所确定的权重以及针对图像的每个像素或体素的预测置信度分数与真值之间的差来确定损失函数。数据处理系统可以使用所确定的损失函数来训练机器学习模型,以更准确地预测针对图像的标签或轮廓。
图2图示了根据一个实施例的在器官轮廓绘制分割系统中执行的过程的流程图。方法200可以包括步骤210-260。然而,其他实施例可以包括附加的或备选的步骤,或者可以完全省略一个或多个步骤。方法200被描述为由数据处理系统(例如,类似于图1中描述的分析服务器110a、数据源120、或最终用户设备140的计算机)执行。然而,方法200的一个或多个步骤可以由在图1中描述的分布式计算系统中操作的任意数目的计算设备来执行。例如,一个或多个计算设备可以本地执行图2中描述的部分或全部步骤,或者云设备可以执行这种步骤。
在步骤210处,数据处理系统(例如,分析服务器110a或最终用户设备140)可以接收一个或多个预轮廓器官的图像。该图像可以是二维或三维图像,并且可以相应地包括像素或体素。如本文所述,在相关图像是二维图像的情况下,对体素的每个引用可以射对像素的引用。该图像可以是在一个或多个放射疗法诊所接收放射疗法处理的个体的CT扫描。该图像可以描绘个体的器官和/或骨骼结构,并且在一些情况下可以对其进行轮廓绘制(例如,标记)以指示在该图像中描绘了哪些器官或其他身体部分。例如,该图像可以描绘人腹部区域的内部器官。该图像的不同体素可以被勾勒轮廓,或者以其他方式用它们表示的器官的指示符来标记。例如,体素可以勾勒人的肺、心脏和肠的轮廓,针对每个个体器官都有不同的标识。在一些实例中,可以通过标记同一器官的不同分段(诸如肝脏的不同部分)来更精细地标记体素。在这种实例中,体素可以用指示器官本身和体素表示的器官分段的多个标签来标记。
响应于个人(例如,技术人员或医生)将图像上传到数据处理系统的数据库,数据处理系统可以接收图像。例如,医生可以捕获CT扫描(例如,在放射疗法诊所处使用CT扫描仪)并将扫描上传到数据处理系统以进行存储。医生可以通过用户界面处的用户选择手动上传扫描,或者扫描仪可以自动上传图像。在一些情况下,在上传扫描之前,医师可以用扫描所描绘的不同器官的轮廓线来标记该扫描。医师可以手动或通过使用轮廓绘制软件(例如GRATIS、PLUNC、PRISM等)来这样做。医生可以标记全部或部分扫描,并且可以取决于标记医师的技能和护理水平以不同的准确度来进行标记。在标记图像后,医师可以将图像上传到数据库以进行存储。
数据处理系统还可以接收与相应图像相对应的放射疗法处理计划。除其他处理属性(例如,场几何设置和/或剂量频率等)之外,放射疗法处理计划还可以指示正在被施加到图像中所描绘的患者的各部分的辐射剂量。数据处理系统可以接收放射疗法处理计划作为记录(例如,文档或表格)并将该计划存储在数据库中。在一些情况下,数据处理系统可以存储放射疗法处理计划和图像之间的关联(例如,指针或作为查找表中的对应实例),其指示计划和图像彼此相关或对应。
在步骤220处,数据处理系统可以使用图像来执行机器学习模型,以输出针对图像的多个体素的预测器官标签。机器学习模型可以是随机森林、支持向量机、和/或神经网络(例如,卷积神经网络)等。数据处理系统可以通过从存储检索图像并生成表示图像的体素的特征向量来执行机器学习模型。数据处理系统可以将特征向量应用到机器学习模型,以获得指示机器学习模型预测体素所表示的器官的输出标签(或其他指示符,诸如空白空间、骨骼、或另一身体组成部分)。对于图像的个体体素,机器学习模型可以输出针对不同标签(例如,表示不同器官的标签)的置信度分数。数据处理系统可以接收输出的置信度分数,并且将与满足预定义标准的置信度分数(例如,置信度分数超过阈值、和/或是针对体素的预测分数的最高置信度分数)相关联的标签标识为针对体素的预测标签。数据处理系统可以迭代地比较针对不同体素的置信度分数以确定针对每个体素的标签。因此,数据处理系统可以执行机器学习模型以获得针对图像的每个体素的标签。
在步骤230处,数据处理系统可以确定针对多个体素的对应预测器官标签和预期器官标签之间的差异。预期器官标签可以是这样的标签,技术人员或数据处理系统在捕获图像之后并且在数据处理系统存储图像之前用其对图像进行轮廓绘制。预期标签可以被存储为相应图像的元数据。预期标签可以被视为针对体素的真值或正确标签。该差异可以是预期器官标签的置信度分数(例如,50%、70%、100%等)与针对同一标签的预测置信度分数的差异。数据处理系统可以从图像的元数据中标识针对体素的真值标签,并且可以确定针对该标签的预期置信度分数为100%。
数据处理系统可以通过将对应的置信度分数彼此相减来确定差异。例如,数据处理系统可以将针对特定体素的真值标识为针对“肺”标签的100%。数据处理系统可以针对相同体素将针对来自机器学习模型的肺标签的输出百分比标识为70%。数据处理系统可以通过从100%减去70%或从70%减去100%来确定预期标签和预测标签之间的差异。数据处理系统可以确定针对相同体素的不同标签、和/或针对图像的不同体素的这种差异。
在步骤240处,数据处理系统可以确定与图像的多个体素相对应的辐射剂量水平。数据处理系统可以基于所存储的与图像相对应的放射疗法处理计划来确定针对体素的辐射剂量水平。数据处理系统可以基于所存储的计划和图像之间的关联来标识放射疗法处理计划,并且从存装置中检索该计划。在检索计划后,数据处理系统可以标识计划要求应用于个体的不同器官和/或器官区域的辐射剂量水平。数据处理系统可以将不同的剂量水平与表示相应的器官和/或区域的图像的体素相关联(例如,分配),以确定与体素相对应的辐射剂量水平。
放射疗法处理计划可以是电子文档或表格。为了从放射疗法处理计划文档中标识辐射剂量水平,数据处理系统可以对该文档使用自然语言处理技术。数据处理系统可以使用自然语言处理技术以标识正在接收处理的患者的器官和/或区域、和/或正被施加到不同区域的辐射剂量水平。然后,数据处理系统可以标识与相应区域相对应的图像的体素,以确定正被施加到体素所表示的区域的辐射剂量水平。
在一些实例中,放射疗法处理计划可以是具有指定字段的存储表格,以供医师输入正在被施加到患者的不同器官和/或区域的辐射剂量水平。在这种实例中,数据处理系统可以标识所指定的字段并从这些字段检索针对辐射剂量水平的值。然后,数据处理系统可以标识与相应区域相对应的图像的体素,以确定被施加到体素所表示的区域的剂量水平。
在又一些实例中,数据处理系统可以基于计划的处理属性来确定辐射剂量水平。例如,数据处理系统可以标识(例如,使用自然语言处理技术或根据表格中的指定字段)放射疗法机(例如,线性加速器、质子束机、和/或钴-60机等)用于根据放射疗法处理计划来处理患者的场几何设置。这种场几何设置可以包括患者定位、患者几何、诊察台位置、机架位置、辐射方向、和/或辐射强度等。数据处理系统可以通过标识放射疗法机在疗法期间引导的辐射的辐射强度和/或方向、以及患者对应的定位和几何来确定辐射剂量。在一些情况下,数据处理系统可以标识患者和机架定位的时间戳、辐射方向、和/或处理强度。基于所标识的数据,数据处理系统可以确定放射疗法机对个体的不同部分施加处理的时间长度,以确定被施加到个体的各个部分的辐射量或辐射剂量水平。数据处理系统可以通过标识施加到相应器官或器官部分的辐射量来确定体素的水平。
在步骤250处,数据处理系统可以基于相应体素的辐射剂量水平来确定针对多个体素的权重。权重可以是训练权重,其指示分配给体素的真值或标签的预期准确度。在技术人员或医师手动标记体素(例如,使用轮廓绘制软件)的情况下,这种权重可能尤其重要。因为技术人员或医师可以使用这种标记来创建放射疗法处理计划,所以技术人员或医师可以小心地准确且精确地标记例如正在被施加辐射的区域周围的体素,并且在标记其他区域时可以不太小心或根本不标记这些区域。例如,如果医师正在处理患者肺部的肿瘤,则该医师可以确保在肺部周围正确绘制患者CT扫描的轮廓,因此图像用于处理病人的任何用途(例如,确定针对用于处理的放射疗法机的场几何设置)可以是有效和正确的。然而,这样做时,医师可能会不准确地绘制患者其他区域(诸如患者肠道)的轮廓,或者无法完全标记这些区域。如果使用了不一致的标记图像来训练机器学习模型,则当该模型针对新图像执行时,可能会被不正确地偏置和/或被加权,并且输出错误的预测。
为了确定针对多个体素中的体素的权重,数据处理系统可以对与该体素相对应的放射疗法剂量水平执行加权函数。例如,数据处理系统可以将放射疗法剂量水平与二进制加权函数中的目标放射疗法剂量进行比较。这种函数的一个示例如下:
其中d是体素的放射疗法剂量水平,w(d)是加权函数,d*是目标放射疗法剂量。如以上函数中所图示的,响应于确定放射疗法剂量水平超过目标放射疗法剂量,数据处理系统可以确定针对体素的权重是1。响应于确定放射疗法剂量水平小于或等于目标放射疗法剂量,数据处理系统可以确定针对体素的权重是0。数据处理系统可以将目标放射疗法剂量设置为任何水平。
在一些实例中,加权函数可以是分层加权函数,其中不同的权重被分配给不同的剂量范围。例如,数据处理系统可以向与20Gy以下的辐射剂量水平相对应的体素分配权重0,向与20Gy和30Gy之间的辐射剂量水平相对应的体素分配权重0.25,向与30Gy至40Gy之间辐射剂量水平相对应的体素分配权重0.5,向与40Gy至50Gy之间辐射剂量水平相对应的体素分配权重0.75,向与超过50Gy的辐射剂量水平相对应的体素分配权重1。数据处理系统可以将这种权重分配给任意数目的范围并且可以针对任意范围分配这种权重。
在一些实例中,数据处理系统可以被配置为,基于体素所描绘的器官的计划类型(例如,目标器官、危及器官、和/或其他器官等)来选择阈值或其他加权标准以用于对不同的剂量范围进行加权。例如,数据处理系统可以根据与图像相关联的处理计划来标识预轮廓图像的轮廓勾器官是目标器官还是危及器官。对于表示不同器官的体素,数据处理系统可以检索与体素所的器官的类型相关联的阈值,并且将体素的辐射剂量水平与相应的阈值进行比较。例如,当处于图像的风险区域中的器官中存在高辐射剂量水平时,这可能是有利的,这可能意味着该器官在处理计划期间被“牺牲”(例如,预期会接收不成比例的辐射量以确保目标器官接收到足够量的辐射)。虽然描绘危及器官的体素可能与高辐射剂量相关联,但该器官可能未被精确地绘制轮廓,因此数据处理系统可以确定该体素的权重为零或比其他体素低。为了考虑所牺牲的危及器官,数据处理系统可以使用针对危及器官计划类型的上升加权阈值,其中当辐射剂量增加到上升阈值以上时,权重增加直到辐射剂量增加到特定阈值以上,并且数据处理系统将权重降低到零,或者使具有这种辐射剂量水平的体素的权重小于表示其他危及器官且与较低的辐射剂量水平相关联的体素。
在一些实例中,所描述的目标放射疗法剂量或范围可以与正在被处理的身体上的位置相对应。这可能是有利的,因为处理身体不同区域的癌症需要不同水平的辐射。例如,乳腺癌可能需要比宫颈癌更多的辐射才能以进行充分的处理。因此,虽然可以比处理宫颈癌施加更少的辐射来处理乳腺癌,但是医师仍然可以准确地绘制针对乳腺癌的CT扫描的轮廓,尽管对患病区域施加了更少的辐射。因此,训练图像可以被标记以指示被用于处理的癌症或另一种疾病的类型。在接收或标识训练图像后,数据处理可以基于图像的相应标签从存储器检索加权标准(例如,阈值和范围),并且基于检索到的标准来确定针对图像的体素的权重。
在一些实例中,替代于输出二进制值,加权函数可以基于相应体素的辐射水平与目标辐射水平之间所确定的差异以及缩放值来缩放。例如,加权函数可以是:
其中d是体素的放射疗法剂量水平,w(d)是加权函数,d*是目标放射疗法剂量,而dscale是缩放值。dscale可以是任何值并且可以由用户输入。取决于数据处理系统的配置方式,加权函数可以不包括由dscale来调整d*和d之间的差异。数据处理系统可以将上述函数应用于图像的体素以确定针对每个体素的权重。因此,数据处理系统可以在某种程度上基于图像的每个体素来训练机器学习模型,而不是仅使用具有超过阈值的辐射剂量水平的体素。
在数据处理系统被配置为基于与图像的RTTP计划相对应的场几何设置来确定针对个体体素的辐射剂量的配置中,数据处理系统可以确定相应的放射疗法机在处理期间将辐射引导向人的身体上的区域。数据处理系统可以基于该确定来确定针对对应体素的权重。例如,数据处理系统可以响应于确定放射疗法机在个体身体的区域处引导辐射而将权重确定为二进制值1,并且响应于确定放射疗法机没有将辐射引导向个体身体的另一区域而将权重确定为二进制值0。
在步骤260处,数据处理系统可以基于针对多个体素的差异和权重来训练机器学习模型。为此,通过将所确定的针对体素的权重分配给基于针对体素的预测标签和真值而确定的损失函数,数据处理系统可以确定针对个体体素的损失。例如,数据处理系统可以执行下式来确定针对特定体素的损失:
其中Lossi是针对个体体素i的损失,w(di)是加权函数,而li是针对体素i的预测器官标签,li *是针对体素i的真值标签。数据处理系统可以将所确定的权重分配给任何存储的损失函数以生成可执行的损失函数。然后,数据处理系统可以使用以下损失函数来确定针对图像的损失:
其中Losstotal是针对图像的总损失。数据处理系统可以使用针对个体体素的加权损失函数和/或针对图像的加权损失函数来训练机器学习模型。数据处理系统可以使用反向传播技术来确定针对相应损失函数的梯度,并且使用该梯度(诸如通过使用梯度下降技术)来更新机器学习模型的权重和/或参数。
在被训练后,数据处理系统可以通过向机器学习模型馈送另一预轮廓图像来确定针对机器学习模型的准确度。数据处理系统可以通过将输出的预测标签与针对图像的真值预测标签进行比较来确定针对图像的准确度,并且将准确度与阈值进行比较。数据处理系统可以迭代地馈送机器学习模型训练图像,直到确定模型准确到阈值为止,此时数据处理系统可以实时使用机器学习模型对图像进行轮廓绘制以用于RTTP计划。
例如,在将机器学习模型训练到阈值准确度之后,数据处理系统可以接收人的扫描图像(例如,二维图像或三维图像或模型)。该图像可能没有进行轮廓绘制或标记。数据处理系统可以将图像(例如,图像的个体体素的特性)馈送到机器学习模型中,并且执行该模型以获得针对图像的个体体素的预测标签的输出。通过在图像中绘制不同器官的轮廓或根据所分配的标签来生成绘制了轮廓的三维模型,数据处理系统可以在记录中重新创建图像。数据处理系统可以基于预测的输出和放射疗法属性来控制或调整放射疗法机或放射疗法机的设置。
现在参考图3A-图3B,图示了加权的预轮廓训练图像300的非限制性示例。训练图像300可以是人的CT扫描的预轮廓的二维图像或三维图像,其可以(例如,作为特征向量)被输入到机器学习模型中以训练机器学习模型对原始(例如,未绘制轮廓的)图像进行轮廓绘制。具体地,图3A图示了训练图像300,其包括描绘或以其他方式表示在训练图像300中描绘的个体的对应部分的多个体素302a-p。体素302a-p可以被绘制轮廓以图示所描绘的个体的一个或多个器官或骨骼304a-e。如所描绘的,器官或骨骼304a-e可以是肺、心脏、骨盆、和/或胸骨等。训练图像可以图示或被轮廓绘制以图示人的任何器官或骨骼,在一些情况下包括在这种器官或骨骼上的肿瘤、肿块或病变。
现在参考图3B,通过实现本文描述的系统和方法,数据处理系统可以确定图像300的体素302a-p的权重。该权重可以是数据处理系统可以分配给体素302a-p的二进制或非二进制值。例如,如图所示,数据处理系统可以基于加权函数将针对体素的权重确定为1或0。数据处理系统可以使用损失函数中的这种权重来训练机器学习模型,以使用本文所述的反向传播和梯度下降技术来准确地对图像进行轮廓绘制。
现在参考图4,图示了用于生成训练数据集的序列400的非限制性示例,使用训练数据集来训练机器学习模型以对图像的器官进行轮廓绘制,并且然后使用经训练的机器学习模型来对图像进行轮廓绘制以调整放射疗法机的配置。序列400可以包括用于训练机器学习模型的序列402和用于执行机器学习模型以对图像的器官进行轮廓绘制以控制使用放射疗法机的处理的序列404。
在序列402中,图像406可以被输入到机器学习模型408中。图像406可以是个体的二维或三维图像(例如,CT扫描、MRI扫描、或PET扫描或基于这种扫描生成的三维模型),其图示个体的骨骼和/或器官以及在个体内生长的任何肿瘤。图像406可以是训练数据集(未示出)的训练图像,其已被标记或轮廓绘制以指示图像的个体体素所表示的器官或骨骼。图像406可被输入为具有表示图像406的体素的特性(例如,颜色、尺寸、深度、和/或不透明度等)的值的特征向量。图像406可以由在放射疗法诊所本地操作或在云中操作的数据处理系统插入到机器学习模型408中。机器学习模型408可以将图像406的每个体素的一个或多个标签(例如,预测器官标签410)的置信度分数输出到模型训练器412。
模型训练器412可以包括可由一个或多个处理器执行的指令,其使处理器训练机器学习模型408以对图像中的器官进行轮廓绘制。模型训练器412可以将图像406应用于机器学习模型408。模型训练器412可以包括加权引擎414,加权引擎414被配置为基于与相应体素相对应的辐射剂量来确定针对图像的个体体素的权重。加权引擎414可以从机器学习模型408接收预测器官标签410和图像406的标识(例如,名称、编号、或另一标识符)。加权引擎414可以将该标识与训练数据库416进行比较,并且响应于对与RTTP 418上的标识符相匹配的图像406的标识来标识与图像406相对应的RTTP 418。如本文所述,加权引擎414可以基于RTTP 418来确定个体体素的辐射剂量,并且基于辐射剂量来确定权重。加权引擎414可将预测器官标签410与指示针对图像406的正确标签的真值420进行比较。加权引擎414可以基于所确定的权重以及预测器官标签410与真值420之间的差异来生成损失函数。加权引擎414可以使用训练指令422,基于损失函数(例如,使用反向传播和梯度下降技术)来调整机器学习模型408的权重或参数。模型训练器412可以连续地将类似于图像406的训练图像应用于机器学习模型408,直到机器学习模型408被训练到准确度阈值百分比。在充分训练后,机器学习模型408可以对图像中的器官进行轮廓绘制以用于RTTP计划。
在充分训练机器学习模型408之后,在序列404处,可以使用图像424作为输入来执行机器学习模型408。机器学习模型408可以生成针对器官标签426的置信度分数并将其传输至放射疗法机控制器428。放射疗法机控制器428可以包括可由一个或多个处理器执行的指令,该指令使处理器接收置信度分数、基于置信度分数对图像424进行轮廓绘制、并基于轮廓图像来控制放射疗法机430。
例如,放射疗法机控制器428可以包括轮廓绘制引擎432和配置调整器434。轮廓绘制引擎432可以接收针对器官标签426的置信度分数并且基于置信度分数(例如,基于满足预定标准的分数,诸如满足阈值或是最高分数)来确定针对图像424的个体体素的正确标签。配置调整器434可以根据轮廓图像来标识该标签并将配置数据436传输到放射疗法机430,以调整场几何设置或其他RTTP特性以处理图像424中所描绘的患者。
在一个实施例中,数据处理系统可以基于与辐射剂量的生物影响相关联的函数来确定针对个体体素的辐射剂量和/或权重。例如,替代于使用来自RTTP的辐射剂量来确定针对体素的剂量,数据处理系统可以测量辐射剂量在人体内引起的生物影响,或者从另一源接收这种测量。这种影响的示例包括但不限于肿瘤大小的变化、细胞结构的变化、脱氧核糖核酸(DNA)的变化等。数据处理系统可以测量或将变化与阈值或查找表进行比较,以确定施加到受影响区域的辐射剂量(例如,每个阈值可以对应于不同的辐射剂量)或确定与受影响区域相对应的体素的权重(例如,每个阈值可以与不同的辐射剂量或不同的权重相对应)。如本文所述,数据处理系统可以使用所确定的辐射剂量或权重来训练机器学习模型以对图像进行轮廓绘制。
结合本文公开实施例来描述的各种说明性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性,上文已大体上按照其功能性来描述各种说明性部件、块、模块、电路和步骤。这种功能性是否被实现为硬件或软件取决于特定应用和对整个系统施加的设计约束。技术人员可以针对每个特定应用以变化的方式实现所描述的功能性,但是这种实现决策不应被解释为引起偏离本公开或权利要求的范围。
以计算机软件实现的实施例可以以软件、固件、中间件、微代码、硬件描述语言、或其任意组合来实现。代码段或机器可执行指令可以表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类,或指令、数据结构或程序语句的任意组合。代码段可以通过传递和/或接收信息、数据、变量、参数或存储器内容而耦合到另一代码段或硬件电路。信息、变量、参数、数据等可以经由任何合适的方式来被传递、转发或传输,包括存储器共享、消息传递、令牌传递、网络传输等。
用于实现这些系统和方法的实际软件代码或专用控制硬件不限制所要求保护的特征或本公开。因此,在不参考具体软件代码的情况下描述了系统和方法的操作和行为,应当理解,软件和控制硬件可以被设计成基于本文描述来实现系统和方法。
当以软件实现时,功能可以作为一个或多个指令或代码被存储在非暂态计算机可读或处理器可读的存储介质上。本文公开的方法或算法的步骤可以体现在处理器可执行软件模块中,该处理器可执行软件模块可以驻留在计算机可读或处理器可读的存储介质上。非暂态计算机可读或处理器可读的介质包括计算机存储介质和便于将计算机程序从一处传输到另一处的有形存储介质。非暂态处理器可读存储介质可以是可由计算机访问的任何可用介质。作为示例而非限制,这种非暂态处理器可读介质可包括RAM、ROM、EEPROM、CD-ROM、或其他光盘存储、磁盘存储或其他磁存储设备、或任何其他有形存储介质,它们可以被用于以指令或数据结构的形式存储期望的程序代码并且可以被计算机或处理器访问。如本文所使用的,磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘和蓝光盘,其中磁盘通常以磁性方式再现数据,而光盘则用激光以光学方式再现数据。上述各项的组合也应当被包括在计算机可读介质的范围内。另外,方法或算法的操作可以作为代码和/或指令的一个或任意组合或集合而驻留在非暂态处理器可读介质和/或计算机可读介质上,这可以被并入计算机程序产品中。
提供了公开实施例的前述描述以使本领域的任何技术人员能够做出或使用本文所描述的实施例及其变型。对这些实施例的各种修改对于本领域技术人员来说将是显而易见的,并且本文定义的原理可以被应用于其他实施例而不脱离本文公开的主题的精神或范围。因此,本公开并不旨在限于本文所示的实施例,而是应符合与所附权利要求以及本文公开的原理和新颖特征相一致的最宽范围。
虽然已经公开了各个方面和实施例,但是可以设想其他方面和实施例。所公开的各个方面和实施例是为了说明的目的而不旨在进行限制,真正的范围和精神由所附权利要求指示。
Claims (20)
1.一种用于训练用于自动器官分割的机器学习模型的方法,所述方法包括:
由处理器接收一个或多个预轮廓器官的图像,所述图像包括多个体素;
由所述处理器使用所述图像来执行机器学习模型,以输出针对所述图像的所述多个体素的预测器官标签;
由所述处理器确定针对所述多个体素的对应预测器官标签和预期器官标签之间的差异;
由所述处理器确定与所述图像的所述多个体素相对应的辐射剂量水平;
由所述处理器基于相应体素的所述辐射剂量水平来确定针对所述多个体素的权重;以及
由所述处理器基于针对所述多个体素的所述差异和所述权重来训练所述机器学习模型。
2.根据权利要求1所述的方法,其中确定针对所述多个体素中的体素的权重包括:
由所述处理器将针对所述体素的辐射剂量水平与阈值进行比较;以及
响应于确定所述辐射剂量水平不超过所述阈值,由所述处理器确定所述体素的所述权重是零。
3.根据权利要求1或2所述的方法,其中确定针对所述多个体素的所述辐射剂量水平包括:
由所述处理器接收包括针对患者的处理属性的辐射疗法处理计划,所述处理属性包括针对所述多个体素的辐射剂量水平;以及
由所述处理器从所述辐射疗法处理计划中标识所述辐射剂量水平。
4.根据权利要求1或2所述的方法,其中确定针对所述多个体素的所述辐射剂量水平包括:
由所述处理器接收包括针对患者的处理属性的辐射疗法处理计划,所述处理属性包括针对处理所述患者的辐射疗法机的场几何设置;以及
由所述处理器基于所述场几何设置来确定所述辐射剂量水平。
5.根据权利要求4所述的方法,其中基于所述场几何设置来确定所述辐射剂量水平包括:
由所述处理器确定所述图像的所述多个体素是否与所述辐射疗法机将辐射引导向的所述患者的身体上的区域相对应;
其中由所述处理器确定所述多个体素的所述权重包括:由所述处理器基于所述多个体素是否与所述放射疗法机将辐射引导向的所述患者的身体上的区域相对应的所述确定,来确定针对所标识的所述体素的二进制权重。
6.根据权利要求1至5中任一项所述的方法,其中确定针对所述多个体素中的体素的权重包括:
由所述处理器确定与所述体素相对应的辐射剂量水平和目标剂量水平之间的差;以及
由所述处理器通过将sigmoid函数应用于所述差来确定所述权重。
7.根据权利要求6所述的方法,其中确定针对所述体素的所述权重还包括:
由所述处理器基于比例因子来调整所述辐射剂量水平和所述目标剂量水平之间的所述差,
其中将所述sigmoid函数应用于所述差包括:由所述处理器将所述sigmoid函数应用于经调整的所述差。
8.根据权利要求1至7中任一项所述的方法,其中训练所述机器学习模型包括:
由所述处理器将所确定的所述权重分配给针对所述多个体素的对应预测器官标签和预期器官标签之间的对应平方差。
9.根据权利要求1至8中任一项所述的方法,还包括:
由所述处理器接收第二图像;
由所述处理器使用所述第二图像来执行经训练的所述机器学习模型以获得轮廓器官的输出;以及
由所述处理器基于所述轮廓器官的输出来调整放射疗法机的场几何设置。
10.根据权利要求9所述的方法,其中接收所述第二图像包括接收三维图像;
其中使用所述第二图像来执行经训练的所述机器学习模型包括:由所述处理器将所述图像的个体体素应用到经训练的所述机器学习模型,并且
其中获得所述轮廓器官的所述输出包括:获得所述轮廓器官的三维模型,所述三维模型包括针对所述三维模型的体素的预测标签,所述预测标签指示与所述相应体素相对应的轮廓器官。
11.一种用于训练用于自动器官分割的机器学习模型的系统,所述系统包括:
处理器,所述处理器被配置为执行在非暂态计算机可读介质上存储的指令以:
接收一个或多个预轮廓器官的图像,所述图像包括多个体素;
使用所述图像来执行机器学习模型,以输出针对所述图像的所述多个体素的预测器官标签;
确定针对所述多个体素的对应预测器官标签和预期器官标签之间的差异;
确定与所述图像的所述多个体素相对应的辐射剂量水平;
基于相应体素的所述辐射剂量水平来确定针对所述多个体素的权重;以及
基于针对所述多个体素的所述差异和所述权重来训练所述机器学习模型。
12.根据权利要求11所述的系统,其中所述处理器被配置为通过以下操作来确定针对所述多个体素中的体素的权重:
将针对所述体素的辐射剂量水平与阈值进行比较;以及
响应于确定所述辐射剂量水平不超过所述阈值,确定针对所述体素的所述权重是零。
13.根据权利要求11或12所述的系统,其中所述处理器被配置为通过以下操作来确定针对所述多个体素的所述辐射剂量水平:
接收包括针对患者的处理属性的辐射疗法处理计划,所述处理属性包括针对所述多个体素的辐射剂量水平;以及
从所述辐射疗法处理计划中标识所述辐射剂量水平。
14.根据权利要求11或12所述的系统,其中所述处理器被配置为通过以下操作来确定针对所述多个体素的所述辐射剂量水平:
接收包括针对患者的处理属性的辐射疗法处理计划,所述处理属性包括针对处理所述患者的辐射疗法机的场几何设置;以及
基于所述场几何设置来确定所述辐射剂量水平。
15.根据权利要求14所述的系统,其中所述处理器被配置为通过以下操作基于所述场几何设置来确定所述辐射剂量水平:
确定所述图像的所述多个体素是否与所述辐射疗法机将辐射引导向的所述患者的身体上的区域相对应;以及
基于所述多个体素是否与所述放射疗法机将辐射引导向的所述患者的身体上的区域相对应的所述确定,来确定所标识的所述体素的二进制权重。
16.根据权利要求11至15中任一项所述的系统,其中所述处理器被配置为通过以下操作来确定针对所述多个体素中的体素的权重:
确定与所述体素相对应的辐射剂量水平和目标剂量水平之间的差;以及
通过将sigmoid函数应用于所述差来确定所述权重。
17.根据权利要求16所述的系统,其中所述处理器被配置为通过以下操作来确定针对所述体素的所述权重:
基于比例因子来调整所述辐射剂量水平和所述目标剂量水平之间的所述差,
其中所述处理器被配置为通过将所述sigmoid函数应用于经调整的所述差,将所述sigmoid函数应用于所述差。
18.根据权利要求11至17中任一项所述的系统,其中所述处理器被配置为通过以下操作来训练所述机器学习模型:
将所确定的所述权重分配给针对所述多个体素的对应预测器官标签和预期器官标签之间的对应平方差。
19.根据权利要求11至18中任一项所述的系统,其中所述处理器被配置为:
接收第二图像;
使用所述第二图像来执行经训练的所述机器学习模型以获得轮廓器官的输出;以及
基于所述轮廓器官的输出来调整放射疗法机的场几何设置。
20.根据权利要求19所述的系统,其中所述处理器被配置为通过接收三维图像来接收所述第二图像;
其中所述处理器被配置为通过将所述图像的个体体素应用于经训练的所述机器学习模型,使用所述第二图像来执行经训练的所述机器学习模型,并且
其中所述处理器被配置为通过获得所述轮廓器官的三维模型来获得所述轮廓器官的所述输出,所述三维模型包括:针对所述三维模型的体素的预测标签,所述预测标签指示与所述相应体素相对应的轮廓器官。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/214,348 US20220309673A1 (en) | 2021-03-26 | 2021-03-26 | Using radiation dose information for automatic organ segmentation model training |
US17/214,348 | 2021-03-26 | ||
PCT/EP2022/057279 WO2022200244A2 (en) | 2021-03-26 | 2022-03-21 | Using radiation dose information for automatic organ segmentation model training |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117178291A true CN117178291A (zh) | 2023-12-05 |
Family
ID=81327069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280024487.XA Pending CN117178291A (zh) | 2021-03-26 | 2022-03-21 | 使用辐射剂量信息进行自动器官分割模型训练 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220309673A1 (zh) |
EP (1) | EP4315239A2 (zh) |
CN (1) | CN117178291A (zh) |
WO (1) | WO2022200244A2 (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107209240B (zh) * | 2015-01-30 | 2018-10-23 | 皇家飞利浦有限公司 | 用于针对后续磁共振成像的自动扫描规划的系统和方法 |
GB201617507D0 (en) * | 2016-10-14 | 2016-11-30 | Axial3D Limited | Axial3D UK |
US11615879B2 (en) * | 2017-09-08 | 2023-03-28 | The General Hospital Corporation | System and method for automated labeling and annotating unstructured medical datasets |
EP3530318A1 (en) * | 2018-02-21 | 2019-08-28 | Elekta Limited | Methods for inverse planning |
EP3660785A1 (en) * | 2018-11-30 | 2020-06-03 | Laralab UG | Method and system for providing an at least 3-dimensional medical image segmentation of a structure of an internal organ |
US11367185B2 (en) * | 2019-07-12 | 2022-06-21 | Mayo Foundation For Medical Education And Research | Deep learning-based medical image quality evaluation and virtual clinical trial |
US20210177295A1 (en) * | 2019-12-11 | 2021-06-17 | GE Precision Healthcare LLC | Systems and methods for generating diagnostic scan parameters from calibration images |
-
2021
- 2021-03-26 US US17/214,348 patent/US20220309673A1/en active Pending
-
2022
- 2022-03-21 EP EP22717097.4A patent/EP4315239A2/en active Pending
- 2022-03-21 WO PCT/EP2022/057279 patent/WO2022200244A2/en active Application Filing
- 2022-03-21 CN CN202280024487.XA patent/CN117178291A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022200244A2 (en) | 2022-09-29 |
US20220309673A1 (en) | 2022-09-29 |
EP4315239A2 (en) | 2024-02-07 |
WO2022200244A3 (en) | 2022-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | MRI-based treatment planning for liver stereotactic body radiotherapy: validation of a deep learning-based synthetic CT generation method | |
JP7030050B2 (ja) | 組織パラメータ推定を用いたmrデータからの疑似ct生成 | |
JP6567179B2 (ja) | 特徴回帰モデルを用いたmrデータからの疑似ct生成 | |
EP3140810B1 (en) | Method for generating synthetic electron density information for dose calculations based on mri | |
JP7092745B2 (ja) | 画像ベースの放射線治療計画に使用されるように構成される医用製品 | |
JP6620116B2 (ja) | 自動治療計画のためのシステム及び方法 | |
US9684961B2 (en) | Scan region determining apparatus | |
US20180247412A1 (en) | Method and apparatus for assessing image registration | |
US11679274B2 (en) | Artificial intelligence modeling for radiation therapy dose distribution analysis | |
US20220296924A1 (en) | Artificial intelligence modeling for radiation therapy dose distribution analysis | |
CN118043861A (zh) | Ai模型生产的自动化协作过程 | |
US20230097224A1 (en) | Ai-based atlas mapping slice localizer for deep learning autosegmentation | |
CN117178291A (zh) | 使用辐射剂量信息进行自动器官分割模型训练 | |
CN116583909A (zh) | 用于放射疗法的神经网络校准 | |
US20220414402A1 (en) | Automatic localized evaluation of contours with visual feedback | |
EP4372684A1 (en) | Patient-specific auto-segmentation in online adaptive radiotherapy | |
US20220414525A1 (en) | Machine learning approach for solving beam angle optimization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |