CN117043816A - 用于肿瘤分割的可视化的方法和装置 - Google Patents
用于肿瘤分割的可视化的方法和装置 Download PDFInfo
- Publication number
- CN117043816A CN117043816A CN202280018674.7A CN202280018674A CN117043816A CN 117043816 A CN117043816 A CN 117043816A CN 202280018674 A CN202280018674 A CN 202280018674A CN 117043816 A CN117043816 A CN 117043816A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- tumor
- predictions
- subject
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 172
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012800 visualization Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims description 42
- 210000003484 anatomy Anatomy 0.000 claims description 6
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 238000005192 partition Methods 0.000 claims description 3
- 238000002271 resection Methods 0.000 description 20
- 230000001338 necrotic effect Effects 0.000 description 18
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 16
- 230000005684 electric field Effects 0.000 description 14
- 230000000670 limiting effect Effects 0.000 description 13
- 230000002980 postoperative effect Effects 0.000 description 13
- 210000001519 tissue Anatomy 0.000 description 8
- 208000005017 glioblastoma Diseases 0.000 description 7
- 238000012805 post-processing Methods 0.000 description 7
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 239000003550 marker Substances 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000001574 biopsy Methods 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000003416 augmentation Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000003625 skull Anatomy 0.000 description 3
- 238000002560 therapeutic procedure Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000002224 dissection Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009206 nuclear medicine Methods 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 210000000278 spinal cord Anatomy 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 239000000439 tumor marker Substances 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 201000010915 Glioblastoma multiforme Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
一种用于肿瘤分割的计算机实现的方法，所述方法包括：获得受试者的身体的感兴趣的区域的图像数据，其中所述感兴趣的区域对应于受试者的身体的肿瘤；基于所述图像数据来生成两个或更多个肿瘤分割预测；计算所述两个或更多个肿瘤分割预测之间的散度；以及基于所述两个或更多个肿瘤分割预测之间的计算的散度来生成肿瘤分割不确定性的可视化。
Description
相关申请的交叉引用
本申请要求2021年3月2日提交的美国临时申请第63/155,564号、2021年3月2日提交的美国临时申请第63/155,626号、以及2022年3月1日提交的美国非临时申请第17/683,643号的优先权，所述申请通过引用并入本文中。
背景技术
肿瘤治疗场(TTField)是中频范围内的低强度交变电场，其可以用于治疗肿瘤，如美国专利第7，565,205号中所述。通过直接放置在患者的身体上的换能器并在换能器之间施加AC电压，在感兴趣的区域中非侵入性地感应TTField。在第一时间间隔内在第一对换能器之间施加AC电压，以生成具有通常在前后方向上延伸的电场线的电场。然后，在第二时间间隔内在第二对换能器之间以相同频率施加AC电压，以生成具有通常在左右方向上延伸的电场线的电场。然后，系统贯穿治疗重复该两步序列。
TTField治疗规划可以包括医学图像(例如，MR图像)上的组织的分割，以用于评估TTField的分布和定量治疗功效。手动分割是耗时的，并且对于高度熟练且有经验的注释者而言常常需要例如20-50分钟来执行。此外，大量的数据和数据注释导致有噪声的(noisy)标记以及观察者内和观察者间的可变性(variability)。
发明内容
本发明的一个方面涉及一种用于肿瘤分割的计算机实现的方法，所述方法包括：获得受试者的身体的感兴趣的区域的图像数据，其中所述感兴趣的区域对应于受试者的身体的肿瘤；基于所述图像数据来生成两个或更多个肿瘤分割预测；计算所述两个或更多个肿瘤分割预测之间的散度(divergence)；以及基于所述两个或更多个肿瘤分割预测之间的计算的散度来生成肿瘤分割不确定性的可视化。
附图说明
图1描绘了肿瘤分割的示例计算机实现的方法。
图2描绘了用于肿瘤分割和不确定性可视化的基于计算机的架构的示例。
图3A-3P描绘了肿瘤分割的不同方面的示例结果。
图4描绘了用于将具有调制电场的TTField施加到受试者的身体的装置的一个示例。
图5描绘了示例计算机装置。
具体实施方式
公开了用于肿瘤分割和不确定性可视化的方法和装置。给定具有肿瘤的受试者的身体的图像，本发明的基于计算机的技术分割该图像中的肿瘤，提供该分割的不确定性度量，并且提供肿瘤分割和不确定性测量的可视化。图像的分割由训练的分割网络来确定。可以包括手术数据和/或解剖数据，以改进图像的分割。
所公开的技术可以用于超越(surpass)观察者间的可变性，并且用户可以根据不确定性水平来编辑分割。在某些实施例中，所公开的技术使用一起共同训练的分割网络来应对有噪声的标记和观察者间的可变性。在一个示例中，可以使用Kullback-Leibler(KL)散度来使分割不确定性可视化。
由于不同的人类注释者可能不同地分割相同的对象，因此发明人意识到需要用于机密地编辑分割结果的技术。使用本文中公开的本发明的基于计算机的分割，分割不确定性的可视化被提供，并且可以用于提高人类注释者的信任度(trust)。
所公开的用于分割的系统和方法可以用于规划TTField治疗和其他临床应用。在非限制性实施例中，所公开的用于分割肿瘤(例如，多形性胶质母细胞瘤(“GBM”))的系统和方法可以用于术后患者。在一个示例中，可以整合手术类型和非肿瘤组织描轮廓(delineation)以自动分割肿瘤。所公开的分割技术可以借助手术类型、解剖信息和不确定性可视化来扩展，以促进术后GBM的准确分割。
对于术后数据，所公开的技术可以胜过(outperform)其他分割方法。在一个示例中，所公开的技术可以减少切除腔(resection-cavity)和坏死核心分割误差。由于针对图像的手动注释可能受专家不同意的支配(subject to)，因此所公开的技术可以提供与分割结果相耦合的不确定性图。这可以允许组织的可视化和快速编辑，以改进取决于用户偏好的结果。
图1描绘了肿瘤分割和不确定性可视化的示例计算机实现的方法100，并且图2描绘了用于肿瘤分割和不确定性可视化的基于计算机的架构200的示例。出于非限制性说明的目的，关于图2中的示例架构200来讨论图1中的方法100的步骤。
在步骤102处，可以从计算机可读介质获得其他受试者的图像的训练数据集。图像的训练数据集可以包括任何医学图像。例如，训练数据集可以包括x射线、计算断层摄影术(CT)扫描、磁共振成像(MRI)、超声、核医学成像、正电子发射断层摄影术(PET)、关节造影、脊髓造影或其组合的图像。在开发训练集时，训练的人类注释者可以根据预定标记(例如，切除物、坏死核心和增强肿瘤)来分割肿瘤。所得到的训练集可以被存储在计算机可读介质上。
在步骤104处，可以可选地将扩充应用于训练数据集。该扩充可以包括图像片块的强度归一化、随机偏移(shift)、强度值的随机上扩(scale-up)、随机翻转或随机缩放中的至少一个。在一个示例中，医学图像可以被重采样(例如，到1mm3体素分辨率)。在非限制性实施例中，可以应用偏置场校正和/或皮肤和颅骨剥离作为预处理。在一个示例中，可以使用128×128×128体素的片块大小，并且可以将以下扩充应用于数据样本以增加可变性并且提高模型鲁棒性：图像片块的强度归一化、高达0.1的随机偏移、到强度值的10％的随机上扩、±10％的随机翻转和随机缩放。
在步骤106处，可以利用训练数据集和统一训练损失来训练两个或更多个分割网络201a、201b。分割网络201a、201b中的每个可以包括例如变分自动编码器，该变分自动编码器从共享的编码器参数重建图像数据。在非限制性实施例中，所公开的方法可以包括获得使用具有多个训练损失的公共训练集训练的两个或更多个分割网络201a、201b。
在某些实施例中，分割网络201a、201b输出预测202a、202b，并且可以使用预测202a、202b和统一损失来并行训练。统一损失可以包括分割损失203a、203b、重建损失、或散度损失204中的至少一个。在非限制性实施例中，统一损失可以包括用于平衡分割损失203a、203b和散度损失204的参数。在一个示例中，分割损失203a、203b可以包括Dice系数、交叉熵损失或其组合。在一个示例中，散度损失204可以包括Kullback-Leibler(KL)散度损失。在某些实施例中，可以使用扩充的训练数据集来训练分割网络201a、201b。在一个示例中，可以利用Adam优化器和历元(epoch)(例如，200个历元)使用PyTorch和MONAI来训练分割网络201a、201b。学习率最初可以被设置为1e-4，并且每当量度(metric)达到10个历元的平稳状态(plateau)时，学习率就降低。可以同时训练两个或更多个分割网络201a、201b。这些分割网络201a、201b可以具有相同的架构，但是在它们的参数方面不同。每个分割网络201a、201b可以相对于地面真值标记(ground truth label)具有其自己的分割损失。可以计算分割网络201a、201b的预测202a、202b之间的散度损失204，使得整个系统被联合训练和更新。
作为示例，针对给定样本xi的统一训练损失(或总训练损失)可以被计算如下：
LTotal＝(1-λ)Lseg(xi，yi)+λLdiv(xi)+βLrec (1)
其中λ是在个体分割损失(203a，203b)Lseg与散度损失(204)Ldiv之间进行平衡的参数。在一个示例中，λ可以被设置为0.1。在非限制性实施例中，对于每个分割网络201a、201b，可以将自动编码器的重建损失Lrec添加到对LTotal的计算。Lrec是输入图像与重建图像之间的L2损失。权重β可以被设置为0.1。
在一个示例中，分割损失203a、203b可以是Dice系数和交叉熵的组合，如下：
其中K是分割网络201的数量(例如，被设置为2)。pk是每个网络的预测输出。α用于在Dice与交叉熵损失之间进行平衡(例如，被设置为0.3)。在非限制性实施例中，两个不同的分割网络201a、201b可以关于正确标记中的预测达成一致，并且关于不正确标记中的预测未达成一致。因此，共同正则化项可以将分割网络201a、201b引导到用于干净标记的更稳定的模型。
在一个示例中，散度损失204测量分割网络201a、201b的分割预测202a、202b之间的匹配，并且对两个分割网络201a、201b进行共同正则化。对称Kullback-Leibler(KL)散度损失204可以被计算如下：
Ldiv＝DKL(p1||p2)+DKL(p2||p1) (3)
为了正确地处置有噪声的标记，可以执行小损失准则技术。该准则基于小损失样本更有可能被正确地标记的想法。因此，在每个小批中，体素可以根据等式(1)中给出的它们的联合损失被排序，并且在具有最小值的体素P的一部分上被平均。这样，有噪声的标记的体素具有对总损失和反向传播更新的较小影响。P可以是数据集中的正确标记的样本的假定百分比。小损失准则可以用于逐体素计算的交叉熵损失和散度。
在步骤108处，可以获得具有肿瘤的受试者的身体的感兴趣的区域的图像数据205。在一个示例中，感兴趣的区域的图像数据可以包括x射线、计算断层摄影术(CT)扫描、磁共振成像(MRI)、超声、核医学成像、正电子发射断层摄影术(PET)、关节造影、脊髓造影或其组合的数据。可以从图像数据中观察到观察者间的可变性/差异。在一个示例中，训练和图像质量中的差异可能增加观察者间的可变性。由于模型的预测与地面真值注释之间的Dice得分可能受到观察者间得分限制，因此所公开的技术考虑了有噪声的标记的存在，并且提供了不需要干净的注释数据集的分割方法。为了克服数据集中的有噪声的标记和观察者间的可变性，并且促进分割结果的交互式视觉复查，可以通过一致性最大化(agreementmaximization)来计算不确定性。
在步骤110处，可以基于图像数据205和两个或更多个分割网络201a、201b来生成两个或更多个肿瘤分割预测202a、202b。
在步骤112处，可以计算由两个或更多个分割网络201a、201b生成的两个或更多个肿瘤分割预测202a、202b之间的散度损失204。
在步骤114处，可以基于两个或更多个肿瘤分割预测202a、202b之间的计算的散度损失204来生成肿瘤分割不确定性的可视化。在一个示例中，可视化可以包括具有分割预测206和/或不确定性图207的受试者的图像。不确定性图207可以基于两个或更多个肿瘤分割预测202a、202b之间的计算的散度损失204。KL散度——两个概率分布之间的相对熵——可以被计算为分割预测202a、202b之间的不确定性。为了使该不确定性可视化，可以使用等式(3)来计算基线网络预测202a、202b之间的KL散度。不确定性值可以在数据集上被归一化，使得最大不确定性被设置为1，并且最小不确定性被设置为0。然后，不确定性图207可以被生成作为该分割之上的热图(heat map)。
在非限制性实施例中，不确定性图207可以用于利用用户定义的阈值从分割图206中移除与高不确定性相关联的体素。在非限制性实施例中，受试者的身体的感兴趣的区域的可视化包括关于受试者的身体的所生成的术后肿瘤分割的不确定性估计。
在步骤116处，可以获得受试者的身体的解剖信息和手术信息。在非限制性实施例中，可以基于图像数据205、解剖信息和/或手术信息来生成肿瘤分割预测202a、202b。在一个示例中，可以获得受试者的身体的感兴趣的区域的图像数据205、解剖信息和手术信息，其中感兴趣的区域可以对应于受试者的身体的肿瘤的术后区域。可以基于图像数据、解剖信息和手术信息来生成受试者的身体的术后肿瘤分割和/或可视化。
在步骤118处，可以基于受试者的身体的解剖信息和手术信息添加解剖结构或从可视化移除解剖结构。通过添加或移除解剖结构，所公开的技术可以改进分割性能。例如，影响术后GBM的分割性能的若干个问题(例如，坏死核心和切除物的互换和/或CSF和切除物的互换)可以被解决。
由坏死核心和切除物的互换引起的误差可能与图像中的一些中的坏死核心和切除物的相似外观有关。所公开的技术可以通过将手术类型作为后处理并入到预测结果中来减少该误差。如果患者经历了活组织检查(biopsy)，则该图像中不存在切除物。如果患者进行了全切除(grand-total resection)(GTR)，则坏死核心被完全清除。对于分割结果的后处理，如果手术类型是活组织检查，则切除物标记的体素可以改变为坏死核心。在GTR手术的情况下，坏死核心体素可以改变为切除物。
当切除腔与CSF相邻时，可以观察到由CSF和切除物的互换引起的误差。为了解决该问题，除了肿瘤组织之外，所公开的技术还包括分割CSF。所公开的数据集可以包括可以用于训练分割网络201a、201b的验证的CSF标记。通过所公开的技术对CSF的共同分割可以减少切除腔体素的误标记。
在步骤120处，可以移除来自分割预测的具有大于阈值的不确定性的体素。阈值可以是用户定义的阈值。
在步骤122处，可以基于肿瘤分割不确定性的可视化或两个或更多个肿瘤分割预测202a、202b中的至少一个来确定用于放置用于施加TTField的换能器的受试者的身体上的位置。在一个示例中，不确定性图207可以基于肿瘤分割不确定性的可视化和/或两个或更多个肿瘤分割预测202a、202b来生成。不确定性图207可以突出显示需要仔细检查的区域。例如，平均KL散度可以作为热图覆盖在目标组织的医学图像之上。不确定性图207可以标记最不确定的区域。
在某些实施例中，TTField可以包括预定参数。作为示例，TTField可以包括从大约1V/cm到大约20V/cm的强度范围内的强度。作为示例，TTField可以包括从大约50kHz到大约1MHz的频率范围内的频率。TTField的其他可能的示例性参数可以包括活动时间、调光时间(dimming time)和占空比(所有这些都可以以例如ms为单位来测量)以及其他参数。
在一些实施例中，可以提供用于肿瘤分割和不确定性可视化的装置。在一个示例中，该装置可以包括一个或多个处理器以及存储处理器可执行指令的存储器，该处理器可执行指令当被一个或多个处理器执行时使得该装置执行所公开的用于肿瘤分割和/或不确定性可视化的方法。
在一些实施例中，可以提供用于向受试者的身体施加具有预定参数的交变电场的换能器。交变电场可以基于肿瘤分割不确定性的可视化或分割预测中的至少一个来施加。
在一些实施例中，所公开的系统可以包括用于肿瘤分割和不确定性可视化的基于计算机的架构。作为示例，图2描绘了用于肿瘤分割和不确定性可视化的基于计算机的架构的示例。基于计算机的架构可以并入分割一致性损失来调节被同时训练的两个或更多个基线模型。一致性损失可以用于使分割不确定性可视化。在非限制性实施例中，基于计算机的架构可以包括Unet的变体。例如，基于计算机的架构可以并入变分自动编码器，该变分自动编码器从共享的编码器参数重建MRI图像以用于正则化。在非限制性实施例中，基于计算机的架构可以被设计用于分割(例如，术前GBM分割)并且可以并入多种模态。为了提高分割的准确性，基于计算机的架构可以并入解剖和/或手术信息。例如，数据可以包括各种类型的手术(例如，肿瘤的全切除、部分切除以及肿瘤的活组织检查)的医学图像(例如，MRI扫描)。
在某些实施例中，可以使用由分割损失和散度损失组成的统一损失来联合地训练两个或更多个分割网络。对于不同的肿瘤组织，可以添加其他解剖结构来克服与健康组织的混淆。
在某些实施例中，可以对图像数据进行重采样。例如，医学图像可以被重采样到1mm3体素分辨率。作为预处理，可以应用偏置场校正和皮肤/颅骨剥离。
在某些实施例中，可以将各种扩充应用于数据样本，以增加可变性并且改进模型鲁棒性。例如，在训练期间，可以使用体素的片块(例如，128×128×128)，并且可以将以下扩充应用到数据样本以增加可变性并且改进模型鲁棒性：图像片块的强度归一化、随机偏移(例如，高达0.1)、随机上扩(例如，到强度值的10％)、随机翻转和/或±10％的随机缩放。可以确保包含肿瘤的片块和没有肿瘤的那些片块之间的平衡。
在某些实施例中，可以提供改进的Dice系数和错误发现率(FDR)。例如，网络(例如，Resnet-VAE网络)可以在具有Dice和交叉熵损失的组合以及某些标记(例如，切除物、坏死核心和增强肿瘤)的训练数据集上被训练。在非限制性实施例中，作为Resnet-VAE的后处理，可以添加手术信息以减少分割误差。
实验结果
使用本文中公开的某些实施例，术后GBM患者的一组340个标记T1增强MRI脑扫描被划分成270个训练图像和70个图像测试图像。这些图像全部被重采样到1mm3体素分辨率。作为预处理，应用了偏置场校正以及皮肤和颅骨剥离。在训练期间，使用了128×128×128体素的片块大小，并且对数据样本应用了以下扩充以增加可变性并且改进模型鲁棒性：图像片块的强度归一化；高达0.1的随机偏移；到强度值的10％的随机上扩；随机翻转；以及±10％的随机缩放。确保包含肿瘤的片块和没有肿瘤的那些片块之间的平衡。利用Adam优化器和200个历元使用PyTorch和MONAI训练了两个分割网络。学习率最初被设置为1e一4，并且每当量度达到10个历元的平稳状态时，学习率就降低。
接下来，使用具有Dice和交叉熵损失的组合以及三个标记的训练术后GBM肿瘤数据集训练Resnet-VAE网络，所述三个标记是：(1)切除物；(2)坏死核心；和(3)增强肿瘤。然后，在测试数据集上评估Resnet-VAE算法。接下来，手术信息被并入作为Resnet-VAE的后处理，以减少分割误差，并且在测试数据集上被评估。
表1提供了定量Dice数据，并且表2提供了错误发现率(FDR)数据。在表1中，“res”列是切除物标记的定量Dice数据，“nec”列是坏死核心标记的定量Dice数据，“enh”列是增强肿瘤标记的定量Dice数据，并且“wt”列是整个肿瘤标记的定量Dice数据。在表2中，“csfasres”列是被分割并标记为切除物的CSF的FDR数据，“ncasres”列是被分割并标记为切除物的坏死核心的FDR数据，并且“resas nc”列是被分割并标记为坏死核心的切除物的FDR数据。
此外，在表1和2中，“BL”行是单个(即，基线)分割网络的数据。“SD”行是用于利用手术数据进行后处理的数据。“AD”行是来自利用CSF标记的训练的数据。“UR”行是来自利用解剖数据和手术数据两者以及不确定性正则化的对两个分割网络的联合训练的数据。“UR*”行与“UR”行相同，但是其中根据用户偏好移除了不确定的体素。
如表1中所示，Dice被改进(值越大越好)，尤其是在坏死核心和切除物之间混淆的情况下。此外，如表2中所示，坏死核心和切除物的组织中的FDR减小(值越小越好)。
在一些情况下，切除物自动分割“泄露”到脑室(ventricle)中。为了处置该问题，使用附加标记(即，CSF)训练分割网络。关于测试数据集的结果在表1和表2的第三行“AD+SD”中给出。当将该方案与手术数据的先验信息(prior)一起应用时，Dice和FDR两者都被显著地改善。这些结果展示了将手术和解剖数据添加到训练和训练后处理的重要性。
最后，使用等式(1)利用不确定性正则化训练分割网络。然后，对用户定义的阈值进行模拟(simulate)，以展示不确定性图促进分割的修正。不具有不确定体素移除和具有所模拟的用户定义的阈值的最终分割的结果分别在表1和表2中的第四行“UR”和第五行“UR*”中给出。使用本发明的技术，与所有其他方法相比，误标记体素的率是最低的，并且Dice也被改进以用于增强肿瘤和坏死核心。不确定性图突出显示了需要仔细检查的区域(例如，图3K)。此外，所模拟的用户定义的阈值展现了不确定性图可以用于修正分割并减少误标记的体素。
注意，虽然数据集中的图像由特定人类注释者分割，但是另一个人类注释者可能将这些误标记的体素认为是正确的。这样，如本文中所公开的，可以采用用户定义的阈值来生成满意的结果。因此，人类注释者可以基于计算机生成的不确定性图来容易地编辑计算机生成的分割。向人类注释者提供对计算机生成的分割结果的某种控制可以帮助改进对计算机生成的分割结果的信任，并且可以促进观察者间可变性空间中的个人偏好的表达。
图3A-3P(统称为图3)描绘了根据各种实施例的肿瘤分割的不同方面的示例实验结果。图3中的图像描绘了颜色编码的分割结果，即红色指示“切除物”，绿色指示“坏死”，蓝色指示“增强”，并且黄色指示“脑脊液(CSF)”。
图3(图3A-3D)中的第一行是将基线模型与手术数据(SD)后处理进行比较的图像。第一行示出了基线分割与利用手术数据的后处理的比较。图3A是原始图像。图3B是使用某些实施例获得的基线图像，但是其包括坏死核心分割(以绿色)中的误差，该坏死核心分割被误标记为切除物(以红色)。在图3C中，使用某些实施例，在并入手术数据(“SD”)之后，该标记被校正为坏死核心。图3D是利用手动分割的图像。在将使用某些实施例获得的图3C中的图像与使用手动分割获得的图3D中的图像进行比较时，两个图像几乎相同。
图3(图3E-3H)中的第二行是展示了将解剖结构(即CSF)添加到分割的图像。第二行展示了将CSF标记(以黄色)添加到分割网络的训练的结果。图3E是原始图像。图3F是使用某些实施例通过分割和添加手术类型信息获得的图像。然而，添加手术类型信息是不够的，因为CSF的一部分被错误地利用切除物标记(红色)来标记。如图3G中所示，当除了肿瘤之外还对CSF执行分割时，这被校正。图3H是利用手动分割的图像。在将使用某些实施例获得的图3G中的图像与使用手动分割获得的图3H中的图像进行比较时，两个图像几乎是相同的。
图3(图3I-3L)中的第三行是示出了以KL散度作为不确定性的不确定性正则化的结果的图像。图3的第三行展示了整个算法的示例结果。图3I是原始图像。图3J描绘了共同训练的网络的分割结果。图3K描绘了平均KL散度，该平均KL散度作为热图被覆盖在该图像之上。黄色区域标记了最不确定的区域，该区域在切除区域和CSF之间的边界上。图3L是利用手动分割的图像，并且示出人类注释者关于该区域也不确定。
图3(图3M-3P)中的最后一行是示出了关于切除物标记的不同不确定性阈值的图像。底行示出了根据某些实施例并且以不同水平的不确定性阈值获得的切除物组织分割。图3M具有最不确定的体素，图3O具有最少的不确定体素，并且图3N具有在图3M和3O的不确定体素之间的多个不确定体素。图3P是利用手动分割的图像。随着不确定分割从图3M到图3N到图3O而减少，结果更好地匹配图3P中的手动注释。
在某些实施例中，计算机生成的分割图可以与计算机生成的不确定性图联合地提供，这可以进一步促进由用户对个人偏好进行的快速和交互式选择。表1和表2中的公开的定量结果以及图3中的定性结果展示了：本发明的技术可以超越观察者间的可变性，并且用户可以根据不确定性水平来编辑分割。
示例性装置
图4描绘了向受试者的身体施加具有调制电场的TTField的装置的一个示例。第一换能器401包括定位在基板704上的13个电极元件403，并且电极元件403通过导线409彼此电连接和机械连接。第二换能器402包括定位在基板406上的20个电极元件405，并且电极元件405通过导线410彼此电连接和机械连接。第一换能器401和第二换能器402被连接到AC电压发生器407和控制器408。控制器408可以包括一个或多个处理器以及可由一个或多个处理器访问的存储器。存储器可以存储指令，该指令当由一个或多个处理器执行时控制AC电压发生器407实现本发明的一个或多个实施例。在一些实施例中，AC电压发生器407和控制器408可以被集成在第一换能器401和第二换能器402中，并且形成第一电场发生器和第二电场发生器。
图5描绘了用于与本文中的实施例一起使用的示例计算机装置。作为示例，装置500可以是用于实现本文中公开的某些本发明技术的计算机。作为示例，对于本文中的实施例，装置500可以是用于施加具有调制电场的TTField的控制器装置。控制器装置500可以用作图4的控制器408。装置500可以包括一个或多个处理器502、一个或多个输出设备505和存储器503。
在一个示例中，基于输入501，一个或多个处理器生成控制信号以控制电压发生器来实现本发明的实施例。在一个示例中，输入501是用户输入。在另一个示例中，输入501可以来自与控制器装置500通信的另一个计算机。输出设备505可以提供本发明的操作的状态，诸如换能器选择、所生成的电压和其他操作信息。根据本发明的某些实施例，输出设备505可以提供可视化数据。
存储器503可由一个或多个处理器502经由链路504来访问，使得一个或多个处理器502可以从存储器503读取信息和向存储器503写入信息。存储器503可以存储指令，该指令当由一个或多个处理器502执行时实现本发明的一个或多个实施例。
说明性实施例
本发明包括其他说明性实施例，例如以下实施例。
说明性实施例1。一种用于肿瘤分割的计算机实现的方法，所述方法包括：获得受试者的身体的感兴趣的区域的图像数据，其中所述感兴趣的区域对应于受试者的身体的肿瘤；基于所述图像数据来生成两个或更多个肿瘤分割预测；计算所述两个或更多个肿瘤分割预测之间的散度；以及基于所述两个或更多个肿瘤分割预测之间的计算的散度来生成肿瘤分割不确定性的可视化。
说明性实施例2。说明性实施例1的方法，进一步包括将所述图像数据重采样到预定分辨率。
说明性实施例3。说明性实施例1的方法，其中所述图像数据包括磁共振图像(MRI)数据。
说明性实施例4。说明性实施例1的方法，进一步包括基于受试者的身体的解剖信息和手术信息添加解剖结构或从所述可视化移除解剖结构。
说明性实施例5。说明性实施例1的方法，其中通过对称Kullback-Leibler(KL)散度损失来计算散度。
说明性实施例6。说明性实施例1的方法，其中所述两个或更多个肿瘤分割预测由分割网络来生成，其中所述分割网络中的每个包括变分自动编码器，所述变分自动编码器从共享的编码器参数重建所述图像数据
说明性实施例7。说明性实施例1的方法，进一步包括移除来自所述分割预测的具有大于阈值的不确定性的体素。
说明性实施例8。一种装置，包括：一个或多个处理器；以及存储处理器可执行指令的存储器，所述处理器可执行指令当被所述一个或多个处理器执行时使得所述装置：获得其他受试者的图像的训练数据集；基于两个或更多个分割网络的训练输出之间的比较，使用所述训练集和统一损失来训练两个或更多个分割网络；以及获得受试者的身体的感兴趣的区域的图像数据，其中所述感兴趣的区域对应于受试者的身体的肿瘤；基于所述图像数据和所述两个或更多个训练的分割网络来生成两个或更多个分割预测；计算所述两个或更多个分割预测之间的散度；以及基于所述分割预测来生成肿瘤分割不确定性的可视化，其中分割不确定性的所述可视化是基于所述两个或更多个分割预测之间的计算的散度来生成的。
说明性实施例9。说明性实施例8的装置，其中所述存储器存储处理器可执行指令，所述处理器可执行指令当被所述一个或多个处理器执行时进一步使得所述装置：基于肿瘤分割不确定性的所述可视化或所述分割预测中的至少一个来确定在受试者的身体上的用于放置用于施加肿瘤治疗场的换能器的位置。
说明性实施例10。说明性实施例8的装置，其中所述装置进一步包括用于向受试者的身体施加具有预定参数的交变电场的换能器，其中所述交变电场是基于肿瘤分割不确定性的所述可视化或所述分割预测中的至少一个来施加的。
说明性实施例11。一种生成受试者的身体的肿瘤分割的计算机实现的方法，所述方法包括：获得受试者的身体的感兴趣的区域的图像数据、解剖信息和手术信息，所述感兴趣的区域对应于受试者的身体的肿瘤的术后区域；基于所述图像数据、所述解剖信息和所述手术信息来生成受试者的身体的术后肿瘤分割；以及基于受试者的身体的所生成的术后肿瘤分割来生成受试者的身体的所述感兴趣的区域的可视化。
说明性实施例12。说明性实施例11的方法，其中受试者的身体的所述感兴趣的区域的可视化包括关于受试者的身体的所生成的术后肿瘤分割的不确定性估计。
说明性实施例13。一种用于肿瘤分割的计算机实现的方法，所述方法包括：获得使用具有多个训练损失的公共训练集训练的两个或更多个分割网络，所述训练集包括其他受试者的图像；获得受试者的身体的感兴趣的区域的图像数据，其中所述感兴趣的区域对应于受试者的身体的肿瘤；基于所述图像数据和所述两个或更多个分割网络来生成两个或更多个肿瘤分割预测；计算所述两个或更多个肿瘤分割预测之间的散度；以及基于所述两个或更多个肿瘤分割预测之间的计算的散度来生成肿瘤分割不确定性的可视化。
说明性实施例14。说明性实施例13的方法，进一步包括将扩充应用于所述训练数据集以获得扩充的训练集，其中所述扩充包括图像片块的强度归一化、随机偏移、强度值的随机上扩、随机翻转或随机缩放中的至少一个；以及使用扩充的训练数据集来训练所述分割网络。
在本公开的任何标题下或任何部分中说明的实施例可以与在本公开的相同或任何其他标题或其他部分下说明的实施例组合，除非在本文中另有指示或者另外与上下文明显矛盾。
在不脱离权利要求中限定的本发明的范围的情况下，对所描述的实施例的许多修改、变更和改变是可能的。旨在本发明不限于所描述的实施例，而是它具有由下面的权利要求的语言及其等同物所限定的全部范围。
Claims (15)
1.一种用于肿瘤分割的计算机实现的方法，所述方法包括：
获得受试者的身体的感兴趣的区域的图像数据，其中所述感兴趣的区域对应于受试者的身体的肿瘤；
基于所述图像数据来生成两个或更多个肿瘤分割预测；
计算所述两个或更多个肿瘤分割预测之间的散度；以及
基于所述两个或更多个肿瘤分割预测之间的计算的散度来生成肿瘤分割不确定性的可视化。
2.根据权利要求1所述的方法，进一步包括：
获得受试者的身体的解剖信息和手术信息，其中所述两个或更多个肿瘤分割预测是基于所述图像数据、所述解剖信息和所述手术信息来生成的。
3.根据权利要求1所述的方法，其中所述可视化包括具有分割预测和不确定性图的受试者的图像，其中所述不确定性图基于所述两个或更多个肿瘤分割预测之间的计算的散度。
4.一种用于肿瘤分割的计算机实现的方法，所述方法包括：
获得使用具有多个训练损失的公共训练集训练的两个或更多个分割网络，训练集包括其他受试者的图像；
获得受试者的身体的感兴趣的区域的图像数据，其中所述感兴趣的区域对应于受试者的身体的肿瘤；
基于所述图像数据和所述两个或更多个分割网络来生成两个或更多个肿瘤分割预测；
计算所述两个或更多个肿瘤分割预测之间的散度；以及
基于所述两个或更多个肿瘤分割预测之间的计算的散度来生成肿瘤分割不确定性的可视化。
5.根据权利要求4所述的方法，其中所述分割网络是使用统一损失来并行训练的，其中所述统一损失包括分割损失或散度损失中的至少一个。
6.根据权利要求4所述的方法，进一步包括：
获得受试者的身体的解剖信息和手术信息，其中基于所述图像数据、所述两个或更多个训练的分割网络、所述解剖信息和所述手术信息来生成所述两个或更多个肿瘤分割预测。
7.根据权利要求6所述的方法，进一步包括：
基于受试者的身体的所述解剖信息和所述手术信息添加解剖结构或从所述可视化移除解剖结构。
8.根据权利要求4所述的方法，进一步包括：
基于肿瘤分割不确定性的可视化或所述两个或更多个肿瘤分割预测中的至少一个来确定在受试者的身体上的用于放置用于施加肿瘤治疗场的换能器的位置。
9.一种装置，包括：一个或多个处理器；以及存储处理器可执行指令的存储器，所述处理器可执行指令当被所述一个或多个处理器执行时使得所述装置：
获得其他受试者的图像的训练数据集；
基于两个或更多个分割网络的训练输出之间的比较，使用所述训练集和统一损失来训练两个或更多个分割网络；以及
获得受试者的身体的感兴趣的区域的图像数据，其中所述感兴趣的区域对应于受试者的身体的肿瘤；
基于所述图像数据和所述两个或更多个训练的分割网络来生成两个或更多个分割预测；以及
计算所述两个或更多个分割预测之间的散度；以及
基于所述分割预测来生成肿瘤分割不确定性的可视化，其中分割不确定性的可视化是基于所述两个或更多个分割预测之间的计算的散度来生成的。
10.根据权利要求9所述的装置，其中所述统一损失包括分割损失、散度损失和重建损失。
11.根据权利要求10所述的装置，其中所述分割损失包括Dice系数和交叉熵损失。
12.根据权利要求10所述的装置，其中所述散度损失包括Kullback-Leibler散度损失。
13.根据权利要求10所述的装置，其中所述分割网络中的每个包括变分自动编码器，并且所述重建损失包括针对每个分割网络的所述变分自动编码器的重建损失。
14.根据权利要求10所述的装置，其中所述统一损失包括用于平衡所述分割损失和所述散度损失的参数。
15.根据权利要求9所述的装置，其中所述存储器存储处理器可执行指令，所述处理器可执行指令当被所述一个或多个处理器执行时进一步使得所述装置：
获得受试者的身体的解剖信息和手术信息，其中所述两个或更多个分割预测是基于所述图像数据、所述两个或更多个训练的分割网络、所述解剖信息和所述手术信息来生成的。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US63/155626 | 2021-03-02 | ||
| US63/155564 | 2021-03-02 | ||
| US17/683643 | 2022-03-01 | ||
| US17/683,643 US20220284585A1 (en) | 2021-03-02 | 2022-03-01 | Methods and Apparatuses for Visualization of Tumor Segmentation |
| PCT/IB2022/051817 WO2022185222A1 (en) | 2021-03-02 | 2022-03-02 | Methods and apparatuses for visualization of tumor segmentation |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117043816A true CN117043816A (zh) | 2023-11-10 |
Family
ID=88639544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280018674.7A Pending CN117043816A (zh) | 2021-03-02 | 2022-03-02 | 用于肿瘤分割的可视化的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117043816A (zh) |
-
2022
- 2022-03-02 CN CN202280018674.7A patent/CN117043816A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7405818B2 (ja) | 変形可能テンプレートを使用して最適化された電極位置を有するｔｔフィールドを用いて患者を治療する | |
| US9646229B2 (en) | Method and system for bone segmentation and landmark detection for joint replacement surgery | |
| US7817836B2 (en) | Methods for volumetric contouring with expert guidance | |
| US11744643B2 (en) | Systems and methods facilitating pre-operative prediction of post-operative tissue function | |
| CN108428233B (zh) | 基于知识的自动图像分割 | |
| US9008414B2 (en) | Method and apparatus for assisted trajectory planning | |
| US10056158B2 (en) | Determination of enhancing structures in an anatomical body part | |
| Gargiulo et al. | New directions in 3D medical modeling: 3D‐printing anatomy and functions in neurosurgical planning | |
| WO2007090093A2 (en) | Method and system for image processing and assessment of a state of a heart | |
| US9508144B2 (en) | Determining an anatomical atlas | |
| JP2009545394A (ja) | 生物学に導かれた適応的な治療計画 | |
| KR20220026534A (ko) | 딥러닝 기반의 조직 절제 계획 방법 | |
| JP2024513661A (ja) | 腫瘍セグメンテーションの視覚化のための方法および装置 | |
| CN117043816A (zh) | 用于肿瘤分割的可视化的方法和装置 | |
| US20220284585A1 (en) | Methods and Apparatuses for Visualization of Tumor Segmentation | |
| Vidal et al. | Semi-automatic segmentation of pelvic bone tumors: usability testing | |
| Ger et al. | Auto-contouring for image-guidance and treatment planning | |
| US20140309477A1 (en) | Ct atlas of the brisbane 2000 system of liver anatomy for radiation oncologists | |
| Masoumi | Inter-Contrast and Inter-Modal Medical Image Registrations: From Traditional Energy-Based to Deep Learning Methods | |
| Kuhn et al. | Multimodality medical image analysis for diagnosis and treatment planning: The COVIRA Project (Computer VIsion in RAdiology) | |
| Allen | Automated Segmentation of Temporal Bone Structures | |
| Chen et al. | MRI-based Deep Learning Models for Preoperative Breast Volume and Density Assessment Assisting Breast Reconstruction | |
| JP2024516952A (ja) | 心臓弁をモデリングするための方法 | |
| Qatarneh | Development of a whole body atlas for radiation therapy planning and treatment optimization | |
| CN114869315A (zh) | 一种用于胰腺病灶的三维模型重建与可视化方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |