CN117083628A - 用以优化换能器阵列放置的用于医学图像增强的方法、系统和装置 - Google Patents
用以优化换能器阵列放置的用于医学图像增强的方法、系统和装置 Download PDFInfo
- Publication number
- CN117083628A CN117083628A CN202280023809.9A CN202280023809A CN117083628A CN 117083628 A CN117083628 A CN 117083628A CN 202280023809 A CN202280023809 A CN 202280023809A CN 117083628 A CN117083628 A CN 117083628A
- Authority
- CN
- China
- Prior art keywords
- image data
- image
- patient
- body part
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000004458 analytical method Methods 0.000 claims description 39
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000000611 regression analysis Methods 0.000 claims description 3
- 238000003012 network analysis Methods 0.000 claims description 2
- 230000008485 antagonism Effects 0.000 claims 2
- 238000007619 statistical method Methods 0.000 claims 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 13
- 230000005684 electric field Effects 0.000 description 11
- 238000003491 array Methods 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 7
- 238000002600 positron emission tomography Methods 0.000 description 6
- 238000002603 single-photon emission computed tomography Methods 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 5
- 239000000919 ceramic Substances 0.000 description 5
- 239000004020 conductor Substances 0.000 description 3
- 210000000746 body region Anatomy 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000003989 dielectric material Substances 0.000 description 2
- 238000001827 electrotherapy Methods 0.000 description 2
- 239000011368 organic material Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000000017 hydrogel Substances 0.000 description 1
- 230000000774 hypoallergenic effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 229920006254 polymer film Polymers 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
一种用以生成三维模型的计算机实现的方法,其中所述计算机包括一个或多个处理器和由所述一个或多个处理器可访问的存储器,并且所述存储器存储指令,当由所述一个或多个处理器执行时,所述指令使计算机执行所述计算机实现的方法,所述方法包括:接收第一图像模态中的患者身体的第一部分的第一图像数据(1110),接收第二图像模态中的患者身体的第二部分的第二图像数据(1120),将第二图像数据从第二图像模态修改为第一图像模态(1160),以及基于第一图像模态中的第一图像数据和第二图像模态中的经修改的第二图像数据来生成患者身体的第一部分和第二部分的三维模型(1170)。
Description
相关申请的交叉引用
本申请要求2021年1月22日提交的美国临时申请第63/140,635号和2022年1月18日提交的美国非临时申请第17/578,241号的优先权,所述美国临时申请和美国非临时申请出于所有目的以其整体通过引用并入本文中。
背景技术
肿瘤治疗场(TTField)是中频范围内的低强度交变电场,其可以如美国专利第7,565,205号中所描述的那样用于治疗肿瘤。通过放置在患者身体上的换能器并在换能器之间施加AC电压,在感兴趣的区域中非侵入性地感应出TTField。为了确定换能器在患者身体上的有效定位,可以评估患者身体的一部分的三维模型。然而,患者的充足图像数据可能不可用于生成三维模型,因为患者的可用图像数据可能缺失身体的一部分,因为图像数据的分辨率可能不足以生成三维模型,或者因为身体的第一部分的图像数据与身体的第二部分的图像数据具有不同的图像模态。照此,这些问题中的任何一个可能阻碍患者身体的部分的三维模型的生成,并且由此阻碍用以感应出TTField的换能器在患者身体上的有效定位。
发明内容
本发明的一个方面针对一种用以生成三维模型的计算机实现的方法,所述计算机包括一个或多个处理器和由所述一个或多个处理器可访问的存储器,所述存储器存储指令,当由所述一个或多个处理器执行时,所述指令使计算机执行所述方法,所述方法包括:接收第一图像模态中的患者身体的第一部分的第一图像数据;接收第二图像模态中的患者身体的第二部分的第二图像数据;将第二图像数据从第二图像模态修改为第一图像模态;以及基于第一图像模态中的第一图像数据和第二图像模态中的经修改的第二图像数据,生成患者身体的第一部分和第二部分的三维模型。
本发明的上述方面是示例性的,并且本发明的其他方面和变化将从以下实施例的详细描述中变得显而易见。
附图说明
图1是用于基于患者的两个图像扫描来生成患者身体部位的三维图像的示例方法的流程图。
图2是用于基于患者的单个图像扫描来生成患者身体部位的三维图像的示例方法的流程图。
图3是用于基于患者身体部位的低分辨率图像来生成患者身体部位的高分辨率三维图像的示例方法的流程图。
图4是用于确定用于TTField至患者身体的一部分的输送的换能器阵列布局的示例方法的流程图。
图5是描绘示例操作环境的框图。
图6示出了用于电疗治疗的示例装置。
具体实施方式
如由发明人所发现的,所公开的主题提供了用于在给定不完整或不一致的图像集的情况下生成患者身体的一部分的三维模型的方法和系统。然后,三维模型可以用于确定在患者身体上放置换能器以生成TTField的位置。
患者身体的不完整或不一致的图像集可以是例如:缺失患者身体的一部分的图像集;具有不足以生成三维模型的分辨率的图像集;或者具有与患者身体的第二部分的图像数据不同的图像模态的患者身体的第一部分的图像集。使用本发明的技术中的一个或多个,然后在给定这样的不完整或不一致的图像集的情况下,可以生成患者身体一部分的三维模型。
图1是用于基于患者的两个图像扫描生成患者身体部位的三维图像的示例方法1100的流程图,其中所述两个图像扫描的至少一部分包括患者身体部位的不同部分,并且其中所述两个图像扫描具有不同的图像模态。不同图像模态中的患者的两个图像可以每个都是相同的患者身体部位的图像。本文中描述的方法可以针对患者的任何身体部位实现。
在1110处,患者支持系统1002可以接收第一图像模态中的患者身体部位的第一部分的第一图像数据。例如,患者身体部位的第一部分可以是患者头部的第一部分。此外,第一图像数据可以不包括患者头部的第二部分中的至少一部分。例如,第一图像数据可以包括患者头部(例如,或其他身体部位)的下部,但是可以不包括患者头部(例如,或其他身体部位)的上部中的至少一部分。
在1120处,患者支持系统1002可以接收不同于第一图像模态的第二图像模态中的患者身体的第二部分的第二图像数据。例如,患者身体部位的第二部分可以是患者头部的第二部分。此外,第二图像数据可以不包括患者头部的第一部分中的至少一部分。例如,第二图像数据可以包括患者头部(例如,或其他身体部位)的上部,但是可以不包括患者头部(例如,或其他身体部位)的下部中的至少一部分。
所接收的第一/第二图像数据的图像模态可以是x射线计算机断层摄影(CT)数据,并且第二图像数据可以是x射线CT数据。在另一示例中,第一/第二图像模态可以是单光子发射计算机断层摄影(SPECT)数据、磁共振成像(MRI)数据、正电子发射断层摄影(PET)数据等中的任何一个,并且第二图像可以包括SPECT数据、MRI数据、PET数据等。第一/第二图像数据可以通过预测建模应用1014从成像数据610、本地数据库1018或远程图像数据库1020接收。第一图像数据和第二图像数据可以在患者身体部位的相同或不同取向处取得。患者身体的所述部分的第一图像数据和第二图像数据可能已经在相同或不同的时间处取得。
在1130处,患者支持系统1002可以确定第一图像数据的第一图像模态与第二图像数据的第二图像模态不匹配。预测建模应用1014可以比较第一图像扫描和第二图像扫描中的每一个的文件的模态字段,以确定第一图像扫描和第二图像扫描中的每一个的模态是相同的还是不同的。所述模态字段可以提供指示图像扫描的模态的指示器。如果预测建模应用1014比较第一图像扫描和第二图像扫描的每个模态的模态字段中的信息,并且确定它们是相同的,则预测建模应用1014可以基本上如在1170处所描述的那样使用第一图像扫描和第二图像扫描来生成患者的身体部位的完整三维图像。在该示例中,预测建模应用1014比较第一图像扫描和第二图像扫描的每个图像模态的模态字段中的信息,并且确定所述模态是不同的。
预测建模应用1014可能能够访问其他受试者的身体部位的多个图像。所述多个图像可以包括第一部分图像和第二部分图像,所述第一部分图像包括受试者的在第一模态中的身体部位的第一部分的图像数据,所述第二部分图像包括受试者的第二图像模态中的身体部位的第二部分的图像数据。所述多个图像可以被存储在患者支持系统1002的图像数据库1018中,和/或可以从可以远离患者支持系统1002的另一个图像数据库1020中访问。
预测建模应用1014可以查询数据库1018、1020以检索多个图像,从而用于开发用以将图像从一个图像模态转换为另一个图像模态的模型。例如,对于除患者之外的受试者而言,该查询可以确定数据库中的哪些图像是同一受试者的图像,并且包括第一图像模态中的受试者身体部位的第一部分的图像数据和第二图像模态中的受试者身体部位的第二部分的单独图像数据。满足该查询的图像数据组可以被选择用于在模态转化模型的创建中进行的分析。
用于模态转化模型的创建的受试者图像的数量可以是可配置的,并且可以是大于除患者之外的一个受试者的图像数据的任何数量。在某些示例实施例中,为了创建模态转化模型,满足查询准则的受试者的目标或阈值数量必须被满足。在某些示例实施例中,目标阈值可以是针对满足查询的至少5个受试者的图像数据。例如,目标阈值可以在针对满足查询的15-50个受试者的图像数据的范围内。
在某些示例实施例中,预测建模应用1014可以仅收集等于目标阈值的数量的受试者的第一图像模态中的身体部位的第一部分的图像数据和第二图像模态中的身体部位的第二部分的图像数据。在其他示例实施例中,预测建模应用可以收集满足目标阈值并且在图像数据库中可用的任何数量的受试者的第一图像模态中的身体部位的第一部分的图像数据和第二图像模态中的身体部位的第二部分的图像数据。
数据库1018、1020的查询还可以包括一个或多个其他查询优化因子。例如,这些因子的至少一部分可以基于患者/受试者的一个或多个身体属性。例如,查询优化因子可以包括如下各项中的一个或多个:患者的年龄、年龄范围、患者的身高、身高范围、患者的性别、患者的种族、患者的体重、体重范围、患者的一个或多个疾病、状况或异常、身体部位的一个或多个维度、身体部位的一个或多个维度的比率等。在某些示例实施例中,可以基于这些查询优化因子中的一个或多个来生成多个超分辨率模型。对用以包括在查询中的因子的数量和/或类型的确定可以是由用户可配置的和/或由用户确定。
在1140处,预测建模应用1014可以接收多个其他受试者的身体部位的至少第一部分的第一多个图像数据。这些其他受试者的身体部位的至少第一部分的图像可以是在第一图像模态(例如,MRI)中的。所述身体部位的至少第一部分的图像可以基于对数据库1018、1020的查询来接收。对数据库的查询可以已经包括或可以尚未包括一个或多个查询优化因子。
在1150处,预测建模应用1014(例如,或患者支持系统1002的另一部分)可以接收针对其接收到第一图像数据的多个受试者的身体部位的至少第二部分的第二多个图像数据。这些受试者的身体部位的至少第二部分的图像数据可以是在第二图像模态(例如,x射线CT)中的。所述身体部位的第二部分的图像可以基于对数据库1018、1020的查询来接收。对数据库的查询可以已经包括或可以尚未包括一个或多个查询优化因子。
在1160处,预测建模应用1014可以将患者的身体部位的第二部分的第二图像扫描从第二图像模态转换为第一图像模态。例如,预测建模应用1014可以采用人工智能技术,以使用第一图像模态中的其他受试者的身体部位的至少第一部分的第一多个图像数据和第二图像模态中的其他受试者的身体部位的至少第二部分的第二多个图像数据,来生成用于将第二图像模态中的图像数据转换为第一图像模态中的图像数据的图像模态转化模型。
例如,预测建模应用1014可以应用生成对抗网络(GAN)分析的形式来生成图像模态转化模型。例如,预测建模应用1014可以应用MedGAN分析来生成图像模态转化模型。在其他示例中,预测建模应用1014可以应用另一种形式的GAN分析,包括但不限于超分辨率GAN、pix2pixGAN、CycleGAN、DiscoGAN和Fila-sGAN。在其他示例实施例中,预测建模应用1014可以应用另一种形式的建模来生成图像模态转化模型,诸如投射对抗网络(PAN)或变分自编码器(VAE)。
一旦已经基于第一图像模态中的其他受试者的身体部位的至少第一部分的第一多个图像数据和第二图像模态中的其他受试者的身体部位的至少第二部分的第二多个图像数据生成了图像模态转化模型,预测建模应用1014就可以将该模型应用于第二图像模态中的患者的身体部位的第二部分的图像扫描,以将第二图像扫描从第二图像模态(例如,x射线CT)转换为第一图像模态(例如,MRI)和/或与患者的身体部位的第一部分的第一图像扫描相同的图像模态。
在1170处,预测建模应用1014可以基于第一图像模态中的患者的身体部位的第一部分的第一图像数据和第一图像模态中的患者的身体部位的第二部分的经转换的第二图像数据来生成患者的身体部位的完整三维模型。例如,由于患者的第一图像和经转换的第二图像处于相同的图像模态中,因此预测建模应用1014可以将患者的身体部位的第二部分的经转换的第二图像数据的全部或一部分覆盖或以其他方式组合在患者的身体部位的第一部分的第一图像数据上,并且可以将在经转换的第二图像数据中但是不在第一图像数据中的患者身体部位的部分添加到第一图像数据。例如,身体部位可以是患者的头部。第一图像可以包括患者头部的一部分,但是也可以缺失患者头部的另一部分(例如,患者头部的上部中的至少一部分)。经转换的第二图像数据可以包括从第一图像数据中缺失的期望的身体部位的部分。例如,经转换的第二图像数据可以包括患者头部的上部,但是也可以不包括患者头部的全部。预测建模应用1014可以通过取得第一图像数据中缺失的身体部位的部分的经转换的第二图像的图像数据,并且将该图像数据添加到第一图像数据,以创建患者的身体部位的全部或一部分(包括内部结构,诸如组织、器官、肿瘤等)的三维空间中的数字表示,来生成患者头部的完整三维模型。
图2是用于基于包括患者的身体部位的一部分的单个图像扫描来生成患者身体部位的三维图像的示例方法1200的流程图,并且其中所述图像数据不包括患者的身体部位的另一部分。
在1210处,患者支持系统1002可以接收患者的身体部位的第一部分的第一图像数据。第一图像可以不包括患者的身体部位的第二部分中的至少一部分。
在1220处,患者支持系统1002可以确定需要患者的身体部位的第二部分来生成所述身体部位的完整三维模型。例如,患者支持系统1002可以评估第一图像数据并确定该图像数据仅包括对TTField至患者的身体部位的输送进行建模所需的身体部位的一部分。
在1230处,预测建模应用1014可以针对一个或多个受试者的与患者的身体部位相同的身体部位的图像数据来查询数据库。响应于该查询,预测建模应用1014可以接收除患者之外的多个受试者的身体部位的多个图像数据。预测建模应用1014可以查询数据库1018、1020以检索用于开发身体部位完整模型的多个图像,从而将表示身体部位的附加部分的图像数据添加到患者的身体部位的第一图像数据。例如,将表示身体部位的附加部分的图像数据添加到身体部位的第一图像数据可以产生患者的身体部位的完整图像或更完整的图像。该查询可以例如为除患者之外的受试者确定数据库中的哪些图像是受试者的与患者的身体部位相同的身体部位的图像。该查询可以缩小到包括受试者的与患者的身体部位相同的身体部位的图像的图像数据,其中受试者的图像数据表示身体部位的完整图像或者比患者的第一图像数据更完整的身体部位的图像。满足该查询的图像数据可以被选择用于在身体部位完整模型的创建中进行的分析。
在1240处,预测建模应用1014可以将所接收的每个受试者的图像数据划分成至少两个部位。例如,预测建模应用1014可以将所接收的每个受试者的身体部位的图像数据划分成包括身体部位的第一部分的第一部位和包括身体部位的第二部分的第二部位。例如,第一部位可以是通常被包括在临床扫描中的身体部位的部分。对于示例头部,第一部位可以是除了每个受试者的头部的顶部部分和/或头部的一个或多个侧部部分之外的头部的大部分。例如,第二部位可以是通常不被包括在临床扫描中的身体部位的一部分。
在1250处,预测建模应用1014可以确定身体部位完整模型,以用于从图像数据中生成身体部位的全部或一部分的剩余部分。预测建模应用1014可以采用人工智能技术和多个受试者的身体部位的图像数据的第一和第二部位来确定身体部位完整模型,以用于从患者的身体部位的图像数据中生成身体部位的全部或一部分的剩余部分。在一个示例中,预测建模应用1014可以采用对多个受试者的身体部位的图像数据的第一部位和第二部位的统计形状分析来确定身体部位完整模型。在另一个示例中,预测建模应用1014可以采用对多个受试者的身体部位的图像数据的第一部位和第二部位的主动外观建模来确定身体部位完整模型。在另一个示例中,预测建模应用1014可以采用对多个受试者的身体部位的图像数据的第一部位和第二部位的全局图像统计数据来确定身体部位完整模型。用于确定身体部位完整模型的所提出技术中的任何一个可以对多个受试者的身体部位的图像数据的分段第一部位和第二部位中的头部图像统计数据和头部和/或脑部结构之间的几何关系进行建模。在大的数据集上进行训练之后,可以并入机器学习回归器(例如,随机森林)以从第一图像数据预测身体部位的缺失部位。在另一个示例中,预测建模应用1014可以采用GAN分析(例如,MedGAN、超分辨率GAN、pix2pixGAN、CycleGAN、DiscoGAN和Fila-sGAN)来增加被评估的数据集,以包括大量(例如,多于100、多于1000、多于5000)的身体部位的模拟图像扫描。然后,多个受试者的身体部位的图像数据的第一部位和第二部位可以作为输入被输入到人工神经网络中,该人工神经网络在其中包含一些卷积块,并且将被训练以输出整个身体部位(例如,整个头部、躯干、手臂、腿等)的图像,所述整个身体部位包括所确定的身体部位完整模型内的所述身体部位的缺失部分。
在1260处,预测建模应用1014可以将身体部位完整模型应用于患者的身体部位的第一部分的第一图像扫描。例如,可以通过人工智能技术的方式将身体部位完整模型应用于患者的身体部位的第一部分的图像数据,以确定不被包括在所述身体部位的第一图像扫描中的患者的身体部位的剩余部分的全部或至少一部分。
在1270处,预测建模应用1014可以生成患者的身体部位的第二部分的第二图像数据,所述第二图像数据补充并且基于患者的身体部位的第一部分的图像数据。所述身体部位的第二部分的图像数据可以是表示患者的身体部位的第二部分的三维离散图像。在一个示例中,表示患者的身体部位的第二部分的第二图像数据可以是不被包括在第一图像数据中的身体部位的任何剩余部分。
在1280处,预测建模应用1014可以基于患者的身体部位的第一部分的第一图像数据和所生成的患者的身体部位的第二部分的第二图像数据,来生成患者的身体部位(或身体部位的一部分)的完整三维模型。
图3是用于基于患者身体部位的低分辨率图像(例如,SPECT扫描或PET扫描)来生成患者身体部位的高分辨率三维图像(例如,MRI)的示例方法1300的流程图。低分辨率图像扫描的图像数据可以是患者的整个身体部位、或身体部位的一部分的图像数据。
在1310处,预测建模应用1014可以接收第一分辨率下的多个其他受试者的身体部位的多个第一图像数据。所述第一分辨率可以是高分辨率(例如,MRI或x射线CT图像)。所述第一图像数据中的每一个可以具有相同的图像模态。所述多个第一图像数据可以基于对数据库1018、1020的查询来接收。所述查询可以包括或者可以不包括优化因子。
预测建模应用1014可以查询数据库1018、1020以检索多个图像,从而用于开发用以基于患者的身体部位的低分辨率图像数据(例如,SPECT扫描或PET扫描)来生成高分辨率图像数据(例如,MRI)的模型。该查询可以例如为除患者之外的受试者确定数据库中哪些图像是相同的受试者的图像,并且包括高分辨率和低分辨率这两者中的受试者身体部位的图像数据。满足该查询的图像数据组可以被选择用于在超分辨率模型的创建中进行的分析。用于超分辨率模型的创建的受试者图像的数量可以是可配置的,并且可以是大于除患者之外的一个受试者的任何数量。在某些示例实施例中,为了创建超分辨率模型,满足查询准则的受试者的目标或阈值数量必须被满足。在某些示例实施例中,目标阈值可以是满足查询的至少100个受试者的图像数据(例如,身体部位的低分辨率图像数据和高分辨率图像数据)。例如,目标阈值可以在满足查询的50-5000个受试者的图像数据的范围内。在某些示例实施例中,预测建模应用1014可以仅收集等于目标阈值的数量的受试者的身体部位的低分辨率图像数据和高分辨率图像数据。在其他示例实施例中,预测建模应用1014可以收集满足目标阈值并且在图像数据库1018、1020中可用的任何数量的受试者的身体部位的低分辨率图像数据和高分辨率图像数据。
在1320处,预测建模应用1014可以接收多个受试者的身体部位的多个第二图像数据。因此,对于每个受试者,预测建模应用1014可以接收身体部位的第一图像数据和第二图像数据这两者。所述多个第二图像数据中的每一个可以在第二分辨率下。第二分辨率可以是低分辨率。所述多个第二图像数据中的每一个可以具有相同的图像模态,并且可以不同于第一图像数据的图像模态。所述多个第二图像数据可以基于对数据库1018、1020的查询来接收。所述查询可以已经包括或者可以尚未包括优化因子。
在1330处,预测建模应用可以确定用于基于低分辨率中的患者的身体部位的图像数据(例如,SPECT数据或PET数据)来生成高分辨率中的患者的身体部位的图像数据(例如,MRI)的超分辨率模型。例如,预测建模应用1014可以采用人工智能技术,以使用多个受试者的身体部位的多个第一图像数据和所述多个受试者的身体部位的多个第二图像数据,来生成用于基于患者身体部位的低分辨率图像数据生成患者身体部位的高分辨率图像数据的超分辨率模型。例如,预测建模应用1014可以对多个受试者的身体部位的多个第一图像数据和多个第二图像数据应用生成对抗网络(GAN)分析的形式,以生成超分辨率模型。例如,预测建模应用1014可以应用MedGAN分析来生成超分辨率模型。在其他示例中,预测建模应用1014可以应用另一种形式的GAN分析,包括但不限于超分辨率GAN、pix2pixGAN、CycleGAN、DiscoGAN和Fila-sGAN。预测建模应用1014可以应用另一种形式的建模来生成超分辨率模型(诸如,诸如回归模型或卷积网络)。
在1340处,预测建模应用1014可以接收患者的身体部位的图像数据。所述身体部位的图像数据可以是作为低分辨率的第二分辨率(例如,低于MRI图像数据的分辨率)。
在1350处,一旦已经基于多个受试者(例如,人)的第一分辨率下的身体部位的多个第一图像数据和第二分辨率下的身体部位的多个第二图像数据生成了超分辨率模型,预测建模应用1014就可以将该模型应用于所接收的第二分辨率下的患者身体部位的图像数据。在某些示例中,超分辨率模型可以在患者身体部位的图像数据的接收之前生成。在其他示例实施例中,超分辨率模型可以在患者身体部位的图像数据的接收之后生成。
在1360处,预测建模应用1014可以生成第一分辨率下的患者身体部位的图像数据。第一分辨率下的患者身体部位的图像数据的生成可以基于将超分辨率模型应用于所接收的第二分辨率下的患者身体部位的图像数据。第一分辨率可以高于第二分辨率。基于第二分辨率下的患者身体部位的图像数据和超分辨率模型,所生成的第一分辨率下的患者身体部位的图像数据可以是患者身体部位的完整三维模型。
图4是用于确定TTField至患者身体的一部分的输送的换能器阵列布局的示例方法1400的流程图。该方法1400可以由装置100、患者支持系统1002、患者建模应用608和/或本文中描述的任何其他设备/组件中的一个或多个来完成。
在1410处,可以接收患者身体的一部分的三维模型。例如,该三维模型可以由患者建模应用608接收。该三维(3D)模型可以是在图1-3中的一个或多个中生成的3D模型,并且可以包括患者的身体部位或身体部位的一部分。在1420处,可以在患者身体的一部分的3D模型内确定感兴趣区域(ROI)。在1430处,可以确定模拟的电场分布。在1440处,可以确定剂量度量。例如,该剂量度量可以基于模拟的电场分布来确定。例如,可以针对换能器阵列的多个定位对中的每个定位对确定剂量度量。在1450处,确定满足换能器阵列对之间的角度限制的多个定位对中的一个或多个定位对集。例如,所述角度限制可以是和/或指示所述多个换能器阵列对之间的正交角度。例如,所述角度限制可以是和/或指示所述多个换能器阵列对之间的角度的范围。在1460处,可以确定一个或多个候选换能器阵列布局图。例如,所述一个或多个候选换能器阵列布局图可以基于剂量度量和满足角度限制的一个或多个定位对集来确定。在一些实例中,方法1400可以包括调整一个或多个候选换能器阵列布局图的至少一个定位处的至少一个换能器阵列的模拟取向或模拟定位,并且基于调整所述至少一个换能器阵列的模拟取向或模拟定位来确定最终换能器阵列布局图。
图5是描绘包括患者支持系统1002的非限制性示例的环境1000的框图。在一方面中,任何所描述的方法的一些或所有步骤可以在如本文中所描述的计算设备上执行。患者支持系统1002可以包括一个或多个计算机,其被配置为存储电场生成器(EFG)配置应用606、患者建模应用608、成像数据610、操作系统(O/S)1012、预测建模应用1014、图像数据库1018以及诸如此类中的一个或多个。
患者支持系统1002可以是数字计算机,就硬件架构而言,所述数字计算机一般包括一个或多个处理器1004、存储器系统1006、输入/输出(I/O)接口1008和网络接口1010。这些组件(1004、1006、1008和1010)经由本地接口1016通信耦合。处理器1004可以是用于执行软件、特别是用于存储在存储器系统1006中的软件的硬件设备。当患者支持系统1002在操作中时,处理器1004可以被配置为执行存储在存储器系统1006内的软件,向存储器系统1006传送数据和从存储器系统1006传送数据,以及依照软件一般地控制患者支持系统1002的操作。患者支持系统1002可以是包括一个或多个处理器和由一个或多个处理器可访问的存储器的计算机,其中所述存储器存储指令,当由一个或多个处理器执行时,所述指令使计算机执行本文中公开的一个或多个方法。
患者建模应用608可以被配置为根据成像数据610生成患者身体的一部分的3D模型。成像数据610可以包括任何类型的视觉数据,例如,单光子发射计算机断层摄影(SPECT)图像数据、x射线计算机断层摄影(CT)数据、磁共振成像(MRI)数据、正电子发射断层摄影(PET)数据以及可以由光学仪器捕获的数据。在某些实现中,图像数据可以包括从3D扫描仪获得或由3D扫描仪生成的3D数据。患者建模应用608还可以被配置为基于患者模型和一个或多个电场模拟来生成3D阵列布局图。为了适当地优化患者身体的一部分上的阵列放置,诸如MRI成像数据之类的成像数据610可以由患者建模应用608分析,以标识包括肿瘤的感兴趣区域。在一方面中,患者建模应用608可以被配置为基于肿瘤的位置和范围来确定患者的期望的换能器阵列布局。在一方面中,患者建模应用608可以被配置为确定患者的3D阵列布局图。
网络接口1010可以用于从患者支持系统1002传输和接收。在图5的示例中,患者支持系统1002的存储器系统1006中的软件可以包括EFG配置应用606、患者建模应用608、成像数据610、预测建模应用1014、图像数据库1018和操作系统1012。
预测建模应用1014可以是用于基于来自多个受试者的图像数据来生成图像数据模型的一个或多个建模应用。预测建模应用可以被配置为进行如下各项中的一个或多个:生成对抗网络(GAN)分析、MedGAN分析、超分辨率GAN、pix2pixGAN、CycleGAN、DiscoGAN、Fila-sGAN、投射对抗网络(PAN)分析、变分自编码器(VAE)、分析、回归分析或卷积网络分析。例如,预测建模应用1014可以采用一个或多个人工智能技术来进行受试者图像数据的分析。
图6示出了用于电疗治疗的示例装置100。该装置100可以包括电场生成器102和一个或多个换能器阵列104。该装置100可以被配置为经由电场生成器102生成TTField,并通过一个或多个换能器阵列104将TTField输送到身体的区域。电场生成器102可以包括与信号生成器108通信的一个或多个处理器106。电场生成器102可以包括被配置为控制处理器106和信号生成器108的性能的控制软件110。控制软件110可以被存储在由一个或多个处理器106可访问的存储器中。信号生成器108可以生成以波形或一连串脉冲的形状的一个或多个电信号。信号生成器108可以被配置为生成在例如从近似50kHz至近似500kHz范围中的频率下的交流电压波形。所述电压使得要被治疗的组织中的电场强度可以在例如近似0.1V/cm至近似10V/cm的范围中。
电场生成器102的一个或多个输出114可以耦合到一个或多个导电引线112,所述一个或多个导电引线112在其一个端部处被附接到信号生成器108。导电引线112的相对端部被连接到由电信号激活的一个或多个换能器阵列104。信号生成器108的输出参数可以包括一个或多个换能器阵列104的场强、波的频率和最大可允许温度。输出参数可以由控制软件110结合处理器106来设置和/或确定。
所述一个或多个换能器阵列104阵列可以包括一个或多个电极116。所述电极116可以是生物相容的,并且被耦合到柔性电路板118。电极116、水凝胶和柔性电路板118可以被附接到低过敏性医用粘性绷带120,以将所述一个或多个换能器阵列104在身体上保持就位,并与皮肤连续直接接触。每个换能器阵列104可以包括一个或多个传感器,诸如热敏电阻器,以测量换能器阵列104下方的皮肤温度。所述一个或多个换能器阵列104在大小上可以变化,并且可以包括变化数量的电极116。换能器阵列104可以被配置用于放置在患者身体的特定部位,诸如患者的头部、躯干、手臂或腿部。
在一个示例中,电极116可以是陶瓷盘,并且陶瓷盘中的每一个可以直径为近似2cm,并且厚度为近似1mm。在另一个示例中,电极116可以是非盘形的陶瓷元件。在又另一个示例中,电极116可以是被定位在多个扁平导体上的非陶瓷介电材料。被定位在扁平导体上的非陶瓷介电材料的示例可以包括被设置在印刷电路板上的焊盘上或扁平金属片上的聚合物薄膜。在特定实施例中,使用不是电容耦合的电极阵列的换能器也可以被使用。在该情况下,每个电极元件116可以使用导电材料的区域来实现,该导电材料的区域被配置用于抵靠受试者的身体放置,其中在导电元件和身体之间没有设置绝缘介电层。在其他实施例中,换能器可以仅包括单个电极元件。作为示例,单个电极元件可以是被定位在衬底上的柔性有机材料或柔性有机复合材料。作为另一个示例,换能器可以包括柔性有机材料或柔性有机复合材料,而没有衬底。
也可以使用用于实现供本发明的实施例使用的换能器的其他替代构造,只要它们能够(a)将TTField输送到受试者的身体,以及(b)被定位在本文中指定的位置处。
本发明包括其他说明性实施例,诸如以下实施例。
说明性实施例1:一种包括用以生成三维模型的指令的非暂时性计算机可读介质,所述指令在由计算机执行时使计算机执行一种方法,所述方法包括:接收第一图像模态中的患者身体的第一部分的第一图像数据,接收第二图像模态中的患者身体的第二部分的第二图像数据,将第二图像数据从第二图像模态修改为第一图像模态,以及基于第一图像模态中的第一图像数据和第二图像模态中的经修改的第二图像数据来生成患者身体的第一部分和第二部分的三维模型。
说明性实施例2:一种包括用以生成三维模型的指令的非暂时性计算机可读介质,所述指令在由计算机执行时使计算机执行一种方法,所述方法包括:接收患者的身体部位的第一部分的第一图像数据,其中所述身体部位的第一部分少于完整的身体部位,接收多个受试者的身体部位的多个第二图像数据,基于所述多个第二图像数据确定身体部位完整模型,基于身体部位完整模型和第一图像数据生成身体部位的第二部分的第三图像数据,以及基于第一图像数据和第三图像数据生成患者的身体部位的三维模型。
说明性实施例3:一种包括用以生成三维模型的指令的非暂时性计算机可读介质,所述指令在被计算机执行时使计算机执行一种方法,所述方法包括:接收第一图像分辨率下的患者身体的一部分的第一图像数据,接收多个受试者的多个第二图像数据,基于所述多个第二图像数据确定用于提高第一图像数据的分辨率的超分辨率模型,以及基于超分辨率模型和第一图像数据来生成第二图像分辨率下的患者身体的所述部分的第三图像数据,其中所述第二图像分辨率大于第一图像分辨率。
说明性实施例4:一种用以生成三维模型的系统,所述系统包括一个或多个处理器和由所述一个或多个处理器可访问的存储器,所述存储器存储指令,当由所述一个或多个处理器执行时,所述指令使所述系统执行一种方法,所述方法包括:接收第一图像模态中的患者身体的第一部分的第一图像数据,接收第二图像模态中的患者身体的第二部分的第二图像数据,将第二图像数据从第二图像模态修改为第一图像模态,以及基于第一图像模态中的第一图像数据和第二图像模态中的经修改的第二图像数据来生成患者身体的第一部分和第二部分的三维模型。
说明性实施例5:一种用以生成三维模型的系统,所述系统包括一个或多个处理器和由所述一个或多个处理器可访问的存储器,所述存储器存储指令,当由所述一个或多个处理器执行时,所述指令使所述系统执行一种方法,所述方法包括:接收患者的身体部位的第一部分的第一图像数据,其中所述身体部位的第一部分少于完整的身体部位,接收多个受试者的身体部位的多个第二图像数据,基于所述多个第二图像数据确定身体部位完整模型,基于身体部位完整模型和第一图像数据生成身体部位的第二部分的第三图像数据,以及基于第一图像数据和第三图像数据生成患者的身体部位的三维模型。
说明性实施例6:一种用以生成三维模型的系统,所述系统包括一个或多个处理器和由所述一个或多个处理器可访问的存储器,所述存储器存储指令,当由所述一个或多个处理器执行时,所述指令使所述系统执行一种方法,所述方法包括:接收第一图像分辨率下的患者身体的一部分的第一图像数据,接收多个受试者的多个第二图像数据,基于所述多个第二图像数据确定用于增加第一图像数据的分辨率的超分辨率模型,以及基于超分辨率模型和第一图像数据来生成第二图像分辨率下的患者身体的所述部分的第三图像数据,其中所述第二图像分辨率大于第一图像分辨率。
说明性实施例7:一种用以生成三维模型的计算机实现的方法,所述计算机包括一个或多个处理器和由所述一个或多个处理器可访问的存储器,所述存储器存储指令,当由所述一个或多个处理器执行时,所述指令使计算机执行所述方法,所述方法包括:接收第一图像模态中的患者身体的第一部分的第一图像数据,接收第二图像模态中的患者身体的第二部分的第二图像数据,将第二图像数据从第二图像模态修改为第一图像模态,以及基于第一图像模态中的第一图像数据和第二图像模态中的经修改的第二图像数据来生成患者身体的第一部分和第二部分的三维模型。
说明性实施例8:根据说明性实施例7所述的计算机实现的方法,其中所述第一图像模态包括磁共振成像(MRI)。
说明性实施例9:根据说明性实施例7所述的计算机实现的方法,其中患者身体的第一部分是患者的身体部位的第一部分,并且患者身体的第二部分是患者的身体部位的第二部分。
说明性实施例10:根据说明性实施例7所述的计算机实现的方法,其中所述身体部位是头部、躯干、手臂或腿部之一。
说明性实施例11:一种用以生成三维模型的计算机实现的方法,所述计算机包括一个或多个处理器和由所述一个或多个处理器可访问的存储器,所述存储器存储指令,当由所述一个或多个处理器执行时,所述指令使计算机执行所述方法,所述方法包括:接收患者的身体部位的第一部分的第一图像数据,其中所述身体部位的第一部分少于完整的身体部位,接收多个受试者的身体部位的多个第二图像数据,基于所述多个第二图像数据确定身体部位完整模型,基于身体部位完整模型和第一图像数据生成身体部位的第二部分的第三图像数据,以及基于第一图像数据和第三图像数据生成患者的身体部位的三维模型。
说明性实施例12:根据说明性实施例11所述的计算机实现的方法,其中所述三维模型是患者的身体部位的完整模型。
说明性实施例13:一种用以生成三维模型的计算机实现的方法,所述计算机包括一个或多个处理器和由所述一个或多个处理器可访问的存储器,所述存储器存储指令,当由所述一个或多个处理器执行时,所述指令使计算机执行所述方法,所述方法包括:接收第一图像分辨率下的患者身体的一部分的第一图像数据,接收多个受试者的多个第二图像数据,基于所述多个第二图像数据确定用于增加第一图像数据的分辨率的超分辨率模型,以及基于超分辨率模型和第一图像数据来生成第二图像分辨率下的患者身体的所述部分的第三图像数据,其中所述第二图像分辨率大于第一图像分辨率。
说明性实施例14:根据说明性实施例13所述的计算机实现的方法,其中所述第一图像分辨率包括磁共振成像。
在本公开的任何标题下或任何部分中说明的实施例可以与在本公开的相同或任何其他标题或其他部分下说明的实施例相组合,除非在本文中另外指示或另外与上下文明显矛盾。
在不脱离权利要求中限定的本发明的范围的情况下,对所描述的实施例的许多修改、更改和改变是可能的。意图的是本发明不限于所描述的实施例,而是它具有由以下权利要求及其等同物的语言所限定的全部范围。
Claims (15)
1.一种用以生成三维模型的计算机实现的方法,所述计算机包括一个或多个处理器和由所述一个或多个处理器可访问的存储器,所述存储器存储指令,当由所述一个或多个处理器执行时,所述指令使计算机执行所述方法,所述方法包括:
接收第一图像模态中的患者身体的第一部分的第一图像数据;
接收第二图像模态中的患者身体的第二部分的第二图像数据;
将第二图像数据从第二图像模态修改为第一图像模态;和
基于第一图像模态中的第一图像数据和第二图像模态中的经修改的第二图像数据来生成患者身体的第一部分和第二部分的三维模型。
2.根据权利要求1所述的方法,进一步包括生成图像模态转化模型,其中将第二图像数据从第二图像模态修改为第一图像模态包括将图像模态转化模型应用于第二图像模态中的第二图像数据。
3.根据权利要求2所述的方法,其中生成图像模态转化模型包括:
接收多个受试者的第一图像模态中的患者身体的第一部分的多个图像数据;和
接收多个受试者的第二图像模态中的患者身体的第二部分的第二多个图像数据,
其中基于对第一多个图像数据和第二多个图像数据的分析生成图像模态转化模型。
4.根据权利要求3所述的方法,其中所述分析包括如下各项中的至少一个:生成对抗网络(GAN)分析、MedGAN分析、超分辨率GAN分析、pix2pix GAN分析、cycleGAN分析、discoGAN分析、fila-sGAN分析、投射对抗网络(PAN)分析、变分自编码器(VAE)分析或回归分析。
5.根据权利要求1所述的方法,进一步包括基于患者身体的第一部分和第二部分的三维模型,确定沿着患者身体的第一部分和第二部分中的至少一个的换能器阵列布局图。
6.一种用以生成三维模型的计算机实现的方法,所述计算机包括一个或多个处理器和由所述一个或多个处理器可访问的存储器,所述存储器存储指令,当由所述一个或多个处理器执行时,所述指令使计算机执行所述方法,所述方法包括:
接收患者的身体部位的第一部分的第一图像数据,其中所述身体部位的第一部分少于完整的身体部位;
接收多个受试者的身体部位的多个第二图像数据;
基于所述多个第二图像数据,确定身体部位完整模型;
基于身体部位完整模型和第一图像数据,生成身体部位的第二部分的第三图像数据;和
基于第一图像数据和第三图像数据,生成患者的身体部位的三维模型。
7.根据权利要求6所述的方法,进一步包括将所述多个第二图像数据中的每一个划分成第一部分图像数据和第二部分图像数据,其中第一部分图像数据包括对应受试者的身体部位的第一部分,并且第二部分图像数据包括对应受试者的身体部位的另一部分。
8.根据权利要求7所述的方法,进一步包括针对多个受试者中的每一个进行对第一部分图像数据和第二部分图像数据的分析。
9.根据权利要求8所述的方法,其中所述分析包括统计形状分析、主动外观分析或全局图像统计分析中的至少一个。
10.根据权利要求6所述的方法,进一步包括基于第一图像数据确定需要患者身体的身体部位的第二部分的图像数据来生成患者的身体部位的三维模型。
11.根据权利要求6所述的方法,进一步包括基于患者的身体部位的三维模型,确定沿着患者的身体部位的换能器阵列布局图。
12.根据权利要求6所述的方法,其中所述身体部位是头部,并且其中所述身体部位的第一部分的第一图像数据不包括患者头部的顶部部分。
13.一种用以生成三维模型的计算机实现的方法,所述计算机包括一个或多个处理器和由所述一个或多个处理器可访问的存储器,所述存储器存储指令,当由所述一个或多个处理器执行时,所述指令使计算机执行所述方法,所述方法包括:
接收第一图像分辨率下的患者身体的一部分的第一图像数据;
接收多个受试者的多个第二图像数据;
基于所述多个第二图像数据,确定用于增加第一图像数据的分辨率的超分辨率模型;和
基于超分辨率模型和第一图像数据来生成第二图像分辨率下的患者身体的所述部分的第三图像数据,其中所述第二图像分辨率大于第一图像分辨率。
14.根据权利要求13所述的方法,其中接收所述多个受试者的多个第二图像数据包括:
接收第一图像分辨率下的所述多个受试者的与患者身体的所述部分相同的身体部分的第一多个第二图像数据;和
接收第二图像分辨率下的所述多个受试者的身体的所述相同部分的第二多个第二图像数据,
其中确定超分辨率模型包括进行对第一多个第二图像数据和第二多个第二图像数据的分析。
15.根据权利要求14所述的方法,其中所述分析包括回归分析、卷积网络分析、生成对抗网络(GAN)分析、MedGAN分析、超分辨率GAN分析、pix2pix GAN分析、cycleGAN分析、discoGAN分析或fila-sGAN分析中的至少一个。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US63/140635 | 2021-01-22 | ||
US17/578,241 US12002153B2 (en) | 2021-01-22 | 2022-01-18 | Methods, systems, and apparatuses for medical image enhancement to optimize transducer array placement |
US17/578241 | 2022-01-18 | ||
PCT/IB2022/050446 WO2022157645A1 (en) | 2021-01-22 | 2022-01-19 | Methods, systems, and apparatuses for medical image enhancement to optimize transducer array placement |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117083628A true CN117083628A (zh) | 2023-11-17 |
Family
ID=88717684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280023809.9A Pending CN117083628A (zh) | 2021-01-22 | 2022-01-19 | 用以优化换能器阵列放置的用于医学图像增强的方法、系统和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117083628A (zh) |
-
2022
- 2022-01-19 CN CN202280023809.9A patent/CN117083628A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7405818B2 (ja) | 変形可能テンプレートを使用して最適化された電極位置を有するttフィールドを用いて患者を治療する | |
JP7383679B2 (ja) | Mriによる導電率測定値に基づいて頭部上の電極位置を最適化したttfield治療 | |
CN110337312B (zh) | 基于刺激场建模的最佳脑深部刺激电极的选择与放置 | |
CN108697402B (zh) | 在三维图像中确定深度脑刺激电极的旋转方位 | |
US12002153B2 (en) | Methods, systems, and apparatuses for medical image enhancement to optimize transducer array placement | |
US11495345B2 (en) | Simulating a target coverage for deep brain stimulation | |
EP3799662B1 (en) | Anonymisation of medical patient images using an atlas | |
US11911223B2 (en) | Image based ultrasound probe calibration | |
US20100189319A1 (en) | Image segmentation system and method | |
US20160133003A1 (en) | Method and apparatus for image registration | |
Xie et al. | Feature‐based rectal contour propagation from planning CT to cone beam CT | |
EP2948923A1 (en) | Method and apparatus for calculating the contact position of an ultrasound probe on a head | |
JP6833060B2 (ja) | 3次元超音波体積内の関心オブジェクトを視覚化する少なくとも1つの最終2次元画像の決定 | |
Jiang et al. | A real‐time freehand 3D ultrasound imaging method for scoliosis assessment | |
US20170103173A1 (en) | Determining Medical Outcome Quality | |
CN105787922B (zh) | 一种实现自动mpr批处理的方法和装置 | |
US20210330993A1 (en) | Automated magnetic resonance image segmentation for ultrasound thermal therapy control | |
CN109350059A (zh) | 用于肘部自动对准的组合的转向引擎和界标引擎 | |
JP7201791B2 (ja) | 人体部分の撮像方法、コンピュータ、コンピュータ読み取り可能記憶媒体、コンピュータプログラム、および医療システム | |
CN117083628A (zh) | 用以优化换能器阵列放置的用于医学图像增强的方法、系统和装置 | |
CN116848549A (zh) | 经由降维投影的图像结构的检测 | |
EP4260277A1 (en) | Methods, systems, and apparatuses for medical image enhancement to optimize transducer array placement | |
US20220148171A1 (en) | Methods and apparatuses for determining transducer locations to generate tumor treating fields | |
EP3794550B1 (en) | Comparison of a region of interest along a time series of images | |
JP6843892B2 (ja) | 解剖学的または生理学的状態データのクラスタリング |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |