CN114097041A - 针对深度学习电特性断层摄影的不确定度图 - Google Patents

针对深度学习电特性断层摄影的不确定度图 Download PDF

Info

Publication number
CN114097041A
CN114097041A CN202080049687.1A CN202080049687A CN114097041A CN 114097041 A CN114097041 A CN 114097041A CN 202080049687 A CN202080049687 A CN 202080049687A CN 114097041 A CN114097041 A CN 114097041A
Authority
CN
China
Prior art keywords
map
training
field
dnn
maps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080049687.1A
Other languages
English (en)
Inventor
U·卡切尔
N·汉佩尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN114097041A publication Critical patent/CN114097041A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本公开涉及一种用于确定被成像对象(718)中的目标体积(708)的电特性EP的方法。所述方法包括:a)使用训练数据集训练(201)深度神经网络DNN,所述训练数据集包括训练B1场图和相应的EP图,所述训练包括在训练期间使用DNN的蒙特卡罗MC丢弃,得到被配置用于根据B1场图来生成EP图的经练的DNN;b)接收(203)所述目标体积的输入B1场图,并且通过经训练的DNN来根据所述输入B1场图重复生成EP图,得到一组EP图,其中,所述生成包括在每次重复中在所述DNN的推理期间使用MC丢弃;c)组合(205)所述一组EP图以确定输入B1场图的EP图和相关联的不确定性图。

Description

针对深度学习电特性断层摄影的不确定度图
技术领域
本发明涉及扫描成像系统,具体而言涉及一种用于确定被成像对象中的目标体积的电特性(EP)的医学分析系统。
背景技术
电特性断层摄影(EPT)是一种通过对B1场分布的幅值和相位进行后处理来以非侵入的和定量的方式在体内测量组织的电特性的技术。EP与复数B1值之间的关系由所谓的亥姆霍兹方程给出。因此,将来自MRI的复数值的B1图作为输入,亥姆霍兹方程提供了EP。然而,传统的EPT存在收发相位问题、组织边界问题和噪声放大问题。
发明内容
如独立权利要求的主题所描述的,各种实施例提供了用于确定被成像对象中的目标体积的电特性(EP)的医学分析系统、方法和计算机程序产品。在从属权利要求中描述了有利的实施例。
本发明的实施例可以提供一种针对EPT利用深度学习的手段,以解决针对EPT的传统方法的关键问题,例如收发相位问题、组织边界问题和噪声放大。这可以通过在深度神经网络中使用蒙特卡罗丢弃(dropout)来实现,以产生不确定值以及网络的EP输出。不确定性值用作深度神经网络的错误网络行为的指标。
在一个方面中,本发明涉及一种用于确定对象中的目标体积的电特性EP的医学分析系统。对象可以例如由MRI系统成像或扫描,以便生成对象中的目标体积的图像。医学分析系统包括:至少一个处理器;以及至少一个存储器,其存储机器可执行指令,所述处理器被配置用于控制所述医学分析系统,其中,所述机器可执行指令的运行使所述处理器:a)使用训练数据集来训练深度神经网络DNN,所述训练数据集包括训练B1场图和相应的EP图,所述训练包括在训练期间使用DNN的蒙特卡罗MC丢弃,得到被配置为根据B1场图来生成EP图的经训练的DNN;b)接收目标体积的输入B1场图,并且通过经训练的DNN根据输入的B1场图来重复生成EP图,得到一组EP图,其中,所述生成包括在每次重复中在经训练的DNN的推理(或使用)期间使用MC丢弃;c)组合所述一组EP图以确定所述输入B1场图EP图和的相关联的不确定性图。
可以使用体积的现有B1场图来构建训练集。B1场图利用相应的EP图被标记。该体积可以是目标体积或另一个对象的体积。例如,存在许多用于实验地确定B1场分布的B1映射方法。这些方法可用于测量幅值和相位分布。例如,可以使用两次MRI扫描来采集或生成复数值的B1场图,例如一次扫描用于采集B1幅值分布并且一次扫描用于采集B1相位分布。B1场图可以是B1发射场图。例如,磁共振电特性断层摄影(MR-EPT)可用于估计目标体积的电导率和介电常数分布。根据MR-EPT的成像使得能够获得使用特定脉冲序列产生的RF场的相位图像和/或B1幅值图像。例如,对象可以通过磁共振成像(MRI)系统成像,得到MRI数据。MRI数据可用于通过求解将发射射频(RF)场的MR测量结果与EP相关的电磁逆问题来重建组织EP。
当B1场的信息以2D或3D空间分布的形式确定或呈现时,其可以称为B1场图。例如可以使用通过扫描对象的目标体积而采集的MRI数据来确定B1场图。B1场图可以用于根据B1场图导出EP图。因此,导出的EP图对应于该B1场图。导出EP图包括使用B1场图来执行EPT重建,例如可以通过采用B1场图的拉普拉斯算子来计算EP图。
本主题使用MC丢弃来逐体素地推断不确定性值以及EP值。不确定性值用作针对DNN的错误网络行为的指标,有可能通过重复扫描来减少体内伪影。
在基于块(patch)的重建中,使用交叠的块可以针对每个体素产生不同的EP值。每个EP值的不确定性的可用性允许优选具有低不确定性的值,从而产生更高的重建准确度。特别是,不确定性可用于根据交叠的块来确定针对EP值的加权因子,优选低不确定性EP,从而提高重建准确度。基于块的重建可以例如通过向经训练的DNN输入从B1映射的完整图像提取的像素或体素的块以使用经训练的DNN来重建EP值的另一个块来执行。例如,可以将同一B1图的多个块输入到训练的DNN中,以便重建EP值的相应的多个块。由于多个输入块可能是交叠的块,因为它们可能共享B1图的像素,因此EP值的多个块(EP块)也可能交叠,因为同一像素可能在一个EP块中具有一值并且在另一个EP块中具有另一值。在基于块的重建中使用MC丢弃;所述多个EP块中的每个都可能与各自的不确定性相关联。例如,这可能导致相同像素具有不同的(EP值,不确定性)的对。这通过考虑具有较低不确定性的值而可以允许对块中的交叠值进行更复杂的加权。
使用DNN可能是有利的,因为它可以对线性以及复杂的非线性关系进行建模。这在对象数据的量很大的情况下可能特别有利。此外,通过随机停用DNN神经元之间的连接,使用丢弃层在DNN中引入干扰。对于本主题,当在训练之后将经训练的DNN应用于测试数据时,MC丢弃,特别是丢弃率(即设置为零的权重分数)保持非零(常见值为0.5)。这样做,获得了DNN的非确定性网络行为,使得重复应用到同一输入的网络输出存在差异,差异随着EP不确定性的增加而增加。
本主题可以应用于电特性具有诊断价值的情况,或者需要电特性用于RF安全管理的情况,或者需要电特性用于RF消融/热疗等治疗计划的情况。
根据一个实施例,还使处理器确定所述不确定性图是否满足预定义的质量条件,并且响应于确定所述不确定性图不满足预定义的质量条件,使用另外的训练数据集来重新训练DNN,并使用所述经重新训练的DNN替代所述经训练的DNN来重复步骤b)-c)。
在一个示例中,确定所述不确定性图不满足所述预定义质量条件可以自动执行或者可以通过提示用户请求是否满足所述预定义质量条件来执行。特别是,提供不确定性图和EP图为临床医师提供了对基于EP的发现进行评价的机会。例如,对不确定性值的阈值处理(例如,质量条件可能需要针对图中预定义值的(x%)部分的最大不确定性值)可用作紧急中断以识别故障网络行为,从而提高基于深度学习的EPT的整体可信度。如果体内伪影是高不确定性的原因,则重复扫描可能提高结果质量。
根据一个实施例,所述另外的训练数据集大于所述训练数据集。
除了的B1场图和相应的EP图的另外的对之外,所述另外的训练数据集还包括训练数据集。使用更大的数据集可能是有利的,因为它可能增加训练数据集的可变性。变异性是指解剖学几何结构和组织电导率值的变异性。实验表明,对于与训练数据相似的预测数据,神经网络能够以极高的准确度近似期望的基础功能。训练集内的大可变性具有增加训练数据和推理期间使用的预测数据之间相似性的可能的有益效果。
根据一个实施例,还使所述处理器:执行所述重复直到所述不确定性图满足预定义的质量条件。每次当前迭代的训练数据集可以通过增加B1场图和对应的EP图对来增加上一次迭代的训练数据集来得到。在满足预定义的质量条件后,经训练的DNN可以被多次使用(即可以重复步骤b)和c))用于预测数据的输入B1场图。
根据一个实施例,训练B1场图包括B1场相位图和/或B1幅值图,其中,输入B1场图包括B1相位图和/或B1幅值图。
在第一个示例中,训练B1场图中的每个包括B1场相位图,其中,输入B1场图包括B1相位图。换句话说,使用B1相位图进行训练,以生成经训练的DNN,所述经训练的DNN可以响应于接收B1相位图作为输入来估计或预测电导率图。DNN可以例如包括被配置为接收训练B1图的体素或像素值的输入层。每个训练B1图例如可以包括其像素值可以输入到DNN以执行训练的图像。DNN的输出层可以例如被配置为提供指示电导率值的输出值。训练可以导致DNN被训练用于输出对与输入B1场相位图相对应的电导率图的预测或估计。输入B1场图可以是输入B1相位图。通过接收输入的B1相位图,经训练的DNN可以通过将其多次应用于同一输入B1场图来输出多个电导率图。这可以允许例如在临床可用的MR场强下的人脑组织的准确和精确的电导率图重建。
在第二个示例中,所述训练B1场图中的每个包括B1幅值图,其中,所述输入B1场图包括B1幅值图。换句话说,使用B1幅值图进行训练,以生成经训练的DNN,所述经训练的DNN可以响应于接收B1幅值图作为输入来估计或预测电导率图。DNN可以例如包括被配置为接收B1幅值图的体素或像素值的输入层。每个B1幅值图例如可以包括其像素值可以输入到DNN以执行训练的图像。DNN的输出层可以例如被配置为提供指示介电常数值的输出值。训练可以导致DNN被训练用于输出对与输入B1幅值图相对应的介电常数值图的预测或估计。输入B1场图可以是输入B1幅值图。通过接收输入的B1幅值图,经训练的DNN可以通过将其多次应用于同一输入B1场图来输出多个介电常数图。这可以允许例如在临床可用的MR场强下的人脑组织的准确和精确的介电常数图重建。
第一和第二示例可以实现仅相位电导率重建和仅幅值介电常数重建。这在对应于低于3T的MR场强的频率范围内可能特别有利,其中B1的波行为不太重要,并且绝对B1相位更多地取决于电导率分布而不是介电常数,而介电常数与B1场的幅值更密切地相关。
在第三个示例中,每个训练B1场图包括相应的的B1场相位图和B1幅值图,其中,输入B1场图包括B1相位图和B1幅值图。换句话说,使用B1幅值图和B1相位图两者进行训练,以生成经训练的DNN,所述经训练的DNN可以响应于接收B1幅值和B1相位图作为输入来估计或预测介电常数图和电导率图。DNN可以例如包括被配置为接收B1幅值图和B1相位图的体素或像素值的输入层。每个B1幅值图和B1相位图可以例如包括图像,其中,可以将两幅图像对应的像素值输入到DNN的输入层以执行训练。DNN的输出层可以例如被配置为提供指示介电常数值和电导率值的输出值。训练可以导致DNN被训练用于输出对与输入B1场图相对应的介电常数图和电导率图的预测或估计。通过接收输入的B1场图,经训练的DNN可以通过将其多次应用于同一输入B1场图来输出多个电导率图和介电常数图。这可以允许例如在临床可用的MR场强下的人脑组织的准确和精确的介电常数图和电导率图重建。在另一个示例中,为了降低复杂性,可以针对电导率和介电常数分别训练两个网络。
根据一个实施例,训练B1场图是测量的和/或模拟的B1场图并且对应的EP图是模拟的EP图。模拟数据可以通过模拟真实的线圈设置并包括真实的头部模型来获得。这可能能够获得大量的唯一B1场。这可以克服对大量MR数据用于训练的需要。模拟的B1场图可能包括也可能不包括伪影。不使用伪影可以加快预测EP图的过程,同时仍然获得EP图的准确结果(例如,可以通过检查准确度条件来控制准确度)。使用测量的B1场图(或带有伪影的模拟B1场图)可以使EPT对体内图像采集产生的伪影进行鲁棒的深度学习。
根据一个实施例,使用MC丢弃包括控制丢弃率、DNN的丢弃层的数量和/或位置。例如,可以根据Gal,Yarin,und Zoubin Ghahramani.Dropout as a BayesianApproximation:Representing Model Uncertainty in Deep Learning.arXiv:1506.02142[cs,stat],2015年6月.http://arxiv.org/abs/1506.02142中描述的方法使用MC丢弃。
根据一个实施例,DNN是U-NET。U-NET可以包括连续的层,其中池化操作可以由上采样操作符代替。这些层可以提高U-NET输出的分辨率。
根据一个实施例,所述系统被配置为连接到一个或多个MRI系统并且从MRI系统接收输入B1图和/或测量的B1图。
根据一个实施例,所述系统还包括MRI系统,所述MRI系统被配置用于采集图像数据并且根据图像数据来重建B1图,输入的B1图和/或测量的B1图包括重建的B1图。
在另一方面,本发明涉及一种用于确定对象中目标体积的电特性EP的方法。所述方法包括:a)使用训练数据集来训练深度神经网络DNN,所述训练数据集包括训练B1场图和相应的EP图,所述训练包括在训练期间使用DNN的蒙特卡罗MC丢弃,得到被配置为根据B1场图来生成EP图的经训练的DNN;b)接收目标体积的输入B1场图,并且通过所述经训练的DNN根据输入的B1场图来重复生成EP图,得到一组EP图,其中,所述生成包括在每次重复中在DNN的推理期间使用MC丢弃;c)组合所述一组EP图以确定所述输入B1场图的EP图和相关联的不确定性图。
在另一方面,本发明涉及一种计算机程序产品,其包括用于由处理器运行的机器可执行指令,其中,所述机器可执行指令的运行使所述处理器执行前述实施例中的任一项所述的方法。
应该理解,可发组合本发明的一个或多个前述实施例,只要组合后的实施例不相互排斥即可。
附图说明
在下文中,将仅通过举例的方式并且参考附图来描述本发明的优选实施例,在附图中:
图1是根据本主题的控制系统的示意图,
图2是用于确定被成像对象中的目标体积的电特性(EP)的方法的流程图,
图3描绘了图示深度神经网络的训练过程的框图,
图4示出了MRI系统的横截面和功能图。
附图标记列表
100 医学系统
101 扫描成像系统
103 处理器
107 存储器
108 电源
109 总线
111 控制系统
121 软件
125 显示器
129 用户接口
133 数据库
201-205 方法步骤
301 预处理阶段
303 训练阶段
305 应用阶段
310 深度神经网络
311 B1图
312 EP图
313 经训练的DNN
314 B1图
316A-N EP图
317 EP图
318 不确定性图
700 磁共振成像系统
704 磁体
706 磁体的膛
708 成像区
710 磁场梯度线圈
712 磁场梯度线圈电源
714 射频线圈
715 RF放大器
718 对象
具体实施方式
在下文中,在附图中相同编号的元件或者是类似的元件或者执行等同的功能。如果功能是等价的,则在较后的附图中将不一定讨论之前已经讨论过的元件。
仅出于解释的目的而在附图中示意性地描绘了各种结构、系统和设备,并且以便不使具有对于本领域技术人员而言公知的细节的本发明难以理解。尽管如此,附图被包括以描述并解释所公开的主题的图示性范例。
图1是医学分析系统100的示意图。医学分析系统100包括控制系统111,所述控制系统111被配置为连接到扫描成像系统(或采集部件)101。控制系统111包括处理器103、存储器107,每个都能够与医学系统100的一个或多个部件进行通信。例如,控制系统111的部件被耦合到双向系统总线109。
将理解的是,本文中描述的方法至少部分是非交互的,并且通过计算机系统来自动化。例如,这些方法可以进一步在软件121(包括固件)、硬件或其组合中实现。在示例性实施例中,本文描述的方法以软件形式实现为可执行程序,并由专用或通用数字计算机(例如,个人计算机、工作站、小型计算机或大型计算机)运行。
处理器103是用于执行软件,特别是存储在存储器107中的软件的硬件设备。处理器103可以是任何定制的或可商购的处理器、中央处理器(CPU)、与控制系统111相关联的多个处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、微处理器或通常用于运行软件指令的任何设备。处理器103可以控制扫描成像系统101的操作。
存储器107可以包括易失性存储元件(例如,随机存取存储器(RAM,诸如DRAM、SRAM、SDRAM等))和非易失性存储元件(例如,ROM、可擦除可编程只读存储器(EPROM)、可电子擦除的可编程只读存储器(EEPROM)、可编程只读存储器(PROM))中的任何一种或其组合。注意,存储器107可以具有分布式架构,其中各种组件彼此远离,但是可以由处理器103访问。存储器107可以存储与医学分析系统100的至少一个其他组成元件有关的指令或数据。
控制系统111可以还包括显示设备125,所述显示设备125例如在用户界面129上显示字符和图像等。显示设备125可以是触摸屏显示设备。
医学分析系统100可以还包括用于为医学分析系统100供电的电源108。电源108可以例如是电池或外部电源,诸如由标准AC插座供应的电。
扫描成像系统101可以包括MRI、CT和PET-CT成像器中的至少之一。控制系统111和扫描成像系统101可以是一体的部分,也可以不是。换句话说,控制系统111可以在扫描成像系统101的外部,也可以不在扫描成像系统101的外部。
扫描成像系统101包括可由处理器103控制的部件,以配置扫描成像系统101以将图像数据提供给控制系统111。扫描成像系统101的配置可以启用扫描成像系统101的操作。扫描成像系统101的操作可以例如是自动的。图4示出了作为MRI系统的扫描成像系统101的部件的示例。
控制系统111与扫描成像系统101之间的连接例如可以包括总以太网连接、WAN连接、或互联网连接等。
在一个示例中,扫描成像系统101可以被配置为响应于指定的测量来提供诸如图像的输出数据。控制系统111可以被配置为从扫描成像系统101接收诸如MR图像数据的数据。例如,处理器103可以适于以兼容的数字形式从扫描成像系统101接收信息(自动地或根据请求),从而可以在显示设备125上显示该信息。这样的信息可以包括操作参数、警告通知以及与扫描成像系统101的使用、操作和功能有关的其他信息。
医学分析系统100可以被配置为经由网络130与其他扫描成像系统131和/或数据库133通信。网络130包括例如无线局域网(WLAN)连接、WAN(广域网)连接LAN(局域网)连接或其组合。数据库133可以包括与患者、扫描成像系统、解剖结构、扫描几何配置、扫描参数、扫描等有关的信息。数据库133可以例如包括电子医学记录(EMR)数据库,所述电子医学记录数据库包括患者的EMR、放射学信息系统数据库、医学图像数据库、PACS、医院信息系统数据库和/或包括用于规划扫描几何形状的数据的其他数据库。数据库133可以例如包括用于由本主题执行的训练的训练数据集。
存储器107可以还包括人工智能(AI)部件150。AI部件150可以是或可以不是软件部件121的一部分。AI部件150可以被配置用于根据本主题训练DNN并且提供经训练的DNN以供进一步使用。例如,如果控制系统111不是扫描成像系统101的一部分,则可以将训练的DNN提供给扫描成像系统101,使得它可以在扫描成像系统101处用于确定EP图。
图2是用于确定对象的目标体积的电特性(EP)的方法的流程图。可以使用MRI系统对对象进行成像以采集可用于执行电特性断层摄影(EPT)的MRI数据。EPT方法可用于绘制组织在拉莫尔频率下的介电特性(电导率和介电常数)。感兴趣对象的部分的电特性可以潜在地用作附加信息,用于支持目标的诊断以区分健康组织和恶性组织,例如肿瘤。
在步骤201中,可以使用训练数据集来训练DNN。训练数据集包括训练B1场图和相应的EP图。训练包括在训练期间使用DNN的MC丢弃。这导致经训练的DNN被配置为从B1场图生成EP图。
例如,具有MC丢弃的DNN可以直观地理解为具有部分共享权重的大量相似但不同的子网络的集合。网络应用程序对应于从这个集合中随机抽样一个子网。因此,重复网络评估的输出值的高度相似性可能对应于不同子网络之间的高度一致性。
在一个示例中,可以使用模拟数据来执行训练。训练数据集包括模拟B1场图和相关的模拟EP图(模拟EP图可以是模拟B1场图的标签)。模拟的EP图可以通过EP模型获得,因此可以提供真实的标签。使用模拟数据可能是有利的,因为它可以增加训练数据的准确性和可变性。准确度与B1映射和EP满足亥姆霍兹方程确定的物理关系的程度有关。例如,通过继承潜在的真实情况的破坏,训练模型的预测准确度最大达到真实情况的平均准确度。可变性是指几何可变性。实验表明,对于与训练数据相似的预测数据,神经网络能够以极高的准确度近似期望的基础功能。通过增加预测数据和训练数据之间相似性的可能性,训练集中的大可变性具有有益效果。模拟的B1场图可以带有或不带有伪影。这可能是有利的,因为伪影的模拟可能不是准确或可靠的模拟。由于可能的体内伪影种类繁多,对这些伪影的模拟可能过于繁琐。
在另一示例中,可以使用测量的B1场图和模拟的EP图来执行训练。模拟的EP图可以是测量的B1场图的标签。这可以允许考虑B1场图中的现实伪影,从而可以减少在推理阶段使用的训练数据集和测试数据集之间的差异。
在步骤203中,经训练的DNN可以根据接收到的输入B1场图来重复生成EP图。这产生一组EP图,其中,生成包括在经训练的DNN的推理或使用或应用期间在每次重复中在输入B1场图上使用MC丢弃。重复的次数例如可以是预定义的次数,例如10次。最佳重复次数可以是准确度与重建时间之间的折衷,例如重复次数可以使得EP图的准确度优于预定义的准确度阈值并且重建时间小于预定义的最大重建时间。
在步骤205中,可以组合所述一组EP图以确定所述输入B1场图的EP图和相关联的不确定性图。该组合可以例如包括对一组EP图求平均,例如可以对对应的像素值求平均以获得平均EP图。本方法可能是有利的,因为使用不确定性图可以使得能够检测错误的网络行为,从而控制DNN在估计EP图中的使用。
图3描绘了图示深度神经网络310的训练过程的框图。图3图示了三个处理阶段,即预处理阶段301、训练阶段303和应用阶段305。
在预处理阶段301中,可以通过在DNN中引入丢弃层来改变DNN的架构。在这个阶段,可以针对每个训练数据集专门调整各种自由度,包括丢弃层的数量和位置以及丢弃率。丢弃率和丢弃层数与各个子网络之间的差异及其相对于整个网络的复杂性有关。因此,这些选择可能对应于得到的不确定性值的非线性缩放。
在训练阶段303中,可以用已知的B1-EP对来训练具有丢弃的DNN。可以使用预定义的训练数据集来训练DNN 310。训练数据集包括B1场图311和对应的标签,其为EP图312。DNN310的训练可以利用MC丢弃来执行。这会产生经训练的DNN 313。
在应用阶段305中,训练的DNN 313可用于根据输入B1场图314来重复地生成一组EP图316A-N(例如5个EP图)。一组EP图316A-N可以被组合以计算平均EP图317并计算具有标准偏差值的不确定性图318。换言之,网络313针对每个输入被重复地评估。输出值的平均值被用作最佳估计,并且标准偏差用作不确定性。在应用阶段305,MC丢弃在网络应用期间保持开启,产生不同的EP以重复评估相同的输入。通过取中间输出EP316A-N的平均值和标准偏差来计算最佳EP和不确定性。
图4图示了作为医学系统100的示例的磁共振成像系统700。该磁共振成像系统700包括磁体704。磁体704是具有在其中的膛706的超导圆柱型磁体。使用不同类型的磁体也是可能的;例如也可以使用分裂圆柱形磁体和所谓的开放式磁体或密封式磁体。分裂式圆柱形磁体与标准圆柱形磁体类似,不同之处在于,低温恒温器已分为两部分,以允许进入磁体的等平面。这样的磁体可以例如与带电粒子束治疗结合使用。开放式磁体具有两个磁体部分,一个在另一个上面,中间具有足够大以接收要被成像的对象718的空间,对该两段区的布置与亥姆霍兹线圈的布置类似。在圆柱磁体的低温恒温器内部有超导线圈的集合。在圆柱磁体704的膛706内,存在成像区或体积或解剖结构708,在其中,磁场足够强和均匀以执行磁共振成像。
在磁体的膛706内还具有磁场梯度线圈组710,所述磁场梯度线圈组210在采集磁共振数据期间被使用以对在磁体704的成像体积或检查体积708内的靶体积的磁自旋在空间上进行编码。磁场梯度线圈710被连接到磁场梯度线圈电源712。磁场梯度线圈710旨在是代表性的。通常,磁场梯度线圈710包含用于在三个正交空间方向上编码的三个分立的线圈的集合。磁场梯度电源将电流供应到所述磁场梯度线圈。供应给磁场梯度线圈710的电流根据时间来进行控制并且可以是斜变的或脉冲的。
MRI系统700还包括RF发射线圈714,其在对象718处且邻近检查区域708,用于成RF激励脉冲。RF线圈714可以包括例如一组表面线圈或其他专用的RF线圈。RF线圈714可以被交替地用于RF脉冲的发射以及用于磁共振信号接收,例如,所述RF线圈714可被实现为包括多个RF发射线圈的阵列发射线圈。RF线圈714被接到一个或多个RF放大器715。
磁场梯度线圈电源712和RF放大器715被连接到控制系统111的硬件接口。控制系统111的存储器107可以例如包括控制模块。控制模块包含使得处理器103能够控制磁共振成像系统700的操作和功能的计算机可执行代码。计算机可执行代码也使得能够进行磁共振成像系统700的基本操作,例如,磁共振数据的采集。
如本领域技术人员将认识到的,本发明的若干方面可以实现为装置、方法或计算机程序产品。因此,本发明的各方面可采取完全硬件实施例,完全软件实施例(包括固件,驻留软件,微代码等),或者组合了软件和硬件方面的实施例的形式,其可以在本文统称为“电路”、“模块”或“系统”。此外,本发明的各个方面可以采取实现在一个或多个计算机可读介质中的计算机程序产品的形式,所述一个或多个计算机可读介质具有实现在其上的计算机可执行代码。
可以使用一个或多个计算机可读介质的任何组合。所述计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。如在本文中使用的“计算机可读存储介质”包括任何有形存储介质,其可以存储能够由计算设备的处理器执行的指令。可以将所述计算机可读存储介质称为“计算机可读非瞬态存储介质”。所述计算机可读存储介质也可以被称为有形计算机可读介质。在一些实施例中,计算机可读存储介质还可以能够存储数据,所述数据能够被所述计算设备的处理器访问。计算机可读存储介质的范例包括但不限于:软盘、磁硬盘驱动器、固态硬盘、闪存、USB拇指驱动器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、磁光盘和处理器的寄存器文件。光盘的范例包括压缩光盘(CD)和数字多用光盘(DVD),例如CD-ROM、CD-RW、CD-R、DVD-ROM、DVD-RW或DVD-R盘。术语计算机可读存储介质还指代能够由所述计算机设备经由网络或通信链路访问的各种类型的记录介质。例如,可以经由调制解调器、经由互联网或经由局域网络来取回数据。可以使用任何适当的介质来传送实现在计算机可读介质上的计算机可执行代码,包括但不限于:无线、有线、光纤线缆、RF等,或者前述的任何适合的组合。
计算机可读信号介质可以包括具有实现在其中的例如在基带内或者作为载波的一部分的计算机可执行代码的传播的数据信号。这样的传播信号可以采取多种形式中的任一种,包括但不限于,电磁的、光学的、或者它们的任意合适的组合。计算机可读信号介质可以是任何计算机可读介质,其不是计算机可读存储介质并且其能够传送、传播或传输程序用于由指令运行系统、装置或设备使用或者与其结合使用。
“计算机存储器”或“存储器”是计算机可读存储介质的范例。计算机存储器是处理器能够直接访问的任何存储器。“计算机存储设备”或“存储设备”是计算机可读存储介质的另一范例。计算机存储设备是任何非易失性计算机可读存储介质。在一些实施例中,计算机存储设备也可以是计算机存储器,或者反之亦然。
用在本文中的“处理器”涵盖能够执行程序或机器可执行指令或计算机可执行代码的电子部件。对包括“处理器”的计算设备的引用应当被解读为能够包括超过一个处理器或处理内核。所述处理器例如可以是多核处理器。处理器还可以是指单个计算机系统之内的或者被分布在多个计算机系统之间的处理器的集合。术语计算设备也应被解释为可能指计算设备的集合或网络,每个计算设备均包括一处理器或多个处理器。所述计算机可执行代码可以由多个处理器运行,所述处理器可以处在相同的计算设备内或者其甚至可以跨多个计算设备分布。
计算机可执行代码可以包括令处理器执行本发明的各方面的机器可执行指令或程序。用于执行针对本发明的各方面的操作的计算机可执行代码可以以一种或多种编程语言(包括诸如Java、Smalltalk、C++等的面向对象的编程语言以及诸如“C”编程语言或类似编程语言的常规过程编程语言)的任何组合来编写并且被编译为机器可执行指令。在一些情况下,所述计算机可执行代码可以以高级语言的形式或者以预编译形式并且结合在飞行中生成机器可执行指令的解释器来使用。
所述计算机可执行代码可以作为单机软件包全部地在所述用户的计算机上、部分地在用户的计算机上、部分地在用户的计算机上并且部分地在远程计算机上、或者全部地在所述远程计算机或服务器上运行。在后者的场景中,所述远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))或者可以对外部计算机做出的连接(例如,使用因特网服务提供商通过因特网)而被连接到用户的计算机。
本发明的各方面参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图得以描述。将理解到,流程图、图示和/或框图的每个框或框的一部分能够在适用时通过以计算机可执行代码的形式的计算机程序指令来实施。还应当理解的是,当不是相互排斥的时,在不同的流程图,图示和/或框图中块的组合可以被组合。这些计算机程序指令可以被提供到通用计算机、专用计算机的处理器或者其他可编程数据处理装置以生产机器,使得经由计算机的处理器或其他可编程数据处理装置运行的指令创建用于实施流程图和/或框图的一个或多个框中指定的功能/动作的单元。
这些计算机程序指令还可以被存储在计算机可读介质中,其能够引导计算机、其他可编程数据处理装置或其他设备以特定的方式工作,使得被存储在所述计算机可读介质中的所述指令产生包括实施在流程图和/或一个或多个框图框中所指定的功能/动作的指令的制品。
所述计算机程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上以令一系列操作步骤在计算机、其他可编程装置或其他设备上执行以产生计算机实施的过程,使得在计算机或其他可编程装置上运行的指令提供用于实施在流程图和/或一个或多个框图框中所指定的功能/动作的过程。
如在本文中所使用的“用户接口”是允许用户或操作者与计算机或计算机系统进行交互的接口。“用户接口”还可以被称为“人机接口设备”。用户接口可以向操作者提供信息或数据和/或接收来自操作者的信息或数据。用户接口可使来自操作者的输入能够被计算机接收,并且可以将输出从计算机提供给用户。换言之,用户接口可以允许操作者控制或操纵计算机,并且该接口可以允许计算机指示操作者的控制或操纵的效果。数据或信息在显示器或图形用户接口上的显示是向操作者提供信息的范例。通过键盘、鼠标、跟踪球、触摸板、指点杆、图形输入板、操纵杆、游戏板、网络摄像头、头盔、变速杆、方向盘、踏板、有线手套、舞蹈板、遥控器以及加速度计接收数据都是实现从操作者接收信息或数据的用户接口部件的范例。
如在本文中所使用的“硬件接口”涵盖使得计算机系统的处理器能够与外部计算设备和/或装置进行交互或者对其进行控制的接口。硬件接口可允许处理器将控制信号或指令发送给外部计算设备和/或装置。硬件接口也可以使处理器与外部计算设备和/或装置交换数据。硬件接口的范例包括但不限于:通用串行总线、IEEE1394端口、并行端口、IEEE1284端口、串行端口、RS-232端口、IEEE-488端口、蓝牙连接、无线局域网连接、TCP/IP连接、以太网连接、控制电压接口、MIDI接口、模拟输入接口和数字输入接口。
本文中使用的“显示器”或“显示设备”涵盖适于显示图像或数据的输出设备或用户接口。显示器可以输出视觉、音频和触觉数据。显示器的范例包括但不限于:电脑监视器、电视屏幕、触摸屏、触觉电子显示屏、盲文屏幕、阴极射线管(CRT)、存储管、双稳态显示器、电子纸、向量显示器、平板显示器、真空荧光显示器(VF)、发光二极管(LED)显示器、电致发光显示器(ELD)、等离子显示面板(PDP)、液晶显示器(LCD)、有机发光二极管显示器(OLED)、投影机和头戴式显示器。
尽管已经在附图和前面的描述中详细图示和描述了本发明,但是这样的图示和描述应当被认为是图示性或示范性的,而非限制性的。本发明不限于公开的实施例。
本领域技术人员通过研究附图、公开内容以及权利要求书,在实践请求保护的本发明时能够理解并且实现对所公开的实施例的其他变型。在权利要求中,“包括”一词不排除其他元件或步骤,并且词语“一”或“一个”不排除多个。单个处理器或者其它单元可以实现权利要求书中记载的若干项的功能。尽管特定措施是在互不相同的从属权利要求中记载的,但是这并不指示不能有利地使用这些措施的组合。可以将计算机程序存储/分布在与其它硬件一起提供或者作为其它硬件的部分提供的诸如光存储介质或者固态介质的合适介质上,但是还可以以诸如经因特网或者其它有线或无线电信系统的其它形式分布。权利要求书中的任何附图标记不应被解释为对范围的限制。

Claims (14)

1.一种用于确定对象(718)中的目标体积(708)的电特性EP的医学分析系统(100),所述医学分析系统包括:至少一个处理器(103);以及至少一个存储器(107),其存储机器可执行指令,所述处理器(103)被配置用于控制所述医学分析系统(100),其中,所述机器可执行指令的运行使所述处理器(107):
接收(203)所述目标体积的输入B1场图,并且通过先前训练的DNN来根据所述输入B1场图重复地生成EP图,得到一组EP图,其中,所述生成包括在DNN的推理期间在每次重复中使用MC丢弃,其中,所述DNN是先前使用训练数据集而被训练的,所述训练数据集包括训练B1场图和相应的EP图,所述训练包括在所述训练期间使用所述DNN的蒙特卡罗MC丢弃;
组合(205)所述一组EP图以确定所述输入B1场图的EP图和相关联的不确定性图。
2.根据权利要求1所述的系统,其中,所述机器可执行指令的运行还使所述处理器确定所述不确定性图是否满足预定义的质量条件,并且响应于确定所述不确定性图不满足所述预定义的质量条件,使用另外的训练数据集来重新训练所述DNN,并且使用经重新训练的DNN代替所述经训练的DNN来重复步骤b)-c)。
3.根据权利要求2所述的系统,所述另外的训练数据集大于所述训练数据集。
4.根据权利要求2所述的系统,其中,所述机器可执行指令的运行还使所述处理器执行所述重复直到所述不确定性图满足所述预定义的质量条件。
5.根据前述权利要求中的任一项所述的系统,所述训练B1场图包括B1场相位图和B1幅值图,其中,所述输入B1场图包括B1相位图和/或B1幅值图。
6.根据前述权利要求中的任一项所述的系统,所述训练B1场图是测量的和/或模拟的B1场图,并且对应的EP图是模拟的EP图。
7.根据前述权利要求中的任一项所述的系统,其中,使用所述MC丢弃包括控制丢弃率、丢弃层的数量和/或位置。
8.根据前述权利要求中的任一项所述的系统,所述DNN是U-NET。
9.根据前述权利要求中的任一项所述的系统,被配置为连接到一个或多个MRI系统并且从所述MRI系统接收所述输入B1场图和/或所述测量的B1图。
10.根据前述权利要求中的任一项所述的系统,还包括MRI系统,所述MRI系统被配置用于采集图像数据并且根据所述图像数据来重建B1图,所述输入B1图和/或所述测量的B1图包括所重建的B1图。
11.一种针对用于确定对象(718)中的目标体积(708)的电特性EP的深度神经网络DNN的训练方法,所述方法:
使用包含训练B1场图和相对应的EP图的训练数据集;
在训练期间使用DNN的蒙特卡罗MC丢弃,产生被配置用于根据B1场图来生成EP图的经训练的DNN。
12.一种用于确定对象(718)中的目标体积(708)的电特性EP的方法,所述方法包括:
根据权利要求11所述的训练方法(201);
接收(203)所述目标体积的输入B1场图,并且通过所述经训练的DNN来根据所述输入B1场图重复地生成EP图,得到一组EP图,其中,所述生成包括在每次重复中在所述DNN的推理期间使用MC丢弃;
组合(205)所述一组EP图以确定输入B1场图的EP图和相关联的不确定性图。
13.一种包括用于由处理器运行的机器可执行指令的计算机程序产品,其中,所述机器可执行指令的运行使所述处理器执行根据权利要求10所述的方法的至少部分。
14.根据前述权利要求所述的包括用于由处理器运行的机器可执行指令的计算机程序产品,其中,所述机器可执行指令的运行还使所述处理器执行根据权利要求11所述的方法的至少部分。
CN202080049687.1A 2019-07-09 2020-07-02 针对深度学习电特性断层摄影的不确定度图 Pending CN114097041A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19185127.8A EP3764366A1 (en) 2019-07-09 2019-07-09 Uncertainty maps for deep learning electrical properties tomography
EP19185127.8 2019-07-09
PCT/EP2020/068610 WO2021004865A1 (en) 2019-07-09 2020-07-02 Uncertainty maps for deep learning electrical properties tomography

Publications (1)

Publication Number Publication Date
CN114097041A true CN114097041A (zh) 2022-02-25

Family

ID=67437623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080049687.1A Pending CN114097041A (zh) 2019-07-09 2020-07-02 针对深度学习电特性断层摄影的不确定度图

Country Status (4)

Country Link
US (1) US20220301687A1 (zh)
EP (2) EP3764366A1 (zh)
CN (1) CN114097041A (zh)
WO (1) WO2021004865A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022150631A (ja) * 2021-03-26 2022-10-07 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像診断装置、医用画像処理方法及びプログラム

Also Published As

Publication number Publication date
US20220301687A1 (en) 2022-09-22
EP3997708A1 (en) 2022-05-18
WO2021004865A1 (en) 2021-01-14
EP3764366A1 (en) 2021-01-13

Similar Documents

Publication Publication Date Title
US11475559B2 (en) Artificial intelligence-enabled localization of anatomical landmarks
US10823798B2 (en) Virtual CT images from magnetic resonance images
EP3514756A1 (en) Medical analysis method for predicting metastases in a test tissue sample
EP3602097B1 (en) Selection of magnetic resonance fingerprinting dictionaries for anatomical regions
JP2021504035A (ja) 時間分解血管造影画像と空間分解血管造影画像との組み合わせ
JP7080316B6 (ja) 磁気共鳴イメージングにおける緩和時間の定量的測定
US20210003650A1 (en) Anomaly Detection Using Magnetic Resonance Fingerprinting
US20220301687A1 (en) Uncertainty maps for deep learning eletrical properties tomography
US20220248973A1 (en) Deep learning of eletrical properties tomography
US20230377112A1 (en) Magnetic Resonance Imaging of Breast Micro-Calcifications
CN112292067B (zh) 电导率变化的电学属性断层摄影图
EP4220212A1 (en) Simulated computer tomographic imaging
EP4306983A1 (en) Making anatomical measurements using magnetic resonance imaging
WO2024033111A1 (en) Reconstruction parameter determination for the reconstruction of synthesized magnetic resonance images
JP2021518222A (ja) 導電率の(3−n)次元特定

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination