CN116579377A - 用于磁共振扫描中的端到端分析的人工智能 - Google Patents
用于磁共振扫描中的端到端分析的人工智能 Download PDFInfo
- Publication number
- CN116579377A CN116579377A CN202310101805.4A CN202310101805A CN116579377A CN 116579377 A CN116579377 A CN 116579377A CN 202310101805 A CN202310101805 A CN 202310101805A CN 116579377 A CN116579377 A CN 116579377A
- Authority
- CN
- China
- Prior art keywords
- generating
- machine learning
- learning model
- scan
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 45
- 238000013473 artificial intelligence Methods 0.000 title abstract description 11
- 238000007405 data analysis Methods 0.000 claims abstract description 7
- 238000010801 machine learning Methods 0.000 claims description 65
- 238000000034 method Methods 0.000 claims description 37
- 230000004044 response Effects 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 238000005259 measurement Methods 0.000 claims description 18
- 206010028980 Neoplasm Diseases 0.000 claims description 9
- 201000011510 cancer Diseases 0.000 claims description 8
- 238000012512 characterization method Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 29
- 238000003384 imaging method Methods 0.000 description 15
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 9
- 238000013459 approach Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Physiology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- High Energy & Nuclear Physics (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
对于磁共振(MR)扫描中的数据分析,扫描配置信息和所得到的原始数据被直接用于确定分析或临床决策。人工智能基于来自扫描的原始数据和用于扫描的控制为患者的临床发现特性提供值,从而允许该值基于扫描结果的所有信息内容。不需要重建,从而允许更简单的硬件,诸如具有比标准和/或非线性梯度更不均质的B0和/或B 1场的硬件。
Description
相关申请
本专利文件要求保护2022年2月10日提交的美国临时专利申请序列号63/267,789在35 U.S.C.§119(e)下的申请日权益,该美国临时专利申请通过引用并入于此。
背景技术
磁共振(MR)成像设备当前被构建为适合手动工作流,其中扫描仪首先重建图像,并且然后将那些图像示出给放射学科医生以供阅读。这伴随着多个缺点。首先,由于重建是所获取数据的确定性函数,因此重建抑制信息。虽然该抑制中的一些可能是有益的(例如,在存在噪声的情况下),但是决定保留什么和抑制什么的准则是主观的,并且仅松散地与所回答的临床决策相联系。其次,许多当前MR成像内部工作被设计为简化重建任务而不是优化扫描的信息率。例如,使用笛卡尔采样来启用快速傅立叶变换(FFT)重建、使用PAT采样来启用GRAPPA以及用于独立重建的完全采样多对比度协议有助于重建,同时释放信息。最后,那些简化假设也对MR硬件提出了高要求。K空间采样要求线性梯度,并且空间恒定的图像对比度要求均质的B0和B1场。这些硬件要求导致成本更高的MR成像设备。
发明内容
通过介绍的方式,下面描述的优选实施例包括用于MR扫描的数据分析的方法、系统、指令和非暂时性计算机可读介质。扫描配置信息和所得到的原始数据被直接用于确定分析或临床决策。人工智能基于来自扫描的原始数据和用于扫描的控制来为患者的临床发现特性提供值,允许该值基于扫描结果的所有信息内容。不需要重建,允许更简单的硬件,诸如具有比标准和/或非线性梯度更不均质的B0和/或B1场的硬件。
在第一方面,提供了一种用于MR扫描的数据分析方法。使用MR扫描仪的第一配置对患者进行MR扫描,从而产生原始数据。响应于将第一配置的信息和原始数据输入到机器学习模型而生成用于患者的分析的值。该值是在没有图像重建的情况下生成的。显示用于分析的该值。
在一个实施例中,MR扫描利用非均匀的主磁场、非均质的第一脉冲和非线性梯度。可以使用更基本和/或更便宜的硬件。
表示配置的各种信息可以被输入到机器学习模型以生成分析的值。在一种方法中,第一配置的信息是发射脉冲。该值响应于将发射脉冲输入到机器学习模型而生成。在另一方法中,信息是k空间坐标、重复时间、回波时间(time-to-echo)和翻转角度。该值响应于将k空间坐标、重复时间、回波时间和翻转角度输入到机器学习模型而生成。在又另一方法中,信息是脉冲包络、载波频率、定时和持续时间。该值响应于将脉冲包络、载波频率、定时和持续时间输入到机器学习模型而生成。在所有三种方法中,如果使用多个RF线圈来发射脉冲,则所有线圈的信息可以被联结并用作机器学习模型的输入。
在另一实施例中,诸如在信息来自发射脉冲的情况下,信息被形成为第一配置的潜在空间表示。所述信息被形成为响应于将第一配置(即,发射脉冲)输入到编码器的编码器的输出。该值响应于潜在空间表示的输入而生成。
作为另一实施例,第一配置包括第一脉冲和多个接收线圈。定义多个令牌,其中每个令牌是来自第一脉冲之一的接收线圈的原始数据和信息。不同的令牌用于第一脉冲中的不同第一脉冲。所述多个令牌被输入到机器学习模型。
可以使用各种机器学习模型。在一种方法中,机器学习模型是神经网络。在另一方法中,机器学习模型是包括注意力层的transformer序列。该信息被用作序列内的定位编码。
机器学习模型可以已经是经预训练的。例如,机器学习模型是由其它扫描仪中的连续分布式学习来预训练的。
在另一实施例中,使用合成数据来训练机器学习模型。
可以使用各种分析。例如,该值是否为癌症。作为另一示例,该值是作为分析的不进一步扫描或进一步扫描。
在一个实施例中,在没有图像重建作为机器学习模型的输入并且没有由机器学习模型或在机器学习模型内执行图像重建的情况下,从原始数据生成该值。
在第二方面,提供了一种用于MR扫描的数据分析方法。使用MR扫描仪的第一配置对患者进行MR扫描,并产生原始数据。响应于将第一配置的信息和原始数据输入到机器学习模型,生成参数的值作为患者的全局表征。显示参数的值。
在一个实施例中,在没有从原始数据进行重建的情况下生成该值。在另一实施例中,机器学习模型是transformer层的神经网络。所述transformer层中的第一transformer层接收令牌作为输入,每个令牌是来自MR扫描的不同脉冲的原始测量值,并且每个令牌包括作为MR扫描仪的设置的描述符的信息。在又另一实施例中,机器学习模型在多个其它扫描仪处利用自我监督进行预训练。
在第三方面,提供一种用于MR扫描的系统。通过控制的设置来配置MR扫描仪以扫描患者的区,该扫描提供原始数据。图像处理器被配置为通过在没有从原始数据进行重建的情况下将机器学习网络应用于原始数据来确定患者的全局分析。显示器被配置为输出全局分析。
在一个实施例中,机器学习网络是注意力层序列的神经网络,其中神经网络的输入接收令牌。每个令牌是与关于控制的设置的信息相组合的来自所有接收线圈的原始数据。
本发明由以下权利要求限定,并且本节中没有内容应被视为对那些权利要求的限制。本发明的另外方面和优点在下面结合优选实施例进行讨论,并且以后可以独立地或组合地要求保护。
附图说明
图1是用于医学成像的MR系统的实施例的框图;
图2是用于MR扫描的方法的一个实施例的流程图;
图3图示了对机器学习模型的输入的示例令牌化,该机器学习模型用于从原始MR数据生成分析值;和
图4图示了用于从原始MR数据生成分析值的示例机器学习模型。
具体实施方式
通过启用从原始信号到临床发现的端到端数据人工智能(AI)分析,利用由MR扫描仪获取的数据。该端到端方法既提高了性能,又使性能标准化。能够直接分析所获取的数据允许放宽硬件要求和/或可以使能实现更短的协议。放宽硬件约束通过降低设计要求来降低成本,从而允许更易于访问的MR设备。具有放宽的设计的设备可能不提供图像或有用的图像,但是可以提供分析作为理解所捕获测量值的新方式。虽然图像重建在当前工作流中是必要的,因为其准备用于人类消耗的数据,但是重建在AI分析工作流中是不必要的瓶颈,在AI分析工作流中,由重建算法产生的图像然后被传递到另一分析算法。
图像重建步骤被跳过。在其中图像重建不是目标的情况下,可以提供全自动、低成本的MR设备。首先,MR设备不是被构建以产生图像的。去除容易重建图像的需要还可以使能在高场(即,图像质量)扫描仪上实现更快的协议。
为了训练AI,在扫描仪处的在线自我监督预训练允许利用已安装的基础。以这种方式更多的数据可能是可用的。
图1示出了用于由MR扫描仪进行MR扫描的系统的一个实施例。MR扫描仪扫描给定的患者140。MR扫描仪被用于在没有重建图像的情况下直接确定分析值。MR扫描仪可以具有降低的要求,诸如非均质场和/或非线性梯度。MR扫描仪可以是能够进行图像重建的,但是可以使用更快速或不同的扫描以用于从原始扫描数据直接确定分析。
MR扫描仪执行图2的动作或另一方法。MR扫描仪包括主场磁体100、梯度线圈110、全身线圈120、局部线圈130和患者床150。该系统包括MR扫描仪、处理器160、存储器170和显示器180。可以为MR扫描仪和/或系统提供附加的、不同的或更少的组件。例如,不使用局部线圈130或全身线圈120。在另一示例中,提供处理器160、存储器170和显示器180而没有线圈100-120和床150,诸如对存储在存储器170中的扫描数据进行操作的工作站。在又另一示例中,处理器160、存储器170和/或显示器180是MR扫描仪的一部分。
MR扫描仪通过控制的设置来配置以扫描患者140的区。扫描提供扫描域中的扫描数据。MR扫描仪扫描患者140以提供原始测量值(在可能的非线性频域中的测量值)。由于硬件缺陷使空间编码非傅立叶,因此所测量的响应被称为原始数据而不是k空间数据。为了扫描,主场磁体100在定位在床150上的患者140的体内创建静态基本磁场B0。梯度线圈110产生叠加在静态磁场上的定位相关磁场梯度。梯度线圈110在三个正交方向上产生定位相关且用垫片调整的磁场梯度,并生成磁场脉冲序列。全身线圈120和/或局部线圈130接收射频(RF)发射脉冲,从而产生使患者140的成像区中的质子的自旋旋转的磁场脉冲(B1)。
响应于所施加的RF脉冲信号,当全身线圈120和/或局部线圈130返回到由静态和梯度磁场建立的平衡定位时,全身线圈120和/或局部线圈130接收MR信号,即来自体内的受激质子的信号。MR信号由检测器检测和处理,提供原始数据的MR数据集。存储器170的原始存储阵列存储形成MR数据集的对应个体测量值。
MR扫描仪由处理器160配置为进行扫描。可以设置各种扫描仪控制中的任何一个,诸如k空间坐标、TR、TE、翻转角度、脉冲包络、载波频率、定时、持续时间和/或原始发射脉冲。在具有或没有用户输入或更改的情况下,协议可以建立用于特定扫描的设置。可以为设置提供任何级别的一般性,诸如对用于特定硬件的实际变量的抽象。存储器170存储配置(例如,成像协议的预确定脉冲序列、以及磁场梯度和强度数据,以及指示要在扫描中施加的梯度磁场的定时、取向和空间体积的数据)以及所得到的原始数据或测量值。
处理器160配置MR扫描仪和/或从原始数据确定一个或多个分析的值。处理器160是通用处理器、数字信号处理器、图形处理单元、专用集成电路、现场可编程门阵列、人工智能处理器、张量处理器、数字电路、模拟电路、其组合、或用于对原始数据进行操作和/或应用人工智能的另外的现在已知或以后开发的设备。处理器160是单个设备、多个设备或网络。对于多于一个设备,可以使用并行或顺序的处理划分。组成图像处理器的不同设备可以执行不同的功能,诸如配置MR扫描仪以由一个设备进行扫描以及由另一设备基于原始数据确定分析。在一个实施例中,处理器160是控制处理器或MR扫描仪的其它处理器。可以使用MR扫描仪的其它处理器或MR扫描仪外部的其它处理器。
处理器160由软件、固件和/或硬件配置以执行其任务。处理器160根据存储在非暂时性介质(例如,存储器170)上的指令来操作,以执行本文中描述的各种动作。
处理器160被配置为确定患者的分析。分析可以是全局分析,诸如总体上表示患者的特性,而不是如在成像中那样逐个位置地表示。例如,全局分析是临床发现,诸如(1)没有或可能有癌症或(2)不需要或需要进一步的扫描或成像。
处理器160被配置为通过在没有从原始数据进行重建的情况下将机器学习网络或其它机器学习模型应用于原始数据来确定分析的值。跳过或不提供图像重建步骤。直接从原始数据到临床发现执行AI分析。处理器使用机器学习模型来在没有重建的情况下确定分析。机器学习模型由一个或多个网络和/或另一机器学习架构(例如,支持向量机)形成。例如,并且在本文中使用的,机器学习网络是深度学习神经网络。在另一示例中,机器学习网络是transformer和/或注意力层的序列的神经网络。神经网络的输入接收令牌或其它输入数据布置。每个令牌是与关于给定发射脉冲的控制的设置的信息相组合的来自一个或多个线圈的原始数据。
存储器170是高速缓存、缓冲器、RAM、可移除介质、硬盘驱动器或另一计算机可读存储介质。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。
存储器170存储原始数据、控制的设置、从设置导出的信息、机器学习网络和/或分析的值。存储器170可以替代地或附加地存储用于处理器160的指令。响应于存储在存储器170的非暂时性计算机可读存储介质中或其上的一个或多个指令集,由处理器160执行在各图中图示或在本文中描述的功能、动作或任务。所述功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略,并且可以由单独或组合操作的软件、硬件、集成电路、固件、微代码以及诸如此类来执行。
在一个实施例中,指令被存储在可移除介质设备上,以用于由本地或远程系统读取。在其它实施例中,指令被存储在远程位置,以用于通过计算机网络传送。在又其它的实施例中,指令被存储在给定的计算机、CPU、GPU或系统内。因为附图中描绘的组成系统组件和方法步骤中的一些可以以软件实现,所以系统组件(或过程步骤)之间的实际连接可以取决于以其对本实施例进行编程的方式而不同。
显示器180是CRT、LCD、等离子体、投影仪、打印机或其它显示设备。显示器180通过将图像加载到显示平面或缓冲器来配置。显示器180被配置为显示分析,诸如一个或多个全局分析(例如,临床发现)中的每一个的值。该显示可以是具有或不具有患者140的重建图像的值。例如,该显示是患者的报告、文本结果或电子健康记录的一部分。由显示器180进行的显示输出分析的值,以辅助医学专业人员做出决策。例如,该值是检测到可能的前列腺癌和/或应当执行进一步的扫描或成像。在MR扫描仪是没有成像能力或成像能力差的低成本扫描仪的情况下,该扫描可以用作利用较便宜装备的第一测试,以确定是否应当执行成本更高的MR或其它类型的医学成像。
图2是用于MR扫描的数据分析方法的一个实施例的流程图。应用如经训练的机器学习模型以从原始数据生成一个或多个分析中的每一个的值。该值是利用原始数据在没有重建的情况下和/或通过包括关于扫描配置的信息作为输入而生成的。
在将机器学习模型应用于一个或多个不同患者以及对应的不同扫描数据期间,使用相同的学习权重或值。至少在给定时间(例如,数周、数月或数年)或给定使用次数(例如,数十次或数百次)内,可学习参数的模型和值不会从一个患者改变到下一个患者。这些固定值和对应的固定模型被顺序地和/或由不同的处理器应用于不同患者的扫描数据。该模型可以被更新,诸如被重新训练或替换,但是不学习新的值作为应用于给定患者的一部分。
该方法由图1的系统或另一系统执行。MR扫描仪扫描患者。处理器通过将原始数据输入到机器学习模型来确定分析的值。显示器显示分析的值。可以使用其它组件,诸如执行生成和/或显示的远程服务器或工作站。
该方法按所示出的(从顶部到底部或数字)次序或其它次序执行。可以提供附加的、不同的或更少的动作。例如,在动作200之前,使用预设、默认或用户输入设置来配置扫描。作为另一示例,代替动作220的显示或除了动作220的显示之外,该值被存储在存储器(例如,计算机化的患者医学记录)中或通过计算机网络被传输。在又另一示例中,不执行动作212、214和/或216中的任何一个、两个或全部。
在动作200中,MR扫描仪使用MR扫描仪的配置来对患者进行扫描。扫描由协议指导,该协议建立扫描的设置或控制的值。扫描产生测量值。基于MR扫描仪的配置(例如,所选择的成像协议)创建脉冲序列(即,来自一个或多个线圈的多个脉冲)。脉冲序列从线圈传输到患者体内。通过在相同或不同的线圈处接收射频信号来测量所得到的响应。扫描产生原始测量值作为扫描数据。
MR扫描仪可以是图像口径MR扫描仪,具有均质B0场(诸如具有由0.5T或更高的场强度提供的均质B0场)。成像口径B0场在感兴趣体积上具有例如<0.5ppm的VRMS,并且成像口径线性梯度具有例如<2%的几何失真。在其它实施例中,MR扫描仪具有较少的限制性设计约束,诸如被设计和构建用于在没有重建的情况下的分析或用于成像。例如,扫描包括非均匀主磁场(例如,患者的扫描区中的10%变化)、非均质B0场或发射脉冲(例如,>0.5ppm)和/或非线性梯度(例如,>2%几何失真)。
在动作210中,处理器(例如,计算机、工作站、服务器或扫描仪处理器)为患者的一个或多个分析中的每一个生成值。分析是表示患者的参数。该参数不是逐像素或逐体素的成像或表示,而是代替地表示更一般化的信息,诸如临床发现。分析或参数是全局表征。当表征器官、解剖结构和/或损伤时,该表征对于该区是一般性的,而不是针对该区的特定部分。例如,分析是患者是否具有癌症的指示。作为另一示例,分析是肿瘤是良性还是恶性。在又另一示例中,分析是癌症分期。所述分期中的一个可以是没有癌症。作为另一示例,分析是是否推荐进一步的扫描。进一步的扫描可以是在进一步测试的意义上的,无论是通过图像扫描还是通过实验室筛选。可以生成概率或非二进制值,诸如是否是癌症的似然性或另一临床发现。
动作212、214和216表示为生成动作210中的值而执行的动作的一个示例。可以提供附加的、不同的或更少的动作来生成该值。
在动作212中,处理器在不进行图像重建的情况下生成该值。原始数据(诸如测量数据或从测量数据导出的数据)用于生成。空间表示来自患者内的响应分布的图像(例如,像素)和/或体积(例如,体素)不被重建。即使被重建,表示来自患者的响应的空间分布的重建信息也不被输入到用于生成值的过程中,不被用于生成值的过程,或者也不在生成值的过程内生成。该值在不使用成像或重建的情况下被生成。例如,在动作216中用于生成分析的机器学习模型不接收重建作为输入,不执行重建,并且在其内不具有重建。
在动作214中,处理器响应于扫描配置的信息和原始数据的输入而生成值。所获取的测量值和如何获取所述测量值的描述符两者都用于生成所述值。所述描述符表示在动作200期间在扫描中的MR扫描仪的配置的一个或多个方面。例如,扫描仪的类型和/或扫描仪的控制设置(例如,用于所选择的协议的设置)被用作描述符。
可以使用配置的任何抽象级别。在一个实施例中,使用特定的控制。用于生成值的信息输入是一个或多个扫描仪控制,诸如k空间坐标、重复时间、回波时间和/或翻转角度。该值响应于将k空间坐标、重复时间、回波时间和翻转角度输入到机器学习模型而生成。在使用图像口径MR扫描仪的情况下(例如,通过提供均质B0和B1场以及非线性梯度的MR扫描仪),控制的这种相对高级的抽象可能是最适当的。
对于具有较不均质和/或较不线性的能力的MR扫描仪,信息输入可以具有较低的抽象级别。例如,来自配置的信息是在动作200的MR扫描中使用的脉冲的脉冲包络、载波频率、定时和持续时间。该值响应于将脉冲包络、载波频率、定时和/或持续时间输入到机器学习模型而生成。这些描述符是MR电气控制的中级参数描述。
在替代实施例中,来自配置的信息是原始发射脉冲本身或发射脉冲的表示。该值响应于将发射脉冲输入到机器学习模型而生成。发射脉冲本身可以是大量数据。为了减少数据,使用发射脉冲的潜在空间表示。作为经训练以将到编码器的输入形成为解码器的输出的编码器-解码器生成器的一部分的编码器,被训练以基于发射脉冲的输入生成发射脉冲。编码器在具有解码器的瓶颈处学习形成更抽象的特征。如果使用原始脉冲,则原始脉冲可以首先通过深度编码器以减小数据大小并学习所使用脉冲的潜在流形。一旦被训练,就可以使用该编码器来确定特征的值,这些特征的值是潜在空间表示。编码器响应于将发射脉冲输入到编码器而输出发射脉冲的潜在空间表示或指纹。响应于将发射脉冲的潜在空间表示输入到机器学习模型而生成分析的值。
输入可以具有各种格式中的任何一种。例如,针对每个控制变量并且针对原始数据提供单独的输入。在一个实施例中,多个令牌被定义用于用作输入。图3示出了令牌300的一个示例。令牌300中的每一个是来自发射脉冲(多线圈样本310)之一的全部接收线圈或接收线圈的子集的原始数据和信息(脉冲描述符320)。不同令牌300用于脉冲序列的发射脉冲中的不同发射脉冲。对于相同序列中的不同脉冲,描述符320可以具有关于配置的相同或不同信息,诸如具有不同的描述符320中的一些或全部。由于扫描内的MR测量值典型地全部都是利用不同的扫描仪配置获取的(除了信号平均的情况之外),因此每个个体样本310具有其自己的描述符320。如果设备包含多个接收线圈,则每个测量值样本310包括一个描述符320和由样本310中的每个线圈获取的数据向量。也可以使用其它令牌格式。
样本310中的原始数据是测量值。可以在输入或形成令牌300之前对测量值执行其它处理。例如,在输入之前执行滤波或裁剪(例如,频率选择)。
令牌300被输入到机器学习模型。机器学习模型先前被机器训练以接收令牌或其它所定义的输入(例如,来自配置的原始数据和信息)并响应于该输入来输出分析的值。由于训练(包括训练数据和训练中使用的基准真值),机器学习模型的可学习参数的特定值被学习。不同的训练过程、训练数据、基准真值和/或模型的架构可能产生可学习参数的不同值和在一些情况下输出的不同值。如何训练模型会影响模型对于特定患者的应用。
机器学习模型具有各种架构中的任何一种。例如,机器学习模型是神经网络,诸如全连接神经网络(FCN)或卷积神经网络(CNN)。可以使用用于机器学习的任何架构或层结构。架构定义了结构、可学习的参数以及参数之间的关系。在一个实施例中,使用了卷积或另一神经网络。可以使用任何数量的层和层内的节点。可以使用DenseNet、编码器、自动编码器、CNN、FCN和/或另一网络。一些网络可以包括密集块(即,按顺序输出到密集块中的下一层以及最终层的多个层)。可以使用任何已知的或以后开发的神经网络。可以在输入层与输出层之间提供任何数量的隐藏层。
图4示出了另一示例架构。transformer层400的神经网络形成架构。第一transformer层400接收来自整个扫描或在扫描期间可用的令牌300作为输入。transformer层400包括注意力层。每个transformer层400包括一个或多个注意力层。不同的transformer层400可以具有相同或不同的结构。在一个实施例中,对于编码器和解码器,transformer层400具有堆叠的自注意力层和逐点全连接(逐定位全连接前馈)层。其它结构或神经网络层可以被包括在transformer层400中,诸如归一化、掩蔽多头注意力、线性和/或softmax层。可以使用其它的transformer层或网络。可以使用任何数量(诸如2-10个)的transformer层400。输出410是神经网络层,诸如全连接层、softmax层和/或池化层,其将来自最后一个transformer层400的令牌300组合成分析的值。
来自配置的信息被用作transformer层400的序列内的定位编码。transformer处置不规则采样的数据。在transformer中,数据作为多维令牌300集被传递,并且网络是一系列注意力层,其利用最相似的其它令牌300的权重来更新令牌300,并且逐令牌全连接层改变每个令牌300的个体编码。在其它应用中,令牌表示通常利用定位编码来丰富,使得在注意力层中计算的相似性考虑内容相似性和拓扑邻近性两者。为了从医学扫描中的k空间数据生成分析的值,脉冲描述符扮演定位编码的角色。如果底层硬件能够在k空间中进行采样,则该定位编码可以被抽象或者可以是实际的k空间坐标。
对如由架构定义的模型进行训练。虽然transformer构成了自然语言处理中既定的现有技术,但是transformer典型地需要极其大量的数据来训练,并且需要自我监督的预训练步骤来暴露于比可以被注释的更多的数据。通过训练网络以从合成失真输入(输入样本)恢复原始数据(基准真值)来执行预训练。所述预训练使用所述模型作为生成式或编码器-解码器布置中的编码器。用于使输入失真的实施例包括掩蔽建模(其中使输入失真随机地从一些令牌300移除测量数据)以及去噪自动编码(其中使输入失真添加随机噪声)。对于MR分析生成,可以以这种自我监督方式对模型进行预训练。在预训练期间可以应用多个不同的失真源。预训练可以在当前可用的原始数据上执行,所述原始数据典型地是为MR重建项目收集的。
在一个实施例中,预训练在一个或多个扫描仪(诸如数十个或数百个扫描仪)处在自我监督的情况下执行。例如,该模型通过不同扫描仪中的连续分布式学习进行预训练。自我监督的预训练通过嵌入在临床使用中的现有扫描仪中的连续分布式学习(即,系统从针对一个或多个扫描仪执行的每个新扫描进行学习)来执行。在预训练期间,数据选择不受身体区、硬件或协议包括准则的限制,这增加了可用数据的量。可以利用通过物理模拟获得的合成数据来丰富预训练数据。然后,来自不同扫描仪的经预训练的模型被组合用于进一步的训练。替代地,每个扫描仪预训练它们自己的模型,所述模型然后针对该扫描仪被训练。
可以以其它方式增加训练数据量。例如,训练使用合成数据。基于临床MR图像数据库的物理模拟被用于创建附加的训练数据。MR参数图(T1、T2、PD、ADC、......)是从临床图像生成的。可以首先将图像分割成组织类型,然后由每个组织的参数值范围表来填充每个组织类型的参数值。对于每个图像的每个组织,随机选取那些范围内的可接受值。可以为每个图像生成具有不同参数值的多个映射以用于数据增强。在每个组织的每个连接组件内可以允许平滑的参数变化。然后,使用诸如Bloch方程之类的磁共振的物理模型将参数映射、硬件规范和脉冲序列的描述传递到物理模拟器,以计算将通过使用由硬件规范所描述的设备对由参数映射所描述的主题执行由脉冲序列所描述的测试而生成的合成数据。由于脉冲描述参数作为用于配置的信息被传递到模型,因此模型能够处理使用多个协议获取的数据。这样的多个可以在模拟期间通过向每个主题施加多个脉冲序列而生成。合成数据用于具有或没有来自患者的实际数据的训练或预训练。
在预训练之后,通过将经注释的原始数据传递到网络并训练模型以输出标签来执行监督训练。可以从经注释的临床图像数据集合成经注释的原始数据。如先前所描述的那样合成原始数据,并且由人类读者或由预先存在的基于图像的AI分析系统从图像获得标签。标签可以是被分配给整个图像的局部化发现或者全局类的空间映射。系统输出(分析的基准真值)可以是标示存在或不存在发现或连续发现似然性得分的二元答案。在监督训练期间,网络可以被训练以从多个输入脉冲序列执行给定任务(即,输出一个标签集)。
机器训练使用损失来学习可学习参数的值。所述训练使用基于预测值与基准真值值之间的差异的损失函数。计算诸如交叉熵损失之类的损失函数,以用于优化网络的可学习参数的值。可以使用任何优化,诸如Adam。
机器学习是离线训练阶段,其中目标是标识可以应用于许多不同输入的模型的可学习参数的最优值集合。这些机器学习的参数随后可以在临床操作期间用于生成标签(即,分析的值)。一旦被训练,机器学习模型就在动作216中在在线处理或测试阶段中被使用,在该阶段中,输入扫描数据和关于扫描的信息以生成分析的值。
在测试时间,MR扫描仪使用针对其机器学习模型被训练的脉冲序列之一来执行数据获取。然后,在图2的动作216中,由机器学习模型来处理所获取的数据,以获得发现得分(值)。然后,该得分作为测试结果被输出以在临床工作流中使用。它可以是唯一的输出(即,没有重建图像)。此外,所获取的数据可以被导出以用于长期存储,从而确保遵守本地政策和法规或支持数据收集工作。
在一些实施例中,在扫描会话完成之后处理所有所获取的扫描数据。在其它实施例中,数据在它们被获取时由机器学习模型连续地处理。如果扫描仪需要基于已经接收的数据改变配置,则这对于患者监视(例如,运动检测)或对于主动扫描可能是有用的。
在动作220中,显示器(显示屏或设备)显示分析的值。显示表示患者的参数的值,诸如临床发现的值。该显示可以作为患者报告的一部分、弹出、作为实验室结果、或作为患者电子健康记录的一部分。该值被显示为字母数字文本、图解,或者在图形或图表中显示。可以在没有患者的解剖结构的图像的情况下显示该值。在其它实施例中,该值与患者的解剖结构的图像一起显示,所述图像诸如利用非MR模态(例如,x射线)获取的图像或从MR扫描重建的图像。
显示器呈现用于由用户、放射学科医生、医师、临床医生和/或患者查看的值。该值有助于诊断。
尽管已经依据示例性实施例描述了本主题,但是本主题不限于此。而是,所附权利要求应当被广义地解释为包括本领域技术人员可以做出的其它变型和实施例。
Claims (20)
1.一种用于磁共振(MR)扫描的数据分析的方法,所述方法包括:
使用MR扫描仪的第一配置对患者进行MR扫描并产生原始数据;
响应于将第一配置的信息和原始数据输入到机器学习模型,生成患者的分析的值,所述值在不进行图像重建的情况下生成;和
显示分析的值。
2.根据权利要求1所述的方法,其中MR扫描包括利用非均匀主磁场、非均质第一脉冲和非线性梯度的MR扫描。
3.根据权利要求1所述的方法,其中第一配置的信息包括第一脉冲,并且其中生成包括响应于将第一脉冲输入到机器学习模型而生成。
4.根据权利要求1所述的方法,其中第一配置的信息包括扫描仪控制,所述扫描仪控制包括k空间坐标、重复时间、回波时间和翻转角度,并且其中生成包括响应于将k空间坐标、重复时间、回波时间和翻转角度输入到机器学习模型而生成。
5.根据权利要求1所述的方法,其中第一配置的信息包括脉冲包络、载波频率、定时和持续时间,并且其中生成包括响应于将脉冲包络、载波频率、定时和持续时间输入到机器学习模型而生成。
6.根据权利要求1所述的方法,进一步包括将信息形成为第一配置的潜在空间表示,所述信息响应于将第一配置输入到编码器而形成为编码器的输出,并且其中生成包括响应于潜在空间表示的输入而生成。
7.根据权利要求1所述的方法,其中所述第一配置包括第一脉冲和多个线圈,并且其中生成包括:定义多个令牌,每个令牌是由线圈从第一脉冲之一和信息测量的原始数据,不同的令牌用于第一脉冲中的不同的第一脉冲;以及将所述多个令牌输入到机器学习模型。
8.根据权利要求1所述的方法,其中生成包括由机器学习模型生成,所述机器学习模型包括神经网络。
9.根据权利要求1所述的方法,其中生成包括由机器学习模型生成,所述机器学习模型包括包含注意力层的transformer序列,所述信息用作序列内的定位编码。
10.根据权利要求1所述的方法,其中生成包括由机器学习模型生成,所述机器学习模型已经由其它扫描仪中的连续分布式学习进行了预训练。
11.根据权利要求1所述的方法,其中生成包括由机器学习模型生成,所述机器学习模型已经使用合成数据进行了训练。
12.根据权利要求1所述的方法,其中生成包括生成针对癌症或者不是癌症的值作为分析。
13.根据权利要求1所述的方法,其中生成包括生成针对不进一步扫描或进一步扫描的值作为分析。
14.根据权利要求1所述的方法,其中生成包括在没有图像重建作为机器学习模型的输入并且没有由机器学习模型或在机器学习模型内执行图像重建的情况下生成。
15.一种用于磁共振(MR)扫描的数据分析方法,所述方法包括:
使用MR扫描仪的第一配置对患者进行MR扫描并产生原始数据;
响应于将第一配置的信息和原始数据输入到机器学习模型,生成作为患者的全局表征的参数的值;和
显示参数的值。
16.根据权利要求15所述的方法,其中生成包括在没有从原始数据进行重建的情况下生成。
17.根据权利要求15所述的方法,其中生成包括在如下情况下生成:其中所述机器学习模型包括transformer层的神经网络,所述transformer层中的第一transformer层接收令牌作为输入,每个令牌是来自作为原始数据的MR扫描的不同脉冲的测量值,并且每个令牌包括作为MR扫描仪的设置的描述符的信息。
18.根据权利要求15所述的方法,其中生成包括在如下情况下生成:其中所述机器学习模型在多个其它扫描仪处利用自我监督进行预训练。
19.一种用于磁共振(MR)扫描的系统,所述系统包括:
MR扫描仪,其通过控制的设置被配置为扫描患者的区,所述扫描提供原始数据;
处理器,其被配置为通过在没有从原始数据进行重建的情况下将机器学习网络应用于原始数据来确定患者的全局分析;和
显示器,其被配置为输出全局分析。
20.根据权利要求19所述的系统,其中所述机器学习网络包括注意力层序列的神经网络,其中神经网络的输入接收令牌,每个令牌是与关于发射脉冲的控制的设置的信息相组合的来自一个或多个线圈的原始数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US63/267789 | 2022-02-10 | ||
US17/804,625 US20230253095A1 (en) | 2022-02-10 | 2022-05-31 | Artifical intelligence for end-to-end analytics in magnetic resonance scanning |
US17/804625 | 2022-05-31 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116579377A true CN116579377A (zh) | 2023-08-11 |
Family
ID=87541901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310101805.4A Pending CN116579377A (zh) | 2022-02-10 | 2023-02-09 | 用于磁共振扫描中的端到端分析的人工智能 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116579377A (zh) |
-
2023
- 2023-02-09 CN CN202310101805.4A patent/CN116579377A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Knoll et al. | Deep-learning methods for parallel magnetic resonance imaging reconstruction: A survey of the current approaches, trends, and issues | |
US11023785B2 (en) | Sparse MRI data collection and classification using machine learning | |
US11341616B2 (en) | Methods and system for selective removal of streak artifacts and noise from images using deep neural networks | |
KR101674848B1 (ko) | 핵 자기 공명(nmr) 핑거프린팅 | |
US20210123999A1 (en) | Systems and methods of reconstructing magnetic resonance images using deep learning | |
US11969239B2 (en) | Tumor tissue characterization using multi-parametric magnetic resonance imaging | |
CN110476075A (zh) | 针对解剖区域的磁共振指纹识别词典的选择 | |
CN110992440B (zh) | 弱监督磁共振快速成像方法和装置 | |
CN113012246A (zh) | 产生合成图像数据和提供经训练的函数的方法及处理系统 | |
EP4019996A1 (en) | Deep learning systems and methods of removal of truncation artifacts in magnetic resonance images | |
EP3825711A1 (en) | Hybrid compressed sensing image reconstruction | |
US11408954B2 (en) | Systems and methods of reducing noise and artifacts in magnetic resonance imaging | |
US20210003650A1 (en) | Anomaly Detection Using Magnetic Resonance Fingerprinting | |
CN106137199B (zh) | 扩散磁共振成像中的广义球面去卷积 | |
Liberman et al. | Minimal linear networks for magnetic resonance image reconstruction | |
WO2023038910A1 (en) | Dual-domain self-supervised learning for accelerated non-cartesian magnetic resonance imaging reconstruction | |
US20230253095A1 (en) | Artifical intelligence for end-to-end analytics in magnetic resonance scanning | |
US11367183B2 (en) | Systems and methods of automatic field-of-view (FOV) prescription | |
CN116579377A (zh) | 用于磁共振扫描中的端到端分析的人工智能 | |
EP3916417A1 (en) | Correction of magnetic resonance images using multiple magnetic resonance imaging system configurations | |
US20200341089A1 (en) | System and method for improved magnetic resonance fingerprinting using inner product space | |
US20230196556A1 (en) | Systems and methods of magnetic resonance image processing using neural networks having reduced dimensionality | |
US20230341490A1 (en) | Systems and methods of noise reduction in magnetic resonance images | |
EP4266074A1 (en) | Segmentation of medical images reconstructed from a set of magnetic resonance images | |
NL2031467B1 (en) | Deep learning based denoising of MR images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |