CN115363559A - 基于深度学习的图像采集医学系统和方法 - Google Patents
基于深度学习的图像采集医学系统和方法 Download PDFInfo
- Publication number
- CN115363559A CN115363559A CN202210456419.2A CN202210456419A CN115363559A CN 115363559 A CN115363559 A CN 115363559A CN 202210456419 A CN202210456419 A CN 202210456419A CN 115363559 A CN115363559 A CN 115363559A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- noise
- images
- nex
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 42
- 238000002059 diagnostic imaging Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 14
- 230000005284 excitation Effects 0.000 claims abstract description 10
- 238000003384 imaging method Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 238000002595 magnetic resonance imaging Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 17
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 10
- 238000002597 diffusion-weighted imaging Methods 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 5
- 101000582320 Homo sapiens Neurogenic differentiation factor 6 Proteins 0.000 description 4
- 102100030589 Neurogenic differentiation factor 6 Human genes 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000012307 MRI technique Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 101150087854 NEXN gene Proteins 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 210000005013 brain tissue Anatomy 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 208000010392 Bone Fractures Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000004884 grey matter Anatomy 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000037351 starvation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06T5/60—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明题为基于深度学习的图像采集医学系统和方法。本文提供了一种具有至少一个医学成像设备的医学成像系统,该医学成像设备提供受检者的图像数据。该医学成像系统还包括处理系统,该处理系统被编程为使用多个训练图像训练深度学习(DL)网络以预测输入数据中的噪声。多个训练图像包括针对每行k空间训练数据采集的多个激发(NEX)图像。该处理系统进一步被编程为使用所训练的DL网络来确定受检者的图像数据中的噪声并且基于图像数据中所确定的噪声生成受检者的具有减少的噪声的去噪医学图像。
Description
背景技术
本公开的领域总体上涉及医学成像系统和方法,并且更具体地,涉及使用深度学习(DL)网络对磁共振(MR)图像进行去噪的技术。
在现代医疗保健设施中,非侵入性医学成像系统通常用于识别、诊断和治疗身体状况。医学成像涵盖用于对患者体内器官和组织的内部结构和/或功能行为(诸如化学或代谢活动)进行成像和可视化的不同非侵入性技术。目前,存在多种模态的医学诊断和成像系统,每种模态的医学诊断和成像系统通常以不同的物理原理进行操作以生成不同类型的图像和信息。这些模态包括超声系统、计算机断层扫描(CT)系统、X射线系统(包括常规成像系统和数字或数字化成像系统)、正电子发射断层扫描(PET)系统、单光子发射计算机断层扫描(SPECT)系统和磁共振(MR)成像系统。
磁共振成像(MRI)已证明可用于许多疾病的诊断。MRI提供通过其他成像模态诸如计算机断层扫描(CT)不能容易地成像的软组织、异常组织(诸如肿瘤)和其他结构的详细图像。此外,MRI在不将患者暴露于在模态诸如CT和X射线中经历的电离辐射的情况下操作。
由于信号和采集硬件链中的一系列现象,所以MR图像固有地有噪声。噪声图像可能影响从MR图像做出决策的能力。因此,需要一种改进的磁共振成像系统和方法。
发明内容
根据本技术的实施方案,提供了一种医学成像系统。该医学成像系统包括提供受检者的图像数据的至少一个医学成像设备,和处理系统。该处理系统被编程为使用多个训练图像训练深度学习(DL)网络以预测输入数据中的噪声。多个训练图像包括针对每行k空间训练数据采集的多个激发(NEX)图像。该处理系统进一步被编程为使用所训练的DL网络来确定受检者的图像数据中的噪声;以及基于图像数据中所确定的噪声生成受检者的具有减少的噪声的去噪医学图像。
附图说明
当参考附图阅读以下详细描述时,将更好地理解本发明的这些和其它特征、方面和优点,附图中相同的符号在整个附图中表示相同的部分,其中:
图1是根据本技术的实施方案的示例性磁共振成像(MRI)系统的示意图;
图2A是在图1的MRI系统中使用的示例性截断伪影减少/分类器系统;
图2B是根据本技术的实施方案的可在图2A的系统中实现的示例性方法的流程图;
图3是根据本技术的实施方案的k空间采样的示意图;
图4是可在图2A的截断伪影减少系统中使用的示例DL网络的示意图;
图5是可用于训练图4的DL网络模型的多个训练图像的示意图;
图6是根据本技术的实施方案的描绘用于预测的DL网络系统的示意图;
图7是根据本技术的实施方案的描绘由MRI系统生成的医学图像的示意图;
图8是根据本技术的实施方案的描绘对象的弥散加权成像(DWI)的医学图像的示意图;
图9是根据本技术的实施方案的描绘比较去噪之前和去噪之后的体线圈图像的表观弥散系数(ADC)图谱的示意图;并且
图10是根据本技术的实施方案的描绘对象的T2快速自旋回波(T2FSE)MRI的医学图像的示意图。
具体实施方式
在下面将描述一个或多个具体的实施方案。为了提供这些实施方案的简明描述,可能未在说明书中描述实际具体实施的所有特征。应当理解,在任何此类实际具体实施的开发中,如在任何工程或设计项目中,必须做出许多特定于具体实施的决策以实现开发者的具体目标,诸如遵守可能因具体实施而不同的系统相关和业务相关约束。此外,应当理解,此类开发努力可能是复杂且耗时的,但对于受益于本公开的普通技术人员来说仍然是设计、制作和制造的常规任务。
当介绍本实施方案的各种实施方案的元件时,冠词“一个”、“一种”、“该”和“所述”旨在意指存在这些元件中的一个或多个元件。术语“包括”、“包含”和“具有”旨在是包含性的,并且意指除了列出的元件之外还可存在附加元件。此外,以下讨论中的任何数值示例旨在非限制性的,并且因此附加的数值、范围和百分比在所公开的实施方案的范围内。此外,术语“电路”和“电路系统”和“控制器”可包括单个部件或多个部件,这些部件为有源的和/或无源的,并且被连接或以其它方式耦接在一起以提供所述功能。
在磁共振成像(MRI)中,将对象置于磁体中。当对象处于由磁体生成的磁场中时,核(诸如质子)的磁矩尝试与磁场对准,但在核的拉莫尔频率下以随机顺序围绕磁场进动。磁体的磁场被称为B0并且在纵向或z方向上延伸。在采集MR图像的过程中,处于x-y平面中且接近拉莫尔频率的磁场(称为激励场B1)由射频(RF)线圈生成,并且可用于将核的净磁矩Mz从z方向朝横向或x-y平面旋转或“倾斜”。在激励信号B1终止之后,核发射信号,该信号被称为MR信号。为了使用MR信号来生成对象的图像,使用磁场梯度脉冲(Gx、Gy和Gz)。梯度脉冲用于扫描通过k空间、空间频率的空间或距离的反向。在所采集的MR信号和对象的图像之间存在傅里叶关系,因此可以通过重建MR信号来导出对象的图像。对象的图像可包括二维(2D)或三维(3D)图像。
本文呈现的实施方案与用于对MR图像去噪的基于深度学习(DL)的技术有关。该技术基于从来自重复图像采集的多个噪声样品(即噪声分布实现)获得的估计噪声实现。本技术保持平均信号强度,并且即使是最小结构也维持视敏度;从而使其适合定量和解剖图像去噪。
图1示出示例性MRI系统10的示意图。在示例性实施方案中,MRI系统10包括具有显示器14和键盘16的工作站12。工作站12包括处理器18,诸如运行可商购获得的操作系统的可商购获得的可编程机器。工作站12提供操作者界面,该操作者界面允许将扫描方案输入MRI系统10中。工作站12联接到脉冲序列服务器20、数据采集服务器22、数据处理服务器24和数据存储服务器26。工作站12以及每个服务器20、22、24和26彼此通信。
在示例性实施方案中,脉冲序列服务器20响应于从工作站12下载的指令以操作梯度系统28和射频(“RF”)系统30。指令用于在MR脉冲序列中产生梯度波形和RF波形。RF线圈38和梯度线圈组件32用于执行规定的MR脉冲序列。RF线圈38被示出为全身RF线圈。RF线圈38也可以是可放置在待成像解剖结构附近的局部线圈,或者是包括多个线圈的线圈阵列。
在示例性实施方案中,产生用于执行界定扫描的梯度波形并将其应用于梯度系统28,该梯度系统激励梯度线圈组件32中的梯度线圈以产生用于对MR信号进行位置编码的磁场梯度Gx、Gy和Gz。梯度线圈组件32形成磁体组件34的一部分,该磁体组件还包括极化磁体36和RF线圈38。
在示例性实施方案中,RF系统30包括用于产生MR脉冲序列中使用的RF脉冲的RF发射器。RF发射器响应于来自脉冲序列服务器20的扫描方案和方向,以产生具有期望频率、相位和脉冲振幅波形的RF脉冲。所生成的RF脉冲可由RF系统30施加到RF线圈38。由RF线圈38检测到的响应MR信号由RF系统30接收,在由脉冲序列服务器20产生的命令的指示下被放大、解调、滤波和数字化。RF线圈38被描述为发射器和接收器线圈,使得RF线圈38发射RF脉冲并检测MR信号。在一个实施方案中,MRI系统10可包括发射RF脉冲的发射器RF线圈和检测MR信号的单独的接收器线圈。RF系统30的传输通道可连接到RF传输线圈,并且接收器通道可连接到单独的RF接收器线圈。通常,传输通道连接到全身RF线圈38,并且每个接收器区段连接到单独的局部RF线圈。
在示例性实施方案中,RF系统30还包括一个或多个RF接收器通道。每个RF接收器通道包括RF放大器,该RF放大器放大由通道所连接到的RF线圈38接收的MR信号;和检测器,该检测器检测并数字化所接收的MR信号的I正交分量和Q正交分量。然后,所接收的MR信号的量值可以被确定为I分量和Q分量的平方和的平方根,如下面等式(1)所示:
并且所接收的MR信号的相位也可以如下面等式(2)所示来确定:
在示例性实施方案中,由RF系统30产生的数字化MR信号样本由数据采集服务器22接收。数据采集服务器22可以响应于从工作站12下载的指令而操作,以接收实时MR数据并提供缓冲存储器,使得没有数据因数据溢出而丢失。在一些扫描中,数据采集服务器22仅将所采集的MR数据传递到数据处理服务器24。然而,在需要来源于所采集的MR数据的信息来控制扫描的进一步执行的扫描中,数据采集服务器22被编程为产生所需的信息并将其传送到脉冲序列服务器20。例如,在预扫描期间,采集MR数据并将其用于校准由脉冲序列服务器20执行的脉冲序列。另外,导航器信号可在扫描期间被采集并且用于调整RF系统30或梯度系统28的操作参数,或者用于控制对k空间进行采样的视图顺序。
在示例性实施方案中,数据处理服务器24从数据采集服务器22接收MR数据,并且根据从工作站12下载的指令对MR数据进行处理。此类处理可包括:例如,对原始k空间MR数据进行傅里叶变换以产生二维或三维图像,将滤波器应用于重建图像,对所采集的MR数据执行反投影图像重建,去除MR数据中的伪影,生成功能MR图像,以及计算运动或流动图像。
在示例性实施方案中,由数据处理服务器24重建的图像被传送回工作站12并且存储在该工作站处。在一些实施方案中,实时图像存储在数据库存储器高速缓存(图1中未示出)中,实时图像可从该数据库存储器高速缓存输出到操作者显示器14或位于磁体组件34附近的显示器46,以供主治医生使用。批处理模式图像或所选择的实时图像可存储在磁盘存储装置48或云端上的主机数据库中。当此类图像已被重建并且传输到存储装置时,数据处理服务器24通知数据存储服务器26。操作者可以使用工作站12来存档图像、产生胶片或经由网络将图像发送到其他设施。
如早前所述,从数据采集服务器22采集的MR数据可包括由于受检者的病理状况(诸如人体内的金属植入物或骨折)引起的伪影。使用深度学习直接去除这些伪影会向常规方法提供优异的性能。
图2A是在图1的MRI系统10中使用的示例性伪影减少系统200的示意图。在示例性实施方案中,系统200包括计算设备202,该计算设备被配置为减少医学图像中的伪影。计算设备202包括DL网络模型204和训练图像数据库206。来自训练图像数据库206的训练图像是在采集主扫描之前历史性或实时性获得的基础真实图像,并且用于训练DL网络模型204。在一个实施方案中,与此一起呈现了训练DL网络模型204的技术。计算设备202然后可使用所训练的DL网络模型204来生成具有减少的伪影的医学图像。计算设备202可包括在MRI系统10的工作站12中,或者可包括在与工作站12通信的单独的计算设备上。
图2B是示例性方法250的流程图。方法250可在伪影减少系统200上实现。在示例性实施方案中,该方法包括使用多个训练图像训练252DL网络以预测DL网络的输入数据中的噪声。该多个训练图像包括多个激发图像,其在本文中也称为许多激发(NEX)图像,是使用MR成像设备针对每行k空间训练数据采集的。如本领域技术人员将理解的,NEX有助于提高MRI系统10的信噪比(SNR),因为针对图像接收到的数据量增长,然后数据量平均化。例如,将每行k空间的NEX加倍使SNR提高2的平方根该多个训练图像可存储在同一患者的历史图像数据库中或不同患者的各种病理的历史图像数据库中,可在需要时从该历史图像数据库中采集这些图像。在一个实施方案中,训练DL网络包括向DL网络提供一对训练图像(一个作为输入NEX图像,另一个作为从另一NEX图像导出的输入图像中的噪声实现),来确定该多个NEX图像中该对NEX图像之间的噪声。
方法250进一步包括在步骤254利用MR成像设备生成受检者的图像数据。如本文所用,受检者是人(或患者)、动物或虚假动物。换句话说,在患者的医学扫描期间,可以在步骤254期间获得患者解剖的图像数据。此外,在步骤256,该方法包括将获得的受检者的图像数据作为输入提供给已经在步骤252中所训练的深度学习网络模型来确定图像数据中的噪声。在步骤258,生成受检者的去噪医学图像。该去噪医学图像基本含有减少的伪影,并且是基于在步骤256图像数据中的所确定的噪声生成的。在一个实施方案中,生成去噪医学图像包括从该受检者的图像数据中减去该图像数据的噪声。
图3是示例k空间训练数据261的采样模式259的示意图。完整k空间261由最大kx或ky值(kx,最大和ky,最大)限定,该最大kx或ky值由最大频率编码梯度或相位编码梯度限定。一般而言,k空间261表示从MR信号直接获得的原始数据,其中k空间kx-ky值对应于MR图像的空间频率。如早前所述,在本技术的一个实施方案中,针对每行263k空间训练数据采集多个激发(NEX)图像。在一个实施方案中,获得的k空间训练数据仅是部分k空间数据。换句话说,在一个实施方案中,不采集高空间频率数据263的一部分,而采集相当截断数据。截断可以在kx维度和/或ky维度中,并且可以在三维(3D)采集中的kz维度中。将完整k空间261截断成部分k空间。截断可以是对称的或不对称的,即k空间可以在两个维度上对称截断或在一个维度上不对称截断。
图4是可用作200的实施方案中的DL网络模型204以减少由于患者医学状况引起的伪影的示例DL网络模型300的表示。示例DL网络模型300包括层320、340、360和380。层320和340使用神经连接330来连接。层340和360使用神经连接350来连接。层360和380使用神经连接370来连接。数据经由输入312、314、316从输入层320向前流到输出层380并到达输出390。输入312、314、316可以是源图像和目标图像,并且输出390可以是最终输出图像。例如,在一个实施方案中,输入312、314和316可以是该多个NEX图像,并且针对k空间训练数据和输出390获得的目标噪声可以是由DL网络确定的噪声。
层320是输入层,其在图3的示例中包括多个节点322、324、326。层340和360是隐藏层,并且在图3的示例中包括节点342、344、346、348、362、364、366、368。DL网络模型300可包括比所示的更多或更少的隐藏层340和360。层380是输出层,并且在图3的示例中包括具有输出390的节点382。每个输入312至316对应于输入层320的节点322-326,并且输入层320的每个节点322-326具有到隐藏层340的每个节点342-348的连接330。隐藏层340的每个节点342-348具有到隐藏层360的每个节点362-368的连接350。隐藏层360的每个节点362-368具有到输出层380的连接370。输出层380具有输出390以提供来自示例DL网络模型300的输出。
在连接330、350和370中,某些示例连接332、352、372可被赋予增加的权重,而其他示例连接334、354、374可在DL网络模型300中被赋予较小的权重。例如,通过经由输入312-316接收输入数据来激活输入节点322-326。通过数据分别经由连接330和350向前流过网络模型300来激活隐藏层340和360的节点342-348和362-368。在经由连接370发送在隐藏层340和360中处理的数据之后,激活输出层380的节点382。当输出层380的输出节点382被激活时,节点382基于在DL网络模型300的隐藏层340和360中完成的处理来输出适当的值。
图5是示出可用于训练图4的DL网络模型的多个训练图像的示意图500。如早前所述,该多个训练图像包括使用MR成像设备针对每行k空间训练数据采集的多个激发图像或NEX图像。此外,该多个训练图像包括从NEX图像实现的噪声,如下文将描述的那样。
例如,NEX图像中的每个NEX图像均包括一些固有噪声,即,未在外部向其中添加噪声。假设存在总共n个NEX图像-NEX1 502、NEX2 504、NEX3 506,以此类推直至NEXn 508,其中的每个NEX图像分别包含固有噪声N1、N2、N3至Nn。还假设图像NEX1 502可以表示为(x+N1),其中x表示正在被扫描的受检者的清晰图像并且N1是图像NEX1中的噪声。此外,NEX2504可以表示为(x+N2),其中N2是图像NEX2中的噪声。从NEX1中减去NEX2之后,我们得到:
NEX1-NEX2=(x+N1)-(x+N2)=N1-N2 (1)
因此,方程式(1)给出来自NEX图像的MRI扫描的噪声实现或真实噪声系数的一个示例。可以针对每对NEX图像重复上述过程。例如,在图5中,图像NEX1具有(n-1)个可以与之配对的其他图像NEX2至NEXn。类似地,NEX2、NEX3和所有其他图像可以彼此配对,并且这些图像以及它们的噪声实现或噪声系数可以用作用于训练DL网络的训练图像。例如,NEX1图像可以用作输入图像,并且噪声系数N1-N2可以用作用于训练DL网络的目标图像或目标噪声。因此,所训练的DL网络然后将会确定每个输入图像的噪声。
如上所述,为了训练DL网络,可以提供NEX图像作为输入图像,并且可以提供来自这些NEX图像的噪声实现作为目标图像。然而,在一些实施方案中,不使用噪声作为目标图像,可以使用该对NEX图像中的一个NEX图像作为DL网络的目标图像,并且可以使用该对中的另一NEX图像作为DL网络的输入图像。由于噪声受到指示用于生成弥散加权图像(DWI)的梯度强度的b-值影响,所以在一个实施方案中,获得用于b=0和b=800(或其他值)的单独训练图像。例如:对于b=800,采集12个NEX图像,即图5中n=12。因此,对于每个NEX图像,有11个具有真实噪声实现的训练对。因此,每种情况存在11×11=121个训练图像对(即(NEX-1)×(NEX-1))。因此,这种方法也有助于克服数据不足的挑战。应当注意,尽管以上描述适用于DWI MRI,但是所呈现的技术同样也可以适用于任何其他类型的MRI成像。例如,在后续段落中将讨论所呈现的技术适用于结构MRI技术的结果。
图6是用于预测噪声的DL网络系统600的示意图。该DL网络系统包括具有两个密集块602和604的DL网络601,该两个密集块被级联以预测噪声。如本领域技术人员将理解的,密集块是在卷积神经网络中使用的模块,该模块将所有层彼此直接连接。每个层从前面的所有层获得附加输入,并且将其自身的特征图谱传递到所有后续层。
如早前所述,DL网络601的输入606是一对NEX图像中的一个图像,例如NEXi。此外,DL网络预测相加噪声608,然后通过添加块610将相加噪声添加到输入图像606中以生成输出图像612,该输出图像是与该对NEX图像中的另一图像NEXj的等效物。在另一实施方案中,DL网络本身可以预测输出图像NEXj。在此类实施方案中,该对NEX图像充当训练DL网络的输入图像和目标图像。
在一个实施方案中,调整密集块602、604的参数值以减少DL网络601的输出(即,噪声608)与目标噪声之间的差异,该目标噪声是作为另一输入提供给DL网络601的或如方程式1中所解释的那样确定的。在一个实施方案中,将损失函数应用于该差异以调整密集块602、604的参数值。在另一实施方案中,损失函数可以是作为预测的目标图像之间的绝对差异总和的平均值来测量的平均绝对误差(MAE)损失函数。在其他实施方案中,该损失函数可以包括其他损失函数,诸如均方误差损失函数、均值偏移误差损失函数、最小平方损失函数或最小绝对偏差损失函数。此外,在一个实施方案中,DL网络的滤波器大小设置为未定义,以使DL网络为大小不可知的网络。
图7示出了根据本技术的实施方案的描绘由MRI系统(例如,图1的系统10)生成的医学图像的示意图700。一般而言,图7示出了分别对应于单个NEX图像数据和该多个NEX图像数据的医学图像集合702、704。此外,在集合702中,上部图像706和708对应于等于零的b值,即b=0且下部图像710和712对应于等于800的b值,即b=800。左手侧(LHS)图像706和710对应于在没有DL网络去噪的情况下生成的图像,并且右手侧(RHS)图像708和712对应于在有DL网络去噪的情况下生成的图像。可以看出,与图像706和710相比,用DL网络去噪的图像708和712具有减少的伪影或噪声。
而且,在集合704中,LHS图像714和718对应于在没有DL网络去噪的情况下生成的图像,并且RHS图像716、720对应于在有DL网络去噪的情况下生成的图像。上部图像714和716对应于等于零的b值并且下部图像718和720对应于等于800的b值。图像716是从用8个NEX图像数据训练的DL网络生成的,即(n=8)并且图像720是从用12个NEX图像数据训练的DL网络生成的,即(n=12)。可以看出,与图像714和718相比,图像716和720具有减少的伪影或噪声。还可以看出,与用单个NEX图像数据训练的DL网络生成的图像708和712相比,用多个NEX图像数据训练的DL网络生成的图像716和720具有更好的质量。
图8示出了根据本技术的实施方案的描绘对象的弥散加权成像(DWI)的医学图像的示意图800。一般而言,图8示出了单个NEX体线圈图像802和图像804中的相应噪声。此外,图8示出了根据本技术生成的单个NEX去噪体线圈图像806和图像808中的相应噪声。所有这些图像均针对等于800的b值。可以看出,与图像802相比,去噪图像806更清晰。在噪声图像808中也可以看到相同的效果,该噪声图像不具有像噪声图像804那样的任何结构,但只具有纯噪声。
图9示出了根据本技术的实施方案的描绘比较去噪之前和去噪之后的体线圈图像的表观弥散系数(ADC)图谱的示意图900。如本领域技术人员将理解的,ADC表示来自DWI的组织中的水扩散率。一般而言,图9示出4张图形,图形902、图形904、图形906和图形908。在图形902至图形908中的每张图形中,水平轴910表示良好图像值,并且垂直轴912表示噪声图像值。图形902和图形904对应于一种类型的脑组织(例如,自质),而图形906和图形908对应于另一类型的脑组织(例如灰质)。此外,图形902和图形906对应于去噪之前的体线圈图像,而图形904和图形908对应于去噪之后的体线圈图像。理想地,ADC图谱应使其是线性的或是直线,即,噪声图像值912应随良好图像值910呈直接相关性增加。然而,如可以看出,去噪之前的体线圈图像(图形902和图形906)不遵循该趋势,因为它们含有更多噪声。去噪之前的体线圈图像(图形904和图形908)尽管不遵循理想趋势,但它们与图形902和图形906相比更窄,因为它们含有减少的噪声或伪影。
应注意,图7至图9的结果对应于DWI MRI技术。然而,本技术同样适用于任何其他MRI技术,诸如结构MRI。图10示出了根据本技术的实施方案的描绘对象的T2快速自旋回波(T2FSE)MRI的医学图像的示意图1000。一般而言,图10示出了单个NEX体线圈图像1002和图像1004中的相应噪声。此外,图10示出了根据本技术生成的单个NEX去噪体线圈图像1006和图像1008中的相应噪声。可以看出,与图像1002相比,去噪图像1006更清晰。在噪声图像1008中也可以看到相同的效果,该噪声图像不具有像噪声图像1004那样的任何结构,但只具有纯噪声。
本技术的优点包括使用深度学习的特定MR噪声实现。这使得能够改善图像质量而不损害MR图像特征(无结构模糊和图像强度)。所提出的方法可以提供前沿优势使MR系统建议(如其中使用折衷的硬件规格来采集数据的Gaussline MR系统)有价值。所提出的DL驱动技术可以帮助从此类系统传递高IQ MR图像。
该书面描述使用示例来公开本发明,包括最佳模式,并且还使本领域技术人员能够实践本发明,包括制造和使用任何设备或系统以及执行任何包含的方法。本发明的专利范围由权利要求书限定,并且可包括本领域技术人员想到的其他示例。如果此类其他示例具有与权利要求书的字面语言没有区别的结构元素,或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素,则此类其他示例旨在落入权利要求书的范围内。
Claims (16)
1.一种医学成像系统,包括:
至少一个医学成像设备,所述至少一个医学成像设备提供受检者的图像数据;
处理系统,所述处理系统被编程为:
使用多个训练图像训练深度学习(DL)网络以预测输入数据中的噪声,其中所述多个训练图像包括针对每行k空间训练数据采集的多个激发(NEX)图像;
使用所训练的DL网络来确定所述受检者的所述图像数据中的噪声;以及
基于所述图像数据中的所确定的噪声生成所述受检者的具有减少的噪声的去噪医学图像。
2.根据权利要求1所述的医学成像系统,其中所述多个NEX图像包括至少一对NEX图像。
3.根据权利要求2所述的医学成像系统,其中所述处理系统被编程为通过为所述DL网络提供所述至少一对的所述NEX图像中的一个NEX图像作为输入图像和从所述至少一对的NEX图像导出的目标噪声作为目标图像来训练所述DL网络。
4.根据权利要求3所述的医学成像系统,其中所述DL网络包括两个级联的密集块以预测所述输入图像中的噪声。
5.根据权利要求4所述的医学成像系统,其中所述目标噪声是所述输入图像中存在的真实噪声的实现。
6.根据权利要求4所述的医学成像系统,其中通过在所述输入图像中添加所述预测的噪声来生成所述DL网络的输出图像。
7.根据权利要求4所述的医学成像系统,其中调整密集块的参数值以减少所述DL网络的所述输出与所述DL网络的所述目标图像之间的差异。
8.根据权利要求7所述的医学成像系统,其中将损失函数应用于所述DL网络的所述输出与所述DL网络的所述目标图像之间的所述差异以调整密集块的所述参数值。
9.根据权利要求1所述的医学成像系统,其中生成所述去噪医学图像包括从所述受检者的所述图像数据中减去所述图像数据的所述噪声。
10.一种用于对受检者进行成像的方法,包括:
使用多个训练图像训练深度学习(DL)网络以预测输入数据中的噪声,其中所述多个训练图像包括针对每行k空间训练数据使用磁共振(MR)成像设备采集的多个激发(NEX)图像;
利用所述MR成像设备来生成所述受检者的图像数据;
将所述受检者的所述图像数据作为输入提供给经过训练的深度学习网络模型来确定所述受检者的所述图像数据中的噪声;
基于所述图像数据中的所确定的噪声生成所述受检者的具有减少的伪影的去噪医学图像。
11.根据权利要求10所述的方法,其中所述多个NEX图像包括至少一对NEX图像。
12.根据权利要求11所述的方法,其中训练所述DL网络包括为所述DL网络提供所述至少一对的所述NEX图像中的一个NEX图像作为输入图像和从所述至少一对的另一NEX图像导出的目标噪声作为目标图像。
13.根据权利要求10所述的方法,其中所述DL网络包括两个级联的密集块以预测所述输入图像中的噪声。
14.根据权利要求13所述的方法,其中所述方法还包括调整密集块的参数值以减少所述DL网络的所述输出与所述DL网络的所述目标图像之间的差异。
15.根据权利要求14所述的方法,其中调整所述密集块的所述参数值包括应用损失函数来评估DL输入和输出错配。
16.根据权利要求10所述的方法,其中生成所述去噪医学图像包括从所述受检者的所述图像数据中减去所述图像数据的所述噪声。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/325,010 | 2021-05-19 | ||
US17/325,010 US11763429B2 (en) | 2021-05-19 | 2021-05-19 | Deep learning based medical system and method for image acquisition |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115363559A true CN115363559A (zh) | 2022-11-22 |
Family
ID=84060170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210456419.2A Pending CN115363559A (zh) | 2021-05-19 | 2022-04-27 | 基于深度学习的图像采集医学系统和方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11763429B2 (zh) |
CN (1) | CN115363559A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9584198B1 (en) * | 2015-12-29 | 2017-02-28 | Facebook, Inc. | Reciprocity calibration for multiple-input multiple-output systems |
CN109800800A (zh) * | 2019-01-08 | 2019-05-24 | 上海东软医疗科技有限公司 | 一种磁共振成像获得深度学习训练集的方法和装置 |
US20190204401A1 (en) * | 2017-12-29 | 2019-07-04 | Siemens Healthcare Gmbh | Method and Deep Quantitative Susceptibility Mapping (QSM) |
CN110858391A (zh) * | 2018-08-23 | 2020-03-03 | 通用电气公司 | 患者专用的深度学习图像降噪方法和系统 |
US10705170B1 (en) * | 2019-02-15 | 2020-07-07 | GE Precision Healthcare LLC | Methods and systems for removing spike noise in magnetic resonance imaging |
WO2021087740A1 (zh) * | 2019-11-05 | 2021-05-14 | 深圳先进技术研究院 | 磁共振成像方法、装置、服务器及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10565686B2 (en) | 2017-06-12 | 2020-02-18 | Nvidia Corporation | Systems and methods for training neural networks for regression without ground truth training samples |
US10551458B2 (en) | 2017-06-29 | 2020-02-04 | General Electric Company | Method and systems for iteratively reconstructing multi-shot, multi-acquisition MRI data |
JP7351847B2 (ja) | 2018-04-19 | 2023-09-27 | サトゥル メディカル,インコーポレイテッド | 深層学習を使用して磁気共鳴撮像を向上させるためのシステムおよび方法 |
KR20190119548A (ko) * | 2019-10-02 | 2019-10-22 | 엘지전자 주식회사 | 이미지 노이즈 처리방법 및 처리장치 |
US20220198725A1 (en) * | 2020-12-22 | 2022-06-23 | GE Precision Healthcare LLC | Deep learning systems and methods of removal of truncation artifacts in magnetic resonance images |
US20220248972A1 (en) * | 2021-02-10 | 2022-08-11 | GE Precision Healthcare LLC | System and method for reconstruction using a high-resolution phase in magnetic resonance images |
-
2021
- 2021-05-19 US US17/325,010 patent/US11763429B2/en active Active
-
2022
- 2022-04-27 CN CN202210456419.2A patent/CN115363559A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9584198B1 (en) * | 2015-12-29 | 2017-02-28 | Facebook, Inc. | Reciprocity calibration for multiple-input multiple-output systems |
US20190204401A1 (en) * | 2017-12-29 | 2019-07-04 | Siemens Healthcare Gmbh | Method and Deep Quantitative Susceptibility Mapping (QSM) |
CN110858391A (zh) * | 2018-08-23 | 2020-03-03 | 通用电气公司 | 患者专用的深度学习图像降噪方法和系统 |
CN109800800A (zh) * | 2019-01-08 | 2019-05-24 | 上海东软医疗科技有限公司 | 一种磁共振成像获得深度学习训练集的方法和装置 |
US10705170B1 (en) * | 2019-02-15 | 2020-07-07 | GE Precision Healthcare LLC | Methods and systems for removing spike noise in magnetic resonance imaging |
WO2021087740A1 (zh) * | 2019-11-05 | 2021-05-14 | 深圳先进技术研究院 | 磁共振成像方法、装置、服务器及存储介质 |
Non-Patent Citations (1)
Title |
---|
MOTOHIDE KAWAMURA 等人: "Accelerated Acquisition of High-resolution Difusion-weighted Imaging of the Brain with a Multi-shot Echo-planar Sequence:Deep-learning-based Denoising", MAGN RESON MED SCI, vol. 20, no. 1, 6 March 2020 (2020-03-06), pages 99 - 105 * |
Also Published As
Publication number | Publication date |
---|---|
US11763429B2 (en) | 2023-09-19 |
US20220375035A1 (en) | 2022-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5248010B2 (ja) | データ補正装置、データ補正方法、磁気共鳴イメージング装置およびx線ct装置 | |
JP5349673B2 (ja) | データ補正装置 | |
US11681001B2 (en) | Deep learning method for nonstationary image artifact correction | |
US10761173B2 (en) | System and method for Z-shim compensated echo-planar magnetic resonance imaging | |
CN107656224B (zh) | 一种磁共振成像方法、装置及系统 | |
US11002815B2 (en) | System and method for reducing artifacts in echo planar magnetic resonance imaging | |
US10895622B2 (en) | Noise suppression for wave-CAIPI | |
EP2145200A1 (en) | Imaging of moving objects | |
US20210123999A1 (en) | Systems and methods of reconstructing magnetic resonance images using deep learning | |
US11835612B2 (en) | System and method for motion correction of magnetic resonance image | |
JP4679158B2 (ja) | 磁気共鳴イメージング装置 | |
Pezzotti et al. | An adaptive intelligence algorithm for undersampled knee mri reconstruction: Application to the 2019 fastmri challenge | |
EP4092439A1 (en) | System and method for reconstruction using a high-resolution phase in magnetic resonance images | |
US10362961B2 (en) | System and method for neutral contrast magnetic resonance imaging of calcifications | |
Kathiravan et al. | A review of magnetic resonance imaging techniques | |
US9709651B2 (en) | Compensated magnetic resonance imaging system and method for improved magnetic resonance imaging and diffusion imaging | |
EP4019996A1 (en) | Deep learning systems and methods of removal of truncation artifacts in magnetic resonance images | |
WO2019232437A1 (en) | Solid-state mri as a noninvasive alternative to computed tomography (ct) | |
US11763429B2 (en) | Deep learning based medical system and method for image acquisition | |
CN113466768B (zh) | 磁共振成像方法及磁共振成像系统 | |
WO2022212244A1 (en) | Distortion-free diffusion and quantitative magnetic resonance imaging with blip up-down acquisition of spin- and gradient-echoes | |
WO2017167937A1 (en) | Dynamic mr imaging with increased temporal and spatial resolution | |
US11740304B2 (en) | Magnetic resonance imaging method and system for subject with metal implants | |
JP5566587B2 (ja) | 磁気共鳴イメージング装置およびリンギング低減方法 | |
JP2022535548A (ja) | オフ共鳴アーチファクト補正を伴うスパイラルmr撮像 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |