CN109712208B - 基于深度学习的大视野磁共振扫描图像重建方法和装置 - Google Patents

基于深度学习的大视野磁共振扫描图像重建方法和装置 Download PDF

Info

Publication number
CN109712208B
CN109712208B CN201811526898.0A CN201811526898A CN109712208B CN 109712208 B CN109712208 B CN 109712208B CN 201811526898 A CN201811526898 A CN 201811526898A CN 109712208 B CN109712208 B CN 109712208B
Authority
CN
China
Prior art keywords
image
magnetic resonance
neural network
undersampled
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811526898.0A
Other languages
English (en)
Other versions
CN109712208A (zh
Inventor
郑海荣
王珊珊
肖韬辉
刘新
梁栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201811526898.0A priority Critical patent/CN109712208B/zh
Publication of CN109712208A publication Critical patent/CN109712208A/zh
Application granted granted Critical
Publication of CN109712208B publication Critical patent/CN109712208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种基于深度学习的大视野磁共振扫描图像重建方法和装置,其中,该方法包括:获取大视野磁共振扫描图像,其中,所述磁共振扫描图像为欠采样的扫描图像;将所述磁共振扫描图像输入预先构建的深度神经网络模型中;通过所述深度神经网络模型,对所述磁共振扫描图像进行重建,得到所述欠采样的扫描图像对应的高分辨率图像。利用本申请实施例提供的技术方案解决了现有磁共振扫描在扫描矩阵选定后,增大FOV会导致图像空间分辨率降低的问题,在保证了大视野扫描成像的前提下,利用深度学习方法能在较短时间内重建出高分辨图像。

Description

基于深度学习的大视野磁共振扫描图像重建方法和装置
技术领域
本申请属于图像处理技术领域,尤其涉及一种基于深度学习的大视野磁共振扫描图像重建方法和装置。
背景技术
目前,在临床上主要依靠脑动脉血管造影,通过测量血管的狭隘程度来评估脑动脉粥样硬化的严重性。然而,研究发现在动脉粥样硬化的发生发展过程中,动脉管壁会发生正性重构,导致缺血性脑卒中的病变主要位于脑组织上游的动脉血管床,如果仅仅测试血管狭隘,而不能显示有病变是无法进行精准检测的。
对于缺血性脑卒中的病因中,颅内动脉病变占46.6%,颈动脉病变占30%左右,而斑块破裂引发血栓形成从而导致血管完全闭塞,是急性心脑血管事件的主要发病机制。针对早期评估、诊断血管的狭隘程度及动脉斑块的头颈一体化血管壁成像技术,对缺血性脑卒中的病因认知和早期预防,目前一般都是采用磁共振血管壁成像的方式。
然而,由于脑部和颈动脉需要同时成像,需要大视野一站式扫描两个部位,此外脑动脉分布广泛且血管分支多,这对扫描覆盖提出了更高要求。头颈一体化的磁共振成像难点在颅内部分,早期颅内成像大都为二维成像技术,通过快速自旋回波序列,以多层交叉提高覆盖范围;而二维技术只能观察某一段的断面图像,层厚一般过大,且不是各项同性,不能完全满足临床应用的需求。目前的头颈一体化成像技术所能获得的最大视野为250mm,但考虑到扫描图像的对比度、各项同性分辨率、扫描时间等因素,这种视野仍然无法满足临床上的应用需求。此外,现有磁共振扫描在扫描矩阵选定后,FOV越大会导致图像体素的体积增大,图像的空间分辨率会随之降低,因此盲目增大FOV会导致磁共振扫描图像空间分辨率降低。
针对上述问题,目前上述我提出有效的解决方案。
发明内容
本申请的目的在于提供一种基于深度学习的大视野磁共振扫描图像重建方法和装置,可以在保证了大视野扫描成像的前提下,利用深度学习方法在较短时间内重建出高分辨图像,从而达到了同时保证大视野扫描、缩短扫描时间和提高重建精度的需求。
本申请提供一种基于深度学习的大视野磁共振扫描图像重建方法和装置是这样实现的:
获取大视野磁共振扫描图像,其中,所述磁共振扫描图像为欠采样的扫描图像;
将所述磁共振扫描图像输入预先构建的深度神经网络模型中;
通过所述深度神经网络模型,对所述磁共振扫描图像进行重建,得到所述欠采样的扫描图像对应的高分辨率图像。
在一个实施方式中,按照如下方式构建所述深度神经网络模型:
获取全采样样本图像;
对所述全采样样本图像进行欠采样处理,得到欠采样样本图像;
将所述欠采样样本图像作为训练样本,将所述全采样样本图像作为标签,对预先建立的神经网络进行训练,得到所述深度神经网络模型。
在一个实施方式中,获取全采样图像,包括:
通过低倍欠采因子从磁共振扫描仪采集图像;
对采集的图像进行预处理,其中,所述预处理包括以下至少之一:选图处理、归一化处理;
将预处理后的图像作为所述全采样图像。
在一个实施方式中,所述预先建立的神经网络,包括:N个第一残差块、M个第二残差块,其中,第一残差块中包括多个卷积层,第二残差块中包括多个第一残差块,其中,N和M为正整数。
在一个实施方式中,N为5,M为1。
在一个实施方式中,所述磁共振扫描图像为大视野头颈一体化欠采样图像。
本申请还提供一种基于深度学习的大视野磁共振扫描图像重建装置,包括:
获取模块,用于获取大视野磁共振扫描图像,其中,所述磁共振扫描图像为欠采样的扫描图像;
输入模块,用于将所述磁共振扫描图像输入预先构建的深度神经网络模型中;
重建模块,用于通过所述深度神经网络模型,对所述磁共振扫描图像进行重建,得到所述欠采样的扫描图像对应的高分辨率图像。
在一个实施方式中,上述装置还包括:
构建模块,用于按照如下方式构建所述深度神经网络模型:获取全采样样本图像;对所述全采样样本图像进行欠采样处理,得到欠采样样本图像;
将所述欠采样样本图像作为训练样本,将所述全采样样本图像作为标签,对预先建立的神经网络进行训练,得到所述深度神经网络模型。
在一个实施方式中,所述构建模块具体用于通过低倍欠采因子从磁共振扫描仪采集图像;对采集的图像进行预处理,其中,所述预处理包括以下至少之一:选图处理、归一化处理;将预处理后的图像作为所述全采样图像。
在一个实施方式中,所述预先建立的神经网络,包括:N个第一残差块、M个第二残差块,其中,第一残差块中包括多个卷积层,第二残差块中包括多个第一残差块,其中,N和M为正整数。
在一个实施方式中,N为5,M为1。
在一个实施方式中,所述磁共振扫描图像为大视野头颈一体化欠采样图像。
本申请还提供一种终端设备,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现如下步骤:
获取大视野磁共振扫描图像,其中,所述磁共振扫描图像为欠采样的扫描图像;
将所述磁共振扫描图像输入预先构建的深度神经网络模型中;
通过所述深度神经网络模型,对所述磁共振扫描图像进行重建,得到所述欠采样的扫描图像对应的高分辨率图像。
本申请还提供一种计算机可读存储介质,其上存储有计算机指令,所述指令被执行时实现如下步骤:
获取大视野磁共振扫描图像,其中,所述磁共振扫描图像为欠采样的扫描图像;
将所述磁共振扫描图像输入预先构建的深度神经网络模型中;
通过所述深度神经网络模型,对所述磁共振扫描图像进行重建,得到所述欠采样的扫描图像对应的高分辨率图像。
本申请提供的基于深度学习的大视野磁共振扫描图像重建方法和装置,通过预先构建的深度神经网络模型的欠采样的大视野磁共振扫描图像进行重建,从而得到欠采样的扫描图像对应的高分辨率图像。因为获取的是欠采样图像,因此可以减少扫描时间实现大视野扫描的需求,同时通过深度神经网络模型可以对欠采样图像进行重建,可以得到高分辨率图像,因此可以保证较高的空间分辨率。通过上述方案解决了现有磁共振扫描在扫描矩阵选定后,增大FOV会导致图像空间分辨率降低的问题,在保证了大视野扫描成像的前提下,利用深度学习方法能在较短时间内重建出高分辨图像。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的磁共振扫描图像重建方法一种实施例的方法流程图;
图2是本申请提供的残差块的示意图;
图3是本申请提供的成像装置一种实施例的模型结构示意图;
图4是本申请提供的网络模型训练和测试的流程示意图;
图5是本申请提供的深度学习重建网络的网络模型图;
图6是本申请提供的终端设备的架构示意图;
图7是本申请提供的磁共振扫描图像重建装置一种实施例的模块结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
考虑到对于现有的磁共振成像而言,如果希望实现大视野磁共振成像,就需要耗费很长的扫描时间,且分辨率比较低。如果仅采用欠采样的方式,虽然扫描时间会缩短,但是图像的分辨率会很低。为此,在本例中,考虑到如果可以基于欠采样的磁共振图像恢复出全采样的图像,那么图像的分辨率将会有很大的提升,且所需要的扫描时间也会降低。
基于此,在本例中考虑到可以结合深度神经网络模型,生成可以由欠采样图像转换为全采样图像的网络模型,这样,只需要提供欠采样的磁共振图像,就可以得到分辨率较高的全采样磁共振图像,从而可以在减少扫描时间的情况下,使得图像可以满足精度的需求。
图1是本申请所述一种基于深度学习的大视野磁共振扫描图像重建方法一个实施例的方法流程图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤或装置结构,但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中,这些步骤的执行顺序或装置的模块结构不限于本申请实施例描述及附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时,可以按照实施例或者附图所示的方法或模块结构连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境,甚至分布式处理环境)。
如图1所示,该基于深度学习的大视野磁共振扫描图像重建方法,可以包括如下步骤:
步骤101:获取大视野磁共振扫描图像,其中,所述磁共振扫描图像为欠采样的扫描图像;
其中,该大视野磁共振扫描图像,可以是磁共振扫描仪对目标物进行欠采样扫描得到的图像,例如,可以是对目标物的头颈进行扫描得到的图像。具体的,可以是对目标物的头颈进行一体化欠采样扫描所得到的大视野头颈一体化欠采样图像。
然而,值得注意的是,上述所列举的头颈图像仅是一种示例性描述,在实际实现的时候,还可以是目标物其它部位的磁共振头像,例如:膝盖等等。具体是哪些部位的头像可以根据实际的分析需求确定,本申请对此不作限定。
对于上述的欠采样图像,可以是采用预设的欠采因子进行扫描得到的,具体在实现的时候,欠采因子的大小可以根据深度神经网络模型的精度,以及所需图像的精度确定和选择,本申请对欠采因子的数值不作具体限定。
步骤102:将所述磁共振扫描图像输入预先构建的深度神经网络模型中;
其中,该深度神经网络模型可以是按照如下步骤构建的:
S1:获取全采样样本图像;
S2:对所述全采样样本图像进行欠采样处理,得到欠采样样本图像;
S3:将所述欠采样样本图像作为训练样本,将所述全采样样本图像作为标签,对预先建立的神经网络进行训练,得到所述深度神经网络模型。
即,在训练以得到深度神经网络模型的时候,选择的训练样本是对全采样样本图像进行欠采样处理后的图像,建立的标签是以全采样样本图像建立的。最终形成的训练样本,标识了哪些欠采样样本应该对应哪些全采样图像。基于这种训练得到的深度神经网络模型,在输入欠采样图像之后,就可以得到欠采样图像对应的高分辨率图像,该高分辨率图像就是接近全采样图像的图像,这些高分辨率图像就可以满足实际的应用需求。
其中,上述训练样本所基于的全采样图像,可以是通过低倍欠采因子从磁共振扫描仪采集图像;然后,对采集的图像进行预处理,其中,所述预处理可以包括但不限于以下至少之一:选图处理、归一化处理;将预处理后的图像作为所述全采样图像。其中,上述选图处理是去除一些质量不高或者未包含较多可用信息的图像,归一化处理是为了使得数据可以适应网络的统一输入,并消除奇异样本数据导致的不良影响,从而使得得到的图像数据可以适合进行深度神经网络模型的训练。
步骤103:通过所述深度神经网络模型,对所述磁共振扫描图像进行重建,得到所述欠采样的扫描图像对应的高分辨率图像。
在上例中,通过预先构建的深度神经网络模型的欠采样的磁共振扫描图像进行重建,从而得到欠采样的扫描图像对应的高分辨率图像。因为获取的是欠采样图像,因此可以减少扫描时间实现大视野扫描的需求,同时通过深度神经网络模型可以对欠采样图像进行重建,可以得到近似全采样图像的高分辨率图像,因此可以保证较高的空间分辨率。通过上述方案解决了现有磁共振扫描在扫描矩阵选定后,增大FOV会导致图像空间分辨率降低的问题,在保证了大视野扫描成像的前提下,利用深度学习方法能在较短时间内重建出高分辨图像。
上述磁共振扫描图像重建方法可以但不限于用于在对磁共振图像的处理之上。例如,对于对人体进行检测的磁共振扫描仪,可以得到欠采样的磁共振图像,将这些欠采样的磁共振图像通过上述深度神经网络进行重建,便可以得到重建后的全采样的图像,图像的分辨率更高。
考虑到对于深度神经网络而言,不同的深度神经网络训练得到的结果进行图像处理的精度和效果是完全不同的。在本例中,考虑到可以采用残差网络作为深度神经网络。具体的,该预先建立的神经网络,可以包括:N个第一残差块、M个第二残差块,其中,第一残差块中包括多个卷积层,第二残差块中包括多个第一残差块,其中,N和M为正整数。
例如,上述N可以取值为5,M可以取值为1,一个第一残差块中可以包括两个卷积层。然而,值得注意的上,上述所列举的N和M的数值仅是一种示例性描述,所列举的一个第一残差块中可以包括的卷积层的数量也仅是一种示例性描述,在实际实现的时候,可以采用其它的数值,本申请对此不作限定。不过,对于N可以取值为5,M可以取值为1值而言,是考虑到系统的负荷情况和图像的精度需求两者结合后,所确定的数值,相对而言,N取值为5,M取值为1是较好的选择。
为了更好地理解本申请,下面对残差、残差网络和残差块说明如下:
残差:在数理统计中是指实际观察值与估计值(拟合值)之间的差。假设我们需要找一个x,使得f(x)=b,给定一个x的估计值x0,那么残差就是b-f(x0),同时,误差就是x-x0。这样即使x的取值不知道,仍然可以计算残差。
残差网络:在神经网络的层数达到一定数量的情况下,随着神经网络层数的增多,训练集上的效果会变差,因为随着神经网络的深度越来越深,训练变得原来越难,网络的优化变得越来越难,过深的神经网络会产生退化问题,效果反而不如相对较浅的网络。残差网络就是为了解决这个问题,残差网络越深,训练集上的效果会越好。残差网络是在几个卷积层上构建出一个恒等映射的层,即,输出等于输入的层,从而构建得到更深的网络。具体的,是通过加入shortcut connections(快捷连接),使得神经网络变得更加容易被优化。
残差块:如图2所示,对于包含有一个快捷连接的几层网络,被称为一个残差块(residualblock)。
下面结合一个具体实施例对上述方法进行说明,然而,值得注意的是,该具体实施例仅是为了更好地说明本申请,并不构成对本申请的不当限定。
在本例中,通过多开发磁共振多通道、高维、多模态的先验信息,基于深度学习算法,进一步提升血管壁磁共振扫描的视野,以实现快速高精度的大视野头颈一体化成像,从而为脑卒中疾病的早期预防提供有力的技术支撑。即,针对现有的磁共振血管壁成像中扫描范围不足的问题,通过深度学习技术提高头颈磁共振血管壁成像的视野(Field ofView,简称为FOV),在高分辨率成像的前提下,保证在较短时间内获取足够大的视野的头颈一体化血管壁图像。
具体的,可以包括如下步骤:
S1:收集头颈一体化磁共振多模态数据;
S2:对头颈一体化磁共振数据进行预处理;
S3:构造深度学习重建网络;
S4:在线测试血管壁大视野磁共振图像。
在本例中提供了一种成像装置,如图3所示,可以包括:数据采集模块、数据预处理模块、网络训练与优化模块、测试模块及应用模块,下面对这几个模块说明如下:
1)数据采集模块,用于利用已有的头颈联合线圈,从磁共振扫描仪上直接采集头颈部的血管壁图像数据,在采集的过程中,通过尽可能低倍欠采因子进行采集,从而保证原始图像的高分辨率。
2)数据预处理模块,对采集得到的数据进行选图、归一化处理。其中,选图是去除一些质量不高或者未包含较多可用信息的图像,归一化处理是为了使得数据可以适应网络的统一输入,并消除奇异样本数据导致的不良影响,从而使得数据可以适合进行综合对比评价。
3)网络训练与优化模块,用于网络训练平台的搭建、深度学习重建网络的构建、网络训练及调参优化。
4)测试模块,用于将未参与学习的头颈部磁共振血管壁图像进行在线测试,以验证所训练好的重建网络的泛化能力。
5)应用模块,用于将调好的网络模型作为新型算法在临床上进行成像应用。
即,在具体技术实现的时候,可以如图4所示,包括:训练和测试两部分,其中,训练部分可以包含:
A:制作数据输入样本和标签制作;
输入的样本为大视野欠采样图像,其中,该输入样本可以是通过全采样样本进行欠采处理后得到的图像。在标签制作的过程中,可以是通过全采样样本图像制作标签,这些全采样样本图像也是大视野图像。
B:通过设计好的深度学习重建网络对样本进行训练;
即,通过上述的输入样本对该深度学习重建网络进行训练,以便得到能够从欠采样图像恢复出全采样图像的深度学习重建网络。
C:测试部分是利用已训练好的深度学习重建网络模型对未参与学习的数据进行在线重构,验证深度学习重建网络模型的实际泛化效果。
在测试过程中,可以是将上述的样本图像一部分作为训练所用的图像,一部分作为测试所用的图像。在训练完成之后,可以基于测试所用的图像对训练得到的深度神经网络模型进行测试,以确定深度神经网络模型的重建的准确度,如果准确度未达到预设阈值,那么可以重新获取训练样本进行训练,或者是调整模型的结构,或者是模型各层的参数值等等,直至训练得到的深度神经网络模型可以达到预设阈值,即,可以完成图像重建的精度需求。
D:在训练并测试完成之后所得到的深度神经网络模型可以在临床上进行头颈部磁共振血管壁图像的重建,所重建的高质量血管壁图像可以用在临床上。
具体的,本例所设计的深度学习重建网络可以如图5所示,在该深度学习重建网络中利用残差块对欠采样输入图像进行重建训练,该深度学习重建网络中可以包括:6个残差块(残差块1、残差块2、残差块3、残差块4、残差块5和残差块6)和12个卷积层。其中,网络中的残差块1至残差块5与经典的残差块保持一致,即,两个卷积层组成,卷积层之后是ReLU激活函数。对于残差块6而言,第一个卷积层到第二个卷积层之间不是简单的直接输入,而是经过残差块1至残差块5之后输入到第二个卷积层。通过这种残差块的设计方式,使得最终输出的预测图像与原始标签图像进行求误差并反向传播对参数进行迭代更新,从而得到所需要的重建模型。在该深度神经网络模型中采用多路径模式的局部残差学习(残差块1至残差块5)与全局残差学习(残差块6),可以有效提取输入图像的特征,学习到输入欠采样图像与输出全采样标签之间的特征映射关系,从而在线上重建过程中能对扫描的欠采样大视野磁共振血管壁图像进行快速地高分辨的重建。
在上例中,提出了深度学习的血管壁磁共振大视野成像方法,既保证了成像结果的高分辨率,也能加快成像速度,值得注意的是,上述所提出的深度学习重建网络不仅可以用于头颈一体化血管壁的快速重建,还可以用于其它的具有大视野成像需求的场景,即,利用深度学习技术提升血管壁磁共振成像的视野,从而获得更大范围的扫描区域。也就是说,通过上述的深度神经网络模型,在提高重建图像的精度、缩短成像时间的同时,可以获得更大范围的扫描视野。
本申请上述实施例所提供的方法实施例可以在终端设备、计算机终端或者类似的运算装置中执行。以运行在终端设备上为例,图6是本发明实施例的一种基于深度学习的大视野磁共振扫描图像重建方法的终端设备的硬件结构框图。如图6所示,计算机终端10可以包括一个或多个(图中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。本领域普通技术人员可以理解,图6所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图6中所示更多或者更少的组件,或者具有与图6所示不同的配置。
存储器104可用于存储应用软件的软件程序以及模块,如本发明实施例中的基于深度学习的大视野磁共振扫描图像重建方法对应的程序指令/模块,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的基于深度学习的大视野磁共振扫描图像重建方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输模块106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输模块106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输模块106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
在软件层面,上述基于深度学习的大视野磁共振扫描图像重建装置可以如图7所示,包括:
获取模块701,用于获取大视野磁共振扫描图像,其中,所述磁共振扫描图像为欠采样的扫描图像;
输入模块702,用于将所述磁共振扫描图像输入预先构建的深度神经网络模型中;
重建模块703,用于通过所述深度神经网络模型,对所述磁共振扫描图像进行重建,得到所述欠采样的扫描图像对应的高分辨率图像。
在一个实施方式中,上述装置还可以包括:构建模块,用于按照如下方式构建所述深度神经网络模型:获取全采样样本图像;对所述全采样样本图像进行欠采样处理,得到欠采样样本图像;将所述欠采样样本图像作为训练样本,将所述全采样样本图像作为标签,对预先建立的神经网络进行训练,得到所述深度神经网络模型。
在一个实施方式中,上述构建模块具体可以用于通过低倍欠采因子从磁共振扫描仪采集图像;对采集的图像进行预处理,其中,所述预处理包括以下至少之一:选图处理、归一化处理;将预处理后的图像作为所述全采样图像。
在一个实施方式中,所述预先建立的神经网络,包括:N个第一残差块、M个第二残差块,其中,第一残差块中包括多个卷积层,第二残差块中包括多个第一残差块,其中,N和M为正整数。多个残差块,
在一个实施方式中,N为5,M为1。
在一个实施方式中,所述磁共振扫描图像可以是大视野头颈一体化欠采样图像。
在上例中,本申请提供的磁共振扫描图像重建方法和装置,通过预先构建的深度神经网络模型的欠采样的磁共振扫描图像进行重建,从而得到欠采样的扫描图像对应的全采样图像。因为获取的是欠采样图像,因此可以减少扫描时间实现大视野扫描的需求,同时通过深度神经网络模型可以对欠采样图像进行重建,可以得到近似于全采样图像的高分辨率的图像,因此可以保证较高的空间分辨率。通过上述方案解决了现有磁共振扫描在扫描矩阵选定后,增大FOV会导致图像空间分辨率降低的问题,在保证了大视野扫描成像的前提下,利用深度学习方法能在较短时间内重建出高分辨图像。
虽然本申请提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或客户端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
上述实施例阐明的装置或模块,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。为了描述的方便,描述以上装置时以功能分为各种模块分别描述。在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。当然,也可以将实现某功能的模块由多个子模块或子单元组合实现。
本申请中所述的方法、装置或模块可以以计算机可读程序代码方式实现控制器按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本申请所述装置中的部分模块可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的硬件的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,也可以通过数据迁移的实施过程中体现出来。该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,移动终端,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。本申请的全部或者部分可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、移动通信终端、多处理器系统、基于微处理器的系统、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
虽然通过实施例描绘了本申请,本领域普通技术人员知道,本申请有许多变形和变化而不脱离本申请的精神,希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。

Claims (5)

1.一种基于深度学习的大视野磁共振扫描图像重建方法,其特征在于,所述方法包括:
获取大视野磁共振扫描图像,其中,所述磁共振扫描图像为欠采样的扫描图像;
将所述磁共振扫描图像输入预先构建的深度神经网络模型中;
通过所述深度神经网络模型,对所述磁共振扫描图像进行重建,得到所述欠采样的扫描图像对应的高分辨率图像;
其中,所述神经网络模型包括N个第一残差块和M个第二残差块,每个第一残差块包含多层卷积层,每个第二残差块包含第一卷积层和第二卷积层,并且第一卷积层的输出经由所述N个第一残差块后,传递至第二卷积层,N和M为正整数;
其中,按照如下方式构建所述深度神经网络模型:
获取全采样样本图像;
对所述全采样样本图像进行欠采样处理,得到欠采样样本图像;
将所述欠采样样本图像作为训练样本,将所述全采样样本图像作为标签,对预先建立的神经网络进行训练,得到所述深度神经网络模型;
其中,获取全采样图像包括:
通过低倍欠采因子从磁共振扫描仪采集图像;
对采集的图像进行预处理,其中,所述预处理包括以下至少之一:选图处理、归一化处理;
将预处理后的图像作为所述全采样图像;
其中,所述磁共振扫描图像为大视野头颈一体化欠采样图像。
2.根据权利要求1所述的方法,其特征在于,N为5,M为1。
3.一种基于深度学习的大视野磁共振扫描图像重建装置,其特征在于,包括:
获取模块,用于获取大视野磁共振扫描图像,其中,所述磁共振扫描图像为欠采样的扫描图像;
输入模块,用于将所述磁共振扫描图像输入预先构建的深度神经网络模型中;
重建模块,用于通过所述深度神经网络模型,对所述磁共振扫描图像进行重建,得到所述欠采样的扫描图像对应的高分辨率图像;
其中,所述神经网络模型包括N个第一残差块和M个第二残差块,每个第一残差块包含多层卷积层,每个第二残差块包含第一卷积层和第二卷积层,并且第一卷积层的输出经由所述N个第一残差块后,传递至第二卷积层,N和M为正整数;
其中,还包括:
构建模块,用于按照如下方式构建所述深度神经网络模型:获取全采样样本图像;对所述全采样样本图像进行欠采样处理,得到欠采样样本图像;将所述欠采样样本图像作为训练样本,将所述全采样样本图像作为标签,对预先建立的神经网络进行训练,得到所述深度神经网络模型;
其中,获取全采样图像包括:
通过低倍欠采因子从磁共振扫描仪采集图像;
对采集的图像进行预处理,其中,所述预处理包括以下至少之一:选图处理、归一化处理;
将预处理后的图像作为所述全采样图像;
其中,所述磁共振扫描图像为大视野头颈一体化欠采样图像。
4.一种终端设备,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现权利要求1至2中任一项所述方法的步骤。
5.一种计算机可读存储介质,其上存储有计算机指令,所述指令被执行时实现权利要求1至2中任一项所述方法的步骤。
CN201811526898.0A 2018-12-13 2018-12-13 基于深度学习的大视野磁共振扫描图像重建方法和装置 Active CN109712208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811526898.0A CN109712208B (zh) 2018-12-13 2018-12-13 基于深度学习的大视野磁共振扫描图像重建方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811526898.0A CN109712208B (zh) 2018-12-13 2018-12-13 基于深度学习的大视野磁共振扫描图像重建方法和装置

Publications (2)

Publication Number Publication Date
CN109712208A CN109712208A (zh) 2019-05-03
CN109712208B true CN109712208B (zh) 2023-01-24

Family

ID=66256411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811526898.0A Active CN109712208B (zh) 2018-12-13 2018-12-13 基于深度学习的大视野磁共振扫描图像重建方法和装置

Country Status (1)

Country Link
CN (1) CN109712208B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110176047B (zh) * 2019-06-03 2022-12-06 上海联影医疗科技股份有限公司 一种提高ct图像质量的方法和系统
CN110827369B (zh) * 2019-10-31 2023-09-26 上海联影智能医疗科技有限公司 欠采样模型生成方法、图像重建方法、设备和存储介质
US11568584B2 (en) 2019-08-26 2023-01-31 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for magnetic resonance imaging
CN110728732A (zh) * 2019-10-12 2020-01-24 深圳先进技术研究院 一种图像重建方法、装置、设备及介质
CN110992440B (zh) * 2019-12-10 2023-04-21 中国科学院深圳先进技术研究院 弱监督磁共振快速成像方法和装置
WO2021119875A1 (zh) * 2019-12-15 2021-06-24 中国科学院深圳先进技术研究院 基于神经网络结构搜索的磁共振快速成像方法和装置
CN111157935B (zh) * 2019-12-31 2022-04-26 上海联影智能医疗科技有限公司 磁共振成像方法、装置、存储介质及计算机设备
CN111210484B (zh) 2019-12-31 2024-04-19 上海联影智能医疗科技有限公司 医学图像生成方法、模型训练方法、装置及介质
US20230055826A1 (en) * 2020-02-04 2023-02-23 The University Of Hong Kong Systems and methods for magnetic resonance image reconstruction from incomplete k-space data
CN111358430B (zh) * 2020-02-24 2021-03-09 深圳先进技术研究院 一种磁共振成像模型的训练方法及装置
WO2021184350A1 (zh) * 2020-03-20 2021-09-23 中国科学院深圳先进技术研究院 一种基于神经网络的网格化磁共振图像重建方法和装置
CN114167334B (zh) * 2020-09-11 2023-08-15 上海联影医疗科技股份有限公司 磁共振图像的重建方法、装置及电子设备
CN112426143B (zh) * 2020-11-16 2021-07-23 清华大学 一种肾动脉及腹主动脉一站式无创磁共振血管壁成像系统
CN113256749B (zh) * 2021-04-20 2022-12-06 南昌大学 一种基于高维相关性先验信息的快速磁共振成像重建算法
CN113359077A (zh) * 2021-06-08 2021-09-07 苏州深透智能科技有限公司 一种磁共振成像方法及相关设备
CN116342722A (zh) * 2021-12-21 2023-06-27 中国科学院深圳先进技术研究院 细节保真多尺度深度学习磁共振动态图像重建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9958521B2 (en) * 2015-07-07 2018-05-01 Q Bio, Inc. Field-invariant quantitative magnetic-resonance signatures
WO2017113205A1 (zh) * 2015-12-30 2017-07-06 中国科学院深圳先进技术研究院 一种基于深度卷积神经网络的快速磁共振成像方法及装置
CN106970343B (zh) * 2017-04-11 2019-12-27 深圳先进技术研究院 一种磁共振成像方法及装置

Also Published As

Publication number Publication date
CN109712208A (zh) 2019-05-03

Similar Documents

Publication Publication Date Title
CN109712208B (zh) 基于深度学习的大视野磁共振扫描图像重建方法和装置
Otazo et al. Low‐rank plus sparse matrix decomposition for accelerated dynamic MRI with separation of background and dynamic components
CN107137107B (zh) 多模态医学图像获取方法及多模态医学图像成像系统
US11250543B2 (en) Medical imaging using neural networks
US11756191B2 (en) Method and apparatus for magnetic resonance imaging and plaque recognition
Favila et al. Perception and memory have distinct spatial tuning properties in human visual cortex
Sarasaen et al. Fine-tuning deep learning model parameters for improved super-resolution of dynamic MRI with prior-knowledge
CN111383741A (zh) 医学成像模型的建立方法、装置、设备及存储介质
CN114167334B (zh) 磁共振图像的重建方法、装置及电子设备
Upadhyay et al. Uncertainty-aware gan with adaptive loss for robust mri image enhancement
CN111210484B (zh) 医学图像生成方法、模型训练方法、装置及介质
CN112037298A (zh) 图像重建方法、装置、计算机设备和存储介质
CN113534031A (zh) 图像域数据生成方法、计算机设备和可读存储介质
CN110244249B (zh) 磁共振扫描方法、装置、医学扫描设备和存储介质
CN111681297B (zh) 图像重建方法、计算机设备和存储介质
Peng et al. Incorporating reference in parallel imaging and compressed sensing
US20210166384A1 (en) System, method and computer-accessible medium for tissue fingerprinting
Li et al. 3D high-quality magnetic resonance image restoration in clinics using deep learning
WO2020118617A1 (zh) 基于深度学习的大视野磁共振扫描图像重建方法和装置
CN114494014A (zh) 一种磁共振图像超分辨率重建方法及装置
WO2020118616A1 (zh) 一种基于深度先验学习的头颈联合成像方法和装置
CN111009020A (zh) 图像重建方法、装置、计算机设备和存储介质
Luu et al. SIMPLEX: Multiple phase-cycled bSSFP quantitative magnetization transfer imaging with physic-guided simulation learning of neural network
CN117333571B (zh) 磁共振图像的重建方法、系统、设备及介质
CN112890798B (zh) 神经网络训练方法、磁共振成像方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant