CN108629816A - 基于深度学习进行薄层磁共振图像重建的方法 - Google Patents
基于深度学习进行薄层磁共振图像重建的方法 Download PDFInfo
- Publication number
- CN108629816A CN108629816A CN201810435306.8A CN201810435306A CN108629816A CN 108629816 A CN108629816 A CN 108629816A CN 201810435306 A CN201810435306 A CN 201810435306A CN 108629816 A CN108629816 A CN 108629816A
- Authority
- CN
- China
- Prior art keywords
- convolution
- magnetic resonance
- network
- image
- resonance image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于深度学习进行薄层磁共振图像重建的方法。其具体步骤如下:1)在脑部的轴向面和矢状面采集厚层磁共振图像;2)将厚层磁共振图像进行配准和归一化预处理;3)利用配对的配准后厚层磁共振图像训练基于3D U‑net的图像融合网络,生成薄层磁共振图像初步重建结果;4)利用薄层磁共振图像初步重建结果和对应的矢状厚层磁共振图像训练细节重建网络,获得最终重建结果。在青少年脑部磁共振图像的数据集中,本发明方法可以提供更好的薄层磁共振图像重建结果,重建的磁共振图像可以更好地显示脑部的结构和细节,并且可以大大提高磁共振图像中灰质、白质和全部脑容积的估计准确率。
Description
技术领域
本发明属于计算机医学图像处理技术领域,具体涉及一种基于深度学习进行薄层磁共振图像重建的方法。
背景技术
诸如磁共振成像和电子计算机断层扫描(Computed Tomography,CT)等医学成像技术可以产生人体横截面的断层图像,在成像过程中成像仪器会等间隔地对一定厚度的人体结构进行采样,并利用采集得到的成像信号重建人体部位的三维体积图像。切片之间的间隔是磁共振成像的关键成像参数,比如厚层磁共振图像,也可称为常规磁共振图像,常采用5mm至8mm的切片厚度。厚层磁共振图像常用于疾病的筛查和初步诊断,不能用于精确描述脑部结构和脑功能,或用于手术规划和指导,因为其切片采样间隔中包含的许多临床信息丢失了[1]。通常薄层磁共振图像的截面厚度不超过2mm,其可以在轴向面和矢状面均保持高分辨率,从而生成更精确和可靠的影像信息。因此,为了获得准确和可靠的分析结果,大多数基于磁共振的临床研究都是基于薄层磁共振图像的[2]。例如,在脑胶质瘤的诊疗中,虽然脑胶质瘤患者通常在常规磁共振检查中已经获得厚度为6mm的头部磁共振图像,但是在进行手术前其必须再次获得厚度为2mm的术前导航磁共振图像以获得更精确的脑部结构信息[3]。出于成像成本和机器损耗等原因,临床上的常规磁共振扫描很常见,而相对来说,只在固定场合才使用到薄层磁共振扫描[4]。虽然常规磁共振影像数据庞大,但这些图像不能用于脑胶质瘤的进一步精准诊断和脑结构分析[5]。此外,临床影像数据往往同时存在多种层厚的磁共振图像,利用不同层厚的磁共振影像进行深度数据挖掘会由于信息量差异而造成分析误差。因此,利用厚层磁共振图像重建薄层磁共振图像至关重要,因为它不仅可以大幅增加可用于深层临床信息挖掘的影像数量,还可以对不同扫描层厚的影像进行规范化。
在实际应用中,薄层磁共振图像的重建是一个很复杂的问题。首先,常规磁共振图像与薄层磁共振图像不仅采用切片间隔不同,而且磁共振成像参数往往也不相同[6]。其次,虽然磁共振图像可以被对齐到一个标准化的空间,但成对的磁共振图像很难实现体素到体素的配准。因此,薄层磁共振图像重建会包含图像配准与图像重建的复杂过程。
发明内容
为了克服现有技术的不足,本发明目的在于提供一种基于深度学习进行薄层磁共振图像重建的方法,该方法能有效提升厚层磁共振图像信息量,具有更好的薄层磁共振图像重建结果,重建的磁共振图像可以更好地显示脑部的结构和细节,提高磁共振图像中灰质、白质和全部脑容积的估计准确率。
本发明的技术方案具体介绍如下。
本发明提供一种基于深度学习进行薄层磁共振图像重建的方法,具体步骤如下:
1)在脑部的轴向面和矢状面采集厚层磁共振图像;
2)将采集的厚层磁共振图像进行配准和归一化预处理;
3)利用配对的配准后厚层磁共振图像训练具有深层架构的基于3D U-net的图像融合网络,以融合不同平面上的厚层磁共振图像并且校正配对图像之间的误差,生成薄层磁共振图像初步重建结果;其中:所述图像融合网络由一个用于稳健的上下文捕获的聚焦路径和一个用于精确定位的对称扩展路径组成;图像融合网络包括核大小为3×3×3的三维卷积块、核大小为3×3×3以及步长为2×2×2的三维最大池化、连结、核大小为2×2×2的三维卷积转置和核大小为3×3×3的线性卷积块;在图像融合网络的聚焦路径中,轴向面和矢状面的厚层磁共振图像在同一个尺度上并联在一起,并依次通过具有32个滤波器的三维卷积块、三维最大池化、具有64个滤波器的三维卷积快、三维最大池化、具有128个滤波器的三维卷积块和三维最大池化;在图像融合网络的扩展路径中,聚焦路径的最终输出依次通过具有256个滤波器的三维卷积块,具有256个滤波器的三维卷积转置,具有128个滤波器的三维卷积块,具有128个滤波器的三维卷积转置,具有64个滤波器的三维卷积块,具有64个滤波器的三维卷积转置,具有32个滤波器的三维卷积块和具有1个滤波器的三维卷积;聚焦路径中三组三维卷积块的输出和扩展路径中尺度相同的三组三维卷积转置输出通过连结进行并联;
4)利用由步骤3)获得的薄层磁共振图像初步重建结果和对应的矢状厚层磁共振图像训练细节重建网络,获得最终的薄层磁共振图像重建结果;其中:所述细节重建网络呈编码-解码架构,由一个全卷积网络和一个卷积长短记忆网络LSTM模块构建,所述细节重建网络包括具有核大小为3×3的卷积快,核大小为3×3以及时间长度为2的卷积LSTM,核大小为4×4以及步长为2的卷积转置和跳跃连接;在细节重建网络的编码结构中,初步重建结果和高分辨率的矢状面厚层磁共振图像并联在一起,并依次通过具有32个滤波器并且步长为1的卷积块,具有64个滤波器并且步长为2的卷积块,具有64个滤波器并且步长为1的卷积块,具有128个滤波器并且步长为2的卷积块;编码结构的输出输入到具有128个滤波器的卷积LSTM,并且两个对应于同一层初步重建结果的高分辨率矢状厚层磁共振图像的输出结果被设置为循环紧邻结构,在细节重建网络的解码结构中,卷积LSTM的输出依次通过具有128个滤波器并且步长为1的卷积块,具有64个滤波器的卷积转置,具有64个滤波器的并且步长为1的卷积块,具有32个滤波器的卷积转置和具有1个滤波器的并且步长为1的卷积块;原图像和编码结构与解码结构中三组尺度相同的卷积块输出通过跳跃连接加性相连。
本发明中,步骤2)中,将厚层磁共振图像配准到蒙特利尔神经病学研究所MNI的标准脑图集上。
本发明中,步骤3)中,三维卷积块由连续的两组具有批归一化BN层和修正线性单元ReLU层的卷积层组成。
本发明中,步骤3)中,利用大小为64×64×64像素的三维磁共振图像小块训练图像融合网络,训练使用Adam优化方法。
本发明中,步骤4)中,卷积块由连续的具有BN层和ReLU层的卷积层组成。
本发明中,步骤4)中,训练细节重建网络时,细节重建网络以循环方式利用,全尺寸的薄层磁共振图像初步重建结果和对应的矢状厚层磁共振图像直接输入到细节重建网络中,并且切片按顺序连续地输入到细节重建网络中。
本发明中,步骤4)中,采用利用端对端的方式训练细节重建网络,使用Adam优化方法训练细节重建网络。
本发明中,步骤4)中,细节重建网络表示如下:
其中IH′是图像融合网络生成的初始结果,是第i个具有两倍切片数的矢状面厚层磁共振图像,代表没有循环结构的细节重建网络的运算,FD代表解码路径的运算,也就是卷积LSTM模块之后的网络部分,input是通道中网络的输入,而input↑′是input双线性插值结果,是利用初步结果和运算得到的卷积LSTM的输出,ht为卷积LSTM的隐藏层,ConvLSTM是卷积LSTM模块的运算,是编码路径的运算,也就是卷积LSTM模块之前的网络部分,而FE代表编码路径的运算。
本发明中,卷积LSTM模块是状态输入为卷积而不是乘法的LSTM单元,其中包括遗忘门、输入门、细胞状态、输出门和隐藏状态,卷积LSTM模块的运算公式如下:
ft=σ(Wf*[ht-1,xt]+bf) (5)
it=σ(Wi*[ht-1,xt]+bi) (6)
ot=σ(Wo*[ht-1,xt]+bo) (9)
在上述公式中,代表矩阵乘法,“*”代表线性卷积运算,ft,it,Cellt和ot分别是遗忘门、输入门、细胞状态和输出门,σ是sigmoid运算,Wf,Wi,WC和Wo以及bf,bi,bC和bo分别是遗忘门、输入门、细胞状态以及输出门的卷积核权重和偏置,而xt是输入图像。
和现有技术相比,本发明的有益效果在于:在青少年脑部磁共振图像的数据集中,本发明方法可以提供更好的薄层磁共振图像重建结果,重建的磁共振图像可以更好地显示脑部的结构和细节,并且可以将磁共振图像中灰质、白质和全部脑容积的估计准确率分别从0.85,0.96和0.91提升到0.92,0.99和0.91。
附图说明
图1是本发明的DeepVolume方法的框架图。
图2是本发明的基于3D U-net进行开发的图像融合网络的结构图。
图3是本发明的包含了编码网络和解码网络细节重建网络的结构图。
图4是本发明的细节重建网络的循环结构图。
图5是卷积长短记忆网络的内部结构。
图6是实施例1中DeepVolume和四种对比方法的重建结果以及对应的薄层和厚层磁共振图像。
图7是实施例1从薄层图像和重建结果中获得的灰质容积、白质容积和全部脑容积散点图。
图8是实施例1中从重建结果和薄层磁共振图像中获得灰质容积、白质容积和全部脑容积Bland-Altman图。
具体实施方式
下面结合附图和实施例对本发明的技术方案进行详细阐述。
实施例1
实施例中提出一种基于深度学习进行薄层磁共振图像重建的方法,该方法用DeepVolume表示,如图1所示,具体步骤如下。
1)在脑部的轴向面和矢状面采集厚层磁共振图像;
采集厚层磁共振图像时,厚层轴向面磁共振图像脉冲序列为T1flair,成像平面为轴向面,切片厚度和层间距之和为6.5mm,切片数为19,像素宽度为0.47×0.47mm,重复时间为2291ms,回波时间为25mm,反转时间为750ms。厚层矢状面磁共振图像脉冲序列为T1flair,成像平面为轴向面,切片厚度和层间距之和为6.5mm,切片数为19,像素宽度为0.47×0.47mm,重复时间为1450ms,回波时间为25mm,反转时间为628ms。
2)将采集的厚层磁共振图像进行配准和归一化预处理;
在预处理阶段,我们首先将所有磁共振图像配准到蒙特利尔神经病学研究所(Montreal Neurological Institute,MNI)的标准脑图集上,配准的体素尺寸大小为0.5×0.5×1mm。此外,为了更好地利用矢状面中的高分辨率信息,我们将矢状面厚层磁共振图像额外配准到体素尺寸大小为0.5×0.5×0.5mm的MNI的标准脑图集上。在磁共振图像在标准化空间中对齐之后,我们在每个通道分别对图像的灰度值进行归一化。灰度值归一化过程遵循三个步骤:首先,去除每幅磁共振图像最高和最低2.5%的灰度值以避免没必要的误差干扰;其次,我们对每幅磁共振图像的灰度值范围进行归一化到0至255,以方便重建结果进行8比特整数下的评估。最后,为了准备输入到CNN,我们将每一个通道中的图像数据进行标准化,将图像灰度值再次归一化到0到1的范围内,并且分别减去和除以每个通道的平均值和标准偏差。还有另一个问题就是厚层磁共振图像的成像区域总是略小于薄层磁共振图像的成像区域,比如轴向面厚层磁共振图像在矢状面边缘上有很多的空白区域。为了使厚层磁共振图像在各个方向上更为完整,我们提前使用一个平面上的厚层磁共振图像对另一个平面上的厚层磁共振图像进行了填充。
3)利用配对的配准后厚层磁共振图像训练具有深层架构的基于3D U-net的图像融合网络,以融合不同平面上的厚层磁共振图像并且校正配对图像之间的误差,生成薄层磁共振图像初步重建结果;
如图2所示,图像融合网络可以生成薄层磁共振图像,图像融合网络由一系列包括三维卷积块、三维最大池化、连结、三维卷积转置和三维卷积等模块构成。在图像融合网络的聚焦路径中,两个方向的薄层磁共振图像并联起来输入到网络之中,并依次通过具有32个滤波器的三维卷积块、三维最大池化、具有64个滤波器的三维卷积快、三维最大池化、具有128个滤波器的三维卷积块和三维最大池化。在图像融合网络的扩展路径中,聚焦路径的最终输出依次通过具有256个滤波器的三维卷积块,具有256个滤波器的三维卷积转置,具有128个滤波器的三维卷积块,具有128个滤波器的三维卷积转置,具有64个滤波器的三维卷积块,具有64个滤波器的三维卷积转置,具有32个滤波器的三维卷积块和具有1个滤波器的三维卷积。另外,聚焦路径中三组三维卷积块的输出和扩展路径中尺度相同的三组三维卷积转置输出通过连结并联起来。
图像融合网络中的三维卷积块由连续的两组具有批归一化(BatchNormalization,BN)层和修正线性单元(Rectified Linear Unit,ReLU)层的卷积层组成。图像融合网络的网络架构基本上参照一个名为3D U-net的CNN结构,其为用于医学图像分析的最先进的网络架构,近来在许多医学成像研究中取得名列前茅的效果。在图像融合网络中,卷积和卷积转置核的大小分别为3×3×3和2×2×2,最大池化层的步长和内核大小分别为2×2×2和3×3×3。一般来说,3D U-net包括一个用于稳健的上下文捕获的聚焦路径和一个用于精确定位的对称扩展路径。在图像融合网络中,我们用线性卷积块替换原始3D U-net的最后一层,以将图像分割网络转化为图像重建网络。在训练阶段,我们利用大小为64×64×64像素的三维磁共振图像小块来训练图像融合网络。由于最大池化层的存在,三维空间中的感受野可以达到8×8×8像素,这种大的感受野也可以帮助网络从厚层磁共振图像中恢复存在轻微的不匹配的薄层磁共振图像。先聚焦再扩展的网络架构有助于图像融合网络提取厚层磁共振图像的深层特征,同时将这些特征与薄层磁共振图像相关联。因此,图像融合网络可以促进两个平面上厚层磁共振图像的深度融合以构建厚层和薄层磁共振图像之间的映射关系。
4)利用由步骤3)获得的薄层磁共振图像初步重建结果和对应的矢状厚层磁共振图像训练细节重建网络,获得最终的薄层磁共振图像重建结果。
图3简要地展示出细节重建网络的网络结构,细节重建网络由一系列包括卷积块、卷积LSTM、卷积转置和跳跃连接等模块构成。在细节重建网络的编码结构中,初步重建结果和高分辨率的矢状面厚层磁共振图像并联在一起,并依次通过具有32个滤波器并且步长为1的卷积块,具有64个滤波器并且步长为2的卷积块,具有64个滤波器并且步长为1的卷积块,具有128个滤波器并且步长为2的卷积块。编码结构的输出输入到具有128个滤波器的卷积LSTM,并且两个对应于同一层初步重建结果的高分辨率矢状厚层磁共振图像的输出结果被设置为循环紧邻结构。在细节重建网络的解码结构中,卷积LSTM的输出依次通过具有128个滤波器并且步长为1的卷积块,具有64个滤波器的卷积转置,具有64个滤波器的并且步长为1的卷积块,具有32个滤波器的卷积转置和具有1个滤波器的并且步长为1的卷积块。另外,为了让细节重建网络更专注于图像差别的细节,我们将原图像和编码结构与解码结构中三组尺度相同的卷积块输出通过跳跃连接加性相连。
由图可见,在细节重建网络中我们利用编码-解码的网络结构来提取图像细节。在细节重建网络中我们模拟了薄层磁共振图像的成像过程,将轴面上的全尺寸二维磁共振图像连续地输入网络。并且我们以端对端的方式训练这个网络,为其提供了有利于在轴平面中重建图像细节的全局上下文信息。类似地,图中卷积块由连续的具有BN层和ReLU层的卷积层组成。我们将第一层和最后一层的卷积核大小设置为5×5以获得更大的上下文,其余包括卷积LSTM的卷积核大小设置为3×3,转置卷积的步长和核大小是2和4×4。为了充分利用矢状面厚层磁共振图像的矢状高分辨率,矢状面图像被配准到0.5mm的间距的标准空间并且依次输入到网络之中。一般来说,细节重建网络可以表示为:
其中IH′是图像融合网络生成的初始结果,是第i个具有两倍切片数的矢状面厚层磁共振图像。代表没有循环结构的细节重建网络的运算,FD代表解码路径的运算,也就是卷积LSTM模块之后的网络部分。input是通道中网络的输入,而input↑′是input双线性插值结果。是利用初步结果和运算得到的卷积LSTM的输出,而ht为卷积LSTM的隐藏层。ConvLSTM是卷积LSTM模块的运算,具体在后面的公式(5~10)中进行描述。是编码路径的运算,也就是卷积LSTM模块之前的网络部分,而FE代表编码路径的运算。
我们的初步结果的大脑结构已经与薄层磁共振图像非常相似,因此,细节重建网络应该更加合理地利用这些初步结果。我们在细节重建网络中使用了三个跳跃层以保证初步结果在不同深度的重建过程中总是可用的。如式(2)所示,我们跳跃层被定义为求和过程。在细节重建过程中跳跃连接的使用非常有效,因为它们不仅可以保留由图像融合网络所提供的正确大脑结构,还可以帮助网络在递归过程中为初步结果的存储节省空间。
本发明将细节重建网络以循环方式进行利用,如图4所示,对应相同切片的重建结果共享卷积LSTM网络的隐藏层以增强相邻矢状面厚层磁共振图像的相关性。由图可见,细节重建网络的权重被多次使用,同样的滤波器被递归地应用于特征图的计算。我们使用的递归网络结构可以在不增加网络参数的情况下利用非常大的背景信息。
作为细节重建网络的一个关键组成部分,在矢状面具有高分辨率的矢状面厚层图像被连续输入到网络中。相比于初步结果和薄层磁共振图像,矢状面厚层磁共振图像有两倍的切片数量,这种精确的矢状面信息可以帮助细节重建网络在轴向面和矢状面上提供正确和准确的细节。
在细节重建网络的内部,我们内嵌了一个卷积LSTM模块以利用三维信息重现薄层磁共振图像重建结果的细节,图5描述了卷积LSTM的内部结构,在本模型中,临近切片被视作为连续时间的样本,不同切片的信息被紧密相连以纠正初始结果中的细节。
卷积LSTM可以被看作是状态输入为卷积而不是乘法的LSTM单元,其中包括遗忘门、输入门、细胞状态、输出门和隐藏状态。卷积LSTM模块运算的公式如下:
ft=σ(Wf*[ht-1,xt]+bf) (5)
it=σ(Wi*[ht-1,xt]+bi) (6)
ot=σ(Wo*[ht-1,xt]+bo) (9)
在上述公式中,代表矩阵乘法(HadamardProduct),“*”代表线性卷积运算。ft,it,Cellt和ot分别是遗忘门、输入门、细胞状态和输出门,σ是sigmoid运算。Wf,Wi,WC和Wo以及bf,bi,bC和bo分别是遗忘门、输入门、细胞状态以及输出门的卷积核权重和偏置,而xt是输入图像。在重建方法的后处理中,我们使用预处理过程中获得的平均值和标准偏差值将最终的重建结果恢复到真实的灰度级。
实施例中,为了比较由不同方法得到的重建结果,计算重建结果与薄层磁共振图像的平均绝对误差(Mean Absolute Error,MAE)和峰值信噪比(Peak Signal-to-NoiseRatio,PSNR)值作为评价指标,这两个评估指标的计算方式为:
其中N为评价的数据个数,M、J和K分别为磁共振图像的三个维度,IG和IH分别为重建结果及其对应的薄层磁共振图像。由于本研究的目的是预测脑结构和脑容积估计,我们对重建结果的评估仅计算了磁共振图像中的去除颅骨和头皮后的脑部区域。
为了评估利用重建结果的脑容积估计结果的准确率,准确率测量表示为:
其中和分别表示根据重建结果和薄层磁共振图像估计得到的脑容积的平均值。
此外,我们还计算了计算相关系数以找到从重建结果与薄层磁共振图像中获得的脑容积之间的关联,相关系数计算方式为:
其中VR(i)和VThin(i)分别为从第i个重建结果和薄层磁共振图像中估算得到的脑容积,σR和σThin为VR和VThin的标准差。
结果分析
DeepVolume和其他方法获得的重建结果、DeepVolume获得的初步结果以及原始磁共振图像如图6所示,由图可见,DeepVolume可在轴向面和矢状面获得良好的重建结果。以薄层磁共振图像作为金标准,利用各种方法获得重建结果的评估结果总结如表1所示,其他广泛应用的高图像质量重建方法相比,DeepVolume可以生成最接近金标准的重建结果。
实验在具有以下参数的工作站上完成:3.00GHz CPU、Inter Xeon E5-2687W(v4)和Nvidia Titan Xp GPU,DeepVolume的测试运算过程可以在半分钟内完成,具体而言,图像融合网络和细节重建网络都大概需要约14秒进行运算。
以薄层磁共振图像估计得到的脑容积为金标准,各种方法得到的脑容积估计评估结果在表2中进行比较。由统计结果可见,从DeepVolume重建结果中估计得到的灰质容积、白质容积和全部脑容积的估计结果是最准确的,并且与薄层磁共振图像中得到的结果密切相关。为了评估DeepVolume脑容积估计的可靠性,我们基于DeepVolume和其他比较方法获得的结果做了散点图和Bland-Altman图,分别如图7和图8所示。与利用其他广泛使用方法获得的重建图像和利用厚层磁共振图像中得到脑容积估计结果相比,利用DeepVolume获得的重建图像得到的结果更加可靠,并且与薄层磁共振图像的结果更加一致。
在DeepVolume的帮助下,与轴向面磁共振图像相比,一致的灰质区域从86.41%(6640044个体素中的5737807个)扩大到93.96%(6640044个体素中的6239234个),而一致的白质区域从93.38%(4132622个体素中的3858916个)扩大到95.55%(4132622个体素中的3937760个)。对于灰质来说,在尾状核、豆状核和丘脑区域以及大脑边缘周围的区域的误差被很大程度地减少。对于白质来说,豆状核和脑岛区域的误差被很大程度地减少。
表1.不同方法获得的重建结果,评价指标基于重建结果中的脑部区域进行计算
注:各评价指标中的最优结果由粗体标示。
表2.从不同方法中获得脑容积估计结果
注:各评价指标中的最优结果由粗体标示。
参考文献
[1]GERING D T,NABAVI A,KIKINIS R,et al.An integrated visualizationsystem for surgical planning and guidance using image fusion and an open MR[J].Journal of Magnetic Resonance Imaging,2001,13(6):967-975.
[2]SAUR D,SCHELTER B,SCHNELLS,et al.Combining functional andanatomical connectivity reveals brain networks for auditory languagecomprehension[J].Neuroimage,2010,49(4):3187-3197.
[3]SENFT C,BINK A,FRANZ K,et al.Intraoperative MRI guidance andextent of resection in glioma surgery:a randomised,controlled trial[J].LancetOncology,2011,12(11):997-1003.
[4]LU H,NAGAE-POETSCHER LM,GOLAY X,et al.Routine clinical brain MRIsequences for use at 3.0Tesla[J].Journal of Magnetic Resonance Imaging,2005,22(1):13-22.
[5]JOVICICH J,CZANNER S,SALAT D,et al.MRI-derived measurements ofhuman subcortical,ventricular and intracranial brain volumes:reliabilityeffects of scan sessions,acquisition sequences,data analyses,scanner upgrade,scanner vendors and field strengths[J].Neuroimage,2009,22(1):177-192.
[6]BARKHOF F,FILIPPI M,MILLER D H,et al.Comparison of MRI criteria atfirst presentation to predict conversion to clinically definite multiplesclerosis[J].Brain,1997,120(11):2059-2069.
Claims (9)
1.一种基于深度学习进行薄层磁共振图像重建的方法,其特征在于,具体步骤如下:
1)在脑部的轴向面和矢状面采集厚层磁共振图像;
2)将采集的厚层磁共振图像进行配准和归一化预处理;
3)利用配对的配准后厚层磁共振图像训练具有深层架构的基于3D U-net的图像融合网络,以融合不同平面上的厚层磁共振图像并且校正配对图像之间的误差,生成薄层磁共振图像初步重建结果;其中:所述图像融合网络由一个用于稳健的上下文捕获的聚焦路径和一个用于精确定位的对称扩展路径组成;图像融合网络包括核大小为3×3×3的三维卷积块、核大小为3×3×3以及步长为2×2×2的三维最大池化、连结、核大小为2×2×2的三维卷积转置和核大小为3×3×3的线性卷积块;在图像融合网络的聚焦路径中,轴向面和矢状面的厚层磁共振图像在同一个尺度上并联在一起,并依次通过具有32个滤波器的三维卷积块、三维最大池化、具有64个滤波器的三维卷积快、三维最大池化、具有128个滤波器的三维卷积块和三维最大池化;在图像融合网络的扩展路径中,聚焦路径的最终输出依次通过具有256个滤波器的三维卷积块,具有256个滤波器的三维卷积转置,具有128个滤波器的三维卷积块,具有128个滤波器的三维卷积转置,具有64个滤波器的三维卷积块,具有64个滤波器的三维卷积转置,具有32个滤波器的三维卷积块和具有1个滤波器的三维卷积;聚焦路径中三组三维卷积块的输出和扩展路径中尺度相同的三组三维卷积转置输出通过连结进行并联;
4)利用由步骤3)获得的薄层磁共振图像初步重建结果和对应的矢状厚层磁共振图像训练细节重建网络,获得最终的薄层磁共振图像重建结果;其中:所述细节重建网络呈编码-解码架构,由一个全卷积网络和一个卷积长短记忆网络LSTM模块构建,所述细节重建网络包括具有核大小为3×3的卷积快,核大小为3×3以及时间长度为2的卷积LSTM,核大小为4×4以及步长为2的卷积转置和跳跃连接;在细节重建网络的编码结构中,初步重建结果和高分辨率的矢状面厚层磁共振图像并联在一起,并依次通过具有32个滤波器并且步长为1的卷积块,具有64个滤波器并且步长为2的卷积块,具有64个滤波器并且步长为1的卷积块,具有128个滤波器并且步长为2的卷积块;编码结构的输出输入到具有128个滤波器的卷积LSTM,并且两个对应于同一层初步重建结果的高分辨率矢状厚层磁共振图像的输出结果被设置为循环紧邻结构,在细节重建网络的解码结构中,卷积LSTM的输出依次通过具有128个滤波器并且步长为1的卷积块,具有64个滤波器的卷积转置,具有64个滤波器的并且步长为1的卷积块,具有32个滤波器的卷积转置和具有1个滤波器的并且步长为1的卷积块;原图像和编码结构与解码结构中三组尺度相同的卷积块输出通过跳跃连接加性相连。
2.根据权利要求1所述的方法,其特征在于,步骤2)中,将厚层磁共振图像配准到蒙特利尔神经病学研究所MNI的标准脑图集上。
3.根据权利要求1所述的方法,其特征在于,步骤3)中,三维卷积块由连续的两组具有批归一化BN层和修正线性单元ReLU层的卷积层组成。
4.根据权利要求1所述的方法,其特征在于,步骤3)中,利用大小为64×64×64像素的三维磁共振图像小块训练图像融合网络,训练使用Adam优化方法。
5.根据权利要求1所述的方法,其特征在于,步骤4)中,卷积块由两组连续的具有BN层和ReLU层的卷积层组成。
6.根据权利要求1所述的方法,其特征在于,步骤4)中,训练细节重建网络时,细节重建网络以循环方式利用,全尺寸的薄层磁共振图像初步重建结果和对应的矢状厚层磁共振图像直接输入到细节重建网络中,并且切片按顺序连续地输入到细节重建网络中。
7.根据权利要求1所述的方法,其特征在于,步骤4)中,采用利用端对端的方式训练细节重建网络,使用Adam优化方法训练细节重建网络。
8.根据权利要求1所述的方法,其特征在于,步骤4)中,细节重建网络表示如下:
其中IH′是图像融合网络生成的初始结果,是第i个具有两倍切片数的矢状面厚层磁共振图像,代表没有循环结构的细节重建网络的运算,FD代表解码路径的运算,也就是卷积LSTM模块之后的网络部分,input是通道中网络的输入,而input↑是input双线性插值结果,是利用初步结果和运算得到的卷积LSTM的输出,ht为卷积LSTM的隐藏层,ConvLSTM是卷积LSTM模块的运算,是编码路径的运算,也就是卷积LSTM模块之前的网络部分,而FE代表编码路径的运算。
9.根据权利要求1或8所述的方法,其特征在于,卷积LSTM模块是状态输入为卷积而不是乘法的LSTM单元,其中包括遗忘门、输入门、细胞状态、输出门和隐藏状态,卷积LSTM模块的运算公式如下:
ft=σ(Wf*[ht-1,xt]+bf) (5)
it=σ(Wi*[ht-1,xt]+bi) (6)
ot=σ(Wo*[ht-1,xt]+bo) (9)
在上述公式中,代表矩阵乘法,“*”代表线性卷积运算,ft,it,Cellt和ot分别是遗忘门、输入门、细胞状态和输出门,σ是sigmoid运算,Wf,Wi,WC和Wo以及bf,bi,bC和bo分别是遗忘门、输入门、细胞状态以及输出门的卷积核权重和偏置,而xt是输入图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810435306.8A CN108629816B (zh) | 2018-05-09 | 2018-05-09 | 基于深度学习进行薄层磁共振图像重建的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810435306.8A CN108629816B (zh) | 2018-05-09 | 2018-05-09 | 基于深度学习进行薄层磁共振图像重建的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108629816A true CN108629816A (zh) | 2018-10-09 |
CN108629816B CN108629816B (zh) | 2022-11-18 |
Family
ID=63696070
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810435306.8A Active CN108629816B (zh) | 2018-05-09 | 2018-05-09 | 基于深度学习进行薄层磁共振图像重建的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108629816B (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109711280A (zh) * | 2018-12-10 | 2019-05-03 | 北京工业大学 | 一种基于ST-Unet的视频异常检测方法 |
CN109872332A (zh) * | 2019-01-31 | 2019-06-11 | 广州瑞多思医疗科技有限公司 | 一种基于u-net神经网络的三维医学图像配准方法 |
CN109902601A (zh) * | 2019-02-14 | 2019-06-18 | 武汉大学 | 一种结合卷积网络和递归网络的视频目标检测方法 |
CN110047138A (zh) * | 2019-04-24 | 2019-07-23 | 复旦大学 | 一种磁共振薄层图像重建方法 |
CN110070612A (zh) * | 2019-04-25 | 2019-07-30 | 东北大学 | 一种基于生成对抗网络的ct图像层间插值方法 |
CN110246566A (zh) * | 2019-04-24 | 2019-09-17 | 中南大学湘雅二医院 | 基于卷积神经网络的品行障碍确定方法、系统和存储介质 |
CN110322528A (zh) * | 2019-06-26 | 2019-10-11 | 浙江大学 | 基于3t、7t的核磁共振脑部图像血管重建方法 |
CN110334719A (zh) * | 2019-07-11 | 2019-10-15 | 兰州交通大学 | 一种提取遥感影像中建筑物图像的方法及系统 |
CN110473285A (zh) * | 2019-07-30 | 2019-11-19 | 上海联影智能医疗科技有限公司 | 图像重构方法、装置、计算机设备和存储介质 |
CN111613302A (zh) * | 2019-02-22 | 2020-09-01 | 未艾医疗技术(深圳)有限公司 | 基于VRDS 4D医学影像的肿瘤Ai处理方法及产品 |
CN111681230A (zh) * | 2020-06-10 | 2020-09-18 | 华中科技大学同济医学院附属同济医院 | 脑白质高信号评分系统及其评分方法 |
US20200312611A1 (en) * | 2019-03-29 | 2020-10-01 | Fei Company | Artificial intelligence enabled volume reconstruction |
CN112419332A (zh) * | 2020-11-16 | 2021-02-26 | 复旦大学 | 一种面向厚层mri影像的头骨剥离方法及装置 |
CN113034642A (zh) * | 2021-03-30 | 2021-06-25 | 推想医疗科技股份有限公司 | 图像重建方法及装置、图像重建模型的训练方法及装置 |
CN113192150A (zh) * | 2020-01-29 | 2021-07-30 | 上海交通大学 | 基于循环神经网络的磁共振介入图像重建方法 |
CN113706358A (zh) * | 2021-07-09 | 2021-11-26 | 清华大学 | 一种断层扫描图像层间距的加密方法和加密装置 |
CN116432703A (zh) * | 2023-06-12 | 2023-07-14 | 成都大学 | 基于复合神经网络模型的脉冲高度估计方法、系统及终端 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017113205A1 (zh) * | 2015-12-30 | 2017-07-06 | 中国科学院深圳先进技术研究院 | 一种基于深度卷积神经网络的快速磁共振成像方法及装置 |
CN107064845A (zh) * | 2017-06-06 | 2017-08-18 | 深圳先进技术研究院 | 基于深度卷积网的一维部分傅里叶并行磁共振成像方法 |
CN107145727A (zh) * | 2017-04-26 | 2017-09-08 | 中国人民解放军总医院 | 一种利用卷积神经网络的医学图像处理装置与方法 |
-
2018
- 2018-05-09 CN CN201810435306.8A patent/CN108629816B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017113205A1 (zh) * | 2015-12-30 | 2017-07-06 | 中国科学院深圳先进技术研究院 | 一种基于深度卷积神经网络的快速磁共振成像方法及装置 |
CN107145727A (zh) * | 2017-04-26 | 2017-09-08 | 中国人民解放军总医院 | 一种利用卷积神经网络的医学图像处理装置与方法 |
CN107064845A (zh) * | 2017-06-06 | 2017-08-18 | 深圳先进技术研究院 | 基于深度卷积网的一维部分傅里叶并行磁共振成像方法 |
Non-Patent Citations (3)
Title |
---|
O. RONNEBERGER等: ""U-Net: Convolutional networks for Biomedical image segmentation"", 《INTERNATIONAL CONFERENCE ON MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION》 * |
YU JINHAN等: ""Reconstruction of Thin-Slice Medical Images Using Generative Adversarial Network"", 《LECTURE NOTES IN COMPUTER SCIENCE》 * |
肖韬辉等: "深度学习的快速磁共振成像及欠采样轨迹设计", 《中国图象图形学报》 * |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109711280B (zh) * | 2018-12-10 | 2020-10-16 | 北京工业大学 | 一种基于ST-Unet的视频异常检测方法 |
CN109711280A (zh) * | 2018-12-10 | 2019-05-03 | 北京工业大学 | 一种基于ST-Unet的视频异常检测方法 |
CN109872332A (zh) * | 2019-01-31 | 2019-06-11 | 广州瑞多思医疗科技有限公司 | 一种基于u-net神经网络的三维医学图像配准方法 |
CN109872332B (zh) * | 2019-01-31 | 2022-11-11 | 广州瑞多思医疗科技有限公司 | 一种基于u-net神经网络的三维医学图像配准方法 |
CN109902601B (zh) * | 2019-02-14 | 2023-04-07 | 武汉大学 | 一种结合卷积网络和递归网络的视频目标检测方法 |
CN109902601A (zh) * | 2019-02-14 | 2019-06-18 | 武汉大学 | 一种结合卷积网络和递归网络的视频目标检测方法 |
CN111613302A (zh) * | 2019-02-22 | 2020-09-01 | 未艾医疗技术(深圳)有限公司 | 基于VRDS 4D医学影像的肿瘤Ai处理方法及产品 |
CN111613302B (zh) * | 2019-02-22 | 2024-03-05 | 曹生 | 基于医学影像的肿瘤Ai处理方法及产品 |
US20200312611A1 (en) * | 2019-03-29 | 2020-10-01 | Fei Company | Artificial intelligence enabled volume reconstruction |
CN110246566A (zh) * | 2019-04-24 | 2019-09-17 | 中南大学湘雅二医院 | 基于卷积神经网络的品行障碍确定方法、系统和存储介质 |
CN110047138A (zh) * | 2019-04-24 | 2019-07-23 | 复旦大学 | 一种磁共振薄层图像重建方法 |
CN110070612B (zh) * | 2019-04-25 | 2023-09-22 | 东北大学 | 一种基于生成对抗网络的ct图像层间插值方法 |
CN110070612A (zh) * | 2019-04-25 | 2019-07-30 | 东北大学 | 一种基于生成对抗网络的ct图像层间插值方法 |
CN110322528B (zh) * | 2019-06-26 | 2021-05-14 | 浙江大学 | 基于3t、7t的核磁共振脑部图像血管重建方法 |
CN110322528A (zh) * | 2019-06-26 | 2019-10-11 | 浙江大学 | 基于3t、7t的核磁共振脑部图像血管重建方法 |
CN110334719A (zh) * | 2019-07-11 | 2019-10-15 | 兰州交通大学 | 一种提取遥感影像中建筑物图像的方法及系统 |
CN110473285A (zh) * | 2019-07-30 | 2019-11-19 | 上海联影智能医疗科技有限公司 | 图像重构方法、装置、计算机设备和存储介质 |
CN110473285B (zh) * | 2019-07-30 | 2024-03-01 | 上海联影智能医疗科技有限公司 | 图像重构方法、装置、计算机设备和存储介质 |
CN113192150A (zh) * | 2020-01-29 | 2021-07-30 | 上海交通大学 | 基于循环神经网络的磁共振介入图像重建方法 |
CN113192150B (zh) * | 2020-01-29 | 2022-03-15 | 上海交通大学 | 基于循环神经网络的磁共振介入图像重建方法 |
CN111681230A (zh) * | 2020-06-10 | 2020-09-18 | 华中科技大学同济医学院附属同济医院 | 脑白质高信号评分系统及其评分方法 |
CN112419332A (zh) * | 2020-11-16 | 2021-02-26 | 复旦大学 | 一种面向厚层mri影像的头骨剥离方法及装置 |
CN113034642A (zh) * | 2021-03-30 | 2021-06-25 | 推想医疗科技股份有限公司 | 图像重建方法及装置、图像重建模型的训练方法及装置 |
CN113034642B (zh) * | 2021-03-30 | 2022-05-27 | 推想医疗科技股份有限公司 | 图像重建方法及装置、图像重建模型的训练方法及装置 |
CN113706358A (zh) * | 2021-07-09 | 2021-11-26 | 清华大学 | 一种断层扫描图像层间距的加密方法和加密装置 |
CN113706358B (zh) * | 2021-07-09 | 2024-07-12 | 清华大学 | 一种断层扫描图像层间距的加密方法和加密装置 |
CN116432703B (zh) * | 2023-06-12 | 2023-08-29 | 成都大学 | 基于复合神经网络模型的脉冲高度估计方法、系统及终端 |
CN116432703A (zh) * | 2023-06-12 | 2023-07-14 | 成都大学 | 基于复合神经网络模型的脉冲高度估计方法、系统及终端 |
Also Published As
Publication number | Publication date |
---|---|
CN108629816B (zh) | 2022-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108629816A (zh) | 基于深度学习进行薄层磁共振图像重建的方法 | |
CN104093354B (zh) | 用于评估医学图像的方法和设备 | |
Sormaz et al. | Knowing what from where: Hippocampal connectivity with temporoparietal cortex at rest is linked to individual differences in semantic and topographic memory | |
CN107563383A (zh) | 一种医学影像辅助诊断及半监督样本生成系统 | |
Li et al. | Wavelet-based segmentation of renal compartments in DCE-MRI of human kidney: initial results in patients and healthy volunteers | |
US11769237B2 (en) | Multimodal medical image fusion method based on darts network | |
DE102004055767A1 (de) | Verfahren und Vorrichtung zum Verarbeiten von Bilddaten, um die Erfassung einer Erkrankung zu untersützen | |
CN102905622A (zh) | 用于经改进的示踪成像处理的系统和方法 | |
Fan et al. | TR-Gan: multi-session future MRI prediction with temporal recurrent generative adversarial Network | |
CN109498046A (zh) | 基于核素图像与ct冠脉造影融合的心肌梗死定量评估方法 | |
Tiago et al. | A data augmentation pipeline to generate synthetic labeled datasets of 3D echocardiography images using a GAN | |
CN107292858A (zh) | 一种基于低秩分解和稀疏表示的多模态医学图像融合方法 | |
CN116152235A (zh) | 一种肺癌ct到pet的医学图像跨模态合成方法 | |
Kumaraswamy et al. | A review on cancer detection strategies with help of biomedical images using machine learning techniques | |
Zifan et al. | Connectivity of the superficial muscles of the human perineum: a diffusion tensor imaging-based global tractography study | |
Islam et al. | Improving portable low-field MRI image quality through image-to-image translation using paired low-and high-field images | |
CN117422788B (zh) | 一种基于ct脑梗图像生成dwi图像的方法 | |
Kalluvila | Super-resolution of brain MRI via U-Net architecture | |
CN113648060B (zh) | 超声引导的软组织形变跟踪方法、装置、存储介质及系统 | |
Zapaishchykova et al. | SynthBrainGrow: Synthetic Diffusion Brain Aging for Longitudinal MRI Data Generation in Young People | |
CN113571148A (zh) | 一键式精神影像个体化脑功能报告生成系统、设备及存储介质 | |
Geng et al. | Exploring Structural Information for Semantic Segmentation of Ultrasound Images | |
Cheng et al. | Sdct-gan: reconstructing CT from biplanar x-rays with self-driven generative adversarial networks | |
Jiao et al. | Anatomy-aware self-supervised fetal MRI synthesis from unpaired ultrasound images | |
Vallejo-Cendrero et al. | CycleGAN-Driven MR-Based Pseudo-CT Synthesis for Knee Imaging Studies |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |