使用深度学习改进磁共振成像的系统和方法
相关申请的交叉引用
本申请要求2018年4月19日提交的美国临时申请号62/659,837的优先权,该申请的全部内容以其整体并入本文。
背景技术
磁共振成像(MRI)或核磁共振成像是一种医学成像技术,通常用于可视化对象(例如患者),尤其是体内详细的内部结构。MRI为临床图像提供了更高的分辨率、不同的身体软组织之间的高对比度,而不涉及电离辐射,因此是许多挑战性疾病的理想成像方式。与其他方式(例如X射线、CT和超声波)相比,MRI需要更长的时间(有时是几分钟)来获取数据以生成临床上有用的图像。由于扫描时间长,可能会出现不良的成像伪像(artifact)。如此长的MR检查扫描时间可能会导致高昂的成像成本,并限制患者的体积和可及性。一些MR应用(例如,扩散加权成像)需要多次重复相同或相似的获取,以获得足够的信噪比(SNR)。
已经采用诸如并行成像和压缩感测的方法来加速MR图像获取,但是实际的加速能力仍然受到限制。例如,当扫描时间显著缩短时,并行成像会遭受混叠伪像(aliasingartifact)以及显著放大的噪声。在另一个实例中,压缩感测遭受图像模糊。常规方法可以通过以下方法实现加速数据获取:(1)减少重复次数,(2)超出Nyquist采样率的欠采样(undersampling)或(3)降低图像分辨率。这样的方法可能导致图像具有各种伪像,例如低SNR、混叠或模糊。
如本文所用,术语“重复”通常是指在相同对象上使用相同的成像参数的图像获取的重复、在相同对象上使用不同的成像参数的图像获取的重复、从不同角度在对象上的图像获取的重复等,从而实现增强的图像质量。例如,在动脉自旋标记(ASL)MRI中,可能存在多延迟ASL,即高质量图像可以使用使用相同成像参数而不是相同延迟参数获得的多个图像的基于特定模型的或加权平均值来计算。在另一个实例中,可以使用COSMOS方法在定量磁化率成像(QSM)MRI中获得高质量的图像。该方法是基于模型或使用相同成像参数获取的多个图像的加权平均值。在重复的图像获取期间,可以使用相同的成像参数从不同的角度(例如,将其头部旋转或移动到各种位置)对对象成像。
常规方法之一是Multi-NEX(激发次数)获取,是指多次重复相同或相似的获取以改进MRI的SNR的方法。将m定义为地表真实图像,将mi定义为第i次获取的获取图像,将ni定义为mi中与地表真实性相对应的噪声或偏移量。然后,
mi=m+ni,
通常,所有获取的图像mave的平均值(包括可能基于某些加权模型的线性平均或加权平均)比任何单独的图像mi具有更高的SNR,并且被认为是m的估计。可替代地,可使用图像去噪方法改进mi的SNR。这个过程可表示为
其中f表示去噪函数,去噪图像
是m的估计值。然而,这种方法在过去并未像大多数multi-NEX获取中的简单平均那样广泛使用。
并行成像和压缩感测是通过超过Nyquist采样率的采样来加速MR获取的两种流行的常规方法。并行成像使用具有不同线圈灵敏度的一组线圈阵列来合成未获取的数据,而压缩传感则利用稀疏性约束并通过解决优化问题来获得基础图像的估计值。通常,并行成像和压缩感测相结合以获得更好的图像质量和加速能力。将mu定义为欠采样获取的图像,然后并行成像和压缩感测可表示为:
其中f代表相应的图像重建,并且
是估计的重建。然而,这样的方法可能以硬件基础结构或获取时间为代价获得更好的图像质量。
超分辨率是图像分辨率改进的另一种常规方法:以低分辨率获取原始图像mLR,而重建图像mSR具有更好的图像分辨率。可以通过增加mLR的矩阵大小并估计尚未获取的其他高空间频率内容来获得mSR。由于低分辨率图像需要较少的获取时间,因此超分辨率方法还可缩短MR扫描时间。
类似于先前的公式,超分辨率重建也可由将低分辨率图像转换为高分辨率图像
的函数f表示。
超分辨率方法的主要挑战在于,难以直接估计未获取的高空间频率信息(或函数f)。因此,需要一种用于MR成像的改进的系统。
发明内容
本公开提供了改进的磁共振成像(MRI)系统,其可解决常规系统的各种缺点,包括上面认识到的那些缺点。本公开内容的方法和系统以缩短的图像获取时间提供改进的图像质量。与标准迭代重建方法相比,还可以减少运行时图像重建的计算时间。通过将深度学习技术应用于图像重建以提高图像质量,所提供的方法和系统可以显著减少MR扫描时间。医学成像中低质量的实例可能包括噪声(例如,低信噪比)、模糊(例如,运动伪像)、阴影(例如,感测的障碍或干扰)、信息丢失(例如,由于信息的去除或掩蔽而在绘图中丢失像素或体素)、重构(例如,测量域中的降级)和/或欠采样伪像(例如,由于压缩感测、混叠而导致的欠采样)。本公开内容的方法和系统可无缝地应用于现有系统,而无需改变底层基础设施。特别地,所提供的方法和系统可以在无附加硬件组件成本的情况下改进MR图像质量,并且可被部署,而与底层基础设施的配置或规范无关。
在本发明的一方面,提供了一种计算机实现的方法,用于以缩短的获取时间来改进图像质量。该方法包括:确定用于使用医学成像设备对对象成像的加速图像获取方案;使用所述医学成像设备根据所述加速图像获取方案获取所述对象的医学图像;将深度网络模型应用于医学图像以改进医学图像的质量;以及输出对象的改进质量图像以供医师分析。在一些实施方式中,医学图像包括磁共振图像。
在本发明的一些实施方式中,确定加速图像获取方案包括:通过图形用户界面接收目标加速度因子或目标获取速度,以及基于所述目标加速度因子或目标获取速度,从多个加速图像获取方案中选择。在一些情况下,通过将多个加速图像获取方案应用于医学图像的一部分以进行模拟来选择加速图像获取方案。
在一些实施方式中,基于用户输入和实时模拟输出图像来确定所述加速图像获取方案。在一些实施方式中,所述加速图像获取方案包括与欠采样的k空间、欠采样的模式以及减少的重复次数有关的一个或多个参数。在一些情况下,所述欠采样模式选自均匀的欠采样模式、随机的欠采样模式和可变的欠采样模式。在一些实施方式中,所述医学图像包括欠采样的k空间图像或使用减少的重复次数获取的图像。
在一些实施方式中,基于用户输入和实时模拟输出图像,以自适应优化的度量来训练所述深度学习模型。在一些实施方式中,使用包括至少低质量图像和高质量图像的训练数据集来训练所述深度学习模型。在一些实施方式中,所述低质量图像是通过应用一个或多个滤波器或者将合成噪声添加到所述高质量图像以产生噪声或欠采样伪像而生成的。在一些实施方式中,使用包括至少一部分低质量图像和高质量图像的图像补丁来训练所述深度学习模型。在一些情况下中,基于量化图像相似度的一个或多个度量来选择所述图像补丁。
在一些实施方式中,所述深度学习模型是深度残差学习模型。在一些实施方式中,通过自适应地调整一个或多个模型参数来训练所述深度学习模型以近似一参考图像。在一些实施方式中,与使用所述医学成像设备获取的所述医学图像相比,所述对象的改进质量图像具有更高的SNR、更高的分辨率或更少的混叠。
本公开内容的另一方面提供了包含机器可执行代码的非暂时性计算机可读介质,该机器可执行代码在由一个或多个计算机处理器执行时实现上述或本文其他地方的任何方法。例如,一个或多个处理器可以执行操作,操作包括:确定用于使用医学成像设备对对象成像的加速图像获取方案;使用所述医学成像设备根据所述加速图像获取方案获取所述对象的医学图像;将深度网络模型应用于医学图像以改进医学图像的质量;以及输出对象的改进质量图像以供医师分析。
在一些实施方式中,医学图像包括磁共振图像。在一些实施方式中,基于用户输入和实时模拟输出图像来确定所述加速图像获取方案。在一些实施方式中,所述加速图像获取方案包括与欠采样的k空间、欠采样的模式以及减少的重复次数有关的一个或多个参数。
根据以下具体实施方式,本公开内容的其他方面和优点对于本领域技术人员将变得容易理解,其中仅示出和描述了本公开内容的说明性实施方式。将会认识到,本公开内容能够具有其他和不同的实施方式,并且其若干细节能够在各种显而易见的方面进行修改,所有这些都不脱离本公开内容。因此,附图和具体实施方式应被视为本质上是说明性的,而非限制性的。
援引并入
本说明书中提到的所有出版物、专利和专利申请均通过引用并入本文,其程度如同特别地且单独地指出每一个单独的出版物、专利或专利申请均通过引用而并入。
附图说明
本发明的新颖特征在所附权利要求中具体阐述。通过参考以下对其中利用到本发明原理的说明性实施方式加以阐述的详细描述以及附图(在本文也称为“图”),将会获得对本发明特征和优点的更好理解,在这些附图中:
图1示意性地示出了使用深度学习算法将低质量图像转换成高质量图像的实例;
图2示意性地示出了可以实现本公开内容的成像加速器的磁共振成像(MRI)系统;
图3示出了根据本公开内容的实施方式的MR成像加速器系统的实例的框图;
图4示出了使用交互式MRI获取模块确定获取方案的实例;以及
图5示出了用于通过加速获取来改进MR图像质量的方法的实例。
具体实施方式
尽管本文已经示出并描述了本发明的各种实施方式,但对于本领域技术人员显而易见的是,这些实施方式仅以示例的方式提供。本领域技术人员在不脱离本发明的情况下可以想到多种变化、改变和替代。应当理解,可以采用本文所述的本发明实施方式的各种替代方案。
加速获取
如本文所使用的,术语“加速获取”通常是指缩短的MR获取时间。提供的系统和方法可能能够以至少1.5、2、3、4、5、10、15、20的加速因子,大于20或小于1.5的值的因子或上述任意两个值之间的值来实现具有改进质量的MR成像。加速获取可通过以下方法实现:(1)减少multi-NEX获取的重复次数,(2)将采样率降低到Nyquist速率以下或(3)降低图像分辨率。加速方案可以包括使用一种或多种以上方法。加速方案可以包括使用以上方法的任何组合。在一个实例中,可以通过减少重复次数来实现加速获取。在另一个实例中,可以通过对k空间进行欠采样来实现加速获取。在另一个实例中,可以通过减少重复次数和对k空间进行欠采样的组合来实现加速获取。加速方案还可包括一个或多个参数,这些参数可能影响所选方法的加速结果。在整个说明书中,加速方案也可以称为获取方案或加速图像获取方案。
MR成像中的图像形成基于以脉冲序列确定的方式二维或三维遍历k空间。虽然频率编码方向的数据获取通常很快,大约需要几毫秒,但是需要用应用的相位编码梯度的稍微不同的值收集单独的回波,以沿着相位编码轴对ky的每个值进行采样。因此,在大多数MR成像获取中,通过规定数量的相位编码步骤对k空间进行采样占了获取时间的大部分。
在一些情况下,可以通过对k空间进行欠采样来实现加速数据获取。可根据各种采样方案对k空间进行欠采样。采样方案可以至少包括沿着给定方向或预定图案/轨迹的采样密度。例如,由于样本密度相对于预期图像的FOV(视场)的Nyquist准则至少为1%、5%、10%、15%、20%、25%、30%、35%、40%、45%、50%等,k空间可以沿着给定方向被欠采样最少。采样方案可以包括各种其他因素,例如指定k空间的区域被欠采样、过采样或严格采样。在一些实施方式中,可以在加速方案中指定与采样方案有关的一个或多个参数。
在一些实施方式中,可以在加速方案中指定用于加速获取的欠采样模式。加速获取可以使用欠采样模式,例如均匀的欠采样模式、随机的欠采样模式或可变的欠采样模式。各种模式或轨迹,例如螺旋采样模式、径向布置的条带、直线模式、泊松圆盘、抖动网格或随机模式都可以应用于k空间采样。可以根据特定的成像技术来确定图案或轨迹。例如,为了实现更好的并行重建,采样模式不应包含频繁出现的大间隙。因此,可以选择具有均匀或可变采样密度的泊松圆盘和抖动网格作为并行处理的采样模式。
如上所述,在缩短的获取时间下获取的图像可能会经历各种伪像。这样的图像可能具有较低的质量,例如低SNR、模糊或混叠。本公开内容的方法和系统可以通过将机器学习方法应用于低质量图像来减轻这些伪像,从而产生具有加速获取的高质量MR图像。这样的方法可以用于图像重建,并且可与任何现有的MR技术结合使用。
深度学习方法
图1示意性地示出了使用深度学习算法110将低质量图像101、103转换成高质量图像105的实例。可以使用如上所述的加速数据获取方法来获取低质量图像。在一些情况下,可以在获取方案中指定加速数据获取方法。将m
acc定义为与加速数据获取相对应的图像。图1显示了采样率降低和/或图像分辨率降低的加速2D获取的实例。在图像重建期间,可以将深度学习算法应用于低质量图像以估计将低质量图像m
acc转换为高质量图像
的函数f。高质量图像可以是高SNR、无混叠或高分辨率图像。在一些情况下,该函数f可以通过在多个训练数据集上的训练过程优化地表真实图像m和估计图像
之间的度量g来获得:
可有一个或多个成本度量,其可与优化的权重相结合。g可以是任何合适的度量,例如l
2规范
l
1规范
结构差异或其他度量。在一些情况下,k可以是恒等变换,然后在图像域中计算度量。k可以是任何其他变换,例如傅立叶变换,因此可以在相应的频域中计算度量。在一些情况下,可以在深度学习模型的训练过程中将g度量用作标准。在一些情况下,g度量还可以是与f一起单独或同时训练的网络模型,以区分图像状态并评估图像质量。在一些情况下,可以基于用户输入和实时模拟输出图像,以自适应优化的度量来训练深度学习模型。
机器学习方法110可以包括一种或多种机器学习算法。人工神经网络可以采用任何类型的神经网络模型,例如前馈神经网络、径向基函数网络、递归神经网络、卷积神经网络、深度残差学习网络等。在一些实施方式中,机器学习算法可以包括深度学习算法,例如卷积神经网络(CNN)。机器学习算法的实例可以包括支持向量机(SVM)、朴素贝叶斯分类、随机森林、诸如神经网络的深度学习模型或其他监督学习算法或非监督学习算法。在一些情况下,该方法可以是有监督的深度机器学习方法。
诸如CNN的深度学习网络可包含多层。例如,CNN模型可以至少包括输入层、多个隐藏层和输出层。CNN模型可以包括任何总数的层和任何数目的隐藏层。神经网络的最简单架构始于输入层,然后是一系列中间层或隐藏层,最后是输出层。隐藏层或中间层可以充当可学习的特征提取器,而本实例中的输出层为MR图像提供了改进的质量。
神经网络的每一层可以包括多个神经元(或节点)。神经元接收直接来自输入数据(例如,低质量图像数据、欠采样的k空间数据等)或其他神经元的输出的输入,并执行特定的操作,例如求和。在一些情况下,从输入到神经元的连接与权重(或加权因子)关联。在一些情况下,神经元可以总和所有输入对及其相关权重的乘积。在一些情况下,加权和有偏差。在一些情况下,可以使用阈值或激活函数来控制神经元的输出。激活函数可以是线性的或非线性的。激活函数可以是,例如,整流线性单元(ReLU)激活函数或其他函数,例如饱和双曲正切、恒等式、二进制步长、逻辑函数、反正切、softsign、参数整流线性单元、指数线性单元、softPlus、弯曲同一性、软指数、正弦曲线、正弦、高斯、sigmoid函数或其任何组合。
在一些实施方式中,深度学习模型的训练过程可以采用残差学习方法。在一些情况下,残差学习框架可以用于评估训练后的模型。在一些情况下,具有跳过连接的残差学习框架可以从质量较低的图像(例如复值混叠图像)生成估计的真实图像,并进行细化以确保其与测量值一致(数据一致性)。可通过欠采样数据的傅立叶逆变换(FT)简单获得较低质量的输入图像。在一些情况下,模型学习的是原始图像数据和地表真实图像数据之间的差异的残差,该残差使用网络结构更稀疏并且复杂度较低。该方法可以使用旁路连接来启用残差学习。在一些情况下,可以使用残差网络,直接模型输出可以是低质量和高质量图像之间的估计残差/误差。换言之,深度学习框架要学习的函数是残差函数,在一些情况下可能易于优化。通过将低质量图像添加到残差,可恢复较高质量的图像。这种残差的训练方法可以减少训练的复杂性,并在输出水平小的情况下实现更好的性能,即使在模型无法完美预测的情况下,也可以降低引入大图像伪像的可能性。
训练数据集可以输入到包括残差学习和卷积神经网络的深度网络。可以使用具有相对较高的SNR和更好的分辨率的目标质量的参考图像来训练模型。在一些情况下,可以基于用户输入和实时模拟输出图像,以自适应调整的参数来训练深度学习模型。替代地或附加地,深度学习网络可以是不涉及残差学习的“普通”CNN。在一些情况下,可以基于MR图像增强的目标、图像数据特性或其他因素来选择一种深度学习网络。例如,根据图像增强的不同目标(例如,改进SNR、实现无混淆或提高分辨率的图像),可以选择深度残差学习网络或简单CNN。在一些情况下,在训练过程中,深度学习模型可以自适应地调整模型参数,以从输入图像的初始集合中近似目标质量的参考图像,并输出质量改进的图像。
在一些实施方式中,深度学习模型的训练过程可以采用基于补丁的方法。在一些情况下,用于训练的图像(例如,低质量和高质量图像)可以被分成补丁。例如,一对训练图像(例如一对高质量图像和较低质量图像)可以分别在空间上分为一组较小的补丁。高质量图像和较低质量图像可分为一组补丁。图像补丁的大小可能取决于应用,例如图像中包含的可识别特征的可能大小。可替代地,图像补丁的大小可以是预定的或基于经验数据。
在一些情况下,可以从一组补丁中选择一个或多个补丁,并将其用于训练模型。在一些情况下,可以从一对图像中选择对应于相同坐标的一个或多个补丁。或者,一对补丁可能不对应于相同的坐标。然后可以将所选的一对补丁用于训练。在一些情况下,从相似度高于预定阈值的一对图像中选择补丁。可以使用任何合适的量化图像相似度的度量来选择一对或多对补丁。例如,可以通过计算结构相似性指数、峰值信噪比(PSNR)、均方误差(MSE)、绝对误差、其他度量或上述的任意组合来选择一对或多对补丁。在一些情况下,可以使用图像上方的滑动窗口执行相似度比较。
可以使用包括MR图像数据的一个或多个训练数据集来训练深度学习模型110。在一个实例中,训练数据集可以是包括多个轴向切片的3D体积图像数据,并且每个切片可以是复数值图像,每个可以包括用于实部和虚部的两个通道。训练数据集可以包括从MR成像设备获得的较低质量的图像。例如,可通过欠采样数据(例如,k空间数据)的傅立叶逆变换(FT)简单获得低质量输入图像。在一些情况下,训练数据集可以包括从模拟获得的扩充数据集。例如,来自临床数据库的图像数据可以用于生成低质量的图像数据。在一个实例中,可以将FFT和滤波器应用于原始图像数据,以将其转换为低质量图像数据,例如通过应用掩模以去除某些数据点从而创建伪像。在另一个实例中,图像模糊滤波器可以直接应用于高质量图像以生成低质量图像。在另一个实例中,可以将合成噪声添加到高质量图像以创建噪声图像。在一些实施方式中,更高质量的输入图像数据可以通过使用具有更长获取时间的MR成像设备的直接图像获取或如本文中其他地方所述的重复图像获取来获得。
训练的深度学习模型可以用于将包括较低质量的MR图像数据的输入数据转换为包括较高质量的MR图像数据的输出数据。在一些情况下,输入数据可以是包括多个轴向切片的3D体积。在一个实施方式中,输入和输出切片可以是相同大小的复值图像,并且每个包括用于实部和虚部的两个通道。借助于所提供的系统,可以通过加速获取来获得更高质量的MR图像。
在一些实施方式中,在训练阶段期间,可基于用户的偏好将附加图像处理步骤应用于深度学习输入图像。例如,诸如高通滤波器、低通滤波器等的图像滤波器可应用于输入图像。在一些情况下,可能会将合成噪声添加到输入图像中。相似地,可基于用户的偏好将后期图像处理步骤应用于深度学习输出图像。例如,诸如高通滤波器、低通滤波器等的图像滤波器可应用于输出图像。在一些情况下,可能会将合成噪声添加到输出图像中。
本公开内容的系统和方法可以提供可以在不需要改变硬件基础设施的情况下在任何现有的MR成像系统上实现的成像加速器系统。成像加速器系统可以用软件、硬件、固件、嵌入式硬件、独立硬件、专用硬件或它们的任何组合来实现。成像加速器系统可以是与MR成像系统分开的独立系统。替代地或附加地,成像加速器系统可与MR成像系统(例如MR成像系统的控制器的组件)集成在一起。
系统总览
图2示意性地示出了可以实现本公开内容的成像加速器240的磁共振成像(MRI)系统200。MRI系统200可以包括磁体系统203、连接到磁体系统的患者运输台205以及可操作地耦合到磁体系统的控制器201。在一个实例中,患者可能躺在患者运输台205上,并且磁体系统203会绕过患者。控制器201可以控制磁体系统203提供的磁场和射频(RF)信号,并且可以从磁体系统203中的检测器接收信号。MRI系统200可以进一步包括计算机系统210和通过网络230可操作地耦合到控制器201的一个或多个数据库。计算机系统210可以用于实现MR成像加速器240。计算机系统210可以用于使用训练数据集生成成像加速器。尽管图示的图将控制器和计算机系统显示为单独的组件,但可将控制器和计算机系统集成为单个组件。
控制器201可以根据安装的软件程序被操作以提供关于脉冲序列的MRI序列控制器信息和/或管理整个系统的操作。控制器还可以用作指示患者执行任务的元件,例如通过使用自动语音合成技术生成的语音消息屏住呼吸。控制器可以接收来自操作员的指示要执行的扫描序列的命令。控制器可以包括各种组件,例如脉冲发生器模块,该模块被配置为操作系统组件以执行所需的扫描序列,生成指示要生成的RF脉冲的时序、强度和形状的数据以及数据获取窗口的时序和长度。脉冲发生器模块可以耦合到一组梯度放大器,以控制扫描期间要产生的梯度脉冲的时序和形状。脉冲发生器模块还从生理获取控制器接收患者数据,该控制器从附接到患者的传感器接收信号,例如来自电极的ECG(心电图)信号或来自风箱的呼吸信号。脉冲发生器模块可以耦合到扫描室接口电路,该电路从与患者和磁铁系统状况相关的各种传感器接收信号。患者定位系统可以通过扫描室接口电路接收命令,以将患者移至所需的扫描位置。
控制器201可以包括收发器模块,该收发器模块被配置为产生脉冲,该脉冲被RF放大器放大并且通过发送/接收开关耦合至RF线圈。患者的被激发核辐射出的结果信号可能被同一RF线圈感应到并通过发射/接收开关耦合到前置放大器。放大后的核磁共振(NMR)信号在收发器的接收器部分中被解调、滤波和数字化。发送/接收开关由来自脉冲发生器模块的信号控制,以将RF放大器电耦合到线圈以进行发射模式,并耦合到前置放大器以进行接收模式。发射/接收开关还可以使单独的RF线圈(例如,头线圈或表面线圈,未显示)能够在发射模式或接收模式下使用。
RF线圈拾取的NMR信号可以通过收发器模块数字化,然后传输到耦合到控制器的存储模块。收发器模块中的接收器除了保持信号幅度外,还可以保持获取的NMR信号的相位。下转换的NMR信号被施加到模数(A/D)转换器(未示出),该转换器对模拟NMR信号进行采样和数字化。可以将样本应用于数字检测器和信号处理器,该数字检测器和信号处理器产生与接收到的NMR信号相对应的同相(I)值和正交(Q)值。接收的NMR信号的数字化I和Q值的结果流然后可用于重建图像。所提供的成像加速器可以用于重建图像以实现改进的质量。
控制器201可以包括或耦合到操作员控制台(未示出),该操作员控制台可包括输入设备(例如,键盘)和控制面板以及显示器。例如,控制器可能具有连接到I/O设备(例如显示器、键盘和打印机)的输入/输出(I/O)端口。在一些情况下,操作员控制台可以通过网络与计算机系统210进行通信,从而使操作员能够控制显示器屏幕上图像的产生和显示。图像可以是根据加速获取方案获取的具有改进质量的MR图像。图像获取方案可以由成像加速器240和/或用户自动确定,如本文稍后所述。
MRI系统200可以包括用户界面。用户界面可以被配置为接收用户输入并向用户输出信息。用户输入可以与图像获取的控制有关。用户输入可能与MRI系统的操作有关(例如,用于控制程序执行的某些阈值设置、用于控制线圈灵敏度和图像重建的联合估计的参数等)。用户输入可以与关于成像加速器的各种操作或设置有关。用户输入可以包括例如目标位置的选择、重建图像的显示设置、可定制的显示偏好、获取方案的选择、所选获取方案的设置以及各种其他设置。用户界面可以包括诸如触摸屏的屏幕和任何其他用户交互外部设备,诸如手持控制器、鼠标、操纵杆、键盘、轨迹球、触摸板、按钮、口头命令、手势识别、姿态传感器、热传感器、触摸电容传感器、脚踏开关或任何其他设备。
MRI平台200可以包括可以与控制器交互的计算机系统210和数据库系统220。该计算机系统可包括膝上型计算机、台式计算机、中央服务器、分布式计算系统等。处理器可以是硬件处理器,例如中央处理单元(CPU)、图形处理单元(GPU)、通用处理单元(可以是单核或多核处理器)、用于并行处理的多个处理器,以细粒度空间架构的形式,例如现场可编程门阵列(FPGA)、专用集成电路(ASIC)和/或一个或多个高级RISC机器(ARM)处理器。处理器可以是任何合适的集成电路,例如计算平台或微处理器、逻辑设备等。尽管参考处理器描述了本公开内容,但是其他类型的集成电路和逻辑设备也可适用。处理器或机器可能不受数据操作能力的限制。处理器或机器可以执行512位、256位、128位、64位、32位或16位数据操作。关于计算机系统的细节参照图3描述。
MRI系统200可以包括一个或多个数据库。一个或多个数据库220可以利用任何合适的数据库技术。例如,结构化查询语言(SQL)或“NoSQL”数据库可用于存储MR图像数据、原始图像数据、重建的图像数据、训练数据集、训练的模型、获取方案的参数等。一些数据库可以使用各种标准数据结构来实现,例如阵列、哈希、(链接的)列表、结构、结构化文本文件(例如,XML)、表格、JSON、NOSQL等。这样的数据结构可以存储在存储器和/或(结构化)文件中。在另一个替代方案中,可以使用面向对象的数据库。对象数据库可包含许多对象集合,这些对象集合通过通用属性分组和/或链接在一起;它们可能通过某些公共属性与其他对象集合相关。面向对象的数据库的执行类似于关系数据库,不同的是对象不仅是数据片段,而且还可能具有封装在给定对象中的其他类型的功能。如果本公开内容的数据库被实现为数据结构,则本公开内容的数据库的使用可以被集成到另一个组件中,例如本发明的组件。而且,数据库可以实现为数据结构、对象和关系结构的混合。数据库可以通过标准数据处理技术进行整合和/或分布。数据库的部分,例如表格,可以被导出和/或导入,从而分散和/或集成。
网络230可以在MRI平台中的组件之间建立连接以及MRI系统到外部系统的连接。网络230可以包括使用无线和/或有线通信系统的局域网和/或广域网的任何组合。例如,网络230可以包括互联网以及移动电话网络。在一个实施方式中,网络230使用标准通信技术和/或协议。因此,网络230可以包括使用诸如以太网、802.11、微波接入全球互通(WiMAX)、2G/3G/4G移动通信协议、异步传输模式(ATM)、无限宽带、PCI Express高级交换等技术的链路。网络230上使用的其他网络协议可包括多协议标签交换(MPLS)、传输控制协议/互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、简单邮件传输协议(SMTP)、文件传输协议(FTP)等。通过网络交换的数据可使用包括二进制形式的图像数据(例如,便携式网络图形(PNG))、超文本标记语言(HTML)、可扩展标记语言(XML)等)的技术和/或格式来表示。此外,所有或部分链路可使用常规的加密技术进行加密,例如安全套接字层(SSL)、传输层安全性(TLS)、互联网协议安全性(IPsec)等。在另一个实施方式中,网络上的实体可使用定制的和/或专用的数据通信技术来代替或补充上述技术。
获取方案
在一些实施方式中,本公开内容的MR成像加速器可以实现具有改进的图像质量的加速图像获取。在一些情况下,可以由成像加速器自动选择和/或确定获取方案。在一些情况下,可由用户选择或定义获取方案。获取方案的一个或多个参数可以包括例如编码步骤的数量、k空间采样模式、图像分辨率、视野、扫描速度、采样方案,例如模式、完全采样区域、欠采样、区域和各种其他形式。在一些情况下,获取方案还可包括选择重建方法或设置与重建方法有关的一个或多个参数。
图像加速器系统
图3示出了根据本公开内容的实施方式的MR成像加速器系统300的实例的框图。MR成像加速器系统300可以包括MR成像加速器240,其可与如图2中描述的成像加速器相同。MR成像加速器240可以包括多个组件,包括但不限于加速器训练模块302、图像重建模块304、交互式MRI获取模块306和用户界面模块308。
加速器训练模块302可以被配置为获得和管理训练数据集。加速器训练模块302可以包括深度学习算法,例如卷积神经网络(CNN)。加速器训练模块可以被配置为实现如上所述的机器学习方法。加速器训练模块可以离线训练模型。替代地或附加地,加速器训练模块可以使用实时数据作为反馈来完善模型。
图像重建模块304可以被配置为使用从加速器训练模块获得的训练模型来重建图像。图像重建模块可以将一个或多个k空间图像或较低质量的MR图像数据作为具有改进的质量的输入和输出MR图像数据。
交互式MRI获取模块306可以可操作地耦合到图像重建模块和/或MRI系统的控制器。交互式MRI获取模块306可以被配置为生成获取方案。在一些情况下,交互式MRI获取模块可以接收指示期望加速度(例如,加速度因子、获取速度、图像分辨率、视野、目标区域等)的用户输入。响应于接收到目标加速度或期望加速度,交互式MRI获取模块可以对一个或多个获取方案进行测试,并确定最佳获取方案。可以基于预定规则来确定最佳获取方案。例如,可以基于输出图像的质量来确定最佳获取方案。例如,可以选择在提供最佳质量图像的同时满足目标加速度目标的获取方案。在一些情况下,交互式MRI获取模块可以允许用户定义获取方案。响应于接收到用户定义的获取方案,交互式MRI获取模块可以运行模拟并生成与获取方案相关的输出图像。用户可能会或可能不会进一步调整获取方案,以更改输出图像的质量或其他特征。然后可以将确定的获取方案传输到MRI系统的控制器,以控制成像系统的操作,如本文其他地方所述。交互式MRI获取模块可以可操作地耦合到用户界面模块308,以接收用户输入并输出自动生成的获取方案或模拟图像。
用户界面模块308可以呈现图形用户界面(GUI)340,该图形用户界面允许用户选择获取方案、修改获取方案的一个或多个参数、查看与成像和获取设置有关的信息等。GUI可以显示允许用户查看或访问与图像获取有关的信息的图形元素。图形用户界面可具有各种交互元素,例如按钮、文本框等,其可以允许用户通过直接键入、单击或拖动这样的交互元素来提供输入命令或内容。例如,用户可以通过GUI手动创建或修改扫描图案、选择加速因子并设置其他参数。稍后将参照图4描述进一步的细节。
在一些情况下,可以在显示器335上提供图形用户界面(GUI)或用户界面。显示器可以是触摸屏,也可以不是触摸屏。显示器可以是发光二极管(LED)屏幕、有机发光二极管(OLED)屏幕、液晶显示器(LCD)屏幕、等离子屏幕或任何其他类型的屏幕。显示器可以被配置为显示通过应用(例如,经由在本地计算机系统或云上执行的应用编程接口(API))呈现的用户界面(UI)或图形用户界面(GUI)。
成像加速器系统300可以用软件、硬件、固件、嵌入式硬件、独立硬件、专用硬件或它们的任何组合来实现。成像加速器系统、模块、组件、算法和技术可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实现,该可编程系统包括至少一个可编程处理器,该可编程处理器可以是专用或通用的,被耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令,并将数据和指令传输到存储系统、至少一个输入设备和至少一个输出设备。这些计算机程序(也称为程序、软件、软件应用或代码)可以包括用于可编程处理器的机器指令,并且可以以高级过程和/或面向对象的编程语言和/或以汇编/机器语言实现。如本文所使用的,术语“机器可读介质”和“计算机可读介质”是指任何计算机程序产品、装置和/或设备(例如磁盘、光盘、存储器或可编程逻辑设备(PLD)),其用于向可编程处理器提供机器指令和/或数据。成像加速器系统可以是与MR成像系统分开的独立系统。替代地或附加地,成像加速器系统可与MR成像系统(例如MR成像系统的控制器的组件)集成在一起。
在一些情况下,成像加速器系统可以采用边缘智能范例,在边缘或边缘网关(MRI系统)上执行数据处理和MR图像增强。在一些情况下,机器学习模型可以在云/数据中心上建立、开发和训练,并在MRI系统(例如,硬件加速器)上运行。例如,在边缘上运行的软件可以是图像重建模块304。在云或本地环境上运行的软件可以是用于训练、开发和管理深度学习模型的加速器训练模块,或者是用于远程配置MRI控制器的交互式MRI获取模块306。
图4示出了通过前述交互式MRI获取模块确定获取方案的实例。获取方案可以自主、半自主或手动确定。在全自动模式400中,成像加速器可以被配置为自动确定最佳获取方案。例如,用户可以经由用户界面输入目标加速度。可以通过上述GUI上的任何适当格式来提供目标加速度,例如从下拉菜单中进行选择、操纵图形元素(例如,滑块)、在文本框中直接输入(例如,输入加速度因子)或通过其他合适的方式,例如语音命令等。加速度可以与图像获取的方面有关,包括但不限于加速度因子、获取速度、图像分辨率、视野和目标区域。在一个实例中,目标加速度可以选自“快速获取”、“中度获取”、“缓慢获取”。在另一个实例中,目标加速度可以是加速度因子,诸如1.5、2、3、4、5、10、15、16、17、18、19、20的因子,值大于20或小于1.5的因子,或上述值中任何两个之间的值。
在一些实施方式中,响应于接收到目标加速度,可以执行一个或多个获取方案的模拟以确定最优获取方案。在一些情况下,可以将一个或多个获取方案应用于图像补丁,以提高模拟中的计算速度。可以基于预定规则来确定最佳获取方案。例如,可以基于输出图像(补丁)的质量来确定最佳获取方案。例如,可以选择在提供最佳质量图像的同时满足目标加速度目标的获取方案。在一些情况下,可以将所确定的获取方案显示给用户以供进一步批准或进一步调整。可以将批准或确定的获取方案传输到MRI系统的控制器,以控制与本文的公开内容一致的成像系统的成像操作。
在一些情况下,可以允许用户以半自治方式410定义获取方案。用户可以指定获取方案的一个或多个参数。响应于接收到获取方案,交互式MRI获取模块可以运行模拟并输出与获取方案相关的图像。用户可能会或可能不会进一步调整获取方案,以更改输出图像的质量或其他特征。在一些情况下,可以向用户提供系统建议的调整。在一些情况下,用户可以在查看显示器上的模拟输出图像时手动调整一个或多个参数。在所示的实例420中,可以向用户呈现可在当前获取方案下实现的较低质量的图像(左)和模拟的较高质量的图像(右)。在一些情况下,当用户调整获取方案的一个或多个参数时,可以动态更新模拟图像。然后可以将确定的获取方案传输到MRI系统的控制器,以控制成像系统的操作,如本文其他地方所述。
本公开内容提供了被编程用于实现本公开内容的方法的计算机系统。返回参考图3,计算机系统300被编程或以其他方式配置为管理和/或实现MR成像加速器及其操作。计算机系统300可调节本公开内容的图1-2的各个方面,例如磁系统、加速器训练模块、图像重建模块、交互式MRI获取模块、用户界面模块以及图4和图5所示的方法。
计算机系统300可以包括中央处理单元(CPU,本文也称为“处理器”和“计算机处理器”)、图形处理单元(GPU)、通用处理单元,其可以是单核或多核处理器,或者是用于并行处理的多个处理器。计算机系统300还可包括存储器或存储位置(例如,随机存取存储器、只读存储器、闪存)、电子存储单元(例如,硬盘)、用于与一个或多个其他系统通信的通信接口(例如,网络适配器)、外围装置335、220,诸如高速缓存存储器、其他存储器、数据存储和/或电子显示适配器。存储器、存储单元、接口和外围设备通过诸如主板的通信总线(实线)与CPU通信。存储单元可以是用于存储数据的数据存储单元(或数据存储库)。计算机系统300可以借助于通信接口可操作地耦合至计算机网络(“网络”)230。网络230可以是互联网、因特网和/或外联网和/或与互联网通信的内联网和/或外联网。在一些情况下,网络230是电信和/或数据网络。网络230可以包括一个或多个计算机服务器,其可以实现分布式计算,诸如云计算。在一些情况下借助于计算机系统300,网络230可以实现对等网络,这可以使耦合至计算机系统300的设备能够充当客户端或服务器。
CPU可以执行一系列机器可读指令,该指令可以体现在程序或软件中。该指令可以存储在存储位置,诸如存储器中。可以将指令引导至CPU,该指令随后可以编程或以其他方式配置CPU以实现本公开内容的方法。CPU所执行的操作的实例可以包括提取、解码、执行和回写。
CPU可以是电路(诸如集成电路)的一部分。系统的一个或多个其他组件可以包含在电路中。在一些情况下,该电路是专用集成电路(ASIC)。
存储单元可以存储文件,诸如驱动程序、文库和保存的程序。存储单元可以存储用户数据,例如用户偏好和用户程序。在一些情况下,计算机系统300可以包括一个或多个附加数据存储单元,该附加数据存储单元在计算机系统外部,诸如位于通过内联网或因特网与计算机系统通信的远程服务器上。
计算机系统300可以通过网络230与一个或多个远程计算机系统通信。例如,计算机系统300可以与用户或参与平台(例如,操作员)的远程计算机系统通信。远程计算机系统的示例包括个人计算机(例如,便携式PC)、平板或平板型PC(例如,
iPad、
Galaxy Tab)、电话、智能电话(例如,
iPhone、支持Android的设备、
)或个人数字助理。用户可以经由网络230访问计算机系统300。
可以通过存储在计算机系统300的电子存储位置上(例如在存储器或电子存储单元上)的机器(例如计算机处理器)可执行代码来实现如本文所述的方法。机器可执行代码或机器可读代码可以以软件的形式提供。在使用期间,所述代码可以由处理器执行。在一些情况下,可以从存储单元检索该代码并将其存储在存储器上以备处理器访问。在一些情况下,可以排除电子存储单元,并且机器可执行指令存储在存储器上。
代码可以被预编译并配置为与由具有适于执行该代码的处理器的机器使用,或者可以在运行期间被编译。代码可以以编程语言提供,可以选择编程语言以使该代码能够以预编译或即时编译(as-compiled)的方式执行。
本文提供的系统和方法的方面,如计算机系统300,可以在编程中体现。本技术的各个方面可被认为是一般在机器可读介质上携带或体现的机器(或处理器)可执行代码和/或关联数据的形式的“产品”或“制品”。机器可执行代码可存储在电子存储单元如存储器(例如,只读存储器、随机存取存储器、闪速存储器)或硬盘上。“存储”型介质可包括计算机的任何或全部有形存储器、处理器等,或其相关模块,如各种半导体存储器、磁带驱动器、磁盘驱动器等,其可在任何时候为软件编程提供非暂时性存储。软件的全部或部分有时可以通过因特网或各种其他电信网络进行通信。例如,这样的通信可以使得软件能够从一个计算机或处理器加载到另一个计算机或处理器中,例如从管理服务器或主机计算机加载到应用服务器的计算机平台中。因此,可以承载软件元素的另一类型的介质包括光波、电波和电磁波,诸如跨本地设备之间的物理接口、通过有线和光学陆线网络以及通过各种空中链路而使用。携载此类波的物理元件,诸如有线或无线链路、光学链路等,也可以被认为是承载软件的介质。如本文所用的,除非受限于非暂时性有形“存储”介质,否则诸如计算机或机器“可读介质”的术语是指参与向处理器提供指令以供执行的任何介质。
因此,机器可读介质(诸如计算机可执行代码)可以采取许多形式,包括但不限于有形存储介质、载波介质或物理传输介质。非易失性存储介质包括例如光盘或磁盘,诸如任何计算机中的任何存储设备等,诸如可以用于实现附图中所示的数据库等。易失性存储介质包括动态存储器,诸如这样的计算机平台的主存储器。有形传输介质包括同轴缆线;铜线和光纤,包括包含计算机系统内总线的线。载波传输介质可以采取电信号或电磁信号或者声波或光波的形式,诸如在射频(RF)和红外(IR)数据通信期间生成的那些。因此,计算机可读介质的常见形式包括例如:软盘、柔性盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD或DVD-ROM、任何其他光学介质、穿孔卡片纸带、任何其他具有孔洞图案的物理存储介质、RAM、ROM、PROM和EPROM、FLASH-EPROM、任何其他存储器芯片或匣盒、传送数据或指令的载波、传送这样的载波的电缆或链路,或者计算机可从中读取编程代码和/或数据的任何其他介质。这些计算机可读介质形式中的许多可涉及将一个或多个指令的一个或多个序列携带至处理器以供执行。
计算机系统300可以包括电子显示器335或与电子显示器335通信,电子显示器335包括用于提供例如显示重构图像、获取方案的用户界面(UI)340。UI的实例包括但不限于图形用户界面(GUI)和基于网络的用户界面。GUI可由用户界面模块308呈现。
可通过一种或多种算法来实现本公开内容的方法和系统。算法可以在由中央处理单元执行时通过软件实现。例如,一些实施方式使用图4和图5所示的算法或以上相关描述中提供的其他算法。
图5示出了用于通过加速获取来改进MR图像质量的方法500的实例。可以从MR成像系统获得MR图像(操作510)以训练深度学习模型。MR图像可以用于形成训练数据集(操作520)。训练数据集可以包括相对较低质量的图像数据和相应的较高质量的图像数据(即,地表真实数据)。训练数据集可以包括从成像设备获得的低质量图像。例如,可通过欠采样数据(例如,k空间数据)的傅立叶逆变换(FT)简单获得低质量输入图像。训练数据集可以包括从模拟获得的扩充数据集。例如,来自临床数据库的图像数据可以用于生成低质量的图像数据。在一个示例中,可以将FFT和滤波器应用于原始图像数据,以将其转换为低质量图像数据,例如通过应用掩模以去除某些数据点从而创建伪像。类似地,可以从具有更长获取时间的直接图像获取中获得更高质量的输入图像数据。在一个示例中,训练数据集可以是包括多个轴向切片的3D体积图像数据,并且每个切片可以是复数值图像,每个可以包括用于实部和虚部的两个通道。
训练步骤530可以包括与本文公开内容一致的深度学习算法。深度学习算法可以是例如卷积神经网络。在一些情况下,深度学习算法可以是深度残差学习网络。然后,经训练的加速器可以用于以选定的加速方案将较低质量的MR图像转换为较高质量的MR图像。可以通过从用户接收目标加速度来确定加速度方案(操作540),然后对多个获取方案执行模拟以确定最优获取方案(操作550)。替代地或附加地,可以通过接收用户指定的获取方案(操作540)然后生成实时模拟结果(操作570)以示出在该获取方案下的模拟输出图像来确定获取方案(操作570)。用户可以在观看模拟的输出图像时确认或进一步调整获取方案(操作580)。
尽管图5示出了根据一些实施方式的方法,但是本领域普通技术人员将认识到,对于各种实施方式存在许多修改。例如,可以以任何顺序执行操作。某些操作可以被排除,某些操作可以在一个步骤中同时执行,某些操作可以重复,并且某些操作可以包括其他操作的子步骤。
每当术语“至少”、“大于”或“大于或等于”在一系列两个或更多个数值中的第一个数值之前时,术语“至少”、“大于”或“大于或等于”应用于该系列数值中的每个数值。例如,大于或等于1、2或3相当于大于或等于1、大于或等于2或者大于或等于3。
每当术语“不超过”、“小于”或“小于或等于”在一系列两个或更多个数值中的第一个数值之前时,术语“不超过”、“小于”或“小于或等于”应用于该系列数值中的每个数值。例如,小于或等于3、2或1相当于小于或等于3、小于或等于2或者小于或等于1。
如本文所用,A和/或B包含A或B中的一个或多个,及其组合,例如A和B。应当理解,尽管术语“第一”、“第二”、“第三”等在本文中用于描述各种元件、组件、区域和/或部分,但是这些元件、组件、区域和/或部分不应受这些术语的限制。这些术语仅用于区分一个元素、组件、区域或部分与另一元素、组件、区域或部分。因此,在不脱离本发明的教导的情况下,本文中讨论的第一元件、组件、区域或部分可以被称为第二元件、组件、区域或部分。
本文使用的术语仅出于描述特定实施方式的目的,而非意在限制本发明。如本文所用,除非上下文另外明确指出,单数形式“一个”、“一种”和“该”包括复数个指代物。将进一步理解,当在本说明书中使用时,术语“包括”和/或“包含”或“包括”和/或“包括”指定所陈述的特征、区域、整体、步骤、操作、元件和/或组件的存在,但不排除一个或多个其他特征、区域、整体、步骤、操作、元件、组件和/或其组合的存在或添加。
在整个说明书中,对“一些实施方式”或“一个实施方式”的引用表示结合该实施方式描述的特定特征、结构或特性包括在至少一个实施方式中。因此,在整个说明书中各处出现的短语“在一些实施方式中”或“在一个实施方式中”不一定都指的是同一个实施方式。此外,在一个或多个实施方式中,可以以任何合适的方式来组合特定特征、结构或特性。
虽然本文已经示出并描述了本发明的优选实施方式,但是对于本领域技术人员显而易见的是,这些实施方式仅以示例的方式提供。这并不意味着本发明受到本说明书中提供的具体示例的限制。虽然已经参考前述说明书描述了本发明,但是本文中对实施方式的描述和阐述并不旨在解释为限制性意义。本领域技术人员在不脱离本发明的情况下现将想到多种变化、改变和替代。此外,应当理解,本发明的所有方面并不限于本文根据各种条件和变量所提出的具体描述、配置或相对比例。应当理解,本文所述的本发明实施方式的各种替代方案可用于实施本发明。因此,预计本发明还应涵盖任何这样的替代方案、修改、更改或等同物。以下权利要求旨在限定本发明的范围,并由此涵盖这些权利要求范围内的方法和结构及其等同物。