CN110992440A - 弱监督磁共振快速成像方法和装置 - Google Patents

Abstract

本发明提出了一种基于深度神经网络模型的弱监督磁共振快速成像方法。具体来说，利用不同的成像方法对不同倍率的欠采样数据进行重建，得到不同倍率的重建图像，作为样本标签，将这些重建图像和欠采样数据作为训练样本对深度神经网络模型进行训练，得到可以用于全部欠采样倍率的重建模型，从而可以使用该重建模型直接对磁共振欠采样数据进行重建，得到重建图像。

Description

弱监督磁共振快速成像方法和装置

技术领域

本发明涉及图像处理领域，具体而言，涉及一种基于深度神经网络的弱监督磁共振快速成像方法。

背景技术

磁共振成像(Magnetic Resonance Imaging，MRI)作为一种多参数、多对比度的成像技术，是现代医疗影像学中主要的成像方式之一，可以反映组织T1、T2和质子密度等多种特性，可为疾病的检出和诊断提供信息。磁共振成像的基本工作原理是利用磁共振现象，采用射频激励激发人体中的氢质子，运用梯度场进行位置编码，随后采用接收线圈接收带位置信息的电磁信号，最终利用傅里叶变换重建出图像信息。

受傅里叶编码方式和奈奎斯特采样定理的限制，磁共振成像需要较长的扫描时间，不但给患者带来一定的不适，而且在重建的图像容易产生运动伪影。同时，过长的扫描时间限制了MRI对运动物体的成像，如血流、心脏等。依靠提高硬件性能，如梯度切换率和磁场强度等，加速采集的方式受制于人类神经对磁场变换的承受能力而无进一步提升的余地。近来，深度学习方法在图像识别，分割等方向取得显著成果，对于磁共振图像扫描时间慢的问题，深度神经网络(DNN，deep neural network)在近期被应用于加速磁共振扫描，以解决磁共振成像扫描速度慢的问题。

DNN应用的一个重要前提是需要训练集，训练集中的输出样本一般为高质量无噪声的成像信息。该高质量无噪声的成像信息一般由满采样或超满采样的k-空间数据重建得到。该满采样或超满采样的k-空间数据的采集需要消耗较长的采集时间。

由于深度学习方法往往需要巨大的训练数据来完成模型的训练。而对于医学图像处理，受制于患者隐私、部分病例罕见等问题的原因，很难搜集到大量合理分布的训练样本。

此外，在某些应用场景中，例如腹部扫描，在扫描时需要扫描对象屏气，因扫描对象屏气时间不会太长，因而数据采集时间有限，不可能得到满采样或超满采样的k-空间数据。导致DNN无法应用到这些采集时间受限的磁共振成像应用场景中。因此，深度学习在医学图像，特别是在磁共振成像方面尚未有明显突破。

发明内容

本发明正是基于上述技术问题至少之一，提出了一种新的基于深度神经网络的弱监督磁共振快速成像方法，针对磁共振图像难以获得大量全采样标签数据的特点，在无全采样的金标准的情况下，通过欠采样数据和现有技术中的成像算法，生成重建图像作为可接受的弱标签数据，对深度神经网络进行训练，并根据多个不同模型重建结果的误差选择效果更好的模型，从而解决了用于网络训练的全采样样本数据难以获取的问题。

有鉴于此，本发明的第一方面的实施例，提出了一种基于深度神经网络的弱监督磁共振快速成像方法，其特征在于，包括：

获取待成像的磁共振欠采样数据；

获取不同采样倍率的磁共振欠采样训练数据；

若所述欠采样训练数据的采样倍率小于预设阈值，使用第一重建算法对所述欠采样训练数据进行重建，得到第一重建图像；

若所述欠采样训练数据的采样倍率不小于预设阈值，使用第二重建算法对所述欠采样训练数据进行重建，得到第二重建图像；

对所述第一重建图像和所述第二重建图像进行预处理，得到所述欠采样训练数据对应的弱标签数据；

使用所述欠采样训练数据和所述弱标签数据对预设的多个神经网络模型进行训练，得到多个欠采样成像模型；

根据测试数据获取所述多个欠采样成像模型的成像误差，选择误差最小的欠采样成像模型作为成像模型；

使用所述成像模型对所述磁共振欠采样数据进行图像重建，得到磁共振图像。

优选的，所述预设阈值为3倍。

本实施例中，所述第一重建算法可以为GRAPPA算法、SPIRiT算法或L1-SPIRiT算法等传统磁共振欠采样重建算法。

本实施例中，所述第二重建算法可以为机器学习算法，优选采用神经网络模型，如MoDL、ADMM-Net、AUTOMAP、U-Net、VN-Net等神经网络模型。使用这些神经网络模型进行图像重建前，同样需要使用训练数据对模型进行训练。

更进一步的，本实施例中，对重建图像进行的预处理为图像归一化处理。

本实施例中，所述测试数据包括：全采样测试数据、根据所述全采样测试数据重建的磁共振测试图像以及对所述全采样测试数据使用预设欠采样方法进行欠采样得到的欠采样测试数据，使用测试数据测试所述多个欠采样成像模型的成像误差包括：

使用所述多个欠采样模型对所述欠采样测试数据进行重建，得到多个重建图像，计算每个所述重建图像和所述测试图像之间的误差。

另一方面，本发明的一个实施例提供一种磁共振成像装置，包括：

获取单元，用于获取待成像的磁共振欠采样数据；

训练数据获取单元，用于获取不同采样倍率的磁共振欠采样训练数据；

第一重建单元，用于当所述欠采样训练数据的采样倍率小于预设阈值时，使用第一重建算法对所述欠采样训练数据进行重建，得到第一重建图像；

第二重建单元，用于当所述欠采样训练数据的采样倍率不小于预设阈值时，使用第二重建算法对所述欠采样训练数据进行重建，得到第二重建图像；

标注单元，用于对所述第一重建图像和所述第二重建图像进行预处理，得到所述欠采样训练数据对应的弱标签数据；

模型训练单元，用于使用所述欠采样训练数据和所述弱标签数据对预设的多个神经网络模型进行训练，得到多个欠采样成像模型；

模型选择单元，用于根据测试数据获取所述多个欠采样成像模型的成像误差，选择误差最小的欠采样成像模型作为成像模型；

成像单元，用于使用所述成像模型对所述磁共振欠采样数据进行图像重建，得到磁共振图像。

本实施例中，第一重建单元使用的第一重建算法为GRAPPA算法、SPIRiT算法或L1-SPIRiT算法等传统磁共振欠采样重建算法。

本实施例中，第二重建单元使用的第二重建算法为机器学习算法，优选为神经网络模型，如MoDL、ADMM-Net、AUTOMAP、U-Net、VN-Net等神经网络模型。使用这些神经网络模型进行图像重建前，同样需要使用训练数据对模型进行训练。

本实施例中，所述标注单元进行的预处理为图像归一化处理。

本实施例的模型选择单元使用的所述测试数据包括：全采样测试数据、根据所述全采样测试数据重建的磁共振测试图像以及对所述全采样测试数据使用预设欠采样方法进行欠采样得到的欠采样测试数据，使用测试数据测试所述多个欠采样成像模型的成像误差包括：

使用所述多个欠采样模型对所述欠采样测试数据进行重建，得到多个重建图像，计算每个所述重建图像和所述测试图像之间的误差。。

通过以上技术方案，可以更好的利用现有的磁共振欠采样数据，通过合理选择欠采样数据的重建算法，使用已有算法对欠采样数据进行重建，使用重建图像作为训练数据，对多个不同的深度神经网络模型进行训练，得到多个重建模型，并对多个重建模型使用测试数据进行测试，选择误差最小的重建模型作为最终选择用于图像重建的模型，从而在全采样数据难以获得的情况下，通过欠采样数据和重建图像作为训练样本，得到效果较好的训练模型，改进欠采样条件下的最终成像结果的质量，可以有效提升磁共振成像的速度和效果。

附图说明

图1示出了根据本发明的实施例一的成像方法的示意图；

图2示出了根据本发明的实施例一的成像方法的另一个示意图；

图3示出了深度神经网络结构示意图；

图4示出了根据本发明的实施例二的成像装置的示意图；

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例一

图1示出了根据本发明的一个实施例的磁共振快速成像方法的示意框图。

如图1所示，根据本发明的一个实施例的磁共振快速成像方法，包括以下步骤：

S101：获取待成像的磁共振欠采样数据。

这里的欠采样数据为磁共振成像扫描过程中采集到的欠采样K空间数据。磁共振成像中，可以对多种不同参数进行成像，如T1、T2和质子密度等，可以通过不同的序列获取不同参数的K空间采样数据。根据奈奎斯特定律，高于最低采样频率的采样下，才可以无损的从K空间采样数据重建MRI图像，这种情况下获取的K空间数据一般称为全采样数据。全采样需要的扫描时间一般较长，为了加快磁共振扫描和成像的速度，一般通过对采样序列的不同设计获得欠采样的K空间数据，从而大大降低扫描时间。

根据欠采样的采样频率和全采样采样频率的比值，可以定义采样倍率。采样倍率越大，扫描速度越快，采样频率越低，获取的K空间数据也越少。

本发明中，对于欠采样的具体方式不做限定，现有技术中可行的磁共振K空间欠采样方法和序列均可用于本发明。

S102：获取不同采样倍率的磁共振欠采样训练数据。

这里磁共振欠采样训练数据是用于对成像使用的深度神经网络进行训练的训练数据，训练数据可以来自于历史收集的不同采样频率的K空间欠采样数据。欠采样训练数据的采样方法可以与待成像的欠采样数据相同，也可以不同，本发明对此不做限定。

这里的欠采样训练数据也可以通过对已有的全采样的K空间数据进行欠采样得到。同样的，采样方式可以与待成像的欠采样数据相同，也可以不同。

模型训练一般需要大量数据，对于人体某些特定部位的磁共振成像，如腹部和肺部，由于全采样需要时间较长，成像扫描过程需要人体保持屏气，但是正常人无法保持长时间屏气，因此难以获得全采样数据，这些部位一般只能获取欠采样数据进行成像，因此也难以获得这些部位经全采样数据重建的精确MRI图像对神经网络模型进行训练。

为了实现对相应模型的训练，训练数据一般也使用欠采样数据，以降低数据收集时间，同时可以更好的利用现有的历史数据。

S103：使用预设算法对不同采样倍率的磁共振欠采样训练数据进行重建，得到重建图像。

本步骤中，首先对磁共振欠采样训练数据的采样倍率进行判断，如果采样倍率小于预设阈值，则使用第一重建算法对所述欠采样训练数据进行重建，得到第一重建图像；如果采样倍率不小于预设阈值，则使用第二重建算法对所述欠采样训练数据进行重建，得到第二重建图像。这里的第一重建算法和第二重建算法类别不同。

在加快成像速度和提高成像质量之间，往往需要进行平衡，对于不同的人体部位以及不同的检测需求，往往采用不同的采样倍率。为了提高算法的鲁棒性，更好的适应不同欠采样倍率的图像重建，本发明中对深度神经网络模型的训练使用了多种不同采样倍率的欠采样数据，但是在欠采样情况下，如何获取相对更精确地重建图像，从而提高训练数据的质量，目前现有技术中并没有相关研究，而为了解决这个问题，本发明选择使用不同的重建算法对不同采样倍率的欠采样训练数据进行重建，从而提高了训练数据的质量，在不使用或者较少使用全采样数据的情况下，也能够获得较好的训练效果。

根据不同重建算法的特点，本申请将采样倍率的阈值设置为3倍。对于采样频率在3倍以下的欠采样训练数据，选择使用传统重建方法进行图像重建，得到对应的磁共振图像。如GRAPPA算法、SPIRiT算法或L1-SPIRiT算法等传统磁共振欠采样重建算法。

对于采样倍率在3倍以上的欠采样训练数据，本申请选择使用训练好的神经网络模型进行图像重建，得到对应的磁共振图像。目前使用较多的磁共振图像重建的神经网络模型有MoDL、ADMM-Net、AUTOMAP、U-Net、VN-Net等。对于这些模型的训练，可以使用现有技术中已有的训练方法，训练数据可以选择脑部、膝盖部位等相对容易获得全采样数据的部位的全采样数据，然后使用训练好的模型对高度欠采样的训练数据进行重建。虽然这里欠采样训练数据的部位往往和训练神经网络使用的全采样数据的部位不同，经测试成像质量仍然可以满足本发明需求。

S104：对重建图像进行预处理，得到训练数据的弱标签图像。

这里将步骤S103中得到的重建图像做进一步的处理，从而得到作为训练数据的弱标签图像，这样就得到了用于模型训练的欠采样训练数据和作为其对应标注的重建图像。在优选的实施方式中，预处理为图像归一化处理。由于重建的磁共振图像均为灰度图像，因此，可以直接将图像中所有像素除以亮度最大的像素的亮度值，从而得到归一化的重建图像。使用归一化图像可以更好的避免灰度不同带来的训练误差。

S105：使用所述欠采样训练数据和所述弱标签图像对预设的多个神经网络模型进行训练，得到多个欠采样成像模型。

本步骤中使用步骤S102-S104中得到的训练数据对多个不同的神经网络模型进行训练。这里的神经网络模型后续用于欠采样数据的图像重建。

这里使用的多个神经网络模型可以使用现有技术中不同种类的深度神经网络模型(DNN)，也可以使用相同种类但参数不同的DNN模型。例如，图像领域典型的深度神经网络结构包括：

1.VGG模型

VGG又分为VGG16和VGG19，分别在AlexNet的基础上将层数增加到16和19层，它除了在识别方面很优秀之外，对图像的目标检测也有很好的识别效果，是目标检测领域的较早期模型。

2.GoogLeNet模型

GoogLeNet除了层数加深到22层以外，主要的创新在于它的Inception，这是一种网中网(Network In Network)的结构，即原来的节点也是一个网络。用了Inception之后整个网络结构的宽度和深度都可扩大，能够带来2到3倍的性能提升。

3.ResNet模型

ResNet直接将深度拉到了152层，其主要的创新在于残差网络，其实这个网络的提出本质上是要解决层次比较深时无法训练的问题。这种借鉴了Highway Network思想的网络，相当于旁边专门开个通道使得输入可以直达输出，而优化的目标由原来的拟合输出H(x)变成输出和输入的差H(x)-x，其中H(x)是某一层原始的期望映射输出，x是输入。

4.Inception-ResNet-v2模型

Inception-ResNet-v2：是目前比较新的经典模型，将深度和宽带融合到一起，是将Inception v3与ResNet结合而成的。

为了获得更好的重建效果，优选使用多种不同类型的网络结构进行训练，这样在前期可以不必花费大量时间在模型设计和参数调整上，而是使用训练数据对多种不同结构、不同参数的神经网络进行训练，再从中选择更合适的模型使用。

S106：根据测试数据获取所述多个欠采样成像模型的成像误差，选择误差最小的欠采样成像模型作为成像模型。

本步骤对步骤S105中训练好的多个神经网络模型进行测试。测试可以使用全采样数据。将测试用的全采样数据进行再次采样得到欠采样数据输入多个训练好的神经网络模型，得到欠采样数据的重建图像，将这些重建图像和直接使用全采样数据重建的磁共振图像进行对比，计算出误差，选择误差最小的模型作为最终对欠采样数据进行重建使用的模型。

误差计算可以使用现有技术中通用的误差计算方法，如均方差等。或者通过计算两幅图像直接的相似度，相似度小的即误差更小。

本步骤中对测试使用的全采样数据进行再次采样时，使用的采样方法和步骤S101中获取待成像的磁共振欠采样数据的欠采样方法一致，以获得更好的效果。对于不同采样方式的待成像欠采样数据，仅仅需要在测试步骤中选择相同的采样方法，就可以选择出最适合该采样方式的模型，大大提高了算法的鲁棒性和适应性，无需进行过多调整。

S107：使用所述成像模型对所述磁共振欠采样数据进行图像重建，得到磁共振图像。

最后，使用筛选出的误差最小的模型作为最终成像使用的成像模型，对步骤S101中获取的待成像的磁共振欠采样数据进行图像重建，得到磁共振图像。

实施例二

图4示出了根据本发明的另一个实施例的示意框图。

如图4所示，本发明的第二实施例提供了一种磁共振成像装置，具体包括：

获取单元，用于获取待成像的磁共振欠采样数据；

训练数据获取单元，用于获取不同采样倍率的磁共振欠采样训练数据；

重建单元，使用预设算法对不同采样倍率的磁共振欠采样训练数据进行重建，得到重建图像；

标注单元，用于对所述第一重建图像和所述第二重建图像进行预处理，得到所述欠采样训练数据对应的弱标签数据；

模型训练单元，用于使用所述欠采样训练数据和所述弱标签数据对预设的多个神经网络模型进行训练，得到多个欠采样成像模型；

模型选择单元，用于根据测试数据获取所述多个欠采样成像模型的成像误差，选择误差最小的欠采样成像模型作为成像模型；

成像单元，用于使用所述成像模型对所述磁共振欠采样数据进行图像重建，得到磁共振图像。

优选的，重建单元包括第一重建单元和第二重建单元，其中，第一重建单元用于当所述欠采样训练数据的采样倍率小于预设阈值时，使用第一重建算法对所述欠采样训练数据进行重建，得到第一重建图像；第二重建单元用于当所述欠采样训练数据的采样倍率不小于预设阈值时，使用第二重建算法对所述欠采样训练数据进行重建，得到第二重建图像。和实施例一相同，采样倍率的预设阈值设置为3倍。对于采样频率在3倍以下的欠采样训练数据，选择使用传统重建方法进行图像重建，得到对应的磁共振图像。如GRAPPA算法、SPIRiT算法或L1-SPIRiT算法等传统磁共振欠采样重建算法。对于采样倍率在3倍以上的欠采样训练数据，使用训练好的神经网络模型进行图像重建，得到对应的磁共振图像。如MoDL、ADMM-Net、AUTOMAP、U-Net、VN-Net等模型。

磁共振成像装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本发明的其它实施例中，基于模型训练装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本发明的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行实施例二中相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如附图4中所示的模型训练装置设备，以及来实现本发明实施例的模型训练方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。

实施例三

本发明的实施例三提供一种计算机存储介质，所述计算机存储介质存储有一条或多条第一指令，所述一条或多条第一指令适于由处理器加载并执行前述实施例中的磁共振成像方法。

本发明各实施例方法中的步骤可根据实际需要进行顺序调整、合并和删减。

本发明各实施例装置中的单元可根据实际需要进行合并、划分和删减。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上结合附图详细说明了本发明的技术方案，以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度神经网络的弱监督磁共振快速成像方法，其特征在于，包括：

获取待成像的磁共振欠采样数据；

获取不同采样倍率的磁共振欠采样训练数据；

若所述欠采样训练数据的采样倍率小于预设阈值，使用第一重建算法对所述欠采样训练数据进行重建，得到第一重建图像；

若所述欠采样训练数据的采样倍率不小于预设阈值，使用第二重建算法对所述欠采样训练数据进行重建，得到第二重建图像；

对所述第一重建图像和所述第二重建图像进行预处理，得到所述欠采样训练数据对应的弱标签数据；

使用所述欠采样训练数据和所述弱标签数据对预设的多个神经网络模型进行训练，并进行调参优化，得到多个欠采样成像模型；

根据测试数据获取所述多个欠采样成像模型的成像误差，选择误差最小的欠采样成像模型作为成像模型；

使用所述成像模型对所述磁共振欠采样数据进行图像重建，得到磁共振图像。

2.如权利要求1所述的成像方法，其特征在于，所述第一重建算法为GRAPPA算法、SPIRiT算法或L1-SPIRiT算法。

3.如权利要求1所述的成像方法，其特征在于，所述第二重建算法为机器学习算法。

4.如权利要求1所述的成像方法，其特征在于，所述预处理为图像归一化处理。

5.如权利要求1所述的成像方法，其特征在于，所述测试数据包括：全采样测试数据、根据所述全采样测试数据重建的磁共振测试图像以及对所述全采样测试数据使用预设欠采样方法进行欠采样得到的欠采样测试数据，使用测试数据测试所述多个欠采样成像模型的成像误差包括：

使用所述多个欠采样模型对所述欠采样测试数据进行重建，得到多个重建图像，计算每个所述重建图像和所述测试图像之间的误差。

6.一种磁共振成像装置，包括：

获取单元，用于获取待成像的磁共振欠采样数据；

训练数据获取单元，用于获取不同采样倍率的磁共振欠采样训练数据；

第一重建单元，用于当所述欠采样训练数据的采样倍率小于预设阈值时，使用第一重建算法对所述欠采样训练数据进行重建，得到第一重建图像；

第二重建单元，用于当所述欠采样训练数据的采样倍率不小于预设阈值时，使用第二重建算法对所述欠采样训练数据进行重建，得到第二重建图像；

标注单元，用于对所述第一重建图像和所述第二重建图像进行预处理，得到所述欠采样训练数据对应的弱标签数据；

模型训练单元，用于使用所述欠采样训练数据和所述弱标签数据对预设的多个神经网络模型进行训练，得到多个欠采样成像模型；

模型选择单元，用于根据测试数据获取所述多个欠采样成像模型的成像误差，选择误差最小的欠采样成像模型作为成像模型；

成像单元，用于使用所述成像模型对所述磁共振欠采样数据进行图像重建，得到磁共振图像。

7.如权利要求6所述的装置，其特征在于，所述所述第一重建算法为GRAPPA算法、SPIRiT算法或L1-SPIRiT算法。

8.如权利要求6所述的装置，其特征在于，所述第二重建算法为机器学习算法。

9.如权利要求6所述的装置，其特征在于，所述所述预处理为图像归一化处理。

10.如权利要求6所述的装置，其特征在于，所述测试数据包括：全采样测试数据、根据所述全采样测试数据重建的磁共振测试图像以及对所述全采样测试数据使用预设欠采样方法进行欠采样得到的欠采样测试数据，使用测试数据测试所述多个欠采样成像模型的成像误差包括：

使用所述多个欠采样模型对所述欠采样测试数据进行重建，得到多个重建图像，计算每个所述重建图像和所述测试图像之间的误差。

Images