CN111091604B - 快速成像模型的训练方法、装置及服务器 - Google Patents

Abstract

本申请属于磁共振扫描成像技术领域，提供了一种快速成像模型的训练方法、装置及服务器，该方法包括：在每一次模型迭代训练时，根据欠采样掩膜对磁共振扫描到的图像进行欠采样，得到训练数据；将所述训练数据输入快速成像模型，通过N个多粒度注意力模块根据图像的多尺度信息和注意力机制对所述训练数据进行特征提取，并融合每一所述多粒度注意力模块提取到的特征图；对融合后的特征图进行图像重建，输出成像数据；根据所述成像数据与目标标签反向计算梯度，以通过所述梯度更新所述快速成像模型的参数和所述欠采样掩膜；采用更新后的参数和欠采样掩膜进行前向计算。本申请实施例解决无法对欠采样掩膜进行优化和成像效果不佳的问题。

Description

快速成像模型的训练方法、装置及服务器

技术领域

本发明涉及磁共振扫描成像的技术领域，尤其涉及一种快速成像模型的训练方法、装置及服务器。

背景技术

磁共振成像由于自身强大的功能，能提供丰富的解剖和功能信息，使得磁共振成像在医疗领域应用广泛。为进行磁共振成像，需在临床上对病人进行磁共振扫描。在扫描时，病人需长时间保持一个姿势不变，导致病人体验感差。因此需加快磁共振成像速度。在真实场景中，磁共振扫描仪需要以奈奎斯特采样频率对数据进行采样才能确保能够完全不失真地恢复数据。

在现有技术中，主要是基于深度学习构建磁共振快速成像方法。采用该方法进行成像的步骤主要为，考虑只采集部分数据，以不满足奈奎斯特采样定理的采样方式(高倍回顾性欠采样)对数据进行采样；对获得的欠采样数据进行填零操作得到零填充图像；将零填充图像输入深度学习网络，经过深度学习网络处理后输出恢复的高清图像。但由于基于深度学习构建的快速成像方法无法对应用于数据采样的欠采样掩膜进行学习，无法对欠采样掩膜进行优化；且基于深度学习构建的快速成像方法仅考虑了通道注意力，导致快速成像方法的成像效果不佳。

发明内容

有鉴于此，本发明实施例提供了一种快速成像模型的训练方法、装置及服务器，以解决无法对欠采样掩膜进行优化和成像效果不佳的问题。

本发明实施例的第一方面提供了一种快速成像模型的训练方法，包括：

在每一次模型迭代训练时，根据欠采样掩膜对磁共振扫描到的图像进行欠采样，得到训练数据；

将所述训练数据输入快速成像模型，通过N个多粒度注意力模块根据图像的多尺度信息和注意力机制对所述训练数据进行特征提取，并融合每一所述多粒度注意力模块提取到的特征图；N≥1；

对融合后的特征图进行图像重建，输出成像数据；

根据所述成像数据与目标标签反向计算梯度，以通过所述梯度更新所述快速成像模型的参数和所述欠采样掩膜；

采用更新后的参数和更新后的欠采样掩膜进行前向计算，以输出下一所述成像数据。

在一个实施示例中，所述将所述训练数据输入快速成像模型，通过N个多粒度注意力模块根据图像的多尺度信息和注意力机制对所述训练数据进行特征提取，并融合每一所述多粒度注意力模块提取到的特征图，包括：

提取所述训练数据的初始化特征数据；

对于每一所述多粒度注意力模块，根据预设的若干图像尺度对所述初始化特征数据进行特征提取，并融合提取到的若干特征图；

通过多粒度注意力机制将融合后的特征图分割为若干具有不同注意力权重的区域图像；

融合所有所述区域图像，得到特征细化后的特征图。

在一个实施示例中，所述根据所述成像数据与目标标签反向计算梯度，以通过所述梯度更新所述快速成像模型的参数和所述欠采样掩膜，包括：

根据所述成像数据与所述目标标签反向计算梯度，得到梯度矩阵；

根据所述梯度矩阵更新所述多粒度注意力机制赋予所述若干区域图像的注意力权重。

在一个实施示例中，所述根据所述成像数据与目标标签反向计算梯度，以通过所述梯度更新所述快速成像模型的参数和所述欠采样掩膜，还包括：

根据所述欠采样掩膜生成连续型掩膜，将所述连续型掩膜与所述梯度矩阵相加得到更新后的连续型掩膜；

将所述更新后的连续型掩膜二值化，得到更新后的欠采样掩膜。

在一个实施示例中，所述快速成像模型包括学习所述欠采样掩膜的卷积层，根据所述欠采样掩膜对应设置所述卷积层的卷积核和参数；所述欠采样掩膜的初始值包括预设数量的低频采样条和随机采样的高频采样条。

在一个实施示例中，所述将所述更新后的连续型掩膜二值化的规则为：

其中，(φ)_ij为二值化后的所述欠采样掩膜；(φ_c)_ij为所述连续型掩膜；τ为所述连续型掩膜中最大值的根据成像加速倍数设置的预设百分比。

在一个实施示例中，所述根据欠采样掩膜对磁共振扫描到的图像进行欠采样，得到训练数据，包括：

根据所述欠采样掩膜对磁共振扫描到的图像进行欠采样，得到欠采样K空间数据；

对所述欠采样K空间数据进行傅里叶逆变换得到欠采样图像域数据，以作为所述训练数据。

在一个实施示例中，对磁共振扫描到的所述图像进行傅里叶逆变换得到全采样图像域数据，以作为所述目标标签。

本发明实施例的第二方面提供了一种快速成像模型的训练装置，包括：

训练数据生成模块，用于在每一次模型迭代训练时，根据欠采样掩膜对磁共振扫描到的图像进行欠采样，得到训练数据；

特征提取模块，用于将所述训练数据输入快速成像模型，通过N个多粒度注意力模块根据图像的多尺度信息和注意力机制对所述训练数据进行特征提取，并融合每一所述多粒度注意力模块提取到的特征图；N≥1；

图像融合模块，用于对融合后的特征图进行图像重建，输出成像数据；

参数和欠采样掩膜更新模块，用于根据所述成像数据与目标标签反向计算梯度，以通过所述梯度更新所述快速成像模型的参数和所述欠采样掩膜；

前向计算模块，用于采用更新后的参数和更新后的欠采样掩膜进行前向计算，以输出下一所述成像数据。

本发明实施例的第三方面提供了一种服务器，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面中快速成像模型的训练方法。

本发明实施例提供的一种快速成像模型的训练方法、装置及服务器，通过在每一次模型迭代训练时，根据欠采样掩膜对磁共振扫描到的图像进行欠采样，得到训练数据；将所述训练数据输入快速成像模型，通过N个多粒度注意力模块根据图像的多尺度信息和注意力机制对所述训练数据进行特征提取，并融合每一所述多粒度注意力模块提取到的特征图；N≥1；对融合后的特征图进行图像重建，输出成像数据；所述快速成像模型包括学习所述欠采样掩膜的神经网络层；根据所述成像数据与目标标签反向计算梯度，以通过所述梯度更新所述快速成像模型的参数和所述欠采样掩膜；采用更新后的参数和更新后的欠采样掩膜进行前向计算，以输出下一所述成像数据。通过将学习欠采样掩膜的神经网络嵌入快速成像模型中一起迭代训练，并根据成像数据与目标标签反向计算的梯度对应优化欠采样掩膜和模型参数，从而提高快速成像模型的成像速率。且快速成像模型中包括N个多粒度注意力模块根据图像的多尺度信息和注意力机制对所述训练数据进行特征提取，充分利用图像的多粒度信息和区域注意力。增强成像数据中特征的表示，从而提高成像效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的快速成像模型的训练方法的流程示意图；

图2是本发明实施例一提供的快速成像模型的结构示意图；

图3是本发明实施例一提供的多粒度注意力模块的结构示意图；

图4是本发明实施例一提供的基于多粒度注意力机制的特征细化部分的结构示意图；

图5是本发明实施例二提供的快速成像模型的训练方法的流程示意图；

图6是本发明实施例二提供的磁共振扫描成像过程的实施例示意图；

图7是本发明实施例三提供的快速成像模型的训练装置的结构示意图；

图8是本发明实施例四提供的服务器的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含一系列步骤或单元的过程、方法或系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。

实施例一

如图1所示，是本发明实施例一提供的快速成像模型的训练方法的流程示意图。本实施例可适用于对磁共振扫描成像的应用场景，该方法可以由快速成像模型的训练装置执行，该装置可为服务器、智能终端、平板或PC等；在本发明实施例中以快速成像模型的训练装置作为执行主体进行说明，该方法具体包括如下步骤：

S110、在每一次模型迭代训练时，根据欠采样掩膜对磁共振扫描到的图像进行欠采样，得到训练数据；

在磁共振扫描成像过程中，获得扫描数据即全采样K空间数据。磁共振扫描仪需要以奈奎斯特采样频率对扫描数据进行采样生成图像，才能确保能够完全不失真地恢复数据。但以奈奎斯特采样频率对扫描数据进行采样这一过程缓慢，导致成像时间长。为加速上述数据采样过程以提高成像速度，可考虑只采集扫描数据中的部分数据，以低于奈奎斯特采样频率的采样率对数据进行采样即欠采样。在现有技术中存在多种欠采样方式，常用的方式有1D random(一维随机)方式，通过列数与K空间图像(扫描数据)相位编码方向长度一致的欠采样矩阵即欠采样掩膜，与扫描数据相乘便能得到欠采样的图像。因此，可通过根据预设的欠采样掩膜对扫描数据进行欠采样得到成像所需的数据。

具体地，在某一次模型迭代训练时，若此次迭代训练过程为首次模型迭代训练过程，则根据欠采样掩膜的预设初始值对磁共振扫描到的图像进行欠采样，得到训练数据；若此次迭代训练过程不为首次模型迭代训练过程，则根据上一次迭代训练后更新的欠采样掩膜对磁共振扫描到的图像进行欠采样，得到训练数据。

S120、将所述训练数据输入快速成像模型，通过N个多粒度注意力模块根据图像的多尺度信息和注意力机制对所述训练数据进行特征提取，并融合每一所述多粒度注意力模块提取到的特征图；N≥1；

在一个实施示例中，如图2所示，为快速成像模型的结构示意图。该快速成像模型可为多粒度注意力网络，主要包括两个部分：特征提取部分21和重建部分22。在每一轮模型迭代训练过程中，将训练数据输入快速成像模型后，可先通过特征提取部分21中的一个卷积层提取训练数据的初始化特征数据。

具体地，快速成像模型的特征提取部分还包括N个多粒度注意力模块23，N≥1；且每一多粒度注意力模块23中的参数有所不同，以添加更多的非线性运算，使结果更优化。可选的，N可为5。经由特征提取部分21中的一个卷积层提取到的初始化特征数据输入一个多粒度注意力模块23，根据图像的多尺度信息和注意力机制对所述初始化特征数据进行特征提取得到特征图像，然后将该特征图像输入至下一多粒度注意力模块23直至遍历N个多粒度注意力模块23。快速成像模型的特征提取部分还包括连接层，通过该连接层将每一所述多粒度注意力模块提取到的特征图融合在一起。由于每一所述多粒度注意力模块提取到的特征图产生了很多个通道的特征图，需由特征提取部分中的一个卷积层修改特征图的通道数量。通道数量修改后的特征图还需进行全局残差计算，防止由于模型网络层数过深而出现梯度消失，难以训练参数的问题。再将计算得到的特征图输入快速成像模型中的重建部分22以生成图像，增强了生成图像中特征的表示。

在一个实施示例中，每一多粒度注意力模块根据图像的多尺度信息和注意力机制对所述初始化特征数据进行特征提取的过程为：对于每一所述多粒度注意力模块，根据预设的若干图像尺度对所述初始化特征数据进行特征提取，并融合提取到的若干特征图；通过多粒度注意力机制将融合后的特征图分割为若干具有不同注意力权重的区域图像；融合所有所述区域图像，得到特征细化后的特征图。

具体地，每一多粒度注意力模块(multi-grained attention block)可包括两部分：基于多尺度密集连接的特征融合部分和基于多粒度注意力机制的特征细化部分；且每一多粒度注意力模块中都有一个本地残差连接。如图3所示，为多粒度注意力模块的结构示意图。由于不同尺度的视觉信息都会对成像有所帮助，基于多尺度密集连接的特征融合部分根据预设的若干图像尺度对所述初始化特征数据进行特征提取，并融合提取到的若干特征图。

在基于多尺度密集连接的特征融合部分中设有若干个单元，每一单元中具有两条路径，每一路径中均设有一个卷积层，根据预设的若干图像尺度对每一单元中的卷积层参数进行设置。可选的，基于多尺度密集连接的特征融合部分中设有3个单元，可分别采用卷积核为3x3的卷积层和卷积核为5X5的卷积层。初始化特征数据输入基于多尺度密集连接的特征融合部分后，经由一个单元中的两个卷积层对初始化特征数据进行卷积，然后通过连接层将两个卷积层的输出融合在一起，从而将包含不同尺度视觉信息的特征图综合在一起；融合得到的特征图像以密集连接的方式被输入到下一单元中继续进行卷积计算，直至遍历基于多尺度密集连接的特征融合部分中的3个单元。基于多尺度密集连接的特征融合部分融合提取到的若干特征图经由一个卷积核为1X1的卷积层卷积后输入基于多粒度注意力机制的特征细化部分。

具体地，基于多粒度注意力机制的特征细化部分可包括两个部分：挤压激励操作和多粒度注意力机制。如图4所示，为基于多粒度注意力机制的特征细化部分的结构示意图。输入基于多粒度注意力机制的特征细化部分的特征图通过多粒度注意力机制将融合后的特征图分割为若干具有不同注意力权重的区域图像。多粒度注意力机制将输入的特征图分别以预设的多种不同的方式划分，每种划分方式形成对应数量的区域特征图。可选的，可预设三种不同的图像分割方式，分别为S＝1、S＝2和S＝3。且被划分出来的区域图像均被赋予对应的注意力权重值，通过不同划分方式得到的区域图像之间的注意力权重值不相同。每一具有注意力权重的区域图像还需经过挤压激励操作，即经过对应的全局池化，然后经过两个带权重的卷积核为1X1的卷积层得到学习后的通道权重W₁和W₂；还需经过激活函数计算和一个点积操作，得到最后的注意力权重值。可选的，该激活函数可为Sigmoid激活函数。融合所有得到最后的注意力权重值的区域图像得到特征细化后的特征图。

S130、对融合后的特征图进行图像重建，输出所述成像数据；

将训练数据输入快速成像模型的特征提取部分得到融合所有得到最后的注意力权重值的区域图像得到特征细化后的特征图后，快速成像模型的重建部分对特征细化后的特征图进行图像重建，输出所述成像数据。可选的，重建部分可由上采样层和卷积层组成。由于特征细化后的特征图与最终的真实图像(目标标签)维度大小并不一致，只有一半，特征细化后的特征图经由上采样层上采样将特征图恢复至与真实图像(目标标签)同样大小。上采样后的特征图再经过卷积层卷积得到成像数据。

S140、根据所述成像数据与目标标签反向计算梯度，以通过所述梯度更新所述快速成像模型的参数和所述欠采样掩膜；

在每一轮模型迭代训练过程中，当获得快速成像模型对输入的训练数据进行成像计算输出的成像数据后，为根据此次模型训练输出的成像数据对快速成像模型的参数和欠采样掩膜进行优化，可根据此次模型训练输出的成像数据与预设的目标标签反向计算梯度，从而根据计算获得的梯度更新快速成像模型的参数和欠采样掩膜。

在一个实施示例中，根据所述成像数据与目标标签反向计算的梯度更新快速成像模型的参数的过程可为：根据所述成像数据与所述目标标签反向计算梯度，得到梯度矩阵；根据所述梯度矩阵更新所述多粒度注意力机制赋予所述若干区域图像的注意力权重。

S150、采用更新后的参数和更新后的欠采样掩膜进行前向计算，以输出下一所述成像数据。

在每一轮模型迭代训练过程中，根据输出的成像数据与目标标签反向计算梯度更新快速成像模型的参数和欠采样掩膜后，完成此轮的模型迭代训练过程。采用更新后的参数和欠采样掩膜进行前向计算，以进行下一轮的模型迭代训练。

本发明实施例提供的一种快速成像模型的训练方法，通过在每一次模型迭代训练时，根据欠采样掩膜对磁共振扫描到的图像进行欠采样，得到训练数据；将所述训练数据输入快速成像模型，通过N个多粒度注意力模块根据图像的多尺度信息和注意力机制对所述训练数据进行特征提取，并融合每一所述多粒度注意力模块提取到的特征图；N≥1；对融合后的特征图进行图像重建，输出成像数据；所述快速成像模型包括学习所述欠采样掩膜的神经网络层；根据所述成像数据与目标标签反向计算梯度，以通过所述梯度更新所述快速成像模型的参数和所述欠采样掩膜；采用更新后的参数和更新后的欠采样掩膜进行前向计算，以输出下一所述成像数据。通过将学习欠采样掩膜的神经网络嵌入快速成像模型中一起迭代训练，并根据成像数据与目标标签反向计算的梯度对应优化欠采样掩膜和模型参数，从而提高快速成像模型的成像速率。且快速成像模型中包括N个多粒度注意力模块根据图像的多尺度信息和注意力机制对所述训练数据进行特征提取，充分利用图像的多粒度信息和区域注意力。增强成像数据中特征的表示，从而提高成像效果。

实施例二

如图5所示的是本发明实施例二提供的快速成像模型的训练方法的流程示意图。在实施例一的基础上，本实施例还提供了一种通过将学习欠采样掩膜的神经网络嵌入快速成像模型中一起迭代训练，实现欠采样掩膜的学习。该方法具体包括：

S210、在每一次模型迭代训练时，根据欠采样掩膜对磁共振扫描到的图像进行欠采样，得到训练数据；

在相关技术中，可通过深度学习构建的快速成像模型根据欠采样得到的数据生成图像。若成像效果不佳，可通过多次迭代训练优化快速成像模型参数。但不论快速成像模型如何进行优化，输入模型的欠采样数据始终根据初始的欠采样掩膜进行欠采样获得，无法根据成像效果同时对欠采样掩膜进行优化。由于欠采样掩膜与快速成像模型的成像速度有关，欠采样掩膜无法更新优化使得成像时间长。

为解决上述问题，快速成像模型中嵌入有学习欠采样掩膜的神经网络层，在每一次快速成像模型迭代训练时，根据欠采样掩膜对磁共振扫描到的图像进行欠采样，得到训练数据。使得欠采样掩膜能够与快速成像模型都进行迭代训练，生成可学习的欠采样掩膜。

在一个实施示例中，快速成像模型包括学习欠采样掩膜的卷积层，该卷积层的卷积核和参数根据欠采样掩膜中包含的元素对应设置；欠采样掩膜的初始值包括预设数量的低频采样条和随机采样的高频采样条。在首次进行模型迭代训练时，可采用固定对扫描到的图像采样一定数量的中间部分，随机采样四周的一部分的欠采样方式，对应预设欠采样掩膜的初始值包括预设数量的低频采样条和随机采样的高频采样条。具体地，欠采样掩膜为二值化掩膜(即只包括0和1两种值)，欠采样掩膜中采样条对应的元素为“1”，其余的元素为“0”。

在一个实施示例中，根据欠采样掩膜对磁共振扫描到的图像进行欠采样，得到训练数据的具体过程可为：根据所述欠采样掩膜对磁共振扫描到的图像(全采样K空间数据)进行欠采样，得到欠采样K空间数据；对所述欠采样K空间数据进行傅里叶逆变换得到欠采样图像域数据，以作为所述训练数据。

S220、将所述训练数据输入快速成像模型进行模型训练，得到成像数据；

在每一轮模型迭代训练过程中，如图6所示为磁共振扫描成像过程的实施例示意图，根据欠采样掩膜对磁共振扫描到的图像进行欠采样得到训练数据后，将得到的训练数据输入快速成像模型进行模型训练得到成像数据，即根据训练数据进行成像计算生成重建图像。

S230、根据所述成像数据与目标标签反向计算梯度，以通过所述梯度更新所述快速成像模型的参数和所述欠采样掩膜；

在每一轮模型迭代训练过程中，当获得快速成像模型对输入的训练数据进行成像计算输出的成像数据后，为根据此次模型训练输出的成像数据对快速成像模型的参数和欠采样掩膜进行优化，可根据此次模型训练输出的成像数据与预设的目标标签反向计算梯度，从而根据计算获得的梯度更新快速成像模型的参数和欠采样掩膜。

在一个实施示例中，根据模型训练输出的成像数据与预设的目标标签反向计算梯度，以更新欠采样掩膜的过程可为：根据所述成像数据与所述目标标签反向计算梯度，得到梯度矩阵；根据所述欠采样掩膜生成连续型掩膜，将所述连续型掩膜与所述梯度矩阵相加得到更新后的连续型掩膜；将所述更新后的连续型掩膜二值化，得到更新后的欠采样掩膜。

可选的，可通过对磁共振扫描到的所述图像进行傅里叶逆变换得到全采样图像域数据，以作为预设的目标标签。根据目标标签与输出的成像数据的误差反向计算梯度得到梯度矩阵，然后根据梯度矩阵更新当前欠采样掩膜之前，还需根据当前欠采样掩膜生成连续型掩膜。若此次模型训练过程为首次模型迭代训练过程，则当前欠采样掩膜为初始值，可预设根据当前欠采样掩膜生成的连续型掩膜的采样条位置与当前欠采样掩膜一致，采样条位置的初始值来自一个均匀分布U(0.5,1)，非采样条位置的初始值来自另外一个均匀分布U(0,0.5)。生成的连续型掩膜和计算得到的梯度矩阵大小相等，梯度矩阵中每一元素均为连续型掩膜中相应元素所需更新的梯度。之后采用生成的连续型掩膜与梯度矩阵相加得到更新后的连续型掩膜；将所述更新后的连续型掩膜二值化，得到更新后的欠采样掩膜，从而可将更新后的欠采样掩膜用于下一轮快速成像模型训练过程。

在一个实施示例中，将所述更新后的连续型掩膜二值化的规则为：

其中，(φ)_ij为二值化后的所述欠采样掩膜；(φ_c)_ij为所述连续型掩膜；τ为所述连续型掩膜中最大值的根据成像加速倍数设置的预设百分比。

将更新后的连续型掩膜(φ_c)_ij按照上述公式进行二值化，得到更新后的欠采样掩膜(φ)_ij。且上述公式中τ为连续型掩膜中最大值的预设百分比，该预设百分比根据成像加速倍数设置。可选的，成像加速倍数与百分比的对应关系可为加速倍数4对应25％，加速倍数8对应12.5％，加速倍数12对应8.3％，加速倍数16对应6.25％。从而通过更新优化欠采样掩膜提高成像速度。

S240、采用更新后的参数和更新后的欠采样掩膜进行前向计算，以输出下一所述成像数据。

在每一轮模型迭代训练过程中，根据输出的成像数据与目标标签反向计算梯度更新快速成像模型的参数和欠采样掩膜后，完成此轮的模型迭代训练过程。采用更新后的参数和欠采样掩膜进行前向计算，以进行下一轮的模型迭代训练。

实施例三

如图7所示的是本发明实施例三提供的快速成像模型的训练装置的结构示意图。在实施例一或二的基础上，本发明实施例还提供了一种训练装置7，该装置包括：

训练数据生成模块701，用于在每一次模型迭代训练时，根据欠采样掩膜对磁共振扫描到的图像进行欠采样，得到训练数据；

在一个实施示例中，在每一次模型迭代训练时，根据欠采样掩膜对磁共振扫描到的图像进行欠采样，得到训练数据时，训练数据生成模块701包括：

欠采样单元，用于根据所述欠采样掩膜对磁共振扫描到的图像进行欠采样，得到欠采样K空间数据；

数据处理单元，用于对所述欠采样K空间数据进行傅里叶逆变换得到欠采样图像域数据，以作为所述训练数据；

目标标签生成单元，用于对磁共振扫描到的所述图像进行傅里叶逆变换得到全采样图像域数据，以作为所述目标标签。

特征提取模块702，用于将所述训练数据输入快速成像模型，通过N个多粒度注意力模块根据图像的多尺度信息和注意力机制对所述训练数据进行特征提取，并融合每一所述多粒度注意力模块提取到的特征图；N≥1；

图像融合模块703，用于对融合后的特征图进行图像重建，输出所述成像数据。

在一个实施示例中，所述特征提取模块702包括：

特征提取单元，用于提取所述训练数据的初始化特征数据。

在一个实施示例中，每一多粒度注意力模块包括：

多尺度密集连接的特征融合单元，用于根据预设的若干图像尺度对所述初始化特征数据进行特征提取，并融合提取到的若干特征图；

基于多粒度注意力机制的特征细化单元，用于通过多粒度注意力机制将融合后的特征图分割为若干具有不同注意力权重的区域图像；

图像融合单元，用于融合所有所述区域图像，得到特征细化后的特征图。

参数和欠采样掩膜更新模块704，用于根据所述成像数据与目标标签反向计算梯度，以通过所述梯度更新所述快速成像模型的参数和所述欠采样掩膜；

在一个实施示例中，根据所述成像数据与目标标签反向计算梯度，以通过所述梯度更新所述快速成像模型的参数和所述欠采样掩膜时，参数和欠采样掩膜更新模块704包括：

梯度计算单元，用于根据所述成像数据与所述目标标签反向计算梯度，得到梯度矩阵；

模型参数更新单元，用于根据所述梯度矩阵更新所述多粒度注意力机制赋予所述若干区域图像的注意力权重。

欠采样掩膜更新单元，用于根据所述欠采样掩膜生成连续型掩膜，将所述连续型掩膜与所述梯度矩阵相加得到更新后的连续型掩膜；

掩膜二值化单元，用于将所述更新后的连续型掩膜二值化，得到更新后的欠采样掩膜。

前向计算模块705，用于采用更新后的参数和更新后的欠采样掩膜进行前向计算，以输出下一所述成像数据。

本发明实施例提供的一种快速成像模型的训练装置，通过在每一次模型迭代训练时，根据欠采样掩膜对磁共振扫描到的图像进行欠采样，得到训练数据；将所述训练数据输入快速成像模型，通过N个多粒度注意力模块根据图像的多尺度信息和注意力机制对所述训练数据进行特征提取，并融合每一所述多粒度注意力模块提取到的特征图；N≥1；对融合后的特征图进行图像重建，输出成像数据；所述快速成像模型包括学习所述欠采样掩膜的神经网络层；根据所述成像数据与目标标签反向计算梯度，以通过所述梯度更新所述快速成像模型的参数和所述欠采样掩膜；采用更新后的参数和更新后的欠采样掩膜进行前向计算，以输出下一所述成像数据。通过将学习欠采样掩膜的神经网络嵌入快速成像模型中一起迭代训练，并根据成像数据与目标标签反向计算的梯度对应优化欠采样掩膜和模型参数，从而提高快速成像模型的成像速率。且快速成像模型中包括N个多粒度注意力模块根据图像的多尺度信息和注意力机制对所述训练数据进行特征提取，充分利用图像的多粒度信息和区域注意力。增强成像数据中特征的表示，从而提高成像效果。

实施例四

图8是本发明实施例四提供的服务器的结构示意图。该服务器包括：处理器1、存储器2以及存储在所述存储器2中并可在所述处理器1上运行的计算机程序3，例如快速成像模型的训练方法的程序。所述处理器1执行所述计算机程序3时实现上述快速成像模型的训练方法实施例中的步骤，例如图1所示的步骤S110至S150。

示例性的，所述计算机程序3可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器2中，并由所述处理器1执行，以完成本申请。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序3在所述服务器中的执行过程。例如，所述计算机程序3可以被分割成训练数据生成模块、特征提取模块、图像融合模块、参数和欠采样掩膜更新模块和前向计算模块，各模块具体功能如下：

训练数据生成模块，用于在每一次模型迭代训练时，根据欠采样掩膜对磁共振扫描到的图像进行欠采样，得到训练数据；

特征提取模块，用于将所述训练数据输入快速成像模型，通过N个多粒度注意力模块根据图像的多尺度信息和注意力机制对所述训练数据进行特征提取，并融合每一所述多粒度注意力模块提取到的特征图；N≥1；

图像融合模块，用于对融合后的特征图进行图像重建，输出成像数据；

参数和欠采样掩膜更新模块，用于根据所述成像数据与目标标签反向计算梯度，以通过所述梯度更新所述快速成像模型的参数和所述欠采样掩膜；

前向计算模块，用于采用更新后的参数和更新后的欠采样掩膜进行前向计算，以输出下一所述成像数据。

所述服务器可包括，但不仅限于，处理器1、存储器2以及存储在所述存储器2中的计算机程序3。本领域技术人员可以理解，图8仅仅是服务器的示例，并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述服务器还可以包括输入输出设备、网络接入设备、总线等。

所述处理器1可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器2可以是所述服务器的内部存储单元，例如服务器的硬盘或内存。所述存储器2也可以是外部存储设备，例如服务器上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器2还可以既包括服务器的内部存储单元也包括外部存储设备。所述存储器2用于存储所述计算机程序以及快速成像模型的训练方法所需的其他程序和数据。所述存储器2还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (7)

1.一种快速成像模型的训练方法，其特征在于，包括：

在每一次模型迭代训练时，根据欠采样掩膜对磁共振扫描到的图像进行欠采样，得到训练数据；

将所述训练数据输入快速成像模型，通过N个多粒度注意力模块根据图像的多尺度信息和注意力机制对所述训练数据进行特征提取，并融合每一所述多粒度注意力模块提取到的特征图，包括：

提取所述训练数据的初始化特征数据；

对于每一所述多粒度注意力模块，根据预设的若干图像尺度对所述初始化特征数据进行特征提取，并融合提取到的若干特征图；

通过多粒度注意力机制将融合后的特征图分割为若干具有不同注意力权重的区域图像；

融合所有所述区域图像，得到特征细化后的特征图；N≥1；

对融合后的特征图进行图像重建，输出成像数据；

根据所述成像数据与目标标签反向计算梯度，以通过所述梯度更新所述快速成像模型的参数和所述欠采样掩膜；

采用更新后的参数和更新后的欠采样掩膜进行前向计算，以输出下一成像数据；

其中，所述根据所述成像数据与目标标签反向计算梯度，以通过所述梯度更新所述快速成像模型的参数和所述欠采样掩膜，包括：

根据所述成像数据与所述目标标签反向计算梯度，得到梯度矩阵；

根据所述梯度矩阵更新所述多粒度注意力机制赋予所述若干区域图像的注意力权重；以及，

根据所述欠采样掩膜生成连续型掩膜，将所述连续型掩膜与所述梯度矩阵相加得到更新后的连续型掩膜；

将所述更新后的连续型掩膜二值化，得到更新后的欠采样掩膜。

2.如权利要求1所述的快速成像模型的训练方法，其特征在于，所述快速成像模型包括学习所述欠采样掩膜的卷积层，根据所述欠采样掩膜对应设置所述卷积层的卷积核和参数；所述欠采样掩膜的初始值包括预设数量的低频采样条和随机采样的高频采样条。

3.如权利要求2所述的快速成像模型的训练方法，其特征在于，所述将所述更新后的连续型掩膜二值化的规则为：

其中，(φ)_ij为二值化后的所述欠采样掩膜；(φ_c)_ij为所述连续型掩膜；τ为所述连续型掩膜中最大值的预设百分比，所述预设百分比根据成像加速倍数设置。

4.如权利要求1至3任一项所述的快速成像模型的训练方法，其特征在于，所述根据欠采样掩膜对磁共振扫描到的图像进行欠采样，得到训练数据，包括：

根据所述欠采样掩膜对磁共振扫描到的图像进行欠采样，得到欠采样K空间数据；

对所述欠采样K空间数据进行傅里叶逆变换得到欠采样图像域数据，以作为所述训练数据。

5.如权利要求4所述的快速成像模型的训练方法，其特征在于，对磁共振扫描到的所述图像进行傅里叶逆变换得到全采样图像域数据，以作为所述目标标签。

6.一种快速成像模型的训练装置，其特征在于，包括：

训练数据生成模块，用于在每一次模型迭代训练时，根据欠采样掩膜对磁共振扫描到的图像进行欠采样，得到训练数据；

特征提取模块，用于将所述训练数据输入快速成像模型，通过N个多粒度注意力模块根据图像的多尺度信息和注意力机制对所述训练数据进行特征提取，并融合每一所述多粒度注意力模块提取到的特征图，包括：

提取所述训练数据的初始化特征数据；

对于每一所述多粒度注意力模块，根据预设的若干图像尺度对所述初始化特征数据进行特征提取，并融合提取到的若干特征图；

通过多粒度注意力机制将融合后的特征图分割为若干具有不同注意力权重的区域图像；

融合所有所述区域图像，得到特征细化后的特征图；N≥1；

图像融合模块，用于对融合后的特征图进行图像重建，输出成像数据；

参数和欠采样掩膜更新模块，用于根据所述成像数据与目标标签反向计算梯度，以通过所述梯度更新所述快速成像模型的参数和所述欠采样掩膜；

前向计算模块，用于采用更新后的参数和更新后的欠采样掩膜进行前向计算，以输出下一所述成像数据；

其中，所述参数和欠采样掩膜更新模块包括：

梯度计算单元，用于根据所述成像数据与所述目标标签反向计算梯度，得到梯度矩阵；

模型参数更新单元，用于根据所述梯度矩阵更新所述多粒度注意力机制赋予所述若干区域图像的注意力权重；

欠采样掩膜更新单元，用于根据所述欠采样掩膜生成连续型掩膜，将所述连续型掩膜与所述梯度矩阵相加得到更新后的连续型掩膜；

掩膜二值化单元，用于将所述更新后的连续型掩膜二值化，得到更新后的欠采样掩膜。

7.一种服务器，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述快速成像模型的训练方法的步骤。

Images