CN117541473B - 一种磁共振成像图像的超分辨重建方法 - Google Patents

Abstract

本发明涉及一种磁共振成像图像的超分辨重建方法，包括：S1、将多幅磁共振成像图像构建成数据集；S2、将数据集分成测试集和训练集；S3、构建超分辨重建模型，并分批次使用训练集中的训练样本对构建的超分辨重建模型进行训练，得到训练完成后的超分辨重建模型；超分辨重建模型包括位置感知空间路径网络和运动感知时间路径网络；S4、在测试集中选取任一帧低分辨率图像，将该低分辨率图像输入到S3中训练完成后的超分辨重建模型中，即得到重建后的高分辨图像。该方法通过将位置感知空间路径网络和运动感知时间路径网络的输出连接起来，充分利用图像帧之间的相关性，有效地抑制了伪影或模糊。

Description

一种磁共振成像图像的超分辨重建方法

技术领域

本发明涉及磁共振成像技术领域，尤其涉及一种磁共振成像图像的超分辨重建方法。

背景技术

磁共振成像(MRI)是一种医学成像技术，通过利用强磁场和无害的无线电波来创建高分辨率的人体内部图像。这一技术提供了出色的软组织对比度，能够清晰显示大脑、脊柱、关节、内脏器官等结构，有助于医生进行诊断和治疗计划。MRI在医学领域广泛应用，对于神经学、心脏病学、骨科、妇科和癌症等多个领域都具有重要价值。它是一种非侵入性、不使用放射线的成像技术，因此适用于各种患者群体，并且能够提供多种成像方式和功能性信息。

心脏磁共振成像被认为是心功能视觉和定量评估的金标准。特别地，平衡式稳态自由进动序列(bSSFP)以提供高心肌-血池对比度而闻名，使其成为评估左心室功能的理想选择。然而，由于其采集时间较长，通常需要对多个心动周期进行平均，在空间分辨率、时间分辨率和扫描时间之间进行平衡构成了一项挑战，放射科医师努力调整采集时间以获得最佳的临床观察结果。

对于实时成像，需要小的采集矩阵，但传统的上采样技术，如傅里叶域零填充和双三次插值，可能会导致细节丧失和边缘模糊，从而降低图像质量。为了解决上述问题，研究人员使用了基于深度学习的方法，但现有技术中大部分都是基于单图像的超分辨率重建方法，没有有效地利用心脏电影磁共振成像中连续帧之间的关系，因此现有技术中超分辨率重建方法的效果有限。为此需要做出进一步的改进。

发明内容

本发明所要解决的技术问题是针对上述现有技术，而提供一种考虑连续帧关系以提高超分辨率重建效果的磁共振成像图像的超分辨重建方法。

本发明解决上述技术问题所采用的技术方案为：一种磁共振成像图像的超分辨重建方法，其特征在于包括如下步骤：

S1、将多幅磁共振成像图像构建成数据集；其中将数据集中的低分辨率图像帧记为I^LR，将数据集中高分辨率的图像帧记为I^HR，I^LR∈R^T×H×W，I^HR∈R^T×s*H×s*W，R为实数集合，T为图像帧的总帧数、H为图像帧的高度，W为图像帧的宽度，s为分辨率的升级系数；

S2、将数据集分成测试集和训练集；

S3、构建超分辨重建模型，并分批次使用训练集中的训练样本对构建的超分辨重建模型进行训练，得到训练完成后的超分辨重建模型；

超分辨重建模型包括位置感知空间路径网络和运动感知时间路径网络；

每次训练时，选取连续的T帧低分辨率图像对超分辨重建模型进行训练；/>为第1帧低分辨率图像、/>为第2帧低分辨率图像，/>为第T帧低分辨率图像，超分辨重建模型训练的具体过程为：

S3-1、将所有低分辨率图像按照滑动窗口的方式建立图像组，滑动窗口大小为2N+1，步幅为M，N和M均为正整数；

将其中一个图像组记为L_t，分别为第t-N帧低分辨率图像、第t-N+1帧低分辨率图像、第t帧低分辨率图像、第t+N帧低分辨率图像；

S3-2、将作为图像组L_t中的当前帧低分辨率图像，将图像组L_t输入到超分辨重建模型中，得到/>重建后的高分辨图像/>

的具体获取过程为：

将图像组L_t中的连续低分辨率图像帧输入到位置感知空间路径网络中，得到当前帧低分辨率图像所对应的增强特征图/>

并将图像组L_t中的连续低分辨率图像帧输入到运动感知时间路径网络中，得到当前帧低分辨率图像所对应的光流图引导特征/>

将增强特征图和光流图引导特征/>融合在一起，得到融合后的特征图，并将融合后的特征图输入到依次相连接的解码器和上采样层中，得到重建后的高分辨图像序列

S3-3、按照上述步骤S3-2中相同的方式，依次将各个图像组输入到超分辨重建模型中，得到每个图像组中的当前帧低分辨率图像重建后的高分辨图像；

S3-4、将所有重建后的高分辨图像按照先后顺序排序构成最终的高分辨率图像序列I^SR；

S3-5、根据最终的高分辨图像序列I^SR与训练时使用的低分辨率图像帧所对应的真实高分辨率图像帧序列I^HR，计算损失函数；

S3-6、根据S3-5中的损失函数反向更新超分辨重建模型的网络参数，即得到一次更新后的超分辨重建模型；

S4、在测试集中选取任一帧低分辨率图像，将该低分辨率图像输入到S3中训练完成后的超分辨重建模型中，即得到重建后的高分辨图像。

作为改进，上述方案中所述位置感知空间路径网络包括位置加权的跨帧注意模块，所述S3-2中获取的具体步骤为：

S3-21、将S3-1中的各个图像组分别输入到编码器中，得到每个图像组所对应的特征图；

S3-22、将每个特征图进行归一化，得到归一化后的特征图；其中将图像组L_t中的连续低分辨率图像帧输入到编码器中得到的特征图记为F_t，对F_t归一化后的特征图记为/>

S3-23、将作为当前帧的归一化特征图，该/>的相邻帧归一化特征图为/>和

的获取方式为：将连续低分辨率图像帧/>输入到编码器中得到的特征图F_t-M，并对F_t-M归一化，得到/>

的获取方式为：将连续低分辨率图像帧/>输入到编码器中得到的特征图F_t+M，并对F_t+M归一化，得到/>

S3-24、通过下述公式计算得到查询向量Q、键向量K和值向量V；

其中，E为嵌入运算；Q∈R^c×H×W,K∈R^c×t×H×W,V∈R^c×t×H×W；c为嵌入操作的维度；

S3-25、对Q、K和V的时空维度进行平坦化运算，得到

S3-26、最终输出的计算公式为：

其中，Λ_C为卷积操作，Γ_t为相关矩阵，/> Softmax(.)为归一化指数函数，/>为矩阵乘法，G为初始化各位置权重值的位置权重图，G∈R^H×W，/>

作为改进，上述方案中所述运动感知时间路径网络包括编码器、光流估计器和循环流增强注意模块，所述S3-2中获取的具体步骤为：

将S3-1中的各个图像组分别输入到编码器中，得到每个图像组所对应的特征图；

将图像组L_t中的连续低分辨率图像帧输入到光流估计器中，得到光流图flows，flows包含当前帧/>的前向光流图O_forward和后向光流图O_backWard；

将特征图F_t、F_t-M和光流图flows同时输入到循环流增强注意模块中，得到当前帧低分辨率图像所对应的光流图引导特征

作为改进，上述方案中所述循环流增强注意模块的具体处理过程为：

所述循环流增强注意模块的具体处理过程为：

y_t＝FEAL(X_t,flows)

其中，y_t为流增强注意网络的输出特征，FEAL(.)为流增强注意网络；X_t＝Λ_c([F_t,Y_t])，[·,·]为拼接操作，Λ_C(·)为3×3卷积，Y_t为第t帧对齐特征图；Y_t＝Λ_W(y_t-M,O_forward)，Λ_W为第t-M帧对齐特征图y_t-M和当前帧的前向光流图O_forward的空间翘曲；

流增强注意网络的具体处理过程为：

S3-2a、设X_t∈R^C×H×W为当前特征图，将X_t输入到交叉多头自注意力模块中，交叉多头自注意力模块的输出CMSA计算公式为：

其中，q^t、K^t、V^t分别为自注意力模块中的查询向量、键向量和值向量，V^t为K^t对应的值元素，d＝C/N表示维数；N为交叉多头自注意力模块的个数；用和/>分别表示X_t上坐标为(i,j)的查询元素和键元素；/>是包含时空信息的键元素，其由F_t-M中的相识场景斑块以当前帧/>的前向光流图O_forward为导向而生成；

其中，Δx_n、Δy_n为光流偏移图坐标(i,j)处的值，为F_t-M上坐标为(i+Δx_n,j+Δy_n)的键元素；

S3-2b、将交叉多头自注意力模块的输出结果输入到前馈神经网络中，并且将该前馈神经网络的输入和输出进行残差连接，得到输出特征

其中，FFN(CMSA+X_t)为将CMSA+X_t的输出结果输入到前馈神经网络中得到结果。

与现有技术相比，本发明的优点在于：该方法通过位置感知空间路径网络参考相邻帧的信息，改进当前帧的纹理信息和解剖结构的重建，并且通过运动感知时间路径网络对连续电影帧中的关键特征进行采样来计算注意力，全面保留了心脏影像MRI的先验信息，另外利用循环流增强注意模块更有效地捕获远程时间依赖性，因此该方法通过将位置感知空间路径网络和运动感知时间路径网络的输出连接起来，充分利用图像帧之间的相关性，有效地抑制了伪影或模糊。

附图说明

图1为本发明实施例磁共振成像图像的超分辨重建方法原理框图；

图2为图1中位置感知空间路径网络的具体框图；

图3为图1中运动感知时间路径网络的具体框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本实施例中磁共振成像图像的超分辨重建方法包括如下步骤：

S1、将多幅磁共振成像图像构建成数据集；其中将数据集中的低分辨率图像帧记为I^LR，将数据集中高分辨率的图像帧记为I^HR，I^LR∈R^T×H×W，I^HR∈R^T×s*H×s*W，R为实数集合，T为图像帧的总帧数、H为图像帧的高度，W为图像帧的宽度，s为分辨率的升级系数；

S2、将数据集分成测试集和训练集；

S3、构建超分辨重建模型，并分批次使用训练集中的训练样本对构建的超分辨重建模型进行训练，得到训练完成后的超分辨重建模型；

超分辨重建模型包括位置感知空间路径网络和运动感知时间路径网络；

每次训练时，选取连续的T帧低分辨率图像对超分辨重建模型进行训练；/>为第1帧低分辨率图像、/>为第2帧低分辨率图像，/>为第T帧低分辨率图像，超分辨重建模型训练的具体过程为：

S3-1、将所有低分辨率图像按照滑动窗口的方式建立图像组，滑动窗口大小为2N+1，步幅为M，N和M均为正整数；

将其中一个图像组记为L_t，分别为第t-N帧低分辨率图像、第t-N+1帧低分辨率图像、第t帧低分辨率图像、第t+N帧低分辨率图像；

本实施例中N＝1，M＝1，即：如图1所示，

S3-2、将作为图像组L_t中的当前帧低分辨率图像，将图像组L_t输入到超分辨重建模型中，得到/>重建后的高分辨图像/>

的具体获取过程为：

将图像组L_t中的连续低分辨率图像帧输入到位置感知空间路径网络中，得到当前帧低分辨率图像所对应的增强特征图/>

其中，如图2所示本实施例中的位置感知空间路径网络包括位置加权的跨帧注意模块，获取的具体步骤为：

S3-21、将S3-1中的各个图像组分别输入到编码器中，得到每个图像组所对应的特征图；

S3-22、将每个特征图进行归一化，得到归一化后的特征图；其中将图像组L_t中的连续低分辨率图像帧输入到编码器中得到的特征图记为F_t，对F_t归一化后的特征图记为/>

S3-23、将作为当前帧的归一化特征图，该/>的相邻帧归一化特征图为/>和

的获取方式为：将连续低分辨率图像帧/>输入到编码器中得到的特征图F_t-M，并对F_t-M归一化，得到/>

的获取方式为：将连续低分辨率图像帧/>输入到编码器中得到的特征图F_t+M，并对F_t+M归一化，得到/>

当t＝1或t＝T时，的相邻帧归一化特征图只有一个，故只使用单个相邻帧；

S3-24、通过下述公式计算得到查询向量Q、键向量K和值向量V；

其中，E为嵌入运算；Q∈R^c×H×W,K∈R^c×t×H×W,V∈R^c×t×H×W；c为嵌入操作的维度；

S3-25、对Q、K和V的时空维度进行平坦化运算，得到

S3-26、最终输出的计算公式为：

其中，Λ_C为卷积操作，Γ_t为相关矩阵，/> softmax(.)为归一化指数函数，/>为矩阵乘法，G为初始化各位置权重值的位置权重图，G∈R^H×W，/>

并将图像组L_t中的连续低分辨率图像帧输入到运动感知时间路径网络中，得到当前帧低分辨率图像所对应的光流图引导特征/>

如图3所示，本实施例中的运动感知时间路径网络包括编码器、光流估计器和循环流增强注意模块，获取的具体步骤为：

将S3-1中的各个图像组分别输入到编码器中，得到每个图像组所对应的特征图；

将图像组L_t中的连续低分辨率图像帧输入到光流估计器中，得到光流图flows，flows包含当前帧/>的前向光流图O_forward和后向光流图O_backward；

将特征图F_t、F_t-M和光流图flows同时输入到循环流增强注意模块中，得到当前帧低分辨率图像所对应的光流图引导特征

循环流增强注意模块的具体处理过程为：

y_t＝FEAL(X_t,flows)

其中，y_t为流增强注意网络的输出特征，FEAL(.)为流增强注意网络；X_t＝Λ_c([F_t,Yt])，[·,·]为拼接操作，Λ_C(·)为3×3卷积，Y_t为第t帧对齐特征图；Y_t＝Λ_W(y_t-M,O_forward)，Λ_W为第t-M帧对齐特征图y_t-M和当前帧的前向光流图O_forward的空间翘曲；

流增强注意网络的具体处理过程为：

S3-2a、设X_t∈R^C×H×W为当前特征，将X_t输入到交叉多头自注意力模块中，交叉多头自注意力模块的输出CMSA计算公式为：

其中，q^t、K^t、V^t分别为自注意力模块中的查询向量、键向量和值向量，V^t为K^t对应的值元素，d＝C/N表示维数；N为交叉多头自注意力模块的个数；用和/>分别表示X_t上坐标为(i,j)的查询元素和键元素；/>是包含时空信息的键元素，其由F_t-M中的相识场景斑块以当前帧/>的前向光流图O_forward为导向而生成；

其中，Δx_n、Δy_n为光流偏移图坐标(i,j)处的值，该光流偏移的计算公式为现有技术，在此不再展开赘述，为F_t-M上坐标为(i+Δx_n,j+Δy_n)的键元素；

S3-2b、将交叉多头自注意力模块的输出结果输入到前馈神经网络中，并且将该前馈神经网络的输入和输出进行残差连接，得到输出特征

其中，FFN(CMSA+X_t)为将CMSA+X_t的输出结果输入到前馈神经网络中得到结果；

本实施例中前馈神经网络由卷积神经网络组成，包括Conv2D和ReLU；

将增强特征图和光流图引导特征/>融合在一起，得到融合后的特征图，并将融合后的特征图输入到依次相连接的解码器和上采样层中，得到重建后的高分辨图像序列

S3-3、按照上述步骤S3-2中相同的方式，依次将各个图像组输入到超分辨重建模型中，得到每个图像组中的当前帧低分辨率图像重建后的高分辨图像；

S3-4、将所有重建后的高分辨图像按照先后顺序排序构成最终的高分辨率图像序列I^SR；

S3-5、根据最终的高分辨图像序列I^SR与训练时使用的低分辨率图像帧所对应的真实高分辨率图像帧序列I^HR，计算损失函数；

上述损失函数的计算采用现有技术，在此不再展开赘述；

S3-6、根据S3-5中的损失函数反向更新超分辨重建模型的网络参数，即得到一次更新后的超分辨重建模型；

S4、在测试集中选取任一帧低分辨率图像，将该低分辨率图像输入到S3中训练完成后的超分辨重建模型中，即得到重建后的高分辨图像。

本实施例还涉及一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器运行时执行如上述磁共振成像图像的超分辨重建方法。

本实施例中的磁共振成像图像为心脏电影磁共振成像图像，对于位置感知空间路径网络，本发明中设计了一个位置加权的跨帧注意模块，该模块通过参考相邻帧的信息，改进当前帧的纹理信息和解剖结构的重建；对于运动感知时间路径网络，本发明中，设计了一个循环流增强的注意策略并且采用了一种新颖的对齐方法，对连续电影帧中的关键特征进行采样来计算注意力，该策略全面保留了心脏影像MRI的先验信息。为了更有效地捕获远程时间依赖性，本发明中用了基于流的注意力策略的循环机制，该机制受到了先前基于卷积神经网络的启发。最后，将两条路径的特征输出连接起来，充分利用帧之间的相关性，有效地抑制了伪影或模糊问题。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种磁共振成像图像的超分辨重建方法，其特征在于包括如下步骤：

S1、将多幅磁共振成像图像构建成数据集；其中将数据集中的低分辨率图像帧记为I^LR，将数据集中高分辨率的图像帧记为I^HR，I^LR∈R^T×H×W，I^HR∈R^T×s*H×s*W，R为实数集合，T为图像帧的总帧数、H为图像帧的高度，W为图像帧的宽度，s为分辨率的升级系数；

S2、将数据集分成测试集和训练集；

S3、构建超分辨重建模型，并分批次使用训练集中的训练样本对构建的超分辨重建模型进行训练，得到训练完成后的超分辨重建模型；

超分辨重建模型包括位置感知空间路径网络和运动感知时间路径网络；

每次训练时，选取连续的T帧低分辨率图像对超分辨重建模型进行训练；/>为第1帧低分辨率图像、/>为第2帧低分辨率图像，/>为第T帧低分辨率图像，超分辨重建模型训练的具体过程为：

S3-1、将所有低分辨率图像按照滑动窗口的方式建立图像组，滑动窗口大小为2N+1，步幅为M，N和M均为正整数；

将其中一个图像组记为L_t，分别为第t-N帧低分辨率图像、第t-N+1帧低分辨率图像、第t帧低分辨率图像、第t+N帧低分辨率图像；

S3-2、将作为图像组L_t中的当前帧低分辨率图像，将图像组L_t输入到超分辨重建模型中，得到/>重建后的高分辨图像/>

的具体获取过程为：

将图像组L_t中的连续低分辨率图像帧输入到位置感知空间路径网络中，得到当前帧低分辨率图像所对应的增强特征图/>

并将图像组L_t中的连续低分辨率图像帧输入到运动感知时间路径网络中，得到当前帧低分辨率图像所对应的光流图引导特征/>

将增强特征图和光流图引导特征/>融合在一起，得到融合后的特征图，并将融合后的特征图输入到依次相连接的解码器和上采样层中，得到重建后的高分辨图像序列/>

S3-3、按照上述步骤S3-2中相同的方式，依次将各个图像组输入到超分辨重建模型中，得到每个图像组中的当前帧低分辨率图像重建后的高分辨图像；

S3-4、将所有重建后的高分辨图像按照先后顺序排序构成最终的高分辨率图像序列I^SR；

S3-5、根据最终的高分辨图像序列I^SR与训练时使用的低分辨率图像帧所对应的真实高分辨率图像帧序列I^HR，计算损失函数；

S3-6、根据S3-5中的损失函数反向更新超分辨重建模型的网络参数，即得到一次更新后的超分辨重建模型；

S4、在测试集中选取任一帧低分辨率图像，将该低分辨率图像输入到S3中训练完成后的超分辨重建模型中，即得到重建后的高分辨图像。

2.根据权利要求1所述的超分辨重建方法，其特征在于：所述位置感知空间路径网络包括位置加权的跨帧注意模块，所述S3-2中获取的具体步骤为：

S3-21、将S3-1中的各个图像组分别输入到编码器中，得到每个图像组所对应的特征图；

S3-22、将每个特征图进行归一化，得到归一化后的特征图；其中将图像组L_t中的连续低分辨率图像帧输入到编码器中得到的特征图记为F_t，对F_t归一化后的特征图记为/>

S3-23、将作为当前帧的归一化特征图，该/>的相邻帧归一化特征图为/>和/>

的获取方式为：将连续低分辨率图像帧/>输入到编码器中得到的特征图F_t-M，并对F_t-M归一化，得到/>

的获取方式为：将连续低分辨率图像帧/>输入到编码器中得到的特征图F_t+M，并对F_t+M归一化，得到/>

S3-24、通过下述公式计算得到查询向量Q、键向量K和值向量V；

其中，E为嵌入运算；Q∈R^c×H×W,K∈R^c×t×H×W,V∈R^c×t×H×W；c为嵌入操作的维度；

S3-25、对Q、K和V的时空维度进行平坦化运算，得到

S3-26、最终输出的计算公式为：

其中，Λ_C为卷积操作，Γ_t为相关矩阵，/> softmax(.)为归一化指数函数，/>为矩阵乘法，G为初始化各位置权重值的位置权重图，G∈R^H×W，/>

3.根据权利要求2所述的超分辨重建方法，其特征在于：所述运动感知时间路径网络包括编码器、光流估计器和循环流增强注意模块，所述S3-2中获取的具体步骤为：

将S3-1中的各个图像组分别输入到编码器中，得到每个图像组所对应的特征图；

将图像组L_t中的连续低分辨率图像帧输入到光流估计器中，得到光流图flows，flows包含当前帧/>的前向光流图O_forward和后向光流图O_backward；

将特征图F_t、F_t-M和光流图flows同时输入到循环流增强注意模块中，得到当前帧低分辨率图像所对应的光流图引导特征

4.根据权利要求3所述的超分辨重建方法，其特征在于：所述循环流增强注意模块的具体处理过程为：

所述循环流增强注意模块的具体处理过程为：

y_t＝FEAL(X_t,flows)

其中，y_t为流增强注意网络的输出特征，FEAL(.)为流增强注意网络；X_t＝Λ_c([F_t,Y_t])，[·,·]为拼接操作，Λ_C(·)为3×3卷积，Y_t为第t帧对齐特征图；Y_t＝Λ_W(y_t-M,O_forward)，Λ_W为第t-M帧对齐特征图y_t-M和当前帧的前向光流图O_forwar的空间翘曲；

流增强注意网络的具体处理过程为：

S3-2a、设X_t∈R^C×H×W为当前特征图，将X_t输入到交叉多头自注意力模块中，交叉多头自注意力模块的输出CMSA计算公式为：

其中，q^t、K^t、V^t分别为自注意力模块中的查询向量、键向量和值向量，V^t为K^t对应的值元素，d＝C/N表示维数；N为交叉多头自注意力模块的个数；用和/>分别表示X_t上坐标为(i,j)的查询元素和键元素；/>是包含时空信息的键元素，其由F_t-M中的相识场景斑块以当前帧/>的前向光流图O_forward为导向而生成；

其中，Δx_n、Δy_n为光流偏移图坐标(i,j)处的值，为F_t-M上坐标为(i+Δx_n,j+Δy_n)的键元素；

S3-2b、将交叉多头自注意力模块的输出结果输入到前馈神经网络中，并且将该前馈神经网络的输入和输出进行残差连接，得到输出特征

其中，FFN(CMSA+X_t)为将CMSA+X_t的输出结果输入到前馈神经网络中得到结果。