CN112164122A - 一种基于深度残差生成对抗网络的快速cs-mri重建方法 - Google Patents

一种基于深度残差生成对抗网络的快速cs-mri重建方法 Download PDF

Info

Publication number
CN112164122A
CN112164122A CN202011191755.6A CN202011191755A CN112164122A CN 112164122 A CN112164122 A CN 112164122A CN 202011191755 A CN202011191755 A CN 202011191755A CN 112164122 A CN112164122 A CN 112164122A
Authority
CN
China
Prior art keywords
loss
model
mri
convolution
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011191755.6A
Other languages
English (en)
Other versions
CN112164122B (zh
Inventor
宋立新
石波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202011191755.6A priority Critical patent/CN112164122B/zh
Publication of CN112164122A publication Critical patent/CN112164122A/zh
Application granted granted Critical
Publication of CN112164122B publication Critical patent/CN112164122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

本发明公开了一种基于深度残差生成对抗网络的快速CS‑MRI重建方法。属于CS‑MRI图像重建技术领域，目的是为了实现高质量的、快速的MRI图像重建，以减少因混叠伪影和重建时间过长而引发专家误判和患者不适的影响。本发明包括以下步骤：将k空间数据经过K空间欠采样、零填充处理得到零填充图像，零填充图像
Figure DDA0002752977660000011
和K空间完全采样MRI图像X组成训练集中的训练样本对；基于深度残差生成对抗网络MRI重建模型的设计；最小二乘对抗损失结合内容损失函数的设计，生成模型采用最小二乘对抗生成损失和内容损失结合起来，判别模型采用最小二乘对抗判别损失；MRI重建模型的训练；MRI重建模型的测试。本发明应用于MRI图像重建。

Description

一种基于深度残差生成对抗网络的快速CS-MRI重建方法
技术领域
本发明涉及MRI图像重建，具体涉及一种基于深度残差生成对抗网络的快速CS-MRI重建方法。
背景技术
磁共振成像(Magnetic Resonnance Imaging,MRI)通过利用外加梯度磁场与射频脉冲，来激发人体内的氢原子核，并根据所接收的不同组织的射频信号经计算机处理成像作为一种影像诊断技术，在20世纪80年代，它就己经投入医学应用中，并占据着重要的地位。
压缩感知(Compressed sensing,CS)理论主要包含稀疏表达、测量矩阵和非线性重构算法三个方面。该理论自2006诞生以来，为加速MRI开辟了崭新的途径，利用MRI信号
的稀疏性，以远低于奈奎斯特采样定理的方式来采集数据，设计精确、快速的重构算法，从欠采样K空间数据中恢复出具有诊断价值的图像，从而大大减少扫描时间。
近年来，基于深度学习的CS-MRI图像重建算法取得了突破性进展，大致思路是将深度神经网络作为生成模型，直接学习从K空间欠采样的MRI图像到完全采样MRI图像的端到端的映射关系，基于深度学习的CS-MRI重建方法整体思想是将传统的非深度学习的CS-MRI非线性重建算法的迭代时间分成了训练时间和测试时间，虽然训练时间即训练一个网络模型的时间较长，但是重建一幅MRI图像的测试时间只需要几毫秒，相较于先进的非深度学习方法在重建时间上有了很大的缩短，但是在重建MRI图像质量上提升有限，重建图像视觉效果还有待提升；本文提出一种改进的GAN和损失函数CS-MRI重建模型，旨在实现高质量的、快速的MRI图像重建。
发明内容
本发明的目的是为了实现高质量的、快速的MRI图像重建，提出了一种基于深度残差生成对抗网络的快速CS-MRI重建方法，以减少因混叠伪影和重建时间过长而引发专家误判和患者不适的影响。
上述的目的通过以下的技术方案实现：
一种基于深度残差生成对抗网络的快速CS-MRI重建方法，该方法包括如下步骤：
步骤一：将k空间数据经过K空间欠采样、零填充处理得到零填充图像，零填充图像
Figure BDA0002752977640000021
和K空间完全采样MRI图像X组成训练集中的训练样本对；
步骤二：MRI重建模型的设计；
搭建一个基于生成对抗网络的CS-MRI重建模型，生成模型是一种加入了改进残差块的U型网络结构，判别模型由深度卷积网络与一层全连接层组成；
步骤三：模型损失函数的设计；
生成模型采用最小二乘对抗生成损失和内容损失结合起来，判别模型采用最小二乘对抗判别损失；
步骤四：对MRI重建模型进行训练；
将零填充MRI图像
Figure BDA0002752977640000022
作为重建生成模型的输入，利用反向传播算法和adam优化算法使得复合损失函数最小来训练生成模型，将生成模型生成的MRI图像作为判别模型的输入，利用反向传播算法和adam优化算法使得最小二乘对抗判别函数来训练判别模型；
步骤五：对MRI重建模型进行测试；
将零填充MRI图像
Figure BDA0002752977640000023
输入到训练好后的MRI重建模型，经过正向传播，即可得到重建MRI图像
Figure BDA0002752977640000024
所述的一种基于深度残差生成对抗网络的快速CS-MRI重建方法，其特征在于：所述的步骤一包括如下过程：
首先，对原始的k空间完全采样MRI图像经过K空间欠采样处理，欠采样K空间数据如公式(1)所示：
f＝RFX (1)
R表示欠采样掩模矩阵，F表示正交傅里叶矩阵；X表示原始MRI图像，FX表示完全采样K空间数据。
然后对欠采样K空间数据零填充处理，零填充图像
Figure BDA0002752977640000025
可以由公式(2)确定：
Figure BDA0002752977640000026
H表示共轭转置，
Figure BDA0002752977640000027
作为重建的初始图像。
所述的一种基于深度残差生成对抗网络的快速CS-MRI重建方法，其特征在于：所述的步骤二包括如下过程：
(1)重建模型整体结构设计；
基于生成对抗网络模型来进行CS-MRI重建，模型的整体结构包括生成模型和判别模型，其中生成模型是一种加入了改进残差块的U型网络结构，判别模型由深度卷积网络与一层全连接层组成。在整体模型训练过程中，K空间欠采样的MRI图像经过生成模型生成与完全采样MRI图像相似的图像，在将生成的MRI图像和完全采样的MRI图像一起输入到判别模型进行判别；
(2)深度残差U形生成模型结构设计；
设计一种U形残差生成模型结构，在U形生成模型中加入一系列的残差模块，不仅使得生成模型深度大大加深，模型表达特征的能力增强，而且还有效缓解梯度消失现象。为了减少模型参数量，缩短重建时间，对残差块进行了改进，剔除了残差模块中的批量标准化层和激活函数层，生成模型接收k空间欠采样的零填充初始MRI图像，以重建出与完全采样MRI图像相似的MRI图像。U形生成模型的整体结构包含4个卷积模块(Conv_block_1～Conv_block_4)和解卷积(Deconv_block_1～Deconv_block_4)模块两个部分，每个卷积模块与其相对称的解卷积模块通过跳跃连接；把卷积路径上提取出来的特征图与之相对称解卷积路径上产生的特征图融合起来，作为下一个解卷积模块的输入；最大程度的保留了前面卷积过程提取的原始图像特征图信息。为了加快模型收敛速度，提高网络模型训练的稳定性，引入一个强化算法
Figure BDA0002752977640000031
来代替的一般生成模型使用的算法
Figure BDA0002752977640000032
Figure BDA0002752977640000033
为零填充MRI图像，
Figure BDA0002752977640000034
为生成模型生成的MRI图像；引入强化算法使生成模型只要生成零填充MRI图像相较于k空间完全采样MRI图像缺失部分的信息,显著的降低了生成模型学习的复杂性，标准残差块由三个卷积小块跳跃连接方式组成，每个卷积小块组成相同，都由一个卷积层、批量标准化层以及LeakyReLU激活函数层构成；为了缩短重建时间，对标准残差块进行改进，把原始残差块的第一个卷积小块的批量标准化层去掉、第二个和第三个卷积小块的批量标准化层和LeakyReLU激活函数层去掉,得到三个新的卷积小块，三个新的卷积小块通过跳跃连接方式，组成改进的残差块；每个改进残差块的卷积模块包含两个卷积小块(Conv_i_0、Conv_i_1)和一个改进残差块，两个卷积小块的组成相同，每个卷积小块都是由一个卷积层、批量标准化层和LeakyReLU激活函数层构成；每个解卷积模块包含两个解卷积小块(Deconv_i_0、Deconv_i_1)和一个改进残差块，两个解卷积小块的组成相同，每个解卷积小块都是由一个解卷积层、批规范化层LeakyReLU激活函数构成；
(3)判别模型的设计；
判别模型由11层卷积层(Conv_d1～Conv_d11)和一层全连接层组成，每层卷积后都跟一个批量标准化层、LeakyReLU激活函数层；全连接后跟一个sigmoid函数层来输出二分类的结果；
所述的一种基于深度残差生成对抗网络的快速CS-MRI重建方法，其特征在于：所述的步骤三包括如下过程：
(1)生成模型损失函数的设计；
生成模型采用对抗损失和内容损失结合成为复合损失来对重建生成模型进行训练，内容损失包括像素损失、频域损失和感知损失，重建的MRI图像和完全采样的MRI图像之间的差距通过复合损失函数来衡量，通过反向传播算法更新生成模型的权值来最小化复合损失函数，复合损失函数如(3)所示：
ψTotal＝α·ψiMSE(θG)+β·ψfMSE(θG)+γ·ψVGG(θG)+minGJ(G) (3)
其中，ψiMSE(θG)表示像素损失，ψfMSE(θG)表示频域损失，ψVGG(θG)表示感知损失，minGJ(G)表示最小二乘对抗生成损失，θG表示生成模型的权值参数，α,β,γ用来平衡各个损失项大小的权重；
内容损失中的像素损失为图像域的最小均方误差损失，公式如(4)所示：
Figure BDA0002752977640000041
其中θG为生成模型的权值参数，X为完全采样MRI图像，
Figure BDA0002752977640000042
为重建后的MRI图像；
内容损失中的频域损失为频域的最小均方误差损失，公式如(5)所示：
Figure BDA0002752977640000043
其中Y和
Figure BDA0002752977640000044
分别为X和
Figure BDA0002752977640000045
对应的频域信息；
内容损失中的感知损失为特征空间上的最小均方误差损失，公式如(6)所示：
Figure BDA0002752977640000051
其中fvgg表示经过VGG网络后的特征图谱；
最小二乘对抗生成损失为对抗训练中生成模型的损失函数，公式如(7)所示：
Figure BDA0002752977640000052
其中，D(x)表示判别器，G(x)表示生成器，随机变量z服从标准正态分布，c是生成器为了让判别器认为生成图片是真实图片而定的值；
(2)判别模型损失函数的设计；
重建判别模型采用了最小二乘对抗判别损失进行模型训练，公式如(8)所示：
Figure BDA0002752977640000053
其中，D(x)表示判别器，G(x)表示生成器，随机变量z服从标准正态分布，常数a、b分别表示真实图片和生成图片的标记；
所述的一种基于深度残差生成对抗网络的快速CS-MRI重建方法，其特征在于：所述的步骤四包括如下过程：
将零填充MRI图像
Figure BDA0002752977640000054
作为重建生成模型的输入，利用反向传播算法和adam优化算法使得复合损失函数最小来训练生成模型，将生成模型生成的MRI图像作为判别模型的输入，利用反向传播算法和adam优化算法使得最小二乘对抗判别函数来训练判别模型；模型训练采用提前停止的策略来防止模型过拟合，
所述的一种基于深度残差生成对抗网络的快速CS-MRI重建方法，其特征在于：所述的步骤五包括如下过程：
随机的从测试集中选取50张图片，对步骤四已训练好的重建模型重建出的MRI图像进行客观指标和主观视觉效果的评估；
本发明所达到的有益效果是：本发明方法设计了一种U形网络结构结合删除批量归一化操作的残差块来构成生成模型，判别模型结构由11层卷积层和一个sigmoid层组成。在损失函数上，引入最小二乘对抗损失来代替原来交叉熵对抗损失，并结合像素损失、频域损失和感知损失作为生成模型训练总的损失函数。实验结果表明，本发明提出的MRI重建算法与同类的优秀算法PFPGR重建算法相比，在主观效果上，重建图像与完全采样的MRI图像的更相近，取得了更优秀的视觉效果，更逼真的脑部MRI图像纹理细节，保留了更多的原始MRI图像信息，在客观指标上，重建图像的PSNR值和SSIM值都有较大提高。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明的整体原理图；
图2为重建模型整体结构；
图3为U形生成模型整体结构；
图4为加入了改进残差块的卷积模块(左图)和解卷积模块(右图)；
图5为判别模型整体结构；
图6为采样方式为1DG，不同采样率下不同方法的重建图像。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
具体实施方式一：
一种基于深度残差生成对抗网络的快速CS-MRI重建方法，该方法包括如下步骤：
步骤一：将k空间数据经过K空间欠采样、零填充处理得到零填充图像，零填充图像
Figure BDA0002752977640000061
和K空间完全采样MRI图像X组成训练集中的训练样本对；
步骤二：MRI重建模型的设计；
搭建一个基于生成对抗网络的CS-MRI重建模型，生成模型是一种加入了改进残差块的U型网络结构，判别模型由深度卷积网络与一层全连接层组成；
步骤三：模型损失函数的设计；
生成模型采用最小二乘对抗生成损失和内容损失结合起来，判别模型采用最小二乘对抗判别损失；
步骤四：对MRI重建模型进行训练；
将零填充MRI图像
Figure BDA0002752977640000062
作为重建生成模型的输入，利用反向传播算法和adam优化算法使得复合损失函数最小来训练生成模型，将生成模型生成的MRI图像作为判别模型的输入，利用反向传播算法和adam优化算法使得最小二乘对抗判别函数来训练判别模型；
步骤五：对MRI重建模型进行测试；
将零填充MRI图像
Figure BDA0002752977640000075
输入到训练好后的MRI重建模型，经过正向传播，即可得到重建MRI图像
Figure BDA0002752977640000074
具体实施方式二：
本实施方式是对具体实施方式一所述的一种基于深度残差生成对抗网络的快速CS-MRI重建方法，所述的步骤一包括如下过程：
首先，对原始的k空间完全采样MRI图像经过K空间欠采样处理，欠采样K空间数据如公式(1)所示：
f＝RFX (1)
R表示欠采样掩模矩阵，F表示正交傅里叶矩阵；X表示原始MRI图像，FX表示完全采样K空间数据。
然后对欠采样K空间数据零填充处理，零填充图像
Figure BDA0002752977640000071
可以由公式(2)确定：
Figure BDA0002752977640000072
H表示共轭转置，
Figure BDA0002752977640000073
作为重建的初始图像。
具体实施方式三：
本实施方式是对具体实施方式一所述的一种基于深度残差生成对抗网络的快速CS-MRI重建方法的进一步说明，所述的步骤二包括如下过程：
(1)重建模型整体结构设计；
基于生成对抗网络模型来进行CS-MRI重建，模型的整体结构包括生成模型和判别模型，其中生成模型是一种加入了改进残差块的U型网络结构，判别模型由深度卷积网络与一层全连接层组成。在整体模型训练过程中，K空间欠采样的MRI图像经过生成模型生成与完全采样MRI图像相似的图像，在将生成的MRI图像和完全采样的MRI图像一起输入到判别模型进行判别；
(2)深度残差U形生成模型结构设计；
设计一种U形残差生成模型结构，在U形生成模型中加入一系列的残差模块，不仅使得生成模型深度大大加深，模型表达特征的能力增强，而且还有效缓解梯度消失现象。为了减少模型参数量，缩短重建时间，对残差块进行了改进，剔除了残差模块中的批量标准化层和激活函数层，生成模型接收k空间降采样的零填充初始MRI图像，以重建出与完全采样MRI图像相似的MRI图像。U形生成模型的整体结构包含4个卷积模块(Conv_block_1～Conv_block_4)和解卷积(Deconv_block_1～Deconv_block_4)模块两个部分，每个卷积模块与其相对称的解卷积模块通过跳跃连接；把卷积路径上提取出来的特征图与之相对称解卷积路径上产生的特征图融合起来，作为下一个解卷积模块的输入；最大程度的保留了前面卷积过程提取的原始图像特征图信息。为了加快模型收敛速度，提高网络模型训练的稳定性，引入一个强化算法
Figure BDA0002752977640000081
来代替的一般生成模型使用的算法
Figure BDA0002752977640000082
Figure BDA0002752977640000083
为零填充MRI图像，
Figure BDA0002752977640000084
为生成模型生成的MRI图像；引入强化算法使生成模型只要生成零填充MRI图像相较于k空间完全采样MRI图像缺失部分的信息,显著的降低了生成模型学习的复杂性标准残差块由三个卷积小块跳跃连接方式组成，每个卷积小块组成相同，都由一个卷积层、批量标准化层以及LeakyReLU激活函数层构成；为了缩短重建时间，对标准残差块进行改进，把原始残差块的第一个卷积小块的批量标准化层去掉、第二个和第三个卷积小块的批量标准化层和LeakyReLU激活函数层去掉,得到三个新的卷积小块，三个新的卷积小块通过跳跃连接方式，组成改进的残差块；每个改进残差块的卷积模块包含两个卷积小块(Conv_i_0、Conv_i_1)和一个改进残差块，两个卷积小块的组成相同，每个卷积小块都是由一个卷积层、批量标准化层和LeakyReLU激活函数层构成；每个解卷积模块包含两个解卷积小块(Deconv_i_0、Deconv_i_1)和一个改进残差块，两个解卷积小块的组成相同，每个解卷积小块都是由一个解卷积层、批规范化层LeakyReLU激活函数构成；
(3)判别模型的设计；
判别模型由11层卷积层(Conv_d1～Conv_d11)和一层全连接层组成，每层卷积后都跟一个批量标准化层、LeakyReLU激活函数层；全连接后跟一个sigmoid函数层来输出二分类的结果。
具体实施方式四:
本实施方式是对具体实施方式一所述的一种基于深度残差生成对抗网络的快速CS-MRI重建方法的进一步说明，所述的步骤三包括如下过程：
(1)生成模型损失函数的设计；
生成模型采用对抗损失和内容损失结合成为复合损失来对重建生成模型进行训练，内容损失包括像素损失、频域损失和感知损失，重建的MRI图像和原始MRI图像之间的差距通过复合损失函数来衡量，通过反向传播算法更新生成模型的权值来最小化复合损失函数，复合损失函数如(3)所示：
ψTotal＝α·ψiMSE(θG)+β·ψfMSE(θG)+γ·ψVGG(θG)+minGJ(G) (3)
其中，ψiMSE(θG)表示像素损失，ψfMSE(θG)表示频域损失，ψVGG(θG)表示感知损失，minGJ(G)表示最小二乘对抗生成损失，θG表示生成模型的权值参数，α，β，γ用来平衡各个损失项大小的权重；
内容损失中的像素损失为图像域的最小均方误差损失，公式如(4)所示：
Figure BDA0002752977640000091
其中θG为生成模型的权值参数，X为完全采样MRI图像，
Figure BDA0002752977640000092
为重建后的MRI图像；
内容损失中的频域损失为频域的最小均方误差损失，公式如(5)所示：
Figure BDA0002752977640000093
其中Y和
Figure BDA0002752977640000094
分别为X和
Figure BDA0002752977640000095
对应的频域信息；
内容损失中的感知损失为特征空间上的最小均方误差损失，公式如(6)所示：
Figure BDA0002752977640000096
其中fvgg表示经过VGG网络后的特征图谱；
最小二乘对抗生成损失为对抗训练中生成模型的损失函数，公式如(7)所示：
Figure BDA0002752977640000097
其中，D(x)表示判别器，G(x)表示生成器，随机变量z服从标准正态分布，c是生成器为了让判别器认为生成图片是真实图片而定的值；
(2)判别模型损失函数的设计；
重建判别模型采用了最小二乘对抗判别损失进行模型训练，公式如(8)所示：
Figure BDA0002752977640000098
其中，D(x)表示判别器，G(x)表示生成器，随机变量z服从标准正态分布，常数a、b分别表示真实图片和生成图片的标记。
具体实施方式五:
本实施方式是对具体实施方式一所述的一种基于深度残差生成对抗网络的快速CS-MRI重建方法的进一步说明，所述的步骤四包括如下过程：
将零填充MRI图像作为输入进行重建模型的训练，优化算法采用ADAM算法来最小化生成模型和判别模型损失函数，模型训练采用提前停止的策略来防止模型过拟合，模型训练好后，随机的从测试集中选取50张2DMRI图像对重建模型进行评估。
本实施方式是对具体实施方式一所述的一种基于深度残差生成对抗网络的快速CS-MRI重建方法的进一步说明，所述的步骤四包括如下过程：
随机的从测试集中选取50张2DMRI图片，对步骤四已训练好的重建模型重建出的MRI图像进行客观指标和主观视觉效果的评估。
实验设置及结果分析：
(1)数据集描述；
实验使用MICCAI 2013竞赛数据集，从数据集中选取了100组3D MRI T1图像，共21128张大小为256*256的2D图像，其中16095张(70％)作为训练集，5033(30％)张作为验证集；选取了50组3DMRI T1图像，共9854张2D图像来作为测试集。随机的从测试集中选取50张2D图像用来作为本文方法与其他方法比较的样本。
(2)实验设置和性能评估；
生成模型和判别模型的权值均初始化为均值为方差为0.02的标准正态分布。优化算法采用动量为0.5的Adam算法，初始学习率为0.0001,动量大小为0.5，每迭代5次衰减一半；最小批量大小为10，内容损失、频域损失、感知损失前的超参数α、β、γ分别为15、0.1、0.0025，采用提前停止的训练方式，防止模型过拟合。
为了验证本发明方法对MRI图像的重建效果，在相同的实验条件下对比了目前国际上先进的基于生成对抗网络的MRI重建算法PFPGR的测试结果，本发明从两个方面来图体现重建MRI图像的质量，一方面是主观视觉效果，即通过人眼观察重建图像的一些纹理细节以及局部差分图来判断重建图像的好坏；另一方面是客观评价标准，本发明采用标准平均均方误差(Normalised mean squaed error,NMSE)、结构相似性(Structural similarityindex,SSIM)和峰值信噪比(Peak signal to noise ratio,PSNR)作为衡量生成MRI图像质量评价的客观指标。
(3)实验结果分析；
从测试集中随机选取了50张2D MRI T1权来展示重建的效果，表1显示了在1DG条件下，不同欠采样率PFPGR和本发明算法的客观评价指标的对比结果，从表2中可以看出，用本发明方法对只有10％欠采样率的高度混叠伪影MRI图像重建时，本发明方法仍然有效的去掉了大部分的伪影噪声，重建的MRI图像比较清晰，峰值信噪比平均达到36dB；在10％至40％的欠采样率下，本发明方法相较于PFPGR方法在PSNR值上平均大约有4-5dB的提升，SSIM值也有较大提升。从图5中的局部图以及局部差分图可以看出，本发明方法重建出的MRI图像，有更加清晰的纹理细节信息，更少的伪影噪声。
表1采样方式为1DG不同欠采样率下的指标。
Figure BDA0002752977640000111

Claims (9)

1.一种基于深度残差生成对抗网络的快速CS-MRI重建方法，其特征在于该方法包括以下步骤：
步骤一：将k空间数据经过K空间欠采样、零填充处理得到零填充图像，零填充图像
Figure FDA0002752977630000011
和K空间完全采样MRI图像X组成训练集中的训练样本对；
步骤二：MRI重建模型的设计；
搭建一个基于生成对抗网络的CS-MRI重建模型，生成模型是一种加入了改进残差块的U型网络结构，判别模型由多层卷积网络与一层全连接层组成；
步骤三：模型损失函数的设计；
生成模型采用最小二乘对抗生成损失和内容损失相结合的复合损失函数，判别模型采用最小二乘对抗判别损失；
步骤四：对MRI重建模型进行训练；
将零填充MRI图像
Figure FDA0002752977630000012
作为重建生成模型的输入，利用反向传播算法和adam优化算法使得复合损失函数最小来训练生成模型，将生成模型生成的MRI图像作为判别模型的输入，利用反向传播算法和adam优化算法使得最小二乘对抗判别函数来训练判别模型；
步骤五：对MRI重建模型进行测试；
将零填充MRI图像
Figure FDA0002752977630000013
输入到训练好后的MRI重建模型，经过正向传播，即可得到重建MRI图像
Figure FDA0002752977630000014
。
2.根据权力要求1所述的一种基于深度残差生成对抗网络的快速CS-MRI重建方法，其特征在于：所述的步骤一包括如下过程：
首先，对原始的k空间完全采样MRI图像经过K空间欠采样处理，欠采样K空间数据如公式(1)所示：
f＝RFX (1)
R表示欠采样掩模矩阵，F表示正交傅里叶矩阵；X表示k空间完全采样MRI图像，FX表示完全采样K空间数据。
然后对欠采样K空间数据零填充处理，零填充图像
Figure FDA0002752977630000015
可以由公式(2)确定：
Figure FDA0002752977630000016
H表示共轭转置，
Figure FDA0002752977630000017
作为重建的初始图像。
3.根据权力要求1所述的一种基于深度残差生成对抗网络的快速CS-MRI重建方法，其特征在于：所述的步骤二包括如下过程：
首先生成对抗网络生成模型的设计，搭建一个包含4个卷积模块和4个解卷积模块，每个卷积模块与其相对称的解卷积模块通过跳跃连接，把卷积路径上提取出来的特征图与之相对称解卷积路径上产生的特征图融合起来，作为下一个解卷积模块的输入；最大程度的保留了前面卷积过程提取的原始图像特征图信息；
然后生成对抗网络判别模型的设计，判别模型采用了深度卷积神经网络来进行二分类。
4.根据权力要求1或3所述的一种基于深度残差生成对抗网络的快速CS-MRI重建方法，其特征在于：步骤二中生成模型中每个卷积模块包含两个卷积小块一个改进残差块，两个卷积小块的组成相同，每个卷积小块都是由一个卷积层、批规范化层和LeakyReLU激活函数构成；每个解卷积模块包含两个解卷积小块和一个改进残差块，两个解卷积小块的组成相同，每个解卷积小块都是由一个解卷积层、批规范化层和LeakyReLU激活函数构成。
5.根据权力要求1或4所述的一种基于深度残差生成对抗网络的快速CS-MRI重建方法，其特征在于：步骤二中改进的残差块是对标准残差块进行改进，把原始残差块的第一个卷积小块的批规范化层去掉、第二个和第三个卷积小块的批规范化层和LeakyReLU激活函数去掉,得到三个新的卷积小块，三个新的卷积小块通过跳跃连接方式；大大减少了模型训练的计算量，从而缩短了模型的重建MRI图像的时间。
6.根据权力要求1所述的一种基于深度残差生成对抗网络的快速CS-MRI重建方法，其特征在于：步骤三生成模型采用对抗损失和内容损失结合成为复合损失来对重建模型进行训练，内容损失包括像素损失、频域损失和感知损失，重建的MRI图像和完全采样K空间MRI图像之间的差距通过复合损失函数来衡量，通过反向传播算法更新生成模型的权值来最小化复合损失函数，复合损失函数如(3)所示：
ψTotal＝α·ψiMSE(θG)+β·ψfMSE(θG)+γ·ψVGG(θG)+minGJ(G) (3)
其中，ψiMSE(θG)表示像素损失，ψfMSE(θG)表示频域损失，ψVGG(θG)表示感知损失，minGJ(G)表示最小二乘对抗生成损失，θG表示生成模型的权值参数，α，β，γ用来平衡各个损失项大小的权重。
7.根据权力要求1或6所述的一种基于深度残差生成对抗网络的快速CS-MRI重建方法，其特征在于：步骤三内容损失中的像素损失为图像域的最小均方误差损失，公式如(4)所示：
Figure FDA0002752977630000031
其中θG为生成模型的权值参数，X为完全采样MRI图像，
Figure FDA0002752977630000032
为重建后的MRI图像，像素损失保证了重建MRI图像与原始完全K空间MRI图像图像域上的一致性；
内容损失中的频域损失为频域的最小均方误差损失，公式如(5)所示：
Figure FDA0002752977630000033
其中Y和
Figure FDA0002752977630000034
分别为X和
Figure FDA0002752977630000035
对应的频域信息，频域损失保证了重建MRI图像与k空间完全采样MRI图像频域上的一致性；
内容损失中的感知损失为特征空间上的最小均方误差损失，公式如(6)所示：
Figure FDA0002752977630000036
其中fvgg表示经过VGG网络后的特征图谱，感知损失能够计算重建MRI图像与k空间完全采样MRI图像在人类感知的特征空间上的距离，保证了重建MRI图像与k空间完全采样MRI图像在高维特征上的一致性。
8.根据权力要求1或6所述的一种基于深度残差生成对抗网络的快速CS-MRI重建方法，其特征在于:步骤三中最小二乘对抗损失的判别损失和生成损失分别如公式(7)(8)所示：
Figure FDA0002752977630000037
Figure FDA0002752977630000041
其中，D(x)表示判别器，G(x)表示生成器，随机变量z服从标准正态分布。常数a、b分别表示真实图片和生成图片的标记；c是生成器为了让判别器认为生成图片是真实图片而定的一个参数。
9.根据权力要求1所述的一种基于深度残差生成对抗网络的快速CS-MRI重建方法，其特征在于：步骤四中模型采用训练adam优化算法，参数设置：初始学习率：0.0001；动量：0.5；批次尺寸：10；模型训练采用提前停止的策略来防止发生过拟合。
CN202011191755.6A 2020-10-30 2020-10-30 一种基于深度残差生成对抗网络的快速cs-mri重建方法 Active CN112164122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011191755.6A CN112164122B (zh) 2020-10-30 2020-10-30 一种基于深度残差生成对抗网络的快速cs-mri重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011191755.6A CN112164122B (zh) 2020-10-30 2020-10-30 一种基于深度残差生成对抗网络的快速cs-mri重建方法

Publications (2)

Publication Number Publication Date
CN112164122A true CN112164122A (zh) 2021-01-01
CN112164122B CN112164122B (zh) 2022-08-23

Family

ID=73865261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011191755.6A Active CN112164122B (zh) 2020-10-30 2020-10-30 一种基于深度残差生成对抗网络的快速cs-mri重建方法

Country Status (1)

Country Link
CN (1) CN112164122B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066145A (zh) * 2021-04-29 2021-07-02 武汉聚垒科技有限公司 基于深度学习的快速全身弥散加权成像方法及相关设备
CN113487507A (zh) * 2021-07-07 2021-10-08 中国计量大学 一种基于多模块特征聚合的双域递归网络mr重建方法
CN113538616A (zh) * 2021-07-09 2021-10-22 浙江理工大学 一种联合PUGAN与改进U-net的磁共振图像重构方法
CN114882138A (zh) * 2022-05-20 2022-08-09 厦门大学 一种用于多层cs-mri的重建方法
CN115731125A (zh) * 2022-11-11 2023-03-03 贵州大学 一种基于大数据技术的射电干涉阵列主波束效应消除方法
CN115860113A (zh) * 2023-03-03 2023-03-28 深圳精智达技术股份有限公司 一种自对抗神经网络模型的训练方法及相关装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004296636A (ja) * 2003-03-26 2004-10-21 Sharp Corp 窒化物系ｉｉｉ−ｖ族化合物半導体装置の製造方法および窒化物系ｉｉｉ−ｖ族化合物半導体装置
CN108010100A (zh) * 2017-12-07 2018-05-08 厦门大学 一种基于残差网络的单扫描磁共振定量t2成像重建方法
CN108460726A (zh) * 2018-03-26 2018-08-28 厦门大学 一种基于增强递归残差网络的磁共振图像超分辨重建方法
CN108663644A (zh) * 2018-03-14 2018-10-16 厦门大学 基于残差网络重建的单扫描定量磁共振t2*成像方法
CN109993809A (zh) * 2019-03-18 2019-07-09 杭州电子科技大学 基于残差U-net卷积神经网络的快速磁共振成像方法
CN110097512A (zh) * 2019-04-16 2019-08-06 四川大学 基于Wasserstein生成对抗网络的三维MRI图像去噪模型的构建方法及应用
CN110114834A (zh) * 2016-11-23 2019-08-09 通用电气公司 用于医疗程序的深度学习医疗系统和方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110151181A (zh) * 2019-04-16 2019-08-23 杭州电子科技大学 基于递归残差u型网络的快速磁共振成像方法
CN110473154A (zh) * 2019-07-31 2019-11-19 西安理工大学 一种基于生成对抗网络的图像去噪方法
CN111353935A (zh) * 2020-01-03 2020-06-30 首都医科大学附属北京友谊医院 基于深度学习的磁共振成像优化方法及其设备
CN111476717A (zh) * 2020-04-07 2020-07-31 西安电子科技大学 基于自注意力生成对抗网络的人脸图像超分辨重建方法
CN111696168A (zh) * 2020-06-13 2020-09-22 中北大学 基于残差自注意力图像增强的高倍速采mri重建方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004296636A (ja) * 2003-03-26 2004-10-21 Sharp Corp 窒化物系ｉｉｉ−ｖ族化合物半導体装置の製造方法および窒化物系ｉｉｉ−ｖ族化合物半導体装置
CN110114834A (zh) * 2016-11-23 2019-08-09 通用电气公司 用于医疗程序的深度学习医疗系统和方法
CN108010100A (zh) * 2017-12-07 2018-05-08 厦门大学 一种基于残差网络的单扫描磁共振定量t2成像重建方法
CN108663644A (zh) * 2018-03-14 2018-10-16 厦门大学 基于残差网络重建的单扫描定量磁共振t2*成像方法
CN108460726A (zh) * 2018-03-26 2018-08-28 厦门大学 一种基于增强递归残差网络的磁共振图像超分辨重建方法
CN109993809A (zh) * 2019-03-18 2019-07-09 杭州电子科技大学 基于残差U-net卷积神经网络的快速磁共振成像方法
CN110097512A (zh) * 2019-04-16 2019-08-06 四川大学 基于Wasserstein生成对抗网络的三维MRI图像去噪模型的构建方法及应用
CN110151181A (zh) * 2019-04-16 2019-08-23 杭州电子科技大学 基于递归残差u型网络的快速磁共振成像方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110473154A (zh) * 2019-07-31 2019-11-19 西安理工大学 一种基于生成对抗网络的图像去噪方法
CN111353935A (zh) * 2020-01-03 2020-06-30 首都医科大学附属北京友谊医院 基于深度学习的磁共振成像优化方法及其设备
CN111476717A (zh) * 2020-04-07 2020-07-31 西安电子科技大学 基于自注意力生成对抗网络的人脸图像超分辨重建方法
CN111696168A (zh) * 2020-06-13 2020-09-22 中北大学 基于残差自注意力图像增强的高倍速采mri重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
樊志文: "基于深度卷积神经网络的CS-MRI重建方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)基础科学辑》, no. 07, 15 July 2020 (2020-07-15), pages 07 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066145A (zh) * 2021-04-29 2021-07-02 武汉聚垒科技有限公司 基于深度学习的快速全身弥散加权成像方法及相关设备
CN113066145B (zh) * 2021-04-29 2023-12-26 武汉聚垒科技有限公司 基于深度学习的快速全身弥散加权成像方法及相关设备
CN113487507A (zh) * 2021-07-07 2021-10-08 中国计量大学 一种基于多模块特征聚合的双域递归网络mr重建方法
CN113538616A (zh) * 2021-07-09 2021-10-22 浙江理工大学 一种联合PUGAN与改进U-net的磁共振图像重构方法
CN113538616B (zh) * 2021-07-09 2023-08-18 浙江理工大学 一种联合PUGAN与改进U-net的磁共振图像重构方法
CN114882138A (zh) * 2022-05-20 2022-08-09 厦门大学 一种用于多层cs-mri的重建方法
CN115731125A (zh) * 2022-11-11 2023-03-03 贵州大学 一种基于大数据技术的射电干涉阵列主波束效应消除方法
CN115860113A (zh) * 2023-03-03 2023-03-28 深圳精智达技术股份有限公司 一种自对抗神经网络模型的训练方法及相关装置

Also Published As

Publication number Publication date
CN112164122B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN112164122B (zh) 一种基于深度残差生成对抗网络的快速cs-mri重建方法
CN108460726B (zh) 一种基于增强递归残差网络的磁共振图像超分辨重建方法
CN108828481B (zh) 一种基于深度学习和数据一致性的磁共振重建方法
CN108717717A (zh) 基于卷积神经网络和迭代方法相结合的稀疏mri重建的方法
US11170543B2 (en) MRI image reconstruction from undersampled data using adversarially trained generative neural network
CN109360152A (zh) 基于稠密卷积神经网络的三维医学图像超分辨率重建方法
CN105005012B (zh) 基于压缩感知的腹部器官动态对比增强磁共振成像方法
CN110490832A (zh) 一种基于正则化深度图像先验方法的磁共振图像重建方法
CN112053414B (zh) 一种从动态对比增强磁共振成像数据中快速提取药代动力学参数的方法
CN110827232B (zh) 基于形态特征gan的跨模态mri合成方法
CN112348936A (zh) 一种基于深度学习的低剂量锥束ct图像重建方法
CN113160380B (zh) 三维磁共振影像超分辨重建方法、电子设备和存储介质
CN110895320A (zh) 基于深度学习的无变形单次激发平面回波成像方法及装置
Jiang et al. Respiratory motion correction in abdominal MRI using a densely connected U-Net with GAN-guided training
CN115375785A (zh) 一种基于人工神经网络的磁共振图像重建方法及设备
CN113538616B (zh) 一种联合PUGAN与改进U-net的磁共振图像重构方法
CN116863024A (zh) 一种磁共振图像重建方法、系统、电子设备及存储介质
CN113538611A (zh) 一种无监督的心脏磁共振参数定量图像重建方法
KR102163337B1 (ko) 언더샘플링 방향 변화를 통한 다중영상획득 mri의 고속화 방법 및 이를 위한 장치
Gu et al. AIDS brain MRIs synthesis via generative adversarial networks based on attention-encoder
KR102182048B1 (ko) 엑스선 영상 산란 보정 시스템 및 방법
CN116758120A (zh) 一种基于深度学习的3t mra到7t mra的预测方法
CN115880158A (zh) 一种基于变分自编码的盲图像超分辨率重建方法及系统
CN115496659A (zh) 基于单张投影数据的三维ct图像重建方法及装置
CN114529519A (zh) 基于多尺度深度空洞残差网络的图像压缩感知重建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant