CN113538616A - 一种联合PUGAN与改进U-net的磁共振图像重构方法 - Google Patents

一种联合PUGAN与改进U-net的磁共振图像重构方法 Download PDF

Info

Publication number
CN113538616A
CN113538616A CN202110776646.9A CN202110776646A CN113538616A CN 113538616 A CN113538616 A CN 113538616A CN 202110776646 A CN202110776646 A CN 202110776646A CN 113538616 A CN113538616 A CN 113538616A
Authority
CN
China
Prior art keywords
magnetic resonance
resonance image
convolution
network model
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110776646.9A
Other languages
English (en)
Other versions
CN113538616B (zh
Inventor
蒋明峰
原枕谋
杨晓城
魏波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University ZSTU
Original Assignee
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University ZSTU
Priority to CN202110776646.9A priority Critical patent/CN113538616B/zh
Publication of CN113538616A publication Critical patent/CN113538616A/zh
Application granted granted Critical
Publication of CN113538616B publication Critical patent/CN113538616B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种联合PUGAN与改进U‑net的磁共振图像重构方法。建立生成器网络模型和判别器网络模型；生成器网络模型包括下上采样部分；下采样部分包括四个卷积残差稠密单元，上采样部分包括四个转置卷积模块；卷积残差稠密单元包括生成卷积模块和残差稠密块；判别器网络模型包括判别卷积模块和全连接层；对磁共振图像处理训练优化；利用训练后的生成器网络模型对磁共振图像进行处理获得重构磁共振图像。本发能够专注于提高生成样本质量，提高训练稳定性；自适应到对重构高质量MRI起到作用的区域或通道，增强重构MRI的细节，提高重构质量；大幅减少MRI采样，缩短采样时间，减少了病人检查和等待结果的时间，具有实际应用价值。

Description

一种联合PUGAN与改进U-net的磁共振图像重构方法
技术领域
本发明属于磁共振医学成像技术领域，具体涉及一种联合正-未标记PUGAN 与改进U-net的深度神经网络磁共振图像重构方法。
背景技术
磁共振成像(Magnetic Resonance Imaging，MRI)是一种利用磁共振现象采集组织的频域k空间信息，然后应用傅里叶反变换得到图像数据的影像检查手段。其具有无电离辐射，非侵入性无创伤等特点，因此在临床病理检查和诊断中得到广泛应用。然而，MRI成像速度缓慢，且要求被检查者在扫描期间保持静止状态，这大大限制了它的临床应用。因此，如何在减少k空间采样，缩短采集时间的同时，保持MRI成像质量成为该领域研究的热点。
生成对抗网络(Generative adersarial Networks，GAN)是一种深度生成模型，引入了博弈论的思想，通过生成器和判别器的竞争学习提高了网络的拟合能力，近年来，已有一些方法将GAN用于MRI的重构。然而，它们方法中的判别器仍是一个正-负样本分类器，忽略了生成器也可以生成高质量样本的事实，而将生成的高质量样本和低质量样本都作为假样本对待。同时，上述方法生成器中使用的卷积神经网络，受制于卷积核的大小，无法感知图像的远距离依赖，且特征图的各个通道权重一致，无法学习通道之间的依赖关系。
发明内容
本发明的目的是针对现有技术的不足，提供一种联合PUGAN与改进U-net 的磁共振图像重构方法，利用深度网络从欠采样磁共振图像中重构出高质量的 MRI，从而达到加速采集的目的。
本发明技术方案的具体步骤如下：
步骤1、建立基于改进U-net的生成器网络模型和基于卷积神经网络的判别器网络模型；
步骤2、结合生成器网络模型和判别器网络模型共同对磁共振图像进行处理，针对生成器网络模型和判别器网络模型进行训练优化；
步骤3、利用训练后的生成器网络模型对待测的磁共振图像进行处理获得重构磁共振图像，作为磁共振图像重构结果。
所述的步骤2具体为：原始采集的全采样磁共振图像经过傅里叶变换，变换到频域的K空间域，进而再进行欠采样获得欠采样磁共振图像，进而将欠采样磁共振图像输入生成器网络模型处理获得重构磁共振图像，重构磁共振图像和全采样磁共振图像分别输入到判别器网络模型中获得两个判别结果结果，将两个判别结果进行处理获得判别器的损失函数结果，同时将重构磁共振图像、全采样磁共振图像以及判别结果共同处理获得组合损失，最后判别器的损失函数结果和组合损失共同用于进行优化训练，使得生成器网络模型和判别器网络模型均达到最优。
本发明特别得采用了两种损失函数处理分析进行优化，能够实现生成器网络模型和判别器网络模型的相互博弈，共同进步，实现稳定训练过程，提高生成器网络模型性能的效果和优势。
所述步骤1中的生成器网络模型包括依次设置的下采样部分和上采样部分；
所述的下采样部分包括四个卷积残差稠密单元，上采样部分包括四个转置卷积模块；四个卷积残差稠密单元依次连接，欠采样磁共振图像输入到第一个卷积残差稠密单元，第四个卷积残差稠密单元的输出经第四个转置卷积模块后和第三个卷积残差稠密单元的输出通过第四合并层进行合并叠加，第四合并层的输出经第三个转置卷积模块后和第二个卷积残差稠密单元的输出通过第三合并层进行合并叠加，第三合并层的输出经第二个转置卷积模块后和第一个卷积残差稠密单元的输出通过第二合并层进行合并叠加，第二合并层的输出经第一个转置卷积模块后和输入生成器网络模型的欠采样磁共振图像通过第一合并层进行合并叠加输出重构磁共振图像；
每个卷积残差稠密单元均主要由一个生成卷积模块和四个连续的残差稠密块依次连接构成，生成卷积模块均主要有一个卷积层、一个批归一化层和一个激活函数依次连接构成；
每个残差稠密块均主要由五个连续的卷积层和一个卷积注意力模块连接构成，前四个卷积层的结尾均设置有一个激活函数，第一个卷积层的输入为残差稠密块的输入，第二个卷积层到第四个卷积层中每个卷积层的输入是将残差稠密块的输入和前面所有卷积层的输出通过合并层叠加获得的结果，第五个卷积层的输入是将残差稠密块的输入以及第一个卷积层、第二个卷积层、第四个卷积层的输出通过合并层叠加获得的结果；残差稠密块的输入依次经五个连续的卷积层和一个卷积注意力模块后，卷积注意力模块的输出和残差稠密块的输入再通过相加层进行像素相加作为残差稠密块的输出；
所述的卷积注意力模块主要有通道注意力模块和空间注意力模块构成，通道注意力模块的输入为卷积注意力模块的输入，通道注意力模块的输出再和卷积注意力模块的输入通过矩阵相乘后作为中间结果，将中间结果输入到空间注意力模块，空间注意力模块的输出和中间结果再通过矩阵相乘后作为卷积注意力模块的输出。
U-net通常在下采样部分使用了四个卷积层来提取欠采样零填充MRI的特征，并逐步下采样缩小特征图。不同于U-net的是，本发明在四个生成卷积模块之后均分别引入了四个残差稠密块，每个残差稠密块内部还嵌入了卷积注意力模块。本发明还在上采样部分使用四个转置卷积逐步扩大特征图，生成重构磁共振图像。
所述步骤1中的判别器网络模型主要有多个连续的判别卷积模块和一个全连接层构成，最后三个判别卷积模块组成最终判别卷积组，最终判别卷积组的输入和最终判别卷积组的输出通过合并层进行合并后输入到全连接层中；判别卷积模块均主要有一个卷积层、一个谱归一化层和一个激活函数依次连接构成；重构磁共振图像和全采样磁共振图像分别输入到判别器网络模型中处理获得两个判别结果。
所述的判别器网络模型中的判别卷积模块的数量为10-12个。
具体实施中，判别器网络模型使用leaky_ReLU作为激活函数，最后一层为全连接层dense，采用sigmoid函数作为激活函数，用于输出判别器网络模型的判别结果。在判别器网络模型中还加入了谱归一化层，谱归一化方法通过在判别器网络模型的参数矩阵上运用了谱范数，使得判别器的网络满足Lipschitz约束。
所述的步骤2中，针对判别器网络模型建立以下基于PUGAN的判别器损失函数，具体公式为：
Figure BDA0003155634130000031
Figure BDA0003155634130000032
其中，x表示全采样磁共振图像的随机变量，z表示欠采样磁共振图像的随机变量，Pdata(x)表示随机变量x的分布，Pz(z)表示随机变量z的分布，π表示生成器网络模型重构的高质量的重构磁共振图像在总生成样本中的比例，总生成样本是指生成器网络模型重构出的全部重构MRI，其中包括高质量重构MRI和低质量重构MRI；
Figure BDA0003155634130000033
表示数学期望，
Figure BDA0003155634130000034
取得最大值时的判别器网络模型即为最优模型，D()表示判别器网络模型，G()表示生成器网络模型；max表示取最大值。D(x)和D(G(z))即表示判别器网络模型获得的两个判别结果。
本发明将原本的正-负样本分类问题转化为正-未标记样本分类，将生成器网络模型生成的部分高质量样本当作未被标记的正样本对待，稳定了训练过程，提高了生成质量。
所述的步骤2中，针对生成器网络模型建立以下生成器组合损失函数，包含像素损失、频域损失、感知损失和对抗损失，分别表示为；
Figure BDA0003155634130000041
Figure BDA0003155634130000042
Figure BDA0003155634130000043
Figure BDA0003155634130000044
其中，
Figure BDA0003155634130000045
表示像素损失，
Figure BDA0003155634130000046
表示频域损失，
Figure BDA0003155634130000047
表示感知损失，
Figure BDA0003155634130000048
表示对抗损失；当损失函数最小时的G即为最优的生成器网络模型，xt和xu分别为图像域中的全采样磁共振图像和重构磁共振图像，yt和yu分别为经傅立叶变换获得的频域中的全采样磁共振图像和重构磁共振图像；fVGG16表示VGG16网络；
Figure BDA00031556341300000411
表示数学期望，z表示欠采样磁共振图像的随机变量，z～Pz(z) 表示z服从Pz(z)的分布，min表示取最小值；
前文公式中的x是概率学中的随机变量，表示全采样磁共振图像服从Pdata(x) 的分布。这里的xt表示实际的全采样磁共振图像，是图像矩阵。
再按照生成器组合损失函数处理获得组合损失：
Figure BDA0003155634130000049
其中，α、β、γ为各损失函数的第一、第二、第三权重参数。
上述可见，将重构磁共振图像和全采样磁共振图像经过VGG16网络处理后再计算感知损失，将重构磁共振图像和全采样磁共振图像经过傅立叶变换到频域再计算频域损失，
Figure BDA00031556341300000410
表示二范数的平方
本发明将训练集的全采样磁共振图像经欠采样模板得到欠采样磁共振图像，然后将其分批次的送入生成器网络模型，由生成器网络模型重构出重构磁共振图像。在这个过程中由生成器组合损失函数来指导生成器的训练。判别器网络模型则对生成器网络模型重构的MRI与全采样磁共振图像进行对比，根据判别器损失函数区分高质量样本和低质量样本，同时指导生成器的训练。
所述的步骤2中，当训练集中的磁共振图像数据全部送入生成器网络模型和判别器网络模型后，一次epoch训练完成。此时将验证集的MRI经欠采样后送入生成器网络模型，得到重构MRI，并按照评价指标评价重构效果，若重构效果优于之前的epoch，则保存当前模型。可再重复步骤直至完成一定次数的 epoch。此时便得到了最优的模型。
本发明搭建了联合正-未标记GAN(Positive-Unlabeled GAN，PUGAN)和改进U型网络(U-net)的MRI重构模型。生成器网络模型在U-net结构的基础上嵌入了残差稠密块(Residual Dense Block，RDB)以增加网络深度，提高网络拟合能力。在残差稠密块RDB内引入了卷积注意力模块(Convolutional Block Attention Module，CBAM)，使网络可以自适应的捕捉到重点的区域和通道，从而增强生成图像的细节。
同时判别器损失使判别器专注于判别低质量样本，充分肯定生成器生成的高质量样本，稳定了训练过程。生成器组合损失函数包含了像素损失，感知损失，以及频域损失为网络训练提供准确的约束。本方法可以有效提高磁共振图像重构质量，增强重构图像细节。
本发明相比于现有技术的有益效果在于：
本发明针对现有基于GAN的重构方法训练过程不稳定的问题，采用 PUGAN判别器损失，将判别器的正-负分类改为正-未标记分类，把生成器的生成样本视为未标记样本，让判别器能够专注于判别低质量样本，从而生成器能够专注于提高生成样本质量，可以提高训练稳定性。
本发明针对传统卷积神经网络受制于卷积核的大小，无法获知图像上较远距离的依赖关系，且不同的特征通道一视同仁，可能会忽略通道之间的依赖关系的问题，在RDB中嵌入了CBAM，在空间和通道两个维度上缩放原始的特征图，使网络能够自适应的关注到对重构高质量MRI起到作用的区域或通道，增强重构MRI的细节，提高重构质量。
本发明可应用在临床医学中，可以大幅减少MRI采样，缩短采样时间，减少了病人检查和等待结果的时间，具有实际应用价值。
附图说明
图1为本发明磁共振图像重构方法的总体结构示意图；
图2为生成器网络模型结构示意图；
图3为残差稠密块结构示意图；
图4为卷积注意力模块结构示意图；
图5为判别器网络模型结构示意图；
图6为一维高斯10％欠采样模式下不同方法重构结果对比图；
图7为二维高斯10％欠采样模式下不同方法重构结果对比图。
具体实施方式
为了更加具体地描述本发明，下面结合附图对本发明的技术方案进行详细说明。
图1所示为联合PUGAN与改进U-net的磁共振图像重构方法的总体流程示意图。本发明的具体步骤如下：
步骤1、建立基于改进U-net的生成器网络模型和基于卷积神经网络的判别器网络模型；
如图2所示，步骤1中的生成器网络模型包括依次设置的下采样部分和上采样部分；
下采样部分包括四个卷积残差稠密单元，上采样部分包括四个转置卷积模块；四个卷积残差稠密单元依次连接，欠采样磁共振图像输入到第一个卷积残差稠密单元，第四个卷积残差稠密单元的输出经第四个转置卷积模块后和第三个卷积残差稠密单元的输出通过第四合并层进行合并叠加，第四合并层的输出经第三个转置卷积模块后和第二个卷积残差稠密单元的输出通过第三合并层进行合并叠加，第三合并层的输出经第二个转置卷积模块后和第一个卷积残差稠密单元的输出通过第二合并层进行合并叠加，第二合并层的输出经第一个转置卷积模块后和输入生成器网络模型的欠采样磁共振图像通过第一合并层进行合并叠加输出重构磁共振图像；
每个卷积残差稠密单元均主要由一个生成卷积模块和四个连续的残差稠密块依次连接构成，生成卷积模块均主要有一个卷积层、一个批归一化层和一个激活函数依次连接构成；
如图3所示，每个残差稠密块RDB均主要由五个连续的卷积层和一个卷积注意力模块连接构成，前四个卷积层的结尾均设置有一个激活函数，第一个卷积层的输入为残差稠密块的输入，第二个卷积层到第四个卷积层中每个卷积层的输入是将残差稠密块的输入和前面所有卷积层的输出通过合并层叠加获得的结果，第五个卷积层的输入是将残差稠密块的输入以及第一个卷积层、第二个卷积层、第四个卷积层的输出通过合并层叠加获得的结果；残差稠密块的输入依次经五个连续的卷积层和一个卷积注意力模块后，卷积注意力模块的输出和残差稠密块的输入再通过相加层进行像素相加作为残差稠密块的输出.
残差稠密块RDB的结构示意图如图3所示，其中的跳跃连接可以被分为“短”跳跃连接和“长”跳跃连接。“短”跳跃连接将RDB中所有卷积层的输出传播到其后的每一个卷积层，同时前一个RDB的输出也可以传播到后一个RDB中的每一层，以增强特征的复用，提高网络学习能力。“长”跳跃连接将RDB的输入和输出直接相连，可以增强生成器上采样区总体的信息流动，缓解训练中出现的梯度消失问题。第五个卷积层进行局部特征融合，其采用1×1卷积，将残差稠密块RDB中各层得到的特征图合并后进行特征融合，筛选出更为有效的特征，同时减少了网络参数量。
上述中在残差稠密块RDB内部加入了卷积注意力模块CBAM，增强网络对重点区域或通道的感知。
如图4所示，卷积注意力模块主要有通道注意力模块(Channel AttentionModule，CAM)和空间注意力模块(Spatial Attention Module，SAM)构成，通道注意力模块的输入为卷积注意力模块的输入，通道注意力模块的输出再和卷积注意力模块的输入通过矩阵相乘后作为中间结果，将中间结果输入到空间注意力模块，空间注意力模块的输出和中间结果再通过矩阵相乘后作为卷积注意力模块的输出。
假设输入卷积注意力模块CBAM的特征图F维度为：H×W×C,其首先经过CAM得到大小为1×1×C的通道注意力图MC，将F与MC相乘后得到经通道注意力缩放的特征图F′,然后F′再次经过空间注意力模块(Spatial Attention Module，SAM)得到大小为H×W×1的空间注意力图MS，将F′与MS相乘后得到经空间注意力缩放的特征图F″，即为经CBAM改造的特征图。
a)通道注意力模块(CAM)
输入特征图F首先分别进行全局最大池化和全局平均池化以压缩空间维度，得到两个1×1×C的特征图
Figure BDA0003155634130000071
和
Figure BDA0003155634130000072
和
Figure BDA0003155634130000073
随即经过同一个两层的多层感知机(Multi-layer Perceptron，MLP)，并经逐元素相加和sigmoid函数激活后得到通道注意力图WC。通道注意力模块的计算过程可用如下公式表示：
Figure BDA0003155634130000074
其中，W0和W1分别表示MLP隐藏层和输出层的权重矩阵。
b)空间注意力模块(SAM)
经通道注意力缩放的特征图F′作为本模块的输入，F′先分别经过全局平均池化和全局最大池化以压缩通道维度，得到两个H×W×1的特征图
Figure BDA0003155634130000075
和
Figure BDA0003155634130000076
然后将
Figure BDA0003155634130000077
送入一个7×7的卷积层，得到空间注意力图MS。空间注意力模块的计算过程可用如下公式表示：
Figure BDA0003155634130000078
其中，σ表示sigmoid激活函数，f7×7表示7×7的卷积层，AvgPool表示全局平均池化，MaxPool表示全局最大池化。
如图5所示，判别器网络模型主要有多个连续的判别卷积模块和一个全连接层构成，最后三个判别卷积模块组成最终判别卷积组，最终判别卷积组的输入和最终判别卷积组的输出通过合并层进行合并后输入到全连接层中；判别卷积模块均主要有一个卷积层、一个谱归一化层和一个激活函数依次连接构成；重构磁共振图像和全采样磁共振图像分别输入到判别器网络模型中处理获得两个判别结果。
判别器网络模型中的判别卷积模块的数量为10-12个。
具体实施中，判别器网络模型使用leaky_ReLU作为激活函数，最后一层为全连接层dense，采用sigmoid函数作为激活函数，用于输出判别器的判别结果。在判别器网络模型中还加入了谱归一化层，谱归一化方法通过在判别器网络模型的参数矩阵上运用了谱范数，使得判别器的网络满足Lipschitz约束。
步骤2、结合生成器网络模型和判别器网络模型共同对磁共振图像进行处理，针对生成器网络模型和判别器网络模型进行训练优化；
如图1所示，原始采集的全采样磁共振图像经过傅里叶变换，变换到频域的K空间域，进而再进行欠采样获得欠采样磁共振图像，进而将欠采样磁共振图像输入生成器网络模型处理获得重构磁共振图像，重构磁共振图像和全采样磁共振图像分别输入到判别器网络模型中获得两个结果，将两个判别结果进行处理获得判别器的损失函数结果，同时将重构磁共振图像和全采样磁共振图像以及判别结果共同处理获得组合损失，最后判别器的损失函数结果和组合损失共同用于进行优化训练，使得生成器网络模型和判别器网络模型均达到最优。
步骤2中，针对生成器网络模型建立以下生成器组合损失函数，包含像素损失、频域损失、感知损失和对抗损失，分别表示为；
Figure BDA0003155634130000081
Figure BDA0003155634130000082
Figure BDA0003155634130000083
Figure BDA0003155634130000084
其中，
Figure BDA0003155634130000085
表示像素损失，
Figure BDA0003155634130000086
表示频域损失，
Figure BDA0003155634130000087
表示感知损失，
Figure BDA0003155634130000088
表示对抗损失；当损失函数最小时的G即为最优的生成器网络模型，xt和xu分别为图像域中的全采样磁共振图像和重构磁共振图像，yt和yu分别为经傅立叶变换获得的频域中的全采样磁共振图像和重构磁共振图像；fVGG16表示VGG16网络；
Figure BDA0003155634130000096
表示数学期望，z表示欠采样磁共振图像的随机变量，z～Pz(z) 表示z服从Pz(z)的分布，min表示取最小值；
再按照生成器组合损失函数处理获得组合损失：
Figure BDA0003155634130000091
其中，α、β、γ为各损失函数的第一、第二、第三权重参数。在本实施例中α，β和γ分别设置为15，0.1和0.0025。
上述可见，将将重构磁共振图像和全采样磁共振图像经过VGG16网络处理后再计算感知损失，将将重构磁共振图像和全采样磁共振图像经过傅立叶变换到频域再计算频域损失，
Figure BDA0003155634130000092
表示二范数的平方。
本发明将训练集的全采样磁共振图像经欠采样模板得到欠采样磁共振图像，然后将其分批次的送入生成器网络模型，由生成器网络模型重构出重构磁共振图像。在这个过程中由生成器生成器组合损失函数来指导生成器的训练。判别器则对生成器网络模型重构的MRI与全采样磁共振图像进行对比，根据判别器损失函数区分高质量样本和低质量样本，同时指导生成器的训练。
步骤2中，针对判别器网络模型建立以下基于PUGAN的判别器损失函数，具体公式为：
Figure BDA0003155634130000093
其中，x为全采样磁共振图像的随机变量，z为欠采样磁共振图像的随机变量，Pdata(x)表示随机变量x的分布，Pz(z)表示随机变量z的分布，π表示生成器网络模型重构的高质量的重构磁共振图像在总生成样本中的比例，总生成样本是指生成器网络模型重构出的全部重构MRI，包括高质量重构MRI和低质量重构MRI；
Figure BDA0003155634130000097
表示数学期望，z～Pz(z)表示z服从分布Pz(z)，x～Px(x)表示x服从分布Px(x)，
Figure BDA0003155634130000095
取得最大值时的判别器网络模型即为最优模型，D()表示判别器网络模型，G()表示生成器网络模型；max表示取最大值。D(G(z))即表示判别器网络模型获得的判别结果。本实施例中π设为0.5。
步骤2中，当训练集中的磁共振图像数据全部送入生成器网络模型和判别器网络模型后，一次epoch训练完成。此时将验证集的MRI经欠采样后送入生成器网络模型，得到重构MRI，并按照评价指标评价重构效果，若重构效果优于之前的epoch，则保存当前模型。可再重复步骤直至完成一定次数的epoch。此时便得到了最优的模型。本实施例设为epoch＝30。
步骤3、利用训练后的生成器网络模型对待测的磁共振图像进行处理获得重构磁共振图像，作为磁共振图像重构结果。
本实施例将步骤5中的欠采样模板选用两种采样模型：一维高斯分布和二维高斯分布，三种采样率：10％，20％和30％(组合后共6种欠采样模板)。训练数据采用MICCAI2013grand challenge的公开数据集，从中随机选取了130 个3D neuro-MRI，其中70个3D样本(15,816张有效2D MRI)作为训练集， 30个3D样本(5,073张有效2D MRI)作为验证集，30个3D样本(5,198张有效2D MRI)作为测试集。
本实施例对6种欠采样模板分别训练模型，并在测试集上评估重构性能，评价指标选用峰值信噪比(peak signal-to-noise ratio，PSNR)和结构相似度 (structuralsimilarity index measure，SSIM)，PSNR和SSIM的公式定义如下：
Figure BDA0003155634130000101
其中x表示全采样磁共振图像，y表示网络重构MRI，i和j表示图像像素点的坐标，M和N表示图像的尺寸。
Figure BDA0003155634130000102
其中，μx和μy，σx和σy，以及σxy分别表示图像x和y的均值，方差和协方差，C1和C2是常数值。
将本发明的方法与DAGAN，DAWGAN-GP和，RASA-GAN三种基于GAN 的重构方法做了对比，结果如图表1所示：
表1
Figure BDA0003155634130000103
表1所示的是不同方法在不同欠采样模板下重构性能(测试集平均值)的对比，从中可以看出本发明方法的重构MRI的PSNR和SSIM均值均高于其他三种方法，这表明本发明方法在多种欠采样模式下都可以获得优异的重构性能。图6和图7所示的是一张典型的MRI图像，在10％的采样率下，使用一维高斯分布和二维高斯分布进行欠采样，并使用不同方法分别对其重构的结果对比(第一行)和残差对比(第二行)图，从中可以看出本发明方法的重构结果恢复了大部分图像细节，同时也有较为清晰的纹理，重构残差图白色像素点更少，表明重构误差更小。

Claims (6)

1.一种联合PUGAN与改进U-net的磁共振图像重构方法，其特征在于：
步骤1、建立基于改进U-net的生成器网络模型和基于卷积神经网络的判别器网络模型；
步骤2、结合生成器网络模型和判别器网络模型共同对磁共振图像进行处理，针对生成器网络模型和判别器网络模型进行训练优化；
步骤3、利用训练后的生成器网络模型对待测的磁共振图像进行处理获得重构磁共振图像，作为磁共振图像重构结果。
2.根据权利要求1所述的一种联合PUGAN与改进U-net的磁共振图像重构方法，其特征在于：所述的步骤2具体为：原始采集的全采样磁共振图像经过傅里叶变换，变换到频域的K空间域，进而再进行欠采样获得欠采样磁共振图像，进而将欠采样磁共振图像输入生成器网络模型处理获得重构磁共振图像，重构磁共振图像和全采样磁共振图像分别输入到判别器网络模型中获得两个判别结果结果，将两个判别结果进行处理获得判别器的损失函数结果，同时将重构磁共振图像、全采样磁共振图像以及判别结果共同处理获得组合损失，最后判别器的损失函数结果和组合损失共同用于进行优化训练，使得生成器网络模型和判别器网络模型均达到最优。
3.根据权利要求1所述的一种联合PUGAN与改进U-net的磁共振图像重构方法，其特征在于：所述步骤1中的生成器网络模型包括依次设置的下采样部分和上采样部分；
所述的下采样部分包括四个卷积残差稠密单元，上采样部分包括四个转置卷积模块；四个卷积残差稠密单元依次连接，欠采样磁共振图像输入到第一个卷积残差稠密单元，第四个卷积残差稠密单元的输出经第四个转置卷积模块后和第三个卷积残差稠密单元的输出通过第四合并层进行合并叠加，第四合并层的输出经第三个转置卷积模块后和第二个卷积残差稠密单元的输出通过第三合并层进行合并叠加，第三合并层的输出经第二个转置卷积模块后和第一个卷积残差稠密单元的输出通过第二合并层进行合并叠加，第二合并层的输出经第一个转置卷积模块后和欠采样磁共振图像通过第一合并层进行合并叠加输出重构磁共振图像；
每个卷积残差稠密单元均主要由一个生成卷积模块和四个连续的残差稠密块依次连接构成，生成卷积模块均主要有一个卷积层、一个批归一化层和一个激活函数依次连接构成；
每个残差稠密块均主要由五个连续的卷积层和一个卷积注意力模块连接构成，前四个卷积层的结尾均设置有一个激活函数，第一个卷积层的输入为残差稠密块的输入，第二个卷积层到第四个卷积层中每个卷积层的输入是将残差稠密块的输入和前面所有卷积层的输出通过合并层叠加获得的结果，第五个卷积层的输入是将残差稠密块的输入以及第一个卷积层、第二个卷积层、第四个卷积层的输出通过合并层叠加获得的结果；卷积注意力模块的输出和残差稠密块的输入再通过相加层进行像素相加作为残差稠密块的输出；
所述的卷积注意力模块主要有通道注意力模块和空间注意力模块构成，通道注意力模块的输入为卷积注意力模块的输入，通道注意力模块的输出再和卷积注意力模块的输入通过矩阵相乘后作为中间结果，将中间结果输入到空间注意力模块，空间注意力模块的输出和中间结果再通过矩阵相乘后作为卷积注意力模块的输出。
4.根据权利要求1所述的一种联合PUGAN与改进U-net的磁共振图像重构方法，其特征在于：所述步骤1中的判别器网络模型主要有多个连续的判别卷积模块和一个全连接层构成，最后三个判别卷积模块组成最终判别卷积组，最终判别卷积组的输入和最终判别卷积组的输出通过合并层进行合并后输入到全连接层中；判别卷积模块均主要有一个卷积层、一个谱归一化层和一个激活函数依次连接构成；重构磁共振图像和全采样磁共振图像分别输入到判别器网络模型中处理获得两个判别结果。
5.根据权利要求1所述的一种联合PUGAN与改进U-net的磁共振图像重构方法，其特征在于：所述的步骤2中，针对判别器网络模型建立以下判别器损失函数，具体公式为：
Figure FDA0003155634120000021
其中，x表示全采样磁共振图像的随机变量，z表示欠采样磁共振图像的随机变量，Pdata(x)表示随机变量x的分布，Pz(z)表示随机变量z的分布，π表示生成器网络模型重构的重构磁共振图像在总生成样本中的比例；
Figure FDA0003155634120000023
表示数学期望，
Figure FDA0003155634120000022
取得最大值时的判别器网络模型即为最优模型，D()表示判别器网络模型，G()表示生成器网络模型；max表示取最大值。
6.根据权利要求1所述的一种联合PUGAN与改进U-net的磁共振图像重构方法，其特征在于：所述的步骤2中，针对生成器网络模型建立以下生成器组合损失函数，包含像素损失、频域损失、感知损失和对抗损失，分别表示为；
Figure FDA0003155634120000031
Figure FDA0003155634120000032
Figure FDA0003155634120000033
Figure FDA0003155634120000034
其中，
Figure FDA0003155634120000035
表示像素损失，
Figure FDA0003155634120000036
表示频域损失，
Figure FDA0003155634120000037
表示感知损失，
Figure FDA0003155634120000038
表示对抗损失；当损失函数最小时的G即为最优的生成器网络模型，xt和xu分别为全采样磁共振图像和重构磁共振图像，yt和yu分别为经傅立叶变换获得的频域中的全采样磁共振图像和重构磁共振图像；fVGG16表示VGG16网络；
Figure FDA00031556341200000310
表示数学期望，z表示欠采样磁共振图像的随机变量，z～Pz(z)表示z服从Pz(z)的分布，min表示取最小值；
再按照生成器组合损失函数处理获得组合损失：
Figure FDA0003155634120000039
其中，α、β、γ为第一、第二、第三权重参数。
CN202110776646.9A 2021-07-09 2021-07-09 一种联合PUGAN与改进U-net的磁共振图像重构方法 Active CN113538616B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110776646.9A CN113538616B (zh) 2021-07-09 2021-07-09 一种联合PUGAN与改进U-net的磁共振图像重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110776646.9A CN113538616B (zh) 2021-07-09 2021-07-09 一种联合PUGAN与改进U-net的磁共振图像重构方法

Publications (2)

Publication Number Publication Date
CN113538616A true CN113538616A (zh) 2021-10-22
CN113538616B CN113538616B (zh) 2023-08-18

Family

ID=78127253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110776646.9A Active CN113538616B (zh) 2021-07-09 2021-07-09 一种联合PUGAN与改进U-net的磁共振图像重构方法

Country Status (1)

Country Link
CN (1) CN113538616B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241245A (zh) * 2021-12-23 2022-03-25 西南大学 一种基于残差胶囊神经网络的图像分类系统
CN114241078A (zh) * 2022-02-23 2022-03-25 南昌睿度医疗科技有限公司 一种加速磁共振超分辨率成像方法、装置、设备及介质
CN114693823A (zh) * 2022-03-09 2022-07-01 天津大学 一种基于空频双域并行重建的磁共振图像重建方法
CN115731125A (zh) * 2022-11-11 2023-03-03 贵州大学 一种基于大数据技术的射电干涉阵列主波束效应消除方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047138A (zh) * 2019-04-24 2019-07-23 复旦大学 一种磁共振薄层图像重建方法
CN110378980A (zh) * 2019-07-16 2019-10-25 厦门大学 一种基于深度学习的多通道磁共振图像重建方法
WO2020238558A1 (zh) * 2019-05-24 2020-12-03 鹏城实验室 一种图像超分辨方法和系统
CN112164122A (zh) * 2020-10-30 2021-01-01 哈尔滨理工大学 一种基于深度残差生成对抗网络的快速cs-mri重建方法
CN112561838A (zh) * 2020-12-02 2021-03-26 西安电子科技大学 基于残差自注意力和生成对抗网络的图像增强方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047138A (zh) * 2019-04-24 2019-07-23 复旦大学 一种磁共振薄层图像重建方法
WO2020238558A1 (zh) * 2019-05-24 2020-12-03 鹏城实验室 一种图像超分辨方法和系统
CN110378980A (zh) * 2019-07-16 2019-10-25 厦门大学 一种基于深度学习的多通道磁共振图像重建方法
CN112164122A (zh) * 2020-10-30 2021-01-01 哈尔滨理工大学 一种基于深度残差生成对抗网络的快速cs-mri重建方法
CN112561838A (zh) * 2020-12-02 2021-03-26 西安电子科技大学 基于残差自注意力和生成对抗网络的图像增强方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
雷鹏程;刘丛;唐坚刚;彭敦陆;: "分层特征融合注意力网络图像超分辨率重建", 中国图象图形学报, no. 09 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241245A (zh) * 2021-12-23 2022-03-25 西南大学 一种基于残差胶囊神经网络的图像分类系统
CN114241245B (zh) * 2021-12-23 2024-05-31 西南大学 一种基于残差胶囊神经网络的图像分类系统
CN114241078A (zh) * 2022-02-23 2022-03-25 南昌睿度医疗科技有限公司 一种加速磁共振超分辨率成像方法、装置、设备及介质
CN114693823A (zh) * 2022-03-09 2022-07-01 天津大学 一种基于空频双域并行重建的磁共振图像重建方法
CN114693823B (zh) * 2022-03-09 2024-06-04 天津大学 一种基于空频双域并行重建的磁共振图像重建方法
CN115731125A (zh) * 2022-11-11 2023-03-03 贵州大学 一种基于大数据技术的射电干涉阵列主波束效应消除方法

Also Published As

Publication number Publication date
CN113538616B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN108460726B (zh) 一种基于增强递归残差网络的磁共振图像超分辨重建方法
CN113538616B (zh) 一种联合PUGAN与改进U-net的磁共振图像重构方法
CN111696168B (zh) 基于残差自注意力图像增强的高倍速采mri重建方法
CN109214989B (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
CN111429355A (zh) 一种基于生成对抗网络的图像超分辨率重建方法
CN112767417B (zh) 一种基于级联U-Net网络的多模态图像分割方法
Zhu et al. Arbitrary scale super-resolution for medical images
CN113256749B (zh) 一种基于高维相关性先验信息的快速磁共振成像重建算法
CN111353935A (zh) 基于深度学习的磁共振成像优化方法及其设备
Manimala et al. Convolutional neural network for sparse reconstruction of MR images interposed with gaussian noise
Xu et al. Image enhancement algorithm based on generative adversarial network in combination of improved game adversarial loss mechanism
El-Shafai et al. Hybrid Single Image Super-Resolution Algorithm for Medical Images.
CN114283058A (zh) 基于对抗网络和最大互信息优化的图像超分辨率重建方法
Song et al. Channel attention generative adversarial network for super-resolution of glioma magnetic resonance image
CN112541566B (zh) 一种基于重构损失的图像翻译方法
CN114066729A (zh) 一种可恢复身份信息的人脸超分辨率重建方法
Rashid et al. Single MR image super-resolution using generative adversarial network
CN115330600A (zh) 一种基于改进srgan的肺部ct图像超分辨率方法
CN114677281A (zh) 一种基于生成对抗网络的fib-sem超分辨率算法
CN114283301A (zh) 一种基于Transformer的自适应医学影像分类方法及系统
CN113674379A (zh) 一种基于参考支撑集的共稀疏分析模型的mri重构方法、系统及计算机可读存储介质
Liu et al. A Lightweight Low-dose PET Image Super-resolution Reconstruction Method based on Convolutional Neural Network
Geng et al. A modified GAN for compressed sensing MRI
CN117333571B (zh) 磁共振图像的重建方法、系统、设备及介质
CN116597041B (zh) 一种脑血管病核磁影像清晰度优化方法、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant