CN111487573B - 一种用于磁共振欠采样成像的强化型残差级联网络模型 - Google Patents

一种用于磁共振欠采样成像的强化型残差级联网络模型 Download PDF

Info

Publication number
CN111487573B
CN111487573B CN202010420669.1A CN202010420669A CN111487573B CN 111487573 B CN111487573 B CN 111487573B CN 202010420669 A CN202010420669 A CN 202010420669A CN 111487573 B CN111487573 B CN 111487573B
Authority
CN
China
Prior art keywords
network
residual
cascade
block
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202010420669.1A
Other languages
English (en)
Other versions
CN111487573A (zh
Inventor
包立君
叶富泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202010420669.1A priority Critical patent/CN111487573B/zh
Publication of CN111487573A publication Critical patent/CN111487573A/zh
Application granted granted Critical
Publication of CN111487573B publication Critical patent/CN111487573B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

一种用于磁共振欠采样成像的强化型残差级联网络模型。本发明提供一种强化型残差级联网络模型，网络以密集连接的递归单元作为记忆模块，用于学习底层特征信息，再在记忆模块间以密集连接作为长记忆连接，用于学习高层特征信息。这种局部密集连接与全局密集连接的级联方法，比单纯的网络级联能更好地学习多层次的特征信息，并搭建更深度的网络结构。结合残差网络和密集连接方式构建级联型深度神经网络，为更深度神经网络的训练提供更好的稳定性，提升网络性能。此外，本发明的网络中加入数据一致性模块和高频特征引导模块进行强化，可进一步提高重建结果的置信度，以及纹理细节特征的重建效果。

Description

一种用于磁共振欠采样成像的强化型残差级联网络模型
技术领域
本发明涉及深度学习和医学影像领域，更具体地说，涉及一种用于磁共振欠采样成像的强化型残差级联网络模型。
背景技术
在临床应用中，医学影像已经成为一种不可或缺的诊断工具，其中一个重要的成像方式为磁共振成像(Magnetic Resonance Imaging,MRI)。MRI不仅具有无创性，而且可以获取多种具有优异对比度的成像模态，用于解析不同的疾病解剖特征。然而，由于MRI的数据采集时间长，要求成像目标静止，且成像价格高昂，限制了其广泛应用。为加快MRI成像速度，研究者们提出各种基于欠采样的快速序列和并行成像技术，通过结合图像后处理方法，重建出可用于医学诊断的高质量图像。
采用
Figure BDA0002496754270000011
表示重建图像
Figure BDA0002496754270000012
的列向量形式，有如下MRI数据采集模型：
y＝Fux
其中
Figure BDA0002496754270000013
表示欠采样傅里叶变换，与k空间欠采样模板相对应。从欠采样的k空间数据
Figure BDA0002496754270000014
重建出x，其中M＜＜N，本身是个欠定问题，涉及到病态逆问题的求解。为此，需要利用先验信息设计约束项，通过解决如下约束最优化问题恢复出高质量的图像：
Figure BDA0002496754270000015
其中第一项为数据保真项，保证重建图像与采集数据的一致性。第二项为约束项，一般有φ(x)＝||ψx||1，ψ表示使得图像数据从空间域到特定变换域的变换算子，最小化||ψx||1可以约束x在变换域上的稀疏性。传统的欠采样重建方法一般探索MRI数据的隐式稀疏性，即在图像域空间或通过数学表示在特定变换域空间上具有稀疏的特性，比如固定的或预定义的稀疏变换如全变分(Total Variation,TV)，离散余弦变换和离散小波变换，或者进一步通过各种字典直接从数据自身学习更加灵活的稀疏表示。尽管有不少快速成像研究已经在临床上展示了良好的应用前景，但是目前常规的MRI扫描依然基于全采样笛卡尔序列，或者使用并行成像加速采集。基于传统优化算法的欠采样重建仍然存在局限性，主要体现在以下几个方面：(1)目前广泛应用的稀疏变换对于处理具有复杂结构的生物组织图像仍显得过于简单。比如基于TV的稀疏变换虽然能约束重建图像的局部信息突变，但同时也会引入阶梯状伪影；小波变换虽然可以强制图像的各向同性信息，但会引入块状伪影。(2)非线性最优化算法通常需要一个迭代最优化过程，从而造成重建时间过长，并且迭代可能陷入局部收敛。(3)目前基于最优化模型的重建方法一般需要设置各种优化参数，而不恰当的参数设置会导致过约束，从而造成重建图像看起来不自然，如过平滑或残留欠采样伪影。由于以上因素的限制，基于传统优化算法的重建，尚且不能支持采样率<20％的大加速倍率。
最近几年来，深度学习(Deep Learning,DL)在计算机视觉领域的优异表现引起医学影像分析领域的广泛兴趣。与自然图像的超分辨率重建、去噪问题类似，MRI数据的欠采样重建也是求解病态逆问题。受DL在图像领域的成功运用启发，Wang等首先将卷积神经网络(Convolutional Neural Network,CNN)应用到快速磁共振成像。在他们的研究工作中，CNN重建可以作为基于优化重建方法的初始化，或仅将CNN作为最优化模型的一个约束项。U-net模型得益于其多尺度的学习方式和能覆盖整幅图像的感受野，首先在图像分割上取得瞩目进展，进而用来处理欠采样混叠伪影。然而U-net对于图像重建问题来说参数量过于庞大，且重建结果的细节不够丰富。
以上工作只是已有网络框架在快速MRI中的应用，另一个研究方向是将CNN与传统的迭代优化模型相结合，以增加DL的可解析性，具体工作如下。ADMM-Net使用深度神经网络结构学习传统交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)的相关参数，如惩罚参数与收缩方程等。ADMM-Net由一系列的阶段组成，每个阶段对应ADMM方法的一个迭代。变分网络将变分模型的数学形式与DL结合起来，即把压缩感知变分模型嵌入一个展开的梯度下降方案中，其中所有参数可训练。鉴于传统优化模型包括数据保真项与约束项，深度级联型卷积神经网络(Deep Cascade of Convolutional NeuralNetwork,DC-CNN)构建数据一致性层嵌入到级联的残差块之间，以在网络重建过程中用采样到的k空间数据纠正网络预测值，达到数据保真效果。相比U-net等流行模型，以上几个模型驱动的CNN欠采样MRI重建方法，虽然数学解析度更高，且相比传统迭代最优化模型重建时间更短；但是重建结果并不显著优越，尤其当采样率只有甚至低于10％的情况下。
发明内容
本发明目的在于克服现有技术的不足，提供一种强化型残差级联网络模型，将其用于快速磁共振成像技术，实现大加速倍率(采样率10％-20％)的欠采样重建。以密集连接的递归单元作为记忆模块，用于学习底层特征信息，再在记忆模块间以密集连接作为长记忆连接，用于学习高层特征信息。这种局部密集连接与全局密集连接的级联方法，比单纯的网络级联能更好地学习多层次的特征信息，并搭建更深度的网络结构。结合残差网络和密集连接方式构建级联型深度神经网络，为更深度神经网络的训练提供更好的稳定性。设计数据一致性模块和高频特征引导模块进行网络强化，进一步提高网络性能。
本发明的技术方案如下：
一种用于磁共振欠采样成像的强化型残差级联网络模型，所述模型由嵌入子网络，推理子网络及重建子网络三部分构成，所述嵌入子网络用于提取输入低质量图像的特征；推理子网络用于学习嵌入子网络与推理子网络之间的残差信息；重建子网络将学习到的特征信息重建为目标图像，所述推理子网络由密集连接的级联块组成，所述级联块又由密集连接的残差块组成，级联块之间的密集连接为全局性密集连接，用于学习全局性特征信息；残差块之间的密集连接为局部性密集连接，用于学习局部性特征信息。
所述残差块后局部性密集连接由一个并接操作和一个1×1卷积层组成，将此前每个残差块输出进行特征融合并作为下一个残差块的输入
Figure BDA0002496754270000041
其中
Figure BDA0002496754270000042
为对应的1×1卷积层的卷积核参数，级联块输出为
Figure BDA0002496754270000043
在推理子网络中的每个级联块之间进行全局性密集连接
Figure BDA0002496754270000044
其中
Figure BDA0002496754270000045
为对应的1×1卷积层的卷积核参数，
Figure BDA0002496754270000046
和Ci分别表示第i个级联块的输入与输出。
所述残差块由两个预激活卷积层和一个由输入端到输出端的跨连接构成，推理子网络中第i个级联块里第j个残差块的残差学习过程表示为：
Figure BDA0002496754270000047
其中
Figure BDA0002496754270000048
和
Figure BDA0002496754270000049
分别为残差块的输入与输出，
Figure BDA00024967542700000410
为级联块的输入，
Figure BDA00024967542700000411
和
Figure BDA00024967542700000412
分别表示残差块第一和第二个卷积层的卷积核参数，τ表示包括批量规范化和线性整流单元的预激活方程，n为级联块的数目，m为每个级联块里残差块的数目。
在所述嵌入子网络中设置误差纠正模块，所述误差纠正模块由两个预激活卷积层PreActConv、一个跨连接、和数据一致性层Data Consistency组成，在所述重建子网络中，同样设置数据一致性层用于纠正网络预测的偏差，以保证网络预测与采集到的k空间数据具有一致性，残差块的中间预测结果定义为
Figure BDA0002496754270000051
用傅里叶变换F将其转换到k空间
Figure BDA0002496754270000052
数据一致性层的映射函数fDC(·)输出如下
Figure BDA0002496754270000053
其中
Figure BDA0002496754270000054
为残差块的中间预测结果，用傅里叶变换F将其转换到k空间
Figure BDA0002496754270000055
Y为欠采样k空间数据，k对应k空间的索引，λ为加权参数。
所述重建子网络包括残差卷积层、高频特征引导模块、多层监督重建，残差卷积层用于卷积每个级联块输出，得到残差特征信息；通过跨连接元素相加操作将高频特征引导模块输出特征与嵌入子网络输出特征相加，进行求和，多层监督策略将每个级联块的输出特征输送到重建子网络中，得到对应第i个级联块的中间预测值。
为实现高频特征引导，所述模型中还设计一组方向性高频滤波器G＝[G1,G2,G3,G4]，其中
采用方向性滤波器G从填零图像提取高频特征
Figure BDA0002496754270000056
表示卷积操作。其中Xu为填零图像，
Figure BDA0002496754270000057
表示卷积操作。
高频特征与填零图像在通道方向并接作为嵌入子网络的输入，重建子网络的高频特征引导模块包括特征重建卷积层、并接操作、残差卷积层，所述特征重建卷积层将输入残差特征变换为高频特征信息，并使用从标签图像提取的高频特征指引重建，将残差特征和高频特征信息的并接作为输入，进一步卷积得到新的残差特征。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
本发明所述的用于磁共振欠采样成像的强化型残差级联网络，集成残差网络及密集连接网络的显著性能，以局部性及全局性的密集连接方式级联残差块，并使用高频信息引导模块及误差纠正模块进一步增强网络性能，从而有利于构建深度卷积神经网络，扩大网络的感受野，更有效地处理1维笛卡尔欠采样所产生的混叠伪影，将其用于快速磁共振成像技术，实现大加速倍率(采样率10％-20％)的欠采样重建，重建出的磁共振图像具有更准确的结构和信息。。
附图说明
图1.用于磁共振欠采样成像的强化型残差级联网络ECRN的示意图；
图2.不同网络单元的结构图。(a)残差块的组成；(b)预激活卷积层；(c)级联块的示意图；(d)数据一致性嵌入模块；
图3.采用本发明的网络，对10％及20％采样率下不同采样模板对应的数据重建的收敛曲线，PSNR(dB)/MSSIM为验证数据集下的平均值；(a)10％采样率下，(b)20％采样率下；
图4.10％采样率下Radial和Random采样模板重建结果的对比。第一列为全采样图像及局部放大图和采样模板，第二列为填零图，第三列为本发明网络重建结果及局部放大图和相对全采样的差值图；
图5.笛卡尔采样模板下人脑磁共振图像的欠采样重建结果，及其局部放大图和相对全采样的差值图。从上到下分别对应10％，20％和30％采样率。对比算法选用TV[18]、PANO[19]、U-net[20]、DC-CNN[21]，本发明方法标记为ECRN。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
一种用于磁共振欠采样成像的强化型残差级联网络，以残差网络作为构造强化型残差级联网络模型的基础，该模型由嵌入子网络，推理子网络及重建子网络三部分构成，其中嵌入子网络用于提取输入低质量图像的特征；推理子网络用于学习嵌入子网络与推理子网络之间的残差信息；重建子网络将学习到的特征信息重建为目标图像。其主体结构推理子网络由密集连接的级联块组成，而级联块又由密集连接的残差块组成。级联块之间的密集连接称作全局性密集连接，用于学习全局性特征信息；残差块之间的密集连接称作局部性密集连接，用于学习局部性特征信息。设计数据一致性模块和高频特征引导模块进行网络强化，进一步提高网络性能。
残差块后局部性密集连接由一个并接操作和一个1×1卷积层组成，将此前每个残差块输出进行特征融合并作为下一个残差块的输入
Figure BDA0002496754270000071
其中
Figure BDA0002496754270000072
为对应的1×1卷积层的卷积核参数，级联块输出为
Figure BDA0002496754270000073
与每个级联块里残差块之间的局部性密集连接类似，本发明同样在推理子网络中的每个级联块之间进行全局性密集连接
Figure BDA0002496754270000074
其中
Figure BDA0002496754270000075
为对应的1×1卷积层的卷积核参数，
Figure BDA0002496754270000076
和Ci分别表示第i个级联块的输入与输出。
本发明残差块由两个预激活卷积层和一个由输入端到输出端的跨连接构成。推理子网络中第i个级联块里第j个残差块的残差学习过程可表示为
Figure BDA0002496754270000077
其中
Figure BDA0002496754270000078
和
Figure BDA0002496754270000079
分别为残差块的输入与输出，
Figure BDA00024967542700000710
为级联块的输入，
Figure BDA00024967542700000711
和
Figure BDA00024967542700000712
分别表示残差块第一和第二个卷积层的卷积核参数，τ表示包括批量规范化和线性整流单元的预激活方程，n为级联块的数目，m为每个级联块里残差块的数目。为了表达的简洁性，本发明中卷积操作方程均省略掉卷积过程中的偏置项。
为使得网络具备误差校正功能，设计数据一致性模块，添加到嵌入子网络与重建子网络。在所述嵌入子网络中设置误差纠正模块，所述误差纠正模块由两个预激活卷积层PreActConv、一个跨连接、和数据一致性层Data Consistency组成，在所述重建子网络中，同样设置数据一致性层用于纠正网络预测的偏差，以保证网络预测与采集到的k空间数据具有一致性，残差块的中间预测结果定义为
Figure BDA0002496754270000081
用傅里叶变换F将其转换到k空间
Figure BDA0002496754270000082
数据一致性层的映射函数fDC(·)输出如下
Figure BDA0002496754270000083
其中Y为欠采样k空间数据，k对应k空间的索引。λ为加权参数，取值由网络训练确定。
重建子网络由残差卷积层、高频特征引导模块、多层监督重建等构成。残差卷积层用于卷积每个级联块输出Ci，得到残差特征信息Fr1i；通过跨连接。元素相加操作将高频特征引导模块输出特征Fr2i与嵌入子网络输出特征Femb相加，得到Fsum。重建卷积层将特征信息Fsum通过卷积融合为一个中间预测结果
Figure BDA0002496754270000084
多层监督策略将每个级联块的输出特征Ci输送到重建子网络中，得到对应第i个级联块的中间预测
Figure BDA0002496754270000085
最后的网络预测为所有中间预测结果的加权平均
Figure BDA0002496754270000086
其中ωi为可训练的标量权值参数。
为实现高频特征引导，设计一组方向性高频滤波器G＝[G1,G2,G3,G4]，其中
Figure BDA0002496754270000087
采用方向性滤波器G从填零图像Xu提取高频特征
Figure BDA0002496754270000091
Figure BDA0002496754270000092
表示卷积操作。高频特征与填零图像在通道方向并接
Figure BDA0002496754270000093
作为嵌入子网络的输入。重建子网络的高频特征引导模块由特征重建卷积层、并接操作、残差卷积层组成。特征重建卷积层将输入残差特征变换为高频特征信息
Figure BDA0002496754270000094
并使用从标签图像提取的高频特征Xh指引重建。将残差特征Fr1i和高频特征
Figure BDA0002496754270000095
的并接作为输入，进一步卷积得到新的残差特征Fr2i。
如图1所示，本发明所述的强化型残差级联网络以残差网络作为基础，包含3个子网络。残差网络的基本单元为残差块(Residual Block,RB)，如图2(a)所示，残差块由两个预激活卷积层和一个由输入端到输出端的跨连接构成。如图2(b)所示，预激活卷积层PreActConv在卷积操作Conv之前，先进行包括批量规范化(Batch Normalization,BN)和线性整流单元(Rectified Linear Unit,ReLU)的非线性激活。本发明所有卷积操作均采取预激活卷积层。本发明所述的推理子网络由密集连接的级联块(Cascading Block,CB)组成，而级联块由密集连接的残差块组成，如图2(c)所示。级联块之间的密集连接称作全局性密集连接，用于学习全局性特征信息；残差块之间的密集连接称作局部性密集连接，用于学习局部性特征信息。嵌入子网络中用于数据一致性校正的DC_Embed模块组成如图2(d)所示。
在训练网络过程中，使用全采样标签X及其高频特征Xh监督网络所有的中间预测
Figure BDA0002496754270000096
最后网络预测
Figure BDA0002496754270000097
及高频特征信息重建
Figure BDA0002496754270000098
构建损失函数如下
Figure BDA0002496754270000099
其中T为训练样本的数目，并以1范数构建网络损失方程。
本发明强化型残差级联网络的实验中，卷积核大小为3×3，除重建子网络的特征重建卷积层ResConv2的通道数为8(分别对应从实部和虚部提取的高频特征)及重建卷积层Recon通道数目为2(实部和虚部)外，其余卷积层通道数目均为64。级联块的数目设置为n＝10，每个级联块里残差块的数目m＝5。卷积核权值由MSRA方法初始化，即符合正态分布
Figure BDA0002496754270000101
ks表示卷积核尺寸，chn表示通道数。学习率初始化为10-4，每30个epoch后乘以0.5，minibatch大小设置为1。ERRN使用ADAM优化器在TensorFlow平台上训练100个epoch。
本发明采用磁共振脑图验证强化型残差级联网络的欠采样重建效果。磁共振脑图数据集包含来自于8个健康成年人不同时间段的16组扫描数据，采集过程符合IRB协议并得到志愿者的书面知情同意书。成像采集为美国约翰霍普金斯医学院F.M.Kirby研究中心的7T Philips Healthcare MRI，配备32通道人脑接收线圈，采集序列为T1加权的磁化准备快速梯度回波(Magnetization Prepared RApid Gradient Echo,MPRAGE)。具体成像参数如下：FOV＝220mm×220mm×110mm，matrix size＝224×224×110，TR＝4ms，TE＝2ms，flipangle＝7°。我们从脑图数据集中随机选取9组数据作为训练样本，5组作为测试样本。磁共振图像灰度范围归一化到[0,1]，每个训练样本通过90°旋转和翻转，实现数据8倍扩容。应用采样模板笛卡尔Cartesian、辐射状Radial、变密度随机Random，采样率10％，20％和30％的重建实验。使用采样模板对全采样数据进行k空间欠采样，产生相应的欠采样数据，全采样数据作为训练样本的标签数据及实验测试的参考图。测试使用峰值信噪比(peak signalto noise ratio,PSNR)及平均结构相似度指标(mean structural similarity index,MSSIM)作为图像的客观评价指标。
本发明用于磁共振欠采样成像的强化型残差级联网络ECRN与传统的基于全变分的压缩感知方法TV和基于非局部块的PANO方法，以及基于卷积神经网络的U-net和DC-CNN方法进行比较。为了比较的公平性，基于卷积神经网络的重建方法皆使用与本发明相同的数据集训练网络参数。3种基于卷积神经网络的重建方法的网络结构对比如表1所示。DC-CNN具有5个级联子网络，每个子网络含有5个卷积层。DC-CNN具有与U-net相似的网络深度，但拥有最小的网络参数量，同时感受野也最小。U-net由于其多尺度的编码/解码网络结构特征，具有覆盖整幅图像的感受野，在医学图像分析上取得了广泛的应用，但其巨大的参数量使得其在处理数据量有限的医学图像重建问题上显得过于累赘。本发明ECRN网络深度约为DC-CNN的6倍，感受野约为DC-CNN的4倍。ECRN具有与U-net相近的感受野，然而U-net的网络参数比ECRN高一个数量级。
表1卷积神经网络的结构复杂度对比
Figure BDA0002496754270000111
图3为10％与20％采样率下不同采样模板对应的训练过程收敛曲线。PSNR(dB)/MSSIM为训练过程中在每个epoch下验证数据集的重建结果平均值。由图可见，100个epoch内，不同采样率下不同采样模板基本能达到收敛，其中相同采样率下Radial模板的重建指标最佳。同样采样率下，Random采样比Radial和Cartesian采样重建更为容易。20％采样率的收敛曲线比10％采样率时更加稳定，不同采样模板在1到100epoch之间收敛曲线均能平稳上升。但是10％采样率下，Random采样在50个epoch前重建指标较高，之后可能出现下降的情况，例如MSSIM-epoch收敛曲线。收敛过早及不稳定的现象表明10％采样率时，网络输入欠采样数据的有效信息更少，从而造成其重建任务相比20％更加困难。
图4展示了本发明对10％采样率的Random和Radial采样的重建结果。由图可见，填零图像存在严重的结构模糊和图像伪影。尽管如此，ECRN仍然能够恢复出脑图的各项结构和细节信息，可参加局部放大图、差值图、及图中标注的PSNR/MSSIM。其中，Random采样的重建结果从视觉和量化两方面都优于Radial，这与图3的结论相一致。对于Radial采样，由局部放大图可见，ECRN也可以重建出微小的血管。
由于Cartesian采样是MRI成像仪上最常用且最易实现的欠采样模板，图5给出各算法对Cartesian不同采样率的重建效果。由图可见，填零图像存在严重的混叠伪影，在10％采样率下已经难以辨别出解剖结构。传统方法TV和PANO在低采样率下完全失效，甚至重建不出简单的轮廓信息。在较高采样率30％时，TV和PANO的结果依然残留严重的伪影，且重建的解剖结构不准确。基于卷积神经网络的U-net及DC-CNN方法比传统方法有优势，然而10％采样率时重建结果仍然存在明显的模糊。由差值图及局部放大图可见，本发明网络ECRN在不同采样率下均取得最优异的表现，结构信息与全采样参考图最接近。表2是在10％-30％的Cartesian采样下，MRI脑图测试集重建结果评价指标的平均值。由表可见，不同采样率下本发明均取得最好的客观评价指标，尤其在10％采样率时，本发明ECRN比U-net的PSNR/MSSIM高出4.21dB/0.1463。
表2.MRI脑图测试集Cartesian采样重建结果评价指标的平均值。
Figure BDA0002496754270000121
Figure BDA0002496754270000131
其中，上面一行为平均PSNR(dB)值，下面一行为平均MSSIM值。粗体表示最优指标。
上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。

Claims (7)

1.一种用于磁共振欠采样成像的强化型残差级联网络模型，其特征在于：所述模型由嵌入子网络，推理子网络及重建子网络三部分构成，所述嵌入子网络用于提取输入低质量图像的特征；推理子网络用于学习嵌入子网络与推理子网络之间的残差信息；重建子网络将学习到的特征信息重建为目标图像，所述推理子网络由密集连接的级联块组成，所述级联块又由密集连接的残差块组成，级联块之间的密集连接为全局性密集连接，用于学习全局性特征信息；残差块之间的密集连接为局部性密集连接，用于学习局部性特征信息。
2.如权利要求1所述的一种用于磁共振欠采样成像的强化型残差级联网络模型，其特征在于：所述残差块后局部性密集连接由一个并接操作和一个1×1卷积层组成，将此前每个残差块输出进行特征融合并作为下一个残差块的输入：
Figure FDA0002921402070000011
其中
Figure FDA0002921402070000012
为对应的1×1卷积层的卷积核参数，级联块输出为
Figure FDA0002921402070000013
n为级联块的数目，m为每个级联块里残差块的数目；在推理子网络中的每个级联块之间进行全局性密集连接：
Figure FDA0002921402070000014
其中
Figure FDA0002921402070000015
为对应的1×1卷积层的卷积核参数，
Figure FDA0002921402070000016
和Ci分别表示第i个级联块的输入与输出，n为级联块的数目。
3.如权利要求1所述的一种用于磁共振欠采样成像的强化型残差级联网络模型，其特征在于：所述残差块由两个预激活卷积层和一个由输入端到输出端的跨连接构成，推理子网络中第i个级联块里第j个残差块的残差学习过程表示为：
Figure FDA0002921402070000017
其中
Figure FDA0002921402070000018
和
Figure FDA0002921402070000019
分别为第i个级联块里第j个残差块的输入与输出，
Figure FDA0002921402070000021
为第i个级联块的输入，
Figure FDA0002921402070000022
和
Figure FDA0002921402070000023
分别表示残差块第一和第二个卷积层的卷积核参数，τ表示包括批量规范化和线性整流单元的预激活方程，n为级联块的数目，m为每个级联块里残差块的数目。
4.如权利要求1所述的一种用于磁共振欠采样成像的强化型残差级联网络模型，其特征在于：在所述嵌入子网络中设置误差纠正模块，所述误差纠正模块由两个预激活卷积层PreActConv、一个跨连接和数据一致性层组成，在所述重建子网络中，同样设置数据一致性层用于纠正网络预测的偏差，以保证网络预测与采集到的k空间数据具有一致性，残差块的中间预测结果定义为
Figure FDA0002921402070000024
用傅里叶变换F将其转换到k空间
Figure FDA0002921402070000025
数据一致性层的映射函数fDC(·)输出如下
Figure FDA0002921402070000026
其中
Figure FDA0002921402070000027
为残差块的中间预测结果，用傅里叶变换F将其转换到k空间
Figure FDA0002921402070000028
Y为欠采样k空间数据，k对应k空间的索引，λ为加权参数。
5.如权利要求1所述的一种用于磁共振欠采样成像的强化型残差级联网络模型，其特征在于：所述重建子网络包括残差卷积层、高频特征引导模块、多层监督重建，残差卷积层用于卷积每个级联块输出，得到残差特征信息；通过跨连接元素相加操作将高频特征引导模块输出特征与嵌入子网络输出特征相加，进行求和，多层监督策略将每个级联块的输出特征输送到重建子网络中，得到对应第i个级联块的中间预测值。
6.如权利要求5所述的一种用于磁共振欠采样成像的强化型残差级联网络模型，其特征在于：为实现高频特征引导，所述模型中还设计一组方向性高频滤波器G＝[G1,G2,G3,G4]，采用所述方向性滤波器G从填零图像提取高频特征：
Figure FDA0002921402070000029
其中Xu为填零图像，
Figure FDA00029214020700000210
表示卷积操作。
7.如权利要求6所述的一种用于磁共振欠采样成像的强化型残差级联网络模型，其特征在于：高频特征与填零图像在通道方向并接作为嵌入子网络的输入，重建子网络的高频特征引导模块包括特征重建卷积层、并接操作、残差卷积层，所述特征重建卷积层将输入残差特征变换为高频特征信息，并使用从标签图像提取的高频特征信息指引重建，将残差特征和高频特征信息的并接作为输入，进一步卷积得到新的残差特征。
CN202010420669.1A 2020-05-18 2020-05-18 一种用于磁共振欠采样成像的强化型残差级联网络模型 Expired - Fee Related CN111487573B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010420669.1A CN111487573B (zh) 2020-05-18 2020-05-18 一种用于磁共振欠采样成像的强化型残差级联网络模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010420669.1A CN111487573B (zh) 2020-05-18 2020-05-18 一种用于磁共振欠采样成像的强化型残差级联网络模型

Publications (2)

Publication Number Publication Date
CN111487573A CN111487573A (zh) 2020-08-04
CN111487573B true CN111487573B (zh) 2021-03-23

Family

ID=71795209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010420669.1A Expired - Fee Related CN111487573B (zh) 2020-05-18 2020-05-18 一种用于磁共振欠采样成像的强化型残差级联网络模型

Country Status (1)

Country Link
CN (1) CN111487573B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951344B (zh) * 2020-08-09 2022-08-02 昆明理工大学 一种基于级联并行卷积网络的磁共振图像重建方法
CN112634385B (zh) * 2020-10-15 2024-05-10 浙江工业大学 一种基于深度拉普拉斯网络的快速磁共振成像方法
CN113096208B (zh) * 2021-03-16 2022-11-18 天津大学 基于双域交替卷积的神经网络磁共振图像的重建方法
CN114757930B (zh) * 2022-04-26 2022-12-06 西安电子科技大学 基于热传递的芯片硬件木马检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107182216A (zh) * 2015-12-30 2017-09-19 中国科学院深圳先进技术研究院 一种基于深度卷积神经网络的快速磁共振成像方法及装置
CN108324276A (zh) * 2018-01-11 2018-07-27 上海东软医疗科技有限公司 磁共振成像方法和装置
CN108460726A (zh) * 2018-03-26 2018-08-28 厦门大学 一种基于增强递归残差网络的磁共振图像超分辨重建方法
WO2019039708A1 (en) * 2017-08-25 2019-02-28 Samsung Electronics Co., Ltd. MAGNETIC RESONANCE IMAGING APPARATUS AND METHOD FOR MAGNETIC RESONANCE IMAGE RECONSTRUCTION USING NEURONIC ARRAY
CN109993701A (zh) * 2019-04-09 2019-07-09 福州大学 一种基于金字塔结构的深度图超分辨率重建的方法
CN110874842A (zh) * 2019-10-10 2020-03-10 浙江大学 一种基于级联残差全卷积网络的胸腔多器官分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107182216A (zh) * 2015-12-30 2017-09-19 中国科学院深圳先进技术研究院 一种基于深度卷积神经网络的快速磁共振成像方法及装置
WO2019039708A1 (en) * 2017-08-25 2019-02-28 Samsung Electronics Co., Ltd. MAGNETIC RESONANCE IMAGING APPARATUS AND METHOD FOR MAGNETIC RESONANCE IMAGE RECONSTRUCTION USING NEURONIC ARRAY
CN108324276A (zh) * 2018-01-11 2018-07-27 上海东软医疗科技有限公司 磁共振成像方法和装置
CN108460726A (zh) * 2018-03-26 2018-08-28 厦门大学 一种基于增强递归残差网络的磁共振图像超分辨重建方法
CN109993701A (zh) * 2019-04-09 2019-07-09 福州大学 一种基于金字塔结构的深度图超分辨率重建的方法
CN110874842A (zh) * 2019-10-10 2020-03-10 浙江大学 一种基于级联残差全卷积网络的胸腔多器官分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Undersampled MR image reconstruction using an enhanced recursive;Lijun Bao et al.;《Journal of Magnetic Resonance》;20190930;第305卷;第232-246页 *
基于密集连接卷积神经网络的远程监督关系抽取;钱小梅 等;《计算机科学》;20200229;第47卷(第2期);第157-162页 *
基于频谱结构和方向特性的磁共振图像超分辨重建方法;包立君 等;《第十九届全国波谱学学术会议论文摘要集》;20160807;第1-2页 *

Also Published As

Publication number Publication date
CN111487573A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN108460726B (zh) 一种基于增强递归残差网络的磁共振图像超分辨重建方法
CN111487573B (zh) 一种用于磁共振欠采样成像的强化型残差级联网络模型
Qin et al. Convolutional recurrent neural networks for dynamic MR image reconstruction
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN111028306B (zh) 基于AR2 U-Net神经网络的快速磁共振成像方法
CN111123183B (zh) 基于复数R2U_Net网络的快速磁共振成像方法
CN110148215B (zh) 一种基于平滑约束和局部低秩约束模型的四维磁共振图像重建方法
CN109214989B (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
CN109360152A (zh) 基于稠密卷积神经网络的三维医学图像超分辨率重建方法
Du et al. Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network
CN111899165A (zh) 一种基于功能模块的多任务图像重建卷积网络模型
Luo et al. Bayesian MRI reconstruction with joint uncertainty estimation using diffusion models
CN107301630B (zh) 一种基于排序结构组非凸约束的cs-mri图像重构方法
CN108257093B (zh) 基于可控核与高斯过程回归的单帧图像超分辨方法
CN111598964B (zh) 一种基于空间自适应网络的定量磁化率图像重建方法
CN110322402A (zh) 基于稠密混合注意力网络的医学图像超分辨率重建方法
CN111161146A (zh) 一种由粗糙到精细的单张图像超分辨率重建方法
CN116823625B (zh) 基于变分自编码器的跨对比度磁共振超分辨率方法和系统
CN111754598B (zh) 基于变换学习的局部空间邻域并行磁共振成像重构方法
CN114913262B (zh) 采样模式与重建算法联合优化的核磁共振成像方法及系统
CN114998458A (zh) 基于参考图像和数据修正的欠采样磁共振图像重建方法
CN109934884B (zh) 一种基于变换学习和联合稀疏性的迭代自一致性并行成像重构方法
CN112990359B (zh) 一种影像数据处理方法、装置、计算机及存储介质
Fan et al. An interpretable MRI reconstruction network with two-grid-cycle correction and geometric prior distillation
Yang et al. MGDUN: An interpretable network for multi-contrast MRI image super-resolution reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210323