CN111783631A - 一种基于稀疏表示的深度学习磁共振波谱重建方法 - Google Patents
一种基于稀疏表示的深度学习磁共振波谱重建方法 Download PDFInfo
- Publication number
- CN111783631A CN111783631A CN202010610893.7A CN202010610893A CN111783631A CN 111783631 A CN111783631 A CN 111783631A CN 202010610893 A CN202010610893 A CN 202010610893A CN 111783631 A CN111783631 A CN 111783631A
- Authority
- CN
- China
- Prior art keywords
- network
- domain signal
- magnetic resonance
- block
- sampled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013135 deep learning Methods 0.000 title claims abstract description 46
- 230000006870 function Effects 0.000 claims abstract description 56
- 238000005070 sampling Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004611 spectroscopical analysis Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 230000017105 transposition Effects 0.000 claims 1
- 238000005457 optimization Methods 0.000 abstract description 5
- 238000005481 NMR spectroscopy Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 5
- 102000004169 proteins and genes Human genes 0.000 description 4
- 108090000623 proteins and genes Proteins 0.000 description 4
- 230000001086 cytosolic effect Effects 0.000 description 3
- 238000005570 heteronuclear single quantum coherence Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 244000061520 Angelica archangelica Species 0.000 description 1
- 235000001287 Guettarda speciosa Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010995 multi-dimensional NMR spectroscopy Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000000655 nuclear magnetic resonance spectrum Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000002495 two-dimensional nuclear magnetic resonance spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/22—Source localisation; Inverse modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/513—Sparse representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
一种基于稀疏表示的深度学习磁共振波谱重建方法,涉及磁共振波谱重建方法。包括以下步骤:1)利用磁共振波谱的时域信号的指数函数特性,仿真产生全采样的时域信号;2)对时域信号进行欠采样,建立包含全采样时域信号对应的波谱、欠采样时域信号和对应欠采样模板的训练集;3)设计基于稀疏表示的深度学习网络模型、网络的反馈功能及损失函数;4)利用步骤2)获得的训练集,求解基于稀疏表示的深度学习网络的最优参数;5)将待重建的欠采样的磁共振时域信号输入网络重建磁共振波谱。通过约束磁共振频域信号的稀疏性,以传统最优化方法为指导设计深度神经网络,具有重建速度快、重建质量高和网络可解释性强的特点。
Description
技术领域
本发明涉及磁共振波谱重建方法,尤其是涉及一种基于稀疏表示的深度学习磁共振波谱重建方法。
背景技术
磁共振波谱能够提供分子结构的原子水平的信息,是医学、化学和生命科学领域的重要分析工具。磁共振实验中,信号的采样时间随分辨率和采样维度的增大而增大。非均匀采样技术通过获取部分数据的方法,被广泛地用来加速实验数据的采集,但它需要先进的波谱重建方法来得到完整的波谱。
在波谱重建中,一些研究人员利用磁共振时域和频域信号的特性来重建波谱。其中效果较好的一种利用了磁共振频域信号的稀疏特性。比如,Qu等(Xiaobo Qu,Xue Cao,DiGuo,Zhong Chen,"Compressed sensing for sparse magnetic resonancespectroscopy,"in International Society for Magnetic Resonance in Medicine19th Scientific Meeting,pp.3371,2010.;Xiaobo Qu,Di Guo,Xue Cao,Shuhui Cai,Zhong Chen,"Reconstruction of self-sparse 2D NMR spectra from undersampleddata in indirect dimension,"Sensors,vol.11,pp.8888-8909,2011.)指出磁共振波谱具有自稀疏特性,并从稀疏性和相干性的角度分析,建议通过最小化波谱的p范数(0<p≤1)来重建磁共振波谱。之后,利用同样的自稀疏特性,研究人员将压缩感知成功应用于蛋白质的二维甚至更高维磁共振波谱的重建中(Krzysztof Kazimierczuk and VladislavOrekhov,"Accelerated NMR Spectroscopy by Using Compressed Sensing,"AngewandteChemie International Edition,vol.50,pp.5556-5559,2011.;Daniel Holland,MarkBostock,Lynn Gladden,Daniel Nietlispach,"Fast multidimensional NMRspectroscopy using compressed sensing,"Angewandte Chemie InternationalEdition,vol.50,pp.6548-6551,2011.;Sven Hyberts,Alexander Milbradt,AndreasWagner,Haribabu Arthanari,Gerhard Wagner,"Application of iterative softthresholding for fast reconstruction of NMR data non-uniformly sampled withmultidimensional Poisson Gap scheduling,"Journal of Biomolecular NMR,vol.52,pp.315-327,2012.)。此外,Qu等(Xiaobo Qu,Maxim Mayzel,Jian-Feng Cai,Zhong Chen,Vladislav Orekhov,"Accelerated NMR spectroscopy with low-rankreconstruction,"Angewandte Chemie International Edition,vol.54,pp.852-854,2015.)还针对宽谱峰重建效果不理想等问题,提出基于低秩汉克尔矩阵对欠采样的波谱进行高质量的重建方法。但是,以上方法受限于最优化算法的迭代计算过程,波谱重建时间较长。
随着人工智能的发展,深度学习为解决传统最优化重建方法存在的问题提供了一种新的思路。Qu等(Xiaobo Qu,Yihui Huang,Hengfa Lu,Tianyu Qiu,Di Guo,TatianaAgback,Vladislav Orekhov,Zhong Chen,"Accelerated nuclear magnetic resonancespectroscopy with deep learning,"Angewandte Chemie International Edition,DOI:10.1002/anie.201908162,2019.)提出了在磁共振频域信号上利用卷积神经网络和合成数据训练的深度学习网络来进行欠采样磁共振波谱的重建的新方法,明显降低了波谱重建时间。Chen和Wang等(Dicheng Chen,Zi Wang,Di Guo,Vladislav Orekhov,Xiaobo Qu,"Review and prospect:deep learning in nuclear magnetic resonancespectroscopy,"Chemistry-A European Journal,DOI:10.1002/chem.202000246,2020.)综述了深度学习在磁共振波谱领域的历史和前沿进展。
但是,磁共振波谱重建中,现有方法的重建质量仍有待提高,尚无利用频域信号的稀疏特性,建立深度学习神经网络来实现快速且高质量的磁共振波谱重建的方法。
发明内容
本发明目的在于提供重建速度快、重建质量高和可解释性强的一种基于稀疏表示的深度学习磁共振波谱重建方法。
本发明包括以下步骤:
1)利用磁共振波谱的时域信号的指数函数特性,仿真产生全采样的时域信号;
2)对时域信号进行欠采样,建立包含全采样时域信号对应的波谱、欠采样时域信号和对应欠采样模板的训练集;
3)设计基于稀疏表示的深度学习网络模型、网络的反馈功能及损失函数;
4)利用步骤2)获得的训练集,求解基于稀疏表示的深度学习网络的最优参数;
5)将待重建的欠采样的磁共振时域信号输入网络重建磁共振波谱。
在步骤1)中,所述利用磁共振波谱的时域信号的指数函数特性,仿真产生全采样的时域信号的具体方法为:根据指数函数生成全采样的磁共振波谱的时域信号,该时域信号可以被表示为有限个指数函数的叠加。
在步骤2)中,所述对时域信号进行欠采样,建立包含全采样时域信号对应的波谱、欠采样时域信号和对应欠采样模板的训练集的具体方法为:定义为时域中的欠采样且在未采样点填零的算子,其对应的欠采样模板为U,对全采样时域信号s进行欠采样操作,得到欠采样时域信号y:
定义yn与Un中的下标n表示欠采样时域信号y与欠采样模板U的第n个元素,算子u的具体操作为:若Un=1,全采样时域信号s的第n个元素保留到欠采样时域信号y,表示全采样时域信号s的第n个元素有采样到;若Un=0,则对应的yn=0,表示全采样时域信号s的第n个元素没有采样到;这一过程表示为先对全采样时域信号s进行傅里叶变换得到对应的全采样波谱x,再将欠采样时域信号y,全采样波谱x和欠采样模板U共同组成训练集其中欠采样时域信号y和全采样波谱x分别作为神经网络的输入数据和标签。
在步骤3)中,所述基于稀疏表示的深度学习网络模型以迭代块为核心,通过叠加若干个迭代块作为整体的网络结构,每个迭代块包含三个子块;单个迭代块的网络结构如下:
a)子块D用于更新网络中间量d,它由LD层卷积神经网络密集连接构成,卷积核大小均为ID×ID;第一层输入为和欠采样时域信号y的并集,其中F表示傅里叶变换,上标H表示复共轭转置,表示上一个迭代块的最终输出;第2~LD-1层之间以线性整流函数(Rectified Linear Unit,ReLU)连接,且每层输入均为之前网络层输出的并集;最后一层输出子块D的计算结果d;完整的子块D用如下非线性映射函数表示:
其中,ΘD表示该迭代块中子块D的内部参数;fD(·)表示子块D所训练的非线性映射;
b)子块R用于更新网络中间量r;它由LR层卷积神经网络密集连接构成,卷积核大小均为IR×IR;第一层输入为上一个迭代块的最终输出和γFUTd的并集,其中上标T表示转置,d表示子块D的计算结果,γ表示步长;第2~LR-1层之间以线性整流函数(RectifiedLinear Unit,ReLU)连接,且每层输入均为之前网络层输出的并集;最后一层输出子块R的计算结果r;完整的子块R用如下非线性映射函数表示:
其中,ΘR表示该迭代块中子块R的内部参数;fR(·)表示子块R所训练的非线性映射;
c)子块G用于根据输入数据特征自动选择阈值θ,并通过软阈值算子更新当前迭代块的最终输出首先,对输入的子块R的计算结果r的所有元素取绝对值,然后经过全局均值池化(Global Average Pooling,GAP)得到中间量a;同时另一条传输路径中,会将全局均值池化之后的结果,输入到一个小型的全连接网络之中,这个全连接网络以非线性激活函数Sigmoid作为最后一步,得到一个尺度数值β∈(0,1),子块G得到的阈值为θ=a×β;
定义软阈值算子soft为:
soft(·,θ)=sgn(·)×max(0,|·|-θ), (5)
其中,ΘT表示该迭代块中子块T的内部参数;fT(·)表示子块T所训练的非线性映射;
综上,将以上三个子块D、R和G级联,单个迭代块整体可以用如下非线性映射函数组表示:
设计的基于稀疏表示的深度学习网络模型可整体表示为:
所述损失函数可以定义为:
其中,Θ表示整体网络内部参数的集合;||·||2表示向量的二范数;k表示第k个迭代块,k=1,2,...,K,K表示迭代块的总数;Σ表示求和运算。
本发明提出了一种基于对磁共振波谱进行稀疏约束的深度学习磁共振波谱重建方法。本方法首先利用磁共振波谱的时域信号的指数函数特性,仿真产生完整的时域信号;接着对时域信号进行欠采样,训练集由欠采样的时域信号、对应的欠采样模板和全采样的时域信号对应的波谱组成,前二者作为网络的输入,后者作为标签;然后依照稀疏表示重建欠采样数据的形式设计深度学习神经网络结构,用上述的训练集求解网络最优参数构成重建模型;最后将欠采样时域数据输入已训练的网络得到重建后的磁共振波谱。
本发明结合了深度学习和传统迭代方法的优势,既延续了前者优异的重建时间表现,又基于后者具有相对可靠的理论支撑,可进行快速且高质量的磁共振波谱重建,且重建结果优于前沿的密集连接卷积神经网络(Xiaobo Qu,Yihui Huang,Hengfa Lu,TianyuQiu,Di Guo,Tatiana Agback,Vladislav Orekhov,Zhong Chen,"Accelerated nuclearmagnetic resonance spectroscopy with deep learning,"Angewandte ChemieInternational Edition,DOI:10.1002/anie.201908162,2019.)。本发明通过约束磁共振频域信号的稀疏性,以传统最优化方法为指导设计深度神经网络,具有重建速度快、重建质量高和网络可解释性强的特点。
附图说明
图1是实施例中采用的15%采样率的欠采样模板。
图2是基于稀疏表示的深度学习网络结构。其中,(a)为整体网络结构与第k+1个迭代块结构的示意图;(b)为自动阈值选择小型全连接网络结构示意图。
图3是胞质CD79b蛋白质的全采样1H-15N异核单量子关系(HSQC)标签波谱和15%采样率下的重建波谱。其中,(a)是全采样标签波谱,(b)是本发明的重建波谱,(c)是前沿的密集连接卷积神经网络的重建波谱(Xiaobo Qu,Yihui Huang,Hengfa Lu,Tianyu Qiu,DiGuo,Tatiana Agback,Vladislav Orekhov,Zhong Chen,"Accelerated nuclear magneticresonance spectroscopy with deep learning,"Angewandte Chemie InternationalEdition,DOI:10.1002/anie.201908162,2019.)。ppm是化学位移的单位,在数值上为10-6。
具体实施方式
以下实施例将结合附图对本发明作进一步说明。本发明实施例用指数函数生成全采样的时域信号对应的波谱作为训练集标签,欠采样的时域信号、对应的欠采样模板作为训练集输入,通过若干次迭代训练得到最优网络参数,最后将需要重建的欠采样数据输入网络得到重建后的磁共振波谱。
以下给出具体实施例。
本发明实施例包括以下步骤:
第一步:利用指数函数生成磁共振波谱的时域信号
其中,表示长度为N的复数向量;sn的下标n表示信号向量s的第n个元素;j表示第j个指数函数,j=1,2,...,J,J表示指数函数的个数(也即谱峰个数);aj、fj、τj和φj分别表示第j个指数函数的幅值、中心频率、衰减因子和相位;Δt表示两次采样的时间间隔。实施例中,N=256,谱峰个数为1~10,对固定的谱峰个数将生成4000个自由感应衰减信号,幅值aj的取值范围[0.05,1],频率fj的取值范围[0.01,0.99],衰减因子τj的取值范围[10.0,179.2],相位值φj固定为0,两次采样的时间间隔Δt=1。
第二步:建立包含全采样时域信号对应的波谱、欠采样时域信号和对应的欠采样模板的训练集
其中,yn与Un中的下标n表示欠采样时域信号y与欠采样模板U的第n个元素,算子的具体操作为:若Un=1,s的第n个元素保留到y,表示s的第n个元素有采样到;若Un=0,则对应的yn=0,表示s的第n个元素没有采样到。这一过程可以表示为先对全采样时域信号进行傅里叶变换得到对应的全采样波谱x,再将欠采样时域信号y,全采样波谱x和欠采样模板U共同组成训练集其中欠采样时域信号y和全采样波谱x分别作为神经网络的输入数据和标签。
欠采样模板如图1所示。在图1中,欠采样模板U中白色的是采样点,表示该位置对应的数据被采样;黑色表示没有采样到的点,该位置对应的数据丢失。实施例中采样率为15%。
第三步:设计基于稀疏表示的深度学习网络模型、网络的反馈功能及损失函数
深度学习模型以迭代块为核心,通过叠加若干个迭代块作为整体的网络结构,每个迭代块包含三个子块。以第k+1个迭代块为例,网络结构的解释如下:
a)子块D用于更新网络中间量d。它由6层卷积神经网络密集连接构成,卷积核大小均为3×3。第1层输入为UFHxk和欠采样时域信号y的并集,其中F表示傅里叶变换,上标H表示复共轭转置,xk表示上一个迭代块(即第k个迭代块)的最终输出。第2~5层之间以线性整流函数(Rectified Linear Unit,ReLU)连接,且每层输入均为之前网络层输出的并集。第6层输出子块D的计算结果dk+1。完整的子块D用如下非线性映射函数表示:
b)子块R用于更新网络中间量r。它由6层卷积神经网络密集连接构成,卷积核大小均为3×3。第1层输入为第k个迭代块的输出xk和γFUTdk+1的并集,其中上标T表示转置,dk+1表示子块D的输出,γ表示步长;第2~5层之间以线性整流函数(Rectified Linear Unit,ReLU)连接,且每层输入均为之前网络层输出的并集;第6层输出子块R的计算结果rk+1。完整的子块R用如下非线性映射函数表示:
c)子块G用于根据输入数据特征自动选择阈值θ,并通过软阈值算子更新当前迭代块的最终输出xk+1。首先,对输入的子块R的计算结果rk+1的所有元素取绝对值,然后经过全局均值池化(Global Average Pooling,GAP)得到中间量ak+1;同时另一条传输路径中,会将全局均值池化之后的结果,输入到一个小型全连接网络之中,这个全连接网络以非线性激活函数Sigmoid作为最后一步,得到一个尺度数值βk+1∈(0,1),在实施例中,这个全连接网络共有两个隐藏层,分别由2个和1个神经元构成。子块G得到的阈值为θk+1=ak+1×βk+1。
定义软阈值算子soft为:
soft(·,θ)=sgn(·)×max(0,|·|-θ), (5)
其中,sgn(·)为符号函数。子块G的最终输出结果为当前迭代块的最终输出xk+1。完整的子块T用如下非线性映射函数表示:
综上,将以上3个子块D、R和G级联,第k+1个迭代块整体可以用如下非线性映射函数组表示:
设计的基于稀疏表示的深度学习网络具体结构如图2所示。整个网络可表示为:
深度学习网络的损失函数定义如下:
其中,Θ表示整体网络内部参数的集合;||·||2表示向量的二范数;k表示第k个迭代块,k=1,2,...,K,K表示迭代块的总数,本方法中K=10;Σ表示求和运算。
第四步:训练基于稀疏表示的深度学习网络的最优参数
采用深度学习中表现较好的Adam优化器(Diederik Kingma and Jimmy Ba,“Adam:A method for stochastic optimization,”arXiv preprint arXiv:1412.6980,2014.),通过最小化步骤三中的损失函数训练可得到最优目标参数集合
第五步:对欠采样的磁共振信号进行重建
在实施例中,网络的输入为15%采样率的胞质CD79b蛋白质的1H-15N异核单量子关系(HSQC)数据,数据维度为116×256。
在实施例中,胞质CD79b蛋白质的全采样1H-15N异核单量子关系(HSQC)标签波谱和15%采样率下的重建波谱如图3。
可以看出,利用基于稀疏表示的深度学习磁共振波谱重建方法可以快速重建出高质量的磁共振波谱,且重建结果优于前沿的密集连接卷积神经网络(Xiaobo Qu,YihuiHuang,Hengfa Lu,Tianyu Qiu,Di Guo,Tatiana Agback,Vladislav Orekhov,ZhongChen,"Accelerated nuclear magnetic resonance spectroscopy with deeplearning,"Angewandte Chemie International Edition,DOI:10.1002/anie.201908162,2019.)。
本发明提出了一种利用磁共振波谱的稀疏性的深度学习磁共振波谱重建方法。这种基于对磁共振波谱进行稀疏约束的深度学习磁共振波谱重建方法具有重建速度快、重建质量高和网络可解释性强的特点。
Claims (8)
1.一种基于稀疏表示的深度学习磁共振波谱重建方法,其特征在于包括以下步骤:
1)利用磁共振波谱的时域信号的指数函数特性,仿真产生全采样的时域信号;
2)对时域信号进行欠采样,建立包含全采样时域信号对应的波谱、欠采样时域信号和对应欠采样模板的训练集;
3)设计基于稀疏表示的深度学习网络模型、网络的反馈功能及损失函数;
4)利用步骤2)获得的训练集,求解基于稀疏表示的深度学习网络的最优参数;
5)将待重建的欠采样的磁共振时域信号输入网络重建磁共振波谱。
2.如权利要求1所述一种基于稀疏表示的深度学习磁共振波谱重建方法,其特征在于在步骤1)中,所述利用磁共振波谱的时域信号的指数函数特性,仿真产生全采样的时域信号的具体方法为:根据指数函数生成全采样的磁共振波谱的时域信号,该时域信号可以被表示为有限个指数函数的叠加。
3.如权利要求1所述一种基于稀疏表示的深度学习磁共振波谱重建方法,其特征在于在步骤2)中,所述对时域信号进行欠采样,建立包含全采样时域信号对应的波谱、欠采样时域信号和对应欠采样模板的训练集的具体方法为:定义为时域中的欠采样且在未采样点填零的算子,其对应的欠采样模板为U,对全采样时域信号s进行欠采样操作,得到欠采样时域信号y:
4.如权利要求1所述一种基于稀疏表示的深度学习磁共振波谱重建方法,其特征在于在步骤3)中,所述基于稀疏表示的深度学习网络模型以迭代块为核心,通过叠加若干个迭代块作为整体的网络结构,每个迭代块包含三个子块;单个迭代块的网络结构如下:
a)子块D用于更新网络中间量d,它由LD层卷积神经网络密集连接构成,卷积核大小均为ID×ID;第一层输入为和欠采样时域信号y的并集,其中F表示傅里叶变换,上标H表示复共轭转置,表示上一个迭代块的最终输出;第2~LD-1层之间以线性整流函数(Rectified Linear Unit,ReLU)连接,且每层输入均为之前网络层输出的并集;最后一层输出子块D的计算结果d;完整的子块D用如下非线性映射函数表示:
其中,ΘD表示该迭代块中子块D的内部参数;fD(·)表示子块D所训练的非线性映射;
b)子块R用于更新网络中间量r;它由LR层卷积神经网络密集连接构成,卷积核大小均为IR×IR;第一层输入为上一个迭代块的最终输出和γFUTd的并集,其中上标T表示转置,d表示子块D的计算结果,γ表示步长;第2~LR-1层之间以线性整流函数(Rectified LinearUnit,ReLU)连接,且每层输入均为之前网络层输出的并集;最后一层输出子块R的计算结果r;完整的子块R用如下非线性映射函数表示:
其中,ΘR表示该迭代块中子块R的内部参数;fR(·)表示子块R所训练的非线性映射;
c)子块G用于根据输入数据特征自动选择阈值θ,并通过软阈值算子更新当前迭代块的最终输出首先,对输入的子块R的计算结果r的所有元素取绝对值,然后经过全局均值池化(Global Average Pooling,GAP)得到中间量a;同时另一条传输路径中,会将全局均值池化之后的结果,输入到一个小型的全连接网络之中,这个全连接网络以非线性激活函数Sigmoid作为最后一步,得到一个尺度数值β∈(0,1),子块G得到的阈值为θ=a×β;
定义软阈值算子soft为:
soft(·,θ)=sgn(·)×max(0,|·|-θ), (5)
其中,ΘT表示该迭代块中子块T的内部参数;fT(·)表示子块T所训练的非线性映射;
综上,将以上三个子块D、R和G级联,单个迭代块整体可以用如下非线性映射函数组表示:
设计的基于稀疏表示的深度学习网络模型可整体表示为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010610893.7A CN111783631B (zh) | 2020-06-29 | 2020-06-29 | 一种基于稀疏表示的深度学习磁共振波谱重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010610893.7A CN111783631B (zh) | 2020-06-29 | 2020-06-29 | 一种基于稀疏表示的深度学习磁共振波谱重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111783631A true CN111783631A (zh) | 2020-10-16 |
CN111783631B CN111783631B (zh) | 2023-10-24 |
Family
ID=72760706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010610893.7A Active CN111783631B (zh) | 2020-06-29 | 2020-06-29 | 一种基于稀疏表示的深度学习磁共振波谱重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111783631B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113143243A (zh) * | 2021-02-25 | 2021-07-23 | 厦门大学 | 一种基于谱分解的深度学习磁共振波谱重建方法 |
CN113971706A (zh) * | 2021-10-15 | 2022-01-25 | 厦门大学 | 一种快速磁共振智能成像方法 |
CN114140341A (zh) * | 2021-10-29 | 2022-03-04 | 厦门大学 | 一种基于深度学习的磁共振图像非均匀场校正方法 |
CN114333983A (zh) * | 2021-12-24 | 2022-04-12 | 厦门大学 | 一种基于深度学习的磁共振波谱智能量化分析方法 |
CN116597037A (zh) * | 2023-05-22 | 2023-08-15 | 厦门大学 | 一种物理生成数据驱动的快速磁共振智能成像方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160202336A1 (en) * | 2015-01-12 | 2016-07-14 | The Board Of Trustees Of The University Of Illinois | System and method for high-resolution spectroscopic imaging |
CN106646303A (zh) * | 2016-11-17 | 2017-05-10 | 厦门理工学院 | 一种欠采样磁共振波谱的快速重建方法 |
US20170293825A1 (en) * | 2016-04-08 | 2017-10-12 | Wuhan University | Method and system for reconstructing super-resolution image |
CN108335339A (zh) * | 2018-04-08 | 2018-07-27 | 朱高杰 | 一种基于深度学习和凸集投影的磁共振重建方法 |
CN111324861A (zh) * | 2020-02-28 | 2020-06-23 | 厦门大学 | 一种基于矩阵分解的深度学习磁共振波谱重建方法 |
-
2020
- 2020-06-29 CN CN202010610893.7A patent/CN111783631B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160202336A1 (en) * | 2015-01-12 | 2016-07-14 | The Board Of Trustees Of The University Of Illinois | System and method for high-resolution spectroscopic imaging |
US20170293825A1 (en) * | 2016-04-08 | 2017-10-12 | Wuhan University | Method and system for reconstructing super-resolution image |
CN106646303A (zh) * | 2016-11-17 | 2017-05-10 | 厦门理工学院 | 一种欠采样磁共振波谱的快速重建方法 |
CN108335339A (zh) * | 2018-04-08 | 2018-07-27 | 朱高杰 | 一种基于深度学习和凸集投影的磁共振重建方法 |
CN111324861A (zh) * | 2020-02-28 | 2020-06-23 | 厦门大学 | 一种基于矩阵分解的深度学习磁共振波谱重建方法 |
Non-Patent Citations (4)
Title |
---|
KUN ZENG: "Single Image Super-Resolution With Learning Iteratively Non-Linear Mapping Between Low- and High-Resolution Sparse Representations", 《2018 24TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 * |
YUN-HENG WANG: "Sparse representation-based MRI super-resolution reconstruction", 《ELSEVIER》 * |
葛永新;林梦然;洪明坚;: "联合局部和全局稀疏表示的磁共振图像重建方法", 重庆大学学报, no. 01 * |
詹嘉莹;涂章仁;杜晓凤;袁斌;郭迪;屈小波;: "基于低秩矩阵的非均匀采样NMR波谱重建进展", 波谱学杂志, no. 03 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113143243A (zh) * | 2021-02-25 | 2021-07-23 | 厦门大学 | 一种基于谱分解的深度学习磁共振波谱重建方法 |
CN113143243B (zh) * | 2021-02-25 | 2023-08-22 | 厦门大学 | 一种基于谱分解的深度学习磁共振波谱重建方法 |
CN113971706A (zh) * | 2021-10-15 | 2022-01-25 | 厦门大学 | 一种快速磁共振智能成像方法 |
CN113971706B (zh) * | 2021-10-15 | 2024-04-30 | 厦门大学 | 一种快速磁共振智能成像方法 |
CN114140341A (zh) * | 2021-10-29 | 2022-03-04 | 厦门大学 | 一种基于深度学习的磁共振图像非均匀场校正方法 |
CN114140341B (zh) * | 2021-10-29 | 2024-06-07 | 厦门大学 | 一种基于深度学习的磁共振图像非均匀场校正方法 |
CN114333983A (zh) * | 2021-12-24 | 2022-04-12 | 厦门大学 | 一种基于深度学习的磁共振波谱智能量化分析方法 |
CN114333983B (zh) * | 2021-12-24 | 2024-08-16 | 厦门大学 | 一种基于深度学习的磁共振波谱智能量化分析方法 |
CN116597037A (zh) * | 2023-05-22 | 2023-08-15 | 厦门大学 | 一种物理生成数据驱动的快速磁共振智能成像方法 |
CN116597037B (zh) * | 2023-05-22 | 2024-06-04 | 厦门大学 | 一种物理生成数据驱动的快速磁共振智能成像方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111783631B (zh) | 2023-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111783631A (zh) | 一种基于稀疏表示的深度学习磁共振波谱重建方法 | |
CN111191514B (zh) | 一种基于深度学习的高光谱图像波段选择方法 | |
CN106373167B (zh) | 一种基于深度神经网络的压缩传感核磁共振成像方法 | |
CN112150568A (zh) | 基于Transformer模型的磁共振指纹成像重建方法 | |
CN111638249B (zh) | 基于深度学习的含水率测量方法及其在油井开采中的应用 | |
CN109683161A (zh) | 一种基于深度admm网络的逆合成孔径雷达成像的方法 | |
CN107274462B (zh) | 基于熵和几何方向的分类多字典学习磁共振图像重建方法 | |
CN111324861B (zh) | 一种基于矩阵分解的深度学习磁共振波谱重建方法 | |
CN104933683A (zh) | 一种用于磁共振快速成像的非凸低秩重建方法 | |
CN113095409A (zh) | 基于注意力机制和权值共享的高光谱图像分类方法 | |
CN109712077B (zh) | 一种基于深度字典学习的hardi压缩感知超分辨率重建方法 | |
CN111487573B (zh) | 一种用于磁共振欠采样成像的强化型残差级联网络模型 | |
CN112819949B (zh) | 一种基于结构化低秩矩阵的磁共振指纹图像重建方法 | |
CN105808869A (zh) | 一种基于块Hankel矩阵的磁共振波谱重建方法 | |
CN112991483B (zh) | 一种非局部低秩约束的自校准并行磁共振成像重构方法 | |
Zhang et al. | Unrolled convolutional neural network for full-wave inverse scattering | |
CN115471580A (zh) | 一种物理智能高清磁共振扩散成像方法 | |
CN113143243B (zh) | 一种基于谱分解的深度学习磁共振波谱重建方法 | |
CN115032602A (zh) | 一种基于多尺度卷积胶囊网络的雷达目标识别方法 | |
CN110598579B (zh) | 一种基于深度学习的超复数磁共振波谱重建方法 | |
CN109460788A (zh) | 基于低秩-稀疏信息组合网络的高光谱图像分类方法 | |
CN113835964A (zh) | 基于小样本学习的云数据中心服务器能耗预测方法 | |
CN114972562B (zh) | 联合线圈灵敏度估计与图像重建的快速磁共振成像方法 | |
CN108920423A (zh) | 一种高保真谱重建方法 | |
CN115840179A (zh) | 一种高保真磁共振采样信号智能重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |