CN111783631B - 一种基于稀疏表示的深度学习磁共振波谱重建方法 - Google Patents
一种基于稀疏表示的深度学习磁共振波谱重建方法 Download PDFInfo
- Publication number
- CN111783631B CN111783631B CN202010610893.7A CN202010610893A CN111783631B CN 111783631 B CN111783631 B CN 111783631B CN 202010610893 A CN202010610893 A CN 202010610893A CN 111783631 B CN111783631 B CN 111783631B
- Authority
- CN
- China
- Prior art keywords
- network
- time domain
- domain signal
- block
- magnetic resonance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013135 deep learning Methods 0.000 title claims abstract description 45
- 230000006870 function Effects 0.000 claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000013507 mapping Methods 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- 238000004611 spectroscopical analysis Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 230000001537 neural effect Effects 0.000 claims 1
- 238000005457 optimization Methods 0.000 abstract description 5
- 230000000452 restraining effect Effects 0.000 abstract description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 5
- 102000004169 proteins and genes Human genes 0.000 description 4
- 108090000623 proteins and genes Proteins 0.000 description 4
- 230000001086 cytosolic effect Effects 0.000 description 3
- 238000005570 heteronuclear single quantum coherence Methods 0.000 description 3
- 230000006698 induction Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010995 multi-dimensional NMR spectroscopy Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000002495 two-dimensional nuclear magnetic resonance spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/22—Source localisation; Inverse modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/513—Sparse representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
一种基于稀疏表示的深度学习磁共振波谱重建方法，涉及磁共振波谱重建方法。包括以下步骤：1)利用磁共振波谱的时域信号的指数函数特性，仿真产生全采样的时域信号；2)对时域信号进行欠采样，建立包含全采样时域信号对应的波谱、欠采样时域信号和对应欠采样模板的训练集；3)设计基于稀疏表示的深度学习网络模型、网络的反馈功能及损失函数；4)利用步骤2)获得的训练集，求解基于稀疏表示的深度学习网络的最优参数；5)将待重建的欠采样的磁共振时域信号输入网络重建磁共振波谱。通过约束磁共振频域信号的稀疏性，以传统最优化方法为指导设计深度神经网络，具有重建速度快、重建质量高和网络可解释性强的特点。
Description
技术领域
本发明涉及磁共振波谱重建方法，尤其是涉及一种基于稀疏表示的深度学习磁共振波谱重建方法。
背景技术
磁共振波谱能够提供分子结构的原子水平的信息，是医学、化学和生命科学领域的重要分析工具。磁共振实验中，信号的采样时间随分辨率和采样维度的增大而增大。非均匀采样技术通过获取部分数据的方法，被广泛地用来加速实验数据的采集，但它需要先进的波谱重建方法来得到完整的波谱。
在波谱重建中，一些研究人员利用磁共振时域和频域信号的特性来重建波谱。其中效果较好的一种利用了磁共振频域信号的稀疏特性。比如，Qu等(Xiaobo Qu,Xue Cao,DiGuo,Zhong Chen,"Compressed sensing for sparse magnetic resonancespectroscopy,"in International Society for Magnetic Resonance in Medicine19th Scientific Meeting,pp.3371,2010.；Xiaobo Qu,Di Guo,Xue Cao,Shuhui Cai,Zhong Chen,"Reconstruction of self-sparse 2D NMR spectra from undersampleddata in indirect dimension,"Sensors,vol.11,pp.8888-8909,2011.)指出磁共振波谱具有自稀疏特性，并从稀疏性和相干性的角度分析，建议通过最小化波谱的p范数(0<p≤1)来重建磁共振波谱。之后，利用同样的自稀疏特性，研究人员将压缩感知成功应用于蛋白质的二维甚至更高维磁共振波谱的重建中(Krzysztof Kazimierczuk and VladislavOrekhov,"Accelerated NMR Spectroscopy by Using Compressed Sensing,"AngewandteChemie International Edition,vol.50,pp.5556-5559,2011.；Daniel Holland,MarkBostock,Lynn Gladden,Daniel Nietlispach,"Fast multidimensional NMRspectroscopy using compressed sensing,"Angewandte Chemie InternationalEdition,vol.50,pp.6548-6551,2011.；Sven Hyberts,Alexander Milbradt,AndreasWagner,Haribabu Arthanari,Gerhard Wagner,"Application of iterative softthresholding for fast reconstruction of NMR data non-uniformly sampled withmultidimensional Poisson Gap scheduling,"Journal of Biomolecular NMR,vol.52,pp.315-327,2012.)。此外，Qu等(Xiaobo Qu,Maxim Mayzel,Jian-Feng Cai,Zhong Chen,Vladislav Orekhov,"Accelerated NMR spectroscopy with low-rankreconstruction,"Angewandte Chemie International Edition,vol.54,pp.852-854,2015.)还针对宽谱峰重建效果不理想等问题，提出基于低秩汉克尔矩阵对欠采样的波谱进行高质量的重建方法。但是，以上方法受限于最优化算法的迭代计算过程，波谱重建时间较长。
随着人工智能的发展，深度学习为解决传统最优化重建方法存在的问题提供了一种新的思路。Qu等(Xiaobo Qu,Yihui Huang,Hengfa Lu,Tianyu Qiu,Di Guo,TatianaAgback,Vladislav Orekhov,Zhong Chen,"Accelerated nuclear magnetic resonancespectroscopy with deep learning,"Angewandte Chemie International Edition,DOI:10.1002/anie.201908162,2019.)提出了在磁共振频域信号上利用卷积神经网络和合成数据训练的深度学习网络来进行欠采样磁共振波谱的重建的新方法，明显降低了波谱重建时间。Chen和Wang等(Dicheng Chen,Zi Wang,Di Guo,Vladislav Orekhov,Xiaobo Qu,"Review and prospect:deep learning in nuclear magnetic resonancespectroscopy,"Chemistry-A European Journal,DOI:10.1002/chem.202000246,2020.)综述了深度学习在磁共振波谱领域的历史和前沿进展。
但是，磁共振波谱重建中，现有方法的重建质量仍有待提高，尚无利用频域信号的稀疏特性，建立深度学习神经网络来实现快速且高质量的磁共振波谱重建的方法。
发明内容
本发明目的在于提供重建速度快、重建质量高和可解释性强的一种基于稀疏表示的深度学习磁共振波谱重建方法。
本发明包括以下步骤：
1)利用磁共振波谱的时域信号的指数函数特性，仿真产生全采样的时域信号；
2)对时域信号进行欠采样，建立包含全采样时域信号对应的波谱、欠采样时域信号和对应欠采样模板的训练集；
3)设计基于稀疏表示的深度学习网络模型、网络的反馈功能及损失函数；
4)利用步骤2)获得的训练集，求解基于稀疏表示的深度学习网络的最优参数；
5)将待重建的欠采样的磁共振时域信号输入网络重建磁共振波谱。
在步骤1)中，所述利用磁共振波谱的时域信号的指数函数特性，仿真产生全采样的时域信号的具体方法为：根据指数函数生成全采样的磁共振波谱的时域信号，该时域信号可以被表示为有限个指数函数的叠加。
在步骤2)中，所述对时域信号进行欠采样，建立包含全采样时域信号对应的波谱、欠采样时域信号和对应欠采样模板的训练集的具体方法为：定义为时域中的欠采样且在未采样点填零的算子，其对应的欠采样模板为U，对全采样时域信号s进行欠采样操作，得到欠采样时域信号y：
定义yn与Un中的下标n表示欠采样时域信号y与欠采样模板U的第n个元素，算子u的具体操作为：若Un＝1，全采样时域信号s的第n个元素保留到欠采样时域信号y，表示全采样时域信号s的第n个元素有采样到；若Un＝0，则对应的yn＝0，表示全采样时域信号s的第n个元素没有采样到；这一过程表示为先对全采样时域信号s进行傅里叶变换得到对应的全采样波谱x，再将欠采样时域信号y，全采样波谱x和欠采样模板U共同组成训练集/>其中欠采样时域信号y和全采样波谱x分别作为神经网络的输入数据和标签。
在步骤3)中，所述基于稀疏表示的深度学习网络模型以迭代块为核心，通过叠加若干个迭代块作为整体的网络结构，每个迭代块包含三个子块；单个迭代块的网络结构如下：
a)子块D用于更新网络中间量d，它由LD层卷积神经网络密集连接构成，卷积核大小均为ID×ID；第一层输入为和欠采样时域信号y的并集，其中F表示傅里叶变换，上标H表示复共轭转置，/>表示上一个迭代块的最终输出；第2～LD-1层之间以线性整流函数(Rectified Linear Unit,ReLU)连接，且每层输入均为之前网络层输出的并集；最后一层输出子块D的计算结果d；完整的子块D用如下非线性映射函数表示：
其中，ΘD表示该迭代块中子块D的内部参数；fD(·)表示子块D所训练的非线性映射；
b)子块R用于更新网络中间量r；它由LR层卷积神经网络密集连接构成，卷积核大小均为IR×IR；第一层输入为上一个迭代块的最终输出和γFUTd的并集，其中上标T表示转置，d表示子块D的计算结果，γ表示步长；第2～LR-1层之间以线性整流函数(RectifiedLinear Unit,ReLU)连接，且每层输入均为之前网络层输出的并集；最后一层输出子块R的计算结果r；完整的子块R用如下非线性映射函数表示：
其中，ΘR表示该迭代块中子块R的内部参数；fR(·)表示子块R所训练的非线性映射；
c)子块G用于根据输入数据特征自动选择阈值θ，并通过软阈值算子更新当前迭代块的最终输出首先，对输入的子块R的计算结果r的所有元素取绝对值，然后经过全局均值池化(Global Average Pooling,GAP)得到中间量a；同时另一条传输路径中，会将全局均值池化之后的结果，输入到一个小型的全连接网络之中，这个全连接网络以非线性激活函数Sigmoid作为最后一步，得到一个尺度数值β∈(0,1)，子块G得到的阈值为θ＝a×β；
定义软阈值算子soft为：
soft(·,θ)＝sgn(·)×max(0,|·|-θ)， (5)
其中，sgn(·)为符号函数；子块G的最终输出结果为当前迭代块的最终输出完整的子块T用如下非线性映射函数表示：
其中，ΘT表示该迭代块中子块T的内部参数；fT(·)表示子块T所训练的非线性映射；
综上，将以上三个子块D、R和G级联，单个迭代块整体可以用如下非线性映射函数组表示：
其中，表示该迭代块中所有子块内部参数的集合；F(·)表示子块的级联；表示所训练的从/>到/>的非线性映射，是各子块非线性映射 fT(r|ΘT)的组合；
设计的基于稀疏表示的深度学习网络模型可整体表示为：
其中，Θ表示整体网络内部参数的集合；Foverall(y|Θ)表示所训练的从欠采样时域信号y到网络最终输出值的所有迭代块级联的非线性映射；
所述网络的反馈功能是网络求解目标值的重要过程，在网络模型构建过程中，通过将网络的输出值与全采样波谱x进行比较并反馈梯度来更新迭代模块的参数，使网络输出值更逼近全采样时域信号对应的全采样波谱；
所述损失函数可以定义为：
其中，Θ表示整体网络内部参数的集合；||·||2表示向量的二范数；k表示第k个迭代块，k＝1,2,...,K，K表示迭代块的总数；Σ表示求和运算。
在步骤4)中，所述求解基于稀疏表示的深度学习网络的最优参数可采用深度学习中表现较好的Adam优化器，利用步骤2)中生成的训练集进行网络训练，通过最小化步骤3)中的损失函数来得到最优目标参数集合/>
在步骤5)中，所述将待重建的欠采样的磁共振时域信号输入网络重建磁共振波谱是将待重建的欠采样的磁共振信号作为已训练好的网络的输入，依照训练好的相对最优参数进行网络的前向传播，即可得到重建后的磁共振波谱/>
本发明提出了一种基于对磁共振波谱进行稀疏约束的深度学习磁共振波谱重建方法。本方法首先利用磁共振波谱的时域信号的指数函数特性，仿真产生完整的时域信号；接着对时域信号进行欠采样，训练集由欠采样的时域信号、对应的欠采样模板和全采样的时域信号对应的波谱组成，前二者作为网络的输入，后者作为标签；然后依照稀疏表示重建欠采样数据的形式设计深度学习神经网络结构，用上述的训练集求解网络最优参数构成重建模型；最后将欠采样时域数据输入已训练的网络得到重建后的磁共振波谱。
本发明结合了深度学习和传统迭代方法的优势，既延续了前者优异的重建时间表现，又基于后者具有相对可靠的理论支撑，可进行快速且高质量的磁共振波谱重建，且重建结果优于前沿的密集连接卷积神经网络(Xiaobo Qu,Yihui Huang,Hengfa Lu,TianyuQiu,Di Guo,Tatiana Agback,Vladislav Orekhov,Zhong Chen,"Accelerated nuclearmagnetic resonance spectroscopy with deep learning,"Angewandte ChemieInternational Edition,DOI:10.1002/anie.201908162,2019.)。本发明通过约束磁共振频域信号的稀疏性，以传统最优化方法为指导设计深度神经网络，具有重建速度快、重建质量高和网络可解释性强的特点。
附图说明
图1是实施例中采用的15％采样率的欠采样模板。
图2是基于稀疏表示的深度学习网络结构。其中，(a)为整体网络结构与第k+1个迭代块结构的示意图；(b)为自动阈值选择小型全连接网络结构示意图。
图3是胞质CD79b蛋白质的全采样1H-15N异核单量子关系(HSQC)标签波谱和15％采样率下的重建波谱。其中，(a)是全采样标签波谱，(b)是本发明的重建波谱，(c)是前沿的密集连接卷积神经网络的重建波谱(Xiaobo Qu,Yihui Huang,Hengfa Lu,Tianyu Qiu,DiGuo,Tatiana Agback,Vladislav Orekhov,Zhong Chen,"Accelerated nuclear magneticresonance spectroscopy with deep learning,"Angewandte Chemie InternationalEdition,DOI:10.1002/anie.201908162,2019.)。ppm是化学位移的单位，在数值上为10-6。
具体实施方式
以下实施例将结合附图对本发明作进一步说明。本发明实施例用指数函数生成全采样的时域信号对应的波谱作为训练集标签，欠采样的时域信号、对应的欠采样模板作为训练集输入，通过若干次迭代训练得到最优网络参数，最后将需要重建的欠采样数据输入网络得到重建后的磁共振波谱。
以下给出具体实施例。
本发明实施例包括以下步骤：
第一步：利用指数函数生成磁共振波谱的时域信号
本实施例总计生成40000个自由感应衰减信号，根据指数函数生成磁共振的全采样时域信号它可以被表示为有限个指数函数的叠加：
其中，表示长度为N的复数向量；sn的下标n表示信号向量s的第n个元素；j表示第j个指数函数，j＝1,2,...,J，J表示指数函数的个数(也即谱峰个数)；aj、fj、τj和φj分别表示第j个指数函数的幅值、中心频率、衰减因子和相位；Δt表示两次采样的时间间隔。实施例中，N＝256，谱峰个数为1～10，对固定的谱峰个数将生成4000个自由感应衰减信号，幅值aj的取值范围[0.05,1]，频率fj的取值范围[0.01,0.99]，衰减因子τj的取值范围[10.0,179.2]，相位值φj固定为0，两次采样的时间间隔Δt＝1。
第二步：建立包含全采样时域信号对应的波谱、欠采样时域信号和对应的欠采样模板的训练集
为时域中的欠采样并在未采样点填零的算子，其对应的欠采样模板为U。对全采样时域信号s进行欠采样操作可以得到欠采样时域信号y：
其中，yn与Un中的下标n表示欠采样时域信号y与欠采样模板U的第n个元素，算子的具体操作为：若Un＝1，s的第n个元素保留到y，表示s的第n个元素有采样到；若Un＝0，则对应的yn＝0，表示s的第n个元素没有采样到。这一过程可以表示为先对全采样时域信号进行傅里叶变换得到对应的全采样波谱x，再将欠采样时域信号y，全采样波谱x和欠采样模板U共同组成训练集/>其中欠采样时域信号y和全采样波谱x分别作为神经网络的输入数据和标签。
欠采样模板如图1所示。在图1中，欠采样模板U中白色的是采样点，表示该位置对应的数据被采样；黑色表示没有采样到的点，该位置对应的数据丢失。实施例中采样率为15％。
第三步：设计基于稀疏表示的深度学习网络模型、网络的反馈功能及损失函数
深度学习模型以迭代块为核心，通过叠加若干个迭代块作为整体的网络结构，每个迭代块包含三个子块。以第k+1个迭代块为例，网络结构的解释如下：
a)子块D用于更新网络中间量d。它由6层卷积神经网络密集连接构成，卷积核大小均为3×3。第1层输入为UFHxk和欠采样时域信号y的并集，其中F表示傅里叶变换，上标H表示复共轭转置，xk表示上一个迭代块(即第k个迭代块)的最终输出。第2～5层之间以线性整流函数(Rectified Linear Unit,ReLU)连接，且每层输入均为之前网络层输出的并集。第6层输出子块D的计算结果dk+1。完整的子块D用如下非线性映射函数表示：
其中，表示第k+1个迭代块中子块D的内部参数；fD(·)表示子块D所训练的非线性映射。
b)子块R用于更新网络中间量r。它由6层卷积神经网络密集连接构成，卷积核大小均为3×3。第1层输入为第k个迭代块的输出xk和γFUTdk+1的并集，其中上标T表示转置，dk+1表示子块D的输出，γ表示步长；第2～5层之间以线性整流函数(Rectified Linear Unit,ReLU)连接，且每层输入均为之前网络层输出的并集；第6层输出子块R的计算结果rk+1。完整的子块R用如下非线性映射函数表示：
c)子块G用于根据输入数据特征自动选择阈值θ，并通过软阈值算子更新当前迭代块的最终输出xk+1。首先，对输入的子块R的计算结果rk+1的所有元素取绝对值，然后经过全局均值池化(Global Average Pooling,GAP)得到中间量ak+1；同时另一条传输路径中，会将全局均值池化之后的结果，输入到一个小型全连接网络之中，这个全连接网络以非线性激活函数Sigmoid作为最后一步，得到一个尺度数值βk+1∈(0,1)，在实施例中，这个全连接网络共有两个隐藏层，分别由2个和1个神经元构成。子块G得到的阈值为θk+1＝ak+1×βk+1。
定义软阈值算子soft为：
soft(·,θ)＝sgn(·)×max(0,|·|-θ)， (5)
其中，sgn(·)为符号函数。子块G的最终输出结果为当前迭代块的最终输出xk+1。完整的子块T用如下非线性映射函数表示：
综上，将以上3个子块D、R和G级联，第k+1个迭代块整体可以用如下非线性映射函数组表示：
其中，Θk+1表示第k+1个迭代块中所有子块内部参数的集合；F(·)表示子块的级联；foverall(xk|Θk+1)表示所训练的从xk到xk+1的非线性映射，是各子块非线性映射的组合。
设计的基于稀疏表示的深度学习网络具体结构如图2所示。整个网络可表示为：
其中，Θ表示整体网络内部参数的集合；Foverall(y|Θ)表示所训练的从y到网络最终输出值的所有迭代块级联的非线性映射。
所述网络的反馈功能是网络求解目标值的重要过程，在网络模型构建过程中，通过将网络的输出值与全采样波谱x进行比较并反馈梯度来更新迭代模块的参数，使网络输出值更逼近全采样时域信号对应的全采样波谱。
深度学习网络的损失函数定义如下：
其中，Θ表示整体网络内部参数的集合；||·||2表示向量的二范数；k表示第k个迭代块，k＝1,2,...,K，K表示迭代块的总数，本方法中K＝10；Σ表示求和运算。
第四步：训练基于稀疏表示的深度学习网络的最优参数
采用深度学习中表现较好的Adam优化器(Diederik Kingma and Jimmy Ba,“Adam:A method for stochastic optimization,”arXiv preprint arXiv:1412.6980,2014.)，通过最小化步骤三中的损失函数训练可得到最优目标参数集合/>
第五步：对欠采样的磁共振信号进行重建
将待重建的欠采样的磁共振信号作为已训练好的网络的输入，依照训练好的相对最优参数进行网络的前向传播，得到重建后的磁共振波谱/>
在实施例中，网络的输入为15％采样率的胞质CD79b蛋白质的1H-15N异核单量子关系(HSQC)数据，数据维度为116×256。
在实施例中，胞质CD79b蛋白质的全采样1H-15N异核单量子关系(HSQC)标签波谱和15％采样率下的重建波谱如图3。
可以看出，利用基于稀疏表示的深度学习磁共振波谱重建方法可以快速重建出高质量的磁共振波谱，且重建结果优于前沿的密集连接卷积神经网络(Xiaobo Qu,YihuiHuang,Hengfa Lu,Tianyu Qiu,Di Guo,Tatiana Agback,Vladislav Orekhov,ZhongChen,"Accelerated nuclear magnetic resonance spectroscopy with deeplearning,"Angewandte Chemie International Edition,DOI:10.1002/anie.201908162,2019.)。
本发明提出了一种利用磁共振波谱的稀疏性的深度学习磁共振波谱重建方法。这种基于对磁共振波谱进行稀疏约束的深度学习磁共振波谱重建方法具有重建速度快、重建质量高和网络可解释性强的特点。
Claims (5)
1.一种基于稀疏表示的深度学习磁共振波谱重建方法，其特征在于包括以下步骤：
1)利用磁共振波谱的时域信号的指数函数特性，仿真产生全采样的时域信号；
2)对时域信号进行欠采样，建立包含全采样时域信号对应的波谱、欠采样时域信号和对应欠采样模板的训练集；
3)设计基于稀疏表示的深度学习网络模型、网络的反馈功能及损失函数；
所述基于稀疏表示的深度学习网络模型以迭代块为核心，通过叠加若干个迭代块作为整体的网络结构，每个迭代块包含三个子块；单个迭代块的网络结构如下：
a)子块D用于更新网络中间量d，它由LD层卷积神经网络密集连接构成，卷积核大小均为ID×ID；第一层输入为和欠采样时域信号y的并集，其中F表示傅里叶变换，上标H表示复共轭转置，/>表示上一个迭代块的最终输出；第2～LD-1层之间以线性整流函数(Rectified Linear Unit,ReLU)连接，且每层输入均为之前网络层输出的并集；最后一层输出子块D的计算结果d；完整的子块D用如下非线性映射函数表示：
其中，ΘD表示该迭代块中子块D的内部参数；fD(·)表示子块D所训练的非线性映射；
b)子块R用于更新网络中间量r；它由LR层卷积神经网络密集连接构成，卷积核大小均为IR×IR；第一层输入为上一个迭代块的最终输出和γFUTd的并集，其中上标T表示转置，d表示子块D的计算结果，γ表示步长；第2～LR-1层之间以线性整流函数(Rectified LinearUnit,ReLU)连接，且每层输入均为之前网络层输出的并集；最后一层输出子块R的计算结果r；完整的子块R用如下非线性映射函数表示：
其中，ΘR表示该迭代块中子块R的内部参数；fR(·)表示子块R所训练的非线性映射；
c)子块G用于根据输入数据特征自动选择阈值θ，并通过软阈值算子更新当前迭代块的最终输出首先，对输入的子块R的计算结果r的所有元素取绝对值，然后经过全局均值池化得到中间量a；同时另一条传输路径中，会将全局均值池化之后的结果，输入到一个小型的全连接网络之中，这个全连接网络以非线性激活函数Sigmoid作为最后一步，得到一个尺度数值β∈(0,1)，子块G得到的阈值为θ＝a×β；
定义软阈值算子soft为：
soft(·,θ)＝sgn(·)×max(0,|·|-θ)， (5)
其中，sgn(·)为符号函数；子块G的最终输出结果为当前迭代块的最终输出完整的子块T用如下非线性映射函数表示：
其中，ΘT表示该迭代块中子块T的内部参数；fT(·)表示子块T所训练的非线性映射；
综上，将以上三个子块D、R和G级联，单个迭代块整体用如下非线性映射函数组表示：
其中，表示该迭代块中所有子块内部参数的集合；F(·)表示子块的级联；表示所训练的从/>到/>的非线性映射，是各子块非线性映射 fT(r|ΘT)的组合；
设计的基于稀疏表示的深度学习网络模型整体表示为：
其中，Θ表示整体网络内部参数的集合；Foverall(y|Θ)表示所训练的从欠采样时域信号y到网络最终输出值的所有迭代块级联的非线性映射；
所述网络的反馈功能是网络求解目标值的重要过程，在网络模型构建过程中，通过将网络的输出值与全采样波谱x进行比较并反馈梯度来更新迭代模块的参数，使网络输出值更逼近全采样时域信号对应的全采样波谱；
所述损失函数定义为：
其中，Θ表示整体网络内部参数的集合；||·||2表示向量的二范数；k表示第k个迭代块，k＝1,2,...,K，K表示迭代块的总数；Σ表示求和运算；
4)利用步骤2)获得的训练集，求解基于稀疏表示的深度学习网络的最优参数；
5)将待重建的欠采样的磁共振时域信号输入网络重建磁共振波谱。
2.如权利要求1所述一种基于稀疏表示的深度学习磁共振波谱重建方法，其特征在于在步骤1)中，所述利用磁共振波谱的时域信号的指数函数特性，仿真产生全采样的时域信号的具体方法为：根据指数函数生成全采样的磁共振波谱的时域信号，该时域信号被表示为有限个指数函数的叠加。
3.如权利要求1所述一种基于稀疏表示的深度学习磁共振波谱重建方法，其特征在于在步骤2)中，所述对时域信号进行欠采样，建立包含全采样时域信号对应的波谱、欠采样时域信号和对应欠采样模板的训练集的具体方法为：定义为时域中的欠采样且在未采样点填零的算子，其对应的欠采样模板为U，对全采样时域信号s进行欠采样操作，得到欠采样时域信号y：
定义yn与Un中的下标n表示欠采样时域信号y与欠采样模板U的第n个元素，算子的具体操作为：若Un＝1，全采样时域信号s的第n个元素保留到欠采样时域信号y，表示全采样时域信号s的第n个元素有采样到；若Un＝0，则对应的yn＝0，表示全采样时域信号s的第n个元素没有采样到；这一过程表示为/>先对全采样时域信号s进行傅里叶变换得到对应的全采样波谱x，再将欠采样时域信号y，全采样波谱x和欠采样模板U共同组成训练集/>其中欠采样时域信号y和全采样波谱x分别作为神经网络的输入数据和标签。
4.如权利要求1所述一种基于稀疏表示的深度学习磁共振波谱重建方法，其特征在于在步骤4)中，所述求解基于稀疏表示的深度学习网络的最优参数采用深度学习中表现较好的Adam优化器，利用步骤2)中生成的训练集进行网络训练，通过最小化步骤3)中的损失函数来得到最优目标参数集合/>
5.如权利要求1所述一种基于稀疏表示的深度学习磁共振波谱重建方法，其特征在于在步骤5)中，所述将待重建的欠采样的磁共振时域信号输入网络重建磁共振波谱是将待重建的欠采样的磁共振信号作为已训练好的网络的输入，依照训练好的相对最优参数进行网络的前向传播，即得到重建后的磁共振波谱/>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010610893.7A CN111783631B (zh) | 2020-06-29 | 2020-06-29 | 一种基于稀疏表示的深度学习磁共振波谱重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010610893.7A CN111783631B (zh) | 2020-06-29 | 2020-06-29 | 一种基于稀疏表示的深度学习磁共振波谱重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111783631A CN111783631A (zh) | 2020-10-16 |
| CN111783631B true CN111783631B (zh) | 2023-10-24 |
Family
ID=72760706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010610893.7A Active CN111783631B (zh) | 2020-06-29 | 2020-06-29 | 一种基于稀疏表示的深度学习磁共振波谱重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111783631B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113143243B (zh) * | 2021-02-25 | 2023-08-22 | 厦门大学 | 一种基于谱分解的深度学习磁共振波谱重建方法 |
| CN113971706B (zh) * | 2021-10-15 | 2024-04-30 | 厦门大学 | 一种快速磁共振智能成像方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106646303A (zh) * | 2016-11-17 | 2017-05-10 | 厦门理工学院 | 一种欠采样磁共振波谱的快速重建方法 |
| CN108335339A (zh) * | 2018-04-08 | 2018-07-27 | 朱高杰 | 一种基于深度学习和凸集投影的磁共振重建方法 |
| CN111324861A (zh) * | 2020-02-28 | 2020-06-23 | 厦门大学 | 一种基于矩阵分解的深度学习磁共振波谱重建方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10338178B2 (en) * | 2015-01-12 | 2019-07-02 | The Board Of Trustees Of The University Of Illinois | System and method for high-resolution spectroscopic imaging |
| CN105931179B (zh) * | 2016-04-08 | 2018-10-26 | 武汉大学 | 一种联合稀疏表示与深度学习的图像超分辨率方法及系统 |
-
2020
- 2020-06-29 CN CN202010610893.7A patent/CN111783631B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106646303A (zh) * | 2016-11-17 | 2017-05-10 | 厦门理工学院 | 一种欠采样磁共振波谱的快速重建方法 |
| CN108335339A (zh) * | 2018-04-08 | 2018-07-27 | 朱高杰 | 一种基于深度学习和凸集投影的磁共振重建方法 |
| CN111324861A (zh) * | 2020-02-28 | 2020-06-23 | 厦门大学 | 一种基于矩阵分解的深度学习磁共振波谱重建方法 |
Non-Patent Citations (4)
| Title |
|---|
| Single Image Super-Resolution With Learning Iteratively Non-Linear Mapping Between Low- and High-Resolution Sparse Representations;Kun Zeng;《2018 24th International Conference on Pattern Recognition》;全文 * |
| Sparse representation-based MRI super-resolution reconstruction;Yun-Heng Wang;《ELSEVIER》;全文 * |
| 基于低秩矩阵的非均匀采样NMR波谱重建进展;詹嘉莹;涂章仁;杜晓凤;袁斌;郭迪;屈小波;;波谱学杂志(03);全文 * |
| 联合局部和全局稀疏表示的磁共振图像重建方法;葛永新;林梦然;洪明坚;;重庆大学学报(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111783631A (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110378980B (zh) | 一种基于深度学习的多通道磁共振图像重建方法 | |
| CN111324861B (zh) | 一种基于矩阵分解的深度学习磁共振波谱重建方法 | |
| CN106646303B (zh) | 一种欠采样磁共振波谱的快速重建方法 | |
| Stern et al. | NMR data processing using iterative thresholding and minimum l1-norm reconstruction | |
| CN104063886B (zh) | 一种基于稀疏表示和非局部相似的核磁共振图像重建方法 | |
| CN111783631B (zh) | 一种基于稀疏表示的深度学习磁共振波谱重建方法 | |
| CN104739410B (zh) | 一种磁共振图像的迭代重建方法 | |
| CN112150568A (zh) | 基于Transformer模型的磁共振指纹成像重建方法 | |
| Wang et al. | A sparse model-inspired deep thresholding network for exponential signal reconstruction--application in fast biological spectroscopy | |
| CN110673222B (zh) | 一种基于原子训练的大地电磁信号噪声压制方法及系统 | |
| CN111487573B (zh) | 一种用于磁共振欠采样成像的强化型残差级联网络模型 | |
| CN109523486A (zh) | 噪声环境下基于鲁棒压缩感知的多通道脑电信号重构方法 | |
| CN107423543B (zh) | 一种超复数磁共振波谱的快速重建方法 | |
| CN112819949B (zh) | 一种基于结构化低秩矩阵的磁共振指纹图像重建方法 | |
| CN105808869A (zh) | 一种基于块Hankel矩阵的磁共振波谱重建方法 | |
| CN104899906A (zh) | 基于自适应正交基的磁共振图像重建方法 | |
| Cao et al. | Accelerating seismic interpolation with a gradient projection method based on tight frame property of curvelet | |
| CN108830167A (zh) | 一种基于k-svd字典学习的海水温度场数据重构方法 | |
| Xie et al. | PUERT: Probabilistic under-sampling and explicable reconstruction network for CS-MRI | |
| CN114820849A (zh) | 基于深度学习的磁共振cest图像重建方法、装置及设备 | |
| CN108537738A (zh) | 一种矩阵补全方法 | |
| Yang et al. | Well-log information-assisted high-resolution waveform inversion based on deep learning | |
| CN113143243B (zh) | 一种基于谱分解的深度学习磁共振波谱重建方法 | |
| CN110045184A (zh) | 一种基于压缩感知macsmp的超次谐波测量方法 | |
| CN110598579B (zh) | 一种基于深度学习的超复数磁共振波谱重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |