CN113920213A - 基于长距离注意力模型重建的多层磁共振成像方法及装置 - Google Patents

基于长距离注意力模型重建的多层磁共振成像方法及装置 Download PDF

Info

Publication number
CN113920213A
CN113920213A CN202111138087.5A CN202111138087A CN113920213A CN 113920213 A CN113920213 A CN 113920213A CN 202111138087 A CN202111138087 A CN 202111138087A CN 113920213 A CN113920213 A CN 113920213A
Authority
CN
China
Prior art keywords
embedding
magnetic resonance
imaging
data
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111138087.5A
Other languages
English (en)
Other versions
CN113920213B (zh
Inventor
吕孟叶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Technology University
Original Assignee
Shenzhen Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Technology University filed Critical Shenzhen Technology University
Priority to CN202111138087.5A priority Critical patent/CN113920213B/zh
Publication of CN113920213A publication Critical patent/CN113920213A/zh
Priority to US17/845,198 priority patent/US20230097417A1/en
Priority to PCT/CN2022/103707 priority patent/WO2023045482A1/zh
Application granted granted Critical
Publication of CN113920213B publication Critical patent/CN113920213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/483—NMR imaging systems with selection of signals or spectra from particular regions of the volume, e.g. in vivo spectroscopy
    • G01R33/4833—NMR imaging systems with selection of signals or spectra from particular regions of the volume, e.g. in vivo spectroscopy using spatially selective excitation of the volume of interest, e.g. selecting non-orthogonal or inclined slices
    • G01R33/4835—NMR imaging systems with selection of signals or spectra from particular regions of the volume, e.g. in vivo spectroscopy using spatially selective excitation of the volume of interest, e.g. selecting non-orthogonal or inclined slices of multiple slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/424—Iterative

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pure & Applied Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Optimization (AREA)
  • Signal Processing (AREA)
  • Algebra (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明提供一种基于长距离注意力模型重建的多层磁共振成像方法及装置，其包括构建深度学习重建模型；对多层同时采集的信号进行数据预处理，使用多层磁共振图像或K空间数据作为数据输入，获取可学习的位置嵌入以及成像参数嵌入，将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型，由深度学习重建模型输出磁共振重建图像的结果。本发明还提供实现上述方法的装置。应用本发明可以提高磁共振图像质量，提高医生诊断的准确率，加快成像速度以及提高磁共振机器利用率。

Description

基于长距离注意力模型重建的多层磁共振成像方法及装置
技术领域
本发明涉及医学成像、智能图像处理技术领域，尤其涉及一种多层磁共振成像方法以及实现该方法的装置。
背景技术
磁共振成像因其非创伤性、无电离辐射等优势，在临床疾病诊断和生物医学研究中有着巨大的价值，但是其成像速度较慢，过长的扫描时间等问题阻碍着磁共振成像的发展。
并行成像技术，包括近期发展出的同时多层磁共振技术(可以认为是基于3D的并行成像)，减少了成像过程中空间编码的次数，有望提高磁共振的成像速度。
然而，并行成像数据需要重建得到图像，此问题具有一定的病态性，随着加速倍数的增加，往往会伴随噪声的放大和伪影的残留，对临床诊断和数据分析可能产生潜在负面影响。
发明内容
本发明的主要目的是提供一种基于长距离注意力模型重建的多层磁共振成像方法，该方法解决了现有技术中磁共振图像质量不高，诊断准确率低，成像速度慢，磁共振机器利用率低的问题。
本发明的另一目的是提供一种基于长距离注意力模型重建的多层磁共振成像装置，该装置解决了现有技术中磁共振图像质量不高，诊断准确率低，成像速度慢，磁共振机器利用率低的问题。
为了实现上述主要目的，本发明提供的一种基于长距离注意力模型重建的多层磁共振成像方法，包括构建深度学习重建模型；对多层同时采集的信号进行数据预处理，使用多层磁共振图像或K空间数据作为数据输入；获取可学习的位置嵌入以及成像参数嵌入；将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型；由深度学习重建模型输出磁共振重建图像的结果。
进一步的方案中，所述将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型，包括：所述深度学习重建模型为Transformer结构，该Transformer结构以Transformer编解码器为核心，其包含前置卷积层、后置卷积层和可学习的位置嵌入以及成像参数嵌入；在获取可学习的位置嵌入以及成像参数嵌入后，将经过预处理后的数据和可学习的位置嵌入相加后输入到深度学习重建模型的Transformer编码器中；将Transformer编码器的输出和可学习的成像参数嵌入输入到深度学习重建模型的Transformer解码器中；输出磁共振重建图像的结果。
更进一步的方案中，在使用多层磁共振图像作为数据输入时，使用二维矩阵表示多层图像，其包括：沿磁共振读出方向在K空间插入零值，扩大磁共振读出方向视野，然后进行快速傅里叶变换，得到沿磁共振读出方向连接的层面混叠的图像；使用多个二维卷积层，提取图像的特征，形成一个特征张量，并将该特征张量划分为区块。
更进一步的方案中，所述将经过预处理后的数据和可学习的位置嵌入相加后输入到深度学习重建模型的Transformer编码器中，包括：卷积层以1维数据的形式将每个区块展开，该数据与可学习的位置嵌入相加后输入到Transformer编码器中。
更进一步的方案中，所述位置嵌入由该区块所在坐标经过可学习的嵌入层变换得到；或者由该区块所在坐标经过全连接层变换得到。
更进一步的方案中，所述将Transformer编码器的输出和可学习的成像参数嵌入输入到深度学习重建模型的Transformer解码器中，包括将Transformer编码器的输出和可学习的成像参数嵌入一起输入到Transformer解码器，Transformer解码器的输出经过重排形成另一个特征张量，再经过卷积层生成重建的多个层面图像，其中，Transformer编码器包含计算所有嵌入相关性的自注意力层和全连接层。
更进一步的方案中，所述成像参数嵌入的获取包括：扫描成像信息，将扫描的成像信息编码为一个向量，将向量输入到嵌入层或全连接层或通过固定方式构造得到；其中，所述成像信息可以包括成像部位、层面的角度、采集加速倍数、可控混叠的方向和距离、使用的序列类型、相位编码的方向、FOV、TR时间、TE时间、脉冲翻转角、被扫描对象、扫描机器等。
更进一步的方案中，所述将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型，包括：将原始图像或K空间数据、成像参数嵌入、位置嵌入作为三个输入，其中，该深度学习重建模型包含卷积层和全连接层；将原始图像或K空间数据经过若干层的卷积层处理后形成N1个特征通道；将成像参数嵌入经过若干层的卷积层处理后形成N2个特征通道；将N1个特征通道和N2个特征通道相拼接后，再送入若干个卷积层，形成N3个特征通道；将位置嵌入经过全连接层后形成N3个输出值，将N3个输出值加到N3个特征通道上，经过卷积神经网络处理，从而得到磁共振重建图像的输出结果。
更进一步的方案中，对构建的深度学习重建模型和基于梯度的数据一致性更新结合，进行端对端迭代训练，获得磁共振重建图像的最优输出结果。
为了实现上述的另一目的，本发明提供的一种基于长距离注意力模型重建的多层磁共振成像装置，包括模型构建单元，用于构建深度学习重建模型；数据预处理单元，用于对多层同时采集的信号进行数据预处理，使用多层磁共振图像或K空间数据作为数据输入；嵌入单元，用于获取可学习的位置嵌入以及成像参数嵌入；图像重建单元，用于将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型；输出单元，用于输出磁共振重建图像的结果。
由此可见，本发明使用深度学习图像重建模型，并加入成像参数嵌入和空间位置嵌入，对于成像的先验信息(如成像部位，使用的序列等)和磁共振数据中远距离相关信息，本发明提供的方法可以高效建模，更好的学习磁共振领域知识，以改善磁共振重建图像的噪声和伪影问题。
所以，本发明可以提高磁共振图像质量，提高医生诊断的准确率；加快成像速度，提高磁共振机器利用率，应用范围广，无需对K空间中心满采，广泛适用于梯度回波，自旋回波、平面回波等成像方法。
附图说明
图1是本发明基于长距离注意力模型重建的多层磁共振成像方法实施例一的流程图。
图2是本发明基于长距离注意力模型重建的多层磁共振成像方法实施例一中以Transformer结构作为深度学习重建模型的原理图。
图3是本发明基于长距离注意力模型重建的多层磁共振成像方法实施例中一迭代展开框架下使用深度学习重建模型的原理图。
图4是本发明基于长距离注意力模型重建的多层磁共振成像装置实施例的原理图。
以下结合附图及实施例对本发明作进一步说明。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
基于长距离注意力模型重建的多层磁共振成像方法第一实施例：
参见图1，本发明的基于长距离注意力模型重建的多层磁共振成像方法，包括以下步骤：
步骤S1，构建深度学习重建模型。
步骤S2，对多层同时采集的信号进行数据预处理，使用多层磁共振图像或K空间数据作为数据输入。
步骤S3，获取可学习的位置嵌入以及成像参数嵌入。
步骤S4，将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型。
步骤S5，由深度学习重建模型输出磁共振重建图像的结果。
在本实施例中，将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型，具体包括：该深度学习重建模型为Transformer结构，该Transformer结构以Transformer编解码器为核心，其包含前置卷积层、后置卷积层和可学习的位置嵌入以及成像参数嵌入；在获取可学习的位置嵌入以及成像参数嵌入后，将经过预处理后的数据和可学习的位置嵌入相加后输入到深度学习重建模型的Transformer编码器中；将Transformer编码器的输出和可学习的成像参数嵌入输入到深度学习重建模型的Transformer解码器中；输出磁共振重建图像的结果。
在上述步骤S2中，在使用多层磁共振图像作为数据输入时，使用二维矩阵表示多层图像，其包括：沿磁共振读出方向在K空间插入零值，扩大磁共振读出方向视野(FOV)，然后进行快速傅里叶变换，得到沿磁共振读出方向连接的层面混叠的图像；使用多个二维卷积层，提取图像的特征，形成一个特征张量，并将该特征张量划分为区块。
在本实施例中，将经过预处理后的数据和可学习的位置嵌入相加后输入到深度学习重建模型的Transformer编码器中，包括：卷积层以1维数据的形式将每个区块展开，该数据与可学习的位置嵌入相加后输入到Transformer编码器中。
其中，上述位置嵌入由该区块所在坐标经过可学习的嵌入层变换得到；或者由该区块所在坐标经过全连接层变换得到。
在本实施例中，将Transformer编码器的输出和可学习的成像参数嵌入输入到深度学习重建模型的Transformer解码器中，具体包括：将Transformer编码器的输出和可学习的成像参数嵌入一起输入到Transformer解码器，Transformer解码器的输出经过重排形成另一个特征张量，再经过卷积层生成重建的多个层面图像，其中，Transformer编码器包含计算所有嵌入相关性的自注意力层和全连接层。
在上述步骤S2中，成像参数嵌入的获取包括：扫描成像信息，将扫描的成像信息编码为一个向量，将向量输入到嵌入层或全连接层或通过固定方式构造得到；其中，上述成像信息可以包括成像部位、层面的角度、采集加速倍数、可控混叠的方向和距离、使用的序列类型、相位编码的方向、FOV、TR时间、TE时间、脉冲翻转角、被扫描对象、扫描机器等。
在本实施例中，对构建的深度学习重建模型和基于梯度的数据一致性更新结合，进行端对端迭代训练，获得磁共振重建图像的最优输出结果。其中，基于梯度的数据可以是共轭梯度法、梯度下降法或其他一些迭代求解的改进方法。
在实际应用中，由于同时多层成像可以看作是3D情况下的并行成像，适用于同时多层成像的重建方法可以较为直接的推广到2D并行成像，故下面主要以同时多层成像的重建举例做方法说明。
根据线圈灵敏度编码理论，重建同时多层成像数据可以对应以下优化问题，如公式(1)：
xr＝argminx‖Ax-b‖2+λ‖T(x)‖2 (1)
其中，A为编码算子，对应K空间同时多层采样和线圈灵敏度调制，x为待重建的多个层面的磁共振图像，b是采集的多通道K空间数据，T(x)是正则化约束。使用本实施例的深度学习重建模型实现T，如图2所示，以Transformer编解码器为核心，包含前置卷积层(convolutional neural network，CNN)、后置卷积层和可学习的位置嵌入(positionalembedding)和成像参数嵌入(imaging parameter embedding)。
在本实施例中，首先对多层同时采集的信号进行readout-concatenate预处理，使得可以使用二维矩阵表示多层磁共振图像，其具体操作是沿磁共振读出方向在K空间插入零值，扩大磁共振读出方向FOV，然后进行快速傅里叶变换，得到沿磁共振读出方向连接的层面混叠的图像。然后，使用多个二维卷积层，提取特征，形成的特征张量，将特征常量划分为小的区块(Patch)，将每个区块展开成一维，和可学习的位置嵌入相加输入到Transformer编码器中。当然，在另一些实施例中，也可以将多层同时采集的K空间(而不是图像)作为输入。
在本实施例中，上述的位置嵌入可以根据该区块所在坐标(x,y,z)或(kx，ky，kz)经过可学习的嵌入层(embedding layer，例如tensorflow框架中的tf.nn.embedding_lookup)变换得到的。或者，也可以通过所在坐标经过全连接层(fully connected layers)变换得到。当然，该位置嵌入也可以通过非学习的固定方式直接构造，例如使用正余弦编码。
在本实施例中，Transformer编码器可以参考BERT中的实现(https://github.com/google-research/bert)，其包含计算所有嵌入相关性的自注意力层和全连接层，将Transformer编码器的输出和可学习的成像参数嵌入(imaging parameterembedding)一起输入到Transformer解码器。Transformer解码器的输出经过重排形成另一个特征张量，再经过卷积层生成重建的多个层面图像(可控混叠引起的偏移可以随后去除)。
在本实施例中，上述的成像参数嵌入的获取方式如下：首先将该次扫描的成像信息编码为一个向量，再将向量输入到嵌入层或全连接层或通过固定方式构造得到。
其中，上述成像信息可以包括成像部位(头部、颈部、胸部、上腹部、下腹部、肘关节、膝关节等，每个部位用一个整数表示)，层面的角度(用和三个平面的夹角表示)，采集加速倍数(通常是介于1到20的小数)、可控混叠的方向和距离、使用的序列类型(FSE、FLASH、EPI、FLAIR等，每种序列使用一个整数表示)，相位编码的方向，FOV(视野大小)，TR时间、TE时间、脉冲翻转角、被扫描对象年龄、性别、身高、体重以及扫描机器的场强、品牌、型号等等。当然，在一些实施例中，这些信息也可以通过DICOM文件信息获取。
在本实施例中，可以使用上述深度学习重建模型处理输入数据，得到的输出即作为最终重建结果。
另外，可以结合MoDL重建框架(https://github.com/hkaggarwal/modl)，将以上重建模型和基于梯度的数据一致性更新结合，进行端对端迭代，再得到最终输出图像，如图3所示，这样的可能优点在于可以使用更少的训练数据。当然，无论是采取何种方式，都要在训练数据集上进行训练重建模型。
本实施例的训练数据集可以通过多种方式获得，可以从真实磁共振机器上扫描获得的，也可以从大规模公开磁共振数据集(例如ADNI、HCP等)上取得，也可以通过算法仿真得到，例如通过bloch equation或者直接使用开源磁共振仿真软件如mrilab(http://mrilab.sourceforge.net/)。当然也可以混合使用以上三种方式。在训练时，可以采用L1损失、L2损失、感知损失、对抗性损失等加权平均的综合损失函数，可以使用ADAM优化器进行参数更新。
由此可见，本发明使用深度学习图像重建模型，并加入成像参数嵌入和空间位置嵌入，对于成像的先验信息(如成像部位，使用的序列等)和磁共振数据中远距离相关信息，本发明提供的方法可以高效建模，更好的学习磁共振领域知识，以改善磁共振重建图像的噪声和伪影问题。
所以，本发明可以提高磁共振图像质量，提高医生诊断的准确率；加快成像速度，提高磁共振机器利用率，应用范围广，无需对K空间中心满采，广泛适用于梯度回波，自旋回波、平面回波等成像方法。
基于长距离注意力模型重建的多层磁共振成像方法第二实施例：
在本实施例中，上述将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型，还包括：将原始图像或K空间数据、成像参数嵌入、位置嵌入作为三个输入，其中，该深度学习重建模型包含卷积层和全连接层；将原始图像或K空间数据经过若干层的卷积层处理后形成N1个特征通道；将成像参数嵌入经过若干层的卷积层处理后形成N2个特征通道；将N1个特征通道和N2个特征通道相拼接后，再送入若干个卷积层，形成N3个特征通道；将位置嵌入经过全连接层后形成N3个输出值，将N3个输出值加到N3个特征通道上，经过卷积神经网络处理，从而得到磁共振重建图像的输出结果。
可见，上述Transformer结构不是必须的，在本实施例当中，也可以只用卷积层和全连接层，可以将原始图像(或K空间)数据、成像参数嵌入、位置嵌入作为三个输入，其中，原始图像(或K空间)数据经过若干层的卷积层处理后形成N1个特征通道，成像参数嵌入也经过若干层的卷积层处理后形成N2个特征通道，将原始图像(或K空间)数据形成的N1个特征通道和成像参数形成的N2个特征通道相拼接后，再送入若干个卷积层，形成N3个特征通道。而位置嵌入经过全连接层后也形成N3个输出值，将N3个输出值加到N3个特征通道上，然后再经过卷积神经网络(例如使用resnet50，efficientnet等结构)的处理，得到重建结果。
基于多任务的磁共振重建模型训练装置实施例：
如图4所示，本发明提供的一种基于多任务的磁共振重建模型训练装置，包括：
模型构建单元10，用于构建深度学习重建模型。
数据预处理单元20，用于对多层同时采集的信号进行数据预处理，使用多层磁共振图像或K空间数据作为数据输入。
嵌入单元30，用于获取可学习的位置嵌入以及成像参数嵌入。
图像重建单元40，用于将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型。
输出单元50，用于输出磁共振重建图像的结果。
在本实施例中，将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型，具体包括：该深度学习重建模型为Transformer结构，该Transformer结构以Transformer编解码器为核心，其包含前置卷积层、后置卷积层和可学习的位置嵌入以及成像参数嵌入；在获取可学习的位置嵌入以及成像参数嵌入后，将经过预处理后的数据和可学习的位置嵌入相加后输入到深度学习重建模型的Transformer编码器中；将Transformer编码器的输出和可学习的成像参数嵌入输入到深度学习重建模型的Transformer解码器中；输出磁共振重建图像的结果。
其中，在使用多层磁共振图像作为数据输入时，使用二维矩阵表示多层图像，其包括：沿磁共振读出方向在K空间插入零值，扩大磁共振读出方向视野，然后进行快速傅里叶变换，得到沿磁共振读出方向连接的层面混叠的图像；使用多个二维卷积层，提取图像的特征，形成一个特征张量，并将该特征张量划分为区块。
在本实施例中，将经过预处理后的数据和可学习的位置嵌入相加后输入到深度学习重建模型的Transformer编码器中，包括：卷积层以1维数据的形式将每个区块展开，该数据与可学习的位置嵌入相加后输入到Transformer编码器中。
其中，上述位置嵌入由该区块所在坐标经过可学习的嵌入层变换得到；或者由该区块所在坐标经过全连接层变换得到。
在本实施例中，将Transformer编码器的输出和可学习的成像参数嵌入输入到深度学习重建模型的Transformer解码器中，具体包括：将Transformer编码器的输出和可学习的成像参数嵌入一起输入到Transformer解码器，Transformer解码器的输出经过重排形成另一个特征张量，再经过卷积层生成重建的多个层面图像，其中，Transformer编码器包含计算所有嵌入相关性的自注意力层和全连接层。
其中，成像参数嵌入的获取包括：扫描成像信息，将扫描的成像信息编码为一个向量，将向量输入到嵌入层或全连接层或通过固定方式构造得到；其中，上述成像信息可以包括成像部位、层面的角度、采集加速倍数、可控混叠的方向和距离、使用的序列类型、相位编码的方向、FOV、TR时间、TE时间、脉冲翻转角、被扫描对象、扫描机器等。
在本实施例中，对构建的深度学习重建模型和基于梯度的数据一致性更新结合，进行端对端迭代训练，获得磁共振重建图像的最优输出结果。
计算机装置实施例：
本实施例的计算机装置包括处理器，处理器执行计算机程序时实现上述多层磁共振成像方法实施例中的步骤。
例如，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
计算机装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，计算机装置可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机装置还可以包括输入输出设备、网络接入设备、总线等。
例如，处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。例如，存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(例如声音接收功能、声音转换成文字功能等)等；存储数据区可存储根据手机的使用所创建的数据(例如音频数据、文本数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
存储介质实施例：
终端设备集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个多层磁共振成像方法的各个步骤。
其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
由此可见，本发明提供了一种计算机装置以及存储介质，其包括：一个或多个存储器，一个或多个处理器。存储器用于存储程序代码和程序运行过程中产生的中间数据、模型输出结果的储存和模型及模型参数的储存；处理器用于代码运行所占用的处理器资源和训练模型时占用的多个处理器资源。
需要说明的是，以上仅为本发明的优选实施例，但发明的设计构思并不局限于此，凡利用此构思对本发明做出的非实质性修改，也均落入本发明的保护范围之内。

Claims (10)

1.基于长距离注意力模型重建的多层磁共振成像方法，其特征在于，包括：
构建深度学习重建模型；
对多层同时采集的信号进行数据预处理，使用多层磁共振图像或K空间数据作为数据输入；
获取可学习的位置嵌入以及成像参数嵌入；
将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型；
由深度学习重建模型输出磁共振重建图像的结果。
2.根据权利要求1所述的多层磁共振成像方法，其特征在于，所述将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型，包括：
所述深度学习重建模型为Transformer结构，该Transformer结构以Transformer编解码器为核心，其包含前置卷积层、后置卷积层和可学习的位置嵌入以及成像参数嵌入；
在获取可学习的位置嵌入以及成像参数嵌入后，将经过预处理后的数据和可学习的位置嵌入相加后输入到深度学习重建模型的Transformer编码器中；
将Transformer编码器的输出和可学习的成像参数嵌入输入到深度学习重建模型的Transformer解码器中；
输出磁共振重建图像的结果。
3.根据权利要求2所述的多层磁共振成像方法，其特征在于：
在使用多层磁共振图像作为数据输入时，使用二维矩阵表示多层图像，其包括：沿磁共振读出方向在K空间插入零值，扩大磁共振读出方向视野，然后进行快速傅里叶变换，得到沿磁共振读出方向连接的层面混叠的图像；
使用多个二维卷积层，提取图像的特征，形成一个特征张量，并将该特征张量划分为区块。
4.根据权利要求3所述的多层磁共振成像方法，其特征在于，所述将经过预处理后的数据和可学习的位置嵌入相加后输入到深度学习重建模型的Transformer编码器中，包括：
卷积层以1维数据的形式将每个区块展开，该数据与可学习的位置嵌入相加后输入到Transformer编码器中。
5.根据权利要求4所述的多层磁共振成像方法，其特征在于：
所述位置嵌入由该区块所在坐标经过可学习的嵌入层变换得到；或者
由该区块所在坐标经过全连接层变换得到。
6.根据权利要求5所述的多层磁共振成像方法，其特征在于，所述将Transformer编码器的输出和可学习的成像参数嵌入输入到深度学习重建模型的Transformer解码器中，包括：
将Transformer编码器的输出和可学习的成像参数嵌入一起输入到Transformer解码器，Transformer解码器的输出经过重排形成另一个特征张量，再经过卷积层生成重建的多个层面图像，其中，Transformer编码器包含计算所有嵌入相关性的自注意力层和全连接层。
7.根据权利要求6所述的多层磁共振成像方法，其特征在于：
所述成像参数嵌入的获取包括：扫描成像信息，将扫描的成像信息编码为一个向量，将向量输入到嵌入层或全连接层或通过固定方式构造得到；
其中，所述成像信息可以包括成像部位、层面的角度、采集加速倍数、可控混叠的方向和距离、使用的序列类型、相位编码的方向、FOV、TR时间、TE时间、脉冲翻转角、被扫描对象、扫描机器等。
8.根据权利要求1所述的多层磁共振成像方法，其特征在于，所述将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型，包括：
将原始图像或K空间数据、成像参数嵌入、位置嵌入作为三个输入，其中，该深度学习重建模型包含卷积层和全连接层；
将原始图像或K空间数据经过若干层的卷积层处理后形成N1个特征通道；
将成像参数嵌入经过若干层的卷积层处理后形成N2个特征通道；
将N1个特征通道和N2个特征通道相拼接后，再送入若干个卷积层，形成N3个特征通道；
将位置嵌入经过全连接层后形成N3个输出值，将N3个输出值加到N3个特征通道上，经过卷积神经网络处理，从而得到磁共振重建图像的输出结果。
9.根据权利要求1至8任一项所述的多层磁共振成像方法，其特征在于：
对构建的深度学习重建模型和基于梯度的数据一致性更新结合，进行端对端迭代训练，获得磁共振重建图像的最优输出结果。
10.基于长距离注意力模型重建的多层磁共振成像装置，其特征在于，包括：
模型构建单元，用于构建深度学习重建模型；
数据预处理单元，用于对多层同时采集的信号进行数据预处理，使用多层磁共振图像或K空间数据作为数据输入；
嵌入单元，用于获取可学习的位置嵌入以及成像参数嵌入；
图像重建单元，用于将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型；
输出单元，用于输出磁共振重建图像的结果。
CN202111138087.5A 2021-09-27 2021-09-27 基于长距离注意力模型重建的多层磁共振成像方法及装置 Active CN113920213B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111138087.5A CN113920213B (zh) 2021-09-27 2021-09-27 基于长距离注意力模型重建的多层磁共振成像方法及装置
US17/845,198 US20230097417A1 (en) 2021-09-27 2022-06-21 Multi-slice magnetic resonance imaging method and device based on long-distance attention model reconstruction
PCT/CN2022/103707 WO2023045482A1 (zh) 2021-09-27 2022-07-04 基于长距离注意力模型重建的多层磁共振成像方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111138087.5A CN113920213B (zh) 2021-09-27 2021-09-27 基于长距离注意力模型重建的多层磁共振成像方法及装置

Publications (2)

Publication Number Publication Date
CN113920213A true CN113920213A (zh) 2022-01-11
CN113920213B CN113920213B (zh) 2022-07-05

Family

ID=79236445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111138087.5A Active CN113920213B (zh) 2021-09-27 2021-09-27 基于长距离注意力模型重建的多层磁共振成像方法及装置

Country Status (3)

Country Link
US (1) US20230097417A1 (zh)
CN (1) CN113920213B (zh)
WO (1) WO2023045482A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023045482A1 (zh) * 2021-09-27 2023-03-30 深圳技术大学 基于长距离注意力模型重建的多层磁共振成像方法及装置
CN116741347A (zh) * 2023-05-12 2023-09-12 中山大学附属第一医院 一种病理图像patches提取与深度学习建模方法
CN116741347B (zh) * 2023-05-12 2024-06-04 中山大学附属第一医院 一种病理图像patches提取与深度学习建模方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018217092A1 (de) * 2018-10-05 2020-04-09 Robert Bosch Gmbh Verfahren, künstliches neuronales Netz, Vorrichtung, Computerprogramm und maschinenlesbares Speichermedium zur semantischen Segmentierung von Bilddaten
CN116630386B (zh) * 2023-06-12 2024-02-20 新疆生产建设兵团医院 Cta扫描图像处理方法及其系统
CN117315065B (zh) * 2023-09-26 2024-03-12 烟台大学 一种核磁共振成像精准加速重建方法以及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111870245A (zh) * 2020-07-02 2020-11-03 西安交通大学 一种跨对比度引导的超快速核磁共振成像深度学习方法
CN112150568A (zh) * 2020-09-16 2020-12-29 浙江大学 基于Transformer模型的磁共振指纹成像重建方法
US20210118205A1 (en) * 2019-10-17 2021-04-22 Rutgers, The State University Of New Jersey Systems and Methods for Joint Reconstruction and Segmentation of Organs From Magnetic Resonance Imaging Data
US20210166446A1 (en) * 2019-11-28 2021-06-03 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image reconstruction
CN113180633A (zh) * 2021-04-28 2021-07-30 济南大学 基于深度学习的mr影像肝癌术后复发风险预测方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200342968A1 (en) * 2019-04-24 2020-10-29 GE Precision Healthcare LLC Visualization of medical device event processing
WO2021051091A1 (en) * 2019-09-13 2021-03-18 Rad Al, Inc. Method and system for automatically generating a section in a radiology report
US20210133535A1 (en) * 2019-11-04 2021-05-06 Oracle International Corporation Parameter sharing decoder pair for auto composing
US11045271B1 (en) * 2021-02-09 2021-06-29 Bao Q Tran Robotic medical system
CN112862727B (zh) * 2021-03-16 2023-06-23 上海壁仞智能科技有限公司 一种跨模态图像转换方法及装置
CN113920213B (zh) * 2021-09-27 2022-07-05 深圳技术大学 基于长距离注意力模型重建的多层磁共振成像方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210118205A1 (en) * 2019-10-17 2021-04-22 Rutgers, The State University Of New Jersey Systems and Methods for Joint Reconstruction and Segmentation of Organs From Magnetic Resonance Imaging Data
US20210166446A1 (en) * 2019-11-28 2021-06-03 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image reconstruction
CN111870245A (zh) * 2020-07-02 2020-11-03 西安交通大学 一种跨对比度引导的超快速核磁共振成像深度学习方法
CN112150568A (zh) * 2020-09-16 2020-12-29 浙江大学 基于Transformer模型的磁共振指纹成像重建方法
CN113180633A (zh) * 2021-04-28 2021-07-30 济南大学 基于深度学习的mr影像肝癌术后复发风险预测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALEXEY DOSOVITSKIY: "AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE", 《ICLR 2021》 *
CHUN-MEI FENG: "Accelerated Multi-Modal MR Imaging with Transformers", 《IEEE TRANSACTIONS ON MEDICAL IMAGING,》 *
黄敏等: "基于K空间数据的深度核磁共振图像重建", 《生物医学工程研究》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023045482A1 (zh) * 2021-09-27 2023-03-30 深圳技术大学 基于长距离注意力模型重建的多层磁共振成像方法及装置
CN116741347A (zh) * 2023-05-12 2023-09-12 中山大学附属第一医院 一种病理图像patches提取与深度学习建模方法
CN116741347B (zh) * 2023-05-12 2024-06-04 中山大学附属第一医院 一种病理图像patches提取与深度学习建模方法

Also Published As

Publication number Publication date
US20230097417A1 (en) 2023-03-30
WO2023045482A1 (zh) 2023-03-30
CN113920213B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN113920213B (zh) 基于长距离注意力模型重建的多层磁共振成像方法及装置
US10852379B2 (en) Artifact reduction by image-to-image network in magnetic resonance imaging
US10753997B2 (en) Image standardization using generative adversarial networks
US10810767B2 (en) Machine-learned network for Fourier transform in reconstruction for medical imaging
US20190046068A1 (en) Protocol independent image processing with adversarial networks
CN110461228A (zh) 使用多对比度和深度学习改进医学图像的质量
US10627470B2 (en) System and method for learning based magnetic resonance fingerprinting
CN109523584A (zh) 图像处理方法、装置、多模态成像系统、存储介质及设备
CN112200725A (zh) 一种超分辨率重建方法、装置、存储介质及电子设备
CN111353935A (zh) 基于深度学习的磁共振成像优化方法及其设备
CN111157935B (zh) 磁共振成像方法、装置、存储介质及计算机设备
CN110246200B (zh) 磁共振心脏电影成像方法、装置及磁共振扫描仪
JP7300811B2 (ja) 医用情報処理装置、医用情報処理方法、およびプログラム
WO2024021796A1 (zh) 一种图像处理方法、装置、电子设备、存储介质及程序产品
US20210074034A1 (en) Methods and apparatus for neural network based image reconstruction
CN114913262B (zh) 采样模式与重建算法联合优化的核磁共振成像方法及系统
US11941732B2 (en) Multi-slice MRI data processing using deep learning techniques
CN114494014A (zh) 一种磁共振图像超分辨率重建方法及装置
Sun et al. DIR3D: Cascaded Dual-Domain Inter-Scale Mutual Reinforcement 3D Network for highly accelerated 3D MR image reconstruction
JP2023069890A (ja) 磁気共鳴イメージング装置、画像処理装置、及び、画像処理方法
JP2021099794A (ja) ディープニューラルネットワークおよび測定データの再帰的間引きを使用して医用画像を再構築するためのシステムおよび方法
Xie et al. 3D few-view CT image reconstruction with deep learning
CN113050009A (zh) 三维磁共振快速参数成像方法和装置
CN117333571B (zh) 磁共振图像的重建方法、系统、设备及介质
KR102546620B1 (ko) 딥러닝 모델의 학습을 위한 의료 데이터의 처리 방법, 프로그램 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant