CN114723840A - 一种面向切片自适应的磁共振成像主动欠采样方法 - Google Patents

一种面向切片自适应的磁共振成像主动欠采样方法 Download PDF

Info

Publication number
CN114723840A
CN114723840A CN202210231788.1A CN202210231788A CN114723840A CN 114723840 A CN114723840 A CN 114723840A CN 202210231788 A CN202210231788 A CN 202210231788A CN 114723840 A CN114723840 A CN 114723840A
Authority
CN
China
Prior art keywords
data
decision network
undersampling
vector
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210231788.1A
Other languages
English (en)
Inventor
庞彦伟
刘一鸣
金睿琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202210231788.1A priority Critical patent/CN114723840A/zh
Publication of CN114723840A publication Critical patent/CN114723840A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Databases & Information Systems (AREA)
  • Discrete Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)

Abstract

本发明涉及一种面向切片自适应的磁共振成像主动欠采样方法，包括以下具体步骤：步骤1、构建主动欠采样方法所需的数据集；步骤2、对数据进行预处理；步骤3、在强化学习的框架下，构建无参数的交互环境；步骤4、构建基于Transformer的采样决策网络，对数据状态中的欠采样图像及其对应掩膜进行不同方式的映射；步骤5、利用建立的数据集、预处理操作以及无参数的交互环境对构建的采样决策网络进行训练；步骤6、基于训练好的采样决策网络模型，进行实时主动欠采样。本发明能够在深度强化学习的框架下，重新构建稳定高效的交互环境以及能够高效建模数据状态中内容信息和时序信息的采样决策网络，从而实现高性能主动欠采样。

Description

一种面向切片自适应的磁共振成像主动欠采样方法
技术领域
本发明属于信息与通信工程领域，涉及一种磁共振成像主动欠采样方法，尤其是一种面向切片自适应的磁共振成像主动欠采样方法。
背景技术
与计算机断层扫描(Computed Tomography,CT)相比，磁共振成像(Magneticresonance imaging，MRI)具有零辐射暴露和良好的软组织成像对比度等优点。但是k空间数据的扫描极其耗时，长时间的扫描过程会增加检测者的不适、导致运动伪影并浪费宝贵的医疗诊断时间。因此缩短扫描时间对MRI设备的开发至关重要。
一般而言，二维笛卡尔扫描是一个在某一维度(行/列)进行频率编码，在另一维度(列/行)进行相位编码以获取k空间复矩阵数据K∈￡F×P的过程。其中F和P分别代表频率和相位的数量。扫描时间T表示为T＝TR×P，其中TR为重复时间。由于扫描时间主要取决于相位编码的数量，因此可以缩减相位编码采样数量C＜P来加速扫描过程。定义包含C个相位编码的k空间欠采样数据为
Figure BDA0003538606130000011
则扫描过程的加速倍率AF＝P/C，此时k空间相位选择组合的数量为
Figure BDA0003538606130000012
假设P＝368，C＝70，则
Figure BDA0003538606130000013
实际的k空间采集过程对相位编码的决策时间tp具有严格的要求，即tp不能超过相位编码的时间间隔
Figure BDA0003538606130000014
特别是在快速回波序列(Fast Spin Echo,FSE)中，一个TR时间段内有多个相位编码，此时的典型相位编码时间间隔为
Figure BDA0003538606130000021
在此情况下，要求tp<15ms。
根据数据自适应水平，可将相位编码决策方法分为数据无关、数据集自适应和切片自适应的方法。数据无关或数据集自适应的方法以先验或离线的方式确定欠采样掩膜，因此不存在对每个相位的决策时间。切片自适应的方法能够为每个待扫描的切片定制最佳相位编码的子集，从而克服切片相对于数据集的分布偏差，因此这种方法有望获取每个切片的最优采样轨迹，从而获得最精确的重建图像。由于切片自适应方法的相位选择是通过逐个相位和逐个切片的特征分析实现的，因此切片自适应方法的决策效率难以保证。
数据无关的欠采样方法无需对MRI图像进行建模即可确定相位子集。代表性方法包括结合了均匀概率密度函数的随机欠采样以及变密度欠采样。
数据集自适应的方法利用整个训练数据的特征来确定相位子集，确定好的相位子集组成的固定欠采样掩膜能够用于所有测试数据的欠采样。代表性方法包括重建误差驱动的变密度方法、迭代低误差转移方法、相位相关的重建网络和基于学习的欠采样模式优化方法(LOUPE)
切片自适应的方法能够为待重建的每个k空间切片生成一个相位子集，待重建的切片依据此相位子集进行采集并完成重建。代表性的方法包括基于特征值的方法、基于不确定性的方法和Pineda等提出的基于强化学习的方法。后两种方法采用深度学习，最后一种方法优于前两种方法。其中Pineda等提出的基于强化学习的方法在切片自适应的相位决策(主动欠采样)领域取得了巨大成功。但是Pineda等提出的方法效率低下，其相位决策时间约为1,333ms，远超典型的相位编码时间间隔(最大允许的相位决策时间)15ms，因此这种方法目前不能用于实际采集过程。此外该方法没有充分提炼时序信息，限制了相位决策的能力。
经检索，未发现与本发明相同或相似的已公开的专利文献。
发明内容
本发明的目的在于克服现有技术的不足，提出一种面向切片自适应的磁共振成像主动欠采样方法，能够在深度强化学习的框架下，重新构建稳定高效的交互环境以及能够高效建模数据状态中内容信息和时序信息的采样决策网络，从而实现高性能主动欠采样。
本发明解决其现实问题是采取以下技术方案实现的：
一种面向切片自适应的磁共振成像主动欠采样方法，包括以下具体步骤：
步骤1、利用磁共振设备采集大量磁共振数据以构建主动欠采样方法所需的数据集；
步骤2、对步骤1所获得的数据集中待输入网络的每个数据进行预处理；
步骤3、在强化学习的框架下，构建无参数的交互环境；
步骤4、构建基于Transformer的采样决策网络，对数据状态中的欠采样图像及其对应掩膜进行不同方式的映射；
步骤5、利用建立的数据集、预处理操作以及无参数的交互环境对构建的采样决策网络进行训练；
步骤6、基于训练好的采样决策网络模型，进行实时主动欠采样。
而且，所述步骤1的数据集的采集方式为全采样，采集坐标系为笛卡尔坐标系，数据以频域形式存储。
而且，所述步骤2的具体步骤包括：
(1)首先构建低频k空间欠采样掩膜，掩膜关于k空间中心行/列对称，包含L条全1行/列，其余部分为0；
(2)然后将掩膜与k空间数据点乘得到初始低频欠采样数据，一个欠采样数据及其对应欠采样掩膜的结合称为一个数据状态。
而且，所述步骤3的无参数的交互环境包括两部分，数据状态转移和图像重建；所构建的无参数的交互环境能够依据决策网络选择的动作，将动作对应的相位编码添加到当前欠采样的数据中，实现数据状态的转移；所构建的无参数的交互环境能够通过逆傅里叶变换的方式重建k空间图像到空间域，并依据状态转移前后的图像质量改善程度对采取的动作进行价值评估；其中，图像质量的改善程度通过图像质量评价指标的差值量化，此差值称为奖励R。
而且，所述步骤4的具体步骤包括：
(1)对于欠采样图像，首先将其分解为图像块，然后将分解的每个图像块都映射为一维向量，称为图像块向量，图像块向量具有c个；
(2)对于欠采样图像对应掩膜，则直接映射到上述一维向量相同维度的向量，称为掩膜向量；
(3)此外还设定了一个类别向量，因此共有c+2个维度为d的输入向量。为了保持数据状态的空间信息，构建位置向量然后通过相加的方式嵌入到输入向量，最终形成一个d×(c+2)的矩阵；该d×(c+2)矩阵被输入N个Transformer编码层中进行不同类型的特征交互以预测相位编码，一个Transformer编码层依顺序包括一个归一化层、一个多头注意力层、一个归一化层和一个多层感知机；最后一个Transformer编码层的输出矩阵维度仍然为d×(c+2)，将输出矩阵中类别向量对应的特征输入一个具有归一化层和全连接层的映射头实现动作到Q值的映射，其中Q值在深度强化学习中代表奖励值的累积折扣期望；
(4)Q值的训练过程结合了时间差分和当前奖励值，首先将当前奖励值以时间差分的方式映射为Qtarget；然后将Qtarget和决策网络预测的Q值求平滑L1 loss并反馈到决策网络的各层，即可实现决策网络的参数优化，使其具备依据当前k空间数据状态做出高性能采样决策的能力。
而且，所述步骤5的具体方法为：训练时采用的学习率为lr，训练次数为ln，决策网络的训练使用了回放单元的技术，回放单元的容量为sr，据此配置训练决策网络以得到收敛的模型。
本发明的优点和有益效果：
1、本发明提出了一种基于Transformer的切片自适应磁共振成像主动欠采样方法，在每一个切片上进行自适应欠采样，做出能够确保重建精度的相位编码决策，加速MRI扫描。
2、本发明基于Transformer的深度神经网络的输入不仅包括当前重建图像的图像块(环境给定的欠采样图像)，还包括历史相位决策结果。整个数据状态的输入结合高性能Transformer设计，能够同时利用图像内容信息和相位决策中蕴含的采样时序信息，两种信息的交互与融合提升了决策网络的性能。
3、本发明通过对欠采样k空间数据执行IFFT(快速傅里叶逆变换)来为决策网络生成输入图像，具有高效且稳定的奖励估计。相比之下，在Pineda所提方法中，决策网络的输入图像是通过耗时的重建网络(大规模的级联全卷积ResNet)获得的，由于每次相位决策都对应一次状态转移，因此重建网络要运行多次，导致Pineda所提方法效率低下。
4、本发明的采样决策网络轻量且高效,轻量级决策网络以及为决策网络生成输入图像的高效环境使得所提出的主动欠采样方法可以在小于最大允许的相位编码间隔时间内执行实时切片自适应的相位编码决策。相比之下，当前最优的Pineda等提出的方法无法在最大允许相位编码时间间隔内执行相位编码选择。
5、本发明通过设置稳定高效的强化学习环境以及快速高性能的相位编码决策网络，将决策时间缩短到9ms，决策效率相比于当前最先进的Pineda等的方法长达1,333ms的决策时间，不仅快了大约150倍，而且在选定的相位子集上能够重建出更精确的图像。
附图说明
图1是本发明的面向切片自适应磁共振成像主动欠采样方法流程图；
图2(a)是本发明的基于Transformer的主动欠采样决策网络示意图-决策网络总体结构；
图2(b)是本发明的基于Transformer的主动欠采样决策网络示意图-多头注意力模块、多层感知机和映射头；
图3是本发明的AF＝3.3时决策网络选定相位子集逆傅里叶变换重建结果图，其中，第一行为重建图像，第二行为真值图像。
具体实施方式
以下结合附图对本发明实施例作进一步详述：
一种面向切片自适应的磁共振成像主动欠采样方法，利用磁共振设备采集全采样的k空间数据，以此构建主动欠采样方法所需的数据集；在训练阶段，将此数据构建为包括欠采样数据及其对应掩膜的数据状态，并输入决策网络使其与环境进行交互；利用损失的反向传播优化决策网络模型，使得网络具备选择关键相位编码，即具备高性能主动欠采样的能力。
如图1所示，包括以下具体步骤：
步骤1、利用磁共振设备采集大量磁共振数据以构建主动欠采样方法所需的数据集；
所述步骤1的数据集的采集方式为全采样，采集坐标系为笛卡尔坐标系，数据以频域形式存储。
频域形式数据通过逆傅里叶变换得到的空间域形式数据能够很好地表达图像的内容信息。
步骤2、对步骤1所获得的数据集中待输入网络的每个数据进行预处理；
所述步骤2的具体步骤包括：
(1)首先构建低频k空间欠采样掩膜，掩膜关于k空间中心行/列对称，包含L条全1行/列，其余部分为0；
(2)然后将掩膜与k空间数据点乘得到初始低频欠采样数据，一个欠采样数据及其对应欠采样掩膜的结合称为一个数据状态。
在本实施例中，所述步骤2对上述数据集中待输入网络的每个数据都进行如下预处理，首先构建低频k空间欠采样掩膜，掩膜关于k空间中心列对称，包含30条全1的列，其余部分为0；然后将掩膜与k空间数据点乘得到初始低频欠采样数据。一个欠采样数据及其对应欠采样掩膜的结合称为一个数据状态。
步骤3、在强化学习的框架下，构建无参数的交互环境；
所述步骤3的无参数的交互环境包括两部分，数据状态转移和图像重建；所构建的无参数的交互环境能够依据决策网络选择的动作，将动作对应的相位编码添加到当前欠采样的数据中，实现数据状态的转移；所构建的无参数的交互环境能够通过逆傅里叶变换的方式重建k空间图像到空间域，并依据状态转移前后的图像质量改善程度对采取的动作进行价值评估；其中，图像质量的改善程度通过图像质量评价指标的差值量化，此差值称为奖励R。
在本实施例中，可用的评价指标包括SSIM、PSNR和NMSE等。
步骤4、构建基于Transformer的采样决策网络，对数据状态中的欠采样图像及其对应掩膜进行不同方式的映射；
所述步骤4的具体步骤包括：
(1)对于欠采样图像，首先将其分解为图像块，然后将分解的每个图像块都映射为一维向量，称为图像块向量，图像块向量具有c个；
(2)对于欠采样图像对应掩膜，则直接映射到上述一维向量相同维度的向量，称为掩膜向量；
(3)此外还设定了一个类别向量，因此共有c+2个维度为d的输入向量。为了保持数据状态的空间信息，构建位置向量然后通过相加的方式嵌入到输入向量，最终形成一个d×(c+2)的矩阵；该d×(c+2)矩阵被输入N个Transformer编码层中进行不同类型的特征交互以预测相位编码，一个Transformer编码层依顺序包括一个归一化层、一个多头注意力层、一个归一化层和一个多层感知机；最后一个Transformer编码层的输出矩阵维度仍然为d×(c+2)，将输出矩阵中类别向量对应的特征输入一个具有归一化层和全连接层的映射头实现动作到Q值的映射，其中Q值在深度强化学习中代表奖励值的累积折扣期望；
(4)Q值的训练过程结合了时间差分和当前奖励值，首先将当前奖励值以时间差分的方式映射为Qtarget；然后将Qtarget和决策网络预测的Q值求平滑L1 loss并反馈到决策网络的各层，即可实现决策网络的参数优化，使其具备依据当前k空间数据状态做出高性能采样决策的能力。
在本实施例中，所述步骤4构建基于Transformer的采样决策网络，对数据状态中的欠采样图像及其对应掩膜进行不同方式的映射。对于欠采样图像，首先将其分解为图像块，然后将分解的每个图像块都映射为一维向量，称为图像块向量，图像块向量具有920个；对于欠采样图像对应掩膜，则直接映射到上述一维向量相同维度的向量，称为掩膜向量；此外还设定了一个类别向量。因此共有922个维度为512的输入向量。为了保持空间信息，构建位置向量然后通过相加的方式嵌入到输入向量中，最终形成一个512×922的矩阵。该矩阵被输入4个Transformer编码层中进行不同类型的特征交互以预测相位编码。一个Transformer编码层依顺序包括一个归一化层、一个多头注意力层、另一个归一化层和一个多层感知机。其中，多层感知机只有一个隐藏层。最后一个Transformer编码层的输出矩阵维度仍然为512×922，将其中类别向量对应的特征输入一个具有一层归一化层和一层全连接层的映射头实现动作到Q值的映射，其中Q值在深度强化学习中代表奖励值的累积折扣期望。Q值的训练过程结合了时间差分和当前奖励值(以t时刻为例，Qt＝Rt+Qt+1)，首先将当前奖励值以时间差分的方式映射为Qtarget；然后将Qtarget和决策网络预测的Q值求平滑L1 loss并反馈到决策网络的各层，即可实现决策网络的参数优化，使其具备依据当前k空间数据状态做出高性能采样决策的能力。
如图2(a)和图2(b)所示，图2(a)重点决策网络总体结构：设定了三种不同类型的向量来编码数据状态，其中图像块向量提取图像内容信息；掩膜向量提取欠采样的时序信息；类别向量在Transformer编码层总汇总特征实现Q值映射。图2(b)多头注意力首先将输入向量映射得到Q、K、V，然后将其分为多个注意力头，多个注意力头提取多个维度的特征，最后再将特征进行汇总；多层感知机通过多个全连接层对多头注意力的特征进行进一步的交互与融合；映射头通过归一化层和全连接层实现类别向量特征到Q值得映射。
步骤5、利用建立的数据集、预处理操作以及无参数的交互环境对构建的采样决策网络进行训练。
所述步骤5的具体方法为：训练时采用的学习率为lr，训练次数为ln，决策网络的训练使用了回放单元的技术，回放单元的容量为sr，据此配置训练决策网络以得到收敛的模型。
在本实施例中，所述步骤5利用建立的数据集、预处理操作以及无参数的交互环境对构建的采样决策网络进行训练。训练时采用的学习率为10-4，训练次数为107，决策网络的训练还使用了回放单元的技术，回放单元的容量为20,000，据此配置训练决策网络以得到收敛的模型。
步骤6、将训练好的采样决策网络模型集成到硬件设备当中，结合磁共振扫描设备进行实际采集过程中的采样决策。
具体而言，磁共振设备在进行k空间数据采集时，首先按照上述定义的低频掩膜进行采集，将采集的数据进行预处理；然后将数据状态输入采样决策网络进行前向传播完成当前采样决策；最后循环决策直到满足规定的加速倍率，即可实现对切片自适应的高性能k空间主动欠采样。
本发明的实验结果如附图3所示，根据本发明所提主动欠采样方法得到MRI数据的采样轨迹，以此轨迹采集并使用逆傅里叶变换重建，得到第一行的重建图像，第二行为全采样时对应的MRI图像(真值图像)，第一行图像中的SSIM为第一行图像与第二行对应图像求取得到。
图3中图像的欠采样倍率AF为3.3，可以看到在所提面向切片自适应的主动欠采样方法选定的相位子集上仅使用逆傅里叶变换重建时，从客观指标来看，SSIM能够达到0.8以上甚至达到0.9。以此逆傅里叶变换重建结果作为重建神经网络的输入，能够输出更高性能的神经网络重建图像。从重建图像来看，图像对比度与真值几乎一致，保留了绝大多数的细节信息，未引入额外噪声或伪影，具有高性能的还原度。本方法所提无参数环境能够稳定高效地实现状态转移与动作评估，所提基于Transformer的决策网络能够充分建模图像内容信息与采样时序信息。二者的搭配实现了在大幅提升主动欠采样决策效率的条件下，生成高性能的欠采样轨迹。
本发明的工作原理是：
本发明提出一种面向切片自适应的磁共振成像主动欠采样方法，包括以下步骤：
(1)利用磁共振设备采集全采样的笛卡尔坐标系k空间磁共振数据并存储，以此构建主动欠采样方法所需的数据集；
(2)对上述数据集中待输入网络的每个数据都进行如下预处理，首先构建低频k空间欠采样掩膜；然后依据此掩膜进行低频预采集得到初始欠采样数据。其中低频预采集数据为少部分k空间数据。一个欠采样数据及其对应掩膜的结合称为一个数据状态；
对数据进行预处理时，会对每个切片施加预定义的低频掩膜，即，将掩膜施加到切片的k空间得到对应的欠采样k空间。掩膜及其对应的k空间数据共同构建为一个数据状态，该数据状态包含欠采样数据的内容信息和采样的时序信息，能够为决策网络提供充足的信息。
(3)在强化学习的框架下，构建无参数的交互环境，环境能够对当前采样的动作决策(某行/列k空间相位编码索引)依据重建质量的改善程度进行评价，并能够将当前的欠采样数据状态结合采样动作(k空间的结合)转移到下一个欠采样数据状态；
(4)构建基于Transformer的采样决策网络，网络的输入为一个数据状态，输出为不同相位编码对应的奖励的期望值。通过最大值策略对采样决策网络的输出进行选择得到最优动作，依据上述无参数的环境对动作进行评价，评价结果以重建质量改善程度的形式反馈给采样决策网络，将该反馈通过反向传播传递到决策网络的各层，即可完成决策网络的参数优化，使其具备依据当前k空间数据状态做出高性能采样决策的能力；
在强化学习的框架下，本发明构建了一个无参数的交互环境和一个基于Transformer的采样决策网络。交互环境的明显特征是，以无参数的形式实现对数据状态的评估及转移。决策网络的明显特征是，对欠采样k空间数据及其对应掩膜的协同利用。
本发明以叠加的方式结合欠采样的k空间与采样动作，从而实现数据状态的转移。使用逆傅里叶变换进行重建，根据数据状态转移前后的图像质量差距得到采样动作的评估。
对数据状态中的欠采样图像及其对应掩膜有不同方式的映射。对于欠采样图像，首先将其分解为图像块，然后将分解的每个图像块都映射为一维向量，称为图像块向量；对于欠采样图像对应掩膜，则直接映射到上述一维向量相同维度的向量，称为掩膜向量。此外还设定了一个类别向量，能够在网络的特征层汇总来自各向量的特征，最终形成动作决策。
图像块向量、掩膜向量以及类别向量在后续的Transformer编码层中进行特征的交互和融合，互相利用彼此在编码层中的特征表达。
(5)利用建立的数据集、预处理操作以及无参数的交互环境对构建的采样决策网络进行训练，得到训练好的网络模型；
(6)将训练好的采样决策网络模型集成到硬件设备当中，在k空间数据采集时，首先按照上述定义的低频掩膜进行采集，将采集的数据进行预处理；然后将数据状态输入采样决策网络进行前向传播完成当前采样决策；最后循环决策直到满足规定的加速倍率，即可实现对切片自适应的高性能k空间主动欠采样。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (6)

1.一种面向切片自适应的磁共振成像主动欠采样方法，其特征在于：包括以下具体步骤：
步骤1、利用磁共振设备采集大量磁共振数据以构建主动欠采样方法所需的数据集；
步骤2、对步骤1所获得的数据集中待输入网络的每个数据进行预处理；
步骤3、在强化学习的框架下，构建无参数的交互环境；
步骤4、构建基于Transformer的采样决策网络，对数据状态中的欠采样图像及其对应掩膜进行不同方式的映射；
步骤5、利用建立的数据集、预处理操作以及无参数的交互环境对构建的采样决策网络进行训练；
步骤6、基于训练好的采样决策网络模型，进行实时主动欠采样。
2.根据权利要求1所述的一种面向切片自适应的磁共振成像主动欠采样方法，其特征在于：所述步骤1的数据集的采集方式为全采样，采集坐标系为笛卡尔坐标系，数据以频域形式存储。
3.根据权利要求1所述的一种面向切片自适应的磁共振成像主动欠采样方法，其特征在于：所述步骤2的具体步骤包括：
(1)首先构建低频k空间欠采样掩膜，掩膜关于k空间中心行/列对称，包含L条全1行/列，其余部分为0；
(2)然后将掩膜与k空间数据点乘得到初始低频欠采样数据，一个欠采样数据及其对应欠采样掩膜的结合称为一个数据状态。
4.根据权利要求1所述的一种面向切片自适应的磁共振成像主动欠采样方法，其特征在于：所述步骤3的无参数的交互环境包括两部分，数据状态转移和图像重建；所构建的无参数的交互环境能够依据决策网络选择的动作，将动作对应的相位编码添加到当前欠采样的数据中，实现数据状态的转移；所构建的无参数的交互环境能够通过逆傅里叶变换的方式重建k空间图像到空间域，并依据状态转移前后的图像质量改善程度对采取的动作进行价值评估；其中，图像质量的改善程度通过图像质量评价指标的差值量化，此差值称为奖励R。
5.根据权利要求1所述的一种面向切片自适应的磁共振成像主动欠采样方法，其特征在于：所述步骤4的具体步骤包括：
(1)对于欠采样图像，首先将其分解为图像块，然后将分解的每个图像块都映射为一维向量，称为图像块向量，图像块向量具有c个；
(2)对于欠采样图像对应掩膜，则直接映射到上述一维向量相同维度的向量，称为掩膜向量；
(3)设定一个类别向量，即：共有c+2个维度为d的输入向量；并构建位置向量然后通过相加的方式嵌入到输入向量，最终形成一个d×(c+2)的矩阵；该d×(c+2)矩阵被输入N个Transformer编码层中进行不同类型的特征交互以预测相位编码，一个Transformer编码层依顺序包括一个归一化层、一个多头注意力层、一个归一化层和一个多层感知机；最后一个Transformer编码层的输出矩阵维度仍然为d×(c+2)，将输出矩阵中类别向量对应的特征输入一个具有归一化层和全连接层的映射头实现动作到Q值的映射，其中Q值在深度强化学习中代表奖励值的累积折扣期望；
(4)Q值的训练过程结合时间差分和当前奖励值，首先将当前奖励值以时间差分的方式映射为Qtarget；然后将Qtarget和决策网络预测的Q值求平滑L1 loss并反馈到决策网络的各层，即可实现决策网络的参数优化，使其具备依据当前k空间数据状态做出高性能采样决策的能力。
6.根据权利要求1所述的一种面向切片自适应的磁共振成像主动欠采样方法，其特征在于：所述步骤5的具体方法为：训练时采用的学习率为lr，训练次数为ln，决策网络的训练使用了回放单元的技术，回放单元的容量为sr，据此配置训练决策网络以得到收敛的模型。
CN202210231788.1A 2022-03-09 2022-03-09 一种面向切片自适应的磁共振成像主动欠采样方法 Pending CN114723840A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210231788.1A CN114723840A (zh) 2022-03-09 2022-03-09 一种面向切片自适应的磁共振成像主动欠采样方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210231788.1A CN114723840A (zh) 2022-03-09 2022-03-09 一种面向切片自适应的磁共振成像主动欠采样方法

Publications (1)

Publication Number Publication Date
CN114723840A true CN114723840A (zh) 2022-07-08

Family

ID=82237167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210231788.1A Pending CN114723840A (zh) 2022-03-09 2022-03-09 一种面向切片自适应的磁共振成像主动欠采样方法

Country Status (1)

Country Link
CN (1) CN114723840A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115455505A (zh) * 2022-08-26 2022-12-09 天津大学 一种全自由度永磁体主动构建方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115455505A (zh) * 2022-08-26 2022-12-09 天津大学 一种全自由度永磁体主动构建方法
CN115455505B (zh) * 2022-08-26 2023-11-24 天津大学 一种全自由度永磁体主动构建方法

Similar Documents

Publication Publication Date Title
US11062490B2 (en) Reinforcement learning for online sampling trajectory optimization for magnetic resonance imaging
CN111461983B (zh) 一种基于不同频度信息的图像超分辨率重建模型及方法
US10859657B2 (en) MRI reconstruction using deep learning, generative adversarial network and acquisition signal model
CN108460726B (zh) 一种基于增强递归残差网络的磁共振图像超分辨重建方法
Lei et al. Wasserstein GANs for MR imaging: from paired to unpaired training
CN108898560A (zh) 基于三维卷积神经网络的岩心ct图像超分辨率重建方法
CN109360152A (zh) 基于稠密卷积神经网络的三维医学图像超分辨率重建方法
Du et al. Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network
Luo et al. Bayesian MRI reconstruction with joint uncertainty estimation using diffusion models
CN112381916B (zh) 一种利用二维薄片图像的数字岩心三维结构重建方法
CN113920213B (zh) 基于长距离注意力模型重建的多层磁共振成像方法及装置
CN111487573B (zh) 一种用于磁共振欠采样成像的强化型残差级联网络模型
CN113096207B (zh) 基于深度学习和边缘辅助的快速磁共振成像方法与系统
CN114723840A (zh) 一种面向切片自适应的磁共振成像主动欠采样方法
CN113534031B (zh) 图像域数据生成方法、计算机设备和可读存储介质
CN114913262B (zh) 采样模式与重建算法联合优化的核磁共振成像方法及系统
CN111383742A (zh) 一种医学成像模型的建立方法、装置、设备及存储介质
CN116725515B (zh) 一种磁共振快速成像方法
CN113538612B (zh) 一种基于变分低秩分解的ｋ空间加速磁共振图像重建方法
CN114972570A (zh) 图像重建方法及设备
CN115063499A (zh) 面向磁共振成像放射状采样轨迹的切片自适应确定方法
CN114693823A (zh) 一种基于空频双域并行重建的磁共振图像重建方法
CN116070401A (zh) 一种基于变换域张量低秩先验深度展开网络的高维磁共振图像重建方法
An et al. Unified quantum state tomography and Hamiltonian learning using transformer models: a language-translation-like approach for quantum systems
Gopalakrishnan Meena et al. Physics guided machine learning for multi-material decomposition of tissues from dual-energy CT scans of simulated breast models with calcifications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination