CN115115722A - 图像重建模型生成及图像重建方法、装置、设备和介质 - Google Patents

图像重建模型生成及图像重建方法、装置、设备和介质 Download PDF

Info

Publication number
CN115115722A
CN115115722A CN202110285759.9A CN202110285759A CN115115722A CN 115115722 A CN115115722 A CN 115115722A CN 202110285759 A CN202110285759 A CN 202110285759A CN 115115722 A CN115115722 A CN 115115722A
Authority
CN
China
Prior art keywords
model
resolution
reconstruction
space data
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110285759.9A
Other languages
English (en)
Inventor
梁栋
朱燕杰
黄文麒
贾森
刘新
郑海荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202110285759.9A priority Critical patent/CN115115722A/zh
Priority to PCT/CN2021/085551 priority patent/WO2022193378A1/zh
Publication of CN115115722A publication Critical patent/CN115115722A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/424—Iterative

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明实施例公开了一种图像重建模型生成及图像重建方法、装置、设备和介质，其中，图像重建模型生成方法包括：获取全采样磁共振K空间数据，并基于预设低分辨率采样模型得到全采样磁共振K空间数据对应的欠采样K空间数据；将欠采样K空间数据输入至，根据对预设低分辨率模型的反问题进行优化求解得到子问题，建立的超分重建生成网络模型，然后根据模型生成的欠采样重建图像与全采样磁共振K空间数据对应的全采样重建图像，基于判别网络输出结果训练超分重建生成网络模型，生成目标图像重建模型。本实施例的技术方案实现了在提高采样加速倍数的同时，能够重建得到高分辨率图像，提升图像质量。

Description

图像重建模型生成及图像重建方法、装置、设备和介质
技术领域
本发明实施例涉及医学图像处理技术领域，尤其涉及一种图像重建模型生成及图像重建方法、装置、设备和介质。
背景技术
磁共振成像(Magnetic Resonance Imaging，MRI)技术是一种先进的成像技术，被广泛应用于临床诊断和医学研究。然而，由于磁共振物理及硬件人体活动、耐受程度的制约，磁共振成像往往空间分辨率受限，无法非常精确评估部分心脑血管疾病，如一些细小的脑血管壁增厚、斑块情况。因此，提高磁共振成像的空间分辨率尤为重要。
高分辨率的磁共振图像对应了高密度的K空间采样矩阵，然而采集大量K空间点需要耗费大量时间。现有获取高分辨MRI图像的方法主要分为两种方案，第一种是从压缩感知(Compressed Sensing,CS)重建的角度出发，利用MRI图像的稀疏性等先验信息，对K空间进行高度欠采，以节省扫描时间，再利用CS重建算法重建出高分辨图像。另一种方案是基于计算机视觉中的图像超分辨技术，先采集和重建出低分辨的MRI图像，然后利用图像超分辨算法生成高分辨率图像。该类方法有两个步骤，第一个步骤是采集低分辨率的k-空间信息，利用重建算法得到低分辨率的图像，第二步为将低分辨率MRI图像输入图像超分辨算法模型，得到高分辨率MRI图像。
但是，现有方法中，基于压缩感知重建的算法在加速倍数较高时，原始采样K空间点过于稀疏，且采样点分散在高和低频各部分，信噪比相对较低，难以重建出高清晰度的高分辨图像。而基于计算机视觉中的图像超分辨技术中，重建和超分辨是两个分开的步骤，没有交互，原始采集的K空间信息不直接参与超分辨步骤，第一步重建算法并不能百分之百还原低分辨图像的信息，会存在一定的误差，该误差会在第二步超分辨步骤中累计、放大，影响高分辨图像的质量。
发明内容
本发明实施例提供了一种图像重建模型生成及图像重建方法、装置、设备和介质，以实现在在提高采样加速倍数的同时，能够重建得到高分辨率图像，提升图像质量。
第一方面，本发明实施例提供了一种图像重建模型生成方法，该方法包括：
获取全采样磁共振K空间数据，并基于预设低分辨率采样模型得到所述全采样磁共振K空间数据对应的欠采样K空间数据；
将所述欠采样K空间数据输入至，根据对所述预设低分辨率模型的反问题进行优化求解得到子问题，建立的超分重建生成网络模型，得到欠采样重建图像；
将所述欠采样重建图像和所述全采样磁共振K空间数据对应的全采样重建图像同时输入至与所述超分重建生成网络模型关联的判别网络模型，根据所述判别网络模型的输出结果训练所述超分重建生成网络模型，直到所述判别网络模型的损失函数满足预设条件时，完成所述超分重建生成网络模型训练，生成目标图像重建模型。
可选的，对所述预设低分辨率模型的反问题进行优化求解得到子问题，建立超分重建生成网络模型的过程包括：
对所述预设低分辨率模型的反问题在预设约束下进行优化求解，得到优化问题；
设置所述反问题的辅助变量，并确定所述优化问题的罚函数；
根据所述罚函数确定所述优化问题的两个子问题；
对所述两个子问题分别进行求解，并网络化得到所述超分重建生成网络模型。
可选的，所述对所述两个子问题分别进行求解，并网络化得到所述超分重建生成网络模型，包括：
采用迫近梯度法分别对所述两个子问题进行求解，得到所述辅助变量的解和所述反问题的解的迭代表示；
将所述迭代表示过程网络化，得到所述超分重建生成网络模型。
可选的，所述超分重建生成网络模型包括细化模块和数据一致性模块，其中，所述细化模块是与所述辅助变量相关联的神经网络模块。
可选的，所述判别网络模型为池化金字塔网络；所述损失函数为对抗生成网络梯度惩罚损失函数。
可选的，所述预设低分辨率采样模型由预设低分辨率欠采样算子、傅里叶变换算子及线圈敏感度参数确定。
第二方面，本发明实施例还提供了一种图像重建方法，该方法包括：
获取基于预设低分辨率采样模型，采样得到的欠采样K空间数据；
将所述K空间数据输入至由任一实施例所述的图像重建模型生成方法得到的目标图像重建模型中，得到所述欠采样K空间数据对应的重建图像。
第三方面，本发明实施例还提供了一种图像重建模型生成装置，该装置包括：
样本处理模块，用于获取全采样磁共振K空间数据，并基于预设低分辨率采样模型得到所述全采样磁共振K空间数据对应的欠采样K空间数据；
样本输入模块，用于将所述欠采样K空间数据输入至，根据对所述预设低分辨率模型的反问题进行优化求解得到子问题，建立的超分重建生成网络模型，得到欠采样重建图像；
模型生成模块，用于将所述欠采样重建图像和所述全采样磁共振K空间数据对应的全采样重建图像同时输入至与所述超分重建生成网络模型关联的判别网络模型，根据所述判别网络模型的输出结果训练所述超分重建生成网络模型，直到所述判别网络模型的损失函数满足预设条件时，完成所述超分重建生成网络模型训练，生成目标图像重建模型。
可选的，图像重建模型生成装置还包括模型构造模块，用于：对所述预设低分辨率模型的反问题进行优化求解得到子问题，建立超分重建生成网络模型。
可选的，所述模型构造模块具体用于：
对所述预设低分辨率模型的反问题在预设约束下进行优化求解，得到优化问题；
设置所述反问题的辅助变量，并确定所述优化问题的罚函数；
根据所述罚函数确定所述优化问题的两个子问题；
对所述两个子问题分别进行求解，并网络化得到所述超分重建生成网络模型。
可选的，所述模型构造模块还用于：
采用迫近梯度法分别对所述两个子问题进行求解，得到所述辅助变量的解和所述反问题的解的迭代表示；
将所述迭代表示过程网络化，得到所述超分重建生成网络模型。
可选的，所述超分重建生成网络模型包括细化模块和数据一致性模块，其中，所述细化模块是与所述辅助变量相关联的神经网络模块。
可选的，所述判别网络模型为池化金字塔网络；所述损失函数为对抗生成网络梯度惩罚损失函数。
可选的，所述预设低分辨率采样模型由预设低分辨率欠采样算子、傅里叶变换算子及线圈敏感度参数确定。
第四方面，本发明实施例还提供了一种图像重建装置，该装置包括：
数据获取模块，用于获取基于预设低分辨率采样模型，采样得到的欠采样K空间数据；
图像重建模块，用于将所述K空间数据输入至所述，由任一实施例所述的图像重建模型生成方法得到的目标图像重建模型中，得到所述欠采样K空间数据对应的重建图像。
第五方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的图像重建模型生成方法或图像重建方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的图像重建模型生成方法或图像重建方法。
上述发明中的实施例具有如下优点或有益效果：
本发明实施例，通过采用预设低分辨率采样模型对全采样磁共振K空间数据进行处理，得到对应的欠采样K空间数据，然后将欠采样K空间数据输入至，根据对预设低分辨率模型的反问题进行优化求解得到子问题建立的超分重建生成网络模型，得到欠采样重建图像；将欠采样重建图像和全采样磁共振K空间数据对应的全采样重建图像同时输入至与超分重建生成网络模型关联的判别网络模型，根据判别网络模型的输出结果训练超分重建生成网络模型，直到所述判别网络模型的损失函数满足预设条件时，完成超分重建生成网络模型训练，生成目标图像重建模型，以用于磁共振图像重建。解决了现有技术中磁共振图像重建加速倍数受限及重建图像质量有待提高的问题，实现了在提高采样加速倍数的同时，能够重建得到高分辨率图像，提升图像质量。
附图说明
图1是本发明实施例一提供的一种图像重建模型生成方法的流程图；
图2是本发明实施例一提供的一种超分重建网络的网络结构示意图；
图3是本发明实施例二提供的一种图像重建方法的流程图；
图4是本发明实施例三提供的一种图像重建模型生成装置的结构示意图；
图5是本发明实施例四提供的一种图像重建装置的结构示意图；
图6是本发明实施例五提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种图像重建模型生成方法的流程图，本实施例可适用于基于全采样磁共振K空间数据进行图像重建模型训练的情况。该方法可以由图像重建模型生成装置执行，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的电子设备中。
如图1所示，图像重建模型生成方法包括以下步骤：
S110、获取全采样磁共振K空间数据，并基于预设低分辨率采样模型得到所述全采样磁共振K空间数据对应的欠采样K空间数据。
其中，全采样磁共振K空间数据是预先采集的样本数据，可以根据全采样的磁共振K空间数据重建得到高分辨率的磁共振图像。预设低分辨率模型预设低分辨率采样模型可以根据加速倍数的需求由预设低分辨率欠采样算子、傅里叶变换算子及线圈敏感度参数确定。
进一步的，加速倍数，是指采集原始数据，即全采样磁共振K空间数据，的加速倍数，也就是欠采倍数。可以通过全采样磁共振K空间数据的总数据点数除以采集的数据点数确定。在本实施例中，加速倍数可以达到12倍以上，也就是说，通过本实施例生成的图像重建模型，加速倍数在12倍以上也能够重建出分辨率足够高的重建图像。
具体的，预设低分辨率采样模型可以表示为y＝MHFCx (1)；其中，M为欠采样算子，F是傅里叶变换算子，C是线圈敏感度矩阵(sensitivity maps)，x∈CN和y∈CM分别是是高分辨率MRI图像对应的K空间向量和低分辨率MRI图像对应的欠采K空间向量，H:CN→CM是K空间降采样算子，具体操作可以是截取高分辨率图像对应的K空间的中心部分信息(低频信息)，使之与低分辨图像的K空间对应。分辨率的高低决定于采样矩阵(采样算子)的尺寸，越低分辨率，采集的K空间点越集中在中心区域，也就是低频区域，分辨率提高，采样点扩散到更高频的区域，也就能获得更多高频细节，提升图像分辨率。在该步骤中，可以将全采样磁共振K空间数据作为x，C可以通过ESPIRiT或者Walsh等算法估计出来，F就是傅里叶变换的算子，M是由0和1构成的向量，决定哪些点采集，哪些点不采集，不采集的点数值为0。
S120、将所述欠采样K空间数据输入至，根据对所述预设低分辨率模型的反问题进行优化求解得到子问题，建立的超分重建生成网络模型，得到欠采样重建图像。
其中，超分重建生成网络模型是基于预设低分辨率模型的反问题优化求解的结果构造而成的，具体的过程包括如下步骤：
首先，对预设低分辨率模型的反问题在预设约束下进行优化求解，得到优化问题。具体的，为了方便表示，可以将公式(1)中的各算子MHFC记作A。公式(1)对应的反问题就可以通过优化问题求解得到公式(2)，
Figure BDA0002980389890000081
其中，R(x)是广义的图像域约束。
然后，设置上述反问题的优化求解的辅助变量，并确定优化问题的罚函数，可得到公式(3)。
Figure BDA0002980389890000091
其中，
Figure BDA0002980389890000092
是惩罚项的一个系数，为了公式推导方便将分母设置为2，二范数求导数出来的2可以和它消掉。
进一步的，可以利用交替线性化最小化算法，根据罚函数确定优化问题的两个子问题，得到公式(4)。求解算法之所以称之为交替线性化最小算法，是由于在求解过程中对
Figure BDA0002980389890000093
进行了线性化处理，可以记
Figure BDA0002980389890000094
其中，
Figure BDA0002980389890000095
是线性化的二次项系数。这里需要说明的是，η可以用一个其他的字母代替，但是，在本实施例中，了后面推导出的公式(5)式在形式上能够简化，就取线性化的二次项系数取
Figure BDA0002980389890000096
Figure BDA0002980389890000097
进而，可以采用迫近梯度法分别对两个子问题分别进行求解，得到两个子问题的迭代步骤，如公式(5)所示，
Figure BDA0002980389890000098
其中，ProxR是与图像域正则化算子R(即图像域约束)相关的迫近算子；η是更新步长；
Figure BDA0002980389890000099
是图像K空间残差在图像域的表示，具体可以用公式6进行表示：
Figure BDA00029803898900000910
最终，将公式(5)中的迭代化过程网络化，展开即得到超分重建生成网络模型(Super Resolution Reconstruction Network,SRR-Net)，该网络也即一个生成器(Generator)，该网络的结构可参考图2中的上面的网络结构，SRR-Net包含多个网络块，每一个网络块包含两个网络模块，分别是细化模块Sk和数据一致性模块Xk。具体的，网络化可表示为
Figure BDA0002980389890000101
其中，细化模块Sk中，公式(5)中的迫近算子ProxR被网络化为残差3D卷积神经网络(3D residual CNN)C。C是一个三层卷积神经网络，α控制残差的保留程度。α和步长γ都是可学习的网络参数，为模型带来了更大的灵活性。进一步的，观察公式(7)可确定，在本模型中只需要初始化x0即可。在x0初始化后，可根据x0算出s1，进而根据s1算出x1，实现循环迭代过程。在本实施例中，x0的初始化数值取值为欠采样K空间数据对应的补零图数据。
S130、将所述欠采样重建图像和所述全采样磁共振K空间数据对应的全采样重建图像同时输入至与所述超分重建生成网络模型关联的判别网络模型，根据所述判别网络模型的输出结果训练所述超分重建生成网络模型，直到所述判别网络模型的损失函数满足预设条件时，完成所述超分重建生成网络模型训练，生成目标图像重建模型。
具体的，在该步骤引入判别网络，基于生成对抗网络的思路，对超分重建生成网络模型进行训练。在本实施例中，判别网络模型采用池化金字塔网络，采用对抗生成网络梯度惩罚损失函数(WGAN-GP loss)作为池化金字塔网络的损失函数。在将欠采样重建图像和全采样磁共振K空间数据对应的全采样重建图像同时输入至判别网络模型，判别网络模型会判断欠采样重建图像与全采样重建图像之间的差别，当该差别对应的损失函数值满足预设的收敛条件时，即完成模型训练的过程，得到目标图像重建模型。
本实施例的技术方案，通过采用预设低分辨率采样模型对全采样磁共振K空间数据进行处理，得到对应的欠采样K空间数据，然后将欠采样K空间数据输入至，根据对预设低分辨率模型的反问题进行优化求解得到子问题建立的超分重建生成网络模型，得到欠采样重建图像；将欠采样重建图像和全采样磁共振K空间数据对应的全采样重建图像同时输入至与超分重建生成网络模型关联的判别网络模型，根据判别网络模型的输出结果训练超分重建生成网络模型，直到所述判别网络模型的损失函数满足预设条件时，完成超分重建生成网络模型训练，生成目标图像重建模型，以用于磁共振图像重建。解决了现有技术中磁共振图像重建加速倍数受限及重建图像质量有待提高的问题，实现了在提高采样加速倍数的同时，能够重建得到高分辨率图像，提升图像质量。
实施例二
图2为本发明实施例二提供的一种图像重建方法的流程图，本实施例可适用于对欠采样的磁共振K空间数据进行医学图像重建的情况。该方法可以由图像重建装置执行，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的计算机设备中。
如图2所示，图像重建方法包括以下步骤：
S210、获取基于预设低分辨率采样模型，采样得到的欠采样K空间数据。
具体的，在进行磁共振扫描采样的过程中，可以根据采样速度的需求设置采样的模型，预设低分辨率模型由预设低分辨率欠采样算子、傅里叶变换算子及线圈敏感度参数确定。预设低分辨率欠采样算子决定了采样的加倍速度。
预设低分辨率采样模型可以表示为y＝MHFCx；其中，M为欠采样算子，F是傅里叶变换算子，C是线圈敏感度矩阵(sensitivity maps)，x∈CN和y∈CM分别是是高分辨率MRI图像对应的K空间向量和低分辨率MRI图像对应的欠采K空间向量，H:CN→CM是K空间降采样算子，具体操作可以是截取高分辨率图像对应的K空间的中心部分信息(低频信息)，使之与低分辨图像的K空间对应。分辨率的高低决定于采样矩阵(采样算子)的尺寸，越低分辨率，采集的K空间点越集中在中心区域，也就是低频区域，分辨率提高，采样点扩散到更高频的区域，也就能获得更多高频细节，提升图像分辨率。在该步骤中，可以将全采样磁共振K空间数据作为x，C可以通过ESPIRiT或者Walsh等算法估计出来，F就是傅里叶变换的算子，M是由0和1构成的向量，决定哪些点采集，哪些点不采集，不采集的点数值为0。
S220、将所述K空间数据输入至由任一实施例所述的图像重建模型生成方法得到的目标图像重建模型中，得到所述欠采样K空间数据对应的重建图像。
由上述任一实施例所述的图像重建模型生成方法得到的目标图像重建模型，可以将低分辨K空间数据重建输出得到高分辨率图像。而且，欠采样的低分辨K空间数据加速倍数可以达到12倍以上，也就是说，通过本实施例生成的图像重建模型，加速倍数在12倍以上也能够重建出分辨率足够高的重建图像。
本实施例的技术方案，通过预设低分辨率采样模型进行采样，再将采样数据输入至训练好的图像重建模型中，得到高分辨率的重建图像；解决了现有技术中磁共振图像重建加速倍数受限及重建图像质量有待提高的问题，实现了在提高采样加速倍数的同时，能够重建得到高分辨率图像，提升图像质量。
实施例三
图4为本发明实施例三提供的一种图像重建模型生成装置的结构示意图，本实施例可适用于基于全采样磁共振K空间数据进行图像重建模型训练的情况。
如图4所示，图像重建模型生成装置包括样本处理模块310、样本输入模块320和模型生成模块330。
其中，样本处理模块310，用于获取全采样磁共振K空间数据，并基于预设低分辨率采样模型得到所述全采样磁共振K空间数据对应的欠采样K空间数据；样本输入模块320，用于将所述欠采样K空间数据输入至，根据对所述预设低分辨率模型的反问题进行优化求解得到子问题，建立的超分重建生成网络模型，得到欠采样重建图像；模型生成模块330，用于将所述欠采样重建图像和所述全采样磁共振K空间数据对应的全采样重建图像同时输入至与所述超分重建生成网络模型关联的判别网络模型，根据所述判别网络模型的输出结果训练所述超分重建生成网络模型，直到所述判别网络模型的损失函数满足预设条件时，完成所述超分重建生成网络模型训练，生成目标图像重建模型。
本实施例的技术方案，通过采用预设低分辨率采样模型对全采样磁共振K空间数据进行处理，得到对应的欠采样K空间数据，然后将欠采样K空间数据输入至，根据对预设低分辨率模型的反问题进行优化求解得到子问题建立的超分重建生成网络模型，得到欠采样重建图像；将欠采样重建图像和全采样磁共振K空间数据对应的全采样重建图像同时输入至与超分重建生成网络模型关联的判别网络模型，根据判别网络模型的输出结果训练超分重建生成网络模型，直到所述判别网络模型的损失函数满足预设条件时，完成超分重建生成网络模型训练，生成目标图像重建模型，以用于磁共振图像重建。解决了现有技术中磁共振图像重建加速倍数受限及重建图像质量有待提高的问题，实现了在提高采样加速倍数的同时，能够重建得到高分辨率图像，提升图像质量。
可选的，图像重建模型生成装置还包括模型构造模块，用于：对所述预设低分辨率模型的反问题进行优化求解得到子问题，建立超分重建生成网络模型。
可选的，所述模型构造模块具体用于：
对所述预设低分辨率模型的反问题在预设约束下进行优化求解，得到优化问题；
设置所述反问题的辅助变量，并确定所述优化问题的罚函数；
根据所述罚函数确定所述优化问题的两个子问题；
对所述两个子问题分别进行求解，并网络化得到所述超分重建生成网络模型。
可选的，所述模型构造模块还用于：
采用迫近梯度法分别对所述两个子问题进行求解，得到所述辅助变量的解和所述反问题的解的迭代表示；
将所述迭代表示过程网络化，得到所述超分重建生成网络模型。
可选的，所述超分重建生成网络模型包括细化模块和数据一致性模块，其中，所述细化模块是与所述辅助变量相关联的神经网络模块。
可选的，所述判别网络模型为池化金字塔网络；所述损失函数为对抗生成网络梯度惩罚损失函数。
可选的，所述预设低分辨率采样模型由预设低分辨率欠采样算子、傅里叶变换算子及线圈敏感度参数确定。
本发明实施例所提供的图像重建模型生成装置可执行本发明任意实施例所提供的图像重建模型生成方法，具备执行方法相应的功能模块和有益效果。
实施例四
图5为本发明实施例四提供的一种图像重建装置的结构示意图，本实施例可适用于对欠采样的磁共振K空间数据进行医学图像重建的情况。
如图5所示，图像重建装置包括数据获取模块410和图像重建模块420。
其中，数据获取模块410，用于获取基于预设低分辨率采样模型，采样得到的欠采样K空间数据；图像重建模块420，用于将所述K空间数据输入至所述，由任一实施例所述的图像重建模型生成方法得到的目标图像重建模型中，得到所述欠采样K空间数据对应的重建图像。
本实施例的技术方案，通过预设低分辨率采样模型进行采样，再将采样数据输入至训练好的图像重建模型中，得到高分辨率的重建图像；解决了现有技术中磁共振图像重建加速倍数受限及重建图像质量有待提高的问题，实现了在提高采样加速倍数的同时，能够重建得到高分辨率图像，提升图像质量。
本发明实施例所提供的图像重建装置可执行本发明任意实施例所提供的图像重建方法，具备执行方法相应的功能模块和有益效果。
实施例五
图6为本发明实施例五提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图6显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。计算机设备12可以任意具有计算能力的终端设备，如智能控制器及服务器、手机等终端设备。
如图6所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图6中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发实施例所提供的一种图像重建模型生成方法步骤，该方法包括：
获取全采样磁共振K空间数据，并基于预设低分辨率采样模型得到所述全采样磁共振K空间数据对应的欠采样K空间数据；
将所述欠采样K空间数据输入至，根据对所述预设低分辨率模型的反问题进行优化求解得到子问题，建立的超分重建生成网络模型，得到欠采样重建图像；
将所述欠采样重建图像和所述全采样磁共振K空间数据对应的全采样重建图像同时输入至与所述超分重建生成网络模型关联的判别网络模型，根据所述判别网络模型的输出结果训练所述超分重建生成网络模型，直到所述判别网络模型的损失函数满足预设条件时，完成所述超分重建生成网络模型训练，生成目标图像重建模型。
或者，还可以实现本发实施例所提供的一种图像重建方法步骤，该方法包括：
获取基于预设低分辨率采样模型，采样得到的欠采样K空间数据；
将所述K空间数据输入至由任一实施例所述的图像重建模型生成方法得到的目标图像重建模型中，得到所述欠采样K空间数据对应的重建图像。
实施例六
本实施例六提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的图像重建模型生成方法，包括：
获取全采样磁共振K空间数据，并基于预设低分辨率采样模型得到所述全采样磁共振K空间数据对应的欠采样K空间数据；
将所述欠采样K空间数据输入至，根据对所述预设低分辨率模型的反问题进行优化求解得到子问题，建立的超分重建生成网络模型，得到欠采样重建图像；
将所述欠采样重建图像和所述全采样磁共振K空间数据对应的全采样重建图像同时输入至与所述超分重建生成网络模型关联的判别网络模型，根据所述判别网络模型的输出结果训练所述超分重建生成网络模型，直到所述判别网络模型的损失函数满足预设条件时，完成所述超分重建生成网络模型训练，生成目标图像重建模型。
或者，还可以实现本发实施例所提供的一种图像重建方法步骤，该方法包括：
获取基于预设低分辨率采样模型，采样得到的欠采样K空间数据；
将所述K空间数据输入至由任一实施例所述的图像重建模型生成方法得到的目标图像重建模型中，得到所述欠采样K空间数据对应的重建图像。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种图像重建模型生成方法，其特征在于，包括：
获取全采样磁共振K空间数据，并基于预设低分辨率采样模型得到所述全采样磁共振K空间数据对应的欠采样K空间数据；
将所述欠采样K空间数据输入至，根据对所述预设低分辨率模型的反问题进行优化求解得到子问题，建立的超分重建生成网络模型，得到欠采样重建图像；
将所述欠采样重建图像和所述全采样磁共振K空间数据对应的全采样重建图像同时输入至与所述超分重建生成网络模型关联的判别网络模型，根据所述判别网络模型的输出结果训练所述超分重建生成网络模型，直到所述判别网络模型的损失函数满足预设条件时，完成所述超分重建生成网络模型训练，生成目标图像重建模型。
2.根据权利要求1所述的方法，其特征在于，对所述预设低分辨率模型的反问题进行优化求解得到子问题，建立超分重建生成网络模型的过程包括：
对所述预设低分辨率模型的反问题在预设约束下进行优化求解，得到优化问题；
设置所述反问题的辅助变量，并确定所述优化问题的罚函数；
根据所述罚函数确定所述优化问题的两个子问题；
对所述两个子问题分别进行求解，并网络化得到所述超分重建生成网络模型。
3.根据权利要求2所述的方法，其特征在于，所述对所述两个子问题分别进行求解，并网络化得到所述超分重建生成网络模型，包括：
采用迫近梯度法分别对所述两个子问题进行求解，得到所述辅助变量的解和所述反问题的解的迭代表示；
将所述迭代表示过程网络化，得到所述超分重建生成网络模型。
4.根据权利要求2或3所述的方法，其特征在于，所述超分重建生成网络模型包括细化模块和数据一致性模块，其中，所述细化模块是与所述辅助变量相关联的神经网络模块。
5.根据权利要求1所述的方法，其特征在于，所述判别网络模型为池化金字塔网络；所述损失函数为对抗生成网络梯度惩罚损失函数。
6.根据权利要求1所述的方法，其特征在于，所述预设低分辨率采样模型由预设低分辨率欠采样算子、傅里叶变换算子及线圈敏感度参数确定。
7.一种图像重建方法，其特征在于，包括：
获取基于预设低分辨率采样模型，采样得到的欠采样K空间数据；
将所述K空间数据输入至由权利要求1-6中任一所述的图像重建模型生成方法得到的目标图像重建模型中，得到所述欠采样K空间数据对应的重建图像。
8.一种图像重建模型生成装置，其特征在于，包括：
样本处理模块，用于获取全采样磁共振K空间数据，并基于预设低分辨率采样模型得到所述全采样磁共振K空间数据对应的欠采样K空间数据；
样本输入模块，用于将所述欠采样K空间数据输入至，根据对所述预设低分辨率模型的反问题进行优化求解得到子问题，建立的超分重建生成网络模型，得到欠采样重建图像；
模型生成模块，用于将所述欠采样重建图像和所述全采样磁共振K空间数据对应的全采样重建图像同时输入至与所述超分重建生成网络模型关联的判别网络模型，根据所述判别网络模型的输出结果训练所述超分重建生成网络模型，直到所述判别网络模型的损失函数满足预设条件时，完成所述超分重建生成网络模型训练，生成目标图像重建模型。
9.一种图像重建装置，其特征在于，包括：
数据获取模块，用于获取基于预设低分辨率采样模型，采样得到的欠采样K空间数据；
图像重建模块，用于将所述K空间数据输入至所述，由权利要求1-6中任一图像重建模型生成方法得到的目标图像重建模型中，得到所述欠采样K空间数据对应的重建图像。
10.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的图像重建模型生成方法或图像重建方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的图像重建模型生成方法或图像重建方法。
CN202110285759.9A 2021-03-17 2021-03-17 图像重建模型生成及图像重建方法、装置、设备和介质 Pending CN115115722A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110285759.9A CN115115722A (zh) 2021-03-17 2021-03-17 图像重建模型生成及图像重建方法、装置、设备和介质
PCT/CN2021/085551 WO2022193378A1 (zh) 2021-03-17 2021-04-06 图像重建模型生成方法及装置、图像重建方法及装置、设备、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110285759.9A CN115115722A (zh) 2021-03-17 2021-03-17 图像重建模型生成及图像重建方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
CN115115722A true CN115115722A (zh) 2022-09-27

Family

ID=83321863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110285759.9A Pending CN115115722A (zh) 2021-03-17 2021-03-17 图像重建模型生成及图像重建方法、装置、设备和介质

Country Status (2)

Country Link
CN (1) CN115115722A (zh)
WO (1) WO2022193378A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880157A (zh) * 2023-01-06 2023-03-31 中国海洋大学 一种k空间金字塔特征融合的立体图像超分辨率重建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11231475B2 (en) * 2019-04-19 2022-01-25 Regents Of The University Of Minnesota Scalable self-calibrated interpolation of undersampled magnetic resonance imaging data
CN110766768B (zh) * 2019-10-23 2023-08-04 深圳先进技术研究院 一种磁共振图像重建方法、装置、设备和介质
CN110766769B (zh) * 2019-10-23 2023-08-11 深圳先进技术研究院 一种磁共振图像重建方法、装置、设备和介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880157A (zh) * 2023-01-06 2023-03-31 中国海洋大学 一种k空间金字塔特征融合的立体图像超分辨率重建方法

Also Published As

Publication number Publication date
WO2022193378A1 (zh) 2022-09-22

Similar Documents

Publication Publication Date Title
US10852376B2 (en) Magnetic resonance imaging method and device
CN110766769B (zh) 一种磁共振图像重建方法、装置、设备和介质
CN110766768B (zh) 一种磁共振图像重建方法、装置、设备和介质
CN105518477B (zh) 使用空间自适应正则化以用于图像重建的mri
WO2020114329A1 (zh) 磁共振快速参数成像方法及装置
CN108010094B (zh) 一种磁共振图像重建方法和装置
US11408954B2 (en) Systems and methods of reducing noise and artifacts in magnetic resonance imaging
CN112991483B (zh) 一种非局部低秩约束的自校准并行磁共振成像重构方法
CN114913262B (zh) 采样模式与重建算法联合优化的核磁共振成像方法及系统
CN111784792A (zh) 基于双域卷积神经网络的快速磁共振重建系统及其训练方法与应用
US20240290011A1 (en) Dual-domain self-supervised learning for accelerated non-cartesian magnetic resonance imaging reconstruction
CN114010180B (zh) 一种基于卷积神经网络的磁共振快速成像方法及装置
WO2022193379A1 (zh) 图像重建模型生成及装置、图像重建方法及装置、设备、介质
CN115115722A (zh) 图像重建模型生成及图像重建方法、装置、设备和介质
CN112581385B (zh) 基于多先验约束扩散峰度成像张量估计方法、介质和设备
CN111681297B (zh) 图像重建方法、计算机设备和存储介质
CN109920017A (zh) 基于特征向量的自一致性的联合全变分Lp伪范数的并行磁共振成像重构方法
EP4443382A1 (en) Image processing method and apparatus, electronic device, storage medium, and program product
CN116912252A (zh) 面向模态缺失的影像数据的脑图谱个体化方法及系统
CN116778016A (zh) 一种mri图像重建方法、系统及介质
CN112101396A (zh) 一种分类方法、装置、设备和存储介质
US20230367850A1 (en) Systems and methods for mri data processing
CN113866694B (zh) 一种快速三维磁共振t1定量成像方法、系统及介质
US11756197B2 (en) Systems and methods of processing magnetic resonance images using phase-sensitive structural similarity index measure
WO2021129235A1 (zh) 三维磁共振快速参数成像方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination