CN113160380B - 三维磁共振影像超分辨重建方法、电子设备和存储介质 - Google Patents

三维磁共振影像超分辨重建方法、电子设备和存储介质 Download PDF

Info

Publication number
CN113160380B
CN113160380B CN202110240935.7A CN202110240935A CN113160380B CN 113160380 B CN113160380 B CN 113160380B CN 202110240935 A CN202110240935 A CN 202110240935A CN 113160380 B CN113160380 B CN 113160380B
Authority
CN
China
Prior art keywords
dimensional
resolution
reconstruction
image
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110240935.7A
Other languages
English (en)
Other versions
CN113160380A (zh
Inventor
罗家佳
冯飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202110240935.7A priority Critical patent/CN113160380B/zh
Publication of CN113160380A publication Critical patent/CN113160380A/zh
Application granted granted Critical
Publication of CN113160380B publication Critical patent/CN113160380B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明提供一种三维磁共振影像超分辨重建方法、电子设备和存储介质，包括：确定三维磁共振影像；确定三维磁共振影像在第一切片方向上的第一切片序列，对第一切片序列进行二维超分辨重建，得到第一重建序列，基于第一重建序列重建第一三维影像；确定第一三维影像在第二切片方向上的第二切片序列，对第二切片序列进行二维超分辨重建，得到第二重建序列，基于第二重建序列重建高分辨率三维影像。本发明提供的方法、电子设备和存储介质，在两个方向上交替进行二维超分辨重建，保证了超分辨重建结果的连续性。在此过程中，二维超分辨重建的实现，无需提供和应用高分辨率的三维影像，大大降低了训练样本的获取难度和获取成本，有助于提高方法的实用性。

Description

三维磁共振影像超分辨重建方法、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种三维磁共振影像超分辨重建方法、电子设备和存储介质。
背景技术
三维磁共振(Magnetic Resonance，MR)影像具有无辐射、多参数、软组织对比好等优点，已经广泛应用于临床。
目前，三维磁共振影像常需通过一系列的二维影像获取，且在影像扫描过程中往往通过增大扫描间距的方式节约扫描时间和成本。然而，增加扫描间距的方式会导致三维影像数据的层间分辨率降低，影响临床诊断的评估可靠性。
针对这一问题，目前通常通过三维数据插值方法来提高层间分辨率，从而实现超分辨重建，但是三维数据插值方法并没有考虑到影像的真实度和内容连续性，重建效果较差。此外，还存在通过深度学习模型进行三维超分辨重建的方式，但是深度学习模型在训练时需要应用到高分辨率的三维影像数据作为监督，鉴于高分辨率的三维影像数据获取难度较大，缺少足够训练数据支撑的深度学习模型的可靠性难以保证，重建效果并不理想。
发明内容
本发明提供一种三维磁共振影像超分辨重建方法、电子设备和存储介质，用以解决现有技术中三维磁共振影像超分辨重建实现难度大、重建效果差的缺陷。
本发明提供一种三维磁共振影像超分辨重建方法，包括：
确定待重建的三维磁共振影像；
确定所述三维磁共振影像在第一切片方向上的第一切片序列，对所述第一切片序列进行二维超分辨重建，得到第一重建序列，基于所述第一重建序列重建第一三维影像；
确定所述第一三维影像在第二切片方向上的第二切片序列，对所述第二切片序列进行二维超分辨重建，得到第二重建序列，基于所述第二重建序列重建高分辨率三维影像；
其中，所述第一切片方向和所述第二切片方向为所述三维磁共振影像的重建方向以外的两个方向。
根据本发明提供的一种三维磁共振影像超分辨重建方法，所述进行二维超分辨重建，包括：
将切片序列中的各二维影像分别输入至二维超分辨重建模型，得到所述二维超分辨重建模型输出的各二维重建影像，以构建重建序列；
所述二维超分辨重建模型是基于样本高低分辨率二维影像对训练得到的。
根据本发明提供的一种三维磁共振影像超分辨重建方法，所述将切片序列中的各二维影像分别输入至二维超分辨重建模型，得到所述二维超分辨重建模型输出的各二维重建影像，包括：
将任一二维影像输入至所述二维超分辨重建模型的输入卷积层，得到所述输入卷积层输出的初始影像特征；
将所述初始影像特征输入至所述二维超分辨重建模型的特征卷积层，得到所述特征卷积层输出的卷积影像特征，所述特征卷积层由多个串联的双重残差卷积层，以及一个或多个普通卷积层构成；
将所述初始影像特征和所述卷积影像特征输入至所述二维超分辨重建模型的输出卷积层，得到所述输出卷积层输出的所述任一二维影像的二维重建影像。
根据本发明提供的一种三维磁共振影像超分辨重建方法，所述双重残差卷积层包括若干个残差密集连接模块，所述残差密集连接模块包括残差连接结构和多个密集连接的卷积单元。
根据本发明提供的一种三维磁共振影像超分辨重建方法，所述二维超分辨重建模型是基于三个方向的样本高低分辨率二维影像对构建的。
根据本发明提供的一种三维磁共振影像超分辨重建方法，所述样本高低分辨率二维影像对包括样本高分辨率二维影像及其对应的样本低分辨率二维影像；
其中，所述样本高分辨率二维影像是基于样本低分辨率三维影像确定的，所述样本低分辨率二维影像是对所述样本高分辨率二维影像降采样得到的。
根据本发明提供的一种三维磁共振影像超分辨重建方法，所述二维超分辨重建模型是基于如下步骤确定的：
基于所述样本高低分辨率二维影像对进行模型训练，得到多个候选重建模型；
基于测试高低分辨率二维影像对，对各候选重建模型进行模型测试，得到各候选重建模型的峰值信噪比和/或结构相似度；
基于各候选重建模型的峰值信噪比和/或结构相似度，确定最优的二维超分辨重建模型。
根据本发明提供的一种三维磁共振影像超分辨重建方法，所述确定待重建的三维磁共振影像，包括：
获取原始三维磁共振影像；
在所述重建方向对所述原始三维磁共振影像进行插值处理，得到层间分辨率与层内分辨率一致的待重建的三维磁共振影像。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述三维磁共振影像超分辨重建方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述三维磁共振影像超分辨重建方法的步骤。
本发明提供的三维磁共振影像超分辨重建方法、电子设备和存储介质，在第一切片方向和第二切片方向上交替进行二维超分辨重建，在实现三维超分辨重建的同时，保证了超分辨重建结果的连续性。在此过程中，二维超分辨重建的实现，仅需要高分辨率的二维影像即可，无需提供和应用高分辨率的三维影像，大大降低了超分辨重建训练样本的获取难度和获取成本，有助于提高三维超分辨重建方法的实用性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的三维磁共振影像超分辨重建方法的流程示意图之一；
图2是本发明提供的二维超分辨重建模型的结构示意图；
图3是本发明提供的双重残差卷积层的结构示意图；
图4为本发明提供的多种二维超分辨重建方法的效果评估示意图；
图5是本发明提供的三维磁共振影像超分辨重建方法的流程示意图之二；
图6是本发明提供的三维磁共振影像超分辨重建装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前的硬件条件下，三维磁共振影像常需通过一系列的二维影像获取。磁共振影像的采集速度较慢，致使高分辨率三维影像的获取十分耗时，而成像时间过长还会面临呼吸运动、器官蠕动导致的图像模糊、伪影问题。另外，考虑到磁共振影像的采集成本高昂，在实际应用中，往往通过增大扫描间距的方式节约扫描时间和成本。
然而，增加扫描间距的方式会导致三维影像数据的层间分辨率降低，影响临床诊断的评估可靠性。此处所指的层间分辨率即两张连续二维影像方向上的分辨率，与之相对的还有层内分辨率，即扫描所得的二维影像两个方向的分辨率。
超分辨重建是通过处理多幅低分辨率二维影像来获得高分辨率三维影像的后处理技术，能够在硬件设备无法迅速更新的情况下解决三维磁共振影像层间分辨率低这一痛点问题。
目前通常通过三维数据插值方法来提高层间分辨率，从而实现超分辨重建，但是三维数据插值方法并没有考虑到影像的真实度和内容连续性，重建效果并不理想。
近年来，随着深度学习方法在不同计算机视觉领域获得成功，将深度学习技术应用在医学影像的三维超分辨重建成为可能。目前基于深度学习的三维超分辨重建方式包括应用三维卷积神经网络模型对三维医学影像进行超分辨重建，应用二维卷积神经网络模型迭代获取三维医学影像的原始切片之间的切片序列等。
然而，基于三维卷积神经网络模型的方式，模型在训练时需要应用到高分辨率的三维影像数据作为监督，高分辨率的三维影像数据采集时间长、费用昂贵，获取大量的训练数据难度极大。且三维卷积神经网络模型在训练时需要比较多的计算内存，进一步增加了实现难度。而应用二维卷积神经网络模型的方式，在迭代地生成中间切片过程中，生成误差可能累积较大；此外，迭代的过程无法实现并行化，致使重建过程较为缓慢。
针对上述情况，本发明实施例提供了一种三维磁共振影像超分辨重建方法，用于实现低层间分辨率的三维磁共振影像的超分辨重建。图1是本发明提供的三维磁共振影像超分辨重建方法的流程示意图之一，如图1所示，该方法包括：
步骤110，确定待重建的三维磁共振影像；
步骤120，确定三维磁共振影像在第一切片方向上的第一切片序列，对第一切片序列进行二维超分辨重建，得到第一重建序列，基于第一重建序列重建第一三维影像；
步骤130，确定第一三维影像在第二切片方向上的第二切片序列，对第二切片序列进行二维超分辨重建，得到第二重建序列，基于第二重建序列重建高分辨率三维影像；
其中，第一切片方向和所述第二切片方向为三维磁共振影像的重建方向以外的两个方向。
具体地，待重建的三维磁共振影像即需要进行三维超分辨重建的低层间分辨率的三维影像。三维磁共振影像可以是盆腔磁共振影像、胸腔磁共振影像或者其他身体部位的磁共振影像，本发明实施例对此不作具体限定。
三维磁共振影像是包含了三个方向上的数值信息的影像，此处所指的三个方向分别可以是垂直于冠状面、矢状面和水平面的方向。通常，可以直接在上述三个方向中确定一个方向作为三维磁共振影像的重建方向，将其余两个方向作为三维磁共振影像的第一切片方向和第二切片方向。进一步地，三维磁共振影像的重建方向即垂直于获取三维磁共振影像扫描面的方向，例如从冠状面进行扫描得到的三维磁共振影像，其重建方向即垂直于扫描面的方向，第一切片方向和第二切片方向即分别垂直于矢状面和水平面的方向。
考虑到基于三维卷积神经网络模型进行超分辨重建的实现难度较大，本发明实施例将三维超分辨重建问题分解成不同视图的二维超分辨重建问题，从而降低实现难度。而具体在进行不同视图的二维超分辨重建时，考虑到并行进行不同视图的二维超分辨重建所得的结果需要在后期进行融合，而不同视图重建结果之间的差异会导致融合结果的局部失真和伪影，本发明实施例通过交替超分辨重建的方式，实现了三维磁共振影像的超分辨重建：
首先沿着第一切片方向对三维磁共振影像进行二维切片，此处的第一切片方向可以是除重建方向之外的两个方向中的任意一个，由此得到第一切片方向上的第一切片序列，此处，第一切片序列包括多个垂直于第一切片方向的面上的二维影像。
在此基础上，分别对第一切片序列中的各二维影像进行二维超分辨重建，从而得到二维超分辨重建后的第一切片序列，即第一重建序列。此处，二维超分辨重建可以基于深度学习模型实现，而用于二维超分辨重建的深度学习模型仅需要高分辨率二维影像作为训练样本即可，无需获取高分辨率的三维影像，具有更高的可实现性。
在得到第一重建序列之后，将第一重建序列中的各个二维影像沿第一切片方向进行堆叠重建，即可得到在第一切片方向进行超分辨重建的三维磁共振影像，即第一三维影像。
接着，沿着第二切片方向对第一三维影像进行二维切片，由此得到第二切片方向上的第二切片序列，此处，第二切片序列包括多个垂直于第二切片方向的面上的二维影像。
在此基础上，分别对第二切片序列中的各二维影像进行二维超分辨重建，从而得到二维超分辨重建后的第二切片序列，即第二重建序列。
在得到第二重建序列之后，将第二重建序列中的各个二维影像沿第二切片方向进行堆叠重建，即可得到在第一切片方向和第二切片方向上均完成超分辨重建的三维磁共振影像，即高分辨率三维影像。
本发明实施例提供的方法，在第一切片方向和第二切片方向上交替进行二维超分辨重建，在实现三维超分辨重建的同时，保证了超分辨重建结果的连续性。在此过程中，二维超分辨重建的实现，仅需要高分辨率的二维影像即可，无需提供和应用高分辨率的三维影像，大大降低了超分辨重建训练样本的获取难度和获取成本，有助于提高三维超分辨重建方法的实用性。
基于上述实施例，步骤120和步骤130中，所述进行二维超分辨重建，包括：
将切片序列中的各二维影像分别输入至二维超分辨重建模型，得到二维超分辨重建模型输出的各二维重建影像，以构建重建序列；
二维超分辨重建模型是基于样本高低分辨率二维影像对训练得到的。
具体地，二维超分辨重建模型即用于进行二维影像的超分辨重建的深度学习模型，在模型应用之前，需要通过充分训练得到二维超分辨重建模型，其训练方法可以通过如下步骤实现：首先，收集大量样本高低分辨率二维影像对，此处各样本高低分辨率二维影像对中分别包括一组高分辨率和低分辨率的二维影像，具体可以通过对低分辨率的二维影像进行二维超分辨重建得到高分辨率的二维影像，也可以通过对高分辨率的二维影像进行降采样得到低分辨率的二维影像。在得到样本高低分辨率二维影像对以后，可以基于样本高低分辨率二维影像对进行模型训练，从而得到二维超分辨重建模型。进一步地，二维超分辨重建模型可以是基于双重残差卷积神经网络(RRDBNet)或者其他类型的卷积神经网络构建，也可以基于字典学习、马尔科夫随机场等模型架构构建的，本发明实施例对此不作具体限定。
二维超分辨重建模型训练完成后，在步骤120中，可以将第一切片序列中的各二维影像分别输入至二维超分辨重建模型，得到二维超分辨重建模型输出的各二维重建影像，以构建第一重建序列；在步骤130中，可以将第二切片序列中的各二维影像分别输入至二维超分辨重建模型，得到二维超分辨重建模型输出的各二维重建影像，以构建第二重建序列。
本发明实施例中，通过样本高低分辨率二维影像对训练二维超分辨重建模型，以实现不同视图的二维超分辨重建。模型训练无需高分辨率的三维影像，大大降低了超分辨重建训练样本的获取难度和获取成本。
基于上述任一实施例，二维超分辨重建模型的损失函数可以是L1代价函数，具体表示为如下形式：
式中，gmn为测试高分辨率二维影像g中(m,n)位置的像素值，pmn为测试重建二维影像p中(m,n)位置的像素值，m和n均为自然数，且m<M，n<N，M和N为二维影像两个方向的像素点数量。
基于上述任一实施例，图2是本发明提供的二维超分辨重建模型的结构示意图，如图2所示，二维超分辨重建模型包括顺次连接的输入卷积层、特征卷积层和输出卷积层，其中输入卷积层的输出还与输出卷积层的输入连接以构成全局残差连接。
相应地，将切片序列中的各二维影像分别输入至二维超分辨重建模型，得到二维超分辨重建模型输出的各二维重建影像，包括：
将任一二维影像输入至二维超分辨重建模型的输入卷积层，得到输入卷积层输出的初始影像特征；
将初始影像特征输入至二维超分辨重建模型的特征卷积层，得到特征卷积层输出的卷积影像特征，特征卷积层由多个串联的双重残差卷积层，以及一个或多个普通卷积层构成；
将初始影像特征和卷积影像特征输入至二维超分辨重建模型的输出卷积层，得到输出卷积层输出的该二维影像的二维重建影像。
具体地，二维超分辨重建模型中，输入卷积层、特征卷积层和输出卷积层均具备影像特征提取的功能，在二维超分辨重建模型的运行过程中，各层分别对输入的特征作进一步特征提取，并将提取所得的特征输出。其中全局残差连接的应用，能够有效解决随着网络深度增加引起的网络退化问题。
基于上述任一实施例，特征卷积层由多个串联的双重残差卷积层，以及一个或多个普通卷积层构成，其中双重残差卷积层包括若干个残差密集连接模块，残差密集连接模块包括残差连接结构和多个密集连接的卷积单元。
图3是本发明提供的双重残差卷积层的结构示意图，图3中以虚线框的形式展现双重残差卷积层中的残差密集连接模块，在双重残差卷积层层面上，若干个残差密集连接模块串联连接，且若干个残差密集连接模块作为一个整体的情况下，存在全局残差连接结构将双重残差卷积层的输入直接作为该双重残差卷积层的输出的一部分。在单个残差密集连接模块层面上，单个残差密集连接模块包括多个密集连接的卷积单元，且多个密集连接的卷积单元作为一个整体的情况下，存在全局残差连接结构将残差密集连接模块的输入直接作为该残差密集连接模块的输出的一部分。需要说明的是，此处所指的密集连接，是指每个卷积单元的输入均包括排列在该卷积单元之前一个卷积单元的输出，以及排列在该卷积单元之间的每个卷积单元的输入。例如图3中，单个双重残差卷积层包括3个串联的残差密集连接模块和残差连接结构，其中单个残差密集连接模块包括5个密集连接的卷积单元和残差连接结构。
本发明实施例提供的方法，在二维超分辨重建模型中应用了双重残差卷积层，从而保证了特征在不同卷积层之间的高效流通以及模型的快速收敛。
基于上述任一实施例，二维超分辨重建模型是基于三个方向的样本高低分辨率二维影像对构建的。
此处，样本高低分辨率二维影像对的方向即垂直于二维影像所处平面的方向，也就是样本高低分辨率二维影像对的扫描方向。在模型训练过程中，可以分别获取从冠状面、矢状面和水平面的垂直方向扫描所得的低层间分辨率的三维磁共振影像，以获取对应方向的样本高低分辨率二维影像。
本发明实施例提供的方法，通过应用三个方向全视图的训练样本进行模型训练，可以有效提高二维超分辨重建模型的超分辨重建性能。
基于上述任一实施例，样本高低分辨率二维影像对包括样本高分辨率二维影像及其对应的样本低分辨率二维影像；
其中，样本高分辨率二维影像是基于样本低分辨率三维影像确定的，样本低分辨率二维影像是对样本高分辨率二维影像降采样得到的。
具体地，样本低分辨率三维影像是指低层间分辨率的样本三维磁共振影像。例如，样本低分辨率三维影像可以是0.78×0.78mm的层内分辨率和5mm的层间分辨率，由此可以直接获取0.78×0.78mm的二维影像作为样本高分辨率二维影像，在此基础上，对得到的样本高分辨率二维影像进行降采样操作，即可得到与之对应的样本低分辨率二维影像，以构成样本高低分辨率二维影像对。在此过程中，仅应用到低层间分辨率的三维影像，而无需高层间分辨率的三维影像，训练样本的获取难度和获取成本均大大降低。
基于上述任一实施例，二维超分辨重建模型是基于如下步骤确定的：
基于样本高低分辨率二维影像对进行模型训练，得到多个候选重建模型；
基于测试高低分辨率二维影像对，对各候选重建模型进行模型测试，得到各候选重建模型的峰值信噪比和/或结构相似度；
基于各候选重建模型的峰值信噪比和/或结构相似度，确定最优的二维超分辨重建模型。
具体地，在基于样本高低分辨率二维影像对进行模型训练的过程中，可能生成多个收敛的候选重建模型。此处所指的候选重建模型即具备二维超分辨重建能力的模型，不同的候选重建模型的产生可能是因为训练样本的不同、模型结构的不同等。当存在多个候选重建模型时，可以根据各候选重建模型的性能，从中选取一个性能最优的作为最终应用的二维超分辨重建模型。
在对各候选重建模型进行性能评估时，可以应用测试高低分辨率二维影像对，对各候选重建模型进行模型测试，从而得到各候选重建模型的性质指标参数，具体可以包括峰值信噪比和/或结构相似度。需要说明的是，此处所指的测试高低分辨率二维影像对即模型测试集，其获取方式与样本高低分辨率二维影像对一致，此处不再赘述。
进一步地，峰值信噪比(peak signal to noise ratio，PSNR)可以表示为：
式中，MSE为测试高分辨率二维影像g与测试重建二维影像p之间的均方误差。此处，测试重建二维影像p是将测试低分辨率二维影像输入到候选重建模型中进行二维超分辨重建所得的结果。gmn为测试高分辨率二维影像g中(m,n)位置的像素值，pmn为测试重建二维影像p中(m,n)位置的像素值，m和n均为自然数，且m<M，n<N，M和N为二维影像两个方向的像素点数量。
结构相似度(structural similarity，SSIM)可以表示为：
式中，μg和μp分别为测试高分辨率二维影像g与测试重建二维影像p的均值，σg和σp分别为测试高分辨率二维影像g与测试重建二维影像p的标准差，σg,p为测试高分辨率二维影像g与测试重建二维影像p的矩阵协方差。
基于上述任一实施例，步骤110包括：
获取原始三维磁共振影像；
在重建方向对原始三维磁共振影像进行插值处理，得到层间分辨率与层内分辨率一致的待重建的三维磁共振影像。
具体地，为了便于在两个切片方向对待重建的三维磁共振影像进行切分，从而实现两个切片方向的交替超分辨重建，在扫描得到原始三维磁共振影像后，首先需要在重建方向对原始三维磁共振影像进行插值处理，从而将原始三维磁共振影像的低层间分辨率提高至与层内分辨率一致，并将经过插值处理后的原始三维磁共振影像，作为待重建的三维磁共振影像。
基于上述任一实施例，二维超分辨重建模型的确定方法可以包括如下步骤：
首先，收集了大量志愿者的盆腔磁共振数据。例如可以收集48组志愿者的盆腔磁共振数据。其中，每组志愿者的盆腔磁共振数据均包含分别从冠状面、矢状面和水平面扫描得到的三组磁共振影像。每一组磁共振影像均为0.78×0.78mm的层内分辨率和5mm的层间分辨率。
随后，将收集所得的盆腔磁共振数据划分为训练集和测试集。例如，训练集包含38组志愿者的数据，共计3037张二维磁共振影像，测试集包含10组志愿者发数据，共计796张二维磁共振影像。
基于以上训练集，进一步划分了5种不同的模型训练方式，即仅使用冠状面数据训练(990张)、仅使用矢状面数据训练(1020张)、仅使用水平面数据训练(1027张)、使用三分之一训练集训练(13组志愿者数据998张)，以及使用全部志愿者数据训练模型。为了便于区分，将仅使用冠状面数据训练(990张)、仅使用矢状面数据训练(1020张)、仅使用水平面数据训练(1027张)、使用三分之一志愿者数据训练(13组志愿者数据998张)以及使用全部志愿者数据训练得到的RRDBNet分别用RRDBNet-c、RRDBNet-s、RRDBNet-a、RRDBNet-partial和RRDBNet-all来表示。将应用全部志愿者数据训练得到的EDSR模型表示为EDSR。此外，还应用样条插值算法进行二维超分辨重建。
具体在模型训练时，可以应用Python(V3.5.2)和Pytorch(V.1.2.0)建立模型，并基于一块拥有24G显存的NVIDIA TITAN RTX显卡进行训练。
图4为本发明提供的多种二维超分辨重建方法的效果评估示意图，如图4所示，RRDBNet比样条插值算法和EDSR模型具有更高的PSNR和SSIM。RRDBNet中，RRDBNet-partial相比RRDBNet-c、RRDBNet-s、RRDBNet-a具有更好的性能，表明在相同的训练集大小情况下，使用三个方向的数据比仅使用单视图的数据训练效果更优。最终，选择性能最优的RRDBNet-all作为二维超分辨重建模型。
基于上述任一实施例，图5是本发明提供的三维磁共振影像超分辨重建方法的流程示意图之二，如图5所示，该方法包括如下步骤：
S1，确定待重建的三维磁共振影像：
首先获取原始三维磁共振影像，在重建方向对原始三维磁共振影像进行插值处理，从而将原始三维磁共振影像的低层间分辨率提高至与层内分辨率一致，并将经过插值处理后的原始三维磁共振影像，作为待重建的三维磁共振影像此处，x、y、z轴分别代表垂直于冠状面、矢状面和水平面的方向，本发明实施例中x轴为重建方向，y轴和z轴为两个切片方向。
S2，从z轴二维切片：
此处，将z轴作为第一切片方向，对三维磁共振影像进行切片，得到第一切片序列，第一切片序列中的二维影像可以表示为/>
S3，应用二维超分辨重建模型进行重建：
在得到第一切片序列后，可以将第一切片序列中的各二维影像分别输入至二维超分辨重建模型，得到二维超分辨重建模型输出的各二维重建影像，以构建第一重建序列。此处，第一重建序列中的二维重建影像可以表示为I(x,y)。
S4，堆叠二维超分辨结果：
将第一重建序列沿着Z轴进行三维重建，即可得到第一三维影像，即从z轴进行重建恢复的三维超分辨重建结果
S5，从y轴二维切片：
此处，将y轴作为第二切片方向，对第一三维影像进行切片，得到第二片序列，第二切片序列中的二维影像可以表示为/>
S6，应用二维超分辨重建模型进行重建：
在得到第二切片序列后，可以将第二切片序列中的各二维影像分别输入至二维超分辨重建模型，得到二维超分辨重建模型输出的各二维重建影像，以构建第二重建序列。此处，第二重建序列中的二维重建影像可以表示为
S7，堆叠二维超分辨结果：
将第二重建序列沿着y轴进行三维重建，即可得到高分辨率三维影像，即先从z轴进行重建恢复再从y轴进行重建恢复的三维超分辨重建结果
需要说明的是，上述步骤S3和S6中应用的二维超分辨重建模型，是基于三个方向扫描的低层间分辨率三维磁共振影像进行训练得到的。
本发明实施例提供的方法，仅采用了低层间分辨率三维磁共振影像数据即可实现二维超分辨重建模型的训练，并可基于完成三维超分辨重建，在训练和推理时需要更少的计算资源和训练数据，大大降低了三维超分辨重建的实现难度；具体操作过程中，在两个视图上进行交替超分辨重建，从而保证了重建结果的连续性，减少了重建的伪影，提高了重建性能；此外，二维超分辨重建模型应用了双重残差密集连接的卷积神经网络，保证了超分辨重建结果的高质量。
下面对本发明提供的三维磁共振影像超分辨重建装置进行描述，下文描述的三维磁共振影像超分辨重建装置与上文描述的三维磁共振影像超分辨重建方法可相互对应参照。
图6是本发明提供的三维磁共振影像超分辨重建装置的结构示意图，如图6所示，该装置包括：
三维影像确定单元610，用于确定待重建的三维磁共振影像；
第一视图重建单元620，用于重建单元确定所述三维磁共振影像在第一切片方向上的第一切片序列，对所述第一切片序列进行二维超分辨重建，得到第一重建序列，基于所述第一重建序列重建第一三维影像；
第二视图重建单元630，用于确定所述第一三维影像在第二切片方向上的第二切片序列，对所述第二切片序列进行二维超分辨重建，得到第二重建序列，基于所述第二重建序列重建高分辨率三维影像；
其中，所述第一切片方向和所述第二切片方向为所述三维磁共振影像的重建方向以外的两个方向。
本发明实施例提供的装置，在第一切片方向和第二切片方向上交替进行二维超分辨重建，在实现三维超分辨重建的同时，保证了超分辨重建结果的连续性。在此过程中，二维超分辨重建的实现，仅需要高分辨率的二维影像即可，无需提供和应用高分辨率的三维影像，大大降低了超分辨重建训练样本的获取难度和获取成本，有助于提高三维超分辨重建方法的实用性。
基于上述任一实施例，第一视图重建单元620和第二视图重建单元630包括：
二维视图重建单元，用于将切片序列中的各二维影像分别输入至二维超分辨重建模型，得到所述二维超分辨重建模型输出的各二维重建影像，以构建重建序列；
所述二维超分辨重建模型是基于样本高低分辨率二维影像对训练得到的。
基于上述任一实施例，二维视图重建单元，用于：
将任一二维影像输入至所述二维超分辨重建模型的输入卷积层，得到所述输入卷积层输出的初始影像特征；
将所述初始影像特征输入至所述二维超分辨重建模型的特征卷积层，得到所述特征卷积层输出的卷积影像特征，所述特征卷积层由多个串联的双重残差卷积层，以及一个或多个普通卷积层构成；
将所述初始影像特征和所述卷积影像特征输入至所述二维超分辨重建模型的输出卷积层，得到所述输出卷积层输出的所述任一二维影像的二维重建影像。
基于上述任一实施例，所述双重残差卷积层包括若干个残差密集连接模块，所述残差密集连接模块包括残差连接结构和多个密集连接的卷积单元。
基于上述任一实施例，所述二维超分辨重建模型是基于三个方向的样本高低分辨率二维影像对构建的。
基于上述任一实施例，所述样本高低分辨率二维影像对包括样本高分辨率二维影像及其对应的样本低分辨率二维影像；
其中，所述样本高分辨率二维影像是基于样本低分辨率三维影像确定的，所述样本低分辨率二维影像是对所述样本高分辨率二维影像降采样得到的。
基于上述任一实施例，该装置还包括：
训练单元，用于基于所述样本高低分辨率二维影像对进行模型训练，得到多个候选重建模型；
基于测试高低分辨率二维影像对，对各候选重建模型进行模型测试，得到各候选重建模型的峰值信噪比和/或结构相似度；
基于各候选重建模型的峰值信噪比和/或结构相似度，确定最优的二维超分辨重建模型。
基于上述任一实施例，三维影像确定单元610用于：
获取原始三维磁共振影像；
在所述重建方向对所述原始三维磁共振影像进行插值处理，得到层间分辨率与层内分辨率一致的待重建的三维磁共振影像。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行三维磁共振影像超分辨重建方法，该方法包括：确定待重建的三维磁共振影像；确定所述三维磁共振影像在第一切片方向上的第一切片序列，对所述第一切片序列进行二维超分辨重建，得到第一重建序列，基于所述第一重建序列重建第一三维影像；确定所述第一三维影像在第二切片方向上的第二切片序列，对所述第二切片序列进行二维超分辨重建，得到第二重建序列，基于所述第二重建序列重建高分辨率三维影像；其中，所述第一切片方向和所述第二切片方向为所述三维磁共振影像的重建方向以外的两个方向。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的三维磁共振影像超分辨重建方法，该方法包括：确定待重建的三维磁共振影像；确定所述三维磁共振影像在第一切片方向上的第一切片序列，对所述第一切片序列进行二维超分辨重建，得到第一重建序列，基于所述第一重建序列重建第一三维影像；确定所述第一三维影像在第二切片方向上的第二切片序列，对所述第二切片序列进行二维超分辨重建，得到第二重建序列，基于所述第二重建序列重建高分辨率三维影像；其中，所述第一切片方向和所述第二切片方向为所述三维磁共振影像的重建方向以外的两个方向。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的三维磁共振影像超分辨重建方法，该方法包括：确定待重建的三维磁共振影像；确定所述三维磁共振影像在第一切片方向上的第一切片序列，对所述第一切片序列进行二维超分辨重建，得到第一重建序列，基于所述第一重建序列重建第一三维影像；确定所述第一三维影像在第二切片方向上的第二切片序列，对所述第二切片序列进行二维超分辨重建，得到第二重建序列，基于所述第二重建序列重建高分辨率三维影像；其中，所述第一切片方向和所述第二切片方向为所述三维磁共振影像的重建方向以外的两个方向。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种三维磁共振影像超分辨重建方法，其特征在于，包括：
确定待重建的三维磁共振影像；
确定所述三维磁共振影像在第一切片方向上的第一切片序列，对所述第一切片序列进行二维超分辨重建，得到第一重建序列，基于所述第一重建序列重建第一三维影像；
确定所述第一三维影像在第二切片方向上的第二切片序列，对所述第二切片序列进行二维超分辨重建，得到第二重建序列，基于所述第二重建序列重建高分辨率三维影像；
其中，所述第一切片方向和所述第二切片方向为所述三维磁共振影像的重建方向以外的两个方向。
2.根据权利要求1所述的三维磁共振影像超分辨重建方法，其特征在于，所述进行二维超分辨重建，包括：
将切片序列中的各二维影像分别输入至二维超分辨重建模型，得到所述二维超分辨重建模型输出的各二维重建影像，以构建重建序列；
所述二维超分辨重建模型是基于样本高低分辨率二维影像对训练得到的。
3.根据权利要求2所述的三维磁共振影像超分辨重建方法，其特征在于，所述将切片序列中的各二维影像分别输入至二维超分辨重建模型，得到所述二维超分辨重建模型输出的各二维重建影像，包括：
将任一二维影像输入至所述二维超分辨重建模型的输入卷积层，得到所述输入卷积层输出的初始影像特征；
将所述初始影像特征输入至所述二维超分辨重建模型的特征卷积层，得到所述特征卷积层输出的卷积影像特征，所述特征卷积层由多个串联的双重残差卷积层，以及一个或多个普通卷积层构成；
将所述初始影像特征和所述卷积影像特征输入至所述二维超分辨重建模型的输出卷积层，得到所述输出卷积层输出的所述任一二维影像的二维重建影像。
4.根据权利要求3所述的三维磁共振影像超分辨重建方法，其特征在于，所述双重残差卷积层包括若干个残差密集连接模块，所述残差密集连接模块包括残差连接结构和多个密集连接的卷积单元。
5.根据权利要求2所述的三维磁共振影像超分辨重建方法，其特征在于，所述二维超分辨重建模型是基于三个方向的样本高低分辨率二维影像对构建的。
6.根据权利要求2所述的三维磁共振影像超分辨重建方法，其特征在于，所述样本高低分辨率二维影像对包括样本高分辨率二维影像及其对应的样本低分辨率二维影像；
其中，所述样本高分辨率二维影像是基于样本低分辨率三维影像确定的，所述样本低分辨率二维影像是对所述样本高分辨率二维影像降采样得到的。
7.根据权利要求2所述的三维磁共振影像超分辨重建方法，其特征在于，所述二维超分辨重建模型是基于如下步骤确定的：
基于所述样本高低分辨率二维影像对进行模型训练，得到多个候选重建模型；
基于测试高低分辨率二维影像对，对各候选重建模型进行模型测试，得到各候选重建模型的峰值信噪比和/或结构相似度；
基于各候选重建模型的峰值信噪比和/或结构相似度，确定最优的二维超分辨重建模型。
8.根据权利要求1至7中任一项所述的三维磁共振影像超分辨重建方法，其特征在于，所述确定待重建的三维磁共振影像，包括：
获取原始三维磁共振影像；
在所述重建方向对所述原始三维磁共振影像进行插值处理，得到层间分辨率与层内分辨率一致的待重建的三维磁共振影像。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述三维磁共振影像超分辨重建方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述三维磁共振影像超分辨重建方法的步骤。
CN202110240935.7A 2021-03-04 2021-03-04 三维磁共振影像超分辨重建方法、电子设备和存储介质 Active CN113160380B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110240935.7A CN113160380B (zh) 2021-03-04 2021-03-04 三维磁共振影像超分辨重建方法、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110240935.7A CN113160380B (zh) 2021-03-04 2021-03-04 三维磁共振影像超分辨重建方法、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113160380A CN113160380A (zh) 2021-07-23
CN113160380B true CN113160380B (zh) 2023-07-18

Family

ID=76884186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110240935.7A Active CN113160380B (zh) 2021-03-04 2021-03-04 三维磁共振影像超分辨重建方法、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113160380B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989349B (zh) * 2021-10-25 2022-11-25 北京百度网讯科技有限公司 图像生成方法、图像处理模型的训练方法、图像处理方法
CN114708444A (zh) * 2022-04-22 2022-07-05 北京地平线机器人技术研发有限公司 三维特征图的特征提取方法和装置、存储介质、电子设备
CN116797457B (zh) * 2023-05-20 2024-05-14 北京大学 一种同时实现磁共振影像超分辨和伪影去除的方法和系统
CN116797726B (zh) * 2023-05-20 2024-05-07 北京大学 器官三维重建方法、装置、电子设备和存储介质
CN116805284B (zh) * 2023-08-28 2023-12-19 之江实验室 基于特征迁移的三维磁共振平面间超分辨重建方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507462A (zh) * 2020-04-15 2020-08-07 华中科技大学鄂州工业技术研究院 一种端对端的三维医学图像超分辨率重建方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019147927A1 (en) * 2018-01-26 2019-08-01 Mayo Foundation For Medical Education And Research Synthetic three-dimensional magnetic resonance imaging

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507462A (zh) * 2020-04-15 2020-08-07 华中科技大学鄂州工业技术研究院 一种端对端的三维医学图像超分辨率重建方法及系统

Also Published As

Publication number Publication date
CN113160380A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN113160380B (zh) 三维磁共振影像超分辨重建方法、电子设备和存储介质
Chen et al. Brain MRI super resolution using 3D deep densely connected neural networks
CN108460726B (zh) 一种基于增强递归残差网络的磁共振图像超分辨重建方法
Chen et al. MRI super-resolution with GAN and 3D multi-level DenseNet: smaller, faster, and better
Trinh et al. Novel example-based method for super-resolution and denoising of medical images
Lyu et al. Super-resolution MRI through deep learning
CN111932460B (zh) Mr图像超分辨率重建方法、装置、计算机设备及存储介质
CN112085677A (zh) 一种图像处理方法、系统和计算机存储介质
CN111311704A (zh) 图像重建方法、装置、计算机设备和存储介质
CN113592745B (zh) 一种基于对抗性域自适应的无监督mri图像复原方法
Li et al. A modified generative adversarial network using spatial and channel-wise attention for CS-MRI reconstruction
CN112037304A (zh) 基于swi相位图像的两阶段的边缘增强qsm重建方法
CN112669209A (zh) 一种三维医学图像超分辨率重建方法和系统
WO2023183504A1 (en) Deep learning super resolution of medical images
CN114187181B (zh) 基于残差信息精炼的双路径肺部ct图像超分辨率方法
Sander et al. Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI
CN118014837A (zh) 基于残差注意力机制的mri超分辨率
CN116778016A (zh) 一种mri图像重建方法、系统及介质
CN117078780A (zh) 基于深度学习的微体化石ct图像预处理方法及装置
Karthik et al. Automatic quality enhancement of medical diagnostic scans with deep neural image super-resolution models
CN113469882B (zh) 基于土壤ct图像的超分辨率重建方法及装置
Thurnhofer-Hemsi et al. Super-resolution of 3D magnetic resonance images by random shifting and convolutional neural networks
Liang et al. Laplacian pyramid-based complex neural network learning for fast MR imaging
Aghabiglou et al. Densely connected wavelet-based autoencoder for MR image reconstruction
Wang et al. Brain MRI super-resolution reconstruction using a multi-level and parallel conv-deconv network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant