CN111932649B - 一种动态医学成像方法、装置、设备及存储介质 - Google Patents

一种动态医学成像方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111932649B
CN111932649B CN202010777250.1A CN202010777250A CN111932649B CN 111932649 B CN111932649 B CN 111932649B CN 202010777250 A CN202010777250 A CN 202010777250A CN 111932649 B CN111932649 B CN 111932649B
Authority
CN
China
Prior art keywords
module
dynamic
low
output result
rank
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010777250.1A
Other languages
English (en)
Other versions
CN111932649A (zh
Inventor
朱燕杰
梁栋
柯子文
刘新
郑海荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202010777250.1A priority Critical patent/CN111932649B/zh
Priority to PCT/CN2020/117306 priority patent/WO2022027804A1/zh
Publication of CN111932649A publication Critical patent/CN111932649A/zh
Application granted granted Critical
Publication of CN111932649B publication Critical patent/CN111932649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/412—Dynamic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种动态医学成像方法、装置、设备及存储介质，所述方法包括：获取动态采样数据；将所述动态采样数据输入至训练好的动态成像模型中，获得所述动态成像模型的输出结果，其中，所述动态成像模型包括低秩模块；根据所述输出结果确定所述动态采样数据对应的目标重建图像并输出。本发明实施例提供的方法通过动态成像模型中的低秩模块获取动态数据中的低秩特征，利用动态数据中的低秩特征进行图像重建，使得图像重建时充分利用了动态数据中的低秩特征，提升了图像重建性能，改善了动态医学图像的重建结果。

Description

一种动态医学成像方法、装置、设备及存储介质
技术领域
本发明实施例涉及图像重建技术领域，尤其涉及一种动态医学成像方法、装置、设备及存储介质。
背景技术
动态医学成像可以理解为使用成像或造影剂来选择性地增大图像中目标区域的对比度或者跟随在目标区域中的吸收或流动，即所谓的造影剂跟踪术，能够为临床诊断提供丰富的信息。例如，磁共振动态成像中的心脏电影成像能够用于评估心功能，室壁运动异常等，为心脏临床诊断提供丰富的信息。然而，由于磁共振物理及硬件、和心脏运动周期时长的制约，磁共振心脏电影成像往往时间和空间分辨率受限，无法准确评估部分心脏疾病，如心率不齐等的心功能情况。因此，在保证成像质量的前提下，利用快速成像方法提高磁共振心脏电影成像的时间和空间分辨率尤为重要。
随着神经网络的快速发展，通过神经网络进行医学图像的重建已成为研究的主要方向，基于深度学习的神经网络方法(DC-CNN、CRNN、DIMENSION)能够避免迭代求解步骤，加速了重建时间。但是，这些深度学习方法仅仅无法充分利用数据特征，限制了重建性能的提升。
发明内容
本发明实施例提供了一种动态医学成像方法、装置、设备及存储介质，以解决现有技术中重建性能受限的技术问题，实现充分利用数据特征，提高基于神经网络实现的动态医学图像重建性能。
第一方面，本发明实施例提供了一种动态医学成像方法，包括：
获取动态采样数据；
将动态采样数据输入至训练好的动态成像模型中，获得动态成像模型的输出结果，其中，动态成像模型包括低秩模块；
根据输出结果确定动态采样数据对应的目标重建图像并输出。
第二方面，本发明实施例还提供了一种动态医学成像装置，包括：
采样数据获取模块，用于获取动态采样数据；
输出结果获取模块，用于将动态采样数据输入至训练好的动态成像模型中，获得动态成像模型的输出结果，其中，动态成像模型包括低秩模块；
重建图像输出模块，用于根据输出结果确定动态采样数据对应的目标重建图像并输出。
第三方面，本发明实施例还提供了一种计算机设备，设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本发明任意实施例所提供的动态医学成像方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的动态医学成像方法。
本发明实施例通过获取动态采样数据；将动态采样数据输入至训练好的动态成像模型中，获得动态成像模型的输出结果，其中，动态成像模型包括低秩模块；根据输出结果确定动态采样数据对应的目标重建图像并输出，通过动态成像模型中的低秩模块获取动态数据中的低秩特征，利用动态数据中的低秩特征进行图像重建，使得图像重建时充分利用了动态数据中的低秩特征，提升了图像重建性能，改善了动态医学图像的重建结果。
附图说明
图1是本发明实施例一所提供的一种动态医学成像方法的流程图；
图2是本发明实施例二所提供的一种动态医学成像方法的流程图；
图3是本发明实施例三所提供的一种动态医学成像方法的流程图；
图4是本发明实施例四所提供的一种动态医学成像方法的流程图；
图5是本发明实施例五所提供的一种用于磁共振动态成像的神经网络模型的结构示意图；
图6是本发明实施例六所提供的一种动态医学成像装置的结构示意图；
图7是本发明实施例七所提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一所提供的一种动态医学成像方法的流程图。本实施例可适用于基于动态采样数据进行医学图像重建时的情形。该方法可以由动态医学成像装置执行，该动态医学成像装置可以采用软件和/或硬件的方式实现，例如，该动态医学成像装置可配置于计算机设备中。如图1所示，所述方法包括：
S110、获取动态采样数据。
在本实施例中，动态采样数据可以为使用医学成像设备对被检体的目标部位进行动态采样获取的数据。其中，目标部位可以为被检体的待扫描部位，例如：被检体可以是有生命的动物体、人体，待扫描部位可以头部、颈部、乳腺、四肢、腹部、心脏、肝脏或盆腔中的一种或多种的组合。医学成像设备可以为磁共振成像(magnetic resonance imaging，MRI)设备、电子计算机断层扫描(Computed Tomography，CT)设备、数字化X射线成像设备、超声成像设备、正电子发射型计算机断层显像(Positron Emission Computed Tomography，PET)设备、PET-MR设备、PET-CT系统等医学成像设备。以磁共振动态成像中的心脏电影成像为例，动态采样数据可以为通过磁共振成像设备对被检体的心脏部位进行动态采样获得的数据。可选的，动态采样数据可以为欠采样数据，也可以为全采样数据。
S120、将动态采样数据输入至训练好的动态成像模型中，获得动态成像模型的输出结果，其中，动态成像模型包括低秩模块。
在本实施例中，在现有的神经网络进行动态图像重建的基础上，在神经网络模型中嵌入低秩模块，使得神经网络在进行图像重建的过程中能够提取并利用动态采样数据中的低秩特征，去除动态采样数据中的噪声和冗余数据，进一步提高动态医学图像的重建效果。可选的，低秩模块可以基于现有的低秩算法构建。
一个实施例中，低秩模块基于奇异值阈值算法构建。奇异值阈值(Singular ValueThresholding，SVT)算法是基于奇异值分解实现的。奇异值分解(Singular ValueDecomposition，SVD)是一种提取信息的方法能够简约数据，能够去除数据中的噪声和冗余数据。示例性的，低秩模块可以通过如下公式实现：
tn＝UHk(Σ)V*
Hk(Σ)＝diag({σi}1≤i≤k)
zn-1＝UΣV*
其中，tn为低秩模块的输出，zn-1为低秩模块的输入矩阵，且U为n1×k的正交矩阵，V为n2×k的正交矩阵，σ为奇异值，k为阈值，可根据实际需求或经验设定。
在本发明的一种实施方式中，动态成像模型包括链式连接的至少一个基于低秩模块构建的级联模块，将动态采样数据输入至训练好的动态成像模型中，获得动态成像模型的输出结果，包括：根据级联模块的连接顺序，依次将每个级联模块作为当前级联模块，将位于当前级联模块之前的前一级联模块的输出结果输入至当前级联模块中，获得当前级联模块的输出结果，并将最后一个级联模块的输出结果作为动态成像模型的输出结果。
一般的，动态成像模型由多个级联模块组成，通过连续多个级联模块对动态采样数据进行特征的多次提取和重建，得到重建好的医学图像。在本实施例中，可以将低秩模块嵌入至动态成像模型中的任意位置。可选的，可以在动态成像模型中的任意个级联模块中嵌入低秩模块，且可以将低秩模块嵌入至级联模块中的任意位置。示例性的，假设动态成像模型由n个级联模块组成，则可以在m个级联模块中嵌入低秩模块，以实现提取并利用动态采样数据中的低秩特征。其中，m为不大于n的任意正整数。可选的，m的数量可以根据实际需求或经验设置。在进行图像重建时，将动态采样数据输入至动态成像模型中的第一个级联模块中，获得第一个级联模块的输出结果，并将第一个级联模块的输出结果作为下一级联模块的输入，直到获得最后一个级联模块的输出结果，将最后一个级联模块的输出结果作为动态成像模型的输出结果。
S130、根据输出结果确定动态采样数据对应的目标重建图像并输出。
在本实施例中，动态成像模型的输出结果可以为重建好的医学图像，也可以为医学图像的特征数据。可选的，若动态成像模型的输出结果为重建好的医学图像，则可以直接将输出结果作为目标重建图像输出；若动态成像模型的输出结果为特征数据，则需要基于特征数据生成目标重建图像并输出。可选的，还可以将输出结果进行一定的处理后得到目标重建图像进行输出。
本发明实施例通过获取动态采样数据；将动态采样数据输入至训练好的动态成像模型中，获得动态成像模型的输出结果，其中，动态成像模型包括低秩模块；根据输出结果确定动态采样数据对应的目标重建图像并输出，通过动态成像模型中的低秩模块获取动态数据中的低秩特征，利用动态数据中的低秩特征进行图像重建，使得图像重建时充分利用了动态数据中的低秩特征，提升了图像重建性能，改善了动态医学图像的重建结果。
在上述方案的基础上，还包括：获取样本采样数据以及样本采样数据对应的样本重建结果；基于样本采样数据以及样本采样数据对应的样本重建结果生成训练样本数据；使用训练样本数据对预先基于低秩模块构建的动态成像模型进行训练，得到训练好的动态成像模型。可选的，为了使动态成像模型能够用于医学图像的重建，需要在构建好动态成像模型后，获取训练样本数据使用训练样本数据对预先构建好的动态成像模型进行训练，得到训练好的动态成像模型。其中，构建动态成像模型可以为：在现有的动态成像模型中嵌入低秩模块，其嵌入方式不做限定。样本采样数据以及样本采样数据对应的样本重建结果可以根据成像需求获取。示例性的，若动态成像模型用于磁共振动态图像的重建，则可以获取磁共振采样数据作为样本采样数据，磁共振采样数据对应的重建图像作为样本采样数据对应的样本重建结果。优选的，可以将欠采样的磁共振动态采样数据作为样本采样数据，将全采的磁共振图像作为样本采样数据对应的样本重建结果生成样本训练数据对动态成像模型进行训练，使得训练好的动态成像模型能够基于欠采样磁共振数据得到效果好的磁共振图像。其中，使用训练样本数据对动态成像模型进行训练的方式可参考现有的神经网络的训练方式，在此不再赘述。
实施例二
图2是本发明实施例二所提供的一种动态医学成像方法的流程图。本实施例在上述方案的基础上，将基于低秩模块构建的级联模块具体化为顺次连接的低秩模块、卷积神经网络和数据一致性模块。如图2所示，所述方法包括：
S210、获取动态采样数据。
S220、根据动态成像模型中级联模块的连接顺序，依次将每个级联模块作为当前级联模块。
S230、将位于当前级联模块之前的前一级联模块的输出结果输入至当前级联模块中的低秩模块中，获得低秩模块输出的第一低秩特征。
在本实施例中，低秩模块可以嵌入在卷积神经网络之前。针对当前级联模块，将位于当前级联模块的前一级联模块的输出结果作为当前级联模块中低秩模块的输入，对前一级联模块的输出结果进行低秩处理，提取其中的低秩特征，得到第一低秩特征。其中，低秩模块对前一级联模块的输出结果进行低秩处理的方式可参见上述实施例，在此不再赘述。
S240、将第一低秩特征输入至卷积神经网络中，获得卷积神经网络输出的第一卷积特征。
得到第一低秩特征后，将第一低秩特征输入至卷积神经网络中，获得卷积神经网络输出的第一卷积特征。其中，卷积神经网络可以为标准的卷积神经网络(ConvolutionalNeural Networks,CNN)，也可以为基于卷积神经网络改进的神经网络-卷积循环神经网络(Convolutional Recurrent Neural Network，CRNN)。
S250、将第一卷积特征输入至数据一致性模块中，将数据一致性模块的输出结果作为当前级联模块的输出结果。
将卷积神经网络输出的第一卷积特征输入至数据一致性模块中，进行数据一致性操作，得到数据一致性操作的输出结果作为当前级联模块的输出结果。
其中，通过卷积神经网络提取第一卷积特征的操作，以及通过数据一致性模块进行数据一致性的操作可参见现有深度学习中相关操作，在此不再赘述。
S260、将当前级联模块的输出结果输入至当前级联模块的下一级联模块中，直到获得最后一个级联模块的输出结果，并将最后一个级联模块的输出结果作为动态成像模型的输出结果。
S270、根据输出结果确定动态采样数据对应的目标重建图像并输出。
本发明实施例将基于低秩模块构建的级联模块具体化为顺次连接的低秩模块、卷积神经网络和数据一致性模块，通过低秩模块提取出输入数据中的低秩特征，使得提取卷积特征以及进行数据一致性操作时充分利用了动态数据中的低秩特征，实现了基于动态数据中的低秩特征进行图像重建，提升了图像重建性能，改善了动态医学图像的重建结果。
实施例三
图3是本发明实施例三所提供的一种动态医学成像方法的流程图。本实施例在上述方案的基础上，将基于低秩模块构建的级联模块具体化为顺次连接的卷积神经网络、低秩模块和数据一致性模块。如图3所示，所述方法包括
S310、获取动态采样数据。
S320、根据动态成像模型中级联模块的连接顺序，依次将每个级联模块作为当前级联模块。
S330、将位于当前级联模块之前的前一级联模块的输出结果输入至当前级联模块中的卷积神经网络中，获得卷积神经网络输出的第二卷积特征。
在本实施例中，低秩模块可以嵌入在卷积神经网络与数据一致性模块之间。针对当前级联模块，将位于当前级联模块的前一级联模块的输出结果作为当前级联模块中卷积神经网络的输入，提取前一级联模块的输出结果中的卷积特征，得到第二卷积特征。其中，卷积神经网络可以为标准的卷积神经网络(Convolutional Neural Networks,CNN)，也可以为基于卷积神经网络改进的神经网络-卷积循环神经网络(Convolutional RecurrentNeural Network，CRNN)。具体实现方法可参见现有技术中CNN及CRNN的实现方法，在此不再赘述。
S340、将第二卷积特征输入至低秩模块中，获得低秩模块输出的第二低秩特征。
得到第二卷积特征后，将第二卷积特征输入至低秩模块中，进行低秩处理，提取其中的低秩特征，得到第二低秩特征。其中，低秩模块对第二卷积特征进行低秩处理的方式可参见上述实施例，在此不再赘述。
S350、将第二低秩特征输入至数据一致性模块中，将数据一致性模块的输出结果作为当前级联模块的输出结果。
将低秩模块输出的第二低秩特征输入至数据一致性模块中，进行数据一致性操作，得到数据一致性操作的输出结果作为当前级联模块的输出结果。其中，通过数据一致性模块进行数据一致性的操作可参见现有深度学习中相关操作，在此不再赘述。
S360、将当前级联模块的输出结果输入至当前级联模块的下一级联模块中，直到获得最后一个级联模块的输出结果，并将最后一个级联模块的输出结果作为动态成像模型的输出结果。
S370、根据输出结果确定动态采样数据对应的目标重建图像并输出。
本发明实施例将基于低秩模块构建的级联模块具体化为顺次连接的卷积神经网络、低秩模块和数据一致性模块，通过低秩模块提取出第二卷积特征中的低秩特征，使得进行数据一致性操作时充分利用了动态数据中的低秩特征，实现了基于动态数据中的低秩特征进行图像重建，提升了图像重建性能，改善了动态医学图像的重建结果。
实施例四
图4是本发明实施例四所提供的一种动态医学成像方法的流程图。本实施例在上述方案的基础上，将基于低秩模块构建的级联模块具体化为顺次连接的卷积神经网络、数据一致性模块和低秩模块。如图4所示，方法包括
S410、获取动态采样数据。
S420、根据动态成像模型中级联模块的连接顺序，依次将每个级联模块作为当前级联模块。
S430、将位于当前级联模块之前的前一级联模块的输出结果输入至当前级联模块中的卷积神经网络中，获得卷积神经网络输出的第三卷积特征。
在本实施例中，低秩模块可以嵌入在数据一致性模块之后。针对当前级联模块，将位于当前级联模块的前一级联模块的输出结果作为当前级联模块中卷积神经网络的输入，提取前一级联模块的输出结果中的卷积特征，得到第三卷积特征。其中，卷积神经网络可以为标准的卷积神经网络(Convolutional Neural Networks,CNN)，也可以为基于卷积神经网络改进的神经网络-卷积循环神经网络(Convolutional Recurrent Neural Network，CRNN)。具体实现方法可参见现有技术中CNN及CRNN的实现方法，在此不再赘述。
S440、将第三卷积特征输入至数据一致性模块中，获得数据一致性模块输出的数据一致性信息。
得到第三卷积特征后，将第三卷积特征输入至数据一致性模块中，进行数据一致性操作，得到输出的数据一致性信息。其中，通过数据一致性模块进行数据一致性的操作可参见现有深度学习中相关操作，在此不再赘述。
S450、将数据一致性信息输入至低秩模块中，将低秩模块的输出结果作为当前级联模块的输出结果。
将数据一致性信息输入至低秩模块中，进行低秩处理，提取其中的低秩特征，得到低秩模块的输出结果作为当前级联模块的输出结果。其中，低秩模块对数据一致性信息进行低秩处理的方式可参见上述实施例，在此不再赘述。
S460、将当前级联模块的输出结果输入至当前级联模块的下一级联模块中，直到获得最后一个级联模块的输出结果，并将最后一个级联模块的输出结果作为动态成像模型的输出结果。
S470、根据输出结果确定动态采样数据对应的目标重建图像并输出。
本发明实施例将基于低秩模块构建的级联模块具体化为顺次连接的顺次连接的卷积神经网络、数据一致性模块和低秩模块，通过低秩模块提取出数据一致性信息中的低秩特征，实现了基于动态数据中的低秩特征进行图像重建，提升了图像重建性能，改善了动态医学图像的重建结果。
实施例五
本实施例在上述实施例的基础上，提供了一种优选实施例。本实施例中提供的动态医学成像方法核心基于低秩模块实现。
基于深度学习的神经网络方法，如级联卷积神经网络(Deep Cascade ofConvolutional Neural Networks，DC-CNN)、卷积循环神经网络(ConvolutionalRecurrent Neural Networks，CRNN)、交叉域多监督神经网络(DIMENSION)在进行图像重建时能够避免迭代求解步骤，加速图像重建时间。但是，上述深度学习方法仅仅依赖于大数据的稀疏先验，而未利用动态信号的低秩特性，限制了重建性能的提升。本实施例中，通过即插即用的神经网络低秩模块实现动态医学图像的重建，例如，上述低秩模块可以用于磁共振动态成像。
在本实施例中，低秩模块可以基于现有的低秩算法实现。示例性的，常用的低秩操作为SVD分解结合阈值操作，即SVT，详见上述实施例，在此不再赘述。可选的，低秩模块可以嵌入到目前主流的深度学习方法中的神经网络中。以磁共振动态成像为例，可以将低秩模块嵌入至磁共振成像神经网络中，将磁共振动态图像的欠采重建任务被转换为神经网络特征学习任务，将欠采的磁共振动态图像输入到神经网络中，将全采的图像作为金标准，对嵌入低秩模块的磁共振成像神经网络进行训练，使得神经网络学习从欠采图像到全采图像的映射关系。在神经网络训练完成后，可以直接将待重建的欠采磁共振动态数据输入到神经网络中，得到成像效果好的重建图像。
图5是本发明实施例五所提供的一种用于磁共振动态成像的神经网络模型的结构示意图。图5中以DC-CNN、CRNN为例，对低秩模块的嵌入进行说明。图5(a)为现有技术中DC-CNN神经网络的n个级联模块的结构示意图，图5(b)为现有技术中CRNN神经网络的某一级联模块的结构示意图。图中，xn-1表示第n-1个级联模块的重建结果，xn表示第n个级联模块的重建结果，CNNn表示DC-CNN神经网络中第n个级联模块中的卷积神经网络，zn表示第n个级联模块的卷积特征，DC表示数据一致性操作，将原始采集的信号回代至重建信号中。CRNN表示CRNN神经网络的第n个级联模块中的卷积循环神经网络。图5(c)中示出了将低秩模块T(n)嵌入至DC-CNN神经网络中卷积神经网络和数据一致性模块之间(即②位置)的结构示意图。如图5(c)所示，低秩模块还可以嵌入至DC-CNN神经网络中的卷积神经网络之前，即图5(c)中的①位置，和/或数据一致性操作之后，图5(c)中的③位置。图5(d)中示出了将低秩模块T(n)嵌入至CRNN神经网络中卷积循环神经网络和数据一致性模块之间(即②位置)的结构示意图。如图5(d)所示，低秩模块还可以嵌入至CRNN神经网络中的卷积循环神经网络之前，即图5(d)中的①位置，和/或数据一致性操作之后，图5(d)中的③位置。可以理解的是，低秩模块可以嵌入至神经网络中的任意个级联模块中，且可以嵌入至级联模块中的任意至少一个位置。
本发明实施例相对于现有的传统迭代优化方法，通过神经网络学习数据特征，避免了复杂的调参过程，且重建时间大大加快；相对于现有的深度学习方法，不仅能够利用大数据的稀疏先验，还能够充分利用动态信号的低秩先验，进一步提升了重建性能；且即插即用的低秩模块，具有强大的便捷性和灵活性，在不改变神经网络的拓扑结构的情况下，能够嵌入到任意动态应用的神经网络中。
实施例六
图6是本发明实施例六所提供的一种动态医学成像装置的结构示意图。该动态医学成像装置可以采用软件和/或硬件的方式实现，例如该动态医学成像装置可以配置于计算机设备中。如图6所示，装置包括采样数据获取模块610、输出结果获取模块620和重建图像输出模块630，其中：
采样数据获取模块610，用于获取动态采样数据；
输出结果获取模块620，用于将动态采样数据输入至训练好的动态成像模型中，获得动态成像模型的输出结果，其中，动态成像模型包括低秩模块；
重建图像输出模块630，用于根据输出结果确定动态采样数据对应的目标重建图像并输出。
本发明实施例通过采样数据获取模块获取动态采样数据；输出结果获取模块将动态采样数据输入至训练好的动态成像模型中，获得动态成像模型的输出结果，其中，动态成像模型包括低秩模块；重建图像输出模块根据输出结果确定动态采样数据对应的目标重建图像并输出，通过动态成像模型中的低秩模块获取动态数据中的低秩特征，利用动态数据中的低秩特征进行图像重建，使得图像重建时充分利用了动态数据中的低秩特征，提升了图像重建性能，改善了动态医学图像的重建结果。
可选的，在上述方案的基础上，动态成像模型包括链式连接的至少一个基于低秩模块构建的级联模块，输出结果获取模块620具体用于：
根据级联模块的连接顺序，依次将每个级联模块作为当前级联模块，将位于当前级联模块之前的前一级联模块的输出结果输入至当前级联模块中，获得当前级联模块的输出结果，并将最后一个级联模块的输出结果作为动态成像模型的输出结果。
可选的，在上述方案的基础上，基于低秩模块构建的级联模块包括顺次连接的低秩模块、卷积神经网络和数据一致性模块，输出结果获取模块620具体用于：
将位于当前级联模块之前的前一级联模块的输出结果输入至当前级联模块中的低秩模块中，获得低秩模块输出的第一低秩特征；
将第一低秩特征输入至卷积神经网络中，获得卷积神经网络输出的第一卷积特征；
将第一卷积特征输入至数据一致性模块中，将数据一致性模块的输出结果作为当前级联模块的输出结果。
可选的，在上述方案的基础上，基于低秩模块构建的级联模块包括顺次连接的卷积神经网络、低秩模块和数据一致性模块，输出结果获取模块620具体用于：
将位于当前级联模块之前的前一级联模块的输出结果输入至当前级联模块中的卷积神经网络中，获得卷积神经网络输出的第二卷积特征；
将第二卷积特征输入至低秩模块中，获得低秩模块输出的第二低秩特征；
将第二低秩特征输入至数据一致性模块中，将数据一致性模块的输出结果作为当前级联模块的输出结果。
可选的，在上述方案的基础上，基于低秩模块构建的级联模块包括顺次连接的卷积神经网络、数据一致性模块和低秩模块，输出结果获取模块620具体用于：
将位于当前级联模块之前的前一级联模块的输出结果输入至当前级联模块中的卷积神经网络中，获得卷积神经网络输出的第三卷积特征；
将第三卷积特征输入至数据一致性模块中，获得数据一致性模块输出的数据一致性信息；
将数据一致性信息输入至低秩模块中，将低秩模块的输出结果作为当前级联模块的输出结果。
可选的，在上述方案的基础上，低秩模块基于奇异值阈值算法构建。
可选的，在上述方案的基础上，还包括重建模型训练模块，用于：
获取样本采样数据以及样本采样数据对应的样本重建结果；
基于样本采样数据以及样本采样数据对应的样本重建结果生成训练样本数据；
使用训练样本数据对预先基于低秩模块构建的动态成像模型进行训练，得到训练好的动态成像模型。
本发明实施例所提供的动态医学成像装置可执行本发明任意实施例所提供的动态医学成像方法，具备执行方法相应的功能模块和有益效果。
实施例七
图7是本发明实施例七所提供的一种计算机设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性计算机设备712的框图。图7显示的计算机设备712仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算机设备712以通用计算设备的形式表现。计算机设备712的组件可以包括但不限于：一个或者多个处理器716，系统存储器728，连接不同系统组件(包括系统存储器728和处理器716)的总线718。
总线718表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器716或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备712典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备712访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器728可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)730和/或高速缓存存储器732。计算机设备712可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储装置734可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线718相连。存储器728可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块742的程序/实用工具740，可以存储在例如存储器728中，这样的程序模块742包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块742通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备712也可以与一个或多个外部设备714(例如键盘、指向设备、显示器724等)通信，还可与一个或者多个使得用户能与该计算机设备712交互的设备通信，和/或与使得该计算机设备712能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口722进行。并且，计算机设备712还可以通过网络适配器720与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器720通过总线718与计算机设备712的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备712使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器716通过运行存储在系统存储器728中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的动态医学成像方法，该方法包括：
获取动态采样数据；
将动态采样数据输入至训练好的动态成像模型中，获得动态成像模型的输出结果，其中，动态成像模型包括低秩模块；
根据输出结果确定动态采样数据对应的目标重建图像并输出。
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的动态医学成像方法的技术方案。
实施例八
本发明实施例八还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所提供的动态医学成像方法，该方法包括：
获取动态采样数据；
将动态采样数据输入至训练好的动态成像模型中，获得动态成像模型的输出结果，其中，动态成像模型包括低秩模块；
根据输出结果确定动态采样数据对应的目标重建图像并输出。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的动态医学成像方法的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种动态医学成像方法，其特征在于，包括：
获取动态采样数据；
将所述动态采样数据输入至训练好的动态成像模型中，获得所述动态成像模型的输出结果，其中，所述动态成像模型包括低秩模块；
根据所述输出结果确定所述动态采样数据对应的目标重建图像并输出；
其中，所述动态成像模型包括链式连接的至少一个基于低秩模块构建的级联模块，所述将所述动态采样数据输入至训练好的动态成像模型中，获得所述动态成像模型的输出结果，包括：
根据所述级联模块的连接顺序，依次将每个所述级联模块作为当前级联模块，将位于所述当前级联模块之前的前一级联模块的输出结果输入至所述当前级联模块中，获得当前级联模块的输出结果，并将最后一个级联模块的输出结果作为所述动态成像模型的输出结果。
2.根据权利要求1所述的方法，其特征在于，所述基于低秩模块构建的级联模块包括顺次连接的所述低秩模块、卷积神经网络和数据一致性模块，所述将位于所述当前级联模块之前的前一级联模块的输出结果输入至所述当前级联模块中，获得当前级联模块的输出结果，包括：
将位于所述当前级联模块之前的前一级联模块的输出结果输入至所述当前级联模块中的所述低秩模块中，获得所述低秩模块输出的第一低秩特征；
将所述第一低秩特征输入至所述卷积神经网络中，获得所述卷积神经网络输出的第一卷积特征；
将所述第一卷积特征输入至所述数据一致性模块中，将所述数据一致性模块的输出结果作为所述当前级联模块的输出结果。
3.根据权利要求1所述的方法，其特征在于，所述基于低秩模块构建的级联模块包括顺次连接的卷积神经网络、所述低秩模块和数据一致性模块，所述将位于所述当前级联模块之前的前一级联模块的输出结果输入至所述当前级联模块中，获得当前级联模块的输出结果，包括：
将位于所述当前级联模块之前的前一级联模块的输出结果输入至所述当前级联模块中的卷积神经网络中，获得所述卷积神经网络输出的第二卷积特征；
将所述第二卷积特征输入至所述低秩模块中，获得所述低秩模块输出的第二低秩特征；
将所述第二低秩特征输入至所述数据一致性模块中，将所述数据一致性模块的输出结果作为所述当前级联模块的输出结果。
4.根据权利要求1所述的方法，其特征在于，所述基于低秩模块构建的级联模块包括顺次连接的卷积神经网络、数据一致性模块和所述低秩模块，所述将位于所述当前级联模块之前的前一级联模块的输出结果输入至所述当前级联模块中，获得当前级联模块的输出结果，包括：
将位于所述当前级联模块之前的前一级联模块的输出结果输入至所述当前级联模块中的卷积神经网络中，获得所述卷积神经网络输出的第三卷积特征；
将所述第三卷积特征输入至所述数据一致性模块中，获得所述数据一致性模块输出的数据一致性信息；
将所述数据一致性信息输入至所述低秩模块中，将所述低秩模块的输出结果作为所述当前级联模块的输出结果。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述低秩模块基于奇异值阈值算法构建。
6.根据权利要求1所述的方法，其特征在于，还包括：
获取样本采样数据以及所述样本采样数据对应的样本重建结果；
基于样本采样数据以及所述样本采样数据对应的样本重建结果生成训练样本数据；
使用所述训练样本数据对预先基于低秩模块构建的动态成像模型进行训练，得到训练好的动态成像模型。
7.一种动态医学成像装置，其特征在于，包括：
采样数据获取模块，用于获取动态采样数据；
输出结果获取模块，用于将所述动态采样数据输入至训练好的动态成像模型中，获得所述动态成像模型的输出结果，其中，所述动态成像模型包括低秩模块；
重建图像输出模块，用于根据所述输出结果确定所述动态采样数据对应的目标重建图像并输出；
其中，所述动态成像模型包括链式连接的至少一个基于低秩模块构建的级联模块，所述输出结果获取模块具体用于：
根据所述级联模块的连接顺序，依次将每个所述级联模块作为当前级联模块，将位于所述当前级联模块之前的前一级联模块的输出结果输入至所述当前级联模块中，获得当前级联模块的输出结果，并将最后一个级联模块的输出结果作为所述动态成像模型的输出结果。
8.一种计算机设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的动态医学成像方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的动态医学成像方法。
CN202010777250.1A 2020-08-04 2020-08-04 一种动态医学成像方法、装置、设备及存储介质 Active CN111932649B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010777250.1A CN111932649B (zh) 2020-08-04 2020-08-04 一种动态医学成像方法、装置、设备及存储介质
PCT/CN2020/117306 WO2022027804A1 (zh) 2020-08-04 2020-09-24 动态医学成像方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010777250.1A CN111932649B (zh) 2020-08-04 2020-08-04 一种动态医学成像方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111932649A CN111932649A (zh) 2020-11-13
CN111932649B true CN111932649B (zh) 2024-05-24

Family

ID=73307442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010777250.1A Active CN111932649B (zh) 2020-08-04 2020-08-04 一种动态医学成像方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN111932649B (zh)
WO (1) WO2022027804A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447102A (zh) * 2018-02-11 2018-08-24 南京邮电大学 一种低秩与稀疏矩阵分解的动态磁共振成像方法
CN109872376A (zh) * 2019-02-20 2019-06-11 四川大学华西医院 一种重建动态磁共振图像的方法、装置及可读存储介质
CN111047660A (zh) * 2019-11-20 2020-04-21 深圳先进技术研究院 图像重建方法、装置、设备及存储介质
CN111383741A (zh) * 2018-12-27 2020-07-07 深圳先进技术研究院 医学成像模型的建立方法、装置、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110161442B (zh) * 2018-02-12 2020-04-21 深圳先进技术研究院 磁共振参数成像方法、装置、医学设备及存储介质
CN109658471B (zh) * 2018-12-20 2023-07-25 上海联影医疗科技股份有限公司 一种医学图像重建方法和系统
EP3680681A1 (de) * 2019-01-10 2020-07-15 Siemens Healthcare GmbH Auswahl eines abtastschemas für eine magnetresonanzfingerprinting-aufnahme und eines entsprechenden wörterbuchs basierend auf einer vorabaufnahme

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447102A (zh) * 2018-02-11 2018-08-24 南京邮电大学 一种低秩与稀疏矩阵分解的动态磁共振成像方法
CN111383741A (zh) * 2018-12-27 2020-07-07 深圳先进技术研究院 医学成像模型的建立方法、装置、设备及存储介质
CN109872376A (zh) * 2019-02-20 2019-06-11 四川大学华西医院 一种重建动态磁共振图像的方法、装置及可读存储介质
CN111047660A (zh) * 2019-11-20 2020-04-21 深圳先进技术研究院 图像重建方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2022027804A1 (zh) 2022-02-10
CN111932649A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN109961491B (zh) 多模态图像截断补偿方法、装置、计算机设备和介质
WO2022199462A1 (zh) 医学图像报告生成模型的训练方法及图像报告生成方法
CN111292314B (zh) 冠脉分段方法、装置、图像处理系统和存储介质
US11182895B2 (en) Apparatus and associated method for imaging
US11816833B2 (en) Method for reconstructing series of slice images and apparatus using same
US11250543B2 (en) Medical imaging using neural networks
WO2021077557A1 (zh) 一种磁共振图像重建方法、装置、设备和介质
US20230127939A1 (en) Multi-task learning based regions-of-interest enhancement in pet image reconstruction
CN111325714B (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
Rueckert et al. Learning clinically useful information from images: Past, present and future
CN111047660B (zh) 图像重建方法、装置、设备及存储介质
Jafari et al. Cardiac point-of-care to cart-based ultrasound translation using constrained CycleGAN
CN110415311B (zh) Pet图像重建方法、系统、可读存储介质和设备
CN110490947B (zh) 核磁共振图像重建方法、装置、存储介质及终端设备
CN112365980A (zh) 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
CN111369562A (zh) 图像处理方法、装置、电子设备及存储介质
CN112767505B (zh) 图像处理方法、训练方法、装置、电子终端及存储介质
CN110717958A (zh) 一种图像重建方法、装置、设备及介质
CN109741254A (zh) 字典训练及图像超分辨重建方法、系统、设备及存储介质
CN110555897B (zh) 一种图像生成的方法、装置、设备及存储介质
CN111932649B (zh) 一种动态医学成像方法、装置、设备及存储介质
Ojika et al. Addressing the memory bottleneck in AI model training
CN111062944B (zh) 网络模型训练方法及装置、图像分割方法及装置
CN110728732A (zh) 一种图像重建方法、装置、设备及介质
EP3886108A1 (en) Machine learning method of neural network predicting mechanism of action of drug, and method of predicting mechanism of action of drug by using the neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant