CN111383741B - 医学成像模型的建立方法、装置、设备及存储介质 - Google Patents

医学成像模型的建立方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111383741B
CN111383741B CN201811611862.2A CN201811611862A CN111383741B CN 111383741 B CN111383741 B CN 111383741B CN 201811611862 A CN201811611862 A CN 201811611862A CN 111383741 B CN111383741 B CN 111383741B
Authority
CN
China
Prior art keywords
frequency domain
module
image
output result
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811611862.2A
Other languages
English (en)
Other versions
CN111383741A (zh
Inventor
王珊珊
梁栋
柯子文
刘新
郑海荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201811611862.2A priority Critical patent/CN111383741B/zh
Priority to PCT/CN2019/124238 priority patent/WO2020135014A1/zh
Publication of CN111383741A publication Critical patent/CN111383741A/zh
Application granted granted Critical
Publication of CN111383741B publication Critical patent/CN111383741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明实施例公开了一种医学成像模型的建立方法、装置、设备及存储介质。该方法包括：获取医学图像的K空间欠采样数据作为训练样本；将所述训练样本输入至预先构建的所述原始神经网络进行训练，其中，所述原始神经网络包括频率域网络FDN以及图像域网络SDN，所述频率域网络FDN与所述图像域网络SDN之间通过傅里叶逆变换IFFT连接；将训练完成的所述原始神经网络作为目标医学成像模型。本发明实施例的技术方案实现更准确、更快速地对K空间欠采样医学图像进行重建。

Description

医学成像模型的建立方法、装置、设备及存储介质
技术领域
本发明实施例涉及磁共振成像技术领域，尤其涉及一种医学成像模型的建立方法、装置、设备及存储介质。
背景技术
磁共振心脏电影成像是一种非侵入式的成像技术，能够为临床诊断提供丰富的空间和时间信息。由于磁共振物理及硬件的制约磁共振心脏电影成像往往伴随着扫描时间长及成像速度慢等缺点。因此，如何在保证成像质量的前提下，加速磁共振心脏电影成像尤为重要。
现有技术中常用的加速磁共振心脏电影成像的方法，包括并行成像、压缩感知技术、深度学习的方法等。例如，动态广义自动校准部分并行采集(TGRAPPA)、利用时间滤波器的自适应敏感度编码(TSENSE)、利用时间频率稀疏性的焦欠定系统(k-t FOCUSS)、利用动态冗余的卡尔基方法(k-t SLR)、低秩稀疏矩阵(L+S)等。此类方法利用了数据的空间信息，来填充欠采样的K空间数据。在磁共振心脏电影成像领域，基于级联卷积网络的磁共振动态成像(D5C5)及卷积递归神经网络(CRNN)也可以用于磁共振心脏电影成像领域，这两种方法利用神经网络，可以直接学习从欠采样图像到全采样图像的映射关系。传统的并行成像或者压缩感知技术，没有利用大数据先验，并且这种迭代优化方法往往是耗时的且参数较难选择。而基于深度学习的神经网络方法(D5C5、CRNN)也存在明显的不足，均在图像域构建整个网络，没有充分地利用频率域信息。现有技术中的方法无法更准确地对磁共振心脏电影图像进行重建。
发明内容
本发明实施例提供了一种医学成像模型的建立方法、装置、设备及存储介质，以实现更准确、更快速地对K空间欠采样医学图像进行重建。
第一方面，本发明实施例提供了一种医学成像模型的建立方法，该方法包括：
获取医学图像的K空间欠采样数据作为训练样本；
将所述训练样本输入至预先构建的所述原始神经网络进行训练，其中，所述原始神经网络包括频率域网络FDN以及图像域网络SDN，所述频率域网络FDN与所述图像域网络SDN之间通过傅里叶逆变换IFFT连接；
将训练完成的所述原始神经网络作为目标医学成像模型。
第二方面，本发明实施例还提供了一种医学成像模型的建立装置，该装置包括：
训练样本获取模块，用于获取医学图像的K空间欠采样数据作为训练样本；
训练模块，用于将所述训练样本输入至预先构建的所述原始神经网络进行训练，其中，所述原始神经网络包括频率域网络FDN以及图像域网络SDN，所述频率域网络FDN与所述图像域网络SDN之间通过傅里叶逆变换IFFT连接；
目标医学成像模型确定模块，用于将训练完成的所述原始神经网络作为目标医学成像模型。
第三方面，本发明实施例还提供了一种设备，该设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例中任一所述的医学成像模型的建立方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例中任一所述的医学成像模型的建立方法。
本发明实施例的技术方案获取医学图像的K空间欠采样数据作为训练样本，能够直接学习从欠采样图像到全采样图像的映射关系。进而，将所述训练样本输入至预先构建的所述原始神经网络进行训练，其中，所述原始神经网络包括频率域网络FDN以及图像域网络SDN，所述频率域网络FDN与所述图像域网络SDN之间通过傅里叶逆变换IFFT连接，能够充分利用图像的频率域信息与图像域信息，更准确地建立医学成像模型。进而，将训练完成的所述原始神经网络作为目标医学成像模型，实现快速、准确地对欠采样的医学图像进行重建。上述技术方案解决了传统的并行成像或者压缩感知技术，没有利用大数据先验，耗时且调参繁琐、基于深度学习的神经网络方法无法充分地利用频率域信息，无法更准确地对欠采样的图像进行重建的问题，实现能够同时学习频率域与图像域特征，充分结合频率域与图像域信息，快速、准确地对欠采样的医学图像进行重建，能够避免耗时的迭代求解步骤以及繁琐的调参过程。
附图说明
图1a是本发明实施例一中提供的一种医学成像模型的建立方法的流程图；
图1b是本发明实施例一中提供的一种原始神经网络的结构示意图；
图2a是本发明实施例二中提供的一种医学成像模型的建立方法的流程图；
图2b是本发明实施例二中提供的不同磁共振心脏电影重建方法的结果比较；
图3是本发明实施例三中提供的一种医学成像模型的建立装置的流程图；
图4是本发明实施例四中的提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a为本发明实施例一提供的医学成像模型的建立方法的流程图，本实施例可适用于建立医学成像模型的情况，尤其适用于建立K空间欠采样数据的成像模型。该方法可以由医学成像模型的建立装置来执行，该装置可以由硬件和/或软件来实现，该装置可集成于设备(例如计算机)中来执行，具体包括如下步骤：
步骤101、获取医学图像的K空间欠采样数据作为训练样本。
示例性地，医学图像可以是磁共振心脏电影图像。K空间是寻常空间在傅利叶转换下的对偶空间，主要应用在磁振造影的成像分析，其他如磁振造影中的射频波形设计，以及量子计算中的初始态准备亦用到k空间的概念。
K空间欠采样数据是指欠采样的K空间数据。
该步骤获取K空间欠采样数据用于模型的训练。
另外，也要获取医学图像的K空间欠采样数据对应的全采样医学图像，用于后面计算模型的损失。
步骤102、将所述训练样本输入至预先构建的所述原始神经网络进行训练。其中，所述原始神经网络包括频率域网络FDN以及图像域网络SDN，所述频率域网络FDN与所述图像域网络SDN之间通过傅里叶逆变换IFFT连接。
可选地，所述频率域网络包括第一预设数量的频率域模块Fnet，其中，每个频率域模块Fnet包含第二预设数量的三维卷积层3D Conv以及一个频率域数据一致层KDC。
其中，频率域模块Fnet也可以只包括第二预设数量的三维卷积层3D Conv，不包括频率域数据一致层KDC。
可选地，将所述训练样本作为第一个频率域模块的第一个三维卷积层的输入；
将所述频率域模块的前一个三维卷积层的输出结果作为所述频率域模块的下一个三维卷积层的输入；
将所述频率域模块的最后一个三维卷积层的输出结果作为所述频率域模块频率域数据一致层KDC的输入，将所述频率域数据一致层KDC的输出结果作为所述频率域模块的输出结果；
将前一频率域模块的输出结果作为下一个频率域模块的输入，将最后一个频率域模块的输出结果作为所述频率域网络的输出结果。
其中，频率域网络FDN的输出结果经过傅里叶逆变换IFFT的结果作为图像域网络SDN的输入。
假设频率域网络由M个频率域模块Fnetm(Fnetm,m＝1,...,M)构成，每个频率域模块包含L个3维卷积层(3D Conv)及一个频率域数据一致层(KDC)。频率域网络的前向过程可由如下公式表示：
第一个频率域模块(m＝1)：
Figure BDA0001924949880000061
后续的频率域模块(m＝2,...,M)
Figure BDA0001924949880000062
其中，σ表示非线性激活函数，可以是神经网络模型中常用的非线性激活函数。ku表示输入的医学图像的K空间欠采样数据，
Figure BDA0001924949880000063
分别是第m个频率域模块中第l个卷积层的卷积核和偏置项，l＝1,...,L,m＝1,...,M。
Figure BDA0001924949880000064
表示第m个频率域模块中第l个卷积层的输出。每个频率域模块除了最后一个卷积层，其余每个频率域模块的所有卷积层均由非线性激活函数σ进行激活。经过卷积层进行提取特征后，即得到
Figure BDA0001924949880000065
后，利用频率域数据一致层KDC来纠正网络预测的k空间，如公式(9)所示。
其中，KDC用于执行频率域数据一致操作，公式如下：
Figure BDA0001924949880000071
Figure BDA0001924949880000072
表示对
Figure BDA0001924949880000073
进行纠正的结果。令所有已采集的医学图像的K空间欠采样数据坐标构成的集合为Ω。如果k空间坐标(kx,ky)在集合Ω内，则
Figure BDA0001924949880000074
将通过真实采集的k空间点进行纠正。λ用于控制数据一致的程度，如果λ→∞，可以直接将实际采样点去替代
Figure BDA0001924949880000075
对应的点。
频率域网络FDN最终的输出是
Figure BDA0001924949880000076
对
Figure BDA0001924949880000077
再进行傅里叶逆变换便可以得到图像域的数据S0，它也是图像域网络的输入，如以下公式(10)。
Figure BDA0001924949880000078
如果频率域模块不包括KDC,频率域网络FDN最终的输出为
Figure BDA0001924949880000079
可选地，所述图像域网络SDN包括第三预设数量的图像域模块Snet，其中，每个图像域模块包含第四预设数量的三维卷积层3D Conv、一个图像域数据一致层IDC以及一个残差连接。
每个图像域模块可以包含第四预设数量的三维卷积层3D Conv以及一个残差连接,可以不包含图像域数据一致层IDC。
可选地，将所述频率域网络的输出结果经过傅里叶逆变换IFFT后的结果作为第一个图像域模块的第一个三维卷积层的输入；
将所述图像域模块的前一个三维卷积层的输出结果作为所述图像域模块的下一个三维卷积层的输入；
将所述图像域模块的最后一个三维卷积层的输出结果与所述图像域模块的第一个三维卷积层的输入进行求和运算后，输入所述图像域模块图像域数据一致层IDC，将所述图像域数据一致层IDC的输出结果作为所述图像域模块的输出结果；
将前一图像域模块的输出结果作为下一个图像域模块的输入，将最后一个图像域模块的输出结果作为所述图像域网络的输出结果。
图像域网络的前向过程可由如下公式表示，假设图像域网络包含N个图像域模块Snetn(Snetn,n＝1,...,N)：
第一个图像域模块(n＝1)：
Figure BDA0001924949880000081
后续的图像域模块(n＝2,...,N)
Figure BDA0001924949880000082
其中，IDC用于执行图像域数据一致操作，公式如下：
Figure BDA0001924949880000083
Figure BDA0001924949880000084
Figure BDA0001924949880000091
分别是第n个图像域模块中第l个卷积层的卷积核和偏置项，l＝1,...,L,n＝1,...,N。
Figure BDA0001924949880000092
是第n个图像域中第l个卷积层的输出。除了最后一个(第L个)卷积层，其余所有卷积层均由非线性激活函数σ进行激活。经过卷积层进行提取特征后，引入残差学习(通过残差连接实现)，公式(19)中的Sn是残差学习(即残差连接)的结果。然后对Sn进行图像域数据一致操作(IDC)。IDC比KDC多了频率域与图像域之间转换，即公式(21)，然后通过公式(22)-(23)进行图像域数据一致操作。λ用于控制数据一致的程度。
Figure BDA0001924949880000093
是对Sn进行IDC后的结果。如果图像域模块不包括IDC,则将所述图像域模块的最后一个三维卷积层的输出结果与所述图像域模块的第一个三维卷积层的输入进行求和运算后的输出结果作为所述图像域模块的输出结果。
经过频率域网络(FDN)及图像域网络(SDN)之后，可以得到对医学图像的K空间欠采样数据进行重建的结果
Figure BDA0001924949880000094
其中，频率域网络用于预测全采样的k空间，图像域网络用于提取图像特征，两个网络通过傅里叶逆变换进行连接。同时，频率域网络和图像域网络可以使用了数据一致层，用于纠正k空间数据。
步骤103、将训练完成的所述原始神经网络作为目标医学成像模型。
其中，训练样本经过训练后得到的原始神经网络作为目标医学成像模型，可以用于对医学图像的K空间欠采样数据进行重建。
示例性地，本发明实施例的原始神经网络如图1b所示。将本实施例的方法用于磁共振心脏电影成像。网络的输入是K空间欠采样数据，输出是重建的磁共振心脏电影图像。原始神经网络由频率域网络(FDN)及图像域网络(SDN)组成，两者通过傅里叶逆变换(IFFT)连接。其中频率域网络由M个频率域模块(Fnet)构成，每个频率域模块包含第二预设数量的3维卷积层(3D Conv)及一个频率域数据一致层(KDC)。图像域网络由N个图像域模块(Snet)构成，每个图像域模块包含第四预设数量的3维卷积层(3D Conv)、一个图像域数据一致层(IDC)及一个残差连接。
本发明实施例的技术方案获取医学图像的K空间欠采样数据作为训练样本，能够直接学习从欠采样图像到全采样图像的映射关系。进而，将所述训练样本输入至预先构建的所述原始神经网络进行训练，其中，所述原始神经网络包括频率域网络FDN以及图像域网络SDN，所述频率域网络FDN与所述图像域网络SDN之间通过傅里叶逆变换IFFT连接，能够充分利用图像的频率域信息与图像域信息，更准确地建立医学成像模型。进而，将训练完成的所述原始神经网络作为目标医学成像模型，实现快速、准确地对欠采样的医学图像进行重建。上述技术方案解决了传统的并行成像或者压缩感知技术，没有利用大数据先验，耗时且调参繁琐、基于深度学习的神经网络方法无法充分地利用频率域信息，无法更准确地对欠采样的图像进行重建的问题，实现能够同时学习频率域与图像域特征，充分结合频率域与图像域信息，快速、准确地对欠采样的医学图像进行重建，能够避免耗时的迭代求解步骤以及繁琐的调参过程。
实施例二
图2a为本发明实施例二提供的一种医学成像模型的建立方法的流程图，本实施例在上述实施例的基础上，可选是所述将所述训练样本输入至预先构建的所述原始神经网络进行训练，包括：选取设定数量的训练样本；依次获取一个训练样本输入至预先建立的原始频率域网络中得到初步输出结果，将所述初步输出结果进行傅里叶逆变换后输入至原始图像域网络中得到模型输出结果；返回执行获取一个训练样本输入至所述原始频率域网络中的操作，直至达到预先设定的训练结束条件。
在此基础上，进一步地，医学成像模型的建立方法还包括：获取待成像的K空间欠采样数据；将所述待成像的K空间欠采样数据输入训练完成的所述目标医学成像模型中，得到重建医学图像。
如图2a所示，本实施例的方法具体包括如下步骤：
步骤201、获取医学图像的K空间欠采样数据作为训练样本。
步骤202、选取设定数量的训练样本。
步骤203、依次获取一个训练样本输入至预先建立的原始频率域网络中得到初步输出结果，将所述初步输出结果进行傅里叶逆变换后输入至原始图像域网络中得到模型输出结果。
步骤204、判断是否达到预先设定的训练结束条件。若是，执行步骤205，若否，返回执行步骤203。
其中，预先设定的训练结束条件是设定数量的训练样本的预设比例数量(例如98％)的训练样本的神经网络的损失达到预设阈值。
其中，损失函数可以是神经网络模型中常用的损失函数，例如损失函数可以表示为
Figure BDA0001924949880000111
Ploss表示损失，SN表示K空间欠采样数据经过频率域网络、IFFT、图像域网络后最终的重建结果,即图像域网络的输出结果，也就是第N个图像域模块的输出结果(可以不考虑图像域数据一致层IDC的作用),S表示K空间欠采样数据对应的全采样图像；如果考虑KDC和IDC，则
Figure BDA0001924949880000112
这里的Ploss是指单独一个训练样本的情况。假设存在多个样本时，使用上述计算Ploss的公式分别计算各样本的Ploss并进行求和，得到总损失。
需要说明的是，训练时可以多个训练样本并行训练，对应的损失为使用上述计算Ploss的公式分别计算各样本的Ploss并进行求和，相应的训练结束条件为多样本的损失的和达到预设阈值时停止训练。
S代表K空间欠采样数据对应的全采样图像。通过优化损失函数从而优化神经网络模型，得到目标医学成像模型。
步骤205、将训练完成的所述原始神经网络作为目标医学成像模型。
步骤206、获取待成像的K空间欠采样数据；将所述待成像的K空间欠采样数据输入训练完成的所述目标医学成像模型中，得到重建医学图像。
以磁共振心脏电影成像为例，为了展示本发明实施例对磁共振心脏电影成像的有效性，将本发明实施例的方法与目前主流的压缩感知及深度学习方法进行对比。在4倍加速因子下，重建结果如图2b所示。图2b表示了不同磁共振心脏电影重建方法的结果比较。四种方法分别为：时间频率稀疏性的焦欠定系统k-t FOCUSS、动态冗余的卡尔基方法k-t SLR、基于级联卷积网络的磁共振动态成像D5C5以及本实施例的方法。(a)表示全采图像，(b)表示采样模板，(c)表示零填充图像，(d)表示k-t FOCUSS重建结果，(e)表示k-t SLR重建结果，(f)表示D5C5重建结果，(g)表示本发明实施例提出的方法的重建结果；(h)，(i)，(j)，(k)分别是(d)，(e)，(f)，(g)各自对应的重建结果与全采样图像(a)间的残差图，其中，残差越小，表示重建效果越好。从实验结果可以看出，本发明实施例的方法对磁共振心脏电影成像具有最好的重建结果。这充分说明了本发明实施例的方法的有效性。
本实施例的技术方案通过选取设定数量的训练样本；依次获取一个训练样本输入至预先建立的原始频率域网络中得到初步输出结果，将所述初步输出结果进行傅里叶逆变换后输入至原始图像域网络中得到模型输出结果；返回执行获取一个训练样本输入至所述原始频率域网络中的操作，直至达到预先设定的训练结束条件,能够优化网络模型，使网络模型更准确地用于图像重建。进而，获取待成像的K空间欠采样数据；将所述待成像的K空间欠采样数据输入训练完成的所述目标医学成像模型中，得到重建医学图像，直接采用K空间欠采样数据进行重建。
实施例三
图3是本发明实施例三中提供的一种医学成像模型的建立装置的结构示意图。本发明实施例所提供的医学成像模型的建立装置可执行本发明任意实施例所提供的医学成像模型的建立方法，该装置的具体结构如下：训练样本获取模块31、训练模块32和目标医学成像模型确定模块33。
本发明实施例的技术方案获取医学图像的K空间欠采样数据作为训练样本，能够直接学习从欠采样图像到全采样图像的映射关系。进而，将所述训练样本输入至预先构建的所述原始神经网络进行训练，其中，所述原始神经网络包括频率域网络FDN以及图像域网络SDN，所述频率域网络FDN与所述图像域网络SDN之间通过傅里叶逆变换IFFT连接，能够充分利用图像的频率域信息与图像域信息，更准确地建立医学成像模型。进而，将训练完成的所述原始神经网络作为目标医学成像模型，实现快速、准确地对欠采样的医学图像进行重建。上述技术方案解决了传统的并行成像或者压缩感知技术，没有利用大数据先验，耗时且调参繁琐、基于深度学习的神经网络方法无法充分地利用频率域信息，无法更准确地对欠采样的图像进行重建的问题，实现能够同时学习频率域与图像域特征，充分结合频率域与图像域信息，快速、准确地对欠采样的医学图像进行重建，能够避免耗时的迭代求解步骤以及繁琐的调参过程。
在上述技术方案的基础上，训练模块32具体可用于：
所述频率域网络包括第一预设数量的频率域模块Fnet，其中，每个频率域模块Fnet包含第二预设数量的三维卷积层3D Conv以及一个频率域数据一致层KDC。
在上述技术方案的基础上，训练模块32具体可用于：所述图像域网络SDN包括第三预设数量的图像域模块Snet，其中，每个图像域模块包含第四预设数量的三维卷积层3DConv、一个图像域数据一致层IDC以及一个残差连接。
在上述技术方案的基础上，医学成像模型的建立装置还可以包括：频率域网络模块和图像域网络模块。
其中，频率域网络模块，用于将所述训练样本作为第一个频率域模块的第一个三维卷积层的输入；
将所述频率域模块的前一个三维卷积层的输出结果作为所述频率域模块的下一个三维卷积层的输入；
将所述频率域模块的最后一个三维卷积层的输出结果作为所述频率域模块频率域数据一致层KDC的输入，将所述频率域数据一致层KDC的输出结果作为所述频率域模块的输出结果；
将前一频率域模块输出结果作为下一个频率域模块的输入，将最后一个频率域模块的输出结果作为所述频率域网络的输出结果。
图像域网络模块，用于将所述频率域网络的输出结果经过傅里叶逆变换IFFT后的结果作为第一个图像域模块的第一个三维卷积层的输入；
将所述图像域模块的前一个三维卷积层的输出结果作为所述图像域模块的下一个三维卷积层的输入；
将所述图像域模块的最后一个三维卷积层的输出结果与所述图像域模块的第一个三维卷积层的输入进行求和运算后，输入所述图像域模块图像域数据一致层IDC，将所述图像域数据一致层IDC的输出结果作为所述图像域模块的输出结果；
将前一图像域模块的输出结果作为下一个图像域模块的输入，将最后一个图像域模块的输出结果作为所述图像域网络的输出结果。
在上述技术方案的基础上，训练模块32具体可用于：选取设定数量的训练样本；
依次获取一个训练样本输入至预先建立的原始频率域网络中得到初步输出结果，将所述初步输出结果进行傅里叶逆变换后输入至原始图像域网络中得到模型输出结果；
返回执行获取一个训练样本输入至所述原始频率域网络中的操作，直至达到预先设定的训练结束条件。
在上述技术方案的基础上，医学成像模型的建立装置还可以包括重建模块。
其中，重建模块用于获取待成像的K空间欠采样数据；
将所述待成像的K空间欠采样数据输入训练完成的所述目标医学成像模型中，得到重建医学图像。
本发明实施例所提供的医学成像模型的建立装置可执行本发明任意实施例所提供的医学成像模型的建立方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种设备的结构示意图，如图4所示，该设备包括处理器40、存储器41、输入装置42和输出装置43；设备中处理器40的数量可以是一个或多个，图4中以一个处理器40为例；设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的医学成像模型的建立方法对应的程序指令/模块(例如，医学成像模型的建立装置中的训练样本获取模块31、训练模块32和目标医学成像模型确定模块33)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的医学成像模型的建立方法。
存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置42可用于接收输入的医学图像的K空间欠采样数据，以及产生与设备的用户设置以及功能控制有关的信号输入。输出装置43可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种医学成像模型的建立方法，该方法包括：
获取医学图像的K空间欠采样数据作为训练样本；
将所述训练样本输入至预先构建的所述原始神经网络进行训练，其中，所述原始神经网络包括频率域网络FDN以及图像域网络SDN，所述频率域网络FDN与所述图像域网络SDN之间通过傅里叶逆变换IFFT连接；
将训练完成的所述原始神经网络作为目标医学成像模型。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的医学成像模型的建立方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述医学成像模型的建立装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种医学成像模型的建立方法，其特征在于，包括：
获取医学图像的K空间欠采样数据作为训练样本；
将所述训练样本输入至预先构建的原始神经网络进行训练，其中，所述原始神经网络包括频率域网络FDN以及图像域网络SDN，所述频率域网络FDN与所述图像域网络SDN之间通过傅里叶逆变换IFFT连接；
将训练完成的所述原始神经网络作为目标医学成像模型；
所述频率域网络包括第一预设数量的频率域模块Fnet，其中，每个频率域模块Fnet包含第二预设数量的三维卷积层3D Conv以及一个频率域数据一致层KDC；
将所述频率域网络的输出结果经过傅里叶逆变换IFFT后的结果作为第一个图像域模块的第一个三维卷积层的输入；
将所述图像域模块的前一个三维卷积层的输出结果作为所述图像域模块的下一个三维卷积层的输入；
将所述图像域模块的最后一个三维卷积层的输出结果与所述图像域模块的第一个三维卷积层的输入进行求和运算后，输入所述图像域模块图像域数据一致层IDC，将所述图像域数据一致层IDC的输出结果作为所述图像域模块的输出结果；
将前一图像域模块的输出结果作为下一个图像域模块的输入，将最后一个图像域模块的输出结果作为所述图像域网络的输出结果。
2.根据权利要求1所述的方法，其特征在于，所述图像域网络SDN包括第三预设数量的图像域模块Snet，其中，每个图像域模块包含第四预设数量的三维卷积层3D Conv、一个图像域数据一致层IDC以及一个残差连接。
3.根据权利要求1所述的方法，其特征在于，还包括：
将所述训练样本作为第一个频率域模块的第一个三维卷积层的输入；
将所述频率域模块的前一个三维卷积层的输出结果作为所述频率域模块的下一个三维卷积层的输入；
将所述频率域模块的最后一个三维卷积层的输出结果作为所述频率域模块频率域数据一致层KDC的输入，将所述频率域数据一致层KDC的输出结果作为所述频率域模块的输出结果；
将前一频率域模块输出结果作为下一个频率域模块的输入，将最后一个频率域模块的输出结果作为所述频率域网络的输出结果。
4.根据权利要求1所述的方法，其特征在于，所述将所述训练样本输入至预先构建的所述原始神经网络进行训练，包括：
选取设定数量的训练样本；
依次获取一个训练样本输入至预先建立的原始频率域网络中得到初步输出结果，将所述初步输出结果进行傅里叶逆变换后输入至原始图像域网络中得到模型输出结果；
返回执行获取一个训练样本输入至所述原始频率域网络中的操作，直至达到预先设定的训练结束条件。
5.根据权利要求1所述的方法，其特征在于，还包括：
获取待成像的K空间欠采样数据；
将所述待成像的K空间欠采样数据输入训练完成的所述目标医学成像模型中，得到重建医学图像。
6.一种医学成像模型的建立装置，其特征在于，包括：
训练样本获取模块，用于获取医学图像的K空间欠采样数据作为训练样本；
训练模块，用于将所述训练样本输入至预先构建的原始神经网络进行训练，其中，所述原始神经网络包括频率域网络FDN以及图像域网络SDN，所述频率域网络FDN与所述图像域网络SDN之间通过傅里叶逆变换IFFT连接；
目标医学成像模型确定模块，用于将训练完成的所述原始神经网络作为目标医学成像模型；
所述频率域网络包括第一预设数量的频率域模块Fnet，其中，每个频率域模块Fnet包含第二预设数量的三维卷积层3D Conv以及一个频率域数据一致层KDC；
医学成像模型的建立装置还包括：频率域网络模块和图像域网络模块；
图像域网络模块，用于将所述频率域网络的输出结果经过傅里叶逆变换IFFT后的结果作为第一个图像域模块的第一个三维卷积层的输入；
将所述图像域模块的前一个三维卷积层的输出结果作为所述图像域模块的下一个三维卷积层的输入；
将所述图像域模块的最后一个三维卷积层的输出结果与所述图像域模块的第一个三维卷积层的输入进行求和运算后，输入所述图像域模块图像域数据一致层IDC，将所述图像域数据一致层IDC的输出结果作为所述图像域模块的输出结果；
将前一图像域模块的输出结果作为下一个图像域模块的输入，将最后一个图像域模块的输出结果作为所述图像域网络的输出结果。
7.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的医学成像模型的建立方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的医学成像模型的建立方法。
CN201811611862.2A 2018-12-27 2018-12-27 医学成像模型的建立方法、装置、设备及存储介质 Active CN111383741B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811611862.2A CN111383741B (zh) 2018-12-27 2018-12-27 医学成像模型的建立方法、装置、设备及存储介质
PCT/CN2019/124238 WO2020135014A1 (zh) 2018-12-27 2019-12-10 医学成像模型的建立方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811611862.2A CN111383741B (zh) 2018-12-27 2018-12-27 医学成像模型的建立方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111383741A CN111383741A (zh) 2020-07-07
CN111383741B true CN111383741B (zh) 2022-05-10

Family

ID=71126817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811611862.2A Active CN111383741B (zh) 2018-12-27 2018-12-27 医学成像模型的建立方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN111383741B (zh)
WO (1) WO2020135014A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932649B (zh) * 2020-08-04 2024-05-24 中国科学院深圳先进技术研究院 一种动态医学成像方法、装置、设备及存储介质
CN112116674A (zh) * 2020-08-13 2020-12-22 香港大学 图像重建方法、装置、终端及存储介质
CN112767259A (zh) * 2020-12-29 2021-05-07 上海联影智能医疗科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN115115726B (zh) * 2022-05-10 2024-06-07 深圳市元甪科技有限公司 多频电阻抗层析成像图像的重建方法、装置、设备及介质
CN115272510B (zh) * 2022-08-08 2023-09-22 中国科学院精密测量科学与技术创新研究院 基于编码增强复值网络的肺部气体mri重建方法
CN116051463A (zh) * 2022-11-04 2023-05-02 中国科学院深圳先进技术研究院 医学图像处理方法、装置、计算机设备及存储介质
CN117710513B (zh) * 2024-02-06 2024-06-11 中国科学院深圳先进技术研究院 基于量子卷积神经网络的磁共振成像方法、装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184755A (zh) * 2015-10-16 2015-12-23 西南石油大学 基于自一致性的含联合全变分的并行磁共振成像高质量重构方法
CN107064845A (zh) * 2017-06-06 2017-08-18 深圳先进技术研究院 基于深度卷积网的一维部分傅里叶并行磁共振成像方法
CN107576924A (zh) * 2017-08-07 2018-01-12 上海东软医疗科技有限公司 一种磁共振动态成像方法和装置
CN108535675A (zh) * 2018-04-08 2018-09-14 朱高杰 一种基于深度学习和数据自洽的磁共振多通道重建方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8750971B2 (en) * 2007-05-24 2014-06-10 Bao Tran Wireless stroke monitoring
CN103646410B (zh) * 2013-11-27 2016-06-08 中国科学院深圳先进技术研究院 磁共振快速参数成像方法和系统
CN103679654B (zh) * 2013-11-29 2017-02-15 深圳先进技术研究院 磁共振成像方法和系统
CN107182216B (zh) * 2015-12-30 2019-06-14 中国科学院深圳先进技术研究院 一种基于深度卷积神经网络的快速磁共振成像方法及装置
US10702186B2 (en) * 2016-12-06 2020-07-07 Siemens Healthcare Gmbh Method and apparatus for identifying an organ structure of an examined object in magnetic resonance image data
US10636141B2 (en) * 2017-02-09 2020-04-28 Siemens Healthcare Gmbh Adversarial and dual inverse deep learning networks for medical image analysis
CN108765293A (zh) * 2018-05-31 2018-11-06 成都信息工程大学 一种基于稀疏表示的磁共振图像重建方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184755A (zh) * 2015-10-16 2015-12-23 西南石油大学 基于自一致性的含联合全变分的并行磁共振成像高质量重构方法
CN107064845A (zh) * 2017-06-06 2017-08-18 深圳先进技术研究院 基于深度卷积网的一维部分傅里叶并行磁共振成像方法
CN107576924A (zh) * 2017-08-07 2018-01-12 上海东软医疗科技有限公司 一种磁共振动态成像方法和装置
CN108535675A (zh) * 2018-04-08 2018-09-14 朱高杰 一种基于深度学习和数据自洽的磁共振多通道重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卷积神经网络重建欠采的磁共振图像;王一达等;《磁共振成像》;20180619;第9卷(第6期);第1-7页 *

Also Published As

Publication number Publication date
CN111383741A (zh) 2020-07-07
WO2020135014A1 (zh) 2020-07-02

Similar Documents

Publication Publication Date Title
CN111383741B (zh) 医学成像模型的建立方法、装置、设备及存储介质
CN111709522B (zh) 一种基于服务器-嵌入式协同的深度学习目标检测系统
WO2020134826A1 (zh) 磁共振并行成像方法及相关设备
CN110074813B (zh) 一种超声图像重建方法及系统
CN109712208B (zh) 基于深度学习的大视野磁共振扫描图像重建方法和装置
CN111383742A (zh) 一种医学成像模型的建立方法、装置、设备及存储介质
WO2018223275A1 (zh) 基于深度卷积网的一维部分傅里叶并行磁共振成像方法
US10627470B2 (en) System and method for learning based magnetic resonance fingerprinting
WO2020114329A1 (zh) 磁共振快速参数成像方法及装置
CN113674172B (zh) 一种图像处理方法、系统、装置及存储介质
CN110807428A (zh) 煤类样品的识别方法、装置、服务器及存储介质
CN111714124B (zh) 磁共振电影成像方法、装置、成像设备及存储介质
CN110570487A (zh) 欠采样模型生成方法、图像重建方法、装置和计算机设备
CN117011673B (zh) 基于噪声扩散学习的电阻抗层析成像图像重建方法和装置
CN111681297B (zh) 图像重建方法、计算机设备和存储介质
CN117635444A (zh) 基于辐射差和空间距离的深度补全方法、装置和设备
CN115115723A (zh) 图像重建模型生成及图像重建方法、装置、设备和介质
CN117197349A (zh) 一种ct图像重建方法及装置
CN117422619A (zh) 图像重建模型的训练方法、图像重建方法、装置及设备
EP4343680A1 (en) De-noising data
CN116626570A (zh) 多对比度mri采样和图像重建
CN115830462A (zh) 基于循环一致性对抗网络的sar图像重构方法及装置
CN114758783A (zh) 深度学习的弹性成像方法、装置、计算机设备和存储介质
CN112801908A (zh) 图像去噪方法、装置、计算机设备和存储介质
US11967004B2 (en) Deep learning based image reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant