CN111383742A - 一种医学成像模型的建立方法、装置、设备及存储介质 - Google Patents

一种医学成像模型的建立方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111383742A
CN111383742A CN201811654047.4A CN201811654047A CN111383742A CN 111383742 A CN111383742 A CN 111383742A CN 201811654047 A CN201811654047 A CN 201811654047A CN 111383742 A CN111383742 A CN 111383742A
Authority
CN
China
Prior art keywords
loss function
image
model
space
frequency domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811654047.4A
Other languages
English (en)
Inventor
梁栋
王珊珊
柯子文
刘新
郑海荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201811654047.4A priority Critical patent/CN111383742A/zh
Priority to PCT/CN2019/124239 priority patent/WO2020135015A1/zh
Publication of CN111383742A publication Critical patent/CN111383742A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种医学成像模型的建立方法、装置、设备及存储介质。该方法包括：获取医学图像的K空间欠采样数据作为训练样本；将训练样本输入至预先构建的原始神经网络进行训练，并根据模型损失函数优化原始神经网络；当模型损失函数收敛时，停止训练机器学习模型，将训练完成的原始神经网络作为目标医学成像模型；其中，原始神经网络包括频率域网络和图像域网络；模型损失函数包括主损失函数以及至少一个附加损失函数，附加损失函数包括k空间损失函数和/或图像域损失函数。本发明实施例的技术方案实现对网络的中间结果加以约束，更准确、更快速地对K空间欠采样医学图像进行重建。

Description

一种医学成像模型的建立方法、装置、设备及存储介质
技术领域
本发明实施例涉及磁共振成像技术领域，尤其涉及一种医学成像模型的建立方法、装置、设备及存储介质。
背景技术
磁共振心脏电影成像是一种非侵入式的成像技术，能够为临床诊断提供丰富的空间和时间信息。由于磁共振物理及硬件的制约，磁共振心脏电影成像往往伴随着扫描时间长及成像速度慢等缺点。因此，如何在保证成像质量的前提下，加速磁共振心脏电影成像尤为重要。
现有技术中，常用的加速磁共振心脏电影成像的方法，包括并行成像、压缩感知技术、深度学习的方法等。例如，动态广义自动校准部分并行采集(TGRAPPA)、利用时间滤波器的自适应敏感度编码(TSENSE)、利用时间频率稀疏性的焦欠定系统(k-t FOCUSS)、利用动态冗余的卡尔基方法(k-t SLR)、低秩稀疏矩阵(L+S)等。在磁共振心脏电影成像领域，基于级联卷积网络的磁共振动态成像(D5C5)及卷积递归神经网络(CRNN)取得了良好的重建效果。这两种方法利用神经网络，直接学习从欠采图像到全采图像的映射关系。
传统的并行成像或者压缩感知技术，没有利用大数据先验，并且这种迭代优化方法往往是耗时的且参数较难选择。而基于深度学习的神经网络方法(D5C5、CRNN)也存在明显的不足。这两种深度模型只运用了一个损失函数用于训练整个网络，网络的中间结果并没有加以约束，无法更准确地优化神经网络模型，最终无法更准确地对磁共振心脏电影成像进行重建。
发明内容
本发明实施例提供了一种医学成像模型的建立方法、装置、设备及存储介质，以实现对网络的中间结果加以约束，更准确、更快速地对K空间欠采样医学图像进行重建。
第一方面，本发明实施例提供了一种医学成像模型的建立方法，该方法包括：
获取医学图像的K空间欠采样数据作为训练样本；
将所述训练样本输入至预先构建的所述原始神经网络进行训练，并根据模型损失函数优化所述原始神经网络；
当所述模型损失函数收敛时，停止训练所述机器学习模型，将训练完成的所述原始神经网络作为目标医学成像模型；
其中，所述原始神经网络包括频率域网络FDN以及图像域网络SDN，所述频率域网络FDN与所述图像域网络SDN之间通过傅里叶逆变换IFFT连接；所述模型损失函数包括主损失函数以及至少一个附加损失函数，所述附加损失函数包括k空间损失函数和/或图像域损失函数。
第二方面，本发明实施例还提供了一种医学成像模型的建立装置，该装置包括：
训练样本获取模块，用于获取医学图像的K空间欠采样数据作为训练样本；
训练模块，用于将所述训练样本输入至预先构建的所述原始神经网络进行训练，并根据模型损失函数优化所述原始神经网络；
目标医学成像模型确定模块，当所述模型损失函数收敛时，停止训练所述机器学习模型，将训练完成的所述原始神经网络作为目标医学成像模型；
其中，所述原始神经网络包括频率域网络FDN以及图像域网络SDN，所述频率域网络FDN与所述图像域网络SDN之间通过傅里叶逆变换IFFT连接；所述模型损失函数包括主损失函数以及至少一个附加损失函数，所述附加损失函数包括k空间损失函数和/或图像域损失函数。
第三方面，本发明实施例还提供了一种设备，该设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例中任一所述的医学成像模型的建立方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例中任一所述的医学成像模型的建立方法。
本发明实施例的技术方案获取医学图像的K空间欠采样数据作为训练样本，能够直接学习从欠采样图像到全采样图像的映射关系。进而，将所述训练样本输入至预先构建的所述原始神经网络进行训练，并根据模型损失函数优化所述原始神经网络，使神经网络更加准确地表征输入的样本。进而，当所述模型损失函数收敛时，停止训练所述机器学习模型，将训练完成的所述原始神经网络作为目标医学成像模型，用于K空间欠采样数据的重建。进而，其中，所述原始神经网络包括频率域网络FDN以及图像域网络SDN，所述频率域网络FDN与所述图像域网络SDN之间通过傅里叶逆变换IFFT连接；所述模型损失函数包括主损失函数以及至少一个附加损失函数，所述附加损失函数包括k空间损失函数和/或图像域损失函数，充分结合频率域与图像域信息，直接学习从欠采图像到全采图像的映射关系，对不同网络深度的重建结果加以约束，能够更加充分地利用不同深度的网络信息。上述技术方案解决了传统的并行成像或者压缩感知技术，没有利用大数据先验，耗时且调参繁琐、基于深度学习的神经网络方法无法充分地利用频率域信息，无法更准确地对欠采样的图像进行重建的问题，实现能够同时学习频率域与图像域特征，充分结合频率域与图像域信息，对不同网络深度的重建结果加以约束，能够更加充分地利用不同深度的网络信息，快速、准确地对欠采样的医学图像进行重建，能够避免耗时的迭代求解步骤以及繁琐的调参过程。
附图说明
图1a是本发明实施例一中提供的一种医学成像模型的建立方法的流程图；
图1b是本发明实施例一中提供的一种原始神经网络的结构示意图；
图2a是本发明实施例二中提供的一种医学成像模型的建立方法的流程图；
图2b是本发明实施例二中提供的不同磁共振心脏电影重建方法的结果比较；
图3是本发明实施例三中提供的一种医学成像模型的建立装置的结构示意图；
图4是本发明实施例四中的提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a为本发明实施例一提供的医学成像模型的建立方法的流程图，本实施例可适用于建立医学成像模型的情况，尤其适用于建立K空间欠采样数据的成像模型。该方法可以由医学成像模型的建立装置来执行，该装置可以由硬件和/或软件来实现，该装置可集成于设备(例如计算机)中来执行，具体包括如下步骤：
步骤101、获取医学图像的K空间欠采样数据作为训练样本。
示例性地，医学图像可以是磁共振心脏电影图像。K空间是寻常空间在傅利叶转换下的对偶空间，主要应用在磁振造影的成像分析，其他如磁振造影中的射频波形设计，以及量子计算中的初始态准备亦用到k空间的概念。
K空间欠采样数据是指欠采样的K空间数据。
该步骤获取K空间欠采样数据用于模型的训练。
步骤102、将所述训练样本输入至预先构建的所述原始神经网络进行训练，并根据模型损失函数优化所述原始神经网络。
其中，所述原始神经网络包括频率域网络FDN以及图像域网络SDN，所述频率域网络FDN与所述图像域网络SDN之间通过傅里叶逆变换IFFT连接；所述模型损失函数包括主损失函数以及至少一个附加损失函数，所述附加损失函数包括k空间损失函数和/或图像域损失函数。
所述附加损失函数包括k空间损失函数和图像域损失函数的至少一个。
可选地，所述频率域网络包括第一预设数量的频率域模块Fnet，其中，每个频率域模块Fnet包含第二预设数量的三维卷积层3D Conv以及一个频率域数据一致层KDC。
其中，频率域模块中的频率域数据一致层KDC不是必须包括的，频率域模块Fnet可以只包含第二预设数量的三维卷积层3D Conv。
可选地，将所述训练样本作为第一个频率域模块的第一个三维卷积层的输入；
将所述频率域模块的前一个三维卷积层的输出结果作为所述频率域模块的下一个三维卷积层的输入；
将所述频率域模块的最后一个三维卷积层的输出结果作为所述频率域模块频率域数据一致层KDC的输入，将所述频率域数据一致层KDC的输出结果作为所述频率域模块的输出结果；
将前一频率域模块的输出结果作为下一个频率域模块的输入，将最后一个频率域模块的输出结果作为所述频率域网络的输出结果。
其中，频率域网络FDN的输出结果经过傅里叶逆变换IFFT的结果作为图像域网络SDN的输入。
假设频率域网络由M个频率域模块Fnetm(Fnetm,m＝1,...,M)构成，每个频率域模块包含L个3维卷积层(3D Conv)及一个频率域数据一致层(KDC)。频率域网络的前向过程可由如下公式表示：
第一个频率域模块(m＝1)：
Figure BDA0001933764200000071
后续的频率域模块(m＝2,...,M)
Figure BDA0001933764200000072
其中，σ表示非线性激活函数，可以是神经网络模型中常用的非线性激活函数。ku表示输入的医学图像的K空间欠采样数据，
Figure BDA0001933764200000073
分别是第m个频率域模块中第l个卷积层的卷积核和偏置项，l＝1,...,L,m＝1,...,M。
Figure BDA0001933764200000074
表示第m个频率域模块中第l个卷积层的输出。每个频率域模块除了最后一个卷积层，其余每个频率域模块的所有卷积层均由非线性激活函数σ进行激活。经过卷积层进行提取特征后，即得到
Figure BDA0001933764200000075
后，利用频率域数据一致层KDC来纠正网络预测的k空间，如公式(9)所示。
其中，KDC用于执行频率域数据一致操作，公式如下：
Figure BDA0001933764200000076
Figure BDA0001933764200000077
表示对
Figure BDA0001933764200000078
进行纠正的结果。令所有已采集的医学图像的K空间欠采样数据坐标构成的集合为Ω。如果k空间坐标(kx,ky)在集合Ω内，则
Figure BDA0001933764200000079
将通过真实采集的k空间点进行纠正。λ用于控制数据一致的程度，如果λ→∞，可以直接将实际采样点去替代
Figure BDA0001933764200000081
对应的点。
频率域网络FDN最终的输出是
Figure BDA0001933764200000082
对
Figure BDA0001933764200000083
再进行傅里叶逆变换便可以得到图像域的数据S0，它也是图像域网络的输入，如以下公式(10)。
Figure BDA0001933764200000084
如果频率域模块不包括KDC,则
Figure BDA0001933764200000085
作为频率域网络FDN最终的输出。
可选地，所述图像域网络SDN包括第三预设数量的图像域模块Snet，其中，每个图像域模块包含第四预设数量的三维卷积层3D Conv、一个图像域数据一致层IDC以及一个残差连接。
其中，图像域模块可以只包含第四预设数量的三维卷积层3D Conv以及一个残差连接，不包含IDC。
可选地，将所述频率域网络的输出结果经过傅里叶逆变换IFFT后的结果作为第一个图像域模块的第一个三维卷积层的输入；
将所述图像域模块的前一个三维卷积层的输出结果作为所述图像域模块的下一个三维卷积层的输入；
将所述图像域模块的最后一个三维卷积层的输出结果与所述图像域模块的第一个三维卷积层的输入进行求和运算后，输入所述图像域模块图像域数据一致层IDC，将所述图像域数据一致层IDC的输出结果作为所述图像域模块的输出结果；
将前一图像域模块的输出结果作为下一个图像域模块的输入，将最后一个图像域模块的输出结果作为所述图像域网络的输出结果。
图像域网络的前向过程可由如下公式表示，假设图像域网络包含N个图像域模块Snetn(Snetn,n＝1,...,N)：
第一个图像域模块(n＝1)：
Figure BDA0001933764200000091
后续的图像域模块(n＝2,...,N)
Figure BDA0001933764200000092
其中，IDC用于执行图像域数据一致操作，公式如下：
Figure BDA0001933764200000093
Figure BDA0001933764200000094
Figure BDA0001933764200000095
Figure BDA0001933764200000096
分别是第n个图像域模块中第l个卷积层的卷积核和偏置项，l＝1,...,L,n＝1,...,N。
Figure BDA0001933764200000097
是第n个图像域模块中第l个卷积层的输出。除了最后一个(第L个)卷积层，其余所有卷积层均由非线性激活函数σ进行激活。经过卷积层进行提取特征后，引入残差学习(通过残差连接实现)，公式(19)中的Sn是残差学习(即残差连接)的结果。然后对Sn进行图像域数据一致操作(IDC)。IDC比KDC多了频率域与图像域之间转换，即公式(21)，然后通过式(22)-(23)进行图像域数据一致操作。λ用于控制数据一致的程度。
Figure BDA0001933764200000101
是对Sn进行IDC后的结果。
经过频率域网络(FDN)及图像域网络(SDN)之后，可以得到对医学图像的K空间欠采样数据进行重建的结果。
其中，频率域网络用于预测全采样的k空间，图像域网络用于提取图像特征，两个网络通过傅里叶逆变换进行连接。同时，频率域网络和图像域网络均使用了数据一致层，用于纠正k空间数据。
可选地，根据如下公式计算所述k空间损失函数：
Figure BDA0001933764200000102
其中，Kloss表示k空间损失，Kf表示医学图像的K空间欠采样数据对应的全采样k空间数据，
Figure BDA0001933764200000103
表示第m个频率域模块的输出，M表示频率域模块的数量，αm表示第m个频率域模块对应的k空间损失函数的权重，m＝1,…,M。每个频率域模块都会计算相应的k空间损失，M个频率域模块的损失相加构成频率域网络损失(k空间损失)，可以Klossm(m＝1,…,M)表示，能够实现对不同深度的重建结果进行约束。
可以理解的是，公式中的
Figure BDA0001933764200000104
(第m个频率域模块的输出)需要根据是否有KDC进行调整。
可选地，根据如下公式计算所述图像域损失函数：
Figure BDA0001933764200000105
其中，Sloss表示图像域损失，S表示医学图像的K空间欠采样数据对应的全采样的医学图像，Sn表示第n个图像域模块的输出，N表示图像域模块的数量，βn表示第n个图像域模块对应的图像域损失函数的权重，可以根据重建结果对βn进行设置，n＝1,…,N-1。每个图像域模块都会计算相应的损失，用Llossn(n＝1,…,N-1)表示，N-1个图像域模块的损失函数相加构成图像域损失函数。
可以理解的是，公式中的Sn表示第n个图像域模块的输出，需要根据是否有IDC进行调整。
可选地，根据如下公式计算所述主损失函数：
Figure BDA0001933764200000111
其中，Ploss表示主损失，S表示S是医学图像的K空间欠采样数据对应的全采样的医学图像，SN表示第N个图像域模块的输出，如果包含KDC和IDC,则
Figure BDA0001933764200000112
可选地，所述方法还包括：
将至少一项所述附加损失函数加权后与所述主损失函数进行求和运算得到模型损失函数。
步骤103、当所述模型损失函数收敛时，停止训练所述机器学习模型，将训练完成的所述原始神经网络作为目标医学成像模型。
其中，训练样本经过训练后得到的原始神经网络作为目标医学成像模型，可以用于对医学图像的K空间欠采样数据进行重建。
示例性地，本发明实施例的一种原始神经网络模型如图1b所示。网络的输入是K空间欠采样数据ku，输出是重建的医学图像SN(图像域网络的输出，当存在KDC和IDC时，为
Figure BDA0001933764200000113
)。原始神经网络由频率域网络(FDN)及图像域网络(SDN)组成，两者通过傅里叶逆变换(IFFT)连接。其中频率域网络由M个频率域模块(Fnet)构成，每个频率域模块包含第二预设数量的3维卷积层(3D Conv)及1个频率域数据一致层(也可以不包括频率域数据一致层)，每个频率域模块的损失用Klossm(m＝1,…,M)表示，M个频率域模块的损失相加构成频率域网络损失(k空间损失)。
图像域网络由N个图像域模块(Snet)构成，每个图像域模块包含第四预设数量的3维卷积层(3D Conv)、一个图像域数据一致层(也可以不包括图像域数据一致层)及一个残差连接，每个图像域模块的损失用Llossn，(n＝1,…,N-1)表示，N-1个图像域模块的损失函数相加构成图像域损失函数。最后一个图像域模块的输出与医学图像的K空间欠采样数据对应的全采样的医学图像进行运算得到主损失函数Ploss。对k空间损失函数、图像域损失函数和主损失函数得到模型损失函数。图中的Recon表示重建后图像。
本发明实施例的技术方案获取医学图像的K空间欠采样数据作为训练样本，能够直接学习从欠采样图像到全采样图像的映射关系。进而，将所述训练样本输入至预先构建的所述原始神经网络进行训练，并根据模型损失函数优化所述原始神经网络，使神经网络更加准确地表征输入的样本。进而，当所述模型损失函数收敛时，停止训练所述机器学习模型，将训练完成的所述原始神经网络作为目标医学成像模型，用于K空间欠采样数据的重建。进而，其中，所述原始神经网络包括频率域网络FDN以及图像域网络SDN，所述频率域网络FDN与所述图像域网络SDN之间通过傅里叶逆变换IFFT连接；所述模型损失函数包括主损失函数以及至少一个附加损失函数，所述附加损失函数包括k空间损失函数和/或图像域损失函数，充分结合频率域与图像域信息，直接学习从欠采图像到全采图像的映射关系，对不同网络深度的重建结果加以约束，能够更加充分地利用不同深度的网络信息。上述技术方案解决了传统的并行成像或者压缩感知技术，没有利用大数据先验，耗时且调参繁琐、基于深度学习的神经网络方法无法充分地利用频率域信息，无法更准确地对欠采样的图像进行重建的问题，实现能够同时学习频率域与图像域特征，充分结合频率域与图像域信息，对不同网络深度的重建结果加以约束，能够更加充分地利用不同深度的网络信息，快速、准确地对欠采样的医学图像进行重建，能够避免耗时的迭代求解步骤以及繁琐的调参过程。
实施例二
图2a为本发明实施例二提供的一种医学成像模型的建立方法的流程图，本实施例在上述实施例的基础上，可选是所述将至少一项所述附加损失函数加权后与所述主损失函数进行求和运算得到模型损失函数，包括：分别对k空间损失函数和图像域损失函数进行加权；将所述主损失函数、加权后的k空间损失函数以及加权后的图像域损失函数进行求和运算得到模型损失函数。
在此基础上，进一步地，本实施例的方法还包括：获取待成像的K空间欠采样数据；将所述待成像的K空间欠采样数据输入训练完成的所述目标医学成像模型中，得到重建医学图像。
如图2a所示，具体包括以下步骤：
步骤201、获取医学图像的K空间欠采样数据作为训练样本。
步骤202、将所述训练样本输入至预先构建的所述原始神经网络进行训练，并根据模型损失函数优化所述原始神经网络。
其中，所述原始神经网络包括频率域网络FDN以及图像域网络SDN，所述频率域网络FDN与所述图像域网络SDN之间通过傅里叶逆变换IFFT连接；所述模型损失函数包括主损失函数以及至少一个附加损失函数，所述附加损失函数包括k空间损失函数和/或图像域损失函数。
可选地，将至少一项所述附加损失函数加权后与所述主损失函数进行求和运算得到模型损失函数。
可选地，所述将至少一项所述附加损失函数加权后与所述主损失函数进行求和运算得到模型损失函数，包括：分别对k空间损失函数和图像域损失函数进行加权；将所述主损失函数、加权后的k空间损失函数以及加权后的图像域损失函数进行求和运算得到模型损失函数。
例如，模型损失函数可以用如下公式进行表示：
Figure BDA0001933764200000141
其中，Tloss为通过上述公式计算得到的模型损失，S表示医学图像的K空间欠采样数据对应的全采样的医学图像，Sn表示第n个图像域模块的输出，N表示图像域模块的数量，βn表示第n个图像域模块对应的图像域损失函数的权重。Kf表示医学图像的K空间欠采样数据对应的全采样k空间数据，
Figure BDA0001933764200000142
表示第m个频率域模块的输出，M表示频率域模块的数量，αm表示第m个频率域模块对应的k空间损失函数的权重。
可以理解的是，上述Tloss的计算公式为单个训练样本的损失计算公式，当多个训练样本同时训练时，使用上述公式分别对各训练样本计算损失并求和，作为模型的损失。
步骤203、判断所述模型损失函数是否收敛。若是，执行步骤204，若否，返回执行步骤202。
即判断模型损失函数计算的损失是否达到预设阈值。预设阈值可以根据经验值设置。
步骤204、停止训练所述机器学习模型，将训练完成的所述原始神经网络作为目标医学成像模型。
步骤205、获取待成像的K空间欠采样数据。
步骤206、将所述待成像的K空间欠采样数据输入训练完成的所述目标医学成像模型中，得到重建医学图像。
以磁共振心脏电影成像为例，为了展示本发明实施例对磁共振心脏电影成像的有效性，将本发明实施例的方法与目前主流的压缩感知及深度学习方法进行对比。不同磁共振心脏电影重建方法的结果比较，如图2b所示。图2b表示了不同磁共振心脏电影重建方法的结果比较。方法分别为：时间频率稀疏性的焦欠定系统k-t FOCUSS、动态冗余的卡尔基方法k-t SLR、低秩稀疏矩阵L+S、基于级联卷积网络的磁共振动态成像D5C5以及本实施例提供的方法。(a)表示全采样图像，(b)表示零填充图像，(c)表示采样模板及时间维度的展开，(d)表示k-t FOCUSS的重建结果，(e)表示k-t SLR的重建结果，(f)表示L+S的重建结果，(g)表示D5C5的重建结果，(h)本实施例提出的方法的重建结果；(i)，(j)，(k)，(l)和(m)分别是(d)，(e)，(f)，(g)和(h)对应的的重建结果与全采样图像(a)间的残差图。其中，残差越小，表示重建效果越好。从实验结果可以看出，本发明实施例的方法对磁共振心脏电影成像具有最好的重建结果。这充分说明了本发明实施例的方法的有效性。
本实施例的技术方案通过所述将至少一项所述附加损失函数加权后与所述主损失函数进行求和运算得到模型损失函数，包括：分别对k空间损失函数和图像域损失函数进行加权；将所述主损失函数、加权后的k空间损失函数以及加权后的图像域损失函数进行求和运算得到模型损失函数，实现对不同深度的重建结果进行约束，为整个网络的训练提供了多个监督，每个监督损失函数都为网络的训练提供指导。进而，获取待成像的K空间欠采样数据；将所述待成像的K空间欠采样数据输入训练完成的所述目标医学成像模型中，得到重建医学图像，实现更快速、更准确地对K空间欠采样数据进行重建。
实施例三
图3是本发明实施例三中提供的一种医学成像模型的建立装置的结构示意图。本发明实施例所提供的医学成像模型的建立装置可执行本发明任意实施例所提供的医学成像模型的建立方法，该装置的具体结构如下：训练样本获取模块31、训练模块32和目标医学成像模型确定模块33。
其中，训练样本获取模块31，用于获取医学图像的K空间欠采样数据作为训练样本；
训练模块32，用于将所述训练样本输入至预先构建的所述原始神经网络进行训练，并根据模型损失函数优化所述原始神经网络；
目标医学成像模型确定模块33，当所述模型损失函数收敛时，停止训练所述机器学习模型，将训练完成的所述原始神经网络作为目标医学成像模型；
其中，所述原始神经网络包括频率域网络FDN以及图像域网络SDN，所述频率域网络FDN与所述图像域网络SDN之间通过傅里叶逆变换IFFT连接；所述模型损失函数包括主损失函数以及至少一个附加损失函数，所述附加损失函数包括k空间损失函数和/或图像域损失函数。
本发明实施例的技术方案获取医学图像的K空间欠采样数据作为训练样本，能够直接学习从欠采样图像到全采样图像的映射关系。进而，将所述训练样本输入至预先构建的所述原始神经网络进行训练，并根据模型损失函数优化所述原始神经网络，使神经网络更加准确地表征输入的样本。进而，当所述模型损失函数收敛时，停止训练所述机器学习模型，将训练完成的所述原始神经网络作为目标医学成像模型，用于K空间欠采样数据的重建。进而，其中，所述原始神经网络包括频率域网络FDN以及图像域网络SDN，所述频率域网络FDN与所述图像域网络SDN之间通过傅里叶逆变换IFFT连接；所述模型损失函数包括主损失函数以及至少一个附加损失函数，所述附加损失函数包括k空间损失函数和/或图像域损失函数，充分结合频率域与图像域信息，直接学习从欠采图像到全采图像的映射关系，对不同网络深度的重建结果加以约束，能够更加充分地利用不同深度的网络信息。上述技术方案解决了传统的并行成像或者压缩感知技术，没有利用大数据先验，耗时且调参繁琐、基于深度学习的神经网络方法无法充分地利用频率域信息，无法更准确地对欠采样的图像进行重建的问题，实现能够同时学习频率域与图像域特征，充分结合频率域与图像域信息，对不同网络深度的重建结果加以约束，能够更加充分地利用不同深度的网络信息，快速、准确地对欠采样的医学图像进行重建，能够避免耗时的迭代求解步骤以及繁琐的调参过程。
在上述技术方案的基础上，训练模块32，具体可用于：所述频率域网络包括第一预设数量的频率域模块Fnet，其中，每个频率域模块Fnet包含第二预设数量的三维卷积层3DConv以及一个频率域数据一致层KDC。
在上述技术方案的基础上，训练模块32，具体可用于：根据如下公式计算所述k空间损失函数：
Figure BDA0001933764200000181
其中，Kloss表示k空间损失，Kf表示医学图像的K空间欠采样数据对应的全采样k空间数据，
Figure BDA0001933764200000182
表示第m个频率域模块的输出，M表示频率域模块的数量，αm表示第m个频率域模块对应的k空间损失函数的权重。
在上述技术方案的基础上，训练模块32，具体可用于：所述图像域网络SDN包括第三预设数量的图像域模块Snet，其中，每个图像域模块包含第四预设数量的三维卷积层3DConv、一个图像域数据一致层IDC以及一个残差连接。
在上述技术方案的基础上，训练模块32，具体可用于：根据如下公式计算所述图像域损失函数：
Figure BDA0001933764200000183
其中，Sloss表示图像域损失，S表示医学图像的K空间欠采样数据对应的全采样的医学图像，Sn表示第n个图像域模块的输出，N表示图像域模块的数量，βn表示第n个图像域模块对应的图像域损失函数的权重。
在上述技术方案的基础上，医学成像模型的建立装置还包括加权模块。
加权模块，用于将至少一项所述附加损失函数加权后与所述主损失函数进行求和运算得到模型损失函数。
在上述技术方案的基础上，加权模块，具体可用于：所述将至少一项所述附加损失函数加权后与所述主损失函数进行求和运算得到模型损失函数，包括：
分别对k空间损失函数和图像域损失函数进行加权；
将所述主损失函数、加权后的k空间损失函数以及加权后的图像域损失函数进行求和运算得到模型损失函数。
在上述技术方案的基础上，医学成像模型的建立装置还包括：重建模块。
重建模块，用于获取待成像的K空间欠采样数据；
将所述待成像的K空间欠采样数据输入训练完成的所述目标医学成像模型中，得到重建医学图像。
本发明实施例所提供的医学成像模型的建立装置可执行本发明任意实施例所提供的医学成像模型的建立方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种设备的结构示意图，如图4所示，该设备包括处理器40、存储器41、输入装置42和输出装置43；设备中处理器40的数量可以是一个或多个，图4中以一个处理器40为例；设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的医学成像模型的建立方法对应的程序指令/模块(例如，医学成像模型的建立装置中的训练样本获取模块31、训练模块32和目标医学成像模型确定模块33)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的医学成像模型的建立方法。
存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置42可用于接收输入的医学图像的K空间欠采样数据，以及产生与设备的用户设置以及功能控制有关的信号输入。输出装置43可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种医学成像模型的建立方法，该方法包括：
获取医学图像的K空间欠采样数据作为训练样本；
将所述训练样本输入至预先构建的所述原始神经网络进行训练，并根据模型损失函数优化所述原始神经网络；
当所述模型损失函数收敛时，停止训练所述机器学习模型，将训练完成的所述原始神经网络作为目标医学成像模型；
其中，所述原始神经网络包括频率域网络FDN以及图像域网络SDN，所述频率域网络FDN与所述图像域网络SDN之间通过傅里叶逆变换IFFT连接；所述模型损失函数包括主损失函数以及至少一个附加损失函数，所述附加损失函数包括k空间损失函数和/或图像域损失函数。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的医学成像模型的建立方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述医学成像模型的建立装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种医学成像模型的建立方法，其特征在于，包括：
获取医学图像的K空间欠采样数据作为训练样本；
将所述训练样本输入至预先构建的所述原始神经网络进行训练，并根据模型损失函数优化所述原始神经网络；
当所述模型损失函数收敛时，停止训练所述机器学习模型，将训练完成的所述原始神经网络作为目标医学成像模型；
其中，所述原始神经网络包括频率域网络FDN以及图像域网络SDN，所述频率域网络FDN与所述图像域网络SDN之间通过傅里叶逆变换IFFT连接；所述模型损失函数包括主损失函数以及至少一个附加损失函数，所述附加损失函数包括k空间损失函数和/或图像域损失函数。
2.根据权利要求1所述的方法，其特征在于，所述频率域网络包括第一预设数量的频率域模块Fnet，其中，每个频率域模块Fnet包含第二预设数量的三维卷积层3D Conv以及一个频率域数据一致层KDC。
3.根据权利要求2所述的方法，其特征在于，根据如下公式计算所述k空间损失函数：
Figure RE-FDA0002005018560000011
其中，Kloss表示k空间损失，Kf表示医学图像的K空间欠采样数据对应的全采样k空间数据，
Figure RE-FDA0002005018560000012
表示第m个频率域模块的输出，M表示频率域模块的数量，αm表示第m个频率域模块对应的k空间损失函数的权重。
4.根据权利要求1所述的方法，其特征在于，所述图像域网络SDN包括第三预设数量的图像域模块Snet，其中，每个图像域模块包含第四预设数量的三维卷积层3D Conv、一个图像域数据一致层IDC以及一个残差连接。
5.根据权利要求4所述的方法，其特征在于，根据如下公式计算所述图像域损失函数：
Figure RE-FDA0002005018560000021
其中，Sloss表示图像域损失，S表示医学图像的K空间欠采样数据对应的全采样的医学图像，Sn表示第n个图像域模块的输出，N表示图像域模块的数量，βn表示第n个图像域模块对应的图像域损失函数的权重。
6.根据权利要求1所述的方法，其特征在于，还包括：
将至少一项所述附加损失函数加权后与所述主损失函数进行求和运算得到模型损失函数。
7.根据权利要求6所述的方法，其特征在于，所述将至少一项所述附加损失函数加权后与所述主损失函数进行求和运算得到模型损失函数，包括：
分别对k空间损失函数和图像域损失函数进行加权；
将所述主损失函数、加权后的k空间损失函数以及加权后的图像域损失函数进行求和运算得到模型损失函数。
8.根据权利要求1所述的方法，其特征在于，还包括：
获取待成像的K空间欠采样数据；
将所述待成像的K空间欠采样数据输入训练完成的所述目标医学成像模型中，得到重建医学图像。
9.一种医学成像模型的建立装置，其特征在于，包括：
训练样本获取模块，用于获取医学图像的K空间欠采样数据作为训练样本；
训练模块，用于将所述训练样本输入至预先构建的所述原始神经网络进行训练，并根据模型损失函数优化所述原始神经网络；
目标医学成像模型确定模块，当所述模型损失函数收敛时，停止训练所述机器学习模型，将训练完成的所述原始神经网络作为目标医学成像模型；
其中，所述原始神经网络包括频率域网络FDN以及图像域网络SDN，所述频率域网络FDN与所述图像域网络SDN之间通过傅里叶逆变换IFFT连接；所述模型损失函数包括主损失函数以及至少一个附加损失函数，所述附加损失函数包括k空间损失函数和/或图像域损失函数。
10.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的医学成像模型的建立方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的医学成像模型的建立方法。
CN201811654047.4A 2018-12-27 2018-12-27 一种医学成像模型的建立方法、装置、设备及存储介质 Withdrawn CN111383742A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811654047.4A CN111383742A (zh) 2018-12-27 2018-12-27 一种医学成像模型的建立方法、装置、设备及存储介质
PCT/CN2019/124239 WO2020135015A1 (zh) 2018-12-27 2019-12-10 一种医学成像模型的建立方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811654047.4A CN111383742A (zh) 2018-12-27 2018-12-27 一种医学成像模型的建立方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111383742A true CN111383742A (zh) 2020-07-07

Family

ID=71126819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811654047.4A Withdrawn CN111383742A (zh) 2018-12-27 2018-12-27 一种医学成像模型的建立方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN111383742A (zh)
WO (1) WO2020135015A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116674A (zh) * 2020-08-13 2020-12-22 香港大学 图像重建方法、装置、终端及存储介质
CN112749802A (zh) * 2021-01-25 2021-05-04 深圳力维智联技术有限公司 神经网络模型的训练方法、装置以及计算机可读存储介质
CN112967185A (zh) * 2021-02-18 2021-06-15 复旦大学 基于频率域损失函数的图像超分辨率算法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112015659A (zh) * 2020-09-02 2020-12-01 三维通信股份有限公司 基于网络模型的预测方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646410A (zh) * 2013-11-27 2014-03-19 中国科学院深圳先进技术研究院 磁共振快速参数成像方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7889950B2 (en) * 2005-08-30 2011-02-15 The Regents Of The University Of California, Santa Cruz Kernel regression for image processing and reconstruction
CN106373109B (zh) * 2016-08-31 2018-10-26 南方医科大学 一种医学图像模态合成的方法
CN107064845B (zh) * 2017-06-06 2019-07-30 深圳先进技术研究院 基于深度卷积网的一维部分傅里叶并行磁共振成像方法
CN107633486B (zh) * 2017-08-14 2021-04-02 成都大学 基于三维全卷积神经网络的结构磁共振图像去噪方法
CN107507148B (zh) * 2017-08-30 2018-12-18 南方医科大学 基于卷积神经网络去除磁共振图像降采样伪影的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646410A (zh) * 2013-11-27 2014-03-19 中国科学院深圳先进技术研究院 磁共振快速参数成像方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHANSHAN WANG等: "《DIMENSION：Dynamic MR Imaging with Both K-space and Spatial Prior Knowledge Obtained via Multi-Supervised Network Training》" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116674A (zh) * 2020-08-13 2020-12-22 香港大学 图像重建方法、装置、终端及存储介质
CN112749802A (zh) * 2021-01-25 2021-05-04 深圳力维智联技术有限公司 神经网络模型的训练方法、装置以及计算机可读存储介质
CN112749802B (zh) * 2021-01-25 2024-02-09 深圳力维智联技术有限公司 神经网络模型的训练方法、装置以及计算机可读存储介质
CN112967185A (zh) * 2021-02-18 2021-06-15 复旦大学 基于频率域损失函数的图像超分辨率算法

Also Published As

Publication number Publication date
WO2020135015A1 (zh) 2020-07-02

Similar Documents

Publication Publication Date Title
CN111383741B (zh) 医学成像模型的建立方法、装置、设备及存储介质
CN111383742A (zh) 一种医学成像模型的建立方法、装置、设备及存储介质
CN110074813B (zh) 一种超声图像重建方法及系统
CN103052959B (zh) 具有优化递归的高效计算层析摄影术
WO2020134826A1 (zh) 磁共振并行成像方法及相关设备
US10627470B2 (en) System and method for learning based magnetic resonance fingerprinting
WO2020114329A1 (zh) 磁共振快速参数成像方法及装置
KR20120138256A (ko) 고효율 컴퓨터 단층 촬영
CN109658468B (zh) 磁共振参数成像方法、装置、设备及存储介质
CN111462020A (zh) 心脏图像的运动伪影校正方法、系统、存储介质和设备
CN113674172B (zh) 一种图像处理方法、系统、装置及存储介质
Kelkar et al. Prior image-constrained reconstruction using style-based generative models
CN117011673B (zh) 基于噪声扩散学习的电阻抗层析成像图像重建方法和装置
CN110827369A (zh) 欠采样模型生成方法、图像重建方法、设备和存储介质
CN110570487A (zh) 欠采样模型生成方法、图像重建方法、装置和计算机设备
CN111681297B (zh) 图像重建方法、计算机设备和存储介质
CN111714124A (zh) 磁共振电影成像方法、装置、成像设备及存储介质
CN105931184B (zh) 基于联合优化的sar图像超分辨率方法
CN115830462B (zh) 基于循环一致性对抗网络的sar图像重构方法及装置
CN112801908B (zh) 图像去噪方法、装置、计算机设备和存储介质
CN112336337B (zh) 磁共振参数成像模型的训练方法及训练装置、介质和设备
CN114758783A (zh) 深度学习的弹性成像方法、装置、计算机设备和存储介质
CN115115723A (zh) 图像重建模型生成及图像重建方法、装置、设备和介质
EP4343680A1 (en) De-noising data
US20240105328A1 (en) Neural network simulator for ultrasound images and clips

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200707