CN113205567A - 基于深度学习的mri影像合成ct影像的方法 - Google Patents

基于深度学习的mri影像合成ct影像的方法 Download PDF

Info

Publication number
CN113205567A
CN113205567A CN202110446744.6A CN202110446744A CN113205567A CN 113205567 A CN113205567 A CN 113205567A CN 202110446744 A CN202110446744 A CN 202110446744A CN 113205567 A CN113205567 A CN 113205567A
Authority
CN
China
Prior art keywords
image
mri
network
images
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110446744.6A
Other languages
English (en)
Inventor
韩舒凉
冯瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Zhuhai Fudan Innovation Research Institute
Original Assignee
Fudan University
Zhuhai Fudan Innovation Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University, Zhuhai Fudan Innovation Research Institute filed Critical Fudan University
Priority to CN202110446744.6A priority Critical patent/CN113205567A/zh
Publication of CN113205567A publication Critical patent/CN113205567A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于深度学习的MRI影像合成CT影像的方法，用于在已有MRI影像的基础上，通过深度学习中的全卷积神经网络与对抗式生成网络，以监督学习训练的方式跨模态生成相应的伪CT影像，具体包括如下步骤：步骤S1，选取原始MRI影像作和原始CT影像分别作为浮动影像以及和参考影像，而后进行N4偏置校正和标准化获得预处理后的MRI及CT影像；步骤S2，采用预处理MRI影像和预处理CT影像训练用于MRI影像合成CT影像的对抗式生成网络模型；步骤S3，将预处理MRI影像输入MRI影像合成CT影像的对抗式生成网络模型，从而将预处理MRI影像转换为合成CT影像。

Description

基于深度学习的MRI影像合成CT影像的方法
技术领域
本发明属于计算机视觉领域以及医疗影像领域，涉及一种跨模态医学影像生成方法，具体涉及一种基于深度学习的MRI影像合成CT影像的方法。
背景技术
医学影像对于医学诊断及治疗具有重要意义。通常在诊断及治疗过程中，由于单一模态数据的局限性，医生需要通过不同模态的数据作为诊断依据以及辅助治疗。CT(计算机断层扫描)与MRI(磁共振成像)往往是医生常用的参考影像。CT是目前图像引导放射治疗过程中常用的基准影像，能够提供制定放疗剂量计划所需要的密度信息，且有空间分辨率高，操作简洁的优点。然而相较于MRI成像，其对软组织成像的对比度较差，并且扫描过程中存在的电离辐射可能会增加二次癌症的风险。MRI影像与电子密度无直接联系，因而无法用于剂量计算以及患者的摆位验证，但其对软组织高对比度的成像有助于精确勾画靶区并观察相应变化。然而同时做CT及MRI一定程度增加了患者的经济及身体负担，且通过影像配准技术对CT及MRI影像进行空间上配准的方法可能存在误差，从而影响治疗的准确性。因而单独使用MRI影像作为辅助放射治疗的方法是该领域的热点研究问题。
为了解决上述问题，早期研究人员使用手动或半自动的方法对MRI影像的不同组织进行分割分类，通过分类结果为不同的组织人工分配相应的电子密度及衰减值从而获取合成CT。该方法工作量大且不具有泛化性，且实验结果与不同主体分割分类的精度相关性过高，因而对于不同主体，在准确度上存在较大差异。随后研究人员提出了基于图谱的方法，该方法基于图像空间域上两个模态影像的配准变换，实验的结果与配准的结果强相关。由于配准结果必然存在系统误差，该方法的实验结果对于前述问题的解决能力较差。随后研究人员着力于基于体素应用机器学习方法从而获取合成CT，具体方法主要分为回归及聚类，然而这些方法会受到解剖结构的局限。
近年来，随着深度学习的不断发展，一方面卷积神经网络及其发展在图像特征提取的分割、分类问题上效果显著；另一方面对抗式生成网络在图像域变换上的应用得到了良好的发展，对于非刚体的图像变换取得了显著的成果。而深度学习在医学图像领域的应用也随之称为热点问题。对于深度学习应用于跨模态的医学影像的生成问题，有研究人员提出了深度卷积神经网络基于MRI生成CT的方法，该方法实验结果较前述方法在实验结果上存在较大改进。同时一些研究人员采用条件对抗生成网络作为生成器用于患者CT的合成问题。
然而，受限于样本数据量少，影像在采样重建的过程中丢失或扭曲关键信息等问题，造成实验结果精度不够，泛化性较差的场景一直存在。而在现实情况中，由于CT及MRI成像原理的不同，及拍摄仪器、光照、技术、角度、以及位偏移等问题的存在也对实验结果产生一定影响，跨模态影像生成任务面临重重困难。并且医学影像本身对精度要求极高，生成影像必须具有与实际影像极为相似的特征以及分布信息才能够用于实际应用。
发明内容
本发明是为了解决上述问题而进行的，目的在于提供一种基于深度学习的MRI影像合成CT影像的方法，用于在已有的原始MRI影像的基础上，通过深度学习中的全卷积神经网络与对抗式生成网络，以监督学习训练的方式跨模态生成相应的合成CT影像。
本发明提供了一种基于深度学习的MRI影像合成CT影像的方法，具有这样的特征，包括如下步骤：
步骤S1，选取原始MRI和CT影像分别作为浮动影像以及参考影像，而后进行N4偏置校正和标准化获得预处理后的MRI及CT影像；
步骤S2，采用S1预处理MRI影像和预处理CT影像训练用于将MRI影像合成CT影像的对抗式生成网络模型；
步骤S3，将预处理MRI影像输入MRI影像合成CT影像的对抗式生成网络模型，从而将预处理MRI影像转换为合成CT影像。
其中，MRI影像合成CT影像的对抗式生成网络模型包括生成器网络和判别器网络，步骤S2具体包括如下子步骤：
步骤T1，构建MRI影像合成CT影像的初始对抗式生成网络模型；
步骤T2，将多张预处理MRI影像作为输入，经由生成器后得到合成sCT影像，sCT影像为预处理MRI影像经由生成器网络后的合成CT影像；
步骤T3，将合成sCT影像与相对应的经过S1步骤中预处理的真实CT影像作为判别器网络的训练集的训练数据，输入到判别器网络中并训练判别器网络；
步骤T4，将预处理MRI影像和预处理CT影像的一次训练作为一个epoch，对训练数据重复步骤T2至步骤T3的训练过程，观察生成器网络的损失函数与判别器网络的损失函数直至收敛后停止训练，得到MRI影像合成CT影像的对抗式生成网络模型。
在本发明提供的基于深度学习的MRI影像合成CT影像的方法中，还可以具有这样的特征：其中，步骤T2具体包括如下子步骤：
步骤T2-1，将训练集中的各个MRI训练影像依次输入构建好的MRI影像合成CT影像的对抗式生成网络模型的生成器网络，并进行一次迭代；
步骤T2-2，迭代后的生成器网络输出的图像即为合成的sCT影像，计算合成CT影像的对抗损失L1：
L1＝LBCE(D(G(X)),1) (1)；
步骤T2-3，通过生成器网络的最后一层参数，算出合成CT影像与其对应的真实的预处理CT影像的欧氏距离L2：
L2＝LG(X,Y)＝||Y-GX)|2 2 (2)；
步骤T2-4，对生成器网络输出的合成CT影像，计算其与对应的标准CT影像之间的图像梯度差损失函数L3：
Figure BDA0003037222170000051
步骤T2-5，计算总损失函数LG：
LG＝λ1L1+λ2L2+λ3L3 (4)；
步骤T2-6，对于训练集中的所有训练数据，重复步骤T2-1至步骤T2-5直至达到训练完成条件，得到训练后的MRI影像合成CT影像的对抗式生成网络模型中的生成器网络，
式(1)-式(4)中，LBCE表示对交叉熵损失范式的计算，计算方法为：
Figure BDA0003037222170000052
G(X)表示原始MRI影像经由生成器网络后得到的sCT影像，D(G(X))表示sCT影像经由判别器网络后得到的值，同理，Yi表示样本i对应的真实CT影像，
Figure BDA0003037222170000053
表示样本i对应的sCT影像，LGDL中的梯度
Figure BDA0003037222170000054
表示在三维笛卡尔坐标系中，沿三个轴x、y、z方向上图像的梯度，λ1表示对抗损失的权重，λ2表示欧氏距离正则化的学习率，λ3表示图像梯度差损失正则化的学习率，且λ1＝0.5，λ2＝λ3＝1。
在本发明提供的基于深度学习的MRI影像合成CT影像的方法中，还可以具有这样的特征：其中，步骤T3具体包括如下子步骤：
步骤T3-1，以MRI影像合成CT影像的对抗式生成网络模型的生成器网络输出的合成CT影像作为判别器网络的输入，通过判别器网络计算该合成CT影像的特征及分布信息与真实CT影像的差异，并且计算出相应的损失函数LD：
Figure BDA0003037222170000061
步骤T3-2，通过损失函数LD以及判别器网络的最后一层参数，反向传播从而更新网络参数；
步骤T3-3，对于训练过程中生成器网络的不断优化，将其输出的合成CT影像作为输入，重复步骤T3-1至步骤T3-2，直至达到训练完成条件，得到训练后的MRI影像合成CT影像的对抗式生成网络模型中的判别器网络，
式(5)中，G(X)表示原始MRI影像经由生成器网络后得到的sCT影像，Y表示原始MRI影像对应的真实CT影像，
Figure BDA0003037222170000062
表示原始MRI影像对应的sCT影像，LBCE表示对交叉熵损失范式的计算，计算方式同式(1)中的LBCE。
在本发明提供的基于深度学习的MRI影像合成CT影像的方法中，还可以具有这样的特征：其中，步骤T4中，判别器网络的损失函数的取值在[0，1]之间。
发明的作用与效果
根据本方面所涉及的基于深度学习的MRI影像合成CT影像的方法，因为使用成对的MRI影像与CT影像对初始模型进行监督训练，所以使得模型初步具备对MRI影像转换为合成CT影像的性能，而后，采用主动学习方法并利用训练后的对抗式生成网络模型来对训练集以外的MRI影像数据进行验证，因而能够将这些数据作为模型训练结果在精度上的评价标准。此外，本发明的基于深度学习的MRI影像合成CT影像的方法能够通过对抗式生成网络模型高效地将不同模态的MRI影像生成相应的合成CT影像，并对模型的泛化性能和精度在峰值信噪比等衡量指标上进行定量验证。
因此，采用本发明的基于深度学习的MRI影像合成CT影像的方法，能够在已有的MRI模态影像的基础上，通过深度学习中的全卷积神经网络与对抗式生成网络，以监督学习训练的方式跨模态生成相应的合成CT影像，且实验结果的精度高，场景的泛化性较好。
附图说明
图1是本发明的实施例中基于深度学习的MRI影像合成CT影像方法的流程图；
图2是本发明的实施例中基于深度学习的MRI影像合成CT影像方法训练步骤的流程图；
图3是本发明的实施例中基于深度学习的MRI影像合成CT影像方法中生成器网络的结构示意图；
图4是本发明的实施例中基于深度学习的MRI影像合成CT影像方法中判别器网络的结构示意图。
具体实施方式
为了使本发明实现的技术手段与功效易于明白了解，以下结合实施例及附图对本发明作具体阐述。
实施例：
本实施例的一种基于深度学习的MRI影像合成CT影像方法通过一台计算机运行，该计算机需要一张显卡进行GPU加速从而完成模型的训练过程，训练完成的MRI影像合成CT影像的对抗式生成网络模型模型以可执行代码的形式存储在计算机中。
本实施例中，采用的数据集为同一病例不同模态的MRI影像及CT影像。
图1是本发明的实施例中基于深度学习的MRI影像合成CT影像方法的流程图。
如图1所示，本实施例提供一种基于深度学习的MRI影像合成CT影像的方法，用于在已有的原始MRI影像的基础上跨模态生成相应的合成CT影像，包括如下步骤：
步骤S1，选取原始MRI影像作和原始CT影像分别作为浮动影像以及和参考影像，而后进行N4偏置校正及标准化预处理获得预处理后的MRI及CT影像。
图2是本发明的实施例中基于深度学习的MRI影像合成CT影像方法训练步骤的流程图
步骤S2，采用预处理MRI影像和预处理CT影像训练用于将MRI影像合成CT影像的对抗式生成网络模型，如图2所示。
本实施例中，本实施例中，MRI影像合成CT影像的对抗式生成网络模型是预先通过模型训练步骤训练获得的并处存在计算机中，计算机可以通过可执行代码调用该模型并同时批量处理多张MRI影像，得到并输出每张MRI影像通过网络模型转化后的合成CT影像。
本实施例中，MRI影像合成CT影像的对抗式生成网络模型的输出维数是二维，表示原始MRI影像经过深度学习网络模型的图像非线性变换后转化为的合成CT影像。
其中，MRI影像合成CT影像的对抗式生成网络模型包括生成器网络和判别器网络，生成器网络用于将MRI影像通过非线性图像变换转化为合成CT影像，判别器网络用于将生成器网络输出的合成CT影像与真实的对应CT影像作为对比，比较二者之间的差异性并计算损失函数。
在训练过程中，随着网络的训练，合成CT影像的质量将不断提升，判别器网络用于判别合成CT影像的准确性，是一个二分类器，且判别器网络以生成器网络的输出即合成CT影像及真实的CT影像作为输入，并且输出合成CT影像被判别为真实CT影像的定量标准。
图3是本发明的实施例中基于深度学习的MRI影像合成CT影像方法中生成器网络的结构示意图，图4是本发明的实施例中基于深度学习的MRI影像合成CT影像方法中判别器网络的结构示意图。
具体地，如图3所示，生成器网络为全卷积网络架构，包括依次设置的输入层、9个不同的卷积层以及输出层，由于使用了全卷积网络对三维影像特征进行提取，舍弃了传统卷积层中的全连接操作；如图4所示，判别器网络为卷积网络分类器模型架构，包括依次设置的输入层、4个不同的卷积层、最大池化层以及3个不同的全连接层。
本实施例中，步骤S2具体包括如下子步骤：
步骤T1，构建MRI影像合成CT影像的初始对抗式生成网络模型，其中，模型包含生成器网络与判别器网络两个部分，生成器网络用于将MRI影像通过非线性图像变换转化为合成CT影像，判别器网络用于将生成器网络输出的合成CT影像与真实的对应CT影像作为对比，比较二者之间的差异性并计算损失函数。
本实施例中，MRI影像合成CT影像的初始对抗式生成网络模型的生成器网络以全卷积神经网络为骨干，判别器网络以传统卷积神经网络为骨干，利用现有的深度学习框架PyTorch完成模型的搭建。同时，两个网络相互进行博弈，判别器网络的作用是判别生成器网络的输出图像是否与真实图像相似，生成器网络的作用是尽可能的使生成的合成CT影像能够通过判别器的判定，且网络结构中包含多层超参数，初始值以随机数生成的方式进行赋值；生成器网络由全卷积模块、ReLU激活层、批量归一化层(BatchNormalization)、欧式距离及图像梯度损失模块构建而成，判别器网络由卷积层、ReLU激活层、Sigmoid激活层、最大池化层、全连接层组成。具体网络结构将在后文中详述。
步骤T2，将多张预处理MRI影像作为输入，经由生成器后得到合成sCT影像，sCT影像为预处理MRI影像经由生成器网络后的合成CT影像。
本实施例中，进行初始训练时，合成CT影像可能不具有明显的CT影像特征，影像的质量将随着模型的训练逐渐提升，并最终具有与真实CT影像相近的结构，此外，将训练集中的MRI影像分批次进入生成器网络模型中进行训练，步骤T2具体包括如下子步骤:
步骤T2-1，将训练集中的各个MRI训练影像依次输入构建好的MRI影像合成CT影像的对抗式生成网络模型的生成器网络，并进行一次迭代。
步骤T2-2，迭代后的生成器网络输出的图像即为合成CT影像，计算合成CT影像的对抗损失L1，其公式为：
L1＝LBCE(D(G(X)),1) (1)。
本实施例中，对抗损失L1作为衡量生成器作为判别器网络判别结果的有效性指标，用于约束生成器网络的生成影像质量。
步骤T2-3，通过生成器网络的最后一层参数，算出合成CT影像与其对应的真实的预处理CT影像的欧氏距离L2，其公式为：
L2＝LG(X,Y)＝||Y-G(X)||2 2 (2)。
本实施例中，欧氏距离L2作为生成影像与真实影像的定量评价指标，表示二者之间的区别。
步骤T2-4，对生成器网络输出的合成CT影像，计算其与对应的标准CT影像之间的梯度差损失函数L3，并通过不同坐标轴位上的相邻像素差作为损失度量，其公式为：
Figure BDA0003037222170000111
步骤T2-5，计算总损失函数LG：
LG＝λ1L1+λ2L2+λ3L3 (4)。
步骤T2-6，对于训练集中的所有训练数据，重复步骤T2-1至步骤T2-5直至达到训练完成条件，得到训练后的MRI影像合成CT影像的对抗式生成网络模型中的生成器网络。
式(1)-式(4)中，LBCE表示对交叉熵损失范式的计算，计算方法为：
Figure BDA0003037222170000121
G(X)表示原始MRI影像经由生成器网络后得到的sCT影像，D(G(X))表示sCT影像经由判别器网络后得到的值，同理，Yi表示样本i对应的真实CT影像，
Figure BDA0003037222170000122
表示样本i对应的sCT影像，LGDL中的梯度
Figure BDA0003037222170000123
表示在三维笛卡尔坐标系中，沿三个轴x、y、z方向上图像的梯度，λ1表示对抗损失的权重，λ2表示欧氏距离正则化的学习率，λ3表示图像梯度差损失正则化的学习率，且λ1＝0.5，λ2＝λ3＝1。
上述的生成器网络的训练过程中，每次迭代即训练图像通过网络后，网络的最后一层的网络参数会分别计算出损失误差函数，该损失误差函数包括交叉熵函数、欧式距离函数、梯度差损失函数三者的加权和，然后将计算得到的损失函数反向传播，采用自适应动量估计方法进行参数优化，学习率为10-6，从而更新网络参数。另外，生成器网络的训练的训练完成条件综合生成器网络与判别器网络二者的损失函数，当各层的模型参数大致收敛后完成训练。
步骤T3，将合成CT影像与相对应的真实的预处理CT影像作为判别器网络的训练集的训练数据，输入到判别器网络中并训练判别器网络，经由判别器网络判别两幅图像的之间的损失函数，损失函数的值表示两幅图像之间的相似性，即判别合成CT影像的真假。
本实施例中，将生成器网络生成的合成CT影像分批次进入判别器网络中进行训练，步骤T3具体包括如下子步骤：
步骤T3-1，以MRI影像合成CT影像的对抗式生成网络模型的生成器网络输出的合成CT影像作为判别器网络的输入，通过判别器网络计算该合成CT影像的特征及分布信息与真实CT影像的差异，并且计算出相应的损失函数LD：
Figure BDA0003037222170000131
步骤T3-2，通过损失函数LD以及判别器网络的最后一层参数，反向传播从而更新网络参数；
步骤T3-3，对于训练过程中生成器网络的不断优化，将其输出的合成CT影像作为输入，重复步骤T3-1至步骤T3-2，直至达到训练完成条件，得到训练后的MRI影像合成CT影像的对抗式生成网络模型中的判别器网络，
式中，G(X)表示原始MRI影像经由生成器网络后得到的sCT影像，Y表示原始MRI影像对应的真实CT影像，
Figure BDA0003037222170000132
表示原始MRI影像对应的sCT影像，LBCE表示对交叉熵损失范式的计算，计算方式同式(1)中的LBCE。
经过上述迭代训练并在迭代过程中进行误差计算和反向传播的过程，即可获得训练完成的MRI影像合成CT影像的对抗式生成网络模型中的判别器网络。
步骤T4，将预处理MRI影像和预处理CT影像的一次训练作为一个epoch，对训练数据重复步骤T2至步骤T3的训练过程，观察生成器网络的损失函数与判别器网络的损失函数直至收敛后停止训练，得到MRI影像合成CT影像的对抗式生成网络模型。
本实施例中，生成器网络的损失函数与判别器网络的损失函数的取值均在[0，1]之间，表示合成CT影像是否被判别为真实CT影像，0表示判别器认为合成CT影像为假，1表示判别器认为合成CT影像为真。
步骤S3，将预处理MRI影像输入MRI影像合成CT影像的对抗式生成网络模型，从而将预处理MRI影像转换为合成CT影像。
本实施例中MRI影像合成CT影像的对抗式生成网络模型学习到的是通过同一个人的MRI图像及其CT图像特征之间的联系，从而跨模态的通过MRI影像生成CT影像。
实施例的作用与效果
根据本实施例所涉及的基于深度学习的MRI影像合成CT影像的方法，因为使用成对的MRI影像与CT影像对初始模型进行监督训练，所以使得模型初步具备对MRI影像转换为合成CT影像的性能，而后，采用主动学习方法并利用训练后的对抗式生成网络模型来对训练集以外的MRI影像数据进行验证，因而能够将这些数据作为模型训练结果在精度上的评价标准。此外，本实施例的基于深度学习的MRI影像合成CT影像的方法能够通过对抗式生成网络模型高效地将不同模态的MRI影像生成相应的合成CT影像，并对模型的泛化性能和精度在峰值信噪比等衡量指标上进行定量验证。
因此，采用本实施例的基于深度学习的MRI影像合成CT影像的方法，能够在已有的MRI模态影像的基础上，通过深度学习中的全卷积神经网络与对抗式生成网络，以监督学习训练的方式跨模态生成相应的合成CT影像，且实验结果的精度高，场景的泛化性较好。
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

Claims (4)

1.一种基于深度学习的MRI影像合成CT影像的方法，用于在已有的原始MRI影像的基础上跨模态生成相应的合成CT影像，其特征在于，包括如下步骤：
步骤S1，选取所述原始MRI和CT影像分别作为浮动影像及参考影像，而后进行N4偏置校正和标准化获得预处理后的MRI及CT影像。
步骤S2，采用S1所述预处理MRI影像和所述预处理CT影像训练用于将MRI影像合成CT影像的对抗式生成网络模型；
步骤S3，将所述预处理MRI影像输入所述MRI影像合成CT影像的对抗式生成网络模型，从而将所述预处理MRI影像转换为合成CT影像，
其中，所述MRI影像合成CT影像的对抗式生成网络模型包括生成器网络和判别器网络，所述步骤S2具体包括如下子步骤：
步骤T1，构建MRI影像合成CT影像的初始对抗式生成网络模型；
步骤T2，将多张所述预处理MRI影像作为输入，经由所述生成器网络后得到合成sCT影像，所述sCT影像为预处理MRI影像经由所述生成器网络后的合成CT影像；
步骤T3，将所述合成sCT影像与相对应的经过S1步骤中预处理的真实CT影像作为所述判别器网络的训练集的训练数据，输入到所述判别器网络中并训练所述判别器网络；
步骤T4，将所述预处理MRI影像和所述预处理CT影像的一次训练作为一个epoch，对所述训练数据重复步骤T2至步骤T3的训练过程，观察所述生成器网络的损失函数与所述判别器网络的损失函数直至收敛后停止训练，得到所述MRI影像合成CT影像的对抗式生成网络模型。
2.根据权利要求1所述的基于深度学习的MRI影像合成CT影像的方法，其特征在于：
其中，所述步骤T2具体包括如下子步骤：
步骤T2-1，将所述训练集中的各个MRI训练影像依次输入构建好的所述MRI影像合成CT影像的对抗式生成网络模型的生成器网络，并进行一次迭代；
步骤T2-2，迭代后的生成器网络输出的图像即为合成sCT影像，计算所述合成CT影像的对抗损失L1：
L1＝LBCE(D(G(X)),1) (1)；
步骤T2-3，通过所述生成器网络的最后一层参数，算出所述合成CT影像与其对应的真实的所述预处理CT影像的欧氏距离L2：
L2＝LG(X,Y)＝||Y-G(X)||2 2 (2)；
步骤T2-4，对所述生成器网络输出的合成CT影像，计算其与对应的标准CT影像之间的图像梯度差损失函数L3：
Figure FDA0003037222160000021
步骤T2-5，计算总损失函数LG：
LG＝λ1L1+λ2L2+λ3L3 (4)；
步骤T2-6，对于所述训练集中的所有训练数据，重复步骤T2-1至步骤T2-5直至达到训练完成条件，得到训练后的所述MRI影像合成CT影像的对抗式生成网络模型中的所述生成器网络，
式(1)-式(4)中，LBCE表示对交叉熵损失范式的计算，计算方法为：
Figure FDA0003037222160000031
G(X)表示原始MRI影像经由生成器网络后得到的sCT影像，D(G(X))表示sCT影像经由判别器网络后得到的值，同理，Yi表示样本i对应的真实CT影像，
Figure FDA0003037222160000032
表示样本i对应的sCT影像，LGDL中的梯度
Figure FDA0003037222160000033
表示在三维笛卡尔坐标系中，沿三个轴x、y、z方向上图像的梯度，λ1表示对抗损失的权重，λ2表示欧氏距离正则化的学习率，λ3表示图像梯度差损失正则化的学习率，且λ1＝0.5，λ2＝λ3＝1。
3.根据权利要求1所述的基于深度学习的MRI影像合成CT影像的方法，其特征在于：
其中，所述步骤T3具体包括如下子步骤：
步骤T3-1，以所述MRI影像合成CT影像的对抗式生成网络模型的所述生成器网络输出的所述合成CT影像作为所述判别器网络的输入，通过所述判别器网络计算该合成CT影像的特征及分布信息与真实CT影像的差异，并且计算出相应的损失函数LD：
Figure FDA0003037222160000034
步骤T3-2，通过所述损失函数LD以及所述判别器网络的最后一层参数，反向传播从而更新网络参数；
步骤T3-3，对于训练过程中所述生成器网络的不断优化，将其输出的所述合成CT影像作为输入，重复步骤T3-1至步骤T3-2，直至达到训练完成条件，得到训练后的所述MRI影像合成CT影像的对抗式生成网络模型中的所述判别器网络，
式(5)中，G(X)表示原始MRI影像经由生成器网络后得到的sCT影像，Y表示原始MRI影像对应的真实CT影像，
Figure FDA0003037222160000041
表示原始MRI影像对应的sCT影像，LBCE表示对交叉熵损失范式的计算，计算方式同式(1)中的LBCE。
4.根据权利要求3所述的基于深度学习的MRI影像合成CT影像的方法，其特征在于：
其中，所述步骤T3中，所述判别器网络的损失函数的取值均在[0，1]之间。
CN202110446744.6A 2021-04-25 2021-04-25 基于深度学习的mri影像合成ct影像的方法 Pending CN113205567A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110446744.6A CN113205567A (zh) 2021-04-25 2021-04-25 基于深度学习的mri影像合成ct影像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110446744.6A CN113205567A (zh) 2021-04-25 2021-04-25 基于深度学习的mri影像合成ct影像的方法

Publications (1)

Publication Number Publication Date
CN113205567A true CN113205567A (zh) 2021-08-03

Family

ID=77028386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110446744.6A Pending CN113205567A (zh) 2021-04-25 2021-04-25 基于深度学习的mri影像合成ct影像的方法

Country Status (1)

Country Link
CN (1) CN113205567A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385329A (zh) * 2023-06-06 2023-07-04 之江实验室 基于特征融合的多层知识蒸馏医学影像生成方法和装置
WO2024017111A1 (zh) * 2022-07-20 2024-01-25 中国人民解放军总医院第一医学中心 基于深度学习的3t磁共振图像生成7t磁共振图像的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019199699A1 (en) * 2018-04-13 2019-10-17 Elekta, Inc. Image synthesis using adversarial networks
CN110580695A (zh) * 2019-08-07 2019-12-17 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备
US20200000362A1 (en) * 2018-06-29 2020-01-02 Mayo Foundation For Medical Education And Research Systems, methods, and media for automatically diagnosing intraductal papillary mucinous neosplasms using multi-modal magnetic resonance imaging data
CN112101523A (zh) * 2020-08-24 2020-12-18 复旦大学附属华山医院 基于深度学习的cbct图像跨模态预测cta图像的卒中风险筛查方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019199699A1 (en) * 2018-04-13 2019-10-17 Elekta, Inc. Image synthesis using adversarial networks
US20200000362A1 (en) * 2018-06-29 2020-01-02 Mayo Foundation For Medical Education And Research Systems, methods, and media for automatically diagnosing intraductal papillary mucinous neosplasms using multi-modal magnetic resonance imaging data
CN110580695A (zh) * 2019-08-07 2019-12-17 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备
CN112101523A (zh) * 2020-08-24 2020-12-18 复旦大学附属华山医院 基于深度学习的cbct图像跨模态预测cta图像的卒中风险筛查方法和系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DONG NIE等: "Medical Image Synthesis with Deep Convolutional Adversarial Networks", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 *
RUI FENG等: "Learning Fair Representations via an Adversarial Framework", 《ARXIV》 *
董国亚等: "基于深度学习的跨模态医学图像转换", 《中国医学物理学杂志》 *
陈锟等: "生成对抗网络在医学图像处理中的应用", 《生命科学仪器》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024017111A1 (zh) * 2022-07-20 2024-01-25 中国人民解放军总医院第一医学中心 基于深度学习的3t磁共振图像生成7t磁共振图像的方法
CN116385329A (zh) * 2023-06-06 2023-07-04 之江实验室 基于特征融合的多层知识蒸馏医学影像生成方法和装置
CN116385329B (zh) * 2023-06-06 2023-08-29 之江实验室 基于特征融合的多层知识蒸馏医学影像生成方法和装置

Similar Documents

Publication Publication Date Title
Liu et al. Automatic segmentation of the prostate on CT images using deep neural networks (DNN)
Spadea et al. Deep learning based synthetic‐CT generation in radiotherapy and PET: a review
US11756160B2 (en) ML-based methods for pseudo-CT and HR MR image estimation
Bahrami et al. Comparison of different deep learning architectures for synthetic CT generation from MR images
US10943349B2 (en) Positron emission tomography system and image reconstruction method using the same
JP2022544229A (ja) オブジェクト検出を用いて位置特定された医用画像の三次元オブジェクトセグメンテーション
Gholamiankhah et al. Deep learning-based synthetic CT generation from MR images: comparison of generative adversarial and residual neural networks
CN110363797B (zh) 一种基于过度形变抑制的pet与ct图像配准方法
Yang et al. Synthesizing multi-contrast MR images via novel 3D conditional Variational auto-encoding GAN
WO2016033458A1 (en) Restoring image quality of reduced radiotracer dose positron emission tomography (pet) images using combined pet and magnetic resonance (mr)
CN113205567A (zh) 基于深度学习的mri影像合成ct影像的方法
Singh et al. Medical image generation using generative adversarial networks
Ferreira et al. GAN-based generation of realistic 3D data: A systematic review and taxonomy
CN114881848A (zh) 一种多序列mr转ct的方法
Zhou et al. 3D segmentation guided style-based generative adversarial networks for pet synthesis
US20210393229A1 (en) Single or a few views computed tomography imaging with deep neural network
Poonkodi et al. 3d-medtrancsgan: 3d medical image transformation using csgan
Peng et al. Interpretable mathematical model-guided ultrasound prostate contour extraction using data mining techniques
Wang et al. Deep transfer learning-based multi-modal digital twins for enhancement and diagnostic analysis of brain mri image
Esmaeili et al. Generative adversarial networks for anomaly detection in biomedical imaging: A study on seven medical image datasets
Lee et al. Improvement of megavoltage computed tomography image quality for adaptive helical tomotherapy using cycleGAN‐based image synthesis with small datasets
Gong et al. Locally adaptive total p-variation regularization for non-rigid image registration with sliding motion
Nie et al. A super‐resolution framework for the reconstruction of T2‐weighted (T2w) time‐resolved (TR) 4DMRI using T1w TR‐4DMRI as the guidance
Lei et al. Generative adversarial network for image synthesis
CN116363248A (zh) 单平面X-Ray影像合成CT影像的方法、系统、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210803