CN113205472A - 基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法 - Google Patents

基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法 Download PDF

Info

Publication number
CN113205472A
CN113205472A CN202110431489.8A CN202110431489A CN113205472A CN 113205472 A CN113205472 A CN 113205472A CN 202110431489 A CN202110431489 A CN 202110431489A CN 113205472 A CN113205472 A CN 113205472A
Authority
CN
China
Prior art keywords
image
training
network cyclegan
model
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110431489.8A
Other languages
English (en)
Inventor
王润涵
冯瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Zhuhai Fudan Innovation Research Institute
Original Assignee
Fudan University
Zhuhai Fudan Innovation Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University, Zhuhai Fudan Innovation Research Institute filed Critical Fudan University
Priority to CN202110431489.8A priority Critical patent/CN113205472A/zh
Publication of CN113205472A publication Critical patent/CN113205472A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明属于计算机视觉领域，提供了一种基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法，使用了CycleGAN模型模型，可以生成对目标模态真实影像具有良好近似度的合成影像，而采用了循环的网络结构可以将模型的训练集由两两配对的源模态与目标模态影像的限制弱化为不需要配对的影像，这使得模型的训练难度降低，使用场景更广。同时，本发明能够通过跨模态MR影像互生成模型获得较为真实的不同模态MR影像，相较于简单的数据增强方法，合成影像具有更好的保真度并保留了更多的生物组织结构信息的优势，能够作为MR影像的分割、分类等下游任务的模型的训练数据，起到了扩充训练集和数据增强的作用，能够有效缓解MR影像获取难度大和数据稀缺的问题。

Description

基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成 方法
技术领域
本发明属于计算机视觉领域，具体涉及一种基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法。
背景技术
核磁共振成像技术是一种常用的且十分重要的疾病监测技术，核磁共振医学影像(MR印象)可以反映人体器官的侧面、冠状、矢状以及任何方向截断面的影像和人体器官的丰富的纹理信息，因此MR影像被广泛地用于临床诊断(如疾病的早期诊断)、手术模拟以及生物组织物理特性的评估。作为软组织病灶评估的首选方法，MR影像可以提供多种不同的对比度，通过同一处病理的不同对比度影像，提供更加丰富的诊断信息。如T1加权影像对于灰质和白质的描述很有效，而T2加权影像对于流体和脂肪的描述则更有用，其中T1与T2是MR成像过程中的两种弛豫时间，表示两种不同模态的MR影像。
近年来，随着深度学习的不断发展，MR成像技术在医学影像分析领域越发重要。对MR影像进行分类、分割等任务的神经网络深度学习模型需要大量的样本作为训练集，而MR影像不同于人脸、服装等影像，它涉及到病人的隐私等问题，一般难以获取到大量数据。同时，大量拍摄MR影像也存在着成本高昂，速度缓慢等缺点。
目前解决医学影像样本稀缺问题主要采用的是数据集扩充的方式，传统的数据集扩充方法包括旋转、翻转、裁剪等，但是这些方法只提供全局影像变换，不改变影像的细节，使得产生的影像是高度相似的，这会导致深度学习模型过拟合，影响得到的最终影像。随着生成对抗网络(GAN)的产生和不断发展，提升了医学影像的生成质量和生成速度，其仅利用相同特征分布的影像数据，通过特征提取的方式进行影像的生成，为医学影像合成提供了新的思路。然而由于GAN利用随机噪声生成影像不能模拟生物组织的纹理结构信息的局限性，其生成的影像质量依然不高，存在保真度较低以及生物组织结构信息丢失等问题。而且GAN要求在模型训练的过程中，用作输入的源模态影像和目标模态的真实影像是配对的，以此来使得损失函数最小化，从而训练模型，在这种训练过程中，仍旧存在MR影像获取难度大，能够作为训练集的数据较为稀缺的问题。
发明内容
本发明是为了解决上述问题而进行的，目的在于提供一种基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法。
本发明提供了一种基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法，具有这样的特征，包括如下步骤：步骤S1，将待使用MR影像进行预处理，得到源模态MR影像；步骤S2，将源模态MR影像输入训练好的循环生成对抗网络CycleGAN模型模型中，得到目标模态的MR影像，其中，循环生成对抗网络CycleGAN模型模型的训练过程如下：步骤A1，构建循环生成对抗网络CycleGAN模型模型；步骤A2，将未配对的训练用源模态MR影像集合作为训练集输入到循环生成对抗网络CycleGAN模型模型中，对循环生成对抗网络CycleGAN模型模型进行训练，得到训练好的循环生成对抗网络CycleGAN模型模型，循环生成对抗网络CycleGAN模型模型包括生成器和判别器，生成器的输入为源模态MR影像，输出为目标模态的MR影像，判别器的输入为生成器输出的目标模态的MR影像，输出为概率值，概率值用于对生成器输出的目标模态的MR影像进行真假判别。
在本发明提供的基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法中，还可以具有这样的特征：其中，步骤A2包括如下子步骤：步骤A2-1，选取训练集中的训练用源模态MR影像输入循环生成对抗网络CycleGAN模型模型并进行一次迭代；步骤A2-2，采用最后一层的模型参数分别计算，得出损失误差，并将损失误差反向传播更新循环生成对抗网络CycleGAN模型模型的参数；步骤A2-3，选取不同训练集重复步骤步骤A2-1和步骤A2-2直至达到训练完成条件，得到训练好的循环生成对抗网络CycleGAN模型模型。
在本发明提供的基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法中，还可以具有这样的特征：其中，生成器包括依次设置的生成器输入层、卷积层、9个残差块以及反卷积层，生成器输出的目标模态的MR影像与生成器的输入的源模态MR影像为相同尺寸大小。
在本发明提供的基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法中，还可以具有这样的特征：其中，判别器包括依次设置的判别器输入层、全连接层以及归一化层。
发明的作用与效果
根据本发明所涉及的基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法，因为使用了CycleGAN模型模型，可以生成对目标模态真实影像具有良好近似度的合成影像，而采用了循环的网络结构可以将模型的训练集由两两配对的源模态与目标模态影像的限制弱化为不需要配对的影像，这使得模型的训练难度降低，使用场景更广。同时，本发明能够通过跨模态MR影像互生成模型获得较为真实的不同模态MR影像，相较于简单的数据增强方法，合成影像具有更好的保真度并保留了更多的生物组织结构信息的优势，能够作为MR影像的分割、分类等下游任务的模型的训练数据，起到了扩充训练集和数据增强的作用，能够有效缓解MR影像获取难度大和数据稀缺的问题。
附图说明
图1是本发明的实施例中循环生成对抗网络CycleGAN模型的结构示意图；
图2是本发明的实施例中的大脑T1加权MR影像；
图3是本发明的实施例中循环生成对抗网络CycleGAN模型的残差块结构图；
图4是本发明的实施例中的生成的大脑T2加权MR影像；
图5是本发明的实施例中循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法的流程图；
图6是本发明的实施例中循环生成对抗网络CycleGAN模型的模型训练步骤的流程图，
图7是本发明的实施例中循环生成对抗网络CycleGAN模型的模型训练步骤A2的子步骤流程图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本发明一种基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法作具体阐述。
<实施例>
本实施例详细描述基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法。
图1是本实施例中循环生成对抗网络CycleGAN模型的结构示意图。
如图1所示，循环生成对抗网络CycleGAN模型包括生成器和判别器。
生成器包括生成器输入层、卷积层、残差块以及反卷积层。
生成器输入层的输入为源模态MR影像。本实施例中输入的源模态MR影像为大脑T1加权MR影像(见图2)。本实施例中，以大脑T1加权MR影像为例进行说明。
卷积层对输入层输入的源模态MR影像进行卷积操作。
图3是本实施例中循环生成对抗网络CycleGAN模型的残差块结构图。
如图3所示，残差块对输入的数据进行卷积操作后再通过Relu函数得出结果，使得计算的效率和准确率均得到提高。
反卷积层对残差块中得出的结果进行反卷积操作，得出目标模态的MR影像。本实施例中得出的目标模态的MR影像为大脑T2加权MR影像(见图4)。
生成器输出的目标模态的MR影像与生成器的输入的源模态MR影像为相同尺寸大小。
判别器包括判别器输入层、全连接层以及归一化层。
判别器输入层输入生成器输出的目标模态的MR影像，并进行特征提取操作。
全连接层将提取到的特征综合后，归一化层对其进行归一化处理，得到一个概率值。概率值表示生成器输出的目标模态的MR影像的真假。当概率值为0.5％时，则说明生成器生成的目标模态的MR影像与真实目标模态的MR影像几乎一致。
图5是本实施例中循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法的流程图。
如图5所示，本实施例提供的基于循环生成对抗网络CycleGAN的跨模态MR影像互生成方法包括如下步骤：
步骤S1，将待使用MR影像进行预处理，得到源模态MR影像；
步骤S2，将所述源模态MR影像输入训练好的循环生成对抗网络CycleGAN模型中，得到目标模态的MR影像。
图6是本发明的实施例中循环生成对抗网络CycleGAN模型的模型训练步骤的流程图。
如图6所示，步骤S2中的循环生成对抗网络CycleGAN模型的训练过程如下：
步骤A1，构建循环生成对抗网络CycleGAN模型；
步骤A2，将未配对的训练用源模态MR影像集合作为训练集输入到所述循环生成对抗网络CycleGAN模型中，对所述循环生成对抗网络CycleGAN模型进行训练，得到所述训练好的循环生成对抗网络CycleGAN模型。
图7是本发明的实施例中循环生成对抗网络CycleGAN模型的模型训练步骤A2的子步骤流程图。
如图7所示，步骤A2包括如下子步骤：
步骤A2-1，选取所述训练集中的训练用源模态MR影像输入所述循环生成对抗网络CycleGAN模型并进行一次迭代；
步骤A2-2，采用最后一层的模型参数分别计算，得出损失误差，并将所述损失误差反向传播更新所述循环生成对抗网络CycleGAN模型的参数；
步骤A2-3，选取不同训练集重复步骤A2-1和步骤A2-2直至达到训练完成条件，得到所述训练好的循环生成对抗网络CycleGAN模型。
实施例的作用与效果
根据本实施例所涉及的基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法，因为使用了CycleGAN模型模型，可以生成对目标模态真实影像具有良好近似度的合成影像，而采用了循环的网络结构可以将模型的训练集由两两配对的源模态与目标模态影像的限制弱化为不需要配对的影像，这使得模型的训练难度降低，使用场景更广。同时，本发明能够通过跨模态MR影像互生成模型获得较为真实的不同模态MR影像，相较于简单的数据增强方法，合成影像具有更好的保真度并保留了更多的生物组织结构信息的优势，能够作为MR影像的分割、分类等下游任务的模型的训练数据，起到了扩充训练集和数据增强的作用，能够有效缓解MR影像获取难度大和数据稀缺的问题。
此外，本实施例在损失函数中添加循环一致性损失与正则化项一方面能够提高模型的生成影像的效果，另一方面可以避免出现过拟合的现象。
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

Claims (4)

1.一种基于循环生成对抗网络CycleGAN的跨模态MR影像互生成方法，其特征在于，包括如下步骤：
步骤S1，将待使用MR影像进行预处理，得到源模态MR影像；
步骤S2，将所述源模态MR影像输入训练好的循环生成对抗网络CycleGAN模型中，得到目标模态的MR影像，
其中，所述循环生成对抗网络CycleGAN模型的训练过程如下：
步骤A1，构建循环生成对抗网络CycleGAN模型；
步骤A2，将未配对的训练用源模态MR影像集合作为训练集输入到所述循环生成对抗网络CycleGAN模型中，对所述循环生成对抗网络CycleGAN模型进行训练，得到所述训练好的循环生成对抗网络CycleGAN模型，
所述循环生成对抗网络CycleGAN模型包括生成器和判别器，
所述生成器的输入为源模态MR影像，输出为目标模态的MR影像，
所述判别器的输入为所述生成器输出的所述目标模态的MR影像，输出为概率值，所述概率值用于对所述所述生成器输出的所述目标模态的MR影像进行真假判别。
2.根据权利要求1所述的基于循环生成对抗网络CycleGAN的跨模态MR影像互生成方法，其特征在于：
其中，所述步骤A2包括如下子步骤：
步骤A2-1，选取所述训练集中的训练用源模态MR影像输入所述循环生成对抗网络CycleGAN模型并进行一次迭代；
步骤A2-2，采用最后一层的模型参数分别计算，得出损失误差，并将所述损失误差反向传播更新所述循环生成对抗网络CycleGAN模型的参数；
步骤A2-3，选取不同训练集重复步骤步骤A2-1和步骤A2-2直至达到训练完成条件，得到所述训练好的循环生成对抗网络CycleGAN模型。
3.根据权利要求1所述的基于循环生成对抗网络CycleGAN的跨模态MR影像互生成方法，其特征在于：
其中，所述生成器包括依次设置的生成器输入层、卷积层、9个残差块以及反卷积层，
所述生成器输出的所述目标模态的MR影像与所述生成器的输入的源模态MR影像为相同尺寸大小。
4.根据权利要求1所述的基于循环生成对抗网络CycleGAN的跨模态MR影像互生成方法，其特征在于：
其中，所述判别器包括依次设置的判别器输入层、全连接层以及归一化层。
CN202110431489.8A 2021-04-21 2021-04-21 基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法 Pending CN113205472A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110431489.8A CN113205472A (zh) 2021-04-21 2021-04-21 基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110431489.8A CN113205472A (zh) 2021-04-21 2021-04-21 基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法

Publications (1)

Publication Number Publication Date
CN113205472A true CN113205472A (zh) 2021-08-03

Family

ID=77027725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110431489.8A Pending CN113205472A (zh) 2021-04-21 2021-04-21 基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法

Country Status (1)

Country Link
CN (1) CN113205472A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433795A (zh) * 2023-06-14 2023-07-14 之江实验室 基于对抗生成网络的多模态影像生成方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197517A (zh) * 2019-06-11 2019-09-03 常熟理工学院 基于多域循环一致性对抗生成网络的sar图像上色方法
US20190333219A1 (en) * 2018-04-26 2019-10-31 Elekta, Inc. Cone-beam ct image enhancement using generative adversarial networks
CN110910351A (zh) * 2019-10-31 2020-03-24 上海交通大学 基于生成对抗网络的超声图像模态迁移、分类方法及终端
CN111429340A (zh) * 2020-03-25 2020-07-17 山东大学 一种基于自注意力机制的循环图像翻译方法
CN111667478A (zh) * 2020-06-10 2020-09-15 复旦大学附属华山医院 Cta到mra跨模态预测的颈动脉斑块识别方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190333219A1 (en) * 2018-04-26 2019-10-31 Elekta, Inc. Cone-beam ct image enhancement using generative adversarial networks
CN110197517A (zh) * 2019-06-11 2019-09-03 常熟理工学院 基于多域循环一致性对抗生成网络的sar图像上色方法
CN110910351A (zh) * 2019-10-31 2020-03-24 上海交通大学 基于生成对抗网络的超声图像模态迁移、分类方法及终端
CN111429340A (zh) * 2020-03-25 2020-07-17 山东大学 一种基于自注意力机制的循环图像翻译方法
CN111667478A (zh) * 2020-06-10 2020-09-15 复旦大学附属华山医院 Cta到mra跨模态预测的颈动脉斑块识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433795A (zh) * 2023-06-14 2023-07-14 之江实验室 基于对抗生成网络的多模态影像生成方法和装置
CN116433795B (zh) * 2023-06-14 2023-08-29 之江实验室 基于对抗生成网络的多模态影像生成方法和装置

Similar Documents

Publication Publication Date Title
Singh et al. Shallow 3D CNN for detecting acute brain hemorrhage from medical imaging sensors
CN107492099B (zh) 医学图像分析方法、医学图像分析系统以及存储介质
CN107563434B (zh) 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
JP2013537445A (ja) 内科医が直接用いるのに適応したビジュアライゼーション
CN110415234A (zh) 基于多参数磁共振成像的脑部肿瘤分割方法
CN113096137B (zh) 一种oct视网膜图像领域适应分割方法及系统
CN112488976A (zh) 一种基于darts网络的多模态医学图像融合方法
CN114049334B (zh) 一种以ct图像为输入的超分辨率mr成像方法
Davamani et al. Biomedical image segmentation by deep learning methods
Liu et al. Tracking-based deep learning method for temporomandibular joint segmentation
CN111461065A (zh) 管状结构识别方法、装置、计算机设备和可读存储介质
CN112638262A (zh) 相似度确定装置、方法及程序
Xue et al. Region-of-interest aware 3D ResNet for classification of COVID-19 chest computerised tomography scans
CN113205472A (zh) 基于循环生成对抗网络CycleGAN模型的跨模态MR影像互生成方法
Xing et al. The Beauty or the Beast: Which Aspect of Synthetic Medical Images Deserves Our Focus?
CN111986216A (zh) 一种基于神经网络改进的rsg肝脏ct图像交互式分割算法
Delmoral et al. Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study
Zhou et al. Automatic segmentation algorithm of femur and tibia based on Vnet-C network
JP7321271B2 (ja) 学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム
Zhao et al. Mri-trans-gan: 3d mri cross-modality translation
Martadiansyah et al. 3D Fusion Hierarchical Net Reconstruction from 2D Transcerebellar Images with Deep Learning.
Gaasedelen et al. Automated multiclass cardiac volume segmentation and model generation
Lewis et al. Quantifying the importance of spatial anatomical context in cadaveric, non-contrast enhanced organ segmentation
Rabbat et al. Automated Segmentation of Levator Ani Muscle from 3D Endovaginal Ultrasound Images. Bioengineering 2023, 10, 894
CN114708973B (zh) 一种用于对人体健康进行评估的设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination