CN110444277B - 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 - Google Patents

一种基于多生成多对抗的多模态脑部mri图像双向转换方法 Download PDF

Info

Publication number
CN110444277B
CN110444277B CN201910652864.4A CN201910652864A CN110444277B CN 110444277 B CN110444277 B CN 110444277B CN 201910652864 A CN201910652864 A CN 201910652864A CN 110444277 B CN110444277 B CN 110444277B
Authority
CN
China
Prior art keywords
image
loss
converter
real
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910652864.4A
Other languages
English (en)
Other versions
CN110444277A (zh
Inventor
曾宪华
张贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Dayu Chuangfu Technology Co ltd
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201910652864.4A priority Critical patent/CN110444277B/zh
Publication of CN110444277A publication Critical patent/CN110444277A/zh
Application granted granted Critical
Publication of CN110444277B publication Critical patent/CN110444277B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明请求保护一种基于多生成多对抗的多模态脑部MRI图像双向转换方法，包括：通过卷积网络将输入图像(T1/T2)与对应病理标签融合并作为转换器的输入数据；输入T1模态数据，通过T2模态转换器转换成T2模态图像；输入T2模态数据，通过T1模态转换器转换成T1模态图像；在输出图像和真实图像)之间构建对抗损失；构建循环验证损失来实现对转换器有效性的验证；在输出图像与真实图像之间构建内容损失，使结果更接近真实图像；引入边缘损失对真实图像和输出图像的边缘进行约束；将输出图像和真实图像的语义分割结果的差异作为形状损失来保持形状一致。本发明能够在多模态脑部MRI数据之间进行双向转换，同时保证了图像的纹理、结构和病理的不变性。

Description

一种基于多生成多对抗的多模态脑部MRI图像双向转换方法
技术领域
本发明属于医学影像处理方法，结合医学图像对应病理标签、多个生成对抗网络以及多个图像损失函数来对多模态脑部MRI图像进行双向转换。
背景技术
医学影像技术是现代医疗的重要组成部分，具有不同的成像技术(例如，X-ray,CT,MRI)。为临床诊断和医学研究提供了多种模态的医学图像，其中，磁共振成像由于其安全性和视觉特征的丰富性，被广泛应用于临床治疗以及医学图像分析。目前为止，没有发现MRI对人体有明确的伤害，此外，磁共振成像技术可以通过设置不同的参数来获得同一解剖结构的不同对比度图像，这些图像的功能都有所不同。例如，T1加权主要反映了解剖结构的信息，而T2加权的图像清楚的描绘了肿瘤等病变组织的位置，所以，在临床中，由于多模态提供比单一模态更好的补充信息，多个MR成像模态的图像通常被一同处理。然而，MR图像存在两个问题。(1)一种模态的图像只能显示独特的软组织信息。例如，因为需要结合多种模态的补充信息来对疾病进行诊断，在临床中通常为脑肿瘤患者采集T1加权，T1对比增强(T1c)，T2加权和FLAIR MR图像。但是，由于不同临床中心之间的模态缺失和模态不一致性，临床和研究中并不是总能满足使用多种模态进行分析的高要求。(2)获取MR图像的成本高。例如，采集一次MR图像的检查费用较高，并且采集时间长。长期检查以及难以让患者在扫描期间保持静止(例如儿童患者以及老年患者)所产生的时间成本以及经济成本。这些现存的问题极大的限制了磁共振成像技术在临床治疗中的应用，并且对诊断和治疗的质量产生了不利的影响。
基于上述问题，利用多生成多对抗网络来对多模态MRI医学图像进行双向转换很好的解决了在治疗过程中MRI图像模态缺失的问题，补充了临床诊断中的诊断信息，同时，减少了诊断筛查的时间和经济成本；利用病理标签保持输入图像的病例信息在转换过程中保持不变；最后利用多种损失函数结合的方法来使转换图像保持与原输入图像相同的解剖结构和细节信息。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种能够在多模态脑部MRI数据之间进行双向转换，同时保证了图像的纹理、结构和病理的不变的基于多生成多对抗的多模态脑部MRI图像双向转换方法。本发明的技术方案如下：
一种基于多生成多对抗的多模态脑部MRI图像双向转换方法，其包括以下步骤：
1)、MRI图像具有多种不同的模态，T1和T2分别表示其中最常用的两种MRI图像模态。首先，获取T1和T2两种模态的脑部MRI图像作为输入图像，通过卷积网络将输入图像与对应病理标签数据融合，将卷积网络融合后的图像作为模态图像转换器的输入，通过病理标签数据限制转换器生成图像的特征使输出图像与真实图像的病理信息一致；
2)、对于原始T1模态数据，将其输入到由神经网络构成的T2模态图像转换器中，将原始T1模态图像通过下采样提取图像特征和上采样重建图像转换为T2模态图像；
3)、对于原始T2模态数据，将其输入到由神经网络构成的T1模态图像转换器中，将原始T2模态图像通过下采样提取图像特征和上采样重建图像转换为T1模态图像；
4)、在输出图像和真实图像之间通过生成对抗思想，即一方面转换器的目标为生成让判别器分辨不出真假的图像，另一方面判别器的目标为准确判别图像的真假，来构建对抗损失，使得输出模态图像逐步靠近真实模态图像；
5)、利用循环一致性思想，即输出图像可以通过转换器重建回原始输入图像，且图像不发生改变，来构建循环验证损失实现对双向转换器的有效性进行验证；
6)、将输出模态图像与真实模态图像之间构建内容损失，主要包含在输出图像和真实图像之间计算像素均方误差损失、感知VGG损失和总变差损失三个部分，使转换结果包含的内容更接近真实图像；
7)、引入边缘损失来对输出图像的边缘进行约束，保持输出图像和真实图像的组织边缘一致；
8)、将输出图像的语义分割结果和真实图像的语义分割结果进行对比，得到的差异作为形状损失函数来保持输出图像的形状一致性。
进一步的，所述步骤1)中，通过卷积网络将输入图像(T1/T2)与对应病理标签数据融合，作为转换器的输入，使输出图像(T1/T2)与真实图像(T1/T2)的病理信息一致，具体包括：
在向转换器输入图像之前，将病理标签信息与输入图像(T1/T2)合并一同作为转换器输入，从而限制转换器的特征生成以及确保病理信息不改变，病理标签全部定义在将T1/T2模态图像输入转换器的过程中，即所有转换器均连同标签信息和输入图像一种作为输入数据，病理标签信息定义为：
px＝G(x|l)
其中，x为输入图像，G为转换器，px为转换后的图像，l为输入图像对应病理标签。
进一步的，步骤2)中，所述将原始T1模态数据转换为T2模态图像的具体方法为：将原始的T1模态数据输入由神经网络构成的转换器中，首先通过下采样过程提取图像特征，然后通过上采样过程对图像进行重建。所述转换T2模态图像定义为：
pxT2＝GT2(xT1|l)
其中，xT1为原始T1模态输入图像，GT2为由神经网络构成的T1模态转换为T2模态的转换器。
进一步的，在步骤3)中，所述将原始T2模态数据转换为T1模态图像的具体方法为：原始T2模态数据输入到由神经网络构成的转换器中，首先对原始图像进行下采样操作，然后对提取到的特征图像进行上采样操作转换为T1模态图像，所述转换T1模态图像定义为：
pxT1＝GT1(xT2|l)
其中，xT2为原始T2模态输入图像，GT1为由神经网络构成的T2模态转换为T1模态的转换器。
进一步的，步骤4)中，所述在输出图像和真实图像之间构建对抗损失，使得输出模态图像逐步靠近真实模态图像的具体方法为：将转换器输出的模态图像与对应真实图像一起输入判别器中，求得对抗损失，所述对抗损失定义为：
Figure BDA0002135854340000041
其中，DT1和DT2为判别器，PT1和PT2为模态T1和模态T2的真实图像分布，
Figure BDA0002135854340000042
为判别器DT1判别原始输入图像为真实T1模态图像的期望，
Figure BDA0002135854340000043
为判别器DT1判别生成T1模态图像为T1模态图像转换器GT1生成的T1图像的期望，/>
Figure BDA0002135854340000044
为判别器DT2判别原始输入图像为真实T2模态图像的期望，/>
Figure BDA0002135854340000045
为判别器DT2判别生成T2模态图像为T2模态图像转换器GT2生成的T2图像的期望。
进一步的，所述步骤5)引入循环验证损失来对转换器的有效性进行验证，具体包括：
为转换器GT1和GT2设计循环验证损失，使得预测图像GT2(GT1(xT2))和GT1(GT2(xT1))与对应输入图像xT2和xT1是相同的，以此来验证转换器的有效性。循环验证损失定义为：
Figure BDA0002135854340000046
进一步的，所述步骤6)将输出模态图像与真实模态图像之间构建内容损失，使转换结果包含的内容更接近真实图像，具体包括：
将输出图像与对应真实图像之间计算内容损失，内容损失旨在减少输出图像的失真情况，主要包含在输出图像和真实图像之间计算像素均方误差(pMSE)损失、感知VGG损失和总变差TV损失三个部分，内容损失定义为：
LContent＝λ1LVGG/i,j+λ2LpMSE+λ3LTV
其中，λ为用来控制不同内容损失项权重的超参数集合，像素均方误差(pMSE)损失定义为：
Figure BDA0002135854340000051
其中，W和H为真实图像或输出图像的大小，感知VGG损失定义为：
Figure BDA0002135854340000052
其中，φi,j来自微调的VGG网络中，定义为从第i个最大池化层之前且在激活层之后的第j个卷积层获得的特征图，Wi,j和Hi,j表示在VGG网络中特征图的维度，总变差(TV)损失定义为：
Figure BDA0002135854340000053
进一步的，所述步骤7)中，引入边缘损失来对输出图像的边缘进行约束，保持输出图像和真实图像的组织边缘一致，具体包括：
首先使用真实图像计算Laplacian矩阵，然后将得到的输出图像与对应的真实图像Laplacian矩阵输入到边缘损失计算函数中，计算出输出图像对应的边缘损失，边缘损失定义为：
Figure BDA0002135854340000061
其中，M是Laplacian矩阵，Vc表示在c通道上向量化输出图像。
进一步的，所述步骤8)中，将输出图像的语义分割结果和真实图像的语义分割结果进行对比，得到的差异作为形状损失函数来保持输出图像的形状一致性，具体包括：
首先利用在医学图像上预训练的语义分割网络对真实图像进行分割，输出真实图像语义分割结果；然后利用同样的语义分割网络对输出图像进行分割，得到输出图像语义分割结果；最后将真实图像语义分割结果和输出图像语义分割结果进行像素级别的差异对比，求出形状损失函数，形状损失函数定义为：
Figure BDA0002135854340000062
其中，S是语义分割器。
本发明的优点及有益效果如下：
本发明创新点：1)提出了双向转换方法。现有的跨模态医学图像转换方法多是针对特定任务的单向转换，例如从某种模态图像固定的转换到另一种模态。本发明利用多生成多对抗网络来实现对多模态脑部MRI图像双向转换，使得跨模态医学图像转换更加灵活，达到一次训练完成两种任务的目标，大大减少了深度学习训练所需要的时间。2)病理标签信息的引入。现有技术仅仅关注了图像的转换过程，却忽视了保证转换后图像的病理信息保持一致的重要性，故本发明融合了病理标签信息作为输入数据，克服了上述缺点。3)内容损失的提出。内容损失利用了三个损失项来约束输出图像的细节、风格接近于真实图像4)本发明为了保持输出图像的器官边缘与原始图像一致，提出了边缘损失函数，相比于现有的技术手段使用的损失函数，极大的保证了输出图像的边缘不改变。5)本发明利用了语义分割来构建形状损失，相比于现有方法仅使用损失函数来训练模型，使用已训练好的语义分割网络构建损失来训练模型，极大的提升了输出图像的器官结构保持与原始图像一致的能力。
附图说明
图1是本发明提供优选实施例的算法框架图；
图2为本发明的实验结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
为了减少输出图像和真实图像病理信息不一致的风险，将输入图像与其对应的病理标签信息合并一同作为转换器的输入数据。将原始T1模态数据输入到由神经网络构成的转换器GT2中，得到对应的转换输出T2模态图像。同样，将原始的T2模态数据输入到由神经网络构成的转换器GT1中，得到对应的转换输出T1模态图像。在输出图像和真实图像之间计算对抗损失，求得对抗损失使得输出图像逐步靠近真实图像。利用循环验证损失来对转换器的有效性进行验证。利用输出图像和真实图像之间的内容损失来使输出图像的内容保持与真实图像不变。在输出图像和真实图像之间计算边缘损失来对输出图像的边缘进行约束。最后，将输出图像的语义分割结果和真实图像的语义分割结果的差异作为形状损失函数来保持输出图像的形状一致性。
下面将详细说明本发明的技术方案：
一种多模态脑部MRI双向转换方法，包括：
为了减少输出图像和真实图像病理信息不一致的风险，在向转换器输入图像的过程中，将输入图像与其对应的病理标签信息合并一同作为转换器的输入数据。
将原始T1模态图像输入到由神经网络构成的转换器GT2中，通过下采样提取特征和上采样重建图像，得到对应的转换输出T2模态图像。
将原始的T2模态图像输入到由神经网络构成的转换器GT1中，得到对应的转换输出T1模态图像。
在输出图像和真实图像之间计算对抗损失，求得对抗损失使得输出图像逐步靠近真实图像。
利用循环验证损失来对转换器的有效性进行验证。
利用输出图像和真实图像之间的内容损失来使输出图像的内容保持与真实图像不变，内容损失主要包括像素均方误差(pMSE)损失、感知VGG损失和总变差(TV)损失三个部分。
在输出图像和真实图像之间计算边缘损失来对输出图像的边缘进行约束，保持输出图像和真实图像的边缘一致性。
最后，将输出图像的语义分割结果和真实图像的语义分割结果的差异作为形状损失函数来保持输出图像的形状一致性。
进一步地，其所述将病理标签信息与输入图像合并一同输入到转换器当中，限制转换器的特征生成以及确保输出图像的病理信息不改变，病理标签全部定义在将T1/T2模态图像输入转换器的过程中。所述病理标签信息定义为：px＝G(x|l)，其中，x为输入图像，G为转换器，px为转换后的图像，l为输入图像对应病理标签。
进一步地，其所述将T1模态图像输入到转换器GT2中来实现T1模态到T2模态的转换，通过下采样提取特征以及上采样重建图像，所述T1图像到T2图像的转换过程定义为：pxT2＝GT2(xT1|l)，其中，xT1为原始T1模态输入图像，GT2为由神经网络构成的T1模态转换为T2模态的转换器。
进一步地，其所述将T2模态图像输入到转换器GT1中来将T2模态图像转换到T1模态的过程定义为：pxT1＝GT1(xT2|l)，其中，xT2为原始T2模态输入图像，GT1为由神经网络构成的T2模态转换为T1模态的转换器。
进一步地，其所述在输出图像与真实图像之间求得对抗损失定义为：
Figure BDA0002135854340000091
其中，DT1和DT2为判别器，PT1和PT2为模态T1和模态T2的真实图像分布。
进一步地，其所述利用循环验证损失来验证转换器的有效性，其中预测图像GT2(GT1(xT2))和GT1(GT2(xT1))与对应输入图像xT2和xT1是相同的，循环验证定义为：
Figure BDA0002135854340000092
其中，我们在所有像素上使用了L1损失。
进一步地，其所述内容损失函数包括三项损失函数，分别是像素均方误差(pMSE)损失、感知VGG损失和总变差(TV)损失。内容损失定义为：
LContent＝λ1LVGG/i,j+λ2LpMSE+λ3LTV
其中，λ为用来控制不同内容损失项权重的超参数集合。具体包括：
1)像素均方误差(pMSE)损失主要是在输出图像和真实图像之间计算像素级别的均方误差函数。定义为：
Figure BDA0002135854340000093
其中，W和H为真实图像或输出图像的大小。
2)感知VGG损失主要是通过预训练的VGG网络来对图像提取特征，所提取特征用来计算损失。定义为：
Figure BDA0002135854340000101
/>
其中，φi,j来自微调的VGG网络中，定义为从第i个最大池化层之前且在激活层之后的第j个卷积层获得的特征图，Wi,j和Hi,j表示在VGG网络中特征图的维度。
3)总变差(TV)损失主要是在输出图像的所有像素点及其右和下相邻像素点之间计算差异，总变差(TV)损失定义为：
Figure BDA0002135854340000102
进一步地，其所述边缘损失为首先使用真实图像计算Laplacian矩阵，然后将得到的输出图像与对应的真实图像Laplacian矩阵输入到边缘损失计算函数中。边缘损失定义为：
Figure BDA0002135854340000103
其中，M是Laplacian矩阵，Vc表示在c通道上向量化输出图像。
进一步地，其所述形状损失函数为在输出图像的语义分割结果和真实图像的语义分割结果之间计算差异，约束输出图像形状不变。形状损失函数定义为：
Figure BDA0002135854340000111
其中，S为语义分割器。
步骤一：引入病理标签信息
为了在转换过程中始终保持病理信息不改变，将输入图像与对应的病理标签信息合并，一同输入到转换器中。定义为：
px＝G(x|l)
其中，x为输入图像，G为转换器，px为转换后的图像，l为输入图像对应病理标签。
步骤二：T1模态图像转换到T2模态图像
将T1模态图像输入到转换器中，得到对应的T2模态输出图像。定义为：
pxT2＝GT2(xT1|l)
其中，xT1为原始T1模态输入图像，GT2为由神经网络构成的T1模态转换为T2模态的转换器。
步骤三：T2模态图像转换到T1模态图像
将T2模态图像输入到转换器中，得到对应的T1模态输出图像。定义为：
pxT1＝GT1(xT2|l)
其中，xT2为原始T2模态输入图像，GT1为由神经网络构成的T2模态转换为T1模态的转换器。
步骤四：构建对抗损失
在输出图像和真实图像之间构建对抗损失，使输出图像逐步接近与真实图像。定义为：
Figure BDA0002135854340000121
其中，DT1和DT2为判别器，PT1和PT2为模态T1和模态T2的真实图像分布。
步骤五：构建循环验证损失
为转换器GT1和GT2设计循环验证损失，来验证转换器的有效性。定义为：
Figure BDA0002135854340000122
其中，在所有像素上使用了L1损失。
步骤六：构建内容损失
在输出图像与对应真实图像之间计算内容损失，来使输出图像的内容更接近真实图像。为像素均方误差(pMSE)损失、感知VGG损失和总变差(TV)损失三个部分合并，定义为：
LContent＝λ1LVGG/i,j+λ2LpMSE+λ3LTV
其中，λ为用来控制不同内容损失项权重的超参数集合。像素均方误差(pMSE)损失定义为：
Figure BDA0002135854340000123
其中，W和H为真实图像或输出图像的大小。感知VGG损失定义为：
Figure BDA0002135854340000124
其中，φi,j来自微调的VGG网络[1]中，定义为从第i个最大池化层之前且在激活层之后的第j个卷积层获得的特征图，Wi,j和Hi,j表示在VGG网络中特征图的维度。总变差(TV)损失定义为：
Figure BDA0002135854340000131
/>
步骤七：构建边缘损失
在输出图像与对应真实图像之间计算边缘损失，来保持输出图像和真实图像的组织边缘一致。定义为：
Figure BDA0002135854340000132
其中，M是真实图像对应计算出的Laplacian矩阵[2]，Vc表示在c通道上向量化输出图像。
步骤八：构建形状一致性损失
在输出图像的语义分割结果和真实图像的语义分割结果之间计算差异，作为形状一致性损失，对输出图像中的器官形状进行约束。定义为：
Figure BDA0002135854340000133
其中，S是语义分割器。
综上所述，本发明的创新和优势：
本发明提出的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法，可以实现多模态脑部MRI数据的双向转换，具有转换灵活，输出稳定的特点；
本发明提出的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法，结合病理辅助标签来对输出图像的病理信息进行约束，保持病理信息在转换过程中不改变。
本发明提出的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法，结合了内容损失来实现对输出图像内容进行约束，使得转换后图像与真实图像保持内容相似；
本发明提出的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法，结合边缘损失来对输出图像的边缘信息进行约束。
本发明提出的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法，结合形状一致性损失来对输出图像的器官形状信息进行约束，使输出图像的器官形状不改变。
[1]Simonyan K,Zisserman A.Very Deep Convolutional Networks for Large-Scale Image Recognition[J].international conference on learningrepresentations,2015.
[2]Levin A,Lischinski D,Weiss Y,et al.A Closed-Form Solution toNatural Image Matting[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2008,30(2):228-242.
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (8)

1.一种基于多生成多对抗的多模态脑部MRI图像双向转换方法，其特征在于，包括以下步骤：
1)、MRI图像具有多种不同的模态，T1和T2分别表示其中最常用的两种MRI图像模态，首先，获取T1和T2两种模态的脑部MRI图像作为输入图像，通过卷积网络将输入图像与对应病理标签数据融合，将卷积网络融合后的图像作为模态图像转换器的输入，通过病理标签数据限制转换器生成图像的特征使输出图像与真实图像的病理信息一致；
2)、对于原始T1模态数据，将其输入到由神经网络构成的T2模态图像转换器中，将原始T1模态图像通过下采样提取图像特征和上采样重建图像转换为T2模态图像；
3)、对于原始T2模态数据，将其输入到由神经网络构成的T1模态图像转换器中，将原始T2模态图像通过下采样提取图像特征和上采样重建图像转换为T1模态图像；
4)、在输出图像和真实图像之间通过生成对抗思想，即一方面转换器的目标为生成让判别器分辨不出真假的图像，另一方面判别器的目标为准确判别图像的真假，来构建对抗损失，使得输出模态图像逐步靠近真实模态图像；
5)、利用循环一致性思想，即输出图像可以通过转换器重建回原始输入图像，且图像不发生改变，来构建循环验证损失实现对双向转换器的有效性进行验证；
6)、将输出模态图像与真实模态图像之间构建内容损失，主要包含在输出图像和真实图像之间计算像素均方误差损失、感知VGG损失和总变差损失三个部分，使转换结果包含的内容更接近真实图像；
7)、引入边缘损失来对输出图像的边缘进行约束，保持输出图像和真实图像的组织边缘一致；
8)、将输出图像的语义分割结果和真实图像的语义分割结果进行对比，得到的差异作为形状损失函数来保持输出图像的形状一致性；
步骤4)中，所述在输出图像和真实图像之间构建对抗损失，使得输出模态图像逐步靠近真实模态图像的具体方法为：将转换器输出的模态图像与对应真实图像一起输入判别器中，求得对抗损失，所述对抗损失定义为：
Figure FDA0004045641310000021
其中，DT1和DT2为判别器，PT1和PT2为模态T1和模态T2的真实图像分布，
Figure FDA0004045641310000022
为判别器DT1判别原始输入图像为真实T1模态图像的期望，
Figure FDA0004045641310000023
为判别器DT1判别生成T1模态图像为T1模态图像转换器GT1生成的T1图像的期望，/>
Figure FDA0004045641310000024
为判别器DT2判别原始输入图像为真实T2模态图像的期望，/>
Figure FDA0004045641310000025
为判别器DT2判别生成T2模态图像为T2模态图像转换器GT2生成的T2图像的期望。
2.根据权利要求1所述的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法，其特征在于，所述步骤1)中，通过卷积网络将输入图像T1/T2与对应病理标签数据融合，作为转换器的输入，使输出图像T1/T2与真实图像T1/T2的病理信息一致，具体包括：
在向转换器输入图像之前，将病理标签信息与输入图像T1/T2合并一同作为转换器输入，从而限制转换器的特征生成以及确保病理信息不改变，病理标签全部定义在将T1/T2模态图像输入转换器的过程中，即所有转换器均连同标签信息和输入图像一种作为输入数据，病理标签信息定义为：
px＝G(x|l)
其中，x为输入图像，G为转换器，px为转换后的图像，l为输入图像对应病理标签。
3.根据权利要求2所述的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法，其特征在于，步骤2)中，所述将原始T1模态数据转换为T2模态图像的具体方法为：将原始的T1模态数据输入由神经网络构成的转换器中，首先通过下采样过程提取图像特征，然后通过上采样过程对图像进行重建；所述转换T2模态图像定义为：
pxT2＝GT2(xT1|l)
其中，xT1为原始T1模态输入图像，GT2为由神经网络构成的T1模态转换为T2模态的转换器。
4.根据权利要求3所述的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法，其特征在于，在步骤3)中，所述将原始T2模态数据转换为T1模态图像的具体方法为：原始T2模态数据输入到由神经网络构成的转换器中，首先对原始图像进行下采样操作，然后对提取到的特征图像进行上采样操作转换为T1模态图像，所述转换T1模态图像定义为：
pxT1＝GT1(xT2|l)
其中，xT2为原始T2模态输入图像，GT1为由神经网络构成的T2模态转换为T1模态的转换器。
5.根据权利要求4所述的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法，其特征在于，所述步骤5)引入循环验证损失来对转换器的有效性进行验证，具体包括：
为转换器GT1和GT2设计循环验证损失，使得预测图像GT2(GT1(xT2))和GT1(GT2(xT1))与对应输入图像xT2和xT1是相同的，以此来验证转换器的有效性；循环验证损失定义为：
Figure FDA0004045641310000031
6.根据权利要求5所述的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法，其特征在于，所述步骤6)将输出模态图像与真实模态图像之间构建内容损失，使转换结果包含的内容更接近真实图像，具体包括：
将输出图像与对应真实图像之间计算内容损失，内容损失旨在减少输出图像的失真情况，主要包含在输出图像和真实图像之间计算像素均方误差(pMSE)损失、感知VGG损失和总变差TV损失三个部分，内容损失定义为：
LContent＝λ1LVGG/i,j+λ2LpMSE+λ3LTV
其中，λ为用来控制不同内容损失项权重的超参数集合，像素均方误差(pMSE)损失定义为：
Figure FDA0004045641310000041
/>
其中，W和H为真实图像或输出图像的大小，感知VGG损失定义为：
Figure FDA0004045641310000042
其中，φi,j来自微调的VGG网络中，定义为从第i个最大池化层之前且在激活层之后的第j个卷积层获得的特征图，Wi,j和Hi,j表示在VGG网络中特征图的维度，总变差(TV)损失定义为：
Figure FDA0004045641310000043
7.根据权利要求6所述的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法，其特征在于，所述步骤7)中，引入边缘损失来对输出图像的边缘进行约束，保持输出图像和真实图像的组织边缘一致，具体包括：
首先使用真实图像计算Laplacian矩阵，然后将得到的输出图像与对应的真实图像Laplacian矩阵输入到边缘损失计算函数中，计算出输出图像对应的边缘损失，边缘损失定义为：
Figure FDA0004045641310000051
其中，M是Laplacian矩阵，Vc表示在c通道上向量化输出图像。
8.根据权利要求7所述的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法，其特征在于，所述步骤8)中，将输出图像的语义分割结果和真实图像的语义分割结果进行对比，得到的差异作为形状损失函数来保持输出图像的形状一致性，具体包括：
首先利用在医学图像上预训练的语义分割网络对真实图像进行分割，输出真实图像语义分割结果；然后利用同样的语义分割网络对输出图像进行分割，得到输出图像语义分割结果；最后将真实图像语义分割结果和输出图像语义分割结果进行像素级别的差异对比，求出形状损失函数，形状损失函数定义为：
Figure FDA0004045641310000052
/>
其中，S是语义分割器。
CN201910652864.4A 2019-07-19 2019-07-19 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 Active CN110444277B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910652864.4A CN110444277B (zh) 2019-07-19 2019-07-19 一种基于多生成多对抗的多模态脑部mri图像双向转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910652864.4A CN110444277B (zh) 2019-07-19 2019-07-19 一种基于多生成多对抗的多模态脑部mri图像双向转换方法

Publications (2)

Publication Number Publication Date
CN110444277A CN110444277A (zh) 2019-11-12
CN110444277B true CN110444277B (zh) 2023-03-28

Family

ID=68430797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910652864.4A Active CN110444277B (zh) 2019-07-19 2019-07-19 一种基于多生成多对抗的多模态脑部mri图像双向转换方法

Country Status (1)

Country Link
CN (1) CN110444277B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968147B (zh) * 2020-08-06 2022-03-15 电子科技大学 一种基于关键点检测的乳腺癌病理图像综合分析系统
CN112581431B (zh) * 2020-12-07 2022-08-23 重庆邮电大学 一种基于内容保持与注意力机制的从超声诊断报告生成超声图像的方法
WO2022120762A1 (zh) * 2020-12-10 2022-06-16 中国科学院深圳先进技术研究院 多模态医学图像生成方法和装置
CN112612936B (zh) * 2020-12-28 2022-03-08 杭州电子科技大学 一种基于对偶转换网络的多模态情感分类方法
CN113837191B (zh) * 2021-08-30 2023-11-07 浙江大学 基于双向无监督域适应融合的跨星遥感图像语义分割方法
CN113989800B (zh) * 2021-12-29 2022-04-12 南京南数数据运筹科学研究院有限公司 一种基于改进渐进式残差网络的肠神经丛辅助识别方法
CN115937192B (zh) * 2022-12-30 2023-09-19 北京航空航天大学 一种无监督视网膜血管分割方法、系统及电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010134459A1 (ja) * 2009-05-22 2010-11-25 ソニー株式会社 情報処理装置および方法、並びにプログラム
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
GB201809604D0 (en) * 2018-06-12 2018-07-25 Tom Tom Global Content B V Generative adversarial networks for image segmentation
CN108986067A (zh) * 2018-05-25 2018-12-11 上海交通大学 基于跨模态的肺结节检测方法
CN109064422A (zh) * 2018-07-17 2018-12-21 中国海洋大学 一种基于融合对抗网络的水下图像复原方法
CN109196526A (zh) * 2016-06-01 2019-01-11 三菱电机株式会社 用于生成多模态数字图像的方法和系统
WO2019019199A1 (en) * 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR IMAGE CONVERSION
CN109377520A (zh) * 2018-08-27 2019-02-22 西安电子科技大学 基于半监督循环gan的心脏图像配准系统及方法
CN109472817A (zh) * 2018-09-27 2019-03-15 浙江工业大学 一种基于循环生成对抗网络的多序列磁共振图像配准方法
CN109558890A (zh) * 2018-09-30 2019-04-02 天津大学 基于自适应权重哈希循环对抗网络的零样本图像分类方法
CN109584325A (zh) * 2018-10-30 2019-04-05 河北科技大学 一种基于u型周期一致对抗网络的动漫图像的双向色彩化方法
WO2019111464A1 (ja) * 2017-12-04 2019-06-13 ソニー株式会社 画像処理装置及び画像処理方法
CN109902714A (zh) * 2019-01-18 2019-06-18 重庆邮电大学 一种基于多图正则化深度哈希的多模态医学图像检索方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970829B2 (en) * 2017-08-24 2021-04-06 Siemens Healthcare Gmbh Synthesizing and segmenting cross-domain medical images

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010134459A1 (ja) * 2009-05-22 2010-11-25 ソニー株式会社 情報処理装置および方法、並びにプログラム
CN109196526A (zh) * 2016-06-01 2019-01-11 三菱电机株式会社 用于生成多模态数字图像的方法和系统
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
WO2019019199A1 (en) * 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR IMAGE CONVERSION
WO2019111464A1 (ja) * 2017-12-04 2019-06-13 ソニー株式会社 画像処理装置及び画像処理方法
CN108986067A (zh) * 2018-05-25 2018-12-11 上海交通大学 基于跨模态的肺结节检测方法
GB201809604D0 (en) * 2018-06-12 2018-07-25 Tom Tom Global Content B V Generative adversarial networks for image segmentation
CN109064422A (zh) * 2018-07-17 2018-12-21 中国海洋大学 一种基于融合对抗网络的水下图像复原方法
CN109377520A (zh) * 2018-08-27 2019-02-22 西安电子科技大学 基于半监督循环gan的心脏图像配准系统及方法
CN109472817A (zh) * 2018-09-27 2019-03-15 浙江工业大学 一种基于循环生成对抗网络的多序列磁共振图像配准方法
CN109558890A (zh) * 2018-09-30 2019-04-02 天津大学 基于自适应权重哈希循环对抗网络的零样本图像分类方法
CN109584325A (zh) * 2018-10-30 2019-04-05 河北科技大学 一种基于u型周期一致对抗网络的动漫图像的双向色彩化方法
CN109902714A (zh) * 2019-01-18 2019-06-18 重庆邮电大学 一种基于多图正则化深度哈希的多模态医学图像检索方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Image Retrieval Based on Hierarchical Locally Constrained Diffusion Process;xianhua zeng;《2017 IEEE International Conference on Big Knowledge (ICBK)》;20170831;全文 *
In2I: Unsupervised Multi-Image-to-Image Translation Using Generative Adversarial Networks;Pramuditha Perera;《2018 24th International Conference on Pattern Recognition (ICPR)》;20181129;全文 *
基于多生成对抗网络的跨模态医学图像转换;张贺;《中国优秀硕士学位论文全文数据库医药卫生科技辑》;20220315(第3期);全文 *
基于生成对抗网络的多视图学习与重构算法;孙亮;《自动化学报》;20180408;第44卷(第5期);全文 *
基于自适应云模型的多模态医学图像融合方法研究;赵佳;《中国优秀硕士学位论文全文数据库信息科技辑》;20170315(第3期);全文 *
面向图文游记的多模态学习;傅家庆;《中国优秀硕士学位论文全文数据库信息科技辑》;20181015(第10期);全文 *

Also Published As

Publication number Publication date
CN110444277A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
CN110444277B (zh) 一种基于多生成多对抗的多模态脑部mri图像双向转换方法
Hu et al. Bidirectional mapping generative adversarial networks for brain MR to PET synthesis
Faragallah et al. A comprehensive survey analysis for present solutions of medical image fusion and future directions
CN112001925B (zh) 图像的分割方法、放射治疗系统、计算机设备和存储介质
CN110559009B (zh) 基于gan的多模态低剂量ct转换高剂量ct的方法
CN105816192A (zh) 个体化人脑多模态医学影像的三维配准及提取脑组织方法
US11688110B2 (en) Systems and methods for evaluating image quality
CN116402865B (zh) 一种利用扩散模型的多模态影像配准方法、装置和介质
Arai et al. Significant dimension reduction of 3D brain MRI using 3D convolutional autoencoders
Wang et al. Sk-unet: An improved u-net model with selective kernel for the segmentation of lge cardiac mr images
CN112819914A (zh) 一种pet图像处理方法
CN113436128B (zh) 一种双鉴别器多模态mr图像融合方法、系统及终端
CN117218453B (zh) 一种不完备多模态医学影像学习方法
Jafari et al. LMISA: A lightweight multi-modality image segmentation network via domain adaptation using gradient magnitude and shape constraint
CN116402954A (zh) 一种基于深度学习的脊柱三维结构的重建方法
Yu et al. Cardiac LGE MRI segmentation with cross-modality image augmentation and improved U-Net
CN115861464A (zh) 基于多模mri同步生成的伪ct合成方法
WO2022120731A1 (zh) 基于循环生成对抗网络的mri-pet图像模态转换方法及系统
CN114049334A (zh) 一种以ct图像为输入的超分辨率mr成像方法
Ghadimi et al. Segmentation of scalp and skull in neonatal MR images using probabilistic atlas and level set method
Yousefi et al. ASL to PET translation by a semi-supervised residual-based attention-guided convolutional neural network
Colmeiro et al. Whole body positron emission tomography attenuation correction map synthesizing using 3D deep generative adversarial networks
Longuefosse et al. Lung CT Synthesis Using GANs with Conditional Normalization on Registered Ultrashort Echo-Time MRI
CN114155195B (zh) 基于深度学习的脑肿瘤分割质量评估方法、设备及介质
Cai et al. Detection of 3D Arterial Centerline Extraction in Spiral CT Coronary Angiography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240126

Address after: Room 801, 85 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province

Patentee after: Guangzhou Dayu Chuangfu Technology Co.,Ltd.

Country or region after: China

Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing

Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS

Country or region before: China

TR01 Transfer of patent right