CN110444277A - 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 - Google Patents
一种基于多生成多对抗的多模态脑部mri图像双向转换方法 Download PDFInfo
- Publication number
- CN110444277A CN110444277A CN201910652864.4A CN201910652864A CN110444277A CN 110444277 A CN110444277 A CN 110444277A CN 201910652864 A CN201910652864 A CN 201910652864A CN 110444277 A CN110444277 A CN 110444277A
- Authority
- CN
- China
- Prior art keywords
- image
- converter
- picture
- true
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 41
- 210000004556 brain Anatomy 0.000 title claims abstract description 27
- 230000011218 segmentation Effects 0.000 claims abstract description 34
- 230000007170 pathology Effects 0.000 claims abstract description 29
- 238000010276 construction Methods 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 24
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 19
- 230000001575 pathological effect Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000008447 perception Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 239000011248 coating agent Substances 0.000 claims description 4
- 238000000576 coating method Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 230000004069 differentiation Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 230000008520 organization Effects 0.000 claims description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 21
- 210000000056 organ Anatomy 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000002224 dissection Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明请求保护一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,包括:通过卷积网络将输入图像(T1/T2)与对应病理标签融合并作为转换器的输入数据;输入T1模态数据,通过T2模态转换器转换成T2模态图像;输入T2模态数据,通过T1模态转换器转换成T1模态图像;在输出图像和真实图像)之间构建对抗损失;构建循环验证损失来实现对转换器有效性的验证;在输出图像与真实图像之间构建内容损失,使结果更接近真实图像;引入边缘损失对真实图像和输出图像的边缘进行约束;将输出图像和真实图像的语义分割结果的差异作为形状损失来保持形状一致。本发明能够在多模态脑部MRI数据之间进行双向转换,同时保证了图像的纹理、结构和病理的不变性。
Description
技术领域
本发明属于医学影像处理方法,结合医学图像对应病理标签、多个生成对抗网络以及多个图像损失函数来对多模态脑部MRI图像进行双向转换。
背景技术
医学影像技术是现代医疗的重要组成部分,具有不同的成像技术(例如,X-ray,CT,MRI)。为临床诊断和医学研究提供了多种模态的医学图像,其中,磁共振成像由于其安全性和视觉特征的丰富性,被广泛应用于临床治疗以及医学图像分析。目前为止,没有发现MRI对人体有明确的伤害,此外,磁共振成像技术可以通过设置不同的参数来获得同一解剖结构的不同对比度图像,这些图像的功能都有所不同。例如,T1加权主要反映了解剖结构的信息,而T2加权的图像清楚的描绘了肿瘤等病变组织的位置,所以,在临床中,由于多模态提供比单一模态更好的补充信息,多个MR成像模态的图像通常被一同处理。然而,MR图像存在两个问题。(1)一种模态的图像只能显示独特的软组织信息。例如,因为需要结合多种模态的补充信息来对疾病进行诊断,在临床中通常为脑肿瘤患者采集T1加权,T1对比增强(T1c),T2加权和FLAIR MR图像。但是,由于不同临床中心之间的模态缺失和模态不一致性,临床和研究中并不是总能满足使用多种模态进行分析的高要求。(2)获取MR图像的成本高。例如,采集一次MR图像的检查费用较高,并且采集时间长。长期检查以及难以让患者在扫描期间保持静止(例如儿童患者以及老年患者)所产生的时间成本以及经济成本。这些现存的问题极大的限制了磁共振成像技术在临床治疗中的应用,并且对诊断和治疗的质量产生了不利的影响。
基于上述问题,利用多生成多对抗网络来对多模态MRI医学图像进行双向转换很好的解决了在治疗过程中MRI图像模态缺失的问题,补充了临床诊断中的诊断信息,同时,减少了诊断筛查的时间和经济成本;利用病理标签保持输入图像的病例信息在转换过程中保持不变;最后利用多种损失函数结合的方法来使转换图像保持与原输入图像相同的解剖结构和细节信息。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种能够在多模态脑部MRI数据之间进行双向转换,同时保证了图像的纹理、结构和病理的不变的基于多生成多对抗的多模态脑部MRI图像双向转换方法。本发明的技术方案如下:
一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,其包括以下步骤:
1)、MRI图像具有多种不同的模态,T1和T2分别表示其中最常用的两种MRI图像模态。首先,获取T1和T2两种模态的脑部MRI图像作为输入图像,通过卷积网络将输入图像与对应病理标签数据融合,将卷积网络融合后的图像作为模态图像转换器的输入,通过病理标签数据限制转换器生成图像的特征使输出图像与真实图像的病理信息一致;
2)、对于原始T1模态数据,将其输入到由神经网络构成的T2模态图像转换器中,将原始T1模态图像通过下采样提取图像特征和上采样重建图像转换为T2模态图像;
3)、对于原始T2模态数据,将其输入到由神经网络构成的T1模态图像转换器中,将原始T2模态图像通过下采样提取图像特征和上采样重建图像转换为T1模态图像;
4)、在输出图像和真实图像之间通过生成对抗思想,即一方面转换器的目标为生成让判别器分辨不出真假的图像,另一方面判别器的目标为准确判别图像的真假,来构建对抗损失,使得输出模态图像逐步靠近真实模态图像;
5)、利用循环一致性思想,即输出图像可以通过转换器重建回原始输入图像,且图像不发生改变,来构建循环验证损失实现对双向转换器的有效性进行验证;
6)、将输出模态图像与真实模态图像之间构建内容损失,主要包含在输出图像和真实图像之间计算像素均方误差损失、感知VGG损失和总变差损失三个部分,使转换结果包含的内容更接近真实图像;
7)、引入边缘损失来对输出图像的边缘进行约束,保持输出图像和真实图像的组织边缘一致;
8)、将输出图像的语义分割结果和真实图像的语义分割结果进行对比,得到的差异作为形状损失函数来保持输出图像的形状一致性。
进一步的,所述步骤1)中,通过卷积网络将输入图像(T1/T2)与对应病理标签数据融合,作为转换器的输入,使输出图像(T1/T2)与真实图像(T1/T2)的病理信息一致,具体包括:
在向转换器输入图像之前,将病理标签信息与输入图像(T1/T2)合并一同作为转换器输入,从而限制转换器的特征生成以及确保病理信息不改变,病理标签全部定义在将T1/T2模态图像输入转换器的过程中,即所有转换器均连同标签信息和输入图像一种作为输入数据,病理标签信息定义为:
px=G(x|l)
其中,x为输入图像,G为转换器,px为转换后的图像,l为输入图像对应病理标签。
进一步的,步骤2)中,所述将原始T1模态数据转换为T2模态图像的具体方法为:将原始的T1模态数据输入由神经网络构成的转换器中,首先通过下采样过程提取图像特征,然后通过上采样过程对图像进行重建。所述转换T2模态图像定义为:
pxT2=GT2(xT1|l)
其中,xT1为原始T1模态输入图像,GT2为由神经网络构成的T1模态转换为T2模态的转换器。
进一步的,在步骤3)中,所述将原始T2模态数据转换为T1模态图像的具体方法为:原始T2模态数据输入到由神经网络构成的转换器中,首先对原始图像进行下采样操作,然后对提取到的特征图像进行上采样操作转换为T1模态图像,所述转换T1模态图像定义为:
pxT1=GT1(xT2|l)
其中,xT2为原始T2模态输入图像,GT1为由神经网络构成的T2模态转换为T1模态的转换器。
进一步的,步骤4)中,所述在输出图像和真实图像之间构建对抗损失,使得输出模态图像逐步靠近真实模态图像的具体方法为:将转换器输出的模态图像与对应真实图像一起输入判别器中,求得对抗损失,所述对抗损失定义为:
其中,DT1和DT2为判别器,PT1和PT2为模态T1和模态T2的真实图像分布,为判别器DT1判别原始输入图像为真实T1模态图像的期望,为判别器DT1判别生成T1模态图像为T1模态图像转换器GT1生成的T1图像的期望,为判别器DT2判别原始输入图像为真实T2模态图像的期望,为判别器DT2判别生成T2模态图像为T2模态图像转换器GT2生成的T2图像的期望。
进一步的,所述步骤5)引入循环验证损失来对转换器的有效性进行验证,具体包括:
为转换器GT1和GT2设计循环验证损失,使得预测图像GT2(GT1(xT2))和GT1(GT2(xT1))与对应输入图像xT2和xT1是相同的,以此来验证转换器的有效性。循环验证损失定义为:
进一步的,所述步骤6)将输出模态图像与真实模态图像之间构建内容损失,使转换结果包含的内容更接近真实图像,具体包括:
将输出图像与对应真实图像之间计算内容损失,内容损失旨在减少输出图像的失真情况,主要包含在输出图像和真实图像之间计算像素均方误差(pMSE)损失、感知VGG损失和总变差TV损失三个部分,内容损失定义为:
LContent=λ1LVGG/i,j+λ2LpMSE+λ3LTV
其中,λ为用来控制不同内容损失项权重的超参数集合,像素均方误差(pMSE)损失定义为:
其中,W和H为真实图像或输出图像的大小,感知VGG损失定义为:
其中,φi,j来自微调的VGG网络中,定义为从第i个最大池化层之前且在激活层之后的第j个卷积层获得的特征图,Wi,j和Hi,j表示在VGG网络中特征图的维度,总变差(TV)损失定义为:
进一步的,所述步骤7)中,引入边缘损失来对输出图像的边缘进行约束,保持输出图像和真实图像的组织边缘一致,具体包括:
首先使用真实图像计算Laplacian矩阵,然后将得到的输出图像与对应的真实图像Laplacian矩阵输入到边缘损失计算函数中,计算出输出图像对应的边缘损失,边缘损失定义为:
其中,M是Laplacian矩阵,Vc表示在c通道上向量化输出图像。
进一步的,所述步骤8)中,将输出图像的语义分割结果和真实图像的语义分割结果进行对比,得到的差异作为形状损失函数来保持输出图像的形状一致性,具体包括:
首先利用在医学图像上预训练的语义分割网络对真实图像进行分割,输出真实图像语义分割结果;然后利用同样的语义分割网络对输出图像进行分割,得到输出图像语义分割结果;最后将真实图像语义分割结果和输出图像语义分割结果进行像素级别的差异对比,求出形状损失函数,形状损失函数定义为:
其中,S是语义分割器。
本发明的优点及有益效果如下:
本发明创新点:1)提出了双向转换方法。现有的跨模态医学图像转换方法多是针对特定任务的单向转换,例如从某种模态图像固定的转换到另一种模态。本发明利用多生成多对抗网络来实现对多模态脑部MRI图像双向转换,使得跨模态医学图像转换更加灵活,达到一次训练完成两种任务的目标,大大减少了深度学习训练所需要的时间。2)病理标签信息的引入。现有技术仅仅关注了图像的转换过程,却忽视了保证转换后图像的病理信息保持一致的重要性,故本发明融合了病理标签信息作为输入数据,克服了上述缺点。3)内容损失的提出。内容损失利用了三个损失项来约束输出图像的细节、风格接近于真实图像4)本发明为了保持输出图像的器官边缘与原始图像一致,提出了边缘损失函数,相比于现有的技术手段使用的损失函数,极大的保证了输出图像的边缘不改变。5)本发明利用了语义分割来构建形状损失,相比于现有方法仅使用损失函数来训练模型,使用已训练好的语义分割网络构建损失来训练模型,极大的提升了输出图像的器官结构保持与原始图像一致的能力。
附图说明
图1是本发明提供优选实施例的算法框架图;
图2为本发明的实验结果图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是:
为了减少输出图像和真实图像病理信息不一致的风险,将输入图像与其对应的病理标签信息合并一同作为转换器的输入数据。将原始T1模态数据输入到由神经网络构成的转换器GT2中,得到对应的转换输出T2模态图像。同样,将原始的T2模态数据输入到由神经网络构成的转换器GT1中,得到对应的转换输出T1模态图像。在输出图像和真实图像之间计算对抗损失,求得对抗损失使得输出图像逐步靠近真实图像。利用循环验证损失来对转换器的有效性进行验证。利用输出图像和真实图像之间的内容损失来使输出图像的内容保持与真实图像不变。在输出图像和真实图像之间计算边缘损失来对输出图像的边缘进行约束。最后,将输出图像的语义分割结果和真实图像的语义分割结果的差异作为形状损失函数来保持输出图像的形状一致性。
下面将详细说明本发明的技术方案:
一种多模态脑部MRI双向转换方法,包括:
为了减少输出图像和真实图像病理信息不一致的风险,在向转换器输入图像的过程中,将输入图像与其对应的病理标签信息合并一同作为转换器的输入数据。
将原始T1模态图像输入到由神经网络构成的转换器GT2中,通过下采样提取特征和上采样重建图像,得到对应的转换输出T2模态图像。
将原始的T2模态图像输入到由神经网络构成的转换器GT1中,得到对应的转换输出T1模态图像。
在输出图像和真实图像之间计算对抗损失,求得对抗损失使得输出图像逐步靠近真实图像。
利用循环验证损失来对转换器的有效性进行验证。
利用输出图像和真实图像之间的内容损失来使输出图像的内容保持与真实图像不变,内容损失主要包括像素均方误差(pMSE)损失、感知VGG损失和总变差(TV)损失三个部分。
在输出图像和真实图像之间计算边缘损失来对输出图像的边缘进行约束,保持输出图像和真实图像的边缘一致性。
最后,将输出图像的语义分割结果和真实图像的语义分割结果的差异作为形状损失函数来保持输出图像的形状一致性。
进一步地,其所述将病理标签信息与输入图像合并一同输入到转换器当中,限制转换器的特征生成以及确保输出图像的病理信息不改变,病理标签全部定义在将T1/T2模态图像输入转换器的过程中。所述病理标签信息定义为:px=G(x|l),其中,x为输入图像,G为转换器,px为转换后的图像,l为输入图像对应病理标签。
进一步地,其所述将T1模态图像输入到转换器GT2中来实现T1模态到T2模态的转换,通过下采样提取特征以及上采样重建图像,所述T1图像到T2图像的转换过程定义为:pxT2=GT2(xT1|l),其中,xT1为原始T1模态输入图像,GT2为由神经网络构成的T1模态转换为T2模态的转换器。
进一步地,其所述将T2模态图像输入到转换器GT1中来将T2模态图像转换到T1模态的过程定义为:pxT1=GT1(xT2|l),其中,xT2为原始T2模态输入图像,GT1为由神经网络构成的T2模态转换为T1模态的转换器。
进一步地,其所述在输出图像与真实图像之间求得对抗损失定义为:
其中,DT1和DT2为判别器,PT1和PT2为模态T1和模态T2的真实图像分布。
进一步地,其所述利用循环验证损失来验证转换器的有效性,其中预测图像GT2(GT1(xT2))和GT1(GT2(xT1))与对应输入图像xT2和xT1是相同的,循环验证定义为:
其中,我们在所有像素上使用了L1损失。
进一步地,其所述内容损失函数包括三项损失函数,分别是像素均方误差(pMSE)损失、感知VGG损失和总变差(TV)损失。内容损失定义为:
LContent=λ1LVGG/i,j+λ2LpMSE+λ3LTV
其中,λ为用来控制不同内容损失项权重的超参数集合。具体包括:
1)像素均方误差(pMSE)损失主要是在输出图像和真实图像之间计算像素级别的均方误差函数。定义为:
其中,W和H为真实图像或输出图像的大小。
2)感知VGG损失主要是通过预训练的VGG网络来对图像提取特征,所提取特征用来计算损失。定义为:
其中,φi,j来自微调的VGG网络中,定义为从第i个最大池化层之前且在激活层之后的第j个卷积层获得的特征图,Wi,j和Hi,j表示在VGG网络中特征图的维度。
3)总变差(TV)损失主要是在输出图像的所有像素点及其右和下相邻像素点之间计算差异,总变差(TV)损失定义为:
进一步地,其所述边缘损失为首先使用真实图像计算Laplacian矩阵,然后将得到的输出图像与对应的真实图像Laplacian矩阵输入到边缘损失计算函数中。边缘损失定义为:
其中,M是Laplacian矩阵,Vc表示在c通道上向量化输出图像。
进一步地,其所述形状损失函数为在输出图像的语义分割结果和真实图像的语义分割结果之间计算差异,约束输出图像形状不变。形状损失函数定义为:
其中,S为语义分割器。
步骤一:引入病理标签信息
为了在转换过程中始终保持病理信息不改变,将输入图像与对应的病理标签信息合并,一同输入到转换器中。定义为:
px=G(x|l)
其中,x为输入图像,G为转换器,px为转换后的图像,l为输入图像对应病理标签。
步骤二:T1模态图像转换到T2模态图像
将T1模态图像输入到转换器中,得到对应的T2模态输出图像。定义为:
pxT2=GT2(xT1|l)
其中,xT1为原始T1模态输入图像,GT2为由神经网络构成的T1模态转换为T2模态的转换器。
步骤三:T2模态图像转换到T1模态图像
将T2模态图像输入到转换器中,得到对应的T1模态输出图像。定义为:
pxT1=GT1(xT2|l)
其中,xT2为原始T2模态输入图像,GT1为由神经网络构成的T2模态转换为T1模态的转换器。
步骤四:构建对抗损失
在输出图像和真实图像之间构建对抗损失,使输出图像逐步接近与真实图像。定义为:
其中,DT1和DT2为判别器,PT1和PT2为模态T1和模态T2的真实图像分布。
步骤五:构建循环验证损失
为转换器GT1和GT2设计循环验证损失,来验证转换器的有效性。定义为:
其中,在所有像素上使用了L1损失。
步骤六:构建内容损失
在输出图像与对应真实图像之间计算内容损失,来使输出图像的内容更接近真实图像。为像素均方误差(pMSE)损失、感知VGG损失和总变差(TV)损失三个部分合并,定义为:
LContent=λ1LVGG/i,j+λ2LpMSE+λ3LTV
其中,λ为用来控制不同内容损失项权重的超参数集合。像素均方误差(pMSE)损失定义为:
其中,W和H为真实图像或输出图像的大小。感知VGG损失定义为:
其中,φi,j来自微调的VGG网络[1]中,定义为从第i个最大池化层之前且在激活层之后的第j个卷积层获得的特征图,Wi,j和Hi,j表示在VGG网络中特征图的维度。总变差(TV)损失定义为:
步骤七:构建边缘损失
在输出图像与对应真实图像之间计算边缘损失,来保持输出图像和真实图像的组织边缘一致。定义为:
其中,M是真实图像对应计算出的Laplacian矩阵[2],Vc表示在c通道上向量化输出图像。
步骤八:构建形状一致性损失
在输出图像的语义分割结果和真实图像的语义分割结果之间计算差异,作为形状一致性损失,对输出图像中的器官形状进行约束。定义为:
其中,S是语义分割器。
综上所述,本发明的创新和优势:
本发明提出的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,可以实现多模态脑部MRI数据的双向转换,具有转换灵活,输出稳定的特点;
本发明提出的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,结合病理辅助标签来对输出图像的病理信息进行约束,保持病理信息在转换过程中不改变。
本发明提出的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,结合了内容损失来实现对输出图像内容进行约束,使得转换后图像与真实图像保持内容相似;
本发明提出的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,结合边缘损失来对输出图像的边缘信息进行约束。
本发明提出的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,结合形状一致性损失来对输出图像的器官形状信息进行约束,使输出图像的器官形状不改变。
[1]Simonyan K,Zisserman A.Very Deep Convolutional Networks for Large-Scale Image Recognition[J].international conference on learningrepresentations,2015.
[2]Levin A,Lischinski D,Weiss Y,et al.A Closed-Form Solution toNatural Image Matting[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2008,30(2):228-242.
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (9)
1.一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,其特征在于,包括以下步骤:
1)、MRI图像具有多种不同的模态,T1和T2分别表示其中最常用的两种MRI图像模态,首先,获取T1和T2两种模态的脑部MRI图像作为输入图像,通过卷积网络将输入图像与对应病理标签数据融合,将卷积网络融合后的图像作为模态图像转换器的输入,通过病理标签数据限制转换器生成图像的特征使输出图像与真实图像的病理信息一致;
2)、对于原始T1模态数据,将其输入到由神经网络构成的T2模态图像转换器中,将原始T1模态图像通过下采样提取图像特征和上采样重建图像转换为T2模态图像;
3)、对于原始T2模态数据,将其输入到由神经网络构成的T1模态图像转换器中,将原始T2模态图像通过下采样提取图像特征和上采样重建图像转换为T1模态图像;
4)、在输出图像和真实图像之间通过生成对抗思想,即一方面转换器的目标为生成让判别器分辨不出真假的图像,另一方面判别器的目标为准确判别图像的真假,来构建对抗损失,使得输出模态图像逐步靠近真实模态图像;
5)、利用循环一致性思想,即输出图像可以通过转换器重建回原始输入图像,且图像不发生改变,来构建循环验证损失实现对双向转换器的有效性进行验证;
6)、将输出模态图像与真实模态图像之间构建内容损失,主要包含在输出图像和真实图像之间计算像素均方误差损失、感知VGG损失和总变差损失三个部分,使转换结果包含的内容更接近真实图像;
7)、引入边缘损失来对输出图像的边缘进行约束,保持输出图像和真实图像的组织边缘一致;
8)、将输出图像的语义分割结果和真实图像的语义分割结果进行对比,得到的差异作为形状损失函数来保持输出图像的形状一致性。
2.根据权利要求1所述的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,其特征在于,所述步骤1)中,通过卷积网络将输入图像(T1/T2)与对应病理标签数据融合,作为转换器的输入,使输出图像(T1/T2)与真实图像(T1/T2)的病理信息一致,具体包括:
在向转换器输入图像之前,将病理标签信息与输入图像(T1/T2)合并一同作为转换器输入,从而限制转换器的特征生成以及确保病理信息不改变,病理标签全部定义在将T1/T2模态图像输入转换器的过程中,即所有转换器均连同标签信息和输入图像一种作为输入数据,病理标签信息定义为:
px=G(x|l)
其中,x为输入图像,G为转换器,px为转换后的图像,l为输入图像对应病理标签。
3.根据权利要求2所述的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,其特征在于,步骤2)中,所述将原始T1模态数据转换为T2模态图像的具体方法为:将原始的T1模态数据输入由神经网络构成的转换器中,首先通过下采样过程提取图像特征,然后通过上采样过程对图像进行重建。所述转换T2模态图像定义为:
pxT2=GT2(xT1|l)
其中,xT1为原始T1模态输入图像,GT2为由神经网络构成的T1模态转换为T2模态的转换器。
4.根据权利要求3所述的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,其特征在于,在步骤3)中,所述将原始T2模态数据转换为T1模态图像的具体方法为:原始T2模态数据输入到由神经网络构成的转换器中,首先对原始图像进行下采样操作,然后对提取到的特征图像进行上采样操作转换为T1模态图像,所述转换T1模态图像定义为:
pxT1=GT1(xT2|l)
其中,xT2为原始T2模态输入图像,GT1为由神经网络构成的T2模态转换为T1模态的转换器。
5.根据权利要求4所述的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,其特征在于,步骤4)中,所述在输出图像和真实图像之间构建对抗损失,使得输出模态图像逐步靠近真实模态图像的具体方法为:将转换器输出的模态图像与对应真实图像一起输入判别器中,求得对抗损失,所述对抗损失定义为:
其中,DT1和DT2为判别器,PT1和PT2为模态T1和模态T2的真实图像分布,为判别器DT1判别原始输入图像为真实T1模态图像的期望,为判别器DT1判别生成T1模态图像为T1模态图像转换器GT1生成的T1图像的期望,为判别器DT2判别原始输入图像为真实T2模态图像的期望,为判别器DT2判别生成T2模态图像为T2模态图像转换器GT2生成的T2图像的期望。
6.根据权利要求5所述的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,其特征在于,所述步骤5)引入循环验证损失来对转换器的有效性进行验证,具体包括:
为转换器GT1和GT2设计循环验证损失,使得预测图像GT2(GT1(xT2))和GT1(GT2(xT1))与对应输入图像xT2和xT1是相同的,以此来验证转换器的有效性。循环验证损失定义为:
7.根据权利要求6所述的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,其特征在于,所述步骤6)将输出模态图像与真实模态图像之间构建内容损失,使转换结果包含的内容更接近真实图像,具体包括:
将输出图像与对应真实图像之间计算内容损失,内容损失旨在减少输出图像的失真情况,主要包含在输出图像和真实图像之间计算像素均方误差(pMSE)损失、感知VGG损失和总变差TV损失三个部分,内容损失定义为:
LContent=λ1LVGG/i,j+λ2LpMSE+λ3LTV
其中,λ为用来控制不同内容损失项权重的超参数集合,像素均方误差(pMSE)损失定义为:
其中,W和H为真实图像或输出图像的大小,感知VGG损失定义为:
其中,φi,j来自微调的VGG网络中,定义为从第i个最大池化层之前且在激活层之后的第j个卷积层获得的特征图,Wi,j和Hi,j表示在VGG网络中特征图的维度,总变差(TV)损失定义为:
8.根据权利要求7所述的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,其特征在于,所述步骤7)中,引入边缘损失来对输出图像的边缘进行约束,保持输出图像和真实图像的组织边缘一致,具体包括:
首先使用真实图像计算Laplacian矩阵,然后将得到的输出图像与对应的真实图像Laplacian矩阵输入到边缘损失计算函数中,计算出输出图像对应的边缘损失,边缘损失定义为:
其中,M是Laplacian矩阵,Vc表示在c通道上向量化输出图像。
9.根据权利要求8所述的一种基于多生成多对抗的多模态脑部MRI图像双向转换方法,其特征在于,所述步骤8)中,将输出图像的语义分割结果和真实图像的语义分割结果进行对比,得到的差异作为形状损失函数来保持输出图像的形状一致性,具体包括:
首先利用在医学图像上预训练的语义分割网络对真实图像进行分割,输出真实图像语义分割结果;然后利用同样的语义分割网络对输出图像进行分割,得到输出图像语义分割结果;最后将真实图像语义分割结果和输出图像语义分割结果进行像素级别的差异对比,求出形状损失函数,形状损失函数定义为:
其中,S是语义分割器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910652864.4A CN110444277B (zh) | 2019-07-19 | 2019-07-19 | 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910652864.4A CN110444277B (zh) | 2019-07-19 | 2019-07-19 | 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110444277A true CN110444277A (zh) | 2019-11-12 |
CN110444277B CN110444277B (zh) | 2023-03-28 |
Family
ID=68430797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910652864.4A Active CN110444277B (zh) | 2019-07-19 | 2019-07-19 | 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110444277B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111860618A (zh) * | 2020-07-01 | 2020-10-30 | 杭州健培科技有限公司 | 用于病理数据转换的双向gan模型及其构建和应用方法 |
CN111968147A (zh) * | 2020-08-06 | 2020-11-20 | 电子科技大学 | 一种基于关键点检测的乳腺癌病理图像综合分析系统 |
CN112581431A (zh) * | 2020-12-07 | 2021-03-30 | 重庆邮电大学 | 一种基于内容保持与注意力机制的从超声诊断报告生成超声图像的方法 |
CN112612936A (zh) * | 2020-12-28 | 2021-04-06 | 杭州电子科技大学 | 一种基于对偶转换网络的多模态情感分类方法 |
CN113837191A (zh) * | 2021-08-30 | 2021-12-24 | 浙江大学 | 基于双向无监督域适应融合的跨星遥感图像语义分割方法 |
CN113989800A (zh) * | 2021-12-29 | 2022-01-28 | 南京南数数据运筹科学研究院有限公司 | 一种基于改进渐进式残差网络的肠神经丛辅助识别方法 |
WO2022120762A1 (zh) * | 2020-12-10 | 2022-06-16 | 中国科学院深圳先进技术研究院 | 多模态医学图像生成方法和装置 |
CN115937192A (zh) * | 2022-12-30 | 2023-04-07 | 北京航空航天大学 | 一种无监督视网膜血管分割方法、系统及电子设备 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010134459A1 (ja) * | 2009-05-22 | 2010-11-25 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
CN107220980A (zh) * | 2017-05-25 | 2017-09-29 | 重庆理工大学 | 一种基于全卷积网络的mri图像脑肿瘤自动分割方法 |
GB201809604D0 (en) * | 2018-06-12 | 2018-07-25 | Tom Tom Global Content B V | Generative adversarial networks for image segmentation |
CN108986067A (zh) * | 2018-05-25 | 2018-12-11 | 上海交通大学 | 基于跨模态的肺结节检测方法 |
CN109064422A (zh) * | 2018-07-17 | 2018-12-21 | 中国海洋大学 | 一种基于融合对抗网络的水下图像复原方法 |
CN109196526A (zh) * | 2016-06-01 | 2019-01-11 | 三菱电机株式会社 | 用于生成多模态数字图像的方法和系统 |
WO2019019199A1 (en) * | 2017-07-28 | 2019-01-31 | Shenzhen United Imaging Healthcare Co., Ltd. | SYSTEM AND METHOD FOR IMAGE CONVERSION |
CN109377520A (zh) * | 2018-08-27 | 2019-02-22 | 西安电子科技大学 | 基于半监督循环gan的心脏图像配准系统及方法 |
US20190066281A1 (en) * | 2017-08-24 | 2019-02-28 | Siemens Healthcare Gmbh | Synthesizing and Segmenting Cross-Domain Medical Images |
CN109472817A (zh) * | 2018-09-27 | 2019-03-15 | 浙江工业大学 | 一种基于循环生成对抗网络的多序列磁共振图像配准方法 |
CN109558890A (zh) * | 2018-09-30 | 2019-04-02 | 天津大学 | 基于自适应权重哈希循环对抗网络的零样本图像分类方法 |
CN109584325A (zh) * | 2018-10-30 | 2019-04-05 | 河北科技大学 | 一种基于u型周期一致对抗网络的动漫图像的双向色彩化方法 |
WO2019111464A1 (ja) * | 2017-12-04 | 2019-06-13 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
CN109902714A (zh) * | 2019-01-18 | 2019-06-18 | 重庆邮电大学 | 一种基于多图正则化深度哈希的多模态医学图像检索方法 |
-
2019
- 2019-07-19 CN CN201910652864.4A patent/CN110444277B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010134459A1 (ja) * | 2009-05-22 | 2010-11-25 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
CN109196526A (zh) * | 2016-06-01 | 2019-01-11 | 三菱电机株式会社 | 用于生成多模态数字图像的方法和系统 |
CN107220980A (zh) * | 2017-05-25 | 2017-09-29 | 重庆理工大学 | 一种基于全卷积网络的mri图像脑肿瘤自动分割方法 |
WO2019019199A1 (en) * | 2017-07-28 | 2019-01-31 | Shenzhen United Imaging Healthcare Co., Ltd. | SYSTEM AND METHOD FOR IMAGE CONVERSION |
US20190066281A1 (en) * | 2017-08-24 | 2019-02-28 | Siemens Healthcare Gmbh | Synthesizing and Segmenting Cross-Domain Medical Images |
WO2019111464A1 (ja) * | 2017-12-04 | 2019-06-13 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
CN108986067A (zh) * | 2018-05-25 | 2018-12-11 | 上海交通大学 | 基于跨模态的肺结节检测方法 |
GB201809604D0 (en) * | 2018-06-12 | 2018-07-25 | Tom Tom Global Content B V | Generative adversarial networks for image segmentation |
CN109064422A (zh) * | 2018-07-17 | 2018-12-21 | 中国海洋大学 | 一种基于融合对抗网络的水下图像复原方法 |
CN109377520A (zh) * | 2018-08-27 | 2019-02-22 | 西安电子科技大学 | 基于半监督循环gan的心脏图像配准系统及方法 |
CN109472817A (zh) * | 2018-09-27 | 2019-03-15 | 浙江工业大学 | 一种基于循环生成对抗网络的多序列磁共振图像配准方法 |
CN109558890A (zh) * | 2018-09-30 | 2019-04-02 | 天津大学 | 基于自适应权重哈希循环对抗网络的零样本图像分类方法 |
CN109584325A (zh) * | 2018-10-30 | 2019-04-05 | 河北科技大学 | 一种基于u型周期一致对抗网络的动漫图像的双向色彩化方法 |
CN109902714A (zh) * | 2019-01-18 | 2019-06-18 | 重庆邮电大学 | 一种基于多图正则化深度哈希的多模态医学图像检索方法 |
Non-Patent Citations (6)
Title |
---|
PRAMUDITHA PERERA: "In2I: Unsupervised Multi-Image-to-Image Translation Using Generative Adversarial Networks", 《2018 24TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR)》 * |
XIANHUA ZENG: "Image Retrieval Based on Hierarchical Locally Constrained Diffusion Process", 《2017 IEEE INTERNATIONAL CONFERENCE ON BIG KNOWLEDGE (ICBK)》 * |
傅家庆: "面向图文游记的多模态学习", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
孙亮: "基于生成对抗网络的多视图学习与重构算法", 《自动化学报》 * |
张贺: "基于多生成对抗网络的跨模态医学图像转换", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》 * |
赵佳: "基于自适应云模型的多模态医学图像融合方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111860618A (zh) * | 2020-07-01 | 2020-10-30 | 杭州健培科技有限公司 | 用于病理数据转换的双向gan模型及其构建和应用方法 |
CN111860618B (zh) * | 2020-07-01 | 2024-05-14 | 杭州健培科技有限公司 | 用于病理数据转换的双向gan模型及其构建和应用方法 |
CN111968147A (zh) * | 2020-08-06 | 2020-11-20 | 电子科技大学 | 一种基于关键点检测的乳腺癌病理图像综合分析系统 |
CN111968147B (zh) * | 2020-08-06 | 2022-03-15 | 电子科技大学 | 一种基于关键点检测的乳腺癌病理图像综合分析系统 |
CN112581431A (zh) * | 2020-12-07 | 2021-03-30 | 重庆邮电大学 | 一种基于内容保持与注意力机制的从超声诊断报告生成超声图像的方法 |
CN112581431B (zh) * | 2020-12-07 | 2022-08-23 | 重庆邮电大学 | 一种基于内容保持与注意力机制的从超声诊断报告生成超声图像的方法 |
WO2022120762A1 (zh) * | 2020-12-10 | 2022-06-16 | 中国科学院深圳先进技术研究院 | 多模态医学图像生成方法和装置 |
CN112612936A (zh) * | 2020-12-28 | 2021-04-06 | 杭州电子科技大学 | 一种基于对偶转换网络的多模态情感分类方法 |
CN113837191B (zh) * | 2021-08-30 | 2023-11-07 | 浙江大学 | 基于双向无监督域适应融合的跨星遥感图像语义分割方法 |
CN113837191A (zh) * | 2021-08-30 | 2021-12-24 | 浙江大学 | 基于双向无监督域适应融合的跨星遥感图像语义分割方法 |
CN113989800A (zh) * | 2021-12-29 | 2022-01-28 | 南京南数数据运筹科学研究院有限公司 | 一种基于改进渐进式残差网络的肠神经丛辅助识别方法 |
CN115937192A (zh) * | 2022-12-30 | 2023-04-07 | 北京航空航天大学 | 一种无监督视网膜血管分割方法、系统及电子设备 |
CN115937192B (zh) * | 2022-12-30 | 2023-09-19 | 北京航空航天大学 | 一种无监督视网膜血管分割方法、系统及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110444277B (zh) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110444277A (zh) | 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 | |
Singh et al. | Shallow 3D CNN for detecting acute brain hemorrhage from medical imaging sensors | |
CN110522448B (zh) | 一种基于图卷积神经网络的脑网络分类方法 | |
Iqbal et al. | Generative adversarial networks and its applications in the biomedical image segmentation: a comprehensive survey | |
CN110506278A (zh) | 隐空间中的目标检测 | |
Yoon et al. | Medical image analysis using artificial intelligence | |
CN111598864B (zh) | 一种基于多模态影像贡献度融合的肝细胞癌分化评估方法 | |
Valanarasu et al. | Learning to segment brain anatomy from 2D ultrasound with less data | |
Wang et al. | Sk-unet: An improved u-net model with selective kernel for the segmentation of lge cardiac mr images | |
Singh et al. | Medical image generation using generative adversarial networks | |
Zhan et al. | LR-cGAN: Latent representation based conditional generative adversarial network for multi-modality MRI synthesis | |
Savaashe et al. | A review on cardiac image segmentation | |
Wang et al. | Deep transfer learning-based multi-modal digital twins for enhancement and diagnostic analysis of brain mri image | |
Li et al. | A review of deep learning-based information fusion techniques for multimodal medical image classification | |
Qiao et al. | Cheart: A conditional spatio-temporal generative model for cardiac anatomy | |
Wang et al. | MSE-Fusion: Weakly supervised medical image fusion with modal synthesis and enhancement | |
Yu et al. | Cardiac LGE MRI segmentation with cross-modality image augmentation and improved U-Net | |
Yang et al. | Hierarchical progressive network for multimodal medical image fusion in healthcare systems | |
Xie et al. | Synthesizing PET images from high‐field and ultra‐high‐field MR images using joint diffusion attention model | |
Qiao et al. | CorGAN: Context aware recurrent generative adversarial network for medical image generation | |
Bajger et al. | Lumbar spine CT synthesis from MR images using CycleGAN-a preliminary study | |
CN112750097B (zh) | 基于多cnn组合和模糊神经网络的多模态医学图像融合 | |
Balasubramaniam et al. | Medical Image Analysis Based on Deep Learning Approach for Early Diagnosis of Diseases | |
Yao et al. | Trimodal Fusion Network Combined Global-Local Feature Extraction Strategy and Spatial-Frequency Fusion Strategy | |
Shihabudeen et al. | Autoencoder Network based CT and MRI Medical Image Fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240126 Address after: Room 801, 85 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province Patentee after: Guangzhou Dayu Chuangfu Technology Co.,Ltd. Country or region after: China Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS Country or region before: China |