CN110544239A

CN110544239A - 基于条件生成对抗网络的多模态mri转换方法、系统及介质

Info

Publication number: CN110544239A
Application number: CN201910765217.4A
Authority: CN
Inventors: 瞿毅力; 苏琬棋; 邓楚富; 王莹; 卢宇彤; 陈志广
Original assignee: National Sun Yat Sen University
Current assignee: Sun Yat Sen University; National Sun Yat Sen University
Priority date: 2019-08-19
Filing date: 2019-08-19
Publication date: 2019-12-06
Anticipated expiration: 2039-08-19
Also published as: CN110544239B

Abstract

本发明公开了一种基于条件生成对抗网络的多模态MRI转换方法、系统及介质，本发明方法包括输入原始MRI图像，将原始MRI图像输入条件生成对抗网络的编码器得到语义特征图，并通过条件生成对抗网络的鉴别器识别原始MRI图像的模态类别；针对每一种原始MRI图像的模态类别以外的其他模态：生成该模态的条件向量，将语义特征图与该模态的条件向量连接，将连接后的结果输入条件生成对抗网络的解码器得到该模态的MRI转换图，从而最终得到所有其他模态的MRI转换图。本发明是无监督的，无需配准的多模态影像即可训练，同时能保证转换生成的多模态MRI是配准的，最后还能保证转换生成的MRI完好的保留了关键的病灶信息，还可以进一步根据需要加以进行检验。

Description

基于条件生成对抗网络的多模态MRI转换方法、系统及介质

技术领域

本发明属于医学图像处理领域，具体涉及一种基于条件生成对抗网络的多模态MRI转换方法、系统及介质，用于根据给定模态的MRI图像和目标模态，通过条件生成对抗网络生成其他配准的多模态MRI图像。

背景技术

核磁共振成像(MRI)是一种常见的医学影像，根据成像参数的不同可以有多种模态，例如T1、T2、T1c等。不同的模态对医生具有不同的参考价值，医生往往需要多个模态的影像互相对照才能做出准备的判断。在医学影像的智能处理任务的训练和学习中，我们往往也期望获得更多模态的影像，例如采用卷积神经网络(CNN)或生成对抗网络(GAN)进行的医学图像处理任务。对于医生来说，获取不同模态的影像需要花费更长的时间并且需要患者的耐心配合，对于医学影像的智能处理任务的研究者来说，多模态的MRI数据集十分稀缺，收集难度非常大，而配准的数据则更加稀少。

条件生成对抗网络(GAN)在人脸转换等领域实现了非常惊人的转换效果，因此，我们希望设计一套基于条件生成对抗网络的方法来实现无监督的多模态MRI转换方法，通过转换生成配准的多模态MRI。在医学影像中，真正具有价值的是其中的病灶信息。然而病灶往往又十分细微，因此，在转换中如何有效保留病灶信息是十分关键的。因此，如何实现基于条件生成对抗网络的多模态MRI转换，且保证转换生成的MRI完好的保留了关键的病灶信息，已经成为一项亟待解决的关键技术问题。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于条件生成对抗网络的多模态MRI转换方法、系统及介质，本发明是无监督的，无需配准的多模态影像即可训练，同时能保证转换生成的多模态MRI是配准的，最后还能保证转换生成的MRI完好的保留了关键的病灶信息，还可以进一步根据需要加以进行检验。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于条件生成对抗网络的多模态MRI转换方法，实施步骤包括：

1)输入原始MRI图像，将原始MRI图像输入条件生成对抗网络的编码器得到语义特征图，并通过条件生成对抗网络的鉴别器识别原始MRI图像的模态类别；

2)针对每一种原始MRI图像的模态类别以外的其他模态：生成该模态的条件向量，将语义特征图与该模态的条件向量连接，将连接后的结果输入条件生成对抗网络的解码器得到该模态的MRI转换图，从而最终得到所有其他模态的MRI转换图。

可选地，步骤2)中得到该模态的MRI转换图之后还包括验证编码器以及解码器构成的模态转换器的步骤，详细步骤包括：输入一个模态的MRI并使用病灶处理器得到生成的病灶标签，再用模态转换器得到转换图，将得到该模态的MRI转换图通过病灶处理器得到生成的病灶标签图，将两个生成的病灶标签图进行比较求得均方差，如果均方差低于设定阈值，则判定MRI转换图保留了原始MRI图像的病灶信息，模态转换器验证通过；如果均方差不低于设定阈值，则判定模态转换器验证不通过，需要调整或重新设计模态转换器的网络结构并进行重新训练。

可选地，步骤2)中生成该模态的条件向量的详细步骤包括：将模态数量为C的所有模态从0开始进行整数编号，使得每一个模态对应一个整数编号；获取到条件生成对抗网络的编码器输出的语义特征图的个数N、高H和宽W，生成一个形状为[N，H，W，C]的全零矩阵，将模态数量C作为该全零矩阵的通道维度，将全零矩阵的通道维度中对该模态的第i通道上的0全部变为1，得到整数编号为i的模态的C个通道的独热条件向量作为该模态的条件向量。

可选地，步骤2)中将语义特征图、条件向量进行连接具体是指将语义特征图、独热条件向量进行通道方向上的堆叠。

可选地，所述进行通道方向上的堆叠具体是指将C个通道的独热独热条件向量堆叠在语义特征图最后一个通道之后。

可选地，步骤1)之前还包括针对条件生成对抗网络进行模块组合训练的步骤，详细步骤包括：

S1)输入的i模态的MRI经过病灶处理器得到生成的病灶标签label_i，原始输入模态i的MRI x_i对应的真实病灶标签label_i作为其监督标签，通过监督标签与生成的病灶标签label_i求得的均方差损失指导该病灶处理器的训练，病灶处理器预先完成独立训练，且在训练完成后采用该训练好的病灶处理器为后续的生成器提供损失，所述生成器由生成对抗网络的编码器和解码器组成；

S2)针对模态数量为C的所有模态中的任意一个模态i，通过条件生成对抗网络的编码器将i模态的MRI编码得到语义特征图code_i，然后将语义特征图code_i与不同模态的条件向量连接，通过条件生成对抗网络的解码器解码出全部的模态，当解码还原到i模态本身时，即是该模态的模态重建，从而完成C-1次模态转换、一次模态重建；对所有通过模态转换得到的转换图，全部采用条件生成对抗网络的编码器进行再编码，将全部再编码得到的语义特征图均与i模态的条件向量进行连接，最后再用条件生成对抗网络的解码器全部解码得到循环重建的i模态的MRI；

S3)将真实模态图与模态转换得到的转换图分别作为鉴别器的正样本和负样本，通过条件生成对抗网络的鉴别器提供的对抗性损失实现无监督训练；在上述过程中，原始输入的i模态的MRI x_i经过病灶处理器得到生成的病灶标签label_g，i，模态i转换成的模态j的MRI x_t，j，i经过病灶处理器得到生成的病灶标签label_t，j，i，两个生成标签求得的均方差损失的约束使得x_t，j，i中病灶信息与x_i中病灶信息尽可能一致，从而指导转换过程中生成组件的病灶还原训练；

S4)根据各个训练步骤的输出结果和指定的损失函数计算损失，再调用优化器对损失函数求导得到上述各个组件中模型参数的梯度，然后将各个参数与对应梯度求差，完成网络参数的更新；

S5)判断是否满足预设的迭代结束条件，所述迭代结束条件为损失函数值低于设定阈值或迭代次数达到设定步数，如果不满足则跳转执行步骤S2)；否则退出。

此外，本发明还提供一种基于条件生成对抗网络的多模态MRI转换系统，包括：

编码及鉴别程序单元，用于输入原始MRI图像，将原始MRI图像输入条件生成对抗网络的编码器得到语义特征图，并通过条件生成对抗网络的鉴别器识别原始MRI图像的模态类别；

模态转换程序单元，用于针对每一种原始MRI图像的模态类别以外的其他模态：生成该模态的条件向量，将语义特征图与该模态的条件向量连接，将连接后的结果输入条件生成对抗网络的解码器得到该模态的MRI转换图，从而最终得到所有其他模态的MRI转换图。

此外，本发明还提供一种基于条件生成对抗网络的多模态MRI转换系统，包括计算机设备，该计算机设备被编程或配置以执行所述基于条件生成对抗网络的多模态MRI转换方法的步骤。

此外，本发明还提供一种基于条件生成对抗网络的多模态MRI转换系统，包括计算机设备，该计算机设备的存储介质上存储有被编程或配置以执行所述基于条件生成对抗网络的多模态MRI转换方法的计算机程序。

此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行所述基于条件生成对抗网络的多模态MRI转换方法的计算机程序。

和现有技术相比，本发明具有下述优点：本发明方法包括输入原始MRI图像，将原始MRI图像输入条件生成对抗网络的编码器得到语义特征图，并通过条件生成对抗网络的鉴别器识别原始MRI图像的模态类别；针对每一种原始MRI图像的模态类别以外的其他模态：生成该模态的条件向量，将语义特征图与该模态的条件向量连接，将连接后的结果输入条件生成对抗网络的解码器得到该模态的MRI转换图，从而最终得到所有其他模态的MRI转换图。本发明是无监督的，无需配准的多模态影像即可训练，同时能保证转换生成的多模态MRI是配准的，最后还能保证转换生成的MRI完好的保留了关键的病灶信息，还可以进一步根据需要加以进行检验。

附图说明

图1为本发明实施例方法的基本原理示意图。

图2为本发明实施例条件生成对抗网络的使用流程示意图。

图3为本发明实施例中的病灶处理器训练过程，其中EC_L和DC_L组成病灶处理器。

图4为本发明实施例方法的转换训练过程示意图，图中EC表示编码器，DC表示解码器，EC_L病灶编码器，DC_L表示病灶解码器，D表示鉴别器。

图5为本发明实施例中病灶处理器用于转换有效性验证的验证过程示意图。

图6为本发明实施例方法的训练主流程图。

图7为本发明实施例方法中的病灶有效性检测过程示意图。

具体实施方式

下文将以公开数据集BRATS2015的T1、T1c、T2和Flair四个模态的转换为例，对本发明基于条件生成对抗网络的多模态MRI转换方法、系统及介质进行进一步的详细说明。

如图1和图2所示，本实施例基于条件生成对抗网络的多模态MRI转换方法的实施步骤包括：

1)输入原始MRI图像(图1中以x_i表示)，将原始MRI图像输入条件生成对抗网络的编码器(图1中以EC表示)得到语义特征图(图1中code_i表示)，并通过条件生成对抗网络的鉴别器识别原始MRI图像的模态类别；

2)针对每一种原始MRI图像的模态类别以外的其他模态：生成该模态的条件向量(图1中以one_hot(i)表示，i为该模态的序号，一共C个模态)，将语义特征图与该模态的条件向量连接，将连接后的结果输入条件生成对抗网络的解码器(图1中以DC表示)得到该模态的MRI转换图，从而最终得到所有其他模态的MRI转换图。以序号为0的第1个模态为例，将语义特征图code_i、第1个模态的条件向量one_hot(0)连接，将连接后的结果输入条件生成对抗网络的解码器DC，即可得到第1个模态的MRI转换图x_t，i，0，其余模态依次类推。

本实施例选择公开数据集BRATS2015的T1、T1c、T2和Flair四个模态MRI作为本实施例的训练和测试数据，将其病灶分割标签图作为本实施例的病灶标签数据，数据预处理时将3D的MRI切割成2D的MRI图片，并按一定病人样本比例划分出训练数据和测试数据。

本实施例中，得到的转换图需要验证它们是否保留了关键的病灶信息以供医生或其他网络诊断用，步骤2)中得到该模态的MRI转换图之后还包括验证编码器以及解码器构成的模态转换器的步骤，详细步骤包括：输入一个模态的MRI并使用病灶处理器得到生成的病灶标签，再用模态转换器得到转换图，将得到该模态的MRI转换图通过病灶处理器得到生成的病灶标签图，将两个生成的病灶标签图进行比较求得均方差，如果均方差低于设定阈值，则判定MRI转换图保留了原始MRI图像的病灶信息，模态转换器验证通过；如果均方差不低于设定阈值，则判定模态转换器验证不通过，需要调整或重新设计模态转换器的网络结构并进行重新训练。

参见前文可知，本实施例将条件生成对抗网络中的生成器分解成一个编码器和一个解码器，编码器实现将不同模态的MRI编码进同一个语义特征空间，得到语义特征图，解码器接收一个语义特征图和一个条件向量，根据条件向量指定的目标模态将语义特征图解码还原为目标模态的MRI。同时，本实施例还构建了一个病灶解码器，用于进行例如肿瘤分割、肺结节检测等病灶处理任务。与生成器对应的还有一个鉴别器，鉴别器接收原始的MRI和转换后的MRI，输出他们的模态类别和是否为原始的MRI。因此，本实施例一共有四个模块，一个编码器，一个解码器、一个鉴别器和一个病灶处理器，其中编码器和解码器组成一个生成器，当向解码器中添加的条件向量与输入模态一致时，则该生成器为一个模态重建器，不一致时为一个模态转换器。本实施例各个模块均为普通的CNN，可根据任务类型和数据信息进行设计，也可直接采用当前优秀的网络，例如AlexNet、ResNet、GoogleNet、VggNet等，并可根据转换图的验证情况加以调整或重新设计。本实施例的方法可以使用接收2D图片的CNN，也可以使用直接处理3D图片的CNN。

本实施例中，步骤2)中生成该模态的条件向量的详细步骤包括：将模态数量为C的所有模态从0开始进行整数编号，使得每一个模态对应一个整数编号；获取到条件生成对抗网络的编码器输出的语义特征图的个数N、高H和宽W，生成一个形状为[N，H，W，C]的全零矩阵，将模态数量C作为该全零矩阵的通道维度，将全零矩阵的通道维度中对该模态的第i通道上的0全部变为1，得到整数编号为i的模态的C个通道的独热条件向量作为该模态的条件向量。本实施例中，步骤2)中将语义特征图、条件向量进行连接具体是指将语义特征图、独热条件向量进行通道方向上的堆叠。所述进行通道方向上的堆叠具体是指将C个通道的独热独热条件向量堆叠在语义特征图最后一个通道之后。

如图4和图6所示，本实施例步骤1)之前还包括针对条件生成对抗网络进行模块组合训练的步骤，详细步骤包括：

S2)针对模态数量为C的所有模态中的任意一个模态i，通过条件生成对抗网络的编码器将i模态的MRI编码得到语义特征图code_i，然后将语义特征图code_i与不同模态的条件向量连接，通过条件生成对抗网络的解码器解码出全部的模态，当解码还原到i模态本身时，即是该模态的模态重建，从而完成C-1次模态转换、一次模态重建；对所有通过模态转换得到的转换图，全部采用条件生成对抗网络的编码器进行再编码，将全部再编码得到的语义特征图均与i模态的条件向量进行连接，最后再用条件生成对抗网络的解码器全部解码得到循环重建的i模态的MRI；模态重建得到的重建图无需再编码和循环重建。模态重建和循环重建都是自监督训练；

S3)将真实模态图与模态转换得到的转换图分别作为鉴别器的正样本和负样本，通过条件生成对抗网络的鉴别器提供的对抗性损失实现无监督训练；在上述过程中，由原始输入的i模态的MRI得到的一个经过病灶处理器生成的病灶标签label_i作为监督标签，使得原始输入模态i对应的病灶标签label_i作为病灶还原训练的监督标签；

病灶处理器需要预先完成训练，在病灶处理器的训练完成后，采用该训练好的病灶处理器为生成器提供损失，具体来说，对输入MRI采用病灶处理器进行处理得到一个病灶标签，再对转换和重建得到的MRI采用病灶处理器进行处理，得到的生成标签与输入图的生成标签求损失，该损失只用于生成器的梯度更新，病灶处理器的参数不更新。需要说明的是，步骤1)之前还包括针对条件生成对抗网络进行模块组合训练的步骤训练采用的学习率、优化方法等超参数设置均可根据任务实际情况自由配置。

步骤S3)中的损失函数可以根据需要设计，作为一种通用的损失函数设计方法示例，本实施例中设计的损失函数如下：

I)训练病灶处理器的损失：

上式中，loss_Lesions为训练病灶处理器的损失，C为模态数量，label_i表示编号为i的模态的MRI的真实病灶标签，label_g，i表示编号为i的模态的MRI经过病灶处理器生成的病灶标签。本实施例中先训练病灶处理器，然后进行转换训练，鉴别器损失仅用于更新鉴别器，生成器损失仅用于更新编码器和解码器。

II)本实施例的鉴别器模块独立更新，其损失为：

上式中，loss_{Discriminator}表示鉴别器的损失，C为模态数量，x_i指真实的编号为i的模态的MRI，x_t，j，i指由编号为j的模态转换生成的编号为i的模态的MRI，0与1表示真实与否，i表示模态类别，Discriminator(x_i)[0]表示以x_i为输入的鉴别器的真假鉴别输出，Discriminator(x_i)[1]表示以x_i为输入的鉴别器的类别鉴别输出，Discriminator(x_t，j，i)[0]表示以x_t，j，i为输入的鉴别器的真假鉴别输出，Discriminator(x_t，j，i)[1]表示以x_t，j，i为输入的鉴别器的类别鉴别输出。

III)本实施例生成器通过一个优化器更新训练，损失项包括鉴别器提供的对抗性损失、模态重建自监督损失、模态循环重建自监督损失、模态循环重建一致性损失、语义一致性损失、病灶监督损失、病灶一致性损失。

3.1、对抗性损失：

上式中，loss_Adversarial表示对抗性损失，C为模态数量，x_t，i，j表示由编号为j的模态转换生成的编号为i的模态的MRI，Discriminator(x_t，j，i)[0]表示以x_t，j，i为输入的鉴别器的真假鉴别输出，Discriminator(x_t，j，i)[1]表示以x_t，j，i为输入的鉴别器的类别鉴别输出。

3.2、模态重建自监督损失：

上式中，loss_rebuild表示模态重建自监督损失，C为模态数量，x_i指真实的编号为i的模态的MRI，x_r，i表示编号为i的模态重建得到的i模态的MRI。

3.3、模态循环重建自监督损失：

上式中，loss_{cycle，rebuild}表示模态循环重建自监督损失，C为模态数量，x_i指真实的编号为i的模态的MRI，x_cr，j，i表示编号为i的模态转换到编号为j的模态再转换回的i模态的MRI。

3.4、模态循环重建一致性损失：

上式中，loss_{cycle，consistency}表示模态循环重建一致性损失，C为模态数量，x_cr，j，i表示编号为i的模态转换到编号为j的模态再转换回的i模态的MRI，x_cr，k，i表示编号为i的模态转换到编号为k的模态再转换回的i模态的MRI，i、j、k分别表示不同的模态。

3.5、语义一致性损失：

上式中，lossc_{ode，consistency}表示语义一致性损失，C为模态数量，code_i表示编号为i的模态的MRI经过编码器编码后得到的语义特征图，code_t，i，_j表示由编号为i的模态转换生成的编号为j的模态的MRI经过编码器编码后得到的语义特征图，code_t，i，k表示由编号为i的模态转换生成的编号为j的模态的MRI经过编码器编码后得到的语义特征图，i、j、k分别表示不同的模态。

3.6、病灶监督损失：

上式中，loss_label表示病灶监督损失，C为模态数量，label_i表示编号为i的模态的MRI的真实病灶标签，label_g，i表示编号为i的模态的MRI经过病灶处理器生成的病灶标签，label_t，j，i表示由编号为i的模态转换生成的编号为j的模态的MRI经过病灶处理器生成的病灶标签。

3.7、病灶一致性损失：

上式中，loss_{label，consistency}表示病灶一致性损失，C为模态数量，label_t，j，i表示由编号为i的模态转换生成的编号为j的模态的MRI经过病灶处理器生成的病灶标签，label_t，j，i表示由编号为i的模态转换生成的编号为k的模态的MRI经过病灶处理器生成的病灶标签。

因此，由编码器解码器组成的各项生成器的总的损失为：

loss_Generator＝loss_adversarial+loss_rebuild+loss_{cycle，rebuild}+loss_{cycle，consistency}+loss_{code，consistency}+loss_label+loss_{label，consistency}

上式中，loss_Generator为编码器解码器组成的各项生成器的总的损失，其余各符号含义详见前文。

本例中病灶处理任务为肿瘤分割任务，我们以训练数据集中真实的多模态MRI为输入数据，对应的分割标签为监督标签单独训练一个由病灶编码器(EC_L)和病灶解码器(DC_L)组合成的肿瘤分割器，如图3所示，损失函数参见前文记载。每次迭代步随机选择当前步x₀、x₁、x₂或x₃中的一张作为输入，得到输出的label_g，0、label_g，1、label_g，2或label_g，3，与对应的真实病灶标签label₀、label₁、label₂或label₃求取均方差(MSE)作为损失函数，通过Adam优化器对损失函数进行反向传播求导并更新各个模块网络结构中的权重参数。循环迭代，根据损失函数收敛情况或自由添加的各项评估指标判断何时终止训练。各项评估项可以使用测试数据集。训练完成，记录训练病灶处理器在测试数据集上分割结果与真实标签的MSE。

本实施例中，模态数量C＝4，T1、T1c、T2和Flair四个模态分别编号为0，1，2，3，则四个模态的原始MRI分别记为x₀、x₁、x₂、x₃。0、1、2、3的one-hot向量分别记为one-hot₀、one-hot₁、one-hot₂、one-hot₃。

训练时，对x₀即训练数据集中的一张模态T1的2D MRI，编码器将x₀编码得到语义特征图code₀，然后分别与one-hot₀、one-hot₁、one-hot₂、one-hot₃连接，通过解码器分别解码得到重建的x_r，0和转换的x_t，0，1、x_t，0，2和x_t，0，3。我们再将x_t，0，1、x_t，0，2和x_t，0，3经过编码器再编码得到code_t，0，1、code_t，0，2和code_t，0，3。code_t，0，1、code_t，0，2和code_t，0，3分别再与one-hot₀连接，再通过解码器再解码得到x_cr，1，0、x_cr，2，0和x_cr，3，0。

将x₀使用病灶处理器得到label_g，0，x_t，0，1、x_t，0，2和x_t，0，3得到label_t，0，1、label_t，0，2、label_t，0，3。label_g，0为label_t，0，1、label_t，0，2、label_t，0，3的监督标签。

对x₁、x₂和x₃执行上述同样的过程，在此不再赘述。

训练时，采用Adam优化器对损失函数进行反向传播求导并更新各个模块网络结构中的权重参数。注意，鉴别器损失仅用于更新鉴别器，生成器损失仅用于更新编码器和解码器。循环迭代，根据损失函数收敛情况或自由添加的各项评估指标判断何时终止训练。各项评估项可以使用测试数据集。

如图5和图7所示，本实施例采用训练数据集单独训练一个病灶处理器，病灶处理器由病灶编码器(EC_L)和病灶解码器(DC_L)组合形成，x_t，i，j指由编号为i的模态转换生成的编号为j的模态的MRI图像，x_t，i，j输入病灶处理器后即可获得对应的病灶标签label_t，j，i，label_t，j，i表示由编号为i的模态转换生成的编号为j的模态的MRI经过编病灶处理器生成的病灶标签。每次迭代步随机选择当前步x₀、x₁、x₂或x₃中的一张作为输入，得到输出的label_g，0、label_g，1、label_g，2或label_g，3，与对应的真实病灶标签label₀、label₁、label₂或label₃求取均方差(MSE)作为损失函数，通过Adam优化器对损失函数进行反向传播求导并更新各个模块网络结构中的权重参数。循环迭代，根据损失函数收敛情况或自由添加的各项评估指标判断何时终止训练。各项评估项可以使用测试数据集。训练完成，记录训练病灶处理器在测试数据集上分割结果与真实标签的MSE。本实施例用训练好的病灶处理器对测试数据集通过生成器得到配准的多模态MRI进行分割，求得分割结果与测试数据集的真实分割标签的MSE。本实施例对比病灶处理器的两个MSE结果，由此可以判断生成器生成的转换图和重建图是否成功保留了病灶信息。若转换数据的MSE较差，则需调整各个模块的网络结构或训练超参数重新训练，直至两个MSE结果在允许的误差范围内。

此外，本实施例还提供一种基于条件生成对抗网络的多模态MRI转换系统，包括：

此外，本实施例还提供一种基于条件生成对抗网络的多模态MRI转换系统，包括计算机设备，其特征在于，该计算机设备被编程或配置以执行前述基于条件生成对抗网络的多模态MRI转换方法的步骤。

此外，本实施例还提供一种基于条件生成对抗网络的多模态MRI转换系统，包括计算机设备，该计算机设备的存储介质上存储有被编程或配置以执行前述基于条件生成对抗网络的多模态MRI转换方法的计算机程序。

此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行前述基于条件生成对抗网络的多模态MRI转换方法的计算机程序。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种基于条件生成对抗网络的多模态MRI转换方法，其特征在于实施步骤包括：

2.根据权利要求1所述的基于条件生成对抗网络的多模态MRI转换方法，其特征在于，步骤2)中得到该模态的MRI转换图之后还包括验证编码器以及解码器构成的模态转换器的步骤，详细步骤包括：输入一个模态的MRI并使用病灶处理器得到生成的病灶标签，再用模态转换器得到转换图，将得到该模态的MRI转换图通过病灶处理器得到生成的病灶标签图，将两个生成的病灶标签图进行比较求得均方差，如果均方差低于设定阈值，则判定MRI转换图保留了原始MRI图像的病灶信息，模态转换器验证通过；如果均方差不低于设定阈值，则判定模态转换器验证不通过，需要调整或重新设计模态转换器的网络结构并进行重新训练。

3.根据权利要求1所述的基于条件生成对抗网络的多模态MRI转换方法，其特征在于，步骤2)中生成该模态的条件向量的详细步骤包括：将模态数量为C的所有模态从0开始进行整数编号，使得每一个模态对应一个整数编号；获取到条件生成对抗网络的编码器输出的语义特征图的个数N、高H和宽W，生成一个形状为[N,H,W,C]的全零矩阵，将模态数量C作为该全零矩阵的通道维度，将全零矩阵的通道维度中对该模态的第i通道上的0全部变为1，得到整数编号为i的模态的C个通道的独热条件向量作为该模态的条件向量。

4.根据权利要求1所述的基于条件生成对抗网络的多模态MRI转换方法，其特征在于，步骤2)中将语义特征图、条件向量进行连接具体是指将语义特征图、独热条件向量进行通道方向上的堆叠。

5.根据权利要求4所述的基于条件生成对抗网络的多模态MRI转换方法，其特征在于，所述进行通道方向上的堆叠具体是指将C个通道的独热独热条件向量堆叠在语义特征图最后一个通道之后。

6.根据权利要求1所述的基于条件生成对抗网络的多模态MRI转换方法，其特征在于，步骤1)之前还包括针对条件生成对抗网络进行模块组合训练的步骤，详细步骤包括：

S3)将真实模态图与模态转换得到的转换图分别作为鉴别器的正样本和负样本，通过条件生成对抗网络的鉴别器提供的对抗性损失实现无监督训练；在上述过程中，原始输入的i模态的MRI x_i经过病灶处理器得到生成的病灶标签label_g，i，模态i转换成的模态j的MRIx_t，j，i经过病灶处理器得到生成的病灶标签label_t，j，i，两个生成标签求得的均方差损失的约束使得x_t，j，i中病灶信息与x_i中病灶信息尽可能一致，从而指导转换过程中生成组件的病灶还原训练；

7.一种基于条件生成对抗网络的多模态MRI转换系统，其特征在于包括：

8.一种基于条件生成对抗网络的多模态MRI转换系统，包括计算机设备，其特征在于，该计算机设备被编程或配置以执行权利要求1～6中任意一项所述基于条件生成对抗网络的多模态MRI转换方法的步骤。

9.一种基于条件生成对抗网络的多模态MRI转换系统，包括计算机设备，其特征在于，该计算机设备的存储介质上存储有被编程或配置以执行权利要求1～6中任意一项所述基于条件生成对抗网络的多模态MRI转换方法的计算机程序。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有被编程或配置以执行权利要求1～6中任意一项所述基于条件生成对抗网络的多模态MRI转换方法的计算机程序。