CN108062753B - 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 - Google Patents

Abstract

本发明提供一种基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法，包括以下步骤：深度编码‑解码全卷积网络分割系统模型搭建，域鉴别器网络模型搭建，分割系统预训练与参数优化，对抗训练与目标域特征提取器参数优化以及目标域MRI脑肿瘤自动语义分割。本申请采用深度编码‑解码全卷积网络建模分割系统，利用高级语义特征与低级细节特征共同预测像素标签，并采用域鉴别器网络通过对抗学习引导分割模型学习域不变特征和强泛化分割函数，以间接方式使源域和目标域数据分布差异最小化，使学得的分割系统在目标域具有与源域相同分割精度，从而提高MRI脑肿瘤全自动语义分割方法的跨域泛化性能，实现无监督跨域自适应MRI脑肿瘤精确分割。

Description

基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法

技术领域

本发明涉及医学图像分析技术领域，具体涉及一种基于深度对抗学习的无监督域自适应多模态MRI脑肿瘤语义分割方法。

背景技术

脑肿瘤尤其神经胶质瘤生长速度快，破坏性强，由于其易损伤人脑中枢神经系统，致死率很高。脑肿瘤的早期发现与精准治疗有利于提高治愈率及存活周期。磁共振成像(Magnetic Resonance Imaging，MRI)因具备高分辨率和多成像协议特性成为临床上脑肿瘤检测与诊断的首选工具，它以FLAIR、T1、T1c和T2四模态互补方式为脑肿瘤诊断提供影像学信息。从MRI图像中识别出脑肿瘤并精确地分割出肿瘤区域及瘤内结构在临床上具有重要意义。脑肿瘤的精确分割为神经病理分析、诊断报告生成、手术方案设计、治疗计划制订等提供重要支持。

人工从多模态MRI序列图像中分割出脑肿瘤虽然可行，但工作量大、耗时，且易受医师经验水平影响，可重复性差，主观性强。探索人工智能算法从多模态MRI图像中进行脑肿瘤自动识别与分割成为当前主流方法。基于机器学习的脑肿瘤自动分割方法主要有两类：人工特征提取法和特征自动学习法。前者应用特征工程相关算法提取特征，然后使用特征训练一个分类器对像素类别进行预测，此方法由于将特征提取与分类器训练分开，因而分割精度大大受限；后者使用深度学习技术建立端到端网络模型，将特征提取与分类器一起训练，可自动提取面向分类任务的特征，使得像素标签预测准确率明显提升。

当前，基于深度学习的MRI脑肿瘤自动分割方法主要采用图像块分类法。但是，本发明的发明人经过研究发现，这种方法采用滑动窗法对每个像素的类别进行单独预测，计算冗余，速度慢、且易产生假阳性区域。另外，在现实场景中MRI数据可能来自于不同医疗中心，数据采集使用了不同机型或成像协议，因此这些图像的对比度、分辩率和性噪比之间存在差异，即数据分布不同。机器学习的前提是训练数据与测试数据必须满足相同的数据分布。当我们在设计与开发一个MRI脑肿瘤语义分割系统时，如果训练数据集(源数据域)与测试数据集(目标数据域)来自于不同医疗中心时，由于数据分布差异的存在，，在源数据域上训练的分割系统应用到目标数据域上时性能显著下降，这种情况的出现严重影响了基于深度学习的分割系统在不同临床中心的应用。因此，在目标域没有标注数据情况下学习一种跨域鲁棒性的脑肿瘤精确分割方法具有重要意义。

发明内容

针对现有MRI脑肿瘤分割速度慢、分割精度有限，且在出现域偏移的情况下分割性能显著下降的问题，本发明提供一种基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法，该方法采用深度编码-解码全卷积网络建模分割系统，利用高级语义特征与低级细节特征共同预测像素标签，并采用域鉴别器网络通过对抗学习引导分割模型学习域不变特征和强泛化分割函数，以间接方式使源域和目标域数据分布差异最小化，使学得的分割系统在目标域具有与源域相同分割精度，从而提高MRI脑肿瘤全自动语义分割方法的跨域泛化性能，实现无监督跨域自适应MRI脑肿瘤精确分割，解决目标域无标注数据样本情景下分割系统学习问题。

为了解决上述技术问题，本发明采用了如下的技术方案：

一种基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法，包括以下步骤：

S1、深度编码-解码全卷积网络分割系统模型搭建：

S11、深度编码-解码全卷积网络分割系统包括特征提取器和标签预测器，所述特征提取器包括特征编码器和特征解码器，所述特征编码器适于通过卷积和最大池化操作，对输入的FLAIR、T1、T1c和T2四模态MRI图像进行从低级细节特征到高级语义特征的逐层提取，所述特征解码器适于通过上卷积、特征迁移和卷积操作，将高级语义特征与低级细节特征逐层融合，所述标签预测器适于利用融合特征对像素类别进行预测，输出像素类别预测概率分布图；

S12、所述特征编码器包括第一至第五特征编码层和第一至第四最大池化层，所述第一最大池化层位于第一特征编码层之后，所述第二最大池化层位于第二特征编码层之后，依次类推，所述第四最大池化层位于第四特征编码层之后；所述特征解码器包括第一至第三上卷积层和第一至第三特征解码层，所述第一上卷积层位于第五特征编码层之后并位于第一特征解码层之前，所述第二上卷积层位于第二特征解码层之前，所述第三上卷积层位于第三特征解码层之前，且每个特征编码层和特征解码层均是由两个卷积层组成的层组；所述标签预测器包括第一至第三标签预测层和一个Softmax概率转换层，所述第一至第三标签预测层和一个Softmax概率转换层顺序位于第三特征解码层之后；

S2、域鉴别器网络模型搭建：

S21、所述域鉴别器网络适于输入第三特征解码层中第二卷积层的输出特征，以预测特征是来自于源域图像还是目标域图像；

S22、所述域鉴别器网络包括顺序设置的一个卷积层和第一至第三全连接层；

S3、分割系统预训练与参数优化：将步骤S1建立的深度编码-解码全卷积网络分割模型使用源域标签数据进行有监督预训练，产生预分割系统，其具体包括：

S31、采用Xavier方法对分割模型参数进行初始化；

S32、将源域训练数据及标签按1：1比例分为训练集和验证集，采用二折交叉验证来对源域分割系统模型进行预训练；

S33、将同一大脑切面的FLAIR、T1、T1c和T2四模态MRI图像进行双线性插值2倍上采样，作为四通道输入网络，通过网络前向计算生成像素标签预测概率分布图；

S34、采用标准的监督损失函数作为优化目标，损失函数定义如下：

其中，L_cls(θ_s,θ_c)是源域分割损失函数，θ_s是源域特征提取器网络参数，θ_c是标签预测器网络参数，X_s是源域图像集，Y_s是源域分割标签集，x_s是一个源域域鉴别器训练样本，y_s是样本对应的标签，(x_s,y_s)～(X_s,Y_s)表示样本及对应的分割标签(x_s,y_s)服从源域数据分布(X_s,Y_s)，M_s(.)是源域特征映射函数即源域特征提取器，C(.)是像素预测函数，K表示像素类别数，

表示当i＝y_s时I＝1，否则I＝0，log表示求对数值，E表示求数学期望；

S35、以求L_cls(θ_s,θ_c)最小值为优化目标，采用随机梯度下降算法和反向传播算法求解网络参数θ_s和θ_c，得到MRI脑肿瘤预分割系统；

S4、对抗训练与目标域特征提取器参数优化：按步骤S1所述特征提取器建立方法建立目标域特征提取器模型，通过对抗训练生成目标域特征提取器，其具体包括：

S41、采用步骤S3产生的预分割系统的特征提取器参数初始化目标域特征提取器，并对域鉴别器网络参数采用Xavier方法进行初始化；

S42、获取与源域训练样本个数相同的目标域训练样本，设置源域图像和目标域图像域类别标签，将源域图像和目标域图像采用双线性插值进行2倍上采样，依次输入源域和目标域特征提取器提取特征，然后将提取特征输入步骤S2搭建的域鉴别器预测其来自于源域还是目标域，输出域类别标签；

S43、采用对抗方式交替训练域鉴别器和目标域特征提取器，一方面优化域鉴别器使其能准确预测域类别标签，另一方面优化目标域特征提取器使其提取的特征与源域提取的特征不可区分，即最小化源域与目标域数据分布差异，从而获取目标域特征提取器最优网络模型参数θ_t；

S5、目标域MRI脑肿瘤自动语义分割：

S51、以步骤S3中源域学得的标签预测器和步骤S4中对抗学得的目标域特征提取器组成最终目标域MRI脑肿瘤自动语义分割系统；

S52、将同一大脑切面的FLAIR、T1、T1c和T2四模态MRI图像采用双线性插值进行2倍上采样，作为四通道输入步骤S51组成的目标域MRI脑肿瘤自动语义分割系统网络；

S53、采用与步骤S33相同的网络前向计算产生像素类别预测概率分布图，分别代表每个像素在每个类别上的概率；

S54、取每个像素最大概率所在分量的下标作为像素类别标签，形成最终MRI脑肿瘤语义分割图。

进一步，所述步骤S12中，所述第一至第五特征编码层的卷积核个数依次为64、128、256、512和1024，所述第一至第三特征解码层的卷积核个数依次为512、256和128，所述特征编码层和特征解码层的卷积核大小为3×3、步长为1，所述第一至第三标签预测层的卷积核个数依次为512、128和5，且卷积核大小为1×1、步长为1，每个最大池化层的池化核大小为2×2、步长为2，每个上卷积层的卷积核大小为2×2、步长为2。

进一步，所述步骤S12中，所述特征解码器具体通过上卷积层进行2倍上采样将输出通道数降为原来的一半，并通过第一特征解码层中上卷积结果与第四特征编码层中第二卷积层迁移过来的相同分辨率低级细节特征图进行级联，第二特征解码层中上卷积结果与第三特征编码层中第二卷积层迁移过来的相同分辨率低级细节特征图进行级联，以及第三特征解码层中上卷积结果与第二特征编码层中第二卷积层迁移过来的相同分辨率低级细节特征图进行级联，完成高级语义特征与低级细节特征逐层融合。

进一步，所述步骤S21中，所述源域的域类别标签为0，所述目标域的域类别标签为1。

进一步，所述步骤S22中，所述卷积层的卷积核大小为1×1、步长为1，卷积核个数为1；所述第一至第三全连接层的输出端对应结点数分别为2048、1024和2。

进一步，所述步骤S32中还包括数据扩充处理：将带分割标签的四模态MRI图像，使用水平翻转、垂直翻转、裁减、旋转45°、90°、135°、180°、225°、270°和315°数据扩充技术，使训练数据样本增加为初始的10倍。

进一步，所述步骤S33中，前向计算包括：

卷积操作：任意一个卷积核所对应的输出特征图Z_i采用下式进行计算：

其中，f表示非线性激励函数，b_i表示第i个卷积核所对应的偏置项，r表示输入通道索引号，k表示输入通道数，W_ir表示第i个卷积核的第r个通道权值矩阵，

是卷积操作，X_r表示第r个输入通道图像；

批归一化与非线性激励：将每个卷积所得特征图Z_i进行均值为0、方差为1的归一化，然后采用整流线性单元ReLU作为非线性激励函数，将归一化后的每个值进行非线性转化，所述整流线性单元ReLU定义如下：

f(x)＝max(0,x)

其中，f(x)表示整流线性单元函数，max表示求最大值，x是一个输入值；

概率值转换：使用Softmax函数将网络输出的标签预测分值转换成概率分布，Softmax函数定义如下：

其中，O_j是分割网络最后输出的某个像素在第j类上的预测分值，Y_j是输入像素属于第j类的概率，C代表类别个数。

进一步，所述步骤S43中，优化域鉴别器具体包括：

域鉴别器网络优化使用如下目标函数：

其中，

表示域鉴别器损失，x_s～X_s表示x_s服从源域分布X_s，x_t～X_t表示x_t服从目标域分布X_t，x_s是一个源域域鉴别器训练样本，x_t是一个目标域域鉴别器训练样本，θ_s是源域特征提取器网络参数，θ_t是目标域特征提取器网络参数，θ_d是域鉴别器网络参数，M_s(.)源域特征映射函数即源域特征提取器，M_t(.)目标域特征映射函数即目标域特征提取器，D(.)是域类别预测函数，P为域类别数，d_s和d_t是域标签，

表示当i＝d_s时I＝1，否则I＝0，

表示当i＝d_t时I＝1，否则I＝0，log表示求对数值，E表示求数学期望；

以求

最小值为优化目标，固定参数θ_s和θ_t，采用随机梯度下降算法和反向传播算法更新网络参数θ_d。

进一步，所述步骤S43中，优化目标域特征提取器具体包括：

使用反转标签法，采用GAN损失函数作为优化目标并定义如下：

其中，

表示目标域特征提取器损失，x_t～X_t表示x_t服从目标域分布X_t，x_t是一个目标域域鉴别器训练样本，θ_t是目标域特征提取器网络参数，θ_d是域鉴别器网络参数，M_t(.)目标域特征映射函数即目标域特征提取器，D(.)是域类别预测函数，P为域类别数，d_t是目标域标签，

表示当i＝d_t时I＝1，否则I＝0，log表示求对数值，E表示求数学期望；

以求

最小值为优化目标，固定参数θ_d，采用随机梯度下降算法和反向传播算法更新网络参数θ_t。

与现有技术相比，本发明提供的基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法具有以下优点：

1、使用全卷积网络进行脑肿瘤语义分割，无需提取图像块，输入整幅图像进行端到端训练，训练简单；

2、一次前向计算即可完成整幅图像分割，可提高脑肿瘤分割速度；

3、高级语义特征结合低级细节特征对像素类别进行预测，可提高像素标签预测准确性，上卷积操作进一步提高了特征图维数，使最终分割图具有与输入图像相同的分辨率；

4、采用深度域鉴别器网络损失来间接度量数据特征分布偏差，以对抗学习方法使分布差异最小化，从而避免了高维特征空间下复杂的数据分布差异度量及最小化求解；

5、在目标域无标注数据情况下，仅使用源域有标注数据对模型进行训练，即可产生与源域有相同分割精度的目标域分割系统，解决了目标域无标注数据情景下分割系统无监督学习问题，提高了分割系统跨域泛化性能。

附图说明

图1是本发明提供的基于深度对抗网络的无监督域自适应MRI脑肿瘤分割系统生成方法流程示意图。

图2是本发明提供的MRI脑肿瘤语义分割网络模型结构示意图。

图3是本发明提供的域鉴别器网络模型结构示意图。

图4是本发明提供的无监督域自适应MRI脑肿瘤语义分割系统训练方法流程示意图(实线表示网络参数优化，虚线表示网络参数固定)。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

请参考图1至图4所示，本发明提供一种基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法，包括以下步骤：

S1、深度编码-解码全卷积网络分割系统模型搭建：

S11、深度编码-解码全卷积网络分割系统包括特征提取器和标签预测器，所述特征提取器包括特征编码器和特征解码器，所述特征编码器适于通过卷积和最大池化操作，对输入的FLAIR、T1、T1c和T2四模态MRI图像进行图像特征逐层提取，让感受野不断扩大，分辨率不断降低，完成从低级细节特征到高级语义特征的提取，所述特征解码器适于通过上卷积、特征迁移和卷积操作，将高级语义特征与低级细节特征逐层融合，分辨率不断提高，所述标签预测器适于利用融合特征对像素类别进行预测，输出像素类别预测概率分布图；具体所述深度编码-解码全卷积网络输入为4通道，每通道大小为480×480，分别代表FLAIR、T1、T1c和T2四模态MRI图像；最终输出为5通道，每通道大小为240×240，分别代表正常组织、水肿区、非增强肿瘤区、增强肿瘤区、坏死区五种类别；

S12、所述特征编码器包括第一至第五特征编码层和第一至第四最大池化层，所述第一最大池化层位于第一特征编码层之后，所述第二最大池化层位于第二特征编码层之后，所述第三最大池化层位于第三特征编码层之后，所述第四最大池化层位于第四特征编码层之后，即在每个特征编码层后跟一个最大池化层；所述特征解码器包括第一至第三上卷积层和第一至第三特征解码层，所述第一上卷积层位于第五特征编码层之后并位于第一特征解码层之前，所述第二上卷积层位于第二特征解码层之前并位于第一特征解码层之后，所述第三上卷积层位于第三特征解码层之前并位于第二特征解码层之后，且每个特征编码层和特征解码层均是由两个卷积层组成的层组，为了保证卷积过程中特征图大小不变，在卷积过程中设置Padding＝1，即卷积时用0填充图像周围；所述标签预测器包括第一至第三标签预测层和一个Softmax概率转换层，所述第一至第三标签预测层和一个Softmax概率转换层顺序位于第三特征解码层之后。

作为具体实施例，所述深度编码-解码全卷积网络分割系统模型详细结构见下表1：

表1 MRI脑肿瘤分割系统模型参数表(Padding＝1)

从表1可以得出，所述步骤S12中，所述第一至第五特征编码层的卷积核个数依次为64、128、256、512和1024，所述第一至第三特征解码层的卷积核个数依次为512、256和128，所述特征编码层和特征解码层的卷积核大小为3×3、步长为1，所述第一至第三标签预测层的卷积核个数依次为512、128和5，且卷积核大小为1×1、步长为1，每个最大池化层的池化核大小为2×2、步长为2，每个上卷积层的卷积核大小为2×2、步长为2。其中，所述最大池化层用于进行2倍下采样，去除冗余特征，扩大感受野；所述特征解码器具体通过上卷积层进行2倍上采样将输出通道数降为原来的一半，并通过第一特征解码层中上卷积结果与第四特征编码层中第二卷积层4_2+ReLU迁移过来的相同分辨率低级细节特征图进行级联，第二特征解码层中上卷积结果与第三特征编码层中第二卷积层3_2+ReLU迁移过来的相同分辨率低级细节特征图进行级联，以及第三特征解码层中上卷积结果与第二特征编码层中第二卷积层2_2+ReLU迁移过来的相同分辨率低级细节特征图进行级联，完成高级语义特征与低级细节特征逐层融合。

S2、域鉴别器网络模型搭建：

S21、所述域鉴别器网络适于输入第三特征解码层中第二卷积层8_2+ReLU的输出特征，以预测输入特征是来自于源域图像还是目标域图像；

S22、所述域鉴别器网络包括顺序设置的一个卷积层、第一全连接层1、第二全连接层2和第三全连接层3，详细结构见下表2：

表2域鉴别器网络模型参数表

从表2可以得出，所述步骤S22中，所述卷积层的卷积核大小为1×1、步长为1，卷积核个数为1；将卷积层输出的二维神经元按行展开形成一维列神经元，作为第一全连接层1的输入，所述第一全连接层1、第二全连接层2和第三全连接层3的输出端对应结点数分别为2048、1024和2。

作为具体实施例，为了便于为源域图像与目标域图像提取特征，本申请将特征编码器与特征解码器一起称为特征提取器。源域和目标域分别建立相同结构的特征提取器(但模型参数不同，后面通过训练数据可学得)，分别为源域图像与目标域图像提取特征；然后将两个域图像提取的特征(卷积层8_2+ReLU的输出结果)输入域鉴别器，让其预测是来自于源域还是目标域。作为一种优选实施方式，所述源域的类别标签为0，所述目标域的类别标签为1。当然，本领域的技术人员在前述类别标签的基础上，还可以采用其他方式来对源域和目标域的类别标签进行设置，只要域鉴别器能够有效预测即可。

S3、分割系统预训练与参数优化：将步骤S1建立的深度编码-解码全卷积网络分割模型使用源域标签数据进行有监督预训练，产生预分割系统，其具体包括：

S31、网络参数初始化，采用Xavier方法对卷积核、上卷积核参数进行初始化；

S32、将源域训练数据及标签按1：1比例分为训练集和验证集，采用二折交叉验证来对源域分割系统模型进行预训练；例如本申请的发明人共获取了274份带分割标签的四模态MRI图像数据，图像大小为240×240，每个模态包含155个切片，共有274×155＝42470个数据样本。对这些图像及对应标签进行数据扩充处理：使用水平翻转、垂直翻转、裁减、旋转45°、90°、135°、180°、225°、270°和315°数据扩充技术，使训练数据样本增加为初始的10倍，因而经扩充后的训练集和验证集分别为212350个样本；

S33、将同一大脑切面的FLAIR、T1、T1c和T2四模态MRI图像进行双线性插值2倍上采样，大小变为480×480，作为四通道输入网络，通过网络前向计算生成像素标签预测概率分布图。作为具体实施例，所述前向计算包括：

卷积操作：网络中任意一个卷积核所对应的输出特征图Z_i采用下式进行计算：

其中，f表示非线性激励函数，b_i表示第i个卷积核所对应的偏置项，r表示输入通道索引号，k表示输入通道数，W_ir表示第i个卷积核的第r个通道权值矩阵，

是卷积操作，X_r表示第r个输入通道图像；

批归一化与非线性激励：将每个卷积所得特征图Z_i进行均值为0、方差为1的归一化，然后采用整流线性单元ReLU作为非线性激励函数，将归一化后的每个值进行非线性转化，所述整流线性单元ReLU定义如下：

f(x)＝max(0,x) (2)

其中，f(x)表示整流线性单元函数，max表示求最大值，x是一个输入值；

概率值转换：使用Softmax函数将网络输出的标签预测分值转换成概率分布，Softmax函数定义如下：

其中，O_j是分割网络最后输出的某个像素在第j类上的预测分值，Y_j是输入像素属于第j类的概率，C代表类别个数，为5。

S34、采用标准的监督损失函数作为优化目标，损失函数定义如下：

其中，L_cls(θ_s,θ_c)是源域分割损失函数，θ_s是源域特征提取器网络参数，θ_c是标签预测器网络参数，X_s是源域图像集，Y_s是源域分割标签集，x_s是一个源域域鉴别器训练样本，y_s是样本对应的标签，(x_s,y_s)～(X_s,Y_s)表示样本及对应的分割标签(x_s,y_s)服从源域数据分布(X_s,Y_s)，M_s(.)是源域特征映射函数即源域特征提取器，C(.)是像素预测函数，K＝5表示像素类别数，

表示当i＝y_s时I＝1，否则I＝0，log表示求对数值，E表示求数学期望；

S35、以求L_cls(θ_s,θ_c)最小值为优化目标，采用随机梯度下降算法和反向传播算法求解网络参数θ_s和θ_c，得到MRI脑肿瘤预分割系统；作为一种实施方式，随机梯度下降迭代时每次迭代使用的样本数即批大小(Batch Size)为32，初始学习率设为1e^-3，采用线性衰减技术使学习率逐步衰减到1e^-5；没有使用dropout技术，动量因子设为0.9。

S4、对抗训练与目标域特征提取器参数优化：按步骤S1所述特征提取器建立方法建立目标域特征提取器模型，通过对抗训练生成目标域特征提取器，其具体包括：

S41、采用步骤S3中产生的预分割系统的特征提取器参数初始化目标域特征提取器，并对域鉴别器网络参数采用Xavier方法进行初始化；

S42、获取与源域训练样本个数相同的目标域训练样本424700个，设置源域图像域类别标签及目标域图像域类别标签，将源域图像和目标域图像采用双线性插值进行2倍上采样为480×480，依次输入源域和目标域特征提取器提取特征，然后将提取特征输入步骤S2搭建的域鉴别器预测其来自于源域还是目标域，输出域类别标签；

S43、采用对抗方式交替训练域鉴别器和目标域特征提取器，一方面优化域鉴别器使其能准确预测域类别标签，另一方面优化目标域特征提取器使其提取的特征与源域提取的特征不可区分，即最小化源域与目标域数据分布差异，从而获取目标域特征提取器最优网络模型参数θ_t；在本步骤S43中，源域特征提取器参数固定，设为不可训练。

作为具体实施例，所述步骤S43中，优化域鉴别器具体包括：域鉴别器网络优化使用如下目标函数：

其中，

表示域鉴别器损失，x_s～X_s表示x_s服从源域分布X_s，x_t～X_t表示x_t服从目标域分布X_t，x_s是一个源域域鉴别器训练样本，x_t是一个目标域域鉴别器训练样本，θ_s是源域特征提取器网络参数，θ_t是目标域特征提取器网络参数，θ_d是域鉴别器网络参数，M_s(.)源域特征映射函数即源域特征提取器，M_t(.)目标域特征映射函数即目标域特征提取器，D(.)是域类别预测函数，P为域类别数，d_s和d_t是域标签，

表示当i＝d_s时I＝1，否则I＝0，

表示当i＝d_t时I＝1，否则I＝0，log表示求对数值，E表示求数学期望；

以求

最小值为优化目标，即求使域鉴别器的分类损失最小的θ_d，使域鉴别器能正确区分输入数据是来自于源域还是目标域，固定参数θ_s和θ_t，采用随机梯度下降算法和反向传播算法更新网络参数θ_d。作为一种实施方式，随机梯度下降迭代时每次迭代使用的样本数即批大小(Batch Size)为128，其中来自于源域和目标域均为64个样本，初始学习率设为1e^-2，直到1e^-5。

作为具体实施例，所述步骤S43中，优化目标域特征提取器具体包括：

使用反转标签法，采用GAN损失函数作为优化目标并定义如下：

其中，

表示目标域特征提取器损失，x_t～X_t表示x_t服从目标域分布X_t，x_t是一个目标域域鉴别器训练样本，θ_t是目标域特征提取器网络参数，θ_d是域鉴别器网络参数，M_t(.)目标域特征映射函数即目标域特征提取器，D(.)是域类别预测函数，P为域类别数，d_t是目标域标签，

表示当i＝d_t时I＝1，否则I＝0，log表示求对数值，E表示求数学期望；

以求

最小值为优化目标，即求使域鉴别器对目标域分类损失最大的θ_t，此时，域鉴别器无法区分输入数据是否来自于目标域；固定参数θ_d，采用随机梯度下降算法和反向传播算法更新网络参数θ_t。作为一种实施方式，随机梯度下降迭代时每次迭代使用的样本数即批大小(Batch Size)为128，其中，源域图像64个样本，目标域图像64个样本，初始学习率设为1e^-2，直到1e^-5。

S5、目标域MRI脑肿瘤自动语义分割：

S51、以步骤S3中源域学得的标签预测器和步骤S4中对抗学得的目标域特征提取器组成最终目标域MRI脑肿瘤自动语义分割系统；

S52、将同一大脑切面的FLAIR、T1、T1c和T2四模态MRI图像采用双线性插值进行2倍上采样，大小变为480×480，作为四通道输入步骤S51组成的目标域MRI脑肿瘤自动语义分割系统网络；

S53、采用与步骤S33相同的网络前向计算产生像素类别预测概率分布图：使用目标域特征映射函数M_t(x_t；θ_t)提取目标域图像特征，使用标签预测函数C(M_t；θ_c)根据提取的目标域图像特征对像素类别进行预测，产生5幅大小为240×240的像素级标签预测概率分布图，分别代表每个像素在5个类别上的概率；

S54、取每个像素最大概率所在分量的下标作为像素类别标签，形成最终MRI脑肿瘤语义分割图。

与现有技术相比，本发明提供的基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法具有以下优点：

1、使用全卷积网络进行脑肿瘤语义分割，无需提取图像块，输入整幅图像进行端到端训练，训练简单；

2、一次前向计算即可完成整幅图像分割，可提高脑肿瘤分割速度；

3、高级语义特征结合低级细节特征对像素类别进行预测，可提高像素标签预测准确性，上卷积操作进一步提高了特征图维数，使最终分割图具有与输入图像相同的分辨率；

4、采用深度域鉴别器网络损失来间接度量数据特征分布偏差，以对抗学习方法使分布差异最小化，从而避免了高维特征空间下复杂的数据分布差异度量及最小化求解；

5、在目标域无标注数据情况下，仅使用源域有标注数据对模型进行训练，即可产生与源域有相同分割精度的目标域分割系统，解决了目标域无标注数据情景下分割系统无监督学习问题，提高了分割系统跨域泛化性能。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法，其特征在于，包括以下步骤：

S1、深度编码-解码全卷积网络分割系统模型搭建：

S11、深度编码-解码全卷积网络分割系统包括特征提取器和标签预测器，所述特征提取器包括特征编码器和特征解码器，所述特征编码器适于通过卷积和最大池化操作，对输入的FLAIR、T1、T1c和T2四模态MRI图像进行从低级细节特征到高级语义特征的逐层提取，所述特征解码器适于通过上卷积、特征迁移和卷积操作，将高级语义特征与低级细节特征逐层融合，所述标签预测器适于利用融合特征对像素类别进行预测，输出像素类别预测概率分布图；

S12、所述特征编码器包括第一至第五特征编码层和第一至第四最大池化层，所述第一最大池化层位于第一特征编码层之后，所述第二最大池化层位于第二特征编码层之后，依次类推，所述第四最大池化层位于第四特征编码层之后；所述特征解码器包括第一至第三上卷积层和第一至第三特征解码层，所述第一上卷积层位于第五特征编码层之后并位于第一特征解码层之前，所述第二上卷积层位于第二特征解码层之前，所述第三上卷积层位于第三特征解码层之前，且每个特征编码层和特征解码层均是由两个卷积层组成的层组；所述标签预测器包括第一至第三标签预测层和一个Softmax概率转换层，所述第一至第三标签预测层和一个Softmax概率转换层顺序位于第三特征解码层之后；

S2、域鉴别器网络模型搭建：

S21、所述域鉴别器网络适于输入第三特征解码层中第二卷积层的输出特征，以预测特征是来自于源域图像还是目标域图像；

S22、所述域鉴别器网络包括顺序设置的一个卷积层和第一至第三全连接层；

S3、分割系统预训练与参数优化：将步骤S1建立的深度编码-解码全卷积网络分割模型使用源域标签数据进行有监督预训练，产生预分割系统，其具体包括：

S31、采用Xavier方法对分割模型参数进行初始化；

S32、将源域训练数据及标签按1：1比例分为训练集和验证集，采用二折交叉验证来对源域分割系统模型进行预训练；

S33、将同一大脑切面的FLAIR、T1、T1c和T2四模态MRI图像进行双线性插值2倍上采样，作为四通道输入网络，通过网络前向计算生成像素标签预测概率分布图；

S34、采用标准的监督损失函数作为优化目标，损失函数定义如下：

其中，L_cls(θ_s,θ_c)是源域分割损失函数，θ_s是源域特征提取器网络参数，θ_c是标签预测器网络参数，X_s是源域图像集，Y_s是源域分割标签集，x_s是一个源域域鉴别器训练样本，y_s是样本对应的标签，(x_s,y_s)～(X_s,Y_s)表示样本及对应的分割标签(x_s,y_s)服从源域数据分布(X_s,Y_s)，M_s(.)是源域特征映射函数即源域特征提取器，C(.)是像素预测函数，K表示像素类别数，

表示当i＝y_s时I＝1，否则I＝0，log表示求对数值，E表示求数学期望；

S35、以求L_cls(θ_s,θ_c)最小值为优化目标，采用随机梯度下降算法和反向传播算法求解网络参数θ_s和θ_c，得到MRI脑肿瘤预分割系统；

S4、对抗训练与目标域特征提取器参数优化：按步骤S1所述特征提取器建立方法建立目标域特征提取器模型，通过对抗训练生成目标域特征提取器，其具体包括：

S41、采用步骤S3产生的预分割系统的特征提取器参数初始化目标域特征提取器，并对域鉴别器网络参数采用Xavier方法进行初始化；

S42、获取与源域训练样本个数相同的目标域训练样本，设置源域图像和目标域图像域类别标签，将源域图像和目标域图像采用双线性插值进行2倍上采样，依次输入源域和目标域特征提取器提取特征，然后将提取特征输入步骤S2搭建的域鉴别器预测其来自于源域还是目标域，输出域类别标签；

S43、采用对抗方式交替训练域鉴别器和目标域特征提取器，一方面优化域鉴别器使其能准确预测域类别标签，另一方面优化目标域特征提取器使其提取的特征与源域提取的特征不可区分，即最小化源域与目标域数据分布差异，从而获取目标域特征提取器最优网络模型参数θ_t；

S5、目标域MRI脑肿瘤自动语义分割：

S51、以步骤S3中源域学得的标签预测器和步骤S4中对抗学得的目标域特征提取器组成最终目标域MRI脑肿瘤自动语义分割系统；

S52、将同一大脑切面的FLAIR、T1、T1c和T2四模态MRI图像采用双线性插值进行2倍上采样，作为四通道输入步骤S51组成的目标域MRI脑肿瘤自动语义分割系统网络；

S53、采用与步骤S33相同的网络前向计算产生像素类别预测概率分布图，分别代表每个像素在每个类别上的概率；

S54、取每个像素最大概率所在分量的下标作为像素类别标签，形成最终MRI脑肿瘤语义分割图。

2.根据权利要求1所述的基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法，其特征在于，所述步骤S12中，所述第一至第五特征编码层的卷积核个数依次为64、128、256、512和1024，所述第一至第三特征解码层的卷积核个数依次为512、256和128，所述特征编码层和特征解码层的卷积核大小为3×3、步长为1，所述第一至第三标签预测层的卷积核个数依次为512、128和5，且卷积核大小为1×1、步长为1，每个最大池化层的池化核大小为2×2、步长为2，每个上卷积层的卷积核大小为2×2、步长为2。

3.根据权利要求1所述的基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法，其特征在于，所述步骤S12中，所述特征解码器具体通过上卷积层进行2倍上采样将输出通道数降为原来的一半，并通过第一特征解码层中上卷积结果与第四特征编码层中第二卷积层迁移过来的相同分辨率低级细节特征图进行级联，第二特征解码层中上卷积结果与第三特征编码层中第二卷积层迁移过来的相同分辨率低级细节特征图进行级联，以及第三特征解码层中上卷积结果与第二特征编码层中第二卷积层迁移过来的相同分辨率低级细节特征图进行级联，完成高级语义特征与低级细节特征逐层融合。

4.根据权利要求1所述的基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法，其特征在于，所述步骤S21中，所述源域的域类别标签为0，所述目标域的域类别标签为1。

5.根据权利要求1所述的基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法，其特征在于，所述步骤S22中，所述卷积层的卷积核大小为1×1、步长为1，卷积核个数为1；所述第一至第三全连接层的输出端对应结点数分别为2048、1024和2。

6.根据权利要求1所述的基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法，其特征在于，所述步骤S32中还包括数据扩充处理：将带分割标签的四模态MRI图像，使用水平翻转、垂直翻转、裁减、旋转45°、90°、135°、180°、225°、270°和315°数据扩充技术，使训练数据样本增加为初始的10倍。

7.根据权利要求1所述的基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法，其特征在于，所述步骤S33中，前向计算包括：

卷积操作：任意一个卷积核所对应的输出特征图Z_i采用下式进行计算：

其中，f表示非线性激励函数，b_i表示第i个卷积核所对应的偏置项，r表示输入通道索引号，k表示输入通道数，W_ir表示第i个卷积核的第r个通道权值矩阵，

是卷积操作，X_r表示第r个输入通道图像；

批归一化与非线性激励：将每个卷积所得特征图Z_i进行均值为0、方差为1的归一化，然后采用整流线性单元ReLU作为非线性激励函数，将归一化后的每个值进行非线性转化，所述整流线性单元ReLU定义如下：

f(x)＝max(0,x)

其中，f(x)表示整流线性单元函数，max表示求最大值，x是一个输入值；

概率值转换：使用Softmax函数将网络输出的标签预测分值转换成概率分布，Softmax函数定义如下：

其中，O_j是分割网络最后输出的某个像素在第j类上的预测分值，Y_j是输入像素属于第j类的概率，C代表类别个数。

8.根据权利要求1所述的基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法，其特征在于，所述步骤S43中，优化域鉴别器具体包括：

域鉴别器网络优化使用如下目标函数：

其中，

表示域鉴别器损失，x_s～X_s表示x_s服从源域分布X_s，x_t～X_t表示x_t服从目标域分布X_t，x_s是一个源域域鉴别器训练样本，x_t是一个目标域域鉴别器训练样本，θ_s是源域特征提取器网络参数，θ_t是目标域特征提取器网络参数，θ_d是域鉴别器网络参数，M_s(.)源域特征映射函数即源域特征提取器，M_t(.)目标域特征映射函数即目标域特征提取器，D(.)是域类别预测函数，P为域类别数，d_s和d_t是域标签，

表示当i＝d_s时I＝1，否则I＝0，

表示当i＝d_t时I＝1，否则I＝0，log表示求对数值，E表示求数学期望；

以求

最小值为优化目标，固定参数θ_s和θ_t，采用随机梯度下降算法和反向传播算法更新网络参数θ_d。

9.根据权利要求1所述的基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法，其特征在于，所述步骤S43中，优化目标域特征提取器具体包括：

使用反转标签法，采用GAN损失函数作为优化目标并定义如下：

其中，

表示目标域特征提取器损失，x_t～X_t表示x_t服从目标域分布X_t，x_t是一个目标域域鉴别器训练样本，θ_t是目标域特征提取器网络参数，θ_d是域鉴别器网络参数，M_t(.)目标域特征映射函数即目标域特征提取器，D(.)是域类别预测函数，P为域类别数，d_t是目标域标签，

表示当i＝d_t时I＝1，否则I＝0，log表示求对数值，E表示求数学期望；

以求

最小值为优化目标，固定参数θ_d，采用随机梯度下降算法和反向传播算法更新网络参数θ_t。

Images