CN113160256A - 一种多任务生成对抗模型的mr影像胎盘分割方法 - Google Patents

Abstract

本发明公开了一种多任务生成对抗模型的MR影像胎盘分割方法，首先构建训练集和测试集，然后采用生成对抗网络构建分割模型，接着利用训练集、测试集以及分割模型的总对抗损失函数对分割模型进行训练，得到训练完成后的分割模型，最后通过分割模型对胎盘MR影像进行分割，得到胎盘MR影像的分割图片，其中分割模型的总对抗损失函数基于最大化判别损失和最小化多任务生成损失构建得到；优点是分割精度较高，能够满足临床需求。

Description

一种多任务生成对抗模型的MR影像胎盘分割方法

技术领域

本发明涉及一种MR影像胎盘分割方法，尤其是涉及一种多任务生成对抗模型的MR影像胎盘分割方法。

背景技术

近年来，随着高龄产妇及剖宫产、人工流产的增多，胎盘植入的发生率呈现上升趋势，已成为产科常见的临床疾病之一。磁共振(Magnetic Resonance,MR)成像的软组 织分辨率较高，可以任意方向大视野成像，且图像质量不受胎位、母体体型及羊水量等 的影响，已逐渐成为产前诊断胎盘植入的重要手段。在临床实践中，胎盘组织的精确分 割是识别胎盘植入及对植入程度进行评估的基础，通过对胎盘及其周围组织器官的分 析，有望实现胎盘粘连、植入和穿透的计算机自动分型，从而辅助临床医生根据不同的 诊断结果进行相应的产前计划和准备。

传统的图像分割方法往往依赖图像的灰度和形态信息，在目标组织与背景区域对比 明显时，往往能取得较好的分割效果，但当面临磁共振T2加权影像胎盘分割时，由于 存在胎盘和相邻组织器官对比度低、不同患者及相同患者的不同切片胎盘组织形态变化 大、成像过程中由于胎盘组织及胎儿的蠕动会造成组织器官边界模糊等问题，传统的图 像分割方法用于MR影像胎盘分割时，分割精度不高，达不到临床要求。

鉴于深度学习在图像分类、分割、目标检测等计算机视觉任务中所展现出的优越性 能，一些研究者将深度卷积神经网络应用到医学影像分割中，特别是基于编解码结构的U-Net网络，由于可以实现端到端的医学影像分割，得到了广泛地应用。然而，传统U-Net 网络的损失函数将图像中的每个像素看成独立于其他像素，对每个像素点的类别进行预 测，不能体现相邻像素之间的联系，像素与像素之间的相互关系容易被忽略导致分割结 果中的物体不够完整。当其应用于盆腔MR影像胎盘分割时，难于表达胎盘组织的轮廓 及其与邻近组织器官的关系，分割精度仍然有待提高。

发明内容

本发明所要解决的技术问题是提供一种分割精度较高，能够满足临床需求的多任务 生成对抗模型的MR影像胎盘分割方法。

本发明解决上述技术问题所采用的技术方案为：一种多任务生成对抗模型的MR影像胎盘分割方法，首先构建训练集和测试集，然后采用生成对抗网络构建分割模型，接 着利用训练集、测试集以及分割模型的总对抗损失函数对分割模型进行训练，得到训练 完成后的分割模型，最后通过分割模型对胎盘MR影像进行分割，得到胎盘MR影像的 分割图片，其中分割模型的总对抗损失函数基于最大化判别损失和最小化多任务生成损 失构建得到。

构建训练集和测试集的具体过程为：

步骤1-1、从历史MR影像数据库获取n张分辨率为256*256，通道数为3的胎盘的 MR影像，以及这n张MR影像对应的掩膜标签，n为大于等于1000的整数，对所有的MR 影像和所有的掩膜标签分别进行相同的左右旋转、水平翻转和垂直翻转，又得到3n张 MR影像以及与这3n张MR影像对应的3n张掩膜标签，将此时的4n张掩膜标签分别使用 sobel算子进行边缘检测得到对应的4n张轮廓标签，每张轮廓标签检测到的边缘位置的 像素点为255，其它地方像素点为0，此时每张胎盘MR影像分别对应1张掩膜标签和1 张轮廓标签，将相对应的胎盘MR影像、掩膜标签和轮廓标签作为一个样品组，得到4n 个样品组，采用这4n个样品组构成初始样本集；

步骤1-2、将初始样本集采用K折交叉验证法分组，其中K取4，按照3：1的比列 划分得到训练集和测试集。

所述的分割模型包括生成网络和判别网络，所述的生成网络由编码器、掩膜分割任 务解码器和轮廓预测任务解码器构成；所述的编码器用于对输入其内的MR影像进行编码处理，得到编码图像输出，所述的编码器包括按照从前向后顺序排布的五个编码子模块，将五个所述的编码子模块按照从前向后的顺序分别称为第一编码子模块、第二编码 子模块、第三编码子模块、第四编码子模块和第五编码子模块，所述的第一编码子模块、 所述的第二编码子模块、所述的第三编码子模块和所述的第四编码子模块分别由两个卷 积核大小均为3x3，步长均为1的卷积层和一个最大池化层组成，所述的第五编码子模 块由两个卷积核大小均为3x3，步长均为1的卷积层组成，所述的第一编码子模块中的 两个卷积层用于将原始输入的分辨率为256*256，通道数为3的一张MR影像依次进行2 次3x3的卷积操作之后生成第一编码卷积块输出，所述的第一编码卷积块包括通道数为 32，分辨率为256*256的特征图，所述的第一编码子模块中的最大池化层用于将第一编 码卷积块进行下采样得到第一编码池化块输出，所述的第一编码池化块包括通道数为 32，分辨率为128*128的特征图；所述的第二编码子模块中的两个卷积层用于将所述的 第一编码子模块输出的第一编码池化块依次进行2次3x3的卷积操作之后生成第二编码 卷积块输出，所述的第二编码卷积块包括通道数为64，分辨率为128*128的特征图，所 述的第二编码子模块中的最大池化层用于将第二编码卷积块进行下采样得到第二编码 池化块输出，所述的第二编码池化块包括通道数为64，分辨率为64*64的特征图；所述 的第三编码子模块中的两个卷积层用于将所述的第二编码子模块输出的第二编码池化 块依次进行2次3x3的卷积操作之后生成第三编码卷积块输出，所述的第三编码卷积块 包括通道数为128，分辨率为64*64的特征图，所述的第三编码子模块中的最大池化层 用于将第三编码卷积块进行下采样得到第三编码池化块输出，所述的第三编码池化块包 括通道数为128，分辨率为32*32的特征图；所述的第四编码子模块中的两个卷积层用 于将所述的第三编码子模块输出的第三编码池化块依次进行2次3x3的卷积操作之后生 成第四编码卷积块输出，所述的第四编码卷积块包括通道数为256，分辨率为32*32的 特征图，所述的第四编码子模块中的最大池化层用于将第四编码卷积块进行下采样得到 第四编码池化块输出，所述的第四编码池化块包括通道数为256，分辨率为16*16的特 征图；所述的第五编码子模块中的两个卷积层用于将所述的第四编码子模块输出的第四 编码池化块依次进行2次3x3的卷积操作之后生成第五编码卷积块输出，所述的第五编 码卷积块包括通道数为512，分辨率为16*16的特征图，该特征图即为编码图像；所述 的掩膜分割任务解码器用于对所述的编码器输入其内的编码图像进行逐步解码，以得到 掩膜预测图像，在逐步解码过程中，均以该编码图像的原始MR影像对应的掩膜标签对 生成图像进行监督以使生成图像更接近于该掩膜标签；所述的掩膜分割任务解码器包括 按照从前向后顺序排布的五个掩膜分割子模块，将五个所述的掩膜分割子模块按照从前 向后的顺序分别称为第一掩膜分割子模块、第二掩膜分割子模块、第三掩膜分割子模块、 第四掩膜分割子模块和第五掩膜分割子模块，所述的第一掩膜分割子模块、所述的第二 掩膜分割子模块、所述的第三掩膜分割子模块和所述的第四掩膜分割子模块分别由上采 样层和两个卷积核大小均为3x3，步长均为1的卷积层组成，所述的第五掩膜分割子模 块由一个卷积核大小均为1x1，步长均为1的卷积层以及一个采用sigmoid激活函数实 现的激活层组成；所述的第一掩膜分割子模块的上采样层用于对所述的第五编码卷积块 进行上采样，得到第一掩膜上采样块，所述的第一掩膜上采样块包括通道数为512，分辨率为32*32的特征图；所述的第一掩膜分割子模块的两个卷积层用于对所述的第一掩 膜上采样块和所述的第四编码卷积块进行拼接后依次进行2次3x3的卷积操作之后生成 第一掩膜卷积块输出，所述的第一掩膜卷积块包括通道数为256，分辨率为32*32的特 征图；所述的第二掩膜分割子模块的上采样层用于对所述的第一掩膜卷积块进行上采 样，得到第二掩膜上采样块，所述的第二掩膜上采样块包括通道数为256，分辨率为64*64 的特征图；所述的第二掩膜分割子模块的两个卷积层用于对所述的第二掩膜上采样块和 所述的第三编码卷积块进行拼接后依次进行2次3x3的卷积操作之后生成第二掩膜卷积 块输出，所述的第二掩膜卷积块包括通道数为128，分辨率为64*64的特征图；所述的 第三掩膜分割子模块的上采样层用于对所述的第二掩膜卷积块进行上采样，得到第三掩 膜上采样块，所述的第三掩膜上采样块包括通道数为128，分辨率为128*128的特征图； 所述的第三掩膜分割子模块的两个卷积层用于对所述的第二掩膜上采样块和所述的第 二编码卷积块进行拼接后依次进行2次3x3的卷积操作之后生成第三掩膜卷积块输出， 所述的第三掩膜卷积块包括通道数为64，分辨率为128*128的特征图；所述的第四掩膜 分割子模块的上采样层用于对所述的第三掩膜卷积块进行上采样，得到第四掩膜上采样 块，所述的第四掩膜上采样块包括通道数为64，分辨率为256*256的特征图；所述的第 四掩膜分割子模块的两个卷积层用于对所述的第三掩膜上采样块和所述的第一编码卷 积块进行拼接后依次进行2次3x3的卷积操作之后生成第四掩膜卷积块输出，所述的第 四掩膜卷积块包括通道数为32，分辨率为256*256的特征图；所述的第五掩膜分割子模 块的卷积层用于对所述的第四掩膜卷积块进行1次1x1的卷积操作之后生成第五掩膜卷 积块输出，所述的第五掩膜卷积块包括通道数为1，分辨率为256*256的特征图，所述 的激活层采用sigmoid激活函数对所述的第五掩膜卷积块进行处理，生成通道数为1， 分辨率为256*256的概率图输出，该概率图称为掩膜预测图像；所述的第一掩膜分割子 模块在每次上采样和每次卷积操作过程中，均通过损失函数表达生成的特征图和输入其 内的编码图像的原始MR影像对应的掩膜标签的差异；所述的轮廓预测任务解码器用于 对所述的编码器输入其内的编码图像进行逐步解码，以得到轮廓预测图像，在逐步解码 过程中，均以该编码图像的原始MR影像对应的轮廓标签对生成图像进行监督以使生成 图像更接近于该轮廓标签；所述的轮廓预测任务解码器包括按照从前向后顺序排布的五 个轮廓预测子模块，将五个所述的轮廓预测子模块按照从前向后的顺序分别称为第一轮 廓预测子模块、第二轮廓预测子模块、第三轮廓预测子模块、第四轮廓预测子模块和第 五轮廓预测子模块，所述的第一轮廓预测子模块、所述的第二轮廓预测子模块、所述的 第三轮廓预测子模块和所述的第四轮廓预测子模块分别由上采样层和两个卷积核大小 均为3x3，步长均为1的卷积层组成，所述的第五轮廓预测子模块由一个卷积核大小均 为1x1，步长均为1的卷积层以及一个采用sigmoid激活函数实现的激活层组成；所述 的第一轮廓预测子模块的上采样层用于对所述的第五编码卷积块进行上采样，得到第一 轮廓上采样块，所述的第一轮廓上采样块包括通道数为512，分辨率为32*32的特征图； 所述的第一轮廓预测子模块的两个卷积层用于对所述的第一轮廓上采样块和所述的第 四编码卷积块进行拼接后依次进行2次3x3的卷积操作之后生成第一轮廓卷积块输出，所述的第一轮廓卷积块包括通道数为256，分辨率为32*32的特征图；所述的第二轮廓 预测子模块的上采样层用于对所述的第一轮廓卷积块进行上采样，得到第二轮廓上采样 块，所述的第二轮廓上采样块包括通道数为256，分辨率为64*64的特征图；所述的第 二轮廓预测子模块的两个卷积层用于对所述的第二轮廓上采样块和所述的第三编码卷 积块进行拼接后依次进行2次3x3的卷积操作之后生成第二轮廓卷积块输出，所述的第 二轮廓卷积块包括通道数为128，分辨率为64*64的特征图；所述的第三轮廓预测子模 块的上采样层用于对所述的第二轮廓卷积块进行上采样，得到第三轮廓上采样块，所述 的第三轮廓上采样块包括通道数为128，分辨率为128*128的特征图；所述的第三轮廓 预测子模块的两个卷积层用于对所述的第二轮廓上采样块和所述的第二编码卷积块进 行拼接后依次进行2次3x3的卷积操作之后生成第三轮廓卷积块输出，所述的第三轮廓 卷积块包括通道数为64，分辨率为128*128的特征图；所述的第四轮廓预测子模块的上 采样层用于对所述的第三轮廓卷积块进行上采样，得到第四轮廓上采样块，所述的第四 轮廓上采样块包括通道数为64，分辨率为256*256的特征图；所述的第四轮廓预测子模 块的两个卷积层用于对所述的第三轮廓上采样块和所述的第一编码卷积块进行拼接后 依次进行2次3x3的卷积操作之后生成第四轮廓卷积块输出，所述的第四轮廓卷积块包 括通道数为32，分辨率为256*256的特征图；所述的第五轮廓预测子模块的卷积层用于 对所述的第四轮廓卷积块进行1次1x1的卷积操作之后生成第五轮廓卷积块输出，所述 的第五轮廓卷积块包括通道数为1，分辨率为256*256的特征图，所述的激活层采用 sigmoid激活函数对所述的第五轮廓卷积块进行处理，生成通道数为1，分辨率为 256*256的概率图输出，该概率图称为轮廓预测图像；所述的第一轮廓预测子模块在每 次上采样和每次卷积操作过程中，均通过损失函数表达生成的特征图和输入其内的编码 图像的原始MR影像对应的轮廓标签的差异；所述的判别网络用于对样本进行处理，判 断样本真假，所述的样本为正样本或者负样本，所述的负样本为掩膜预测图像和轮廓预 测图像通过concat方法进行深度特征融合得到的融合图像，所述的正样本为掩膜标签 和轮廓标签通过concat方法进行深度特征融合得到的融合图像；所述的判别网络包括 按照从前向后顺序排布的五个判别子模块，将五个所述的判别子模块按照从前向后的顺 序分别称为第一判别子模块、第二判别子模块、第三判别子模块、第四判别子模块和第 五判别子模块，所述的第一判别子模块、所述的第二判别子模块、所述的第三判别子模 块和所述的第四判别子模块分别由两个卷积核大小均为3x3，步长均为1的卷积层和一个最大池化层组成，所述的第五判别子模块由两个卷积核大小均为3x3，步长均为1的 卷积层、一个最大池化层、一个全连接层以及采用sigmoid激活函数实现的判别层；所 述的第一判别子模块的两个卷积层用于将样本进行2次3x3的卷积操作之后生成第一判 别卷积块，所述的第一判别卷积块包括通道数为32，分辨率为256*256的特征图，所述 的第一判别子模块的最大池化层用于将第一判别卷积块进行下采样得到第一下采样块， 所述的第一下采样块包括通道数为32，分辨率为128*128的特征图；所述的第二判别子 模块的两个卷积层用于将所述的第一下采样块进行2次3x3的卷积操作之后生成第二判 别卷积块，所述的第二判别卷积块包括通道数为64，分辨率为128*128的特征图，所述 的第二判别子模块的最大池化层用于将第二判别卷积块进行下采样得到第二下采样块， 所述的第二下采样块包括通道数为64，分辨率为64*64的特征图；所述的第三判别子模 块的两个卷积层用于将所述的第二下采样块进行2次3x3的卷积操作之后生成第三判别 卷积块，所述的第三判别卷积块包括通道数为128，分辨率为64*64的特征图，所述的 第三判别子模块的最大池化层用于将第三判别卷积块进行下采样得到第三下采样块，所 述的第三下采样块包括通道数为128，分辨率为32*32的特征图；所述的第四判别子模 块的两个卷积层用于将所述的第三下采样块进行2次3x3的卷积操作之后生成第四判别 卷积块，所述的第四判别卷积块包括通道数为256，分辨率为32*32的特征图，所述的 第四判别子模块的最大池化层用于将第四判别卷积块进行下采样得到第四下采样块，所 述的第四下采样块包括通道数为256，分辨率为16*16的特征图；所述的第五判别子模 块的两个卷积层用于将所述的第四下采样块进行2次3x3的卷积操作之后生成第五判别 卷积块，所述的第五判别卷积块包括通道数为512，分辨率为16*16的特征图，所述的 第五判别子模块的最大池化层用于将第五判别卷积块进行下采样得到第五下采样块，所 述的第五下采样块包括通道数为512，分辨率为1*1的特征图，所述的第五判别子模块 的全连接层对所述的第五下采样块进行全连接处理，得到全连接图像输出，所述的全连 接图像包括分辨率为1*1大小的特征图，所述的判别层采用sigmoid激活函数对全连接 图像进行处理，输出一个数值在0～1之间的概率值，并对概率值以0.5为阈值进行二分 类，判别样本为真或假，当样本被判定为真时，表明该样本为正样本，此时所述的判断 网络输出1，当样本被判定为假时，表明该样本为负样本，此时所述的判断网络输出0。 该分割模型在传统单解码器全卷积生成网络扩展为两个任务解码器，分别为掩膜分割任 务解码器和轮廓预测任务解码器，与融合两个任务对抗损失函数进行匹配，以使得生成 网络既可以有效刻画胎盘组织的整体形状，又可实现胎盘边界的精准描述，从而可以加 强分割模型对不同形状胎盘分割的适应能力，进一步提供分割精度。

利用训练集、测试集以及分割模型的总对抗损失函数对分割模型进行训练，得到训 练完成后的分割模型的具体过程为：

步骤4-1、初始化所述的分割模型中的网络参数，设定批处理大小为12，迭代数量为300，学习率的初始值设为固定值0.0001；

步骤4-2、设定迭代变量t，对t进行初始化，令t＝1；

步骤4-3、对所述的分割模型进行第t次迭代，具体过程为：

步骤4-3-1、设定更新次数变量k，对k进行初始化，令k＝1；

步骤4-3-2、对所述的分割模型进行第t次迭代过程中的第k次更新，具体为：

S1、在训练集中本次迭代过程中未被选取过的样品组中，随机选择R个样品组，当本次迭代过程中未被选取过的样品组数量大于等于12时，R取值为12，当小于12时， R取值为本次迭代过程中未被选取过的样品组数量；

S2、将R个样品组对应的R张MR影像输入到当前最新分割模型的生成网络中进行处理，得到R张MR影像对应的掩膜预测图像和轮廓预测图像；

S3、分别构建R张MR影像对应的正样本和负样本；

S4、将R张MR影像对应的正样本或者负样本输入当前最新分割模型的判别网络中进行判定，所述的判别网络输出R张MR影像对应的判定结果，其中每张MR影像对应 的正样本或者负样本随机选择；

S5、将分割模型的总对抗损失函数记为

采用式(1)表示为：

式(1)中，x为胎盘MR影像，x′₁表示为胎盘MR影像的掩膜标签，x'₂为胎盘MR影 像的轮廓标签，x′₁,x'₂～P_data(x′₁,x'₂)表示x′₁和x'₂分别服从真实数据分布，

表 示x′₁和x'₂分别服从真实数据分布时的分布函数的期望值，E_x～P(x)表示x服从真实数据分 布时的分布函数期望值，P_data(x′₁,x'₂)为MR影像的掩膜标签和轮廓标签的数据分布，P(x) 为胎盘MR影像的数据分布，G_m1(x)为分割模型的生成网络中掩膜分割任务解码器输出的 胎盘掩膜预测图像，G_m2(x)为分割模型的生成网络中轮廓预测任务解码器输出的轮廓预 测图像，而D(x′₁,x'₂)为分割模型的判别网络对胎盘MR影像的掩膜标签和胎盘MR影像的 轮廓标签的融合图像进行判别的输出，D(G_m1(x),G_m2(x))为分割模型的判别网络对掩膜预 测图像和轮廓预测图像的融合图像进行判别的输出，

代表最大化判别损失以 及最小化多任务生成损失；D^*表示判别网络的损失函数，

表示掩膜分割任务解码器 的对抗损失函数，

表示轮廓预测任务解码器的对抗损失函数，D^*、

和

分别 采用式(2)～(4)表示为：

式(2)和式(3)中，k₁和k₂分别为比例因子，k₁表示掩膜分割任务解码器的权重 系数，k₂表示轮廓预测任务解码器的权重系数，k₁的取值范围为(0-2)，k₂的取值范围 为(0-2)；

S6、根据总对抗损失函数

分别反向更新当前分割模型中的网络参数，得到更新后的分割模型；

S7、判定k的取值是否等于

︱︱为取整符号，且当

为小数时，按照进 1取整方式；如果小于

则采用k的当前值加1的和更新k的取值后返回步骤 4-3-2进行第t次迭代过程中的下一次更新，如果等于

则第t次迭代结束，此 时判断t的当前值是否为300，如果小于300，则采用t的当前值加1的和更新t的取值 后返回步骤4-3，进行下一次迭代，如果等于300，则迭代结束，当前更新后的分割模 型即为训练完成后的分割模型。

通过分割模型对胎盘MR影像进行分割，得到胎盘MR影像的分割图片的具体过 程为：在待分割的胎盘MR影像输入训练完成后的分割模型的生成网络中进行分割，得 到该胎盘MR影像的掩膜预测图像和轮廓预测图像，之后将该掩膜预测图像和轮廓预测 图像分别以0.5为阈值转化为二值图，得到的两幅二值图即为对胎盘MR影像的分割图 片。

在所述的步骤4-3-2中每10次迭代训练完成之后进行一次测试，具体测试过程为：在测试集中任意选择一个批次的R张胎盘MR影像，将该批次胎盘MR影像采用当前训 练得到的分割模型进行分割，计算该分割模型评价指标：相似系数(DSC)、真阳性率 (PPV)、召回率(Recall)、交并比(IOU)、95％豪斯多夫距离(95％HD)，每次选择R 张直到遍历所有的测试集n张图像为止，DSC系数是一种集合相似度度量指标，通常用 于计算两个样本的相似度，值的范围(0-1)，分割结果最好时值为1，最差时值为0， PPV表示预测结果中正确的部分占所有预测结果的比重，Recall表示预测结果中正确的 部分占所有正确预测结果的比重，IOU为预测结果和真实标签的交并比，95％HD反应 了两个轮廓点集之间的最大差异，如果分割模型在测试集上的评价指标低于80％，此时 认为掩膜预测图像和轮廓预测图像与对应真实图像差距较大，这时能够及时终止训练， 重新设定参数学习率、训练批次和迭代次数重新开始训练分割模型，其中分割模型评价 指标分别采用式(5)～(9)确定：

上式中，TP表示正类型像素准确预测为正类的数量，即真阳性；TN表示正类型像素误分为负类像素的数量，即真阴性；FP表示负类型像素误分为正类像素的数量，即 假阳性，FN表示负类型像素准确预测为负类像素的数量，即假阴性，X表示标签胎盘 区域，Y表示预测胎盘区域，|X|表示X的像素数量，|Y|表示Y的像素数量，|X∩Y|为 标签胎盘区域和预测胎盘区域重合部分的像素数量。|X∪Y|为标签胎盘区域和预测胎盘 区域合并部分的像素数量。Y_S表示参考标准区域点集，Z_S分别表示算法分割区域的点 集，d表示欧几里得算子，y表示真实轮廓图像的点集，z表示轮廓预测图像的点集。

与现有技术相比，本发明的优点在于通过首先构建训练集和测试集，然后采用生成 对抗网络构建分割模型，接着利用训练集、测试集以及分割模型的总对抗损失函数对分割模型进行训练，得到训练完成后的分割模型，最后通过分割模型对胎盘MR影像进行 分割，得到胎盘MR影像的分割图片，其中分割模型的总对抗损失函数基于最大化判别 损失和最小化多任务生成损失构建，由此本发明对抗损失函数以融合两个任务各自的优 势，以使得分割模型既可以有效刻画胎盘组织的整体形状，又可实现胎盘边界的精准描 述，从而可以加强分割模型对不同形状胎盘分割的适应能力，分割精度较高，能够满足 临床需求。

附图说明

图1为本发明的多任务生成对抗模型的MR影像胎盘分割方法中分割模型的构架图；

图2(a)为T1序列胎盘MR影像示意图；

图2(b)为T2序列胎盘MR影像示意图；

图3为根据医生标注的胎盘数据，处理生成的胎盘标签及其轮廓标签的示意图；

图4为K-折交叉验证的示意图；

图5为不同类型分割方法的分割性能对照图；

图6为不同类型分割方法在胎盘数据集上的IOU曲线走势图；

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

实施例一：一种多任务生成对抗模型的MR影像胎盘分割方法，首先构建训练集和测试集，然后采用生成对抗网络构建分割模型，接着利用训练集、测试集以及分割模型 的总对抗损失函数对分割模型进行训练，得到训练完成后的分割模型，最后通过分割模 型对胎盘MR影像进行分割，得到胎盘MR影像的分割图片，其中分割模型的总对抗损 失函数基于最大化判别损失和最小化多任务生成损失构建得到。

本实施例中，构建训练集和测试集的具体过程为：

步骤1-1、从历史MR影像数据库获取n张分辨率为256*256，通道数为3的胎盘的 MR影像，以及这n张MR影像对应的掩膜标签，n为大于等于1000的整数，对所有的MR 影像和所有的掩膜标签分别进行相同的左右旋转、水平翻转和垂直翻转，又得到3n张MR影像以及与这3n张MR影像对应的3n张掩膜标签，将此时的4n张掩膜标签分别使用 sobel算子进行边缘检测得到对应的4n张轮廓标签，每张轮廓标签检测到的边缘位置的 像素点为255，其它地方像素点为0，此时每张胎盘MR影像分别对应1张掩膜标签和1 张轮廓标签，将相对应的胎盘MR影像、掩膜标签和轮廓标签作为一个样品组，得到4n 个样品组，采用这4n个样品组构成初始样本集；

步骤1-2、将初始样本集采用K折交叉验证法分组，其中K取4，按照3：1的比列 划分得到训练集和测试集。

如图1所示，本实施例中，分割模型包括生成网络和判别网络，生成网络由编码器、掩膜分割任务解码器和轮廓预测任务解码器构成；编码器用于对输入其内的MR影像进 行编码处理，得到编码图像输出，编码器包括按照从前向后顺序排布的五个编码子模块， 将五个编码子模块按照从前向后的顺序分别称为第一编码子模块、第二编码子模块、第 三编码子模块、第四编码子模块和第五编码子模块，第一编码子模块、第二编码子模块、 第三编码子模块和第四编码子模块分别由两个卷积核大小均为3x3，步长均为1的卷积 层和一个最大池化层组成，第五编码子模块由两个卷积核大小均为3x3，步长均为1的 卷积层组成，第一编码子模块中的两个卷积层用于将原始输入的分辨率为256*256，通 道数为3的一张MR影像依次进行2次3x3的卷积操作之后生成第一编码卷积块输出， 第一编码卷积块包括通道数为32，分辨率为256*256的特征图，第一编码子模块中的最 大池化层用于将第一编码卷积块进行下采样得到第一编码池化块输出，第一编码池化块 包括通道数为32，分辨率为128*128的特征图；第二编码子模块中的两个卷积层用于将 第一编码子模块输出的第一编码池化块依次进行2次3x3的卷积操作之后生成第二编码 卷积块输出，第二编码卷积块包括通道数为64，分辨率为128*128的特征图，第二编码 子模块中的最大池化层用于将第二编码卷积块进行下采样得到第二编码池化块输出，第 二编码池化块包括通道数为64，分辨率为64*64的特征图；第三编码子模块中的两个卷 积层用于将第二编码子模块输出的第二编码池化块依次进行2次3x3的卷积操作之后生 成第三编码卷积块输出，第三编码卷积块包括通道数为128，分辨率为64*64的特征图， 第三编码子模块中的最大池化层用于将第三编码卷积块进行下采样得到第三编码池化 块输出，第三编码池化块包括通道数为128，分辨率为32*32的特征图；第四编码子模 块中的两个卷积层用于将第三编码子模块输出的第三编码池化块依次进行2次3x3的卷 积操作之后生成第四编码卷积块输出，第四编码卷积块包括通道数为256，分辨率为 32*32的特征图，第四编码子模块中的最大池化层用于将第四编码卷积块进行下采样得 到第四编码池化块输出，第四编码池化块包括通道数为256，分辨率为16*16的特征图； 第五编码子模块中的两个卷积层用于将第四编码子模块输出的第四编码池化块依次进 行2次3x3的卷积操作之后生成第五编码卷积块输出，第五编码卷积块包括通道数为 512，分辨率为16*16的特征图，该特征图即为编码图像；掩膜分割任务解码器用于对 编码器输入其内的编码图像进行逐步解码，以得到掩膜预测图像，在逐步解码过程中， 均以该编码图像的原始MR影像对应的掩膜标签对生成图像进行监督以使生成图像更接 近于该掩膜标签；掩膜分割任务解码器包括按照从前向后顺序排布的五个掩膜分割子模 块，将五个掩膜分割子模块按照从前向后的顺序分别称为第一掩膜分割子模块、第二掩 膜分割子模块、第三掩膜分割子模块、第四掩膜分割子模块和第五掩膜分割子模块，第 一掩膜分割子模块、第二掩膜分割子模块、第三掩膜分割子模块和第四掩膜分割子模块 分别由上采样层和两个卷积核大小均为3x3，步长均为1的卷积层组成，第五掩膜分割 子模块由一个卷积核大小均为1x1，步长均为1的卷积层以及一个采用sigmoid激活函数实现的激活层组成；第一掩膜分割子模块的上采样层用于对第五编码卷积块进行上采样，得到第一掩膜上采样块，第一掩膜上采样块包括通道数为512，分辨率为32*32的 特征图；第一掩膜分割子模块的两个卷积层用于对第一掩膜上采样块和第四编码卷积块 进行拼接后依次进行2次3x3的卷积操作之后生成第一掩膜卷积块输出，第一掩膜卷积 块包括通道数为256，分辨率为32*32的特征图；第二掩膜分割子模块的上采样层用于 对第一掩膜卷积块进行上采样，得到第二掩膜上采样块，第二掩膜上采样块包括通道数 为256，分辨率为64*64的特征图；第二掩膜分割子模块的两个卷积层用于对第二掩膜 上采样块和第三编码卷积块进行拼接后依次进行2次3x3的卷积操作之后生成第二掩膜 卷积块输出，第二掩膜卷积块包括通道数为128，分辨率为64*64的特征图；第三掩膜 分割子模块的上采样层用于对第二掩膜卷积块进行上采样，得到第三掩膜上采样块，第 三掩膜上采样块包括通道数为128，分辨率为128*128的特征图；第三掩膜分割子模块 的两个卷积层用于对第二掩膜上采样块和第二编码卷积块进行拼接后依次进行2次3x3 的卷积操作之后生成第三掩膜卷积块输出，第三掩膜卷积块包括通道数为64，分辨率为 128*128的特征图；第四掩膜分割子模块的上采样层用于对第三掩膜卷积块进行上采样， 得到第四掩膜上采样块，第四掩膜上采样块包括通道数为64，分辨率为256*256的特征 图；第四掩膜分割子模块的两个卷积层用于对第三掩膜上采样块和第一编码卷积块进行 拼接后依次进行2次3x3的卷积操作之后生成第四掩膜卷积块输出，第四掩膜卷积块包 括通道数为32，分辨率为256*256的特征图；第五掩膜分割子模块的卷积层用于对第四 掩膜卷积块进行1次1x1的卷积操作之后生成第五掩膜卷积块输出，第五掩膜卷积块包 括通道数为1，分辨率为256*256的特征图，激活层采用sigmoid激活函数对第五掩膜 卷积块进行处理，生成通道数为1，分辨率为256*256的概率图输出，该概率图称为掩 膜预测图像；第一掩膜分割子模块在每次上采样和每次卷积操作过程中，均通过损失函 数表达生成的特征图和输入其内的编码图像的原始MR影像对应的掩膜标签的差异；轮 廓预测任务解码器用于对编码器输入其内的编码图像进行逐步解码，以得到轮廓预测图 像，在逐步解码过程中，均以该编码图像的原始MR影像对应的轮廓标签对生成图像进 行监督以使生成图像更接近于该轮廓标签；轮廓预测任务解码器包括按照从前向后顺序 排布的五个轮廓预测子模块，将五个轮廓预测子模块按照从前向后的顺序分别称为第一 轮廓预测子模块、第二轮廓预测子模块、第三轮廓预测子模块、第四轮廓预测子模块和 第五轮廓预测子模块，第一轮廓预测子模块、第二轮廓预测子模块、第三轮廓预测子模 块和第四轮廓预测子模块分别由上采样层和两个卷积核大小均为3x3，步长均为1的卷 积层组成，第五轮廓预测子模块由一个卷积核大小均为1x1，步长均为1的卷积层以及 一个采用sigmoid激活函数实现的激活层组成；第一轮廓预测子模块的上采样层用于对 第五编码卷积块进行上采样，得到第一轮廓上采样块，第一轮廓上采样块包括通道数为 512，分辨率为32*32的特征图；第一轮廓预测子模块的两个卷积层用于对第一轮廓上采样块和第四编码卷积块进行拼接后依次进行2次3x3的卷积操作之后生成第一轮廓卷 积块输出，第一轮廓卷积块包括通道数为256，分辨率为32*32的特征图；第二轮廓预 测子模块的上采样层用于对第一轮廓卷积块进行上采样，得到第二轮廓上采样块，第二 轮廓上采样块包括通道数为256，分辨率为64*64的特征图；第二轮廓预测子模块的两 个卷积层用于对第二轮廓上采样块和第三编码卷积块进行拼接后依次进行2次3x3的卷 积操作之后生成第二轮廓卷积块输出，第二轮廓卷积块包括通道数为128，分辨率为 64*64的特征图；第三轮廓预测子模块的上采样层用于对第二轮廓卷积块进行上采样， 得到第三轮廓上采样块，第三轮廓上采样块包括通道数为128，分辨率为128*128的特 征图；第三轮廓预测子模块的两个卷积层用于对第二轮廓上采样块和第二编码卷积块进 行拼接后依次进行2次3x3的卷积操作之后生成第三轮廓卷积块输出，第三轮廓卷积块 包括通道数为64，分辨率为128*128的特征图；第四轮廓预测子模块的上采样层用于对 第三轮廓卷积块进行上采样，得到第四轮廓上采样块，第四轮廓上采样块包括通道数为 64，分辨率为256*256的特征图；第四轮廓预测子模块的两个卷积层用于对第三轮廓上 采样块和第一编码卷积块进行拼接后依次进行2次3x3的卷积操作之后生成第四轮廓卷 积块输出，第四轮廓卷积块包括通道数为32，分辨率为256*256的特征图；第五轮廓预 测子模块的卷积层用于对第四轮廓卷积块进行1次1x1的卷积操作之后生成第五轮廓卷 积块输出，第五轮廓卷积块包括通道数为1，分辨率为256*256的特征图，激活层采用 sigmoid激活函数对第五轮廓卷积块进行处理，生成通道数为1，分辨率为256*256的 概率图输出，该概率图称为轮廓预测图像；第一轮廓预测子模块在每次上采样和每次卷 积操作过程中，均通过损失函数表达生成的特征图和输入其内的编码图像的原始MR影 像对应的轮廓标签的差异；判别网络用于对样本进行处理，判断样本真假，样本为正样 本或者负样本，负样本为掩膜预测图像和轮廓预测图像通过concat方法进行深度特征 融合得到的融合图像，正样本为掩膜标签和轮廓标签通过concat方法进行深度特征融 合得到的融合图像；判别网络包括按照从前向后顺序排布的五个判别子模块，将五个判 别子模块按照从前向后的顺序分别称为第一判别子模块、第二判别子模块、第三判别子 模块、第四判别子模块和第五判别子模块，第一判别子模块、第二判别子模块、第三判 别子模块和第四判别子模块分别由两个卷积核大小均为3x3，步长均为1的卷积层和一 个最大池化层组成，第五判别子模块由两个卷积核大小均为3x3，步长均为1的卷积层、 一个最大池化层、一个全连接层以及采用sigmoid激活函数实现的判别层；第一判别子 模块的两个卷积层用于将样本进行2次3x3的卷积操作之后生成第一判别卷积块，第一 判别卷积块包括通道数为32，分辨率为256*256的特征图，第一判别子模块的最大池化 层用于将第一判别卷积块进行下采样得到第一下采样块，第一下采样块包括通道数为 32，分辨率为128*128的特征图；第二判别子模块的两个卷积层用于将第一下采样块进行2次3x3的卷积操作之后生成第二判别卷积块，第二判别卷积块包括通道数为64，分 辨率为128*128的特征图，第二判别子模块的最大池化层用于将第二判别卷积块进行下 采样得到第二下采样块，第二下采样块包括通道数为64，分辨率为64*64的特征图；第 三判别子模块的两个卷积层用于将第二下采样块进行2次3x3的卷积操作之后生成第三 判别卷积块，第三判别卷积块包括通道数为128，分辨率为64*64的特征图，第三判别 子模块的最大池化层用于将第三判别卷积块进行下采样得到第三下采样块，第三下采样 块包括通道数为128，分辨率为32*32的特征图；第四判别子模块的两个卷积层用于将 第三下采样块进行2次3x3的卷积操作之后生成第四判别卷积块，第四判别卷积块包括 通道数为256，分辨率为32*32的特征图，第四判别子模块的最大池化层用于将第四判 别卷积块进行下采样得到第四下采样块，第四下采样块包括通道数为256，分辨率为 16*16的特征图；第五判别子模块的两个卷积层用于将第四下采样块进行2次3x3的卷 积操作之后生成第五判别卷积块，第五判别卷积块包括通道数为512，分辨率为16*16 的特征图，第五判别子模块的最大池化层用于将第五判别卷积块进行下采样得到第五下 采样块，第五下采样块包括通道数为512，分辨率为1*1的特征图，第五判别子模块的 全连接层对第五下采样块进行全连接处理，得到全连接图像输出，全连接图像包括分辨 率为1*1大小的特征图，判别层采用sigmoid激活函数对全连接图像进行处理，输出一 个数值在0～1之间的概率值，并对概率值以0.5为阈值进行二分类，判别样本为真或假， 当样本被判定为真时，表明该样本为正样本，此时判断网络输出1，当样本被判定为假 时，表明该样本为负样本，此时判断网络输出0。

本实施例中，利用训练集、测试集以及分割模型的总对抗损失函数对分割模型进行 训练，得到训练完成后的分割模型的具体过程为：

步骤4-1、初始化分割模型中的网络参数，设定批处理大小为12，迭代数量为300，学习率的初始值设为固定值0.0001；

步骤4-2、设定迭代变量t，对t进行初始化，令t＝1；

步骤4-3、对分割模型进行第t次迭代，具体过程为：

步骤4-3-1、设定更新次数变量k，对k进行初始化，令k＝1；

步骤4-3-2、对分割模型进行第t次迭代过程中的第k次更新，具体为：

S1、在训练集中本次迭代过程中未被选取过的样品组中，随机选择R个样品组，当本次迭代过程中未被选取过的样品组数量大于等于12时，R取值为12，当小于12时， R取值为本次迭代过程中未被选取过的样品组数量；

S2、将R个样品组对应的R张MR影像输入到当前最新分割模型的生成网络中进行处理，得到R张MR影像对应的掩膜预测图像和轮廓预测图像；

S3、分别构建R张MR影像对应的正样本和负样本；

S4、将R张MR影像对应的正样本或者负样本输入当前最新分割模型的判别网络中进行判定，判别网络输出R张MR影像对应的判定结果，其中每张MR影像对应的正样 本或者负样本随机选择；

S5、将分割模型的总对抗损失函数记为

采用式(1)表示为：

式(1)中，x为胎盘MR影像，x′₁表示为胎盘MR影像的掩膜标签，x'₂为胎盘MR影 像的轮廓标签，x′₁,x'₂～P_data(x′₁,x'₂)表示x′₁和x'₂分别服从真实数据分布，

表 示x′₁和x'₂分别服从真实数据分布时的分布函数的期望值，E_x～P(x)表示x服从真实数据分 布时的分布函数期望值，P_data(x′₁,x'₂)为MR影像的掩膜标签和轮廓标签的数据分布，P(x) 为胎盘MR影像的数据分布，G_m1(x)为分割模型的生成网络中掩膜分割任务解码器输出的 胎盘掩膜预测图像，G_m2(x)为分割模型的生成网络中轮廓预测任务解码器输出的轮廓预 测图像，而D(x′₁,x'₂)为分割模型的判别网络对胎盘MR影像的掩膜标签和胎盘MR影像的 轮廓标签的融合图像进行判别的输出，D(G_m1(x),G_m2(x))为分割模型的判别网络对掩膜预 测图像和轮廓预测图像的融合图像进行判别的输出，

代表最大化判别损失以 及最小化多任务生成损失；D^*表示判别网络的损失函数，

表示掩膜分割任务解码器 的对抗损失函数，

表示轮廓预测任务解码器的对抗损失函数，D^*、

和

分别 采用式(2)～(4)表示为：

式(2)和式(3)中，k₁和k₂分别为比例因子，k₁表示掩膜分割任务解码器的权重 系数，k₂表示轮廓预测任务解码器的权重系数，k₁的取值范围为(0-2)，k₂的取值范围 为(0-2)，最优取值k₁＝k₂＝1；

S6、根据总对抗损失函数

分别反向更新当前分割模型中的网络参数，得到更新后的分割模型；

S7、判定k的取值是否等于

︱︱为取整符号，且当

为小数时，按照进 1取整方式；如果小于

则采用k的当前值加1的和更新k的取值后返回步骤 4-3-2进行第t次迭代过程中的下一次更新，如果等于

则第t次迭代结束，此 时判断t的当前值是否为300，如果小于300，则采用t的当前值加1的和更新t的取值 后返回步骤4-3，进行下一次迭代，如果等于300，则迭代结束，当前更新后的分割模 型即为训练完成后的分割模型。

本实施例中，通过分割模型对胎盘MR影像进行分割，得到胎盘MR影像的分割图 片的具体过程为：在待分割的胎盘MR影像输入训练完成后的分割模型的生成网络中进 行分割，得到该胎盘MR影像的掩膜预测图像和轮廓预测图像，之后将该掩膜预测图像 和轮廓预测图像分别以0.5为阈值转化为二值图，得到的两幅二值图即为对胎盘MR影 像的分割图片。

本实施例中，在步骤4-3-2中每10次迭代训练完成之后进行一次测试，具体测试过程为：在测试集中任意选择一个批次的R张胎盘MR影像，将该批次胎盘MR影像采用 当前训练得到的分割模型进行分割，计算该分割模型评价指标：相似系数(DSC)、真阳 性率(PPV)、召回率(Recall)、交并比(IOU)、95％豪斯多夫距离(95％HD)，每次选 择R张直到遍历所有的测试集n张图像为止，DSC系数是一种集合相似度度量指标， 通常用于计算两个样本的相似度，值的范围(0-1)，分割结果最好时值为1，最差时值 为0，PPV表示预测结果中正确的部分占所有预测结果的比重，Recall表示预测结果中 正确的部分占所有正确预测结果的比重，IOU为预测结果和真实标签的交并比，95％HD 反应了两个轮廓点集之间的最大差异，如果分割模型在测试集上的评价指标低于80％， 此时认为掩膜预测图像和轮廓预测图像与对应真实图像差距较大，这时能够及时终止训 练，重新设定参数学习率、训练批次和迭代次数重新开始训练分割模型，其中分割模型 评价指标分别采用式(5)～(9)确定：

上式中，TP表示正类型像素准确预测为正类的数量，即真阳性；TN表示正类型像素误分为负类像素的数量，即真阴性；FP表示负类型像素误分为正类像素的数量，即 假阳性，FN表示负类型像素准确预测为负类像素的数量，即假阴性，X表示标签胎盘 区域，Y表示预测胎盘区域，|X|表示X的像素数量，|Y|表示Y的像素数量，|X∩Y|为 标签胎盘区域和预测胎盘区域重合部分的像素数量。|X∪Y|为标签胎盘区域和预测胎盘 区域合并部分的像素数量。Y_S表示参考标准区域点集，Z_S分别表示算法分割区域的点 集，d表示欧几里得算子，y表示真实轮廓图像的点集，z表示轮廓预测图像的点集。

以下通过实验来验证本发明的优异性。

宁波市妇女儿童医院所有的MR检查均由具有10年以上工作经验的放射科医生使用1.5特斯拉单位进行8通道阵列灵敏度编码腹部线圈扫描。宁波市妇女儿童医院的成 像设备为Philips Achieva Noval Dual 1.5T超导型双梯度磁共振扫描仪，应用16通道体 部相控阵线圈。MR胎盘影像包括整个妊娠子宫(胎儿和整个胎盘的体积)的完整图像和 母体矢状面的T1加权(T1W)、T2加权(T2W)图像，T1、T2在MR影像技术中是最重 要的成像参数，不同组织与器官的T1或T2序列在图像上有不同的灰度表示，这就提供 了用T1和T2值来建立人体组织分布图象的可能性，称为T1、T2加权或T1、T2权重 图像。研究表明，T1W对解剖影像更为敏感，而T2W对病变组织和出血较为敏感，T2W 矢状位序列可以任意方向大视野成像。T1序列胎盘MR影像如图2(a)所示，T2序 列胎盘MR影像如图2(b)所示。分析图2(a)和图2(b)可知，T2W序列具有无辐 射损伤且图像质量不受胎位及母体体型影响的特点，对子宫区域的较为敏感，清晰的显 示了胎盘及附近软组织的伪影。

本发明的方法采用宁波市妇女儿童医院提供的数据集，数据共包含40例相关病例的 胎盘MR图像。孕妇采用仰卧位或左侧卧位，以胎盘为中心扫描胎盘的横断面、矢状面 和冠状面，每个病例包含横断面、矢状面、冠状面的T1及T2序列各24张磁共振扫描 切片。由于T2序列的矢状面对胎盘MR影像的成像效果较好，因此本方法均采用T2 序列矢状面的扫描切片作为原始数据集。数据集均标记有胎盘区域，图像标签由具有三 年以上胎盘影像诊断经验的医生使用软件进行多点跟踪标记。标记前在胎盘横断面、冠 状面和矢状面观察胎盘的整体附着位置、大小和形状，然后手动逐层标记。除此之外， 还需根据胎盘标签的边界制作对应的轮廓标签。轮廓标签的边界用1表示，边界以外的 区域用0表示。根据医生标注的胎盘数据，处理生成的胎盘标签及其轮廓标签如图3所 示。

实验系统配置为Windows 10操作系统，3.6GHz Intel Core i7 CPU和64GB运行内存的计算机，编程语言Python3.7，基于Pytorch1.6框架，所有的卷积运算均在显卡NVIDIA GeForce 2080Ti下进行。使用Adam优化器生成梯度的方向，采用固定学习率0.0001，本实验设定的最大迭代次数为300次，实验重复5次，保存在验证集上分割效 果最佳的分割模型。

在生成对抗网络的训练中，较为常规的训练方式是将数据集分为两组，其中一组作 为模型的训练集，另外一组作为测试集验证分割模型的训练效果。该方法较为简单，仅需把原始数据集随机分成两组即可。但是由于数据集的分组是随机，因此模型训练结果 的优劣会与原始数据集的分组有一定的关系。K-折交叉验证可以防止分割模型过于复杂 而引起的过拟合问题，是一种可以提升模型泛化能力的方法。因此为最大程度上优化分 割模型的训练过程，提高测试结果的可靠性，避免过拟合与欠拟合的发生，本次实验中 采用K-折交叉验证的方法。图4给出了K-折交叉验证的示意图。K-折交叉验证的方法 将现有的数据集平均分成K组，本次实验取K＝4。每一组分别作为一次模型的测试集， 剩下的K-1个组则作为模型的训练使用，最终经过4次迭代会得到4个模型。而模型的 性能指标便是这4个模型测试得到的准确率的平均值。

为了进一步体现本发明方法在胎盘分割中的优势，将本发明的方法与以下几种标准 分割算法进行了比较，第一种方法为标准U-Net分割算法，该方法中仅保留掩膜分割任务解码器和对应的编码器，每层下采样特征图与上采样特征图跳跃连接，将此方法编号 为方法一；第二种方法为GAN分割算法，该方法比第一种方法多了判别网络，但仍仅 有掩膜分割任务解码器，将此方法编号为方法二。图5显示了不同类型分割方法的性能， 其中(a)为原始图像，(b)为专家标定结果图，(c)为采用方法一分割的效果图，(d)为采用 方法二分割的效果图，(e)为采用本发明方法分割的效果图。通过图5所示的分割效果图 对比可以发现本发明方法在轮廓预测上对比其它两种方法具有更好的细节表现，对变化 较大的切片序列分割效果较好，且胎盘相邻区域没有发生误诊，与专家标定结果较为接 近。

表1列出了k₁，k₂比例因子对胎盘MR图像分割效果的影响。分别取k₁＝0.5，k₂＝1.5为一组，取k₁＝1.5，k₂＝0.5为一组，取k₁＝k₂＝1为一组。以相似系数(DSC)、真阳性率(PPV)、 召回率(Recall)、交并比(IOU)、95％豪斯多夫距离(95％HD)为评价指标。实验结果表明，在k₁＝k₂＝1时的总体DSC、PPV、Recall、IOU、95％HD均为最优，因此本发明 后续在没有特殊说明情况下均采用k₁＝k₂＝1的参数设置。

表1不同超参数的胎盘MR影像检测结果

图6所给出的U-Net分割算法，GAN分割算法和本发明在胎盘数据集上的IOU曲 线走势图，更加直观的展示了本发明方法分割效果的优越性。观察图6可知，当迭代次 数达到30次时，三个方法对应的分割模型的IOU已趋近于一个稳定值，此时本发明方 法比GAN分割算法的IOU更趋向于0.9，而U-Net分割算法的IOU值对比GAN分割 算法和本发明方法明显偏低，趋向于0.83。说明本发明方法所生成的胎盘分割图像较为 接近专家标注图像。图6中横坐标和纵坐标分别表示迭代次数和当前的IOU值。

表2列出了本发明方法与其它两种方法在轮廓相似系数(DSC)、真阳性率(PPV)、召回率(Recall)、交并比(IOU)以及95％豪斯多夫距离(95％HD)的对比。实验结果 表明，在本发明所提供的数据集下，分割模型的总体DSC、PPV、Recall、IOU、95％HD 均为最优，分别为85.37％、87.01％、91.94％、88.75％、3.83mm，而方法二的各项指标 均高于方法一，说明本发明方法在三种分割方法中表现出了最好的性能。

表2不同模型的胎盘MR影像检测结果

综上所述，本发明方法相对于现有的分割方法，在胎盘分割中表现最好。

Claims (6)

1.一种多任务生成对抗模型的MR影像胎盘分割方法，其特征在于首先构建训练集和测试集，然后采用生成对抗网络构建分割模型，接着利用训练集、测试集以及分割模型的总对抗损失函数对分割模型进行训练，得到训练完成后的分割模型，最后通过分割模型对胎盘MR影像进行分割，得到胎盘MR影像的分割图片，其中分割模型的总对抗损失函数基于最大化判别损失和最小化多任务生成损失构建得到。

2.根据权利要求1所述的一种多任务生成对抗模型的MR影像胎盘分割方法，其特征在于构建训练集和测试集的具体过程为：

步骤1-1、从历史MR影像数据库获取n张分辨率为256*256，通道数为3的胎盘的MR影像，以及这n张MR影像对应的掩膜标签，n为大于等于1000的整数，对所有的MR影像和所有的掩膜标签分别进行相同的左右旋转、水平翻转和垂直翻转，又得到3n张MR影像以及与这3n张MR影像对应的3n张掩膜标签，将此时的4n张掩膜标签分别使用sobel算子进行边缘检测得到对应的4n张轮廓标签，每张轮廓标签检测到的边缘位置的像素点为255，其它地方像素点为0，此时每张胎盘MR影像分别对应1张掩膜标签和1张轮廓标签，将相对应的胎盘MR影像、掩膜标签和轮廓标签作为一个样品组，得到4n个样品组，采用这4n个样品组构成初始样本集；

步骤1-2、将初始样本集采用K折交叉验证法分组，其中K取4，按照3：1的比列划分得到训练集和测试集。

3.根据权利要求2所述的一种多任务生成对抗模型的MR影像胎盘分割方法，其特征在于所述的分割模型包括生成网络和判别网络，所述的生成网络由编码器、掩膜分割任务解码器和轮廓预测任务解码器构成；

所述的编码器用于对输入其内的MR影像进行编码处理，得到编码图像输出，所述的编码器包括按照从前向后顺序排布的五个编码子模块，将五个所述的编码子模块按照从前向后的顺序分别称为第一编码子模块、第二编码子模块、第三编码子模块、第四编码子模块和第五编码子模块，所述的第一编码子模块、所述的第二编码子模块、所述的第三编码子模块和所述的第四编码子模块分别由两个卷积核大小均为3x3，步长均为1的卷积层和一个最大池化层组成，所述的第五编码子模块由两个卷积核大小均为3x3，步长均为1的卷积层组成，所述的第一编码子模块中的两个卷积层用于将原始输入的分辨率为256*256，通道数为3的一张MR影像依次进行2次3x3的卷积操作之后生成第一编码卷积块输出，所述的第一编码卷积块包括通道数为32，分辨率为256*256的特征图，所述的第一编码子模块中的最大池化层用于将第一编码卷积块进行下采样得到第一编码池化块输出，所述的第一编码池化块包括通道数为32，分辨率为128*128的特征图；所述的第二编码子模块中的两个卷积层用于将所述的第一编码子模块输出的第一编码池化块依次进行2次3x3的卷积操作之后生成第二编码卷积块输出，所述的第二编码卷积块包括通道数为64，分辨率为128*128的特征图，所述的第二编码子模块中的最大池化层用于将第二编码卷积块进行下采样得到第二编码池化块输出，所述的第二编码池化块包括通道数为64，分辨率为64*64的特征图；所述的第三编码子模块中的两个卷积层用于将所述的第二编码子模块输出的第二编码池化块依次进行2次3x3的卷积操作之后生成第三编码卷积块输出，所述的第三编码卷积块包括通道数为128，分辨率为64*64的特征图，所述的第三编码子模块中的最大池化层用于将第三编码卷积块进行下采样得到第三编码池化块输出，所述的第三编码池化块包括通道数为128，分辨率为32*32的特征图；所述的第四编码子模块中的两个卷积层用于将所述的第三编码子模块输出的第三编码池化块依次进行2次3x3的卷积操作之后生成第四编码卷积块输出，所述的第四编码卷积块包括通道数为256，分辨率为32*32的特征图，所述的第四编码子模块中的最大池化层用于将第四编码卷积块进行下采样得到第四编码池化块输出，所述的第四编码池化块包括通道数为256，分辨率为16*16的特征图；所述的第五编码子模块中的两个卷积层用于将所述的第四编码子模块输出的第四编码池化块依次进行2次3x3的卷积操作之后生成第五编码卷积块输出，所述的第五编码卷积块包括通道数为512，分辨率为16*16的特征图，该特征图即为编码图像；

所述的掩膜分割任务解码器用于对所述的编码器输入其内的编码图像进行逐步解码，以得到掩膜预测图像，在逐步解码过程中，均以该编码图像的原始MR影像对应的掩膜标签对生成图像进行监督以使生成图像更接近于该掩膜标签；所述的掩膜分割任务解码器包括按照从前向后顺序排布的五个掩膜分割子模块，将五个所述的掩膜分割子模块按照从前向后的顺序分别称为第一掩膜分割子模块、第二掩膜分割子模块、第三掩膜分割子模块、第四掩膜分割子模块和第五掩膜分割子模块，所述的第一掩膜分割子模块、所述的第二掩膜分割子模块、所述的第三掩膜分割子模块和所述的第四掩膜分割子模块分别由上采样层和两个卷积核大小均为3x3，步长均为1的卷积层组成，所述的第五掩膜分割子模块由一个卷积核大小均为1x1，步长均为1的卷积层以及一个采用sigmoid激活函数实现的激活层组成；所述的第一掩膜分割子模块的上采样层用于对所述的第五编码卷积块进行上采样，得到第一掩膜上采样块，所述的第一掩膜上采样块包括通道数为512，分辨率为32*32的特征图；所述的第一掩膜分割子模块的两个卷积层用于对所述的第一掩膜上采样块和所述的第四编码卷积块进行拼接后依次进行2次3x3的卷积操作之后生成第一掩膜卷积块输出，所述的第一掩膜卷积块包括通道数为256，分辨率为32*32的特征图；所述的第二掩膜分割子模块的上采样层用于对所述的第一掩膜卷积块进行上采样，得到第二掩膜上采样块，所述的第二掩膜上采样块包括通道数为256，分辨率为64*64的特征图；所述的第二掩膜分割子模块的两个卷积层用于对所述的第二掩膜上采样块和所述的第三编码卷积块进行拼接后依次进行2次3x3的卷积操作之后生成第二掩膜卷积块输出，所述的第二掩膜卷积块包括通道数为128，分辨率为64*64的特征图；所述的第三掩膜分割子模块的上采样层用于对所述的第二掩膜卷积块进行上采样，得到第三掩膜上采样块，所述的第三掩膜上采样块包括通道数为128，分辨率为128*128的特征图；所述的第三掩膜分割子模块的两个卷积层用于对所述的第二掩膜上采样块和所述的第二编码卷积块进行拼接后依次进行2次3x3的卷积操作之后生成第三掩膜卷积块输出，所述的第三掩膜卷积块包括通道数为64，分辨率为128*128的特征图；所述的第四掩膜分割子模块的上采样层用于对所述的第三掩膜卷积块进行上采样，得到第四掩膜上采样块，所述的第四掩膜上采样块包括通道数为64，分辨率为256*256的特征图；所述的第四掩膜分割子模块的两个卷积层用于对所述的第三掩膜上采样块和所述的第一编码卷积块进行拼接后依次进行2次3x3的卷积操作之后生成第四掩膜卷积块输出，所述的第四掩膜卷积块包括通道数为32，分辨率为256*256的特征图；所述的第五掩膜分割子模块的卷积层用于对所述的第四掩膜卷积块进行1次1x1的卷积操作之后生成第五掩膜卷积块输出，所述的第五掩膜卷积块包括通道数为1，分辨率为256*256的特征图，所述的激活层采用sigmoid激活函数对所述的第五掩膜卷积块进行处理，生成通道数为1，分辨率为256*256的概率图输出，该概率图称为掩膜预测图像；所述的第一掩膜分割子模块在每次上采样和每次卷积操作过程中，均通过损失函数表达生成的特征图和输入其内的编码图像的原始MR影像对应的掩膜标签的差异；

所述的轮廓预测任务解码器用于对所述的编码器输入其内的编码图像进行逐步解码，以得到轮廓预测图像，在逐步解码过程中，均以该编码图像的原始MR影像对应的轮廓标签对生成图像进行监督以使生成图像更接近于该轮廓标签；所述的轮廓预测任务解码器包括按照从前向后顺序排布的五个轮廓预测子模块，将五个所述的轮廓预测子模块按照从前向后的顺序分别称为第一轮廓预测子模块、第二轮廓预测子模块、第三轮廓预测子模块、第四轮廓预测子模块和第五轮廓预测子模块，所述的第一轮廓预测子模块、所述的第二轮廓预测子模块、所述的第三轮廓预测子模块和所述的第四轮廓预测子模块分别由上采样层和两个卷积核大小均为3x3，步长均为1的卷积层组成，所述的第五轮廓预测子模块由一个卷积核大小均为1x1，步长均为1的卷积层以及一个采用sigmoid激活函数实现的激活层组成；所述的第一轮廓预测子模块的上采样层用于对所述的第五编码卷积块进行上采样，得到第一轮廓上采样块，所述的第一轮廓上采样块包括通道数为512，分辨率为32*32的特征图；所述的第一轮廓预测子模块的两个卷积层用于对所述的第一轮廓上采样块和所述的第四编码卷积块进行拼接后依次进行2次3x3的卷积操作之后生成第一轮廓卷积块输出，所述的第一轮廓卷积块包括通道数为256，分辨率为32*32的特征图；所述的第二轮廓预测子模块的上采样层用于对所述的第一轮廓卷积块进行上采样，得到第二轮廓上采样块，所述的第二轮廓上采样块包括通道数为256，分辨率为64*64的特征图；所述的第二轮廓预测子模块的两个卷积层用于对所述的第二轮廓上采样块和所述的第三编码卷积块进行拼接后依次进行2次3x3的卷积操作之后生成第二轮廓卷积块输出，所述的第二轮廓卷积块包括通道数为128，分辨率为64*64的特征图；所述的第三轮廓预测子模块的上采样层用于对所述的第二轮廓卷积块进行上采样，得到第三轮廓上采样块，所述的第三轮廓上采样块包括通道数为128，分辨率为128*128的特征图；所述的第三轮廓预测子模块的两个卷积层用于对所述的第二轮廓上采样块和所述的第二编码卷积块进行拼接后依次进行2次3x3的卷积操作之后生成第三轮廓卷积块输出，所述的第三轮廓卷积块包括通道数为64，分辨率为128*128的特征图；所述的第四轮廓预测子模块的上采样层用于对所述的第三轮廓卷积块进行上采样，得到第四轮廓上采样块，所述的第四轮廓上采样块包括通道数为64，分辨率为256*256的特征图；所述的第四轮廓预测子模块的两个卷积层用于对所述的第三轮廓上采样块和所述的第一编码卷积块进行拼接后依次进行2次3x3的卷积操作之后生成第四轮廓卷积块输出，所述的第四轮廓卷积块包括通道数为32，分辨率为256*256的特征图；所述的第五轮廓预测子模块的卷积层用于对所述的第四轮廓卷积块进行1次1x1的卷积操作之后生成第五轮廓卷积块输出，所述的第五轮廓卷积块包括通道数为1，分辨率为256*256的特征图，所述的激活层采用sigmoid激活函数对所述的第五轮廓卷积块进行处理，生成通道数为1，分辨率为256*256的概率图输出，该概率图称为轮廓预测图像；所述的第一轮廓预测子模块在每次上采样和每次卷积操作过程中，均通过损失函数表达生成的特征图和输入其内的编码图像的原始MR影像对应的轮廓标签的差异；

所述的判别网络用于对样本进行处理，判断样本真假，所述的样本为正样本或者负样本，所述的负样本为掩膜预测图像和轮廓预测图像通过concat方法进行深度特征融合得到的融合图像，所述的正样本为掩膜标签和轮廓标签通过concat方法进行深度特征融合得到的融合图像；所述的判别网络包括按照从前向后顺序排布的五个判别子模块，将五个所述的判别子模块按照从前向后的顺序分别称为第一判别子模块、第二判别子模块、第三判别子模块、第四判别子模块和第五判别子模块，所述的第一判别子模块、所述的第二判别子模块、所述的第三判别子模块和所述的第四判别子模块分别由两个卷积核大小均为3x3，步长均为1的卷积层和一个最大池化层组成，所述的第五判别子模块由两个卷积核大小均为3x3，步长均为1的卷积层、一个最大池化层、一个全连接层以及采用sigmoid激活函数实现的判别层；所述的第一判别子模块的两个卷积层用于将样本进行2次3x3的卷积操作之后生成第一判别卷积块，所述的第一判别卷积块包括通道数为32，分辨率为256*256的特征图，所述的第一判别子模块的最大池化层用于将第一判别卷积块进行下采样得到第一下采样块，所述的第一下采样块包括通道数为32，分辨率为128*128的特征图；所述的第二判别子模块的两个卷积层用于将所述的第一下采样块进行2次3x3的卷积操作之后生成第二判别卷积块，所述的第二判别卷积块包括通道数为64，分辨率为128*128的特征图，所述的第二判别子模块的最大池化层用于将第二判别卷积块进行下采样得到第二下采样块，所述的第二下采样块包括通道数为64，分辨率为64*64的特征图；所述的第三判别子模块的两个卷积层用于将所述的第二下采样块进行2次3x3的卷积操作之后生成第三判别卷积块，所述的第三判别卷积块包括通道数为128，分辨率为64*64的特征图，所述的第三判别子模块的最大池化层用于将第三判别卷积块进行下采样得到第三下采样块，所述的第三下采样块包括通道数为128，分辨率为32*32的特征图；所述的第四判别子模块的两个卷积层用于将所述的第三下采样块进行2次3x3的卷积操作之后生成第四判别卷积块，所述的第四判别卷积块包括通道数为256，分辨率为32*32的特征图，所述的第四判别子模块的最大池化层用于将第四判别卷积块进行下采样得到第四下采样块，所述的第四下采样块包括通道数为256，分辨率为16*16的特征图；所述的第五判别子模块的两个卷积层用于将所述的第四下采样块进行2次3x3的卷积操作之后生成第五判别卷积块，所述的第五判别卷积块包括通道数为512，分辨率为16*16的特征图，所述的第五判别子模块的最大池化层用于将第五判别卷积块进行下采样得到第五下采样块，所述的第五下采样块包括通道数为512，分辨率为1*1的特征图，所述的第五判别子模块的全连接层对所述的第五下采样块进行全连接处理，得到全连接图像输出，所述的全连接图像包括分辨率为1*1大小的特征图，所述的判别层采用sigmoid激活函数对全连接图像进行处理，输出一个数值在0～1之间的概率值，并对概率值以0.5为阈值进行二分类，判别样本为真或假，当样本被判定为真时，表明该样本为正样本，此时所述的判断网络输出1，当样本被判定为假时，表明该样本为负样本，此时所述的判断网络输出0。

4.根据权利要求3所述的一种多任务生成对抗模型的MR影像胎盘分割方法，其特征在于利用训练集、测试集以及分割模型的总对抗损失函数对分割模型进行训练，得到训练完成后的分割模型的具体过程为：

步骤4-1、初始化所述的分割模型中的网络参数，设定批处理大小为12，迭代数量为300，学习率的初始值设为固定值0.0001；

步骤4-2、设定迭代变量t，对t进行初始化，令t＝1；

步骤4-3、对所述的分割模型进行第t次迭代，具体过程为：

步骤4-3-1、设定更新次数变量k，对k进行初始化，令k＝1；

步骤4-3-2、对所述的分割模型进行第t次迭代过程中的第k次更新，具体为：

S1、在训练集中本次迭代过程中未被选取过的样品组中，随机选择R个样品组，当本次迭代过程中未被选取过的样品组数量大于等于12时，R取值为12，当小于12时，R取值为本次迭代过程中未被选取过的样品组数量；

S2、将R个样品组对应的R张MR影像输入到当前最新分割模型的生成网络中进行处理，得到R张MR影像对应的掩膜预测图像和轮廓预测图像；

S3、分别构建R张MR影像对应的正样本和负样本；

S4、将R张MR影像对应的正样本或者负样本输入当前最新分割模型的判别网络中进行判定，所述的判别网络输出R张MR影像对应的判定结果，其中每张MR影像对应的正样本或者负样本随机选择；

S5、将分割模型的总对抗损失函数记为

采用式(1)表示为：

式(1)中，x为胎盘MR影像，x’₁表示为胎盘MR影像的掩膜标签，x'₂为胎盘MR影像的轮廓标签，x’₁,x'₂～P_data(x’₁,x'₂)表示x’₁和x'₂分别服从真实数据分布，

表示x’₁和x'₂分别服从真实数据分布时的分布函数的期望值，E_x～P(x)表示x服从真实数据分布时的分布函数期望值，P_data(x’₁,x'₂)为MR影像的掩膜标签和轮廓标签的数据分布，P(x)为胎盘MR影像的数据分布，G_m1(x)为分割模型的生成网络中掩膜分割任务解码器输出的胎盘掩膜预测图像，G_m2(x)为分割模型的生成网络中轮廓预测任务解码器输出的轮廓预测图像，而D(x’₁,x'₂)为分割模型的判别网络对胎盘MR影像的掩膜标签和胎盘MR影像的轮廓标签的融合图像进行判别的输出，D(G_m1(x),G_m2(x))为分割模型的判别网络对掩膜预测图像和轮廓预测图像的融合图像进行判别的输出，

代表最大化判别损失以及最小化多任务生成损失；D^*表示判别网络的损失函数，

表示掩膜分割任务解码器的对抗损失函数，

表示轮廓预测任务解码器的对抗损失函数，D^*、

和

分别采用式(2)～(4)表示为：

式(2)和式(3)中，k₁和k₂分别为比例因子，k₁表示掩膜分割任务解码器的权重系数，k₂表示轮廓预测任务解码器的权重系数，k₁的取值范围为(0-2)，k₂的取值范围为(0-2)；

S6、根据总对抗损失函数

分别反向更新当前分割模型中的网络参数，得到更新后的分割模型；

S7、判定k的取值是否等于

︱︱为取整符号，且当

为小数时，按照进1取整方式；如果小于

则采用k的当前值加1的和更新k的取值后返回步骤4-3-2进行第t次迭代过程中的下一次更新，如果等于

则第t次迭代结束，此时判断t的当前值是否为300，如果小于300，则采用t的当前值加1的和更新t的取值后返回步骤4-3，进行下一次迭代，如果等于300，则迭代结束，当前更新后的分割模型即为训练完成后的分割模型。

5.根据权利要求4所述的一种多任务生成对抗模型的MR影像胎盘分割方法，其特征在于通过分割模型对胎盘MR影像进行分割，得到胎盘MR影像的分割图片的具体过程为：在待分割的胎盘MR影像输入训练完成后的分割模型的生成网络中进行分割，得到该胎盘MR影像的掩膜预测图像和轮廓预测图像，之后将该掩膜预测图像和轮廓预测图像分别以0.5为阈值转化为二值图，得到的两幅二值图即为对胎盘MR影像的分割图片。

6.根据权利要求4所述的一种多任务生成对抗模型的MR影像胎盘分割方法，其特征在于在所述的步骤4-3-2中每10次迭代训练完成之后进行一次测试，具体测试过程为：在测试集中任意选择一个批次的R张胎盘MR影像，将该批次胎盘MR影像采用当前训练得到的分割模型进行分割，计算该分割模型评价指标：相似系数(DSC)、真阳性率(PPV)、召回率(Recall)、交并比(IOU)、95％豪斯多夫距离(95％HD)，每次选择R张直到遍历所有的测试集n张图像为止，DSC系数是一种集合相似度度量指标，通常用于计算两个样本的相似度，值的范围(0-1)，分割结果最好时值为1，最差时值为0，PPV表示预测结果中正确的部分占所有预测结果的比重，Recall表示预测结果中正确的部分占所有正确预测结果的比重，IOU为预测结果和真实标签的交并比，95％HD反应了两个轮廓点集之间的最大差异，如果分割模型在测试集上的评价指标低于80％，此时认为掩膜预测图像和轮廓预测图像与对应真实图像差距较大，这时能够及时终止训练，重新设定参数学习率、训练批次和迭代次数重新开始训练分割模型，其中分割模型评价指标分别采用式(5)～(9)确定：

上式中，TP表示正类型像素准确预测为正类的数量，即真阳性；TN表示正类型像素误分为负类像素的数量，即真阴性；FP表示负类型像素误分为正类像素的数量，即假阳性，FN表示负类型像素准确预测为负类像素的数量，即假阴性，X表示标签胎盘区域，Y表示预测胎盘区域，|X|表示X的像素数量，|Y|表示Y的像素数量，|X∩Y|为标签胎盘区域和预测胎盘区域重合部分的像素数量。|X∪Y|为标签胎盘区域和预测胎盘区域合并部分的像素数量。Y_S表示参考标准区域点集，Z_S分别表示算法分割区域的点集，d表示欧几里得算子，y表示真实轮廓图像的点集，z表示轮廓预测图像的点集。

Images