CN112215847B - 基于对抗学习多尺度特征的重叠染色体自动分割方法 - Google Patents

Abstract

本发明公开了一种面向基于对抗学习多尺度特征的重叠染色体自动分割方法的生成对抗神经网络研究，人类染色体分析的挑战是染色体自动分割的重叠，这阻碍了医学诊断和生物医学研究。因此，本发明提出了一个对抗多尺度特征学习框架，采用嵌套U形网络(NestedUNet)作为生成器，旨在利用多尺度特征探索染色体图像的“最优”表示；使用条件生成对抗网络(cGAN)对抗学习来推动输出分布更接近金标准图像；采用最小二乘GAN目标来提高框架的训练稳定性；利用Lovász‑Softmax损失进行连续性的优化，取得了更好的性能。本发明实验结果表明，本发明方法在主观视觉的效果和客观评价的标准上都会优于其他传统的算法。

Description

基于对抗学习多尺度特征的重叠染色体自动分割方法

技术领域

本发明属于生物医学图像处理技术领域，更具体地，涉及一种基于对抗学习多尺度特征的重叠染色体自动分割方法。

背景技术

人类染色体核型分析是遗传病医学诊断中的一项重要工作，通常在临床和肿瘤细胞遗传学中进行，如检测爱德华兹综合征、唐氏综合征等遗传异常。对于这种诊断，细胞遗传学家通常通过观察染色体的过剩或缺失和结构缺陷，或将患者的染色体图像与原型人类的染色体带模式进行比较来判断疾病。然而，即使经过多年专家、细胞遗传学家研究这些染色体分析过程仍然需要付出相当大的手工努力。因此，开发一种有效的自动分析方法迫在眉睫。

图1展示了人类染色体核型分析的过程，包括两个主要阶段：分割和分类。在这些步骤中，染色体分割是非常重要的，因为它影响到最终分类目标的性能。特别是在实际的显微镜下的染色体成像中，观察图1(a)和(b)中框出来的部分，往往会发现有重叠的染色体，严重影响分型效果。值得注意的是，相对于单条染色体的分类总是可以获得较高的准确率，重叠染色体分割由于其重叠区域的模糊性而更具挑战性。因此，研究重点在于突破重叠染色体分割的限制，使高性价比的医学和生物医学研究规模扩大。

在过去的几十年里，许多算法被提出用于建立染色体分割任务的模型，这些算法可以大致分为两类：启发式方法-基于学习的方法。对于启发式方法，利用手工制作的特征，如轮廓、像素和几何特征来实现分割。代表性的例子有全局上下文和变量分析方法、轮廓分析方法、边缘检测方法、阈值策略、分水岭聚类方法。这些方法虽然取得了令人印象深刻的分割效果，但由于依赖先验结构信息和人工结构，往往容易受到染色体形状和重叠区域的影响，并且没有充分考虑潜在特征分布的影响，将特征提取和分类器设计这两个关键的算法设计步骤分开，在一定程度上限制了它们的性能。另一方面，对于基于学习的方法，通常利用机器学习技术挖掘染色体分割的潜在信息。代表性的例子有全卷积网络(FullyConvolutional Networks，FCN)方法和U形网络(UNet)。虽然这些方法也取得了很好的性能，但是由于仅仅利用了几层的特征，所以对于染色体图像的特征表示有些简单，没有很好的捕获潜在的语义特征。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提出了一种基于对抗学习多尺度特征的重叠染色体自动分割方法，可以实现高精度的重叠染色体图像分割。

为实现上述目的，本发明提供了一种基于对抗学习多尺度特征的重叠染色体自动分割方法，包括：

S1：采用人工合成重叠染色体图像作为数据集，获取数据集中的各染色体图像对应的金标准图像，将金标准图像与对应的染色体图像作为训练集；

S2：构建由生成器和判别器组成的生成对抗网络作为染色体分割模型；

S3：将染色体图像作为生成器的输入得到初始分割图像，将染色体图像、该染色体图像对应的初始分割图像及该染色体图像对应的金标准图像作为判别器的输入，通过设定目标函数约束，让由生成器得到的预测图像接近真实的金标准图像，对生成器和判别器进行交替训练，得到训练好的染色体分割模型，进而通过训练好的染色体分割模型对待分割染色体图像进行分割。

在一些可选的实施方案中，步骤S1包括：

采用人工合成重叠染色体图像作为数据集，根据数据集中的灰度图像来制作金标准图像，其中，灰度图像是染色体图像，金标准图像是灰度图像中的染色体区域，金标准图像中的每个像素代表一个对象的类别；

对每一幅灰度图像和与其对应的金标准图像分别进行填充成目标像素的正方形图像；

将各灰度图像以及其对应金标准图像组成染色体图像数据集，从染色体图像数据集中选取部分图像作为训练集，剩余图像作为测试集。

在一些可选的实施方案中，所述生成器采用NestedUNet，所述判别器采用全卷积网络，全卷积网络最后一层为1×1卷积层。

在本实施方案中，生成器采用NestedUNet，此网络具有密集跳跃连接，可以很好的进行特征表示，融合低级特征与高级特征，在不同网络层可以结合前面网络所产生的多尺度特征进行融合，从而可以很好的挖掘数据潜在特征，进而提高分割精度。判别器输入为生成器的输出和对应的原染色体图像以及金标准图像，其输入结合了原图像信息，目的是提供一种先验信息，从而提高网络的判别能力。

在一些可选的实施方案中，所述判别器采用最小二乘LSGAN作为损失函数，所述生成器损失为Lovász-Softmax损失与LSGAN的加权。

在一些可选的实施方案中，所述染色体分割模型的目标函数为：

其中，λ表示权重系数，L(D)表示判别器损失，L(G)表示生成器损失，L_LSGAN(D)表示判别器的最小二乘LSGAN损失，L_LSGAN(G)表示生成器的最小二乘LSGAN损失，L_{Lova′sz-Softmax}表示Lovász-Softmax损失。

在一些可选的实施方案中，由

确定Lovász-Softmax损失，其中，C表示类别，m(c)为类的像素误差向量，用于构造损失代项

y为金标准图像，f_i(c)为预测得分，i表示第i个像素，ΔJ_c是c类编码子模块Jaccard损失的集合函数，表示一组错误预测，

是一阶连续优化的最小化的自然替代品。

在一些可选的实施方案中，由

确定判别器的最小二乘LSGAN损失，其中，D(i,y)及D(i,G(i))表示判别器的输出，G(i)表示生成器的输出，i表示判别器的输入图像，y表示金标准图像，

及

表示数据期望。

在一些可选的实施方案中，由

确定生成器的最小二乘LSGAN损失，其中，

表示数据期望，D(i,G(i))表示判别器的输出，G(i)表示生成器的输出，i表示判别器的输入图像。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

有别于传统的图像分割方法，需要人工设定特征，深度卷积神经网络具有强大特征自我学习能力，可以很好获取图像的特征信息。因此，本发明利用生成对抗网络的判别能力和利用NestedUNet网络的密集跳跃连接和特征融合特征，构建了深度学习网络模型，采用生成器损失为Lovász-Softmax损失与最小二乘损失LSGAN的加权，有效增加了重叠染色体分割精度。最后对于训练好的网络模型，给定一张重叠染色体，仅通过生成器就可以产生一张高精度的分割图像，实现了一种自动化重叠染色体图像分割方法。

附图说明

图1是本发明实施例提供的一种人类染色体核型分析过程示意图，其中，(a)为中期染色体，(b)为染色体分割图，(c)为原型专家分类的核型，椭圆框表示(a)和(b)的重叠染色体；

图2是本发明实施例提供的一种基于对抗学习多尺度特征的重叠染色体自动分割方法的流程示意图；

图3是本发明实施例提供的一种网络结构图；

图4是本发明实施例提供的一种不同的方法的视觉对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

嵌套U型卷积神经网络由不同深度的UNets组成，具有密集跳跃连接。对于跳跃连接，它从所有以前的层以相同的分辨率融合多尺度特征。换句话说，每个解码器可以提供中间聚合特征图、原始编码器特征图和最终的特征融合图。因此，NestedUNet可以逐步合成多尺度特征图进行分割，从而提高图像分割任务的性能。此外，随着条件生成对抗网络(Conditional Generative Adversarial Nets，cGAN)在计算机领域的应用，基于凸优化的图像分割的子模块的损失Lovasz-Softmax也在图像分割中表现优异，可以得到更好的分割性能。基于上述先进算法的优异性能，并结合深度学习方法在医学图像分析中的表现，同时也考虑到染色体图像具有多种尺度和重叠区域，特征复杂，需要区分染色体类等难点。本发明提出一个重叠染色体分割框架，利用cGAN来进行染色体分割问题建模，学习一种原始图像与分割图像中的映射关系，并采用NestedUNet作为生成器，用于图像分割，进行挖掘染色体图像潜在的特征表示，并学习一种多尺度特征；同时，采用Lovász-Softmax损失来进行问题求解，从而实现重叠染色体分割。本发明的重叠染色体分割方法具体涉及基于深度学习建模思想和利用生成对抗网络和NestedUNet网络，采用最小二乘损失(LSGAN)作为判别损失，生成器损失为Lovász-Softmax损失与LSGAN的加权。并采用8个评价指标来评价本发明的性能，包括像素精度(Acc)、相似系数(Dice)、交集(IoU)、准确率(Precision)和召回率(Recall)、假阴性率(FNR)、假阳性率(FPR)、Hausdorff距离(Hausdorff)作为评价指标。下面结合附图和实施例对本发明作进一步详细的说明。

图2所示是本发明实施例提供的一种基于对抗学习多尺度特征的重叠染色体自动分割方法的流程示意图，具体包含以下步骤：

S1：数据集构建：采用人工合成重叠染色体作为训练集合，采用图像处理技术进行构建处理数据集；

染色体图像的蓝色(DAPI)和橙色(Cy3)成分被合并成人类中期的灰度图像集。在本发明实施例的实验中，使用Pommier的数据集，其共包含13434幅94×93大小的灰度图像。对于每一幅灰度图像，获取其对应的金标准图像ground truth；金标准图像中的每个像素代表一个对象的类别，其中，金标准图像中类标签用0,1,2和3表示，0代表背景(可以显示为黑色)，1代表非重叠区域的第一个染色体(可以显示为红色)，2代表非重叠区域的第二个染色体(可以显示为绿色)，3代表重叠区域的染色体(可以显示为蓝色)。

在本发明实施例的实验中，采用的数据集通过人工合成，那么可以通过数据处理手段，如将两条染色体随机旋转，进行重叠，以获得数据集，进而为数据集中各灰度图像对应的金标准图像分配像素类别，比如背景部分就填充为0，重叠区域就填充为3。

特别地，为了匹配步长为2的池化层，使维数可被2整除，将数据集中的灰度图像及其对应的金标准图像填充成128×128大小的正方形图像，特别的，将输入的染色体图像的填充像素值设为255，金标准图像(ground truth)的填充像素值设为0，以分别模拟原始图像的背景，其中，输入的染色体图像是灰度图像数据集，填充像素值设为255；Ground truth为金标准图像数据集，填充像素值设为0。将金标准图像与对应的染色体图像组成染色体图像数据集分成两个子集进行实验，将染色体图像数据集的前80％作为训练集(共10747幅图像)，染色体图像数据集后20％作为测试集(共2867幅图像)。

具体地，可以通过以下方式获取训练集：

根据灰度图像来制作金标准图像，其中，灰度图像是染色体图像，金标准图像是灰度图像中的染色体区域，即灰度图像对应的染色体分割图像；

对每一幅灰度图像和与其对应的金标准图像分别进行填充成128×128像素的正方形图像，其中，将每一幅灰度图像的背景填充设为255，与其对应的金标准图像背景填充设为0；

经过以上处理得到由各灰度图像对应的金标准图像，将金标准图像和与其对应的灰度图像组成染色体图像数据集，从染色体图像数据集中选取80％作为训练集，剩下的20％作为测试集。

S2：染色体分割模型构建：构建由生成器和判别器组成的生成对抗网络作为染色体分割模型；

如图3所示，本发明实施例的生成对抗网络结构包括两个模块：(a)生成器G；(b)判别器D。

G负责利用多尺度特征进行分割，从而产生假输出来欺骗判别器。然而，判别器有助于对潜在的图像特征进行对抗性学习，从“真实”图像中检测出生成者的“假”。最终的目标是使判别器成功地被生成器所欺骗，从而预测出高精度的染色体分割图像。定义x^i,j作为输出节点，x^i,j定义如下：

其中，

函数表示一个嵌套的卷积模块操作，

分别表示下采样层和上采样层，[]表示连接层，也就是通道维度连接。直观的，可以看到节点j＝0级仅接收一个输入节点的上一层编码器，而在j>1级接收上采样层j+1的输出节点从低跳过连接和所有之前的j的输出节点在同一个跳过连接。因此，它构建了一个密集连接，从而融合了多尺度特征，从而获得了用于染色体分割的优越的特征表示能力。同时，为了更好地描述网络参数，定义滤波器的数量为f＝[64,128,256,512,1024]，将嵌套卷积模块的输入通道、中间通道和输出通道的数量定义为：

其中，I_ij、M_ij、O_ij分别为ij节点的输入通道、中间通道和输出通道，f(i)表示滤波器的数量。需要注意，中间通道是嵌套卷积模块的第一个卷积层输出，第二个卷积层输入。最后，为了更详细地描述网络结构，将卷积层、批处理范数层和激活函数分别表示为Conv、BN和ReLu。其中嵌套的卷积模块为Conv-BN–ReLu，滤波器大小为3×3，边缘零填充为1，步长为1，目的是在每次卷积操作后保持特征图大小不变。然后利用Softmax操作将特征图的最后一个节点映射到一个置信图。

如图3中(a)所示，采用先进的NestedUNet作为生成器G，它由编码器和解码器组成。它以一个原染色体图像作为输入，并输出一个置信图(即预测的分割图)。具体来说，图3中(a)中的每个节点代表一个嵌套的卷积块(即嵌套卷积模块)；向下的箭头、向上的箭头和虚线箭头分别表示2×2的最大池操作、2×2的上采样和跳跃连接。对于跳跃连接，表示一种特征融合，通过张量级联将信道中编码和解码的特征映射合并在一起，使得跳跃连接密集，使得特征密集传播。

如图3中(b)所示，利用一种简化的全卷积神经网络作为判别器D，目的是使输出分布更接近真实值，使生成器产生高置信的分割图。具体来说，它由5个卷积层组成，滤波器大小为4×4，卷积层输出通道分别为[64,128,256,512,1]。除了最后一层之外，每个卷积层后面都有一个参数为0.2的激活函数Leaky-ReLu。类似地，最后一层采用sigmoid来区分“真实或虚假”图像。最后，值得注意的是，D的输入是多通道图像，为生成器的输出和对应的原染色体图像以及金标准图像，通过将原染色体图像和通道维上的分割图像拼接而成，目的是为更好的识别特征，并提供先验信息。通过设定目标函数约束，让由生成器得到的预测图像接近真实的金标准图像，对于生成器G和D，采用交替训练的方法，如下图3所示。图3中生成器接收到一个染色体图像作为输入，输出一个假的分割图，而判别器试图将其与金标准图像Ground Turth区分开来。

进一步地，对于训练好的染色体分割模型，给定一张重叠染色体，仅通过生成器就可以产生一张高精度的分割图像。

S3：染色体分割模型损失函数设计；

在判别器中采用最小二乘LSGAN作为损失函数，用来判别真假分割图，提高分割精度。在生成器中，本发明采用Lovász-Softmax和最小二乘LSGAN的加权和作为损失函数，两类损失权重比例为1：10，其可以有效的改善分割性能。本发明的具体损失函数为：

(1)Lovász-Softmax损失；

它可以对Jaccard索引进行连续优化。具体来说，该方法通过优化训练时的正确损失，可以大幅度提高语义分割的准确率。定义Lovász-Softmax损失为：

其中，C表示类别，m(c)为类的像素误差向量，用于构造损失代项

定义为：

其中，y为ground truth，f_i(c)为模型的预测得分，i表示第i个像素。ΔJ_c是c类编码子模块Jaccard损失的集合函数，表示一组错误预测。特别地，

是一阶连续优化的最小化的自然替代品，Δ计算(排序)所涉及的基本操作是可微的。

(2)生成对抗网络损失函数：

首先，需要选择一个合适的损失函数来训练染色体分割模型。本发明中采用最小二乘生成对抗网络(LSGAN)作为目标函数，为了训练判别器网络，最小化判别器LSGAN的损失，其定义如下：

其中，D(i,y)及D(i,G(i))表示判别器的输出、G(i)表示生成器的输出，i表示判别器的输入图像，y表示金标准图像(ground truth)，

及

表示数据期望。

对抗性学习过程也通过LSGAN进行优化，公式为：

此外，为了使分割图像尽可能接近ground truth，采用Lovász-Softmax损失监督分割。

因此，最终的染色体分割模型的目标函数可以定义为:

其中，λ控制两个目标功能的相对重要性。根据经验，本发明中设置为10。在这种损失下，训练框架通过最小化G损失和最小化D来欺骗判别器，从而获得高质量的分割结果。

S4：检测模型评价指标；

分割平均指标分别为像素精度(Acc)、相似系数(Dice)、交集(IoU)、准确率(Precision)和召回率(Recall)、假阴性率(FNR)、假阳性率(FPR)、Hausdorff距离(Hausdorff)作为评价指标

为了验证本发明所提的重叠染色体方法的性能，本发明给出了最终的实验结果，如图4，图4为不同的方法的视觉对比图，图4为不同的损失函数性能，表1为不同的方法的量化指标。

其中，图4表示不同方法的分割结果和不同方法得到的伪彩色映射图像。(a1)-(o1)为分割结果，(a2)-(o2)为对应的差分图像。通过与ground truth的比较，伪彩色映射中不同的颜色代表了误分像素。

表1：各种方法在八项指标上的平均得分

请注意，除Hausdorff外，所有指标的单位均为百分比。Acc、Dice、IoU、Recall、Precision值越大，表现越好；FNR、FPR、Hausdorff值越小，表现越好。最好的两个结果进行了加粗和斜体突出表示。

需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于对抗学习多尺度特征的重叠染色体自动分割方法，其特征在于，包括：

S1：采用人工合成重叠染色体图像作为数据集，获取数据集中的各染色体图像对应的金标准图像，将金标准图像与对应的染色体图像作为训练集；

S2：构建由生成器和判别器组成的生成对抗网络作为染色体分割模型，所述生成器采用NestedUNet，所述判别器采用全卷积网络，全卷积网络最后一层为1×1卷积层；所述判别器采用最小二乘LSGAN作为损失函数，所述生成器损失为Lovász-Softmax损失与LSGAN的加权；

S3：将染色体图像作为生成器的输入得到初始分割图像，将染色体图像、该染色体图像对应的初始分割图像及该染色体图像对应的金标准图像作为判别器的输入，通过设定目标函数约束，让由生成器得到的预测图像接近真实的金标准图像，对生成器和判别器进行交替训练，得到训练好的染色体分割模型，进而通过训练好的染色体分割模型对待分割染色体图像进行分割。

2.根据权利要求1所述的方法，其特征在于，步骤S1包括：

采用人工合成重叠染色体图像作为数据集，根据数据集中的灰度图像来制作金标准图像，其中，灰度图像是染色体图像，金标准图像是灰度图像中的染色体区域，金标准图像中的每个像素代表一个对象的类别；

对每一幅灰度图像和与其对应的金标准图像分别进行填充成目标像素的正方形图像；

将各灰度图像以及其对应金标准图像组成染色体图像数据集，从染色体图像数据集中选取部分图像作为训练集，剩余图像作为测试集。

3.根据权利要求2所述的方法，其特征在于，所述染色体分割模型的目标函数为：

其中，λ表示权重系数，L(D)表示判别器损失，L(G)表示生成器损失，L_LSGAN(D)表示判别器的最小二乘LSGAN损失，L_LSGAN(G)表示生成器的最小二乘LSGAN损失，L_{Lova′sz-Softmax}表示Lovász-Softmax损失。

4.根据权利要求3所述的方法，其特征在于，

由

确定Lovász-Softmax损失，其中，C表示类别，m(c)为类的像素误差向量，用于构造损失代项

y为金标准图像，f_i(c)为预测得分，i表示第i个像素，ΔJ_c是c类编码子模块Jaccard损失的集合函数，表示一组错误预测，

是一阶连续优化的最小化的自然替代品。

5.根据权利要求3所述的方法，其特征在于，由

确定判别器的最小二乘LSGAN损失，其中，D(i,y)及D(i,G(i))表示判别器的输出，G(i)表示生成器的输出，i表示判别器的输入图像，y表示金标准图像，

及

表示数据期望。

6.根据权利要求3所述的方法，其特征在于，由

确定生成器的最小二乘LSGAN损失，其中，

表示数据期望，D(i,G(i))表示判别器的输出，G(i)表示生成器的输出，i表示判别器的输入图像。

Images