CN112070772A - 基于UNet++和ResNet的血液白细胞图像分割方法 - Google Patents

Abstract

本发明涉及一种基于UNet++和ResNet的血液白细胞图像分割方法。该方法首先利用带卷积块和残差块的编码器提取多尺度图像浅层特征；然后利用带卷积和反卷积的解码器来提取图像的深层特征，使用混合的跳跃连接来融合浅层特征和深层特征，以减少它们之间的语义鸿沟；最后，设计了基于交叉熵和Tversky指数的损失函数，通过计算每层的损失函数值，指导模型学习有效的图像特征，并解决传统分割损失函数因样本类别不平衡而带来的训练低效的问题。

Description

基于UNet++和ResNet的血液白细胞图像分割方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于UNet++和ResNet的血液白细胞图像分割方法。

背景技术

血液中白细胞WBC(White Blood Cell，旧称白血球Leukocyte)的总数、各类型白细胞的比例、形态等信息是诊断白血病等人体血液疾病的重要指标。医院血常规检查中一项重要的内容便是对白细胞进行分类计数与异常形态分析。目前，国内医院通常先用基于电阻抗法(物理方法)加流式分析法(物理-化学方法)的血细胞分析仪进行血细胞分类计数。当血细胞计数结果异常或者主诊医生怀疑患者有血液疾病时，再由检验科医生对血液进行推片、染色、镜检，对白细胞进行分类计数的确认与异常形态分析。人工镜检的准确率依赖于医生的专业技能，存在检测主观性强、个体差异性大、耗时费力的问题，还容易因为医生的视力疲劳影响检测精度。因此，有必要用摄像头代替人眼，用计算机代替人脑，实现白细胞分割与分类，辅助医生进行镜检。近年来，深度学习、图像处理、模式识别等技术的飞速发展为此提供了可能。

白细胞图像可以通过数字成像设备对血涂片进行拍摄而获得。未染色的白细胞与背景之间颜色相近，对比度低，辨识起来困难。为此，制备血涂片时通常要用染色剂进行染色，以增强白细胞与背景之间的对比度，提高辨识度。标准的血涂片制备方式常用瑞氏染色法、姬姆萨染色法对细胞进行着色，着色效果好而稳定；但着色通常需要十分钟以上，着色速度慢，不能满足大范围临床应用的需要。华中科技大学刘建国和汪国有教授的研究团队提出一种血涂片快速制备方法，将细胞着色时间缩短为十秒左右，着色速度快；但着色效果不够稳定，容易产生深色杂质和被污染背景，会溶解掉对部分血液疾病有诊断作用的红细胞。白细胞分割的挑战在于：(1)染色制备过程、个体差异、疾病差异、类别差异可能使得白细胞颜色、形态存在较大差异；(2)细胞质与背景之间对比度低、细胞粘连与染色杂质干扰；(3)白细胞图像质量欠佳。

白细胞分割旨在从染色后的人体外周血细胞图像中提取出单个白细胞所在区域，并进而分割出细胞核与细胞质。近年来，国内外学者对白细胞分割问题进行了一系列研究。根据现有白细胞分割方法采用的技术，我们将其归类为有监督的白细胞分割和无监督的白细胞分割。无监督的白细胞分割方法直接根据白细胞的颜色、亮度等特征实现分割。最常用的白细胞分割技术是阈值分割，其它依次为形态学变换、模糊理论、聚类、形变模型、分水岭分割、区域合并、视觉注意模型、边缘检测。有监督的白细胞分割把图像分割问题看待成图像分类问题，先提取训练样本的颜色、纹理等特征，然后利用训练样本特征对分类器进行训练，最后利用训练好的分类器对测试样本图像中的像素点进行分类，识别出白细胞所在区域。最常用的有监督白细胞分割技术是支持向量机，其它依次为神经网络、最近邻分类器、极限学习机、随机森林。

近年来，随着深度学习技术在计算机视觉和医学图像分析领域的成功应用，其受到的关注越来越多。比如，MaskR-CNN在FasterR-CNN基础上把用于预测的分支并行地添加到用于识别边界框的原始分支，以同时实现目标检测和图像分割，但其在小规模图像数据集上难以获得令人满意的结果。全卷积网络(FCN)在图像分割方面获得了良好的性能，其删除了传统卷积神经网络的全连接层，并使用上采样操作来实现端到端(即像素到像素)的分割。但是，FCN的分割性能受到其结构简单的限制。U-Net是对FCN进行改进的具有编码-解码结构的深度神经网络，其中，编码器可实现特征提取，解码器可以恢复具有原始图像分辨率大小的特征图。U-Net适用于小规模图像数据集，其使用跳跃连接将编码器的浅层特征与解码器的深层特征结合起来，以恢复图像的细节。但是这些跳跃连接会融合语义不相似的特征，容易产生语义鸿沟。

发明内容

本发明的目的在于改善血液白细胞图像分割中白细胞分割精度问题，提供一种基于UNet++和ResNet的血液白细胞图像分割方法，不仅能够显著提高分割精度，而且针对不同采集环境和制备技术下的白细胞图像拥有良好的鲁棒性。

为实现上述目的，本发明的技术方案是：一种基于UNet++和ResNet的血液白细胞图像分割方法，包括：

特征编码阶段：采用带有卷积块和残差块的上下文感知特征编码器来提取多尺度特征图，即图像浅层特征；

特征解码阶段：采用带卷积和反卷积的特征解码器来调整多尺度特征图的大小，即图像深层特征，以实现端到端的白细胞分割。

在本发明一实施例中，所述特征解码阶段还通过采用经过稠密卷积块的混合跳跃连接的特征融合结构，来融合图像浅层特征和图像深层特征，减少图像浅层特征和图像深层特征之间的语义鸿沟。

在本发明一实施例中，所述特征编码阶段通过将ResNet34嵌入到特征编码器的多个子网络中，使得卷积块与残差块组合在一起，其中，每个残差块包含两个3×3卷积块。

在本发明一实施例中，所述特征解码阶段采用带卷积和反卷积组成的特征解码器来重构白细胞的分割掩码，通过像素级的分类实现白细胞的分割。

在本发明一实施例中，该方法采用基于交叉熵和Tversky指数的混合损失函数来指导网络训练；所述混合损失函数由度量像素类别预测准确性的损失函数L_BCE、解决样本不均衡的损失函数L_Tversky之和组成，具体定义为：

L＝L_BCE+L_Tversky

L_BCE采用两类交叉熵损失函数，其定义为：

其中，N代表一幅图像的像素点总数，c代表目标类别即白细胞区域类别，p_ic表示像素i被预测为目标类别c的概率值；g_ic表示手动理想分割结果中像素i属于目标类别c的标签值，即g_ic＝1和g_ic＝0分别表示像素点i属于目标和背景；L_Tversky的定义为：

L_Tversky＝∑_c(1-T_c)

其中，p_ic和g_ic分别表示像素点i属于目标类别c的预测值和真实标签值，

和

分别表示像素点i属于背景类别

的预测值和真实标签值；α和β是两个参数，用于平衡假阳性率和假阴性率；∈是为提供数值稳定性而设置的一个极小常数，以防止被零除；

在计算混合损失函数的时候，将所有子网络输出的混合损失函数值平均后作为整个网络的最终输出。

相较于现有技术，本发明具有以下有益效果：本发明采用带有残差块的上下文感知编码器来提取图像多尺度特征，并在稠密卷积块上执行跳跃连接来获得和融合多尺度图像特征。此外，其定义了基于交叉熵和Tversky指数的损失函数以指导网络训练。实验结果表明，本发明方法不仅能够显著提高分割精度，而且针对不同采集环境和制备技术下的白细胞图像拥有良好的鲁棒性。

附图说明

图1为本发明方法流程图。

图2为本发明网络模型架构。

图3为混合跳跃连接。

图4为深度监督结构。

图5为四种算法在四个数据集上最佳和最差的两个分割结果，其中，5(a)-5(d)分别是数据集Dataset1-4的结果，1-4行分别对应算法FCN、U-Net、U-ResNet34以及本发明算法(WBC-Net)的分割结果；1-2列为两个最佳分割结果，3-4列为两个最差分割结果；实线和虚线轮廓线分别代表算法分割结果和手动理想分割结果。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供了一种基于UNet++和ResNet的血液白细胞图像分割方法，包括：

特征编码阶段：采用带有卷积块和残差块的上下文感知特征编码器来提取多尺度特征图，即图像浅层特征；

特征解码阶段：采用带卷积和反卷积的特征解码器来调整多尺度特征图的大小，即图像深层特征，以实现端到端的白细胞分割。特征解码阶段采用带卷积和反卷积组成的特征解码器来重构白细胞的分割掩码，通过像素级的分类实现白细胞的分割。

特征解码阶段还通过采用经过稠密卷积块的混合跳跃连接的特征融合结构，来融合图像浅层特征和图像深层特征，减少图像浅层特征和图像深层特征之间的语义鸿沟。

特征编码阶段通过将ResNet34嵌入到特征编码器的多个子网络中，使得卷积块与残差块组合在一起，其中，每个残差块包含两个3×3卷积块。

本发明方法采用基于交叉熵和Tversky指数的混合损失函数来指导网络训练；所述混合损失函数由度量像素类别预测准确性的损失函数L_BCE、解决样本不均衡的损失函数L_Tversky之和组成，具体定义为：

L＝L_BCE+L_Tversky

L_BCE采用两类交叉熵损失函数，其定义为：

其中，N代表一幅图像的像素点总数，c代表目标类别(即白细胞区域类别)，p_ic表示像素i被预测为目标类别c的概率值；g_ic表示手动理想分割结果中像素i属于目标类别c的标签值，即g_ic＝1和g_ic＝0分别表示像素点i属于目标(白细胞区域)和背景(非白细胞区域)；L_Tversky的定义为：

L_Tversky＝∑_c(1-T_c)

其中，p_ic和g_ic分别表示像素点i属于目标类别c的预测值和真实标签值，

和

分别表示像素点i属于背景类别

的预测值和真实标签值；α和β是两个参数，用于平衡假阳性率和假阴性率；∈是为提供数值稳定性而设置的一个极小常数，以防止被零除；

在计算混合损失函数的时候，将所有子网络输出的混合损失函数值平均后作为整个网络的最终输出。

以下为本发明的具体实现过程。

如图1所示为本发明方法执行流程，本发明基于UNet++和ResNet，提出一种新的白细胞分割深度神经网络模型(WBC-Net)，其网络架构如图2所示。WBC-Net包括两个主要阶段，即特征编码阶段、特征解码阶段。特征编码阶段使用带有卷积块和残差块的上下文感知特征编码器来提取多尺度特征图。特征解码阶段使用带卷积和反卷积的解码器来调整特征图的大小，以实现端到端的白细胞分割。此外，在特征解码阶段，模型通过使用混合跳跃连接的特征融合结构，减少编码器和解码器特征图之间的语义鸿沟。最后，我们计算出每层的损失函数值，以对整个网络进行全面训练。

1、特征编码

WBC-Net使用带有卷积块和残差块的特征编码器提取多尺度特征。一般来说，深度学习中的网络深度越深，性能越好。然而，太深的网络容易出现梯度消失等问题，使得网络性能下降。在著名的残差网络(ResNet)的启发下，WBC-Net在输入特征和输出特征之间设计了直连通道，用对残差的学习替代对原始特征的学习。鉴于ResNet在防止网络深度增加而导致网络性能下降方面的优越性，我们将ResNet34嵌入到WBC-Net编码器的多个子网络中。如图2所示，WBC-Net的编码器将卷积块与残差块组合在一起，其中，每个残差块包含两个3×3卷积块。

2、特征解码

在特征编码阶段，卷积运算会减小特征图的大小。因此，在特征解码阶段，为了实现端到端的白细胞精确分割，WBC-Net采用由卷积和反卷积组成的解码器来重构白细胞的分割掩码。WBC-Net网络的输入是图像，输出也是图像，把分割问题转为分类问题，通过像素级的分类实现白细胞的分割。WBC-Net使用编码器模块提取图像多尺度特征，使用解码器模块来重构多尺度特征图。

此外，在解码器和编码器之间，本发明使用混合的跳跃连接来融合编码器提取的浅层特征和解码器提取的深层特征。受UNet++启发，WBC-Net用经过稠密卷积块的混合跳跃连接来减少浅层特征图和深层特征图之间的语义鸿沟。图3直观地展示了WBC-Net设计的跳跃连接，其中，矩形表示卷积块，实线表示U-Net中原始的跳跃连接，虚线表示新添加的跳跃连接。如图所示，U-Net将x^0,0与x^1,2上采样后的结果连接起来以获得x^0,3，而x^0,0与x^1,2之间是存在语义鸿沟的。为了减少这种语义鸿沟，WBC-Net在x^0,0和x^0,2，x^0,1和x^0,3之间添加了跳跃连接。

3、损失函数

在网络的训练中，WBC-Net采用了一种混合损失函数来指导网络的学习。该混合损失函数由度量像素类别预测准确性的损失函数L_BCE、解决样本不均衡的损失函数L_Tversky之和组成，具体定义为：

L＝L_BCE+L_Tversky

L_BCE采用两类交叉熵损失函数，其定义为：

其中，N代表一幅图像的像素点总数，c代表目标类别(即白细胞区域类别)，p_ic表示像素i被预测为目标类别c的概率值；g_ic表示手动理想分割结果中像素i属于目标类别c的标签值，即g_ic＝1和g_ic＝0分别表示像素点i属于目标(白细胞区域)和背景(非白细胞区域)；L_Tversky的定义为：

L_Tversky＝∑_c(1-T_c)

其中，p_ic和g_ic分别表示像素点i属于目标类别c的预测值和真实标签值，

和

分别表示像素点i属于背景类别

的预测值和真实标签值；α和β是两个参数，用于平衡假阳性率和假阴性率；∈是为提供数值稳定性而设置的一个极小常数，以防止被零除。

在计算混合损失函数的时候，受深度监督学习的启发，计算每一层的损失，以确保对浅层进行全面训练。如图4所示，本发明将不同层的输出作为子网络，并用五个层的输出(即x^0,0，x^0,1，x^0,2，x^0,3，x^0,4)来计算损失函数值，最后平均五个层的输出作为最终结果。

4、实验数据及评价

为了评价白细胞分割算法的性能，在Dataset1(300张快速染色图像)、Dataset2(100张标准染色图像)、Dataset3(LISC、242张标准染色图像)、Dataset4(231张标准染色图像)四个数据集上进行了验证实验。六个常见的测度被用于分割性能的定量评价，即精度(Precision)、Dice系数(Dice coefficient)、mIoU(mean Intersection over Union)、错分类误差(Misclassification Error,ME)、假正率(False Positive Rate,FPR)、假负率(False Negative Rate,FNR)。这些测度的定义为：

其中，P_f和P_b分别表示预测分割结果中的目标和背景。G_f和G_b分别表示手动理想分割结果中的目标和背景。测度的取值范围为0～1，ME、FPR和FNR的值越小，表示分割精度越高；相反地，Precision、Dice和mIoU的值越高，表示分割精度越高。

表1四个数据集上不同方法分割结果的平均测度值

为了定量比较分割精度，表1列出了四种方法作用于四个白细胞图像数据集上所得分割结果对应的六种测度的平均值，其中，加粗的数据代表最佳分割性能。从表1可见，本发明算法(WBC-Net)在Dataset1、Dataset2和Dataset4上获得了最佳分割精度。对于数据集Dataset3，WBC-Net在前5个测度中具有最优值。总体而言，本发明算法在四个图像数据集上均具有最佳的分割性能。对于算法FCN，其基本上在Dataset1和Dataset4上产生了第二好的分割结果。算法U-Net基本上在Dataset3上产生了第二好的分割结果。算法U-ResNet34基本上在Dataset2上产生第二好的分割结果，而在Dataset3和Dataset4上产生了最差的分割结果。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (5)

1.一种基于UNet++和ResNet的血液白细胞图像分割方法，其特征在于，包括：

特征编码阶段：采用带有卷积块和残差块的上下文感知特征编码器来提取多尺度特征图，即图像浅层特征；

特征解码阶段：采用带卷积和反卷积的特征解码器来调整多尺度特征图的大小，即图像深层特征，以实现端到端的白细胞分割。

2.根据权利要求1所述的一种基于UNet++和ResNet的血液白细胞图像分割方法，其特征在于，所述特征解码阶段还通过采用经过稠密卷积块的混合跳跃连接的特征融合结构，来融合图像浅层特征和图像深层特征，减少图像浅层特征和图像深层特征之间的语义鸿沟。

3.根据权利要求1所述的一种基于UNet++和ResNet的血液白细胞图像分割方法，其特征在于，所述特征编码阶段通过将ResNet34嵌入到特征编码器的多个子网络中，使得卷积块与残差块组合在一起，其中，每个残差块包含两个3×3卷积块。

4.根据权利要求1所述的一种基于UNet++和ResNet的血液白细胞图像分割方法，其特征在于，所述特征解码阶段采用带卷积和反卷积组成的特征解码器来重构白细胞的分割掩码，通过像素级的分类实现白细胞的分割。

5.根据权利要求2所述的一种基于UNet++和ResNet的血液白细胞图像分割方法，其特征在于，该方法采用基于交叉熵和Tversky指数的混合损失函数来指导网络训练；所述混合损失函数由度量像素类别预测准确性的损失函数L_BCE、解决样本不均衡的损失函数L_Tversky之和组成，具体定义为：

L＝L_BCE+L_Tversky

L_BCE采用两类交叉熵损失函数，其定义为：

其中，N代表一幅图像的像素点总数，c代表目标类别即白细胞区域类别，p_ic表示像素i被预测为目标类别c的概率值；g_ic表示手动理想分割结果中像素i属于目标类别c的标签值，即g_ic＝1和g_ic＝0分别表示像素点i属于目标和背景；L_Tversky的定义为：

L_Tversky＝∑_c(1-T_c)

其中，p_ic和g_ic分别表示像素点i属于目标类别c的预测值和真实标签值，p_ic和g_ic分别表示像素点i属于背景类别

的预测值和真实标签值；α和β是两个参数，用于平衡假阳性率和假阴性率；∈是为提供数值稳定性而设置的一个极小常数，以防止被零除；

在计算混合损失函数的时候，将所有子网络输出的混合损失函数值平均后作为整个网络的最终输出。

Images