CN110136149A - 基于深度神经网络的白细胞定位与分割方法 - Google Patents

Abstract

本发明涉及一种基于深度神经网络的白细胞定位与分割方法。包括步骤S1、特征提取阶段：设计改进的FPN，用以提取多尺度的白细胞特征，构成多尺度特征图；步骤S2、候选区域定位阶段：利用RPN对多尺度特征图中可能存在白细胞的区域进行定位，得到候选区域；步骤S3、预测阶段：首先利用RoIAlign层进行双线性插值来对候选区域定位阶段的定位结果进行对齐，并将每一个候选区域映射为一个固定大小的特征图，然后分别作为定位分支和分割分支的输入，用来做最后的定位和分割，进而实现白细胞分割。本发明方法不仅能够显著提高分割精度，而且针对不同采集环境和制备技术下的血细胞图像拥有良好的鲁棒性。

Description

基于深度神经网络的白细胞定位与分割方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于深度神经网络的白细胞定位与分割方法。

背景技术

血液中白细胞WBC(White Blood Cell，旧称白血球Leukocyte)的总数、各类型白细胞的比例、形态等信息是诊断白血病等人体血液疾病的重要指标。医院血常规检查中一项重要的内容便是对白细胞进行分类计数与异常形态分析。目前，国内医院通常先用基于电阻抗法(物理方法)加流式分析法(物理-化学方法)的血细胞分析仪进行血细胞分类计数。当血细胞计数结果异常或者主诊医生怀疑患者有血液疾病时，再由检验科医生对血液进行推片、染色、镜检，对白细胞进行分类计数的确认与异常形态分析。人工镜检的准确率依赖于医生的专业技能，存在检测主观性强、个体差异性大、耗时费力的问题，还容易因为医生的视力疲劳影响检测精度。因此，有必要用摄像头代替人眼，用计算机代替人脑，实现白细胞分割与分类，辅助医生进行镜检。近年来，深度学习、图像处理、模式识别等技术的飞速发展为此提供了可能。

白细胞图像可以通过数字成像设备对血涂片进行拍摄而获得。未染色的白细胞与背景之间颜色相近，对比度低，辨识起来困难。为此，制备血涂片时通常要用染色剂进行染色，以增强白细胞与背景之间的对比度，提高辨识度。标准的血涂片制备方式常用瑞氏染色法、姬姆萨染色法对细胞进行着色，着色效果好而稳定；但着色通常需要十分钟以上，着色速度慢，不能满足大范围临床应用的需要。华中科技大学刘建国和汪国有教授的研究团队提出一种血涂片快速制备方法，将细胞着色时间缩短为十秒左右，着色速度快；但着色效果不够稳定，容易产生深色杂质和被污染背景，会溶解掉对部分血液疾病有诊断作用的红细胞。白细胞分割的挑战在于：(1)染色制备过程、个体差异、疾病差异、类别差异可能使得白细胞颜色、形态存在较大差异；(2)细胞质与背景之间对比度低、细胞粘连与染色杂质干扰；(3)白细胞图像质量欠佳。

白细胞分割旨在从染色后的人体外周血细胞图像中提取出单个白细胞所在区域，并进而分割出细胞核与细胞质。近年来，国内外学者对白细胞分割问题进行了一系列研究。根据现有白细胞分割方法采用的技术，我们将其归类为有监督的白细胞分割和无监督的白细胞分割。无监督的白细胞分割方法直接根据白细胞的颜色、亮度等特征实现分割。最常用的白细胞分割技术是阈值分割，其它依次为形态学变换、模糊理论、聚类、形变模型、分水岭分割、区域合并、视觉注意模型、边缘检测。有监督的白细胞分割把图像分割问题看待成图像分类问题，先提取训练样本的颜色、纹理等特征，然后利用训练样本特征对分类器进行训练，最后利用训练好的分类器对测试样本图像中的像素点进行分类，识别出白细胞所在区域。最常用的有监督白细胞分割技术是支持向量机，其它依次为神经网络、最近邻分类器、极限学习机、随机森林。

最近，基于深度卷积神经网络(Convolutional neural network,CNN)的方法在计算机视觉和图像处理领域取得了显著的成功。在医学图像分割中，由于其强大的特征学习和表示能力，基于CNN的方法也得到了广泛的应用。在这些方法中，全卷积网络(Fullyconvolutional network,FCN)展示了在生物细胞和器官分割上的良好表现。U型网络(U-Net)从FCN发展而来，并考虑了编码器和解码器之间的跳转连接，通过扩展对称自编码器设计，将编码路径中的高分辨率特征与上采样输出相结合，更好地定位图像中的目标。U-Net网络首先训练FCN，学习用于实现细胞核分割像素级预测的粗糙模型，然后从粗略预测和原始图像中裁剪出细胞核所在图像子区域，进而利用基于图的方法获得精细化后的分割。U-Net网络被用于识别和分割不同发育阶段的果蝇心脏区域。此外，卷积神经网络还被用来构建基于焦点堆叠的方法，用于从血涂片中自动检测恶性疟原虫疟疾。然而，上述基于CNN的方法都直接在整幅图像上分割细胞或器官，容易受到复杂背景的影响。

发明内容

本发明的目的在于改善图像中血液白细胞分割精度，提供一种基于深度神经网络的白细胞定位与分割方法，该方法不仅能够显著提高分割精度，而且针对不同采集环境和制备技术下的血细胞图像拥有良好的鲁棒性。

为实现上述目的，本发明的技术方案是：一种基于深度神经网络的白细胞定位与分割方法，包括如下步骤：

步骤S1、特征提取阶段：设计改进的特征金字塔网络(Feature pyramid network,FPN)，用以提取多尺度的白细胞特征，构成多尺度特征图；

步骤S2、候选区域定位阶段：利用区域候选网络(Region Proposal Network,RPN)对多尺度特征图中可能存在白细胞的区域进行定位，得到候选区域；

步骤S3、预测阶段：首先利用感兴趣区域对齐(RoIAlign)层进行双线性插值来对候选区域定位阶段的定位结果进行对齐，并将每一个候选区域映射为一个固定大小的特征图，然后分别作为定位分支和分割分支的输入，用来做最后的定位和分割，进而实现白细胞分割。

在本发明一实施例中，所述步骤S1中，改进的FPN由自底向上路径模块(Bottom-upPathway)、自顶向下路径模块(Top-down Pathway)以及横向连接模块(LateralConnection)三个部分组成。

在本发明一实施例中，所述自底向上路径模块(Bottom-up Pathway)是由改进后的ResNet50组成，含5个构建块(building blocks)，即将原始的用来提取自然场景图像特征的网络ResNet50作面向血细胞图像的网络结构优化，具体即：1)改进后的conv_1模块采用的是卷积核大小为3×3的双层卷积层；2)分别减少原始的conv3_x、conv4_x模块中的构建块(building blocks)数目至2和3；3)各构建块(building blocks)的最后一层网络输出组成了多尺度特征图的中间结果；在自顶向下路径模块(Top-down Pathway)，先利用最近邻上采样方法，对自底向上路模块(Bottom-up Pathway)提取到的中间特征进行横向连接(Lateral Connection)操作，即进行一个尺度为2的特征图放大，并将放大后的结果同原来相对应的中间特征图进行连接和合并；然后，构成多尺度特征图，进一步扩大目标区域特征分辨率。

在本发明一实施例中，所述步骤S2的具体实现方式为：首先，将由滑动窗口提取到的特征图映射为一个2048维的特征向量，其中，特征映射由一个卷积核大小为3×3的卷积层实现；然后，特征向量分别通过两个卷积核大小为1×1的卷积层，实现最终的定位区域分类和定位区域回归，分别得到一个2k的分数和4k的位置输出，其中，分数Score是用来评估定位区域属于白细胞区域的概率。

在本发明一实施例中，在步骤S3之后，还需对白细胞分割结果进行性能度量，以优化整体网络，具体即：

提出多任务的损失函数来指导网络的学习，其中，多任务损失函数由区域定位(Box Localization)的损失函数L_box、区域分类(Box Classification)的损失函数L_cls以及白细胞分割(Mask Segmentation)的损失函数L_mask三者之和组成，其定义为：

L＝L_cls+L_box+L_mask (1)

其中，L_box和L_cls定义参考文献[3]，L_mask采用二类交叉熵损失函数，其定义为：

其中，y_ij是像素点(i,j)的真实类别标签，表示像素点(i,j)的类别预测值，二值变量k＝0和1分别表示当前像素点属于白细胞类别和非白细胞类别。

相较于现有技术，本发明具有以下有益效果：本发明将深度学习技术引入血液白细胞分割领域，提出一种端到端的白细胞定位与分割深度神经网络方法；本发明方法首先根据白细胞图像的特点，利用改进的ResNet残差块构成的特征金字塔网络提取更具鉴别性的白细胞特征；然后，通过区域分类和回归来实现白细胞候选区域的定位；最后，利用对ROI配准后的候选区域的白细胞进行精确定位与分类，实现白细胞分割；在几个血细胞图像数据集上的实验结果证实了本发明方法对白细胞分割精度的显著提升。

附图说明

图1为本发明方法流程图。

图2为本发明网络模型结构。

图3为本发明改进后的FPN网络结构。

图4为本发明用于白细胞定位的RPN网络结构。

图5为三种深度学习方法在四个图像数据集上六种测度下的性能比较箱线图。

图6为四种算法在数据集Dataset1上的最优和最差的三个分割结果。

图7为四种算法在数据集Dataset2上的最优和最差的三个分割结果。

图8为四种算法在数据集BCISC上的最优和最差的三个分割结果。

图9为四种算法在数据集LISC上的最优和最差的三个分割结果。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供了一种基于深度神经网络的白细胞定位与分割方法，包括如下步骤：

步骤S1、特征提取阶段：设计改进的特征金字塔网络(Feature Pyramid Network,FPN)，用以提取多尺度的白细胞特征，构成多尺度特征图；

步骤S2、候选区域定位阶段：利用区域候选网络(Region Proposal Network,RPN)对多尺度特征图中可能存在白细胞的区域进行定位，得到候选区域；

步骤S3、预测阶段：首先利用感兴趣区域对齐(RoIAlign)层进行双线性插值来对候选区域定位阶段的定位结果进行对齐，并将每一个候选区域映射为一个固定大小的特征图，然后分别作为定位分支和分割分支的输入，用来做最后的定位和分割，进而实现白细胞分割。

以下为本发明的具体实现过程。

图1所示为本发明一种基于深度神经网络的白细胞定位与分割方法流程图。

本发明方法(LeukocyteMask)为了实现血液白细胞的分割，将白细胞分割问题视为一个像素级的二分类问题，即将像素点分成目标(白细胞)像素点和背景(非白细胞)像素点两类。为了充分利用白细胞形状、颜色、纹理等特征及其在图像中的空间位置信息，本发明算法提出一种改进的Mask-RCNN[1]深度神经网络模型，用于实现白细胞定位与分割。在此网络模型中，设计了一种面向白细胞的网络结构(Feature pyramid network,FPN)，用于提取多尺度的白细胞特征，为后续白细胞的定位与分割进行铺垫。本发明提出的网络模型结构如图2所示，其由三个阶段组成：特征提取阶段(Feature Extraction)、候选区域定位阶段(Region Proposal)以及预测阶段(Prediction)。

1、特征提取

在特征提取阶段(Feature Extraction)，设计了一种改进的特征金字塔网络(Feature pyramid network,FPN)[2]，用于提取既具有鉴别性又比较稳定的白细胞特征，为下一阶段的白细胞定位提供基础。改进的FPN结构如图3所示，其由三个部分组成：自底向上路径模块(Bottom-up Pathway)、自顶向下路径模块(Top-down Pathway)以及横向连接模块(Lateral Connection)。其中，自底向上路径模块是由改进后的ResNet50[24]组成，含5个构建块(building blocks)，各构建块详细参数配置见图3左侧。将原始的用来提取自然场景图像特征的网络ResNet50做了面向血细胞图像的网络结构优化。首先，原始conv_1模块采用的是卷积核大小为7×7的单层卷积层，改进后的conv_1模块采用的是卷积核大小为3×3的双层卷积层，用来提取细粒度的白细胞特征；其次，针对不同拍摄环境和血涂片制备技术可能造成不同的细胞颜色，分别减少原始的conv3_x、conv4_x模块中的buildingblocks数目至2和3，以避免网络训练中可能会存在的过拟合问题；最后，由各模块的最后一层网络输出组成了多尺度的特征图(Feature Map)的中间结果。在自顶向下路径模块，先利用最近邻上采样方法[3]，对自底向上路径模块提取到的中间特征进行横向连接操作，即进行一个尺度为2的特征图放大，并将放大后的结果同原来相对应的中间特征图进行连接和合并，如图3右侧内容所示。然后，构成多尺度特征图，分别记为P2、P3、P4、P5和P6，其中，P6仅是P5的一个尺度为2上采样结果，用来进一步扩大目标区域特征分辨率，提高最终的分割精度。最后，多尺度的特征图将会在候选区定位阶段(Region Proposal)用来实现白细胞的定位。

2、候选区域定位

在候选区域定位阶段(Region Proposal)，图像中所有可能存在白细胞的区域都将被定位，利用RPN(Region Proposal Network)[1]对多尺度特征图中可能存在白细胞的区域进行定位，RPN结构如图4所示。首先，将由滑动窗口提取到的特征图映射为一个2048维的特征向量，其中，特征映射由一个卷积核大小为3×3的卷积层实现；然后，特征向量分别通过两个卷积核大小为1×1的卷积层，如图4所示，实现最终的定位区域分类(BoxClassification)和定位区域回归(Box Regression)，分别得到一个2k的分数(Score)和4k的位置输出(x坐标、y坐标、box宽、box高)，其中，分数Score是用来评估定位区域属于白细胞区域的概率。

3、预测阶段

在预测阶段(Prediction)，如图2所示，首先利用RoIAlign层[1]进行双线性插值来对候选区域定位阶段的定位结果进行对齐，并将每一个候选区域映射为一个固定大小的特征图，然后分别作为定位分支(Localization Branch)和分割分支(Mask Branch)的输入，用来做最后的定位和分割(像素级分类)。

基于深度神经网络的模型是一种有监督的方法，需要进行模型的训练。本发明提出的网络模型在整个网络的训练中，采用了一种多任务(Multi-Task)的损失函数来指导网络的学习，其中，多任务损失函数由区域定位(Box Localization)的损失函数L_box、区域分类(Box Classification)的损失函数L_cls以及白细胞分割(Mask Segmentation)的损失函数L_mask三者之和组成，其定义为：

L＝L_cls+L_box+L_mask (1)

其中，L_box和L_cls定义参考文献[3]，L_mask采用二类交叉熵损失函数，其定义为：

其中，y_ij是像素点(i,j)的真实类别标签，表示像素点(i,j)的类别预测值，二值变量k＝0和1分别表示当前像素点属于白细胞类别和非白细胞类别。

实验结果

为了评价白细胞分割算法的性能，在Dataset1(300张快速染色图像)、Dataset2(100张标准染色图像)、BCISC(268张标准染色图像)、LISC(257张标准染色图像)四个数据集上进行了5折交叉验证实验，算法在四个数据集上的分割性能通过6个常见的分割测度进行度量。其中，前3个测度即精度(Precision)、Dice系数(Dice coefficient)以及mIoU(mean Intersection over Union)常用在基于深度学习的分割模型性能度量上，测度值越大表示分割性能越好；后3个测度即假正率/虚警率(False Positive Rate,FPR)、假负率(False Negative Rate,FNR)以及错分类误差(Misclassification Error,ME)常用于传统的分割模型性能度量上，测度值越小表示分割性能越好。这些测度的定义为：

其中，B_g和F_g表示手动标准分割结果的背景和目标，B_p和F_p代表自动分割算法对应分割结果中的背景和目标，|·|代表集合中元素的个数。6个测度的取值范围均为0～1。越低的ME、FPR和FNR值代表越好的分割效果，相反，越高的Precision、Dice和mIoU值代表越好的分割效果。

图6为四种算法在数据集Dataset1上的最优和最差的三个分割结果，其中，四行分别对应算法Watershed、FCN、U-Net以及本发明方法(LeukocyteMask)的分割结果；1-3列为三个最优分割结果，4-6列为最差的三个分割结果；蓝色虚线为人工分割结果，红色实线为算法分割结果。

图7为四种算法在数据集Dataset2上的最优和最差的三个分割结果，其中，四行分别对应算法Watershed、FCN、U-Net以及本发明方法(LeukocyteMask)的分割结果；1-3列为三个最优分割结果，4-6列为最差的三个分割结果；蓝色虚线为人工分割结果，红色实线为算法分割结果。

图8为四种算法在数据集BCISC上的最优和最差的三个分割结果，其中，四行分别对应算法Watershed、FCN、U-Net以及本发明方法(LeukocyteMask)的分割结果；1-3列为三个最优分割结果，4-6列为最差的三个分割结果；蓝色虚线为人工分割结果，红色实线为算法分割结果。

图9为四种算法在数据集LISC上的最优和最差的三个分割结果，其中，四行分别对应算法Watershed、FCN、U-Net以及本发明方法(LeukocyteMask)的分割结果；1-3列为三个最优分割结果，4-6列为最差的三个分割结果；蓝色虚线为人工分割结果，红色实线为算法分割结果。

为验证本发明算法在血液白细胞分割上的有效性，将其与传统的分水岭分割算法(Watershed)以及两个基于深度学习的分割方法FCN和U-Net进行了比较。如图5和表1所示，本发明方法(LeukocyteMask)在四个数据集上六种测度下的度量结果几乎都是最好的，其对应的Precision、Dice、mIoU测度值明显高于其他三种方法。但也有例外情况，比如，在数据集Dataset1上，Watershed算法和FCN算法在FPR和FNR测度上优于LeukocyteMask，但这是由于这两种方法分割结果存在明显的欠分割和过分割现象而导致的。对于数据集BCISC和LISC，尽管U-Net算法实现了较低的FNR，但如图5～9所示，其分割结果不如本发明算法稳定。

表1三种方法六种测度下分割精度的定量比较

图6～9分别给出了四个数据集上的手动分割结果和不同算法的最优和最差分割结果。从这些图可以看出，分水岭分割算法在大多数情况下仅能分割出细胞核，很难分割出细胞质。FCN算法和U-Net算法对整个图像进行白细胞分割，容易受到红细胞和染色杂质干扰，导致分割精度下降。与FCN和U-Net不同，本发明方法(LeukocyteMask)仅对在预测阶段定位到的ROI区域进行分割，缩小了分割范围，排除了红细胞和染色杂质对白细胞分割的干扰，提高了分割精度。结合表1和图6～9可以发现，本发明方法提出的LeukocyteMask模型不仅显著提高了白细胞分割精度，而且针对不同拍摄环境和制备条件下血涂片图像，方法还具备较好的鲁棒性。

参考文献：

[1]K He,G Gkioxari,P Dollar,R Girshick.Mask R-CNN.IEEE InternationalConference on ComputerVision(ICCV),2017,PP.2961-2969.

[2]T Y Lin,P Dollar,R Girshick,K He,B Hariharan,S Belongie.Featurepyramid networks for object detection.IEEE Conference on Computer Vision andPattern Recognition(CVPR),2017,PP.2117-2125.

[3]R Girshick.Fast R-CNN.IEEE International Conference on ComputerVision(ICCV),2015,pp.1440-1448.。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (5)

1.一种基于深度神经网络的白细胞定位与分割方法，其特征在于，包括如下步骤：

步骤S1、特征提取阶段：设计改进的特征金字塔网络，用以提取多尺度的白细胞特征，构成多尺度特征图；

步骤S2、候选区域定位阶段：利用区域候选网络对多尺度特征图中可能存在白细胞的区域进行定位，得到候选区域；

步骤S3、预测阶段：首先利用感兴趣区域对齐层进行双线性插值来对候选区域定位阶段的定位结果进行对齐，并将每一个候选区域映射为一个固定大小的特征图，然后分别作为定位分支和分割分支的输入，用来做最后的定位和分割，进而实现白细胞分割。

2.根据权利要求1所述的基于深度神经网络的白细胞定位与分割方法，其特征在于，所述步骤S1中，改进的FPN由自底向上路径模块、自顶向下路径模块以及横向连接模块三个部分组成。

3.根据权利要求2所述的基于深度神经网络的白细胞定位与分割方法，其特征在于，所述自底向上路径模块是由改进后的ResNet50组成，含5个构建块，即将原始的用来提取自然场景图像特征的网络ResNet50作面向血细胞图像的网络结构优化，具体即：1)改进后的conv_1模块采用的是卷积核大小为3×3的双层卷积层；2)分别减少原始的conv3_x、conv4_x模块中的构建块数目至2和3；3)各构建块的最后一层网络输出组成了多尺度特征图的中间结果；在自顶向下路径模块，先利用最近邻上采样方法，对自底向上路模块提取到的中间特征进行横向连接操作，即进行一个尺度为2的特征图放大，并将放大后的结果同原来相对应的中间特征图进行连接和合并；然后，构成多尺度特征图，进一步扩大目标区域特征分辨率。

4.根据权利要求1所述的基于深度神经网络的白细胞定位与分割方法，其特征在于，所述步骤S2的具体实现方式为：首先，将由滑动窗口提取到的特征图映射为一个2048维的特征向量，其中，特征映射由一个卷积核大小为3×3的卷积层实现；然后，特征向量分别通过两个卷积核大小为1×1的卷积层，实现最终的定位区域分类和定位区域回归，分别得到一个2k的分数和4k的位置输出，其中，分数是用来评估定位区域属于白细胞区域的概率。

5.根据权利要求1至4任一所述的基于深度神经网络的白细胞定位与分割方法，其特征在于，在步骤S3之后，还需对白细胞分割结果进行性能度量，以优化整体网络，具体即：

提出多任务的损失函数来指导网络的学习，其中，多任务损失函数由区域定位BoxLocalization的损失函数L_box、区域分类Box Classification的损失函数L_cls以及白细胞分割Mask Segmentation的损失函数L_mask三者之和组成，其定义为：

L＝L_cls+L_box+L_mask (1)

其中，L_mask采用二类交叉熵损失函数，其定义为：

其中，y_ij是像素点(i,j)的真实类别标签，表示像素点(i,j)的类别预测值，二值变量k＝0和1分别表示当前像素点属于白细胞类别和非白细胞类别。