CN111079620A - 基于迁移学习的白细胞图像检测识别模型构建方法及应用 - Google Patents

Abstract

本发明涉及基于迁移学习的白细胞图像检测识别模型构建方法及应用，本发明通过构建基于迁移学习的白细胞图像检测识别模型，coco数据集及标注的白细胞图片作为样本对白细胞图像检测识别模型进行训练。白细胞图像检测识别模型提取三级融合的特征金字塔，分别对应不同尺寸特征的白细胞，设置不同的先验轮廓框，加速网络收敛，提高识别的效率和准确性。基于白细胞图像检测识别模型自动、高效的对白细胞图像进行检测识别和统计数目，提高了检测识别精度，排除了人为，主观因素，公正客观。本发明检测识别一张图像推理时间为0.05秒，每秒可完成20张白细胞图像的分析。对正常六类白细胞识别准确率达到了98％。

Description

基于迁移学习的白细胞图像检测识别模型构建方法及应用

技术领域

本发明涉及医学图像技术领域，尤其涉及一种基于迁移学习的白细胞图像检测识别模型构建方法及应用。

背景技术

外周血白细胞分类是临床检验的一项常规工作，对许多疾病尤其是血液病的诊断和鉴别都有重要意义。目前实验室通常采用血液分析仪进行白细胞的分类计数，血液分析仪通常采用物理和细胞化学等技术进行细胞分类计数，自动化程度较高，但是准确度不高。因此，对外周血进行显微镜镜检仍然是诊断很多疾病和进行仪器性能评估的必要操作。

但是，人工显微镜镜检操作不但操作耗时，不适用于大批量标本的筛查；而且由于细胞形态学检验工作者的经验情况以及工作数量等情况的影响，会导致判断结果的客观性不足，由此产生的假阴性结果可能会使患者错过治疗的时机，甚至出现误诊现象。

目前医院血液检验流程是：血液样品——血液分析仪——推染片机——人工镜检，整个流程耗时60分钟。对患者进行人工抽血得到血液样品；通过血液分析仪得到各种血细胞计数、白细胞分类和血红蛋白含量；通过推染片机进行染色标记，得到用于人工镜检的血涂片；最终由专业医生进行人工镜检后得到人工分析的血细胞形态分析结果，包括异常血细胞计数、异常血细胞分类等。现有的血液分析仪(血球仪、血球计数仪等)技术实现主要基于电阻抗、激光测定以及综合方法(流式细胞术、细胞化学染色、特殊细胞质往除法等)等三类。

现有的外周血白细胞分类方法存在两个问题：(1)显微镜下人工对白细胞计数效率低下，且操作繁琐枯燥；(2)人工技术统计结果准确率低，易受主观经验和人为因素干扰。

发明内容

针对目前血液分析仪缺点是准确度低，而人工镜检速度慢且受人为因素干扰较大的问题。本发明提供一种基于迁移学习的白细胞图像检测识别模型构建方法及应用，构建基于迁移学习的白细胞图像检测识别模型，实现白细胞位置和类别的自动识别，提高了检测识别的效率和准确率。

为达到上述目的，本发明提供了一种基于迁移学习的白细胞图像检测识别模型构建方法，包括：

构建基于迁移学习的白细胞检测识别模型识别白细胞的类别和位置坐标；

以coco数据集为第一数据库；获取若干白细胞图片，进行白细胞的轮廓及类别标注后形成第二数据库；

在所述第一数据库选取样本对所述白细胞检测识别模型进行第一阶段训练，满足第一阶段完成条件后，在所述第二数据库选取样本对所述白细胞检测识别模型进行第二阶段训练，直至满足第二阶段完成条件；

对完成训练的模型进行封装打包。

进一步的，第一数据库采用coco数据集作为样本，进行随机排序后，划分为训练集，验证集和测试集，分别进行扩充，用于所述白细胞检测识别模型第一阶段训练、验证和测试；

将第二数据库终得样本进行随机排序后，划分为训练集，验证集和测试集，分别进行扩充，用于所述白细胞检测识别模型第二阶段训练、验证和测试。

进一步的，所述白细胞检测识别模型包括预处理模块、特征金字塔生成模块、定位及分类模块、检测结果后处理模块以及结果融合模块；

所述预处理模块将输入图像处理为设定大小，并进行归一化；

所述特征金字塔生成模块包括四级下采样残差块以及三级上采样残差块；四级下采样残差块依次串联，对归一化后的图像进行下采样提取特征图；第一级上采样残差块对第四级下采样残差块输出的特征图进行上采样后与第三级下采样残差块输出的特征图进行融合；第二级上采样残差块对第一级上采样残差块输出的特征图进行上采样后与第二级下采样残差块输出的特征图进行融合；第三级上采样残差块对第二级上采样残差块输出的特征图进行上采样后与第一级下采样残差块输出的特征图进行融合；三级上采样残差块输出的融合后的特征图构成特征金字塔；

所述定位及分类模块对每级上采样残差块输出的融合后的特征图设置先验轮廓框识别出白细胞轮廓，分别通过对应的卷积层输出所述白细胞轮廓属于每一个类别的概率和细胞的位置坐标；

所述检测结果后处理模块采用非最大值抑制法对所述定位及分类模块输出的每一个类别的概率和细胞的位置坐标进行后处理；

所述结果融合模块将三张特征图的检测和识别结果进行融合，进行非最大值抑制后，通过投票方式输出融合后的白细胞的类别和位置坐标。

进一步的，第一级上采样残差块输出的特征图设置第一、第二先验轮廓框；第二级上采样残差块输出的特征图设置第三、第四先验轮廓框；第三级上采样残差块输出的特征图设置第五、第六先验轮廓框；

第一至第六先验轮廓框的尺寸依次递减。

进一步的，所述第一至第六先验轮廓框的尺寸通过对白细胞轮廓进行聚类分析获得。

进一步的，采用非最大值抑制法进行后处理包括：按照识别的类别概率分布取最大值所对应索引，然后计算具有与最大值所对应的索引相同的白细胞的位置坐标的交并比，将交并比大于设定阈值的检测框去除，得到后处理的检测结果。

进一步的，将三张特征图的检测和识别结果进行融合包括计算三张特征图中所有索引值的检测框的交并比，当交并比大于设定阈值时，通过投票方式得出融合后的白细胞的类别和位置坐标，对融合后的白细胞的类别和位置坐标进行非最大值抑制后输出白细胞的类别和位置坐标。

进一步的，所述第一阶段训练为25轮，初始学习率为0.001；所述第一阶段训练为50轮，初始化学习率为0.001。

本发明另一方面提供一种基于迁移学习的白细胞图像检测识别方法，利用所述的基于迁移学习的白细胞图像检测识别模型构建方法构建白细胞图像检测识别模型；

采用所述白细胞图像检测识别模型对含有白细胞的图像进行检测识别获得的所述含有白细胞的图像中白细胞的类别和位置坐标。

进一步的，在所述图像中依据所述位置坐标进行对识别获得的白细胞的类别进行标注。优选的，还包括对所述图像中各类白细胞数量进行统计。

本发明的上述技术方案能够产生的有益的技术效果包括：

(1)本发明通过构建基于迁移学习的白细胞图像检测识别模型，自动、高效的对白细胞图像进行检测识别和统计数目，相较于手工镜检效率有质的飞跃。

(2)本发明基于迁移学习的白细胞图像检测识别模型以较高精度对白细胞图像进行检测识别和统计数目。公正客观，排除了人为，主观因素，且无疲劳等客观因素干扰。

(3)本发明采用coco数据集先对模型进行训练，再由标注的白细胞数据库对模型进行训练，弥补了医学领域数据的缺乏。利用coco数据集中的图像背景复杂、图像内容多样化、差异化的属性，使得基于小数据集的模型可以提取到更复杂的特征，初始化的参数更容易收敛，降低模型过拟合风险，增强模型的泛化能力。

(4)本发明基于白细胞的尺寸特点构建白细胞图像检测识别模型，提取三级融合的特征金字塔，分别对应不同尺寸特征的白细胞，设置不同的先验轮廓框，加速网络收敛，降低多尺度图像对模型性能的影响，提取到更复杂更具鲁棒性的特征，降低计算资源的消耗，提高检测识别的效率和准确性。

(5)本发明检测识别一张图像推理时间为0.05秒，每秒可完成20张白细胞图像的分析。本方法对正常六类白细胞识别准确率达到了98％，且随着数据质量的提高还有进一步地优化空间。

附图说明

图1是多尺度白细胞图像检测识别的流程示意图；

图2是深度神经网络模型示意图；

图3是本发明识别结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

本发明一方面提供一种基于迁移学习的白细胞图像检测识别模型构建方法，结合图1，包括：

步骤S100：构建基于迁移学习的白细胞检测识别模型用于识别白细胞的类别和位置坐标。

具体的，结合图2，所述白细胞检测识别模型包括预处理模块、特征金字塔生成模块、定位及分类模块、检测结果后处理模块以及结果融合模块。

所述预处理模块将输入图像处理为设定大小，并进行归一化；利用传统图像处理方法对所输入的图像数据进行数据预处理，随后，将图像大小缩放为608*608，并进行归一化。

所述特征金字塔生成模块包括四级下采样残差块以及三级上采样残差块；四级下采样残差块依次串联，对归一化后的图像进行下采样提取特征图；第一级上采样残差块对第四级下采样残差块输出的特征图进行上采样后与第三级下采样残差块输出的特征图进行融合；第二级上采样残差块对第一级上采样残差块输出的特征图进行上采样后与第二级下采样残差块输出的特征图进行融合；第三级上采样残差块对第二级上采样残差块输出的特征图进行上采样后与第一级下采样残差块输出的特征图进行融合；三级上采样残差块输出的融合后的特征图构成特征金字塔；

在一个实施例中，四级下采样残差块均含有三个3*3的卷积层，并且前两层卷积层步长(stride)为1，最后一层卷积层的步长为2。第一级上采样残差块提取特征，得到第一次下采样特征图，大小为303*303。

将上述特征图跨层链接送入第二级残差块做卷积运算提取特征，得到第二次下采样特征图，大小为150*150。将该特征图送入第三级残差块进行运算，得到的第三次下采样，大小为85*85的特征图，并将其送入第四级残差块进行下采样，得到42*42的特征图。

将上述特征图送入第一级上采样模块，进行特征图上采样。上采样模块，即上采样残差块，每个残差块拥有两个卷积层，步长(stride)为1，且第一层卷积层做两倍上采样(UPCONV*2)。第一次上采样，得到82*82大小的特征图，将第三次下采样特征图同第一次上采样得到的特征图进行融合。

将融合后的特征图送入第二级上采样模块进行上采样，得到162*162大小的特征图。同时，将第二次下采样得到的特征图同第二次上采样得到的特征图进行融合，将融合后的特征图送入第三级上采样模块。最终将第一次下采样得到的特征图同第三次上采样得到的特征图进行融合，得到大小为312*312的融合特征图。最后，得到的三级融合特征图即为所需特征金字塔。

所述定位及分类模块对每级上采样残差块输出的融合后的特征图设置先验轮廓框识别出白细胞轮廓，分别通过对应的卷积层输出所述白细胞轮廓属于每一个类别的概率和细胞的位置坐标。位置坐标和所预测的类别概率值由1*1的卷积层得到。

利用k-means算法，将所有的白细胞轮廓进行聚类分析，得到6类具有不同大小和不同宽高比的先验轮廓框，将该类先验轮廓框作为我们网络预测的先验知识，加速网络收敛。

对于第一级特征金字塔的特征图，在特征图每个像素点上设置数量为2的先验轮廓框，每个先验轮廓框具有不同的比率(轮廓框设置在对应特征图的特征点上)。第一级特征图分辨率低，高级语义信息少，适合较大轮廓的细胞检测。同样，在第二级特征图上设置数量为2的先验框，用于检测中等轮廓的细胞，最后，在第三级特征图上设置了数量为2的先验框，其高语义信息及高分辨率特征对小轮廓细胞检测效果显著。

随后，每级特征图后建立卷积层，卷积输出channel数为(类别数+5)*2，大小同特征图大小相同的输出结果。其中，5为细胞的四个位置坐标参数和一个是否存在物体的置信度参数，2位每层特征图的先验框的个数。即得到白细胞属于每一个类别的概率和细胞的坐标位置。上述结果即为在每级特征金字塔上白细胞的识别和检测结果。

所述检测结果后处理模块对采用非最大值抑制法进行后处理。

将每层特征图所得到的检测结果利用非最大值抑制进行后处理。首先，对每层特征图得到的白细胞按类别分为若干集合，计算同类别内所预测坐标位置的交并比(IOU),去除同一集合内交并比大于0.7，且概率值非最大值的细胞，得到后处理结果。即每层特征图所检测到的白细胞坐标和类别。

所述结果融合模块将三张特征图的检测和识别结果进行融合，通过投票方式输出融合后的白细胞的类别和位置坐标(检测框)。位置坐标由模型预测得到。

将所得到三张特征图的检测和识别结果进行融合。将三张特征图中，计算所有索引值的检测框的交并比，当交并比大于0.9阈值，将三者视为检测到同一物体，并投票得出所预测的白细胞类别和概率，投票方法为多数制，概率值为投票时具有相同类别的检测结果的平均值。得到类别的初步融合结果。

对初步融合结果利用非最大抑制进行后处理，降低模型对同一样本多次检测的概率。

首先，对融合后的到的白细胞按类别分为若干集合，计算同类别内所预测坐标位置的交并比(IOU),去除同一集合内交并比大于0.7，且概率值非最大值的细胞，得到最终预测结果。即模型所最终检测到的白细胞其坐标和类别。

统计不同类别白细胞的个数和检测框大小，生成检测报告。

对模型得到的结果依据类别分别统计其数量和该细胞检测框的大小，得到检测结果，生成检测报告。

步骤S200：以coco数据集为第一数据库；获取若干白细胞图片，进行白细胞的轮廓及类别标注后形成第二数据库。

具体的，从网上下载公开coco数据集，对coco数据集所有数据按比例划分为训练集，测试集，验证集。

获取到外周血涂片玻片，对其进行染色在显微镜下成像并拍照，将所拍照片利用专门的标记系统由专人进行标记，标注内容包括白细胞轮廓框(Bounding Box)以及白细胞所属具体类别。将标记好的图片按比例划分为训练集，测试集，验证集。

coco数据集、所拍照片分别进行处理形成第一、第二数据库。首先进行随机排序，将排序后的图像进行比例为7:2:1的划分，分别得到模型的训练集，验证集和测试集；随后，将划分后的数据依据类别数目进行不同倍数的扩增，包括旋转，翻转，色彩空间变换等增加样本数量。

步骤S300：在所述第一数据库选取样本对所述白细胞检测识别模型进行第一阶段训练，满足第一阶段完成条件后，在所述第二数据库选取样本对所述白细胞检测识别模型进行第二阶段训练，直至满足第二阶段完成条件。

深度学习为数据驱动的一门学科，数据的数量，标记质量严重影响模型性能。基于卷积神经网络的特性，在其浅层结构中，网络提取浅语义的特征信息，如线条等，在较深层结构中，网络将浅层特征加权融合，得到较高的语义特征，如边缘信息等。由于基础特征的近似性，使得迁移学习在不同领域的任务中具有良好的表现，由于医学领域数据的缺乏，更需要迁移学习来使得模型由良好的性能。而coco数据集背景复杂，图像内容多样化，差异化，使得其成为目标检测领域进行迁移学习的优秀数据集，使得基于小数据集的模型可以提取到更复杂的特征，初始化的参数更容易收敛，降低过拟合风险，增强模型的泛化能力。

具体的，将划分好的coco数据集送入深度神经网络进行参数调优和模型优化，得到初步模型。随后，依据标记数据优化新的模型，将初步模型得到的参数作为新模型的初始化参数，对新模型继续进行优化训练。

第一、第二阶段的完成条件可以是训练次数，也可以是满足设定精度或者满足其他评估标准。

步骤S400：对完成训练的模型进行封装打包，进行实际应用。

具体的，该深度神经网络得到三次融合后的上采样特征图后，分别在三张特征图上接1*1卷积层，分别得到在不同特征图上所预测的细胞类别和细胞所在的位置坐标。将三张特征图所得到的检测结果经过非最大抑制(NMS)，进行预测结果融合，最终通过投票方式输出融合后的检测结果。整个深度神经网络进行了12次卷积运算，3次反卷积运算，无池化层。

在一个实施例中，基于上述深度神经网络架构，利用划分好的coco数据集对网络进行调优。训练轮数为25轮，每轮采用验证集进行验证。训练完成后采用测试集进行泛化能力的测试。设置初始学习率为0.001。利用划分好的标注数据集对网络进行参数调优，初始化参数为coco数据集上预训练的模型参数，训练轮数为50轮，初始化学习率为0.001。

本发明另一方面提供一种基于迁移学习的白细胞图像检测识别方法，包括如下步骤，如图1所示：

步骤S100’：利用上述构建方法构建白细胞图像检测识别模型并完成训练；

步骤S200’：采集含有白细胞的图片；

将外周血血液滴入载玻片，对血液样本利用瑞式染液染色，将其放置在显微镜下。将显微镜，照相机，计算机相连接构成一套显微成像系统。然后，调整镜下视野，对不同视野进行图像拍摄，获取到含有白细胞图片约900张。

步骤S300’：采用所述白细胞图像检测识别模型对含有白细胞的图像进行检测识别获得的所述含有白细胞的图像中白细胞的类别和位置坐标。整个白细胞图像检测识别模型输入为一张图像，输出为该图像中白细胞的位置信息和具体类别。

所述白细胞图像检测识别模型，在输入一张含有白细胞的图像时，网络输出该图像中白细胞的位置坐标(X,Y,W,H)和具体的类别。结合图3，为输出的结果。

在一个实施例中，在模型部署阶段，我们加入了不同类别白细胞的数目统计，实现了对图像中白细胞数目的统计功能。

综上所述，本发明涉及基于迁移学习的白细胞图像检测识别模型构建方法及应用，本发明通过构建基于迁移学习的白细胞图像检测识别模型，coco数据集及标注的白细胞图片作为样本对白细胞图像检测识别模型进行训练。白细胞图像检测识别模型提取三级融合的特征金字塔，分别对应不同尺寸特征的白细胞，设置不同的先验轮廓框，加速网络收敛，提高识别的效率和准确性。基于白细胞图像检测识别模型自动、高效的对白细胞图像进行检测识别和统计数目，提高了检测识别精度，排除了人为，主观因素，公正客观。本发明检测识别一张图像推理时间为0.05秒，每秒可完成20张白细胞图像的分析。对正常六类白细胞识别准确率达到了98％。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种基于迁移学习的白细胞图像检测识别模型构建方法，其特征在于，包括：

构建基于迁移学习的白细胞检测识别模型识别白细胞的类别和位置坐标；

以coco数据集为第一数据库；获取若干白细胞图片，进行白细胞的轮廓及类别标注后形成第二数据库；

在所述第一数据库选取样本对所述白细胞检测识别模型进行第一阶段训练，满足第一阶段完成条件后，在所述第二数据库选取样本对所述白细胞检测识别模型进行第二阶段训练，直至满足第二阶段完成条件；

对完成训练的模型进行封装打包。

2.根据权利要求1所述的一种基于迁移学习的白细胞图像检测识别模型构建方法，其特征在于：

第一数据库采用coco数据集作为样本，进行随机排序后，划分为训练集，验证集和测试集，分别进行扩充，用于所述白细胞检测识别模型第一阶段训练、验证和测试；

将第二数据库终得样本进行随机排序后，划分为训练集，验证集和测试集，分别进行扩充，用于所述白细胞检测识别模型第二阶段训练、验证和测试。

3.根据权利要求1或2所述的一种基于迁移学习的白细胞图像检测识别模型构建方法，其特征在于：所述白细胞检测识别模型包括预处理模块、特征金字塔生成模块、定位及分类模块、检测结果后处理模块以及结果融合模块；

所述预处理模块将输入图像处理为设定大小，并进行归一化；

所述特征金字塔生成模块包括四级下采样残差块以及三级上采样残差块；四级下采样残差块依次串联，对归一化后的图像进行下采样提取特征图；第一级上采样残差块对第四级下采样残差块输出的特征图进行上采样后与第三级下采样残差块输出的特征图进行融合；第二级上采样残差块对第一级上采样残差块输出的特征图进行上采样后与第二级下采样残差块输出的特征图进行融合；第三级上采样残差块对第二级上采样残差块输出的特征图进行上采样后与第一级下采样残差块输出的特征图进行融合；三级上采样残差块输出的融合后的特征图构成特征金字塔；

所述定位及分类模块对每级上采样残差块输出的融合后的特征图设置先验轮廓框识别出白细胞轮廓，分别通过对应的卷积层输出所述白细胞轮廓属于每一个类别的概率和细胞的位置坐标；

所述检测结果后处理模块采用非最大值抑制法对所述定位及分类模块输出的每一个类别的概率和细胞的位置坐标进行后处理；

所述结果融合模块将三张特征图的检测和识别结果进行融合，得到初步融合的结果进行非最大值抑制后，通过投票方式输出融合后的白细胞的类别和位置坐标。

4.根据权利要求3所述的一种基于迁移学习的白细胞图像检测识别模型构建方法，其特征在于：第一级上采样残差块输出的特征图设置第一、第二先验轮廓框；第二级上采样残差块输出的特征图设置第三、第四先验轮廓框；第三级上采样残差块输出的特征图设置第五、第六先验轮廓框；

第一至第六先验轮廓框的尺寸依次递减。

5.根据权利要求4所述的一种基于迁移学习的白细胞图像检测识别模型构建方法，其特征在于：

所述第一至第六先验轮廓框的尺寸通过对白细胞轮廓进行聚类分析获得。

6.根据权利要求3所述的一种基于迁移学习的白细胞图像检测识别模型构建方法，其特征在于：采用非最大值抑制法进行后处理包括：按照识别的类别概率分布取最大值所对应索引，然后计算具有与最大值所对应的索引相同的白细胞的位置坐标的交并比，将交并比大于设定阈值的检测框去除，得到后处理的检测结果。

7.根据权利要求3所述的一种基于迁移学习的白细胞图像检测识别模型构建方法，其特征在于：将三张特征图的检测和识别结果进行融合包括计算三张特征图中所有索引值的检测框的交并比，当交并比大于设定阈值时，通过投票方式得出融合后的白细胞的类别和位置坐标；对融合后的白细胞的类别和位置坐标进行非最大值抑制后输出白细胞的类别和位置坐标。

8.根据权利要求1或2所述的一种基于迁移学习的白细胞图像检测识别模型构建方法，其特征在于：所述第一阶段训练为25轮，初始学习率为0.001；所述第一阶段训练为50轮，初始化学习率为0.001。

9.一种基于迁移学习的白细胞图像检测识别方法，其特征在于，利用权利要求1-8中任一项所述的基于迁移学习的白细胞图像检测识别模型构建方法构建白细胞图像检测识别模型；

采用所述白细胞图像检测识别模型对含有白细胞的图像进行检测识别获得的所述含有白细胞的图像中白细胞的类别和位置坐标。

10.根据权利要求9所述的基于迁移学习的白细胞图像检测识别方法，其特征在于，在所述图像中依据所述位置坐标进行对识别获得的白细胞的类别进行标注。优选的，还包括对所述图像中各类白细胞数量进行统计。

Images