CN110647875A - 一种血细胞分割、识别模型构造的方法及血细胞识别方法 - Google Patents

Abstract

本发明涉及一种血细胞分割、识别模型构造的方法及血细胞识别方法，一方面提供血细胞分割模型、识别模型构造方法，另一方面提供基于血细胞分割模型、识别模型的细胞识别方法。本发明基于全视野图像生成血液图像数据库，进行血细胞分割模型的训练，保证了数据的准确性和全面性，提高了血细胞分割模型分割的准确性。利用计算机实现全视野血细胞分析，极大降低了人为客观因素的干扰，提高检验结果的客观性和一致性。血细胞分割模型、识别模型具有智能性，软件算法具有自学习属性，随着高质量标注图像的增加，识别模型训练效率逐步提高，可不断优化软件识别分类准确度。

Description

一种血细胞分割、识别模型构造的方法及血细胞识别方法

技术领域

本发明涉及一种血细胞分割、识别模型构造的方法及血细胞识别方法，属于医学图像技术领域。

背景技术

全玻片电子数据的获取是实现全面、客观检测的基础，当前医疗检验领域尤其是血常规检验任务繁重、工作量大，相当一部分医院引进了较先进的辅助检验系统，但不能解决全玻片检验问题，往往造成结果片面性较大，人工复检率高；另外，高水平检验医师人才严重不足和分布不均，导致对外周血中非正常细胞形态判断结果不一，当前主要的识别分类算法属于传统序列，实际运行过程中，识别准确率不高且极易受主观经验和人为因素干扰。

现有的血细胞识别主要存在两个技术问题：（1）不能对血涂片全视野扫描分析，导致结果片面性较大，不准确；（2）由于识别分类算法缺陷，导致依赖人工复检，从而导致极易受主观经验和人为因素干扰，使得识别准确率低。

发明内容

本发明的目的在于克服现有技术的不足，提供一种血细胞分割、识别模型构造的方法及血细胞识别方法，通过构建血细胞分割模型及识别模型实现对血涂片进行准确的扫描分析，提高血细胞识别的全面性和准确性。

本发明目的通过如下技术方案予以实现：

本发明一方面提供一种血细胞识别分割模型及识别模型的构造方法，包括：

获取至少一幅血涂片中每幅血涂片的多个单视野图像，对每幅血涂片的多个所述单视野图像进行拼接形成一个全视野图像，构成全视野图像数据库，对所述全视野图像数据库中的各个全视野图像进行人工图像分割，得到单个血细胞图像汇聚形成初始血细胞图像库；

对所述初始血细胞图像库中的单个血细胞图像进行人工标注，形成标注血细胞图像库；

构建血细胞分割模型及识别模型，在所述初始血细胞图像库中选取样本形成训练集和验证集，对血细胞分割模型进行训练，直至满足单个血细胞分割准确率的要求；在标注血细胞图像库中选取样本形成训练集和验证集，对血细胞识别模型进行训练，直至满足识别准确率的要求。

进一步地，所述拼接的方式包括：方式一，将物理位置相邻的单视野图像两两进行特征点提取，然后进行图像特征匹配，最终形成完整的全视野图像；或者方式二，判断两张相邻单视野图像重合区域大小，然后将重合部分进行加权平均，获取重合部分图像，最终获取全视野图像。

进一步地，进行人工标注的方法为在计算机或手机端，对白细胞和/或红细胞的类型以及图像清晰度进行标注，对标注结果进行交叉验证。

进一步地，血细胞识别模型采用具有深度结构的前馈神经网络构建。

进一步地，具有深度结构的前馈神经网络采用卷积层提取各类细胞的特征向量，通过最大池化提取所需特征向量，通过残差块进行残差学习，通过两层全连接层进行分类输出类别信息；

残差块输入经3*3的卷积，采用第一Relu激活函数激活，再经过3*3的卷积后与输入叠加，最后经第二Relu激活函数激活后输出。

进一步地，血细胞分割模型采用归一化、色彩空间转换、直方图均值化或深度学习的方法构建。

进一步地，深度学习的方法包含但不限于为YOLO、SSD或DenseBox。

本发明另一方面提供一种血细胞识别的方法，包括：

利用所述的血细胞分割模型及识别模型的构造方法构建血细胞分割模型及血细胞识别模型；

利用所述血细胞分割模型对单视野玻片扫描图像进行图像分割获得单个血细胞图像及对应位置；

利用所述血细胞识别模型对单个血细胞进行细胞类别的识别；

基于单个血细胞的位置和类别在单视野玻片扫描图像上进行标注。

进一步地，血细胞分割模型对单视野玻片扫描图像进行图像分割前还包括确定分割的视野范围，视野范围包括成像理想的特定区域、血细胞分布较多的重要部位和/或医生指定区域。

进一步地，还包括对血细胞分割模型、识别模型的分割、识别结果分别进行人工评估，根据评估结果反向传递梯度，优化所述血细胞分割模型、血细胞识别模型。

本发明与现有技术相比具有如下优点：

（1）本发明的血细胞分割模型、识别模型具有开放性，根据不同应用领域，可以实现人工智能算法的选择和开放更新；通用性好，对于符合软件系统要求的图像输入均可实现识别分析；

（2）本发明血细胞分割模型、识别模型具有智能性，软件算法具有自学习属性，随着高质量标注图像的增加，识别模型训练效率逐步提高，可不断优化软件识别分类准确度。

（3）本发明利用计算机实现全视野血细胞分析，避免了边缘血细胞的损失，极大降低了人为客观因素的干扰，提高检验结果的客观性和一致性。

（4）本发明基于全视野图像生成血液图像数据库，进行血细胞分割模型的训练，保证了样本数据的准确性和全面性，提高了血细胞分割模型分割的准确性。

（5）本发明基于全视野图像生成样本库，避免在单视野遗漏边缘不完整细胞，另外由于本专利能快速对血细胞进行准确定位与识别，因此能够保证全视野图像中全部血细胞（少则数千个，多则十万个）分析的准确性和高效性，同时，进行血细胞实例分割识别模型的训练，保证了样本数据的准确性和全面性，提高了识别标注的准确性。

附图说明

图1为本发明基于深度学习的血细胞识别模型构建流程图；

图2为一个实施例中的血细胞分割、识别模型训练及工作流程图；

图3为一个实施例中的血细胞识别模型；

图4为残差块在一个实施例中的详细结构图；

图5（a）为第一单视野图像示意图，图5（b）为第二单视野图像示意图；图5（c）为第一、第二单视野图像拼接后的图像示意图；

图6为一个实施例中的单视野血涂片血细胞识别模型识别图；

图7为图6为实施例的识别结果示意图。

具体实施方式

结合图1，一方面提供一种血细胞识别模型构造方法，获得用于血细胞识别的血细胞分割、识别模型，具体步骤如下：

（1）图像采集

采集外周血，制作血涂片，将采集到的血液样本进行数字化处理并建立血液图像数据库，该数据库中保存的为血涂片的全玻片全视野图像。

由于相机在高倍显微镜下，尤其是100倍物镜下，所拍摄范围有限，仅能拍摄物理大小大约150*100μm（微米）的单视野图像，如图5（a）、（b）所示，单视野图像边缘的血细胞无法准确识别。为了无遗漏的获取整个血液玻片细胞的图像（大约15mm*25mm大小），需将大约25000张单视野图像拼接为全视野图像，如图5（c）所示，边缘的血细胞在拼接后形成完整血细胞图像，相较于单视野图像，全视野图像能够无遗漏的提取处于单视野边缘的不完整细胞，拼接常用的算法包括但不限于FAST 算法、SURF算法、图像配准等。

全视野图像的获取方法包括：首先将采集到的血液样本推片得到血玻片，再利用高精度显微摄影和机械控制技术，拍摄全视野血液照片。成像系统先对全玻片进行定点对焦，再从玻片一角开始沿相等间距不断移动并拍摄下所有分视野照片，并最终拼接形成全视野图像。对血涂片图像进行图像预处理和人工图像分割，得到单个血细胞图像，汇聚形成原始血细胞图像库，作为血细胞分割模型的训练样本。

拼接的方式包括但不限于，方式一：将物理位置相邻的单视野图像两两进行特征点提取，特征因子包含但不限于sift、surf、harris角点、ORB等，然后进行图像特征匹配，最终形成完整的全视野图像。方式二：判断两张相邻单视野图像重合区域大小，然后将重合部分进行加权平均，获取重合部分图像，最终获取全视野图像。

（2）人工标注

对原始血细胞图像进行标注，形成标注血细胞图像库，作为血细胞识别模型的训练的样本集。血细胞类别标注需要具有丰富经验的血液检验科医生来完成，可选择对标注结果进行交叉验证。

为了方便专业医生及相关标注人员的标注工作，可选择性配备基于三种平台的白细胞和红细胞标注两大类细胞的专家标注系统，三种平台包括iOS、Android和PC三大平台。在一个实施例中充分利用移动设备的便携性，开发对应的APP将数据分发至标注人员的移动设备上，可随时针对不同的图像类型进行清晰度、类别等数据的标注。

（3）构建血细胞分割、识别模型并训练

随机选取训练样本形成训练集和验证集，对血细胞分割、识别模型进行训练。在一个实施例中采用照十折交叉验证（10-fold cross-validation）方法，将数据集分成十份，轮流将其中9份作为训练数据，1份作为测试数据，进行训练和模型优化。

结合图2，从初始血细胞图像库选择训练集和验证集对血细胞分割模型进行训练，如果血细胞分割模型的获得单个血细胞位置和图像的准确率（R）大于设定阈值F1，则完成模型训练，将模型打包；否则，如果准确率（R）不大于设定阈值F1，则进行梯度反向传递，提高准确率（R），调整血细胞分割模型。初始血细胞图像库是基于全视野图像构建的，因此血细胞分割模型分割的准确性更高。

从目标的单个视野图像中检测提取目标血细胞，从而生成目标的单个血细胞图像库，为单个血细胞的识别准备必要条件。其中用到的主要技术分为两类，一类为传统的图像模式识别方式，如归一化、色彩空间转换、直方图均值化等。另一类为基于深度学习的方法，如YOLO、SSD、DenseBox等。

两类识别方式均可用于本发明血细胞分割模型的建模。由于血细胞图像与自然图像相比，其类别组成比较单一，在一个实施例中，采用深度学习的方式，对血细胞分割模型建模。

从标注血细胞图像库选择训练集和验证集对血细胞识别模型进行训练，如果血细胞识别模型的准确率（R）大于设定阈值F2，则完成模型训练，将模型打包；否则，如果准确率（R）不大于设定阈值F2，则进行梯度反向传递，提高准确率（R），调整血细胞识别模型。

可选择的，针对血细胞本身特点，血细胞识别模型采用包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），对前馈神经网络模型进行训练，从而隐式地从训练数据中进行学习提取特征，并通过不断地参数调优和误差分析优化模型，最终形成成熟的血细胞识别模型。当准确率（R）不大于设定阈值时，反向传递血细胞识别模型的准确率（R），调整各卷积层的权重。

对检测到的单个血细胞图像进行类别判定。为提高血细胞识别率，降低对原始图像质量的要求和训练样本数量的限制，在一个实施例中采用基于迁移学习的具有深度结构的前馈神经网络来构造血细胞识别模型，在ImageNet数据集的基础上训练得到原始图像识别模型，再利用血细胞图像标注库进行迁移学习，调整参数后得到测试模型。通过卷积核、神经网络层的改变，能取得更快的运算速度以及更加准确的类别判断。

作为前馈神经网络一个优选的实施例，结合图3，网络采用卷积神经网络来提取图像特征，达到对图像进行分类的目的。

网络的输入为 572*572的单个血细胞图像，随后进行kernel size = 3，channel= 64的卷积运算，提取各类细胞的特征向量，随后进行size = 2的最大池化（maxpooling）运算，提取出已提取到的特征中最重要的特征，例如边缘、纹理和色彩等特征，继续进行卷积运算。

在第三层之后，连接残差块（Res.block），进行残差学习。残差学习可以有效缓解梯度反向传播时的消失和网络退化现象，故可将网络扩展至深层。使得网络更强大，更鲁棒，共五层残差块，且在残差块内，由于要保持恒等映射，故利用conv 1*1 调整输出大小和通道（channel）数目，随后，在残差块后接两层全连接层（FC）用于网络的分类，第一层全连接层神经元数目为4096，将4096个特征传递给下一层神经元，利用分类网络（classes）对图像进行分类，最后一层神经元数目即为目标类别的数目。由于血细胞图像与自然图像相比，其类别组成比较单一，因此，在传统算法的基础上进行剪枝，以及卷积核、神经网络层的改变，能取得更快的运算速度以及更加准确的类别判断。残差块的一种详细结构如图4所示，增加一个由输入到输出的恒等映射，该残差块（Res-Block）可以在加深网络（以提取更高级特征）的情况下解决梯度消失的问题。残差模块可以从某一层获得激活，然后反馈给另外一层甚至更深层，利用skip connection可以构建残差网络来训练更深的层。在图4中曲线部分，网络结构直接跳过两个3x3，64的网络层，将特征传递到更深的层。即输入x经3*3的卷积，采用Relu激活函数激活，再经过3*3的卷积后与输入x叠加，再经Relu激活函数激活后输出。

血细胞识别模型包括但不限于卷积神经网络，也可基于传统识别算法或者强化学习思想进行实现。

对于玻片成像来说，具有成像比较理想的特定区域，能够提供更为优质的图像数据；对于一些重要部位，例如玻片的头部、中部、尾部为血细胞的重点分布区域，对识别结果的影响较大；现实情况中还存在医生对部分区域感兴趣，可能指定部分区域。本发明首次提出全视野血细胞分析概念，全视野范围包括玻片特定区域、指定区域以及玻片重要部位（头部、中部、尾部）等范围，以及全玻片范围。可以进一步增加在进行图像分割前，首先确定视野范围。

作为可选方案，在应用过程中可采用人工评估的方式对血细胞分割模型、识别模型的分割、识别结果分别进行评估，根据评估结果反向传递梯度，对血细胞分割模型、识别模型进行优化。

作为可选方案，本发明的血细胞分割、识别模型可以集成加载在同一智能单机设备中，例如采用计算机加载两个所述模型。也可以根据实际需要将两个所述模型分别加载于不同的智能单机设备中。

结合图2，在实际的应用过程中，首先采用血细胞分割模型对基于单个视野玻片扫描图像进行图像分割，获得目标分割后的单个血细胞图像及对应位置，利用血细胞识别模型进行细胞类别的识别，进而获得血细胞的位置和类别，识别结果如图7所示。采用位置和类别信息在单个视野玻片扫描图像上进行标注，获得单视野血涂片血细胞识别模型识别图如图6所示。

本发明的血细胞识别模型可实现50种白细胞及20余种红细胞的标注，根据实际的需要进行训练，可扩展性好。

本发明基于人工智能算法，实现对血细胞的识别，相对于传统的识别方法准确度有质的提高，可到达85%以上的准确率；可对全视野血细胞进行分析，大大提高科学性。

以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (10)

1.一种血细胞分割模型及识别模型的构造方法，其特征在于，包括：

获取至少一幅血涂片中每幅血涂片的多个单视野图像，对每幅血涂片的多个所述单视野图像进行拼接形成一个全视野图像，构成全视野图像数据库，对所述全视野图像数据库中的各个全视野图像进行人工图像分割，得到单个血细胞图像汇聚形成初始血细胞图像库；

对所述初始血细胞图像库中的单个血细胞图像进行人工标注，形成标注血细胞图像库；

构建血细胞分割模型及识别模型，在所述初始血细胞图像库中选取样本形成训练集和验证集，对血细胞分割模型进行训练，直至满足单个血细胞分割准确率的要求；在标注血细胞图像库中选取样本形成训练集和验证集，对血细胞识别模型进行训练，直至满足识别准确率的要求。

2.如权利要求1所述的血细胞分割模型及识别模型的构造方法，其特征在于，所述拼接的方式包括：方式一，将物理位置相邻的单视野图像两两进行特征点提取，然后进行图像特征匹配，最终形成完整的全视野图像；或者方式二，判断两张相邻单视野图像重合区域大小，然后将重合部分进行加权平均，获取重合部分图像，最终获取全视野图像。

3.如权利要求1或2所述的血细胞分割模型及识别模型的构造方法，其特征在于，进行人工标注的方法为在控制终端，对白细胞和/或红细胞的类型以及图像清晰度进行标注，对标注结果进行交叉验证。

4.如权利要求1或2所述的血细胞分割模型及识别模型的构造方法，其特征在于，血细胞识别模型采用具有深度结构的前馈神经网络构建。

5.如权利要求4所述的血细胞分割模型及识别模型的构造方法，其特征在于，具有深度结构的前馈神经网络采用卷积层提取各类细胞的特征向量，通过最大池化提取所需特征向量，进行残差块进行残差学习，通过两层全连接层进行分类输出类别信息；残差块输入经3*3的卷积，采用第一Relu激活函数激活，再经过3*3的卷积后与输入叠加，最后经第二Relu激活函数激活后输出。

6.如权利要求1或2所述的血细胞分割模型及识别模型的构造方法，其特征在于，血细胞分割模型采用归一化、色彩空间转换、直方图均值化或深度学习的方法构建。

7.如权利要求6所述的血细胞分割模型及识别模型的构造方法，其特征在于，深度学习的方法包括YOLO、SSD和DenseBox中的一种。

8.一种血细胞识别的方法，其特征在于，包括：

利用权利要求1-7中任一项所述的血细胞分割模型及识别模型的构造方法构建血细胞分割模型及血细胞识别模型；

利用所述血细胞分割模型对单视野玻片扫描图像进行图像分割获得单个血细胞图像及对应位置；

利用所述血细胞识别模型对单个血细胞进行细胞类别的识别；

基于单个血细胞的位置和类别在单视野玻片扫描图像上进行标注。

9.如权利要求8所述的血细胞识别的方法，其特征在于，血细胞分割模型对单个视野玻片扫描图像进行图像分割前还包括确定分割的视野范围，视野范围包括成像理想的特定区域、血细胞分布较多的重要部位和/或医生指定区域。

10.如权利要求8所述的血细胞识别的方法，其特征在于，还包括对血细胞分割模型、识别模型的分割、识别结果分别进行人工评估，根据评估结果反向传递梯度，优化所述血细胞分割模型、血细胞识别模型。

Images