CN112446427A - 一种髓系血细胞识别方法、装置、存储介质和电子设备 - Google Patents

Abstract

本发明提供了一种髓系血细胞识别方法、装置、存储介质和电子设备。该方案包括获取第一髓系血细胞显微镜图像；对所述第一髓系血细胞显微镜图像进行数据增强变换，获取第二髓系血细胞显微镜图像；对所述第二髓系血细胞显微镜图像进行数据标准化处理，获得第三髓系血细胞显微镜图像；对所述第三髓系血细胞显微镜图像进行实例分割处理，获取目标髓系血细胞显微镜图像，并确定目标识别信息。该方案通过数据增强变换和数据标准化处理丰富髓系血细胞显微镜图像中髓系血细胞的数据分布，提高处理的泛化性和鲁棒性，防止过度拟合，采用特征提取网络对处理后图像进行实例分割算法处理，可完整且准确地识别髓系血细胞在显微镜图像上的分类、位置和数目。

Description

一种髓系血细胞识别方法、装置、存储介质和电子设备

技术领域

本发明涉及医学检验领域，更具体地，涉及一种髓系血细胞识别方法、装置、存储介质和电子设备。

背景技术

目前现有的细胞自动识别分类技术，通常采用卷积神经网络提取细胞图像的特征，然后采用二分类或者多分类技术对特征进行分类。现有技术存在的缺点是：无法处理图像中互相拥挤或堆叠的细胞；无法对细胞进行准确的分类；无法给出细胞的位置信息和具体形态信息。

例如，申请号为CN201911265104.4且名为“一种基于计算机的白细胞自动识别分类方法”的中国发明专利公开了利用卷积神经网络识别出单核细胞，使用卷积神经网络自动提取剩下细胞的特征，利用分类器实现剩余细胞的四分类。但是，该发明专利采用卷积神经网络分类技术对白细胞进行识别，无法给出该图像中白细胞的位置信息和具体形态信息，而且该发明只将白细胞粗略分类为淋巴细胞、嗜酸粒细胞、嗜碱粒细胞、中性粒细胞。

发明内容

鉴于上述问题，本发明提出了一种髓系血细胞识别方法、装置、存储介质和电子设备，其可以实现对拥挤细胞的精确分类，给出细胞的位置与形态信息。

根据本发明实施例的第一方面，提供一种髓系血细胞识别方法，所述方法包括：

获取骨髓涂片，并染色为第一髓系血细胞显微镜图像；

对所述第一髓系血细胞显微镜图像进行数据增强变换，获取第二髓系血细胞显微镜图像；

对所述第二髓系血细胞显微镜图像进行数据标准化处理，获得第三髓系血细胞显微镜图像；

对所述第三髓系血细胞显微镜图像进行实例分割处理，获取目标髓系血细胞显微镜图像；

确定所述目标髓系血细胞显微镜图像中的目标识别信息。

在一个实施例中，优选地，所述对所述第一髓系血细胞显微镜图像进行数据增强变换，具体包括：

将所述第一髓系血细胞显微镜图像进行几何变换，生成几何增强的第二髓系血细胞显微镜图像，其中，所述几何增强包括对所述第一髓系血细胞显微镜图像进行平移、缩放、翻转、旋转和裁剪；

将所述第一髓系血细胞显微镜图像进行随机噪声，生成随机噪声的第二髓系血细胞显微镜图像，其中，所述随机噪声为对所述第一髓系血细胞显微镜图像的每个像素点的颜色随机生成颜色误差，所述颜色误差在所述第一髓系血细胞显微镜图区域内服从高斯分布；

将所述第一髓系血细胞显微镜图像进行颜色抖动，生成颜色抖动的第二髓系血细胞显微镜图像，其中，所述颜色抖动为对所述第一髓系血细胞显微镜图像进行亮度、饱和度和对比度的调整；

将所述几何增强的第二髓系血细胞显微镜图像、所述随机噪声的第二髓系血细胞显微镜图像和所述颜色抖动的第二髓系血细胞显微镜图像一起存储为所述第二髓系血细胞显微镜图像。

在一个实施例中，优选地，所述对所述第二髓系血细胞显微镜图像进行数据标准化处理包括：

获取所述第二髓系血细胞显微镜图像中的像素信息，计算所述第二髓系血细胞显微镜图像中的位置信息，其中，所述第二髓系血细胞显微镜图像中的位置信息包括细胞中心坐标和细胞直径；

计算所述细胞中心坐标和所述细胞直径的平均值；

计算所述细胞中心坐标和所述细胞直径的标准差；

通过对所述第二髓系血细胞显微镜图像中每张图的像素信息加或减少相同的色度，更新所述细胞中心坐标和所述细胞直径，使所述平均值为0，并使所述标准差为1；

将更改后的所述第二髓系血细胞显微镜图像存储为所述第三髓系血细胞显微镜图像。

在一个实施例中，优选地，所述对所述第三髓系血细胞显微镜图像进行实例分割处理包括：

获取所有的所述第三髓系血细胞显微镜图像，并对所述第三髓系血细胞显微镜图像进行预处理；所述预处理包括通过颜色、边缘、纹理特征判断目标细胞的所在区域；

利用将其输入到一个预训练后的神经网络中获得对应的特征网络，其中，所述特征提取网络为ResNet、ResNeXt、FPN、RetinaNet、Dilated-C5或其组合；

根据所述特征提取网络对预处理后的所述第三髓系血细胞显微镜图像进行实例分割算法处理，获取目标细胞的所在区域、位置和类型；

根据目标细胞的所在区域、位置和类型存储到所述目标髓系血细胞显微镜图像。

在一个实施例中，优选地，该方法还包括：

判断所述目标髓系血细胞显微镜图像中是否存在有疑义的信息，对存在疑义的图像对应的所述目标髓系血细胞显微镜图像进行数据增强变换的逆运算，其中，所述数据增强变换的逆运算包括所述几何变换、所述随机噪声和所述颜色抖动的逆过程；

将数据增强变换的逆运算后获得的髓系血细胞显微镜图像更新所述目标髓系血细胞显微镜图像。

在一个实施例中，优选地，所述确定所述目标髓系血细胞显微镜图像中的目标识别信息，具体包括：

对所述目标髓系血细胞显微镜图像中的目标细胞的所在区域、位置和类型进行集成学习处理，得到分类结果和位置结果；

根据所述分类结果对所述髓系血细胞显微镜图像中的各类细胞进行细胞计数；

根据所述分类结果对所述髓系血细胞显微镜图像中的细胞进行细胞总数计数；

将所述分类结果、所述位置结果、所述细胞计数和所述细胞总数计数存储到所述目标髓系血细胞显微镜图像中的目标识别信息。

在一个实施例中，优选地，所述目标髓系血细胞显微镜图像中的目标识别信息包括细胞编号、位置信息和类型信息；

所述细胞编号为对所述目标髓系血细胞显微镜图像中的对应所有的细胞进行细胞的计数结果以及在对应类型细胞计数的所述细胞计数；

所述位置信息包括：所述目标髓系血细胞显微镜图像中所述细胞编号对应的中心坐标、直径；

所述类型信息包括：原始粒细胞、早幼粒细胞、中性中幼粒细胞、中性晚幼粒细胞、中性杆状核粒细胞、中性分叶核粒细胞、嗜酸中幼粒细胞、嗜酸晚幼粒细胞、嗜酸杆状核粒细胞、嗜酸分叶核粒细胞、幼稚嗜酸性粒细胞、嗜碱中幼粒细胞、嗜碱晚幼粒细胞、嗜碱杆状核粒细胞、嗜碱分叶核粒细胞、成熟嗜碱性粒细胞、幼稚嗜碱性粒细胞、原始红细胞、早幼红细胞、中幼红细胞、晚幼红细胞、原幼淋巴细胞、淋巴细胞、异型淋巴细胞、原始单核细胞、幼稚单核细胞、单核细胞、原幼浆细胞、浆细胞、异常浆细胞、骨髓瘤细胞、原始巨核细胞、幼稚巨核细胞、颗粒型巨核细胞、产板型巨核细胞、裸核型巨核细胞、淋巴瘤细胞、组织细胞、涂抹细胞、吞噬细胞和/或海蓝细胞。

根据本发明实施例的第二方面，提供一种髓系血细胞识别系统，所述系统包括：

第一获取单元，获取骨髓涂片，并染色为第一髓系血细胞显微镜图像；

第二获取单元，对所述第一髓系血细胞显微镜图像进行数据增强变换，获取第二髓系血细胞显微镜图像；

第一处理单元，对所述第二髓系血细胞显微镜图像进行数据标准化处理，获得第三髓系血细胞显微镜图像；

第二处理单元，对所述第三髓系血细胞显微镜图像进行实例分割处理，获取目标髓系血细胞显微镜图像；

确定单元，确定所述目标髓系血细胞显微镜图像中的目标识别信息。

根据本发明实施例的第三方面，提供一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现所述的髓系血细胞识别方法。

根据本发明实施例的第四方面，提供一种电子设备，包括存储器和处理器。所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现所述的髓系血细胞识别方法的步骤。

本发明的实施例提供的技术方案可以包括以下有益效果：

本发明实施例中，通过该方案，提供了一种髓系血细胞识别方法及系统，通过数据增强变换和数据标准化处理可以丰富髓系血细胞显微镜图像中关于髓系血细胞的数据分布、提高处理系统的泛化性和鲁棒性、防止过度拟合；再采用特征提取网络对处理后图像进行实例分割算法处理，可以完整且准确地识别出髓系血细胞在髓系血细胞显微镜图像上的具体分类和具体位置，即使是拥挤或堆叠的细胞群，也可以将其中的细胞识别出来，提高识别的完整性和准确性；本发明的髓系血细胞识别方法，使用简单，能够避免由于人手对髓系血细胞进行分类和计数而出现的错误，大程度上节约识别的时间成本，提高工作效率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的一种髓系血细胞识别方法的流程图。

图2是本发明一个实施例的一种髓系血细胞识别方法中的第一髓系血细胞显微镜图像。

图3是本发明一个实施例的一种髓系血细胞识别方法中的对所述第一髓系血细胞显微镜图像进行数据增强变换的流程图。

图4是本发明一个实施例的一种髓系血细胞识别方法中的图2通过上下镜像得到的增强图像。

图5是本发明一个实施例的一种髓系血细胞识别方法中的图2通过左右镜像得到的增强图像。

图6是本发明一个实施例的一种髓系血细胞识别方法中的图2通过角度旋转得到的增强图像。

图7是本发明一个实施例的一种髓系血细胞识别方法中的对所述第二髓系血细胞显微镜图像进行数据标准化处理的流程图。

图8是本发明一个实施例的一种髓系血细胞识别方法中的对所述第三髓系血细胞显微镜图像进行实例分割处理的流程图。

图9是本发明一个实施例的一种髓系血细胞识别方法中的确定所述目标髓系血细胞显微镜图像中的目标识别信息的流程图。

图10是本发明一个实施例的一种髓系血细胞识别装置的结构图。

图11是本发明一个实施例的一种髓系血细胞识别方法中所述目标髓系血细胞显微镜图像中获得的所述目标识别信息图像。

图12是本发明一个实施例的一种电子设备的结构图。

具体实施方式

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在现有技术中，对髓系血细胞的识别和分类采用卷积神经网络提取细胞图像的特征，并利用二分类或者多分类技术对特征进行分类。这种方式一方面可能会因为数据源信息有限、细胞之间相互拥挤而无法准确获得分类和识别结果，另一方面，二分类与多分类可能无法获取足够分类，血细胞类型识别无据可依情况容易发生。因此，现有技术尚存在如下缺陷：无法处理图像中互相拥挤或堆叠的细胞；无法对细胞进行准确的分类；无法给出细胞的位置信息和具体形态信息。

为此，本发明中提出了一种髓系血细胞识别方法、装置存储介质和电子设备。本发明的方案通过数据增强变换增加了用于学习的图像数据源，使所述的识别方法更容易提取细胞图中的特征；进而利用数据标准化方法将数据增强数据转化到统一的标准水平，降低因数据过度处理而导致的失真数据；进而基于多特征提取网络对图像进行实例分割运算，最终实现获取准确、全面的髓系血细胞目标识别信息。

图1是本发明一个实施例的一种髓系血细胞识别方法的流程图。

如图1所示，在一个实施例中，优选地，所述的髓系血细胞识别方法，具体包括：

S101、获取骨髓涂片，并染色为第一髓系血细胞显微镜图像；

具体的，所述骨髓涂片是判断有核细胞增生程度，骨髓涂片采用铁染色及不同的组化染色等可为缺铁性贫血及各类白血病提供诊断依据。

S102、对所述第一髓系血细胞显微镜图像进行数据增强变换，获取第二髓系血细胞显微镜图像；

其中，所述的第二髓系血细胞显微镜图像为若干个髓系血细胞显微镜图像，具体的，髓系血细胞显微镜图像的数目取决于进行了的数据增强变换的次数。

S103、对所述第二髓系血细胞显微镜图像进行数据标准化处理，获得第三髓系血细胞显微镜图像；

S104、对所述第三髓系血细胞显微镜图像进行实例分割处理，获取目标髓系血细胞显微镜图像；

具体的，所述实例分割处理基于多种不同的特征网络。

S105、确定所述目标髓系血细胞显微镜图像中的目标识别信息。

在本发明实施例中，通过数据增强、标准化处理、实例分割、目标识别等一系列方法完成髓系血细胞识别方法，将传统的采用卷积神经网络提取细胞图像的特征的过程，划分为多步骤执行，从而的减少了因为细胞图像内细胞拥挤的情况而引起的识别不准、分类不全等问题，提高对目标髓系血细胞显微镜图像的准确性和全面性。

下面，通过图2-9对数据增强、标准化处理、实例分割、目标识别等一系列方法进行详细介绍。

如图2所示，图2是本发明一个实施例的一种髓系血细胞识别方法中的第一髓系血细胞显微镜图像。在图2中的所述第一髓系血细胞显微镜图像相对拥挤，而且根据此图像很难进行准确的细胞定位，需要具有足够的数据源。因此，需要进一步的提出对所述第一髓系血细胞显微镜图像的数据增强方法。在本发明实施例中，通过图3对数据增强变换过程进行进一步详细介绍。

图3是本发明一个实施例的一种髓系血细胞识别方法中的对所述第一髓系血细胞显微镜图像进行数据增强变换的流程图。

如图3所示，在一个实施例中，优选地，所述对所述第一髓系血细胞显微镜图像进行数据增强变换，具体包括：

S301、将所述第一髓系血细胞显微镜图像进行几何变换，生成几何增强的第二髓系血细胞显微镜图像，其中，所述几何增强包括对所述第一髓系血细胞显微镜图像进行平移、缩放、翻转、旋转和裁剪；

S302、将所述第一髓系血细胞显微镜图像进行随机噪声，生成随机噪声的第二髓系血细胞显微镜图像，其中，所述随机噪声为对所述第一髓系血细胞显微镜图像的每个像素点的颜色随机生成颜色误差，所述颜色误差在所述第一髓系血细胞显微镜图区域内服从高斯分布；

S303、将所述第一髓系血细胞显微镜图像进行颜色抖动，生成颜色抖动的第二髓系血细胞显微镜图像，其中，所述颜色抖动为对所述第一髓系血细胞显微镜图像进行亮度、饱和度和对比度的调整；

S304、将所述几何增强的第二髓系血细胞显微镜图像、所述随机噪声的第二髓系血细胞显微镜图像和所述颜色抖动的第二髓系血细胞显微镜图像一起存储为所述第二髓系血细胞显微镜图像。

在一个或多个实施例中，所述数据增强变换的方式可以包括离线增强和在线增强，离线增强是指：直接对数据集进行处理，数据的数目会变成增强因子乘以原数据集的数目，这种方法常用于数据集很小的时候；而在线增强是指：获得batch数据之后，然后对这个batch的数据进行增强，如旋转、平移、翻折等相应的变化，由于有些数据集不能接受线性级别的增长，这种方法常用于大的数据集。在进行髓系血细胞识别前，可根据髓系血细胞显微镜图像中实际数据集的大小来选择数据增强变换的方式，数据增强可丰富数据的分布，提高泛化性和鲁棒性，降低处理系统对某些特定属性(例如颜色、亮度等)的依赖。

具体的，在存储所述第二髓系血细胞显微镜图像的同时，存储所述数据增强的步骤和方式，为进行后续原始数据排查和确认做准备。

本发明实施例中，对所述第一髓系血细胞显微镜图像进行了全面的数据增强变换，在数据变换的方式上包括了几何增强、随机噪声和颜色抖动，三种不同的方式的单独或叠加数据增强，会生成多个所述第二髓系血细胞显微镜图像。大量的所述第二髓系血细胞显微镜图像是进行后续的学习算法和数据分割的基础。

如图4-6所示，图4-6分别为本发明一个实施例的一种髓系血细胞识别方法中的图2通过上下镜像、左右镜像和角度旋转得到的增强图像。本发明实施例中，所述的上下镜像、左右镜像和角度旋转均属于几何增强。对所述髓系血细胞显微镜图像进行几何增强的变换处理，不仅限于左右镜像、上下镜像、角度旋转，还可以包括缩放、翻转、旋转和裁剪等，进而获得对应增强图像。具体的，经过几何增强变换处理得到的增强图像依然具有原始图像的数据特征。

图7是本发明一个实施例的一种髓系血细胞识别方法中的对所述第二髓系血细胞显微镜图像进行数据标准化处理的流程图。

如图7所示，在一个实施例中，优选地，所述对所述第二髓系血细胞显微镜图像进行数据标准化处理包括：

S701、获取所述第二髓系血细胞显微镜图像中的像素信息，计算所述第二髓系血细胞显微镜图像中的位置信息，其中，所述第二髓系血细胞显微镜图像中的位置信息包括细胞中心坐标和细胞直径；

S702、计算所述细胞中心坐标和所述细胞直径的平均值；

S703、计算所述细胞中心坐标和所述细胞直径的标准差；

S704、通过对所述第二髓系血细胞显微镜图像中每张图的像素信息加或减少相同的色度，更新所述细胞中心坐标和所述细胞直径，使所述平均值为0，并使所述标准差为1；

S705、将更改后的所述第二髓系血细胞显微镜图像存储为所述第三髓系血细胞显微镜图像。

具体的，由于经过一次或多此不同类型的数据增强可能导致数据不再具有相同标准，采用不同标准的所述第二髓系血细胞显微镜图像会影响最终的目标信息识别结果。当髓系血细胞显微镜图像和增强图像中的原始数据在不同维度上的特征的单位不一致时，最终运算获得的特征则是不准确的。

举例说明，在训练神经网络的过程中，通过将数据标准化，能够加速权重参数的收敛。因此，在对髓系血细胞显微镜图像和增强图像进行数据标准化处理能够消除其中特征之间的差异性，提高识别并得到的分类信息和位置信息的准确性。

本发明实施例中，通过像素信息获得像素深度变化明显的区域，计算细胞中心坐标、细胞直径，进而以此为基础进行计算平均值和标准差运算，使最终的平均值为0，标准差为1，进行标准化处理。通过数据标准化处理，使得不同的特征变量具有相同的尺度，这样目标变量就可以由多个相同尺寸的特征变量进行控制，在进行进一步学习运算时，不同特征对参数的影响程度保持一样。

图8是本发明一个实施例的一种髓系血细胞识别方法中的对所述第三髓系血细胞显微镜图像进行实例分割处理的流程图。

如图8所示，在一个实施例中，优选地，所述对所述第三髓系血细胞显微镜图像进行实例分割处理包括：

S801、获取所有的所述第三髓系血细胞显微镜图像，并对所述第三髓系血细胞显微镜图像进行预处理；所述预处理包括通过颜色、边缘、纹理特征判断目标细胞的所在区域；

S802、利用将其输入到一个预训练后的神经网络中获得对应的特征网络，其中，所述特征提取网络为ResNet、ResNeXt、FPN、RetinaNet、Dilated-C5或其组合；

S803、根据所述特征提取网络对预处理后的所述第三髓系血细胞显微镜图像进行实例分割算法处理，获取目标细胞的所在区域、位置和类型；

S804、根据目标细胞的所在区域、位置和类型存储到所述目标髓系血细胞显微镜图像。

其中，ResNet为Residual Network的缩写，中文名为残差网络，是一种深度学习网路，ResNeXt为ResNet的升级版融合网络，中文名为卷积神经网络；FPN全称为FeaturePyramid Networks，是特征图金字塔网络，FPN主要解决的是物体检测中的多尺度问题，通过网络连接改变，在基本不增加原有模型计算量的情况下，提升检测的性能；RetinaNet是一种试验FPN来获取多尺度特征，用于对象分类的检测器；Dilated-C5是全称为DilatedCnvolutions 5，是一种扩张卷积，在神经网络中即参数数量不变，区别在于扩张卷积具有更大的感受野。

本发明实施例中，通过细胞区域确定、特征网络分析、实例分割三步完成目标细胞的区域、位置和类型的获取；细胞区域确定为粗确定细胞区域，进一步，在粗确定的细胞区域基础上，特征网络分析通过对图像进行多种神经网络分析，确认是否有离线存储数据内相似的像素分布特征，分析数据类型，实例分割算法对处理后图像中髓系血细胞进行目标检测和像素级分割，利用像素级相似度对比，检测目标细胞的位置、类型等信息。

在一个实施例中，优选地，所述髓系血细胞识别方法还包括：

判断所述目标髓系血细胞显微镜图像中是否存在有疑义的信息，对存在疑义的图像对应的所述目标髓系血细胞显微镜图像进行数据增强变换的逆运算，其中，所述数据增强变换的逆运算包括所述几何变换、所述随机噪声和所述颜色抖动的逆过程；

将数据增强变换的逆运算后获得的髓系血细胞显微镜图像更新所述目标髓系血细胞显微镜图像。

具体地，数据增强变换的原运算可以例如将第一原图通过镜像得到增强图像，而数据增强变换的逆运算则为通过得到的增强图像进行逆镜像得到对应的第二原图，从而将第一原图和经过逆运算后得到的第二原图进行比较而进行验证。

图9是本发明一个实施例的一种髓系血细胞识别方法中的确定所述目标髓系血细胞显微镜图像中的目标识别信息的流程图。

如图9所示，在一个实施例中，优选地，所述确定所述目标髓系血细胞显微镜图像中的目标识别信息，具体包括：

S901、对所述目标髓系血细胞显微镜图像中的目标细胞的所在区域、位置和类型进行集成学习处理，得到分类结果和位置结果；

S902、根据所述分类结果对所述髓系血细胞显微镜图像中的各类细胞进行细胞计数；

S903、根据所述分类结果对所述髓系血细胞显微镜图像中的细胞进行细胞总数计数；

S904、将所述分类结果、所述位置结果、所述细胞计数和所述细胞总数计数存储到所述目标髓系血细胞显微镜图像中的目标识别信息。

本发明实施例中，通过位置、类型数据在所述目标髓系血细胞显微镜图像中进行标记，并计算不同类型的细胞总数，进而将不同类型细胞总数、总细胞数、细胞类型和位置等信息全部标记在所述目标髓系血细胞显微镜图像中，可以为后续的医学分析提供直观的数据，同时当大量数据混杂时，可以直观的显示出细胞总数有助于医学分析的效率。

图10是本发明一个实施例的一种髓系血细胞识别装置的结构图。

如图10所示，在一个实施例中，优选地，所述髓系血细胞识别装置包括：

第一获取单元1001，获取骨髓涂片，并染色为第一髓系血细胞显微镜图像；

第二获取单元1002，对所述第一髓系血细胞显微镜图像进行数据增强变换，获取第二髓系血细胞显微镜图像；

第一处理单元1003，对所述第二髓系血细胞显微镜图像进行数据标准化处理，获得第三髓系血细胞显微镜图像；

第二处理单元1004，对所述第三髓系血细胞显微镜图像进行实例分割处理，获取目标髓系血细胞显微镜图像；

确定单元1005，确定所述目标髓系血细胞显微镜图像中的目标识别信息。

在本发明实施例中，建立了一套髓系血细胞识别装置，该装置通过将数据获取、数据处理和数据确定分布化，实现流水线使的对髓系血细胞识别的自动识别，并最终在所述的确定单元输出目标识别信息，并在过程中自动剔除有疑义的识别信息，提升了整体的髓系血细胞识别的识别效率和识别正确性。

如图11所示，图11是本发明一个实施例的一种髓系血细胞识别方法中所述目标髓系血细胞显微镜图像中获得的所述目标识别信息图像。在一个实施例中，优选地，所述目标髓系血细胞显微镜图像中的目标识别信息包括细胞编号、位置信息和类型信息；

具体的，所述目标识别信息图像内获得的信息包括：zxfyhlxb、zxgzhlxb、wyhxb、zyhxb、zxwyxb、lbxb。所述目标识别信息图像内的细胞信息为所述类型信息的拼音首字母。

所述细胞编号为对所述目标髓系血细胞显微镜图像中的对应所有的细胞进行细胞的计数结果以及在对应类型细胞计数的所述细胞计数；

所述位置信息包括：所述目标髓系血细胞显微镜图像中所述细胞编号对应的中心坐标、直径；

所述类型信息包括：原始粒细胞、早幼粒细胞、中性中幼粒细胞、中性晚幼粒细胞、中性杆状核粒细胞、中性分叶核粒细胞、嗜酸中幼粒细胞、嗜酸晚幼粒细胞、嗜酸杆状核粒细胞、嗜酸分叶核粒细胞、幼稚嗜酸性粒细胞、嗜碱中幼粒细胞、嗜碱晚幼粒细胞、嗜碱杆状核粒细胞、嗜碱分叶核粒细胞、成熟嗜碱性粒细胞、幼稚嗜碱性粒细胞、原始红细胞、早幼红细胞、中幼红细胞、晚幼红细胞、原幼淋巴细胞、淋巴细胞、异型淋巴细胞、原始单核细胞、幼稚单核细胞、单核细胞、原幼浆细胞、浆细胞、异常浆细胞、骨髓瘤细胞、原始巨核细胞、幼稚巨核细胞、颗粒型巨核细胞、产板型巨核细胞、裸核型巨核细胞、淋巴瘤细胞、组织细胞、涂抹细胞、吞噬细胞和/或海蓝细胞。

在一个或多个实施例，所述髓系血细胞识别方法能够识别出多种细胞分类，但不限于上述举例，本发明能够准确地识别出各种细胞，但需要提前将所述细胞的像素特征离线存储到数据库内。

在本发明实施例中，通过获得的所述的类型信息，为进一步的医学分析提供了数据基础，相对于现有技术中仅将白细胞粗略分类为淋巴细胞、嗜酸粒细胞、嗜碱粒细胞、中性粒细胞，本方案获得的细胞分类更全，可提升识别的精度和准确度，使利用所述髓系血细胞显微镜图像进行数据分析有更全的依据。

图12是本发明实施例的电子设备的示意图。图12所示的电子设备为通用髓系血细胞识别装置，其包括通用的计算机硬件结构，其至少包括处理器1201和存储器1202。处理器1201和存储器1202通过总线1203连接。存储器1202适于存储处理器1201可执行的指令或程序。处理器1201可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器1201通过执行存储器1202所存储的指令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其它装置的控制。总线1203将上述多个组件连接在一起，同时将上述组件连接到显示控制器1204和显示装置以及输入/输出(I/O)装置1205。输入/输出(I/O)装置1205可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出装置1205通过输入/输出(I/O)控制器1206与系统相连。

在本实施例的技术方案中，提供了一种髓系血细胞识别方法及系统，通过数据增强变换和数据标准化处理可以丰富髓系血细胞显微镜图像中关于髓系血细胞的数据分布、提高处理系统的泛化性和鲁棒性、防止过度拟合；再采用特征提取网络对处理后图像进行实例分割算法处理，可以完整且准确地识别出髓系血细胞在髓系血细胞显微镜图像上的具体分类和具体位置，即使是拥挤或堆叠的细胞群，也可以将其中的细胞识别出来，提高识别的完整性和准确性；本发明的髓系血细胞识别方法，使用简单，能够避免由于人手对髓系血细胞进行分类和计数而出现的错误，大程度上节约识别的时间成本，提高工作效率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种髓系血细胞识别方法，其特征在于，包括：

获取骨髓涂片，并染色为第一髓系血细胞显微镜图像；

对所述第一髓系血细胞显微镜图像进行数据增强变换，获取第二髓系血细胞显微镜图像；

对所述第二髓系血细胞显微镜图像进行数据标准化处理，获得第三髓系血细胞显微镜图像；

对所述第三髓系血细胞显微镜图像进行实例分割处理，获取目标髓系血细胞显微镜图像；

确定所述目标髓系血细胞显微镜图像中的目标识别信息。

2.如权利要求1所述的一种髓系血细胞识别方法，其特征在于，所述对所述第一髓系血细胞显微镜图像进行数据增强变换，具体包括：

将所述第一髓系血细胞显微镜图像进行几何增强，生成几何增强的第二髓系血细胞显微镜图像，其中，所述几何增强包括对所述第一髓系血细胞显微镜图像进行平移、缩放、翻转、旋转和裁剪；

将所述第一髓系血细胞显微镜图像进行随机噪声，生成随机噪声的第二髓系血细胞显微镜图像，其中，所述随机噪声为对所述第一髓系血细胞显微镜图像的每个像素点的颜色随机生成颜色误差，所述颜色误差在所述第一髓系血细胞显微镜图区域内服从高斯分布；

将所述第一髓系血细胞显微镜图像进行颜色抖动，生成颜色抖动的第二髓系血细胞显微镜图像，其中，所述颜色抖动为对所述第一髓系血细胞显微镜图像进行亮度、饱和度和对比度的调整；

将所述几何增强的第二髓系血细胞显微镜图像、所述随机噪声的第二髓系血细胞显微镜图像和所述颜色抖动的第二髓系血细胞显微镜图像一起存储为所述第二髓系血细胞显微镜图像。

3.如权利要求2所述的一种髓系血细胞识别方法，其特征在于，所述对所述第二髓系血细胞显微镜图像进行数据标准化处理包括：

获取所述第二髓系血细胞显微镜图像中的像素信息，计算所述第二髓系血细胞显微镜图像中的位置信息，其中，所述第二髓系血细胞显微镜图像中的位置信息包括细胞中心坐标和细胞直径；

计算所述细胞中心坐标和所述细胞直径的平均值；

计算所述细胞中心坐标和所述细胞直径的标准差；

通过对所述第二髓系血细胞显微镜图像中每张图的像素信息增加或减少相同的色度，更新所述细胞中心坐标和所述细胞直径，使所述细胞中心坐标和所述细胞直径的平均值为0，并使所述细胞中心坐标和所述细胞直径的标准差为1；

将更改后的所述第二髓系血细胞显微镜图像存储为所述第三髓系血细胞显微镜图像。

4.如权利要求3所述的一种髓系血细胞识别方法，其特征在于，所述对所述第三髓系血细胞显微镜图像进行实例分割处理包括：

获取所有的所述第三髓系血细胞显微镜图像，并对所述第三髓系血细胞显微镜图像进行预处理；所述预处理包括通过颜色、边缘、纹理特征判断目标细胞的所在区域；

利用将其输入到一个预训练后的神经网络中获得对应的特征提取网络，其中，所述特征提取网络为ResNet、ResNeXt、FPN、RetinaNet、Dilated-C5或其组合；

根据所述特征提取网络对预处理后的所述第三髓系血细胞显微镜图像进行实例分割算法处理，获取目标细胞的所在区域、位置和类型；

根据目标细胞的所在区域、位置和类型存储到所述目标髓系血细胞显微镜图像。

5.如权利要求4所述一种髓系血细胞识别方法，其特征在于，该方法还包括：

判断所述目标髓系血细胞显微镜图像中是否存在有疑义的信息，对存在疑义的图像对应的所述目标髓系血细胞显微镜图像进行数据增强变换的逆运算，其中，所述数据增强变换的逆运算包括所述几何增强、所述随机噪声和所述颜色抖动的逆过程；

将数据增强变换的逆运算后获得的髓系血细胞显微镜图像更新所述目标髓系血细胞显微镜图像。

6.如权利要求1所述的一种髓系血细胞识别方法，其特征在于，所述确定所述目标髓系血细胞显微镜图像中的目标识别信息，具体包括：

对所述目标髓系血细胞显微镜图像中的目标细胞的所在区域、位置和类型进行集成学习处理，得到分类结果和位置结果；

根据所述分类结果对所述髓系血细胞显微镜图像中的各类细胞进行细胞计数，存储为细胞计数；

根据所述分类结果对所述髓系血细胞显微镜图像中的细胞进行细胞总数计数，存储为总细胞计数；

将所述分类结果、所述位置结果、所述细胞计数和所述细胞总数计数存储到所述目标髓系血细胞显微镜图像中的目标识别信息。

7.如权利要求6所述一种髓系血细胞识别方法，其特征在于，所述目标髓系血细胞显微镜图像中的目标识别信息包括细胞编号、位置信息和类型信息；

所述细胞编号为对所述目标髓系血细胞显微镜图像中的对应所有的细胞进行细胞的计数结果以及在对应类型细胞计数的所述细胞计数；

所述位置信息包括：所述目标髓系血细胞显微镜图像中所述细胞编号对应的中心坐标、直径；

所述类型信息包括：原始粒细胞、早幼粒细胞、中性中幼粒细胞、中性晚幼粒细胞、中性杆状核粒细胞、中性分叶核粒细胞、嗜酸中幼粒细胞、嗜酸晚幼粒细胞、嗜酸杆状核粒细胞、嗜酸分叶核粒细胞、幼稚嗜酸性粒细胞、嗜碱中幼粒细胞、嗜碱晚幼粒细胞、嗜碱杆状核粒细胞、嗜碱分叶核粒细胞、成熟嗜碱性粒细胞、幼稚嗜碱性粒细胞、原始红细胞、早幼红细胞、中幼红细胞、晚幼红细胞、原幼淋巴细胞、淋巴细胞、异型淋巴细胞、原始单核细胞、幼稚单核细胞、单核细胞、原幼浆细胞、浆细胞、异常浆细胞、骨髓瘤细胞、原始巨核细胞、幼稚巨核细胞、颗粒型巨核细胞、产板型巨核细胞、裸核型巨核细胞、淋巴瘤细胞、组织细胞、涂抹细胞、吞噬细胞和/或海蓝细胞。

8.一种髓系血细胞识别装置，其特征在于，该装置包括：

第一获取单元，获取骨髓涂片，并染色为第一髓系血细胞显微镜图像；

第二获取单元，对所述第一髓系血细胞显微镜图像进行数据增强变换，获取第二髓系血细胞显微镜图像；

第一处理单元，对所述第二髓系血细胞显微镜图像进行数据标准化处理，获得第三髓系血细胞显微镜图像；

第二处理单元，对所述第三髓系血细胞显微镜图像进行实例分割处理，获取目标髓系血细胞显微镜图像；

确定单元，确定所述目标髓系血细胞显微镜图像中的目标识别信息。

9.一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-7中任一项所述的方法。

10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-7任一项所述的步骤。

Images