CN114419619A

CN114419619A - 红细胞检测分类方法、装置、计算机存储介质及电子设备

Info

Publication number: CN114419619A
Application number: CN202210316532.0A
Authority: CN
Inventors: 连荷清; 李柏蕤; 方喆君
Original assignee: Beijing Xiaofei Technology Co ltd
Current assignee: Beijing Xiaofei Technology Co ltd
Priority date: 2022-03-29
Filing date: 2022-03-29
Publication date: 2022-04-29
Anticipated expiration: 2042-03-29
Also published as: CN114419619B

Abstract

本发明公开了一种红细胞检测分类方法、装置、计算机存储介质及电子设备，属于血细胞检测领域。本发明首先对大量血液玻片进行全视野摄影，建立玻片扫描图像组。从玻片扫描图像组中分别为图像复原模型、图像检测和多任务分类模型准备训练数据集和验证数据集。使用深度学习和卷积神经网络技术进行模型训练，通过不断地参数调优和误差分析优化模型，得到最终的图像复原模型、图像检测和多任务分类模型。在应用过程中，待检测血液玻片同样进行全视野摄影，建立玻片扫描图像。通过图像复原模型获得复原后的清晰玻片扫描图像，经过图像检测和多任务分类模型，得到红细胞的位置和类别。本发明能够快速、全面、准确、客观的实现红细胞检测分类。

Description

红细胞检测分类方法、装置、计算机存储介质及电子设备

技术领域

本发明涉及血细胞检测领域，特别是指一种红细胞检测分类方法、装置、计算机存储介质及电子设备。

背景技术

目前医院血液检验流程是：血液样品——血液分析仪——推染片机——人工镜检，整个流程耗时60分钟。对患者进行人工抽血得到血液样品；通过血液分析仪得到各种血细胞计数、白细胞分类和血红蛋白含量；通过推染片机进行染色标记，得到用于人工镜检的玻片；最终由专业医生进行人工镜检后得到人工分析的血细胞形态分析结果，包括异常红细胞计数、异常红细胞分类等。

现有的血液分析仪（血球仪、血球计数仪等）技术实现主要基于电阻抗法、激光测定法以及综合方法（流式细胞术、细胞化学染色、特殊细胞质往除法等）等三类。

电阻抗法：属于物理方法。血液按一定比例稀释后经负压吸引通过仪器的一个微孔小管，由于血细胞与稀释液相比是不良导体，当每个血细胞通过微孔时均挤代等体积的稀释液在电路上形成一短暂的电阻而导致电压的变化，产生相应的脉冲信号并经放大、甄别后累加记录。采用此种原理的分析设备经常会不同程度的出现微孔小管堵塞的情况，造成血细胞分类计数结果波动较大。

激光测定法：血液按一定比例稀释后形成一个极细的液流穿过激光束，每个血细胞被激光照射后产生光散射并被光电倍增管接收。细胞的前向角散射与细胞的体积大小有关、侧向角(或高角)散射与细胞的内部结构、颗粒性质等有关，细胞数量则与细胞通过激光束时光散射的脉冲次数相同。各种检测信号被放大、甄别后经计算机处理可得到各种血细胞的数量和体积大小的平均数、变异系数、占全血体积的百分比及体积大小分布直方图等。激光型虽然比电阻型仪器稳定，但激光管寿命有限，而且测定红细胞种类有限。

综合方法：此类仪器是多种先进的细胞分析技术的高度综合应用，对血细胞的分析参数更多，结果也更准确。如Coulter VCS血细胞分析仪就采用了体积分析、高频传导和激光散射等多项技术；Technicon H*3血细胞分析仪则采用了激光流式细胞分析、细胞化学染色、细胞分光光度术等多项技术；瑞典的Cellavision利用图像分析方法，可以在一定程度上减少工作量，但其扫描分析血液玻片范围有限，数据样本量不够，检验结果的客观性不足且识别精度不高，且无法完全取代人工镜检。

由此可知，现有的血液分析仪普遍存在如下缺陷：

1、仪器不仅成本高，而且对单视野红细胞图片的的检测以及多任务分类耗时较长，实时性较差、效率较低，很难对全视野进行分析。

2、红细胞在成长过程中的不同阶段，其所属类别可能会发生变化，人工镜检会存在主观性，复检率较高。

3、红细胞形态丰富，且可以从不同角度进行分类，但是现有技术从单一角度对红细胞进行分析，所涵盖的信息较少，导致分析结果不够全面、具体。

4、现有仪器能够分析的红细胞类别数目有限，导致对红细胞的分析不够客观全面。

5、对于待测血液玻片，现有技术通过人工选取红细胞分布均匀的单视野图像，工作效率低，通常很难对全视野血细胞进行分析。

发明内容

为解决现有技术中的问题，本发明提供一种红细胞检测分类方法、装置、计算机存储介质及电子设备，快速、全面、准确、客观的实现红细胞检测分类。

本发明提供技术方案如下：

第一方面，本发明提供一种红细胞检测分类方法，所述方法包括：

对若干个血液玻片样本进行全视野摄影，得到多幅血液玻片单视野图像样本；

基于所述多幅血液玻片单视野图像样本，获得第一训练集和第一验证集，基于所述第一训练集和第一验证集训练构建的图像复原模型；

在多幅血液玻片单视野图像样本中选取红细胞分布均匀的血液玻片单视野图像样本，并在选取的血液玻片单视野图像样本上标注出红细胞的位置和类别，获得第二训练集和第二验证集，基于所述第二训练集和第二验证集训练构建的图像检测和多任务分类模型；

其中，所述图像检测和多任务分类模型包括先后进行的特征提取模块、编码模块和解码模块，所述特征提取模块包括若干卷积层和池化层，所述编码模块包括先后进行的多头自注意力模块、残差连接层和全连接层，所述解码模块包括先后进行的多头自注意力模块、残差连接层、多头编码-解码注意力模块、残差连接层和全连接层；

对待测血液玻片进行全视野摄影，将摄影得到的血液玻片单视野图像进行二值化，并进行边缘检测，判断红细胞分布是否均匀，选取红细胞分布均匀的血液玻片单视野图像，得到血液玻片单视野图像组；

将所述血液玻片单视野图像组输入所述图像复原模型进行复原，将复原后的血液玻片单视野图像输入图像检测和多任务分类模型，得到红细胞的位置和类别。

进一步的，所述对若干个血液玻片样本进行全视野摄影，得到多幅血液玻片单视野图像样本，包括：

对于每个单视野，将显微镜在焦距方向上匀速运动，在匀速运动过程中多次拍照；

对于每个单视野，将多次拍照得到的低质量血液玻片单视野图像样本保存在集合A中，高质量血液玻片单视野图像样本保存在集合B中，并且将每个单视野的低质量血液玻片单视野图像样本和高质量血液玻片单视野图像样本进行对应。

进一步的，所述基于多幅血液玻片单视野图像样本，获得第一训练集和第一验证集，包括：

对集合B中的高质量血液玻片单视野图像样本进行校准和标注，使得集合B中均为最高质量的血液玻片单视野图像样本；

从集合A和集合B中随机抽取其中1/10作为第一验证集，其他作为第一训练集。

进一步的，所述在多幅血液玻片单视野图像样本中选取红细胞分布均匀的血液玻片单视野图像样本，并在选取的血液玻片单视野图像样本上标注出红细胞的位置和类别，获得第二训练集和第二验证集，包括：

将血液玻片单视野图像样本进行二值化，并进行边缘检测，判断红细胞分布是否均匀，选取红细胞分布均匀的血液玻片单视野图像样本；

在红细胞分布均匀的血液玻片单视野图像样本上标注出红细胞的位置和类别；

当标注量达到训练要求后，随机抽取其中1/10作为第二验证集，其他作为第二训练集。

进一步的，所述将复原后的血液玻片单视野图像输入图像检测和多任务分类模型，得到红细胞的位置和类别，包括：

将所述复原后的血液玻片单视野图像输入特征提取模块，经若干卷积层和池化层的处理，输出得到图像特征；

将序列化后的图像特征和位置编码输入编码模块的多头自注意力模块，再经过编码模块的残差连接层和全连接层，所述多头自注意力模块、残差连接层和全连接层在所述编码模块中重复多次，得到编码特征；

其中，所述编码模块同时考虑全局特征融合和局部特征融合，所述全局特征融合为将所述特征提取模块输出的所有图像特征经过多头自注意力模块，所述局部特征融合为将所述特征提取模块输出的图像特征进行拆分，拆分后的各部分特征分别经过多头自注意力模块；

经过解码模块的多头自注意力模块、残差连接层，并将所述编码特征输入解码模块的多头编码-解码注意力模块，再经过残差连接层和全连接层，得到红细胞的位置和类别；

其中，所述多头自注意力模块和多头编码-解码注意力模块的操作包括：使用查询矩阵Q匹配关键字矩阵K，并加权到值矩阵V中；

所述多头自注意力模块的查询矩阵Q、关键字矩阵K和值矩阵V通过输入乘以权重矩阵W_Q、W_K、W_V得到，所述多头编码-解码注意力模块的关键字矩阵K和值矩阵V来自编码信息，查询矩阵Q来自解码信息。

第二方面，本发明提供一种红细胞检测分类装置，所述装置包括：

样本获取模块，用于对若干个血液玻片样本进行全视野摄影，得到多幅血液玻片单视野图像样本；

图像复原模型训练模块，用于基于所述多幅血液玻片单视野图像样本，获得第一训练集和第一验证集，基于所述第一训练集和第一验证集训练构建的图像复原模型；

图像检测和多任务分类模型训练模块，用于在多幅血液玻片单视野图像样本中选取红细胞分布均匀的血液玻片单视野图像样本，并在选取的血液玻片单视野图像样本上标注出红细胞的位置和类别，获得第二训练集和第二验证集，基于所述第二训练集和第二验证集训练构建的图像检测和多任务分类模型；

待测图像获取模块，用于对待测血液玻片进行全视野摄影，将摄影得到的血液玻片单视野图像进行二值化，并进行边缘检测，判断红细胞分布是否均匀，选取红细胞分布均匀的血液玻片单视野图像，得到血液玻片单视野图像组；

复原和检测分类模块，用于将所述血液玻片单视野图像组输入所述图像复原模型进行复原，将复原后的血液玻片单视野图像输入图像检测和多任务分类模型，得到红细胞的位置和类别。

进一步的，所述样本获取模块包括：

运动拍摄单元，用于对于每个单视野，将显微镜在焦距方向上匀速运动，在匀速运动过程中多次拍照；

集合分配单元，用于对于每个单视野，将多次拍照得到的低质量血液玻片单视野图像样本保存在集合A中，高质量血液玻片单视野图像样本保存在集合B中，并且将每个单视野的低质量血液玻片单视野图像样本和高质量血液玻片单视野图像样本进行对应。

进一步的，所述图像复原模型训练模块包括：

第一标注单元，用于对集合B中的高质量血液玻片单视野图像样本进行校准和标注，使得集合B中均为每最高质量的血液玻片单视野图像样本；

第一抽取单元，用于从集合A和集合B中随机抽取其中1/10作为第一验证集，其他作为第一训练集；

第一训练单元，用于基于所述第一训练集和第一验证集训练构建的图像复原模型。

进一步的，所述图像检测和多任务分类模型训练模块包括：

均匀分布检测单元，用于将血液玻片单视野图像样本进行二值化，并进行边缘检测，判断红细胞分布是否均匀，选取红细胞分布均匀的血液玻片单视野图像样本；

第二标注单元，用于在红细胞分布均匀的血液玻片单视野图像样本上标注出红细胞的位置和类别；

第二抽取单元，用于当标注量达到训练要求后，随机抽取其中1/10作为第二验证集，其他作为第二训练集；

第二训练单元，用于基于所述第二训练集和第二验证集训练构建的图像检测和多任务分类模型。

进一步的，所述复原和检测分类模块包括：

特征提取单元，用于将所述复原后的血液玻片单视野图像输入特征提取模块，经若干卷积层和池化层的处理，输出得到图像特征；

编码单元，用于将序列化后的图像特征和位置编码输入编码模块的多头自注意力模块，再经过编码模块的残差连接层和全连接层，所述多头自注意力模块、残差连接层和全连接层在所述编码模块中重复多次，得到编码特征；

解码单元，经过解码模块的多头自注意力模块、残差连接层，并将所述编码特征输入解码模块的多头编码-解码注意力模块，再经过残差连接层和全连接层，得到红细胞的位置和类别；

第三方面，本发明提供一种用于红细胞检测分类的计算机存储介质，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括第一方面所述的红细胞检测分类方法的步骤。

第四方面，本发明提供一种用于红细胞检测分类的电子设备，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现第一方面所述的红细胞检测分类方法的步骤。

本发明具有以下有益效果：

1、现有技术从单一角度对红细胞进行分析，导致分析结果不够全面、具体，本发明的图像检测和多任务分类模型从多个角度对红细胞进行分析，例如形态、血红蛋白含量、内容物等，系统地对红细胞进行分析，结果更全面。

2、现有技术对红细胞的分析易受玻片染色、人为因素等影响，本发明的图像检测和多任务分类模型能够适应不同染色的玻片，极大降低了人为因素的干扰，提高检验结果的客观性，高质量地对红细胞进行分析。

3、现有技术只能够分析常见的红细胞类别，无法分析稀有的红细胞类别，本发明的数据库中样本量大，数据类型多样，不仅支持常见红细胞类别分析，也支持稀有类别红细胞分析。

4、对于待测血液玻片，现有技术通过人工选取红细胞分布均匀的单视野图像，工作效率低，通常很难对全视野血细胞进行分析。本发明通过图像处理算法选取分布均匀的单视野图像，大大地提高了工作效率，能够高效地对全视野图像进行分析。

附图说明

图1为本发明的红细胞检测分类方法的流程图；

图2为退化过程的示意图；

图3为BP神经网络的结构图；

图4为BP神经网络的学习过程示意图；

图5为红细胞检测分类结果；

图6为图像检测和多任务分类模型的结构图；

图7为本发明的红细胞检测分类装置的示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本发明实施例提供了一种红细胞检测分类方法，如图1所示，该方法包括：

S100：对若干个血液玻片样本进行全视野摄影，得到多幅血液玻片单视野图像样本。

本步骤首先对大量血液玻片样本使用玻片扫描仪或者显微镜照相系统进行全视野摄影，并进行数字化处理，得到多幅血液玻片单视野图像样本，组成玻片扫描图像组。

具体来说，首先将采集到的血液样本推片得到血液玻片，再利用基于自动化技术的玻片扫描仪或者基于手工调节的显微镜照相系统，拍摄全视野血液照片。

S200：基于多幅血液玻片单视野图像样本，获得第一训练集和第一验证集，基于第一训练集和第一验证集训练构建的图像复原模型。

相机拍摄的血液玻片单视野图像会因为设备本身的机械运动抖动和光学部件差异导致所采集的图像质量变坏，最终导致图像与实际不符。为了能有效的消除低质量图像带来的不利影响，需要构建图像复原模型对图像进行复原。该图像复原模型的输入为低质量图像（下称退化图像），输出为经过去噪、去模糊、锐化后的高质量图像。

先建立退化模型，根据该模型进行训练得到具体退化参数，然后通过采用相反的过程，即可通过去除噪声建立复原模型，从而恢复图像。图像复原模型的构建方式可以有如下两种方式：

方式一：用先验知识进行重建

图像复原是一个客观的过程，针对质量降低或失真的图像，试图恢复其原始的内容或质量。复原技术是面向退化模型的，并且采用相反的过程进行处理，以便恢复出原图像。在进行图像复原之前要先建立起其退化模型，根据该模型进行图像复原。通过去除噪声建立复原模型，从而恢复图像，退化过程如图2所示。

则可以得到：

：

其中，*表示卷积，其频率域的表示为：

。

退化函数通过观察、经验、建模等方式进行估计。相机的噪声主要来自于图像的获取过程和传输过程，因此从噪声的空域和频域构造退化函数。其中一些重要的噪声如高斯噪声、瑞利噪声、Gamma噪声等，采取的复原方式如均值滤波器、统计顺序滤波器、自适应滤波器、带阻滤波器、带通滤波器、陷波滤波器、陷波带通滤波器、最优陷波滤波器、反向滤波、维纳滤波等。

方式二：采用深度卷积神经网络进行超分辨率图像重建

利用大量的血液玻片样本训练卷积神经网络，提取退化图像有效感知特征，再将提取的特征向量作为BP神经网络的输入来训练BP神经网络,从而实现利用卷积神经网络模型进行图像去模糊和图像超分辨率重建。

如图3所示，一个BP神经网络由输入层、隐含层、输出层组成。其学习方式由正向传播和反向误差传播组成。退化图像先进入输入层，再经由输入层进入中间隐含层，然后至输出层。如果输出层与预期无法匹配，则根据输出层与预期的差值进行逆向传播，在这个过程中，调整隐含层的各个权重，从而使得反馈的误差变小，如图4所示。以上过程进行反复迭代，直至输出小于设定的阈值，生成最终模型。

训练深度卷积神经网络时，可以基于多幅血液玻片单视野图像样本，获得第一训练集和第一验证集，并基于第一训练集和第一验证集训练构建的图像复原模型（即深度卷积神经网络），将训练完成的图像复原模型进行打包并部署。

S300：在多幅血液玻片单视野图像样本中选取红细胞分布均匀的血液玻片单视野图像样本，并在选取的血液玻片单视野图像样本上标注出红细胞的位置和类别，获得第二训练集和第二验证集，基于第二训练集和第二验证集训练构建的图像检测和多任务分类模型。

本步骤主要是为了端到端地训练图像检测和多任务分类模型，目的是确定红细胞的位置，同时预测其在不同任务上的所属类别。图像检测和多任务分类模型的输入为整张单视野大图，输出是检测到的红细胞及其在各任务上的所属类别。

图5中以两个分类任务为例，分别是形态分类任务和血红蛋白含量分类任务，图5中正常红细胞/嗜多色性红细胞表示在形态分类任务上是正常红细胞，在血红蛋白含量分类任务上是嗜多色性红细胞，其他类似。

在玻片扫描图像组中，由于红细胞数据量大、分布密集，容易出现重叠、挤压等情况，造成其形态失真，影响检测和分类结果，因此我们有目的地提取红细胞分布均匀的单视野大图，在这之后，通过人工的方式在单视野大图上标注出红细胞的位置和所属类别。随机抽取其中一部分作为第二验证集，其余作为第二训练集。

本发明的图像检测和多任务分类模型关注图像局部以及全局信息，能够提升检测和分类的准确率，主要包括3个模块，如图6所示，分别是先后进行的特征提取模块、编码模块和解码模块，特征提取模块包括若干卷积层和池化层，编码模块包括先后进行的多头自注意力模块、残差连接层和全连接层，解码模块包括先后进行的多头自注意力模块、残差连接层、多头编码-解码注意力模块、残差连接层和全连接层。

使用第二训练集和第二验证集对上述图像检测和多任务分类模型进行训练，通过迭代调参得到图像检测和多任务分类模型，对完成的模型进行打包并部署。

图像复原模型、图像检测和多任务分类模型训练完成后，即可对待测血液玻片进行红细胞的检测和分类，其步骤如下：

S400：对待测血液玻片进行全视野摄影，将摄影得到的血液玻片单视野图像进行二值化，并进行边缘检测，判断红细胞分布是否均匀，选取红细胞分布均匀的血液玻片单视野图像，得到血液玻片单视野图像组。

本步骤中，采集血液玻片单视野图像的方式与步骤S100相同，也同样需要经过玻片扫描仪或者显微镜照相系统进行全视野摄影，建立玻片扫描图像组，本步骤中不再赘述。

本发明通过图像处理算法选取分布均匀的单视野图像，大大地提高了工作效率，能够高效地对全视野图像进行分析。

S500：将血液玻片单视野图像组输入图像复原模型进行复原，将复原后的血液玻片单视野图像输入图像检测和多任务分类模型，得到红细胞的位置和类别，并输出报告。

本发明中，首先对大量血液玻片使用玻片扫描仪或者显微照相系统进行全视野摄影，建立玻片扫描图像组。从玻片扫描图像组中分别为图像复原模型、图像检测和多任务分类模型准备训练数据集和验证数据集。最后，使用人工智能技术（深度学习和卷积神经网络）进行模型训练，并通过不断地参数调优和误差分析优化模型，最终得到成熟的图像复原模型、图像检测和多任务分类模型，并进行部署。

在系统应用过程中，待检测血液玻片也同样需要经过玻片扫描仪或者显微照相系统进行全视野摄影，建立玻片扫描图像。再通过图像复原模型处理后获得复原后的清晰玻片扫描图像，再经过图像检测和多任务分类模型，得到红细胞的位置和类别，并输出报告。

本发明具有如下有益效果：

前述的S100的其中一种实现方式包括：

S101：对于每个单视野，将显微镜在焦距方向上匀速运动，在匀速运动过程中多次拍照。

S102：对于每个单视野，将多次拍照得到的低质量血液玻片单视野图像样本保存在集合A中，高质量血液玻片单视野图像样本保存在集合B中，并且将每个单视野的低质量血液玻片单视野图像样本和高质量血液玻片单视野图像样本进行对应。

在生成玻片扫描图像组的过程中，本发明有目的的将运动过程中拍摄的所有清晰和模糊图像进行保存，这样就可以从玻片扫描图像组中提取出A和B两个集合，A是所有低质量的退化图像，B是高质量的清晰图像。且A集合中的元素和B集合中的元素是多对一的关系，即一个视野的高质量清晰图像对应多个低质量的退化图像。

S201：对集合B中的高质量血液玻片单视野图像样本进行人工校准和标注，并使得集合B中均为最高质量的血液玻片单视野图像样本。

本发明组织专业医生组成标注团队，超过3年持续标注，建设国内一流细胞数据库。

S202：从集合A和集合B中随机抽取其中1/10作为第一验证集，其他作为第一训练集。

进一步的，前述的S300包括：

S301：将血液玻片单视野图像样本进行二值化，并进行边缘检测，判断红细胞分布是否均匀，选取红细胞分布均匀的血液玻片单视野图像样本。

S302：在红细胞分布均匀的血液玻片单视野图像样本上标注出红细胞的位置和类别。

S303：当标注量达到训练要求后，随机抽取其中1/10作为第二验证集，其他作为第二训练集。

图像检测和多任务分类模型的处理过程如图6所示，包括：

S501：将复原后的血液玻片单视野图像输入特征提取模块，经若干卷积层和池化层的处理，输出得到图像特征。

在特征提取模块中，输入的原图尺寸为608x608x3，首先经过特征提取模块的backbone（主干网络），其中backbone由若干卷积、池化组成。

S502：将序列化后的图像特征和位置编码输入编码模块的多头自注意力模块(Multi-Head Self-Attention)，再经过编码模块的残差连接层和全连接层，所述多头自注意力模块、残差连接层和全连接层在所述编码模块中重复多次，为了适应细胞尺寸的变化，构建多尺度特征图，最终得到编码特征。

编码模块同时考虑全局特征融合和局部特征融合，全局特征融合为将所述特征提取模块输出的所有图像特征经过多头自注意力模块，局部特征融合为将所述特征提取模块输出的图像特征进行拆分，拆分后的各部分特征分别经过多头自注意力模块。

Multi-Head Self-Attention为多头自注意力模块，该模块能够充分编码图像局部以及全局信息，在输入序列上分别乘以W_Q、W_K、W_V，其中W_Q、W_K、W_V是图像检测和多任务分类模型训练得到的三个参数矩阵，转换后得到查询矩阵Q、关键字矩阵K和值矩阵V，其中查询矩阵Q的作用是匹配关键字矩阵K，例如序列中某一个位置的查询矩阵Q去匹配关键字矩阵K得到注意力矩阵，将其加权到值矩阵V中，得到最终的输出。经过一个残差连接层之后，进入全连接层。上述过程重复多次，得到最终的编码特征。

S503：在解码模块（decoder）中，首先经过多头自注意力模块、残差连接层，然后将编码特征输入解码模块的多头编码-解码注意力模块，再经过残差连接层和全连接层。上述过程重复多次，得到红细胞的位置和类别。

解码模块输入是N维的序列，N表示预测物体的个数，N大于图像中真实物体个数，经过Multi-Head Self-Attention模块、残差连接之后，再经过Multi-Head Attention。其中Multi-Head Attention为多头编码-解码注意力模块，与Multi-Head Self-Attention模块相比，Multi-Head Attention在Q、K、V的选择上有所变化，此时K、V来自于编码信息，Q来自解码信息。

实施例2：

本发明实施例提供一种红细胞检测分类装置，如图7所示，该装置包括：

样本获取模块1，用于对若干个血液玻片样本进行全视野摄影，得到多幅血液玻片单视野图像样本。

图像复原模型训练模块2，用于基于多幅血液玻片单视野图像样本，获得第一训练集和第一验证集，基于第一训练集和第一验证集训练构建的图像复原模型。

图像检测和多任务分类模型训练模块3，用于在多幅血液玻片单视野图像样本中选取红细胞分布均匀的血液玻片单视野图像样本，并在选取的血液玻片单视野图像样本上标注出红细胞的位置和类别，获得第二训练集和第二验证集，基于第二训练集和第二验证集训练构建的图像检测和多任务分类模型。

其中，图像检测和多任务分类模型包括先后进行的特征提取模块、编码模块和解码模块，特征提取模块包括若干卷积层和池化层，编码模块包括先后进行的多头自注意力模块、残差连接层和全连接层，解码模块包括先后进行的多头自注意力模块、残差连接层、多头编码-解码注意力模块、残差连接层和全连接层。

待测图像获取模块4，用于对待测血液玻片进行全视野摄影，将摄影得到的血液玻片单视野图像进行二值化，并进行边缘检测，判断红细胞分布是否均匀，选取红细胞分布均匀的血液玻片单视野图像，得到血液玻片单视野图像组。

复原和检测分类模块5，用于将血液玻片单视野图像组输入图像复原模型进行复原，将复原后的血液玻片单视野图像输入图像检测和多任务分类模型，得到红细胞的位置和类别。

前述样本获取模块包括：

运动拍摄单元，用于对于每个单视野，将显微镜在焦距方向上匀速运动，在匀速运动过程中多次拍照。

图像复原模型训练模块包括：

第一标注单元，用于对集合B中的高质量血液玻片单视野图像样本进行校准和标注，使得集合B中均为最高质量的血液玻片单视野图像样本。

第一抽取单元，用于从集合A和集合B中随机抽取其中1/10作为第一验证集，其他作为第一训练集。

第一训练单元，用于基于第一训练集和第一验证集训练构建的图像复原模型。

图像检测和多任务分类模型训练模块包括：

均匀分布检测单元，用于将血液玻片单视野图像样本进行二值化，并进行边缘检测，判断红细胞分布是否均匀，选取红细胞分布均匀的血液玻片单视野图像样本。

第二标注单元，用于在红细胞分布均匀的血液玻片单视野图像样本上标注出红细胞的位置和类别。

第二抽取单元，用于当标注量达到训练要求后，随机抽取其中1/10作为第二验证集，其他作为第二训练集。

第二训练单元，用于基于第二训练集和第二验证集训练构建的图像检测和多任务分类模型。

复原和检测分类模块包括：

特征提取单元，用于将复原后的血液玻片单视野图像输入特征提取模块，经若干卷积层和池化层的处理，输出得到图像特征。

编码单元，用于将序列化后的图像特征和位置编码输入编码模块的多头自注意力模块，再经过编码模块的残差连接层和全连接层，所述多头自注意力模块、残差连接层和全连接层在所述编码模块中重复多次，为了适应细胞尺寸的变化，构建多尺度特征图，得到编码特征。

解码单元，经过解码模块的多头自注意力模块、残差连接层，并将编码特征输入解码模块的多头编码-解码注意力模块，再经过残差连接层和全连接层，得到红细胞的位置和类别。

其中，多头自注意力模块和多头编码-解码注意力模块的操作包括：使用查询矩阵Q匹配关键字矩阵K，并加权到值矩阵V中。

多头自注意力模块的查询矩阵Q、关键字矩阵K和值矩阵V通过输入乘以权重矩阵W_Q、W_K、W_V得到，多头编码-解码注意力模块的关键字矩阵K和值矩阵V来自编码信息，查询矩阵Q来自解码信息。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例1相同，为简要描述，该装置实施例部分未提及之处，可参考前述方法实施例1中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的装置和单元的具体工作过程，均可以参考上述方法实施例1中的对应过程，在此不再赘述。

实施例3：

本发明提供的上述实施例1所述的方法可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例1所描述方案的效果。因此，本发明还提供用于红细胞检测分类的计算机存储介质，包括用于存储处理器可执行指令的存储器，指令被处理器执行时实现包括实施例1的红细胞检测分类方法的步骤。

所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置，如各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置，如硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置，如CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。

上述所述的存储介质根据方法实施例1的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例1的描述，在此不作一一赘述。

实施例4：

本发明还提供一种用于红细胞检测分类的电子设备，所述的电子设备可以为单独的计算机，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的实际操作装置等。所述红细胞检测分类的电子设备可以包括至少一个处理器以及存储计算机可执行指令的存储器，处理器执行所述指令时实现上述任意一个或者多个实施例1中所述红细胞检测分类方法的步骤。

上述所述的电子设备根据方法或者装置实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例1的描述，在此不作一一赘述。

需要说明的是，本说明书上述所述的装置或者系统根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照方法实施例的描述，在此不作一一赘述。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类、存储介质+程序实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求按照特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现电子设备为计算机。具体而言，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述并不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种红细胞检测分类方法，其特征在于，所述方法包括：

2.根据权利要求1所述的红细胞检测分类方法，其特征在于，所述对若干个血液玻片样本进行全视野摄影，得到多幅血液玻片单视野图像样本，包括：

3.根据权利要求2所述的红细胞检测分类方法，其特征在于，所述基于多幅血液玻片单视野图像样本，获得第一训练集和第一验证集，包括：

4.根据权利要求3所述的红细胞检测分类方法，其特征在于，所述在多幅血液玻片单视野图像样本中选取红细胞分布均匀的血液玻片单视野图像样本，并在选取的血液玻片单视野图像样本上标注出红细胞的位置和类别，获得第二训练集和第二验证集，包括：

5.根据权利要求4所述的红细胞检测分类方法，其特征在于，所述将复原后的血液玻片单视野图像输入图像检测和多任务分类模型，得到红细胞的位置和类别，包括：

6.一种红细胞检测分类装置，其特征在于，所述装置包括：

7.根据权利要求6所述的红细胞检测分类装置，其特征在于，所述样本获取模块包括：

8.根据权利要求6或7所述的红细胞检测分类装置，其特征在于，所述复原和检测分类模块包括：

9.一种用于红细胞检测分类的计算机存储介质，其特征在于，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括权利要求1-5任一所述红细胞检测分类方法的步骤。

10.一种用于红细胞检测分类的电子设备，其特征在于，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-5中任意一项所述红细胞检测分类方法的步骤。