CN110647874B - 一种端到端的血细胞识别模型构造方法及应用 - Google Patents

Abstract

本发明涉及一种端到端的血细胞识别模型构造方法及应用。基于全视野图像形成数据样本集，使用人工智能技术训练血细胞识别模型，并通过不断地参数调优和误差分析优化模型，最终形成成熟的识别模型。模型输入为单视野血涂片图像，输出为该图像上所有的细胞位置、边缘及类别。本发明利用计算机实现全视野血细胞分析，极大降低了人为客观因素的干扰，提高检验结果的客观性和一致性。血细胞识别模型具有智能性，软件算法具有自学习属性，随着高质量标注图像的增加，识别模型训练效率逐步提高，可不断优化软件识别分类准确度。

Description

一种端到端的血细胞识别模型构造方法及应用

技术领域

本发明涉及一种端到端的血细胞识别模型构造方法及应用，属于医学图像技术领域。

背景技术

目前医院血液检验流程是：血样品——血液分析仪——推染片机——人工镜检，整个流程约耗时60分钟。人工抽血得到血液样品；通过血液分析仪器得到各种血细胞计数、白细胞分类和血红蛋白含量；通过推染片机进行染色标记到人工镜检的玻片；人工镜检后得到最终的血细胞形态分析结果，例如异常血细胞识别等。

现有的血液分析仪技术主要基于电阻抗、激光测定以及综合方法（流式细胞术、细胞化学染色、特殊细胞质往除法等）等三类实现。

现有技术的问题在于：一是未实现血涂片全视野范围内血细胞的分析和计数，数据样本量不够，导致结果片面性大，不准确；二是计数和分类算法比较传统，形态分析效果较差，识别准确度不高；三是高水平检验医师人才严重不足，并且人工镜检医师主观性无法控制，复检率高；四是时间较长，效率低。

发明内容

本发明的目的在于克服现有技术的不足，提供一种端到端的血细胞识别模型构造方法及应用，基于全视野图像训练血细胞识别模型实现对血涂片进行准确的扫描分析，提高血细胞分割与识别的全面性和准确性。

本发明目的通过如下技术方案予以实现：

本发明一方面提供一种端到端的血细胞识别模型构造方法，包括：

获取至少一幅血涂片中每幅血涂片的多个单视野图像，对每幅血涂片的每个所述单视野图像中的血细胞的类别和边缘进行人工标注，形成实例标注数据库；

构建血细胞识别模型，在所述实例标注数据库中选取样本形成训练集和验证集，对所述血细胞识别模型进行训练，直至所述血细胞识别模型满足边缘分割准确率及类型判断准确率的要求。

本发明另一方面提供一种端到端的血细胞识别模型构造方法，包括：获取至少一幅血涂片中每幅血涂片的多个单视野图像，对每幅血涂片的多个所述单视野图像进行拼接形成一个全视野图像，对每个全视野图像中的血细胞的类别和边缘进行人工标注，形成实例标注数据库；

构建血细胞识别模型，在所述实例标注数据库中选取样本形成训练集和验证集，对所述血细胞识别模型进行训练，直至所述血细胞识别模型满足边缘分割准确率及类型判断准确率的要求。

进一步地，拼接的方式包括：方式一，将物理位置相邻的单视野图像两两进行特征点提取，然后进行图像特征匹配，最终形成完整的全视野图像；或者方式二，判断两张相邻单视野图像重合区域大小，然后将重合部分进行加权平均，获取重合部分图像，最终获取全视野图像。

进一步地，进行类别人工标注的方法为在控制终端对白细胞和/或红细胞的类型进行标注。

进一步地，进行边缘人工标注的方法为标注者对细胞边缘信息进行采集，针对每张图像生成包含单个血细胞的轮廓、面积以及位置信息的文件。

进一步地，所述血细胞识别模型采用全监督、半监督或无监督类型的人工智能算法。

进一步地，所述血细胞识别模型采用全卷积神经网络；全卷积神经网络采用编码器-解码器结构，编码器对输入的图像进行编码，提取特征；解码器对提取的特征进行解码，还原图像语义。

进一步地，所述血细胞识别模型首先进行编码运算，输入单视野血涂片图像，在每一层会进行双卷积运算，提取浅层特征，随后进行一次最大池化运算，进行所需特征提取，再次进行卷积运算，增加通道数量；

进行解码运算，首先进行一次卷积运算对解码结果进行上采样，随后进行双卷积运算，继续提取特征，再次进行卷积运算，浅层特征进行连接传递给深层，最后一层卷积输出特征图，得到待分割对象的潜在区域；然后对于所述潜在区域进行卷积运算，提取特征，利用残差块结构提取潜在区域的特征向后传播梯度，得到一张细粒度更高的特征图；

所述细粒度更高的特征图通过全连接网络进行回归以及目标对象的分类任务，最后一层全连接层的输出即为待检测对象每个像素的坐标和类别信息；所述细粒度更高的特征图进行卷积还通过Mask算法得到待检测对象的掩膜，再将所述掩膜和全连接层得到的所述类别信息融合，得到实例分割的结果。

进一步地，所述Mask算法包括获取所述细粒度更高的特征图对应的位置及边缘信息，进行全卷积神经网络FCN处理，获得每个像素所属的类别为目标像素还是背景像素，进行残差处理，获得梯度传递后结果，进行池化，获得特征降维后向量，进行卷积，最后获得该位置处的血细胞对应的边缘信息。

本发明另一方面提供一种端到端的血细胞分割识别方法，包括：

利用所述的端到端的血细胞识别模型构造方法构建的血细胞识别模型，对每个单视野玻片扫描图像进行处理，获得各个所述单视野玻片扫描图像中血细胞位置、边缘及类别，标注在各个所述单视野玻片扫描图像上并输出。

进一步地，对于单视野玻片扫描图像，先确定分割的视野范围再进行处理；视野范围包括成像理想的特定区域、血细胞分布较多的重要部位和/或医生指定区域。

进一步地，对所述血细胞识别模型的边缘和类别标注结果分别进行人工评估，根据评估结果反向传递梯度，优化血细胞识别模型；

所述血细胞识别模型采用编码-解码架构进行血细胞位置区域的ROI特征图的提取，运用残差网络进行ROI特征图特征的提取，采用分类器基于所提取的特征获得该特征图对应的坐标和类别，Mask算法基于所述坐标获得对应的边缘。

本发明与现有技术相比具有如下优点：

（1）本发明的血细胞识别模型基于神经网络的人工智能识别分析系统架构和信息流程设计，具有开放性，根据不同应用领域，可以实现人工智能算法的选择和开放更新；通用性好，对于符合软件系统要求的图像输入均可实现识别分析；

（2）本发明血细胞识别模型具有智能性，软件算法具有自学习属性，随着高质量标注图像的增加，识别模型训练效率逐步提高，可不断优化软件识别分类准确度。

（3）本发明利用计算机实现全视野血细胞分析，保证了样本的全面性和准确性，提高了模型识别的准确性，极大降低了人为客观因素的干扰，提高检验结果的客观性和一致性。

（4）本发明基于全视野图像生成样本库，避免在单视野遗漏边缘不完整细胞，另外由于本发明能快速对血细胞进行准确定位与识别，因此能够保证全视野图像中全部血细胞（少则数千个，多则十万个）分析的准确性和高效性，同时，进行血细胞识别模型的训练，保证了样本数据的准确性和全面性，提高了识别标注的准确性。

（5）对单视野图像进行了图像质量评价，选择细胞最清晰的图像作为该视野的最终单视野图像，保证了作为样本的单视野图像的质量。

（6）本发明仅需输入单视野血涂片图像即可输出识别结果，实现了端到端的设计，使用者操作便捷。

附图说明

图1为血细胞识别模型构建流程图；

图2为血细胞识别模型训练流程图；

图3为一个实施例中血细胞识别模型示意图;

图4为一个实施例中边缘信息标注示意图；

图5为一个实施例中类别标注示意图；

图6为一个单视野血涂片图像；

图7为图6标注后的图像。

具体实施方式

结合图1，血细胞识别模型的构造，首先对血涂片进行显微镜下的全视野摄影，建立玻片扫描图像组；然后由专业的医生与普通标注者组成的标注团队对原始血细胞图片进行人工标注，并随机抽取图像建立训练集和验证集；最后，使用人工智能技术进行模型训练，并通过不断地参数调优和误差分析优化模型，最终形成成熟的图像示例识别模型。该模型输入为单视野血涂片图像，输出为该图像上所有的目标细胞位置、边缘及类别。

（1）图像采集

将已经染色推片的血涂片放入显微镜下，连接相机后，调节对焦的同时对同一视野进行高速连续拍照，然后对该视野的若干张图像进行图像质量评价，选择细胞最清晰的图像作为该视野的最终单视野图像，图像清晰度评价算法包含但不限于PSNR（Peak Signalto Noise Ratio，即峰值信噪比）、SSIM（structural similarity index，结构相似性）等。

由于相机在高倍显微镜下，尤其是100倍物镜下，所拍摄范围有限，仅能拍摄物理大小大约150*100μm的单视野图像，单视野图像边缘的血细胞无法准确识别。为了无遗漏的获取整个血液玻片细胞的图像，需将大约25000张单视野图像拼接为全视野图像，单视野图像边缘的血细胞在拼接后形成完整血细胞图像，相较于单视野图像，全视野图像能够无遗漏的提取处于单视野边缘的不完整细胞。拼接常用的算法包括但不限于FAST 算法、SURF算法、图像配准等。

将采集到的血液样本进行数字化处理并建立血液图片数据库，该数据库中保存的是血涂片的全玻片全视野血液图像或者为图像质量评价后图像质量最好的单视野图像。

（2）人工标注

实例分割数据标注工作分为血细胞边缘标注及类别标注，可以分别由普通标注者与具有丰富经验的血液检验科医生来完成，并对标注结果进行交叉验证，交叉验证的过程至少有两个以上的标注者参与，具体过程为将同一批数据分发给不同的标注者，标注结果相同则认为标注有效。否则如果标注无效则删除该图像，或者重新标注。

血细胞边缘标注由专业的标注软件来辅助完成，标注者对血液图片数据库中全视野血液图像或者单视野图像的细胞边缘信息进行采集，针对每张图像生成对应的json格式文件，此文件包含单个血细胞的轮廓、面积、定位等信息。

类别标注部分，为了方便专业医生及相关标注人员的标注工作，可选择性配备基于三种平台的白细胞和红细胞标注两大类细胞的专家标注系统，三种平台包括iOS、Android和PC三大平台。在一个实施例中充分利用移动设备的便携性，开发对应的APP将数据分发至标注人员的移动设备上，使用者可随时针对不同的图像类型进行血细胞类别的标注。

完成边缘标注、类别标注及交叉验证后，标注结果有效的单视野或全视野血液图像汇聚形成实例标注数据库，作为训练样本集。

（3）构建血细胞识别模型并训练

血细胞识别模型采用人工智能算法实现，包括但不限于采用卷积神经网络，也可以其他全监督、半监督类型或非监督类人工智能算法。实现单视野血涂片图像的快速识别。

随机从样本集中选取全视野血液图像或单视野图像形成训练集和验证集。按照十折交叉验证（10-fold cross-validation）的要求，将数据集平均分成十份，轮流将其中9份作为训练数据，1份作为测试数据，进行训练和优化。

结合图2，从样本集中分别选择细胞边缘标注有效的图像形成细胞边缘数据集，选择细胞类别标注有效的图像形成细胞类别数据集，并分别从细胞边缘数据集和细胞类别数据集中提取训练集和验证集对血细胞识别模型 进行训练。

如果血细胞识别模型 的获得单个边缘分割准确率（R）大于设定阈值F1，图像的类型判别的准确率（R）大于设定阈值F2，则完成模型训练，将模型打包；否则，如果任一准确率（R）不满足阈值要求，则进行梯度反向传递，提高准确率（R），调整血细胞识别模型 。

在实际应用中，血细胞识别模型输入为单视野血涂片图像，标记图片中每一个像素，并将每一个像素与其表示的类别对应起来。对已标记像素级图像分割数据集训练以获得识别模型，基于全卷积神经网络（FCN）的网络结构能够很好的将血细胞从背景中分离出来并进行分类，分割识别采用卷积自编码器结构，网络的核心部分主要分为编码器和解码器两部分，编码器对输入的图像进行编码，提取特征；解码器对提取的特征进行解码，还原图像语义。

图3为基于全卷积神经网络（FCN）血细胞识别模型 的实施例。网络设计运用了编码-解码（Encoder-Decoder）架构进行血细胞位置区域的ROI特征图的提取，运用残差网络进行ROI特征图特征的提取。首先进行编码Encoder运算，利用全卷积网络input的输入单视野血涂片图像大小为572*572，在每一层会进行kernel_size = 3的双卷积运算（con），设置通道（channel）数量为100，来充分提取浅层特征，随后进行一次kernel_size = 2 的最大池化（maxpooling）运算，使得网络可以提取出最关键的特征。随后再次进行卷积运算（up_conv），增加通道（channel）数量为原来2倍，以此规则最终channel = 300。

随后进行Decoder解码运算，首先进行一次up_conv运算对Decoder结果进行上采样，随后进行两次kernel_size = 3的卷积运算，继续提取特征输出特征图（feature_map）。此时得到待分割对象的潜在区域，然后对于此区域进行卷积运算，提取特征，利用残差块结构，设计深层网络，利用学习残差提取潜在区域的特征，使得梯度更易向后传播，网络的vc维更大，得到一张细粒度更高的特征图，利用此特征图进行预测。在特征图后接全连接网络FC进行Bbox的回归以及目标对象的分类任务，最后一层全连接层的输出即为待检测对象的坐标和类别，此处采用向量化的编码方式，即坐标值+类别数+置信度。同时，在之前学习到的特征图后接卷积层，conv 1*1，channel = 待分割目标类别数目，通过Mask算法得到待检测对象的掩膜Mask，即边缘信息，随后将此掩膜Mask和全连接层所得到的类别信息进行融合，即可得到实例分割的结果。Mask算法包括获取该特征图对应的位置及边缘信息，进行全卷积神经网络FCN处理，获得每个像素所属的类别，即判断每个像素是属于背景像素还是目标像素，进行残差处理，获得梯度传递后结果，进行池化，获得特征降维后向量，进行卷积（2*2up_conv），最后获得该位置处的血细胞对应的边缘信息。

结合图4，为边缘信息标注结果示意图，图中点线为标注的边缘信息。图5为类别标注结果示意图，每个血细胞图片下方为类别标注的结果。可以看出本发明的边缘信息及类别标注清晰、准确。采用位置、类别信息、边缘信息在单个视野玻片扫描图像上进行标注，获得单视野血涂片标注结果，如图7所示，原图如图6所示。

对于玻片成像来说，具有成像比较理想的特定区域，能够提供更为优质的图像数据；对于一些重要部位，例如玻片的头部、中部、尾部为血细胞的重点分布区域，对识别结果的影响较大；现实情况中还存在医生对部分区域感兴趣，可能指定部分区域。本发明首次提出全视野血细胞分析概念，全视野范围包括玻片特定区域、指定区域以及玻片重要部位，例如头部、中部、尾部等范围，以及全玻片范围。可以进一步增加在进行图像输入后，首先确定视野范围。

作为可选方案，在血细胞识别模型实际应用过程中可采用人工评估的方式对血细胞识别模型的边缘标注、类别标注结果分别进行评估，根据评估结果反向传递梯度，对血细胞识别模型进行优化。

作为可选方案，本发明的血细胞识别模型可以加载在控制设备中，例如智能单机设备，例如计算机或智能手机。

本发明的血细胞识别模型可实现至少50种白细胞及至少20余种红细胞的标注，根据实际的需要进行训练，可扩展性好。

本发明仅需输入单视野血涂片图像即可输出识别结果，实现了端到端的设计。本发明基于人工智能算法，实现对血细胞的标注，相对于传统的识别方法准确度有质的提高，达到85%以上识别准确率；可对全视野血细胞进行分析，大大提高科学性。

以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (7)

1.一种端到端的血细胞识别模型构造方法，其特征在于，包括：

获取至少一幅血涂片中每幅血涂片的多个单视野图像，对每幅血涂片的多个所述单视野图像进行拼接形成一个全视野图像，对每个全视野图像中的血细胞的类别和边缘进行人工标注，形成实例标注数据库；

构建血细胞识别模型，在所述实例标注数据库中选取样本形成训练集和验证集，对所述血细胞识别模型进行训练，直至所述血细胞识别模型满足边缘分割准确率及类型判断准确率的要求；

所述血细胞识别模型首先进行编码运算，输入单视野血涂片图像，在每一层会进行双卷积运算，提取浅层特征，随后进行一次最大池化运算，进行所需特征提取，再次进行卷积运算，增加通道数量；

进行解码运算，首先进行一次卷积运算对解码结果进行上采样，随后进行双卷积运算，继续提取特征输出特征图，得到待分割对象的潜在区域；然后对于所述潜在区域进行卷积运算，提取特征，利用残差块结构提取潜在区域的特征向后传播梯度，得到一张细粒度更高的特征图；

所述细粒度更高的特征图通过全连接网络进行回归以及目标对象的分类任务，最后一层全连接层的输出即为待检测对象每个像素的坐标和类别信息；所述细粒度更高的特征图进行卷积还通过Mask算法得到待检测对象的掩膜，再将所述掩膜和全连接层得到的所述类别信息融合，得到识别的结果；

所述拼接的方式包括FAST算法、SURF算法或图像配准。

2.如权利要求1所述端到端的血细胞识别模型构造方法，其特征在于，进行类别人工标注的方法为在控制终端对白细胞和/或红细胞的类型进行标注。

3.如权利要求1或2所述端到端的血细胞识别模型构造方法，其特征在于，进行边缘人工标注的方法为标注者对细胞边缘信息进行采集，针对每张图像生成包含单个血细胞的轮廓、面积以及位置信息的文件。

4.如权利要求1所述端到端的血细胞识别模型构造方法，其特征在于，所述Mask算法包括获取所述细粒度更高的特征图对应的位置及边缘信息，进行全卷积神经网络FCN处理，获得每个像素所属的类别为目标像素还是背景像素，进行残差处理，获得梯度传递后结果，进行池化，获得特征降维后向量，进行卷积，最后获得该位置处的血细胞对应的边缘信息。

5.一种端到端的血细胞分割识别方法，其特征在于，利用权利要求1-4中任一项所述的端到端的血细胞识别模型构造方法构建的血细胞识别模型，对每个单视野玻片扫描图像进行处理，获得各个所述单视野玻片扫描图像中血细胞位置、边缘及类别，标注在各个所述单视野玻片扫描图像上并输出。

6.如权利要求5所述的端到端的血细胞分割识别方法，其特征在于，对于单视野玻片扫描图像，先确定分割的视野范围再进行处理；视野范围包括成像理想的特定区域、血细胞分布较多的重要部位和/或医生指定区域。

7.如权利要求5或6所述的端到端的血细胞分割识别方法，其特征在于，对所述血细胞识别模型的边缘和类别标注结果分别进行人工评估，根据评估结果反向传递梯度，优化血细胞识别模型；

所述血细胞识别模型采用编码-解码架构进行血细胞位置区域的ROI特征图的提取，运用残差网络进行ROI特征图特征的提取，采用分类器基于所提取的特征获得该特征图对应的坐标和类别，Mask算法基于所述坐标获得对应的边缘。

Images