CN115018760A - 一种基于人机混合增强智能的血细胞形态学辅助检验系统及方法 - Google Patents

Abstract

本发明提供一种基于人机混合增强智能的血细胞形态学辅助检验系统及方法。该系统包括：细胞图片管理模块、图像获取模块、细胞检测模块、细胞数据保存模块、结果生成模块、通讯模块。在本发明的检验方法中，通过细胞图片管理模块创建已分割细胞图片集，通过图像获取模块先采集血细胞样本图像，通过细胞检测模块获得检测数据，通过细胞查重模块对各个细胞信息进行查重和标记，通过细胞数据保存模块进行细胞信息的存储，最后通过结果生成模块获得检验结果。本分明有助于更高效对细胞类别做出判断，对提高细胞形态学检验效率及质量有重要意义。

Description

一种基于人机混合增强智能的血细胞形态学辅助检验系统及 方法

技术领域

本发明涉及计算机医学技术领域，具体涉及一种基于人机混合增强智能的血细胞形态学辅助检验系统及方法。

背景技术

细胞形态学是研究细胞及各组成部分的显微结构和亚显微结构，包括表现细胞生命现象的生物大分子结构的科学。细胞形态学检验对于很多疾病的医学研究具有重要意义。目前大多细胞形态学检验都是人工手动生成检验报告，大致流程为：工作人员将采集的外周血或骨髓涂片放在显微镜载物台上，观察显微镜目镜视野下细胞的形态，分析其类别并记录数量后，根据检验规则移动涂片，记录当前视野下细胞类别及数量，重复此过程直至已记录细胞数达到一定数量，最后将各类细胞的数量填入形态学检验报告。

随着人工智能技术的发展，目前已经出现基于计算机视觉的血细胞形态学辅助检验系统，该系统能够提高血细胞形态学的检验效率。但是其成本高并且识别准确率不够高，需要人工修改类别的细胞数量较多，尚未能达到完全自动化的程度。

人机混合增强智能是指将人的作用或人的认知模型引入人工智能系统，形成“混合增强智能”的形态。即通过人机协同更加高效地解决复杂问题。在“人在回路”的混合增强智能系统中，当人工智能系统的输出可信度低时，同时输出判断依据和可视化证据，使人可以主动介入调整参数，构成提升智能水平的反馈回路。人机混合增强智能的工作模式可以把人对模糊、不确定问题的高级认知机制与智能系统数据驱动、强大运算力和存储能力的优势紧密耦合，使得两者相互适应、协同工作构成更为强大的智能系统。如果能将人机混合增强智能成功应用于细胞形态学检验，无疑将对各种疾病的研究产生重要的指导意义。

发明内容

有鉴于此，有必要针对现有技术存在的问题，提供一种基于人机混合增强智能的血细胞形态学辅助检验系统及方法。本发明的技术方案为：

第一方面，本发明提供一种基于人机混合增强智能的血细胞形态学辅助检验系统，包括：

细胞图片管理模块，用于所有细胞图片的处理和管理；

图像获取模块，用于血细胞样本图像的获取；

细胞检测模块，包括检测模型和分类模型，所述检测模型用于获取血细胞样本图像中所有待识别细胞的位置信息，所述分类模型用于获取血细胞样本图像中所有待识别细胞的类别信息、识别结果可信度和判断依据；

细胞查重模块，用于对各个细胞信息进行查重和标记；

细胞数据保存模块，用于对查重和标记后的细胞信息进行存储、人工修正，以及作为细胞检测模块优化模型的数据集；

结果生成模块，用于血细胞形态学辅助检验结果生成；

通讯模块，用于将细胞图片管理模块分别与图像获取模块、细胞检测模块、细胞查重模块、细胞数据保存模块连接，以及将图像获取模块、细胞检测模块、细胞查重模块、细胞数据保存模块和结果生成模块依次连接。

可选地，所述检测模型采用YOLOv5模型。

进一步地，所述分类模型采用优化的神经网络模型，所述优化的神经网络模型是在最后一层卷积层C1之后依次增加用于计算细胞图片形态学属性的属性层、用于检测待识别细胞图片原型区域以及计算该待识别细胞图片原型区域和对应类型的细胞原型图片相似度的原型层，并在所述原型层之后将所述原型层的特征图全局平均池化，最后加上全连接层和softmax层得到输出层。

进一步地，所述属性层根据各类细胞的形态学特征设计N个形态学属性，每个形态学属性用m₁个特征图描述，共得到N×m₁个特征图，每个特征图采用H行W列的二维矩阵M₁表示，每个特征图通过卷积层C1的特征图进行1×1卷积得到，进而获得所有细胞的形态学属性值，其属于所述判断依据之一。

进一步地，所述原型层中，将原型定义为细胞整体原型、细胞质原型和细胞核原型，对应地，原型区域定义为细胞整体区域、细胞质区域和细胞核区域；每类细胞都有对应的细胞整体原型、细胞质原型和细胞核原型这3个原型的特征；每个原型的特征用m₂个特征图描述，每个原型区域的位置信息用一个H行W列的位置矩阵M₂描述；每个原型区域的特征值是m₂个特征图与位置矩阵M₂点乘之后的结果；所述原型层中每个特征图均通过所述属性层的特征图进行1×1卷积得到。

进一步地，所述位置矩阵M₂是将血细胞样本图像中分割出来的单个血细胞图像划分为H行W列个小区域，第h行w列的图像区域表示为R_h,w，位置矩阵M₂第h行w列的元素M_h,w和R_h,w的对应关系为：M_h,w的数值等于R_h,w区域内属于原型区域的面积除以R_h,w区域的面积。

进一步地，所述分类模型中，识别结果可信度p_r分成类别可信度

和原型可信度

两部分，当待识别细胞图片x的识别结果为类别i时，该待识别细胞图片x的识别结果可信度p_r(i)计算公式为：

其中

是第i个类别的类别可信度，

是第i个类别的原型可信度，α是系数取值范围为0到1。

进一步地，所述类别可信度

是优化的神经网络模型softmax层输出值；所述原型可信度

的计算公式为：对比原型信息集合中的每种细胞类别的原型图片数量占对比原型信息集合中原型图片总数量的比例；所述对比原型信息集合包括细胞整体、细胞质和细胞核这三类对比原型信息。

进一步地，在所述对比原型信息集合中，每类对比原型信息有N_c个对比原型信息，每个对比原型信息包括原型图片、待识别细胞图片的原型区域与对应类型的原型图片的相似度、原型图片所属的细胞类别；对比原型信息的选择是根据相似度从大到小选择前N_c个原型图片。

进一步地，所述原型层中，对待识别细胞图片的原型区域和对应类型的细胞原型图片相似度的计算方法为：待识别细胞图片的原型区域特征值与原型图片特征值的欧式距离的倒数，所述原型图片特征值的计算方法同待识别细胞图片的原型区域特征值的计算方法。

进一步地，所述优化的神经网络模型采用的损失函数由4部分损失按权重相加获得，这4部分损失分别为：类别损失L_c、属性损失L_a、原型区域的位置损失L_p和原型相似度损失L_s；这样可以提升模型的识别准确率；其中所述类别损失L_c为交叉熵损失；

所述属性损失L_a的计算方法为：先将属性按细胞属性类别分组，然后每组单独按交叉熵计算损失，最后把各组损失相加得到总的属性损失L_a；

所述原型区域的位置损失L_p的计算方法为：位置矩阵M₂按照通过人工标注获得和通过检测模型预测获得分为标注位置矩阵M^t和预测位置矩阵M^v两种，原型区域的位置损失L_p即为预测位置矩阵M^v和标注位置矩阵M^t各元素差值的绝对值之和；

所述原型相似度损失L_s计算方法：计算待识别细胞的原型区域的特征值与对应原型中心的欧氏距离L_s,i，计算待识别细胞的原型区域的特征值与除该原型区域以外的所有原型中心的欧氏距离的平均值L_s,o，根据公式：

得到原型相似度损失L_s，其中Sigmod()表示Sigmod函数，β是系数取值范围为0到1；原型中心为该原型所有原型图片的特征值的平均值。

第二方面，本发明提供一种基于人机混合增强智能的血细胞形态学辅助检验方法，是采用上述系统，该方法包括以下步骤：

步骤1：通过细胞图片管理模块创建已分割细胞图片集，并创建空白图片作为全局拼接图；

步骤2：通过图像获取模块先采集一张血细胞样本图像，作为待检测局部视野图像R2；

步骤3：将该待检测局部视野图像R2输入到细胞检测模块中，获取第一轮检测数据，所述第一轮检测数据包括待检测局部视野图像R2中各个细胞的位置信息、类别信息、识别结果可信度和判断依据；所述判断依据包括细胞的形态学属性值和对比原型信息集合；所述对比原型信息集合包括整个细胞、细胞质和细胞核这三类对比原型信息；

步骤4：通过细胞查重模块对第一轮检测数据中各个细胞的类别信息进行查重和标记，如果第一轮检测数据和已分割细胞图片集中存在重复细胞，则将第一轮检测数据中这些重复细胞的类别信息修改为已分割细胞图片集中对应细胞的类别信息，并将第一轮检测数据中的这些细胞标记为重复细胞，得到第二轮检测数据；

步骤5：将第二轮检测数据以及待检测局部视野图像R2输入到细胞数据保存模块，对第二轮检测数据以及待检测局部视野图像R2中各个细胞的位置信息和类别信息进行人工修正，如果暂时无法确定第二轮检测数据以及待检测局部视野图像R2中细胞类别信息，则标注类别为“待定”，得到第三轮检测数据并保存在标注数据保存模块中；

步骤6：根据第三轮检测数据，将待检测局部视野图像R2中没有被标注为重复细胞的图像一一分割下来，并将这些细胞的图像添加到已分割细胞图片集，并更新已分割细胞图片集中各类细胞数量和总细胞数量；并将待检测局部视野图像R2拼接到全局拼接图上；

步骤7：如果已分割细胞图片集中总细胞数量超过阈值T_total，则执行步骤8，否则跳转到步骤2进一步采集第二张血细胞样本图像并继续操作；

步骤8：判定已分割细胞图片集中是否存在类别为“待定”的细胞，如果存在则找到该细胞所在的局部视野图像，并将其重新设置为新的待检测局部视野图像R2，并跳转到步骤5继续操作；否则执行步骤9；

步骤9：根据已切割细胞图片集中各类细胞的数量信息，通过结果生成模块生成血细胞形态学辅助结果。

本发明相对于现有方法，具有以下有益效果：本发明提出了一种基于人机混合增强智能的血细胞形态学辅助检验系统及方法，具有成本低廉且操作简单，提高检验效率的优点。系统按照血细胞形态学的识别按“核、质兼顾、以核为主”的原则，循胞体、胞质、胞核、核仁的次序从外向里观察的方法，提供了识别结果的细胞形态学描述以及提供相似的整体细胞、细胞核和细胞质的图片作为对比，工作人员更高效对细胞类别做出判断，对提高细胞形态学检验效率及质量有重要意义。

附图说明

图1为本发明实施例1的基于人机混合增强智能的血细胞形态学辅助检验系统的框架图。

图2为本发明实施例1中步骤2获得的某张待检测局部视野图像R2，其中框出来的每个细胞就是待识别图像x。

图3为本发明实施例1中对比原型信息集合中的原型图片及其图片对应的细胞类型。

图4为本发明实施例1获得的血细胞辅助检验结果。

具体实施方式

在本发明的描述中，需要说明的是，实施例中未注明具体条件者，按照常规条件或制造商建议的条件进行。所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。

下面结合附图和具体的实施例对本发明做进一步详细说明，所述是对本发明的解释而不是限定。

本发明具体实施例提供一种基于人机混合增强智能的血细胞形态学辅助检验系统，包括：

细胞图片管理模块，用于所有细胞图片的处理和管理。

图像获取模块，主要用于血细胞样本图像的获取，可进行细胞形态学观察的显微镜都可以用于本发明。

细胞检测模块，包括检测模型和分类模型，所述检测模型用于获取血细胞样本图像中所有待识别细胞的位置信息，所述分类模型用于获取血细胞样本图像中所有待识别细胞的类别信息、识别结果可信度和判断依据。

细胞查重模块，用于对各个细胞信息进行查重和标记；

细胞数据保存模块，用于对查重和标记后的细胞信息进行存储、人工修正，以及作为细胞检测模块优化模型的数据集。

结果生成模块，用于血细胞形态学辅助检验结果生成。

通讯模块，用于将细胞图片管理模块分别与图像获取模块、细胞检测模块、细胞查重模块、细胞数据保存模块连接，以及将图像获取模块、细胞检测模块、细胞查重模块、细胞数据保存模块和结果生成模块依次连接，并且细胞图片管理模块、细胞检测模块、细胞查重模块、细胞数据保存模块、结果生成模块都安装在电脑主机中。在本实施例中，采用的是有线通讯模块，但凡能够实现数据传输、控制指令传导的通讯装备都可以用于本发明。

在本发明的具体实施例中，所述检测模型采用YOLOv5模型。

在本发明的具体实施例中，所述分类模型采用优化的神经网络模型ResNet34，所述优化的神经网络模型是在最后一层卷积层C1之后依次增加用于计算细胞图片形态学属性的属性层、用于检测待识别细胞图片原型区域以及计算该待识别细胞图片原型区域和对应类型的细胞原型图片相似度的原型层，并在所述原型层之后将所述原型层的特征图全局平均池化，最后加上全连接层和softmax层得到输出层。

其中，所述属性层根据各类细胞的形态学特征设计N个形态学属性，每个形态学属性用m₁个特征图描述，共得到N×m₁个特征图，每个特征图采用H行W列的二维矩阵M₁表示，每个特征图通过卷积层C1的特征图进行1×1卷积得到，进而获得所有细胞的形态学属性值，其属于所述判断依据之一。

其中，所述原型层中，将原型定义为细胞整体原型、细胞质原型和细胞核原型，对应地，原型区域定义为细胞整体区域、细胞质区域和细胞核区域；每类细胞都有对应的细胞整体原型、细胞质原型和细胞核原型这3个原型的特征；每个原型的特征用m₂个特征图描述，每个原型区域的位置信息用一个H行W列的位置矩阵M₂描述；每个原型区域的特征值是m₂个特征图与位置矩阵M₂点乘之后的结果；所述原型层中每个特征图均通过所述属性层的特征图进行1×1卷积得到。那么，识别C类细胞就共需要3×C个原型，一共3×C×m₂个特征图。

所述位置矩阵M₂是将血细胞样本图像中分割出来的单个血细胞图像划分为H行W列个小区域，第h行w列的图像区域表示为R_h,w，位置矩阵M₂第h行w列的元素M_h,w和R_h,w的对应关系为：M_h,w的数值等于R_h,w区域内属于原型区域的面积除以R_h,w区域的面积。比如：用位置矩阵M₂描述细胞核原型区域，如果区域R_h,w都是细胞核所在区域，则M_h,w＝1；如果区域R_h,w完全不是细胞核所在的区域，则M_h,w＝0；如果区域R_h,w有一部分区域是细胞核所在的区域，那么M_h,w等于区域R_h,w内细胞核所占区域面积除以区域R_h,w的面积。

在本发明的具体实施例中，所述分类模型中，识别结果可信度p_r分成类别可信度

和原型可信度

两部分，当待识别细胞图片x的识别结果为类别i时，该待识别细胞图片x的识别结果可信度p_r(i)计算公式为：

其中

是第i个类别的类别可信度，

是第i个类别的原型可信度，α是系数取值范围为0到1。

在本发明的具体实施例中，所述类别可信度

是优化的神经网络模型softmax层输出值；所述原型可信度

的计算公式为：对比原型信息集合中的每种细胞类别的原型图片数量占对比原型信息集合中原型图片总数量的比例；所述对比原型信息集合包括细胞整体、细胞质和细胞核这三类对比原型信息。原型可信度表示待识别细胞在细胞整体、细胞质和细胞核三个方面和各类别对应原型的相似程度。比如：如果对比原型信息集合中细胞整体原型图片、细胞核原型图片和细胞质原型图片各有5张，则一共有15张原型图片，如果原型图片对应的细胞类别中，12个是原始红细胞、3个是早幼红细胞，那么识别结果为原始红细胞的原型可信度为12/15，而识别结果为早幼红细胞的原型可信度为3/15。

在所述对比原型信息集合中，每类对比原型信息有N_c个对比原型信息，每个对比原型信息包括原型图片、待识别细胞图片的原型区域与对应类型的原型图片的相似度、原型图片所属的细胞类别；对比原型信息的选择是根据相似度从大到小选择前N_c个原型图片。

在本发明的具体实施例中，所述原型层中，对待识别细胞图片的原型区域和对应类型的细胞原型图片相似度的计算方法为：待识别细胞图片的原型区域特征值与原型图片特征值的欧式距离的倒数，所述原型图片特征值的计算方法同待识别细胞图片的原型区域特征值的计算方法。

在本发明的具体实施例中，所述优化的神经网络模型采用的损失函数由4部分损失按权重相加获得，这4部分损失分别为：类别损失L_c、属性损失L_a、原型区域的位置损失L_p和原型相似度损失L_s；这样可以提升模型识别准确率；其中所述类别损失L_c为交叉熵损失。

所述属性损失L_a的计算方法为：先将属性按细胞属性类别分组，然后每组单独按交叉熵计算损失，最后把各组损失相加得到总的属性损失L_a。在本发明中，细胞的形态学属性值根据细胞的形态学特征来设计，例如根据胞体形态的不同，对应的属性有胞体形态圆形、胞体形态椭圆形；根据胞质颜色的不同，对应的属性有胞质颜色淡蓝色、胞质颜色淡红色、胞质颜色透明等。属性类别是指同类的属性，比如胞体形态这个属性类别是描述胞体形态，它包括了胞体形态圆形，胞体形态椭圆形等多个属性。计算损失的时候，分别对这两组属性按交叉熵计算损失，然后把各组损失相加。

所述原型区域的位置损失L_p的计算方法为：位置矩阵M₂按照通过人工标注获得和通过检测模型预测获得分为标注位置矩阵M^t和预测位置矩阵M^v两种，原型区域的位置损失L_p即为预测位置矩阵M^v和标注位置矩阵M^t各元素差值的绝对值之和。分类模型在训练过程中通过原型区域的位置损失学习到原型区域的位置，即整个细胞在图像中的位置、细胞质在图像中的位置和细胞核在图像中的位置。

所述原型相似度损失L_s计算方法：计算待识别细胞的原型区域的特征值与对应原型中心的欧氏距离L_s,i，计算待识别细胞的原型区域的特征值与除该原型区域以外的所有原型中心的欧氏距离的平均值L_s,o，根据公式：

得到原型相似度损失L_s，其中Sigmod()表示Sigmod函数，β是系数取值范围为0到1；原型中心为该原型所有原型图片的特征值的平均值。

本发明具体实施例还提供一种基于人机混合增强智能的血细胞形态学辅助检验方法，是采用上述系统，该方法包括以下步骤：

步骤1：通过细胞图片管理模块创建已分割细胞图片集，并创建空白图片作为全局拼接图；

步骤2：将细胞样本放置在图像获取模块下，移动到合适观察区域后，先采集一张血细胞样本图像，作为待检测局部视野图像R2；

步骤3：将该待检测局部视野图像R2输入到细胞检测模块中，获取第一轮检测数据，所述第一轮检测数据包括待检测局部视野图像R2中各个细胞的位置信息、类别信息、识别结果可信度和判断依据；所述判断依据包括细胞的形态学属性值和对比原型信息集合；所述对比原型信息集合包括整个细胞、细胞质和细胞核这三类对比原型信息；

步骤4：通过细胞查重模块对第一轮检测数据中各个细胞的类别信息进行查重和标记，如果第一轮检测数据和已分割细胞图片集中存在重复细胞，则将第一轮检测数据中这些重复细胞的类别信息修改为已分割细胞图片集中对应细胞的类别信息，并将第一轮检测数据中的这些细胞标记为重复细胞，得到第二轮检测数据；

步骤5：将第二轮检测数据以及待检测局部视野图像R2输入到细胞数据保存模块，对第二轮检测数据以及待检测局部视野图像R2中各个细胞的位置信息和类别信息进行人工修正，人工修正的内容包括：细胞的类别和位置信息。通过对比原型图片和待识别细胞图片在整个细胞、细胞质和细胞核三个方面的相似程度人工判断待识别细胞的真实类别。人工修正过程中，针对系统显示的可信度低于识别结果可信度的阈值T_p的细胞需要重点分析。如果暂时无法确定第二轮检测数据以及待检测局部视野图像R2中细胞类别信息，则标注类别为“待定”，得到第三轮检测数据并保存在标注数据保存模块中；

步骤6：根据第三轮检测数据，将待检测局部视野图像R2中没有被标注为重复细胞的图像一一分割下来，并将这些细胞的图像添加到已分割细胞图片集，并更新已分割细胞图片集中各类细胞数量和总细胞数量；并将待检测局部视野图像R2拼接到全局拼接图上；

步骤7：如果已分割细胞图片集中总细胞数量超过阈值T_total，则执行步骤8，否则跳转到步骤2进一步采集第二张血细胞样本图像并继续操作；

步骤8：判定已分割细胞图片集中是否存在类别为“待定”的细胞，如果存在则找到该细胞所在的局部视野图像，并将其重新设置为新的待检测局部视野图像R2，并跳转到步骤5继续操作；否则执行步骤9；

步骤9：根据已切割细胞图片集中各类细胞的数量信息，通过结果生成模块生成血细胞形态学辅助结果。

具体的操作实施例如下：

实施例1：

本实施例针对某个细胞样本采用上述的检验系统及方法进行了辅助检验，采集的其中一张血细胞样本图像如图2所示，其中：

1)识别结果可信度阈值T_p＝0.9，T_total＝200；

2)二维矩阵M₁和M₂中，H行W列，H＝7,W＝7；m₁＝1；m₂＝1；N＝27；C类细胞中的C＝9；

3)系数β＝0.5；

4)N_c＝5；

5)系数α＝0.5；

6)T_top＝5；

输入的细胞图像为晚幼粒细胞获得对比原型信息集合中的原型图片及其图片对应的细胞类型，如图3所示。预测为晚幼粒细胞的类别可信度

为0.98，原型

可信度为0.87，识别结果可信度p_r为0.925。细胞类别识别准确率如表1所示：

表1细胞类别识别准确率

类别	准确率
		原幼稚淋巴细胞	94.67％
中幼红细胞	77.32％
		杆状粒细胞	81.18％
晚幼粒细胞	86.91％
		分叶粒细胞	78.55％
淋巴细胞	86.10％
		退化细胞	91.73％
中幼粒细胞	79.71％
		早幼红细胞	75.79％

属性类别包括胞体形态、胞质颜色、胞质颗粒、胞核形态、胞核位置、核仁和染色质等7种。一共有27种属性取值，包括胞体形态星形、胞体形态不规则、胞体形态椭圆形、胞体形态圆形；胞核形态马蹄形、胞核形态分叶形、胞核形态不规则、胞核形态杆状、胞核形态椭圆形、胞核形态圆形；染色质粗糙、染色质颗粒状、染色质疏松、染色质细致、染色质粗颗粒状；胞核位置居中、胞核位置偏位；核仁有、核仁无；胞质颜色灰红色、胞质颜色灰蓝色、胞质颜色淡红色、胞质颜色蓝色；胞质颗粒中性颗粒、胞质颗粒无、胞质颗粒嗜碱性颗粒、胞质颗粒嗜酸性颗粒。属性识别准确率如表2所示：

表2属性识别准确率

本实施例最终生成的检验结果如图4所示。

综上所述，本发明的系统按照血细胞形态学的识别按“核、质兼顾、以核为主”的原则，循胞体、胞质、胞核、核仁的次序从外向里观察的方法，提供了识别结果的细胞形态学描述以及提供相似的整体细胞、细胞核和细胞质的图片作为对比，工作人员可以更高效地对细胞类别做出判断，对提高细胞形态学检验效率及质量有重要意义。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于人机混合增强智能的血细胞形态学辅助检验系统，其特征在于：包括：

细胞图片管理模块，用于所有细胞图片的处理和管理；

图像获取模块，用于血细胞样本图像的获取；

细胞检测模块，包括检测模型和分类模型，所述检测模型用于获取血细胞样本图像中所有待识别细胞的位置信息，所述分类模型用于获取血细胞样本图像中所有待识别细胞的类别信息、识别结果可信度和判断依据；

细胞查重模块，用于对各个细胞信息进行查重和标记；

细胞数据保存模块，用于对查重和标记后的细胞信息进行存储、人工修正，以及作为细胞检测模块优化模型的数据集；

结果生成模块，用于血细胞形态学辅助检验结果生成；

通讯模块，用于将细胞图片管理模块分别与图像获取模块、细胞检测模块、细胞查重模块、细胞数据保存模块连接，以及将图像获取模块、细胞检测模块、细胞查重模块、细胞数据保存模块和结果生成模块依次连接。

2.根据权利要求1所述的一种基于人机混合增强智能的血细胞形态学辅助检验系统，其特征在于：所述分类模型采用优化的神经网络模型，所述优化的神经网络模型是在最后一层卷积层C1之后依次增加用于计算细胞图片形态学属性的属性层、用于检测待识别细胞图片原型区域以及计算该待识别细胞图片原型区域和对应类型的细胞原型图片相似度的原型层，并在所述原型层之后将所述原型层的特征图全局平均池化，最后加上全连接层和softmax层得到输出层。

3.根据权利要求2所述的一种基于人机混合增强智能的血细胞形态学辅助检验系统，其特征在于：所述属性层根据各类细胞的形态学特征设计N个形态学属性，每个形态学属性用m₁个特征图描述，共得到N×m₁个特征图，每个特征图采用H行W列的二维矩阵M₁表示，每个特征图通过卷积层C1的特征图进行1×1卷积得到，进而获得所有细胞的形态学属性值。

4.根据权利要求3所述的一种基于人机混合增强智能的血细胞形态学辅助检验系统，其特征在于：所述原型层中，将原型定义为细胞整体原型、细胞质原型和细胞核原型，对应地，原型区域定义为细胞整体区域、细胞质区域和细胞核区域；每类细胞都有对应的细胞整体原型、细胞质原型和细胞核原型这3个原型的特征；每个原型的特征用m₂个特征图描述，每个原型区域的位置信息用一个H行W列的位置矩阵M₂描述；每个原型区域的特征值是m₂个特征图与位置矩阵M₂点乘之后的结果；所述原型层中每个特征图均通过所述属性层的特征图进行1×1卷积得到。

5.根据权利要求4所述的一种基于人机混合增强智能的血细胞形态学辅助检验系统，其特征在于：所述位置矩阵M₂是将血细胞样本图像中分割出来的单个血细胞图像划分为H行W列个小区域，第h行w列的图像区域表示为R_h,w，位置矩阵M₂第h行w列的元素M_h,w和R_h,w的对应关系为：M_h,w的数值等于R_h,w区域内属于原型区域的面积除以R_h,w区域的面积。

6.根据权利要求5所述的一种基于人机混合增强智能的血细胞形态学辅助检验系统，其特征在于：所述分类模型中，识别结果可信度p_r分成类别可信度

和原型可信度

两部分，当待识别细胞图片x的识别结果为类别i时，该待识别细胞图片x的识别结果可信度p_r(i)计算公式为：

其中

是第i个类别的类别可信度，

是第i个类别的原型可信度，α是系数取值范围为0到1。

7.根据权利要求6所述的一种基于人机混合增强智能的血细胞形态学辅助检验系统，其特征在于：所述类别可信度

是优化的神经网络模型softmax层输出值；所述原型可信度

的计算公式为：对比原型信息集合中的每种细胞类别的原型图片数量占对比原型信息集合中原型图片总数量的比例；所述对比原型信息集合包括细胞整体、细胞质和细胞核这三类对比原型信息。

8.根据权利要求7所述的一种基于人机混合增强智能的血细胞形态学辅助检验系统，其特征在于：在所述对比原型信息集合中，每类对比原型信息有N_c个对比原型信息，每个对比原型信息包括原型图片、待识别细胞图片的原型区域与对应类型的原型图片的相似度、原型图片所属的细胞类别；对比原型信息的选择是根据相似度从大到小选择前N_c个原型图片。

9.根据权利要求8所述的一种基于人机混合增强智能的血细胞形态学辅助检验系统，其特征在于：所述原型层中，对待识别细胞图片的原型区域和对应类型的细胞原型图片相似度的计算方法为：待识别细胞图片的原型区域特征值与原型图片特征值的欧式距离的倒数，所述原型图片特征值的计算方法同待识别细胞图片的原型区域特征值的计算方法。

10.一种基于人机混合增强智能的血细胞形态学辅助检验方法，其特征在于：是采用权利要求1～9任意一项所述的系统，该方法包括以下步骤：

步骤1：通过细胞图片管理模块创建已分割细胞图片集，并创建空白图片作为全局拼接图；

步骤2：通过图像获取模块先采集一张血细胞样本图像，作为待检测局部视野图像R2；

步骤3：将该待检测局部视野图像R2输入到细胞检测模块中，获取第一轮检测数据，所述第一轮检测数据包括待检测局部视野图像R2中各个细胞的位置信息、类别信息、识别结果可信度和判断依据；所述判断依据包括细胞的形态学属性值和对比原型信息集合；所述对比原型信息集合包括整个细胞、细胞质和细胞核这三类对比原型信息；

步骤4：通过细胞查重模块对第一轮检测数据中各个细胞的类别信息进行查重和标记，如果第一轮检测数据和已分割细胞图片集中存在重复细胞，则将第一轮检测数据中这些重复细胞的类别信息修改为已分割细胞图片集中对应细胞的类别信息，并将第一轮检测数据中的这些细胞标记为重复细胞，得到第二轮检测数据；

步骤5：将第二轮检测数据以及待检测局部视野图像R2输入到细胞数据保存模块，对第二轮检测数据以及待检测局部视野图像R2中各个细胞的位置信息和类别信息进行人工修正，如果暂时无法确定第二轮检测数据以及待检测局部视野图像R2中细胞类别信息，则标注类别为“待定”，得到第三轮检测数据并保存在标注数据保存模块中；

步骤6：根据第三轮检测数据，将待检测局部视野图像R2中没有被标注为重复细胞的图像一一分割下来，并将这些细胞的图像添加到已分割细胞图片集，并更新已分割细胞图片集中各类细胞数量和总细胞数量；并将待检测局部视野图像R2拼接到全局拼接图上；

步骤7：如果已分割细胞图片集中总细胞数量超过阈值T_total，则执行步骤8，否则跳转到步骤2进一步采集第二张血细胞样本图像并继续操作；

步骤8：判定已分割细胞图片集中是否存在类别为“待定”的细胞，如果存在则找到该细胞所在的局部视野图像，并将其重新设置为新的待检测局部视野图像R2，并跳转到步骤5继续操作；否则执行步骤9；

步骤9：根据已切割细胞图片集中各类细胞的数量信息，通过结果生成模块生成血细胞形态学辅助结果。

Images