CN111047577A - 一种畸形尿红细胞分类统计方法与系统 - Google Patents

Abstract

本发明属于人工智能辅助医疗检查技术领域，公开了一种畸形尿红细胞分类统计方法和系统，该方法包括以下步骤：S1、采集样本的显微镜变焦视频；S2、在显微镜变焦视频所有帧中清晰度最高的帧上识别出畸形尿红细胞，并分割出多个畸形尿红细胞变焦视频；S3、利用深度多示例学习算法预测出各个畸形尿红细胞变焦视频中每一帧在不同分类下的概率，S4、通过靶形关键帧优先原则实现畸形尿红细胞的分类与数量统计。本发明能够准确的对样本中的畸形尿红细胞进行检测和分类统计，其统计方法准确可靠，可以应用于尿液样本检测领域。

Description

一种畸形尿红细胞分类统计方法与系统

技术领域

本发明属于人工智能辅助医疗检查技术领域，具体涉及一种利用肾病患者的尿液样本在显微镜下的变焦视频作为分析数据，并结合深度多示例学习算法对尿液样本中的畸形尿红细胞进行分类识别与数量统计的方法。

背景技术

肾病患者往往伴随着尿潜血与血尿等现象，显微镜下肾病患者的尿液样本中大量存在着被肾小球等组织挤压造成的畸形尿红细胞。尿红细胞的畸变类型与数量能够较为准确地反映出肾脏病变的类型与程度，因而对显微镜下肾病患者尿液样本中的畸形尿红细胞进行分类统计是一种重要的肾病辅助诊断手段。传统畸形尿红细胞的分类统计需要上万次观察经验的专业医师在显微镜下对畸形尿红细胞进行识别、分类以及数量统计，平均需要10分钟左右才能得到较为准确的分类统计结果。因此传统的人工检查方法一方面使得专业医师承担着沉重的工作负担，另一方面在专业医师缺乏地区已经难以满足肾病患者的体检需求。

现有技术中，尿红细胞畸形率检测方法基于显微镜下尿红细胞的图像数据，使用图像平滑、锐化、边缘检测、中值滤波等方法对图像中的畸形尿红细胞进行检测与统计。但是一方面如附图3所示，显微镜下的尿红细胞包括正常尿红细胞与多种畸形尿红细胞。畸形尿红细胞的种类繁多、特征复杂，包括靶型、影红、芽孢、花环、面包圈、颗粒6种类型，不同种类的畸形尿红细胞之间形态差异不明显。现有的畸形尿红细胞识别方法大都使用图像平滑、锐化、边缘检测等传统的数字图像处理算法，不具备畸形尿红细胞分类能力。另一方面显微镜下尿液样本存在一定的厚度，畸形尿红细胞会分布在尿液样本不同的深度上，因此单张固定焦距的显微镜图片中的部分畸形尿红细胞会存在成像模糊的现象。此外，畸形尿红细胞本身存在着一定的厚度，呈现出中间凹陷的圆饼状，因此畸形尿红细胞在显微镜下的形态特征会随着显微镜焦距的变化而变化。特别值得注意的是靶形尿红细胞的形态特征在随着显微镜焦距变化而变化时，甚至会与其他种类畸形尿红细胞的形态特征相同。如附图4所示，靶形尿红细胞的形态会随着显微镜焦距的变化而逐渐呈现出影红尿红细胞以及面包圈尿红细胞的形态特征，只有在焦距合适时才会呈现出靶型尿红细胞的典型形态特征。并且靶形细胞是一种十分常见的畸形尿红细胞，其数量占比可以达到畸形尿红细胞总数的四分之一。因此，仅仅基于显微镜图片数据与传统的数字图像处理算法难以实现对畸形尿红细胞的准确分类统计，进而无法有效的减轻专业医师的工作负担，无法有效缓解医疗资源紧缺地区肾病患者的体检压力。

因此，有必要对现有技术的尿红细胞检测和统计方法进行改进，以提高检测的精度和效率。

发明内容

本发明克服现有技术存在的不足，所要解决的技术问题为：提供一种畸形尿红细胞分类统计方法与系统，以提高检测的精度和效率。

为了解决上述技术问题，本发明采用的技术方案为：一种畸形尿红细胞分类统计方法，包括以下步骤：S1、采集样本的显微镜变焦视频；

S2、找出显微镜变焦视频所有帧中清晰度最高的帧，并在清晰度最高的帧上识别出全部尿红细胞，并从全部尿红细胞中识别出畸形尿红细胞；依据畸形尿红细胞的位置和大小从显微镜变焦视频中分割出多个畸形尿红细胞变焦视频；

S3、将打上了分类标签的若干个畸形尿红细胞变焦视频作为训练集数据，利用深度多示例学习算法预测出各个畸形尿红细胞变焦视频中每一帧在不同分类下的概率，并将每个分类下概率值大于概率阈值的帧设定为该分类下的关键帧；所述分类标签包括靶型、影红、芽孢、花环、面包圈、颗粒6种；

S4、判断各个畸形尿红细胞变焦视频是否有靶型关键帧，若有，判定该畸形尿红细胞变焦视频的分类为靶型；若没有，则将拥有最大概率值的关键帧所属的分类作为畸形尿红细胞变焦视频的分类，进而实现畸形尿红细胞的分类与数量统计。

所述步骤S2中，找出显微镜变焦视频所有帧中清晰度最高的帧的具体方法为：计算显微镜变焦视频中每一帧的灰度方差值，将灰度方差值达到最大的帧作为清晰度最高的帧；

识别出尿红细胞的方法为：计算目标修正圆度值C₁，将目标修正圆度值大于0.5的目标标定为尿红细胞，目标修正圆度值C₁的计算公式为：

其中，p表示目标周长，A表示目标面积，max{(x'_max-x'_min),(y'_max-y'_min)}表示旋转后目标的外接矩形长度，min{(x'_max-x'_min),(y'_max-y'_min)}表示旋转后目标外接矩形的宽度；

从全部尿红细胞中识别出畸形尿红细胞的具体方法为：计算全部尿红细胞的平均灰度值，将灰度值低于灰度阈值的尿红细胞标记为畸形尿红细胞。

灰度阈值设定为75。

所述深度多示例学习算法基于50层残差神经网络训练实现，所述50层残差神经网络训练包括以下步骤：

S301、设置50层残差神经网络模型，通过ImageNet上的公共数据集对50层残差神经网络进行初始化；

S302、读取训练集中的一个畸形尿红细胞变焦视频中的所有帧，通过50层残差神经网络预测各个帧在不同分类下的概率，然后根据该畸形尿红细胞变焦视频的分类标签，找出畸形尿红细胞变焦视频所在分类下概率最高的帧，给其打上分类标签，并存入临时训练集；

S303、读取训练集中下一个畸形尿红细胞变焦视频，重复步骤S302，直到训练集中所有畸形尿红细胞变焦视频对应分类下概率最高的帧被全部打上分类标签并存入临时训练集；

S304、使用临时训练集中的所有带有分类标签的帧训练50层残差神经网络，调整残差神经网络的参数使得其预测出的帧分类尽可能与真实的帧分类相同；

S305、重复步骤S302～S304，直至50层残差神经网络训练结束。

所述50层残差神经网络的结构包括1个输入阶段与4个卷积阶段，输入阶段包含一个7×7大小的卷积层和一个3×3大小的最大池化层，每一个卷积阶段都由1个变维残差块与2个固定维残差块组成，变维残差块与固定维残差块都由2个1×1大小的卷积层和一个3×3大小的卷积层构成，但变维残差块输出与输入数据的维数不同，并且变维残差块的浅层卷积结果在传递到深层时，需要通过一个额外的卷积层来改变浅层卷积结果的维数，使其与深层卷积结果的维数匹配；此外，所述50层残差神经网路在提取出畸形尿红细胞变焦视频中每一帧的特征图后，特征图将通过两个全连接网络以及一个softmax分类器，进而得到每一帧属于不同分类的概率值。

所述50层残差神经网络中，是否训练结束的损失函数选用交叉熵函数，训练参数为：学习率为10^-4，批处理样本数量为128，迭代次数小于20次，动量因子为0.9，优化方法为Adam算法，所述训练集中的畸形尿红细胞变焦视频的数量为10000。

所述步骤S3中，概率阈值的设定值为0.5。

此外，本发明还提供了一种畸形尿红细胞分类统计系统，包括：

视频采集模块：用于采集样本的显微镜变焦视频；

视频分割模块：用于识别显微镜变焦视频中的所有畸形尿红细胞，并分割出多个畸形尿红细胞变焦视频；

分类统计模块：用于利用深度多示例学习算法预测出各个畸形尿红细胞变焦视频中每一帧在不同分类下的概率，并将每个分类下概率值大于阈值的帧设定为该分类下的关键帧；所述分类标签包括靶型、影红、芽孢、花环、面包圈、颗粒6种；还用于判断各个畸形尿红细胞变焦视频是否有靶型关键帧，若有，判定该畸形尿红细胞变焦视频的分类为靶型；若没有，则将拥有最大概率值的关键帧所属的分类作为畸形尿红细胞变焦视频的分类，进而实现畸形尿红细胞的分类与数量统计。

所述视频采集模块包括：400倍光学显微镜、CCD工业相机以及变焦控制步进电机，CCD工业相机连接着显微镜物镜用以采集样本的显微镜变焦视频，变焦控制步进电机连接着显微镜的调焦轮用以通过控制显微镜物镜的高度来调整显微镜焦距，CCD工业相机将采集完成的显微镜变焦视频传输给视频分割模块。

所述视频分割模块设置在工控机中，所述分类统计模块设置在服务器中。

本发明与现有技术相比具有以下有益效果：

1.使用肾病患者的尿液样本在显微镜下的变焦视频作为分析数据。由于畸形尿红细胞在尿液样本中的分布深度不同且不同种类的畸形尿红细胞有不同的最优分类焦距，因此单张显微镜尿液样本图片中的部分畸形尿红细胞会出现成像不清晰或者没有出现最优分类特征的情况。因此本发明对显微镜变焦视频数据进行分析。在基于图像清晰度评价算法、改进的圆度计算方法以及平均灰度计算方法获得畸形尿红细胞变焦视频的基础上，使用训练好的50层残差神经网络准确预测出畸形尿红细胞变焦视频中每一帧在不同分类下的概率，并找到每个分类下的关键帧。基于这些具有明显分类特征的关键帧，就能够判定畸形尿红细胞变焦视频的所属分类，进而实现准确的畸形尿红细胞识别与分类统计。

2.使用基于50层残差神经网络的深度多示例学习算法实现畸形尿红细胞的分类统计。由于畸形尿红细胞的种类繁多、形态复杂，传统的数字图像处理算法不具备将其进行分类的能力。基于新型的多分类训练流程，50层残差神经网络能够在仅知道畸形尿红细胞变焦视频所属分类的情况下获得理想的训练结果，即能够准确的预测出畸形尿红细胞变焦视频每一帧在不同分类下的概率，并定义每个分类下概率超过0.5的帧为其关键帧。考虑到靶形尿红细胞变焦视频会同时存在隐红、面包圈、靶形三种关键帧，本发明设计了靶形关键帧优先原则，并通过比较不同分类下关键帧概率值的大小确定畸形尿红细胞的分类。相较于已有的尿红细胞畸形率检测方法与系统，本发明提出的一种基于显微镜变焦视频与深度多示例学习算法的畸形尿红细胞分类统计方法与系统可以获得更为准确的畸形尿红细胞分类统计结果。

附图说明

图1为本发明实施例提供的一种畸形尿红细胞分类统计方法的流程图；

图2为本发明实施例提供的一种畸形尿红细胞分类系统的设备示意图；

图3为正常尿红细胞与靶型、影红、芽孢、花环、面包圈、颗粒6种畸形尿红细胞的典型形态图；

图4为靶型尿红细胞在显微镜不同焦距下的形态变化图；

图5为尿红细胞、细菌、结晶三种典型目标的形态图；

图6为本发明实施例中采用的50层残差神经网络的结构示意图。

图中，1为CCD工业相机，2为显微镜的目镜，3为显微镜的调焦轮，4为变焦步进电机，5为显微镜物镜，6为尿液样本盖玻片，7为载物台，8为工控机，9为计算机。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种畸形尿红细胞分类统计方法，包括以下步骤：

S1、通过视频采集模块采集样本的显微镜变焦视频。

本发明实施例中，由视频采集模块录制显微镜变焦视频。如图2所示，本实施例中，视频采集模块所使用的装置由400倍光学显微镜、CCD工业相机以及变焦控制步进电机构成。采集过程具体如下：首先由操作员将尿液样本盖玻片6固定在载物台7上，随后变焦步进电机4将带动显微镜的调焦轮3使得显微镜物镜5运动到距尿液样本盖玻片6为0.8mm的位置，随后启动CCD工业相机1，开始以30帧每秒的速度进行显微镜变焦视频录制。在显微镜变焦视频录制的过程中，变焦步进电机4将在10秒内带动显微镜物镜5缓缓上升到到距尿液样本盖玻片6约0.9mm处并停止视频录制。录制完成的显微镜变焦视频将通过千兆网线传输给集成在工控机8中的视频分割模块。

S2、通过视频分割模块找出显微镜变焦视频所有帧中清晰度最高的帧，并在清晰度最高的帧上识别出全部尿红细胞，并从全部尿红细胞中识别出畸形尿红细胞；依据畸形尿红细胞的位置和大小从显微镜变焦视频中分割出多个畸形尿红细胞变焦视频。

具体地，找出显微镜变焦视频所有帧中清晰度最高的帧的方法为图像清晰度评价算法，具体过程为：计算显微镜变焦视频中每一帧的灰度方差值，将灰度方差值达到最大的帧作为清晰度最高的帧；

识别出尿红细胞的具体方法为改进的圆度计算方法，其具体过程为：计算改进后的目标圆度值C，将目标圆度值大于0.5的目标标定为尿红细胞。

从全部尿红细胞中识别出畸形尿红细胞方法为基于尿红细胞的灰度值差异，具体步骤为：计算全部尿红细胞的平均灰度值，将灰度值低于阈值的尿红细胞标记为畸形尿红细胞。

工控机中的视频分割模块综合使用图像清晰度评价算法、改进的圆度计算方法与平均灰度计算方法从显微镜变焦视频中识别出畸形尿红细胞并分割出多个畸形尿红细胞变焦视频。

图像清晰度评价算法负责从显微镜变焦视频包含的300张左右的帧中找出最清晰的帧，该帧上的尿红细胞成像最清晰，有利于后续改进的圆度计算方法实现准确的尿红细胞识别。图像清晰度评价算法的核心思想为使用灰度方差函数计算显微镜变焦视频中每一帧中高频分量占到总图像的比重，图像的高频分量即图像中清晰、锐利的部分。当显微镜完全聚焦时，灰度方差值达到最大，帧中的清晰部分面积占到总面积的比重也达到最大，帧中的尿红细胞成像最清晰。

在图像清晰度评价算法得到显微镜变焦视频中最清晰的帧后，视频分割模块调用改进的圆度计算方法识别出全部尿红细胞。最清晰的帧中包含的目标主要包括全部尿红细胞、细菌以及结晶，如图5所示，其中尿红细胞为近似圆形，细菌为条带状、结晶为尖锐的不规则图形。传统上来说，识别尿红细胞这类圆形目标最为有效的方法是霍夫圆检测算法，但是霍夫圆检测对于目标边缘的清晰度非常的敏感，一但目标边缘不清晰就会导致霍夫圆检测算法出现遗漏或是误判等问题。因此，本发明通过改进的圆度计算方法逐个计算最清晰帧中每一个目标的圆度值，通过不同种类目标的圆度值差异识别出尿红细胞，确保不会出现尿红细胞遗漏的问题。传统的目标圆度计算公式为如式(1)，公式中C是目标圆度值，A是目标面积，P是目标周长。C的值越大，表明目标越接近正圆形。

由于尿红细胞不全是标准的正圆形，特别是花环、芽孢等畸形尿红细胞的边缘是褶皱、突起的，因此其周长P要远大于正圆形，进而使得畸形尿红细胞的圆度计算值过小，甚至无法与细菌、结晶等其他目标进行区分。针对这一问题，本发明对圆度计算公式进行了改进，采用目标长径比来修正圆度计算公式中的参数P。由于尿红细胞的纵横比接近1，而细菌与结晶的横纵比大都在5以上，因此使用目标长径比来修正圆度可以有效地将尿红细胞与细菌、结晶分离开。目标的长径比是其外接矩形的长宽比。在计算目标长径比之前，需要将目标旋转至长轴处在竖直状态，以保证目标长径比计算的准确性。改进后的圆度计算公式能够使得尿红细胞的圆度稳定在0.5以上，而细菌与结晶的圆度都小于0.3，因而基于改进的圆度计算方法能够准确地区分尿红细胞与细菌、结晶。改进后的目标修正圆度计值C₁的计算公式如式(2)所示，公式中(x_i,y_i)为目标旋转前的像素点坐标，(x’_i,y’_i)为目标旋转后的像素点坐标，

是目标的中心坐标，max{(x'_max-x'_min),(y'_max-y'_min)}为旋转后目标的外接矩形长度，min{(x'_max-x'_min),(y'_max-y'_min)}为旋转后目标外接矩形的宽度，

是目标旋转矩阵，a是目标旋转角。

其中：

基于改进的圆度计算方法，视频分割模块能够准确的识别出全部尿红细胞，识别出的尿红细胞中包含有正常尿红细胞与多种畸形尿红细胞。由于正常尿红细胞拥有饱满的血红蛋白，所以其在显微镜下有更高的折光率，即其在显微镜下的图像非常明亮。而畸形尿红细胞中的血红蛋白已经大量流失，其在显微镜下的折光率较低，即其显微镜下图像比较暗淡。正常尿红细胞在显微镜下图像的平均灰度值都在110以上，而畸形尿红细胞的平均灰度普遍在75以下。因此，基于尿红细胞的灰度值差异可以从全部尿红细胞中分离出正常尿红细胞与畸形尿红细胞。随后使用中心坐标与畸形尿红细胞相同，边长为畸形尿红细胞直径1.2倍的方形框从显微镜变焦视频中分割出多个畸形尿红细胞变焦视频，并将畸形尿红细胞变焦视频传输到分类统计模块当中。

S3、在分类统计模块中，将打上了分类标签的若干个畸形尿红细胞变焦视频作为训练集数据，利用深度多示例学习算法预测出各个畸形尿红细胞变焦视频中每一帧在不同分类下的概率，并将每个分类下概率值大于概率阈值的帧设定为该分类下的关键帧；所述分类标签包括靶型、影红、芽孢、花环、面包圈、颗粒6种。

在获得了畸形尿红细胞变焦视频后，分类统计模块使用深度多示例学习算法中训练好的50层残差神经网络准确预测出畸形尿红细胞变焦视频中每一帧在不同分类下的概率，并定义每一分类下概率值超过0.5的帧就是该分类下的关键帧。随后基于靶形关键帧优先原则并比较不同分类下关键帧的概率大小确定畸形尿红细胞变焦视频的分类，即当存在靶形关键帧时，畸形尿红细胞变焦视频的分类为靶形，当不存在靶形关键帧时，畸形尿红细胞变焦视频的分类与其他分类中概率值最高的关键帧所对应的分类相同。

深度多示例学习算法的核心是50层残差神经网络的训练，训练结果直接决定了深度多示例学习算法的性能。在训练开始前，分类统计模块会预先收集6种共10000个畸形尿红细胞变焦视频，并为其打上分类标签。随后50层残差神经网络会使用ImageNet上的公共数据集进行初始化。

如图6所示，50层残差神经网络能从输入的RGB三维图像提取出2048维的特征图，其结构由1个输入阶段与4个卷积阶段构成。输入阶段包含一个7×7大小的卷积层和一个3×3大小的最大池化层。每一个卷积阶段都由1个变维残差块与2个固定维残差块组成。变维残差块与固定维残差块都由2个1×1大小的卷积层和一个3×3大小的卷积层构成，区别在于变维残差块输出与输入数据的维数不同。并且变维残差块的浅层卷积结果在传递到深层时，需要通过一个额外的卷积层来改变浅层卷积结果的维数，使其与深层卷积结果的维数匹配。50层残差神经网路在提取出畸形尿红细胞变焦视频中每一帧的特征图后，特征图将通过两个全连接网络以及一个softmax分类器，进而得到每一帧属于不同分类的概率值。

值得注意的是传统的多示例学习算法主要是用于解决二分类问题，传统的多示例学习算法主要由一个残差神经网络，一个概率排序器，以及一个临时训练集构成。传统多示例学习的输入数据是以数据包的形式输入的，并且数据包的种类只有正负两种。正数据包中存在的样本中至少有1个分类为正，但是正数据包中每一个样本的具体分类是未知的。而负数据包中存在的样本中分类全部为负。传统多示例学习方法的训练过程如下。

(1)在残差神经网络初始化完成后，一个数据包中的全部样本被依次输入残差神经网络。残差神经网络能够给出每一个样本属于正分类的概率，并将样本与对应的概率传入概率排序器。

(2)概率排序器按照样本概率从大到小进行排序，将概率最高的样本赋予与其对应的数据包相同的分类标签，并存入临时训练集。

(3)重复步骤(1)和(2)，使得所有数据包中都有一个样本被存入了临时训练集。临时训练集中的带分类标签的样本被用于对残差神经网络进行训练。训练结束后，临时训练集中的样本将被全部清空。

(4)重复步骤(1)、(2)、(3)，对残差神经网络进行反复迭代训练，直至残差神经网络能够准确的预测出数据包中样本属于正分类的概率。

训练结束后，传统的多示例学习算法能够对数据包进行准确分类。传统多示例学习方法的分类判别标准为：当数据包中的某一个样本的概率大于0.5时，该数据包的分类为正。当数据包中的所有样本的概率都小于0.5时，该数据包的分类为负。

但是由于畸形尿红细胞拥有6种分类，因此使用多示例学习算法完成6种畸形尿红细胞的分类需要全新设计的训练过程与分类判别标准。在训练过程方面，本发明在得到畸形尿红细胞变焦视频中每一帧在不同分类下的概率后，为与畸形尿红细胞变焦视频相同分类下概率最高的帧打上分类标签并放入临时训练集，其具体训练过程如下所示：

(1)50层残差神经网络读取训练集中一个畸形尿红细胞变焦视频中的所有帧并预测其在不同分类下的概率。

(2)根据畸形尿红细胞变焦视频的分类标签，将与畸形尿红细胞变焦视频相同分类下概率最高的帧打上分类标签，并存入临时训练集。

(3)50层残差神经网络读取下一个畸形尿红细胞变焦视频，重复步骤(1)、(2)直到10000个畸形尿红细胞变焦视频对应分类下概率最高的帧被全部打上分类标签并存入临时训练集。

(4)使用临时训练集中的10000张带有分类标签的帧训练50层残差神经网络，即调整残差神经网络的参数使得其预测出的帧分类尽可能与真实的帧分类相同。

(5)重复步骤(1)到(4)，直至50层残差神经网络训练结束，即在多次重复训练后，使得50层残差神经网络给出的10000个带分类标签帧的预测分类与其真实分类基本相同。50层残差神经网络是否训练结束可以依据其损失函数进行判定，本发明中使用的损失函数是交叉熵函数，当50层残差神经网络的交叉熵损失函数在训练过程中逐渐收敛到最小值时，50层残差神经网络训练结束。本发明中50层残差神经网络的主要训练参数为：学习率为10^-4，批处理样本数量为128，迭代次数小于20次，动量因子为0.9，优化方法为Adam算法。

在分类判别标准方面，本发明中的多示例学习算法使用训练结束后的50层残差神经网络准确预测畸形尿红细胞变焦视频中每一帧在不同分类下的概率，帧在某一分类下的概率值越大，表明帧具有更明显的该分类特征。当帧在某一分类下的概率超过0.5时，其已具备明显的分类特征，并能够被用于判断畸形尿红细胞变焦视频的分类。因此将每一个分类下概率超过0.5的帧定义为该分类下的关键帧。

S4、判断各个畸形尿红细胞变焦视频是否有靶型关键帧，若有，判定该畸形尿红细胞变焦视频的分类为靶型；若没有，则将拥有最大概率值的关键帧所属的分类作为畸形尿红细胞变焦视频的分类，进而实现畸形尿红细胞的分类与数量统计。

由于靶形尿红细胞变焦视频中存在有一部分帧的特征类似于隐红与面包圈，因此靶形尿红细胞变焦视频中会在隐红、面包圈、靶形三个分类下都存在关键帧，一旦50层残差神经网络计算出靶形分类下关键帧的概率低于其他分类下的关键帧，就会导致靶形尿红细胞变焦视频分类错误。为了解决这类问题，本发明中的深度多示例学习算法使用了新的分类判别标准，添加了靶形关键帧优先原则。即畸形尿红细胞变焦视频中一旦出现了靶形关键帧，则不考虑靶形关键帧的概率值是否是所有关键帧中最大的，直接将畸形尿红细胞变焦视频的分类定为靶形。若无靶形关键帧，则畸形尿红细胞变焦视频的分类是其概率值最大的关键帧所对应的分类。

此外，如图1所示，本发明实施例还提供了一种畸形尿红细胞分类统计系统，包括：

视频采集模块：用于采集样本的显微镜变焦视频；

视频分割模块：用于识别显微镜变焦视频中的所有畸形尿红细胞，并分割出多个畸形尿红细胞变焦视频；

分类统计模块：用于利用深度多示例学习算法预测出各个畸形尿红细胞变焦视频中每一帧在不同分类下的概率，并将每个分类下概率值大于阈值的帧设定为该分类下的关键帧；所述分类标签包括靶型、影红、芽孢、花环、面包圈、颗粒6种；还用于判断各个畸形尿红细胞变焦视频是否有靶型关键帧，若有，判定该畸形尿红细胞变焦视频的分类为靶型；若没有，则将拥有最大概率值的关键帧所属的分类作为畸形尿红细胞变焦视频的分类，进而实现畸形尿红细胞的分类与数量统计。

具体地，如图2所示，所述视频采集模块包括：400倍光学显微镜、CCD工业相机1以及变焦控制步进电机4，CCD工业相机4连接着显微镜物镜5用以采集样本的显微镜变焦视频，变焦控制步进电机4连接着显微镜的调焦轮3用以通过控制显微镜物镜的高度来调整显微镜焦距，CCD工业相机1将采集完成的显微镜变焦视频传输给视频分割模块。此外，本实施例中，所述视频分割模块设置在工控机8中，所述分类统计模块设置在服务器9中。

本发明提供了一种基于显微镜变焦视频与深度多示例学习算法的畸形尿红细胞分类统计方法与系统，其优点在于：

1.使用肾病患者的尿液样本在显微镜下的变焦视频作为分析数据。由于畸形尿红细胞在尿液样本中的分布深度不同且不同种类的畸形尿红细胞有不同的最优分类焦距，因此单张显微镜尿液样本图片中的部分畸形尿红细胞会出现成像不清晰或者没有出现最优分类特征的情况。因此本发明对显微镜变焦视频数据进行分析。在基于图像清晰度评价算法、改进的圆度计算方法以及平均灰度计算方法获得畸形尿红细胞变焦视频的基础上，使用训练好的50层残差神经网络准确预测出畸形尿红细胞变焦视频中每一帧在不同分类下的概率，并找到每个分类下的关键帧。基于这些具有明显分类特征的关键帧，就能够判定畸形尿红细胞变焦视频的所属分类，进而实现准确的畸形尿红细胞识别与分类统计。

2.使用基于50层残差神经网络的深度多示例学习算法实现畸形尿红细胞的分类统计。由于畸形尿红细胞的种类繁多、形态复杂，传统的数字图像处理算法不具备将其进行分类的能力。基于新型的多分类训练流程，50层残差神经网络能够在仅知道畸形尿红细胞变焦视频所属分类的情况下获得理想的训练结果，即能够准确的预测出畸形尿红细胞变焦视频每一帧在不同分类下的概率，并定义每个分类下概率超过0.5的帧为其关键帧。考虑到靶形尿红细胞变焦视频会同时存在隐红、面包圈、靶形三种关键帧，本发明设计了靶形关键帧优先原则，并通过比较不同分类下关键帧概率值的大小确定畸形尿红细胞的分类。相较于已有的尿红细胞畸形率检测方法与系统，本发明提出的一种基于显微镜变焦视频与深度多示例学习算法的畸形尿红细胞分类统计方法与系统可以获得更为准确的畸形尿红细胞分类统计结果。本发明能够准确的对显微镜变焦视频中的所有畸形尿红细胞进行分类统计，基于分类统计结果将自动生成统计报告用以辅助专业医师对肾病患者的尿液样本进行检测。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种畸形尿红细胞分类统计方法，其特征在于，包括以下步骤：

S1、采集样本的显微镜变焦视频；

S2、找出显微镜变焦视频所有帧中清晰度最高的帧，并在清晰度最高的帧上识别出全部尿红细胞，并从全部尿红细胞中识别出畸形尿红细胞；依据畸形尿红细胞的位置和大小从显微镜变焦视频中分割出多个畸形尿红细胞变焦视频；

S3、将打上了分类标签的若干个畸形尿红细胞变焦视频作为训练集数据，利用深度多示例学习算法预测出各个畸形尿红细胞变焦视频中每一帧在不同分类下的概率，并将每个分类下概率值大于概率阈值的帧设定为该分类下的关键帧；所述分类标签包括靶型、影红、芽孢、花环、面包圈、颗粒6种；

S4、判断各个畸形尿红细胞变焦视频是否有靶型关键帧，若有，判定该畸形尿红细胞变焦视频的分类为靶型；若没有，则将拥有最大概率值的关键帧所属的分类作为畸形尿红细胞变焦视频的分类，进而实现畸形尿红细胞的分类与数量统计。

2.根据权利要求1所述的一种畸形尿红细胞分类统计方法，其特征在于，所述步骤S2中，找出显微镜变焦视频所有帧中清晰度最高的帧的具体方法为：计算显微镜变焦视频中每一帧的灰度方差值，将灰度方差值达到最大的帧作为清晰度最高的帧；

识别出尿红细胞的方法为：计算目标修正圆度值C₁，将目标修正圆度值大于0.5的目标标定为尿红细胞，目标修正圆度值C₁的计算公式为：

其中，p表示目标周长，A表示目标面积，max{(x'_max-x'_min),(y'_max-y'_min)}表示旋转后目标的外接矩形长度，min{(x'_max-x'_min),(y'_max-y'_min)}表示旋转后目标外接矩形的宽度；

从全部尿红细胞中识别出畸形尿红细胞的具体方法为：计算全部尿红细胞的平均灰度值，将灰度值低于灰度阈值的尿红细胞标记为畸形尿红细胞。

3.根据权利要求1所述的一种畸形尿红细胞分类统计方法，其特征在于，灰度阈值设定为75。

4.根据权利要求1所述的一种畸形尿红细胞分类统计方法，其特征在于，所述深度多示例学习算法基于50层残差神经网络训练实现，所述50层残差神经网络训练包括以下步骤：

S301、设置50层残差神经网络模型，通过ImageNet上的公共数据集对50层残差神经网络进行初始化；

S302、读取训练集中的一个畸形尿红细胞变焦视频中的所有帧，通过50层残差神经网络预测各个帧在不同分类下的概率，然后根据该畸形尿红细胞变焦视频的分类标签，找出畸形尿红细胞变焦视频所在分类下概率最高的帧，给其打上分类标签，并存入临时训练集；

S303、读取训练集中下一个畸形尿红细胞变焦视频，重复步骤S302，直到训练集中所有畸形尿红细胞变焦视频对应分类下概率最高的帧被全部打上分类标签并存入临时训练集；

S304、使用临时训练集中的所有带有分类标签的帧训练50层残差神经网络，调整残差神经网络的参数使得其预测出的帧分类尽可能与真实的帧分类相同；

S305、重复步骤S302～S304，直至50层残差神经网络训练结束。

5.根据权利要求4所述的一种畸形尿红细胞分类统计方法，其特征在于，所述50层残差神经网络的结构包括1个输入阶段与4个卷积阶段，输入阶段包含一个7×7大小的卷积层和一个3×3大小的最大池化层，每一个卷积阶段都由1个变维残差块与2个固定维残差块组成，变维残差块与固定维残差块都由2个1×1大小的卷积层和一个3×3大小的卷积层构成，但变维残差块输出与输入数据的维数不同，并且变维残差块的浅层卷积结果在传递到深层时，需要通过一个额外的卷积层来改变浅层卷积结果的维数，使其与深层卷积结果的维数匹配；此外，所述50层残差神经网路在提取出畸形尿红细胞变焦视频中每一帧的特征图后，特征图将通过两个全连接网络以及一个softmax分类器，进而得到每一帧属于不同分类的概率值。

6.根据权利要求4所述的一种畸形尿红细胞分类统计方法，其特征在于，所述50层残差神经网络中，是否训练结束的损失函数选用交叉熵函数，训练参数为：学习率为10^-4，批处理样本数量为128，迭代次数小于20次，动量因子为0.9，优化方法为Adam算法，所述训练集中的畸形尿红细胞变焦视频的数量为10000。

7.根据权利要求4所述的一种畸形尿红细胞分类统计方法，其特征在于，所述步骤S3中，概率阈值的设定值为0.5。

8.一种畸形尿红细胞分类统计系统，其特征在于，包括：

视频采集模块：用于采集样本的显微镜变焦视频；

视频分割模块：用于识别显微镜变焦视频中的所有畸形尿红细胞，并分割出多个畸形尿红细胞变焦视频；

分类统计模块：用于利用深度多示例学习算法预测出各个畸形尿红细胞变焦视频中每一帧在不同分类下的概率，并将每个分类下概率值大于阈值的帧设定为该分类下的关键帧；所述分类标签包括靶型、影红、芽孢、花环、面包圈、颗粒6种；还用于判断各个畸形尿红细胞变焦视频是否有靶型关键帧，若有，判定该畸形尿红细胞变焦视频的分类为靶型；若没有，则将拥有最大概率值的关键帧所属的分类作为畸形尿红细胞变焦视频的分类，进而实现畸形尿红细胞的分类与数量统计。

9.根据权利要求1所述的一种畸形尿红细胞分类统计系统，其特征在于，所述视频采集模块包括：400倍光学显微镜、CCD工业相机(1)以及变焦控制步进电机(4)，CCD工业相机(4)连接着显微镜物镜(5)用以采集样本的显微镜变焦视频，变焦控制步进电机(4)连接着显微镜的调焦轮(3)用以通过控制显微镜物镜的高度来调整显微镜焦距，CCD工业相机(1)将采集完成的显微镜变焦视频传输给视频分割模块。

10.根据权利要求1所述的一种畸形尿红细胞分类统计系统，其特征在于，所述视频分割模块设置在工控机(8)中，所述分类统计模块设置在服务器(9)中。

Images