CN113469967A - 一种尿沉渣中透明管型、病理管型的识别方法 - Google Patents

Abstract

本发明提出了一种尿沉渣中透明管型、病理管型的识别方法，1：构建数据集；2：数据集的预处理；3：构建Mobile_Urinet尿液有形成分识别网络；4：设置所用的网络参数如下；5：训练基于步骤3所述Mobile_Urinet尿液有形成分识别模型；6：利用步骤1、2得到的尿沉渣图像测试集对所得模型进行测试，得到测试集中管型成分的识别结果及总体准确率。本发明针对管型类图像难以分类的特点，采用数据扩充以及高低帽变换增强对比度后，使用轻量级的网络结构完成任务，在准确率高的同时识别速度快，且得到的模型参数少，易与部署，在临床中的尿沉渣识别检验有着广阔的应用前景。

Description

一种尿沉渣中透明管型、病理管型的识别方法

技术领域

本发明属于医学图像处理领域，具体涉及一种尿沉渣中透明管型、病理管型的识别方法。

背景技术

尿沉渣是指尿液经过浓缩、离心、沉淀后检查出的尿液有形成分，尿液检查也是最早开展的医学检验项目之一。自显微镜发明以来，尿液有形成分检查已经是尿液分析中的重要组成部分，但在临床检验领域中，尿液有形成分检查的自动化进展则相对缓慢。随着近年来数字图像处理技术和计算机技术的发展，尿液有形成分检查的各种自动化设备逐渐出现并投入使用，但就目前的发展状况以及技术水准，自动化检查的方法依旧没有取代传统的人工显微镜检查法，究其原因，主要是因为自动化检查的结果准确率不高，且成本太高，导致这个领域的自动化设备没有普及开来。

在尿液有形成分的检查中，管型类成分的检查结果很重要。管型是由蛋白质、细胞和细胞碎片等在肾小管内停留凝聚而成，主要可以分为病理性管型、非病理性管型。非病理性管型一般指透明管型，会在正常人的晨尿中可见。病理性管型的形态多种多样，主要为各种细胞成分进入透明管型，导致透明管型内含有其它有形成分。检验科医生通过观察尿液中出现的不同类型的病理管型成分，从而判断被检验者可能患有肾脏、泌尿系统方面的疾病。管型类成分形态的多样性也导致了其分类识别的困难，尿液中还有着如粘液丝、假管型、杂质等多种类管型成分，使得对管型的准确识别造成很大困难，阻碍了自动化识别设备的发展，所以本发明旨在提出相关的方法解决这些管型类成分的分类识别问题，主要针对其中的透明管型，病理管型成分进行分类识别。

在图像识别与分类领域，深度学习方法在近些年来有着重大的发展成果，经典的AlexNet网络、VGG网络和ResNet网络等在图像分类方面有着广泛的应用。一些轻量级的卷积神经网络模型已经在便携移动设备应用，如MobileNet模型，随后Google团队在MobileNet基础上提出的MobileNetV2结构，进一步提升了其性能，本发明基于对准确率、识别速度以及模型大小的考量，选用MobileNetV2作为基础模型，在此基础上针对所要识别分类的管型成分对网络结构进行重新设计，得到了最终的网络结构。

本网络结构是轻量级的模型结构，参数量少、网络结构简单，模型推理速度快，并且能在测试集上取得了90％以上的分类准确率，其识别速度达到了每秒180张。本发明提出的网络模型，被命名为Mobile_Urinet，网络结构可以有效地提取尿液有形成分中管型类成分图像的特征，并利用提取到的特征进行识别分类，识别速度快的同时模型具有轻量级的优点，对于实际的自动化设备的临床应用有着很大的帮助。

发明内容

本发明的目的在于提供一种尿液有形成分识别方法，并通过一些有效的操作提高识别准确率，新的模型结构被命名为Mobile_Urinet。本方法主要是针对尿液有形成分中的管型类成分进行识别分类，也可扩展到其他有形成分，实验结果有效的证明了本方法的有效性，其对管型类成分的识别分类准确率较高。

一种尿沉渣中透明管型、病理管型的识别方法，包括以下步骤：

步骤1：构建数据集；

通过显微镜，拍摄收集尿液有形成分图像，然后将图像切割成只含单个目标的图像，通过专业人员标注后按7：3随机划分成训练集与测试集，并对其中数量较少的管型成分进行了数据增强操作。

所述尿液有形成分包括透明管型、病理管型，粘液丝以及五种类管型成分，最后得到的成分一共为8类，其中，透明管型以及病理管型的数量较少；

步骤2：数据集的预处理；

训练集中的透明管型成分，由于没有内容物，和背景很像，其图像特征也不明显，所以需要通过相关的图像处理技术加强对比度。本发明先对原图进行双边滤波，平滑图像中的背景，再经过伽马变换得到变换后的图像；接着用高低帽变换的手段来对图像进行整体的对比度增强，得到了有效的增强后的透明管型成分图像，为后续识别分类进一步加强了目标特征。

训练集中的病理管型成分，存在着背景噪声以及一些杂质，需要通过相关的算法去除。本发明对原图经过膨胀、腐蚀以及连通域处理后，保留最大的连通域，得到对应的[0,1]矩阵；矩阵与原图相乘，提取出目标；原图经过中值滤波处理，与取反后的矩阵相乘得到干净背景图，与先前的目标相加得到处理过的病理管型成分，有效的去除了背景噪声以及小杂质的影响。

训练集中的透明管型与病理管型，其图片大小范围在60-600，且在80-160之间的居多，所以选择了156×156为本网络结构的输入大小。对于大于等于480×480的图片，其Resize成156×156丢失了太多细节，不利于模型的训练，因此需要进行二次切割并挑选，切割方法为用有重合的滑动窗口对大于等于480×480的图片依次切割成9张，选择其中较好的图片加入训练集。

步骤3：构建Mobile_Urinet尿液有形成分识别网络；

上述用到的网络结构主要是基于MobileNetV2网络，由于原始的网络结构输入是224×224大小的，而分割后数据集的图片大小范围在80-160之间的居多，所以对网络结构输入大小进行了调整，并且调整了部分卷积核的通道数，使之符合本数据集的特点。

在网络结构中引入了轻量级的ECA通道注意力模块，放在Depthwise Filter后面。用来学习有效的通道注意力，同时降低模型的复杂性。

在测试的时候，需要对这些大于等于480×480的图片进行二次切割，然后再识别分类。

步骤4：设置所用的网络参数如下；

网络的输入为经过预处理的只包含单个目标的尿液成分图像，在进入实际网络后会统一Resize成156×156大小的图片。在单个GPU上的小批量尺寸为128，初始学习率为0.0005，迭代次数为80000次，损失函数使用的是多分类情况下的Focal Loss，公式如下：

式中

为预测值，r的取值经过实验，取值为2。Focal Loss主要解决正负样本比例不均衡导致模型难以训练的问题，它可以平衡类别之间的权重。

步骤5：训练基于步骤3所述Mobile_Urinet尿液有形成分识别模型；

利用步骤1得到的尿沉渣图像数据集，结合步骤4中设置的训练参数，在Windows下利用Keras框架，RTX2060显卡训练Mobile_Urinet网络，迭代至最大迭代次数后获得网络模型；

步骤6：利用步骤1、2得到的尿沉渣图像测试集对所得模型进行测试，得到测试集中管型成分的识别结果及总体准确率。

进一步，所述步骤1中对于训练集中所有管型图像进行了数据增强，包括以下方法：

旋转变换:随机旋转图像一定角度，改变图像内容的朝向；

翻转变换:沿着水平或者垂直方向翻转图像；

进一步，所述步骤2中对于训练集中透明管型成分进行了对比度增强，包括以下方法：

原图经过双边滤波得到虚化背景后的图像A；

图像A经过伽马变换后得到图像B；

B图像分别进行开运算与闭运算；

从B图像中减去开运算后的图像得到图像C；

从B图像中减去闭运算后的图像得到图像D；

图像C减去图像D得到最终的透明管型成分对比度增强后的图片。

进一步，所述步骤2中对于训练集中病理管型成分进行了图像去噪以及去杂质，包括以下方法：

原图经过膨胀、腐蚀以及连通域处理后，保留最大的连通域，得到对应的[0,1]矩阵；

矩阵与原图相乘，提取出目标A；

原图经过中值滤波处理，得到图像B；

B图像与取反后的矩阵相乘得到对应的背景图C；

目标A加上图像C得到处理过的病理管型成分；

进一步，所述步骤2中对于训练集中较大的图片进行了二次切割，包括以下方法：

对每张大于等于480×480的图片，建立一个滑动窗口，规定裁剪后的图片大小为180×180，依次从左到右，从上至下进行滑动切割，一共得到9张裁剪后的图片，图片经过筛选，加入训练集。

进一步，所述步骤3中对于测试分类的图片也进行了二次切割后再识别分类，包括以下方法：

对每张测试集中的原图片经过与上述步骤2同样的二次切割方法后得到9张切割后的180×180大小的图片，9张图片依次通过模型预测，有一张及以上图片的预测结果位于设定的置信区间内，整张原图片可以被认为属于该类。

进一步，在训练本网络模型的尿液有形成分识别网络过程中，通过小批量随机梯度下降算法迭代优化损失函数，使损失函数达到最小，来调整网络的卷积权重参数。

本发明的有益效果：

本发明提出了一种基于MobileNetV2网络模型的尿液有形成分识别方法，并将其命名为Mobile_Urinet网络。通过分析已有的数据集以及识别任务，先对数据集进行预处理，利用高低帽变换对透明管型成分进行对比度上的增强，使目标与背景之间的界限更清晰；利用相关的图像处理技术对病理管型成分进行图像去噪以及去除小杂质，使图像更为干净清晰；对较大的图片进行二次切割，并加入训练集；在测试的时候也应用二次切割方法，提高分类准确率；引入了轻量级的ECA通道注意力模块，加强对有效通道的关注，最后使用的多分类情况下的Focal Loss并构建卷积神经网络模型进行训练测试。最终，在尿沉渣测试集上对病理管型、透明管型、粘液丝以及五种类管型成分进行分类，最终识别病理管型、透明管型的准确率都达到了90％以上，并且在AMD Ryzen 7 3700k 8-Core CPU，NVIDIA2060GPU的硬件平台下，用Keras框架，最终模型的识别速度能达到每秒180张图片。

附图说明

图1是本发明实施的流程图。

图2是所述MobileNetV2网络结构的Bottleneck模块。

图3是本发明所述Mobile_Urinet尿沉渣管型类成分识别网络结构。

图4是轻量级的ECA通道注意力模块。

图5是对病理管型进行图像去噪、去杂质的算法框图。

图6中(a)(b)是透明管型的原图和增强后的图；(c)(d)是病理管型的原图以及经过处理后的图。

图7是滑动窗口的示意图。

具体实施方式

下面将结合附图和实例对本发明作进一步的说明。

如图1所示，本发明所述一种基于MobileNetV2模型的尿沉渣管型类成分识别方法，主要包括如下步骤：

步骤1：收集切割后的尿沉渣管型类成分图片，按比例7:3随机划分为训练集和测试集；

采集尿液有形成分的显微镜图像，对图像中的尿液有形成分进行标注，主要的成分为病理管型和透明管型，数量分别为4500、2300张，其他较易收集的类别如粘液丝以及类管型成分数量若干。

由于病理管型和透明管型这两种尿液有形成分数据量较少，因此需要应用数据增强方法增加一些数据量，两类图片各增加了两倍，避免了因为数据量不足对最终结果造成较大影响。由于粘液丝以及类管型成分较好收集，故不对它们进行数据增强。

对透明管型、病理管型图像进行数据增强，主要采用了以下方法：

旋转变换:随机旋转图像一定角度，改变图像内容的朝向；

翻转变换:沿着水平或者垂直方向翻转图像；

经过扩充后的数据集，按比例划分为训练集和测试集。

步骤2：训练集数据的预处理；

通过对数据集中的图片进行挑选分析，发现训练集中的透明管型与背景难以区分，且透明管型成分目标较淡，不利于特征提取识别，故使用双边滤波、伽马变换以及高低帽变换对图像进行对比度增强，其结果如图6中(a)(b)所示。首先对原图像使用双边滤波，参数设置中的滤波半径为3，全局方差为1，局部方差为0.1，得到虚化背景后的图像A，再经过系数为1的伽马变换，得到图像B；接着经过高低帽变换，步骤为：从B图像中减去开运算后的图像得到图像C；从B图像中减去闭运算后的图像得到图像D；图像C减去图像D得到最终的对比度增强后的图片。透明管型成分经过处理后，图像会变清晰，可以提高图像识别准确率。

训练集中病理管型成分的背景存在一定量的噪声，且有部分图像存在其他的小杂质，影响识别分类。使用图像处理技术进行处理，算法流程图如图5所示，结果图如图6中(c)(d)所示。具体算法为：原图经过系数为5的膨胀操作、系数为3的腐蚀操作以及8连通域处理后，保留最大的连通域，得到对应的[0,1]矩阵(目标区域为1，其他地方为0)；矩阵与原图相乘，提取出目标A；原图经过滤波器大小为20的中值滤波处理，得到图像B；B图像与取反后的矩阵相乘得到对应的背景图C；目标A加上图像C得到处理过的病理管型成分；

由于一次切割得到的透明管型和病理管型图片大小跨度太大，需要对图片进行二次切割，具体步骤为：对每张大于等于480×480的图片，建立一个滑动窗口，规定切割后的图片大小为180×180，依次从左到右，从上至下进行有重合的滑动切割，一共得到9张切割后的图片，图片经过筛选，加入训练集。其过程示意图如图7所示。

步骤3：构建基于Mobile_Urinet的尿液有形成分识别网络模型；

所选用的基础MobileNetV2模型，使用了深度可分离卷积的堆叠，设计的网络结构符合输入为156×156的大小，同时模型参数量小，以便得到更好的分类结果。其具体结构如图2、图3。

模型引入了轻量级的ECA通道注意力模块，其原理图如图4所示。其提出一种不需要降维的局部跨通道交互策略，该策略可以通过快速一维卷积有效地实现局部跨通道交互，ECA可以学习有效的通道注意力，同时降低模型的复杂性。

损失函数使用的是多分类情况下的Focal Loss，其主要解决正负样本比例不均衡导致模型难以训练的问题，它可以平衡类别之间的权重。

步骤4：设置所述网络的训练参数；

输入图像为156×156×3的尿沉渣图像，在单个GPU上进行训练，批量输入图片数量为128，初始学习率为0.0005；

步骤5：训练基于Mobile_Urinet的尿液有形成分识别网络模型；

利用步骤1、2得到的尿液有形成分图像训练集数据，结合步骤4中设置的训练参数，训练基于Mobile_Urinet的尿液有形成分识别网络模型。

在Windows下利用Keras搭建网络(基于Tensorflow)，采用NVIDIA 2060显卡，AMDRyzen 7 3700k 8-Core CPU，对网络利用SGD优化方法一共迭代80000次得到模型。

步骤6：利用步骤1得到的尿沉渣图像测试集对步骤5得到的Mobile_Urinet网络模型进行测试，最后利用测试程序调用模型对测试集进行测试，两类管型的平均分类准确率达到90％。

上文所述仅用实例说明本发明的原理及功效，而非限制本发明。认识熟悉此技术的人员均可在不违背本发明的精神及范围下，对上述实例进行修改。本发明的权利保护范围，应如权利要求书所列。

本发明提出了一种尿沉渣中透明管型、病理管型的识别方法，主要对尿沉渣中透明管型、病理管型进行识别分类，所采用的模型结构被命名为Mobile_Urinet网络。通过分析已有的数据集以及识别任务，先对数据集进行数据扩充，对透明管型、病理管型采用数据增强，得到两倍的数据集扩充。利用双边滤波、伽马变换以及高低帽变换对透明管型成分进行对比度上的增强，使目标与背景之间的界限更清晰。通过膨胀、腐蚀以及连通域处理等操作，对病理管型成分进行图像去噪、去除杂质，得到更为干净的图像数据集。由于一次切割得到的图片大小跨度太大，需要对数据集中较大的透明管型、病理管型图片进行二次切割，对大于等于480×480的图片进行滑动窗口式的切割，得到180×180大小的切割后图片，并挑选切割后的图片加入训练集。同时在测试的时候也应用二次切割方法，提高最终的分类准确率。模型引入ECA注意力模块，使之更为关注有效的通道，损失函数使用的是多分类情况下的Focal Loss，它可以平衡类别之间的权重。最后在构建的网络模型上进行训练测试，在尿沉渣测试集上对病理管型、透明管型、粘液丝以及五种类管型成分进行分类，最终识别病理管型、透明管型的准确率都达到了90％以上，并且在AMD Ryzen 7 3700k 8-Core CPU，NVIDIA 2060GPU的硬件平台下，用Keras搭建的模型，其识别速度能达到每秒180张图片。

本发明提出的基于MobileNetV2网络模型的尿沉渣中透明管型、病理管型的识别方法，针对管型类图像难以分类的特点，采用数据扩充以及高低帽变换增强对比度后，使用轻量级的网络结构完成任务，在准确率高的同时识别速度快，且得到的模型参数少，易与部署，在临床中的尿沉渣识别检验有着广阔的应用前景。

Claims (9)

1.一种尿沉渣中透明管型、病理管型的识别方法，其特征在于，包括以下步骤：

步骤1：构建数据集；

通过显微镜，拍摄收集尿液有形成分图像，然后将图像切割成只含单个目标的图像，通过专业人员标注后按7:3随机划分成训练集与测试集，并对其中数量较少的管型成分进行了数据增强操作；

所述尿液有形成分包括透明管型、病理管型，粘液丝以及五种类管型成分，最后得到的成分一共为8类，其中，透明管型以及病理管型的数量较少；

步骤2：数据集的预处理；

训练集中的透明管型成分，由于没有内容物，和背景很像，其图像特征也不明显，所以需要通过相关的图像处理技术加强对比度，本发明先对原图像进行双边滤波后，平滑图像中的背景，再经过伽马变换得到变换后的图像；接着用高低帽变换的手段来对图像进行整体的对比度增强，有效的区分开图像中的目标与背景，为后续识别分类进一步加强了目标特征；

训练集中的病理管型成分，存在着背景噪声以及一些杂质，需要通过相关的算法去除，本发明对原图经过膨胀、腐蚀以及连通域处理后，保留最大的连通域，得到对应的[0,1]矩阵；矩阵与原图相乘，提取出目标；原图经过中值滤波处理，与取反后的矩阵相乘得到干净背景图，与先前的目标相加得到处理过的病理管型成分，有效的去除了背景噪声以及小杂质的影响；

训练集中的透明管型与病理管型，其图片大小范围在60-600，且在80-160之间的居多，所以选择了156×156为本网络结构的输入大小，对于大于等于480×480的图片，其Resize成156×156丢失了太多细节，不利于模型的训练，因此需要进行二次切割并挑选，切割方法为用有重合的滑动窗口对大于等于480×480的图片依次切割成9张，选择其中较好的图片加入训练集；

步骤3：构建Mobile_Urinet尿液有形成分识别网络；

上述用到的网络结构主要是基于MobileNetV2网络，由于原始的网络结构输入是224×224大小的，而分割后数据集的图片大小范围在80-160之间的居多，所以对网络结构进行了设计，使之符合本数据集的特点；

在网络结构中引入了轻量级的ECA通道注意力模块，放在Depthwise Filter后面，用来学习有效的通道注意力，同时降低模型的复杂性；

在测试的时候，也需要对这些大于等于480×480的图片进行二次切割，然后再识别分类；

步骤4：设置所用的网络参数如下；

网络的输入为经过预处理的只包含单个目标的尿液成分图像，在进入实际网络后会统一Resize成156×156大小的图片，在单个GPU上的小批量尺寸为128，初始学习率为0.0005，迭代次数为80000次，损失函数使用的是多分类情况下的FocalLoss，公式如下：

式中

为预测值，r的取值经过实验，取值为2，Focal Loss主要解决正负样本比例不均衡导致模型难以训练的问题，它可以平衡类别之间的权重；

步骤5：训练基于步骤3所述Mobile_Urinet尿液有形成分识别模型；

利用步骤1得到的尿沉渣图像数据集，结合步骤4中设置的训练参数，在Windows下利用Keras框架，RTX2060显卡训练Mobile_Urinet网络，迭代至最大迭代次数后获得网络模型；

步骤6：利用步骤1、2得到的尿沉渣图像测试集对所得模型进行测试，得到测试集中管型成分的识别结果及总体准确率。

2.如权利要求1所述的尿沉渣中透明管型、病理管型的识别方法，其特征在于：所述步骤1所选取的训练集需经过切割后由专业人员进行标注，且对数据量少的管型成分进行了数据扩充。

3.如权利要求1所述的基尿沉渣中透明管型、病理管型的识别方法，其特征在于：所述步骤2中需要对训练集进行图像处理，对透明管型成分进行了中值滤波、双边滤波以及高低帽变换的对比度增强，经过处理，透明管型图像中目标与背景的区别变大，特征得到加强。

4.如权利要求1所述的尿沉渣中透明管型、病理管型的识别方法，其特征在于：所述步骤2中需要对训练集进行图像处理，对病理管型成分进行了图像去噪以及去除图像中的小杂质，经过处理，病理管型图像中背景噪声减小以及小杂质被去除。

5.如权利要求1所述的尿沉渣中透明管型、病理管型的识别方法，其特征在于：所述步骤2中需要对图片进行二次切割，选出其中大于等于480×480的图片，用有重合的滑动窗口依次切割成9张180×180大小的图片，选择其中较好的图片加入训练集。

6.如权利要求1所述的尿沉渣中透明管型、病理管型的识别方法，其特征在于：所述步骤3中所采用的模型是基于MobileNetV2网络的基础上改进的，改变其原有输入层大小224×224×3为156×156×3；头部卷积核的通道数减半；模型引入了轻量级的ECA通道注意力模块；图像进入网络前统一Resize成输入层大小。

7.如权利要求1所述的尿沉渣中透明管型、病理管型的识别方法，其特征在于：所述步骤3中的在测试的时候，也需要对测试集中大于等于480×480的图片进行二次切割，然后再识别分类。

8.如权利要求1所述的尿沉渣中透明管型、病理管型的识别方法，其特征在于：所述步骤4中的整个模型，损失函数使用的是多分类情况下的Focal Loss，其主要解决正负样本比例不均衡导致模型难以训练的问题，用以平衡各类别之间的权重。

9.根据权利要求1-7项任一项所述的尿沉渣中透明管型、病理管型的识别方法，其特征在于，所述图像识别方法应用于医学图像识别。

Images