CN109740697B - 基于深度学习的尿沉渣显微图像有形成分识别方法 - Google Patents
基于深度学习的尿沉渣显微图像有形成分识别方法 Download PDFInfo
- Publication number
- CN109740697B CN109740697B CN201910164071.8A CN201910164071A CN109740697B CN 109740697 B CN109740697 B CN 109740697B CN 201910164071 A CN201910164071 A CN 201910164071A CN 109740697 B CN109740697 B CN 109740697B
- Authority
- CN
- China
- Prior art keywords
- model
- urinary sediment
- microscopic image
- feature
- alexnet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本发明提出一种基于深度学习的尿沉渣显微图像有形成分识别方法,包括改进AlexNet模型为De‑AlexNet模型,迁移模型参数,利用可视化卷积神经网络模型制定一种合理的微调学习率和级联特征的策略,集成De‑AlexNet模型、GoogLeNet模型和ResNet模型对尿沉渣显微图像进行特征提取,并设计全连接神经网络模型作为分类器对集成特征进行分类四个部分。与现有的尿沉渣显微图像有形成分识别方法相比,本发明识别准确率更高,操作更简洁,效率更优。
Description
技术领域
本发明涉及到医疗显微图像处理技术领域,具体地说,是一种基于深度学习的尿沉渣显微图像有形成分识别方法。
背景技术
尿沉渣检查在肾脏疾病、泌尿系统疾病、循环系统疾病和感染性疾病的诊断和鉴别中具有重要的作用,是医院常规检查项目之一。目前,尿沉渣检查可以通过三种方式进行:干化学法、流式细胞检测法和影像式显微镜检测分析法,其中影像式显微镜检测分析法是目前比较常用和可靠的尿沉渣检查方法。由于医院每天的检查工作量很大,检查效率较低,因此摄像式尿沉渣自动分析仪便成为了医疗机构理想的选择。摄像式尿沉渣自动分析仪是利用图像识别软件完成有形成分的种类识别,目前对于有形成分识别的准确率有待提高,因此需要针对尿沉渣显微图像有形成分的识别部分进行更加深入的研究,提高准确率和稳定性。
尿沉渣显微图像有形成分识别分为特征提取和分类两部分。传统的尿沉渣显微图像特征提取方法需要手工设计特征算子,提取的特征与研究人员的先验知识有着密切关系,使得传统方法存在很大的局限性。而深度学习是一种多层次的自主学习方法,利用卷积核自主提取图像特征,具有很好的泛化能力。深度学习往往要求有大型数据集来训练卷积神经网络(Convolution Neural Network,CNN)模型,但是尿沉渣显微图像的样本量比较小,不足以训练模型。并且尿沉渣显微图像具有类间相似、类内差异大的特点,使得提取有判别性的特征比较困难。CNN模型提取的特征维数较多,传统分类器在处理高维特征时将耗费大量的机器内存和运行时间,对于多分类问题的计算复杂度更是成倍增加。
由此可见,设计出高效、准确的图像识别方法,解决尿沉渣显微图像中尿沉渣有形成分的自动识别问题,对实现尿沉渣显微图像的自动化分析意义重大。
发明内容
针对现有技术的不足,本发明的目的是提供一种基于深度学习的尿沉渣显微图像有形成分识别方法,利用迁移学习解决尿沉渣显微图像样本不足的问题,利用集成的微调CNN模型对尿沉渣显微图像有形成分进行特征提取,通过级联特征增加更多具有判别性的特征,并利用全连接神经网络对高维特征进行分类。
为达到上述目的,本发明采用的技术方案如下:
本发明方法包括四个部分:改进AlexNet模型为De-AlexNet模型、迁移CNN模型权重、制定一种合理的微调学习率和级联特征的策略、集成De-AlexNet模型、GoogLeNet模型和ResNet模型提取的特征并设计全连接神经网络模型作为分类器。
所述方法主要包括以下步骤:
步骤1:改进AlexNet模型为De-AlexNet模型,即将AlexNet模型的FC7层去掉,添加两个全连接层FCA1和FCA2层,其中FCA1的神经元数目为2048,FCA2的神经元数目为1024。
步骤2:在ImageNet数据集上预训练De-AlexNet模型、GoogLeNet模型和ResNet模型并分别获取三个模型的权重。
步骤3:将三个预训练模型迁移至尿沉渣显微图像数据集上继续训练。
步骤4:可视化三个模型中的每一层卷积层提取的特征,按照提取特征的特性分别将每个模型的卷积层分为三个卷积块。
步骤5:将第一个卷积块的学习率设为0、将第二个卷积块的学习率设为0.001、将第三个卷积块的学习率设为0.01进行训练。
步骤6:将每个模型第二卷积块的最后一个卷积层提取的特征和第三卷积块最后两个卷积层提取的特征级联起来组成特征向量。
步骤7:将三个特征向量集成起来送入全连接神经网络模型中进行分类。
进一步,步骤4中所述可视化模型的具体步骤为:
步骤4-1:分别提取三个模型每一个卷积层的特征图,然后对特征图进行反卷积操作、反池化和反激活操作。
步骤4-2:将经过步骤4-1处理的特征图投影到屏幕上观察特征图响应的特征特性。
步骤4-3:分别将每个模型的卷积层按照提取特征的特性分为三个卷积块。
进一步,步骤7中所述的全连接神经网络模型是由三个全连接层FC1、FC2和FC3组成,其中FC1的神经元数目为4096,FC2的神经元数目为4096,FC3的神经元数目为7,分类的结果以概率的形式给出,具体的计算方式为:
其中,aj表示FC3输出的第j个值,T=7表示尿沉渣显微图像有形成分的种类。e表示指数,pj表示有形成分的分类结果概率。
本发明的优点如下:
1、由于尿沉渣显微图像在AlexNet模型上的泛化能力不足,导致识别率很低,本发明改进AlexNet模型为De-AlexNet模型,采用将AlexNet模型的FC7层去掉,加入全新的两层全连接层FCA1和FCA2增加模型的泛化能力,并且设置神经元数目分别为2048和1024,减少冗余特征,使有效特征的比重增加。
2、由于尿沉渣显微图像样本不足且标记困难,难以训练卷积神经网络模型,因此本发明采用迁移学习将模型在大型数据集ImageNet上学习到的特征权重迁移至尿沉渣显微图像数据集上。
3、本发明通过微调学习率,使模型更加适应尿沉渣显微图像,对于图像的通用特征减缓学习速率,对图像有判别性的特征加大学习速率。
4、本发明通过级联模型不同层的特征,增加更多有判别性的特征。
5、由于每个模型的卷积核和结构不同,因此它们提取的特征也不一样,本发明集成三个模型提取的特征有利于提高每一类有形成分的识别率,即将三个深度CNN分类器进行集成,并且级联不同卷积层的特征,学习到的图像特征更加丰富,更加有判别性。
与现有的尿沉渣显微图像有形成分识别方法相比,本发明识别准确率更高,操作更简洁,效率更优。
附图说明
图1是本发明的方法流程图;
图2(a)-图2(d)是本发明方法的主要阶段图,其中图2(a)是De-AlexNet模型的结构图,图2(b)是可视化De-AlexNet模型示意图,图2(c)是微调学习率的示意图,图2(d)是级联De-AlexNet模型特征的示意图。
具体实施方式
下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。
本方法由改进AlexNet模型为De-AlexNet模型、迁移CNN模型权重、微调学习率和级联特征以及集成三个卷积神经网络模型提取的特征并设计分类器四部分组成。
第一个部分将AlexNet模型的FC7层维度4096的全连接层去掉,增加两层FCA1,FCA2层,维度分别为2048和1024的全连接层。
第二部分首先在ImageNet数据集上预训练De-AlexNet模型、GoogLeNet模型和ResNet模型以获取权重,然后将权重迁移至尿沉渣显微图像数据集上继续训练。
第三个部分通过对卷积神经网络模型可视化,观察网络模型不同层提取特征的特性,将每个卷积神经网络模型按照提取特征的特征分为不同的卷积块,对每个卷积块设置不同的微调学习率进行训练,由实验得出学习率设置为0,0.001和0.01,然后级联不同卷积层提取的特征形成特征向量。
第四部分集成上述三个卷积神经网络模型提取的特征向量,输入全连接神经网络模型中进行分类。
如图1所示,识别方法具体按照以下步骤进行:
步骤1:改进AlexNet模型为De-AlexNet模型;
如图2(a)所示,De-AlexNet模型有5个卷积层,图像经过第一层卷积得到图像尺寸为55*55,通道数为96的特征图像,经过池化和第二层卷积后得到图像尺寸为27*27,通道数为96的特征图像,经过池化和第三层卷积后得到图像尺寸为13*13,通道数为384的特征图像,经过第四层卷积得到图像尺寸为13*13,通道数为384的特征图像,经过第五层卷积得到图像尺寸为13*13,通道数为256的特征图像,再经过池化和全连接后得到4096维的特征向量,经过FCA1全连接层得到2048维特征向量,经过FCA2全连接层得到1024维特征向量。
步骤2:在ImageNet数据集上预训练De-AlexNet模型、GoogLeNet模型和ResNet模型并分别获取三个模型的权重;
步骤3:将三个预训练模型迁移至尿沉渣显微图像数据集上继续训练;
步骤4:可视化三个模型每一层提取的特征,按照可视化模型的结果分别将每个模型的卷积层分为三个卷积块;具体步骤为:
步骤4-1:分别提取三个模型每一个卷积层的特征图,然后对特征图进行反卷积操作、反池化和反激活操作;
步骤4-2:将经过步骤4-1处理的特征图投影到屏幕上观察特征图响应的特征特性;
例如,将De-AlexNet模型的每一个卷积层的特征提取出来,经过步骤4-1和步骤4-2的操作投影到屏幕上,得到的可视化De-AlexNet模型如图2(b)所示,图中示意分别对管型、上皮细胞和白细胞的尿沉渣显微图像进行特征可视化,分别将三幅图像输入De-AlexNet模型进行训练中,对模型中每一个卷积层提取的特征图进行可视化得到图2(b)的可视化特征图像,从左往右依次是卷积层1-5提取的特征可视化图像。
步骤4-3:将三个模型的所有卷积层按照提取的特征特性分为三个卷积块。
步骤5:分别对每个CNN模型调整三个卷积块的学习率进行训练;如图2(c)所示,分别将每个CNN模型的卷积层分为三个卷积块,第一个卷积块1的学习率设为0,使得模型的权重不变,第二个卷积块2的学习率设为0.001,使得模型的权重做出缓慢调整,第三个卷积块3的学习率设为0.01,使得模型的权重做出快速调整。
步骤6:将每个模型第二卷积块的最后一个卷积层提取的特征和第三卷积块最后两个卷积层提取的特征级联起来组成特征向量,具体在级联多层特征时,由于第二卷积块的最后一个卷积层提取的特征和第三卷积块最后两个卷积层提取的特征尺寸可能不一致,为了实现特征维度的叠加,要将三个特征统一为第三卷积块的最后一个卷积层特征尺寸,将与其不一致的特征送入最大池化层中调整特征尺寸。
步骤7:将三个特征向量集成起来送入全连接神经网络模型中进行分类。其中全连接神经网络模型是由三个全连接层FC1、FC2和FC3组成,其中FC1的神经元数目为4096,FC2的神经元数目为4096,FC3的神经元数目为7,分类的结果以概率的形式给出,具体的计算方式为:
其中,aj表示FC3输出的第j个值,T=7表示尿沉渣显微图像有形成分的种类。
如图2(d)所示,以De-AlexNet模型级联特征为例,尿沉渣显微图像数据集输入卷积层1-5中得到卷积层5中的特征图像,同时利用级联层融合卷积层3和卷积层4提取的特征图像,在级联层中对卷积层3、卷积层4和卷积层5提取的特征图像按通道数进行叠加,然后经过全连接层FC6、FCA1和FCA2得到1024维特征向量,然后经过softmax计算得到分类结果。
本例中,在对于尿沉渣显微图像进行识别时,分为三个阶段,首先将三个卷积神经网络模型在ImageNet数据集上进行预训练,然后将模型的权重迁移至尿沉渣显微图像数据集上继续进行训练,训练过程中运用了微调学习率和级联特征的策略,提高了模型的识别准确率,最后将三个模型最后一个卷积层提取的特征进行集成,输入到全连接神经网络模型中进行分类。
发明在尿沉渣显微图像数据集上进行的实验证明:上述识别方法是有效的,与近几年具有代表性的方法相比,在识别的准确率上有很大的提高。
Claims (2)
1.一种基于深度学习的尿沉渣显微图像有形成分识别方法,其特征在于包括以下步骤:
步骤1:改进AlexNet模型为De-AlexNet模型,即是将AlexNet模型的FC7层去掉,添加两个全连接层FCA1和FCA2层,其中FCA1的神经元数目为2048,FCA2的神经元数目为1024;
步骤2:在ImageNet数据集上预训练De-AlexNet模型、GoogLeNet模型和ResNet模型,并分别获取三个模型的权重;
步骤3:将三个预训练模型迁移至尿沉渣显微图像数据集上继续训练;
步骤4:可视化三个模型中的每一层卷积层提取的特征,按照提取特征的特性分别将每个模型的卷积层分为三个卷积块;具体包括:
步骤4-1:分别提取三个模型每一个卷积层的特征图,然后对特征图进行反卷积操作、反池化和反激活操作;
步骤4-2:将所述特征图投影到屏幕上观察特征图响应的特征特性;
步骤4-3:分别将每个模型的卷积层按照提取特征的特性分为三个卷积块;
步骤5:将第一个卷积块的学习率设为0,将第二个卷积块的学习率设为0.001,将第三个卷积块的学习率设为0.01进行训练;
步骤6:将每个模型第二卷积块的最后一个卷积层提取的特征和第三卷积块最后两个卷积层提取的特征级联起来组成特征向量;
步骤7:将三个特征向量集成起来送入全连接神经网络模型中进行分类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910164071.8A CN109740697B (zh) | 2019-03-05 | 2019-03-05 | 基于深度学习的尿沉渣显微图像有形成分识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910164071.8A CN109740697B (zh) | 2019-03-05 | 2019-03-05 | 基于深度学习的尿沉渣显微图像有形成分识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109740697A CN109740697A (zh) | 2019-05-10 |
CN109740697B true CN109740697B (zh) | 2023-04-14 |
Family
ID=66369443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910164071.8A Active CN109740697B (zh) | 2019-03-05 | 2019-03-05 | 基于深度学习的尿沉渣显微图像有形成分识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109740697B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110473166A (zh) * | 2019-07-09 | 2019-11-19 | 哈尔滨工程大学 | 一种基于改进Alexnet模型的尿液有形成分识别方法 |
CN110807732B (zh) * | 2019-10-11 | 2023-08-29 | 武汉兰丁智能医学股份有限公司 | 用于显微图像全景拼接系统及方法 |
CN111582328A (zh) * | 2020-04-22 | 2020-08-25 | 北方民族大学 | 一种基于肺部ct影像的covid-19分类识别方法 |
CN111709425A (zh) * | 2020-05-26 | 2020-09-25 | 漳州卫生职业学院 | 一种基于特征迁移的肺部ct图像分类方法 |
CN112016622A (zh) * | 2020-08-28 | 2020-12-01 | 中移(杭州)信息技术有限公司 | 模型训练的方法、电子设备和计算机可读存储介质 |
CN112200726B (zh) * | 2020-10-29 | 2023-04-07 | 陈根生 | 基于无透镜显微成像的尿沉渣有形成分检测方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106485251A (zh) * | 2016-10-08 | 2017-03-08 | 天津工业大学 | 基于深度学习的鸡蛋胚胎分类 |
WO2017151759A1 (en) * | 2016-03-01 | 2017-09-08 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Services | Category discovery and image auto-annotation via looped pseudo-task optimization |
CN107564580A (zh) * | 2017-09-11 | 2018-01-09 | 合肥工业大学 | 基于集成学习的胃镜图像辅助处理系统及方法 |
CN107609601A (zh) * | 2017-09-28 | 2018-01-19 | 北京计算机技术及应用研究所 | 一种基于多层卷积神经网络的舰船目标识别方法 |
CN108334843A (zh) * | 2018-02-02 | 2018-07-27 | 成都国铁电气设备有限公司 | 一种基于改进AlexNet的燃弧识别方法 |
CN108629360A (zh) * | 2017-03-23 | 2018-10-09 | 天津工业大学 | 一种基于深度学习的针织物基本组织结构自动识别方法 |
CN109034045A (zh) * | 2018-07-20 | 2018-12-18 | 中南大学 | 一种基于卷积神经网络的白细胞自动识别方法 |
CN109063826A (zh) * | 2018-03-19 | 2018-12-21 | 重庆大学 | 一种基于忆阻器的卷积神经网络实现方法 |
CN109165698A (zh) * | 2018-10-16 | 2019-01-08 | 中国电子科技集团公司信息科学研究院 | 一种面向智慧交通的图像分类识别方法及其存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9792492B2 (en) * | 2015-07-07 | 2017-10-17 | Xerox Corporation | Extracting gradient features from neural networks |
US9947102B2 (en) * | 2016-08-26 | 2018-04-17 | Elekta, Inc. | Image segmentation using neural network method |
-
2019
- 2019-03-05 CN CN201910164071.8A patent/CN109740697B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017151759A1 (en) * | 2016-03-01 | 2017-09-08 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Services | Category discovery and image auto-annotation via looped pseudo-task optimization |
CN106485251A (zh) * | 2016-10-08 | 2017-03-08 | 天津工业大学 | 基于深度学习的鸡蛋胚胎分类 |
CN108629360A (zh) * | 2017-03-23 | 2018-10-09 | 天津工业大学 | 一种基于深度学习的针织物基本组织结构自动识别方法 |
CN107564580A (zh) * | 2017-09-11 | 2018-01-09 | 合肥工业大学 | 基于集成学习的胃镜图像辅助处理系统及方法 |
CN107609601A (zh) * | 2017-09-28 | 2018-01-19 | 北京计算机技术及应用研究所 | 一种基于多层卷积神经网络的舰船目标识别方法 |
CN108334843A (zh) * | 2018-02-02 | 2018-07-27 | 成都国铁电气设备有限公司 | 一种基于改进AlexNet的燃弧识别方法 |
CN109063826A (zh) * | 2018-03-19 | 2018-12-21 | 重庆大学 | 一种基于忆阻器的卷积神经网络实现方法 |
CN109034045A (zh) * | 2018-07-20 | 2018-12-18 | 中南大学 | 一种基于卷积神经网络的白细胞自动识别方法 |
CN109165698A (zh) * | 2018-10-16 | 2019-01-08 | 中国电子科技集团公司信息科学研究院 | 一种面向智慧交通的图像分类识别方法及其存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109740697A (zh) | 2019-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109740697B (zh) | 基于深度学习的尿沉渣显微图像有形成分识别方法 | |
CN112801212B (zh) | 一种基于小样本半监督学习的白细胞分类计数方法 | |
CN109993100B (zh) | 基于深层特征聚类的人脸表情识别的实现方法 | |
CN110321967B (zh) | 基于卷积神经网络的图像分类改进方法 | |
CN111738303B (zh) | 一种基于层次学习的长尾分布图像识别方法 | |
CN112949673A (zh) | 一种基于全局注意力的特征融合目标检测与识别方法 | |
CN104217225A (zh) | 一种视觉目标检测与标注方法 | |
CN109815920A (zh) | 基于卷积神经网络和对抗卷积神经网络的手势识别方法 | |
CN109871892A (zh) | 一种基于小样本度量学习的机器人视觉认知系统 | |
Zhang et al. | Urine sediment recognition method based on multi-view deep residual learning in microscopic image | |
CN106919710A (zh) | 一种基于卷积神经网络的方言分类方法 | |
Gehlot et al. | Ednfc-net: Convolutional neural network with nested feature concatenation for nuclei-instance segmentation | |
CN110110724A (zh) | 基于指数型挤压函数驱动胶囊神经网络的文本验证码识别方法 | |
CN106650804A (zh) | 一种基于深度学习特征的人脸样本清洗方法及系统 | |
CN110059568A (zh) | 基于深层卷积神经网络的多类白细胞自动识别方法 | |
Ma et al. | Research on fish image classification based on transfer learning and convolutional neural network model | |
Tan et al. | Rapid fine-grained classification of butterflies based on FCM-KM and mask R-CNN fusion | |
Jabbar et al. | Diagnosis of malaria infected blood cell digital images using deep convolutional neural networks | |
CN111524140A (zh) | 基于cnn和随机森林法的医学图像语义分割方法 | |
CN114492581A (zh) | 基于迁移学习和注意力机制元学习应用在小样本图片分类的方法 | |
CN114333062A (zh) | 基于异构双网络和特征一致性的行人重识别模型训练方法 | |
CN113065430A (zh) | 基于深度学习特征与人工提取特征融合的白细胞分类方法 | |
CN116824270A (zh) | 一种基于注意力机制改进的小样本车型识别方法 | |
CN110363240A (zh) | 一种医学影像分类方法与系统 | |
Sang et al. | Image recognition based on multiscale pooling deep convolution neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |