CN110473167A - 一种基于深度学习的尿沉渣图像识别系统及方法 - Google Patents

一种基于深度学习的尿沉渣图像识别系统及方法 Download PDF

Info

Publication number
CN110473167A
CN110473167A CN201910615378.5A CN201910615378A CN110473167A CN 110473167 A CN110473167 A CN 110473167A CN 201910615378 A CN201910615378 A CN 201910615378A CN 110473167 A CN110473167 A CN 110473167A
Authority
CN
China
Prior art keywords
image
arena
module
deep learning
urine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910615378.5A
Other languages
English (en)
Other versions
CN110473167B (zh
Inventor
汲清波
曲志昱
李逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201910615378.5A priority Critical patent/CN110473167B/zh
Publication of CN110473167A publication Critical patent/CN110473167A/zh
Application granted granted Critical
Publication of CN110473167B publication Critical patent/CN110473167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/487—Physical analysis of biological material of liquid biological material
    • G01N33/493—Physical analysis of biological material of liquid biological material urine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Urology & Nephrology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Hematology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明涉及医学图像处理领域，具体涉及一种基于深度学习的尿沉渣图像识别系统及方法。图像采集模块对尿液样本采集得到原始图像；图像分割模块对原始图像进行分割处理，得到分割好的尿沉渣成分图像；基于深度学习的图像识别模块对分割好的尿沉渣成分图像进行识别，整合三个网络模型的识别结果，得到基于深度学习的图像识别模块的输出；计数模块对输出结果进行统计处理，得到定量的医学指标参考；系统输出为基于深度学习的图像识别模块的结果和计数模块的结果。本发明可以自动实现端到端的特征提取与分类，有效提取出尿沉渣有形成分中难以被肉眼发现的微小特征，从而高质量地解决11种尿沉渣成分的复杂分类问题，具有很强的医学应用价值。

Description

一种基于深度学习的尿沉渣图像识别系统及方法
技术领域
本发明涉及医学图像处理领域，具体涉及一种基于深度学习的尿沉渣图像识别系统及方法。
背景技术
尿沉渣检测技术是指用显微镜检查离心后尿液样本的沉渣物，对沉渣物中的有形成分进行检测、分类与计数，从而为相关病情的判定提供定量指标，是医院的常规检测项目之一。在患者尿液样本中检测到的尿沉渣成分会为医生的诊断提供重要的参考信息，例如：尿沉渣中检测到的红细胞增多会提示尿路出血；白细胞增多会提示泌尿系统感染；红细胞、草酸钙或磷酸钙结晶、透明管型的大量出现可以推测患者患有尿路结石；管型增多会提示肾小球肾炎、肾小管及肾功能减退等等。因此，尿沉渣检测对肾脏疾病、泌尿系统疾病和感染性疾病的诊断都有着非常重要的意义。
由于尿液显微镜检图像具有成分种类与数量较多、成分分布不均、单个成分较小的特点，并且人工镜检工作量大，效率低下，容易漏检误检，同时人工镜检高度依赖于操作者的经验从而很难标准化。因此，标准化和自动化的尿沉渣分析仪可以大幅减少病理医生的工作量，提高医院的服务效率与质量，具有十分重要的实用价值。随着计算机科学的快速发展，数字医学影像智能检测技术日益成为一项重要的辅助检测手段，分析仪通过计算机对患者的尿沉渣图像进行处理和分析，能够自动地将图像中的有形成分分割出来，并对分割后的成分图像进行识别，从而部分或全部地替代人工镜检，加快检测的速度，提高检测水平。
目前，传统自动化检测方法通常采用“目标分割+特征选择与提取+分类器”的主要思路，在尿沉渣图像识别分类方面取得了一定的研究成果。但这些方法的性能很大程度上取决于对尿沉渣成分分割的准确性，以及对尿沉渣成分的形态特征选择与组合的有效性。尿沉渣图像相对于通用分类图像来说，部分不同种类成分的图像之间形态差异小，部分同类成分的图像之间形态差异大，利用传统方法很难取得较大突破，同时特征的选择与组合也需要耗费研究人员大量的工作量。近年来，随着GPU等高性能计算设备的快速发展，深度学习技术取得突破性进展，其中卷积神经网络CNN在图像识别领域表现地非常出色，相对于人工提取特征的传统方法，卷积神经网络可以自动地提取数量远多于手工方法的图像特征，并对其进行最优化特征组合。目前，深度学习在很多医疗领域都取得了显著的研究与应用成果，但在尿沉渣识别方面，虽然有一些尝试，但在一些评价指标上表现较差，且有效分类的种类较少，速度较慢，对Windows平台支持较差，难以满足临床需求。本发明提出了一种高准确率，分类种类多，识别速度快，支持Windows操作系统的尿沉渣图像识别系统，可在有限数据集的条件下达到实际应用的要求。
发明内容
本发明的目的在于提供一种基于深度学习的尿沉渣图像识别系统及方法，以通过基于Alexnet卷积神经网络模型的组合网络系统，自动识别尿沉渣有形成分，并且有效区分了红细胞、白细胞、透明管型与黏液丝，提高了红细胞、白细胞、透明管型与黏液丝的召回率，提升了识别效果。
第一方面，本发明实施例提供一种基于深度学习的尿沉渣图像识别系统，包括：
图像采集模块：用于对患者的尿液样本进行离心处理后，通过高清显微镜拍摄完成对患者尿液样本原始图像的采集，得到患者尿液样本的原始图像；
图像分割模块：用于对患者尿液样本的原始图像进行分割处理，将患者尿液样本的原始图像中的每个尿沉渣成分分割为独立的正矩形尿沉渣成分图像，得到分割好的尿沉渣成分图像；
基于深度学习的图像识别模块：包括一个主网络模块以及两个二次识别模块，具体包括一个11分类的卷积神经网络模型以及两个2分类的卷积神经网络模型，用于对分割好的尿沉渣成分图像进行识别处理，之后整合三个卷积神经网络模型的识别结果，得到基于深度学习的图像识别模块的输出；
计数模块：用于对基于深度学习的图像识别模块的输出结果进行统计处理，得到可供医生使用的定量的医学指标参考。
本发明的系统还包括这样一些特征：
基于深度学习的图像识别模块，其所述的主网络模块即一个11分类的卷积神经网络模型的结构以Alexnet为基础，输入端为批次为1的单张图像，输出端为Softmax判别器输出的11种尿沉渣分类；通过将分割好的尿沉渣成分图像输入到主网络模块，输出得到置信度最大的7种尿沉渣分类结果以及易混淆的4种尿沉渣分类结果；
基于深度学习的图像识别模块，其所述的两个二次识别模块，具体包括一个识别红细胞与白细胞的2分类的卷积神经网络模型A以及一个识别透明管型和黏液丝的2分类的卷积神经网络模型B；并且其输入端有一个判别器，通过将由判别器对主网络模块的输出结果识别为红细胞与白细胞的尿沉渣图像输入到2分类的卷积神经网络模型A，输出得到2种尿沉渣分类结果；通过将由判别器对主网络模块的输出结果识别为透明管型与黏液丝的尿沉渣图像输入到2分类的卷积神经网络模型B，输出得到2种尿沉渣分类结果；
基于深度学习的图像识别模块，在主网络模块和二次识别模块搭建完成后，使用预训练的网络模型迁移到图像识别模块网络模型中，作为基于深度学习的图像识别模块网络模型的初始化权重。
第二方面，本发明实施例提供一种基于深度学习的尿沉渣图像识别方法，包括：
步骤一：根据图像采集模块对经过离心处理后患者的尿液样本进行采集处理，通过高清显微镜拍摄患者尿液样本原始图像，得到650张800×600的患者尿液样本的原始图像；
步骤二：根据图像分割模块对患者尿液样本的原始图像进行分割处理，根据尿沉渣有形成分图像的形态特征，将步骤一得到的患者尿液样本的原始图像利用边缘检测法提取其中存在的尿沉渣成分边缘特征，通过设定一定的分割边长范围对范围内的尿沉渣有形成分进行正矩形分割，得到尺寸归一化为227×227的分割好的尿沉渣成分图像；
步骤三：根据基于深度学习的图像识别模块对分割好的尿沉渣成分图像进行识别处理，首先将分割好的尿沉渣成分图像输入到主网络模块的11分类的卷积神经网络模型进行第一次识别，得到置信度最大的7种尿沉渣分类结果以及易混淆的4种尿沉渣分类结果；然后根据判别器识别处理的易混淆的4种尿沉渣分类结果，输入到两个二次识别模块，将由判别器识别为红细胞与白细胞的尿沉渣图像输入到2分类的卷积神经网络模型A，得到2种尿沉渣分类结果；将由判别器识别为透明管型与黏液丝的尿沉渣图像输入到2分类的卷积神经网络模型B，得到2种尿沉渣分类结果；
步骤四：根据计数模块对基于深度学习的图像识别模块的输出结果进行统计处理，通过将尿液镜检中出现频率达到一定的阈值的成分作为医学诊断依据，得到可供医生使用的定量的医学指标参考；
步骤五：通过将主网络模块得到的置信度最大的7种尿沉渣分类结果以及两个二次识别模块分别得到的2种尿沉渣分类结果整合，得到最终整体输出结果。
本发明还包括这样一些结构特征：
所述步骤三，其中：
所述基于深度学习的图像识别模块，在主网络模块和二次识别模块搭建完成后，使用预训练的网络模型迁移到图像识别模块网络模型中，作为基于深度学习的图像识别模块网络模型的初始化权重；
所述步骤三，其中：
所述基于深度学习的图像识别模块的卷积神经网络模型的训练过程的具体步骤为：
1)数据处理：收集并标注了11类尿沉渣有形成分，按照4:1的比例随机划分训练集与测试集，并对训练集中包含数据较少的分类进行了数据增强；
2)网络模型的预训练：模型性能的优化需要大批量训练数据的支持，由于在不同的识别任务间，网络底层的权重是高度相似的，因此在网络权重的初始化过程中使用迁移学习技术，将预训练模型的权重迁移到本发明使用的各网络模型中，代替随机初始化方法对模型权重进行初始化，减少训练过程中各网络模型对数据的需求，使得在有限样本的训练条件下本系统也能取得良好的识别效果；
3)网络模型的训练：在Tensorflow框架中，使用型号为Nvidia Quadro P2000的GPU，型号为Inter Core i7-7700K的CPU对网络模型进行训练；训练网络模型时的主要参数包括：输出尺寸为227×227，学习率为0.001，Dropout率为0.5，单个GPU上的小批量尺寸即训练批次为32，对网络模型共迭代训练93813次；训练并使用网络模型的环境为：在Windows的Python环境下，使用TensorFlow深度学习框架进行训练，并使用TensorFlow的C++接口进行识别；
所述训练过程，其中：
利用图像分割模块分割的尿沉渣成分图像，对其进行手工标注并制作数据集，11类尿沉渣有形成分数据集包括：细菌BACT、真菌BYST、草酸钙结晶CAOX、透明管型HYAL、黏液丝MUCS、非鳞状上皮细胞NSE、红细胞RBC、精子SPRM、鳞状上皮SQEP、白细胞WBC与白细胞团WBCC；
本发明的有益效果在于：
1.本发明可以自动地实现端到端的特征提取与分类，有效提取出尿沉渣有形成分中难以被肉眼发现的微小特征，从而高质量地解决11种尿沉渣成分的复杂分类问题，客观地提供患者的镜检识别结果，具有很强的医学应用价值；
2.本发明创新性地将多个网络模型组合在一起，显著提高系统对红细胞、白细胞、透明管型以及黏液丝的识别能力；
3.本发明具有一定的拓展性，随着数据集的不断扩充与细分，以及临床需求的不断调整，本发明可以实现更多分类的尿沉渣有形成分识别，进一步增加分类的精细度；
4.本发明使用图像分割模块结合卷积神经网络，可以快速高效地对图像中的尿沉渣成分进行分割与识别，识别单张未经分割的尿液原始图像平均仅需约60毫秒，识别单张分割后的尿沉渣成分图像平均需约6毫秒，且本系统的整体识别率达到97％，具有准确、高效的特点。
附图说明
图1为传统手工提取特征的尿沉渣有形成分自动识别的流程图；
图2为本发明工作的流程图；
图3为本发明由显微镜拍摄的患者尿液样本的原始图像；
图4为本发明由图像分割模块分割好的尿沉渣成分图像；
图5为本发明基于深度学习的图像识别模块的流程图；
图6为本发明三个网络模型的结构示意图；
图7为本发明制作的尿沉渣图像数据集的部分样例示意图；
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明做进一步描述：
一种基于深度学习的尿沉渣图像识别系统，包括：
图像采集模块：对尿液样本进行离心等处理后，通过高清显微镜的拍摄，完成尿液样本原始图像的采集；
图像分割模块：完成尿液样本原始图像的分割，将尿液原始图像中的每个尿沉渣成分分割为独立的正矩形尿沉渣成分图像；
基于深度学习的图像识别模块：由三个卷积神经网络模型构成，包括一个11分类的卷积神经网络模型与两个二分类的卷积神经网络模型，用于对分割好的尿沉渣成分图像进行识别，之后整合多个网络模型的识别结果作为整体输出；
计数模块：对基于深度学习的图像识别模块的识别结果进行统计，为医生提供定量的医学指标参考。
系统的输出结果为基于深度学习的图像识别模块的识别结果结合计数模块的统计结果。
基于深度学习的图像识别模块共包括三个卷积神经网络模型(主网络、子网络A、子网络B)。首先将分割后的尿沉渣成分图像输入到主网络中，对11类尿沉渣成分进行分类识别，识别完毕后引入一个判别器对主网络的输出结果进行判别，将被主网络识别为红细胞与白细胞的尿沉渣图像，输入至子网络A中进行二次识别；将被主网络识别为透明管型与黏液丝的尿沉渣图像，输入至子网络B中进行二次识别，将被主网络识别为其他7种分类的图像，直接作为最终的输出结果，最后整合三个网络模型的输出作为整体的输出结果。
利用图像分割模块分割的尿沉渣成分图像，对其进行手工标注并制作数据集，数据集共有11种分类，包括细菌(BACT)、真菌(BYST)、草酸钙结晶(CAOX)、透明管型(HYAL)、黏液丝(MUCS)、非鳞状上皮细胞(NSE)、红细胞(RBC)、精子(SPRM)、鳞状上皮(SQEP)、白细胞(WBC)与白细胞团(WBCC)11类，然后按照4:1的比例，将数据集随机划分为训练集与测试集，并对训练集中包含数据较少的分类进行数据增强。
在主网络与子网络搭建完成后，使用预训练的网络模型迁移到尿沉渣网络模型中，作为尿沉渣网络模型的初始化权重。
训练网络模型时的主要参数：输出尺寸为227×227，学习率为0.001，Dropout率为0.5，单个GPU上的小批量尺寸为32，对网络模型共迭代训练93813次；训练并使用网络模型的环境：在Windows的Python环境下，使用TensorFlow深度学习框架进行训练，并使用TensorFlow的C++接口进行识别。
如图1所示，已有的尿沉渣显微图像自动化分析方法采用传统的多阶段识别流程，包括分割，手工特征提取和分类器训练三个主要阶段。尽管每个阶段都有大量的算法可供选择，但这些算法对于尿沉渣显微图像的表现很大程度上取决于各个阶段的适用性改良和紧密配合，其中目标区域分割的精确性和手工特征设计的有效性尤为关键。传统算法不仅在特征的选择与组合上需要花费巨大的工作量，而且尿沉渣图像中很多微小的特征难以被手工特征提取出来，导致识别效果差强人意。因此我们将传统的分割算法与卷积神经网络相结合，以达到自动提取特征的目的。
图2展示了本发明的流程示意图，整个系统共分为图像采集模块、图像分割模块、基于深度学习的图像识别模块与计数模块。
在图像采集模块中，首先采集患者的尿液样本，对样本进行离心操作，去除上清液后均匀摇晃，使尿沉渣成分在样本中混合均匀；之后在载玻片上使用20倍的高清显微拍摄设备进行遍历拍摄，每份样本共拍摄650张800×600的尿液原始图像，图3为样本中的一张尿液原始图像。
从图3可以看出，未经处理的尿液原始图像背景单一，且图像中有形成分的边界与背景相比较为清晰，有明显的边缘，因此采用边缘检测法对尿液原始图像中出现的疑似尿沉渣成分的目标进行边缘特征提取与分割。分割后的图像为几十像素至几百像素不等的正方形尿沉渣成分图像，如图4所示，将其作为图像分割模块的输出。
如图5所示，基于深度学习的图像识别模块分为主网络模块和二次识别模块两个子模块，其中主网络模块由Alexnet卷积神经网络模型为基础改造而来，其网络模型结构如图6的左侧部分所示，包含有5个卷积层，2个局部响应归一化层，3个最大池化层，以及2个使用ReLU激活函数的全连接层以及一个Softmax 11分类输出层。利用卷积层中的卷积核可以实现自动提取尿沉渣图像中包含的细节特征。批次为1的单张图像输入到主网络后，经过5次卷积，最终通过Softmax输出网络模型对该图像的11种分类置信度，并将最大的置信度所对应的分类作为主网络对该图像的判定结果。
二次识别模块包括两个子网络识别模型A和B，在子模块1完成输出判定结果后，程序对输出的结果进行判断，当主网络输出的判定结果为红细胞(RBC)和白细胞(WBC)时，则原图像被进一步输入到二次识别模块中的子网络A中进行识别，其中子网络A为2分类Alexnet网络模型，其网络结构如图6的中间部分所示，可实现红细胞与白细胞的2分类识别；当主网络输出的判定结果为透明管型(HYAL)和黏液丝(MUCS)时，则原图像被进一步输入到二次识别模块中的子网络B中进行识别，其中子网络B与子网络A的结构相同，其网络结构如图6的左侧部分所示，可实现透明管型与黏液丝的2分类识别。当图像被判为非红细胞、白细胞、透明管型和黏液丝的其他7种分类时，判定结果直接被送入到系统的输出结果中等待最终的结果整合。最终系统的输出为主网络中7种成分的分类结果，加上子网络A和子网络B的各两类分类结果，总共11种分类结果。通过这种方法，可以有效地解决红细胞与白细胞，以及透明管型与黏液丝在识别过程中相互混淆的问题，提升了这些成分的召回率，也间接提高了系统整体的识别准确率。
基于深度学习的图像识别模块完成识别后，由计数模块完成对输出结果的统计，并将基于深度学习的图像识别模块的识别结果与计数模块的统计结果进行组合，识别结果为医生的二次复筛提供依据，并方便患者查看自身样本识别出的尿沉渣成分图像，统计结果为病理医生的诊断提供定量的参考指标。
卷积神经网络模型的训练需要高质量数据集的支撑，根据图像分割模块得到的分割后的尿沉渣成分图像，由具有医学背景的专业检验科医师对其进行精准手工标注，得到如图7所示的尿沉渣有形成分数据集。根据不同的有形成分在显微镜视角下出现的频率，以及它们所对应的医学意义，数据集选取了11类成分，分别是细菌(BACT)、真菌(BYST)、草酸钙结晶(CAOX)、透明管型(HYAL)、黏液丝(MUCS)、红细胞(RBC)、精子(SPRM)、鳞状上皮细胞(SQEP)、非鳞状上皮白细胞(NSE)、白细胞(WBC)与白细胞团(WBCC)，共包括约13万张样本图像，在图7中相应标出了数据集中每种成分下具体图像的个数。之后，按照4:1的比例，随机将数据集划分为训练集和测试集，并对训练集中数据较少的分类进行了数据增强。训练集用来对网络模型进行拟合训练，测试集则用来实时地监测模型的状态，最后在网络模型训练完成后输出网络模型对测试集识别结果的混淆矩阵，用来评价网络模型的综合性能。
网络模型的训练环境为5G显存的Nvidia Quadro P2000显卡，16G显存的InterCore i7-7700K CPU，软件环境为Windows环境下TensorFlow的深度学习框架，使用Python语言搭建网络并编写训练程序，训练时的学习率为0.001，Dropout率为0.5，训练批次为32，对训练集共迭代训练93813次。训练完成后，经过测试集的测试，在测试集中本发明可以达到97％的整体准确率。
现阶段，国内的各级医院所使用的各类医疗设备与系统大部分为Windows操作系统。本发明提出的尿沉渣识别系统可以在Windows平台下安全稳定地运行。此外，在本发明中，分割并识别一张由显微设备拍摄的800×600的尿液原始图像，平均耗时60毫秒，处理一个患者的样本，可以在一分钟内快速完成。综上所述，本系统具有准确率高、通用稳定、快速高效的特点。
本发明设计了一种基于Alexnet卷积神经网络模型的组合网络系统，用于自动识别尿沉渣有形成分。由于卷积神经网络模型在识别过程中，易将红细胞与白细胞、透明管型与黏液丝成分相混淆，因而本发明设计了一种二次分类的方法，除了训练一个11分类的卷积神经网络模型之外，再分别训练一个识别透明管型和黏液丝的2分类网络模型，以及一个识别红细胞和白细胞的2分类网络模型。待识别的图像首先经过11分类网络模型，如果该网络模型判定该图像为红细胞、白细胞、透明管型或黏液丝4种分类中的其中一类，则按照其判定结果输入到对应的2分类网络模型中进行二次识别，最后将三个网络模型的识别结果进行组合，输出最终的判别结果。通过这种组合网络结构，有效地提高了红细胞、白细胞、透明管型与黏液丝的召回率，提升了识别效果。
下面结合具体数值给出本发明的实施例：
一种基于深度学习的尿沉渣图像识别系统，分为下述几个模块：
(1)图像采集模块：收集患者的尿液样本，进行离心等相关处理后，利用高清显微镜对每位患者的样本拍摄650张800×600的尿液原始图像；
(2)图像分割模块：根据尿沉渣有形成分图像的形态特征，对(1)中图像采集模块输出的尿液原始图像，使用边缘检测法提取其中存在的尿沉渣成分边缘特征，并设定一定的分割边长范围，对范围内的尿沉渣有形成分进行正矩形分割；
(3)基于深度学习的图像识别模块：基于深度学习的图像识别模块分为两个子模块：主网络模块和二次识别模块。其中主网络模型的结构以Alexnet为基础，输入端为批次为1的单张图像，输出端为Softmax判别器输出的11种尿沉渣分类。经由分割模块进行分割后，尿沉渣样本图像统一尺寸归一化为227×227，输入到主网络中进行第一次识别，置信度最大的预测结果作为初次的输出结果。二次识别模块包含子网络A与子网络B，在主网络后面设置一个判别器，对主网络的输出结果进行判定，当图像被主网络判为红细胞或白细胞时，该图像则被进一步输入到子网络A中进行识别，其中子网络A是识别红细胞与白细胞的2分类网络模型；当图像被主网络判为透明管型或者黏液丝时，该图像则被进一步输入到子网络B进行识别，其中子网络B是识别透明管型和黏液丝的2分类网络模型；当图像被判为其他7种成分时，则直接将主网络的识别结果作为最终的结果。最后，整合三个网络的识别结果，得到基于深度学习的图像识别模块的输出。
(4)计数模块：在尿液镜检标准中，某成分的出现频率需要达到一定的阈值，才能作为医学诊断依据。因此使用此模块统计基于深度学习的图像识别模块输出的识别结果，为病理医生提供直接的定量检测结果。
上述基于深度学习的图像识别模块与计数模块的输出结果共同构成本发明的输出结果。其中，本发明中所包含的卷积神经网络模型的训练过程，分为以下几个具体步骤：
1)数据处理：收集并标注了11类尿沉渣有形成分，按照4:1的比例随机划分训练集与测试集，并对训练集中包含数据较少的分类进行了数据增强；
2)网络模型的预训练：模型性能的优化需要大批量训练数据的支持，此外在不同的识别任务间，一些网络底层的权重是高度相似的，因此在网络权重的初始化过程中使用迁移学习技术，将预训练模型的权重迁移到本发明使用的各网络模型中，代替随机初始化方法对模型权重进行初始化，有效地减少了训练过程中各网络模型对数据的需求，使得在有限样本的训练条件下本系统也能取得良好的识别效果；
3)网络模型的训练：在Tensorflow框架中，使用型号为Nvidia Quadro P2000的GPU，型号为Inter Core i7-7700K的CPU对网络模型进行训练。训练时的学习率为0.001，Dropout率为0.5，训练批次为32，对网络模型共迭代训练了93813次。
综上，本发明公开了一种基于深度学习的尿沉渣图像识别系统，包括图像采集模块、图像分割模块、基于深度学习的图像识别模块与计数模块，可实现尿液样本的显微图像采集、分割原始图像中的尿沉渣有形成分目标、自动提取尿沉渣图像特征、图像识别与计数统计的功能。本发明将传统算法的图像分割与深度学习识别技术结合在一起，实现了端到端的自动特征提取与识别。在显微视野下很多尿沉渣成分高度相似，据此本发明在图像识别模块中提出了一种组合卷积神经网络的方案，用于解决相似成分在识别过程中易混淆的问题。本发明可以对11类尿沉渣有形成分进行快速、准确、稳定的识别，为尿液镜检的计算机辅助识别提供了实用的解决方案。

Claims (8)

1.一种基于深度学习的尿沉渣图像识别系统，其特征在于，包括：
图像采集模块：用于对患者的尿液样本进行离心处理后，通过高清显微镜拍摄完成对患者尿液样本原始图像的采集，得到患者尿液样本的原始图像；
图像分割模块：用于对患者尿液样本的原始图像进行分割处理，将患者尿液样本的原始图像中的每个尿沉渣成分分割为独立的正矩形尿沉渣成分图像，得到分割好的尿沉渣成分图像；
基于深度学习的图像识别模块：包括一个主网络模块以及两个二次识别模块，具体包括一个11分类的卷积神经网络模型以及两个2分类的卷积神经网络模型，用于对分割好的尿沉渣成分图像进行识别处理，之后整合三个卷积神经网络模型的识别结果，得到基于深度学习的图像识别模块的输出；
计数模块：用于对基于深度学习的图像识别模块的输出结果进行统计处理，得到可供医生使用的定量的医学指标参考。
2.根据权利要求1所述的一种基于深度学习的尿沉渣图像识别系统，其特征在于：
所述的主网络模块，即一个11分类的卷积神经网络模型的结构以Alexnet为基础，输入端为批次为1的单张图像，输出端为Softmax判别器输出的11种尿沉渣分类；通过将分割好的尿沉渣成分图像输入到主网络模块，输出得到置信度最大的7种尿沉渣分类结果以及易混淆的4种尿沉渣分类结果。
3.根据权利要求1或2所述的一种基于深度学习的尿沉渣图像识别系统，其特征在于：
所述的两个二次识别模块，具体包括一个识别红细胞与白细胞的2分类的卷积神经网络模型A以及一个识别透明管型和黏液丝的2分类的卷积神经网络模型B；并且其输入端有一个判别器，通过将由判别器对主网络模块的输出结果识别为红细胞与白细胞的尿沉渣图像输入到2分类的卷积神经网络模型A，输出得到2种尿沉渣分类结果；通过将由判别器对主网络模块的输出结果识别为透明管型与黏液丝的尿沉渣图像输入到2分类的卷积神经网络模型B，输出得到2种尿沉渣分类结果。
4.根据权利要求3所述的一种基于深度学习的尿沉渣图像识别系统，其特征在于：
所述的基于深度学习的图像识别模块，在主网络模块和二次识别模块搭建完成后，使用预训练的网络模型迁移到图像识别模块网络模型中，作为基于深度学习的图像识别模块网络模型的初始化权重。
5.一种基于深度学习的尿沉渣图像识别方法，包括权利要求4所述的一种基于深度学习的尿沉渣图像识别系统，其特征在于，包括：
步骤一：根据图像采集模块对经过离心处理后患者的尿液样本进行采集处理，通过高清显微镜拍摄患者尿液样本原始图像，得到650张800×600的患者尿液样本的原始图像；
步骤二：根据图像分割模块对患者尿液样本的原始图像进行分割处理，根据尿沉渣有形成分图像的形态特征，将步骤一得到的患者尿液样本的原始图像利用边缘检测法提取其中存在的尿沉渣成分边缘特征，通过设定一定的分割边长范围对范围内的尿沉渣有形成分进行正矩形分割，得到尺寸归一化为227×227的分割好的尿沉渣成分图像；
步骤三：根据基于深度学习的图像识别模块对分割好的尿沉渣成分图像进行识别处理，首先将分割好的尿沉渣成分图像输入到主网络模块的11分类的卷积神经网络模型进行第一次识别，得到置信度最大的7种尿沉渣分类结果以及易混淆的4种尿沉渣分类结果；然后根据判别器识别处理的易混淆的4种尿沉渣分类结果，输入到两个二次识别模块，将由判别器识别为红细胞与白细胞的尿沉渣图像输入到2分类的卷积神经网络模型A，得到2种尿沉渣分类结果；将由判别器识别为透明管型与黏液丝的尿沉渣图像输入到2分类的卷积神经网络模型B，得到2种尿沉渣分类结果；
步骤四：根据计数模块对基于深度学习的图像识别模块的输出结果进行统计处理，通过将尿液镜检中出现频率达到一定的阈值的成分作为医学诊断依据，得到可供医生使用的定量的医学指标参考；
步骤五：通过将主网络模块得到的置信度最大的7种尿沉渣分类结果以及两个二次识别模块分别得到的2种尿沉渣分类结果整合，得到最终整体输出结果。
6.根据权利要求5所述的一种基于深度学习的尿沉渣图像识别方法，其特征在于：所述步骤三，其中：
所述基于深度学习的图像识别模块，在主网络模块和二次识别模块搭建完成后，使用预训练的网络模型迁移到图像识别模块网络模型中，作为基于深度学习的图像识别模块网络模型的初始化权重。
7.根据权利要求5或6所述的一种基于深度学习的尿沉渣图像识别方法，其特征在于：所述步骤三，其中：
所述基于深度学习的图像识别模块的卷积神经网络模型的训练过程的具体步骤为：
1)数据处理：收集并标注了11类尿沉渣有形成分，按照4:1的比例随机划分训练集与测试集，并对训练集中包含数据较少的分类进行了数据增强；
2)网络模型的预训练：模型性能的优化需要大批量训练数据的支持，由于在不同的识别任务间，网络底层的权重是高度相似的，因此在网络权重的初始化过程中使用迁移学习技术，将预训练模型的权重迁移到本发明使用的各网络模型中，代替随机初始化方法对模型权重进行初始化，减少训练过程中各网络模型对数据的需求，使得在有限样本的训练条件下本系统也能取得良好的识别效果；
3)网络模型的训练：在Tensorflow框架中，使用型号为Nvidia Quadro P2000的GPU，型号为Inter Core i7-7700K的CPU对网络模型进行训练；训练网络模型时的主要参数包括：输出尺寸为227×227，学习率为0.001，Dropout率为0.5，单个GPU上的小批量尺寸即训练批次为32，对网络模型共迭代训练93813次；训练并使用网络模型的环境为：在Windows的Python环境下，使用TensorFlow深度学习框架进行训练，并使用TensorFlow的C++接口进行识别。
8.根据权利要求7所述的一种基于深度学习的尿沉渣图像识别方法，其特征在于：所述训练过程，其中：
利用图像分割模块分割的尿沉渣成分图像，对其进行手工标注并制作数据集，11类尿沉渣有形成分数据集包括：细菌BACT、真菌BYST、草酸钙结晶CAOX、透明管型HYAL、黏液丝MUCS、非鳞状上皮细胞NSE、红细胞RBC、精子SPRM、鳞状上皮SQEP、白细胞WBC与白细胞团WBCC。
CN201910615378.5A 2019-07-09 2019-07-09 一种基于深度学习的尿沉渣图像识别系统及方法 Active CN110473167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910615378.5A CN110473167B (zh) 2019-07-09 2019-07-09 一种基于深度学习的尿沉渣图像识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910615378.5A CN110473167B (zh) 2019-07-09 2019-07-09 一种基于深度学习的尿沉渣图像识别系统及方法

Publications (2)

Publication Number Publication Date
CN110473167A true CN110473167A (zh) 2019-11-19
CN110473167B CN110473167B (zh) 2022-06-17

Family

ID=68507156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910615378.5A Active CN110473167B (zh) 2019-07-09 2019-07-09 一种基于深度学习的尿沉渣图像识别系统及方法

Country Status (1)

Country Link
CN (1) CN110473167B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080583A (zh) * 2019-12-03 2020-04-28 上海联影智能医疗科技有限公司 医学图像检测方法、计算机设备和可读存储介质
CN112200726A (zh) * 2020-10-29 2021-01-08 陈根生 基于无透镜显微成像的尿沉渣有形成分检测方法及系统
CN112819057A (zh) * 2021-01-25 2021-05-18 长春迈克赛德医疗科技有限公司 一种尿沉渣图像的自动识别方法
CN113313685A (zh) * 2021-05-28 2021-08-27 太原理工大学 一种基于深度学习的肾小管萎缩区域识别方法与系统
CN113469967A (zh) * 2021-06-28 2021-10-01 哈尔滨工程大学 一种尿沉渣中透明管型、病理管型的识别方法
CN114495097A (zh) * 2022-01-28 2022-05-13 陆建 一种基于多模型的尿液的细胞识别方法和系统
CN117576103A (zh) * 2024-01-17 2024-02-20 浙江大学滨江研究院 集成电控显微镜和深度学习算法的尿沉渣镜检分析系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991430A (ja) * 1995-09-27 1997-04-04 Hitachi Ltd パターン認識装置
CN101713776A (zh) * 2009-11-13 2010-05-26 长春迪瑞实业有限公司 一种基于神经网络的尿液中有形成分识别分类方法
CN103793902A (zh) * 2012-10-26 2014-05-14 西门子医疗保健诊断公司 管型识别方法和装置、以及尿液分析仪
CN103890586A (zh) * 2011-10-24 2014-06-25 私募蛋白质体公司 肺癌生物标记及其用途
CN107832801A (zh) * 2017-11-23 2018-03-23 桂林优利特医疗电子有限公司 一种细胞图像分类用模型构建方法
CN108629369A (zh) * 2018-04-19 2018-10-09 中南大学 一种基于Trimmed SSD的尿沉渣有形成分自动识别方法
CN109493954A (zh) * 2018-12-20 2019-03-19 广东工业大学 一种基于类别判别定位的sd-oct图像视网膜病变检测系统
CN109598294A (zh) * 2018-11-23 2019-04-09 哈尔滨工程大学 基于软硬件平台的云端视网膜oct识别智能诊断系统及其使用方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991430A (ja) * 1995-09-27 1997-04-04 Hitachi Ltd パターン認識装置
CN101713776A (zh) * 2009-11-13 2010-05-26 长春迪瑞实业有限公司 一种基于神经网络的尿液中有形成分识别分类方法
CN103890586A (zh) * 2011-10-24 2014-06-25 私募蛋白质体公司 肺癌生物标记及其用途
CN103793902A (zh) * 2012-10-26 2014-05-14 西门子医疗保健诊断公司 管型识别方法和装置、以及尿液分析仪
CN107832801A (zh) * 2017-11-23 2018-03-23 桂林优利特医疗电子有限公司 一种细胞图像分类用模型构建方法
CN108629369A (zh) * 2018-04-19 2018-10-09 中南大学 一种基于Trimmed SSD的尿沉渣有形成分自动识别方法
CN109598294A (zh) * 2018-11-23 2019-04-09 哈尔滨工程大学 基于软硬件平台的云端视网膜oct识别智能诊断系统及其使用方法
CN109493954A (zh) * 2018-12-20 2019-03-19 广东工业大学 一种基于类别判别定位的sd-oct图像视网膜病变检测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YAN ZHOU 等: "Automatic Classification and Recognition of Particles in Urinary Sediment Images", 《COMPUTER, INFORMATICS, CYBERNETICS AND APPLICATIONS》 *
魏宇璋: "基于模糊聚类的尿沉渣有形成分分析研究", 《中国优秀硕士论文电子期刊网 信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080583A (zh) * 2019-12-03 2020-04-28 上海联影智能医疗科技有限公司 医学图像检测方法、计算机设备和可读存储介质
CN111080583B (zh) * 2019-12-03 2024-02-27 上海联影智能医疗科技有限公司 医学图像检测方法、计算机设备和可读存储介质
CN112200726A (zh) * 2020-10-29 2021-01-08 陈根生 基于无透镜显微成像的尿沉渣有形成分检测方法及系统
CN112819057A (zh) * 2021-01-25 2021-05-18 长春迈克赛德医疗科技有限公司 一种尿沉渣图像的自动识别方法
CN113313685A (zh) * 2021-05-28 2021-08-27 太原理工大学 一种基于深度学习的肾小管萎缩区域识别方法与系统
CN113469967A (zh) * 2021-06-28 2021-10-01 哈尔滨工程大学 一种尿沉渣中透明管型、病理管型的识别方法
CN114495097A (zh) * 2022-01-28 2022-05-13 陆建 一种基于多模型的尿液的细胞识别方法和系统
CN117576103A (zh) * 2024-01-17 2024-02-20 浙江大学滨江研究院 集成电控显微镜和深度学习算法的尿沉渣镜检分析系统
CN117576103B (zh) * 2024-01-17 2024-04-05 浙江大学滨江研究院 集成电控显微镜和深度学习算法的尿沉渣镜检分析系统

Also Published As

Publication number Publication date
CN110473167B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN110473167A (zh) 一种基于深度学习的尿沉渣图像识别系统及方法
US8600143B1 (en) Method and system for hierarchical tissue analysis and classification
Seoud et al. Automatic grading of diabetic retinopathy on a public database
CN103345654B (zh) 一种基于形态学分类计数白细胞的方法
US20020031255A1 (en) Multi-neural net imaging apparatus and method
CN111079620B (zh) 基于迁移学习的白细胞图像检测识别模型构建方法及应用
EP1787156A1 (en) Automated diagnosis of malaria and other infections
CN107064079A (zh) 用于识别全血样品中的血小板的方法和设备
CN109359569A (zh) 一种基于cnn的红细胞图像亚分类方法
CN111160135A (zh) 基于改进的Faster R-cnn的尿红细胞病变识别与统计方法和系统
CN110135271A (zh) 一种细胞分类方法及装置
CN110473166A (zh) 一种基于改进Alexnet模型的尿液有形成分识别方法
JPH09509487A (ja) 細胞試料自動分類装置及び方法
JP4864709B2 (ja) 分散プロット分布を用いてスライドの染色品質を決定するシステム
JP2003521669A (ja) 検体の予備処理機能を備えた検査体系
CN112712122A (zh) 基于神经网络模型的角膜溃疡的分类检测方法及系统
CN112001315A (zh) 基于迁移学习和图像纹理特征的骨髓细胞分类识别方法
KR102624956B1 (ko) 세포 샘플 내에서 적어도 하나의 기형을 가지는 세포를 검출하기 위한 방법
KR20010017092A (ko) 혈구세포의 형태 자동 분석 및 카운트 방법
Cordeiro et al. An automatic patch-based approach for her-2 scoring in immunohistochemical breast cancer images using color features
JP4897488B2 (ja) 分散プロット分布を用いてスライドを分類するシステム
CN1226609C (zh) 分析生物样品用的方法
US20220383629A1 (en) Label-free cell classification and screening system based on hybrid transfer learning
Li et al. A recognition method of urine cast based on deep learning
DE19637741B4 (de) Automatisches Zytologisches Probenanalysesystem unter Verwendung von individualisierten Patientendaten

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant