CN112634243B - 一种强干扰因素下基于深度学习的图像分类识别系统 - Google Patents

一种强干扰因素下基于深度学习的图像分类识别系统 Download PDF

Info

Publication number
CN112634243B
CN112634243B CN202011578982.4A CN202011578982A CN112634243B CN 112634243 B CN112634243 B CN 112634243B CN 202011578982 A CN202011578982 A CN 202011578982A CN 112634243 B CN112634243 B CN 112634243B
Authority
CN
China
Prior art keywords
cell
convolution
layer
cells
observation window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011578982.4A
Other languages
English (en)
Other versions
CN112634243A (zh
Inventor
李玲
王佳文
孔庆阳
梁楫坤
黄玉兰
张海蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202011578982.4A priority Critical patent/CN112634243B/zh
Publication of CN112634243A publication Critical patent/CN112634243A/zh
Application granted granted Critical
Publication of CN112634243B publication Critical patent/CN112634243B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于医学图像处理技术领域，具体涉及一种强干扰因素下基于深度学习的图像分类识别系统；其中检测统计模块用于采集完整的细胞原图像，并对该细胞原图像进行逐块显示，根据细胞识别模块识别出的细胞类别及个数生成报告；细胞分割模块采用Unet网络细胞轮廓分割模型对观察窗口内显示的图像中细胞进行识别和分割，每处理完一个观察窗口，就将其输入细胞识别模块，直至处理完全部观察窗口；细胞识别模块采用SSD目标检测网络模型对细胞分割模块从观察窗口内识别并分割出的细胞进行定位以及识别；对显微镜下白细胞图像进行分析，辅助临床医生准确高效完成白细胞分类识别统计，提高准确率及判断精度，能够有效降低噪声干扰，提升分类识别效果。

Description

一种强干扰因素下基于深度学习的图像分类识别系统
技术领域
本发明属于医学图像处理技术领域，具体涉及一种强干扰因素下基于深度学习的图像分类识别系统。
背景技术
在临床上,白细胞分类识别是血常规检验的一项重要内容。关于如何快速、准确根据形态对白细胞进行分类是一项重要的研究。目前,临床上对白细胞的检验方法是血细胞分析仪和人工镜检,即先用血细胞分析仪对样本进行筛查,如果发现异常样本,则进一步用显微镜肉眼观察,确定最终结果。人工镜检准确度能够达到95％以上。但是人工镜检效率低,分类速度慢,准确度受检验人员经验和状态的影响。随着计算机技术的不断发展,图像处理技术和深度学习技术逐渐应用于细胞识别检测中，但是在数据集采集过程中经常会产生因人为漏检以及血液背景组织产生的干扰，同时因不同类细胞样本数量不均衡导致该强噪声数据训练出的神经网络分类识别效果不理想。
发明内容
为了克服上述问题，本发明提供一种强干扰因素下基于深度学习的图像目标识别系统，最大克服现有数据噪声、类别不平衡以及漏标现象，结合深度学习建立模型，对显微镜下白细胞图像进行分析，辅助临床医生准确高效完成白细胞分类识别统计，尽快统计血液样本中白细胞类别分布，提高准确率及判断精度，能够有效降低噪声干扰，提升分类识别效果。
一种强干扰因素下基于深度学习的图像分类识别系统，包括细胞分割模块、细胞识别模块和检测统计模块；其中检测统计模块用于采集完整的像素为4000×3000的细胞原图像，并以像素为800×800的大小作为观察窗口对该细胞原图像进行逐块显示，并根据细胞识别模块识别出的细胞类别及相应类别的个数生成细胞分类检测报告；
细胞分割模块采用Unet网络细胞轮廓分割模型对检测统计模块中观察窗口内显示的细胞图像中的细胞进行识别和分割，同时移除观察窗口中的背景以及没有被识别为细胞的部分，每处理完一个观察窗口内的细胞，就将从该观察窗口内分割出的细胞输入细胞识别模块，直至处理完逐块显示的每个观察窗口内的细胞图像；
细胞识别模块采用SSD目标检测网络模型对细胞分割模块从观察窗口内识别并分割出的细胞进行定位以及识别，并将每个细胞的中心点坐标保存作为标识该细胞位置的唯一方式，当细胞识别模块再次接收细胞分割模块从下一个观察窗口内识别并分割出的细胞时，首先计算每个细胞的中心点坐标以判断该细胞是否被定位及识别过，将重复定位和识别过的细胞合并为一个；
所述的细胞分割模块采用Unet网络细胞轮廓分割模型，其网络结构是由上采样层和下采样层构成的U型卷积神经网络结构，其中下采样层由五组卷积层组组成，其中：
第一卷积层组包括第1、第2这两个卷积层以及一个池化层，每层卷积核个数为64，每个卷积核大小均为3×3，池化层采用最大池化，步长为2；
第二卷积层组包括第3、第4这两个卷积层以及一个池化层，每层卷积核个数为128，每个卷积核大小均为3×3，池化层采用最大池化，步长为2；
第三卷积层组包括第5、第6这两个卷积层以及一个池化层，每层卷积核个数为256，每个卷积核大小均为3×3，池化层采用最大池化，步长为2；
第四卷积层组包括第7、第8这两个卷积层以及一个池化层，每层卷积核个数为512，每个卷积核大小均为3×3，池化层采用最大池化，步长为2；
第五卷积层组包括第9、第10这两个卷积层以及一个池化层，每层卷积核个数为1024，每个卷积核大小均为3×3，池化层采用最大池化，步长为2；
上采样层由五个卷积层组组成，其中：
第一卷积层组包括一个上采样操作层和两个卷积操作层，上采样操作层的卷积核个数为512，每个卷积核大小均为2×2，每个卷积操作层的卷积核个数均为512，卷积核大小均为3×3，
第二卷积层组包括一个上采样操作层和两个卷积操作层，上采样操作层的卷积核个数为256，每个卷积核大小均为2×2，每个卷积操作层的卷积核个数均为256，卷积核大小均为3×3，
第三卷积层组包括一个上采样操作层和两个卷积操作层，上采样操作层的卷积核个数为128，每个卷积核大小均为2×2，每个卷积操作层的卷积核个数均为128，卷积核大小均为3×3；
第四卷积层组包括一个上采样操作层和两个卷积操作层，上采样操作层的卷积核个数为64，每个卷积核大小均为2×2，每个卷积操作层的卷积核个数均为64，卷积核大小均为3×3，
第五卷积层组包括一个上采样操作层和两个卷积操作层，上采样操作层的卷积核个数为32，每个卷积核大小均为2×2，每个卷积操作层的卷积核个数均为32，卷积核大小均为3×3。
所述细胞分割模块采用的Unet网络细胞轮廓分割模型的训练过程包括以下步骤：
步骤一，人工从4000×3000像素的显微镜下细胞切片原图数据集合中切割出1000张800×800像素的细胞切片图像作为训练集，人工标注出训练集中每张细胞切片图像中的所有细胞以及所有细胞的种类，得到标注训练集；
步骤二，将标注训练集中每张细胞切片图像中每种细胞的数量进行扩增，得到增强标注训练集，其中每张细胞切片图像中每种细胞数量的扩增倍数为基础数据增强参数e和每张细胞切片图像中该种类细胞加权权重1/r的和，其中r为每张细胞切片图像中该种类细胞的数量占全部细胞数量的比率；
步骤三，将步骤二中得到的增强标注训练集输入到Unet网络细胞轮廓分割模型中进行训练，学习标注的各类细胞轮廓特征，去除图片中没有被识别为细胞的部分，识别出增强标注训练集中的全部细胞，将全部细胞分别按照其完整的轮廓分割出来并输出，当构建的Unet网络细胞轮廓分割模型从增强标注训练集中分割出的全部细胞的轮廓平均交并比达到0.92时，就得到训练好的分割模型，其中构建的Unet网络细胞轮廓分割模型从增强标注训练集中分割出来的全部细胞的轮廓
Figure GDA0003709565280000031
其中n为构建的Unet网络细胞轮廓分割模型分割出增强标注训练集中细胞的个数，ai指第i个细胞被Unet网络细胞轮廓分割模型预测的细胞边界围成的区域面积和增强标注训练集中人工标注出细胞的真实边界围成的区域面积并集，bi指第i个细胞被Unet网络细胞轮廓分割模型预测的细胞边界围成的区域面积和增强标注训练集中人工标注出细胞的真实边界围成的区域面积交集。
所述细胞识别模块采用的SSD目标检测网络模型的训练过程如下：
将上述的标注训练集输入到细胞识别模块中的SSD目标检测网络模型中进行训练，输出能够识别各类细胞形态特征信息的参数，再通过模型中的全连接层和softmax层进行分类，输出各个细胞的种类，当构建的SSD目标检测网络模型对标注训练集中标注的细胞分类准确率为95％时，就得到训练好的SSD目标检测网络模型，其中构建的SSD目标检测网络模型对标注训练集中细胞分类准确率＝构建的SSD目标检测网络模型正确分类出标注训练集中全部细胞种类的细胞个数/标注训练集中人工标注出种类的全部细胞个数*100％。
所述检测统计模块采集完整的像素为4000×3000的细胞原图像，并以像素为800×800的大小作为观察窗口对该细胞原图像进行逐块显示，具体为：
步骤一，将像素为4000×3000的细胞原图像送入检测统计模块，设置观察窗口大小为800×800px；
步骤二，每当一个观察窗口经细胞分割模块检测完成之后，该窗口会向右侧滑动400px的距离作为新的观察窗口；
步骤三，当观察窗口滑动到图像最右侧时，如果观察窗口没有滑到图像最底部，就使观察窗口向下滑动200px的距离作为新的观察窗口，该窗口再依次向左侧滑动400px的距离作为新的观察窗口；
步骤四，当观察窗口滑动到图像最左侧时，如果观察窗口没有滑到图像最底部，就使观察窗口向下滑动200px的距离作为新的观察窗口，并重复步骤二至步骤四，直至窗口滑动到图片的最底部的边缘处。
本发明的有益效果：
本发明结合语义分割网络、传统图像处理算法以及目标识别网络对显微镜下白细胞进行分类识别统计，有效的提升识别准确率、判断精度以及鲁棒性，同时滑动窗口法可以使分割模型以及目标检测模型工作在任何高分辨率图像下。
附图说明
图1是本发明统计系统流程示意图；
图2是本发明细胞分割模块抛去标签以及样本过程示意图；
图3和图4均是本发明中检测统计模块以像素为800×800的大小作为观察窗口对该细胞原图像进行逐块显示示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
一种强干扰因素下基于深度学习的图像分类识别系统，包括细胞分割模块、细胞识别模块和检测统计模块；其中检测统计模块用于采集完整的像素为4000×3000的细胞原图像，并以像素为800×800的大小作为观察窗口对该细胞原图像进行逐块显示，并根据细胞识别模块识别出的细胞类别及相应类别的个数生成细胞分类检测报告；
细胞分割模块采用Unet网络细胞轮廓分割模型对检测统计模块中观察窗口内显示的细胞图像中的细胞进行识别和分割，同时移除观察窗口内显示的细胞图像中的背景以及没有被识别为细胞的部分，每处理完一个观察窗口内的细胞，就将从该观察窗口内分割出的细胞输入细胞识别模块，直至处理完逐块显示的每个观察窗口内的细胞图像；
细胞识别模块采用SSD目标检测网络模型对细胞分割模块从观察窗口内识别并分割出的细胞进行定位以及识别，并将每个细胞的中心点坐标保存作为标识该细胞位置的唯一方式，当细胞识别模块再次接收细胞分割模块从下一个观察窗口内识别并分割出的细胞时，首先计算每个细胞的中心点坐标以判断该细胞是否被定位及识别过，将重复定位和识别过的细胞合并为一个；对切片图像样本数据的扩充，防止训练时网络过拟合；
所述的细胞分割模块采用Unet网络细胞轮廓分割模型，其网络结构是由上采样层和下采样层构成的U型卷积神经网络结构，其中下采样层由五组卷积层组组成，其中：每组卷积层组均包括两个卷积层以及一个池化层，每经过一次下采样，通道数翻倍，分别为：
第一卷积层组包括第1、第2这两个卷积层以及一个池化层，每层卷积核个数为64，每个卷积核大小均为3×3，池化层采用最大池化，步长为2；
第二卷积层组包括第3、第4这两个卷积层以及一个池化层，每层卷积核个数为128，每个卷积核大小均为3×3，池化层采用最大池化，步长为2；
第三卷积层组包括第5、第6这两个卷积层以及一个池化层，每层卷积核个数为256，每个卷积核大小均为3×3，池化层采用最大池化，步长为2；
第四卷积层组包括第7、第8这两个卷积层以及一个池化层，每层卷积核个数为512，每个卷积核大小均为3×3，池化层采用最大池化，步长为2；
第五卷积层组包括第9、第10这两个卷积层以及一个池化层，每层卷积核个数为1024，每个卷积核大小均为3×3，池化层采用最大池化，步长为2；
上采样层由五个卷积层组组成，其中：
第一卷积层组包括一个上采样操作层和两个卷积操作层，上采样操作层的卷积核个数为512，每个卷积核大小均为2×2，每个卷积操作层的卷积核个数均为512，卷积核大小均为3×3，
第二卷积层组包括一个上采样操作层和两个卷积操作层，上采样操作层的卷积核个数为256，每个卷积核大小均为2×2，每个卷积操作层的卷积核个数均为256，卷积核大小均为3×3，
第三卷积层组包括一个上采样操作层和两个卷积操作层，上采样操作层的卷积核个数为128，每个卷积核大小均为2×2，每个卷积操作层的卷积核个数均为128，卷积核大小均为3×3；
第四卷积层组包括一个上采样操作层和两个卷积操作层，上采样操作层的卷积核个数为64，每个卷积核大小均为2×2，每个卷积操作层的卷积核个数均为64，卷积核大小均为3×3，
第五卷积层组包括一个上采样操作层和两个卷积操作层，上采样操作层的卷积核个数为32，每个卷积核大小均为2×2，每个卷积操作层的卷积核个数均为32，卷积核大小均为3×3。
所述细胞分割模块采用的Unet网络细胞轮廓分割模型的训练过程包括以下步骤：
步骤一，制作VOC格式的目标识别数据集，COCO格式的分割数据集。由于所采用的SSD网络输入层接收的图像大小为300×300像素，直接输入原图会有严重的性能损耗，所以人工从4000×3000像素的显微镜下细胞切片原图数据集合中切割出1000张800×800像素的细胞切片图像作为训练集，根据粒细胞在不同发育阶段形态人工标注出训练集中每张细胞切片图像中的所有细胞以及所有细胞的种类，得到标注训练集；在1000张图像中，每个种类细胞数量占比如下：10％原始粒细胞，13％早幼粒细胞、25％中幼粒细胞、13％晚幼粒细胞、20％杆状粒细胞、19％分叶粒细胞；
步骤二，将标注训练集中每张细胞切片图像输入数据增强模块进行数据增强，数据增强模块将标注训练集中每张细胞切片图像中每种细胞的数量进行扩增，得到增强标注训练集，其中每张细胞切片图像中每种细胞数量的扩增倍数为基础数据增强参数e和每张细胞切片图像中该种类细胞加权权重1/r的和，其中r为每张细胞切片图像中该种类细胞的数量占全部细胞数量的比率；
在数据增强模块中，根据细胞类别数量分布进行类别均衡化数据增强，首先计算标注训练集中每张细胞切片图像中各种类细胞的数量占全部细胞数量的比率r，然后对每个比率取倒数得到每种细胞的加权权重1/r；
在数据增强过程中，对每个细胞进行随机-360度至360度角度旋转、并加入sigma值为3.0的高斯噪声、然后随机进行alpha为0.5的锐化处理、随机像素着色RGB值70-180的处理。最后得到5200个原始粒细胞，5800个早幼粒细胞，9600个中幼粒细胞，7500个晚幼粒细胞，11000个杆状粒细胞，8000个分叶粒细胞。
步骤三，将步骤二中得到的增强标注训练集输入到Unet网络细胞轮廓分割模型中进行训练，学习标注的各类细胞形态和轮廓特征，去除图片中没有被识别为细胞轮廓的部分，识别出增强标注训练集中的全部细胞，将全部细胞分别按照其完整的轮廓分割出来并输出，当构建的Unet网络细胞轮廓分割模型从增强标注训练集中分割出的全部细胞的轮廓平均交并比达到0.92时，就得到训练好的分割模型，其中构建的Unet网络细胞轮廓分割模型从增强标注训练集中分割出来的全部细胞的轮廓
Figure GDA0003709565280000061
其中n为构建的Unet网络细胞轮廓分割模型分割出增强标注训练集中细胞的个数，ai指第i个细胞被Unet网络细胞轮廓分割模型预测的细胞边界围成的区域面积和增强标注训练集中人工标注出细胞的真实边界围成的区域面积并集，bi指第i个细胞被Unet网络细胞轮廓分割模型预测的细胞边界围成的区域面积和增强标注训练集中人工标注出细胞的真实边界围成的区域面积交集。
将测试集通过训练好的Unet网络得到细胞轮廓分割结果，没有被识别出来的细胞会被分割模型输出的全黑掩膜覆盖，滤掉颜色(0，0，0)可以抛去没有被分割出轮廓的细胞，只留下存有类别标签且被分割出来的完整细胞。
所述识别模块采用的SSD目标检测网络包括依次连接的第一卷积层为3×3卷积层、第二卷积层为3×3卷积层、后接第一最大池化层、第三卷积层为3×3卷积层、第四卷积层为3×3卷积层、第二最大池化层、第五卷积层为3×3卷积层、第六卷积层为3×3卷积层、第三最大池化层、第七卷积层为3×3卷积层、第八卷积层为3×3卷积层、第四最大池化层、第九卷积层为3×3卷积层、第十卷积层为3×3卷积层、后接平均池化层、后街全连接层和softmax层。
所述细胞识别模块采用的SSD目标检测网络模型的训练过程如下：
将上述的标注训练集输入到细胞识别模块中的SSD目标检测网络模型中进行训练，输出能够识别各类细胞形态特征信息的参数，再通过模型中的全连接层和softmax层进行分类，输出各个细胞的种类，当构建的SSD目标检测网络模型对标注训练集中标注的细胞分类准确率为95％时，就得到训练好的SSD目标检测网络模型，其中构建的SSD目标检测网络模型对标注训练集中细胞分类准确率＝构建的SSD目标检测网络模型正确分类出标注训练集中全部细胞种类的细胞个数/标注训练集中人工标注出种类的全部细胞个数*100％。
所述检测统计模块采集完整的像素为4000×3000的细胞原图像，并以像素为800×800的大小作为观察窗口对该细胞原图像进行逐块显示，具体为：
步骤一，将显微镜下完整的像素为4000×3000的细胞原图像送入检测统计模块，设置观察窗口大小为800×800px作为细胞分割以及检测模块的输入；
步骤二，每当一个观察窗口经细胞分割模块检测完成之后，该窗口会向右侧滑动400px的距离作为新的观察窗口；
步骤三，当观察窗口滑动到图像最右侧时，如果观察窗口没有滑到图像最底部，就使观察窗口向下滑动200px的距离作为新的观察窗口，该窗口再依次向左侧滑动400px的距离作为新的观察窗口；
步骤四，当观察窗口滑动到图像最左侧时，如果观察窗口没有滑到图像最底部，就使观察窗口向下滑动200px的距离作为新的观察窗口，并重复步骤二至步骤四，直至窗口滑动到图片的最底部的边缘处。
在窗口移动的过程中，细胞识别模块会框定每一个识别到的细胞并得到细胞中心的坐标值，通过窗口在整张图像中的位置换算坐标到细胞在整张4000×3000像素当中的绝对位置，然后将每个细胞的中心位置保存作为标识该细胞位置的唯一方式，每次细胞识别模块检测到细胞时，首先计算细胞中心坐标以判断该细胞是否被检测过。当滑动窗口遍历完整张图片时，统计整张图中所有类别的细胞并生成细胞分类统计报告。
本发明研究在临床病例获得的数据集上进行了验证，这个系统可以有效去除显微镜下细胞图像的背景干扰，模型泛化能力和推广能力可靠性较强。基于深度学习的系统可以快速对白细胞进行分类。

Claims (4)

1.一种强干扰因素下基于深度学习的图像分类识别系统，其特征在于包括细胞分割模块、细胞识别模块和检测统计模块；其中检测统计模块用于采集完整的像素为4000×3000的细胞原图像，并以像素为800×800的大小作为观察窗口对该细胞原图像进行逐块显示，并根据细胞识别模块识别出的细胞类别及相应类别的个数生成细胞分类检测报告；
细胞分割模块采用Unet网络细胞轮廓分割模型对检测统计模块中观察窗口内显示的细胞图像中的细胞进行识别和分割，同时移除观察窗口中的背景以及没有被识别为细胞的部分，每处理完一个观察窗口内的细胞，就将从该观察窗口内分割出的细胞输入细胞识别模块，直至处理完逐块显示的每个观察窗口内的细胞图像；
细胞识别模块采用SSD目标检测网络模型对细胞分割模块从观察窗口内识别并分割出的细胞进行定位以及识别，并将每个细胞的中心点坐标保存作为标识该细胞位置的唯一方式，当细胞识别模块再次接收细胞分割模块从下一个观察窗口内识别并分割出的细胞时，首先计算每个细胞的中心点坐标以判断该细胞是否被定位及识别过，将重复定位和识别过的细胞合并为一个；
所述的细胞分割模块采用Unet网络细胞轮廓分割模型，其网络结构是由上采样层和下采样层构成的U型卷积神经网络结构，其中下采样层由五组卷积层组组成，其中：
第一卷积层组包括第1、第2这两个卷积层以及一个池化层，每层卷积核个数为64，每个卷积核大小均为3×3，池化层采用最大池化，步长为2；
第二卷积层组包括第3、第4这两个卷积层以及一个池化层，每层卷积核个数为128，每个卷积核大小均为3×3，池化层采用最大池化，步长为2；
第三卷积层组包括第5、第6这两个卷积层以及一个池化层，每层卷积核个数为256，每个卷积核大小均为3×3，池化层采用最大池化，步长为2；
第四卷积层组包括第7、第8这两个卷积层以及一个池化层，每层卷积核个数为512，每个卷积核大小均为3×3，池化层采用最大池化，步长为2；
第五卷积层组包括第9、第10这两个卷积层以及一个池化层，每层卷积核个数为1024，每个卷积核大小均为3×3，池化层采用最大池化，步长为2；
上采样层由五个卷积层组组成，其中：
第一卷积层组包括一个上采样操作层和两个卷积操作层，上采样操作层的卷积核个数为512，每个卷积核大小均为2×2，每个卷积操作层的卷积核个数均为512，卷积核大小均为3×3，
第二卷积层组包括一个上采样操作层和两个卷积操作层，上采样操作层的卷积核个数为256，每个卷积核大小均为2×2，每个卷积操作层的卷积核个数均为256，卷积核大小均为3×3，
第三卷积层组包括一个上采样操作层和两个卷积操作层，上采样操作层的卷积核个数为128，每个卷积核大小均为2×2，每个卷积操作层的卷积核个数均为128，卷积核大小均为3×3，
第四卷积层组包括一个上采样操作层和两个卷积操作层，上采样操作层的卷积核个数为64，每个卷积核大小均为2×2，每个卷积操作层的卷积核个数均为64，卷积核大小均为3×3；
第五卷积层组包括一个上采样操作层和两个卷积操作层，上采样操作层的卷积核个数为32，每个卷积核大小均为2×2，每个卷积操作层的卷积核个数均为32，卷积核大小均为3×3。
2.根据权利要求1所述的一种强干扰因素下基于深度学习的图像分类识别系统，其特征在于所述细胞分割模块采用的Unet网络细胞轮廓分割模型的训练过程包括以下步骤：
步骤一，人工从4000×3000像素的显微镜下细胞切片原图数据集合中切割出1000张800×800像素的细胞切片图像作为训练集，人工标注出训练集中每张细胞切片图像中的所有细胞以及所有细胞的种类，得到标注训练集；
步骤二，将标注训练集中每张细胞切片图像中每种细胞的数量进行扩增，得到增强标注训练集，其中每张细胞切片图像中每种细胞数量的扩增倍数为基础数据增强参数e和每张细胞切片图像中该种类细胞加权权重1/r的和，其中r为每张细胞切片图像中该种类细胞的数量占全部细胞数量的比率；
步骤三，将步骤二中得到的增强标注训练集输入到Unet网络细胞轮廓分割模型中进行训练，学习标注的各类细胞轮廓特征，去除图片中没有被识别为细胞的部分，识别出增强标注训练集中的全部细胞，将全部细胞分别按照其完整的轮廓分割出来并输出，当构建的Unet网络细胞轮廓分割模型从增强标注训练集中分割出的全部细胞的轮廓平均交并比达到0.92时，就得到训练好的分割模型，其中构建的Unet网络细胞轮廓分割模型从增强标注训练集中分割出来的全部细胞的轮廓平均交并比
Figure FDA0003709565270000021
其中n为构建的Unet网络细胞轮廓分割模型分割出增强标注训练集中细胞的个数，ai指第i个细胞被Unet网络细胞轮廓分割模型预测的细胞边界围成的区域面积和增强标注训练集中人工标注出细胞的真实边界围成的区域面积并集，bi指第i个细胞被Unet网络细胞轮廓分割模型预测的细胞边界围成的区域面积和增强标注训练集中人工标注出细胞的真实边界围成的区域面积交集。
3.根据权利要求2所述的一种强干扰因素下基于深度学习的图像分类识别系统，其特征在于所述细胞识别模块采用的SSD目标检测网络模型的训练过程如下：
将上述的标注训练集输入到细胞识别模块中的SSD目标检测网络模型中进行训练，输出能够识别各类细胞形态特征信息的参数，再通过模型中的全连接层和softmax层进行分类，输出各个细胞的种类，当构建的SSD目标检测网络模型对标注训练集中标注的细胞分类准确率为95％时，就得到训练好的SSD目标检测网络模型，其中构建的SSD目标检测网络模型对标注训练集中细胞分类准确率＝构建的SSD目标检测网络模型正确分类出标注训练集中全部细胞种类的细胞个数/标注训练集中人工标注出种类的全部细胞个数*100％。
4.根据权利要求3所述的一种强干扰因素下基于深度学习的图像分类识别系统，其特征在于所述检测统计模块采集完整的像素为4000×3000的细胞原图像，并以像素为800×800的大小作为观察窗口对该细胞原图像进行逐块显示，具体为：
步骤一，将像素为4000×3000的细胞原图像送入检测统计模块，设置观察窗口大小为800×800px；
步骤二，每当一个观察窗口经细胞分割模块检测完成之后，该窗口会向右侧滑动400px的距离作为新的观察窗口；
步骤三，当观察窗口滑动到图像最右侧时，如果观察窗口没有滑到图像最底部，就使观察窗口向下滑动200px的距离作为新的观察窗口，该窗口再依次向左侧滑动400px的距离作为新的观察窗口；
步骤四，当观察窗口滑动到图像最左侧时，如果观察窗口没有滑到图像最底部，就使观察窗口向下滑动200px的距离作为新的观察窗口，并重复步骤二至步骤四，直至窗口滑动到图片的最底部的边缘处。
CN202011578982.4A 2020-12-28 2020-12-28 一种强干扰因素下基于深度学习的图像分类识别系统 Active CN112634243B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011578982.4A CN112634243B (zh) 2020-12-28 2020-12-28 一种强干扰因素下基于深度学习的图像分类识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011578982.4A CN112634243B (zh) 2020-12-28 2020-12-28 一种强干扰因素下基于深度学习的图像分类识别系统

Publications (2)

Publication Number Publication Date
CN112634243A CN112634243A (zh) 2021-04-09
CN112634243B true CN112634243B (zh) 2022-08-05

Family

ID=75326064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011578982.4A Active CN112634243B (zh) 2020-12-28 2020-12-28 一种强干扰因素下基于深度学习的图像分类识别系统

Country Status (1)

Country Link
CN (1) CN112634243B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158979B (zh) * 2021-05-14 2022-05-31 山东仕达思生物产业有限公司 一种妇科显微图像大视野下白细胞的检测识别方法
CN113436287B (zh) * 2021-07-05 2022-06-24 吉林大学 一种基于lstm网络与编解码网络的篡改图像盲取证方法
CN114018924A (zh) * 2021-11-23 2022-02-08 杭州智微信息科技有限公司 一种自动检测尿脱落细胞中异常细胞的方法
CN114418995B (zh) * 2022-01-19 2023-02-03 生态环境部长江流域生态环境监督管理局生态环境监测与科学研究中心 一种基于显微镜图像的级联藻类细胞统计方法
CN115100151B (zh) * 2022-06-27 2023-02-24 武汉兰丁智能医学股份有限公司 结果导向的细胞图像高清晰识别标记方法
CN115393846B (zh) * 2022-10-28 2023-03-03 成都西交智汇大数据科技有限公司 一种血细胞识别方法、装置、设备及可读存储介质
CN117593746B (zh) * 2024-01-18 2024-04-19 武汉互创联合科技有限公司 基于目标检测的细胞分裂均衡度评估系统及装置
CN118447502A (zh) * 2024-07-05 2024-08-06 浙江大学长三角智慧绿洲创新中心 单细胞轮廓识别与提取的方法、系统、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2385494C1 (ru) * 2008-10-22 2010-03-27 Государственное образовательное учреждение высшего профессионального образования Московский инженерно-физический институт (государственный университет) Способ распознавания изображения текстуры клеток
CN107944360A (zh) * 2017-11-13 2018-04-20 中国科学院深圳先进技术研究院 一种诱导多能干细胞识别方法、系统及电子设备
CN110032985A (zh) * 2019-04-22 2019-07-19 清华大学深圳研究生院 一种血细胞自动检测识别方法
CN110084150A (zh) * 2019-04-09 2019-08-02 山东师范大学 一种基于深度学习的白细胞自动分类方法及系统
CN110263656A (zh) * 2019-05-24 2019-09-20 南方科技大学 一种癌细胞识别方法、装置和系统
CN111062346A (zh) * 2019-12-21 2020-04-24 电子科技大学 一种白细胞自动定位检测及分类识别系统及方法
CN111179273A (zh) * 2019-12-30 2020-05-19 山东师范大学 一种基于深度学习的白细胞核质自动分割方法及系统
CN111524138A (zh) * 2020-07-06 2020-08-11 湖南国科智瞳科技有限公司 一种基于多任务学习的显微图像细胞识别方法及装置
CN111768420A (zh) * 2020-07-03 2020-10-13 中国科学院微小卫星创新研究院 一种细胞图像分割模型

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018140596A2 (en) * 2017-01-27 2018-08-02 Arterys Inc. Automated segmentation utilizing fully convolutional networks
CN108615051B (zh) * 2018-04-13 2020-09-15 博众精工科技股份有限公司 基于深度学习的糖尿病视网膜图像分类方法及系统
CN110675368B (zh) * 2019-08-31 2023-04-07 中山大学 一种融合图像分割与分类的细胞图像语义分割方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2385494C1 (ru) * 2008-10-22 2010-03-27 Государственное образовательное учреждение высшего профессионального образования Московский инженерно-физический институт (государственный университет) Способ распознавания изображения текстуры клеток
CN107944360A (zh) * 2017-11-13 2018-04-20 中国科学院深圳先进技术研究院 一种诱导多能干细胞识别方法、系统及电子设备
CN110084150A (zh) * 2019-04-09 2019-08-02 山东师范大学 一种基于深度学习的白细胞自动分类方法及系统
CN110032985A (zh) * 2019-04-22 2019-07-19 清华大学深圳研究生院 一种血细胞自动检测识别方法
CN110263656A (zh) * 2019-05-24 2019-09-20 南方科技大学 一种癌细胞识别方法、装置和系统
CN111062346A (zh) * 2019-12-21 2020-04-24 电子科技大学 一种白细胞自动定位检测及分类识别系统及方法
CN111179273A (zh) * 2019-12-30 2020-05-19 山东师范大学 一种基于深度学习的白细胞核质自动分割方法及系统
CN111768420A (zh) * 2020-07-03 2020-10-13 中国科学院微小卫星创新研究院 一种细胞图像分割模型
CN111524138A (zh) * 2020-07-06 2020-08-11 湖南国科智瞳科技有限公司 一种基于多任务学习的显微图像细胞识别方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Deep learning in Label-free Cell Classification;CL Chen 等;《Scientific Reports》;20160315;1-16 *
应用图学习算法的跨媒体相关模型图像语义标注;李玲 等;《光学精密工程》;20160115;第24卷(第1期);229-235 *
深度学习在计算机视觉领域的若干关键技术研究;逄淑超;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》;20180315(第03期);I138-29 *
骨髓红粒细胞自动识别的深度学习模型;吴汾奇 等;《吉林大学学报(信息科学版)》;20201115;第38卷(第6期);729-736 *

Also Published As

Publication number Publication date
CN112634243A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112634243B (zh) 一种强干扰因素下基于深度学习的图像分类识别系统
CN108074231B (zh) 一种基于卷积神经网络的磁片表面缺陷检测方法
CN110334706B (zh) 一种图像目标识别方法及装置
CN109359569B (zh) 一种基于cnn的红细胞图像亚分类方法
CN109636772A (zh) 基于深度学习的不规则形状金属加工表面的缺陷检测方法
CN105184265A (zh) 一种基于自学习的手写表格数字字符串快速识别的方法
CN110458821A (zh) 一种基于深度神经网络模型的精子形态分析方法
CN106384112A (zh) 基于多通道多尺度与级联过滤器的快速图像文本检测方法
CN108564114B (zh) 一种基于机器学习的人体粪便白细胞自动识别方法
CN110120056A (zh) 基于自适应直方图阈值和轮廓检测的血液白细胞分割方法
CN111852792B (zh) 一种基于机器视觉的风机叶片缺陷自诊断定位方法
NL2024777B1 (en) Blood leukocyte segmentation method based on color component combination and contour fitting
CN111738367B (zh) 一种基于图像识别的零件分类方法
Maji et al. An automated method for counting and characterizing red blood cells using mathematical morphology
CN112561863A (zh) 一种基于改进ResNet的医学图像多分类识别系统
CN111932639B (zh) 一种基于卷积神经网络的不均衡缺陷样本的检测方法
CN113240623A (zh) 一种路面病害检测方法及装置
CN113393454A (zh) 活检组织中病理目标实例分割方法和装置
CN114240822A (zh) 基于YOLOv3及多尺度特征融合的棉布瑕疵检测方法
CN113435493A (zh) 一种基于深度迁移学习的无标记白细胞分类系统及方法
Theerapattanakul et al. An efficient method for segmentation step of automated white blood cell classifications
Zeng et al. Algorithm based on marker-controlled watershed transform for overlapping plant fruit segmentation
CN113313719A (zh) 基于视觉注意机制和模型拟合的白细胞分割方法
Jiang et al. Feature extraction and grain segmentation of sandstone images based on convolutional neural networks
CN112767349A (zh) 一种网织红细胞识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant