CN110059568A - 基于深层卷积神经网络的多类白细胞自动识别方法 - Google Patents

基于深层卷积神经网络的多类白细胞自动识别方法 Download PDF

Info

Publication number
CN110059568A
CN110059568A CN201910216839.1A CN201910216839A CN110059568A CN 110059568 A CN110059568 A CN 110059568A CN 201910216839 A CN201910216839 A CN 201910216839A CN 110059568 A CN110059568 A CN 110059568A
Authority
CN
China
Prior art keywords
convolutional neural
leucocyte
neural networks
multiclass
deep layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910216839.1A
Other languages
English (en)
Inventor
谭冠政
张丽达
浣浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201910216839.1A priority Critical patent/CN110059568A/zh
Publication of CN110059568A publication Critical patent/CN110059568A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification

Abstract

本发明公开了一种基于深层卷积神经网络的多类白细胞自动识别方法,属于使用深度学习的机器视觉方案对医学显微镜图像进行自动识别。本发明首先对多类白细胞的数据集做整理以及数据的增强操作,然后使用inception模块级联组成多尺度的特征融合的卷积神经网络模型,在级联组合时通过连续的squeeze操作和excitation操作建立特征通道间的相互依赖的关系,提升网络性能,提高白细胞分类的准确率。

Description

基于深层卷积神经网络的多类白细胞自动识别方法
技术领域
本发明涉及利用计算机视觉方案对医学显微镜图像进行自动识别分类领域,特别是一种基于深层卷积神经网络的多类白细胞自动识别方法。
背景技术
最近几年,人工智能和深度学习已成为各行各业亟待学习和融汇的技术了,计算机视觉也因此有了创造性的发展,并运用在了很多医疗影像的处理方法上,效率有了很大的提升。白细胞的识别计数为人类健康和疾病的诊断提供了价值重大的信息,根据分类结果和白细胞计数,可以诊断出感染、白血病和某些特定类型的癌症。高度精确的生物医学图像分类是从这些图像中识别出的众多医学疾病的临床诊断中的基本任务。传统的图像分类方法结合手工制作的图像特征描述子和各种分类器,不能有效地提高准确率,满足生物医学图像分类的高要求。
由于多类白细胞的分类识别工作意义重大,且因为白细胞的显微图片细胞是高密度相互接触,同时连续阶段的细胞之间存在很小的阶层见差异,所以对分类的方法有很高的要求,有很多研究者对多类白细胞的识别检测做了很多工作,提出了许多实用可行的措施:
(1)《一种基于随机森林的白细胞五分类方法》(CN 105404887 A)提出了一种基于随机森林的白细胞五分类方法,提取了能区分不同细胞类型的特性,采用SVM分类器进行降维处理,同时利用k-means聚类算法得到细胞核形状相似度特征,最后将所有特征归一化,使用随机森林分类器对白细胞进行分类。
缺点:采用了几组人工提取特征,这些特征虽然有一定的区分度和代表性,但是并不能保证取得了所有或者大部分可区分的有效特征,所以此方法具有一定的局限性。
(2)《一种基于形态学分类计数白细胞的方法》(CN 103345654 A)提出了一种基于形态学分类计数白细胞的方法,将白细胞显微图像经计算机系统处理后对白细胞进行形态学参数分析,将白细胞划分为淋巴细胞区、单核细胞区、粒细胞区及消亡细胞区四个区域;再将划分出的区域细胞进行形态学参数分析,进一步精确区分出单核细胞、淋巴细胞、嗜酸粒细胞和中性粒细胞。
缺点:仅仅采用了形态学参数分析来区分几种白细胞,特征较为单一,对分类的准确率有一定影响;方法分为两个阶段进行由粗到精的划分思路,但是可能出现将第一阶段的误差带入到第二阶段,大大增加了分类的错误率。
发明内容
本发明所要解决的技术问题是,针对现有技术不足,提供一种基于深层卷积神经网络的多类白细胞自动识别方法,提高多类白细胞分类的准确率。
为解决上述技术问题,本发明所采用的技术方案是:一种基于深层卷积神经网络的多类白细胞自动识别方法,包括以下步骤:
1)使用已分类并标记好的白细胞显微镜图片数据集作为初始数据库;
2)对步骤1)得到的初始数据库进行数据的增强操作;
3)将经步骤2)处理后得到的白细胞显微镜图片数据集随机地按比例分成多类白细胞分类训练集和测试集;
4)构建深层卷积神经网络模型,使用ILSVRC 2014数据集对深层卷积神经网络模型进行预训练,赋予深层卷积神经网络模型初始权重参数;
5)使用步骤3)中的训练集经步骤4)处理后的深层卷积神经网络模型进行训练,此过程即为一次向前传播;
6)采用监督学习的方法,在经过一次向前传播后,使用softmax损失函数分别计算辅助分类器和总分类器的向前传播的损失误差,然后选用异步随机梯度下降的方法迭代地减小损失函数值,并更新深层卷积神经网络模型每层的参数值,此过程为一次完整的后反馈传播过程;
7)使用训练集微调卷积神经网络模型,经过多次步骤5)的向前传播和步骤6)的后反馈传播,更新深层卷积神经网络模型的结构参数,当达到设置的最大更新代数时,深层卷积神经网络模型收敛,结束训练,得到最终的多类白细胞分类的网络模型;
8)使用多类白细胞分类的网络模型进行分类,输入一张无标签的白细胞图片到训练好的多类白细胞分类模型中,输出正确的白细胞类别。
步骤2)的具体实现过程包括:首先对白细胞显微镜图片数据集中的图片进行上下翻转,然后再左右翻转,最后只进行一次旋转90度操作,最终得到增强操作后的白细胞显微镜图片数据集。
本发明步骤3)中,将经步骤2)处理后得到的白细胞显微镜图片数据集随机地按7:3分成多类白细胞分类训练集和测试集。
步骤4)中,深层卷积神经网络模型由多个Inception模块组合而成,且在第4个和第7个Inception模块中分别添加辅助分类器,在训练过程中,计算softmax损失,并叠加到总分类器的损失函数中。
所述深层卷积神经网络模型由9个inception模块级联组合而成,每一个inception模块均包括1x1、3x3、5x5的卷积核和一个3x3的最大池化层,在3x3和5x5的卷积核前以及3x3池化层后分别添加一个1x1的卷积核;在inception模块级联的时候使用Squeeze操作和Excitation,即对上层网络做全局平均池化操作,然后使用两个全连接层组成一个瓶颈结构建模通道间的相关性,同时输出和输入特征同样数目的权重,在第一个全连接层时将特征维度降低到输入的十六分之一,然后经过ReLU激活后再通过一个全连接层升回原来的维度。
步骤7)和步骤8)之间还进行如下操作:将测试集输入到最终的多类白细胞分类的网络模型中,计算所有分类器的softmax概率,并求所有分类器的softmax概率平均结果作为最终的验证结果,利用验证结果,可以验证网络性能。本发明验证结果为99%,说明网络性能很好。
与现有技术相比,本发明所具有的有益效果为:
1、本发明通过对多类白细胞数据集的增强操作,使得卷积神经网络能提取到更丰富细致的特征参数;
2、本发明使用了inception网络模块,增强了算法对图片在不同尺度上信息的敏感度,能同时从不同尺度提取特征,进行聚合,很大程度地提高了多类白细胞分类的准确率;
3、本发明在卷积神经网络级联时增加了squeeze操作和excitation操作,不仅在多类白细胞分类的准确率上有所提升,同时给网络带来了性能上的增益。
附图说明
图1为本发明方法流程图;
图2为本发明中使用的inception模块结构;
图3为本发明方法中inception模块级联组合时的具体操作流程图。
具体实施方式
如图1所示,本发明的总体步骤如下:
步骤1:白细胞数据集的处理和准备,使用已通过专业医疗人员人工分类并标记好的白细胞显微镜图片数据集作为初始数据库,用以训练本发明设计的深层卷积神经网络以及对最终多分类效果的验证和测试;
1)随机提取多组以细胞核心为粗略中心的224x224尺寸的样本块,避免了在确定细胞核心位置时的误差导致提取整个细胞时造成的分割误差,同时,提取的多组样本块可以有效实现对数据集的增强;
2)由有经验的专业医疗人员对步骤1-1)中的每个样本块标注类别标签,准确地分出红系列前染色体(C1)、嗜碱性正常细胞(C2)、多色正常细胞(C3)和正染色正常细胞(C4)的四个连续阶段,以及骨髓系列的六个连续阶段,分别为成髓细胞(C5)、早幼粒细胞(C6)、髓细胞(C7)、间质细胞(C8)、带中性粒细胞(C9)和分段中性粒细胞(C10);
步骤2:对步骤1得到的多类白细胞数据集进行数据的增强操作,具体的,首先对数据集中的图片进行上下翻转,然后再左右翻转,为避免图片数据重复,最后只进行一次旋转90度操作,最终得到用于之后对深层卷积神经网络模型训练和测试的数据集;
步骤3:将步骤2得到的多类白细胞数据集随机地按适当的比例分成训练集和测试集,训练集用于对深层卷积神经网络模型的参数训练过程,测试集用于检验整个多类白细胞分类识别算法的效率和参数权重的更新;
步骤4:构建深层卷积神经网络模型,本发明设计的卷积神经网络结构是由多个Inception模块组合而成,在每个模块级联组合时添加Squeeze操作和Excitation操作,通过以上两个连续操作,可以显式地建模特征通道之间的依赖关系以提升整个网络模型的性能;
1)整个网络结构由九个inception模块级联组合而成,如图2所示,每个模块除了num_output的个数不一样之外,其他的都是由相同的滤波器组合,具体的,每一个inception模块都分别由1x1、3x3、5x5的卷积核和一个3x3的最大池化层组成,在3x3和5x5的卷积核前和3x3池化层后分别添加一个1x1的卷积核,这样维度缩减,减少了大量计算;
2)接着在模块间级联的时候使用Squeeze操作和Excitation,如图3所示,即对上层网络做全局平均池化操作,然后使用两个全连接层组成一个瓶颈结构建模通道间的相关性,同时输出和输入特征同样数目的权重。在第一个全连接层时将特征维度降低到输入的十六分之一,然后经过ReLU激活后再通过一个全连接层升回原来的维度,激活函数ReLU的公式为
f(x)=max(0,x) (1)
其中,x为输入特征;
步骤5:使用ILSVRC 2014数据集对步骤4中的神经网络模型进行预训练,赋予模型初始权重参数,使得白细胞多分类数据集对卷积神经网络模型进行微调时收敛的更快,准确度更精准;
步骤6:使用步骤3得到的多类白细胞训练数据集对步骤5中预训练的卷积神经网络模型进行微调训练,此过程即为一次向前传播;
步骤7:采用监督学习的方法,在经过一次向前传播后,使用Softmax损失函数分别计算辅助分类器和总分类器的向前传播的损失误差,假设Sj表示第j个类别的概率,aj表示第j类的向量值(本发明中j=1,2,3…10),T为分类的类别数,Softmax计算概率公式为
然后选用异步随机梯度下降的方法迭代地减小损失函数值,并更新卷积神经网络每层的参数值,动量设为0.9,学习率每八个epoch下降4%,此过程为一次完整的后反馈传播过程;
步骤8:使用多类白细胞分类数据集微调卷积神经网络模型,经过多次步骤6的向前传播和步骤7的后反馈传播更新网络模型的结构参数,当达到设置的最大更新代数时,卷积神经网络收敛,结束训练,得到最终的多类白细胞分类的网络模型;
步骤9:将步骤3得到的多类白细胞分类的测试集输入到步骤8中训练好的网络模型中进行测试,得到98.6%的准确率;
步骤10:输入一张无标签的白细胞图片到训练好的多类白细胞分类模型中,输出得到白细胞的正确类别。

Claims (7)

1.一种基于深层卷积神经网络的多类白细胞自动识别方法,其特征在于,包括以下步骤:
1)使用已分类并标记好的白细胞显微镜图片数据集作为初始数据库;
2)对步骤1)得到的初始数据库进行数据的增强操作;
3)将经步骤2)处理后得到的白细胞显微镜图片数据集随机地按比例分成多类白细胞分类训练集和测试集;
4)构建深层卷积神经网络模型,使用ILSVRC 2014数据集对深层卷积神经网络模型进行预训练,赋予深层卷积神经网络模型初始权重参数;
5)步骤3)中的训练集经步骤4)处理后的深层卷积神经网络模型进行训练,此过程即为一次向前传播;
6)采用监督学习的方法,在经过一次向前传播后,使用softmax损失函数分别计算辅助分类器和总分类器的向前传播的损失误差,然后选用异步随机梯度下降的方法迭代地减小损失函数值,并更新深层卷积神经网络模型每层的参数值,此过程为一次完整的后反馈传播过程;
7)使用训练集微调深层卷积神经网络模型,经过多次步骤5)的向前传播和步骤6)的后反馈传播,更新深层卷积神经网络模型的结构参数,当达到设置的最大更新代数时,深层卷积神经网络模型收敛,结束训练,得到最终的多类白细胞分类的网络模型;
8)使用多类白细胞分类的网络模型进行分类,输入一张无标签的白细胞图片到训练好的多类白细胞分类模型中,输出正确的白细胞类别。
2.根据权利要求1所述的基于深层卷积神经网络的多类白细胞自动识别方法,其特征在于,步骤2)的具体实现过程包括:首先对白细胞显微镜图片数据集中的图片进行上下翻转,然后再左右翻转,最后只进行一次旋转90度操作,最终得到增强操作后的白细胞显微镜图片数据集。
3.根据权利要求1所述的基于深层卷积神经网络的多类白细胞自动识别方法,其特征在于,步骤3)中,将经步骤2)处理后得到的白细胞显微镜图片数据集随机地按7:3分成多类白细胞分类训练集和测试集。
4.根据权利要求1所述的基于深层卷积神经网络的多类白细胞自动识别方法,其特征在于,步骤4)中,深层卷积神经网络模型由多个Inception模块组合而成,且在第4个和第7个Inception模块中分别添加辅助分类器,在训练过程中,计算softmax损失,并叠加到总分类器的损失函数中。
5.根据权利要求4所述的基于深层卷积神经网络的多类白细胞自动识别方法,其特征在于,所述深层卷积神经网络模型由9个inception模块级联而成,每一个inception模块均包括1x1、3x3、5x5的卷积核和一个3x3的最大池化层,在3x3和5x5的卷积核前以及3x3池化层后分别添加一个1x1的卷积核;在inception模块级联的时候使用Squeeze操作和Excitation,即对上层网络做全局平均池化操作,然后使用两个全连接层组成一个瓶颈结构,来建模通道间的相关性,同时输出的维度和输入特征通道数相匹配,在第一个全连接层时将特征维度降低到输入的1/N,经过ReLU激活后再通过一个全连接层升回原来的维度。
6.根据权利要求1所述的基于深层卷积神经网络的多类白细胞自动识别方法,其特征在于,N=16。
7.根据权利要求1所述的基于深层卷积神经网络的多类白细胞自动识别方法,其特征在于,步骤7)和步骤8)之间还进行如下操作:将测试集输入到最终的多类白细胞分类的网络模型中,计算所有分类器的softmax概率,并求所有分类器的softmax概率平均结果作为最终的验证结果。
CN201910216839.1A 2019-03-21 2019-03-21 基于深层卷积神经网络的多类白细胞自动识别方法 Pending CN110059568A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910216839.1A CN110059568A (zh) 2019-03-21 2019-03-21 基于深层卷积神经网络的多类白细胞自动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910216839.1A CN110059568A (zh) 2019-03-21 2019-03-21 基于深层卷积神经网络的多类白细胞自动识别方法

Publications (1)

Publication Number Publication Date
CN110059568A true CN110059568A (zh) 2019-07-26

Family

ID=67316309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910216839.1A Pending CN110059568A (zh) 2019-03-21 2019-03-21 基于深层卷积神经网络的多类白细胞自动识别方法

Country Status (1)

Country Link
CN (1) CN110059568A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659718A (zh) * 2019-09-12 2020-01-07 中南大学 基于深度卷积神经网络的小卷积核细胞计数方法及系统
CN111062346A (zh) * 2019-12-21 2020-04-24 电子科技大学 一种白细胞自动定位检测及分类识别系统及方法
CN111476266A (zh) * 2020-02-27 2020-07-31 武汉大学 一种基于迁移学习的非平衡类别白细胞分类方法
CN113361417A (zh) * 2021-06-09 2021-09-07 陕西理工大学 一种基于可变时序的人体行为识别方法
CN113887503A (zh) * 2021-10-22 2022-01-04 大连工业大学 一种基于改进的注意力卷积神经网络白细胞五分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150213302A1 (en) * 2014-01-30 2015-07-30 Case Western Reserve University Automatic Detection Of Mitosis Using Handcrafted And Convolutional Neural Network Features
CN107341518A (zh) * 2017-07-07 2017-11-10 东华理工大学 一种基于卷积神经网络的图像分类方法
CN109034045A (zh) * 2018-07-20 2018-12-18 中南大学 一种基于卷积神经网络的白细胞自动识别方法
CN109166100A (zh) * 2018-07-24 2019-01-08 中南大学 基于卷积神经网络的多任务学习细胞计数方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150213302A1 (en) * 2014-01-30 2015-07-30 Case Western Reserve University Automatic Detection Of Mitosis Using Handcrafted And Convolutional Neural Network Features
CN107341518A (zh) * 2017-07-07 2017-11-10 东华理工大学 一种基于卷积神经网络的图像分类方法
CN109034045A (zh) * 2018-07-20 2018-12-18 中南大学 一种基于卷积神经网络的白细胞自动识别方法
CN109166100A (zh) * 2018-07-24 2019-01-08 中南大学 基于卷积神经网络的多任务学习细胞计数方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN SZEGEDY: "Going Deeper with Convolutions", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
YUZHIJIEDINGZHE: "Squeeze-and-Excitation Networks个人理解", 《CSDN》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659718A (zh) * 2019-09-12 2020-01-07 中南大学 基于深度卷积神经网络的小卷积核细胞计数方法及系统
CN111062346A (zh) * 2019-12-21 2020-04-24 电子科技大学 一种白细胞自动定位检测及分类识别系统及方法
CN111476266A (zh) * 2020-02-27 2020-07-31 武汉大学 一种基于迁移学习的非平衡类别白细胞分类方法
CN111476266B (zh) * 2020-02-27 2022-04-12 武汉大学 一种基于迁移学习的非平衡类别白细胞分类方法
CN113361417A (zh) * 2021-06-09 2021-09-07 陕西理工大学 一种基于可变时序的人体行为识别方法
CN113361417B (zh) * 2021-06-09 2023-10-31 陕西理工大学 一种基于可变时序的人体行为识别方法
CN113887503A (zh) * 2021-10-22 2022-01-04 大连工业大学 一种基于改进的注意力卷积神经网络白细胞五分类方法
CN113887503B (zh) * 2021-10-22 2022-06-14 大连工业大学 一种基于改进的注意力卷积神经网络白细胞五分类方法

Similar Documents

Publication Publication Date Title
CN110059568A (zh) 基于深层卷积神经网络的多类白细胞自动识别方法
CN109952614B (zh) 生物粒子的分类系统和方法
CN106248559B (zh) 一种基于深度学习的白细胞五分类方法
CN112308158B (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN109034045A (zh) 一种基于卷积神经网络的白细胞自动识别方法
CN108345911A (zh) 基于卷积神经网络多级特征的钢板表面缺陷检测方法
CN108764072A (zh) 一种基于多尺度融合的血细胞亚型图像分类方法
CN110348384B (zh) 一种基于特征融合的小目标车辆属性识别方法
CN107784324A (zh) 基于深度残差网络的白血细胞多分类识别方法
CN106803090A (zh) 一种图像识别方法和装置
CN107563280A (zh) 基于多模型的人脸识别方法和装置
CN108776774A (zh) 一种基于复杂度感知分类算法的面部表情识别方法
Baby et al. Leukocyte classification based on feature selection using extra trees classifier: Atransfer learning approach
CN110414587A (zh) 基于渐进学习的深度卷积神经网络训练方法与系统
Ma et al. A novel two-stage deep method for mitosis detection in breast cancer histology images
Yu et al. A recognition method of soybean leaf diseases based on an improved deep learning model
Du et al. Automatic classification of cells in microscopic fecal images using convolutional neural networks
CN110163130B (zh) 一种用于手势识别的特征预对齐的随机森林分类系统及方法
Ridoy et al. An automated approach to white blood cell classification using a lightweight convolutional neural network
Song et al. Red blood cell classification based on attention residual feature pyramid network
CN110197193A (zh) 一种多参数流式数据自动分群方法
Hou et al. A face detection algorithm based on two information flow block and retinal receptive field block
CN113065430A (zh) 基于深度学习特征与人工提取特征融合的白细胞分类方法
CN105894032A (zh) 一种针对样本性质提取有效特征的方法
Diouf et al. Convolutional neural network and decision support in medical imaging: case study of the recognition of blood cell subtypes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190726