CN111368873A - 基于深度融合卷积神经网络模型及其组织学图像分类方法 - Google Patents

基于深度融合卷积神经网络模型及其组织学图像分类方法 Download PDF

Info

Publication number
CN111368873A
CN111368873A CN202010042289.9A CN202010042289A CN111368873A CN 111368873 A CN111368873 A CN 111368873A CN 202010042289 A CN202010042289 A CN 202010042289A CN 111368873 A CN111368873 A CN 111368873A
Authority
CN
China
Prior art keywords
layer
image
classification
layers
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010042289.9A
Other languages
English (en)
Inventor
于祥春
陈贺昌
梁苗苗
许晴
何丽芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi University of Science and Technology
Buddhist Tzu Chi General Hospital
Original Assignee
Buddhist Tzu Chi General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Buddhist Tzu Chi General Hospital filed Critical Buddhist Tzu Chi General Hospital
Priority to CN202010042289.9A priority Critical patent/CN111368873A/zh
Publication of CN111368873A publication Critical patent/CN111368873A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度融合卷积神经网络模型及其组织学图像分类方法，涉及图像处理方法技术领域。所述方法包括如下步骤：使用Reinhard染色归一化对原始的组织学图像进行归一化；通过具有50％重叠的滑动窗口在标准化图像上获取图像块；在这些图像上训练FCNN模型以进行基于图像块的分类；使用众数投票策略将一幅图像中所包括的图像块的分类结果进行整合，完成基于整幅图像的分类。所述方法能够提高图像分类的准确性。

Description

基于深度融合卷积神经网络模型及其组织学图像分类方法
技术领域
本发明涉及图像处理方法技术领域，尤其涉及一种基于深度融合卷积神经网络模型及其组织学图像分类方法。
背景技术
组织学图像的分类问题吸引越来越多人的关注，随着深度学习的发展，将深度学习的相关技术应用到组织学图像分类任务中是当今研究的主流方向。
组织学图像的特征提取和分类识别是一个难点问题，为了更好的完成组织学图像的分类，一个最核心的问题就是如何提取组织学图像的多尺度信息。
另外一个需要注意的问题时，深度卷积神经网络的训练需要大量的样本。由于组织学图像样本数量较少，因此从头训练一个深度卷积神经网络模型是不现实的。幸运的是，预训练的深度卷积神经网络模型，例如预训练的VGG19模型可以为特定领域(例如组织学图像分类领域)的深度卷积神经网络的权重学习提供一个初始的解。在这个基础上，对新构建深度卷积神经网络进行微调，从而摆脱了需要大量数据训练的问题。
本发明在基于预训练VGG19模型的基础上，提出一个深度融合卷积神经网络模型(FCNN)来解决组织学图像的多尺度信息问题。具体地，本发明提出的FCNN模型从预训练VGG19模型的“block2_pool”，“block3_pool”和“block5_pool”中提取了三个分支，然后进行合并以学习多尺度特征，包括核尺度，核组织和结构尺度特征。该模型可以很好地完成组织学图像分类任务，提高了效率和分类的准确性。
发明内容
本发明所要解决的技术问题是如何提供一种可以提高分类准确性的图像分类方法。
为解决上述技术问题，本发明所采取的技术方案是：一种基于深度融合卷积神经网络模型的组织学图像分类方法，其特征在于包括如下步骤：
使用Reinhard染色归一化对原始的组织学图像进行归一化；
通过具有50％重叠的滑动窗口在标准化图像上获取图像块；
在这些图像上训练FCNN模型以进行基于图像块的分类；
使用众数投票策略将一幅图像中所包括的图像块的分类结果进行整合，完成基于整幅图像的分类。
进一步的技术方案在于：所述FCNN模型融合了浅层，中间抽象层和抽象层，FCNN模型从不同的层中提取三个分支，然后进行合并以学习多尺度特征，所述多尺度特征包括核尺度，核组织和结构尺度特征。
本发明还公开了一种基于深度融合卷积神经网络模型，其特征在于：
包括VGG19_base模块，SoftMax分类器模块和以及blocks_branch模块，
VGG19_base模块包括Input层和5个block，为block1-block5，每一个block包括多个卷积层和一个最大池化层，其中，卷积核大小为3×3，池化过滤器大小为2×2，所有的层都是顺序相连；
SoftMax分类器模块，该部分在得到所有的深度特征后，将学习到的深度特征送入到3层全连接层，从而完成分类任务；具体的，该部分包括dense_1,dense_2,以及dense_3，其中dense_1和dense_2层的大小是4096，dense_3的大小由最终的分类种类的个数来确定；
blocks_branch模块，所述模型能够融合浅层，中间层和深层所产生的特征，是通过进一步从block2_pool，block3_pool和block5_pool层来获得核尺度，核组织和结构尺度特征来实现的，具体地，
a)获得核尺度特征：在block2_pool层后，增加了block2_branch，该子组包括一个带有128个过滤器的批归一化BN_1层，和一个平均池化层Avgpool_1其中，池化过滤器大小为8×8；
b)获得核组织特征：在block3_pool层后，增加block3_branch，该子组包括一个带有256个过滤器的BN_2层，和一个平均池化层Avgpool_2，其中池化过滤器大小为4×4；
c)获得结构尺度特征：在block5_pool层后，增加了block5_branch，该子组包括一个带有512个过滤器的BN_3层；
d)将上述三个部分的最后一层进行连接，也就是将Avgpool_1，Avgpool_2，以及BN_3层拼装成一个带有896个过滤器的concatenate_1层，紧接着是一个带有896个过滤器的BN_4层，然后通过全局平均池化操作得到一个大小为896的GAP层，最后该GAP与SoftMax分类器层部分进行相连。
进一步的技术方案在于，所述模型中权重初始和训练方法如下：
在对所述模型进行训练时，VGG19_base部分的卷积层的权重由预训练的VGG19模型来初始，其他部分的网络层，包括全连接层的所有权重全部进行随机初始；在模型训练时，将VGG19_base模块的权重进行冻结，不包括block5的conv5_3和conv5_4两层，然后完成conv5_3和conv5_4两层和SoftMax分类器模块的权重的微调任务。
采用上述技术方案所产生的有益效果在于：本申请所述方法首先使用Reinhard染色归一化对原始的组织学图像进行归一化，然后，通过具有50％重叠的滑动窗口在标准化图像上获取图像块；再次，在这些图像上训练FCNN模型以进行基于图像块的分类；最后，使用众数投票策略将一幅图像中所包括的图像块的分类结果进行整合，完成基于整幅图像的分类，提高了图像分类的准确性。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明实施例所述方法的流程图；
图2是本发明实施例所述方法中FCNN模型的原理框图；
图3是本发明实施例所述方法中图像处理图；
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
如图1所示，本发明实施例公开了一种基于深度融合卷积神经网络模型的组织学图像分类方法，包括如下步骤：
使用Reinhard染色归一化对原始的组织学图像进行归一化；
通过具有50％重叠的滑动窗口在标准化图像上获取图像块；
在这些图像上训练FCNN模型以进行基于图像块的分类；
使用众数投票策略将一幅图像中所包括的图像块的分类结果进行整合，完成基于整幅图像的分类。
图像分类的关键问题是该模型应涵盖多尺度特征，包括核尺度，核组织和结构尺度特征。我们提出了一种基于预训练VGG19模型的融合卷积神经网络(简称FCNN，如图2所示。FCNN融合了浅层，中间抽象层和抽象层，以大致覆盖多尺度特征。
如图2所示，FCNN模型的网络结构。从“block2_pool”，“block3_pool”和“block5_pool”中提取了三个分支，然后进行合并以学习多尺度特征，包括核尺度，核组织和结构尺度特征。
如图3所示，中间层激活的可视化。从第一列到第四列分别显示了标准化的图像块，block2_pool的激活，block3_pool的激活和block5_pool的激活。总共显示了四个通道(索引从0开始)，编号分别是6、17、90和126。如前所述，鲁棒的组织学图像分类器应完全能够分析从一个核，多个核大小到整个组织结构的多尺度特征。换句话说，图像分类中应仔细认识与细胞核有关的，与细胞核组织有关的以及与整个结构有关的特征。众所周知，CNN的不同层将提取不同的“粒度”信息。将在浅层中探索“细节信息”，在中间层中探索“中间抽象信息”，并在深层中挖掘“抽象信息”。
如图3所示，block2_pool，block3_pool和block5_pool层的激活可以分别大致覆盖核尺度，核组织和结构尺度特征。受此假设的启发，设计了一种融合CNN模型(FCNN)，并努力融合浅层，中间层和深层所产生的特征，以探索乳腺癌组织学分类中的多尺度信息，深度融合卷积神经网络模型如表1所示。
从表1和图2中可以看出FCNN模型主要包括三个主要部分，即为VGG19_base部分，SoftMax分类器层部分，以及blocks_branch部分。
1)VGG19_base部分，该部分包括Input层和5个block，即为block1-block5，每一个block包括多个卷积层(卷积核大小为3×3)和一个最大池化层(池化过滤器大小为2×2)，所有的层都是顺序相连。
2)SoftMax分类器层部分，该部分在得到所有的深度特征后，将学习到的深度特征送入到3层全连接层，从而完成分类任务。具体的，该部分包括dense_1,dense_2,以及dense_3，其中dense_1和dense_2层的大小是4096，dense_3的大小由最终的分类种类的个数来确定，在本发明中，该层的大小设定为4.
3)blocks_branch部分，FCNN模型能够融合浅层，中间层和深层所产生的特征，是通过进一步从block2_pool，block3_pool和block5_pool层来获得核尺度，核组织和结构尺度特征来实现的，具体地，
a)获得核尺度特征：在block2_pool层后，增加了block2_branch，该子组包括一个带有128个过滤器的批归一化BN_1层，和一个平均池化层Avgpool_1(池化过滤器大小为8×8)；
b)获得核组织特征：在block3_pool层后，增加了block3_branch，该子组包括一个带有256个过滤器的BN_2层，和一个平均池化层Avgpool_2(池化过滤器大小为4×4)；
c)获得结构尺度特征：在block5_pool层后，增加了block5_branch，该子组包括一个带有512个过滤器的BN_3层；
d)将上述三个部分的最后一层进行连接，也就是将Avgpool_1，Avgpool_2，以及BN_3层拼装成一个带有896个过滤器的concatenate_1层，紧接着是一个带有896个过滤器的BN_4层，然后通过全局平均池化操作得到一个大小为896的GAP层，最后该GAP与SoftMax分类器层部分进行相连。
FCNN模型中权重初始和训练情况说明：在对FCNN进行训练时，VGG19_base部分的卷积层的权重由预训练的VGG19模型来初始，其他部分的网络层，包括全连接层的所有权重全部进行随机初始；此外，为了完成FCNN模型的微调来学习特定领域的任务(例如组织学图像分类领域)，在模型训练时，将VGG19_base部分的权重进行冻结(除了block5的conv5_3和conv5_4两层)，然后完成conv5_3和conv5_4两层和SoftMax分类器层(包括GAP层)的权重的微调任务，如图2中“Fine-tune”部分所示。
表1
Figure BDA0002368175420000061
Figure BDA0002368175420000071

Claims (4)

1.一种基于深度融合卷积神经网络模型的组织学图像分类方法，其特征在于包括如下步骤：
使用Reinhard染色归一化对原始的组织学图像进行归一化；
通过具有50％重叠的滑动窗口在标准化图像上获取图像块；
在这些图像上训练FCNN模型以进行基于图像块的分类；
使用众数投票策略将一幅图像中所包括的图像块的分类结果进行整合，完成基于整幅图像的分类。
2.如权利要求1所述的基于深度融合卷积神经网络模型的组织学图像分类方法，其特征在于：
所述FCNN模型融合了浅层，中间抽象层和抽象层，FCNN模型从不同的层中提取三个分支，然后进行合并以学习多尺度特征，所述多尺度特征包括核尺度，核组织和结构尺度特征。
3.一种基于深度融合卷积神经网络模型，其特征在于：
包括VGG19_base模块，SoftMax分类器模块和以及blocks_branch模块，
VGG19_base模块包括Input层和5个block，为block1-block5，每一个block包括多个卷积层和一个最大池化层，其中，卷积核大小为3×3，池化过滤器大小为2×2，所有的层都是顺序相连；
SoftMax分类器模块，该部分在得到所有的深度特征后，将学习到的深度特征送入到3层全连接层，从而完成分类任务；具体的，该部分包括dense_1,dense_2,以及dense_3，其中dense_1和dense_2层的大小是4096，dense_3的大小由最终的分类种类的个数来确定；
blocks_branch模块，所述模型能够融合浅层，中间层和深层所产生的特征，是通过进一步从block2_pool，block3_pool和block5_pool层来获得核尺度，核组织和结构尺度特征来实现的，具体地，
a)获得核尺度特征：在block2_pool层后，增加了block2_branch，该子组包括一个带有128个过滤器的批归一化BN_1层，和一个平均池化层Avgpool_1其中，池化过滤器大小为8×8；
b)获得核组织特征：在block3_pool层后，增加block3_branch，该子组包括一个带有256个过滤器的BN_2层，和一个平均池化层Avgpool_2，其中池化过滤器大小为4×4；
c)获得结构尺度特征：在block5_pool层后，增加了block5_branch，该子组包括一个带有512个过滤器的BN_3层；
d)将上述三个部分的最后一层进行连接，也就是将Avgpool_1，Avgpool_2，以及BN_3层拼装成一个带有896个过滤器的concatenate_1层，紧接着是一个带有896个过滤器的BN_4层，然后通过全局平均池化操作得到一个大小为896的GAP层，最后该GAP与SoftMax分类器层部分进行相连。
4.如权利要求3所述的基于深度融合卷积神经网络模型，其特征在于：所述模型中权重初始和训练方法如下：
在对所述模型进行训练时，VGG19_base部分的卷积层的权重由预训练的VGG19模型来初始，其他部分的网络层，包括全连接层的所有权重全部进行随机初始；在模型训练时，将VGG19_base模块的权重进行冻结，不包括block5的conv5_3和conv5_4两层，然后完成conv5_3和conv5_4两层和SoftMax分类器模块的权重的微调任务。
CN202010042289.9A 2020-01-15 2020-01-15 基于深度融合卷积神经网络模型及其组织学图像分类方法 Pending CN111368873A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010042289.9A CN111368873A (zh) 2020-01-15 2020-01-15 基于深度融合卷积神经网络模型及其组织学图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010042289.9A CN111368873A (zh) 2020-01-15 2020-01-15 基于深度融合卷积神经网络模型及其组织学图像分类方法

Publications (1)

Publication Number Publication Date
CN111368873A true CN111368873A (zh) 2020-07-03

Family

ID=71206157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010042289.9A Pending CN111368873A (zh) 2020-01-15 2020-01-15 基于深度融合卷积神经网络模型及其组织学图像分类方法

Country Status (1)

Country Link
CN (1) CN111368873A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016405A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 一种基于分级预测卷积神经网络的害虫图像分类方法
CN107316066A (zh) * 2017-07-28 2017-11-03 北京工商大学 基于多通路卷积神经网络的图像分类方法及系统
CN108764072A (zh) * 2018-05-14 2018-11-06 浙江工业大学 一种基于多尺度融合的血细胞亚型图像分类方法
CN109034045A (zh) * 2018-07-20 2018-12-18 中南大学 一种基于卷积神经网络的白细胞自动识别方法
CN110580699A (zh) * 2019-05-15 2019-12-17 徐州医科大学 基于改进Faster RCNN算法的病理图像细胞核检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016405A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 一种基于分级预测卷积神经网络的害虫图像分类方法
CN107316066A (zh) * 2017-07-28 2017-11-03 北京工商大学 基于多通路卷积神经网络的图像分类方法及系统
CN108764072A (zh) * 2018-05-14 2018-11-06 浙江工业大学 一种基于多尺度融合的血细胞亚型图像分类方法
CN109034045A (zh) * 2018-07-20 2018-12-18 中南大学 一种基于卷积神经网络的白细胞自动识别方法
CN110580699A (zh) * 2019-05-15 2019-12-17 徐州医科大学 基于改进Faster RCNN算法的病理图像细胞核检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TERESA ARAÚJO 等: "Classification of breast cancer histology images using Convolutional Neural Networks", 《PLOS ONE》 *
YISHU LIU 等: "Scene Classification Based on Two-Stage Deep Feature Fusion", 《 IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 *

Similar Documents

Publication Publication Date Title
CN109165566B (zh) 一种基于新型损失函数的人脸识别卷积神经网络训练方法
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
Yuan et al. Fingerprint liveness detection using an improved CNN with image scale equalization
US11809485B2 (en) Method for retrieving footprint images
CN104239858B (zh) 一种人脸特征验证的方法和装置
CN108921822A (zh) 基于卷积神经网络的图像目标计数方法
CN111191660A (zh) 一种基于多通道协同胶囊网络的直肠癌病理学图像分类方法
CN106548159A (zh) 基于全卷积神经网络的网纹人脸图像识别方法与装置
CN106372581A (zh) 构建及训练人脸识别特征提取网络的方法
CN113011357B (zh) 基于时空融合的深度伪造人脸视频定位方法
CN106651915B (zh) 基于卷积神经网络的多尺度表达的目标跟踪方法
CN104504362A (zh) 基于卷积神经网络的人脸检测方法
CN108921019A (zh) 一种基于GEI和TripletLoss-DenseNet的步态识别方法
CN109961434A (zh) 面向层级语义衰减的无参考图像质量评价方法
CN112801054B (zh) 人脸识别模型的处理方法、人脸识别方法及装置
CN110534101A (zh) 一种基于多模融合深度特征的移动设备源识别方法及系统
CN111104852B (zh) 一种基于启发式高斯云变换的人脸识别技术
CN110414587A (zh) 基于渐进学习的深度卷积神经网络训练方法与系统
CN115309860B (zh) 基于伪孪生网络的虚假新闻检测方法
CN106951819A (zh) 基于稀疏概率分布和多阶段类别筛选的单样本人脸识别方法
CN116012653A (zh) 一种注意力残差单元神经网络高光谱图像分类方法及系统
CN107944366A (zh) 一种基于属性学习的手指静脉识别方法及装置
CN110472495A (zh) 一种基于图形推理全局特征的深度学习人脸识别方法
CN115188440A (zh) 一种相似病历智能匹配方法
CN110992320A (zh) 一种基于双重交错的医学图像分割网络

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination