CN112215807A - 基于深度学习的细胞图像自动分类方法及系统 - Google Patents
基于深度学习的细胞图像自动分类方法及系统 Download PDFInfo
- Publication number
- CN112215807A CN112215807A CN202011018643.0A CN202011018643A CN112215807A CN 112215807 A CN112215807 A CN 112215807A CN 202011018643 A CN202011018643 A CN 202011018643A CN 112215807 A CN112215807 A CN 112215807A
- Authority
- CN
- China
- Prior art keywords
- cell
- image
- training
- deep learning
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013135 deep learning Methods 0.000 title claims abstract description 29
- 230000011218 segmentation Effects 0.000 claims abstract description 48
- 230000000694 effects Effects 0.000 claims abstract description 25
- 210000004027 cell Anatomy 0.000 claims description 285
- 238000012549 training Methods 0.000 claims description 59
- 238000013145 classification model Methods 0.000 claims description 31
- 238000013527 convolutional neural network Methods 0.000 claims description 23
- 238000011156 evaluation Methods 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 230000003902 lesion Effects 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 5
- 210000003855 cell nucleus Anatomy 0.000 claims description 4
- 210000000805 cytoplasm Anatomy 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000013526 transfer learning Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000001575 pathological effect Effects 0.000 abstract description 7
- 238000007635 classification algorithm Methods 0.000 abstract description 3
- 238000003709 image segmentation Methods 0.000 abstract description 3
- 238000004445 quantitative analysis Methods 0.000 abstract description 3
- 238000004590 computer program Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000003719 b-lymphocyte Anatomy 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 210000003771 C cell Anatomy 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000011056 performance test Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002380 cytological effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开提供了一种基于深度学习的细胞图像自动分类方法及系统，主要包括如下部分：通过基于深度学习技术的图像分割和分类算法处理和分析细胞图像，准确提取图像中的单个细胞，在此基础上有效区分正常细胞以及不同类型的病变细胞，并且对图像分类效果进行量化评估。该方法有效地结合实例分割网络模型和深度卷积分类网络模型，实现细胞图像的自动准确分类，为医师提供辅助信息，帮助其进行定量分析，提高工作效率。
Description
技术领域
本发明涉及生物医学信息技术，人工智能技术领域，具体而言，涉及一种基于深度学习的细胞图像自动分类方法及系统。
背景技术
细胞学检查是将脱落的细胞制作细胞涂片，医生可以通过使用显微镜观察其形态和纹理，并且结合细胞学和病理学知识对细胞图像做出判断，因此，细胞学检查是疾病筛查和诊断的一种重要手段。在临床实践中，医生用肉眼对细胞图像进行观察，在大量的细胞中寻找病变细胞，根据病变细胞的数量和种类对疾病进行判定。长期高强度的观察容易使人疲劳，并且依赖医生的临床经验和病理分析专业知识。此外，由于细胞图像的高度复杂，以及外界环境的影响，容易降低诊断效率，造成系统误差。
近年来，人工智能尤其是深度学习技术在智慧医疗领域具有广泛的应用，在临床辅助决策中发挥重要作用。通过建立计算机辅助分析系统，能够对大规模的细胞图像进行智能处理和定量分析，识别病变细胞，实现细胞图像的分类，从而有助于临床医师提高诊断效率和准确率。
本发明公开提供了一种基于深度学习的细胞图像自动分类方法及系统，通过基于深度学习技术的图像分割和分类算法处理和分析细胞图像，准确提取图像中的单个细胞，在此基础上有效区分正常细胞以及不同类型的病变细胞，并且对图像分类效果进行量化评估。该方法有效地结合实例分割网络模型和深度卷积分类网络模型，将单个细胞准确的从细胞图像中分离出来，解决了自动化处理中难以对细胞图像中单个细胞进行分析的问题，最终实现细胞图像的自动准确分类，为医师提供辅助信息，帮助其进行定量分析，提高工作效率。
发明内容
为了解决现有图像处理技术中的分类问题，本发明公开提供了一种基于深度学习的细胞图像自动分类方法及系统，通过结合基于深度学习技术的图像分割和分类方法，有效处理和分析细胞图像。该方法采用深度实例分割网络模型，将单个细胞从细胞图像中准确分离出来；构建深度卷积分类网络模型，识别不同种类的病变细胞，获得细胞图像的分类结果。此外，通过建立细胞图像分类准确度的数值分析方法，为分类算法的可行性提供临床指导意义。
第一方面，本发明实施例提供了一种基于深度学习的细胞图像自动分类方法及系统，包括以下步骤：针对细胞图像进行数据采集、图像标注以及细胞区域提取的操作；使用提取后的所述细胞区域构建模型训练数据集，利用深度实例分割网络模型从采集后的所述细胞图像中分割出单个细胞；计算细胞分割效果评价指标，选择分割效果好的所述单个细胞，构建细胞图像分类模型的训练数据集；利用深度卷积神经网络搭建所述细胞图像分类模型，设计性能评价体系用于评估细胞图像的分类结果，并对该方法进行临床可行性分析。
在其中一个实施例中，所述针对细胞图像进行数据采集、图像标注以及细胞区域提取的操作包括：从医院图像存储系统中筛选出符合要求的细胞图像，由经验丰富的医师在每张细胞图像中标注正常及不同病变类型的细胞区域，针对人工标注的所述细胞区域进行提取操作。
在其中一个实施例中，所述针对人工标注的所述细胞区域进行提取操作包括：使用开源医学图像处理软件OpenSlide，根据医师所标注的细胞区域标签及位置提取细胞区域并获取对应标签。
在其中一个实施例中，所述使用提取后的所述细胞区域构建模型训练数据集，利用深度实例分割网络模型从采集后的所述细胞图像中分割出单个细胞包括：将提取的所述细胞区域划分为单细胞图像以及细胞团块图像，利用划分后的所述单细胞图像合成细胞团块，建立训练数据集，训练深度实例分割网络模型，获得细胞图像中的单个细胞。
在其中一个实施例中，所述利用划分后的所述单细胞图像合成细胞团块，建立训练数据集包括：对划分后的所述单细胞图像中的细胞核与细胞质进行标注，并利用手工标注的单细胞图像，通过控制数量和重叠率，合成多张包含指定数量和重叠率的细胞团块，获得模型训练数据集。
在其中一个实施例中，所述计算细胞分割效果评价指标，选择分割效果好的所述单个细胞，构建细胞图像分类模型的训练数据集包括：利用人工标注的所述细胞团块图像对训练后的所述深度实例分割网络模型进行测试，计算平均交并比等指标评价细胞分割效果，通过对评价指标设置阈值的方式选取分割质量好的单个细胞，建立细胞图像分类模型的训练数据集。
在其中一个实施例中，所述利用深度卷积神经网络搭建所述细胞图像分类模型包括：将获得的所述细胞图像中的单个细胞与人工标注的单细胞图像进行组合，采用旋转、平移以及镜像等方式对数据集进行增强，将增强后的数据集划分为训练集和测试集，其中80％为训练集，20％为测试集，训练集用来训练深度卷积神经网络，构建细胞图像分类模型，测试集用来对所述细胞图像分类模型进行性能测试。
在其中一个实施例中，所述训练深度卷积神经网络，构建细胞图像分类模型包括：通过迁移学习的方式，采用公开的大型图像数据集对所述深度卷积神经网络进行预训练，保存权重参数，在此基础上使用增强后的所述训练集对所述深度卷积神经网络进行微调，并利用增强后的所述测试集进行测试，获得细胞图像分类结果。
在其中一个实施例中，还包括：结合细胞图像的分类结果，设计一种评价细胞图像分类准确度的评价体系，完成细胞图像自动分类方法的临床可行性分析。
本发明公开提供了一种基于深度学习的细胞图像自动分类方法及系统，针对细胞图像进行数据采集、图像标注以及细胞区域提取的操作；使用提取后的所述细胞区域构建模型训练数据集，利用深度实例分割网络模型从采集后的所述细胞图像中分割出单个细胞；计算细胞分割效果评价指标，选择分割效果好的所述单个细胞，构建细胞图像分类模型的训练数据集；利用深度卷积神经网络搭建所述细胞图像分类模型，设计性能评价体系用于评估细胞图像的分类结果，并对该方法进行临床可行性分析。该方法联合图像处理方法以及深度学习技术对大规模细胞图像进行处理和分析，有效区分正常细胞以及不同种类的病变细胞，对细胞图像分类效果进行量化评估，为医师提供辅助医学信息，提升工作效率。
第二方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的细胞图像的处理方法。
第三方面，本发明实施例提供了一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面所述的方法。
附图说明
为了更清楚地说明本发明公开实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍：
图1为本发明一个实施例中的一种基于深度学习的细胞图像自动分类方法及系统的流程示意图；
图2为本发明另一个实施例中的一种基于深度学习的细胞图像自动分类方法及系统的流程示意图；
图3针对图1与图2所示的深度实例分割网络模型结构示意图。
图4针对图1与图2所示的细胞图像分类网络模型结构示意图。
具体实施方式
下面结合附图和实施例对本申请进行进一步的详细介绍。
在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本发明公开的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。
为了使本发明的目的、技术方案及优点更加清楚明白，以下通过实施例，并结合附图，对本发明一种基于深度学习的细胞图像自动分类方法及系统的具体实施方式进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，为一个实施例中的一种基于深度学习的细胞图像自动分类方法及系统的流程示意图，具体包括以下步骤：
步骤101，针对细胞图像依次进行数据采集、图像标注和细胞区域提取。
具体的，从医院图像存储系统中筛选出符合要求的细胞图像，由经验丰富的医师在每张细胞图像中标注正常及不同病变类型的细胞区域，并且为所标注的细胞区域填写病变标签。
进一步地，针对人工标注的所述细胞区域进行提取操作，使用OpenSlide开源医学图像处理软件，根据医师所标注的细胞区域标签及位置提取细胞区域并获取对应标签。
步骤102，构建深度实例分割网络模型，从采集后的所述细胞图像中分割出单个细胞。
具体的，将提取的所述细胞区域划分为单细胞图像以及细胞团块图像，并且每一个所述细胞区域配有对应的病变类型标签；利用划分后的所述单细胞图像合成细胞团块，建立训练数据集，其方法为对划分后的所述单细胞图像中的细胞核与细胞质进行标注，并利用手工标注的单细胞图像，通过控制数量和重叠率，合成多张包含指定数量和重叠率的细胞团块，获得所述深度实例分割网络模型训练数据集。
进一步地，使用所述细胞团块图像训练数据集，对所述深度实例分割网络模型进行训练，使用训练后的所述深度实例分割网络模型对细胞图像进行分割，获得细胞图像中的单个细胞。
步骤103，计算细胞分割效果评价指标，选择分割效果好的所述单个细胞，构建细胞图像分类模型的训练数据集。
具体的，利用人工标注的细胞团块图像对训练后的所述深度实例分割网络模型进行测试，计算平均交并比等指标评价细胞分割效果，通过对评价指标设置阈值的方式选取分割质量好的单个细胞，建立细胞图像分类模型的训练数据集。
步骤104，构建基于深度卷积神经网络的细胞图像分类模型。
具体的，将获得的所述细胞图像中的单个细胞与人工标注的单细胞图像进行组合，采用旋转、平移以及镜像等方式对数据集进行扩增，达到数据增强的目的，将增强后的数据集中80％划分为训练集，20％划分为测试集，其中，训练集用来训练深度卷积神经网络，构建细胞图像分类模型。
进一步地，通过迁移学习的方式，采用公开的大型图像数据集，例如，ImageNet图像数据库，对所述深度卷积神经网络进行预训练，保存权重参数，在此基础上使用增强后的所述训练集对所述深度卷积神经网络进行微调，，将增强后的所述测试集作为所述细胞图像分类模型的输入数据，获得细胞图像分类结果。
步骤105，设计评价体系用于评估细胞图像分类结果，并对细胞图像自动分类方法进行临床可行性进行分析。
具体的，通过计算数值化的多种临床评价指标，较全面的评价细胞图像分类结果，结合细胞图像的分类结果以及所述的多种评价指标，完成细胞图像自动分类方法的临床可行性分析。
为了更清晰地理解并应用基于深度学习的细胞图像自动分类方法及统，进行以下公开示例。需要说明的是，本发明公开所保护的范围不限于以下示例。
如图2所示，为本发明另一个实施例中的基于深度学习的细胞图像自动分类方法及系统的步骤流程示意图，具体包括：
步骤201.数据采集及预处理。
具体的，从医院图像存储系统中筛选出符合要求的细胞图像，由经验丰富的医师使用图像标注软件，在每张细胞图像中标注正常及不同病变类型的细胞区域，并且对每一个细胞区域给出病变标签。针对人工标注的细胞区域，使用开源医学图像处理软件OpenSlide，根据医师所标注的细胞区域标签及位置，自动提取细胞区域并获取该细胞区域的对应病变标签。
步骤202.细胞图像分割。
具体的，将所提取的细胞区域划分为单细胞图像以及细胞团块图像，并且保存单细胞图像以及细胞团块图像所对应的病变标签。利用划分后的所述单细胞图像合成细胞团块，建立训练数据集，训练深度实例分割网络模型。使用单细胞图像合成细胞团块的方法是对划分后的单细胞图像中的细胞核与细胞质进行标注，并利用手工标注的单细胞图像，通过控制数量和重叠率，合成多张包含指定数量和重叠率的细胞团块。该合成算法的流程如下：
设置细胞数量N以及重叠率(overlap ratio)OR；
通过随机平移、旋转操作固定第一个细胞的位置；
根据第一个细胞的位置和所设定的重叠率OR，依次选择余下的N-1个细胞的位置；
对于非重叠区域，将RGB(red,green,black)颜色空间的数值作为所在细胞区域的原始值；
对于重叠区域，使用半透明算法计算对应位置的RGB颜色空间数值，其中，半透明算法的公式如下：
r(p)＝max(r1(p)-r2(p),α*min(r1(p),r2(p)))，
g(p)＝max(g1(p)-g2(p),α*min(g1(p),g2(p)))，
b(p)＝max(b1(p)-b2(p),α*min(b1(p),b2(p)))，其中，α是值为[0,1]之间的浮点型数，表示透明度，当α＝0时表示完全透明，当α＝1时表示不透明。p是细胞区域中所包含的像素，r1、g1、b1为上层图像的颜色数值，r2、g2、b2为下层图像的颜色数值。对于多重叠区域，例如A细胞覆盖B细胞，B细胞覆盖C细胞，则先计算B和C细胞重叠区域的RGB值后，再与A使用以上公式进行重复计算，从而获得新细胞所对应的RGB值。
进一步地，利用人工标注的细胞团块图像对训练后的深度实例分割网络模型进行测试，计算平均交并比等指标评价细胞分割效果，通过对评价指标设置阈值的方式选取分割质量好的单个细胞，建立细胞图像分类模型的训练数据集。通常细胞图像的阈值设置为0.7。
步骤203.细胞图像分类。
具体的，首先采用旋转、平移以及镜像等方式对数据集进行扩充，达到数据增强的目的。将增强后的数据集划分为训练集和测试集，其中80％为训练集，20％为测试集，训练集用来训练深度卷积神经网络，构建细胞图像分类模型，测试集用来对所述细胞图像分类模型进行性能测试。对所构建的细胞图像分类模型进行预训练操作，其方法为：
为了更好地利用自然图像的先验知识，例如点、线、颜色等低级特征，使用迁移学习技术，在公开的大型图像数据集(ImageNet图像数据库)对深度卷积神经网络进行预训练，保存权重参数；
在此基础上使用增强后的训练集对深度卷积神经网络进行微调，将增强后的测试集作为所述细胞图像分类模型的输入数据，获得细胞图像分类结果。
进一步地，设计评价体系用于评估细胞图像分类结果，其具体步骤为：在深度卷积神经网络训练和测试完成后，计算分类结果的混淆矩阵，通过混淆矩阵获得分类查全率和查准率，最终以准确率(accuracy)、查准率(precision)、查全率(recall)和F1评分(F1measure)作为评价细胞图像分类模型性能的数值化指标。针对某一类型细胞图像，当该类细胞图像被分类正确时，用真阳性(true positive，TP)表示，否则用假阳性(falsepositive，FP)表示；当其他类别的细胞图像被分类正确时，用真阴性(true negative，TN)表示，否则用假阴性(false negative，FN)表示。准确率、查全率、查准率以及F1评分的计算公式如下：
图3针对图1与图2所示的深度实例分割网络模型结构示意图。
具体的，采用Mask R-CNN网络结构作为深度实例分割网络模型的基础。所采用的Mask R-CNN网络模型以ResNet50作为基础结构，通过不同的卷积层自底向上抽取输入图像不同尺度的特征图(C1，C2，C3，C4，C5)，并结合特征金字塔网络(feature pyramidnetworks，FPN)实现图像不同尺度特征的融合，提升网络特征表达的能力。其具体方法为：从ResNet50网络模型提取的最高层特征图(C5)开始进行上采样操作，所采用的上采样方式为最近邻上采样，并将上采样的结果(P2，P3，P4，P5)和自底向上生成的相同大小的特征图进行融合。需要说明的是，在进行融合之前需要将ResNet50生成的特征图进行一次卷积操作，卷积核的大小为1*1，其作用为减少特征图的通道数以降低计算复杂度；同时，P6层为P5层经过最大池化操作所获得的特征图，该层不参与特征融合操作，仅用于输入后续的区域候选网络(region proposal networks，RPN)获取感兴趣区域；在特征融合之后再采用3*3的卷积核对已经融合的特征进行处理，该步骤的目的是消除上采样的混叠效应(aliasingeffect)。随后，将经过ResNet50和FPN得到的特征图输入区域候选网络以获取感兴趣区域，并采用感兴趣区域归一化的方式统一感兴趣区域的大小，以解决特征图与原始图像的未对准(mis-alignment)问题。最后通过全卷积网络获得输入图像中每个细胞的位置预测结果，获得表明细胞位置的二值图像，完成细胞图像的实例分割任务。
需要说明的是，深度实例分割网络模型的训练参数设置为：epoch＝70，batchsize＝2，learning rate＝0.001。
图4针对图1与图2所示的细胞图像分类网络模型结构示意图。
具体的，采用深度卷积神经网络VGG16模型结构作为细胞图像分类网络模型的基础。VGG16网络模型由13个卷积层、5个池化层、2个全连接层以及1个Softmax层构成，其中卷积层的卷积核大小为3*3，池化层为2*2。输入的细胞图像首先经卷积层提取特征，再通过池化层降采样，最后输出一定尺寸的特征图。特征图经过全连接层展开为一维向量，该向量经过Softmax函数激活后，最终输出细胞图像的分类结果，并且输出层的神经元数量对应该细胞图像的类别，因此，每个神经元输出具有最大概率的图像类别标签。
进一步地，本方法采用交叉熵损失(cross entropy loss)函数，其中，损失值越小，模型的准确度越高。随着训练次数的增多，在训练集上取得的损失值不断下降，当损失值的下降范围趋于稳定时，模型训练成功。
需要说明的是，细胞图像分类网络模型训练的参数设置为：epoch＝100，batchsize＝64，learning rate＝0.0005。
本发明公开提供了一种基于深度学习的细胞图像自动分类方法及系统，针对细胞图像进行数据采集、人工标注以及细胞区域提取的操作；使用提取后的所述细胞区域构建模型训练数据集，利用深度实例分割网络模型从采集后的所述细胞图像中分割出单个细胞；计算细胞分割效果评价指标，选择分割效果好的所述单个细胞，构建细胞图像分类模型的训练数据集；利用深度卷积神经网络搭建所述细胞图像分类模型，设计性能评价体系用于评估细胞图像的分类结果，并对该方法进行临床可行性分析。该方法结合图像处理方法以及深度学习技术对细胞图像进行处理和分析，有效区分正常细胞以及不同类型的病变细胞，对图像分类效果进行量化评估。该方法采用深度实例分割网络模型，获得细胞图像中的单个细胞，解决了自动化处理中难以对细胞图像中单个细胞进行定量分析的问题，同时为细胞图像分类模型提供数据基础。训练深度卷积分类网络，实现大规模细胞图像的准确分类，为医师提供辅助医学信息，提高工作效率。此外，通过数值分析方法可为细胞图像分类方法的可行性提供临床指导意义。
本发明实施例还提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，该程序被图1或图2中处理器执行。
本发明实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时，使得计算机执行上述图1或图2的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。
本发明中涉及的器件、装置、设备、系统的方框图仅作为示例性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
为了示例和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (9)
1.基于深度学习的细胞图像自动分类方法及系统，其特征在于，包括以下步骤：
针对细胞图像进行数据采集、图像标注以及细胞区域提取的操作；
使用提取后的所述细胞区域构建模型训练数据集，利用深度实例分割网络模型从采集后的所述细胞图像中分割出单个细胞；
计算细胞分割效果评价指标，选择分割效果好的所述单个细胞，构建细胞图像分类模型的训练数据集；
利用深度卷积神经网络搭建所述细胞图像分类模型，设计性能评价体系用于评估细胞图像的分类结果，并对该方法进行临床可行性分析。
2.根据权利要求1所述的基于深度学习的细胞图像自动分类方法及系统，其特征在于，所述针对细胞图像进行数据采集、图像标注以及细胞区域提取的操作，包括：从医院图像存储系统中筛选出符合要求的细胞图像，由经验丰富的医师在每张细胞图像中标注正常及不同病变类型的细胞区域，针对人工标注的所述细胞区域进行提取操作。
3.根据权利要求2所述的基于深度学习的细胞图像自动分类方法及系统，所述针对人工标注的所述细胞区域进行提取操作，包括：使用OpenSlide开源医学图像处理软件，根据医师所标注的细胞区域标签及位置提取细胞区域并获取对应标签。
4.根据权利要求1所述的基于深度学习的细胞图像自动分类方法及系统，其特征在于，所述使用提取后的所述细胞区域构建模型训练数据集，利用深度实例分割网络模型从采集后的所述细胞图像中分割出单个细胞，包括：将提取的所述细胞区域划分为单细胞图像以及细胞团块图像，利用划分后的所述单细胞图像合成细胞团块，建立训练数据集，训练深度实例分割网络模型，获得细胞图像中的单个细胞。
5.根据权利要求4所述的基于深度学习的细胞图像自动分类方法及系统，其特征在于，所述利用划分后的所述单细胞图像合成细胞团块，建立训练数据集，包括：对划分后的所述单细胞图像中的细胞核与细胞质进行标注，并利用手工标注的单细胞图像，通过控制数量和重叠率，合成多张包含指定数量和重叠率的细胞团块，获得模型训练数据集。
6.根据权利要求1所述的基于深度学习的细胞图像自动分类方法及系统，其特征在于，所述计算细胞分割效果评价指标，选择分割效果好的所述单个细胞，构建细胞图像分类模型的训练数据集，包括：利用人工标注的所述细胞团块图像对训练后的所述深度实例分割网络模型进行测试，计算平均交并比等指标评价细胞分割效果，通过对评价指标设置阈值的方式选取分割质量好的单个细胞，建立细胞图像分类模型的训练数据集。
7.根据权利要求1所述的基于深度学习的细胞图像自动分类方法及系统，其特征在于，所述利用深度卷积神经网络搭建所述细胞图像分类模型，包括：将获得的所述细胞图像中的单个细胞与人工标注的单细胞图像进行组合，采用旋转、平移以及镜像等方式对数据集进行增强，将增强后的数据集划分为训练集和测试集，训练深度卷积神经网络，构建细胞图像分类模型。
8.根据权利要求7所述的基于深度学习的细胞图像自动分类方法及系统，其特征在于，所述训练深度卷积神经网络，构建细胞图像分类模型，包括：通过迁移学习的方式，采用公开的大型图像数据集对所述深度卷积神经网络进行预训练，保存权重参数，在此基础上使用增强后的所述训练集对所述深度卷积神经网络进行微调，并利用增强后的所述测试集进行测试，获得细胞图像分类结果。
9.根据权利要求1所述的基于深度学习的细胞图像自动分类方法及系统，其特征在于，还包括：结合细胞图像的分类结果，设计一种评价细胞图像分类准确度的评价体系，完成细胞图像自动分类方法的临床可行性分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011018643.0A CN112215807A (zh) | 2020-09-24 | 2020-09-24 | 基于深度学习的细胞图像自动分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011018643.0A CN112215807A (zh) | 2020-09-24 | 2020-09-24 | 基于深度学习的细胞图像自动分类方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112215807A true CN112215807A (zh) | 2021-01-12 |
Family
ID=74051100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011018643.0A Pending CN112215807A (zh) | 2020-09-24 | 2020-09-24 | 基于深度学习的细胞图像自动分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112215807A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991346A (zh) * | 2021-05-13 | 2021-06-18 | 深圳科亚医疗科技有限公司 | 用于医学图像分析的学习网络的训练方法和训练系统 |
| CN113177927A (zh) * | 2021-05-17 | 2021-07-27 | 西安交通大学 | 基于多特征和多分类器的骨髓细胞分类识别方法及系统 |
| CN113192621A (zh) * | 2021-02-24 | 2021-07-30 | 南京鼓楼医院 | 一种血细胞检测用智能化人工读片系统 |
| CN113436191A (zh) * | 2021-08-26 | 2021-09-24 | 深圳科亚医疗科技有限公司 | 一种病理图像的分类方法、分类系统及可读介质 |
| CN113628159A (zh) * | 2021-06-16 | 2021-11-09 | 维库（厦门）信息技术有限公司 | 一种基于深度学习网络全自动训练方法、装置及存储介质 |
| CN113989294A (zh) * | 2021-12-29 | 2022-01-28 | 北京航空航天大学 | 基于机器学习的细胞分割和分型方法、装置、设备及介质 |
| CN114235539A (zh) * | 2021-12-22 | 2022-03-25 | 宁波舜宇仪器有限公司 | 基于深度学习的pd-l1病理切片自动判读方法及系统 |
| CN116958128A (zh) * | 2023-09-18 | 2023-10-27 | 中南大学 | 基于深度学习的医学图像自动定位方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108334860A (zh) * | 2018-03-01 | 2018-07-27 | 北京航空航天大学 | 细胞图像的处理方法和装置 |
| CN109190567A (zh) * | 2018-09-10 | 2019-01-11 | 哈尔滨理工大学 | 基于深度卷积神经网络的异常宫颈细胞自动检测方法 |
| CN109886179A (zh) * | 2019-02-18 | 2019-06-14 | 深圳视见医疗科技有限公司 | 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统 |
| CN110472581A (zh) * | 2019-08-16 | 2019-11-19 | 电子科技大学 | 一种基于深度学习的细胞图像分析方法 |
| CN111179273A (zh) * | 2019-12-30 | 2020-05-19 | 山东师范大学 | 一种基于深度学习的白细胞核质自动分割方法及系统 |
-
2020
- 2020-09-24 CN CN202011018643.0A patent/CN112215807A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108334860A (zh) * | 2018-03-01 | 2018-07-27 | 北京航空航天大学 | 细胞图像的处理方法和装置 |
| CN109190567A (zh) * | 2018-09-10 | 2019-01-11 | 哈尔滨理工大学 | 基于深度卷积神经网络的异常宫颈细胞自动检测方法 |
| CN109886179A (zh) * | 2019-02-18 | 2019-06-14 | 深圳视见医疗科技有限公司 | 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统 |
| CN110472581A (zh) * | 2019-08-16 | 2019-11-19 | 电子科技大学 | 一种基于深度学习的细胞图像分析方法 |
| CN111179273A (zh) * | 2019-12-30 | 2020-05-19 | 山东师范大学 | 一种基于深度学习的白细胞核质自动分割方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| WAN TAO等: "Accurate segmentation of overlapping cells in cervical cytology with deep convolutional neural networks", 《NEUROCOMPUTING》 * |
| WAN TAO等: "Automated mitosis detection in histopathology based on non-gaussian modeling of complex wavelet coefficients", 《NEUROCOMPUTING》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113192621A (zh) * | 2021-02-24 | 2021-07-30 | 南京鼓楼医院 | 一种血细胞检测用智能化人工读片系统 |
| CN112991346A (zh) * | 2021-05-13 | 2021-06-18 | 深圳科亚医疗科技有限公司 | 用于医学图像分析的学习网络的训练方法和训练系统 |
| CN112991346B (zh) * | 2021-05-13 | 2022-04-26 | 深圳科亚医疗科技有限公司 | 用于医学图像分析的学习网络的训练方法和训练系统 |
| CN113177927A (zh) * | 2021-05-17 | 2021-07-27 | 西安交通大学 | 基于多特征和多分类器的骨髓细胞分类识别方法及系统 |
| CN113628159A (zh) * | 2021-06-16 | 2021-11-09 | 维库（厦门）信息技术有限公司 | 一种基于深度学习网络全自动训练方法、装置及存储介质 |
| CN113436191A (zh) * | 2021-08-26 | 2021-09-24 | 深圳科亚医疗科技有限公司 | 一种病理图像的分类方法、分类系统及可读介质 |
| CN113436191B (zh) * | 2021-08-26 | 2021-11-30 | 深圳科亚医疗科技有限公司 | 一种病理图像的分类方法、分类系统及可读介质 |
| CN114235539A (zh) * | 2021-12-22 | 2022-03-25 | 宁波舜宇仪器有限公司 | 基于深度学习的pd-l1病理切片自动判读方法及系统 |
| CN113989294A (zh) * | 2021-12-29 | 2022-01-28 | 北京航空航天大学 | 基于机器学习的细胞分割和分型方法、装置、设备及介质 |
| WO2023124562A1 (zh) * | 2021-12-29 | 2023-07-06 | 北京航空航天大学 | 基于机器学习的细胞分割和分型方法、装置、设备及介质 |
| CN116958128A (zh) * | 2023-09-18 | 2023-10-27 | 中南大学 | 基于深度学习的医学图像自动定位方法 |
| CN116958128B (zh) * | 2023-09-18 | 2023-12-26 | 中南大学 | 基于深度学习的医学图像自动定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112215807A (zh) | 基于深度学习的细胞图像自动分类方法及系统 | |
| Aswathy et al. | Detection of breast cancer on digital histopathology images: Present status and future possibilities | |
| CN108898160B (zh) | 基于cnn和影像组学特征融合的乳腺癌组织病理学分级方法 | |
| JP4496943B2 (ja) | 病理診断支援装置、病理診断支援プログラム、病理診断支援装置の作動方法、及び病理診断支援システム | |
| Huang et al. | Time-efficient sparse analysis of histopathological whole slide images | |
| CN109544518B (zh) | 一种应用于骨骼成熟度评估的方法及其系统 | |
| Pan et al. | Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review | |
| Wu et al. | U-GAN: Generative adversarial networks with U-Net for retinal vessel segmentation | |
| Yonekura et al. | Improving the generalization of disease stage classification with deep CNN for glioma histopathological images | |
| CN113239993B (zh) | 一种病理图像的分类系统、终端及计算机可读存储介质 | |
| CN110189293A (zh) | 细胞图像处理方法、装置、存储介质及计算机设备 | |
| CN112348059A (zh) | 基于深度学习的多种染色病理图像分类方法及系统 | |
| CN113610118B (zh) | 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法 | |
| Behar et al. | ResNet50-Based Effective Model for Breast Cancer Classification Using Histopathology Images. | |
| Razavi et al. | Minugan: Dual segmentation of mitoses and nuclei using conditional gans on multi-center breast h&e images | |
| Kromp et al. | Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation | |
| CN114332572B (zh) | 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法 | |
| CN114140437A (zh) | 一种基于深度学习的眼底硬渗出物分割方法 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| CN112634291A (zh) | 一种基于神经网络的烧伤创面区域自动分割方法 | |
| Sun et al. | Detection of breast tumour tissue regions in histopathological images using convolutional neural networks | |
| CN115131628A (zh) | 一种基于分型辅助信息的乳腺图像分类方法及设备 | |
| Ma et al. | CHS-NET: A cascaded neural network with semi-focal loss for mitosis detection | |
| CN112070059A (zh) | 一种血液细胞及骨髓细胞图像人工智能分类识别方法 | |
| Sapkota et al. | Automatic muscle perimysium annotation using deep convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210112 |