CN111680553A - 一种基于深度可分离卷积的病理图像识别方法及系统 - Google Patents
一种基于深度可分离卷积的病理图像识别方法及系统 Download PDFInfo
- Publication number
- CN111680553A CN111680553A CN202010354076.XA CN202010354076A CN111680553A CN 111680553 A CN111680553 A CN 111680553A CN 202010354076 A CN202010354076 A CN 202010354076A CN 111680553 A CN111680553 A CN 111680553A
- Authority
- CN
- China
- Prior art keywords
- pathological
- model
- image
- training
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 63
- 238000003062 neural network model Methods 0.000 claims abstract description 31
- 238000012795 verification Methods 0.000 claims abstract description 31
- 238000012360 testing method Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 230000007170 pathology Effects 0.000 claims description 6
- 238000002360 preparation method Methods 0.000 claims description 5
- 230000035945 sensitivity Effects 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 4
- 201000011510 cancer Diseases 0.000 abstract description 8
- 238000003745 diagnosis Methods 0.000 description 9
- 230000003211 malignant effect Effects 0.000 description 9
- 238000010200 validation analysis Methods 0.000 description 8
- 238000011176 pooling Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010827 pathological analysis Methods 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于深度可分离卷积的病理图像识别方法及系统，其中方法包括获取病理组织显微图像，还包括以下步骤：制备病理图片数据集；设计和训练深度神经网络模型；将所述病理图片数据集导入所述深度神经网络模型，输出识别结果；对所述识别结果进行二次校验。本发明提出的基于深度可分离卷积的病理图像识别方法及系统，对于分类数据集小的采用扩充样本的方法进行制备，输入到训练好的深度神经网络模型中，并对识别结果进行二次校验，能够有效提高计算机自动识别良性和恶性肿瘤能力。
Description
技术领域
本发明涉及图像处理技术和计算机视觉的技术领域，特别是一种基于深度可分离卷积的病理图像识别方法及系统。
背景技术
恶性肿瘤(癌症)已经成为严重威胁中国人群健康的主要公共卫生问题之一，根据最新的统计数据显示，恶性肿瘤死亡占居民全部死因的23.91％，且近十几年来恶性肿瘤的发病死亡均呈持续上升态势,每年恶性肿瘤所致的医疗花费超过2200亿，防控形势严峻。病理学组织图像诊断在最终确诊、分级和分期方面占有重要地位，病理学图像诊断对于后期治疗具有更加重要的意义。
一般病理学组织图像诊断主要由经验丰富的病理学专家来完成，即使是经验丰富的病理学家也存在误诊或漏诊情况，而且耗费较多的人力和时间。准确的病理诊断，减少漏诊、误诊率，减少或杜绝对患者病情的延误治疗或者过度治疗，在医学领域具有重要的价值和意义。
目前，对病理图像辅助诊断的研究主要有人工提取特征的传统图像处理和基于深度学习的图像处理两种方法。传统图像处理方法需要人工提取图像特征，存在人工提取特征过程复杂度高、测试识别准确度低和泛化能力差等问题。由于深度学习有着极强的特征自动抽取能力，可以解决传统机器学习对手工提取特性的依赖。本发明利用深度可分离卷积技术的神经网络模型来解决病理图像识别问题。病理组织图像分类识别与传统的图像分类识别(如猫狗的识别)在图像特点和数据集规模上有所不同，病理组织图像具有差异性模糊、特征的多样性、细胞重叠现象、颜色分布不均等特点，目前公开的病理组织图像数据集规模较小，因此合理增强数据集，设计合理的学习模型可以有效提高计算机自动识别良性和恶性肿瘤。
公开号为CN108596882A的发明专利公开了一种病理图片的识别方法及装置，其中该方法包括：获得样本数据，所述样本数据包括正样本和负样本，所述正样本为恶性病变病理图片，所述负样本为正常或良性病变病理图片，所述恶性病变病理图片上标记出病变区域；将所述样本数据划分为训练集和测试集；利用所述训练集对深度神经网络模型进行训练；利用所述测试集对训练好的深度神经网络模型进行测试；根据测试结果对训练好的深度神经网络模型进行参数调整；利用训练好的深度神经网络模型对病理图片进行识别。该方法的缺点是虽然能准确识别病理组织是良性还是恶性，但是不能对病理组织进行分型分级。
发明内容
为了解决上述的技术问题，本发明提出的基于深度可分离卷积的病理图像识别方法及系统，对于分类数据集小的采用扩充样本的方法进行制备，输入到训练好的深度神经网络模型中，并对识别结果进行二次校验，能够有效提高计算机自动识别良性和恶性肿瘤能力。
本发明的第一目的是提供一种基于深度可分离卷积的病理图像识别方法，包括获取病理组织显微图像，还包括以下步骤：
步骤1：制备病理图片数据集；
步骤2：设计和训练深度神经网络模型；
步骤3：将所述病理图片数据集导入所述深度神经网络模型，输出识别结果；
步骤4：对所述识别结果进行二次校验。
优选的是，所述步骤1包括以下子步骤：
步骤11：对所述病理组织显微图像进行人工标记；
步骤12：对每幅已标记的所述病理组织显微图像进行图像分割，均匀等分为n个尺寸一致的小幅图片，其中，n为图像个数。
在上述任一方案中优选的是，使用Keras开源人工神经网络库，采用Sequential序列方式创建所述深度神经网络模型。
在上述任一方案中优选的是，所述深度神经网络模型的所有卷积层都使用深度可分离卷积技术，第一个卷积层为图像的输入层，涉及图像处理的每一层均使用BatchNormalization批规范化，三次使用MaxPooling池化层，去除冗余信息，把重要的特征抽取出来，降低数据维度。
在上述任一方案中优选的是，所述深度神经网络模型的训练方法如下：
步骤21：将所述病理图片数据集按照比例随机分成训练集、验证集和测试集三个部分；
步骤22：使用数据增强技术再次增加学习样本；
步骤23：设定模型中的重要超参数；
步骤24：定义模型输出结果。
在上述任一方案中优选的是，所述训练集用于模型训练和参数学习；所述验证集用于优化模型，在训练过程中对模型进行测试，根据测试结果自动微调参数；所述测试集用于测试模型的识别和泛化能力。
在上述任一方案中优选的是，所述数据增强技术包括缩放、旋转、水平平移、垂直平移、随机错切换角度和图像水平翻转中至少一种。
在上述任一方案中优选的是，所述重要超参数包括批样本数量、epochs、学习率和丢弃比率中至少一种。
在上述任一方案中优选的是，所述模型输出结果包括绘制训练精度曲线、验证精度、训练损失曲线、验证损失曲线，敏感性、特异性、F1 score、召回率和准确率中至少一种。
在上述任一方案中优选的是，所述二次验证为提取不能够正常识别的所述小幅图片的概率偏离度，根据所述概率偏离度的大小判定其不能被正常识别的原因。
在上述任一方案中优选的是，当所述概率偏离度小于等于判定阈值时，则认为属于模型误差；当所述概率偏离度大于判定阈值时，需要进行人工干预判定。
发明的第二目的是提供一种基于深度可分离卷积的病理图像识别系统，包括用于获取病理组织显微图像的图像获取模块，还包括以下模块：
数据集制备模块：用于制备病理图片数据集；
模型设计模块：用于设计和训练深度神经网络模型；
识别模块：用于将所述病理图片数据集导入所述深度神经网络模型，输出识别结果；
二次校验模块：对所述识别结果进行二次校验。
优选的是，所述制备包括以下几个步骤：
步骤11：对所述病理组织显微图像进行人工标记；
步骤12：对每幅已标记的所述病理组织显微图像进行图像分割，均匀等分为n个尺寸一致的小幅图片，其中，n为图像个数。
在上述任一方案中优选的是，使用Keras开源人工神经网络库，采用Sequential序列方式创建所述深度神经网络模型。
在上述任一方案中优选的是，所述深度神经网络模型的所有卷积层都使用深度可分离卷积技术，第一个卷积层为图像的输入层，涉及图像处理的每一层均使用BatchNormalization批规范化，三次使用MaxPooling池化层，去除冗余信息，把重要的特征抽取出来，降低数据维度。
在上述任一方案中优选的是，所述深度神经网络模型的训练方法如下：
步骤21：将所述病理图片数据集按照比例随机分成训练集、验证集和测试集三个部分；
步骤22：使用数据增强技术再次增加学习样本；
步骤23：设定模型中的重要超参数；
步骤24：定义模型输出结果。
在上述任一方案中优选的是，所述训练集用于模型训练和参数学习；所述验证集用于优化模型，在训练过程中对模型进行测试，根据测试结果自动微调参数；所述测试集用于测试模型的识别和泛化能力。
在上述任一方案中优选的是，所述数据增强技术包括缩放、旋转、水平平移、垂直平移、随机错切换角度和图像水平翻转中至少一种。
在上述任一方案中优选的是，所述重要超参数包括批样本数量、epochs、学习率和丢弃比率中至少一种。
在上述任一方案中优选的是，所述模型输出结果包括绘制训练精度曲线、验证精度、训练损失曲线、验证损失曲线，敏感性、特异性、F1 score、召回率和准确率中至少一种。
在上述任一方案中优选的是，所述二次验证为提取不能够正常识别的所述小幅图片的概率偏离度，根据所述概率偏离度的大小判定其不能被正常识别的原因。
在上述任一方案中优选的是，当所述概率偏离度小于等于判定阈值时，则认为属于模型误差；当所述概率偏离度大于判定阈值时，需要进行人工干预判定。
本发明提出了一种基于深度可分离卷积的病理图像识别方法及系统，能够有效提高的诊断精度和效率。
Keras是一种被广泛使用的开源的人工神经网络库。
Sequential是一种前后序列。
Batch Normalization表示批量规范化。
MaxPooling标志最大池化层。
Epoch：在模型训练中所有的样本被使用一次称为一个epoch。
F1 score表示模型综合评价。
附图说明
图1为按照本发明的基于深度可分离卷积的病理图像识别方法的一优选实施例的流程图。
图1A为按照本发明的基于深度可分离卷积的病理图像识别方法的如图1所示实施例的基准点集合选取方法流程图。
图1B为按照本发明的基于深度可分离卷积的病理图像识别方法的如图1所示实施例的检索模型生成方法流程图。
图2为按照本发明的基于深度可分离卷积的病理图像识别系统的一优选实施例的模块图。
图3为按照本发明的基于深度可分离卷积的病理图像识别系统的病理诊断预测模型的一优选实施例的结构图。
图4为按照本发明的基于深度可分离卷积的病理图像识别方法的模型训练的一优选实施例的结果示意图。
图5为按照本发明的基于深度可分离卷积的病理图像识别方法的模型训练的一优选实施例的流程图。
图6为按照本发明的基于深度可分离卷积的病理图像识别方法的二次检验的一优选实施例的流程图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的阐述。
实施例一
如图1、2所示，执行步骤100，图像获取模块200获取病理组织显微图像。
执行步骤110，数据集制备模块210制备病理图片数据集。在本步骤中，如图1A所示，执行步骤111，对所述病理组织显微图像进行人工标记。执行步骤112，对每幅已标记的所述病理组织显微图像进行图像分割，均匀等分为n个尺寸一致的小幅图片，其中，n为图像个数。
执行步骤120，模型设计模块220设计和训练深度神经网络模型。使用Keras开源人工神经网络库，采用Sequential序列方式创建所述深度神经网络模型。深度神经网络模型的所有卷积层都使用深度可分离卷积技术，第一个卷积层为图像的输入层，涉及图像处理的每一层均使用Batch Normalization批规范化，三次使用MaxPooling池化层，去除冗余信息，把重要的特征抽取出来，降低数据维度。深度神经网络模型的训练方法如图1B所示，执行步骤121，将所述病理图片数据集按照比例随机分成训练集、验证集和测试集三个部分。训练集用于模型训练和参数学习；验证集用于优化模型，在训练过程中对模型进行测试，根据测试结果自动微调参数；测试集用于测试模型的识别和泛化能力。执行步骤122，使用数据增强技术再次增加学习样本。数据增强技术包括缩放、旋转、水平平移、垂直平移、随机错切换角度和图像水平翻转中至少一种。执行步骤123，设定模型中的重要超参数。重要超参数包括批样本数量、epochs、学习率和丢弃比率中至少一种。执行步骤124，定义模型输出结果。模型输出结果包括绘制训练精度曲线、验证精度、训练损失曲线、验证损失曲线，敏感性、特异性、F1 score、召回率和准确率中至少一种。
执行步骤130，识别模块230将所述病理图片数据集导入所述深度神经网络模型，输出识别结果。
执行步骤140，二次校验模块240对所述识别结果进行二次校验。二次验证为提取不能够正常识别的所述小幅图片的概率偏离度，根据所述概率偏离度的大小判定其不能被正常识别的原因。当所述概率偏离度小于等于判定阈值时，则认为属于模型误差；当所述概率偏离度大于判定阈值时，需要进行人工干预判定。
实施例二
本发明提供一种基于深度可分离卷积神经网络的病理图像分类识别方法，能够有效提高的诊断精度和效率。
一、本发明的第一方面，数据集的制备，一般情况下，病理组织数据集存在规模小和分类数据不均衡的特点。不均衡是指分类数据集的各类数据集大小差异较大，为保证模型对不同样本均等的学习机会，分类数据集的各类数据集大小相近能改善模型训练的效果。为此对于分类数据集小的采用扩充样本的方法，本发明采用以每幅原图为参照，用程序软件随机不重复裁切产生新的样本图像添加到较小的数据集中。如果需要扩大各类数据集的总量也可以根据需要，按随机不重复裁切产生新的样本图像添加到相应的数据集中。把数据集中的样本随机抽取到训练集(占样本总量80％)、验证集(占样本总量10％)和测试集(占样本总量10％)供模型训练测试使用。数据集的制备步骤：
1、获取病理组织显微图像，对病理组织显微图像由病理学专家进行标记是良性还是恶性；
2、对每幅已标记的病理组织显微图像使用图像分割软件均匀等分为若干个尺寸一致的小幅图片(如：原图为800x600像素的图片，可以把800x600像素的图片等分为80x60的100幅图片)；
二、本发明的第二方面，设计和训练模型，包括以下步骤：
1、设计模型：使用Keras开源人工神经网络库，采用Sequential序列方式创建模型，最终确定的预测模型结构如图3所示。
本模型所有卷积层都使用深度可分离卷积技术，第一个卷积层为图像的输入层，涉及图像处理的每一层均使用Batch Normalization批规范化，以加快训练速度，提高模型精度，三次使用MaxPooling池化层，去除冗余信息，把重要的特征抽取出来，降低数据维度。Convolution卷积层之后是无法直接连接Dense全连接层的，需要Flatten层把Convolution层的数据压平。dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃，可有效防止过拟合，本模型使用四次dropout。
2、训练模型：
数据集被随机分成三部分：训练集80％、验证集10％和测试集10％。
为保证模型
对未知数据的泛化能力，数据集之间互不交叉。其中，训练集用于模型训练和参数学习；验证集用于优化模型，在训练过程中对模型进行测试，根据测试结果自动微调参数；测试集用于测试模型的识别和泛化能力。为提高模型的泛化能力，在训练过程中使用数据增强技术再次增加学习样本：缩放、旋转、水平平移、垂直平移、随机错切换角度、图像水平翻转等。
模型中几个重要超参数的设定：批样本数量(batch size)＝512，epochs＝80，学习率(learning rate)＝0.02，丢弃比率(dropout)＝0.25。模型输出结果定义：绘制训练精度曲线、验证精度、训练损失曲线、验证损失曲线，Sensitivity“敏感性”、Specificity“特异性”，F1 score，召回率(Recall)、准确率(Precision)。以公开的BreaKHis数据集为训练样本，模型训练后的结果如表1所示。
表1
打印的plot图，如图4所示。
从上述几个主要参数来看本模型具有较高的精度和较好的鲁棒性。
三、本发明的第三方面，二次校验法：
传统的模型分类基于原图样本集的训练，本发明针对病理组织图像特点，采用分割法处理原图，对分割后的小图作为训练样本集，最终模型的识别精度是针对分割后的小图。假设模型的识别精度为97％，如果训练集使用的是原图，则有3％的原图不能被正确识别。如果采用本发明提及的分割后的小图作为训练样本集，则每幅原图有3％左右的小图不能被准确识别，根据不能被正确识别的小图概率确定原图是否被正确识别。其规则如下(假设一副原图被分为100份，模型识别精度为95％，正常概率偏离度50％～100％，低概率偏离度30％～49％，高概率偏离度0％～29％)。二次验证法判断规则如表2所示。采用本规则经过二次校验后的模型测试识别精度接近100％。
表2
实施例三
本实施例中。模型的训练方法如图5所示。
1、进行数据集的收集。
对于分类数据集小的采用扩充样本的方法。以每幅原图为参照，用程序软件随机不重复裁切产生新的样本图像添加到较小的数据集中。如果需要扩大各类数据集的总量也可以根据需要，按随机不重复裁切产生新的样本图像添加到相应的数据集中。。
2、对数据进行分割和处理。
分割。
把数据集中的样本随机抽取到训练集(占样本总量80％)、验证集(占样本总量10％)和测试集(占样本总量10％)供模型训练测试使用。
处理。
1)获取病理组织显微图像，对病理组织显微图像由病理学专家进行标记是良性还是恶性。
2)对每幅已标记的病理组织显微图像使用图像分割软件均匀等分为若干个尺寸一致的小幅图片。
3、分批次输入数据模拟，进行训练和认证。
数据集被随机分成三部分：训练集80％、验证集10％和测试集10％。为保证模型对未知数据的泛化能力，数据集之间互不交叉。
训练过程中使用数据增强技术再次增加学习样本：缩放、旋转、水平平移、垂直平移、随机错切换角度、图像水平翻转。
4、打印训练精度、验证精度。
5、保存模型。
实施例四
本实施例中，二次校验的方法如图6所示。
1、装载已训练的模型。
2、输入要检测的病理原图。
3、将病理原图分割为n个小图。
4、输入模型预测参数。
5、统计并打印预测的概率结果及分布。
6、使用二次校验规则给出分类判断。
二次验证为提取不能够正常识别的所述小幅图片的概率偏离度，根据所述概率偏离度的大小判定其不能被正常识别的原因(判断其是否可忽略的系统误差或者是否需要人为判断)。
当所述概率偏离度小于等于判定阈值(90％)时，则认为属于模型误差；当所述概率偏离度大于判定阈值(90％)时，需要进行人工干预判定。以50％为基准，系统对良性图片或恶性做出判断为良性或恶性的概率为50-100％时为正确判断，概率为0-50％时为错误判断。概率为40-50％定义为概率偏离度低、0-10％定义为概率偏离度高。当所述概率偏离度处于概率偏离度低的范围时，则认为属于模型误差；当所述概率偏离度处于概率偏离度高的范围，而且这样的图片数量超过一定数量时，需要进行人工干预判定。
实施例五
为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
Claims (10)
1.一种基于深度可分离卷积的病理图像识别方法，包括获取病理组织显微图像，其特征在于，还包括以下步骤：
步骤1：制备病理图片数据集；
步骤2：设计和训练深度神经网络模型；
步骤3：将所述病理图片数据集导入所述深度神经网络模型，输出识别结果；
步骤4：对所述识别结果进行二次校验。
2.如权利要求1所述的基于深度可分离卷积的病理图像识别方法，其特征在于：所述步骤1包括以下子步骤：
步骤11：对所述病理组织显微图像进行人工标记；
步骤12：对每幅已标记的所述病理组织显微图像进行图像分割，均匀等分为n个尺寸一致的小幅图片，其中，n为图像个数。
3.如权利要求2所述的基于深度可分离卷积的病理图像识别方法，其特征在于：使用Keras开源人工神经网络库，采用 Sequential序列方式创建所述深度神经网络模型。
4.如权利要求3所述的基于深度可分离卷积的病理图像识别方法，其特征在于：所述深度神经网络模型的所有卷积层都使用深度可分离卷积技术，第一个卷积层为图像的输入层，涉及图像处理的每一层均使用Batch Normalization批规范化，三次使用MaxPooling池化层，去除冗余信息，把重要的特征抽取出来，降低数据维度。
5.如权利要求4所述的基于深度可分离卷积的病理图像识别方法，其特征在于：所述深度神经网络模型的训练方法如下：
步骤21：将所述病理图片数据集按照比例随机分成训练集、验证集和测试集三个部分；
步骤22：使用数据增强技术再次增加学习样本；
步骤23：设定模型中的重要超参数；
步骤24：定义模型输出结果。
6.如权利要求5所述的基于深度可分离卷积的病理图像识别方法，其特征在于：所述训练集用于模型训练和参数学习；所述验证集用于优化模型，在训练过程中对模型进行测试，根据测试结果自动微调参数；所述测试集用于测试模型的识别和泛化能力。
7.如权利要求5所述的基于深度可分离卷积的病理图像识别方法，其特征在于：所述数据增强技术包括缩放、旋转、水平平移、垂直平移、随机错切换角度和图像水平翻转中至少一种。
8.如权利要求5所述的基于深度可分离卷积的病理图像识别方法，其特征在于：所述重要超参数包括批样本数量、epochs、学习率和丢弃比率中至少一种。
9.如权利要求5所述的基于深度可分离卷积的病理图像识别方法，其特征在于：所述模型输出结果包括绘制训练精度曲线、验证精度、训练损失曲线、验证损失曲线，敏感性、特异性、F1 score、召回率和准确率中至少一种。
10.一种基于深度可分离卷积的病理图像识别系统，包括用于获取病理组织显微图像的图像获取模块，其特征在于，还包括以下模块：
数据集制备模块：用于制备病理图片数据集；
模型设计模块：用于设计和训练深度神经网络模型；
识别模块：用于将所述病理图片数据集导入所述深度神经网络模型，输出识别结果；
二次校验模块：对所述识别结果进行二次校验。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010354076.XA CN111680553A (zh) | 2020-04-29 | 2020-04-29 | 一种基于深度可分离卷积的病理图像识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010354076.XA CN111680553A (zh) | 2020-04-29 | 2020-04-29 | 一种基于深度可分离卷积的病理图像识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111680553A true CN111680553A (zh) | 2020-09-18 |
Family
ID=72452668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010354076.XA Pending CN111680553A (zh) | 2020-04-29 | 2020-04-29 | 一种基于深度可分离卷积的病理图像识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111680553A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113706539A (zh) * | 2021-10-29 | 2021-11-26 | 南京裕隆生物医学发展有限公司 | 一种用于识别肿瘤的人工智能辅助系统 |
| CN117672463A (zh) * | 2024-02-02 | 2024-03-08 | 吉林大学 | 用于放射治疗的数据处理系统及方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107784319A (zh) * | 2017-09-26 | 2018-03-09 | 天津大学 | 一种基于增强卷积神经网络的病理图像分类方法 |
| CN107945181A (zh) * | 2017-12-30 | 2018-04-20 | 北京羽医甘蓝信息技术有限公司 | 用于乳腺癌淋巴转移病理图像的处理方法和装置 |
| CN108596882A (zh) * | 2018-04-10 | 2018-09-28 | 中山大学肿瘤防治中心 | 病理图片的识别方法及装置 |
| CN108846835A (zh) * | 2018-05-31 | 2018-11-20 | 西安电子科技大学 | 基于深度可分离卷积网络的图像变化检测方法 |
| CN108898175A (zh) * | 2018-06-26 | 2018-11-27 | 北京工业大学 | 基于深度学习胃癌病理切片的计算机辅助模型构建方法 |
| CN109146880A (zh) * | 2018-09-30 | 2019-01-04 | 亿嘉和科技股份有限公司 | 一种基于深度学习的电力设备检测方法 |
| CN109558912A (zh) * | 2019-01-21 | 2019-04-02 | 广西师范大学 | 一种基于深度可分离卷积的阿尔兹海默病分类方法 |
| CN109740626A (zh) * | 2018-11-23 | 2019-05-10 | 杭州电子科技大学 | 基于深度学习的乳腺癌病理切片中癌症区域的检测方法 |
| CN110120040A (zh) * | 2019-05-13 | 2019-08-13 | 广州锟元方青医疗科技有限公司 | 切片图像处理方法、装置、计算机设备和存储介质 |
| CN110246579A (zh) * | 2019-06-13 | 2019-09-17 | 西安九清生物科技有限公司 | 一种病理诊断方法及装置 |
| US20190295688A1 (en) * | 2018-03-23 | 2019-09-26 | Google Llc | Processing biological sequences using neural networks |
-
2020
- 2020-04-29 CN CN202010354076.XA patent/CN111680553A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107784319A (zh) * | 2017-09-26 | 2018-03-09 | 天津大学 | 一种基于增强卷积神经网络的病理图像分类方法 |
| CN107945181A (zh) * | 2017-12-30 | 2018-04-20 | 北京羽医甘蓝信息技术有限公司 | 用于乳腺癌淋巴转移病理图像的处理方法和装置 |
| US20190295688A1 (en) * | 2018-03-23 | 2019-09-26 | Google Llc | Processing biological sequences using neural networks |
| CN108596882A (zh) * | 2018-04-10 | 2018-09-28 | 中山大学肿瘤防治中心 | 病理图片的识别方法及装置 |
| CN108846835A (zh) * | 2018-05-31 | 2018-11-20 | 西安电子科技大学 | 基于深度可分离卷积网络的图像变化检测方法 |
| CN108898175A (zh) * | 2018-06-26 | 2018-11-27 | 北京工业大学 | 基于深度学习胃癌病理切片的计算机辅助模型构建方法 |
| CN109146880A (zh) * | 2018-09-30 | 2019-01-04 | 亿嘉和科技股份有限公司 | 一种基于深度学习的电力设备检测方法 |
| CN109740626A (zh) * | 2018-11-23 | 2019-05-10 | 杭州电子科技大学 | 基于深度学习的乳腺癌病理切片中癌症区域的检测方法 |
| CN109558912A (zh) * | 2019-01-21 | 2019-04-02 | 广西师范大学 | 一种基于深度可分离卷积的阿尔兹海默病分类方法 |
| CN110120040A (zh) * | 2019-05-13 | 2019-08-13 | 广州锟元方青医疗科技有限公司 | 切片图像处理方法、装置、计算机设备和存储介质 |
| CN110246579A (zh) * | 2019-06-13 | 2019-09-17 | 西安九清生物科技有限公司 | 一种病理诊断方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| 刘梦伦等: "基于MobileNet V2-ELM的肝硬化识别", 《青岛大学学报(自然科学版)》 * |
| 刘梦伦等: "基于MobileNet V2-ELM的肝硬化识别", 《青岛大学学报(自然科学版)》, vol. 32, no. 04, 15 November 2019 (2019-11-15), pages 17 - 21 * |
| 刘玉良等: "《深度学习》", 31 January 2020, 西安电子科技大学出版社, pages: 36 - 39 * |
| 高永彬等: "《Hadoop大数据分析》", 31 July 2019, 北京：中国铁道出版社, pages: 121 - 124 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113706539A (zh) * | 2021-10-29 | 2021-11-26 | 南京裕隆生物医学发展有限公司 | 一种用于识别肿瘤的人工智能辅助系统 |
| CN117672463A (zh) * | 2024-02-02 | 2024-03-08 | 吉林大学 | 用于放射治疗的数据处理系统及方法 |
| CN117672463B (zh) * | 2024-02-02 | 2024-04-05 | 吉林大学 | 用于放射治疗的数据处理系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110245657B (zh) | 病理图像相似性检测方法及检测装置 | |
| CN106248559B (zh) | 一种基于深度学习的白细胞五分类方法 | |
| CN105005765B (zh) | 一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法 | |
| CN111340130A (zh) | 一种基于深度学习和影像组学的泌尿结石检测分类方法 | |
| CN109376777A (zh) | 基于深度学习的宫颈癌组织病理学图像分析方法及设备 | |
| CN113947607B (zh) | 一种基于深度学习的癌症病理图像生存预后模型构建方法 | |
| CN109272002B (zh) | 一种骨龄片的分类方法及装置 | |
| CN112184657A (zh) | 一种肺结节自动检测方法、装置及计算机系统 | |
| CN105389593A (zh) | 基于surf特征的图像物体识别方法 | |
| CN111680706A (zh) | 一种基于编码和解码结构的双通道输出轮廓检测方法 | |
| WO2017088537A1 (zh) | 一种元件分类方法及装置 | |
| CN115775226B (zh) | 基于Transformer的医学图像分类方法 | |
| CN116596875A (zh) | 晶圆缺陷检测方法、装置、电子设备及存储介质 | |
| CN111680553A (zh) | 一种基于深度可分离卷积的病理图像识别方法及系统 | |
| Jamaluddin et al. | Tumor detection and whole slide classification of H&E lymph node images using convolutional neural network | |
| CN113420793A (zh) | 一种基于改进的卷积神经网络ResNeSt50的胃印戒细胞癌分类方法 | |
| CN116167964A (zh) | 基于肿瘤高光谱图像的肿瘤分类方法及系统 | |
| Abbasi-Sureshjani et al. | Molecular subtype prediction for breast cancer using H&E specialized backbone | |
| CN110634118A (zh) | 基于人工智能的乳腺影像识别系统及方法 | |
| CN112508860B (zh) | 一种免疫组化图像核阳性的人工智能判读方法及系统 | |
| CN112861881A (zh) | 一种基于改进MobileNet模型的蜂窝肺识别方法 | |
| CN112508057A (zh) | 一种肺结节分类方法、介质及电子设备 | |
| Thapa et al. | Deep learning for breast cancer classification: Enhanced tangent function | |
| CN114973244B (zh) | 一种乳腺癌h&e染色病理图像有丝分裂自动识别系统和方法 | |
| CN112132239B (zh) | 一种训练方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200918 |