CN111242242B - 一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法 - Google Patents

一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法 Download PDF

Info

Publication number
CN111242242B
CN111242242B CN202010125696.6A CN202010125696A CN111242242B CN 111242242 B CN111242242 B CN 111242242B CN 202010125696 A CN202010125696 A CN 202010125696A CN 111242242 B CN111242242 B CN 111242242B
Authority
CN
China
Prior art keywords
image
cervical
tissue pathology
cervical tissue
positive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010125696.6A
Other languages
English (en)
Other versions
CN111242242A (zh
Inventor
刘娟
李卓彧
冯晶
左志群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010125696.6A priority Critical patent/CN111242242B/zh
Publication of CN111242242A publication Critical patent/CN111242242A/zh
Priority to US17/026,873 priority patent/US11227143B2/en
Application granted granted Critical
Publication of CN111242242B publication Critical patent/CN111242242B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

本发明公开了一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法包括：S1：将宫颈组织病理全玻片图像切分为设定大小的小块，每张全玻片图像生成的小块集合为一个包，去除包中空白块。S2：搭建CNN模型。S3：训练CNN指定轮数。S4：依次排列连接作为全玻片图像的特征向量。S5：对支持向量机分类器进行训练。S6:将需要进行分类的宫颈组织病理全玻片图像经S1及S4处理，得到该图像的特征向量，输入训练好的支持向量机分类器，实现分类。本发明使用基于置信度选择的宫颈组织病理全玻片图像自动分类方法，辅助给医生提供参考，减低误诊、漏诊率，减少人工诊断所需的工作量，提高诊断效率。

Description

一种基于置信度选择的宫颈组织病理全玻片图像自动分类 方法
技术领域
本发明涉及宫颈组织病理图像自动筛查分析领域，具体涉及一种面向宫颈组织病理全玻片图像的自动分类方法，属于机器学习神经网络模型在医疗诊断中的应用。
背景技术
宫颈癌是最常见的妇科恶性肿瘤之一，是危害女性身心健康的第四大因素。针对宫颈癌的治疗，尽早发现与尽早治疗是至关重要的。宫颈癌发展的过程是正常组织、上皮内癌前病变、突破上皮基底膜的浸润性癌。其中癌前病变是指浸润性癌症发生之前所发生的一系列病变，也被称为宫颈上皮内瘤变(CIN)。为了评估宫颈癌前病变的严重程度，将癌前病变分为3个等级(CIN1、CIN2、CIN3)。临床对宫颈癌的诊断流程是先进行早期筛查、取得可疑病灶、将活检送至病理实验室并用苏木素-伊红染色，最后由病理医生在高倍显微镜下观察切片、分析切片中组织结构、细胞形态进行分析确诊。
整个组织学分级的评估过程完全依靠病理医生在显微镜下进行观察，并结合个人的经验进行人工评估，该项工作费时费力，它要求病理医生具有良好的专业素养，而培养一位专业知识值得肯定和经验丰富的病理学专家，必须要经过长时间的培养和积累，培养过程所需的金钱和时间成本耗费大。同时结果的准确性受到医生个人经验、疲劳程度等主观性因素影响大。
现存人工评估的弊端，以及随着数字化病理的发展，病理实验室可以通过扫描拼接技术，得到大量的宫颈组织病理图像，为开发计算机辅助诊断系统，实现准确、高效、客观定量地分析组织学图像，自动学习宫颈癌组织学特征，进而对病理图像进行组织学分级诊断，辅助病理医生进行诊断，减轻其工作负担，提高诊断效率、为医生提供客观、准确的诊断结果。具有重要的临床意义。
目前在宫颈组织病理全玻片的诊断领域，国内外也有一定量的研究，但是由于具有标注的医学图像量少、宫颈组织病理图像本身存在的复杂性，针对宫颈组织病理全玻片图像的自动分类算法目前还处于理论阶段。目前的宫颈组织病理诊断算法，多数是在分割宫颈上皮的基础上，利用特征提取的方法实现宫颈癌前病变分级的分类算法。但这种方法这些方法步骤繁琐，效率低下，并且在实际的应用中，由于宫颈上皮图像的多样性，在分割宫颈上皮与特征提取的过程中难以达到医学辅助诊断算法所要求的准确率。而深度学习方法又因为组织病理全玻片图像的尺寸过大、复杂性较高难以应用。
发明内容
本发明针对上述背景技术中存在的现有宫颈组织病理全玻片图像自动分类方法效率低下、准确率不高的问题，在深度学习的基础上进行了改进，提供了一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法，用于辅助医生诊断，减轻其工作负担，提高诊断效率、为医生提供客观、准确的诊断结果。
其中，根据预先准备的宫颈组织病理全玻片的训练样本预先训练形成一宫颈组织病理全玻片自动分类模型，并使用宫颈组织病理全玻片自动分类模型对待分类的宫颈组织病理全玻片图像进行分类，还包括以下步骤：
步骤1：将宫颈组织病理全玻片图像切分为设定大小的小块，每张全玻片图像生成的小块集合为一个包，去除包中空白块。
步骤2：搭建深度卷积神经网络模型，记做分类模型A，随机初始化分类模型A中的参数。
步骤3：训练分类模型A指定轮数，每轮训练选择包中置信度最高的前k个小块作为输入。
步骤4：将分类模型A的最后一层全连接层作为特征提取器，提取包中置信度最高的前m个小块的特征，依次排列连接作为该宫颈组织病理全玻片图像的特征向量。
步骤5：将步骤4中产生的特征向量作为输入对支持向量机分类器进行训练。训练过程使用序列最小优化算法，得到训练好的支持向量机分类器。
步骤6：将需要进行分类的宫颈组织病理全玻片图像经步骤1及步骤4处理，得到该图像的特征向量，输入训练好的支持向量机分类器，实现分类。分类类别根据宫颈组织病理全玻片图像的病变等级划分为两大类，包括阴性宫颈组织病理全玻片图像Negative和阳性宫颈组织病理全玻片图像Positive。
在上述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法，步骤1中所述的去除包中空白块，其特征在于首先基于Otsu算法初步生成小块图像的掩码，再对掩码进行形态学操作得到最终的小块图像掩码。根据小块图像的掩码面积计算空白面积在小块图像中所占的面积，判断该小块图像是否为空白块。
在上述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法，所述的对掩码进行形态学操作得到最终的小块图像掩码的具体方法是，对初步的图像掩码先采取腐蚀操作消除噪声，然后进行膨胀操作关闭物体内的小孔或暗区。
在上述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法，步骤2中所述的搭建深度卷积神经网络模型具体是搭建56层卷积神经网络，包括：
卷积部分：包括卷积层、池化层；残差注意力模块：包括四个残差模块以及三个注意力模块；
softmax层：将分类概率值映射到0-1区间内。
在上述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法，所述的softmax层为一个softmax函数：
Figure BDA0002394326960000041
其中i表示第i个神经元的输入，e为自然常数，∑jej表示所有神经元以e为底数以该神经元为指数的幂之和，Si表示第i个神经元经过softmax后的结果。
在上述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法，步骤3中所述的训练分类模型A，其特征在于分类模型的产生过程分为如下三个步骤：
步骤一：将小块图像作为输入，输入分类模型A中，得到的输出为该小块的阳性置信度。根据分类模型A确定包中每个小块阳性置信度。
步骤二：选取包中阳性置信度最高的前k个小块作为分类模型A的输入，对分类模型A进行一轮训练。
步骤三：重复步骤一和步骤二直到分类模型A收敛或达到预先设定的训练轮数。
在上述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法，步骤2中所述的选取包中阳性置信度最高的前k个小块作为分类模型A的输入，其特征在于阳性样本包中阳性置信度最高的前k个小块作为阳性训练数据，阴性样本包中阳性置信度最高的前k个小块作为阴性训练数据。
在上述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法，步骤5中所述的将步骤4中产生的特征向量作为输入对支持向量机分类器进行训练，阳性样本产生的特征向量作为阳性训练数据，阴性样本产生的特征向量作为阴性训练数据。
在上述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法，步骤6中所述的分类类别根据宫颈组织病理全玻片图像的病变等级划分为两大类，其中阴性宫颈组织病理全玻片图像Negative包括宫颈炎和CIN1，两种等级的宫颈组织病理全玻片图像。阳性宫颈组织病理全玻片图像Positive包括CIN2、CIN3及癌，三种等级的宫颈组织病理全玻片图像。
与现有技术相比较，本发明的有益效果在于：1.本发明使用了一种新的分类方法，有效提升了原有方法的诊断效率与准确率。2.本发明对深度学习的方法进行了改进，对阳性宫颈组织病理全玻片图像中的阳性小块进行了筛选，避免了阳性宫颈组织病理全玻片图像中阴性部分对分类模型的干扰。3.本发明利用置信度选择的方法筛选宫颈组织病理全玻片图像中最能代表图像特征的小块，综合这些小块的特征获取宫颈组织病理全玻片图像的整体特征。
附图说明
图1是本发明的工作流程图。
图2是使用本发明中Negative类别的宫颈组织病理全玻片图像部分区域。
图3是使用本发明中Positive类别的宫颈组织病理全玻片图像部分区域。
图4是本发明中宫颈组织病理全玻片图像分块图。
图5是本发明深度卷积神经网络模型训练流程图。
图6是本发明深度卷积神经网络模型结构图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅附图1-6，本发明提供如下技术方案：一种宫颈组织病理全玻片图像自动分类方法，包括如下步骤：
步骤一：将宫颈组织病理全玻片图像切分为边长为L的分块，每张宫颈组织病理全玻片图像生成的小块集合为一个包。优选地，本发明中L的取值为512。
步骤二：搭建深度卷积神经网络模型，记做分类模型A，随机初始化分类模型A中的参数。
步骤三：训练分类模型A指定轮数nepochs，每轮训练选择包中置信度最高的前k个小块作为输入。优选地，本发明中nepochs的取值为50，k的取值为20。
步骤四：将分类模型A的最后一层全连接层作为特征提取器，提取包中置信度最高的前m个小块的特征，依次排列连接作为该宫颈组织病理全玻片的特征向量。优选地，本发明中m的取值为10。
步骤五：将步骤四中产生的特征向量作为输入对支持向量机分类器进行训练，训练过程使用序列最小优化算法。
步骤六：将需要进行分类的宫颈组织病理全玻片图像经步骤一及步骤四处理，得到该图像的特征向量，输入训练好的支持向量机分类器，实现分类。分类类别根据宫颈组织病理全玻片图像的病变等级划分为两大类，包括阴性宫颈组织病理全玻片图像Negative和阳性宫颈组织病理全玻片图像Positive。
所述的去除包中空白块，其特征在于首先基于Otsu算法初步生成小块图像的掩码，再对掩码进行形态学操作得到最终的小块图像掩码。根据小块图像的掩码面积计算空白面积在小块图像中所占的面积，判断该小块图像是否为空白块。根据小块图像的掩码面积计算空白面积在小块图像中所占的比例，当该空白面积在小块图像所占比例超过预设值p，我们判断该小块图像为空白块，将其去除。优选地，本发明中p的取值为0.5。Otsu算法通过计算前景与背景图像的方差获取最佳分割阈值。计算前景与背景图像方差的公式为：
g＝ω1×(μ-μ1)2+ω2×(μ-μ2)2
其中，ω1为背景像素占比，ω2为前景像素占比，μ1为背景平均灰度值，μ2为前景平均灰度值，μ为0-M灰度区间的灰度累计值。公式分别为：
Figure BDA0002394326960000081
Figure BDA0002394326960000082
Figure BDA0002394326960000083
Figure BDA0002394326960000084
μ＝μ1×ω1+μ2×ω2
其中，N1表示背景像素总数，N2表示前景像素总数，Sum为像素总数，t为当前设定阈值，M＝256为单通道灰度分级，i表示当前计算灰度值，Pr(i|C0)表示灰度值为i的像素在背景中所占比例，Pr(i|C1)表示灰度值为i的像素在前景中所占比例。
所述的对掩码进行形态学操作得到最终的小块图像掩码，其特征在于对初步的图像掩码先采取腐蚀操作消除噪声，然后进行膨胀操作关闭物体内的小孔或暗区。
所述的随机初始化分类模型A中的参数，其特征在于参数随机初始化服从高斯分布：
Figure BDA0002394326960000091
其中μ为期望，σ为标准差，σ2为方差。优选地，本发明中μ的取值为0，σ的取值为1，σ2的取值为1。
所述的搭建深度卷积神经网络模型，其特征在于，搭建了56层卷积神经网络，主要分为三个部分，第一个部分为卷积部分，主要由卷积层、池化层构成。第二个部分为残差注意力模块，包括四个残差模块以及三个注意力模块，第三部分为softmax层，将分类概率值映射到0-1区间内。深度卷积神经网络模型结构如附图6所示。
所述的softmax层，其特征在于softmax函数为：
Figure BDA0002394326960000092
其中i表示第i个神经元的输入，e为自然常数，∑jej表示所有神经元以e为底数以该神经元为指数的幂之和，Si表示第i个神经元经过softmax后的结果。
所述的训练分类模型A，其特征在于分类模型的产生过程分为如下三个步骤：
步骤一：将小块图像作为输入，输入分类模型A中，得到的输出为该小块的阳性置信度。根据分类模型A确定包中每个小块阳性置信度。
步骤二：选取包中阳性置信度最高的前k个小块作为分类模型A的输入，对分类模型A基于随机梯度下降算法进行一轮训练。
步骤三：重复步骤一和步骤二直到分类模型A收敛或达到预先设定的训练轮数。
深度卷积神经网络模型训练流程如附图5所示。
所述的选取包中阳性置信度最高的前k个小块作为分类模型A的输入，其特征在于阳性样本包中阳性置信度最高的前k个小块作为阳性训练数据，阴性样本包中阳性置信度最高的前k个小块作为阴性训练数据。优选地，本发明中k的取值为20。
所述的将步骤四中产生的特征向量作为输入，对支持向量机分类器进行训练，其特征在于阳性样本产生的特征向量作为阳性训练数据，阴性样本产生的特征向量作为阴性训练数据。
所述的分类类别根据宫颈组织病理全玻片图像的病变等级划分为两大类，其特征在于阴性宫颈组织病理全玻片图像Negative包括宫颈炎和CIN1，两种等级的宫颈组织病理全玻片图像。阳性宫颈组织病理全玻片图像Positive包括CIN2、CIN3及癌，三种等级的宫颈组织病理全玻片图像。两种类别的宫颈组织病理全玻片图像部分区域如附图2及附图3所示。
所述的基于随机梯度下降算法训练分类模型A，其特征在于采用Adam优化器，学习率指数衰减，优选地，初始学习率取值为0.0001，batch_size取值为32，权重衰减取值为0.0001。
针对宫颈组织病理全玻片图像的自动分类算法目前还处于理论阶段。目前的宫颈组织病理诊断算法，多数是在图像分割和特征提取的基础上，利用决策树等方法进行宫颈组织病理图像的分类。这种方法步骤繁琐，效率低下，准确率不高。本发明在深度学习的基础上进行改进，提供了一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法，提高了原有方法的诊断效率与准确率，辅助医生诊断，减轻其工作负担，提高诊断效率、为医生提供客观、准确的诊断结果。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法，其特征在于该方法包含如下五个步骤：
步骤1：将宫颈组织病理全玻片图像切分为设定大小的小块，每张全玻片图像生成的小块集合为一个包，去除包中空白块；
步骤2：搭建深度卷积神经网络模型，记做分类模型A，随机初始化分类模型A中的参数；
步骤3：训练分类模型A指定轮数，每轮训练选择包中置信度最高的前k个小块作为输入；分类模型A的产生过程分为如下三个步骤：
步骤一：将小块图像作为输入，输入分类模型A中，得到的输出为该小块的阳性置信度；根据分类模型A确定包中每个小块阳性置信度；
步骤二：选取包中阳性置信度最高的前k个小块作为分类模型A的输入，对分类模型A进行一轮训练；
步骤三：重复步骤一和步骤二直到分类模型A收敛或达到预先设定的训练轮数；
步骤4：将分类模型A的最后一层全连接层作为特征提取器，提取包中置信度最高的前m个小块的特征，依次排列连接作为该宫颈组织病理全玻片图像的特征向量；
步骤5：将步骤4中产生的特征向量作为输入对支持向量机分类器进行训练；训练过程使用序列最小优化算法，得到训练好的支持向量机分类器；
步骤6：将需要进行分类的宫颈组织病理全玻片图像经步骤1及步骤4处理，得到该图像的特征向量，输入训练好的支持向量机分类器，实现分类；分类类别根据宫颈组织病理全玻片图像的病变等级划分为两大类，包括阴性宫颈组织病理全玻片图像Negative和阳性宫颈组织病理全玻片图像Positive。
2.根据权利要求1所述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法，其特征在于，步骤1中所述的去除包中空白块，其特征在于首先基于Otsu算法初步生成小块图像的掩码，再对掩码进行形态学操作得到最终的小块图像掩码；根据小块图像的掩码面积计算空白面积在小块图像中所占的面积，判断该小块图像是否为空白块。
3.根据权利要求2所述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法，其特征在于，所述的对掩码进行形态学操作得到最终的小块图像掩码的具体方法是，对初步的图像掩码先采取腐蚀操作消除噪声，然后进行膨胀操作关闭物体内的小孔或暗区。
4.根据权利要求1所述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法，其特征在于，步骤2中所述的搭建深度卷积神经网络模型具体是搭建56层卷积神经网络，包括：
卷积部分：包括卷积层、池化层；残差注意力模块：包括四个残差模块以及三个注意力模块；
softmax层：将分类概率值映射到0-1区间内。
5.根据权利要求4所述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法，其特征在于，所述的softmax层为一个softmax函数：
Figure FDA0003499914080000031
其中i表示第i个神经元的输入，e为自然常数，∑jej表示所有神经元以e为底数以该神经元为指数的幂之和，Si表示第i个神经元经过softmax后的结果。
6.根据权利要求5所述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法，其特征在于，步骤二中所述的选取包中阳性置信度最高的前k个小块作为分类模型A的输入，其特征在于阳性样本包中阳性置信度最高的前k个小块作为阳性训练数据，阴性样本包中阳性置信度最高的前k个小块作为阴性训练数据。
7.根据权利要求1所述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法，其特征在于，步骤5中所述的将步骤4中产生的特征向量作为输入对支持向量机分类器进行训练，阳性样本产生的特征向量作为阳性训练数据，阴性样本产生的特征向量作为阴性训练数据。
8.根据权利要求1所述的一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法，其特征在于，步骤6中所述的分类类别根据宫颈组织病理全玻片图像的病变等级划分为两大类，其中阴性宫颈组织病理全玻片图像Negative包括宫颈炎和CIN1，两种等级的宫颈组织病理全玻片图像；阳性宫颈组织病理全玻片图像Positive包括CIN2、CIN3及癌，三种等级的宫颈组织病理全玻片图像。
CN202010125696.6A 2020-02-27 2020-02-27 一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法 Active CN111242242B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010125696.6A CN111242242B (zh) 2020-02-27 2020-02-27 一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法
US17/026,873 US11227143B2 (en) 2020-02-27 2020-09-21 Automatic classification method of whole slide images of cervical tissue pathology based on confidence coefficient selection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010125696.6A CN111242242B (zh) 2020-02-27 2020-02-27 一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法

Publications (2)

Publication Number Publication Date
CN111242242A CN111242242A (zh) 2020-06-05
CN111242242B true CN111242242B (zh) 2022-04-12

Family

ID=70880175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010125696.6A Active CN111242242B (zh) 2020-02-27 2020-02-27 一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法

Country Status (2)

Country Link
US (1) US11227143B2 (zh)
CN (1) CN111242242B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488234B (zh) * 2020-12-10 2022-04-29 武汉大学 一种基于注意力池化的端到端组织病理图像分类方法
CN113380398A (zh) * 2021-06-23 2021-09-10 华南理工大学 一个基于深度学习的骨巨细胞瘤病理辅助诊断系统
CN113506287A (zh) * 2021-07-27 2021-10-15 陕西师范大学 全视野病理切片图像分类方法、装置、设备及存储介质
CN114187277B (zh) * 2021-12-14 2023-09-15 赛维森(广州)医疗科技服务有限公司 基于深度学习的甲状腺细胞学多种类型细胞的检测方法
CN114283136B (zh) * 2021-12-23 2023-10-27 西安交通大学 基于级联网络的癌症浸润检测方法
CN115541578B (zh) * 2022-09-28 2023-10-24 佐健(上海)生物医疗科技有限公司 一种高通量超分辨宫颈细胞病理切片快速扫描分析系统
CN116188834B (zh) * 2022-12-08 2023-10-20 赛维森(广州)医疗科技服务有限公司 基于自适应训练模型的全切片图像分类方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334909A (zh) * 2018-03-09 2018-07-27 南京天数信息科技有限公司 基于ResNet的宫颈癌TCT数字切片数据分析方法
CN109858386A (zh) * 2019-01-09 2019-06-07 深圳市趣方科技有限公司 一种基于荧光显微图像的微藻细胞识别方法
CN110021425A (zh) * 2019-01-31 2019-07-16 湖南品信生物工程有限公司 一种比较检测器及其构建方法与宫颈癌细胞检测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3839812A3 (en) * 2014-09-03 2021-09-01 Ventana Medical Systems, Inc. Systems and methods for generating regions in an image encompassing tumor cells
EP3345161B1 (en) * 2015-09-02 2023-01-25 Ventana Medical Systems, Inc. Image processing systems and methods for displaying multiple images of a biological specimen
US10354362B2 (en) * 2016-09-08 2019-07-16 Carnegie Mellon University Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network
AU2017345812B2 (en) * 2016-10-21 2019-12-05 Nantomics, Llc Digital histopathology and microdissection
US10438096B2 (en) * 2016-12-27 2019-10-08 Definiens Ag Identifying and excluding blurred areas of images of stained tissue to improve cancer scoring
US10769788B2 (en) * 2017-09-12 2020-09-08 Nantomics, Llc Few-shot learning based image recognition of whole slide image at tissue level
US10565229B2 (en) * 2018-05-24 2020-02-18 People.ai, Inc. Systems and methods for matching electronic activities directly to record objects of systems of record
US11367184B2 (en) * 2019-03-15 2022-06-21 SpIntellx, Inc. Explainable AI (xAI) platform for computational pathology
AU2020345841A1 (en) * 2019-09-09 2022-03-17 PAIGE.AI, Inc. Systems and methods for processing images of slides to infer biomarkers

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334909A (zh) * 2018-03-09 2018-07-27 南京天数信息科技有限公司 基于ResNet的宫颈癌TCT数字切片数据分析方法
CN109858386A (zh) * 2019-01-09 2019-06-07 深圳市趣方科技有限公司 一种基于荧光显微图像的微藻细胞识别方法
CN110021425A (zh) * 2019-01-31 2019-07-16 湖南品信生物工程有限公司 一种比较检测器及其构建方法与宫颈癌细胞检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Automatic Detection of Cervical Region from VIA and VILI Images using Machine Learning;Ashutosh Kanitkar 等;《IEEE》;20191205;第1-6页 *
宫颈细胞图像的特征选择与分类识别算法研究;董娜 等;《湖南大学学报》;20191231;第1-8页 *

Also Published As

Publication number Publication date
US11227143B2 (en) 2022-01-18
US20210271852A1 (en) 2021-09-02
CN111242242A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN111242242B (zh) 一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法
CN108305249B (zh) 基于深度学习的全尺度病理切片的快速诊断和评分方法
CN109191457B (zh) 一种病理图像质量有效性识别方法
CN108288506A (zh) 一种基于人工智能技术的癌症病理辅助诊断方法
CN113724842B (zh) 一种基于注意力机制的宫颈组织病理辅助诊断方法
CN110852396A (zh) 一种宫颈图像的样本数据处理方法
CN110738637B (zh) 一种乳腺癌病理切片的自动分类系统
CN110838100A (zh) 一种基于滑动窗口的结肠镜病理切片筛查与分割系统
CN111798440A (zh) 医学图像伪影自动识别方法、系统及存储介质
CN106340016A (zh) 一种基于细胞显微镜图像的dna定量分析方法
CN112819768B (zh) 基于dcnn的癌症全视野数字病理切片生存分析方法
CN112712122A (zh) 基于神经网络模型的角膜溃疡的分类检测方法及系统
CN115471701A (zh) 基于深度学习和迁移学习的肺腺癌组织学亚型分类方法
CN115810191A (zh) 基于多注意力融合和高精度分割网络的病理细胞分类方法
CN111368669A (zh) 一种基于深度学习和特征增强的非线性光学图像识别方法
CN115206495A (zh) 基于CoAtNet深度学习的肾癌病理图像分析方法、系统及智能显微装置
CN110766665A (zh) 基于强监督算法和深度学习网络的舌象数据分析方法
CN114140437A (zh) 一种基于深度学习的眼底硬渗出物分割方法
CN113159159A (zh) 一种基于改进cnn的小样本图像分类方法
Ding et al. Classification of chromosome karyotype based on faster-rcnn with the segmatation and enhancement preprocessing model
CN115565698B (zh) 一种人工智能评估供肾质量的方法及系统
CN115294377A (zh) 一种道路裂缝的识别系统及方法
CN109948706B (zh) 结合深度学习与特征多尺度融合的微钙化簇检测方法
CN114782948A (zh) 一种对宫颈液基细胞学涂片的全局判读方法及系统
CN116758068B (zh) 一种基于人工智能的骨髓图片细胞形态分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant