CN112215801A - 一种基于深度学习和机器学习的病理图像分类方法及系统 - Google Patents

一种基于深度学习和机器学习的病理图像分类方法及系统 Download PDF

Info

Publication number
CN112215801A
CN112215801A CN202010962460.8A CN202010962460A CN112215801A CN 112215801 A CN112215801 A CN 112215801A CN 202010962460 A CN202010962460 A CN 202010962460A CN 112215801 A CN112215801 A CN 112215801A
Authority
CN
China
Prior art keywords
pathological image
lymphocyte
pathological
deep learning
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010962460.8A
Other languages
English (en)
Inventor
万涛
衣正阳
秦曾昌
陈东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Beijing Anzhen Hospital
Original Assignee
Beihang University
Beijing Anzhen Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University, Beijing Anzhen Hospital filed Critical Beihang University
Priority to CN202010962460.8A priority Critical patent/CN112215801A/zh
Publication of CN112215801A publication Critical patent/CN112215801A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习和机器学习的病理图像分类方法及系统，主要包括如下部分：基于深度学习技术构建目标检测网络模型，获取病理图像中淋巴细胞位置，统计淋巴细胞的浸润灶数量；在此基础上提取淋巴细胞的全局空间排列分布特征，量化淋巴细胞在病理图像中的浸润程度；训练机器学习分类器，获得病理图像分类结果。上述方法利用人工智能技术，通过对淋巴细胞浸润灶的自动检测以及对浸润程度的数值化特征提取，实现具有不同淋巴细胞浸润程度的病理图像的准确自动分类。

Description

一种基于深度学习和机器学习的病理图像分类方法及系统
技术领域
本公开涉及图像处理以及人工智能技术领域，具体而言，涉及一种基于深度学习和机器学习的病理图像分类方法及系统。
背景技术
目前病理学检查仍然是临床疾病诊断的金标准。在临床实践中，医生通常需要将患者身体的病变组织，用病理组织学方法制成病理切片，经过染色和封片后，在高倍显微镜下观察细胞和组织的形态结构变化，以确定病变性质，作出病理诊断。病理切片常用的染色方法是苏木精-伊红(Hematoxylin-Eosin，HE)染色法。其中，苏木素是一种碱性染料，可使组织中的嗜碱性物质染成蓝色，如细胞核中的染色质等；伊红是一种酸性染料，可使组织中的嗜酸性物质染成红色，如多数细胞的胞质、核仁等。HE染色法通过依靠细胞中的不同成分对染色剂的亲和力不同使细胞质和细胞核染成不同颜色，便于病理医生观察细胞和组织相关的病变。
近年来，联合深度学习技术与机器学习算法在病理图像辅助分析和临床决策中发挥出巨大潜力。例如，在心脏移植急性细胞性排斥反应不同程度分类任务中，病理医生需要根据病理图像中淋巴细胞浸润灶的位置和浸润程度来判定不同级别的心脏移植排斥反应。传统的病理检查方法需要医生不断切换高、低倍镜逐个寻找淋巴细胞浸润区域，因此一张全切片病理图像需要用肉眼观察数十分钟甚至更长时间，并且难以量化淋巴细胞浸润程度。此外，这种传统方法对医生或工作人员的经验以及专业性要求较高，且工作负担大，主观性强，易引起疲劳阅片。通过构建智能化的病理图像处理和分析系统，能够自动检测病灶位置和量化病变程度，获得准确的图像分类结果，为临床诊断提供辅助信息，将助于帮助临床医生降低工作量，提高诊断效率和准确率。
通过设计和开发基于深度学习和机器学习的病理图像分类方法及系统，可以自动检测病理图像中待观察淋巴细胞的位置信息，统计淋巴细胞浸润灶的数量，通过提取淋巴细胞的全局空间排列分布特征，量化淋巴细胞浸润灶的浸润程度，自动获取急性细胞性排斥反应的分类结果，有助于帮助病理医生解决临床上肉眼观察无法量化淋巴细胞浸润灶分布范围及程度的困难，提高诊断效率。
本发明公开了一种基于深度学习和机器学习的病理图像分类方法及系统，结合深度学习技术和机器学习算法，构建目标检测网络模型，自动发现病理图像中淋巴细胞位置，在此基础上提取淋巴细胞的全局空间排列分布特征，量化淋巴细胞在病理图像中的浸润程度，获得病理图像的准确分类。该方法能够对病理图像中淋巴细胞浸润灶的分布范围和浸润程度进行数值评估，实现具有不同淋巴细胞浸润程度的病理图像的自动分类，对开发基于病理图像的计算机辅助分析系统具有现实价值。
发明内容
为了解决现有技术中病理图像分类问题，本公开实施例提供了一种基于深度学习和机器学习的病理图像分类方法及系统，结合深度学习技术和机器学习算法，通过对淋巴细胞浸润灶的自动检测以及对浸润程度的数值化特征提取，实现具有不同淋巴细胞浸润程度的病理图像的准确自动分类，为基于病理图像的计算机辅助分析系统的建立提供基础，从而减轻病理医生的工作负担，提高诊断效率和准确率。
第一方面，本公开实施例提供了一种基于深度学习和机器学习的病理图像分类方法及系统，包括以下步骤：针对待分类的病理图像进行采集和人工标注；对采集后的所述病理图像进行预处理；通过预先训练好的基于深度学习的淋巴细胞检测模型，获取执行预处理操作后的病理图像中淋巴细胞位置，统计淋巴细胞的浸润灶数量；根据获取的病理图像中淋巴细胞位置构建淋巴细胞分布图，提取全局空间排列分布特征；训练机器学习分类器，获得病理图像分类结果。
在其中一个实施例中，所述针对待分类的病理图像进行采集和人工标注，包括：从医院信息系统中筛选出符合要求的病理图像，由经验丰富的病理科医师标出每张病理图像中包含的淋巴细胞位置，其中淋巴细胞位置用黄色方框标出。
在其中一个实施例中，所述对采集后的所述病理图像进行预处理，包括：对采集后的所述病理图像分别执行染色标准化、图像切块以及数据增强操作。
在其中一个实施例中，所述对采集后的所述病理图像进行预处理，包括：对采集后的所述病理图像执行染色标准化操作，该方法通过线性转换的方法去除颜色差异的干扰，所述方法通过计算参考病理图像和所述病理图像之间在RGB(red,green,blue)颜色空间的每个通道的均值和方差，将所述病理图像从RGB颜色空间转换至L*a*b*颜色空间。
在其中一个实施例中，所述对采集后的所述病理图像进行预处理，还包括：对采集后的所述病理图像执行图像切块操作，利用大小为416*416像素的滑动窗口方法对整幅病理图像进行切块，遍历整幅病理图像，获得所述病理图像的子图像块。
在其中一个实施例中，所述对采集后的所述病理图像进行预处理，还包括：对采集后的所述病理图像执行数据增强操作，通过对所述病理图像的子图像块执行旋转、移动、翻转、缩放的操作方法，达到数据扩充的目的。
在其中一个实施例中，所述通过预先训练好的基于深度学习的淋巴细胞检测模型，获取执行预处理操作后的病理图像中淋巴细胞位置，统计淋巴细胞的浸润灶数量，包括：利用深度学习技术构建目标检测模型，训练用于检测淋巴细胞的深度卷积神经网络模型，该模型能够获取执行预处理操作后的病理图像中淋巴细胞位置，从而可以统计基于淋巴细胞的浸润灶数量。
在其中一个实施例中，所述根据获取的病理图像中淋巴细胞位置构建淋巴细胞分布图，提取全局空间排列分布特征，包括：基于所述获取的淋巴细胞位置构建最小生成树，形成淋巴细胞分布图，在此基础上提取所述最小生成树的平均边长、边长标准偏差、边长最大值/最小值以及边长无序度等淋巴细胞的全局空间排列分布特征，对所述淋巴细胞分布图执行提取特征操作。
在其中一个实施例中，所述训练图像分类器，获得病理图像分类结果，包括：对所述淋巴细胞的全局空间排列分布特征进行归一化操作，将归一化后的全局空间排列分布特征输入训练好的支持向量机(support vector machine,SVM)分类器，实现自动获得病理图像分类结果的目的。
第二方面，本公开提出了一种基于深度学习的淋巴细胞自动检测模型，包括所述的基于深度学习的淋巴细胞自动检测方法以及基于深度学习的淋巴细胞自动检测模型的训练。
第三方面，本公开提出了一种基于机器学习的病理图像分类器，包括所述的病理图像中淋巴细胞分布的全局空间排列分布特征提取方法以及基于机器学习的病理图像分类器的训练。
本发明提供的一种基于深度学习和机器学习的病理图像分类方法及系统，针对待分类的病理图像进行采集和人工标注；对采集后的所述病理图像进行预处理；通过预先训练好的基于深度学习的淋巴细胞检测模型，获取执行预处理操作后的病理图像中淋巴细胞位置，统计淋巴细胞的浸润灶数量；根据获取的病理图像中淋巴细胞位置构建淋巴细胞分布图，提取全局空间排列分布特征；训练机器学习分类器，获得病理图像分类结果。该方法结合深度学习技术和机器学习算法，构建深度淋巴细胞检测模型，自动发现病理图像中淋巴细胞位置，获得淋巴细胞浸润灶的分布范围，在此基础上提取淋巴细胞的全局空间排列分布特征，量化淋巴细胞在病理图像中的浸润程度，实现病理图像的准确自动分类。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍：
图1为本发明一个实施例中的一种基于深度学习和机器学习的病理图像分类方法及系统的步骤流程示意图；
图2为本发明另一个实施例中的一种基于深度学习和机器学习的病理图像分类方法及系统的步骤流程示意图；
图3为针对图1与图2所示的淋巴细胞检测模型的结构示意图。
图4为针对图1与图2所示的淋巴细胞检测模型的工作流程示意图；
图5为针对图1与图2所示的机器学习分类器模型的工作流程示意图。
具体实施方式
下面结合附图和实施例对本申请进行进一步的详细介绍。
在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本公开的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。
为了使本发明的目的、技术方案及优点更加清楚明白，通过以下实施例，并结合附图，对本发明一种基于深度学习的心脏移植急性细胞性排斥反应智能分级系统的具体实施方式进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，为一个实施例中的一种基于深度学习和机器学习的病理图像分类方法及系统的步骤流程示意图，具体包括以下步骤：
步骤101，针对待分类的病理图像进行采集和人工标注。
具体的，针对待分类的病理图像进行采集和人工标注包括：从医院信息系统中筛选出符合要求的病理图像，由经验丰富的病理科医师标出每张病理图像中包含的淋巴细胞位置，其中淋巴细胞位置用黄色方框标出。
步骤102，对采集后的所述病理图像进行预处理。可理解的是，由于所采集的病理图像存在图像间染色不均和图像尺寸较大的问题，需要对所述病理图像进行染色标准化、图像切块以及数据增强操作等预处理操作。
具体的，对采集后的所述病理图像进行预处理包括：对所述病理图像进行染色标准化操作。其中，染色标准化操作包括：通过在正交色彩空间中进行线性变换的方法对病理图像执行染色标准化操作。具体可以理解为：为了消除病理切片在制作时存在染色不均的问题以及病理图像数字化扫描时颜色差异的不良影响，同时便于后续提取有效的图像特征，利用线性转换方法去除颜色差异的干扰，其主要思想是选择一幅病理图像作为参照图像，将待处理病理图像从RGB颜色空间转换至L*a*b*颜色空间下，根据参考图像的颜色特性进行线性变换，获得和参考图像颜色分布一致的待处理病理图像，最后将待处理病理图像从L*a*b*颜色空间变换至RGB颜色空间，获得经过染色标准化后的病理图像。
进一步地，对采集后的所述病理图像进行预处理还包括：对所述病理图像进行图像切块操作。其中，图像切块操作包括：将经过染色标准化后的病理图像切割为小块图像，利用大小为416*416像素的滑动窗口方法对整幅病理图像进行切块，遍历整幅病理图像，获得所述病理图像的子图像块。
更进一步地，对采集后的所述病理图像进行预处理还包括：对所述病理图像进行数据增强操作。其中，数据增强操作包括：通过所述病理图像的子图像块执行旋转、移动、翻转、缩放等操作，实现对所述病理图像数据集进行数据扩充的目的，有利于后续构建具有稳定性和鲁棒性的深度淋巴细胞检测模型。
综上，通过对采集后的所述病理图像进行预处理操作，利用线性变换的染色标准化、基于滑动窗口的图像切块和基于旋转、移动、翻转、缩放等手段的数据增强方法，消除病理图像颜色差异对分类结果的不良影响，解决了病理图像尺寸大对计算资源要求较高的问题，并有效地扩充了病理图像数据集，有利于深度学习模型的训练。
步骤103，通过预先训练好的基于深度学习的淋巴细胞检测模型，获取执行预处理操作后的病理图像中淋巴细胞位置，统计淋巴细胞的浸润灶数量。
具体的，通过预先训练好的基于深度学习的淋巴细胞检测模型，获取执行预处理操作后的病理图像中淋巴细胞位置，统计淋巴细胞的浸润灶数量操作包括：利用深度学习技术构建目标检测模型，训练用于检测淋巴细胞的深度卷积神经网络模型，该模型能够获取执行预处理操作后的病理图像中淋巴细胞位置，从而可以统计基于淋巴细胞的浸润灶数量。
步骤104，根据获取的病理图像中淋巴细胞位置构建淋巴细胞分布图，提取全局空间排列分布特征，训练机器学习分类器，获取病理图像分类结果。
具体的，根据获取的病理图像中淋巴细胞位置构建淋巴细胞分布图，提取全局空间排列分布特征，训练机器学习分类器，获取病理图像分类结果操作包括：根据获取的淋巴细胞位置，依照最小生成树的构建规则构造淋巴细胞分布图。可以理解的是，根据获取的所有淋巴细胞位置，将每个淋巴细胞位置视为一个顶点，从任意顶点开始构造最小生成树，依次寻找与该顶点连接的边长权重最小的顶点，直至遍历完所有顶点，形成完整的最小生成树，从而获得淋巴细胞分布图。
进一步的，根据获取的病理图像中淋巴细胞位置构建淋巴细胞分布图，提取全局空间排列分布特征，训练机器学习分类器，获取病理图像分类结果操作还包括：对淋巴细胞分布图提取淋巴细胞的全局空间排列分布特征。具体的，采用图像特征提取方法，对获得的淋巴细胞分布图依次提取边长平均值、边长标准偏差、边长最大值与最小值的比值以及边长无序度等全局空间排列分布特征。
更进一步的，根据获取的病理图像中淋巴细胞位置构建淋巴细胞分布图，提取全局空间排列分布特征，训练机器学习分类器，获取病理图像分类结果操作还包括：对淋巴细胞全局空间排列分布特征进行归一化操作，将归一化操作后的全局空间排列分布特征输入训练好的SVM分类器，自动获得病理图像的分类结果。
为了更清晰地理解并应用一种基于深度学习和机器学习的病理图像分类方法及系统，进行以下公开示例。需要说明的是，本发明公开所保护的范围不限于以下示例。
本公开实施例提供了一种基于深度学习和机器学习的病理图像分类方法及系统，包括：针对待分类的病理图像进行采集和人工标注；对采集后的所述病理图像进行预处理；通过预先训练好的基于深度学习的淋巴细胞检测模型，获取执行预处理操作后的病理图像中淋巴细胞位置，统计淋巴细胞的浸润灶数量；根据获取的病理图像中淋巴细胞位置构建淋巴细胞分布图，提取全局空间排列分布特征；训练机器学习分类器，获得病理图像分类结果。
如图2所示，本实施例的一种基于深度学习和机器学习的病理图像分类方法及系统，包括：图像预处理、淋巴细胞检测和病理图像分类。
其中，图像预处理包括染色标准化、图像切块和数据增强操作。染色标准化用于消除病理图像染色差异的干扰；图像切块用于解决病理图像尺寸大，不利用深度学习模型训练的问题；数据增强用于实现数据集的扩充的目的。淋巴细胞检测涉及深度淋巴细胞检测模型训练和淋巴细胞检测结果输出，用于所构建的深度学习算法的训练以及所检测的淋巴细胞位置结果输出。病理图像分类包括淋巴细胞分布图构建，全局空间排列分布特征提取和SVM分类器输出。其中，淋巴细胞分布图构建采用最小生成树构造规则和方法，用于描述淋巴细胞位置分布状态；全局空间排列分布特征提取是基于所构造的最小生成树，提取淋巴细胞位置分布的图像特征；SVM分类器输出利用已经训练好的分类器自动获得病理图像分类结果，并输出该分类结果。
在本发明的一个实施例中，图像预处理包括：通过线性转换的方法去除颜色差异的干扰，所述方法通过计算参考病理图像和所述病理图像之间在RGB(red,green,blue)颜色空间的每个通道的均值和方差，将所述病理图像从RGB颜色空间转换至L*a*b*颜色空间。
在本发明的一个实施例中，图像预处理还包括：对经过染色标准化后的病理图像使用大小为416*416像素的滑动窗口方法对整幅病理图像进行切块，滑动步长为208像素，遍历整幅病理图像，获得所述病理图像的子图像块。
在本发明的一个实施例中，图像预处理还包括：在深度学习模型训练中需要使用包含数据量较大的训练数据集。为了防止在训练过程中出现过拟合问题，并且使模型具有较好泛化能力和鲁棒性，使用数据增强方法来扩充数据量，此处的数据增强手段包括但不限定为对图像进行旋转、移动、翻转、和缩放。
在本发明的一个实施例中，淋巴细胞检测涉及深度淋巴细胞检测模型训练和淋巴细胞检测结果输出。
可以理解的是，深度淋巴细胞检测模型训练之前需要进行模型的搭建。以Keras神经网络库为基础搭建深度学习模型框架，以YOLOv4网络结构为基础构建深度淋巴细胞检测模型。
如图3所示的淋巴细胞检测模型的结构示意图，表明该淋巴细胞检测模型共有七个模块，包括输入层、CSPDarknet53主干网络、第1卷积层、空间金字塔池化结构、第2卷积层、路径聚合网络和输出层。其中，输入层输入为病理图像，图像大小为416*416像素；CSPDarknet53模块由五组残差单元组成，每组残差单元由下采样结构和残差结构堆叠构成，其中残差结构将底层的特征映射分为两部分，一部分经过N个残差层，另一部分经过少量处理与传输的特征映射结合直接连接输出。更进一步的说明，每组残差单元分别重复执行1、2、8、8、4次。在每两组残差单元中间包含一次双卷积操作，卷积的输入区域大小分别为3*3和1*1，用于图像特征的提取和通道的调整。每组残差单元后均有池化操作，利用图像局部相关性的原理，对图像进行子抽样，可以达到减少数据处理量同时保留图像有用信息的目的，平均池化窗口大小设为2*2，经过CSPDarknet53主干网络之后得到第一个尺度，大小为13*13*1024的特征图；需要特别说明的是，第四组残差单元输出的26*26*512大小的特征图与经过2倍上采样和通道调整后得到的26*26*256大小的特征图进行特征层拼接，拼接后形成大小为26*26*768的特征图，作为第二个尺度的输出。同于第四组残差单元的处理，第三组残差单元输出的大小为52*52*256的特征图与经过2倍上采样和通道调整后的大小为52*52*128的特征图进行特征层拼接，拼接后获得大小为52*52*384的特征图，作为第三个尺度的输出。三个不同尺度的特征层在提取深层特征信息的同时也可避免浅层特征信息的遗失。第1卷积层模块为YOLOv4固定模块，由3个DarknetConv2D_BN_Mish结构组成，DarknetConv2D_BN_Mish结构由卷积、批量标准化和Mish激活函数组成，其中，Mish激活函数定义为：Mish＝x*tanh(ln(1+ex))。采用Mish激活函数可使YOLOv4网络模型具有较好的稳定性和准确性。空间金字塔池化模块利用13*13、9*9、5*5、1*1四个不同大小的最大池化核进行最大池化操作，并将池化后结果进行堆叠，从而达到增加网络感受野的目的。第2卷积层模块同于第1卷积层，由3个DarknetConv2D_BN_Mish结构组成。路径聚合网络模块主要包括：通过上采样操作和特征融合操作完成自下而上的特征提取过程，通过下采样操作和特征融合操作完成自上而下的特征提取过程，充分利用特征融合操作，实现了在特征传递过程中保留浅层的特征信息和增大感受野的目的。网络的输出层输出检测目标的预测框位置偏移量、预测框宽高、目标类别及置信度，采用CIoU(complete intersection overunion)损失来计算损失函数。损失函数是一种用来估算预测值和实际值不一样程度的函数，它是一种非负值函数，当损失函数的值越小时，说明鲁棒性越好，系统越稳定。CIoU损失函数的计算公式为：LCIoU＝1-IoU(A，B)+ρ2(Actr，Bctr)/c2+αv。CIoU作为YOLOv4检测网络的损失函数，可以衡量预测框与真实框的重叠面积、中心点距离和长宽比的相似度。其中A表示预测框，B表示真实框，Actr表示预测框中心点坐标，Bctr表示真实框中心点坐标，ρ表示欧氏距离，c表示A、B最小包围框的对角线长度，α为一常数，v表示测量长宽比的一致性。
在本发明的一个实施例中，病理图像分类包括淋巴细胞分布图构建，全局空间排列分布特征提取和SVM分类器输出。
可以理解的是，SVM分类器输出之前需要进行分类器模型的构建。以1.8的惩罚参数和0.0001的核函数初始化SVM分类器。在SVM分类器训练过程中采用十折交叉验证法判断分类结果的可靠性。十折交叉验证的公式定义为：
Figure BDA0002681026180000111
其中NMSE表示标准化均方误差。其方法是在SVM分类器模型训练过程中，将训练样本划分为十份，依次选取一份数据作为测试集，其余九份作为训练集，共建立十个模型，分别得到十个标准化均方误差，分类结果为该十个模型的输出结果的平均值。
需要说明的是，SVM分类器将训练样本从原始空间映射到线性可分的高维空间中，从而判断分类结果。其中，核函数是SVM分类器的重要参数，所采用的高斯核函数公式定义为：K(x，xi)＝exp(-||x-xi||2/δ2)，其中xi为高斯核函数的中心，δ为核函数的宽度参数，控制核函数的径向作用范围。
图4为针对图1与图2所示的深度淋巴细胞检测模型的工作流程示意图。
步骤401，获取经预处理操作后的病理图像用作训练样本。其中，不同类别的病理图像数量大致相同，防止类间分布不均衡，保证淋巴细胞检测模型具有较好的泛化能力。
步骤402，利用数据增强方法进行数据集扩充。此处的数据增强手段包括但不限定为对病理图像进行旋转、移动、翻转、缩放，达到数据样本扩充的目的。
进一步地，将上述扩充后的数据集用于深度淋巴细胞检测模型的训练。需要说明的是，数据增强后的数据集，80％的病理图像作为训练数据集，20％的病理图像用作测试数据集。
步骤403，将训练数据集输入深度学习模型进行模型训练。需要说明的是，本次训练的参数设置为：epoch＝50，batch size＝4。通过迭代方式对数据进行训练，得到的模型对测试数据集进行预测，并且计算深度学习模型在测试数据集上的准确率。实验中，Loss用来估量模型的预测值与真实值的不一致程度，它是一个非负实值函数，损失函数越小，模型的鲁棒性就越好。随着训练次数的增多，训练数据集的Loss值在不断下降。随着Loss值下降范围趋于稳定时，模型训练成功。
步骤404，选取测试数据集作为输入图像，用于病理图像中淋巴细胞的检测。
步骤405，加载已训练好的深度淋巴细胞检测模型，将测试数据集中的病理图像作为模型输入层所输入图像，输入病理图像的大小为416*416像素，CSPDarknet53模块由53层卷积层和池化层堆叠而成，其中卷积层的卷积核大小为3*3和1*1，分别用来提取特征信息和调整通道，平均池化窗口大小为2*2。空间金字塔池化模块利用13*13、9*9、5*5、1*1四个不同大小的最大池化核进行最大池化操作。路径聚合网络模块的池化窗口大小为2*2，池化层用来进行向上池化和向下池化，将特征图放缩至合适的尺寸便于进行特征融合。
步骤406，输出层进行13*13、26*26、52*52大小的多尺度预测，提高对小物体的检测精度。三个卷积层输出不同尺度的预测框中心点偏移量、预测框宽和高、目标类别以及置信度等预测结果，经过非极大抑制筛选后得到最终检测结果，即淋巴细胞位置。
图5为针对图1与图2所示的机器学习分类器模型的工作流程示意图。
步骤501，获取训练数据集中提取的全局空间排列分布特征，作为训练样本。其中，不同类别的病理图像数量大致相同，防止类间分布不均衡，保证病理图像分类模型具有较好的泛化能力。
步骤502，采用线性变换的方法对训练样本进行数据归一化。此处的数据归一化操作实现了消除不同数据间的量纲以及加快模型训练速度的目的。
进一步地，将上述数据归一化后的数据集部分用于SVM分类器的训练。需要说明的是，SVM分类器的训练采用十折交叉验证方法。
步骤503，将训练数据集输入SVM分类器进行训练，通过进行不断的参数调优，建立训练数据与病理图像类别之间的映射关系。需要说明的是，SVM分类器在训练过程中采用十折交叉验证法验证模型性能。进一步的，本次训练使用的参数为：惩罚参数和高斯核函数分别设置为1.8和0.0001。
步骤504，选取测试数据集作为输入数据，用于病理图像的分类。
步骤505，加载已训练好的SVM分类器，将测试数据集中的数据作为模型输入，输入数据的维度大小为4，分别代表提取的淋巴细胞全局空间排列分布特征的边长平均值、边长标准偏差、边长最大值与最小值的比值以及边长无序度。
步骤506，通过SVM分类器建立输入数据与病理图像类别之间的映射关系，实现通过输入数据达到病理图像分类目的。
此外，本发明公开了一种基于深度学习和机器学习的病理图像分类方法及系统，包括基于深度学习的淋巴细胞检测模型和基于机器学习的病理图像分类模型。
本发明提供了一种基于深度学习和机器学习的病理图像分类方法及系统，针对待分类的病理图像进行采集和人工标注；对采集后的所述病理图像进行预处理；通过预先训练好的基于深度学习的淋巴细胞检测模型，获取执行预处理操作后的病理图像中淋巴细胞位置，统计淋巴细胞的浸润灶数量；根据获取的病理图像中淋巴细胞位置构建淋巴细胞分布图，提取全局空间排列分布特征；训练机器学习分类器，获得病理图像分类结果。该方法构建基于深度学习的淋巴细胞检测模型，利用数据驱动的方法，不再需要人工提取的大量特征，自动从海量数据中提取出大量特征，增加了特征提取的丰富度。上述方法有效地达到通过对海量特征的自动提取，实现提升淋巴细胞检测结果准确性的目的。
进一步的，该方法采用机器学习算法，利用特征提取方法，量化淋巴细胞在病理图像中的浸润程度，训练SVM分类器，将训练样本从原始空间映射到线性可分的高维空间中，简化了分类问题求解难度，实现多分类器具有更好性能的目的。
本发明实施例还提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，该程序被图1或图2中处理器执行。
本发明实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时，使得计算机执行上述图1或图2的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为示例性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
为了示例和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种基于深度学习和机器学习的病理图像分类方法及系统，其特征在于，包括以下步骤：
针对待分类的病理图像进行采集和人工标注；
对采集后的所述病理图像进行预处理；
通过预先训练好的基于深度学习的淋巴细胞检测模型，获取执行预处理操作后的病理图像中淋巴细胞位置，统计淋巴细胞的浸润灶数量；
根据获取的病理图像中淋巴细胞位置构建淋巴细胞分布图，提取全局空间排列分布特征；
训练机器学习分类器，获得病理图像分类结果。
2.根据权利要求1所述的一种基于深度学习和机器学习的病理图像分类方法及系统，其特征在于，所述针对待分类的病理图像进行采集和人工标注，包括：从医院信息系统中筛选出符合要求的病理图像，由经验丰富的病理科医师标出每张病理图像中包含的淋巴细胞位置。
3.根据权利要求1所述的一种基于深度学习和机器学习的病理图像分类方法及系统，其特征在于，所述对采集后的所述病理图像进行预处理，包括：对采集后的所述病理图像分别执行染色标准化、图像切块以及数据增强操作。
4.根据权利要求3所述的一种基于深度学习和机器学习的病理图像分类方法及系统，其特征在于，所述染色标准化操作，包括：通过线性转换的方法去除颜色差异的干扰，所述方法通过计算参考病理图像和所述病理图像之间在RGB(red,green,blue)颜色空间的每个通道的均值和方差，将所述病理图像从RGB颜色空间转换至L*a*b*颜色空间。
5.根据权利要求3所述的一种基于深度学习和机器学习的病理图像分类方法及系统，其特征在于，所述图像切块操作，包括：利用滑动窗口方法对整幅病理图像进行切块，遍历整幅病理图像，获得所述病理图像的子图像块。
6.根据权利要求3所述的一种基于深度学习和机器学习的病理图像分类方法及系统，其特征在于，所述数据增强操作，包括：对所述病理图像的子图像块执行旋转、移动、翻转、缩放的操作，达到数据扩充的目的。
7.根据权利要求1所述的一种基于深度学习和机器学习的病理图像分类方法及系统，其特征在于，所述通过预先训练好的基于深度学习的淋巴细胞检测模型，获取执行预处理操作后的病理图像中淋巴细胞位置，统计淋巴细胞的浸润灶数量，包括：利用深度学习技术构建目标检测模型，训练用于检测淋巴细胞的深度卷积神经网络模型，该模型能够获取执行预处理操作后的病理图像中淋巴细胞位置，从而可以统计基于淋巴细胞的浸润灶数量。
8.根据权利要求1所述的一种基于深度学习和机器学习的病理图像分类方法及系统，其特征在于，所述根据获取的病理图像中淋巴细胞位置构建淋巴细胞分布图，提取全局空间排列分布特征，包括：基于所述获取的淋巴细胞位置构建最小生成树，形成淋巴细胞分布图，在此基础上提取所述最小生成树的平均边长、边长标准偏差、边长最大值/最小值以及边长无序度等淋巴细胞的全局空间排列分布特征。
9.根据权利要求1所述的一种基于深度学习和机器学习的病理图像分类方法及系统，其特征在于，所述训练图像分类器，获得病理图像分类结果，包括：对所述淋巴细胞的全局空间排列分布特征进行归一化操作，将归一化后的全局空间排列分布特征输入训练好的支持向量机(support vector machine,SVM)分类器，实现自动获得病理图像分类结果的目的。
10.一种基于深度学习和机器学习的病理图像分类方法及系统，其特征在于，包括权利要求1-9任一项所述的基于深度学习方法的淋巴细胞自动检测模型以及基于机器学习算法的病理图像自动分类模型。
CN202010962460.8A 2020-09-14 2020-09-14 一种基于深度学习和机器学习的病理图像分类方法及系统 Pending CN112215801A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010962460.8A CN112215801A (zh) 2020-09-14 2020-09-14 一种基于深度学习和机器学习的病理图像分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010962460.8A CN112215801A (zh) 2020-09-14 2020-09-14 一种基于深度学习和机器学习的病理图像分类方法及系统

Publications (1)

Publication Number Publication Date
CN112215801A true CN112215801A (zh) 2021-01-12

Family

ID=74049478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010962460.8A Pending CN112215801A (zh) 2020-09-14 2020-09-14 一种基于深度学习和机器学习的病理图像分类方法及系统

Country Status (1)

Country Link
CN (1) CN112215801A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344925A (zh) * 2021-08-05 2021-09-03 深圳市瑞图生物技术有限公司 识别模型的训练方法
CN113379397A (zh) * 2021-07-16 2021-09-10 北京华博创科科技股份有限公司 一种基于机器学习的云工作流架智能管理与调度系统
CN113702140A (zh) * 2021-08-16 2021-11-26 江苏博赛孚医疗科技有限公司 一种组织切片染色时间自动计算及流程优化的方法
CN113723441A (zh) * 2021-06-29 2021-11-30 中山大学孙逸仙纪念医院 一种唇腺病理智能分析系统及方法
CN113989294A (zh) * 2021-12-29 2022-01-28 北京航空航天大学 基于机器学习的细胞分割和分型方法、装置、设备及介质
WO2023002692A1 (ja) * 2021-07-21 2023-01-26 パナソニックＩｐマネジメント株式会社 学習装置、学習方法、および非破壊検査システム
CN116453114A (zh) * 2022-12-14 2023-07-18 西南医科大学附属口腔医院 一种基于深度学习的病理图像分析方法、设备及系统
WO2023228229A1 (ja) * 2022-05-23 2023-11-30 日本電気株式会社 画像処理装置、画像処理方法、およびプログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723441A (zh) * 2021-06-29 2021-11-30 中山大学孙逸仙纪念医院 一种唇腺病理智能分析系统及方法
CN113723441B (zh) * 2021-06-29 2024-04-19 中山大学孙逸仙纪念医院 一种唇腺病理智能分析系统及方法
CN113379397A (zh) * 2021-07-16 2021-09-10 北京华博创科科技股份有限公司 一种基于机器学习的云工作流架智能管理与调度系统
CN113379397B (zh) * 2021-07-16 2023-09-22 北京华博创科科技股份有限公司 一种基于机器学习的云工作流架智能管理与调度系统
WO2023002692A1 (ja) * 2021-07-21 2023-01-26 パナソニックＩｐマネジメント株式会社 学習装置、学習方法、および非破壊検査システム
CN113344925A (zh) * 2021-08-05 2021-09-03 深圳市瑞图生物技术有限公司 识别模型的训练方法
CN113702140A (zh) * 2021-08-16 2021-11-26 江苏博赛孚医疗科技有限公司 一种组织切片染色时间自动计算及流程优化的方法
CN113702140B (zh) * 2021-08-16 2024-02-23 江苏博赛孚医疗科技有限公司 一种组织切片染色时间自动计算及流程优化的方法
CN113989294A (zh) * 2021-12-29 2022-01-28 北京航空航天大学 基于机器学习的细胞分割和分型方法、装置、设备及介质
WO2023228229A1 (ja) * 2022-05-23 2023-11-30 日本電気株式会社 画像処理装置、画像処理方法、およびプログラム
CN116453114A (zh) * 2022-12-14 2023-07-18 西南医科大学附属口腔医院 一种基于深度学习的病理图像分析方法、设备及系统
CN116453114B (zh) * 2022-12-14 2024-03-05 西南医科大学附属口腔医院 一种基于深度学习的病理图像分析方法、设备及系统

Similar Documents

Publication Publication Date Title
CN112215801A (zh) 一种基于深度学习和机器学习的病理图像分类方法及系统
CN106570505B (zh) 对组织病理图像进行分析的方法和系统
Oskal et al. A U-net based approach to epidermal tissue segmentation in whole slide histopathological images
Ramesh et al. Isolation and two-step classification of normal white blood cells in peripheral blood smears
KR102108050B1 (ko) 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치
Sun et al. Deep learning‐based single‐cell optical image studies
Pan et al. Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review
US11176412B2 (en) Systems and methods for encoding image features of high-resolution digital images of biological specimens
US20230186659A1 (en) Machine learning models for cell localization and classification learned using repel coding
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
Rao Mitos-rcnn: A novel approach to mitotic figure detection in breast cancer histopathology images using region based convolutional neural networks
CN112348059A (zh) 基于深度学习的多种染色病理图像分类方法及系统
Nateghi et al. Automatic detection of mitosis cell in breast cancer histopathology images using genetic algorithm
CN113658174A (zh) 基于深度学习和图像处理算法的微核组学图像检测方法
CN115546605A (zh) 一种基于图像标注和分割模型的训练方法及装置
US20150242676A1 (en) Method for the Supervised Classification of Cells Included in Microscopy Images
CN111886630A (zh) 用于细胞和亚细胞形态学建模和分类的三维细胞和组织图像分析
Baykal et al. Modern convolutional object detectors for nuclei detection on pleural effusion cytology images
Kanwal et al. Quantifying the effect of color processing on blood and damaged tissue detection in whole slide images
Razavi et al. Minugan: Dual segmentation of mitoses and nuclei using conditional gans on multi-center breast h&e images
Kovalev et al. Deep learning in big image data: Histology image classification for breast cancer diagnosis
Paeng et al. A unified framework for tumor proliferation score prediction in breast histopathology
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN108805181B (zh) 一种基于多分类模型的图像分类装置及分类方法
Mayerich et al. Fast cell detection in high-throughput imagery using GPU-accelerated machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210112