CN111815609B - 基于情境感知及多模型融合的病理图像分类方法及系统 - Google Patents
基于情境感知及多模型融合的病理图像分类方法及系统 Download PDFInfo
- Publication number
- CN111815609B CN111815609B CN202010667435.7A CN202010667435A CN111815609B CN 111815609 B CN111815609 B CN 111815609B CN 202010667435 A CN202010667435 A CN 202010667435A CN 111815609 B CN111815609 B CN 111815609B
- Authority
- CN
- China
- Prior art keywords
- model
- owm
- pfc
- pathological
- pathological image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 161
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000004927 fusion Effects 0.000 title claims abstract description 53
- 238000013145 classification model Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims description 57
- 230000007170 pathology Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000007306 turnover Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 206010028980 Neoplasm Diseases 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000001953 sensory effect Effects 0.000 description 4
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 201000005202 lung cancer Diseases 0.000 description 3
- 208000020816 lung neoplasm Diseases 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 208000009956 adenocarcinoma Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000004043 dyeing Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010041823 squamous cell carcinoma Diseases 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000002626 targeted therapy Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明公开了一种基于情境感知及多模型融合的病理图像分类方法及系统，该方法包括步骤：获取待识别的病理图像样本，对病理图像样本进行标准化处理；将标准化处理的病理图像输入预先训练完成的病理图像分类模型，从而获得病理图像分类结果；其中，病理图像分类模型由两个训练完成的OWM+PFC模型同时连接模型融合模块构成。本发明通过将具有感知图像周围语义信息的OWM+PFC模块应用到病理图像分类任务中，且使用两种不同的backbone训练的模型用于分别提取病理图像的特征，并将两个模型的的不同分类结果进行融合，起到集成学习的作用，改善分类结果，本方法分类精度高、适用范围广，具有较强的实际应用前景。
Description
技术领域
本发明涉及图像分类技术领域，具体涉及一种基于情境感知及多模型融合的病理图像分类方法及系统。
背景技术
病理图像分类技术在诸多现实场景中有着广泛的应用，如何构建准确、高效的病理图像分类模型是病理WSI分类和分割技术中的最重要的一步。现有的分类方法主要是基于有监督学习，即先由人工收集大量的目标类别的有标注的训练数据，再用这些训练数据为目标类别构建分类模型。
病理图像以高分辨率捕获肿瘤组织形态学细节，通常是显微镜在x20到x40的放大倍数下获取的，从而生成非常大的二维图像(每个维度10,000至100,000像素以上)，然而，手动检测和表征病理图像中的肿瘤区域是费力且主观的，很难用详尽的方式进行可视化分析，此外，准确的解释可能会很困难。LUAD和LUSC之间的区别并不总是很清楚，特别是在分化较差的肿瘤中，建议进行辅助研究以进行准确分类。病理图像分类结果通常用于诊断肺癌亚型和分期。根据癌症类型、分期应用靶向疗法。
为了协助专家，最近对肺癌全玻片图像的自动分析进行了生存预后和分类研究，并取得了一定的成果，这些方法在实现分类精度方面与训练后的人类标注人员的分类结果相当。尽管如此，由于病理图像的超大分辨率带来的超大图像尺寸和形貌的复杂性带来了各种挑战。
目前基于深度学习的分类方法主要是将大的病理图像切分成若干个小的patch,然后使用经典的CNN网络对小图片进行分类或分割，在这些研究中，例如现有的将输入大小为300×300且权重在ImageNet上预先训练的Inception(V3)架构用于训练CNN模型，来区分正常、肿瘤和背景。又如现有公开可用的GoogLeNet，ResNet-50和AlexNet CNN，这些模型在与数字病理相关的模式识别任务中非常有用，在验证模型的时候，采用了考虑上下文(软投票)方式。CNN通过分别将待预测的中央patch水平，垂直或对角地向中央patch水平移动其长度的1/3生成的八个重叠patch和中央patch进行分类。然后将最终分类结果(这是这九个图块中最频繁检测到的类别)(AC，SO，MP，CR或NT)分配给中央patch,这种方法考虑了小patch周围的信息，分类准确率有了提高。但是在训练过程中未考虑patch周围信息。
有鉴于此，亟需提供一种考虑到patch周围的语义信息器且提高分类准确性的病理图像分类方法。
发明内容
为了解决上述技术问题，本发明所采用的技术方案是提供了一种基于情境感知及多模型融合的病理图像分类方法，包括以下步骤：
获取待识别的病理图像样本，对病理图像样本进行标准化处理；
将标准化处理的病理图像输入预先训练完成的病理图像分类模型，从而获得病理图像分类结果；
其中，病理图像分类模型由两个训练完成的OWM+PFC模型同时连接模型融合模块构成；其中两个训练完成的OWM+PFC模型分别是backbone为inceptionV3和backbone为densenet121的模型；
模型融合模块对所述两个OWM+PFC模型输出的病理分类结果进行求平均得到最终的病理图像的病理分类结果。
在上述方法中，所述病理图像分类模型包括
第一输入模块与第二输入模块；分别用于输入待识别的病理图像样本；
所述第一输入模块连接由backbone为inceptionV3，且inceptionV3特征提取器连接OWM和PFC模块的第一OWM+PFC模型；
所述第二输入模块连接由backbone为densenet121，且densenet121特征提取器连接OWM和PFC模块的第二OWM+PFC模型；
所述第一OWM+PFC模型与第二OWM+PFC模型输出连接模型融合模块；
所述第一OWM+PFC模型与第二OWM+PFC模型分别对输入的病理图像进行识别并将病理类别结果发送至模型融合模块，模型融合模块通过平均法计算求得并输出最终的病理分类结果。
在上述方法中，所述病理图像分类模型通过以下方式训练得到：
分别获取由专家标注检测结果与原始的病理图像样本；将所有图像进行标准化处理后形成训练集；
将训练集图像样本输入至初始第一OWM+PFC模型对模型进行训练，直至损失函数收敛，则初始第一OWM+PFC模型训练完成，得到训练好的第一OWM+PFC模型；
将训练集图像样本输入至初始第二OWM+PFC模型对模型进行训练，直至损失函数收敛，则初始第二OWM+PFC模型训练完成，得到训练好的OWM+PFC模型；
即获得训练好的病理图像分类模型。
在上述方法中，对获取待识别的病理图像样本与原始的病理图像样本通过以下方法进行图像标准化处理，具体为：
计算所有病理图片的均值μ和标准差σ，及图像矩阵x，x进行减均值除以标准差的操作,即
对病理图像随机旋转0、90、180或279度；随机上下左右翻转；
本发明还提供了一种基于情境感知及多模型融合的病理图像分类系统，包括：
图像输入单元：用于待识别的病理图像样本；
图像预处理单元：用于对输入的病理图像样本进行标准化处理；
病理图像分类单元：将输入的标准化处理的病理图像通过预先训练完成的病理图像分类模进行分类，获得病理图像分类结果；其中，
病理图像分类模型由两个训练完成的OWM+PFC模型同时连接模型融合模块构成；其中两个训练完成的OWM+PFC模型分别是backbone为inceptionV3和backbone为densenet121的模型；
模型融合单元：对所述两个OWM+PFC模型输出的病理分类结果进行求平均得到最终的病理图像的病理分类结果；
输出单元：输出病理分类结果。
在上述方案中，所述病理图像分类模型包括
第一输入模块与第二输入模块；分别用于输入待识别的病理图像样本；
所述第一输入模块连接由backbone为inceptionV3，且inceptionV3网络连接OWM和PFC模块的第一OWM+PFC模型；
所述第二输入模块连接由backbone为densenet121，且densenet121网络连接OWM和PFC模块的第二OWM+PFC模型；
所述第一OWM+PFC模型与第二OWM+PFC模型输出连接模型融合模块；
所述第一OWM+PFC模型与第二OWM+PFC模型分别对输入的病理图像进行识别并将病理类别结果发送至模型融合模块，模型融合模块通过平均法计算求得并输出最终的病理分类结果。
在上述方案中，所述病理图像分类单元包括模型训练模块，具体包括：
图像输入子模块：用于输入由专家标注检测结果与原始的病理图像样本；
图像预处理子模块：用于对输入的原始的病理图像样本进行标准化处理，获得训练集；
模型训练子模块：将由专家标注检测结果与训练集输入至初始第一OWM+PFC模型对模型进行训练，直至损失函数收敛，则初始第一OWM+PFC模型训练完成，得到训练好的第一OWM+PFC模型；
将由专家标注检测结果与训练集输入至初始第二OWM+PFC模型对模型进行训练，直至损失函数收敛，则初始第二OWM+PFC模型训练完成，得到训练好的OWM+PFC模型；即获得训练完成的病理图像分类模型。
本发明还提供了计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述所述基于情境感知及多模型融合的病理图像分类方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述基于情境感知及多模型融合的病理图像分类方法。
本发明通过将具有感知图像周围语义信息的OWM+PFC模块应用到病理图像分类任务中，且使用两种不同的backbone训练的OWM+PFC模型用于分别提取病理图像的特征，并将两个模型的不同分类结果进行融合，起到集成学习的作用，改善分类结果，且通过实验得知，本方法分类精度高、适用范围广，具有较强的实际应用前景。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的方法流程示意图；
图2为本发明提供的模型训练流程示意图；
图3为本发明提供的模型结构框图；
图4为本发明提供的基于情景感知的病理图像分类流程结构示意图；
图5为本发明提供的基于情境感知以及模型融合的病理图像分类流程示意框图；
图6为本发明提供的系统结构示意框图；
图7为本发明提供的计算机设备结构示意框图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。此外，术语"安装"、"相连"、"连接"应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
下面结合具体实施方式和说明书附图对本发明做出详细的说明。
如图1所示，本发明提供了一种基于情境感知及多模型融合的病理图像分类方法，包括以下步骤：
S1、获取待识别的病理图像样本，对病理图像样本进行标准化处理；由于不同图片间因制备流程、染色方法不同等因素造成的颜色差异，为了解决该问题为了需要对图像进行标准化处理；其中，获取的原始病理图像是非常大的WSI，需要切分成小patch进行训练，获得待识别的病理图像样本。
S2、将标准化处理的病理图像输入预先训练完成的病理图像分类模型，从而获得病理图像分类结果；
其中，病理图像分类模型由两个训练完成的OWM+PFC模型同时连接模型融合模块构成；其中两个训练完成的OWM+PFC模型分别是backbone为inceptionV3和backbone为densenet121的模型，且两个模块都是通过OWM训练方式进行训练；
模型融合模块对所述两个OWM+PFC模型输出的病理分类结果进行求平均得到最终的病理图像的病理分类结果。
本实施例，通过将具有感知图像周围语义信息的OWM+PFC模块应用到病理图像分类任务中，且使用两种不同的backbone训练的OWM+PFC模型用于分别提取病理图像的特征，获得并将两个模型的测试的不同分类结果进行融合，起到集成学习的作用，实现改善分类结果，且通过实验得知，本方法分类精度高、适用范围广，具有较强的实际应用前景。
如图2所示，为本实施例方法中的模型结构框图，其中，病理图像分类模型包括
第一输入模块与第二输入模块；分别用于输入待识别的病理图像样本；
所述第一输入模块连接由backbone为inceptionV3，且inceptionV3特征提取器连接OWM和PFC模块的第一OWM+PFC模型；
所述第二输入模块连接由backbone为densenet121，且densenet121特征提取器连接OWM和PFC模块的第二OWM+PFC模型；
所述第一OWM+PFC模型与第二OWM+PFC模型输出连接模型融合模块；
所述第一OWM+PFC模型与第二OWM+PFC模型分别对输入的病理图像进行识别并将病理类别结果发送至模型融合模块，模型融合模块通过平均法计算求得并输出最终的病理分类结果。
本实施例由于现有的模型训练的时候把每个patch看成是单独的一张图片，忽略了patch周围的语义信息，而本实施例在基础的特征提取器加上OWM和PFC模块之后具有了感知周围语义信息的能力，使分类结果更准确，使用两个不同的backbone训练两个模型可以认为从不同角度进行分类。
如图3-5所示，为本实施例对所述病理图像分类模型训练过程，具体为：
A1、分别获取由专家标注检测结果与原始的病理图像样本；将所有图像进行标准化处理后，与由专家标注检测结果形成训练集；
A2、将训练集输入至初始第一OWM+PFC模型对模型进行训练，直至损失函数收敛，则初始第一OWM+PFC模型训练完成，得到训练好的第一OWM+PFC模型；
A3、将训练集输入至初始第二OWM+PFC模型对模型进行训练，直至损失函数收敛，则初始第二OWM+PFC模型训练完成，得到训练好的OWM+PFC模型；本实施例，第一OWM+PFC模型的损失函数均为交叉熵损失函数。
即获得训练好的病理图像分类模型。
本实施例，深度人工神经网络(DNN)是强大的工具，可用于识别和分类，因为它们可以学习输入和输出之间的复杂映射规则。但是，当前大多数DNN用于模式识别的学习规则在很大程度上是固定的，不会随不同条件而变化。这限制了网络在更为复杂和动态的情况下工作的能力，在这种情况下，映射规则本身并不固定，而是根据环境(例如不同的环境和目标)不断变化。为了提高神经网络对病理图像分类的准确性，需要使神经网络注意到输入patch的环境信息，本发明将OWM+PFC模块应用到病理图像分类任务中可以很好地解决这一问题。具体如图4所示举例来说明本模型图像分类的具体流程：
先将WSI图像以滑窗的方式不重叠的切分成256*256或512*512的patch，然后以每个patch为中心切成768*768的patch，作为一组patch对，小patch输入特征提取器(inceptionV3或densenet121网络)，大patch作为上下文信息Context输入，特征提取器的作用类似于感觉皮层，它将经过处理的感官信息(病理图像)作为输入发送到类似于PFC的“认知”模块。除了感官输入，PFC还接收上下文信息(大patch)，它改变了感觉输入的表示，上下文信息需要分别经过一个小网络resnet18提取特征，降低输入到PFC的特征维度，最后据此预测出小patch的类别。
本实施例，为了减少获取其他训练数据所需的精力，提高CNN泛化的鲁棒性和能力，降低过拟合的风险，对获取的待识别的病理图像样本与原始的病理图像样本通过以下方法进行图像标准化处理，具体为：
为了更好地消除不同图片间因制备流程、染色方法不同等因素造成的颜色差异，需要将图像进行标准化处理，在本实施例中对图像进行标准化预处理，同时在训练时，需要对病理图像进行旋转、翻转、随机裁剪、颜色抖动等操作，用于对训练数据的扩充；具体操作如下：
首先，计算所有切分出的病理图片的均值μ和标准差σ，及图像矩阵x，x进行减均值除以标准差的操作，即对病理图像随机旋转0、90、180或279度；随机上下左右翻转。
那么用于模型训练时，由于获取的原始病理图像是非常大的WSI，需要切分成小patch进行训练，以每个patch为中心往外扩大一些像素就得到大点的图像，512*512扩大到768*768，两张图像的旋转翻转方式需要一致。
本实施例中，使用两种不同的backbone训练OWM+PFC模型，并将两个模型的测试结果进行融合，这样做的前提是两种backbone的inceptionV3和densenet121提取到的特征会有所区别，最后得到的分类结果也会有差异，基于这样的假设，本实施例应用不同backbone的OWM+PFC模型、相同损失函数的训练得到不同的模型，融合步骤具体如下：
本实施例利用两个OWM+PFC模型对输入的病理图像分别生成不同的分类结果R1和R2，其中，R1和R2为每一个patch是何种类别图像的概率，例如正常、腺癌和鳞癌等，最后得到
其中，Patch最终的类别取概率最大的一类。即对于三分类问题，分类器会给出三个类别的概率，哪个概率最大该patch就属于哪一类。
下面通过具体案例说明本实施例方法。
通过在肺癌病理公开数据集TCGA上的实验，上述提出的基于情境感知及多模型融合的病理图像分类方法表现出了有效性。具体来说，TCGA是美国国家癌症研究所和美国国家人类基因组研究所于2006年联合启动的项目，收录了各种人类癌症的临床数据，是癌症研究者很重要的数据来源。我们使用了TCGA-LUAD和TCGA-LUSC，分别包含正常和腺癌、正常和鳞癌的共1634张WSI图，1176张肿瘤和459张正常WSI图，将超过100000*100000像素的WSI切成512*512的patch，再按照8：1：1分成训练集、验证集和测试集，最终评价标准为正确率。对于TCGA数据集，上述提出的方法在分类任务上取得了97％的正确率成绩，效果优异。
如图6所示，本发明还提供了一种基于情境感知及多模型融合的病理图像分类系统，包括：
图像输入单元：用于待识别的病理图像样本；
图像预处理单元：用于对输入的病理图像样本进行标准化处理；
病理图像分类单元：将输入的标准化处理的病理图像通过预先训练完成的病理图像分类模进行分类，获得病理图像分类结果；其中，
病理图像分类模型由两个训练完成的OWM+PFC模型同时连接模型融合模块构成；其中两个训练完成的OWM+PFC模型分别是backbone为inceptionV3和backbone为densenet121的模型；
模型融合单元：对所述两个OWM+PFC模型输出的病理分类结果进行求平均得到最终的病理图像的病理分类结果。
输出单元：输出病理分类结果。
本实施例中，病理图像分类模型包括
第一输入模块与第二输入模块；分别用于输入待识别的病理图像样本；
所述第一输入模块连接由backbone为inceptionV3，且inceptionV3网络连接OWM和PFC模块的第一OWM+PFC模型；
所述第二输入模块连接由backbone为densenet121，且densenet121网络连接OWM和PFC模块的第二OWM+PFC模型；
所述第一OWM+PFC模型与第二OWM+PFC模型输出连接模型融合模块；
所述第一OWM+PFC模型与第二OWM+PFC模型分别对输入的病理图像进行识别并将病理类别结果发送至模型融合模块，模型融合模块通过平均法计算求得并输出最终的病理分类结果。
本实施例系统中，病理图像分类单元包括模型训练模块：用于对建立的初始病理图像分类模型进行训练获得训练好的病理图像分类模型，具体包括：
图像输入子模块：用于输入由专家标注检测结果与原始的病理图像样本；
图像预处理子模块：用于对原始的病理图像样本进行标准化处理，与由专家标注检测结果形成训练集；
模型训练子模块：将训练集输入至初始第一OWM+PFC模型对模型进行训练，直至损失函数收敛，则初始第一OWM+PFC模型训练完成，得到训练好的第一OWM+PFC模型；
将训练集输入至初始第二OWM+PFC模型对模型进行训练，直至损失函数收敛，则初始第二OWM+PFC模型训练完成，得到训练好的OWM+PFC模型；即获得训练完成的病理图像分类模型；
再对于训练完成的病理图像细胞计数模型，通过输入测试数据对模型进行测试，测试结果的评价指标根均方误差越小越好。
本实施例，图像预处理单元与图像预处理子模块对输入的图像进行以下处理：
首先，计算所有切分出的病理图片的均值μ和标准差σ，及图像矩阵x，x进行减均值除以标准差的操作,即
对病理图像随机旋转0、90、180或279度；随机上下左右翻转。那么用于模型训练时，训练的中心patch和包含该patch的大图像的旋转和翻转方式务必要一致，因此包含该patch的大图像也需要进行相同角度的旋转和翻转。
如图7所示，本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中基于情境感知及多模型融合的病理图像分类方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中识别模型训练方法，或者计算机程序被处理器执行时实现上述实施例基于情境感知及多模型融合的病理图像分类方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本发明不局限于上述最佳实施方式，任何人应该得知在本发明的启示下作出的结构变化，凡是与本发明具有相同或相近的技术方案，均落入本发明的保护范围之内。
Claims (7)
1.基于情境感知及多模型融合的病理图像分类方法，其特征在于，包括以下步骤：
获取待识别的病理图像样本，对病理图像样本进行标准化处理；
将标准化处理的病理图像输入预先训练完成的病理图像分类模型，从而获得病理图像分类结果；
其中，病理图像分类模型由两个训练完成的OWM+PFC模型同时连接模型融合模块构成；其中两个训练完成的OWM+PFC模型分别是backbone为inceptionV3和backbone为densenet121的模型；
模型融合模块对所述两个OWM+PFC模型输出的病理分类结果进行求平均得到最终的病理图像的病理分类结果；
所述病理图像分类模型包括
第一输入模块与第二输入模块；分别用于输入待识别的病理图像样本；
所述第一输入模块连接由backbone为inceptionV3，且inceptionV3特征提取器连接OWM和PFC模块的第一OWM+PFC模型；
所述第二输入模块连接由backbone为densenet121，且densenet121特征提取器连接OWM和PFC模块的第二OWM+PFC模型；
所述第一OWM+PFC模型与第二OWM+PFC模型输出连接模型融合模块；
所述第一OWM+PFC模型与第二OWM+PFC模型分别对输入的病理图像进行识别并将病理类别结果发送至模型融合模块，模型融合模块通过平均法计算求得并输出最终的病理分类结果；
其中，将所述待识别的病理图像样本切分成大patch，一每个大patch为中心切分成小patch，大patch经过一个resnet18输入PFC，小patch输入特征提取器。
2.如权利要求1所述的基于情境感知及多模型融合的病理图像分类方法，其特征在于，所述病理图像分类模型通过以下方式训练得到：
分别获取由专家标注检测结果与原始的病理图像样本；将所有图像进行标准化处理后，与由专家标注检测结果形成训练集；
将训练集图像样本输入至初始第一OWM+PFC模型对模型进行训练，直至损失函数收敛，则初始第一OWM+PFC模型训练完成，得到训练好的第一OWM+PFC模型；
将训练集图像样本输入至初始第二OWM+PFC模型对模型进行训练，直至损失函数收敛，则初始第二OWM+PFC模型训练完成，得到训练好的OWM+PFC模型；
即获得训练好的病理图像分类模型。
3.如权利要求2所述的基于情境感知及多模型融合的病理图像分类方法，其特征在于，对获取待识别的病理图像样本与原始的病理图像样本通过以下方法进行图像标准化处理，具体为：
计算所有病理图片的均值μ和标准差σ，及图像矩阵x，x进行减均值除以标准差的操作,即
对病理图像随机旋转0、90、180或279度；随机上下左右翻转。
4.基于情境感知及多模型融合的病理图像分类系统，其特征在于，包括：
图像输入单元：用于待识别的病理图像样本；
图像预处理单元：用于对输入的病理图像样本进行标准化处理；
病理图像分类单元：将输入的标准化处理的病理图像通过预先训练完成的病理图像分类模进行分类，获得病理图像分类结果；其中，
病理图像分类模型由两个训练完成的OWM+PFC模型同时连接模型融合模块构成；其中两个训练完成的OWM+PFC模型分别是backbone为inceptionV3和backbone为densenet121的模型；
模型融合单元：对所述两个OWM+PFC模型输出的病理分类结果进行求平均得到最终的病理图像的病理分类结果；
输出单元：输出病理分类结果；
所述病理图像分类模型包括
第一输入模块与第二输入模块；分别用于输入待识别的病理图像样本；
所述第一输入模块连接由backbone为inceptionV3，且inceptionV3网络连接OWM和PFC模块的第一OWM+PFC模型；
所述第二输入模块连接由backbone为densenet121，且densenet121网络连接OWM和PFC模块的第二OWM+PFC模型；
所述第一OWM+PFC模型与第二OWM+PFC模型输出连接模型融合模块；
所述第一OWM+PFC模型与第二OWM+PFC模型分别对输入的病理图像进行识别并将病理类别结果发送至模型融合模块，模型融合模块通过平均法计算求得并输出最终的病理分类结果；
其中，将所述待识别的病理图像样本切分成大patch，一每个大patch为中心切分成小patch，大patch经过一个resnet18输入PFC，小patch输入特征提取器。
5.如权利要求4所述的基于情境感知及多模型融合的病理图像分类系统，其特征在于，所述病理图像分类单元包括模型训练模块，具体包括：
图像输入子模块：用于输入由专家标注检测结果与原始的病理图像样本；
图像预处理子模块：用于对原始的病理图像样本进行标准化处理，与由专家标注检测结果形成训练集；
模型训练子模块：将训练集输入至初始第一OWM+PFC模型对模型进行训练，直至损失函数收敛，则初始第一OWM+PFC模型训练完成，得到训练好的第一OWM+PFC模型；
将训练集输入至初始第二OWM+PFC模型对模型进行训练，直至损失函数收敛，则初始第二OWM+PFC模型训练完成，得到训练好的OWM+PFC模型；即获得训练完成的病理图像分类模型。
6.计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述基于情境感知及多模型融合的病理图像分类方法。
7.计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述基于情境感知及多模型融合的病理图像分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010667435.7A CN111815609B (zh) | 2020-07-13 | 2020-07-13 | 基于情境感知及多模型融合的病理图像分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010667435.7A CN111815609B (zh) | 2020-07-13 | 2020-07-13 | 基于情境感知及多模型融合的病理图像分类方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111815609A CN111815609A (zh) | 2020-10-23 |
| CN111815609B true CN111815609B (zh) | 2024-03-01 |
Family
ID=72842245
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010667435.7A Active CN111815609B (zh) | 2020-07-13 | 2020-07-13 | 基于情境感知及多模型融合的病理图像分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111815609B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112802573B (zh) * | 2021-01-26 | 2023-06-20 | 中国科学技术大学 | 药品包推荐方法、装置、计算机系统及可读存储介质 |
| CN113436191B (zh) * | 2021-08-26 | 2021-11-30 | 深圳科亚医疗科技有限公司 | 一种病理图像的分类方法、分类系统及可读介质 |
| CN116741347B (zh) * | 2023-05-12 | 2024-06-04 | 中山大学附属第一医院 | 一种病理图像patches提取与深度学习建模方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105551036A (zh) * | 2015-12-10 | 2016-05-04 | 中国科学院深圳先进技术研究院 | 一种深度学习网络的训练方法和装置 |
| EP3300001A2 (en) * | 2016-09-27 | 2018-03-28 | Sectra AB | Viewers and related methods, systems and circuits with patch gallery user interfaces for medical microscopy |
| WO2018120942A1 (zh) * | 2016-12-31 | 2018-07-05 | 西安百利信息科技有限公司 | 一种多模型融合自动检测医学图像中病变的系统及方法 |
| CN109300530A (zh) * | 2018-08-08 | 2019-02-01 | 北京肿瘤医院 | 病理图片的识别方法及装置 |
| CN110458186A (zh) * | 2019-06-26 | 2019-11-15 | 山东大学 | 基于局部参考相似性编码的乳腺超声图像分类方法及系统 |
| CN110472676A (zh) * | 2019-08-05 | 2019-11-19 | 首都医科大学附属北京朝阳医院 | 基于深度神经网络的胃早癌组织学图像分类系统 |
| CN110838100A (zh) * | 2019-10-11 | 2020-02-25 | 浙江大学 | 一种基于滑动窗口的结肠镜病理切片筛查与分割系统 |
-
2020
- 2020-07-13 CN CN202010667435.7A patent/CN111815609B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105551036A (zh) * | 2015-12-10 | 2016-05-04 | 中国科学院深圳先进技术研究院 | 一种深度学习网络的训练方法和装置 |
| EP3300001A2 (en) * | 2016-09-27 | 2018-03-28 | Sectra AB | Viewers and related methods, systems and circuits with patch gallery user interfaces for medical microscopy |
| WO2018120942A1 (zh) * | 2016-12-31 | 2018-07-05 | 西安百利信息科技有限公司 | 一种多模型融合自动检测医学图像中病变的系统及方法 |
| CN109300530A (zh) * | 2018-08-08 | 2019-02-01 | 北京肿瘤医院 | 病理图片的识别方法及装置 |
| CN110458186A (zh) * | 2019-06-26 | 2019-11-15 | 山东大学 | 基于局部参考相似性编码的乳腺超声图像分类方法及系统 |
| CN110472676A (zh) * | 2019-08-05 | 2019-11-19 | 首都医科大学附属北京朝阳医院 | 基于深度神经网络的胃早癌组织学图像分类系统 |
| CN110838100A (zh) * | 2019-10-11 | 2020-02-25 | 浙江大学 | 一种基于滑动窗口的结肠镜病理切片筛查与分割系统 |
Non-Patent Citations (2)
| Title |
|---|
| Contextual Transformer Networks for Visual Recognition;Yehao Li等;IEEE Transactions on Pattern Analysis and Machine Intelligence;20220401;第45卷(第02期);1489 - 1500 * |
| Continuous Learning of Context-dependent Processing in Neural Networks;Guanxiong Zeng等;https://arxiv.org/pdf/1810.01256v2;1-16 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111815609A (zh) | 2020-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111815609B (zh) | 基于情境感知及多模型融合的病理图像分类方法及系统 | |
| CN109300111B (zh) | 一种基于深度学习的染色体识别方法 | |
| CN108710865B (zh) | 一种基于神经网络的司机异常行为检测方法 | |
| CN111985536B (zh) | 一种基于弱监督学习的胃镜病理图像分类方法 | |
| US10817741B2 (en) | Word segmentation system, method and device | |
| CN112529042B (zh) | 一种基于双重注意力多示例深度学习的医学图像分类方法 | |
| US11194997B1 (en) | Method and system for thermal infrared facial recognition | |
| De Guzman et al. | Design and evaluation of a multi-model, multi-level artificial neural network for eczema skin lesion detection | |
| CN111028923B (zh) | 数字病理图像染色归一化方法、电子装置及存储介质 | |
| EP3848472A2 (en) | Methods and systems for automated counting and classifying microorganisms | |
| CN112395442A (zh) | 移动互联网上的低俗图片自动识别与内容过滤方法 | |
| CN111598849B (zh) | 一种基于目标检测的病理图像细胞计数方法、设备及介质 | |
| CN112037180B (zh) | 染色体分割方法及装置 | |
| CN113160185A (zh) | 一种利用生成边界位置指导宫颈细胞分割的方法 | |
| CN114864075A (zh) | 一种基于病理图像的胶质瘤级别分析方法及装置 | |
| CN113313169A (zh) | 基于深度学习的训练素材智能识别方法、装置和设备 | |
| CN112861881A (zh) | 一种基于改进MobileNet模型的蜂窝肺识别方法 | |
| CN110287970B (zh) | 一种基于cam与掩盖的弱监督物体定位方法 | |
| CN109460768B (zh) | 一种用于组织病理学显微图像的文本检测与去除方法 | |
| CN111291590B (zh) | 驾驶员疲劳检测方法、装置、计算机设备和存储介质 | |
| CN108647679B (zh) | 一种基于车窗粗定位的车标识别方法 | |
| CN114170224B (zh) | 应用生成式染色归一化的细胞病理分类的系统及方法 | |
| CN113177602B (zh) | 图像分类方法、装置、电子设备和存储介质 | |
| CN111612045B (zh) | 一种获取目标检测数据集的通用方法 | |
| TW200532586A (en) | Multiple recognition system and method for license plates |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |