CN114037699B - 一种病理图像分类方法、设备、系统及存储介质 - Google Patents

一种病理图像分类方法、设备、系统及存储介质 Download PDF

Info

Publication number
CN114037699B
CN114037699B CN202111484263.0A CN202111484263A CN114037699B CN 114037699 B CN114037699 B CN 114037699B CN 202111484263 A CN202111484263 A CN 202111484263A CN 114037699 B CN114037699 B CN 114037699B
Authority
CN
China
Prior art keywords
attention
module
stage
self
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111484263.0A
Other languages
English (en)
Other versions
CN114037699A (zh
Inventor
冯云路
张光磊
赵雨
杨爱明
吴东
范广达
张天翊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Original Assignee
Beihang University
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University, Peking Union Medical College Hospital Chinese Academy of Medical Sciences filed Critical Beihang University
Priority to CN202111484263.0A priority Critical patent/CN114037699B/zh
Publication of CN114037699A publication Critical patent/CN114037699A/zh
Application granted granted Critical
Publication of CN114037699B publication Critical patent/CN114037699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种病理图像分类方法、设备、系统及存储介质。包括：获取显微镜采集到的病理图像；通过分割网络得到所述病理图像的血细胞区域，设置血细胞区域像素为固定值，得到没有血细胞的病理图像；将所述没有血细胞的病理图像输入分类模型中，得到分类结果。本发明从病理图片自身问题出发，具有重要的临床应用价值。

Description

一种病理图像分类方法、设备、系统及存储介质
技术领域
本发明涉及智能医疗技术领域，更具体地，涉及一种病理图像分类方法、设备、系统及存储介质。
背景技术
随着临床技术的进步，通过病理医生对病理涂片进行现场诊断的快速现场评估(Rapid on-site evaluation,ROSE)技术带来了快速高效的诊断优势，但其对医生时间的占用以及对资深医生的需求限制了其推广与发展。针对活检样本的病理图像使用人工智能的方式进行分析能够显著优化当前工作流程，减少对医生时间的占用并降低对医生经验的依赖。
现有研究中有通过深度神经网络模型进行病理图片的识别，例如专利CN201810896157.5，将待识别病理图片输入预先训练生成的多个不同类型的深度神经网络模型，对多个不同类型的深度神经网络模型得到的初步识别结果进行融合，得到最终识别结果。不过现有的研究都没有考虑病理图片本身的问题，比如图像中有大量的血细胞等噪音，会对人工智能学习时造成信息干扰，影响学习的效率和模型的准确率。
发明内容
为解决上述问题，我们根据病理图像的特点，建立适用于病理图像分类方法、设备、系统及存储介质，为病理图像的准确识别奠定基础。
本申请公开了一种病理图像分类方法，包括：
获取显微镜采集到的病理图像；
通过分割网络得到所述病理图像的血细胞区域，设置血细胞区域像素为固定值，得到没有血细胞的病理图像；
将所述没有血细胞的病理图像输入分类模型中，得到分类结果。
进一步，所述固定值和病理图像背景值接近或等同，优选的，所述固定值为0或255；
可选的，所述分割网络为语义分割网络或实例分割网络。
可选的，所述血细胞包括红细胞、白细胞和血小板。
进一步，所述分类模型包括特征融合模型和分类器，所述特征融合模型用于提取所述没有血细胞的病理图像的特征并融合得到融合后的特征图，将所述融合后的特征图输入所述分类器中，得到分类结果；
可选的，所述特征融合模型包括特征提取模块、注意力解析模块和注意力特征融合模块；
所述特征提取模块为残差网络，用于对所述没有血细胞的病理图像进行特征提取，得到不同阶段的特征图；
所述注意力解析模块用于将不同阶段的特征图输入注意力解析机制获得注意力引导信息；
所述注意力特征融合模块包括自注意力全局模块与引导注意力模块，所述自注意力全局模块用于将上一阶段的特征图通过多头自注意力层实现全局建模，得到更具倾向性的全局特征图，所述引导注意力模块用于将所述自注意力全局建模后的特征图通过多头引导注意力层，并承接注意力解析机制获得的注意力引导信息，得到融合后的特征图。
进一步，所述特征融合模型包括n个(n为大于1的整数)特征提取模块、n个(n为大于1的整数)注意力解析模块和n个(n为大于1的整数)注意力特征融合模块；
所述特征提取模块为残差网络，用于对所述没有血细胞的病理图像进行特征提取，得到第一阶段、第二阶段到第n阶段不同阶段的特征图；
所述注意力解析模块用于将不同阶段的特征图输入注意力解析机制获得第一阶段、第二阶段到第n阶段注意力引导信息；
所述注意力特征融合模块包括第一阶段、第二阶段到第n阶段自注意力全局模块与第一阶段、第二阶段到第n阶段引导注意力模块，所述第一阶段自注意力全局模块用于将上一阶段的特征图通过多头自注意力层实现全局建模，得到第一阶段自注意力全局建模后的特征图，所述第一阶段引导注意力模块用于将所述第一阶段自注意力全局建模后的特征图通过多头引导注意力层，并承接注意力解析机制获得的第一阶段注意力引导信息，得到第一阶段融合后的特征图；所述第二阶段自注意力全局模块用于将第一阶段融合后的特征图通过多头自注意力层实现全局建模，得到第二阶段自注意力全局建模后的特征图，所述第二阶段引导注意力模块用于将所述第二阶段自注意力全局建模后的特征图通过多头引导注意力层，并承接注意力解析机制获得的第二阶段注意力引导信息，得到第二阶段融合后的特征图；所述第n阶段自注意力全局模块用于将第n-1阶段融合后的特征图通过多头自注意力层实现全局建模，得到第n阶段自注意力全局建模后的特征图，所述第n阶段引导注意力模块用于将所述第n阶段自注意力全局建模后的特征图通过多头引导注意力层，并承接注意力解析机制获得的第n阶段注意力引导信息，得到第n阶段融合后的特征图；
可选的，所述特征融合模型还包括特征选择模块，所述特征选择模块位于特征提取模块后，用于对特征提取模块最后阶段的特征图进行特征选择，得到特征选择后的特征图；
优选的，所述特征选择采用过滤法、包裹法、嵌入法中的任意一种或几种。
进一步，所述自注意力全局模块包括映射变换层、多头自注意力层、残差链接与正则化模块，所述自注意力全局模块用于将上一阶段的特征图依次通过映射变换层、多头自注意力层、残差链接与正则化模块，实现全局建模，得到更具倾向性的全局特征图；所述引导注意力模块包括映射变换层、多头引导注意力层、残差链接与正则化模块，所述引导注意力模块用于将所述自注意力全局建模后的特征图依次通过映射变换层、多头引导注意力层、残差链接与正则化模块，并承接注意力解析机制获得的注意力引导信息，得到融合后的特征图；
优选的，所述自注意力全局模块包括映射变换层、多头自注意力层、残差链接与正则化模块、前馈神经网络、第二残差链接与正则化模块，所述自注意力全局模块用于将上一阶段的特征图依次通过映射变换层、多头自注意力层、残差链接与正则化模块、前馈神经网络、第二残差链接与正则化模块，实现全局建模，得到更具倾向性的全局特征图；所述引导注意力模块包括映射变换层、多头引导注意力层、残差链接与正则化模块、前馈神经网络、第二残差链接与正则化模块，所述引导注意力模块用于将所述自注意力全局建模后的特征图依次通过映射变换层、多头引导注意力层、残差链接与正则化模块、前馈神经网络、第二残差链接与正则化模块，并承接注意力解析机制获得的注意力引导信息，得到融合后的特征图。
进一步，所述分类器为全连接层或从已有的模型算法中挑选出的分类器；
可选的，所述分类器选自下列机器学习模型算法中的一种或几种：逻辑回归算法、朴素贝叶斯分类、支持向量机分类、支持向量机线性分类、k近邻、决策树、随机森林、xgboost、感知机算法。
进一步，所述方法还包括对病理图像进行预处理，所述预处理包括对病理图片进行灰度化、几何变换、图像增强任意一种或几种处理；
优选的，所述预处理包括对获取显微镜采集到的病理图片的分辨率进行统一。
一种病理图像分类设备，包括：存储器和处理器；
所述存储器用于存储程序指令；
所述处理器用于调用程序指令，当程序指令被执行时实现上述的病理图像分类方法步骤。
一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的病理图像分类方法步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的病理图像分类方法步骤。
本申请的优点：
1.本申请结合病理图像的图像特点，通过加入分割网络得到没有血细胞的病理图像，为后续分类模型的处理降低噪音，提高分类效率及准确率；
2.本申请创造性的应用自注意力技术与注意力解析机制将卷积神经网络特征进行全局建模，以构建高精度的病理图片分类系统。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1是本发明实施例提供的一种病理图像分类方法示意流程图；
图2是本发明实施例提供的一种病理图像分类设备示意图；
图3是本发明实施例提供的特征融合模型示意图；
图4是本发明实施例提供的注意力特征融合模块示意图；
图5是本发明实施例提供的注意力解析机制的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的一种病理图像分类方法示意流程图，具体地，所述方法包括如下步骤：
101：获取显微镜采集到的病理图像；
在一个实施例中，对采集到的病理图像进行预处理，所述预处理包括对病理图片进行灰度化、几何变换、尺寸调整、图像增强任意一种或几种处理。
在一个具体实施例中，所述预处理包括对获取显微镜采集到的病理图片的分辨率进行统一。将不同分辨率的图像(包含2400*1800与1390*1038)统一转换为1390*1038像素的图片。
102：通过分割网络得到所述病理图像的血细胞区域，设置血细胞区域像素为固定值，得到没有血细胞的病理图像；
在一个实施例中，所述固定值和病理图像背景值接近或等同，优选的，所述固定值为0或255。
在一个实施例中，所述分割网络为语义分割网络或实例分割网络。优选的，所述分割网络为预先训练的分割网络。所述预先训练的分割网络为采用含有血细胞的大量病理图像为训练集，得到能够对病理图像中的血细胞进行检测、定位以及分割出血细胞的分割网络。所述血细胞包括红细胞、白细胞和血小板。
103：将所述没有血细胞的病理图像输入分类模型中，得到分类结果。
在一个实施例中，所述分类模型包括特征融合模型和分类器，所述特征融合模型用于提取所述没有血细胞的病理图像的特征并融合得到融合后的特征图，将所述融合后的特征图输入所述分类器中，得到分类结果。
在一个实施例中，所述特征融合模型包括特征提取模块、注意力解析模块和注意力特征融合模块；所述特征提取模块为残差网络，用于对所述没有血细胞的病理图像进行特征提取，得到不同阶段的特征图；所述注意力解析模块用于将不同阶段的特征图输入注意力解析机制获得注意力引导信息；所述注意力特征融合模块包括自注意力全局模块与引导注意力模块，所述自注意力全局模块用于将上一阶段的特征图通过多头自注意力层实现全局建模，得到更具倾向性的全局特征图，所述引导注意力模块用于将所述自注意力全局建模后的特征图通过多头引导注意力层，并承接注意力解析机制获得的注意力引导信息，得到融合后的特征图。将所述融合后的特征图输入所述分类器中，得到分类结果。
在一个实施例中，见图3，所述特征融合模型包括n个(n为大于1的整数，例如4)特征提取模块、n个(n为大于1的整数)注意力解析模块和n个(n为大于1的整数)注意力特征融合模块；所述特征提取模块为残差网络，优选的，残差网络为卷积神经网络RESNET50，用于对所述没有血细胞的病理图像进行特征提取，得到第一阶段、第二阶段到第n阶段不同阶段的特征图；所述注意力解析模块用于将不同阶段的特征图输入注意力解析机制获得第一阶段、第二阶段到第n阶段注意力引导信息；所述注意力特征融合模块包括第一阶段、第二阶段到第n阶段自注意力全局模块与第一阶段、第二阶段到第n阶段引导注意力模块，所述第一阶段自注意力全局模块用于将上一阶段的特征图通过多头自注意力层实现全局建模，得到第一阶段自注意力全局建模后的特征图，所述第一阶段引导注意力模块用于将所述第一阶段自注意力全局建模后的特征图通过多头引导注意力层，并承接注意力解析机制获得的第一阶段注意力引导信息，得到第一阶段融合后的特征图；所述第二阶段自注意力全局模块用于将第一阶段融合后的特征图通过多头自注意力层实现全局建模，得到第二阶段自注意力全局建模后的特征图，所述第二阶段引导注意力模块用于将所述第二阶段自注意力全局建模后的特征图通过多头引导注意力层，并承接注意力解析机制获得的第二阶段注意力引导信息，得到第二阶段融合后的特征图；所述第n阶段自注意力全局模块用于将第n-1阶段融合后的特征图通过多头自注意力层实现全局建模，得到第n阶段自注意力全局建模后的特征图，所述第n阶段引导注意力模块用于将所述第n阶段自注意力全局建模后的特征图通过多头引导注意力层，并承接注意力解析机制获得的第n阶段注意力引导信息，得到第n阶段融合后的特征图。将所述第n阶段融合后的特征图输入所述分类器中，得到分类结果。
在一个实施例中，所述自注意力全局模块包括映射变换层、多头自注意力层、残差链接与正则化模块，所述自注意力全局模块用于将上一阶段的特征图依次通过映射变换层、多头自注意力层、残差链接与正则化模块，实现全局建模，得到更具倾向性的全局特征图；所述引导注意力模块包括映射变换层、多头引导注意力层、残差链接与正则化模块，所述引导注意力模块用于将所述自注意力全局建模后的特征图依次通过映射变换层、多头引导注意力层、残差链接与正则化模块，并承接注意力解析机制获得的注意力引导信息，得到融合后的特征图。
在一个实施例中，见图4，所述自注意力全局模块包括映射变换层、多头自注意力层、残差链接与正则化模块、前馈神经网络、第二残差链接与正则化模块，所述自注意力全局模块用于将上一阶段的特征图依次通过映射变换层、多头自注意力层、残差链接与正则化模块、前馈神经网络、第二残差链接与正则化模块，实现全局建模，得到更具倾向性的全局特征图；所述自注意力全局建模模包括映射变换层、多头引导注意力层、残差链接与正则化模块、前馈神经网络、第二残差链接与正则化模块，所述引导注意力模块用于将所述自注意力全局建模后的特征图依次通过映射变换层、多头引导注意力层、残差链接与正则化模块、前馈神经网络、第二残差链接与正则化模块，并承接注意力解析机制获得的注意力引导信息，得到融合后的特征图。优选的，自注意力全局模块为transformer自注意力全局模块，引导注意力模块为transformer引导注意力模块。
在一个实施例中，残差网络为ResNet网络，以实现图像局部特征的特征提取。该网络主要通过残差连接的方法，使得网络深度加深的同时不会带来训练过程中的梯度爆炸与梯度消失问题，有利于模型增加复杂度的同时依然能够正常收敛。本发明中使用的ResNet50结构具有1个STEM降采样阶段与4个深度卷积阶段，其使用级联的方式连接，4个阶段的输出为
Figure GDA0003728963280000081
每个阶段l∈[1,2,3,4]，特征图边长为E，特征图维度为Cl。相较于其原始结构，本发明中抛弃原始网络的最后部分的全连接层，并将其最后输出的特征图进行特征嵌入以获得Transformer全局建模的初始特征序列。通过这种设计，模型可以灵活的提取到卷积神经网络在不同阶段的特征图，从而将不同抽象维度与不同精细程度的局部信息取出。这些信息将有利于后续Transformer模型全局建模中对局部特性进行更综合的分析。
在一个实施例中，所述特征融合模型还包括特征选择模块，所述特征选择模块位于特征提取模块后，用于对特征提取模块最后阶段的特征图进行特征选择，得到特征选择后的特征图。优选的，所述特征选择采用过滤法、包裹法、嵌入法中的任意一种或几种。
在一个实施例中，使用的嵌入法进行特征选择，可表示为
Figure GDA0003728963280000091
目的在于对卷积神经网络ResNet最后阶段输出的特征图进行特征嵌入。首先，通过相同的核尺寸与卷积步长p为1，输入映射通道Cl为2048，输出通道维度D为768的卷积层，将最后阶段输出的特征图
Figure GDA0003728963280000092
转换为边长为p的分块的特征图。此分块获得N＝E2/p2即144个特征图块。此后，通过矩阵重排(Rearrange)的操作将分块的特征数据转换为特征序列
Figure GDA0003728963280000093
其矩阵尺寸为144*768。紧接着，在其首位之前额外添加一个零向量xclass∈O1×D作为分类信息位，其中维度D取值为768。分类信息位向量xclass通过网络逐层编码更新其数值，在Transformer全局建模的4个阶段完成后，其最终将与一个用于分类的全连接层相连。最后，通过与一个全局共享的145*768尺寸的位置编码矩阵Epos∈R(N+1)×D进行加和，对上述获得的145*768尺寸的全部特征信息进行位置编码。特别指出的是，本实例中，位置编码矩阵与分类信息位的向量均是初始值为0向量的模型参数，其数值会由网络迭代而变化。经过特征嵌入后，获得的最后特征图的特征序列为
Figure GDA0003728963280000094
其矩阵形状为145*768。
在一个实施例中，见图5，所述注意力解析机制包括注意力模块、最大值池化层、卷积层、平均值池化层、卷积层、位置编码、分类标志，将不同阶段的特征图输入注意力解析机制，依次通过注意力模块、最大值池化层、卷积层、位置编码、分类标志获得注意力引导信息q，同时不同阶段的特征图输入注意力解析机制，依次通过注意力模块、平均值池化层、卷积层、位置编码、分类标志获得注意力引导信息k。
在一个实施例中，首先使用一个注意力模块对特征图进行特征提取，从而更好的捕捉早期注意力空间特征，其输出为
Figure GDA0003728963280000095
每个ResNet阶段输出的特征图边长E与维度Cl均不相同。此后，通过双路并行的池化操作，调整特征图尺寸使其与最后阶段特征图具有相同尺寸，设池化窗口边长为P。因此，采用最大值池化获得
Figure GDA0003728963280000101
表示在空间中的局部突出信息的特征图，采用平均值池化提取获得
Figure GDA0003728963280000102
的特征图表示空间中的局部综合信息。上述操作的具体公式为：
Figure GDA0003728963280000103
Figure GDA0003728963280000104
在一个具体实施例中，选用12*12作为特征池化的区域。通过在不同阶段选择不同的池化窗口边长，将每个阶段的不同边长尺寸E的特征图均与此对齐，以获得统一尺寸的池化后特征图。例如，在第4阶段，特征图边长E为12时取池化窗口P＝1。因此，每个阶段的特征图均在经过并行池化操作后，变为2个尺寸为12*12的矩阵，其通道维度为Cl。之后，使用输入通道数为Cl，输出通道数D为768的1*1卷积层进行维度信息编码，具体公式为：
Figure GDA0003728963280000105
Figure GDA0003728963280000106
之后，使用矩阵重排的操作使他们变为2个144*768的特征引导信息
Figure GDA0003728963280000107
与
Figure GDA0003728963280000108
具体公式为：
fl q＝Transpose(Flatten(fl Maxpool))
fl k＝Transpose(Flatten(fl Avgpool))
最后，使用分类标记与位置编码将特征引导信息进行特征嵌入，输出获得的特征引导信息ql∈R(N+1)×D与kl∈R(N+1)×D，其尺寸均为145*768，具体公式为：
ql＝Concatenate(xclass,fl q)+Epos
kl＝Concatenate(xclass,fl k)+Epos
在一个实施例中，与特征提取的残差网络ResNet相同，总共分为4个前后级联的注意力特征融合模块。首个注意力特征融合模块输入来自上一步的特征序列为
Figure GDA0003728963280000109
其矩阵尺寸为145*768。此后的每个注意力特征融合模块输入来自于上一个阶段的输出。每个注意力特征融合模块由两部分组成，包括基于多头自注意力实现的自注意力全局模块与引导注意力模块。对于每一个阶段，首先是多头自注意力层实现的全局建模，其具体公式为：
Figure GDA0003728963280000111
随后，通过前馈神经网络对全局建模信息进行连接，具体公式为：
Figure GDA0003728963280000112
此后，进行特征融合，采用引多头导注意力层(MHGA)用于承接注意力解析机制获得的注意力引导信息ql∈R(N+1)×D与kl∈R(N+1)×D，实现将ResNet的局部注意力偏好编码入全局建模过程中，具体公式为：
Figure GDA0003728963280000113
最后，使用前馈神经网络进行连接并获得该阶段的输出，具体公式为：
Figure GDA0003728963280000114
对于第4个注意力特征融合模块的输出
Figure GDA0003728963280000115
将
Figure GDA0003728963280000116
输出与分类器MLP相连，从而获得细胞病理图像的分类结果。
在一个实施例中，所述分类器为全连接层或从已有的模型算法中挑选出的分类器；可选的，所述分类器选自下列机器学习模型算法中的一种或几种：逻辑回归算法、朴素贝叶斯分类、支持向量机分类、支持向量机线性分类、k近邻、决策树、随机森林、xgboost、感知机算法。优选的，所述分类器可以是二分类器或多分类器。
图2是本发明实施例提供的一种病理图像分类设备，所述设备包括：存储器和处理器；
所述存储器用于存储程序指令；
所述处理器用于调用程序指令，当程序指令被执行时实现上述的病理图像分类方法步骤。
在一个具体实施例中，使用所构建的系统对胰腺癌病理图像分类。针对EUS-FNA穿刺活检时采集到的像素长宽比例为1390：1038的胰腺细胞病理图像，输入本发明的病理图像分析系统。进入系统后，系统使用上述方法对病理图片进行处理和分析，将该图像分类为正常胰腺细胞病理图像或者胰腺癌细胞病理图像。
本发明的一个目的在于提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的病理图像分类方法步骤。
本验证实施例的验证结果表明，为适应症分配固有权重相对于默认设置来说可以适度改善本方法的性能。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种计算机设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (17)

1.一种病理图像分类方法，包括：
获取显微镜采集到的病理图像；
通过分割网络得到所述病理图像的血细胞区域，设置血细胞区域像素为固定值，得到没有血细胞的病理图像；
将所述没有血细胞的病理图像输入分类模型中，得到分类结果。
2.根据权利要求1中所述的病理图像分类方法，其特征在于，所述固定值和病理图像背景值接近或等同。
3.根据权利要求2中所述的病理图像分类方法，其特征在于，所述固定值为0或255。
4.根据权利要求1中所述的病理图像分类方法，其特征在于，所述分割网络为语义分割网络或实例分割网络。
5.根据权利要求1中所述的病理图像分类方法，其特征在于，所述分类模型包括特征融合模型和分类器，所述特征融合模型用于提取所述没有血细胞的病理图像的特征并融合得到融合后的特征图，将所述融合后的特征图输入所述分类器中，得到分类结果。
6.根据权利要求5中所述的病理图像分类方法，其特征在于，所述特征融合模型包括特征提取模块、注意力解析模块和注意力特征融合模块；
所述特征提取模块为残差网络，用于对所述没有血细胞的病理图像进行特征提取，得到不同阶段的特征图；
所述注意力解析模块用于将不同阶段的特征图输入注意力解析机制获得注意力引导信息；
所述注意力特征融合模块包括自注意力全局模块与引导注意力模块，所述自注意力全局模块用于将上一阶段的特征图通过多头自注意力层实现全局建模，得到更具倾向性的全局特征图，所述引导注意力模块用于将所述自注意力全局建模后的特征图通过多头引导注意力层，并承接注意力解析机制获得的注意力引导信息，得到融合后的特征图。
7.根据权利要求5中所述的病理图像分类方法，其特征在于，所述特征融合模型包括n个特征提取模块、n个注意力解析模块和n个注意力特征融合模块，其中n为大于1的整数；
所述特征提取模块为残差网络，用于对所述没有血细胞的病理图像进行特征提取，得到第一阶段、第二阶段到第n阶段不同阶段的特征图；
所述注意力解析模块用于将不同阶段的特征图输入注意力解析机制获得第一阶段、第二阶段到第n阶段注意力引导信息；
所述注意力特征融合模块包括第一阶段、第二阶段到第n阶段自注意力全局模块与第一阶段、第二阶段到第n阶段引导注意力模块，所述第一阶段自注意力全局模块用于将上一阶段的特征图通过多头自注意力层实现全局建模，得到第一阶段自注意力全局建模后的特征图，所述第一阶段引导注意力模块用于将所述第一阶段自注意力全局建模后的特征图通过多头引导注意力层，并承接注意力解析机制获得的第一阶段注意力引导信息，得到第一阶段融合后的特征图；所述第二阶段自注意力全局模块用于将第一阶段融合后的特征图通过多头自注意力层实现全局建模，得到第二阶段自注意力全局建模后的特征图，所述第二阶段引导注意力模块用于将所述第二阶段自注意力全局建模后的特征图通过多头引导注意力层，并承接注意力解析机制获得的第二阶段注意力引导信息，得到第二阶段融合后的特征图； 所述第n阶段自注意力全局模块用于将第n-1阶段融合后的特征图通过多头自注意力层实现全局建模，得到第n阶段自注意力全局建模后的特征图，所述第n阶段引导注意力模块用于将所述第n阶段自注意力全局建模后的特征图通过多头引导注意力层，并承接注意力解析机制获得的第n阶段注意力引导信息，得到第n阶段融合后的特征图。
8.根据权利要求5中所述的病理图像分类方法，其特征在于，所述特征融合模型还包括特征选择模块，所述特征选择模块位于特征提取模块后，用于对特征提取模块最后阶段的特征图进行特征选择，得到特征选择后的特征图。
9.根据权利要求5中所述的病理图像分类方法，其特征在于，所述特征选择采用过滤法、包裹法、嵌入法中的任意一种或几种。
10.根据权利要求6中所述的病理图像分类方法，其特征在于，所述自注意力全局模块包括映射变换层、多头自注意力层、残差链接与正则化模块，所述自注意力全局模块用于将上一阶段的特征图依次通过映射变换层、多头自注意力层、残差链接与正则化模块，实现全局建模，得到更具倾向性的全局特征图；所述引导注意力模块包括映射变换层、多头引导注意力层、残差链接与正则化模块，所述引导注意力模块用于将所述自注意力全局建模后的特征图依次通过映射变换层、多头引导注意力层、残差链接与正则化模块，并承接注意力解析机制获得的注意力引导信息，得到融合后的特征图。
11.根据权利要求6中所述的病理图像分类方法，其特征在于，所述自注意力全局模块包括映射变换层、多头自注意力层、残差链接与正则化模块、前馈神经网络、第二残差链接与正则化模块，所述自注意力全局模块用于将上一阶段的特征图依次通过映射变换层、多头自注意力层、残差链接与正则化模块、前馈神经网络、第二残差链接与正则化模块，实现全局建模，得到更具倾向性的全局特征图；所述引导注意力模块包括映射变换层、多头引导注意力层、残差链接与正则化模块、前馈神经网络、第二残差链接与正则化模块，所述引导注意力模块用于将所述自注意力全局建模后的特征图依次通过映射变换层、多头引导注意力层、残差链接与正则化模块、前馈神经网络、第二残差链接与正则化模块，并承接注意力解析机制获得的注意力引导信息，得到融合后的特征图。
12.根据权利要求1中所述的病理图像分类方法，其特征在于，所述分类器为全连接层或从已有的模型算法中挑选出的分类器。
13.根据权利要求1中所述的病理图像分类方法，其特征在于，所述分类器选自下列机器学习模型算法中的一种或几种：逻辑回归算法、朴素贝叶斯分类、支持向量机分类、支持向量机线性分类、k近邻、决策树、随机森林、xgboost、感知机算法。
14.根据权利要求1中所述的病理图像分类方法，其特征在于，所述方法还包括对病理图像进行预处理，所述预处理包括对病理图片进行灰度化、几何变换、图像增强任意一种或几种处理。
15.根据权利要求14中所述的病理图像分类方法，其特征在于，所述预处理包括对获取显微镜采集到的病理图片的分辨率进行统一。
16.一种病理图像分类设备，包括：存储器和处理器；
所述存储器用于存储程序指令；
所述处理器用于调用程序指令，当程序指令被执行时实现权利要求1-15任意一项所述的病理图像分类方法步骤。
17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-15任意一项所述的病理图像分类方法步骤。
CN202111484263.0A 2021-12-07 2021-12-07 一种病理图像分类方法、设备、系统及存储介质 Active CN114037699B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111484263.0A CN114037699B (zh) 2021-12-07 2021-12-07 一种病理图像分类方法、设备、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111484263.0A CN114037699B (zh) 2021-12-07 2021-12-07 一种病理图像分类方法、设备、系统及存储介质

Publications (2)

Publication Number Publication Date
CN114037699A CN114037699A (zh) 2022-02-11
CN114037699B true CN114037699B (zh) 2022-08-09

Family

ID=80146283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111484263.0A Active CN114037699B (zh) 2021-12-07 2021-12-07 一种病理图像分类方法、设备、系统及存储介质

Country Status (1)

Country Link
CN (1) CN114037699B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294126B (zh) * 2022-10-08 2022-12-16 南京诺源医疗器械有限公司 一种病理图像的癌细胞智能识别方法
CN117115117B (zh) * 2023-08-31 2024-02-09 南京诺源医疗器械有限公司 基于小样本下的病理图像识别方法、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110530779A (zh) * 2019-08-09 2019-12-03 上海依智医疗技术有限公司 一种白细胞检测方法及装置
CN113343755A (zh) * 2021-04-22 2021-09-03 山东师范大学 红细胞图像中的红细胞分类系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783622B2 (en) * 2018-04-25 2020-09-22 Adobe Inc. Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image
CN111489833A (zh) * 2019-12-19 2020-08-04 上海杏脉信息科技有限公司 一种肺部细胞病理快速现场评估系统、方法及计算机可读存储介质
WO2021194490A1 (en) * 2020-03-26 2021-09-30 Siemens Aktiengesellschaft Method and system for improved attention map guidance for visual recognition in images
CN111860586A (zh) * 2020-06-12 2020-10-30 南通大学 一种细粒度宫颈细胞图像三阶段识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110530779A (zh) * 2019-08-09 2019-12-03 上海依智医疗技术有限公司 一种白细胞检测方法及装置
CN113343755A (zh) * 2021-04-22 2021-09-03 山东师范大学 红细胞图像中的红细胞分类系统及方法

Also Published As

Publication number Publication date
CN114037699A (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CA3041140C (en) Systems and methods for segmenting an image
CN114037699B (zh) 一种病理图像分类方法、设备、系统及存储介质
CN110517253B (zh) 基于3d多目标特征学习的肺结节良恶性分类的方法
CN110930378B (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN113034506B (zh) 遥感图像语义分割方法、装置、计算机设备和存储介质
CN111276240A (zh) 一种基于图卷积网络的多标签多模态全息脉象识别方法
CN113988147B (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN112949707B (zh) 一种基于多尺度语义信息监督的跨模态人脸图像生成方法
CN114693624A (zh) 一种图像检测方法、装置、设备及可读存储介质
CN113971735A (zh) 一种深度图像聚类方法、系统、设备、介质及终端
CN114530222A (zh) 一种基于多组学和影像数据融合的癌症患者分类系统
WO2021139351A1 (zh) 图像分割方法、装置、介质及电子设备
CN115661029A (zh) 基于YOLOv5的肺结节检测与识别系统
CN111524140A (zh) 基于cnn和随机森林法的医学图像语义分割方法
WO2024104035A1 (zh) 基于长短期记忆自注意力模型的三维医学图像分割方法及系统
CN114283326A (zh) 一种结合局部感知和高阶特征重构的水下目标重识别方法
CN114283406A (zh) 细胞图像识别方法、装置、设备、介质及计算机程序产品
CN112233017A (zh) 一种基于生成对抗网络的病态人脸数据增强方法
CN116823868A (zh) 一种黑色素肿瘤图像分割方法
CN113920127B (zh) 一种训练数据集独立的单样本图像分割方法和系统
CN115170564A (zh) 一种结直肠癌放化疗反应自动预测系统
CN113554655A (zh) 基于多特征增强的光学遥感图像分割方法及装置
Yousra et al. An efficient algorithm for medical image classification using deep convolutional network: Case of cancer pathology
CN117952969B (zh) 一种基于选择注意力的子宫内膜癌分析方法及系统
CN114913358B (zh) 一种基于自动编码器的医药高光谱异物检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant