CN114782753A - 基于弱监督学习和转换器的肺癌组织病理全切片分类方法 - Google Patents

基于弱监督学习和转换器的肺癌组织病理全切片分类方法 Download PDF

Info

Publication number
CN114782753A
CN114782753A CN202210575594.3A CN202210575594A CN114782753A CN 114782753 A CN114782753 A CN 114782753A CN 202210575594 A CN202210575594 A CN 202210575594A CN 114782753 A CN114782753 A CN 114782753A
Authority
CN
China
Prior art keywords
full
section
image
lung cancer
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210575594.3A
Other languages
English (en)
Other versions
CN114782753B (zh
Inventor
祝新宇
史骏
束童
唐昆铭
孙宇
杨志鹏
王垚
张元�
郑利平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202210575594.3A priority Critical patent/CN114782753B/zh
Publication of CN114782753A publication Critical patent/CN114782753A/zh
Application granted granted Critical
Publication of CN114782753B publication Critical patent/CN114782753B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法，步骤包括：1、获取具有全切片级别标签的肺癌组织病理全切片图像数据集并在双倍率下采集组织图像数据；2、建立能够分别提取双倍率下图像的深度特征的双分支网络模型并提取、聚合（1）中双倍率图像的深度特征；3、建立能够预测全切片图像阴阳性的弱监督视觉转换器网络模型并输入步骤（2）中得到的深度特征进行全切片阴阳性分类；4、利用全切片级别标签的肺癌组织病理全切片图像数据集弱监督训练网络模型；5、利用训练好的模型对肺癌组织病理全切片图像进行阴阳性分类。

Description

基于弱监督学习和转换器的肺癌组织病理全切片分类方法
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法。
背景技术
目前，肺癌的发病率和致死率在我国癌症发病率和致死率中高居首位，病理诊断是肿瘤诊断的“金标准”，所以肺癌的诊断分型需要依靠病理诊断，准确无误的肺癌组织病理全切片阴阳性判断对于医生诊断、病患治疗起到至关重要的作用。
在实际诊疗过程中，病理医生需要在显微镜下用肉眼检查数以万计的细胞，但是每位病理医生每天需要处理大量病患的标本，常常会产生阅片疲劳，误诊、漏诊等现象时有发生。因此，需要一种高效且定量的肺癌组织病理全切片阴阳性预测方法，减轻病理医生的阅片负担，同时提高肺癌组织病理全切片阴阳性预测准确率。目前，针对肺癌组织病理全切片阴阳性预测的算法主要以基于深度学习的监督学习分类算法为主。
近年来，深度学习模型在计算机视觉各个领域中取得了显著的效果，一些研究人员已经将卷积神经网络应用于肺癌组织病理全切片阴阳性预测任务中，如残差网络(ResNet)、密集卷积网络(Densenet)，大多提取单个倍率下的图像特征并基于全监督方式训练网络模型，虽然目前取得一些进展，但是值得注意的是由于病理图像复杂的纹理特征和极高的医学知识壁垒，图像标注成本太高，很难获取类似图像块的真实标签这样强有力的监督信息，大部分情况下只有全切片阴阳性类别这样粗犷的标签，因此更加适合使用弱监督的方式训练阴阳性分类网络模型。
发明内容
本发明目的就是为了弥补已有技术的缺陷，提供一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法，旨在解决由于病理图像结构复杂、类型多变，特征信息丰富而导致的细节标注困难、真实标签难以获取、肺癌组织病理全切片阴阳性预测困难等问题，通过构建基于双倍率深度特征提取模块和视觉转换器的弱监督分类网络模型，仅通过组织病理全切片阴阳性标签训练网络模型，完成肺癌组织病理全切片阴阳性类别的准确高效预测。
本发明是通过以下技术方案实现的：
一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法，具体包括如下步骤：
(1)、获取具有全切片级别标签的肺癌组织病理全切片图像数据集并在双倍率下采集组织图像数据；
(2)、建立能够分别提取双倍率下图像的深度特征的双分支网络模型并提取、聚合(1)中双倍率图像的深度特征；
(3)、建立能够预测全切片图像阴阳性的弱监督视觉转换器网络模型并输入步骤(2)中得到的深度特征进行全切片阴阳性分类；
(4)、利用全切片级别标签的肺癌组织病理全切片图像数据集弱监督训练网络模型；
(5)、利用训练好的模型对肺癌组织病理全切片图像进行阴阳性分类。
步骤(1)所述的获取具有全切片级别标签的肺癌组织病理全切片图像数据集并在双倍率下采集组织图像数据，具体如下：
对肺癌组织病理全切片图像按照阴阳性标签整理，记为
Figure BDA0003650343220000021
其中Xi表示第i个肺癌组织病理全切片，yi表示第i个肺癌组织病理全切片的阴阳性标签，N表示肺癌组织病理全切片图像总数。将全切片图像去除空白背景区域并进行分块处理，在10X倍率下随机采样得到多个图像块，记为
Figure BDA0003650343220000022
其中，
Figure BDA0003650343220000023
表示第i个全切片在10X倍率下第j个图像块，C表示图像块的通道数，P×P表示每个图像块的宽度和高度；并在20X倍率下获取10X倍率下的图像对应的图像块，记为
Figure BDA0003650343220000024
其中
Figure BDA0003650343220000025
表示10X倍率下图像块
Figure BDA0003650343220000026
在20X倍率下的第k个图像块；i＝1,2,…,N，j＝1,2,…,n，k＝1,2,…,4；N表示肺癌组织病理全切片图像总数；n表示10X倍率下图像块的数量。
步骤(2)所述的建立能够分别提取双倍率下图像的深度特征的双分支网络模型并提取、聚合(1)中双倍率图像的深度特征，具体如下：
所述的双分支网络模型第一分支和第二分支均由预训练的ResNet50残差网络构成；
步骤2.1、将10X倍率下图像块送入网络第一分支，得到N个d维深度特征表示。
步骤2.2、将20X倍率下图像块送入网络第二分支，得到4N个d维深度特征表示。
步骤2.3、利用式(1)将每个10X倍率下的深度特征与其对应的4个20X倍率下的深度特征聚合得到4N个D维全局特征表示xij，
Figure BDA0003650343220000031
Figure BDA0003650343220000032
式(1)中，Concat(·)表示特征联合处理；xjk表示第i个肺癌组织病理全切片的第j个图像块的第k个D维全局特征表示，
Figure BDA0003650343220000033
表示全局特征表示向量维数为D，其中i＝1,2,…,N，j＝1,2,…,n，k＝1,2,…,4，D＝2d。
步骤(3)所述的建立能够预测全切片图像阴阳性的弱监督视觉转换器网络模型并输入步骤(2)中得到的深度特征进行全切片阴阳性分类，具体如下：
构建由编码器构成的视觉转换器ViT，编码器包括：两个归一化层、多头注意力机制层以及多层感知器；
步骤3.1、设置一个可学习的分类标记，利用式(2)得到4N个全局特征表示和分类标记xclass的输入序列z0，作为编码器的输入；
z0＝[xclass；x11；x12；x13；x14；…；xN1；xN2；xN3；xN4] (2)
步骤3.2、利用式(3)得到4N个全局特征表示和分类标记xclass经过编码器的多头自注意力机制层的输出z'；
z'＝MSA(LN(z0))+z0 (3)
式(3)中，MSA(·)表示多头自注意力机制层的处理；LN(·)表示归一化层的处理；
步骤3.3、利用式(3)得到编码器的多层感知器的输出zL；
zL＝MLP(LN(z'))+z' (4)
式(4)中，MLP(·)表示多层感知器的处理；LN(·)表示归一化层的处理；
步骤3.4、利用式(5)得到经归一化处理后的输出z′L，并提取出分类标记xclass对应的D维特征
Figure BDA0003650343220000041
z′L＝LN(zL) (5)
式(5)中，LN(·)表示归一化层的处理；
步骤3.5、利用式(6)对特征进行线性变换，得到线性分类器的输出结果ppred；
Figure BDA0003650343220000042
式(6)中，Linear(·)代表线性分类函数；
Figure BDA0003650343220000043
c代表阴性/阳性。
步骤(4)所述的利用全切片级别标签的肺癌组织病理全切片图像数据集弱监督训练网络模型，具体如下：
利用式(7)构建交叉熵损失函数L，并利用梯度下降算法训练由双分支网络和弱监督视觉转换器网络所构成的网络模型，使得交叉熵损失函数L达到收敛，从而得到训练好的能够预测全切片阴阳性的网络模型；
Figure BDA0003650343220000044
式(7)中，ylabel为全切片图像对应的阴阳性标签，N为全切片图像总数。
步骤(5)所述的利用训练好的模型对肺癌组织病理全切片图像进行阴阳性分类，具体如下：
肺癌组织病理全切片图像阴阳性分类预测。
首先在肺癌组织病理全切片图像上随机采集10X倍率下的图像块，并获取每一图像块对应的20X倍率下的图像块，分别送入步骤(2)中所述的双分支深度特征提取网络，得到10X倍率和20X倍率的深度特征，将10X倍率的深度特征拼接上20X倍率的深度特征，融合双倍率特征，送入步骤(3)中所述能够预测全切片图像阴阳性的弱监督视觉转换器网络模型，得到全切片的阴阳性分类结果。
本发明的优点是：1.本发明利用双倍率特征提取模块对肺癌组织病理全切片图像进行特征学习，通过双分支卷积神经网络捕捉图像双倍率下的特征并聚合，提高了肺癌组织病理全切片图像的特征表示能力。
2.本发明利用基于自注意力机制的视觉转换器弱监督学习图像双倍率下的特征，从而建立了肺癌组织病理全切片不同尺度图像各部分之间的依赖关系，进而提高了肺癌组织病理全切片图像阴阳性类别预测准确率。
3.本发明使用弱监督方式训练网络模型，减小图像数据集标注成本，降低应用门槛，并在一定程度上提升了模型的鲁棒性，具有一定临床应用价值。
附图说明
图1为本发明中网络的结构图；
图2为本发明的总体流程框图。
具体实施方式
本实施例中，一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法，综合考虑了肺癌组织病理全切片图像阴阳性分类的难度，于是首先通过双分支深度特征提取网络提取图像双倍率下的特征，而后聚合双倍率下的特征，再将特征集合送入基于自注意力机制的视觉转换器模型，从而完成对于肺癌组织病理全切片图像阴阳性的分类，如图1、2所示，具体步骤如下：
步骤(1)、获取具有全切片级别标签的肺癌组织病理全切片图像数据集并在双倍率下采集组织图像数据，具体如下：
对肺癌组织病理全切片图像按照阴阳性标签整理，记为
Figure BDA0003650343220000051
其中Xi表示第i个肺癌组织病理全切片，yi表示第i个肺癌组织病理全切片的阴阳性标签，N表示肺癌组织病理全切片图像总数。将全切片图像去除空白背景区域并进行分块处理，在10X倍率下随机采样得到多个图像块，记为
Figure BDA0003650343220000052
其中，
Figure BDA0003650343220000053
表示第i个全切片在10X倍率下第j个图像块，C表示图像块的通道数，P×P表示每个图像块的宽度和高度；并在20X倍率下获取10X倍率下的图像对应的图像块，记为
Figure BDA0003650343220000054
其中
Figure BDA0003650343220000055
表示10X倍率下图像块
Figure BDA0003650343220000056
在20X倍率下的第k个图像块；i＝1,2,…,N，j＝1,2,…,n，k＝1,2,…,4；N表示肺癌组织病理全切片图像总数；n表示10X倍率下图像块的数量。本实施例中使用的肺癌组织病理全切片状态包含阴性和阳性2个类别；数据集包含100张全切片，因此N＝100，在每张全切片上随机采样500个图像块，因此n＝500，每个图像块尺寸为256×256，因此C＝3、P＝256；将数据集中每类的80％用于训练，其余20％用于测试。
步骤(2)、建立能够分别提取双倍率下图像的深度特征的双分支网络模型并提取、聚合(1)中双倍率图像的深度特征，具体如下：
所述的双分支网络模型第一分支和第二分支均由预训练的ResNet50残差网络构成；
步骤2.1、将10X倍率下图像块送入网络第一分支，得到N个d维深度特征表示；本实施例中，d为2048维。
步骤2.2、将20X倍率下图像块送入网络第二分支，得到4N个d维深度特征表示；本实施例中，d为2048维。
步骤2.3、利用式(1)将每个10X倍率下的深度特征与其对应的4个20X倍率下的深度特征聚合得到4N个D维全局特征表示xjk，
Figure BDA0003650343220000061
Figure BDA0003650343220000062
式(1)中，Concat(·)表示特征联合处理；xjk表示第i个肺癌组织病理全切片的第j个图像块的第k个D维全局特征表示，
Figure BDA0003650343220000063
表示全局特征表示向量维数为D，其中i＝1,2,…,N，j＝1,2,…,n，k＝1,2,…,4，D＝2d。本实施例中，D为4096维。
步骤(3)、建立能够预测全切片图像阴阳性的弱监督视觉转换器网络模型并输入步骤(2)中得到的深度特征进行全切片阴阳性分类，具体如下：
构建由编码器构成的视觉转换器ViT，编码器包括：两个归一化层、多头注意力机制层以及多层感知器；
步骤3.1、设置一个可学习的分类标记，利用式(2)得到4N个全局特征表示和分类标记xclass的输入序列z0，作为编码器的输入；
z0＝[xclass；x11；x12；x13；x14；…；xN1；xN2；xN3；xN4] (2)
步骤3.2、利用式(3)得到4N个全局特征表示和分类标记xclass经过编码器的多头自注意力机制层的输出z'；
z'＝MSA(LN(z0))+z0 (3)
式(3)中，MSA(·)表示多头自注意力机制层的处理；LN(·)表示归一化层的处理；
步骤3.3、利用式(4)得到编码器的多层感知器的输出zL；
zL＝MLP(LN(z'))+z' (4)
式(4)中，MLP(·)表示多层感知器的处理，本实施例中，多层感知器包含两层网络和一个GELU非线性激活层；LN(·)表示归一化层的处理；
步骤3.4、利用式(5)得到经归一化处理后的输出z′L，并提取出分类标记xclass对应的D维特征
Figure BDA0003650343220000071
z′L＝LN(zL) (5)
式(5)中，LN(·)表示归一化层的处理。
步骤3.5、利用式(6)对特征进行线性变换，得到线性分类器的输出结果ppred；
Figure BDA0003650343220000072
式(6)中，Linear(·)代表线性分类函数；
Figure BDA0003650343220000073
c代表阴性/阳性。
步骤(4)、利用全切片级别标签的肺癌组织病理全切片图像数据集弱监督训练网络模型，具体如下：
利用式(7)构建交叉熵损失函数L，并利用梯度下降算法训练由双分支网络和弱监督视觉转换器网络所构成的网络模型，使得交叉熵损失函数L达到收敛，从而得到训练好的能够预测全切片阴阳性的网络模型；
Figure BDA0003650343220000074
式(7)中，ylabel为全切片图像对应的阴阳性标签，N为全切片图像总数。
步骤(5)、利用训练好的模型对肺癌组织病理全切片图像进行阴阳性分类，具体如下：
肺癌组织病理全切片图像阴阳性分类预测。
首先在肺癌组织病理全切片图像上随机采集10X倍率下的图像块，并获取每一图像块对应的20X倍率下的图像块，分别送入步骤(2)中所述的双分支深度特征提取网络，得到10X倍率和20X倍率的深度特征，将10X倍率的深度特征拼接上20X倍率的深度特征，融合双倍率特征，送入步骤(3)中所述能够预测全切片图像阴阳性的弱监督视觉转换器网络模型，得到全切片的阴阳性分类结果。

Claims (6)

1.一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法，其特征在于：具体包括如下步骤：
(1)、获取具有全切片级别标签的肺癌组织病理全切片图像数据集并在双倍率下采集组织图像数据；
(2)、建立能够分别提取双倍率下图像的深度特征的双分支网络模型并提取、聚合(1)中双倍率图像的深度特征；
(3)、建立能够预测全切片图像阴阳性的弱监督视觉转换器网络模型并输入步骤(2)中得到的深度特征进行全切片阴阳性分类；
(4)、利用全切片级别标签的肺癌组织病理全切片图像数据集弱监督训练网络模型；
(5)、利用训练好的模型对肺癌组织病理全切片图像进行阴阳性分类。
2.根据权利要求1所述的一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法，其特征在于：步骤(1)所述的获取具有全切片级别标签的肺癌组织病理全切片图像数据集并在双倍率下采集组织图像数据，具体如下：
对肺癌组织病理全切片图像按照阴阳性标签整理，记为
Figure FDA0003650343210000011
其中Xi表示第i个肺癌组织病理全切片，yi表示第i个肺癌组织病理全切片的阴阳性标签，N表示肺癌组织病理全切片图像总数；将全切片图像去除空白背景区域并进行分块处理，在10X倍率下随机采样得到多个图像块，记为
Figure FDA0003650343210000012
其中，
Figure FDA0003650343210000013
表示第i个全切片在10X倍率下第j个图像块，C表示图像块的通道数，P×P表示每个图像块的宽度和高度；并在20X倍率下获取10X倍率下的图像对应的图像块，记为
Figure FDA0003650343210000014
其中
Figure FDA0003650343210000015
表示10X倍率下图像块
Figure FDA0003650343210000016
在20X倍率下的第k个图像块；i＝1,2,…,N，j＝1,2,…,n，k＝1,2,…,4；n表示10X倍率下图像块的数量。
3.根据权利要求2所述的一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法，其特征在于：步骤(2)所述的建立能够分别提取双倍率下图像的深度特征的双分支网络模型并提取、聚合(1)中双倍率图像的深度特征，具体如下：
所述的双分支网络模型第一分支和第二分支均由预训练的ResNet50残差网络构成；
步骤2.1、将10X倍率下图像块送入网络第一分支，得到N个d维深度特征表示；
步骤2.2、将20X倍率下图像块送入网络第二分支，得到4N个d维深度特征表示；
步骤2.3、利用式(1)将每个10X倍率下的深度特征与其对应的4个20X倍率下的深度特征聚合得到4N个D维全局特征表示xjk，
Figure FDA0003650343210000021
Figure FDA0003650343210000022
式(1)中，Concat(·)表示特征联合处理；xjk表示第i个肺癌组织病理全切片的第j个图像块的第k个D维全局特征表示，
Figure FDA0003650343210000023
表示全局特征表示向量维数为D，其中i＝1,2,…,N，j＝1,2,…,n，k＝1,2,…,4，D＝2d。
4.根据权利要求3所述的一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法，其特征在于：步骤(3)所述的建立能够预测全切片图像阴阳性的弱监督视觉转换器网络模型并输入步骤(2)中得到的深度特征进行全切片阴阳性分类，具体如下：
构建由编码器构成的视觉转换器ViT，编码器包括：两个归一化层、多头注意力机制层以及多层感知器；
步骤3.1、设置一个可学习的分类标记，利用式(2)得到4N个全局特征表示和分类标记xclass的输入序列z0，作为编码器的输入；
z0＝[xclass；x11；x12；x13；x14；…；xN1；xN2；xN3；xN4] (2)
步骤3.2、利用式(3)得到4N个全局特征表示和分类标记xclass经过编码器的多头自注意力机制层的输出z'；
z'＝MSA(LN(z0))+z0 (3)
式(3)中，MSA(·)表示多头自注意力机制层的处理；LN(·)表示归一化层的处理；
步骤3.3、利用式(4)得到编码器的多层感知器的输出zL；
zL＝MLP(LN(z'))+z' (4)
式(4)中，MLP(·)表示多层感知器的处理；LN(·)表示归一化层的处理；
步骤3.4、利用式(5)得到经归一化处理后的输出z′L，并提取出分类标记xclass对应的D维特征
Figure FDA0003650343210000031
z′L＝LN(zL) (5)
式(5)中，LN(·)表示归一化层的处理；
步骤3.5、利用式(6)对特征进行线性变换，得到线性分类器的输出结果ppred；
Figure FDA0003650343210000032
式(6)中，Linear(·)代表线性分类函数；
Figure FDA0003650343210000033
c代表阴性/阳性。
5.根据权利要求4所述的一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法，其特征在于：步骤(4)所述的利用全切片级别标签的肺癌组织病理全切片图像数据集弱监督训练网络模型，具体如下：
利用式(7)构建交叉熵损失函数L，并利用梯度下降算法训练由双分支网络和弱监督视觉转换器网络所构成的网络模型，使得交叉熵损失函数L达到收敛，从而得到训练好的能够预测全切片阴阳性的网络模型；
Figure FDA0003650343210000034
式(7)中，ylabel为全切片图像对应的阴阳性标签，N为全切片图像总数。
6.根据权利要求5所述的一种基于弱监督学习和转换器的肺癌组织病理全切片分类方法，其特征在于：步骤(5)所述的利用训练好的模型对肺癌组织病理全切片图像进行阴阳性分类，具体如下：
首先在肺癌组织病理全切片图像上随机采集10X倍率下的图像块，并获取每一图像块对应的20X倍率下的图像块，分别送入步骤(2)中所述的双分支深度特征提取网络，得到10X倍率和20X倍率的深度特征，将10X倍率的深度特征拼接上20X倍率的深度特征，融合双倍率特征，送入步骤(3)中所述能够预测全切片图像阴阳性的弱监督视觉转换器网络模型，得到全切片的阴阳性分类结果。
CN202210575594.3A 2022-05-18 2022-05-18 基于弱监督学习和转换器的肺癌组织病理全切片分类方法 Active CN114782753B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210575594.3A CN114782753B (zh) 2022-05-18 2022-05-18 基于弱监督学习和转换器的肺癌组织病理全切片分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210575594.3A CN114782753B (zh) 2022-05-18 2022-05-18 基于弱监督学习和转换器的肺癌组织病理全切片分类方法

Publications (2)

Publication Number Publication Date
CN114782753A true CN114782753A (zh) 2022-07-22
CN114782753B CN114782753B (zh) 2024-07-12

Family

ID=82407945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210575594.3A Active CN114782753B (zh) 2022-05-18 2022-05-18 基于弱监督学习和转换器的肺癌组织病理全切片分类方法

Country Status (1)

Country Link
CN (1) CN114782753B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117522877A (zh) * 2024-01-08 2024-02-06 吉林大学 一种基于视觉自注意力的胸部多疾病诊断模型的构建方法
CN117541844A (zh) * 2023-09-27 2024-02-09 合肥工业大学 一种基于超图学习的弱监督组织病理学全切片图像分析方法
CN117809853A (zh) * 2024-02-29 2024-04-02 首都医科大学附属北京友谊医院 一种肝细胞癌病理识别模型的构建方法及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229576A (zh) * 2018-01-23 2018-06-29 北京航空航天大学 一种跨倍率病理图像特征学习方法
CN108305253A (zh) * 2018-03-08 2018-07-20 麦克奥迪（厦门）医疗诊断系统有限公司 一种基于多倍率深度学习的病理全切片诊断方法
US20200082224A1 (en) * 2018-09-10 2020-03-12 Sri International Weakly supervised learning for classifying images
CN113378792A (zh) * 2021-07-09 2021-09-10 合肥工业大学 融合全局和局部信息的弱监督宫颈细胞图像分析方法
CN113469119A (zh) * 2021-07-20 2021-10-01 合肥工业大学 基于视觉转换器和图卷积网络的宫颈细胞图像分类方法
CN113628197A (zh) * 2021-08-18 2021-11-09 哈尔滨理工大学 一种基于对比学习的弱监督全切片组织病理图像分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229576A (zh) * 2018-01-23 2018-06-29 北京航空航天大学 一种跨倍率病理图像特征学习方法
CN108305253A (zh) * 2018-03-08 2018-07-20 麦克奥迪（厦门）医疗诊断系统有限公司 一种基于多倍率深度学习的病理全切片诊断方法
US20200082224A1 (en) * 2018-09-10 2020-03-12 Sri International Weakly supervised learning for classifying images
CN113378792A (zh) * 2021-07-09 2021-09-10 合肥工业大学 融合全局和局部信息的弱监督宫颈细胞图像分析方法
CN113469119A (zh) * 2021-07-20 2021-10-01 合肥工业大学 基于视觉转换器和图卷积网络的宫颈细胞图像分类方法
CN113628197A (zh) * 2021-08-18 2021-11-09 哈尔滨理工大学 一种基于对比学习的弱监督全切片组织病理图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘海东;杨小渝;朱林忠;: "基于生成对抗网络的乳腺癌病理图像可疑区域标记", 科研信息化技术与应用, no. 06, 20 November 2017 (2017-11-20) *
郑钰山;姜志国;: "组织病理图像检索及其癌症辅助诊断方法概述", 中国体视学与图像分析, no. 04, 25 December 2019 (2019-12-25) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541844A (zh) * 2023-09-27 2024-02-09 合肥工业大学 一种基于超图学习的弱监督组织病理学全切片图像分析方法
CN117522877A (zh) * 2024-01-08 2024-02-06 吉林大学 一种基于视觉自注意力的胸部多疾病诊断模型的构建方法
CN117522877B (zh) * 2024-01-08 2024-04-05 吉林大学 一种基于视觉自注意力的胸部多疾病诊断模型的构建方法
CN117809853A (zh) * 2024-02-29 2024-04-02 首都医科大学附属北京友谊医院 一种肝细胞癌病理识别模型的构建方法及电子设备

Also Published As

Publication number Publication date
CN114782753B (zh) 2024-07-12

Similar Documents

Publication Publication Date Title
Czimmermann et al. Visual-based defect detection and classification approaches for industrial applications—a survey
CN114782753A (zh) 基于弱监督学习和转换器的肺癌组织病理全切片分类方法
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
CN110021425B (zh) 一种比较检测器及其构建方法与宫颈癌细胞检测方法
CN110135459B (zh) 一种基于双三元组深度度量学习网络的零样本分类方法
CN113256636B (zh) 一种自底向上的寄生虫虫种发育阶段及图像像素分类方法
CN110097974A (zh) 一种基于深度学习算法的鼻咽癌远端转移预测系统
CN113469119B (zh) 基于视觉转换器和图卷积网络的宫颈细胞图像分类方法
CN110111895A (zh) 一种鼻咽癌远端转移预测模型的建立方法
CN113378792B (zh) 融合全局和局部信息的弱监督宫颈细胞图像分析方法
CN112581450B (zh) 基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法
CN112347908B (zh) 一种基于空间分组注意力模型的外科手术器械图像识别方法
CN114119585B (zh) 基于Transformer的关键特征增强胃癌图像识别方法
CN112420170B (zh) 一种提高计算机辅助诊断系统图片分类准确度的方法
CN114820481A (zh) 基于转换器的肺癌组织病理全切片egfr状态预测方法
CN112750132A (zh) 基于双路径网络和通道注意的白细胞图像分割方法
CN114863179B (zh) 基于多尺度特征嵌入和交叉注意力的内窥镜图像分类方法
Simon et al. Shallow cnn with lstm layer for tuberculosis detection in microscopic images
CN110929762A (zh) 一种基于深度学习的肢体语言检测与行为分析方法及系统
CN115909006A (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
CN114972254A (zh) 一种基于卷积神经网络的宫颈细胞图像分割方法
CN115564997A (zh) 一种基于强化学习的病理切片扫描分析一体化方法及系统
CN113516097B (zh) 一种基于改进EfficentNet-V2的植物叶片疾病识别方法
CN117198468A (zh) 基于行为识别和数据分析的干预方案智慧化管理系统
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant