CN113378792B - 融合全局和局部信息的弱监督宫颈细胞图像分析方法 - Google Patents

融合全局和局部信息的弱监督宫颈细胞图像分析方法 Download PDF

Info

Publication number
CN113378792B
CN113378792B CN202110777703.5A CN202110777703A CN113378792B CN 113378792 B CN113378792 B CN 113378792B CN 202110777703 A CN202110777703 A CN 202110777703A CN 113378792 B CN113378792 B CN 113378792B
Authority
CN
China
Prior art keywords
cell
visual field
characteristic
nth
field image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110777703.5A
Other languages
English (en)
Other versions
CN113378792A (zh
Inventor
史骏
吴坤
唐昆铭
贺雨欣
祝新宇
孙宇
李俊
郑钰山
姜志国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110777703.5A priority Critical patent/CN113378792B/zh
Publication of CN113378792A publication Critical patent/CN113378792A/zh
Application granted granted Critical
Publication of CN113378792B publication Critical patent/CN113378792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合全局和局部信息的弱监督宫颈液基细胞图像分析方法，其步骤包括：1、获取具有图片级别的弱标签宫颈液基细胞视野图像数据集；2、建立融合全局和局部信息的弱监督网络模型；3、使用弱标签的数据集离线训练网络模型；4、利用训练好的模型对宫颈细胞图像进行预测，完成图像分类以及单个细胞的检测与分类。本发明能克服宫颈图像数据详细标注有限的不足，并使用弱监督方法有效完成视野图像(Field OfView，FOV)级的分类以及细胞级别的检测与分类。

Description

融合全局和局部信息的弱监督宫颈细胞图像分析方法
技术领域
本发明涉及宫颈细胞学病理图像分析领域，具体涉及一种融合全局和局部信息的弱监督宫颈液基细胞图像分析方法。
背景技术
传统的病理图像分析方法是这样的：需要一个经过专业学习的病理医生在显微镜下查看病理图像，并找到一些感兴趣区域(Region OfInterest，ROI)，而后，医生会用自己的专业知识进行分类与分析。传统方法存在许多问题，医生每天可能需要的阅片数量很多，而单张病理切片图像可能包含几百万个细胞，这极大地增加了医生的负担；并且，病理切片分析的正确率和阅片医生的经验有很大关系，这为病理数据分析带来很多困难。若是因为阅片医生的主观看法、或者当时阅片的疲惫，而带来的误差，将会导致分析效果堪。若是机器能帮助阅片，将会为病理切片分析带来巨大的好处。
而近年来，随着计算机硬件(尤其是GPU)和神经网络模型的不断改进，深度学习在图像处理方面的发展，尤其是识别与分类上，越发高效，卷积神经网络在图像处理方面的应用也越发广泛。因此，卷积神经网络在病理图像分类中表现出了巨大的潜力。使用深度学习的方法进行医学病理图像分类，不仅能减轻医学工作者的负担，也能提高工作效率。
但是目前应用于病理图像分析的大多数是完全监督的学习方法，需要对海量的病理图像数据进行详细标注，极度费时费力，并且很大一部分是阴性标注信息，对于最终分析结果的贡献十分有限。
发明内容
本发明为克服现有技术的不足之处，提出一种融合全局和局部信息的弱监督宫颈细胞图像分析方法，以期能快速准确的实现图像分类以及细胞分类，并克服病理图像数据详细标注信息的难获取等问题。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种融合全局和局部信息的弱监督宫颈细胞图像分析方法的特点是按照如下步骤进行的：
步骤1、获取带有图片类别标签的宫颈细胞视野图像数据集B＝{B1,B2,...,Bn,...,BN}，其中，Bn表示包含若干不同类别细胞的第n张宫颈细胞视野图像，且部分细胞的位置及类别在宫颈细胞视野图像上有粗粒度的标注；并有：
Figure BDA0003156355410000011
表示第n张宫颈细胞视野图像中的第c个细胞；Cn表示第n张宫颈细胞视野图像的细胞总数；
步骤2、建立融合全局和局部信息的弱监督网络模型，所述弱监督网络模型由细胞检测模块、细胞核特征提取模块、局部信息提取模块、全局信息提取模块和跨越注意力特征融合模块组成；
步骤2.1、所述细胞检测模块使用目标检测网络Yolo对宫颈细胞视野图像数据集B进行检测，得到每张宫颈细胞视野图像的检测结果，记为A＝{A1,A2,...,An,...,AN}，An表示第n张宫颈细胞视野图像Bn中所有细胞的位置与类别信息；并有：
Figure BDA0003156355410000021
表示第n张宫颈细胞视野图像Bn中第c个细胞的位置与类别信息；且
Figure BDA0003156355410000022
分别为第c个细胞的外接矩形边界框的两个对角顶点在第n张宫颈细胞视野图像的位置坐标，
Figure BDA0003156355410000023
为第c个细胞的类别；
步骤2.2、令所述细胞核特征提取模块依次由：一个卷积层、一个归一化层、ReLu激活函数、四个残差模块以及一个平均池化层组成；
第n张宫颈细胞视野图像的检测结果An输入所述细胞核特征提取模块后输出第n张宫颈细胞视野图像Bn的细胞核特征图
Figure BDA0003156355410000024
其中，D是单个细胞特征维度；
步骤2.3、所述局部特征提取模块包括：预处理模块和多个ViT编码器；每个ViT编码器依次包括：第一个层归一化模块、一个层数可调节的多头注意力模块、第二个层归一化模块、包含一个多层感知器和两个残差模块；其中的一个残差模块是连接上一个ViT编码器的输入与当前ViT编码器的多头注意力模块的输出；另一个残差模块是连接当前ViT编码器的第二个层归一化模块的输入与当前ViT编码器的多层感知器的输出；
所述预处理模块将第n张宫颈细胞视野图像Bn的细胞核特征图Fn划分为p个特征图块，每个特征图块按照不同通道展平为二维特征向量，将每个特征图块在细胞核特征图Fn对应的位置作为位置向量并嵌入到自身展平后的二维特征向量中，同时将细胞核特征图Fn的类别信息息作为类别向量并嵌入到自身展平后的二维特征向量的首部，从而得到细胞核特征图Fn的特征图块Zn∈R(p·Channels)×D，其中，Channels是图像的通道数；
将特征图块Zn依次送入多个ViT编码器中并最终输出局部信息特征图
Figure BDA0003156355410000031
dim为提取后的单个细胞特征维数；
步骤2.4、所述全局信息提取模块是包括展平模块和双向长短时记忆网络模块；
所述展平模块将所述细胞核特征图Fn展平成一维的序列化向量，再对其按照长度的降序进行排序后，排序后的向量送入到所述双向长短时记忆网络中，并输出全局信息特征图hn；
步骤2.5、所述跨越注意力特征融合模块对所述局部信息特征图Pn进行线性变换，得到第n个键Kn和第n个值Vn；并对所述全局信息特征图hn进行线性变换，得到第n个查询值qn；再对第n个键Kn、第n个值Vn和第n个查询值qn进行融合处理，得到注意力得分sn和注意力特征zn；最后将全局信息特征图hn与注意力特征zn相加后，得到第n张宫颈细胞视野图像Bn中的分类特征
Figure BDA0003156355410000032
将局部信息特征图Pn与注意力得分sn相乘后，得到第n张宫颈细胞视野图像Bn中每个细胞的分类特征；
步骤3、利用式(1)和式(2)所示的交叉熵损失函数分别得到视野图像分类的损失值L1以及细胞分类的损失值L2：
Figure BDA0003156355410000033
Figure BDA0003156355410000034
式(1)和式(2)中，ync为第n张宫颈细胞视野图像Bn是类别c的真值，正类为1，负类为0，pnc为模型输出的第n张宫颈细胞视野图像Bn为类别c的概率值，
Figure BDA0003156355410000035
为第n张宫颈细胞视野图像Bn中所有细胞的真实类别的真值，并有
Figure BDA0003156355410000036
表示第n张宫颈细胞视野图像Bn中第c个细胞的类别真值，
Figure BDA0003156355410000037
为模型对Bn中所有细胞的预测真实类别的概率，且有
Figure BDA0003156355410000038
表示第n张宫颈细胞视野图像Bn中第c个细胞类别预测的概率；
利用式(3)建立总的损失值L：
L＝L1+λ×L2 (3)
式(3)中，λ为超参数；
将所述训练集数据B输入所述弱监督网络模型进行离线训练，并采用Adam优化器对所述总的损失值L进行优化求解，从而调整所述弱监督网络模型中的所有参数，并得到最优弱监督分类模型，用于对宫颈细胞图像进行分析，以实现图像分类以及细胞分类。
与已有技术相比，本发明具有如下优点：
1.本发明能够使用有限度的粗粒度标注信息实现宫颈病理图像分类以及细胞分类，不再依赖详细的细胞数据标注，提高了网络模型在实际应用场景中分析的高效性与有效性；
2.本发明利用视觉转换器(Vision Transformer，ViT)网络实现对单个细胞特征的有效提取，结合多分支的全连接层分类，解决了特征相似的细胞易混淆的问题，提高了细胞个体的分类准确率；
3.本发明通过双向长短时记忆网络BiLSTM网络提取宫颈细胞图像的全局信息，对图像中所有细胞特征进行建模并提取，有效保留上下文信息，解决了单个细胞特征的孤立性和特例性，提高了图像分类的准确率和可解释性；
4.本发明利用跨越注意力(CrossAttention)机制融合了宫颈病理图像的全局信息和局部信息，使得网络模型在关注单个细胞特征的情况下，同时获得细胞在整体图像下的贡献情况，不仅能为医生提供图像的类别信息，而且帮助医生定位图像中的重要细胞个体，提高了临产应用价值。
附图说明
图1为本发明方法的流程图；
图2为本发明的融合全局和局部信息融合的弱监督网络模型图；
图3为本发明提取局部信息的ViT编码器模块示意图；
图4为本发明的宫颈液基细胞视野图像训练样本图。
具体实施方式
本实施例中，一种融合全局和局部信息的弱监督宫颈细胞图像分析方法，主要是利用视觉转换器(Vision Transformer，ViT)网络结构和双向长短时记忆网络(BiLSTM)分别提取图像局部和全局信息，再使用跨越注意力(CrossAttention)机制对不同尺度信息进行融合，实现宫颈液基细胞图像分类和细胞分类，具体的说，如图1所示，是按照如下步骤进行的：
步骤1、获取带有图片类别标签的宫颈细胞视野图像数据集B＝{B1,B2,...,Bn,...,BN}，其中，Bn表示包含若干不同类别细胞的第n张宫颈细胞视野图像，且部分细胞的位置及类别在宫颈细胞视野图像上有粗粒度的标注；并有：
Figure BDA0003156355410000051
表示第n张宫颈细胞视野图像中的第c个细胞；Cn表示第n张宫颈细胞视野图像的细胞总数；本实施例中使用的数据包含未见上皮内病变类(NILM)、非典型腺细胞类(AGC)、非典型鳞状细胞类(ASCUS)、低级别阳性类(LSIL)和高级别阳性了类(HSIL)5个类别，如图4所示，每类图像各有300张，所有数据均来自医生标注的424个感兴趣区域(Region OfInterest，ROI)和100张全切片图像(Whole Slide Image，WSI)，图像的长宽都不大于2048，所有数据的70％作为训练集，30％数据用于测试。
步骤2、建立如图2所示的融合全局和局部信息的弱监督网络模型，弱监督网络模型由细胞检测模块、细胞核特征提取模块、局部信息提取模块、全局信息提取模块和跨越注意力特征融合模块组成；
步骤2.1、细胞检测模块使用目标检测网络Yolo对宫颈细胞视野图像数据集B进行检测，得到每张宫颈细胞视野图像的检测结果，记为A＝{A1,A2,...,An,...,AN}，An表示第n张宫颈细胞视野图像Bn中所有细胞的位置与类别信息；并有：
Figure BDA0003156355410000052
表示第n张宫颈细胞视野图像Bn中第c个细胞的位置与类别信息；且
Figure BDA0003156355410000053
分别为第c个细胞的外接矩形边界框的两个对角顶点在第n张宫颈细胞视野图像的位置坐标，
Figure BDA0003156355410000054
为第c个细胞的类别；
步骤2.2、令细胞核特征提取模块依次由：一个卷积层、一个归一化层、ReLu激活函数、四个残差模块以及一个平均池化层组成；
第n张宫颈细胞视野图像的检测结果An输入细胞核特征提取模块后输出第n张宫颈细胞视野图像Bn的细胞核特征图
Figure BDA0003156355410000055
其中，D是单个细胞特征维度，本实施例中，D＝2048；
步骤2.3、局部特征提取模块包括：预处理模块和多个ViT编码器；每个ViT编码器结构如图3所示，依次包括：第一个层归一化模块、一个层数可调节的多头注意力模块、第二个层归一化模块、包含一个多层感知器和两个残差模块；其中的一个残差模块是连接上一个ViT编码器的输入与当前ViT编码器的多头注意力模块的输出；另一个残差模块是连接当前ViT编码器的第二个层归一化模块的输入与当前ViT编码器的多层感知器的输出；
预处理模块将第n张宫颈细胞视野图像Bn的细胞核特征图Fn划分为p个特征图块，每个特征图块按照不同通道展平为二维特征向量，将每个特征图块在细胞核特征图Fn对应的位置作为位置向量并嵌入到自身展平后的二维特征向量中，同时将细胞核特征图Fn的类别信息息作为类别向量并嵌入到自身展平后的二维特征向量的首部，从而得到细胞核特征图Fn的特征图块Zn∈R(p·Channels)×D，其中，Channels是图像的通道数；本实施例中，每个细胞图像尺寸为224×224，特征图块的大小为16×16，因此p＝196，且Channels＝3，本实施例中多头注意力模块的输入为Kn、Vn、qn，输出为多个注意力头矩阵的连接与权重
Figure BDA0003156355410000061
的乘积，其中每个头是Kn、Vn、qn与相应权重
Figure BDA0003156355410000062
分别的乘积作为输入到注意力层的结果，具体公式如式(1)所示：
Figure BDA0003156355410000063
式(1)中，h＝12为头的数量，本实施中有
Figure BDA0003156355410000064
Figure BDA0003156355410000065
并且
Figure BDA0003156355410000066
注意力层的输出公式具体如式(2)所示：
Figure BDA0003156355410000067
将特征图块Zn依次送入多个ViT编码器中并最终输出局部信息特征图
Figure BDA0003156355410000068
dim为提取后的单个细胞特征维数；本实施例中，使用12个ViT编码器，多层感知器包含两层网络和一个GELU非线性激活层，最终输出的维度时768，即dim＝768。
步骤2.4、全局信息提取模块是包括展平模块和双向长短时记忆网络模块；
展平模块将细胞核特征图Fn展平成一维的序列化向量，再对其按照长度的降序进行排序后，排序后的向量送入到双向长短时记忆网络中，并输出全局信息特征图hn；
步骤2.5、跨越注意力特征融合模块对局部信息特征图Pn进行线性变换，得到第n个键Kn和第n个值Vn；并对全局信息特征图hn进行线性变换，得到第n个查询值qn；再对第n个键Kn、第n个值Vn和第n个查询值qn进行融合处理，得到注意力得分sn和注意力特征zn；最后将全局信息特征图hn与注意力特征zn相加后，得到第n张宫颈细胞视野图像Bn中的分类特征
Figure BDA0003156355410000071
将局部信息特征图Pn与注意力得分sn相乘后，得到第n张宫颈细胞视野图像Bn中每个细胞的分类特征；
步骤3、利用式(3)和式(4)所示的交叉熵损失函数分别得到视野图像分类的损失值L1以及细胞分类的损失值L2：
Figure BDA0003156355410000072
Figure BDA0003156355410000073
式(3)和式(4)中，ync为Bn是类别c的真值，正类为1，负类为0，pnc为模型输出Bn是类别c的概率值，
Figure BDA0003156355410000074
为Bn中所有细胞的真实类别的真值，且有
Figure BDA0003156355410000075
表示Bn中第c个细胞的类别真值，
Figure BDA0003156355410000076
为模型对第n张宫颈细胞视野图像Bn中所有细胞的预测真实类别的概率，且有
Figure BDA0003156355410000077
表示第n张宫颈细胞视野图像Bn中第c个细胞类别预测的概率；
利用式(5)建立总的损失值L：
L＝L1+λ×L2 (5)
式(5)中，λ为超参数；
将训练集数据B输入弱监督网络模型进行离线训练，并采用Adam优化器对总的损失值L进行优化求解，从而调整弱监督网络模型中的所有参数，并得到最优弱监督分类模型，用于对宫颈细胞图像进行分析，以实现图像分类以及细胞分类。

Claims (1)

1.一种融合全局和局部信息的弱监督宫颈细胞图像分析方法，其特征是按照如下步骤进行的：
步骤1、获取带有图片类别标签的宫颈细胞视野图像数据集B＝{B1,B2,...,Bn,...,BN}，其中，Bn表示包含若干不同类别细胞的第n张宫颈细胞视野图像，且部分细胞的位置及类别在宫颈细胞视野图像上有粗粒度的标注；并有：
Figure FDA0003711066210000011
Figure FDA0003711066210000012
表示第n张宫颈细胞视野图像中的第c个细胞；Cn表示第n张宫颈细胞视野图像的细胞总数；
步骤2、建立融合全局和局部信息的弱监督网络模型，所述弱监督网络模型由细胞检测模块、细胞核特征提取模块、局部信息提取模块、全局信息提取模块和跨越注意力特征融合模块组成；
步骤2.1、所述细胞检测模块使用目标检测网络Yolo对宫颈细胞视野图像数据集B进行检测，得到每张宫颈细胞视野图像的检测结果，记为A＝{A1,A2,...,An,...,AN}，An表示第n张宫颈细胞视野图像Bn中所有细胞的位置与类别信息；并有：
Figure FDA0003711066210000013
Figure FDA0003711066210000014
表示第n张宫颈细胞视野图像Bn中第c个细胞的位置与类别信息；且
Figure FDA0003711066210000015
分别为第c个细胞的外接矩形边界框的两个对角顶点在第n张宫颈细胞视野图像的位置坐标，
Figure FDA0003711066210000016
为第c个细胞的类别；
步骤2.2、令所述细胞核特征提取模块依次由：一个卷积层、一个归一化层、ReLu激活函数、四个残差模块以及一个平均池化层组成；
第n张宫颈细胞视野图像的检测结果An输入所述细胞核特征提取模块后输出第n张宫颈细胞视野图像Bn的细胞核特征图
Figure FDA0003711066210000017
其中，D是单个细胞特征维度；
步骤2.3、所述局部信息提取模块包括：预处理模块和多个ViT编码器；每个ViT编码器依次包括：第一个层归一化模块、一个层数可调节的多头注意力模块、第二个层归一化模块、一个多层感知器和两个残差模块；其中的一个残差模块是连接上一个ViT编码器的输入与当前ViT编码器的多头注意力模块的输出；另一个残差模块是连接当前ViT编码器的第二个层归一化模块的输入与当前ViT编码器的多层感知器的输出；
所述预处理模块将第n张宫颈细胞视野图像Bn的细胞核特征图Fn划分为p个特征图块，每个特征图块按照不同通道展平为二维特征向量，将每个特征图块在细胞核特征图Fn对应的位置作为位置向量并嵌入到自身展平后的二维特征向量中，同时将细胞核特征图Fn的类别信息息作为类别向量并嵌入到自身展平后的二维特征向量的首部，从而得到细胞核特征图Fn的特征图块Zn∈R(p·Channels)×D，其中，Channels是图像的通道数；
将特征图块Zn依次送入多个ViT编码器中并最终输出局部信息特征图
Figure FDA0003711066210000021
dim为提取后的单个细胞特征维数；
步骤2.4、所述全局信息提取模块是包括展平模块和双向长短时记忆网络模块；
所述展平模块将所述细胞核特征图Fn展平成一维的序列化向量，再对其按照长度的降序进行排序后，排序后的向量送入到所述双向长短时记忆网络中，并输出全局信息特征图hn；
步骤2.5、所述跨越注意力特征融合模块对所述局部信息特征图Pn进行线性变换，得到第n个键Kn和第n个值Vn；并对所述全局信息特征图hn进行线性变换，得到第n个查询值qn；再对第n个键Kn、第n个值Vn和第n个查询值qn进行融合处理，得到注意力得分sn和注意力特征zn；最后将全局信息特征图hn与注意力特征zn相加后，得到第n张宫颈细胞视野图像Bn中的分类特征
Figure FDA0003711066210000022
将局部信息特征图Pn与注意力得分sn相乘后，得到第n张宫颈细胞视野图像Bn中每个细胞的分类特征；
步骤3、利用式(1)和式(2)所示的交叉熵损失函数分别得到视野图像分类的损失值L1以及细胞分类的损失值L2：
Figure FDA0003711066210000023
Figure FDA0003711066210000024
式(1)和式(2)中，ync为第n张宫颈细胞视野图像Bn是类别c的真值，正类为1，负类为0，pnc为模型输出的第n张宫颈细胞视野图像Bn为类别c的概率值，
Figure FDA0003711066210000025
为第n张宫颈细胞视野图像Bn中所有细胞的真实类别的真值，并有
Figure FDA0003711066210000026
Figure FDA0003711066210000027
表示第n张宫颈细胞视野图像Bn中第c个细胞的类别真值，
Figure FDA0003711066210000031
为模型对Bn中所有细胞的预测真实类别的概率，且有
Figure FDA0003711066210000032
Figure FDA0003711066210000033
表示第n张宫颈细胞视野图像Bn中第c个细胞类别预测的概率；
利用式(3)建立总的损失值L：
L＝L1+λ×L2 (3)
式(3)中，λ为超参数；
将所述宫颈细胞视野图像训练集数据B输入所述弱监督网络模型进行离线训练，并采用Adam优化器对所述总的损失值L进行优化求解，从而调整所述弱监督网络模型中的所有参数，并得到最优弱监督分类模型，用于对宫颈细胞图像进行分析，以实现图像分类以及细胞分类。
CN202110777703.5A 2021-07-09 2021-07-09 融合全局和局部信息的弱监督宫颈细胞图像分析方法 Active CN113378792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110777703.5A CN113378792B (zh) 2021-07-09 2021-07-09 融合全局和局部信息的弱监督宫颈细胞图像分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110777703.5A CN113378792B (zh) 2021-07-09 2021-07-09 融合全局和局部信息的弱监督宫颈细胞图像分析方法

Publications (2)

Publication Number Publication Date
CN113378792A CN113378792A (zh) 2021-09-10
CN113378792B true CN113378792B (zh) 2022-08-02

Family

ID=77581458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110777703.5A Active CN113378792B (zh) 2021-07-09 2021-07-09 融合全局和局部信息的弱监督宫颈细胞图像分析方法

Country Status (1)

Country Link
CN (1) CN113378792B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119585B (zh) * 2021-12-01 2022-11-29 昆明理工大学 基于Transformer的关键特征增强胃癌图像识别方法
CN114419570B (zh) * 2022-03-28 2023-04-07 苏州浪潮智能科技有限公司 一种点云数据识别方法、装置、电子设备及存储介质
CN114782753B (zh) * 2022-05-18 2024-07-12 合肥工业大学 基于弱监督学习和转换器的肺癌组织病理全切片分类方法
CN115775226B (zh) * 2022-10-08 2023-09-26 广州锟元方青医疗科技有限公司 基于Transformer的医学图像分类方法
CN116188436B (zh) * 2023-03-03 2023-11-10 合肥工业大学 基于局部特征和全局特征融合的膀胱镜图像分类方法
CN118097662B (zh) * 2024-02-29 2024-09-27 东北大学 一种基于CNN-SPPF和ViT的巴氏涂片宫颈细胞图像分类方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020048119A1 (en) * 2018-09-04 2020-03-12 Boe Technology Group Co., Ltd. Method and apparatus for training a convolutional neural network to detect defects
WO2020177217A1 (zh) * 2019-03-04 2020-09-10 东南大学 基于变尺度多特征融合卷积网络的路侧图像行人分割方法
CN111738355A (zh) * 2020-07-22 2020-10-02 中国人民解放军国防科技大学 注意力融合互信息的图像分类方法、装置及存储介质
CN111985536A (zh) * 2020-07-17 2020-11-24 万达信息股份有限公司 一种基于弱监督学习的胃镜病理图像分类方法
CN112215117A (zh) * 2020-09-30 2021-01-12 北京博雅智康科技有限公司 一种基于宫颈细胞学图像的异常细胞识别方法及系统
CN112926700A (zh) * 2021-04-27 2021-06-08 支付宝(杭州)信息技术有限公司 针对目标图像的类别识别方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020048119A1 (en) * 2018-09-04 2020-03-12 Boe Technology Group Co., Ltd. Method and apparatus for training a convolutional neural network to detect defects
WO2020177217A1 (zh) * 2019-03-04 2020-09-10 东南大学 基于变尺度多特征融合卷积网络的路侧图像行人分割方法
CN111985536A (zh) * 2020-07-17 2020-11-24 万达信息股份有限公司 一种基于弱监督学习的胃镜病理图像分类方法
CN111738355A (zh) * 2020-07-22 2020-10-02 中国人民解放军国防科技大学 注意力融合互信息的图像分类方法、装置及存储介质
CN112215117A (zh) * 2020-09-30 2021-01-12 北京博雅智康科技有限公司 一种基于宫颈细胞学图像的异常细胞识别方法及系统
CN112926700A (zh) * 2021-04-27 2021-06-08 支付宝(杭州)信息技术有限公司 针对目标图像的类别识别方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification;Peng Zhou et al;《Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics》;20160812;全文 *
Data-efficient and weakly supervised computational pathology on whole-slide images;Ming Y Lu et al;《Nature Biomedical Engineering》;20200630;全文 *
基于密集卷积神经网络特征提取的图像描述模型研究;郝燕龙;《中国优秀硕士学位论文全文数据库》;20190915;全文 *
细胞图像的多特征融合分类识别方法研究;张艳新;《中国优秀硕士学位论文全文数据库》;20200115;全文 *

Also Published As

Publication number Publication date
CN113378792A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN113378792B (zh) 融合全局和局部信息的弱监督宫颈细胞图像分析方法
Du et al. Pavement distress detection and classification based on YOLO network
CN110598736B (zh) 一种电力设备红外图像故障定位、识别与预测方法
CN108830326B (zh) 一种mri图像的自动分割方法及装置
CN104992223B (zh) 基于深度学习的密集人数估计方法
CN110021425B (zh) 一种比较检测器及其构建方法与宫颈癌细胞检测方法
CN113469119B (zh) 基于视觉转换器和图卷积网络的宫颈细胞图像分类方法
CN107451565B (zh) 一种半监督小样本深度学习图像模式分类识别方法
CN112561863B (zh) 一种基于改进ResNet的医学图像多分类识别系统
CN109754007A (zh) 前列腺手术中外包膜智能检测和预警方法及系统
CN107767416B (zh) 一种低分辨率图像中行人朝向的识别方法
CN112861917B (zh) 基于图像属性学习的弱监督目标检测方法
Kumar et al. Multiclass classification of nutrients deficiency of apple using deep neural network
CN111401426A (zh) 基于伪标签学习的小样本高光谱图像分类方法
CN117541844B (zh) 一种基于超图学习的弱监督组织病理学全切片图像分析方法
Chen et al. Agricultural remote sensing image cultivated land extraction technology based on deep learning
CN111985325A (zh) 特高压环境评价中的航拍小目标快速识别方法
CN108765374A (zh) 一种宫颈涂片图像中异常核区域筛查的方法
Ye et al. Surface defects inspection of cylindrical metal workpieces based on weakly supervised learning
CN114820481A (zh) 基于转换器的肺癌组织病理全切片egfr状态预测方法
CN114283326A (zh) 一种结合局部感知和高阶特征重构的水下目标重识别方法
CN114358279A (zh) 图像识别网络模型剪枝方法、装置、设备及存储介质
Ji et al. A transformer-based deep learning method for automatic pixel-level crack detection and feature quantification
CN112927215A (zh) 一种消化道活检病理切片自动分析方法
CN108846327B (zh) 一种色素痣与黑素瘤的智能判别系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant