CN115393641A - 免疫荧光图像分类方法及装置、设备、存储介质 - Google Patents

免疫荧光图像分类方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN115393641A
CN115393641A CN202210995868.4A CN202210995868A CN115393641A CN 115393641 A CN115393641 A CN 115393641A CN 202210995868 A CN202210995868 A CN 202210995868A CN 115393641 A CN115393641 A CN 115393641A
Authority
CN
China
Prior art keywords
feature map
attention
image
self
immunofluorescence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210995868.4A
Other languages
English (en)
Inventor
张雪媛
任菲
陈丽萌
杜保林
夏鹏
文煜冰
秦岩
王传鹏
赵雪松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yiyun Technology Co ltd
Chongqing Zhijian Life Technology Co ltd
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Original Assignee
Chongqing Zhijian Life Technology Co ltd
Beijing Zhijian Life Technology Co ltd
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Zhijian Life Technology Co ltd, Beijing Zhijian Life Technology Co ltd, Peking Union Medical College Hospital Chinese Academy of Medical Sciences filed Critical Chongqing Zhijian Life Technology Co ltd
Priority to CN202210995868.4A priority Critical patent/CN115393641A/zh
Publication of CN115393641A publication Critical patent/CN115393641A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于医学图像处理技术领域，公开了一种免疫荧光图像分类方法及装置、设备、存储介质，通过应用层级式的自注意力机制，对注意力特征图多次重复执行下采样和特征提取操作，随着每一次下采样，不断缩小特征图的宽和高，增加特征图的通道数，同时网络的感受野不断扩大，从关注图像的局部区域逐渐过渡到关注图像的全局区域，最后采用最后一次下采样和特征提取后的特征图，作为分类输入的目标分类图像，进行类别判断获得分类结果，因此能够获取免疫荧光图像的多尺度特征信息，从而能够适应肾小球免疫荧光图像的多分辨率问题，进而提高分类准确率。

Description

免疫荧光图像分类方法及装置、设备、存储介质
技术领域
本发明属于医学图像处理技术领域，具体涉及一种免疫荧光图像分类方法及装置、设备、存储介质。
背景技术
随着医学成像技术和计算机技术的不断发展，医学图像分析已成为医学研究、临床疾病诊断和治疗中一个不可或缺的工具和技术手段。而医学图像数据的复杂性，给传统的机器学习算法做医学图像分析带来了巨大的挑战。近几年来，深度学习(Deep Learning，DL)技术，已经成为医学图像分析的应用热点，它能够从医学图像中自动寻找隐含的疾病特征。在过去几年里，深度学习在计算机视觉任务上的成功主要依赖于卷积神经网络(Convolutional Neural Networks,CNN)，这在很大程度上是因为卷积层具有强大的归纳偏置。
目前关于肾脏免疫荧光图像的分类算法多集中于传统图像处理和卷积神经网络以及两者的结合。先利用传统的图像处理方法对免疫荧光图像做预处理，如滤波处理、颜色通道变换、根据灰度值提取信息密集区域等，后利用卷积网络做分类，或直接将原始图像输入卷积神经网络做分类。常用的卷积网络模型如ResNet模型、GoogleNet模型和DenseNet模型等。
以上肾脏免疫荧光图像分类算法，对于复杂背景下的荧光图像，如亮度不均、杂质的存在、聚焦不清晰等，处理较为受限。目前关于肾脏荧光图像的研究多集中于肾小球所在区域的检测或分割，或只是肾小球沉积部位的分类问题，较少关于荧光阳性的肾小球疾病形态的肾小球免疫荧光图像分类。
这归因于肾小球免疫荧光图像与传统的自然图像存在较大的不同。肾脏荧光图像一般由专业的肾脏病理医生或技师借助荧光显微镜对经过荧光染色的肾组织切片拍照扫片获得，不同操作者、成像系统会对图像带来一定差异，如有些图像过曝或过暗、清晰度不同、存在部分模糊图片等；而且临床获取的图像有时无法保证再同样的放大倍数，造成图像的分辨率差异较大，这给肾小球免疫荧光图像关于荧光阳性的肾小球疾病形态的准确分类带来了很大的困难。
发明内容
本发明的目的在于提供一种免疫荧光图像分类方法及装置、设备、存储介质，能够适应肾小球免疫荧光图像的多分辨率问题，进而提高分类准确率。
本发明实施例第一方面公开一种免疫荧光图像分类方法，包括：
获取待测免疫荧光图像；
将所述待测免疫荧光图像输入到卷积层中，利用所述卷积层对所述待测免疫荧光图像进行卷积操作，获得指定维度的映射特征图；
将所述映射特征图输入到区域自注意力网络中，利用所述区域自注意力网络对所述映射特征图进行特征提取，获得注意力特征图；
对所述注意力特征图重复执行以下步骤，直至重复次数达到指定次数：对所述注意力特征图进行下采样操作，获得下采样特征图；将所述下采样特征图输入到所述区域自注意力网络中，利用所述区域自注意力网络对所述下采样特征图进行特征提取，获得新的注意力特征图；将重复次数累加一；
当所述重复次数达到指定次数时，将最终获得的新的注意力特征图作为目标分类图像；
对所述目标分类图像进行分类，获得所述待测免疫荧光图像的分类结果。
本发明实施例第二方面公开一种免疫荧光图像分类装置，包括：
获取单元，用于获取待测免疫荧光图像；
卷积单元，用于将所述待测免疫荧光图像输入到卷积层中，利用所述卷积层对所述待测免疫荧光图像进行卷积操作，获得指定维度的映射特征图；
注意力单元，用于将所述映射特征图输入到区域自注意力网络中，利用所述区域自注意力网络对所述映射特征图进行特征提取，获得注意力特征图；
多尺度单元，用于对所述注意力特征图重复执行以下步骤，直至重复次数达到指定次数：对所述注意力特征图进行下采样操作，获得下采样特征图；将所述下采样特征图输入到所述区域自注意力网络中，利用所述区域自注意力网络对所述下采样特征图进行特征提取，获得新的注意力特征图；将重复次数累加一；
确定单元，用于在所述重复次数达到指定次数时，将所述多尺度单元最终获得的新的注意力特征图作为目标分类图像；
分类单元，用于对所述目标分类图像进行分类，获得所述待测免疫荧光图像的分类结果。
本发明实施例第三方面公开一种电子设备，包括存储有可执行程序代码的存储器以及与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行第一方面公开的免疫荧光图像分类方法。
本发明实施例第四方面公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行第一方面公开的免疫荧光图像分类方法。
本发明的有益效果在于，所提供的免疫荧光图像分类方法及装置、设备、存储介质，通过应用层级式的自注意力机制，对注意力特征图多次重复执行下采样和特征提取操作，随着每一次下采样，不断缩小特征图的宽和高，增加特征图的通道数，同时网络的感受野不断扩大，从关注图像的局部区域逐渐过渡到关注图像的全局区域，最后采用最后一次下采样和特征提取后的特征图，作为分类输入的目标分类图像，进行类别判断获得分类结果，因此能够获取免疫荧光图像的多尺度特征信息，从而能够适应肾小球免疫荧光图像的多分辨率问题，进而提高分类准确率。
此外，通过基于局部区域的自注意力网络，而非直接利用全局自注意力机制，可以保证注意力的计算只局限于小区域内，而不是完整图像，从而可以减少计算量，提高计算效率。
附图说明
此处的附图，示出了本发明所述技术方案的具体实例，并与具体实施方式构成说明书的一部分，用于解释本发明的技术方案、原理及效果。
除非特别说明或另有定义，不同附图中，相同的附图标记代表相同或相似的技术特征，对于相同或相似的技术特征，也可能会采用不同的附图标记进行表示。
图1是本发明的一种免疫荧光图像分类方法的流程图；
图2是本发明的一种免疫荧光图像分类模型的网络结构示意图；
图3是本发明的一种区域自注意力模块的网络结构示意图；
图4是本发明的一种块合并层的网络结构示意图；
图5是本发明实施例公开的肾小球免疫荧光图像的6个分类类别；
图6是本发明的一种免疫荧光图像分类装置的结构示意图；
图7是本发明的一种电子设备的结构示意图。
附图标记说明：
601、获取单元；602、卷积单元；603、注意力单元；604、多尺度单元；605、确定单元；606、分类单元；701、存储器；702、处理器。
具体实施方式
为了便于理解本发明，下面将参照说明书附图对本发明的具体实施例进行更详细的描述。
除非特别说明或另有定义，本文所使用的所有技术和科学术语与所属技术领域的技术人员通常理解的含义相同。在结合本发明的技术方案以现实的场景的情况下，本文所使用的所有技术和科学术语也可以具有与实现本发明的技术方案的目的相对应的含义。本文所使用的“第一、第二…”仅仅是用于对名称的区分，不代表具体的数量或顺序。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
除非特别说明或另有定义，本文所使用的“所述”、“该”为相应位置之前所提及或描述的技术特征或技术内容，该技术特征或技术内容与其所提及的技术特征或技术内容可以是相同的，也可以是相似的。
毫无疑义，与本发明的目的相违背，或者明显矛盾的技术内容或技术特征，应被排除在外。
需要说明的是，本发明公开的免疫荧光图像分类方法可适用于不同种类的免疫荧光图像，包括但不限于肾小球免疫荧光图像，其它病灶的免疫荧光图像亦可。在本发明实施例中，以肾小球免疫荧光图像为例进行阐述，不应认为是对本发明的限定。其中，该免疫荧光图像分类方法的执行主体可为计算机设备或内嵌于计算机设备的免疫荧光图像分类装置，本发明对此也不作限定。
在执行本免疫荧光图像分类方法之前，还包括模型的训练与测试阶段：
(一)训练阶段
S01、获取多个免疫荧光样本图像，从多个免疫荧光样本图像中确定出多个目标样本图像，对每个目标样本图像进行预处理，获得多个预处理样本图像。
由于医学问题的特殊性，人群中不同疾病的发病率有很大差异，从而造成获取的样本图像类别存在严重的数据不均衡问题。针对数据不平衡问题，对于各个类别数据采用不同数量的数据扩增方法，包括颜色变换、亮度变化及几何变换等操作。其中，亮度变换和颜色变换消除了扫片过程中不同的曝光和切片制作过程中荧光染色差异对图像带来的影响，而几何变换则能够在一定程度上缩减图像聚焦扫描过程中倍数的变化和拍照取图过程中相机焦距的不同带来的图像分辨率的差异。
具体的，每一张免疫荧光样本图像均携带有医生标注的类别标签信息，根据该类别标签信息对所有免疫荧光样本图像进行类别划分，针对样本数量较多的类别，应用图像清晰度评价函数去除部分质量较差的免疫荧光样本图像；而针对样本数量较少的类别，应用颜色变换、亮度变化和几何变换中的一种或多种数据扩增手段扩充样本量，从而起到平衡数据集的作用。
比如，针对样本数量与所有样本数量的比值达到指定比例的类别，对免疫荧光样本图像进行筛选，将该类别中图像清晰度小于第一指定阈值的免疫荧光样本图像作为质量较差的免疫荧光图像去除；而针对样本数量与所有样本数量的比值未达到指定比例的类别，通过应用颜色变换、亮度变化和几何变换中的一种或多种数据扩增手段扩充相应数量的扩充样本图像进该类别中，其中相应数量的数值可根据不同类别的样本数量而确定，扩充相应数量后的样本数量与所有样本数量的比值应当可以达到指定比例，或者，相应数量的数值也可以由开发人员预先设定一指定数值。
另外，为了避免免疫荧光样本图像的数值分布范围差异过大，在样本数据扩充之后，还进一步对所有类别中的免疫荧光样本图像作固定均值和方差的归一化处理，得到多个目标样本图像。
最后将保留下来的质量较好的目标样本图像进行预处理操作，把所有目标样本图像都缩放为384*384的大小，从而获得预处理样本图像。这样既可以保留丰富的细节特征信息，又可以保证网络没有复杂的计算量。
S02、将每一个预处理样本图像输入至分割模型，获得掩码样本图像；以及，将每一个掩码样本图像与其对应的目标样本图像进行融合处理，获得每一目标样本图像的融合样本图像，将多个融合样本图像分为训练集和测试集。
考虑到获取的肾小球免疫荧光图像，除肾小球外还存在一些其它内容物，包括杂质和其它组织等，这也会给肾小球的形态识别带来一定的干扰。为此，利用分割模型获取每一个目标样本图像的掩码样本图像，去除目标样本图像背景中的杂质和其它组织，然后将分割后的掩码样本图像与目标样本图像融合后的融合样本图像作为训练集和测试集样本数据，可以为分类网络模型加入先验知识，使分类网络模型关注到重要的肾小球区域。
S03、构建包括卷积层和区域自注意力网络的分类网络模型，使用训练集中的各个融合样本图像及其对应的类别标签信息，对该分类网络模型进行有监督深度学习训练，将最终训练完成的目标分类模型作为免疫荧光图像分类模型。
另外，考虑到由于医学图像的隐私性，免疫荧光样本图像的数据来源一般多限定于个别医院，很难达到常规的图像分类任务中那么大的数量，通常数据量较少，尤其是部分类别的肾小球免疫荧光图像尤其稀缺，难以满足深度学习模型需要大量数据训练的条件，极易在网络中出现过拟合现象。
对此，本免疫荧光图像分类模型中的区域自注意力网络优选设置为区域稀疏自注意力网络。传统的自注意力机制将注意力分布给范围内的所有内容，这一方面导致注意力不集中，另一方面也增加了网络计算量。而采用稀疏自注意力机制，相比传统的自注意力机制，可以通过top-k算法自动选择范围内的最相关元素，这样有助于分类用的关键部分被关注到，而其它无关的信息则被忽略。这种方式能够有效的保留重要信息和去除噪声，作为一种正则化方法帮助模型在小数据集情况下能够更好的收敛。
因此，本发明提出的免疫荧光图像分类模型能够在有限的训练集下，对样本进行高效的识别，具备较高的分类准确率和鲁棒性。
(二)测试阶段
S04、使用测试集中的各个融合样本图像及其对应的类别标签信息，对该免疫荧光图像分类模型进行测试。
从测试结果可得，本发明实施例提供的免疫荧光图像分类模型，可以对肾脏免疫荧光图像作出准确的分类。具体的，本免疫荧光图像分类模型在测试集上的分类结果准确率如下表1所示，可以看出本免疫荧光图像分类模型的分类结果准确率高于其它两个现有分类模型。上述实施例使用的训练和测试数据集为肾小球的免疫荧光图像，此外在其它一些可能的实施例中，也可以将本发明的使用范围扩展到其它种类的免疫荧光图像。
表1本免疫荧光图像分类模型与现有其它网络模型的准确率对比
分类网络模型 测试集准确率
VIT 75.38％
MobileNetV2 86.65％
本发明实施例 93.22％
如图1所示，本发明实施例公开一种免疫荧光图像分类方法，主要用于针对未知类别标签的待测样本进行分类，该分类方法包括以下步骤S10～S80：
S10、获取待测免疫荧光图像。
在一些可能的实施例中，待测免疫荧光图像指的可以是对待测样本的原始免疫荧光图像进行预处理后所获得的预处理免疫荧光图像；而在本实施例中，优选的在对待测样本的原始免疫荧光图像进行预处理获得预处理免疫荧光图像之后，还进一步将预处理免疫荧光图像输入至分割模型，获得掩码图像；以及，将掩码图像与预处理免疫荧光图像进行融合处理，将融合结果作为待测免疫荧光图像。
其中，预处理操作一般包括获取待测样本的肾小球原始免疫荧光图像，然后将肾小球原始免疫荧光图像缩放为384*384的大小，从而获得预处理免疫荧光图像。这样既可以保留丰富的细节特征信息，又可以保证网络没有复杂的计算量。而且，在本实施例中，优选的同时利用分割模型获取肾小球原始免疫荧光图像的分割掩码，去除肾小球原始免疫荧光图像背景中的杂质和其它组织，然后将分割后的掩码图像与肾小球原始免疫荧光图像融合后作为分类网络模型的输入，可以为分类网络模型加入先验知识，使分类网络模型关注到重要的肾小球区域。
S20、将待测免疫荧光图像输入到卷积层中，利用卷积层对待测免疫荧光图像进行卷积操作，获得指定维度的映射特征图。
如图2所示，本发明实施例中训练的免疫荧光图像分类模型包括依次连接的特征映射网络、区域自注意力网络和多个特征提取网络、输出网络；其中，特征映射网络包括依次连接的卷积层和线性层，每个特征提取网络均包括依次连接的块合并层和区域自注意力网络。
其中，卷积层包括128个大小为4*4的卷积核，对待测免疫荧光图像执行步长stride为4的卷积操作，为待测免疫荧光图像作分块操作，获得96*96*128的特征图，并通过线性层将其前两个维度展开形成9216*128的映射特征图。
S30、将映射特征图输入到区域自注意力网络中，利用区域自注意力网络对映射特征图进行特征提取，获得注意力特征图。
其中，区域自注意力网络包括依次连接的至少两个区域自注意力模块，如图3所示，每个区域自注意力模块包括依次连接的第一归一化层、区域自注意力层、第一残差连接模块、第二归一化层、多层感知机层和第二残差连接模块。其中，第一残差连接模块的两个输入端分别连接于第一归一化层的输入端和区域自注意力层的输出端，第一残差连接模块的输出端连接于第二归一化层的输入端，第二残差连接模块的两个输入端分别连接于第二归一化层的输入端和多层感知机层的输出端，第二残差连接模块的输出端连接于下一个区域自注意力模块的输入端。在第一归一化层的输出端与区域自注意力层的输入端之间还设置有区域划分模块，区域自注意力层的输出端与第一残差连接模块的输入端之间还设有区域还原模块。在图3中用符号“+”表示残差连接。
基于此，利用区域自注意力网络对映射特征图进行特征提取，获得注意力特征图的具体实施方式包括：
将映射特征图作为输入特征图，输入第一个区域自注意力模块中，在每个区域自注意力模块中，通过第一归一化层(即LayerNorm层)对输入特征图进行归一化处理获得与输入特征图相同维度的第一特征图，在此基础上利用区域划分模块对第一特征图进行区域划分，得到指定区域大小的第二特征图，例如指定局部区域大小为12，得到的第二特征图的尺寸为64*144*128，将第二特征图作为基于局部区域的区域自注意力层的输入；将第二特征图输入至区域自注意力层，利用区域自注意力层在划分的区域内部计算自注意力，得到与第二特征图相同维度的第三特征图，再利用区域还原模块对第三特征图进行区域还原，得到9216*128的第四特征图，然后通过第一残差连接模块对第四特征图与第一归一化层输入的输入特征图进行残差连接，获得第五特征图；然后通过第二归一化层对第五特征图进行归一化处理后输入到多层感知机(Multi-Layer Perceptron，MLP)层中得到与第五特征图相同维度的第六特征图，通过第二残差连接模块对第六特征图和第五特征图进行残差连接后作为该区域自注意力模块的输出，并作为新的输入特征图输入到下一个区域自注意力模块中，执行与该区域自注意力模块中相同的操作；最后，将最后一个区域自注意力模块的输出作为最终获得的注意力特征图。
在本实施例中，区域自注意力网络包括依次连接的两个区域自注意力模块，那么经过两个区域自注意力模块执行上述操作后，最终获得的注意力特征图尺寸为64*144*128。其中，区域自注意力模块优选为区域稀疏自注意力模块，则其包括的区域自注意力层为区域稀疏自注意力层。
S40、对注意力特征图进行下采样操作，获得下采样特征图；将重复次数累加一。
其中，特征提取网络所包括的块合并层，主要用于对注意力特征图进行下采样操作，如图4所示，块合并层具体包括依次连接的元素选择+形变层、第三归一化层和线性层。在对注意力特征图进行下采样操作时，首先将注意力特征图展开为96*96*128的待选特征图，通过元素选择+形变层分别在待选特征图的第一维度和第二维度上、以间隔为2地选取元素，获得特征向量；将选取获得的特征向量通过第三归一化层按照第三维度(也即通道维度)拼接在一起得到48*48*512的拼接向量，然后通过线性层，缩减拼接向量的第三维度为原来的一半，形成新尺寸为48*48*256的下采样特征图。
S50、将下采样特征图输入到区域自注意力网络中，利用区域自注意力网络对下采样特征图进行特征提取，获得新的注意力特征图。
其中，特征提取网络所包括的区域自注意力网络，主要用于对下采样特征图进行特征提取获得新的注意力特征图，其操作方式与上述的利用区域自注意力网络对映射特征图进行特征提取获得注意力特征图的具体实施方式相类似，也即：
将下采样特征图作为输入特征图，输入第一个区域自注意力模块中，在每个区域自注意力模块中，通过第一归一化层对输入特征图进行归一化处理获得相同维度的第一特征图，然后利用区域划分模块对第一特征图进行区域划分，得到指定区域大小的第二特征图，将第二特征图输入至区域自注意力层，利用区域自注意力层在划分的区域内部计算自注意力，得到与第二特征图相同维度的第三特征图，再利用区域还原模块对第三特征图进行区域还原，得到第四特征图，通过第一残差连接模块对第四特征图与第一归一化层输入的输入特征图进行残差连接，获得第五特征图；然后，通过第二归一化层对第五特征图进行归一化处理后输入到多层感知机层中得到与第五特征图相同维度的第六特征图，通过第二残差连接模块对第六特征图和第五特征图进行残差连接后作为该区域自注意力模块的输出，并作为新的输入特征图输入到下一个区域自注意力模块中，执行与该区域自注意力模块中相同的操作；将最后一个区域自注意力模块的输出作为新的注意力特征图。
S60、判断重复次数是否达到指定次数。若是，执行步骤S70～S80；否则，转向步骤S40。
在实际应用中，针对步骤S40～S50的重复执行，可以通过一个特征提取网络重复进行执行即可，为了更清楚说明，本实施例中在图2中示出3个特征提取网络，可理解的是，在本实施例中，指定次数为3。
S70、将最终获得的新的注意力特征图作为目标分类图像。
其中，指定次数可以根据原始免疫荧光图像而确定，例如预先存储有与多个免疫荧光图像的尺寸各自对应的指定次数。那么在获得待测免疫荧光图像之后，可以进一步根据待测免疫荧光图像的尺寸，确定相对应的指定次数；其中，指定次数与待测免疫荧光图像的尺寸为正相关关系。也就是说，尺寸越大，可以执行的重复次数越多，可设置的特征提取网络的数量越多。
另外的，区域自注意力网络中包括的依次连接的区域自注意力模块的数量一般设置为2个，该数量不做限制，任务简单的话，数量可以少一些。
而重复次数具体可以为下采样次数，首先将该重复次数置0，在每次下采样及特征提取后，则将重复次数累加一。并判断此时重复次数是否等于或大于指定次数(例如3、4或5)，如果等于或大于，将此时获得的新的注意力特征图作为目标分类图像。一般情况下，在重复次数等于指定次数时，则会判定输出最新的注意力特征图作为目标分类图像。
S80、对目标分类图像进行分类，获得待测免疫荧光图像的分类结果。
在特征提取网络输出目标分类图像后，则将目标分类图像输入本免疫荧光图像分类模型中的最后一个网络层，也即输出网络。该输出网络包括依次连接的第四归一化层(LayerNorm层)、全局平均池化层和线性层，具体的将目标分类图像输入第四归一化层进行归一化处理后，后输入全局平均池化层，利用全局平均池化层得到基于全局的输出，最后输入线性层，得到免疫荧光图像最终的分类结果。其中，分类结果包括待测免疫荧光图像属于各个类别的概率值，因此可以将概率值最大的目标类别确定为待测免疫荧光图像的最终分类类别。
以肾小球为例，本发明实施例中的免疫荧光图像分类模型，可以识别肾小球免疫荧光图像6个分类类别，如附图5所示，包括特发性膜性肾病、膜增生性肾小球病、IgA肾病、抗肾小球基底膜病、链感后肾炎和其它肾病种(包括糖尿病肾病和狼疮肾炎等)，可以在临床上辅助医生更为有效精确的诊断。
综上所述，实施本发明实施例，针对肾小球免疫荧光图像的形态识别问题，既可以关注图像的全局信息，也可以关注图像中局部的细节信息，采用层级式的基于局部区域的稀疏自注意力机制，模型浅层多关注于图像的局部区域，聚焦于一些细节特征，而后续采用多次下采样操作，随着网络层级的加深，模型的感受野不断扩大，从关注图像的局部区域逐渐过渡到全局区域，因此能够获取图像的多尺度特征信息，从而能够适应肾小球免疫荧光图像的多分辨率问题，进而提高分类准确率；而且，通过基于局部区域的自注意力网络，而非直接利用全局自注意力机制，可以保证注意力的计算只局限于小区域内，而不是完整图像，从而可以减少计算量，提高计算效率。实施本发明实施例，注意力机制均采用稀疏自注意力机制，能够保证大模型在小数据上的有效性，因此能够在有限的训练集下，对样本进行高效的识别，具备较高的分类准确率和鲁棒性。
如图6所示，本发明实施例公开一种免疫荧光图像分类装置，包括获取单元601、卷积单元602、注意力单元603、多尺度单元604、确定单元605和分类单元606，其中，
获取单元601，用于获取待测免疫荧光图像；
卷积单元602，用于将待测免疫荧光图像输入到卷积层中，利用卷积层对待测免疫荧光图像进行卷积操作，获得指定维度的映射特征图；
注意力单元603，用于将映射特征图输入到区域自注意力网络中，利用区域自注意力网络对映射特征图进行特征提取，获得注意力特征图；
多尺度单元604，用于对注意力特征图重复执行以下步骤，直至重复次数达到指定次数：对注意力特征图进行下采样操作，获得下采样特征图；将下采样特征图输入到区域自注意力网络中，利用区域自注意力网络对下采样特征图进行特征提取，获得新的注意力特征图；将重复次数累加一；
确定单元605，用于在重复次数达到指定次数时，将多尺度单元最终获得的新的注意力特征图作为目标分类图像；
分类单元606，用于对目标分类图像进行分类，获得待测免疫荧光图像的分类结果。
如图7所示，本发明实施例公开一种电子设备，包括存储有可执行程序代码的存储器701以及与存储器701耦合的处理器702；
其中，处理器702调用存储器701中存储的可执行程序代码，执行上述各实施例中描述的免疫荧光图像分类方法。
本发明实施例还公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行上述各实施例中描述的免疫荧光图像分类方法。
以上实施例的目的，是对本发明的技术方案进行示例性的再现与推导，并以此完整的描述本发明的技术方案、目的及效果，其目的是使公众对本发明的公开内容的理解更加透彻、全面，并不以此限定本发明的保护范围。
以上实施例也并非是基于本发明的穷尽性列举，在此之外，还可以存在多个未列出的其它实施方式。在不违反本发明构思的基础上所作的任何替换与改进，均属本发明的保护范围。

Claims (10)

1.免疫荧光图像分类方法，其特征在于，包括：
获取待测免疫荧光图像；
将所述待测免疫荧光图像输入到卷积层中，利用所述卷积层对所述待测免疫荧光图像进行卷积操作，获得指定维度的映射特征图；
将所述映射特征图输入到区域自注意力网络中，利用所述区域自注意力网络对所述映射特征图进行特征提取，获得注意力特征图；
对所述注意力特征图重复执行以下步骤，直至重复次数达到指定次数：对所述注意力特征图进行下采样操作，获得下采样特征图；将所述下采样特征图输入到所述区域自注意力网络中，利用所述区域自注意力网络对所述下采样特征图进行特征提取，获得新的注意力特征图；将重复次数累加一；
当所述重复次数达到指定次数时，将最终获得的新的注意力特征图作为目标分类图像；
对所述目标分类图像进行分类，获得所述待测免疫荧光图像的分类结果。
2.如权利要求1所述的免疫荧光图像分类方法，其特征在于，所述获取待测免疫荧光图像，包括：
对原始免疫荧光图像进行预处理，获得预处理免疫荧光图像；
将预处理免疫荧光图像输入至分割模型，获得掩码图像；
将所述掩码图像与所述预处理免疫荧光图像进行融合处理，获得待测免疫荧光图像。
3.如权利要求2所述的免疫荧光图像分类方法，其特征在于，所述将所述掩码图像与所述预处理免疫荧光图像进行融合处理，获得待测免疫荧光图像之后，所述方法还包括：
根据所述待测免疫荧光图像的尺寸，确定相对应的指定次数；其中，所述指定次数与所述待测免疫荧光图像的尺寸为正相关关系。
4.如权利要求1至3任一项所述的免疫荧光图像分类方法，其特征在于，所述区域自注意力网络包括依次连接的至少两个区域自注意力模块，每个所述区域自注意力模块包括依次连接的第一归一化层、第一残差连接模块、第二归一化层、多层感知机层和第二残差连接模块，其中所述第一残差连接模块的两个输入端分别连接于所述第一归一化层的输入端和所述区域自注意力层的输出端，所述第二残差连接模块的两个输入端分别连接于所述第二归一化层的输入端和所述多层感知机层的输出端。
5.如权利要求4所述的免疫荧光图像分类方法，其特征在于，所述第一归一化层的输出端与所述区域自注意力层的输入端之间还设置有区域划分模块，所述区域自注意力层的输出端与所述第一残差连接模块的输入端之间还设有区域还原模块。
6.如权利要求5所述的免疫荧光图像分类方法，其特征在于，将所述下采样特征图输入到所述区域自注意力网络中，利用所述区域自注意力网络对所述下采样特征图进行特征提取获得新的注意力特征图，包括：
将下采样特征图作为输入特征图，输入第一个区域自注意力模块中；
在每个所述区域自注意力模块中，通过所述第一归一化层对所述输入特征图进行归一化处理获得相同维度的第一特征图；
利用所述区域划分模块对所述第一特征图进行区域划分，得到指定区域大小的第二特征图；
将所述第二特征图输入至所述区域自注意力层，利用所述区域自注意力层在划分的区域内部计算自注意力，得到与第二特征图相同维度的第三特征图；
利用所述区域还原模块对所述第三特征图进行区域还原，得到第四特征图；
通过所述第一残差连接模块对所述第四特征图与所述第一归一化层输入的所述输入特征图进行残差连接，获得第五特征图；
通过所述第二归一化层对所述第五特征图进行归一化处理后输入到多层感知机层中得到与所述第五特征图相同维度的第六特征图；
通过所述第二残差连接模块对所述第六特征图和所述第五特征图进行残差连接后作为该区域自注意力模块的输出，并作为新的输入特征图输入到下一个区域自注意力模块中，执行与该区域自注意力模块中相同的操作；
将最后一个区域自注意力模块的输出作为新的注意力特征图。
7.如权利要求6所述的免疫荧光图像分类方法，其特征在于，对所述注意力特征图进行下采样操作获得下采样特征图，包括：
将所述注意力特征图展开为96*96*128的待选特征图；
分别在所述待选特征图的第一维度和第二维度上、以间隔为2地选取元素，获得特征向量；
将所述特征向量按照通道维度拼接在一起得到48*48*512的拼接向量；
缩减所述拼接向量的通道维度为原来的一半，形成尺寸为48*48*256的下采样特征图。
8.免疫荧光图像分类装置，其特征在于，包括：
获取单元，用于获取待测免疫荧光图像；
卷积单元，用于将所述待测免疫荧光图像输入到卷积层中，利用所述卷积层对所述待测免疫荧光图像进行卷积操作，获得指定维度的映射特征图；
注意力单元，用于将所述映射特征图输入到区域自注意力网络中，利用所述区域自注意力网络对所述映射特征图进行特征提取，获得注意力特征图；
多尺度单元，用于对所述注意力特征图重复执行以下步骤，直至重复次数达到指定次数：对所述注意力特征图进行下采样操作，获得下采样特征图；将所述下采样特征图输入到所述区域自注意力网络中，利用所述区域自注意力网络对所述下采样特征图进行特征提取，获得新的注意力特征图；将重复次数累加一；
确定单元，用于在所述重复次数达到指定次数时，将所述多尺度单元最终获得的新的注意力特征图作为目标分类图像；
分类单元，用于对所述目标分类图像进行分类，获得所述待测免疫荧光图像的分类结果。
9.电子设备，其特征在于，包括存储有可执行程序代码的存储器以及与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1至7任一项所述的免疫荧光图像分类方法。
10.计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至7任一项所述的免疫荧光图像分类方法。
CN202210995868.4A 2022-08-18 2022-08-18 免疫荧光图像分类方法及装置、设备、存储介质 Pending CN115393641A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210995868.4A CN115393641A (zh) 2022-08-18 2022-08-18 免疫荧光图像分类方法及装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210995868.4A CN115393641A (zh) 2022-08-18 2022-08-18 免疫荧光图像分类方法及装置、设备、存储介质

Publications (1)

Publication Number Publication Date
CN115393641A true CN115393641A (zh) 2022-11-25

Family

ID=84120208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210995868.4A Pending CN115393641A (zh) 2022-08-18 2022-08-18 免疫荧光图像分类方法及装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN115393641A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117911304A (zh) * 2024-03-19 2024-04-19 长春理工大学 一种基于计算关注区域权重的分段灰度变换方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117911304A (zh) * 2024-03-19 2024-04-19 长春理工大学 一种基于计算关注区域权重的分段灰度变换方法和系统

Similar Documents

Publication Publication Date Title
JP7422825B2 (ja) 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測
CN109241967B (zh) 基于深度神经网络的甲状腺超声图像自动识别系统、计算机设备、存储介质
KR102108050B1 (ko) 증강 컨볼루션 네트워크를 통한 유방암 조직학 이미지 분류 방법 및 그 장치
CN111145209B (zh) 一种医学图像分割方法、装置、设备及存储介质
CN111462076A (zh) 一种全切片数字病理图像模糊区域检测方法及系统
CN112380900A (zh) 基于深度学习的子宫颈液基细胞数字图像分类方法及系统
CN115410050B (zh) 基于机器视觉的肿瘤细胞检测设备及其方法
CN114758137B (zh) 超声图像分割方法、装置及计算机可读存储介质
CN111462075A (zh) 一种全切片数字病理图像模糊区域的快速重聚焦方法及系统
CN110021019B (zh) 一种aga临床图像的ai辅助毛发的粗细分布分析方法
CN114170184A (zh) 一种基于嵌入特征向量的产品图像异常检测方法及装置
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN112348059A (zh) 基于深度学习的多种染色病理图像分类方法及系统
CN114529516A (zh) 基于多注意力与多任务特征融合的肺结节检测与分类方法
CN112861958A (zh) 对肾脏病免疫荧光图片进行识别分类的方法及装置
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN115393641A (zh) 免疫荧光图像分类方法及装置、设备、存储介质
CN115526834A (zh) 免疫荧光图像检测方法及装置、设备、存储介质
CN112464802A (zh) 一种玻片样本信息的自动识别方法、装置和计算机设备
CN116758336A (zh) 一种基于人工智能的医学图像智能分析系统
JP2019537736A (ja) 畳み込み辞書学習および符号化による、ホログラフィックレンズフリー撮像における対象物検出のためのシステムおよび方法
Vasudeva et al. Classifying Skin Cancer and Acne using CNN
CN106682604B (zh) 一种基于深度学习的模糊图像检测方法
CN112488996A (zh) 非齐次三维食管癌能谱ct弱监督自动标注方法与系统
CN116958679A (zh) 一种基于弱监督的目标检测方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240117

Address after: 100010 Shuaifuyuan No. 1, Wangfujing, Dongcheng District, Beijing

Applicant after: PEKING UNION MEDICAL COLLEGE Hospital

Applicant after: Chongqing Zhijian Life Technology Co.,Ltd.

Applicant after: Beijing Yiyun Technology Co.,Ltd.

Address before: A876, Floor 3, Building 14, Cuiwei Zhongli, Haidian District, Beijing 100089

Applicant before: Beijing Zhijian Life Technology Co.,Ltd.

Applicant before: Chongqing Zhijian Life Technology Co.,Ltd.

Applicant before: PEKING UNION MEDICAL COLLEGE Hospital

TA01 Transfer of patent application right