CN116503858B - 一种基于生成模型的免疫荧光图像分类方法及系统 - Google Patents
一种基于生成模型的免疫荧光图像分类方法及系统 Download PDFInfo
- Publication number
- CN116503858B CN116503858B CN202310502946.7A CN202310502946A CN116503858B CN 116503858 B CN116503858 B CN 116503858B CN 202310502946 A CN202310502946 A CN 202310502946A CN 116503858 B CN116503858 B CN 116503858B
- Authority
- CN
- China
- Prior art keywords
- image
- training
- model
- data
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000010166 immunofluorescence Methods 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 102
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 31
- 238000001506 fluorescence spectroscopy Methods 0.000 claims abstract description 20
- 238000013145 classification model Methods 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 238000010586 diagram Methods 0.000 claims description 34
- 230000004913 activation Effects 0.000 claims description 32
- 238000012360 testing method Methods 0.000 claims description 19
- 238000010276 construction Methods 0.000 claims description 14
- 230000004907 flux Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 208000030767 Autoimmune encephalitis Diseases 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 210000001130 astrocyte Anatomy 0.000 claims description 5
- 230000036039 immunity Effects 0.000 claims description 3
- 238000010186 staining Methods 0.000 claims description 3
- 210000003855 cell nucleus Anatomy 0.000 claims description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 201000010099 disease Diseases 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012758 nuclear staining Methods 0.000 description 3
- 208000002552 acute disseminated encephalomyelitis Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003556 assay Methods 0.000 description 2
- 210000003169 central nervous system Anatomy 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 201000006417 multiple sclerosis Diseases 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000029067 Neuromyelitis optica spectrum disease Diseases 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 208000027866 inflammatory disease Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000012128 staining reagent Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于生成模型的免疫荧光图像分类方法及系统，包括以下步骤：采集TBA免疫的荧光图像，基于Grad‑CAM和Cycle‑GAN构建融合网络，对所述荧光图像进行图像增强，获得增强后的荧光数据；基于自监督分类模型构建荧光图像的预训练模型并进行训练，获得训练后的预训练模型，在所述训练后的预训练模型中增加绿色荧光通道，获得多通道联合网络；基于所述增强后的荧光数据对所述多通道联合网络进行训练，获得训练后的多通道联合网络；基于所述训练后的多通道联合网络对荧光图像进行分类，获得分类结果。本发明提出多通道联合网络，让模型学到绿色荧光强度特性，增强TBA免疫荧光数据集分类任务的准确性。
Description
技术领域
本发明属于显微荧光成像以及计算机辅助诊断技术领域，特别是涉及一种基于生成模型的免疫荧光图像分类方法及系统。
背景技术
获得性中枢神经系统(CNS)炎症性疾病涵盖了一个异质性疾病群体，包括多发性硬化症(MS)、神经脊髓炎谱系障碍(NMOSD)、急性播散性脑脊髓炎(ADEM)和自身免疫性脑炎(AE)等。然而，这些疾病在早期临床表现上具有相似性，使得准确判断疾病类型变得极具挑战性。近年来，自身抗体作为越来越多疾病生物标志物的关键工具，通过与细胞质或核靶标的结合，在不影响细胞正常功能的前提下，实现对不同癌症的筛查。
组织基检测(tissue-based assay)是一种广泛应用于神经自身抗体检测的方法，能够展示抗体与靶抗原间的相互作用，具有较高的敏感性和特异性。在临床应用中，病理医师对样本进行免疫荧光染色，通过显微镜观察涂片样本以实现对疾病类型的初步筛查。然而，类型判断过程耗时且效率有限，涂片处理与不同染色试剂可能会对诊断产生干扰。另外，长时间或高强度光源照射可能导致荧光染料逐渐失去荧光，使荧光图像信号减弱，进而影响图像质量与定量分析的准确性。荧光图像也可能受到背景噪声的影响，这可能源于非特异性染色、自发荧光或其他干扰因素，使荧光信号与背景噪声难以区分，从而影响图像的准确性和可靠性。观察显微镜下的涂片样本需要高度专业的病理学家，但人工分析临床涂片样本在显微镜下既昂贵又耗时。
传统荧光图像分类识别算法简洁高效，但识别精度有限。随着计算机技术的持续发展，深度学习作为机器学习的关键分支得到了迅猛发展。在实际应用中，深度学习算法能自动学习特征，无需依赖算法工程师的经验进行人工特征设计，降低了专业知识要求。这一优势在处理复杂显微荧光图像中尤为明显，因为这类图像具有较高的复杂性和特异性。医学图像分类是医学图像分析的核心任务之一，但在实际应用中，常会面临样本集不平衡问题，即不同类别间样本数量存在显著差异，通常表现为阳性样本数少于阴性样本数或某种疾病样本数远少于其他类别样本，从而导致传统分类器性能显著降低。此类样本不平衡问题在医学领域天然存在，因而是医学图像分析中难以避免的问题，也是医学图像分类识别任务的主要挑战之一。
发明内容
本发明的目的是提供一种基于生成模型的免疫荧光图像分类方法及系统，以解决上述现有技术存在的问题。
为实现上述目的，本发明提供了一种基于生成模型的免疫荧光图像分类方法，包括以下步骤：
采集TBA免疫的荧光图像，基于Grad-CAM和Cycle-GAN构建融合网络，对所述荧光图像进行图像增强，获得增强后的荧光数据；
基于自监督分类模型构建荧光图像的预训练模型并进行训练，获得训练后的预训练模型，在所述训练后的预训练模型中增加绿色荧光通道，获得多通道联合网络；
基于所述增强后的荧光数据对所述多通道联合网络进行训练，获得训练后的多通道联合网络；
基于所述训练后的多通道联合网络对荧光图像进行分类，获得分类结果。
可选地，对所述荧光图像进行图像增强之前还包括：预设图像尺寸，对采集的荧光图像进行裁剪处理；对裁剪后的荧光图像进行标注，将裁剪后的荧光图像分为经典自身免疫性脑炎模式、星形胶质细胞模式、细胞核染色模式和阴性样本。
可选地，对荧光图像进行图像增强的过程包括：基于Grad-CAM网络，获取目标类别在荧光图像中的梯度，将所述梯度与所述荧光图像的特征图相乘，获得加权特征图，对所述加权特征图求平均，获得类激活映射，将所述类激活映射与荧光图像叠加，获得类激活热力图；基于所述类激活热力图，预设阈值提取感兴趣区域，预设绿色通道阈值，基于所述绿色通道阈值将所述感兴趣区域划分为高通量和低通量两类；将两类数据发送到Cycle-GAN网络中进行训练，从而对类别数量低的感兴趣区域进行图像增强。
可选地，获得训练后的预训练模型的过程包括：将所述荧光图像通过不同的数据增强处理，获得对应的增强后的荧光数据；将ResNet18网络作为主干网络对不同的增强后的荧光数据进行编码处理，获得对应的特征向量；将不同的特征向量传递到投影头，基于两个对称分支输出对应的特征图，并计算所述特征图的余弦相似度，直至损失函数的值最小化，获得所述训练后的预训练模型。
可选地，获得训练后的多通道联合网络的过程包括：将增强后的荧光数据划分为训练数据、验证数据及测试数据；基于所述训练数据与所述验证数据，对所述多通道联合网络进行训练，直到输出的误差减小到期望值；基于所述测试数据，对训练后的多通道联合网络进行测试，获得测试后的多通道联合网络。
本发明还提供一种基于生成模型的免疫荧光图像分类系统，包括：
图像获取模块，用于采集TBA免疫的荧光图像并进行预处理；
图像增强模块，与所述图像获取模块连接，用于基于Grad-CAM和Cycle-GAN构建融合网络，对预处理后的荧光图像进行图像增强，获得增强后的荧光数据；
模型构建模块，与所述图像增强模块连接，用于基于自监督分类模型构建荧光图像的预训练模型并进行训练，获得训练后的预训练模型，在所述训练后的预训练模型中增加绿色荧光通道，获得多通道联合网络；
模型训练模块，与所述模型构建模块连接，用于基于所述增强后的荧光数据对所述多通道联合网络进行训练，获得训练后的多通道联合网络；
图像分类模块，与所述模型训练模块连接，用于基于训练后的多通道联合网络对荧光图像进行分类，获得分类结果。
可选地，所述图像获取模块包括：
数据采集单元，用于对TBA免疫荧光涂片进行数据采集，获得荧光图像；
预处理单元，用于预设图像尺寸，对采集的荧光图像进行裁剪处理和标注处理。
可选地，所述图像增强模块包括：
感兴趣区域提取单元，用于基于Grad-CAM网络，获取目标类别在荧光图像中的梯度，将所述梯度与所述荧光图像的特征图相乘，获得加权特征图，对所述加权特征图求平均，获得类激活映射，将所述类激活映射与荧光图像叠加，获得类激活热力图，基于所述类激活热力图，预设阈值提取感兴趣区域；
图像增强单元，用于预设绿色通道阈值，基于所述绿色通道阈值将所述感兴趣区域划分为高通量和低通量两类，将两类数据发送到Cycle-GAN网络中进行训练，从而对类别数量低的感兴趣区域进行图像增强。
可选地，所述模型构建模块包括：
预训练模型构建单元，用于基于自监督分类模型构建荧光图像的预训练模型并进行训练，获得训练后的预训练模型；
多通道联合网络构建单元，用于在所述训练后的预训练模型中增加绿色荧光通道，获得多通道联合网络。
可选地，所述模型训练模块包括：
数据划分单元，用于将增强后的荧光数据划分为训练数据、验证数据及测试数据；
模型训练单元，用于基于所述训练数据与所述验证数据，对所述多通道联合网络进行训练，直到输出的误差减小到期望值，获得训练后的多通道联合网络；
模型测试单元，用于基于所述测试数据，对训练后的多通道联合网络进行测试，获得测试后的多通道联合网络。
本发明的技术效果为：
本发明结合Grad-CAM和Cycle-GAN的方法，基于特征图的变换方法来提取图像中的感兴趣区域，使用生成对抗模型Cycle-GAN解决了荧光数据样本不足、数据不平衡问题；本发明使用多通道颜色空间的输入提出多通道联合网络，让模型学到绿色荧光强度特性，增强TBA免疫荧光数据集分类任务的准确性；使用自监督训练为其中的荧光数据构造了预训练模型，给下游分类任务提供了帮助。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例中的生成模型的免疫荧光图像分类方法流程示意图；
图2为本发明实施例中的TBA免疫荧光数据集中四种图像模式的标注图，其中，(a)为经典自身免疫性脑炎模式标注图，(b)为星形胶质细胞模式标注图，(c)为细胞核染色模式标注图，(d)为阴性样本标注图；
图3为本发明实施例中的基于类激活热力图对荧光数据中感兴趣区域提取的网络架构图；
图4为本发明实施例中的荧光图像生成对抗模型训练的网络架构图；
图5为本发明实施例中的Grad-CAM和Cycle-GAN融合网络对三种图像模式的数据生成结果图，其中，(a)为经典自身免疫性脑炎模式的数据生成结果图，(b)为星形胶质细胞模式的数据生成结果图，(c)为细胞核染色模式的数据生成结果图；
图6为本发明实施例中的荧光图像自监督预训练分类的流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
如图1所示，本实施例中提供一种基于生成模型的免疫荧光图像分类方法及系统，其中分类方法包括以下步骤：
采集TBA免疫荧光图像，对TBA免疫荧光图像进行预处理；
基于免疫荧光图像，通过构建Grad-CAM和Cycle-GAN融合网络，得到增强后的数据；
基于荧光实验数据，构建自监督分类模型；
基于荧光图像及所述自监督分类模型，构建多通道联合网络；通过多通道联合网络对免疫荧光图像进行分析，得到分析结果。
基于生成模型的免疫荧光图像增强方法及分类系统具体步骤：
采集TBA免疫荧光图像，对TBA免疫荧光图像进行预处理。该步骤具体为：
通过荧光显微镜和数字图像采集系统获取TBA免疫荧光原始图像，整个采集过程有计算机软件控制完成，数据采集时只需要选择感兴趣的区域即可；由于采集到的样本尺寸不同，原始图像需要进行预处理。在将实验数据输入模型训练之前先将数据统一裁剪缩放为1024×1024；如图2(a)、图2(b)、图2(c)、图2(d)所示，完成每类图像的标注，将获取来的数据分为四类：经典自身免疫性脑炎模式、星形胶质细胞模式、细胞核染色模式和阴性样本。
基于获取到的TBA免疫荧光图像，通过构建Grad-CAM和Cycle-GAN融合网络，得到增强后的数据。该步骤具体为：
Grad-CAM通过使用梯度和类激活映射来生成一个类似于热力图的可视化结果，可视化网络对每个图像区域的关注程度。它在CAM(Class Activation Mapping)的基础上进行了改进，通过对激活映射进行平滑处理，提高可视化效果的稳定性和鲁棒性；
如图3所示，Grad-CAM首先计算目标类别在荧光图像中的梯度，接着将梯度与特征图相乘，得到加权特征图。随后，对加权特征图求平均，获得类激活映射，并将其与原始图像叠加，以展示网络在图像中的关注区域。在具体实施过程中，采用ResNet18作为特征提取器，并对其第四个卷积块(即最后一个卷积块)进行可视化。该卷积块捕捉到的高级特征有助于区分不同类别的物体，从而生成有意义的热力图；
依据网络生成的类激活热力图，设定阈值以确定感兴趣区域(ROI)的形状。在二进制掩码图像中寻找最大轮廓，根据该轮廓确定矩形边界框，同时在矩形周围增加一定填充区域。通过这种方法，从TBA荧光图像中提取感兴趣区域，并返回一个指定大小的小块荧光图像，小块荧光图像的尺寸设定为512×512；
对原始荧光数据中提取到的感兴趣区域(ROI)数据，根据绿色通道阈值进行分类。计算同类别RGB图像在绿色通道上的数值平均值，并将此平均值作为阈值将图像分为高通量与低通量两类。如图4所示，设定Y域为阈值较低的荧光图像，X域为阈值较高的荧光图像，并将两类数据送到CycleGAN网络模型中进行训练，从而对数据较少的类别进行图像增强，生成图片如图5(a)、图5(b)、图5(c)所示；
Cycle-GAN中用到了三种损失函数：adversarial loss、cycle consistency loss和identity loss进行训练；
LossGAN可以保证生成器和判别器相互进化，进而保证生成器能产生更真实的图片，计算公式如下：
Losscycle可以保证生成器的输出图片与输入图片只是风格不同，而内容相同，计算公式如下：
Lossidentity主要是保证图像在转换的时候色调保持不变，计算公式如下：
在训练过程中，本实施例中使用的整个损失函数的表达式为：
Loss＝LossGAN+Losscycle+Lossidentity
基于荧光实验数据，构建自监督分类模型为下游分类任务提供有效的预训练模型，深度学习网络经常存在过拟合问题。为网络加载预先训练的权值可以有效地防止过拟合问题，所以本发明提供了一个基于自监督训练为荧光图像分类提供有效的预训练模型的方法，如图6所示，该步骤具体为：
荧光图像x通过两个不同的数据增强得到x1和x2；
两个增强的RGB图像被输入编码器f，编码器f由一个CNN主干和多层感知器(MLP)投影仪组成。两个图像分支中的编码器共享同一个编码器。本实施例中采用ResNet18作为骨干网络，通过卷积核编码后输出两个特征向量Zi和Zj；
将两个特征向量Zi和Zj传递到投影头，即特征映射到低维空间的小型神经网络后产生两个投影向量；将其中一个投影向量传递到预测头，即向量映射回原始特征空间相同维度的另一个小型神经网络并生成一个预测向量Pi；
最后，本实施例计算两个对称分支输出特征图的余弦相似度，计算公式如下：
定义的对称损失如下：
Simsiam自监督模型中使用停止梯度来避免崩溃，编码器不接收来自图像分支的梯度反向传播。本实施例计算两个对称分支输出特征图的余弦相似度，并通过最小化损失函数来指导整个训练过程：
经过以上训练步骤后，可以得到荧光图像分类的预训练模型，会为后续步骤的训练提供帮助；
基于荧光图像及所述自监督分类模型，构建多通道联合网络，增加一个绿色荧光通道帮助模型更好地捕捉图像的荧光强度信息，并使用荧光预训练模型进一步提高分类的准确率。该步骤具体为：
本实施例接受RGB图像作为输入，将荧光图像从RGB颜色空间中转换为HSV颜色空间，定义绿色的上下界限从而创建一个掩膜。在HSV图像中过滤出绿色区域，将绿色荧光强度通道添加到该图像通道中，将绿色荧光强度通道(作为第四个通道)与原始RGB图像进行连接；
输入的荧光图像具有四个通道，卷积神经网络ResNet18入口采用四个卷积核以匹配输入的多通道性；
为了说明本实施例中以上步骤所述方法的有益效果，本实施例在骨干网络ResNet18中，使用原始数据集和图像增强后数据集，针对是否使用经自监督得到的荧光预训练模型以及是否采用改进的多通道卷积神经网络进行了对比实验，实验结果如表1所示：
表1
| 模型增强 | 预训练模型 | 验证准确率 | 测试准确率 |
| 无增强 | ImageNet | 74.7 | 68.78 |
| 随机裁剪 | ImageNet | 76.0 | 70.53 |
| CycleGAN | ImageNet | 78.6 | 73.07 |
| GradCAM-CycleGAN | ImageNet | 79.3 | 72.5 |
| GradCAM-CycleGAN-MCCNN | ImageNet | 82.8 | 75.2 |
| GradCAM-CycleGAN-MCCNN | 自监督预训练 | 88.5 | 82.3 |
实施例二
本实施例提供一种基于生成模型的免疫荧光图像分类系统，包括：图像获取模块，用于采集TBA免疫的荧光图像并进行预处理；图像增强模块，与所述图像获取模块连接，用于基于Grad-CAM和Cycle-GAN构建融合网络，对预处理后的荧光图像进行图像增强，获得增强后的荧光数据；模型构建模块，与所述图像增强模块连接，用于基于自监督分类模型构建荧光图像的预训练模型并进行训练，获得训练后的预训练模型，在所述训练后的预训练模型中增加绿色荧光通道，获得多通道联合网络；模型训练模块，与所述模型构建模块连接，用于基于所述增强后的荧光数据对所述多通道联合网络进行训练，获得训练后的多通道联合网络；图像分类模块，与所述模型训练模块连接，用于基于训练后的多通道联合网络对荧光图像进行分类，获得分类结果。
可实施的，所述图像获取模块包括：数据采集单元，用于对TBA免疫荧光涂片进行数据采集，获得荧光图像；预处理单元，用于预设图像尺寸，对采集的荧光图像进行裁剪处理和标注处理。
可实施的，所述图像增强模块包括：感兴趣区域提取单元，用于基于Grad-CAM网络，获取目标类别在荧光图像中的梯度，将所述梯度与所述荧光图像的特征图相乘，获得加权特征图，对所述加权特征图求平均，获得类激活映射，将所述类激活映射与荧光图像叠加，获得类激活热力图，基于所述类激活热力图，预设阈值提取感兴趣区域；图像增强单元，用于预设绿色通道阈值，基于所述绿色通道阈值将所述感兴趣区域划分为高通量和低通量两类，将两类数据发送到Cycle-GAN网络中进行训练，从而对类别数量低的感兴趣区域进行图像增强。
可实施的，所述模型构建模块包括：预训练模型构建单元，用于基于自监督分类模型构建荧光图像的预训练模型并进行训练，获得训练后的预训练模型；多通道联合网络构建单元，用于在所述训练后的预训练模型中增加绿色荧光通道，获得多通道联合网络。
可实施的，所述模型训练模块包括：数据划分单元，用于将增强后的荧光数据划分为训练数据、验证数据及测试数据；模型训练单元，用于基于所述训练数据与所述验证数据，对所述多通道联合网络进行训练，直到输出的误差减小到期望值，获得训练后的多通道联合网络；模型测试单元，用于基于所述测试数据，对训练后的多通道联合网络进行测试，获得测试后的多通道联合网络。
本实施例通过图像获取模块，获取TBA免疫荧光图像；通过图像增强模块，对样本不足、数据不平衡的荧光数据进行图像生成，得到荧光实验数据；通过模型构建模块，构建自监督分类模型，构建多通道联合网络；通过多通道联合网络对TBA免疫荧光图像进行分类，得到分析结果。
本实施例结合Grad-CAM和Cycle-GAN的方法，基于特征图的变换方法来提取图像中的感兴趣区域，使用生成对抗模型Cycle-GAN解决了荧光数据样本不足、数据不平衡问题；本实施例使用多通道颜色空间的输入提出多通道联合网络，让模型学到绿色荧光强度特性，增强TBA免疫荧光数据集分类任务的准确性；使用自监督训练为其中的荧光数据构造了预训练模型，给下游分类任务提供了帮助。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (4)
1.一种基于生成模型的免疫荧光图像分类方法，其特征在于，包括以下步骤：
采集TBA免疫的荧光图像，基于Grad-CAM和Cycle-GAN构建融合网络，对所述荧光图像进行图像增强，获得增强后的荧光数据；
基于自监督分类模型构建荧光图像的预训练模型并进行训练，获得训练后的预训练模型，在所述训练后的预训练模型中增加绿色荧光通道，获得多通道联合网络；
基于所述增强后的荧光数据对所述多通道联合网络进行训练，获得训练后的多通道联合网络；
基于所述训练后的多通道联合网络对荧光图像进行分类，获得分类结果；
对荧光图像进行图像增强的过程包括：基于Grad-CAM网络，获取目标类别在荧光图像中的梯度，将所述梯度与所述荧光图像的特征图相乘，获得加权特征图，对所述加权特征图求平均，获得类激活映射，将所述类激活映射与荧光图像叠加，获得类激活热力图；基于所述类激活热力图，预设阈值提取感兴趣区域，预设绿色通道阈值，基于所述绿色通道阈值将所述感兴趣区域划分为高通量和低通量两类；将两类数据发送到Cycle-GAN网络中进行训练，从而对类别数量低的感兴趣区域进行图像增强；
获得训练后的预训练模型的过程包括：将所述荧光图像通过不同的数据增强处理，获得对应的增强后的荧光数据；将ResNet18网络作为主干网络对不同的增强后的荧光数据进行编码处理，获得对应的特征向量；将不同的特征向量传递到投影头，基于两个对称分支输出对应的特征图，并计算所述特征图的余弦相似度，直至损失函数的值最小化，获得所述训练后的预训练模型；
获得训练后的多通道联合网络的过程包括：将增强后的荧光数据划分为训练数据、验证数据及测试数据；基于所述训练数据与所述验证数据，对所述多通道联合网络进行训练，直到输出的误差减小到期望值；基于所述测试数据，对训练后的多通道联合网络进行测试，获得测试后的多通道联合网络。
2.根据权利要求1所述的基于生成模型的免疫荧光图像分类方法，其特征在于，
对所述荧光图像进行图像增强之前还包括：预设图像尺寸，对采集的荧光图像进行裁剪处理；对裁剪后的荧光图像进行标注，将裁剪后的荧光图像分为经典自身免疫性脑炎模式、星形胶质细胞模式、细胞核染色模式和阴性样本。
3.一种基于生成模型的免疫荧光图像分类系统，其特征在于，包括：
图像获取模块，用于采集TBA免疫的荧光图像并进行预处理；
图像增强模块，与所述图像获取模块连接，用于基于Grad-CAM和Cycle-GAN构建融合网络，对预处理后的荧光图像进行图像增强，获得增强后的荧光数据；
模型构建模块，与所述图像增强模块连接，用于基于自监督分类模型构建荧光图像的预训练模型并进行训练，获得训练后的预训练模型，在所述训练后的预训练模型中增加绿色荧光通道，获得多通道联合网络；
模型训练模块，与所述模型构建模块连接，用于基于所述增强后的荧光数据对所述多通道联合网络进行训练，获得训练后的多通道联合网络；
图像分类模块，与所述模型训练模块连接，用于基于训练后的多通道联合网络对荧光图像进行分类，获得分类结果；
所述图像增强模块包括：
感兴趣区域提取单元，用于基于Grad-CAM网络，获取目标类别在荧光图像中的梯度，将所述梯度与所述荧光图像的特征图相乘，获得加权特征图，对所述加权特征图求平均，获得类激活映射，将所述类激活映射与荧光图像叠加，获得类激活热力图，基于所述类激活热力图，预设阈值提取感兴趣区域；
图像增强单元，用于预设绿色通道阈值，基于所述绿色通道阈值将所述感兴趣区域划分为高通量和低通量两类，将两类数据发送到Cycle-GAN网络中进行训练，从而对类别数量低的感兴趣区域进行图像增强；
所述模型构建模块包括：
预训练模型构建单元，用于基于自监督分类模型构建荧光图像的预训练模型并进行训练，获得训练后的预训练模型；
多通道联合网络构建单元，用于在所述训练后的预训练模型中增加绿色荧光通道，获得多通道联合网络；
所述模型训练模块包括：
数据划分单元，用于将增强后的荧光数据划分为训练数据、验证数据及测试数据；
模型训练单元，用于基于所述训练数据与所述验证数据，对所述多通道联合网络进行训练，直到输出的误差减小到期望值，获得训练后的多通道联合网络；
模型测试单元，用于基于所述测试数据，对训练后的多通道联合网络进行测试，获得测试后的多通道联合网络。
4.根据权利要求3所述的基于生成模型的免疫荧光图像分类系统，其特征在于，
所述图像获取模块包括：
数据采集单元，用于对TBA免疫荧光涂片进行数据采集，获得荧光图像；
预处理单元，用于预设图像尺寸，对采集的荧光图像进行裁剪处理和标注处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310502946.7A CN116503858B (zh) | 2023-05-06 | 2023-05-06 | 一种基于生成模型的免疫荧光图像分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310502946.7A CN116503858B (zh) | 2023-05-06 | 2023-05-06 | 一种基于生成模型的免疫荧光图像分类方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116503858A CN116503858A (zh) | 2023-07-28 |
| CN116503858B true CN116503858B (zh) | 2024-01-23 |
Family
ID=87319973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310502946.7A Active CN116503858B (zh) | 2023-05-06 | 2023-05-06 | 一种基于生成模型的免疫荧光图像分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116503858B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008129881A1 (ja) * | 2007-04-18 | 2008-10-30 | The University Of Tokyo | 特徴量選択方法、特徴量選択装置、画像分類方法、画像分類装置、コンピュータプログラム、及び記録媒体 |
| CN103091341A (zh) * | 2013-01-10 | 2013-05-08 | 中国医学科学院肿瘤医院 | 实体肿瘤细胞放射敏感性检测方法 |
| CN106455979A (zh) * | 2013-12-31 | 2017-02-22 | 纪念斯隆-凯特琳癌症中心 | 用于荧光源实时多通道成像的系统、方法和设备 |
| CN110689011A (zh) * | 2019-09-29 | 2020-01-14 | 河北工业大学 | 多尺度联合卷积神经网络的太阳能电池板缺陷检测方法 |
| CN110765858A (zh) * | 2019-09-14 | 2020-02-07 | 杭州拓深科技有限公司 | 一种基于卷积神经网络的非入侵式故障电弧监测方法 |
| CN112106061A (zh) * | 2018-03-30 | 2020-12-18 | 加利福尼亚大学董事会 | 使用深度学习对未标记荧光图像进行数字染色的方法和系统 |
| CN112861958A (zh) * | 2021-02-02 | 2021-05-28 | 中国人民解放军总医院第一医学中心 | 对肾脏病免疫荧光图片进行识别分类的方法及装置 |
| CN114462558A (zh) * | 2022-04-13 | 2022-05-10 | 南昌工程学院 | 一种数据增广的监督学习图像缺陷分类方法与系统 |
| CN114842472A (zh) * | 2022-07-04 | 2022-08-02 | 杭州德适生物科技有限公司 | 一种基于深度学习的染色体结构异常的检测方法及装置 |
| CN115131317A (zh) * | 2022-06-28 | 2022-09-30 | 华东师范大学 | 一种基于双模态图像的胃癌癌前病变分析系统及方法 |
| CN115210750A (zh) * | 2020-03-03 | 2022-10-18 | 谷歌有限责任公司 | 使用图像转换解释机器学习模型 |
| KR20230026699A (ko) * | 2021-08-18 | 2023-02-27 | 재단법인대구경북과학기술원 | 의료 이미지 분류 방법 및 장치 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11410440B2 (en) * | 2019-08-13 | 2022-08-09 | Wisconsin Alumni Research Foundation | Systems and methods for classifying activated T cells |
-
2023
- 2023-05-06 CN CN202310502946.7A patent/CN116503858B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008129881A1 (ja) * | 2007-04-18 | 2008-10-30 | The University Of Tokyo | 特徴量選択方法、特徴量選択装置、画像分類方法、画像分類装置、コンピュータプログラム、及び記録媒体 |
| CN103091341A (zh) * | 2013-01-10 | 2013-05-08 | 中国医学科学院肿瘤医院 | 实体肿瘤细胞放射敏感性检测方法 |
| CN106455979A (zh) * | 2013-12-31 | 2017-02-22 | 纪念斯隆-凯特琳癌症中心 | 用于荧光源实时多通道成像的系统、方法和设备 |
| CN112106061A (zh) * | 2018-03-30 | 2020-12-18 | 加利福尼亚大学董事会 | 使用深度学习对未标记荧光图像进行数字染色的方法和系统 |
| CN110765858A (zh) * | 2019-09-14 | 2020-02-07 | 杭州拓深科技有限公司 | 一种基于卷积神经网络的非入侵式故障电弧监测方法 |
| CN110689011A (zh) * | 2019-09-29 | 2020-01-14 | 河北工业大学 | 多尺度联合卷积神经网络的太阳能电池板缺陷检测方法 |
| CN115210750A (zh) * | 2020-03-03 | 2022-10-18 | 谷歌有限责任公司 | 使用图像转换解释机器学习模型 |
| CN112861958A (zh) * | 2021-02-02 | 2021-05-28 | 中国人民解放军总医院第一医学中心 | 对肾脏病免疫荧光图片进行识别分类的方法及装置 |
| KR20230026699A (ko) * | 2021-08-18 | 2023-02-27 | 재단법인대구경북과학기술원 | 의료 이미지 분류 방법 및 장치 |
| CN114462558A (zh) * | 2022-04-13 | 2022-05-10 | 南昌工程学院 | 一种数据增广的监督学习图像缺陷分类方法与系统 |
| CN115131317A (zh) * | 2022-06-28 | 2022-09-30 | 华东师范大学 | 一种基于双模态图像的胃癌癌前病变分析系统及方法 |
| CN114842472A (zh) * | 2022-07-04 | 2022-08-02 | 杭州德适生物科技有限公司 | 一种基于深度学习的染色体结构异常的检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| Shuzo Yamamoto, Yoshikazu Nakajima,Shinichi Tamura,Yoshinobu Sato.Extraction_of_fluorescent_dot_traces_from_a_scanning_laser_ophthalmoscope_image_sequence_by_spatio-temporal_image_analysis_Gabor_filter_and_radon_transform_filtering.1999,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116503858A (zh) | 2023-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhao et al. | Dermoscopy image classification based on StyleGAN and DenseNet201 | |
| CN110472616B (zh) | 图像识别方法、装置、计算机设备及存储介质 | |
| CN109447998B (zh) | 基于PCANet深度学习模型下的自动分割方法 | |
| CN109410184B (zh) | 基于稠密对抗网络半监督学习的直播色情图像检测方法 | |
| CN115410050B (zh) | 基于机器视觉的肿瘤细胞检测设备及其方法 | |
| CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
| JP7422235B2 (ja) | 腫瘍検出および分析を支援するための非腫瘍セグメンテーション | |
| CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
| Rani et al. | Reconstruction of simple and complex three dimensional images using pattern recognition algorithm | |
| WO2020066257A1 (ja) | 分類装置、分類方法、プログラム、ならびに、情報記録媒体 | |
| JP2022547722A (ja) | 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習 | |
| CN112820399A (zh) | 自动诊断甲状腺结节良恶性的方法及装置 | |
| CN110826612A (zh) | 深度学习的训练识别方法 | |
| Kanwal et al. | Quantifying the effect of color processing on blood and damaged tissue detection in whole slide images | |
| CN112215303A (zh) | 一种基于自学属性的图像理解方法及系统 | |
| CN116503858B (zh) | 一种基于生成模型的免疫荧光图像分类方法及系统 | |
| CN116152741A (zh) | 一种基于深度学习算法的矿下人员检测方法 | |
| Parraga et al. | A review of image-based deep learning algorithms for cervical cancer screening | |
| CN115239695A (zh) | 一种基于时序图像的肺结节识别系统及方法 | |
| CN113989588A (zh) | 一种基于自学习的五边形绘图测试智能评价系统及方法 | |
| Siddiqui et al. | Attention based covid-19 detection using generative adversarial network | |
| Bijoy et al. | Cervix type detection using a self‐supervision boosted object detection technique | |
| Łowicki et al. | Towards sustainable health-detection of tumor changes in breast histopathological images using deep learning | |
| JP7386940B2 (ja) | 重なった粒子を含む画像の処理 | |
| KR102566095B1 (ko) | 조직병리영상의 공동 분류 및 분할을 위한 딥러닝 장치 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |