CN116228706A - 基于深度学习的细胞自噬免疫荧光图像分析系统和方法 - Google Patents

基于深度学习的细胞自噬免疫荧光图像分析系统和方法 Download PDF

Info

Publication number
CN116228706A
CN116228706A CN202310172039.0A CN202310172039A CN116228706A CN 116228706 A CN116228706 A CN 116228706A CN 202310172039 A CN202310172039 A CN 202310172039A CN 116228706 A CN116228706 A CN 116228706A
Authority
CN
China
Prior art keywords
image
gfp
cell
bright spot
autophagy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310172039.0A
Other languages
English (en)
Inventor
万莹
禹洁
邓盛元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202310172039.0A priority Critical patent/CN116228706A/zh
Publication of CN116228706A publication Critical patent/CN116228706A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
    • Y02A50/30—Against vector-borne diseases, e.g. mosquito-borne, fly-borne, tick-borne or waterborne diseases whose impact is exacerbated by climate change

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By The Use Of Chemical Reactions (AREA)

Abstract

本发明公开了一种基于深度学习的细胞自噬免疫荧光图像分析系统和方法，包括细胞分割模块、GFP‑LC3阳性亮斑分割模块、定量分析模块。细胞分割模块对细胞自噬免疫荧光图像中的细胞区域进行分割；GFP‑LC3阳性亮斑分割模块对细胞自噬免疫荧光图像中的GFP‑LC3阳性亮斑进行分割；定量分析模块分别对细胞自噬免疫荧光图像中的细胞区域和GFP‑LC3阳性亮斑区域进行数量、面积和荧光强度的统计和计算，并判断细胞是否发生自噬。本发明操作简单，兼具准确的深度学习算法和定量分析功能。

Description

基于深度学习的细胞自噬免疫荧光图像分析系统和方法
技术领域
本发明属于数字化细胞自噬荧光图像分析领域，尤其涉及一种基于深度学习的细胞自噬免疫荧光图像分析系统和方法。
背景技术
细胞自噬是真核生物细胞内的一种机械性的自我降解过程，能够帮助细胞清除细胞内部错误的折叠蛋白和受损的细胞器。细胞自噬对维持细胞内的稳态起着关键作用，对肿瘤发生、胚胎发育、细胞凋亡和免疫应答等方面的研究具有重要的意义。细胞自噬可以通过在荧光显微镜下观察GFP-LC3融合蛋白的产生来监测。当以GFP为探针的细胞中有自噬发生时，表现为GFP-LC3亮斑的增加。虽然计量免疫荧光斑点并不能反映自噬通量的大小，但是对荧光显微图像中发生自噬的细胞进行计数或者对单个细胞内的GFP-LC3亮斑的数量、荧光强度等定量分析仍可量化细胞中的自噬活性，是细胞自噬检测的标准之一。
当前生物医学领域研究人员在使用免疫荧光技术对细胞自噬进行研究时，大多采取对每组实验选取2-3张免疫荧光图像，再在图像中选取几个发生自噬的细胞，对细胞中的GFP-LC3阳性亮斑进行人工计数并取平均值的方法，或是通过肉眼观察图像中的GFP-LC3阳性亮斑是否有明显的增减的方法。两种人工方法均耗时费力，且分析结果带有研究人员的主观性。
发明内容
本发明的目的是针对现有技术的不足，提供一种基于深度学习的细胞自噬免疫荧光图像分析系统和方法，解决了目前细胞自噬免疫荧光图像分析系统难以兼顾平台难以兼顾操作过程的简单性、分割结果的准确性和具备定量分析功能的问题。
本发明的目的是通过以下技术方案来实现的：一种基于深度学习的细胞自噬免疫荧光图像分析系统，包括：
细胞分割模块，用来对细胞自噬免疫荧光图像中的细胞区域进行分割；
GFP-LC3阳性亮斑分割模块，用来对细胞自噬免疫荧光图像中的GFP-LC3阳性亮斑区域进行分割；
定量分析模块，用来分别对分割后的细胞区域和分割后的GFP-LC3阳性亮斑区域进行数量、面积和荧光强度的统计和计算；并结合细胞区域的分割结果和GFP-LC3阳性亮斑区域的分割结果判断细胞是否发生自噬。
进一步地，细胞分割模块实现细胞自噬免疫荧光图像中细胞区域的分割，具体过程为：首先对细胞自噬免疫荧光图像中的目标分割通道进行选择，将所述细胞自噬免疫荧光图像转化为二通道图像，二通道内容分别为细胞核和细胞质；然后，对转化为二通道图像的细胞自噬免疫荧光图像依次进行图像增强处理和数据归一化处理；再选择二通道图像中细胞区域的直径大小，对经过图像增强处理和数据归一化处理的二通道图像的尺寸进行缩放处理；最后将缩放后的二通道图像输入深度学习模型中，得到细胞区域的分割结果。
进一步地，在使用深度学习模型之前，对深度学习模型进行训练和测试，具体为：从细胞自噬免疫荧光图像中分出训练集和数据集；对训练集和测试集中的细胞区域进行像素级的标注，使得不同细胞区域有不同的标签值；将标注后的训练集用于对深度学习模型的训练，标注后的测试集用于对深度学习模型的测试，得到所述深度学习模型。
进一步地，图像的尺寸进行缩放的公式为：
Figure BDA0004099624160000021
其中，sizeoutput为缩放后图像的尺寸大小，diam为选择的二通道图像中细胞区域的平均直径大小，sizeinput为缩放前图像的尺寸大小。
进一步地，所述图像增强处理，具体过程为：首先备份二通道图像，提取备份的二通道图像的细胞质通道；再使用IQR离群值检测方法对细胞质通道进行阈值计算，取上须为阈值，将细胞质通道中大于上须的像素阈值化处理，去除GFP-LC3阳性亮斑；最后使用自适应直方图均衡化方法对细胞质通道进行亮度和对比度的自适应增强。
进一步地，所述GFP-LC3阳性亮斑分割模块实现GFP-LC3阳性亮斑区域的分割，具体过程为：首先输入转化为二通道图像的细胞自噬免疫荧光图像；之后选择阈值化方法和/或手动选择阈值的方法分割GFP-LC3阳性亮斑，得到初步的GFP-LC3阳性亮斑区域分割结果；然后再调节亮斑面积阈值，对初步的GFP-LC3阳性亮斑区域分割结果进行筛选，得到进一步的GFP-LC3阳性亮斑区域分割结果；接着对进一步的GFP-LC3阳性亮斑区域分割结果进行种子提取；接着询问分割结果是否准确，若不准确，则人工标记亮斑中心点；最后使用基于种子的分水岭算法，完成GFP-LC3阳性亮斑区域分割；所述阈值化方法为最大熵或雷尼熵。
进一步地，所述定量分析模块包括亮斑定量分析模块和细胞定量分析模块；
所述亮斑定量分析模块，用来对细胞自噬免疫荧光图像中的GFP-LC3阳性亮斑区域进行数量、荧光强度和面积的计算；
所述细胞定量分析模块，用来对细胞自噬免疫荧光图像中的细胞区域进行数量、荧光强度和面积的计算；并判断细胞是否发生自噬；若细胞区域中包含亮斑区域，则细胞发生自噬；否则，细胞未发生自噬。
一种基于上述系统的一种基于深度学习的细胞自噬免疫荧光图像分析方法，包括以下步骤：
(1)获取细胞自噬免疫荧光图像；并将所述细胞自噬免疫荧光图像转化为二通道图像；
(2)将转化为二通道图像的细胞自噬免疫荧光图像进行细胞区域的分割；包括以下子步骤：
(2.1)将转化为二通道图像的细胞自噬免疫荧光图像进行图像增强处理；
(2.2)将经过步骤(2.1)处理的细胞自噬免疫荧光图像进行数据的归一化处理；
(2.3)将经过步骤(2.2)处理的细胞自噬免疫荧光图像的尺寸进行缩放处理；
(2.4)将经过步骤(2.3)处理的细胞自噬免疫荧光图像输入深度学习模型中，得到细胞区域的分割结果；
(3)将转化为二通道图像的细胞自噬免疫荧光图像进行GFP-LC3阳性亮斑区域分割；包括以下子步骤：
(3.1)提取二通道图像的细胞质通道；
(3.2)选择阈值化方法和/或手动选择亮斑阈值的方法分割GFP-LC3阳性亮斑，得到初步的GFP-LC3阳性亮斑区域分割结果；所述阈值化方法为最大熵或雷尼熵；
(3.3)调节亮斑面积阈值进一步分割，得到进一步的GFP-LC3阳性亮斑区域分割结果；
(3.4)对进一步的GFP-LC3阳性亮斑区域分割结果进行种子提取；
(3.5)询问分割结果是否准确，若不准确，则人工标记亮斑中心点；
(3.6)使用基于种子的分水岭算法，完成GFP-LC3阳性亮斑区域分割，得到最终的GFP-LC3阳性亮斑区域分割结果；
(4)对分割后的细胞区域和最终分割的亮斑区域分别进行计数、荧光强度计算和面积计算；
(5)根据细胞区域和亮斑区域坐标判断细胞中是否包含亮斑，若包含，则该细胞发生自噬；若不包含，则该细胞未发生自噬。
进一步地，所述步骤(2.1)中的图像增强处理，包括以下步骤：
(1)备份二通道图像，提取备份的二通道图像的细胞质通道；
(2)使用IQR离群值检测方法对细胞质通道进行计算，取上须为阈值，将细胞质通道中大于上须的像素阈值化处理，去除GFP-LC3阳性亮斑；
(3)使用自适应直方图均衡化方法对细胞质通道进行亮度、对比度的自适应增强。
进一步地，所述步骤(2.2)中数据的归一化处理对二通道图像的不同通道分别采用最大最小标准化方法实现，同时为了消除异常值的影响，最大最小标准化方法中的max(x)和min(x)分别采用该通道像素的99％百分位数和1％百分位数，归一化处理的计算公式为：
Figure BDA0004099624160000041
其中，x代表图像中某一像素的像素值，x'经过归一化处理后该像素的像素值。
所述步骤(3.4)中的种子提取，通过对步骤(3.3)得到进一步的GFP-LC3阳性亮斑区域分割结果连续进行两次核大小为5的形态学腐蚀操作实现。
本发明的有益效果是：
(1)实现了细胞自噬荧光图像分析系统中细胞区域、GFP-LC3阳性亮斑区域的准确分割；
(2)实现了细胞自噬荧光图像分析系统中细胞区域的分割任务、GFP-LC3阳性亮斑区域的分割任务和细胞区域、GFP-LC3阳性亮斑区域定量分析任务的模块化设计；
(3)兼顾了操作过程的简单性、分割结果的准确性和定量分析功能，实现了细胞自噬荧光图像的自动分析功能。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明分析系统的整体流程图；
图2为本发明自适应直方图均衡化方法对细胞质通道进行增强的图；其中，(a)为细胞质通道原始图像，(b)为自适应直方图均衡化处理后的细胞质通道图像。
图3为本发明GFP-LC3阳性亮斑分割流程图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面结合附图，对本发明进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
本发明的一种基于深度学习的细胞自噬免疫荧光图像分析系统，如图1所示，包括细胞分割模块、GFP-LC3阳性亮斑分割模块和定量分析模块。
所述细胞分割模块，用来对细胞自噬免疫荧光图像中的细胞区域进行分割；具体过程为：首先对细胞自噬免疫荧光图像中的目标分割通道进行选择，将所述细胞自噬免疫荧光图像转化为二通道图像，二通道内容分别为细胞核和细胞质；然后，对转化为二通道图像的细胞自噬免疫荧光图像依次进行图像增强处理和数据的归一化处理；再选择二通道图像中细胞区域的直径大小，对经过图像增强处理和数据的归一化处理的二通道图像的尺寸进行缩放处理；最后将缩放后的二通道图像输入深度学习模型中，得到细胞区域的分割结果。其中，转化为二通道图像的细胞自噬免疫荧光图像可以备份，备份的图像可以应用于细胞分割模块，也可以应用于GFP-LC3阳性亮斑分割模块。
在使用深度学习模型之前，对深度学习模型进行训练和测试，具体为：从二通道图像中分出训练集和数据集；对训练集和测试集中的细胞区域进行像素级的标注，使得不同细胞区域有不同的标签值；将标注后的训练集用于对深度学习模型的训练，标注后的测试集用于对深度学习模型的测试，得到所述深度学习模型。
所述深度学习模型层数为4层，以U-net为主干网络，以Swin Transformer为编码器，以ResNet为解码器，Swin Transformer用于对输入的细胞自噬免疫荧光图像进行下采样，提取图像的边缘信息、纹理信息、位置信息等有助于对细胞区域进行分割的特征信息，增加感知域的大小、保证模型的鲁棒性。每一次下采样操作，编码器提取的特征图尺寸不断减小，最后得到具有抽象语义信息的特征；ResNet用于对编码器提取抽象特征进行恢复和解码，输出与输入图像相同尺寸的细胞区域分割结果；编码器和解码器之间采取跨层连接(将该层编码器提取的特征信息直接输入该层解码器中)的操作，提高细胞区域分割的准确性。
所述图像增强处理包括亮斑去除、自适应直方图均衡化操作，用于增强图像的视觉效果；具体过程为：提取转化为二通道图像的细胞自噬免疫荧光图像的细胞质通道；再使用IQR离群值检测方法对细胞质通道进行阈值计算，取上须为阈值，将细胞质通道中大于上须的像素阈值化处理，去除GFP-LC3阳性亮斑；最后使用自适应直方图均衡化方法对细胞质通道进行亮度和对比度的自适应增强。
所述阈值计算具体为计算像素的上四分位数和下四分位数，上四分位数和下四分位数作差得到IQR值，上四分位数加上1.5倍的IQR值为上须，取上须为阈值。
所述数据归一化处理用于对输入图像的不同通道的像素值进行归一化处理，同时为了消除异常值的影响，最大最小标准化方法中的max(x)和min(x)分别采用该通道像素的99％百分位数和1％百分位数，归一化处理的计算公式为：
Figure BDA0004099624160000061
其中，x代表图像中某一像素的像素值，x'经过归一化处理后该像素的像素值；
所述图像缩放处理用于对输入图像的尺寸进行缩放，尺寸缩放的公式为：
Figure BDA0004099624160000062
其中，sizeoutput为缩放后图像的尺寸大小，diam为选择的二通道图像中细胞区域的平均直径大小，sizeinput为缩放前图像的尺寸大小。
所述GFP-LC3阳性亮斑分割模块，用来对细胞自噬免疫荧光图像中的GFP-LC3阳性亮斑区域进行分割；
所述GFP-LC3阳性亮斑分割模块实现GFP-LC3阳性亮斑区域的分割，如图3所示，具体过程为：首先输入转化为二通道图像的细胞自噬免疫荧光图像；之后选择阈值化方法和/或手动选择阈值的方法分割GFP-LC3阳性亮斑，得到初步的GFP-LC3阳性亮斑区域分割结果；然后调节亮斑面积阈值进一步分割，得到进一步的GFP-LC3阳性亮斑区域分割结果；接着对进一步的GFP-LC3阳性亮斑区域分割结果进行种子提取；接着询问分割结果是否准确，若不准确，则人工标记亮斑中心点；最后使用基于种子的分水岭算法，完成GFP-LC3阳性亮斑区域分割，得到最终的GFP-LC3阳性亮斑区域分割结果；。其中，询问不准确后人工标记的过程为人机回环策略。所述阈值化方法为最大熵(MaxEntropy)或雷尼熵(RenyiEntropy)。
所述定量分析模块，用来分别对细胞自噬免疫荧光图像中的细胞区域和GFP-LC3阳性亮斑区域进行数量、面积和荧光强度的统计和计算；并结合细胞区域的分割结果和GFP-LC3阳性亮斑区域的分割结果判断细胞是否发生自噬；
所述定量分析模块包括亮斑定量分析模块和细胞定量分析模块；
所述亮斑定量分析模块，用来对最终分割后的GFP-LC3阳性亮斑区域进行数量、荧光强度和面积的计算；
所述细胞定量分析模块，用来对分割后的细胞区域进行数量、荧光强度和面积的计算，并判断细胞是否发生自噬。若细胞区域中包含亮斑区域，则细胞发生自噬；否则，细胞未发生自噬。
本发明的一种基于深度学习的细胞自噬免疫荧光图像分析方法，包括图像中细胞区域的分割、图像中GFP-LC3阳性亮斑区域的分割和定量分析；
首先获取细胞自噬免疫荧光图像；并将细胞自噬免疫荧光图像转化为二通道图像
所获取的细胞自噬免疫荧光图像可以来自于共聚焦荧光显微镜采集的细胞自噬免疫荧光图像。本实施例分析哺乳动物细胞自噬，其中细胞可以为Hela细胞(也可以为其他能够发生自噬的细胞，不作限制)，在获取所述细胞自噬免疫荧光图像之前可以诱导哺乳动物细胞发生自噬。
所述图像中细胞区域的分割，步骤如下：
(1)将转化为二通道图像的细胞自噬免疫荧光图像进行图像增强处理，得到增强后的图像；
所述图像增强处理，具体过程为：首先提取转化为二通道图像的细胞自噬免疫荧光图像的细胞质通道；再使用IQR离群值检测方法对细胞质通道进行阈值计算，取上须为阈值，将细胞质通道中大于上须的像素阈值化处理，去除GFP-LC3阳性亮斑；最后使用自适应直方图均衡化方法对细胞质通道进行亮度、对比度的自适应增强。
阈值计算具体为计算像素的上四分位数和下四分位数，上四分位数和下四分位数作差得到IQR值，上四分位数加上1.5倍的IQR值为上须，取上须为阈值，本实施例中上须为17。
自适应直方图均衡化方法具体为对细胞质通道进行亮度、对比度的自适应增强方法通过自适应裁剪像素(裁剪范围可为[0％,100％))，再将剩余像素拉伸，增强图像的视觉效果。本实施例所采用的图像是8位的，以剪裁比例为1％为例，剪裁规则为在灰度直方图的两端各裁剪0.5％的像素，再将剩余像素拉伸至0到255范围内，增强图像的视觉效果，增强后的图像如图2所示。
(2)将所述增强后的图像进行数据的归一化处理；
对图像进行数据的归一化处理，可以保证深度学习模型在训练时能快速收敛，提高计算效率。具体为对二通道图像的不同通道分别采用最大最小标准化方法实现，同时为了消除异常值的影响，最大最小标准化方法中的max(x)和min(x)分别采用该通道像素的99％百分位数和1％百分位数，归一化处理的计算公式为：
Figure BDA0004099624160000071
其中，x代表图像中某一像素的像素值，x'经过归一化处理后该像素的像素值。
(3)将经过归一化处理的图像的尺寸进行缩放处理；
对图像的尺寸进行缩放的公式为：
Figure BDA0004099624160000081
其中，sizeoutput为细胞直径选择模块输出图像的尺寸大小，diam为细胞直径选择模块中输入的细胞直径，sizeinput为细胞直径选择模块输入图像的尺寸大小。本实施例中，diam为320，sizeinput为2048，则sizeoutput为224。
(4)将缩放后的图像输入深度学习模型中，得到细胞区域的分割结果。
为了保证细胞分割结果的准确性，在步骤(4)之前还需对深度学习模型进行训练和测试，具体为：从获取转化为二通道图像的细胞自噬免疫荧光图像中以8:2的比例分出训练集和数据集；对训练集和测试集中的细胞区域进行像素级的标注，使得不同细胞区域有不同的标签值；将标注后的训练集用于对深度学习模型的训练，标注后的测试集用于对深度学习模型的测试，得到所述深度学习模型。
所述深度学习模型层数为4层，以U-net为主干网络，以Swin Transformer为编码器，以ResNet为解码器，Swin Transformer用于对输入的细胞自噬免疫荧光图像进行下采样，提取图像的边缘信息、纹理信息、位置信息等有助于对细胞区域进行分割的特征信息，增加感知域的大小、保证模型的鲁棒性。每一次下采样操作，编码器提取的特征图尺寸不断减小，最后得到具有抽象语义信息的特征；ResNet用于对编码器提取抽象特征进行恢复和解码，输出与输入图像相同尺寸的细胞区域分割结果；编码器和解码器之间采取跨层连接(将该层编码器提取的特征信息直接输入该层解码器中)的操作，提高细胞区域分割的准确性。
以例对所述神经网络训练过程进一步说明：
本发明中的方法可用于实体装置，实体装置的计算设备可为GPU或CPU，本实施例中每批次训练的图片数量为8。将经过图像增强、数据归一化和尺寸缩放后的细胞自噬免疫荧光图像输入所述模型中，模型输出的图像为与输入图像相同尺寸(本实施例输入图像尺寸为224×224)细胞区域分割结果图像，细胞区域分割结果图像中每个细胞区域有不同的标签值。
所述图像中GFP-LC3阳性亮斑区域的分割，步骤如下：
(1)读取转化为二通道图像的细胞自噬免疫荧光图像，提取二通道图像的细胞质通道；
(2)选择阈值化方法和/或手动选择亮斑阈值的方法分割GFP-LC3阳性亮斑，得到初步的GFP-LC3阳性亮斑分割结果；所述阈值化方法为最大熵或雷尼熵；
可以先通过最大熵或雷尼熵阈值化方法进行亮斑的分割，再手动选择亮斑阈值(本实施例中阈值为56)来得到初步的GFP-LC3阳性亮斑区域分割结果，或直接手动选择亮斑阈值(本实施例中阈值为56)来得到初步的GFP-LC3阳性亮斑区域分割结果；或直接通过最大熵或雷尼熵阈值化方法进行亮斑的分割来得到初步的GFP-LC3阳性亮斑区域分割结果；
(3)调节亮斑面积阈值进一步分割，得到进一步的GFP-LC3阳性亮斑区域分割结果；
通过调节亮斑面积阈值(本实施例中面积阈值为20)来选择GFP-LC3亮斑，因为部分GFP-LC3阳性亮斑在成像过程中可能会被切割开，导致GFP-LC3阳性亮斑的数量与实际值有一定的变差，需要通过对亮斑面积进行设定阈值来筛除被切割后面积过小的GFP-LC3阳性亮斑；最后得到进一步的GFP-LC3阳性亮斑区域分割结果；
(4)对进一步的GFP-LC3阳性亮斑区域分割结果进行种子提取；
种子提取具体为：对进一步的GFP-LC3阳性亮斑区域分割结果连续进行两次核大小为5的形态学腐蚀操作；
(5)询问分割结果是否准确，若不准确，则人工标记亮斑中心点；
分割结果准确的标准为：肉眼观察到的GFP-LC3阳性亮斑无漏检。
(6)使用基于种子的分水岭算法，完成GFP-LC3阳性亮斑区域分割，得到最终的GFP-LC3阳性亮斑区域分割结果；。
分水岭算法完成GFP-LC3阳性亮斑分割通过opencv中的cv2.watershed函数实现。
所述定量分析，具体为：分别对分割后的GFP-LC3阳性亮斑区域和分割后的细胞区域进行数量、面积大小和荧光强度的计算；再根据细胞区域、亮斑区域坐标判断细胞中是否包含亮斑，若包含，则该细胞发生自噬；若不包含，则该细胞未发生自噬。
细胞区域或GFP-LC3阳性亮斑的荧光强度计算方式为该区域的像素值总和与该区域面积的比值。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。

Claims (10)

1.一种基于深度学习的细胞自噬免疫荧光图像分析系统，其特征在于，包括：
细胞分割模块，用来对细胞自噬免疫荧光图像中的细胞区域进行分割；
GFP-LC3阳性亮斑分割模块，用来对细胞自噬免疫荧光图像中的GFP-LC3阳性亮斑区域进行分割；
定量分析模块，用来分别对分割后的细胞区域和分割后的GFP-LC3阳性亮斑区域进行数量、面积和荧光强度的统计和计算；并结合细胞区域的分割结果和GFP-LC3阳性亮斑区域的分割结果判断细胞是否发生自噬。
2.根据权利要求1所述的基于深度学习的细胞自噬免疫荧光图像分析系统，其特征在于，细胞分割模块实现细胞自噬免疫荧光图像中细胞区域的分割，具体过程为：首先对细胞自噬免疫荧光图像中的目标分割通道进行选择，将所述细胞自噬免疫荧光图像转化为二通道图像，二通道内容分别为细胞核和细胞质；然后，对转化为二通道图像的细胞自噬免疫荧光图像依次进行图像增强处理和数据归一化处理；再选择二通道图像中细胞区域的直径大小，对经过图像增强处理和数据归一化处理的二通道图像的尺寸进行缩放处理；最后将缩放后的二通道图像输入深度学习模型中，得到细胞区域的分割结果。
3.根据权利要求2所述的基于深度学习的细胞自噬免疫荧光图像分析系统，其特征在于，在使用深度学习模型之前，对深度学习模型进行训练和测试，具体为：从细胞自噬免疫荧光图像中分出训练集和数据集；对训练集和测试集中的细胞区域进行像素级的标注，使得不同细胞区域有不同的标签值；将标注后的训练集用于对深度学习模型的训练，标注后的测试集用于对深度学习模型的测试，得到所述深度学习模型。
4.根据权利要求2所述的基于深度学习的细胞自噬免疫荧光图像分析系统，其特征在于，图像的尺寸进行缩放的公式为：
Figure FDA0004099624130000011
其中，sizeoutput为缩放后图像的尺寸大小，diam为选择的二通道图像中细胞区域的平均直径大小，sizeinput为缩放前图像的尺寸大小。
5.根据权利要求2所述的基于深度学习的细胞自噬免疫荧光图像分析系统，其特征在于，所述图像增强处理，具体过程为：首先备份二通道图像，提取备份的二通道图像的细胞质通道；再使用IQR离群值检测方法对细胞质通道进行阈值计算，取上须为阈值，将细胞质通道中大于上须的像素阈值化处理，去除GFP-LC3阳性亮斑；最后使用自适应直方图均衡化方法对细胞质通道进行亮度和对比度的自适应增强。
6.根据权利要求1所述的基于深度学习的细胞自噬免疫荧光图像分析系统，其特征在于，所述GFP-LC3阳性亮斑分割模块实现GFP-LC3阳性亮斑区域的分割，具体过程为：首先输入转化为二通道图像的细胞自噬免疫荧光图像；之后选择阈值化方法和/或手动选择阈值的方法分割GFP-LC3阳性亮斑，得到初步的GFP-LC3阳性亮斑区域分割结果；然后再调节亮斑面积阈值，对初步的GFP-LC3阳性亮斑区域分割结果进行筛选，得到进一步的GFP-LC3阳性亮斑区域分割结果；接着对进一步的GFP-LC3阳性亮斑区域分割结果进行种子提取；接着询问分割结果是否准确，若不准确，则人工标记亮斑中心点；最后使用基于种子的分水岭算法，完成GFP-LC3阳性亮斑区域分割；所述阈值化方法为最大熵或雷尼熵。
7.根据权利要求1所述的基于深度学习的细胞自噬免疫荧光图像分析系统，其特征在于，所述定量分析模块包括亮斑定量分析模块和细胞定量分析模块；
所述亮斑定量分析模块，用来对细胞自噬免疫荧光图像中的GFP-LC3阳性亮斑区域进行数量、荧光强度和面积的计算；
所述细胞定量分析模块，用来对细胞自噬免疫荧光图像中的细胞区域进行数量、荧光强度和面积的计算；并判断细胞是否发生自噬；若细胞区域中包含亮斑区域，则细胞发生自噬；否则，细胞未发生自噬。
8.一种基于权利要求1-7任一项所述系统的一种基于深度学习的细胞自噬免疫荧光图像分析方法，其特征在于，包括以下步骤：
(1)获取细胞自噬免疫荧光图像；并将所述细胞自噬免疫荧光图像转化为二通道图像；
(2)将转化为二通道图像的细胞自噬免疫荧光图像进行细胞区域的分割；包括以下子步骤：
(2.1)将转化为二通道图像的细胞自噬免疫荧光图像进行图像增强处理；
(2.2)将经过步骤(2.1)处理的细胞自噬免疫荧光图像进行数据的归一化处理；
(2.3)将经过步骤(2.2)处理的细胞自噬免疫荧光图像的尺寸进行缩放处理；
(2.4)将经过步骤(2.3)处理的细胞自噬免疫荧光图像输入深度学习模型中，得到细胞区域的分割结果；
(3)将转化为二通道图像的细胞自噬免疫荧光图像进行GFP-LC3阳性亮斑区域分割；包括以下子步骤：
(3.1)提取二通道图像的细胞质通道；
(3.2)选择阈值化方法和/或手动选择亮斑阈值的方法分割GFP-LC3阳性亮斑，得到初步的GFP-LC3阳性亮斑区域分割结果；所述阈值化方法为最大熵或雷尼熵；
(3.3)调节亮斑面积阈值进一步分割，得到进一步的GFP-LC3阳性亮斑区域分割结果；
(3.4)对进一步的GFP-LC3阳性亮斑区域分割结果进行种子提取；
(3.5)询问分割结果是否准确，若不准确，则人工标记亮斑中心点；
(3.6)使用基于种子的分水岭算法，完成GFP-LC3阳性亮斑区域分割，得到最终的GFP-LC3阳性亮斑区域分割结果；
(4)对分割后的细胞区域和最终分割的亮斑区域分别进行计数、荧光强度计算和面积计算；
(5)根据细胞区域和亮斑区域坐标判断细胞中是否包含亮斑，若包含，则该细胞发生自噬；若不包含，则该细胞未发生自噬。
9.根据权利要求8所述的一种基于深度学习的细胞自噬免疫荧光图像分析方法，其特征在于，所述步骤(2.1)中的图像增强处理，包括以下步骤：
(1)备份二通道图像，提取备份的二通道图像的细胞质通道；
(2)使用IQR离群值检测方法对细胞质通道进行计算，取上须为阈值，将细胞质通道中大于上须的像素阈值化处理，去除GFP-LC3阳性亮斑；
(3)使用自适应直方图均衡化方法对细胞质通道进行亮度、对比度的自适应增强。
10.根据权利要求8所述的一种基于深度学习的细胞自噬免疫荧光图像分析方法，其特征在于，所述步骤(2.2)中数据的归一化处理对二通道图像的不同通道分别采用最大最小标准化方法实现，同时为了消除异常值的影响，最大最小标准化方法中的max(x)和min(x)分别采用该通道像素的99％百分位数和1％百分位数，归一化处理的计算公式为：
Figure FDA0004099624130000031
其中，x代表图像中某一像素的像素值，x'经过归一化处理后该像素的像素值。
所述步骤(3.4)中的种子提取，通过对步骤(3.3)得到进一步的GFP-LC3阳性亮斑区域分割结果连续进行两次核大小为5的形态学腐蚀操作实现。
CN202310172039.0A 2023-02-27 2023-02-27 基于深度学习的细胞自噬免疫荧光图像分析系统和方法 Pending CN116228706A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310172039.0A CN116228706A (zh) 2023-02-27 2023-02-27 基于深度学习的细胞自噬免疫荧光图像分析系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310172039.0A CN116228706A (zh) 2023-02-27 2023-02-27 基于深度学习的细胞自噬免疫荧光图像分析系统和方法

Publications (1)

Publication Number Publication Date
CN116228706A true CN116228706A (zh) 2023-06-06

Family

ID=86590693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310172039.0A Pending CN116228706A (zh) 2023-02-27 2023-02-27 基于深度学习的细胞自噬免疫荧光图像分析系统和方法

Country Status (1)

Country Link
CN (1) CN116228706A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883325A (zh) * 2023-06-21 2023-10-13 杭州医策科技有限公司 一种免疫荧光图像分析方法和装置
CN118570505A (zh) * 2024-08-01 2024-08-30 广东医科大学附属医院 基于深度学习的细胞自噬图像分析方法、系统及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883325A (zh) * 2023-06-21 2023-10-13 杭州医策科技有限公司 一种免疫荧光图像分析方法和装置
CN116883325B (zh) * 2023-06-21 2024-04-30 杭州医策科技有限公司 一种免疫荧光图像分析方法和装置
CN118570505A (zh) * 2024-08-01 2024-08-30 广东医科大学附属医院 基于深度学习的细胞自噬图像分析方法、系统及存储介质
CN118570505B (zh) * 2024-08-01 2024-09-27 广东医科大学附属医院 基于深度学习的细胞自噬图像分析方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN110334706B (zh) 一种图像目标识别方法及装置
CN116228706A (zh) 基于深度学习的细胞自噬免疫荧光图像分析系统和方法
CN109190567A (zh) 基于深度卷积神经网络的异常宫颈细胞自动检测方法
CN110210448B (zh) 一种智能人脸皮肤老化程度的识别与评估方法
EP2889618A1 (en) Image processing device, program, image processing method, computer-readable medium, and image processing system
CN116188462B (zh) 一种基于视觉鉴定的贵金属质量检测方法及系统
CN109858480A (zh) 一种数字式仪表识别方法
CN111539980B (zh) 一种基于可见光的多目标追踪方法
CN113160175B (zh) 一种基于级联网络的肿瘤淋巴管浸润检测方法
WO2021139447A1 (zh) 一种宫颈异常细胞检测装置及方法
CN109147932B (zh) 癌细胞her2基因扩增分析方法及系统
Wah et al. Analysis on feature extraction and classification of rice kernels for Myanmar rice using image processing techniques
CN112668725A (zh) 一种基于改进特征的金属洗手盆缺陷目标训练方法
CN113506240A (zh) 一种基于深度学习的金相晶界提取和连通方法
KR101929669B1 (ko) 엔트로피를 이용하여 이미지를 분석하는 방법 및 장치
CN115511814A (zh) 一种基于兴趣区域多纹理特征融合的图像质量评价方法
CN114037868B (zh) 图像识别模型的生成方法及装置
CN113989799A (zh) 一种宫颈异常细胞识别方法、装置和电子设备
Lezoray et al. Segmentation of cytological image using color and mathematical morphology
CN112215303B (zh) 一种基于自学属性的图像理解方法及系统
CN101897592A (zh) X射线影像中金属异物的提取方法和装置
CN115994918A (zh) 一种细胞分割方法及系统
CN109003255B (zh) 荧光原位杂交图像的细胞核分割方法及系统
Cosio et al. Automatic counting of immunocytochemically stained cells
CN115082379A (zh) 一种活性污泥相差显微图像絮体和丝状菌分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination