CN111179215A - 一种基于细胞明场图片对细胞内部结构的分析方法及系统 - Google Patents

一种基于细胞明场图片对细胞内部结构的分析方法及系统 Download PDF

Info

Publication number
CN111179215A
CN111179215A CN201911206606.XA CN201911206606A CN111179215A CN 111179215 A CN111179215 A CN 111179215A CN 201911206606 A CN201911206606 A CN 201911206606A CN 111179215 A CN111179215 A CN 111179215A
Authority
CN
China
Prior art keywords
bright field
image
layer
fluorescence
cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911206606.XA
Other languages
English (en)
Other versions
CN111179215B (zh
Inventor
张冀聪
胡静斐
王玄
王�华
武广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Innovation Research Institute of Beihang University
Original Assignee
Hefei Innovation Research Institute of Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Innovation Research Institute of Beihang University filed Critical Hefei Innovation Research Institute of Beihang University
Priority to CN201911206606.XA priority Critical patent/CN111179215B/zh
Publication of CN111179215A publication Critical patent/CN111179215A/zh
Application granted granted Critical
Publication of CN111179215B publication Critical patent/CN111179215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明的一种基于细胞明场图片对细胞内部结构的分析方法及系统，可解决现有方案操作繁琐，效率较低的技术问题；包括获取细胞明场图片，通过卷积层做图像基本内容特征的提取，再通过残差层对图像进一步做深层特征提取，得到明场图像特征；对荧光图像通过基础的卷积层提取得到风格特征；先经过感知层得到风格信息下的均值和方差表示，在自适应实例归一化下将荧光图像风格特征嵌入到明场图像内容特征中；融合后经过残差层做特征学习，在反卷积层中与明场图像特征提取过程中的卷积中间层进行跳跃连接重构得到荧光图像。本发明利用深度学习下图像到图像转换方法去替代物理试剂染色过程，在保证荧光信息颜色的前提下实现了不同荧光图像特定蛋白成分的凸显。

Description

一种基于细胞明场图片对细胞内部结构的分析方法及系统
技术领域
本发明涉及细胞图像技术领域，具体涉及一种基于细胞明场图片对细胞内部结构的分析方法及系统。
背景技术
细胞与材料相互作用的第一步是细胞黏附，主要是通过细胞膜上的跨膜蛋白整合素分子和细胞外基质中某些蛋白质当中特殊的多肽序列发生特异性结合而形成。在黏附过程中，参与细胞与细胞外基质的黏附的所有物质包含：细胞外基质层、细胞膜层、整合素蛋白跨膜区域、整合素信号转化层、力转导层、微丝调控层和张力丝层。整合素与细胞外基质结合后，首先会与黏着斑激酶、桩蛋白、踝蛋白和黏着斑蛋白等形成焦点黏附。黏着斑蛋白的结合位点位于踝蛋白和肌动蛋白的连接处，有多少个结合位点就有多少个黏着斑蛋白分子，它的作用是支撑整合素-踝蛋白-肌动蛋白的连接。这些分子的排列就构成了整合素的信号转换和力转导层。在微丝调控层，焦点黏附与血管扩张刺激磷蛋白和斑联蛋白连接，再通过血管扩张刺激磷蛋白和斑联蛋白的介导作用连接到细胞骨架上,血管扩张刺激磷蛋白和斑联蛋白复合体的作用被认为是通过肌动蛋白连接端的组装和张力丝扩张来增强焦点黏附的强度。在微丝张力丝层-辅肌动蛋白与垂直地与微丝连接，将肌动蛋白连接成束，可以影响细胞的收缩和舒张功能。
细胞微丝分布、黏着斑白蛋白的分布是反应细胞在材料表面黏附状态的主要指标，也直接反应了材料对细胞的亲和性。细胞核的数量反应了细胞密度，也间接反应了细胞在材料表面的黏附状态。在细胞生物材料的研究中，通常对细胞核、微丝和黏着斑蛋白分别进行荧光染色，并在显微镜下拍摄不同荧光场景下的细胞照片，荧光分布反应了细胞核、微丝、黏着斑蛋白的分布信息。细胞核通过核染料进行标记，如DAPI、Hoechst 33332等。微丝通过荧光鬼笔环肽染色。黏着斑蛋白需要通过抗体荧光染料进行染色，通常用一抗与黏着斑蛋白结合，再用标记了二抗的荧光染料与一抗结合完成染色。荧光染色具有诸多缺点。首先，荧光染色通常需要在暗示进行操作，操作步骤十分繁琐，涉及抗体染色的染色耗时长；过程中需对染料残留进行反复清洗，不仅损伤细胞结构还损失细胞密度；而且染色前需对细胞进行固定，会导致细胞死亡，没有办法进行长期多阶段的细胞观察；最后使用的染料DAPI、Hoechst 33332、鬼笔环肽等染料有剧毒，对实验操作人员有毒性伤害。
综上，现有方案获取细胞核、微丝、黏着斑蛋白的信息，是先通过荧光染料对细胞核、微丝、黏着斑蛋白进行染色。染色完成后，在显微镜下各个荧光通道依次进行拍照，期间涉及到每个通道的切换，每个通道需单独进行聚焦。显微镜拍照的场景切换、单独聚焦等步骤可以通过硬件的自动化改进来降低工作的繁琐程度。但是染色的步骤是目前无法越过的。
发明内容
本发明提出的一种基于细胞明场图片对细胞内部结构的分析方法，可解决现有方案获取细胞核、微丝、黏着斑蛋白的信息，操作繁琐，效率较低的技术问题。
为实现上述目的，本发明采用了以下技术方案：
一种基于细胞明场图片对细胞内部结构的分析方法，包括以下步骤：
S100、获取细胞明场图片，设为明场图像XA；
S200、对明场图像XA通过卷积层做图像基本内容特征的提取，再通过残差层对图像进一步做深层特征提取，得到明场图像特征表示ZA；
S300、把明场图像XA经染色处理对应的荧光图像设为XB，对荧光图像XB通过基础的卷积层提取得到风格特征表示ZB；
S400、对荧光图像的风格特征ZB先经过感知层得到风格信息下的均值和方差表示，在自适应实例归一化下将荧光图像风格特征ZB嵌入到明场图像内容特征ZA中；
S500、荧光图像的风格特征ZB和明场图像的内容特征ZA融合后经过残差层做特征学习，在反卷积层中与明场图像特征提取过程中的卷积中间层进行跳跃连接重构得到荧光图像X。
进一步的，所述步骤S100中通过倒置荧光显微镜设备对细胞进行采样和图像收集，并通过倒置荧光显微镜得到细胞的明场图片，设为明场图像XA。
进一步的，所述S200具体步骤为：
针对明场图像XA首先通过kernel为7，步长为1，padding为3的reflect做初步特征提取，再加上2层kernel为4，步长为2，padding为1的reflect做下采样，再通过残差层对图像进一步做深层特征提取，残差层的设计为kernel为3，步长为1，padding为1的reflect的两层卷积层，深层特征提取中的残差层默认设置为4个极联，得到明场图像特征表示ZA。
进一步的，所述S300把明场图像XA经染色处理对应的荧光图像设为XB，对荧光图像XB通过基础的卷积层提取得到风格特征表示ZB；
具体步骤为：
通过kernel为7，步长为1，padding为3的reflect做初步特征提取，再加上2层kernel为4，步长为2，padding为1的reflect做下采样，后接全局平均池化层对风格特征进行均值化，最后通过kernel为1，步长为1的卷积得到目标维度下的风格特征表示，提取得到风格特征表示ZB。
进一步的，在S500阶段得到的荧光图像优化上，通过判别器的设计的基础上加入了全局注意力机制(Self-Attention)对荧光图像的全局结构和内容进行判别，只有特定蛋白成分被按要求呈像出来才认为转换是成功的，否则做进一步优化S500阶段得到的荧光图像。
同时本发明还公开一种基于细胞明场图片对细胞内部结构的分析系统，包括：
图像获取单元，用于获取细胞明场图片，设为明场图像XA；
明场图像特征提取单元，用于对明场图像XA通过卷积层做图像基本内容特征的提取，再通过残差层对图像进一步做深层特征提取，得到明场图像特征表示ZA；
荧光图像特征提取单元，用于对荧光图像的风格特征ZB先经过感知层得到风格信息下的均值和方差表示，在自适应实例归一化下将荧光图像风格特征ZB嵌入到明场图像内容特征ZA中；
融合单元，用于把荧光图像的风格特征ZB和明场图像的内容特征ZA融合后经过残差层做特征学习，在反卷积层中与明场图像特征提取过程中的卷积中间层进行跳跃连接重构得到荧光图像X。
进一步的，所述图像获取单元，具体通过倒置荧光显微镜设备对细胞进行采样和图像收集，并通过倒置荧光显微镜得到细胞的明场图片，设为明场图像XA。
进一步的，所述明场图像特征提取单元，具体针对明场图像XA首先通过kernel为7，步长为1，padding为3的reflect做初步特征提取，再加上2层kernel为4，步长为2，padding为1的reflect做下采样，再通过残差层对图像进一步做深层特征提取，残差层的设计为kernel为3，步长为1，padding为1的reflect的两层卷积层，深层特征提取中的残差层默认设置为4个极联，得到明场图像特征表示ZA。
进一步的，所述荧光图像特征提取单元，具体通过kernel为7，步长为1，padding为3的reflect做初步特征提取，再加上2层kernel为4，步长为2，padding为1的reflect做下采样，后接全局平均池化层对风格特征进行均值化，最后通过kernel为1，步长为1的卷积得到目标维度下的风格特征表示，提取得到风格特征表示ZB。
进一步的，所述融合单元，在得到的荧光图像优化上，通过判别器的设计的基础上加入了全局注意力机制(Self-Attention)对荧光图像的全局结构和内容进行判别，只有特定蛋白成分被按要求呈像出来才认为转换是成功的，否则做进一步优化得到的荧光图像。
由上述技术方案可知，本发明利用深度学习下图像到图像转换方法去替代物理试剂染色过程，在保证荧光信息颜色的前提下关键是实现了不同荧光图像特定蛋白成分的凸显。实现这一转换本发明利用了跳跃连接保证了明场图像的内容和结构信息被充分提取到，在特定蛋白成分凸显上，采用风格特征去表示荧光图像，在判别器中加入全局自注意力机制对转换后的荧光图像进行全局判定，不断优化转换得到的结果。
本发明的优点：
1.物理染色对实验操作人员有毒性伤害，本发明通过深度学习下的图像转换实现了由明场图像到荧光图像的转换。
2.在保证转换得到荧光图像的基础上对于荧光试剂凸显的特定蛋白成分实现了较为合理的学习和转换。
3.本发明可以实现由一张明场图像到多类不同荧光图像的转换。
附图说明
图1是本发明的方法流程图；
图2是本发明的转换流程示意图；
图3是本发明的判别过程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
由于细胞明场图像包含了细胞完整的结构，同时也包括了细胞核的位置和大小，这是细胞荧光图像信息展示细胞内部蛋白成分的关键指示性信息。通过对比明场图像和各类荧光图像后发现明场图像与荧光图像之间存在着结构一致性，内容相似性，仅在图像呈现的荧光性和细胞特定蛋白的呈像上存在着差异。如何利用深度学习方法通过图像之间的转换实现由明场图像到荧光图像的转换去弥补这种呈像上的差异是本发明实施例的目的。
而明场图像到荧光图像的转换是一个替代物理试剂染色的过程，在保证图像的荧光信息呈像的同时要尽可能使得不同荧光图像下的特定蛋白成分被凸显出。为了实现这个转换过程，本发明实施例取明场图像作为基础图像为转换后的荧光图像提供细胞核位置、大小、细胞结构和内容信息，不同的荧光图像提供荧光颜色和特定细胞蛋白成分呈像的风格信息。将荧光图像的风格信息嵌入到明场图像的内容信息中，再对融合后的信息进行荧光图像的建模重构实现明场图像到荧光图像的转换。
如图1所示，本实施例所述的基于细胞明场图片对细胞内部结构的分析方法，包括以下步骤：
S100、获取细胞明场图片，设为明场图像XA；
S200、对明场图像XA通过卷积层做图像基本内容特征的提取，再通过残差层对图像进一步做深层特征提取，得到明场图像特征表示ZA；
S300、把明场图像XA经染色处理对应的荧光图像设为XB，对荧光图像XB通过基础的卷积层提取得到风格特征表示ZB；
S400、对荧光图像的风格特征ZB先经过感知层得到风格信息下的均值和方差表示，在自适应实例归一化下将荧光图像风格特征ZB嵌入到明场图像内容特征ZA中；
S500、荧光图像的风格特征ZB和明场图像的内容特征ZA融合后经过残差层做特征学习，在反卷积层中与明场图像特征提取过程中的卷积中间层进行跳跃连接重构得到荧光图像X。
上述步骤可进一步解释为：
S100、获取细胞明场图片，通过倒置荧光显微镜设备对细胞进行采样和图像收集，并通过倒置荧光显微镜得到细胞的明场图片，设为明场图像XA；
S200、对明场图像XA通过卷积层做图像基本内容特征的提取；
首先通过kernel为7，步长为1，padding为3的reflect做初步特征提取，再加上2层kernel为4，步长为2，padding为1的reflect做下采样，再通过残差层对图像进一步做深层特征提取，残差层的设计为kernel为3，步长为1，padding为1的reflect的两层卷积层，深层特征提取中的残差层默认设置为4个极联，得到明场图像特征表示ZA；
S300、把明场图像XA经染色处理对应的荧光图像设为XB，对荧光图像XB通过基础的卷积层；
通过kernel为7，步长为1，padding为3的reflect做初步特征提取，再加上2层kernel为4，步长为2，padding为1的reflect做下采样，后接全局平均池化层对风格特征进行均值化，最后通过kernel为1，步长为1的卷积得到目标维度下的风格特征表示，提取得到风格特征表示ZB；
S400、对荧光图像的风格特征ZB先经过感知层(由两个全连接层对风格特征ZB分解为均值和方差)得到风格信息下的均值和方差表示，在自适应实例归一化下将荧光图像风格特征ZB嵌入到明场图像内容特征ZA中；
S500、荧光图像的风格特征ZB和明场图像的内容特征ZA通过自适应实例归一化实现融合后经过残差层做特征学习，在反卷积层(通过最紧邻上采样结合kernel为1，步长为1的卷积实现，反卷积层默认是2个)中与明场图像特征提取过程中的卷积中间层进行跳跃连接即将明场图像特征提取下的中间层与上采样阶段对应做连接，重构得到荧光图像X。
对上述步骤具体解释如下：
首先，对明场图像XA通过卷积层做图像的基本内容特征的提取，再通过残差层对图像进一步做深层特征提取，得到明场图像特征表示ZA；
其次，对荧光图像XB通过基础的卷积层提取得到风格特征表示ZB；对风格特征ZB先经过感知层得到风格信息下的均值和方差表示，在自适应实例归一化下将荧光图像风格特征ZB嵌入到明场图像内容特征ZA中；
荧光图像的风格特征ZB和明场图像的内容特征ZA融合后经过残差层做特征学习，在反卷积层中与明场图像特征提取过程中的卷积中间层进行跳跃连接重构得到荧光图像X，整个转换流程如图2所示。
在优化明场图像到荧光图像的转换中，采用生成对抗的思想进行损失函数的设计，对于转换成功的荧光图像判定为真(sigmoid输出接近1)，否则判定为假(sigmoid输出接近0)，不断的提高转换后荧光图像的真实性。为了保证不同荧光图像的特定蛋白呈像，在S500阶段得到的荧光图像X优化上，通过判别器的设计的基础上我们加入了全局注意力机制(Self-Attention)对荧光图像的全局结构和内容进行判别，只有特定蛋白成分被合理的呈像出来才认为转换是成功的否则做进一步优化S500阶段得到的荧光图像X，整个判别过程如图3所示。
在具体应用中，本发明实施例采用Adam优化器进行网络参数的优化，其中β1＝0.5，β2＝0.999，学习率初始化为0.0001，并且每训练完一轮，学习率进行指数降低。
为了实现生成对抗网络训练的稳定性，加入谱归一化对判别器实施1-Lipschitz约束条件，模型将Self-Attention模块加入到判别器的卷积层第一层的输出后，对于对抗损失主要采用LSGAN损失设计。模型实现的是图像到图像的转换，将Batchsize设置为1。
由上可知，本发明实施例采集了大鼠骨髓间充质干细胞、人血管内皮细胞、人血管平滑肌细胞的一个明场、三个荧光(细胞核为蓝色荧光、微丝为红色荧光、黏着斑蛋白为绿色荧光)共四个通道的图像。通过机器学习算法，获得四个通道数据之间的数据关系，实现从明场图像向其他三个通道转换。
通过本发明实施例的方法对细胞明场图像的观察发现，细胞核的位置和大小与细胞明场图像的信息十分相关；细胞在明场视野下的铺展状态，与细胞骨架和黏着斑蛋白的荧光分布信息也有一致性关系；一般来说铺展好的细胞，细胞骨架清洗，黏着蛋白表达明显。细胞铺展差的细胞，骨架和黏着斑蛋白表达也不清洗。
同时，本发明实施例还公开一种基于细胞明场图片对细胞内部结构的分析系统，包括：
图像获取单元，用于获取细胞明场图片，设为明场图像XA；
明场图像特征提取单元，用于对明场图像XA通过卷积层做图像基本内容特征的提取，再通过残差层对图像进一步做深层特征提取，得到明场图像特征表示ZA；
荧光图像特征提取单元，用于对荧光图像的风格特征ZB先经过感知层得到风格信息下的均值和方差表示，在自适应实例归一化下将荧光图像风格特征ZB嵌入到明场图像内容特征ZA中；
融合单元，用于把荧光图像的风格特征ZB和明场图像的内容特征ZA融合后经过残差层做特征学习，在反卷积层中与明场图像特征提取过程中的卷积中间层进行跳跃连接重构得到荧光图像X。
所述图像获取单元，具体通过倒置荧光显微镜设备对细胞进行采样和图像收集，并通过倒置荧光显微镜得到细胞的明场图片，设为明场图像XA。
所述明场图像特征提取单元，具体针对明场图像XA首先通过kernel为7，步长为1，padding为3的reflect做初步特征提取，再加上2层kernel为4，步长为2，padding为1的reflect做下采样，再通过残差层对图像进一步做深层特征提取，残差层的设计为kernel为3，步长为1，padding为1的reflect的两层卷积层，深层特征提取中的残差层默认设置为4个极联，得到明场图像特征表示ZA。
所述荧光图像特征提取单元，具体通过kernel为7，步长为1，padding为3的reflect做初步特征提取，再加上2层kernel为4，步长为2，padding为1的reflect做下采样，后接全局平均池化层对风格特征进行均值化，最后通过kernel为1，步长为1的卷积得到目标维度下的风格特征表示，提取得到风格特征表示ZB。
所述融合单元，在得到的荧光图像优化上，通过判别器的设计的基础上加入了全局注意力机制(Self-Attention)对荧光图像的全局结构和内容进行判别，只有特定蛋白成分被按要求呈像出来才认为转换是成功的，否则做进一步优化得到的荧光图像。
可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。
本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信，
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述基于眼底图像的动静脉检测方法，所述方法包括以下步骤：
S100、获取细胞明场图片，设为明场图像XA；
S200、对明场图像XA通过卷积层做图像基本内容特征的提取，再通过残差层对图像进一步做深层特征提取，得到明场图像特征表示ZA；
S300、把明场图像XA经染色处理对应的荧光图像设为XB，对荧光图像XB通过基础的卷积层提取得到风格特征表示ZB；
S400、对荧光图像的风格特征ZB先经过感知层得到风格信息下的均值和方差表示，在自适应实例归一化下将荧光图像风格特征ZB嵌入到明场图像内容特征ZA中；
S500、荧光图像的风格特征ZB和明场图像的内容特征ZA融合后经过残差层做特征学习，在反卷积层中与明场图像特征提取过程中的卷积中间层进行跳跃连接重构得到荧光图像X。
上述电子设备提到的通信总线可以是外设部件互连标准(英文：PeripheralComponent Interconnect，简称：PCI)总线或扩展工业标准结构(英文：Extended IndustryStandard Architecture，简称：EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，一般仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(英文：Random Access Memory，简称：RAM)，也可以包括非易失性存储器(英文：Non-Volatile Memory，简称：NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(英文：Central ProcessingUnit，简称：CPU)、网络处理器(英文：Network Processor，简称：NP)等；还可以是数字信号处理器(英文：Digital Signal Processing，简称：DSP)、专用集成电路(英文：ApplicationSpecific Integrated Circuit，简称：ASIC)、现场可编程门阵列(英文：Field-Programmable Gate Array，简称：FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一基于细胞明场图片对细胞内部结构的分析方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一基于细胞明场图片对细胞内部结构的分析方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于细胞明场图片对细胞内部结构的分析方法，其特征在于：包括以下步骤：
S100、获取细胞明场图片，设为明场图像XA；
S200、对明场图像XA通过卷积层做图像基本内容特征的提取，再通过残差层对图像进一步做深层特征提取，得到明场图像特征表示ZA；
S300、把明场图像XA经染色处理对应的荧光图像设为XB，对荧光图像XB通过基础的卷积层提取得到风格特征表示ZB；
S400、对荧光图像的风格特征ZB先经过感知层得到风格信息下的均值和方差表示，在自适应实例归一化下将荧光图像风格特征ZB嵌入到明场图像内容特征ZA中；
S500、荧光图像的风格特征ZB和明场图像的内容特征ZA融合后经过残差层做特征学习，在反卷积层中与明场图像特征提取过程中的卷积中间层进行跳跃连接重构得到荧光图像X。
2.根据权利要求1所述的基于细胞明场图片对细胞内部结构的分析方法，其特征在于：所述步骤S100中通过倒置荧光显微镜设备对细胞进行采样和图像收集，并通过倒置荧光显微镜得到细胞的明场图片，设为明场图像XA。
3.根据权利要求1所述的基于细胞明场图片对细胞内部结构的分析方法，其特征在于：所述S200具体步骤为：
针对明场图像XA首先通过kernel为7，步长为1，padding为3的reflect做初步特征提取，再加上2层kernel为4，步长为2，padding为1的reflect做下采样，再通过残差层对图像进一步做深层特征提取，残差层的设计为kernel为3，步长为1，padding为1的reflect的两层卷积层，深层特征提取中的残差层默认设置为4个极联，得到明场图像特征表示ZA。
4.根据权利要求1所述的基于细胞明场图片对细胞内部结构的分析方法，其特征在于：所述S300把明场图像XA经染色处理对应的荧光图像设为XB，对荧光图像XB通过基础的卷积层提取得到风格特征表示ZB；
具体步骤为：
通过kernel为7，步长为1，padding为3的reflect做初步特征提取，再加上2层kernel为4，步长为2，padding为1的reflect做下采样，后接全局平均池化层对风格特征进行均值化，最后通过kernel为1，步长为1的卷积得到目标维度下的风格特征表示，提取得到风格特征表示ZB。
5.根据权利要求1所述的基于细胞明场图片对细胞内部结构的分析方法，其特征在于：在S500阶段得到的荧光图像优化上，通过判别器的设计的基础上加入了全局注意力机制(Self-Attention)对荧光图像的全局结构和内容进行判别，只有特定蛋白成分被按要求呈像出来才认为转换是成功的，否则做进一步优化S500阶段得到的荧光图像。
6.一种基于细胞明场图片对细胞内部结构的分析系统，其特征在于：包括：
图像获取单元，用于获取细胞明场图片，设为明场图像XA；
明场图像特征提取单元，用于对明场图像XA通过卷积层做图像基本内容特征的提取，再通过残差层对图像进一步做深层特征提取，得到明场图像特征表示ZA；
荧光图像特征提取单元，用于对荧光图像的风格特征ZB先经过感知层得到风格信息下的均值和方差表示，在自适应实例归一化下将荧光图像风格特征ZB嵌入到明场图像内容特征ZA中；
融合单元，用于把荧光图像的风格特征ZB和明场图像的内容特征ZA融合后经过残差层做特征学习，在反卷积层中与明场图像特征提取过程中的卷积中间层进行跳跃连接重构得到荧光图像X。
7.根据权利要求6所述的一种基于细胞明场图片对细胞内部结构的分析系统，其特征在于：所述图像获取单元，具体通过倒置荧光显微镜设备对细胞进行采样和图像收集，并通过倒置荧光显微镜得到细胞的明场图片，设为明场图像XA。
8.根据权利要求6所述的一种基于细胞明场图片对细胞内部结构的分析系统，其特征在于：所述明场图像特征提取单元，具体针对明场图像XA首先通过kernel为7，步长为1，padding为3的reflect做初步特征提取，再加上2层kernel为4，步长为2，padding为1的reflect做下采样，再通过残差层对图像进一步做深层特征提取，残差层的设计为kernel为3，步长为1，padding为1的reflect的两层卷积层，深层特征提取中的残差层默认设置为4个极联，得到明场图像特征表示ZA。
9.根据权利要求6所述的一种基于细胞明场图片对细胞内部结构的分析系统，其特征在于：所述荧光图像特征提取单元，具体通过kernel为7，步长为1，padding为3的reflect做初步特征提取，再加上2层kernel为4，步长为2，padding为1的reflect做下采样，后接全局平均池化层对风格特征进行均值化，最后通过kernel为1，步长为1的卷积得到目标维度下的风格特征表示，提取得到风格特征表示ZB。
10.根据权利要求6所述的一种基于细胞明场图片对细胞内部结构的分析系统，其特征在于：所述融合单元，在得到的荧光图像优化上，通过判别器的设计的基础上加入了全局注意力机制(Self-Attention)对荧光图像的全局结构和内容进行判别，只有特定蛋白成分被按要求呈像出来才认为转换是成功的，否则做进一步优化得到的荧光图像。
CN201911206606.XA 2019-11-29 2019-11-29 一种基于细胞明场图片对细胞内部结构的分析方法及系统 Active CN111179215B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911206606.XA CN111179215B (zh) 2019-11-29 2019-11-29 一种基于细胞明场图片对细胞内部结构的分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911206606.XA CN111179215B (zh) 2019-11-29 2019-11-29 一种基于细胞明场图片对细胞内部结构的分析方法及系统

Publications (2)

Publication Number Publication Date
CN111179215A true CN111179215A (zh) 2020-05-19
CN111179215B CN111179215B (zh) 2022-09-13

Family

ID=70653776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911206606.XA Active CN111179215B (zh) 2019-11-29 2019-11-29 一种基于细胞明场图片对细胞内部结构的分析方法及系统

Country Status (1)

Country Link
CN (1) CN111179215B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022048182A1 (zh) * 2020-09-02 2022-03-10 北京邮电大学 一种图像风格转换及模型训练的方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440627A (zh) * 2013-08-23 2013-12-11 北京理工大学 一种基于光影强化的卡通风格渲染方法
CN105989584A (zh) * 2015-01-29 2016-10-05 北京大学 图像风格化重建的方法和装置
CN106952224A (zh) * 2017-03-30 2017-07-14 电子科技大学 一种基于卷积神经网络的图像风格转移方法
CN107767328A (zh) * 2017-10-13 2018-03-06 上海交通大学 基于少量样本生成的任意风格和内容的迁移方法和系统
CN108614994A (zh) * 2018-03-27 2018-10-02 深圳市智能机器人研究院 一种基于深度学习的人头部图像提取方法和装置
CN108734653A (zh) * 2018-05-07 2018-11-02 商汤集团有限公司 图像风格转换方法及装置
CN109272492A (zh) * 2018-08-24 2019-01-25 深思考人工智能机器人科技（北京）有限公司 一种细胞病理涂片的处理方法及系统
CN109711136A (zh) * 2017-10-26 2019-05-03 武汉极意网络科技有限公司 存储设备、验证码图片生成方法和装置
CN110288515A (zh) * 2019-05-27 2019-09-27 宁波大学 对电子显微镜拍摄的微观结构照片进行智能着色的方法及cnn着色学习器
CN110473141A (zh) * 2019-08-02 2019-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440627A (zh) * 2013-08-23 2013-12-11 北京理工大学 一种基于光影强化的卡通风格渲染方法
CN105989584A (zh) * 2015-01-29 2016-10-05 北京大学 图像风格化重建的方法和装置
CN106952224A (zh) * 2017-03-30 2017-07-14 电子科技大学 一种基于卷积神经网络的图像风格转移方法
CN107767328A (zh) * 2017-10-13 2018-03-06 上海交通大学 基于少量样本生成的任意风格和内容的迁移方法和系统
CN109711136A (zh) * 2017-10-26 2019-05-03 武汉极意网络科技有限公司 存储设备、验证码图片生成方法和装置
CN108614994A (zh) * 2018-03-27 2018-10-02 深圳市智能机器人研究院 一种基于深度学习的人头部图像提取方法和装置
CN108734653A (zh) * 2018-05-07 2018-11-02 商汤集团有限公司 图像风格转换方法及装置
CN109272492A (zh) * 2018-08-24 2019-01-25 深思考人工智能机器人科技（北京）有限公司 一种细胞病理涂片的处理方法及系统
CN110288515A (zh) * 2019-05-27 2019-09-27 宁波大学 对电子显微镜拍摄的微观结构照片进行智能着色的方法及cnn着色学习器
CN110473141A (zh) * 2019-08-02 2019-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHICHEN FU等: "《Three Dimensional Fluorescence Microscopy Image Synthesis and Segmentation》", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》 *
XUN HUANG等: "《Arbitrary Style Transfer in Real-Time with Adaptive Instance Normalization》", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
YANG CHEN 等: "《Transforming photos to comics using convolutional neural networks》", 《2017 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *
杜振龙等: "《基于改进CycleGAN的图像风格迁移》", 《光学 精密工程》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022048182A1 (zh) * 2020-09-02 2022-03-10 北京邮电大学 一种图像风格转换及模型训练的方法及装置

Also Published As

Publication number Publication date
CN111179215B (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
JP6143376B2 (ja) 病理学における品質保証のためのシステムおよび方法
CN107209937A (zh) 用于使用载片缩略图图像的感兴趣区域检测的系统和方法
US20140314300A1 (en) System and method for reviewing and analyzing cytological specimens
US20130290225A1 (en) Systems and methods for selecting and analyzing particles in a biological tissue
JP6317732B2 (ja) 生物組織に対するバイオマーカーの品質レビュースコアリング及び画像解析方法を実行するためのシステム並びに方法
JP6633662B2 (ja) 医用画像ベースの連携
CN113763370B (zh) 数字病理图像的处理方法、装置、电子设备及存储介质
CN110838094B (zh) 病理切片染色风格转换方法和电子设备
CN111179215B (zh) 一种基于细胞明场图片对细胞内部结构的分析方法及系统
US11769582B2 (en) Systems and methods of managing medical images
Frankenstein et al. Automated 3D scoring of fluorescence in situ hybridization (FISH) using a confocal whole slide imaging scanner
Fishman et al. Practical segmentation of nuclei in brightfield cell images with neural networks trained on fluorescently labelled samples
Shaw et al. Optical mesoscopy, machine learning, and computational microscopy enable high information content diagnostic imaging of blood films
Mei et al. Cross-stained segmentation from renal biopsy images using multi-level adversarial learning
Du et al. Morphological components detection for super-depth-of-field bio-micrograph based on deep learning
Guo et al. Pathological detection of micro and fuzzy gastric cancer cells based on deep learning
Kalyani et al. Deep learning-based detection and classification of adenocarcinoma cell nuclei
Lee et al. Deep learning and color variability in breast cancer histopathological images: a preliminary study
CN110793965A (zh) 图像采集方法和装置、显微镜系统、计算机可读存储介质
CN118279702B (zh) 一种泪溢检测模型构建方法、泪溢检测方法、装置和设备
Melder et al. Automated image analysis in the diagnosis of bladder cancer
Ishikawa et al. Extraction of glomeruli in whole slide imaging of kidney biopsy specimens
Pinckaers et al. High resolution whole prostate biopsy classification using streaming stochastic gradient descent
Yu et al. sqFibrosis: A Robust Liver Fibrosis Scoring System for Telepathology
Li et al. Nuclei Classification Using Dual View CNNs with Multi-crop Module in Histology Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant