CN112255216A - 一种适用于细胞器互作网络研究的无标记多模态显微系统 - Google Patents

一种适用于细胞器互作网络研究的无标记多模态显微系统 Download PDF

Info

Publication number
CN112255216A
CN112255216A CN202011256510.7A CN202011256510A CN112255216A CN 112255216 A CN112255216 A CN 112255216A CN 202011256510 A CN202011256510 A CN 202011256510A CN 112255216 A CN112255216 A CN 112255216A
Authority
CN
China
Prior art keywords
organelles
organelle
raman
channel
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011256510.7A
Other languages
English (en)
Inventor
扎克
储开芹
于亚军
戴一川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202011256510.7A priority Critical patent/CN112255216A/zh
Publication of CN112255216A publication Critical patent/CN112255216A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/65—Raman scattering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6402—Atomic fluorescence; Laser induced fluorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6495—Miscellaneous methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明公开了一种适用于细胞器互作网络研究的无标记多模态显微系统，包括：拉曼通道，位相通道，以及荧光通道；精密位移台；照明光源，以及多个激光器；其中，所述拉曼通道包括拉曼光谱仪，2D振镜、1D振镜，用于提供快速扫描拉曼光谱信号；所述位相通道用于记录无标记细胞器的形态信息，记录相位图像。通过将高时空分辨位相技术和快速拉曼扫描技术融合起来，不仅对多种细胞器进行形态的快速检测，同时也对运动的细胞器实现实时跟踪并收集其拉曼光谱信息，从而分析该细胞结构与其它细胞结构之间的物质交换。本发明与现有荧光技术相比，可同时对多种细胞器观察其形态，原位检测多种物质交换，并在干扰最小的情况下描绘出细胞器网络互作的动态变化特征。

Description

一种适用于细胞器互作网络研究的无标记多模态显微系统
技术领域
本发明涉及生物显微成像技术，尤其涉及一种适用于细胞器互作网络研究的无标记多模态显微系统。
背景技术
细胞是生命活动的基本单元，而细胞器又是细胞的职能部门，执行与细胞命运密切相关的生命活动如代谢、应激、自噬等等。细胞内含有十多种细胞器，各细胞器通过相互协作和密切接触形成细胞器互作网络，实现物质交换，同时也传递信号因子参与调控。细胞器网络功能的紊乱将引起多种代谢疾病(肥胖、糖尿病、老年痴呆等)，甚至肿瘤的发生发展。目前对细胞器互作的形式、功能和机制的研究还在起步阶段。
当前对互作网络动态过程的观测主要依赖荧光显微技术，但是荧光显微技术存在着光毒性、观测时间短、多对象标记困难、荧光标记需要先验知识等问题。因此，目前急需发展能同时观察多种细胞器形态，原位检测多种物质交换，且对细胞活性影响较小的测量技术。
发明内容
为解决上述问题，本发明采用的技术方案是：一种适用于细胞器互作网络研究的无标记多模态显微系统，包括：拉曼通道，位相通道，以及荧光通道；精密位移台；照明光源，以及多个激光器；
其中，所述拉曼通道包括拉曼光谱仪，2D振镜、1D振镜，用于提供快速扫描拉曼光谱信号，并且记录拉曼光谱信息；
所述位相通道包括CMOS相机，用于记录无标记细胞器的形态信息，记录相位图像；
所述荧光通道包括第一荧光通道，以及第二荧光通道，分别包括有CMOS相机进行探测；所述荧光通道用于产生网络训练和深度学习需要的标记信息，以及具备调控功能的蛋白质信号；采用两路荧光通道的结构，用于同时获得不同标记的荧光信号；
精密位移台，用于放置细胞进行观测。
进一步的，通过位相通道捕获无标记的细胞显微图片，通过荧光通道获得特定细胞器的标记图片，将此配对数据提供给CNN网络进行训练，获得此类细胞器的特征。
进一步的，第一激光器输出的光照射到第一波长分光片，第一波长分光片与第二波长分光片、第三波长分光片、第四波长分光片、第五波长分光片依次相连；第二激光器输出的光照射到第二波长分光片；所述的第一荧光通道连接到第一波长分光片；所述的第二荧光通道连接到第四波长分光片；所述的位相通道连接到第三波长分光片，位相通道包括有CMOS探测器以及空间光调制器SLM；
细胞器放置在精密位移台上，照明光源通过带通滤波器对细胞器进行照明，精密位移台连接到第五波长分光片；第五波长分光片进一步连接到2D振镜以及第七波长分光片，第七波长分光片与第三激光器连接，同时还连接到拉曼通道，所述拉曼通道包括有1D振镜和拉曼光谱仪。
进一步的，利用位相图片进行在线识别和跟踪；用户首先定义ROI，曝光时间、间隔；位相系统的视野大于一个细胞，使用IOU指标来跟踪细胞器；位相采集系统采集纳米台上的细胞图像，判断是否聚焦，如果没有聚焦，则发送控制命令使得控制台进行位置微调，直到聚焦准确，然后进行在线形态分析、识别细胞器及其位置；细胞器的位置更新信息将反馈到拉曼相机扫描系统；同时，在动态实验中，样品由精密位移台控制其整体XY位置并进行Z方向的聚焦，系统也将通过自动聚焦克服由温度或其他环境因素引起的漂移，实现对运动细胞器的持续激发。
进一步的，第三激光器发射的光源照射到2D振镜，根据不断更新的细胞器位置信息，利用2D振镜将用于拉曼激发的激发光斑保持在细胞器上；对激光信号采用时间复用的方式，利用2D振镜的快速扫描能力，扫描样品面上的多个细胞器，实现这几个细胞器位置的快速切换；在探测端，首先利用2D振镜进行去扫描，然后再利用1D振镜将这几个细胞器的拉曼信号分散到光谱仪的狭缝的不同位置，对应于相机的不同行上，从而获得脂滴的拉曼光谱。
进一步的，在数据采集过程中需要对细胞器进行在线识别和跟踪，在采集后需要对两个模态的数据进行分析并关联起来，系统的数据处理包括如下步骤：
步骤1、位相通道采集的细胞图像信息；
步骤2、利用深度学习网络CNN对图片中的细胞器进行识别；
步骤3、针对每类细胞器分别进行形态分析以获取各类细胞器的形态学信息及其物理运动信息，包括大小/形态，分裂/融合、细胞器接触的情况；
步骤4、利用位相通道采集的细胞图像信息进行细胞器跟踪，2D振镜扫描系统同步扫描细胞器的光谱；
步骤5、根据各细胞器的空间位置分析不同细胞器之间接触的情况；对于拉曼光谱信息，将利用非对称最小二乘方法、顶点分量分析之一的方法，实现光谱分离；对于拉曼动态信息，采用统计分析方法来提取细胞器随时间推移过程中的化学动态信息；
步骤6、由于位相和拉曼两个通道的信息是同步采集，将形态信息和化学信息关联起来，研究细胞器在形态变化过程中相应的化学变化。
进一步的，通过配对荧光和相位通道为深度学习网络提供标记数据、训练数据和测试数据，实现对精细细胞器自动识别，所述细胞器包括线粒体、内质网的无标记细胞器。
进一步的，位相通道的采集帧率为200～250Hz，利用位相通道采集的图像和训练好的神经网络自动识别算法，对单个或多个细胞器进行在线跟踪。
进一步的，同步位相和拉曼测量，以便实时原位测量细胞器上形态和化学的动态变化，分析研究细胞器互作网络的功能。
进一步的，对于拉曼光谱信息，利用非对称最小二乘方法或顶点分量分析方法，实现光谱分离；对于长时间的拉曼动态信息，采用统计分析方法来提取细胞器随时间推移过程中的化学动态信息，所述统计分析方法包括顶点分量或MCR-ALS(multivariate curveresolution with alternating least squares)。
进一步的，在上述无标记多模态显微系统中，在对运动的细胞器收集拉曼光谱方面，通过前面在线跟踪获得的位置信息，利用拉曼通道的振镜对这些细胞器进行持续激发，从而收集高质量的拉曼光谱。
优选的，在上述无标记多模态显微系统中，根据不断更新的细胞器位置信息，利用二维振镜等光束位置调整器件将用于拉曼激发的光束保持在细胞器上；为了能同时对多个细胞器进行测量，可以采用时间复用的方式，利用振镜的快速扫描能力，实现这几个细胞器位置的快速切换。
进一步的，在上述无标记多模态显微系统中，在探测端，利用光束位置调整器件如振镜将这几个细胞器的拉曼信号分散到相机的不同行上，在这几个目标细胞器的循环测量过程中，拉曼光束在单个细胞器上单次停留的时间在毫秒级，避免影响该细胞器的自由运动。
优选的，在上述无标记多模态显微系统中，在数据采集过程中需要对细胞器进行在线识别和跟踪，在采集后需要对两个模态的数据进行分析并关联起来。
优选的，在上述无标记多模态显微系统中，对于位相通道的信息，对图片中的细胞器进行识别后，针对每类细胞器分别进行形态分析以获取各类细胞器的形态学信息及其物理运动信息；同时也将根据各细胞器的空间位置分析不同细胞器之间接触的情况。
相较于荧光技术，本发明实现的有益效果为：
本发明提供的一种适用于细胞器互作网络研究的无标记多模态显微系统，能够无标记观测细胞器的形态和化学的动态变化，避免了光毒，有利于保持细胞的活性和正常的生理活动；无标记观察不会有样品漂白信号变弱的问题，可长时间连续观察活细胞的动态变化；高分辨位相显微技术和拉曼技术收集的都是样品的内源信号，可同时观察多种细胞器，有利于全景观地捕捉互作网络的动态变化；拉曼作为化学量化手段，无需先验知识就能跟踪细胞器上的物质变化，更全面的反映细胞内发生的化学变化。因此，本发明优势明显，可同时对多种细胞器观察其形态，原位分析物质交换，在干扰最小的情况下描绘出细胞器网络互作的动态变化特征，可广泛应用于生物学、免疫学、病理学、药理学等领域。
附图说明
图1是系统硬件结构整体示意图；
图2是用于无标记细胞识别的U-Nnet网络构架；
图3是系统数据采集控制流程图；
图4是利用时间复用对多个运动脂滴进行跟踪和拉曼测量示意图；
图5是本发明数据处理流程图，其中，CNN:卷积神经网络；VCA:顶点分量分析；ASLS:非对称最小二乘法。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明公开了一种适用于细胞器互作网络研究的无标记多模态显微系统。系统硬件结构如图1所示，包括，拉曼通道，位相通道，以及荧光通道；精密位移台，用于放置细胞进行观测；照明光源，以及多个激光器；
其中拉曼通道包括拉曼光谱仪，用于记录高质量的拉曼光谱信息；
所述位相通道包括CMOS相机，用于记录无标记细胞器的形态信息；
所述荧光通道包括第一荧光通道，以及第二荧光通道，分别包括有CMOS相机进行探测；荧光通道用于产生深度学习需要的标记信息。采用两路荧光通道的结构，能够同时获得不同标记的荧光信号，提升深度学习的性能。通过高时空分辨的位相通道捕获无标记的细胞显微图片，通过荧光通道获得特定细胞器的标记图片，将此配对数据提供给CNN训练，获得此类细胞器的特征。
具体的，如图1所示，第一激光器3输出的光照射到第一波长分光片16，第一波长分光片16与第二波长分光片9、第三波长分光片10、第四波长分光片11、第五波长分光片12依次相连；第二激光器4输出的光照射到第二波长分光片9；所述的第一荧光通道1连接到第一波长分光片16；所述的第二荧光通道2连接到第四波长分光片11；所述的位相通道连接到第三波长分光片10，位相通道包括有CMOS探测器以及空间光调制器SLM；
细胞器放置在精密位移台7上，照明光源6通过带通滤波器对细胞器进行照明，精密位移台7连接到第五波长分光片12；第五波长分光片12进一步连接到2D振镜14以及第七波长分光片15，第七波长分光片1与第三激光器8连接，同时还连接到拉曼通道17，所述拉曼通道17包括有1D振镜和拉曼光谱仪；
根据本发明的一个实施例，以线粒体为例，可通过Mitotracker对其染色，采集荧光图和位相图，构建如图2所示的U-Net网络，其中损失函数为MSE，激活函数为ReLU。
如图3所示，利用高时空分辨的位相图片进行在线识别和跟踪。用户首先定义ROI，曝光时间、间隔等；位相系统的视野大于一个细胞，并且图像采集速度快，识别的速度也快，细胞器在相邻帧之间的重叠大。因此，可以使用简单的且计算开销小的指标(如IOU)来跟踪细胞器。位相采集系统采集纳米台上的细胞图像，判断是否聚焦，如果没有聚焦，则发送控制命令使得控制台进行位置微调，直到聚焦准确，然后进行在线形态分析、识别细胞器及其位置；细胞器的位置更新信息将反馈到拉曼相机扫描系统。同时，在动态实验中，样品由精密位移台(即纳米台)控制其整体XY位置并进行Z方向的聚焦，系统也将通过自动聚焦克服由温度或其他环境因素引起的漂移，实现对运动细胞器的持续激发。
如图4所示，第三激光器8发射的光源照射到2D振镜，根据不断更新的细胞器位置信息，利用2D振镜将用于拉曼激发的激发光斑保持在细胞器上。为了能同时对多个细胞器进行测量，可以对激光信号采用时间复用的方式，利用2D振镜的快速扫描能力，扫描样品面上的多个细胞器，实现这几个细胞器位置的快速切换。在探测端，首先利用2D振镜进行去扫描，然后再利用1D振镜将这几个细胞器的拉曼信号分散到光谱仪的狭缝的不同位置，对应于相机的不同行上，从而获得脂滴的拉曼光谱。
如图4所示(以脂滴为例)，在样品面上有多个脂滴(脂滴1～5)。在利用拉曼研究微米亚微米尺度的细胞器如脂滴时，聚焦的激发光束，特别是功率大的激光会夹住细胞器，束缚其自由运动，影响细胞器之间的自发互作。因此，在这几个目标细胞器的循环测量过程中，拉曼光束在单个细胞器上单次停留的时间在毫秒级，既增加了测量的速度和范围，也避免了影响该细胞器的自由运动。在数据采集过程中需要对细胞器进行在线识别和跟踪，如图3和4所示。
在采集后需要对两个模态的数据进行分析并关联起来，系统的数据处理如图5所示，包括如下步骤：
步骤1、位相通道采集的细胞图像信息；
步骤2、利用深度学习网络CNN对图片中的细胞器进行识别；
步骤3、针对每类细胞器分别进行形态分析以获取各类细胞器的形态学信息及其物理运动信息。以线粒体为例，将利用开源软件如MitoGraph分析出各线粒体的大小/形态，分裂/融合、细胞器接触的情况。
步骤4、利用位相通道采集的细胞图像信息进行细胞器跟踪，2D振镜扫描系统同步扫描细胞器的光谱；
步骤5、根据各细胞器的空间位置分析不同细胞器之间接触的情况。对于拉曼光谱信息，将利用非对称最小二乘方法、顶点分量分析等方法，实现光谱分离。对于长时间的拉曼动态信息，我们将采用统计分析如顶点分量或MCR-ALS(multivariate curveresolution with alternating least squares)来提取细胞器随时间推移过程中的化学动态信息。
步骤6、由于位相和拉曼两个通道的信息是同步采集，可以将形态信息和化学信息关联起来，研究细胞器在形态变化过程中相应的化学变化。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种适用于细胞器互作网络研究的无标记多模态显微系统，其特征在于，包括：拉曼通道，位相通道，以及荧光通道；精密位移台；照明光源、2D振镜、以及多个激光器；
其中，所述拉曼通道包括拉曼光谱仪、1D振镜，用于提供快速扫描拉曼光谱信号，并且记录拉曼光谱信息；
所述位相通道包括CMOS相机，用于记录无标记细胞器的形态信息，记录相位图像；
所述荧光通道包括第一荧光通道，以及第二荧光通道，分别包括有CMOS相机进行探测；所述荧光通道用于产生网络训练和深度学习需要的标记信息，以及具备调控功能的蛋白质信号；采用两路荧光通道的结构，用于同时获得不同标记的荧光信号；
精密位移台，用于放置细胞器进行观测。
2.根据权利要求1所述的一种适用于细胞器互作网络研究的无标记多模态显微系统，其特征在于：
通过位相通道捕获无标记的细胞显微图片，通过荧光通道获得特定细胞器的标记图片，将此配对数据提供给CNN网络进行训练，获得此类细胞器的特征。
3.根据权利要求1所述的一种适用于细胞器互作网络研究的无标记多模态显微系统，其特征在于：
第一激光器输出的光照射到第一波长分光片，第一波长分光片与第二波长分光片、第三波长分光片、第四波长分光片、第五波长分光片依次相连；第二激光器输出的光照射到第二波长分光片；所述的第一荧光通道连接到第一波长分光片；所述的第二荧光通道连接到第四波长分光片；所述的位相通道连接到第三波长分光片，位相通道包括有CMOS探测器以及空间光调制器SLM；
细胞器放置在精密位移台上，照明光源通过带通滤波器对细胞器进行照明，精密位移台连接到第五波长分光片；第五波长分光片进一步连接到2D振镜以及第七波长分光片，第七波长分光片与第三激光器连接，同时还连接到拉曼通道，所述拉曼通道包括有1D振镜和拉曼光谱仪。
4.根据权利要求1所述的一种适用于细胞器互作网络研究的无标记多模态显微系统，其特征在于：利用位相图片进行在线识别和跟踪；用户首先定义ROI，曝光时间、间隔；位相系统的视野大于一个细胞，使用IOU指标来跟踪细胞器；位相采集系统采集纳米台上的细胞图像，判断是否聚焦，如果没有聚焦，则发送控制命令使得控制台进行位置微调，直到聚焦准确，然后进行在线形态分析、识别细胞器及其位置；细胞器的位置更新信息将反馈到拉曼相机扫描系统；同时，在动态实验中，样品由精密位移台控制其整体XY位置并进行Z方向的聚焦，系统也将通过自动聚焦克服由温度或其他环境因素引起的漂移，实现对运动细胞器的持续激发。
5.根据权利要求1所述的一种适用于细胞器互作网络研究的无标记多模态显微系统，其特征在于：
第三激光器发射的光源照射到2D振镜，根据不断更新的细胞器位置信息，利用2D振镜将用于拉曼激发的激发光斑保持在细胞器上；对激光信号采用时间复用的方式，利用2D振镜的快速扫描能力，扫描样品面上的多个细胞器，实现这几个细胞器位置的快速切换；在探测端，首先利用2D振镜进行去扫描，然后再利用1D振镜将这几个细胞器的拉曼信号分散到光谱仪的狭缝的不同位置，对应于相机的不同行上，从而获得脂滴的拉曼光谱。
6.根据权利要求1所述的一种适用于细胞器互作网络研究的无标记多模态显微系统，其特征在于：在数据采集过程中需要对细胞器进行在线识别和跟踪，在采集后需要对两个模态的数据进行分析并关联起来，系统的数据处理包括如下步骤：
步骤1、位相通道采集的细胞图像信息；
步骤2、利用深度学习网络CNN对图片中的细胞器进行识别；
步骤3、针对每类细胞器分别进行形态分析以获取各类细胞器的形态学信息及其物理运动信息，包括大小/形态，分裂/融合、细胞器接触的情况；
步骤4、利用位相通道采集的细胞图像信息进行细胞器跟踪，2D振镜扫描系统同步扫描细胞器的光谱；
步骤5、根据各细胞器的空间位置分析不同细胞器之间接触的情况；对于拉曼光谱信息，将利用非对称最小二乘方法、顶点分量分析之一的方法，实现光谱分离；对于拉曼动态信息，采用统计分析方法来提取细胞器随时间推移过程中的化学动态信息；
步骤6、由于位相和拉曼两个通道的信息是同步采集，将形态信息和化学信息关联起来，研究细胞器在形态变化过程中相应的化学变化。
7.根据权利要求1所述的一种适用于细胞器互作网络研究的无标记多模态显微系统，其特征在于，通过配对荧光和相位通道为深度学习网络提供标记数据、训练数据和测试数据，实现对精细细胞器自动识别，所述细胞器包括线粒体、内质网的无标记细胞器。
8.根据权利要求1所述的一种适用于细胞器互作网络研究的无标记多模态显微系统，其特征在于，位相通道的采集帧率为200～250Hz，利用位相通道采集的图像和训练好的神经网络自动识别算法，对单个或多个细胞器进行在线跟踪。
9.根据权利要求1所述的一种适用于细胞器互作网络研究的无标记多模态显微系统，其特征在于，同步位相和拉曼测量，以便实时原位测量细胞器上形态和化学的动态变化，分析研究细胞器互作网络的功能。
10.根据权利要求1所述的一种适用于细胞器互作网络研究的无标记多模态显微系统，其特征在于，对于拉曼光谱信息，利用非对称最小二乘方法或顶点分量分析方法，实现光谱分离；对于长时间的拉曼动态信息，采用统计分析方法来提取细胞器随时间推移过程中的化学动态信息，所述统计分析方法包括顶点分量或MCR-ALS(multivariate curveresolution with alternating least squares)。
CN202011256510.7A 2020-11-11 2020-11-11 一种适用于细胞器互作网络研究的无标记多模态显微系统 Pending CN112255216A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011256510.7A CN112255216A (zh) 2020-11-11 2020-11-11 一种适用于细胞器互作网络研究的无标记多模态显微系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011256510.7A CN112255216A (zh) 2020-11-11 2020-11-11 一种适用于细胞器互作网络研究的无标记多模态显微系统

Publications (1)

Publication Number Publication Date
CN112255216A true CN112255216A (zh) 2021-01-22

Family

ID=74265515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011256510.7A Pending CN112255216A (zh) 2020-11-11 2020-11-11 一种适用于细胞器互作网络研究的无标记多模态显微系统

Country Status (1)

Country Link
CN (1) CN112255216A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114018789A (zh) * 2021-10-08 2022-02-08 武汉大学 基于成像流式细胞检测和机器学习的急性白血病分型方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114018789A (zh) * 2021-10-08 2022-02-08 武汉大学 基于成像流式细胞检测和机器学习的急性白血病分型方法

Similar Documents

Publication Publication Date Title
Chan et al. Attenuated total reflection Fourier-transform infrared (ATR-FTIR) imaging of tissues and live cells
CN105116529B (zh) 用于空间解析荧光相关光谱学的光垫显微镜
JP6283104B2 (ja) 光学分析装置
CN105247346A (zh) 光谱显微镜装置
US9494518B2 (en) Multiscale spectral nanoscopy
Krauß et al. Colocalization of fluorescence and Raman microscopic images for the identification of subcellular compartments: a validation study
CN107389534A (zh) 一种基于一维纳米结构探针的单细胞光电检测系统
CN112255216A (zh) 一种适用于细胞器互作网络研究的无标记多模态显微系统
Cuny et al. High-resolution mass measurements of single budding yeast reveal linear growth segments
CN213633182U (zh) 一种适用于细胞器互作网络研究的无标记多模态显微系统
Last et al. Measuring cryo-TEM sample thickness using reflected light microscopy and machine learning
JP6206871B2 (ja) 光学顕微鏡システム
US9378434B2 (en) Image analysis method and image analysis device
US20240035971A1 (en) System and method for fluorescence lifetime imaging
JP4137682B2 (ja) 蛍光分光分析装置
US10690902B2 (en) Image processing device and microscope system
US10417482B2 (en) Observation system
Weiss et al. Digital light microscopy techniques for the study of living cytoplasm
US20190107528A1 (en) Observation system
WO2018215624A1 (en) Method for image-based flow cytometry and cell sorting using subcellular co-localization of proteins inside cells as a sorting parameter
US11644424B2 (en) Interferometric method and apparatus for non-invasive assessment of oocyte maturity and competency
US20230049349A1 (en) Surface analysis method and surface analysis device
Chvalova et al. Comparison of holotomographic microscopy and coherence‐controlled holographic microscopy
Camila de Paula et al. Development of a portable lens-free holographic microscope to imaging cell cultures
CN114813706B (zh) 一种血细胞高光谱光镊捕获能量共振转移分析仪

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination