CN213633182U - 一种适用于细胞器互作网络研究的无标记多模态显微系统 - Google Patents

Abstract

本实用新型公开了一种适用于细胞器互作网络研究的无标记多模态显微系统，包括：拉曼通道，位相通道，以及荧光通道；精密位移台；照明光源，以及多个激光器；其中，所述拉曼通道包括拉曼光谱仪，2D振镜、1D振镜，用于提供快速扫描拉曼光谱信号；所述位相通道用于记录无标记细胞器的形态信息，记录相位图像。通过将高时空分辨位相技术和快速拉曼扫描技术融合起来，不仅对多种细胞器进行形态的快速检测，同时也对运动的细胞器实现实时跟踪并收集其拉曼光谱信息，从而分析该细胞结构与其它细胞结构之间的物质交换。本实用新型与现有荧光技术相比，可同时对多种细胞器观察其形态，原位检测多种物质交换，并在干扰最小的情况下描绘出细胞器网络互作的动态变化特征。

Description

一种适用于细胞器互作网络研究的无标记多模态显微系统

技术领域

本实用新型涉及生物显微成像技术，尤其涉及一种适用于细胞器互作网络研究的无标记多模态显微系统。

背景技术

细胞是生命活动的基本单元，而细胞器又是细胞的职能部门，执行与细胞命运密切相关的生命活动如代谢、应激、自噬等等。细胞内含有十多种细胞器，各细胞器通过相互协作和密切接触形成细胞器互作网络，实现物质交换，同时也传递信号因子参与调控。细胞器网络功能的紊乱将引起多种代谢疾病(肥胖、糖尿病、老年痴呆等)，甚至肿瘤的发生发展。目前对细胞器互作的形式、功能和机制的研究还在起步阶段。

当前对互作网络动态过程的观测主要依赖荧光显微技术，但是荧光显微技术存在着光毒性、观测时间短、多对象标记困难、荧光标记需要先验知识等问题。因此，目前急需发展能同时观察多种细胞器形态，原位检测多种物质交换，且对细胞活性影响较小的测量技术。

实用新型内容

为解决上述问题，本实用新型采用的技术方案是：一种适用于细胞器互作网络研究的无标记多模态显微系统，包括：拉曼通道，位相通道，以及荧光通道；精密位移台；照明光源，以及多个激光器；

其中，所述拉曼通道包括拉曼光谱仪，2D振镜、1D振镜，用于提供快速扫描拉曼光谱信号，并且记录拉曼光谱信息；

所述位相通道包括CMOS相机，用于记录无标记细胞器的形态信息，记录相位图像；

所述荧光通道包括第一荧光通道，以及第二荧光通道，分别包括有CMOS相机进行探测；所述荧光通道用于产生网络训练和深度学习需要的标记信息，以及具备调控功能的蛋白质信号；采用两路荧光通道的结构，用于同时获得不同标记的荧光信号；

精密位移台，用于放置细胞进行观测。

进一步的，通过位相通道捕获无标记的细胞显微图片，通过荧光通道获得特定细胞器的标记图片，将此配对数据提供给CNN网络进行训练，获得此类细胞器的特征。

进一步的，第一激光器输出的光照射到第一波长分光片，第一波长分光片与第二波长分光片、第三波长分光片、第四波长分光片、第五波长分光片依次相连；第二激光器输出的光照射到第二波长分光片；所述的第一荧光通道连接到第一波长分光片；所述的第二荧光通道连接到第四波长分光片；所述的位相通道连接到第三波长分光片，位相通道包括有CMOS探测器以及空间光调制器SLM；

细胞器放置在精密位移台上，照明光源通过带通滤波器对细胞器进行照明，精密位移台连接到第五波长分光片；第五波长分光片进一步连接到2D振镜以及第七波长分光片，第七波长分光片与第三激光器连接，同时还连接到拉曼通道，所述拉曼通道包括有1D振镜和拉曼光谱仪。

进一步的，利用位相图片进行在线识别和跟踪；用户首先定义ROI，曝光时间、间隔；位相系统的视野大于一个细胞，使用IOU指标来跟踪细胞器；位相采集系统采集纳米台上的细胞图像，判断是否聚焦，如果没有聚焦，则发送控制命令使得控制台进行位置微调，直到聚焦准确，然后进行在线形态分析、识别细胞器及其位置；细胞器的位置更新信息将反馈到拉曼相机扫描系统；同时，在动态实验中，样品由精密位移台控制其整体XY位置并进行Z方向的聚焦，系统也将通过自动聚焦克服由温度或其他环境因素引起的漂移，实现对运动细胞器的持续激发。

进一步的，第三激光器发射的光源照射到2D振镜，根据不断更新的细胞器位置信息，利用2D振镜将用于拉曼激发的激发光斑保持在细胞器上；对激光信号采用时间复用的方式，利用2D振镜的快速扫描能力，扫描样品面上的多个细胞器，实现这几个细胞器位置的快速切换；在探测端，首先利用2D振镜进行去扫描，然后再利用1D振镜将这几个细胞器的拉曼信号分散到光谱仪的狭缝的不同位置，对应于相机的不同行上，从而获得脂滴的拉曼光谱。

进一步的，通过配对荧光和相位通道为深度学习网络提供标记数据、训练数据和测试数据，实现对精细细胞器自动识别，所述细胞器包括线粒体、内质网的无标记细胞器。

进一步的，位相通道的采集帧率为200～250Hz，利用位相通道采集的图像和训练好的神经网络自动识别算法，对单个或多个细胞器进行在线跟踪。。

进一步的，同步位相和拉曼测量，以便实时原位测量细胞器上形态和化学的动态变化，分析研究细胞器互作网络的功能。

进一步的，在上述无标记多模态显微系统中，在对运动的细胞器收集拉曼光谱方面，通过前面在线跟踪获得的位置信息，利用拉曼通道的振镜对这些细胞器进行持续激发，从而收集高质量的拉曼光谱。

优选的，在上述无标记多模态显微系统中，根据不断更新的细胞器位置信息，利用二维振镜等光束位置调整器件将用于拉曼激发的光束保持在细胞器上；为了能同时对多个细胞器进行测量，可以采用时间复用的方式，利用振镜的快速扫描能力，实现这几个细胞器位置的快速切换。

进一步的，在上述无标记多模态显微系统中，在探测端，利用光束位置调整器件如振镜将这几个细胞器的拉曼信号分散到相机的不同行上，在这几个目标细胞器的循环测量过程中，拉曼光束在单个细胞器上单次停留的时间在毫秒级，避免影响该细胞器的自由运动。

优选的，在上述无标记多模态显微系统中，在数据采集过程中需要对细胞器进行在线识别和跟踪，在采集后需要对两个模态的数据进行分析并关联起来。

优选的，在上述无标记多模态显微系统中，对于位相通道的信息，对图片中的细胞器进行识别后，针对每类细胞器分别进行形态分析以获取各类细胞器的形态学信息及其物理运动信息；同时也将根据各细胞器的空间位置分析不同细胞器之间接触的情况。

相较于荧光技术，本实用新型实现的有益效果为：

本实用新型提供的一种适用于细胞器互作网络研究的无标记多模态显微系统，能够无标记观测细胞器的形态和化学的动态变化，避免了光毒，有利于保持细胞的活性和正常的生理活动；无标记观察不会有样品漂白信号变弱的问题，可长时间连续观察活细胞的动态变化；高分辨位相显微技术和拉曼技术收集的都是样品的内源信号，可同时观察多种细胞器，有利于全景观地捕捉互作网络的动态变化；拉曼作为化学量化手段，无需先验知识就能跟踪细胞器上的物质变化，更全面的反映细胞内发生的化学变化。因此，本实用新型优势明显，可同时对多种细胞器观察其形态，原位分析物质交换，在干扰最小的情况下描绘出细胞器网络互作的动态变化特征，可广泛应用于生物学、免疫学、病理学、药理学等领域。

附图说明

图1是系统硬件结构整体示意图；

图2是用于无标记细胞识别的U-Nnet网络构架；

图3是系统数据采集控制流程图；

图4是利用时间复用对多个运动脂滴进行跟踪和拉曼测量示意图；

图5是本实用新型数据处理流程图，其中，CNN:卷积神经网络；VCA:顶点分量分析；ASLS:非对称最小二乘法。

具体实施方式

为了使本实用新型的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本实用新型进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本实用新型，并不用于限定本实用新型。

本实用新型公开了一种适用于细胞器互作网络研究的无标记多模态显微系统。系统硬件结构如图1所示，包括，拉曼通道，位相通道，以及荧光通道；精密位移台，用于放置细胞进行观测；照明光源，以及多个激光器；

其中拉曼通道包括拉曼光谱仪，用于记录高质量的拉曼光谱信息；

所述位相通道包括CMOS相机，用于记录无标记细胞器的形态信息；

所述荧光通道包括第一荧光通道，以及第二荧光通道，分别包括有CMOS相机进行探测；荧光通道用于产生深度学习需要的标记信息。采用两路荧光通道的结构，能够同时获得不同标记的荧光信号，提升深度学习的性能。通过高时空分辨的位相通道捕获无标记的细胞显微图片，通过荧光通道获得特定细胞器的标记图片，将此配对数据提供给CNN训练，获得此类细胞器的特征。

具体的，如图1所示，第一激光器3输出的光照射到第一波长分光片16，第一波长分光片16与第二波长分光片9、第三波长分光片10、第四波长分光片11、第五波长分光片12依次相连；第二激光器4输出的光照射到第二波长分光片9；所述的第一荧光通道1连接到第一波长分光片16；所述的第二荧光通道2连接到第四波长分光片11；所述的位相通道连接到第三波长分光片10，位相通道包括有CMOS探测器以及空间光调制器SLM；

细胞器放置在精密位移台7上，照明光源6通过带通滤波器对细胞器进行照明，精密位移台7连接到第五波长分光片12；第五波长分光片12进一步连接到2D振镜14以及第七波长分光片15，第七波长分光片1与第三激光器8连接，同时还连接到拉曼通道17，所述拉曼通道17包括有1D振镜和拉曼光谱仪；

根据本实用新型的一个实施例，以线粒体为例，可通过Mitotracker对其染色，采集荧光图和位相图，构建如图2所示的U-Net网络，其中损失函数为MSE，激活函数为ReLU。

如图3所示，利用高时空分辨的位相图片进行在线识别和跟踪。用户首先定义ROI，曝光时间、间隔等；位相系统的视野大于一个细胞，并且图像采集速度快，识别的速度也快，细胞器在相邻帧之间的重叠大。因此，可以使用简单的且计算开销小的指标(如IOU)来跟踪细胞器。位相采集系统采集纳米台上的细胞图像，判断是否聚焦，如果没有聚焦，则发送控制命令使得控制台进行位置微调，直到聚焦准确，然后进行在线形态分析、识别细胞器及其位置；细胞器的位置更新信息将反馈到拉曼相机扫描系统。同时，在动态实验中，样品由精密位移台(即纳米台)控制其整体XY位置并进行Z方向的聚焦，系统也将通过自动聚焦克服由温度或其他环境因素引起的漂移，实现对运动细胞器的持续激发。

如图4所示，第三激光器8发射的光源照射到2D振镜，根据不断更新的细胞器位置信息，利用2D振镜将用于拉曼激发的激发光斑保持在细胞器上。为了能同时对多个细胞器进行测量，可以对激光信号采用时间复用的方式，利用2D振镜的快速扫描能力，扫描样品面上的多个细胞器，实现这几个细胞器位置的快速切换。在探测端，首先利用2D振镜进行去扫描，然后再利用1D振镜将这几个细胞器的拉曼信号分散到光谱仪的狭缝的不同位置，对应于相机的不同行上，从而获得脂滴的拉曼光谱。

如图4所示(以脂滴为例)，在样品面上有多个脂滴(脂滴1～5)。在利用拉曼研究微米亚微米尺度的细胞器如脂滴时，聚焦的激发光束，特别是功率大的激光会夹住细胞器，束缚其自由运动，影响细胞器之间的自发互作。因此，在这几个目标细胞器的循环测量过程中，拉曼光束在单个细胞器上单次停留的时间在毫秒级，既增加了测量的速度和范围，也避免了影响该细胞器的自由运动。在数据采集过程中需要对细胞器进行在线识别和跟踪，如图3和4所示。

在采集后需要对两个模态的数据进行分析并关联起来，系统的数据处理如图5所示，包括如下步骤：

步骤1、位相通道采集的细胞图像信息；

步骤2、利用深度学习网络CNN对图片中的细胞器进行识别；

步骤3、针对每类细胞器分别进行形态分析以获取各类细胞器的形态学信息及其物理运动信息。以线粒体为例，将利用开源软件如MitoGraph分析出各线粒体的大小/形态，分裂/融合、细胞器接触的情况；

步骤4、利用位相通道采集的细胞图像信息进行细胞器跟踪，2D振镜扫描系统同步扫描细胞器的光谱；

步骤5、根据各细胞器的空间位置分析不同细胞器之间接触的情况。对于拉曼光谱信息，将利用非对称最小二乘方法、顶点分量分析等方法，实现光谱分离。对于长时间的拉曼动态信息，我们将采用统计分析如顶点分量或MCR-ALS(multivariate curveresolution with alternating least squares)来提取细胞器随时间推移过程中的化学动态信息。

步骤6、由于位相和拉曼两个通道的信息是同步采集，可以将形态信息和化学信息关联起来，研究细胞器在形态变化过程中相应的化学变化。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本实用新型。对实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本实用新型的精神或范围的情况下，在其它实施例中实现。因此，本实用新型将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (3)

1.一种适用于细胞器互作网络研究的无标记多模态显微系统，其特征在于，包括：拉曼通道，位相通道，以及荧光通道；精密位移台；照明光源、2D振镜、以及多个激光器；

其中，所述拉曼通道包括拉曼光谱仪，1D振镜，用于提供快速扫描拉曼光谱信号，并且记录拉曼光谱信息；

所述位相通道包括CMOS相机，用于记录无标记细胞器的形态信息，记录相位图像；

所述荧光通道包括第一荧光通道，以及第二荧光通道，分别包括有CMOS相机进行探测；采用两路荧光通道的结构，用于同时获得不同标记的荧光信号；

精密位移台，用于放置细胞进行观测。

2.根据权利要求1所述的一种适用于细胞器互作网络研究的无标记多模态显微系统，其特征在于：

第一激光器输出的光照射到第一波长分光片，第一波长分光片与第二波长分光片、第三波长分光片、第四波长分光片、第五波长分光片依次相连；第二激光器输出的光照射到第二波长分光片；所述的第一荧光通道连接到第一波长分光片；所述的第二荧光通道连接到第四波长分光片；所述的位相通道连接到第三波长分光片，位相通道包括有CMOS探测器以及空间光调制器SLM。

3.根据权利要求1所述的一种适用于细胞器互作网络研究的无标记多模态显微系统，其特征在于：

细胞器放置在精密位移台上，照明光源通过带通滤波器对细胞器进行照明，精密位移台连接到第五波长分光片；第五波长分光片进一步连接到2D振镜以及第七波长分光片，第七波长分光片与第三激光器连接，同时还连接到拉曼通道，所述拉曼通道包括有1D振镜和拉曼光谱仪。

Images