CN109001900A - 一种明场和荧光双模态的显微成像系统及方法 - Google Patents

Abstract

本发明公开了一种明场和荧光双模态的显微成像系统即方法。成像系统包括明场照明光源、荧光激发光源、显微成像装置和数据处理与显示系统；显微成像装置包括样品腔、荧光样品、滤光片和图像传感器芯片，样品腔底部紧贴滤光片表面；滤光片固定在图像传感器芯片的表面；明场照明光源置于显微成像装置的上方；荧光激发光源置于显微成像装置的侧方。本发明利用亚微米像元尺寸千万像素规模的图像传感器芯片直接记录生物样品的明场模态下的投影信号以及荧光模态下的荧光投影信号，并将两种模态下得到的显微图像进行合成，实现了一种低成本、便携化，同时具备大视场和高分辨率的荧光显微系统及显微观测方法。

Description

一种明场和荧光双模态的显微成像系统及方法

技术领域

本发明涉及的领域是生物显微成像，特别是荧光显微成像领域，具体涉及一种大视场高分辨率的明场、荧光双模态的显微成像系统及方法。

背景技术

传统基于光学透镜的荧光显微镜是利用特定波长的激发光源照射样品，被荧光标记的细胞样品受到激发产生不同波长的荧光，然后在显微镜下观察细胞样品的形态与结构，借此来研究细胞内物质的吸收、运输、化学物质的分布及定位等。

现有的基于光学透镜的荧光显微镜，需要复杂而且昂贵的激光光源以及滤色模块来分别激发出样品中的荧光信号，以及滤除激发光光源的背景干扰。同时需要复杂的光学透镜方法来实现光学放大显微成像功能，这样显微观测的分辨率和视场存在固有的矛盾，也就是放大倍数越高，观察到的细胞结构越清晰，但同时整个观察的视野大小降低。因此，目前的荧光显微镜在很多需要低成本和便携化的应用场景中受限，比如在发展中国家或者条件落后地区的使用、野外生态环境观察、污水中微生物的即时检测等方面不能满足要求。如果将样品制备好再送到具有荧光显微镜的场所进行检测，不仅耗费时间成本，而且运输的过程降低观测结果的准确性。

因此亟需开发低成本、便携化，同时具有大视场和高分辨率的荧光显微技术来满足实际应用需求。

发明内容

针对上述现有技术和设备的局限，本发明的目的是提出一种明场和荧光双模态的显微成像系统，该系统基于亚微米像元尺寸千万像素规模的图像传感器芯片，可以实现大视场和高分辨率。本发明的另外一个目的是提供利用该系统的成像方法。

本发明的系统采用的技术方案为：

一种明场和荧光双模态的显微成像系统，包括明场照明光源、荧光激发光源、显微成像装置和数据处理与显示系统；所述显微成像装置包括样品腔、荧光样品、滤光片和图像传感器芯片，所述样品腔用于装载荧光样品，样品腔底部紧贴滤光片表面；所述滤光片用于阻挡激发光并同时透过激发出来的荧光信号，固定在图像传感器芯片的表面；所述图像传感器芯片，用于采集明场模态下待检测样品的整体形态信息以及荧光模态下的荧光样品的亚细胞结构的荧光信号；所述明场照明光源作为明场成像模态下的照明光源，置于所述显微成像装置的上方，显微成像装置的中轴垂直穿过明场照明光源的发光面中心且该发光面覆盖整个图像传感器芯片；所述荧光激发光源作为荧光成像模态下的荧光激发光源，用于激发出待检测样品中荧光信号，置于所述显微成像装置的侧方，所述荧光激发光源照射方向与所述显微成像装置中轴之间的夹角为θ₁，且其发光面覆盖所述图像传感器芯片表面；所述数据处理与显示系统，用于将明场成像模态和荧光成像模态下图像传感器芯片记录的图像进行合成，并显示出显微成像结果。

进一步地，所述明场照明光源为宽带红光LED灯珠，中心波长为λ₁，带宽为Δλ₁＞5nm，距离图像传感器芯片表面的距离为d≥5cm。

进一步地，所述荧光激发光源为窄带光源，中心波长为λ₂，带宽为Δλ₂≤5nm，夹角θ₁的取值：15°≤θ₁≤85°。

进一步地，所述样品腔底部直接粘附在滤光片表面，样品腔设有入液口和出液口，样品腔的腔体厚度d_c的值为：10μm≤d_c≤200μm。

进一步地，所述荧光样品是荧光染料标记的生物细胞样品或者是荧光染料标记的微生物。

进一步地，所述滤光片为高通滤光片，明场照明光源的波长大于滤光片的截止波长，荧光激发光源的波长小于明场照明光源的波长，荧光激发光源激发出的荧光信号波长大于滤光片的截止波长。

进一步地，所述滤光片厚度d_F≤1μm，且直接粘附在图像传感器芯片表面。

进一步地，所述图像传感器芯片采用CMOS图像传感器、半浮栅晶体管或者复合介质栅光敏探测器，单个像素单元的尺寸≤1μm×1μm，整个图像传感器芯片具有的像素数目≥1000万。

进一步地，所述数据处理与显示系统显示出荧光样品既有明场又有荧光的显微成像结果。

本发明一种明场和荧光双模态的显微成像系统的方法，具体步骤如下：

第一步，将滤光片固定在图像传感器芯片表面，然后将样品腔固定在滤光片表面，取适量荧光样品注入到样品腔中；

第二步，采用明场照明光源照射荧光样品，明场照明光源波长λ₁大于滤光片截止波长λ₀，图像传感器芯片记录下直接透过滤光片的待检测样品的投影信号；

第三步，关闭明场照明光源，采用荧光激发光源斜入射照射荧光样品，激发出来的荧光信号波长为λ_s大于截止波长λ₀，荧光激发光源波长λ₂小于λ₀-Δλ₀，其中Δλ₀≤20nm，因此图像传感器芯片只能记录下透过滤光片的荧光信号，而荧光激发光源的信号无法透过滤光片；

第四步，通过数据处理与显示系统将明场模态下显微图像I₁和荧光模态下显微图像I₂进行合成，然后显示出荧光样品既有明场又有荧光的显微成像结果I，通过人眼或者人工智能计算机观察、识别及检测；图像合成的具体方法如下：

I＝I₁×m₁+I₂×m₂

其中系数m₁和m₂用于调节两种模态的显微图像在合成后的显微图像I中占有的权重，0<m₁≤0.5，0<m₂≤0.5。

本发明的显微成像系统无需包括传统的光学透镜放大系统，利用亚微米像元尺寸千万像素规模的图像传感器芯片直接记录生物样品的明场模态下的投影信号以及荧光模态下的荧光投影信号，并将两种模态下得到的显微图像进行合成，实现了一种低成本、便携化，同时具备大视场和高分辨率的荧光显微系统及显微观测方法。

附图说明

图1为本发明实施例中大视场高分辨率的明场、荧光双模态的显微成像系统的示意图。

图2为复合介质栅光敏探测器结构示意图。

图3为半浮栅晶体管结构示意图。

图4为圆形样品腔结构示意图。

图5为椭圆形样品腔结构示意图。

图6为平行四边形样品腔结构示意图。

图7为明场模态的显微成像结果示意图。

图8为荧光模态的显微成像结果示意图。

图9为明场、荧光双模态的显微成像合成结果示意图。

具体实施方式

下面介绍本发明大视场高分辨率的明场、荧光双模态的显微成像系统及方法的一个例子。

如图1所示，本实施例的明场、荧光双模态的显微成像系统包括明场照明光源1、荧光激发光源2、样品腔3、荧光样品6、滤光片4、图像传感器芯片5、数据处理与显示系统7。

明场照明光源1作为明场显微成像模态下的照明光源，可以是宽带的红光LED灯珠，中心波长为λ₁，带宽为Δλ₁(Δλ₁＞5nm)，置于整个显微成像系统的正上方，保证整个系统的中轴垂直穿过发光面中心，LED灯珠距离图像传感器芯片表面的距离为d(d≥5cm)，保证发光面覆盖整个图像传感器芯片。通常荧光试剂的激发波长小于荧光发射波长，所以选用波长较长的红光LED，在明场显微模态下不会激发出荧光，同时也能透过高通滤光片，得到生物样品的直接投影显微成像，获取生物样品的形态学特征。

荧光激发光源2作为荧光模态下的光源，用于激发荧光生物样品中的荧光信号。其可以是窄带光源，中心波长为λ₂，带宽为Δλ₂(Δλ₂≤5nm)。荧光激发光源2的波长根据生物样品使用不同的荧光试剂，选择不同波长的激发光源，荧光激发光源2的波长小于明场照明光源1的波长，通常激光光源波段都在蓝光和绿光波段。荧光激发光源2的照射方向与整个系统中轴之间存在一定的夹角，角度为θ₁(15°≤θ₁≤85°)，且保证发光面覆盖图像传感器芯片5的表面。

样品腔3底部直接粘附在滤光片4表面，样品腔3的材料可以是玻璃，比如K9光学玻璃，石英玻璃等，也可以是有机聚合物，比如PDMS，PMMA等。样品腔3设有入液口8和出液口9，用于待检测生物样品的注入，样品腔3的腔体厚度d_c(10μm≤d_c≤200μm)，腔体的形状可以是椭圆、圆形、或者平行四边形等，如图4至6所示。

荧光样品6可以是荧光染料标记的生物细胞样品，比如荧光标记的肿瘤细胞等；也可以是荧光染料标记的微生物，如荧光标记的水藻等。

滤光片4为高通滤光片，厚度为d_F(d_F≤1μm)，使用时直接粘附在图像传感器芯片5的表面。滤光片4的截止波长为λ₀，即只允许波长大于或等于λ₀的光透过(λ₁>λ₀)，透过率为T_h(T_h≥85％)，波长小于或等于λ₀-Δλ₀(Δλ₀≤10nm)的光无法透过(λ₀-Δλ₀)，透过率为T_l(T_l≤1％)。所以明场照明光源1的波长λ₁大于滤光片截止波长λ₀，图像传感器芯片5记录下直接透过滤光片4的待检测样品的投影信号，而激发出来的荧光信号波长为λ_s大于截止波长λ₀，由于荧光激发光源2的波长λ₂小于λ₀-Δλ₀(Δλ₀≤10nm)，图像传感器芯片5只能记录下透过滤光片的荧光信号，而荧光激发光源的信号无法透过滤光片。

图像传感器芯片5采用常用的CMOS图像传感器、半浮栅晶体管或者复合介质栅光敏探测器，单个像素单元的尺寸≤1μm×1μm，整个图像传感器芯片具有的像素数目≥1000万。

图2为复合介质栅光敏探测器结构示意图，该光敏探测器包括：半导体衬底(P型)；半导体衬底正上方依次设有底层绝缘介质，光电子存储层，顶层绝缘介质，控制栅；半导体衬底中(靠近叠层介质两侧)通过离子注入掺杂形成N型源极和漏极。

图3为半浮栅晶体管结构示意图，包括半导体衬底(P型)；半导体衬底中通过离子注入形成N+型源极，通过两步离子注入形成大的N型漏极；半导体衬底上方依次设有底层介质，半浮栅，顶层介质，控制栅，底层介质中间通过刻蚀形成一个槽，使得半浮栅与漏极直接接触。半浮栅晶体管结构，包括半导体衬底(P型)；半导体衬底中通过离子注入形成N+型源极，通过两步离子注入形成大的N型漏极；半导体衬底上方依次设有底层介质，半浮栅，顶层介质，控制栅，底层介质中间通过刻蚀形成一个槽，使得半浮栅与漏极直接接触。

本实施例利用上述显微成像系统进行显微成像的具体过程如下：

首先将滤光片4固定在图像传感器芯片5表面，固定的方法可以是物理性的挤压来固定，也可以使用胶水固定，亦或是等离子体轰击表面来键合等方式。其中滤光片4的截止波长为500nm，小于500nm的光透过率＜1％，波长从500nm到520nm光透过率逐渐增加到85％以上。

然后将样品腔3固定到滤光片4表面，使用移液枪吸取100微升荧光标记的细胞荧光样品6，通过入液口8注入进样品腔，需要说明的是出液口9用于荧光样品6注入时样品腔3的流通，荧光试剂的激发波长为455nm，荧光发射波长为535nm。在明场模态下，打开明场照明光源1，中心波长为575nm，图像传感器芯片5记录下荧光样品6的投影显微图像，,记录的投影信号显现出了荧光样品的形态结构特征，然后将结果传输到数据处理与显示系统7待进一步处理。

在荧光模态下，关闭明场照明光源1，打开荧光激发光源2，激发荧光样品6发出荧光，激发光被滤光片4滤除，而激发出来的荧光能够透过滤光片4被图像传感器5记录，记录下的荧光信号显现出了荧光样品特定标记部分的信息。然后将记录结果传输到数据处理与显示系统7和之前的明场模态的显微图像合成，最后再通过人眼或者人工智能计算机观察、识别及检测。

图像合成的具体方法如下：

I＝I₁×m₁+I₂×m₂

其中系数m₁(0<m₁≤0.5)和m₂(0<m₂≤0.5)用于调节两种模态的显微图像在合成后的显微图像I中占有的权重。

需要说明的是上述实施例，并非用来限定本发明的保护范围，在上述技术方案的基础上所作出的等同变换或替换均落入本发明权利要求所保护的范围。

Claims (10)

1.一种明场和荧光双模态的显微成像系统，其特征在于，包括明场照明光源、荧光激发光源、显微成像装置和数据处理与显示系统；所述显微成像装置包括样品腔、荧光样品、滤光片和图像传感器芯片，所述样品腔用于装载荧光样品，样品腔底部紧贴滤光片表面；所述滤光片用于阻挡激发光并同时透过激发出来的荧光信号，固定在图像传感器芯片的表面；所述图像传感器芯片，用于采集明场模态下待检测样品的整体形态信息以及荧光模态下的荧光样品的亚细胞结构的荧光信号；所述明场照明光源作为明场成像模态下的照明光源，置于所述显微成像装置的上方，显微成像装置的中轴垂直穿过明场照明光源的发光面中心且该发光面覆盖整个图像传感器芯片；所述荧光激发光源作为荧光成像模态下的荧光激发光源，用于激发出待检测样品中荧光信号，置于所述显微成像装置的侧方，所述荧光激发光源照射方向与所述显微成像装置中轴之间的夹角为θ₁，且其发光面覆盖所述图像传感器芯片表面；所述数据处理与显示系统，用于将明场成像模态和荧光成像模态下图像传感器芯片记录的图像进行合成，并显示出显微成像结果。

2.根据权利要求1所述的一种明场和荧光双模态的显微成像系统，其特征在于，所述明场照明光源为宽带红光LED灯珠，中心波长为λ₁，带宽为Δλ₁＞5nm，距离图像传感器芯片表面的距离为d≥5cm。

3.根据权利要求1所述的一种明场和荧光双模态的显微成像系统，其特征在于，所述荧光激发光源为窄带光源，中心波长为λ₂，带宽为Δλ₂≤5nm，夹角θ₁的取值：15°≤θ₁≤85°。

4.根据权利要求1所述的一种明场和荧光双模态的显微成像系统，其特征在于，所述样品腔底部直接粘附在滤光片表面，样品腔设有入液口和出液口，样品腔的腔体厚度d_c的值为：10μm≤d_c≤200μm。

5.根据权利要求1所述的一种明场和荧光双模态的显微成像系统，其特征在于，所述荧光样品是荧光染料标记的生物细胞样品或者是荧光染料标记的微生物。

6.根据权利要求1所述的一种明场和荧光双模态的显微成像系统，其特征在于，所述滤光片为高通滤光片，明场照明光源的波长大于滤光片的截止波长，荧光激发光源的波长小于明场照明光源的波长，荧光激发光源激发出的荧光信号波长大于滤光片的截止波长。

7.根据权利要求1所述的一种明场和荧光双模态的显微成像系统，其特征在于，所述滤光片厚度d_F≤1μm，且直接粘附在图像传感器芯片表面。

8.根据权利要求1所述的一种明场和荧光双模态的显微成像系统，其特征在于，所述图像传感器芯片采用CMOS图像传感器、半浮栅晶体管或者复合介质栅光敏探测器，单个像素单元的尺寸≤1μm×1μm，整个图像传感器芯片具有的像素数目≥1000万。

9.根据权利要求1所述的一种明场和荧光双模态的显微成像系统，其特征在于，所述数据处理与显示系统显示出荧光样品既有明场又有荧光的显微成像结果。

10.利用如权利要求1所述一种明场和荧光双模态的显微成像系统的方法，其特征在于，具体步骤如下：

第一步，将滤光片固定在图像传感器芯片表面，然后将样品腔固定在滤光片表面，取适量荧光样品注入到样品腔中；

第二步，采用明场照明光源照射荧光样品，明场照明光源波长λ₁大于滤光片截止波长λ₀，图像传感器芯片记录下直接透过滤光片的待检测样品的投影信号；

第三步，关闭明场照明光源，采用荧光激发光源斜入射照射荧光样品，激发出来的荧光信号波长为λ_s大于截止波长λ₀，荧光激发光源波长λ₂小于λ₀-Δλ₀，其中Δλ₀≤20nm，因此图像传感器芯片只能记录下透过滤光片的荧光信号，而荧光激发光源的信号无法透过滤光片；

第四步，通过数据处理与显示系统将明场模态下显微图像I₁和荧光模态下显微图像I₂进行合成，然后显示出荧光样品既有明场又有荧光的显微成像结果I，通过人眼或者人工智能计算机观察、识别及检测；图像合成的具体方法如下：

I＝I₁×m₁+I₂×m₂

其中系数m₁和m₂用于调节两种模态的显微图像在合成后的显微图像I中占有的权重，0<m₁≤0.5，0<m₂≤0.5。