CN111650739B - 基于dmd的单帧曝光快速三维荧光成像系统及方法 - Google Patents

基于dmd的单帧曝光快速三维荧光成像系统及方法 Download PDF

Info

Publication number
CN111650739B
CN111650739B CN202010434454.5A CN202010434454A CN111650739B CN 111650739 B CN111650739 B CN 111650739B CN 202010434454 A CN202010434454 A CN 202010434454A CN 111650739 B CN111650739 B CN 111650739B
Authority
CN
China
Prior art keywords
light
dmd
mirror
light source
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010434454.5A
Other languages
English (en)
Other versions
CN111650739A (zh
Inventor
陈冲
李辉
金鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Biomedical Engineering and Technology of CAS
Original Assignee
Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Biomedical Engineering and Technology of CAS filed Critical Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority to CN202010434454.5A priority Critical patent/CN111650739B/zh
Publication of CN111650739A publication Critical patent/CN111650739A/zh
Application granted granted Critical
Publication of CN111650739B publication Critical patent/CN111650739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6402—Atomic fluorescence; Laser induced fluorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Abstract

本发明公开了一种基于DMD的单帧曝光快速三维荧光成像系统及方法，系统包括DMD双侧照明模块，用于产生两束不同波长的光并分别从不同的方向入射至DMD，生成互补的条纹光；双色荧光激发模块，用于接收互补的条纹光，激发样品上的双色荧光，生成携带双色荧光的条纹光；双色分画幅成像模块，用于将不同波长的携带双色荧光的条纹光成像至相机靶面的不同位置，形成双色图像；重构模块，用于实现去除离焦信息。本发明通过单次曝光、单次采集即可以实现结构光照明三维层切成像；此外，采用DMD投影，提高投影速度和投影条纹的精度，进而提高了三维成像的速度和精度。

Description

基于DMD的单帧曝光快速三维荧光成像系统及方法
技术领域
本发明属于荧光成像领域，特别是一种基于DMD的单帧曝光快速三维荧光成像系统及方法。
背景技术
对活体生物样品的三维荧光成像是生物学研究中常用的重要的手段。现发明了一系列的三维荧光成像的方法，包括共聚焦荧光显微镜、双光子显微镜、光片显微镜和结构照明显微镜等。共聚焦显微镜和双光子显微镜都是点扫描显微镜，成像速度慢不适合活体成像。光片显微镜的样品夹持复杂，普通实验室不易获得。结构光照明荧光显微镜是一种宽场成像，成像速度快，而且容易在传统荧光显微镜上改造。
现有结构光照明显微镜实现三维荧光成像的方法有：论文“Method of obtainingoptical sectioning by using structured light in a conventional microscope”提出使用结构光照明样品去除离焦信息的方法，采集三张不同相位的样品结构条纹图像，使用零差检测的方法，重构出一张去除离焦信息的层切图像，层切效果可以和共聚焦显微镜相当。论文“Optically sectioned fluorescence endomicroscopy with hybrid-illumination imaging through a flexible fiber bundle”提出的方法是采集两张图像，一张均匀照明的宽场图像(uniform illumination image)和一张结构照明的图像(structured illumination image)。结构照明可以是散斑(论文“Optically sectionedin vivo imaging with speckle illumination HiLo microscopy”)或条纹(论文“Optically sectioned fluorescence endomicroscopy with hybrid-illuminationimaging through a flexible fiber bundle”)，该方法通过融合在焦的、互补的高频Ihp(x,y)和低频Ilp(x,y)信息获得去离焦信息的层切图像；因为高频信息中包含的基本都是在焦信息，所以直接从宽场图像中通过高通滤波提取高频信息；由于离焦信号总是具有低频的和低的局部对比度，利用局部对比度信息可以将其从宽场图像的低频分量中分离出来。
由上可以看出，现在的结构光照明显微镜技术至少要采集两张图像才可以重构出一张层切的图像，而且在进行三维体成像时需要一层一层的分别成像，所以需要采集大量的图像，以至于三维成像速度很慢。
发明内容
本发明的目的在于克服上述现有技术存在的问题，提高三维成像的速度，提供一种基于DMD的单帧曝光快速三维荧光成像系统。
实现本发明目的的技术解决方案为：基于DMD的单帧曝光快速三维荧光成像系统，所述系统包括DMD双侧照明模块、双色荧光激发模块、双色分画幅成像模块以及重构模块；
所述DMD双侧照明模块，用于产生两束不同波长的光并分别从不同的方向入射至DMD，生成互补的条纹光；
所述双色荧光激发模块，用于接收所述互补的条纹光，激发样品上的双色荧光，生成携带双色荧光的条纹光；
所述双色分画幅成像模块，用于将不同波长的携带双色荧光的条纹光成像至相机靶面的不同位置，形成双色图像；
所述重构模块，用于实现去除离焦信息。
进一步地，所述DMD双侧照明模块包括：第一激光耦合单元、第二激光耦合单元、第一科勒照明透镜组、第二科勒照明透镜组和DMD；所述第一激光耦合单元包括第一光源和第一光纤，第一光源的出射光耦合进入第一光纤；所述第二激光耦合单元包括第二光源和第二光纤，第二光源的出射光耦合进入第二光纤；所述第一光源和第二光源的波长不同；所述第一激光耦合单元、第二激光耦合单元分别位于DMD轴线的两侧；所述第一激光耦合单元、第二激光耦合单元的出射光分别通过第一科勒照明透镜组、第二科勒照明透镜组入射至DMD，调节两束光入射至DMD的角度，使经DMD的反射光垂直于DMD的靶面，且形成互补的条纹光。
进一步地，所述第一光源或第二光源采用激光光源或汞灯或LED。
进一步地，所述双色荧光激发模块包括沿光轴依次设置的第一筒镜、第一反射镜、第一二向色镜、第二反射镜、液体变焦透镜、第一中继透镜组、第一物镜以及样品；所述第一中继透镜组包括第一中继透镜、第二中继透镜；所述样品的同一位点进行双色荧光标记；所述互补的条纹光经第一筒镜、第一反射镜反射、第一二向色镜反射至第二反射镜，之后经液体变焦透镜、第一中继透镜组、第一物镜激发样品产生携带双色荧光的不同波长的条纹光。
进一步地，所述双色分画幅成像模块包括沿光轴设置的第二中继透镜组、第二二向色镜、第一滤色片、第二滤色片、第三反射镜、第四反射镜、第二筒镜、第三筒镜、第三二向色镜以及相机；所述第二中继透镜组包括第四筒镜、第三中继透镜；所述携带双色荧光的不同波长的条纹光原路返回，依次经第一物镜、第一中继透镜组、液体变焦透镜、第二反射镜反射、第一二向色镜透射后进入第二中继透镜组；第二中继透镜组的出射光经第二二向色镜反射后入射至第二滤色片、第四反射镜，经第二二向色镜透射后入射至第一滤色片、第三反射镜；所述第三反射镜的反射光经第二筒镜、第三二向色镜透射后成像至相机靶面，所述第四反射镜的反射光经第三筒镜、第三二向色镜反射后成像至相机靶面，形成双色图像；所述第一滤色片、第二滤色片的截止波长分别与第一光源、第二光源的波长对应。
进一步地，所述第三反射镜、第三二向色镜和第四反射镜的角度、位置均可调，用于调整所述双色图像在相机靶面上的位置；其中第三反射镜用于调节一路单色成像后的图像在相机靶面上的位置，第三二向色镜和第四反射镜构成双反射系统，共同调节另一路单色成像后的图像在相机靶面上的位置。
进一步地，所述DMD、相机、液体变焦透镜、第一光源、第二光源均通过FPGA控制；所述FPGA可调节第一光源、第二光源发射光的强度；所述FPGA输出的上升沿信号同时触发DMD和相机工作，DMD开始显示条纹，相机开始曝光；在所述相机完成一帧曝光时，FPGA发送模拟电压信号给液体变焦透镜，该模拟电压信号用于改变液体变焦透镜光曲度，实现对样品的三维层切扫描。
进一步地，所述重构模块包括：
图像预处理单元，用于对相机采集到的图像进行分割，通过定位分割出两幅相位互补的条纹图像；之后根据两幅图像的条纹位置进行图像配准，去除图像边缘由于光学系统误差引入的未配准像素；
去卷积单元，用于对两幅相位互补的条纹图像分别执行若干次Richardson-Lucy去卷积处理；
归一化处理单元，用于对去卷积处理后的两幅相位互补的条纹图像分别进行强度归一化处理；
宽场图像生成单元，用于对强度归一化处理后的两幅相位互补的条纹图像求和取平均，获得宽场图像；
局部对比度提取单元，用于针对某一幅条纹图像，提取条纹的局部对比度，形成一个局部对比度矩阵；
低频信息提取单元，用于将所述局部对比度矩阵与宽场图像相乘，之后利用低通滤波从宽场图像中提取在焦信息的低频信息；
高频信息提取单元，用于利用高通滤波从宽场图像中提取在焦信息的高频信息；
去离焦图像生成单元，用于对所述低频信息和高频信息求和获得去离焦的图像。
一种基于DMD的单帧曝光快速三维荧光成像系统的成像方法，所述方法包括以下步骤：
系统初启动步骤：第一激光耦合单元、第二激光耦合单元中的第一光源、第二光源开始发射光，可通过FPGA调节第一光源、第二光源发射光的强度；FPGA输出上升沿信号触发DMD和相机工作；
互补条纹光生成步骤：第一光源、第二光源的出射光分别耦合进入第一光纤、第二光纤，第一激光耦合单元、第二激光耦合单元的出射光分别通过第一科勒照明透镜组、第二科勒照明透镜组从DMD的两侧入射至DMD，且经DMD的反射光垂直于DMD的靶面，形成互补的条纹光；
双色荧光激发步骤：互补的条纹光依次经第一筒镜、第一反射镜反射、第一二向色镜反射至第二反射镜，之后经液体变焦透镜、第一中继透镜组、第一物镜激发样品产生携带双色荧光的不同波长的条纹光；
双色分画幅成像步骤：所述携带双色荧光的不同波长的条纹光原路返回，依次经第一物镜、第一中继透镜组、液体变焦透镜、第二反射镜反射、第一二向色镜透射后进入第二中继透镜组；第二中继透镜组的出射光经第二二向色镜反射后入射至第二滤色片、第四反射镜，经第二二向色镜透射后入射至第一滤色片、第三反射镜；所述第三反射镜的反射光经第二筒镜、第三二向色镜透射后成像至相机靶面，所述第四反射镜的反射光经第三筒镜、第三二向色镜反射后成像至相机靶面，形成双色图像；
去离焦成像步骤：对相机采集到的两幅相位互补的条纹图像进行去除离焦信息处理，获得去离焦图像。
进一步地，所述方法还包括：在相机完成一帧曝光时，FPGA发送模拟电压信号给液体变焦透镜，改变液体变焦透镜的光曲度，实现对样品的三维层切扫描。
本发明与现有技术相比，其显著优点为：1)采用DMD芯片作为空间光调制器，充分利用其正反翻转的特性，通过双色照明模块在DMD翻转一次的情况下的即可调制出双色互补条纹光场；2)通过分画幅成像模块，将双色荧光图像投影在相机靶面不同位置，充分利用相机的靶面，一次曝光即可同时采集两张互补的荧光条纹图像，系统的图像采集速度获得两倍的提升，大大提高了三维层切系统的成像速度；3)采用液体变焦透镜来实现快速轴向扫描，相较于传统的机械移动样品实现轴向扫描的方式，扫描速度可以获得两倍以上提升，大大提高了三维层切系统的成像速度；4)在物镜和液体变焦透镜之间设置了中继镜组，实现物镜的光瞳和液体变焦透镜的光瞳的相互共轭，这种设计可以保证在液体变焦透镜光曲度改变实现轴向扫描的过程中系统的放大率保持不变；5)在双侧照明模块中，采用科勒照明的方式，实现均匀化照明；6)采用双二向色镜、双滤色片和双反射镜组成分画幅模块的设计，这种方式可以增加系统调节的便捷性，更容易实现双色条纹共焦调节和双色荧光图像位置的调节；7)在重构算法中，采用R-L去卷积算法对原始条纹图像多次迭代去卷积，该方法获得了更高的条纹对比度，使得图像局部对比度矩阵的计算更为准确，进而更准确的提取出在焦的低频信息；8)根据两张图像的条纹位置，在图像预处理阶段进行图像配准，通过算法的方式去除图像边缘位置为配准的像素，减小了由于图像未配准带来的重构图像边缘的伪影。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为一个实施例中基于DMD的单帧曝光快速三维荧光成像系统的结构框图。
图2为一个实施例中基于DMD的单帧曝光快速三维荧光成像系统的光路图。
图3为一个实施例中经DMD形成的互补条纹光示意图，其中图(a)为DMD照明区域示意图，图(b)为照明区域放大图。
图4为一个实施例中继示意图，其中图(a)为照明中继示意图，图(b)为成像中继示意图。
图5为一个实施例中二向色镜的光谱曲线图。
图6为一个实施例中FPGA控制的时序图。
图7为一个实施例中去除离焦信息的算法流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，结合图1，提供了一种基于DMD的单帧曝光快速三维荧光成像系统，所述系统包括DMD双侧照明模块、双色荧光激发模块、双色分画幅成像模块以及重构模块；
所述DMD双侧照明模块，用于产生两束不同波长的光并分别从不同的方向入射至DMD，生成互补的条纹光；
所述双色荧光激发模块，用于接收所述互补的条纹光，激发样品上的双色荧光，生成携带双色荧光的条纹光；
所述双色分画幅成像模块，用于将不同波长的携带双色荧光的条纹光成像至相机靶面的不同位置，形成双色图像；
所述重构模块，用于实现去除离焦信息。
本发明采用的结构光照明的层切方法是通过光路和算法结合的方法。利用DMD产生结构条纹投影到样品面上，由于结构条纹只能调制焦面附近的样品，也就是只有焦面附近的荧光信号是带条纹的，离焦信息没有被调制到，所以通过算法可以把这部分调制的信号解调出来就是在焦信号。而三维的层切就是一层一层的扫描样品然后算法重构，最后再将图像叠起来成一个三维的图像。本发明将要采用的用于层切的算法只需要两张图像即可完成重构，所以巧妙的利用DMD的微镜向两个方向翻转的功能，两路激光从两侧照明产生两个不同颜色的条纹投影到样品面激发样品的荧光，然后两个携带样品信息的条纹图像经过分画幅模块的二向色镜和滤色片等成像到相机靶面的不同位置，提取出两幅图像，进行重构。
进一步地，在其中一个实施例中，结合图2，所述DMD双侧照明模块包括：第一激光耦合单元1、第二激光耦合单元5、第一科勒照明透镜组2、第二科勒照明透镜组4和DMD 3；所述第一激光耦合单元1包括第一光源和第一光纤，第一光源的出射光耦合进入第一光纤；所述第二激光耦合单元5包括第二光源和第二光纤，第二光源的出射光耦合进入第二光纤；所述第一光源和第二光源的波长不同；所述第一激光耦合单元1、第二激光耦合单元5分别位于DMD 3轴线的两侧；所述第一激光耦合单元1、第二激光耦合单元5的出射光分别通过第一科勒照明透镜组2、第二科勒照明透镜组4入射至DMD 3，调节两束光入射至DMD 3的角度，使经DMD 3的反射光垂直于DMD 3的靶面，且形成互补的条纹光。
进一步地，在其中一个实施例中，所述第一光源或第二光源采用激光光源或汞灯或LED。
这里，为了使光源的单色性和准直性更好，优选采用激光光源。
这里优选地，在其中一个实施例中，第一光源、第二光源分别采用488nm照明光源、561nm照明光源。488nm照明光源可以采用OBIS半导体激光器(OBIS 488 LS)，激光最大输出功率150mW，多模光纤耦合后光纤端输出功率60mW；561nm照明光源可以采用OBIS半导体激光器(OBIS 561 LS)，激光最大输出功率150mW，多模光纤耦合后光纤端输出功率63mW。
这里，采用科勒照明透镜组，使得DMD照明区域更加均匀，照明如图3a所示。
这里优选地，在其中一个实施例中，DMD采用Ti DLP4100的DMD芯片，该芯片微透镜具有三种状态，正12度，零度和负12度翻转。DMD相邻的两行分别翻转正12度和翻转负12度(定义从复位状态下的0度逆时针翻转12度为正翻转，顺时针翻转为负翻转)，这样488nm光从一侧照明光只被负翻转的微镜反射，形成相位为0的条纹图案。同理，从另一侧照明的561nm光会形成与之互补的相位为π的条纹图案，如图3b所示。两束入射光的夹角为24度。
进一步地，在其中一个实施例中，所述双色荧光激发模块包括沿光轴依次设置的第一筒镜6、第一反射镜7、第一二向色镜8、第二反射镜9、液体变焦透镜10、第一中继透镜组、第一物镜13以及样品14；所述第一中继透镜组包括第一中继透镜11、第二中继透镜12；所述样品14的同一位点进行双色荧光标记；所述互补的条纹光经第一筒镜6、第一反射镜7反射、第一二向色镜8反射至第二反射镜9，之后经液体变焦透镜10、第一中继透镜组、第一物镜13激发样品14产生携带双色荧光的不同波长的条纹光。
这里，采用了液体变焦透镜，改变液体变焦透镜的负载电流将改变透镜的光曲度，实现快速的Z轴扫描。相比于现有的通过压电位移台移动样品或者物镜等Z轴扫描方法，扫描速度更快。
示例性地，液体变焦透镜选择EL-10-30，液体变焦透镜的控制盒采用TR-CL180，控制盒上加载模拟电压控制聚焦位置的改变。
这里，为了防止在液体变焦透镜光曲度改变时一起成像系统的放大率改变，采用一对中继透镜，构成4f系统，使得物镜的光瞳和液体变焦透镜的光瞳保持共轭如图4a所示。
示例性地，采用一对f＝100mm的中继透镜。
进一步地，在其中一个实施例中，所述双色分画幅成像模块包括沿光轴设置的第二中继透镜组、第二二向色镜17、第一滤色片18、第二滤色片22、第三反射镜19、第四反射镜23、第二筒镜20、第三筒镜24、第三二向色镜21以及相机25；所述第二中继透镜组包括第四筒镜15、第三中继透镜16；所述携带双色荧光的不同波长的条纹光原路返回，依次经第一物镜13、第一中继透镜组、液体变焦透镜10、第二反射镜9反射、第一二向色镜8透射后进入第二中继透镜组；第二中继透镜组的出射光经第二二向色镜17反射后入射至第二滤色片22、第四反射镜23，经第二二向色镜17透射后入射至第一滤色片18、第三反射镜19；所述第三反射镜19的反射光经第二筒镜20、第三二向色镜21透射后成像至相机25靶面，所述第四反射镜23的反射光经第三筒镜24、第三二向色镜21反射后成像至相机25靶面，形成双色图像；所述第一滤色片18、第二滤色片22的截止波长分别与第一光源、第二光源的波长对应。
这里，由于当前现有技术限制成像速度的一个因素是相机的读出速度不够快，所以本发明设计了双色分画幅成像模块，能够充分利用相机的靶面。一般采用的相机的像素一般是2048*2048的，但在实际的生物学成像中常用到512*512个像素点，而相机是行读出的，因此相机的行数决定了相机的读出时间，所以有四分之三的像素没有利用到，而采用本发明分画幅成像的方式可以很好地利用相机的靶面。
这里，由于第二中继透镜组后面需要连接分画幅的模块，但是第四筒镜的焦距比较短，所以需要设计成像中继模块如图4b所示，构成4f系统。
这里，第一二向色镜8承担透射双色照明光和反射双色荧光的作用，根据光源的波长选取二向色镜。针对上述选取的488nm照明光源、561nm照明光源，选用的二向色镜为488nm和561nm多通道的，光谱曲线如图5所示。
这里优选地，相机采用sCMOS相机，具有速度快、量子效率高等特点，适合于荧光等弱光的探测。
进一步地，在其中一个实施例中，所述第三反射镜19、第三二向色镜21和第四反射镜23的角度、位置均可调，用于调整所述双色图像在相机25靶面上的位置；其中第三反射镜19用于调节一路单色成像后的图像在相机25靶面上的位置，第三二向色镜21和第四反射镜23构成双反射系统，共同调节另一路单色成像后的图像在相机25靶面上的位置。
这里，可以根据实际采用的相机以及实际成像需求，自适应调节双色图像在相机靶面上的位置，提高了系统的灵活性。
这里，在实际使用过程中，一般先调节第三反射镜19的角度和位置，实现一个图像位置的调节，这个过程单反射镜就可以完成。然后另一个图像位置的调节需要和上述已调节的图像位置匹配，采用第三二向色镜21和第四反射镜23构成双反射系统更易调节。
进一步地，在其中一个实施例中，所述DMD 3、相机25、液体变焦透镜10、第一光源、第二光源均通过FPGA控制；所述FPGA可调节第一光源、第二光源发射光的强度；所述FPGA输出的上升沿信号同时触发DMD 3和相机25工作，DMD 3开始显示条纹，相机25开始曝光；在所述相机25完成一帧曝光时，FPGA发送模拟电压信号给液体变焦透镜10，该模拟电压信号用于改变液体变焦透镜10光曲度，实现对样品14的三维层切扫描。示例性地，FPGA控制的时序图如图6所示。
进一步地，在其中一个实施例中，所述重构模块包括：
图像预处理单元，用于对相机采集到的图像进行分割，通过定位分割出两幅相位互补的条纹图像；之后根据两幅图像的条纹位置进行图像配准，去除图像边缘由于光学系统误差引入的未配准像素；
去卷积单元，用于对两幅相位互补的条纹图像分别执行若干次Richardson-Lucy去卷积处理；
这里，通过Richardson-Lucy去卷积处理，可以获得更好的条纹对比度和更好的图像质量，提高后面层切算法的准确度。
这里，示例性地，针对上述选取的488nm照明光源、561nm照明光源，在去卷积算法中，使用的PSF(光学传递函数)为系统的真实PSF，采用多波长激发的40nm的荧光小球分别测量了488nm激光激发的系统PSF和561nm激光激发的PSF。然后调用matlab的R-L去卷积工具箱分别对两幅条纹图像的去卷积。
这里，进行若干次Richardson-Lucy去卷积处理，优选为进行5次Richardson-Lucy去卷积处理。
归一化处理单元，用于对去卷积处理后的两幅相位互补的条纹图像分别进行强度归一化处理；
这里，由于样品对不同的激发光的荧光量子效率不同导致两幅图像的整体强度有差异，所以需要对两幅图像做强度归一化处理。
宽场图像生成单元，用于对强度归一化处理后的两幅相位互补的条纹图像求和取平均，获得宽场图像；
局部对比度提取单元，用于针对某一幅条纹图像，提取条纹的局部对比度，形成一个局部对比度矩阵；
低频信息提取单元，用于将所述局部对比度矩阵与宽场图像相乘，之后利用低通滤波从宽场图像中提取在焦信息的低频信息；
这里，局部对比度可以表示该位置处的低频信息的含量，因为低频信息越多，局部对比度越低；而条纹只调制了在焦的信息，所以条纹的局部对比度与在焦信息的低频部分是相关的。
高频信息提取单元，用于利用高通滤波从宽场图像中提取在焦信息的高频信息；
这里，高频信息代表了图像的细节信息。
去离焦图像生成单元，用于对所述低频信息和高频信息求和获得去离焦的图像。
在一个实施例中，结合图2，提供了一种基于DMD的单帧曝光快速三维荧光成像方法，所述方法包括以下步骤：
系统初启动步骤：第一激光耦合单元、第二激光耦合单元中的第一光源、第二光源开始发射光，可通过FPGA调节第一光源、第二光源发射光的强度；FPGA输出上升沿信号触发DMD和相机工作；
互补条纹光生成步骤：第一光源、第二光源的出射光分别耦合进入第一光纤、第二光纤，第一激光耦合单元、第二激光耦合单元的出射光分别通过第一科勒照明透镜组、第二科勒照明透镜组从DMD的两侧入射至DMD，且经DMD的反射光垂直于DMD的靶面，形成互补的条纹光；
双色荧光激发步骤：互补的条纹光依次经第一筒镜、第一反射镜反射、第一二向色镜反射至第二反射镜，之后经液体变焦透镜、第一中继透镜组、第一物镜激发样品产生携带双色荧光的不同波长的条纹光；
双色分画幅成像步骤：所述携带双色荧光的不同波长的条纹光原路返回，依次经第一物镜、第一中继透镜组、液体变焦透镜、第二反射镜反射、第一二向色镜透射后进入第二中继透镜组；第二中继透镜组的出射光经第二二向色镜反射后入射至第二滤色片、第四反射镜，经第二二向色镜透射后入射至第一滤色片、第三反射镜；所述第三反射镜的反射光经第二筒镜、第三二向色镜透射后成像至相机靶面，所述第四反射镜的反射光经第三筒镜、第三二向色镜反射后成像至相机靶面，形成双色图像；
结合图7，实现去离焦成像步骤：对相机采集到的两幅相位互补的条纹图像进行去除离焦信息处理，获得去离焦图像，具体过程包括：
步骤1，图像预处理，包括对相机采集到的图像进行分割，通过定位分割出两幅相位互补的条纹图像；之后根据两幅图像的条纹位置进行图像配准，去除图像边缘由于光学系统误差引入的未配准像素；
步骤2，对两幅相位互补的条纹图像分别执行若干次Richardson-Lucy去卷积处理；
步骤3，对去卷积处理后的两幅相位互补的条纹图像分别进行强度归一化处理；
步骤4，对强度归一化处理后的两幅相位互补的条纹图像求和取平均，获得宽场图像；
步骤5，针对某一幅条纹图像，提取条纹的局部对比度，形成一个局部对比度矩阵；
步骤6，将所述局部对比度矩阵与宽场图像相乘，之后利用低通滤波从宽场图像中提取在焦信息的低频信息；
步骤7，利用高通滤波从宽场图像中提取在焦信息的高频信息；
步骤8，对所述低频信息和高频信息求和获得去离焦的图像。
进一步地，在其中一个实施例中，所述方法还包括：在相机完成一帧曝光时，FPGA发送模拟电压信号给液体变焦透镜，改变液体变焦透镜的光曲度，实现对样品的三维层切扫描。
关于基于DMD的单帧曝光快速三维荧光成像方法的具体限定可以参见上文中对于基于DMD的单帧曝光快速三维荧光成像系统的限定，在此不再赘述。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.基于DMD的单帧曝光快速三维荧光成像系统，其特征在于，所述系统包括DMD双侧照明模块、双色荧光激发模块、双色分画幅成像模块以及重构模块；
所述DMD双侧照明模块，用于产生两束不同波长的光并分别从不同的方向入射至数字微镜装置DMD，生成互补的条纹光；
所述双色荧光激发模块，用于接收所述互补的条纹光，激发样品上的双色荧光，生成携带双色荧光的条纹光；
所述双色分画幅成像模块，用于将不同波长的携带双色荧光的条纹光成像至相机靶面的不同位置，形成双色图像；
所述重构模块，用于实现去除离焦信息；
所述DMD双侧照明模块包括：第一激光耦合单元（1）、第二激光耦合单元（5）、第一科勒照明透镜组（2）、第二科勒照明透镜组（4）和DMD（3）；所述第一激光耦合单元（1）包括第一光源和第一光纤，第一光源的出射光耦合进入第一光纤；所述第二激光耦合单元（5）包括第二光源和第二光纤，第二光源的出射光耦合进入第二光纤；所述第一光源和第二光源的波长不同；所述第一激光耦合单元（1）、第二激光耦合单元（5）分别位于DMD（3）轴线的两侧；所述第一激光耦合单元（1）、第二激光耦合单元（5）的出射光分别通过第一科勒照明透镜组（2）、第二科勒照明透镜组（4）入射至DMD（3），调节两束光入射至DMD（3）的角度，使经DMD（3）的反射光垂直于DMD（3）的靶面，且形成互补的条纹光；
所述双色荧光激发模块包括沿光轴依次设置的第一筒镜（6）、第一反射镜（7）、第一二向色镜（8）、第二反射镜（9）、液体变焦透镜（10）、第一中继透镜组、第一物镜（13）以及样品（14）；所述第一中继透镜组包括第一中继透镜（11）、第二中继透镜（12）；所述样品（14）的同一位点进行双色荧光标记；所述互补的条纹光经第一筒镜（6）、第一反射镜（7）反射、第一二向色镜（8）反射至第二反射镜（9），之后经液体变焦透镜（10）、第一中继透镜组、第一物镜（13）激发样品（14）产生携带双色荧光的不同波长的条纹光。
2.根据权利要求1所述的基于DMD的单帧曝光快速三维荧光成像系统，其特征在于，所述第一光源或第二光源采用激光光源或汞灯或LED。
3.根据权利要求1或2所述的基于DMD的单帧曝光快速三维荧光成像系统，其特征在于，所述双色分画幅成像模块包括沿光轴设置的第二中继透镜组、第二二向色镜（17）、第一滤色片（18）、第二滤色片（22）、第三反射镜（19）、第四反射镜（23）、第二筒镜（20）、第三筒镜（24）、第三二向色镜（21）以及相机（25）；所述第二中继透镜组包括第四筒镜（15）、第三中继透镜（16）；所述携带双色荧光的不同波长的条纹光原路返回，依次经第一物镜（13）、第一中继透镜组、液体变焦透镜（10）、第二反射镜（9）反射、第一二向色镜（8）透射后进入第二中继透镜组；第二中继透镜组的出射光经第二二向色镜（17）反射后入射至第二滤色片（22）、第四反射镜（23），经第二二向色镜（17）透射后入射至第一滤色片（18）、第三反射镜（19）；所述第三反射镜（19）的反射光经第二筒镜（20）、第三二向色镜（21）透射后成像至相机（25）靶面，所述第四反射镜（23）的反射光经第三筒镜（24）、第三二向色镜（21）反射后成像至相机（25）靶面，形成双色图像；所述第一滤色片（18）、第二滤色片（22）的截止波长分别与第一光源、第二光源的波长对应。
4.根据权利要求3所述的基于DMD的单帧曝光快速三维荧光成像系统，其特征在于，所述第三反射镜（19）、第三二向色镜（21）和第四反射镜（23）的角度、位置均可调，用于调整所述双色图像在相机（25）靶面上的位置；其中第三反射镜（19）用于调节一路单色成像后的图像在相机（25）靶面上的位置，第三二向色镜（21）和第四反射镜（23）构成双反射系统，共同调节另一路单色成像后的图像在相机（25）靶面上的位置。
5.根据权利要求3所述的基于DMD的单帧曝光快速三维荧光成像系统，其特征在于，所述DMD（3）、相机（25）、液体变焦透镜（10）、第一光源、第二光源均通过FPGA控制；所述 FPGA可调节第一光源、第二光源发射光的强度；所述FPGA输出的上升沿信号同时触发DMD（3）和相机（25）工作，DMD（3）开始显示条纹，相机（25）开始曝光；在所述相机（25）完成一帧曝光时，FPGA发送模拟电压信号给液体变焦透镜（10），该模拟电压信号用于改变液体变焦透镜（10）光曲度，实现对样品（14）的三维层切扫描。
6.根据权利要求1所述的基于DMD的单帧曝光快速三维荧光成像系统，其特征在于，所述重构模块包括：
图像预处理单元，用于对相机采集到的图像进行分割，通过定位分割出两幅相位互补的条纹图像；之后根据两幅图像的条纹位置进行图像配准，去除图像边缘由于光学系统误差引入的未配准像素；
去卷积单元，用于对两幅相位互补的条纹图像分别执行若干次Richardson-Lucy去卷积处理；
归一化处理单元，用于对去卷积处理后的两幅相位互补的条纹图像分别进行强度归一化处理；
宽场图像生成单元，用于对强度归一化处理后的两幅相位互补的条纹图像求和取平均，获得宽场图像；
局部对比度提取单元，用于针对某一幅条纹图像，提取条纹的局部对比度，形成一个局部对比度矩阵；
低频信息提取单元，用于将所述局部对比度矩阵与宽场图像相乘，之后利用低通滤波从宽场图像中提取在焦信息的低频信息；
高频信息提取单元，用于利用高通滤波从宽场图像中提取在焦信息的高频信息；
去离焦图像生成单元，用于对所述低频信息和高频信息求和获得去离焦的图像。
7.基于权利要求1至6任意一项所述的基于DMD的单帧曝光快速三维荧光成像系统的成像方法，其特征在于，所述方法包括以下步骤：
系统初启动步骤：第一激光耦合单元、第二激光耦合单元中的第一光源、第二光源开始发射光，可通过FPGA调节第一光源、第二光源发射光的强度；FPGA输出上升沿信号触发DMD和相机工作；
互补条纹光生成步骤：第一光源、第二光源的出射光分别耦合进入第一光纤、第二光纤，第一激光耦合单元、第二激光耦合单元的出射光分别通过第一科勒照明透镜组、第二科勒照明透镜组从DMD的两侧入射至DMD，且经DMD的反射光垂直于DMD的靶面，形成互补的条纹光；
双色荧光激发步骤：互补的条纹光依次经第一筒镜、第一反射镜反射、第一二向色镜反射至第二反射镜，之后经液体变焦透镜、第一中继透镜组、第一物镜激发样品产生携带双色荧光的不同波长的条纹光；
双色分画幅成像步骤：所述携带双色荧光的不同波长的条纹光原路返回，依次经第一物镜、第一中继透镜组、液体变焦透镜、第二反射镜反射、第一二向色镜透射后进入第二中继透镜组；第二中继透镜组的出射光经第二二向色镜反射后入射至第二滤色片、第四反射镜，经第二二向色镜透射后入射至第一滤色片、第三反射镜；所述第三反射镜的反射光经第二筒镜、第三二向色镜透射后成像至相机靶面，所述第四反射镜的反射光经第三筒镜、第三二向色镜反射后成像至相机靶面，形成双色图像；
实现去离焦成像步骤：对相机采集到的两幅相位互补的条纹图像进行去除离焦信息处理，获得去离焦图像。
8.根据权利要求7所述的基于DMD的单帧曝光快速三维荧光成像系统的成像方法，其特征在于，所述方法还包括：在相机完成一帧曝光时，FPGA发送模拟电压信号给液体变焦透镜，改变液体变焦透镜的光曲度，实现对样品的三维层切扫描。
CN202010434454.5A 2020-05-21 2020-05-21 基于dmd的单帧曝光快速三维荧光成像系统及方法 Active CN111650739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010434454.5A CN111650739B (zh) 2020-05-21 2020-05-21 基于dmd的单帧曝光快速三维荧光成像系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010434454.5A CN111650739B (zh) 2020-05-21 2020-05-21 基于dmd的单帧曝光快速三维荧光成像系统及方法

Publications (2)

Publication Number Publication Date
CN111650739A CN111650739A (zh) 2020-09-11
CN111650739B true CN111650739B (zh) 2022-06-03

Family

ID=72346746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010434454.5A Active CN111650739B (zh) 2020-05-21 2020-05-21 基于dmd的单帧曝光快速三维荧光成像系统及方法

Country Status (1)

Country Link
CN (1) CN111650739B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113295616A (zh) * 2021-03-30 2021-08-24 浙江大学杭州国际科创中心 一种SiC晶圆及其外延层结构的综合测试方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03150976A (ja) * 1989-11-07 1991-06-27 Ricoh Co Ltd 測距方法および補助投光装置
JP2005308597A (ja) * 2004-04-22 2005-11-04 Fuji Xerox Co Ltd 三次元画像取得装置および方法
JP2006064454A (ja) * 2004-08-25 2006-03-09 Fuji Xerox Co Ltd 三次元画像取得装置および方法
WO2006109561A1 (ja) * 2005-04-07 2006-10-19 Kyoto University 顕微鏡撮像装置及び方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009060793A1 (de) * 2009-12-22 2011-07-28 Carl Zeiss Microlmaging GmbH, 07745 Hochauflösendes Mikroskop und Verfahren zur zwei- oder dreidimensionalen Positionsbestimmung von Objekten
CN102540446B (zh) * 2011-12-28 2014-03-26 中国科学院西安光学精密机械研究所 一种基于数字微镜器件的高速结构照明光学显微系统及方法
CN103018173B (zh) * 2012-12-19 2014-12-03 中国科学院深圳先进技术研究院 结构光照明层析显微成像系统
JP6260691B2 (ja) * 2014-04-25 2018-01-17 株式会社ニコン 構造化照明顕微鏡装置及び構造化照明観察方法
CN104515759B (zh) * 2014-12-16 2017-05-31 中国科学院苏州生物医学工程技术研究所 非线性结构光照明显微成像方法及系统
CN106872034B (zh) * 2017-01-13 2018-11-13 清华大学 快速三维多光谱显微成像系统
US10664685B2 (en) * 2017-02-03 2020-05-26 Northeastern University Methods, systems, and devices for optical sectioning
CN107389631B (zh) * 2017-04-28 2020-07-07 中国科学院生物物理研究所 高速多色多模态结构光照明超分辨显微成像系统及其方法
CN107167929B (zh) * 2017-06-12 2019-06-25 华南师范大学 基于dmd的双模式光学超分辨显微成像装置及方法
CN108169887B (zh) * 2017-12-27 2020-04-24 清华大学 3d多焦面结构光快速显微成像系统及方法
CN109407295B (zh) * 2018-12-18 2020-07-24 中国科学院深圳先进技术研究院 一种基于dmd可多色激发的结构光显微系统及多色激发方法
CN109739016A (zh) * 2019-01-16 2019-05-10 中国科学院苏州生物医学工程技术研究所 基于结构光照明显微镜快速三维成像系统及同步控制方法
CN111145089B (zh) * 2019-11-18 2023-06-16 中国科学院苏州生物医学工程技术研究所 高保真图像重构方法、系统、计算机设备和存储介质
CN110927945A (zh) * 2019-11-28 2020-03-27 清华大学 三维宽视场和高分辨层析成像方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03150976A (ja) * 1989-11-07 1991-06-27 Ricoh Co Ltd 測距方法および補助投光装置
JP2005308597A (ja) * 2004-04-22 2005-11-04 Fuji Xerox Co Ltd 三次元画像取得装置および方法
JP2006064454A (ja) * 2004-08-25 2006-03-09 Fuji Xerox Co Ltd 三次元画像取得装置および方法
WO2006109561A1 (ja) * 2005-04-07 2006-10-19 Kyoto University 顕微鏡撮像装置及び方法

Also Published As

Publication number Publication date
CN111650739A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN107389631B (zh) 高速多色多模态结构光照明超分辨显微成像系统及其方法
CN110262026B (zh) 孔径扫描傅立叶重叠关联成像
JP7192048B2 (ja) ライトシート顕微鏡法のための構成及び方法
US8019136B2 (en) Optical sectioning microscopy
JP4723806B2 (ja) 共焦点顕微鏡
US10908088B2 (en) SCAPE microscopy with phase modulating element and image reconstruction
US7679741B2 (en) Method and microscope for high spatial resolution examination of samples
JP7009619B2 (ja) ２回通過式マクロ画像
US20220043246A1 (en) Microscope and method for microscopic image recording with variable illumination
WO2017015077A1 (en) Systems and methods for three-dimensional imaging
US20160320596A1 (en) Scanning microscopy system
CN111175259A (zh) 具有结构化照明的三维显微术的加速的方法和设备
CA3065917A1 (en) Super-resolution line scanning confocal microscopy with pupil filtering
US9729800B2 (en) Image generation system
EP4024031A1 (en) Super-resolution imaging system and method, biological sample identification system and method, nucleic acid sequencing imaging system and method, and nucleic acid identification system and method
CN109870441B (zh) 基于移频的三维超分辨光切片荧光显微成像方法和装置
CN111650739B (zh) 基于dmd的单帧曝光快速三维荧光成像系统及方法
CN113056696A (zh) 显微镜和显微镜检查的方法
CN111879740A (zh) 基于光子复位技术的全光学超分辨显微装置
CN115965703B (zh) 一种高保真结构光照明光切片三维显微图像的重构方法
JP7235861B2 (ja) 高スループット光トモグラフィイメージング方法及びイメージングシステム
CN117369106B (zh) 一种多点共聚焦图像扫描显微镜及成像方法
Chen et al. Advanced Wide‐Field Fluorescent Microscopy for Biomedicine
JP5765569B2 (ja) 顕微鏡装置
CN115685515A (zh) 一种单物镜光片的共轴成像系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant