CN112986195A - 一种显微层析成像方法与装置 - Google Patents

一种显微层析成像方法与装置 Download PDF

Info

Publication number
CN112986195A
CN112986195A CN202110173781.4A CN202110173781A CN112986195A CN 112986195 A CN112986195 A CN 112986195A CN 202110173781 A CN202110173781 A CN 202110173781A CN 112986195 A CN112986195 A CN 112986195A
Authority
CN
China
Prior art keywords
field
sub
imaging
illumination
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110173781.4A
Other languages
English (en)
Other versions
CN112986195B (zh
Inventor
孔令杰
施汝恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110173781.4A priority Critical patent/CN112986195B/zh
Publication of CN112986195A publication Critical patent/CN112986195A/zh
Application granted granted Critical
Publication of CN112986195B publication Critical patent/CN112986195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N2021/6463Optics

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种显微层析成像方法与装置。包括:在投影器件上依次加载所需的各照明图案,利用光学中继透镜组以预设的缩放比例中继到样本面对相应子视场进行激发,子视场中被不同照明图案激发的荧光信号依次通过光学中继透镜组,并以预设的缩放比例中继到相机靶面,实现高分辨的子视场图像的获取;通过二维横向扫描器件使得光束在样本面上产生横向偏移,实现超大视场的不同子视场的结构光图像及其均匀光图像的获取;通过轴向扫描器件使光束在样本轴向产生偏移,实现对样本的轴向扫描;对获取的图像依次利用结构光层析算法、图像拼接算法、三维重建算法,最终得到三维光学层析图像。本发明具有数据通量大,超大视场、高分辨及层析三维成像的能力。

Description

一种显微层析成像方法与装置
技术领域
本发明涉及光学显微技术领域,特别涉及一种层析成像方法与装置。
背景技术
宽视场荧光显微镜采用二维扩展光斑面激发,探测阵列(例如相机)收集荧光的方式来实现显微成像,因此其具有光路结构简单、成像速度快、样本可特异标记等特点。为了实现对超大视场(视场直径>5mm)进行高分辨(分辨率<2μm)成像,目前已出现一系列具有高数值孔径、低放大倍率的物镜(例如:NA=0.28,放大倍率4×),然而其仍无法直接应用于以亚细胞分辨能力对大尺度的生物样本进行快速成像,这是因为存在如下问题:
1)对于激发光路来说,传统宽场荧光显微镜的轴向非定域激发特性使得该技术不具有光学层析能力,无法排除厚样本的焦外背景光,从而使得成像的对比度、信噪比降低。为了使得宽视场荧光显微镜具备光学层析能力,可采用基于结构光的层析成像方法,如HiLo技术(例如中国发明专利申请公开的《使用结构和均匀照明产生光学截面图像的系统和方法》,申请号:CN200980121101.1)、SIM技术(例如中国发明专利公开的《结构光照明层析显微成像系统》,申请号:CN201210553557.9)。在这种方法中,宽视场荧光显微镜的层析能力与结构光的频率成正比,而结构光的频率常常受限于物镜衍射极限,或数字微镜器件靶面到物面之间的放大倍率,即:
Figure BDA0002939750420000011
其中,micromirror size为数字微镜器件中微反射镜尺寸大小,magnification2为荧光显微镜中数字微镜器件靶面到物面的横向放大率,λex为发射光波长,NA为物镜数值孔径。因此,为了实现衍射极限的结构光中继,就应该满足:
Figure BDA0002939750420000012
可以看到,在物镜NA、发射光波长λex和数字微镜器件中微反射镜尺寸大小都确定的情况下,为了满足式(2),可以增大数字微镜器件表面到物面之间的放大倍率。然而,根据照明视场计算公式:
Figure BDA0002939750420000013
其中,FOVillumination为照明视场直径,micromirror number为数字微镜器件行/列像素数。可以看到,增大数字微镜器件表面到物面之间的放大倍率会使得激发视场下降。因此,对于传统的宽视场荧光显微镜来说,轴向层析能力与激发视场之间存在矛盾,也即照明结构光频率与激发视场之间的矛盾。
2)对于成像光路来说,考虑瑞利判据及其奈奎斯特采样定律,基于探测阵列(相机)的荧光显微镜横向分辨率可表示为:
Figure BDA0002939750420000021
其中,pixel size为相机像素尺寸大小,magnification1为荧光显微镜中物面到相机靶面的横向放大率,λex为发射光波长,NA为物镜数值孔径。由式(4)可以看出,要想以光学衍射极限的分辨率进行高分辨率成像,就必须满足奈奎斯特采样定律:
Figure BDA0002939750420000022
可以看到,在物镜NA、发射光波长λex和相机像素尺寸pixel size都确定的情况下,为了满足式(5),可以增大物面到相机靶面的横向放大率magnification1。然而,根据相机的成像视场的计算公式:
Figure BDA0002939750420000023
其中,FOVimaging为成像视场直径,pixel number为相机行/列像素数。可以看出,增大显微系统的光学放大率会缩小成像视场。因此,对于传统的宽视场荧光显微镜来说,高分辨率与大成像视场二者无法兼得。
解决高频率照明结构光与宽视场激发之间矛盾的一种直接方法为:在满足奈奎斯特采样的条件下,使用多个数字微镜器件拼接形成较大的阵列,通过增加微反射镜数目来实现大视场激发。然而,数字微镜器件价格昂贵,使用多个数字微镜器件会使得制造成本极大提升。同样地,对于成像端来说,使用多个相机拼接来实现高分辨率、超大视场成像也面临相同的问题。
综上,如何实现高分辨(横向分辨率、轴向层析能力)、超大视场的显微层析成像是生物显微成像领域亟需克服的技术难点。
发明内容
本发明旨在一定程度上解决相关技术中的难点问题,提出一种超大视场、高分辨(横向分辨率、轴向层析能力)的显微层析成像方法与装置。
本发明第一方面提出的一种显微层析成像方法,包括以下步骤:
步骤S101:在投影器件上依次加载所需的各照明图案,并利用光学中继透镜组以预设的缩放比例中继到样本面对相应照明子视场进行激发;其中,各照明子视场为最终照明视场中的一个相应照明子区域,各照明子区域的大小由照明光学中继透镜的缩放比例决定,各照明子视场的缩放比例相同;加载的照明图案包括结构光图像和均匀光图像两类;
步骤S102:各成像子视场中被激发的荧光信号均分别通过成像光学中继透镜组以预设的缩放比例中继到相机靶面,分别获取高分辨的各成像子视场结构光图像及其均匀光图像;
步骤S103:通过二维横向扫描器件使得光束在样本面上产生横向偏移,实现对样本的横向扫描,不同成像子视场发射出的荧光信号反向后再次通过二维横向扫描器件后被相机收集,以实现超大视场的各成像子视场的结构光图像及其均匀光图像的获取;
步骤S104:对步骤S103得到的各成像子视场的结构光图像及其均匀光图像,结合结构光层析算法,获得不同子视场下的高分辨层析图像;然后利用图像拼接算法,对高分辨的子视场层析图像进行拼接,得到超大视场、高分辨的光学层析图像。
本发明第二方面提出的一种显微层析成像方法,包括以下步骤:
步骤S101:在投影器件上依次加载所需的各照明图案,并利用光学中继透镜组以预设的缩放比例中继到样本面对相应照明子视场进行激发;其中,各照明子视场为最终照明视场中的一个相应照明子区域,各照明子区域的大小由照明光学中继透镜的缩放比例决定,各照明子视场的缩放比例相同;加载的照明图案包括结构光图像和均匀光图像两类;
步骤S102:各成像子视场中被激发的荧光信号均分别通过成像光学中继透镜组以预设的缩放比例中继到相机靶面,分别获取高分辨的各成像子视场结构光图像及其均匀光图像;
步骤S103:通过二维横向扫描器件使得光束在样本面上产生横向偏移,实现对样本的横向扫描,不同成像子视场发射出的荧光信号反向后再次通过二维横向扫描器件后被相机收集,以实现超大视场的各成像子视场的结构光图像及其均匀光图像的获取;
步骤S104:通过轴向扫描器件使得光束在样本轴向产生偏移,从而切换成像焦平面。对于每一个焦平面,重复步骤S101~S103,实现对样本的轴向扫描;
步骤S105:对步骤S104得到的各轴向深度、各成像子视场的结构光图像及其均匀光图像,结合结构光层析算法,获得不同轴向深度、不同子视场下的高分辨层析图像;然后利用图像拼接算法及其三维重建算法,对各轴向深度高分辨的子视场层析图像进行拼接重建,得到三维、超大视场、高分辨的光学层析图像。
本发明第三方面提出的一种根据第一方面显微层析成像方法的装置,包括激发照明系统,横向扫描系统,收集成像系统,激发、收集共用系统以及图像重建与数据处理系统;其中,
所述激发照明系统,包括沿光路依次设置的光源、投影器件、第一透镜、第二透镜和第三透镜,所述投影器件与样本面形成光学共轭;所述激发照明系统用于将投影器件上呈现的图案以预设的缩放比例中继到样本上;
所述横向扫描系统,置于所述轴向扫描系统之后,包括沿光路依次设置的二向色镜和二维横向扫描器件;所述扫描系统用于偏置光线角度,对样本进行横向扫描;
所述收集成像系统,置于所述扫描系统的二向色镜之后,包括沿光路依次设置的第四透镜、第五透镜和相机,所述相机靶面与样本面形成光学共轭;所述收集成像系统用于对样本发射出的荧光信号进行探测;
所述激发、收集共用系统,置于所述扫描系统的二维横向扫描器件之后,包括沿光路依次设置的第六透镜、第七透镜和物镜,所述物镜的后瞳面与二维横向扫描器件表面形成光学共轭;所述激发、收集共用系统用于传导激发光及其发射的信号光;
所述图像重建与数据处理系统,与所述投影器件、相机和二维横向扫描器件相连接,用于控制所述投影器件、相机和二维横向扫描器件的信号同步,对所述相机采集到的各成像子区域的均匀光图像及其结构光图像通过结构光层析算法得到各子视场的高分辨光学层析图像,并对各子视场的高分辨光学层析图像进行拼接,得到样本超大视场、高分辨的光学层析图像。
本发明第四方面提出的一种根据第二方面显微层析成像方法的装置,包括激发照明系统,轴向扫描系统,横向扫描系统,收集成像系统,激发、收集共用系统以及图像重建与数据处理系统;其中,
所述激发照明系统,包括沿光路依次设置的光源、投影器件、第一透镜、第二透镜和第三透镜,所述投影器件与样本面形成光学共轭;所述激发照明系统用于将投影器件上呈现的图案以预设的缩放比例中继到样本上;
所述轴向扫描系统,置于所述激发照明系统之后,包括沿光路放置的轴向扫描器件;所述轴向扫描系统用于改变成像焦平面,从而对样本进行轴向扫描;
所述横向扫描系统,置于所述轴向扫描系统之后,包括沿光路依次设置的二向色镜和二维横向扫描器件,且所述二维横向扫描器件与所述轴向扫描器件紧邻;所述扫描系统用于偏置光线角度,对样本进行横向扫描;
所述收集成像系统,置于所述扫描系统的二向色镜之后,包括沿光路依次设置的第四透镜、第五透镜和相机,所述相机靶面与样本面形成光学共轭;所述收集成像系统用于对样本发射出的荧光信号进行探测;
所述激发、收集共用系统,置于所述扫描系统的二维横向扫描器件之后,包括沿光路依次设置的第六透镜、第七透镜和物镜,所述物镜的后瞳面与二维横向扫描器件表面形成光学共轭;所述激发、收集共用系统用于传导激发光及其发射的信号光;
所述图像重建与数据处理系统,与所述投影器件、相机和二维横向扫描器件、轴向扫描器件相连接,用于控制所述投影器件、相机和二维横向扫描器件、轴向扫描器件的信号同步,对所述相机采集到的各轴向平面、各子区域的均匀光图像及其结构光图像通过结构光层析算法得到各子视场的高分辨光学层析图像,并对各轴向平面、各子视场的高分辨光学层析图像进行拼接重建,得到样本三维、超大视场、高分辨的光学层析图像。
与现有技术相比,本发明具有显著优势:1)对于激发光路系统来说,本发明通过预设的缩放比例,每次对一个子视场进行高分辨的结构光照明,再通过二维横向扫描器件进行扫描,从而实现传统方法无法实现的兼顾大视场、高分辨结构光的照明;2)对于成像光路系统来说,本发明通过预设的缩放比例,每次对一个子视场进行高分辨的成像,再通过二维横向扫描器件进行扫描,从而实现传统方法无法实现的兼顾大视场、高分辨的成像。
本发明通过将扫描成像与宽场成像相结合,利用结构光照明技术可获取到超大视场、高分辨率的光学层析图像,同时不需要对数字微镜器件、相机等器件进行拼接,具有结构简单、价格便宜、成像视场大、分辨率高等特点。
进一步,对于每一个子视场,本发明使用面照明进行宽场成像;为了获取完整大视场,本发明使用扫描器件进行扫描成像。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明实施的基于超大视场、高分辨的显微成像方法流程图;
图2为根据本发明实施的超大视场、高分辨的显微成像装置示意图;
图3为根据本发明实施的子视场成像示意图及其完整视场成像示意图;
图4为根据本发明实施的超大视场、高分辨显微成像的一种信号同步图;
图5为根据本发明实施的超大视场、高分辨显微成像的又一种信号同步图;
图6为根据本发明实施的三维、超大视场、高分辨显微成像系统示意图。
具体实施方式
图1为根据本发明实施的基于超大视场、高分辨的显微成像方法流程图,本发明显微成像方法包括以下步骤:
步骤S101:在投影器件上依次加载所需的各照明图案,并利用照明光学中继透镜组以预设的缩放比例中继到样本面对相应照明子视场进行激发。其中,各照明子视场为最终照明视场中的一个相应子区域,各子区域的大小由照明光学中继透镜的缩放比例决定,各照明子视场的缩放比例相同。加载的照明图案包括结构光图像和均匀光图像两类,即对各照明子视场进行激发时均分别加载结构光图像和均匀光图像。
进一步,照明光学中继透镜组的缩放比例m1与预设照明子视场大小dfov1及其投影器件靶面大小ddmd之间满足以下关系:m1=dfov1/ddmd
步骤S102:各子视场中被激发的荧光信号均分别通过成像光学中继透镜组以预设的缩放比例中继到相机靶面,分别获取高分辨的各成像子视场结构光图像及其均匀光图像。
进一步,成像光学中继透镜组的缩放比例m2与预设照明子视场大小dfov2及其投影器件靶面大小dcamera之间满足以下关系:m2=dcamera/dfov2
步骤S103:通过二维横向扫描器件使得光束在样本面上产生横向偏移,对各个子视场进行激发,以实现对样本的横向扫描,不同子视场发射出的荧光信号反向后再次通过二维横向扫描器件后被相机收集,以实现超大视场的不同子视场的结构光图像及其均匀光图像的获取。
进一步,根据设定,横向扫描方式可以分为全视场扫描和随机扫描两种。全视场扫描即通过控制二维横向扫描器件的偏转角度,按照顺序对各子视场的高分辨光学层析图像进行获取,并最终通过拼接,获取大视场、高分辨的光学层析图像。随机扫描即通过控制扫描振镜仅对感兴趣的几个子区域进行快速扫描。
步骤S10:对步骤S103得到的不同子视场的结构光图像及其均匀光图像,结合结构光层析算法,可获得不同子视场下的高分辨层析图像。然后利用图像拼接算法,对高分辨的子视场层析图像进行拼接,可获取到超大视场、高分辨的光学层析图像。
进一步地,在步骤S103与步骤S104之间还包括:通过轴向扫描器件切换成像焦平面。对于每一个焦平面,重复步骤S101~S103,从而实现对样本的轴向扫描。步骤S104包括:对得到的各轴向深度、各成像子视场的结构光图像及其均匀光图像,结合结构光层析算法,获得各轴向深度不同子视场下的高分辨层析图像;然后利用图像拼接算法及其三维重建算法,对各轴向深度高分辨的子视场层析图像进行拼接重建,得到三维、超大视场、高分辨的光学层析图像。
本发明还根据上述显微成像方法提出一种显微层析成像装置,包括激发照明系统,横向扫描系统,收集成像系统,激发、收集共用系统以及图像重建与数据处理系统;其中,
激发照明系统,包括沿光路依次设置的光源、投影器件、第一透镜、第二透镜和第三透镜,投影器件与样本面形成光学共轭;激发照明系统用于将投影器件上呈现的图案以预设的缩放比例中继到样本上;
所述横向扫描系统,置于所述激发照明系统之后,包括沿光路依次设置的二向色镜和二维横向扫描器件;所述扫描系统用于偏置光线角度,对样本进行横向扫描;
收集成像系统,置于所述扫描系统的二向色镜之后,包括沿光路依次设置的第四透镜、第五透镜和相机,相机靶面与样本面形成光学共轭;收集成像系统用于对样本发射出的荧光信号进行探测;
激发、收集共用系统,置于所述扫描系统的二维横向扫描器件之后,包括沿光路依次设置的第六透镜、第七透镜和物镜,物镜后瞳面与二维横向扫描器件面形成光学共轭;用于传导激发光及其发射的信号光;
图像重建与数据处理系统,与投影器件、相机和二维横向扫描器件相连接,用于控制投影器件、相机和二维横向扫描器件的信号同步,对相机采集到的各子区域的均匀光图像及其结构光图像通过结构光层析算法得到各子视场的高分辨光学层析图像,并对各子视场的高分辨光学层析图像进行拼接,得到样本超大视场、高分辨的光学层析图像。
进一步地,在所述激发照明系统和所述横向扫描系统之前还设有轴向扫描系统,包括沿光路放置的轴向扫描器件;具体地,投影器件与样本面形成光学共轭,轴向扫描器件与二维横向扫描器件紧邻,二维横向扫描器件与物镜后瞳面形成光学共轭;所述轴向扫描系统用于轴向偏置成像焦平面,对样本进行轴向扫描。图像重建与数据处理系统,与投影器件、相机和二维横向扫描器件、轴向扫描器件相连接,用于控制所述投影器件、相机和二维横向扫描器件、轴向扫描器件的信号同步,对所述相机采集到的各轴向平面、各子区域的均匀光图像及其结构光图像通过结构光层析算法得到各子视场的高分辨光学层析图像,并对各轴向平面、各子视场的高分辨光学层析图像进行拼接重建,得到样本三维、超大视场、高分辨的光学层析图像。
本发明装置中,光源以合适的光斑尺寸入射到投影器件上,对投影器件上依次加载的照明图案进行照射。被投影器件调制的照明光束通过中继透镜组进行合适的缩放后穿过二向色镜,而后经过轴向扫描器件,通过施加控制电压,轴向扫描器件的光焦度发生改变,从而使得照明焦平面发生改变。从轴向扫描器件出射的光入射到二维横向扫描器件靶面上。通过施加控制电压,二维横向扫描器件产生一个偏转角,该偏转角使得从二维横向扫描器件出射的照明光束相对于光轴产生预设的倾斜。从二维横向扫描器件出射的光束经过中继透镜组及其物镜后入射到样本特定子区域后完成对特定子视场的激发。样本上特定子区域发射出的荧光信号被物镜反向收集,并通过中继继透镜组缩放到二维横向扫描器件靶面上。二维横向扫描器件的偏置角对入射荧光信号相对于光轴的倾斜进行抵消(即退扫描)后,不同子视场上发射出的荧光信号都可以平行于光轴的方向出射。从二维横向扫描器件出射的荧光信号经过轴向扫描器件并通过中继继透镜组缩放到相机靶面的相同位置上,从而实现对不同子视场荧光图像的收集。
以下结合附图及具体实施例描述本发明显微层析成像装置的技术方案。
实施例1:
图2为根据本发明实施的超大视场、高分辨的显微成像装置示意图。
参照图2,本实施例的显微层析成像装置包括激发照明系统,扫描系统,收集成像系统以及激发、收集共用系统;其中,激发照明系统,包括共光轴依次设置的光源1,投影器件2以及由透镜3、透镜4和透镜5组成的第一透镜组;扫描系统,置于激发照明系统之后,包括二向色镜6和二维横向扫描器件10;收集成像系统,置于所述扫描系统的二向色镜6之后,包括由透镜7和透镜8组成的第二透镜组以及相机9;激发、收集共用系统,包括由透镜11和透镜12组成的第三透镜组以及物镜13。
本实施例中,投影器件2采用数字显微镜器件,二维横向扫描器件10采用二维扫描振镜,且该二维横向扫描器件表面与物镜后瞳面共轭,可以实现超大视场显微图像的扫描获取。
本实施例显微层析成像装置的工作过程如下:
光源1发射出照明光对数字微镜器件进行照射。数字微镜器件上依次加载所需的照明图案,并经过透镜3、透镜4、透镜5及其二向色镜6后缩放到二维扫描振镜上。二维扫描振镜通过引入偏置角度使得出射光束以预设的角度偏离光轴,引入的偏置角度的取值为0°到所选物镜能支持的最大扫描角度。与光轴形成预设夹角的激发光束依次通过透镜11、透镜12、物镜13后实现对样本14中预设的子视场的激发。样本14中预设子视场发射出的荧光被物镜13反向收集,并反向经过透镜12、透镜11后入射到二维扫描振镜上。二维扫描振镜中引入的偏置角度对荧光光束与光轴之间的夹角进行抵消(即退扫描),形成平行于光轴的荧光光束。在被二向色镜6反射后,荧光光束入射到激发、收集共用系统中,并依次通过透镜7、透镜8后聚焦到相机9上,完成对特定子视场荧光信号的收集。
进一步,图像重建与数据处理系统15通过X方向扫描振镜控制线S1和Y方向扫描振镜控制线S2与二维扫描振镜相连接,图像重建与数据处理系统通过数字微镜器件控制线S3与二维扫描振镜相连接,图像重建与数据处理系统通过相机控制线S4与相机相连接,上述信号控制线用于大视场、高分辨层析图像获取过程中对各器件进行同步,具体同步控制方法将结合图4和图5在下文中描述。
图3为根据本发明实施例1的子视场成像示意图及其完整视场成像示意图。
图3中A展示了一个子区域下激发视场及其成像视场的相对位置关系。对于宽视场荧光显微镜来说,激发光为一个二维扩展的圆形面光斑,而用于收集的相机芯片形状为长方形或正方形。在本发明装置中,选取相机芯片中心正方形区域为有效成像区域,并通过激发、收集共用系统所在光路中的中继透镜组对激发光束及其收集光束缩放,使得圆形激发视场成为正方形成像视场的外接圆。
图3中B展示了完整视场。本实施例的超大视场、高分辨显微成像扫描方式灵活,具体来说,可分为以下两种:
1)全视场扫描。通过控制扫描振镜,按照顺序对各子视场的高分辨光学层析图像逐个进行获取,并最终通过拼接,获取大视场、高分辨的光学层析图像。
2)随机扫描。在此模式下,可以通过控制扫描振镜对感兴趣的几个子区域进行快速扫描,例如可以对图3中坐标为1A,3B,2C,4D等随机选定的几个区域进行高分辨的光学层析图像获取。且实际成像中,可根据目标生物动态过程的变化,实时调整成像子区域。
图4为根据本发明实施例1的超大视场、高分辨的显微成像装置的信号同步示意图。图中竖直虚线是为了体现各控制信号在时间上相对关系而做的辅助线。
参照图4,其中s1表示二维扫描振镜X方向的驱动信号,s2表示二维扫描振镜Y方向的驱动信号,s3表示数字微镜器件的驱动信号,s4表示相机的驱动信号。
进一步,为了完成超大视场、高分辨层析图像的获取,可首先执行1A→1B→1C→1D等子视场的扫描,在此过程中,X方向扫描视场之间的切换可通过改变X方向扫描振镜控制线S1中的控制信号来实现。
进一步,在子视场成像中,二维扫描振镜X方向的驱动信号s1、二维扫描振镜Y方向的驱动信号s2均保持恒定,以实现稳定的曝光获取。
进一步,在子视场成像中,数字微镜器件的驱动信号s3包含多个上升沿,以实现对数字微镜器件上加载的图案进行切换,从而分别获取不同照明图案调制下的照明光。
进一步,在子视场成像中,相机的驱动信号s4包含多个上升沿,以触发相机进行多次曝光,从而分别实现对不同照明图案下图像的获取。
特别地,在对某个子视场成像过程中,数字微镜器件的驱动信号s3及相机的驱动信号s4包含的上升沿与所需要的照明图案数量有关。例如HiLo层析方法需要通过一幅均匀光图像及其一幅结构光图像来获取一幅层析图像,因此在对子视场成像过程中,数字微镜器件的驱动信号s3包含两个上升沿,以实现对数字微镜器件上加载的均匀光照明图案及其结构光照明图案的切换;又如SIM层析方法需要通过三幅带有不同相位的结构光图像来获取一幅层析图像,因此在对子视场成像过程中,数字微镜器件的驱动信号s3包含三个上升沿,以实现对数字微镜器件上加载的带有不同相位的结构光图案的切换。
进一步,执行完1A→1D的X方向扫描成像后,二维扫描振镜X方向的驱动信号s1保持恒定,通过改变二维扫描振镜Y方向的驱动信号s2以实现Y方向的扫描,即1D→2D。
进一步,执行完1D→2D的Y方向扫描成像后,二维扫描振镜X方向的驱动信号s2保持恒定,通过改变二维扫描振镜X方向的驱动信号s1以实现X方向的扫描,即2D→2A。
如此往复,可完成对完整视场下高分辨光学层析图像的获取。
图5为根据本发明实施例1的超大视场、高分辨显微成像装置的又一种信号同步示意图;参照图5,其中s1表示二维扫描振镜X方向的驱动信号,s2表示二维扫描振镜Y方向的驱动信号,s3表示数字微镜器件的驱动信号,s4表示相机的驱动信号。图中竖直虚线是为了体现各控制信号在时间上相对关系而做的辅助线。
进一步,为了完成超大视场、高分辨层析图像的获取,可首先执行1A→1B→1C→1D等子视场的扫描,在此过程中,X方向扫描视场之间的切换可通过改变X方向扫描振镜控制线S1中的控制信号来实现。
进一步,在子视场成像中,二维扫描振镜X方向的驱动信号s1、二维扫描振镜Y方向的驱动信号s2均保持恒定,以实现稳定的曝光获取。
进一步,在子视场成像中,数字微镜器件的驱动信号s3包含多个上升沿,以实现对数字微镜器件上加载的图案进行切换,分别实现不同照明图案下图像的获取。
进一步,在子视场成像中,相机的驱动信号s4包含多个上升沿,以触发相机进行多次曝光,从而分别实现对不同照明图案下图像的获取。
进一步,执行完1A→1D的X方向扫描成像后,二维扫描振镜X方向的驱动信号s1控制二维扫描振镜回到1A子区域,即1D→1A,与此同时,通过改变二维扫描振镜Y方向的驱动信号s以实现Y方向的扫描,即1A→2A。
进一步,执行完1A→2A的Y方向扫描成像后,二维扫描振镜Y方向的驱动信号s2中控制信号保持恒定,通过改变二维扫描振镜X方向的驱动信号s1以实现X方向的扫描,即2A→2D。
如此往复,可完成对完整视场下高分辨光学层析图像的获取。
实施例2:
图6为根据本发明实施2的三维、超大视场、高分辨显微成像系统示意图。
参照图6,本实施例的显微层析成像装置与实施例1的显微层析成像装置的不同之处在于:在扫描系统内的二向色镜6与二维扫描振镜之间的光路上设有轴向扫描系统16,本实施例中轴向扫描系统16采用沿光路设置的电调谐透镜;图像重建与数据处理系统15还通过电调谐透镜控制线S5与电调谐透镜相连接。
本实施例显微层析成像装置的具体工作过程如下:
光源1发射出照明光对数字微镜器件进行照射。数字微镜器件上依次加载所需的照明图案,并经过透镜3、透镜4、透镜5、二向色镜6及其电调谐透镜后缩放到二维横向扫描振镜上。二维扫描振镜通过引入偏置角度使得出射光束以预设的角度偏离光轴。与光轴形成预设夹角的激发光束依次通过透镜11、透镜12、物镜13后实现对样本14中预设的子视场的激发。样本14中预设子视场发射出的荧光被物镜13反向收集,并反向经过透镜12、透镜11后入射到二维扫描振镜上。二维扫描振镜中引入的偏置角度对荧光光束与光轴之间的夹角进行抵消(即退扫描),形成平行于光轴的荧光光束。在通过电调谐透镜后,荧光光束被二向色镜6反射到收集光路中,并依次通过透镜7、透镜8后聚焦到相机9上,完成对特定子视场荧光信号的收集。
进一步,通过透镜11和透镜12组成的中继透镜组,电调谐透镜与物镜13后瞳面共轭。
进一步,通过改变施加到电调谐透镜上的控制电压,可以改变其光焦度,进而改变成像系统焦点的轴向位置,从而实现对三维、超大视场、高分辨率层析图像的获取。
进一步,图像重建与数据处理系统15通过X方向扫描振镜控制线S1,Y方向扫描振镜控制线S2,数字微镜器件控制线S3,相机控制线S4和电调谐透镜控制线S5控制各器件在三维、超大视场、高分辨层析图像获取过程中的信号同步。
最后应说明的是:本发明未详细阐述部分属于本领域的公知技术,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种显微层析成像方法,其特征在于,包括以下步骤:
步骤S101:在投影器件上依次加载所需的各照明图案,并利用光学中继透镜组以预设的缩放比例中继到样本面对相应照明子视场进行激发;其中,各照明子视场为最终照明视场中的一个相应照明子区域,各照明子区域的大小由照明光学中继透镜的缩放比例决定,各照明子视场的缩放比例相同;加载的照明图案包括结构光图像和均匀光图像两类;
步骤S102:各成像子视场中被激发的荧光信号均分别通过成像光学中继透镜组以预设的缩放比例中继到相机靶面,分别获取高分辨的各成像子视场结构光图像及其均匀光图像;
步骤S103:通过二维横向扫描器件使得光束在样本面上产生横向偏移,实现对样本的横向扫描,不同成像子视场发射出的荧光信号反向后再次通过二维横向扫描器件后被相机收集,以实现超大视场的各成像子视场的结构光图像及其均匀光图像的获取;
步骤S104:对步骤S103得到的各成像子视场的结构光图像及其均匀光图像,结合结构光层析算法,获得不同子视场下的高分辨层析图像;然后利用图像拼接算法,对高分辨的子视场层析图像进行拼接,得到超大视场、高分辨的光学层析图像。
2.一种显微层析成像方法,其特征在于,包括以下步骤:
步骤S101:在投影器件上依次加载所需的各照明图案,并利用光学中继透镜组以预设的缩放比例中继到样本面对相应照明子视场进行激发;其中,各照明子视场为最终照明视场中的一个相应照明子区域,各照明子区域的大小由照明光学中继透镜的缩放比例决定,各照明子视场的缩放比例相同;加载的照明图案包括结构光图像和均匀光图像两类;
步骤S102:各成像子视场中被激发的荧光信号均分别通过成像光学中继透镜组以预设的缩放比例中继到相机靶面,分别获取高分辨的各成像子视场结构光图像及其均匀光图像;
步骤S103:通过二维横向扫描器件使得光束在样本面上产生横向偏移,实现对样本的横向扫描,不同成像子视场发射出的荧光信号反向后再次通过二维横向扫描器件后被相机收集,以实现超大视场的各成像子视场的结构光图像及其均匀光图像的获取;
步骤S104:通过轴向扫描器件使得光束在样本轴向产生偏移,从而切换成像焦平面。对于每一个焦平面,重复步骤S101~S103,实现对样本的轴向扫描;
步骤S105:对步骤S104得到的各轴向深度、各成像子视场的结构光图像及其均匀光图像,结合结构光层析算法,获得不同轴向深度、不同子视场下的高分辨层析图像;然后利用图像拼接算法及其三维重建算法,对各轴向深度高分辨的子视场层析图像进行拼接重建,得到三维、超大视场、高分辨的光学层析图像。
3.根据权利要求1或2所述的显微层析成像方法,其特征在于,步骤S101中,设所述预设的缩放比例为m1,预设照明子视场的大小为dfov1,设投影器件靶面大小为ddmd,三者之间满足以下关系:m1=dfov1/ddmd
4.根据权利要求1或2所述的显微层析成像方法,其特征在于,步骤S102中,设所述预设的缩放比例为m2,预设成像子视场的大小为dfov2,设相机靶面大小为dcamera,三者之间满足以下关系:m2=dcamera/dfov2
5.根据权利要求1或2所述的显微层析成像方法,其特征在于,步骤S103,收集过程中,不同成像子视场发射出的荧光信号再次反向通过二维横向扫描器件,退扫描到与步骤S102的相机靶面相同的位置。
6.根据权利要求1或2所述的显微层析成像方法,其特征在于,步骤S103中,扫描方式包括全视场扫描和随机扫描两种。
7.一种根据权利要求1所述显微层析成像方法的装置,其特征在于,包括激发照明系统,横向扫描系统,收集成像系统,激发、收集共用系统以及图像重建与数据处理系统;其中,
所述激发照明系统,包括沿光路依次设置的光源、投影器件、第一透镜、第二透镜和第三透镜,所述投影器件与样本面形成光学共轭;所述激发照明系统用于将投影器件上呈现的图案以预设的缩放比例中继到样本上;
所述横向扫描系统,置于所述轴向扫描系统之后,包括沿光路依次设置的二向色镜和二维横向扫描器件;所述扫描系统用于偏置光线角度,对样本进行横向扫描;
所述收集成像系统,置于所述扫描系统的二向色镜之后,包括沿光路依次设置的第四透镜、第五透镜和相机,所述相机靶面与样本面形成光学共轭;所述收集成像系统用于对样本发射出的荧光信号进行探测;
所述激发、收集共用系统,置于所述扫描系统的二维横向扫描器件之后,包括沿光路依次设置的第六透镜、第七透镜和物镜,所述物镜的后瞳面与二维横向扫描器件表面形成光学共轭;所述激发、收集共用系统用于传导激发光及其发射的信号光;
所述图像重建与数据处理系统,与所述投影器件、相机和二维横向扫描器件相连接,用于控制所述投影器件、相机和二维横向扫描器件的信号同步,对所述相机采集到的各成像子区域的均匀光图像及其结构光图像通过结构光层析算法得到各子视场的高分辨光学层析图像,并对各子视场的高分辨光学层析图像进行拼接,得到样本超大视场、高分辨的光学层析图像。
8.一种根据权利要求2所述显微层析成像方法的装置,其特征在于,包括激发照明系统,轴向扫描系统,横向扫描系统,收集成像系统,激发、收集共用系统以及图像重建与数据处理系统;其中,
所述激发照明系统,包括沿光路依次设置的光源、投影器件、第一透镜、第二透镜和第三透镜,所述投影器件与样本面形成光学共轭;所述激发照明系统用于将投影器件上呈现的图案以预设的缩放比例中继到样本上;
所述轴向扫描系统,置于所述激发照明系统之后,包括沿光路设置的轴向扫描器件;所述轴向扫描系统用于改变成像焦平面,从而对样本进行轴向扫描;
所述横向扫描系统,置于所述轴向扫描系统之后,包括沿光路依次设置的二向色镜和二维横向扫描器件,且所述二维横向扫描器件与所述轴向扫描器件紧邻;所述扫描系统用于偏置光线角度,对样本进行横向扫描;
所述收集成像系统,置于所述扫描系统的二向色镜之后,包括沿光路依次设置的第四透镜、第五透镜和相机,所述相机靶面与样本面形成光学共轭;所述收集成像系统用于对样本发射出的荧光信号进行探测;
所述激发、收集共用系统,置于所述扫描系统的二维横向扫描器件之后,包括沿光路依次设置的第六透镜、第七透镜和物镜,所述物镜的后瞳面与二维横向扫描器件表面形成光学共轭;所述激发、收集共用系统用于传导激发光及其发射的信号光;
所述图像重建与数据处理系统,与所述投影器件、相机和二维横向扫描器件、轴向扫描器件相连接,用于控制所述投影器件、相机和二维横向扫描器件、轴向扫描器件的信号同步,对所述相机采集到的各轴向平面、各子区域的均匀光图像及其结构光图像通过结构光层析算法得到各子视场的高分辨光学层析图像,并对各轴向平面、各子视场的高分辨光学层析图像进行拼接重建,得到样本三维、超大视场、高分辨的光学层析图像。
9.根据权利要求7或8所述的装置,其特征在于,所述投影器件为数字显微镜器件。
10.根据权利要求7或8所述的装置,其特征在于,所述二维横向扫描器件为二维扫描振镜。
CN202110173781.4A 2021-02-06 2021-02-06 一种显微层析成像方法与装置 Active CN112986195B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110173781.4A CN112986195B (zh) 2021-02-06 2021-02-06 一种显微层析成像方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110173781.4A CN112986195B (zh) 2021-02-06 2021-02-06 一种显微层析成像方法与装置

Publications (2)

Publication Number Publication Date
CN112986195A true CN112986195A (zh) 2021-06-18
CN112986195B CN112986195B (zh) 2022-11-25

Family

ID=76347751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110173781.4A Active CN112986195B (zh) 2021-02-06 2021-02-06 一种显微层析成像方法与装置

Country Status (1)

Country Link
CN (1) CN112986195B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469864A (zh) * 2021-06-28 2021-10-01 平湖莱顿光学仪器制造有限公司 一种用于获取显微图像的方法与设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106841136A (zh) * 2017-01-10 2017-06-13 浙江大学 一种对超薄细胞的高精度轴向定位与成像方法与装置
CN107092086A (zh) * 2017-02-24 2017-08-25 浙江大学 基于相位调制的激光扫描饱和结构光照明的显微方法及装置
CN107356566A (zh) * 2017-03-30 2017-11-17 浙江大学 一种对完整细胞的宽场三维超高分辨定位和成像方法与装置
CN108680544A (zh) * 2018-04-23 2018-10-19 浙江大学 一种结构化照明的光切片荧光显微成像方法和装置
CN109597195A (zh) * 2019-01-30 2019-04-09 清华大学 基于晶格光照的超分辨三维光场显微成像系统及方法
CN110927945A (zh) * 2019-11-28 2020-03-27 清华大学 三维宽视场和高分辨层析成像方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106841136A (zh) * 2017-01-10 2017-06-13 浙江大学 一种对超薄细胞的高精度轴向定位与成像方法与装置
CN107092086A (zh) * 2017-02-24 2017-08-25 浙江大学 基于相位调制的激光扫描饱和结构光照明的显微方法及装置
CN107356566A (zh) * 2017-03-30 2017-11-17 浙江大学 一种对完整细胞的宽场三维超高分辨定位和成像方法与装置
CN108680544A (zh) * 2018-04-23 2018-10-19 浙江大学 一种结构化照明的光切片荧光显微成像方法和装置
CN109597195A (zh) * 2019-01-30 2019-04-09 清华大学 基于晶格光照的超分辨三维光场显微成像系统及方法
CN110927945A (zh) * 2019-11-28 2020-03-27 清华大学 三维宽视场和高分辨层析成像方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469864A (zh) * 2021-06-28 2021-10-01 平湖莱顿光学仪器制造有限公司 一种用于获取显微图像的方法与设备
CN113469864B (zh) * 2021-06-28 2024-05-07 平湖莱顿光学仪器制造有限公司 一种用于获取显微图像的方法与设备

Also Published As

Publication number Publication date
CN112986195B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
CN109597195B (zh) 基于晶格光照的超分辨三维光场显微成像系统及方法
US11226478B2 (en) Microscope and method for viewing a specimen using a microscope
JP6557682B2 (ja) 機能的に統合されたレーザ走査型顕微鏡
JP6223982B2 (ja) レーザ走査顕微鏡の走査フィールドを変化させる方法
US11106027B2 (en) Resolution enhancement for line scanning excitation microscopy systems and methods
EP3037861A1 (en) Imaging method, and system, for obtaining an super-resolution image of an object
JP2007233098A (ja) 画像取得装置、画像取得方法、及び画像取得プログラム
CN110927945A (zh) 三维宽视场和高分辨层析成像方法及装置
JP3634343B2 (ja) デジタル制御走査方法および装置
CN111133359B (zh) 二维和三维固定z扫描
US20130293698A1 (en) Microscope system
US9134523B2 (en) Predictive focusing for image scanning systems
CN112654911B (zh) 具有虚拟物镜的显微镜设备
CN112986195B (zh) 一种显微层析成像方法与装置
US20200218047A1 (en) High-resolution scanning microscopy
CN108885336A (zh) 用于研究样品的方法和显微镜
CN107850766A (zh) 用于光学显微镜中的图像处理的系统和方法
US11880026B2 (en) Microscope and method for light-field microscopy with light-sheet excitation and for confocal microscopy
CN116224560A (zh) 一种单振镜扫描光场成像系统和方法
US20190043687A1 (en) System and method for axial scanning based on static phase masks
JP7235861B2 (ja) 高スループット光トモグラフィイメージング方法及びイメージングシステム
CN117631249B (zh) 线扫共聚焦扫描光场显微成像装置及方法
US20220373777A1 (en) Subpixel line scanning
CN117631249A (zh) 线扫共聚焦扫描光场显微成像装置及方法
CN117608066A (zh) 正倒置一体化扫描光场显微成像装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant