CN109597195B - 基于晶格光照的超分辨三维光场显微成像系统及方法 - Google Patents

基于晶格光照的超分辨三维光场显微成像系统及方法 Download PDF

Info

Publication number
CN109597195B
CN109597195B CN201910094197.2A CN201910094197A CN109597195B CN 109597195 B CN109597195 B CN 109597195B CN 201910094197 A CN201910094197 A CN 201910094197A CN 109597195 B CN109597195 B CN 109597195B
Authority
CN
China
Prior art keywords
illumination
lens
lattice
dimensional
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910094197.2A
Other languages
English (en)
Other versions
CN109597195A (zh
Inventor
戴琼海
卢志
吴嘉敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910094197.2A priority Critical patent/CN109597195B/zh
Priority to US16/357,850 priority patent/US10922789B2/en
Publication of CN109597195A publication Critical patent/CN109597195A/zh
Application granted granted Critical
Publication of CN109597195B publication Critical patent/CN109597195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/006—Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/082—Condensers for incident illumination only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/12—Scanning systems using multifaceted mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device

Abstract

本发明公开了一种基于晶格光照的超分辨三维光场显微成像系统及方法，其中，系统包括：显微镜、二维扫描振镜、中继透镜对、照明系统、微透镜阵列、图像传感器和重建模块，其中，二维扫描振镜用于在频域平面内旋转光路角度，以亚像素平移第一图像平面；照明系统，用于使均匀照明光照射在微透镜阵列上，以产生晶格结构光图案照明；微透镜阵列，用于根据经过亚像素平移和晶格结构光图案照明的第一图像平面调制得到多个调制图像；图像传感器，用于记录多个调制图像；重建模块，用于获取图像传感器记录的多个调制图像，并通过多个调制图像重建目标样本的三维结构。该系统具有结构简单，速度快，成像质量优异，适合观察生物样品的动态行为和结构的优点。

Description

基于晶格光照的超分辨三维光场显微成像系统及方法
技术领域
本发明涉及计算显微技术领域，特别涉及一种基于晶格光照的超分辨三维光场显微成像系统及方法。
背景技术
光学显微镜在成像分辨率上具有物理极限。光学显微镜的分辨率受限于衍射极限分辨率，其取决于波长。在最近的研究中，科学家们已经提出了几种超分辨率的方法。超分辨率方法之一是SIM(Structure Illumination Microscopy，结构照明显微镜)，其用空间结构光照明取代均匀照明。理论上，SIM可以将衍射极限分辨率提升一倍。
生物样本的三维成像对于生物学研究是重要的，而相机一次只能捕捉二维图像。为了加速3D成像的进行，研究人员开发了光场显微镜。光场显微镜是一种单次拍摄的三维成像技术，它可以通过在常规荧光显微镜的图像平面上附加微透镜阵列来捕获固定生物样品的光场。然而，光场将其光频域分成小块。它牺牲了空间分辨率来提高角度分辨率。传统的光场显微镜不能满足生物学研究的需要。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于晶格光照的超分辨三维光场显微成像系统，该系统实现了超分辨率的光场成像，并具有结构简单，速度快，成像质量优异，适合观察生物样品的动态行为和结构的优点。
本发明的另一个目的在于提出一种基于晶格光照的超分辨三维光场显微成像方法。
为达到上述目的，本发明一方面实施例提出了一种基于晶格光照的超分辨三维光场显微成像系统，包括：显微镜，所述显微镜包括物镜和管镜，用于放大目标样本，并成像于所述显微镜的第一图像平面上；二维扫描振镜，所述二维扫描振镜放置于所述中继透镜对的频域平面内，用于在所述频域平面内旋转光路角度，以亚像素平移所述第一图像平面；中继透镜对，用于匹配所述物镜和微透镜阵列之间的数值孔径，并放大或缩小所述第一图像平面；照明系统，所述照明系统用于使均匀照明光照射在所述微透镜阵列上，以产生晶格结构光图案照明；所述微透镜阵列，用于在所述微透镜阵列的后焦平面上调制预设角度光束到目标空间位置，以根据经过亚像素平移和晶格结构光图案照明的第一图像平面调制得到多个调制图像；图像传感器，所述图像传感器与所述微透镜阵列通过所述成像相机镜头耦合，且设置在所述成像相机透镜的第二图像平面上，用于记录所述多个调制图像；重建模块，用于获取所述图像传感器记录的所述多个调制图像，并通过所述多个调制图像重建所述目标样本的三维结构。
本发明实施例的基于晶格光照的超分辨三维光场显微成像系统，使用照明激光通过相同的微透镜阵列以产生晶格结构光图案照明，加上扫描振镜对微透镜的亚像素进行平移，实现了超分辨率的光场成像；结合了结构光照明显微镜超分辨率的优点和光场显微镜快速、三维的优点，在微透镜阵列之前增加二维扫描振镜系统，在微透镜阵列另一侧加入照明光路，并且配合一台普通计算机进行数据处理即可实现，具有结构简单，速度快，成像质量优异，适合观察生物样品的动态行为和结构的优点。
另外，根据本发明上述实施例的基于晶格光照的超分辨三维光场显微成像系统还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述照明系统包括：激光光源，所述激光光源设置在所述显微镜外部，提供稳定均匀的照明光源；激光滤光器，用于消除干扰光的干扰；二向色镜，所述二向色镜设置在所述微透镜阵列和所述图像传感器之间，用于区分照明光束和成像光束，并使得所述照明光源在微透镜阵列上，以产生晶格结构光图案照明。
进一步地，在本发明的一个实施例中，所述管镜用于匹配和校正所述物镜的放大率。
进一步地，在本发明的一个实施例中，所述二维扫描振镜包括X方向扫描振镜和Y方向扫描振镜，其中，以所述频域平面建立坐标系。
进一步地，在本发明的一个实施例中，所述二维扫描振镜进一步用于通过所述X方向扫描振镜沿x轴方向旋转光束，且通过所述Y方向扫描振镜沿y轴方向旋转光束。
进一步地，在本发明的一个实施例中，所述中继透镜对包括第一透镜和第二透镜，其中，所述第一图像平面位于所述第一透镜的前焦平面上时，所述放大或缩小的第一图像平面位于所述第二透镜后焦平面上。
进一步地，在本发明的一个实施例中，所述中继透镜对的放大或缩小所述第一图像平面的比率根据所述第一透镜焦距和所述第二透镜焦距之间的比率确定。
进一步地，在本发明的一个实施例中，所述图像传感器为SCMOS(ScienceComplementary Metal Oxide Semiconductor，科研型互补金属氧化物半导体晶体管)、单色传感器或CCD(Charge-coupled Device，电荷耦合器件)或CMOS(Complementary MetalOxide Semiconductor，互补金属氧化物半导体晶体管)。
进一步地，在本发明的一个实施例中，还包括：控制器系统，用于同时触发所述二维扫描振镜和所述图像传感器。
为达到上述目的，本发明另一方面实施例提出了一种基于晶格光照的超分辨三维光场显微成像方法，包括以下步骤：使用激光光源和二向色镜在目标样本上生成晶格结构光图案照明；通过显微镜放大目标样本，并成像于所述显微镜的第一图像平面上；通过中继透镜对匹配所述物镜和微透镜阵列之间的数值孔径并放大或缩小所述第一图像平面；通过二维扫描振镜在所述频域平面内旋转光路角度，以亚像素平移所述第一图像平面；在微透镜阵列的后焦平面上调制预设角度光束到目标空间位置，根据经过亚像素平移和晶格结构光图案照明的第一图像平面调制得到多个调制图像；通过图像传感器记录所述多个调制图像，并通过重建模块根据所述多个调制图像重建所述目标样本的三维结构。
本发明实施例的基于晶格光照的超分辨三维光场显微成像方法，使用照明激光通过相同的微透镜阵列以产生晶格结构光图案照明，加上扫描振镜对微透镜的亚像素进行平移，实现了超分辨率的光场成像；结合了结构光照明显微镜超分辨率的优点和光场显微镜快速、三维的优点，在微透镜阵列之前增加二维扫描振镜系统，在微透镜阵列另一侧加入照明光路，并且配合一台普通计算机进行数据处理即可实现，具有结构简单，速度快，成像质量优异，适合观察生物样品的动态行为和结构的优点。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的基于晶格光照的超分辨三维光场显微成像系统的结构示意图；
图2为根据本发明一个具体实施例的基于晶格光照的超分辨三维光场显微成像系统的结构示意图；
图3为根据本发明一个实施例的由微透镜阵列产生的晶格结构光照明图案的x-z方向切片示意图；
图4为根据本发明一个实施例的基于晶格光照的超分辨三维光场显微成像方法的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于晶格光照的超分辨三维光场显微成像系统及方法，首先将参照附图描述根据本发明实施例提出的基于晶格光照的超分辨三维光场显微成像系统。
图1是本发明一个实施例的基于晶格光照的超分辨三维光场显微成像系统的结构示意图。
如图1所示，该基于晶格光照的超分辨三维光场显微成像系统10包括：显微镜100、二维扫描振镜200、中继透镜对300、照明系统400、微透镜阵列500、图像传感器600和重建模块700(图中未具体标识)。
其中，显微镜100包括物镜110(图中未具体标识)和管镜120，用于放大目标样本，并成像于显微镜的第一图像平面上。二维扫描振镜200放置于中继透镜对的频域平面内，用于在频域平面内旋转光路角度，以亚像素平移第一图像平面。中继透镜对300，用于匹配物镜120和微透镜阵列500之间的数值孔径，并放大或缩小第一图像平面。照明系统400用于使均匀照明光照射在微透镜阵列上，以产生晶格结构光图案照明。微透镜阵列500，用于在微透镜阵列500的后焦平面上调制预设角度光束到目标空间位置，以根据经过亚像素平移和晶格结构光图案照明的第一图像平面调制得到多个调制图像。图像传感器600与微透镜阵列500通过成像相机镜头耦合，且设置在成像相机透镜的第二图像平面上，用于记录多个调制图像。重建模块700，用于获取图像传感器600记录的多个调制图像，并通过多个调制图像重建目标样本的三维结构。本发明实施例的系统10可以通过用亚像素移动光场来捕获高分辨率维格纳分布函数，且由于晶格结构光照明，可以实现超分辨率成像，并具有结构简单，速度快，成像质量优异，适合观察生物样品的动态行为和结构的优点。
可以理解的是，本发明实施例的系统10包括：显微镜100；微透镜阵列500；照明系统400用于使均匀照明照射在微透镜阵列上，以产生晶格结构光图案照明；二维扫描系统200，在空间平面上移动亚像素；图像传感器600，被配置在微透镜阵列500的后焦平面处记录与调制光束相对应的图像。由于传统光场被认为是低分辨率维格纳分布函数。本发明可以通过用亚像素移动光场来捕获高分辨率维格纳分布函数。由于晶格结构光照明，本发明可以实现超分辨率成像。系统结构简单，速度快，成像质量优异，适合观察生物样品的动态行为和结构。
需要说明的是，显微镜100可以为宽视野显微镜，也可以为宽视场荧光显微镜，在此不做具体限定。从晶格结构光照明下和经亚像素移动的荧光图像，通过微透镜阵列500以超分辨率进行调制。通过微透镜阵列500或一些特定光栅进行均匀照明而形成的晶格结构光图案照明。晶格光照的超分辨三维光场显微成像系统10通过在频域平面上扫描角度或在图像平面上移动空间位置而形成。
具体而言，显微镜100放大样品并将样品成像到显微镜的像平面上，以便从像平面的输出端口输出。二维扫描振镜200在频域平面内旋转光路的角度，相当于空间平面上的水平移动，实现亚像素移动。微透镜阵列500分别在微透镜阵列500的后焦平面上调制不同角度的光束到不同的空间位置。图像传感器600放置在成像相机镜头的像平面或4f系统的像平面上，用于在微透镜阵列500的后焦平面上记录与调制光束对应的图像。
下面将结合图2对基于晶格光照的超分辨三维光场显微成像系统10进行进一步阐述。
进一步地，在本发明的一个实施例中，管镜120用于匹配和校正物镜110的放大率。
可以理解的是，显微镜100被配置为放大样本(诸如显微生物样本)，并将样本成像到显微镜的像平面上，以便从像平面的输出端口输出。在本发明的实施例中，显微镜100安装在宽视场荧光显微镜上。显微镜可以实现样品的初级放大。此外，显微镜100可以通过输出端口输出或输出样品的像平面，以便在后级进一步处理。
进一步地，在本发明的一个实施例中，二维扫描振镜200包括X方向扫描振镜和Y方向扫描振镜，其中，以频域平面建立坐标系。
其中，在本发明的一个实施例中，二维扫描振镜200进一步用于通过X方向扫描振镜沿x轴方向旋转光束，且通过Y方向扫描振镜沿y轴方向旋转光束。
可以理解的是，中继透镜对300和二维扫描振镜200可以组成二维扫描系统。二维扫描系统可以由特定电压驱动。它在频域平面中旋转光路的角度，相当于空间平面上的水平移动。二维扫描系统200具有专用电源。二维扫描振镜放置在频域平面中，它是一个可以分别沿X-Y轴旋转的反射镜。
进一步地，在本发明的一个实施例中，中继透镜对300包括第一透镜310和第二透镜320，其中，第一图像平面位于第一透镜的前焦平面上时，放大或缩小的第一图像平面位于第二透镜后焦平面上。
其中，在本发明的一个实施例中，述中继透镜对的放大或缩小第一图像平面的比率根据第一透镜焦距和第二透镜焦距之间的比率确定。
可以理解的是，第一透镜310和第二透镜320可以分别称为前级透镜和后级透镜。
具体而言，中继透镜300用于匹配物镜120和微透镜阵列500之间的NA(NumericalAperture，数值孔径)。中继透镜设计特定放大倍率，形成4f系统。初级透镜的后焦平面与次级透镜的前焦平面重合。当成像光路的像平面位于初级透镜的前焦平面上时，放大或缩小的像平面将出现在次级透镜的后焦平面上。像平面的放大或缩小比率由初级透镜的焦距与次级透镜的焦距之间的比率确定。中继系统包括前透镜310和后透镜320。
具有短焦距的微透镜阵列300设置在4f系统的像平面处，并且被配置为以不同的角度调制光束。对应于不同角度的信息分别通过微透镜阵列300被调制到传感器的不同空间位置，从而实现不同角度的同时成像。
进一步地，在本发明的一个实施例中，图像传感器600可以为科研型互补金属氧化物半导体晶体管SCMOS、单色传感器或电荷耦合器件CCD或互补金属氧化物半导体晶体管CMOS。
具体而言，图像传感器600设置在成像相机镜头的图像平面或另一中继镜头系统的图像平面上，并且被配置为在微透镜阵列的后焦平面处，记录与调制光束对应的图像。
换句话说，图像传感器600和微透镜阵列500通过成像相机镜头耦合，并被配置为同时对由前一级调制的所有光束成像。在本发明实施例中，图像传感器600可以是例如sCMOS(科研型互补金属氧化物半导体晶体管)单色传感器或CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体晶体管)或其他类型的成像传感器。
进一步地，在本发明的一个实施例中，照明系统400包括：激光光源410、激光滤光器420和二向色镜430。
其中，激光光源410设置在显微镜100外部，提供稳定均匀的照明光源。激光滤光器420用于消除干扰光的干扰。二向色镜430设置在微透镜阵列500和图像传感器600之间，用于区分照明光束和成像光束，并使得照明光源在微透镜阵列上，以产生晶格结构光图案照明。
可以理解的是，激光光源410设置在显微镜100外部，提供稳定均匀的照明。二向色镜430设置在微透镜阵列500和相机600之间，用于区分照明光束和成像光束。二向色镜430使均匀照明在微透镜阵列上，以产生晶格结构光图案照明。
具体而言，照明系统400被配置为在微透镜阵列500的帮助下，提供晶格结构光照射图案(其x-z切面如图3所示)。它由激光源410，激光滤光器420和二向色镜430组成。
在本发明公开的实施例中，激光源410设置在显微镜100外部，提供稳定均匀的照明。激光源410可以是汞灯，或蓝宝石激光器，或其他类型的激光传感器。
在本发明的实施例中，设置在激光源410和二向色镜430之间的激光滤光器420，用于消除来自其他杂散光的干扰。
在本发明的实施例中，分色镜430设置在微透镜阵列500和相机600之间，被配置为区分照明光束和成像光束。二向色镜430使均匀照明在微透镜阵列500上发光，以产生晶格结构光图案照明。
进一步地，在本发明的一个实施例中，还包括：控制器系统800。其中，控制器系统800用于同时触发二维扫描振镜200和图像传感器600。
可以理解的是，如图2所示，控制器系统800用于连接二维扫描振镜系统和相机600，提供了准确的同时触发。
具体而言，控制器系统800用于连接二维扫描振镜系统和相机600。它提供了准确的同时触发。它可以输出用于二维扫描振镜200的特定电压。控制器系统800包括硬件程序810，控制器820和B导线即连接导线830。硬件程序810由LabVIEW软件实现，其提供扫描振镜所需的电压和触发相机的脉冲电压。控制器820和导线将信号从计算机传送到相应的设备。其中，控制器可以是控制板卡或电压信号发生器
此外，在本发明公开的实施例中，该系统例如还可以包括重建模块700(图中未示出)。重建模块700可以通过从图像传感器600记录的图像中提取像素来获得样本的一组成像堆栈，其中每个成像堆栈对应于每个亚像素移位的光场，然后可以重建三维结构通过使用成像堆栈，可以消除样品对焦点外的平面上的信号的影响，并且基于成像堆栈实现样品的三维重建。
在特定实施例中，重建模块700的计算重建过程可以在诸如普通个人电脑或工作站的硬件系统上实现。计算重建部分可以使用所获取的图像信息来进行样本的计算重建。
与其他成像方法相比，本发明公开的实施例有两个主要优点。首先，本发明可以超越衍射极限分辨率，实现超分辨率。这是传统低分辨率光场显微镜的重大改进。其次，取决于振镜的移动，可以仅通过几次拍摄来实现对样本的成像。它的速度比显微镜平移台的轴向移动速度快。因此，成像速度很快。此外，本发明公开的实施方案适用于活体样本的成像。
作为示例，根据本发明公开实施例的系统原理可以概括为：使用激光源、二向色镜在样本上生成晶格结构光图案照明；使用宽视场显微镜的高倍物镜，在傅里叶平面上增加扫描振镜，进一步透过微透镜阵列以极限分辨率传输光束，并在调制微透镜阵列后实现不同角度的光束，之后，调整与图像传感器上的每个微透镜对应的像素范围，以使图像传感器在每次采集中获得不同亚像素移动位置的图像。然后使用计算方法消除信息对焦平面的影响，并重建样本的三维结构。系统可以具有超分辨率，并且系统还可以具有快速成像速度。
利用根据本发明封闭件的基于晶格光照的超分辨三维光场显微成像系统，可以实现简单的结构和便宜的成本，同时，需要相对弱的激发光来成像荧光样品；此外，该系统使用晶格结构光图案照明来超越衍射极限分辨率。
为了使本发明公开的实施例更容易理解，将根据图1的特定实施例示出根据本发明封闭件实施例的基于晶格光照的超分辨三维光场显微成像系统进行进一步实际图示，如图2所示。
总之，根据本发明公开的实施例的晶格光场成像系统可以获取样本的超分辨率、高精度的三维数据。与传统扫描方法相比，系统结合了光学设计和计算重建，缩短了采集时间，提高了分辨率。
根据本发明实施例提出的基于晶格光照的超分辨三维光场显微成像系统，使用照明激光通过相同的微透镜阵列以产生晶格结构光图案照明，加上扫描振镜对微透镜的亚像素进行平移，实现了超分辨率的光场成像；结合了结构光照明显微镜超分辨率的优点和光场显微镜快速、三维的优点，在微透镜阵列之前增加二维扫描振镜系统，在微透镜阵列另一侧加入照明光路，并且配合一台普通计算机进行数据处理即可实现，具有结构简单，速度快，成像质量优异，适合观察生物样品的动态行为和结构的优点。
其次参照附图描述根据本发明实施例提出的基于晶格光照的超分辨三维光场显微成像方法。
图4是本发明一个实施例的基于晶格光照的超分辨三维光场显微成像方法的流程图。
如图4所示，该基于晶格光照的超分辨三维光场显微成像方法包括以下步骤：
在步骤S401中，使用激光光源和二向色镜在目标样本上生成晶格结构光图案照明；
在步骤S402中，通过显微镜放大目标样本，并成像于显微镜的第一图像平面上；
在步骤S403中，通过中继透镜对匹配物镜和微透镜阵列之间的数值孔径并放大或缩小第一图像平面；
在步骤S404中，通过二维扫描振镜在频域平面内旋转光路角度，以亚像素平移第一图像平面；
在步骤S405中，在微透镜阵列的后焦平面上调制预设角度光束到目标空间位置，根据经过亚像素平移和晶格结构光图案照明的第一图像平面调制得到多个调制图像；
在步骤S406中，通过图像传感器记录多个调制图像，并通过重建模块根据多个调制图像重建目标样本的三维结构。
需要说明的是，前述对基于晶格光照的超分辨三维光场显微成像系统实施例的解释说明也适用于该实施例的基于晶格光照的超分辨三维光场显微成像方法，此处不再赘述。
根据本发明实施例提出的基于晶格光照的超分辨三维光场显微成像方法，使用照明激光通过相同的微透镜阵列以产生晶格结构光图案照明，加上扫描振镜对微透镜的亚像素进行平移，实现了超分辨率的光场成像；结合了结构光照明显微镜超分辨率的优点和光场显微镜快速、三维的优点，在微透镜阵列之前增加二维扫描振镜系统，在微透镜阵列另一侧加入照明光路，并且配合一台普通计算机进行数据处理即可实现，具有结构简单，速度快，成像质量优异，适合观察生物样品的动态行为和结构的优点。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种基于晶格光照的超分辨三维光场显微成像系统，其特征在于，包括：
显微镜，所述显微镜包括物镜和管镜，用于放大目标样本，并成像于所述显微镜的第一图像平面上；
二维扫描振镜，所述二维扫描振镜放置于中继透镜对的频域平面内，用于在所述频域平面内旋转光路角度，以亚像素平移所述第一图像平面，所述二维扫描振镜包括X方向扫描振镜和Y方向扫描振镜，其中，以所述频域平面建立坐标系，所述二维扫描振镜用于通过所述X方向扫描振镜沿x轴方向旋转光束，且通过所述Y方向扫描振镜沿y轴方向旋转光束；
中继透镜对，用于匹配所述物镜和微透镜阵列之间的数值孔径，并放大或缩小所述第一图像平面；
照明系统，用于使均匀照明光照射在所述微透镜阵列上，以产生晶格结构光图案照明，所述照明系统包括：激光光源，所述激光光源设置在所述显微镜外部，提供稳定均匀的照明光源；激光滤光器，用于消除干扰光的干扰；二向色镜，所述二向色镜设置在所述微透镜阵列和图像传感器之间，用于区分照明光束和成像光束，并使得所述照明光源在所述微透镜阵列上，以产生所述晶格结构光图案照明；
所述微透镜阵列，用于在所述微透镜阵列的后焦平面上调制预设角度光束到目标空间位置，以根据经过亚像素平移和晶格结构光图案照明的第一图像平面调制得到多个调制图像；
图像传感器，所述图像传感器与所述微透镜阵列通过成像相机镜头耦合，且设置在所述成像相机透镜的第二图像平面上，用于记录所述多个调制图像；以及
重建模块，用于获取所述图像传感器记录的所述多个调制图像，并通过所述多个调制图像重建所述目标样本的三维结构。
2.根据权利要求1所述的基于晶格光照的超分辨三维光场显微成像系统，其特征在于，所述管镜用于匹配和校正所述物镜的放大率。
3.根据权利要求1所述的基于晶格光照的超分辨三维光场显微成像系统，其特征在于，所述中继透镜对包括第一透镜和第二透镜，其中，所述第一图像平面位于所述第一透镜的前焦平面上时，所述放大或缩小的第一图像平面位于所述第二透镜后焦平面上。
4.根据权利要求3所述的基于晶格光照的超分辨三维光场显微成像系统，其特征在于，所述中继透镜对的放大或缩小所述第一图像平面的比率根据所述第一透镜焦距和所述第二透镜焦距之间的比率确定。
5.根据权利要求1所述的基于晶格光照的超分辨三维光场显微成像系统，其特征在于，所述图像传感器为科研型互补金属氧化物半导体晶体管SCMOS、单色传感器或电荷耦合器件CCD或互补金属氧化物半导体晶体管CMOS。
6.根据权利要求1所述的基于晶格光照的超分辨三维光场显微成像系统，其特征在于，还包括：
控制器系统，用于同时触发所述二维扫描振镜和所述图像传感器。
7.一种采用如权利要求1-6任一项所述的基于晶格光照的超分辨三维光场显微成像系统的成像方法，其特征在于，包括以下步骤：
使用激光光源和二向色镜在目标样本上生成晶格结构光图案照明，具体地，所述激光光源设置在所述显微镜外部，提供稳定均匀的照明光源，并通过激光滤光器消除干扰光的干扰，将二向色镜设置在所述微透镜阵列和所述图像传感器之间，用于区分照明光束和成像光束，并使得所述照明光源在所述微透镜阵列上，以产生所述晶格结构光图案照明；
通过显微镜放大目标样本，并成像于所述显微镜的第一图像平面上；
通过中继透镜对匹配所述物镜和微透镜阵列之间的数值孔径并放大或缩小所述第一图像平面；
通过二维扫描振镜在所述频域平面内旋转光路角度，以亚像素平移所述第一图像平面，所述二维扫描振镜包括X方向扫描振镜和Y方向扫描振镜，其中，以所述频域平面建立坐标系，所述二维扫描振镜用于通过所述X方向扫描振镜沿x轴方向旋转光束，且通过所述Y方向扫描振镜沿y轴方向旋转光束；
在微透镜阵列的后焦平面上调制预设角度光束到目标空间位置，根据经过亚像素平移和晶格结构光图案照明的第一图像平面调制得到多个调制图像；以及
通过图像传感器记录所述多个调制图像，并通过重建模块根据所述多个调制图像重建所述目标样本的三维结构。
CN201910094197.2A 2019-01-30 2019-01-30 基于晶格光照的超分辨三维光场显微成像系统及方法 Active CN109597195B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910094197.2A CN109597195B (zh) 2019-01-30 2019-01-30 基于晶格光照的超分辨三维光场显微成像系统及方法
US16/357,850 US10922789B2 (en) 2019-01-30 2019-03-19 Super-resolution lattice light field microscopic imaging system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910094197.2A CN109597195B (zh) 2019-01-30 2019-01-30 基于晶格光照的超分辨三维光场显微成像系统及方法

Publications (2)

Publication Number Publication Date
CN109597195A CN109597195A (zh) 2019-04-09
CN109597195B true CN109597195B (zh) 2021-02-23

Family

ID=65967046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910094197.2A Active CN109597195B (zh) 2019-01-30 2019-01-30 基于晶格光照的超分辨三维光场显微成像系统及方法

Country Status (2)

Country Link
US (1) US10922789B2 (zh)
CN (1) CN109597195B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109541791A (zh) * 2019-01-30 2019-03-29 清华大学 基于亚像素平移的高分辨率光场显微成像系统及方法
EP3751326A1 (en) * 2019-06-14 2020-12-16 Leica Microsystems CMS GmbH Method and microscope for imaging a sample
CN110568603A (zh) * 2019-08-12 2019-12-13 清华大学 基于fpm的显微成像系统
CN110824684B (zh) 2019-10-28 2020-10-30 华中科技大学 一种高速立体三维多模态成像系统和方法
CN111182238B (zh) * 2019-11-15 2023-04-18 浙江荷湖科技有限公司 基于扫描光场的高分辨率移动电子设备的成像装置及方法
CN111157500A (zh) * 2020-01-06 2020-05-15 南开大学 利用光片晶格阵列照明的瞬态体成像显微系统
CN111258044B (zh) * 2020-02-18 2021-05-04 清华大学 基于反射镜扫描光场的类4pi显微成像方法
CN112230412B (zh) * 2020-10-10 2022-08-05 中国科学院广州生物医药与健康研究院 一种快速的结构光照明超分辨显微镜
CN112986195B (zh) * 2021-02-06 2022-11-25 清华大学 一种显微层析成像方法与装置
CN113568156B (zh) * 2021-06-29 2023-05-05 杭州电子科技大学 一种光谱显微成像装置及实现方法
CN113484296A (zh) * 2021-09-02 2021-10-08 清华大学 基于结构光照明的超分辨扫描光场成像系统和方法
WO2024036091A1 (en) * 2022-08-12 2024-02-15 Margolis H Jay Infinity corrected photographic and cinematographic lens system
CN115598822B (zh) * 2022-12-15 2023-03-10 达州爱迦飞诗特科技有限公司 智能多维度显微图像采集与处理方法
CN116224560A (zh) * 2022-12-30 2023-06-06 浙江荷湖科技有限公司 一种单振镜扫描光场成像系统和方法
CN116679435B (zh) * 2023-08-03 2023-11-24 浙江荷湖科技有限公司 一种基于双振镜扫描的光场成像系统
CN117608066A (zh) * 2024-01-19 2024-02-27 清华大学 正倒置一体化扫描光场显微成像装置及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6248988B1 (en) * 1998-05-05 2001-06-19 Kla-Tencor Corporation Conventional and confocal multi-spot scanning optical microscope
DE10344410A1 (de) * 2003-09-25 2005-04-28 Leica Microsystems Rastermikroskop mit evaneszenter Beleuchtung
US20150192461A1 (en) * 2012-07-05 2015-07-09 National University Of Singapore Light microscope and method of controlling the same
EP2713195B1 (en) * 2012-09-28 2017-04-12 Universität Heidelberg High resolution microscopy by means of structured illumination at large working distances
DE102012023024B4 (de) * 2012-11-07 2023-05-04 Carl Zeiss Microscopy Gmbh Lichtmikroskop und Mikroskopieverfahren
US10061111B2 (en) * 2014-01-17 2018-08-28 The Trustees Of Columbia University In The City Of New York Systems and methods for three dimensional imaging
WO2015157769A1 (en) * 2014-04-11 2015-10-15 The Regents Of The University Of Colorado, A Body Corporate Scanning imaging for encoded psf identification and light field imaging
CN107144954B (zh) * 2017-04-10 2020-06-19 清华大学 成像系统和方法
CN106707492B (zh) * 2017-01-13 2019-07-26 清华大学 基于空间光调制器的采集端频域拼贴显微系统
CN106842529B (zh) * 2017-01-23 2019-03-01 清华大学 快速三维显微成像系统
CN107091825A (zh) * 2017-03-31 2017-08-25 清华大学 基于微透镜阵列的荧光样本层析显微成像方法
CN107678154B (zh) * 2017-10-25 2020-06-09 首都师范大学 一种超分辨率显微ct成像系统
CN109541791A (zh) * 2019-01-30 2019-03-29 清华大学 基于亚像素平移的高分辨率光场显微成像系统及方法

Also Published As

Publication number Publication date
US10922789B2 (en) 2021-02-16
US20200242735A1 (en) 2020-07-30
CN109597195A (zh) 2019-04-09

Similar Documents

Publication Publication Date Title
CN109597195B (zh) 基于晶格光照的超分辨三维光场显微成像系统及方法
US11131841B2 (en) High-resolution scanning light field microscopic imaging system and method
US10356390B2 (en) Rapid three-dimensional microscopic imaging system
Luo et al. Synthetic aperture-based on-chip microscopy
CN113484296A (zh) 基于结构光照明的超分辨扫描光场成像系统和方法
CN109425978B (zh) 具有改进的截面厚度的高分辨率2d显微镜检查
US10895726B2 (en) Two-dimensional and three-dimensional fixed Z scanning
CN110927945A (zh) 三维宽视场和高分辨层析成像方法及装置
CN110967817A (zh) 基于双微透镜阵列的图像扫描显微成像方法与装置
CN110567959B (zh) 一种自适应像差校正图像扫描显微成像方法
CN112097905A (zh) 一种光谱显微成像装置
CN116183568A (zh) 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置
CN113917677A (zh) 一种三维超分辨率光片显微成像方法和显微镜
US20200218047A1 (en) High-resolution scanning microscopy
CN107850766A (zh) 用于光学显微镜中的图像处理的系统和方法
CN112986195B (zh) 一种显微层析成像方法与装置
CN116224560A (zh) 一种单振镜扫描光场成像系统和方法
US11422349B2 (en) Dual processor image processing
CN220289941U (zh) 基于微透镜阵列的大视场高通量高分辨率共聚焦成像系统
CN117631249A (zh) 线扫共聚焦扫描光场显微成像装置及方法
CN220626208U (zh) 一种寻址扫描超分辨显微成像系统
US20220373777A1 (en) Subpixel line scanning
Martínez-Corral et al. Time-multiplexing integral microscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant