CN110927945A - 三维宽视场和高分辨层析成像方法及装置 - Google Patents

三维宽视场和高分辨层析成像方法及装置 Download PDF

Info

Publication number
CN110927945A
CN110927945A CN201911192602.0A CN201911192602A CN110927945A CN 110927945 A CN110927945 A CN 110927945A CN 201911192602 A CN201911192602 A CN 201911192602A CN 110927945 A CN110927945 A CN 110927945A
Authority
CN
China
Prior art keywords
field
lens
wide
light
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911192602.0A
Other languages
English (en)
Inventor
孔令杰
施汝恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201911192602.0A priority Critical patent/CN110927945A/zh
Publication of CN110927945A publication Critical patent/CN110927945A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种三维宽视场和高分辨层析成像方法及装置，其中，该方法包括：在数字微镜器件上分别加载结构图案和平面图案，通过光源照射数字微镜器件依次产生结构光和均匀光并中继到样品上，收集激发出的结构光照明图像和均匀光照明图像；结构光和均匀光照明图像经过反射分束器件后被分为多个子视场图像；将多个子视场图像进行拼接得到宽视场结构光照明图像和宽视场均匀光照明图像；利用结构光层析算法将拼接后的宽视场结构光照明图像和宽视场均匀光照明图像进行结合得到宽视场光学层析图像；对样品进行轴向扫描成像，并将所得的宽视场光学层析图像进行数据重建，得到高分辨、宽视场的三维层析图像。该方法可以用于生物动态过程的三维快速成像。

Description

三维宽视场和高分辨层析成像方法及装置
技术领域
本发明涉及光学显微技术领域，特别涉及一种三维宽视场和高分辨层析成像方法及装置。
背景技术
当前，光学显微成像在生物医学研究、临床疾病诊断等领域有着广泛地应用。考虑到生物活体样本通常具有三维立体的结构，为了对生物动态过程进行深入研究，常常需要对其进行快速三维宽视场、高分辨层析成像。宽场荧光显微镜由于具有视场大、成像速度快等优点而被广泛应用。然而，传统的宽场荧光显微镜存在以下问题：
1)传统宽场荧光显微镜的轴向非定域激发特性使得其不具有光学层析能力，无法对生物样本进行三维立体成像。为了解决这个问题，人们提出了激光扫描共聚焦显微、双光子荧光显微等技术，获得了轴向光学层析能力。但是由于上述成像技术依赖于扫描成像，显微系统结构复杂，成像速度慢，难以满足实际需求。
2)根据瑞利判据，在衍射受限的情况下，显微镜的光学分辨率可以通过
Figure BDA0002293937170000011
来计算，其中，λex代表发射荧光的波长，NA代表物镜的数值孔径。由式(1)可以看出，在发射波长确定的情况下，物镜的数值孔径越大，显微系统的光学分辨率越高。因此，宽场荧光显微镜常常配备高数值孔径的物镜以获取高的光学分辨率。然而，宽场荧光显微镜的最终分辨率不仅仅取决于物镜的光学分辨率，还取决于相机的采样频率。根据奈奎斯特采样定理，只有在采样频率大于等于信号最高频率的2倍时，采样之后的数字信号才能完整地保留原始信号中的信息。因此，只有在满足：
Figure BDA0002293937170000012
(pixel size为相机像素的尺寸，magnification为成像系统的光学放大率)的情况下，显微系统的最终分辨率才是衍射受限的。在发射光波长、物镜NA、相机像素尺寸确定的情况下，可以通过增大显微系统的光学放大率来满足(2)式。然而，根据相机的成像视场的计算公式：
Figure BDA0002293937170000013
(pixel number为像素个数，pixel size为像素尺寸，magnification为光学系统放大率)，增大显微系统的光学放大率会缩小相机视场。因此，在实际使用宽场显微镜的过程中，人们往往通过牺牲宽视场来满足奈奎斯特采样定理从而实现高分辨，或通过亚采样以牺牲高分辨为代价实现宽视场成像，高分辨和宽视场难以同时被满足。
要发展三维宽视场、高分辨层析成像方法，首先要解决传统宽场荧光显微镜缺失轴向层析能力的问题。采用正弦周期结构光照明(Structure Illumination Microscopy，SIM)的方法可获取光学层析图像。在这种方法中，为了获取一幅光学层析图像，需要拍摄三幅结构条纹照明的图像，每幅图像之间的条纹间隔为三分之一个条纹周期。然而，样本的移动对这种方法干扰很大。为了解决这个问题，可采用“HiLo”的结构光层析方法。在这种方法中，获取一幅层析图像只需要拍摄两幅图像，其中一幅是结构光照明的图像，另外一幅是均匀光照明的图像，将两幅图像结合起来可以计算恢复出层析图像。
对于三维成像，常规方法需要通过轴向移动物镜或生物样本来实现。受到机械元件固有惯性的限制，上述方法的成像速度慢，难以用于实时观察三维生物动态过程。
此外，如何突破宽视场与高分辨的矛盾，在满足奈奎斯特采样定理的条件下，同时获取宽视场图像，也是亟需解决的难题。传统的荧光显微镜由于受到相机像素数的限制，在满足奈奎斯特采样定理的情况下，成像尺度往往会受到限制。
综上，如何实现三维宽视场、高分辨层析成像是显微成像领域亟需克服的技术难点。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种三维宽视场和高分辨层析成像方法，该方法实现宽视场、高分辨的三维层析成像，可以显著提高成像速度、扩大成像视场及简化装置节省成本，并可以用于生物动态过程的三维快速成像，具有广阔的生物医学应用前景。
本发明的另一个目的在于提出一种三维宽视场和高分辨层析成像装置。
为达到上述目的，本发明一方面实施例提出了一种三维宽视场和高分辨层析成像方法，包括：
S1，在数字微镜器件上分别加载结构图案和平面图案，利用光源照射加载图案后的所述数字微镜器件分别产生结构光和均匀光；
S2，利用管透镜、电调谐透镜和显微物镜分别将结构光和均匀光中继到样品上，并依次收集由结构光和均匀光所激发的结构光照明图像和均匀光照明图像；
S3，所述结构光照明图像和所述均匀光照明图像分别经过所述显微物镜、透镜后在反射分束器上形成中间像面，并通过所述反射分束器上的多块不同偏转角度的平面反射镜进行多视场反射，利用相机采集多个反射光路上的子视场图像；
S4，将多个子视场图像进行拼接的得到宽视场结构光照明图像和宽视场均匀光照明图像；
S5，利用结构光层析算法将拼接后的所述宽视场结构光照明图像和所述宽视场均匀光照明图像进行结合得到宽视场光学层析图像；
S6，通过所述电调谐透镜对所述样品进行轴向扫描成像，并将所得的不同轴向位置的所述宽视场光学层析图像进行数据重建，得到高分辨和宽视场的三维层析图像。
本发明实施例的三维宽视场和高分辨层析成像方法，利用数字微镜器件产生结构光和均匀光对样品进行激发并收集荧光信号；收集光路引入的反射分束器件将中间像面的视场分为多个子视场，不同子视场的光束被反射分束器件以不同的角度反射到对应的收集装置中进行收集；将收集得到的子视场图像拼接成宽视场、高分辨的图像；拼接后的宽视场、高分辨结构光图像及其均匀光图像通过结构光层析算法组合计算出宽视场、高分辨的光学层析图像；通过电调谐透镜对样品进行轴向扫描，最终获取宽视场、高分辨的三维层析图像。该方法可同时获取宽视场、高分辨的三维图像，具有广阔的应用前景。
另外，根据本发明上述实施例的三维宽视场和高分辨层析成像方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，在步骤S1之前还包括：
对所述样品的参数进行设定，设定沿所述样品横向、纵向和轴向分别为x轴、y轴和z轴。
进一步地，在本发明的一个实施例中，步骤S5进一步包括：
S51，对所述宽视场均匀光照明的图像
Figure BDA0002293937170000031
施加一个高通滤波器HP来获取焦平面内的高频信息
Figure BDA0002293937170000032
Figure BDA0002293937170000033
S52，提取所述宽视场结构光照明图像
Figure BDA0002293937170000034
的对比度：
Figure BDA0002293937170000035
其中，σ表示求取图像方差；
S53，通过对结构光对比度调制后的均匀图像施加一个低通滤波器LP来获取焦平面内的低频信息：
Figure BDA0002293937170000036
S54，通过对获取的高频信息和低频信息进行组合来获取宽视场光学层析图像：
Figure BDA0002293937170000037
其中，η为保证低频信息与高频信息强度连续的因子。
进一步地，在本发明的一个实施例中，所述S3进一步包括：
激发出的所述结构光照明图像和所述均匀光照明图像经过所述显微物镜和收集透镜后成像到所述反射分束器上形成中间像面，所述反射分束器由多块不同偏转角度的平面反射镜构成，通过所述显微物镜收集到的宽视场图像被所述反射分束器分成不同的子视场，各个子视场以不同的角度反射到对应的收集光路中被对应的相机所采集。
为达到上述目的，本发明另一方面实施例提出了一种三维宽视场和高分辨层析成像装置，包括：
结构光和均匀光产生系统，包括：光源(301)、激发光滤波片(302)、透镜(303)、透镜(304)、全内反射棱镜(305)和数字微镜器件(306)，用于产生结构光和均匀光；
光束整形和中继系统，包括：管透镜(307)、电调谐透镜(309)和显微物镜(310)，用于将所述结构光和均匀光产生系统所产生的结构光和均匀光中继到样品上；
轴向快速扫描系统，包括：所述电调谐透镜(309)，所述电调谐透镜(309)置于所述显微物镜(310)的后焦面处，用于通过所述电调谐透镜(309)对所述样品进行轴向扫描；
信号激发与收集系统，包括：所述显微物镜(310)、二向色镜(308)、发射光滤波片(312)、收集透镜(313)、反射分束器(314)、多个透镜、多个相机，用于激发所述样品产生结构光和均匀光对应的荧光信号，激发的荧光信号通过所述显微物镜(310)进行收集后经过二向色镜(308)、发射光滤波片(312)进行滤波，通过收集透镜后荧光信号在反射分束器(314)上形成中间像面，经过反射分束器(314)的反射分束后，不同子视场的光束以不同的角度出射，并被对应的相机所收集；
图像重建与数据处理系统，包括，计算机，用于对多个相机采集的信号进行显示与分析，实现宽视场、高分辨的三维层析成像。
本发明实施例的三维宽视场和高分辨层析成像装置，通过结构光和均匀光产生系统分别产生结构光和均匀光图案；光束整形和中继系统将产生的结构光和均匀光图案中继到样品上；快速轴向扫描系统对样品进行轴向扫描；信号收集系统依次收集结构光和均匀光激发下所对应的荧光信号，所收集到的荧光信号经过反射分束器后，不同子视场的荧光信号以不同的角度出射，并被对应的相机所收集；图像重建与数据处理系统对采集到的信号进行处理与显示，以实现宽视场、高分辨的三维层析成像。本发明实施例的三维宽视场和高分辨层析成像装置可以显著提高成像速度、扩大成像视场及简化装置节省成本，并可以用于生物动态过程的三维快速成像，具有广阔的生物医学应用前景。
另外，根据本发明上述实施例的三维宽视场和高分辨层析成像装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，在数字微镜器件(306)上分别加载结构图案和平面图案，并利用光源(301)照射加载图案后的数字微镜器件(306)产生结构光和均匀光。
进一步地，在本发明的一个实施例中，在所述结构光和均匀光产生系统中，激发光滤波片(302)放置于光源(301)和透镜(303)之间，透镜(303)和透镜(304)构成4f系统，数字微镜器件(306)放置于4f系统的焦点处，全内反射棱镜(305)紧贴数字微镜器件(306)。
进一步地，在本发明的一个实施例中，在所述光束整形和中继系统中，所述电调谐透镜(309)放置于所述显微物镜(310)的后焦面上，管透镜(307)与所述电调谐透镜(309)、所述显微物镜(310)构成4f系统，数字微镜器件(306)与样品面形成光学共轭。
进一步地，在本发明的一个实施例中，在所述信号激发与收集系统中，二向色镜(308)置于所述电调谐透镜(309)与管透镜(307)之间，发射光滤波片(312)置于收集透镜(313)与二向色镜(308)的反射端之间，收集透镜(313)将荧光信号汇聚到反射分束器(314)上，反射分束器(314)将入射的大视场信号分为多个子视场信号，其中，子视场一经过透镜(315)和透镜(316)后被相机(317)所收集，其中，透镜(315)和透镜(316)构成4f系统，相机(317)与反射分束器件(314)形成光学共轭，子视场二经过透镜(318)、透镜(319)后被相机(320)所收集，其中，透镜(318)和透镜(319)构成4f系统，相机(320)与反射分束器(314)形成光学共轭。
进一步地，在本发明的一个实施例中，所述图像重建与数据处理系统还用于控制所述电调谐透镜(309)、数字微镜器件(306)、相机(317)、相机(320)的同步。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的三维宽视场和高分辨层析成像方法流程图；
图2为根据本发明一个实施例的三维宽视场和高分辨层析成像装置的原理示意图；
图3为根据本发明一个实施例的三维宽视场和高分辨层析成像装置结构示意图；
图4为根据本发明一个实施例的分束反射器的结构示意图；
图5为根据本发明一个实施例的三维宽视场、高分辨层析成像显微镜的收集光路示意图；
图6为根据本发明一个实施例的三维宽视场、高分辨层析成像显微镜的收集光路详细结构图；
附图标记：301-光源、302-激发光滤波片、303-透镜、304-透镜、305-全内反射棱镜、306-数字微镜器件、307-管透镜、308-二向色镜、309-电调谐透镜、310-显微物镜、311-高精度位移台、312-发射光滤波片、313-收集透镜、314-反射分束器件、315-透镜、316-透镜、317-相机、318-透镜、319-透镜、320-相机、321-计算机。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的三维宽视场和高分辨层析成像方法及装置。
首先将参照附图描述根据本发明实施例提出的三维宽视场和高分辨层析成像方法。
图1为根据本发明一个实施例的三维宽视场和高分辨层析成像方法流程图。
如图1所示，该三维宽视场和高分辨层析成像方法包括以下步骤：
步骤S1，在数字微镜器件上分别加载结构图案和平面图案，利用光源照射加载图案后的数字微镜器件分别产生结构光和均匀光。
可以理解的是，在数字微镜器件上分别加载结构图案和平面图案，其中，结构图案可以选择正弦结构图案或散斑图案，利用光源照射数字微镜器件和光源产生结构光及均匀光。
进一步地，在本发明的一个实施例中，在步骤S1之前还包括对样品的参数进行设定，设定样品横向为x轴，纵向为y轴，轴向为z轴。
步骤S2，利用管透镜、电调谐透镜和显微物镜分别将结构光和均匀光中继到样品上，并依次收集由结构光和均匀光所激发的结构光照明图像和均匀光照明图像。
通过光源照射数字显微器件产生结构光和均匀光后，通过成像系统中的管透镜、电调谐透镜和显微物镜将结构光和均匀光中继到样品上，使样品激发出结构光和均匀光对应的荧光图像，并依次进行采集。
将数字微镜器件生成的结构光和均匀光分别中继到样品面上，包括：在数字微镜器件后面放置全内反射棱镜以使得系统紧凑易调，光束通过全反射棱镜后再通过由管透镜和“电调透镜-物镜”组成的中继透镜组，将光束中继到样品上。
步骤S3，结构光照明图像和均匀光照明图像分别经过显微物镜、透镜后在反射分束器上形成中间像面，并通过反射分束器上的多块不同偏转角度的平面反射镜进行多视场反射，利用相机采集多个反射光路上的子视场图像。
进一步地，S3进一步包括：
激发出的结构光照明图像和均匀光照明图像经过显微物镜和透镜后成像到反射分束器上形成中间像面，反射分束器由多块不同偏转角度的平面反射镜构成，通过显微物镜收集到的大视场图像被反射分束器分成不同的子视场，每个子视场的光束又被反射分束器以不同的角度反射到对应的相机中，利用对应的相机采集多个子视场图像。
具体地，收集到的光束首先在反射分束器件上形成大视场的中间像面，反射分束器中的不同偏转角度的反射镜将中间像面分为多个子视场，经过不同角度的反射后，各个子视场的光束以不同角度出射到不同的收集装置中。
步骤S4，将多个子视场图像进行拼接的得到宽视场结构光照明图像和宽视场均匀光照明图像。
步骤S5，利用结构光层析算法将拼接后的宽视场结构光照明图像和宽视场均匀光照明图像进行结合得到宽视场光学层析图像。
进一步地，步骤S5进一步包括：
S51，对宽视场均匀光照明的图像
Figure BDA0002293937170000071
施加一个高通滤波器HP来获取焦平面内的高频信息
Figure BDA0002293937170000072
Figure BDA0002293937170000073
S52，提取宽视场结构光照明图像
Figure BDA0002293937170000074
的对比度：
Figure BDA0002293937170000075
其中，σ表示求取图像方差；
S53，通过对结构光对比度调制后的均匀图像施加一个低通滤波器LP来获取焦平面内的低频信息：
Figure BDA0002293937170000076
S54，通过对获取的高频信息和低频信息进行组合来获取宽视场光学层析图像：
Figure BDA0002293937170000077
其中，η为保证低频信息与高频信息强度连续的因子。
步骤S6，通过电调谐透镜对样品进行轴向扫描成像，并将所得的不同轴向位置的宽视场光学层析图像进行数据重建，得到高分辨和宽视场的三维层析图像。
通过电调谐透镜进行轴向扫描，激发并获取样品的轴向信息。其中，轴向指的是z方向。
根据上面步骤获取到的信息进行数据重建，获得高分辨、宽视场的三维层析图像。
可以理解的是，本发明实施例的方法是将采集扫描过程中产生的荧光信号进行数据重建，以获得基于宽场显微的高速三维层析图像。
根据本发明实施例提出的三维宽视场和高分辨层析成像方法，利用数字微镜器件产生结构光和均匀光对样品进行激发并收集荧光信号；收集光路引入的反射分束器件将中间像面的视场分为多个子视场，不同子视场的光束被反射分束器件以不同的角度反射到对应的收集装置中进行收集；将收集得到的子视场图像拼接成宽视场、高分辨的图像；拼接后的宽视场、高分辨结构光图像及其均匀光图像通过结构光层析算法组合计算出宽视场、高分辨的光学层析图像；通过电调谐透镜对样品进行轴向扫描，最终获取宽视场、高分辨的三维层析图像。该方法可同时获取宽视场、高分辨的三维图像，具有广阔的应用前景。
其次参照附图描述根据本发明实施例提出的三维宽视场和高分辨层析成像装置。
图2为根据本发明一个实施例的三维宽视场和高分辨层析成像装置原理示意图。
如图2所示，该三维宽视场和高分辨层析成像装置包括：结构光和均匀光产生系统100、光束整形和中继系统200、快速轴向扫描系统300、信号激发与收集系统400和图像重建与数据处理系统500。
如图3所示，结构光和均匀光产生系统100，包括：光源(301)、激发光滤波片(302)、透镜(303)、透镜(304)、全内反射棱镜(305)和数字微镜器件(306)。结构光和均匀光产生系统100用于利用数字微镜器件分别产生结构光及均匀光。
如图3所示，光束整形和中继系统200，包括：管透镜(307)、电调谐透镜(309)和显微物镜(310)。光束整形和中继系统200用于利用管透镜、电调谐透镜和物镜，将数字微器件产生结构光及均匀光分别中继到样品面上，其中，生物样品放置在高精度位移台(311)上。
如图3所示，快速轴向扫描系统300，包括：电调谐透镜(309)，电调谐透镜(309)置于显微物镜(310)的后焦面处，通过利用电调谐透镜轴向移动显微镜的焦点对样品进行轴向扫描，采集样品的轴向信息。
信号激发与收集系统400，包括：显微物镜(310)、二向色镜(308)、发射光滤波片(312)、收集透镜(313)、反射分束器(314)、透镜、相机；用于激发样品产生结构光和均匀光对应的荧光信号，激发的荧光信号通过显微物镜(310)进行收集后经过二向色镜(308)、发射光滤波片(312)进行滤波，通过收集透镜后荧光信号在反射分束器(314)上形成中间像面，经过反射分束器(314)的反射分束后，不同子视场的光束以不同的角度出射，并被对应的相机所收集。
图像重建与数据处理系统500，包括，计算机，用于对多个相机采集的信号进行显示与分析，实现宽视场、高分辨的三维层析成像。
本发明实施例的装置可以显著提高成像速度、扩大成像视场及简化装置节省成本，并可以用于生物动态过程的三维快速成像，具有广阔的生物医学应用前景。
进一步地，在本发明的一个实施例中，在数字微镜器件(306)上分别加载结构图案和平面图案，并利用光源(301)照射加载图案后的数字微镜器件(306)产生结构光和均匀光。
进一步地，在本发明的一个实施例中，在结构光和均匀光产生系统100中，激发光滤波片(302)放置于光源(301)和透镜(303)之间，透镜(303)和透镜(304)构成4f系统，数字微镜器件(306)放置于4f系统的焦点处，全内反射棱镜(305)紧贴数字微镜器件(306)。
进一步地，在本发明的一个实施例中，在光束整形和中继系统200中，电调谐透镜(309)放置于显微物镜(310)的后焦面上，管透镜(307)与电调谐透镜(309)、显微物镜(310)构成4f系统，数字微镜器件(306)与样品面形成光学共轭。
具体地，光束整形和中继系统200包括在数字微镜器件后面放置全内反射棱镜以使得系统紧凑易调，再通过由管透镜和“电调透镜-物镜”组成的中继透镜组，将光束中继到样品上。
进一步地，在本发明的一个实施例中，在信号激发与收集系统中，二向色镜(308)置于电调谐透镜(309)与管透镜(307)之间，发射光滤波片(312)置于收集透镜(313)与二向色镜(308)的反射端之间，收集透镜(313)将荧光信号汇聚到反射分束器(314)上，反射分束器(314)将入射的大视场信号分为多个子视场信号并被对应相机采集(图3仅画出2个子视场作为示例)，例如，子视场一经过透镜(315)和透镜(316)后被相机(317)所收集，其中，透镜(315)和透镜(316)构成4f系统，相机(317)与反射分束器件(314)形成光学共轭；子视场二经过透镜(318)、透镜(319)后被相机(320)所收集，其中，透镜(318)和透镜(319)构成4f系统，相机(320)与反射分束器(314)形成光学共轭。其他子视场类似。
进一步地，在本发明的一个实施例中，图像重建与数据处理系统还用于控制电调谐透镜(309)、数字微镜器件(306)、相机(317)、相机(320)的同步。
具体地，图像重建与数据处理系统500包括信号读取与图像处理程序，用以对采集到的信号进行处理与显示，以实现宽视场、高分辨的三维层析成像。
综上，结构光和均匀光产生系统100用于提供提取光学层析信号的激发光。光束整形和中继系统200置于上述结构光和均匀光产生系统100之后，包括全内反射棱镜、管透镜、电调谐透镜及其物镜，这些器件均共光轴。在数字微镜器件后面放置全内反射棱镜以使得系统紧凑易调，光束通过全反射棱镜后再通过由管透镜和“电调谐透镜-物镜”组成的中继透镜组，在样品表面形成照明光束。快速轴向扫描系统300置于物镜的后焦面处，包括一个电调谐透镜，利用电调谐透镜的轴向扫描实现光束相对样品的快速三维成像。信号激发与收集系统400包括物镜、二向色镜、滤波片、管透镜、反射分束器、相机。激发的荧光信号经物镜收集并反向传输后，经过二向色镜、滤波片进行滤波，通过管透镜后荧光信号在反射分束镜上形成中间像面。经过反射分束后，不同子视场的光束以不同的角度出射，并被对应的相机所收集。图像重建与数据处理系统500包括信号读取与图像处理程序，用以对采集到的信号进行处理与显示，以实现宽视场、高分辨的三维层析成像。
图4为根据本发明一个实施例的分束反射器的结构示意图。
其中，图4A为该装置的俯视图，图4B为该装置的正视图，图4C为该装置的右视图，假设光束沿着z方向传播。如图4A所示，该装置由四块完全相同的平行四边形反射镜拼接而成，其中设每块平行四边形反射镜参与拼接的角为α；如图4B及其图4C所示，设每块平行四边形反射镜与x-o-y平面构成的二面角都为θ；可以得出，当且仅当满足：
Figure BDA0002293937170000101
时，四块平行四边形反射镜可以无缝隙地拼接在一起。在本例中，所选的平行四边形反射镜α角为75°，每块平行四边形反射镜与x-o-y平面所成的二面角为39°。
图5为根据本发明一个实施例的三维宽视场、高分辨层析成像显微镜的收集光路示意图。
其中，图5A为收集装置的正视图，图5B图为收集装置的左视图。如图5A所示，荧光信号经过物镜收集单元501收集后在反射分束器502上形成中间像面。501与502的相对位置关系为：502放置于501的焦点处。在本示例中，反射分束器件由四块偏转角度不同的反射镜组成。在反射分束器502上，收集到的信号被分为四个子视场，四个子视场的光束分别被反射镜反射进入到收集装置503，504，505，506中，如图5B所示。
图6为根据本发明一个实施例的三维宽视场、高分辨层析成像显微镜的收集光路详细结构图。
样品置于物镜的焦点处，样品发射出的荧光信号经过物镜601收集后变为准直光束，准直光束再经过管透镜602后会聚到反射分束装置603上，上述装置的相对位置关系为：物镜601与管透镜602构成4f中继系统，反射分束装置603放置于物镜601和管透镜602组成的4f中继系统的像面上。光线经过反射分束装置603后分为四束，分别进入四个不同的收集装置中。本图以其中一束光线为例进行说明。光线被反射分束装置603反射后被收集透镜604及其收集透镜605收集，其中604与605的相对位置关系为：604与605为光学放大倍率为1的4f中继透镜组。经过由604、605组成的中继透镜组后，光束被相机606所收集。
需要说明的是，前述对三维宽视场和高分辨层析成像方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
根据本发明实施例提出的三维宽视场和高分辨层析成像装置，通过结构光和均匀光产生系统分别产生结构光和均匀光图案；光束整形和中继系统将产生的结构光和均匀光图案中继到样品上；快速轴向扫描系统对样品进行轴向扫描；信号收集系统依次收集结构光和均匀光激发下所对应的荧光信号，所收集到的荧光信号经过反射分束器后，不同子视场的荧光信号以不同的角度出射，并被对应的相机所收集；图像重建与数据处理系统对采集到的信号进行处理与显示，以实现宽视场、高分辨的三维层析成像。本发明实施例的三维宽视场和高分辨层析成像装置可以显著提高成像速度、扩大成像视场及简化装置节省成本，并可以用于生物动态过程的三维快速成像，具有广阔的生物医学应用前景。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种三维宽视场和高分辨层析成像方法，其特征在于，包括以下步骤：
S1，在数字微镜器件上分别加载结构图案和平面图案，利用光源照射加载图案后的所述数字微镜器件分别产生结构光和均匀光；
S2，利用管透镜、电调谐透镜和显微物镜分别将结构光和均匀光中继到样品上，并依次收集由结构光和均匀光所激发的结构光照明图像和均匀光照明图像；
S3，所述结构光照明图像和所述均匀光照明图像分别经过所述显微物镜、透镜后在反射分束器上形成中间像面，并通过所述反射分束器上的多块不同偏转角度的平面反射镜进行多视场反射，利用相机采集多个反射光路上的子视场图像；
S4，将多个子视场图像进行拼接的得到宽视场结构光照明图像和宽视场均匀光照明图像；
S5，利用结构光层析算法将拼接后的所述宽视场结构光照明图像和所述宽视场均匀光照明图像进行结合得到宽视场光学层析图像；
S6，通过所述电调谐透镜对所述样品进行轴向扫描成像，并将所得的不同轴向位置的所述宽视场光学层析图像进行数据重建，得到高分辨和宽视场的三维层析图像。
2.根据权利要求1所述的一种三维宽视场和高分辨层析成像方法，其特征在于，在步骤S1之前还包括：
对所述样品的参数进行设定，设定沿所述样品横向、纵向和轴向分别为x轴、y轴和z轴。
3.根据权利要求1所述的一种三维宽视场和高分辨层析成像方法，其特征在于，步骤S5进一步包括：
S51，对所述宽视场均匀光照明的图像
Figure FDA0002293937160000011
施加一个高通滤波器HP来获取焦平面内的高频信息
Figure FDA0002293937160000012
Figure FDA0002293937160000013
S52，提取所述宽视场结构光照明图像
Figure FDA0002293937160000014
的对比度：
Figure FDA0002293937160000015
其中，σ表示求取图像方差；
S53，通过对结构光对比度调制后的均匀图像施加一个低通滤波器LP来获取焦平面内的低频信息：
Figure FDA0002293937160000016
S54，通过对获取的高频信息和低频信息进行组合来获取宽视场光学层析图像：
Figure FDA0002293937160000021
其中，η为保证低频信息与高频信息强度连续的因子。
4.根据权利要求1所述的一种三维宽视场和高分辨层析成像方法，其特征在于，所述S3进一步包括：
激发出的所述结构光照明图像和所述均匀光照明图像经过所述显微物镜和收集透镜后成像到所述反射分束器上形成中间像面，所述反射分束器由多块不同偏转角度的平面反射镜构成，通过所述显微物镜收集到的宽视场图像被所述反射分束器分成不同的子视场，各个子视场以不同的角度反射到对应的收集光路中被对应的相机所采集。
5.一种三维宽视场和高分辨层析成像装置，其特征在于，包括：
结构光和均匀光产生系统，包括：光源(301)、激发光滤波片(302)、透镜(303)、透镜(304)、全内反射棱镜(305)和数字微镜器件(306)，用于产生结构光和均匀光；
光束整形和中继系统，包括：管透镜(307)、电调谐透镜(309)和显微物镜(310)，用于将所述结构光和均匀光产生系统所产生的结构光和均匀光中继到样品上；
快速轴向扫描系统，包括：所述电调谐透镜(309)，所述电调谐透镜(309)置于所述显微物镜(310)的后焦面处，用于通过所述电调谐透镜(309)对所述样品进行轴向扫描；
信号激发与收集系统，包括：所述显微物镜(310)、二向色镜(308)、发射光滤波片(312)、收集透镜(313)、反射分束器(314)、多个透镜、多个相机，用于激发所述样品产生结构光和均匀光对应的荧光信号，激发的荧光信号通过所述显微物镜(310)进行收集后经过二向色镜(308)、发射光滤波片(312)进行滤波，通过收集透镜后荧光信号在反射分束器(314)上形成中间像面，经过反射分束器(314)的反射分束后，不同子视场的光束以不同的角度出射，并被对应的相机所收集；
图像重建与数据处理系统，包括，计算机，用于对多个相机采集的信号进行显示与分析，实现宽视场、高分辨的三维层析成像。
6.根据权利要求5所述的一种三维宽视场和高分辨层析成像装置，其特征在于，在数字微镜器件(306)上分别加载结构图案和平面图案，并利用光源(301)照射加载图案后的数字微镜器件(306)产生结构光和均匀光。
7.根据权利要求5所述的一种三维宽视场和高分辨层析成像装置，其特征在于，在所述结构光和均匀光产生系统中，激发光滤波片(302)放置于光源(301)和透镜(303)之间，透镜(303)和透镜(304)构成4f系统，数字微镜器件(306)放置于4f系统的焦点处，全内反射棱镜(305)紧贴数字微镜器件(306)。
8.根据权利要求5所述的一种三维宽视场和高分辨层析成像装置，其特征在于，在所述光束整形和中继系统中，所述电调谐透镜(309)放置于所述显微物镜(310)的后焦面上，管透镜(307)与所述电调谐透镜(309)、所述显微物镜(310)构成4f系统，数字微镜器件(306)与样品面形成光学共轭。
9.根据权利要求5所述的一种三维宽视场和高分辨层析成像装置，其特征在于，在所述信号激发与收集系统中，二向色镜(308)置于所述电调谐透镜(309)与管透镜(307)之间，发射光滤波片(312)置于收集透镜(313)与二向色镜(308)的反射端之间，收集透镜(313)将荧光信号汇聚到反射分束器(314)上，反射分束器(314)将入射的大视场信号分为多个子视场信号，其中，子视场一经过透镜(315)和透镜(316)后被相机(317)所收集，其中，透镜(315)和透镜(316)构成4f系统，相机(317)与反射分束器件(314)形成光学共轭，子视场二经过透镜(318)、透镜(319)后被相机(320)所收集，其中，透镜(318)和透镜(319)构成4f系统，相机(320)与反射分束器(314)形成光学共轭。
10.根据权利要求5所述的一种三维宽视场和高分辨层析成像装置，其特征在于，所述图像重建与数据处理系统还用于控制所述电调谐透镜(309)、数字微镜器件(306)、相机(317)、相机(320)的同步。
CN201911192602.0A 2019-11-28 2019-11-28 三维宽视场和高分辨层析成像方法及装置 Pending CN110927945A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911192602.0A CN110927945A (zh) 2019-11-28 2019-11-28 三维宽视场和高分辨层析成像方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911192602.0A CN110927945A (zh) 2019-11-28 2019-11-28 三维宽视场和高分辨层析成像方法及装置

Publications (1)

Publication Number Publication Date
CN110927945A true CN110927945A (zh) 2020-03-27

Family

ID=69846933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911192602.0A Pending CN110927945A (zh) 2019-11-28 2019-11-28 三维宽视场和高分辨层析成像方法及装置

Country Status (1)

Country Link
CN (1) CN110927945A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111650739A (zh) * 2020-05-21 2020-09-11 中国科学院苏州生物医学工程技术研究所 基于dmd的单帧曝光快速三维荧光成像系统及方法
CN112075925A (zh) * 2020-09-21 2020-12-15 北京脑科学与类脑研究中心 基于散斑原理的荧光成像照明装置、成像系统及成像方法
CN112098337A (zh) * 2020-08-31 2020-12-18 清华大学深圳国际研究生院 一种高分辨率光谱图像快速获取装置及方法
CN112986195A (zh) * 2021-02-06 2021-06-18 清华大学 一种显微层析成像方法与装置
CN115014242A (zh) * 2022-05-26 2022-09-06 华中科技大学 基于并行多狭缝结构照明的微观表面形貌测量方法及装置
WO2022252838A1 (zh) * 2021-06-03 2022-12-08 西湖大学 对生物样品进行三维成像的方法及光片显微镜系统
WO2023045116A1 (zh) * 2021-09-26 2023-03-30 深圳先进技术研究院 图像构建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102057397A (zh) * 2008-06-05 2011-05-11 波士顿大学理事会 使用结构和均匀照明产生光学截面图像的系统和方法
CN103018173A (zh) * 2012-12-19 2013-04-03 中国科学院深圳先进技术研究院 结构光照明层析显微成像系统
US20140152796A1 (en) * 2012-11-21 2014-06-05 Samsung Electronics Co., Ltd. Auto focus control apparatus, semiconductor inspecting apparatus and microscope
CN107014793A (zh) * 2017-04-21 2017-08-04 浙江大学 一种基于双振镜双物镜多模式宽场超分辨显微成像系统
CN110308125A (zh) * 2019-07-11 2019-10-08 清华大学 三维显微层析计算摄像方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102057397A (zh) * 2008-06-05 2011-05-11 波士顿大学理事会 使用结构和均匀照明产生光学截面图像的系统和方法
US20140152796A1 (en) * 2012-11-21 2014-06-05 Samsung Electronics Co., Ltd. Auto focus control apparatus, semiconductor inspecting apparatus and microscope
CN103018173A (zh) * 2012-12-19 2013-04-03 中国科学院深圳先进技术研究院 结构光照明层析显微成像系统
CN107014793A (zh) * 2017-04-21 2017-08-04 浙江大学 一种基于双振镜双物镜多模式宽场超分辨显微成像系统
CN110308125A (zh) * 2019-07-11 2019-10-08 清华大学 三维显微层析计算摄像方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111650739A (zh) * 2020-05-21 2020-09-11 中国科学院苏州生物医学工程技术研究所 基于dmd的单帧曝光快速三维荧光成像系统及方法
CN112098337A (zh) * 2020-08-31 2020-12-18 清华大学深圳国际研究生院 一种高分辨率光谱图像快速获取装置及方法
CN112098337B (zh) * 2020-08-31 2023-10-10 清华大学深圳国际研究生院 一种高分辨率光谱图像快速获取装置及方法
CN112075925A (zh) * 2020-09-21 2020-12-15 北京脑科学与类脑研究中心 基于散斑原理的荧光成像照明装置、成像系统及成像方法
CN112986195A (zh) * 2021-02-06 2021-06-18 清华大学 一种显微层析成像方法与装置
WO2022252838A1 (zh) * 2021-06-03 2022-12-08 西湖大学 对生物样品进行三维成像的方法及光片显微镜系统
WO2023045116A1 (zh) * 2021-09-26 2023-03-30 深圳先进技术研究院 图像构建方法
CN115014242A (zh) * 2022-05-26 2022-09-06 华中科技大学 基于并行多狭缝结构照明的微观表面形貌测量方法及装置

Similar Documents

Publication Publication Date Title
CN110927945A (zh) 三维宽视场和高分辨层析成像方法及装置
US8019136B2 (en) Optical sectioning microscopy
USRE38307E1 (en) Method and apparatus for three-dimensional microscopy with enhanced resolution
CN102540446B (zh) 一种基于数字微镜器件的高速结构照明光学显微系统及方法
CN109407293A (zh) 基于双振镜双物镜的三维结构光照明超分辨显微成像装置和方法
JP2014508969A (ja) 蛍光顕微鏡検査法における照明位相制御のためのシステムおよび方法
CN109870441B (zh) 基于移频的三维超分辨光切片荧光显微成像方法和装置
CN105683803B (zh) 片照明显微镜的系统和方法
CN110109239B (zh) 一种同时多层成像的光片照明显微成像方法及系统
CN110836877A (zh) 一种基于液晶变焦透镜的光切片显微成像方法和装置
CN111175259A (zh) 具有结构化照明的三维显微术的加速的方法和设备
US11209636B2 (en) High-resolution scanning microscopy
CN116183568B (zh) 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置
CN111610150B (zh) 全场结构光相干编码断层成像装置及方法
US11947098B2 (en) Multi-focal light-sheet structured illumination fluorescence microscopy system
WO2013176549A1 (en) Optical apparatus for multiple points of view three-dimensional microscopy and method
US20060012855A1 (en) Arrangement for microscopic observation and/or detection in a light scanning microscope with line scanning and use
CN114965405A (zh) 超分辨单物镜光片显微成像光学系统及其成像系统
CN112986195B (zh) 一种显微层析成像方法与装置
CN212060720U (zh) 一种基于折射窗扫描仪的显微成像装置
US11333870B2 (en) Large-angle optical raster scanning system for deep tissue imaging
CA2210801C (en) Method and apparatus for three-dimensional microscopy with enhanced depth resolution
JP2024500089A (ja) 光子の再割り当てを行う共焦点顕微鏡
CN116990950B (zh) 基于光场调控的快速三维光片荧光显微成像装置及方法
CN115184317B (zh) 一种点扩散函数可编程的3d荧光成像方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200327

RJ01 Rejection of invention patent application after publication