CN113608342B - 一种扩展景深的光场显微成像系统及光学设备 - Google Patents

一种扩展景深的光场显微成像系统及光学设备 Download PDF

Info

Publication number
CN113608342B
CN113608342B CN202110919852.0A CN202110919852A CN113608342B CN 113608342 B CN113608342 B CN 113608342B CN 202110919852 A CN202110919852 A CN 202110919852A CN 113608342 B CN113608342 B CN 113608342B
Authority
CN
China
Prior art keywords
field
sample
light field
imaging system
water
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110919852.0A
Other languages
English (en)
Other versions
CN113608342A (zh
Inventor
季向阳
张亿
吴嘉敏
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110919852.0A priority Critical patent/CN113608342B/zh
Publication of CN113608342A publication Critical patent/CN113608342A/zh
Application granted granted Critical
Publication of CN113608342B publication Critical patent/CN113608342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/02—Objectives
    • G02B21/04—Objectives involving mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/33—Immersion oils, or microscope systems or objectives for use with immersion fluids
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/34—Microscope slides, e.g. mounting specimens on microscope slides
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oil, Petroleum & Natural Gas (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种扩展景深的光场显微成像系统，包括样本、物镜、微透镜阵列和相机，物镜和微透镜阵列之间设置反射镜和套筒透镜，微透镜阵列和相机之间设置4f系统，利用物镜与样本之间的介质与样本的折射率不匹配，在光路中引入球差，使得不同角度的光线聚焦在样本不同的深度；同时充分利用光场角度的冗余性，使用传统的解卷积算法，达到了扩展光场景深的技术效果，实现了大轴向范围、高分辨率的三维显微成像效果。本发明还公开了一种包含扩展景深的光场显微成像系统的光学设备。

Description

一种扩展景深的光场显微成像系统及光学设备
技术领域
本发明属于光场三维成像技术领域，尤其涉及一种扩展景深的光场显微成像系统及光学设备。
背景技术
光场成像是一种快速三维成像方法。相较于其它显微成像技术，光场成像具有高通量、高并行化、低光毒性的特点。由于光场系统在单曝光时间内采集到了样本的三维信息，光场成像非常适用于活体样本的长时三维观测。
光场系统通过在光路中加入一个微透镜阵列来同时采集样本荧光的空间和角度信息。因此，对于三维成像而言，光场采集到的大量角度信息是冗余的。相比于传统的宽场显微技术，光场系统的景深已经扩展了1-2个数量级，但是对于一些活体样本，当前光场的景深范围还不足够覆盖整个样本。
发明内容
针对上述现有技术中存在的光场的景深不足够大的技术问题，本发明的目的在于提供一种扩展景深的光场显微成像系统及光学设备。
为达到上述目的，本发明提出了一种扩展景深的光场显微成像系统，包括样本、物镜、微透镜阵列和相机，物镜和微透镜阵列之间设置反射镜和套筒透镜，微透镜阵列和相机之间设置4f系统，利用物镜与样本之间的介质与样本的折射率不匹配，在光路中引入球差，使得不同角度的光线聚焦在样本不同的深度。
本发明利用物镜与样本之间的介质与样本的折射率不匹配，在光路中引入较大的球差，使得不同角度的光线聚焦在样本不同的深度，同时利用光场角度的冗余性，使用传统的解卷积算法，获得两倍的景深扩展，实现大轴向范围、高分辨率的三维显微成像结果。
进一步地，物镜为空气镜时，球差的引入方式为：在空气镜和样本之间设置透明玻璃片或者将空气镜浸没在水或油溶液中；物镜为油镜或水镜时，球差的引入方式为：在使用时去掉水镜或油镜的成像介质。
本发明引入球差的方法不限于上述方法，能够改变物镜与样本之间介质的折射率的方法均可引入球差。
通过在空气镜和样本之间设置透明玻璃引入球差时，透明玻璃的厚度根据实际需要选择不同的厚度。
进一步地，将空气镜浸没在水或油溶液中的具体步骤为：将样本放置在培养皿中，将水或油溶液倒入培养皿至液面没过样本。
进一步地，去掉水镜或油镜的成像介质的操作方法为：在使用水镜或油镜时分别不添加水或油溶液。
进一步地，油溶液为香柏油或石蜡油。
进一步地，4f系统包括两个焦距为f的透镜，两个透镜之间的距离为2f，透镜的物距和相距均为f。
进一步地，微透镜阵列包括若干个透镜单元，用于采集样本荧光的空间和角度信息。
本发明还提供了一种包含扩展景深的光场显微成像系统的光学设备。
相对于现有技术，本发明的技术效果为：本发明涉及的扩展景深的光场显微成像系统通过改变物镜与样本之间介质的折射率，在光路中引入较大的球差，使得不同角度的光线聚焦在样本不同的深度；同时充分利用光场角度的冗余性，使用传统的解卷积算法，达到了扩展光场景深的技术效果，实现了大轴向范围、高分辨率的三维显微成像效果。相比传统光场显微成像，本方法可以将景深扩展2倍，实现毫米级景深。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明光场显微成像系统结构图；
图2为光场景深与宽场景深对比图；
图3为球差示意图；
图4为介质折射率对光路聚焦能力的示意图；
图5为本发明实施例扩展景深的重建结构示例对比图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的扩展景深的光场显微成像系统及光学设备。
如图1所示，该扩展景深的光场显微成像系统包括：包括样本、物镜、微透镜阵列和相机，物镜和微透镜阵列之间设置反射镜和套筒透镜，微透镜阵列和相机之间设置4f系统，在物镜的后焦面引入球差，使得不同角度的光线聚焦在不同深度。4f系统包括两个焦距为f的透镜，两个透镜之间的距离为2f，透镜的物距和相距均为f，微透镜阵列包括若干个透镜单元，用于采集样本荧光的空间和角度信息，透镜单元的直径为100μm。
与宽场成像相比，光场系统天然地扩展了系统的景深范围。以15×15的系统为例，由于系统加入了微透镜阵列来采集不同视角的信息，系统的孔径被分成了15×15份，每个视角得到的图像对应其中一个子孔径。对于同数值孔径(NA)的宽场系统，光场系统子孔径图像的NA大小为宽场的十五分之一。由于系统的景深范围与NA的倒数的平方成正比，因此相较于宽场，光场系统的景深已经扩展了1到2个数量级。光场景深扩展的示意如图2所示。其中Z1、Z2、Z3、Z4、Z5代表不同的深度位置。图2中第一横行为宽场显微镜在不同轴向位置的点扩散函数示意图，可以看到在Z1和Z5位置上，四个样本点的信号互相混叠，无法分开。图2中第二横行为宽场和不同视角下光场点扩散函数的yz投影示意图，可以看出到随着轴向位置的变化，宽场的点扩散函数快速扩散；在一个比较大的轴向范围上内，不同视角下的光场的点扩散函数仍能保持一定的分辨能力。相比宽场，光场的景深被扩展了1-2个数量级。在图2中，在景深范围外的光强是背景光。图2中第三横行和第四横行，分别对应第二横行中第一视角光场和第二视角光场光线，表示在不同子孔径(不同视角)下，光场的点扩散函数的扩散情况。以15×15的系统为例，每个微透镜阵列对应15×15个传感器像素，最终可以得到225个子孔径图像。以中心角度作为相位域的原点I(u0,v0)，则所有角度下的图像可以用I(ux,uy)来表示，其中x,y分别是范围在-7到7之内的整数。图2中第三横行和第四横行分别展示的是不同深度下的I(u7,v7)和I(u3,v3)。
对于同一个三维样本，在多视角光线聚焦在同一深度的情况下，光场的角度数据有冗余。以15×15的光场采集系统为例：在使用三维子孔径迭代重建方法的过程中，设定比较合适的迭代更新率和子孔径迭代顺序，在轴向分辨率要求不高的情况下，通常只需要十几个角度就能使重建算法收敛，而不需要使用225张子孔径图像。在冗余性的前提下，如果使不同角度的光线聚焦在不同深度，通过不同深度聚焦的子孔径图像重建得到的三维体，其最高分辨率的范围相较于原聚焦面有所偏移。假设相空间上以原点为圆心，同半径的圆上的子孔径图像聚焦在同一深度，即同半径圆上的子孔径图像重建得到的三维体，在一段特定的轴向范围内可以达到最高分辨率。按照需求设定不同的同心圆半径间隔，等间隔选取同心圆，例如选取间隔为1，则至少可以从15×15个角度中获取7个同心圆，重建得到7个聚焦在不同深度的三维体。也可以按照轴向分辨率的要求，非等间隔地选取同心圆，再进行重建。
为了达到上述高分辨率效果，本发明改变了物镜与样本间介质的折射率，进而在显微成像系统中引入了球差，球差的示意图如图3所示。物镜为空气镜时，球差的引入方式为在空气镜和样本之间设置透明玻璃片或者将空气镜浸没在水或油溶液中，将空气镜浸没在水或油溶液中的具体步骤为：将样本放置在培养皿中，将水或油溶液倒入培养皿至液面没过样本。物镜为油镜或水镜时，球差的引入方式为在使用时去掉水镜或油镜的成像介质，具体操作方法为在使用水镜或油镜时不添加水或油溶液，其中，油溶液为香柏油或石蜡油。引入球差的方法使通过物镜的不同角度的光线，聚焦在不同的深度。通过这种方法，光场采集得到的子孔径图像是样本不同深度真值的投影。如图4所示，如果物镜与样本之间的介质折射率匹配，则光线会沿着虚线传播，最终汇聚成一个焦点。而在折射率不匹配的情况下，不同入射角度的光线最终会聚焦在不同深度。
图5为一个实施例的成像结果对比图。采用10x/0.28NA的空气镜，使该空气镜浸没在水中，由于水的折射率为1.33，与空气的折射率不匹配，相当于改变了样本和物镜之间的折射率。在折射率匹配的情况下，10x/0.28NA，15×15子孔径的光场采集系统的景深范围在500μm以内，改变介质的折射率后，选择合适的角度进行重建，可以将景深范围扩展至1mm。图5为离焦500μm的成像结果。在系统中加入球差后，即有球差时。USAF分辨率板的第五组的线条仍能被准确分辨，而在无球差的情况下，第五组的内容几乎不可分辨。
另外，本发明还提供了一种包含扩展景深的光场显微成像系统的光学设备。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种扩展景深的光场显微成像系统，包括样本、物镜、微透镜阵列和相机，所述物镜和所述微透镜阵列之间设置反射镜和套筒透镜，所述微透镜阵列和所述相机之间设置4f系统，其特征在于，所述微透镜阵列包括若干个透镜单元，用于采集样本荧光的空间和角度信息；利用所述物镜与所述样本之间的介质与所述样本的折射率不匹配，在光路中引入球差，使得不同角度的光线聚焦在所述样本不同的深度。
2.如权利要求1所述的扩展景深的光场显微成像系统，其特征在于，所述物镜为空气镜时，所述球差的引入方式为：在所述空气镜和所述样本之间设置透明玻璃片或者将所述空气镜浸没在水或油溶液中；所述物镜为油镜或水镜时，所述球差的引入方式为：在使用时去掉所述水镜或油镜的成像介质。
3.如权利要求2所述的扩展景深的光场显微成像系统，其特征在于，所述将空气镜浸没在水或油溶液中的具体步骤为：将所述样本放置在培养皿中，将所述水或油溶液倒入所述培养皿至液面没过所述样本。
4.如权利要求3所述的扩展景深的光场显微成像系统，其特征在于，所述去掉所述水镜或油镜的成像介质的操作方法为：在使用所述水镜或油镜时分别不添加所述水或油溶液。
5.如权利要求4所述的扩展景深的光场显微成像系统，其特征在于，所述油溶液为香柏油或石蜡油。
6.如权利要求5所述的扩展景深的光场显微成像系统，其特征在于，所述4f系统包括两个焦距为f的透镜，两个所述透镜之间的距离为2f，所述透镜的物距和相距均为f。
7.一种光学设备，其特征在于，包括如权利要求1-6任一所述的扩展景深的光场显微成像系统。
CN202110919852.0A 2021-08-11 2021-08-11 一种扩展景深的光场显微成像系统及光学设备 Active CN113608342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110919852.0A CN113608342B (zh) 2021-08-11 2021-08-11 一种扩展景深的光场显微成像系统及光学设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110919852.0A CN113608342B (zh) 2021-08-11 2021-08-11 一种扩展景深的光场显微成像系统及光学设备

Publications (2)

Publication Number Publication Date
CN113608342A CN113608342A (zh) 2021-11-05
CN113608342B true CN113608342B (zh) 2022-07-29

Family

ID=78308246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110919852.0A Active CN113608342B (zh) 2021-08-11 2021-08-11 一种扩展景深的光场显微成像系统及光学设备

Country Status (1)

Country Link
CN (1) CN113608342B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117692743A (zh) * 2022-08-23 2024-03-12 长鑫存储技术有限公司 相机模组及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107091825A (zh) * 2017-03-31 2017-08-25 清华大学 基于微透镜阵列的荧光样本层析显微成像方法
CN108010062A (zh) * 2017-12-27 2018-05-08 清华大学 三维单分子追踪方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10051240B2 (en) * 2010-06-14 2018-08-14 Howard Hughes Medical Institute Structured plane illumination microscopy

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107091825A (zh) * 2017-03-31 2017-08-25 清华大学 基于微透镜阵列的荧光样本层析显微成像方法
CN108010062A (zh) * 2017-12-27 2018-05-08 清华大学 三维单分子追踪方法及装置

Also Published As

Publication number Publication date
CN113608342A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
Park et al. Review of bio-optical imaging systems with a high space-bandwidth product
Dong et al. Aperture-scanning Fourier ptychography for 3D refocusing and super-resolution macroscopic imaging
Lin et al. Camera array based light field microscopy
Zuo et al. Noninterferometric single-shot quantitative phase microscopy
CN103048272B (zh) 基于倏逝场照明的移频超分辨显微成像方法和装置
Hao et al. Single‐layer aberration‐compensated flat lens for robust wide‐angle imaging
Chan et al. Parallel Fourier ptychographic microscopy for high-throughput screening with 96 cameras (96 Eyes)
US10386620B2 (en) Methods and systems for super-resolution optical imaging using high-index of refraction microspheres and microcylinders
Bian et al. Ptychographic modulation engine: a low-cost DIY microscope add-on for coherent super-resolution imaging
CN113608342B (zh) 一种扩展景深的光场显微成像系统及光学设备
CN112005100A (zh) 用于荧光显微镜的光盘显微术
Whitehead et al. Fast extended depth of focus meta-optics for varifocal functionality
CN108918465A (zh) 光学三维成像系统及光学三维成像方法
Kakei et al. Transport-of-intensity phase imaging with polarization directed flat lenses
CN208580026U (zh) 光学三维成像系统
Fuseler et al. Types of confocal instruments: basic principles and advantages and disadvantages
Kam et al. Three‐dimensional microscopy in thick biological samples: A fresh approach for adjusting focus and correcting spherical aberration
Ma et al. Computational oblique illumination microscopy with isotropic high resolution
Pan et al. In situ correction of liquid meniscus in cell culture imaging system based on parallel Fourier ptychographic microscopy (96 Eyes)
Wang et al. Quantitative Phase Imaging with a Compact Meta-microscope
Serabyn et al. Demonstration of a dual-mode digital-holographic/light-field-fluorescence microscope for extant life searches
Sattin et al. 3D Printed Polymer Microlenses for Aberration Correction in Two-Photon Microscopic Imaging Using> 8 mm-Long GRIN Lenses
Lim et al. Development of micro-objective lens array for large field-of-view multi-optical probe confocal microscopy
Seo et al. Fourier ptychographic microscopy utilizing chromatic aberration for extended depth of field
US11762214B2 (en) Super-resolution microscopy methods and systems enhanced by arrays of superlenses with wide field-of-view

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant