CN111142251B - 一种具有三维成像能力的显微镜和成像方法 - Google Patents

一种具有三维成像能力的显微镜和成像方法 Download PDF

Info

Publication number
CN111142251B
CN111142251B CN202010085676.0A CN202010085676A CN111142251B CN 111142251 B CN111142251 B CN 111142251B CN 202010085676 A CN202010085676 A CN 202010085676A CN 111142251 B CN111142251 B CN 111142251B
Authority
CN
China
Prior art keywords
excitation
imaging
microscope
sample
dimensional imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010085676.0A
Other languages
English (en)
Other versions
CN111142251A (zh
Inventor
祝清源
毕国强
王浩
刘北明
丁露锋
杨朝宇
杨倩如
毕达生
辛琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Baihui Tuozhi Technology Co ltd
Original Assignee
Hefei Baihui Tuozhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=62024169&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN111142251(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Hefei Baihui Tuozhi Technology Co ltd filed Critical Hefei Baihui Tuozhi Technology Co ltd
Priority to CN202010085676.0A priority Critical patent/CN111142251B/zh
Publication of CN111142251A publication Critical patent/CN111142251A/zh
Application granted granted Critical
Publication of CN111142251B publication Critical patent/CN111142251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0028Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders specially adapted for specific applications, e.g. for endoscopes, ophthalmoscopes, attachments to conventional microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/006Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/65Raman scattering
    • G01N2021/653Coherent methods [CARS]
    • G01N2021/655Stimulated Raman
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/636Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited using an arrangement of pump beam and probe beam; using the measurement of optical non-linear properties
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/65Raman scattering
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/114Two photon or multiphoton effect

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明公开了一种具有三维成像能力的显微镜及其显微方法,所述显微镜包括:至少一个激发装置,用于沿激发主轴方向在样品待测区域内产生可探测的衬度;至少一个探测装置,用于沿探测主轴方向探测样品待测区域内产生的衬度;至少一个移动机构,用于产生样品与所述激发装置和探测装置的相对运动;其中,所述相对运动的方向与所述激发主轴方向既不平行也不垂直;所述相对运动的方向与所述探测主轴方向既不平行也不垂直。本发明可以减少三维成像中的成像停顿,包括样品移动的同时不间断的成像,减少必须中断成像的视野转换,同时消除成像时样品运动引起的模糊,改善引起的像差。

Description

一种具有三维成像能力的显微镜和成像方法
本申请是申请号为201610951388.2,申请日为2016年10月26日,发明名称为“一种具有三维成像能力的显微镜和成像方法”的分案申请。
技术领域
本发明涉及成像显微镜和显微成像方法,特别是涉及一种以生物和医学为主要应用领域的高通量三维数字成像显微镜和高通量三维数字显微成像方法。
背景技术
三维数字成像是现代显微成像的重要内容之一。在不降低分辨率的前提下非破坏的成像更多样品是三维显微成像方法的重要追求。
一般的,三维数字成像以某种产生衬度响应(如荧光)的方法探测样品(激发),以某种方法记录这些衬度(光电转换并数字化),并以待测区域内每一个体单元的衬度数字化为体像素作为最终产出。以此,体像素的数目,即样品待测区域的体积除以体像素对应的体积(由要求的分辨率决定),和数字化的速度决定了三维数字成像速度的一个上限。然而现有技术的成像速度远未达到这一极限。以现有的主流成像设备400兆像素每秒的数字化(16bit)速度为例对0.5立方厘米的小鼠大脑成像,三维体像素对应1×1×1微米的单元(亚细胞分辨)的数字成像速度上限应为1250秒,大约21分钟;体像素对应5×5×5微米单元(胞体分辨)则仅需10秒。现有技术中,亚微米分辨率的鼠脑成像代表速度为3天(Gong,H.eta1.Nat.Commun.7∶12142,2016),胞体分辨的最新结果约为2小时(Li Ye,et a1.,Cell,165(7),16June 2016,)。以现有技术而言,激发和记录的速度不是瓶颈。造成这一差距的一个重要原因是现有技术无法在成像过程中避免成像中断,从而使有效成像时间缩短。
现有成像技术通常采用这样的方案:首先对与成像方向(即探测主轴方向,通常称之为z方向)垂直的一个平面成像——可以是逐点成像或者部分/整个视野同时成像,以扫描共聚焦(scanning confocal)或光切片(SPIM,有时也缩写为LSM)成像为例;在z方向上根据分辨率要求做相对运动,到达一个新的平面,这一过程约需10毫秒;对新平面成像;重复以上运动与成像,直到在z方向上覆盖样品,完成一个视野内的三维成像,然后在垂直于z的方向上移动到一个新视野,这一过程约需多达数百毫秒;重复以上运动与成像,直到在垂直于z的方向上也覆盖样品,完成样品的三维成像。以上过程中包含了大量的中断成像的过程,每次移动本身花费时间,并要进一步等待启动、停止引起的振动耗散,才能开始继续成像,从而产生长时间的成像中断。在样品体积较大,分辨率要求较高的情况下,上述中断成像的次数以三次方增大,严重影响成像的效率。部分技术以电调焦透镜等方案减少中断成像时间,但仅适用于z方向,且尺度有很大限制,对三维数字成像的通量仅有部分的改善。
图1A至图1G展示了现有技术实现三维成像通常采用的方案:首先如图1A所示对与成像方向(即探测主轴方向,通常称之为z方向)垂直的一个平面成像——可以是逐点成像或者部分/整个视野同时成像,以扫描共聚焦(scanning confocal)或光切片(SPIM,有时也缩写为LSM)成像为例;在z方向上根据分辨率要求做相对运动,到达一个新的成像位置如图1B;在成像位置成像如图1C所示;重复以上运动与成像,如图1D所示,直到在z方向上覆盖样品,完成一个视野内的三维成像;然后在垂直于z的方向上移动到一个新视野,如图1E所示;在视野三维成像如图1F所示;重复以上运动与成像,直到在垂直于z的方向上也覆盖样品,完成样品的三维成像如图1G所示。以上过程中包含了大量的中断成像的过程,每次移动本身花费时间,并要进一步等待启动和停顿所引起的振动消失,才能开始继续成像,从而产生长时间的成像中断。我们可以看到,上述中断成像是与移动关联的。在以多次局部成像组合成整体成像的三维成像技术中,一定形式的样品与探测的相对移动是很难避免的,但并不是所有相对运动都要求中断成像。传统三维成像所包含的相对运动可以分成两类:第一类运动:单视野内三维成像过程中不同面的成像,每次数据读取之间发生的较小的相对移动,通常数微米以下;第二类运动:视野转换过程中发生的较大的相对移动,通常百微米以上。
参考文献:
Gong,H.et al.High-throughput dual-colour precision imaging for brain-wide connectome with cytoarchitectonic landmarks at the cellularlevel.Nat.Commun.7:12142,doi:10.1038/ncomms12142(2016).
Li Ye,et al.Wiring and Molecular Features of Prefrontal EnsemblesRepresenting DiStinct Experiences,Cell,Volume 165,Issue 7,16June 2016,Pages1776-1788,ISSN 0092-8674,http://dx.doi.org/10.1016/j.cell.2016.05.010。
发明内容
(一)要解决的技术问题
本发明主要解决的技术问题是提供一种维数字成像显微镜和三维数字显微成像方法,能够改善有效成像时间从而实现高通量三维数字显微成像。
(二)技术方案
为解决上述技术问题,按照本发明的一个方面,提供一种具有三维成像能力的显微镜,包括:至少一个激发装置,用于沿激发主轴方向在样品待测区域内产生可探测的衬度;至少一个探测装置,用于沿探测主轴方向探测样品待测区域内产生的衬度;至少一个移动机构,用于产生样品与所述激发装置和探测装置的相对运动;其中,所述相对运动的方向与所述激发主轴方向既不平行也不垂直;所述相对运动的方向与所述探测主轴方向既不平行也不垂直;在三维成像中,成像时所述相对运动匀速、不停顿。对样品一个三维区域成像的整体过程中,成像与所述相对运动均具不停顿的特征,并且所述相对运动的方向与激发主轴方向和探测主轴方向既不平行也不垂直。这里,关于相对运动的方向的选择有助于减少必须中断成像的视野转换。
由于成像时的所述相对运动具有匀速、基本不停顿的特征,消除了速度变化或启动、停顿引起的不规则抖动。所可能仍然存在的运动引起的模糊简单且一致,可以简便的以去卷积等方法计算消除。
优选地,在所述探测装置的有效探测区域中,与成像的每一体像素对应的样品单元仅在不长于特定时间内被所述激发装置激发,在所述特定时间内由所述相对运动产生的位移不大于所述显微镜的分辨率要求。这样,所述相对运动产生的运动模糊可以忽略不计。
优选地,在所述样品所在环境填充透明物质,所述透明物质与当时所述样品的折射率近似相等。
优选地,所述激发装置以一个或数个发光二极管、连续激光器、脉冲激光器的组合激发光源。
优选地,所述可探测的衬度为荧光、弹性散射光、拉曼散射、SHG、THG、受激拉曼散射等信号的一种或组合。
优选地,所述激发装置使用以脉冲时间不长于所述特定时间的脉冲,以光片照明方式激发样品。
优选地,所述激发装置为脉冲激光器、脉冲工作的发光二极管,或者是以不同方法调制的连续光源的组合。
优选地,所述激发装置和所述探测装置同步工作。
优选地,所述激发装置包含一个或多个柱面镜、柱面透镜、变形镜、透射相位器件、反射相位器件,用以形成所述光片照明。
优选地,所述激发装置产生至少一个在探测区域内与所述探测装置的探测方向近似垂直的激发光束。
优选地,所述激发装置包含至少一个扫描机构,该扫描机构能够使所述激发光束扫描移动。
优选地,所述激发光束在探测区域内沿光束方向光束半径变化不超过3倍。
优选地,所述扫描机构包含一个或多个扫描振镜、共振扫描镜、旋转多面镜、声光调制器的组合。
优选地,所述探测装置是以矩阵感光器件作为成像器件,所述成像器件与所述扫描机构同步工作。
优选地,所述探测装置包含与所述扫描机构同步工作的去扫描机构,并以阵列或矩阵感光器件作为成像器件。
优选地,所述激发装置包含一个光束分割机构,用于将一个激发光束分割成多个激发光束。
优选地,所述光束分割机构可包含一个或多个透镜阵列、反射镜阵列、半透半反镜阵列的组合,或包含固定或可调的相位滤波器或数字微镜阵列。
优选地,所述激发装置和所述探测装置构成扫描共聚焦成像的结构。
本发明还提出一种三维显微成像的方法,包括:利用至少一个激发装置,沿激发主轴方向在样品待测区域内产生可探测的衬度;利用至少一个探测装置,沿探测主轴方向探测样品待测区域内产生的衬度,所述探测装置不排除与所述激发装置共用元件;其中,所述样品与所述激发装置、探测装置的相对运动的方向与所述激发主轴方向既不平行也不垂直;所述相对运动的方向与所述探测主轴方向既不平行也不垂直;在三维成像中,成像时所述相对运动匀速、不停顿。
本发明优选为利用去卷积等方法消除运动所致的模糊。
(三)有益效果
根据本发明提供的以上装置和方法,本发明的优点和有益效果包括:减少三维成像中的成像停顿,包括样品移动的同时不间断的成像,减少必须中断成像的视野转换,同时消除前述实现中成像时样品运动引起的模糊,改善前述实现中引起的像差。与现有技术相比,本发明提供的装置和方法可以在同等分辨率条件下,提高三维成像通量。
附图说明
图1A~图1G展示了现有技术实现三维成像通常采用的方案;
图2A~图2C展示了本发明的三维成像原理;
图3展示了一台三维成像显微镜的原理图,作为本发明的一个应用实例,附图中各部件的标记如下:1、激发装置;2、探测装置;3、样品台;4、激发光源;5、扫描振镜;6、第一接力透镜;7、第二接力透镜;8、第一反射镜;9、第二反射镜;10、第一物镜;11、样品内激发、探测区域;12、第二物镜;13、镜筒透镜;14、相机;
图4展示了图3所示系统采集的小鼠脑荧光成像实例,其中4A所示为一个数百微米厚脑片的成像结果三维重构的冠状切面图,4B所示为脑片小范围内神经元胞体和树突的细微结构,4C所示为某一成像面内捕获的神经元轴突等细胞精细结构;
图5展示了另一台三维成像显微镜的原理图,作为本发明的另一个应用实例,附图中各部件的标记如下:1、激发装置;2、探测装置;3、样品台;4、脉冲光源;5、柱面镜;10、第一物镜;11、样品内激发、探测区域;12、第二物镜;13、镜筒透镜;14、相机;
图6展示了又一台三维成像显微镜的原理图,作为本发明的又一个应用实例,附图中各部件的标记如下:1、激发装置;2、探测装置;3、样品台;4、激发光源;5、两维扫描机构;6、第一接力透镜;7、第二接力透镜;8、第一反射镜;9、第二反射镜;10、物镜;11、样品内激发、探测区域;12、镜筒透镜;13、相机;
图7是去卷积算法消除运动模糊以改善图像质量的说明,其中图7A为静止时拍摄的纳米荧光珠;图7B为1毫米每秒运动时10毫秒曝光的情形;图7C为以去卷积处理后的结果;
图8说明了本发明的显微镜与成像方法采用连续光源通过扫描方式抑制运动模糊的原理;
图9说明了本发明的显微镜与成像方法采用折射率匹配改善本发明的显微镜采集图像的质量。
具体实施方式
以下的发明内容中,我们将展示一种设备和方法,可以在上述第一种运动中不中断成像,并最大程度减少第二种运动的存在,从而增加有效成像时间,提高成像通量。
本发明的核心内容为减少不必要的成像中断,围绕这一内容采用一系列技术的组合,其基本内容包括样品移动的同时基本不间断的成像,减少必须中断成像的视野转换,消除前述实现中成像时样品运动引起的模糊,改善前述实现中引起的像差等。
为解决上述技术问题,按照本发明的一个方面,提供一种具有三维成像能力的显微镜,包括至少一个激发装置,用于沿激发主轴方向在样品待测区域内产生可探测的衬度。所述显微镜还包括至少一个探测装置,用于沿探测主轴方向探测样品待测区域内产生的衬度,所述探测装置不排除与所述激发装置共用元件;所述显微镜还包括至少一个移动机构,用于产生样品与所述激发装置和探测装置的相对运动。对样品一个三维区域成像的整体过程中,成像与所述相对运动均具不停顿的特征,并且所述相对运动的方向与激发主轴方向和探测主轴方向既不平行也不垂直。这里,关于相对运动的方向的选择有助于减少必须中断成像的视野转换。
由于成像时的所述相对运动具有匀速、基本不停顿的特征,消除了速度变化或启动、停顿引起的不规则抖动。所可能仍然存在的运动引起的模糊简单且一致,可以简便的以去卷积等方法计算消除。
进一步,本发明可以采用的一个技术方案是在所述探测装置的有效探测区域中,与成像的每一体像素对应的样品单元仅在不长于特定时间内被所述激发装置激发,在所述特定时间内由所述相对运动产生的位移不大于所述显微镜的分辨率要求。这样,所述相对运动产生的运动模糊可以忽略不计。
更进一步,本发明可以采用的一个技术方案是在成像时,在所述样品所在环境填充透明物质,所述透明物质与当时所述样品的折射率近似相等。
所述激发装置可使用一个或数个发光二极管、连续激光器、脉冲激光器的组合作为激发光源。所述可探测的衬度为荧光、弹性散射光、拉曼散射、SHG、THG、受激拉曼散射等信号的一种或组合。所述探测装置使用CCD、CMOS感光元件、光电二极管(PD)包括雪崩光电二极管(APD)、光电倍增管构成的点、阵列或矩阵器件中的一种或者组合作为感光器件。
所述激发装置可使用以脉冲时间不长于所述特定时间的脉冲,以光片照明方式激发样品,并且所述探测装置以矩阵感光器件如CCD、CMOS相机作为成像器件。
所述激发装置可包含一个或多个柱面镜、柱面透镜、变形镜、透射相位器件、反射相位器件,用以形成所述光片照明。
所述脉冲光源可包含一个或数个脉冲激光器、脉冲工作的发光二极管或者是以不同方法调制的连续光源的的组合。且所述脉冲光源可与所述成像器件同步工作。
本发明的一种实施方式是,所述激发装置产生至少一个与所述探测装置的探测方向近似垂直的激发光束;所述激发装置包含至少一个扫描机构,该扫描机构能够使所述激发光束扫描移动。
优选地,所述激发光束在探测区域内沿光束方向光束半径变化不超过3倍。
所述扫描机构的一种实施方式是包含一个或多个扫描振镜(galvanometerscanner)、共振扫描镜、旋转多面镜、声光调制器的组合。
另一种实施方式是,所述探测装置是以矩阵感光器件如CCD、CMOS相机作为成像器件,所述成像器件与所述扫描机构同步工作。所述探测装置可以包含与所述扫描机构同步工作的去扫描机构,并以阵列或矩阵感光器件如LED阵列、CCD、CMOS相机作为成像器件。
根据本发明,所述激发装置可包含一个光束分割机构,用于将一个激发光束分割成多个激发光束。所述光束分割机构可包含一个或多个透镜阵列、反射镜阵列、半透半反镜阵列的组合,或包含固定或可调的相位滤波器或数字微镜阵列(DMD)。
一种实施方式是,所述激发装置和所述探测装置构成扫描共聚焦成像的结构。
此外,本发明还提出提供一种三维显微成像的方法,包括:利用至少一个激发装置,沿激发主轴方向在样品待测区域内产生可探测的衬度;利用至少一个探测装置,沿探测主轴方向探测样品待测区域内产生的衬度,所述探测装置不排除与所述激发装置共用元件;利用至少一个移动机构,产生样品与所述激发装置和探测装置的相对运动。对样品一个三维区域成像的整体过程中,成像与所述相对运动均具有不停顿的特征,并且所述相对运动的方向与激发主轴方向和探测主轴方向既不平行也不垂直。
图2A~图2C展示了本发明的三维成像原理。如图2A~图2C所示,在成像的同时,样品与成像系统之间保持持续的匀速运动,运动方向与成像方向既不平行也不重合,图2A展示了运动方向与成像方向成45°夹角的例子;如图2B和图2C所示,本发明持续不间断的对大尺度样品的新位置成像,最终完成样品的三维成像。
下面参照附图来描述本发明的具体实施例。
作为本发明的一个应用实施例,图3展示了一台三维成像显微镜,针对300微米厚的样品,分辨率要求为1微米。成像所依赖的衬度以荧光为例。作为例子,荧光衬度由488微米激光激发GFP等荧光蛋白提供。激发装置1和探测装置2可以采用对称的复用的结构,即两侧均包含激发、探测功能。如取消阴影区域部分器件,则左侧简化为单纯的激发装置,右侧为探测装置。激发装置1和探测装置2光路主轴垂直,并与水平面(桌面、地面)成45°角。样品台3平行于水平面,用于承载样品并移动样品至成像位置,在成像时样品连续的水平运动。激发装置1和探测装置2的最前端为第一物镜10(Olympus UMPLFLN 20XW),数值孔径为0.5,工作距离3.5毫米。488微米激光作为激发光4经过强度调节、束径调节的望远镜或光阑(未展示)入射扫描振镜5,用以在第一物镜10后产生在与探测方向垂直的平面内扫描的线形激发光。第一接力透镜6和第二接力透镜7使扫描振镜5与第一物镜10后焦面共轭。第一反射镜8和第二反射镜9用于扭转扫描线,并节省空间;其中,在包含阴影区域器件的系统中,第二反射镜9需为长波通过的二色向镜(dichroic mirror)。激发装置1将激发光束聚集在样品内如11所示位置,以激发荧光。激发装置1的有效数值孔径为0.03-0.04,以保证聚集的激发光束腰半径在最细处附近约420微米的范围内变化不超过两倍。探测装置2对11所示位置成像,其核心元件为第二物镜12、镜筒透镜13(125毫米焦距)和相机14(HamamatsuFlash4.0sCMOS相机)。相机像素数2048×2048,像素尺寸6.5×6.5微米,全幅帧率100Hz即10毫秒每帧。扫描振镜5以单向10毫秒的锯齿波同步扫描。样品台3移动速度为100微米/秒即1微米/帧。运动引起的模糊小于1/200,可以忽略。样品以折射率1.45为目标进行匹配,可选匹配溶液包括HistoDenz。所述系统完成1×1厘米样品的1微米分辨率的三维成像需约16分钟,小鼠全脑荧光成像约5-6小时,显著优于现有技术。图4A~图4C展示了所述系统采集的小鼠脑荧光成像实例,其中4A所示为一个数百微米厚脑片的成像结果三维重构的冠状切面图,图4B所示为脑片小范围内神经元胞体和树突的细微结构,图4C所示为某一成像面内捕获的神经元轴突等细胞精细结构。
在另一个实施例中,如图5所示,采用与图3类似的结构但应用脉冲光源以光片的方式照明。其中,脉冲光源4以工作频率为30-100Hz的纳秒氮分子/染料激光为例,经过强度调节、束径调节的望远镜或光阑(未展示)形成矩形光束,入射柱面镜5。柱面镜焦距可选100毫米,柱面垂直于激发装置1和探测装置2光路主轴确定的平面。其余器件与图3所示系统相同。相机图像采集与脉冲光源同步进行。在工作频率为100Hz的情况下,系统三维成像能力与图5所示系统相同。
在又一个实施例中,如图6所示,采用多光子扫描成像的结构。激发装置1和探测装置2复用前端部分器件。激发装置1(和探测装置2)光路主轴与桌面(地面)的垂直方向成45°角。样品台3平行于桌面,承载样品并移动样品至成像位置,在成像时样品连续的水平运动。激发装置1和探测装置2的最前端为物镜10(Olympus UMPLFLN 20XW),数值孔径为0.5,工作距离3.5毫米。可以产生多光子激发的脉冲激发光4,通常是飞秒或皮秒激光,经过强度调节、束径调节的望远镜或光阑(未展示)入射两维扫描机构5,用以在物镜10后产生在与探测方向垂直的平面内扫描的点状激发。第一接力透镜6和第二接力透镜7使两维扫描机构5与物镜10后焦面共轭。第一反射镜8和第二反射镜9用于扭转扫描线,并节省空间;其中,第二反射镜9为长波通过的二色向镜(dichroic mirror)。激发装置1的有效数值孔径为0.5。激发装置1在样品内如11所示位置产生激发。探测装置2对11所示位置成像,其核心元件与图5所示系统类似。该系统可以应用于信噪比要求高于速度的情形。
在又一个实施例中,在与图3或图6所示系统类似的装置中,可以在激发光进入扫描机构之前插入一个一个光束分割机构,用于将一个激发光束分割成多个激发光束,同时激发成像位置11范围内不同子区域,从而加快总的扫描速度。
在又一个实施例中,与图6所示系统类似,如显微成像领域内的专家所熟知,其探测装置可以采用其它类型高速探测器,如光电二极管(PD)包括雪崩光电二极管(APD)、光电倍增管等。
在又一个实施例中,与图6所示系统类似,如显微成像领域内的专家所熟知,激发装置1和探测装置2复用的前端部分器件可以包括从物镜起上溯至扫描机构,而后在分离的探测部分中与样品共轭的位置加装共焦小孔,从而构成共聚焦扫描成像的结构。
在另外的一个实施例中,与前述各系统类似,如显微成像领域内的专家所熟知,激发装置使用的激发光源可以一个或数个发光二极管、连续激光器、脉冲激光器的组合;成像所依赖的衬度可为荧光、弹性散射光、拉曼散射、SHG、THG、受激拉曼散射等信号的一种或组合。
以上所述实施例中,只举例了探测方向均与相对运动方向成45°夹角的情形。在其它应用中,所述夹角可以根据要求灵活选择,主要是与所选择的物镜接触角相适应。例如,有更高分辨率要求的系统可以选择更大数值孔径的物镜,与之适应,所述夹角可以选择55°-65°。同样,相对运动的形式也不限定为直线。例如,圆周运动的可以作为另一种优选的形式。
由于成像时存在运动,采集的图像会有运动引起的模糊。由于这里的运动模式简单且同定,作为一种解决方案,本发明可采用常规的去除运动模糊的算法来有效的改善采集图像的质量。图7A为静止时拍摄的纳米荧光珠;图7B为以1毫米每秒的速度运动时进行10毫秒曝光的情形,从图中可看出有明显但一致的运动模糊;以去卷积处理可以有效恢复图像细节,结果显示在图7C。作为另一类解决方案,也可以采取限制激发时间的方法抑制运动模糊,其要点是保证样品中每一点在激发时间内的运动相对分辨率的要求可以忽略,简单的说,激发时间乘以运动速度显著小于最小分辨的尺度即可。如果分辨要求为1微米,运动速度为1毫米每秒,则要求激发时间小于1毫秒。脉宽适当的脉冲光源可以直接满足这一要求。连续光源也可以通过适当的开关调制用来照明,但更高效的,连续光源也可以通过扫描方式实现对点的短时间激发。如图8所示为例,显微镜视野,以成像相机为参考,宽度为2000像素。相应的,线形的激发光宽度约为10像素。当激发光在0.01秒内扫过整个视野时,每一像素实际被激发的时间仅约为0.01秒除以2000乘以10即50微秒。
另一方面,如果样品所在空间,包括激发光离开激发装置进入样品和信号光离开样品进入探测装置所经过的途径存在折射率的不同,较厚样品可能失去透明性,同时成像可能会存在较大的像差。为获得好的信噪比和分辨率,本发明建议在所述途径中进行透明化/折射率均一化处理。图9展示了处理前后的效果对比。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (20)

1.一种具有三维成像能力的显微镜,包括:至少一个激发装置,用于沿激发主轴方向在样品待测区域内产生可探测的衬度;至少一个探测装置,用于沿探测主轴方向探测样品待测区域内产生的衬度;至少一个移动机构,用于产生样品与所述激发装置和探测装置的相对运动;
其中,所述相对运动的方向与所述激发主轴方向既不平行也不垂直;所述相对运动的方向与所述探测主轴方向既不平行也不垂直;在三维成像中,成像时所述相对运动匀速、不停顿;
其中,在所述探测装置的有效探测区域中,与成像的每一体像素对应的样品单元仅在不长于预设时间内被所述激发装置激发,在所述预设时间内由所述相对运动产生的位移不大于所述显微镜的分辨率要求。
2.如权利要求1所述的具有三维成像能力的显微镜,其特征在于,在所述样品所在环境填充透明物质,所述透明物质与当时所述样品的折射率相等。
3.如权利要求1所述的具有三维成像能力的显微镜,其特征在于,所述激发装置以一个或数个发光二极管、连续激光器、脉冲激光器的组合激发光源。
4.如权利要求1所述的具有三维成像能力的显微镜,其特征在于,所述可探测的衬度为荧光、弹性散射光、拉曼散射、SHG、THG、受激拉曼散射信号的一种或组合。
5.如权利要求1所述的具有三维成像能力的显微镜,其特征在于,所述激发装置使用以脉冲时间不长于所述预设时间的脉冲,以光片照明方式激发样品。
6.如权利要求5所述的具有三维成像能力的显微镜,其特征在于,所述激发装置为脉冲激光器、脉冲工作的发光二极管,或者是以不同方法调制的连续光源的组合。
7.如权利要求5所述的具有三维成像能力的显微镜,其特征在于,所述激发装置和所述探测装置同步工作。
8.如权利要求5所述的具有三维成像能力的显微镜,其特征在于,所述激发装置包含一个或多个柱面镜、柱面透镜、变形镜、透射相位器件、反射相位器件,用以形成所述光片照明。
9.如权利要求1所述的具有三维成像能力的显微镜,其特征在于,所述激发装置产生至少一个在探测区域内与所述探测装置的探测方向垂直的激发光束。
10.如权利要求9所述的具有三维成像能力的显微镜,其特征在于,所述激发装置包含至少一个扫描机构,该扫描机构能够使所述激发光束扫描移动。
11.如权利要求10所述的具有三维成像能力的显微镜,其特征在于,所述激发装置为连续光源,所述连续光源产生的激发光束通过扫描的方式激发样品,其中,所述激发光束扫过整个视野的时间除以所述视野的宽度乘以所述激发光束的宽度所得小于所述预设时间。
12.如权利要求10所述的具有三维成像能力的显微镜,其特征在于,所述激发光束在探测区域内沿光束方向光束半径变化不超过3倍。
13.如权利要求10所述的具有三维成像能力的显微镜,其特征在于,所述扫描机构包含一个或多个扫描振镜、共振扫描镜、旋转多面镜、声光调制器的组合。
14.如权利要求10所述的具有三维成像能力的显微镜,其特征在于,所述探测装置是以矩阵感光器件作为成像器件,所述成像器件与所述扫描机构同步工作。
15.如权利要求10所述的具有三维成像能力的显微镜,其特征在于,所述探测装置包含与所述扫描机构同步工作的去扫描机构,并以阵列或矩阵感光器件作为成像器件。
16.如权利要求1所述的具有三维成像能力的显微镜,其特征在于,所述激发装置包含一个光束分割机构,用于将一个激发光束分割成多个激发光束。
17.如权利要求16所述的具有三维成像能力的显微镜,其特征在于,所述光束分割机构包含一个或多个透镜阵列、反射镜阵列、半透半反镜阵列的组合,或包含固定或可调的相位滤波器或数字微镜阵列。
18.如权利要求1所述的具有三维成像能力的显微镜,其特征在于,所述激发装置和所述探测装置构成扫描共聚焦成像的结构。
19.一种三维显微成像的方法,包括:
利用至少一个激发装置,沿激发主轴方向在样品待测区域内产生可探测的衬度;
利用至少一个探测装置,沿探测主轴方向探测样品待测区域内产生的衬度,所述探测装置不排除与所述激发装置共用元件;其中,
所述样品与所述激发装置、探测装置的相对运动的方向与所述激发主轴方向既不平行也不垂直;所述相对运动的方向与所述探测主轴方向既不平行也不垂直;在三维成像中,成像时所述相对运动匀速、不停顿;
其中,在所述探测装置的有效探测区域中,与成像的每一体像素对应的样品单元仅在不长于预设时间内被所述激发装置激发,在所述预设时间内由所述相对运动产生的位移不大于具有三维成像能力的显微镜的分辨率要求。
20.如权利要求19所述的三维显微成像的方法,其特征在于,还包括:利用去卷积方法消除所述相对运动所致的模糊。
CN202010085676.0A 2016-10-26 2016-10-26 一种具有三维成像能力的显微镜和成像方法 Active CN111142251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010085676.0A CN111142251B (zh) 2016-10-26 2016-10-26 一种具有三维成像能力的显微镜和成像方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610951388.2A CN107991766A (zh) 2016-10-26 2016-10-26 一种具有三维成像能力的显微镜和成像方法
CN202010085676.0A CN111142251B (zh) 2016-10-26 2016-10-26 一种具有三维成像能力的显微镜和成像方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201610951388.2A Division CN107991766A (zh) 2016-10-26 2016-10-26 一种具有三维成像能力的显微镜和成像方法

Publications (2)

Publication Number Publication Date
CN111142251A CN111142251A (zh) 2020-05-12
CN111142251B true CN111142251B (zh) 2022-03-25

Family

ID=62024169

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010085676.0A Active CN111142251B (zh) 2016-10-26 2016-10-26 一种具有三维成像能力的显微镜和成像方法
CN201610951388.2A Pending CN107991766A (zh) 2016-10-26 2016-10-26 一种具有三维成像能力的显微镜和成像方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610951388.2A Pending CN107991766A (zh) 2016-10-26 2016-10-26 一种具有三维成像能力的显微镜和成像方法

Country Status (5)

Country Link
US (1) US11194142B2 (zh)
EP (1) EP3534198A4 (zh)
JP (1) JP7032817B2 (zh)
CN (2) CN111142251B (zh)
WO (1) WO2018076463A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018207821A1 (de) * 2018-05-18 2019-11-21 Carl Zeiss Microscopy Gmbh Verfahren zur Bereitstellung eines Übersichtsbildes
CN109758114A (zh) * 2019-01-21 2019-05-17 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 用于角膜神经成像的光片显微镜
CN110208241B (zh) * 2019-05-11 2021-10-26 复旦大学 基于受激拉曼散射的大气单颗粒物快速三维化学成像方法
EP4137864A4 (en) * 2020-06-01 2024-06-05 Hamamatsu Photonics K.K. DEVICE AND METHOD FOR SAMPLE OBSERVATION
CN115248197A (zh) * 2021-12-10 2022-10-28 中国科学院深圳先进技术研究院 一种三维成像装置和成像方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0356917A (ja) * 1989-07-26 1991-03-12 Auto Process:Kk 観察顕微鏡装置
DE19629725C2 (de) * 1996-07-23 1998-09-17 Europ Lab Molekularbiolog Doppelobjektiv-System für ein Mikroskop, insbesondere Rastermikroskop
JP3509088B2 (ja) * 1997-02-25 2004-03-22 株式会社高岳製作所 3次元形状計測用光学装置
JP3816632B2 (ja) * 1997-05-14 2006-08-30 オリンパス株式会社 走査型顕微鏡
CN1209653C (zh) * 2000-04-26 2005-07-06 西安交通大学 光纤面板共焦显微镜测量三维面形的方法和装置
JP2005084643A (ja) * 2003-09-11 2005-03-31 Olympus Corp レーザ走査型顕微鏡システム
JP4985062B2 (ja) 2006-04-14 2012-07-25 株式会社ニコン カメラ
WO2008137746A1 (en) * 2007-05-04 2008-11-13 Aperio Technologies, Inc. Rapid microscope scanner for volume image acquisition
JP5311195B2 (ja) * 2008-09-16 2013-10-09 横河電機株式会社 顕微鏡装置
US10908403B2 (en) 2011-02-14 2021-02-02 European Molecular Biology Laboratory (Embl) Light-pad microscope for high-resolution 3D fluorescence imaging and 2D fluctuation spectroscopy
JP2012237693A (ja) 2011-05-13 2012-12-06 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
CN102427502B (zh) * 2011-10-01 2014-05-07 麦克奥迪实业集团有限公司 一种显微切片的扫描方法及扫描装置
JP5955574B2 (ja) * 2012-02-03 2016-07-20 株式会社東光高岳 立体形状計測装置
CA2865922A1 (en) * 2012-03-02 2013-09-06 Huron Technologies International Inc. Scanner with increased dynamic range
WO2013150273A1 (en) * 2012-04-03 2013-10-10 University Court Of The University Of St Andrews High resolution imaging of extended volumes
CN103048300A (zh) * 2012-12-17 2013-04-17 江苏大学 一种激光扫描共聚焦显微镜
JP6037889B2 (ja) 2013-02-25 2016-12-07 オリンパス株式会社 走査型観察装置
CN103411957B (zh) * 2013-08-22 2015-08-12 北京理工大学 高空间分辨双轴共焦图谱显微成像方法与装置
JP6379810B2 (ja) * 2013-09-09 2018-08-29 株式会社ニコン 観察装置
CN103744172B (zh) * 2013-12-26 2016-06-22 麦克奥迪实业集团有限公司 一种具备空间光调制照明的共聚焦显微成像方法
EP3095001B1 (en) 2014-01-17 2023-04-26 The Trustees of Columbia University in the City of New York Systems and methods for three-dimensional imaging
US10247672B2 (en) * 2014-09-29 2019-04-02 Howard Hughes Medical Institute Non-linear structured illumination microscopy
US10139608B2 (en) * 2014-10-02 2018-11-27 The Regents Of The University Of California Selective plane illumination microscopy (SPIM) systems and methods
CN104570315B (zh) * 2014-12-30 2017-06-27 中国科学院西安光学精密机械研究所 一种基于结构照明的彩色三维层析显微成像系统及方法
JP5901814B1 (ja) * 2015-03-25 2016-04-13 日本分光株式会社 顕微分光装置
JP6134348B2 (ja) * 2015-03-31 2017-05-24 シスメックス株式会社 細胞撮像装置及び細胞撮像方法
CN105044898A (zh) * 2015-09-21 2015-11-11 哈尔滨工业大学 单点去卷积显微系统与成像方法
DE102016204653B4 (de) * 2016-03-21 2022-12-22 Carl Zeiss Microscopy Gmbh Die Erfindung betrifft ein Lichtblattmikroskop sowie ein Verfahren zum Betreiben eines Lichtblattmikroskops

Also Published As

Publication number Publication date
CN107991766A (zh) 2018-05-04
EP3534198A1 (en) 2019-09-04
US20190250385A1 (en) 2019-08-15
WO2018076463A1 (zh) 2018-05-03
JP7032817B2 (ja) 2022-03-09
US11194142B2 (en) 2021-12-07
EP3534198A4 (en) 2020-07-01
CN111142251A (zh) 2020-05-12
JP2019537748A (ja) 2019-12-26

Similar Documents

Publication Publication Date Title
CN111142251B (zh) 一种具有三维成像能力的显微镜和成像方法
US6088097A (en) Point-scanning luminescent microscope
US9383568B2 (en) Objective-coupled selective plane illumination microscopy
CN108061964B (zh) 一种可用于大样品的高速三维显微成像装置和方法
US11530990B2 (en) Light-sheet microscope with parallelized 3D image acquisition
US20050211872A1 (en) Optical-scanning examination apparatus
JP2007538289A (ja) 共焦点励起平面を有した広視野多光子顕微鏡のための方法およびシステム
US11215804B2 (en) Microscope and method for imaging a sample
CN111273433A (zh) 一种高速大视场数字扫描光片显微成像系统
JP6171970B2 (ja) レーザ走査型顕微鏡装置および制御方法
US9229207B2 (en) Laser scanning microscope with focus-detecting unit
CN110967817A (zh) 基于双微透镜阵列的图像扫描显微成像方法与装置
WO2023103960A1 (zh) 一种三维成像装置和成像方法
Qu et al. Recent progress in multifocal multiphoton microscopy
CN111879740A (zh) 基于光子复位技术的全光学超分辨显微装置
CN109211855A (zh) 多光束多光子显微成像装置
US11835701B2 (en) Method for examining a sample, and device for carrying out such a method
CN110664369B (zh) 一种自适应共焦线扫描谐波显微成像方法及装置
TWI714378B (zh) 一種用於高速深組織成像的大角度光域掃描系統
Jin et al. Simultaneous Axial Multiline Scanning Imaging by Remote Focusing
US20230168484A1 (en) Method and system for multi-view episcopic selective plane illumination microscope
JP6380622B2 (ja) 制御装置および制御方法
CN115685515A (zh) 一种单物镜光片的共轴成像系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210220

Address after: 230000 room 330, building E1, phase II, innovation industrial park, 2800 innovation Avenue, high tech Zone, Hefei City, Anhui Province

Applicant after: Hefei Baihui Tuozhi Technology Co.,Ltd.

Address before: 230026 Jinzhai Road, Baohe District, Hefei, Anhui Province, No. 96

Applicant before: University of Science and Technology of China

GR01 Patent grant
GR01 Patent grant