CN102455501A - 具有连续片光源的spim显微镜 - Google Patents

具有连续片光源的spim显微镜 Download PDF

Info

Publication number
CN102455501A
CN102455501A CN2011103262407A CN201110326240A CN102455501A CN 102455501 A CN102455501 A CN 102455501A CN 2011103262407 A CN2011103262407 A CN 2011103262407A CN 201110326240 A CN201110326240 A CN 201110326240A CN 102455501 A CN102455501 A CN 102455501A
Authority
CN
China
Prior art keywords
spim
light
image
spim microscope
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103262407A
Other languages
English (en)
Other versions
CN102455501B (zh
Inventor
W·克内贝尔
W·奥斯特赖克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Microsystems CMS GmbH
Original Assignee
Leica Microsystems CMS GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=45390277&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN102455501(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Leica Microsystems CMS GmbH filed Critical Leica Microsystems CMS GmbH
Priority to CN201610124702.XA priority Critical patent/CN105911680B/zh
Publication of CN102455501A publication Critical patent/CN102455501A/zh
Application granted granted Critical
Publication of CN102455501B publication Critical patent/CN102455501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/10Condensers affording dark-field illumination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • G02B21/0084Details of detection or image processing, including general computer control time-scale detection, e.g. strobed, ultra-fast, heterodyne detection
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Studio Devices (AREA)

Abstract

描述了一种具有y方向照明光源和z方向检测光照相机的SPIM显微镜(选择性平面照射显微镜)。x扫描仪通过在x方向上扫描照明光束产生连续片光源。由于照明光学元件包括提供在照明光束的光束路径上的变焦光学元件,从而可以改变照明光束的焦距。

Description

具有连续片光源的SPIM显微镜
技术领域
本发明涉及包括光源和照相机的SPIM显微镜,所述光源从y方向发出照射光束到要成像的对象上,所述照相机以z方向作为第一检测方向检测从所述对象上发出的荧光和/或反射光,其中z方向基本沿与y方向垂直的方向延伸。
背景技术
特别对于生物样品的分析应是快速的且不应对其造成损伤。这对很多需要生成三维图像的应用很有用。应该避免因照射光与样品的相互作用而发生的散射伪像和吸收伪像,特别是在荧光显微镜的视场下时,其中照射光具有用于激发荧光的激发光功能。
所谓的SPIM(有选择性的平面照射显微镜)技术特别适合于以高分辨率实现快速分析显微样品,且对样品不造成损伤,其中照射光产生片光源(light sheet),同时照相机在相对于照射方向相垂直的方向上检测由光致发光和反射产生的检测光。
片光源为具有大体矩形的截面的照射体积,其在第一截面方向上(此处为z方向)非常薄,而相对于第一截面方向,第二截面方向上(此处为x方向)明显更厚。照射方向(此处为y方向)基本垂直于第一截面方向(此处为z方向)延伸,且基本沿与第二截面方向(此处为x方向)垂直的方向延伸。片光源由圆柱状透镜聚焦且该片光源的焦距或焦长可被理解为照射方向(此处为y方向)上的特定范围,其中片光源特别薄,使得被照射体积的形状为片状,即在z方向上非常薄而在x和y方向上更厚。
根据现有SPIM技术,利用圆柱状透镜产生的片光源的缺点在于,该系统很不灵活,例如其提供的是固定焦点,因此被照射体积也是预确定的。为了实现高分辨率,非常薄且长的焦距是有益的。可以在样品的一个方向上扫描该焦距以获得三维图像。由于长度增加也使宽度增加,z方向上的分辨率就降低了。这意味照射光学元件数值孔径较低时的长焦距也会使被照射体积的厚度较大。这意味着检测方向上沿光轴的光学分辨率也同样降低。
激发光和样品间的相互作用会产生散射伪影和吸收伪影,看起来像沿着照明光轴的光条纹或阴影,因此还被称为“幕帘效应”。
一种减少幕帘效应的现有方法是SPIM技术,根据该SPIM技术,并另外通过在远心布置中的谐振镜将片光源相对于光轴倾斜,使得来自各个方向照明光束入射到样品上,从而减少散射伪影和吸收伪影。简单来说,入射方向的改变给样品内的吸收区域提供了一些背景照明,使得图像中的光条纹或阴影减少。但该技术的缺点是比较复杂,特别是在片光源需要在z方向上被扫描以生成三维图像时。此外,其并没有解决因焦距是预确定的而带来的灵活性低的问题。
发明内容
本发明的目的是首先提高被描述显微镜的灵活性,同时实现高分辨率以及检测更多的图像信息。
根据本发明,上述目的通过第一x扫描仪和照明光学元件实现,所述第一x扫描仪通过在x方向上扫描照射光束产生连续片光源,其中x方向沿与y方向和z方向基本垂直的方向延伸,且片光源在由x方向和y方向所限定的平面内连续形成;所述照明光学元件包括提供在照明光束的光束路径上的变焦光学元件,该变焦光学元件可以改变照明光束的焦距。
根据本发明的优选实施例,提供光检测器检测由物体发出的位于与y方向相反方向上的检测光,该检测光的方向为第二检测方向,检测光为荧光和/或反射光。这样可以产生第二数据流,例如用于另外共焦地产生图像。可根据需要,开启或关闭该可选的另外的图像。
当使用多光子激光器时,可以选择共焦检测和非去扫描(non-descanning)光路以通过多光子检测产生图像。非去扫描检测路径的优点是,收集效率更高,尤其是在样品较厚的情况下。术语非去扫描应被理解为在检测物镜处直接从检测光中耦合出去。
如果用SPIM检测光束路径(z方向上)来收集荧光且该光被导向至光电倍增管、APD或APD阵列,那么比通过照明光学元件实现的收集荧光的效率要高得多,这是因为照明系统所使用的数值孔径一般比SPIM布置的检测系统的数值孔径小。
根据本发明另一个优选实施例,通过应用SPIM技术在z方向上检测到2维宽视场图像的同时,还可选择通过使用多光子照明,并行生成物体的共焦一维图像,该共焦一维图像为在x方向上延伸的一行。该情况下,二维图像成像的是由以上描述的片光源所照射的并由变焦光学元件控制的那个照射层,同时并行产生称为x-t的图像,即行图像,该行图像特别提供了在生物样品内的关于物体内特定单元的移动速度信息,例如分子或其他细胞部分(细胞器)的扩散。
优选地,为了产生三维图像,提供第一z扫描仪,其在z方向上移动物体,使得在z方向上生成多个彼此间隔的在各自照射面内的连续片光源,其中各个片光源与照相机间的距离保持不变。其优点是可选择地额外开启整个照射光学元件、SPIM检测光学元件以及共焦检测光学元件,并保持在同一位置,而且照明光束不必另外要由扫描仪在z方向上偏转,这也使照明光学元件得以简化。在可替代方案中,还可以移动照明光学元件或在z方向上偏转照明光束,例如通过声光偏转器(AOD)或通过检流计。在该情况下,优选使SPIM检测光学元件在后跟踪,这可以通过改变SPIM检测光学元件的物镜的位置来实现,或在可替代方案中,通过移动包括照相机的整个SPIM检测光学元件来实现。
根据本发明另一个优选实施例,提供图像处理单元,其将与在z方向上彼此间隔一定距离的多个片光源相关联的连续生成的图像合成为三维图像。
根据本发明另一个优选实施例,通过SPIM技术在z方向上生成3维宽视场图像的同时,并行生成物体的共焦2维图像,该共焦2维图像位于由x方向和z方向所限定的平面内。
根据本发明另一个优选实施例,提供第二z扫描仪和第三z扫描仪,所述第二z扫描仪相对于物体在z方向上移动照明光束用于在z方向上连续产生多个彼此间隔的片光源,所述第三z扫描仪根据第二z扫描仪在z方向上对照明光束的偏转跟踪检测光束路径,使得片光源和照相机间的距离保持不变。通过此方式产生的数据流优选由图像处理单元处理,所述图像处理单元通过各种可能的重现方法(投影、透过、阴影、光线跟踪等)将与在z方向上彼此间隔一定距离的多个片光源相关联的连续生成的图像合成为三维图像。优选地,除了通过重现产生三维图像外,在通过SPIM技术生成三维图像的同时,并行生成物体的共焦(多光子)二维图像,该共焦2维图像位于由x方向和z方向所限定的平面内。
如果需要成像物体的较大区域,可以通过所谓的“拼接”来实现,即把连续被成像的物体的相邻区域组合起来。为此,需要物体在x方向上移动且照明一个新的区域,由照相机检测图像。在x方向上移动的次数取决于物体尺寸、物镜视场的尺寸以及照相机的参数。还可以在y方向上移动物体用于检测物体的较大区域。可以把所有这些图像组合为一个大的总图像。
通过该灵活的光学变焦布置,可调节片光源的尺寸(在y方向和z方向上)。
如果期望仅照射一薄层,提高变焦光学元件的数值孔径,那么片光源的可用尺寸就会减低。
通过沿y方向上连续检测(拼接),可以检测到一系列沿z方向具有高分辨率的图像。
由于变焦光学元件的光学参数已知,通过选择合适的图像处理来仅使用那些可用对区域并对其组合,可以提供高分辨率。
根据本发明的优选实施例,允许改变照明光束焦距的变焦光学元件可以是光学变焦的,具有可彼此间机械移动的透镜组。通过使变焦光学元件与照明物镜组合并改变数值孔径,扩大或缩短照明光束的焦距,从而扩大或缩短由片光源在y方向上照射的视场的长度。
根据另一个优选实施例,提供适于改变x方向上的扫描长度的电子变焦元件。优选地,通过电子变焦元件使x方向上的图像像素数量保持不变,且该数量与x方向上已选定的扫描长度无关。如果x方向上的扫描长度缩短了,但在该缩短的扫描长度上被扫描像素的数量保持不变,那么如果共焦检测能符合奈奎斯特定理,就能提高分辨率。
如果同时生成共焦检测图像,还应注意此图像包括了在x方向上能符合奈奎斯特定理的较高分辨率,但x方向上的图像尺寸较小,这就是电子变焦元件的作用。
根据本发明的优选实施例,还提供电子变焦元件,通过该电子变焦元件可以改变z方向上的扫描长度,其中沿该z方向可连续生成多个彼此间隔的片光源。该情况下,电子变焦元件所起的作用与在x方向上基本相同。优选地,通过电子变焦元件使z方向上彼此间隔的片光源的数量保持不变,且该数量与z方向上已选定的扫描长度无关。
根据另一个优选实施例,在x方向上被扫描的照明光束在返回点处或其附近被关闭(turn off),在该返回点处在x方向上扫描长度达到最大。由于这样可以使返回点处的发送到样品上的光较少,从而避免对样品的损伤。另外,这还可以避免在返回点处图像显得特别亮,因为相比于样品的其他区域,返回点处的照明持续更长时间。理想情况下,x方向上的扫描速度遵循锯齿图形。如果扫描速度非常快(尽管这难以实现),使速度呈正弦图形(sinus graph),那么返回点处的扫描速度会比在扫描路径中时更低。特别对于正弦图形来说,在靠近返回点处关闭照明光束是很有用的。
根据本发明另一个优选实施例,照相机为从包括CMOS照相机CCD照相机或阵列检测器的组中选择的区域检测器。由于SPIM技术为宽视场显微技术,照相机应提供检测光的定位。
根据本发明另一个优选实施例,根据本发明的显微镜配置有适于在以下工作模式间切换的切换器:与y照明方向相反的检测光的共焦检测;z方向宽视场检测光的SPIM检测;以及前述共焦检测与SPIM检测的同时检测。
根据本发明另一个优选实施例,提供去活化光源,其从y方向发出至少一个去活化光束至物体上,使连续产生的片光源在z方向上更薄,其中发出的去活化光束在z方向上相对于照明光束有偏移且平行于x方向上被扫描的照明光束延伸。优选地,去活化光束的截面已调制成包括两个极值,从z方向上观察这两个极值位于激发光束中心的一前一后,其中激发光束中心在极值之间具有零点。然而,在可替代方案中,还可以发送两个独立激光束作为去活化光束,或使片光源的仅一侧变薄,即从z方向观察,仅在激发光束的前面或后面提供一个去活化光束。
根据本发明另一个优选实施例,提供适于把激发光束调制成贝塞尔光束的激发光束调制器。贝塞尔光束在光束截面上的强度分布不均匀,且包括相对尖的主要最大值和几个明显的旁瓣。特别在加入STED去活化光束时,可通过去活化压制旁瓣,使得只有较窄的主要最大值保持在去活化光束的中心。贝塞尔光束还具有以下优点,可以至少部分地改善相对不透明的部分,从而进一步减少幕帘效应。
根据本发明另一个优选实施例,照射光源为脉冲光源;照射光束为多光子激光束;且多光子信号在z方向上被检测。其特别的优点在于,SPIM检测光学元件具有更大的数值孔径,因此在检测多光子信号时提供了较高的检测信号强度。
根据另一个优选实施例,照相机为快速照相机,其不仅适于检测SPIM信号,还适于检测多光子信号。快速照相机例如可以达到每秒1000幅图像,格式为512x512。
根据本发明另一个优选实施例,提供可换向的镜,其可从z方向提取多光子信号且将其导向至光检测器。光检测器通常比照相机速度快,但不能提供定位,然而如果通过多光子照明光束实现定位的话,这完全不必要;特别是在多光子照明时,这更容易实现,因为这种类型的照明几乎可以及时准确地知道物体中哪部分特定体积在任何给定点处被照射了,从而检测到来自所有可能方向上的信号检测光。
附图说明
以下参照附图对本发明内容进行讨论。其中,
图1为根据现有SPIM技术的示意性基本原理透视图;
图2为根据现有SPIM技术的照射光束路径与检测光束路径的示意图;
图3是根据本发明的显微镜的示意图;
图4是根据本发明显微镜的从x扫描方向观察的示意图,包括激发光束,去活化光束和检测光束路径;
图5是图4所示的显微镜从y照射方向观察的示意图;
图6是根据现有技术描述的STED原理的示意图;
图7是描述由通过相移片调制STED去活化光束(deactivation beam)的示意图;
图8a示出了激发光束的截面以及在x、y和z坐标系中的相关强度分布;
图8b示出了相比较的激发光束与活化光束,以及通过在x方向上的扫描生成的连续片光源和在x、y和z坐标系中的相关强度分布;以及
图9为本发明另一实施例的示意图,其另外采用SPIM检测光学元件检测多光子信号。
具体实施方式
图1示出了根据现有技术的SPIM显微镜的简化后原理图,该显微镜的工作原理基于“有选择性的平面成像”技术。由片光源实现y方向上的照射,用于只照射物平面内的物体。检测方向基本垂直于片光源1(即在z方向上)延伸,其中对检测光的检测由物镜3实现。如图1所示,片光源1应该在其内部区域内特别薄,从而在z方向上获得高分辨率。当片光源1在物体中的聚焦较窄时,能实现高分辨率。
如下面将更详细解释,聚焦的长度是可控的使得被成像的视场更大,但这样会降低聚焦的清晰度,并降低片光源1的宽窄度,从而减低图片在z方向上的分辨率。根据特定场合的应用,也许有用的是基于更厚的片光源,降低z方向上的分辨率,但同时能看到更大的视场和更大的成像体积。如果生成的图像还能允许观察图像的关注区域,那么更大的成像体积也许是有用的,因为实现更大图像体积的优点在于,更容易确认被成像体积确实包含了所关注的区域。如果在形成被关注区域的图像时需要用更高的分辨率,可以借助变焦光学元件调节连续的片光源1的聚焦,使该聚焦更小但更清晰。
与共焦扫描显微技术相比,SPIM技术在对z方向上检测光进行检测时要求定位被检测光,因为SPIM技术是一种宽视场显微技术。该定位一般通过照相机来实现,例如CCD照相机或CMOS照相机。如果应该由SPIM技术生成物体的三维图像,可以在z方向上扫描片光源1,然后把在不同照射面内获得的图像组合成三维图像。该成像过程也称为“重现”,此时为z方向上的重现。
图2示意性示出了根据现有SPIM技术的照射光束路径。激光器4产生照射光束5,其穿过扩束器传输到准直透镜6内,接着由柱面透镜7聚焦成片光源1至物体上。物镜透镜收集检测光束并将其导入照相机9。通过移动透镜组中的元件可以调节片光源的焦距,在图2的这个极其简化的示例中,可以相对准直透镜6移动柱面透镜7来进行调节。
图3示出了根据本发明的SPIM显微镜的示意性结构,其中参考数字10表示照明光束路径,参考数字11表示SPIM-检测光束路径。照明光束路径10还包括提供共焦检测光束路径的功能,但是后者的延伸方向与照明方向相反。
首先描述一下照明光束路径;激光器4产生照明光,该照明光经扫描仪12传送至变焦光学元件13。扫描仪12产生连续片光源1用于照明物体2。为了连续产生片光源1,照明激光束在x方向上进行扫描,即分别沿图3所示的从外向里的方向或从里向外的方向扫描。激光束例如可以具有圆形横截面,但可替代地,也可以调节横截面的形状,例如为椭圆形横截面,其中椭圆形的长轴在x方向上延伸。类似地,照明光束路径例如可以为矩形或任一其他可选择的形状。
SPIM检测光束路径11沿z方向延伸,即与照明光束路径10的延伸方向(y方向)基本垂直。使照明光束路径与检测光束路径间的垂直关系稍有偏离是有益的,例如两个路径间的夹角可比90°稍小或稍大,这样可为物体中的颗粒或局部产生背景照明。还可以从不同角度检测图像,然后将它们合成,例如与公知的SPIM技术相同。为了保持描述上的简化,下面描述的关系为矩形的,但应理解的是其还包含了偏离角度,即比90°稍大或稍小。由物体2发出的检测光(反射或发射荧光)被物镜3收集。对于多色检测来说,尤其需要在物镜下游提供滤光片14,其能够滤过特定波长的检测光,然后该检测光经管状透镜15被导向至照相机16,例如CCD照相机16。
为了生成三维图像,载物台17可在z方向上被扫描用于连续照射物体2内不同的照射面,每个照射面由在x方向上扫描的扫描激光束扫描且由在各个照射面内连续形成的片光源1连续照射。在z方向上连续形成的多个相邻的片光源1可通过z方向上的“重现”被合成。
如果需要通过z向驱动的“重现”生成三维图像,那么移动物体2的好处是,物体内每个相邻的照射面与物镜间的距离保持相同,因为照射光束的位置和照相机16的位置均没有变化。可替代地,可以由例如检流计(galvanometer)在z方向上扫描片光源1。然而,这也需要移动物镜3,使每个照射面与物镜间的距离保持相同。可替代地,可以移动包括物镜3、滤光片14、管状透镜15以及照相机16的整个SPIM检测光学组件。
如已提到,照明检测光束路径10还可提供共焦检测光束路径的功能,为此,提供检测器18用于检测y方向上的从物体反射的检测光和/或检测发出的荧光。在用SPIM技术通过检测光束路径11进行图像检测的同时,还可以平行地进行共焦图像检测,因为片光源1由x方向上的扫描连续地生成。该共焦生成的图像比由SPIM检测所检测到的图像少一个维度。例如,如果由SPIM生成的是二维图像,即只在一个独立像平面内的图像,那么还可以检测到称为x-t的图像,即一维行图像。这例如可用来确定特定分子的扩散速率,该特定分子可以由标记物所标记或被染色用于发出荧光,然而同时成像的二维SPIM图像可以提供不同的信息,例如关于在被成像物体的像平面内哪些分子与其他分子相结合的信息。
这同样可应用到通过SPIM检测用z驱动生成三维图像的情况,即可以生成共焦二维图像。通过这种方式可以例如用来确定在三维图像中的物体内哪些分子与其他分子相结合,并可同时确定穿过特定平面扩散的分子的扩散速率。对于在检测“n”维SPIM图像时同时检测到的并行共焦生成的“n-1”维图像,可以结合其额外的确定信息,例如结合其额外的速度信息来确定哪些独立单元(例如分子或其他单元)在物体2内移动。因此,在显微镜领域中,这可应用到有生命的有机体内。
图4示出本发明另一个实施例。使用之前附图中相同的参考数字来表示类似的元件。该图中,仍用参考数字10表示照明光束路径,参考数字11表示SPIM-检测光束路径。在该图4的实施例中,照明光束路径10还具有检测光束路径的额外功能,其中共焦检测光21穿过孔20,通过光电二极管19接收并实现信号检测,然后信号经过图像处理单元22传送至监视器23内。检测光由分色镜24反射至光电二极管19。可以提供其他光学传感器来替代光电二极管19,例如雪崩二极管、光电倍增管或照相机。因为这些与共焦图像检测相关联,所以不需要定位,原因是关于定位的信息由被扫描的照明光束提供,即如果及时知道在特定点处物体的哪个成像点被照射,那么就获知了这样的信息,即从该特定成像点接收的信号来自于正好在接收信号之前被照射的成像点的信号。因此,共焦检测不需要照相机。
为了改变连续产生的片光源1的焦点,可以在y方向上相对另一透镜26移动变焦透镜25。实际应用时,可以为此提供一透镜组,但简化起见,所讨论的实施例仅具有一个独立的变焦透镜25。变焦光学元件13与照明物镜(显宏物镜)组合,从而提供光学变焦以调节焦距范围27的长度。为了简化,图4中省去了SPIM检测光学元件的细节,因为这些光学元件在图3中已示出,包括物镜3、滤色片14和管状透镜15。图中示意性示出的CCD照相机16给接收到的z方向上的检测光提供了x-y平面内的定位。由CCD照相机接收的信号经SPIM图像处理单元28处理且转至SPIM监视器29。如果需要照射物体2内的多个平面,可沿z方向移动载物台17。从图4可以清楚地理解,表示照射平面与CCD照相机间距离的长度L通常保持不变。如参照图3已说明,还可以在z方向上移动照射光束同时保持物体2的位置不变,从而替代移动CCD照相机,因为这更易于改变物镜3相对CCD照相机16的位置。
图5示出了从另一不同观察角度所观察到的图4的实施例,其中沿照明光束,也就是y方向观察。这里特别示意出单个成像点30,其在x方向上被扫描用以产生连续形成的片光源1。分色镜24朝光电二极管19的方向偏转检测光。可在z方向上扫描载物台17,即,可以朝着CCD照相机16移动,也可以远离于CCD照相机移动,用于照射物体内不同的照射面。
在更优选的实施例中,可通过使用STED去活化光束(受激发射损耗)进一步窄化片光源1,即,使片光源1变得更薄以在z方向上实现更高分辨率。本领域已知的STED显微镜的基本结构如图6所示。激发光束31和去活化光束32由光束组合器组合成(在该实施例中例如为分色滤光器)共同光束路径34,然后导向穿过物镜3到物体2上。在该光路中可以提供数个其他光学元件,例如透镜、光导纤维或滤色片。一般可调制去活化光束的强度分布,例如可通过相移片来调制,但还可以通过为此目的而具有特殊结构的透镜来实现。在调制时,使去活化光束的中间为零点,这意味着在该零点处强度为零或非常低,而在该零点周围提供均匀、圆形的强度极值。在荧光显微技术中用以在特定激发波长和去活化波长处进行反应的染料也可以被用来激发荧光或去活化荧光。一般激发波长和去活化波长彼此是有区别的,而且通常以时间延迟的方式将激发光束和去活化光束分别传送到对象上。通过激发,具有特定尺寸的成像点受激发射出荧光,与此同时立即在该激发中心周围施加去活化,使得由物体的该成像点发出的荧光变窄而形成小成像点,由此提高分辨率。对于彩色荧光显微技术,可以使用各种不同的染料,这些染料通过不同的激发波长相区分,即,用于发射荧光的特定强激发的各种波长的激发光。
优选地,可以选择染料进行组合,使得它们可以被共同且相同的去活化波长去活化,从而不必提供不同的去活化波长。
从物体返回的检测光35穿过物镜3,由分束器(此情况下为分光镜37)传送通过透镜和合适的孔径38至光检测器36上,所述孔径用于消除散射光。
图7示意了由相移片39调节去活化光束40。使用该相移片39可调节相位以及强度分布。为此,相移片被设计为调节去活化光束40,而不是激发光束41,即该调节取决于与激发光束41不同的去活化光束40的波长。
可以理解的是,还可以在图4所示的照明光束路径10中实施STED原理。除了把激光器4用于照明光外(在该情况下等于激发光),还可以提供其他激光器用于产生去活化光。激励光束和去活化光束可以如图6所示的组合成一个光路路径,也可以使去活化光束沿一个单独的光束路径传送。还可以仅使用一个单独激光器4(白色激光器)产生激发光束和去活化光束。为此,将光束分离,使一部分光束穿过声光元件(例如声光可调谐滤波器,AOTF),其中可以选择所期望的波长。通过使用脉冲激光器,可以凭所谓的延迟阶段实现激发光束与去活化光束间的时间延迟。
图8a和图8b示出了本发明的一个实施例。图8a示出了激发光束41的圆形截面。图8a和图8b还示出了图4和图5中所示的x、y、z方向。图右侧示出的是激发光束的强度分布轮廓,该轮廓基本符合高斯分布-除了由于衍射效应旁瓣部分相对较低。图8b示出了去活化光束40,其被调制成在激发光束41两侧具有最大强度,而在这两个最大强度之间有一零点,即强度为零或至少非常低。从图8b中可以看出,位于零点两侧的该去活化光束40的最大强度处,光束的截面非圆形,与远离激发中心的一侧相比,截面中面向激发中心这一侧的曲率较平坦。由于连续产生的片光源1(如图8b中所示的虚线区域),去活化光束只有在中心部分内的一小条区域内没有去活化荧光。在挨着激发光束41、去活化光束40和连续产生的片光源1的截面的右侧,也就是在图8b中,示意出激发光束41和去活化光束40的强度分布。
可以另外有选择性地开启或关闭STED-去活化光束,例如可以只在x方向上的某行或某个像素上实现。由于当去活化光束打开或关闭时,已获知该信息,可以将各自的数据流分开,即分成第一数据流和第二数据流,所述第一数据流基于较厚的片光源产生图像且覆盖较大的照明区域(相比于照明焦点的截面)和较大的照明体积,所述第二数据流基于较薄的片光源产生图像且覆盖较小的照明区域(与照明焦点的截面相关)和较小的照明体积,这就同时产生了因加入STED-光束而在z方向上形成的高分辨率图像,以及因没加入STED-光束而在z方向上形成的低分辨率图像,但带来的优点是物体内照射的体积更大。
除可加入或关闭STED-光束外,本发明的显微镜还可并行产生n维的SPIM显微镜图像和n-1维的共焦产生图像,然而通过另外开启或关闭STED-光束也可以在z方向上并行产生具有高分辨率或低分辨率的这些图像。总而言之,可以同时产生4个独立的数据流,用以产生以下数据集:
i)高分辨率的三维数据集(SPIM),但物体被成像部分的体积较小;
i)低分辨率的三维数据集(SPIM),但物体被成像部分的体积较大;
iii)z方向上高分辨率的二维共焦图像;以及
iv)z方向上低分辨率的二维共焦图像。
如果用片光源仅照射一个面,可以同时生成以下这些图像:
i)高分辨率的二维图像(SPIM),但物体被成像部分的体积较小;
i)低分辨率的二维图像(SPIM),但物体被成像部分的体积较大;
iii)z方向上高分辨率的x-t一维共焦图像;以及
iv)z方向上低分辨率的x-t一维共焦图像。
片光源在z方向上的维度不取决于x方向上的维度,即,可以选择不同的图像格式,例如x方向上的像素数量为512,但z方向上的像素数量可以更多或更少。为了实现z方向上的连续数据集,需要在z方向上实现进给运动,从而保证有部分重叠(Nyquist,奈奎斯特原理)。
图9示出了本发明的另一个实施例,其中与图3相同的零部件由相同的参考数字表示。另外,除了变焦光学元件13外,还提供了照明物镜42。该照明物镜还可以是光学变焦的一部分,例如根据图4所示实施例的示例。
与带有连续激光器(连续波CW)的照明系统相比,还可以使用脉冲激光器用于多光子荧光显微镜,从而传送长波长但能量相对较低的激发光子,这在避免对样品造成损伤(这对生物样品特别重要)时尤其适用。与检测SPIM-信号类似,多光子信号可由可换向的镜43从沿z方向延伸的检测光束路径44中提取,且通过光电倍增管或雪崩光电二极管45检测。除此之外,SPIM-信号可以由照相机16检测,如参考图3所描述。
如果照相机16工作速度足够快,作为图9所示的实施例的另一种变形,可以免去可换向的镜43,取而代之地用照相机16检测多光子信号。如果多光子照明与检测z方向上的信号(即垂直于照明方向)在一起,物体上的每个照明点在照相机16上成像为一行,并且通过在x方向上进行扫描,在x方向上延伸的物体的连续扫描行将在照相机16上连续照射成一区域,该区域需要用软件来缩小,以使数据缩小成一行。通过z方向上的连续扫描,物体的数行被检测并且被进一步处理成物体某一区域的图像。
简而言之,该SPIM信号检测结构的变形可用于具有快速照相机的多光子信号检测,该照相机的检测例如可以达到每秒1000张,每张格式为512x512。
用于多光子信号检测的SPIM信号检测结构的特殊有点是明显增强了信号强度,除其他原因外,主要有以下几点:为了产生片光源,使用数值孔径小的照明物镜,例如数值孔径在0.04NA范围内的物镜。如果现在用SPIM检测路径检测由多光子照射产生的信号,所得到的信号强度明显提高,因为所使用的物镜的数值孔径已经高得多(NA,例如1.0NA)。这意味着信号强度将增大超过20倍。
如果用SPIM检测光束路径(z方向上)来检测荧光且该光被传送至光电倍增管、APD或APD阵列,或根据以上所描述的变形,被直接传送至快速照相机,那么通过照明光学元件实现的在y方向上的信号检测效率要高得多,这是因为照明系统的数值孔径一般比SPIM布置的检测系统的数值孔径小。
采用多光子检测具有诸多优点。几乎只有在焦点处才能激发出荧光,因为激发需要有数个光子大约同时到达,而这只有在焦点处才能发生,或者换言之,在焦点以外激发的可能性非常低。另一个优点是当使用红外范围内的波长时(散射较少),穿透深度较大。还有一个有点是不需要针孔,因为所有发射光都被分配至照明焦点。这还便于从各个方向收集光束。相反,共焦显微镜需要阻挡降低信号强度的散射光和反射光。除具有使信号强度增大、降低照明强度进而避免损伤样品的这些优点外,该方案还提供了结构上的优点,即,已提供用于检测的SPIM显微镜光学元件还可以被用来进行多光子信号检测,因此在不用再投入结构成本而仅投入相对较低的软件成本的情况下,可以具有所有这些优点。
STED技术还可以用于多光子照射,从而使分辨率从多光子模式下的大约300nm提高到多光子加STED模式下的几个纳米。
从软件角度考虑,还可以把由照相机16检测的数据分成行和像素用以同时产生SPIM图像和多光子图像。可以在SPIM模式和多光子模式间切换,或者在可替代的实施例中,增加一种同时在SPIM模式和多光子模式下工作的切换选择。
综上所述,根据本发明的显微镜使用了共焦显微镜的一部分,即照明光学元件,用于产生基于SPIM技术的图像,其中照明光学元件还可以变成变焦光学元件,并且根据本发明,还可以生成比由SPIM技术生成的图像低一维的共焦图像,或者在可替代的实施例中,除了共焦图像,还可以生成多光子图像,也可以用来替代由SPIM技术生成的图像。这样不仅能更灵活地控制由SPIM技术生成的图像,还可由共焦或多光子检测获得额外的图像信息,并且根据具体应用,可以把SPIM和/或多光子图像的交叠组合成最终图像。通过增添或关闭STED光束,可以进一步控制光束,且可以产生能提供给各种图像的额外数据流,并且还具有同时产生的优点。由此,提供一种具有多方面应用的显微镜,该显微镜具有使调制图像与可大量分析的图像信息产生协同效应的可能性。

Claims (23)

1.一种SPIM显微镜,包括:
光源(4),其从y方向发送照射光束(5,41)至待成像的物体(2)上;和
照相机(16),其以z方向作为第一检测方向检测从所述物体上发出的荧光和/或反射光,其中z方向沿与y方向基本垂直的方向延伸,
其特征在于,
x扫描仪(12),其通过在x方向上扫描照射光束(5,41)产生连续片光源,其中x方向沿与y方向和z方向基本垂直的方向延伸,且片光源(1)在由x方向和y方向所限定的平面内连续形成;和
照明光学元件,包括提供在照明光束(5,41)的光束路径上的变焦光学元件,该变焦光学元件适于改变照明光束(5,41)的焦距。
2.根据权利要求1所述的SPIM显微镜,其特征在于,光检测器(19)检测由物体(2)发出的位于与y方向相反方向上的检测光,该检测光的方向为第二检测方向,检测光为荧光和/或反射光。
3.根据权利要求2所述的SPIM显微镜,其特征在于,通过SPIM技术在z方向上生成2维宽视场图像的同时,并行生成物体(2)的共焦1维图像,该共焦1维图像为在x方向上延伸的一行。
4.根据权利要求1至3之一所述的SPIM显微镜,其特征在于,第一z扫描仪在z方向上移动物体(2),使得在z方向上在各自照射面内产生多个彼此间隔的连续片光源(1),其中各个片光源(1)和照相机(16)间的距离(L)保持不变。
5.根据权利要求4所述的SPIM显微镜,其特征在于,图像处理单元(28)将与在z方向上彼此间隔一定距离的多个片光源(1)中的每个相关联的连续生成图像合成为三维图像。
6.根据权利要求2和5相结合的SPIM显微镜,其特征在于,通过SPIM技术生成3维图像的同时,并行生成物体(2)的共焦2维图像,该共焦2维图像位于由x方向和z方向所限定的平面内。
7.根据权利要求1或2所述的SPIM显微镜,其特征在于,第二z扫描仪,其相对于物体(2)在z方向上移动照明光束(5,41)用于在z-方向上连续产生多个彼此间隔的片光源(1),和
第三z扫描仪,其根据第二z扫描仪在z方向上对照明光束(5,41)的偏转跟踪检测光束路径(11),使得片光源(1)和照相机(16)间的距离保持不变。
8.根据权利要求7所述的SPIM显微镜,其特征在于,图像处理单元(28)将与在z方向上彼此间隔一定距离的多个片光源(1)相关联的连续生成的图像合成为三维图像。
9.根据权利要求2和8相结合的SPIM显微镜,其特征在于,通过SPIM技术生成3维图像的同时,并行生成物体(2)的共焦2维图像,该共焦2维图像位于由x方向和z方向所限定的平面内。
10.根据前述权利要求之一所述的SPIM显微镜,其特征在于,适于改变照明光束(5,41)焦距的变焦光学元件(13)为光学变焦的,具有彼此间能机械移动的透镜组。
11.根据权利要求10所述的SPIM显微镜,其特征在于,通过变焦光学元件(13),能够通过改变数值孔径来扩大或缩短照明光束(5,41)的焦距,且由此扩大或缩短在y照射方向上由片光源(1)照射的区域的长度。
12.根据前述权利要求之一所述的SPIM显微镜,其特征在于电子变焦元件,其适于改变x方向上的扫描长度。
13.根据权利要求12所述的SPIM显微镜,其特征在于,通过电子变焦元件使x方向上的图像像素数量保持不变,且该数量与x方向上已选定的扫描长度无关。
14.根据权利要求4至13之一所述的SPIM显微镜,其特征在于,通过电子变焦元件改变z方向上的扫描长度,且沿该z方向连续生成多个彼此间隔的片光源(1)。
15.根据权利要求14所述的SPIM显微镜,其特征在于,通过电子变焦元件使z方向上彼此间隔的片光源(1)的数量保持不变,且该数量与z方向上已选定的扫描长度无关。
16.根据前述权利要求之一所述的SPIM显微镜,其特征在于,将在x方向上被扫描的照明光束(5,14)在返回点处或其附近关闭,在该返回点处获得在x方向上的最大扫描长度。
17.根据前述权利要求之一所述的SPIM显微镜,其特征在于,照相机(16)为从包括CMOS照相机CCD照相机或阵列检测器的组中选择的区域检测器。
18.根据前述权利要求之一所述的SPIM显微镜,其特征在于,切换器适于在以下工作模式间切换:与y照明方向相反的检测光的共焦检测;z方向宽视场检测光的SPIM检测;以及前述共焦检测与SPIM检测的同时检测。
19.根据前述权利要求之一所述的SPIM显微镜,其特征在于,去活化光源从y方向发出去活化光束(40)至物体(2)上,使连续产生的片光源(1)在z方向上更薄,其中去活化光束(40)在z方向上相对于照明光束(41)有偏移地被发射且平行于照明光束在x方向上被扫描。
20.根据权利要求19所述的SPIM显微镜,其特征在于,激发光束调制器适于把激发光束调制成贝塞尔光束。
21.根据权利要求1所述的SPIM显微镜,其特征在于,
照明光源(4)为脉冲激光;
照明光束为多光子激光光束;以及
多光子信号在z方向上被检测。
22.根据权利要求21所述的SPIM显微镜,其特征在于,照相机(16)为快速照相机,其不仅适于检测SPIM信号,还适于检测多光子信号。
23.根据权利要求21所述的SPIM显微镜,其特征在于,可换向的镜(43)可从z方向提取多光子信号且将其导向至光检测器(45)。
CN201110326240.7A 2010-10-22 2011-10-24 具有连续片光源的spim显微镜 Active CN102455501B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610124702.XA CN105911680B (zh) 2010-10-22 2011-10-24 具有连续片光源的spim显微镜

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010060121.7 2010-10-22
DE102010060121.7A DE102010060121C5 (de) 2010-10-22 2010-10-22 SPIM-Mikroskop mit sequenziellem Lightsheet

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610124702.XA Division CN105911680B (zh) 2010-10-22 2011-10-24 具有连续片光源的spim显微镜

Publications (2)

Publication Number Publication Date
CN102455501A true CN102455501A (zh) 2012-05-16
CN102455501B CN102455501B (zh) 2017-04-12

Family

ID=45390277

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201110326023.8A Active CN102455500B (zh) 2010-10-22 2011-10-24 具有sted片光源的spim显微镜
CN201110326240.7A Active CN102455501B (zh) 2010-10-22 2011-10-24 具有连续片光源的spim显微镜
CN201610124702.XA Active CN105911680B (zh) 2010-10-22 2011-10-24 具有连续片光源的spim显微镜

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201110326023.8A Active CN102455500B (zh) 2010-10-22 2011-10-24 具有sted片光源的spim显微镜

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610124702.XA Active CN105911680B (zh) 2010-10-22 2011-10-24 具有连续片光源的spim显微镜

Country Status (5)

Country Link
US (5) US9057879B2 (zh)
EP (2) EP2444832B1 (zh)
JP (2) JP6035019B2 (zh)
CN (3) CN102455500B (zh)
DE (1) DE102010060121C5 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103837513A (zh) * 2014-02-20 2014-06-04 浙江大学 一种基于差分的光片照明显微方法和装置
CN104541193A (zh) * 2012-07-05 2015-04-22 新加坡国立大学 光学显微镜和及其控制方法
CN104871064A (zh) * 2012-12-20 2015-08-26 浜松光子学株式会社 光观察装置
CN105765438A (zh) * 2013-11-25 2016-07-13 欧洲分子生物学实验室 用于使样本成像的光学布置
CN106482663A (zh) * 2016-12-10 2017-03-08 巫献 基于共聚焦原理的手持式腔体内三维扫描枪
JP2017517761A (ja) * 2014-05-30 2017-06-29 ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー 大きなインタクトな組織試料を撮像するための方法及び装置
CN108398774A (zh) * 2018-01-18 2018-08-14 中国科学院广州生物医药与健康研究院 一种光片显微镜
CN109557652A (zh) * 2018-11-30 2019-04-02 南京智博医疗器械有限公司 一种共焦扫面显微镜光源调制方法
CN109804233A (zh) * 2016-10-11 2019-05-24 马尔文帕纳科公司 颗粒表征仪器
CN111386439A (zh) * 2017-09-18 2020-07-07 安盟生技股份有限公司 干涉成像设备及其应用
CN111771150A (zh) * 2018-02-28 2020-10-13 浜松光子学株式会社 光片显微镜以及试样观察方法

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010060121C5 (de) * 2010-10-22 2023-09-28 Leica Microsystems Cms Gmbh SPIM-Mikroskop mit sequenziellem Lightsheet
US9213175B2 (en) * 2011-10-28 2015-12-15 Craig B. Arnold Microscope with tunable acoustic gradient index of refraction lens enabling multiple focal plan imaging
DE102012200858A1 (de) * 2012-01-20 2013-07-25 Freie Universität Berlin Laserpulsformungsverfahren
DE102012013163B4 (de) * 2012-07-02 2022-08-25 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur Lichtscheibenmikroskopie
DE102012211943A1 (de) * 2012-07-09 2014-06-12 Carl Zeiss Microscopy Gmbh Mikroskop
US9404869B2 (en) 2012-10-09 2016-08-02 Howard Hughes Medical Institute Multiview light-sheet microscopy
DE102012020240A1 (de) * 2012-10-12 2014-04-17 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zur SPIM Mikroskopie
CN103019258A (zh) * 2012-11-28 2013-04-03 中国人民解放军装甲兵工程学院 一种基于光学相控阵与逆向光学的多目标跟踪指示技术
WO2014084007A1 (ja) * 2012-11-29 2014-06-05 シチズンホールディングス株式会社 光変調素子
DE102013100172A1 (de) * 2013-01-09 2014-07-10 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren zum räumlich hochaufgelösten Abbilden einer einen Luminophor aufweisenden Struktur einer Probe
JP5639670B2 (ja) 2013-02-01 2014-12-10 浜松ホトニクス株式会社 画像取得装置及び撮像装置
DE102013213781A1 (de) * 2013-03-20 2014-09-25 Leica Microsystems Cms Gmbh Verfahren und optische Anordnung zum Manipulieren und Abbilden einer mikroskopischen Probe
JP6086366B2 (ja) 2013-04-05 2017-03-01 国立研究開発法人理化学研究所 顕微鏡、焦準器具、流体保持器具、及び光学ユニット
JP6234072B2 (ja) * 2013-06-05 2017-11-22 オリンパス株式会社 非線形光学顕微鏡装置
DE102013107297A1 (de) * 2013-07-10 2015-01-15 Carl Zeiss Microscopy Gmbh Anordnung zur Lichtblattmikroskopie
US9581798B2 (en) 2013-07-22 2017-02-28 Fundacio Institut De Ciencies Fotoniques Light sheet-based imaging device with extended depth of field
US9720218B2 (en) * 2013-08-06 2017-08-01 Howard Hughes Medical Institute Volume imaging
DE102013019347A1 (de) * 2013-08-15 2015-02-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
DE102013019348A1 (de) * 2013-08-15 2015-02-19 Carl Zeiss Microscopy Gmbh Hochauflösende Scanning-Mikroskopie
FR3010194B1 (fr) * 2013-08-28 2017-10-27 Imagine Optic Systeme et methode de microscopie par eclairage par la tranche
US10539772B2 (en) 2013-10-09 2020-01-21 Howard Hughes Medical Institute Multiview light-sheet microscopy
DE102013226277A1 (de) * 2013-12-17 2015-06-18 Leica Microsystems Cms Gmbh Verfahren und Vorrichtung zum Untersuchen einer Probe mittels optischer Projektionstomografie
DE102013021222B4 (de) * 2013-12-17 2023-05-04 Carl Zeiss Microscopy Gmbh Mikroskop und Mikroskopieverfahren
DE112015001154T5 (de) * 2014-04-24 2016-12-08 Olympus Corporation Mikroskop und Mikroskopie-Verfahren
JP6439089B2 (ja) * 2014-05-15 2018-12-19 キヤノン株式会社 光学系およびそれを備えた内視鏡装置
DE102014107606A1 (de) * 2014-05-28 2015-12-03 Carl Zeiss Ag Funktionsintegriertes Laser-Scanning-Mikroskop
CN106999021B (zh) * 2014-06-05 2021-06-04 海德堡大学 用于多光谱成像的方法和部件
WO2015189240A1 (de) * 2014-06-11 2015-12-17 Hans-Ulrich Dodt Lichtblattmikroskopie mit meso-optischen elementen
WO2016010860A1 (en) * 2014-07-14 2016-01-21 Gary Brooker System and method for holographic imaging of a single plane of an object
US10052154B2 (en) 2014-10-01 2018-08-21 Verily Life Sciences Llc System and method for fluorescence-based laser ablation
US10139608B2 (en) 2014-10-02 2018-11-27 The Regents Of The University Of California Selective plane illumination microscopy (SPIM) systems and methods
US10181190B2 (en) 2014-11-04 2019-01-15 Olympus Corporation Microscope and microscope image acquisition method
JP6391427B2 (ja) * 2014-11-04 2018-09-19 オリンパス株式会社 顕微鏡および顕微鏡画像取得方法
CN107003508B (zh) * 2014-12-23 2020-07-10 通用电气医疗集团生物科学公司 选择性平面照明显微镜学仪器
WO2016125281A1 (ja) * 2015-02-05 2016-08-11 株式会社ニコン 構造化照明顕微鏡、観察方法、及び制御プログラム
DE102016104651A1 (de) 2015-03-24 2016-09-29 Abberior Instruments Gmbh Verfahren und Rasterfluoreszenzlichtmikroskop zum dreidimensional hochauflösenden Abbilden einer mit Fluorophoren markierten Struktur einer Probe
DE102015105018A1 (de) 2015-03-31 2016-10-06 Laser-Laboratorium Göttingen e.V. Verfahren und Rasterfluoreszenzlichtmikroskop zum mehrdimensional hochauflösenden Abbilden einer Struktur oder eines Wegs eines Partikels in einer Probe
US10989661B2 (en) * 2015-05-01 2021-04-27 The Board Of Regents Of The University Of Texas System Uniform and scalable light-sheets generated by extended focusing
US9602715B2 (en) * 2015-07-09 2017-03-21 Mitutoyo Corporation Adaptable operating frequency of a variable focal length lens in an adjustable magnification optical system
GB2561711B (en) * 2015-08-24 2021-10-20 Synaptive Medical Inc A medical imaging system for illuminating tissue samples using three-dimensional structured illumination microscopy
JP6491578B2 (ja) 2015-09-07 2019-03-27 オリンパス株式会社 シート照明顕微鏡システム、画像処理装置、シート照明顕微鏡法、及び、プログラム
WO2017046863A1 (ja) 2015-09-15 2017-03-23 オリンパス株式会社 顕微鏡および顕微鏡観察方法
CN105182523B (zh) * 2015-09-23 2017-11-07 北京大学 一种基于一阶贝塞尔光束的sted超分辨显微镜及调节方法
US10802262B2 (en) 2015-10-29 2020-10-13 The Board Of Trustees Of The Leland Stanford Junior University Methods and systems for imaging a biological sample
CN105467572B (zh) * 2016-01-18 2018-06-01 北京大学 单波长实现多光子脉冲sted-spim显微系统
US10509215B2 (en) * 2016-03-14 2019-12-17 Olympus Corporation Light-field microscope
LU93022B1 (de) * 2016-04-08 2017-11-08 Leica Microsystems Verfahren und Mikroskop zum Untersuchen einer Probe
US10876970B2 (en) 2016-04-12 2020-12-29 The Board Of Regents Of The University Of Texas System Light-sheet microscope with parallelized 3D image acquisition
JP2017203822A (ja) * 2016-05-09 2017-11-16 オリンパス株式会社 照明設定方法、シート照明顕微鏡装置、及びプログラム
JP2019520596A (ja) * 2016-06-21 2019-07-18 イラミーナ インコーポレーテッド 超解像顕微鏡法
JP2017227788A (ja) * 2016-06-23 2017-12-28 オリンパス株式会社 顕微鏡および顕微鏡画像取得方法
LU93117B1 (de) 2016-06-23 2018-01-24 Leica Microsystems Beleuchtungsvorrichtung für ein Mikroskop
WO2017223426A1 (en) 2016-06-24 2017-12-28 Howard Hughes Medical Institute Automated adjustment of light sheet geometry in a microscope
JP2018004777A (ja) * 2016-06-28 2018-01-11 オリンパス株式会社 光シート顕微鏡、及び、光シート顕微鏡の制御方法
LU93143B1 (de) 2016-07-06 2018-03-05 Leica Microsystems Verfahren zum Untersuchen einer Probe sowie Vorrichtung zum Ausführen eines solchen Verfahrens
JP7109423B2 (ja) * 2016-08-15 2022-07-29 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング ライトシート顕微鏡
DE102016011227C5 (de) 2016-09-19 2020-04-09 Leica Microsystems Cms Gmbh Mikroskopsystem und Verfahren zur Abbildung einer Probe unter Verwendung eines Mikroskopsystems
US10151962B2 (en) * 2016-09-29 2018-12-11 Mitutoyo Corporation Variable focal length lens system with focus monitoring and control
CN106568754A (zh) * 2016-11-06 2017-04-19 浙江大学 一种用于测量液体样本多光子荧光光谱的光学系统
US11506877B2 (en) 2016-11-10 2022-11-22 The Trustees Of Columbia University In The City Of New York Imaging instrument having objective axis and light sheet or light beam projector axis intersecting at less than 90 degrees
JP6797659B2 (ja) * 2016-12-14 2020-12-09 オリンパス株式会社 顕微鏡装置、プログラム、観察方法
JP2018132667A (ja) 2017-02-15 2018-08-23 オリンパス株式会社 顕微鏡装置、顕微鏡システム、及び、照明装置
JP2018169502A (ja) * 2017-03-30 2018-11-01 オリンパス株式会社 顕微鏡装置
CN108693151A (zh) * 2017-04-11 2018-10-23 中国科学技术大学 Storm/palm显微成像方法及装置
JP7397673B2 (ja) 2017-06-23 2023-12-13 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング 光シート顕微鏡機能ユニットを有する顕微鏡システム
CN109724951A (zh) * 2017-10-27 2019-05-07 黄晓淳 一种动态超分辨荧光成像技术
JP2019086529A (ja) * 2017-11-01 2019-06-06 株式会社ニコン 顕微鏡、照明装置、及び観察方法
CN108267445A (zh) * 2018-01-08 2018-07-10 上海理工大学 三维双光子光片显微及光谱多模式成像装置及方法
US11885946B2 (en) 2018-01-26 2024-01-30 University Of Washington Apparatuses and methods for multi-direction digital scanned light sheet microscopy
JP7336573B2 (ja) * 2018-02-28 2023-08-31 浜松ホトニクス株式会社 ライトシート顕微鏡及び試料観察方法
US10247910B1 (en) 2018-03-14 2019-04-02 Nanotronics Imaging, Inc. Systems, devices and methods for automatic microscopic focus
US10520650B2 (en) * 2018-06-05 2019-12-31 Mitutoyo Corporation External reservoir configuration for tunable acoustic gradient lens
US20210239955A1 (en) * 2018-06-08 2021-08-05 The Board Of Trustees Of The Leland Stanford Junior University Near infra-red light sheet microscopy through scattering tissues
DE102018210603A1 (de) * 2018-06-28 2020-01-02 Carl Zeiss Microscopy Gmbh Verfahren zum Erzeugen eines Übersichtsbilds unter Verwendung eines hochaperturigen Objektivs
CN109001898B (zh) * 2018-07-26 2020-07-10 华中科技大学 一种小型化的多角度三维超分辨光片荧光显微镜
CN108594414A (zh) * 2018-07-28 2018-09-28 深圳锋视科技有限公司 一种用于显微镜的远距离光源系统
CN109143562B (zh) * 2018-09-12 2020-12-15 苏州大学 一种基于变焦原理的可变光片照明系统
CN108957720B (zh) 2018-09-26 2019-12-10 中国科学院化学研究所 受激辐射损耗光学显微镜及其照明系统
JP7134839B2 (ja) * 2018-11-07 2022-09-12 株式会社エビデント 顕微鏡装置、制御方法、及び、プログラム
EP3751326A1 (en) * 2019-06-14 2020-12-16 Leica Microsystems CMS GmbH Method and microscope for imaging a sample
WO2021041807A1 (en) * 2019-08-30 2021-03-04 The Regents Of The University Of California Systems and methods for image cytometry
CN110687670B (zh) * 2019-10-16 2022-02-08 锘海生物科学仪器(上海)有限公司 平铺光片显微镜及其使用方法
CN111521608A (zh) * 2020-04-27 2020-08-11 中国科学院广州生物医药与健康研究院 一种超分辨率显微成像方法及显微镜
CN111678895B (zh) * 2020-05-30 2021-09-21 华南理工大学 一种近红外双光子、三光子多色光光学成像系统和方法
CN111579486B (zh) * 2020-06-04 2021-02-26 深圳大学 基于低功率受激发射损耗的超分辨成像方法及成像系统
JP2023541449A (ja) * 2020-09-14 2023-10-02 シンギュラー・ゲノミクス・システムズ・インコーポレイテッド 多次元撮像のための方法およびシステム
CN114755838B (zh) * 2022-04-01 2024-04-05 北京半导体专用设备研究所(中国电子科技集团公司第四十五研究所) 光学对准系统
CN117214054B (zh) * 2023-11-09 2024-03-01 中国人民解放军国防科技大学 一种新型视频探空仪

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1609590A (zh) * 2004-11-10 2005-04-27 哈尔滨工业大学 三差动共焦显微三维超分辨成像方法
US20060033987A1 (en) * 2002-12-09 2006-02-16 Stelzer Ernst H K Microscope with a viewing direction perpendicular to the illumination direction
CN101199241A (zh) * 2004-09-17 2008-06-11 加利福尼亚太平洋生命科学公司 分子分析的装置和方法
DE102008009216A1 (de) * 2008-02-13 2009-08-20 Carl Zeiss Microimaging Gmbh Vorrichtung und Verfahren zum räumlich hochauflösenden Abbilden einer Struktur einer Probe
US20090237765A1 (en) * 2007-03-29 2009-09-24 Carl Zeiss Microimaging Gmbh Optical arrangement for the production of a light-sheet
DE102008018476A1 (de) * 2008-04-11 2009-10-15 Carl Zeiss Microimaging Gmbh Mikroskopievorrichtung
US20100134881A1 (en) * 2007-04-18 2010-06-03 Helmut Lippert Objective replacement device for microscopes

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6395406A (ja) * 1986-10-11 1988-04-26 Nippon Sheet Glass Co Ltd 屈折率分布型光学素子
GB9014263D0 (en) * 1990-06-27 1990-08-15 Dixon Arthur E Apparatus and method for spatially- and spectrally- resolvedmeasurements
JP3343276B2 (ja) * 1993-04-15 2002-11-11 興和株式会社 レーザー走査型光学顕微鏡
JPH0815156A (ja) * 1993-06-03 1996-01-19 Hamamatsu Photonics Kk レーザスキャン光学系及びレーザスキャン光学装置
EP0627643B1 (en) * 1993-06-03 1999-05-06 Hamamatsu Photonics K.K. Laser scanning optical system using axicon
US5327928A (en) 1993-07-06 1994-07-12 Salem Engelhard Air seal valve
JPH0772522A (ja) * 1993-09-06 1995-03-17 Matsushita Electric Ind Co Ltd 光ad変換器及び光da変換器
EP0801759B1 (de) * 1994-02-01 2001-08-08 Stefan Dr. Hell Vorrichtung und verfahren zum optischen messen eines probenpunktes einer probe mit hoher ortsauflösung
JP4512219B2 (ja) * 1999-09-21 2010-07-28 オリンパス株式会社 光走査型顕微鏡
JP2002062261A (ja) * 2000-08-21 2002-02-28 Olympus Optical Co Ltd 光学装置および顕微鏡
JP2002174772A (ja) * 2000-09-20 2002-06-21 Olympus Optical Co Ltd 倒立型顕微鏡
US6771416B2 (en) * 2000-09-20 2004-08-03 Olympus Optical Co., Ltd. Inverted microscope
JP2002296508A (ja) * 2001-03-30 2002-10-09 Nikon Corp 顕微鏡システム
JP2003344774A (ja) * 2002-05-23 2003-12-03 Japan Science & Technology Corp 顕微鏡の光源光軸調整方法および装置
JP2004029344A (ja) * 2002-06-25 2004-01-29 Japan Science & Technology Corp 顕微鏡
JP4334835B2 (ja) * 2002-08-28 2009-09-30 独立行政法人科学技術振興機構 顕微鏡
DE10340965A1 (de) * 2003-09-05 2005-03-24 Leica Microsystems Heidelberg Gmbh Rastermikroskop
DE102004031048A1 (de) * 2004-06-25 2006-01-12 Leica Microsystems Cms Gmbh Mikroskop
DE102004034990A1 (de) * 2004-07-16 2006-02-02 Carl Zeiss Jena Gmbh Zoomoptik für ein Lichtrastermikroskop mit linienförmiger Abtastung und Verwendung
DE102004034970A1 (de) * 2004-07-16 2006-02-02 Carl Zeiss Jena Gmbh Lichtrastermikroskop und Verwendung
JP2006058477A (ja) * 2004-08-18 2006-03-02 Olympus Corp 超解像顕微鏡
JP2007114542A (ja) * 2005-10-21 2007-05-10 Olympus Corp 顕微鏡観察装置および顕微鏡観察方法
JP2008116526A (ja) * 2006-11-01 2008-05-22 Matsushita Electric Ind Co Ltd 顕微鏡画像の処理装置及び処理方法
US8194307B2 (en) * 2007-02-26 2012-06-05 Trustees Of Princeton University Tunable acoustic gradient index of refraction lens and system
DE102007020577B4 (de) * 2007-04-26 2021-09-09 Carl Zeiss Microscopy Gmbh Probenhalterung für ein Mikroskop und Verwendung eines Mikroskops mit einer solchen Probenhalterung
DE102007039111B4 (de) * 2007-08-18 2014-11-20 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. STED-Fluoreszenzmikroskopie mit Zweiphotonen-Anregung
DE102007045897A1 (de) 2007-09-26 2009-04-09 Carl Zeiss Microimaging Gmbh Verfahren zur mikroskopischen dreidimensionalen Abbildung einer Probe
DE102007047464B4 (de) * 2007-09-28 2023-03-02 Carl Zeiss Microscopy Gmbh Optische Anordnung zur Photomanipulation
DE102007047461A1 (de) * 2007-09-28 2009-04-02 Carl Zeiss Microimaging Gmbh Verfahren und optische Anordnung zur Untersuchung einer Probe
DE102007063274B8 (de) * 2007-12-20 2022-12-15 Albert-Ludwigs-Universität Freiburg Mikroskop
WO2009100911A1 (de) * 2008-02-12 2009-08-20 Hans-Ulrich Dodt Vorrichtung zum optischen abbilden einer probe
US8174692B2 (en) * 2008-05-21 2012-05-08 Max-Planck-Gesellschaft Zur Foerderung Der Wissenschaften E.V. High spatial resolution imaging of a structure of interest in a specimen
US8165838B2 (en) * 2008-06-02 2012-04-24 Lumenis Ltd. Laser system calibration
JP5208825B2 (ja) * 2008-09-12 2013-06-12 オリンパス株式会社 光学顕微鏡
JP5190886B2 (ja) * 2008-12-11 2013-04-24 株式会社ブイ・テクノロジー 蛍光顕微鏡
EP2359178B1 (de) * 2008-12-19 2014-04-23 Deutsches Krebsforschungszentrum Verfahren und vorrichtung zur dynamischen verlagerung eines lichtstrahls gegenüber einer den lichtstrahl fokussierenden optik
DE102009044984A1 (de) 2009-09-24 2011-03-31 Carl Zeiss Microimaging Gmbh Mikroskop
US8575570B2 (en) * 2010-08-25 2013-11-05 California Institute Of Technology Simultaneous orthogonal light sheet microscopy and computed optical tomography
DE102010060121C5 (de) * 2010-10-22 2023-09-28 Leica Microsystems Cms Gmbh SPIM-Mikroskop mit sequenziellem Lightsheet

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060033987A1 (en) * 2002-12-09 2006-02-16 Stelzer Ernst H K Microscope with a viewing direction perpendicular to the illumination direction
CN101199241A (zh) * 2004-09-17 2008-06-11 加利福尼亚太平洋生命科学公司 分子分析的装置和方法
CN1609590A (zh) * 2004-11-10 2005-04-27 哈尔滨工业大学 三差动共焦显微三维超分辨成像方法
US20090237765A1 (en) * 2007-03-29 2009-09-24 Carl Zeiss Microimaging Gmbh Optical arrangement for the production of a light-sheet
US20100134881A1 (en) * 2007-04-18 2010-06-03 Helmut Lippert Objective replacement device for microscopes
DE102008009216A1 (de) * 2008-02-13 2009-08-20 Carl Zeiss Microimaging Gmbh Vorrichtung und Verfahren zum räumlich hochauflösenden Abbilden einer Struktur einer Probe
DE102008018476A1 (de) * 2008-04-11 2009-10-15 Carl Zeiss Microimaging Gmbh Mikroskopievorrichtung

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104541193A (zh) * 2012-07-05 2015-04-22 新加坡国立大学 光学显微镜和及其控制方法
CN104871064B (zh) * 2012-12-20 2017-10-17 浜松光子学株式会社 光观察装置
CN104871064A (zh) * 2012-12-20 2015-08-26 浜松光子学株式会社 光观察装置
US9846267B2 (en) 2012-12-20 2017-12-19 Hamamatsu Photonics K.K. Optical observation device
CN105765438A (zh) * 2013-11-25 2016-07-13 欧洲分子生物学实验室 用于使样本成像的光学布置
US10983320B2 (en) 2013-11-25 2021-04-20 European Molecular Biology Laboratory Optical arrangement for imaging a sample
CN103837513A (zh) * 2014-02-20 2014-06-04 浙江大学 一种基于差分的光片照明显微方法和装置
CN103837513B (zh) * 2014-02-20 2016-05-11 浙江大学 一种基于差分的光片照明显微方法和装置
US10746981B2 (en) 2014-05-30 2020-08-18 The Board Of Trustees Of The Leland Stanford Junior University Methods and devices for imaging large intact tissue samples
JP2017517761A (ja) * 2014-05-30 2017-06-29 ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー 大きなインタクトな組織試料を撮像するための方法及び装置
CN109804233A (zh) * 2016-10-11 2019-05-24 马尔文帕纳科公司 颗粒表征仪器
CN106482663A (zh) * 2016-12-10 2017-03-08 巫献 基于共聚焦原理的手持式腔体内三维扫描枪
CN111386439A (zh) * 2017-09-18 2020-07-07 安盟生技股份有限公司 干涉成像设备及其应用
CN108398774A (zh) * 2018-01-18 2018-08-14 中国科学院广州生物医药与健康研究院 一种光片显微镜
CN111771150A (zh) * 2018-02-28 2020-10-13 浜松光子学株式会社 光片显微镜以及试样观察方法
CN111771150B (zh) * 2018-02-28 2022-12-02 浜松光子学株式会社 光片显微镜以及试样观察方法
US11966035B2 (en) 2018-02-28 2024-04-23 Hamamatsu Photonics K.K. Light sheet microscope and sample observation method
CN109557652A (zh) * 2018-11-30 2019-04-02 南京智博医疗器械有限公司 一种共焦扫面显微镜光源调制方法
CN109557652B (zh) * 2018-11-30 2024-04-05 南京博视医疗科技有限公司 一种共焦扫面显微镜光源调制方法

Also Published As

Publication number Publication date
JP6035018B2 (ja) 2016-11-30
US20230085581A1 (en) 2023-03-16
JP2012108491A (ja) 2012-06-07
US10288862B2 (en) 2019-05-14
DE102010060121C5 (de) 2023-09-28
US9116354B2 (en) 2015-08-25
US20120099190A1 (en) 2012-04-26
US11520132B2 (en) 2022-12-06
EP2444832A1 (de) 2012-04-25
EP2444832B1 (de) 2020-08-05
CN102455501B (zh) 2017-04-12
CN102455500B (zh) 2015-10-28
EP2444833A1 (de) 2012-04-25
US20120098949A1 (en) 2012-04-26
JP6035019B2 (ja) 2016-11-30
DE102010060121B4 (de) 2018-11-08
US20150338628A1 (en) 2015-11-26
CN105911680B (zh) 2018-09-21
US11762182B2 (en) 2023-09-19
JP2012093757A (ja) 2012-05-17
US9057879B2 (en) 2015-06-16
US20190243114A1 (en) 2019-08-08
DE102010060121A1 (de) 2012-04-26
CN105911680A (zh) 2016-08-31
CN102455500A (zh) 2012-05-16
EP2444833B1 (de) 2019-08-21

Similar Documents

Publication Publication Date Title
CN102455501A (zh) 具有连续片光源的spim显微镜
JP5642301B2 (ja) 走査型顕微鏡、および試料の光学検鏡画像形成のための方法
US8054542B2 (en) Scanning laser microscope
JP6145250B2 (ja) 走査顕微鏡および対象物を光学顕微鏡で結像させるための方法
JP6286449B2 (ja) 光学顕微鏡および顕微鏡観察方法
US20150177506A1 (en) Microscope device and microscope system
CN108956561A (zh) 基于扫描振镜的共聚焦与环形全内反射双模式显微镜系统
CN104541193A (zh) 光学显微镜和及其控制方法
JP2012507756A (ja) 組み合わせ顕微鏡検査法
CN105874317A (zh) 用于借助于光学投影断层扫描术研究样品的方法和设备
CN111273433A (zh) 一种高速大视场数字扫描光片显微成像系统
US20220043246A1 (en) Microscope and method for microscopic image recording with variable illumination
CN108593605B (zh) 三维高速宽视场层析成像方法及装置
CN107850766A (zh) 用于光学显微镜中的图像处理的系统和方法
CN102692702A (zh) 采用激光干涉场的共聚焦显微镜
KR100612219B1 (ko) 음향광학편향기와 선주사 카메라를 이용한 공초점 레이저선주사 현미경
KR200385702Y1 (ko) 음향광학편향기와 선주사 카메라를 이용한 공초점 레이저선주사 현미경
JPH09166750A (ja) 観察方法及び顕微鏡

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant