CN109407295A - 一种基于dmd可多色激发的结构光显微系统及多色激发方法 - Google Patents

一种基于dmd可多色激发的结构光显微系统及多色激发方法 Download PDF

Info

Publication number
CN109407295A
CN109407295A CN201811546262.2A CN201811546262A CN109407295A CN 109407295 A CN109407295 A CN 109407295A CN 201811546262 A CN201811546262 A CN 201811546262A CN 109407295 A CN109407295 A CN 109407295A
Authority
CN
China
Prior art keywords
light
wavelength
polychrome
dmd
light beam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811546262.2A
Other languages
English (en)
Other versions
CN109407295B (zh
Inventor
陈廷爱
李慧
夏先园
高玉峰
余佳
廖九零
吴婷
郑炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201811546262.2A priority Critical patent/CN109407295B/zh
Publication of CN109407295A publication Critical patent/CN109407295A/zh
Priority to PCT/CN2019/124600 priority patent/WO2020125518A1/zh
Application granted granted Critical
Publication of CN109407295B publication Critical patent/CN109407295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1006Beam splitting or combining systems for splitting or combining different wavelengths

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明公开了一种基于DMD可多色激发的结构光显微系统,包括依次设于光路上的多色耦合模块、多色偏角模块、DMD、荧光激发模块和荧光采集模块,多色耦合模块将至少两种波长的光源耦合于同一光路中,使各波长的光束共心共轴,并选择不同波长的光源分时输出,多色偏角模块对自多色耦合模块射入的光束进行预处理,使射入DMD的各光束经衍射后共心共轴,荧光激发模块在样品面产生结构光照明,荧光采集模块将样品被结构光照明激发出的荧光信号进行收集成像。不同波长的照明光在样品面不仅可以通过DMD进行结构编辑生成需要的结构光照明,而且各波长的结构光条纹可以良好重合,保留基于DMD的结构光照明显微系统的照明稳定性、照明空间均匀性和成像速度的优势。

Description

一种基于DMD可多色激发的结构光显微系统及多色激发方法
技术领域
本发明涉及显微光学成像技术领域,尤其涉及一种基于DMD可多色激发的结构光显微系统及多色激发方法。
背景技术
荧光显微镜利用荧光分子作为探针对样品观察部位予以特殊标记,使之具有分子特异性识别,这种成像方式不仅提升了所观察样品的图像对比度,还可以实现灵活的样品特征标记,目前已经成为生物学与生命医学等科学研究理想的成像工具。同时随着各种新型荧光分子探针的出现以及可在同一样品上进行多种不同目标标记的荧光标记技术发展,多色荧光显微镜使得人们不仅可以同时观测同一细胞中多种蛋白质之间的相互作用,还可以研究多种不同细胞或组织之间的相互作用过程。
当需要对较厚的样品成像时,传统的荧光显微镜的其中一个难以克服的缺点就会显现出:其焦平面以外的荧光结构模糊、发虚。无论显微镜将激发光垂直聚焦到样品的哪一部分,被照射到的整个厚度的样品都会被激发出荧光,即不仅焦平面上的荧光会被收集,而且来自焦平面上方或下方的散射荧光也被物镜所收集。针对样品焦平面成像所获取的二维图像中超过90%的荧光都来自离焦光线,这些光线甚至于完全淹没了焦平面应有的细节,并极大地降低了图像对比度。
结构光显微镜是在传统荧光显微镜基础上变更均匀光照明为结构光照明、以产生一组不同相位的调制结构光照射在样品上,再通过相移算法从这组不同相位调制的图像数据中提取焦平面信息、重建出层析图像和三维图像所发展的一种宽场显微成像技术。其图像质量对比度高、系统结构简单、成像速度快、成本低,与共聚焦激光扫描显微镜与双光子荧光显微镜相比,其在性价比方面具有很大的优势。
结构光显微系统的照明光源根据其是否存在相干性分为相干光源照明(如激光照明)与非相干光源照明(如高压汞灯或者LED照明)。目前公布的基于数字微反射镜阵列(Digital Micro-mirror Device,简称DMD)的结构光显微系统,全是采用非相干光源照明,如专利CN104570315A采用的是LED照明,专利CN101655601B采用的是汞灯照明。然而在基于DMD的结构光显微系统中无论是采用相干光源照明还是非相干光源照明目前都没有提出或者公布基于DMD可多色激发的结构光显微系统。这主要是因为DMD本身是一个二维的闪耀光栅,会对不同波长的入射光进行不同方向的衍射,导致经DMD衍射后不同波长的光束不再共心共轴。对于非相干光源照明情况,DMD这一根本属性引起的不同波长照明光在样品面产生的结构光投影偏移尚可接受,但需要对层析图像以及三维图像的重建算法进行复杂的修改;但对于相干光源照明,DMD这一根本属性则会直接造成不同波长照明光在样品面因干涉产生的结构光条纹的失败。
因此,基于现有基于DMD的结构光显微系统存在的问题,不同波长照明光在样品面难以形成重合的结构光条纹,如果将其应用来实现多色激发尚存在一定的障碍。
发明内容
鉴于现有技术存在的不足,本发明提出了一种基于DMD可多色激发的结构光显微系统及多色激发方法,可以方便地提供单色或多色激发下的层析图像和三维图像,并保留基于DMD的结构光照明显微系统的照明稳定性、照明空间均匀性和成像速度的优势。
为了实现上述的目的,本发明采用了如下的技术方案:
一种基于DMD可多色激发的结构光显微系统,包括依次设于光路上的多色耦合模块、多色偏角模块、DMD、荧光激发模块和荧光采集模块,所述多色耦合模块用于将至少两种波长的光源耦合于同一光路中,使各波长的光束共心共轴,并选择不同波长的光源分时输出;所述多色偏角模块用于对自所述多色耦合模块射入的光束进行预处理,使射入所述DMD的各光束经衍射后共心共轴;所述荧光激发模块用于利用所述DMD射出的光在样品面产生结构光照明;所述荧光采集模块用于将样品被结构光照明激发出的荧光信号进行收集成像。
作为其中一种实施方式,所述多色耦合模块包括多个激光器和分别设于每个所述激光器的光路上的窄带滤光片、光处理元件,以及声光滤波器,各激光器发出的光束分别由各自的窄带滤光片过滤后,经各自的光处理元件处理后耦合至共心共轴,所述声光滤波器用于对各光处理元件发出的光束按照波长选择分时输出。
作为其中一种实施方式,所述光处理元件包括反射镜和/或二向色镜。
或者,所述光处理元件包括棱镜,所述棱镜的其中一个棱镜面为朝声光滤波器出光的出射面,每个所述窄带滤光片均贴合在所述棱镜的一个其他棱镜面上。
作为其中一种实施方式,所述多色耦合模块包括多个激光器和分别设于每个所述激光器的光路上的聚焦透镜,以及光纤合束器、准直透镜,各激光器发出的光束分别由各自的聚焦透镜聚焦后进入光纤,所述光纤合束器将各光纤的光束耦合至同一光纤并按照波长选择分时输出,自所述光纤合束器射出的光束由所述准直透镜准直成共心共轴光束。
作为其中一种实施方式,所述多色偏角模块包括用于使射入的光束产生预置偏角的角度补偿单元和用于使射入的光束产生垂直于光轴方向位移的位移补偿单元。
作为其中一种实施方式,所述角度补偿单元为闪耀光栅,所述位移补偿单元为可驱动所述闪耀光栅往复移动的电控平移台。
作为其中一种实施方式,所述闪耀光栅的光栅常数、闪耀角与所述DMD一致。
本发明的另一目的在于提供一种多色激发方法,包括:
将至少两种波长的照明光源耦合于同一光路中,使各波长的光束共心共轴,并选择不同波长的光源分时输出;
对分时输出的各波长的光源预处理,使射入DMD的各光束经衍射后共心共轴;
利用DMD射出的光在样品面产生结构光照明。
作为其中一种实施方式,所述对自所述多色耦合模块射入的光束进行预处理,包括:
使射入的光束产生预置偏角;
使射入的光束产生垂直于光轴方向的位移。
本发明通过将不同波长的照明光源耦合于同一光路中,使各波长的光束共心共轴,并选择不同波长的光源分时输出,通过对分时输出的各波长的光源预处理,使射入DMD的各光束经衍射后共心共轴;随后即可通过在样品面产生结构光照明,将样品被结构光照明激发出的荧光信号进行收集成像,不同波长的照明光在样品面不仅可以通过DMD进行结构编辑生成需要的结构光照明,而且各波长的结构光条纹可以良好重合,保留基于DMD的结构光照明显微系统的照明稳定性、照明空间均匀性和成像速度的优势。
附图说明
图1为本发明的一种可多色激发的结构光显微系统的结构框图;
图2为本发明实施例1的一种可多色激发的结构光显微系统的光路原理示意图;
图3为本发明实施例1的多色耦合模块的光路原理示意图;
图4为本发明实施例1的多色偏角模块的光路原理示意图;
图5为本发明实施例1的荧光激发模块的光路原理示意图;
图6为本发明实施例1的荧光采集模块的光路原理示意图;
图7为本发明实施例2的多色耦合模块的光路原理示意图;
图8为本发明实施例3的多色耦合模块的光路原理示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参阅图1,本发明的基于DMD可多色激发的结构光显微系统包括依次设于光路上的多色耦合模块11、多色偏角模块12、DMD13、荧光激发模块14和荧光采集模块15,多色耦合模块11用于将至少两种波长的光源耦合于同一光路中,使各波长的光束共心共轴,并选择不同波长的光源分时输出;多色偏角模块12用于对自多色耦合模块11射入的光束进行预处理,使射入DMD13的各光束经衍射后共心共轴;荧光激发模块14用于利用DMD13射出的光在样品面产生结构光照明;荧光采集模块15用于将样品被结构光照明激发出的荧光信号进行收集成像。
根据该可多色激发的结构光显微系统,本发明还相应地提供了一种实现多色激发方法,主要包括:
S01、将至少两种波长的照明光源耦合于同一光路中,使各波长的光束共心共轴,并选择不同波长的光源分时输出;
S02、对分时输出的各波长的光源预处理,使射入DMD13的各光束经衍射后共心共轴;
S03、利用DMD13射出的光在样品面产生结构光照明。
在样品面产生结构光照明后,只需要在随后将样品被结构光照明激发出的荧光信号进行收集成像即可。
优选地,多色偏角模块12包括用于使射入的光束产生预置偏角的角度补偿单元121和用于使射入的光束产生垂直于光轴方向位移的位移补偿单元122。
相应地,对分时输出的各波长的光源预处理,包括:
使射入的光束产生预置偏角;以及
使射入的光束产生垂直于光轴方向的位移。
根据DMD的光学参数,通过利用角度补偿单元121合理地设计预置偏角,让不同波长的光束生成一个预先设定的角度偏移,以补偿稍后不同波长的入射光经DMD后产生的衍射角度偏移,同时,通过位移补偿单元122对不同波长的衍射光产生的纵向(垂直于光束的光轴方向)位移偏差进行补偿,通过这两种方式的结合,实现经过DMD衍射后的多波长光束共心共轴。
由于从多色偏角模块12出射的衍射光照射到已经加载一定条纹图案的DMD 13上时,除了因为DMD 13本身发生主极衍射外,还会因加载的条纹图案发生子级衍射。但正是由于本发明的多色偏角模块12在光束进入DMD 13前对光束进行处理产生了预置偏角和垂直于光轴方向的位移,主极衍射光会因为角度预先偏移与纵向位移偏差补偿而可以仍然维持多波长光束共心共轴,子极衍射会对称分布于主极衍射光两边。这些不同波长的主级与子级衍射光束随后进入荧光激发模块14,从而在样品面干涉形成结构光照明。最终,不同波长的照明光束在样品面不仅可以通过DMD进行结构编辑生成需要的结构光照明,而且各波长的结构光条纹可以良好地重合。
下面结合几种具体的实施例对本发明的基于DMD可多色激发的结构光显微系统及多色激发方法的实现过程进行进一步说明。
实施例1
结合图2和图3所示,本实施例的多色耦合模块11用于将多种波长的照明光源耦合进同一光路中,实现分时输出,包括多个激光器111和分别设于每个激光器111的光路上的窄带滤光片112、光处理元件113,以及声光滤波器(AOTF)114,各激光器111发出的光束分别由各自的窄带滤光片112过滤后,经各自的光处理元件113处理后耦合至共心共轴,声光滤波器114用于对各光处理元件113发出的光束按照波长选择分时输出。光处理元件113可以采用反射镜、二向色镜的各种组合实现其光学处理功能。
为方便理解,本实施例以四个激光器111为例进行说明,其中,每个激光器111分别用于产生不同波长的激光光源。具体地,激光器111具有激光器一111a、激光器二111b、激光器三111c、激光器四111d,分别产生波长1(例如635nm)、波长2(例如561nm)、波长3(例如488nm)、波长4(例如405nm)的激光;窄带滤光片112也具有四个:112a、112b、112c、112d,用于在特定的波段允许光信号通过,而偏离这个波段以外的两侧光信号被阻止;光处理元件113包括反射镜113a、二向色镜113b、113c、113d。
每个激光器发出的光分别穿过一个窄带滤光片112后,由不同的反射镜/二向色镜反射至同一个声光滤波器114:激光器一111a输出波长1,经过窄带滤光片112a(例如635±10nm)被反射镜113a反射(工作于45°角)进入声光滤波器114;激光器二111b输出波长2,经过窄带滤光片112b(例如561±10nm)被二向色镜113b反射(例如反射561nm以下波长的激光,透射561nm波长以及以上的激光,工作于45°角)进入声光滤波器114,波长2进入声光滤波器114前与波长1耦合至共心共轴;激光器三111c输出波长3,经过窄带滤光片112c(例如488±10nm)被二向色镜113c(例如反射小于488nm波长的激光,透射大于488nm波长的激光,工作于45°角)反射进入声光滤波器114,波长3进入声光滤波器114前与波长1、波长2耦合至共心共轴;激光器四111d输出波长4,经过窄带滤光片112d(例如405±10nm)被二向色镜113d(例如反射405nm波长的激光,透射大于405nm波长的激光,工作于45°角)反射进入声光滤波器114,波长4进入声光滤波器114前与波长1、波长2、波长3耦合至共心共轴。声光滤波器114用于对四种波长选择分时输出,各波长从声光滤波器114输出时光束共心共轴。如图3所示,反射镜113a、二向色镜113b、113c、113d依次沿直线布置且相互平行。
如图2和图4所示,多色偏角模块12用以产生特定的角度偏移与纵向位移偏差补偿,使得不同波长的不同衍射级光束经过DMD衍射后实现多波长光束共心共轴,包括用于使射入的光束产生预置偏角的角度补偿单元121和用于使射入的光束产生垂直于光轴方向位移的位移补偿单元122。
作为一种优选的实施方式,这里,角度补偿单元121为闪耀光栅,位移补偿单元122为可驱动闪耀光栅往复移动的电控平移台。经多色耦合模块11耦合成多波长共心共轴的光束首先照射到闪耀光栅上衍射,让不同波长的光束预先有一个角度偏移,与此同时,闪耀光栅固定在精密电控平移台上,通过控制程序直接控制闪耀光栅沿固定方向(例如入射光方向)移动,用以补偿不同波长的衍射光束向前传播时产生的纵向(垂直于光轴方向)的位移偏差,通过这两种方式的结合,实现经过DMD衍射后的多波长光束共心共轴。
根据DMD的光学参数(例如德州仪器D4100,光栅常数13.68微米,闪耀角12度),光栅应为特定闪耀光栅(例如可以为同款DMD,或定制的反射式闪耀光栅,或定制的透射式闪耀光栅),其光栅常数d、闪耀角γ需要与DMD保持一致,以便对各不同波长的衍射光预先设置特定的角度偏移。再依据光栅方程:mλ=d(sinθm+sinθi)=2d sinγ,当从多色耦合模块11出射的多波长共心共轴光束以相同的入射角照射到闪耀光栅上时,由于波长不同,其衍射方向不同,而且衍射级次也不同。例如,当入射角为0度时,405nm波长的激光对应的衍射级为10,衍射角为17.22度,488nm波长的激光对应的衍射级为8,衍射角为16.58度,561nm波长的激光对应的衍射级为7,衍射角为16.68度,635nm波长的激光对应的衍射级为6,衍射角为16.17度。不同波长的光束在经过闪耀光栅后,不仅因为衍射方向不同产生了我们预先设置的角度偏移,还因为衍射级次不同会产生了多余的纵向(垂直于光轴方向)的位移偏差。
本实施例的闪耀光栅固定于精密电控平移台(例如步进精度1μm),配合多色耦合模块101中的声光滤波器114,在波长选择分时输出的同时,通过控制程序让闪耀光栅沿固定方向(例如入射光方向)移动特定位置,不同波长其移动位置不同(例如波长1对应位置1,波长2对应位置2,波长3对应位置3,波长4对应位置4),进而抵消了不同波长产生的纵向(垂直于光轴方向)位移偏差。当预先有一定偏角的不同波长光束再照射到DMD13衍射并出射时便可以实现共心共轴。例如,光栅301为特制反射式闪耀光栅时,经过DMD13出射后,405nm波长的10级衍射光,488nm波长的8级衍射光,561nm波长的7级衍射光,635nm波长的6级衍射光,在从DMD13衍射出射时便能共心共轴。
如图2所示,在有的实施方式中,还可以根据实际情况增加光路折叠模块(图未标),用以将从多色耦合模块11出射的共心共轴光束扩束,并转折至多色偏角模块12。这里,光路折叠模块包括依次设于光路上的扩束组和跳镜组,扩束组包括透镜Z1、透镜Z2,跳镜组包括反射镜Z3、反射镜Z4,从声光滤波器114分时选择输出的共心共轴光束依次经过透镜Z1和透镜Z2组成的扩束组扩束,扩束后的光束再经过反射镜Z3与Z4组成的跳镜组反射,反射后的光束进入多色偏角模块12中的透射式闪耀光栅。经光路折叠模块扩束、转折后的多波长共心共轴光束以相同的入射角照射到透射式闪耀光栅上。
结构光照明显微镜利用同一光束的不同衍射级之间的相互干涉产生结构性图案在样品面P产生照明。经多色偏角模块12后,不同波长的光束共心共轴(例如,405nm波长的10级衍射光,488nm波长的8级衍射光,561nm波长的7级衍射光,635nm波长的6级衍射光,在从DMD衍射出射时共心共轴)。当在DMD13上加载条纹图案时,由于条纹图案也是一种周期性光栅,会在DMD本身主级衍射的基础上产生子级衍射。
如图2和图5所示,本实施例的荧光激发模块14用于在样品面P产生结构光照明,激发样品产生荧光,包括透镜141、142、143和物镜144,DMD 13置于荧光激发模块14中透镜141的前焦面位置,不同波长的主级与子级衍射光束通过透镜141后,在其后焦面形成不同波长的子衍射光聚焦斑,这些聚焦斑再经过透镜142与透镜143组成的中继透镜成像至物镜144(例如大放大倍率、高NA值的物镜)的后倍孔径内,各衍射级次的光束再经物镜144在样品面P干涉形成结构化照明光。
具体地,通过合理选择透镜141(例如相对孔径、焦距)可以只允许第n级作为主极的0级子衍射光(例如,405nm波长的第10级作为主极的0级子衍射光,488nm波长的第8级作为主极的0级子衍射光,561nm波长的第7级作为主极的0级子衍射光,635nm波长的第6级作为主极的0级子衍射光)、第n级作为主极的-1级子衍射光(例如,405nm波长的第10级作为主极的-1级子衍射光,488nm波长的第8级作为主极的-1级子衍射光,561nm波长的第7级作为主极的-1级子衍射光,635nm波长的第6级作为主极的-1级子衍射光)、第n级作为主极的+1级子衍射光(例如,405nm波长的第10级作为主极的+1级子衍射光,488nm波长的第8级作为主极的+1级子衍射光,561nm波长的第7级作为主极的+1级子衍射光,635nm波长的第6级作为主极的+1级子衍射光),共计三个子级衍射光通过,而其他子级的衍射光被透镜141的口径限制在光路以外。DMD13置于荧光激发模块14中透镜142的前焦面位置,不同波长的主级与子级衍射光束通过透镜141后,在其后焦面形成不同波长的子衍射光聚焦斑:第n级作为主极的0级子衍射光聚焦斑、第n级作为主极的-1级子衍射光聚焦斑、第n级作为主极的+1级子衍射光聚焦斑。
如图2、图5和图6所示,本实施例的荧光采集模块15用于将样品被结构光照明激发的荧光信号进行收集成像,包括依次位于激发荧光的光路上的二向色镜151、成像透镜152、滤光片153、成像探测器154。
样品面P受激发的荧光信号被物镜144收集后依次经二向色镜151、成像透镜152、滤光片153进入到成像探测器154中,滤光片153用以滤除荧光以外的背景信号,例如,二向色镜151可以是反射405nm/488nm/561nm/635nm波长,而透射其他波长的多带通二向色镜,滤光片153可以是装有四片405nm长通/488nm长通/561nm长通/635nm长通的滤光片轮,或者单片426~462nm带通、502.5~544.5nm带通、582~617.5nm带通以及663~1200nm带通的多带通滤光片。
结合图2所示,根据上述的基于DMD可多色激发的结构光显微系统,实现多色激发的方法主要过程是:
(1)多色耦合模块11将不同波长的照明光源耦合进同一光路,各波长的光束共心共轴,并可以选择不同波波长的激光分时输出;
(2)对分时输出的各波长的光源预处理,具体是当某一波长的激光被选择输出后,经过光路折叠模块扩束、转折后进入多色偏角模块12中的透射式闪耀光栅,使射入的光束产生预置偏角,同时,通过控制固定于精密电控平移台上的透射式闪耀光栅沿固定方向(例如入射光方向)移动到相应的合适位置,使射入的光束产生垂直于光轴方向的位移,以抵消波该长在纵向(垂直于光轴方向)产生的位移偏差。
当波长1的激光被选择输出后,经过光路折叠模块扩束、转折后进入多色偏角模块12中的透射式闪耀光栅,此时控制程序控制固定于精密电控平移台上的透射式闪耀光栅沿固定方向移动到位置1;
当入射角为0度时,由于光栅的衍射效应,波长1的激光经过透射式闪耀光栅后发生衍射后照射到DMD13上。当采用利特洛配置(Littrow configuration)时,由于透射式闪耀光栅与DMD13的光栅常数与闪耀角设计一致,波长1的光束再被DMD13衍射后,其衍射角重新恢复为0度。
当波长2的激光被选择输出后,经过光路折叠模块扩束、转折后同样进入多色偏角模块12中的透射式闪耀光栅,此时控制程序控制固定于精密电控平移台上的透射式闪耀光栅301沿固定方向移动到位置2;
当入射角为0度时,波长2的激光同样经过透射式闪耀光栅后发生衍射,照射到DMD13上。波长2的光束再被DMD13衍射后,其衍射角同样重新恢复为0度。而且由于预先通过控制程序控制固定于精密电控平移台上的透射式闪耀光栅沿固定方向调整了位置,波长2与波长1在纵向产生的位移偏差被抵消,波长2与波长1实现了共心共轴。
当波长3的激光被选择输出后,与波长2、波长1一样,经过光路折叠模块扩束、转折后进入多色偏角模块12中的透射式闪耀光栅,此时控制程序控制固定于精密电控平移台上的透射式闪耀光栅沿固定方向移动到位置3;
与波长2、波长1一样,当入射角为0度时,波长3的激光经过透射式闪耀光栅后发生衍射,照射到DMD 13上。波长3的光束再被DMD 13衍射后,其衍射角同样重新恢复为0度。与波长2、波长1一样,波长3在纵向产生的位移偏差也被抵消,波长3、波长2与波长1实现了共心共轴。
当波长4的激光被选择输出后,与波长3、波长2、波长1一样,经过光路折叠模块扩束、转折后进入多色偏角模块12中的透射式闪耀光栅,此时控制程序控制固定于精密电控平移台上的透射式闪耀光栅沿固定方向移动到位置4。
与波长3、波长2、波长1一样,当入射角为0度时,波长4的激光经过透射式闪耀光栅后发生衍射,照射到DMD 13上。波长4的光束再被DMD 13衍射后,其衍射角同样重新恢复为0度。与波长3、波长2、波长1一样,波长4在纵向产生的位移偏差也被抵消,波长4、波长3、波长2与波长1实现了共心共轴。
(3)从透射式闪耀光栅衍射出的光束照射到DMD 13的同时,在DMD 13上加载条纹图案,DMD13射出的光在样品面产生结构光照明。
由于条纹图案也是一种周期性光栅,会在DMD 13本身主级衍射的基础上产生子级衍射。
当波长1(例如,635nm波长)的激光束从DMD衍射出射后,会产生波长1的第n级作为主极的包含0级、±1级、±2级等的子级衍射光(例如635nm波长的第6级作为主极的0级、±1级、±2级子级衍射光);
当波长2(例如,561nm波长)的激光束从DMD衍射出射后,会产生波长2的第n级作为主极的包含0级、±1级、±2级等的子级衍射光(例如561nm波长的第7级作为主极的0级、±1级、±2级子级衍射光);
当波长3(例如,488nm波长)的激光束从DMD衍射出射后,会产生波长3的第n级作为主极的包含0级、±1级、±2级等的子级衍射光(例如488nm波长的第8级作为主极的0级、±1级、±2级子级衍射光);
当波长4(例如,405nm波长)的激光束从DMD衍射出射后,会产生波长4的第n级作为主极的包含0级、±1级、±2级等的子级衍射光(例如405nm波长的第10级作为主极的0级、±1级、±2级子级衍射光)。
由于多色偏角模块12对各不同波长的预先角度偏移与纵向位移偏差补偿,各波长的第n级作为主极的0级子衍射光共心共轴,各波长的第n级作为主极的±1、±2级子衍射光会因波长的不同,导致衍射方向不同,不再共心共轴。这些子级衍射光束经过透镜141后只保留第n级作为主极的0级子衍射光、第n级作为主极的-1级子衍射光、第n级作为主极的+1级子衍射光,共计三个子级的衍射光通过,而其他子级的衍射光被透镜141的口径限制在光路以外。
DMD 13置于荧光激发模块14中透镜141的前焦面位置,不同波长的主级与子级衍射光束通过透镜141后,在其后焦面形成不同波长的第n级作为主极的0级子衍射光聚焦斑、第n级作为主极的-1级子衍射光聚焦斑、第n级作为主极的+1级子衍射光聚焦斑。这些聚焦斑再经过透镜142与透镜143组成的中继透镜成像至物镜144的后倍孔径内,各衍射级次的光束再经物镜144在样品面P干涉形成结构化照明光。
最终,不同波长照明光在样品面不仅可以通过DMD进行结构编辑生成需要的结构光照明,而且各波长的结构光条纹可以良好重合。
实施例2
如图7所示,本实施例的多色耦合模块11同样包括多个激光器111和分别设于每个激光器111的光路上的窄带滤光片112、光处理元件113,以及声光滤波器(AOTF)114。与实施例1不同的是,本实施例的多色耦合模块11中,各激光器111发出的光束分别由各自的窄带滤光片112过滤后,经同一个光处理元件113处理后耦合至共心共轴,最后由声光滤波器114对光处理元件113发出的光束按照波长选择分时输出。
本实施例中,各波长进入声光滤波器114前也耦合至共心共轴。光处理元件113的主要组成是棱镜,棱镜的其中一个棱镜面为朝声光滤波器114出光的出射面,每个窄带滤光片112均贴合在棱镜的一个其他棱镜面上。
优选地,每一个窄带滤光片112贴合在棱镜的一个不同的棱镜面上,仅其中一个棱镜面朝向声光滤波器114作为光的出射面。这里,棱镜以五棱镜为例进行说明,棱镜的每一棱镜面均贴合有一用于过滤不同波长的窄带滤光片112,每个窄带滤光片112分别对应一个用于产生不同波长的激光器111。
激光器一111a输出波长1(例如635nm),经过窄带滤光片112a(例如635±10nm,工作于72°角)以与界面法线呈18°角的入射角透射进入五棱镜,后经五棱镜其他两面反射后从五棱镜的出射面出射进入声光滤波器114;
激光器二111b输出波长2(例如561nm),经过窄带滤光片112b(例如561±10nm,工作于72°角)以与界面法线呈18°角的入射角透射进入五棱镜,直接从五棱镜的出射面出射后进入声光滤波器114,波长2进入声光滤波器114前与波长1耦合至共心共轴;
激光器三111c输出波长3(例如488nm),经过窄带滤光片112c(例如488±10nm,工作于72°角)以与界面法线呈18°角的入射角透射进入五棱镜,后经五棱镜其他三面反射后从五棱镜的出射面出射后进入声光滤波器114,波长3进入声光滤波器114前与波长1、波长2耦合至共心共轴;
激光器四111d输出波长4(例如405nm),经过窄带滤光片112d(例如405±10nm,工作于72°角)以与界面法线呈18°角的入射角透射进入五棱镜,后经五棱镜另一面反射后从五棱镜出射进入声光滤波器114,波长4进入声光滤波器114前与波长1、波长2、波长3耦合至共心共轴。
各波长从声光滤波器114进入前耦合至共心共轴,随后,声光滤波器114对四种波长选择分时输出,各波长从声光滤波器114输出时光束也共心共轴。
可以理解的是,棱镜也可以具有空置的棱镜面,或者也可以将实施例1的光处理元件113设置在本实施例的棱镜旁,实施例1的光处理元件113发出的光束从其中一个棱镜面射入,与其他光束耦合后射出到声光滤波器114。
实施例3
如图8所示,与实施例1和实施例2不同,本实施例的多色耦合模块11包括多个激光器111和分别设于每个激光器111的光路上的聚焦透镜115,以及光纤合束器116、准直透镜117,各激光器111发出的光束分别由各自的聚焦透镜115聚焦后进入光纤,光纤合束器116将各光纤的光束耦合至同一光纤并按照波长选择分时输出,自光纤合束器116射出的光束由准直透镜117准直成共心共轴光束。
光纤合束器116的一端将各光纤的光束耦合,另一端将耦合后的光束射入准直透镜117。具体地,光纤合束器116的一端设有对应每个聚焦透镜115的聚焦光纤的光纤连接器1161,包括光纤连接器1161a、1161b、1161c、1161d,光纤合束器116的另一端设有光纤连接器1162。聚焦透镜115、准直透镜117均可以是单透镜、双胶合透镜或低倍显微物镜,光纤连接器1161a/1161b/1161c/1161d分别对应聚焦透镜115a/115b/115c/115d。
激光器一111a输出波长1(例如635nm),经过聚焦透镜115a聚焦于光纤连接器1161a的入射端面耦合进入光纤;
激光器二111b输出波长2(例如561nm),经过聚焦透镜115b聚焦于光纤连接器1161b的入射端面耦合进入光纤,波长2与波长1通过光纤合束器116一起耦合进入另一端的光纤连接器1162的入射端面进入光纤;
激光器三111c输出波长3(例如488nm),经过聚焦透镜115c聚焦于光纤连接器1161c的入射端面耦合进入光纤,波长3、波长2与波长1通过光纤合束器116一起耦合进入另一端的光纤连接器1162的入射端面进入光纤;
激光器四111d输出波长4(例如405nm),经过聚焦透镜115d聚焦于光纤连接器1161d的入射端面耦合进入光纤,波长4、波长3、波长2与波长1通过光纤合束器116一起耦合进入另一端的光纤连接器1162的入射端面进入光纤;
光纤合束器116将四种波长一起耦合进入同一光纤连接器1162,并能选择分时输出各波长。波长1、波长2、波长3和波长4的激光束在从光纤连接器1162的出射端面出射后被准直透镜117准直成共心共轴光束。
本发明通过将不同波长的照明光源耦合于同一光路中,使各波长的光束共心共轴,并选择不同波长的光源分时输出,通过对分时输出的各波长的光源预处理,使射入DMD的各光束经衍射后共心共轴;随后即可通过在样品面产生结构光照明,将样品被结构光照明激发出的荧光信号进行收集成像,不同波长的照明光在样品面不仅可以通过DMD进行结构编辑生成需要的结构光照明,而且各波长的结构光条纹可以良好重合,保留基于DMD的结构光照明显微系统的照明稳定性、照明空间均匀性和成像速度的优势。
以上仅是本申请的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种基于DMD(数字微反射镜阵列)可多色激发的结构光显微系统,其特征在于,包括依次设于光路上的多色耦合模块(11)、多色偏角模块(12)、DMD(13)、荧光激发模块(14)和荧光采集模块(15),所述多色耦合模块(11)用于将至少两种波长的光源耦合于同一光路中,使各波长的光束共心共轴,并选择不同波长的光源分时输出;所述多色偏角模块(12)用于对自所述多色耦合模块(11)射入的光束进行预处理,使射入所述DMD(13)的各光束经衍射后共心共轴;所述荧光激发模块(14)用于利用所述DMD(13)射出的光在样品面产生结构光照明;所述荧光采集模块(15)用于将样品被结构光照明激发出的荧光信号进行收集成像。
2.根据权利要求1所述的基于DMD可多色激发的结构光显微系统,其特征在于,所述多色耦合模块(11)包括多个激光器(111)和分别设于每个所述激光器(111)的光路上的窄带滤光片(112)、光处理元件(113),以及声光滤波器(114),各激光器(111)发出的光束分别由各自的窄带滤光片(112)过滤后,经各自的光处理元件(113)处理后耦合至共心共轴,所述声光滤波器(114)用于对各光处理元件(113)发出的光束按照波长选择分时输出。
3.根据权利要求2所述的基于DMD可多色激发的结构光显微系统,其特征在于,所述光处理元件(113)包括反射镜和/或二向色镜。
4.根据权利要求2所述的基于DMD可多色激发的结构光显微系统,其特征在于,所述光处理元件(113)包括棱镜,所述棱镜的其中一个棱镜面为朝声光滤波器(114)出光的出射面,每个所述窄带滤光片(112)均贴合在所述棱镜的一个其他棱镜面上。
5.根据权利要求1所述的基于DMD可多色激发的结构光显微系统,其特征在于,所述多色耦合模块(11)包括多个激光器(111)和分别设于每个所述激光器(111)的光路上的聚焦透镜(115),以及光纤合束器(116)、准直透镜(117),各激光器(111)发出的光束分别由各自的聚焦透镜(115)聚焦后进入光纤,所述光纤合束器(116)将各光纤的光束耦合至同一光纤并按照波长选择分时输出,自所述光纤合束器(116)射出的光束由所述准直透镜(117)准直成共心共轴光束。
6.根据权利要求1-5任一所述的基于DMD可多色激发的结构光显微系统,其特征在于,所述多色偏角模块(12)包括用于使射入的光束产生预置偏角的角度补偿单元(121)和用于使射入的光束产生垂直于光轴方向位移的位移补偿单元(122)。
7.根据权利要求6所述的基于DMD可多色激发的结构光显微系统,其特征在于,所述角度补偿单元(121)为闪耀光栅,所述位移补偿单元(122)为可驱动所述闪耀光栅往复移动的电控平移台。
8.根据权利要求7所述的基于DMD可多色激发的结构光显微系统,其特征在于,所述闪耀光栅的光栅常数、闪耀角与所述DMD(13)一致。
9.一种多色激发方法,其特征在于,包括:
将至少两种波长的照明光源耦合于同一光路中,使各波长的光束共心共轴,并选择不同波长的光源分时输出;
对分时输出的各波长的光源预处理,使射入DMD(13)的各光束经衍射后共心共轴;
利用DMD(13)射出的光在样品面产生结构光照明。
10.根据权利要求9所述的多色激发方法,其特征在于,所述对分时输出的各波长的光源预处理,包括:
使射入的光束产生预置偏角;
使射入的光束产生垂直于光轴方向的位移。
CN201811546262.2A 2018-12-18 2018-12-18 一种基于dmd可多色激发的结构光显微系统及多色激发方法 Active CN109407295B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811546262.2A CN109407295B (zh) 2018-12-18 2018-12-18 一种基于dmd可多色激发的结构光显微系统及多色激发方法
PCT/CN2019/124600 WO2020125518A1 (zh) 2018-12-18 2019-12-11 一种基于dmd可多色激发的结构光显微系统及多色激发方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811546262.2A CN109407295B (zh) 2018-12-18 2018-12-18 一种基于dmd可多色激发的结构光显微系统及多色激发方法

Publications (2)

Publication Number Publication Date
CN109407295A true CN109407295A (zh) 2019-03-01
CN109407295B CN109407295B (zh) 2020-07-24

Family

ID=65459878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811546262.2A Active CN109407295B (zh) 2018-12-18 2018-12-18 一种基于dmd可多色激发的结构光显微系统及多色激发方法

Country Status (2)

Country Link
CN (1) CN109407295B (zh)
WO (1) WO2020125518A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110161671A (zh) * 2019-04-30 2019-08-23 上海理工大学 暗场、明场、相衬、荧光多模式同步成像显微成像装置
CN110501319A (zh) * 2019-08-29 2019-11-26 中国科学院长春应用化学研究所 多通路结构光照明的拉曼超分辨显微成像方法
CN110955107A (zh) * 2019-11-18 2020-04-03 长春理工大学 一种基于反射成像技术的超高速时间分辨摄像装置和方法
WO2020125518A1 (zh) * 2018-12-18 2020-06-25 中国科学院深圳先进技术研究院 一种基于dmd可多色激发的结构光显微系统及多色激发方法
CN111589478A (zh) * 2020-06-05 2020-08-28 深圳市尚维高科有限公司 一种双通道实时荧光定量pcr仪光路系统及检测方法
CN111650739A (zh) * 2020-05-21 2020-09-11 中国科学院苏州生物医学工程技术研究所 基于dmd的单帧曝光快速三维荧光成像系统及方法
CN112595308A (zh) * 2020-11-24 2021-04-02 桂林电子科技大学 光控制和驱动的微型机器人
CN112859315A (zh) * 2021-01-11 2021-05-28 北京大学 一种多色双模式结构光照明显微成像系统及其成像方法
CN114460731A (zh) * 2022-01-24 2022-05-10 浙江大学 一种基于dmd的多色结构光照明超分辨显微成像方法和装置
CN114509911A (zh) * 2021-12-28 2022-05-17 中国空气动力研究与发展中心超高速空气动力研究所 一种同轴超高速多序列激光阴影成像装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106872034A (zh) * 2017-01-13 2017-06-20 清华大学 快速三维多光谱显微成像系统
CN107167929A (zh) * 2017-06-12 2017-09-15 华南师范大学 基于dmd的双模式光学超分辨显微成像装置及方法
CN107389631A (zh) * 2017-04-28 2017-11-24 中国科学院生物物理研究所 高速多色多模态结构光照明超分辨显微成像系统及其方法
CN107917680A (zh) * 2017-11-07 2018-04-17 南京航空航天大学 基于闪耀光栅的微小角度快速识别方法
CN108169887A (zh) * 2017-12-27 2018-06-15 清华大学 3d多焦面结构光快速显微成像系统及方法
CN108333160A (zh) * 2018-02-02 2018-07-27 北京工业大学 面向空间应用的一种微型结构光产生装置及超分辨荧光显微系统
CN207946356U (zh) * 2018-03-06 2018-10-09 华南师范大学 基于上转换纳米材料的多焦点结构光照明显微成像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009060793A1 (de) * 2009-12-22 2011-07-28 Carl Zeiss Microlmaging GmbH, 07745 Hochauflösendes Mikroskop und Verfahren zur zwei- oder dreidimensionalen Positionsbestimmung von Objekten
JP6260691B2 (ja) * 2014-04-25 2018-01-17 株式会社ニコン 構造化照明顕微鏡装置及び構造化照明観察方法
WO2016148689A1 (en) * 2015-03-16 2016-09-22 Leia Inc. Unidirectional grating-based backlighting employing an angularly selective reflective layer
CN106500589B (zh) * 2016-12-05 2020-09-25 苏州大学 一种多波长可调谐显微干涉的测量方法及其装置
CN107728314B (zh) * 2017-08-17 2020-12-04 中国科学院光电技术研究所 一种基于旋转双闪耀光栅的阵列光束偏转的方法
CN109407295B (zh) * 2018-12-18 2020-07-24 中国科学院深圳先进技术研究院 一种基于dmd可多色激发的结构光显微系统及多色激发方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106872034A (zh) * 2017-01-13 2017-06-20 清华大学 快速三维多光谱显微成像系统
CN107389631A (zh) * 2017-04-28 2017-11-24 中国科学院生物物理研究所 高速多色多模态结构光照明超分辨显微成像系统及其方法
CN107167929A (zh) * 2017-06-12 2017-09-15 华南师范大学 基于dmd的双模式光学超分辨显微成像装置及方法
CN107917680A (zh) * 2017-11-07 2018-04-17 南京航空航天大学 基于闪耀光栅的微小角度快速识别方法
CN108169887A (zh) * 2017-12-27 2018-06-15 清华大学 3d多焦面结构光快速显微成像系统及方法
CN108333160A (zh) * 2018-02-02 2018-07-27 北京工业大学 面向空间应用的一种微型结构光产生装置及超分辨荧光显微系统
CN207946356U (zh) * 2018-03-06 2018-10-09 华南师范大学 基于上转换纳米材料的多焦点结构光照明显微成像装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020125518A1 (zh) * 2018-12-18 2020-06-25 中国科学院深圳先进技术研究院 一种基于dmd可多色激发的结构光显微系统及多色激发方法
CN110161671A (zh) * 2019-04-30 2019-08-23 上海理工大学 暗场、明场、相衬、荧光多模式同步成像显微成像装置
CN110161671B (zh) * 2019-04-30 2021-04-02 上海理工大学 暗场、明场、相衬、荧光多模式同步成像显微成像装置
CN110501319A (zh) * 2019-08-29 2019-11-26 中国科学院长春应用化学研究所 多通路结构光照明的拉曼超分辨显微成像方法
CN110955107A (zh) * 2019-11-18 2020-04-03 长春理工大学 一种基于反射成像技术的超高速时间分辨摄像装置和方法
CN111650739A (zh) * 2020-05-21 2020-09-11 中国科学院苏州生物医学工程技术研究所 基于dmd的单帧曝光快速三维荧光成像系统及方法
CN111589478A (zh) * 2020-06-05 2020-08-28 深圳市尚维高科有限公司 一种双通道实时荧光定量pcr仪光路系统及检测方法
CN112595308A (zh) * 2020-11-24 2021-04-02 桂林电子科技大学 光控制和驱动的微型机器人
CN112859315A (zh) * 2021-01-11 2021-05-28 北京大学 一种多色双模式结构光照明显微成像系统及其成像方法
CN114509911A (zh) * 2021-12-28 2022-05-17 中国空气动力研究与发展中心超高速空气动力研究所 一种同轴超高速多序列激光阴影成像装置
CN114460731A (zh) * 2022-01-24 2022-05-10 浙江大学 一种基于dmd的多色结构光照明超分辨显微成像方法和装置

Also Published As

Publication number Publication date
CN109407295B (zh) 2020-07-24
WO2020125518A1 (zh) 2020-06-25

Similar Documents

Publication Publication Date Title
CN109407295A (zh) 一种基于dmd可多色激发的结构光显微系统及多色激发方法
CN107389631B (zh) 高速多色多模态结构光照明超分辨显微成像系统及其方法
US6496267B1 (en) Scanning microscope
US7413311B2 (en) Speckle reduction in laser illuminated projection displays having a one-dimensional spatial light modulator
JP5658038B2 (ja) 顕微鏡
CN106124468B (zh) 一种基于光激活及结构光照明的超分辨荧光显微方法及装置
EP2093601B1 (en) Microscope device and image processing method
US6025956A (en) Incident-light fluorescence microscope
CN106980174B (zh) 一种综合性荧光超分辨显微成像装置
JP4899408B2 (ja) 顕微鏡装置
KR100625155B1 (ko) 광 코히런스 저감 방법 및 장치, 조명 방법 및 시스템
JP2000056228A (ja) レ―ザ走査顕微鏡に使用される波長別検出のためのシステムおよび画像記録方法
JP2006030178A (ja) 高度な分解能を持つ顕微鏡
US20080225906A1 (en) Laser scanning microscope and method of use
JP2006031018A (ja) 光走査型顕微鏡およびそれの使用
CN114460731B (zh) 一种基于dmd的多色结构光照明超分辨显微成像方法和装置
JP2004170977A (ja) 分解能の深度で試料を光学的に把握する方法および配置
WO2024051079A1 (zh) 一种主动结构光照明的超分辨显微成像方法及系统
US20150124073A1 (en) Illumination optical system and microscope
CN107530699A (zh) 多光阱控制装置和方法
CN103616330A (zh) 基于超连续产生的宽带激光光源激发的超分辨sted显微成像系统
US7642536B2 (en) Real-time high-magnification stereoscopic microscope
JP3164989B2 (ja) 試料観察方法および多波長光光学顕微鏡
US20100097694A1 (en) Method and arrangement for controlled actuation of a microscope, in particular of a laser scanning microscope
CN110168423B (zh) 照明装置和用于在显微镜中照明的方法和显微镜

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant