CN107003509A - 产生用于多色荧光显微镜的无衍射光片的方法和系统 - Google Patents
产生用于多色荧光显微镜的无衍射光片的方法和系统 Download PDFInfo
- Publication number
- CN107003509A CN107003509A CN201680003491.2A CN201680003491A CN107003509A CN 107003509 A CN107003509 A CN 107003509A CN 201680003491 A CN201680003491 A CN 201680003491A CN 107003509 A CN107003509 A CN 107003509A
- Authority
- CN
- China
- Prior art keywords
- mask plate
- light beam
- annulus
- plane
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000013011 mating Effects 0.000 title claims abstract description 37
- 239000003446 ligand Substances 0.000 title claims abstract description 24
- 150000003839 salts Chemical class 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000009826 distribution Methods 0.000 claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims description 18
- 230000003287 optical effect Effects 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000009738 saturating Methods 0.000 claims 1
- 238000012163 sequencing technique Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 15
- PLXMOAALOJOTIY-FPTXNFDTSA-N Aesculin Natural products OC[C@@H]1[C@@H](O)[C@H](O)[C@@H](O)[C@H](O)[C@H]1Oc2cc3C=CC(=O)Oc3cc2O PLXMOAALOJOTIY-FPTXNFDTSA-N 0.000 description 10
- 101100014509 Arabidopsis thaliana GDU3 gene Proteins 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 239000000835 fiber Substances 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 206010034972 Photosensitivity reaction Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 125000002619 bicyclic group Chemical group 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 208000007578 phototoxic dermatitis Diseases 0.000 description 3
- 231100000018 phototoxicity Toxicity 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000011324 bead Substances 0.000 description 2
- 230000021615 conjugation Effects 0.000 description 2
- 239000006059 cover glass Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 241000931526 Acer campestre Species 0.000 description 1
- 101100028789 Arabidopsis thaliana PBS1 gene Proteins 0.000 description 1
- 101100139907 Arabidopsis thaliana RAR1 gene Proteins 0.000 description 1
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 101100028790 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) PBS2 gene Proteins 0.000 description 1
- 241000638935 Senecio crassissimus Species 0.000 description 1
- 229910000754 Wrought iron Inorganic materials 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 239000011651 chromium Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- KPHWPUGNDIVLNH-UHFFFAOYSA-M diclofenac sodium Chemical compound [Na+].[O-]C(=O)CC1=CC=CC=C1NC1=C(Cl)C=CC=C1Cl KPHWPUGNDIVLNH-UHFFFAOYSA-M 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000005621 ferroelectricity Effects 0.000 description 1
- 238000003698 laser cutting Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 239000002574 poison Substances 0.000 description 1
- 231100000614 poison Toxicity 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 235000015170 shellfish Nutrition 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 231100000419 toxicity Toxicity 0.000 description 1
- 230000001988 toxicity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/082—Condensers for incident illumination only
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
- G02B27/0927—Systems for changing the beam intensity distribution, e.g. Gaussian to top-hat
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
- G02B27/0938—Using specific optical elements
- G02B27/095—Refractive optical elements
- G02B27/0955—Lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
- G02B27/0938—Using specific optical elements
- G02B27/0988—Diaphragms, spatial filters, masks for removing or filtering a part of the beam
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
Abstract
公开了产生用于多色荧光显微镜的无衍射光片的方法和系统(200)。在一个实施方式中，产生无衍射光图样化贝塞尔片(PBS)的方法包括：使输入光束透射通过傅里叶变换透镜(107、206、1006、1106)，其中，输入光束在第一平面处具有空间强度图样，并且在傅里叶变换透镜(107、206、1006、1106)之后形成有傅立叶平面用以获得第一光束；使第一光束透射通过布置在傅立叶变换透镜(107、206、1006、1106)之后的傅里叶平面处的环带掩模板(207、407、1107、1108)以获得第二光束；以及然后使第二光束透射通过激发物镜(109、208、408、1109、1308)以形成无衍射图样化光片。在一个实施方式中，产生无衍射光线性贝塞尔片(LBS)的方法包括：使输入光束在第一平面处透射通过布置在第一平面处的环带掩模板(207、407、1107、1108)以获得第一光束，其中，在第一平面处，输入光束沿着第一方向的强度分布比沿着垂直于第一方向的第二方向的强度分布窄；以及然后使第一光束透射通过激发物镜(109、208、408、1109、1308)以形成无衍射贝塞尔光片。
Description
相关申请
本申请要求于2015年5月22日提交的美国临时申请No.62/179,928的优先权和权益，所述申请的全部内容通过参引并入到本文中。
技术领域
本申请涉及产生用于多色荧光显微镜的无衍射光片的方法和系统。
背景技术
在光片(LS)显微镜中，激发物镜(excitation objective)和图像采集器沿着光路彼此成直角。可以使用柱面透镜或通过扫描聚焦光束来产生光片。荧光图像通过物镜聚焦在LS上，并且由快速灵敏的相机在宽视场中检测。由于其快速的宽视场检测和减少的光毒性，LS显微镜近来受到了极大的关注。
对于高轴向分辨率成像，LS必须尽可能薄，同时在视场(FOV)上保持均匀的厚度。遗憾的是，由于衍射而不能对(高斯)激光束独立地优化，并且需要在FOV的厚度与长度之间进行折衷。Betzig组引入了无衍射(ND)贝塞尔光束来解决这种折衷。最近，他们引入了“Lattice Light-Sheet Microscopy”(LLSM，晶格光片显微镜)。
晶格光片的关键是在照明物镜的前焦平面中产生期望的晶格图样。图1示出了使用空间光调制器(SLM)和固定的环带圈掩模板产生晶格光片的系统100的简化示意图。如图1中所示，来自光纤出口101的激光束通过准直透镜102和一对柱面透镜103和104。然后，光束被空间光调制器106反射，并在通过傅里叶变换透镜107之前由偏振光束分离器105分离。在通过布置在后光瞳平面处的固定的环带掩模板108和激发物镜109之后，产生期望的晶格光片110。在它们的实施中，空间晶格图样由SLM 106产生，并且固定的单圈的环带孔108被放置在晶格图样的傅里叶平面中以实现ND贝塞尔特性。他们能够获得片厚度为约300nm和FOV为15μm的优质图像。
对于多色成像，随着波长改变，优化用于该波长的不同的晶格图样必须被加载至SLM。
这种晶格图样的快速改变只能使用二元铁电SLM来完成，由于其操作要求，二元铁电SLM必须用作为主时钟。
发明内容
本申请提供了产生用于多色荧光显微镜的无衍射光片的方法和系统。
在第一方面中，本申请提供了一种产生无衍射光图样化的贝塞尔片(PBS)的方法和一种产生用于多色荧光显微镜的无衍射光PBS的系统。所述产生无衍射光PBS的方法包括：使输入光束透射通过傅里叶变换透镜，其中，所述输入光束在第一平面处具有空间强度图样，并且在所述傅里叶变换透镜之后形成傅立叶平面以获得第一光束；使所述第一光束透射通过布置在所述傅立叶变换透镜之后的所述傅里叶平面处的环带掩模板以获得第二光束；然后使所述第二光束透射通过激发物镜以形成无衍射图样化光片。
所述产生用于多色荧光显微镜的多色无衍射光PBS的系统包括：第一光学装置，所述第一光学装置配置成通过使具有多于一个波长的光束透射通过第一平面处的图样掩模板以成形所述光束从而获得图样化光束；傅里叶变换透镜，所述傅里叶变换透镜布置在所述图样掩模板之后，所述图样化光束投射通过所述傅里叶变换透镜，其中，所述傅里叶变换透镜具有位于所述傅里叶变换透镜之后的傅立叶平面；环带掩模板，所述环带掩模板布置在所述傅里叶变换透镜之后的所述傅立叶平面处；激发物镜，所述激发物镜布置在所述环带掩模板之后，并且配置成形成用于不同波长的无衍射图样化光片；以及检测物镜，所述检测物镜布置成垂直于所述无衍射光片，并被配置成在成像装置处形成荧光图像。
在第二方面中，本申请提供了一种产生无衍射光线贝塞片(LBS)的方法和一种产生用于多色荧光显微镜的无衍射光LBS的系统。产生无衍射光LBS的方法包括：使输入光束在第一平面处透射通过布置在所述第一平面处的环带掩模板以获得第一光束，其中，在所述第一平面处，所述输入光束沿着第一方向的强度分布比沿着垂直于所述第一方向的第二方向的强度分布窄；以及然后使所述第一光束透射通过激发物镜以形成无衍射贝塞尔光片。
产生用于多色荧光显微镜的无衍射光LBS的系统包括：第一光学装置，所述第一光学装置配置成通过使具有多于一个波长的光束透射通过第一平面处的单缝掩模板以成形所述光束从而获得第一光束；傅里叶变换透镜，所述傅里叶变换透镜布置在所述单缝掩模板之后，并且配置成使所述第一光束透射以获得第二光束，其中，所述傅里叶变换透镜具有位于所述傅里叶变换透镜之后的傅立叶平面；环带掩模板，所述环带掩模板布置在所述傅里叶变换透镜之后的所述傅立叶平面处；激发物镜，所述激发物镜布置在所述环带掩模板之后，并且配置成形成用于不同波长的无衍射光片；以及检测物镜，所述检测物镜垂直于所述无衍射光片而布置并且配置成在成像装置处形成荧光图像。
根据本申请，说明了晶格周期图样不是产生ND光片所必需的。在本公开中，提供了产生ND图样化光片的新的方法和系统，所述方法和系统降低了多色荧光显微镜系统的成本和复杂性。还提供了产生ND非图样化光片的方法和系统。
附图说明
图1示出了现有技术中使用SLM和固定的环带圈掩模板产生晶格光片的系统的示例性示意图；
图2a示出了根据本申请的实施方式的用于产生光图样化贝塞尔片(PBS)的系统的示例性示意图；
图2b和图2c示出了可应用于图2a的系统的两个掩模板图样和相应的结果的示例；
图2d和图2e示出了可应用于图2a的系统的实验产生的不同波长的光PBS；
图3示出了根据本申请的实施方式的通过缩放至波长的环带产生不同波长的光PBS的示例；
图4a示出了根据本申请的实施方式的利用可切换的环带圈的PBS显微镜的示例性系统示意图；
图4b示出了如图4a中所示的PBS成像中使用的触发序列；
图5示出了根据本申请的实施方式的用于使用电动滤光轮在两个环带圈掩模板之间快速切换的示例；
图6示出了根据本申请的实施方式在同一物理掩模板上放置多于一个圈的示例；
图7示出了根据本申请的实施方式的具有两个圈状带通滤光器的掩模板。
图8示出了根据本申请的实施方式的使用LCD面板或透射式空间光调制器作为可切换的环带圈的PBS显微镜的示例性系统示意图；
图9示出了根据本申请的实施方式的利用用于同步多色成像的滤光器组和固定环带的PBS显微镜的示例性系统示意图；
图10示出了根据本申请的实施方式的使用3LCD投影仪模块的系统的示例性结构；
图11a示出了根据本申请的实施方式的用于产生光线性贝塞尔片(LBS)的系统的示例性示意图；
图11b和图11c示出了可应用于图11a的系统的两个掩模板图样和相应的结果的示例；
图11d和图11e示出了可应用于图11a的系统的实验产生的不同波长的LBS；
图11f示出了可应用于图11a的系统的高斯光束LBS1和LBS2的测量的轴向轮廓；
图12示出了根据本申请的实施方式的通过固定环带产生不同波长的LBS的示例；
图13a示出了根据本申请的实施方式的LBS显微镜的示例性系统示意图；
图13b示出了在如图13a中所示的LBS成像中使用的触发序列；
图14示出了根据本申请的实施方式的使用单个柱面透镜且没有单缝的LBS显微镜的示例性系统示意图；以及
图15示出了根据本申请的实施方式的使用棱镜对的LBS显微镜的示例性系统示意图。
具体实施方式
在下文中，将参照附图和实施方式进一步对本申请做详细的说明。应当理解，本文描述的具体实施方式旨在说明相关发明，而不是限制发明。此外，应当注意，为了便于描述，在附图中仅示出了与本发明相关的部分。
下面首先对根据本发明一实施方式的用于产生ND光图样化贝塞尔片(PBS)的方法和显微镜系统进行描述。
参照图2a，示出了根据本申请一实施方式的产生用于多色荧光显微镜的无衍射光图样化贝塞尔片(PBS)的系统200的示例性示意图。
如所示出的，来自光纤出口201的激光束穿过准直透镜202、一对柱面透镜203和204、固定的图样掩模板205、傅立叶变换透镜206和环带掩模板207。还可以提供激发物镜208和检测物镜(detection objective)209以检测在样品平面210处的成像。在该实施方式中，环带掩模板207布置在傅立叶变换透镜206的傅立叶平面处。傅立叶变换透镜206将固定的图样掩模板205上的图样变换至傅立叶平面。布置在傅立叶平面处的环带掩模板207进一步截取衍射图样(即，傅立叶变换图样)。傅里叶平面(或环带的平面)共轭至激发物镜208的后焦平面，从而将对截取的图样进行逆傅立叶变换并且在样品平面210处形成无衍射2D图样。该2D图样即PBL，其将被抖动以形成用于成像的光片。
与针对不同波长将加载不同图样的SLM解决方案不同，根据本实施方式的具有固定的2D图样的固定的图样掩模板205可应用于不同的波长。根据一实施方式，环带掩模板207可以包括具有不同尺寸的多个环带，这些环带能够针对不同的波长进行切换。
特别地，在通过准直透镜202和所述一对柱面透镜203和204之后，来自光纤出口201的激光束成形为一个或更多个光片，因此更多的能量可以穿过图样掩模板，其中，不同的光片可以具有不同的波长。如所示出的，光束被定义为沿着y轴传播。
固定的图样掩模板205可以具有可能呈(但不限于)1D的点阵列或2D的点阵列形式的二维图样。其他形式的图样也可以用作图样掩模板，用以形成光片。使用不同的掩模板图样，可以制作优化用于超低光毒性或高分辨率的图样化贝塞尔片(PBS)。图2b和图2c示出了用于超低光毒性(PBS1)或高分辨率(PBS2)的掩模板图样的示例和相应的结果。从左到右，图2b和图2c示出了掩模板上的图样；掩模板图样的衍射图样；由具有适当尺寸的环带截取之后的衍射图样；在样品平面处产生的PBS的横截面；沿着黄色虚线的强度图(蓝色)与NA＝1.1的检测物镜的轴向点扩散函数(红色)的对比；以及总的点扩散函数的轴向图，其由超薄PBS压缩。
根据一实施方式，掩模板图样可以以使得PBS具有仅在检测物镜的轴向PSF内的轴向范围(沿着z轴的轮廓)的方式设计，使得可以实现最小量的背景和光漂白。已经证明，这可以(但不限于)通过如图2b中所示的单一的点线来完成。
根据一实施方式，掩模板图样可以以使得PBS由多层紧密限定的片组成的方式设计，使得总的PSF可以被中间层高度压缩以实现更好的轴向分辨率。已经证明，这可以(但不限于)通过如图2c中所示的2D的点阵列来完成。
与图1中所示的环带具有固定尺寸的SLM解决方案不同，要使用的环带的尺寸是可切换的，并且特别地选择为适合衍射图样的空间分布，从而在改变波长时需要切换环带。图2d和图2e示出了在不同波长处(对于GFP为488nm，对于mCherry为560nm)实验产生的PBL，在所述不同波长处，应用圈切换以使得适配圈被分别应用于各个波长。针对两个波长处的每个PBS的点扩散函数用20nm的荧光珠(图2d和图2e中左侧两列)测量，这与图2b和图2c中的理论图有很好的一致性。图2d和图2e中的比例尺为5μm。
图3示出了通过缩放至波长的环带产生不同波长的PBS的示例。根据本申请，环带的尺寸应当与衍射图样匹配。由于波长依赖性，衍射图样将根据不同的激光波长而改变尺寸。因此，当使用不同的颜色时，环带应当能够改变尺寸。这可以通过机械地切换环带或使用滤光器组来完成，从而仅允许特定波长穿过指定的环带，如图3中所示出的。这已经如图2d和图2e中所示地示例出了。
在下文中，将参照图4a、图4b对根据本申请的各实施方式的PBS显微镜的示例以及控制序列进行描述。
图4a和图4b示出了PBS显微镜的示例性系统示意图和控制序列。图4a示出了PBS显微镜的示例性系统示意图。光纤输出401由准直透镜402准直，并在到达图样掩模板405之前通过一对柱面透镜403和404成形为带条。透镜406用于在图样掩模板405之后执行傅里叶变换，并且将衍射图样投影到可切换的环带407上。环带407的图像被投影到电流计镜412上，该电流计镜412在成像期间抖动光束，然后图像在被投影到激发物镜408(特殊光学器件，NA0.7WD 3.5mm)的后焦平面上之前经由望远镜系统411放大3倍。PBS在相对于盖玻片平面30°的样品平面处产生。在发射物镜与检测物镜之间的相对位置固定的情况下，由压电台(piezo stage)驱动的样品被水平扫描。荧光发射由检测物镜409(Nikon，NA 1.1WD 3mm)收集并由相机412捕获。图4b示出了在如图4a中所示的PBS成像中使用的触发序列。以同步读出模式运行的相机在全局曝光期间产生高输出，并且在数据传送期间产生低输出。由AOTF控制的激光器仅在全局曝光期间打开。对于多色成像，环带圈必须在颜色之间切换。因此，样品分别通过每个波长遍及体积的进行扫描。为了使PBS抖动，驱动电流计镜以在每次曝光期间扫描一个周期。
由于环带圈的尺寸为cm级，因此在波长改变时，可以由电动滤光轮物理地切换掩模板，从而确保圈的中心位于与其改变时的位置完全相同的位置处。图2a中示出了一示例：可以使用该方法将具有根据488nm和561nm ND照明图样缩放的不同的内部NA尺寸和外部NA尺寸的两个环带圈掩模板精确地对准到光路中。
通过在电动滤光轮上增加更多设计好的圈掩模板也可以实现多色ND光片照明，如图5中所示出的。图5示出了使用电动滤光轮在两个环带圈掩模板之间快速切换的示例。具体地，环带圈掩模板“a”具有优化用于傅里叶域中的561nm照明ND图样的内部NA和外部NA；环带圈掩模板“b”具有缩放用于傅里叶域中的488nm照射ND图样的尺寸；并且电动滤光轮“c”可以在掩模板“a”与掩模板“b”之间快速切换。
根据一实施方式，对于两色(并且可以是三色)成像，更简单的方法是在保持固定的相同的物理掩模板上放置2个(或3个)圈。可以放置不同尺寸的遮板以阻挡不需要的圈(多个圈)。图5示出了使用双环带圈和切换器在两个环带圈掩模板之间快速切换的示例，其包括双圈掩模板“a”；直径在掩模板“a”的内圈与外圈之间的环带遮板“b”；以及内径在内圈与外圈之间并且外径大于掩模板“a”中的外圈的圈遮板“c”；内圈掩模板和外圈掩模板可以通过如分别在“d”和“e”中所示的组合“a”和“b”或“a”和“c”交替。也就是说，具有两个环带圈的掩模板“a”与阻挡掩模板“b”和“c”组合，当与“a”组合使用时，这些阻挡掩模板中的每一者将使光通过单个圈。该方法的优点在于，物理移动的两个阻挡掩模板仅需要被放置成阻挡圈，而不需要如图1中所示的方法的精确度，并且将可能具有成本优势。
根据一实施方式，环带圈可以被涂覆以使得仅期望波长的光能通过，即，适合于488nm光的圈将被涂覆以使得仅488nm的光能通过，同时阻挡所有其它的光。图7示出了具有两个圈状带通滤光器的掩模板。在这种情况下，将不需要移动部件。如图7中所示，使用双环带圈，并且在双环带圈的每个狭缝中增加滤光器。外圈由长通滤光器覆盖，从而将仅允许561nm的激光通过，并且内圈中的短通滤光器将只允许488nm的激光通过。这种配置允许同时获取多色图像。
根据一实施方式，还可以在傅立叶平面处使用SLM以产生任何尺寸的圈，如图8中所示。由于特征尺寸较大，其可以是简单的LCD面板或空间光模块807。也可以通过LCD面板将相位和强度图样直接放置在该傅里叶平面中，以补充甚至替代固定的空间掩模板的功能。对于多色操作，LCD面板将被编程以在不同时间显示具有适合尺寸的环带图样。部件801-806和808-812分别对应于图4a中所示的401-406和408-412。
根据一实施方式，对于同步多色成像，可以使用滤光器组来使不同波长分离，并且在通过用于每种颜色的特定环带之后使不同波长结合，如图9中所示。在系统900中，使用分色镜907分离不同波长的光束。由镜908和909分别反射的不同波长的分离光束穿过具有优化尺寸的固定掩模板910和911，然后由分色镜912结合。部件901-906和913-916分别对应于如图4a中所示的部件401-406和408-411。
替代性地，可以使用3LCD投影仪模块来同时产生多色PBS。图10中示出了使用3LCD投影仪模块1007的系统1000的示例性结构。在系统1000中，部件1001-1006和1008-1010分别对应于如图4a中所示的部件401-406和408-411。应当注意，3LCD模块还可以由具有适合尺寸的环带代替。
在第二方面中，提供了根据本申请一实施方式的用于产生没有任何结构化图样的平滑ND光片的方法和系统，其中去除了对抖动的需要。这大大降低了多色荧光显微镜系统的成本和复杂性。在下文中，这种类型的ND光片称为线性贝塞尔片(LBS)。
参照图11a，示出了根据本申请的另一实施方式的产生用于多色荧光显微镜的无衍射线性贝塞尔片(LBS)的系统1100的示例性示意图。
如所示出的，来自光纤出口1101的激光束穿过准直透镜1102、一对柱面透镜1103和1104、窄缝1105、傅里叶变换透镜1106和环带掩模板1107。还可以提供激发物镜1109和检测物镜1110以检测在样品平面1110处的成像。在该实施方式中，环带掩模板1107布置在傅立叶变换透镜1106的傅立叶平面处。傅里叶变换透镜1106将固定的图样掩模板上的狭缝图样1105变换至傅里叶平面。放置在傅里叶平面处的环带掩模板1108进一步截取衍射图样1107(即，傅里叶变换图样)。傅里叶平面(或环带的平面)共轭至激发物镜1109的后焦平面，从而将对截取的图样进行逆傅立叶变换并且在样品平面1111处形成无衍射2D图样。该2D图样——即LBS——没有沿着x轴调制，因此不需要抖动以产生用于成像的光片。
根据该实施方式的系统1100与图2a的系统200的不同之处在于固定的图样掩模板405具有为单缝的图样而不是点阵列的图样，并且环带掩模板407是具有固定的环带的掩模板，其不需要用于多色成像的切换。傅里叶变换透镜1006执行单缝的傅里叶变换，并在傅立叶空间处获得简单的线。与PBS类似，环带放置在傅里叶平面处，并进一步截取衍射图样。傅里叶平面(或环带的平面)共轭至激发物镜的后焦平面，其将对截取的衍射图样(所述线)进行逆傅立叶变换并且在样品平面处形成无衍射2D光线性贝塞尔片，即LBS。LBS不具有沿着x轴的调制，因此不需要光束抖动。
固定的环带的尺寸和宽度可以根据需要进行选择。环带可以具有不同的尺寸，从而将导致不同的SBL。特别地，使用具有不同尺寸和宽度的环带，可以制作优化用于超低光毒性或高分辨率的光片。
图11b和图11c示出了根据本实施方式的用于超低光毒性(LBS1)或高分辨率(LBS2)的掩模板图样的示例及相应的结果。从左到右，图11b和图11c示出了环带；由环带截取之后的衍射图样；在样品平面处产生的LBS的横截面；沿着黄色虚线的强度图(蓝色)与NA＝1.1的检测物镜的轴向点扩散函数(红色)的对比；以及总的点扩散函数的轴向图，其由超薄LBS压缩。
根据一实施方式，环带尺寸可以以使得SBL具有仅在检测物镜的轴向PSF内的轴向范围(沿着z轴的轮廓)的方式设计，使得可以实现最小量的背景和光漂白。已经证明，这可以(但不限于)通过使用如图11b中所示的尺寸为NAmax＝0.3和NAmin＝0.115的环带来完成。
根据一实施方式，环带尺寸可以以使得LBS具有超薄层的方式设计，使得可以紧密地压缩检测PSF的轴向范围以获得更好的轴向分辨率。已经证明，这可以(但不限于)通过使用具有如图11c中所示的尺寸NAmax＝0.4和NAmin＝0.225的环带来完成。
应当注意，PSF的紧约束能够在总的点扩散函数中产生能够影响可视化、但可以使用任何常见的去卷积方法完全去除的多峰。相同的原理应用于PBS 2。
由于单缝的衍射图样对于任何波长来说都将是简单的线，因此不需要使环带与波长匹配。因此，固定的环带可以应用于任何波长以产生LBS，如图11d、图4e及图11中所示出的。
图11d和图11e示出了实验产生的不同波长(对于GFP为488nm，对于mCherry为560nm)的LBS。针对两个波长处的每个LBS的点扩散函数用20nm的荧光珠(图11d和图11e中左边的两列)进行测量，这与图11b和图11c中的理论图有很好的一致性。图11f示出了所测量的高斯光束LBS1和LBS2的轴向轮廓。通过去除环带产生高斯光束。最大NA限制为0.5，使得光束腰的厚度为600nm，这与LBS1的厚度相当。图11d和图4e中的比例尺为5μm。
图12示出了通过固定的环带产生不同波长的LBS的示例。如所示出的，具有单缝掩模板1105和固定的环带掩模板1107的系统1100可应用于不同的波长。
在下文中，将参照图13a和图13b对根据本申请的各实施方式的LBS显微镜的示例以及其控制序列进行描述。
图13a和图13b示出了LBS显微镜的示例性系统示意图和控制序列。图13a示出了LBS显微镜的示例性系统示意图。光纤输出1301由准直透镜1302准直，并且在到达单缝掩模板1305之前通过一对柱面透镜1303和1304成形为带条。透镜1306用于在图样掩模板1305之后执行傅立叶变换，并且将衍射图样投影到固定的环带1307上。环带1307的图像在投影到激发物镜1308(特殊光学器件，NA 0.7WD 3.5mm)的后焦平面上之前经由望远镜系统1311放大3倍。LBS在相对于盖玻片平面30°的样品平面处产生。在发射物镜与检测物镜之间的相对位置固定的情况下，由压电台驱动的样品被水平扫描。荧光发射由检测物镜1309(Nikon，NA1.1WD 3mm)收集并由相机1310捕获。图13b示出了在图13a的SBL成像中使用的触发序列。以同步读出模式运行的相机在全局曝光期间产生高输出，并且在数据传送期间产生低输出。由AOTF控制的激光器仅在全局曝光期间打开。对于多色成像，针对每个帧而切换波长。由全局曝光的下降触发的压电台在两种颜色都成像之后向前移动一步。
在如图2a和图13a中所示的系统中，图样掩模板或环带可以由铬光掩模板或膜光掩模板(film photomask)廉价地制成。图样掩模板或环带还可以是激光切割或蚀刻在薄金属片上的图样。
根据一实施方式，如果线性光束直接由单个柱面透镜形成，则可以去除单缝。在如图14中所示的系统1400中，单个柱面透镜1403在不使用单缝的情况下将光束聚焦成细线并且产生LBS。部件1404-1409对应于图13中的部件1306-1311。
替代性地，可以使用一对棱镜对来将光束压缩成细线，从而产生如图15中所示的LBS。在系统1500中，为了产生LBS，使用棱镜对1503来产生窄的线性光束。部件1504-1509对应于图13中的部件1306-1311。
以上描述仅涉及本申请的一些实施方式并说明了可应用的技术原理。本领域技术人员将理解，本发明不限于上述的具体实施方式，而是还包括在不背离本发明的本质和精神的情况下由以上实施方式或其等同物中包含的特征的其他结合实现的实施方式。
Claims (16)
1.一种产生无衍射光图样化贝塞尔片(PBS)的方法，包括：
使输入光束透射通过傅里叶变换透镜以获得第一光束，其中，所述输入光束在第一平面处具有空间强度图样；
使所述第一光束透射通过布置在形成于所述傅立叶变换透镜之后的傅里叶平面处的环带掩模板以获得第二光束；以及
使所述第二光束透射通过激发物镜以形成无衍射图样化光片。
2.一种产生无衍射光线性贝塞尔片(LBS)的方法，包括：
使输入光束在第一平面处透射通过布置在所述第一平面处的环带掩模板以获得第一光束，其中，在所述第一平面处，所述输入光束沿着第一方向的强度分布比沿着垂直于所述第一方向的第二方向的强度分布窄；以及
使所述第一光束透射通过激发物镜以形成无衍射贝塞尔光片。
3.一种产生用于多色荧光显微镜的无衍射光图样化贝塞尔片(PBS)的系统，包括：
第一光学装置，所述第一光学装置配置成通过使具有多于一个波长的光束透射通过第一平面处的图样掩模板而成形所述光束从而获得图样化光束；
傅里叶变换透镜，所述傅里叶变换透镜布置在所述图样化光束所投射通过的所述图样掩模板之后，其中，所述傅里叶变换透镜具有位于所述傅里叶变换透镜之后的傅立叶平面；
环带掩模板，所述环带掩模板布置在所述傅里叶变换透镜之后的所述傅立叶平面处；
激发物镜，所述激发物镜布置在所述环带掩模板之后，并且配置成形成用于不同波长的无衍射图样化光片；以及
检测物镜，所述检测物镜垂直于所述无衍射光片而布置、并且配置成在成像装置处形成荧光图像。
4.根据权利要求3所述的系统，其中，所述图样掩模板是具有用于不同的波长的固定图样形状的掩模板。
5.根据权利要求3所述的系统，其中，所述环带掩模板被固定用于不同的波长。
6.根据权利要求5所述的系统，其中，所述固定的环带掩模板是具有多个不同尺寸的环带圈的掩模板，或者所述环带掩模板包括图样化有不同尺寸的环带圈的多个掩模板。
7.根据权利要求3所述的系统，其中，所述环带掩模板能够针对不同的波长进行切换。
8.根据权利要求3所述的系统，其中，所述环带掩模板由一组滤光器和各自的固定的环带实现，其中，所述滤光器使不同的波长分离及结合；并且各个波长同时穿过相应的固定的环带。
9.根据权利要求3所述的系统，其中，所述环带掩模板由3LCD投影仪模块实现，使得各个波长同时穿过所述3LCD投影仪模块中相应的LCD面板。
10.根据权利要求3所述的系统，其中，所述环带掩模板由具有能够在不同的时间切换的程序化图样的空间光模块或LCD面板实现。
11.一种产生用于多色荧光显微镜的无衍射光线性贝塞尔片(LBS)的系统，包括：
第一光学装置，所述第一光学装置配置成通过使具有多于一个波长的光束透射通过第一平面处的单缝掩模板来成形所述光束从而获得第一光束；
傅里叶变换透镜，所述傅里叶变换透镜布置在所述单缝掩模板之后，并且配置成使所述第一光束透射以获得第二光束，其中，所述傅里叶变换透镜具有位于所述傅里叶变换透镜之后的傅立叶平面；
环带掩模板，所述环带掩模板布置在所述傅里叶变换透镜之后的所述傅立叶平面处；
激发物镜，所述激发物镜布置在所述环带掩模板之后，并且配置成形成用于不同的波长的无衍射光片；以及
检测物镜，所述检测物镜垂直于所述无衍射光片而布置并被配置成在成像装置处形成荧光图像。
12.根据权利要求11所述的系统，其中，所述单缝掩模板被固定成用于不同的波长。
13.根据权利要求11所述的系统，其中，所述环带掩模板被固定成用于不同的波长。
14.根据权利要求11所述的系统，其中，如果在单缝的位置处产生窄线，则去除所述单缝掩模板。
15.根据权利要求14所述的系统，其中，所述窄线由单个柱面透镜产生。
16.根据权利要求14所述的系统，其中，所述窄线由棱镜对产生。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562179928P | 2015-05-22 | 2015-05-22 | |
| US62/179,928 | 2015-05-22 | ||
| PCT/CN2016/073199 WO2016188143A1 (en) | 2015-05-22 | 2016-02-02 | Methods and systems for generating non-diffracting light sheets for multicolor fluorescence microscopy |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107003509A true CN107003509A (zh) | 2017-08-01 |
| CN107003509B CN107003509B (zh) | 2021-08-06 |
Family
ID=57392565
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680003491.2A Active CN107003509B (zh) | 2015-05-22 | 2016-02-02 | 产生用于多色荧光显微镜的无衍射光片的方法和系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10942346B2 (zh) |
| EP (1) | EP3298449B1 (zh) |
| CN (1) | CN107003509B (zh) |
| WO (1) | WO2016188143A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107966799A (zh) * | 2017-12-27 | 2018-04-27 | 南方医科大学 | 一种头戴式的微型光片显微镜 |
| CN109358030A (zh) * | 2018-11-26 | 2019-02-19 | 浙江大学 | 一种具有自动对准功能的多色超分辨显微镜系统 |
| CN109656028A (zh) * | 2019-01-11 | 2019-04-19 | 中国科学院广州生物医药与健康研究院 | 一种产生无衍射光的系统及方法 |
| WO2020087998A1 (zh) * | 2018-10-28 | 2020-05-07 | 西湖大学 | 晶格光片显微镜和在晶格光片显微镜中平铺晶格光片的方法 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102017219091A1 (de) * | 2017-10-25 | 2019-04-25 | Siemens Aktiengesellschaft | Verfahren zur Erstellung eines Auswertebildes, insbesondere für eine holographische Mikroskopie |
| CN108181282B (zh) * | 2018-01-03 | 2019-03-15 | 宁波纳美致生物科技有限公司 | 一种三通道荧光定位超分辨率生物显微系统及方法 |
| US11885946B2 (en) | 2018-01-26 | 2024-01-30 | University Of Washington | Apparatuses and methods for multi-direction digital scanned light sheet microscopy |
| US11156818B2 (en) * | 2018-08-13 | 2021-10-26 | The Board Of Regents Of The University Of Texas System | Flexible light sheet generation by field synthesis |
| US11719919B2 (en) | 2019-05-13 | 2023-08-08 | Intelligent Imaging Innovations, Inc. | Automatic reduction of shadows in single plane illumination using a spatial light modulator |
| WO2021146280A1 (en) * | 2020-01-14 | 2021-07-22 | Intelligent Imaging Innovations, Inc. | Cylindrical lattice lightsheet - simplified lattice illuminator for lightsheet microscope |
| CN113670870A (zh) * | 2021-08-04 | 2021-11-19 | 深圳大学 | 一种基于多缝干涉照明的大视场光片显微成像系统及方法 |
| WO2024068455A1 (en) * | 2022-09-26 | 2024-04-04 | Consiglio Nazionale Delle Ricerche | System and method for multicolor light sheet microscopy |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050046818A1 (en) * | 2001-07-27 | 2005-03-03 | Mark Neil | Method of and apparatus for generating a light beam |
| US20090310206A1 (en) * | 2006-06-19 | 2009-12-17 | Danmarks Tekniske Universitet | Light beam generation |
| US20110174986A1 (en) * | 2008-09-30 | 2011-07-21 | Michael Kempe | Apparatus, Especially Microscope, for the Analysis of Samples |
| WO2012003259A1 (en) * | 2010-06-30 | 2012-01-05 | The Government Of The U.S.A., Represented By The Secretary, Department Of Health And Human Services | System and method of producing nondiffracting light sheets by a multiplicity of spatially overlapping, minimally interfering nondiffracting optical beams |
| CN104204898A (zh) * | 2012-04-03 | 2014-12-10 | 圣安德鲁斯大学董事会 | 扩展容积的高分辨率成像 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3746455A (en) * | 1971-03-08 | 1973-07-17 | Ibm | Dimensional measurement technique using optical filtering |
| US6404482B1 (en) * | 1992-10-01 | 2002-06-11 | Nikon Corporation | Projection exposure method and apparatus |
| US8553733B2 (en) * | 2007-02-26 | 2013-10-08 | Hamamatsu Photonics K.K. | Light source device, observation device, and processing device |
| DE102007063274B8 (de) * | 2007-12-20 | 2022-12-15 | Albert-Ludwigs-Universität Freiburg | Mikroskop |
| EP2494399A4 (en) * | 2009-10-29 | 2018-01-17 | California Institute of Technology | Multiple-photon excitation light sheet illumination microscope |
| US10051240B2 (en) * | 2010-06-14 | 2018-08-14 | Howard Hughes Medical Institute | Structured plane illumination microscopy |
| US8711211B2 (en) * | 2010-06-14 | 2014-04-29 | Howard Hughes Medical Institute | Bessel beam plane illumination microscope |
| US8837045B2 (en) * | 2012-09-21 | 2014-09-16 | The Board Of Trustees Of The University Of Illinois | Diffraction phase microscopy with white light |
| CN107655812A (zh) * | 2013-12-18 | 2018-02-02 | 香港科技大学 | 深层细胞超分辨率成像的方法、系统及棱镜光薄片装置 |
| CN104515760B (zh) * | 2014-12-17 | 2017-10-31 | 深圳市纳观生物有限公司 | 双色荧光定位超分辨率生物显微方法及系统 |
| US10310246B2 (en) * | 2016-09-28 | 2019-06-04 | SCREEN Holdings Co., Ltd. | Converter, illuminator, and light sheet fluorescence microscope |
-
2016
- 2016-02-02 WO PCT/CN2016/073199 patent/WO2016188143A1/en active Application Filing
- 2016-02-02 EP EP16799032.4A patent/EP3298449B1/en active Active
- 2016-02-02 CN CN201680003491.2A patent/CN107003509B/zh active Active
- 2016-02-02 US US15/544,890 patent/US10942346B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050046818A1 (en) * | 2001-07-27 | 2005-03-03 | Mark Neil | Method of and apparatus for generating a light beam |
| US20090310206A1 (en) * | 2006-06-19 | 2009-12-17 | Danmarks Tekniske Universitet | Light beam generation |
| US20110174986A1 (en) * | 2008-09-30 | 2011-07-21 | Michael Kempe | Apparatus, Especially Microscope, for the Analysis of Samples |
| WO2012003259A1 (en) * | 2010-06-30 | 2012-01-05 | The Government Of The U.S.A., Represented By The Secretary, Department Of Health And Human Services | System and method of producing nondiffracting light sheets by a multiplicity of spatially overlapping, minimally interfering nondiffracting optical beams |
| CN104204898A (zh) * | 2012-04-03 | 2014-12-10 | 圣安德鲁斯大学董事会 | 扩展容积的高分辨率成像 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107966799A (zh) * | 2017-12-27 | 2018-04-27 | 南方医科大学 | 一种头戴式的微型光片显微镜 |
| WO2020087998A1 (zh) * | 2018-10-28 | 2020-05-07 | 西湖大学 | 晶格光片显微镜和在晶格光片显微镜中平铺晶格光片的方法 |
| US11885947B2 (en) | 2018-10-28 | 2024-01-30 | Westlake University | Lattice light sheet microscope and method for tiling lattice light sheet in lattice light sheet microscope |
| CN109358030A (zh) * | 2018-11-26 | 2019-02-19 | 浙江大学 | 一种具有自动对准功能的多色超分辨显微镜系统 |
| CN109656028A (zh) * | 2019-01-11 | 2019-04-19 | 中国科学院广州生物医药与健康研究院 | 一种产生无衍射光的系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10942346B2 (en) | 2021-03-09 |
| CN107003509B (zh) | 2021-08-06 |
| EP3298449A1 (en) | 2018-03-28 |
| US20180011303A1 (en) | 2018-01-11 |
| EP3298449B1 (en) | 2022-05-04 |
| EP3298449A4 (en) | 2019-02-06 |
| WO2016188143A1 (en) | 2016-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107003509A (zh) | 产生用于多色荧光显微镜的无衍射光片的方法和系统 | |
| CN106970055B (zh) | 一种三维荧光差分超分辨显微方法及装置 | |
| CN102455501B (zh) | 具有连续片光源的spim显微镜 | |
| US8705172B2 (en) | Microscopy method and microscope with enhanced resolution | |
| US9201011B2 (en) | Increased depth-resolution microscopy | |
| US7679741B2 (en) | Method and microscope for high spatial resolution examination of samples | |
| JP6272617B2 (ja) | 複数のサブ画像から構成される物体の複合画像を生成するための方法 | |
| US8773758B2 (en) | Microscope apparatus with an imaging system including an astigmatic difference changing device | |
| US20130126755A1 (en) | Method and device for simultaneous multi-channel and multi-method acquisition of synchronized parameters in cross-system fluorescence lifetime applications | |
| JP2021165851A (ja) | ライトシート顕微鏡法のための構成及び方法 | |
| JP2015135463A (ja) | 顕微鏡装置、及び、顕微鏡システム | |
| CN108169887B (zh) | 3d多焦面结构光快速显微成像系统及方法 | |
| CN111971606B (zh) | 具有高空间分辨率的时间分辨成像方法 | |
| JP2007233370A (ja) | 試料を高い空間分解能で検査するための方法および顕微鏡 | |
| CN106980174A (zh) | 一种综合性荧光超分辨显微成像装置 | |
| US20160041099A1 (en) | Light sheet fluorescence and differential interference contrast microscope | |
| JP5884021B2 (ja) | マルチスペクトル撮像装置およびマルチスペクトル撮像方法 | |
| CN108121059A (zh) | 一种基于结构光照明的sted并行显微成像系统 | |
| CN110114709A (zh) | 确定荧光强度的方法和显微镜 | |
| CN106707485B (zh) | 一种小型结构光显微照明系统 | |
| JP2016212154A (ja) | 走査型顕微鏡システム | |
| DE102016116311A1 (de) | Winkelselektive Beleuchtung | |
| CN105136756A (zh) | 一种彩色超分辨成像装置及方法 | |
| CN101819319A (zh) | 使用菲涅尔双棱镜产生多层光片的荧光显微方法及装置 | |
| EP2889666A1 (en) | Image generation system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |