CN111007046B - 基于主动随机调制激发光的超分辨显微成像方法及装置 - Google Patents

基于主动随机调制激发光的超分辨显微成像方法及装置 Download PDF

Info

Publication number
CN111007046B
CN111007046B CN201911245622.XA CN201911245622A CN111007046B CN 111007046 B CN111007046 B CN 111007046B CN 201911245622 A CN201911245622 A CN 201911245622A CN 111007046 B CN111007046 B CN 111007046B
Authority
CN
China
Prior art keywords
light
lens
light source
modulation
reflector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911245622.XA
Other languages
English (en)
Other versions
CN111007046A (zh
Inventor
马炯
刘志佳
王保举
穆全全
糜岚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201911245622.XA priority Critical patent/CN111007046B/zh
Publication of CN111007046A publication Critical patent/CN111007046A/zh
Application granted granted Critical
Publication of CN111007046B publication Critical patent/CN111007046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明属于光学显微技术领域，具体为一种基于主动随机调制激发光的超分辨显微成像方法及装置。本发明采用可控制的阵列光源调制激发光源，阵列光源的每个发光单元都可以进行随机且独立的亮暗调制使得激发光经调制形成随机且独立闪烁点阵光场。激发光经过显微成像系统照射在待测样品上，激发样品中的荧光点产生涨落特征明显的荧光信号，最终荧光信号通过高性能电荷耦合器件采集上百幅按照时间序列排布的原始图像，利用高阶相关性算法进行图像处理，最后形成超分辨图像。本发明只需要改变激发光源的设置就能实现高阶的运算，获得分辨率更高的样本图像，操作简单，成本低，应用范围广，可应用于各种利用荧光信号实现光学成像的生物研究。

Description

基于主动随机调制激发光的超分辨显微成像方法及装置
技术领域
本发明属于光学显微技术领域，具体涉及一种超分辨显微成像方法及装置。
背景技术
人类对微观世界的探索起源于第一台显微镜的发明(1665年)，之后随着显微镜制作工艺的不断改进以及人们对微观世界日益增长的好奇心，使得显微镜对分辨率的要求越来越高，但由于衍射极限的存在,几十年来光学显微镜的分辨率停滞在了200nm左右。想要研究200nm以下的生物体结构，尤其是含亚细胞结构的细胞水平的生物结构，就必须突破光学显微镜的衍射极限，使得显微分辨率达到200nm以下。2014年诺贝尔化学奖颁发给了美国及德国三位科学家Eric Betzig、Stefan W.Hell和William E.Moerner，获奖理由是“研制出超分辨率荧光显微镜”。几位获奖者巧妙设计了避开衍射极限的方法，其研究突破性地将光学显微镜带入了纳米维度。
但无论荧光光激活定位显微镜(PALM)还是随机光学重构显微镜(STORM)都有着许多局限性，比如特定要求的荧光染料，较长的图像采集时间。受激发射损耗(STED)技术需要搭建复杂的光学体统，同时容易造成样品的光漂泊。结构光照明显微镜(SIM)对染料没有特殊需求，但是只能达到100nm左右的分辨率并且需要复杂的光学系统。近年来，基于光学涨落超分辨光学成像的方法如光学波动超分辨(SOFI)通过对图像时序上的信号波动分析就可以实现超分辨图像。但是，SOFI技术中提高图像分辨率依赖于高阶相关性算法。虽然在理论上SOFI能够使得图像分辨率无限小，但受制于荧光在时序上的波动不明显，但是计算到高阶时无法还原出图像。
发明内容
本发明针对目前荧光涨落实现超分辨由于实际情况无法行高阶运算，达到更高分辨率的问题，提供了一种基于主动随机调制激发光的超分辨显微成像方法及装置。
本发明提供的超分辨显微成像方法，是基于主动随机调制激发光技术的，具体步骤为：
(1)提供样品；
(2)采用可控制阵列调制光源(包括SLM、DMD、LED阵列)主动调制激发光，激发光经过显微系统光路照射样品，对样品进行随机照射，标记荧光点被无序随机点亮；所述可控制阵列调制光源，其每个发光单元都可以进行随机且独立的亮暗调制使得激发光经调制形成随机且独立闪烁点阵光场；
(3)由相机接收经过主动调制的荧光图像，捕捉至少500幅按照时间序列排列的原始图像；
(4)通过显微成像系统对被相机收集的图像信息进行高阶信号相关性算法解析，得到高阶解析图像，实现超分辨成像。
本发明中，采用可调制阵列光源对每个照明单元进行随机亮暗调制，使得初始的均匀光场变为随机闪烁的点阵光场，并通过显微成像系统照射样品，引导样品信号随机波动，并利用CCD探测器收集图像序列，经高阶相关性算法解析，得到超分辨图像。
本发明中，所述可控制的阵列光源1调制可以是空间光调制，也可以是DMD或LED阵列等光阵列调制。无论哪种阵列调制技术，所述阵列光源都必须具备将每个发光单元控制在(6.4-32)μm*(6.4-32)μm范围内的能力。
本发明提供的基于主动随机调制激发光的超分辨显微成像装置，包括：可控制的阵列光源1，第一透镜2，第二透镜3，第一反射镜4，第二反射镜5，二向色镜6，物镜7，载物台8，第三反射镜9，探测器10；这些部件依次光路连接组成超分辨显微成像装置；其中：
所述可控制的阵列光源1输出的光依次经由第一透镜2和第二透镜3进行扩束，扩束后的光依次经由第一反射镜4和第二反射镜5后经由二向色镜6使激发光进入物镜7，照射在载物台8的样品上，样品发射的荧光透过二向色镜6经第三反射镜9进入探测器10。
本发明中，当所述阵列光源1采用空间光调制器来实现时，光路包括：激光光源1-1，第一透镜1-2，第二透镜1-3，第一反射镜1-4，第二反射镜1-5，第三透镜1-6，第四透镜1-7，第三反射镜1-8，第一线偏振片1-9，二分之一波片1-10，空间光调制器1-11，第二线偏振片1-12，第五透镜1-13；这些部件依次光路连接组成空间光调制器随机调制光路；其中：
从激光光源1-1输出的激光依次经由第一透镜1-2和第二透镜1-3进行扩束，扩束后的光依次经由第一反射镜1-4和第二反射镜1-5进入第三透镜1-6和第四透镜1-7进行第二次扩束；两次扩束后的激光经过第三反射镜1-8进入到第一线偏振片1-9，经过第一线偏振片得到的线偏光通过二分之一波片1-10进行旋转，直到平行于空间光调制器的长边；此时入射光才能够被空间光调制器1-11调制，出射光经过第二线偏振片1-12调整后进入第五透镜1-13；通过计算机软件向空间光调制器的控制器输入一个时间序列各个像素位置随机亮暗控制的图像集合，从而达到随机调制激发光源的作用。
本发明中，不管选择哪种方法产生激发光源，最终相机都会拍摄一个连续时间序列的原始图像集合，由于光源阵列的随机调制，使得样品荧光也受到随机调制，增加了原先激发荧光的涨落程度，使得样本中发射荧光的量子点受到周围随机调制的激发光影响，并使发光点和周围的像素块不相关性增强。在之后利用高阶相关性算法进行图像分析时，随机调制的荧光使得各像素之间相关性特征更加明显，将能够完成更高阶信号相关性算法，解析出分辨率更高的图像。由此来提高样品图像的分辨率。
本发明中，所述对于原始图像处理的高阶信号相关性算法，是利用单元随机闪烁导致每个像素块与周围像素块的相关性不同来进行计算，该算法原理是利用互相关累计函数转换为高阶累积量：
Figure BDA0002307497140000031
Figure BDA0002307497140000032
Figure BDA0002307497140000033
......
Figure BDA0002307497140000034
其中，
Figure BDA0002307497140000035
为n阶累积量，τn为所取信号n次相关延时量，Gn(r,τ1,...,τn)为n阶互相关累计函数：
δF(r,t)＝F(r,t)-<F(r,t)>t
Gn(r,τ1,...,τn-1)＝<δF(r,t+τ1)...δF(r,t+τn-1)>t
其中，F(r,t)表示在t时刻、r位置上某点的信号值。
本发明与现有的宽场显微镜下被动超分辨显微技术相比，具有如下优点：
1、本发明通过主动随机调制激发光的方式使得荧光标记点具有了闪烁特性，从而使得荧光波动信号可以进行更高阶的相关性运算，获得更高的分辨率；
2、本发明其操作简单，成本低，应用范围广，可应用于各种利用荧光信号实现光学成像的生物研究。本发明最大优点在于仅需要通过更改激发光源就可以增加并控制荧光点的涨落特性，最终实现更高分辨率的显微成像。
附图说明
图1为本发明整体显微成像系统的基本结构示意图。
图2为本发明中利用空间光调制器调制作为激发光源方案的示意图。
图3为本发明所涉及实例在对荧光碳量子点进行主动时间调制时最终通过算法处理的各阶结果图。其中，(a)为荧光宽场图像，(b)为经调制后二阶相关运算图像。(c)为经调制后四阶相关运算图像，(d)为经调制后六阶相关运算图像，(e)为经调制后八阶相关运算图像，(f)为(e)中白色框放大的图像。
图4为本发明所涉及实例在对荧光碳量子点不进行主动调制时最终通过算法处理的各阶结果图。其中，(a)为荧光宽场图像，(b)为经调制后二阶相关运算图像，(c)为经调制后四阶相关运算图像，(d)为(b)中白色框内放大的图像。
图5为本发明所涉及有调制八阶结果图和无调制二阶结果图对照数据图。
图中标号：1可调制的微阵列光源，2为第一透镜，3为第二透镜，4为第一反射镜，5为第二反射镜，6为二向色镜，7为物镜，8为载物台，第三反射镜9，CCD探测器10；1-1为激光光源，1-2围第一透镜，1-3为第二透镜，1-4为第一反射镜，1-5第二反射镜，1-6为第三透镜，1-7为第四透镜，1-8为第三反射镜，1-9为第一线偏振片，1-10为二分之一波片，1-11为空间光调制器，1-12为第二线偏振片，1-13为第五透镜。
具体实施方式
如图1所示主动随机调制激发光阵列照射的超分辨显微成像装置结构示意图，装置包括：可调制的阵列光源1，第一透镜2，第二透镜3，第一反射镜4，第二反射镜5，二向色镜6，物镜7，载物台8，第三反射镜9，CCD探测器10；这些部件依次光路连接组成超分辨显微成像装置。
其中，可调制阵列光源在本具体实施实例中选择使用空间光调制器来实现，其光路设置如图2所示，包括：激光光源1-1，第一透镜1-2，第二透镜1-3，第一反射镜1-4，第二反射镜1-5，第三透镜1-6，第四透镜1-7，第三反射镜1-8，第一线偏振片1-9，二分之一波片1-10，空间光调制器1-11，第二线偏振片1-12，第五透镜1-13；这些部件依次光路连接组成空间光调制器随机调制光路。
从激光光源1-1输出的488nm连续激光依次经由第一透镜1-2和第二透镜1-3进行扩束，扩束后的光依次经由第一反射镜1-4和第二反射镜1-5进入第三透镜1-6和第四透镜1-7进行第二次扩束；两次扩束后的激光经过第三反射镜1-8进入到第一线偏振片1-9，经过第一线偏振片得到的线偏光通过二分之一波片1-10进行旋转，直到平行于空间光调制器的长边；此时入射光才能够被空间光调制器1-11调制。同时，通过计算机软件向空间光调制器的控制器输入一个时间序列各个激发光单元位置随机明暗控制的投影集合，从而达到随机调制激发光源的作用。出射光经过第二线偏振片1-12调整后进入第五透镜1-13。之后激发光经由第一透镜2和第二透镜3进行扩束，扩束后的光依次经由第一反射镜4和第二反射镜5后经由二向色镜6使部分光进入物镜7，照射在载物台8的样品上，样品发射的荧光透过二向色镜6经由第三反射镜9进入探测器10。本样品选择为由488nm激发，辐射中心波长为605nm碳量子点，直径为15-20nm，将8μM的碳量子点用移液器抽取8碳L滴在0.17mm的玻片上放置在样品台。
探测器收集1000张按照时间序列排列的原始图像，进行高阶相关性算法解析，将得到不同阶数解析下的超分辨图像结果，如图3所示。
同时观察没有进行调制的荧光图像，对其进行算法处理后发现到四阶运算时已经没有办法观察到视野里有量子点(如图4)。
对无调制二阶和有调制八阶图像进行分析(如图5)，经过数据分析得出八阶图像量子点的半宽高为69nm，而二阶图像的半宽高为526nm，分辨率有了明显的提升。
上述实施例用于解释理解本发明技术方案，并不对本发明思路及技术方案进行限制。

Claims (4)

1.一种基于主动随机调制激发光的超分辨显微成像方法，其特征在于，具体步骤为：
(1)提供样品；
(2)采用可控制阵列调制光源主动调制激发光，激发光经过显微系统光路照射样品，对样品进行随机照射，标记荧光点被无序随机点亮；所述可控制阵列调制光源，其每个发光单元都可以进行随机且独立的亮暗调制使得激发光经调制形成随机且独立闪烁点阵光场；
所述可控制阵列调制光源采用空间光调制器来实现，通过计算机软件向空间光调制器的控制器输入一个时间序列各个像素位置随机亮暗控制的图像集合，从而达到随机调制激发光源的作用；
(3)由相机接收经过主动调制的荧光图像，捕捉至少500幅按照时间序列排列的原始图像；
(4)通过显微成像系统对被相机收集的图像信息进行高阶信号相关性算法解析，得到高阶解析图像，实现超分辨成像；
所述的高阶信号相关性算法，是利用单元随机闪烁导致每个像素块与周围像素块的相关性不同来进行计算，该算法原理是将互相关累计函数转换为高阶累积量：
Figure FDA0003860419330000011
Figure FDA0003860419330000012
Figure FDA0003860419330000013
Figure FDA0003860419330000014
其中，
Figure FDA0003860419330000015
为n阶累积量，τn为所取信号n次相关延时量，Gn(r,τ1,...,τn)为n阶互相关累计函数：
δF(r,t)＝F(r,t)-<F(r,t)>t
Gn(r,τ1,...,τn-1)＝<δF(r,t+τ1)...δF(r,t+τn-1)>t
其中，F(r,t)表示在t时刻、r位置上某点的信号值。
2.根据权利要求1所述的超分辨显微成像方法，其特征在于，所述可控制阵列调制光源为SLM阵列、DMD阵列或LED阵列；可控制阵列调制光源具备将每个发光单元控制在(6.4-32)μm*(6.4-32)μm范围内的能力。
3.一种基于主动随机调制激发光的超分辨显微成像装置，其特征在于，包括：可控制阵列调制光源，第一透镜，第二透镜，第一反射镜，第二反射镜，二向色镜，物镜，载物台，第三反射镜，探测器；这些部件依次光路连接组成超分辨显微成像装置；其中：
所述可控制阵列调制光源输出的光依次经由第一透镜和第二透镜进行扩束，扩束后的光依次经由第一反射镜和第二反射镜后经由二向色镜使激发光进入物镜，照射在载物台的样品上，样品发射的荧光透过二向色镜经第三反射镜进入探测器；
所述可控制阵列调制光源采用空间光调制器来实现，光路包括：激光光源，第六透镜，第七透镜，第四反射镜，第五反射镜，第三透镜，第四透镜，第六反射镜，第一线偏振片，二分之一波片，空间光调制器，第二线偏振片，第五透镜；这些部件依次光路连接组成空间光调制器随机调制光路；其中：
从激光光源输出的激光依次经由第六透镜和第七透镜进行扩束，扩束后的光依次经由第四反射镜和第五反射镜进入第三透镜和第四透镜进行第二次扩束；两次扩束后的激光经过第六反射镜进入到第一线偏振片，经过第一线偏振片得到的线偏光通过二分之一波片进行旋转，直到平行于空间光调制器的长边；此时入射光才能够被空间光调制器调制，出射光经过第二线偏振片调整后进入第五透镜；通过计算机软件向空间光调制器的控制器输入一个时间序列各个像素位置随机亮暗控制的图像集合，从而达到随机调制激发光源的作用；
相机拍摄到一个连续时间序列的原始图像集合，经过光源阵列的随机调制，样品荧光也受到随机调制，增加原先激发荧光的涨落程度，使得样本中发射荧光的量子点受到周围随机调制的激发光影响，并使发光点和周围的像素块不相关性增强；之后利用高阶相关性算法进行图像分析，随机调制的荧光使得各像素之间相关性特征更加明显，完成更高阶信号相关性算法，解析出分辨率更高的图像；
对于原始图像进行处理的高阶信号相关性算法，是利用单元随机闪烁导致每个像素块与周围像素块的相关性不同来进行计算，该算法原理是将互相关累计函数转换为高阶累积量：
Figure FDA0003860419330000031
Figure FDA0003860419330000032
Figure FDA0003860419330000033
Figure FDA0003860419330000034
其中，
Figure FDA0003860419330000035
为n阶累积量，τn为所取信号n次相关延时量，Gn(r,τ1,...,τn)为n阶互相关累计函数：
δF(r,t)＝F(r,t)-<F(r,t)>t
Gn(r,τ1,...,τn-1)＝<δF(r,t+τ1)...δF(r,t+τn-1)>t
其中，F(r,t)表示在t时刻、r位置上某点的信号值。
4.根据权利要求3所述的超分辨显微成像装置，其特征在于，所述可控制阵列调制光源为SLM、DMD或LED阵列；可控制阵列调制光源具备将每个发光单元控制在(6.4-32)μm*(6.4-32)μm范围内的能力。
CN201911245622.XA 2019-12-07 2019-12-07 基于主动随机调制激发光的超分辨显微成像方法及装置 Active CN111007046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911245622.XA CN111007046B (zh) 2019-12-07 2019-12-07 基于主动随机调制激发光的超分辨显微成像方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911245622.XA CN111007046B (zh) 2019-12-07 2019-12-07 基于主动随机调制激发光的超分辨显微成像方法及装置

Publications (2)

Publication Number Publication Date
CN111007046A CN111007046A (zh) 2020-04-14
CN111007046B true CN111007046B (zh) 2022-12-20

Family

ID=70114088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911245622.XA Active CN111007046B (zh) 2019-12-07 2019-12-07 基于主动随机调制激发光的超分辨显微成像方法及装置

Country Status (1)

Country Link
CN (1) CN111007046B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111678902A (zh) * 2020-07-24 2020-09-18 纳观生物有限公司 三通道荧光定位超分辨率生物显微系统及显微方法
CN113658056B (zh) * 2021-07-14 2024-04-26 复旦大学 一种基于图像梯度方差分析的序列图像超分辨修正方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011084315A1 (de) * 2011-10-12 2013-04-18 Carl Zeiss Microscopy Gmbh Hochauflösende Lumineszenzmikroskopie
DE102012205032A1 (de) * 2012-03-28 2013-10-02 Carl Zeiss Microscopy Gmbh Hochauflösende Fluoreszenzmikroskopie
CN105807289B (zh) * 2016-05-04 2017-12-15 西安交通大学 基于预置可调制光源的高速计算关联成像系统及成像方法
CN109900356B (zh) * 2019-03-15 2021-07-27 中国科学院微电子研究所 关联成像方法及装置
CN110132910B (zh) * 2019-04-01 2022-01-28 中国科学院上海光学精密机械研究所 基于光场多维信息融合显微超分辨成像装置和成像方法

Also Published As

Publication number Publication date
CN111007046A (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
US10352860B2 (en) Super resolution microscopy
CN108474755B (zh) 时间压缩感测系统
US11681135B2 (en) Structured illumination microscopic imaging system
US9012868B2 (en) Fluorescence microscopy methods and apparatus
CN111007046B (zh) 基于主动随机调制激发光的超分辨显微成像方法及装置
US20130126755A1 (en) Method and device for simultaneous multi-channel and multi-method acquisition of synchronized parameters in cross-system fluorescence lifetime applications
CN108333151B (zh) 一种基于飞秒脉冲整形的超分辨显微成像系统及成像方法
CN105452931B (zh) 高分辨率3d荧光显微术
CN107202780A (zh) 一种基于散斑照明的超分辨显微方法和装置
Qu et al. Recent progress in multifocal multiphoton microscopy
CN114967092B (zh) 基于压缩感知的超高速结构光照明超分辨显微成像装置
CN111239992A (zh) 基于环形阵列光源照明的超分辨率全内反射显微成像装置及方法
Kumar et al. MicroLED/LED electro-optical integration techniques for non-display applications
Ghezzi et al. Computational based time-resolved multispectral fluorescence microscopy
CN103364345A (zh) 基于数字微镜元件的全反射显微镜环形扫描方法和装置
CN116224560A (zh) 一种单振镜扫描光场成像系统和方法
CN106872559B (zh) 一种超分辨生物分子质谱成像装置及其工作方法
CN111239081B (zh) 基于环形阵列光源照明的超分辨率全内反射显微成像装置及方法
US9535242B1 (en) Parallel programmable array microscope
Sroda et al. Super-resolution optical fluctuation image scanning microscopy (SOFISM)
CN112620113B (zh) 一种基于扫描式光镊的纳米颗粒筛选与分离装置
Aluko et al. Semi-autonomous real-time programmable fluorescence lifetime segmentation with a digital micromirror device
Jin et al. System design of microscopic ghost imaging
Zhang et al. Wavefront modulation with spatial light modulator for Fourier ptychographic microscopy
US11156818B2 (en) Flexible light sheet generation by field synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant