CN115619646B - 一种深度学习的亚五十纳米结构光照明超分辨成像方法 - Google Patents
一种深度学习的亚五十纳米结构光照明超分辨成像方法 Download PDFInfo
- Publication number
- CN115619646B CN115619646B CN202211577360.9A CN202211577360A CN115619646B CN 115619646 B CN115619646 B CN 115619646B CN 202211577360 A CN202211577360 A CN 202211577360A CN 115619646 B CN115619646 B CN 115619646B
- Authority
- CN
- China
- Prior art keywords
- resolution
- network
- image
- sim
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 31
- 230000003287 optical effect Effects 0.000 title claims abstract description 15
- 238000005286 illumination Methods 0.000 title claims abstract description 13
- 238000013135 deep learning Methods 0.000 title claims description 9
- 239000002086 nanomaterial Substances 0.000 title description 6
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000006731 degradation reaction Methods 0.000 claims abstract description 8
- 230000015556 catabolic process Effects 0.000 claims abstract description 7
- 238000005457 optimization Methods 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 8
- 238000002474 experimental method Methods 0.000 claims description 7
- 238000004088 simulation Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 239000010409 thin film Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000010870 STED microscopy Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 206010034972 Photosensitivity reaction Diseases 0.000 description 2
- 230000031018 biological processes and functions Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010859 live-cell imaging Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000007578 phototoxic dermatitis Diseases 0.000 description 2
- 231100000018 phototoxicity Toxicity 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明公开了一种亚五十纳米结构光照明超分辨显微成像方法，涉及光学超分辨显微成像领域，先通过图像退化获得高分辨STORM图像和低分辨SIM图像并进行配对、再对配对的数据进行训练数据集制作，然后通过训练的去噪网络进行去噪优化，最后通过SIM超分辨重构，输出高分辨率图像，本发明将传统SIM技术的分辨率提升至50 nm，同时不损失其快速、低光毒性、长时程成像能力；所需的训练集通过高分辨图像退化得到，无需实验获取，无需复杂的配准过程，大大降低了训练集的制作难度；本方法不增加任何系统复杂度，可基于任何已有SIM系统实现，应用范围广。
Description
技术领域
本发明涉及光学超分辨显微成像的技术领域，尤其涉及一种深度学习的亚五十纳米结构光照明超分辨成像方法。
背景技术
在生命科学中，荧光显微镜是研究细胞时空动态的关键工具，在过去的几十年里，人们发明出许多技术对细胞内的生物过程进行超分辨成像，如可达到百纳米分辨率的结构光照明显微镜（SIM）、可达到亚五十纳米分辨率的受激发射损耗显微术（STED）和随机光学重构显微术（STORM）。这些生物过程的观测质量不仅取决于所用光学设备的空间分辨率，还取决于所需的时间分辨率、成像深度、采集的荧光密度、光漂白和光毒性等。然而这些成像参数之间往往都是矛盾，难以在一套成像技术中同时优化分辨率、速度、曝光和成像深度等方面，必须进行权衡。例如，SIM中通过减少曝光时间可以获得成像速度但是会牺牲信噪比，STED中通过提高光功率可以提升空间分辨率但是会增大光漂白，STORM中通过获取更多帧原始图像也可以提高分辨率但是会延长成像时间。
SIM是公认的最适用于快速超分辨成像的技术，其可以在百纳米分辨率水平尽可能平衡其他成像参数，实现对活细胞的快速和长时程成像。近年来也有提高其空间分辨率的探索，但都会导致其他性能的降低，如非线性SIM可以将分辨率提升至~50 nm，但所需的光功率急剧升高，从而难以适用于活细胞成像，稀疏反卷SIM可以将分辨率提升至60 nm左右，也适用于活细胞成像，但是其需要针对特定结构进行调参，大大限制了应用范围。因此，目前SIM仍然无法在亚五十纳米分辨率水平下对活细胞进行更具普适性的快速、长时程成像。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，本发明提供了一种深度学习的亚五十纳米结构光照明超分辨成像方法。
本发明的一种深度学习的亚五十纳米结构光照明超分辨成像方法，包括以下步骤：
S1：图像退化，通过仿真或实验获得SIM光学显微系统的点扩散函数图像，将点扩散函数图像与开源或实验获得的高分辨STORM图像进行卷积、向下采样获得低分辨SIM成像结果，将对应的高分辨STORM图像和低分辨SIM图像进行配对得到配对数据；
S2：训练数据集制作，对配对数据进行随机分割，并通过旋转进行数据增强，将高分辨STORM图像归一化后设置阈值，去除信息密度低于阈值的图像对；
S3：去噪网络、超分辨网络结构与训练，训练去噪网络得到去噪网络初始参数，将该参数导入联合网络去噪部分，进行联合训练，当联合网络对测试集测试所得均方根误差最小时则得到联合网络最优参数；
S4：SIM超分辨重构，将若干张低分辨SIM图像输入对应的去噪网络与超分辨网络联合训练组成的跨模态网络，加载网络训练过程中保存的均方根误差最低时得到的最优权重，输出高分辨率结果。
作为优选，所述步骤S1包括以下子步骤：
S1.1：将开源或实验获得的高分辨STORM图像与至少3个方向、至少3个相位的照明条纹相乘；
S1.2：通过仿真或实验获得SIM光学显微系统的点扩散函数图像，并与步骤S1.1的相乘结果进行卷积；
S1.3：对步骤S1.2的卷积结果根据像素尺寸对应关系进行下采样，得到仿真的高信噪比SIM初始数据；
S1.4：在仿真的高信噪比SIM初始数据中加入高斯噪声和泊松噪声模拟低信噪比下的SIM成像结果。
作为优选，所述步骤S2包括以下子步骤：
S2.1：利用matlab对配对数据进行随机分割；
S2.2：对分割图像进行90°，180°旋转进行数据增强；
S2.3：将STORM图归一化后设置阈值，去除信息密度低的图像对；
S2.4：重复上述步骤，形成5000对训练数据和500对验证数据集。
作为优选，所述步骤S3包括以下子步骤：
S3.1：将仿真的高信噪比SIM初始数据作为网络输入，单独训练去噪网络，损失函数的取值降低至网络收敛，保存参数；
S3.2：将提前训练好的去噪网络参数重新加载至联合网络中的去噪部分；
S3.3：将仿真的高信噪比SIM初始数据作为网络输入，高分辨STORM图像作为真值；
S3.4：经迭代优化缩小输出与真值间差距，至网络收敛，保存训练中联合网络最优权重。
作为优选，所述步骤S4包括以下子步骤：
S4.1：利用正弦条纹光照明样品，得到9张原始图片；
S4.2：将在低分辨率、低信噪比成像条件下得到的SIM九张初始图像数据输入联合网络；
S4.3：加载训练中保存的联合网络最优权重，网络输出则为高分辨率结果。
与现有技术相比，本发明具有以下有益的技术效果：
（1）可将传统SIM技术的分辨率提升至亚50 nm，同时不损失其快速、低光毒性、长时程成像能力；
（2）本方法不增加任何系统复杂度，可基于任何已有SIM系统实现；
（3）本方法所需的训练集通过高分辨图像退化得到，无需实验获取，无需复杂的配准过程，大大降低了训练集的制作难度；
（4）本方法也可用于将其他低分辨率技术，如光片显微镜、共聚焦显微镜等的分辨率提升至亚五十纳米水平。
附图说明
下面结合附图和实施方式对本发明作进一步详细的说明。
图1是本发明的一种深度学习的亚五十纳米结构光照明超分辨成像方法流程图；
图2是本发明的图像退化流程图；
图3是本发明的训练集制作流程图；
图4是本发明的SIM超分辨重构流程图；
图5是本发明所使用的去噪深度学习网络结构与超分辨网络结构示意图；
图6是本发明在宽场照明下成像结果图；
图7是本发明的重建结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1
以SIM到STORM的跨模态实施场景为例，参阅图1，其为本发明的步骤流程图，包括以下步骤：
（1）图像退化：
如图2所示，图像退化过程包括仿真/实际采集SIM系统的点扩散函数，将开源或实验获取的STORM图像与三个方向、三个相位的照明条纹相乘后再与点扩散函数卷积，并根据像素尺寸对应关系进行下采样，得到仿真的高信噪比SIM初始数据。向下采样图像中加入高斯噪声和泊松噪声模拟低信噪比下的SIM成像结果，与原始STORM图像配对。
（2）训练数据集制作：
利用matlab对配对数据进行随机分割，并进行90°，180°旋转进行数据增强，此外将STORM图归一化后设置阈值，去除信息密度低的图像对（如背景噪声区域），以增强数据间的相关性，本实施例中阈值设置为0.01，当信号强度大于0.01，则被判定为样品信号，若样品信号像素总数低于总图像数1/3,则抛弃该图像对，从而形成5000对训练数据和500对验证数据集。
（3）去噪网络、超分辨网络结构与训练流程
如图3所示，首先，单独训练去噪网络，将仿真的不同信噪比的SIM原始数据作为网络输入，仿真高信噪比SIM重构数据作为真值，经迭代将损失函数的取值降低至网络收敛，保存参数，作为联合优化的前置条件。其次，将仿真不同信噪比的SIM原始数据作为网络输入，STORM数据作为真值，将提前训练好的去噪网络参数重新加载至去噪和超分辨联合网络中的去噪部分，经迭代优化缩小输出与真值间差距，至网络收敛。
网络结构如图3所示，左侧所示为去噪重建网络，该网络的作用为，将低信噪比的SIM数据输入网络，经网络重建后得到高质量、无伪影的SIM重建结果。由图中所示，该网络主要由四个下采样模块和四个上采样模块组成，每个模块之间引入残差机制，为实现与SIM重建结果像素大小匹配，在网络末端加入上采样模块。图2右侧所示为分辨率提升网络，该网络的功能为进一步提升高质量SIM重建结果的分辨率。包含四个残差模块，每个残差模块由四个残差组组成，模块之间通过残差连接。此外，残差组中每个残差块中均引入注意力机制，对卷积层采集到的特征权重进行重新分配，此外，为实现SIM与STORM数据的像素匹配，需要进行4倍上采样。该网络在网络输出端加入两个上采样模块，由卷积层等组成。
（4）低信噪比荧光显微图像超分辨重构：
如图4所示，将在低分辨率、低信噪比成像条件下得到的SIM九张初始图像数据输入对应跨模态网络，加载训练中保存的最优权重，网络输出则为高分辨率结果，图5是本发明所使用的去噪深度学习网络结构与超分辨网络结构示意图。
图6为微管样品宽场荧光图像，分辨率较低，经去噪网络重建后，分辨率有所提升，经联合网络处理后，分辨率进一步提升亚五十纳米分辨率水平，如图7所示。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围内。
Claims (4)
1.一种深度学习的亚五十纳米结构光照明超分辨成像方法，其特征在于，包括以下步骤：
S1：图像退化，通过仿真或实验获得SIM光学显微系统的点扩散函数图像，将点扩散函数图像与开源或实验获得的高分辨STORM图像进行卷积、向下采样获得低分辨SIM成像结果，将对应的高分辨STORM图像和低分辨SIM图像进行配对得到配对数据；
S2：训练数据集制作，对配对数据进行随机分割，并通过旋转进行数据增强，将高分辨STORM图像归一化后设置阈值，去除信息密度低于阈值的图像对；
S3：去噪网络、超分辨网络结构与训练，训练去噪网络得到去噪网络初始参数，将该参数导入联合网络去噪部分，进行联合训练，当联合网络对测试集测试所得均方根误差最小时则得到联合网络最优参数；
S4：SIM超分辨重构，将若干张低分辨SIM图像输入对应的去噪网络与超分辨网络联合训练组成的跨模态网络，加载网络训练过程中保存的均方根误差最低时得到的最优权重，输出高分辨率结果；
所述步骤S2包括以下子步骤：
S2.1：利用matlab对配对数据进行随机分割；
S2.2：对分割图像进行90°，180°旋转进行数据增强；
S2.3：将STORM图归一化后设置阈值，去除信息密度低的图像对；
S2.4：重复上述步骤，形成5000对训练数据和500对验证数据集。
2.根据权利要求1所述的一种深度学习的亚五十纳米结构光照明超分辨成像方法，其特征在于：所述步骤S1包括以下子步骤：
S1.1：将开源或实验获得的高分辨STORM图像与至少3个方向、至少3个相位的照明条纹相乘；
S1.2：通过仿真或实验获得SIM光学显微系统的点扩散函数图像，并与步骤S1.1的相乘结果进行卷积；
S1.3：对步骤S1.2的卷积结果根据像素尺寸对应关系进行下采样，得到仿真的高信噪比SIM初始数据；
S1.4：在仿真的高信噪比SIM初始数据中加入高斯噪声和泊松噪声模拟低信噪比下的SIM成像结果。
3.根据权利要求1所述的一种深度学习的亚五十纳米结构光照明超分辨成像方法，其特征在于：所述步骤S3包括以下子步骤：
S3.1：将仿真的高信噪比SIM初始数据作为网络输入，单独训练去噪网络，损失函数的取值降低至网络收敛，保存参数；
S3.2：将提前训练好的去噪网络参数重新加载至联合网络中的去噪部分；
S3.3：将仿真的高信噪比SIM初始数据作为网络输入，高分辨STORM图像作为真值；
S3.4：经迭代优化缩小输出与真值间差距，至网络收敛，保存训练中联合网络最优权重。
4.根据权利要求1所述的一种深度学习的亚五十纳米结构光照明超分辨成像方法，其特征在于：所述步骤S4包括以下子步骤：
S4.1：利用正弦条纹光照明样品，得到9张原始图片；
S4.2：将在低分辨率、低信噪比成像条件下得到的SIM九张初始图像数据输入联合网络；
S4.3：加载训练中保存的联合网络最优权重，网络输出则为高分辨率结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211577360.9A CN115619646B (zh) | 2022-12-09 | 2022-12-09 | 一种深度学习的亚五十纳米结构光照明超分辨成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211577360.9A CN115619646B (zh) | 2022-12-09 | 2022-12-09 | 一种深度学习的亚五十纳米结构光照明超分辨成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115619646A CN115619646A (zh) | 2023-01-17 |
| CN115619646B true CN115619646B (zh) | 2023-04-18 |
Family
ID=84879626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211577360.9A Active CN115619646B (zh) | 2022-12-09 | 2022-12-09 | 一种深度学习的亚五十纳米结构光照明超分辨成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115619646B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309073B (zh) * | 2023-03-24 | 2023-12-29 | 之江实验室 | 一种基于深度学习的低对比度条纹sim重建方法和系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102033308B (zh) * | 2010-10-22 | 2012-08-29 | 浙江大学 | 一种超高分辨率的光学显微成像方法及装置 |
| EP3662439A1 (en) * | 2017-07-31 | 2020-06-10 | Institut Pasteur | Method, device, and computer program for improving the reconstruction of dense super-resolution images from diffraction-limited images acquired by single molecule localization microscopy |
| CN108152941B (zh) * | 2017-11-20 | 2019-11-12 | 北京航空航天大学 | 基于微纳米透镜阵列的高速光学超分辨率成像系统和方法 |
| CN111524064B (zh) * | 2020-03-11 | 2022-04-29 | 浙江大学 | 基于深度学习的荧光显微图像超分辨重建方法 |
| CN111754403B (zh) * | 2020-06-15 | 2022-08-12 | 南京邮电大学 | 一种基于残差学习的图像超分辨率重构方法 |
-
2022
- 2022-12-09 CN CN202211577360.9A patent/CN115619646B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115619646A (zh) | 2023-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| de Haan et al. | Deep-learning-based image reconstruction and enhancement in optical microscopy | |
| CN108062744B (zh) | 一种基于深度学习的质谱图像超分辨率重建方法 | |
| CN115619646B (zh) | 一种深度学习的亚五十纳米结构光照明超分辨成像方法 | |
| CN111310903B (zh) | 基于卷积神经网络的三维单分子定位系统 | |
| CN110349237B (zh) | 基于卷积神经网络的快速体成像方法 | |
| CN108537862B (zh) | 一种自适应降噪的傅里叶衍射扫描显微镜成像方法 | |
| CN114331911A (zh) | 一种基于卷积神经网络的傅里叶叠层显微图像去噪方法 | |
| CN115984107B (zh) | 自监督多模态结构光显微重建方法和系统 | |
| CN115841423B (zh) | 一种基于深度学习的宽场照明荧光超分辨显微成像方法 | |
| Sweere et al. | Deep learning-based super-resolution and de-noising for XMM-newton images | |
| CN113256772B (zh) | 一种基于视角转换的双角度光场高分辨重构系统及方法 | |
| CN115293981B (zh) | 结构光照明荧光显微图像去噪和超分辨率重建方法及系统 | |
| CN115272123A (zh) | 自监督三维显微图像去噪方法和系统 | |
| Christensen et al. | ML-SIM: a deep neural network for reconstruction of structured illumination microscopy images | |
| CN116721017A (zh) | 自监督显微图像超分辨处理方法和系统 | |
| CN109785234B (zh) | 一种拉曼成像方法、系统以及装置 | |
| Fazel et al. | Analysis of super-resolution single molecule localization microscopy data: A tutorial | |
| TWI754764B (zh) | 由低解析度影像產生高解析度影像以用於半導體應用 | |
| CN111524078B (zh) | 一种基于稠密网络的显微镜图像去模糊方法 | |
| Labouesse et al. | Random illumination microscopy from variance images | |
| CN116402681A (zh) | 一种基于像素重排列的自监督结构光显微重建方法和系统 | |
| CN111476125A (zh) | 基于生成对抗网络的三维荧光显微信号去噪方法 | |
| CN116109768A (zh) | 一种傅里叶光场显微镜超分辨成像方法及系统 | |
| CN115541550A (zh) | 基于主成分分析的结构光照明显微成像方法 | |
| CN115586164A (zh) | 一种基于快照时间压缩的光片显微成像系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |